特徴量算出装置およびプログラム
【課題】時間軸上の一部分を切り出した動画コンテンツ、全体が圧縮ノイズなどによって劣化した動画コンテンツなど従来は正確に識別（検出）できなかった動画コンテンツを、正確に識別することができる技術を提供する。
【解決手段】特徴量算出装置１は、コンテンツを取得するコンテンツ取得部１０と、コンテンツ取得部１０によって取得されたコンテンツから瞬時カット点を検出し、瞬時カット点を基準にコンテンツから２枚のフレームをキーフレームとして抽出するキーフレーム抽出部２０と、キーフレーム抽出部２０によって抽出された２枚のキーフレームから特徴量算出対象領域を抽出する特徴量算出対象領域抽出部３０と、特徴量算出対象領域抽出部３０によって抽出された特徴量算出対象領域から特徴量を算出する特徴量算出部４０とを備える。
【解決手段】特徴量算出装置１は、コンテンツを取得するコンテンツ取得部１０と、コンテンツ取得部１０によって取得されたコンテンツから瞬時カット点を検出し、瞬時カット点を基準にコンテンツから２枚のフレームをキーフレームとして抽出するキーフレーム抽出部２０と、キーフレーム抽出部２０によって抽出された２枚のキーフレームから特徴量算出対象領域を抽出する特徴量算出対象領域抽出部３０と、特徴量算出対象領域抽出部３０によって抽出された特徴量算出対象領域から特徴量を算出する特徴量算出部４０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特徴量算出装置およびプログラムに関する。
【背景技術】
【０００２】
近年のブロードバンドの普及、およびＨＤＤ(Hard Disk Drive）、ＤＶＤ（Digital Versatile Disk）、Blu-ray Disc等のストレージの大容量化に伴って、デジタルコンテンツを著作権者やコンテンツプロバイダの許諾を得ずに、ネットワークを介して容易に共有、公開できるようになってきており、このような不正な共有、公開が問題となっている。このような問題に対して、デジタルコンテンツの指紋（特徴量）を利用して、複数のデジタルコンテンツの中から、著作権者が自由配布を許諾していない特定のコンテンツを自動的に検出する技術が提案されている。
【０００３】
特許文献１では、三次元周波数解析と主成分分析を用いて、コンテンツの特徴量を記述し、特定のコンテンツを検出している。この手法では、空間周波数解析（DCT）で得られた係数に時間軸方向への周波数解析（FFT）を加えた三次元周波数解析を行ない、さらに主成分分析により三次元周波数解析で得られた係数から特徴量を抽出している。特許文献２では、特許文献１で利用されている特徴量を用いて、流通コンテンツと類似している特定コンテンツを絞り込み、絞り込めない場合には、位相限定相関法を用いて流通コンテンツと最も類似している特定コンテンツを決定し、閾値によって同一コンテンツであるか否かを判定している。
【０００４】
また、非特許文献１ではまず、映像から隣接フレームの輝度値の平均絶対誤差（Motion intensity）を求め、その平均絶対誤差が極値を取るフレームをキーフレームとする。次に各キーフレームからHarris detectorによってコーナーと呼ばれる特徴点を検出し、その周辺からGaussian derivativeを用いて特徴量を抽出する。その後、各特徴量とデータベースとのマッチング、投票を行い、投票数が多いコンテンツを不正流通コンテンツとして検出している。この手法では映像に時間的な編集が行なわれた場合であっても、不正流通コンテンツを検出できるようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１８６７５号公報
【特許文献２】特開２００６−２８５９０７号公報
【特許文献３】特開２００７−１３４９８６号公報
【特許文献４】特開２００７−１４２６３３号公報
【非特許文献】
【０００６】
【非特許文献１】J.Law-To et al.,“Video Copy Detection:A Comparative Study,”in Proc.ACM CIVR’07,pp.371-378,2007.
【非特許文献２】「カラービデオ映像における自動索引付け法と物体探索法」、情報処理学会論文誌 Vol.33 No.４、(1992年４月)、長坂晃朗、田中譲著、社団法人情報処理学会発行
【非特許文献３】K.Mikolajczyk et al.,“A Comparison of Affine Region Detectors,”International Journal of Computer Vision,vol.65, no.1-2,pp.43-72,2005.
【非特許文献４】D.G.Lowe,“Distinctive Image Features from Scale-Invariant Keypoints,”International Journal of Computer Vision,vol60,no2,pp.91-110,2004.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１、２で開示されている手法では、動画コンテンツ１つから１つの特徴量を抽出するため、例えば、動画コンテンツを分割する等の時間軸方向の編集が行われると検出ができなくなるという問題がある。一方、非特許文献１で開示されている手法では、下記の問題がある。まず、Motion intensityによってキーフレームを選択しているが、Motion intensityの極値がノイズに対して不安定であり、キーフレームがずれることによって精度が低下する問題がある。また、Motion intensityによって抽出されるキーフレームの数がシーンによって異なり、冗長なキーフレームが抽出されることにより処理時間が増加したり、逆にキーフレームが少なすぎて検出精度が低下したりする問題がある。さらに、抽出されるGaussian derivative特徴量は圧縮ノイズ等に比較的敏感であるため、このようなノイズが付加された場合には精度が低下する問題がある。
【０００８】
本発明は、このような事情に鑑みてなされたものであり、時間軸上の一部分を切り出した動画コンテンツ、全体が圧縮ノイズなどによって劣化した動画コンテンツなど従来は正確に識別（検出）できなかった動画コンテンツを、正確に識別することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記問題を解決するために、本発明の一態様である特徴量算出装置は、コンテンツを取得するコンテンツ取得部と、コンテンツ取得部によって取得されたコンテンツから瞬時カット点を検出し、瞬時カット点を基準にコンテンツから２枚のフレームをキーフレームとして抽出するキーフレーム抽出部と、キーフレーム抽出部によって抽出された２枚のキーフレームから特徴量算出対象領域を抽出する特徴量算出対象領域抽出部と、特徴量算出対象領域抽出部によって抽出された特徴量算出対象領域から特徴量を算出する特徴量算出部とを備えることを特徴とする。
【００１０】
上記特徴量算出装置において、キーフレーム抽出部は、瞬時カット点の前後のフレームを２枚のキーフレームとして抽出するようにしてもよい。
【００１１】
上記特徴量算出装置において、特徴量算出対象領域抽出部は、２枚のキーフレーム全体を特徴量算出対象領域として抽出するようにしてもよい。
【００１２】
上記特徴量算出装置において、特徴量算出対象領域抽出部は、２枚のキーフレームそれぞれから独立に特徴量算出対象領域を抽出するようにしてもよい。
【００１３】
上記特徴量算出装置において、特徴量算出対象領域抽出部は、２枚のキーフレームの一方のキーフレームの特徴量算出対象領域として、一方のキーフレームから特徴領域を抽出するとともに、一方のキーフレームから抽出した特徴領域に基づいて、２枚のキーフレームの他方のキーフレームの特徴量算出対象領域を他方のキーフレームから抽出するようにしてもよい。
【００１４】
上記特徴量算出装置において、特徴量算出対象領域抽出部は、２枚のキーフレームの各キーフレームから、特徴量算出対象領域として特徴領域をそれぞれ抽出するとともに他方のキーフレームから抽出した特徴領域に基づいて更に特徴量算出対象領域を抽出するようにしてもよい。
【００１５】
上記特徴量算出装置において、特徴量算出対象領域抽出部は、２枚のキーフレームの一のキーフレームから抽出した特徴領域と同一位置の領域を２枚のキーフレームの他のキーフレームの特徴量算出対象領域として抽出するようにしてもよい。
【００１６】
上記特徴量算出装置において、特徴量算出部は、２枚のキーフレームの一方のキーフレームの特徴量算出対象領域の輝度勾配ヒストグラムに基づいて主軸を決定し、主軸に基づいて２枚のキーフレームの特徴量算出対象領域から特徴量を算出するようにしてもよい。
【００１７】
上記特徴量算出装置において、特徴量算出部は、２枚のキーフレームの各キーフレームの特徴量算出対象領域の輝度勾配ヒストグラムに基づいて各主軸を決定し、各主軸に基づいて２枚のキーフレームの特徴量算出対象領域から特徴量を算出するようにしてもよい。
【００１８】
上記特徴量算出装置において、特徴量算出部は、各主軸がなす角度を特徴量として算出するようにしてもよい。
【００１９】
上記特徴量算出装置において、特徴量算出部は、主軸に直交する方向の輝度勾配ヒストグラムに基づき特徴量算出対象領域を反転するか否かを判断し反転すると判断した場合に、反転後の特徴量算出対象領域から特徴量を算出するようにしてもよい。
【００２０】
上記特徴量算出装置において、特徴量算出部は、各主軸がなす角度に基づき特徴量算出対象領域を反転するか否かを判断し反転すると判断した場合に、反転後の特徴量算出対象領域から特徴量を算出するようにしてもよい。
【００２１】
上記問題を解決するために、本発明の一態様であるプログラムは、特徴量を算出する特徴量算出装置のコンピュータに、コンテンツを取得するコンテンツ取得ステップと、コンテンツ取得部ステップによって取得されたコンテンツから瞬時カット点を検出し、瞬時カット点を基準にコンテンツから２枚のフレームをキーフレームとして抽出するキーフレーム抽出ステップと、キーフレーム抽出ステップによって抽出された２枚のキーフレームから特徴量算出対象領域を抽出する特徴量算出対象領域抽出ステップと、特徴量算出対象領域抽出ステップによって抽出された特徴量算出対象領域から特徴量を算出する特徴量算出ステップとを実行させることを特徴とする。
【発明の効果】
【００２２】
本発明によれば、時間軸上の一部分を切り出した動画コンテンツ、全体が圧縮ノイズなどによって劣化した動画コンテンツなど従来は正確に識別（検出）できなかった動画コンテンツを、正確に識別することができるようになる。
【図面の簡単な説明】
【００２３】
【図１】特徴量算出装置１の機能ブロック図の一例である。
【図２】コンテンツ取得部１０、キーフレーム検出部２０、特徴量算出対象領域抽出部３０および特徴量算出部４０の動作の一例を示すフローチャートである。
【図３】特徴量算出対象領域抽出部３０および特徴量算出部４０の処理を説明するための説明図である。
【発明を実施するための形態】
【００２４】
以下、本発明の一実施形態について図面を参照して説明する。なお、以下の説明において、図面中の文字は、下記の置き換え表に従って置き換えて記載する。
【００２５】
【数１】
【００２６】
本発明の一実施形態による特徴量算出装置１は、コンテンツ（マルチメディアコンテンツ、動画データ、動画コンテンツとも称する）からコンテンツの識別、認識、検索などに適用する、当該コンテンツ特有の特徴量を抽出する。特徴量算出装置１は、図1に示すように、コンテンツ取得部１０、キーフレーム検出部２０、特徴量算出対象領域抽出部３０、特徴量算出部４０を備える。
【００２７】
コンテンツ取得部１０は、外部からコンテンツを取得（入力）する。コンテンツ取得部１０は、コンテンツを取得した場合、当該コンテンツの映像信号をキーフレーム検出部２０に供給する。
【００２８】
より詳細には、図２（ａ）に示すように、コンテンツ取得部１０は、取得コンテンツが映像信号に他の信号（例えば、音声信号、データ信号）が多重化されているコンテンツであるか否かを判断する（ステップＳ１０）。コンテンツ取得部１０は、多重化されているコンテンツであると判断した場合（ステップＳ１０：Ｙｅｓ）、当該コンテンツの映像信号のみを逆多重化する（ステップＳ１１）。一方、コンテンツ取得部１０は、多重化されているコンテンツでないと判断した場合（ステップＳ１０：Ｎｏ）、ステップＳ１０を省略する。コンテンツ取得部１０は、映像信号をキーフレーム検出部２０に供給する。
【００２９】
キーフレーム抽出部２０は、コンテンツ取得部１０から取得したコンテンツ（映像信号）から映像中のショットの切り替わり点（以下、「瞬時カット点」という）を検出し、各瞬時カット点を基準に瞬時カット点毎に２枚のフレームをキーフレームとしてコンテンツから抽出する。例えば、キーフレーム抽出部２０は、各瞬時カット点の直前、直後の隣接する２枚のフレーム（以下、「隣接ペアフレーム」とも称する）をキーフレームとして抽出する。キーフレーム抽出部２０は、各瞬時カット点から抽出した２枚のキーフレーム（以下、「キーフレームペア」とも称する）を特徴量算出対象領域抽出部３０に供給する。
【００３０】
より詳細には、図２（ｂ）に示すように、キーフレーム抽出部２０は、取得コンテンツ（映像信号）を解析し、瞬時カット点を検出する（ステップＳ２０）。なお、キーフレーム抽出部２０は、相互に著しく異なる画像特徴を有する隣接するフレーム同士を検出することによって、瞬時カット点を検出する。換言すれば、キーフレーム抽出部２０は、隣接プレームペアを構成する各フレーム同士が相互に著しく異なる画像特徴を有するような点を瞬時カット点として検出する。例えば、キーフレーム抽出部２０は、特許文献３、４、非特許文献２のような手法を利用する。瞬時カット点を検出したキーフレーム抽出部２０は、各瞬時カット点の隣接ペアフレームをキーフレームペアとして抽出し（ステップＳ２１）、特徴量算出対象領域抽出部３０に供給する。
【００３１】
なお、キーフレーム抽出部２０は、隣接ペアフレームに代えて、所定枚数離れた２枚のフレームをキーフレームペアとして抽出してもよい。例えば、隣接プレームペアを構成する各フレームがｆ番目、ｆ＋１番目のフレームであるとき、ｆ−Ｋ番目、ｆ＋Ｋ＋１番目のフレーム（Ｋは非負整数）をキーフレームペアとして抽出してもよい。なお、キーフレーム抽出部２０は、キーフレームペアとして、隣接フレームペアを抽出するか否かに関わらず、ｆ番目のフレームの時刻情報を特徴量算出対象領域抽出部３０に供給する。
【００３２】
特徴量算出対象領域抽出部３０は、キーフレーム抽出部２０によって抽出された２枚のキーフレーム（キーフレームペア）から特徴量を算出する対象の領域（以下、「特徴量算出対象領域」という）を抽出する。
【００３３】
例えば、特徴量算出対象領域抽出部３０は、２枚のキーフレームのそれぞれ（キーフレームペアを構成する各キーフレーム）から独立に特徴量算出対象領域として、特徴領域を抽出する。
【００３４】
また、特徴量算出対象領域抽出部３０は、２枚のキーフレーム全体を特徴量算出対象領域として抽出してもよい。即ち、キーフレームペアを構成する各キーフレームについて、キーフレーム全体を特徴量算出対象領域として取り扱ってもよい。
【００３５】
また、特徴量算出対象領域抽出部３０は、２枚のキーフレームの一方のキーフレーム（キーフレームペアを構成する一方のキーフレーム）の特徴量算出対象領域として、当該一方のキーフレームから特徴領域を抽出するとともに、当該一方のキーフレームから抽出した特徴領域に基づいて、当該２枚のキーフレームの他方のキーフレーム（当該キーフレームペアを構成する他方のキーフレーム）の特徴量算出対象領域を他方のキーフレームから抽出してもよい。
【００３６】
また、特徴量算出対象領域抽出部３０は、２枚のキーフレーム（キーフレームペア）の各キーフレーム（キーフレームペアを構成する自キーフレーム）から、特徴量算出対象領域として特徴領域をそれぞれ抽出するとともに、２枚のキーフレーム（キーフレームペア）の各キーフレーム（キーフレームペアを構成する自キーフレーム）から、他方のキーフレーム（当該キーフレームペアを構成する他キーフレーム）から抽出した特徴領域に基づいて更に特徴量算出対象領域を抽出してもよい。
【００３７】
なお、特徴量算出対象領域抽出部３０は、２枚のキーフレームの一のキーフレーム（キーフレームペアを構成する一のキーフレーム）から抽出した特徴領域と同一位置の領域を、当該２枚のキーフレームの他のキーフレーム（当該キーフレームペアを構成する他キーフレーム）の特徴量算出対象領域として抽出する。但し、特徴量算出対象領域抽出部３０は、一のキーフレームから抽出した特徴領域と同一位置の領域を他のキーフレームの特徴量算出対象領域として抽出することに代えて、所定の座標変換式（例えば、平行移動）を利用して、一のキーフレームから抽出した特徴領域を座標変換した領域を他のキーフレームの特徴量算出対象領域として抽出してもよい。
【００３８】
特徴量算出対象領域抽出部３０は、抽出した特徴量算出対象領域を特徴量算出部４０に供給する。なお、上記特徴量算出対象領域は１ピクセル以上であればよい。即ち、１ピクセルである特徴量算出対象点も上記特徴量算出対象領域である。特徴領域に関しても同様である。
【００３９】
なお、特徴量算出対象領域抽出部３０は、抽出した特徴量算出対象領域の中から特徴量を算出すべきでない領域を判別し、特徴量を算出すべき特徴量算出対象領域のみを特徴量算出対象領域を特徴量算出部４０に供給してもよい。
【００４０】
以下、特徴量算出対象領域抽出部３０による、２枚のキーフレームの各キーフレームから、特徴量算出対象領域として特徴領域をそれぞれ抽出するとともに、２枚のキーフレームの各キーフレームから、他方のキーフレームから抽出した特徴領域に基づいて更に特徴量算出対象領域を抽出する処理、および、抽出後の特徴量算出対象領域の中から特徴量を算出すべきでない領域を判別する処理の詳細を説明する。
【００４１】
特徴量算出対象領域抽出部３０は、キーフレーム抽出部２０から取得した全キーフレームペアを対象に以下の処理を行う。なお、キーフレームＩｔ−、キーフレームＩｔ＋は、ｔ番目のキーフレームペアを構成する各キーフレームである。
【００４２】
特徴量算出対象領域抽出部３０は、図２（ｃ）に示すように、キーフレームＩｔ−、Ｉｔ＋のそれぞれから特徴領域を複数抽出する（ステップＳ３０）。抽出する特徴領域はスケールおよび回転に不変で、アフィン変換にロバストな領域が望ましいが、目的によってはそのようなロバスト性は必要ない場合もある。アフィン変換にロバストな領域の抽出法としては、例えば、非特許文献３、４のような手法が利用可能である。アフィン変換へのロバスト性が求められないような場合では、単純に、Harrisオペレータ等の特徴点検出手法を利用して、その点の周辺領域を固定サイズの円（楕円）や正方形（長方形）で記述してもよい。上述の如く、特徴点を特徴領域として算出してもよい。
【００４３】
特徴領域抽出の結果、キーフレームＩｔ−、Ｉｔ＋からそれぞれＮ個およびM個の特徴領域が抽出されたとする。キーフレームＩｔ−から抽出された領域を領域Ｒｔ−[１]、領域Ｒｔ−[２]、・・・、領域Ｒｔ−[Ｎ]とすると、各領域Ｒｔ−[ｉ]（１≦i≦Ｎ）に対応するキーフレームＩｔ＋における同一領域Ｒｔ＋[ｉ]を抽出し、これらの領域のペアをt番目のキーフレームペアの特徴量算出対象領域Ｒｔ[ｉ]とする。同様に、キーフレームＩｔ＋から抽出された領域を領域Ｒｔ＋[Ｎ＋１]、領域Ｒｔ＋[Ｎ＋２]、・・・、領域Ｒｔ＋[Ｎ＋Ｍ]とすると、各領域Ｒｔ＋[ｉ]（Ｎ＋１≦i≦Ｎ＋Ｍ）に対応するキーフレームＩｔ−における同一領域Ｒｔ−[ｉ]を抽出し、これらの領域のペアをt番目のキーフレームペアの特徴量算出対象領域Ｒｔ[ｉ]とする。以上の処理により、図３（ａ）に示すように、t番目のキーフレームペアにはＮ＋Ｍ個の特徴量算出対象領域Ｒｔ[ｉ]（1≦i≦Ｎ＋Ｍ）が抽出される。
【００４４】
続いて、特徴量算出対象領域抽出部３０は、各特徴量算出対象領域Ｒｔ[ｉ]から特徴量を算出すべきか否かを判断する（ステップＳ３１）。特徴領域として抽出した特徴量算出対象領域Ｒｔ−[ｉ]（1≦i≦N）および特徴量算出対象領域Ｒｔ＋[ｉ]（Ｎ＋１≦i≦Ｎ＋Ｍ）は、一般にエッジやblobを含むため、当該特徴量算出対象領域から特徴量を抽出してもよいが、特徴量算出対象領域Ｒｔ＋[ｉ]（１≦i≦Ｎ）および特徴量算出対象領域Ｒｔ−[ｉ]（Ｎ＋１≦i≦Ｎ＋Ｍ）は、特徴量算出対象領域Ｒｔ−[ｉ]（1≦i≦N）および特徴量算出対象領域Ｒｔ＋[ｉ]（Ｎ＋１≦i≦Ｎ＋Ｍ）に対応する領域として単に抽出されたものに過ぎずエッジやblobを含むとは限らないからである。即ち、特徴量算出対象領域Ｒｔ＋[ｉ]（１≦i≦Ｎ）および特徴量算出対象領域Ｒｔ−[ｉ]（Ｎ＋１≦i≦Ｎ＋Ｍ）は、領域全体が輝度の変動（分散）が少ない平坦領域である可能性がある。即ち、特徴量算出対象領域抽出部３０は、特徴量算出対象領域の領域内の輝度の分散に基づいて、当該特徴量算出対象領域が平坦領域であるか否かを判断することによって、当該特徴量算出対象領域から特徴量を算出すべきか否かを判断する。特徴量算出対象領域抽出部３０は、当該特徴量算出対象領域から特徴量を算出すべきでないと判断した場合（ステップＳ３１：Ｎｏ）、当該特徴量算出対象領域を特徴量算出部４０に供給する対象から除外する（ステップＳ３２）。例えば、特徴量算出対象領域抽出部３０は、ステップＳ３０によって抽出した特徴量算出対象領域を全て記憶している一時領域から当該特徴量算出対象領域を消去する。
【００４５】
また、特徴量算出対象領域Ｒｔ−[ｉ]および特徴量算出対象領域Ｒｔ＋[ｉ]が同一の特徴を示す場合がある。例えば、瞬時カットが画面内の一部分の変化によって検出される場合等に生じる。このような場合、特徴量ベクトルが強い相関を有し、特徴量を算出する領域を増やすメリットが薄れるため、このような領域からも特徴量を算出しないようにしてもよい。例えば、特徴量算出対象領域抽出部３０は、特徴量算出対象領域Ｒｔ−[ｉ]および特徴量算出対象領域Ｒｔ＋[ｉ]の輝度の平均絶対誤差（ＭＡＥ）を算出し、平均絶対誤差が所定の閾値以下の場合、特徴量算出対象領域Ｒｔ−[ｉ]および特徴量算出対象領域Ｒｔ＋[ｉ]が相互に似ていると判断し、当該特徴量算出対象領域の少なくとも一方を特徴量算出部４０に供給する対象から除外する。
【００４６】
特徴量算出部４０は、特徴量算出対象領域抽出部３０によって抽出された特徴量算出対象領域から特徴量を算出する。具体的には、特徴量算出部４０は、２枚のキーフレームの一方のキーフレームの特徴量算出対象領域の輝度勾配ヒストグラムに基づいて主軸を決定し、当該主軸に基づいて当該２枚のキーフレームの特徴量算出対象領域から特徴量を算出する。
【００４７】
また、特徴量算出部４０は、２枚のキーフレームの各キーフレームの特徴量算出対象領域の輝度勾配ヒストグラムに基づいて各主軸を決定し、各主軸に基づいて当該２枚のキーフレームの特徴量算出対象領域から特徴量を算出してもよい。なお、特徴量算出部４０は、各主軸がなす角度を特徴量として算出してもよい（特徴量とし角度のみを算出してもよいし、複数の特徴量の１つとして角度を算出してもよい）。
【００４８】
なお、特徴量算出部４０は、主軸に直交する方向の輝度勾配ヒストグラムに基づき特徴量算出対象領域を反転するか否かを判断し反転すると判断した場合に、反転後の特徴量算出対象領域から特徴量を算出してもよい。また、特徴量算出部４０は、各主軸がなす角度に基づき特徴量算出対象領域を反転するか否かを判断し反転すると判断した場合に、反転後の特徴量算出対象領域から特徴量を算出してもよい。
【００４９】
より詳細には、図２（ｄ）に示すように、特徴量算出部４０は、例えば、特徴量算出対象領域抽出部３０から取得した特徴量算出対象領域から特徴量ベクトルを抽出する。特徴量としては、例えばMPEG-7で公開されているdominant color、scalable color、color structure、color layout、edge histogram、contour shape等が利用できる。回転、コントラストの変化、輝度のシフト等にロバストな特徴量として非特許文献４で利用されているＨＯＧ（histogram of oriented gradient）を利用してもよい。
【００５０】
以下、特徴量算出部４０による特徴量の算出処理を、図３（ｂ）を参照し更に説明する。図３（ｂ）は、領域検出に非特許文献４で提案されているHarris-Affine detectorが利用され、特徴量の記述に非特許文献４で利用されているＨＯＧを利用した場合の特徴量の算出処理例である。なお、１≦i≦Ｎのであるものとする。
【００５１】
まず、特徴量算出部４０は、特徴量算出対象領域Ｒｔ−[ｉ]および特徴量算出対象領域Ｒｔ＋[ｉ]を正円化する（ステップＳ４０）。特徴量算出部４０は、非特許文献４で行われているように、輝度勾配ヒストグラムを基に特徴量を記述する為の主軸を決定する（ステップＳ４１）。具体的には、特徴量算出部４０は、特徴量算出対象領域Ｒｔ−[ｉ]および特徴量算出対象領域Ｒｔ＋[ｉ]のうち、特徴領域として抽出された特徴量算出対象領域（１≦ｉ≦Ｎであれば特徴量算出対象領域Ｒｔ−[ｉ]、Ｎ＋１≦ｉ≦Ｎ＋Ｍであれば特徴量算出対象領域Ｒｔ＋[ｉ]）を対象として、対象とした特徴量算出対象領域から主軸を決定する。なお、特徴量算出部４０は、常に、特徴量算出対象領域Ｒｔ−[ｉ]または特徴量算出対象領域Ｒｔ＋[ｉ]の何れか一方を対象としてもよい。また、特徴量算出部４０は、常に、特徴量算出対象領域Ｒｔ−[ｉ]および特徴量算出対象領域Ｒｔ＋[ｉ]の双方を対象としてもよい。
【００５２】
主軸を決定した特徴量算出部４０は、主軸に沿って固定ブロック数（図３（ｂ）では４×４）で構成されるパッチが作成され、ＨＯＧ特徴量が抽出される（ステップＳ４２）。また、主軸を基準として、−π＜θ＜０および０＜θ＜πとなる方向の輝度勾配ヒストグラム度数の合計をＨＲおよびＨＬとすると、常にＨＲ＞ＨＬとなるように特徴量算出対象領域Ｒｔ−[ｉ]およびＲｔ＋[ｉ]を反転させた後にパッチを作成することで、鏡像に不変な特徴量算出対象領域を用いてもよい。
【００５３】
なお、パッチが作成されると、非特許文献４では、４×４のブロックからそれぞれ８次元ベクトルが抽出されるため、合計１２８次元の特徴ベクトルが作成される。本実施形態では、同様に、特徴量算出対象領域Ｒｔ−[ｉ]および特徴量算出対象領域Ｒｔ＋[ｉ]から１２８次元の特徴ベクトルが抽出されるため、２５６次元の特徴ベクトルが作成される。特徴ベクトルの次元が高くなると、特徴量の蓄積コスト及び探索コストが増加することが懸念される場合がある。そのような場合には、パッチを３×３より少ないブロック数としてもよい。３×３の場合には、１４４次元の特徴ベクトルとなる。これは従来の特徴ベクトルの次元とほとんど変わらないが、パッチの各ブロックのサイズが大きいため、より位置ずれ、回転、その他のノイズにロバストになる。
【００５４】
図３（ｃ）は、特徴量算出部４０が特徴量算出対象領域Ｒｔ−[ｉ]および特徴量算出対象領域Ｒｔ＋[ｉ]の両方から主軸を決定する場合の例である。この場合、特徴量算出部４０は、特徴量算出対象領域Ｒｔ−[ｉ]および特徴量算出対象領域Ｒｔ＋[ｉ]において個別に特徴ベクトルを作成する。
【００５５】
なお、特徴量算出部４０は、特徴量算出対象領域Ｒｔ−[ｉ]の主軸と特徴量算出対象領域Ｒｔ＋[ｉ]の主軸のなす角度（主軸同士の角度差）θ（−π≦θ＜π）を特徴ベクトルとしてもよい。なお、抽出した特徴ベクトルをマッチングするような際には、近い角度差θに絞ってマッチングし、或いは、角度差θによってマッチングデータを格納するデータベースを分類するなどの態様が可能になるため、コンテンツの識別、認識、検索などの処理速度が向上する。
【００５６】
また、特徴量算出部４０は、上記角度差θが常に０＜θ＜πとなるように特徴量算出対象領域Ｒｔ−[ｉ]や特徴量算出対象領域Ｒｔ＋[ｉ]を反転させて、反転後の特徴量算出対象領域から特徴ベクトルを算出してもよい。反転後の特徴量算出対象領域から特徴ベクトルを算出することによって、鏡像に不変（ロバスト）な特徴量を算出することができるようになる。
【００５７】
以上、特徴量算出装置１によれば、時間軸上の一部分を切り出した動画コンテンツ、全体が圧縮ノイズなどによって劣化した動画コンテンツなど従来は正確に識別（検出）できなかった動画コンテンツを、正確に識別することができるようになる。
【００５８】
なお、本発明の一実施形態による特徴量算出装置１の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本発明の一実施形態による特徴量算出装置１の各処理に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００５９】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００６０】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００６１】
１ 特徴量算出装置 １０ コンテンツ取得部 ２０ キーフレーム検出部 ３０ 特徴量算出対象領域抽出部 ４０ 特徴量算出部
【技術分野】
【０００１】
本発明は、特徴量算出装置およびプログラムに関する。
【背景技術】
【０００２】
近年のブロードバンドの普及、およびＨＤＤ(Hard Disk Drive）、ＤＶＤ（Digital Versatile Disk）、Blu-ray Disc等のストレージの大容量化に伴って、デジタルコンテンツを著作権者やコンテンツプロバイダの許諾を得ずに、ネットワークを介して容易に共有、公開できるようになってきており、このような不正な共有、公開が問題となっている。このような問題に対して、デジタルコンテンツの指紋（特徴量）を利用して、複数のデジタルコンテンツの中から、著作権者が自由配布を許諾していない特定のコンテンツを自動的に検出する技術が提案されている。
【０００３】
特許文献１では、三次元周波数解析と主成分分析を用いて、コンテンツの特徴量を記述し、特定のコンテンツを検出している。この手法では、空間周波数解析（DCT）で得られた係数に時間軸方向への周波数解析（FFT）を加えた三次元周波数解析を行ない、さらに主成分分析により三次元周波数解析で得られた係数から特徴量を抽出している。特許文献２では、特許文献１で利用されている特徴量を用いて、流通コンテンツと類似している特定コンテンツを絞り込み、絞り込めない場合には、位相限定相関法を用いて流通コンテンツと最も類似している特定コンテンツを決定し、閾値によって同一コンテンツであるか否かを判定している。
【０００４】
また、非特許文献１ではまず、映像から隣接フレームの輝度値の平均絶対誤差（Motion intensity）を求め、その平均絶対誤差が極値を取るフレームをキーフレームとする。次に各キーフレームからHarris detectorによってコーナーと呼ばれる特徴点を検出し、その周辺からGaussian derivativeを用いて特徴量を抽出する。その後、各特徴量とデータベースとのマッチング、投票を行い、投票数が多いコンテンツを不正流通コンテンツとして検出している。この手法では映像に時間的な編集が行なわれた場合であっても、不正流通コンテンツを検出できるようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１８６７５号公報
【特許文献２】特開２００６−２８５９０７号公報
【特許文献３】特開２００７−１３４９８６号公報
【特許文献４】特開２００７−１４２６３３号公報
【非特許文献】
【０００６】
【非特許文献１】J.Law-To et al.,“Video Copy Detection:A Comparative Study,”in Proc.ACM CIVR’07,pp.371-378,2007.
【非特許文献２】「カラービデオ映像における自動索引付け法と物体探索法」、情報処理学会論文誌 Vol.33 No.４、(1992年４月)、長坂晃朗、田中譲著、社団法人情報処理学会発行
【非特許文献３】K.Mikolajczyk et al.,“A Comparison of Affine Region Detectors,”International Journal of Computer Vision,vol.65, no.1-2,pp.43-72,2005.
【非特許文献４】D.G.Lowe,“Distinctive Image Features from Scale-Invariant Keypoints,”International Journal of Computer Vision,vol60,no2,pp.91-110,2004.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１、２で開示されている手法では、動画コンテンツ１つから１つの特徴量を抽出するため、例えば、動画コンテンツを分割する等の時間軸方向の編集が行われると検出ができなくなるという問題がある。一方、非特許文献１で開示されている手法では、下記の問題がある。まず、Motion intensityによってキーフレームを選択しているが、Motion intensityの極値がノイズに対して不安定であり、キーフレームがずれることによって精度が低下する問題がある。また、Motion intensityによって抽出されるキーフレームの数がシーンによって異なり、冗長なキーフレームが抽出されることにより処理時間が増加したり、逆にキーフレームが少なすぎて検出精度が低下したりする問題がある。さらに、抽出されるGaussian derivative特徴量は圧縮ノイズ等に比較的敏感であるため、このようなノイズが付加された場合には精度が低下する問題がある。
【０００８】
本発明は、このような事情に鑑みてなされたものであり、時間軸上の一部分を切り出した動画コンテンツ、全体が圧縮ノイズなどによって劣化した動画コンテンツなど従来は正確に識別（検出）できなかった動画コンテンツを、正確に識別することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記問題を解決するために、本発明の一態様である特徴量算出装置は、コンテンツを取得するコンテンツ取得部と、コンテンツ取得部によって取得されたコンテンツから瞬時カット点を検出し、瞬時カット点を基準にコンテンツから２枚のフレームをキーフレームとして抽出するキーフレーム抽出部と、キーフレーム抽出部によって抽出された２枚のキーフレームから特徴量算出対象領域を抽出する特徴量算出対象領域抽出部と、特徴量算出対象領域抽出部によって抽出された特徴量算出対象領域から特徴量を算出する特徴量算出部とを備えることを特徴とする。
【００１０】
上記特徴量算出装置において、キーフレーム抽出部は、瞬時カット点の前後のフレームを２枚のキーフレームとして抽出するようにしてもよい。
【００１１】
上記特徴量算出装置において、特徴量算出対象領域抽出部は、２枚のキーフレーム全体を特徴量算出対象領域として抽出するようにしてもよい。
【００１２】
上記特徴量算出装置において、特徴量算出対象領域抽出部は、２枚のキーフレームそれぞれから独立に特徴量算出対象領域を抽出するようにしてもよい。
【００１３】
上記特徴量算出装置において、特徴量算出対象領域抽出部は、２枚のキーフレームの一方のキーフレームの特徴量算出対象領域として、一方のキーフレームから特徴領域を抽出するとともに、一方のキーフレームから抽出した特徴領域に基づいて、２枚のキーフレームの他方のキーフレームの特徴量算出対象領域を他方のキーフレームから抽出するようにしてもよい。
【００１４】
上記特徴量算出装置において、特徴量算出対象領域抽出部は、２枚のキーフレームの各キーフレームから、特徴量算出対象領域として特徴領域をそれぞれ抽出するとともに他方のキーフレームから抽出した特徴領域に基づいて更に特徴量算出対象領域を抽出するようにしてもよい。
【００１５】
上記特徴量算出装置において、特徴量算出対象領域抽出部は、２枚のキーフレームの一のキーフレームから抽出した特徴領域と同一位置の領域を２枚のキーフレームの他のキーフレームの特徴量算出対象領域として抽出するようにしてもよい。
【００１６】
上記特徴量算出装置において、特徴量算出部は、２枚のキーフレームの一方のキーフレームの特徴量算出対象領域の輝度勾配ヒストグラムに基づいて主軸を決定し、主軸に基づいて２枚のキーフレームの特徴量算出対象領域から特徴量を算出するようにしてもよい。
【００１７】
上記特徴量算出装置において、特徴量算出部は、２枚のキーフレームの各キーフレームの特徴量算出対象領域の輝度勾配ヒストグラムに基づいて各主軸を決定し、各主軸に基づいて２枚のキーフレームの特徴量算出対象領域から特徴量を算出するようにしてもよい。
【００１８】
上記特徴量算出装置において、特徴量算出部は、各主軸がなす角度を特徴量として算出するようにしてもよい。
【００１９】
上記特徴量算出装置において、特徴量算出部は、主軸に直交する方向の輝度勾配ヒストグラムに基づき特徴量算出対象領域を反転するか否かを判断し反転すると判断した場合に、反転後の特徴量算出対象領域から特徴量を算出するようにしてもよい。
【００２０】
上記特徴量算出装置において、特徴量算出部は、各主軸がなす角度に基づき特徴量算出対象領域を反転するか否かを判断し反転すると判断した場合に、反転後の特徴量算出対象領域から特徴量を算出するようにしてもよい。
【００２１】
上記問題を解決するために、本発明の一態様であるプログラムは、特徴量を算出する特徴量算出装置のコンピュータに、コンテンツを取得するコンテンツ取得ステップと、コンテンツ取得部ステップによって取得されたコンテンツから瞬時カット点を検出し、瞬時カット点を基準にコンテンツから２枚のフレームをキーフレームとして抽出するキーフレーム抽出ステップと、キーフレーム抽出ステップによって抽出された２枚のキーフレームから特徴量算出対象領域を抽出する特徴量算出対象領域抽出ステップと、特徴量算出対象領域抽出ステップによって抽出された特徴量算出対象領域から特徴量を算出する特徴量算出ステップとを実行させることを特徴とする。
【発明の効果】
【００２２】
本発明によれば、時間軸上の一部分を切り出した動画コンテンツ、全体が圧縮ノイズなどによって劣化した動画コンテンツなど従来は正確に識別（検出）できなかった動画コンテンツを、正確に識別することができるようになる。
【図面の簡単な説明】
【００２３】
【図１】特徴量算出装置１の機能ブロック図の一例である。
【図２】コンテンツ取得部１０、キーフレーム検出部２０、特徴量算出対象領域抽出部３０および特徴量算出部４０の動作の一例を示すフローチャートである。
【図３】特徴量算出対象領域抽出部３０および特徴量算出部４０の処理を説明するための説明図である。
【発明を実施するための形態】
【００２４】
以下、本発明の一実施形態について図面を参照して説明する。なお、以下の説明において、図面中の文字は、下記の置き換え表に従って置き換えて記載する。
【００２５】
【数１】
【００２６】
本発明の一実施形態による特徴量算出装置１は、コンテンツ（マルチメディアコンテンツ、動画データ、動画コンテンツとも称する）からコンテンツの識別、認識、検索などに適用する、当該コンテンツ特有の特徴量を抽出する。特徴量算出装置１は、図1に示すように、コンテンツ取得部１０、キーフレーム検出部２０、特徴量算出対象領域抽出部３０、特徴量算出部４０を備える。
【００２７】
コンテンツ取得部１０は、外部からコンテンツを取得（入力）する。コンテンツ取得部１０は、コンテンツを取得した場合、当該コンテンツの映像信号をキーフレーム検出部２０に供給する。
【００２８】
より詳細には、図２（ａ）に示すように、コンテンツ取得部１０は、取得コンテンツが映像信号に他の信号（例えば、音声信号、データ信号）が多重化されているコンテンツであるか否かを判断する（ステップＳ１０）。コンテンツ取得部１０は、多重化されているコンテンツであると判断した場合（ステップＳ１０：Ｙｅｓ）、当該コンテンツの映像信号のみを逆多重化する（ステップＳ１１）。一方、コンテンツ取得部１０は、多重化されているコンテンツでないと判断した場合（ステップＳ１０：Ｎｏ）、ステップＳ１０を省略する。コンテンツ取得部１０は、映像信号をキーフレーム検出部２０に供給する。
【００２９】
キーフレーム抽出部２０は、コンテンツ取得部１０から取得したコンテンツ（映像信号）から映像中のショットの切り替わり点（以下、「瞬時カット点」という）を検出し、各瞬時カット点を基準に瞬時カット点毎に２枚のフレームをキーフレームとしてコンテンツから抽出する。例えば、キーフレーム抽出部２０は、各瞬時カット点の直前、直後の隣接する２枚のフレーム（以下、「隣接ペアフレーム」とも称する）をキーフレームとして抽出する。キーフレーム抽出部２０は、各瞬時カット点から抽出した２枚のキーフレーム（以下、「キーフレームペア」とも称する）を特徴量算出対象領域抽出部３０に供給する。
【００３０】
より詳細には、図２（ｂ）に示すように、キーフレーム抽出部２０は、取得コンテンツ（映像信号）を解析し、瞬時カット点を検出する（ステップＳ２０）。なお、キーフレーム抽出部２０は、相互に著しく異なる画像特徴を有する隣接するフレーム同士を検出することによって、瞬時カット点を検出する。換言すれば、キーフレーム抽出部２０は、隣接プレームペアを構成する各フレーム同士が相互に著しく異なる画像特徴を有するような点を瞬時カット点として検出する。例えば、キーフレーム抽出部２０は、特許文献３、４、非特許文献２のような手法を利用する。瞬時カット点を検出したキーフレーム抽出部２０は、各瞬時カット点の隣接ペアフレームをキーフレームペアとして抽出し（ステップＳ２１）、特徴量算出対象領域抽出部３０に供給する。
【００３１】
なお、キーフレーム抽出部２０は、隣接ペアフレームに代えて、所定枚数離れた２枚のフレームをキーフレームペアとして抽出してもよい。例えば、隣接プレームペアを構成する各フレームがｆ番目、ｆ＋１番目のフレームであるとき、ｆ−Ｋ番目、ｆ＋Ｋ＋１番目のフレーム（Ｋは非負整数）をキーフレームペアとして抽出してもよい。なお、キーフレーム抽出部２０は、キーフレームペアとして、隣接フレームペアを抽出するか否かに関わらず、ｆ番目のフレームの時刻情報を特徴量算出対象領域抽出部３０に供給する。
【００３２】
特徴量算出対象領域抽出部３０は、キーフレーム抽出部２０によって抽出された２枚のキーフレーム（キーフレームペア）から特徴量を算出する対象の領域（以下、「特徴量算出対象領域」という）を抽出する。
【００３３】
例えば、特徴量算出対象領域抽出部３０は、２枚のキーフレームのそれぞれ（キーフレームペアを構成する各キーフレーム）から独立に特徴量算出対象領域として、特徴領域を抽出する。
【００３４】
また、特徴量算出対象領域抽出部３０は、２枚のキーフレーム全体を特徴量算出対象領域として抽出してもよい。即ち、キーフレームペアを構成する各キーフレームについて、キーフレーム全体を特徴量算出対象領域として取り扱ってもよい。
【００３５】
また、特徴量算出対象領域抽出部３０は、２枚のキーフレームの一方のキーフレーム（キーフレームペアを構成する一方のキーフレーム）の特徴量算出対象領域として、当該一方のキーフレームから特徴領域を抽出するとともに、当該一方のキーフレームから抽出した特徴領域に基づいて、当該２枚のキーフレームの他方のキーフレーム（当該キーフレームペアを構成する他方のキーフレーム）の特徴量算出対象領域を他方のキーフレームから抽出してもよい。
【００３６】
また、特徴量算出対象領域抽出部３０は、２枚のキーフレーム（キーフレームペア）の各キーフレーム（キーフレームペアを構成する自キーフレーム）から、特徴量算出対象領域として特徴領域をそれぞれ抽出するとともに、２枚のキーフレーム（キーフレームペア）の各キーフレーム（キーフレームペアを構成する自キーフレーム）から、他方のキーフレーム（当該キーフレームペアを構成する他キーフレーム）から抽出した特徴領域に基づいて更に特徴量算出対象領域を抽出してもよい。
【００３７】
なお、特徴量算出対象領域抽出部３０は、２枚のキーフレームの一のキーフレーム（キーフレームペアを構成する一のキーフレーム）から抽出した特徴領域と同一位置の領域を、当該２枚のキーフレームの他のキーフレーム（当該キーフレームペアを構成する他キーフレーム）の特徴量算出対象領域として抽出する。但し、特徴量算出対象領域抽出部３０は、一のキーフレームから抽出した特徴領域と同一位置の領域を他のキーフレームの特徴量算出対象領域として抽出することに代えて、所定の座標変換式（例えば、平行移動）を利用して、一のキーフレームから抽出した特徴領域を座標変換した領域を他のキーフレームの特徴量算出対象領域として抽出してもよい。
【００３８】
特徴量算出対象領域抽出部３０は、抽出した特徴量算出対象領域を特徴量算出部４０に供給する。なお、上記特徴量算出対象領域は１ピクセル以上であればよい。即ち、１ピクセルである特徴量算出対象点も上記特徴量算出対象領域である。特徴領域に関しても同様である。
【００３９】
なお、特徴量算出対象領域抽出部３０は、抽出した特徴量算出対象領域の中から特徴量を算出すべきでない領域を判別し、特徴量を算出すべき特徴量算出対象領域のみを特徴量算出対象領域を特徴量算出部４０に供給してもよい。
【００４０】
以下、特徴量算出対象領域抽出部３０による、２枚のキーフレームの各キーフレームから、特徴量算出対象領域として特徴領域をそれぞれ抽出するとともに、２枚のキーフレームの各キーフレームから、他方のキーフレームから抽出した特徴領域に基づいて更に特徴量算出対象領域を抽出する処理、および、抽出後の特徴量算出対象領域の中から特徴量を算出すべきでない領域を判別する処理の詳細を説明する。
【００４１】
特徴量算出対象領域抽出部３０は、キーフレーム抽出部２０から取得した全キーフレームペアを対象に以下の処理を行う。なお、キーフレームＩｔ−、キーフレームＩｔ＋は、ｔ番目のキーフレームペアを構成する各キーフレームである。
【００４２】
特徴量算出対象領域抽出部３０は、図２（ｃ）に示すように、キーフレームＩｔ−、Ｉｔ＋のそれぞれから特徴領域を複数抽出する（ステップＳ３０）。抽出する特徴領域はスケールおよび回転に不変で、アフィン変換にロバストな領域が望ましいが、目的によってはそのようなロバスト性は必要ない場合もある。アフィン変換にロバストな領域の抽出法としては、例えば、非特許文献３、４のような手法が利用可能である。アフィン変換へのロバスト性が求められないような場合では、単純に、Harrisオペレータ等の特徴点検出手法を利用して、その点の周辺領域を固定サイズの円（楕円）や正方形（長方形）で記述してもよい。上述の如く、特徴点を特徴領域として算出してもよい。
【００４３】
特徴領域抽出の結果、キーフレームＩｔ−、Ｉｔ＋からそれぞれＮ個およびM個の特徴領域が抽出されたとする。キーフレームＩｔ−から抽出された領域を領域Ｒｔ−[１]、領域Ｒｔ−[２]、・・・、領域Ｒｔ−[Ｎ]とすると、各領域Ｒｔ−[ｉ]（１≦i≦Ｎ）に対応するキーフレームＩｔ＋における同一領域Ｒｔ＋[ｉ]を抽出し、これらの領域のペアをt番目のキーフレームペアの特徴量算出対象領域Ｒｔ[ｉ]とする。同様に、キーフレームＩｔ＋から抽出された領域を領域Ｒｔ＋[Ｎ＋１]、領域Ｒｔ＋[Ｎ＋２]、・・・、領域Ｒｔ＋[Ｎ＋Ｍ]とすると、各領域Ｒｔ＋[ｉ]（Ｎ＋１≦i≦Ｎ＋Ｍ）に対応するキーフレームＩｔ−における同一領域Ｒｔ−[ｉ]を抽出し、これらの領域のペアをt番目のキーフレームペアの特徴量算出対象領域Ｒｔ[ｉ]とする。以上の処理により、図３（ａ）に示すように、t番目のキーフレームペアにはＮ＋Ｍ個の特徴量算出対象領域Ｒｔ[ｉ]（1≦i≦Ｎ＋Ｍ）が抽出される。
【００４４】
続いて、特徴量算出対象領域抽出部３０は、各特徴量算出対象領域Ｒｔ[ｉ]から特徴量を算出すべきか否かを判断する（ステップＳ３１）。特徴領域として抽出した特徴量算出対象領域Ｒｔ−[ｉ]（1≦i≦N）および特徴量算出対象領域Ｒｔ＋[ｉ]（Ｎ＋１≦i≦Ｎ＋Ｍ）は、一般にエッジやblobを含むため、当該特徴量算出対象領域から特徴量を抽出してもよいが、特徴量算出対象領域Ｒｔ＋[ｉ]（１≦i≦Ｎ）および特徴量算出対象領域Ｒｔ−[ｉ]（Ｎ＋１≦i≦Ｎ＋Ｍ）は、特徴量算出対象領域Ｒｔ−[ｉ]（1≦i≦N）および特徴量算出対象領域Ｒｔ＋[ｉ]（Ｎ＋１≦i≦Ｎ＋Ｍ）に対応する領域として単に抽出されたものに過ぎずエッジやblobを含むとは限らないからである。即ち、特徴量算出対象領域Ｒｔ＋[ｉ]（１≦i≦Ｎ）および特徴量算出対象領域Ｒｔ−[ｉ]（Ｎ＋１≦i≦Ｎ＋Ｍ）は、領域全体が輝度の変動（分散）が少ない平坦領域である可能性がある。即ち、特徴量算出対象領域抽出部３０は、特徴量算出対象領域の領域内の輝度の分散に基づいて、当該特徴量算出対象領域が平坦領域であるか否かを判断することによって、当該特徴量算出対象領域から特徴量を算出すべきか否かを判断する。特徴量算出対象領域抽出部３０は、当該特徴量算出対象領域から特徴量を算出すべきでないと判断した場合（ステップＳ３１：Ｎｏ）、当該特徴量算出対象領域を特徴量算出部４０に供給する対象から除外する（ステップＳ３２）。例えば、特徴量算出対象領域抽出部３０は、ステップＳ３０によって抽出した特徴量算出対象領域を全て記憶している一時領域から当該特徴量算出対象領域を消去する。
【００４５】
また、特徴量算出対象領域Ｒｔ−[ｉ]および特徴量算出対象領域Ｒｔ＋[ｉ]が同一の特徴を示す場合がある。例えば、瞬時カットが画面内の一部分の変化によって検出される場合等に生じる。このような場合、特徴量ベクトルが強い相関を有し、特徴量を算出する領域を増やすメリットが薄れるため、このような領域からも特徴量を算出しないようにしてもよい。例えば、特徴量算出対象領域抽出部３０は、特徴量算出対象領域Ｒｔ−[ｉ]および特徴量算出対象領域Ｒｔ＋[ｉ]の輝度の平均絶対誤差（ＭＡＥ）を算出し、平均絶対誤差が所定の閾値以下の場合、特徴量算出対象領域Ｒｔ−[ｉ]および特徴量算出対象領域Ｒｔ＋[ｉ]が相互に似ていると判断し、当該特徴量算出対象領域の少なくとも一方を特徴量算出部４０に供給する対象から除外する。
【００４６】
特徴量算出部４０は、特徴量算出対象領域抽出部３０によって抽出された特徴量算出対象領域から特徴量を算出する。具体的には、特徴量算出部４０は、２枚のキーフレームの一方のキーフレームの特徴量算出対象領域の輝度勾配ヒストグラムに基づいて主軸を決定し、当該主軸に基づいて当該２枚のキーフレームの特徴量算出対象領域から特徴量を算出する。
【００４７】
また、特徴量算出部４０は、２枚のキーフレームの各キーフレームの特徴量算出対象領域の輝度勾配ヒストグラムに基づいて各主軸を決定し、各主軸に基づいて当該２枚のキーフレームの特徴量算出対象領域から特徴量を算出してもよい。なお、特徴量算出部４０は、各主軸がなす角度を特徴量として算出してもよい（特徴量とし角度のみを算出してもよいし、複数の特徴量の１つとして角度を算出してもよい）。
【００４８】
なお、特徴量算出部４０は、主軸に直交する方向の輝度勾配ヒストグラムに基づき特徴量算出対象領域を反転するか否かを判断し反転すると判断した場合に、反転後の特徴量算出対象領域から特徴量を算出してもよい。また、特徴量算出部４０は、各主軸がなす角度に基づき特徴量算出対象領域を反転するか否かを判断し反転すると判断した場合に、反転後の特徴量算出対象領域から特徴量を算出してもよい。
【００４９】
より詳細には、図２（ｄ）に示すように、特徴量算出部４０は、例えば、特徴量算出対象領域抽出部３０から取得した特徴量算出対象領域から特徴量ベクトルを抽出する。特徴量としては、例えばMPEG-7で公開されているdominant color、scalable color、color structure、color layout、edge histogram、contour shape等が利用できる。回転、コントラストの変化、輝度のシフト等にロバストな特徴量として非特許文献４で利用されているＨＯＧ（histogram of oriented gradient）を利用してもよい。
【００５０】
以下、特徴量算出部４０による特徴量の算出処理を、図３（ｂ）を参照し更に説明する。図３（ｂ）は、領域検出に非特許文献４で提案されているHarris-Affine detectorが利用され、特徴量の記述に非特許文献４で利用されているＨＯＧを利用した場合の特徴量の算出処理例である。なお、１≦i≦Ｎのであるものとする。
【００５１】
まず、特徴量算出部４０は、特徴量算出対象領域Ｒｔ−[ｉ]および特徴量算出対象領域Ｒｔ＋[ｉ]を正円化する（ステップＳ４０）。特徴量算出部４０は、非特許文献４で行われているように、輝度勾配ヒストグラムを基に特徴量を記述する為の主軸を決定する（ステップＳ４１）。具体的には、特徴量算出部４０は、特徴量算出対象領域Ｒｔ−[ｉ]および特徴量算出対象領域Ｒｔ＋[ｉ]のうち、特徴領域として抽出された特徴量算出対象領域（１≦ｉ≦Ｎであれば特徴量算出対象領域Ｒｔ−[ｉ]、Ｎ＋１≦ｉ≦Ｎ＋Ｍであれば特徴量算出対象領域Ｒｔ＋[ｉ]）を対象として、対象とした特徴量算出対象領域から主軸を決定する。なお、特徴量算出部４０は、常に、特徴量算出対象領域Ｒｔ−[ｉ]または特徴量算出対象領域Ｒｔ＋[ｉ]の何れか一方を対象としてもよい。また、特徴量算出部４０は、常に、特徴量算出対象領域Ｒｔ−[ｉ]および特徴量算出対象領域Ｒｔ＋[ｉ]の双方を対象としてもよい。
【００５２】
主軸を決定した特徴量算出部４０は、主軸に沿って固定ブロック数（図３（ｂ）では４×４）で構成されるパッチが作成され、ＨＯＧ特徴量が抽出される（ステップＳ４２）。また、主軸を基準として、−π＜θ＜０および０＜θ＜πとなる方向の輝度勾配ヒストグラム度数の合計をＨＲおよびＨＬとすると、常にＨＲ＞ＨＬとなるように特徴量算出対象領域Ｒｔ−[ｉ]およびＲｔ＋[ｉ]を反転させた後にパッチを作成することで、鏡像に不変な特徴量算出対象領域を用いてもよい。
【００５３】
なお、パッチが作成されると、非特許文献４では、４×４のブロックからそれぞれ８次元ベクトルが抽出されるため、合計１２８次元の特徴ベクトルが作成される。本実施形態では、同様に、特徴量算出対象領域Ｒｔ−[ｉ]および特徴量算出対象領域Ｒｔ＋[ｉ]から１２８次元の特徴ベクトルが抽出されるため、２５６次元の特徴ベクトルが作成される。特徴ベクトルの次元が高くなると、特徴量の蓄積コスト及び探索コストが増加することが懸念される場合がある。そのような場合には、パッチを３×３より少ないブロック数としてもよい。３×３の場合には、１４４次元の特徴ベクトルとなる。これは従来の特徴ベクトルの次元とほとんど変わらないが、パッチの各ブロックのサイズが大きいため、より位置ずれ、回転、その他のノイズにロバストになる。
【００５４】
図３（ｃ）は、特徴量算出部４０が特徴量算出対象領域Ｒｔ−[ｉ]および特徴量算出対象領域Ｒｔ＋[ｉ]の両方から主軸を決定する場合の例である。この場合、特徴量算出部４０は、特徴量算出対象領域Ｒｔ−[ｉ]および特徴量算出対象領域Ｒｔ＋[ｉ]において個別に特徴ベクトルを作成する。
【００５５】
なお、特徴量算出部４０は、特徴量算出対象領域Ｒｔ−[ｉ]の主軸と特徴量算出対象領域Ｒｔ＋[ｉ]の主軸のなす角度（主軸同士の角度差）θ（−π≦θ＜π）を特徴ベクトルとしてもよい。なお、抽出した特徴ベクトルをマッチングするような際には、近い角度差θに絞ってマッチングし、或いは、角度差θによってマッチングデータを格納するデータベースを分類するなどの態様が可能になるため、コンテンツの識別、認識、検索などの処理速度が向上する。
【００５６】
また、特徴量算出部４０は、上記角度差θが常に０＜θ＜πとなるように特徴量算出対象領域Ｒｔ−[ｉ]や特徴量算出対象領域Ｒｔ＋[ｉ]を反転させて、反転後の特徴量算出対象領域から特徴ベクトルを算出してもよい。反転後の特徴量算出対象領域から特徴ベクトルを算出することによって、鏡像に不変（ロバスト）な特徴量を算出することができるようになる。
【００５７】
以上、特徴量算出装置１によれば、時間軸上の一部分を切り出した動画コンテンツ、全体が圧縮ノイズなどによって劣化した動画コンテンツなど従来は正確に識別（検出）できなかった動画コンテンツを、正確に識別することができるようになる。
【００５８】
なお、本発明の一実施形態による特徴量算出装置１の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本発明の一実施形態による特徴量算出装置１の各処理に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００５９】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００６０】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００６１】
１ 特徴量算出装置 １０ コンテンツ取得部 ２０ キーフレーム検出部 ３０ 特徴量算出対象領域抽出部 ４０ 特徴量算出部
【特許請求の範囲】
【請求項１】
コンテンツを取得するコンテンツ取得部と、
前記コンテンツ取得部によって取得されたコンテンツから瞬時カット点を検出し、前記瞬時カット点を基準に前記コンテンツから２枚のフレームをキーフレームとして抽出するキーフレーム抽出部と、
前記キーフレーム抽出部によって抽出された前記２枚のキーフレームから特徴量算出対象領域を抽出する特徴量算出対象領域抽出部と、
前記特徴量算出対象領域抽出部によって抽出された前記特徴量算出対象領域から特徴量を算出する特徴量算出部と
を備えることを特徴とする特徴量算出装置。
【請求項２】
前記キーフレーム抽出部は、
前記瞬時カット点の前後のフレームを前記２枚のキーフレームとして抽出する
ことを特徴とする請求項１に記載の特徴量算出装置。
【請求項３】
前記特徴量算出対象領域抽出部は、
前記２枚のキーフレーム全体を特徴量算出対象領域として抽出する
ことを特徴とする請求項１または請求項２の何れか１項に記載の特徴量算出装置。
【請求項４】
前記特徴量算出対象領域抽出部は、
前記２枚のキーフレームそれぞれから独立に前記特徴量算出対象領域を抽出する
ことを特徴とする請求項１または請求項２の何れか１項に記載の特徴量算出装置。
【請求項５】
前記特徴量算出対象領域抽出部は、
前記２枚のキーフレームの一方のキーフレームの前記特徴量算出対象領域として、前記一方のキーフレームから特徴領域を抽出するとともに、
前記一方のキーフレームから抽出した特徴領域に基づいて、前記２枚のキーフレームの他方のキーフレームの前記特徴量算出対象領域を前記他方のキーフレームから抽出する
ことを特徴とする請求項１または請求項２の何れか１項に記載の特徴量算出装置。
【請求項６】
前記特徴量算出対象領域抽出部は、
前記２枚のキーフレームの各キーフレームから、前記特徴量算出対象領域として特徴領域をそれぞれ抽出するとともに他方のキーフレームから抽出した特徴領域に基づいて更に前記特徴量算出対象領域を抽出する
ことを特徴とする請求項１または請求項２の何れか１項に記載の特徴量算出装置。
【請求項７】
前記特徴量算出対象領域抽出部は、
前記２枚のキーフレームの一のキーフレームから抽出した特徴領域と同一位置の領域を前記２枚のキーフレームの他のキーフレームの前記特徴量算出対象領域として抽出する
ことを特徴とする請求項５または請求項６の何れか１項に記載の特徴量算出装置。
【請求項８】
前記特徴量算出部は、
前記２枚のキーフレームの一方のキーフレームの前記特徴量算出対象領域の輝度勾配ヒストグラムに基づいて主軸を決定し、前記主軸に基づいて前記２枚のキーフレームの前記特徴量算出対象領域から特徴量を算出する
ことを特徴とする請求項１から請求項７の何れか１項に記載の特徴量算出装置。
【請求項９】
前記特徴量算出部は、
前記２枚のキーフレームの各キーフレームの前記特徴量算出対象領域の輝度勾配ヒストグラムに基づいて各主軸を決定し、前記各主軸に基づいて前記２枚のキーフレームの前記特徴量算出対象領域から特徴量を算出する
ことを特徴とする請求項１から請求項７の何れか１項に記載の特徴量算出装置。
【請求項１０】
前記特徴量算出部は、
前記各主軸がなす角度を特徴量として算出する
ことを特徴とする請求項９に記載の特徴量算出装置。
【請求項１１】
前記特徴量算出部は、
前記主軸に直交する方向の輝度勾配ヒストグラムに基づき前記特徴量算出対象領域を反転するか否かを判断し反転すると判断した場合に、反転後の前記特徴量算出対象領域から特徴量を算出する
ことを特徴とする請求項８から請求項１０に記載の特徴量算出装置。
【請求項１２】
前記特徴量算出部は、
前記各主軸がなす角度に基づき前記特徴量算出対象領域を反転するか否かを判断し反転すると判断した場合に、反転後の前記特徴量算出対象領域から特徴量を算出する
ことを特徴とする請求項９または請求項１０の何れか１項に記載の特徴量算出装置。
【請求項１３】
特徴量を抽出する特徴量算出装置のコンピュータに、
コンテンツを取得するコンテンツ取得ステップと、
前記コンテンツ取得部ステップによって取得されたコンテンツから瞬時カット点を検出し、前記瞬時カット点を基準に前記コンテンツから２枚のフレームをキーフレームとして抽出するキーフレーム抽出ステップと、
前記キーフレーム抽出ステップによって抽出された前記２枚のキーフレームから特徴量算出対象領域を抽出する特徴量算出対象領域抽出ステップと、
前記特徴量算出対象領域抽出ステップによって抽出された前記特徴量算出対象領域から特徴量を算出する特徴量算出ステップと
を実行させることを特徴とするプログラム。
【請求項１】
コンテンツを取得するコンテンツ取得部と、
前記コンテンツ取得部によって取得されたコンテンツから瞬時カット点を検出し、前記瞬時カット点を基準に前記コンテンツから２枚のフレームをキーフレームとして抽出するキーフレーム抽出部と、
前記キーフレーム抽出部によって抽出された前記２枚のキーフレームから特徴量算出対象領域を抽出する特徴量算出対象領域抽出部と、
前記特徴量算出対象領域抽出部によって抽出された前記特徴量算出対象領域から特徴量を算出する特徴量算出部と
を備えることを特徴とする特徴量算出装置。
【請求項２】
前記キーフレーム抽出部は、
前記瞬時カット点の前後のフレームを前記２枚のキーフレームとして抽出する
ことを特徴とする請求項１に記載の特徴量算出装置。
【請求項３】
前記特徴量算出対象領域抽出部は、
前記２枚のキーフレーム全体を特徴量算出対象領域として抽出する
ことを特徴とする請求項１または請求項２の何れか１項に記載の特徴量算出装置。
【請求項４】
前記特徴量算出対象領域抽出部は、
前記２枚のキーフレームそれぞれから独立に前記特徴量算出対象領域を抽出する
ことを特徴とする請求項１または請求項２の何れか１項に記載の特徴量算出装置。
【請求項５】
前記特徴量算出対象領域抽出部は、
前記２枚のキーフレームの一方のキーフレームの前記特徴量算出対象領域として、前記一方のキーフレームから特徴領域を抽出するとともに、
前記一方のキーフレームから抽出した特徴領域に基づいて、前記２枚のキーフレームの他方のキーフレームの前記特徴量算出対象領域を前記他方のキーフレームから抽出する
ことを特徴とする請求項１または請求項２の何れか１項に記載の特徴量算出装置。
【請求項６】
前記特徴量算出対象領域抽出部は、
前記２枚のキーフレームの各キーフレームから、前記特徴量算出対象領域として特徴領域をそれぞれ抽出するとともに他方のキーフレームから抽出した特徴領域に基づいて更に前記特徴量算出対象領域を抽出する
ことを特徴とする請求項１または請求項２の何れか１項に記載の特徴量算出装置。
【請求項７】
前記特徴量算出対象領域抽出部は、
前記２枚のキーフレームの一のキーフレームから抽出した特徴領域と同一位置の領域を前記２枚のキーフレームの他のキーフレームの前記特徴量算出対象領域として抽出する
ことを特徴とする請求項５または請求項６の何れか１項に記載の特徴量算出装置。
【請求項８】
前記特徴量算出部は、
前記２枚のキーフレームの一方のキーフレームの前記特徴量算出対象領域の輝度勾配ヒストグラムに基づいて主軸を決定し、前記主軸に基づいて前記２枚のキーフレームの前記特徴量算出対象領域から特徴量を算出する
ことを特徴とする請求項１から請求項７の何れか１項に記載の特徴量算出装置。
【請求項９】
前記特徴量算出部は、
前記２枚のキーフレームの各キーフレームの前記特徴量算出対象領域の輝度勾配ヒストグラムに基づいて各主軸を決定し、前記各主軸に基づいて前記２枚のキーフレームの前記特徴量算出対象領域から特徴量を算出する
ことを特徴とする請求項１から請求項７の何れか１項に記載の特徴量算出装置。
【請求項１０】
前記特徴量算出部は、
前記各主軸がなす角度を特徴量として算出する
ことを特徴とする請求項９に記載の特徴量算出装置。
【請求項１１】
前記特徴量算出部は、
前記主軸に直交する方向の輝度勾配ヒストグラムに基づき前記特徴量算出対象領域を反転するか否かを判断し反転すると判断した場合に、反転後の前記特徴量算出対象領域から特徴量を算出する
ことを特徴とする請求項８から請求項１０に記載の特徴量算出装置。
【請求項１２】
前記特徴量算出部は、
前記各主軸がなす角度に基づき前記特徴量算出対象領域を反転するか否かを判断し反転すると判断した場合に、反転後の前記特徴量算出対象領域から特徴量を算出する
ことを特徴とする請求項９または請求項１０の何れか１項に記載の特徴量算出装置。
【請求項１３】
特徴量を抽出する特徴量算出装置のコンピュータに、
コンテンツを取得するコンテンツ取得ステップと、
前記コンテンツ取得部ステップによって取得されたコンテンツから瞬時カット点を検出し、前記瞬時カット点を基準に前記コンテンツから２枚のフレームをキーフレームとして抽出するキーフレーム抽出ステップと、
前記キーフレーム抽出ステップによって抽出された前記２枚のキーフレームから特徴量算出対象領域を抽出する特徴量算出対象領域抽出ステップと、
前記特徴量算出対象領域抽出ステップによって抽出された前記特徴量算出対象領域から特徴量を算出する特徴量算出ステップと
を実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１０−２６３３２７（Ｐ２０１０−２６３３２７Ａ）
【公開日】平成２２年１１月１８日（２０１０．１１．１８）
【国際特許分類】
【出願番号】特願２００９−１１１４７９（Ｐ２００９−１１１４７９）
【出願日】平成２１年４月３０日（２００９．４．３０）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２２年１１月１８日（２０１０．１１．１８）
【国際特許分類】
【出願日】平成２１年４月３０日（２００９．４．３０）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]