動画コンテンツ識別装置および動画コンテンツ識別方法
【課題】参照動画コンテンツの時間軸上の一部分を切り出したり、参照動画コンテンツにテロップやロゴが挿入されたりしても、動画コンテンツの識別を可能とし、その処理を高速に行なう。
【解決手段】動画コンテンツを入力する動画コンテンツ入力部１１と、入力された動画コンテンツを構成する複数のフレームからキーフレームを選択し、選択したキーフレームの特徴量を抽出する特徴量抽出部１２と、動画コンテンツ入力部１１から識別動画コンテンツが入力され、特徴量抽出部１２が識別動画コンテンツに含まれる前記キーフレームの特徴量を抽出した場合、抽出された特徴量毎に、データベース１３に格納されている参照動画コンテンツのキーフレームの特徴量を検索するデータベース検索部１４と、を備える。
【解決手段】動画コンテンツを入力する動画コンテンツ入力部１１と、入力された動画コンテンツを構成する複数のフレームからキーフレームを選択し、選択したキーフレームの特徴量を抽出する特徴量抽出部１２と、動画コンテンツ入力部１１から識別動画コンテンツが入力され、特徴量抽出部１２が識別動画コンテンツに含まれる前記キーフレームの特徴量を抽出した場合、抽出された特徴量毎に、データベース１３に格納されている参照動画コンテンツのキーフレームの特徴量を検索するデータベース検索部１４と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ハードディスクドライブやその他のメディア、ネットワークストレージ等に
保存されている動画コンテンツが、特定の動画コンテンツの一部を含むか否かを判定する
動画コンテンツ識別装置および動画コンテンツ識別方法に関する。
【背景技術】
【０００２】
近年のブロードバンドの普及、およびHDD(Hard Disk Drive）、DVD（Digital Versatile Disk）、Blu-ray disc等のストレージの大容量化に伴って、デジタルコンテンツを著作権者やコンテンツプロバイダの許諾を得ずに、ネットワークを介して共有・公開することが容易になってきており、このような不正な共有・公開が問題となっている。このような問題に対して、デジタルコンテンツの指紋（特徴量）を利用して、複数のデジタルコンテンツの中から、著作権者が自由配布を許諾していない特定のコンテンツを自動的に検出する技術が提案されている。
【０００３】
特許文献１では、三次元周波数解析と主成分分析を用いて、コンテンツの特徴量を記述している。この手法では、空間周波数解析（DCT）で得られた係数に時間軸方向への周波数解析（FFT）を加えた三次元周波数解析を行ない、さらに主成分分析により三次元周波数解析で得られた係数から特徴量を抽出している。特許文献２では、特許文献１で利用されている特徴量を用いて、流通コンテンツと類似している特定コンテンツを絞り込み、絞り込めない場合には、位相限定相関法を用いて流通コンテンツと最も類似している特定コンテンツを決定し、閾値によって同一コンテンツであるか否かを判定している。
【０００４】
非特許文献１では、映像の各フレーム全体からカラーレイアウトと呼ばれる特徴量を抽出し、複数のフレームをシーケンシャルにマッチングさせることで、映像の一部分が切り取られる等の時間的編集が行われた場合でも検出を可能にしている。
【０００５】
また、非特許文献２では、映像の各フレームからコーナーと呼ばれる特徴点を検出し、その周辺から特徴量を抽出し、各特徴点をマッチングさせることによって、切り取り等の編集が行なわれた場合であっても、不正流通コンテンツを検出できるようにしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−１８６７５号公報
【特許文献２】特開２００６−２８５９０７号公報
【非特許文献】
【０００７】
【非特許文献１】E. Kasutani and A. Yamada, “The MPEG-7 color layout descriptor: a compact image feature description for high-speed image/video segment retrieval,” in Proc. of ICIP, 2001, pp. 674-677.
【非特許文献２】J. Law-To et al., “Video Copy Detection: A Comparative Study,”in Proc. ACM CIVR’07, pp. 371-378, 2007.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１および２で開示されている手法では、動画コンテンツ１つから１つの特徴量を抽出するため、例えば、動画コンテンツを２つに分割する等の時間軸方向の編集が行なわれると検出ができなくなるという問題がある。非特許文献１で開示されている手法では、画面全体から１つの特徴量のみを抽出しているため、テロップやロゴを挿入するような空間的編集が行われると検出ができなくなる問題がある。また、非特許文献２で開示されている手法では、１画面から数十個の特徴点を抽出し、それら全てをマッチングさせているため、特徴点の抽出およびマッチングに時間がかかりすぎるという問題がある。
【０００９】
本発明は、このような事情に鑑みてなされたものであり、参照動画コンテンツの時間軸上の一部分を切り出したり、参照動画コンテンツにテロップやロゴが挿入されたりしても、動画コンテンツの識別を可能とし、その処理を高速に行なうことができる動画コンテンツ識別装置および動画コンテンツ識別方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の動画コンテンツ識別装置は、識別対象である識別動画コンテンツが、識別基準である参照動画コンテンツの全部または一部を含むかどうかを判定する動画コンテンツ識別装置であって、前記動画コンテンツを入力する動画コンテンツ入力部と、前記入力された動画コンテンツを構成する複数のフレームからキーフレームを選択し、前記選択したキーフレームの特徴量を抽出する特徴量抽出部と、前記動画コンテンツ入力部から前記識別動画コンテンツが入力され、前記特徴量抽出部が前記識別動画コンテンツに含まれる前記キーフレームの特徴量を抽出した場合、前記抽出された特徴量毎に、データベースに格納されている前記参照動画コンテンツのキーフレームの特徴量を検索するデータベース検索部と、を備え、前記検索の結果、前記識別動画コンテンツの特徴量に対応する前記参照動画コンテンツの特徴量の個数に基づいて、前記識別動画コンテンツが前記参照動画コンテンツの全部または一部を含むかどうかの判定を行なうことを特徴としている。
【００１１】
このように、識別動画コンテンツのキーフレームの特徴量を抽出し、抽出された特徴量毎に、データベースに格納されている参照動画コンテンツのキーフレームの特徴量を検索し、識別動画コンテンツの特徴量に対応する参照動画コンテンツの特徴量の個数に基づいて、識別動画コンテンツが参照動画コンテンツの全部または一部を含むかどうかの判定を行なうので、識別動画コンテンツの全部または一部が、参照動画コンテンツの時間軸上の一部分を切り出したり、参照動画コンテンツにテロップやロゴが挿入されたりした場合であっても、動画コンテンツの識別が可能となり、検索時間の短縮および検索の精度を高めることが可能となる。
【００１２】
（２）また、本発明の動画コンテンツ識別装置において、前記特徴量抽出部は、前記動画コンテンツ入力部から前記識別動画コンテンツが入力された場合、前記選択した識別動画コンテンツのキーフレームのタイムコードを取得し、前記データベース検索部は、前記識別動画コンテンツの特徴量におけるタイムコードと、前記識別動画コンテンツの特徴量に対応する前記参照動画コンテンツの特徴量におけるタイムコードとの差分値を、前記識別動画コンテンツの特徴量毎に算出し、同じ値の前記差分値の個数が、所定の閾値以上であった場合、前記識別動画コンテンツは前記参照動画コンテンツの全部または一部を含むと判定することを特徴としている。
【００１３】
このように、識別動画コンテンツの特徴量におけるタイムコードと、識別動画コンテンツの特徴量に対応する参照動画コンテンツの特徴量におけるタイムコードとの差分値を、識別動画コンテンツの特徴量毎に算出し、同じ値の前記差分値の個数が、所定の閾値以上であった場合、識別動画コンテンツは参照動画コンテンツの全部または一部を含むと判定するので、識別動画コンテンツの全部または一部が、参照動画コンテンツの時間軸上の一部分を切り出したものである場合でも、動画コンテンツの識別が可能となる。
【００１４】
（３）また、本発明の動画コンテンツ識別装置は、前記動画コンテンツ入力部から前記参照動画コンテンツが入力され、前記特徴量抽出部で前記参照動画コンテンツに含まれる前記キーフレームの特徴量が抽出された場合、前記抽出された参照動画コンテンツに含まれる前記キーフレームの特徴量を蓄積する特徴量蓄積部をさらに備えることを特徴としている。
【００１５】
このように、動画コンテンツ入力部から参照動画コンテンツが入力され、特徴量抽出部で参照動画コンテンツに含まれるキーフレームの特徴量が抽出された場合、抽出された参照動画コンテンツに含まれるキーフレームの特徴量を蓄積し、データベースを構築するので、識別基準となる参照動画コンテンツのデータベースを構築することが可能となる。
【００１６】
（４）また、本発明の動画コンテンツ隙別装置において、前記特徴量抽出部は、予め設定された複数の領域に対して、独立にキーフレームを設定することを特徴としている。
【００１７】
このように、予め設定された複数の領域に対して、独立にキーフレームを設定するので、参照動画コンテンツの時間軸上の一部分を切り出したり、参照動画コンテンツにテロップやロゴが挿入されたりしても、動画コンテンツの識別が可能となる。
【００１８】
（５）また、本発明の動画コンテンツ識別装置において、前記特徴量抽出部は、前記キーフレームから予め設定された複数の領域から、それぞれ特徴量を抽出することを特徴としている。
【００１９】
このように、キーフレームから予め設定された複数の領域から、それぞれ特徴量を抽出するので、識別動画コンテンツのキーフレーム中にキャプションやロゴが挿入された場合であっても、高い検索精度を実現することが可能となる。
【００２０】
（６）また、本発明の動画コンテンツ識別装置において、前記特徴量蓄積部は、前記抽出した特徴量毎にインデックスを作成することを特徴としている。
【００２１】
このように、抽出した特徴量毎にインデックスを作成するので、識別動画コンテンツの特徴量を用いて検索を行なう際に、処理の高速化を図ることが可能となる。
【００２２】
（７）また、本発明の動画コンテンツ識別装置において、前記データベース検索部は、前記特徴量抽出部で抽出された識別動画コンテンツのキーフレームおよび前記特徴量について、重要度を設定することを特徴としている。
【００２３】
このように、特徴量抽出部で抽出された識別動画コンテンツのキーフレームおよび特徴量について、重要度を設定するので、この重要度の高い特徴量から検索を行なうことによって、一定時間で検索を打ち切った場合であっても、検索精度を高く維持することが可能となる。
【００２４】
（８）また、本発明の動画コンテンツ識別装置において、前記重要度は、キーフレームの時間的安定性および特徴量の特異性に基づいて設定されることを特徴としている。
【００２５】
このように、重要度は、キーフレームの時間的安定性および特徴量の特異性に基づいて設定されるので、検索を一定時間で打ち切ることができ、さらにその際の精度をなるべく高く維持することが可能となる。
【００２６】
（９）また、本発明の動画コンテンツ識別方法は、識別対象である識別動画コンテンツが、識別基準である参照動画コンテンツの全部または一部を含むかどうかを判定する動画コンテンツ識別方法であって、動画コンテンツ入力部から前記動画コンテンツを入力するステップと、特徴量抽出部において、前記入力された動画コンテンツを構成する複数のフレームからキーフレームを選択し、前記選択したキーフレームの特徴量を抽出するステップと、前記動画コンテンツ入力部から前記識別動画コンテンツが入力され、前記特徴量抽出部が前記識別動画コンテンツに含まれる前記キーフレームの特徴量を抽出した場合、データベース検索部において、前記抽出された特徴量毎に、データベースに格納されている前記参照動画コンテンツのキーフレームの特徴量を検索するステップと、前記検索の結果、前記識別動画コンテンツの特徴量に対応する前記参照動画コンテンツの特徴量の個数に基づいて、前記識別動画コンテンツが前記参照動画コンテンツの全部または一部を含むかどうかの判定を行なうステップと、を少なくとも含むことを特徴としている。
【００２７】
このように、識別動画コンテンツのキーフレームの特徴量を抽出し、抽出された特徴量毎に、データベースに格納されている参照動画コンテンツのキーフレームの特徴量を検索し、識別動画コンテンツの特徴量に対応する参照動画コンテンツの特徴量の個数に基づいて、識別動画コンテンツが参照動画コンテンツの全部または一部を含むかどうかの判定を行なうので、識別動画コンテンツの全部または一部が、参照動画コンテンツの時間軸上の一部分を切り出したり、参照動画コンテンツにテロップやロゴが挿入されたりした場合であっても、動画コンテンツの識別が可能となり、検索時間の短縮および検索の精度を高めることが可能となる。
【発明の効果】
【００２８】
本発明によれば、識別動画コンテンツのキーフレームの特徴量を抽出し、抽出された特徴量毎に、データベースに格納されている参照動画コンテンツのキーフレームの特徴量を検索し、識別動画コンテンツの特徴量に対応する参照動画コンテンツの特徴量の個数に基づいて、識別動画コンテンツが参照動画コンテンツの全部または一部を含むかどうかの判定を行なうので、識別動画コンテンツの全部または一部が、参照動画コンテンツの時間軸上の一部分を切り出したり、参照動画コンテンツにテロップやロゴが挿入されたりした場合であっても、動画コンテンツの識別が可能となり、検索時間の短縮および検索の精度を高めることが可能となる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施形態に係る動画コンテンツ識別装置のブロック図である。
【図２Ａ】矩形領域Riの設定の例を示す図である。
【図２Ｂ】矩形領域Riの設定の例を示す図である。
【図２Ｃ】矩形領域Riの設定の例を示す図である。
【図３】いずれかのフレームを選択し、矩形領域Riの特徴量xi(t)を抽出する様子を示す図である。
【図４】Color layoutによる特徴量の抽出の方法を示す図である。
【図５】キーフレーム候補を選択する概念を示す図である。
【図６】特徴量抽出部１２の動作を示すフローチャートである。
【図７】キーフレームを選択する動作を示すフローチャートである。
【図８】データベース検索動作を示すフローチャートである。
【発明を実施するための形態】
【００３０】
以下、本発明の実施形態について図面を参照して説明する。本実施形態では、予め検出を行なおうとする著作権コンテンツを参照動画コンテンツとして入力し、特徴量を抽出しデータベースを構築しておく。その後、入力された識別動画コンテンツについて、参照動画コンテンツの一部が識別動画コンテンツに含まれているか否かを判定する。
【００３１】
図１は、本発明の実施形態に係る動画コンテンツ識別装置のブロック図である。図１に示すように、動画コンテンツ識別装置１０は、動画コンテンツ入力部１１、特徴量抽出部１２、データベース１３、データベース検索部１４、および特徴量蓄積部１５から構成されている。また、これらの構成要素は、制御バス１６に接続され、相互に信号の送受信を行なうことができる。
【００３２】
動画コンテンツ識別装置１０は、動画コンテンツ入力部１１から参照動画コンテンツおよび識別動画コンテンツを入力する。動画コンテンツ入力部１１は、著作権者やコンテンツプロバイダから提供された参照用の動画コンテンツを入力する。通常は、複数の参照動画コンテンツが入力されるが、本実施形態では、入力された参照動画コンテンツ全てを連結し、１つの動画が入力されたものとして取り扱う。また、動画コンテンツ入力部１１は、識別すべき動画コンテンツ、例えば、動画共有サイトにアップロードされた動画コンテンツや、様々なストレージに蓄積された動画コンテンツを入力する。
【００３３】
特徴量抽出部１２において、参照動画コンテンツおよび識別動画コンテンツの特徴量を抽出する。特徴量抽出部１２では、参照動画コンテンツおよび識別動画コンテンツから特徴量を抽出する。動画コンテンツ入力部１１から入力された動画コンテンツ（の映像信号）が、ＭＰＥＧ−２、Ｈ．２６４等の圧縮方式で圧縮されている場合は、伸張を行なう。ここでは、予め決定しておいた矩形領域Riごとに次の処理を行なう。なお、Riの配置と数は任意である。
【００３４】
図２Ａ〜図２Ｃは、矩形領域Riの設定の例を示す図である。図２Ａは、画面全体を１つの矩形領域とした場合である。キャプションやロゴなどが挿入されることを想定しないのであれば、この矩形領域を利用する。図２Ｂは、画面下や画面右に字幕などの編集が想定される場合の矩形領域の設定である。どちらか片方に編集が行なわれても、他方の矩形領域に影響がない。図２Ｃは、編集が行なわれる場所を予め決めない場合の矩形領域の設定である。
【００３５】
以下、領域の個数をNRとする。図３は、いずれかのフレームを選択し、矩形領域Riの特徴量xi(t)を抽出する様子を示す図である。図３に示すように、動画コンテンツの各フレームの領域Ri（1≦ i≦NR）から、特徴量xi(t) = (xi1(t), xi2(t),・・・xiNDim(t))を抽出する。なお、tは、フレーム番号、NDimは特徴量の次元数である。ここで利用する特徴量は基本的に任意である。例えば、MPEG-7に規定されている、Dominant color、Scalable color、Color structure、Color layout、Edge histogram、Contour shape、Motion activity 等を利用することができる。
【００３６】
ここでは、特徴量としてMPEG-7に規定されているColor layout を利用した場合について説明する。図４は、Color layoutによる特徴量の抽出の方法を示す図である。まず、フレームtの領域Riを、８×８に縮小する。そして、必要であればYCbCr表色系に変換する。その後、離散コサイン変換（DCT）を行ない、得られた係数のうち、低周波からY成分なら６係数、CbCr成分なら３係数をジグザグスキャンの順序で選択し、特徴量とする。この場合NDim = 12である。また、Color layout で利用する特徴量をY成分に限定し、DC係数を利用しないとすることで、グレースケール化や輝度のシフトが行なわれても変化しない特徴量とすることもできる。さらにDCTを行なう前に、ヒストグラムの正規化を行なうことでガンマ補正やコントラスト調整にロバストな特徴量とすることもできる。
【００３７】
図６は、特徴量抽出部１２の動作を示すフローチャートである。ここでtは動画コンテンツのフレーム番号、iは予め設定されている領域の番号である。図６に示すように、tを１に設定し（ステップＳ１）、iを１に設定し（ステップＳ２）、特徴量を抽出する（ステップＳ３）。次に、iに１を加算し（ステップＳ４）、iが領域の個数NRより大きくなったかどうかを判断する（ステップＳ５）。iが領域の個数NRより大きくなっていない場合は、ステップＳ３へ遷移する。一方、ステップＳ５において、iが領域の個数NRより大きくなった場合は、tに１を加算し（ステップＳ６）、tがNFよりも大きくなったかどうかを判断する（ステップＳ７）。なお、NFとは、入力動画コンテンツのフレーム数である。ステップＳ７において、tがNFよりも大きくなっていない場合は、ステップＳ２へ遷移する。一方、tがNFよりも大きくなった場合は、終了する。
【００３８】
本発明では、各フレームの領域Riから特徴量xi(t)を抽出した後、全てのフレームの特徴量を利用する代わりに、特定のフレームをキーフレームとして選択し、そのフレームの特徴量のみを利用する。すなわち、特徴量抽出部１２は、予め設定された複数の領域に対して、独立にキーフレームを設定する。そして、キーフレームから予め設定された複数の領域から、それぞれ特徴量を抽出する。
【００３９】
図５は、キーフレーム候補を選択する概念を示す図である。キーフレームの選択では、まず特徴量の第kj成分(xikj(t))が極値をとるtを候補とする(1≦kj≦NK)。ここでNKは利用する係数の数である。ノイズの影響を軽減するため、極値を求める前に、各xikj(t)に時間方向の平滑化フィルタ（ガウシアン等）をかけてもよい。具体的な極値の求め方は、x'ikj(t) = 0となるtをゼロ交差法で求める。さらに、このtが、各kjに予め定められた正の整数Wjに対して、
x’ikj(t -Wj) < x’ikj(t -Wj + 1) <・・・< x’ikj(t) <・・・< x’ikj(t +Wj- 1) < x’ikj(t +Wj)
または
x’ikj(t -Wj) > x’ikj(t -Wj + 1) >・・・> x’ikj(t) >・・・> x’ikj(t +Wj- 1) > x’ikj(t +Wj)
を満たすとき、領域Riにおいてフレームtをキーフレームとする。
【００４０】
図７は、キーフレームを選択する動作を示すフローチャートである。ここでiは予め設定されている領域の番号であり、jは極値検出に利用する係数の番号である。図７に示すように、まず、iを１に設定し（ステップＳ１１）、jを１に設定し（ステップＳ１２）、x’ikj(t)が極値となるtをすべて抽出する（ステップＳ１３）。次に、jに１を加算し（ステップＳ１４）、jがNKより大きくなったかどうかを判断する（ステップＳ１５）。jがNKより大きくなっていない場合は、ステップＳ１３へ遷移する。一方、ステップＳ１５において、jがNKより大きくなった場合は、iに１を加算し（ステップＳ１６）、iが領域の個数NRよりも大きくなったかどうかを判断する（ステップＳ１７）。ステップＳ１７において、iがNRよりも大きくなっていない場合は、ステップＳ１２へ遷移する。一方、iがNRよりも大きくなった場合は、終了する。
【００４１】
なお、特徴量抽出部１２は、参照動画コンテンツと同様に、識別動画コンテンツに対して、キーフレームを選択し、特徴量を抽出する。
【００４２】
特徴量蓄積部１５は、特徴量抽出部１２で抽出された特徴量を、検索が高速になるようにインデックス化し、データベース１３に蓄積する。特徴量抽出部１２で選択されたキーフレームおよびそのキーフレームのタイムコードをデータベース１３に蓄積する。具体的には、特徴量xi(t)、タイムコードt、ビデオIDを、領域iおよびキーフレームの選択の基準となった特徴量の第kj成分ごとにデータベースDijに蓄積する。
【００４３】
この際、検索（最近傍探索）を高速で行なうことができるように、木構造やハッシュを用いたインデックスを利用することができる。このような手法としては、R-tree、ANN（Approximate Nearest Neighbor）、LSH（Locality Sensitive Hashing）等が存在する。
【００４４】
データベース検索部１４は、特徴量抽出部１２で抽出された特徴量をデータベースから検索し、部分一致するコンテンツを検索する。データベース検索部１４では、識別動画コンテンツの一部が、参照動画コンテンツの一部から構成されていると仮定し、共通する区間を推定する。その後共通する区間候補の類似度を計算し、閾値により本当に同一の区間であるかを判定する。特徴量抽出部１２によって、領域iにおいて特徴量の第kj成分に基づいて選択されたキーフレームを、tij(1),tij(2),・・・,tij(nij)とする。nijは、領域iにおいて特徴量の第kj成分に基づいて選択されたキーフレームの数である。データベース検索部１４では、全てのi,jに対してキーフレームtij(1),tij(2),・・・,tij(nij)の特徴量と、データベースDij に蓄積されている特徴量を比較する。
【００４５】
この際に、検索を一定時間で打ち切ることができ、さらにその際の精度をなるべく保つために、データベースを検索するキーフレームに重要度を設定する。すなわち、重要度の高いキーフレームから検索を行ない、検索にかけられる時間が経過すると、そこで検索を打ち切ることとする。重要度Iij(t)は、次の数式で定義する。
Iij(t) =αPij(t) + (1 -α)・Qij(t)
ここで、Pij(t)は、キーフレームの時間的ずれに対するロバスト性を評価した項（キーフレームの時間的安定性）、Qij(t)は、キーフレームの特徴量の特異性を評価した項である。それぞれ下記で定義する。
Pij(t)=(min(xikj(t)-xikj(t-Wj),xikj(t)-xikj(t+Wj)))β
×(Σ1≦j≦NK(x'ikj(t))2)-γ
Qij(t)=dM(xi(t))
dM(xi(t))は、予め参照動画コンテンツから求めておいた特徴量の分布に対するマハラノビス距離である。β、γは、チューニングによって定めるパラメータである。
【００４６】
各キーフレームの特徴量の重要度を算出すると、重要度の高いキーフレームの特徴量からデータベース検索を行なう。本発明では、識別動画コンテンツがいずれかの参照動画コンテンツの一部の複製であったと仮定し、複製が行なわれた先頭時刻を求める。具体的には下記の通りである。
【００４７】
領域iにおいて特徴量の第kj成分に基づいて選択されたキーフレームtのタイムコードをTCとする。このキーフレームtの特徴量xi(t) の最近傍となる特徴量を、データベースDijから検索する。最近傍となった特徴量のタイムコードをTC'とする。この対応が正しければ識別動画コンテンツは時刻TC'-TCから複製されたことになるため、検索ごとにTC'-TCを推定し、投票によって、可能性の高いTC'-TCを複製候補とする。ロバスト性および速度向上のため時刻推定を固定パラメータT で量子化を行なうため、実際には[(TC'-TC)/T]に投票する。この投票は最近傍のみでなく、K近傍から投票を行なっても良い。その際には、計算時間は増加するが精度は向上する。最後に閾値Thより多くの投票が行なわれた時刻を検出結果として出力する。
【００４８】
図８は、データベース検索動作を示すフローチャートである。ここでcntは投票を行った特徴量の数のカウンタである。図８に示すように、まず、重要度を算出し（ステップＳ２１）、最も重要度の高い特徴量で検索を行なう（ステップＳ２２）。次に、上記の投票を行ない（ステップＳ２３）、cntに１を加算する（ステップＳ２４）。そして、cntが閾値Th2よりも大きくなったかどうかを判断する（ステップＳ２５）。ステップＳ２５において、cntが閾値Th2よりも大きくなっていない場合は、ステップＳ２２へ遷移する。一方、cntが閾値Th2よりも大きくなった場合は、投票数がTh以上の時刻を全て出力して（ステップＳ２６）、終了する。
【符号の説明】
【００４９】
１０ 動画コンテンツ識別装置
１１ 動画コンテンツ入力部
１２ 特徴量抽出部
１３ データベース
１４ データベース検索部
１５ 特徴量蓄積部
１６ 制御バス
【技術分野】
【０００１】
本発明は、ハードディスクドライブやその他のメディア、ネットワークストレージ等に
保存されている動画コンテンツが、特定の動画コンテンツの一部を含むか否かを判定する
動画コンテンツ識別装置および動画コンテンツ識別方法に関する。
【背景技術】
【０００２】
近年のブロードバンドの普及、およびHDD(Hard Disk Drive）、DVD（Digital Versatile Disk）、Blu-ray disc等のストレージの大容量化に伴って、デジタルコンテンツを著作権者やコンテンツプロバイダの許諾を得ずに、ネットワークを介して共有・公開することが容易になってきており、このような不正な共有・公開が問題となっている。このような問題に対して、デジタルコンテンツの指紋（特徴量）を利用して、複数のデジタルコンテンツの中から、著作権者が自由配布を許諾していない特定のコンテンツを自動的に検出する技術が提案されている。
【０００３】
特許文献１では、三次元周波数解析と主成分分析を用いて、コンテンツの特徴量を記述している。この手法では、空間周波数解析（DCT）で得られた係数に時間軸方向への周波数解析（FFT）を加えた三次元周波数解析を行ない、さらに主成分分析により三次元周波数解析で得られた係数から特徴量を抽出している。特許文献２では、特許文献１で利用されている特徴量を用いて、流通コンテンツと類似している特定コンテンツを絞り込み、絞り込めない場合には、位相限定相関法を用いて流通コンテンツと最も類似している特定コンテンツを決定し、閾値によって同一コンテンツであるか否かを判定している。
【０００４】
非特許文献１では、映像の各フレーム全体からカラーレイアウトと呼ばれる特徴量を抽出し、複数のフレームをシーケンシャルにマッチングさせることで、映像の一部分が切り取られる等の時間的編集が行われた場合でも検出を可能にしている。
【０００５】
また、非特許文献２では、映像の各フレームからコーナーと呼ばれる特徴点を検出し、その周辺から特徴量を抽出し、各特徴点をマッチングさせることによって、切り取り等の編集が行なわれた場合であっても、不正流通コンテンツを検出できるようにしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−１８６７５号公報
【特許文献２】特開２００６−２８５９０７号公報
【非特許文献】
【０００７】
【非特許文献１】E. Kasutani and A. Yamada, “The MPEG-7 color layout descriptor: a compact image feature description for high-speed image/video segment retrieval,” in Proc. of ICIP, 2001, pp. 674-677.
【非特許文献２】J. Law-To et al., “Video Copy Detection: A Comparative Study,”in Proc. ACM CIVR’07, pp. 371-378, 2007.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１および２で開示されている手法では、動画コンテンツ１つから１つの特徴量を抽出するため、例えば、動画コンテンツを２つに分割する等の時間軸方向の編集が行なわれると検出ができなくなるという問題がある。非特許文献１で開示されている手法では、画面全体から１つの特徴量のみを抽出しているため、テロップやロゴを挿入するような空間的編集が行われると検出ができなくなる問題がある。また、非特許文献２で開示されている手法では、１画面から数十個の特徴点を抽出し、それら全てをマッチングさせているため、特徴点の抽出およびマッチングに時間がかかりすぎるという問題がある。
【０００９】
本発明は、このような事情に鑑みてなされたものであり、参照動画コンテンツの時間軸上の一部分を切り出したり、参照動画コンテンツにテロップやロゴが挿入されたりしても、動画コンテンツの識別を可能とし、その処理を高速に行なうことができる動画コンテンツ識別装置および動画コンテンツ識別方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の動画コンテンツ識別装置は、識別対象である識別動画コンテンツが、識別基準である参照動画コンテンツの全部または一部を含むかどうかを判定する動画コンテンツ識別装置であって、前記動画コンテンツを入力する動画コンテンツ入力部と、前記入力された動画コンテンツを構成する複数のフレームからキーフレームを選択し、前記選択したキーフレームの特徴量を抽出する特徴量抽出部と、前記動画コンテンツ入力部から前記識別動画コンテンツが入力され、前記特徴量抽出部が前記識別動画コンテンツに含まれる前記キーフレームの特徴量を抽出した場合、前記抽出された特徴量毎に、データベースに格納されている前記参照動画コンテンツのキーフレームの特徴量を検索するデータベース検索部と、を備え、前記検索の結果、前記識別動画コンテンツの特徴量に対応する前記参照動画コンテンツの特徴量の個数に基づいて、前記識別動画コンテンツが前記参照動画コンテンツの全部または一部を含むかどうかの判定を行なうことを特徴としている。
【００１１】
このように、識別動画コンテンツのキーフレームの特徴量を抽出し、抽出された特徴量毎に、データベースに格納されている参照動画コンテンツのキーフレームの特徴量を検索し、識別動画コンテンツの特徴量に対応する参照動画コンテンツの特徴量の個数に基づいて、識別動画コンテンツが参照動画コンテンツの全部または一部を含むかどうかの判定を行なうので、識別動画コンテンツの全部または一部が、参照動画コンテンツの時間軸上の一部分を切り出したり、参照動画コンテンツにテロップやロゴが挿入されたりした場合であっても、動画コンテンツの識別が可能となり、検索時間の短縮および検索の精度を高めることが可能となる。
【００１２】
（２）また、本発明の動画コンテンツ識別装置において、前記特徴量抽出部は、前記動画コンテンツ入力部から前記識別動画コンテンツが入力された場合、前記選択した識別動画コンテンツのキーフレームのタイムコードを取得し、前記データベース検索部は、前記識別動画コンテンツの特徴量におけるタイムコードと、前記識別動画コンテンツの特徴量に対応する前記参照動画コンテンツの特徴量におけるタイムコードとの差分値を、前記識別動画コンテンツの特徴量毎に算出し、同じ値の前記差分値の個数が、所定の閾値以上であった場合、前記識別動画コンテンツは前記参照動画コンテンツの全部または一部を含むと判定することを特徴としている。
【００１３】
このように、識別動画コンテンツの特徴量におけるタイムコードと、識別動画コンテンツの特徴量に対応する参照動画コンテンツの特徴量におけるタイムコードとの差分値を、識別動画コンテンツの特徴量毎に算出し、同じ値の前記差分値の個数が、所定の閾値以上であった場合、識別動画コンテンツは参照動画コンテンツの全部または一部を含むと判定するので、識別動画コンテンツの全部または一部が、参照動画コンテンツの時間軸上の一部分を切り出したものである場合でも、動画コンテンツの識別が可能となる。
【００１４】
（３）また、本発明の動画コンテンツ識別装置は、前記動画コンテンツ入力部から前記参照動画コンテンツが入力され、前記特徴量抽出部で前記参照動画コンテンツに含まれる前記キーフレームの特徴量が抽出された場合、前記抽出された参照動画コンテンツに含まれる前記キーフレームの特徴量を蓄積する特徴量蓄積部をさらに備えることを特徴としている。
【００１５】
このように、動画コンテンツ入力部から参照動画コンテンツが入力され、特徴量抽出部で参照動画コンテンツに含まれるキーフレームの特徴量が抽出された場合、抽出された参照動画コンテンツに含まれるキーフレームの特徴量を蓄積し、データベースを構築するので、識別基準となる参照動画コンテンツのデータベースを構築することが可能となる。
【００１６】
（４）また、本発明の動画コンテンツ隙別装置において、前記特徴量抽出部は、予め設定された複数の領域に対して、独立にキーフレームを設定することを特徴としている。
【００１７】
このように、予め設定された複数の領域に対して、独立にキーフレームを設定するので、参照動画コンテンツの時間軸上の一部分を切り出したり、参照動画コンテンツにテロップやロゴが挿入されたりしても、動画コンテンツの識別が可能となる。
【００１８】
（５）また、本発明の動画コンテンツ識別装置において、前記特徴量抽出部は、前記キーフレームから予め設定された複数の領域から、それぞれ特徴量を抽出することを特徴としている。
【００１９】
このように、キーフレームから予め設定された複数の領域から、それぞれ特徴量を抽出するので、識別動画コンテンツのキーフレーム中にキャプションやロゴが挿入された場合であっても、高い検索精度を実現することが可能となる。
【００２０】
（６）また、本発明の動画コンテンツ識別装置において、前記特徴量蓄積部は、前記抽出した特徴量毎にインデックスを作成することを特徴としている。
【００２１】
このように、抽出した特徴量毎にインデックスを作成するので、識別動画コンテンツの特徴量を用いて検索を行なう際に、処理の高速化を図ることが可能となる。
【００２２】
（７）また、本発明の動画コンテンツ識別装置において、前記データベース検索部は、前記特徴量抽出部で抽出された識別動画コンテンツのキーフレームおよび前記特徴量について、重要度を設定することを特徴としている。
【００２３】
このように、特徴量抽出部で抽出された識別動画コンテンツのキーフレームおよび特徴量について、重要度を設定するので、この重要度の高い特徴量から検索を行なうことによって、一定時間で検索を打ち切った場合であっても、検索精度を高く維持することが可能となる。
【００２４】
（８）また、本発明の動画コンテンツ識別装置において、前記重要度は、キーフレームの時間的安定性および特徴量の特異性に基づいて設定されることを特徴としている。
【００２５】
このように、重要度は、キーフレームの時間的安定性および特徴量の特異性に基づいて設定されるので、検索を一定時間で打ち切ることができ、さらにその際の精度をなるべく高く維持することが可能となる。
【００２６】
（９）また、本発明の動画コンテンツ識別方法は、識別対象である識別動画コンテンツが、識別基準である参照動画コンテンツの全部または一部を含むかどうかを判定する動画コンテンツ識別方法であって、動画コンテンツ入力部から前記動画コンテンツを入力するステップと、特徴量抽出部において、前記入力された動画コンテンツを構成する複数のフレームからキーフレームを選択し、前記選択したキーフレームの特徴量を抽出するステップと、前記動画コンテンツ入力部から前記識別動画コンテンツが入力され、前記特徴量抽出部が前記識別動画コンテンツに含まれる前記キーフレームの特徴量を抽出した場合、データベース検索部において、前記抽出された特徴量毎に、データベースに格納されている前記参照動画コンテンツのキーフレームの特徴量を検索するステップと、前記検索の結果、前記識別動画コンテンツの特徴量に対応する前記参照動画コンテンツの特徴量の個数に基づいて、前記識別動画コンテンツが前記参照動画コンテンツの全部または一部を含むかどうかの判定を行なうステップと、を少なくとも含むことを特徴としている。
【００２７】
このように、識別動画コンテンツのキーフレームの特徴量を抽出し、抽出された特徴量毎に、データベースに格納されている参照動画コンテンツのキーフレームの特徴量を検索し、識別動画コンテンツの特徴量に対応する参照動画コンテンツの特徴量の個数に基づいて、識別動画コンテンツが参照動画コンテンツの全部または一部を含むかどうかの判定を行なうので、識別動画コンテンツの全部または一部が、参照動画コンテンツの時間軸上の一部分を切り出したり、参照動画コンテンツにテロップやロゴが挿入されたりした場合であっても、動画コンテンツの識別が可能となり、検索時間の短縮および検索の精度を高めることが可能となる。
【発明の効果】
【００２８】
本発明によれば、識別動画コンテンツのキーフレームの特徴量を抽出し、抽出された特徴量毎に、データベースに格納されている参照動画コンテンツのキーフレームの特徴量を検索し、識別動画コンテンツの特徴量に対応する参照動画コンテンツの特徴量の個数に基づいて、識別動画コンテンツが参照動画コンテンツの全部または一部を含むかどうかの判定を行なうので、識別動画コンテンツの全部または一部が、参照動画コンテンツの時間軸上の一部分を切り出したり、参照動画コンテンツにテロップやロゴが挿入されたりした場合であっても、動画コンテンツの識別が可能となり、検索時間の短縮および検索の精度を高めることが可能となる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施形態に係る動画コンテンツ識別装置のブロック図である。
【図２Ａ】矩形領域Riの設定の例を示す図である。
【図２Ｂ】矩形領域Riの設定の例を示す図である。
【図２Ｃ】矩形領域Riの設定の例を示す図である。
【図３】いずれかのフレームを選択し、矩形領域Riの特徴量xi(t)を抽出する様子を示す図である。
【図４】Color layoutによる特徴量の抽出の方法を示す図である。
【図５】キーフレーム候補を選択する概念を示す図である。
【図６】特徴量抽出部１２の動作を示すフローチャートである。
【図７】キーフレームを選択する動作を示すフローチャートである。
【図８】データベース検索動作を示すフローチャートである。
【発明を実施するための形態】
【００３０】
以下、本発明の実施形態について図面を参照して説明する。本実施形態では、予め検出を行なおうとする著作権コンテンツを参照動画コンテンツとして入力し、特徴量を抽出しデータベースを構築しておく。その後、入力された識別動画コンテンツについて、参照動画コンテンツの一部が識別動画コンテンツに含まれているか否かを判定する。
【００３１】
図１は、本発明の実施形態に係る動画コンテンツ識別装置のブロック図である。図１に示すように、動画コンテンツ識別装置１０は、動画コンテンツ入力部１１、特徴量抽出部１２、データベース１３、データベース検索部１４、および特徴量蓄積部１５から構成されている。また、これらの構成要素は、制御バス１６に接続され、相互に信号の送受信を行なうことができる。
【００３２】
動画コンテンツ識別装置１０は、動画コンテンツ入力部１１から参照動画コンテンツおよび識別動画コンテンツを入力する。動画コンテンツ入力部１１は、著作権者やコンテンツプロバイダから提供された参照用の動画コンテンツを入力する。通常は、複数の参照動画コンテンツが入力されるが、本実施形態では、入力された参照動画コンテンツ全てを連結し、１つの動画が入力されたものとして取り扱う。また、動画コンテンツ入力部１１は、識別すべき動画コンテンツ、例えば、動画共有サイトにアップロードされた動画コンテンツや、様々なストレージに蓄積された動画コンテンツを入力する。
【００３３】
特徴量抽出部１２において、参照動画コンテンツおよび識別動画コンテンツの特徴量を抽出する。特徴量抽出部１２では、参照動画コンテンツおよび識別動画コンテンツから特徴量を抽出する。動画コンテンツ入力部１１から入力された動画コンテンツ（の映像信号）が、ＭＰＥＧ−２、Ｈ．２６４等の圧縮方式で圧縮されている場合は、伸張を行なう。ここでは、予め決定しておいた矩形領域Riごとに次の処理を行なう。なお、Riの配置と数は任意である。
【００３４】
図２Ａ〜図２Ｃは、矩形領域Riの設定の例を示す図である。図２Ａは、画面全体を１つの矩形領域とした場合である。キャプションやロゴなどが挿入されることを想定しないのであれば、この矩形領域を利用する。図２Ｂは、画面下や画面右に字幕などの編集が想定される場合の矩形領域の設定である。どちらか片方に編集が行なわれても、他方の矩形領域に影響がない。図２Ｃは、編集が行なわれる場所を予め決めない場合の矩形領域の設定である。
【００３５】
以下、領域の個数をNRとする。図３は、いずれかのフレームを選択し、矩形領域Riの特徴量xi(t)を抽出する様子を示す図である。図３に示すように、動画コンテンツの各フレームの領域Ri（1≦ i≦NR）から、特徴量xi(t) = (xi1(t), xi2(t),・・・xiNDim(t))を抽出する。なお、tは、フレーム番号、NDimは特徴量の次元数である。ここで利用する特徴量は基本的に任意である。例えば、MPEG-7に規定されている、Dominant color、Scalable color、Color structure、Color layout、Edge histogram、Contour shape、Motion activity 等を利用することができる。
【００３６】
ここでは、特徴量としてMPEG-7に規定されているColor layout を利用した場合について説明する。図４は、Color layoutによる特徴量の抽出の方法を示す図である。まず、フレームtの領域Riを、８×８に縮小する。そして、必要であればYCbCr表色系に変換する。その後、離散コサイン変換（DCT）を行ない、得られた係数のうち、低周波からY成分なら６係数、CbCr成分なら３係数をジグザグスキャンの順序で選択し、特徴量とする。この場合NDim = 12である。また、Color layout で利用する特徴量をY成分に限定し、DC係数を利用しないとすることで、グレースケール化や輝度のシフトが行なわれても変化しない特徴量とすることもできる。さらにDCTを行なう前に、ヒストグラムの正規化を行なうことでガンマ補正やコントラスト調整にロバストな特徴量とすることもできる。
【００３７】
図６は、特徴量抽出部１２の動作を示すフローチャートである。ここでtは動画コンテンツのフレーム番号、iは予め設定されている領域の番号である。図６に示すように、tを１に設定し（ステップＳ１）、iを１に設定し（ステップＳ２）、特徴量を抽出する（ステップＳ３）。次に、iに１を加算し（ステップＳ４）、iが領域の個数NRより大きくなったかどうかを判断する（ステップＳ５）。iが領域の個数NRより大きくなっていない場合は、ステップＳ３へ遷移する。一方、ステップＳ５において、iが領域の個数NRより大きくなった場合は、tに１を加算し（ステップＳ６）、tがNFよりも大きくなったかどうかを判断する（ステップＳ７）。なお、NFとは、入力動画コンテンツのフレーム数である。ステップＳ７において、tがNFよりも大きくなっていない場合は、ステップＳ２へ遷移する。一方、tがNFよりも大きくなった場合は、終了する。
【００３８】
本発明では、各フレームの領域Riから特徴量xi(t)を抽出した後、全てのフレームの特徴量を利用する代わりに、特定のフレームをキーフレームとして選択し、そのフレームの特徴量のみを利用する。すなわち、特徴量抽出部１２は、予め設定された複数の領域に対して、独立にキーフレームを設定する。そして、キーフレームから予め設定された複数の領域から、それぞれ特徴量を抽出する。
【００３９】
図５は、キーフレーム候補を選択する概念を示す図である。キーフレームの選択では、まず特徴量の第kj成分(xikj(t))が極値をとるtを候補とする(1≦kj≦NK)。ここでNKは利用する係数の数である。ノイズの影響を軽減するため、極値を求める前に、各xikj(t)に時間方向の平滑化フィルタ（ガウシアン等）をかけてもよい。具体的な極値の求め方は、x'ikj(t) = 0となるtをゼロ交差法で求める。さらに、このtが、各kjに予め定められた正の整数Wjに対して、
x’ikj(t -Wj) < x’ikj(t -Wj + 1) <・・・< x’ikj(t) <・・・< x’ikj(t +Wj- 1) < x’ikj(t +Wj)
または
x’ikj(t -Wj) > x’ikj(t -Wj + 1) >・・・> x’ikj(t) >・・・> x’ikj(t +Wj- 1) > x’ikj(t +Wj)
を満たすとき、領域Riにおいてフレームtをキーフレームとする。
【００４０】
図７は、キーフレームを選択する動作を示すフローチャートである。ここでiは予め設定されている領域の番号であり、jは極値検出に利用する係数の番号である。図７に示すように、まず、iを１に設定し（ステップＳ１１）、jを１に設定し（ステップＳ１２）、x’ikj(t)が極値となるtをすべて抽出する（ステップＳ１３）。次に、jに１を加算し（ステップＳ１４）、jがNKより大きくなったかどうかを判断する（ステップＳ１５）。jがNKより大きくなっていない場合は、ステップＳ１３へ遷移する。一方、ステップＳ１５において、jがNKより大きくなった場合は、iに１を加算し（ステップＳ１６）、iが領域の個数NRよりも大きくなったかどうかを判断する（ステップＳ１７）。ステップＳ１７において、iがNRよりも大きくなっていない場合は、ステップＳ１２へ遷移する。一方、iがNRよりも大きくなった場合は、終了する。
【００４１】
なお、特徴量抽出部１２は、参照動画コンテンツと同様に、識別動画コンテンツに対して、キーフレームを選択し、特徴量を抽出する。
【００４２】
特徴量蓄積部１５は、特徴量抽出部１２で抽出された特徴量を、検索が高速になるようにインデックス化し、データベース１３に蓄積する。特徴量抽出部１２で選択されたキーフレームおよびそのキーフレームのタイムコードをデータベース１３に蓄積する。具体的には、特徴量xi(t)、タイムコードt、ビデオIDを、領域iおよびキーフレームの選択の基準となった特徴量の第kj成分ごとにデータベースDijに蓄積する。
【００４３】
この際、検索（最近傍探索）を高速で行なうことができるように、木構造やハッシュを用いたインデックスを利用することができる。このような手法としては、R-tree、ANN（Approximate Nearest Neighbor）、LSH（Locality Sensitive Hashing）等が存在する。
【００４４】
データベース検索部１４は、特徴量抽出部１２で抽出された特徴量をデータベースから検索し、部分一致するコンテンツを検索する。データベース検索部１４では、識別動画コンテンツの一部が、参照動画コンテンツの一部から構成されていると仮定し、共通する区間を推定する。その後共通する区間候補の類似度を計算し、閾値により本当に同一の区間であるかを判定する。特徴量抽出部１２によって、領域iにおいて特徴量の第kj成分に基づいて選択されたキーフレームを、tij(1),tij(2),・・・,tij(nij)とする。nijは、領域iにおいて特徴量の第kj成分に基づいて選択されたキーフレームの数である。データベース検索部１４では、全てのi,jに対してキーフレームtij(1),tij(2),・・・,tij(nij)の特徴量と、データベースDij に蓄積されている特徴量を比較する。
【００４５】
この際に、検索を一定時間で打ち切ることができ、さらにその際の精度をなるべく保つために、データベースを検索するキーフレームに重要度を設定する。すなわち、重要度の高いキーフレームから検索を行ない、検索にかけられる時間が経過すると、そこで検索を打ち切ることとする。重要度Iij(t)は、次の数式で定義する。
Iij(t) =αPij(t) + (1 -α)・Qij(t)
ここで、Pij(t)は、キーフレームの時間的ずれに対するロバスト性を評価した項（キーフレームの時間的安定性）、Qij(t)は、キーフレームの特徴量の特異性を評価した項である。それぞれ下記で定義する。
Pij(t)=(min(xikj(t)-xikj(t-Wj),xikj(t)-xikj(t+Wj)))β
×(Σ1≦j≦NK(x'ikj(t))2)-γ
Qij(t)=dM(xi(t))
dM(xi(t))は、予め参照動画コンテンツから求めておいた特徴量の分布に対するマハラノビス距離である。β、γは、チューニングによって定めるパラメータである。
【００４６】
各キーフレームの特徴量の重要度を算出すると、重要度の高いキーフレームの特徴量からデータベース検索を行なう。本発明では、識別動画コンテンツがいずれかの参照動画コンテンツの一部の複製であったと仮定し、複製が行なわれた先頭時刻を求める。具体的には下記の通りである。
【００４７】
領域iにおいて特徴量の第kj成分に基づいて選択されたキーフレームtのタイムコードをTCとする。このキーフレームtの特徴量xi(t) の最近傍となる特徴量を、データベースDijから検索する。最近傍となった特徴量のタイムコードをTC'とする。この対応が正しければ識別動画コンテンツは時刻TC'-TCから複製されたことになるため、検索ごとにTC'-TCを推定し、投票によって、可能性の高いTC'-TCを複製候補とする。ロバスト性および速度向上のため時刻推定を固定パラメータT で量子化を行なうため、実際には[(TC'-TC)/T]に投票する。この投票は最近傍のみでなく、K近傍から投票を行なっても良い。その際には、計算時間は増加するが精度は向上する。最後に閾値Thより多くの投票が行なわれた時刻を検出結果として出力する。
【００４８】
図８は、データベース検索動作を示すフローチャートである。ここでcntは投票を行った特徴量の数のカウンタである。図８に示すように、まず、重要度を算出し（ステップＳ２１）、最も重要度の高い特徴量で検索を行なう（ステップＳ２２）。次に、上記の投票を行ない（ステップＳ２３）、cntに１を加算する（ステップＳ２４）。そして、cntが閾値Th2よりも大きくなったかどうかを判断する（ステップＳ２５）。ステップＳ２５において、cntが閾値Th2よりも大きくなっていない場合は、ステップＳ２２へ遷移する。一方、cntが閾値Th2よりも大きくなった場合は、投票数がTh以上の時刻を全て出力して（ステップＳ２６）、終了する。
【符号の説明】
【００４９】
１０ 動画コンテンツ識別装置
１１ 動画コンテンツ入力部
１２ 特徴量抽出部
１３ データベース
１４ データベース検索部
１５ 特徴量蓄積部
１６ 制御バス
【特許請求の範囲】
【請求項１】
識別対象である識別動画コンテンツが、識別基準である参照動画コンテンツの全部または一部を含むかどうかを判定する動画コンテンツ識別装置であって、
前記動画コンテンツを入力する動画コンテンツ入力部と、
前記入力された動画コンテンツを構成する複数のフレームからキーフレームを選択し、前記選択したキーフレームの特徴量を抽出する特徴量抽出部と、
前記動画コンテンツ入力部から前記識別動画コンテンツが入力され、前記特徴量抽出部が前記識別動画コンテンツに含まれる前記キーフレームの特徴量を抽出した場合、前記抽出された特徴量毎に、データベースに格納されている前記参照動画コンテンツのキーフレームの特徴量を検索するデータベース検索部と、を備え、
前記検索の結果、前記識別動画コンテンツの特徴量に対応する前記参照動画コンテンツの特徴量の個数に基づいて、前記識別動画コンテンツが前記参照動画コンテンツの全部または一部を含むかどうかの判定を行なうことを特徴とする動画コンテンツ識別装置。
【請求項２】
前記特徴量抽出部は、前記動画コンテンツ入力部から前記識別動画コンテンツが入力された場合、前記選択した識別動画コンテンツのキーフレームのタイムコードを取得し、
前記データベース検索部は、前記識別動画コンテンツの特徴量におけるタイムコードと、前記識別動画コンテンツの特徴量に対応する前記参照動画コンテンツの特徴量におけるタイムコードとの差分値を、前記識別動画コンテンツの特徴量毎に算出し、同じ値の前記差分値の個数が、所定の閾値以上であった場合、前記識別動画コンテンツは前記参照動画コンテンツの全部または一部を含むと判定することを特徴とする請求項１記載の動画コンテンツ識別装置。
【請求項３】
前記動画コンテンツ入力部から前記参照動画コンテンツが入力され、前記特徴量抽出部で前記参照動画コンテンツに含まれる前記キーフレームの特徴量が抽出された場合、前記抽出された参照動画コンテンツに含まれる前記キーフレームの特徴量を蓄積する特徴量蓄積部をさらに備えることを特徴とする請求項１または請求項２記載の動画コンテンツ識別装置。
【請求項４】
前記特徴量抽出部は、予め設定された複数の領域に対して、独立にキーフレームを設定することを特徴とする請求項１から請求項３のいずれかに記載の動画コンテンツ識別装置。
【請求項５】
前記特徴量抽出部は、前記キーフレームから予め設定された複数の領域から、それぞれ特徴量を抽出することを特徴とする請求項４記載の動画コンテンツ識別装置。
【請求項６】
前記特徴量蓄積部は、前記抽出した特徴量毎にインデックスを作成することを特徴とする請求項４記載の動画コンテンツ識別装置。
【請求項７】
前記データベース検索部は、前記特徴量抽出部で抽出された識別動画コンテンツのキーフレームおよび前記特徴量について、重要度を設定することを特徴とする請求項１から請求項３のいずれかに記載の動画コンテンツ識別装置。
【請求項８】
前記重要度は、キーフレームの時間的安定性および特徴量の特異性に基づいて設定されることを特徴とする請求項７記載の動画コンテンツ識別装置。
【請求項９】
識別対象である識別動画コンテンツが、識別基準である参照動画コンテンツの全部または一部を含むかどうかを判定する動画コンテンツ識別方法であって、
動画コンテンツ入力部から前記動画コンテンツを入力するステップと、
特徴量抽出部において、前記入力された動画コンテンツを構成する複数のフレームからキーフレームを選択し、前記選択したキーフレームの特徴量を抽出するステップと、
前記動画コンテンツ入力部から前記識別動画コンテンツが入力され、前記特徴量抽出部が前記識別動画コンテンツに含まれる前記キーフレームの特徴量を抽出した場合、データベース検索部において、前記抽出された特徴量毎に、データベースに格納されている前記参照動画コンテンツのキーフレームの特徴量を検索するステップと、
前記検索の結果、前記識別動画コンテンツの特徴量に対応する前記参照動画コンテンツの特徴量の個数に基づいて、前記識別動画コンテンツが前記参照動画コンテンツの全部または一部を含むかどうかの判定を行なうステップと、を少なくとも含むことを特徴とする動画コンテンツ識別方法。
【請求項１】
識別対象である識別動画コンテンツが、識別基準である参照動画コンテンツの全部または一部を含むかどうかを判定する動画コンテンツ識別装置であって、
前記動画コンテンツを入力する動画コンテンツ入力部と、
前記入力された動画コンテンツを構成する複数のフレームからキーフレームを選択し、前記選択したキーフレームの特徴量を抽出する特徴量抽出部と、
前記動画コンテンツ入力部から前記識別動画コンテンツが入力され、前記特徴量抽出部が前記識別動画コンテンツに含まれる前記キーフレームの特徴量を抽出した場合、前記抽出された特徴量毎に、データベースに格納されている前記参照動画コンテンツのキーフレームの特徴量を検索するデータベース検索部と、を備え、
前記検索の結果、前記識別動画コンテンツの特徴量に対応する前記参照動画コンテンツの特徴量の個数に基づいて、前記識別動画コンテンツが前記参照動画コンテンツの全部または一部を含むかどうかの判定を行なうことを特徴とする動画コンテンツ識別装置。
【請求項２】
前記特徴量抽出部は、前記動画コンテンツ入力部から前記識別動画コンテンツが入力された場合、前記選択した識別動画コンテンツのキーフレームのタイムコードを取得し、
前記データベース検索部は、前記識別動画コンテンツの特徴量におけるタイムコードと、前記識別動画コンテンツの特徴量に対応する前記参照動画コンテンツの特徴量におけるタイムコードとの差分値を、前記識別動画コンテンツの特徴量毎に算出し、同じ値の前記差分値の個数が、所定の閾値以上であった場合、前記識別動画コンテンツは前記参照動画コンテンツの全部または一部を含むと判定することを特徴とする請求項１記載の動画コンテンツ識別装置。
【請求項３】
前記動画コンテンツ入力部から前記参照動画コンテンツが入力され、前記特徴量抽出部で前記参照動画コンテンツに含まれる前記キーフレームの特徴量が抽出された場合、前記抽出された参照動画コンテンツに含まれる前記キーフレームの特徴量を蓄積する特徴量蓄積部をさらに備えることを特徴とする請求項１または請求項２記載の動画コンテンツ識別装置。
【請求項４】
前記特徴量抽出部は、予め設定された複数の領域に対して、独立にキーフレームを設定することを特徴とする請求項１から請求項３のいずれかに記載の動画コンテンツ識別装置。
【請求項５】
前記特徴量抽出部は、前記キーフレームから予め設定された複数の領域から、それぞれ特徴量を抽出することを特徴とする請求項４記載の動画コンテンツ識別装置。
【請求項６】
前記特徴量蓄積部は、前記抽出した特徴量毎にインデックスを作成することを特徴とする請求項４記載の動画コンテンツ識別装置。
【請求項７】
前記データベース検索部は、前記特徴量抽出部で抽出された識別動画コンテンツのキーフレームおよび前記特徴量について、重要度を設定することを特徴とする請求項１から請求項３のいずれかに記載の動画コンテンツ識別装置。
【請求項８】
前記重要度は、キーフレームの時間的安定性および特徴量の特異性に基づいて設定されることを特徴とする請求項７記載の動画コンテンツ識別装置。
【請求項９】
識別対象である識別動画コンテンツが、識別基準である参照動画コンテンツの全部または一部を含むかどうかを判定する動画コンテンツ識別方法であって、
動画コンテンツ入力部から前記動画コンテンツを入力するステップと、
特徴量抽出部において、前記入力された動画コンテンツを構成する複数のフレームからキーフレームを選択し、前記選択したキーフレームの特徴量を抽出するステップと、
前記動画コンテンツ入力部から前記識別動画コンテンツが入力され、前記特徴量抽出部が前記識別動画コンテンツに含まれる前記キーフレームの特徴量を抽出した場合、データベース検索部において、前記抽出された特徴量毎に、データベースに格納されている前記参照動画コンテンツのキーフレームの特徴量を検索するステップと、
前記検索の結果、前記識別動画コンテンツの特徴量に対応する前記参照動画コンテンツの特徴量の個数に基づいて、前記識別動画コンテンツが前記参照動画コンテンツの全部または一部を含むかどうかの判定を行なうステップと、を少なくとも含むことを特徴とする動画コンテンツ識別方法。
【図１】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−１８６３０７（Ｐ２０１０−１８６３０７Ａ）
【公開日】平成２２年８月２６日（２０１０．８．２６）
【国際特許分類】
【出願番号】特願２００９−２９７９０（Ｐ２００９−２９７９０）
【出願日】平成２１年２月１２日（２００９．２．１２）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２２年８月２６日（２０１０．８．２６）
【国際特許分類】
【出願日】平成２１年２月１２日（２００９．２．１２）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]