動画重複検出方法およびシステム
【課題】動画の重複を検出する動画重複検出方法およびシステムを提供する。
【解決手段】本発明の一側面に係る動画重複検出方法は、動画自体の内容を分析することによって動画の重複を検出する。すなわち、動画別に少なくとも１つのキーフレームを検出し、前記検出された少なくとも１つのキーフレームの領域別輝度値を用いて前記少なくとも１つのキーフレームの特徴値を算出し、前記算出された少なくとも１つのキーフレームの特徴値を用いて前記動画別に全体特徴値を算出し、前記算出された全体特徴値の比較によって前記動画が全体的に重複するか否かを判断することを含む。
【解決手段】本発明の一側面に係る動画重複検出方法は、動画自体の内容を分析することによって動画の重複を検出する。すなわち、動画別に少なくとも１つのキーフレームを検出し、前記検出された少なくとも１つのキーフレームの領域別輝度値を用いて前記少なくとも１つのキーフレームの特徴値を算出し、前記算出された少なくとも１つのキーフレームの特徴値を用いて前記動画別に全体特徴値を算出し、前記算出された全体特徴値の比較によって前記動画が全体的に重複するか否かを判断することを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画重複検出に関し、より詳しくは、内容が同一の動画を検出できる動画検出方法およびシステムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ／ビデオカメラ、カメラ携帯電話、携帯動画再生機（ＰＭＰ、ＭＰ４Ｐ）などの発達により、動画コンテンツの製作と活用とが容易になった。また、ＵＣＣ（Ｕｓｅｒ Ｃｒｅａｔｅｄ Ｃｏｎｔｅｎｔｓ）サービスの急速な拡散により、ユーザによって生産されたデジタル動画ファイルがＵＣＣ専門サイトやＰ２Ｐ（Ｐｅｅｒ ｔｏ Ｐｅｅｒ）方式のファイル共有サイト、個人ブログやミニホームページなどを介してアップロードされている。このようにアップロードされた動画ファイルは、インターネットを介するダウンロードまたはストリーミングサービスによって他のユーザに共有される。
【０００３】
デジタル動画は、テキストベースのコンテンツに比べてファイル容量が非常に大きい。したがって、動画コンテンツの製作者やユーザ、そしてＵＣＣサービスなどの提供のために、ユーザ製作が中心の動画コンテンツを大量にデータベース化しなければならない事業者の立場では、ストレージ（Ｓｔｏｒａｇｅ）の効率的な管理が大変重要である。
【０００４】
ストレージの効率的管理のためには、内容が同一の動画ファイルの重複記録を防止しなければならない。内容が同一の動画ファイルが重複記録されれば、ストレージのリソースが浪費されるためである。既存の技術において、動画の重複した記録を防止するための、重複した動画の検出は、動画と関連するテキスト分析、再生時間分析、出処分析によってその関連性を把握した。しかし、動画の種類が多様化して、またユーザが意図的に動画を少しずつ変化させると、これを簡単な方法によって検出することはほぼ不可能である。ここで、動画自体の内容を分析することによって、動画の重複を検出できる方法に対する開発が必要となった。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上述した問題点を解決するためのものであり、動画自体の内容を分析することによって、動画の重複を検出することのできる動画重複検出方法およびシステムを提供することを技術的課題とする。
【０００６】
また、本発明は、二段階で動画の重複の有無を判断することによって、より正確に動画の重複を検出することのできる動画重複検出方法およびシステムを提供することを技術的課題とする。
【課題を解決するための手段】
【０００７】
上述した目的を達成するための本発明の一側面に係る動画重複検出方法は、動画別に少なくとも１つのキーフレームを検出し、前記検出された少なくとも１つのキーフレームの領域別輝度値を用いて前記少なくとも１つのキーフレームの特徴値を算出し、前記算出された少なくとも１つのキーフレームの特徴値を用いて前記動画別に全体特徴値を算出し、前記算出された全体特徴値の比較によって前記動画が全体的に重複するか否かを判断することを含む。
【０００８】
この時、本発明の一実施形態に係る動画重複検出方法は、前記キーフレームを検出しようとするときに、前記少なくとも１つのキーフレームが検出されない場合、基準時間ごとにキーフレームを追加することを含むことを特徴とする。
【０００９】
また、本発明の一実施形態に係る動画重複検出方法は、前記少なくとも１つのキーフレームを検出するときに、カット検出（ｃｕｔ ｄｅｔｅｃｔｉｏｎ）を用いて前記少なくとも１つのキーフレームを検出することを特徴とする。
【００１０】
そして、本発明の一実施形態に係る動画重複検出方法は、前記少なくとも１つのキーフレームを検出するときに、グレーヒストグラムの差値を用いて前記少なくとも１つのキーフレームを検出することを特徴とし、前記少なくとも１つのキーフレームは前記グレーヒストグラムの差値が基準値以上であることを特徴とする。
【００１１】
一方、前記キーフレームを検出する前に、前記動画を復号化することをさらに含むことを特徴とする。
【００１２】
本発明の一実施形態において、前記少なくとも１つのキーフレームは、アイフレームであることを特徴とする動画重複検出方法が提供される。
【００１３】
また、本発明の一実施形態に係る動画重複検出方法は、前記少なくとも１つのキーフレームの特徴値を算出するときに、主成分分析法（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ：ＰＣＡ）によって前記少なくとも１つのキーフレームの領域別輝度値の一部から前記少なくとも１つのキーフレームの特徴値を算出することを特徴とする。
【００１４】
この時、本発明の一実施形態に係る動画重複検出方法は、前記動画が全体的に重複しない場合、前記算出された少なくとも１つのキーフレームの特徴値に対するシーケンスを生成し、前記生成されたシーケンスのストリングマッチングによって前記動画が部分的に重複するか否かを判断することをさらに含むことを特徴とする。
【００１５】
また、本発明の一実施形態に係る動画重複検出方法は、前記シーケンスを生成するときに、前記算出された少なくとも１つのキーフレームの特徴値の基準サイズを用いて前記シーケンスを生成することを特徴とする。
【００１６】
また、上述した目的を達成するための本発明の一側面に係る動画重複検出方法は、動画別に少なくとも１つのキーフレームを検出し、前記検出された少なくとも１つのキーフレームの特徴値を算出し、前記算出された少なくとも１つのキーフレームの特徴値に対するシーケンスを生成し、前記生成されたシーケンスのストリングマッチングによって前記動画が部分的に重複するか否かを判断することを含む。
【００１７】
そして、本発明の一実施形態に係る動画重複検出方法は、前記少なくとも１つのキーフレームの特徴値を算出するときに、前記検出された少なくとも１つのキーフレームの領域別輝度値の平均値を用いて前記少なくとも１つのキーフレームの特徴値を算出することを特徴とする。
【００１８】
上述した目的を達成するための本発明の他の側面に係る動画重複検出システムは、動画別に少なくとも１つのキーフレームを検出するキーフレーム検出部と、前記検出された少なくとも１つのキーフレームの領域別輝度値を用いて前記少なくとも１つのキーフレームの特徴値を算出するフレーム特徴値算出部と、前記算出された少なくとも１つのキーフレームの特徴値を用いて前記動画別に全体特徴値を算出する全体特徴値算出部と、前記算出された全体特徴値の比較によって前記動画が全体的に重複するか否かを判断する全体重複判断部とを備える。
【発明の効果】
【００１９】
本発明によれば、ユーザが意図的に変形させた動画の重複有無を、動画自体の内容を分析することによって、検出することができるという効果がある。
【００２０】
また、本発明は、動画の全体重複の有無および部分重複の有無を二段階に分けて判断することによって、より正確に重複を検出することができるという効果がある。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態に係る動画重複検出システムの概略的なブロック図である。
【図２】グレーヒストグラムおよびグレーヒストグラムの差値を求める一例を示す図である。
【図３】キーフレームの領域別輝度値を用いてキーフレームの特徴値を算出する一例を示す図である。
【図４】図１に示した全体重複検出部の細部構成を表すブロック図である。
【図５】図１に示した部分重複検出部の細部構成を表すブロック図である。
【図６】動画のストリングマッチングの一例を示す図である。
【図７】動画の全体重複および部分重複数の一例を示す図である。
【図８】本発明の一実施形態に係る動画重複検出方法を説明するためのフローチャートである。
【図９】本発明の一実施形態に係る動画重複検出方法を説明するためのフローチャートである。
【発明を実施するための形態】
【００２２】
以下、添付された図面に記載された内容を参照しながら本発明に係る実施形態を詳細に説明する。ただし、本発明は、実施形態に制限されたり限定されたりして解釈されることはない。各図面に提示された同一の参照符号は、同一の部材を示す。
【００２３】
図１は、本発明の一実施形態に係る動画重複検出システムの概略的なブロック図である。図に示すように、動画重複検出システムは、復号化部１１０と、キーフレーム検出部１３０と、フレーム特徴値算出部１５０と、全体重複検出部１７０と、部分重複検出部１９０とを備える。
【００２４】
一方、本発明の一実施形態において、動画を復号化する前に動画の大部分が黒色になっている場合には、正常でない動画と判断して、全体および部分重複の有無を判断しないこともある。例えば、最大グレーヒストグラムのビン（ｂｉｎ）が９３％以上である場合、該当動画は正常でない動画に分類される。このような正常でない動画の判断は、動画のＭＤ５ハッシュ値を用いて動画のバイト特性から正常でない動画を検出することができる。
【００２５】
復号化部１１０は、さまざまな形式でエンコーディングされた動画を復号化することができる。ここで、本発明で用いられる動画は、ＦＬＶ、ＷＭＶ、ＡＶＩ、ＭＰＧ、ＭＰ４、Ｈ．２６４などのさまざまな形式を用いてエンコーディングされた動画であってもよく、本発明は、これらに限定されずに詳述した形式以外のさまざまな形式によってエンコーディングされた動画を用いてもよい。
【００２６】
また、本発明で用いられる動画は、詳述したエンコーディング方式以外にもフレームレート（ｆｒａｍｅ ｒａｔｅ）、ビットレート（ｂｉｔ ｒａｔｅ）、解像度など形式（ｆｏｒｍａｔ）が他の動画が用いられる。また、色または明暗に差がある動画、ロゴが挿入されたり、テキストがオーバーレイされたりする動画、他の内容を有する関連のないフレームが追加された動画、同一の内容で動画の長さが異なる動画など内容の異なる動画を用いてもよい。本発明の一実施形態に係る動画重複検出システムの復号化部は、このようなさまざまな形式によってエンコーディングされた動画を復号化する役割を行う。
【００２７】
一方、一実施形態において、復号化部１１０は、動画を復号化した後に復号化された動画を予め正規化（Ｎｏｒｍａｌｉｚａｔｉｏｎ）することができる。例えば、動画のサイズ、フレームレートなどを同一にして動画の変形に強くすることができる。
【００２８】
キーフレーム検出部１３０は、動画別に少なくとも１つのキーフレームを検出する。換言すれば、動画の特徴をよく代表できるフレームインキーフレームを検出するものである。例えば、少なくとも１つのキーフレームはアイ（Ｉ）フレームであってもよい。アイフレームは、ＭＰＥＧ圧縮方法におけるイントラコーディングブロックだけで構成されたフレームを意味する。したがって、少なくとも１つのキーフレームがアイフレームである場合には、イントラコーディングブロックだけで構成されているため、動画の特徴としてよく代表できるキーフレームとすることができる。
【００２９】
一実施形態において、キーフレーム検出部１３０は、少なくとも１つのキーフレームを、カット検出を用いて検出してもよい。ここで、カット検出とは、場面検出という動画の様々なフレームのうち突然変化するフレームに該当する場面を検出することを意味するものである。本発明の一実施形態に係る動画重複検出システムは、キーフレームとして、カット検出によって検出されたフレームを用いる。
【００３０】
他の実施形態において、キーフレーム検出部１３０は、少なくとも１つのキーフレームをグレーヒストグラムの差値を用いて検出してもよい。換言すれば、隣接フレーム間で白黒分布図の差値を用いてキーフレームを検出するものである。
【００３１】
グレーヒストグラムとは、該当イメージを構成するグレイ値の分布をベクトル状で示したものであり、換言すれば、グレイ値の範囲を１２８個または６４個などと定めておいて、その範囲に属するピクセルが全体イメージに占める比率をベクトル値で表したことを意味する。例えば、図２に示すように、動画のグレーヒストグラムで表すこともでき、キーフレーム検出部１３０は、隣接フレーム間のグレーヒストグラムの差値を用いてキーフレームを検出してもよい。また、図２に示すグレーヒストグラムは１６個のグレイビンを用いてもよく、グレーヒストグラムの差値の基準値は０．１５としてもよい。
【００３２】
一方、本発明の一実施形態に係る少なくとも１つのキーフレームは、グレーヒストグラムの差値が基準値以上であってもよい。換言すれば、隣接フレーム間で白黒分布図の差値が基準値以上のフレームを、本発明の一実施形態におけるキーフレームとして、検出してもよい。すなわち、白黒分布図の差が閾値以上となり、差が大きい場合には、画面が突然に変化したことを意味する。そこで、このようなフレームをキーフレームといして検出するのである。
【００３３】
また、本発明の一実施形態において、キーフレーム検出部１３０は、カット検出によってキーフレームが検出されなかったり、キーフレームが単に１つだけ検出されたりする場合には、中間にキーフレームを任意的に追加してもよい。この時、任意的に追加されるキーフレームは、基準時間ごとに挿入され、例えば、カット検出によりキーフレームが検出されない場合、５秒ごとにキーフレームを強制的に挿入してもよい。これは、キーフレームが検出されない場合、各動画を代表できる全体の特徴値を算出できないため、各動画を代表する全体特徴値を算出するためにキーフレームが検出されない場合に備えるためである。
【００３４】
そして、一実施形態において、キーフレーム検出部１３０は、フラッシュバック（ｆｌａｓｈｂａｃｋ）が発生する場合、キーフレーム間の基準時間を定めて基準時間より小さい時間差でフラッシュバックが起きた場合には、キーフレームとして検出することができないことがある。例えば、フラッシュバックの最小時間を０．２であるとすれば、フラッシュバックが０．２秒以内に起きた場合に、カット検出によりキーフレームが検出されてもこれをキーフレームとして利用することができないことがある。
【００３５】
フレーム特徴値算出部１５０は、キーフレーム検出部１３０によって検出された少なくとも１つのキーフレームの領域別輝度値を用いて少なくとも１つのキーフレームの特徴値を算出する。
【００３６】
一実施形態において、フレーム特徴値算出部１５０は、少なくとも１つのキーフレームの領域別輝度値の平均値を用いてキーフレームの特徴値を算出してもよい。例えば、動画フレームをＮ＊Ｎのブロックで区分して、各ブロックの領域別輝度値の平均値を用いてキーフレームの特徴値を算出してもよい。
【００３７】
一実施形態において、フレーム特徴値算出部１５０は、主成分分析法（以下「ＰＣＡ」という）によって少なくとも１つのキーフレームの領域別輝度値の一部から少なくとも１つのキーフレームの特徴値を算出してもよい。ここで、ＰＣＡとは、主に処理し難い高次元の信号を低い次元に落として処理し易くする統計的方法を意味する。換言すれば、ＰＣＡは、一般的にベクトルが存在する場合、次元を落とす場合に主に用いられ、これは意味のある重要な値が前の部分に主に位置し、重要でない値が後に分布するためである。結局、フレーム内の領域別輝度値の統計値を求めて、この値を、ＰＣＡを用いて変換した後に主要値だけを用いてキーフレームの特徴値を算出するものである。
【００３８】
例えば、図３に示すように、フレームをＮ＊Ｎのブロックの個数とＭ＊Ｍのブロックの個数の和である（Ｎ＊Ｎ＋Ｍ＊Ｍ）個のブロックの領域別輝度値の平均値を用いてフレームの特徴値を算出してもよく、ＰＣＡを用いて次元を落とすことができる。図３ではＰＣＡを用いて次元を落とすことによってフレームの特徴値を算出するために基準ビット法を使用しており、基準ビット数各々に該当する値に対し閾値（ｔｈｒｅｓｈｏｌｄ）が「０」であることに基づいて、「０」より大きい値は「１」に、「０」より小さい値は「０」にして、該当値を量子化（Ｑｕａｎｔｉｚｅ）することが分かる。
【００３９】
全体重複検出部１７０は、フレーム特徴値算出部１５０によって算出された特徴値を用いて動画が全体的に重複するか否かを判断するものであり、図４に示すように、全体特徴値算出部１７２および全体重複判断部１７４を備える。
【００４０】
全体特徴値算出部１７２は、フレーム特徴値算出部１５０によって算出された少なくとも１つのキーフレームの特徴値を用いて動画別に全体特徴値を算出する。例えば、全体特徴値算出部１７２は、図３に示すように、（Ｎ＊Ｎ＋Ｍ＊Ｍ）個ブロックの領域別輝度値を用いて算出されたキーフレームの特徴値の平均値を求める動画別に動画全体の特徴を代表する全体特徴値（ｇｌｏｂａｌ ｓｉｇｎａｔｕｒｅ）を算出してもよい。換言すれば、カット検出により動画のキーフレームが１００個検出されれば、１００個のキーフレームの特徴値が算出されることができ、全体特徴値はこの１００個のキーフレームの特徴値の平均値として、動画別に動画を代表する１つの値として存在することができる。
【００４１】
全体重複判断部１７４は、前提特徴値算出部１７２によって算出された全体特徴値の比較によって、動画が全体的に重複するか否かを判断する。換言すれば、全体特徴値算出部１７２によって動画別に全体特徴を代表する全体特徴値を比較して各動画が全体的に重複するか否かを判断するものである。
【００４２】
一方、図７に示すように、動画が全体的に重複する場合の例を詳察すると、図７の（ａ）のように動画が全体的に同一で重複する場合が生じることがある。この場合には、動画のサイズ、形式、フレームレートなどが同一であることもある。
【００４３】
再び図１を参照すれば、部分重複検出部１９０は、全体重複検出部１７０によって動画が全体的に重複しないものと判断された場合、フレーム特徴値算出部１５０によって算出された特徴値を用いて動画が部分的に重複するか否かを判断するものであり、図５に示すように、シーケンス生成部１９２および部分重複判断部１９４を備える。
【００４４】
シーケンス生成部１９２は、フレーム特徴値算出部１５０によって算出された少なくとも１つのキーフレームの特徴値に対するシーケンスを生成する。
【００４５】
換言すれば、シーケンス生成部１９２は動画別にキーフレームの特徴値に対するシーケンスを生成し、後述する部分重複判断部１９４はシーケンス生成部１９２によって生成されたキーフレームの特徴値のシーケンスを各々比較して動画が部分的に重複するか否かを判断する。
【００４６】
一実施形態において、シーケンス生成部１９２は、算出された少なくとも１つのキーフレームの特徴値の基準サイズを用いてシーケンスを生成してもよい。例えば、動画のキーフレームの特徴値の先頭から５バイト（ｂｙｔｅｓ）を用いてキーフレームの特徴値に対するシーケンスを生成することができる。ここで、シーケンス生成部１９２は、キーフレームが基準個数以上の場合にのみキーフレームのシーケンスを生成することができ、例えば、キーフレームが１０個以上検出された場合にのみキーフレームのシーケンスを生成することができる。
【００４７】
部分重複判断部１９４は、シーケンス生成部１９２によって生成されたシーケンスのストリングマッチングによって動画が部分的に重複するか否かを判断する。
【００４８】
例えば、図６に示すように、「Ａ、Ｂ、Ｆ」シーケンスからなる動画と「Ａ、Ｂ、Ｃ、Ｅ」からなる動画は、シーケンスのストリングマッチングによって「Ａ、Ｂ」のようにシーケンスが部分的に同一であるため、２つの動画が部分的に重複することが分かる。また、「Ｄ、Ｃ、Ｅ」シーケンスからなる動画と「Ａ、Ｂ、Ｃ、Ｅ」シーケンスからなる動画は、「Ｃ、Ｅ」のように同一のシーケンスが存在するため、２つの動画が部分的に重複することが分かる。
【００４９】
一方、図７に示すように、動画が部分的に重複する場合の例を詳察すると、図７の（ｂ）と（ｃ）の場合のように動画が部分的に重複することがあり、この場合、図７の（ｂ）の場合のようにある動画の全体が異なる動画の一部分と完全に重複して他の動画に属してもよく、図７の（ｃ）のように２つの動画の一部だけが重複してもよい。
【００５０】
以下では、図８を参照して本発明の一実施形態に係る動画重複検出方法を説明することにする。
【００５１】
まず、動画を復号化した後、動画別に少なくとも１つのキーフレームを検出する（Ｓ７１０）。換言すれば、動画の特徴をよく代表することのできるフレームインキーフレームを検出するものである。一実施形態において、少なくとも１つのキーフレームは、アイフレームであってもよい。
【００５２】
一方、本発明の一実施形態において、動画を復号化する前に動画の大部分が黒色になっている場合には、正常でない動画と判断して、全体および部分重複の有無を判断しないこともある。例えば、最大グレーヒストグラムのビン（ｂｉｎ）が９３％以上である場合、該当動画は正常でない動画に分類される。このような正常でない動画の判断は、動画のＭＤ５ハッシュ値を用いて動画のバイト特性から正常でない動画を検出することができる。
【００５３】
ここで、少なくとも１つのキーフレームは、カット検出を用いて検出されてもよく、特にグレーヒストグラムの差値を用いて検出されてもよい。例えば、グレーヒストグラムの差値が基準値以上の場合にキーフレームが検出される。すなわち、白黒分布図の差が閾値以上で大きい場合には、画面が突然に変化したことを意味するため、このようなフレームをキーフレームとして検出するものである。
【００５４】
一実施形態において、カット検出によりキーフレームが検出されなかったり、キーフレームが単に１つだけ検出されたりする場合には、中間にキーフレームを任意的に追加して動画の重複の有無を判断してもよい。この時、任意的に追加されるキーフレームは、基準時間ごとに挿入されてもよく、例えば、カット検出によりキーフレームが検出されない場合、５秒ごとにキーフレームを強制的に挿入してもよい。これは、キーフレームが検出されない場合、各動画を代表することのできる全体特徴値を算出できないため、キーフレームが検出されない場合に備えて各動画を代表する全体特徴値を算出するためである。
【００５５】
また、一実施形態において、フラッシュバックが発生する場合、キーフレーム間の基準時間を定めて基準時間より小さい時間差でフラッシュバックが起きた場合には、キーフレームとして検出することができないことがある。例えば、フラッシュバックの最小時間を０．２であるとすれば、フラッシュバックが０．２秒未満にて起きた場合に、カット検出によりキーフレームが検出されてもこれをキーフレームとして利用することができないことがある。
【００５６】
次に、検出された少なくとも１つのキーフレームの領域別輝度値を用いて少なくとも１つのキーフレームの特徴値を算出する（Ｓ７２０）。一実施形態において、検出された少なくとも１つのキーフレームの領域別輝度値の平均値を用いて少なくとも１つのキーフレームの特徴値を算出してもよい。
【００５７】
一実施形態において、ＰＣＡを用いて少なくとも１つのキーフレームの特徴値を算出してもよい。ここで、ＰＣＡとは、主に処理し難い高次元の信号を低い次元に落として処理し易くする統計的方法を意味する。換言すれば、ＰＣＡは、一般的にベクトルが存在する場合、次元を落とす場合に主に用いられ、これは意味のある重要な値が前の部分に主に位置し、重要でない値が後に分布されるためである。
【００５８】
次に、算出された少なくとも１つのキーフレームの特徴値を用いて動画別に全体特徴値を算出し（Ｓ７３０）、算出された全体特徴値の比較によって動画が全体的に重複するか否かを判断する（Ｓ７４０）。換言すれば、カット検出により動画のキーフレームが１００個検出されたとすれば、１００個のキーフレームの特徴値が算出されることができ、全体特徴値はこの１００個のキーフレームの特徴値の平均値として、動画を代表する１つの値になり、動画が全体的に重複するか否かはこの全体特徴値の比較によって判断してもよい。
【００５９】
次に、Ｓ７４０ステップで、動画が全体的に重複しない場合、算出された少なくとも１つのキーフレームの特徴値に対するシーケンスを生成して（Ｓ７５０）、生成されたシーケンスのストリングマッチングによって動画が部分的に重複するか否かを判断する（Ｓ７６０）。
【００６０】
一実施形態において、算出された少なくとも１つのキーフレームの特徴値の基準サイズを用いてキーフレームの特徴値に対するシーケンスを生成することができる。例えば、動画のキーフレームの特徴値の先頭から５バイト（ｂｙｔｅｓ）を用いてキーフレームの特徴値に対するシーケンスを生成することができる。ここで、キーフレームが基準個数以上の場合にのみキーフレームのシーケンスを生成することができ、例えば、キーフレームが１０個以上検出された場合にのみキーフレームのシーケンスを生成することができる。
【００６１】
以下では、図９を参照して本発明の他の実施形態に係る動画重複検出方法を説明することにする。
【００６２】
まず、動画を復号化した後、動画別に少なくとも１つのキーフレームを検出する（Ｓ８１０）。換言すれば、動画の特徴をよく代表できるフレームインキーフレームを検出するものである。一実施形態において、少なくとも１つのキーフレームは、アイフレームであってもよい。
【００６３】
ここで、少なくとも１つのキーフレームは、カット検出を用いて検出されてもよく、特にグレーヒストグラムの差値を用いて検出されてもよく、例えば、グレーヒストグラムの差値が基準値以上の場合にキーフレームが検出されてもよい。すなわち、白黒分布図の差が閾値以上で大きい場合には、画面が突然に変化したことを意味するため、このようなフレームをキーフレームとして検出するものである。
【００６４】
次に、検出された少なくとも１つのキーフレームの特徴値を算出する（Ｓ８２０）。一実施形態において、検出された少なくとも１つのキーフレームの領域別輝度値の平均値を用いて少なくとも１つのキーフレームの特徴値を算出してもよい。換言すれば、カット検出により動画のキーフレームが１００個検出されたとすれば、１００個のキーフレームの特徴値が算出されてもよく、１００個のキーフレームの特徴値は各キーフレームの領域別輝度値の平均値を用いて算出される。
【００６５】
一実施形態において、少なくとも１つのキーフレームの特徴値は、主成分分析法（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ：ＰＣＡ）によって少なくとも１つのキーフレームの領域別輝度値の一部から算出される。ここで、ＰＣＡとは主に処理し難い高次元の信号を低い次元に落として処理し易くする統計的方法を意味する。換言すれば、フレーム内の領域別輝度値の統計値を求めて、この値を、ＰＣＡを用いて変換した後に主要値だけを用いてキーフレームの特徴値を算出するものである。
【００６６】
次に、算出された少なくとも１つのキーフレームの特徴値に対するシーケンスを生成し（Ｓ８３０）、生成されたシーケンスのストリングマッチングによって動画が部分的に重複するか否かを判断する（Ｓ８４０）。一実施形態において、算出された少なくとも１つのキーフレームの特徴値の基準サイズを用いてキーフレームの特徴値に対するシーケンスを生成してもよい。例えば、動画のキーフレームの特徴値の先頭から５バイト（ｂｙｔｅｓ）を用いてキーフレームの特徴値に対するシーケンスを生成してもよい。
【００６７】
なお、本発明の実施形態は、コンピュータにより実現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フレキシブルディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体であってもよい。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。
【００６８】
上述したように、本発明の好ましい実施形態について説明したが、該当の技術分野における通常の知識を有する当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができる。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。
【符号の説明】
【００６９】
１００：動画重複検出システム
１１０：復号化部
１３０：キーフレーム検出部
１５０：フレーム特徴値算出部
１７０：全体重複検出部
１９０：部分重複検出部
【技術分野】
【０００１】
本発明は、動画重複検出に関し、より詳しくは、内容が同一の動画を検出できる動画検出方法およびシステムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ／ビデオカメラ、カメラ携帯電話、携帯動画再生機（ＰＭＰ、ＭＰ４Ｐ）などの発達により、動画コンテンツの製作と活用とが容易になった。また、ＵＣＣ（Ｕｓｅｒ Ｃｒｅａｔｅｄ Ｃｏｎｔｅｎｔｓ）サービスの急速な拡散により、ユーザによって生産されたデジタル動画ファイルがＵＣＣ専門サイトやＰ２Ｐ（Ｐｅｅｒ ｔｏ Ｐｅｅｒ）方式のファイル共有サイト、個人ブログやミニホームページなどを介してアップロードされている。このようにアップロードされた動画ファイルは、インターネットを介するダウンロードまたはストリーミングサービスによって他のユーザに共有される。
【０００３】
デジタル動画は、テキストベースのコンテンツに比べてファイル容量が非常に大きい。したがって、動画コンテンツの製作者やユーザ、そしてＵＣＣサービスなどの提供のために、ユーザ製作が中心の動画コンテンツを大量にデータベース化しなければならない事業者の立場では、ストレージ（Ｓｔｏｒａｇｅ）の効率的な管理が大変重要である。
【０００４】
ストレージの効率的管理のためには、内容が同一の動画ファイルの重複記録を防止しなければならない。内容が同一の動画ファイルが重複記録されれば、ストレージのリソースが浪費されるためである。既存の技術において、動画の重複した記録を防止するための、重複した動画の検出は、動画と関連するテキスト分析、再生時間分析、出処分析によってその関連性を把握した。しかし、動画の種類が多様化して、またユーザが意図的に動画を少しずつ変化させると、これを簡単な方法によって検出することはほぼ不可能である。ここで、動画自体の内容を分析することによって、動画の重複を検出できる方法に対する開発が必要となった。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上述した問題点を解決するためのものであり、動画自体の内容を分析することによって、動画の重複を検出することのできる動画重複検出方法およびシステムを提供することを技術的課題とする。
【０００６】
また、本発明は、二段階で動画の重複の有無を判断することによって、より正確に動画の重複を検出することのできる動画重複検出方法およびシステムを提供することを技術的課題とする。
【課題を解決するための手段】
【０００７】
上述した目的を達成するための本発明の一側面に係る動画重複検出方法は、動画別に少なくとも１つのキーフレームを検出し、前記検出された少なくとも１つのキーフレームの領域別輝度値を用いて前記少なくとも１つのキーフレームの特徴値を算出し、前記算出された少なくとも１つのキーフレームの特徴値を用いて前記動画別に全体特徴値を算出し、前記算出された全体特徴値の比較によって前記動画が全体的に重複するか否かを判断することを含む。
【０００８】
この時、本発明の一実施形態に係る動画重複検出方法は、前記キーフレームを検出しようとするときに、前記少なくとも１つのキーフレームが検出されない場合、基準時間ごとにキーフレームを追加することを含むことを特徴とする。
【０００９】
また、本発明の一実施形態に係る動画重複検出方法は、前記少なくとも１つのキーフレームを検出するときに、カット検出（ｃｕｔ ｄｅｔｅｃｔｉｏｎ）を用いて前記少なくとも１つのキーフレームを検出することを特徴とする。
【００１０】
そして、本発明の一実施形態に係る動画重複検出方法は、前記少なくとも１つのキーフレームを検出するときに、グレーヒストグラムの差値を用いて前記少なくとも１つのキーフレームを検出することを特徴とし、前記少なくとも１つのキーフレームは前記グレーヒストグラムの差値が基準値以上であることを特徴とする。
【００１１】
一方、前記キーフレームを検出する前に、前記動画を復号化することをさらに含むことを特徴とする。
【００１２】
本発明の一実施形態において、前記少なくとも１つのキーフレームは、アイフレームであることを特徴とする動画重複検出方法が提供される。
【００１３】
また、本発明の一実施形態に係る動画重複検出方法は、前記少なくとも１つのキーフレームの特徴値を算出するときに、主成分分析法（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ：ＰＣＡ）によって前記少なくとも１つのキーフレームの領域別輝度値の一部から前記少なくとも１つのキーフレームの特徴値を算出することを特徴とする。
【００１４】
この時、本発明の一実施形態に係る動画重複検出方法は、前記動画が全体的に重複しない場合、前記算出された少なくとも１つのキーフレームの特徴値に対するシーケンスを生成し、前記生成されたシーケンスのストリングマッチングによって前記動画が部分的に重複するか否かを判断することをさらに含むことを特徴とする。
【００１５】
また、本発明の一実施形態に係る動画重複検出方法は、前記シーケンスを生成するときに、前記算出された少なくとも１つのキーフレームの特徴値の基準サイズを用いて前記シーケンスを生成することを特徴とする。
【００１６】
また、上述した目的を達成するための本発明の一側面に係る動画重複検出方法は、動画別に少なくとも１つのキーフレームを検出し、前記検出された少なくとも１つのキーフレームの特徴値を算出し、前記算出された少なくとも１つのキーフレームの特徴値に対するシーケンスを生成し、前記生成されたシーケンスのストリングマッチングによって前記動画が部分的に重複するか否かを判断することを含む。
【００１７】
そして、本発明の一実施形態に係る動画重複検出方法は、前記少なくとも１つのキーフレームの特徴値を算出するときに、前記検出された少なくとも１つのキーフレームの領域別輝度値の平均値を用いて前記少なくとも１つのキーフレームの特徴値を算出することを特徴とする。
【００１８】
上述した目的を達成するための本発明の他の側面に係る動画重複検出システムは、動画別に少なくとも１つのキーフレームを検出するキーフレーム検出部と、前記検出された少なくとも１つのキーフレームの領域別輝度値を用いて前記少なくとも１つのキーフレームの特徴値を算出するフレーム特徴値算出部と、前記算出された少なくとも１つのキーフレームの特徴値を用いて前記動画別に全体特徴値を算出する全体特徴値算出部と、前記算出された全体特徴値の比較によって前記動画が全体的に重複するか否かを判断する全体重複判断部とを備える。
【発明の効果】
【００１９】
本発明によれば、ユーザが意図的に変形させた動画の重複有無を、動画自体の内容を分析することによって、検出することができるという効果がある。
【００２０】
また、本発明は、動画の全体重複の有無および部分重複の有無を二段階に分けて判断することによって、より正確に重複を検出することができるという効果がある。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態に係る動画重複検出システムの概略的なブロック図である。
【図２】グレーヒストグラムおよびグレーヒストグラムの差値を求める一例を示す図である。
【図３】キーフレームの領域別輝度値を用いてキーフレームの特徴値を算出する一例を示す図である。
【図４】図１に示した全体重複検出部の細部構成を表すブロック図である。
【図５】図１に示した部分重複検出部の細部構成を表すブロック図である。
【図６】動画のストリングマッチングの一例を示す図である。
【図７】動画の全体重複および部分重複数の一例を示す図である。
【図８】本発明の一実施形態に係る動画重複検出方法を説明するためのフローチャートである。
【図９】本発明の一実施形態に係る動画重複検出方法を説明するためのフローチャートである。
【発明を実施するための形態】
【００２２】
以下、添付された図面に記載された内容を参照しながら本発明に係る実施形態を詳細に説明する。ただし、本発明は、実施形態に制限されたり限定されたりして解釈されることはない。各図面に提示された同一の参照符号は、同一の部材を示す。
【００２３】
図１は、本発明の一実施形態に係る動画重複検出システムの概略的なブロック図である。図に示すように、動画重複検出システムは、復号化部１１０と、キーフレーム検出部１３０と、フレーム特徴値算出部１５０と、全体重複検出部１７０と、部分重複検出部１９０とを備える。
【００２４】
一方、本発明の一実施形態において、動画を復号化する前に動画の大部分が黒色になっている場合には、正常でない動画と判断して、全体および部分重複の有無を判断しないこともある。例えば、最大グレーヒストグラムのビン（ｂｉｎ）が９３％以上である場合、該当動画は正常でない動画に分類される。このような正常でない動画の判断は、動画のＭＤ５ハッシュ値を用いて動画のバイト特性から正常でない動画を検出することができる。
【００２５】
復号化部１１０は、さまざまな形式でエンコーディングされた動画を復号化することができる。ここで、本発明で用いられる動画は、ＦＬＶ、ＷＭＶ、ＡＶＩ、ＭＰＧ、ＭＰ４、Ｈ．２６４などのさまざまな形式を用いてエンコーディングされた動画であってもよく、本発明は、これらに限定されずに詳述した形式以外のさまざまな形式によってエンコーディングされた動画を用いてもよい。
【００２６】
また、本発明で用いられる動画は、詳述したエンコーディング方式以外にもフレームレート（ｆｒａｍｅ ｒａｔｅ）、ビットレート（ｂｉｔ ｒａｔｅ）、解像度など形式（ｆｏｒｍａｔ）が他の動画が用いられる。また、色または明暗に差がある動画、ロゴが挿入されたり、テキストがオーバーレイされたりする動画、他の内容を有する関連のないフレームが追加された動画、同一の内容で動画の長さが異なる動画など内容の異なる動画を用いてもよい。本発明の一実施形態に係る動画重複検出システムの復号化部は、このようなさまざまな形式によってエンコーディングされた動画を復号化する役割を行う。
【００２７】
一方、一実施形態において、復号化部１１０は、動画を復号化した後に復号化された動画を予め正規化（Ｎｏｒｍａｌｉｚａｔｉｏｎ）することができる。例えば、動画のサイズ、フレームレートなどを同一にして動画の変形に強くすることができる。
【００２８】
キーフレーム検出部１３０は、動画別に少なくとも１つのキーフレームを検出する。換言すれば、動画の特徴をよく代表できるフレームインキーフレームを検出するものである。例えば、少なくとも１つのキーフレームはアイ（Ｉ）フレームであってもよい。アイフレームは、ＭＰＥＧ圧縮方法におけるイントラコーディングブロックだけで構成されたフレームを意味する。したがって、少なくとも１つのキーフレームがアイフレームである場合には、イントラコーディングブロックだけで構成されているため、動画の特徴としてよく代表できるキーフレームとすることができる。
【００２９】
一実施形態において、キーフレーム検出部１３０は、少なくとも１つのキーフレームを、カット検出を用いて検出してもよい。ここで、カット検出とは、場面検出という動画の様々なフレームのうち突然変化するフレームに該当する場面を検出することを意味するものである。本発明の一実施形態に係る動画重複検出システムは、キーフレームとして、カット検出によって検出されたフレームを用いる。
【００３０】
他の実施形態において、キーフレーム検出部１３０は、少なくとも１つのキーフレームをグレーヒストグラムの差値を用いて検出してもよい。換言すれば、隣接フレーム間で白黒分布図の差値を用いてキーフレームを検出するものである。
【００３１】
グレーヒストグラムとは、該当イメージを構成するグレイ値の分布をベクトル状で示したものであり、換言すれば、グレイ値の範囲を１２８個または６４個などと定めておいて、その範囲に属するピクセルが全体イメージに占める比率をベクトル値で表したことを意味する。例えば、図２に示すように、動画のグレーヒストグラムで表すこともでき、キーフレーム検出部１３０は、隣接フレーム間のグレーヒストグラムの差値を用いてキーフレームを検出してもよい。また、図２に示すグレーヒストグラムは１６個のグレイビンを用いてもよく、グレーヒストグラムの差値の基準値は０．１５としてもよい。
【００３２】
一方、本発明の一実施形態に係る少なくとも１つのキーフレームは、グレーヒストグラムの差値が基準値以上であってもよい。換言すれば、隣接フレーム間で白黒分布図の差値が基準値以上のフレームを、本発明の一実施形態におけるキーフレームとして、検出してもよい。すなわち、白黒分布図の差が閾値以上となり、差が大きい場合には、画面が突然に変化したことを意味する。そこで、このようなフレームをキーフレームといして検出するのである。
【００３３】
また、本発明の一実施形態において、キーフレーム検出部１３０は、カット検出によってキーフレームが検出されなかったり、キーフレームが単に１つだけ検出されたりする場合には、中間にキーフレームを任意的に追加してもよい。この時、任意的に追加されるキーフレームは、基準時間ごとに挿入され、例えば、カット検出によりキーフレームが検出されない場合、５秒ごとにキーフレームを強制的に挿入してもよい。これは、キーフレームが検出されない場合、各動画を代表できる全体の特徴値を算出できないため、各動画を代表する全体特徴値を算出するためにキーフレームが検出されない場合に備えるためである。
【００３４】
そして、一実施形態において、キーフレーム検出部１３０は、フラッシュバック（ｆｌａｓｈｂａｃｋ）が発生する場合、キーフレーム間の基準時間を定めて基準時間より小さい時間差でフラッシュバックが起きた場合には、キーフレームとして検出することができないことがある。例えば、フラッシュバックの最小時間を０．２であるとすれば、フラッシュバックが０．２秒以内に起きた場合に、カット検出によりキーフレームが検出されてもこれをキーフレームとして利用することができないことがある。
【００３５】
フレーム特徴値算出部１５０は、キーフレーム検出部１３０によって検出された少なくとも１つのキーフレームの領域別輝度値を用いて少なくとも１つのキーフレームの特徴値を算出する。
【００３６】
一実施形態において、フレーム特徴値算出部１５０は、少なくとも１つのキーフレームの領域別輝度値の平均値を用いてキーフレームの特徴値を算出してもよい。例えば、動画フレームをＮ＊Ｎのブロックで区分して、各ブロックの領域別輝度値の平均値を用いてキーフレームの特徴値を算出してもよい。
【００３７】
一実施形態において、フレーム特徴値算出部１５０は、主成分分析法（以下「ＰＣＡ」という）によって少なくとも１つのキーフレームの領域別輝度値の一部から少なくとも１つのキーフレームの特徴値を算出してもよい。ここで、ＰＣＡとは、主に処理し難い高次元の信号を低い次元に落として処理し易くする統計的方法を意味する。換言すれば、ＰＣＡは、一般的にベクトルが存在する場合、次元を落とす場合に主に用いられ、これは意味のある重要な値が前の部分に主に位置し、重要でない値が後に分布するためである。結局、フレーム内の領域別輝度値の統計値を求めて、この値を、ＰＣＡを用いて変換した後に主要値だけを用いてキーフレームの特徴値を算出するものである。
【００３８】
例えば、図３に示すように、フレームをＮ＊Ｎのブロックの個数とＭ＊Ｍのブロックの個数の和である（Ｎ＊Ｎ＋Ｍ＊Ｍ）個のブロックの領域別輝度値の平均値を用いてフレームの特徴値を算出してもよく、ＰＣＡを用いて次元を落とすことができる。図３ではＰＣＡを用いて次元を落とすことによってフレームの特徴値を算出するために基準ビット法を使用しており、基準ビット数各々に該当する値に対し閾値（ｔｈｒｅｓｈｏｌｄ）が「０」であることに基づいて、「０」より大きい値は「１」に、「０」より小さい値は「０」にして、該当値を量子化（Ｑｕａｎｔｉｚｅ）することが分かる。
【００３９】
全体重複検出部１７０は、フレーム特徴値算出部１５０によって算出された特徴値を用いて動画が全体的に重複するか否かを判断するものであり、図４に示すように、全体特徴値算出部１７２および全体重複判断部１７４を備える。
【００４０】
全体特徴値算出部１７２は、フレーム特徴値算出部１５０によって算出された少なくとも１つのキーフレームの特徴値を用いて動画別に全体特徴値を算出する。例えば、全体特徴値算出部１７２は、図３に示すように、（Ｎ＊Ｎ＋Ｍ＊Ｍ）個ブロックの領域別輝度値を用いて算出されたキーフレームの特徴値の平均値を求める動画別に動画全体の特徴を代表する全体特徴値（ｇｌｏｂａｌ ｓｉｇｎａｔｕｒｅ）を算出してもよい。換言すれば、カット検出により動画のキーフレームが１００個検出されれば、１００個のキーフレームの特徴値が算出されることができ、全体特徴値はこの１００個のキーフレームの特徴値の平均値として、動画別に動画を代表する１つの値として存在することができる。
【００４１】
全体重複判断部１７４は、前提特徴値算出部１７２によって算出された全体特徴値の比較によって、動画が全体的に重複するか否かを判断する。換言すれば、全体特徴値算出部１７２によって動画別に全体特徴を代表する全体特徴値を比較して各動画が全体的に重複するか否かを判断するものである。
【００４２】
一方、図７に示すように、動画が全体的に重複する場合の例を詳察すると、図７の（ａ）のように動画が全体的に同一で重複する場合が生じることがある。この場合には、動画のサイズ、形式、フレームレートなどが同一であることもある。
【００４３】
再び図１を参照すれば、部分重複検出部１９０は、全体重複検出部１７０によって動画が全体的に重複しないものと判断された場合、フレーム特徴値算出部１５０によって算出された特徴値を用いて動画が部分的に重複するか否かを判断するものであり、図５に示すように、シーケンス生成部１９２および部分重複判断部１９４を備える。
【００４４】
シーケンス生成部１９２は、フレーム特徴値算出部１５０によって算出された少なくとも１つのキーフレームの特徴値に対するシーケンスを生成する。
【００４５】
換言すれば、シーケンス生成部１９２は動画別にキーフレームの特徴値に対するシーケンスを生成し、後述する部分重複判断部１９４はシーケンス生成部１９２によって生成されたキーフレームの特徴値のシーケンスを各々比較して動画が部分的に重複するか否かを判断する。
【００４６】
一実施形態において、シーケンス生成部１９２は、算出された少なくとも１つのキーフレームの特徴値の基準サイズを用いてシーケンスを生成してもよい。例えば、動画のキーフレームの特徴値の先頭から５バイト（ｂｙｔｅｓ）を用いてキーフレームの特徴値に対するシーケンスを生成することができる。ここで、シーケンス生成部１９２は、キーフレームが基準個数以上の場合にのみキーフレームのシーケンスを生成することができ、例えば、キーフレームが１０個以上検出された場合にのみキーフレームのシーケンスを生成することができる。
【００４７】
部分重複判断部１９４は、シーケンス生成部１９２によって生成されたシーケンスのストリングマッチングによって動画が部分的に重複するか否かを判断する。
【００４８】
例えば、図６に示すように、「Ａ、Ｂ、Ｆ」シーケンスからなる動画と「Ａ、Ｂ、Ｃ、Ｅ」からなる動画は、シーケンスのストリングマッチングによって「Ａ、Ｂ」のようにシーケンスが部分的に同一であるため、２つの動画が部分的に重複することが分かる。また、「Ｄ、Ｃ、Ｅ」シーケンスからなる動画と「Ａ、Ｂ、Ｃ、Ｅ」シーケンスからなる動画は、「Ｃ、Ｅ」のように同一のシーケンスが存在するため、２つの動画が部分的に重複することが分かる。
【００４９】
一方、図７に示すように、動画が部分的に重複する場合の例を詳察すると、図７の（ｂ）と（ｃ）の場合のように動画が部分的に重複することがあり、この場合、図７の（ｂ）の場合のようにある動画の全体が異なる動画の一部分と完全に重複して他の動画に属してもよく、図７の（ｃ）のように２つの動画の一部だけが重複してもよい。
【００５０】
以下では、図８を参照して本発明の一実施形態に係る動画重複検出方法を説明することにする。
【００５１】
まず、動画を復号化した後、動画別に少なくとも１つのキーフレームを検出する（Ｓ７１０）。換言すれば、動画の特徴をよく代表することのできるフレームインキーフレームを検出するものである。一実施形態において、少なくとも１つのキーフレームは、アイフレームであってもよい。
【００５２】
一方、本発明の一実施形態において、動画を復号化する前に動画の大部分が黒色になっている場合には、正常でない動画と判断して、全体および部分重複の有無を判断しないこともある。例えば、最大グレーヒストグラムのビン（ｂｉｎ）が９３％以上である場合、該当動画は正常でない動画に分類される。このような正常でない動画の判断は、動画のＭＤ５ハッシュ値を用いて動画のバイト特性から正常でない動画を検出することができる。
【００５３】
ここで、少なくとも１つのキーフレームは、カット検出を用いて検出されてもよく、特にグレーヒストグラムの差値を用いて検出されてもよい。例えば、グレーヒストグラムの差値が基準値以上の場合にキーフレームが検出される。すなわち、白黒分布図の差が閾値以上で大きい場合には、画面が突然に変化したことを意味するため、このようなフレームをキーフレームとして検出するものである。
【００５４】
一実施形態において、カット検出によりキーフレームが検出されなかったり、キーフレームが単に１つだけ検出されたりする場合には、中間にキーフレームを任意的に追加して動画の重複の有無を判断してもよい。この時、任意的に追加されるキーフレームは、基準時間ごとに挿入されてもよく、例えば、カット検出によりキーフレームが検出されない場合、５秒ごとにキーフレームを強制的に挿入してもよい。これは、キーフレームが検出されない場合、各動画を代表することのできる全体特徴値を算出できないため、キーフレームが検出されない場合に備えて各動画を代表する全体特徴値を算出するためである。
【００５５】
また、一実施形態において、フラッシュバックが発生する場合、キーフレーム間の基準時間を定めて基準時間より小さい時間差でフラッシュバックが起きた場合には、キーフレームとして検出することができないことがある。例えば、フラッシュバックの最小時間を０．２であるとすれば、フラッシュバックが０．２秒未満にて起きた場合に、カット検出によりキーフレームが検出されてもこれをキーフレームとして利用することができないことがある。
【００５６】
次に、検出された少なくとも１つのキーフレームの領域別輝度値を用いて少なくとも１つのキーフレームの特徴値を算出する（Ｓ７２０）。一実施形態において、検出された少なくとも１つのキーフレームの領域別輝度値の平均値を用いて少なくとも１つのキーフレームの特徴値を算出してもよい。
【００５７】
一実施形態において、ＰＣＡを用いて少なくとも１つのキーフレームの特徴値を算出してもよい。ここで、ＰＣＡとは、主に処理し難い高次元の信号を低い次元に落として処理し易くする統計的方法を意味する。換言すれば、ＰＣＡは、一般的にベクトルが存在する場合、次元を落とす場合に主に用いられ、これは意味のある重要な値が前の部分に主に位置し、重要でない値が後に分布されるためである。
【００５８】
次に、算出された少なくとも１つのキーフレームの特徴値を用いて動画別に全体特徴値を算出し（Ｓ７３０）、算出された全体特徴値の比較によって動画が全体的に重複するか否かを判断する（Ｓ７４０）。換言すれば、カット検出により動画のキーフレームが１００個検出されたとすれば、１００個のキーフレームの特徴値が算出されることができ、全体特徴値はこの１００個のキーフレームの特徴値の平均値として、動画を代表する１つの値になり、動画が全体的に重複するか否かはこの全体特徴値の比較によって判断してもよい。
【００５９】
次に、Ｓ７４０ステップで、動画が全体的に重複しない場合、算出された少なくとも１つのキーフレームの特徴値に対するシーケンスを生成して（Ｓ７５０）、生成されたシーケンスのストリングマッチングによって動画が部分的に重複するか否かを判断する（Ｓ７６０）。
【００６０】
一実施形態において、算出された少なくとも１つのキーフレームの特徴値の基準サイズを用いてキーフレームの特徴値に対するシーケンスを生成することができる。例えば、動画のキーフレームの特徴値の先頭から５バイト（ｂｙｔｅｓ）を用いてキーフレームの特徴値に対するシーケンスを生成することができる。ここで、キーフレームが基準個数以上の場合にのみキーフレームのシーケンスを生成することができ、例えば、キーフレームが１０個以上検出された場合にのみキーフレームのシーケンスを生成することができる。
【００６１】
以下では、図９を参照して本発明の他の実施形態に係る動画重複検出方法を説明することにする。
【００６２】
まず、動画を復号化した後、動画別に少なくとも１つのキーフレームを検出する（Ｓ８１０）。換言すれば、動画の特徴をよく代表できるフレームインキーフレームを検出するものである。一実施形態において、少なくとも１つのキーフレームは、アイフレームであってもよい。
【００６３】
ここで、少なくとも１つのキーフレームは、カット検出を用いて検出されてもよく、特にグレーヒストグラムの差値を用いて検出されてもよく、例えば、グレーヒストグラムの差値が基準値以上の場合にキーフレームが検出されてもよい。すなわち、白黒分布図の差が閾値以上で大きい場合には、画面が突然に変化したことを意味するため、このようなフレームをキーフレームとして検出するものである。
【００６４】
次に、検出された少なくとも１つのキーフレームの特徴値を算出する（Ｓ８２０）。一実施形態において、検出された少なくとも１つのキーフレームの領域別輝度値の平均値を用いて少なくとも１つのキーフレームの特徴値を算出してもよい。換言すれば、カット検出により動画のキーフレームが１００個検出されたとすれば、１００個のキーフレームの特徴値が算出されてもよく、１００個のキーフレームの特徴値は各キーフレームの領域別輝度値の平均値を用いて算出される。
【００６５】
一実施形態において、少なくとも１つのキーフレームの特徴値は、主成分分析法（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ：ＰＣＡ）によって少なくとも１つのキーフレームの領域別輝度値の一部から算出される。ここで、ＰＣＡとは主に処理し難い高次元の信号を低い次元に落として処理し易くする統計的方法を意味する。換言すれば、フレーム内の領域別輝度値の統計値を求めて、この値を、ＰＣＡを用いて変換した後に主要値だけを用いてキーフレームの特徴値を算出するものである。
【００６６】
次に、算出された少なくとも１つのキーフレームの特徴値に対するシーケンスを生成し（Ｓ８３０）、生成されたシーケンスのストリングマッチングによって動画が部分的に重複するか否かを判断する（Ｓ８４０）。一実施形態において、算出された少なくとも１つのキーフレームの特徴値の基準サイズを用いてキーフレームの特徴値に対するシーケンスを生成してもよい。例えば、動画のキーフレームの特徴値の先頭から５バイト（ｂｙｔｅｓ）を用いてキーフレームの特徴値に対するシーケンスを生成してもよい。
【００６７】
なお、本発明の実施形態は、コンピュータにより実現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フレキシブルディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体であってもよい。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。
【００６８】
上述したように、本発明の好ましい実施形態について説明したが、該当の技術分野における通常の知識を有する当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができる。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。
【符号の説明】
【００６９】
１００：動画重複検出システム
１１０：復号化部
１３０：キーフレーム検出部
１５０：フレーム特徴値算出部
１７０：全体重複検出部
１９０：部分重複検出部
【特許請求の範囲】
【請求項１】
動画別に少なくとも１つのキーフレームを検出し、
前記検出された少なくとも１つのキーフレームの領域別輝度値を用いて前記少なくとも１つのキーフレームの特徴値を算出し、
前記算出された少なくとも１つのキーフレームの特徴値を用いて前記動画別に全体特徴値を算出し、
前記算出された全体特徴値の比較によって前記動画が全体的に重複するか否かを判断すること、
を含むことを特徴とする動画重複検出方法。
【請求項２】
前記キーフレームの検出において、
前記少なくとも１つのキーフレームが検出されない場合、基準時間ごとにキーフレームを追加することを含むことを特徴とする請求項１に記載の動画重複検出方法。
【請求項３】
前記少なくとも１つのキーフレームの検出において、
カット検出を用いて前記少なくとも１つのキーフレームを検出することを特徴とする請求項１に記載の動画重複検出方法。
【請求項４】
前記少なくとも１つのキーフレームの検出において、
グレーヒストグラムの差値を用いて前記少なくとも１つのキーフレームを検出することを特徴とすることを特徴とする請求項１に記載の動画重複検出方法。
【請求項５】
前記少なくとも１つのキーフレームは、
前記グレーヒストグラムの差値が基準値以上であることを特徴とする請求項４に記載の動画重複検出方法。
【請求項６】
前記キーフレームを検出する前に、
前記動画を復号化することを特徴とする請求項１に記載の動画重複検出方法。
【請求項７】
前記少なくとも１つのキーフレームはアイフレームであることを特徴とする請求項１に記載の動画重複検出方法。
【請求項８】
前記少なくとも１つのキーフレームの特徴値の算出において、
主成分分析法によって前記少なくとも１つのキーフレームの領域別輝度値の一部から前記少なくとも１つのキーフレームの特徴値を算出することを特徴とする請求項１に記載の動画重複検出方法。
【請求項９】
前記動画が全体的に重複しない場合、
前記算出された少なくとも１つのキーフレームの特徴値に対するシーケンスを生成し、
前記生成されたシーケンスのストリングマッチングによって前記動画が部分的に重複するか否かを判断すること、
をさらに含むことを特徴とする請求項１に記載の動画重複検出方法。
【請求項１０】
前記シーケンスの生成において、
前記算出された少なくとも１つのキーフレームの特徴値の基準サイズを用いて前記シーケンスを生成することを特徴とする請求項９に記載の動画重複検出方法。
【請求項１１】
動画別に少なくとも１つのキーフレームを検出し、
前記検出された少なくとも１つのキーフレームの特徴値を算出し、
前記算出された少なくとも１つのキーフレームの特徴値に対するシーケンスを生成し、
前記生成されたシーケンスのストリングマッチングによって前記動画が部分的に重複するか否かを判断すること、
を含むことを特徴とする動画重複検出方法。
【請求項１２】
前記少なくとも１つのキーフレームの特徴値の算出において、
前記検出された少なくとも１つのキーフレームの領域別輝度値の平均値を用いて前記少なくとも１つのキーフレームの特徴値を算出することを特徴とする請求項１１に記載の動画重複検出方法。
【請求項１３】
請求項１〜請求項１２のうちいずれか１項に記載された方法を行うためのプログラムが記録された記録媒体。
【請求項１４】
動画別に少なくとも１つのキーフレームを検出するキーフレーム検出部と、
前記検出された少なくとも１つのキーフレームの領域別輝度値を用いて前記少なくとも１つのキーフレームの特徴値を算出するフレーム特徴値算出部と、
前記算出された少なくとも１つのキーフレームの特徴値を用いて前記動画別に全体特徴値を算出する全体特徴値算出部と、
前記算出された全体特徴値の比較によって前記動画が全体的に重複するか否かを判断する全体重複判断部と、
を備えることを特徴とする動画重複検出システム。
【請求項１５】
前記キーフレーム検出部は、
前記少なくとも１つのキーフレームが検出されない場合、基準時間ごとにキーフレームを追加することを特徴とする請求項１４に記載の動画重複検出システム。
【請求項１６】
前記少なくとも１つのキーフレームは、カット検出を用いて検出されることを特徴とする請求項１４に記載の動画重複検出システム。
【請求項１７】
前記少なくとも１つのキーフレームは、グレーヒストグラムの差値を用いて検出されることを特徴とする請求項１４に記載の動画重複検出システム。
【請求項１８】
前記少なくとも１つのキーフレームは、
前記グレーヒストグラムの差値が基準値以上であることを特徴とする請求項１７に記載の動画重複検出システム。
【請求項１９】
前記動画を復号化する復号化部をさらに備えることを特徴とする請求項１４に記載の動画重複検出システム。
【請求項２０】
前記少なくとも１つのキーフレームは、アイフレームであることを特徴とする請求項１４に記載の動画重複検出システム。
【請求項２１】
前記少なくとも１つのキーフレームの特徴値は、主成分分析法によって前記少なくとも１つのキーフレームの領域別輝度値の一部から算出されることを特徴とする請求項１４に記載の動画重複検出システム。
【請求項２２】
前記算出された少なくとも１つのキーフレームの特徴値に対するシーケンスを生成するシーケンス生成部と、
前記生成されたシーケンスのストリングマッチングによって前記動画が部分的に重複するか否かを判断する部分重複判断部と、
をさらに備えることを特徴とする請求項１４に記載の動画重複検出システム。
【請求項２３】
前記シーケンスは、前記算出された少なくとも１つのキーフレームの特徴値の基準サイズを用いて生成されることを特徴とする請求項２２に記載の動画重複検出システム。
【請求項１】
動画別に少なくとも１つのキーフレームを検出し、
前記検出された少なくとも１つのキーフレームの領域別輝度値を用いて前記少なくとも１つのキーフレームの特徴値を算出し、
前記算出された少なくとも１つのキーフレームの特徴値を用いて前記動画別に全体特徴値を算出し、
前記算出された全体特徴値の比較によって前記動画が全体的に重複するか否かを判断すること、
を含むことを特徴とする動画重複検出方法。
【請求項２】
前記キーフレームの検出において、
前記少なくとも１つのキーフレームが検出されない場合、基準時間ごとにキーフレームを追加することを含むことを特徴とする請求項１に記載の動画重複検出方法。
【請求項３】
前記少なくとも１つのキーフレームの検出において、
カット検出を用いて前記少なくとも１つのキーフレームを検出することを特徴とする請求項１に記載の動画重複検出方法。
【請求項４】
前記少なくとも１つのキーフレームの検出において、
グレーヒストグラムの差値を用いて前記少なくとも１つのキーフレームを検出することを特徴とすることを特徴とする請求項１に記載の動画重複検出方法。
【請求項５】
前記少なくとも１つのキーフレームは、
前記グレーヒストグラムの差値が基準値以上であることを特徴とする請求項４に記載の動画重複検出方法。
【請求項６】
前記キーフレームを検出する前に、
前記動画を復号化することを特徴とする請求項１に記載の動画重複検出方法。
【請求項７】
前記少なくとも１つのキーフレームはアイフレームであることを特徴とする請求項１に記載の動画重複検出方法。
【請求項８】
前記少なくとも１つのキーフレームの特徴値の算出において、
主成分分析法によって前記少なくとも１つのキーフレームの領域別輝度値の一部から前記少なくとも１つのキーフレームの特徴値を算出することを特徴とする請求項１に記載の動画重複検出方法。
【請求項９】
前記動画が全体的に重複しない場合、
前記算出された少なくとも１つのキーフレームの特徴値に対するシーケンスを生成し、
前記生成されたシーケンスのストリングマッチングによって前記動画が部分的に重複するか否かを判断すること、
をさらに含むことを特徴とする請求項１に記載の動画重複検出方法。
【請求項１０】
前記シーケンスの生成において、
前記算出された少なくとも１つのキーフレームの特徴値の基準サイズを用いて前記シーケンスを生成することを特徴とする請求項９に記載の動画重複検出方法。
【請求項１１】
動画別に少なくとも１つのキーフレームを検出し、
前記検出された少なくとも１つのキーフレームの特徴値を算出し、
前記算出された少なくとも１つのキーフレームの特徴値に対するシーケンスを生成し、
前記生成されたシーケンスのストリングマッチングによって前記動画が部分的に重複するか否かを判断すること、
を含むことを特徴とする動画重複検出方法。
【請求項１２】
前記少なくとも１つのキーフレームの特徴値の算出において、
前記検出された少なくとも１つのキーフレームの領域別輝度値の平均値を用いて前記少なくとも１つのキーフレームの特徴値を算出することを特徴とする請求項１１に記載の動画重複検出方法。
【請求項１３】
請求項１〜請求項１２のうちいずれか１項に記載された方法を行うためのプログラムが記録された記録媒体。
【請求項１４】
動画別に少なくとも１つのキーフレームを検出するキーフレーム検出部と、
前記検出された少なくとも１つのキーフレームの領域別輝度値を用いて前記少なくとも１つのキーフレームの特徴値を算出するフレーム特徴値算出部と、
前記算出された少なくとも１つのキーフレームの特徴値を用いて前記動画別に全体特徴値を算出する全体特徴値算出部と、
前記算出された全体特徴値の比較によって前記動画が全体的に重複するか否かを判断する全体重複判断部と、
を備えることを特徴とする動画重複検出システム。
【請求項１５】
前記キーフレーム検出部は、
前記少なくとも１つのキーフレームが検出されない場合、基準時間ごとにキーフレームを追加することを特徴とする請求項１４に記載の動画重複検出システム。
【請求項１６】
前記少なくとも１つのキーフレームは、カット検出を用いて検出されることを特徴とする請求項１４に記載の動画重複検出システム。
【請求項１７】
前記少なくとも１つのキーフレームは、グレーヒストグラムの差値を用いて検出されることを特徴とする請求項１４に記載の動画重複検出システム。
【請求項１８】
前記少なくとも１つのキーフレームは、
前記グレーヒストグラムの差値が基準値以上であることを特徴とする請求項１７に記載の動画重複検出システム。
【請求項１９】
前記動画を復号化する復号化部をさらに備えることを特徴とする請求項１４に記載の動画重複検出システム。
【請求項２０】
前記少なくとも１つのキーフレームは、アイフレームであることを特徴とする請求項１４に記載の動画重複検出システム。
【請求項２１】
前記少なくとも１つのキーフレームの特徴値は、主成分分析法によって前記少なくとも１つのキーフレームの領域別輝度値の一部から算出されることを特徴とする請求項１４に記載の動画重複検出システム。
【請求項２２】
前記算出された少なくとも１つのキーフレームの特徴値に対するシーケンスを生成するシーケンス生成部と、
前記生成されたシーケンスのストリングマッチングによって前記動画が部分的に重複するか否かを判断する部分重複判断部と、
をさらに備えることを特徴とする請求項１４に記載の動画重複検出システム。
【請求項２３】
前記シーケンスは、前記算出された少なくとも１つのキーフレームの特徴値の基準サイズを用いて生成されることを特徴とする請求項２２に記載の動画重複検出システム。
【図１】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【公開番号】特開２０１０−２４６１０３（Ｐ２０１０−２４６１０３Ａ）
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願番号】特願２０１０−６９１６８（Ｐ２０１０−６９１６８）
【出願日】平成２２年３月２５日（２０１０．３．２５）
【出願人】（５０５２０５８１２）エヌエイチエヌ コーポレーション (408)
【Ｆターム（参考）】
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願日】平成２２年３月２５日（２０１０．３．２５）
【出願人】（５０５２０５８１２）エヌエイチエヌ コーポレーション (408)
【Ｆターム（参考）】
[ Back to top ]