動画代表画像抽出方法、装置、及びコンピュータ・プログラム
【課題】オブジェクトの加速度に関係なく自動的に動画の画像から代表画像を抽出する方法等を提供すること。
【解決手段】シーン内特徴画像抽出部５１は、画像データの一部分を占めるオブジェクトを抽出する。画像データ分析部５２により抽出したオブジェクトを含む画像データの表示面積を算出し前記オブジェクトを含む画像データに対して算出したオブジェクトの占める面積比と、動き抽出部５３によりオブジェクトの動きを抽出し算出したオブジェクトの動きを含む画像データ数と、動画データの全体の画像データ数と、からＯＳ＊ｉＩＦ計算部５４により代表画像データの決定に関する参照値を算出する。また、参照値に基づいて代表画像データを抽出する代表画像抽出部５５を備える。
【解決手段】シーン内特徴画像抽出部５１は、画像データの一部分を占めるオブジェクトを抽出する。画像データ分析部５２により抽出したオブジェクトを含む画像データの表示面積を算出し前記オブジェクトを含む画像データに対して算出したオブジェクトの占める面積比と、動き抽出部５３によりオブジェクトの動きを抽出し算出したオブジェクトの動きを含む画像データ数と、動画データの全体の画像データ数と、からＯＳ＊ｉＩＦ計算部５４により代表画像データの決定に関する参照値を算出する。また、参照値に基づいて代表画像データを抽出する代表画像抽出部５５を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画代表画像抽出方法、装置、及びコンピュータ・プログラムに関する。より詳しくは、動画から代表画像を抽出する方法、動画から代表画像を抽出する装置、及びそのコンピュータ・プログラムに関する。
【背景技術】
【０００２】
従来、ＤＶＤ等のメディアに収められた動画には、シーンごとに分割して１つのまとまりとし、その１つを章とし、章ごとにその章の最初の画像もしくはメディア作成者が指定した場面の画像を表示するダイジェストを作成したものが存在する。そして、この作成されたダイジェストを、動画が収められたＤＶＤ等に動画にプラスして収録することによって、該当の章の動画の頭出しを可能にする等のユーザの使い勝手を良くした方法が用いられている。
【０００３】
また、撮像された動画の中から、決定的瞬間等のユーザが鑑賞を欲する動画構成画像を抽出する方法が開示されている（例えば、特許文献１）。特許文献１は、連続する動画内のオブジェクトの位置の変化に基づいて、オブジェクトの加速度を算出し、算出された加速度が基準加速度より大きいタイミングを決定的瞬間等と捉え、代表画像とする画像抽出装置に関するものである。例えば、サッカーのシュート画像であれば、ゴールに向かって蹴られたサッカーボールをオブジェクトと捉えると、オブジェクトとして捉えたサッカーボールは、シュートをされたものであるため、かなり速い速度で蹴りだされている。そして、サッカーボールの加速度は、サッカーボールを蹴った人や背景よりも加速度が大きい。そのため、サッカーボールのオブジェクトは、シーンでの加速度が大きいものとなるため、代表画像として抽出できると考えられたものである。
【特許文献１】特開２００６−２７９９３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１は、スポーツ等動きの伴う特定の動画にしか利用できない。動画の代表画像として抽出したい特徴的な画像は、必ずしも対象オブジェクトの加速度が大きいとは限らないからである。そのため、スローテンポの動画の場合等、対象オブジェクトの加速度が大きくないものでは、適格な代表画像を抽出することができない。
【０００５】
また、章の最初の画像では、特徴的な部分を表す画像ではないことが多く、その場合には、ダイジェストを作成する際の代表画像とすることはふさわしくない。さらに、メディア作成者が、いちいち特徴的な部分を表す画像を指定する作業は、煩雑である。
【０００６】
そこで、本発明は、スローテンポの動画であっても、オブジェクトの加速度に関係なく自動的に動画の画像から代表画像を抽出する方法等を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的のため、具体的には以下のようなものを提供する。
【０００８】
（１） 複数の画像データにより構成される動画データから前記動画データの特徴的場面を表す代表画像データを抽出する動画代表画像抽出方法であって、
前記画像データの一部分を占めるオブジェクトを抽出するステップと、
前記オブジェクトを含む画像データの表示面積を算出し、前記オブジェクトを含む画像データに対して前記オブジェクトの占める面積比を算出するステップと、
前記オブジェクトの動きを抽出し、前記オブジェクトの動きを含む画像データ数を算出するステップと、
前記オブジェクトの動きを含む画像データ数と、前記動画データの全体の画像データ数と、から前記オブジェクトの出現比を算出し、前記オブジェクトの占める面積比と、前記オブジェクトの出現比と、から前記代表画像データの決定に関する参照値を算出するステップと、
前記参照値に基づいて前記代表画像データを抽出するステップと、を含み、
前記代表画像データを抽出するステップは、前記オブジェクトの出現比が低く、かつ、前記オブジェクトの占める面積比が高いものを抽出する、動画代表画像抽出方法。
【０００９】
（１）の構成によれば、画像データの一部分を占めるオブジェクトを抽出し、抽出したオブジェクトを含む画像データの表示面積を算出し、前記オブジェクトを含む画像データに対して算出したオブジェクトの占める面積比と、オブジェクトの動きを抽出し算出したオブジェクトの動きを含む画像データ数と、動画データの全体の画像データ数と、から代表画像データの決定に関する参照値を算出し、参照値に基づいて代表画像データを抽出することができる。そして、参照値とは、オブジェクトの出現比が低く、オブジェクトの占める面積比が高いものを抽出可能なように特徴付けられた値である。
【００１０】
よって、例えば参照値に基づいて、代表的なオブジェクトとして、面積比が高いもので、かつ、出現比が低いもの、を選択することができる。出現比が低いもの、とは、全体のコマ数（画像データ数）に比較してオブジェクトが出現するコマ数（画像データ数）が少ないものを指す。このようなオブジェクトを有する画像データは、動画データ全体において特徴部分であり、代表画像としてふさわしい。これにより、出現比の高い、例えば背景画像等の複数のコマ数（画像データ数）に出現するオブジェクトを取り除くことができる。また、代表的なオブジェクトが複数コマ（複数の画像データ）に渡って出現する場合にあっては、画像全体に占める面積比の高いもの、つまり、対象オブジェクトが画像の大多数を占めている画像データを抽出することができる。
【００１１】
（２） 前記参照値を算出するステップは、
ＯＳ：前記オブジェクトの面積比
Ｎ：前記動画データの画像データ数
ＩＦ：前記オブジェクトの動きを含む画像データ数として、
【数１】
により、算出する、（１）記載の動画代表画像抽出方法。
【００１２】
（２）の構成によれば、オブジェクトの面積比（ＯＳ）、動画データの画像データ数（Ｎ）、及びオブジェクトの動きを含む画像データ数（ＩＦ）を利用して算出することができる。
【００１３】
よって、一定の算出式に代入するだけで、代表画像を抽出することができる。なお、ｌｏｇの底は常用対数（１０）であっても自然対数（ｅ）であってもよい。
【００１４】
（３） 前記オブジェクトは、前記オブジェクトを含む画像データのエッジ処理により抽出され、
前記オブジェクトの占める面積比を算出するステップは、前記オブジェクトを含む画像データのエッジ処理により抽出された範囲を積分により前記オブジェクトの面積を算出し、前記画像データの全体の面積を法数として除算する、（１）又は（２）記載の動画代表画像抽出方法。
【００１５】
（３）の構成によれば、エッジ処理により抽出され区分求積法により求めたオブジェクトの面積から、画像データの全体の面積を除算することにより、オブジェクトの占める面積比を算出することができる。
【００１６】
（４） 前記オブジェクトの動きを含む画像データ数を算出するステップは、現在の画像データと前記現在の画像データより前に表示される画像データとから前記現在の画像データの動きを検出し、前記前に表示される画像データから前記現在の画像データの動きの量だけ移動して、動きを補償することにより算出する、（１）乃至（３）記載の動画代表画像抽出方法。
【００１７】
（４）の構成によれば、現在の画像データと現在より前に表示される画像データとから現在の画像データの動きを検出し、前の画像データから現在の画像データの動きの量だけ移動して、動きを補償することにより、オブジェクトの動きを含む画像データ数を算出することができる。
【００１８】
（５） 複数の画像データにより構成される動画データから前記動画データの特徴的場面を表す代表画像データを抽出する動画代表画像抽出装置であって、
前記画像データの一部分を占めるオブジェクトを抽出するオブジェクト抽出部と、
前記オブジェクトを含む画像データの表示面積を算出し、前記オブジェクトを含む画像データに対して前記オブジェクトの占める面積比を算出する画像データ分析部と、
前記オブジェクトの動きを抽出し、前記オブジェクトの動きを含む画像データ数を算出する動き抽出部と、
前記オブジェクトの動きを含む画像データ数と、前記動画データの全体の画像データ数と、から前記オブジェクトの出現比を算出し、前記オブジェクトの占める面積比と、前記オブジェクトの出現比と、から前記代表画像データの決定に関する参照値を算出するＯＳ＊ｉＩＦ計算部と、
前記参照値に基づいて前記代表画像データを抽出する代表画像抽出部と、を備え、
前記代表画像抽出部は、前記オブジェクトの出現比が低く、かつ、前記オブジェクトの占める面積比が高いものを抽出する動画代表画像抽出装置。
【００１９】
（５）の構成によれば、代表画像データを抽出する装置は、画像データの一部分を占めるオブジェクトを抽出するオブジェクト抽出部（シーン内特徴画像抽出部）と、抽出したオブジェクトを含む画像データの面積を算出しオブジェクトを含む画像データに対してオブジェクトの占める面積比を算出する画像データ分析部と、オブジェクトの動きを抽出しオブジェクトの動きを含む画像データ数を算出する動き抽出部と、オブジェクトの出現比と算出したオブジェクトの占める面積比とから代表画像データの決定に関する値を算出するＯＳ＊ｉＩＦ計算部と、算出された代表画像データの決定に関する値に基づき代表画像データを抽出する代表画像抽出部と、を備える。
【００２０】
よって、上記（１）と同様な作用・効果を有する装置を提供することができる。
【００２１】
（６） 前記ＯＳ＊ｉＩＦ計算部は、
ＯＳ：前記オブジェクトの面積比
Ｎ：前記動画データの画像データ数
ＩＦ：前記オブジェクトの動きを含む画像データ数として、
【数２】
により、算出する、（５）記載の動画代表画像抽出装置。
【００２２】
（６）の構成によれば、上記（２）と同様な作用・効果を有する装置を提供することができる。
【００２３】
（７） 前記オブジェクトは、前記オブジェクトを含む画像データのエッジ処理により抽出され、
前記画像データ分析部は、前記オブジェクトを含む画像データのエッジ処理により抽出された範囲を積分により前記オブジェクトの面積を算出し、前記画像データの全体の面積を法数として除算する、（５）又は（６）記載の動画代表画像抽出装置。
【００２４】
（７）の構成によれば、上記（３）と同様な作用・効果を有する装置を提供することができる。
【００２５】
（８） 前記動き抽出部は、現在の画像データと前記現在の画像データより前に表示される画像データとから前記現在の画像データの動きを検出し、前記前に表示される画像データから前記現在の画像データの動きの量だけ移動して、動きを補償することにより算出する、（５）乃至（７）記載の動画代表画像抽出装置。
【００２６】
（８）の構成によれば、上記（４）と同様な作用・効果を有する装置を提供することができる。
【００２７】
（９） 複数の画像データにより構成される動画データから前記動画データの特徴的場面を表す代表画像データを抽出させるコンピュータ・プログラムであって、
前記画像データの一部分を占めるオブジェクトを抽出するステップと、
前記オブジェクトを含む画像データの表示面積を算出し、前記オブジェクトを含む画像データに対して前記オブジェクトの占める面積比を算出するステップと、
前記オブジェクトの動きを抽出し、前記オブジェクトの動きを含む画像データ数を算出するステップと、
前記オブジェクトの動きを含む画像データ数と、前記動画データの全体の画像データ数と、から前記オブジェクトの出現比を算出し、前記オブジェクトの占める面積比と、前記オブジェクトの出現比と、から前記代表画像データの決定に関する参照値を算出するステップと、
前記参照値に基づいて前記代表画像データを抽出するステップと、をコンピュータに実行させ、
前記代表画像データを抽出するステップにより、前記オブジェクトの出現比が低く、かつ、前記オブジェクトの占める面積比が高いものを抽出させるコンピュータ・プログラム。
【００２８】
（９）の構成によれば、上記（１）と同様な作用・効果を有するコンピュータ・プログラムを提供することができる。
【００２９】
（１０） 前記参照値を算出するステップは、
ＯＳ：前記オブジェクトの面積比
Ｎ：前記動画データの画像データ数
ＩＦ：前記オブジェクトの動きを含む画像データ数として、
【数３】
により、算出する、（９）記載のコンピュータ・プログラム。
【００３０】
（１０）の構成によれば、上記（２）と同様な作用・効果を有するコンピュータ・プログラムを提供することができる。
【発明の効果】
【００３１】
本発明によれば、オブジェクトの加速度に関係なく自動的に動画の画像から代表画像を抽出する方法等を提供することができる。
【発明を実施するための最良の形態】
【００３２】
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
【００３３】
［動画代表画像抽出装置１０の機能構成図］
図１は、本発明の好適な実施形態の一例に係る動画代表画像抽出装置１０（以下、装置１０ともいう）の機能構成を示すブロック図である。
【００３４】
装置１０は、少なくとも動画代表画像抽出装置として機能し、サーバ等のハードウェアにより実現される。ここで、装置１０は、ハードウェアの数に制限はなく、必要に応じて１又は複数で構成してよい。また、装置１０のハードウェアは、必要に応じてＷｅｂサーバ、ＤＢサーバ、アプリケーションサーバを含んで構成してよく、１台のサーバで構成しても、それぞれ別のサーバで構成してもよい。
【００３５】
装置１０は、制御部５０を有する。制御部５０は、装置１０全体を制御し、少なくともシーン内特徴画像抽出部５１、画像データ分析部５２、動き抽出部５３、ＯＳ＊ｉＩＦ計算部５４、及び代表画像抽出部５５を備える。
【００３６】
さらに、装置１０は、記憶部６０を有し、記憶部６０は、少なくともデータベースである動画ＤＢ６２、及び代表画像抽出ＤＢ６４を含む。
【００３７】
装置１０は、動画データを構成する各画像データから、シーン内の特徴画像として、各部分画像を抽出し、抽出した部分画像の画像データを分析し、所定の計算処理をした上で代表画像を決定し、抽出する。
【００３８】
［ＤＢの構成］
図２及び図３は、本発明の好適な実施形態の一例に係る記憶部６０に格納されたＤＢの一部を示したものである。図２は、動画ＤＢ６２に格納されている動画テーブル７０を示す。
【００３９】
動画テーブル７０は、コマＩＤ７１、シーン内位置７２、及びコンテンツ７３の各項目からなる。コマＩＤ７１は、動画データを構成する各画像データごとに、付与する一意の番号である。シーン内位置７２は、各画像データが動画データの先頭を０秒００とし、当該シーンが出現するまでの時間を示す。また、コンテンツ７３は、その各画像データそのものを示す。
【００４０】
図２に示す例によれば、コマＩＤ７１が「ＡＡＡ」である画像データは、シーン内位置７２が、動画データの先頭から５分２３秒２４経過時に表示されるものである。この画像データは、うさぎが標識の方向に向いている画像を示し、コンテンツ７３に格納されている。また、コマＩＤ７１が「ＡＡＡ」の次のコマＩＤ７１が「ＡＡＢ」である画像データは、「ＡＡＡ」から０秒０２後に表示される画像を示し、うさぎが標識の方向に少し進んだ画像がコンテンツ７３に格納されている。
【００４１】
このように、動画テーブル７０は、動画データを構成する全ての画像データについて、画像データごとにコマＩＤ７１をキーとして、シーン内位置７２と、コンテンツ７３とを関連付けて格納している。
【００４２】
図３は、代表画像抽出ＤＢ６４に格納されている代表画像抽出テーブル８０を示す。
【００４３】
代表画像抽出テーブル８０は、コマＩＤ８１、シーン内位置８２、画像内位置（座標）８３、画像ＩＤ８４、面積比８５、及びＯＳ＊ｉＩＦ値８６の各項目からなる。コマＩＤ８１、及びシーン内位置８２は、動画テーブル７０のコマＩＤ７１、及びシーン内位置７２と同様のものである。すなわち、動画データを構成する各画像データに、一意の番号としてコマＩＤ８１を付与している。また、シーン内位置８２は、各画像データが動画データの先頭から当該シーンが出現するまでの時間を示す。
【００４４】
画像内位置（座標）８３は、画像データの部分画像データであるオブジェクトの中心を表す位置を座標として表したものである。また、画像ＩＤ８４は、画像データの部分画像データであるオブジェクトを一意に示したコードである。さらに、面積比８５は、画像データ内で部分画像データであるオブジェクトの占める面積の比率を表したものである。
【００４５】
また、ＯＳ＊ｉＩＦ値８６は、下記の計算式により算出した値である。
【数４】
【００４６】
ＯＳが面積比８５の値を指し、Ｎは、動画データが有する全画像データのコマ数（画像データ数）を示す。また、ＩＦは、対象のオブジェクトである部分画像データが出現するコマ数（画像データ数）を示す。ＮとＩＦの値が等しい場合、すなわち、全画像データに表れる部分画像データが存在する場合には、真数が１となり、対数の値が０となるため、１を加算することにより、トータルでの計算結果が０にならないようにしている。面積比に関わらず、計算結果が０になってしまうからである。
【００４７】
図３に示す例によれば、コマＩＤ８１が「ＡＡＡ」のもので、画像ＩＤ８４が「３２４」の部分画像データ（図３の（１））は、図２のコンテンツ７３の「うさぎ」を表している。この「うさぎ」の画像データが占める割合が、全体の画像データの約１０．２％であり、面積比８５には「０．１０２」との値が格納されている。また、ＯＳ＊ｉＩＦ値８６が「１．５６」である。この例の中で、（１）は、ＯＳ＊ｉＩＦ値８６に格納された値の中で一番大きい値を示している。これは、「うさぎ」の登場シーンが、動画データ全体の中で比較的少なく、重要なオブジェクトを示す部分画像であることを表している。
【００４８】
ところで、文字で構成されたテキストデータから特徴的な語であるキーワードを見つけるための手法の１つとして、ＴＦ＊ＩＤＦ法が用いられている。ＴＦ＊ＩＤＦ法は、語の出現頻度に基づいてキーワードを重みづける方法である。この方法を用いれば、その文書にしか出現せず、しかもその文書の中で多く出現する語を抽出することができるので、その文書の特徴を表したキーワードを見つけることができるものである。
【００４９】
このＴＦ＊ＩＤＦ法の考えを利用して見出されたＯＳ＊ｉＩＦ値により、動画の画像から代表画像を見つけ出すことができるのである。
【００５０】
ここで、ＯＳ＊ｉＩＦとは、ＯＳ（Ｏｂｊｅｃｔ Ｓｐａｃｅ）とｉＩＦ（ｉｎｖｅｒｓｅ Ｉｍａｇｅ Ｆｒｅｑｕｅｎｃｙ）とを乗じたものである。短時間に表示される面積比８５の大きいオブジェクトは、ＯＳ＊ｉＩＦ値８６が大きくなる。ＯＳ＊ｉＩＦ値８６が大きいものは、背景画像のように各画像データに共通に出現しているものではなく、特徴的な画像と認定できる。従って、動画データに含まれる個々の部分画像データ（オブジェクト）のスコアリングを、ＯＳ＊ｉＩＦ値８６が大きいものを高いスコアとなる本計算式を用いることにより、代表画像データを抽出することができる。
【００５１】
［部分画像抽出例］
図４は、本発明の好適な実施形態の一例に係る画像データに基づき部分画像の抽出をした例を示す図である。
【００５２】
図２の動画テーブル７０のコマＩＤ７１が「ＡＡＡ」のコンテンツ７３に格納されている画像データから、エッジ処理により、複数の部分画像データについて輪郭が抽出されている。図４の（１）はうさぎ、（２）は標識、（３）は背景、（４）は前景の部分画像データを抜き出したものである。この図４の（１）のうさぎは図３の（１）に、図４の（２）の標識は図３の（２）に、図４の（３）の背景は図３の（３）に、それぞれ対応付けられている。
【００５３】
［処理フロー］
図５は、本発明の好適な実施形態の一例に係る代表画像抽出処理の処理フローである。
【００５４】
まず、ステップＳ１において、制御部５０は、動画ＤＢ６２の動画テーブル７０より、画像データを抽出する。その後、制御部５０は、処理をステップＳ２に移す。
【００５５】
ステップＳ２では、制御部５０（シーン内特徴画像抽出部５１）は、ステップＳ１の処理で抽出した画像データから、部分画像データをさらに抽出し、代表画像抽出ＤＢ６４の代表画像抽出テーブル８０に格納する。
【００５６】
具体的には、動画テーブル７０のコマＩＤ７１とシーン内位置７２と同じ値を、代表画像抽出テーブル８０のコマＩＤ８１とシーン内位置８２に格納する。また、部分画像データであるオブジェクトの座標を、画像内位置（座標）８３に格納する。また、オブジェクトの部分画像データに画像ＩＤを付与し、画像ＩＤ８４に格納する。この画像ＩＤ８４は、同一オブジェクトに対しては、同一のＩＤを付与する。従って、図２の動画テーブル７０のコンテンツ７３に例示されている、うさぎの画像については、代表画像抽出テーブル８０のコマＩＤ８１が「ＡＡＡ」と「ＡＡＢ」とで異なっていても、同一の画像ＩＤ８４である「３２４」が図３で付与されているのである。
【００５７】
その後、制御部５０は、処理をステップＳ３に移す。
【００５８】
ステップＳ３では、制御部５０（画像データ分析部５２）は、ステップＳ２で抽出し、代表画像抽出ＤＢ６４の代表画像抽出テーブル８０に格納された部分画像データごとに、動画テーブル７０のコンテンツ７３に格納された画像データを用いて面積比を算出し、代表画像抽出テーブル８０の面積比８５に格納する。具体的には、コンテンツ７３に格納された画像データの当該部分画像データについて、エッジ処理により物体の輪郭を取出し、その部分画像データの範囲を積分により算出する。また、算出された部分画像データの面積から、画像データ全体の面積を除算する。その後、制御部５０は、処理をステップＳ４に移す。
【００５９】
ステップＳ４では、制御部５０は、ステップＳ２で抽出された全ての部分画像データについて、面積比を算出する処理を行ったか否かを判断する。制御部５０が、全ての部分画像データについて、面積比の算出処理を行った場合（ステップＳ４の処理でＹＥＳが判断された場合）には、制御部５０は、処理をステップＳ５に移す。他方、制御部５０が、全ての部分画像データについて、面積比の算出処理を行っていない場合（ステップＳ４の処理でＮＯが判断された場合）には、制御部５０は、処理をステップＳ３に移す。
【００６０】
ステップＳ５では、制御部５０（動き抽出部５３）は、同一の部分画像データが連続した複数のコマ（画像データ）に存在した場合に、そのコマ数（画像データ数）をカウントする。その後、制御部５０は、処理をステップＳ６に移す。
【００６１】
ステップＳ６では、制御部５０は、動画ＤＢ６２の動画テーブル７０に格納された全ての画像データについて処理を行ったか否かを判断する。全ての画像データについて処理を行った場合（ステップＳ６の処理でＹＥＳが判断された場合）には、制御部５０は、処理をステップＳ７に移す。他方、全ての画像データについて処理を行っていない場合（ステップＳ６の処理でＮＯが判断された場合）には、制御部５０は、処理をステップＳ１に移し、残りの画像データについて、引き続きステップＳ１からステップＳ５までの処理を行う。
【００６２】
ステップＳ７では、制御部５０（ＯＳ＊ｉＩＦ計算部５４）は、代表画像抽出ＤＢ６４に格納された代表画像抽出テーブル８０についてＯＳ＊ｉＩＦ値を算出し、ＯＳ＊ｉＩＦ値８６に格納する。そして、算出し、代表画像抽出テーブル８０に格納されたＯＳ＊ｉＩＦ値８６に基づいて、値の大きい順にランク付けをする。その後、制御部５０は、処理をステップＳ８に移す。
【００６３】
ステップＳ８では、制御部５０（代表画像抽出部５５）は、ステップＳ７でランク付けされたＯＳ＊ｉＩＦ値の上位のデータを取得し、これを代表画像データとして抽出する。その後、制御部５０は、本処理を終了する。
【００６４】
上述の処理をすることにより、動画データから、代表画像データを抽出することができるのである。
【００６５】
［装置１０のハードウェア構成］
図６は、本発明の好適な実施形態の一例に係る装置１０のハードウェア構成を示す図である。装置１０は、シーン内特徴画像抽出部５１、画像データ分析部５２、動き抽出部５３、ＯＳ＊ｉＩＦ計算部５４、及び代表画像抽出部５５を含む、制御部５０を構成するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１０（マルチプロセッサ構成ではＣＰＵ１２０等複数のＣＰＵが追加されてもよい）、バスライン１０５、通信Ｉ／Ｆ１４０、メインメモリ１５０、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）１６０、ＵＳＢポート１９０、Ｉ／Ｏコントローラ１７０、並びにキーボード及びマウス１８０等の入力手段や表示装置１２２を備える。
【００６６】
Ｉ／Ｏコントローラ１７０には、テープドライブ１７２、ハードディスク１７４、光ディスクドライブ１７６、半導体メモリ１７８、等の記憶部６０を構成する記憶手段を接続することができる。
【００６７】
ＢＩＯＳ１６０は、装置１０の起動時にＣＰＵ１１０が実行するブートプログラムや、装置１０のハードウェアに依存するプログラム等を格納する。
【００６８】
ハードディスク１７４は、装置１０として機能するための各種プログラム及び本発明の機能を実行するプログラムを記憶しており、さらに必要に応じて各種データベースを構成可能である。
【００６９】
光ディスクドライブ１７６としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＣＤ−ＲＡＭドライブを使用することができる。この場合は各ドライブに対応した光ディスク１７７を使用する。光ディスク１７７から光ディスクドライブ１７６によりプログラム又はデータを読み取り、Ｉ／Ｏコントローラ１７０を介してメインメモリ１５０又はハードディスク１７４に提供することもできる。また、同様にテープドライブ１７２に対応したテープメディア１７１を主としてバックアップのために使用することもできる。
【００７０】
装置１０に提供されるプログラムは、ハードディスク１７４、光ディスク１７７、又はメモリーカード等の記録媒体に格納されて提供される。このプログラムは、Ｉ／Ｏコントローラ１７０を介して、記録媒体から読み出され、又は通信Ｉ／Ｆ１４０を介してダウンロードされることによって、装置１０にインストールされ実行されてもよい。
【００７１】
上述のプログラムは、内部又は外部の記憶媒体に格納されてもよい。ここで、動画ＤＢ６２及び代表画像抽出ＤＢ６４を含む記憶部６０を構成する記憶媒体としては、ハードディスク１７４、光ディスク１７７、又はメモリーカードの他に、ＭＤ等の光磁気記録媒体、テープメディア１７１を用いることができる。また、専用通信回線やインターネット等の通信回線に接続されたサーバシステムに設けたハードディスク１７４又は光ディスクライブラリ等の記憶装置を記録媒体として使用し、通信回線を介してプログラムを装置１０に提供してもよい。
【００７２】
ここで、表示装置１２２は、装置１０の管理者にデータの入力を受け付ける画面を表示したり、装置１０による演算処理結果の画面を表示したりするものであり、ブラウン管表示装置（ＣＲＴ）、液晶表示装置（ＬＣＤ）等のディスプレイ装置を含む。
【００７３】
ここで、入力手段は、装置１０の管理者による入力の受け付けを行うものであり、キーボード及びマウス１８０等により構成してよい。
【００７４】
また、通信Ｉ／Ｆ１４０は、装置１０を専用ネットワーク又は公共ネットワークを介して端末と接続できるようにするためのネットワーク・アダプタである。通信Ｉ／Ｆ１４０は、モデム、ケーブル・モデム及びイーサネット（登録商標）・アダプタを含んでよい。
【００７５】
以上の例は、装置１０について主に説明したが、コンピュータに、プログラムをインストールして、そのコンピュータを装置１０として動作させることにより上記で説明した機能を実現することもできる。従って、本発明において一実施形態として説明した装置１０により実現される機能は、上述の方法を当該コンピュータにより実行することにより、あるいは、上述のプログラムを当該コンピュータに導入して実行することによっても実現可能である。
【００７６】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施例に記載されたものに限定されるものではない。
【図面の簡単な説明】
【００７７】
【図１】本発明の好適な実施形態の一例に係る動画代表画像抽出装置の機能構成を示すブロック図である。
【図２】本発明の好適な実施形態の一例に係る動画ＤＢに格納されている動画テーブルを示す図である。
【図３】本発明の好適な実施形態の一例に係る代表画像抽出ＤＢに格納されている代表画像抽出テーブルを示す図である。
【図４】本発明の好適な実施形態の一例に係る画像データに基づき部分画像の抽出をした例を示す図である。
【図５】本発明の好適な実施形態の一例に係る代表画像抽出処理の処理フローを示す図である。
【図６】本発明の好適な実施形態の一例に係る装置のハードウェア構成を示す図である。
【符号の説明】
【００７８】
１０ 代表画像抽出装置
５０ 制御部
５１ シーン内特徴画像抽出部
５２ 画像データ分析部
５３ 動き抽出部
５４ ＯＳ＊ｉＩＦ計算部
５５ 代表画像抽出部
６０ 記憶部
６２ 動画ＤＢ
６４ 代表画像抽出ＤＢ
７０ 動画テーブル
８０ 代表画像抽出テーブル
【技術分野】
【０００１】
本発明は、動画代表画像抽出方法、装置、及びコンピュータ・プログラムに関する。より詳しくは、動画から代表画像を抽出する方法、動画から代表画像を抽出する装置、及びそのコンピュータ・プログラムに関する。
【背景技術】
【０００２】
従来、ＤＶＤ等のメディアに収められた動画には、シーンごとに分割して１つのまとまりとし、その１つを章とし、章ごとにその章の最初の画像もしくはメディア作成者が指定した場面の画像を表示するダイジェストを作成したものが存在する。そして、この作成されたダイジェストを、動画が収められたＤＶＤ等に動画にプラスして収録することによって、該当の章の動画の頭出しを可能にする等のユーザの使い勝手を良くした方法が用いられている。
【０００３】
また、撮像された動画の中から、決定的瞬間等のユーザが鑑賞を欲する動画構成画像を抽出する方法が開示されている（例えば、特許文献１）。特許文献１は、連続する動画内のオブジェクトの位置の変化に基づいて、オブジェクトの加速度を算出し、算出された加速度が基準加速度より大きいタイミングを決定的瞬間等と捉え、代表画像とする画像抽出装置に関するものである。例えば、サッカーのシュート画像であれば、ゴールに向かって蹴られたサッカーボールをオブジェクトと捉えると、オブジェクトとして捉えたサッカーボールは、シュートをされたものであるため、かなり速い速度で蹴りだされている。そして、サッカーボールの加速度は、サッカーボールを蹴った人や背景よりも加速度が大きい。そのため、サッカーボールのオブジェクトは、シーンでの加速度が大きいものとなるため、代表画像として抽出できると考えられたものである。
【特許文献１】特開２００６−２７９９３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１は、スポーツ等動きの伴う特定の動画にしか利用できない。動画の代表画像として抽出したい特徴的な画像は、必ずしも対象オブジェクトの加速度が大きいとは限らないからである。そのため、スローテンポの動画の場合等、対象オブジェクトの加速度が大きくないものでは、適格な代表画像を抽出することができない。
【０００５】
また、章の最初の画像では、特徴的な部分を表す画像ではないことが多く、その場合には、ダイジェストを作成する際の代表画像とすることはふさわしくない。さらに、メディア作成者が、いちいち特徴的な部分を表す画像を指定する作業は、煩雑である。
【０００６】
そこで、本発明は、スローテンポの動画であっても、オブジェクトの加速度に関係なく自動的に動画の画像から代表画像を抽出する方法等を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的のため、具体的には以下のようなものを提供する。
【０００８】
（１） 複数の画像データにより構成される動画データから前記動画データの特徴的場面を表す代表画像データを抽出する動画代表画像抽出方法であって、
前記画像データの一部分を占めるオブジェクトを抽出するステップと、
前記オブジェクトを含む画像データの表示面積を算出し、前記オブジェクトを含む画像データに対して前記オブジェクトの占める面積比を算出するステップと、
前記オブジェクトの動きを抽出し、前記オブジェクトの動きを含む画像データ数を算出するステップと、
前記オブジェクトの動きを含む画像データ数と、前記動画データの全体の画像データ数と、から前記オブジェクトの出現比を算出し、前記オブジェクトの占める面積比と、前記オブジェクトの出現比と、から前記代表画像データの決定に関する参照値を算出するステップと、
前記参照値に基づいて前記代表画像データを抽出するステップと、を含み、
前記代表画像データを抽出するステップは、前記オブジェクトの出現比が低く、かつ、前記オブジェクトの占める面積比が高いものを抽出する、動画代表画像抽出方法。
【０００９】
（１）の構成によれば、画像データの一部分を占めるオブジェクトを抽出し、抽出したオブジェクトを含む画像データの表示面積を算出し、前記オブジェクトを含む画像データに対して算出したオブジェクトの占める面積比と、オブジェクトの動きを抽出し算出したオブジェクトの動きを含む画像データ数と、動画データの全体の画像データ数と、から代表画像データの決定に関する参照値を算出し、参照値に基づいて代表画像データを抽出することができる。そして、参照値とは、オブジェクトの出現比が低く、オブジェクトの占める面積比が高いものを抽出可能なように特徴付けられた値である。
【００１０】
よって、例えば参照値に基づいて、代表的なオブジェクトとして、面積比が高いもので、かつ、出現比が低いもの、を選択することができる。出現比が低いもの、とは、全体のコマ数（画像データ数）に比較してオブジェクトが出現するコマ数（画像データ数）が少ないものを指す。このようなオブジェクトを有する画像データは、動画データ全体において特徴部分であり、代表画像としてふさわしい。これにより、出現比の高い、例えば背景画像等の複数のコマ数（画像データ数）に出現するオブジェクトを取り除くことができる。また、代表的なオブジェクトが複数コマ（複数の画像データ）に渡って出現する場合にあっては、画像全体に占める面積比の高いもの、つまり、対象オブジェクトが画像の大多数を占めている画像データを抽出することができる。
【００１１】
（２） 前記参照値を算出するステップは、
ＯＳ：前記オブジェクトの面積比
Ｎ：前記動画データの画像データ数
ＩＦ：前記オブジェクトの動きを含む画像データ数として、
【数１】
により、算出する、（１）記載の動画代表画像抽出方法。
【００１２】
（２）の構成によれば、オブジェクトの面積比（ＯＳ）、動画データの画像データ数（Ｎ）、及びオブジェクトの動きを含む画像データ数（ＩＦ）を利用して算出することができる。
【００１３】
よって、一定の算出式に代入するだけで、代表画像を抽出することができる。なお、ｌｏｇの底は常用対数（１０）であっても自然対数（ｅ）であってもよい。
【００１４】
（３） 前記オブジェクトは、前記オブジェクトを含む画像データのエッジ処理により抽出され、
前記オブジェクトの占める面積比を算出するステップは、前記オブジェクトを含む画像データのエッジ処理により抽出された範囲を積分により前記オブジェクトの面積を算出し、前記画像データの全体の面積を法数として除算する、（１）又は（２）記載の動画代表画像抽出方法。
【００１５】
（３）の構成によれば、エッジ処理により抽出され区分求積法により求めたオブジェクトの面積から、画像データの全体の面積を除算することにより、オブジェクトの占める面積比を算出することができる。
【００１６】
（４） 前記オブジェクトの動きを含む画像データ数を算出するステップは、現在の画像データと前記現在の画像データより前に表示される画像データとから前記現在の画像データの動きを検出し、前記前に表示される画像データから前記現在の画像データの動きの量だけ移動して、動きを補償することにより算出する、（１）乃至（３）記載の動画代表画像抽出方法。
【００１７】
（４）の構成によれば、現在の画像データと現在より前に表示される画像データとから現在の画像データの動きを検出し、前の画像データから現在の画像データの動きの量だけ移動して、動きを補償することにより、オブジェクトの動きを含む画像データ数を算出することができる。
【００１８】
（５） 複数の画像データにより構成される動画データから前記動画データの特徴的場面を表す代表画像データを抽出する動画代表画像抽出装置であって、
前記画像データの一部分を占めるオブジェクトを抽出するオブジェクト抽出部と、
前記オブジェクトを含む画像データの表示面積を算出し、前記オブジェクトを含む画像データに対して前記オブジェクトの占める面積比を算出する画像データ分析部と、
前記オブジェクトの動きを抽出し、前記オブジェクトの動きを含む画像データ数を算出する動き抽出部と、
前記オブジェクトの動きを含む画像データ数と、前記動画データの全体の画像データ数と、から前記オブジェクトの出現比を算出し、前記オブジェクトの占める面積比と、前記オブジェクトの出現比と、から前記代表画像データの決定に関する参照値を算出するＯＳ＊ｉＩＦ計算部と、
前記参照値に基づいて前記代表画像データを抽出する代表画像抽出部と、を備え、
前記代表画像抽出部は、前記オブジェクトの出現比が低く、かつ、前記オブジェクトの占める面積比が高いものを抽出する動画代表画像抽出装置。
【００１９】
（５）の構成によれば、代表画像データを抽出する装置は、画像データの一部分を占めるオブジェクトを抽出するオブジェクト抽出部（シーン内特徴画像抽出部）と、抽出したオブジェクトを含む画像データの面積を算出しオブジェクトを含む画像データに対してオブジェクトの占める面積比を算出する画像データ分析部と、オブジェクトの動きを抽出しオブジェクトの動きを含む画像データ数を算出する動き抽出部と、オブジェクトの出現比と算出したオブジェクトの占める面積比とから代表画像データの決定に関する値を算出するＯＳ＊ｉＩＦ計算部と、算出された代表画像データの決定に関する値に基づき代表画像データを抽出する代表画像抽出部と、を備える。
【００２０】
よって、上記（１）と同様な作用・効果を有する装置を提供することができる。
【００２１】
（６） 前記ＯＳ＊ｉＩＦ計算部は、
ＯＳ：前記オブジェクトの面積比
Ｎ：前記動画データの画像データ数
ＩＦ：前記オブジェクトの動きを含む画像データ数として、
【数２】
により、算出する、（５）記載の動画代表画像抽出装置。
【００２２】
（６）の構成によれば、上記（２）と同様な作用・効果を有する装置を提供することができる。
【００２３】
（７） 前記オブジェクトは、前記オブジェクトを含む画像データのエッジ処理により抽出され、
前記画像データ分析部は、前記オブジェクトを含む画像データのエッジ処理により抽出された範囲を積分により前記オブジェクトの面積を算出し、前記画像データの全体の面積を法数として除算する、（５）又は（６）記載の動画代表画像抽出装置。
【００２４】
（７）の構成によれば、上記（３）と同様な作用・効果を有する装置を提供することができる。
【００２５】
（８） 前記動き抽出部は、現在の画像データと前記現在の画像データより前に表示される画像データとから前記現在の画像データの動きを検出し、前記前に表示される画像データから前記現在の画像データの動きの量だけ移動して、動きを補償することにより算出する、（５）乃至（７）記載の動画代表画像抽出装置。
【００２６】
（８）の構成によれば、上記（４）と同様な作用・効果を有する装置を提供することができる。
【００２７】
（９） 複数の画像データにより構成される動画データから前記動画データの特徴的場面を表す代表画像データを抽出させるコンピュータ・プログラムであって、
前記画像データの一部分を占めるオブジェクトを抽出するステップと、
前記オブジェクトを含む画像データの表示面積を算出し、前記オブジェクトを含む画像データに対して前記オブジェクトの占める面積比を算出するステップと、
前記オブジェクトの動きを抽出し、前記オブジェクトの動きを含む画像データ数を算出するステップと、
前記オブジェクトの動きを含む画像データ数と、前記動画データの全体の画像データ数と、から前記オブジェクトの出現比を算出し、前記オブジェクトの占める面積比と、前記オブジェクトの出現比と、から前記代表画像データの決定に関する参照値を算出するステップと、
前記参照値に基づいて前記代表画像データを抽出するステップと、をコンピュータに実行させ、
前記代表画像データを抽出するステップにより、前記オブジェクトの出現比が低く、かつ、前記オブジェクトの占める面積比が高いものを抽出させるコンピュータ・プログラム。
【００２８】
（９）の構成によれば、上記（１）と同様な作用・効果を有するコンピュータ・プログラムを提供することができる。
【００２９】
（１０） 前記参照値を算出するステップは、
ＯＳ：前記オブジェクトの面積比
Ｎ：前記動画データの画像データ数
ＩＦ：前記オブジェクトの動きを含む画像データ数として、
【数３】
により、算出する、（９）記載のコンピュータ・プログラム。
【００３０】
（１０）の構成によれば、上記（２）と同様な作用・効果を有するコンピュータ・プログラムを提供することができる。
【発明の効果】
【００３１】
本発明によれば、オブジェクトの加速度に関係なく自動的に動画の画像から代表画像を抽出する方法等を提供することができる。
【発明を実施するための最良の形態】
【００３２】
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
【００３３】
［動画代表画像抽出装置１０の機能構成図］
図１は、本発明の好適な実施形態の一例に係る動画代表画像抽出装置１０（以下、装置１０ともいう）の機能構成を示すブロック図である。
【００３４】
装置１０は、少なくとも動画代表画像抽出装置として機能し、サーバ等のハードウェアにより実現される。ここで、装置１０は、ハードウェアの数に制限はなく、必要に応じて１又は複数で構成してよい。また、装置１０のハードウェアは、必要に応じてＷｅｂサーバ、ＤＢサーバ、アプリケーションサーバを含んで構成してよく、１台のサーバで構成しても、それぞれ別のサーバで構成してもよい。
【００３５】
装置１０は、制御部５０を有する。制御部５０は、装置１０全体を制御し、少なくともシーン内特徴画像抽出部５１、画像データ分析部５２、動き抽出部５３、ＯＳ＊ｉＩＦ計算部５４、及び代表画像抽出部５５を備える。
【００３６】
さらに、装置１０は、記憶部６０を有し、記憶部６０は、少なくともデータベースである動画ＤＢ６２、及び代表画像抽出ＤＢ６４を含む。
【００３７】
装置１０は、動画データを構成する各画像データから、シーン内の特徴画像として、各部分画像を抽出し、抽出した部分画像の画像データを分析し、所定の計算処理をした上で代表画像を決定し、抽出する。
【００３８】
［ＤＢの構成］
図２及び図３は、本発明の好適な実施形態の一例に係る記憶部６０に格納されたＤＢの一部を示したものである。図２は、動画ＤＢ６２に格納されている動画テーブル７０を示す。
【００３９】
動画テーブル７０は、コマＩＤ７１、シーン内位置７２、及びコンテンツ７３の各項目からなる。コマＩＤ７１は、動画データを構成する各画像データごとに、付与する一意の番号である。シーン内位置７２は、各画像データが動画データの先頭を０秒００とし、当該シーンが出現するまでの時間を示す。また、コンテンツ７３は、その各画像データそのものを示す。
【００４０】
図２に示す例によれば、コマＩＤ７１が「ＡＡＡ」である画像データは、シーン内位置７２が、動画データの先頭から５分２３秒２４経過時に表示されるものである。この画像データは、うさぎが標識の方向に向いている画像を示し、コンテンツ７３に格納されている。また、コマＩＤ７１が「ＡＡＡ」の次のコマＩＤ７１が「ＡＡＢ」である画像データは、「ＡＡＡ」から０秒０２後に表示される画像を示し、うさぎが標識の方向に少し進んだ画像がコンテンツ７３に格納されている。
【００４１】
このように、動画テーブル７０は、動画データを構成する全ての画像データについて、画像データごとにコマＩＤ７１をキーとして、シーン内位置７２と、コンテンツ７３とを関連付けて格納している。
【００４２】
図３は、代表画像抽出ＤＢ６４に格納されている代表画像抽出テーブル８０を示す。
【００４３】
代表画像抽出テーブル８０は、コマＩＤ８１、シーン内位置８２、画像内位置（座標）８３、画像ＩＤ８４、面積比８５、及びＯＳ＊ｉＩＦ値８６の各項目からなる。コマＩＤ８１、及びシーン内位置８２は、動画テーブル７０のコマＩＤ７１、及びシーン内位置７２と同様のものである。すなわち、動画データを構成する各画像データに、一意の番号としてコマＩＤ８１を付与している。また、シーン内位置８２は、各画像データが動画データの先頭から当該シーンが出現するまでの時間を示す。
【００４４】
画像内位置（座標）８３は、画像データの部分画像データであるオブジェクトの中心を表す位置を座標として表したものである。また、画像ＩＤ８４は、画像データの部分画像データであるオブジェクトを一意に示したコードである。さらに、面積比８５は、画像データ内で部分画像データであるオブジェクトの占める面積の比率を表したものである。
【００４５】
また、ＯＳ＊ｉＩＦ値８６は、下記の計算式により算出した値である。
【数４】
【００４６】
ＯＳが面積比８５の値を指し、Ｎは、動画データが有する全画像データのコマ数（画像データ数）を示す。また、ＩＦは、対象のオブジェクトである部分画像データが出現するコマ数（画像データ数）を示す。ＮとＩＦの値が等しい場合、すなわち、全画像データに表れる部分画像データが存在する場合には、真数が１となり、対数の値が０となるため、１を加算することにより、トータルでの計算結果が０にならないようにしている。面積比に関わらず、計算結果が０になってしまうからである。
【００４７】
図３に示す例によれば、コマＩＤ８１が「ＡＡＡ」のもので、画像ＩＤ８４が「３２４」の部分画像データ（図３の（１））は、図２のコンテンツ７３の「うさぎ」を表している。この「うさぎ」の画像データが占める割合が、全体の画像データの約１０．２％であり、面積比８５には「０．１０２」との値が格納されている。また、ＯＳ＊ｉＩＦ値８６が「１．５６」である。この例の中で、（１）は、ＯＳ＊ｉＩＦ値８６に格納された値の中で一番大きい値を示している。これは、「うさぎ」の登場シーンが、動画データ全体の中で比較的少なく、重要なオブジェクトを示す部分画像であることを表している。
【００４８】
ところで、文字で構成されたテキストデータから特徴的な語であるキーワードを見つけるための手法の１つとして、ＴＦ＊ＩＤＦ法が用いられている。ＴＦ＊ＩＤＦ法は、語の出現頻度に基づいてキーワードを重みづける方法である。この方法を用いれば、その文書にしか出現せず、しかもその文書の中で多く出現する語を抽出することができるので、その文書の特徴を表したキーワードを見つけることができるものである。
【００４９】
このＴＦ＊ＩＤＦ法の考えを利用して見出されたＯＳ＊ｉＩＦ値により、動画の画像から代表画像を見つけ出すことができるのである。
【００５０】
ここで、ＯＳ＊ｉＩＦとは、ＯＳ（Ｏｂｊｅｃｔ Ｓｐａｃｅ）とｉＩＦ（ｉｎｖｅｒｓｅ Ｉｍａｇｅ Ｆｒｅｑｕｅｎｃｙ）とを乗じたものである。短時間に表示される面積比８５の大きいオブジェクトは、ＯＳ＊ｉＩＦ値８６が大きくなる。ＯＳ＊ｉＩＦ値８６が大きいものは、背景画像のように各画像データに共通に出現しているものではなく、特徴的な画像と認定できる。従って、動画データに含まれる個々の部分画像データ（オブジェクト）のスコアリングを、ＯＳ＊ｉＩＦ値８６が大きいものを高いスコアとなる本計算式を用いることにより、代表画像データを抽出することができる。
【００５１】
［部分画像抽出例］
図４は、本発明の好適な実施形態の一例に係る画像データに基づき部分画像の抽出をした例を示す図である。
【００５２】
図２の動画テーブル７０のコマＩＤ７１が「ＡＡＡ」のコンテンツ７３に格納されている画像データから、エッジ処理により、複数の部分画像データについて輪郭が抽出されている。図４の（１）はうさぎ、（２）は標識、（３）は背景、（４）は前景の部分画像データを抜き出したものである。この図４の（１）のうさぎは図３の（１）に、図４の（２）の標識は図３の（２）に、図４の（３）の背景は図３の（３）に、それぞれ対応付けられている。
【００５３】
［処理フロー］
図５は、本発明の好適な実施形態の一例に係る代表画像抽出処理の処理フローである。
【００５４】
まず、ステップＳ１において、制御部５０は、動画ＤＢ６２の動画テーブル７０より、画像データを抽出する。その後、制御部５０は、処理をステップＳ２に移す。
【００５５】
ステップＳ２では、制御部５０（シーン内特徴画像抽出部５１）は、ステップＳ１の処理で抽出した画像データから、部分画像データをさらに抽出し、代表画像抽出ＤＢ６４の代表画像抽出テーブル８０に格納する。
【００５６】
具体的には、動画テーブル７０のコマＩＤ７１とシーン内位置７２と同じ値を、代表画像抽出テーブル８０のコマＩＤ８１とシーン内位置８２に格納する。また、部分画像データであるオブジェクトの座標を、画像内位置（座標）８３に格納する。また、オブジェクトの部分画像データに画像ＩＤを付与し、画像ＩＤ８４に格納する。この画像ＩＤ８４は、同一オブジェクトに対しては、同一のＩＤを付与する。従って、図２の動画テーブル７０のコンテンツ７３に例示されている、うさぎの画像については、代表画像抽出テーブル８０のコマＩＤ８１が「ＡＡＡ」と「ＡＡＢ」とで異なっていても、同一の画像ＩＤ８４である「３２４」が図３で付与されているのである。
【００５７】
その後、制御部５０は、処理をステップＳ３に移す。
【００５８】
ステップＳ３では、制御部５０（画像データ分析部５２）は、ステップＳ２で抽出し、代表画像抽出ＤＢ６４の代表画像抽出テーブル８０に格納された部分画像データごとに、動画テーブル７０のコンテンツ７３に格納された画像データを用いて面積比を算出し、代表画像抽出テーブル８０の面積比８５に格納する。具体的には、コンテンツ７３に格納された画像データの当該部分画像データについて、エッジ処理により物体の輪郭を取出し、その部分画像データの範囲を積分により算出する。また、算出された部分画像データの面積から、画像データ全体の面積を除算する。その後、制御部５０は、処理をステップＳ４に移す。
【００５９】
ステップＳ４では、制御部５０は、ステップＳ２で抽出された全ての部分画像データについて、面積比を算出する処理を行ったか否かを判断する。制御部５０が、全ての部分画像データについて、面積比の算出処理を行った場合（ステップＳ４の処理でＹＥＳが判断された場合）には、制御部５０は、処理をステップＳ５に移す。他方、制御部５０が、全ての部分画像データについて、面積比の算出処理を行っていない場合（ステップＳ４の処理でＮＯが判断された場合）には、制御部５０は、処理をステップＳ３に移す。
【００６０】
ステップＳ５では、制御部５０（動き抽出部５３）は、同一の部分画像データが連続した複数のコマ（画像データ）に存在した場合に、そのコマ数（画像データ数）をカウントする。その後、制御部５０は、処理をステップＳ６に移す。
【００６１】
ステップＳ６では、制御部５０は、動画ＤＢ６２の動画テーブル７０に格納された全ての画像データについて処理を行ったか否かを判断する。全ての画像データについて処理を行った場合（ステップＳ６の処理でＹＥＳが判断された場合）には、制御部５０は、処理をステップＳ７に移す。他方、全ての画像データについて処理を行っていない場合（ステップＳ６の処理でＮＯが判断された場合）には、制御部５０は、処理をステップＳ１に移し、残りの画像データについて、引き続きステップＳ１からステップＳ５までの処理を行う。
【００６２】
ステップＳ７では、制御部５０（ＯＳ＊ｉＩＦ計算部５４）は、代表画像抽出ＤＢ６４に格納された代表画像抽出テーブル８０についてＯＳ＊ｉＩＦ値を算出し、ＯＳ＊ｉＩＦ値８６に格納する。そして、算出し、代表画像抽出テーブル８０に格納されたＯＳ＊ｉＩＦ値８６に基づいて、値の大きい順にランク付けをする。その後、制御部５０は、処理をステップＳ８に移す。
【００６３】
ステップＳ８では、制御部５０（代表画像抽出部５５）は、ステップＳ７でランク付けされたＯＳ＊ｉＩＦ値の上位のデータを取得し、これを代表画像データとして抽出する。その後、制御部５０は、本処理を終了する。
【００６４】
上述の処理をすることにより、動画データから、代表画像データを抽出することができるのである。
【００６５】
［装置１０のハードウェア構成］
図６は、本発明の好適な実施形態の一例に係る装置１０のハードウェア構成を示す図である。装置１０は、シーン内特徴画像抽出部５１、画像データ分析部５２、動き抽出部５３、ＯＳ＊ｉＩＦ計算部５４、及び代表画像抽出部５５を含む、制御部５０を構成するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１０（マルチプロセッサ構成ではＣＰＵ１２０等複数のＣＰＵが追加されてもよい）、バスライン１０５、通信Ｉ／Ｆ１４０、メインメモリ１５０、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）１６０、ＵＳＢポート１９０、Ｉ／Ｏコントローラ１７０、並びにキーボード及びマウス１８０等の入力手段や表示装置１２２を備える。
【００６６】
Ｉ／Ｏコントローラ１７０には、テープドライブ１７２、ハードディスク１７４、光ディスクドライブ１７６、半導体メモリ１７８、等の記憶部６０を構成する記憶手段を接続することができる。
【００６７】
ＢＩＯＳ１６０は、装置１０の起動時にＣＰＵ１１０が実行するブートプログラムや、装置１０のハードウェアに依存するプログラム等を格納する。
【００６８】
ハードディスク１７４は、装置１０として機能するための各種プログラム及び本発明の機能を実行するプログラムを記憶しており、さらに必要に応じて各種データベースを構成可能である。
【００６９】
光ディスクドライブ１７６としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＣＤ−ＲＡＭドライブを使用することができる。この場合は各ドライブに対応した光ディスク１７７を使用する。光ディスク１７７から光ディスクドライブ１７６によりプログラム又はデータを読み取り、Ｉ／Ｏコントローラ１７０を介してメインメモリ１５０又はハードディスク１７４に提供することもできる。また、同様にテープドライブ１７２に対応したテープメディア１７１を主としてバックアップのために使用することもできる。
【００７０】
装置１０に提供されるプログラムは、ハードディスク１７４、光ディスク１７７、又はメモリーカード等の記録媒体に格納されて提供される。このプログラムは、Ｉ／Ｏコントローラ１７０を介して、記録媒体から読み出され、又は通信Ｉ／Ｆ１４０を介してダウンロードされることによって、装置１０にインストールされ実行されてもよい。
【００７１】
上述のプログラムは、内部又は外部の記憶媒体に格納されてもよい。ここで、動画ＤＢ６２及び代表画像抽出ＤＢ６４を含む記憶部６０を構成する記憶媒体としては、ハードディスク１７４、光ディスク１７７、又はメモリーカードの他に、ＭＤ等の光磁気記録媒体、テープメディア１７１を用いることができる。また、専用通信回線やインターネット等の通信回線に接続されたサーバシステムに設けたハードディスク１７４又は光ディスクライブラリ等の記憶装置を記録媒体として使用し、通信回線を介してプログラムを装置１０に提供してもよい。
【００７２】
ここで、表示装置１２２は、装置１０の管理者にデータの入力を受け付ける画面を表示したり、装置１０による演算処理結果の画面を表示したりするものであり、ブラウン管表示装置（ＣＲＴ）、液晶表示装置（ＬＣＤ）等のディスプレイ装置を含む。
【００７３】
ここで、入力手段は、装置１０の管理者による入力の受け付けを行うものであり、キーボード及びマウス１８０等により構成してよい。
【００７４】
また、通信Ｉ／Ｆ１４０は、装置１０を専用ネットワーク又は公共ネットワークを介して端末と接続できるようにするためのネットワーク・アダプタである。通信Ｉ／Ｆ１４０は、モデム、ケーブル・モデム及びイーサネット（登録商標）・アダプタを含んでよい。
【００７５】
以上の例は、装置１０について主に説明したが、コンピュータに、プログラムをインストールして、そのコンピュータを装置１０として動作させることにより上記で説明した機能を実現することもできる。従って、本発明において一実施形態として説明した装置１０により実現される機能は、上述の方法を当該コンピュータにより実行することにより、あるいは、上述のプログラムを当該コンピュータに導入して実行することによっても実現可能である。
【００７６】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施例に記載されたものに限定されるものではない。
【図面の簡単な説明】
【００７７】
【図１】本発明の好適な実施形態の一例に係る動画代表画像抽出装置の機能構成を示すブロック図である。
【図２】本発明の好適な実施形態の一例に係る動画ＤＢに格納されている動画テーブルを示す図である。
【図３】本発明の好適な実施形態の一例に係る代表画像抽出ＤＢに格納されている代表画像抽出テーブルを示す図である。
【図４】本発明の好適な実施形態の一例に係る画像データに基づき部分画像の抽出をした例を示す図である。
【図５】本発明の好適な実施形態の一例に係る代表画像抽出処理の処理フローを示す図である。
【図６】本発明の好適な実施形態の一例に係る装置のハードウェア構成を示す図である。
【符号の説明】
【００７８】
１０ 代表画像抽出装置
５０ 制御部
５１ シーン内特徴画像抽出部
５２ 画像データ分析部
５３ 動き抽出部
５４ ＯＳ＊ｉＩＦ計算部
５５ 代表画像抽出部
６０ 記憶部
６２ 動画ＤＢ
６４ 代表画像抽出ＤＢ
７０ 動画テーブル
８０ 代表画像抽出テーブル
【特許請求の範囲】
【請求項１】
複数の画像データにより構成される動画データから前記動画データの特徴的場面を表す代表画像データを抽出する動画代表画像抽出方法であって、
前記画像データの一部分を占めるオブジェクトを抽出するステップと、
前記オブジェクトを含む画像データの表示面積を算出し、前記オブジェクトを含む画像データに対して前記オブジェクトの占める面積比を算出するステップと、
前記オブジェクトの動きを抽出し、前記オブジェクトの動きを含む画像データ数を算出するステップと、
前記オブジェクトの動きを含む画像データ数と、前記動画データの全体の画像データ数と、から前記オブジェクトの出現比を算出し、前記オブジェクトの占める面積比と、前記オブジェクトの出現比と、から前記代表画像データの決定に関する参照値を算出するステップと、
前記参照値に基づいて前記代表画像データを抽出するステップと、を含み、
前記代表画像データを抽出するステップは、前記オブジェクトの出現比が低く、かつ、前記オブジェクトの占める面積比が高いものを抽出する、動画代表画像抽出方法。
【請求項２】
前記参照値を算出するステップは、
ＯＳ：前記オブジェクトの面積比
Ｎ：前記動画データの画像データ数
ＩＦ：前記オブジェクトの動きを含む画像データ数として、
【数１】
により、算出する、請求項１記載の動画代表画像抽出方法。
【請求項３】
前記オブジェクトは、前記オブジェクトを含む画像データのエッジ処理により抽出され、
前記オブジェクトの占める面積比を算出するステップは、前記オブジェクトを含む画像データのエッジ処理により抽出された範囲を積分により前記オブジェクトの面積を算出し、前記画像データの全体の面積を法数として除算する、請求項１又は２記載の動画代表画像抽出方法。
【請求項４】
前記オブジェクトの動きを含む画像データ数を算出するステップは、現在の画像データと前記現在の画像データより前に表示される画像データとから前記現在の画像データの動きを検出し、前記前に表示される画像データから前記現在の画像データの動きの量だけ移動して、動きを補償することにより算出する、請求項１乃至３記載の動画代表画像抽出方法。
【請求項５】
複数の画像データにより構成される動画データから前記動画データの特徴的場面を表す代表画像データを抽出する動画代表画像抽出装置であって、
前記画像データの一部分を占めるオブジェクトを抽出するオブジェクト抽出部と、
前記オブジェクトを含む画像データの表示面積を算出し、前記オブジェクトを含む画像データに対して前記オブジェクトの占める面積比を算出する画像データ分析部と、
前記オブジェクトの動きを抽出し、前記オブジェクトの動きを含む画像データ数を算出する動き抽出部と、
前記オブジェクトの動きを含む画像データ数と、前記動画データの全体の画像データ数と、から前記オブジェクトの出現比を算出し、前記オブジェクトの占める面積比と、前記オブジェクトの出現比と、から前記代表画像データの決定に関する参照値を算出するＯＳ＊ｉＩＦ計算部と、
前記参照値に基づいて前記代表画像データを抽出する代表画像抽出部と、を備え、
前記代表画像抽出部は、前記オブジェクトの出現比が低く、かつ、前記オブジェクトの占める面積比が高いものを抽出する動画代表画像抽出装置。
【請求項６】
前記ＯＳ＊ｉＩＦ計算部は、
ＯＳ：前記オブジェクトの面積比
Ｎ：前記動画データの画像データ数
ＩＦ：前記オブジェクトの動きを含む画像データ数として、
【数２】
により、算出する、請求項５記載の動画代表画像抽出装置。
【請求項７】
前記オブジェクトは、前記オブジェクトを含む画像データのエッジ処理により抽出され、
前記画像データ分析部は、前記オブジェクトを含む画像データのエッジ処理により抽出された範囲を積分により前記オブジェクトの面積を算出し、前記画像データの全体の面積を法数として除算する、請求項５又は６記載の動画代表画像抽出装置。
【請求項８】
前記動き抽出部は、現在の画像データと前記現在の画像データより前に表示される画像データとから前記現在の画像データの動きを検出し、前記前に表示される画像データから前記現在の画像データの動きの量だけ移動して、動きを補償することにより算出する、請求項５乃至７記載の動画代表画像抽出装置。
【請求項９】
複数の画像データにより構成される動画データから前記動画データの特徴的場面を表す代表画像データを抽出させるコンピュータ・プログラムであって、
前記画像データの一部分を占めるオブジェクトを抽出するステップと、
前記オブジェクトを含む画像データの表示面積を算出し、前記オブジェクトを含む画像データに対して前記オブジェクトの占める面積比を算出するステップと、
前記オブジェクトの動きを抽出し、前記オブジェクトの動きを含む画像データ数を算出するステップと、
前記オブジェクトの動きを含む画像データ数と、前記動画データの全体の画像データ数と、から前記オブジェクトの出現比を算出し、前記オブジェクトの占める面積比と、前記オブジェクトの出現比と、から前記代表画像データの決定に関する参照値を算出するステップと、
前記参照値に基づいて前記代表画像データを抽出するステップと、をコンピュータに実行させ、
前記代表画像データを抽出するステップにより、前記オブジェクトの出現比が低く、かつ、前記オブジェクトの占める面積比が高いものを抽出させるコンピュータ・プログラム。
【請求項１０】
前記参照値を算出するステップは、
ＯＳ：前記オブジェクトの面積比
Ｎ：前記動画データの画像データ数
ＩＦ：前記オブジェクトの動きを含む画像データ数として、
【数３】
により、算出する、請求項９記載のコンピュータ・プログラム。
【請求項１】
複数の画像データにより構成される動画データから前記動画データの特徴的場面を表す代表画像データを抽出する動画代表画像抽出方法であって、
前記画像データの一部分を占めるオブジェクトを抽出するステップと、
前記オブジェクトを含む画像データの表示面積を算出し、前記オブジェクトを含む画像データに対して前記オブジェクトの占める面積比を算出するステップと、
前記オブジェクトの動きを抽出し、前記オブジェクトの動きを含む画像データ数を算出するステップと、
前記オブジェクトの動きを含む画像データ数と、前記動画データの全体の画像データ数と、から前記オブジェクトの出現比を算出し、前記オブジェクトの占める面積比と、前記オブジェクトの出現比と、から前記代表画像データの決定に関する参照値を算出するステップと、
前記参照値に基づいて前記代表画像データを抽出するステップと、を含み、
前記代表画像データを抽出するステップは、前記オブジェクトの出現比が低く、かつ、前記オブジェクトの占める面積比が高いものを抽出する、動画代表画像抽出方法。
【請求項２】
前記参照値を算出するステップは、
ＯＳ：前記オブジェクトの面積比
Ｎ：前記動画データの画像データ数
ＩＦ：前記オブジェクトの動きを含む画像データ数として、
【数１】
により、算出する、請求項１記載の動画代表画像抽出方法。
【請求項３】
前記オブジェクトは、前記オブジェクトを含む画像データのエッジ処理により抽出され、
前記オブジェクトの占める面積比を算出するステップは、前記オブジェクトを含む画像データのエッジ処理により抽出された範囲を積分により前記オブジェクトの面積を算出し、前記画像データの全体の面積を法数として除算する、請求項１又は２記載の動画代表画像抽出方法。
【請求項４】
前記オブジェクトの動きを含む画像データ数を算出するステップは、現在の画像データと前記現在の画像データより前に表示される画像データとから前記現在の画像データの動きを検出し、前記前に表示される画像データから前記現在の画像データの動きの量だけ移動して、動きを補償することにより算出する、請求項１乃至３記載の動画代表画像抽出方法。
【請求項５】
複数の画像データにより構成される動画データから前記動画データの特徴的場面を表す代表画像データを抽出する動画代表画像抽出装置であって、
前記画像データの一部分を占めるオブジェクトを抽出するオブジェクト抽出部と、
前記オブジェクトを含む画像データの表示面積を算出し、前記オブジェクトを含む画像データに対して前記オブジェクトの占める面積比を算出する画像データ分析部と、
前記オブジェクトの動きを抽出し、前記オブジェクトの動きを含む画像データ数を算出する動き抽出部と、
前記オブジェクトの動きを含む画像データ数と、前記動画データの全体の画像データ数と、から前記オブジェクトの出現比を算出し、前記オブジェクトの占める面積比と、前記オブジェクトの出現比と、から前記代表画像データの決定に関する参照値を算出するＯＳ＊ｉＩＦ計算部と、
前記参照値に基づいて前記代表画像データを抽出する代表画像抽出部と、を備え、
前記代表画像抽出部は、前記オブジェクトの出現比が低く、かつ、前記オブジェクトの占める面積比が高いものを抽出する動画代表画像抽出装置。
【請求項６】
前記ＯＳ＊ｉＩＦ計算部は、
ＯＳ：前記オブジェクトの面積比
Ｎ：前記動画データの画像データ数
ＩＦ：前記オブジェクトの動きを含む画像データ数として、
【数２】
により、算出する、請求項５記載の動画代表画像抽出装置。
【請求項７】
前記オブジェクトは、前記オブジェクトを含む画像データのエッジ処理により抽出され、
前記画像データ分析部は、前記オブジェクトを含む画像データのエッジ処理により抽出された範囲を積分により前記オブジェクトの面積を算出し、前記画像データの全体の面積を法数として除算する、請求項５又は６記載の動画代表画像抽出装置。
【請求項８】
前記動き抽出部は、現在の画像データと前記現在の画像データより前に表示される画像データとから前記現在の画像データの動きを検出し、前記前に表示される画像データから前記現在の画像データの動きの量だけ移動して、動きを補償することにより算出する、請求項５乃至７記載の動画代表画像抽出装置。
【請求項９】
複数の画像データにより構成される動画データから前記動画データの特徴的場面を表す代表画像データを抽出させるコンピュータ・プログラムであって、
前記画像データの一部分を占めるオブジェクトを抽出するステップと、
前記オブジェクトを含む画像データの表示面積を算出し、前記オブジェクトを含む画像データに対して前記オブジェクトの占める面積比を算出するステップと、
前記オブジェクトの動きを抽出し、前記オブジェクトの動きを含む画像データ数を算出するステップと、
前記オブジェクトの動きを含む画像データ数と、前記動画データの全体の画像データ数と、から前記オブジェクトの出現比を算出し、前記オブジェクトの占める面積比と、前記オブジェクトの出現比と、から前記代表画像データの決定に関する参照値を算出するステップと、
前記参照値に基づいて前記代表画像データを抽出するステップと、をコンピュータに実行させ、
前記代表画像データを抽出するステップにより、前記オブジェクトの出現比が低く、かつ、前記オブジェクトの占める面積比が高いものを抽出させるコンピュータ・プログラム。
【請求項１０】
前記参照値を算出するステップは、
ＯＳ：前記オブジェクトの面積比
Ｎ：前記動画データの画像データ数
ＩＦ：前記オブジェクトの動きを含む画像データ数として、
【数３】
により、算出する、請求項９記載のコンピュータ・プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００８−１４６４６０（Ｐ２００８−１４６４６０Ａ）
【公開日】平成２０年６月２６日（２００８．６．２６）
【国際特許分類】
【出願番号】特願２００６−３３４５５６（Ｐ２００６−３３４５５６）
【出願日】平成１８年１２月１２日（２００６．１２．１２）
【出願人】（５００２５７３００）ヤフー株式会社 (1,128)
【Ｆターム（参考）】
【公開日】平成２０年６月２６日（２００８．６．２６）
【国際特許分類】
【出願日】平成１８年１２月１２日（２００６．１２．１２）
【出願人】（５００２５７３００）ヤフー株式会社 (1,128)
【Ｆターム（参考）】
[ Back to top ]