映像処理装置、映像処理方法、および映像処理プログラム
【課題】ユーザが映像全体の内容を把握し易いダイジェストを作成する。
【解決手段】シーン内ダイジェスト区間数決定部１６は、ダイジェスト区間として抽出する総カット数Ａｃをダイジェスト作成対象シーンにおける各シーンに割り振り、特徴量検出部１７は、抽出するダイジェスト区間の数が１以上とされたシーンであるカット抽出シーンに含まれるフレームの中から複数の代表フレームを選択し、各代表フレーム内に存在する被写体の顔の数、代表フレーム内における最大の顔の位置、および最大の顔の大きさのうちの少なくとも１つを各代表フレームの特徴量として検出し、重要度算出部２０は、各代表フレームの特徴量に基づいて、各代表フレームの重要度を算出し、ダイジェスト区間選択部２１は、各カット抽出シーンにおける代表フレームの特徴量および重要度に基づいて各カット抽出シーンから選択するダイジェスト区間を決定する。
【解決手段】シーン内ダイジェスト区間数決定部１６は、ダイジェスト区間として抽出する総カット数Ａｃをダイジェスト作成対象シーンにおける各シーンに割り振り、特徴量検出部１７は、抽出するダイジェスト区間の数が１以上とされたシーンであるカット抽出シーンに含まれるフレームの中から複数の代表フレームを選択し、各代表フレーム内に存在する被写体の顔の数、代表フレーム内における最大の顔の位置、および最大の顔の大きさのうちの少なくとも１つを各代表フレームの特徴量として検出し、重要度算出部２０は、各代表フレームの特徴量に基づいて、各代表フレームの重要度を算出し、ダイジェスト区間選択部２１は、各カット抽出シーンにおける代表フレームの特徴量および重要度に基づいて各カット抽出シーンから選択するダイジェスト区間を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データのダイジェストを作成する映像処理装置、映像処理方法、および映像処理プログラムに関する。
【背景技術】
【０００２】
ユーザが機器に保存した多くの映像データから視聴したいものを見つけるために、例えば、映像の早送り再生により目的の映像を探すことができるが、これには多大な時間と労力とを要する。そこで、映像データのダイジェストを作成し、これを用いて所望の映像データを検索し易くする技術が提案されている。
【０００３】
例えば、特許文献１では、ニュースやドラマ、歌番組といった番組のジャンルに合わせて、特徴的な区間、すなわち、その番組にとって重要な区間を適切に抽出してダイジェスト映像を作成して再生することができる映像情報記録再生装置が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４０３９８７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載の技術では、重要な区間と判断された部分が、映像全体の例えば序盤に集中した場合、その部分のみがダイジェストとして再生され、それ以降の部分は全く再生されないダイジェストが作成される。このようなダイジェストでは、ユーザが映像全体の内容を把握することは困難である。
【０００６】
また、特許文献１では、シーンごとにそのシーンの特徴量を検出し、その特徴量によりシーンを評価し、シーン全体、あるいはシーンの中で予め定められた一部の区間をダイジェストとして選択している。
【０００７】
しかし、この方法では、例えば全体が１０分のうち見所となる重要な区間が１分だけであるシーンについて、このシーン全体をダイジェストとして選択した場合、９分間は特に見所のないシーンになってしまう。また、このシーンの一部をダイジェストとして選択する場合でも、見所のない９分間の中からダイジェストを選択してしまうおそれがある。
【０００８】
本発明は上記に鑑みてなされたもので、ユーザが映像全体の内容を把握し易いダイジェストを作成することができる映像処理装置、映像処理方法、および映像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様によれば、映像データにおける各シーンから抽出するダイジェスト区間の数を決定するシーン内ダイジェスト区間数決定部（１６）と、前記シーン内ダイジェスト区間数決定部により前記ダイジェスト区間の数が１以上とされたシーンであるカット抽出シーンに含まれるフレームの中から複数の代表フレームを選択し、前記各代表フレーム内に存在する被写体の顔の数、前記各代表フレーム内における最大の顔の位置、および最大の顔の大きさのうちの少なくとも１つを前記各代表フレームの特徴量として検出する特徴量検出部（１７）と、前記特徴量に基づいて、前記各代表フレームの重要度を算出する重要度算出部（２０）と、前記特徴量および前記重要度に基づいて、前記カット抽出シーンから、前記シーン内ダイジェスト区間数決定部で決定された数のカットを前記ダイジェスト区間として選択するダイジェスト区間選択部（２１）と、前記ダイジェスト区間選択部で選択された前記ダイジェスト区間を再生する再生部（２３）とを備えることを特徴とする映像処理装置（１０）が提供される。
【００１０】
本発明の他の態様によれば、映像データにおける各シーンから抽出するダイジェスト区間の数を決定するステップと、前記ダイジェスト区間の数が１以上とされたシーンであるカット抽出シーンに含まれるフレームの中から複数の代表フレームを選択し、前記各代表フレーム内に存在する被写体の顔の数、前記各代表フレーム内における最大の顔の位置、および最大の顔の大きさのうちの少なくとも１つを前記各代表フレームの特徴量として検出するステップと、前記特徴量に基づいて、前記各代表フレームの重要度を算出するステップと、前記特徴量および前記重要度に基づいて、前記カット抽出シーンから、前記ダイジェスト区間の数を決定するステップで決定された数のカットを前記ダイジェスト区間として選択するステップと、前記ダイジェスト区間選択部で選択された前記ダイジェスト区間を再生するステップとを含むことを特徴とする映像処理方法が提供される。
【００１１】
本発明の他の態様によれば、映像データにおける各シーンから抽出するダイジェスト区間の数を決定するステップと、前記ダイジェスト区間の数が１以上とされたシーンであるカット抽出シーンに含まれるフレームの中から複数の代表フレームを選択し、前記各代表フレーム内に存在する被写体の顔の数、前記各代表フレーム内における最大の顔の位置、および最大の顔の大きさのうちの少なくとも１つを前記各代表フレームの特徴量として検出するステップと、前記特徴量に基づいて、前記各代表フレームの重要度を算出するステップと、前記特徴量および前記重要度に基づいて、前記カット抽出シーンから、前記ダイジェスト区間の数を決定するステップで決定された数のカットを前記ダイジェスト区間として選択するステップと、前記ダイジェスト区間選択部で選択された前記ダイジェスト区間を再生するステップとをコンピュータに実行させるための映像処理プログラムが提供される。
【発明の効果】
【００１２】
本発明によれば、ユーザが映像全体の内容を把握し易いダイジェストを作成することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係る映像処理装置の構成を示すブロック図である。
【図２】各シーンへ割り振るカット数を決定する手順を示すフローチャートである。
【図３】グループ分けの一例を示す図である。
【図４】カット抽出シーンのフレーム構成の一例を示す模式図である。
【図５】代表フレームの特徴量を説明する図である。
【図６】カット抽出シーンにおける各代表フレームの特徴量の一例を示す図である。
【図７】カット抽出シーンにおける各代表フレームの重要度の一例を示す図である。
【図８】カット抽出シーンにおける各代表フレームの重要度の他の例を示す図である。
【図９】ダイジェスト区間を決定する手順を示すフローチャートである。
【図１０】ダイジェスト区間を示す模式図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について、図面を参照して説明する。
【００１５】
図１は、本発明の実施の形態に係る映像処理装置の構成を示すブロック図である。図１に示すように本実施の形態に係る映像処理装置１０は、映像データ記憶部１１と、ダイジェスト作成対象シーン指定部１２と、総カット数決定部１３と、グループ分け部１４と、グループ内ダイジェスト区間数決定部１５と、シーン内ダイジェスト区間数決定部１６と、特徴量検出部１７と、シーン分割部１８と、シーン特徴判定部１９と、重要度算出部２０と、ダイジェスト区間選択部２１と、ダイジェストデータ記憶部２２と、再生部２３とを備える。
【００１６】
映像データ記憶部１１は、ハードディスク、半導体記憶媒体等の不揮発性の記憶媒体を有し、ビデオカメラ等で記録された映像データを記憶している。映像データ記憶部１１は、映像処理装置１０から着脱可能な構成にしてもよい。
【００１７】
映像データ記憶部１１に記憶される映像データには、ビデオカメラ等の撮影機器で撮影された映像データにおける各シーンの撮影開始時刻、撮影終了時刻、撮影場所等を含む撮影情報が付されている。撮影情報は、撮影時に撮影機器で取得することができる。ここで、シーンとは、一連の撮影動作における撮影開始から撮影終了までの区切りのことを指すものとする。
【００１８】
ダイジェスト作成対象シーン指定部１２は、映像データ記憶部１１に記憶されているシーンの中からダイジェスト作成対象となるシーンを指定する。ユーザによる操作入力部（図示せず）の操作に応じてダイジェスト作成対象シーンを１つずつ指定するようにしてもよいし、ユーザ操作により選択された２つのシーン間に撮影されたすべてのシーンをダイジェスト作成対象シーンとしてもよい。また、ユーザ操作に応じて日付を指定し、指定された日に撮影された全シーンをダイジェスト作成対象シーンとしてもよい。
【００１９】
総カット数決定部１３は、ダイジェスト作成対象シーン指定部１２で指定されたダイジェスト作成対象シーンの全体から、ダイジェストとして再生される区間であるカット（ダイジェスト区間）の数である総カット数Ａｃを決定する。
【００２０】
総カット数Ａｃは、ユーザ操作により指定できるようにしてもよいし、ユーザがダイジェストの長さを指定し、その値から総カット数Ａｃを決定するようにしてもよい。
【００２１】
このようにダイジェストの長さから総カット数Ａｃを決定する場合、総カット数決定部１３は、カットの平均時間の目安となる時間を予め設定しておき、その値を基に総カット数Ａｃを算出する。
【００２２】
例えば、カットの平均時間の目安を１０秒と設定しているとき、ユーザがダイジェストの長さを１８０秒と指定したならば、Ａｃ＝１８０÷１０＝１８より、総カット数Ａｃは１８カットとなる。
【００２３】
なお、ダイジェストの長さから総カット数Ａｃを算出する場合、ダイジェストの長さはユーザが操作入力するのではなく、ダイジェスト作成対象シーンの合計撮影時間等の情報から、自動的に算出するようにしてもよい。
【００２４】
グループ分け部１４は、シーン間の撮影間隔や撮影内容等に基づき、ダイジェスト作成対象シーンにおけるシーンのグループ分けを行う。例えば、特開２００９−９９１２０号公報に記載された方法によりグループ分けを行う。これにより、近い時刻や場所で撮影したシーン同士をまとめるグループ化や、同じような内容を撮影したシーン同士をまとめるグループ化が行われる。
【００２５】
グループ内ダイジェスト区間数決定部１５は、総カット数決定部１３で決定した総カット数Ａｃを各グループに割り振り、各グループから抽出するカット数を決定する。例えば、グループ内ダイジェスト区間数決定部１５は、グループに属するシーン数や、グループに属するシーンの合計撮影時間に応じてカットを割り振る。
【００２６】
シーン内ダイジェスト区間数決定部１６は、グループ内ダイジェスト区間数決定部１５で決定した各グループのカット数をグループ内の各シーンに割り振り、各シーンから選択するカット数を決定する。
【００２７】
特徴量検出部１７は、シーン内ダイジェスト区間数決定部１６で１つ以上のカットを割り当てられたカット抽出シーンに含まれるフレームの中から複数の代表フレームを選択し、各代表フレームの特徴を示す特徴量を検出する。例えば、特徴量検出部１７は、各代表フレーム内に存在する被写体の顔の数、代表フレーム内における最大の顔の位置、および最大の顔の大きさを、代表フレームの特徴量として検出する。
【００２８】
シーン分割部１８は、カットが２つ以上割り当てられたカット抽出シーンを、割り当てられたカット数と同数の分割シーンに分割する。例えば、シーン分割部１８は、カットが２つ割り振られた１分のシーンを前半３０秒、後半３０秒の２つの分割シーンに等分するように、カット抽出シーンを割り当てられたカット数で等分する。
【００２９】
シーン特徴判定部１９は、各カット抽出シーンについて、代表フレームの特徴量等からシーンの特徴を判別する。シーン分割部１８で分割されたカット抽出シーンについては、分割シーンごとにシーンの特徴を判別する。
【００３０】
例えば、シーン特徴判定部１９は、特徴量検出部１７で検出した被写体の顔の数に基づいて、被写体が１人であるか複数人であるかをシーンの特徴として判定する。
【００３１】
重要度算出部２０は、各代表フレームの特徴量に基づいて各代表フレームの重要度を算出する。重要度算出部２０は、シーンの特徴ごとに重要度算出法を記憶しており、シーン特徴判定部１９で決定したカット抽出シーン（分割された場合は分割シーンごと）の特徴に応じた重要度算出法により、各代表フレームの特徴量から各代表フレームの重要度を算出する。
【００３２】
ダイジェスト区間選択部２１は、特徴量検出部１７で検出した代表フレームの特徴量と、重要度算出部２０で算出した代表フレームの重要度とに基づいて、各カット抽出シーンについてカット（ダイジェスト区間）として選択する区間を決定する。
【００３３】
ダイジェストデータ記憶部２２は、ハードディスク等の不揮発性の記憶媒体を有し、ダイジェスト区間選択部２１で選択されたカットの情報を時系列順にダイジェストデータとして記憶する。ダイジェストデータは、各カットについてカットを抽出するシーンを識別するためのシーンＩＤと、カットの開始時刻および終了時刻の情報とを含む。シーンＩＤは、記録順に各シーンに割り振られた値としてもよいし、シーンを記録した映像ファイル名としてもよい。なお、映像データ記憶部１１がダイジェストデータ記憶部２２を兼ねていてもよい。
【００３４】
再生部２３は、ダイジェストデータ記憶部２２に記憶されたダイジェストデータに基づき、映像データ記憶部１１に記憶された映像データから、ダイジェスト区間選択部２１で選択されたカット（ダイジェスト区間）を時系列順に再生することによりダイジェスト再生を行い、映像処理装置１０に接続された表示装置（図示せず）にダイジェストの映像を表示させる。
【００３５】
次に、映像処理装置１０の動作について説明する。
【００３６】
ユーザによりダイジェスト作成対象シーンを指定する操作が行われると、ダイジェスト作成対象シーン指定部１２は、ユーザ操作に応じて、映像データ記憶部１１に記憶されているシーンの中からダイジェスト作成対象シーンを指定する。また、総カット数決定部１３は、ダイジェスト作成対象シーンの全体からダイジェスト区間として選択される総カット数Ａｃを決定する。
【００３７】
ダイジェスト作成対象シーンが指定され、総カット数Ａｃが決定すると、映像処理装置１０は、ダイジェスト作成対象シーンにおける各シーンへ割り振るカット数を決定する。この手順について、図２に示すフローチャートを参照して説明する。
【００３８】
まず、ステップＳ１０において、グループ分け部１４は、ダイジェスト作成対象シーンにおける各シーンのグループ分けを行う。本実施の形態では、図３に示すように、ダイジェスト作成対象シーンがグループ１からグループｇのｇ個のグループに分類されたものとして説明を行う。
【００３９】
次いで、ステップＳ２０において、グループ内ダイジェスト区間数決定部１５は、総カット数Ａｃを各グループに割り振り、各グループから抽出するカット数を決定する。シーン間の撮影間隔や撮影内容等に基づいて分類された各グループにカットを割り振ることにより、ダイジェストとして抽出される映像が偏ることなく、様々な場面の映像を満遍なくダイジェストに盛り込むことができる。
【００４０】
本実施の形態では、グループ内ダイジェスト区間数決定部１５は、以下の式（１）により、グループｎ（ｎ＝１，２，…）から抽出するカット数Ｇｃ（ｎ）を算出する。
【数１】
【００４１】
ここで、Ｌ（ｎ）はグループｎの合計撮影時間、Ｎ（ｎ）はグループｎに含まれるシーン数である。
【００４２】
この式（１）により各グループにカットを割り当てることで、シーン数が多く、撮影時間の長いグループから多くのカットを選択することが可能となる。
【００４３】
次いで、ステップＳ３０において、シーン内ダイジェスト区間数決定部１６は、グループの順番を示す変数ｎを１に設定する。
【００４４】
次いで、ステップＳ４０において、シーン内ダイジェスト区間数決定部１６は、グループｎの先頭シーンのカット数を１とする。
【００４５】
次いで、ステップＳ５０において、シーン内ダイジェスト区間数決定部１６は、グループｎに割り振られたカット数Ｇｃ（ｎ）＝１か否かを判断する。Ｇｃ（ｎ）＝１である場合（ステップＳ５０：ＹＥＳ）、ステップＳ１１０に進み、Ｇｃ（ｎ）＝１でない場合（ステップＳ５０：ＮＯ）、ステップＳ６０に進む。
【００４６】
ステップＳ６０では、シーン内ダイジェスト区間数決定部１６は、グループｎに属するシーンのうち、まだカットが割り振られていないシーン（カット数が０のシーン）の中で、直前のシーンとの撮影間隔が最も長いシーンのカット数を１とする。
【００４７】
次いで、ステップＳ７０において、シーン内ダイジェスト区間数決定部１６は、グループｎ内のシーンに割り振ったカット数の合計がＧｃ（ｎ）に達したか否かを判断する。Ｇｃ（ｎ）に達した場合（ステップＳ７０：ＹＥＳ）、ステップＳ１１０に進み、Ｇｃ（ｎ）に達していない場合（ステップＳ７０：ＮＯ）、ステップＳ８０に進む。
【００４８】
ステップＳ８０では、シーン内ダイジェスト区間数決定部１６は、グループｎ内の全シーンのカット数が１になったか否かを判断する。全シーンのカット数が１になった場合（ステップＳ８０：ＹＥＳ）、ステップＳ９０に進み、カット数が０のシーンがある場合（ステップＳ８０：ＮＯ）、ステップＳ６０に戻る。
【００４９】
ステップＳ９０では、シーン内ダイジェスト区間数決定部１６は、グループｎに属するシーンのうち、（撮影時間）÷（カット数）の値が最大であるシーンのカット数を１つ増やす。
【００５０】
次いで、ステップＳ１００において、シーン内ダイジェスト区間数決定部１６は、グループｎ内のシーンに割り振ったカット数の合計がＧｃ（ｎ）に達したか否かを判断する。Ｇｃ（ｎ）に達した場合（ステップＳ１００：ＹＥＳ）、ステップＳ１１０に進み、Ｇｃ（ｎ）に達していない場合（ステップＳ１００：ＮＯ）、ステップＳ９０に戻る。
【００５１】
ステップＳ１１０では、シーン内ダイジェスト区間数決定部１６は、変数ｎが最後のグループであることを示す値ｇであるか否かを判断する。ｎ＝ｇである場合（ステップＳ１１０：ＹＥＳ）、処理を終了し、ｎ＝ｇでない場合（ステップＳ１１０：ＮＯ）、ステップＳ１２０において、シーン内ダイジェスト区間数決定部１６は、変数ｎを１つインクリメントし、その後、ステップＳ４０に戻る。
【００５２】
以上の処理により、グループ１からグループｇまでのすべてのグループについて、グループ内の各シーンへのカットの割り振りが行われる。
【００５３】
なお、各シーンへのカットの割り振りを行う方法は上記の処理に限らず、例えば、各シーンのカット数をユーザが指定するようにしてもよい。
【００５４】
また、グループ内の撮影時間が長いシーンから順にカットを１つずつ割り振るようにしてもよい。この場合において、シーン数よりも総カット数Ａｃの方が多いときは、撮影時間が長いシーンから順にカットをもう１つずつ割り振ることで、長いシーンからは複数のカットを選択できるようになる。
【００５５】
また、シーン間の撮影間隔に基づいてカットを割り振るようにしてもよい。例えば、各シーン間の撮影間隔を算出し、グループ内において直前のシーンとの撮影間隔が長いシーンの順にカットを割り振るようにする。
【００５６】
また、上記のような方法と撮影内容等によるシーンのグループ分けとを組み合わせてカットの割り振りを行ってもよい。
【００５７】
シーン内ダイジェスト区間数決定部１６により１つ以上のカット（ダイジェスト区間）が割り当てられたシーンをカット抽出シーンと呼ぶ。特徴量検出部１７は、カット抽出シーンに含まれるフレームの中から所定時間ごとのフレームを代表フレームとして選択し、各代表フレームの特徴を示す特徴量を検出する。
【００５８】
例えば、図４に示すような、フレームｆ（０）〜ｆ（１６）の１７フレームから構成されるカット抽出シーンがあるとする。図４において、横軸は各フレームの記録時刻を示す。
【００５９】
例えば１秒ごとのフレームを代表フレームとして選択する場合、特徴量検出部１７は、先頭フレームｆ（０）と、撮影開始から１秒後に記録されたフレームｆ（５）と、その１秒後に記録されたフレームｆ（１０）と、さらにその１秒後に記録されたフレームｆ（１５）の４フレームを、それぞれ代表フレームＦ（０），Ｆ（１），Ｆ（２），Ｆ（３）とし、それぞれから特徴量を検出する。
【００６０】
本実施の形態では、特徴量検出部１７は、代表フレームＦ（ｉ）（ｉ＝０，１，２，…）内に存在する被写体の顔の数Ｎｕｍ（Ｆ（ｉ））、代表フレームＦ（ｉ）内における最大の顔の位置として、その最大の顔の中心からフレームの四隅のうち最も近いものまでの距離Ｄｉｓ（Ｆ（ｉ））、および最大の顔の大きさＳｉｚ（Ｆ（ｉ））を、代表フレームＦ（ｉ）の特徴量として検出する。
【００６１】
顔の画像の検出については、種々の手法が知られており、例えば、特許第４１５８１５３号公報に記載された技術を用いて顔の画像を検出することができるため、ここではその処理内容については説明を省略する。
【００６２】
被写体の顔が存在するフレームの一例を図５に示す。図５に示すフレームにおいて最も大きく映っている顔は顔Ａである。また、フレームの四隅のうち顔Ａの中心と最も近いものは左上の隅であるため、顔Ａの中心からフレームの左上隅までの距離をＤｉｓ（Ｆ（ｉ））とする。Ｓｉｚ（Ｆ（ｉ））は、最も大きく映っている顔Ａの縦の長さを取ることとする。また、図５に示すフレームには顔が３つ映っているため、Ｎｕｍ（Ｆ（ｉ））＝３となる。
【００６３】
これらの特徴量は、撮影時に撮影機器で取得し、ファイル等に記憶していたものを読み込んでもよいし、特徴量検出部１７により映像データを解析して取得してもよい。
【００６４】
シーン内ダイジェスト区間数決定部１６によりカットが２つ以上割り当てられたカット抽出シーンがある場合、シーン分割部１８は、そのカット抽出シーンを、割り当てられたカット数と同数の分割シーンに分割する。
【００６５】
次いで、シーン特徴判定部１９は、各カット抽出シーンについて、シーンの特徴を判定する。シーン分割部１８で分割されたカット抽出シーンについては、分割シーンごとにシーンの特徴を判別する。本実施の形態では、シーン特徴判定部１９は、特徴量検出部１７で検出した代表フレームＦ（ｉ）における被写体の顔の数Ｎｕｍ（Ｆ（ｉ））に基づいて、被写体が１人であるか複数人であるかをシーンの特徴として判定する。
【００６６】
シーン特徴判定部１９は、各カット抽出シーン（分割された場合は各分割シーン）について、当該シーン内の各代表フレームにおける被写体の顔の数が１つであるか２つ以上であるかを判別し、顔の数が１つである代表フレームの数と、顔の数が２つ以上である代表フレームの数とをカウントする。
【００６７】
そして、顔の数が１つである代表フレームの数が、顔の数が２つ以上である代表フレームの数よりも多い場合、そのシーンの被写体は１人であるとする。一方、顔の数が２つ以上の代表フレームの数が、顔の数が１つである代表フレームの数よりも多い場合、そのシーンの被写体は複数人であるとする。また、全代表フレームで顔が１つも検出されなかった場合、そのシーンの被写体は１人とする。
【００６８】
図６は、１分間のカット抽出シーンにおける各代表フレームのシーン開始からの経過時間および特徴量（Ｎｕｍ（Ｆ（ｉ）），Ｄｉｓ（Ｆ（ｉ）），Ｓｉｚ（Ｆ（ｉ）））を示したものである。図６のシーンを例に、カット抽出シーンに割り振られたカット数が１の場合と２の場合のそれぞれについて、シーン特徴判定部１９におけるシーンの特徴の判定について説明する。
【００６９】
（１）カット抽出シーンに割り振られたカット数が１の場合
カット抽出シーンの全代表フレームから、このシーンの特徴を判別する。
【００７０】
図６において、全代表フレーム中、顔の数が１の代表フレームは２８フレーム、顔の数が２以上の代表フレームは１５フレームとなっている。よって、顔の数が１の代表フレームの方が顔の数が２以上の代表フレームよりも多いため、このシーンの特徴は「被写体が１人」となる。
【００７１】
（２）カット抽出シーンに割り振られたカット数が２の場合
カット抽出シーンを００：００：００〜００：００：２９と００：００：３０〜００：００：５９の２つの分割シーンに分割し、各分割シーンについて特徴を判別する。
【００７２】
まず、００：００：００〜００：００：２９の分割シーン（第１の分割シーン）において、顔の数が１の代表フレームは１５フレームあるが、顔の数が２以上の代表フレームはない。よって、第１の分割シーンの特徴は「被写体が１人」となる。
【００７３】
一方、００：００：３０〜００：００：５９の分割シーン（第２の分割シーン）においては、顔の数が１の代表フレームは１３フレーム、顔の数が２以上の代表フレームは１５フレームとなっている。よって、顔の数が２以上の代表フレームの方が顔の数が１の代表フレームよりも多いため、第２の分割シーンの特徴は「被写体が複数人」となる。
【００７４】
シーン特徴判定部１９で各カット抽出シーンの特徴が決定されると、重要度算出部２０は、そのシーンの特徴に応じて、各代表フレームの特徴量から各代表フレームの重要度を算出する。
【００７５】
重要度算出部２０は、重要度を算出するにあたり、まず、カット抽出シーンにおけるＮｕｍ（Ｆ（ｉ）），Ｄｉｓ（Ｆ（ｉ）），Ｓｉｚ（Ｆ（ｉ））それぞれの最大値ＭａｘＮｕｍ，ＭａｘＤｉｓ，ＭａｘＳｉｚを求める。シーン分割部１８で分割されたカット抽出シーンについては、分割シーンごとにこれらの値を求める。
【００７６】
上記の値を用いて、重要度算出部２０は、特徴が「被写体が１人」であるシーンに含まれる代表フレームＦ（ｉ）の重要度Ｉ（Ｆ（ｉ））を以下の式（２）により算出する。
【数２】
【００７７】
また、重要度算出部２０は、特徴が「被写体が複数人」であるシーンに含まれる代表フレームＦ（ｉ）の重要度Ｉ（Ｆ（ｉ））は、以下の式（３）により算出する。
【数３】
【００７８】
ここで、図６のシーンを例に、カット抽出シーンに割り振られたカット数が１の場合と２の場合のそれぞれについて、重要度Ｉ（Ｆ（ｉ））の算出について説明する。
【００７９】
（１）カット抽出シーンに割り振られたカット数が１の場合
この場合、シーン全体からＮｕｍ（Ｆ（ｉ）），Ｄｉｓ（Ｆ（ｉ）），Ｓｉｚ（Ｆ（ｉ））の最大値を求めるため、ＭａｘＮｕｍ＝３、ＭａｘＤｉｓ＝１０００、ＭａｘＳｉｚ＝５００となる。
【００８０】
そして、これらの値を「被写体が１人」の場合の重要度算出式である式（２）に代入した以下の式（４）により各代表フレームの重要度Ｉ（Ｆ（ｉ））を算出する。
【数４】
【００８１】
以上のようにして算出された重要度Ｉ（Ｆ（ｉ））を図７の表に示す。
【００８２】
（２）カット抽出シーンに割り振られたカット数が２の場合
この場合、分割シーンごとに特徴量の最大値を求め、各代表フレームＦ（ｉ）の重要度Ｉ（Ｆ（ｉ））を算出する。
【００８３】
まず、第１の分割シーン（００：００：００〜００：００：２９）について、各代表フレームＦ（ｉ）の重要度Ｉ（Ｆ（ｉ））を算出する。
【００８４】
図６より、第１の分割シーンの特徴量の最大値は、ＭａｘＮｕｍ＝１、ＭａｘＤｉｓ＝５００、ＭａｘＳｉｚ＝３００である。
【００８５】
また、前述のように、シーン特徴判定部１９において、第１の分割シーンの特徴は「被写体が１人」と判定されているため、上記最大値を式（２）に代入した以下の式（５）により重要度Ｉ（Ｆ（ｉ））を算出する。
【数５】
【００８６】
次いで、第２の分割シーン（００：００：３０〜００：００：５９）について、各代表フレームＦ（ｉ）の重要度Ｉ（Ｆ（ｉ））を算出する。
【００８７】
図６より、第２の分割シーンの特徴量の最大値は、ＭａｘＮｕｍ＝３、ＭａｘＤｉｓ＝１０００、ＭａｘＳｉｚ＝５００である。
【００８８】
また、前述のように、シーン特徴判定部１９において、第２の分割シーンの特徴は「被写体が複数人」と判定されているため、上記最大値を「被写体が複数人」の場合の重要度算出式である式（３）に代入した以下の式（６）により重要度Ｉ（Ｆ（ｉ））を算出する。
【数６】
【００８９】
以上のようにして算出された重要度Ｉ（Ｆ（ｉ））を図８の表に示す。
【００９０】
上記のような重要度算出法により、被写体が１人のシーンについては、その被写体が大きくクローズアップされている部分の重要度が大きくなり、被写体が複数人のシーンについては、多くの人物が存在する部分の重要度が大きくなる。これにより、被写体が１人のシーンについては、その被写体が大きくクローズアップされている部分をダイジェストに含めることができ、被写体が複数人のシーンについては、できるだけ多くの人物が存在する部分をダイジェストに含めることが可能となる。
【００９１】
このように重要度算出部２０で算出した各代表フレームの重要度と、特徴量検出部１７で検出した各代表フレームの特徴量とを用いて、ダイジェスト区間選択部２１は、各カット抽出シーンについてダイジェスト区間として選択するカットの区間を決定する。この手順について、図９に示すフローチャートを参照して説明する。
【００９２】
まず、ステップＳ２１０において、ダイジェスト区間選択部２１は、カット区間を決定するための基準となるカット中心フレームを決定する。ここで、ダイジェスト区間選択部２１は、カット抽出シーン内の代表フレームから重要度が最も高いものをカット中心フレームとして選択する。
【００９３】
次いで、ステップＳ２２０において、ダイジェスト区間選択部２１は、変数ｊを１に設定する。
【００９４】
次いで、ステップＳ２３０において、ダイジェスト区間選択部２１は、カット中心フレームとして選択した代表フレームＦ（ｉ）の時系列的にｊ枚だけ前の代表フレームＦ（ｉ−ｊ）における特徴量の１つである顔の数Ｎｕｍ（Ｆ（ｉ−ｊ））が０であるか否かを判断する。Ｎｕｍ（Ｆ（ｉ−ｊ））が０である場合（ステップＳ２３０：ＹＥＳ）、ステップＳ２４０に進み、Ｎｕｍ（Ｆ（ｉ−ｊ））が０でない場合（ステップＳ２３０：ＮＯ）、ステップＳ２５０に進む。
【００９５】
ステップＳ２４０では、ダイジェスト区間選択部２１は、代表フレームＦ（ｉ−ｊ＋１）をダイジェスト区間として選択するカットの最初のフレームとなるカット開始フレームとする。その後、ステップＳ２９０に進む。
【００９６】
ステップＳ２５０では、ダイジェスト区間選択部２１は、代表フレームＦ（ｉ−ｊ）がカット抽出シーンの先頭代表フレームであるか否かを判断する。先頭代表フレームである場合（ステップＳ２５０：ＹＥＳ）、ステップＳ２７０に進み、先頭代表フレームでない場合（ステップＳ２５０：ＮＯ）、ステップＳ２６０に進む。
【００９７】
ステップＳ２６０では、ダイジェスト区間選択部２１は、変数ｊが第１の所定数ｊ１であるか否かを判断する。ｊ＝ｊ１である場合（ステップＳ２６０：ＹＥＳ）、ステップＳ２７０に進み、ｊ＝ｊ１でない場合（ステップＳ２６０：ＮＯ）、ステップＳ２８０において、ダイジェスト区間選択部２１は、変数ｊを１つインクリメントし、その後、ステップＳ２３０に戻る。
【００９８】
ステップＳ２７０では、ダイジェスト区間選択部２１は、代表フレームＦ（ｉ−ｊ）をカット開始フレームとする。
【００９９】
ここまでの処理により、ダイジェスト区間選択部２１は、カット中心フレームから最大で第１の所定数ｊ１だけ時系列的に前の代表フレームまでさかのぼって順次各代表フレームの顔の数を判断し、最初に検出された顔の数が０の代表フレームに対して時系列的に１枚後の代表フレームをカット開始フレームとして決定する。カット中心フレームから第１の所定数ｊ１だけ前の代表フレームまでのすべての代表フレームの顔の数が１以上である場合は、カット中心フレームから第１の所定数ｊ１だけ前の代表フレームをカット開始フレームとして決定する。また、顔の数が０である代表フレームが検出される前に先頭代表フレームまでさかのぼった場合は、先頭代表フレームをカット開始フレームとする。
【０１００】
カット開始フレームを決定すると、ダイジェスト区間として選択するカットの最後のフレームとなるカット終了フレームを決定するために、ステップＳ２９０において、ダイジェスト区間選択部２１は、変数ｊを１に設定する。
【０１０１】
次いで、ステップＳ３００において、ダイジェスト区間選択部２１は、カット中心フレームとして選択した代表フレームＦ（ｉ）の時系列的にｊ枚だけ後の代表フレームＦ（ｉ＋ｊ）における顔の数Ｎｕｍ（Ｆ（ｉ＋ｊ））が０であるか否かを判断する。Ｎｕｍ（Ｆ（ｉ＋ｊ））が０である場合（ステップＳ３００：ＹＥＳ）、ステップＳ３４０に進み、Ｎｕｍ（Ｆ（ｉ＋ｊ））が０でない場合（ステップＳ３００：ＮＯ）、ステップＳ３１０に進む。
【０１０２】
ステップＳ３１０では、ダイジェスト区間選択部２１は、代表フレームＦ（ｉ＋ｊ）がカット抽出シーンの最終代表フレームであるか否かを判断する。最終代表フレームである場合（ステップＳ３１０：ＹＥＳ）、ステップＳ３２０に進み、最終代表フレームでない場合（ステップＳ３１０：ＮＯ）、ステップＳ３３０に進む。
【０１０３】
ステップＳ３２０では、ダイジェスト区間選択部２１は、カット抽出シーンの最終フレームカット終了フレームとする。
【０１０４】
ステップＳ３３０では、ダイジェスト区間選択部２１は、変数ｊが第２の所定数ｊ２であるか否かを判断する。ｊ＝ｊ２である場合（ステップＳ３３０：ＹＥＳ）、ステップＳ３４０に進み、ｊ＝ｊ２でない場合（ステップＳ３３０：ＮＯ）、ステップＳ３５０において、ダイジェスト区間選択部２１は、変数ｊを１つインクリメントし、その後、ステップＳ３１０に戻る。
【０１０５】
ステップＳ３４０では、ダイジェスト区間選択部２１は、代表フレームＦ（ｉ＋ｊ）をカット終了フレームとする。
【０１０６】
ステップＳ２９０以降の処理により、ダイジェスト区間選択部２１は、カット中心フレームから最大で第２の所定数ｊ２だけ時系列的に後の代表フレームまで順次各代表フレームの顔の数を判断し、最初に検出された顔の数が０の代表フレームをカット終了フレームとして決定する。カット中心フレームから第２の所定数ｊ２だけ後の代表フレームまでのすべての代表フレームの顔の数が１以上である場合は、カット中心フレームから第２の所定数ｊ２だけ後の代表フレームをカット終了フレームとして決定する。また、最終代表フレームまで顔の数が０である代表フレームが検出されなかった場合は、カット抽出シーンの最終フレームをカット終了フレームとする。
【０１０７】
以上の処理により、例えば図１０に示すように、ダイジェスト作成対象シーンからダイジェスト区間が決定される。ダイジェスト区間は、各カット抽出シーン内で重要度が最も高い代表フレーム（カット中心フレーム）を含む、最大（ｊ１＋ｊ２＋１）枚の代表フレームを含んだ区間となる。なお、シーン分割部１８で分割されたカット抽出シーンについては、分割シーンごとに上述の図９のフローチャートの処理によりダイジェスト区間を決定する。
【０１０８】
ここで、図６のシーンを例に、カット抽出シーンに割り振られたカット数が１の場合と２の場合のそれぞれについて、ダイジェスト区間決定の具体例を示す。ここでは、ｊ１＝５，ｊ２＝１５とする。
【０１０９】
（１）カット抽出シーンに割り振られたカット数が１の場合
図７の表より、代表フレームＦ（４７）の重要度が最も高くなっていることが分かる。そこで、代表フレームＦ（４７）をカット中心フレームとする。
【０１１０】
次いで、カット開始フレームを決定する。図７の表より、カット中心フレームＦ（４７）から、その５（＝ｊ１）秒前の代表フレームＦ（４２）までは常に顔の数が１以上であるため、カット中心フレームの５秒前の代表フレームＦ（４２）をカット開始フレームとする。
【０１１１】
次いで、カット終了フレームを決定する。図７の表より、カット中心フレームＦ（４７）から最後の代表フレームＦ（５９）までの間の全代表フレームにおいて顔の数が１以上であるため、シーンの最終フレームをカット終了フレームとする。
【０１１２】
以上より、図６のシーンから抽出されるダイジェスト区間は、代表フレームＦ（４２）からシーンの終わりまで、つまり００：００：４２〜シーン終了の区間となる。
【０１１３】
（２）カット抽出シーンに割り振られたカット数が２の場合
まず、第１の分割シーン（００：００：００〜００：００：２９）について、ダイジェスト区間を決定する。図８の表より、第１の分割シーンにおいては、代表フレームＦ（８）の重要度が最も高くなっている。そこで、代表フレームＦ（８）をカット中心フレームとする。
【０１１４】
次いで、カット開始フレームを決定する。図８の表より、カット中心フレームＦ（８）から、その５秒前の代表フレームＦ（３）までは常に顔の数が１以上であるため、カット中心フレームＦ（８）の５秒前の代表フレームＦ（３）をカット開始フレームとする。
【０１１５】
次いで、カット終了フレームを決定する。図８の表より、カット中心フレームＦ（８）から、その８秒後の代表フレームＦ（１６）までは顔の数が１以上であるが、９秒後の代表フレームＦ（１７）では顔の数が０となっているため、代表フレームＦ（１７）をカット終了フレームとする。
【０１１６】
よって、第１の分割シーンから抽出されるダイジェスト区間は、代表フレームＦ（３）〜Ｆ（１７）間、つまり００：００：０３〜００：００：１７の区間となる。
【０１１７】
同様に、第２の分割シーンについて、ダイジェスト区間を決定する。図８の表より、第２の分割シーンにおいては、代表フレームＦ（４３）の重要度が最も高くなっている。そこで、代表フレームＦ（４３）をカット中心フレームとする。
【０１１８】
次いで、カット開始フレームを決定する。図８の表より、カット中心フレームＦ（４３）から、その５秒前の代表フレームＦ（３８）までは常に顔の数が１以上であるため、カット中心フレームＦ（４３）の５秒前の代表フレームＦ（３８）をカット開始フレームとする。
【０１１９】
次いで、カット終了フレームを決定する。図８の表より、カット中心フレームＦ（４３）から、その１５（＝ｊ２）秒後の代表フレームＦ（５８）までは常に顔の数が１以上であるため、カット中心フレームＦ（４３）の１５秒後の代表フレームＦ（５８）をカット終了フレームとする。
【０１２０】
よって、第２の分割シーンから抽出されるダイジェスト区間は、代表フレームＦ（３８）〜Ｆ（５８）間、つまり００：００：３８〜００：００：５８の区間となる。
【０１２１】
以上より、図６のシーンからは、００：００：０３〜００：００：１７の区間と、００：００：３８〜００：００：５８の区間との２区間がダイジェスト区間として抽出される。
【０１２２】
ダイジェスト区間選択部２１は、上記のようにして選択したカットの情報を時系列順にダイジェストデータとしてダイジェストデータ記憶部２２に保存する。
【０１２３】
そして、再生部２３は、ダイジェストデータ記憶部２２に記憶されたダイジェストデータに基づき、映像データ記憶部１１に記憶された映像データからダイジェスト区間を時系列順に再生し、表示装置（図示せず）にダイジェストの映像を表示させる。
【０１２４】
上記説明のように本実施の形態によれば、ダイジェスト区間として抽出する総カット数Ａｃをダイジェスト作成対象シーンにおける各シーンに割り振り、各カット抽出シーンにおける代表フレームの特徴量および重要度に基づいて各カット抽出シーンから選択するダイジェスト区間を決定するので、ダイジェスト作成対象シーン全体から偏りなく重要な部分をダイジェスト区間として選択し、ユーザがダイジェスト作成対象シーン全体の映像の内容を把握し易いダイジェストを作成することができる。
【０１２５】
また、カット抽出シーンの特徴を判別し、特徴ごとに定められた重要度算出法を用いて代表フレームの重要度を算出することにより、各カット抽出シーンの特徴に応じて、ダイジェスト区間としてふさわしい部分を抽出することができる。
【０１２６】
なお、特徴量として、各代表フレーム内に存在する被写体の顔の数、各代表フレーム内における最大の顔の位置、および最大の顔の大きさのうちの少なくとも１つを検出する構成でもよい。また、重要度の算出法も上記の方法に限定されることなく、各代表フレーム内に存在する被写体の顔の数、各代表フレーム内における最大の顔の位置、および最大の顔の大きさのうちの少なくとも１つの特徴量により重要度を算出する構成としてもよい。
【０１２７】
また、１つのカット抽出シーンからダイジェスト区間を２つ以上抽出する場合は、そのカット抽出シーンを分割し、分割シーンごとに特徴を判別し、各分割シーンの特徴に応じてダイジェスト区間を決定することで、満遍なく各シーンの特徴を反映したダイジェストを作成することができる。
【０１２８】
なお、グループ分け部１４とグループ内ダイジェスト区間数決定部１５とを省略し、ダイジェスト作成対象シーンのグループ分けを行わずに、シーン内ダイジェスト区間数決定部１６において、総カット数Ａｃをダイジェスト作成対象シーンにおける各シーンに割り振るようにしてもよい。
【０１２９】
また、特徴量検出部１７で検出する代表フレームの特徴量として、色情報や輝度、動きベクトル、音声情報等を用いてもよい。
【０１３０】
また、シーン特徴判定部１９で判別するシーンの特徴として、シーンの撮影時刻が午前か午後か、シーンの撮影時間が所定時間より長いか否か、背景が屋内か屋外か、人の声が記録されているか否か、拍手が行われているか否か、音声のレベルが一定の閾値以上か否か等を用い、重要度算出部２０でそれらの特徴に応じた重要度算出法を用いるようにしてもよい。
【０１３１】
本実施の形態に係る映像処理装置１０は、その装置構成の一部または全部をパーソナルコンピュータ等から構成することが可能である。この場合、上記で説明した装置各部は、コンピュータのハードウェアもしくはソフトウェアによりその機能を実現可能である。例えば、コンピュータに上記実施の形態で説明した動作の一部または全部を実行させるためのプログラムを、コンピュータのハードディスク、ＣＤ−ＲＯＭ等の記憶媒体、もしくはダウンロードによりコンピュータのメモリ等に記憶させて使用してもよい。
【符号の説明】
【０１３２】
１０ 映像処理装置
１１ 映像データ記憶部
１２ ダイジェスト作成対象シーン指定部
１３ 総カット数決定部
１４ グループ分け部
１５ グループ内ダイジェスト区間数決定部
１６ シーン内ダイジェスト区間数決定部
１７ 特徴量検出部
１８ シーン分割部
１９ シーン特徴判定部
２０ 重要度算出部
２１ ダイジェスト区間選択部
２２ ダイジェストデータ記憶部
２３ 再生部
【技術分野】
【０００１】
本発明は、映像データのダイジェストを作成する映像処理装置、映像処理方法、および映像処理プログラムに関する。
【背景技術】
【０００２】
ユーザが機器に保存した多くの映像データから視聴したいものを見つけるために、例えば、映像の早送り再生により目的の映像を探すことができるが、これには多大な時間と労力とを要する。そこで、映像データのダイジェストを作成し、これを用いて所望の映像データを検索し易くする技術が提案されている。
【０００３】
例えば、特許文献１では、ニュースやドラマ、歌番組といった番組のジャンルに合わせて、特徴的な区間、すなわち、その番組にとって重要な区間を適切に抽出してダイジェスト映像を作成して再生することができる映像情報記録再生装置が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４０３９８７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載の技術では、重要な区間と判断された部分が、映像全体の例えば序盤に集中した場合、その部分のみがダイジェストとして再生され、それ以降の部分は全く再生されないダイジェストが作成される。このようなダイジェストでは、ユーザが映像全体の内容を把握することは困難である。
【０００６】
また、特許文献１では、シーンごとにそのシーンの特徴量を検出し、その特徴量によりシーンを評価し、シーン全体、あるいはシーンの中で予め定められた一部の区間をダイジェストとして選択している。
【０００７】
しかし、この方法では、例えば全体が１０分のうち見所となる重要な区間が１分だけであるシーンについて、このシーン全体をダイジェストとして選択した場合、９分間は特に見所のないシーンになってしまう。また、このシーンの一部をダイジェストとして選択する場合でも、見所のない９分間の中からダイジェストを選択してしまうおそれがある。
【０００８】
本発明は上記に鑑みてなされたもので、ユーザが映像全体の内容を把握し易いダイジェストを作成することができる映像処理装置、映像処理方法、および映像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様によれば、映像データにおける各シーンから抽出するダイジェスト区間の数を決定するシーン内ダイジェスト区間数決定部（１６）と、前記シーン内ダイジェスト区間数決定部により前記ダイジェスト区間の数が１以上とされたシーンであるカット抽出シーンに含まれるフレームの中から複数の代表フレームを選択し、前記各代表フレーム内に存在する被写体の顔の数、前記各代表フレーム内における最大の顔の位置、および最大の顔の大きさのうちの少なくとも１つを前記各代表フレームの特徴量として検出する特徴量検出部（１７）と、前記特徴量に基づいて、前記各代表フレームの重要度を算出する重要度算出部（２０）と、前記特徴量および前記重要度に基づいて、前記カット抽出シーンから、前記シーン内ダイジェスト区間数決定部で決定された数のカットを前記ダイジェスト区間として選択するダイジェスト区間選択部（２１）と、前記ダイジェスト区間選択部で選択された前記ダイジェスト区間を再生する再生部（２３）とを備えることを特徴とする映像処理装置（１０）が提供される。
【００１０】
本発明の他の態様によれば、映像データにおける各シーンから抽出するダイジェスト区間の数を決定するステップと、前記ダイジェスト区間の数が１以上とされたシーンであるカット抽出シーンに含まれるフレームの中から複数の代表フレームを選択し、前記各代表フレーム内に存在する被写体の顔の数、前記各代表フレーム内における最大の顔の位置、および最大の顔の大きさのうちの少なくとも１つを前記各代表フレームの特徴量として検出するステップと、前記特徴量に基づいて、前記各代表フレームの重要度を算出するステップと、前記特徴量および前記重要度に基づいて、前記カット抽出シーンから、前記ダイジェスト区間の数を決定するステップで決定された数のカットを前記ダイジェスト区間として選択するステップと、前記ダイジェスト区間選択部で選択された前記ダイジェスト区間を再生するステップとを含むことを特徴とする映像処理方法が提供される。
【００１１】
本発明の他の態様によれば、映像データにおける各シーンから抽出するダイジェスト区間の数を決定するステップと、前記ダイジェスト区間の数が１以上とされたシーンであるカット抽出シーンに含まれるフレームの中から複数の代表フレームを選択し、前記各代表フレーム内に存在する被写体の顔の数、前記各代表フレーム内における最大の顔の位置、および最大の顔の大きさのうちの少なくとも１つを前記各代表フレームの特徴量として検出するステップと、前記特徴量に基づいて、前記各代表フレームの重要度を算出するステップと、前記特徴量および前記重要度に基づいて、前記カット抽出シーンから、前記ダイジェスト区間の数を決定するステップで決定された数のカットを前記ダイジェスト区間として選択するステップと、前記ダイジェスト区間選択部で選択された前記ダイジェスト区間を再生するステップとをコンピュータに実行させるための映像処理プログラムが提供される。
【発明の効果】
【００１２】
本発明によれば、ユーザが映像全体の内容を把握し易いダイジェストを作成することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係る映像処理装置の構成を示すブロック図である。
【図２】各シーンへ割り振るカット数を決定する手順を示すフローチャートである。
【図３】グループ分けの一例を示す図である。
【図４】カット抽出シーンのフレーム構成の一例を示す模式図である。
【図５】代表フレームの特徴量を説明する図である。
【図６】カット抽出シーンにおける各代表フレームの特徴量の一例を示す図である。
【図７】カット抽出シーンにおける各代表フレームの重要度の一例を示す図である。
【図８】カット抽出シーンにおける各代表フレームの重要度の他の例を示す図である。
【図９】ダイジェスト区間を決定する手順を示すフローチャートである。
【図１０】ダイジェスト区間を示す模式図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について、図面を参照して説明する。
【００１５】
図１は、本発明の実施の形態に係る映像処理装置の構成を示すブロック図である。図１に示すように本実施の形態に係る映像処理装置１０は、映像データ記憶部１１と、ダイジェスト作成対象シーン指定部１２と、総カット数決定部１３と、グループ分け部１４と、グループ内ダイジェスト区間数決定部１５と、シーン内ダイジェスト区間数決定部１６と、特徴量検出部１７と、シーン分割部１８と、シーン特徴判定部１９と、重要度算出部２０と、ダイジェスト区間選択部２１と、ダイジェストデータ記憶部２２と、再生部２３とを備える。
【００１６】
映像データ記憶部１１は、ハードディスク、半導体記憶媒体等の不揮発性の記憶媒体を有し、ビデオカメラ等で記録された映像データを記憶している。映像データ記憶部１１は、映像処理装置１０から着脱可能な構成にしてもよい。
【００１７】
映像データ記憶部１１に記憶される映像データには、ビデオカメラ等の撮影機器で撮影された映像データにおける各シーンの撮影開始時刻、撮影終了時刻、撮影場所等を含む撮影情報が付されている。撮影情報は、撮影時に撮影機器で取得することができる。ここで、シーンとは、一連の撮影動作における撮影開始から撮影終了までの区切りのことを指すものとする。
【００１８】
ダイジェスト作成対象シーン指定部１２は、映像データ記憶部１１に記憶されているシーンの中からダイジェスト作成対象となるシーンを指定する。ユーザによる操作入力部（図示せず）の操作に応じてダイジェスト作成対象シーンを１つずつ指定するようにしてもよいし、ユーザ操作により選択された２つのシーン間に撮影されたすべてのシーンをダイジェスト作成対象シーンとしてもよい。また、ユーザ操作に応じて日付を指定し、指定された日に撮影された全シーンをダイジェスト作成対象シーンとしてもよい。
【００１９】
総カット数決定部１３は、ダイジェスト作成対象シーン指定部１２で指定されたダイジェスト作成対象シーンの全体から、ダイジェストとして再生される区間であるカット（ダイジェスト区間）の数である総カット数Ａｃを決定する。
【００２０】
総カット数Ａｃは、ユーザ操作により指定できるようにしてもよいし、ユーザがダイジェストの長さを指定し、その値から総カット数Ａｃを決定するようにしてもよい。
【００２１】
このようにダイジェストの長さから総カット数Ａｃを決定する場合、総カット数決定部１３は、カットの平均時間の目安となる時間を予め設定しておき、その値を基に総カット数Ａｃを算出する。
【００２２】
例えば、カットの平均時間の目安を１０秒と設定しているとき、ユーザがダイジェストの長さを１８０秒と指定したならば、Ａｃ＝１８０÷１０＝１８より、総カット数Ａｃは１８カットとなる。
【００２３】
なお、ダイジェストの長さから総カット数Ａｃを算出する場合、ダイジェストの長さはユーザが操作入力するのではなく、ダイジェスト作成対象シーンの合計撮影時間等の情報から、自動的に算出するようにしてもよい。
【００２４】
グループ分け部１４は、シーン間の撮影間隔や撮影内容等に基づき、ダイジェスト作成対象シーンにおけるシーンのグループ分けを行う。例えば、特開２００９−９９１２０号公報に記載された方法によりグループ分けを行う。これにより、近い時刻や場所で撮影したシーン同士をまとめるグループ化や、同じような内容を撮影したシーン同士をまとめるグループ化が行われる。
【００２５】
グループ内ダイジェスト区間数決定部１５は、総カット数決定部１３で決定した総カット数Ａｃを各グループに割り振り、各グループから抽出するカット数を決定する。例えば、グループ内ダイジェスト区間数決定部１５は、グループに属するシーン数や、グループに属するシーンの合計撮影時間に応じてカットを割り振る。
【００２６】
シーン内ダイジェスト区間数決定部１６は、グループ内ダイジェスト区間数決定部１５で決定した各グループのカット数をグループ内の各シーンに割り振り、各シーンから選択するカット数を決定する。
【００２７】
特徴量検出部１７は、シーン内ダイジェスト区間数決定部１６で１つ以上のカットを割り当てられたカット抽出シーンに含まれるフレームの中から複数の代表フレームを選択し、各代表フレームの特徴を示す特徴量を検出する。例えば、特徴量検出部１７は、各代表フレーム内に存在する被写体の顔の数、代表フレーム内における最大の顔の位置、および最大の顔の大きさを、代表フレームの特徴量として検出する。
【００２８】
シーン分割部１８は、カットが２つ以上割り当てられたカット抽出シーンを、割り当てられたカット数と同数の分割シーンに分割する。例えば、シーン分割部１８は、カットが２つ割り振られた１分のシーンを前半３０秒、後半３０秒の２つの分割シーンに等分するように、カット抽出シーンを割り当てられたカット数で等分する。
【００２９】
シーン特徴判定部１９は、各カット抽出シーンについて、代表フレームの特徴量等からシーンの特徴を判別する。シーン分割部１８で分割されたカット抽出シーンについては、分割シーンごとにシーンの特徴を判別する。
【００３０】
例えば、シーン特徴判定部１９は、特徴量検出部１７で検出した被写体の顔の数に基づいて、被写体が１人であるか複数人であるかをシーンの特徴として判定する。
【００３１】
重要度算出部２０は、各代表フレームの特徴量に基づいて各代表フレームの重要度を算出する。重要度算出部２０は、シーンの特徴ごとに重要度算出法を記憶しており、シーン特徴判定部１９で決定したカット抽出シーン（分割された場合は分割シーンごと）の特徴に応じた重要度算出法により、各代表フレームの特徴量から各代表フレームの重要度を算出する。
【００３２】
ダイジェスト区間選択部２１は、特徴量検出部１７で検出した代表フレームの特徴量と、重要度算出部２０で算出した代表フレームの重要度とに基づいて、各カット抽出シーンについてカット（ダイジェスト区間）として選択する区間を決定する。
【００３３】
ダイジェストデータ記憶部２２は、ハードディスク等の不揮発性の記憶媒体を有し、ダイジェスト区間選択部２１で選択されたカットの情報を時系列順にダイジェストデータとして記憶する。ダイジェストデータは、各カットについてカットを抽出するシーンを識別するためのシーンＩＤと、カットの開始時刻および終了時刻の情報とを含む。シーンＩＤは、記録順に各シーンに割り振られた値としてもよいし、シーンを記録した映像ファイル名としてもよい。なお、映像データ記憶部１１がダイジェストデータ記憶部２２を兼ねていてもよい。
【００３４】
再生部２３は、ダイジェストデータ記憶部２２に記憶されたダイジェストデータに基づき、映像データ記憶部１１に記憶された映像データから、ダイジェスト区間選択部２１で選択されたカット（ダイジェスト区間）を時系列順に再生することによりダイジェスト再生を行い、映像処理装置１０に接続された表示装置（図示せず）にダイジェストの映像を表示させる。
【００３５】
次に、映像処理装置１０の動作について説明する。
【００３６】
ユーザによりダイジェスト作成対象シーンを指定する操作が行われると、ダイジェスト作成対象シーン指定部１２は、ユーザ操作に応じて、映像データ記憶部１１に記憶されているシーンの中からダイジェスト作成対象シーンを指定する。また、総カット数決定部１３は、ダイジェスト作成対象シーンの全体からダイジェスト区間として選択される総カット数Ａｃを決定する。
【００３７】
ダイジェスト作成対象シーンが指定され、総カット数Ａｃが決定すると、映像処理装置１０は、ダイジェスト作成対象シーンにおける各シーンへ割り振るカット数を決定する。この手順について、図２に示すフローチャートを参照して説明する。
【００３８】
まず、ステップＳ１０において、グループ分け部１４は、ダイジェスト作成対象シーンにおける各シーンのグループ分けを行う。本実施の形態では、図３に示すように、ダイジェスト作成対象シーンがグループ１からグループｇのｇ個のグループに分類されたものとして説明を行う。
【００３９】
次いで、ステップＳ２０において、グループ内ダイジェスト区間数決定部１５は、総カット数Ａｃを各グループに割り振り、各グループから抽出するカット数を決定する。シーン間の撮影間隔や撮影内容等に基づいて分類された各グループにカットを割り振ることにより、ダイジェストとして抽出される映像が偏ることなく、様々な場面の映像を満遍なくダイジェストに盛り込むことができる。
【００４０】
本実施の形態では、グループ内ダイジェスト区間数決定部１５は、以下の式（１）により、グループｎ（ｎ＝１，２，…）から抽出するカット数Ｇｃ（ｎ）を算出する。
【数１】
【００４１】
ここで、Ｌ（ｎ）はグループｎの合計撮影時間、Ｎ（ｎ）はグループｎに含まれるシーン数である。
【００４２】
この式（１）により各グループにカットを割り当てることで、シーン数が多く、撮影時間の長いグループから多くのカットを選択することが可能となる。
【００４３】
次いで、ステップＳ３０において、シーン内ダイジェスト区間数決定部１６は、グループの順番を示す変数ｎを１に設定する。
【００４４】
次いで、ステップＳ４０において、シーン内ダイジェスト区間数決定部１６は、グループｎの先頭シーンのカット数を１とする。
【００４５】
次いで、ステップＳ５０において、シーン内ダイジェスト区間数決定部１６は、グループｎに割り振られたカット数Ｇｃ（ｎ）＝１か否かを判断する。Ｇｃ（ｎ）＝１である場合（ステップＳ５０：ＹＥＳ）、ステップＳ１１０に進み、Ｇｃ（ｎ）＝１でない場合（ステップＳ５０：ＮＯ）、ステップＳ６０に進む。
【００４６】
ステップＳ６０では、シーン内ダイジェスト区間数決定部１６は、グループｎに属するシーンのうち、まだカットが割り振られていないシーン（カット数が０のシーン）の中で、直前のシーンとの撮影間隔が最も長いシーンのカット数を１とする。
【００４７】
次いで、ステップＳ７０において、シーン内ダイジェスト区間数決定部１６は、グループｎ内のシーンに割り振ったカット数の合計がＧｃ（ｎ）に達したか否かを判断する。Ｇｃ（ｎ）に達した場合（ステップＳ７０：ＹＥＳ）、ステップＳ１１０に進み、Ｇｃ（ｎ）に達していない場合（ステップＳ７０：ＮＯ）、ステップＳ８０に進む。
【００４８】
ステップＳ８０では、シーン内ダイジェスト区間数決定部１６は、グループｎ内の全シーンのカット数が１になったか否かを判断する。全シーンのカット数が１になった場合（ステップＳ８０：ＹＥＳ）、ステップＳ９０に進み、カット数が０のシーンがある場合（ステップＳ８０：ＮＯ）、ステップＳ６０に戻る。
【００４９】
ステップＳ９０では、シーン内ダイジェスト区間数決定部１６は、グループｎに属するシーンのうち、（撮影時間）÷（カット数）の値が最大であるシーンのカット数を１つ増やす。
【００５０】
次いで、ステップＳ１００において、シーン内ダイジェスト区間数決定部１６は、グループｎ内のシーンに割り振ったカット数の合計がＧｃ（ｎ）に達したか否かを判断する。Ｇｃ（ｎ）に達した場合（ステップＳ１００：ＹＥＳ）、ステップＳ１１０に進み、Ｇｃ（ｎ）に達していない場合（ステップＳ１００：ＮＯ）、ステップＳ９０に戻る。
【００５１】
ステップＳ１１０では、シーン内ダイジェスト区間数決定部１６は、変数ｎが最後のグループであることを示す値ｇであるか否かを判断する。ｎ＝ｇである場合（ステップＳ１１０：ＹＥＳ）、処理を終了し、ｎ＝ｇでない場合（ステップＳ１１０：ＮＯ）、ステップＳ１２０において、シーン内ダイジェスト区間数決定部１６は、変数ｎを１つインクリメントし、その後、ステップＳ４０に戻る。
【００５２】
以上の処理により、グループ１からグループｇまでのすべてのグループについて、グループ内の各シーンへのカットの割り振りが行われる。
【００５３】
なお、各シーンへのカットの割り振りを行う方法は上記の処理に限らず、例えば、各シーンのカット数をユーザが指定するようにしてもよい。
【００５４】
また、グループ内の撮影時間が長いシーンから順にカットを１つずつ割り振るようにしてもよい。この場合において、シーン数よりも総カット数Ａｃの方が多いときは、撮影時間が長いシーンから順にカットをもう１つずつ割り振ることで、長いシーンからは複数のカットを選択できるようになる。
【００５５】
また、シーン間の撮影間隔に基づいてカットを割り振るようにしてもよい。例えば、各シーン間の撮影間隔を算出し、グループ内において直前のシーンとの撮影間隔が長いシーンの順にカットを割り振るようにする。
【００５６】
また、上記のような方法と撮影内容等によるシーンのグループ分けとを組み合わせてカットの割り振りを行ってもよい。
【００５７】
シーン内ダイジェスト区間数決定部１６により１つ以上のカット（ダイジェスト区間）が割り当てられたシーンをカット抽出シーンと呼ぶ。特徴量検出部１７は、カット抽出シーンに含まれるフレームの中から所定時間ごとのフレームを代表フレームとして選択し、各代表フレームの特徴を示す特徴量を検出する。
【００５８】
例えば、図４に示すような、フレームｆ（０）〜ｆ（１６）の１７フレームから構成されるカット抽出シーンがあるとする。図４において、横軸は各フレームの記録時刻を示す。
【００５９】
例えば１秒ごとのフレームを代表フレームとして選択する場合、特徴量検出部１７は、先頭フレームｆ（０）と、撮影開始から１秒後に記録されたフレームｆ（５）と、その１秒後に記録されたフレームｆ（１０）と、さらにその１秒後に記録されたフレームｆ（１５）の４フレームを、それぞれ代表フレームＦ（０），Ｆ（１），Ｆ（２），Ｆ（３）とし、それぞれから特徴量を検出する。
【００６０】
本実施の形態では、特徴量検出部１７は、代表フレームＦ（ｉ）（ｉ＝０，１，２，…）内に存在する被写体の顔の数Ｎｕｍ（Ｆ（ｉ））、代表フレームＦ（ｉ）内における最大の顔の位置として、その最大の顔の中心からフレームの四隅のうち最も近いものまでの距離Ｄｉｓ（Ｆ（ｉ））、および最大の顔の大きさＳｉｚ（Ｆ（ｉ））を、代表フレームＦ（ｉ）の特徴量として検出する。
【００６１】
顔の画像の検出については、種々の手法が知られており、例えば、特許第４１５８１５３号公報に記載された技術を用いて顔の画像を検出することができるため、ここではその処理内容については説明を省略する。
【００６２】
被写体の顔が存在するフレームの一例を図５に示す。図５に示すフレームにおいて最も大きく映っている顔は顔Ａである。また、フレームの四隅のうち顔Ａの中心と最も近いものは左上の隅であるため、顔Ａの中心からフレームの左上隅までの距離をＤｉｓ（Ｆ（ｉ））とする。Ｓｉｚ（Ｆ（ｉ））は、最も大きく映っている顔Ａの縦の長さを取ることとする。また、図５に示すフレームには顔が３つ映っているため、Ｎｕｍ（Ｆ（ｉ））＝３となる。
【００６３】
これらの特徴量は、撮影時に撮影機器で取得し、ファイル等に記憶していたものを読み込んでもよいし、特徴量検出部１７により映像データを解析して取得してもよい。
【００６４】
シーン内ダイジェスト区間数決定部１６によりカットが２つ以上割り当てられたカット抽出シーンがある場合、シーン分割部１８は、そのカット抽出シーンを、割り当てられたカット数と同数の分割シーンに分割する。
【００６５】
次いで、シーン特徴判定部１９は、各カット抽出シーンについて、シーンの特徴を判定する。シーン分割部１８で分割されたカット抽出シーンについては、分割シーンごとにシーンの特徴を判別する。本実施の形態では、シーン特徴判定部１９は、特徴量検出部１７で検出した代表フレームＦ（ｉ）における被写体の顔の数Ｎｕｍ（Ｆ（ｉ））に基づいて、被写体が１人であるか複数人であるかをシーンの特徴として判定する。
【００６６】
シーン特徴判定部１９は、各カット抽出シーン（分割された場合は各分割シーン）について、当該シーン内の各代表フレームにおける被写体の顔の数が１つであるか２つ以上であるかを判別し、顔の数が１つである代表フレームの数と、顔の数が２つ以上である代表フレームの数とをカウントする。
【００６７】
そして、顔の数が１つである代表フレームの数が、顔の数が２つ以上である代表フレームの数よりも多い場合、そのシーンの被写体は１人であるとする。一方、顔の数が２つ以上の代表フレームの数が、顔の数が１つである代表フレームの数よりも多い場合、そのシーンの被写体は複数人であるとする。また、全代表フレームで顔が１つも検出されなかった場合、そのシーンの被写体は１人とする。
【００６８】
図６は、１分間のカット抽出シーンにおける各代表フレームのシーン開始からの経過時間および特徴量（Ｎｕｍ（Ｆ（ｉ）），Ｄｉｓ（Ｆ（ｉ）），Ｓｉｚ（Ｆ（ｉ）））を示したものである。図６のシーンを例に、カット抽出シーンに割り振られたカット数が１の場合と２の場合のそれぞれについて、シーン特徴判定部１９におけるシーンの特徴の判定について説明する。
【００６９】
（１）カット抽出シーンに割り振られたカット数が１の場合
カット抽出シーンの全代表フレームから、このシーンの特徴を判別する。
【００７０】
図６において、全代表フレーム中、顔の数が１の代表フレームは２８フレーム、顔の数が２以上の代表フレームは１５フレームとなっている。よって、顔の数が１の代表フレームの方が顔の数が２以上の代表フレームよりも多いため、このシーンの特徴は「被写体が１人」となる。
【００７１】
（２）カット抽出シーンに割り振られたカット数が２の場合
カット抽出シーンを００：００：００〜００：００：２９と００：００：３０〜００：００：５９の２つの分割シーンに分割し、各分割シーンについて特徴を判別する。
【００７２】
まず、００：００：００〜００：００：２９の分割シーン（第１の分割シーン）において、顔の数が１の代表フレームは１５フレームあるが、顔の数が２以上の代表フレームはない。よって、第１の分割シーンの特徴は「被写体が１人」となる。
【００７３】
一方、００：００：３０〜００：００：５９の分割シーン（第２の分割シーン）においては、顔の数が１の代表フレームは１３フレーム、顔の数が２以上の代表フレームは１５フレームとなっている。よって、顔の数が２以上の代表フレームの方が顔の数が１の代表フレームよりも多いため、第２の分割シーンの特徴は「被写体が複数人」となる。
【００７４】
シーン特徴判定部１９で各カット抽出シーンの特徴が決定されると、重要度算出部２０は、そのシーンの特徴に応じて、各代表フレームの特徴量から各代表フレームの重要度を算出する。
【００７５】
重要度算出部２０は、重要度を算出するにあたり、まず、カット抽出シーンにおけるＮｕｍ（Ｆ（ｉ）），Ｄｉｓ（Ｆ（ｉ）），Ｓｉｚ（Ｆ（ｉ））それぞれの最大値ＭａｘＮｕｍ，ＭａｘＤｉｓ，ＭａｘＳｉｚを求める。シーン分割部１８で分割されたカット抽出シーンについては、分割シーンごとにこれらの値を求める。
【００７６】
上記の値を用いて、重要度算出部２０は、特徴が「被写体が１人」であるシーンに含まれる代表フレームＦ（ｉ）の重要度Ｉ（Ｆ（ｉ））を以下の式（２）により算出する。
【数２】
【００７７】
また、重要度算出部２０は、特徴が「被写体が複数人」であるシーンに含まれる代表フレームＦ（ｉ）の重要度Ｉ（Ｆ（ｉ））は、以下の式（３）により算出する。
【数３】
【００７８】
ここで、図６のシーンを例に、カット抽出シーンに割り振られたカット数が１の場合と２の場合のそれぞれについて、重要度Ｉ（Ｆ（ｉ））の算出について説明する。
【００７９】
（１）カット抽出シーンに割り振られたカット数が１の場合
この場合、シーン全体からＮｕｍ（Ｆ（ｉ）），Ｄｉｓ（Ｆ（ｉ）），Ｓｉｚ（Ｆ（ｉ））の最大値を求めるため、ＭａｘＮｕｍ＝３、ＭａｘＤｉｓ＝１０００、ＭａｘＳｉｚ＝５００となる。
【００８０】
そして、これらの値を「被写体が１人」の場合の重要度算出式である式（２）に代入した以下の式（４）により各代表フレームの重要度Ｉ（Ｆ（ｉ））を算出する。
【数４】
【００８１】
以上のようにして算出された重要度Ｉ（Ｆ（ｉ））を図７の表に示す。
【００８２】
（２）カット抽出シーンに割り振られたカット数が２の場合
この場合、分割シーンごとに特徴量の最大値を求め、各代表フレームＦ（ｉ）の重要度Ｉ（Ｆ（ｉ））を算出する。
【００８３】
まず、第１の分割シーン（００：００：００〜００：００：２９）について、各代表フレームＦ（ｉ）の重要度Ｉ（Ｆ（ｉ））を算出する。
【００８４】
図６より、第１の分割シーンの特徴量の最大値は、ＭａｘＮｕｍ＝１、ＭａｘＤｉｓ＝５００、ＭａｘＳｉｚ＝３００である。
【００８５】
また、前述のように、シーン特徴判定部１９において、第１の分割シーンの特徴は「被写体が１人」と判定されているため、上記最大値を式（２）に代入した以下の式（５）により重要度Ｉ（Ｆ（ｉ））を算出する。
【数５】
【００８６】
次いで、第２の分割シーン（００：００：３０〜００：００：５９）について、各代表フレームＦ（ｉ）の重要度Ｉ（Ｆ（ｉ））を算出する。
【００８７】
図６より、第２の分割シーンの特徴量の最大値は、ＭａｘＮｕｍ＝３、ＭａｘＤｉｓ＝１０００、ＭａｘＳｉｚ＝５００である。
【００８８】
また、前述のように、シーン特徴判定部１９において、第２の分割シーンの特徴は「被写体が複数人」と判定されているため、上記最大値を「被写体が複数人」の場合の重要度算出式である式（３）に代入した以下の式（６）により重要度Ｉ（Ｆ（ｉ））を算出する。
【数６】
【００８９】
以上のようにして算出された重要度Ｉ（Ｆ（ｉ））を図８の表に示す。
【００９０】
上記のような重要度算出法により、被写体が１人のシーンについては、その被写体が大きくクローズアップされている部分の重要度が大きくなり、被写体が複数人のシーンについては、多くの人物が存在する部分の重要度が大きくなる。これにより、被写体が１人のシーンについては、その被写体が大きくクローズアップされている部分をダイジェストに含めることができ、被写体が複数人のシーンについては、できるだけ多くの人物が存在する部分をダイジェストに含めることが可能となる。
【００９１】
このように重要度算出部２０で算出した各代表フレームの重要度と、特徴量検出部１７で検出した各代表フレームの特徴量とを用いて、ダイジェスト区間選択部２１は、各カット抽出シーンについてダイジェスト区間として選択するカットの区間を決定する。この手順について、図９に示すフローチャートを参照して説明する。
【００９２】
まず、ステップＳ２１０において、ダイジェスト区間選択部２１は、カット区間を決定するための基準となるカット中心フレームを決定する。ここで、ダイジェスト区間選択部２１は、カット抽出シーン内の代表フレームから重要度が最も高いものをカット中心フレームとして選択する。
【００９３】
次いで、ステップＳ２２０において、ダイジェスト区間選択部２１は、変数ｊを１に設定する。
【００９４】
次いで、ステップＳ２３０において、ダイジェスト区間選択部２１は、カット中心フレームとして選択した代表フレームＦ（ｉ）の時系列的にｊ枚だけ前の代表フレームＦ（ｉ−ｊ）における特徴量の１つである顔の数Ｎｕｍ（Ｆ（ｉ−ｊ））が０であるか否かを判断する。Ｎｕｍ（Ｆ（ｉ−ｊ））が０である場合（ステップＳ２３０：ＹＥＳ）、ステップＳ２４０に進み、Ｎｕｍ（Ｆ（ｉ−ｊ））が０でない場合（ステップＳ２３０：ＮＯ）、ステップＳ２５０に進む。
【００９５】
ステップＳ２４０では、ダイジェスト区間選択部２１は、代表フレームＦ（ｉ−ｊ＋１）をダイジェスト区間として選択するカットの最初のフレームとなるカット開始フレームとする。その後、ステップＳ２９０に進む。
【００９６】
ステップＳ２５０では、ダイジェスト区間選択部２１は、代表フレームＦ（ｉ−ｊ）がカット抽出シーンの先頭代表フレームであるか否かを判断する。先頭代表フレームである場合（ステップＳ２５０：ＹＥＳ）、ステップＳ２７０に進み、先頭代表フレームでない場合（ステップＳ２５０：ＮＯ）、ステップＳ２６０に進む。
【００９７】
ステップＳ２６０では、ダイジェスト区間選択部２１は、変数ｊが第１の所定数ｊ１であるか否かを判断する。ｊ＝ｊ１である場合（ステップＳ２６０：ＹＥＳ）、ステップＳ２７０に進み、ｊ＝ｊ１でない場合（ステップＳ２６０：ＮＯ）、ステップＳ２８０において、ダイジェスト区間選択部２１は、変数ｊを１つインクリメントし、その後、ステップＳ２３０に戻る。
【００９８】
ステップＳ２７０では、ダイジェスト区間選択部２１は、代表フレームＦ（ｉ−ｊ）をカット開始フレームとする。
【００９９】
ここまでの処理により、ダイジェスト区間選択部２１は、カット中心フレームから最大で第１の所定数ｊ１だけ時系列的に前の代表フレームまでさかのぼって順次各代表フレームの顔の数を判断し、最初に検出された顔の数が０の代表フレームに対して時系列的に１枚後の代表フレームをカット開始フレームとして決定する。カット中心フレームから第１の所定数ｊ１だけ前の代表フレームまでのすべての代表フレームの顔の数が１以上である場合は、カット中心フレームから第１の所定数ｊ１だけ前の代表フレームをカット開始フレームとして決定する。また、顔の数が０である代表フレームが検出される前に先頭代表フレームまでさかのぼった場合は、先頭代表フレームをカット開始フレームとする。
【０１００】
カット開始フレームを決定すると、ダイジェスト区間として選択するカットの最後のフレームとなるカット終了フレームを決定するために、ステップＳ２９０において、ダイジェスト区間選択部２１は、変数ｊを１に設定する。
【０１０１】
次いで、ステップＳ３００において、ダイジェスト区間選択部２１は、カット中心フレームとして選択した代表フレームＦ（ｉ）の時系列的にｊ枚だけ後の代表フレームＦ（ｉ＋ｊ）における顔の数Ｎｕｍ（Ｆ（ｉ＋ｊ））が０であるか否かを判断する。Ｎｕｍ（Ｆ（ｉ＋ｊ））が０である場合（ステップＳ３００：ＹＥＳ）、ステップＳ３４０に進み、Ｎｕｍ（Ｆ（ｉ＋ｊ））が０でない場合（ステップＳ３００：ＮＯ）、ステップＳ３１０に進む。
【０１０２】
ステップＳ３１０では、ダイジェスト区間選択部２１は、代表フレームＦ（ｉ＋ｊ）がカット抽出シーンの最終代表フレームであるか否かを判断する。最終代表フレームである場合（ステップＳ３１０：ＹＥＳ）、ステップＳ３２０に進み、最終代表フレームでない場合（ステップＳ３１０：ＮＯ）、ステップＳ３３０に進む。
【０１０３】
ステップＳ３２０では、ダイジェスト区間選択部２１は、カット抽出シーンの最終フレームカット終了フレームとする。
【０１０４】
ステップＳ３３０では、ダイジェスト区間選択部２１は、変数ｊが第２の所定数ｊ２であるか否かを判断する。ｊ＝ｊ２である場合（ステップＳ３３０：ＹＥＳ）、ステップＳ３４０に進み、ｊ＝ｊ２でない場合（ステップＳ３３０：ＮＯ）、ステップＳ３５０において、ダイジェスト区間選択部２１は、変数ｊを１つインクリメントし、その後、ステップＳ３１０に戻る。
【０１０５】
ステップＳ３４０では、ダイジェスト区間選択部２１は、代表フレームＦ（ｉ＋ｊ）をカット終了フレームとする。
【０１０６】
ステップＳ２９０以降の処理により、ダイジェスト区間選択部２１は、カット中心フレームから最大で第２の所定数ｊ２だけ時系列的に後の代表フレームまで順次各代表フレームの顔の数を判断し、最初に検出された顔の数が０の代表フレームをカット終了フレームとして決定する。カット中心フレームから第２の所定数ｊ２だけ後の代表フレームまでのすべての代表フレームの顔の数が１以上である場合は、カット中心フレームから第２の所定数ｊ２だけ後の代表フレームをカット終了フレームとして決定する。また、最終代表フレームまで顔の数が０である代表フレームが検出されなかった場合は、カット抽出シーンの最終フレームをカット終了フレームとする。
【０１０７】
以上の処理により、例えば図１０に示すように、ダイジェスト作成対象シーンからダイジェスト区間が決定される。ダイジェスト区間は、各カット抽出シーン内で重要度が最も高い代表フレーム（カット中心フレーム）を含む、最大（ｊ１＋ｊ２＋１）枚の代表フレームを含んだ区間となる。なお、シーン分割部１８で分割されたカット抽出シーンについては、分割シーンごとに上述の図９のフローチャートの処理によりダイジェスト区間を決定する。
【０１０８】
ここで、図６のシーンを例に、カット抽出シーンに割り振られたカット数が１の場合と２の場合のそれぞれについて、ダイジェスト区間決定の具体例を示す。ここでは、ｊ１＝５，ｊ２＝１５とする。
【０１０９】
（１）カット抽出シーンに割り振られたカット数が１の場合
図７の表より、代表フレームＦ（４７）の重要度が最も高くなっていることが分かる。そこで、代表フレームＦ（４７）をカット中心フレームとする。
【０１１０】
次いで、カット開始フレームを決定する。図７の表より、カット中心フレームＦ（４７）から、その５（＝ｊ１）秒前の代表フレームＦ（４２）までは常に顔の数が１以上であるため、カット中心フレームの５秒前の代表フレームＦ（４２）をカット開始フレームとする。
【０１１１】
次いで、カット終了フレームを決定する。図７の表より、カット中心フレームＦ（４７）から最後の代表フレームＦ（５９）までの間の全代表フレームにおいて顔の数が１以上であるため、シーンの最終フレームをカット終了フレームとする。
【０１１２】
以上より、図６のシーンから抽出されるダイジェスト区間は、代表フレームＦ（４２）からシーンの終わりまで、つまり００：００：４２〜シーン終了の区間となる。
【０１１３】
（２）カット抽出シーンに割り振られたカット数が２の場合
まず、第１の分割シーン（００：００：００〜００：００：２９）について、ダイジェスト区間を決定する。図８の表より、第１の分割シーンにおいては、代表フレームＦ（８）の重要度が最も高くなっている。そこで、代表フレームＦ（８）をカット中心フレームとする。
【０１１４】
次いで、カット開始フレームを決定する。図８の表より、カット中心フレームＦ（８）から、その５秒前の代表フレームＦ（３）までは常に顔の数が１以上であるため、カット中心フレームＦ（８）の５秒前の代表フレームＦ（３）をカット開始フレームとする。
【０１１５】
次いで、カット終了フレームを決定する。図８の表より、カット中心フレームＦ（８）から、その８秒後の代表フレームＦ（１６）までは顔の数が１以上であるが、９秒後の代表フレームＦ（１７）では顔の数が０となっているため、代表フレームＦ（１７）をカット終了フレームとする。
【０１１６】
よって、第１の分割シーンから抽出されるダイジェスト区間は、代表フレームＦ（３）〜Ｆ（１７）間、つまり００：００：０３〜００：００：１７の区間となる。
【０１１７】
同様に、第２の分割シーンについて、ダイジェスト区間を決定する。図８の表より、第２の分割シーンにおいては、代表フレームＦ（４３）の重要度が最も高くなっている。そこで、代表フレームＦ（４３）をカット中心フレームとする。
【０１１８】
次いで、カット開始フレームを決定する。図８の表より、カット中心フレームＦ（４３）から、その５秒前の代表フレームＦ（３８）までは常に顔の数が１以上であるため、カット中心フレームＦ（４３）の５秒前の代表フレームＦ（３８）をカット開始フレームとする。
【０１１９】
次いで、カット終了フレームを決定する。図８の表より、カット中心フレームＦ（４３）から、その１５（＝ｊ２）秒後の代表フレームＦ（５８）までは常に顔の数が１以上であるため、カット中心フレームＦ（４３）の１５秒後の代表フレームＦ（５８）をカット終了フレームとする。
【０１２０】
よって、第２の分割シーンから抽出されるダイジェスト区間は、代表フレームＦ（３８）〜Ｆ（５８）間、つまり００：００：３８〜００：００：５８の区間となる。
【０１２１】
以上より、図６のシーンからは、００：００：０３〜００：００：１７の区間と、００：００：３８〜００：００：５８の区間との２区間がダイジェスト区間として抽出される。
【０１２２】
ダイジェスト区間選択部２１は、上記のようにして選択したカットの情報を時系列順にダイジェストデータとしてダイジェストデータ記憶部２２に保存する。
【０１２３】
そして、再生部２３は、ダイジェストデータ記憶部２２に記憶されたダイジェストデータに基づき、映像データ記憶部１１に記憶された映像データからダイジェスト区間を時系列順に再生し、表示装置（図示せず）にダイジェストの映像を表示させる。
【０１２４】
上記説明のように本実施の形態によれば、ダイジェスト区間として抽出する総カット数Ａｃをダイジェスト作成対象シーンにおける各シーンに割り振り、各カット抽出シーンにおける代表フレームの特徴量および重要度に基づいて各カット抽出シーンから選択するダイジェスト区間を決定するので、ダイジェスト作成対象シーン全体から偏りなく重要な部分をダイジェスト区間として選択し、ユーザがダイジェスト作成対象シーン全体の映像の内容を把握し易いダイジェストを作成することができる。
【０１２５】
また、カット抽出シーンの特徴を判別し、特徴ごとに定められた重要度算出法を用いて代表フレームの重要度を算出することにより、各カット抽出シーンの特徴に応じて、ダイジェスト区間としてふさわしい部分を抽出することができる。
【０１２６】
なお、特徴量として、各代表フレーム内に存在する被写体の顔の数、各代表フレーム内における最大の顔の位置、および最大の顔の大きさのうちの少なくとも１つを検出する構成でもよい。また、重要度の算出法も上記の方法に限定されることなく、各代表フレーム内に存在する被写体の顔の数、各代表フレーム内における最大の顔の位置、および最大の顔の大きさのうちの少なくとも１つの特徴量により重要度を算出する構成としてもよい。
【０１２７】
また、１つのカット抽出シーンからダイジェスト区間を２つ以上抽出する場合は、そのカット抽出シーンを分割し、分割シーンごとに特徴を判別し、各分割シーンの特徴に応じてダイジェスト区間を決定することで、満遍なく各シーンの特徴を反映したダイジェストを作成することができる。
【０１２８】
なお、グループ分け部１４とグループ内ダイジェスト区間数決定部１５とを省略し、ダイジェスト作成対象シーンのグループ分けを行わずに、シーン内ダイジェスト区間数決定部１６において、総カット数Ａｃをダイジェスト作成対象シーンにおける各シーンに割り振るようにしてもよい。
【０１２９】
また、特徴量検出部１７で検出する代表フレームの特徴量として、色情報や輝度、動きベクトル、音声情報等を用いてもよい。
【０１３０】
また、シーン特徴判定部１９で判別するシーンの特徴として、シーンの撮影時刻が午前か午後か、シーンの撮影時間が所定時間より長いか否か、背景が屋内か屋外か、人の声が記録されているか否か、拍手が行われているか否か、音声のレベルが一定の閾値以上か否か等を用い、重要度算出部２０でそれらの特徴に応じた重要度算出法を用いるようにしてもよい。
【０１３１】
本実施の形態に係る映像処理装置１０は、その装置構成の一部または全部をパーソナルコンピュータ等から構成することが可能である。この場合、上記で説明した装置各部は、コンピュータのハードウェアもしくはソフトウェアによりその機能を実現可能である。例えば、コンピュータに上記実施の形態で説明した動作の一部または全部を実行させるためのプログラムを、コンピュータのハードディスク、ＣＤ−ＲＯＭ等の記憶媒体、もしくはダウンロードによりコンピュータのメモリ等に記憶させて使用してもよい。
【符号の説明】
【０１３２】
１０ 映像処理装置
１１ 映像データ記憶部
１２ ダイジェスト作成対象シーン指定部
１３ 総カット数決定部
１４ グループ分け部
１５ グループ内ダイジェスト区間数決定部
１６ シーン内ダイジェスト区間数決定部
１７ 特徴量検出部
１８ シーン分割部
１９ シーン特徴判定部
２０ 重要度算出部
２１ ダイジェスト区間選択部
２２ ダイジェストデータ記憶部
２３ 再生部
【特許請求の範囲】
【請求項１】
映像データにおける各シーンから抽出するダイジェスト区間の数を決定するシーン内ダイジェスト区間数決定部と、
前記シーン内ダイジェスト区間数決定部により前記ダイジェスト区間の数が１以上とされたシーンであるカット抽出シーンに含まれるフレームの中から複数の代表フレームを選択し、前記各代表フレーム内に存在する被写体の顔の数、前記各代表フレーム内における最大の顔の位置、および最大の顔の大きさのうちの少なくとも１つを前記各代表フレームの特徴量として検出する特徴量検出部と、
前記特徴量に基づいて、前記各代表フレームの重要度を算出する重要度算出部と、
前記特徴量および前記重要度に基づいて、前記カット抽出シーンから、前記シーン内ダイジェスト区間数決定部で決定された数のカットを前記ダイジェスト区間として選択するダイジェスト区間選択部と、
前記ダイジェスト区間選択部で選択された前記ダイジェスト区間を再生する再生部と
を備えることを特徴とする映像処理装置。
【請求項２】
前記特徴量に基づいて、前記カット抽出シーンにおける被写体が１人であるか複数人であるかを判定するシーン特徴判定部をさらに備え、
前記重要度算出部は、被写体が１人であるカット抽出シーンと、被写体が複数人であるカット抽出シーンとで、異なる重要度算出式を用いて前記重要度を算出することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
映像データにおける各シーンから抽出するダイジェスト区間の数を決定するステップと、
前記ダイジェスト区間の数が１以上とされたシーンであるカット抽出シーンに含まれるフレームの中から複数の代表フレームを選択し、前記各代表フレーム内に存在する被写体の顔の数、前記各代表フレーム内における最大の顔の位置、および最大の顔の大きさのうちの少なくとも１つを前記各代表フレームの特徴量として検出するステップと、
前記特徴量に基づいて、前記各代表フレームの重要度を算出するステップと、
前記特徴量および前記重要度に基づいて、前記カット抽出シーンから、前記ダイジェスト区間の数を決定するステップで決定された数のカットを前記ダイジェスト区間として選択するステップと、
前記ダイジェスト区間選択部で選択された前記ダイジェスト区間を再生するステップと
を含むことを特徴とする映像処理方法。
【請求項４】
前記特徴量に基づいて、前記カット抽出シーンにおける被写体が１人であるか複数人であるかを判定するステップをさらに含み、
前記重要度を算出するステップは、被写体が１人であるカット抽出シーンと、被写体が複数人であるカット抽出シーンとで、異なる重要度算出式を用いて前記重要度を算出するステップであることを特徴とする請求項３に記載の映像処理方法。
【請求項５】
映像データにおける各シーンから抽出するダイジェスト区間の数を決定するステップと、
前記ダイジェスト区間の数が１以上とされたシーンであるカット抽出シーンに含まれるフレームの中から複数の代表フレームを選択し、前記各代表フレーム内に存在する被写体の顔の数、前記各代表フレーム内における最大の顔の位置、および最大の顔の大きさのうちの少なくとも１つを前記各代表フレームの特徴量として検出するステップと、
前記特徴量に基づいて、前記各代表フレームの重要度を算出するステップと、
前記特徴量および前記重要度に基づいて、前記カット抽出シーンから、前記ダイジェスト区間の数を決定するステップで決定された数のカットを前記ダイジェスト区間として選択するステップと、
前記ダイジェスト区間選択部で選択された前記ダイジェスト区間を再生するステップと
をコンピュータに実行させるための映像処理プログラム。
【請求項６】
前記特徴量に基づいて、前記カット抽出シーンにおける被写体が１人であるか複数人であるかを判定するステップをさらにコンピュータに実行させ、
前記重要度を算出するステップは、被写体が１人であるカット抽出シーンと、被写体が複数人であるカット抽出シーンとで、異なる重要度算出式を用いて前記重要度を算出するステップであることを特徴とする請求項５に記載の映像処理プログラム。
【請求項１】
映像データにおける各シーンから抽出するダイジェスト区間の数を決定するシーン内ダイジェスト区間数決定部と、
前記シーン内ダイジェスト区間数決定部により前記ダイジェスト区間の数が１以上とされたシーンであるカット抽出シーンに含まれるフレームの中から複数の代表フレームを選択し、前記各代表フレーム内に存在する被写体の顔の数、前記各代表フレーム内における最大の顔の位置、および最大の顔の大きさのうちの少なくとも１つを前記各代表フレームの特徴量として検出する特徴量検出部と、
前記特徴量に基づいて、前記各代表フレームの重要度を算出する重要度算出部と、
前記特徴量および前記重要度に基づいて、前記カット抽出シーンから、前記シーン内ダイジェスト区間数決定部で決定された数のカットを前記ダイジェスト区間として選択するダイジェスト区間選択部と、
前記ダイジェスト区間選択部で選択された前記ダイジェスト区間を再生する再生部と
を備えることを特徴とする映像処理装置。
【請求項２】
前記特徴量に基づいて、前記カット抽出シーンにおける被写体が１人であるか複数人であるかを判定するシーン特徴判定部をさらに備え、
前記重要度算出部は、被写体が１人であるカット抽出シーンと、被写体が複数人であるカット抽出シーンとで、異なる重要度算出式を用いて前記重要度を算出することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
映像データにおける各シーンから抽出するダイジェスト区間の数を決定するステップと、
前記ダイジェスト区間の数が１以上とされたシーンであるカット抽出シーンに含まれるフレームの中から複数の代表フレームを選択し、前記各代表フレーム内に存在する被写体の顔の数、前記各代表フレーム内における最大の顔の位置、および最大の顔の大きさのうちの少なくとも１つを前記各代表フレームの特徴量として検出するステップと、
前記特徴量に基づいて、前記各代表フレームの重要度を算出するステップと、
前記特徴量および前記重要度に基づいて、前記カット抽出シーンから、前記ダイジェスト区間の数を決定するステップで決定された数のカットを前記ダイジェスト区間として選択するステップと、
前記ダイジェスト区間選択部で選択された前記ダイジェスト区間を再生するステップと
を含むことを特徴とする映像処理方法。
【請求項４】
前記特徴量に基づいて、前記カット抽出シーンにおける被写体が１人であるか複数人であるかを判定するステップをさらに含み、
前記重要度を算出するステップは、被写体が１人であるカット抽出シーンと、被写体が複数人であるカット抽出シーンとで、異なる重要度算出式を用いて前記重要度を算出するステップであることを特徴とする請求項３に記載の映像処理方法。
【請求項５】
映像データにおける各シーンから抽出するダイジェスト区間の数を決定するステップと、
前記ダイジェスト区間の数が１以上とされたシーンであるカット抽出シーンに含まれるフレームの中から複数の代表フレームを選択し、前記各代表フレーム内に存在する被写体の顔の数、前記各代表フレーム内における最大の顔の位置、および最大の顔の大きさのうちの少なくとも１つを前記各代表フレームの特徴量として検出するステップと、
前記特徴量に基づいて、前記各代表フレームの重要度を算出するステップと、
前記特徴量および前記重要度に基づいて、前記カット抽出シーンから、前記ダイジェスト区間の数を決定するステップで決定された数のカットを前記ダイジェスト区間として選択するステップと、
前記ダイジェスト区間選択部で選択された前記ダイジェスト区間を再生するステップと
をコンピュータに実行させるための映像処理プログラム。
【請求項６】
前記特徴量に基づいて、前記カット抽出シーンにおける被写体が１人であるか複数人であるかを判定するステップをさらにコンピュータに実行させ、
前記重要度を算出するステップは、被写体が１人であるカット抽出シーンと、被写体が複数人であるカット抽出シーンとで、異なる重要度算出式を用いて前記重要度を算出するステップであることを特徴とする請求項５に記載の映像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−１２４９７９（Ｐ２０１１−１２４９７９Ａ）
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願番号】特願２０１０−２２１１０４（Ｐ２０１０−２２１１０４）
【出願日】平成２２年９月３０日（２０１０．９．３０）
【出願人】（３０８０３６４０２）ＪＶＣ・ケンウッド・ホールディングス株式会社 (1,152)
【Ｆターム（参考）】
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願日】平成２２年９月３０日（２０１０．９．３０）
【出願人】（３０８０３６４０２）ＪＶＣ・ケンウッド・ホールディングス株式会社 (1,152)
【Ｆターム（参考）】
[ Back to top ]