動画像処理装置、動画像処理方法およびプログラム
【課題】動画像の構成を容易に把握できる構成画像を生成可能な、動画像処理装置、動画像処理方法およびプログラムを提供する。
【解決手段】複数のカットを含む動画像ＭＰからカット間の遷移を検出し、複数のカットを相異なる特徴量Ｓを有する複数のカットグループに区分し、相異なるカットグループに属する２以上の連続するカットからなるカットペアであり、動画像中で繰返される複数のカットペアを特定し、複数のカットペアから２以上の数Ｎのカットペアを選択し、選択されたカットペア中の全てのカットの代表画像Ｉを一定率で縮小して並べたカット構成画像ＣＩを、予め定められた範囲の表示領域Ａｄに表示する場合の表示占有率Ｒｏを算出し、表示領域に対する表示占有率を最大化するように、選択するカットペアの数Ｎｏｐｔを調整し、調整されたカットペアの数を満たすカット構成画像を生成する。
【解決手段】複数のカットを含む動画像ＭＰからカット間の遷移を検出し、複数のカットを相異なる特徴量Ｓを有する複数のカットグループに区分し、相異なるカットグループに属する２以上の連続するカットからなるカットペアであり、動画像中で繰返される複数のカットペアを特定し、複数のカットペアから２以上の数Ｎのカットペアを選択し、選択されたカットペア中の全てのカットの代表画像Ｉを一定率で縮小して並べたカット構成画像ＣＩを、予め定められた範囲の表示領域Ａｄに表示する場合の表示占有率Ｒｏを算出し、表示領域に対する表示占有率を最大化するように、選択するカットペアの数Ｎｏｐｔを調整し、調整されたカットペアの数を満たすカット構成画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像処理装置、動画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
映像（または動画像）は、一般に多数のカットから構成されている。映像表現では、制作者の意図に応じて、一連の相異なるカットを繰返す（カットの切返しとも称する。）等、カット構成に工夫を凝らす場合がある。ところで、映像を鑑賞する者または映像を他の映像等の素材として利用する者には、映像の対象がどのように捉えられているか、換言すれば映像の時間的コンテクストに関して映像がどのように表現されているか、という情報が重要となる場合がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
このため、動画像から一連の相異なるカットとして繰返されるカットペアを特定し、カットペア間の境界を明示しつつ各カットの代表画像をカット遷移の順序に従って並べたカット構成画像を生成することが提案される。
【０００４】
しかし、カットの切返し頻度が高くなりカットペアの数が多くなると、カット構成画像が表示される表示領域に対してカット構成画像が大きくなってしまう場合がある。そして、カット構成の一覧性を確保するためにカット構成画像を一度に表示しようとすると、代表画像を高い率で縮小して表示することになり、カット構成画像の視認性が低下してしまう場合がある。また、カット構成画像の視認性を確保するためにカット構成画像を部分的に表示しようとすると、カット構成画像を分割して表示することになり、カット構成の一覧性が低下してしまう場合がある。よって、いずれの場合も、ユーザは、カット構成画像を通じて動画像のカット構成を容易に把握することができなくなる。
【０００５】
そこで、本発明は、動画像のカット構成を容易に把握できるカット構成画像を生成可能な、動画像処理装置、動画像処理方法およびプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００６】
本発明のある観点によれば、複数のカットを含む動画像からカット間の遷移を検出するカット遷移検出部と、複数のカットを相異なる特徴量を有する複数のカットグループに区分し、相異なるカットグループに属する２以上の連続するカットからなるカットペアであり、動画像中で繰返される複数のカットペアを特定するカットペア特定部と、複数のカットペアから２以上の数のカットペアを選択し、選択されたカットペア中の全てのカットの代表画像を一定率で縮小して並べたカット構成画像を、予め定められた範囲の表示領域に表示する場合の表示占有率を算出し、表示領域に対する表示占有率を最大化するように、選択するカットペアの数を調整する表示最適化部と、調整されたカットペアの数を満たすカット構成画像を生成するカット構成画像生成部とを備える動画像処理装置が提供される。
【０００７】
上記表示最適化部は、カットペア数Ｎに対応する第１の表示占有率と、カットペア数Ｎ＋１に対応する第２の表示占有率を算出し、第２の表示占有率が第１の表示占有率よりも小さい場合に、カットペア数Ｎによりカット構成配列を最適化してもよい。
【０００８】
上記カット構成画像生成部は、動画像中でのカットペアの出現順序および各カットペア中でのカットの出現順序に基づき、各カットの代表画像を行列状に並べたカット構成画像を生成してもよい。
【０００９】
上記カット構成画像生成部は、選択されたカットペア中の全てのカットの代表画像を所定の縮小率よりも低い一定率で縮小して並べたカット構成画像を生成してもよい。
【００１０】
また、本発明の別の観点によれば、複数のカットを含む動画像からカット間の遷移を検出し、複数のカットを相異なる特徴量を有する複数のカットグループに区分し、相異なるカットグループに属する２以上の連続するカットからなるカットペアであり、動画像中で繰返される複数のカットペアを特定し、複数のカットペアから２以上の数のカットペアを選択し、選択されたカットペア中の全てのカットの代表画像を一定率で縮小して並べたカット構成画像を、予め定められた範囲の表示領域に表示する場合の表示占有率を算出し、表示領域に対する表示占有率を最大化するように、選択するカットペアの数を調整し、調整されたカットペアの数を満たすカット構成画像を生成することを含む動画像処理方法が提供される。
【００１１】
また、本発明の別の観点によれば、上記動画像処理方法をコンピュータに実行させるためのプログラムが提供される。ここで、プログラムは、コンピュータ読取り可能な記録媒体を用いて提供されてもよく、通信手段等を介して提供されてもよい。
【発明の効果】
【００１２】
以上説明したように本発明によれば、動画像のカット構成を容易に把握できるカット構成画像を生成可能な、動画像処理装置、動画像処理方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る動画像処理方法の手順を示すフロー図である。
【図２】動画像処理装置の構成を示すブロック図である。
【図３】動画像処理装置の全体的な動作手順を示すフロー図である。
【図４】カット構成の一例を示す図である。
【図５】カットペアの特定手順を示すフロー図である。
【図６】カットペアの特定結果の一例を示す図である。
【図７】カット構成配列の一例を示す図である。
【図８】カット構成の表示最適化手順を示すフロー図である。
【図９Ａ】カット構成の表示最適化手順を示す図（１／３）である。
【図９Ｂ】カット構成の表示最適化手順を示す図（２／３）である。
【図９Ｃ】カット構成の表示最適化手順を示す図（３／３）である。
【図１０】カットペアの生成手順を示すフロー図である。
【図１１】カットペアの２つの生成手順を示す図である。
【図１２】カットペアの生成条件の一例を示す図である。
【図１３】第１の生成手順でカットペアのフレーム数に基づきカットペアを生成する手順の一例を示す図である。
【図１４】第１の生成手順でカットのフレーム数に基づきカットペアを生成する手順の一例を示す図である。
【図１５】第１の生成手順でカット間の音量変動に基づきカットペアを生成する手順の一例を示す図である。
【図１６】第２の生成手順でカットペアのフレーム数に基づきカットペアを生成する手順の一例を示す図である。
【図１７】第２の生成手順でカットのフレーム数に基づきカットペアを生成する手順の一例を示す図である。
【図１８】第２の生成手順でカット間の音量変動に基づきカットペアを生成する手順の一例を示す図である。
【図１９】第２の生成手順でカット間の画像輝度ヒストグラムに基づきカットペアを生成する手順の一例を示す図である。
【図２０】カット間での特徴量の類似度の算出結果の一例を示す図である。
【図２１】類似度行列の内積に基づくカットペアの生成手順の一例を示す図（１／２）である。
【図２２】類似度行列の内積に基づくカットペアの生成手順の一例を示す図（２／２）である。
【図２３】類似度行列のスカラー値に基づくカットペアの生成手順の一例を示す図である。
【図２４】カット構成画像の一例を示す図である。
【図２５】隠蔽率に基づくカット構成画像の修正を示す図である。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】
［１．動画像処理方法の概要］
まず、図１を参照して、本発明の実施形態に係る動画像処理方法の概要について説明する。図１には、本発明の実施形態に係る動画像処理方法の手順が示されている。
【００１６】
図１に示すように、本発明の実施形態に係る動画像処理方法では、まず、複数のカットを含む動画像ＭＰからカット間の遷移が検出される（ステップＳ１）。つぎに、複数のカットが相異なる特徴量Ｓ（カットグループの特徴量の総称）を有する複数のカットグループに区分され、相異なるカットグループに属する２以上の連続するカットからなるカットペアであり、動画像ＭＰ中で繰返される複数のカットペアが特定される（ステップＳ３）。
【００１７】
つぎに、複数のカットペアから２以上の数Ｎのカットペアが選択される（ステップＳ５）。つぎに、選択されたカットペア中の全てのカットの代表画像Ｉ（代表画像の総称）を一定率で縮小して並べたカット構成画像ＣＩを、予め定められた範囲の表示領域Ａｄに表示する場合の表示占有率Ｒｏが算出される（ステップＳ６）。そして、表示領域Ａｄに対する表示占有率Ｒｏを最大化するように、選択するカットペアの数Ｎが調整される（ステップＳ７）。さらに、調整されたカットペアの数Ｎを満たすカット構成画像ＣＩが生成される（ステップＳ９）。
【００１８】
これにより、表示領域Ａｄに対する表示占有率Ｒｏを最大化するようにカットペアの数Ｎを調整し、調整されたカットペアの数Ｎを満たすカット構成画像ＣＩを生成することで、カット構成の一覧性およびカット構成画像ＣＩの視認性を確保可能なカット構成画像ＣＩを生成することができる。そして、ユーザは、このように生成されたカット構成画像ＣＩを通じて動画像ＭＰのカット構成を容易に把握することができる。
【００１９】
［２．動画像処理装置１］
つぎに、図２を参照して、本発明の実施形態に係る動画像処理装置１について説明する。図２には、動画像処理装置１の主要な機能構成が示されている。図２に示すように、動画像処理装置１は、データ取得部１１、カット遷移検出部１３、カットペア特定部１５、表示最適化部１７、カットペア生成部１９、メタ情報生成部２１、カット構成画像生成部２３、カット構成画像出力部２５、カット構成情報出力部２７、データ記憶部２９を含んで構成される。
【００２０】
データ取得部１１は、複数のカットを含む動画像データＭＰを取得し、カット遷移検出部１３、カットペア特定部１５、カットペア生成部１９、メタ情報生成部２１、およびカット構成画像生成部２３に供給する。動画像データＭＰは、一般にフレーム形式のデータであり、画像データのみでもよく、音声データとの組合せでもよい。動画像データＭＰは、データ記憶部２９から取得されてもよく、外部装置（不図示）から取得されてもよい。
【００２１】
カット遷移検出部１３は、動画像データＭＰに基づき動画像ＭＰ中のカット遷移を検出し、検出結果をカットペア特定部１５、カット構成情報出力部２７に供給する。カット遷移とは、動画像ＭＰ中におけるカットの移り変わりを意味する。カット遷移は、相前後するフレーム中の画像および／または音声の特徴量を求め、特徴量の類似度に基づき検出される。画像および／または音声の特徴量としては、色ヒストグラムや顔画像検出、画像間の相関、および／または音声の量や音調・リズム等を用いることができる。なお、カット遷移の検出時に求められた特徴量は、データ記憶部２９等に格納され、他の処理に利用されてもよい。
【００２２】
カットペア特定部１５は、詳細は後述するが、各カットの特徴量Ｓ´に基づき、複数のカットをカットグループに区分し、カットペアを特定する。カットペアの特定結果は、カット遷移の検出結果とともに、表示最適化部１７、カットペア生成部１９、カット構成情報出力部２７に供給される。カットの特徴量Ｓ´としては、カットに含まれる画像の色ヒストグラムや顔画像検出、画像間の相関、および／または音声の量や音調・リズム等あるいはこれらの組合せを用いることができる。なお、カットペアの特定時に求められた特徴量Ｓ´は、データ記憶部２９等に格納され、他の処理に利用されてもよい。
【００２３】
カットグループとは、特徴量Ｓ´が互いに類似するカットの組合せを意味する。カットペアとは、カット構成中で繰返される一連の相異なるカットの組合せを意味し、時間的に連続する２以上のカットからなる。カットペア特定部１５は、カットペアの特定結果に基づき、カットグループやカットペアを表す属性情報（後述するグループＩＤ、ペアＩＤ等）を各カットに付与する。属性情報は、表示最適化部１７およびカットペア生成部１９の他に、カット構成情報出力部２７、データ記憶部２９や外部装置等に供給されてもよい。
【００２４】
表示最適化部１７は、詳細は後述するが、カット構成画像ＣＩの表示条件（表示範囲、表示サイズ等）に応じて、カット構成画像ＣＩの表示を最適化する。具体的には、カット構成の一覧性とともにカット構成画像ＣＩの視認性を確保するために、カット構成画像ＣＩとして表示されるカットペアの数Ｎが最適表示数Ｎｏｐｔに最適化される。最適化の結果は、カットペア生成部１９に供給される。
【００２５】
カットペア生成部１９は、詳細は後述するが、カットペアの特定結果および表示の最適化結果に応じて、カット構成画像ＣＩとして表示されるカットペアを生成する。具体的には、カットペアの生成条件に従って、カットの特徴量Ｓ´に基づき、最適カットペア数Ｎｏｐｔを満たすようにカットペアが生成される。カットペア生成の結果は、カット構成画像生成部２３に供給されるが、カット構成情報出力部２７、データ記憶部２９や外部装置等に供給されてもよい。
【００２６】
メタ情報生成部２１は、各カットに含まれる音声や画像の特徴を示すメタ情報ＭＩ（メタ情報の総称）を生成する。メタ情報生成部２１では、動画像データＭＰおよびカット遷移の検出結果に基づき、動画像データＭＰから音声や画像の特徴が抽出される。そして、各カットの音声や画像の特徴を示すメタ情報ＭＩが生成され、カット構成画像生成部２３に供給される。
【００２７】
カット構成画像生成部２３は、動画像データＭＰおよびカットペア生成の結果に基づき、カット構成画像ＣＩを生成する。カット構成画像ＣＩとは、カットペア間の境界を明示するとともに、生成されたカットペアに含まれるカットの代表画像Ｉをカット遷移の順序に従って並べた画像である。カット構成画像ＣＩの生成では、生成されたカットペアのカットに含まれる画像から所定の基準に従って代表画像Ｉが抽出される。カット構成画像ＣＩには、メタ情報生成部２１から供給されるメタ情報ＭＩが含まれてもよい。代表画像Ｉとは、各カットを代表する画像であり、例えば、カットの中央フレームに相当する画像として抽出される。カット構成画像ＣＩは、カット構成画像出力部２５に供給される。
【００２８】
カット構成画像出力部２５は、ユーザが動画像ＭＰのカット構成を把握できるように、カット構成画像生成部２３から供給されたカット構成画像ＣＩを出力する。カット構成画像ＣＩは、動画像処理装置１に接続された表示装置、印刷装置、記憶装置や外部装置（いずれも不図示）に出力されてもよい。
【００２９】
カット構成情報出力部２７は、ユーザがカット構成の把握に利用できるように、カット遷移の検出結果、カットの区分結果やカットペアの特定結果をカット構成情報として出力する。カット構成情報は、動画像処理装置１に接続された表示装置、印刷装置、記憶装置や外部装置（いずれも不図示）に出力されてもよい。
【００３０】
カット構成情報は、例えば、カット構成を考慮した動画像検索を実現するためのデータとして利用することができる。例えば、あるカットを基準カットとして、基準カットとカットペアをなすカットを検索したり、あるカットペアを基準カットペアとして、基準カットペアと同じ構成のカットペアを検索したりすることができる。また、カットペアを多く含む動画像ＭＰやカット切返しを多く含む動画像ＭＰを検索することもできる。
【００３１】
データ記憶部２９は、動画像データＭＰおよび動画像データＭＰに付属するデータを記憶している。データ記憶部２９には、カット構成情報が動画像データＭＰに関連付けて記憶されている。なお、データ記憶部２９には、カット構成画像ＣＩが記憶されてもよい。また、図２では、データ記憶部２９と他の構成要素との接続関係の表示が一部省略されている。
【００３２】
ここで、上記機能構成において、データ取得部１１、カット遷移検出部１３、カットペア特定部１５、表示最適化部１７、カットペア生成部１９、メタ情報生成部２１、カット構成画像生成部２３、カット構成画像出力部２５、カット構成情報出力部２７は、ＣＰＵ、ＤＳＰ（デジタル信号処理装置）等の演算処理装置により構成される。データ記憶部２９は、フラッシュメモリ等の内部記憶装置、ハードディスクドライブ、ブルーレイディスクドライブ等の外部記憶装置により構成される。そして、ＣＰＵは、ＲＯＭ等から読み出されたプログラムをＲＡＭ上に展開して実行することで、動画像処理方法を実現する。なお、上記機能構成は、少なくとも一部が専用ロジック等のハードウェアとして構成されてもよい。
【００３３】
［３．カット構成配列Ｍ０の生成手順］
つぎに、図３から図７を参照して、カット構成配列Ｍ０の生成手順について説明する。図３には、動画像処理装置１の全体的な動作手順が示されている。
【００３４】
図３に示すように、まず、データ取得部１１では、動画像データＭＰが取得され（ステップＳ１１）、カット遷移検出部１３等に供給される。カット遷移検出部１３では、動画像データＭＰに基づき動画像ＭＰ中のカット遷移が検出され（ステップＳ１３）、検出結果がカットペア特定部１５に供給される。カット遷移は、相前後するフレーム中の画像および／または音声の特徴量の類似度に基づき検出される。各カットには、カット遷移の順序を示す連番がカットＩＤとして付与される。
【００３５】
図４には、カット遷移の検出結果から求められたカット構成の一例が示されている。ここでは、理解を容易にするために、カット１〜１５の代表画像Ｉ１〜Ｉ１５を用いてカット構成が示されている。図４に示すように、カット１、３、６、８、１１、１３が互いに類似し、カット２、４、７、９、１２、１４が互いに類似し、カット５、１０、１５が互いに類似している。
【００３６】
つぎに、カットペア特定部１５では、各カットをカットグループに区分し、カットペアを特定するカットペア特定処理が行われる。図５には、カットペア特定処理の手順が示されている。図５に示すように、カットペア特定処理では、まず、初期化処理が行われる（ステップＳ３１）。初期化処理では、グループ数ｍおよびペアＩＤが初期化される（ｍ＝２、ペアＩＤ＝１）。また、カット１、２にグループＩＤ＝１、グループＩＤ＝２が各々に付与され、カット１、２にペアＩＤ＝１が付与される。
【００３７】
ここで、グループ数ｍは、動画像データＭＰから特定されているカットグループ（初期化処理時では、カットグループ１、２が特定されていることになる。）の数を示している。グループＩＤおよびペアＩＤは、各カットが属するカットグループおよびカットペアを示すために、各カットに付与される。
【００３８】
つぎに、カット１の特徴量Ｓ´が算出され、カットグループ１の特徴量Ｓ１としてデータ記憶部２９等に格納される（ステップＳ３３）。同様に、カット２の特徴量Ｓ´が算出され、カットグループ２の特徴量Ｓ２としてデータ記憶部２９等に格納される（ステップＳ３５）。カットグループの特徴量Ｓ（カットグループの特徴量の総称）は、色ヒストグラムや顔画像検出、画像間の相関、および／または音声の量や音調・リズム等、あるいはこれらの組合せとして算出される。
【００３９】
つぎに、処理対象となる後続カットの存在が確認される（ステップＳ３７）。後続カットが存在すれば（ステップＳ３７で「Ｙｅｓ」）、後続カットの特徴量Ｓ´が算出され（ステップＳ３９）、後続カットの特徴量Ｓ´とカットグループ１〜ｍの特徴量Ｓ１〜Ｓｍの間で類似が判定される（ステップＳ４１）。ここで、判定に際しては、直前カットよりも大きなグループＩＤを伴うカットグループとの間で、特徴量Ｓの類似度が優先的に判定されてもよい。これは、同一カットペアに属する場合、直前カットよりも後続カットが属するカットグループのグループＩＤが大きくなるためである。
【００４０】
そして、後続カットの特徴量Ｓ´とカットグループ１〜ｍのいずれかの間で特徴量Ｓ１〜Ｓｍの間で類似度が所定の閾値以上であると判定された場合（ステップＳ４１で「Ｙｅｓ」）、後続カットには、最も類似度の高いカットグループｘ（１≦ｘ≦ｍ）のグループＩＤが付与される（ステップＳ４３）。
【００４１】
また、後続カットのグループＩＤが直前カットのグループＩＤと比較され（ステップＳ４５）、前者の方が小さい場合にペアＩＤが１インクリメントされる（ステップＳ４７）。この場合、直前カットと後続カットが相異なるカットペアに属し、両カットの間にカットペア間の境界（カットの切返し点）が存在することになる。後続カットには、従前のペアＩＤまたはインクリメントされたペアＩＤが付与される（ステップＳ４９）。後続カットの特徴量Ｓ´は、カットグループｘの特徴量Ｓｘの一部として格納されて利用されてもよく、棄却されてもよい（ステップＳ５１）。
【００４２】
一方、後続カットの特徴量Ｓ´とカットグループ１〜ｍの特徴量Ｓ１〜Ｓｍの全ての間で類似度が所定の閾値未満であると判定された場合（ステップＳ４１で「Ｎｏ」）、新たなカットグループを生成するためにグループ数ｍが１インクリメントされる（ステップＳ５３）。後続カットには、新たなカットグループとして、グループ数ｍに相当するグループＩＤが付与される（ステップＳ５５）。また、後続カットには、従前のペアＩＤが付与される（ステップＳ５７）。後続カットの特徴量Ｓ´は、新たなカットグループｍの特徴量Ｓｍとして格納されて利用される（ステップＳ５９）。
【００４３】
ステップＳ３７〜Ｓ５９の処理は、後続カットが存在しなくなるまで（ステップＳ３７で「Ｎｏ」）繰返される。そして、後続カットが存在しなければ、カットペア特定処理が終了し、図３に示すように、引き続きステップＳ１７の処理が行われる。
【００４４】
図６には、図４に示したカット構成に対するカットペアの特定結果が示されている。図６に示すように、各カットの特徴量Ｓ´の類似度に基づき、カット１、３、６、８、１１、１３にグループＩＤ＝１が付与され、カット２、４、７、９、１２、１４にグループＩＤ＝２が付与され、カット５、１０、１５にグループＩＤ＝３が付与されている。また、カット遷移の順序に基づき、カット１〜１５にペアＩＤ＝１〜６が付与され、カット１、２、カット３〜５、カット６、７、カット８〜１０、カット１１、１２、カット１３〜１５が一連の相異なるカットとして繰返されるカットペア１〜６として各々に特定されている。
【００４５】
カットペアの特定が終了すると、表示最適化部１７では、カットペアの特定結果に基づき、カット構成配列Ｍ０が最適化される（ステップＳ１７）。表示最適化部１７では、まず、カット構成配列Ｍ０が生成される。カット構成配列Ｍ０とは、動画像ＭＰ中でのカットペアの出現順序および各カットペア中でのカットの出現順序に基づき、各カットを行列状に配列するための情報である。
【００４６】
図７には、図６に示したカットペアの特定結果から生成されたカット構成配列Ｍ０が示されている。図７では、カット構成配列Ｍ０中にカットＩＤが示されている。図７に示すカット構成配列Ｍ０では、カット１、２が横並びに配列され、カット１、２の下にカット３〜５が横並びに配列され、同様に、カット６、７、カット８〜１０、カット１１、１２、カット１３〜１５が配列されている。
【００４７】
つまり、カット１〜１５は、動画像ＭＰ中でのカットペアの出現順序（ペアＩＤ）を第１方向（縦方向）、各カットペア中でのカットの出現順序（グループＩＤ）を第２方向（横方向）とする行列状に並べて配列されている。なお、第１方向と第２方向の組合せは、縦方向と横方向の組合せに代えて、横方向と縦方向の組合せでもよい。
【００４８】
［４．カット構成配列Ｍ０の最適化手順］
つぎに、図８および図９Ａ〜９Ｃを参照して、カット構成配列Ｍ０の最適化手順について説明する。図８には、カット構成配列Ｍ０の最適化手順が示されている。
【００４９】
以下では、所定の表示領域Ａｄに対して、図７に示したカット構成配列Ｍ０を最適化する場合について説明する。ここで、表示領域Ａｄは、第１方向の表示高（画素数）Ｙ、第２方向の表示幅（画素数）Ｘ、表示範囲サイズＡ（＝Ｘ×Ｙ）である場合を想定する。各カットの代表画像Ｉは、第１方向の原寸高（画素数）ｙ０、第２方向の原寸幅（画素数）ｘ０、代表画像サイズａ０（＝ｘ０×ｙ０）、アスペクト比Ｒａ＝ｘ０／ｙ０である場合を想定する。
【００５０】
図８に示すように、まず、処理カウンタｉが初期化（ｉ＝１）される（ステップＳ６１）。つぎに、表示領域Ａｄの表示幅Ｘから代表画像Ｉの最大表示幅ｘｍａｘが算出される（ステップＳ６３）。最大表示幅ｘｍａｘは、表示領域Ａｄの表示幅Ｘをカット構成のグループ数ｍで除して算出される（ｘｍａｘ＝Ｘ／ｍ）。なお、代表画像Ｉの最大表示幅ｘｍａｘが代表画像Ｉの原寸幅ｘ０より大きい場合には、最大表示幅ｘｍａｘが原寸幅ｘ０に設定されてもよい。
【００５１】
つぎに、最大表示幅ｘｍａｘで代表画像Ｉを表示する場合のカットペアの表示数Ｎ１が算出される（ステップＳ６５）。ここで、表示数Ｎ１は、表示領域Ａｄの表示高Ｙを代表画像Ｉの最大表示高ｙｍａｘで除して算出される（Ｎ１＝Ｙ／ｙｍａｘ）。なお、最大表示高ｙｍａｘは、最大表示幅ｘｍａｘをアスペクト比Ｒａで除して算出される（ｙｍａｘ＝ｘｍａｘ／Ｒａ）。また、表示数Ｎ１は、小数点以下を切り捨てた値として算出される。
【００５２】
つぎに、カットペアの表示数Ｎ１に基づきカット構成配列Ｍ０から第１の部分配列Ｍ１が生成される（ステップＳ６７）。ここで、部分配列とは、カット構成配列Ｍ０から部分的に抽出された配列である。第１の部分配列Ｍ１は、カットペア１〜Ｎ１中の全てのカットを含む配列として生成され、配列に含まれるカットの総数が第１の部分配列Ｍ１中のカット総数ｎ１となる。
【００５３】
つぎに、表示領域Ａｄに対する第１のカット構成画像ＣＩの表示占有率Ｒｏ１が算出される（ステップＳ６９）。ここで、第１のカット構成画像ＣＩの表示占有率Ｒｏ１は、第１の部分配列Ｍ１中のカット総数ｎ１に代表画像サイズ（ａ１＝ｘｍａｘ×ｙｍａｘ）を乗じた値を、表示範囲サイズＡで除して算出される（Ｒｏ１＝ａ１×ｎ１／Ａ）。
【００５４】
つぎに、処理カウンタｉが１インクリメントされ（ステップＳ７１）、表示数Ｎｉが１インクリメントされる（ステップＳ７３）。つぎに、カットペアの表示数Ｎｉに基づきカット構成配列Ｍ０から第ｉの部分配列Ｍｉが生成される（ステップＳ７５）。第ｉの部分配列Ｍｉは、カットペア１〜Ｎｉ中の全てのカットを含む配列として生成される。
【００５５】
つぎに、表示数Ｎｉで代表画像Ｉを表示する場合の代表画像サイズａｉが算出される（ステップＳ７７）。ここで、代表画像サイズａｉは、表示数Ｎｉで代表画像Ｉを表示する場合の表示高ｙｉと表示幅ｘｉを乗じて算出される（ａｉ＝ｘｉ×ｙｉ）。表示高ｙｉは、表示領域Ａｄの表示高Ｙを表示数Ｎｉで除して算出され（ｙｉ＝Ｙ／Ｎｉ）、表示幅ｘｉは、表示高ｙｉにアスペクト比Ｒａを乗じて算出される（ｘｉ＝ｙｉ×Ｒａ）。
【００５６】
つぎに、表示領域Ａｄに対する第ｉのカット構成画像ＣＩの表示占有率Ｒｏｉが算出される（ステップＳ７９）。ここで、第ｉのカット構成画像ＣＩの表示占有率Ｒｏｉは、第ｉの部分配列Ｍｉ中のカット総数ｎｉに代表画像サイズａｉを乗じた値を、表示範囲サイズＡで除して算出される（Ｒｏｉ＝ａｉ×ｎｉ／Ａ）。
【００５７】
つぎに、算出された表示占有率Ｒｏｉが直前の処理（処理カウンタｉ−１の処理）で算出された表示占有率Ｒｏｉ−１よりも小さいかが判定される（ステップＳ８１）。そして、判定結果が肯定的であれば（ステップＳ８１で「Ｙｅｓ」）、表示数Ｎｉ−１が最適表示数Ｎｏｐｔとなる（ステップＳ８３）。結果として、第ｉ−１の部分配列Ｍｉ−１が最適化されたカット構成配列として決定される。
【００５８】
一方、判定結果が否定的であれば（ステップＳ８１で「Ｎｏ」）、処理がステップＳ７１に復帰する。そして、次の処理カウンタｉ＋１に相当する表示数Ｎｉ＋１が設定され、ステップＳ８１の判定結果が肯定的となるまでステップＳ７１〜Ｓ８１の処理が繰返される。
【００５９】
ここで、上記手順によれば、表示数Ｎｉが大きくなるほど、代表画像Ｉの表示サイズａｉが小さくなる。このため、代表画像Ｉの最小表示高ｙｍｉｎを予め設定しておき、表示数Ｎｉから算出される代表画像Ｉの表示高ｙｉが最小表示高ｙｍｉｎ未満となるかが判定されてもよい。そして、判定結果が肯定的であれば、最適化処理を打ち切り、表示占有率Ｒｏｉが最大となる第１の部分配列Ｍ１の表示数Ｎ１を最適表示数Ｎｏｐｔとしてもよい。
【００６０】
図９Ａ〜９Ｃには、図４に示したカット構成に対する最適化処理の結果が示されている。図９Ａに示すように、第１の部分配列Ｍ１は、表示数Ｎ１＝４であり、カットペア１〜４に含まれるカット１〜１０からなる。この場合、カット構成のグループ数がｍ＝３であるので、カット構成画像ＣＩとしては、図９Ａに示すように、表示領域Ａｄの表示幅Ｘ一杯にカットグループ１〜３の代表画像Ｉ１〜Ｉ１０が表示されることになる。そして、第１の部分配列Ｍ１の表示占有率がＲｏ１＝０．７４と算出されている。
【００６１】
図９Ｂに示すように、第２の部分配列Ｍ２は、表示数Ｎ２＝５であり、カットペア１〜５に含まれるカット１〜１２からなる。この場合、カット構成画像ＣＩとしては、図９Ｂに示すように、表示領域Ａｄの表示高Ｙ一杯にカットペア１〜５の代表画像Ｉ１〜Ｉ１２が表示されることになる。そして、第２の部分配列Ｍ２の表示占有率がＲｏ２＝０．７６と算出されている。ここで、Ｒｏ１（＝０．７４）＜Ｒｏ２（＝０．７６）であるので、最適化処理が継続される。
【００６２】
図９Ｃに示すように、第３の部分配列Ｍ３は、表示数Ｎ３＝６であり、カットペア１〜６に含まれるカット１〜１５からなる。この場合、カット構成画像ＣＩとしては、図９Ｃに示すように、表示領域Ａｄの表示高Ｙ一杯にカットペア１〜６の代表画像Ｉ１〜Ｉ１５が表示されることになる。そして、第３の部分配列Ｍ３の表示占有率がＲｏ３＝０．６７と算出されている。ここで、Ｒｏ３（＝０．６７）＜Ｒｏ２（＝０．７６）であるので、第２の部分配列Ｍ２が最適化されたカット構成配列となる。よって、最適表示数Ｎｏｐｔは、表示数Ｎ２＝５となる。
【００６３】
なお、図９Ａ、９Ｂでは、カット構成配列Ｍ０中の全てのカットペア１〜６が表示されていないので、表示領域Ａｄの下方には、表示されていないカットペアの存在を暗示するマークＭが表示されている。
【００６４】
以上説明したように、本実施形態に係る動画像処理方法によれば、表示領域Ａｄに対する表示占有率Ｒｏを最大化するようにカットペアの数Ｎを調整し、調整されたカットペアの数Ｎを満たすカット構成画像ＣＩを生成することで、カット構成の一覧性およびカット構成画像ＣＩの視認性を確保可能なカット構成画像ＣＩを生成することができる。
【００６５】
ここで、図９Ａ〜９Ｃを参照して説明したように、最適化された配列は、表示条件の制約により必ずしも動画像ＭＰ中の全てのカット構成を含んでいない場合がある。よって、最適化された配列に従ってカット構成画像ＣＩを生成すると、動画像ＭＰのカット構成を適切に表すことができなくなってしまう場合がある。このため、以下で説明するように、最適化された配列（最適表示数Ｎｏｐｔ）を満たすようにカット構成配列Ｍ０からカットを選別してカットペアを生成した上で、カット構成画像ＣＩが生成される。
【００６６】
表示最適化処理が終了すると、図３に示すように、カットペア生成部１９により、複数のカットペアから最適表示数Ｎｏｐｔのカットペアが生成される（ステップＳ１９）。カットペアは、複数のカットの少なくとも一部を組合せて、各カットペアをなす２以上のカットが相異なるカットグループに属するとともに動画像ＭＰ中でのカット遷移の前後関係を満たすように生成される。
【００６７】
［５．カットペアの生成手順］
つぎに、図１０から図２５を参照して、カットペアの生成手順について説明する。図１０には、カットペアの生成手順が示されている。
【００６８】
カットペアの生成では、カット遷移の検出およびカットペアの特定が予め行われる。前述したように、カット遷移の検出では、複数のカットを含む動画像ＭＰからカット間の遷移が検出される（ステップＳ９１）。また、カットペアの特定では、複数のカットが相異なる特徴量Ｓを有する複数のカットグループに区分され、相異なるカットグループに属する２以上の連続するカットからなるカットペアであり、動画像ＭＰ中で繰返される複数のカットペアが特定される（ステップＳ９３）。
【００６９】
カットペアの生成では、カットペアは、カット構成配列Ｍ０中のカットペアをペアグループに区分した上で、各ペアグループから生成（第１の生成手順）されてもよく、カットペアをペアグループに区分せずに、カット構成配列Ｍ０から直接生成（第２の生成手順）されてもよい。このため、カットペアの生成では、まず、第１の生成手順を選択するかが判定される（ステップＳ９５）。
【００７０】
そして、判定結果が肯定的である場合（ステップＳ９５で「Ｙｅｓ」）、まず、カットまたはカットペアの特徴量に基づき、カット構成配列Ｍ０中のカットペアが最適表示数Ｎｏｐｔのペアグループに区分される（ステップＳ９７）。つぎに、各ペアグループについて、各ペアグループに含まれるカットのうち少なくとも一部を組合せて、各ペアグループに含まれるカットペアから１のカットペアが生成される（ステップＳ９８）。ここで、カットは、各カットペアをなす２以上のカットが相異なるカットグループに属するとともに動画中でのカット遷移の前後関係を満たすように組合される。
【００７１】
一方、判定結果が否定的である場合（ステップＳ９５で「Ｎｏ」）、ペアグループを考慮せずに、複数のカットの少なくとも一部を組合せて、複数のカットペアから最適表示数Ｎｏｐｔのカットペアが生成される（ステップＳ９９）。ここでも、カットは、各カットペアをなす２以上のカットが相異なるカットグループに属するとともに動画像ＭＰ中でのカット遷移の前後関係を満たすように組合される。
【００７２】
以下では、図１１から図２５を参照して、カットペア１〜７から最適表示数Ｎｏｐｔ＝３を満たすように、カットペアを生成する場合について説明する。なお、以下では、図４〜図９で用いた動画像データＭＰとは異なる動画像データＭＰを用いて説明する。
【００７３】
図１１には、２つの生成手順によるカット構成画像ＣＩの生成例が示されている。第１の生成手順では、まず、カット構成配列Ｍ０中のカットペア１〜７がペアグループ１（カットペア１〜３）、ペアグループ２（カットペア４、５）、およびペアグループ３（カットペア６、７）に区分されている。つぎに、ペアグループ１からカット３、４が選別され、ペアグループ２からカット８、９が選別され、ペアグループ３からカット１１、１４が選別されている。なお、図中では、選別されたカットにハッチングが施されている。一方、第２の生成手順では、カットペア１〜７をペアグループに区分せずに、カット３、４、８、９、１１、１４がカット構成配列Ｍ０から直接選別されている。
【００７４】
図１２には、カットペアの生成条件の一例が示されている。カットペアは、図１２に示すカットペアの生成条件に従ってカット構成配列Ｍ０から生成される。ここで、カットの特徴としては、カットの画像のフレーム数、カットの音声の音量、カットの画像の輝度・色、カットの画像中の動き量等が挙げられる。特徴量としては、合計値、平均値、最大・最小値、中央値、最頻値、分散、変動係数、変化値（差分）、ヒストグラム、行列値等が挙げられる。特徴量の処理単位としては、カット単位、カットペア単位、カットペア中の差分、対応するカット間等が挙げられる。特徴量の評価基準としては、特徴量の降順・昇順、基準値からの変動、連続する特徴量間の差分、行列値の内積・外積等が挙げられる。
【００７５】
カットペアの生成条件は、例えば、カットの特徴を「フレーム数」、特徴量を「合計値」、処理単位を「カットペア単位」、評価基準を「特徴量の昇順」というように、カットの特徴、特徴量、処理単位および評価基準を適当に組合せて形成される。なお、上記したカットの特徴、特徴量、処理単位および評価基準は、一例にすぎず、必ずしも全ての組合せが可能であることを意味するものではない。以下では、いくつかの生成条件を例としてカットペアの生成処理について説明する。
【００７６】
まず、第１の生成手順に従って、カットペア１〜７から最適表示数Ｎｏｐｔ＝３を満たすようにカットペアを生成する場合について説明する。なお、以下で挙げる処理条件およびカット構成は、カットペアの生成処理を説明するための一例である。
【００７７】
図１３には、カットペアのフレーム数に基づきカットペアを生成する例が示されている。まず、カットペア１〜７のフレーム数に基づきカットペア１〜７がペアグループ１〜３に区分される（ペアグループの項参照）。カットペア１〜７は、各ペアグループに含まれるカットペアのフレーム総数がほぼ等しくなるように区分される。上記例では、ペアグループ１、２、３に含まれるカットペアのフレーム総数が１２０、８０、１００となるように、カットペア１〜７が区分されている（累計の項参照）。つぎに、ペアグループ１〜３について、各ペアグループに含まれるカットペアからフレーム数が最大のカットペアが選別される。上記例では、ペアグループ１、２、３について、カットペア３、４、７が各々に選別されている（ペアフレーム数の項参照）。よって、カット構成画像ＣＩを生成するために、カットペア３、４、７からなる３つのカットペアが生成される。
【００７８】
なお、フレーム数に代えて、カットペア数に基づきカットペア１〜７を区分してもよい。この場合、カットペア１〜７は、各ペアグループに含まれるカットペアの数がほぼ等しくなるように、例えば、カットペア１、２とカットペア３、４とカットペア５〜７に区分されてもよい。また、フレーム数が最大のカットペアに代えて、フレーム数が最小のカットペアや中央値のカットペア等を選別してもよい。
【００７９】
図１４には、カットのフレーム数に基づきカットペアを生成する例が示されている。まず、カットペア１〜７に含まれ、カットグループ１に属する主カット（カット１、３、５、７、９、１１、１３）のフレーム数に基づきカットペア１〜７がペアグループ１〜３に区分される。
【００８０】
具体的に、ペアグループの区分では、全ての主カットからフレーム数が上位２位となる２つの主カットが選択される。上記例では、フレーム数２０、２５の主カット５、９が選択されている（グループ１フレーム数の項参照）。そして、選択された主カットの位置を区切りとして、カットペア１〜７がペアグループ１〜３に区分される。この場合、上記例では、主カット５、９の位置を区切りとして、カットペア１〜３、カットペア４、５、カットペア６、７がペアグループ１、２、３に各々に区分されている（ペアグループの項参照）。
【００８１】
つぎに、ペアグループ１〜３の各々について、カットグループ１に属する主カットからフレーム数が最大の主カットが選別される。上記例では、ペアグループ１、２、３について、主カット５、９、１１が各々に選別されている（グループ１フレーム数の項参照）。
【００８２】
つぎに、ペアグループ１〜３の各々について、カットグループ２に属する副カット（カット２、４、６、８、１０、１２、１４）からフレーム数が最大の副カットが選別される。上記例では、ペアグループ１、２、３について、副カット２、１０、１４が各々に選別されている（グループ２フレーム数の項参照）。よって、カット構成画像ＣＩを生成するために、カット２、５からなるカットペア、カット９、１０からなるカットペア、カット１１、１４からなるカットペアが生成される。
【００８３】
この場合、主カット５と副カット２の間でカット遷移の順序が逆順（主カットのカットＩＤ＞副カットのカットＩＤ）となっているので、主カットと副カットの間でカット遷移の順序が正順（主カットのカットＩＤ＜副カットのカットＩＤ）となるように、副カット２に代えて、副カット６が選別されてもよい。
【００８４】
なお、主カットと副カットを各々のフレーム数に基づき別々に選別する代わりに、主カットをフレーム数に基づき選別した上で、選別された主カットと同一のカットペアに属する副カットを選別してもよい。この場合、例えば、主カット５、９、１１を選別すると、副カット６、１０、１２が自動的に選別される。
【００８５】
また、主カットのフレーム数に代えて、副カットのフレーム数に基づきカットペア１〜７を区分してもよく、カットペアのフレーム数に基づきカットペア１〜７を区分してもよい。また、フレーム数が上位２位となる２つの主カットに代えて、フレーム数が下位２位となる２つの主カットの位置を区切りとしてもよい。また、各ペアグループについてフレーム数が最大の主カットおよび副カットを選別する代わりに、フレーム数が最大となるカットペアに属する主カットおよび副カットを選別してもよい。
【００８６】
図１５には、カット間の音量変動に基づきカットペアを生成する例が示されている。まず、図１３に示した例と同様に、カットペア１〜７のフレーム数に基づきカットペアがペアグループ１〜３に区分される。
【００８７】
つぎに、ペアグループ１〜３の各々について、カットグループ１に属する主カット（カット１、３、５、７、９、１１、１３）から音量変動が最大の主カットが選別される。ここで、音量変動は、各ペアグループに含まれる主カットにおける平均音量に対する各主カットの音量の比率として算出される。上記例では、ペアグループ１、２、３に含まれる主カットの平均音量１８．３、１５．０、２０．０に対して、音量変動の絶対値が最大となる主カット３（音量変動−６．７）、主カット７（同５．０）、主カット１１（同−５．０）が選別されている（グループ１音量変動の項参照）。なお、同一ペアグループ内で絶対値の最大値が２以上存在する場合には、便宜的にカットＩＤが小さい主カットが選別されている。
【００８８】
同様に、ペアグループ１〜３の各々について、カットグループ２に属する副カット（カット２、４、６、８、１０、１２、１４）から音量変動が最大の副カットが選別される。ここで、音量変動は、各ペアグループに含まれる副カットにおける平均音量に対する各副カットの音量の比率として算出される。この場合、上記例では、ペアグループ１、２、３に含まれる副カットの平均音量１８．３、１５．０、１２．５に対して、音量変動の絶対値が最大となる副カット６（音量変動−６．７）、副カット８（同−５．０）、副カット１２（同２．５）が選別されている（グループ２音量変動の項参照）。なお、同一ペアグループ内で絶対値の最大値が２以上存在する場合には、便宜的にカットＩＤが小さい副カットが選別されている。よって、カット構成画像ＣＩを生成するために、カット３、６からなるカットペア、カット７、８からなるカットペア、カット１１、１２からなるカットペアが生成される。
【００８９】
なお、カットペアのフレーム数に基づきカットペアをペアグループに区分する代わりに、図１４に示した例のように、全てのカットから音量変動が上位２位となる２つのカットを選択し、選択したカットの位置を区切りとして、カットペア１〜７をペアグループに区分してもよい。ここで、音量変動は、カットペア１〜７に含まれる全てのカットにおける平均音量に対する各カットの音量の比率として算出される。
【００９０】
また、ペアグループ１〜３の各々について、主カットと副カットを区別せずに、各ペアグループに含まれる全てのカットから音量変動が最大のカットを選別してもよい。例えば、ペアグループ１については、カット１〜６から音量変動が最大のカット３（平均音量１８．３からの音量変動−６．７）を選別した上で、選別されたカット３と同一のカットペア２に属するカット４を選別してもよい。
【００９１】
また、各ペアグループについて音量変動が最大となる主カットおよび副カットを各々に選別する代わりに、音量変動が最大となるカットペアに属する主カットおよび副カットを選別してもよい。ここで、音量変動は、各ペアグループに含まれる全てのカットペアにおける平均音量に対する各カットペアの音量の比率として算出される。
【００９２】
つぎに、第２の生成手順に従って、カットペア１〜７から最適表示数Ｎｏｐｔ＝３を満たすようにカットペアを生成する場合について説明する。なお、以下で挙げる処理条件およびカット構成は、カットペアの生成処理を説明するための一例である。
【００９３】
図１６には、カットペアのフレーム数に基づきカットペアを生成する例が示されている。カットペア１〜７からフレーム数が上位３位となる３つのカットペアが選択される。そして、選択されたカットペアに含まれるカットが選別される。上記例では、ペアフレーム数６０、６０、６０のカットペア３、４、７に対応するカット５〜８、１３、１４が選別されている（ペアフレーム数の項参照）。よって、カット構成画像ＣＩを生成するために、カットペア３、４、７からなる３つのカットペアが生成される。
【００９４】
なお、フレーム数が上位３位となる３つのカットペアに代えて、フレーム数が平均的な３つのカットペアを選択してもよく、フレーム数が平均的な１つのカットペアと、フレーム数が上位２位となる２つのカットペアを選択してもよい。
【００９５】
図１７には、カットのフレーム数に基づきカットペアを生成する例が示されている。まず、カットペア１〜７に含まれる全てのカットからフレーム数が上位３位となる３つのカットが選別される。つぎに、選別されたカットと同一のカットペアに属するカットが選別される。上記例では、フレーム数２５、２０、２５のカット２、５、９が選別された後、対応するカット１、６、１０が選別されている。よって、カット構成画像ＣＩを生成するために、カットペア１、３、５からなる３つのカットペアが生成される。
【００９６】
なお、全てのカットに代えて、主カットまたは副カットのいずれか一方からフレーム数が上位３位となる３つのカットを選別してもよい。また、主カットまたは副カットのいずれか一方からフレーム数が平均的な１つのカットを選別し、他方からフレーム数が上位２位となる２つのカットを選別してもよい。
【００９７】
図１８には、カット間の音量変動に基づきカットペアを生成する例が示されている。まず、カットペア１〜７に含まれる全てのカットから音量変動が上位３位となる３つのカットが選別される。ここで、音量変動は、カットペア１〜７に含まれるカットにおける平均音量に対する各カットの音量の比率として算出される。つぎに、選別されたカットと同一のカットペアに属するカットが選別される。上記例では、いずれも音量変動−８．２のカット３、６、１１が選別された後、対応するカット４、５、１２が選別されている（グループ１、２音量変動の項参照）。よって、カット構成画像ＣＩを生成するために、カットペア２、３、６からなる３つのカットペアが生成される。
【００９８】
なお、全てのカットに代えて、主カットまたは副カットのいずれか一方から音量変動が上位３位となる３つのカットを選別してもよい。ここで、音量変動は、カットペア１〜７に含まれる主カットまたは副カットのいずれか一方における平均音量に対する各カットの音量の比率として算出される。
【００９９】
図１９には、カット間での画面輝度の変動に基づきカットペアを生成する例が示されている。まず、各カット１〜１４の代表画像について、画像処理に基づき画面輝度を正規化して表すヒストグラムが算出される。つぎに、カットグループ毎に７つのカットの平均ヒストグラムが算出される。ヒストグラムでは、代表画像に含まれる画素の輝度を所定の輝度間隔で区分した場合における区分毎の頻度が表されている。図１９には、カット１〜１４の代表画像Ｉ１〜Ｉ１４とともに、各代表画像Ｉ１〜Ｉ１４の正規化ヒストグラムおよびカットグループ毎の平均ヒストグラムが示されている。
【０１００】
つぎに、平均ヒストグラムに対する変動が上位３位となる３つのカットが選別される。ここでは、ヒストグラムの変動は、各カットの正規化ヒストグラムと、各カットが属するカットグループの平均ヒストグラムとの差分として算出される。そして、選別されたカットと同一のカットペアに属するカットが選別される。上記例では、カット１、１１、１４の変動が上位３位となり、カット構成画像ＣＩを生成するために、カットペア１、６、７からなる３つのカットペアが生成される。
【０１０１】
つぎに、カット間での特徴量の類似度に基づきカットペアを生成する場合について説明する。以下では、カットペア１〜７をなすカット１〜１４から最適表示数Ｎｏｐｔ＝３を満たすようにカットペアを生成する場合について説明する。
【０１０２】
図２０には、カット１〜１４間で特徴量の類似度を算出した結果が示されている。図２０に示す算出結果では、カット１〜１４は、カットグループ１（カット１、３、５、７、９、１１、１３）と、カットグループ２（カット２、４、６、８、１０、１２、１４）に区分されるとともに、カットペア１〜７に区分されている。
【０１０３】
図２０では、カット１、２の特徴量に相当するカットグループ１、２の特徴量Ｓ１、Ｓ２を基準として、カット１〜１４間の特徴量の類似度が０〜１の値として示されている。ここで、特徴量の類似度が１に近いほどカット間で特徴量が類似していることを意味している。例えば、同一のカットグループに属するカット１−３間では、特徴量の類似度が０．９と高く、異なるカットグループに属するカット１−４間では、特徴量の類似度が０．１と低くなっている。
【０１０４】
図２１には、カット１−２間の類似度を示す第１の類似度行列Ｍｓ１と、カット３−４間の類似度を示す第２の類似度行列Ｍｓ２が示されている。第１および第２の類似度行列Ｍｓ１、Ｍｓ２は、図２０に示した算出結果から抽出された行列である。そして、第１と第２の類似度行列Ｍｓ１、Ｍｓ２の内積により、カットペア１（カット１、２）とカットペア２（カット３、４）の間の類似度を算出することができる。ここで、第１と第２の類似度行列Ｍｓ１、Ｍｓ２の内積が大きいほどカットペア間が類似していることを意味している。
【０１０５】
図２１に示すように、第１の類似度行列Ｍｓ１は、（１．０、０．２、０．３、１．０）とベクトル化され、第２の類似度行列Ｍｓ２は、（０．９、０．１、０．２、０．８）とベクトル化される。よって、第１と第２の類似度行列Ｍｓ１、Ｍｓ２の内積は、１．０×０．９＋０．２×０．１＋０．３×０．２＋１．０×０．８≒１．８と算出される。同様の方法で、カットペア１−２間を除くカットペア１〜７間の類似度が算出される。
【０１０６】
これにより、図２２に示すように、カットペア１〜７間の類似度が算出される。図２２には、カットペア１〜７間の類似度と併せて、カットペア１〜７について、類似度の総和が各々に示されている。ここで、類似度の総和が大きいほどカットペアの親和度が高いこと、つまり、カットペア１〜７を代表するカットペアである蓋然性が高いことを意味している。
【０１０７】
類似度行列Ｍｓ（類似度行列の総称）の内積に基づきカットペアを生成する場合、第１に、類似度の総和が最大（９．１）となるカットペア３が選択される。第２に、カットペア３との類似度が最低（１．１）となるカットペア７が選択される。第３に、カットペア７との類似度が最低（０．９）となるカットペア１が選択される。よって、カット構成画像ＣＩを生成するために、カットペア１、３、７からなる３つのカットペアが生成される。
【０１０８】
なお、カットペア７との類似度が最低であるという基準に代えて、カットペア３との類似度が２番目に低いという基準でカットペアが選択されてもよい。また、類似度の総和が最大となるカットペア、最低となるカットペア、平均値に直近のカットペアという基準で３つのカットペアが選択されてもよい。
【０１０９】
これにより、全てのカットペアを代表する代表的なカットペアと、代表的なカットペアとは類似しない他のカットペアを生成することができる。
【０１１０】
図２３には、カット１−２間の類似度を示す第１の類似度行列Ｍｓ１と、カット３−４間の類似度を示す第２の類似度行列Ｍｓ２が示されている。第１および第２の類似度行列Ｍｓ１、Ｍｓ２は、図２０に示した算出結果から抽出された行列である。そして、カット１〜１４間の類似度を示す類似度行列Ｍｓのスカラー値により、カットペアを選択することができる。ここで、類似度行列Ｍｓのスカラー値が大きいほど、カットペア１〜７を代表するカットペアである蓋然性が高いことを意味している。
【０１１１】
例えば、第１の類似度行列Ｍｓ１のスカラー値は、１．０＋０．２＋０．３＋１．０＝２．５と算出され、第２の類似度行列Ｍｓ２のスカラー値は、０．９＋０．１＋０．２＋０．８＝２．０と算出される。よって、カットペア１（カット１、２）とカットペア２（カット３、４）との間では、カットペア１の方が全てのカットペアを代表する代表的なカットペアである蓋然性が高いことになる。
【０１１２】
類似度行列Ｍｓのスカラー値に基づきカットペアを生成する場合、まず、カットペア１〜７間で類似度行列Ｍｓのスカラー値が算出される。つぎに、図２２に示した場合において、類似度の総和をスカラー値に置き換えて処理することで、３つのカットペアが選択される。そして、選択されたカットペアに含まれるカットが選別される。
【０１１３】
これにより、全てのカットペアを代表する代表的なカットペアと、代表的なカットペアとは類似しない他のカットペアを生成することができる。
【０１１４】
カットペア生成処理が終了すると、図３に示すように、メタ情報生成部２１により各カットのメタ情報ＭＩが生成される（ステップＳ２１）。メタ情報生成部２１では、まず、動画像データＭＰおよびカット遷移の検出結果に基づき、動画像データＭＰから各カットに含まれる画像や音声の特徴が抽出される。
【０１１５】
例えば、カットに音声（セリフ、音響効果等）が含まれている場合、カットに含まれる音声が抽出され、音声認識処理等を通じて、抽出された音声に対応する文字・画像情報が生成されてもよい。カットに音声が含まれていない場合、無音カットであることを示す文字・画像情報が生成されてもよい。なお、無音カットは、セリフが含まれていない無音カットと、セリフも音響効果も含まれていない無音カットに区別されてもよい。カットに含まれる音声の音量の平均値・変動値、無音区間と有音区間の比率、音声の音調・リズムまたは変動を示す文字・画像情報が生成されてもよい。
【０１１６】
また、カットに含まれるフレームの数またはカットの再生に要する時間が算出されて、算出値を示す文字・画像情報が生成されてもよい。カットに含まれる画像の明るさの平均値・変動値、画像の内容等または変化を示す文字・画像情報が生成されてもよい。
【０１１７】
カット構成画像生成部２３では、カットペア生成処理の結果に基づき、カット構成画像ＣＩが生成される（ステップＳ２３）。カット構成画像生成部２３では、まず、動画像データＭＰおよびカットペア生成処理の結果に基づき、選別されたカットに属する一連の画像から所定の基準に従って代表画像Ｉが抽出される。なお、各カットの代表画像Ｉは、カット遷移の検出時に予め抽出されていてもよい。つぎに、カットペアを明示しつつ各カットの代表画像Ｉをカット遷移の順序に従って並べたカット構成画像ＣＩが生成される。ここで、各カットのメタ情報ＭＩが生成されている場合には、各カットの代表画像Ｉとともに表示されることになる。
【０１１８】
図２４には、図１３に示したカットペア生成処理の結果から生成されたカット構成画像ＣＩの一例が示されている。図２４に示すカット構成画像ＣＩでは、カット５、６の代表画像Ｉ５、Ｉ６が横並びに配置され、カット５、６の代表画像Ｉ５、Ｉ６の下にカット７、８の代表画像Ｉ７、Ｉ８が横並びに配置され、カット７、８の代表画像Ｉ７、Ｉ８の下にカット１３、１４の代表画像Ｉ１３、Ｉ１４が横並びに配置されている。このようなカット構成画像ＣＩによりカット構成の把握が容易となる。なお、カット構成画像ＣＩの構成は、図２４に示した構成に限定されるものではない。
【０１１９】
図２５には、カット構成画像ＣＩの変形例が示されている。図２５に示すカット構成画像ＣＩでは、カットの代表画像Ｉに重ねてカットのメタ情報ＭＩが表示されている。カットのメタ情報ＭＩとは、カットに含まれる画像や音声の特徴を示す情報である。
【０１２０】
音声特徴を示すメタ情報ＭＩは、例えば、各カットに含まれる音声（セリフ、音響効果等）の内容を示す情報、各カットに音声が含まれないこと（無音カットであること）を示す情報等である。画像特徴を示すメタ情報ＭＩは、例えば、各カットに含まれるフレームの数を示す情報、各カットの再生に要する時間を示す情報等である。
【０１２１】
ここで、図２５の状態Ａに示すカット構成画像ＣＩでは、例えば、カット１の代表画像Ｉ１、カット７の代表画像Ｉ７、カット１１の代表画像Ｉ１１に対して、カット１、３のメタ情報ＭＩ１、ＭＩ３、カット５、７、９のメタ情報ＭＩ５、ＭＩ７、ＭＩ９、カット１１のメタ情報ＭＩ１１が各々に重ねて表示されている。これにより、３つのカットのメタ情報ＭＩ５、ＭＩ７、ＭＩ９を重ねて表示されたカット７の代表画像Ｉ７では、代表画像Ｉ７の視認性が低下している。
【０１２２】
このため、カット１、７、１１の代表画像Ｉ１、Ｉ７、Ｉ１１についてメタ情報ＭＩによる隠蔽率、つまり代表画像Ｉ上でのメタ情報ＭＩの表示占有率が算出される。この場合、カット７の代表画像Ｉ７では隠蔽率が相対的に高く、カット１１の代表画像Ｉ１１では隠蔽率が相対的に低くなっている。
【０１２３】
よって、図２５の状態Ｂに示すカット構成画像ＣＩ´では、メタ情報ＭＩによる隠蔽率に基づき、カット７の代表画像Ｉ７上のカット９のメタ情報ＭＩ９がカット１１の代表画像Ｉ１１上に移動されている。これにより、カット７の代表画像Ｉ７では、状態Ａの場合と比べて隠蔽率が低くなり、代表画像Ｉ７の視認性を確保することができる。
【０１２４】
以上説明したように、本実施形態に係る動画像処理方法によれば、複数のカットの少なくとも一部を所定の条件を満たすように組合せて所定数のカットペアを生成し、生成されたカットペアからなるカット構成画像ＣＩを生成することで、カット構成の一覧性およびカット構成画像ＣＩの視認性を確保可能なカット構成画像ＣＩを生成することができる。
【０１２５】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１２６】
例えば、上記実施形態では、構成画像ＣＩが最適表示数Ｎｏｐｔ＝３のカットペアを３行に並べた画像として説明されている。しかし、構成画像ＣＩは、その表示条件に応じて、異なる最適表示数Ｎｏｐｔで生成されてもよく、また最適表示数Ｎｏｐｔが同一の場合でも、異なる行数・列数で代表画像Ｉを並べた画像として生成されてもよい。
【符号の説明】
【０１２７】
１ 動画像処理装置
１１ データ取得部
１３ カット遷移検出部
１５ カットペア特定部
１７ 表示最適化部
１９ カットペア生成部
２１ メタ情報生成部
２３ カット構成画像生成部
２５ カット構成画像出力部
２７ カット構成情報出力部
２９ データ記憶部
ＭＰ 動画像（データ）
Ｉ 代表画像
Ｎｏｐｔ 最適表示数
ＣＩ カット構成画像
Ａｄ 表示領域
Ｒｏ 表示占有率
【技術分野】
【０００１】
本発明は、動画像処理装置、動画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
映像（または動画像）は、一般に多数のカットから構成されている。映像表現では、制作者の意図に応じて、一連の相異なるカットを繰返す（カットの切返しとも称する。）等、カット構成に工夫を凝らす場合がある。ところで、映像を鑑賞する者または映像を他の映像等の素材として利用する者には、映像の対象がどのように捉えられているか、換言すれば映像の時間的コンテクストに関して映像がどのように表現されているか、という情報が重要となる場合がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
このため、動画像から一連の相異なるカットとして繰返されるカットペアを特定し、カットペア間の境界を明示しつつ各カットの代表画像をカット遷移の順序に従って並べたカット構成画像を生成することが提案される。
【０００４】
しかし、カットの切返し頻度が高くなりカットペアの数が多くなると、カット構成画像が表示される表示領域に対してカット構成画像が大きくなってしまう場合がある。そして、カット構成の一覧性を確保するためにカット構成画像を一度に表示しようとすると、代表画像を高い率で縮小して表示することになり、カット構成画像の視認性が低下してしまう場合がある。また、カット構成画像の視認性を確保するためにカット構成画像を部分的に表示しようとすると、カット構成画像を分割して表示することになり、カット構成の一覧性が低下してしまう場合がある。よって、いずれの場合も、ユーザは、カット構成画像を通じて動画像のカット構成を容易に把握することができなくなる。
【０００５】
そこで、本発明は、動画像のカット構成を容易に把握できるカット構成画像を生成可能な、動画像処理装置、動画像処理方法およびプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００６】
本発明のある観点によれば、複数のカットを含む動画像からカット間の遷移を検出するカット遷移検出部と、複数のカットを相異なる特徴量を有する複数のカットグループに区分し、相異なるカットグループに属する２以上の連続するカットからなるカットペアであり、動画像中で繰返される複数のカットペアを特定するカットペア特定部と、複数のカットペアから２以上の数のカットペアを選択し、選択されたカットペア中の全てのカットの代表画像を一定率で縮小して並べたカット構成画像を、予め定められた範囲の表示領域に表示する場合の表示占有率を算出し、表示領域に対する表示占有率を最大化するように、選択するカットペアの数を調整する表示最適化部と、調整されたカットペアの数を満たすカット構成画像を生成するカット構成画像生成部とを備える動画像処理装置が提供される。
【０００７】
上記表示最適化部は、カットペア数Ｎに対応する第１の表示占有率と、カットペア数Ｎ＋１に対応する第２の表示占有率を算出し、第２の表示占有率が第１の表示占有率よりも小さい場合に、カットペア数Ｎによりカット構成配列を最適化してもよい。
【０００８】
上記カット構成画像生成部は、動画像中でのカットペアの出現順序および各カットペア中でのカットの出現順序に基づき、各カットの代表画像を行列状に並べたカット構成画像を生成してもよい。
【０００９】
上記カット構成画像生成部は、選択されたカットペア中の全てのカットの代表画像を所定の縮小率よりも低い一定率で縮小して並べたカット構成画像を生成してもよい。
【００１０】
また、本発明の別の観点によれば、複数のカットを含む動画像からカット間の遷移を検出し、複数のカットを相異なる特徴量を有する複数のカットグループに区分し、相異なるカットグループに属する２以上の連続するカットからなるカットペアであり、動画像中で繰返される複数のカットペアを特定し、複数のカットペアから２以上の数のカットペアを選択し、選択されたカットペア中の全てのカットの代表画像を一定率で縮小して並べたカット構成画像を、予め定められた範囲の表示領域に表示する場合の表示占有率を算出し、表示領域に対する表示占有率を最大化するように、選択するカットペアの数を調整し、調整されたカットペアの数を満たすカット構成画像を生成することを含む動画像処理方法が提供される。
【００１１】
また、本発明の別の観点によれば、上記動画像処理方法をコンピュータに実行させるためのプログラムが提供される。ここで、プログラムは、コンピュータ読取り可能な記録媒体を用いて提供されてもよく、通信手段等を介して提供されてもよい。
【発明の効果】
【００１２】
以上説明したように本発明によれば、動画像のカット構成を容易に把握できるカット構成画像を生成可能な、動画像処理装置、動画像処理方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る動画像処理方法の手順を示すフロー図である。
【図２】動画像処理装置の構成を示すブロック図である。
【図３】動画像処理装置の全体的な動作手順を示すフロー図である。
【図４】カット構成の一例を示す図である。
【図５】カットペアの特定手順を示すフロー図である。
【図６】カットペアの特定結果の一例を示す図である。
【図７】カット構成配列の一例を示す図である。
【図８】カット構成の表示最適化手順を示すフロー図である。
【図９Ａ】カット構成の表示最適化手順を示す図（１／３）である。
【図９Ｂ】カット構成の表示最適化手順を示す図（２／３）である。
【図９Ｃ】カット構成の表示最適化手順を示す図（３／３）である。
【図１０】カットペアの生成手順を示すフロー図である。
【図１１】カットペアの２つの生成手順を示す図である。
【図１２】カットペアの生成条件の一例を示す図である。
【図１３】第１の生成手順でカットペアのフレーム数に基づきカットペアを生成する手順の一例を示す図である。
【図１４】第１の生成手順でカットのフレーム数に基づきカットペアを生成する手順の一例を示す図である。
【図１５】第１の生成手順でカット間の音量変動に基づきカットペアを生成する手順の一例を示す図である。
【図１６】第２の生成手順でカットペアのフレーム数に基づきカットペアを生成する手順の一例を示す図である。
【図１７】第２の生成手順でカットのフレーム数に基づきカットペアを生成する手順の一例を示す図である。
【図１８】第２の生成手順でカット間の音量変動に基づきカットペアを生成する手順の一例を示す図である。
【図１９】第２の生成手順でカット間の画像輝度ヒストグラムに基づきカットペアを生成する手順の一例を示す図である。
【図２０】カット間での特徴量の類似度の算出結果の一例を示す図である。
【図２１】類似度行列の内積に基づくカットペアの生成手順の一例を示す図（１／２）である。
【図２２】類似度行列の内積に基づくカットペアの生成手順の一例を示す図（２／２）である。
【図２３】類似度行列のスカラー値に基づくカットペアの生成手順の一例を示す図である。
【図２４】カット構成画像の一例を示す図である。
【図２５】隠蔽率に基づくカット構成画像の修正を示す図である。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】
［１．動画像処理方法の概要］
まず、図１を参照して、本発明の実施形態に係る動画像処理方法の概要について説明する。図１には、本発明の実施形態に係る動画像処理方法の手順が示されている。
【００１６】
図１に示すように、本発明の実施形態に係る動画像処理方法では、まず、複数のカットを含む動画像ＭＰからカット間の遷移が検出される（ステップＳ１）。つぎに、複数のカットが相異なる特徴量Ｓ（カットグループの特徴量の総称）を有する複数のカットグループに区分され、相異なるカットグループに属する２以上の連続するカットからなるカットペアであり、動画像ＭＰ中で繰返される複数のカットペアが特定される（ステップＳ３）。
【００１７】
つぎに、複数のカットペアから２以上の数Ｎのカットペアが選択される（ステップＳ５）。つぎに、選択されたカットペア中の全てのカットの代表画像Ｉ（代表画像の総称）を一定率で縮小して並べたカット構成画像ＣＩを、予め定められた範囲の表示領域Ａｄに表示する場合の表示占有率Ｒｏが算出される（ステップＳ６）。そして、表示領域Ａｄに対する表示占有率Ｒｏを最大化するように、選択するカットペアの数Ｎが調整される（ステップＳ７）。さらに、調整されたカットペアの数Ｎを満たすカット構成画像ＣＩが生成される（ステップＳ９）。
【００１８】
これにより、表示領域Ａｄに対する表示占有率Ｒｏを最大化するようにカットペアの数Ｎを調整し、調整されたカットペアの数Ｎを満たすカット構成画像ＣＩを生成することで、カット構成の一覧性およびカット構成画像ＣＩの視認性を確保可能なカット構成画像ＣＩを生成することができる。そして、ユーザは、このように生成されたカット構成画像ＣＩを通じて動画像ＭＰのカット構成を容易に把握することができる。
【００１９】
［２．動画像処理装置１］
つぎに、図２を参照して、本発明の実施形態に係る動画像処理装置１について説明する。図２には、動画像処理装置１の主要な機能構成が示されている。図２に示すように、動画像処理装置１は、データ取得部１１、カット遷移検出部１３、カットペア特定部１５、表示最適化部１７、カットペア生成部１９、メタ情報生成部２１、カット構成画像生成部２３、カット構成画像出力部２５、カット構成情報出力部２７、データ記憶部２９を含んで構成される。
【００２０】
データ取得部１１は、複数のカットを含む動画像データＭＰを取得し、カット遷移検出部１３、カットペア特定部１５、カットペア生成部１９、メタ情報生成部２１、およびカット構成画像生成部２３に供給する。動画像データＭＰは、一般にフレーム形式のデータであり、画像データのみでもよく、音声データとの組合せでもよい。動画像データＭＰは、データ記憶部２９から取得されてもよく、外部装置（不図示）から取得されてもよい。
【００２１】
カット遷移検出部１３は、動画像データＭＰに基づき動画像ＭＰ中のカット遷移を検出し、検出結果をカットペア特定部１５、カット構成情報出力部２７に供給する。カット遷移とは、動画像ＭＰ中におけるカットの移り変わりを意味する。カット遷移は、相前後するフレーム中の画像および／または音声の特徴量を求め、特徴量の類似度に基づき検出される。画像および／または音声の特徴量としては、色ヒストグラムや顔画像検出、画像間の相関、および／または音声の量や音調・リズム等を用いることができる。なお、カット遷移の検出時に求められた特徴量は、データ記憶部２９等に格納され、他の処理に利用されてもよい。
【００２２】
カットペア特定部１５は、詳細は後述するが、各カットの特徴量Ｓ´に基づき、複数のカットをカットグループに区分し、カットペアを特定する。カットペアの特定結果は、カット遷移の検出結果とともに、表示最適化部１７、カットペア生成部１９、カット構成情報出力部２７に供給される。カットの特徴量Ｓ´としては、カットに含まれる画像の色ヒストグラムや顔画像検出、画像間の相関、および／または音声の量や音調・リズム等あるいはこれらの組合せを用いることができる。なお、カットペアの特定時に求められた特徴量Ｓ´は、データ記憶部２９等に格納され、他の処理に利用されてもよい。
【００２３】
カットグループとは、特徴量Ｓ´が互いに類似するカットの組合せを意味する。カットペアとは、カット構成中で繰返される一連の相異なるカットの組合せを意味し、時間的に連続する２以上のカットからなる。カットペア特定部１５は、カットペアの特定結果に基づき、カットグループやカットペアを表す属性情報（後述するグループＩＤ、ペアＩＤ等）を各カットに付与する。属性情報は、表示最適化部１７およびカットペア生成部１９の他に、カット構成情報出力部２７、データ記憶部２９や外部装置等に供給されてもよい。
【００２４】
表示最適化部１７は、詳細は後述するが、カット構成画像ＣＩの表示条件（表示範囲、表示サイズ等）に応じて、カット構成画像ＣＩの表示を最適化する。具体的には、カット構成の一覧性とともにカット構成画像ＣＩの視認性を確保するために、カット構成画像ＣＩとして表示されるカットペアの数Ｎが最適表示数Ｎｏｐｔに最適化される。最適化の結果は、カットペア生成部１９に供給される。
【００２５】
カットペア生成部１９は、詳細は後述するが、カットペアの特定結果および表示の最適化結果に応じて、カット構成画像ＣＩとして表示されるカットペアを生成する。具体的には、カットペアの生成条件に従って、カットの特徴量Ｓ´に基づき、最適カットペア数Ｎｏｐｔを満たすようにカットペアが生成される。カットペア生成の結果は、カット構成画像生成部２３に供給されるが、カット構成情報出力部２７、データ記憶部２９や外部装置等に供給されてもよい。
【００２６】
メタ情報生成部２１は、各カットに含まれる音声や画像の特徴を示すメタ情報ＭＩ（メタ情報の総称）を生成する。メタ情報生成部２１では、動画像データＭＰおよびカット遷移の検出結果に基づき、動画像データＭＰから音声や画像の特徴が抽出される。そして、各カットの音声や画像の特徴を示すメタ情報ＭＩが生成され、カット構成画像生成部２３に供給される。
【００２７】
カット構成画像生成部２３は、動画像データＭＰおよびカットペア生成の結果に基づき、カット構成画像ＣＩを生成する。カット構成画像ＣＩとは、カットペア間の境界を明示するとともに、生成されたカットペアに含まれるカットの代表画像Ｉをカット遷移の順序に従って並べた画像である。カット構成画像ＣＩの生成では、生成されたカットペアのカットに含まれる画像から所定の基準に従って代表画像Ｉが抽出される。カット構成画像ＣＩには、メタ情報生成部２１から供給されるメタ情報ＭＩが含まれてもよい。代表画像Ｉとは、各カットを代表する画像であり、例えば、カットの中央フレームに相当する画像として抽出される。カット構成画像ＣＩは、カット構成画像出力部２５に供給される。
【００２８】
カット構成画像出力部２５は、ユーザが動画像ＭＰのカット構成を把握できるように、カット構成画像生成部２３から供給されたカット構成画像ＣＩを出力する。カット構成画像ＣＩは、動画像処理装置１に接続された表示装置、印刷装置、記憶装置や外部装置（いずれも不図示）に出力されてもよい。
【００２９】
カット構成情報出力部２７は、ユーザがカット構成の把握に利用できるように、カット遷移の検出結果、カットの区分結果やカットペアの特定結果をカット構成情報として出力する。カット構成情報は、動画像処理装置１に接続された表示装置、印刷装置、記憶装置や外部装置（いずれも不図示）に出力されてもよい。
【００３０】
カット構成情報は、例えば、カット構成を考慮した動画像検索を実現するためのデータとして利用することができる。例えば、あるカットを基準カットとして、基準カットとカットペアをなすカットを検索したり、あるカットペアを基準カットペアとして、基準カットペアと同じ構成のカットペアを検索したりすることができる。また、カットペアを多く含む動画像ＭＰやカット切返しを多く含む動画像ＭＰを検索することもできる。
【００３１】
データ記憶部２９は、動画像データＭＰおよび動画像データＭＰに付属するデータを記憶している。データ記憶部２９には、カット構成情報が動画像データＭＰに関連付けて記憶されている。なお、データ記憶部２９には、カット構成画像ＣＩが記憶されてもよい。また、図２では、データ記憶部２９と他の構成要素との接続関係の表示が一部省略されている。
【００３２】
ここで、上記機能構成において、データ取得部１１、カット遷移検出部１３、カットペア特定部１５、表示最適化部１７、カットペア生成部１９、メタ情報生成部２１、カット構成画像生成部２３、カット構成画像出力部２５、カット構成情報出力部２７は、ＣＰＵ、ＤＳＰ（デジタル信号処理装置）等の演算処理装置により構成される。データ記憶部２９は、フラッシュメモリ等の内部記憶装置、ハードディスクドライブ、ブルーレイディスクドライブ等の外部記憶装置により構成される。そして、ＣＰＵは、ＲＯＭ等から読み出されたプログラムをＲＡＭ上に展開して実行することで、動画像処理方法を実現する。なお、上記機能構成は、少なくとも一部が専用ロジック等のハードウェアとして構成されてもよい。
【００３３】
［３．カット構成配列Ｍ０の生成手順］
つぎに、図３から図７を参照して、カット構成配列Ｍ０の生成手順について説明する。図３には、動画像処理装置１の全体的な動作手順が示されている。
【００３４】
図３に示すように、まず、データ取得部１１では、動画像データＭＰが取得され（ステップＳ１１）、カット遷移検出部１３等に供給される。カット遷移検出部１３では、動画像データＭＰに基づき動画像ＭＰ中のカット遷移が検出され（ステップＳ１３）、検出結果がカットペア特定部１５に供給される。カット遷移は、相前後するフレーム中の画像および／または音声の特徴量の類似度に基づき検出される。各カットには、カット遷移の順序を示す連番がカットＩＤとして付与される。
【００３５】
図４には、カット遷移の検出結果から求められたカット構成の一例が示されている。ここでは、理解を容易にするために、カット１〜１５の代表画像Ｉ１〜Ｉ１５を用いてカット構成が示されている。図４に示すように、カット１、３、６、８、１１、１３が互いに類似し、カット２、４、７、９、１２、１４が互いに類似し、カット５、１０、１５が互いに類似している。
【００３６】
つぎに、カットペア特定部１５では、各カットをカットグループに区分し、カットペアを特定するカットペア特定処理が行われる。図５には、カットペア特定処理の手順が示されている。図５に示すように、カットペア特定処理では、まず、初期化処理が行われる（ステップＳ３１）。初期化処理では、グループ数ｍおよびペアＩＤが初期化される（ｍ＝２、ペアＩＤ＝１）。また、カット１、２にグループＩＤ＝１、グループＩＤ＝２が各々に付与され、カット１、２にペアＩＤ＝１が付与される。
【００３７】
ここで、グループ数ｍは、動画像データＭＰから特定されているカットグループ（初期化処理時では、カットグループ１、２が特定されていることになる。）の数を示している。グループＩＤおよびペアＩＤは、各カットが属するカットグループおよびカットペアを示すために、各カットに付与される。
【００３８】
つぎに、カット１の特徴量Ｓ´が算出され、カットグループ１の特徴量Ｓ１としてデータ記憶部２９等に格納される（ステップＳ３３）。同様に、カット２の特徴量Ｓ´が算出され、カットグループ２の特徴量Ｓ２としてデータ記憶部２９等に格納される（ステップＳ３５）。カットグループの特徴量Ｓ（カットグループの特徴量の総称）は、色ヒストグラムや顔画像検出、画像間の相関、および／または音声の量や音調・リズム等、あるいはこれらの組合せとして算出される。
【００３９】
つぎに、処理対象となる後続カットの存在が確認される（ステップＳ３７）。後続カットが存在すれば（ステップＳ３７で「Ｙｅｓ」）、後続カットの特徴量Ｓ´が算出され（ステップＳ３９）、後続カットの特徴量Ｓ´とカットグループ１〜ｍの特徴量Ｓ１〜Ｓｍの間で類似が判定される（ステップＳ４１）。ここで、判定に際しては、直前カットよりも大きなグループＩＤを伴うカットグループとの間で、特徴量Ｓの類似度が優先的に判定されてもよい。これは、同一カットペアに属する場合、直前カットよりも後続カットが属するカットグループのグループＩＤが大きくなるためである。
【００４０】
そして、後続カットの特徴量Ｓ´とカットグループ１〜ｍのいずれかの間で特徴量Ｓ１〜Ｓｍの間で類似度が所定の閾値以上であると判定された場合（ステップＳ４１で「Ｙｅｓ」）、後続カットには、最も類似度の高いカットグループｘ（１≦ｘ≦ｍ）のグループＩＤが付与される（ステップＳ４３）。
【００４１】
また、後続カットのグループＩＤが直前カットのグループＩＤと比較され（ステップＳ４５）、前者の方が小さい場合にペアＩＤが１インクリメントされる（ステップＳ４７）。この場合、直前カットと後続カットが相異なるカットペアに属し、両カットの間にカットペア間の境界（カットの切返し点）が存在することになる。後続カットには、従前のペアＩＤまたはインクリメントされたペアＩＤが付与される（ステップＳ４９）。後続カットの特徴量Ｓ´は、カットグループｘの特徴量Ｓｘの一部として格納されて利用されてもよく、棄却されてもよい（ステップＳ５１）。
【００４２】
一方、後続カットの特徴量Ｓ´とカットグループ１〜ｍの特徴量Ｓ１〜Ｓｍの全ての間で類似度が所定の閾値未満であると判定された場合（ステップＳ４１で「Ｎｏ」）、新たなカットグループを生成するためにグループ数ｍが１インクリメントされる（ステップＳ５３）。後続カットには、新たなカットグループとして、グループ数ｍに相当するグループＩＤが付与される（ステップＳ５５）。また、後続カットには、従前のペアＩＤが付与される（ステップＳ５７）。後続カットの特徴量Ｓ´は、新たなカットグループｍの特徴量Ｓｍとして格納されて利用される（ステップＳ５９）。
【００４３】
ステップＳ３７〜Ｓ５９の処理は、後続カットが存在しなくなるまで（ステップＳ３７で「Ｎｏ」）繰返される。そして、後続カットが存在しなければ、カットペア特定処理が終了し、図３に示すように、引き続きステップＳ１７の処理が行われる。
【００４４】
図６には、図４に示したカット構成に対するカットペアの特定結果が示されている。図６に示すように、各カットの特徴量Ｓ´の類似度に基づき、カット１、３、６、８、１１、１３にグループＩＤ＝１が付与され、カット２、４、７、９、１２、１４にグループＩＤ＝２が付与され、カット５、１０、１５にグループＩＤ＝３が付与されている。また、カット遷移の順序に基づき、カット１〜１５にペアＩＤ＝１〜６が付与され、カット１、２、カット３〜５、カット６、７、カット８〜１０、カット１１、１２、カット１３〜１５が一連の相異なるカットとして繰返されるカットペア１〜６として各々に特定されている。
【００４５】
カットペアの特定が終了すると、表示最適化部１７では、カットペアの特定結果に基づき、カット構成配列Ｍ０が最適化される（ステップＳ１７）。表示最適化部１７では、まず、カット構成配列Ｍ０が生成される。カット構成配列Ｍ０とは、動画像ＭＰ中でのカットペアの出現順序および各カットペア中でのカットの出現順序に基づき、各カットを行列状に配列するための情報である。
【００４６】
図７には、図６に示したカットペアの特定結果から生成されたカット構成配列Ｍ０が示されている。図７では、カット構成配列Ｍ０中にカットＩＤが示されている。図７に示すカット構成配列Ｍ０では、カット１、２が横並びに配列され、カット１、２の下にカット３〜５が横並びに配列され、同様に、カット６、７、カット８〜１０、カット１１、１２、カット１３〜１５が配列されている。
【００４７】
つまり、カット１〜１５は、動画像ＭＰ中でのカットペアの出現順序（ペアＩＤ）を第１方向（縦方向）、各カットペア中でのカットの出現順序（グループＩＤ）を第２方向（横方向）とする行列状に並べて配列されている。なお、第１方向と第２方向の組合せは、縦方向と横方向の組合せに代えて、横方向と縦方向の組合せでもよい。
【００４８】
［４．カット構成配列Ｍ０の最適化手順］
つぎに、図８および図９Ａ〜９Ｃを参照して、カット構成配列Ｍ０の最適化手順について説明する。図８には、カット構成配列Ｍ０の最適化手順が示されている。
【００４９】
以下では、所定の表示領域Ａｄに対して、図７に示したカット構成配列Ｍ０を最適化する場合について説明する。ここで、表示領域Ａｄは、第１方向の表示高（画素数）Ｙ、第２方向の表示幅（画素数）Ｘ、表示範囲サイズＡ（＝Ｘ×Ｙ）である場合を想定する。各カットの代表画像Ｉは、第１方向の原寸高（画素数）ｙ０、第２方向の原寸幅（画素数）ｘ０、代表画像サイズａ０（＝ｘ０×ｙ０）、アスペクト比Ｒａ＝ｘ０／ｙ０である場合を想定する。
【００５０】
図８に示すように、まず、処理カウンタｉが初期化（ｉ＝１）される（ステップＳ６１）。つぎに、表示領域Ａｄの表示幅Ｘから代表画像Ｉの最大表示幅ｘｍａｘが算出される（ステップＳ６３）。最大表示幅ｘｍａｘは、表示領域Ａｄの表示幅Ｘをカット構成のグループ数ｍで除して算出される（ｘｍａｘ＝Ｘ／ｍ）。なお、代表画像Ｉの最大表示幅ｘｍａｘが代表画像Ｉの原寸幅ｘ０より大きい場合には、最大表示幅ｘｍａｘが原寸幅ｘ０に設定されてもよい。
【００５１】
つぎに、最大表示幅ｘｍａｘで代表画像Ｉを表示する場合のカットペアの表示数Ｎ１が算出される（ステップＳ６５）。ここで、表示数Ｎ１は、表示領域Ａｄの表示高Ｙを代表画像Ｉの最大表示高ｙｍａｘで除して算出される（Ｎ１＝Ｙ／ｙｍａｘ）。なお、最大表示高ｙｍａｘは、最大表示幅ｘｍａｘをアスペクト比Ｒａで除して算出される（ｙｍａｘ＝ｘｍａｘ／Ｒａ）。また、表示数Ｎ１は、小数点以下を切り捨てた値として算出される。
【００５２】
つぎに、カットペアの表示数Ｎ１に基づきカット構成配列Ｍ０から第１の部分配列Ｍ１が生成される（ステップＳ６７）。ここで、部分配列とは、カット構成配列Ｍ０から部分的に抽出された配列である。第１の部分配列Ｍ１は、カットペア１〜Ｎ１中の全てのカットを含む配列として生成され、配列に含まれるカットの総数が第１の部分配列Ｍ１中のカット総数ｎ１となる。
【００５３】
つぎに、表示領域Ａｄに対する第１のカット構成画像ＣＩの表示占有率Ｒｏ１が算出される（ステップＳ６９）。ここで、第１のカット構成画像ＣＩの表示占有率Ｒｏ１は、第１の部分配列Ｍ１中のカット総数ｎ１に代表画像サイズ（ａ１＝ｘｍａｘ×ｙｍａｘ）を乗じた値を、表示範囲サイズＡで除して算出される（Ｒｏ１＝ａ１×ｎ１／Ａ）。
【００５４】
つぎに、処理カウンタｉが１インクリメントされ（ステップＳ７１）、表示数Ｎｉが１インクリメントされる（ステップＳ７３）。つぎに、カットペアの表示数Ｎｉに基づきカット構成配列Ｍ０から第ｉの部分配列Ｍｉが生成される（ステップＳ７５）。第ｉの部分配列Ｍｉは、カットペア１〜Ｎｉ中の全てのカットを含む配列として生成される。
【００５５】
つぎに、表示数Ｎｉで代表画像Ｉを表示する場合の代表画像サイズａｉが算出される（ステップＳ７７）。ここで、代表画像サイズａｉは、表示数Ｎｉで代表画像Ｉを表示する場合の表示高ｙｉと表示幅ｘｉを乗じて算出される（ａｉ＝ｘｉ×ｙｉ）。表示高ｙｉは、表示領域Ａｄの表示高Ｙを表示数Ｎｉで除して算出され（ｙｉ＝Ｙ／Ｎｉ）、表示幅ｘｉは、表示高ｙｉにアスペクト比Ｒａを乗じて算出される（ｘｉ＝ｙｉ×Ｒａ）。
【００５６】
つぎに、表示領域Ａｄに対する第ｉのカット構成画像ＣＩの表示占有率Ｒｏｉが算出される（ステップＳ７９）。ここで、第ｉのカット構成画像ＣＩの表示占有率Ｒｏｉは、第ｉの部分配列Ｍｉ中のカット総数ｎｉに代表画像サイズａｉを乗じた値を、表示範囲サイズＡで除して算出される（Ｒｏｉ＝ａｉ×ｎｉ／Ａ）。
【００５７】
つぎに、算出された表示占有率Ｒｏｉが直前の処理（処理カウンタｉ−１の処理）で算出された表示占有率Ｒｏｉ−１よりも小さいかが判定される（ステップＳ８１）。そして、判定結果が肯定的であれば（ステップＳ８１で「Ｙｅｓ」）、表示数Ｎｉ−１が最適表示数Ｎｏｐｔとなる（ステップＳ８３）。結果として、第ｉ−１の部分配列Ｍｉ−１が最適化されたカット構成配列として決定される。
【００５８】
一方、判定結果が否定的であれば（ステップＳ８１で「Ｎｏ」）、処理がステップＳ７１に復帰する。そして、次の処理カウンタｉ＋１に相当する表示数Ｎｉ＋１が設定され、ステップＳ８１の判定結果が肯定的となるまでステップＳ７１〜Ｓ８１の処理が繰返される。
【００５９】
ここで、上記手順によれば、表示数Ｎｉが大きくなるほど、代表画像Ｉの表示サイズａｉが小さくなる。このため、代表画像Ｉの最小表示高ｙｍｉｎを予め設定しておき、表示数Ｎｉから算出される代表画像Ｉの表示高ｙｉが最小表示高ｙｍｉｎ未満となるかが判定されてもよい。そして、判定結果が肯定的であれば、最適化処理を打ち切り、表示占有率Ｒｏｉが最大となる第１の部分配列Ｍ１の表示数Ｎ１を最適表示数Ｎｏｐｔとしてもよい。
【００６０】
図９Ａ〜９Ｃには、図４に示したカット構成に対する最適化処理の結果が示されている。図９Ａに示すように、第１の部分配列Ｍ１は、表示数Ｎ１＝４であり、カットペア１〜４に含まれるカット１〜１０からなる。この場合、カット構成のグループ数がｍ＝３であるので、カット構成画像ＣＩとしては、図９Ａに示すように、表示領域Ａｄの表示幅Ｘ一杯にカットグループ１〜３の代表画像Ｉ１〜Ｉ１０が表示されることになる。そして、第１の部分配列Ｍ１の表示占有率がＲｏ１＝０．７４と算出されている。
【００６１】
図９Ｂに示すように、第２の部分配列Ｍ２は、表示数Ｎ２＝５であり、カットペア１〜５に含まれるカット１〜１２からなる。この場合、カット構成画像ＣＩとしては、図９Ｂに示すように、表示領域Ａｄの表示高Ｙ一杯にカットペア１〜５の代表画像Ｉ１〜Ｉ１２が表示されることになる。そして、第２の部分配列Ｍ２の表示占有率がＲｏ２＝０．７６と算出されている。ここで、Ｒｏ１（＝０．７４）＜Ｒｏ２（＝０．７６）であるので、最適化処理が継続される。
【００６２】
図９Ｃに示すように、第３の部分配列Ｍ３は、表示数Ｎ３＝６であり、カットペア１〜６に含まれるカット１〜１５からなる。この場合、カット構成画像ＣＩとしては、図９Ｃに示すように、表示領域Ａｄの表示高Ｙ一杯にカットペア１〜６の代表画像Ｉ１〜Ｉ１５が表示されることになる。そして、第３の部分配列Ｍ３の表示占有率がＲｏ３＝０．６７と算出されている。ここで、Ｒｏ３（＝０．６７）＜Ｒｏ２（＝０．７６）であるので、第２の部分配列Ｍ２が最適化されたカット構成配列となる。よって、最適表示数Ｎｏｐｔは、表示数Ｎ２＝５となる。
【００６３】
なお、図９Ａ、９Ｂでは、カット構成配列Ｍ０中の全てのカットペア１〜６が表示されていないので、表示領域Ａｄの下方には、表示されていないカットペアの存在を暗示するマークＭが表示されている。
【００６４】
以上説明したように、本実施形態に係る動画像処理方法によれば、表示領域Ａｄに対する表示占有率Ｒｏを最大化するようにカットペアの数Ｎを調整し、調整されたカットペアの数Ｎを満たすカット構成画像ＣＩを生成することで、カット構成の一覧性およびカット構成画像ＣＩの視認性を確保可能なカット構成画像ＣＩを生成することができる。
【００６５】
ここで、図９Ａ〜９Ｃを参照して説明したように、最適化された配列は、表示条件の制約により必ずしも動画像ＭＰ中の全てのカット構成を含んでいない場合がある。よって、最適化された配列に従ってカット構成画像ＣＩを生成すると、動画像ＭＰのカット構成を適切に表すことができなくなってしまう場合がある。このため、以下で説明するように、最適化された配列（最適表示数Ｎｏｐｔ）を満たすようにカット構成配列Ｍ０からカットを選別してカットペアを生成した上で、カット構成画像ＣＩが生成される。
【００６６】
表示最適化処理が終了すると、図３に示すように、カットペア生成部１９により、複数のカットペアから最適表示数Ｎｏｐｔのカットペアが生成される（ステップＳ１９）。カットペアは、複数のカットの少なくとも一部を組合せて、各カットペアをなす２以上のカットが相異なるカットグループに属するとともに動画像ＭＰ中でのカット遷移の前後関係を満たすように生成される。
【００６７】
［５．カットペアの生成手順］
つぎに、図１０から図２５を参照して、カットペアの生成手順について説明する。図１０には、カットペアの生成手順が示されている。
【００６８】
カットペアの生成では、カット遷移の検出およびカットペアの特定が予め行われる。前述したように、カット遷移の検出では、複数のカットを含む動画像ＭＰからカット間の遷移が検出される（ステップＳ９１）。また、カットペアの特定では、複数のカットが相異なる特徴量Ｓを有する複数のカットグループに区分され、相異なるカットグループに属する２以上の連続するカットからなるカットペアであり、動画像ＭＰ中で繰返される複数のカットペアが特定される（ステップＳ９３）。
【００６９】
カットペアの生成では、カットペアは、カット構成配列Ｍ０中のカットペアをペアグループに区分した上で、各ペアグループから生成（第１の生成手順）されてもよく、カットペアをペアグループに区分せずに、カット構成配列Ｍ０から直接生成（第２の生成手順）されてもよい。このため、カットペアの生成では、まず、第１の生成手順を選択するかが判定される（ステップＳ９５）。
【００７０】
そして、判定結果が肯定的である場合（ステップＳ９５で「Ｙｅｓ」）、まず、カットまたはカットペアの特徴量に基づき、カット構成配列Ｍ０中のカットペアが最適表示数Ｎｏｐｔのペアグループに区分される（ステップＳ９７）。つぎに、各ペアグループについて、各ペアグループに含まれるカットのうち少なくとも一部を組合せて、各ペアグループに含まれるカットペアから１のカットペアが生成される（ステップＳ９８）。ここで、カットは、各カットペアをなす２以上のカットが相異なるカットグループに属するとともに動画中でのカット遷移の前後関係を満たすように組合される。
【００７１】
一方、判定結果が否定的である場合（ステップＳ９５で「Ｎｏ」）、ペアグループを考慮せずに、複数のカットの少なくとも一部を組合せて、複数のカットペアから最適表示数Ｎｏｐｔのカットペアが生成される（ステップＳ９９）。ここでも、カットは、各カットペアをなす２以上のカットが相異なるカットグループに属するとともに動画像ＭＰ中でのカット遷移の前後関係を満たすように組合される。
【００７２】
以下では、図１１から図２５を参照して、カットペア１〜７から最適表示数Ｎｏｐｔ＝３を満たすように、カットペアを生成する場合について説明する。なお、以下では、図４〜図９で用いた動画像データＭＰとは異なる動画像データＭＰを用いて説明する。
【００７３】
図１１には、２つの生成手順によるカット構成画像ＣＩの生成例が示されている。第１の生成手順では、まず、カット構成配列Ｍ０中のカットペア１〜７がペアグループ１（カットペア１〜３）、ペアグループ２（カットペア４、５）、およびペアグループ３（カットペア６、７）に区分されている。つぎに、ペアグループ１からカット３、４が選別され、ペアグループ２からカット８、９が選別され、ペアグループ３からカット１１、１４が選別されている。なお、図中では、選別されたカットにハッチングが施されている。一方、第２の生成手順では、カットペア１〜７をペアグループに区分せずに、カット３、４、８、９、１１、１４がカット構成配列Ｍ０から直接選別されている。
【００７４】
図１２には、カットペアの生成条件の一例が示されている。カットペアは、図１２に示すカットペアの生成条件に従ってカット構成配列Ｍ０から生成される。ここで、カットの特徴としては、カットの画像のフレーム数、カットの音声の音量、カットの画像の輝度・色、カットの画像中の動き量等が挙げられる。特徴量としては、合計値、平均値、最大・最小値、中央値、最頻値、分散、変動係数、変化値（差分）、ヒストグラム、行列値等が挙げられる。特徴量の処理単位としては、カット単位、カットペア単位、カットペア中の差分、対応するカット間等が挙げられる。特徴量の評価基準としては、特徴量の降順・昇順、基準値からの変動、連続する特徴量間の差分、行列値の内積・外積等が挙げられる。
【００７５】
カットペアの生成条件は、例えば、カットの特徴を「フレーム数」、特徴量を「合計値」、処理単位を「カットペア単位」、評価基準を「特徴量の昇順」というように、カットの特徴、特徴量、処理単位および評価基準を適当に組合せて形成される。なお、上記したカットの特徴、特徴量、処理単位および評価基準は、一例にすぎず、必ずしも全ての組合せが可能であることを意味するものではない。以下では、いくつかの生成条件を例としてカットペアの生成処理について説明する。
【００７６】
まず、第１の生成手順に従って、カットペア１〜７から最適表示数Ｎｏｐｔ＝３を満たすようにカットペアを生成する場合について説明する。なお、以下で挙げる処理条件およびカット構成は、カットペアの生成処理を説明するための一例である。
【００７７】
図１３には、カットペアのフレーム数に基づきカットペアを生成する例が示されている。まず、カットペア１〜７のフレーム数に基づきカットペア１〜７がペアグループ１〜３に区分される（ペアグループの項参照）。カットペア１〜７は、各ペアグループに含まれるカットペアのフレーム総数がほぼ等しくなるように区分される。上記例では、ペアグループ１、２、３に含まれるカットペアのフレーム総数が１２０、８０、１００となるように、カットペア１〜７が区分されている（累計の項参照）。つぎに、ペアグループ１〜３について、各ペアグループに含まれるカットペアからフレーム数が最大のカットペアが選別される。上記例では、ペアグループ１、２、３について、カットペア３、４、７が各々に選別されている（ペアフレーム数の項参照）。よって、カット構成画像ＣＩを生成するために、カットペア３、４、７からなる３つのカットペアが生成される。
【００７８】
なお、フレーム数に代えて、カットペア数に基づきカットペア１〜７を区分してもよい。この場合、カットペア１〜７は、各ペアグループに含まれるカットペアの数がほぼ等しくなるように、例えば、カットペア１、２とカットペア３、４とカットペア５〜７に区分されてもよい。また、フレーム数が最大のカットペアに代えて、フレーム数が最小のカットペアや中央値のカットペア等を選別してもよい。
【００７９】
図１４には、カットのフレーム数に基づきカットペアを生成する例が示されている。まず、カットペア１〜７に含まれ、カットグループ１に属する主カット（カット１、３、５、７、９、１１、１３）のフレーム数に基づきカットペア１〜７がペアグループ１〜３に区分される。
【００８０】
具体的に、ペアグループの区分では、全ての主カットからフレーム数が上位２位となる２つの主カットが選択される。上記例では、フレーム数２０、２５の主カット５、９が選択されている（グループ１フレーム数の項参照）。そして、選択された主カットの位置を区切りとして、カットペア１〜７がペアグループ１〜３に区分される。この場合、上記例では、主カット５、９の位置を区切りとして、カットペア１〜３、カットペア４、５、カットペア６、７がペアグループ１、２、３に各々に区分されている（ペアグループの項参照）。
【００８１】
つぎに、ペアグループ１〜３の各々について、カットグループ１に属する主カットからフレーム数が最大の主カットが選別される。上記例では、ペアグループ１、２、３について、主カット５、９、１１が各々に選別されている（グループ１フレーム数の項参照）。
【００８２】
つぎに、ペアグループ１〜３の各々について、カットグループ２に属する副カット（カット２、４、６、８、１０、１２、１４）からフレーム数が最大の副カットが選別される。上記例では、ペアグループ１、２、３について、副カット２、１０、１４が各々に選別されている（グループ２フレーム数の項参照）。よって、カット構成画像ＣＩを生成するために、カット２、５からなるカットペア、カット９、１０からなるカットペア、カット１１、１４からなるカットペアが生成される。
【００８３】
この場合、主カット５と副カット２の間でカット遷移の順序が逆順（主カットのカットＩＤ＞副カットのカットＩＤ）となっているので、主カットと副カットの間でカット遷移の順序が正順（主カットのカットＩＤ＜副カットのカットＩＤ）となるように、副カット２に代えて、副カット６が選別されてもよい。
【００８４】
なお、主カットと副カットを各々のフレーム数に基づき別々に選別する代わりに、主カットをフレーム数に基づき選別した上で、選別された主カットと同一のカットペアに属する副カットを選別してもよい。この場合、例えば、主カット５、９、１１を選別すると、副カット６、１０、１２が自動的に選別される。
【００８５】
また、主カットのフレーム数に代えて、副カットのフレーム数に基づきカットペア１〜７を区分してもよく、カットペアのフレーム数に基づきカットペア１〜７を区分してもよい。また、フレーム数が上位２位となる２つの主カットに代えて、フレーム数が下位２位となる２つの主カットの位置を区切りとしてもよい。また、各ペアグループについてフレーム数が最大の主カットおよび副カットを選別する代わりに、フレーム数が最大となるカットペアに属する主カットおよび副カットを選別してもよい。
【００８６】
図１５には、カット間の音量変動に基づきカットペアを生成する例が示されている。まず、図１３に示した例と同様に、カットペア１〜７のフレーム数に基づきカットペアがペアグループ１〜３に区分される。
【００８７】
つぎに、ペアグループ１〜３の各々について、カットグループ１に属する主カット（カット１、３、５、７、９、１１、１３）から音量変動が最大の主カットが選別される。ここで、音量変動は、各ペアグループに含まれる主カットにおける平均音量に対する各主カットの音量の比率として算出される。上記例では、ペアグループ１、２、３に含まれる主カットの平均音量１８．３、１５．０、２０．０に対して、音量変動の絶対値が最大となる主カット３（音量変動−６．７）、主カット７（同５．０）、主カット１１（同−５．０）が選別されている（グループ１音量変動の項参照）。なお、同一ペアグループ内で絶対値の最大値が２以上存在する場合には、便宜的にカットＩＤが小さい主カットが選別されている。
【００８８】
同様に、ペアグループ１〜３の各々について、カットグループ２に属する副カット（カット２、４、６、８、１０、１２、１４）から音量変動が最大の副カットが選別される。ここで、音量変動は、各ペアグループに含まれる副カットにおける平均音量に対する各副カットの音量の比率として算出される。この場合、上記例では、ペアグループ１、２、３に含まれる副カットの平均音量１８．３、１５．０、１２．５に対して、音量変動の絶対値が最大となる副カット６（音量変動−６．７）、副カット８（同−５．０）、副カット１２（同２．５）が選別されている（グループ２音量変動の項参照）。なお、同一ペアグループ内で絶対値の最大値が２以上存在する場合には、便宜的にカットＩＤが小さい副カットが選別されている。よって、カット構成画像ＣＩを生成するために、カット３、６からなるカットペア、カット７、８からなるカットペア、カット１１、１２からなるカットペアが生成される。
【００８９】
なお、カットペアのフレーム数に基づきカットペアをペアグループに区分する代わりに、図１４に示した例のように、全てのカットから音量変動が上位２位となる２つのカットを選択し、選択したカットの位置を区切りとして、カットペア１〜７をペアグループに区分してもよい。ここで、音量変動は、カットペア１〜７に含まれる全てのカットにおける平均音量に対する各カットの音量の比率として算出される。
【００９０】
また、ペアグループ１〜３の各々について、主カットと副カットを区別せずに、各ペアグループに含まれる全てのカットから音量変動が最大のカットを選別してもよい。例えば、ペアグループ１については、カット１〜６から音量変動が最大のカット３（平均音量１８．３からの音量変動−６．７）を選別した上で、選別されたカット３と同一のカットペア２に属するカット４を選別してもよい。
【００９１】
また、各ペアグループについて音量変動が最大となる主カットおよび副カットを各々に選別する代わりに、音量変動が最大となるカットペアに属する主カットおよび副カットを選別してもよい。ここで、音量変動は、各ペアグループに含まれる全てのカットペアにおける平均音量に対する各カットペアの音量の比率として算出される。
【００９２】
つぎに、第２の生成手順に従って、カットペア１〜７から最適表示数Ｎｏｐｔ＝３を満たすようにカットペアを生成する場合について説明する。なお、以下で挙げる処理条件およびカット構成は、カットペアの生成処理を説明するための一例である。
【００９３】
図１６には、カットペアのフレーム数に基づきカットペアを生成する例が示されている。カットペア１〜７からフレーム数が上位３位となる３つのカットペアが選択される。そして、選択されたカットペアに含まれるカットが選別される。上記例では、ペアフレーム数６０、６０、６０のカットペア３、４、７に対応するカット５〜８、１３、１４が選別されている（ペアフレーム数の項参照）。よって、カット構成画像ＣＩを生成するために、カットペア３、４、７からなる３つのカットペアが生成される。
【００９４】
なお、フレーム数が上位３位となる３つのカットペアに代えて、フレーム数が平均的な３つのカットペアを選択してもよく、フレーム数が平均的な１つのカットペアと、フレーム数が上位２位となる２つのカットペアを選択してもよい。
【００９５】
図１７には、カットのフレーム数に基づきカットペアを生成する例が示されている。まず、カットペア１〜７に含まれる全てのカットからフレーム数が上位３位となる３つのカットが選別される。つぎに、選別されたカットと同一のカットペアに属するカットが選別される。上記例では、フレーム数２５、２０、２５のカット２、５、９が選別された後、対応するカット１、６、１０が選別されている。よって、カット構成画像ＣＩを生成するために、カットペア１、３、５からなる３つのカットペアが生成される。
【００９６】
なお、全てのカットに代えて、主カットまたは副カットのいずれか一方からフレーム数が上位３位となる３つのカットを選別してもよい。また、主カットまたは副カットのいずれか一方からフレーム数が平均的な１つのカットを選別し、他方からフレーム数が上位２位となる２つのカットを選別してもよい。
【００９７】
図１８には、カット間の音量変動に基づきカットペアを生成する例が示されている。まず、カットペア１〜７に含まれる全てのカットから音量変動が上位３位となる３つのカットが選別される。ここで、音量変動は、カットペア１〜７に含まれるカットにおける平均音量に対する各カットの音量の比率として算出される。つぎに、選別されたカットと同一のカットペアに属するカットが選別される。上記例では、いずれも音量変動−８．２のカット３、６、１１が選別された後、対応するカット４、５、１２が選別されている（グループ１、２音量変動の項参照）。よって、カット構成画像ＣＩを生成するために、カットペア２、３、６からなる３つのカットペアが生成される。
【００９８】
なお、全てのカットに代えて、主カットまたは副カットのいずれか一方から音量変動が上位３位となる３つのカットを選別してもよい。ここで、音量変動は、カットペア１〜７に含まれる主カットまたは副カットのいずれか一方における平均音量に対する各カットの音量の比率として算出される。
【００９９】
図１９には、カット間での画面輝度の変動に基づきカットペアを生成する例が示されている。まず、各カット１〜１４の代表画像について、画像処理に基づき画面輝度を正規化して表すヒストグラムが算出される。つぎに、カットグループ毎に７つのカットの平均ヒストグラムが算出される。ヒストグラムでは、代表画像に含まれる画素の輝度を所定の輝度間隔で区分した場合における区分毎の頻度が表されている。図１９には、カット１〜１４の代表画像Ｉ１〜Ｉ１４とともに、各代表画像Ｉ１〜Ｉ１４の正規化ヒストグラムおよびカットグループ毎の平均ヒストグラムが示されている。
【０１００】
つぎに、平均ヒストグラムに対する変動が上位３位となる３つのカットが選別される。ここでは、ヒストグラムの変動は、各カットの正規化ヒストグラムと、各カットが属するカットグループの平均ヒストグラムとの差分として算出される。そして、選別されたカットと同一のカットペアに属するカットが選別される。上記例では、カット１、１１、１４の変動が上位３位となり、カット構成画像ＣＩを生成するために、カットペア１、６、７からなる３つのカットペアが生成される。
【０１０１】
つぎに、カット間での特徴量の類似度に基づきカットペアを生成する場合について説明する。以下では、カットペア１〜７をなすカット１〜１４から最適表示数Ｎｏｐｔ＝３を満たすようにカットペアを生成する場合について説明する。
【０１０２】
図２０には、カット１〜１４間で特徴量の類似度を算出した結果が示されている。図２０に示す算出結果では、カット１〜１４は、カットグループ１（カット１、３、５、７、９、１１、１３）と、カットグループ２（カット２、４、６、８、１０、１２、１４）に区分されるとともに、カットペア１〜７に区分されている。
【０１０３】
図２０では、カット１、２の特徴量に相当するカットグループ１、２の特徴量Ｓ１、Ｓ２を基準として、カット１〜１４間の特徴量の類似度が０〜１の値として示されている。ここで、特徴量の類似度が１に近いほどカット間で特徴量が類似していることを意味している。例えば、同一のカットグループに属するカット１−３間では、特徴量の類似度が０．９と高く、異なるカットグループに属するカット１−４間では、特徴量の類似度が０．１と低くなっている。
【０１０４】
図２１には、カット１−２間の類似度を示す第１の類似度行列Ｍｓ１と、カット３−４間の類似度を示す第２の類似度行列Ｍｓ２が示されている。第１および第２の類似度行列Ｍｓ１、Ｍｓ２は、図２０に示した算出結果から抽出された行列である。そして、第１と第２の類似度行列Ｍｓ１、Ｍｓ２の内積により、カットペア１（カット１、２）とカットペア２（カット３、４）の間の類似度を算出することができる。ここで、第１と第２の類似度行列Ｍｓ１、Ｍｓ２の内積が大きいほどカットペア間が類似していることを意味している。
【０１０５】
図２１に示すように、第１の類似度行列Ｍｓ１は、（１．０、０．２、０．３、１．０）とベクトル化され、第２の類似度行列Ｍｓ２は、（０．９、０．１、０．２、０．８）とベクトル化される。よって、第１と第２の類似度行列Ｍｓ１、Ｍｓ２の内積は、１．０×０．９＋０．２×０．１＋０．３×０．２＋１．０×０．８≒１．８と算出される。同様の方法で、カットペア１−２間を除くカットペア１〜７間の類似度が算出される。
【０１０６】
これにより、図２２に示すように、カットペア１〜７間の類似度が算出される。図２２には、カットペア１〜７間の類似度と併せて、カットペア１〜７について、類似度の総和が各々に示されている。ここで、類似度の総和が大きいほどカットペアの親和度が高いこと、つまり、カットペア１〜７を代表するカットペアである蓋然性が高いことを意味している。
【０１０７】
類似度行列Ｍｓ（類似度行列の総称）の内積に基づきカットペアを生成する場合、第１に、類似度の総和が最大（９．１）となるカットペア３が選択される。第２に、カットペア３との類似度が最低（１．１）となるカットペア７が選択される。第３に、カットペア７との類似度が最低（０．９）となるカットペア１が選択される。よって、カット構成画像ＣＩを生成するために、カットペア１、３、７からなる３つのカットペアが生成される。
【０１０８】
なお、カットペア７との類似度が最低であるという基準に代えて、カットペア３との類似度が２番目に低いという基準でカットペアが選択されてもよい。また、類似度の総和が最大となるカットペア、最低となるカットペア、平均値に直近のカットペアという基準で３つのカットペアが選択されてもよい。
【０１０９】
これにより、全てのカットペアを代表する代表的なカットペアと、代表的なカットペアとは類似しない他のカットペアを生成することができる。
【０１１０】
図２３には、カット１−２間の類似度を示す第１の類似度行列Ｍｓ１と、カット３−４間の類似度を示す第２の類似度行列Ｍｓ２が示されている。第１および第２の類似度行列Ｍｓ１、Ｍｓ２は、図２０に示した算出結果から抽出された行列である。そして、カット１〜１４間の類似度を示す類似度行列Ｍｓのスカラー値により、カットペアを選択することができる。ここで、類似度行列Ｍｓのスカラー値が大きいほど、カットペア１〜７を代表するカットペアである蓋然性が高いことを意味している。
【０１１１】
例えば、第１の類似度行列Ｍｓ１のスカラー値は、１．０＋０．２＋０．３＋１．０＝２．５と算出され、第２の類似度行列Ｍｓ２のスカラー値は、０．９＋０．１＋０．２＋０．８＝２．０と算出される。よって、カットペア１（カット１、２）とカットペア２（カット３、４）との間では、カットペア１の方が全てのカットペアを代表する代表的なカットペアである蓋然性が高いことになる。
【０１１２】
類似度行列Ｍｓのスカラー値に基づきカットペアを生成する場合、まず、カットペア１〜７間で類似度行列Ｍｓのスカラー値が算出される。つぎに、図２２に示した場合において、類似度の総和をスカラー値に置き換えて処理することで、３つのカットペアが選択される。そして、選択されたカットペアに含まれるカットが選別される。
【０１１３】
これにより、全てのカットペアを代表する代表的なカットペアと、代表的なカットペアとは類似しない他のカットペアを生成することができる。
【０１１４】
カットペア生成処理が終了すると、図３に示すように、メタ情報生成部２１により各カットのメタ情報ＭＩが生成される（ステップＳ２１）。メタ情報生成部２１では、まず、動画像データＭＰおよびカット遷移の検出結果に基づき、動画像データＭＰから各カットに含まれる画像や音声の特徴が抽出される。
【０１１５】
例えば、カットに音声（セリフ、音響効果等）が含まれている場合、カットに含まれる音声が抽出され、音声認識処理等を通じて、抽出された音声に対応する文字・画像情報が生成されてもよい。カットに音声が含まれていない場合、無音カットであることを示す文字・画像情報が生成されてもよい。なお、無音カットは、セリフが含まれていない無音カットと、セリフも音響効果も含まれていない無音カットに区別されてもよい。カットに含まれる音声の音量の平均値・変動値、無音区間と有音区間の比率、音声の音調・リズムまたは変動を示す文字・画像情報が生成されてもよい。
【０１１６】
また、カットに含まれるフレームの数またはカットの再生に要する時間が算出されて、算出値を示す文字・画像情報が生成されてもよい。カットに含まれる画像の明るさの平均値・変動値、画像の内容等または変化を示す文字・画像情報が生成されてもよい。
【０１１７】
カット構成画像生成部２３では、カットペア生成処理の結果に基づき、カット構成画像ＣＩが生成される（ステップＳ２３）。カット構成画像生成部２３では、まず、動画像データＭＰおよびカットペア生成処理の結果に基づき、選別されたカットに属する一連の画像から所定の基準に従って代表画像Ｉが抽出される。なお、各カットの代表画像Ｉは、カット遷移の検出時に予め抽出されていてもよい。つぎに、カットペアを明示しつつ各カットの代表画像Ｉをカット遷移の順序に従って並べたカット構成画像ＣＩが生成される。ここで、各カットのメタ情報ＭＩが生成されている場合には、各カットの代表画像Ｉとともに表示されることになる。
【０１１８】
図２４には、図１３に示したカットペア生成処理の結果から生成されたカット構成画像ＣＩの一例が示されている。図２４に示すカット構成画像ＣＩでは、カット５、６の代表画像Ｉ５、Ｉ６が横並びに配置され、カット５、６の代表画像Ｉ５、Ｉ６の下にカット７、８の代表画像Ｉ７、Ｉ８が横並びに配置され、カット７、８の代表画像Ｉ７、Ｉ８の下にカット１３、１４の代表画像Ｉ１３、Ｉ１４が横並びに配置されている。このようなカット構成画像ＣＩによりカット構成の把握が容易となる。なお、カット構成画像ＣＩの構成は、図２４に示した構成に限定されるものではない。
【０１１９】
図２５には、カット構成画像ＣＩの変形例が示されている。図２５に示すカット構成画像ＣＩでは、カットの代表画像Ｉに重ねてカットのメタ情報ＭＩが表示されている。カットのメタ情報ＭＩとは、カットに含まれる画像や音声の特徴を示す情報である。
【０１２０】
音声特徴を示すメタ情報ＭＩは、例えば、各カットに含まれる音声（セリフ、音響効果等）の内容を示す情報、各カットに音声が含まれないこと（無音カットであること）を示す情報等である。画像特徴を示すメタ情報ＭＩは、例えば、各カットに含まれるフレームの数を示す情報、各カットの再生に要する時間を示す情報等である。
【０１２１】
ここで、図２５の状態Ａに示すカット構成画像ＣＩでは、例えば、カット１の代表画像Ｉ１、カット７の代表画像Ｉ７、カット１１の代表画像Ｉ１１に対して、カット１、３のメタ情報ＭＩ１、ＭＩ３、カット５、７、９のメタ情報ＭＩ５、ＭＩ７、ＭＩ９、カット１１のメタ情報ＭＩ１１が各々に重ねて表示されている。これにより、３つのカットのメタ情報ＭＩ５、ＭＩ７、ＭＩ９を重ねて表示されたカット７の代表画像Ｉ７では、代表画像Ｉ７の視認性が低下している。
【０１２２】
このため、カット１、７、１１の代表画像Ｉ１、Ｉ７、Ｉ１１についてメタ情報ＭＩによる隠蔽率、つまり代表画像Ｉ上でのメタ情報ＭＩの表示占有率が算出される。この場合、カット７の代表画像Ｉ７では隠蔽率が相対的に高く、カット１１の代表画像Ｉ１１では隠蔽率が相対的に低くなっている。
【０１２３】
よって、図２５の状態Ｂに示すカット構成画像ＣＩ´では、メタ情報ＭＩによる隠蔽率に基づき、カット７の代表画像Ｉ７上のカット９のメタ情報ＭＩ９がカット１１の代表画像Ｉ１１上に移動されている。これにより、カット７の代表画像Ｉ７では、状態Ａの場合と比べて隠蔽率が低くなり、代表画像Ｉ７の視認性を確保することができる。
【０１２４】
以上説明したように、本実施形態に係る動画像処理方法によれば、複数のカットの少なくとも一部を所定の条件を満たすように組合せて所定数のカットペアを生成し、生成されたカットペアからなるカット構成画像ＣＩを生成することで、カット構成の一覧性およびカット構成画像ＣＩの視認性を確保可能なカット構成画像ＣＩを生成することができる。
【０１２５】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１２６】
例えば、上記実施形態では、構成画像ＣＩが最適表示数Ｎｏｐｔ＝３のカットペアを３行に並べた画像として説明されている。しかし、構成画像ＣＩは、その表示条件に応じて、異なる最適表示数Ｎｏｐｔで生成されてもよく、また最適表示数Ｎｏｐｔが同一の場合でも、異なる行数・列数で代表画像Ｉを並べた画像として生成されてもよい。
【符号の説明】
【０１２７】
１ 動画像処理装置
１１ データ取得部
１３ カット遷移検出部
１５ カットペア特定部
１７ 表示最適化部
１９ カットペア生成部
２１ メタ情報生成部
２３ カット構成画像生成部
２５ カット構成画像出力部
２７ カット構成情報出力部
２９ データ記憶部
ＭＰ 動画像（データ）
Ｉ 代表画像
Ｎｏｐｔ 最適表示数
ＣＩ カット構成画像
Ａｄ 表示領域
Ｒｏ 表示占有率
【特許請求の範囲】
【請求項１】
複数のカットを含む動画像から前記カット間の遷移を検出するカット遷移検出部と、
前記複数のカットを相異なる特徴量を有する複数のカットグループに区分し、相異なるカットグループに属する２以上の連続するカットからなるカットペアであり、前記動画像中で繰返される複数の前記カットペアを特定するカットペア特定部と、
前記複数のカットペアから２以上の数のカットペアを選択し、前記選択されたカットペア中の全てのカットの代表画像を一定率で縮小して並べたカット構成画像を、予め定められた範囲の表示領域に表示する場合の表示占有率を算出し、前記表示領域に対する前記表示占有率を最大化するように、前記選択するカットペアの数を調整する表示最適化部と、
前記調整されたカットペアの数を満たす前記カット構成画像を生成するカット構成画像生成部と
を備える動画像処理装置。
【請求項２】
前記表示最適化部は、カットペア数Ｎに対応する第１の表示占有率と、カットペア数Ｎ＋１に対応する第２の表示占有率を算出し、前記第２の表示占有率が前記第１の表示占有率よりも小さい場合に、前記カットペア数Ｎにより前記カット構成配列を最適化する、請求項１に記載の動画像処理装置。
【請求項３】
前記カット構成画像生成部は、前記動画像中でのカットペアの出現順序および前記各カットペア中でのカットの出現順序に基づき、各カットの前記代表画像を行列状に並べた前記カット構成画像を生成する、請求項１に記載の動画像処理装置。
【請求項４】
前記カット構成画像生成部は、前記選択されたカットペア中の全てのカットの代表画像を所定の縮小率よりも低い一定率で縮小して並べた前記カット構成画像を生成する、請求項１に記載の動画像処理装置。
【請求項５】
複数のカットを含む動画像から前記カット間の遷移を検出し、
前記複数のカットを相異なる特徴量を有する複数のカットグループに区分し、相異なるカットグループに属する２以上の連続するカットからなるカットペアであり、前記動画像中で繰返される複数の前記カットペアを特定し、
前記複数のカットペアから２以上のカットペアを選択し、前記選択されたカットペア中の全てのカットの代表画像を一定率で縮小して並べたカット構成画像を、予め定められた範囲の表示領域に表示する場合の表示占有率を算出し、
前記表示領域に対する前記表示占有率を最大化するように、前記選択するカットペアの数を調整し、
前記調整されたカットペアの数を満たす前記カット構成画像を生成すること
を含む動画像処理方法。
【請求項６】
複数のカットを含む動画像から前記カット間の遷移を検出し、
前記複数のカットを相異なる特徴量を有する複数のカットグループに区分し、相異なるカットグループに属する２以上の連続するカットからなるカットペアであり、前記動画像中で繰返される複数の前記カットペアを特定し、
前記複数のカットペアから２以上の数のカットペアを選択し、前記選択されたカットペア中の全てのカットの代表画像を一定率で縮小して並べたカット構成画像を、予め定められた範囲の表示領域に表示する場合の表示占有率を算出し、
前記表示領域に対する前記表示占有率を最大化するように、前記選択するカットペアの数を調整し、
前記調整されたカットペアの数を満たす前記カット構成画像を生成すること
を含む動画像処理方法をコンピュータに実行させるためのプログラム。
【請求項１】
複数のカットを含む動画像から前記カット間の遷移を検出するカット遷移検出部と、
前記複数のカットを相異なる特徴量を有する複数のカットグループに区分し、相異なるカットグループに属する２以上の連続するカットからなるカットペアであり、前記動画像中で繰返される複数の前記カットペアを特定するカットペア特定部と、
前記複数のカットペアから２以上の数のカットペアを選択し、前記選択されたカットペア中の全てのカットの代表画像を一定率で縮小して並べたカット構成画像を、予め定められた範囲の表示領域に表示する場合の表示占有率を算出し、前記表示領域に対する前記表示占有率を最大化するように、前記選択するカットペアの数を調整する表示最適化部と、
前記調整されたカットペアの数を満たす前記カット構成画像を生成するカット構成画像生成部と
を備える動画像処理装置。
【請求項２】
前記表示最適化部は、カットペア数Ｎに対応する第１の表示占有率と、カットペア数Ｎ＋１に対応する第２の表示占有率を算出し、前記第２の表示占有率が前記第１の表示占有率よりも小さい場合に、前記カットペア数Ｎにより前記カット構成配列を最適化する、請求項１に記載の動画像処理装置。
【請求項３】
前記カット構成画像生成部は、前記動画像中でのカットペアの出現順序および前記各カットペア中でのカットの出現順序に基づき、各カットの前記代表画像を行列状に並べた前記カット構成画像を生成する、請求項１に記載の動画像処理装置。
【請求項４】
前記カット構成画像生成部は、前記選択されたカットペア中の全てのカットの代表画像を所定の縮小率よりも低い一定率で縮小して並べた前記カット構成画像を生成する、請求項１に記載の動画像処理装置。
【請求項５】
複数のカットを含む動画像から前記カット間の遷移を検出し、
前記複数のカットを相異なる特徴量を有する複数のカットグループに区分し、相異なるカットグループに属する２以上の連続するカットからなるカットペアであり、前記動画像中で繰返される複数の前記カットペアを特定し、
前記複数のカットペアから２以上のカットペアを選択し、前記選択されたカットペア中の全てのカットの代表画像を一定率で縮小して並べたカット構成画像を、予め定められた範囲の表示領域に表示する場合の表示占有率を算出し、
前記表示領域に対する前記表示占有率を最大化するように、前記選択するカットペアの数を調整し、
前記調整されたカットペアの数を満たす前記カット構成画像を生成すること
を含む動画像処理方法。
【請求項６】
複数のカットを含む動画像から前記カット間の遷移を検出し、
前記複数のカットを相異なる特徴量を有する複数のカットグループに区分し、相異なるカットグループに属する２以上の連続するカットからなるカットペアであり、前記動画像中で繰返される複数の前記カットペアを特定し、
前記複数のカットペアから２以上の数のカットペアを選択し、前記選択されたカットペア中の全てのカットの代表画像を一定率で縮小して並べたカット構成画像を、予め定められた範囲の表示領域に表示する場合の表示占有率を算出し、
前記表示領域に対する前記表示占有率を最大化するように、前記選択するカットペアの数を調整し、
前記調整されたカットペアの数を満たす前記カット構成画像を生成すること
を含む動画像処理方法をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１２−６０２３７（Ｐ２０１２−６０２３７Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−１９８９８３（Ｐ２０１０−１９８９８３）
【出願日】平成２２年９月６日（２０１０．９．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月６日（２０１０．９．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]