映像編集装置、映像編集方法及びプログラム
【課題】自然な繋がりで、内容が理解し易い編集映像を生成することを目的とする。
【解決手段】複数の映像データを連結した編集映像データを生成する映像編集装置であって、ユーザによる操作入力の検出或いは予め規定された選択条件に基づき、複数の映像データを選択する映像データ選択手段と、映像データ選択手段で選択された複数の映像データの映像フレーム間で相関を評価するカット繋ぎ評価手段と、カット繋ぎ評価手段で相関が高いと評価された映像フレームを、映像データを連結する際のカット点として選択するカット点選択手段と、映像データを、カット点選択手段により選択されたカット点で連結し編集映像データを生成する編集映像データ生成手段と、を有することによって課題を解決する。
【解決手段】複数の映像データを連結した編集映像データを生成する映像編集装置であって、ユーザによる操作入力の検出或いは予め規定された選択条件に基づき、複数の映像データを選択する映像データ選択手段と、映像データ選択手段で選択された複数の映像データの映像フレーム間で相関を評価するカット繋ぎ評価手段と、カット繋ぎ評価手段で相関が高いと評価された映像フレームを、映像データを連結する際のカット点として選択するカット点選択手段と、映像データを、カット点選択手段により選択されたカット点で連結し編集映像データを生成する編集映像データ生成手段と、を有することによって課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
複数の映像データを連結した編集映像データを生成するものに関する。
【背景技術】
【０００２】
近年、デジタルビデオカメラ、デジタルカメラ、デジタル一眼レフカメラ、携帯電話、携帯情報端末、携帯音楽プレイヤー等、様々な機器に動画撮影機能が搭載されている。また、ハードディスクドライブやメモリカード等のデータ記憶媒体の大容量化も進み、個人が所有する映像データも膨大になりつつある。更に、インターネット上に映像データをアップロードし視聴し合うサービスや、テレビのネットワーク対応により、撮り貯めた映像を視聴する機会が増加している。
撮影した映像を視聴する場合には、撮影時間と同じだけの時間が必要となってしまう。そこでユーザは、チャプタメニューと呼ばれる頭出し機能やファイル単位のサムネイル表示等で見たい映像データを選択している。更に、映像データ内に不要区間が存在する場合にはユーザは、早送りをするといった操作を行う。
また、このような操作は面倒で手間がかかるため、映像編集を行うユーザも多い。ユーザは、映像編集では、映像データの視聴したい区間（以下、カットと呼ぶ）を連結し、必要に応じてカットにグラッフィク映像等の合成、カットの繋ぎ目にトランジションと呼ばれる映像効果、ＢＧＭ等を付与し編集映像データを作成する。
しかしながら、映像編集には編集に関する専門的な知識や映像編集ツールの使用方法の知識が必要であり、一般的なユーザには難しい作業となる。
また、編集や編集ツールに関する知識のあるユーザであっても、膨大な映像データから必要な映像データを選択し、更に映像データのカットを選択するといった作業は面倒な作業である。
【０００３】
そこで、簡単に映像編集を行うための技術として、テンプレートファイルに基づき映像編集を自動化する技術が開示されている。テンプレートファイルには、映像データが挿入される素材枠、エフェクト、ＢＧＭ、及びトランジションが、タイムコードに応じて予め定義されている。映像編集装置は、テンプレートファイルの素材枠それぞれのメタデータを解析すると共に、映像データのメタデータも解析し、メタデータが一致する映像データを、テンプレートファイルの素材枠に挿入する（特許文献１参照）。
また、映像フレーム間の動きベクトルを解析し、同じ向き、同じ大きさの動きベクトルが集まっている領域を追尾中の被写体であると判定することで、被写体を捉えているシーンを自動で抽出、編集する技術が開示されている。ここで、編集映像データは、複数のシーンから構成される。前記技術では、各シーンを編集順に並べるだけでなく、重要度に基づいて並び替えたり、同じようなシーンを繋ぎ合わせて纏めたりする（特許文献２参照）。
また、検索条件に対応する解析規則に従って検索結果として得られた映像データを解析し、表示パターンに関連し選択された表示規則と解析結果に基づいて、検索結果として表示する表示内容を決定する技術が開示されている（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−５５１５２号公報
【特許文献２】特開２００８−１３１６１７号公報
【特許文献３】特開２００６−１３９３８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１による手法では、メタデータが一致する映像データを、テンプレートファイルの素材枠に挿入しているため、挿入された映像データ間の繋がりがよくない場合がある。例えば、映像データ間で被写体の位置が突然ジャンプしてしまったり、被写体の移動方向が急に逆向きになったりする場合である。
また、特許文献２による手法では、動きベクトルに基づき同じようなシーンを繋ぎ合わせてはいるものの、映像データ間での被写体位置のジャンプは防ぐことができない。また、同じようなシーンであっても意味的な繋がりが無く不自然な映像になる場合もある。
また、特許文献３による手法では、表示パターンによって意味的な繋がりは考慮されているものの、被写体位置のジャンプは発生してしまう。また、映像データ単位で解析が行われるため、意味的な繋がりを考慮してカット同士を繋ぐことはできない。例えば、映像データ中で、視線を向けたカットの直後に視線の先の被写体のカットを繋ぐといった場合である。
繋がりが不適切な映像は、視聴者に混乱を与え内容が理解し難くなる。
【０００６】
本発明はこのような問題点に鑑みなされたもので、編集映像におけるカット間の繋がりが自然になるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、複数の映像データを連結した編集映像データを生成する映像編集装置であって、ユーザによる操作入力の検出或いは予め規定された選択条件に基づき、複数の映像データを選択する映像データ選択手段と、前記映像データ選択手段で選択された複数の映像データの映像フレーム間の相関を評価するカット繋ぎ評価手段と、前記カット繋ぎ評価手段で相関が高いと評価された映像フレームを、映像データを連結する際のカット点として選択するカット点選択手段と、映像データを、前記カット点選択手段により選択されたカット点で連結し編集映像データを生成する編集映像データ生成手段と、を有する。
【発明の効果】
【０００８】
本発明によれば、カット間の繋がりが自然である編集映像を生成することができる。
【図面の簡単な説明】
【０００９】
【図１】映像編集装置のハードウェア構成の一例を示す図である。
【図２】映像編集装置の機能構成の一例を示す図である。
【図３】テンプレート情報の一例を示す図である。
【図４】メタデータの一例を示す図である。
【図５】プレイリストの一例を示す図である。
【図６】カット点選択結果の一例を示す図である。
【図７】処理の流れを説明するための図である。
【図８】映像フレーム間相関評価の一例を示す図である。
【図９】映像編集処理の一例を示すフローチャートである。
【図１０】カット点選択処理の一例を示すフローチャートである。
【図１１】映像フレーム間相関評価処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面に基づいて説明する。
【００１１】
＜実施形態１＞
図１は、映像編集装置（コンピュータ）のハードウェア構成の一例を示す図である。映像編集装置１００は、記憶媒体に記憶された映像データを編集し編集映像データを生成する装置である。映像編集装置１００は、バス１０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、キーボード１０３、記憶媒体１０４から構成される。更に、映像編集装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０５、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０６、ディスプレイ１０７から構成される。
バス１０１は、ＣＰＵ１０５が他のハードウェアモジュールとの間でデータを読み書きするための制御モジュールである。本実施形態では単一のバス１０１に全てのハードウェアモジュールが接続されているが、接続されるハードウェアモジュールの種別に応じてバスが複数あってもよい。
ＲＯＭ１０２は、映像編集装置１００を起動するためのプログラムが記憶されている。映像編集装置１００に電源が投入されるとＲＯＭ１０２のプログラムがＣＰＵ１０５により読み出し、実行され、各ハードウェアモジュールの初期設定やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の起動等を行う。
キーボード１０３は一般的なキーボードであり、アルファベット、数字、Ｅｎｔｅｒ、Ｂａｃｋ Ｓｐａｃｅ、ＥＳＣ、ＴＡＢ等のユーザからの入力をＣＰＵ１０５に伝える。尚、キーボード１０３はタッチパネル、マウス、機器固有のボタン等、他の入力デバイスであってもよい。
【００１２】
記憶媒体１０４は、映像データや編集映像データ、後述する図３を用いて説明するテンプレート等の各種データを記憶する記憶媒体である。また、ＯＳや本映像編集装置の機能ブロックの処理プログラムも記憶する。より具体的には、記憶媒体１０４は、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）、ＣＤ−ＲＯＭ等である。尚、記憶媒体１０４は、映像編集装置１００の筐体に収められていても、ネットワーク等で接続されたものであってもよい。
ＣＰＵ１０５は、映像編集装置の起動プログラム、ＯＳ、機能ブロックの処理プログラムを実行する演算器である。
ＲＡＭ１０６は、ＣＰＵ１０５が各種プログラムを実行する際に、データの一時保存を行う記憶媒体である。本実施形態のカット点選択結果やプレイリストはＲＡＭ１０６に記憶される。
ディスプレイ１０７は、映像データの表示、編集映像データの表示、各種グラフィカルユーザインタフェースの表示を行う。具体的には液晶ディスプレイ、プラズマディスプレイ、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ等である。
ＣＰＵ１０５がプログラムを実行することによって、後述する映像編集装置１００の機能及び後述するフローチャートに係る処理が実現される。
【００１３】
図２は、映像編集装置の機能構成の一例を示す図である。映像編集装置１００は、映像データ選択部２０１、カット繋ぎ評価部２０２、カット点設定部２０３、編集映像データ生成部２０４から構成される。
映像データ２２０は、編集対象となる複数の映像データであり、ビデオカメラのＯＮ／ＯＦＦ等によって、予め撮影単位毎に個別のファイルに分割され、記憶媒体１０４に記憶される。
テンプレート情報２１０は、生成したい編集映像の特徴に応じて、映像データ２２０を選択するための条件が記載されたテンプレート情報であり、記憶媒体１０４に記憶される。
図３は、テンプレート情報２１０の一例を示す図である。テンプレート情報２１０は、カットＩＤ、選択条件の各情報から構成される。カットＩＤはカットを一意に識別する識別子であり、カットの出現順にシーケンシャルな番号が振られる。選択条件は、各カットに対応した映像データを選択するための条件である。尚、テンプレート情報の構成、構造は一例であり、これに限られるものではない。例えば、選択条件として、「入場シーン」等、ユーザ付与メタデータが条件として記載されてもよい。
メタデータ２４０は、映像データ２２０の内容に関する情報が記載されたメタデータテーブルであり、映像編集処理に先立ち予め作成され記憶媒体１０４に記憶される。
図４は、メタデータ２４０の一例を示す図である。メタデータ２４０は、映像データ名、顔サイズ、人数、ユーザ付与（ユーザ付与メタデータ）の各情報から構成される。映像データ名は、映像データを一意に識別可能な情報であり、ファイル名である。顔サイズは、映像データから検出した顔の大きさであり、「大」、「中」、「小」等に分類する。人数は、映像データから検出した顔の数であり「多」、「少」、「１」等に分類する。ユーザ付与は、ユーザが任意に設定可能な情報であり、映像データの内容を表すキーワード等が設定される。
尚、メタデータの種類、値等は一例であり、これに限られるものではない。また、テーブルではなく、データベースを用いてもよい。また、メタデータ２４０は、映像編集処理中に作成されてもよい。
編集映像データ２３０は、編集結果として生成される編集映像データであり、記憶媒体１０４に記憶される。
【００１４】
映像データ選択部２０１は、テンプレート情報２１０とメタデータ２４０とに基づき、第１のプレイリスト９００ａを作成する。図５（ａ）は、第１のプレイリスト９００ａの一例を示し、第１のプレイリスト９００ａは、カットＩＤ、映像データ名の各情報から構成される。カットＩＤは、カットを一意に識別する識別子であり、テンプレート情報２１０のカットＩＤと同じ値となる。映像データ名は、映像データを一意に識別可能な情報であり、テンプレート情報２１０に記載された選択条件とメタデータ２４０のメタデータとがマッチした映像データ名となる。
カット繋ぎ評価部２０２は、第１のプレイリスト９００ａと映像データ２２０とからカット点選択結果８００を生成する。
カット点選択結果８００は、第１のプレイリスト９００ａで隣接する２つの映像データの映像フレーム間で相関の高い組み合わせをカット点として記載した情報である。映像フレーム間の相関の高い組み合わせは、視覚的又は意味的な相関の高い組み合わせである。視覚的な相関が高い組み合わせとは、被写体の動作の連続性、被写体の移動方向の同一性、被写体の位置の同一性、視覚的な類似性の高い組み合わせである。意味的な相関が高い組み合わせとは、視線方向が一致する組み合わせである。カット繋ぎ評価部２０２は、映像データ２２０から１つ以上の映像フレームの画像の解析、或いは映像区間に予め付与されたメタデータを用いて評価を行う。図６は、カット点選択結果８００の一例を示す図である。カット点選択結果８００は、時間軸上で前方の映像データ名、後方の映像データ名、前方の映像データのカット点、後方の映像データのカット点から構成される。ここで、前方の映像データのカット点は、前方の映像データの区間のアウト点を示しており、後方の映像データのカット点は、後方の映像データの区間のイン点を示している。図６より、映像データｖｉｄｅｏ＿１．ｍｐｇとｖｉｄｅｏ＿２．ｍｐｇとのカット点としてｖｉｄｅｏ＿１．ｍｐｇの４８．００秒とｖｉｄｅｏ＿２．ｍｐｇの３．１３秒との映像フレームが選択されていることが分かる。
【００１５】
尚、本実施形態では、カット繋ぎ評価部２０２は、カット点選択結果８００を、第１のプレイリスト９００ａに設定された映像データの中で隣接する２つの映像データに対して生成しているが、映像データ２２０の全ての組み合わせに対して生成してもよい。
カット点設定部２０３は、カット点選択結果８００に基づき、第１のプレイリスト９００ａにカット点を追加した第２のプレイリスト９００ｂを生成する。
図５（ｂ）に第２のプレイリスト９００ｂを示しており、第２のプレイリスト９００ｂは、カットＩＤ、映像データ名、イン点、アウト点の各情報から構成される。ここで、カットＩＤ、映像データ名は、第１のプレイリスト９００ａと同じ値となる。イン点、アウト点は、第１のプレイリスト９００ａで隣接する２つの映像データ名とカット点選択結果８００の前方、後方の映像データ名とが一致するカット点となる。
編集映像データ生成部２０４は、第２のプレイリスト９００ｂに設定された映像データ、イン点、アウト点に基づき、映像データの区間を読み出し連結して編集映像データ２３０を生成する。
【００１６】
図７は、本実施形態の処理の流れを説明するための図である。
２２０−１、２２０−２、２２０−３、２２０−４は、編集対象となる映像データである。図７（ａ）は、映像データ選択部２０１により映像データが選択された状態を示している。図７（ｂ）は、カット繋ぎ評価部２０２によって隣接する映像データ、例えば２２０−１と２２０−２との間のカット繋ぎが評価され、カット点設定部２０３によりカット点が設定された状態を示している。映像データ２２０−１と２２０−２とのカット点として映像フレーム３００−１、３００−２が選択されている。図７（ｃ）は、カット点設定部２０３により設定されたカット点に基づき編集映像データ２３０−１が生成された状態を示している。例えば、映像データ２２０−１と２２０−２とは映像フレーム３００−１と３００−２とで連結されている。
図７に示すように、映像編集装置１００は、２つの映像データを連結する際に、相関が高いと評価した映像フレーム、例えば３００−１と３００−２とを連結するよう制御するため、繋がりのよい編集映像を生成することができる。
【００１７】
図８は、映像フレーム間相関評価の一例を示す図である。
図８（ａ）は、同一被写体の動作の連続性に基づく相関の評価の一例である。図８（ａ）で３００−１３と３００−１４とは前方の映像データの映像フレーム、３００−１５、３００−１６、３００−１７は後方の映像データの映像フレームである。カット繋ぎ評価部２０２は、動作の連続性の評価では、まず、動きベクトルから動きのある領域を抽出し、動きのある領域の画像のマッチングによって同一被写体の同一動作であるか否かを判定する。続いて、カット繋ぎ評価部２０２は、同一被写体の同一動作である場合には、動き周辺のオブジェクトとの距離変化が映像フレーム間で連続的か否かで動きが連続か否かを評価する。図８（ａ）では、動きのある領域がカップの画像であり、カット繋ぎ評価部２０２は、顔又は口との距離変化から３００−１４と３００−１７との連続性が高いと評価する。また、カット繋ぎ評価部２０２は、３００−１３に対しては３００−１６が、連続性が高いと評価する。
図８（ｂ）は、映像フレームの類似性に基づき相関を評価する一例である。カット繋ぎ評価部２０２は、映像フレームの類似性では、映像フレームの画像の色彩、明度、輝度の分布を比較する既知の手法を適用する。図８（ｂ）において、映像フレーム３００−１９と３００−２１とは被写体の前を人や物が横切り、映像フレームが前景に覆われた状態を示している。カット繋ぎ評価部２０２は、このように類似性の高い映像フレームは相関が高いと評価する。
【００１８】
図８（ｃ）は、同一被写体の位置の同一性に基づき相関を評価する一例である。この例では、カット繋ぎ評価部２０２は、同一人物であると認識された顔の検出位置を被写体位置として同一性を評価している。カット繋ぎ評価部２０２は、映像フレーム３００−２４と３００−２６との被写体位置の同一性が高いため、相関が高いと評価する。尚、カット繋ぎ評価部２０２は、顔検出及び人物の認識は既知の手法を用いて行う。
図８（ｄ）は、同一被写体の移動方向の同一性に基づき相関を評価する一例である。カット繋ぎ評価部２０２は、同一人物の顔検出位置の変化に基づき、同一被写体の移動を検出し移動方向の同一性を評価する。カット繋ぎ評価部２０２は、映像フレーム３００−３０と３００−３２とは方向の同一性が高いため、相関が高いと評価する。
図８（ｅ）は、被写体の視線の方向と被写体位置との同一性に基づき相関を評価する一例である。カット繋ぎ評価部２０２は、被写体の視線方向の検出では、顔検出範囲と目、口等の部位の位置及び瞳の位置検出に基づく手法等、既知の手法を適用する。カット繋ぎ評価部２０２は、被写体の方向の検出では、近年カメラに組み込まれつつある電子磁石や傾きセンサの情報を使用する手法やユーザ付与メタデータを使用する既知の手法を適用する。映像フレーム３００−３４で被写体向きが上で、３００−３６、３００−３７が、飛行機が飛ぶ映像であるため、カット繋ぎ評価部２０２は、３００−３４と３００−３６、３００−３７とが、相関が高いと評価する。
【００１９】
図９は、映像編集処理の一例を示すフローチャートである。
映像編集処理が開始されると、映像データ選択部２０１は、記憶媒体１０４に記憶されたテンプレート情報２１０から選択条件を読み出す（Ｓ１００１）。続いて、映像データ選択部２０１は、選択条件とメタデータ２４０とに基づき映像データを選択し、第１のプレイリスト９００ａを作成する（Ｓ１００２）。次に、カット繋ぎ評価部２０２は、第１のプレイリスト９００ａから隣接する２つの映像データを読み出す（Ｓ１００３）。ここで、第１のプレイリスト９００ａの映像データが終了していない場合は（Ｓ１００４、Ｎｏ）、カット繋ぎ評価部２０２は、映像フレーム間の相関を評価しカット点選択結果８００を作成する（Ｓ１００５）。尚、カット点の選択処理の詳細に関しては図１０で説明する。
【００２０】
続いて、カット点設定部２０３は、相関の高い映像フレームが存在する場合は（Ｓ１００６、Ｙｅｓ）、相関の高いフレームをカット点として追加した第２のプレイリストを作成し（Ｓ１００８）、Ｓ１００３からの処理を繰り返す。カット点設定部２０３は、相関の高い映像フレームが存在しない場合は（Ｓ１００６、Ｎｏ）、Ｓ１００３からの処理を繰り返す。Ｓ１００４において、プレイリストの映像データへの処理が終了した場合（Ｓ１００４、Ｙｅｓ）、編集映像データ生成部２０４は、プレイリスト９００ｂに基づいて編集映像データを生成し（Ｓ１０１１）、図９に示す処理を終了する。
映像編集装置１００は、Ｓ１００５とＳ１００８とで、映像フレーム間の相関の評価結果に基づき相関の高い映像フレームをイン点、アウト点として選択するので、繋がりのよい編集映像を生成できる。
尚、本実施形態では、テンプレート情報２１０に記載された選択条件に基づき映像データを選択する例を示したが、映像データ選択部２０１は、ユーザの操作入力に基づき映像データが選択するようにしてもよい。また、Ｓ１００５では第１のプレイリスト９００ａで隣接する２つの映像データに対してカット点の選択を行ったが、カット繋ぎ評価部２０２は、映像データ全ての組み合わせに付いて行ってもよい。また、Ｓ１００８では相関の高いフレームをカット点として設定しているが、相関の高いフレームが複数の場合、カット点設定部２０３は、任意の１組を選択するか、相関の高さを定量化し、数値の最も高い（相関の最も高い）１組を選択してもよい。
【００２１】
図１０は、カット点選択処理の一例を示すフローチャートである。カット点選択処理では、カット点選択結果８００が作成される。
カット点選択処理が開始されると、カット点選択結果８００が存在しない場合には、カット繋ぎ評価部２０２は、カット点選択結果８００の初期化を行う（Ｓ１１０１）。次に、カット繋ぎ評価部２０２は、Ｓ１００３で選択された映像データのうち前方の映像データの最後尾の映像フレームを読み出す（Ｓ１１０２）。次に、カット繋ぎ評価部２０２は、後方の映像データの先頭の映像フレームを読み出す（Ｓ１１０３）。後方の映像データの映像フレームが終了でない、即ち、後方の映像データの最後尾まで読み出し済みでない場合（Ｓ１１０４のＮｏ）、カット繋ぎ評価部２０２は、Ｓ１１０２とＳ１１０３とで読み出した２つの映像フレーム間の相関を評価する（Ｓ１１０５）。ここで、相関の評価処理の詳細は、図１１を用いて後述する。続いて、Ｓ１１０５で相関が高いと評価した場合、カット繋ぎ評価部２０２は、その映像データ名、カット点をカット点選択結果８００に追加する（Ｓ１１０６）。次に、カット繋ぎ評価部２０２は、後方の映像データの映像フレームを１フレームだけインクリメントして読み出し（Ｓ１１０７）、Ｓ１１０４からの処理を繰り返す。
【００２２】
Ｓ１１０４で、後方の映像データの映像フレームが終了、即ち、後方の映像データの最後尾まで読み出し済みの場合（Ｓ１１０４のＹｅｓ）、カット繋ぎ評価部２０２は、前方の映像データの映像フレームを１フレームだけデクリメントして読み出す（Ｓ１１１１）。前方の映像データの映像フレームが終了、即ち、前方の映像データの先頭まで読み出し済みの場合（Ｓ１１１２のＹｅｓ）、カット繋ぎ評価部２０２は、図１０に示す処理を終了する。終了でない場合（Ｓ１１１２のＮｏ）、カット繋ぎ評価部２０２は、Ｓ１１０３からの処理を繰り返す。
以上の処理により、映像編集装置１００は、前方の映像データの映像フレームと後方の映像データの映像フレームとの間で相関を評価し、相関が高い映像フレームをカット点として選択することができる。
尚、本実施形態では、全ての映像フレームの組み合わせに対して相関を評価する例を記載したが、カット繋ぎ評価部２０２は、予め規定された範囲の映像フレームの組み合わせに対して評価を行ってもよい。
【００２３】
図１１は、映像フレーム間相関評価処理の一例を示すフローチャートである。
映像フレーム間相関評価処理は、Ｓ１１０５から呼び出される。処理が開始されると、カット繋ぎ評価部２０２は、前後の映像データの各々の映像フレームについて、１コマ前の映像フレームとの間の動きベクトルを算出し、動きベクトルの方向と大きさが同程度の領域を動き領域として選択する（Ｓ６０１）。続いて、カット繋ぎ評価部２０２は、前後の映像データの映像フレーム間で、カラーヒストグラム、テクスチャ、形状がマッチする領域を同一動き領域として選択する（Ｓ６０２）。ここで、カラーヒストグラムは、色相、彩度、明度の各々を例えば１６次元に縮退したものである。また、テクスチャは、ウェーブレット変換により画像を周波数分解し、ベクトル化したものである。また、形状は、領域の外接円からの距離を正規化しヒストグラム化したものである。Ｓ６０２によって同一動き領域が存在した場合（Ｓ６０３、Ｙｅｓ）、カット繋ぎ評価部２０２は、Ｓ６１１に進む。Ｓ６１１では、カット繋ぎ評価部２０２は、前後の映像データの映像フレーム毎に、エッジを抽出し、同一動き領域の近傍で単位面積辺りのエッジの数が多く、両方の映像フレーム間でエッジの形状の類似性が高い１つ以上の領域を基準領域として選択する。続いて、カット繋ぎ評価部２０２は、前後の映像データの映像フレーム間で、基準領域と同一動き領域の距離を基準領域の面積等で正規化した正規化距離の連続性が高ければ動きによる相関が高いと評価する（Ｓ６１２）。カット繋ぎ評価部２０２は、距離の連続性の高さを、前方の映像データの映像フレームの１コマ後の映像フレームと後方の映像データの映像フレームとの正規化距離の同一性の高さで判定する。また、カット繋ぎ評価部２０２は、前方の映像データの映像フレームと後方の映像データの１コマ前の映像フレームとの正規化距離で判定を行ってもよい。
【００２４】
Ｓ６１２に続いて、或いはＳ６０３で同一動き領域がないと判定した場合（Ｓ６０３、Ｎｏ）、カット繋ぎ評価部２０２は、前後の映像データの映像フレーム間で、カラーヒストグラム、テクスチャの類似度を算出する（Ｓ６０４）。類似度が所定値以上の場合（Ｓ６０５、Ｙｅｓ）、カット繋ぎ評価部２０２は、類似性による相関が高いと評価する（Ｓ６２１）。
Ｓ６２１に続いて、或いはＳ６０５で類似度が所定以上でないと判定した場合（Ｓ６０５、Ｎｏ）、カット繋ぎ評価部２０２は、前後の映像データの映像フレームの各々について顔認識による人物検出を行う（Ｓ６０６）。ここで、カット繋ぎ評価部２０２は、顔認識では一般的な手法を用いる。前後の映像データの映像フレーム間で、同一人物が存在する場合（Ｓ６０７、Ｙｅｓ）、カット繋ぎ評価部２０２は、前後の映像データの映像フレーム間で同一人物の検出位置の差が所定範囲内であれば位置による相関が高いと評価する（Ｓ６３１）。続いて、カット繋ぎ評価部２０２は、前後の映像データの映像フレーム間で同一人物の移動方向の差が所定範囲内であれば方向による相関が高いと評価する（Ｓ６３２）。ここで、カット繋ぎ評価部２０２は、移動方向は人物検出位置の時間変化から算出する。
Ｓ６３２に続いて、或いはＳ６０７で同一人物が存在しないと判定した場合（Ｓ６０７、Ｎｏ）、カット繋ぎ評価部２０２は、前方の映像データの映像フレームで視線方向の検出を行う（Ｓ６０８）。ここで、カット繋ぎ評価部２０２は、視線方向を、黒目、まぶた等の検出結果を目の３Ｄモデルにマッピングすることにより算出する。続いて、上下方向の視線が検出された場合（Ｓ６０９、Ｙｅｓ）、カット繋ぎ評価部２０２は、後方映像データの映像フレームのカメラアングルが視線方向と同程度であれば視線による相関が高いと評価し（Ｓ６４１）、図１１に示す処理を終了する。ここで、カメラアングルは３軸の加速度センサによって撮影時に付与されているものとする。また、Ｓ６０９で上下方向の視線がないと判定された場合（Ｓ６０９、Ｎｏ）、カット繋ぎ評価部２０２は、図１１に示す処理を終了する。
以上の説明の通り、本実施形態によれば、第１のプレイリストで隣接する２つの映像データの映像フレーム間で相関の高い組み合わせをカット点として選択することができる。 Ｓ６０１からＳ６０７により、視覚的な相関が高い組み合わせ（被写体の動作の連続性、被写体の移動方向の同一性、被写体の位置の同一性、視覚的な類似性の高い組み合わせ）をカット点として選択することができる。そして、Ｓ６０８からＳ６１０により、意味的な相関が高い組み合わせ（視線方向が一致する組み合わせ）をカット点として選択することができる。
【技術分野】
【０００１】
複数の映像データを連結した編集映像データを生成するものに関する。
【背景技術】
【０００２】
近年、デジタルビデオカメラ、デジタルカメラ、デジタル一眼レフカメラ、携帯電話、携帯情報端末、携帯音楽プレイヤー等、様々な機器に動画撮影機能が搭載されている。また、ハードディスクドライブやメモリカード等のデータ記憶媒体の大容量化も進み、個人が所有する映像データも膨大になりつつある。更に、インターネット上に映像データをアップロードし視聴し合うサービスや、テレビのネットワーク対応により、撮り貯めた映像を視聴する機会が増加している。
撮影した映像を視聴する場合には、撮影時間と同じだけの時間が必要となってしまう。そこでユーザは、チャプタメニューと呼ばれる頭出し機能やファイル単位のサムネイル表示等で見たい映像データを選択している。更に、映像データ内に不要区間が存在する場合にはユーザは、早送りをするといった操作を行う。
また、このような操作は面倒で手間がかかるため、映像編集を行うユーザも多い。ユーザは、映像編集では、映像データの視聴したい区間（以下、カットと呼ぶ）を連結し、必要に応じてカットにグラッフィク映像等の合成、カットの繋ぎ目にトランジションと呼ばれる映像効果、ＢＧＭ等を付与し編集映像データを作成する。
しかしながら、映像編集には編集に関する専門的な知識や映像編集ツールの使用方法の知識が必要であり、一般的なユーザには難しい作業となる。
また、編集や編集ツールに関する知識のあるユーザであっても、膨大な映像データから必要な映像データを選択し、更に映像データのカットを選択するといった作業は面倒な作業である。
【０００３】
そこで、簡単に映像編集を行うための技術として、テンプレートファイルに基づき映像編集を自動化する技術が開示されている。テンプレートファイルには、映像データが挿入される素材枠、エフェクト、ＢＧＭ、及びトランジションが、タイムコードに応じて予め定義されている。映像編集装置は、テンプレートファイルの素材枠それぞれのメタデータを解析すると共に、映像データのメタデータも解析し、メタデータが一致する映像データを、テンプレートファイルの素材枠に挿入する（特許文献１参照）。
また、映像フレーム間の動きベクトルを解析し、同じ向き、同じ大きさの動きベクトルが集まっている領域を追尾中の被写体であると判定することで、被写体を捉えているシーンを自動で抽出、編集する技術が開示されている。ここで、編集映像データは、複数のシーンから構成される。前記技術では、各シーンを編集順に並べるだけでなく、重要度に基づいて並び替えたり、同じようなシーンを繋ぎ合わせて纏めたりする（特許文献２参照）。
また、検索条件に対応する解析規則に従って検索結果として得られた映像データを解析し、表示パターンに関連し選択された表示規則と解析結果に基づいて、検索結果として表示する表示内容を決定する技術が開示されている（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−５５１５２号公報
【特許文献２】特開２００８−１３１６１７号公報
【特許文献３】特開２００６−１３９３８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１による手法では、メタデータが一致する映像データを、テンプレートファイルの素材枠に挿入しているため、挿入された映像データ間の繋がりがよくない場合がある。例えば、映像データ間で被写体の位置が突然ジャンプしてしまったり、被写体の移動方向が急に逆向きになったりする場合である。
また、特許文献２による手法では、動きベクトルに基づき同じようなシーンを繋ぎ合わせてはいるものの、映像データ間での被写体位置のジャンプは防ぐことができない。また、同じようなシーンであっても意味的な繋がりが無く不自然な映像になる場合もある。
また、特許文献３による手法では、表示パターンによって意味的な繋がりは考慮されているものの、被写体位置のジャンプは発生してしまう。また、映像データ単位で解析が行われるため、意味的な繋がりを考慮してカット同士を繋ぐことはできない。例えば、映像データ中で、視線を向けたカットの直後に視線の先の被写体のカットを繋ぐといった場合である。
繋がりが不適切な映像は、視聴者に混乱を与え内容が理解し難くなる。
【０００６】
本発明はこのような問題点に鑑みなされたもので、編集映像におけるカット間の繋がりが自然になるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、複数の映像データを連結した編集映像データを生成する映像編集装置であって、ユーザによる操作入力の検出或いは予め規定された選択条件に基づき、複数の映像データを選択する映像データ選択手段と、前記映像データ選択手段で選択された複数の映像データの映像フレーム間の相関を評価するカット繋ぎ評価手段と、前記カット繋ぎ評価手段で相関が高いと評価された映像フレームを、映像データを連結する際のカット点として選択するカット点選択手段と、映像データを、前記カット点選択手段により選択されたカット点で連結し編集映像データを生成する編集映像データ生成手段と、を有する。
【発明の効果】
【０００８】
本発明によれば、カット間の繋がりが自然である編集映像を生成することができる。
【図面の簡単な説明】
【０００９】
【図１】映像編集装置のハードウェア構成の一例を示す図である。
【図２】映像編集装置の機能構成の一例を示す図である。
【図３】テンプレート情報の一例を示す図である。
【図４】メタデータの一例を示す図である。
【図５】プレイリストの一例を示す図である。
【図６】カット点選択結果の一例を示す図である。
【図７】処理の流れを説明するための図である。
【図８】映像フレーム間相関評価の一例を示す図である。
【図９】映像編集処理の一例を示すフローチャートである。
【図１０】カット点選択処理の一例を示すフローチャートである。
【図１１】映像フレーム間相関評価処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面に基づいて説明する。
【００１１】
＜実施形態１＞
図１は、映像編集装置（コンピュータ）のハードウェア構成の一例を示す図である。映像編集装置１００は、記憶媒体に記憶された映像データを編集し編集映像データを生成する装置である。映像編集装置１００は、バス１０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、キーボード１０３、記憶媒体１０４から構成される。更に、映像編集装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０５、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０６、ディスプレイ１０７から構成される。
バス１０１は、ＣＰＵ１０５が他のハードウェアモジュールとの間でデータを読み書きするための制御モジュールである。本実施形態では単一のバス１０１に全てのハードウェアモジュールが接続されているが、接続されるハードウェアモジュールの種別に応じてバスが複数あってもよい。
ＲＯＭ１０２は、映像編集装置１００を起動するためのプログラムが記憶されている。映像編集装置１００に電源が投入されるとＲＯＭ１０２のプログラムがＣＰＵ１０５により読み出し、実行され、各ハードウェアモジュールの初期設定やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の起動等を行う。
キーボード１０３は一般的なキーボードであり、アルファベット、数字、Ｅｎｔｅｒ、Ｂａｃｋ Ｓｐａｃｅ、ＥＳＣ、ＴＡＢ等のユーザからの入力をＣＰＵ１０５に伝える。尚、キーボード１０３はタッチパネル、マウス、機器固有のボタン等、他の入力デバイスであってもよい。
【００１２】
記憶媒体１０４は、映像データや編集映像データ、後述する図３を用いて説明するテンプレート等の各種データを記憶する記憶媒体である。また、ＯＳや本映像編集装置の機能ブロックの処理プログラムも記憶する。より具体的には、記憶媒体１０４は、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）、ＣＤ−ＲＯＭ等である。尚、記憶媒体１０４は、映像編集装置１００の筐体に収められていても、ネットワーク等で接続されたものであってもよい。
ＣＰＵ１０５は、映像編集装置の起動プログラム、ＯＳ、機能ブロックの処理プログラムを実行する演算器である。
ＲＡＭ１０６は、ＣＰＵ１０５が各種プログラムを実行する際に、データの一時保存を行う記憶媒体である。本実施形態のカット点選択結果やプレイリストはＲＡＭ１０６に記憶される。
ディスプレイ１０７は、映像データの表示、編集映像データの表示、各種グラフィカルユーザインタフェースの表示を行う。具体的には液晶ディスプレイ、プラズマディスプレイ、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ等である。
ＣＰＵ１０５がプログラムを実行することによって、後述する映像編集装置１００の機能及び後述するフローチャートに係る処理が実現される。
【００１３】
図２は、映像編集装置の機能構成の一例を示す図である。映像編集装置１００は、映像データ選択部２０１、カット繋ぎ評価部２０２、カット点設定部２０３、編集映像データ生成部２０４から構成される。
映像データ２２０は、編集対象となる複数の映像データであり、ビデオカメラのＯＮ／ＯＦＦ等によって、予め撮影単位毎に個別のファイルに分割され、記憶媒体１０４に記憶される。
テンプレート情報２１０は、生成したい編集映像の特徴に応じて、映像データ２２０を選択するための条件が記載されたテンプレート情報であり、記憶媒体１０４に記憶される。
図３は、テンプレート情報２１０の一例を示す図である。テンプレート情報２１０は、カットＩＤ、選択条件の各情報から構成される。カットＩＤはカットを一意に識別する識別子であり、カットの出現順にシーケンシャルな番号が振られる。選択条件は、各カットに対応した映像データを選択するための条件である。尚、テンプレート情報の構成、構造は一例であり、これに限られるものではない。例えば、選択条件として、「入場シーン」等、ユーザ付与メタデータが条件として記載されてもよい。
メタデータ２４０は、映像データ２２０の内容に関する情報が記載されたメタデータテーブルであり、映像編集処理に先立ち予め作成され記憶媒体１０４に記憶される。
図４は、メタデータ２４０の一例を示す図である。メタデータ２４０は、映像データ名、顔サイズ、人数、ユーザ付与（ユーザ付与メタデータ）の各情報から構成される。映像データ名は、映像データを一意に識別可能な情報であり、ファイル名である。顔サイズは、映像データから検出した顔の大きさであり、「大」、「中」、「小」等に分類する。人数は、映像データから検出した顔の数であり「多」、「少」、「１」等に分類する。ユーザ付与は、ユーザが任意に設定可能な情報であり、映像データの内容を表すキーワード等が設定される。
尚、メタデータの種類、値等は一例であり、これに限られるものではない。また、テーブルではなく、データベースを用いてもよい。また、メタデータ２４０は、映像編集処理中に作成されてもよい。
編集映像データ２３０は、編集結果として生成される編集映像データであり、記憶媒体１０４に記憶される。
【００１４】
映像データ選択部２０１は、テンプレート情報２１０とメタデータ２４０とに基づき、第１のプレイリスト９００ａを作成する。図５（ａ）は、第１のプレイリスト９００ａの一例を示し、第１のプレイリスト９００ａは、カットＩＤ、映像データ名の各情報から構成される。カットＩＤは、カットを一意に識別する識別子であり、テンプレート情報２１０のカットＩＤと同じ値となる。映像データ名は、映像データを一意に識別可能な情報であり、テンプレート情報２１０に記載された選択条件とメタデータ２４０のメタデータとがマッチした映像データ名となる。
カット繋ぎ評価部２０２は、第１のプレイリスト９００ａと映像データ２２０とからカット点選択結果８００を生成する。
カット点選択結果８００は、第１のプレイリスト９００ａで隣接する２つの映像データの映像フレーム間で相関の高い組み合わせをカット点として記載した情報である。映像フレーム間の相関の高い組み合わせは、視覚的又は意味的な相関の高い組み合わせである。視覚的な相関が高い組み合わせとは、被写体の動作の連続性、被写体の移動方向の同一性、被写体の位置の同一性、視覚的な類似性の高い組み合わせである。意味的な相関が高い組み合わせとは、視線方向が一致する組み合わせである。カット繋ぎ評価部２０２は、映像データ２２０から１つ以上の映像フレームの画像の解析、或いは映像区間に予め付与されたメタデータを用いて評価を行う。図６は、カット点選択結果８００の一例を示す図である。カット点選択結果８００は、時間軸上で前方の映像データ名、後方の映像データ名、前方の映像データのカット点、後方の映像データのカット点から構成される。ここで、前方の映像データのカット点は、前方の映像データの区間のアウト点を示しており、後方の映像データのカット点は、後方の映像データの区間のイン点を示している。図６より、映像データｖｉｄｅｏ＿１．ｍｐｇとｖｉｄｅｏ＿２．ｍｐｇとのカット点としてｖｉｄｅｏ＿１．ｍｐｇの４８．００秒とｖｉｄｅｏ＿２．ｍｐｇの３．１３秒との映像フレームが選択されていることが分かる。
【００１５】
尚、本実施形態では、カット繋ぎ評価部２０２は、カット点選択結果８００を、第１のプレイリスト９００ａに設定された映像データの中で隣接する２つの映像データに対して生成しているが、映像データ２２０の全ての組み合わせに対して生成してもよい。
カット点設定部２０３は、カット点選択結果８００に基づき、第１のプレイリスト９００ａにカット点を追加した第２のプレイリスト９００ｂを生成する。
図５（ｂ）に第２のプレイリスト９００ｂを示しており、第２のプレイリスト９００ｂは、カットＩＤ、映像データ名、イン点、アウト点の各情報から構成される。ここで、カットＩＤ、映像データ名は、第１のプレイリスト９００ａと同じ値となる。イン点、アウト点は、第１のプレイリスト９００ａで隣接する２つの映像データ名とカット点選択結果８００の前方、後方の映像データ名とが一致するカット点となる。
編集映像データ生成部２０４は、第２のプレイリスト９００ｂに設定された映像データ、イン点、アウト点に基づき、映像データの区間を読み出し連結して編集映像データ２３０を生成する。
【００１６】
図７は、本実施形態の処理の流れを説明するための図である。
２２０−１、２２０−２、２２０−３、２２０−４は、編集対象となる映像データである。図７（ａ）は、映像データ選択部２０１により映像データが選択された状態を示している。図７（ｂ）は、カット繋ぎ評価部２０２によって隣接する映像データ、例えば２２０−１と２２０−２との間のカット繋ぎが評価され、カット点設定部２０３によりカット点が設定された状態を示している。映像データ２２０−１と２２０−２とのカット点として映像フレーム３００−１、３００−２が選択されている。図７（ｃ）は、カット点設定部２０３により設定されたカット点に基づき編集映像データ２３０−１が生成された状態を示している。例えば、映像データ２２０−１と２２０−２とは映像フレーム３００−１と３００−２とで連結されている。
図７に示すように、映像編集装置１００は、２つの映像データを連結する際に、相関が高いと評価した映像フレーム、例えば３００−１と３００−２とを連結するよう制御するため、繋がりのよい編集映像を生成することができる。
【００１７】
図８は、映像フレーム間相関評価の一例を示す図である。
図８（ａ）は、同一被写体の動作の連続性に基づく相関の評価の一例である。図８（ａ）で３００−１３と３００−１４とは前方の映像データの映像フレーム、３００−１５、３００−１６、３００−１７は後方の映像データの映像フレームである。カット繋ぎ評価部２０２は、動作の連続性の評価では、まず、動きベクトルから動きのある領域を抽出し、動きのある領域の画像のマッチングによって同一被写体の同一動作であるか否かを判定する。続いて、カット繋ぎ評価部２０２は、同一被写体の同一動作である場合には、動き周辺のオブジェクトとの距離変化が映像フレーム間で連続的か否かで動きが連続か否かを評価する。図８（ａ）では、動きのある領域がカップの画像であり、カット繋ぎ評価部２０２は、顔又は口との距離変化から３００−１４と３００−１７との連続性が高いと評価する。また、カット繋ぎ評価部２０２は、３００−１３に対しては３００−１６が、連続性が高いと評価する。
図８（ｂ）は、映像フレームの類似性に基づき相関を評価する一例である。カット繋ぎ評価部２０２は、映像フレームの類似性では、映像フレームの画像の色彩、明度、輝度の分布を比較する既知の手法を適用する。図８（ｂ）において、映像フレーム３００−１９と３００−２１とは被写体の前を人や物が横切り、映像フレームが前景に覆われた状態を示している。カット繋ぎ評価部２０２は、このように類似性の高い映像フレームは相関が高いと評価する。
【００１８】
図８（ｃ）は、同一被写体の位置の同一性に基づき相関を評価する一例である。この例では、カット繋ぎ評価部２０２は、同一人物であると認識された顔の検出位置を被写体位置として同一性を評価している。カット繋ぎ評価部２０２は、映像フレーム３００−２４と３００−２６との被写体位置の同一性が高いため、相関が高いと評価する。尚、カット繋ぎ評価部２０２は、顔検出及び人物の認識は既知の手法を用いて行う。
図８（ｄ）は、同一被写体の移動方向の同一性に基づき相関を評価する一例である。カット繋ぎ評価部２０２は、同一人物の顔検出位置の変化に基づき、同一被写体の移動を検出し移動方向の同一性を評価する。カット繋ぎ評価部２０２は、映像フレーム３００−３０と３００−３２とは方向の同一性が高いため、相関が高いと評価する。
図８（ｅ）は、被写体の視線の方向と被写体位置との同一性に基づき相関を評価する一例である。カット繋ぎ評価部２０２は、被写体の視線方向の検出では、顔検出範囲と目、口等の部位の位置及び瞳の位置検出に基づく手法等、既知の手法を適用する。カット繋ぎ評価部２０２は、被写体の方向の検出では、近年カメラに組み込まれつつある電子磁石や傾きセンサの情報を使用する手法やユーザ付与メタデータを使用する既知の手法を適用する。映像フレーム３００−３４で被写体向きが上で、３００−３６、３００−３７が、飛行機が飛ぶ映像であるため、カット繋ぎ評価部２０２は、３００−３４と３００−３６、３００−３７とが、相関が高いと評価する。
【００１９】
図９は、映像編集処理の一例を示すフローチャートである。
映像編集処理が開始されると、映像データ選択部２０１は、記憶媒体１０４に記憶されたテンプレート情報２１０から選択条件を読み出す（Ｓ１００１）。続いて、映像データ選択部２０１は、選択条件とメタデータ２４０とに基づき映像データを選択し、第１のプレイリスト９００ａを作成する（Ｓ１００２）。次に、カット繋ぎ評価部２０２は、第１のプレイリスト９００ａから隣接する２つの映像データを読み出す（Ｓ１００３）。ここで、第１のプレイリスト９００ａの映像データが終了していない場合は（Ｓ１００４、Ｎｏ）、カット繋ぎ評価部２０２は、映像フレーム間の相関を評価しカット点選択結果８００を作成する（Ｓ１００５）。尚、カット点の選択処理の詳細に関しては図１０で説明する。
【００２０】
続いて、カット点設定部２０３は、相関の高い映像フレームが存在する場合は（Ｓ１００６、Ｙｅｓ）、相関の高いフレームをカット点として追加した第２のプレイリストを作成し（Ｓ１００８）、Ｓ１００３からの処理を繰り返す。カット点設定部２０３は、相関の高い映像フレームが存在しない場合は（Ｓ１００６、Ｎｏ）、Ｓ１００３からの処理を繰り返す。Ｓ１００４において、プレイリストの映像データへの処理が終了した場合（Ｓ１００４、Ｙｅｓ）、編集映像データ生成部２０４は、プレイリスト９００ｂに基づいて編集映像データを生成し（Ｓ１０１１）、図９に示す処理を終了する。
映像編集装置１００は、Ｓ１００５とＳ１００８とで、映像フレーム間の相関の評価結果に基づき相関の高い映像フレームをイン点、アウト点として選択するので、繋がりのよい編集映像を生成できる。
尚、本実施形態では、テンプレート情報２１０に記載された選択条件に基づき映像データを選択する例を示したが、映像データ選択部２０１は、ユーザの操作入力に基づき映像データが選択するようにしてもよい。また、Ｓ１００５では第１のプレイリスト９００ａで隣接する２つの映像データに対してカット点の選択を行ったが、カット繋ぎ評価部２０２は、映像データ全ての組み合わせに付いて行ってもよい。また、Ｓ１００８では相関の高いフレームをカット点として設定しているが、相関の高いフレームが複数の場合、カット点設定部２０３は、任意の１組を選択するか、相関の高さを定量化し、数値の最も高い（相関の最も高い）１組を選択してもよい。
【００２１】
図１０は、カット点選択処理の一例を示すフローチャートである。カット点選択処理では、カット点選択結果８００が作成される。
カット点選択処理が開始されると、カット点選択結果８００が存在しない場合には、カット繋ぎ評価部２０２は、カット点選択結果８００の初期化を行う（Ｓ１１０１）。次に、カット繋ぎ評価部２０２は、Ｓ１００３で選択された映像データのうち前方の映像データの最後尾の映像フレームを読み出す（Ｓ１１０２）。次に、カット繋ぎ評価部２０２は、後方の映像データの先頭の映像フレームを読み出す（Ｓ１１０３）。後方の映像データの映像フレームが終了でない、即ち、後方の映像データの最後尾まで読み出し済みでない場合（Ｓ１１０４のＮｏ）、カット繋ぎ評価部２０２は、Ｓ１１０２とＳ１１０３とで読み出した２つの映像フレーム間の相関を評価する（Ｓ１１０５）。ここで、相関の評価処理の詳細は、図１１を用いて後述する。続いて、Ｓ１１０５で相関が高いと評価した場合、カット繋ぎ評価部２０２は、その映像データ名、カット点をカット点選択結果８００に追加する（Ｓ１１０６）。次に、カット繋ぎ評価部２０２は、後方の映像データの映像フレームを１フレームだけインクリメントして読み出し（Ｓ１１０７）、Ｓ１１０４からの処理を繰り返す。
【００２２】
Ｓ１１０４で、後方の映像データの映像フレームが終了、即ち、後方の映像データの最後尾まで読み出し済みの場合（Ｓ１１０４のＹｅｓ）、カット繋ぎ評価部２０２は、前方の映像データの映像フレームを１フレームだけデクリメントして読み出す（Ｓ１１１１）。前方の映像データの映像フレームが終了、即ち、前方の映像データの先頭まで読み出し済みの場合（Ｓ１１１２のＹｅｓ）、カット繋ぎ評価部２０２は、図１０に示す処理を終了する。終了でない場合（Ｓ１１１２のＮｏ）、カット繋ぎ評価部２０２は、Ｓ１１０３からの処理を繰り返す。
以上の処理により、映像編集装置１００は、前方の映像データの映像フレームと後方の映像データの映像フレームとの間で相関を評価し、相関が高い映像フレームをカット点として選択することができる。
尚、本実施形態では、全ての映像フレームの組み合わせに対して相関を評価する例を記載したが、カット繋ぎ評価部２０２は、予め規定された範囲の映像フレームの組み合わせに対して評価を行ってもよい。
【００２３】
図１１は、映像フレーム間相関評価処理の一例を示すフローチャートである。
映像フレーム間相関評価処理は、Ｓ１１０５から呼び出される。処理が開始されると、カット繋ぎ評価部２０２は、前後の映像データの各々の映像フレームについて、１コマ前の映像フレームとの間の動きベクトルを算出し、動きベクトルの方向と大きさが同程度の領域を動き領域として選択する（Ｓ６０１）。続いて、カット繋ぎ評価部２０２は、前後の映像データの映像フレーム間で、カラーヒストグラム、テクスチャ、形状がマッチする領域を同一動き領域として選択する（Ｓ６０２）。ここで、カラーヒストグラムは、色相、彩度、明度の各々を例えば１６次元に縮退したものである。また、テクスチャは、ウェーブレット変換により画像を周波数分解し、ベクトル化したものである。また、形状は、領域の外接円からの距離を正規化しヒストグラム化したものである。Ｓ６０２によって同一動き領域が存在した場合（Ｓ６０３、Ｙｅｓ）、カット繋ぎ評価部２０２は、Ｓ６１１に進む。Ｓ６１１では、カット繋ぎ評価部２０２は、前後の映像データの映像フレーム毎に、エッジを抽出し、同一動き領域の近傍で単位面積辺りのエッジの数が多く、両方の映像フレーム間でエッジの形状の類似性が高い１つ以上の領域を基準領域として選択する。続いて、カット繋ぎ評価部２０２は、前後の映像データの映像フレーム間で、基準領域と同一動き領域の距離を基準領域の面積等で正規化した正規化距離の連続性が高ければ動きによる相関が高いと評価する（Ｓ６１２）。カット繋ぎ評価部２０２は、距離の連続性の高さを、前方の映像データの映像フレームの１コマ後の映像フレームと後方の映像データの映像フレームとの正規化距離の同一性の高さで判定する。また、カット繋ぎ評価部２０２は、前方の映像データの映像フレームと後方の映像データの１コマ前の映像フレームとの正規化距離で判定を行ってもよい。
【００２４】
Ｓ６１２に続いて、或いはＳ６０３で同一動き領域がないと判定した場合（Ｓ６０３、Ｎｏ）、カット繋ぎ評価部２０２は、前後の映像データの映像フレーム間で、カラーヒストグラム、テクスチャの類似度を算出する（Ｓ６０４）。類似度が所定値以上の場合（Ｓ６０５、Ｙｅｓ）、カット繋ぎ評価部２０２は、類似性による相関が高いと評価する（Ｓ６２１）。
Ｓ６２１に続いて、或いはＳ６０５で類似度が所定以上でないと判定した場合（Ｓ６０５、Ｎｏ）、カット繋ぎ評価部２０２は、前後の映像データの映像フレームの各々について顔認識による人物検出を行う（Ｓ６０６）。ここで、カット繋ぎ評価部２０２は、顔認識では一般的な手法を用いる。前後の映像データの映像フレーム間で、同一人物が存在する場合（Ｓ６０７、Ｙｅｓ）、カット繋ぎ評価部２０２は、前後の映像データの映像フレーム間で同一人物の検出位置の差が所定範囲内であれば位置による相関が高いと評価する（Ｓ６３１）。続いて、カット繋ぎ評価部２０２は、前後の映像データの映像フレーム間で同一人物の移動方向の差が所定範囲内であれば方向による相関が高いと評価する（Ｓ６３２）。ここで、カット繋ぎ評価部２０２は、移動方向は人物検出位置の時間変化から算出する。
Ｓ６３２に続いて、或いはＳ６０７で同一人物が存在しないと判定した場合（Ｓ６０７、Ｎｏ）、カット繋ぎ評価部２０２は、前方の映像データの映像フレームで視線方向の検出を行う（Ｓ６０８）。ここで、カット繋ぎ評価部２０２は、視線方向を、黒目、まぶた等の検出結果を目の３Ｄモデルにマッピングすることにより算出する。続いて、上下方向の視線が検出された場合（Ｓ６０９、Ｙｅｓ）、カット繋ぎ評価部２０２は、後方映像データの映像フレームのカメラアングルが視線方向と同程度であれば視線による相関が高いと評価し（Ｓ６４１）、図１１に示す処理を終了する。ここで、カメラアングルは３軸の加速度センサによって撮影時に付与されているものとする。また、Ｓ６０９で上下方向の視線がないと判定された場合（Ｓ６０９、Ｎｏ）、カット繋ぎ評価部２０２は、図１１に示す処理を終了する。
以上の説明の通り、本実施形態によれば、第１のプレイリストで隣接する２つの映像データの映像フレーム間で相関の高い組み合わせをカット点として選択することができる。 Ｓ６０１からＳ６０７により、視覚的な相関が高い組み合わせ（被写体の動作の連続性、被写体の移動方向の同一性、被写体の位置の同一性、視覚的な類似性の高い組み合わせ）をカット点として選択することができる。そして、Ｓ６０８からＳ６１０により、意味的な相関が高い組み合わせ（視線方向が一致する組み合わせ）をカット点として選択することができる。
【特許請求の範囲】
【請求項１】
複数の映像データを連結した編集映像データを生成する映像編集装置であって、
ユーザによる操作入力の検出或いは予め規定された選択条件に基づき、複数の映像データを選択する映像データ選択手段と、
前記映像データ選択手段で選択された複数の映像データの映像フレーム間の相関を評価するカット繋ぎ評価手段と、
前記カット繋ぎ評価手段で相関が高いと評価された映像フレームを、映像データを連結する際のカット点として選択するカット点選択手段と、
映像データを、前記カット点選択手段により選択されたカット点で連結し編集映像データを生成する編集映像データ生成手段と、
を有する映像編集装置。
【請求項２】
前記カット繋ぎ評価手段は、映像フレーム間で同一被写体の同一動作を検出した場合、映像フレーム間の被写体の動作の連続性に基づき相関を評価する請求項１記載の映像編集装置。
【請求項３】
前記カット繋ぎ評価手段は、映像フレーム間で同一被写体の移動を検出した場合、映像フレーム間の被写体の移動方向の同一性に基づき相関を評価する請求項１記載の映像編集装置。
【請求項４】
前記カット繋ぎ評価手段は、映像フレーム間で同一被写体を検出した場合、映像フレーム間の被写体の位置の同一性に基づき相関を評価する請求項１記載の映像編集装置。
【請求項５】
前記カット繋ぎ評価手段は、前記複数の映像データの前方の映像データの被写体の視線方向と後方の映像データの被写体の方向との同一性に基づき相関を評価する請求項１記載の映像編集装置。
【請求項６】
複数の映像データを連結した編集映像データを生成する映像編集装置が実行する映像編集方法であって、
ユーザによる操作入力の検出或いは予め規定された選択条件に基づき、複数の映像データを選択する映像データ選択ステップと、
前記映像データ選択ステップで選択された複数の映像データの映像フレーム間の相関を評価するカット繋ぎ評価ステップと、
前記カット繋ぎ評価ステップで相関が高いと評価された映像フレームを、映像データを連結する際のカット点として選択するカット点選択ステップと、
映像データを、前記カット点選択ステップにより選択されたカット点で連結し編集映像データを生成する編集映像データ生成ステップと、
を有する映像編集方法。
【請求項７】
コンピュータに、
ユーザによる操作入力の検出或いは予め規定された選択条件に基づき、複数の映像データを選択する映像データ選択ステップと、
前記映像データ選択ステップで選択された複数の映像データの映像フレーム間の相関を評価するカット繋ぎ評価ステップと、
前記カット繋ぎ評価ステップで相関が高いと評価された映像フレームを、映像データを連結する際のカット点として選択するカット点選択ステップと、
映像データを、前記カット点選択ステップにより選択されたカット点で連結し編集映像データを生成する編集映像データ生成ステップと、
を実行させるプログラム。
【請求項１】
複数の映像データを連結した編集映像データを生成する映像編集装置であって、
ユーザによる操作入力の検出或いは予め規定された選択条件に基づき、複数の映像データを選択する映像データ選択手段と、
前記映像データ選択手段で選択された複数の映像データの映像フレーム間の相関を評価するカット繋ぎ評価手段と、
前記カット繋ぎ評価手段で相関が高いと評価された映像フレームを、映像データを連結する際のカット点として選択するカット点選択手段と、
映像データを、前記カット点選択手段により選択されたカット点で連結し編集映像データを生成する編集映像データ生成手段と、
を有する映像編集装置。
【請求項２】
前記カット繋ぎ評価手段は、映像フレーム間で同一被写体の同一動作を検出した場合、映像フレーム間の被写体の動作の連続性に基づき相関を評価する請求項１記載の映像編集装置。
【請求項３】
前記カット繋ぎ評価手段は、映像フレーム間で同一被写体の移動を検出した場合、映像フレーム間の被写体の移動方向の同一性に基づき相関を評価する請求項１記載の映像編集装置。
【請求項４】
前記カット繋ぎ評価手段は、映像フレーム間で同一被写体を検出した場合、映像フレーム間の被写体の位置の同一性に基づき相関を評価する請求項１記載の映像編集装置。
【請求項５】
前記カット繋ぎ評価手段は、前記複数の映像データの前方の映像データの被写体の視線方向と後方の映像データの被写体の方向との同一性に基づき相関を評価する請求項１記載の映像編集装置。
【請求項６】
複数の映像データを連結した編集映像データを生成する映像編集装置が実行する映像編集方法であって、
ユーザによる操作入力の検出或いは予め規定された選択条件に基づき、複数の映像データを選択する映像データ選択ステップと、
前記映像データ選択ステップで選択された複数の映像データの映像フレーム間の相関を評価するカット繋ぎ評価ステップと、
前記カット繋ぎ評価ステップで相関が高いと評価された映像フレームを、映像データを連結する際のカット点として選択するカット点選択ステップと、
映像データを、前記カット点選択ステップにより選択されたカット点で連結し編集映像データを生成する編集映像データ生成ステップと、
を有する映像編集方法。
【請求項７】
コンピュータに、
ユーザによる操作入力の検出或いは予め規定された選択条件に基づき、複数の映像データを選択する映像データ選択ステップと、
前記映像データ選択ステップで選択された複数の映像データの映像フレーム間の相関を評価するカット繋ぎ評価ステップと、
前記カット繋ぎ評価ステップで相関が高いと評価された映像フレームを、映像データを連結する際のカット点として選択するカット点選択ステップと、
映像データを、前記カット点選択ステップにより選択されたカット点で連結し編集映像データを生成する編集映像データ生成ステップと、
を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−２３４２２６（Ｐ２０１１−２３４２２６Ａ）
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願番号】特願２０１０−１０４１８５（Ｐ２０１０−１０４１８５）
【出願日】平成２２年４月２８日（２０１０．４．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願日】平成２２年４月２８日（２０１０．４．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]