映像編集装置およびその制御方法
【課題】 映像の不要区間を削除した区間に他の映像を挿入する映像編集を行う際、編集後の映像が自然な映像とする。
【解決手段】 映像編集装置であって、編集対象映像から不要区間の映像を抽出（２０３）し、抽出された不要区間の映像に対応する画像に基づいて、前記不要区間に挿入する映像を決定（２０６）し、決定された映像を前記不要区間に挿入する（２０７）。
【解決手段】 映像編集装置であって、編集対象映像から不要区間の映像を抽出（２０３）し、抽出された不要区間の映像に対応する画像に基づいて、前記不要区間に挿入する映像を決定（２０６）し、決定された映像を前記不要区間に挿入する（２０７）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像を編集する技術に関する。
【背景技術】
【０００２】
従来、撮影に熟練していない人が撮影を行う際、手ブレなどの失敗映像が多々記録される。そのため映像編集時に、失敗映像部分をカットまたは修正する編集がよく行われている。不要区間を削除する処理として、手ブレの量が所定の値より大きい動画像は記録しない又は削除するという処理が行われている。（特許文献１参照）
しかし、失敗映像部分をカットし、そのまま繋げる編集を行うと、オブジェクトが瞬間的に移動してしまったように感じるジャンプカットのような違和感が生じてしまう場合がある。そのため映像編集において時間的に不連続な映像を違和感なく繋げるために、インサートカットと呼ばれる前後の映像とは異なる映像を挿入する手法が、一般的に良く行われている。映像の一部を挿入する処理として、ユーザが選んだ映像から挿入する映像を決定するという処理が行われている。（特許文献２参照）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１６０６３７号公報
【特許文献２】特開２００８−２２５１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献２の場合、ユーザが選んだ映像によっては、不要区間前後の映像との繋がりが不自然になってしまうことがある。例えば、挿入した映像に、不要区間前後に存在していたオブジェクトが存在していると、映像の繋ぎ目の部分で、オブジェクトが瞬間的に移動したように見えてしまい、不自然である。
そこで本発明では、上記問題を解決し、映像の不要区間を削除した区間に他の映像を挿入する映像編集を行う際、編集後の映像が自然な映像となることを目的としている。
【課題を解決するための手段】
【０００５】
上記の目的を達成するための本発明の一態様による情報処理装置は以下の構成を備える。すなわち、
編集対象映像から不要区間の映像を抽出する抽出手段と、前記抽出された不要区間の映像に対応する画像に基づいて、前記不要区間に挿入する映像を前記編集対象映像から決定する決定手段と、前記決定された映像を前記不要区間に挿入する挿入手段とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、映像の不要区間を削除した区間に他の映像を挿入する映像編集を行う際、編集後の映像が自然な映像となるような編集を可能とする効果を得られる。
【図面の簡単な説明】
【０００７】
【図１】映像編集装置のハードウェア構成図
【図２】映像編集装置の概略を示した機能ブロック図
【図３】オブジェクト情報の一例を表した表
【図４】背景情報の一例を表した表
【図５】背景の類似判定の処理を説明する図
【図６】映像編集装置の映像編集処理の概要を説明する図
【図７】映像編集処理の一連の処理の詳細を説明するフローチャート
【図８】挿入映像決定処理の詳細を説明するフローチャート
【図９】映像編集装置の映像編集処理の概要を説明する図
【図１０】挿入映像決定処理の一連の処理の詳細説明するフローチャート
【発明を実施するための形態】
【０００８】
以下、本発明の好適な実施形態について添付の図面を参照して詳細に説明する。
【０００９】
（実施形態１）
実施形態１を図面に基づいて説明する。図１は、本実施形態の映像編集装置のハードウェア構成例である。ハードディスクドライブ１０１は、映像データやオブジェクト情報、背景情報などのデータを蓄積する。ＲＯＭ１０２は、プログラム格納用として用いられる。後述するフローの処理プログラムもここに格納される。ＲＡＭ１０３は、プログラム実行時に用いられる。ＣＰＵ１０４は、映像編集装置を統括する制御部である。後述するフローの処理もＣＰＵ１０４で制御される。入力機器１０５は、映像編集装置がユーザーからの入力を受け付ける際に用いられる。ディスプレイ１０６は、映像編集装置からの出力結果を表示するのに用いられる。バス１０７は、上記ハードディスクドライブ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＣＰＵ１０４、入力機器１０５、ディスプレイ１０６を接続するデータ線である。
【００１０】
尚、以降では、動画像のことを映像と呼び、静止画像のことを画像と呼ぶ。途中、図３および図４を用いて、オブジェクト情報および背景情報について説明し、図５を用いて本実施形態における背景の類似判定処理について説明する。
【００１１】
図２は本実施形態の映像編集装置の概略を示した機能ブロック図である。記憶媒体２０１は、データを蓄積するハードディスク１０１などから成り、映像データ、オブジェクト情報、背景情報などを蓄積する。
【００１２】
図３にオブジェクト情報の一例を示す。ＩＤ３０１は、オブジェクトを検出した映像を特定するための情報である。タイムスタンプ３０２は、オブジェクトを検出したフレームの時間情報で、単位はミリ秒である。３０３と３０４はオブジェクトの画面上の位置のｘ座標とｙ座標で、単位はピクセルである。３０５は検出したオブジェクトの領域の面積で、ピクセル数で表す。
【００１３】
３０６は、オブジェクトの色相の情報である。例えばオブジェクト領域のＲＧＢの色分布情報などが上げられる。エッジ情報３０７は、オブジェクトのエッジの情報を示す画像データである。例えば、この画像３０７は、フレーム画像のオブジェクト領域を二値化し細線化した画像データである。ただし、上記エッジの情報を示すものであれば、他の方法でエッジ情報を取得しても構わない。
【００１４】
図４に背景情報の一例を示す。ＩＤ４０１は、背景を検出した映像を特定するための情報である。タイムスタンプ４０２は、背景を検出したフレームの時間情報で、単位はミリ秒である。４０３は、背景の色相の情報である。エッジ情報４０４は、上記エッジ情報３０７と同様のエッジの情報である。これも、上記エッジの情報を示すものであれば、種々の方法でエッジ情報を取得して構わない。
【００１５】
引き続き図２に基づいて本実施形態の映像編集装置の概略を説明する。映像編集装置２０２は、映像の不要区間を削除し、削除した区間に他のデータを挿入する映像編集を行う。不要区間抽出部２０３は、編集対象映像の不要区間を抽出する。不要区間抽出部２０３では、手ブレの激しい区間、明る過ぎる区間、または暗過ぎる区間などを不要区間として抽出する。例えば、手ブレの激しい区間は、各フレームの動きベクトルの平均と頻度分布の分散値から検出する。また、明る過ぎる区間と暗過ぎる区間は、フレーム画像の輝度の平均値があらかじめ定めた上限値以上または下限値以下かどうかで判定する。また、ユーザーが不要区間を抽出しても良い。尚、これらは一例でありこれらに限るものではない。
【００１６】
オブジェクト判定部２０４は、不要区間抽出部２０３で抽出した不要区間の直前および直後の映像に存在するオブジェクトと同一のオブジェクトが存在する映像か判定する。オブジェクトの弁別は、オブジェクトの色相情報３０６またはエッジ情報３０７をパターンマッチングすることによって行う。例えば、オブジェクトの領域を予め定めた規定数のブロックに分割し、分割したブロックごとに色の分布が一致するか判定する。一致したブロックが、予め定めた規定値以上の割合の場合同一オブジェクトと判定する。尚、これはオブジェクト弁別の方法の一例であり、これに限るものではない。
【００１７】
尚、不要区間直前および直後の映像のオブジェクトとして、不要区間直前および直後のフレーム１枚だけに存在するオブジェクトだけを用いても良いし、不要区間直前および直後のフレームから規定フレーム数前およびフレーム数後に存在するオブジェクトを用いても良い。また、不要区間内であってもオブジェクトが特定できれば、不要区間内のオブジェクトを用いてもよく、要は不要区間のオブジェクトに対応するオブジェクトであればよい。
【００１８】
背景判定部２０５は、不要区間抽出部２０３で抽出した不要区間の直前または直後の映像の背景と類似する背景の映像か判定する。背景の弁別は、背景の色相情報４０３またはエッジ情報４０４をパターンマッチングすることにより行う。例えば、背景領域を予め定めた規定数のブロックに分割し、分割したブロックごとに色の分布が一致するか判定する。一致したブロックが、予め定めた規定値以上の割合の場合同一オブジェクトと判定する。尚、これは背景弁別の方法の一例であり、これに限るものではない。
【００１９】
尚、不要区間直前および直後の映像の背景として、不要区間直前および直後のフレーム１枚だけに存在する背景だけを用いても良いし、不要区間直前および直後のフレームから予め定めた規定フレーム数前およびフレーム数後の背景を用いても良い。また、不要区間内であっても背景が特定できれば、不要区間内のオブジェクトを用いてもよく、要は不要区間の背景に対応する背景であればよい。
【００２０】
図５に基づいて、背景の類似判定処理を説明する。フレーム画像５０２、５０３は、フレーム画像５０１の時より少しズームインして撮影して得られた画像である。領域５０４は、フレーム画像５０２とフレーム画像５０３の重なり部分を示す。フレーム画像５０２とフレーム画像５０３を用いて、部分的にパターンマッチングを行うと、重なり部分５０４の領域がマッチする。このマッチした領域が予め定めた規定値以上の場合、フレーム画像５０２とフレーム画像５０３を類似した背景と判定する。
【００２１】
また、フレーム画像５１１は、フレーム画像５０２よりズームインして撮影したフレーム画像となる。フレーム画像５０２とフレーム画像５１１のどちらか一方を拡大または縮小しパターンマッチングを行う。一致した際の拡大率または縮小率が予め定めた規定値未満の場合、フレーム画像５０２とフレーム画像５１１は類似した背景の映像と判定する。
【００２２】
挿入映像決定部２０６は、オブジェクト判定部２０４および背景判定部２０５によって、同一オブジェクトが存在せず、かつ類似する背景ではないと判定された素材映像を、不要映像を削除した区間へ挿入する映像と決定する。尚、オブジェクト判定部２０４か背景判定部２０５の一方のみの構成で、一方の判定によって決定させてもよい。
【００２３】
尚、挿入する映像として、映像ファイル単位で決定しても良いし、映像を時間的に区切った映像区間で決定しても良い。
【００２４】
また、挿入する映像を決定する素材映像の範囲を限定してもよい。例えば、編集対象映像の撮影時刻から、予め定めた規定値だけ前後させた撮影時刻内の映像に限定してもよい。このように限定することにより、不要区間直前および直後の映像と時間的に近く、関連の強い映像から挿入する映像が可能となる。検討
また、背景の判断を行わず、不要区間直前または直後に存在するオブジェクトと同一オブジェクトが存在する映像や、類似した背景の映像に限定したり、同一オブジェクトが存在しない画像に限定してもよいし、さらに背景の判断と組み合わせてもよい。
【００２５】
例えば、同一の背景で、オブジェクトが存在しない画像に限定することは有効である。これによって、風景のみの画像が選択されるようにすることもできる。
【００２６】
また、オブジェクトを認識するようにして、挿入する画像のオブジェクトは人以外にするようにし、背景は同じ画像に限定してもよい。
【００２７】
ここでは、挿入する映像を不要区間の映像と類似しない映像にすることにより、上述したような違和感を感じないようすることが有効である。
【００２８】
このように限定することにより、不要区間直前および直後の映像と時間的に離れていても、関連のある映像から、挿入する映像を決定することが可能となる。
【００２９】
尚、単一の機器で撮影した映像だけではなく、複数の機器で再生した映像や、ネットワーク上の映像を挿入する映像の素材映像としてもよい。
【００３０】
引き続き図２に基づいて本実施形態の映像編集装置の概略を説明する。映像削除挿入部２０７は、不要区間抽出部２０３で抽出した不要区間を削除し、削除した区間に、挿入映像決定部２０６によって決定された映像を挿入する編集を行う。表示部２０８は、映像削除挿入部２０７で映像編集された映像データを表示する。
【００３１】
本実施形態における処理例を、図６を用いて説明する。
【００３２】
本件を用いて映像編集を行う前後の映像のスクリーンショットを示す。オブジェクトＡ６０１は映像内で検出されたオブジェクトである。６０２〜６０４は、映像編集前の映像のスクリーンショットである。６０５は不要区間直前のフレームである。６０６は不要区間直後のフレームである。６０７は挿入映像決定部２０６によって決定された挿入映像のスクリーンショットである。オブジェクトＢ６０８は映像内で検出されたオブジェクトである。不要区間抽出部２０３によって、スクリーンショット６０３の部分が激しい手ブレのため不要区間として抽出される。オブジェクト判定部２０４によって、不要区間直前のオブジェクトをフレーム６０５から、不要区間直後のオブジェクトをフレーム６０６から検出し、映像６０７に同一のオブジェクトが存在するか判定する。
【００３３】
尚、不要区間直前および直後のオブジェクトを、フレーム６０５およびフレーム６０６から検出したが、これは一例であり、これに限るものではない。例えば、不要区間直前のオブジェクトを、フレーム６０５から規定フレーム数遡ったフレームまでの間の複数のフレームから検出しても良い。
【００３４】
背景判定部２０５によって、フレーム６０５から不要区間直前の背景を、フレーム６０６から不要区間直後の背景を検出し、映像６０７が類似した背景の映像かを判定する。尚、不要区間直前および直後の背景を、フレーム６０５およびフレーム６０６から検出したが、これは一例であり、これに限るものではない。例えば、不要区間直前の背景を、フレーム６０５から規定フレーム数遡ったフレームまでの間の複数のフレームから検出しても良い。
【００３５】
挿入映像決定部２０６は、オブジェクト判定部２０４および背景判定部２０５の判定結果に基づき、映像６０２と映像６０４のオブジェクト及び背景とは異なる映像６０７を、挿入する映像として決定する。映像削除挿入部２０７は、不要区間６０３を削除し、削除した区間に、映像６０７を挿入する映像編集を行う。
【００３６】
このように挿入する映像を決定し挿入することにより、編集後も自然な繋がりの映像にすることが可能となる。
【００３７】
図７に、本実施形態における映像編集装置２０２の映像編集処理のフローチャートを示す。
【００３８】
映像編集処理を開始すると、編集対象映像を記録媒体２０１から読み出し、手ブレの激しい区間を不要区間として抽出する（Ｓ７０１）。尚、本実施形態では、手ぶれの激しい区間を不要区間として抽出したが、明る過ぎる区間、暗すぎる区間を抽出しても良い。また、ユーザーが抽出しても良い。
【００３９】
映像削除挿入部２０７は、挿入する映像として用いる素材映像の範囲を、編集対象映像の撮影時刻から規定時間前後させた撮影時刻内の素材映像とする（Ｓ７０２）。尚、本実施形態では、挿入する映像を編集対象映像の撮影時刻から規定時間前後させた撮影時刻内の素材映像としたが、同一オブジェクトが存在する素材映像や、類似した背景の素材映像を挿入する映像としても良い。また、ユーザーが決定しても良い。
【００４０】
撮影挿入映像決定部２０６は、決定した範囲の素材映像内から、挿入する映像を決定する挿入映像決定処理を行う（Ｓ７０３）。挿入映像決定処理の詳細は、図８を用いて後で説明する。
【００４１】
映像削除挿入部２０７は、不要区間を削除し、不要区間を削除した区間に、挿入映像決定部２０６で決定した映像を挿入する映像編集を行い（Ｓ７０４）、映像編集処理を終了する。図８に、実施形態１の挿入映像決定処理のフローチャートを示す。挿入映像決定処理を開始する。ステップＳ７０２で決定した範囲内の素材映像で、撮影時刻が最も編集対象映像に近い映像を候補映像とする（Ｓ８０１）。
【００４２】
オブジェクト判定部２０４は、不要区間抽出部２０３によって抽出された不要区間の直前および直後の映像に存在するオブジェクトと、候補映像に存在するオブジェクトが同一のオブジェクトかを判定する（Ｓ８０２）。
【００４３】
ステップＳ８０２において同一のオブジェクトが存在した場合、ステップＳ７０２において決定した範囲内に、撮影時刻が、現候補映像の次に編集対象に近い素材映像があるか判定する（Ｓ８０３）。撮影時刻が次に編集対象に近い素材映像が存在する場合（Ｓ８０３）、候補映像を現候補映像の次に、撮影時刻が、編集対象の撮影時刻に近い素材映像にし（Ｓ８０４）、ステップＳ８０２へ移行する。
【００４４】
撮影時刻が次に編集対象に近い素材映像が存在しない場合（Ｓ８０３）、ステップＳ７０２において決定した範囲内の素材映像で、編集対象の背景と最も類似していない背景を持つ素材映像を（Ｓ８０５）、挿入映像決定処理を終了する。
【００４５】
尚、ここで挿入する映像を、ステップＳ７０２で決定した範囲内の素材映像で、編集対象の背景と最も類似していない背景を持つ素材映像としたが、これは一例であり、これに限るものではない。例えば、撮影時刻が、編集対象に最も近い素材映像としても良い。
【００４６】
同一のオブジェクトが存在しなかった場合（Ｓ８０２）、背景判定部２０５で、不要区間抽出部２０３によって抽出された不要区間直前および直後の映像の背景と、候補映像の背景が類似するか判定する（Ｓ８０６）。もし類似する背景だった場合（Ｓ８０６）、ステップＳ８０３へ移行する。類似しない背景だった場合（Ｓ８０６）、候補映像を挿入する映像と決定し（Ｓ８０７）、挿入映像決定処理を終了する。
【００４７】
尚、素材映像を撮影映像が編集対象に次に近いものから候補映像としているが、候補映像を選ぶ方法はこれに限るものではない。例えば、撮影時間が新しい素材映像から候補映像として選択しても良い。
【００４８】
以上説明したように、実施形態１によれば、映像の不要区間を削除した区間に他の映像を挿入する映像編集を行う際、編集後の映像が自然な映像となるような編集を可能とする効果を得られる。
【００４９】
（実施形態２）
実施形態２を図面に基づいて説明する。基本的な構成は図１〜図４で説明した実施形態１と同じである。以降、実施形態１に準ずる箇所は、説明を割愛する。
【００５０】
実施形態２では、実施形態１の挿入映像決定処理で挿入する映像が素材映像内に存在しなかった場合、映像のフレーム内を空間的に切り取る加工処理を行うことによって挿入映像を生成する処理を行う。
【００５１】
図９を用いて、映像の加工処理例を説明する。
【００５２】
映像９０１は、挿入する映像の加工前の映像である。背景９０２は、不要区間前後の映像に存在するオブジェクトの近傍の背景である。領域９０３は、切り出し範囲である。スクリーンショット９０４は、映像９０１に加工処理を行った後の映像のスクリーンショットである。
【００５３】
挿入映像決定部２０６によって、挿入する映像を、映像９０１の背景のうち、不要区間前後の映像に存在するオブジェクトの近傍の背景ではない領域９０３の部分を切り出した映像に決定する。映像削除挿入部２０７では、挿入映像決定部２０６によって決定された切り出し範囲９０３を、映像９０１からを切り出し拡大する加工処理を行うことにより、挿入する映像７０３を生成し、挿入する。
【００５４】
このように挿入する映像を決定し、映像を挿入することにより、編集後も自然な繋がりの映像にすることが可能となる。
【００５５】
尚、この処理は一例である。加工後の挿入する映像が、不要区間の直前および直後に存在するオブジェクトが存在せず、背景が類似していない映像に加工されていれば、この例に限られない。
【００５６】
図１０に実施形態２における挿入映像決定処理のフローチャートを示す。
【００５７】
実施形態２では、撮影時刻が次に編集対象に近い素材映像が無いと判定した場合（Ｓ８０３）、ステップＳ７０２において決定した範囲内の素材映像のなかで、不要区間直前および直後の背景と最も類似していない背景を持つ素材映像を加工対象映像とする（Ｓ１００１）。
【００５８】
尚、ここで加工対象映像を編集対象の背景と最も類似していない背景を持つ素材映像としたが、これは一例であり、これに限るものではない。例えば、撮影時刻が編集対象に最も近い素材映像を加工対象映像としても良い。
【００５９】
不要区間直前および直後の映像に存在するオブジェクトの近傍の背景ではない、加工対象映像の背景の一部を切り出し拡大した部分を挿入する映像とし（Ｓ１００２）、挿入映像決定処理を終了する。
【００６０】
尚、本実施形態では、加工処理として、映像の領域を切り出し拡大する処理を行っているが、これは一例であり、これに限るものではない。
【００６１】
以上実施形態２で説明したように、このように構成し処理することにより、映像の不要区間を削除した区間に他の映像を加工して挿入することにより、編集後の映像が自然な映像となる効果を得られる。
【００６２】
以上、実施形態１、２によれば、映像の不要区間を削除した区間に他の映像を挿入する映像編集を行う際、編集後の映像が自然な映像となるような編集を可能とする効果を得られる。
【００６３】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は映像を編集する技術に関する。
【背景技術】
【０００２】
従来、撮影に熟練していない人が撮影を行う際、手ブレなどの失敗映像が多々記録される。そのため映像編集時に、失敗映像部分をカットまたは修正する編集がよく行われている。不要区間を削除する処理として、手ブレの量が所定の値より大きい動画像は記録しない又は削除するという処理が行われている。（特許文献１参照）
しかし、失敗映像部分をカットし、そのまま繋げる編集を行うと、オブジェクトが瞬間的に移動してしまったように感じるジャンプカットのような違和感が生じてしまう場合がある。そのため映像編集において時間的に不連続な映像を違和感なく繋げるために、インサートカットと呼ばれる前後の映像とは異なる映像を挿入する手法が、一般的に良く行われている。映像の一部を挿入する処理として、ユーザが選んだ映像から挿入する映像を決定するという処理が行われている。（特許文献２参照）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１６０６３７号公報
【特許文献２】特開２００８−２２５１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献２の場合、ユーザが選んだ映像によっては、不要区間前後の映像との繋がりが不自然になってしまうことがある。例えば、挿入した映像に、不要区間前後に存在していたオブジェクトが存在していると、映像の繋ぎ目の部分で、オブジェクトが瞬間的に移動したように見えてしまい、不自然である。
そこで本発明では、上記問題を解決し、映像の不要区間を削除した区間に他の映像を挿入する映像編集を行う際、編集後の映像が自然な映像となることを目的としている。
【課題を解決するための手段】
【０００５】
上記の目的を達成するための本発明の一態様による情報処理装置は以下の構成を備える。すなわち、
編集対象映像から不要区間の映像を抽出する抽出手段と、前記抽出された不要区間の映像に対応する画像に基づいて、前記不要区間に挿入する映像を前記編集対象映像から決定する決定手段と、前記決定された映像を前記不要区間に挿入する挿入手段とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、映像の不要区間を削除した区間に他の映像を挿入する映像編集を行う際、編集後の映像が自然な映像となるような編集を可能とする効果を得られる。
【図面の簡単な説明】
【０００７】
【図１】映像編集装置のハードウェア構成図
【図２】映像編集装置の概略を示した機能ブロック図
【図３】オブジェクト情報の一例を表した表
【図４】背景情報の一例を表した表
【図５】背景の類似判定の処理を説明する図
【図６】映像編集装置の映像編集処理の概要を説明する図
【図７】映像編集処理の一連の処理の詳細を説明するフローチャート
【図８】挿入映像決定処理の詳細を説明するフローチャート
【図９】映像編集装置の映像編集処理の概要を説明する図
【図１０】挿入映像決定処理の一連の処理の詳細説明するフローチャート
【発明を実施するための形態】
【０００８】
以下、本発明の好適な実施形態について添付の図面を参照して詳細に説明する。
【０００９】
（実施形態１）
実施形態１を図面に基づいて説明する。図１は、本実施形態の映像編集装置のハードウェア構成例である。ハードディスクドライブ１０１は、映像データやオブジェクト情報、背景情報などのデータを蓄積する。ＲＯＭ１０２は、プログラム格納用として用いられる。後述するフローの処理プログラムもここに格納される。ＲＡＭ１０３は、プログラム実行時に用いられる。ＣＰＵ１０４は、映像編集装置を統括する制御部である。後述するフローの処理もＣＰＵ１０４で制御される。入力機器１０５は、映像編集装置がユーザーからの入力を受け付ける際に用いられる。ディスプレイ１０６は、映像編集装置からの出力結果を表示するのに用いられる。バス１０７は、上記ハードディスクドライブ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＣＰＵ１０４、入力機器１０５、ディスプレイ１０６を接続するデータ線である。
【００１０】
尚、以降では、動画像のことを映像と呼び、静止画像のことを画像と呼ぶ。途中、図３および図４を用いて、オブジェクト情報および背景情報について説明し、図５を用いて本実施形態における背景の類似判定処理について説明する。
【００１１】
図２は本実施形態の映像編集装置の概略を示した機能ブロック図である。記憶媒体２０１は、データを蓄積するハードディスク１０１などから成り、映像データ、オブジェクト情報、背景情報などを蓄積する。
【００１２】
図３にオブジェクト情報の一例を示す。ＩＤ３０１は、オブジェクトを検出した映像を特定するための情報である。タイムスタンプ３０２は、オブジェクトを検出したフレームの時間情報で、単位はミリ秒である。３０３と３０４はオブジェクトの画面上の位置のｘ座標とｙ座標で、単位はピクセルである。３０５は検出したオブジェクトの領域の面積で、ピクセル数で表す。
【００１３】
３０６は、オブジェクトの色相の情報である。例えばオブジェクト領域のＲＧＢの色分布情報などが上げられる。エッジ情報３０７は、オブジェクトのエッジの情報を示す画像データである。例えば、この画像３０７は、フレーム画像のオブジェクト領域を二値化し細線化した画像データである。ただし、上記エッジの情報を示すものであれば、他の方法でエッジ情報を取得しても構わない。
【００１４】
図４に背景情報の一例を示す。ＩＤ４０１は、背景を検出した映像を特定するための情報である。タイムスタンプ４０２は、背景を検出したフレームの時間情報で、単位はミリ秒である。４０３は、背景の色相の情報である。エッジ情報４０４は、上記エッジ情報３０７と同様のエッジの情報である。これも、上記エッジの情報を示すものであれば、種々の方法でエッジ情報を取得して構わない。
【００１５】
引き続き図２に基づいて本実施形態の映像編集装置の概略を説明する。映像編集装置２０２は、映像の不要区間を削除し、削除した区間に他のデータを挿入する映像編集を行う。不要区間抽出部２０３は、編集対象映像の不要区間を抽出する。不要区間抽出部２０３では、手ブレの激しい区間、明る過ぎる区間、または暗過ぎる区間などを不要区間として抽出する。例えば、手ブレの激しい区間は、各フレームの動きベクトルの平均と頻度分布の分散値から検出する。また、明る過ぎる区間と暗過ぎる区間は、フレーム画像の輝度の平均値があらかじめ定めた上限値以上または下限値以下かどうかで判定する。また、ユーザーが不要区間を抽出しても良い。尚、これらは一例でありこれらに限るものではない。
【００１６】
オブジェクト判定部２０４は、不要区間抽出部２０３で抽出した不要区間の直前および直後の映像に存在するオブジェクトと同一のオブジェクトが存在する映像か判定する。オブジェクトの弁別は、オブジェクトの色相情報３０６またはエッジ情報３０７をパターンマッチングすることによって行う。例えば、オブジェクトの領域を予め定めた規定数のブロックに分割し、分割したブロックごとに色の分布が一致するか判定する。一致したブロックが、予め定めた規定値以上の割合の場合同一オブジェクトと判定する。尚、これはオブジェクト弁別の方法の一例であり、これに限るものではない。
【００１７】
尚、不要区間直前および直後の映像のオブジェクトとして、不要区間直前および直後のフレーム１枚だけに存在するオブジェクトだけを用いても良いし、不要区間直前および直後のフレームから規定フレーム数前およびフレーム数後に存在するオブジェクトを用いても良い。また、不要区間内であってもオブジェクトが特定できれば、不要区間内のオブジェクトを用いてもよく、要は不要区間のオブジェクトに対応するオブジェクトであればよい。
【００１８】
背景判定部２０５は、不要区間抽出部２０３で抽出した不要区間の直前または直後の映像の背景と類似する背景の映像か判定する。背景の弁別は、背景の色相情報４０３またはエッジ情報４０４をパターンマッチングすることにより行う。例えば、背景領域を予め定めた規定数のブロックに分割し、分割したブロックごとに色の分布が一致するか判定する。一致したブロックが、予め定めた規定値以上の割合の場合同一オブジェクトと判定する。尚、これは背景弁別の方法の一例であり、これに限るものではない。
【００１９】
尚、不要区間直前および直後の映像の背景として、不要区間直前および直後のフレーム１枚だけに存在する背景だけを用いても良いし、不要区間直前および直後のフレームから予め定めた規定フレーム数前およびフレーム数後の背景を用いても良い。また、不要区間内であっても背景が特定できれば、不要区間内のオブジェクトを用いてもよく、要は不要区間の背景に対応する背景であればよい。
【００２０】
図５に基づいて、背景の類似判定処理を説明する。フレーム画像５０２、５０３は、フレーム画像５０１の時より少しズームインして撮影して得られた画像である。領域５０４は、フレーム画像５０２とフレーム画像５０３の重なり部分を示す。フレーム画像５０２とフレーム画像５０３を用いて、部分的にパターンマッチングを行うと、重なり部分５０４の領域がマッチする。このマッチした領域が予め定めた規定値以上の場合、フレーム画像５０２とフレーム画像５０３を類似した背景と判定する。
【００２１】
また、フレーム画像５１１は、フレーム画像５０２よりズームインして撮影したフレーム画像となる。フレーム画像５０２とフレーム画像５１１のどちらか一方を拡大または縮小しパターンマッチングを行う。一致した際の拡大率または縮小率が予め定めた規定値未満の場合、フレーム画像５０２とフレーム画像５１１は類似した背景の映像と判定する。
【００２２】
挿入映像決定部２０６は、オブジェクト判定部２０４および背景判定部２０５によって、同一オブジェクトが存在せず、かつ類似する背景ではないと判定された素材映像を、不要映像を削除した区間へ挿入する映像と決定する。尚、オブジェクト判定部２０４か背景判定部２０５の一方のみの構成で、一方の判定によって決定させてもよい。
【００２３】
尚、挿入する映像として、映像ファイル単位で決定しても良いし、映像を時間的に区切った映像区間で決定しても良い。
【００２４】
また、挿入する映像を決定する素材映像の範囲を限定してもよい。例えば、編集対象映像の撮影時刻から、予め定めた規定値だけ前後させた撮影時刻内の映像に限定してもよい。このように限定することにより、不要区間直前および直後の映像と時間的に近く、関連の強い映像から挿入する映像が可能となる。検討
また、背景の判断を行わず、不要区間直前または直後に存在するオブジェクトと同一オブジェクトが存在する映像や、類似した背景の映像に限定したり、同一オブジェクトが存在しない画像に限定してもよいし、さらに背景の判断と組み合わせてもよい。
【００２５】
例えば、同一の背景で、オブジェクトが存在しない画像に限定することは有効である。これによって、風景のみの画像が選択されるようにすることもできる。
【００２６】
また、オブジェクトを認識するようにして、挿入する画像のオブジェクトは人以外にするようにし、背景は同じ画像に限定してもよい。
【００２７】
ここでは、挿入する映像を不要区間の映像と類似しない映像にすることにより、上述したような違和感を感じないようすることが有効である。
【００２８】
このように限定することにより、不要区間直前および直後の映像と時間的に離れていても、関連のある映像から、挿入する映像を決定することが可能となる。
【００２９】
尚、単一の機器で撮影した映像だけではなく、複数の機器で再生した映像や、ネットワーク上の映像を挿入する映像の素材映像としてもよい。
【００３０】
引き続き図２に基づいて本実施形態の映像編集装置の概略を説明する。映像削除挿入部２０７は、不要区間抽出部２０３で抽出した不要区間を削除し、削除した区間に、挿入映像決定部２０６によって決定された映像を挿入する編集を行う。表示部２０８は、映像削除挿入部２０７で映像編集された映像データを表示する。
【００３１】
本実施形態における処理例を、図６を用いて説明する。
【００３２】
本件を用いて映像編集を行う前後の映像のスクリーンショットを示す。オブジェクトＡ６０１は映像内で検出されたオブジェクトである。６０２〜６０４は、映像編集前の映像のスクリーンショットである。６０５は不要区間直前のフレームである。６０６は不要区間直後のフレームである。６０７は挿入映像決定部２０６によって決定された挿入映像のスクリーンショットである。オブジェクトＢ６０８は映像内で検出されたオブジェクトである。不要区間抽出部２０３によって、スクリーンショット６０３の部分が激しい手ブレのため不要区間として抽出される。オブジェクト判定部２０４によって、不要区間直前のオブジェクトをフレーム６０５から、不要区間直後のオブジェクトをフレーム６０６から検出し、映像６０７に同一のオブジェクトが存在するか判定する。
【００３３】
尚、不要区間直前および直後のオブジェクトを、フレーム６０５およびフレーム６０６から検出したが、これは一例であり、これに限るものではない。例えば、不要区間直前のオブジェクトを、フレーム６０５から規定フレーム数遡ったフレームまでの間の複数のフレームから検出しても良い。
【００３４】
背景判定部２０５によって、フレーム６０５から不要区間直前の背景を、フレーム６０６から不要区間直後の背景を検出し、映像６０７が類似した背景の映像かを判定する。尚、不要区間直前および直後の背景を、フレーム６０５およびフレーム６０６から検出したが、これは一例であり、これに限るものではない。例えば、不要区間直前の背景を、フレーム６０５から規定フレーム数遡ったフレームまでの間の複数のフレームから検出しても良い。
【００３５】
挿入映像決定部２０６は、オブジェクト判定部２０４および背景判定部２０５の判定結果に基づき、映像６０２と映像６０４のオブジェクト及び背景とは異なる映像６０７を、挿入する映像として決定する。映像削除挿入部２０７は、不要区間６０３を削除し、削除した区間に、映像６０７を挿入する映像編集を行う。
【００３６】
このように挿入する映像を決定し挿入することにより、編集後も自然な繋がりの映像にすることが可能となる。
【００３７】
図７に、本実施形態における映像編集装置２０２の映像編集処理のフローチャートを示す。
【００３８】
映像編集処理を開始すると、編集対象映像を記録媒体２０１から読み出し、手ブレの激しい区間を不要区間として抽出する（Ｓ７０１）。尚、本実施形態では、手ぶれの激しい区間を不要区間として抽出したが、明る過ぎる区間、暗すぎる区間を抽出しても良い。また、ユーザーが抽出しても良い。
【００３９】
映像削除挿入部２０７は、挿入する映像として用いる素材映像の範囲を、編集対象映像の撮影時刻から規定時間前後させた撮影時刻内の素材映像とする（Ｓ７０２）。尚、本実施形態では、挿入する映像を編集対象映像の撮影時刻から規定時間前後させた撮影時刻内の素材映像としたが、同一オブジェクトが存在する素材映像や、類似した背景の素材映像を挿入する映像としても良い。また、ユーザーが決定しても良い。
【００４０】
撮影挿入映像決定部２０６は、決定した範囲の素材映像内から、挿入する映像を決定する挿入映像決定処理を行う（Ｓ７０３）。挿入映像決定処理の詳細は、図８を用いて後で説明する。
【００４１】
映像削除挿入部２０７は、不要区間を削除し、不要区間を削除した区間に、挿入映像決定部２０６で決定した映像を挿入する映像編集を行い（Ｓ７０４）、映像編集処理を終了する。図８に、実施形態１の挿入映像決定処理のフローチャートを示す。挿入映像決定処理を開始する。ステップＳ７０２で決定した範囲内の素材映像で、撮影時刻が最も編集対象映像に近い映像を候補映像とする（Ｓ８０１）。
【００４２】
オブジェクト判定部２０４は、不要区間抽出部２０３によって抽出された不要区間の直前および直後の映像に存在するオブジェクトと、候補映像に存在するオブジェクトが同一のオブジェクトかを判定する（Ｓ８０２）。
【００４３】
ステップＳ８０２において同一のオブジェクトが存在した場合、ステップＳ７０２において決定した範囲内に、撮影時刻が、現候補映像の次に編集対象に近い素材映像があるか判定する（Ｓ８０３）。撮影時刻が次に編集対象に近い素材映像が存在する場合（Ｓ８０３）、候補映像を現候補映像の次に、撮影時刻が、編集対象の撮影時刻に近い素材映像にし（Ｓ８０４）、ステップＳ８０２へ移行する。
【００４４】
撮影時刻が次に編集対象に近い素材映像が存在しない場合（Ｓ８０３）、ステップＳ７０２において決定した範囲内の素材映像で、編集対象の背景と最も類似していない背景を持つ素材映像を（Ｓ８０５）、挿入映像決定処理を終了する。
【００４５】
尚、ここで挿入する映像を、ステップＳ７０２で決定した範囲内の素材映像で、編集対象の背景と最も類似していない背景を持つ素材映像としたが、これは一例であり、これに限るものではない。例えば、撮影時刻が、編集対象に最も近い素材映像としても良い。
【００４６】
同一のオブジェクトが存在しなかった場合（Ｓ８０２）、背景判定部２０５で、不要区間抽出部２０３によって抽出された不要区間直前および直後の映像の背景と、候補映像の背景が類似するか判定する（Ｓ８０６）。もし類似する背景だった場合（Ｓ８０６）、ステップＳ８０３へ移行する。類似しない背景だった場合（Ｓ８０６）、候補映像を挿入する映像と決定し（Ｓ８０７）、挿入映像決定処理を終了する。
【００４７】
尚、素材映像を撮影映像が編集対象に次に近いものから候補映像としているが、候補映像を選ぶ方法はこれに限るものではない。例えば、撮影時間が新しい素材映像から候補映像として選択しても良い。
【００４８】
以上説明したように、実施形態１によれば、映像の不要区間を削除した区間に他の映像を挿入する映像編集を行う際、編集後の映像が自然な映像となるような編集を可能とする効果を得られる。
【００４９】
（実施形態２）
実施形態２を図面に基づいて説明する。基本的な構成は図１〜図４で説明した実施形態１と同じである。以降、実施形態１に準ずる箇所は、説明を割愛する。
【００５０】
実施形態２では、実施形態１の挿入映像決定処理で挿入する映像が素材映像内に存在しなかった場合、映像のフレーム内を空間的に切り取る加工処理を行うことによって挿入映像を生成する処理を行う。
【００５１】
図９を用いて、映像の加工処理例を説明する。
【００５２】
映像９０１は、挿入する映像の加工前の映像である。背景９０２は、不要区間前後の映像に存在するオブジェクトの近傍の背景である。領域９０３は、切り出し範囲である。スクリーンショット９０４は、映像９０１に加工処理を行った後の映像のスクリーンショットである。
【００５３】
挿入映像決定部２０６によって、挿入する映像を、映像９０１の背景のうち、不要区間前後の映像に存在するオブジェクトの近傍の背景ではない領域９０３の部分を切り出した映像に決定する。映像削除挿入部２０７では、挿入映像決定部２０６によって決定された切り出し範囲９０３を、映像９０１からを切り出し拡大する加工処理を行うことにより、挿入する映像７０３を生成し、挿入する。
【００５４】
このように挿入する映像を決定し、映像を挿入することにより、編集後も自然な繋がりの映像にすることが可能となる。
【００５５】
尚、この処理は一例である。加工後の挿入する映像が、不要区間の直前および直後に存在するオブジェクトが存在せず、背景が類似していない映像に加工されていれば、この例に限られない。
【００５６】
図１０に実施形態２における挿入映像決定処理のフローチャートを示す。
【００５７】
実施形態２では、撮影時刻が次に編集対象に近い素材映像が無いと判定した場合（Ｓ８０３）、ステップＳ７０２において決定した範囲内の素材映像のなかで、不要区間直前および直後の背景と最も類似していない背景を持つ素材映像を加工対象映像とする（Ｓ１００１）。
【００５８】
尚、ここで加工対象映像を編集対象の背景と最も類似していない背景を持つ素材映像としたが、これは一例であり、これに限るものではない。例えば、撮影時刻が編集対象に最も近い素材映像を加工対象映像としても良い。
【００５９】
不要区間直前および直後の映像に存在するオブジェクトの近傍の背景ではない、加工対象映像の背景の一部を切り出し拡大した部分を挿入する映像とし（Ｓ１００２）、挿入映像決定処理を終了する。
【００６０】
尚、本実施形態では、加工処理として、映像の領域を切り出し拡大する処理を行っているが、これは一例であり、これに限るものではない。
【００６１】
以上実施形態２で説明したように、このように構成し処理することにより、映像の不要区間を削除した区間に他の映像を加工して挿入することにより、編集後の映像が自然な映像となる効果を得られる。
【００６２】
以上、実施形態１、２によれば、映像の不要区間を削除した区間に他の映像を挿入する映像編集を行う際、編集後の映像が自然な映像となるような編集を可能とする効果を得られる。
【００６３】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
編集対象映像から不要区間の映像を抽出する抽出手段と、
前記抽出された不要区間の映像に対応する画像に基づいて、前記不要区間に挿入する映像を前記編集対象映像から決定する決定手段と、
前記決定された映像を前記不要区間に挿入する挿入手段と
を備えることを特徴とする映像編集装置。
【請求項２】
前記決定手段は、前記挿入する映像を、前記不要区間の映像と類似しない映像に決定することを特徴とする請求項１に記載の映像編集装置。
【請求項３】
前記不要区間の映像に対応する画像に存在するオブジェクトが存在する映像かを判定するオブジェクト判定手段と、
前記不要区間の映像に対応する画像の背景と類似する背景を有する映像かを判定する背景判定手段とを更に有し、
前記決定手段は、少なくとも前記オブジェクト判定手段と、前記背景判定手段の一方による判定結果に基づいて映像を決定することを特徴とする請求項１または２に記載の映像編集装置。
【請求項４】
前記決定手段は、前記オブジェクト判定手段によって前記不要区間の映像に対応する画像に存在するオブジェクトが存在しないと判定され、かつ、前記背景判定手段によって前記不要区間の映像に対応する画像の背景と類似する背景を有する映像でないと判定された映像を挿入する映像と決定することを特徴とする請求項３に記載の映像編集装置。
【請求項５】
前記決定手段は、前記編集対象映像のうち、前記不要区間の映像に時間的に近い映像を前記挿入する映像と決定することを特徴とする請求項１から４に記載の映像編集装置。
【請求項６】
前記不要区間の映像に対応する画像とは、前記編集対象映像の前記不要区間の映像の直前と直後のフレーム画像であることを特徴とする請求項１から５に記載の映像編集装置。
【請求項７】
前記不要区間の映像とは、少なくとも手ブレの激しい区間、明るすぎる区間、暗すぎる区間のいずれかであることを特徴とする請求項１から６に記載の映像編集装置。
【請求項８】
映像の一部を切り出す加工手段をさらに有し、
前記決定手段は、加工手段によって加工された映像を挿入する映像として決定することを特徴とする請求項１から７に記載の映像編集装置。
【請求項９】
映像から不要区間の映像を抽出する抽出工程と、
前記抽出された不要区間の映像に対応する画像に基づいて、前記不要区間に挿入する映像を前記編集対象映像から決定する決定工程と、
前記決定された映像を前記不要区間に挿入する挿入工程と
を備えることを特徴とする映像編集装置の制御方法。
【請求項１０】
請求項９に記載の映像編集装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１１】
請求項１０に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。
【請求項１】
編集対象映像から不要区間の映像を抽出する抽出手段と、
前記抽出された不要区間の映像に対応する画像に基づいて、前記不要区間に挿入する映像を前記編集対象映像から決定する決定手段と、
前記決定された映像を前記不要区間に挿入する挿入手段と
を備えることを特徴とする映像編集装置。
【請求項２】
前記決定手段は、前記挿入する映像を、前記不要区間の映像と類似しない映像に決定することを特徴とする請求項１に記載の映像編集装置。
【請求項３】
前記不要区間の映像に対応する画像に存在するオブジェクトが存在する映像かを判定するオブジェクト判定手段と、
前記不要区間の映像に対応する画像の背景と類似する背景を有する映像かを判定する背景判定手段とを更に有し、
前記決定手段は、少なくとも前記オブジェクト判定手段と、前記背景判定手段の一方による判定結果に基づいて映像を決定することを特徴とする請求項１または２に記載の映像編集装置。
【請求項４】
前記決定手段は、前記オブジェクト判定手段によって前記不要区間の映像に対応する画像に存在するオブジェクトが存在しないと判定され、かつ、前記背景判定手段によって前記不要区間の映像に対応する画像の背景と類似する背景を有する映像でないと判定された映像を挿入する映像と決定することを特徴とする請求項３に記載の映像編集装置。
【請求項５】
前記決定手段は、前記編集対象映像のうち、前記不要区間の映像に時間的に近い映像を前記挿入する映像と決定することを特徴とする請求項１から４に記載の映像編集装置。
【請求項６】
前記不要区間の映像に対応する画像とは、前記編集対象映像の前記不要区間の映像の直前と直後のフレーム画像であることを特徴とする請求項１から５に記載の映像編集装置。
【請求項７】
前記不要区間の映像とは、少なくとも手ブレの激しい区間、明るすぎる区間、暗すぎる区間のいずれかであることを特徴とする請求項１から６に記載の映像編集装置。
【請求項８】
映像の一部を切り出す加工手段をさらに有し、
前記決定手段は、加工手段によって加工された映像を挿入する映像として決定することを特徴とする請求項１から７に記載の映像編集装置。
【請求項９】
映像から不要区間の映像を抽出する抽出工程と、
前記抽出された不要区間の映像に対応する画像に基づいて、前記不要区間に挿入する映像を前記編集対象映像から決定する決定工程と、
前記決定された映像を前記不要区間に挿入する挿入工程と
を備えることを特徴とする映像編集装置の制御方法。
【請求項１０】
請求項９に記載の映像編集装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１１】
請求項１０に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−５５４０９（Ｐ２０１３−５５４０９Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９０６８５（Ｐ２０１１−１９０６８５）
【出願日】平成２３年９月１日（２０１１．９．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年９月１日（２０１１．９．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]