映像編集装置およびその制御方法
【課題】 ストーリー性のある映像編集を簡便に実現することを目的とする。
【解決手段】 複数の映像の構図を解析し、解析結果に基づいて、前記複数の映像を繋ぐ順序を決定し、決定された順序に基づいて、前記複数の映像を繋ぐことによって映像を編集する。
【解決手段】 複数の映像の構図を解析し、解析結果に基づいて、前記複数の映像を繋ぐ順序を決定し、決定された順序に基づいて、前記複数の映像を繋ぐことによって映像を編集する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を編集する映像編集装置およびその制御方法に関する。
【背景技術】
【０００２】
近年、デジタルビデオカメラ等の普及や符号化技術の発達に伴い映像のデジタル化が進み、これに伴って映像のノンリニア編集がより一般的となりつつある。しかしながら映像編集は多くの労力を必要とするため、これまでに労力を軽減するための様々な映像編集を自動で行う技術が開発されている。
例えば特許文献１では、カット点のみでなく音声等の情報も考慮して、編集者が望む一部区間コンテンツを適切に抽出する技術が開示されている。また例えば特許文献２では、番組に対するメタ情報に基づいてシーン毎にダイジェストシーンを抽出し、プレイリストとして登録する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１１７３２９号公報
【特許文献２】特開２００８−２２３５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、映像編集に於いて視聴者を満足させる為には、映像編集に於いて映像を編集するだけでなく全体としてストーリー性を持たせることが重要である。例えば風景映像であればロングショットを冒頭にもってくることが一般的であり、あるいはパーティーのような映像であればむしろ映像をランダムに繋げる場合もある。特許文献１ではユーザーが指定したカット点からさらに音声等の情報も考慮し短い映像区間を選択するものであり、映像時間の短縮には効果があるものの、上述の様なストーリー性を編集映像に付加する事は出来なかった。
また特許文献２では、番組に付加されたメタ情報に基づいて映像をシーン分割すると共に、ユーザーのキーワード指定とメタ情報とに基づいて重要度を求め、重要度に応じた順序でプレイリストを生成する。本手法ではキーワードとメタ情報との指定を工夫することで、編集映像のつなぎ順にストーリー性を持たせる事は可能である。
しかしながら、キーワードと対応付けられるメタ情報をあらかじめ映像に付加しておく必要があり、映像編集前の準備に多くの労力を必要とする。またメタ情報が付加されていない場合には、この手法を適用する事は出来ず、ストーリー性を持たせる事が出来ない。
上記課題を鑑みて、本発明は、ストーリー性のある映像編集を簡便に実現することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するための本発明の一態様による映像編集装置は以下の構成を備える。すなわち、複数の映像の構図を解析する解析手段と、 前記解析手段による解析結果に基づいて、前記複数の映像を繋ぐ順序を決定する順序決定手段と、前記決定された順序に基づいて、前記複数の映像を繋ぐことにより映像を編集する編集手段とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、ストーリー性のある映像編集を少ない労力で実現することが可能である。
【図面の簡単な説明】
【０００７】
【図１】映像編集装置のハードウェア構成を示すブロック図
【図２】映像編集装置の機能構成を示すブロック
【図３】映像編集アプリケーションのアプリケーションウィンドウを示す模式図
【図４】映像補正アプリケーションで実行される映像編集処理を表すフローチャート
【図５】シーン分類処理のフローチャート
【図６】編集ルールのデータ構造を示す模式図
【図７】稜線算出処理のフローチャート
【図８】画像重心算出処理のフローチャート
【図９】データ構造を示す模式図
【図１０】編集ルールが風景／旅行である場合のカット映像繋ぎ順序決定処理のフローチャート
【図１１】編集ルールがセレモニーである場合のカット映像繋ぎ順序決定処理のフローチャート
【図１２】編集ルールがパーティー／イベントである場合のカット映像繋ぎ順序決定処理のフローチャート
【発明を実施するための形態】
【０００８】
（実施形態１）
図１は本発明の映像編集装置のハードウェア構成を示すブロック図である。ＣＰＵ１０１は、メインメモリ１０２のＲＡＭをワークメモリとして、メインメモリ１０２のＲＯＭおよびハードディスクドライブ（ＨＤＤ）１０４に格納されたオペレーティングシステム（ＯＳ）や各種プログラムを実行する。そして、ＰＣＩ（ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ）バスなどのシステムバス１１２を介して各構成を制御する。さらに、後述する映像補正アプリケーション、メディアリーダードライバを含む各種プログラムを実行する。
【０００９】
ＣＰＵ１０１は、システムバス１１２およびＳＣＳＩインタフェイス１０３を介してＨＤＤ１０４にアクセスする。以下では、映像補正アプリケーションをＨＤＤ１０４から読み出すとして説明する。また、ＣＰＵ１０１は、後述する処理のユーザインタフェイスや処理結果をグラフィックアクセラレータ１０５を介してモニタ１０６に表示し、ユーザー指示をキーボード／マウスコントローラ１０９に接続されたキーボード１１０、マウス１１１を介して入力する。また、ＣＰＵ１０１は、映像データをＵＳＢ （Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コントローラ１０７を介してメディアリーダー１０８より入力する。
【００１０】
図２は、映像編集装置の機能構成を示すブロック図である。映像編集装置２０１は、解析手段２０２、順序決定手段２０３、編集手段２０４を有する。解析手段２０２は、複数の映像の構図を解析する。順序決定手段２０３は、解析結果に基づいて、解析された複数の映像の繋ぎ順序を決定する。編集手段２０４は、順序が決定された複数の映像を繋いで合成することにより編集を行う。また、図示しないが、更に編集ルール指定手段を有してもよい。各機能の詳細は後述する。
【００１１】
図３は、映像編集アプリケーションのアプリケーションウィンドウを示す模式図である。図１で説明した構成において、映像編集アプリケーションは次の様に動作する。まず、ＨＤＤ１０４に格納されている映像補正装置プログラムが、ユーザーの指示によりＣＰＵ１０１にて実行され、図３のアプリケーションウィンドウ３０１がカラーモニタ１０６上に表示される。
【００１２】
ユーザーがアプリケーション画面のメニューリスト３０２からカット映像選択を選択すると、カット映像選択ウィンドウ３０３が表示される。このカット映像選択ウインドウ３０３でファイル追加ボタン３０４を押下するとファイルダイアログが表示され、編集対象の映像ファイルを設定する。するとプログラム処理に従い、メディアに格納されている映像ファイルはメディアリーダー１０８とＵＳＢコントローラ１０７を介しメインメモリ１０２に映像データとして転送される。
【００１３】
また、ＨＤＤ１０５に格納されている映像ファイルはＳＣＳＩインタフェイス１０３を介してメインメモリ１０２に映像データとして転送される。また追加したファイル名がカット映像選択ウィンドウ３０３に追加表示される。また表示されたファイル名を選択すると当該ファイルが反転表示され、選択されていることをユーザーに示す。この状態でファイル削除ボタン３０５を押下すると、メインメモリ１０２から当該映像データが削除されると共に、カット映像選択ウィンドウ３０３の表示から当該ファイル名が削除される。
【００１４】
ユーザーがメニューリスト３０２から編集ルール設定を選択すると、編集ルール設定ダイアログ３０６が表示され、ダイアログ３０６内のプルダウンリスト３０７を用いて選択された編集ルールを編集ルール指定手段が指定する。ここでプルダウンリスト３０７に表示される選択項目は、図６に示すデータ構造により記述され、あらかじめＨＤＤ１０４に格納されている。データ構造は、ＵＩ表示用の文字列と繋ぎ順決定処理用の関数ポインタ、並びに必要とするシーン解析処理フラグが一組として記述されるものであるが、詳細に関しては後述する。
【００１５】
またエディットボックス３０８により、ユーザーは撮影したシーン数を入力する。ここでシーン数とは、カット映像数ではなくユーザーが分類したい場面数を表し、カット映像数より小さくなければならない。なおこれらの入力による編集ルール選択は、設定ボタン３０９を押下することで確定される。
【００１６】
ユーザーがメニューリスト３０２から自動編集実行を選択すると、後述の図４のフローチャートに従った映像編集処理がなされる。さらにメニューリスト３０２から編集映像プレビューを選択すると編集映像がウィンドウ３１０に表示される。また編集映像は、メニューリスト３０２から編集映像書き込みを選択することでＨＤＤ３０４に格納される。
【００１７】
尚、本実施形態では、映像の単位として、１カット毎を単位としたが、複数カット単位であったり、カットを分割したものであっても構わない。
【００１８】
以下では、映像補正アプリケーションで実行される映像編集処理について、図４のフローチャートを用いて説明する。
【００１９】
ステップＳ４０１では、各カット映像に対してカット映像ＩＤを割り当てるとともに、カメラ付加情報をカット映像より取得し、カット映像ＩＤとカメラ付加情報とを対応付けて記憶する。
【００２０】
ステップＳ４０２では映像の付加情報に基づいて同一シーンか異なるシーンかを判断し、各カットをシーン毎に分類する。また分類シーンに対してシーンＩＤを割り当て、カット映像ＩＤとシーンＩＤとを対応付けて記憶する。分類の詳細は、図５のフローチャートを用いて後述する。
【００２１】
ステップＳ４０３では、指定された編集ルールに基づき、各カット映像に対して構図を解析する構図解析処理を実施し、カット映像ＩＤと対応付けて解析結果を記憶する。ここで実施する解析処理は図６に示すデータ構造に記載された解析フラグに基づき、処理を選択する。
【００２２】
図６のデータ構造の基本構成は、ダイアログ表示に用いられる編集ルール文字列、カット映像繋ぎ順決定処理用の関数ポインタ、必要とする構図解析処理フラグで構成される。これらが編集ルールの数分記述されることで、データ構造全体が構成される。
【００２３】
構図解析処理フラグは更に、顔認識処理フラグと稜線算出処理フラグと画像重心算出処理フラグとから構成される。更に顔認識処理フラグは、顔数判断フラグ、サイズ判断フラグ、集合判断フラグ、バラツキ判断フラグ、背景色判断フラグとから構成される。各フラグは真（Ｔ）か偽（Ｆ）からなる２値で表現されるものであり、真の場合には解析処理を実施し、偽の場合には解析処理を行わない。顔認識処理と稜線算出処理と画像重心算出処理とについては、後述する。
【００２４】
ここでステップＳ４０１からＳ４０３は、解析手段２０２によって実行されるものである。
【００２５】
ステップＳ４０４では、選択された編集ルールに基づいて図６のデータ構造に記述された関数ポインタから行うべき処理へとジャンプすることで繋ぎ順序決定処理の選択を行い、さらに選択された処理を実行することでカット映像繋ぎ順序の決定を行う。各カット映像繋ぎ順序決定処理では、同一シーン分類毎に、指定された編集ルールに応じて、構図解析結果とカメラ付加情報とを用いて繋ぎ順序決定を行うが、各処理の詳細については後述する。
【００２６】
ここでステップＳ４０４は、順序決定手段２０３によって実行されるものである。
【００２７】
ステップＳ４０５では、ステップＳ４０４で決定したカット繋ぎ順に基づき、同一シーン分類毎にカット映像を繋いで編集映像を合成することにより編集し、合成後の映像をＨＤＤ１０４に格納する。
【００２８】
ここでステップＳ４０５は、編集手段２０４によって実行されるものでる。
【００２９】
以上が、カット映像を編集する一連の流れである。
【００３０】
次に、ステップＳ４０２のシーン分類処理について、図５のフローチャートを用いて説明する。ステップＳ５０１では、各カット映像に付加された付加情報から、タイムスタンプ情報とＧＰＳ情報とを取得する。ステップＳ５０２では、取得したＧＰＳ情報に基づきとエディットボックス３０８により指定されたシーン数に基づき、ファジィｃ−平均法を用いて分類する。ここでＧＰＳ情報の二次元座標に基づいてクラスタ分類を行うものであり、クラスタ数ｃは指定されたシーン数により与えられるものである。なお、ファジィｃ−平均法については公知であり、例えば論文等がインターネット等から多数検索可能である。
【００３１】
ステップＳ５０３では、ステップＳ５０２でのＧＰＳ情報を用いた分類結果と、取得したタイムスタンプに基づいて次の様に分類する。まずカット映像のタイムスタンプから映像全体の時間幅を算出する。この映像全体の時間をシーン数で割った値に所定数を乗じ、閾値を算出する。カット映像のタイムスタンプ間で閾値以上の時間経過があるようであれば、ここでシーン分割を行うと共にシーン数を更新する。
【００３２】
ステップＳ５０４では、以上のステップで分類したシーンにシーンＩＤを割り当て、シーンＩＤとカット映像ＩＤとの対応を分類情報としてメインメモリ１０２に記憶する。
【００３３】
ステップＳ４０３における構図解析処理の一処理である顔認識処理については、カット映像の総フレーム数を取得した後、総フレーム数の中間のＲＧＢ画像をカット映像から抽出し、ＲＧＢ画像に顔検出処理を施すことで行われる。なお顔検出処理は既知の手法を用いて行われるが、例えば、「画像の認識・理解シンポジウム２００４論文集ＩＩ，ＩＩ−２７１〜ＩＩ−２７６（高速全方向顔検出，オムロン株式会社）」に記載の技術等を用いても良い。
【００３４】
顔認識処理では顔検出後、顔の個数をカウントし、顔数をカット映像ＩＤに対応付け記憶する。また、顔のサイズの平均を顔サイズとしてカット映像ＩＤに対応付け記憶する。また顔の個数が所定値以上でかつ規則性を持って並んでいるかを判断し、判断結果を集合判断情報としてカット映像ＩＤに対応付け記憶する。さらに、顔映像の背景の平均色度を算出し、背景色判断情報としてカット映像ＩＤに対応付け記憶する。
【００３５】
ステップＳ４０３における構図解析処理の一処理である稜線算出処理は、図７のフローチャートに基づいて処理が行われる。ステップＳ７０１では、カット映像の総フレーム数を取得した後、総フレーム数の中間のＲＧＢ画像をカット映像から抽出する。ステップＳ７０２では、まず抽出したＲＧＢ画像を、下記の式に従って輝度画像に変換する。ここでＹは輝度信号を表す。
【００３６】
Ｙ ＝ ０．２９８９ × Ｒ ＋ ０．５８６６ × Ｇ ＋ ０．１１４５ × Ｂ
続いて生成した輝度画像に基づいて、下式の処理によりコントラスト画像を生成する。
【００３７】
【数１】
ここでｘは輝度画像、ｙはコントラスト画像を表す。また変数のインデックスは画像に於ける画素位置を表す。
【００３８】
ステップＳ７０３では、まずステップＳ７０２で生成したコントラスト画像に対してローパスフィルタを施す。続いてローパスフィルタ後の画像からヒストグラムを算出し、中央値を閾値としてローパスフィルタ画像を２値化し、２値コントラスト画像を生成する。
【００３９】
ステップＳ７０４では、２値コントラスト画像に対してディレーション処理とイロージョン処理との繰り返しによるモルフォロジー演算処理を施す。ここでディレーション処理は、
【００４０】
【数２】
で定義され、イロ―ジョン処理は、
【００４１】
【数３】
で定義される。またＡは処理対象の画像であり、Ｂは構造要素である。モルフォロジー演算についても公知であり、論文等をインターネット等から多数検索可能である。
【００４２】
ステップＳ７０５では、モルフォロジー演算処理の結果画像からエッジラインを検出し、画像を横断する最上部の曲線を抽出する。ステップＳ７０６では、曲線抽出が失敗したかどうかを判定し、失敗していればステップＳ７０７へ、失敗していなければステップＳ７０８へジャンプする。
【００４３】
ステップＳ７０７では、モルフォロジー演算用の構造要素を更新し、再度モルフォロジー演算処理を行うためステップＳ７０４へジャンプする。
【００４４】
ステップＳ７０８では、曲線の距離を算出し稜線の複雑度として、カット映像ＩＤと対応付けてメインメモリ１０２に記憶する。
【００４５】
ステップＳ４０３における構図解析処理の一処理である画像重心算出処理は、図８のフローチャートに基づいて処理が行われる。ステップＳ８０１では、カット映像の総フレーム数を取得した後、総フレーム数の中間のＲＧＢ画像をカット映像から抽出する。ステップＳ８０２では、各ピクセルのＲＧＢ値をＨＳＬ値に変換し、ＲＧＢ画像をＨＳＬ画像に変換する。
【００４６】
ステップＳ８０３では、画像重心の算出対象となる色領域情報を、あらかじめＨＤＤ１０４に記憶された重心算出情報に基づいて対象所定の順序で取得する。ここで重心算出情報は図９（ａ）に示すデータ構造でＨＤＤ１０４に記憶されており、先頭には重心算出に用いられる色領域の総数が記述される。
【００４７】
色領域情報は、色領域の色相値の下限と上限、彩度値の下限と上限、明度値の下限と上限で構成され、この色領域情報が色領域総数分記述されることで重心算出情報全体が構成される。なお色領域情報に対しては、色領域番号がデータ先頭から順に１から割り当てられる。
【００４８】
ステップＳ８０４では、ステップＳ８０３で取得した色領域情報に包含されるＨＳＬ値を持つ総てのピクセル座標を、ＨＳＬ画像から抽出する。ステップＳ８０５では、抽出したピクセルの重心と分散並びにピクセル総数を、当該色領域に対する画像重心情報として算出し、カット映像ＩＤと対応付けてメインメモリ１０２に記憶する。
【００４９】
ステップＳ８０６では、曲線抽出が失敗したかどうかを判定し、失敗していればステップＳ７０７へ、失敗していなければＳ７０８へジャンプする。総ての色領域に対し画像重心情報の算出を行ったかどうかを判定し、行っていれば処理を終了し、行っていなければステップＳ８０３へジャンプする。以上が構図解析処理の説明である。
【００５０】
次にカット映像繋ぎ順序決定処理の説明をする。
【００５１】
以下では、選択された編集ルールが風景／旅行である場合のステップＳ４０４の各カット映像繋ぎ順序決定処理について、図１０のフローチャートを用いて説明する。
【００５２】
ステップＳ１００１では、ステップＳ４０２で分類したシーン数を取得する。
【００５３】
ステップＳ１００２では、所定順序でシーンを選択し、選択シーンに属する総てのカット映像ＩＤを取得する。
【００５４】
ステップＳ１００３では、カット映像ＩＤに対応付けられたカメラ付加情報からタイムスタンプを取得し、タイムスタンプに基づいて時間順で映像が並ぶようにソートする。
【００５５】
ステップＳ１００４では、カット映像ＩＤに対応付けられた顔数情報を取得し、顔数で昇順に並ぶようにカット映像ＩＤをソートする。なお顔数が同数である場合、時間順の並びが崩れないようソートを行う。
【００５６】
ステップＳ１００５では、まず各カット映像に付加された付加情報からカメラ露出情報を取得すると共に、カット映像ＩＤに対応付けられた画像重心情報を取得し、顔数が０の映像に対して風景映像か屋内映像かを判定する。露出が所定値以下であれば、夜景と判断し風景映像と判断する。さらに露出が所定値以上であれば、屋外での風景映像と判断する。前記以外の映像については、あらかじめＨＤＤ１０４に記憶された風景判断情報に基づいて風景であるかどうかを判断する。
【００５７】
ここで風景判断情報は図９（ｂ）に示すデータ構造でＨＤＤ１０４に記憶されており、先頭には風景判断に用いられる判定条件の総数が記述される。判定条件は、まず対象とする色領域番号が記述され、判定対象となる下限画素数が次に記述される。続いて重心の縦位置範囲と重心の横位置範囲が記述される。この情報が判定条件数分記述されることで風景判断情報が構成される。このデータを用い、判定条件を満たしたときに風景情報であると判断する。以上の判定結果をカット映像ＩＤと対応付けてメインメモリ１０２に記憶する。
【００５８】
ステップＳ１００６では、風景映像が先頭に来るようにカット映像ＩＤをソートする。なお、ソート後の風景映像についても、時間順の並びが崩れないようソートを行う。ステップＳ１００７では、ステップＳ１００６の風景画像について更に、構図解析結果とカメラズーム情報に基づいてロングショット／クロースショットを判定し、カット映像ＩＤをソートする。
【００５９】
まず、各カット映像に付加された付加情報からカメラズーム情報を取得すると共に、カット映像ＩＤに対応付けられた稜線複雑度を取得する。そして、カメラズーム情報から所定閾値よりもズームされているかを判定し、ズームされている場合はクロースショットであると判定する。ズームされていない場合には、さらに稜線複雑度を所定閾値と比較し、所定閾値以上であればクロースショットと判定し、そうでなければロングショットと判定する。判定結果に基づき、ロングショットが先に来るようにカット映像ＩＤをソートする。
【００６０】
ステップＳ１００８では、顔数が１以上のカット映像ＩＤに対してソートを行う。まず顔数に基づいて降順にカット映像ＩＤをソートし、さらに同じ顔数であれば顔サイズに基づいてサイズが大きいものから順にカット映像ＩＤをソートする。
【００６１】
ステップＳ１００９では、全シーンに対しカット繋ぎ順序決定を行ったかどうかを判定し、真であれば処理を終了し、偽であればステップＳ１００２にジャンプする。
【００６２】
以下では、選択された編集ルールがセレモニーである場合のステップＳ４０４の各カット映像繋ぎ順序決定処理について、図１１のフローチャートを用いて説明する。
【００６３】
ステップＳ１１０１では、ステップＳ４０１で分類したシーン数を取得する。ステップＳ１１０２では、所定順序でシーンを選択し、選択シーンに属する総てのカット映像ＩＤを取得する。
【００６４】
ステップＳ１１０３では、カット映像ＩＤに対応付けられたカメラ付加情報からタイムスタンプを取得し、タイムスタンプに基づいて時間順で映像が並ぶようにソートする。
【００６５】
ステップＳ１１０４では、カット映像ＩＤに対応付けられた集合判断情報を取得し、集合判断が真の映像ＩＤが後に来るようにカット映像ＩＤをソートする。なお、ソート後の集合映像については、時間順の並びが崩れないようソートを行う。
【００６６】
ステップＳ１１０５では、集合映像について、カット映像ＩＤに対応付けられた顔サイズに基づいて、顔サイズが大きいものから順に並ぶようにカット映像ＩＤをソートする。
【００６７】
ステップＳ１１０６では、全シーンに対しカット繋ぎ順序決定を行ったかどうかを判定し、真であれば処理を終了し、偽であればステップＳ１１０２にジャンプする。
【００６８】
以下では、選択された編集ルールがパーティー／イベントである場合のステップＳ４０４の各カット映像繋ぎ順序決定処理について、図１２のフローチャートを用いて説明する。
【００６９】
ステップＳ１３０１では、ステップＳ４０１で分類したシーン数を取得する。ステップＳ１３０２では、所定順序でシーンを選択し、選択シーンに属する総てのカット映像ＩＤを取得する。
【００７０】
ステップＳ１３０３では、カット映像ＩＤに対応付けられたカメラ付加情報からタイムスタンプを取得し、タイムスタンプに基づいて時間順で映像が並ぶようにソートする。
【００７１】
ステップＳ１３０４では、カット映像ＩＤに対応付けられた集合判断情報を取得し、集合判断が真の映像ＩＤが先に来るようにカット映像ＩＤをソートする。なお、ソート後の集合映像については、時間順の並びが崩れないようソートを行う。
【００７２】
ステップＳ１３０５では、集合映像について、カット映像ＩＤに対応付けられた顔サイズに基づいて、顔サイズが大きいものから順に並ぶようにカット映像ＩＤをソートする。
【００７３】
ステップＳ１３０６では、非集合映像について、近傍間でランダムにカット映像ＩＤの順序を入れ替える。
【００７４】
ステップＳ１３０７では、全シーンに対しカット繋ぎ順序決定を行ったかどうかを判定し、真であれば処理を終了し、偽であればステップＳ１３０２にジャンプする。
【００７５】
以上説明したように、ユーザーの指定した編集ルールに基づき、カット映像の構図解析結果からカット映像のつなぎ順序を自動で決定する。これにより、映像文法に基づく編集技法の一つである、構図に基づいた映像編集を実現できる。従って、ストーリー性のある映像を少ない労力で編集することが可能となる。
【００７６】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、映像を編集する映像編集装置およびその制御方法に関する。
【背景技術】
【０００２】
近年、デジタルビデオカメラ等の普及や符号化技術の発達に伴い映像のデジタル化が進み、これに伴って映像のノンリニア編集がより一般的となりつつある。しかしながら映像編集は多くの労力を必要とするため、これまでに労力を軽減するための様々な映像編集を自動で行う技術が開発されている。
例えば特許文献１では、カット点のみでなく音声等の情報も考慮して、編集者が望む一部区間コンテンツを適切に抽出する技術が開示されている。また例えば特許文献２では、番組に対するメタ情報に基づいてシーン毎にダイジェストシーンを抽出し、プレイリストとして登録する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１１７３２９号公報
【特許文献２】特開２００８−２２３５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、映像編集に於いて視聴者を満足させる為には、映像編集に於いて映像を編集するだけでなく全体としてストーリー性を持たせることが重要である。例えば風景映像であればロングショットを冒頭にもってくることが一般的であり、あるいはパーティーのような映像であればむしろ映像をランダムに繋げる場合もある。特許文献１ではユーザーが指定したカット点からさらに音声等の情報も考慮し短い映像区間を選択するものであり、映像時間の短縮には効果があるものの、上述の様なストーリー性を編集映像に付加する事は出来なかった。
また特許文献２では、番組に付加されたメタ情報に基づいて映像をシーン分割すると共に、ユーザーのキーワード指定とメタ情報とに基づいて重要度を求め、重要度に応じた順序でプレイリストを生成する。本手法ではキーワードとメタ情報との指定を工夫することで、編集映像のつなぎ順にストーリー性を持たせる事は可能である。
しかしながら、キーワードと対応付けられるメタ情報をあらかじめ映像に付加しておく必要があり、映像編集前の準備に多くの労力を必要とする。またメタ情報が付加されていない場合には、この手法を適用する事は出来ず、ストーリー性を持たせる事が出来ない。
上記課題を鑑みて、本発明は、ストーリー性のある映像編集を簡便に実現することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するための本発明の一態様による映像編集装置は以下の構成を備える。すなわち、複数の映像の構図を解析する解析手段と、 前記解析手段による解析結果に基づいて、前記複数の映像を繋ぐ順序を決定する順序決定手段と、前記決定された順序に基づいて、前記複数の映像を繋ぐことにより映像を編集する編集手段とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、ストーリー性のある映像編集を少ない労力で実現することが可能である。
【図面の簡単な説明】
【０００７】
【図１】映像編集装置のハードウェア構成を示すブロック図
【図２】映像編集装置の機能構成を示すブロック
【図３】映像編集アプリケーションのアプリケーションウィンドウを示す模式図
【図４】映像補正アプリケーションで実行される映像編集処理を表すフローチャート
【図５】シーン分類処理のフローチャート
【図６】編集ルールのデータ構造を示す模式図
【図７】稜線算出処理のフローチャート
【図８】画像重心算出処理のフローチャート
【図９】データ構造を示す模式図
【図１０】編集ルールが風景／旅行である場合のカット映像繋ぎ順序決定処理のフローチャート
【図１１】編集ルールがセレモニーである場合のカット映像繋ぎ順序決定処理のフローチャート
【図１２】編集ルールがパーティー／イベントである場合のカット映像繋ぎ順序決定処理のフローチャート
【発明を実施するための形態】
【０００８】
（実施形態１）
図１は本発明の映像編集装置のハードウェア構成を示すブロック図である。ＣＰＵ１０１は、メインメモリ１０２のＲＡＭをワークメモリとして、メインメモリ１０２のＲＯＭおよびハードディスクドライブ（ＨＤＤ）１０４に格納されたオペレーティングシステム（ＯＳ）や各種プログラムを実行する。そして、ＰＣＩ（ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ）バスなどのシステムバス１１２を介して各構成を制御する。さらに、後述する映像補正アプリケーション、メディアリーダードライバを含む各種プログラムを実行する。
【０００９】
ＣＰＵ１０１は、システムバス１１２およびＳＣＳＩインタフェイス１０３を介してＨＤＤ１０４にアクセスする。以下では、映像補正アプリケーションをＨＤＤ１０４から読み出すとして説明する。また、ＣＰＵ１０１は、後述する処理のユーザインタフェイスや処理結果をグラフィックアクセラレータ１０５を介してモニタ１０６に表示し、ユーザー指示をキーボード／マウスコントローラ１０９に接続されたキーボード１１０、マウス１１１を介して入力する。また、ＣＰＵ１０１は、映像データをＵＳＢ （Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コントローラ１０７を介してメディアリーダー１０８より入力する。
【００１０】
図２は、映像編集装置の機能構成を示すブロック図である。映像編集装置２０１は、解析手段２０２、順序決定手段２０３、編集手段２０４を有する。解析手段２０２は、複数の映像の構図を解析する。順序決定手段２０３は、解析結果に基づいて、解析された複数の映像の繋ぎ順序を決定する。編集手段２０４は、順序が決定された複数の映像を繋いで合成することにより編集を行う。また、図示しないが、更に編集ルール指定手段を有してもよい。各機能の詳細は後述する。
【００１１】
図３は、映像編集アプリケーションのアプリケーションウィンドウを示す模式図である。図１で説明した構成において、映像編集アプリケーションは次の様に動作する。まず、ＨＤＤ１０４に格納されている映像補正装置プログラムが、ユーザーの指示によりＣＰＵ１０１にて実行され、図３のアプリケーションウィンドウ３０１がカラーモニタ１０６上に表示される。
【００１２】
ユーザーがアプリケーション画面のメニューリスト３０２からカット映像選択を選択すると、カット映像選択ウィンドウ３０３が表示される。このカット映像選択ウインドウ３０３でファイル追加ボタン３０４を押下するとファイルダイアログが表示され、編集対象の映像ファイルを設定する。するとプログラム処理に従い、メディアに格納されている映像ファイルはメディアリーダー１０８とＵＳＢコントローラ１０７を介しメインメモリ１０２に映像データとして転送される。
【００１３】
また、ＨＤＤ１０５に格納されている映像ファイルはＳＣＳＩインタフェイス１０３を介してメインメモリ１０２に映像データとして転送される。また追加したファイル名がカット映像選択ウィンドウ３０３に追加表示される。また表示されたファイル名を選択すると当該ファイルが反転表示され、選択されていることをユーザーに示す。この状態でファイル削除ボタン３０５を押下すると、メインメモリ１０２から当該映像データが削除されると共に、カット映像選択ウィンドウ３０３の表示から当該ファイル名が削除される。
【００１４】
ユーザーがメニューリスト３０２から編集ルール設定を選択すると、編集ルール設定ダイアログ３０６が表示され、ダイアログ３０６内のプルダウンリスト３０７を用いて選択された編集ルールを編集ルール指定手段が指定する。ここでプルダウンリスト３０７に表示される選択項目は、図６に示すデータ構造により記述され、あらかじめＨＤＤ１０４に格納されている。データ構造は、ＵＩ表示用の文字列と繋ぎ順決定処理用の関数ポインタ、並びに必要とするシーン解析処理フラグが一組として記述されるものであるが、詳細に関しては後述する。
【００１５】
またエディットボックス３０８により、ユーザーは撮影したシーン数を入力する。ここでシーン数とは、カット映像数ではなくユーザーが分類したい場面数を表し、カット映像数より小さくなければならない。なおこれらの入力による編集ルール選択は、設定ボタン３０９を押下することで確定される。
【００１６】
ユーザーがメニューリスト３０２から自動編集実行を選択すると、後述の図４のフローチャートに従った映像編集処理がなされる。さらにメニューリスト３０２から編集映像プレビューを選択すると編集映像がウィンドウ３１０に表示される。また編集映像は、メニューリスト３０２から編集映像書き込みを選択することでＨＤＤ３０４に格納される。
【００１７】
尚、本実施形態では、映像の単位として、１カット毎を単位としたが、複数カット単位であったり、カットを分割したものであっても構わない。
【００１８】
以下では、映像補正アプリケーションで実行される映像編集処理について、図４のフローチャートを用いて説明する。
【００１９】
ステップＳ４０１では、各カット映像に対してカット映像ＩＤを割り当てるとともに、カメラ付加情報をカット映像より取得し、カット映像ＩＤとカメラ付加情報とを対応付けて記憶する。
【００２０】
ステップＳ４０２では映像の付加情報に基づいて同一シーンか異なるシーンかを判断し、各カットをシーン毎に分類する。また分類シーンに対してシーンＩＤを割り当て、カット映像ＩＤとシーンＩＤとを対応付けて記憶する。分類の詳細は、図５のフローチャートを用いて後述する。
【００２１】
ステップＳ４０３では、指定された編集ルールに基づき、各カット映像に対して構図を解析する構図解析処理を実施し、カット映像ＩＤと対応付けて解析結果を記憶する。ここで実施する解析処理は図６に示すデータ構造に記載された解析フラグに基づき、処理を選択する。
【００２２】
図６のデータ構造の基本構成は、ダイアログ表示に用いられる編集ルール文字列、カット映像繋ぎ順決定処理用の関数ポインタ、必要とする構図解析処理フラグで構成される。これらが編集ルールの数分記述されることで、データ構造全体が構成される。
【００２３】
構図解析処理フラグは更に、顔認識処理フラグと稜線算出処理フラグと画像重心算出処理フラグとから構成される。更に顔認識処理フラグは、顔数判断フラグ、サイズ判断フラグ、集合判断フラグ、バラツキ判断フラグ、背景色判断フラグとから構成される。各フラグは真（Ｔ）か偽（Ｆ）からなる２値で表現されるものであり、真の場合には解析処理を実施し、偽の場合には解析処理を行わない。顔認識処理と稜線算出処理と画像重心算出処理とについては、後述する。
【００２４】
ここでステップＳ４０１からＳ４０３は、解析手段２０２によって実行されるものである。
【００２５】
ステップＳ４０４では、選択された編集ルールに基づいて図６のデータ構造に記述された関数ポインタから行うべき処理へとジャンプすることで繋ぎ順序決定処理の選択を行い、さらに選択された処理を実行することでカット映像繋ぎ順序の決定を行う。各カット映像繋ぎ順序決定処理では、同一シーン分類毎に、指定された編集ルールに応じて、構図解析結果とカメラ付加情報とを用いて繋ぎ順序決定を行うが、各処理の詳細については後述する。
【００２６】
ここでステップＳ４０４は、順序決定手段２０３によって実行されるものである。
【００２７】
ステップＳ４０５では、ステップＳ４０４で決定したカット繋ぎ順に基づき、同一シーン分類毎にカット映像を繋いで編集映像を合成することにより編集し、合成後の映像をＨＤＤ１０４に格納する。
【００２８】
ここでステップＳ４０５は、編集手段２０４によって実行されるものでる。
【００２９】
以上が、カット映像を編集する一連の流れである。
【００３０】
次に、ステップＳ４０２のシーン分類処理について、図５のフローチャートを用いて説明する。ステップＳ５０１では、各カット映像に付加された付加情報から、タイムスタンプ情報とＧＰＳ情報とを取得する。ステップＳ５０２では、取得したＧＰＳ情報に基づきとエディットボックス３０８により指定されたシーン数に基づき、ファジィｃ−平均法を用いて分類する。ここでＧＰＳ情報の二次元座標に基づいてクラスタ分類を行うものであり、クラスタ数ｃは指定されたシーン数により与えられるものである。なお、ファジィｃ−平均法については公知であり、例えば論文等がインターネット等から多数検索可能である。
【００３１】
ステップＳ５０３では、ステップＳ５０２でのＧＰＳ情報を用いた分類結果と、取得したタイムスタンプに基づいて次の様に分類する。まずカット映像のタイムスタンプから映像全体の時間幅を算出する。この映像全体の時間をシーン数で割った値に所定数を乗じ、閾値を算出する。カット映像のタイムスタンプ間で閾値以上の時間経過があるようであれば、ここでシーン分割を行うと共にシーン数を更新する。
【００３２】
ステップＳ５０４では、以上のステップで分類したシーンにシーンＩＤを割り当て、シーンＩＤとカット映像ＩＤとの対応を分類情報としてメインメモリ１０２に記憶する。
【００３３】
ステップＳ４０３における構図解析処理の一処理である顔認識処理については、カット映像の総フレーム数を取得した後、総フレーム数の中間のＲＧＢ画像をカット映像から抽出し、ＲＧＢ画像に顔検出処理を施すことで行われる。なお顔検出処理は既知の手法を用いて行われるが、例えば、「画像の認識・理解シンポジウム２００４論文集ＩＩ，ＩＩ−２７１〜ＩＩ−２７６（高速全方向顔検出，オムロン株式会社）」に記載の技術等を用いても良い。
【００３４】
顔認識処理では顔検出後、顔の個数をカウントし、顔数をカット映像ＩＤに対応付け記憶する。また、顔のサイズの平均を顔サイズとしてカット映像ＩＤに対応付け記憶する。また顔の個数が所定値以上でかつ規則性を持って並んでいるかを判断し、判断結果を集合判断情報としてカット映像ＩＤに対応付け記憶する。さらに、顔映像の背景の平均色度を算出し、背景色判断情報としてカット映像ＩＤに対応付け記憶する。
【００３５】
ステップＳ４０３における構図解析処理の一処理である稜線算出処理は、図７のフローチャートに基づいて処理が行われる。ステップＳ７０１では、カット映像の総フレーム数を取得した後、総フレーム数の中間のＲＧＢ画像をカット映像から抽出する。ステップＳ７０２では、まず抽出したＲＧＢ画像を、下記の式に従って輝度画像に変換する。ここでＹは輝度信号を表す。
【００３６】
Ｙ ＝ ０．２９８９ × Ｒ ＋ ０．５８６６ × Ｇ ＋ ０．１１４５ × Ｂ
続いて生成した輝度画像に基づいて、下式の処理によりコントラスト画像を生成する。
【００３７】
【数１】
ここでｘは輝度画像、ｙはコントラスト画像を表す。また変数のインデックスは画像に於ける画素位置を表す。
【００３８】
ステップＳ７０３では、まずステップＳ７０２で生成したコントラスト画像に対してローパスフィルタを施す。続いてローパスフィルタ後の画像からヒストグラムを算出し、中央値を閾値としてローパスフィルタ画像を２値化し、２値コントラスト画像を生成する。
【００３９】
ステップＳ７０４では、２値コントラスト画像に対してディレーション処理とイロージョン処理との繰り返しによるモルフォロジー演算処理を施す。ここでディレーション処理は、
【００４０】
【数２】
で定義され、イロ―ジョン処理は、
【００４１】
【数３】
で定義される。またＡは処理対象の画像であり、Ｂは構造要素である。モルフォロジー演算についても公知であり、論文等をインターネット等から多数検索可能である。
【００４２】
ステップＳ７０５では、モルフォロジー演算処理の結果画像からエッジラインを検出し、画像を横断する最上部の曲線を抽出する。ステップＳ７０６では、曲線抽出が失敗したかどうかを判定し、失敗していればステップＳ７０７へ、失敗していなければステップＳ７０８へジャンプする。
【００４３】
ステップＳ７０７では、モルフォロジー演算用の構造要素を更新し、再度モルフォロジー演算処理を行うためステップＳ７０４へジャンプする。
【００４４】
ステップＳ７０８では、曲線の距離を算出し稜線の複雑度として、カット映像ＩＤと対応付けてメインメモリ１０２に記憶する。
【００４５】
ステップＳ４０３における構図解析処理の一処理である画像重心算出処理は、図８のフローチャートに基づいて処理が行われる。ステップＳ８０１では、カット映像の総フレーム数を取得した後、総フレーム数の中間のＲＧＢ画像をカット映像から抽出する。ステップＳ８０２では、各ピクセルのＲＧＢ値をＨＳＬ値に変換し、ＲＧＢ画像をＨＳＬ画像に変換する。
【００４６】
ステップＳ８０３では、画像重心の算出対象となる色領域情報を、あらかじめＨＤＤ１０４に記憶された重心算出情報に基づいて対象所定の順序で取得する。ここで重心算出情報は図９（ａ）に示すデータ構造でＨＤＤ１０４に記憶されており、先頭には重心算出に用いられる色領域の総数が記述される。
【００４７】
色領域情報は、色領域の色相値の下限と上限、彩度値の下限と上限、明度値の下限と上限で構成され、この色領域情報が色領域総数分記述されることで重心算出情報全体が構成される。なお色領域情報に対しては、色領域番号がデータ先頭から順に１から割り当てられる。
【００４８】
ステップＳ８０４では、ステップＳ８０３で取得した色領域情報に包含されるＨＳＬ値を持つ総てのピクセル座標を、ＨＳＬ画像から抽出する。ステップＳ８０５では、抽出したピクセルの重心と分散並びにピクセル総数を、当該色領域に対する画像重心情報として算出し、カット映像ＩＤと対応付けてメインメモリ１０２に記憶する。
【００４９】
ステップＳ８０６では、曲線抽出が失敗したかどうかを判定し、失敗していればステップＳ７０７へ、失敗していなければＳ７０８へジャンプする。総ての色領域に対し画像重心情報の算出を行ったかどうかを判定し、行っていれば処理を終了し、行っていなければステップＳ８０３へジャンプする。以上が構図解析処理の説明である。
【００５０】
次にカット映像繋ぎ順序決定処理の説明をする。
【００５１】
以下では、選択された編集ルールが風景／旅行である場合のステップＳ４０４の各カット映像繋ぎ順序決定処理について、図１０のフローチャートを用いて説明する。
【００５２】
ステップＳ１００１では、ステップＳ４０２で分類したシーン数を取得する。
【００５３】
ステップＳ１００２では、所定順序でシーンを選択し、選択シーンに属する総てのカット映像ＩＤを取得する。
【００５４】
ステップＳ１００３では、カット映像ＩＤに対応付けられたカメラ付加情報からタイムスタンプを取得し、タイムスタンプに基づいて時間順で映像が並ぶようにソートする。
【００５５】
ステップＳ１００４では、カット映像ＩＤに対応付けられた顔数情報を取得し、顔数で昇順に並ぶようにカット映像ＩＤをソートする。なお顔数が同数である場合、時間順の並びが崩れないようソートを行う。
【００５６】
ステップＳ１００５では、まず各カット映像に付加された付加情報からカメラ露出情報を取得すると共に、カット映像ＩＤに対応付けられた画像重心情報を取得し、顔数が０の映像に対して風景映像か屋内映像かを判定する。露出が所定値以下であれば、夜景と判断し風景映像と判断する。さらに露出が所定値以上であれば、屋外での風景映像と判断する。前記以外の映像については、あらかじめＨＤＤ１０４に記憶された風景判断情報に基づいて風景であるかどうかを判断する。
【００５７】
ここで風景判断情報は図９（ｂ）に示すデータ構造でＨＤＤ１０４に記憶されており、先頭には風景判断に用いられる判定条件の総数が記述される。判定条件は、まず対象とする色領域番号が記述され、判定対象となる下限画素数が次に記述される。続いて重心の縦位置範囲と重心の横位置範囲が記述される。この情報が判定条件数分記述されることで風景判断情報が構成される。このデータを用い、判定条件を満たしたときに風景情報であると判断する。以上の判定結果をカット映像ＩＤと対応付けてメインメモリ１０２に記憶する。
【００５８】
ステップＳ１００６では、風景映像が先頭に来るようにカット映像ＩＤをソートする。なお、ソート後の風景映像についても、時間順の並びが崩れないようソートを行う。ステップＳ１００７では、ステップＳ１００６の風景画像について更に、構図解析結果とカメラズーム情報に基づいてロングショット／クロースショットを判定し、カット映像ＩＤをソートする。
【００５９】
まず、各カット映像に付加された付加情報からカメラズーム情報を取得すると共に、カット映像ＩＤに対応付けられた稜線複雑度を取得する。そして、カメラズーム情報から所定閾値よりもズームされているかを判定し、ズームされている場合はクロースショットであると判定する。ズームされていない場合には、さらに稜線複雑度を所定閾値と比較し、所定閾値以上であればクロースショットと判定し、そうでなければロングショットと判定する。判定結果に基づき、ロングショットが先に来るようにカット映像ＩＤをソートする。
【００６０】
ステップＳ１００８では、顔数が１以上のカット映像ＩＤに対してソートを行う。まず顔数に基づいて降順にカット映像ＩＤをソートし、さらに同じ顔数であれば顔サイズに基づいてサイズが大きいものから順にカット映像ＩＤをソートする。
【００６１】
ステップＳ１００９では、全シーンに対しカット繋ぎ順序決定を行ったかどうかを判定し、真であれば処理を終了し、偽であればステップＳ１００２にジャンプする。
【００６２】
以下では、選択された編集ルールがセレモニーである場合のステップＳ４０４の各カット映像繋ぎ順序決定処理について、図１１のフローチャートを用いて説明する。
【００６３】
ステップＳ１１０１では、ステップＳ４０１で分類したシーン数を取得する。ステップＳ１１０２では、所定順序でシーンを選択し、選択シーンに属する総てのカット映像ＩＤを取得する。
【００６４】
ステップＳ１１０３では、カット映像ＩＤに対応付けられたカメラ付加情報からタイムスタンプを取得し、タイムスタンプに基づいて時間順で映像が並ぶようにソートする。
【００６５】
ステップＳ１１０４では、カット映像ＩＤに対応付けられた集合判断情報を取得し、集合判断が真の映像ＩＤが後に来るようにカット映像ＩＤをソートする。なお、ソート後の集合映像については、時間順の並びが崩れないようソートを行う。
【００６６】
ステップＳ１１０５では、集合映像について、カット映像ＩＤに対応付けられた顔サイズに基づいて、顔サイズが大きいものから順に並ぶようにカット映像ＩＤをソートする。
【００６７】
ステップＳ１１０６では、全シーンに対しカット繋ぎ順序決定を行ったかどうかを判定し、真であれば処理を終了し、偽であればステップＳ１１０２にジャンプする。
【００６８】
以下では、選択された編集ルールがパーティー／イベントである場合のステップＳ４０４の各カット映像繋ぎ順序決定処理について、図１２のフローチャートを用いて説明する。
【００６９】
ステップＳ１３０１では、ステップＳ４０１で分類したシーン数を取得する。ステップＳ１３０２では、所定順序でシーンを選択し、選択シーンに属する総てのカット映像ＩＤを取得する。
【００７０】
ステップＳ１３０３では、カット映像ＩＤに対応付けられたカメラ付加情報からタイムスタンプを取得し、タイムスタンプに基づいて時間順で映像が並ぶようにソートする。
【００７１】
ステップＳ１３０４では、カット映像ＩＤに対応付けられた集合判断情報を取得し、集合判断が真の映像ＩＤが先に来るようにカット映像ＩＤをソートする。なお、ソート後の集合映像については、時間順の並びが崩れないようソートを行う。
【００７２】
ステップＳ１３０５では、集合映像について、カット映像ＩＤに対応付けられた顔サイズに基づいて、顔サイズが大きいものから順に並ぶようにカット映像ＩＤをソートする。
【００７３】
ステップＳ１３０６では、非集合映像について、近傍間でランダムにカット映像ＩＤの順序を入れ替える。
【００７４】
ステップＳ１３０７では、全シーンに対しカット繋ぎ順序決定を行ったかどうかを判定し、真であれば処理を終了し、偽であればステップＳ１３０２にジャンプする。
【００７５】
以上説明したように、ユーザーの指定した編集ルールに基づき、カット映像の構図解析結果からカット映像のつなぎ順序を自動で決定する。これにより、映像文法に基づく編集技法の一つである、構図に基づいた映像編集を実現できる。従って、ストーリー性のある映像を少ない労力で編集することが可能となる。
【００７６】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
複数の映像の構図を解析する解析手段と、
前記解析手段による解析結果に基づいて、前記複数の映像を繋ぐ順序を決定する順序決定手段と、
前記決定された順序に基づいて、前記複数の映像を繋ぐことにより映像を編集する編集手段と
を有することを特徴とする映像編集装置。
【請求項２】
編集ルールを指定する編集ルール指定手段を更に有し、
前記解析手段は、前記指定された編集ルールに対応する解析を行うことを特徴とする請求項１に記載の映像編集装置。
【請求項３】
前記複数の映像のシーンを分類する分類手段を更に有し、
前記解析手段及び前記順序決定手段は、前記分類されたシーン毎に解析及び順序決定を行うことを特徴とする請求項１に記載の映像編集装置。
【請求項４】
前記解析手段は複数の処理手段を有し、前記順序決定手段は、前記編集ルールに応じた処理手段による処理結果に基づいて順序を決定することを特徴とする請求項２に記載の映像編集装置。
【請求項５】
前記編集ルールとは、少なくとも風景／旅行、セレモニー、パーティー／イベントのいずれかであることを特徴とする請求項２に記載の映像編集装置。
【請求項６】
前記処理手段は、少なくとも、顔認識処理、稜線算出処理、画像重心算出処理のいずれか１つ以上であることを特徴とする請求項４に記載の映像編集装置。
【請求項７】
複数の映像の構図を解析手段が解析する解析工程と、
前記解析工程による解析結果に基づいて、前記複数の映像を繋ぐ順序を決定手段が決定する決定工程と、
前記決定された順序に基づいて、前記複数の映像を繋ぐことにより編集手段が映像を編集する編集工程と
を有することを特徴とする映像編集装置の制御方法。
【請求項８】
請求項７に記載の映像編集装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項９】
請求項８に記載のプログラムを格納したコンピュータ読み取り可能な記憶媒体。
【請求項１】
複数の映像の構図を解析する解析手段と、
前記解析手段による解析結果に基づいて、前記複数の映像を繋ぐ順序を決定する順序決定手段と、
前記決定された順序に基づいて、前記複数の映像を繋ぐことにより映像を編集する編集手段と
を有することを特徴とする映像編集装置。
【請求項２】
編集ルールを指定する編集ルール指定手段を更に有し、
前記解析手段は、前記指定された編集ルールに対応する解析を行うことを特徴とする請求項１に記載の映像編集装置。
【請求項３】
前記複数の映像のシーンを分類する分類手段を更に有し、
前記解析手段及び前記順序決定手段は、前記分類されたシーン毎に解析及び順序決定を行うことを特徴とする請求項１に記載の映像編集装置。
【請求項４】
前記解析手段は複数の処理手段を有し、前記順序決定手段は、前記編集ルールに応じた処理手段による処理結果に基づいて順序を決定することを特徴とする請求項２に記載の映像編集装置。
【請求項５】
前記編集ルールとは、少なくとも風景／旅行、セレモニー、パーティー／イベントのいずれかであることを特徴とする請求項２に記載の映像編集装置。
【請求項６】
前記処理手段は、少なくとも、顔認識処理、稜線算出処理、画像重心算出処理のいずれか１つ以上であることを特徴とする請求項４に記載の映像編集装置。
【請求項７】
複数の映像の構図を解析手段が解析する解析工程と、
前記解析工程による解析結果に基づいて、前記複数の映像を繋ぐ順序を決定手段が決定する決定工程と、
前記決定された順序に基づいて、前記複数の映像を繋ぐことにより編集手段が映像を編集する編集工程と
を有することを特徴とする映像編集装置の制御方法。
【請求項８】
請求項７に記載の映像編集装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項９】
請求項８に記載のプログラムを格納したコンピュータ読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−９８７９０（Ｐ２０１３−９８７９０Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２４０４６３（Ｐ２０１１−２４０４６３）
【出願日】平成２３年１１月１日（２０１１．１１．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１１月１日（２０１１．１１．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]