動画編集装置、動画編集方法およびコンピュータプログラム
【課題】サンプル動画に基づいて自動編集を行なう際に、編集前の動画のどの部分を抽出するかを考慮して、自動編集を行なえるようにする。
【解決手段】１つまたは複数のシーンを有し、１つまた複数のショットを備えた動画の編集を行なう動画像編集装置において、編集対象の動画の指定と、抽出された複数のシーンを備えた編集済のサンプル動画の指定とを受け付けると、指定されたサンプル画像に対応した編集情報であり、ショットから抽出したシーンを示すシーン情報を含む編集情報とを特定するインタフェース部と、特定した編集情報に基づいて、サンプル動画を構成する各シーンの長さに関する指標と、各シーンのショットに対する特徴量とを算出するシーン情報分析部と、長さに関する指標とショットに対する特徴量とに基づいて、編集対象の動画の有するショットから抽出するシーンを決定するシーン抽出部とを備える。
【解決手段】１つまたは複数のシーンを有し、１つまた複数のショットを備えた動画の編集を行なう動画像編集装置において、編集対象の動画の指定と、抽出された複数のシーンを備えた編集済のサンプル動画の指定とを受け付けると、指定されたサンプル画像に対応した編集情報であり、ショットから抽出したシーンを示すシーン情報を含む編集情報とを特定するインタフェース部と、特定した編集情報に基づいて、サンプル動画を構成する各シーンの長さに関する指標と、各シーンのショットに対する特徴量とを算出するシーン情報分析部と、長さに関する指標とショットに対する特徴量とに基づいて、編集対象の動画の有するショットから抽出するシーンを決定するシーン抽出部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画の自動編集に関し、特に、ユーザが希望するサンプル動画の編集情報に基づいて自動編集を行なう動画編集装置、動画編集方法およびそのためのコンピュータプログラムに関する。
【背景技術】
【０００２】
従来、ビデオカメラ等で撮影した動画の編集を行なうためには、高性能のコンピュータと技術者向けの専用ソフトウェアを用いる必要があり、それらを操作するためには高度な技術や専門知識が要求されていた。近年では、パーソナルコンピュータの高機能化やビデオカメラの普及等により、簡易に動画編集を行なえるソフトウェアが開発され、専門技術や専門知識のない一般ユーザでも容易に動画の編集ができるようになっている。
【０００３】
例えば、特許文献１には、編集済のサンプル動画を学習することにより編集情報を生成し、生成した編集情報に基づいてユーザへの編集支援を行なう映像編集支援装置が開示されている。このような装置を用いることで、サンプル動画における映像の並びや、エフェクトの適用、バックグランドミュージックの付加等を模した動画編集を一般ユーザが簡易に行なうことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３３６１０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来提案されている装置では、編集済の動画のみをサンプルとしているため、元の動画をどのように編集して編集済の動画を生成したかは学習することはできない。このため、例えば、編集前の動画のどの部分を抽出してサンプル動画を構成したのかを分析して参考にすることができない。
【０００６】
そこで、本発明は、サンプル動画に基づいて自動編集を行なう際に、編集前の動画のどの部分を抽出するかを考慮して、自動編集を行なえるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明の第１の態様である動画編集装置は、１つまたは複数のシーンを有し、１つまた複数のショットを備えた動画の編集を行なう動画像編集装置において、編集対象の動画の指定と、抽出された複数のシーンを備えた編集済のサンプル動画の指定とを受け付けると、指定された前記編集済のサンプル画像に対応した編集情報であり、ショットから抽出したシーンを示すシーン情報を含む編集情報とを特定するインタフェース部と、特定した前記編集情報に基づいて、前記サンプル動画を構成する各シーンの長さに関する指標と、各シーンの前記ショットに対する特徴量とを算出するシーン情報分析部と、前記長さに関する指標と前記ショットに対する特徴量とに基づいて、前記編集対象の動画の有するショットから抽出するシーンを決定するシーン抽出部とを備えたことを特徴とする。
ここで、前記長さに関する指標は、前記サンプル動画を構成する各シーンの長さの平均と分散とを含むことができる。
また、前記特徴量は、シーンの明るさ評価値と前記サンプル動画の編集前動画の明るさ評価値との差を含むことができる。
また、前記編集情報は、前記サンプル動画に適用するエフェクトに関する情報を含んでおり、前記編集情報に基づいて、抽出されたシーンに適用するエフェクトを割り当てるエフェクト割当部をさらに備えることができる。
上記課題を解決するため、本発明の第２の態様である動画編集方法は、１つまたは複数のシーンを有し、１つまた複数のショットを備えた動画の編集を行なう動画像編集方法において、編集対象の動画の指定と、抽出された複数のシーンを備えた編集済のサンプル動画の指定とを受け付けると、指定された前記編集済のサンプル画像に対応した編集情報であり、ショットから抽出したシーンを示すシーン情報を含む編集情報とを特定するステップと、特定した前記編集情報に基づいて、前記サンプル動画を構成する各シーンの長さに関する指標と、各シーンの前記ショットに対する特徴量とを算出するステップと、前記長さに関する指標と前記ショットに対する特徴量とに基づいて、前記編集対象の動画の有するショットから抽出するシーンを決定するステップとを有することを特徴とする。
上記課題を解決するため、本発明の第３の態様であるコンピュータプログラムは、１つまたは複数のシーンを有し、１つまた複数のショットを備えた動画の編集を行なう動画像編集装置として情報処理装置を機能させるコンピュータプログラムにおいて、編集対象の動画の指定と、抽出された複数のシーンを備えた編集済のサンプル動画の指定とを受け付けると、指定された前記編集済のサンプル画像に対応した編集情報であり、ショットから抽出したシーンを示すシーン情報を含む編集情報とを特定するインタフェース部、特定した前記編集情報に基づいて、前記サンプル動画を構成する各シーンの長さに関する指標と、各シーンの前記ショットに対する特徴量とを算出するシーン情報分析部、前記長さに関する指標と前記ショットに対する特徴量とに基づいて、前記編集対象の動画の有するショットから抽出するシーンを決定するシーン抽出部として、前記情報処理装置を機能させることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、サンプル動画に基づいて自動編集を行なう際に、編集前の動画のどの部分を抽出するかを考慮して、自動編集を行なえるようになる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の動画編集システムの全体構成を示すブロック図である。
【図２】動画編集サーバが扱う動画編集について説明する図である。
【図３】動画編集サーバの機能構成を示すブロック図である。
【図４】編集情報について説明する図である。
【図５】動画編集サーバにおける動画自動編集動作の概要を示すフローチャートである。
【図６】サンプル動画の編集情報の分析の詳細な手順を示すフローチャートである。
【図７】シーン長の平均と分散の算出処理およびシーン長の変化傾向の分析処理を説明する図である。
【図８】シーン間隔の分析処理およびシーン明るさ分析処理を説明する図である。
【図９】シーン明るさ分析処理の手順を説明するフローチャートである。
【図１０】エフェクト情報の分析手順を説明するフローチャートである。
【図１１】エフェクト情報および修飾情報の分析処理を説明する図である。
【図１２】修飾情報の分析手順を説明するフローチャートである。
【図１３】編集対象の編集前動画からシーンを抽出する処理を説明するフローチャートである。
【図１４】抽出シーン候補の設定について説明する図である。
【図１５】シーン長変化傾向の評価手順を説明するフローチャートである。
【図１６】シーン明るさの評価手順を説明するフローチャートである。
【図１７】エフェクト割当手順を説明するフローチャートである。
【図１８】修飾コンテンツ割当手順を説明するフローチャートである。
【発明を実施するための形態】
【００１０】
本発明の実施の形態について図面を参照して詳細に説明する。図１は、本実施形態の動画編集システムの全体構成を示すブロック図である。本図に示すように、動画編集システム１０は、動画編集サーバ２０と複数台の動画編集端末３０（３０ａ、３０ｂ、３０ｃ…）とがコンピュータネットワーク４０を介して接続されて構成される。
【００１１】
動画編集サーバ２０は、Ｗｅｂサーバ機能を備えており、Ｗｅｂサービスをインタフェースとして、ＨＴＴＰ等の所定のプロトコルにより各動画編集端末３０からの操作を受け付ける。そして、それぞれの動画編集端末３０に対して応答を行なうことでユーザに対して動画編集サービスを提供する。
【００１２】
動画編集端末３０は、ユーザが使用する端末装置であり、Ｗｅｂブラウザ機能を備えているものとする。ユーザは、編集対象の動画を動画編集端末３０から動画編集サーバ２０にアップロードし、動画編集サーバ２０上で編集することができる。そして、編集済の動画を動画編集サーバ２０からストリーミングで再生したり、動画編集サーバ２０から動画編集端末３０にダウンロードする。動画編集端末３０は、Ｗｅｂブラウザソフトウェアをインストールした一般的な情報処理装置を用いることができる。
【００１３】
ここで、動画編集サーバ２０が扱う動画編集について図２を参照して説明する。本実施形態において、編集を施してない編集前動画は、図２（ａ）に示すように、１または複数個のショットから構成されている。ショットは、切れ目なく連続して撮影された映像のまとまりである。編集動作では、まず、ショットから一部分であるシーンを複数個抽出する。抽出されたシーンの連続が編集後の動画の基本となる。なお、１つの編集後の動画に対して、複数の編集前動画からシーンを抽出してもよい。
【００１４】
そして、図２（ｂ）に示すように、抽出したシーンに対してエフェクトを割り当てる。エフェクトは複数のシーンにまたがっていたり、１つのシーンに複数個割り当ててもよい。ここで、エフェクトは、映像効果であり、映像の色調を調整したりぼかしたりするフィルタと、シーンの切り換え部分に適用するディゾルブ等のトランジションとに区分される。フィルタ、トランジションとも複数の種類を有している。もちろん、これ以外のエフェクトを用いるようにしてもよい。
【００１５】
さらに、図２（ｃ）に示すように、抽出したシーンに対して修飾コンテンツを割り当てる。これにより、編集後の動画、すなわち編集動画が完成する。ここで、修飾コンテンツは、修飾のための静止画コンテンツ、動画コンテンツ、バックミュージックのためのオーディオコンテンツとする。もちろん、これ以外の修飾コンテンツを用いるようにしてもよい。
【００１６】
図３は、動画編集サーバ２０の機能構成を示すブロック図である。本図に示すように、動画編集サーバ２０は、通信部２１０、Ｗｅｂサーバ部２２０、再生インタフェース部２３０、手動編集インタフェース部２４０、自動編集インタフェース部２５０、編集情報分析部２６０、自動編集実行部２７０、記憶部２８０を備えている。
【００１７】
動画編集サーバ２０は、ＣＰＵ、メモリ、ハードディスク、通信装置等を備えたサーバコンピュータを用いて構成することができる。このとき、複数台の装置に機能を分散させて構成してもよい。また、本実施形態では、Ｗｅｂサービスをインタフェースとして、コンピュータネットワーク４０を介して動画編集端末３０からの操作を受け付ける構成としているが、スタンドアロンの動画編集装置として構成してもよい。
【００１８】
通信部２１０は、コンピュータネットワーク４０を介した動画編集端末３０との通信を行なう。Ｗｅｂサーバ部２２０は、動画編集端末３０にＷｅｂサービスを提供し、動画編集端末３０からの要求を受信する。そして、要求に応じたメッセージを再生インタフェース部２３０、手動編集インタフェース部２４０、自動編集インタフェース部２５０に供給する。また、Ｗｅｂサーバ部２２０は、再生インタフェース部２３０、手動編集インタフェース部２４０、自動編集インタフェース部２５０からの応答メッセージを動画編集端末３０に出力する。
【００１９】
記憶部２８０は、ハードディスク等の記憶装置により構成することができ、編集前動画記憶部２８１、修飾コンテンツ記憶部２８２、編集情報記憶部２８３を備えている。
【００２０】
編集前動画記憶部２８１は、編集前動画を識別子である編集前動画ＩＤと対応付けるとともに、編集前動画を構成するショットを識別子であるショットＩＤと対応付けて記憶する。編集前動画は、ユーザが動画編集端末３０からアップロードすることができる。また、動画編集サーバ２０の運営者があらかじめ見本用に格納しておいてもよい。あるいは、動画編集端末３０を介さずに、ビデオカメラ、Ｗｅｂカメラ等から直接アップロードできるようにしてもよい。なお、ショットＩＤはすべての編集前動画においてショットを一意に識別する。すなわち、編集前動画記憶部２８１に複数の編集前動画が記憶されている場合に、それぞれが別の編集前動画を構成している複数のショットに同一のショットＩＤが対応付けられることはない。
【００２１】
修飾コンテンツ記憶部２８２は、修飾コンテンツを識別子である修飾コンテンツＩＤと対応付けて記憶する。修飾コンテンツは、ユーザが動画編集端末３０からアップロードすることができる。また、動画編集サーバ２０の運営者が汎用的な修飾コンテンツをあらかじめ格納しておいてもよい。
【００２２】
編集情報記憶部２８３は、編集情報を識別子である編集動画ＩＤと対応付けて記憶する。ここで、編集情報について図４を参照して説明する。編集情報は、シーン情報部、エフェクト情報部、修飾情報部を含んでいる。
【００２３】
シーン情報部は、複数のシーン情報を含んでおり、それぞれのシーン情報は、編集前動画記憶部２８１に記憶されている編集前動画を構成するショットの識別子である「ショットＩＤ」、ショットＩＤで識別されるショットにおけるシーン抽出開始位置をショットの先頭からの相対時間で示す「シーン開始位置」、シーンの時間長を示す「シーン長」を含んでいる。
【００２４】
エフェクト情報部は、複数のエフェクト情報を含んであり、それぞれのエフェクト情報は、適用するエフェクトの種別を示す「エフェクト種別」、編集後の動画におけるエフェクトの開始時間を示す「エフェクト開始位置」、エフェクトを継続する時間長を示す「エフェクト長」を含んでいる。「エフェクト種別」には、エフェクト強度等を示す各種パラメータを含めることができる。
【００２５】
修飾情報部は、複数の修飾情報を含んでおり、それぞれの修飾情報は、付加するコンテンツを示す「コンテンツＩＤ」、編集後の動画におけるコンテンツ開始時間を示す「修飾開始位置」、コンテンツ付加の時間長を示す「修飾長」を含んでいる。
【００２６】
本実施形態では、編集動画のストリーミングやダウンロード時に、編集情報に基づいて編集前動画および修飾コンテンツを用いてリアルタイムで編集動画を生成する構成を想定しているが、記憶部２８０に編集動画を記録する領域を設け、動画編集時にあらかじめ編集動画を生成して記録しておき、ストリーミングやダウンロード時には記録された編集動画を読み出すようにしてもよい。
【００２７】
図３の説明に戻って、再生インタフェース部２３０は、Ｗｅｂサーバ部２２０を介してユーザの動画編集端末３０から動画再生の指示を受け付けると、指示に係る編集動画を特定し、特定された編集動画に対応した編集情報を編集情報記憶部２８３から読み出す。そして、読み出した編集情報にしたがって編集前動画および修飾コンテンツを用いて編集動画を生成し、ユーザの動画編集端末３０に出力する。具体的には、編集前動画から編集情報で指定されているシーンを抽出し、編集情報で指定されているエフェクトを施し、編集情報で指定されている修飾コンテンツを付加して編集動画を生成する。この結果、ユーザの動画編集端末３０では、編集動画が再生されることになる。なお、再生はストリーミングやダウンロードにより行なうことができる。
【００２８】
手動編集インタフェース部２４０は、Ｗｅｂサーバ部２２０を介してユーザの動画編集端末３０から動画手動編集の指示を受け付けると、あらかじめ用意してある編集ツールをユーザの動画編集端末３０に提供して、編集前動画および修飾コンテンツを用いた任意の編集操作を受け付ける。そして、編集操作に基づいて編集情報を生成し、編集情報記憶部２８３に記憶させる。手動編集インタフェース部２４０は、従来の技術を用いて構成することができる。
【００２９】
自動編集インタフェース部２５０は、Ｗｅｂサーバ部２２０を介してユーザの動画編集端末３０から動画自動編集の指示を受け付けると、指示に係るサンプル動画と編集対象の編集前動画を特定する。ここで、サンプル動画は、編集動画のうち、ユーザが手本としたい編集を行なっている動画である。すなわち、ユーザは、動画自動編集の指示を行なう場合、編集対象とする編集前動画と、手本とする編集動画とをＷｅｂブラウザ上で指定する。手本とする編集動画は、例えば、再生インタフェース部２３０を用いて探し出すことができる。手本とする編集動画、すなわちサンプル動画は複数であってもよい。
【００３０】
そして、自動編集インタフェース部２５０は、指定されたサンプル動画に対応する編集情報を編集情報記憶部２８３から読み出し、編集情報分析部２６０に分析させる。編集情報分析部２６０は、サンプル動画に対応する編集情報に含まれるシーン情報のショットＩＤで識別されるショットを編集前動画記憶部２８１から読み出して分析に用いる。
【００３１】
さらに、自動編集インタフェース部２５０は、この分析結果を用いて、指定された編集前動画に対する自動編集を自動編集実行部２７０に行なわせる。そして、自動編集の結果として編集情報を生成し、編集情報記憶部２８３に記憶させる。自動編集による編集動画は、手動編集による編集動画と同様にユーザの動画編集端末３０からストリーミングやダウンロードにより再生することができる。
【００３２】
編集情報分析部２６０は、ユーザが指定したサンプル動画の編集情報の分析を行なう。このため、編集情報分析部２６０は、シーン情報の分析を行なうシーン情報分析部２６１、エフェクト情報の分析を行なうエフェクト情報分析部２６２、修飾情報の分析を行なう修飾情報分析部２６３を備えている。
【００３３】
自動編集実行部２７０は、編集情報分析部２６０の分析結果に基づいて、ユーザが指定した編集前動画の編集を実行し、編集情報を生成する。このため、自動編集実行部２７０は、シーンの抽出を行なうシーン抽出部２７１、エフェクトの割当を行なうエフェクト割当部２７２、修飾コンテンツの割当を行なう修飾割当部２７３を備えている。
＜動画自動編集動作＞
【００３４】
次に、図５のフローチャートを参照して、動画編集サーバ２０における動画自動編集動作の概要について説明する。この一連の動作は、自動編集インタフェース部２５０が制御する。動画自動編集動作では、まず、Ｗｅｂサーバ部２２０を介して、ユーザから編集対象の編集前動画の指定を受け付ける（Ｓ１）。また、サンプル動画、すなわち編集の手本とする編集動画の指定を受け付ける（Ｓ２）。自動編集インタフェース部２５０は、サンプル動画の指定を受け付けると、編集情報記憶部２８３に格納されているサンプル動画の編集情報を特定する。
【００３５】
そして、編集情報分析部２６０が、サンプル動画の編集情報の分析を行なう（Ｓ３）。編集情報の分析が終了すると、自動編集実行部２７０のシーン抽出部２７１が、編集対象の動画からシーンを抽出し（Ｓ４）、エフェクト割当部２７２が、抽出されたシーンに対してエフェクトを割り当て（Ｓ５）、修飾割当部２７３が、抽出されたシーンに対して修飾コンテンツを割り当てる（Ｓ６）ことで、自動編集が行なわれる。
＜編集情報分析動作＞
【００３６】
サンプル動画の編集情報の分析（Ｓ３）の詳細な手順について、図６のフローチャートを参照して説明する。本図に示すようにサンプル動画の編集情報の分析では、シーン情報の分析（Ｓ３１〜Ｓ３６）と、エフェクト情報の分析（Ｓ３７）と修飾情報の分析（Ｓ３８）が行なわれる。
【００３７】
シーン情報の分析では、複数の項目に分けて分析を行なう。本実施形態では６つの項目に分けるが、これらのうち一部の項目を抽出して行なったり、他の項目を追加してシーン情報の分析を行なうようにしてもよい。
【００３８】
まず、シーン情報の分析として、シーン長の平均と分散とを算出する（Ｓ３１）。図７（ａ）は、シーン長の平均と分散の算出処理を説明する図である。本図の例では、サンプル動画が１４２個のシーンから構成されている。シーン長の平均は、これらのシーンの時間長の平均値であり、シーン長分散は、これらのシーンの時間長の分散値である。この分析により、サンプル動画のシーンの平均的な長さと、長さのバラツキを指標化することができる。
【００３９】
シーン長の平均と分散とを算出する（Ｓ３１）と、シーン長の変化傾向を分析する（Ｓ３２）。図７（ｂ）は、シーン長の変化傾向の分析処理を説明する図である。シーン長の変化傾向の分析では、サンプル動画を時間軸で複数のブロックに分割し、それぞれのブロックについてシーン長の平均値を算出する。これにより、開始部分や中盤部分、終了部分等の再生部分によってシーン長がどのように変化するかを指標化することができる。本図の例では、サンプル動画を等間隔で１０個のブロックに分割し、それぞれのブロックに含まれるシーンのシーン長平均を算出している。
【００４０】
次に、シーン間隔を分析する（Ｓ３３）。図８（ａ）は、シーン間隔の分析処理を説明する図である。シーン間隔は、サンプル動画のシーンの抽出元である編集前動画のショットを対象に分析し、各シーンにおいてショットのどの位置から抽出されているかの傾向を指標化するための分析である。このため、サンプル動画の各シーンについて、シーン抽出元のショットにおいてそのシーンより前から抽出されたシーンがない場合は、ショットの開始からシーンが開始するまでの時間Ａを算出し、他のシーンについては直前のシーンとの間隔Ｂを算出する。そして、シーン間隔平均値として、サンプル動画の編集前動画全体の平均値を、間隔Ａ、間隔Ｂ毎に算出する。なお、図８（ａ）はサンプル動画のすべてのシーンが１つの編集前動画（サンプル編集前動画）から抽出される例を示しているが、シーンが複数の編集前動画から抽出される場合も同様である。
【００４１】
次に、シーン明るさ分析を行なう（Ｓ３４）。シーン明るさ分析は、抽出されたシーンが、ショットの中で比較的明るい部分が抽出されたものか、比較的暗い部分が抽出されたものかを把握するために行なう分析である。図８（ｂ）は、シーン明るさ分析処理を説明する図である。また、図９は、シーン明るさ分析処理の手順を説明するフローチャートである。なお、図８（ｂ）はサンプル動画のすべてのシーンが１つの編集前動画（サンプル編集前動画）から抽出される例を示しているが、シーンが複数の編集前動画から抽出される場合も同様である。
【００４２】
シーン明るさ分析処理では、サンプル動画のシーン抽出元の各ショットについて抽出されたシーンとそのショット全体の明るさ比較を行なうため、まず、対象ショットを設定する（Ｓ３４１）。対象ショットは、シーン抽出元のショットを任意の順序で順次設定すればよい。なお、ショットから複数のシーンが抽出されている場合でも、そのショットは対象ショットとして１回だけ設定する。
【００４３】
そして、対象ショット全体の明るさを算出する（Ｓ３４２）。これは、対象ショットを構成する全フレームに含まれる画素の輝度値の平均を算出すればよい。次に、対象ショットに含まれるシーンの明るさを算出する（Ｓ３４３）。これは、対象ショットに含まれるシーンを構成する全フレームに含まれる画素の輝度値の平均を算出すればよい。対象ショットに複数のシーンが含まれる場合には、すべてのシーンを合わせた平均値とする。
【００４４】
そして、対象ショット全体の明るさからシーンの明るさを引いた値を算出して、対象ショット明るさ差とする（Ｓ３４４）。対象ショット明るさ差が正の大きな値であるほど、抽出されたシーンが、ショットの中で暗い部分が抽出されたものであることを示し、対象ショット明るさ差が負の大きな値であるほど、抽出されたシーンが、ショットの中で明るい部分が抽出されたものであることを示すことになる。
【００４５】
以上の対象ショット明るさ差算出処理をシーン抽出元のすべてのショットについて繰り返す（Ｓ３４５）。そして、シーン抽出元のすべてのショットのショット明るさ差の平均値を算出し、ショット明るさ差平均とする（Ｓ３４６）。
【００４６】
図６のフローチャートの説明に戻って、次に、シーン動き分析を行なう（Ｓ３５）。シーン動き分析は、抽出されたシーンが、ショットの中で比較的動きのある部分が抽出されたものか、比較的動きのない部分が抽出されたものかを把握するために行なう分析である。シーン動き分析の手順は、シーン明るさ分析処理の手順と同様に行なうことができ、明るさを示す輝度値の平均に替えて、ショットおよびシーンに含まれる映像のオプティカルフローを検出し、動きの大きさの平均を算出することで動きの大きさを指標化する。ただし、他の方法を用いて動きの大きさを指標化するようにしてもよい。そして、シーン抽出元のショット毎のショットの動きの大きさとシーンの動きの大きさとの差を算出してから、シーン抽出元のすべてのショットの平均値であるショット動きの大きさ差平均を算出する。
【００４７】
この結果、ショット動きの大きさ差平均が正の大きな値であるほど、抽出されたシーンが、ショットの中で動きの少ない部分が抽出されたものであることを示し、ショット動きの大きさ差平均が負の大きな値であるほど、抽出されたシーンが、ショットの中で動きの多い部分が抽出されたものであることを示すことになる。
【００４８】
次に、シーン音量分析を行なう（Ｓ３５）。シーン音量分析は、抽出されたシーンが、ショットの中で比較的音の大きな部分が抽出されたものか、比較的音の小さな部分が抽出されたものかを把握するために行なう分析である。シーン音量分析の手順は、シーン明るさ分析処理の手順と同様に行なうことができる。ただし、映像データに付随する音声データを用いるようにする。また、明るさの評価である輝度値の平均に替えて、ショットおよびシーンに含まれる音声の音量レベルを検出し、平均を算出することで音量を指標化し、シーン抽出元のショット毎のショット音量とシーン音量との差を算出してから、シーン抽出元のすべてのショットの平均値であるショット音量差平均を算出する。
【００４９】
この結果、ショット音量差平均が正の大きな値であるほど、抽出されたシーンが、ショットの中で音量の小さな部分が抽出されたものであることを示し、ショット音量差平均が負の大きな値であるほど、抽出されたシーンが、ショットの中で音量の大きな部分が抽出されたものであることを示すことになる。
【００５０】
以上の手順によりシーン情報の分析を行なうと、エフェクト情報の分析を行なう（図６：Ｓ３７）。図１０は、エフェクト情報の分析手順を説明するフローチャートである。また、図１１（ａ）は、エフェクト情報の分析処理を説明する図である。エフェクト情報の分析処理では、サンプル動画においてエフェクトがどのように適用されているかをフィルタとトランジションとに分けて分析する。
【００５１】
このため、サンプル動画を時間軸上で複数の等間隔ブロックに分割する（Ｓ３７１）。本例では、図１１（ａ）に示すように、１０個のブロックに分割する。そして、対象ブロックを設定する（Ｓ３７２）。対象ブロックは先頭のブロックから順次設定すればよい。
【００５２】
次いで、対象ブロックでのフィルタ適用確率を算出する（Ｓ３７３）。フィルタ適用確率は、対象ブロック内でフィルタが適用されているシーンの数を対象ブロックに含まれるシーンの数で割ることにより算出する。
【００５３】
次に、対象ブロックでのフィルタ種別毎の使用頻度を算出する（Ｓ３７４）。フィルタ種別毎の使用頻度は、対象ブロックで適用されているフィルタについてフィルタ種別毎の適用回数を求め、合計が１となるように正規化して算出する。
【００５４】
フィルタと同様に、対象ブロックでのトランジション適用確率を算出する（Ｓ３７５）。トランジション適用確率は、対象ブロック内でトランジションが適用されているシーンの数を対象ブロックに含まれるシーンの数で割ることにより算出する。
【００５５】
また、対象ブロックでのトランジション種別毎の使用頻度を算出する（Ｓ３７６）。トランジション種別毎の使用頻度は、対象ブロックで適用されているトランジションについてトランジション種別毎の適用回数を求め、合計が１となるように正規化して算出する。
【００５６】
以上の処理をすべてのブロックについて繰り返し（Ｓ３７７）、ブロック毎のフィルタ適用確率、フィルタ種別毎の使用頻度、トランジション適用確率、トランジション種別毎の使用頻度を算出する。
【００５７】
以上の手順によりエフェクト情報の分析を行なうと、修飾情報の分析を行なう（図６：Ｓ３７）。図１２は、修飾情報の分析手順を説明するフローチャートである。また、図１１（ｂ）は、修飾情報の分析処理を説明する図である。修飾情報の分析処理では、サンプル動画において修飾コンテンツがどのように付加されているかを静止画コンテンツと動画コンテンツとオーディオコンテンツとに分けて分析する。
【００５８】
このため、サンプル動画を時間軸上で複数の等間隔ブロックに分割する（Ｓ３８１）。本例では、図１１（ｂ）に示すように、１０個のブロックに分割する。そして、対象ブロックを設定する（Ｓ３８２）。対象ブロックは先頭のブロックから順次設定すればよい。
【００５９】
次いで、対象ブロックでの静止画コンテンツ付加確率を算出する（Ｓ３８３）。静止画コンテンツ付加確率は、対象ブロック内で静止画コンテンツが付加されているシーンの数を対象ブロックに含まれるシーンの数で割ることにより算出する。
【００６０】
次に、対象ブロックでの静止画コンテンツ毎の使用頻度を算出する（Ｓ３８４）。静止画コンテンツ毎の使用頻度は、対象ブロックで付加されている静止画コンテンツについて静止画コンテンツ毎の適用回数を求め、合計が１となるように正規化して算出する。
【００６１】
静止画コンテンツと同様に、対象ブロックでの動画コンテンツ付加確率を算出する（Ｓ３８５）。動画コンテンツ付加確率は、対象ブロック内で動画コンテンツが付加されているシーンの数を対象ブロックに含まれるシーンの数で割ることにより算出する。
【００６２】
また、対象ブロックでの動画コンテンツ毎の使用頻度を算出する（Ｓ３８６）。動画コンテンツ毎の使用頻度は、対象ブロックで付加されている動画コンテンツについて動画コンテンツ毎の適用回数を求め、合計が１となるように正規化して算出する。
【００６３】
以上の処理をすべてのブロックについて繰り返し（Ｓ３８７）、ブロック毎の静止画コンテンツ付加確率、静止画コンテンツ毎の使用頻度、動画コンテンツ付加確率、動画コンテンツ毎の使用頻度を算出する。
【００６４】
次に、サンプル動画のオーディオコンテンツ付加確率を算出する（Ｓ３８８）。すなわち、オーティオコンテンツについてはブロック単位ではなく、サンプル動画単位で確率を算出する。このため、サンプル動画が１つの場合、オーディオコンテンツ付加確率は、サンプル動画にオーディオコンテンツが付加されていれば１００％であり、付加されていなければ０％となる。サンプル動画が複数の場合は、オーディオコンテンツが付加されている動画の数をサンプル動画の数で割ることによりオーディオコンテンツ付加確率を算出する。
【００６５】
また、サンプル動画のオーディオコンテンツ毎の使用頻度を算出する（Ｓ３８９）。オーディオコンテンツ毎の使用頻度は、サンプル動画で付加されているオーディオコンテンツについてオーディオコンテンツ毎の適用回数を求め、合計が１となるように正規化して算出する。
＜自動編集実行動作：シーン抽出＞
【００６６】
次に、自動編集実行部２７０が行なう自動編集実行動作について説明する。まず、編集対象の編集前動画からシーンを抽出する処理（図５：Ｓ４）について、図１３のフローチャートを参照して説明する。本処理は、自動編集実行部２７０のシーン抽出部２７１が制御する。
【００６７】
まず、編集後の動画の長さを決定する（Ｓ４１）。編集後の動画の長さは、例えば、サンプル動画の長さと同一とする。サンプル動画が複数個指定されている場合は、平均の長さを編集後の動画の長さとする。あるいは、ユーザから編集後の動画の長さの指定を受け付けるようにしてもよい。
【００６８】
以下では、編集前の動画からシーンを１つずつ抽出し、全体の長さが編集動画の長さになるまで、シーンの抽出を繰り返す（Ｓ４１１）。シーンは、必ずしも先頭から順番に抽出されるのではなく、編集前の動画の未抽出の部分から条件に合うシーンが順不同で抽出される。そして、順不同で抽出されたシーンを前から順番に並べて編集動画を構成する。
【００６９】
まず、次に抽出するシーンの長さを決定する（Ｓ４２）。抽出するシーンの長さは、サンプル動画の編集情報を分析して得られたシーン長の平均と分散とに基づいて決定する。すなわち、得られたシーン長の平均と分散とに基づいた正規分布の確率分布において、乱数を発生させて次に抽出するシーンの長さを決定する。
【００７０】
次に、抽出するシーンの候補を設定する（Ｓ４３）。抽出するシーンの候補（抽出シーン候補）の設定では、図１４に示すように、編集対象の編集前動画の各ショットから、まだ抽出されていない部分を対象に、抽出するシーンの長さ分の動画を、例えば、１秒程度の等間隔でずらしていくことにより得られる動画を抽出シーン候補とする。本図の例ではショットＫから１１個の抽出シーン候補が設定されている。
【００７１】
抽出シーン候補を設定すると、各抽出シーン候補に対して、分析を行なった複数の項目に関する評価を行ない、最も評価の高い抽出シーン候補を抽出シーンとして決定する。
【００７２】
本実施形態では、まず、シーン長変化傾向の評価を行なう（Ｓ４４）。図１５は、シーン長変化傾向の評価手順について説明するフローチャートである。シーン長変化傾向の評価では、始めに、評価対象とする抽出シーン候補を設定する（Ｓ４４１）。評価対象とする抽出シーン候補は、前方向から順次設定すればよい。
【００７３】
次いで、対象抽出シーン候補が属するブロックを判別する（Ｓ４４２）。ここで、ブロックは、編集前動画を時間軸において等間隔で所定個数に分割したものであり、所定個数は、編集情報分析時におけるブロック数と同じ数とする。
【００７４】
対象抽出シーン候補が属するブロックを判別すると、サンプル動画の同じブロックにおけるシーン長平均（図７（ｂ）参照）を取得し、その値を「ブロック内シーン長平均」とする（Ｓ４４３）。そして、サンプル動画全体のシーン平均長と「ブロック内シーン長平均」との差を算出する（Ｓ４４４）。この差は、サンプル動画の対応するブロックにおけるシーンの長さが、サンプル動画全体のシーンの長さと比べて特徴的であるかどうかを示すことになる。すなわち、サンプル動画の対応するブロックに含まれるシーンが比較的短いものであったり、比較的長いものであれば、この差が大きくなる。
【００７５】
この結果、差が所定の閾値以上でなければ（Ｓ４４５：Ｎｏ）、サンプル動画の対応するブロックにおけるシーンの長さは、サンプル動画全体のシーンの長さと比べて特徴的でないため、積極的な評価は行なわず、対象抽出シーン候補の優先度評価値を０とする（Ｓ４４６）。
【００７６】
一方、差が所定の閾値以上であれば（Ｓ４４５：Ｙｅｓ）、サンプル動画の対応するブロックにおけるシーンの長さが、動画全体のシーンの長さと比べて特徴的であることを示している。そこで、対象抽出シーン候補の長さと「ブロック内シーン長平均」との差を算出する（Ｓ４４７）。
【００７７】
この結果、差が所定の閾値以下であれば（Ｓ４４８：Ｙｅｓ）、対象抽出シーン候補の長さもサンプル動画の同じブロックと同様の特徴を有しているとして、優先度評価値を＋１とする（Ｓ４４９）。一方、差が所定の閾値以下でなければ（Ｓ４４８：Ｎｏ）、対象抽出シーン候補の長さは、サンプル動画の同じブロックの特徴を有していないとして、優先度評価値を−１とする（Ｓ４４１０）。
【００７８】
以上の処理をすべての対象抽出シーン候補について繰り返し（Ｓ４４１１）、各対象抽出シーン候補についてシーン長変化傾向の優先度評価値を算出する。
【００７９】
次に、シーン間隔の評価を行なう（図１３：Ｓ４５）。シーン間隔の評価では、各抽出シーン候補について、抽出シーン候補が含まれるショットにおいて、その抽出シーン候補より前に抽出済シーンがない場合は、その抽出シーン候補とショット先頭との間隔と、図８（ａ）における間隔Ａの平均値との差を求め、その抽出シーン候補より前に抽出済シーンがある場合は、その抽出シーン候補と抽出済シーンとの間隔と、図８（ａ）における間隔Ｂの平均値との差を求める。
【００８０】
そして、得られた差の大きさが所定の閾値以下である場合は、サンプル動画と同じ傾向を有しているとして、その抽出シーン候補のシーン間隔の優先度評価値を＋１とする。得られた差の大きさが所定の閾値以下でない場合は、サンプル動画と同じ傾向を有していないとして、その抽出シーン候補のシーン間隔の優先度評価値を−１とする。
【００８１】
次に、シーン明るさ評価を行なう（図１３：Ｓ４６）。図１６は、シーン明るさ評価の手順について説明するフローチャートである。シーン明るさ評価では、まず、サンプル動画のシーンは、編集前サンプル動画全体と比較して暗い場面を抽出している傾向があるかどうかを判定する（Ｓ４６１）。この判定は、処理（Ｓ３４６）で算出したショット明るさ差平均が所定の正の閾値以上であるかどうか判断すればよい。
【００８２】
サンプル動画のシーンは、全体よりも暗い場面を抽出している傾向がない場合は（Ｓ４６１：Ｎｏ）、サンプル動画のシーンは、全体よりも明るい場面を抽出している傾向があるかどうかを判定する（Ｓ４６２）。この判定は、処理（Ｓ３４６）で算出したショット明るさ差平均が所定の負の閾値以下であるかどうか判断すればよい。
【００８３】
全体よりも明るい場面を抽出している傾向もない場合は（Ｓ４６２：Ｎｏ）、サンプル動画において、抽出されたシーンの明るさに特徴は認められないため、シーン明るさの積極的な評価は行なわず、すべての抽出シーン候補について、シーン明るさの優先度評価値を０とする。
【００８４】
サンプル動画のシーンが、全体よりも暗い場面を抽出している傾向がある場合（Ｓ４６１：Ｙｅｓ）は、対象抽出シーン候補を設定し（Ｓ４６４）、対象抽出シーン候補が同じ傾向を有しているかどうかを判定する（Ｓ４６５）。この判定は、対象抽出シーン候補が含まれるショットの全体の明るさ差平均と、対象抽出シーン候補の明るさとの差を算出し、その差が所定の正の閾値以上であるかどうか判断すればよい。
【００８５】
対象抽出シーン候補が同じ傾向を有している場合（Ｓ４６５：Ｙｅｓ）、シーン明るさの優先度評価値を＋１とし（Ｓ４６６）、対象抽出シーン候補が同じ傾向を有していない場合（Ｓ４６５：Ｎｏ）、シーン明るさの優先度評価値を−１とする（Ｓ４６７）。以上の処理をすべての抽出シーン候補に対して行なう（Ｓ４６８）。
【００８６】
サンプル動画のシーンが、全体よりも明るい場面を抽出している傾向がある場合（Ｓ４６２：Ｙｅｓ）は、対象抽出シーン候補を設定し（Ｓ４６９）、対象抽出シーン候補が同じ傾向を有しているかどうかを判定する（Ｓ４６１０）。この判定は、対象抽出シーン候補が含まれるショットの全体の明るさ差平均と、対象抽出シーン候補の明るさとの差を算出し、その差が所定の負の閾値以下であるかどうか判断すればよい。
【００８７】
対象抽出シーン候補が同じ傾向を有している場合（Ｓ４６１０：Ｙｅｓ）、シーン明るさの優先度評価値を＋１とし（Ｓ４６１１）、対象抽出シーン候補が同じ傾向を有していない場合（Ｓ４６１０：Ｎｏ）、シーン明るさの優先度評価値を−１とする（Ｓ４６１２）。以上の処理をすべての抽出シーン候補に対して行なう（Ｓ４６１３）。
【００８８】
次に、シーン動き評価を行なう（図１３：Ｓ４７）。シーン動き評価の手順は、シーン明るさ評価と同様に行なうことができる。ただし、ショット明るさ差平均をショット動きの大きさ差平均に変更して行なう。
【００８９】
次に、シーン音量評価を行なう（Ｓ４８）。シーン音量評価の手順は、シーン明るさ評価と同様に行なうことができる。ただし、ショット明るさ差平均をショット音量差平均に変更して行なう。
【００９０】
以上のシーン長変化傾向、シーン間隔、シーン明るさ、シーン動き、シーン音量の各項目の評価を終えると、得られた各項目の優先度評価値を抽出シーン候補毎に足し合わせることで、各抽出シーン候補の優先度を算出する（Ｓ４９）。このとき、項目毎に重み付けを行なうようにしてもよい。
【００９１】
そして、最も優先度の高い抽出シーン候補を、抽出シーンとして決定する（Ｓ４１０）。以上の処理（Ｓ４２〜Ｓ４１０）を、抽出済シーンの長さの合計が処理（Ｓ４１）で決定した動画長さに達するまで繰り返し（Ｓ４１１）、動画長さに達すると、抽出されたシーンを前から順番に並べたものを編集動画の基本動画として、動画シーン抽出処理（Ｓ４）を終了する。
＜エフェクト割当＞
【００９２】
次に、抽出されたシーンで構成される編集動画の基本動画に、自動編集実行部２７０のエフェクト割当部２７２が、エフェクトの割り当てを行なう（図５：Ｓ５）。図１７は、エフェクト割当手順を説明するフローチャートである。
【００９３】
エフェクトは抽出されたシーン単位で行なうため、対象シーンを設定する（Ｓ５１）。対象シーンは、先頭のシーンから順次設定すればよい。そして、以下の処理を、抽出されたすべてのシーンに対して繰り返す（Ｓ５６）。
【００９４】
エフェクトの割当は、フィルタとトランジションとで分けて行なう。このため、対象シーンにフィルタを適用するかどうかを判定する（Ｓ５２）。この判定は、まず、対象シーンが含まれるブロックを判別する。ここで、ブロックは、編集前動画を時間軸において等間隔で所定個数に分割したものであり、所定個数は、編集情報分析時におけるブロック数と同じ数とする。そして、サンプル動画の同じブロックについてエフェクト情報分析（Ｓ３７）で得られたフィルタ適用確率（図１０：Ｓ３７３）を用いて、乱数によりフィルタを適用するかどうかを決定する。
【００９５】
フィルタを適用する場合（Ｓ５２：Ｙｅｓ）は、さらに、サンプル動画の同じブロックについてエフェクト情報分析（Ｓ３７）で得られたフィルタ種別毎の使用頻度（図１０：Ｓ３７４）を用いて、乱数により適用するフィルタ種別を選択する（Ｓ５３）。このとき、エフェクト開始位置はシーン先頭位置とし、エフェクト長はシーン長とする。
【００９６】
次に、対象シーンにトランジションを適用するかどうかを判定する（Ｓ５４）。この判定は、まず、対象シーンが含まれるブロックを判別する。そして、サンプル動画の同じブロックについてエフェクト情報分析（Ｓ３７）で得られたトランジション適用確率（図１０：Ｓ３７５）を用いて、乱数によりトランジションを適用するかどうかを決定する。
【００９７】
トランジションを適用する場合（Ｓ５４：Ｙｅｓ）は、さらに、サンプル動画の同じブロックについてエフェクト情報分析（Ｓ３７）で得られたトランジション種別毎の使用頻度（図１０：Ｓ３７６）を用いて、乱数により適用するトランジション種別を選択する（Ｓ５５）。このとき、エフェクト開始位置はトランジションが対象シーンとその次のシーンとの間に適用されるように適切に定め、エフェクト長はトランジションの長さとする。
＜修飾コンテンツ割当＞
【００９８】
次に、抽出されたシーンで構成される編集動画の基本動画に、自動編集実行部２７０の修飾割当部２７３が、修飾コンテンツの割り当てを行なう（図５：Ｓ６）。図１８は、修飾コンテンツ割当手順を説明するフローチャートである。
【００９９】
修飾コンテンツのうち、静止画コンテンツと動画コンテンツの割当は抽出されたシーン単位で行なうため、始めに、対象シーンを設定する（Ｓ６１）。対象シーンは、先頭のシーンから順次設定すればよい。
【０１００】
そして、対象シーンに静止画コンテンツを付加するかどうかを判定する（Ｓ６２）。この判定は、まず、対象シーンが含まれるブロックを判別する。ここで、ブロックは、編集前動画を時間軸において等間隔で所定個数に分割したものであり、所定個数は、編集情報分析時におけるブロック数と同じ数とする。そして、サンプル動画の同じブロックについて修飾情報分析（Ｓ３８）で得られた静止画コンテンツ付加確率（図１２：Ｓ３８３）を用いて、乱数により静止画コンテンツを付加するかどうかを決定する。
【０１０１】
静止画コンテンツを付加する場合（Ｓ６２：Ｙｅｓ）は、さらに、サンプル動画の同じブロックについて修飾情報分析（Ｓ３８）で得られた静止画コンテンツ毎の使用頻度（図１２：Ｓ３８４）を用いて、乱数により付加する静止画コンテンツを選択する（Ｓ６３）。このとき、修飾開始位置はシーン先頭位置とし、修飾長はシーン長とする。
【０１０２】
次に、対象シーンに動画コンテンツを付加するかどうかを判定する（Ｓ６４）。この判定は、まず、対象シーンが含まれるブロックを判別する。そして、サンプル動画の同じブロックについて修飾情報分析（Ｓ３８）で得られた動画コンテンツ付加確率（図１２：Ｓ３８５）を用いて、乱数により動画コンテンツを付加するかどうかを決定する。
【０１０３】
動画コンテンツを付加する場合（Ｓ６４：Ｙｅｓ）は、さらに、サンプル動画の同じブロックについて修飾情報分析（Ｓ３８）で得られた動画コンテンツ毎の使用頻度（図１２：Ｓ３８６）を用いて、乱数により付加する動画コンテンツを選択する（Ｓ６５）。
【０１０４】
選択された動画コンテンツ自体の長さがシーンの長さ以上である場合は、修飾開始位置はシーンの先頭位置とし、修飾長はシーン長とする。選択された動画コンテンツ自体の長さがシーンの長さより短い場合は、開始位置はシーン先頭位置とし、修飾長はコンテンツ自体の長さとする。ただし、動画コンテンツがシーンの中心となるように開始位置を定めるようにしたり、他の位置を設定するようにしてもよい。
【０１０５】
以上の処理を、抽出されたすべてのシーンに対して繰り返す（Ｓ６６）。次に、編集動画にオーディオコンテンツを付加するかどうかを判定する（Ｓ６７）。この判定は、修飾情報分析（Ｓ３８）で得られたオーディオコンテンツ付加確率（図１２：Ｓ３８８）を用いて、乱数によりオーディオコンテンツを付加するかどうかを決定する。
【０１０６】
オーディオコンテンツを付加する場合（Ｓ６７：Ｙｅｓ）は、さらに、修飾情報分析（Ｓ３８）で得られたオーディオコンテンツ毎の使用頻度（図１２：Ｓ３８９）を用いて、乱数により付加するオーディオコンテンツを選択する（Ｓ６８）。このとき、修飾開始位置は編集動画の先頭位置とし、修飾長は編集動画の長さとする。ただし、オーディオコンテンツが編集動画より短い場合は、同じオーディオコンテンツを繰り返したり、他のオーディオコンテンツをさらに選択するようにしてもよい。
【０１０７】
以上説明したように、本実施形態の、動画編集サーバ２０は、サンプル動画の編集情報を分析して、編集対象の動画の自動編集を行なうため、編集前の動画のどの部分を抽出するかを考慮して、自動編集を行なうことができる。
【０１０８】
以上の実施形態に示したように、編集対象の動画の指定と、複数のシーンから構成される編集済のサンプル動画の指定とを受け付けると、前記サンプル動画の編集前動画と前記編集前動画に施す編集内容を示した編集情報とを特定するインタフェース部と、前記編集情報に基づいて、前記サンプル動画を構成する各シーンの長さに関する指標と、各シーンの前記サンプル動画の編集前動画に対する特徴量である第１特徴量とを算出するシーン情報分析部と、前記長さに関する指標に基づいて、前記編集対象の動画から抽出するシーンの候補を設定し、各シーン候補について、シーン候補の前記編集対象の動画に対する特徴量である第２特徴量を算出し、前記第１特徴量と前記第２特徴量とを評価することにより抽出するシーンを順次決定するシーン抽出部とを備えた動画編集装置とすることができる。
【符号の説明】
【０１０９】
１０…動画編集システム
２０…動画編集サーバ
３０…動画編集端末
４０…コンピュータネットワーク
２１０…通信部
２２０…Ｗｅｂサーバ部
２３０…再生インタフェース部
２４０…手動編集インタフェース部
２５０…自動編集インタフェース部
２６０…編集情報分析部
２６１…シーン情報分析部
２６２…エフェクト情報分析部
２６３…修飾情報分析部
２７０…自動編集実行部
２７１…シーン抽出部
２７２…エフェクト割当部
２７３…修飾割当部
２８０…記憶部
２８１…編集前動画記憶部
２８２…修飾コンテンツ記憶部
２８３…編集情報記憶部
【技術分野】
【０００１】
本発明は、動画の自動編集に関し、特に、ユーザが希望するサンプル動画の編集情報に基づいて自動編集を行なう動画編集装置、動画編集方法およびそのためのコンピュータプログラムに関する。
【背景技術】
【０００２】
従来、ビデオカメラ等で撮影した動画の編集を行なうためには、高性能のコンピュータと技術者向けの専用ソフトウェアを用いる必要があり、それらを操作するためには高度な技術や専門知識が要求されていた。近年では、パーソナルコンピュータの高機能化やビデオカメラの普及等により、簡易に動画編集を行なえるソフトウェアが開発され、専門技術や専門知識のない一般ユーザでも容易に動画の編集ができるようになっている。
【０００３】
例えば、特許文献１には、編集済のサンプル動画を学習することにより編集情報を生成し、生成した編集情報に基づいてユーザへの編集支援を行なう映像編集支援装置が開示されている。このような装置を用いることで、サンプル動画における映像の並びや、エフェクトの適用、バックグランドミュージックの付加等を模した動画編集を一般ユーザが簡易に行なうことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３３６１０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来提案されている装置では、編集済の動画のみをサンプルとしているため、元の動画をどのように編集して編集済の動画を生成したかは学習することはできない。このため、例えば、編集前の動画のどの部分を抽出してサンプル動画を構成したのかを分析して参考にすることができない。
【０００６】
そこで、本発明は、サンプル動画に基づいて自動編集を行なう際に、編集前の動画のどの部分を抽出するかを考慮して、自動編集を行なえるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明の第１の態様である動画編集装置は、１つまたは複数のシーンを有し、１つまた複数のショットを備えた動画の編集を行なう動画像編集装置において、編集対象の動画の指定と、抽出された複数のシーンを備えた編集済のサンプル動画の指定とを受け付けると、指定された前記編集済のサンプル画像に対応した編集情報であり、ショットから抽出したシーンを示すシーン情報を含む編集情報とを特定するインタフェース部と、特定した前記編集情報に基づいて、前記サンプル動画を構成する各シーンの長さに関する指標と、各シーンの前記ショットに対する特徴量とを算出するシーン情報分析部と、前記長さに関する指標と前記ショットに対する特徴量とに基づいて、前記編集対象の動画の有するショットから抽出するシーンを決定するシーン抽出部とを備えたことを特徴とする。
ここで、前記長さに関する指標は、前記サンプル動画を構成する各シーンの長さの平均と分散とを含むことができる。
また、前記特徴量は、シーンの明るさ評価値と前記サンプル動画の編集前動画の明るさ評価値との差を含むことができる。
また、前記編集情報は、前記サンプル動画に適用するエフェクトに関する情報を含んでおり、前記編集情報に基づいて、抽出されたシーンに適用するエフェクトを割り当てるエフェクト割当部をさらに備えることができる。
上記課題を解決するため、本発明の第２の態様である動画編集方法は、１つまたは複数のシーンを有し、１つまた複数のショットを備えた動画の編集を行なう動画像編集方法において、編集対象の動画の指定と、抽出された複数のシーンを備えた編集済のサンプル動画の指定とを受け付けると、指定された前記編集済のサンプル画像に対応した編集情報であり、ショットから抽出したシーンを示すシーン情報を含む編集情報とを特定するステップと、特定した前記編集情報に基づいて、前記サンプル動画を構成する各シーンの長さに関する指標と、各シーンの前記ショットに対する特徴量とを算出するステップと、前記長さに関する指標と前記ショットに対する特徴量とに基づいて、前記編集対象の動画の有するショットから抽出するシーンを決定するステップとを有することを特徴とする。
上記課題を解決するため、本発明の第３の態様であるコンピュータプログラムは、１つまたは複数のシーンを有し、１つまた複数のショットを備えた動画の編集を行なう動画像編集装置として情報処理装置を機能させるコンピュータプログラムにおいて、編集対象の動画の指定と、抽出された複数のシーンを備えた編集済のサンプル動画の指定とを受け付けると、指定された前記編集済のサンプル画像に対応した編集情報であり、ショットから抽出したシーンを示すシーン情報を含む編集情報とを特定するインタフェース部、特定した前記編集情報に基づいて、前記サンプル動画を構成する各シーンの長さに関する指標と、各シーンの前記ショットに対する特徴量とを算出するシーン情報分析部、前記長さに関する指標と前記ショットに対する特徴量とに基づいて、前記編集対象の動画の有するショットから抽出するシーンを決定するシーン抽出部として、前記情報処理装置を機能させることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、サンプル動画に基づいて自動編集を行なう際に、編集前の動画のどの部分を抽出するかを考慮して、自動編集を行なえるようになる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の動画編集システムの全体構成を示すブロック図である。
【図２】動画編集サーバが扱う動画編集について説明する図である。
【図３】動画編集サーバの機能構成を示すブロック図である。
【図４】編集情報について説明する図である。
【図５】動画編集サーバにおける動画自動編集動作の概要を示すフローチャートである。
【図６】サンプル動画の編集情報の分析の詳細な手順を示すフローチャートである。
【図７】シーン長の平均と分散の算出処理およびシーン長の変化傾向の分析処理を説明する図である。
【図８】シーン間隔の分析処理およびシーン明るさ分析処理を説明する図である。
【図９】シーン明るさ分析処理の手順を説明するフローチャートである。
【図１０】エフェクト情報の分析手順を説明するフローチャートである。
【図１１】エフェクト情報および修飾情報の分析処理を説明する図である。
【図１２】修飾情報の分析手順を説明するフローチャートである。
【図１３】編集対象の編集前動画からシーンを抽出する処理を説明するフローチャートである。
【図１４】抽出シーン候補の設定について説明する図である。
【図１５】シーン長変化傾向の評価手順を説明するフローチャートである。
【図１６】シーン明るさの評価手順を説明するフローチャートである。
【図１７】エフェクト割当手順を説明するフローチャートである。
【図１８】修飾コンテンツ割当手順を説明するフローチャートである。
【発明を実施するための形態】
【００１０】
本発明の実施の形態について図面を参照して詳細に説明する。図１は、本実施形態の動画編集システムの全体構成を示すブロック図である。本図に示すように、動画編集システム１０は、動画編集サーバ２０と複数台の動画編集端末３０（３０ａ、３０ｂ、３０ｃ…）とがコンピュータネットワーク４０を介して接続されて構成される。
【００１１】
動画編集サーバ２０は、Ｗｅｂサーバ機能を備えており、Ｗｅｂサービスをインタフェースとして、ＨＴＴＰ等の所定のプロトコルにより各動画編集端末３０からの操作を受け付ける。そして、それぞれの動画編集端末３０に対して応答を行なうことでユーザに対して動画編集サービスを提供する。
【００１２】
動画編集端末３０は、ユーザが使用する端末装置であり、Ｗｅｂブラウザ機能を備えているものとする。ユーザは、編集対象の動画を動画編集端末３０から動画編集サーバ２０にアップロードし、動画編集サーバ２０上で編集することができる。そして、編集済の動画を動画編集サーバ２０からストリーミングで再生したり、動画編集サーバ２０から動画編集端末３０にダウンロードする。動画編集端末３０は、Ｗｅｂブラウザソフトウェアをインストールした一般的な情報処理装置を用いることができる。
【００１３】
ここで、動画編集サーバ２０が扱う動画編集について図２を参照して説明する。本実施形態において、編集を施してない編集前動画は、図２（ａ）に示すように、１または複数個のショットから構成されている。ショットは、切れ目なく連続して撮影された映像のまとまりである。編集動作では、まず、ショットから一部分であるシーンを複数個抽出する。抽出されたシーンの連続が編集後の動画の基本となる。なお、１つの編集後の動画に対して、複数の編集前動画からシーンを抽出してもよい。
【００１４】
そして、図２（ｂ）に示すように、抽出したシーンに対してエフェクトを割り当てる。エフェクトは複数のシーンにまたがっていたり、１つのシーンに複数個割り当ててもよい。ここで、エフェクトは、映像効果であり、映像の色調を調整したりぼかしたりするフィルタと、シーンの切り換え部分に適用するディゾルブ等のトランジションとに区分される。フィルタ、トランジションとも複数の種類を有している。もちろん、これ以外のエフェクトを用いるようにしてもよい。
【００１５】
さらに、図２（ｃ）に示すように、抽出したシーンに対して修飾コンテンツを割り当てる。これにより、編集後の動画、すなわち編集動画が完成する。ここで、修飾コンテンツは、修飾のための静止画コンテンツ、動画コンテンツ、バックミュージックのためのオーディオコンテンツとする。もちろん、これ以外の修飾コンテンツを用いるようにしてもよい。
【００１６】
図３は、動画編集サーバ２０の機能構成を示すブロック図である。本図に示すように、動画編集サーバ２０は、通信部２１０、Ｗｅｂサーバ部２２０、再生インタフェース部２３０、手動編集インタフェース部２４０、自動編集インタフェース部２５０、編集情報分析部２６０、自動編集実行部２７０、記憶部２８０を備えている。
【００１７】
動画編集サーバ２０は、ＣＰＵ、メモリ、ハードディスク、通信装置等を備えたサーバコンピュータを用いて構成することができる。このとき、複数台の装置に機能を分散させて構成してもよい。また、本実施形態では、Ｗｅｂサービスをインタフェースとして、コンピュータネットワーク４０を介して動画編集端末３０からの操作を受け付ける構成としているが、スタンドアロンの動画編集装置として構成してもよい。
【００１８】
通信部２１０は、コンピュータネットワーク４０を介した動画編集端末３０との通信を行なう。Ｗｅｂサーバ部２２０は、動画編集端末３０にＷｅｂサービスを提供し、動画編集端末３０からの要求を受信する。そして、要求に応じたメッセージを再生インタフェース部２３０、手動編集インタフェース部２４０、自動編集インタフェース部２５０に供給する。また、Ｗｅｂサーバ部２２０は、再生インタフェース部２３０、手動編集インタフェース部２４０、自動編集インタフェース部２５０からの応答メッセージを動画編集端末３０に出力する。
【００１９】
記憶部２８０は、ハードディスク等の記憶装置により構成することができ、編集前動画記憶部２８１、修飾コンテンツ記憶部２８２、編集情報記憶部２８３を備えている。
【００２０】
編集前動画記憶部２８１は、編集前動画を識別子である編集前動画ＩＤと対応付けるとともに、編集前動画を構成するショットを識別子であるショットＩＤと対応付けて記憶する。編集前動画は、ユーザが動画編集端末３０からアップロードすることができる。また、動画編集サーバ２０の運営者があらかじめ見本用に格納しておいてもよい。あるいは、動画編集端末３０を介さずに、ビデオカメラ、Ｗｅｂカメラ等から直接アップロードできるようにしてもよい。なお、ショットＩＤはすべての編集前動画においてショットを一意に識別する。すなわち、編集前動画記憶部２８１に複数の編集前動画が記憶されている場合に、それぞれが別の編集前動画を構成している複数のショットに同一のショットＩＤが対応付けられることはない。
【００２１】
修飾コンテンツ記憶部２８２は、修飾コンテンツを識別子である修飾コンテンツＩＤと対応付けて記憶する。修飾コンテンツは、ユーザが動画編集端末３０からアップロードすることができる。また、動画編集サーバ２０の運営者が汎用的な修飾コンテンツをあらかじめ格納しておいてもよい。
【００２２】
編集情報記憶部２８３は、編集情報を識別子である編集動画ＩＤと対応付けて記憶する。ここで、編集情報について図４を参照して説明する。編集情報は、シーン情報部、エフェクト情報部、修飾情報部を含んでいる。
【００２３】
シーン情報部は、複数のシーン情報を含んでおり、それぞれのシーン情報は、編集前動画記憶部２８１に記憶されている編集前動画を構成するショットの識別子である「ショットＩＤ」、ショットＩＤで識別されるショットにおけるシーン抽出開始位置をショットの先頭からの相対時間で示す「シーン開始位置」、シーンの時間長を示す「シーン長」を含んでいる。
【００２４】
エフェクト情報部は、複数のエフェクト情報を含んであり、それぞれのエフェクト情報は、適用するエフェクトの種別を示す「エフェクト種別」、編集後の動画におけるエフェクトの開始時間を示す「エフェクト開始位置」、エフェクトを継続する時間長を示す「エフェクト長」を含んでいる。「エフェクト種別」には、エフェクト強度等を示す各種パラメータを含めることができる。
【００２５】
修飾情報部は、複数の修飾情報を含んでおり、それぞれの修飾情報は、付加するコンテンツを示す「コンテンツＩＤ」、編集後の動画におけるコンテンツ開始時間を示す「修飾開始位置」、コンテンツ付加の時間長を示す「修飾長」を含んでいる。
【００２６】
本実施形態では、編集動画のストリーミングやダウンロード時に、編集情報に基づいて編集前動画および修飾コンテンツを用いてリアルタイムで編集動画を生成する構成を想定しているが、記憶部２８０に編集動画を記録する領域を設け、動画編集時にあらかじめ編集動画を生成して記録しておき、ストリーミングやダウンロード時には記録された編集動画を読み出すようにしてもよい。
【００２７】
図３の説明に戻って、再生インタフェース部２３０は、Ｗｅｂサーバ部２２０を介してユーザの動画編集端末３０から動画再生の指示を受け付けると、指示に係る編集動画を特定し、特定された編集動画に対応した編集情報を編集情報記憶部２８３から読み出す。そして、読み出した編集情報にしたがって編集前動画および修飾コンテンツを用いて編集動画を生成し、ユーザの動画編集端末３０に出力する。具体的には、編集前動画から編集情報で指定されているシーンを抽出し、編集情報で指定されているエフェクトを施し、編集情報で指定されている修飾コンテンツを付加して編集動画を生成する。この結果、ユーザの動画編集端末３０では、編集動画が再生されることになる。なお、再生はストリーミングやダウンロードにより行なうことができる。
【００２８】
手動編集インタフェース部２４０は、Ｗｅｂサーバ部２２０を介してユーザの動画編集端末３０から動画手動編集の指示を受け付けると、あらかじめ用意してある編集ツールをユーザの動画編集端末３０に提供して、編集前動画および修飾コンテンツを用いた任意の編集操作を受け付ける。そして、編集操作に基づいて編集情報を生成し、編集情報記憶部２８３に記憶させる。手動編集インタフェース部２４０は、従来の技術を用いて構成することができる。
【００２９】
自動編集インタフェース部２５０は、Ｗｅｂサーバ部２２０を介してユーザの動画編集端末３０から動画自動編集の指示を受け付けると、指示に係るサンプル動画と編集対象の編集前動画を特定する。ここで、サンプル動画は、編集動画のうち、ユーザが手本としたい編集を行なっている動画である。すなわち、ユーザは、動画自動編集の指示を行なう場合、編集対象とする編集前動画と、手本とする編集動画とをＷｅｂブラウザ上で指定する。手本とする編集動画は、例えば、再生インタフェース部２３０を用いて探し出すことができる。手本とする編集動画、すなわちサンプル動画は複数であってもよい。
【００３０】
そして、自動編集インタフェース部２５０は、指定されたサンプル動画に対応する編集情報を編集情報記憶部２８３から読み出し、編集情報分析部２６０に分析させる。編集情報分析部２６０は、サンプル動画に対応する編集情報に含まれるシーン情報のショットＩＤで識別されるショットを編集前動画記憶部２８１から読み出して分析に用いる。
【００３１】
さらに、自動編集インタフェース部２５０は、この分析結果を用いて、指定された編集前動画に対する自動編集を自動編集実行部２７０に行なわせる。そして、自動編集の結果として編集情報を生成し、編集情報記憶部２８３に記憶させる。自動編集による編集動画は、手動編集による編集動画と同様にユーザの動画編集端末３０からストリーミングやダウンロードにより再生することができる。
【００３２】
編集情報分析部２６０は、ユーザが指定したサンプル動画の編集情報の分析を行なう。このため、編集情報分析部２６０は、シーン情報の分析を行なうシーン情報分析部２６１、エフェクト情報の分析を行なうエフェクト情報分析部２６２、修飾情報の分析を行なう修飾情報分析部２６３を備えている。
【００３３】
自動編集実行部２７０は、編集情報分析部２６０の分析結果に基づいて、ユーザが指定した編集前動画の編集を実行し、編集情報を生成する。このため、自動編集実行部２７０は、シーンの抽出を行なうシーン抽出部２７１、エフェクトの割当を行なうエフェクト割当部２７２、修飾コンテンツの割当を行なう修飾割当部２７３を備えている。
＜動画自動編集動作＞
【００３４】
次に、図５のフローチャートを参照して、動画編集サーバ２０における動画自動編集動作の概要について説明する。この一連の動作は、自動編集インタフェース部２５０が制御する。動画自動編集動作では、まず、Ｗｅｂサーバ部２２０を介して、ユーザから編集対象の編集前動画の指定を受け付ける（Ｓ１）。また、サンプル動画、すなわち編集の手本とする編集動画の指定を受け付ける（Ｓ２）。自動編集インタフェース部２５０は、サンプル動画の指定を受け付けると、編集情報記憶部２８３に格納されているサンプル動画の編集情報を特定する。
【００３５】
そして、編集情報分析部２６０が、サンプル動画の編集情報の分析を行なう（Ｓ３）。編集情報の分析が終了すると、自動編集実行部２７０のシーン抽出部２７１が、編集対象の動画からシーンを抽出し（Ｓ４）、エフェクト割当部２７２が、抽出されたシーンに対してエフェクトを割り当て（Ｓ５）、修飾割当部２７３が、抽出されたシーンに対して修飾コンテンツを割り当てる（Ｓ６）ことで、自動編集が行なわれる。
＜編集情報分析動作＞
【００３６】
サンプル動画の編集情報の分析（Ｓ３）の詳細な手順について、図６のフローチャートを参照して説明する。本図に示すようにサンプル動画の編集情報の分析では、シーン情報の分析（Ｓ３１〜Ｓ３６）と、エフェクト情報の分析（Ｓ３７）と修飾情報の分析（Ｓ３８）が行なわれる。
【００３７】
シーン情報の分析では、複数の項目に分けて分析を行なう。本実施形態では６つの項目に分けるが、これらのうち一部の項目を抽出して行なったり、他の項目を追加してシーン情報の分析を行なうようにしてもよい。
【００３８】
まず、シーン情報の分析として、シーン長の平均と分散とを算出する（Ｓ３１）。図７（ａ）は、シーン長の平均と分散の算出処理を説明する図である。本図の例では、サンプル動画が１４２個のシーンから構成されている。シーン長の平均は、これらのシーンの時間長の平均値であり、シーン長分散は、これらのシーンの時間長の分散値である。この分析により、サンプル動画のシーンの平均的な長さと、長さのバラツキを指標化することができる。
【００３９】
シーン長の平均と分散とを算出する（Ｓ３１）と、シーン長の変化傾向を分析する（Ｓ３２）。図７（ｂ）は、シーン長の変化傾向の分析処理を説明する図である。シーン長の変化傾向の分析では、サンプル動画を時間軸で複数のブロックに分割し、それぞれのブロックについてシーン長の平均値を算出する。これにより、開始部分や中盤部分、終了部分等の再生部分によってシーン長がどのように変化するかを指標化することができる。本図の例では、サンプル動画を等間隔で１０個のブロックに分割し、それぞれのブロックに含まれるシーンのシーン長平均を算出している。
【００４０】
次に、シーン間隔を分析する（Ｓ３３）。図８（ａ）は、シーン間隔の分析処理を説明する図である。シーン間隔は、サンプル動画のシーンの抽出元である編集前動画のショットを対象に分析し、各シーンにおいてショットのどの位置から抽出されているかの傾向を指標化するための分析である。このため、サンプル動画の各シーンについて、シーン抽出元のショットにおいてそのシーンより前から抽出されたシーンがない場合は、ショットの開始からシーンが開始するまでの時間Ａを算出し、他のシーンについては直前のシーンとの間隔Ｂを算出する。そして、シーン間隔平均値として、サンプル動画の編集前動画全体の平均値を、間隔Ａ、間隔Ｂ毎に算出する。なお、図８（ａ）はサンプル動画のすべてのシーンが１つの編集前動画（サンプル編集前動画）から抽出される例を示しているが、シーンが複数の編集前動画から抽出される場合も同様である。
【００４１】
次に、シーン明るさ分析を行なう（Ｓ３４）。シーン明るさ分析は、抽出されたシーンが、ショットの中で比較的明るい部分が抽出されたものか、比較的暗い部分が抽出されたものかを把握するために行なう分析である。図８（ｂ）は、シーン明るさ分析処理を説明する図である。また、図９は、シーン明るさ分析処理の手順を説明するフローチャートである。なお、図８（ｂ）はサンプル動画のすべてのシーンが１つの編集前動画（サンプル編集前動画）から抽出される例を示しているが、シーンが複数の編集前動画から抽出される場合も同様である。
【００４２】
シーン明るさ分析処理では、サンプル動画のシーン抽出元の各ショットについて抽出されたシーンとそのショット全体の明るさ比較を行なうため、まず、対象ショットを設定する（Ｓ３４１）。対象ショットは、シーン抽出元のショットを任意の順序で順次設定すればよい。なお、ショットから複数のシーンが抽出されている場合でも、そのショットは対象ショットとして１回だけ設定する。
【００４３】
そして、対象ショット全体の明るさを算出する（Ｓ３４２）。これは、対象ショットを構成する全フレームに含まれる画素の輝度値の平均を算出すればよい。次に、対象ショットに含まれるシーンの明るさを算出する（Ｓ３４３）。これは、対象ショットに含まれるシーンを構成する全フレームに含まれる画素の輝度値の平均を算出すればよい。対象ショットに複数のシーンが含まれる場合には、すべてのシーンを合わせた平均値とする。
【００４４】
そして、対象ショット全体の明るさからシーンの明るさを引いた値を算出して、対象ショット明るさ差とする（Ｓ３４４）。対象ショット明るさ差が正の大きな値であるほど、抽出されたシーンが、ショットの中で暗い部分が抽出されたものであることを示し、対象ショット明るさ差が負の大きな値であるほど、抽出されたシーンが、ショットの中で明るい部分が抽出されたものであることを示すことになる。
【００４５】
以上の対象ショット明るさ差算出処理をシーン抽出元のすべてのショットについて繰り返す（Ｓ３４５）。そして、シーン抽出元のすべてのショットのショット明るさ差の平均値を算出し、ショット明るさ差平均とする（Ｓ３４６）。
【００４６】
図６のフローチャートの説明に戻って、次に、シーン動き分析を行なう（Ｓ３５）。シーン動き分析は、抽出されたシーンが、ショットの中で比較的動きのある部分が抽出されたものか、比較的動きのない部分が抽出されたものかを把握するために行なう分析である。シーン動き分析の手順は、シーン明るさ分析処理の手順と同様に行なうことができ、明るさを示す輝度値の平均に替えて、ショットおよびシーンに含まれる映像のオプティカルフローを検出し、動きの大きさの平均を算出することで動きの大きさを指標化する。ただし、他の方法を用いて動きの大きさを指標化するようにしてもよい。そして、シーン抽出元のショット毎のショットの動きの大きさとシーンの動きの大きさとの差を算出してから、シーン抽出元のすべてのショットの平均値であるショット動きの大きさ差平均を算出する。
【００４７】
この結果、ショット動きの大きさ差平均が正の大きな値であるほど、抽出されたシーンが、ショットの中で動きの少ない部分が抽出されたものであることを示し、ショット動きの大きさ差平均が負の大きな値であるほど、抽出されたシーンが、ショットの中で動きの多い部分が抽出されたものであることを示すことになる。
【００４８】
次に、シーン音量分析を行なう（Ｓ３５）。シーン音量分析は、抽出されたシーンが、ショットの中で比較的音の大きな部分が抽出されたものか、比較的音の小さな部分が抽出されたものかを把握するために行なう分析である。シーン音量分析の手順は、シーン明るさ分析処理の手順と同様に行なうことができる。ただし、映像データに付随する音声データを用いるようにする。また、明るさの評価である輝度値の平均に替えて、ショットおよびシーンに含まれる音声の音量レベルを検出し、平均を算出することで音量を指標化し、シーン抽出元のショット毎のショット音量とシーン音量との差を算出してから、シーン抽出元のすべてのショットの平均値であるショット音量差平均を算出する。
【００４９】
この結果、ショット音量差平均が正の大きな値であるほど、抽出されたシーンが、ショットの中で音量の小さな部分が抽出されたものであることを示し、ショット音量差平均が負の大きな値であるほど、抽出されたシーンが、ショットの中で音量の大きな部分が抽出されたものであることを示すことになる。
【００５０】
以上の手順によりシーン情報の分析を行なうと、エフェクト情報の分析を行なう（図６：Ｓ３７）。図１０は、エフェクト情報の分析手順を説明するフローチャートである。また、図１１（ａ）は、エフェクト情報の分析処理を説明する図である。エフェクト情報の分析処理では、サンプル動画においてエフェクトがどのように適用されているかをフィルタとトランジションとに分けて分析する。
【００５１】
このため、サンプル動画を時間軸上で複数の等間隔ブロックに分割する（Ｓ３７１）。本例では、図１１（ａ）に示すように、１０個のブロックに分割する。そして、対象ブロックを設定する（Ｓ３７２）。対象ブロックは先頭のブロックから順次設定すればよい。
【００５２】
次いで、対象ブロックでのフィルタ適用確率を算出する（Ｓ３７３）。フィルタ適用確率は、対象ブロック内でフィルタが適用されているシーンの数を対象ブロックに含まれるシーンの数で割ることにより算出する。
【００５３】
次に、対象ブロックでのフィルタ種別毎の使用頻度を算出する（Ｓ３７４）。フィルタ種別毎の使用頻度は、対象ブロックで適用されているフィルタについてフィルタ種別毎の適用回数を求め、合計が１となるように正規化して算出する。
【００５４】
フィルタと同様に、対象ブロックでのトランジション適用確率を算出する（Ｓ３７５）。トランジション適用確率は、対象ブロック内でトランジションが適用されているシーンの数を対象ブロックに含まれるシーンの数で割ることにより算出する。
【００５５】
また、対象ブロックでのトランジション種別毎の使用頻度を算出する（Ｓ３７６）。トランジション種別毎の使用頻度は、対象ブロックで適用されているトランジションについてトランジション種別毎の適用回数を求め、合計が１となるように正規化して算出する。
【００５６】
以上の処理をすべてのブロックについて繰り返し（Ｓ３７７）、ブロック毎のフィルタ適用確率、フィルタ種別毎の使用頻度、トランジション適用確率、トランジション種別毎の使用頻度を算出する。
【００５７】
以上の手順によりエフェクト情報の分析を行なうと、修飾情報の分析を行なう（図６：Ｓ３７）。図１２は、修飾情報の分析手順を説明するフローチャートである。また、図１１（ｂ）は、修飾情報の分析処理を説明する図である。修飾情報の分析処理では、サンプル動画において修飾コンテンツがどのように付加されているかを静止画コンテンツと動画コンテンツとオーディオコンテンツとに分けて分析する。
【００５８】
このため、サンプル動画を時間軸上で複数の等間隔ブロックに分割する（Ｓ３８１）。本例では、図１１（ｂ）に示すように、１０個のブロックに分割する。そして、対象ブロックを設定する（Ｓ３８２）。対象ブロックは先頭のブロックから順次設定すればよい。
【００５９】
次いで、対象ブロックでの静止画コンテンツ付加確率を算出する（Ｓ３８３）。静止画コンテンツ付加確率は、対象ブロック内で静止画コンテンツが付加されているシーンの数を対象ブロックに含まれるシーンの数で割ることにより算出する。
【００６０】
次に、対象ブロックでの静止画コンテンツ毎の使用頻度を算出する（Ｓ３８４）。静止画コンテンツ毎の使用頻度は、対象ブロックで付加されている静止画コンテンツについて静止画コンテンツ毎の適用回数を求め、合計が１となるように正規化して算出する。
【００６１】
静止画コンテンツと同様に、対象ブロックでの動画コンテンツ付加確率を算出する（Ｓ３８５）。動画コンテンツ付加確率は、対象ブロック内で動画コンテンツが付加されているシーンの数を対象ブロックに含まれるシーンの数で割ることにより算出する。
【００６２】
また、対象ブロックでの動画コンテンツ毎の使用頻度を算出する（Ｓ３８６）。動画コンテンツ毎の使用頻度は、対象ブロックで付加されている動画コンテンツについて動画コンテンツ毎の適用回数を求め、合計が１となるように正規化して算出する。
【００６３】
以上の処理をすべてのブロックについて繰り返し（Ｓ３８７）、ブロック毎の静止画コンテンツ付加確率、静止画コンテンツ毎の使用頻度、動画コンテンツ付加確率、動画コンテンツ毎の使用頻度を算出する。
【００６４】
次に、サンプル動画のオーディオコンテンツ付加確率を算出する（Ｓ３８８）。すなわち、オーティオコンテンツについてはブロック単位ではなく、サンプル動画単位で確率を算出する。このため、サンプル動画が１つの場合、オーディオコンテンツ付加確率は、サンプル動画にオーディオコンテンツが付加されていれば１００％であり、付加されていなければ０％となる。サンプル動画が複数の場合は、オーディオコンテンツが付加されている動画の数をサンプル動画の数で割ることによりオーディオコンテンツ付加確率を算出する。
【００６５】
また、サンプル動画のオーディオコンテンツ毎の使用頻度を算出する（Ｓ３８９）。オーディオコンテンツ毎の使用頻度は、サンプル動画で付加されているオーディオコンテンツについてオーディオコンテンツ毎の適用回数を求め、合計が１となるように正規化して算出する。
＜自動編集実行動作：シーン抽出＞
【００６６】
次に、自動編集実行部２７０が行なう自動編集実行動作について説明する。まず、編集対象の編集前動画からシーンを抽出する処理（図５：Ｓ４）について、図１３のフローチャートを参照して説明する。本処理は、自動編集実行部２７０のシーン抽出部２７１が制御する。
【００６７】
まず、編集後の動画の長さを決定する（Ｓ４１）。編集後の動画の長さは、例えば、サンプル動画の長さと同一とする。サンプル動画が複数個指定されている場合は、平均の長さを編集後の動画の長さとする。あるいは、ユーザから編集後の動画の長さの指定を受け付けるようにしてもよい。
【００６８】
以下では、編集前の動画からシーンを１つずつ抽出し、全体の長さが編集動画の長さになるまで、シーンの抽出を繰り返す（Ｓ４１１）。シーンは、必ずしも先頭から順番に抽出されるのではなく、編集前の動画の未抽出の部分から条件に合うシーンが順不同で抽出される。そして、順不同で抽出されたシーンを前から順番に並べて編集動画を構成する。
【００６９】
まず、次に抽出するシーンの長さを決定する（Ｓ４２）。抽出するシーンの長さは、サンプル動画の編集情報を分析して得られたシーン長の平均と分散とに基づいて決定する。すなわち、得られたシーン長の平均と分散とに基づいた正規分布の確率分布において、乱数を発生させて次に抽出するシーンの長さを決定する。
【００７０】
次に、抽出するシーンの候補を設定する（Ｓ４３）。抽出するシーンの候補（抽出シーン候補）の設定では、図１４に示すように、編集対象の編集前動画の各ショットから、まだ抽出されていない部分を対象に、抽出するシーンの長さ分の動画を、例えば、１秒程度の等間隔でずらしていくことにより得られる動画を抽出シーン候補とする。本図の例ではショットＫから１１個の抽出シーン候補が設定されている。
【００７１】
抽出シーン候補を設定すると、各抽出シーン候補に対して、分析を行なった複数の項目に関する評価を行ない、最も評価の高い抽出シーン候補を抽出シーンとして決定する。
【００７２】
本実施形態では、まず、シーン長変化傾向の評価を行なう（Ｓ４４）。図１５は、シーン長変化傾向の評価手順について説明するフローチャートである。シーン長変化傾向の評価では、始めに、評価対象とする抽出シーン候補を設定する（Ｓ４４１）。評価対象とする抽出シーン候補は、前方向から順次設定すればよい。
【００７３】
次いで、対象抽出シーン候補が属するブロックを判別する（Ｓ４４２）。ここで、ブロックは、編集前動画を時間軸において等間隔で所定個数に分割したものであり、所定個数は、編集情報分析時におけるブロック数と同じ数とする。
【００７４】
対象抽出シーン候補が属するブロックを判別すると、サンプル動画の同じブロックにおけるシーン長平均（図７（ｂ）参照）を取得し、その値を「ブロック内シーン長平均」とする（Ｓ４４３）。そして、サンプル動画全体のシーン平均長と「ブロック内シーン長平均」との差を算出する（Ｓ４４４）。この差は、サンプル動画の対応するブロックにおけるシーンの長さが、サンプル動画全体のシーンの長さと比べて特徴的であるかどうかを示すことになる。すなわち、サンプル動画の対応するブロックに含まれるシーンが比較的短いものであったり、比較的長いものであれば、この差が大きくなる。
【００７５】
この結果、差が所定の閾値以上でなければ（Ｓ４４５：Ｎｏ）、サンプル動画の対応するブロックにおけるシーンの長さは、サンプル動画全体のシーンの長さと比べて特徴的でないため、積極的な評価は行なわず、対象抽出シーン候補の優先度評価値を０とする（Ｓ４４６）。
【００７６】
一方、差が所定の閾値以上であれば（Ｓ４４５：Ｙｅｓ）、サンプル動画の対応するブロックにおけるシーンの長さが、動画全体のシーンの長さと比べて特徴的であることを示している。そこで、対象抽出シーン候補の長さと「ブロック内シーン長平均」との差を算出する（Ｓ４４７）。
【００７７】
この結果、差が所定の閾値以下であれば（Ｓ４４８：Ｙｅｓ）、対象抽出シーン候補の長さもサンプル動画の同じブロックと同様の特徴を有しているとして、優先度評価値を＋１とする（Ｓ４４９）。一方、差が所定の閾値以下でなければ（Ｓ４４８：Ｎｏ）、対象抽出シーン候補の長さは、サンプル動画の同じブロックの特徴を有していないとして、優先度評価値を−１とする（Ｓ４４１０）。
【００７８】
以上の処理をすべての対象抽出シーン候補について繰り返し（Ｓ４４１１）、各対象抽出シーン候補についてシーン長変化傾向の優先度評価値を算出する。
【００７９】
次に、シーン間隔の評価を行なう（図１３：Ｓ４５）。シーン間隔の評価では、各抽出シーン候補について、抽出シーン候補が含まれるショットにおいて、その抽出シーン候補より前に抽出済シーンがない場合は、その抽出シーン候補とショット先頭との間隔と、図８（ａ）における間隔Ａの平均値との差を求め、その抽出シーン候補より前に抽出済シーンがある場合は、その抽出シーン候補と抽出済シーンとの間隔と、図８（ａ）における間隔Ｂの平均値との差を求める。
【００８０】
そして、得られた差の大きさが所定の閾値以下である場合は、サンプル動画と同じ傾向を有しているとして、その抽出シーン候補のシーン間隔の優先度評価値を＋１とする。得られた差の大きさが所定の閾値以下でない場合は、サンプル動画と同じ傾向を有していないとして、その抽出シーン候補のシーン間隔の優先度評価値を−１とする。
【００８１】
次に、シーン明るさ評価を行なう（図１３：Ｓ４６）。図１６は、シーン明るさ評価の手順について説明するフローチャートである。シーン明るさ評価では、まず、サンプル動画のシーンは、編集前サンプル動画全体と比較して暗い場面を抽出している傾向があるかどうかを判定する（Ｓ４６１）。この判定は、処理（Ｓ３４６）で算出したショット明るさ差平均が所定の正の閾値以上であるかどうか判断すればよい。
【００８２】
サンプル動画のシーンは、全体よりも暗い場面を抽出している傾向がない場合は（Ｓ４６１：Ｎｏ）、サンプル動画のシーンは、全体よりも明るい場面を抽出している傾向があるかどうかを判定する（Ｓ４６２）。この判定は、処理（Ｓ３４６）で算出したショット明るさ差平均が所定の負の閾値以下であるかどうか判断すればよい。
【００８３】
全体よりも明るい場面を抽出している傾向もない場合は（Ｓ４６２：Ｎｏ）、サンプル動画において、抽出されたシーンの明るさに特徴は認められないため、シーン明るさの積極的な評価は行なわず、すべての抽出シーン候補について、シーン明るさの優先度評価値を０とする。
【００８４】
サンプル動画のシーンが、全体よりも暗い場面を抽出している傾向がある場合（Ｓ４６１：Ｙｅｓ）は、対象抽出シーン候補を設定し（Ｓ４６４）、対象抽出シーン候補が同じ傾向を有しているかどうかを判定する（Ｓ４６５）。この判定は、対象抽出シーン候補が含まれるショットの全体の明るさ差平均と、対象抽出シーン候補の明るさとの差を算出し、その差が所定の正の閾値以上であるかどうか判断すればよい。
【００８５】
対象抽出シーン候補が同じ傾向を有している場合（Ｓ４６５：Ｙｅｓ）、シーン明るさの優先度評価値を＋１とし（Ｓ４６６）、対象抽出シーン候補が同じ傾向を有していない場合（Ｓ４６５：Ｎｏ）、シーン明るさの優先度評価値を−１とする（Ｓ４６７）。以上の処理をすべての抽出シーン候補に対して行なう（Ｓ４６８）。
【００８６】
サンプル動画のシーンが、全体よりも明るい場面を抽出している傾向がある場合（Ｓ４６２：Ｙｅｓ）は、対象抽出シーン候補を設定し（Ｓ４６９）、対象抽出シーン候補が同じ傾向を有しているかどうかを判定する（Ｓ４６１０）。この判定は、対象抽出シーン候補が含まれるショットの全体の明るさ差平均と、対象抽出シーン候補の明るさとの差を算出し、その差が所定の負の閾値以下であるかどうか判断すればよい。
【００８７】
対象抽出シーン候補が同じ傾向を有している場合（Ｓ４６１０：Ｙｅｓ）、シーン明るさの優先度評価値を＋１とし（Ｓ４６１１）、対象抽出シーン候補が同じ傾向を有していない場合（Ｓ４６１０：Ｎｏ）、シーン明るさの優先度評価値を−１とする（Ｓ４６１２）。以上の処理をすべての抽出シーン候補に対して行なう（Ｓ４６１３）。
【００８８】
次に、シーン動き評価を行なう（図１３：Ｓ４７）。シーン動き評価の手順は、シーン明るさ評価と同様に行なうことができる。ただし、ショット明るさ差平均をショット動きの大きさ差平均に変更して行なう。
【００８９】
次に、シーン音量評価を行なう（Ｓ４８）。シーン音量評価の手順は、シーン明るさ評価と同様に行なうことができる。ただし、ショット明るさ差平均をショット音量差平均に変更して行なう。
【００９０】
以上のシーン長変化傾向、シーン間隔、シーン明るさ、シーン動き、シーン音量の各項目の評価を終えると、得られた各項目の優先度評価値を抽出シーン候補毎に足し合わせることで、各抽出シーン候補の優先度を算出する（Ｓ４９）。このとき、項目毎に重み付けを行なうようにしてもよい。
【００９１】
そして、最も優先度の高い抽出シーン候補を、抽出シーンとして決定する（Ｓ４１０）。以上の処理（Ｓ４２〜Ｓ４１０）を、抽出済シーンの長さの合計が処理（Ｓ４１）で決定した動画長さに達するまで繰り返し（Ｓ４１１）、動画長さに達すると、抽出されたシーンを前から順番に並べたものを編集動画の基本動画として、動画シーン抽出処理（Ｓ４）を終了する。
＜エフェクト割当＞
【００９２】
次に、抽出されたシーンで構成される編集動画の基本動画に、自動編集実行部２７０のエフェクト割当部２７２が、エフェクトの割り当てを行なう（図５：Ｓ５）。図１７は、エフェクト割当手順を説明するフローチャートである。
【００９３】
エフェクトは抽出されたシーン単位で行なうため、対象シーンを設定する（Ｓ５１）。対象シーンは、先頭のシーンから順次設定すればよい。そして、以下の処理を、抽出されたすべてのシーンに対して繰り返す（Ｓ５６）。
【００９４】
エフェクトの割当は、フィルタとトランジションとで分けて行なう。このため、対象シーンにフィルタを適用するかどうかを判定する（Ｓ５２）。この判定は、まず、対象シーンが含まれるブロックを判別する。ここで、ブロックは、編集前動画を時間軸において等間隔で所定個数に分割したものであり、所定個数は、編集情報分析時におけるブロック数と同じ数とする。そして、サンプル動画の同じブロックについてエフェクト情報分析（Ｓ３７）で得られたフィルタ適用確率（図１０：Ｓ３７３）を用いて、乱数によりフィルタを適用するかどうかを決定する。
【００９５】
フィルタを適用する場合（Ｓ５２：Ｙｅｓ）は、さらに、サンプル動画の同じブロックについてエフェクト情報分析（Ｓ３７）で得られたフィルタ種別毎の使用頻度（図１０：Ｓ３７４）を用いて、乱数により適用するフィルタ種別を選択する（Ｓ５３）。このとき、エフェクト開始位置はシーン先頭位置とし、エフェクト長はシーン長とする。
【００９６】
次に、対象シーンにトランジションを適用するかどうかを判定する（Ｓ５４）。この判定は、まず、対象シーンが含まれるブロックを判別する。そして、サンプル動画の同じブロックについてエフェクト情報分析（Ｓ３７）で得られたトランジション適用確率（図１０：Ｓ３７５）を用いて、乱数によりトランジションを適用するかどうかを決定する。
【００９７】
トランジションを適用する場合（Ｓ５４：Ｙｅｓ）は、さらに、サンプル動画の同じブロックについてエフェクト情報分析（Ｓ３７）で得られたトランジション種別毎の使用頻度（図１０：Ｓ３７６）を用いて、乱数により適用するトランジション種別を選択する（Ｓ５５）。このとき、エフェクト開始位置はトランジションが対象シーンとその次のシーンとの間に適用されるように適切に定め、エフェクト長はトランジションの長さとする。
＜修飾コンテンツ割当＞
【００９８】
次に、抽出されたシーンで構成される編集動画の基本動画に、自動編集実行部２７０の修飾割当部２７３が、修飾コンテンツの割り当てを行なう（図５：Ｓ６）。図１８は、修飾コンテンツ割当手順を説明するフローチャートである。
【００９９】
修飾コンテンツのうち、静止画コンテンツと動画コンテンツの割当は抽出されたシーン単位で行なうため、始めに、対象シーンを設定する（Ｓ６１）。対象シーンは、先頭のシーンから順次設定すればよい。
【０１００】
そして、対象シーンに静止画コンテンツを付加するかどうかを判定する（Ｓ６２）。この判定は、まず、対象シーンが含まれるブロックを判別する。ここで、ブロックは、編集前動画を時間軸において等間隔で所定個数に分割したものであり、所定個数は、編集情報分析時におけるブロック数と同じ数とする。そして、サンプル動画の同じブロックについて修飾情報分析（Ｓ３８）で得られた静止画コンテンツ付加確率（図１２：Ｓ３８３）を用いて、乱数により静止画コンテンツを付加するかどうかを決定する。
【０１０１】
静止画コンテンツを付加する場合（Ｓ６２：Ｙｅｓ）は、さらに、サンプル動画の同じブロックについて修飾情報分析（Ｓ３８）で得られた静止画コンテンツ毎の使用頻度（図１２：Ｓ３８４）を用いて、乱数により付加する静止画コンテンツを選択する（Ｓ６３）。このとき、修飾開始位置はシーン先頭位置とし、修飾長はシーン長とする。
【０１０２】
次に、対象シーンに動画コンテンツを付加するかどうかを判定する（Ｓ６４）。この判定は、まず、対象シーンが含まれるブロックを判別する。そして、サンプル動画の同じブロックについて修飾情報分析（Ｓ３８）で得られた動画コンテンツ付加確率（図１２：Ｓ３８５）を用いて、乱数により動画コンテンツを付加するかどうかを決定する。
【０１０３】
動画コンテンツを付加する場合（Ｓ６４：Ｙｅｓ）は、さらに、サンプル動画の同じブロックについて修飾情報分析（Ｓ３８）で得られた動画コンテンツ毎の使用頻度（図１２：Ｓ３８６）を用いて、乱数により付加する動画コンテンツを選択する（Ｓ６５）。
【０１０４】
選択された動画コンテンツ自体の長さがシーンの長さ以上である場合は、修飾開始位置はシーンの先頭位置とし、修飾長はシーン長とする。選択された動画コンテンツ自体の長さがシーンの長さより短い場合は、開始位置はシーン先頭位置とし、修飾長はコンテンツ自体の長さとする。ただし、動画コンテンツがシーンの中心となるように開始位置を定めるようにしたり、他の位置を設定するようにしてもよい。
【０１０５】
以上の処理を、抽出されたすべてのシーンに対して繰り返す（Ｓ６６）。次に、編集動画にオーディオコンテンツを付加するかどうかを判定する（Ｓ６７）。この判定は、修飾情報分析（Ｓ３８）で得られたオーディオコンテンツ付加確率（図１２：Ｓ３８８）を用いて、乱数によりオーディオコンテンツを付加するかどうかを決定する。
【０１０６】
オーディオコンテンツを付加する場合（Ｓ６７：Ｙｅｓ）は、さらに、修飾情報分析（Ｓ３８）で得られたオーディオコンテンツ毎の使用頻度（図１２：Ｓ３８９）を用いて、乱数により付加するオーディオコンテンツを選択する（Ｓ６８）。このとき、修飾開始位置は編集動画の先頭位置とし、修飾長は編集動画の長さとする。ただし、オーディオコンテンツが編集動画より短い場合は、同じオーディオコンテンツを繰り返したり、他のオーディオコンテンツをさらに選択するようにしてもよい。
【０１０７】
以上説明したように、本実施形態の、動画編集サーバ２０は、サンプル動画の編集情報を分析して、編集対象の動画の自動編集を行なうため、編集前の動画のどの部分を抽出するかを考慮して、自動編集を行なうことができる。
【０１０８】
以上の実施形態に示したように、編集対象の動画の指定と、複数のシーンから構成される編集済のサンプル動画の指定とを受け付けると、前記サンプル動画の編集前動画と前記編集前動画に施す編集内容を示した編集情報とを特定するインタフェース部と、前記編集情報に基づいて、前記サンプル動画を構成する各シーンの長さに関する指標と、各シーンの前記サンプル動画の編集前動画に対する特徴量である第１特徴量とを算出するシーン情報分析部と、前記長さに関する指標に基づいて、前記編集対象の動画から抽出するシーンの候補を設定し、各シーン候補について、シーン候補の前記編集対象の動画に対する特徴量である第２特徴量を算出し、前記第１特徴量と前記第２特徴量とを評価することにより抽出するシーンを順次決定するシーン抽出部とを備えた動画編集装置とすることができる。
【符号の説明】
【０１０９】
１０…動画編集システム
２０…動画編集サーバ
３０…動画編集端末
４０…コンピュータネットワーク
２１０…通信部
２２０…Ｗｅｂサーバ部
２３０…再生インタフェース部
２４０…手動編集インタフェース部
２５０…自動編集インタフェース部
２６０…編集情報分析部
２６１…シーン情報分析部
２６２…エフェクト情報分析部
２６３…修飾情報分析部
２７０…自動編集実行部
２７１…シーン抽出部
２７２…エフェクト割当部
２７３…修飾割当部
２８０…記憶部
２８１…編集前動画記憶部
２８２…修飾コンテンツ記憶部
２８３…編集情報記憶部
【特許請求の範囲】
【請求項１】
１つまたは複数のシーンを有し、１つまた複数のショットを備えた動画の編集を行なう動画像編集装置において、
編集対象の動画の指定と、抽出された複数のシーンを備えた編集済のサンプル動画の指定とを受け付けると、指定された前記編集済のサンプル画像に対応した編集情報であり、ショットから抽出したシーンを示すシーン情報を含む編集情報とを特定するインタフェース部と、
特定した前記編集情報に基づいて、前記サンプル動画を構成する各シーンの長さに関する指標と、各シーンの前記ショットに対する特徴量とを算出するシーン情報分析部と、
前記長さに関する指標と前記ショットに対する特徴量とに基づいて、前記編集対象の動画の有するショットから抽出するシーンを決定するシーン抽出部と、
を備えたことを特徴とする動画編集装置。
【請求項２】
前記長さに関する指標は、前記サンプル動画を構成する各シーンの長さの平均と分散とを含んでいることを特徴とする請求項１に記載の動画編集装置。
【請求項３】
前記特徴量は、シーンの明るさ評価値と前記サンプル動画の編集前動画の明るさ評価値との差を含んでいることを特徴とする請求項１または２に記載の動画編集装置。
【請求項４】
前記編集情報は、前記サンプル動画に適用するエフェクトに関する情報を含んでおり、
前記編集情報に基づいて、抽出されたシーンに適用するエフェクトを割り当てるエフェクト割当部をさらに備えたことを特徴とする請求項１〜３のいずれか１項に記載の動画編集装置。
【請求項５】
１つまたは複数のシーンを有し、１つまた複数のショットを備えた動画の編集を行なう動画像編集方法において、
編集対象の動画の指定と、抽出された複数のシーンを備えた編集済のサンプル動画の指定とを受け付けると、指定された前記編集済のサンプル画像に対応した編集情報であり、ショットから抽出したシーンを示すシーン情報を含む編集情報とを特定するステップと、
特定した前記編集情報に基づいて、前記サンプル動画を構成する各シーンの長さに関する指標と、各シーンの前記ショットに対する特徴量とを算出するステップと、
前記長さに関する指標と前記ショットに対する特徴量とに基づいて、前記編集対象の動画の有するショットから抽出するシーンを決定するステップと、
を有することを特徴とする動画編集方法。
【請求項６】
１つまたは複数のシーンを有し、１つまた複数のショットを備えた動画の編集を行なう動画像編集装置として情報処理装置を機能させるコンピュータプログラムにおいて、
編集対象の動画の指定と、抽出された複数のシーンを備えた編集済のサンプル動画の指定とを受け付けると、指定された前記編集済のサンプル画像に対応した編集情報であり、ショットから抽出したシーンを示すシーン情報を含む編集情報とを特定するインタフェース部、
特定した前記編集情報に基づいて、前記サンプル動画を構成する各シーンの長さに関する指標と、各シーンの前記ショットに対する特徴量とを算出するシーン情報分析部、
前記長さに関する指標と前記ショットに対する特徴量とに基づいて、前記編集対象の動画の有するショットから抽出するシーンを決定するシーン抽出部として、前記情報処理装置を機能させることを特徴とするコンピュータプログラム。
【請求項１】
１つまたは複数のシーンを有し、１つまた複数のショットを備えた動画の編集を行なう動画像編集装置において、
編集対象の動画の指定と、抽出された複数のシーンを備えた編集済のサンプル動画の指定とを受け付けると、指定された前記編集済のサンプル画像に対応した編集情報であり、ショットから抽出したシーンを示すシーン情報を含む編集情報とを特定するインタフェース部と、
特定した前記編集情報に基づいて、前記サンプル動画を構成する各シーンの長さに関する指標と、各シーンの前記ショットに対する特徴量とを算出するシーン情報分析部と、
前記長さに関する指標と前記ショットに対する特徴量とに基づいて、前記編集対象の動画の有するショットから抽出するシーンを決定するシーン抽出部と、
を備えたことを特徴とする動画編集装置。
【請求項２】
前記長さに関する指標は、前記サンプル動画を構成する各シーンの長さの平均と分散とを含んでいることを特徴とする請求項１に記載の動画編集装置。
【請求項３】
前記特徴量は、シーンの明るさ評価値と前記サンプル動画の編集前動画の明るさ評価値との差を含んでいることを特徴とする請求項１または２に記載の動画編集装置。
【請求項４】
前記編集情報は、前記サンプル動画に適用するエフェクトに関する情報を含んでおり、
前記編集情報に基づいて、抽出されたシーンに適用するエフェクトを割り当てるエフェクト割当部をさらに備えたことを特徴とする請求項１〜３のいずれか１項に記載の動画編集装置。
【請求項５】
１つまたは複数のシーンを有し、１つまた複数のショットを備えた動画の編集を行なう動画像編集方法において、
編集対象の動画の指定と、抽出された複数のシーンを備えた編集済のサンプル動画の指定とを受け付けると、指定された前記編集済のサンプル画像に対応した編集情報であり、ショットから抽出したシーンを示すシーン情報を含む編集情報とを特定するステップと、
特定した前記編集情報に基づいて、前記サンプル動画を構成する各シーンの長さに関する指標と、各シーンの前記ショットに対する特徴量とを算出するステップと、
前記長さに関する指標と前記ショットに対する特徴量とに基づいて、前記編集対象の動画の有するショットから抽出するシーンを決定するステップと、
を有することを特徴とする動画編集方法。
【請求項６】
１つまたは複数のシーンを有し、１つまた複数のショットを備えた動画の編集を行なう動画像編集装置として情報処理装置を機能させるコンピュータプログラムにおいて、
編集対象の動画の指定と、抽出された複数のシーンを備えた編集済のサンプル動画の指定とを受け付けると、指定された前記編集済のサンプル画像に対応した編集情報であり、ショットから抽出したシーンを示すシーン情報を含む編集情報とを特定するインタフェース部、
特定した前記編集情報に基づいて、前記サンプル動画を構成する各シーンの長さに関する指標と、各シーンの前記ショットに対する特徴量とを算出するシーン情報分析部、
前記長さに関する指標と前記ショットに対する特徴量とに基づいて、前記編集対象の動画の有するショットから抽出するシーンを決定するシーン抽出部として、前記情報処理装置を機能させることを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１３−８０９８９（Ｐ２０１３−８０９８９Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１１−２１８４１３（Ｐ２０１１−２１８４１３）
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]