動画像処理装置、動画像処理方法およびプログラム
【課題】動画像のカット構成を容易に把握可能にする、動画像処理装置、動画像処理方法およびプログラムを提供する。
【解決手段】複数のカットを含む動画像ＭＰからカット間の遷移を検出し、カット間の類似度に基づき複数のカットをカットグループに区分し、動画像中でのカット間の時間的距離に基づきカット間距離Ｄｃを算出し、複数のカットについて算出されたカット間距離をカットグループ毎に合算してカットグループ間距離Ｄｇを算出し、カットグループに属するカットの代表画像Ｉと、カットグループ間距離を示す情報を含むカット構成画像ＣＩを生成する。
【解決手段】複数のカットを含む動画像ＭＰからカット間の遷移を検出し、カット間の類似度に基づき複数のカットをカットグループに区分し、動画像中でのカット間の時間的距離に基づきカット間距離Ｄｃを算出し、複数のカットについて算出されたカット間距離をカットグループ毎に合算してカットグループ間距離Ｄｇを算出し、カットグループに属するカットの代表画像Ｉと、カットグループ間距離を示す情報を含むカット構成画像ＣＩを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像処理装置、動画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
映像（または動画像）は、一般に多数のカットから構成されている。従来、映像のカット構成を把握するために、映像のサムネイルを一定のフレーム間隔で時系列順に並べて表示することが知られている。この動画像処理方法は、何が映像の対象として捉えられているか、という情報を提供することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ところで、映像表現では、制作者の意図に応じて、例えば同じような内容のカットを時間的に隔てて構成する等、カット構成に工夫を凝らす場合がある。しかし、従来の動画像処理方法では、何が映像の対象として捉えられているか、という情報が提供されるが、映像の対象がどのように捉えられているか、換言すれば、映像の時間的コンテクストに関して映像がどのように表現されているか、という情報が十分に提供されない。
【０００４】
一方、映像を鑑賞する者または映像を他の映像等の素材として利用する者には、映像の時間的コンテクストに関して映像がどのように表現されているか、という情報が重要となる場合がある。しかし、従来の動画像処理方法では、このような情報を十分に提供することができず、鑑賞者や利用者は、映像のカット構成を直感的に把握することができなかった。
【０００５】
そこで、本発明は、動画像のカット構成を容易に把握可能にする、動画像処理装置、動画像処理方法およびプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００６】
本発明のある観点によれば、複数のカットを含む動画像からカット間の遷移を検出するカット遷移検出部と、カット間の類似度に基づき複数のカットをカットグループに区分するカット区分部と、動画像中でのカット間の時間的距離に基づきカット間距離を算出するカット間距離算出部と、複数のカットについて算出されたカット間距離をカットグループ毎に合算してカットグループ間距離を算出するカットグループ間距離算出部と、カットグループに属するカットの代表画像と、カットグループ間距離を示す情報を含むカット構成画像を生成するカット構成画像生成部とを備える動画像処理装置が提供される。
【０００７】
上記カット間距離算出部は、カットｉとカットｊの動画像中でのカット遷移の順序を示す遷移情報をｎｉ、ｎｊ（ｎｉ＜ｎｊ）とする場合に、遷移情報ｎｉ、ｎｊの差分値（ｎｊ−ｎｉ）から求まる（ｎｊ−ｎｉ）ａ（ａ≠０）を、カットｉとカットｊのカット間距離として算出してもよい。
【０００８】
上記カット間距離算出部は、カットｉとカットｊの動画像中でのカット遷移のタイミングを示す遷移情報をｎｉ、ｎｊ（ｎｉ＜ｎｊ）とする場合に、遷移情報ｎｉ、ｎｊの差分値（ｎｊ−ｎｉ）から求まる（ｎｊ−ｎｉ）ｂ（ｂ≠０）を、カットｉとカットｊのカット間距離として算出してもよい。
【０００９】
上記遷移情報ｎｉ、ｎｊは、各々にカットｉの終了フレーム番号およびカットｊの開始フレーム番号であり、または各々にカットｉの終了タイムフレームおよびカットｊの開始タイムフレームでもよい。
【００１０】
上記カット間距離算出部は、カットｉとカットｊの動画像中でのカット遷移の順序を示す遷移情報をｎ１ｉ、ｎ１ｊ（ｎ１ｉ＜ｎ１ｊ）とする場合に、遷移情報ｎ１ｉ、ｎ１ｊの差分値（ｎ１ｊ−ｎ１ｉ）から求まる（ｎ１ｊ−ｎ１ｉ）ａ（ａ≠０）を、カットｉとカットｊの第１のカット間距離として算出し、カットｉとカットｊの動画像中でのカット遷移のタイミングを示す遷移情報をｎ２ｉ、ｎ２ｊ（ｎ２ｉ＜ｎ２ｊ）とする場合に、遷移情報ｎ２ｉ、ｎ２ｊの差分値（ｎ２ｊ−ｎ２ｉ）から求まる（ｎ２ｊ−ｎ２ｉ）ｂ（ｂ≠０）を、カットｉとカットｊの第２のカット間距離として算出し、第１のカット間距離および第２のカット間距離を項とする多項式に基づき、カットｉとカットｊのカット間距離を算出してもよい。
【００１１】
上記遷移情報ｎ２ｉ、ｎ２ｊは、各々にカットｉの終了フレーム番号およびカットｊの開始フレーム番号であり、または各々にカットｉの終了タイムフレームおよびカットｊの開始タイムフレームでもよい。
【００１２】
上記代表画像生成部は、相異なるカットグループに属する１以上のカットの代表画像を、カットグループ間距離に従って隔てて配置したカット構成画像を生成してもよい。
【００１３】
上記代表画像生成部は、カット遷移の順序を示す情報を含むカット構成画像を生成してもよい。
【００１４】
上記代表画像生成部は、同一カットグループに２以上のカットが属する場合において、カットグループの基準カットの代表画像との変化部分が強調されるように、他のカットの代表画像を修正してもよい。
【００１５】
上記カット間距離算出部は、カット間の時間的距離を示す遷移情報の逆数からカット間距離を算出し、複数のカットについて算出されたカット間距離をカットグループ毎に合算した値の逆数からカットグループ間距離を算出してもよい。
【００１６】
また、本発明の別の観点によれば、複数のカットを含む動画像からカット間の遷移を検出し、カット間の類似度に基づき複数のカットをカットグループに区分し、動画像中でのカット間の時間的距離に基づきカット間距離を算出し、複数のカットについて算出されたカット間距離をカットグループ毎に合算してカットグループ間距離を算出し、カットグループに属するカットの代表画像と、カットグループ間距離を示す情報を含むカット構成画像を生成することを含む動画像処理方法が提供される。
【００１７】
また、本発明の別の観点によれば、上記動画像処理方法をコンピュータに実行させるためのプログラムが提供される。ここで、プログラムは、コンピュータ読取り可能な記録媒体を用いて提供されてもよく、通信手段等を介して提供されてもよい。
【発明の効果】
【００１８】
以上説明したように本発明によれば、動画像のカット構成を容易に把握可能にする、動画像処理装置、動画像処理方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る動画像処理方法の概要を示す図である。
【図２】動画像処理装置の構成を示すブロック図である。
【図３】動画像処理装置の動作手順を示すフロー図である。
【図４】カット構成の一例を示す図である。
【図５】カット区分処理の手順を示すフロー図である。
【図６】図４に示したカット構成におけるカット区分処理の処理結果を示す図である。
【図７Ａ】カット間距離の算出手順の一例を示す図である。
【図７Ｂ】カット間距離の算出手順の他の例を示す図である。
【図７Ｃ】カット間距離の算出手順のさらに他の例を示す図である。
【図８】図４に示したカット構成におけるカット間距離の算出結果を示す図である。
【図９】図８に示したカット構成におけるカットグループ間距離の算出結果を示す図である。
【図１０】図４に示したカット構成におけるカット構成画像の一例を示す図である。
【図１１】図１０に示したカット構成画像の変形例を示す図である。
【図１２】図１０に示したカット構成画像の他の変形例を示す図である。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２１】
［１．動画像処理方法の概要］
まず、図１を参照して、本発明の実施形態に係る動画像処理方法の概要について説明する。図１には、動画像処理方法の概要が示されている。
【００２２】
本発明の実施形態に係る動画像処理方法では、まず、複数のカットを含む動画像ＭＰからカット間の遷移が検出される。つぎに、カット間の類似度に基づき複数のカットがカットグループに区分される。つぎに、動画像ＭＰ中でのカット間の時間的距離に基づきカット間距離Ｄｃ（カット間距離の総称）が算出され、複数のカットについて算出されたカット間距離Ｄｃをカットグループ毎に合算してカットグループ間距離Ｄｇ（カットグループ間距離の総称）が算出される。
【００２３】
ここで、カット間距離Ｄｃは、カット間の関係性の程度を示し、カットグループ間距離Ｄｇは、カットグループ間の関係性の程度を示している。そして、カットグループに属するカットの代表画像Ｉ（代表画像の総称）と、カットグループ間距離Ｄｇを示す情報を含むカット構成画像ＣＩが生成される。カット構成画像ＣＩは、動画像ＭＰのカット構成を容易に把握するための情報として、後述する動画像処理装置１や外部装置を通じて出力される。
【００２４】
図１に示す例では、動画像ＭＰは、カット１、カット２、カット１に類似するカット３、カット２に類似するカット４、カット１−４のいずれにも類似しないカット５からなる。カット１−５は、カット間の類似度に基づき、カット１、３が属するカットグループ１、カット２、４が属するカットグループ２、カット５が属するカットグループ３に区分される。
【００２５】
カット１−５の間では、カット間の時間的距離に基づきカット間距離Ｄｃ１、２、Ｄｃ１、３、…、Ｄｃ４、５が算出され、カット１−５について算出されたカット間距離Ｄｃ１、２、Ｄｃ１、３、…、Ｄｃ４、５をカットグループ１−３毎に合算してカットグループ間距離Ｄｇ１、２、Ｄｇ１、３、Ｄｇ２、３が算出される。ここで、カットグループ間距離Ｄｇは、カットグループ間の関係性の程度を示している。このため、カットグループ間距離Ｄｇ１、２、Ｄｇ１、３、Ｄｇ２、３を用いて、カットグループ１−２、１−３、２−３間の関係性の程度を示すことができる。
【００２６】
ここで、図１に示す例では、動画像ＭＰは、カット１、２とカット３、４からなるカットの繰返しと、カット４に続くカット５により構成されている。このため、カットの繰返しから判断して、カットグループ１には、カットグループ３よりもカットグループ２との間で強い関係性が認められる。また、カット遷移の順序から判断して、カットグループ３には、カットグループ１よりもカットグループ２との間で強い関係性が認められる。
【００２７】
よって、例えば、カットグループ間距離Ｄｇをカットグループ間の関係性の強さに反比例するように算出すれば、カットグループ１−２間のカットグループ間距離Ｄｇ１、２は、カットグループ１−３間のカットグループ間距離Ｄｇ１、３よりも小さく算出される。また、カットグループ２−３間のカットグループ間距離Ｄｇ２、３は、カットグループ１−３間のカットグループ間距離Ｄｇ１、３よりも小さく算出される。
【００２８】
そして、カット構成画像ＣＩでは、カットグループ１、２、３に属するカット１−５の代表画像Ｉ１−Ｉ５がカットグループ間のカットグループ間距離Ｄｇに従って隔てて配置される。よって、カットグループ間の関係性の程度が容易に把握可能となる。なお、図１では、カットグループ間距離Ｄｇが数値情報として示されているが、数値情報は示されなくてもよい。
【００２９】
これにより、カット構成画像ＣＩを用いて、映像の時間的コンテクストに関して映像がどのように表現されているか、という情報が提供される。よって、映像の鑑賞者または利用者は、映像を鑑賞し、または他の映像等の素材として利用する上で、映像のカット構成を容易に把握することができる。
【００３０】
［２．動画像処理装置１の構成］
つぎに、図２を参照して、本発明の実施形態に係る動画像処理装置１について説明する。図２には、動画像処理装置１の主要な機能構成が示されている。図２に示すように、動画像処理装置１は、データ取得部１１、カット遷移検出部１３、カット区分部１５、カット間距離算出部１７、カットグループ間距離算出部１９、カット構成画像生成部２１、カット構成画像出力部２３、カット構成情報出力部２５、データ記憶部２７を含んで構成される。
【００３１】
データ取得部１１は、複数のカットを含む動画像データＭＰを取得し、カット遷移検出部１３、カット区分部１５およびカット構成画像生成部２１に供給する。動画像データＭＰは、一般にフレーム形式のデータであり、画像データのみでもよく、音声データとの組合せでもよい。動画像データＭＰは、データ記憶部２７から取得されてもよく、外部装置（不図示）から取得されてもよい。
【００３２】
カット遷移検出部１３は、動画像データＭＰ中のカット遷移を検出し、検出結果をカット区分部１５に供給する。カット遷移とは、動画像ＭＰ中におけるカットの移り変わりを意味する。カット遷移は、相前後するフレーム中の画像および／または音声の特徴量を求め、特徴量の類似度に基づき検出される。画像および／または音声の特徴量としては、色ヒストグラムや顔画像検出、および／または音声の量や音調・リズム等を用いることができる。なお、カット遷移の検出結果は、カット区分部１５の他に、カット構成情報出力部２５、データ記憶部２７や外部装置等に供給されてもよい。また、カット遷移の検出時に求められた特徴量は、データ記憶部２７等に格納され、他の処理に利用されてもよい。
【００３３】
カット遷移検出部１３は、カット遷移を検出すると、動画像ＭＰ中でのカット遷移の順序を示す遷移情報やカット遷移のタイミングを示すカット遷移情報をカットに付与する。カット遷移の順序を示す遷移情報は、カット番号（カットＩＤ）等であり、カット遷移のタイミングを示す遷移情報は、例えば、フレーム番号やタイムコードである。フレーム番号やタイムコードは、動画像データＭＰから抽出されてもよく、動画像データＭＰに基づき生成されてもよい。カット遷移情報は、カット遷移の検出結果とともにカット区分部１５に供給されるが、データ記憶部２７や外部装置等に供給されてもよい。
【００３４】
カット区分部１５は、詳細は後述するが、カット間の類似度に基づき複数のカットをカットグループに区分する。カットの区分結果は、カット遷移の検出結果とともに、カット間距離算出部１７に供給されるが、カット構成情報出力部２５、データ記憶部２７や外部装置等に供給されてもよい。カット間の類似度は、カットに含まれる画像および／または音声の色ヒストグラムや顔画像の検出結果、および／または音声の量や音調・リズム等からなるカットの特徴量Ｓ（特徴量の総称）から算出される。カットグループとは、特徴量Ｓが互いに類似するカットの組合せを意味する。カット区分部１５は、カットの区分結果に基づきカットグループを表すグループＩＤを各カットに付与する。
【００３５】
カット間距離算出部１７は、詳細は後述するが、カット遷移情報に基づきカット間距離Ｄｃを算出する。カット間距離Ｄｃは、カット間の関係性の程度を示すために、動画像ＭＰ中でのカット間の時間的距離に基づき算出される。カット間距離Ｄｃの算出結果は、カットグループ間距離算出部１９に供給されるが、データ記憶部２７や外部装置等に供給されてもよい。
【００３６】
カットグループ間距離算出部１９は、詳細は後述するが、カット間距離Ｄｃの算出結果に基づきカットグループ間距離Ｄｇを算出する。カットグループ間距離Ｄｇは、カットグループ間の関係性の程度を示すために、複数のカットについて算出されたカット間距離Ｄｃをカットグループ毎に合算して算出される。カットグループ間距離Ｄｇの算出結果は、カット構成画像生成部２１に供給されるが、カット構成情報出力部２５、データ記憶部２７や外部装置等に供給されてもよい。
【００３７】
カット構成画像生成部２１は、カット構成画像ＣＩを生成するために、動画像データＭＰおよびカット遷移の検出結果に基づき、各カットに含まれる画像から所定の基準に従って代表画像Ｉを抽出する。代表画像Ｉとは、各カットを代表する画像であり、例えばカットの中央フレームに相当する画像として抽出される。カット構成画像ＣＩは、カットグループに属するカットの代表画像Ｉと、カットグループ間距離Ｄｇを示す情報を含む画像として生成される。
【００３８】
カット構成画像出力部２３は、ユーザが動画像ＭＰのカット構成を容易に把握できるように、カット構成画像生成部２１から供給されたカット構成画像ＣＩを出力する。カット構成画像ＣＩは、動画像処理装置１に接続された表示装置、印刷装置、記憶装置や外部装置（いずれも不図示）に出力されてもよい。
【００３９】
カット構成情報出力部２５は、ユーザがカット構成の把握に利用できるように、カット間距離Ｄｃおよび／またはカットグループ間距離Ｄｇの算出結果等をカット構成情報として出力する。カット構成情報は、動画像処理装置１に接続された表示装置、印刷装置、記憶装置や外部装置（いずれも不図示）に出力されてもよい。
【００４０】
カット構成情報は、カット構成を考慮した動画像検索を実現するためのデータとして利用することができる。例えば、あるカットを基準カットとして、基準カットとの関係性が強いカットを検索したり、あるカットが属するカットグループを基準カットグループとして、基準カットグループとの関係性が強いカットグループを検索したりすることができる。また、互いに強い関係性を有するカットグループの集合からなる動画像ＭＰを検索することもできる。
【００４１】
データ記憶部２７は、動画像データＭＰおよび動画像データＭＰに付属するデータを記憶している。データ記憶部２７には、カット遷移の検出結果、カットの区分結果、カット間・カットグループ間距離Ｄｃ、Ｄｇの算出結果等のカット構成情報、さらにはカット構成画像ＣＩ自体が動画像データＭＰに関連付けて記憶されもよい。なお、図２では、データ記憶部２７と他の構成要素との接続関係が一部省略されている。
【００４２】
ここで、上記機能構成において、データ取得部１１、カット遷移検出部１３、カット区分部１５、カット間距離算出部１７、カットグループ間距離算出部１９、カット構成画像生成部２１、カット構成画像出力部２３、カット構成情報出力部２５は、ＣＰＵ、ＤＳＰ（デジタル信号処理装置）等の演算処理装置により構成される。データ記憶部２７は、フラッシュメモリ等の内部記憶装置、ハードディスクドライブ、ブルーレイディスクドライブ等の外部記憶装置により構成される。そして、ＣＰＵは、ＲＯＭ等から読み出されたプログラムをＲＡＭ上に展開して実行することで、動画像処理方法を実現する。なお、上記機能構成は、少なくとも一部が専用ロジック等のハードウェアとして構成されてもよい。
【００４３】
［３．動画像処理装置１の動作］
つぎに、図３から図１２を参照して、本発明の実施形態に係る動画像処理装置１の動作について説明する。図３には、動画像処理装置１の動作手順が示されている。
【００４４】
図３に示すように、まず、データ取得部１１では、動画像データＭＰが取得され（ステップＳ１１）、カット遷移検出部１３等に供給される。カット遷移検出部１３では、動画像データＭＰに基づき動画像ＭＰ中のカット遷移が検出され（ステップＳ１３）、検出結果がカット区分部１５に供給される。カット遷移は、相前後するフレーム中の画像および／または音声の特徴量に基づき検出される。各カットには、カットＩＤ、フレーム番号、タイムコード等のカット遷移情報が付与される（ステップＳ１５）。なお、以下では、動画像ＭＰ中でのカット遷移の順序を示すカットＩＤをカット遷移情報として用いる場合について主に説明する。
【００４５】
図４には、カット遷移の検出結果から求められたカット構成の一例が示されている。ここでは、理解を容易にするために、各カットの代表画像Ｉを用いてカット構成が示されている。なお、代表画像Ｉは、後述するように、カット構成画像生成部２１で動画像データＭＰから抽出される。図４に示すように、カット１、３、６が互いに類似し、カット２、４、７が互いに類似し、カット５が他のカット１−４、６、７のいずれとも類似していない。
【００４６】
つぎに、カット区分部１５では、各カットをカットグループに区分するカット区分処理が行われる（ステップＳ１７）。図５には、カット区分処理の手順が示されている。図５に示すように、カット区分処理では、まず、初期化処理が行われる（ステップＳ５１）。初期化処理では、グループ数ｍが初期化される。また、カット１、２にグループＩＤ＝１、グループＩＤ＝２が各々に付与される。ここで、グループ数ｍは、動画像データＭＰから特定されているカットグループ（初期化処理時では、カットグループ１、２が特定されていることになる。）の数を示している。グループＩＤは、各カットが属するカットグループを示すために、各カットに付与される。
【００４７】
つぎに、カット１、２の特徴量Ｓ１、Ｓ２が算出され（ステップＳ５３）、カットグループ１、２の特徴量Ｓ１、Ｓ２として各々にデータ記憶部２７等に格納される（ステップＳ５５）。カットの特徴量Ｓは、例えば、色ヒストグラムや顔画像検出、および／または音声の量や音調・リズム等、あるいはこれらの組合せとして算出される。
【００４８】
つぎに、処理対象となる後続カットの存在が確認される（ステップＳ５７）。後続カットが存在すれば（ステップ５７で「Ｙｅｓ」）、後続カットの特徴量Ｓ´が算出され（ステップＳ５９）、後続カットとカットグループ１−ｍの間で特徴量Ｓの類似が判定される（ステップＳ６１）。ここで、判定に際しては、直前カットよりも大きなグループＩＤを伴うカットグループとの間で、特徴量Ｓの類似度が優先的に判定されてもよい。これは、カットの繰返しが行われる場合、直前カットよりも後続カットが属するカットグループのグループＩＤが大きくなるためである。
【００４９】
そして、後続カットとカットグループ１−ｍのいずれかの間で特徴量Ｓの類似度が所定の閾値以上であると判定された（ステップＳ６１で「Ｙｅｓ」）場合、後続カットには、最も類似度の高いカットグループのグループＩＤが付与される（ステップＳ６３）。後続カットの特徴量Ｓ´は、後続カットが属するカットグループの特徴量Ｓの一部として格納されて利用されてもよく（ステップＳ６５）、棄却されてもよい。
【００５０】
一方、後続カットとカットグループ１−ｍの全ての間で特徴量Ｓの類似度が所定の閾値未満であると判定された（ステップＳ６１で「Ｎｏ」）場合、新たなカットグループを生成するためにグループ数ｍが１インクリメントされる（ステップＳ６７）。後続カットには、新たなカットグループとして、グループ数ｍに相当するグループＩＤが付与される（ステップＳ６９）。後続カットの特徴量Ｓは、後続カットが属する新たなカットグループの特徴量Ｓｍとして格納されて利用される（ステップＳ７１）。
【００５１】
ステップＳ５７−Ｓ７１の処理は、後続カットが存在しなくなるまで（ステップ５７で「Ｎｏ」）繰返される。そして、後続カットが存在しなければ、カット区分処理が終了し、図３に示すように、引き続きステップＳ１９の処理が行われる。カット区分部１５では、カット遷移の検出結果とともに、カットの区分結果がカット間距離算出部１７に供給される。
【００５２】
図６には、図４に示したカット構成におけるカット区分処理の処理結果が示されている。図６に示すように、各カットの特徴量Ｓの類似度に基づき、カット１、３、６にグループＩＤ＝１が付与され、カット２、４、７にグループＩＤ＝２が付与され、カット５にグループＩＤ＝３が付与されている。
【００５３】
カット間距離算出部１７では、カット遷移情報に基づきカット間距離Ｄｃが算出され（ステップＳ１９）、算出結果がカットグループ間距離算出部１９に供給される。図７Ａ−７Ｃには、各種のカット遷移情報を用いて、カット１−３からなる動画像ＭＰについてカット間距離Ｄｃを算出する手順が示されている。
【００５４】
まず、図７Ａでは、動画像ＭＰ中でのカット遷移の順序を示すカットＩＤがカット遷移情報として用いられている。図７Ａに示すように、カット１−３には、カットＩＤ＝１−３が各々に付与されている。
【００５５】
まず、カットｉのカットＩＤ＝ｎｉとカットｊのカットＩＤ＝ｎｊ（ｎｉ＜ｎｊ）の差分値（ｎｊ−ｎｉ）が求められる。つぎに、差分値（ｎｊ−ｎｉ）のべき乗値（ｎｊ−ｎｉ）ａ（ａ≠０）がカットｉ−ｊ間のカット間距離Ｄｃｉ、ｊとして算出される。
【００５６】
べき指数ａは、０以外の任意の整数または実数として定められる。ここで、動画像ＭＰ中でのカット遷移の順序が互いに近いカット間ほど、べき指数ａ＜０である場合にカット間距離Ｄｃが小さくなり、べき指数ａ＞０である場合にカット間距離Ｄｃが大きくなる。なお、以下では、ａ＝−２の場合について説明する。
【００５７】
例えば、カット１−２間のカット間距離Ｄｃ１、２は、カットＩＤの差分値１（＝２−１）となり、カット間距離Ｄｃ１、２＝１として算出される。また、カット１−３間のカット間距離Ｄｃ１、３は、カットＩＤの差分値２（＝３−１）となり、カット間距離Ｄｃ１、３＝２−２＝１／４として算出される。同様にして、カット２−３間のカット間距離Ｄｃ２、３は、カット間距離Ｄｃ２、３＝１として算出される。
【００５８】
また、図７Ｂでは、動画像ＭＰ中でのカット遷移のタイミングを示すフレーム番号がカット遷移情報として用いられている。図７Ｂに示すように、カット１−３には、開始フレーム番号および終了フレーム番号が各々に付与されている。例えば、カット１の開始：終了フレーム番号がｆ＝１：４０、カット２の開始：終了フレーム番号がｆ＝４１：８０、カット３の開始：終了フレーム番号がｆ＝８１：１２０として付与されている。
【００５９】
まず、カットｉの最終フレーム番号ｎｉとカットｊの開始フレーム番号ｎｊ（ｎｉ＜ｎｊ）の差分値（ｎｊ−ｎｉ）が求められる。つぎに、差分値（ｎｊ−ｎｉ）のべき乗値（ｎｊ−ｎｉ）ｂ（ｂ≠０）がカットｉ−ｊ間のカット間距離Ｄｃｉ、ｊとして算出される。
【００６０】
べき指数ｂは、０以外の任意の整数または実数として定められる。ここで、動画像ＭＰ中でのカット遷移のタイミングが互いに近いカット間ほど、べき指数ｂ＜０である場合にカット間距離Ｄｃが小さくなり、べき指数ｂ＞０である場合にカット間距離Ｄｃが大きくなる。なお、以下では、ｂ＝−１の場合について説明する。
【００６１】
例えば、カット１−２間のカット間距離Ｄｃ１、２は、フレーム番号の差分値１（＝４１−４０）となり、カット間距離Ｄｃ１、２＝１として算出される。また、カット１−３間のカット間距離Ｄｃ１、３は、フレーム番号の差分値４１（＝８１−４０）となり、カット間距離Ｄｃ１、３＝１／４１として算出される。同様にして、カット２−３間のカット間距離Ｄｃ２、３は、カット間距離Ｄｃ２、３＝１として算出される。
【００６２】
ここで、動画像ＭＰ中でのカット遷移のタイミングを示すカット遷移情報としては、タイムフレームが用いられてもよい。タイムフレームは、例えば、カット１の開始：終了タイムフレームが０秒：４０秒、カット２の開始：終了タイムフレームが４０．０５秒：８０秒、カット３の開始：終了タイムフレームが８０．０５秒：１２０秒として付与される。タイムフレームの場合もフレーム番号の場合と同様に、カット間距離Ｄｃを算出することができる。
【００６３】
なお、フレーム番号やタイムフレームをカット遷移情報として用いる場合、連続するカット同士のカット間距離Ｄｃが他のカットとの間のカット間距離Ｄｃよりも非常に大きくまたは小さくなってしまう（例えば、図７Ｂの例では、Ｄｃ１、２＝１に対してＤｃ１、３＝１／４１）。この場合、連続するカット同士のカット間距離Ｄｃについては、動画像ＭＰ中でフレーム数または時間間隔が最小となるカットについて求められたカット間距離Ｄｃの１／２（例えば、Ｄｃ１、２＝Ｄｃ１、３／２＝１／８２）とする等、適当に調整されることが望ましい。
【００６４】
また、図７Ｃでは、カットＩＤおよびフレーム番号がカット遷移情報として用いられている。図７Ｃに示すように、カット１−５には、カットＩＤとともに、開始フレーム番号および終了フレーム番号が各々に付与されている。
【００６５】
まず、図７Ａに示したように、カットＩＤを用いて第１のカット間距離Ｄｃ１が算出される。つぎに、図７Ｂに示したように、フレーム番号を用いて第２のカット間距離Ｄｃ２が算出される。そして、第１のカット間距離Ｄｃ１および第２のカット間距離Ｄｃ２を項とする、例えば以下のような多項式に基づき、カット間距離Ｄｃが算出される。なお、多項式中の重み係数ｗ１、ｗ２は、カット間の関係性としてカット遷移の順序とタイミングを各々にどの程度重視するか、という評価基準に従って適宜に設定される。
Ｄｃｉ、ｊ＝ｗ１×Ｄｃ１ｉ、ｊ＋ｗ２×Ｄｃ２ｉ、ｊ
【００６６】
例えば、ｗ１＝０．８、ｗ２＝０．２の場合、カット１−２間のカット間距離Ｄｃ１、２＝１（＝０．８×１＋０．２×１）、カット１−３間のカット間距離Ｄｃ１、３≒０．２０（＝０．８×１／４＋０．２×１／４１）、カット２−３間のカット間距離Ｄｃ２、３＝１（＝０．８×１＋０．２×１）となる。
【００６７】
図８には、図４に示したカット構成におけるカット間距離Ｄｃの算出結果が示されている。図８に示すように、カット１−７には、カットＩＤ＝１−７が各々に付与され、各カットの特徴量Ｓの類似度に基づき、カット１、３、６にグループＩＤ＝１が付与され、カット２、４、７にグループＩＤ＝２が付与され、カット５にグループＩＤ＝３が付与されている。図８では、カット遷移情報としてカットＩＤが用いられている。また、カット間距離Ｄｃを算出するためにべき指数ａ＝−２が用いられている。
【００６８】
図８に示すカット間距離Ｄｃの算出結果によれば、例えば、カット１とカット２、３、４、５、６、７の間のカット間距離ＤｃがＤｃ１、２＝１、Ｄｃ１、３＝１／４、Ｄｃ１、４＝１／９、Ｄｃ１、５＝１／１６、Ｄｃ１、６＝１／２５、Ｄｃ１、７＝１／３６と算出されている。
【００６９】
図３を参照すると、カットグループ間距離算出部１９では、カット間距離Ｄｃの算出結果に基づきカットグループ間距離Ｄｇが算出され、算出結果がカット構成画像生成部２１に供給される（ステップＳ２１）。
【００７０】
図９には、図８に示したカット構成におけるカットグループ間距離Ｄｇの算出結果が示されている。図９に示すように、カットグループ間距離Ｄｇは、複数のカットについて算出されたカット間距離Ｄｃをカットグループ毎に合算して算出される。なお、図９に示す例では、カットグループ間距離Ｄｇが合算値の逆数として算出されているが、逆数として算出されなくてもよい。
【００７１】
図９に示す例では、カットグループ１とカットグループ２の間のカットグループ間距離Ｄｇ１、２は、カットグループ１に属するカット１、３、６のいずれかとカットグループ２に属するカット２、４、７のいずれかとの間のカット間距離Ｄｃと、カット１、３、６同士のカット間距離Ｄｃと、カット２、４、７同士のカット間距離Ｄｃを、以下のように合算し、合算値の逆数として算出されている。
Ｄｇ１、２＝｛（Ｄｃ１、２＋Ｄｃ１、４＋Ｄｃ１、７＋Ｄｃ２、３＋Ｄｃ２、６＋Ｄｃ３、４＋Ｄｃ３、７＋Ｄｃ４、６＋Ｄｃ６、７）
＋（Ｄｃ１、３＋Ｄｃ１、６＋Ｄｃ３、６）＋（Ｄｃ２、４＋Ｄｃ２、７＋Ｄｃ４、７）｝−１
＝｛（１＋１／９＋１／３６＋１＋１／１６＋１＋１／１６＋１／４＋１）
＋（１／４＋１／２５＋１／９）＋（１／４＋１／２５＋１／９）｝−１
＝（４．５１＋０．４０＋０．４０）−１≒０．１９
【００７２】
なお、カットグループ間距離Ｄｇ１、２は、以下のように、カットグループ１に属するカット１、３、６のいずれかとカットグループ２に属するカット２、４、７のいずれかとの間のカット間距離Ｄｃとして算出されてもよい。
Ｄｇ１、２＝｛（Ｄｃ１、２＋Ｄｃ１、４＋Ｄｃ１、７＋Ｄｃ２、３＋Ｄｃ２、６＋Ｄｃ３、４＋Ｄｃ３、７＋Ｄｃ４、６＋Ｄｃ６、７）｝−１
＝｛（１＋１／９＋１／３６＋１＋１／１６＋１＋１／１６＋１／４＋１）
＝４．５１−１≒０．２２
【００７３】
また、カットグループ１とカットグループ３のカットグループ間距離Ｄｇ１、３は、カットグループ１に属するカット１、３、６のいずれかとカットグループ３に属するカット５との間のカット間距離Ｄｃを、以下のように合算して算出されている。同様に、カットグループ２とカットグループ３のカットグループ間距離Ｄｇ２、３は、カットグループ２に属するカット２、４、７のいずれかとカットグループ３に属するカット５との間のカット間距離Ｄｃを、以下のように合算して算出されている。
Ｄｇ１、３＝（Ｄｃ１、５＋Ｄｃ３、５＋Ｄｃ５、６）−１
＝（１／１６＋１／４＋１）−１＝１６／２１≒０．７６
Ｄｇ２、３＝（Ｄｃ２、５＋Ｄｃ４、５＋Ｄｃ５、７）−１
＝（１／９＋１＋１／４）−１＝３６／４９≒０．７３
【００７４】
図４に示した動画像ＭＰは、カット１、カット２、カット１に類似するカット３、カット２に類似するカット４、カット５、カット１、３に類似するカット６、カット２、４に類似するカット７というカット構成を有する。つまり、図４に示した動画像ＭＰは、カット１、２とカット３、４とカット６、７からなるカットの繰返しと、カット４に続くカット５により構成されている。
【００７５】
このため、カットの繰返しから判断して、カット１、３、６が属するカットグループ１と、カット２、４、７が属するカットグループ２との間で強い関係性が認められる。また、カット遷移の順序から判断して、カットグループ３には、カットグループ１よりもカットグループ２との間で強い関係性が認められる。
【００７６】
そして、図９に示した算出結果には、カットグループ１−３の間でカットグループ間距離Ｄｇ１、２＜Ｄｇ２、３＜Ｄｇ１、３の関係性が明らかにされている。ここで、カットグループ間距離Ｄｇがカットグループ間の関係性の強さに反比例するように算出されていることを考慮すれば、図９に示した算出結果には、カットグループ１−３の間の関係性の強さが反映されているといえる。
【００７７】
カットグループ間距離Ｄｇを算出すると、図３に示すように、カット構成画像生成部２１では、まず、動画像データＭＰおよびカット遷移の検出結果に基づき、各カットに含まれる画像から所定の基準に従って代表画像Ｉが抽出される（ステップＳ２３）。つぎに、カットグループに属するカットの代表画像Ｉと、カットグループ間距離Ｄｇを示す情報を含むカット構成画像ＣＩが生成される（ステップＳ２５）。
【００７８】
図１０には、図４に示したカット構成におけるカット構成画像ＣＩの一例が示されている。図１０に示すカット構成画像ＣＩには、カットグループ１に属するカット１、３、６の代表画像Ｉ１、Ｉ３、Ｉ６、カットグループ２に属するカット２、４、７の代表画像Ｉ２、Ｉ４、Ｉ７、およびカットグループ３に属するカット５の代表画像Ｉ５が配置されている。ここで、同一カットグループに属するカットの代表画像Ｉは、横並びに纏めて配置されている。
【００７９】
そして、カットグループ毎の代表画像Ｉの集合は、図９に示したカットグループ間距離Ｄｇに従って隔てて配置されている。つまり、カットグループ毎の代表画像Ｉの集合は、カットグループ１−２間の距離と、カットグループ１−３間の距離と、カットグループ２−３間の距離の比率がＤｇ１、２：Ｄｇ１、３：Ｄｇ２、３＝０．１９：０．７６：０．７３となるように配置されている。これにより、カットグループ間の関係性が強いカットグループほど近づけて配置することで、カットグループ間の関係性が容易に把握可能となる。
【００８０】
なお、カットグループ間距離Ｄｇがカットグループ間の関係性の強さに比例するように算出されている場合、カットグループ毎の代表画像Ｉの集合は、例えば、カットグループ間距離Ｄｇの逆数に従って隔てて配置されてもよい。また、カット構成画像ＣＩは、カットグループ間距離Ｄｇを示す数値情報を含んでもよい。
【００８１】
図１１には、図１０に示したカット構成画像ＣＩの変形例が示されている。図１１に示すカット構成画像ＣＩでは、図１０に示したカット構成画像ＣＩに対して、カット遷移情報に基づきカット遷移の順序を示す情報が付加されている。つまり、カット１、２、３、４、５、６、７というカット遷移の順序を示す矢印が付加されている。これにより、カットグループ間の関係性とともに、動画像ＭＰ中でのカット遷移の順序が容易に把握可能となる。
【００８２】
図１２には、図１０に示したカット構成画像ＣＩの他の変形例が示されている。図１２に示すカット構成画像ＣＩでは、図１０に示したカット構成画像ＣＩに対して、同一カットグループに属する一部のカットの代表画像Ｉが修正されている。つまり、２以上のカットが属するカットグループでは、カットグループの基準カットの代表画像Ｉとの変化部分が強調されるように、他のカットの代表画像Ｉが修正されている。
【００８３】
ここで、カットグループ１、２では、カット１が基準カットとして選択されている。そして、例えば、カット３、６の代表画像Ｉ３´、Ｉ６´は、カット１の代表画像Ｉ１との変化部分が強調されるように、例えば無変化部分に相当する背景画像が省略されている。これにより、動画像ＭＰ中でのカット遷移の順序とともに、カットグループ中でのカット間の関係性（カット内容の変化）が容易に把握可能となる。
【００８４】
［４．まとめ］
以上説明したように、本発明の実施形態に係る動画像処理装置１および動画像処理方法によれば、動画像ＭＰ中でのカット間の時間的距離に基づきカット間距離Ｄｃが算出され、複数のカットについて算出されたカット間距離Ｄｃをカットグループ毎に合算してカットグループ間距離Ｄｇが算出される。そして、カットグループに属するカットの代表画像Ｉと、カットグループ間距離Ｄｇを示す情報を含むカット構成画像ＣＩが生成される。
【００８５】
これにより、カット構成画像ＣＩを用いて、映像の時間的コンテクストに関して映像がどのように表現されているか、という情報が提供される。よって、映像の鑑賞者または利用者は、映像を鑑賞し、または他の映像等の素材として利用する上で、映像のカット構成を容易に把握することができる。
【００８６】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００８７】
１ 動画像処理装置
１１ データ取得部
１３ カット遷移検出部
１５ カット区分部
１７ カット間距離算出部
１９ カットグループ間距離算出部
２１ カット構成画像生成部
２３ カット構成画像出力部
２５ カット構成情報出力部
２７ データ記憶部
ＭＰ 動画（データ）
Ｄｃ カット間距離
Ｄｇ カットグループ間距離
Ｉ 代表画像
ＣＩ カット構成画像
【技術分野】
【０００１】
本発明は、動画像処理装置、動画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
映像（または動画像）は、一般に多数のカットから構成されている。従来、映像のカット構成を把握するために、映像のサムネイルを一定のフレーム間隔で時系列順に並べて表示することが知られている。この動画像処理方法は、何が映像の対象として捉えられているか、という情報を提供することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ところで、映像表現では、制作者の意図に応じて、例えば同じような内容のカットを時間的に隔てて構成する等、カット構成に工夫を凝らす場合がある。しかし、従来の動画像処理方法では、何が映像の対象として捉えられているか、という情報が提供されるが、映像の対象がどのように捉えられているか、換言すれば、映像の時間的コンテクストに関して映像がどのように表現されているか、という情報が十分に提供されない。
【０００４】
一方、映像を鑑賞する者または映像を他の映像等の素材として利用する者には、映像の時間的コンテクストに関して映像がどのように表現されているか、という情報が重要となる場合がある。しかし、従来の動画像処理方法では、このような情報を十分に提供することができず、鑑賞者や利用者は、映像のカット構成を直感的に把握することができなかった。
【０００５】
そこで、本発明は、動画像のカット構成を容易に把握可能にする、動画像処理装置、動画像処理方法およびプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００６】
本発明のある観点によれば、複数のカットを含む動画像からカット間の遷移を検出するカット遷移検出部と、カット間の類似度に基づき複数のカットをカットグループに区分するカット区分部と、動画像中でのカット間の時間的距離に基づきカット間距離を算出するカット間距離算出部と、複数のカットについて算出されたカット間距離をカットグループ毎に合算してカットグループ間距離を算出するカットグループ間距離算出部と、カットグループに属するカットの代表画像と、カットグループ間距離を示す情報を含むカット構成画像を生成するカット構成画像生成部とを備える動画像処理装置が提供される。
【０００７】
上記カット間距離算出部は、カットｉとカットｊの動画像中でのカット遷移の順序を示す遷移情報をｎｉ、ｎｊ（ｎｉ＜ｎｊ）とする場合に、遷移情報ｎｉ、ｎｊの差分値（ｎｊ−ｎｉ）から求まる（ｎｊ−ｎｉ）ａ（ａ≠０）を、カットｉとカットｊのカット間距離として算出してもよい。
【０００８】
上記カット間距離算出部は、カットｉとカットｊの動画像中でのカット遷移のタイミングを示す遷移情報をｎｉ、ｎｊ（ｎｉ＜ｎｊ）とする場合に、遷移情報ｎｉ、ｎｊの差分値（ｎｊ−ｎｉ）から求まる（ｎｊ−ｎｉ）ｂ（ｂ≠０）を、カットｉとカットｊのカット間距離として算出してもよい。
【０００９】
上記遷移情報ｎｉ、ｎｊは、各々にカットｉの終了フレーム番号およびカットｊの開始フレーム番号であり、または各々にカットｉの終了タイムフレームおよびカットｊの開始タイムフレームでもよい。
【００１０】
上記カット間距離算出部は、カットｉとカットｊの動画像中でのカット遷移の順序を示す遷移情報をｎ１ｉ、ｎ１ｊ（ｎ１ｉ＜ｎ１ｊ）とする場合に、遷移情報ｎ１ｉ、ｎ１ｊの差分値（ｎ１ｊ−ｎ１ｉ）から求まる（ｎ１ｊ−ｎ１ｉ）ａ（ａ≠０）を、カットｉとカットｊの第１のカット間距離として算出し、カットｉとカットｊの動画像中でのカット遷移のタイミングを示す遷移情報をｎ２ｉ、ｎ２ｊ（ｎ２ｉ＜ｎ２ｊ）とする場合に、遷移情報ｎ２ｉ、ｎ２ｊの差分値（ｎ２ｊ−ｎ２ｉ）から求まる（ｎ２ｊ−ｎ２ｉ）ｂ（ｂ≠０）を、カットｉとカットｊの第２のカット間距離として算出し、第１のカット間距離および第２のカット間距離を項とする多項式に基づき、カットｉとカットｊのカット間距離を算出してもよい。
【００１１】
上記遷移情報ｎ２ｉ、ｎ２ｊは、各々にカットｉの終了フレーム番号およびカットｊの開始フレーム番号であり、または各々にカットｉの終了タイムフレームおよびカットｊの開始タイムフレームでもよい。
【００１２】
上記代表画像生成部は、相異なるカットグループに属する１以上のカットの代表画像を、カットグループ間距離に従って隔てて配置したカット構成画像を生成してもよい。
【００１３】
上記代表画像生成部は、カット遷移の順序を示す情報を含むカット構成画像を生成してもよい。
【００１４】
上記代表画像生成部は、同一カットグループに２以上のカットが属する場合において、カットグループの基準カットの代表画像との変化部分が強調されるように、他のカットの代表画像を修正してもよい。
【００１５】
上記カット間距離算出部は、カット間の時間的距離を示す遷移情報の逆数からカット間距離を算出し、複数のカットについて算出されたカット間距離をカットグループ毎に合算した値の逆数からカットグループ間距離を算出してもよい。
【００１６】
また、本発明の別の観点によれば、複数のカットを含む動画像からカット間の遷移を検出し、カット間の類似度に基づき複数のカットをカットグループに区分し、動画像中でのカット間の時間的距離に基づきカット間距離を算出し、複数のカットについて算出されたカット間距離をカットグループ毎に合算してカットグループ間距離を算出し、カットグループに属するカットの代表画像と、カットグループ間距離を示す情報を含むカット構成画像を生成することを含む動画像処理方法が提供される。
【００１７】
また、本発明の別の観点によれば、上記動画像処理方法をコンピュータに実行させるためのプログラムが提供される。ここで、プログラムは、コンピュータ読取り可能な記録媒体を用いて提供されてもよく、通信手段等を介して提供されてもよい。
【発明の効果】
【００１８】
以上説明したように本発明によれば、動画像のカット構成を容易に把握可能にする、動画像処理装置、動画像処理方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る動画像処理方法の概要を示す図である。
【図２】動画像処理装置の構成を示すブロック図である。
【図３】動画像処理装置の動作手順を示すフロー図である。
【図４】カット構成の一例を示す図である。
【図５】カット区分処理の手順を示すフロー図である。
【図６】図４に示したカット構成におけるカット区分処理の処理結果を示す図である。
【図７Ａ】カット間距離の算出手順の一例を示す図である。
【図７Ｂ】カット間距離の算出手順の他の例を示す図である。
【図７Ｃ】カット間距離の算出手順のさらに他の例を示す図である。
【図８】図４に示したカット構成におけるカット間距離の算出結果を示す図である。
【図９】図８に示したカット構成におけるカットグループ間距離の算出結果を示す図である。
【図１０】図４に示したカット構成におけるカット構成画像の一例を示す図である。
【図１１】図１０に示したカット構成画像の変形例を示す図である。
【図１２】図１０に示したカット構成画像の他の変形例を示す図である。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２１】
［１．動画像処理方法の概要］
まず、図１を参照して、本発明の実施形態に係る動画像処理方法の概要について説明する。図１には、動画像処理方法の概要が示されている。
【００２２】
本発明の実施形態に係る動画像処理方法では、まず、複数のカットを含む動画像ＭＰからカット間の遷移が検出される。つぎに、カット間の類似度に基づき複数のカットがカットグループに区分される。つぎに、動画像ＭＰ中でのカット間の時間的距離に基づきカット間距離Ｄｃ（カット間距離の総称）が算出され、複数のカットについて算出されたカット間距離Ｄｃをカットグループ毎に合算してカットグループ間距離Ｄｇ（カットグループ間距離の総称）が算出される。
【００２３】
ここで、カット間距離Ｄｃは、カット間の関係性の程度を示し、カットグループ間距離Ｄｇは、カットグループ間の関係性の程度を示している。そして、カットグループに属するカットの代表画像Ｉ（代表画像の総称）と、カットグループ間距離Ｄｇを示す情報を含むカット構成画像ＣＩが生成される。カット構成画像ＣＩは、動画像ＭＰのカット構成を容易に把握するための情報として、後述する動画像処理装置１や外部装置を通じて出力される。
【００２４】
図１に示す例では、動画像ＭＰは、カット１、カット２、カット１に類似するカット３、カット２に類似するカット４、カット１−４のいずれにも類似しないカット５からなる。カット１−５は、カット間の類似度に基づき、カット１、３が属するカットグループ１、カット２、４が属するカットグループ２、カット５が属するカットグループ３に区分される。
【００２５】
カット１−５の間では、カット間の時間的距離に基づきカット間距離Ｄｃ１、２、Ｄｃ１、３、…、Ｄｃ４、５が算出され、カット１−５について算出されたカット間距離Ｄｃ１、２、Ｄｃ１、３、…、Ｄｃ４、５をカットグループ１−３毎に合算してカットグループ間距離Ｄｇ１、２、Ｄｇ１、３、Ｄｇ２、３が算出される。ここで、カットグループ間距離Ｄｇは、カットグループ間の関係性の程度を示している。このため、カットグループ間距離Ｄｇ１、２、Ｄｇ１、３、Ｄｇ２、３を用いて、カットグループ１−２、１−３、２−３間の関係性の程度を示すことができる。
【００２６】
ここで、図１に示す例では、動画像ＭＰは、カット１、２とカット３、４からなるカットの繰返しと、カット４に続くカット５により構成されている。このため、カットの繰返しから判断して、カットグループ１には、カットグループ３よりもカットグループ２との間で強い関係性が認められる。また、カット遷移の順序から判断して、カットグループ３には、カットグループ１よりもカットグループ２との間で強い関係性が認められる。
【００２７】
よって、例えば、カットグループ間距離Ｄｇをカットグループ間の関係性の強さに反比例するように算出すれば、カットグループ１−２間のカットグループ間距離Ｄｇ１、２は、カットグループ１−３間のカットグループ間距離Ｄｇ１、３よりも小さく算出される。また、カットグループ２−３間のカットグループ間距離Ｄｇ２、３は、カットグループ１−３間のカットグループ間距離Ｄｇ１、３よりも小さく算出される。
【００２８】
そして、カット構成画像ＣＩでは、カットグループ１、２、３に属するカット１−５の代表画像Ｉ１−Ｉ５がカットグループ間のカットグループ間距離Ｄｇに従って隔てて配置される。よって、カットグループ間の関係性の程度が容易に把握可能となる。なお、図１では、カットグループ間距離Ｄｇが数値情報として示されているが、数値情報は示されなくてもよい。
【００２９】
これにより、カット構成画像ＣＩを用いて、映像の時間的コンテクストに関して映像がどのように表現されているか、という情報が提供される。よって、映像の鑑賞者または利用者は、映像を鑑賞し、または他の映像等の素材として利用する上で、映像のカット構成を容易に把握することができる。
【００３０】
［２．動画像処理装置１の構成］
つぎに、図２を参照して、本発明の実施形態に係る動画像処理装置１について説明する。図２には、動画像処理装置１の主要な機能構成が示されている。図２に示すように、動画像処理装置１は、データ取得部１１、カット遷移検出部１３、カット区分部１５、カット間距離算出部１７、カットグループ間距離算出部１９、カット構成画像生成部２１、カット構成画像出力部２３、カット構成情報出力部２５、データ記憶部２７を含んで構成される。
【００３１】
データ取得部１１は、複数のカットを含む動画像データＭＰを取得し、カット遷移検出部１３、カット区分部１５およびカット構成画像生成部２１に供給する。動画像データＭＰは、一般にフレーム形式のデータであり、画像データのみでもよく、音声データとの組合せでもよい。動画像データＭＰは、データ記憶部２７から取得されてもよく、外部装置（不図示）から取得されてもよい。
【００３２】
カット遷移検出部１３は、動画像データＭＰ中のカット遷移を検出し、検出結果をカット区分部１５に供給する。カット遷移とは、動画像ＭＰ中におけるカットの移り変わりを意味する。カット遷移は、相前後するフレーム中の画像および／または音声の特徴量を求め、特徴量の類似度に基づき検出される。画像および／または音声の特徴量としては、色ヒストグラムや顔画像検出、および／または音声の量や音調・リズム等を用いることができる。なお、カット遷移の検出結果は、カット区分部１５の他に、カット構成情報出力部２５、データ記憶部２７や外部装置等に供給されてもよい。また、カット遷移の検出時に求められた特徴量は、データ記憶部２７等に格納され、他の処理に利用されてもよい。
【００３３】
カット遷移検出部１３は、カット遷移を検出すると、動画像ＭＰ中でのカット遷移の順序を示す遷移情報やカット遷移のタイミングを示すカット遷移情報をカットに付与する。カット遷移の順序を示す遷移情報は、カット番号（カットＩＤ）等であり、カット遷移のタイミングを示す遷移情報は、例えば、フレーム番号やタイムコードである。フレーム番号やタイムコードは、動画像データＭＰから抽出されてもよく、動画像データＭＰに基づき生成されてもよい。カット遷移情報は、カット遷移の検出結果とともにカット区分部１５に供給されるが、データ記憶部２７や外部装置等に供給されてもよい。
【００３４】
カット区分部１５は、詳細は後述するが、カット間の類似度に基づき複数のカットをカットグループに区分する。カットの区分結果は、カット遷移の検出結果とともに、カット間距離算出部１７に供給されるが、カット構成情報出力部２５、データ記憶部２７や外部装置等に供給されてもよい。カット間の類似度は、カットに含まれる画像および／または音声の色ヒストグラムや顔画像の検出結果、および／または音声の量や音調・リズム等からなるカットの特徴量Ｓ（特徴量の総称）から算出される。カットグループとは、特徴量Ｓが互いに類似するカットの組合せを意味する。カット区分部１５は、カットの区分結果に基づきカットグループを表すグループＩＤを各カットに付与する。
【００３５】
カット間距離算出部１７は、詳細は後述するが、カット遷移情報に基づきカット間距離Ｄｃを算出する。カット間距離Ｄｃは、カット間の関係性の程度を示すために、動画像ＭＰ中でのカット間の時間的距離に基づき算出される。カット間距離Ｄｃの算出結果は、カットグループ間距離算出部１９に供給されるが、データ記憶部２７や外部装置等に供給されてもよい。
【００３６】
カットグループ間距離算出部１９は、詳細は後述するが、カット間距離Ｄｃの算出結果に基づきカットグループ間距離Ｄｇを算出する。カットグループ間距離Ｄｇは、カットグループ間の関係性の程度を示すために、複数のカットについて算出されたカット間距離Ｄｃをカットグループ毎に合算して算出される。カットグループ間距離Ｄｇの算出結果は、カット構成画像生成部２１に供給されるが、カット構成情報出力部２５、データ記憶部２７や外部装置等に供給されてもよい。
【００３７】
カット構成画像生成部２１は、カット構成画像ＣＩを生成するために、動画像データＭＰおよびカット遷移の検出結果に基づき、各カットに含まれる画像から所定の基準に従って代表画像Ｉを抽出する。代表画像Ｉとは、各カットを代表する画像であり、例えばカットの中央フレームに相当する画像として抽出される。カット構成画像ＣＩは、カットグループに属するカットの代表画像Ｉと、カットグループ間距離Ｄｇを示す情報を含む画像として生成される。
【００３８】
カット構成画像出力部２３は、ユーザが動画像ＭＰのカット構成を容易に把握できるように、カット構成画像生成部２１から供給されたカット構成画像ＣＩを出力する。カット構成画像ＣＩは、動画像処理装置１に接続された表示装置、印刷装置、記憶装置や外部装置（いずれも不図示）に出力されてもよい。
【００３９】
カット構成情報出力部２５は、ユーザがカット構成の把握に利用できるように、カット間距離Ｄｃおよび／またはカットグループ間距離Ｄｇの算出結果等をカット構成情報として出力する。カット構成情報は、動画像処理装置１に接続された表示装置、印刷装置、記憶装置や外部装置（いずれも不図示）に出力されてもよい。
【００４０】
カット構成情報は、カット構成を考慮した動画像検索を実現するためのデータとして利用することができる。例えば、あるカットを基準カットとして、基準カットとの関係性が強いカットを検索したり、あるカットが属するカットグループを基準カットグループとして、基準カットグループとの関係性が強いカットグループを検索したりすることができる。また、互いに強い関係性を有するカットグループの集合からなる動画像ＭＰを検索することもできる。
【００４１】
データ記憶部２７は、動画像データＭＰおよび動画像データＭＰに付属するデータを記憶している。データ記憶部２７には、カット遷移の検出結果、カットの区分結果、カット間・カットグループ間距離Ｄｃ、Ｄｇの算出結果等のカット構成情報、さらにはカット構成画像ＣＩ自体が動画像データＭＰに関連付けて記憶されもよい。なお、図２では、データ記憶部２７と他の構成要素との接続関係が一部省略されている。
【００４２】
ここで、上記機能構成において、データ取得部１１、カット遷移検出部１３、カット区分部１５、カット間距離算出部１７、カットグループ間距離算出部１９、カット構成画像生成部２１、カット構成画像出力部２３、カット構成情報出力部２５は、ＣＰＵ、ＤＳＰ（デジタル信号処理装置）等の演算処理装置により構成される。データ記憶部２７は、フラッシュメモリ等の内部記憶装置、ハードディスクドライブ、ブルーレイディスクドライブ等の外部記憶装置により構成される。そして、ＣＰＵは、ＲＯＭ等から読み出されたプログラムをＲＡＭ上に展開して実行することで、動画像処理方法を実現する。なお、上記機能構成は、少なくとも一部が専用ロジック等のハードウェアとして構成されてもよい。
【００４３】
［３．動画像処理装置１の動作］
つぎに、図３から図１２を参照して、本発明の実施形態に係る動画像処理装置１の動作について説明する。図３には、動画像処理装置１の動作手順が示されている。
【００４４】
図３に示すように、まず、データ取得部１１では、動画像データＭＰが取得され（ステップＳ１１）、カット遷移検出部１３等に供給される。カット遷移検出部１３では、動画像データＭＰに基づき動画像ＭＰ中のカット遷移が検出され（ステップＳ１３）、検出結果がカット区分部１５に供給される。カット遷移は、相前後するフレーム中の画像および／または音声の特徴量に基づき検出される。各カットには、カットＩＤ、フレーム番号、タイムコード等のカット遷移情報が付与される（ステップＳ１５）。なお、以下では、動画像ＭＰ中でのカット遷移の順序を示すカットＩＤをカット遷移情報として用いる場合について主に説明する。
【００４５】
図４には、カット遷移の検出結果から求められたカット構成の一例が示されている。ここでは、理解を容易にするために、各カットの代表画像Ｉを用いてカット構成が示されている。なお、代表画像Ｉは、後述するように、カット構成画像生成部２１で動画像データＭＰから抽出される。図４に示すように、カット１、３、６が互いに類似し、カット２、４、７が互いに類似し、カット５が他のカット１−４、６、７のいずれとも類似していない。
【００４６】
つぎに、カット区分部１５では、各カットをカットグループに区分するカット区分処理が行われる（ステップＳ１７）。図５には、カット区分処理の手順が示されている。図５に示すように、カット区分処理では、まず、初期化処理が行われる（ステップＳ５１）。初期化処理では、グループ数ｍが初期化される。また、カット１、２にグループＩＤ＝１、グループＩＤ＝２が各々に付与される。ここで、グループ数ｍは、動画像データＭＰから特定されているカットグループ（初期化処理時では、カットグループ１、２が特定されていることになる。）の数を示している。グループＩＤは、各カットが属するカットグループを示すために、各カットに付与される。
【００４７】
つぎに、カット１、２の特徴量Ｓ１、Ｓ２が算出され（ステップＳ５３）、カットグループ１、２の特徴量Ｓ１、Ｓ２として各々にデータ記憶部２７等に格納される（ステップＳ５５）。カットの特徴量Ｓは、例えば、色ヒストグラムや顔画像検出、および／または音声の量や音調・リズム等、あるいはこれらの組合せとして算出される。
【００４８】
つぎに、処理対象となる後続カットの存在が確認される（ステップＳ５７）。後続カットが存在すれば（ステップ５７で「Ｙｅｓ」）、後続カットの特徴量Ｓ´が算出され（ステップＳ５９）、後続カットとカットグループ１−ｍの間で特徴量Ｓの類似が判定される（ステップＳ６１）。ここで、判定に際しては、直前カットよりも大きなグループＩＤを伴うカットグループとの間で、特徴量Ｓの類似度が優先的に判定されてもよい。これは、カットの繰返しが行われる場合、直前カットよりも後続カットが属するカットグループのグループＩＤが大きくなるためである。
【００４９】
そして、後続カットとカットグループ１−ｍのいずれかの間で特徴量Ｓの類似度が所定の閾値以上であると判定された（ステップＳ６１で「Ｙｅｓ」）場合、後続カットには、最も類似度の高いカットグループのグループＩＤが付与される（ステップＳ６３）。後続カットの特徴量Ｓ´は、後続カットが属するカットグループの特徴量Ｓの一部として格納されて利用されてもよく（ステップＳ６５）、棄却されてもよい。
【００５０】
一方、後続カットとカットグループ１−ｍの全ての間で特徴量Ｓの類似度が所定の閾値未満であると判定された（ステップＳ６１で「Ｎｏ」）場合、新たなカットグループを生成するためにグループ数ｍが１インクリメントされる（ステップＳ６７）。後続カットには、新たなカットグループとして、グループ数ｍに相当するグループＩＤが付与される（ステップＳ６９）。後続カットの特徴量Ｓは、後続カットが属する新たなカットグループの特徴量Ｓｍとして格納されて利用される（ステップＳ７１）。
【００５１】
ステップＳ５７−Ｓ７１の処理は、後続カットが存在しなくなるまで（ステップ５７で「Ｎｏ」）繰返される。そして、後続カットが存在しなければ、カット区分処理が終了し、図３に示すように、引き続きステップＳ１９の処理が行われる。カット区分部１５では、カット遷移の検出結果とともに、カットの区分結果がカット間距離算出部１７に供給される。
【００５２】
図６には、図４に示したカット構成におけるカット区分処理の処理結果が示されている。図６に示すように、各カットの特徴量Ｓの類似度に基づき、カット１、３、６にグループＩＤ＝１が付与され、カット２、４、７にグループＩＤ＝２が付与され、カット５にグループＩＤ＝３が付与されている。
【００５３】
カット間距離算出部１７では、カット遷移情報に基づきカット間距離Ｄｃが算出され（ステップＳ１９）、算出結果がカットグループ間距離算出部１９に供給される。図７Ａ−７Ｃには、各種のカット遷移情報を用いて、カット１−３からなる動画像ＭＰについてカット間距離Ｄｃを算出する手順が示されている。
【００５４】
まず、図７Ａでは、動画像ＭＰ中でのカット遷移の順序を示すカットＩＤがカット遷移情報として用いられている。図７Ａに示すように、カット１−３には、カットＩＤ＝１−３が各々に付与されている。
【００５５】
まず、カットｉのカットＩＤ＝ｎｉとカットｊのカットＩＤ＝ｎｊ（ｎｉ＜ｎｊ）の差分値（ｎｊ−ｎｉ）が求められる。つぎに、差分値（ｎｊ−ｎｉ）のべき乗値（ｎｊ−ｎｉ）ａ（ａ≠０）がカットｉ−ｊ間のカット間距離Ｄｃｉ、ｊとして算出される。
【００５６】
べき指数ａは、０以外の任意の整数または実数として定められる。ここで、動画像ＭＰ中でのカット遷移の順序が互いに近いカット間ほど、べき指数ａ＜０である場合にカット間距離Ｄｃが小さくなり、べき指数ａ＞０である場合にカット間距離Ｄｃが大きくなる。なお、以下では、ａ＝−２の場合について説明する。
【００５７】
例えば、カット１−２間のカット間距離Ｄｃ１、２は、カットＩＤの差分値１（＝２−１）となり、カット間距離Ｄｃ１、２＝１として算出される。また、カット１−３間のカット間距離Ｄｃ１、３は、カットＩＤの差分値２（＝３−１）となり、カット間距離Ｄｃ１、３＝２−２＝１／４として算出される。同様にして、カット２−３間のカット間距離Ｄｃ２、３は、カット間距離Ｄｃ２、３＝１として算出される。
【００５８】
また、図７Ｂでは、動画像ＭＰ中でのカット遷移のタイミングを示すフレーム番号がカット遷移情報として用いられている。図７Ｂに示すように、カット１−３には、開始フレーム番号および終了フレーム番号が各々に付与されている。例えば、カット１の開始：終了フレーム番号がｆ＝１：４０、カット２の開始：終了フレーム番号がｆ＝４１：８０、カット３の開始：終了フレーム番号がｆ＝８１：１２０として付与されている。
【００５９】
まず、カットｉの最終フレーム番号ｎｉとカットｊの開始フレーム番号ｎｊ（ｎｉ＜ｎｊ）の差分値（ｎｊ−ｎｉ）が求められる。つぎに、差分値（ｎｊ−ｎｉ）のべき乗値（ｎｊ−ｎｉ）ｂ（ｂ≠０）がカットｉ−ｊ間のカット間距離Ｄｃｉ、ｊとして算出される。
【００６０】
べき指数ｂは、０以外の任意の整数または実数として定められる。ここで、動画像ＭＰ中でのカット遷移のタイミングが互いに近いカット間ほど、べき指数ｂ＜０である場合にカット間距離Ｄｃが小さくなり、べき指数ｂ＞０である場合にカット間距離Ｄｃが大きくなる。なお、以下では、ｂ＝−１の場合について説明する。
【００６１】
例えば、カット１−２間のカット間距離Ｄｃ１、２は、フレーム番号の差分値１（＝４１−４０）となり、カット間距離Ｄｃ１、２＝１として算出される。また、カット１−３間のカット間距離Ｄｃ１、３は、フレーム番号の差分値４１（＝８１−４０）となり、カット間距離Ｄｃ１、３＝１／４１として算出される。同様にして、カット２−３間のカット間距離Ｄｃ２、３は、カット間距離Ｄｃ２、３＝１として算出される。
【００６２】
ここで、動画像ＭＰ中でのカット遷移のタイミングを示すカット遷移情報としては、タイムフレームが用いられてもよい。タイムフレームは、例えば、カット１の開始：終了タイムフレームが０秒：４０秒、カット２の開始：終了タイムフレームが４０．０５秒：８０秒、カット３の開始：終了タイムフレームが８０．０５秒：１２０秒として付与される。タイムフレームの場合もフレーム番号の場合と同様に、カット間距離Ｄｃを算出することができる。
【００６３】
なお、フレーム番号やタイムフレームをカット遷移情報として用いる場合、連続するカット同士のカット間距離Ｄｃが他のカットとの間のカット間距離Ｄｃよりも非常に大きくまたは小さくなってしまう（例えば、図７Ｂの例では、Ｄｃ１、２＝１に対してＤｃ１、３＝１／４１）。この場合、連続するカット同士のカット間距離Ｄｃについては、動画像ＭＰ中でフレーム数または時間間隔が最小となるカットについて求められたカット間距離Ｄｃの１／２（例えば、Ｄｃ１、２＝Ｄｃ１、３／２＝１／８２）とする等、適当に調整されることが望ましい。
【００６４】
また、図７Ｃでは、カットＩＤおよびフレーム番号がカット遷移情報として用いられている。図７Ｃに示すように、カット１−５には、カットＩＤとともに、開始フレーム番号および終了フレーム番号が各々に付与されている。
【００６５】
まず、図７Ａに示したように、カットＩＤを用いて第１のカット間距離Ｄｃ１が算出される。つぎに、図７Ｂに示したように、フレーム番号を用いて第２のカット間距離Ｄｃ２が算出される。そして、第１のカット間距離Ｄｃ１および第２のカット間距離Ｄｃ２を項とする、例えば以下のような多項式に基づき、カット間距離Ｄｃが算出される。なお、多項式中の重み係数ｗ１、ｗ２は、カット間の関係性としてカット遷移の順序とタイミングを各々にどの程度重視するか、という評価基準に従って適宜に設定される。
Ｄｃｉ、ｊ＝ｗ１×Ｄｃ１ｉ、ｊ＋ｗ２×Ｄｃ２ｉ、ｊ
【００６６】
例えば、ｗ１＝０．８、ｗ２＝０．２の場合、カット１−２間のカット間距離Ｄｃ１、２＝１（＝０．８×１＋０．２×１）、カット１−３間のカット間距離Ｄｃ１、３≒０．２０（＝０．８×１／４＋０．２×１／４１）、カット２−３間のカット間距離Ｄｃ２、３＝１（＝０．８×１＋０．２×１）となる。
【００６７】
図８には、図４に示したカット構成におけるカット間距離Ｄｃの算出結果が示されている。図８に示すように、カット１−７には、カットＩＤ＝１−７が各々に付与され、各カットの特徴量Ｓの類似度に基づき、カット１、３、６にグループＩＤ＝１が付与され、カット２、４、７にグループＩＤ＝２が付与され、カット５にグループＩＤ＝３が付与されている。図８では、カット遷移情報としてカットＩＤが用いられている。また、カット間距離Ｄｃを算出するためにべき指数ａ＝−２が用いられている。
【００６８】
図８に示すカット間距離Ｄｃの算出結果によれば、例えば、カット１とカット２、３、４、５、６、７の間のカット間距離ＤｃがＤｃ１、２＝１、Ｄｃ１、３＝１／４、Ｄｃ１、４＝１／９、Ｄｃ１、５＝１／１６、Ｄｃ１、６＝１／２５、Ｄｃ１、７＝１／３６と算出されている。
【００６９】
図３を参照すると、カットグループ間距離算出部１９では、カット間距離Ｄｃの算出結果に基づきカットグループ間距離Ｄｇが算出され、算出結果がカット構成画像生成部２１に供給される（ステップＳ２１）。
【００７０】
図９には、図８に示したカット構成におけるカットグループ間距離Ｄｇの算出結果が示されている。図９に示すように、カットグループ間距離Ｄｇは、複数のカットについて算出されたカット間距離Ｄｃをカットグループ毎に合算して算出される。なお、図９に示す例では、カットグループ間距離Ｄｇが合算値の逆数として算出されているが、逆数として算出されなくてもよい。
【００７１】
図９に示す例では、カットグループ１とカットグループ２の間のカットグループ間距離Ｄｇ１、２は、カットグループ１に属するカット１、３、６のいずれかとカットグループ２に属するカット２、４、７のいずれかとの間のカット間距離Ｄｃと、カット１、３、６同士のカット間距離Ｄｃと、カット２、４、７同士のカット間距離Ｄｃを、以下のように合算し、合算値の逆数として算出されている。
Ｄｇ１、２＝｛（Ｄｃ１、２＋Ｄｃ１、４＋Ｄｃ１、７＋Ｄｃ２、３＋Ｄｃ２、６＋Ｄｃ３、４＋Ｄｃ３、７＋Ｄｃ４、６＋Ｄｃ６、７）
＋（Ｄｃ１、３＋Ｄｃ１、６＋Ｄｃ３、６）＋（Ｄｃ２、４＋Ｄｃ２、７＋Ｄｃ４、７）｝−１
＝｛（１＋１／９＋１／３６＋１＋１／１６＋１＋１／１６＋１／４＋１）
＋（１／４＋１／２５＋１／９）＋（１／４＋１／２５＋１／９）｝−１
＝（４．５１＋０．４０＋０．４０）−１≒０．１９
【００７２】
なお、カットグループ間距離Ｄｇ１、２は、以下のように、カットグループ１に属するカット１、３、６のいずれかとカットグループ２に属するカット２、４、７のいずれかとの間のカット間距離Ｄｃとして算出されてもよい。
Ｄｇ１、２＝｛（Ｄｃ１、２＋Ｄｃ１、４＋Ｄｃ１、７＋Ｄｃ２、３＋Ｄｃ２、６＋Ｄｃ３、４＋Ｄｃ３、７＋Ｄｃ４、６＋Ｄｃ６、７）｝−１
＝｛（１＋１／９＋１／３６＋１＋１／１６＋１＋１／１６＋１／４＋１）
＝４．５１−１≒０．２２
【００７３】
また、カットグループ１とカットグループ３のカットグループ間距離Ｄｇ１、３は、カットグループ１に属するカット１、３、６のいずれかとカットグループ３に属するカット５との間のカット間距離Ｄｃを、以下のように合算して算出されている。同様に、カットグループ２とカットグループ３のカットグループ間距離Ｄｇ２、３は、カットグループ２に属するカット２、４、７のいずれかとカットグループ３に属するカット５との間のカット間距離Ｄｃを、以下のように合算して算出されている。
Ｄｇ１、３＝（Ｄｃ１、５＋Ｄｃ３、５＋Ｄｃ５、６）−１
＝（１／１６＋１／４＋１）−１＝１６／２１≒０．７６
Ｄｇ２、３＝（Ｄｃ２、５＋Ｄｃ４、５＋Ｄｃ５、７）−１
＝（１／９＋１＋１／４）−１＝３６／４９≒０．７３
【００７４】
図４に示した動画像ＭＰは、カット１、カット２、カット１に類似するカット３、カット２に類似するカット４、カット５、カット１、３に類似するカット６、カット２、４に類似するカット７というカット構成を有する。つまり、図４に示した動画像ＭＰは、カット１、２とカット３、４とカット６、７からなるカットの繰返しと、カット４に続くカット５により構成されている。
【００７５】
このため、カットの繰返しから判断して、カット１、３、６が属するカットグループ１と、カット２、４、７が属するカットグループ２との間で強い関係性が認められる。また、カット遷移の順序から判断して、カットグループ３には、カットグループ１よりもカットグループ２との間で強い関係性が認められる。
【００７６】
そして、図９に示した算出結果には、カットグループ１−３の間でカットグループ間距離Ｄｇ１、２＜Ｄｇ２、３＜Ｄｇ１、３の関係性が明らかにされている。ここで、カットグループ間距離Ｄｇがカットグループ間の関係性の強さに反比例するように算出されていることを考慮すれば、図９に示した算出結果には、カットグループ１−３の間の関係性の強さが反映されているといえる。
【００７７】
カットグループ間距離Ｄｇを算出すると、図３に示すように、カット構成画像生成部２１では、まず、動画像データＭＰおよびカット遷移の検出結果に基づき、各カットに含まれる画像から所定の基準に従って代表画像Ｉが抽出される（ステップＳ２３）。つぎに、カットグループに属するカットの代表画像Ｉと、カットグループ間距離Ｄｇを示す情報を含むカット構成画像ＣＩが生成される（ステップＳ２５）。
【００７８】
図１０には、図４に示したカット構成におけるカット構成画像ＣＩの一例が示されている。図１０に示すカット構成画像ＣＩには、カットグループ１に属するカット１、３、６の代表画像Ｉ１、Ｉ３、Ｉ６、カットグループ２に属するカット２、４、７の代表画像Ｉ２、Ｉ４、Ｉ７、およびカットグループ３に属するカット５の代表画像Ｉ５が配置されている。ここで、同一カットグループに属するカットの代表画像Ｉは、横並びに纏めて配置されている。
【００７９】
そして、カットグループ毎の代表画像Ｉの集合は、図９に示したカットグループ間距離Ｄｇに従って隔てて配置されている。つまり、カットグループ毎の代表画像Ｉの集合は、カットグループ１−２間の距離と、カットグループ１−３間の距離と、カットグループ２−３間の距離の比率がＤｇ１、２：Ｄｇ１、３：Ｄｇ２、３＝０．１９：０．７６：０．７３となるように配置されている。これにより、カットグループ間の関係性が強いカットグループほど近づけて配置することで、カットグループ間の関係性が容易に把握可能となる。
【００８０】
なお、カットグループ間距離Ｄｇがカットグループ間の関係性の強さに比例するように算出されている場合、カットグループ毎の代表画像Ｉの集合は、例えば、カットグループ間距離Ｄｇの逆数に従って隔てて配置されてもよい。また、カット構成画像ＣＩは、カットグループ間距離Ｄｇを示す数値情報を含んでもよい。
【００８１】
図１１には、図１０に示したカット構成画像ＣＩの変形例が示されている。図１１に示すカット構成画像ＣＩでは、図１０に示したカット構成画像ＣＩに対して、カット遷移情報に基づきカット遷移の順序を示す情報が付加されている。つまり、カット１、２、３、４、５、６、７というカット遷移の順序を示す矢印が付加されている。これにより、カットグループ間の関係性とともに、動画像ＭＰ中でのカット遷移の順序が容易に把握可能となる。
【００８２】
図１２には、図１０に示したカット構成画像ＣＩの他の変形例が示されている。図１２に示すカット構成画像ＣＩでは、図１０に示したカット構成画像ＣＩに対して、同一カットグループに属する一部のカットの代表画像Ｉが修正されている。つまり、２以上のカットが属するカットグループでは、カットグループの基準カットの代表画像Ｉとの変化部分が強調されるように、他のカットの代表画像Ｉが修正されている。
【００８３】
ここで、カットグループ１、２では、カット１が基準カットとして選択されている。そして、例えば、カット３、６の代表画像Ｉ３´、Ｉ６´は、カット１の代表画像Ｉ１との変化部分が強調されるように、例えば無変化部分に相当する背景画像が省略されている。これにより、動画像ＭＰ中でのカット遷移の順序とともに、カットグループ中でのカット間の関係性（カット内容の変化）が容易に把握可能となる。
【００８４】
［４．まとめ］
以上説明したように、本発明の実施形態に係る動画像処理装置１および動画像処理方法によれば、動画像ＭＰ中でのカット間の時間的距離に基づきカット間距離Ｄｃが算出され、複数のカットについて算出されたカット間距離Ｄｃをカットグループ毎に合算してカットグループ間距離Ｄｇが算出される。そして、カットグループに属するカットの代表画像Ｉと、カットグループ間距離Ｄｇを示す情報を含むカット構成画像ＣＩが生成される。
【００８５】
これにより、カット構成画像ＣＩを用いて、映像の時間的コンテクストに関して映像がどのように表現されているか、という情報が提供される。よって、映像の鑑賞者または利用者は、映像を鑑賞し、または他の映像等の素材として利用する上で、映像のカット構成を容易に把握することができる。
【００８６】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００８７】
１ 動画像処理装置
１１ データ取得部
１３ カット遷移検出部
１５ カット区分部
１７ カット間距離算出部
１９ カットグループ間距離算出部
２１ カット構成画像生成部
２３ カット構成画像出力部
２５ カット構成情報出力部
２７ データ記憶部
ＭＰ 動画（データ）
Ｄｃ カット間距離
Ｄｇ カットグループ間距離
Ｉ 代表画像
ＣＩ カット構成画像
【特許請求の範囲】
【請求項１】
複数のカットを含む動画像から前記カット間の遷移を検出するカット遷移検出部と、
前記カット間の類似度に基づき前記複数のカットをカットグループに区分するカット区分部と、
前記動画像中での前記カット間の時間的距離に基づきカット間距離を算出するカット間距離算出部と、
前記複数のカットについて算出された前記カット間距離を前記カットグループ毎に合算してカットグループ間距離を算出するカットグループ間距離算出部と、
前記カットグループに属する前記カットの代表画像と、前記カットグループ間距離を示す情報を含むカット構成画像を生成するカット構成画像生成部と
を備える動画像処理装置。
【請求項２】
前記カット間距離算出部は、カットｉとカットｊの前記動画像中での前記カット遷移の順序を示す遷移情報をｎｉ、ｎｊ（ｎｉ＜ｎｊ）とする場合に、前記遷移情報ｎｉ、ｎｊの差分値（ｎｊ−ｎｉ）から求まる（ｎｊ−ｎｉ）ａ（ａ≠０）を、前記カットｉと前記カットｊの前記カット間距離として算出する、請求項１に記載の動画像処理装置。
【請求項３】
前記カット間距離算出部は、カットｉとカットｊの前記動画像中での前記カット遷移のタイミングを示す遷移情報をｎｉ、ｎｊ（ｎｉ＜ｎｊ）とする場合に、前記遷移情報ｎｉ、ｎｊの差分値（ｎｊ−ｎｉ）から求まる（ｎｊ−ｎｉ）ｂ（ｂ≠０）を、前記カットｉと前記カットｊの前記カット間距離として算出する、請求項１に記載の動画像処理装置。
【請求項４】
前記遷移情報ｎｉ、ｎｊは、各々に前記カットｉの終了フレーム番号および前記カットｊの開始フレーム番号であり、または各々に前記カットｉの終了タイムフレームおよび前記カットｊの開始タイムフレームである、請求項３に記載の動画像処理装置。
【請求項５】
前記カット間距離算出部は、カットｉとカットｊの前記動画像中での前記カット遷移の順序を示す遷移情報をｎ１ｉ、ｎ１ｊ（ｎ１ｉ＜ｎ１ｊ）とする場合に、前記遷移情報ｎ１ｉ、ｎ１ｊの差分値（ｎ１ｊ−ｎ１ｉ）から求まる（ｎ１ｊ−ｎ１ｉ）ａ（ａ≠０）を、前記カットｉと前記カットｊの第１のカット間距離として算出し、
前記カットｉと前記カットｊの前記動画像中での前記カット遷移のタイミングを示す遷移情報をｎ２ｉ、ｎ２ｊ（ｎ２ｉ＜ｎ２ｊ）とする場合に、前記遷移情報ｎ２ｉ、ｎ２ｊの差分値（ｎ２ｊ−ｎ２ｉ）から求まる（ｎ２ｊ−ｎ２ｉ）ｂ（ｂ≠０）を、前記カットｉと前記カットｊの第２のカット間距離として算出し、
前記第１のカット間距離および前記第２のカット間距離を項とする多項式に基づき、前記カットｉと前記カットｊの前記カット間距離を算出する、請求項１に記載の動画像処理装置。
【請求項６】
前記遷移情報ｎ２ｉ、ｎ２ｊは、各々に前記カットｉの終了フレーム番号および前記カットｊの開始フレーム番号であり、または各々に前記カットｉの終了タイムフレームおよび前記カットｊの開始タイムフレームである、請求項５に記載の動画像処理装置。
【請求項７】
前記代表画像生成部は、相異なる前記カットグループに属する１以上のカットの代表画像を、前記カットグループ間距離に従って隔てて配置した前記カット構成画像を生成する、請求項１から６のいずれか１項に記載の動画像処理装置。
【請求項８】
前記代表画像生成部は、前記カット遷移の順序を示す情報を含む前記カット構成画像を生成する、請求項７に記載の動画像処理装置。
【請求項９】
前記代表画像生成部は、同一カットグループに２以上のカットが属する場合において、前記カットグループの基準カットの前記代表画像との変化部分が強調されるように、他のカットの前記代表画像を修正する、請求項７または８に記載の動画像処理装置。
【請求項１０】
前記カット間距離算出部は、前記カット間の時間的距離を示す遷移情報の逆数から前記カット間距離を算出し、前記複数のカットについて算出された前記カット間距離を前記カットグループ毎に合算した値の逆数から前記カットグループ間距離を算出する、請求項１から９のいずれか１項に記載の動画像処理装置。
【請求項１１】
複数のカットを含む動画像から前記カット間の遷移を検出し、
前記カット間の類似度に基づき前記複数のカットをカットグループに区分し、
前記動画像中での前記カット間の時間的距離に基づきカット間距離を算出し、
前記複数のカットについて算出された前記カット間距離を前記カットグループ毎に合算してカットグループ間距離を算出し、
前記カットグループに属する前記カットの代表画像と、前記カットグループ間距離を示す情報を含むカット構成画像を生成すること
を含む動画像処理方法。
【請求項１２】
複数のカットを含む動画像から前記カット間の遷移を検出し、
前記カット間の類似度に基づき前記複数のカットをカットグループに区分し、
前記動画像中での前記カット間の時間的距離に基づきカット間距離を算出し、
前記複数のカットについて算出された前記カット間距離を前記カットグループ毎に合算してカットグループ間距離を算出し、
前記カットグループに属する前記カットの代表画像と、前記カットグループ間距離を示す情報を含むカット構成画像を生成すること
を含む動画像処理方法をコンピュータに実行させるためのプログラム。
【請求項１】
複数のカットを含む動画像から前記カット間の遷移を検出するカット遷移検出部と、
前記カット間の類似度に基づき前記複数のカットをカットグループに区分するカット区分部と、
前記動画像中での前記カット間の時間的距離に基づきカット間距離を算出するカット間距離算出部と、
前記複数のカットについて算出された前記カット間距離を前記カットグループ毎に合算してカットグループ間距離を算出するカットグループ間距離算出部と、
前記カットグループに属する前記カットの代表画像と、前記カットグループ間距離を示す情報を含むカット構成画像を生成するカット構成画像生成部と
を備える動画像処理装置。
【請求項２】
前記カット間距離算出部は、カットｉとカットｊの前記動画像中での前記カット遷移の順序を示す遷移情報をｎｉ、ｎｊ（ｎｉ＜ｎｊ）とする場合に、前記遷移情報ｎｉ、ｎｊの差分値（ｎｊ−ｎｉ）から求まる（ｎｊ−ｎｉ）ａ（ａ≠０）を、前記カットｉと前記カットｊの前記カット間距離として算出する、請求項１に記載の動画像処理装置。
【請求項３】
前記カット間距離算出部は、カットｉとカットｊの前記動画像中での前記カット遷移のタイミングを示す遷移情報をｎｉ、ｎｊ（ｎｉ＜ｎｊ）とする場合に、前記遷移情報ｎｉ、ｎｊの差分値（ｎｊ−ｎｉ）から求まる（ｎｊ−ｎｉ）ｂ（ｂ≠０）を、前記カットｉと前記カットｊの前記カット間距離として算出する、請求項１に記載の動画像処理装置。
【請求項４】
前記遷移情報ｎｉ、ｎｊは、各々に前記カットｉの終了フレーム番号および前記カットｊの開始フレーム番号であり、または各々に前記カットｉの終了タイムフレームおよび前記カットｊの開始タイムフレームである、請求項３に記載の動画像処理装置。
【請求項５】
前記カット間距離算出部は、カットｉとカットｊの前記動画像中での前記カット遷移の順序を示す遷移情報をｎ１ｉ、ｎ１ｊ（ｎ１ｉ＜ｎ１ｊ）とする場合に、前記遷移情報ｎ１ｉ、ｎ１ｊの差分値（ｎ１ｊ−ｎ１ｉ）から求まる（ｎ１ｊ−ｎ１ｉ）ａ（ａ≠０）を、前記カットｉと前記カットｊの第１のカット間距離として算出し、
前記カットｉと前記カットｊの前記動画像中での前記カット遷移のタイミングを示す遷移情報をｎ２ｉ、ｎ２ｊ（ｎ２ｉ＜ｎ２ｊ）とする場合に、前記遷移情報ｎ２ｉ、ｎ２ｊの差分値（ｎ２ｊ−ｎ２ｉ）から求まる（ｎ２ｊ−ｎ２ｉ）ｂ（ｂ≠０）を、前記カットｉと前記カットｊの第２のカット間距離として算出し、
前記第１のカット間距離および前記第２のカット間距離を項とする多項式に基づき、前記カットｉと前記カットｊの前記カット間距離を算出する、請求項１に記載の動画像処理装置。
【請求項６】
前記遷移情報ｎ２ｉ、ｎ２ｊは、各々に前記カットｉの終了フレーム番号および前記カットｊの開始フレーム番号であり、または各々に前記カットｉの終了タイムフレームおよび前記カットｊの開始タイムフレームである、請求項５に記載の動画像処理装置。
【請求項７】
前記代表画像生成部は、相異なる前記カットグループに属する１以上のカットの代表画像を、前記カットグループ間距離に従って隔てて配置した前記カット構成画像を生成する、請求項１から６のいずれか１項に記載の動画像処理装置。
【請求項８】
前記代表画像生成部は、前記カット遷移の順序を示す情報を含む前記カット構成画像を生成する、請求項７に記載の動画像処理装置。
【請求項９】
前記代表画像生成部は、同一カットグループに２以上のカットが属する場合において、前記カットグループの基準カットの前記代表画像との変化部分が強調されるように、他のカットの前記代表画像を修正する、請求項７または８に記載の動画像処理装置。
【請求項１０】
前記カット間距離算出部は、前記カット間の時間的距離を示す遷移情報の逆数から前記カット間距離を算出し、前記複数のカットについて算出された前記カット間距離を前記カットグループ毎に合算した値の逆数から前記カットグループ間距離を算出する、請求項１から９のいずれか１項に記載の動画像処理装置。
【請求項１１】
複数のカットを含む動画像から前記カット間の遷移を検出し、
前記カット間の類似度に基づき前記複数のカットをカットグループに区分し、
前記動画像中での前記カット間の時間的距離に基づきカット間距離を算出し、
前記複数のカットについて算出された前記カット間距離を前記カットグループ毎に合算してカットグループ間距離を算出し、
前記カットグループに属する前記カットの代表画像と、前記カットグループ間距離を示す情報を含むカット構成画像を生成すること
を含む動画像処理方法。
【請求項１２】
複数のカットを含む動画像から前記カット間の遷移を検出し、
前記カット間の類似度に基づき前記複数のカットをカットグループに区分し、
前記動画像中での前記カット間の時間的距離に基づきカット間距離を算出し、
前記複数のカットについて算出された前記カット間距離を前記カットグループ毎に合算してカットグループ間距離を算出し、
前記カットグループに属する前記カットの代表画像と、前記カットグループ間距離を示す情報を含むカット構成画像を生成すること
を含む動画像処理方法をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−３９５２３（Ｐ２０１２−３９５２３Ａ）
【公開日】平成２４年２月２３日（２０１２．２．２３）
【国際特許分類】
【出願番号】特願２０１０−１７９６９５（Ｐ２０１０−１７９６９５）
【出願日】平成２２年８月１０日（２０１０．８．１０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年２月２３日（２０１２．２．２３）
【国際特許分類】
【出願日】平成２２年８月１０日（２０１０．８．１０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]