説明

映像再生装置、映像再生方法及び映像再生プログラム

【課題】映像データから効率的にダイジェストを再生可能な映像再生装置、映像再生方法及び映像再生プログラムを提供する。
【解決手段】特徴量算出部21は、映像データを構成する複数のフレームから、フレームの特徴を示す特徴量を算出する。重要度算出部22は、映像データ、映像データの属性を示す属性情報を含む映像情報から、フレームの重要度を算出する。ダイジェスト区間決定部23は、重要度算出部22が算出した重要度が最も高い第1のフレームを含むように、映像データのダイジェストとして再生される区間であるダイジェスト区間を決定し、前記第1のフレームと、第1のフレームの次に重要度が高い第2のフレームとの関係性を示す相関度に基づいて、第2のフレームを含む区間を、新たなダイジェスト区間に決定するか否かを判定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像データの要約映像を再生する映像再生装置、映像再生方法及び映像再生プログラムに関する。
【背景技術】
【0002】
映像データをすべて再生することなく、映像データの内容の概略を簡単に把握するために、映像データ中の特定の区間を映像データのダイジェスト(要約映像)として再生する技術が提案されている。映像データからダイジェストとして再生される区間を決定する方法として、撮影時に記録される撮影装置への入力操作や、カメラワーク等の撮影装置の挙動に関する情報、また、撮影された映像の符号情報から得られる動きベクトルの情報等から、映像データのフレーム、所定の区間について、それらフレーム、区間がどの程度ダイジェストとして重要かを示す重要度を算出し、その重要度に基づいて、ダイジェスト区間を決定する方法が知られている(特許文献1,2参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許3230858号公報
【特許文献2】特許4039873号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来のダイジェスト区間決定方法では、重要度の算出に用いる要素を連続的に有する映像データにおいて、必然的に重要度が高い区間が連続的に発生し、それらの区間のみがダイジェスト区間として決定されてしまう。
【0005】
一方で、個人が撮影装置を用いて映像を撮影するような場合、映像データは、子供の成長記録や旅先での風景等、様々な種類の映像が混在する映像データとなることが考えられる。この場合、例えば引用文献2に記載された発明のように、顔領域を検出することにより、顔領域が存在する区間から重要度を算出して再生区間を決定する方法では、子供の成長記録は、検出された顔領域から重要度が算出されダイジェスト区間として選択されるが、旅先での風景からは、顔領域が検出されず相対的に重要度が低くなりダイジェスト区間として選択されないことになる。
【0006】
これら従来技術では、個人が撮影した映像のように、様々な種類の映像が混在した中から、映像の概略を把握するために効率的な区間を選択して、要約映像として再生することが困難であった。
【0007】
本発明は、映像データから効率的にダイジェストを再生可能な映像再生装置、映像再生方法及び映像再生プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本発明の第1の態様は、映像データを構成する複数のフレームから、フレームの特徴を示す特徴量を算出する特徴量算出部(21)と、映像データ、映像データの属性を示す属性情報を含む映像情報(31)から、フレームの重要度を算出する重要度算出部(22)と、重要度算出部(22)が算出した重要度が最も高い第1のフレームを含むように、映像データのダイジェストとして再生される区間であるダイジェスト区間を決定し、第1のフレームと、第1のフレームの次に重要度が高い第2のフレームとの関係性を示す相関度に基づいて、第2のフレームを含む区間を、新たなダイジェスト区間に決定するか否かを判定するダイジェスト区間決定部(23)と、ダイジェスト区間を再生する再生処理部(24)とを備える映像再生装置であることを要旨とする。
【0009】
本発明の第2の態様は、映像データを構成する複数のフレームから、フレームの特徴を示す特徴量を算出する特徴量算出ステップ(S3)と、映像データ、映像データの属性を示す属性情報を含む映像情報から、フレームの重要度を算出する重要度算出ステップ(S4)と、重要度が最も高い第1のフレームを含むように、映像データのダイジェストとして再生される区間であるダイジェスト区間を決定し、第1のフレームと、第1のフレームの次に重要度が高い第2のフレームとの関係性を示す相関度に基づいて、第2のフレームを含む区間を、新たなダイジェスト区間に決定するか否かを判定するダイジェスト区間決定ステップ(S5)と、ダイジェスト区間を再生するステップ(S6)とを含む映像再生方法であることを要旨とする。
【0010】
本発明の第3の態様は、映像データを構成する複数のフレームから、フレームの特徴を示す特徴量を算出する特徴量算出ステップ(S3)と、映像データ、映像データの属性を示す属性情報を含む映像情報から、フレームの重要度を算出する重要度算出ステップ(S4)と、重要度が最も高い第1のフレームを含むように、映像データのダイジェストとして再生される区間であるダイジェスト区間を決定し、第1のフレームと、第1のフレームの次に重要度が高い第2のフレームとの関係性を示す相関度に基づいて、第2のフレームを含む区間を、新たなダイジェスト区間に決定するか否かを判定するダイジェスト区間決定ステップ(S5)と、ダイジェスト区間を再生するステップ(S6)とを含む処理を実行させる映像再生プログラムであることを要旨とする。
【発明の効果】
【0011】
本発明によれば、映像データから、映像の概略を把握するのに効率的な区間をダイジェストとして再生できる。
【図面の簡単な説明】
【0012】
【図1】本発明の実施の形態に係る映像再生装置の基本的な構成を説明する模式的なブロック図である。
【図2】本発明の実施の形態に係る映像再生方法を説明するフローチャートである。
【図3】図3(a)は、本発明の実施の形態に係る映像再生装置に用いる映像情報の一例として、映像情報のディレクトリ構造を説明する図である。図3(b)は、映像情報の他の例として、映像データファイルのデータ構造を説明する図である。
【図4】図4(a)は、本発明の実施の形態に係る映像再生装置の特徴量算出部が行う処理を説明するために、映像データのフレームを図示した一例である。図4(b)は、図4(a)に示すフレームの領域d1における輝度のヒストグラムを図示した一例である。
【図5】本発明の実施の形態に係る映像再生装置に用いる重要度算出ポリシーを説明する図である。
【図6】本発明の実施の形態に係る映像再生方法のうち、ダイジェスト区間決定部が行う処理を説明するフローチャートである。
【図7】図7(a)は、本発明の実施の形態に係る映像再生装置のダイジェスト区間決定部が行う処理を説明するために、映像データのフレームの重要度を図示した一例である。図7(b)は、図7(a)本発明の実施の形態に係る映像再生装置に用いる重要度リストの一例である。図7(c)は、図7(b)に示す重要度リストの他の例である。
【図8】本発明の実施の形態に係る映像再生装置のダイジェスト区間決定部が行う処理を説明するために、映像データにおけるダイジェスト区間を図示した一例である。
【発明を実施するための形態】
【0013】
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。但し、以下に示す実施の形態は、本発明の技術的思想を具体化するための装置や方法、及びこれらの装置に用いられるプログラムを例示するものであって、本発明の技術的思想は、下記の実施の形態に例示した装置や方法、及びこれらの装置に用いられるプログラムに特定するものでない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることができる。
【0014】
本発明の実施の形態に係る映像再生装置1は、図1に示すように、映像再生装置1が行う種々の演算を処理する処理部2と、プログラムファイル、映像ファイル等の種々のデータを格納する記憶部3と、処理部2の信号の入出力を制御する入出力制御部4と、ユーザの操作に応じて出力する信号を、入出力制御部4を介して処理部2に入力する操作入力部5と、種々の映像等を表示する表示装置6とを備える。映像再生装置1は、ノイマン型コンピュータのハードウェア構成をなすことが可能である。
【0015】
記憶部3は、映像の実データである映像データ、及び映像データの種々の属性を示す属性情報を含む映像情報31を記憶する。また、記憶部3は、映像再生装置1が行う処理に必要な一連のプログラムを格納する他、処理に必要な一時記憶域等に用いることができる。
【0016】
記憶部3は、ハードディスク(HD)等の磁気ディスク、磁気テープ、光ディスク、光磁気ディスク等の不揮発性の記憶媒体と、記憶媒体に応じた磁気ヘッドや光ピックアップ等、記憶媒体に情報を入出力するための情報入出力部とから構成される。記憶部3は、その他、RAMディスク、ICカード、フラッシュメモリカード、USBフラッシュメモリ、フラッシュディスク(SSD)、SRAM、DRAM等の半導体メモリであっても良い。
【0017】
操作入力部5は、映像データの再生開始、再生停止、早送り、巻き戻し等、映像再生装置1の基本的な操作が可能なボタンや、コンピュータ等で使用されるキーボード、マウス、数字キー、上下左右方向を指定する入力操作が可能な十字キー等、映像再生装置1の使用者が映像再生装置1の動作を指示するための入力装置から構成される。
【0018】
表示装置6は、映像再生装置1が再生する映像データを表示する種々のディスプレイで構成される。また、操作入力部5及び表示装置6は、入力装置とディスプレイとを応用した構成として、タッチパネルやライトペン等を採用しても良い。また、表示装置6は、映像再生装置1の外部に設けられ、映像再生装置1と接続される構成に限るものでなく、映像再生装置1の内部に設けられるようにしても良い。
【0019】
処理部2は、特徴量算出部21と、重要度算出部22と、ダイジェスト区間決定部23と、再生処理部24とを論理構造として有する。処理部2は、その他、映像再生装置1が行う処理に必要な情報を一時記憶する一時記憶部(図示省略)を備える。
【0020】
映像再生装置1は、映像再生装置1の電源投入や、操作入力部5からの動作開始を指示する入力により、図2のフローチャートに示すように、記憶部3に記憶される映像データのダイジェストを再生する、映像再生装置1の処理を開始する。
【0021】
図2のフローチャートに示すステップS1において、処理部2は、使用者の入力操作に応じた操作入力部5から、ダイジェストの全体の時間となるダイジェスト時間を入力する。ダイジェスト時間は、数字キーやタッチパネル等の操作入力部5から、0〜9までの任意の整数を指定されることにより、処理部2に入力される。また、表示装置6に予め設定された複数のダイジェスト時間を表示し、操作入力部5からの入力により、1つのダイジェスト時間が選択されるようにしても良い。ダイジェスト時間は、必ずしもダイジェストの再生の開始毎に入力される必要はなく、前回のダイジェスト再生時に設定され、記憶部3に記憶されたダイジェスト時間を使用したり、予め記憶部3に記憶されたダイジェスト時間を使用したり、記憶部3に記憶された映像情報31の総再生時間に基づいて自動的にダイジェスト時間が入力されるようにしても良い。
【0022】
ステップS2において、処理部2は、記憶部3から映像情報31に含まれる映像データと属性情報とを読み出す。
【0023】
例えば、図3(a)に示すように、映像情報31の映像データは、記憶部3のルートディレクトリ内の映像データディレクトリ内に、映像データファイル(0001.mpg、0002.mpg、0003.mpg、…)として格納されている。映像情報31の属性情報は、記憶部3のルートディレクトリ内の属性情報ディレクトリ内に、属性情報ファイル(0001.dat、0002.dat、0003.dat、…)として格納されている。映像データファイルと属性情報ファイルは、同じ4桁の数字を含むファイル名を付けて記憶されることで、0001.mpgと0001.datのように、互いに対応するファイルが判別できるようになっている。すなわち、映像データファイル0001.mpgの種々の属性を示す属性情報は、属性情報ファイル0001.datとして記憶部3に記憶される。
【0024】
また、ファイル名が対応しない場合であっても、例えば、ルートディレクトリに格納された管理ファイルに、映像データファイルと属性情報ファイルとの対応関係を記憶することにより、処理部2が、映像データファイルに対応する属性情報ファイルを判別するようにしても良い。
【0025】
また、図3(b)に示すように、映像データファイルの、符号化された映像データとは異なるヘッダ部に、その後に続く符号化された映像データの属性情報が格納されるようにしても良い。
【0026】
映像情報31の属性情報は、撮影装置による映像撮影時の環境や条件を示す撮影条件情報と、撮影装置による映像撮影時の、撮影装置の挙動、撮影装置に対する入力操作、撮影される映像の内容等、映像撮影時に発生した事象に関する撮影事象情報とを含む。
【0027】
撮影条件情報は、例えば、映像の撮影開始時刻、撮影終了時刻等の撮影日時情報、全地球測位システム(GPS)等の測位システムにより取得される映像撮影時の撮影装置の位置を示す撮影位置情報等である。
【0028】
撮影事象情報は、例えば、撮影装置の加速度、角速度、傾き等の物理量を検出する、加速度センサや、ジャイロセンサ等からなる物理量検出器から取得される物理量情報と、撮影装置に対するズーム操作等の入力操作に関する撮影操作情報とを含むカメラワークに関する情報である。撮影事象情報は、その他、映像データを構成する静止画であるフレームを画像解析することにより検出される顔や、基準となるフレームからの動きベクトルや、色相、明度、彩度等、フレーム中の色や、映像データと対応して記録された音声に関する情報等を採用可能である。
【0029】
例えば、撮影日時情報のような映像の撮影時に常に取得できる情報は、図3(b)に示すように、映像データファイルのヘッダ部に記録されるようにすると良い。撮影事象情報のような、映像撮影時、符号化された映像データを記録しながら刻々と変化する情報は、図3(a)に示すように映像データファイルとは別の属性情報ファイルとして記録されるようにすると良い。
【0030】
ステップS3において、特徴量算出部21は、記憶部3から映像情報31を読み出し、映像情報31に含まれる映像データから特徴量を算出する。
【0031】
特徴量は、映像データの各フレーム、又は例えば1秒間など一定間隔のフレーム毎で映像データから求められる。特徴量はその他、例えば、明るさ、色、顔等の特定の被写体の有無など、撮影対象によって変化する、映像データの特徴を示す値を採用可能である。
【0032】
特徴量算出部21は、例えば、図4(a)に示すように、フレームを縦に2分割、横に2分割、計4分割された4つの領域毎に、各画素の輝度Yと色差Cb、Crの値からヒストグラムを作成し、作成したヒストグラムを特徴量として用いることができる。特徴量算出部21は、例えば横640×縦480の画素のフレームの、それぞれ横320×縦240の4つの領域d1,d2,d3,d4について、それぞれ輝度Y、色差Cb、色差Crの計12のヒストグラムを作成する。
【0033】
特徴量算出部21が作成するヒストグラムは、例えば、図4(b)に示すように、領域d1の輝度Yについて、横軸に階調を8とした輝度Yの階級、横軸に各階級の度数を表示する。各階級の度数は、図4(b)に示すように、階級K(K:0〜31の整数)の度数を、NY1(K)とし、同様に、領域d2,d3,d4の階級Kの度数をそれぞれNY2(K),NY3(K),NY4(K)のように表示する。
【0034】
また、色差Cb、色差Crのヒストグラムについても、輝度Yのヒストグラムと同様に、領域d1の色差Cbのヒストグラムにおいて、階級Kの度数をNCb1(K)、領域d1の色差Crのヒストグラムにおいて、階級Kの度数をNCr1(K)のように表す。
【0035】
ステップS4において、重要度算出部22は、特徴量算出部21により特徴量を算出された各フレームについて、予め設定された重要度算出ポリシーを用いて、映像情報31の属性情報に基づいてダイジェストにおける重要度を算出する。
【0036】
重要度算出ポリシーは、例えば図5に示すように、重要度算出ポリシーの各項目に設定された各属性情報に対する重要度を表すテーブルである。重要度算出ポリシーは、どのような傾向の区間をダイジェストに採用するかの方針を示すので、重要度算出ポリシーが表示装置6に表示されることによって、映像再生装置1の使用者は、どのような区間がダイジェストとして再生されるかを知ることができる。重要度算出ポリシーは、予め処理部2または記憶部3に記憶された複数の重要度算出ポリシーの中から、表示装置6に表示された重要度算出ポリシーを参照し、操作入力部5から任意の重要度算出ポリシーを選択するようにしても良い。
【0037】
重要度算出ポリシーは、例えば図5に示すように、「人の顔が映っていて、パンやチルト操作が行われていない固定して撮影された区間」、「動きの激しい区間」等の項目が設定されている。重要度算出ポリシーは、「人の顔が映っていて、パンやチルト操作が行われていない固定して撮影された区間」の項目について、フレームから「顔」が検出された場合には重要度を「+2」加算する、映像撮影時に「パン」、「チルト」のいずれの操作が行われていた場合には、重要度を「−1」加算する、等のように、各項目に対応した各属性情報に対する重要度の増減が設定されている。特徴量算出部21は、重要度算出ポリシーに従い、各フレームにおける各属性情報の重要度の総和、または各属性情報の重要度に基づいて算出される値を、各フレームの重要度として算出する。
【0038】
フレームに表示される顔に関する情報は、映像撮影時、撮影装置が備える人の顔を検出する顔検出器によって検出され、撮影日時と共に属性情報として記録されることができる。パン、チルト等のカメラワークに関する情報は、フレームに表示される顔に関する情報と同様に、映像撮影時、撮影装置が備える物理量検出器によって検出され、撮影日時と共に属性情報として記録されることがきる。重要度算出部22は、記憶部3に記憶される映像情報31の属性情報を読み出し、属性情報に含まれる撮影日時情報に基づいて、どのフレームで顔が検出されたのか、パン、チルト操作が行われたか等の情報を得ることができる。
【0039】
図5に例示した重要度算出ポリシーは、簡略化のため、映像データの属性情報を、「顔」、「パン」、「チルト」等の有無としたが、重要度算出ポリシーに設定される属性情報は、映像データの再生時間の長さや、撮影位置や、フレームの色に関する情報や、音声情報等、他の様々な属性情報を利用しても良い。
【0040】
例えば、重要度算出部22が重要度の算出に用いる属性情報は、フレーム中に検出される顔の大きさ、位置、種類等を用いることができる。すなわち、重要度算出部22は、フレームにおける顔の大きさが大きいほど重要度が高くなるようにしたり、顔の位置がフレームの中央に近いほど重要度が高くなるように、フレーム中央を最大値として周辺ほど低くなる値を、顔の位置に応じた重要度としたりできる。その他、重要度算出部22は、顔認識技術を用いて、フレームにおける認識可能な特定の人物(種類)の顔の有無に応じて、重要度を算出するようにしても良い。
【0041】
また、重要度算出部22が用いる属性情報は、撮影操作情報であるパン、チルト操作の速度(角速度)や移動量などを採用することにより、重要度算出ポリシーに沿って、より精度良く重要度の算出を行うことができる。
【0042】
ステップS5において、ダイジェスト区間決定部23は、特徴量算出部21が算出した特徴量と、重要度算出部22が算出した各フレームの重要度とに基づいて、映像情報31の映像データの、ダイジェストとして再生される区間であるダイジェスト区間の決定を行う。
【0043】
ステップS6において、再生処理部24は、記憶部3に記憶される映像情報31から映像データを読み出して復号化し、ダイジェスト区間決定部23が決定したダイジェスト区間を、撮影日時順に表示装置6に表示してダイジェストを再生する。
【0044】
なお、図1に示す処理部2の特徴量算出部21、重要度算出部22、ダイジェスト区間決定部23、再生処理部24等は、それぞれ論理構造としての表示であり、それぞれ別個のハードウェアである演算処理装置により構成されて構わない。
【0045】
(ダイジェスト区間決定部23の処理の内容)
図6のフローチャートを用いて、図2のフローチャートに示す処理の内容のうち、ステップS5に示すダイジェスト区間決定部23の処理の詳細な内容を説明する。
【0046】
先ず、ステップS501において、ダイジェスト区間決定部23は、重要度算出部22が算出した重要度を用いて、重要度リストを作成する。重要度リストは、重要度算出部22により重要度を算出されたフレームが、重要度の高いフレームから降順で並べられたリストである。重要度リストの作成は、映像データ中の先頭フレームの時刻t=0として、重要度算出部22により重要度を算出された各フレームについて、時刻t=0から再生時間順に処理される。
【0047】
ダイジェスト区間決定部23は、例えば、図7(a)に示すように、映像データの再生時間順の、重要度を算出された各フレームf(0),f(1),f(2),…,f(L),…,f(m)(m:正の整数)について、図7(c)に示す重要度リストを作成する。Lは、重要度を算出された各フレームの、映像データの再生時間順のフレーム番号であり、開始を0としている。ダイジェスト区間決定部23が作成する重要度リストは、図7(c)に示すように、重要度に基づいて降順に並び替えられた各重要度を有するフレームのフレーム番号Lと、各フレームが撮影された日時を表す撮影日時等とが記録される。図7(c)に示すi(i=0,1,2,…)は、最も重要度の高いフレームを重要度番号i=0とし、重要度の降順で並べられたフレームの順番を示すフレーム番号である。その他、重要度リストは、記憶部3の映像情報31として映像データが複数記憶されている場合、各映像データを識別するためのファイル名等の情報も併せて記録される。ダイジェスト区間決定部23は、図7(b)に示すように、各フレームを重要度の高い方から降順で並び替えた後、重要度リストを作成するようにしても良い。
【0048】
ステップS502において、ダイジェスト区間決定部23は、図2に示すフローチャートのステップS2において入力されたダイジェスト時間を、ダイジェスト時間SET_TIMEに設定する。本発明の実施の形態において、入力されたダイジェスト時間を180秒とし、SET_TIME=180として説明する。また、ダイジェスト区間決定部23は、既に決定したダイジェスト区間の総再生時間D_TIMEとして、D_TIME=0を設定し、重要度番号i=0を設定する。
【0049】
ステップS503において、ダイジェスト区間決定部23は、ダイジェスト時間SET_TIMEと、既に決定されたダイジェスト区間の総再生時間D_TIMEとの比較を行う。i=0の場合、未だダイジェスト区間が決定されていないため、D_TIME≦SET_TIMEとなる。D_TIME≦SET_TIMEとならない場合、すなわち、既に決定されたダイジェスト区間の総再生時間D_TIMEが、ダイジェスト時間SET_TIME以上となる場合は、ダイジェスト区間決定部23による処理を終了し、ステップS6に進む。
【0050】
ステップS503の処理においてD_TIME≦SET_TIMEとなる場合、ダイジェスト区間決定部23は、ステップS504において、作成した重要度リストから、最も重要度が高い重要度番号iのフレームを含む所定の区間をダイジェスト区間として決定する。例えば図8に示すように、重要度番号i、フレーム番号Lのフレームf(L)が、映像データの再生開始から40秒の位置のフレームであった場合、ステップS504において、ダイジェスト区間決定部23は、フレームf(L)の前後5秒間、すなわち、再生時間35秒〜45秒の10秒間の区間をダイジェスト区間Aとすることができる。本実施形態では、ダイジェスト区間決定部23に予め、フレームf(L)を中心とした前後所定の時間の区間をダイジェスト区間とすると設定したが、これに限るものではなく、例えば、フレームf(L)を含み、特定の特徴量が所定の閾値以上の区間をダイジェスト区間としても良い。
【0051】
ステップS505において、ダイジェスト区間決定部23は、適宜、重要度リストを更新する。例えば、ダイジェスト区間決定部23は、ステップS504において決定したダイジェスト区間Aに含まれるフレームf(L)を、重要度リストから削除する。
【0052】
このようにダイジェスト区間Aに含まれるフレームf(L)以外のフレームを、重要度リストから削除することにより、ステップS504のダイジェスト区間の決定において、既に決定されたダイジェスト区間と重複する区間を、新たなダイジェスト区間として決定してしまうことを防ぐことができる。
【0053】
ステップS506において、ダイジェスト区間決定部23は、「既に決定されたダイジェスト区間の総再生時間D_TIME」に、ステップS504において決定したダイジェスト区間の再生時間10秒を加算する。したがってD_TIME=10となる。また、ステップS506において、次のステップS507における初期化処理としてn=1とする。nは、重要度番号iに加算する値である。
【0054】
なお、ステップS505において、既に決定されたダイジェスト区間と重複する区間を、新たなダイジェスト区間として決定することを認める場合は、ステップS505を省略し、ステップS506において、新たなダイジェスト区間の、既に決定されたダイジェスト区間と重複しない区間の再生時間を、「既に決定されたダイジェスト区間の総再生時間D_TIME」に加算すれば良い。
【0055】
ステップS507において、ダイジェスト区間決定部23は、重要度番号iのフレームと、重要度リストにあるフレームの内、重要度番号iのフレームの次に重要度が高い重要度番号i+nのフレームとの類似度Sを求める。類似度Sは、特徴量算出部21が求めた重要度番号iのフレームの、4つの領域d1,d2,d3,d4それぞれの、輝度Y、色差Cb、色差Crのヒストグラムと、重要度番号i+nのフレームの、4つの領域d1,d2,d3,d4それぞれの、輝度Y、色差Cb、色差Crのヒストグラムとから求める。類似度Sは、式(1)によって求められる。
【数1】

【0056】
jは、特徴量算出部21がヒストグラムの作成に際して、フレームを分割した数を示す。類似度Sは、重要度番号i,i+nの2つのフレームの、輝度Y、色差Cb、色差Crの3種のヒストグラムについて、各階級Kの度数の差の2乗和によって求められる。重要度番号i,i+nの2つのフレームの特徴量が似た傾向にある場合、ヒストグラムの各階級Kでの度数の差が小さくなり、その総和である類似度Sは小さくなる。一方で特徴量が異なる傾向の場合、ヒストグラムの各階級の度数の差が大きくなり、類似度Sは大きくなる。
【0057】
ステップS508において、ダイジェスト区間決定部23は、重要度番号i,i+nの2つのフレームの類似度Sと、撮影日時情報から算出される重要度番号i,i+nの2つのフレームの撮影日時の時間差Dから、式(2)を用いて、重要度番号iのフレームと、重要度番号i+nのフレームの相関度Rを求め、相関度Rと、予め設定された閾値Thとの比較を行う。
【0058】
R=1/(S+D) …(2)
相関度Rは、重要度番号i,i+nの2つのフレームの関係性の高さを示す値であり、同内容を撮影した映像である可能性が高いほど、大きい値になる。相関度Rは、重要度番号i,i+nの2つのフレームの特徴量が異なるほど、ヒストグラムの各階級での度数の差が大きくなり、類似度Sが大きくなるため、小さくなる。また、相関度Rは、重要度番号i,i+nの2つのフレームが撮影された日時の時間差Dが大きいほど、小さくなる。
【0059】
このように相関度Rを求めることで、例えば、重要度番号i,i+nの2つのフレームについて、2つのフレームがまったく同じ特徴量を持つ場合、類似度S=0となり、2つのフレームの撮影日時の時間差Dが5秒の場合、相関度R=0.2となり、時間差Dが10秒の場合、相関度R=0.1となる。すなわち、相関度Rは、重要度番号i,i+nの2つのフレームについて、完全に同じ内容のフレームであっても、異なる時間に撮影された場合、撮影時間の時間差Dが大きいほど、小さな値となり、異なる内容である可能性が高いことを反映している。
【0060】
ダイジェスト区間決定部23は、相関度Rと、予め設定された閾値Thとを比較し、相関度Rが閾値Thより小さい(R<Th)となる場合、ステップS509に進む。R<Thとなる場合、重要度番号i+nのフレームは、既に決定された重要度番号iのフレームと異なる対象を撮影された、異なる内容である可能性が高く、映像データの内容把握のため、ダイジェストとしての再生が必要な区間に含まれると判断できる。
【0061】
ステップS509において、ダイジェスト区間決定部23は、iをn加算し、ステップS503に戻る。
【0062】
一方、ダイジェスト区間決定部23は、ステップS508における相関度Rと閾値Thとの比較において、相関度Rが閾値Thより大きい(R<Th)とならない場合、ステップS510に進む。R<Thとならない場合、重要度番号i+nのフレームは、既に決定された重要度番号iのフレームと同内容または同じ対象を撮影した可能性が高く、映像データの内容把握のため、ダイジェストとしての再生が不要な区間に含まれると判断できる。
【0063】
ステップS510において、ダイジェスト区間決定部23は、nを1加算し、ステップS511に進む。
【0064】
ステップS511において、ダイジェスト区間決定部23は、重要度番号i+nのフレームが重要度リストにあるか否かを判定する。重要度番号i+nのフレームが重要度リストにある場合、ステップS507に戻る。重要度番号i+nのフレームが重要度リストにない場合、ステップS6に進み、ダイジェスト区間決定部23による処理を終了する。
【0065】
本発明の実施の形態に係る映像再生装置1によれば、ダイジェストとして再生されるダイジェスト区間の決定に際し、単に、映像データの属性情報から得られる重要度が高い区間から順にダイジェスト区間とするのではなく、映像データの属性情報から、既に決定されたダイジェスト区間との相関度を算出し、相関度に基づいて、既に決定されたダイジェスト区間と異なる内容が撮影されている可能性が高い区間を、新たなダイジェスト区間として決定することができる。
【0066】
本発明の実施の形態に係る映像再生装置1によれば、映像再生装置1の使用者が、映像データのダイジェストにおいて、重複した内容を何度も視聴することを防止でき、映像再生装置1の使用者が、短い時間で映像データの内容の概略を把握することができるように、効率的にダイジェストを再生できる。
【0067】
本発明は上記の実施の形態によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
【符号の説明】
【0068】
1…映像再生装置
2…処理部
3…記憶部
4…入出力制御部
5…操作入力部
6…表示装置
21…特徴量算出部
22…重要度算出部
23…ダイジェスト区間決定部
24…再生処理部
31…映像情報

【特許請求の範囲】
【請求項1】
映像データを構成する複数のフレームから、前記フレームの特徴を示す特徴量を算出する特徴量算出部と、
前記映像データ、前記映像データの属性を示す属性情報を含む映像情報から、前記フレームの重要度を算出する重要度算出部と、
前記重要度算出部が算出した重要度が最も高い第1のフレームを含むように、前記映像データのダイジェストとして再生される区間であるダイジェスト区間を決定し、前記第1のフレームと、前記第1のフレームの次に重要度が高い第2のフレームとの関係性を示す相関度に基づいて、前記第2のフレームを含む区間を、新たな前記ダイジェスト区間に決定するか否かを判定するダイジェスト区間決定部と、
前記ダイジェスト区間を再生する再生処理部と
を備えることを特徴とする映像再生装置。
【請求項2】
前記ダイジェスト区間決定部は、
前記特徴量算出部が算出した特徴量から、前記第1のフレームと前記第2のフレームとの類似度を算出し、前記属性情報から、前記第1のフレームと前記第2のフレームとの撮影日時の時間差を算出し、前記類似度と前記時間差とから、前記第1のフレームと前記第2のフレームとの前記相関度を算出することを特徴とする請求項1に記載の映像再生装置。
【請求項3】
映像データを構成する複数のフレームから、前記フレームの特徴を示す特徴量を算出する特徴量算出ステップと、
前記映像データ、前記映像データの属性を示す属性情報を含む映像情報から、前記フレームの重要度を算出する重要度算出ステップと、
前記重要度が最も高い第1のフレームを含むように、前記映像データのダイジェストとして再生される区間であるダイジェスト区間を決定し、前記第1のフレームと、前記第1のフレームの次に重要度が高い第2のフレームとの関係性を示す相関度に基づいて、前記第2のフレームを含む区間を、新たな前記ダイジェスト区間に決定するか否かを判定するダイジェスト区間決定ステップと、
前記ダイジェスト区間を再生するステップと
を含むことを特徴とする映像再生方法。
【請求項4】
前記ダイジェスト区間決定ステップにおいて、
前記特徴量から、前記第1のフレームと前記第2のフレームとの類似度を算出し、前記属性情報から、前記第1のフレームと前記第2のフレームとの撮影日時の時間差を算出し、前記類似度と前記時間差とから、前記第1のフレームと前記第2のフレームとの前記相関度を算出することを特徴とする請求項3に記載の映像再生方法。
【請求項5】
映像データを構成する複数のフレームから、前記フレームの特徴を示す特徴量を算出する特徴量算出ステップと、
前記映像データ、前記映像データの属性を示す属性情報を含む映像情報から、前記フレームの重要度を算出する重要度算出ステップと、
前記重要度が最も高い第1のフレームを含むように、前記映像データのダイジェストとして再生される区間であるダイジェスト区間を決定し、前記第1のフレームと、前記第1のフレームの次に重要度が高い第2のフレームとの関係性を示す相関度に基づいて、前記第2のフレームを含む区間を、新たな前記ダイジェスト区間に決定するか否かを判定するダイジェスト区間決定ステップと、
前記ダイジェスト区間を再生するステップと
を含む処理をコンピュータに実行させることを特徴とする映像再生プログラム。
【請求項6】
前記ダイジェスト区間決定ステップにおいて、
前記特徴量から、前記第1のフレームと前記第2のフレームとの類似度を算出し、前記属性情報から、前記第1のフレームと前記第2のフレームとの撮影日時の時間差を算出し、前記類似度と前記時間差とから、前記第1のフレームと前記第2のフレームとの前記相関度を算出することを特徴とする請求項5に記載の映像再生プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2012−161019(P2012−161019A)
【公開日】平成24年8月23日(2012.8.23)
【国際特許分類】
【出願番号】特願2011−20701(P2011−20701)
【出願日】平成23年2月2日(2011.2.2)
【出願人】(308036402)株式会社JVCケンウッド (1,152)
【Fターム(参考)】