画像処理装置及び画像処理方法
【課題】入力された動画データから視聴者に高い臨場感を感じさせることのできるシーンの動画データのみを抽出することのできる技術を提供する。
【解決手段】本発明の画像処理装置は、入力された動画データの各フレームから、フレームを分割して得られるブロック毎に、動きベクトルを検出する動きベクトル検出手段と、フレームのブロック毎に、そのフレームを含む第１期間分のフレーム群の動きベクトルの時間方向の積算値である積算動きベクトルを算出する積算動きベクトル算出手段と、フレーム毎に、大きさが第１の所定値以下の積算動きベクトルの数に基づく値を積算静止量として算出する積算静止量算出手段と、算出された積算静止量が第１の閾値以上のフレームを所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして抽出する抽出手段と、を有する。
【解決手段】本発明の画像処理装置は、入力された動画データの各フレームから、フレームを分割して得られるブロック毎に、動きベクトルを検出する動きベクトル検出手段と、フレームのブロック毎に、そのフレームを含む第１期間分のフレーム群の動きベクトルの時間方向の積算値である積算動きベクトルを算出する積算動きベクトル算出手段と、フレーム毎に、大きさが第１の所定値以下の積算動きベクトルの数に基づく値を積算静止量として算出する積算静止量算出手段と、算出された積算静止量が第１の閾値以上のフレームを所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして抽出する抽出手段と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
現在、表示装置は高画質化、そして４Ｋ×２Ｋといった高解像度化かつ高精細化が進んでおり、Ｆｕｌｌ−ＨＤに比べより高い臨場感を視聴者に感じさせることができるようになってきた。今後はこのような表示装置（ディスプレイ）の特徴を十分に生かせる画像、即ちより高い臨場感を視聴者に感じさせることのできる画像の需要が高まっていくと考えられる。より高い臨場感を視聴者に感じさせるには、静止画よりも動画が適している。しかし、あまりに動きが激しい動画では画像を細部まで確認することができず、高精細感を感じさせることはできない。そのため、より高い臨場感を感じさせるためには、動きがあまり激しくない単調な動画が適していると言える。
【０００３】
特許文献１には、特徴量に基づき、動画データを複数のシーンに分割し、あるシーンにおける特徴量と、該シーンよりも前の位置にある１又は複数のシーンにおける特徴量とを比較することにより、同一シーンを検出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２８３９６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示の技術では、シーン間の特徴量の差分が所定の閾値以内のシーンが同一シーンとして検出されるため、視聴者に高い臨場感を感じさせることのできるシーンのみを検出することはできない。
【０００６】
本発明は、入力された動画データから視聴者に高い臨場感を感じさせることのできるシーンの動画データのみを抽出することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様は、
入力された動画データから所望のシーンの動画データを抽出する画像処理装置であって、
入力された動画データの各フレームから、フレームを分割して得られるブロック毎に、動きベクトルを検出する動きベクトル検出手段と、
前記フレームのブロック毎に、そのフレームを含む第１期間分のフレーム群の動きベクトルの時間方向の積算値である積算動きベクトルを算出する積算動きベクトル算出手段と、
前記フレーム毎に、大きさが第１の所定値以下の積算動きベクトルの数に基づく値を積算静止量として算出する積算静止量算出手段と、
算出された前記積算静止量が第１の閾値以上のフレームを所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして抽出する抽出手段と、
を有することを特徴とする。
【０００８】
本発明の第２の態様は、
入力された動画データから所望のシーンの動画データを抽出する画像処理方法であって
、
入力された動画データの各フレームから、フレームを分割して得られるブロック毎に、動きベクトルを検出するステップと、
前記フレームのブロック毎に、そのフレームを含む第１期間分のフレーム群の動きベクトルの時間方向の積算値である積算動きベクトルを算出するステップと、
前記フレーム毎に、大きさが第１の所定値以下の積算動きベクトルの数に基づく値を積算静止量として算出するステップと、
算出された前記積算静止量が第１の閾値以上のフレームを所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして抽出するステップと、
を有することを特徴とする。
【０００９】
本発明の第３の態様は、
入力された動画データから所望のシーンの動画データを抽出する画像処理装置であって、
入力された動画データの各フレームから、フレームを分割して得られるブロック毎に、動きベクトルを検出する動きベクトル検出手段と、
所定期間分のフレーム群毎且つブロック毎に、そのフレーム群の動きベクトルの時間方向の積算値である積算動きベクトルを算出する積算動きベクトル算出手段と、
大きさが第１の所定値以下の積算動きベクトルの数が第１の閾値以上の前記所定期間分のフレーム群を所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして抽出する抽出手段と、
を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、入力された動画データから視聴者に高い臨場感を感じさせることのできるシーンの動画データのみを抽出することができる。
【図面の簡単な説明】
【００１１】
【図１】実施例１に係る画像処理装置の機能構成の一例を示すブロック図
【図２】積算動きベクトルヒストグラムの一例を示す図
【図３】フレーム単位動きベクトルヒストグラムの一例を示す図
【図４】観賞用動画判定部の処理の流れの一例を示すフローチャート
【図５】積算静止量の時間変化の一例を示す図
【図６】フレーム単位動き量の時間変化の一例を示す図
【図７】積算動きベクトルヒストグラムの一例を示す図
【図８】ＡＰＬの変動量の時間変化の一例を示す図
【図９】実施例２に係る画像処理装置の機能構成の一例を示すブロック図
【図１０】積算静止量の時間変化の一例を示す図
【図１１】積算静止量の時間変化の一例を示す図
【発明を実施するための形態】
【００１２】
＜実施例１＞
以下、図１〜８を用いて、本発明の実施例１に係る画像処理装置及び該画像処理装置により実行される画像処理方法について説明する。
図１は、実施例１に係る画像処理装置の機能構成の一例を示すブロック図である。
画像処理装置１００は、色空間変換部１０１、遅延部１０２、記録条件解析部１０３、ＡＰＬ検出部１０４、動きベクトル検出部１０５、積算動きベクトル算出部１０６、動き量算出部１０７、観賞用動画判定部１０８、観賞用動画記録判定部１０９などを有する。これらの構成要素はバスで接続されている。画像処理装置１００は、記録部１１０、記録条件入力部１１１、及び、表示部１１２と無線または有線で通信可能に構成されている。
【００１３】
記録部１１０は、動画データを光ディスク、磁気ディスク、メモリカードなどの記録媒体に記録する記録装置である。記録部１１０は、例えば、ＰＣ、ＤＶＤレコーダ、ＨＤＤレコーダ、デジタルビデオカメラ等である。記録媒体は、記録部１１０に固定されていてもよいし、記録部１１０から取り外し可能であってもよい。
動画データは、ＭＰＥＧ等の圧縮された動画データ、もしくは、ＲＡＷ動画データである。ＲＡＷ動画データは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサから得られた動画データである。
本実施例では、画像処理装置には、記録媒体に記録された動画データ（記録部１１０または他の装置によって記録された動画データ）が入力される。そして、ユーザによって入力された記録条件に従って、入力された動画データから所望のシーンの動画データとして視聴者に高い臨場感を感じさせることのできる観賞用動画シーンの動画データを抽出する。
【００１４】
以下、本実施例に係る画像処理装置の処理フローに従って、画像処理装置の各機能について説明する。
まず、記録条件入力部１１１から画像処理装置１００に記録条件が入力される。記録条件入力部１１１はリモートコントローラ等である。具体的には、ユーザが記録条件入力部１１１を操作することにより、記録部１１０（記録媒体）に記録されている動画データから、観賞用動画シーンの動画データの抽出対象とする動画データ（対象動画データ）が選択される。また、抽出する観賞用動画シーンの動画データの時間長（観賞用動画シーン時間長）、数（観賞用動画シーン数）、記録方法などが選択される。それにより、対象動画データ、観賞用動画シーン時間長、観賞用動画シーン数、記録方法などの情報が、記録条件として入力される。
記録条件解析部１０３は、入力された記録条件を解析し、記録部１１０から動画データを読み出す制御をしたり、解析した記録条件を観賞用動画判定部１０８へ送信したりする。
【００１５】
ユーザにより選択された動画データは記録部１１０から読み出され、画像処理装置１００（具体的には、色空間変換部１０１）へ入力される。
色空間変換部１０１は、入力された動画データがＲＧＢデータである場合には、カラーマトリクス演算により、入力された動画データを輝度信号（Ｙ）と色差信号（Ｃｂ／Ｃｒ）に変換する。入力された動画データがＹＣｂＣｒデータである場合には、入力された動画データをそのまま後段へ出力する。輝度信号（Ｙ）はＡＰＬ（Average Picture Level:平均輝度レベル）や動きベクトルを検出するのに使用される。
【００１６】
色空間変換部１０１より出力された動画データは、時間的に連続するフレーム間の動画データの差分から動きベクトルを検出するために、遅延部１０２において１フレーム期間分遅延される。
【００１７】
ＡＰＬ検出部１０４は、動画データの輝度信号（Ｙ）を用いて、フレーム毎に、輝度特徴量を抽出する（特徴量抽出手段）。本実施例では、輝度特徴量としてＡＰＬが検出されるものとする。なお、輝度特徴量は、輝度レベルの最小値、最大値、最頻値などであってもよい。
【００１８】
動きベクトル検出部１０５は、入力された動画データから動きベクトルを検出する（動きベクトル検出手段）。本実施例では、入力された動画データの各フレームを複数のブロックに分割し、ブロック毎に動きベクトルを検出する。具体的には、現在のフレームの輝度信号（Ｙ）と遅延部１０２で遅延された１フレーム前のフレームの輝度信号（Ｙ）とを
用いて、現在のフレームのブロック毎に動きベクトルを検出する。検出された動きベクトルは不図示のＳＲＡＭやフレームメモリに保持される。動きベクトルは、フレームの画像を複数のブロックに分割し、ブロック毎にフレーム間の相関を求めて検出する方法（即ち、ブロックマッチング法）などの一般的な手法を用いて検出される。そして、動きベクトル検出部１０５は、フレーム毎に、動きベクトルのヒストグラム（フレーム単位動きベクトルヒストグラム）を作成する（図３）。
なお、ブロックの大きさはどのような大きさであってもよい。１画素分の大きさであってもよい。即ち、画素毎に動きベクトルが検出されてもよい。例えば、Full Search（全
検索)またはExhaustive Search（徹底検索）と呼ばれる手法で、愚直に、一定の検索範囲を画素単位で左上から右下まで一つずつ調べて、ＳＡＤ（差分絶対和）が最小となる位置を動きベクトルとして採用する手法を用いても良い。また、最初に粗く検索して、段々とより詳細なレベルで動きベクトルを探していくステップサーチと呼ばれる手法や、螺旋順に段々と範囲を広げながら動きベクトルを検索していくスパイラルサーチと呼ばれる手法を用いてもよい。
なお、ブロックマッチング法によりブロック毎の動きベクトルを検出し、ブロック内の各画素にそのブロックの動きベクトルを割り当ててもよい。また、ブロックマッチング法によりブロック毎の動きベクトルを検出し、ブロック内の代表画素（例えば、ブロックの中心の画素）にそのブロックの動きベクトル割り当ててもよい。その場合には、各画素の動きベクトルを参照する際に、ブロックの代表画素に割り当てられた動きベクトルを、そのブロック内の各画素の動きベクトルとして参照すればよい。
【００１９】
積算動きベクトル算出部１０６は、第１期間分のフレーム群の動きベクトルの時間方向の積算値である積算動きベクトルを算出する（積算動きベクトル算出手段）。本実施例では、フレームのブロック毎に、積算動きベクトルとして、そのフレームを含む第１期間分のフレーム群の動きベクトルの時間方向の積算値を算出する。具体的には、処理対象のフレームを基準とする第１期間分のフレーム群の同一ブロックの動きベクトルを積算し、積算結果を積算動きベクトルとして処理対象のフレームのそのブロックに割り当てる処理を各ブロックについて行う。第１期間は、例えば、処理対象のフレームと、その前、後、または、前後の所定数のフレーム（数〜数十フレーム）を含む期間である。
そして、積算動きベクトル算出部１０６は、フレーム毎に、積算動きベクトルのヒストグラム（積算動きベクトルヒストグラム）を作成する。第１期間分の動きベクトルを足し合わせることで、木の葉のざわめき、水面のゆれといったランダム性や周期性がある動きを排除することができる。具体的には、図２に示すように、動きにランダム性や周期性のある部分における第１期間分の動きベクトルの積算値はほぼ０となる。なお、第１期間は、ランダム性や周期性のある動きを排除することができる期間であればよく、メーカーやユーザによって適宜設定される。
【００２０】
動き量算出部１０７は、フレーム毎に、大きさが所定値以上（第２の所定値以上）の動きベクトルの数を表す値をフレーム単位動き量として算出する（動き量算出手段）。具体的には、動きベクトル検出部１０５で検出された動きベクトルのうち、ｘ方向（水平方向）成分の大きさ｜Ｖｘ｜が所定値以上である動きベクトルの数とｙ方向（垂直方向）成分の大きさ｜Ｖｙ｜が所定値以上である動きベクトルの数の和がフレーム単位動き量として算出される。即ち、図３に示すフレーム単位の動きベクトルヒストグラムの範囲Ｂに属する動きベクトルの総度数がフレーム単位動き量として算出される。なお、フレーム単位動き量は、大きさが所定値以上（第２の所定値以上）の動きベクトルの数の、動きベクトルの総数に対する割合を表す値であってもよい。このように算出されたフレーム単位動き量（統計量）は、動きの大きなシーンでは大きな値となる（動きの小さなシーン、静止しているシーンでは小さな値となる）。
【００２１】
観賞用動画判定部１０８では、記録条件、ＡＰＬ、積算動きベクトルヒストグラム、フ
レーム単位動き量から入力された動画データのシーンが観賞用動画シーンか否かを判定する。
【００２２】
観賞用動画判定部１０８の処理の流れを、図４のフローチャートおよび図５（Ａ）〜８を用いて説明する。
なお、ここでは、以下の記録条件が入力（設定）されたものとする。記録時間は、対象動画データの時間長を意味する。
（記録条件）
対象動画データ：動画データＸ（記録時間３０秒）
観賞用動画シーン数：１シーン以上
観賞用動画シーン時間長：１０秒
記録方法：元の動画データに観賞用動画フラグを付加
【００２３】
まず、観賞用動画判定部１０８は、動画データＸから動きに関する情報（積算動きベクトルヒストグラムとフレーム単位動き量）より、観賞用動画シーンの動画データを抽出する（ステップＳ４０１）。
【００２４】
ステップＳ４０１では、観賞用動画判定部１０８（積算静止量算出手段）は、まず、フレーム毎に、大きさが所定値以下（第１の所定値以下）の積算動きベクトルの数を表す値を積算静止量として算出する。具体的には、積算動きベクトルのうち、ｘ方向成分の大きさ｜Ｖｘ｜が所定値以下である積算動きベクトルの数とｙ方向成分の大きさ｜Ｖｙ｜が所定値以下である積算動きベクトルの数の和が積算静止量として算出される。即ち、図２の範囲Ａに属する積算動きベクトルの総度数が積算静止量として算出される。なお、積算静止量は、大きさが所定値以下（第１の所定値以下）の積算動きベクトルの数の、動きベクトルの総数に対する割合を表す値であってもよい。このように算出された積算静止量（統計量）は、動きの小さな（静止している）シーンでは大きな値となる。図５（Ａ）は、縦軸を積算静止量、横軸を時間とするグラフである。観賞用動画判定部１０８は、積算静止量を上記第１期間よりも長い観賞用動画シーン時間長（第２期間）単位でスキャンする。そして、観賞用動画判定部１０８（抽出手段）は、第２期間分のフレーム群であって、積算静止量が第１の閾値以上のフレームを所定の割合（第１の割合）以上含むフレーム群からなる動画データを、観賞用動画シーンの動画データとして抽出する。即ち、動きが小さい部分を多く含む動画データを、観賞用動画シーンの動画データとして抽出する。本実施例では、積算静止量が第１の閾値以上のフレーム群からなる動画データが観賞用動画シーンの動画データとして抽出されるものとする。
図５（Ａ）の例では、シーンＡ１とシーンＡ３の動画データが観賞用動画シーンの動画データとして抽出される。第１の閾値は、積算静止量が観賞用動画シーンの静止量として適切か否かを判断することのできる値であればよく、メーカーやユーザによって適宜設定される。
なお、本実施例では抽出される観賞用動画シーンの時間長を固定（第２期間の長さ）としたが、観賞用動画シーンの時間長は変動してもよい。例えば、上記の方法で積算静止量が第１の閾値以上のフレームを第１の割合以上含むフレーム群からなるシーンを検出した後、積算静止量が第１の閾値以上のフレームを第１の割合だけ含むように、検出したシーンの時間長を長くしてもよい。
【００２５】
次に、観賞用動画判定部１０８は、フレーム単位動き量より、抽出した動画データ（シーンＡ１，Ａ３の動画データ）の観賞用動画シーンの動画データとしての妥当性を判断する。図６は、縦軸をフレーム単位動き量、横軸を時間とするグラフである。観賞用動画判定部１０８は、観賞用動画シーンの動画データを、抽出した動画データ（シーンＡ１，Ａ
３の動画データ）のうち、フレーム単位動き量が第３の閾値以下のフレームを所定の割合（第２の割合）以上含むフレーム群からなる動画データに絞り込む。本実施例では、観賞用動画シーンの動画データが、フレーム単位動き量が第３の閾値以下のフレーム群からなる動画データに絞り込まれるものとする。それにより、動きが大きい部分を多く含む動画データが、観賞用動画シーンの動画データから除外される。
周期的だが大きい動きは、積算動きベクトルには現れない。そのため、そのような動きを多く含む動画データ、例えば、時計の振り子がアップされているシーンの動画データは、積算動きベクトルを用いた判断だけでは、観賞用動画シーンの動画データとされてしまう虞がある。そのような動画データは高い臨場感を感じさせることができないため、観賞用動画シーンの動画データから除外することが望ましい。本処理により、そのような動画データを観賞用動画シーンの動画データから除外することができる。
図６の例では、シーンＡ１，Ａ３の動画データは、いずれもフレーム単位動き量が第３の閾値以下のフレーム群からなる動画データであるため、観賞用動画シーンの動画データとして妥当であると判断され、除外されない。第３の閾値は、フレーム単位動き量が観賞用動画シーンのフレーム単位動き量として適切か否かを判断することのできる値であればよく、メーカーやユーザによって適宜設定される。
【００２６】
なお、ステップＳ４０１で観賞用動画シーンの動画データとして抽出されなかったシーンＡ２の動画データ対して、観賞用動画シーンの動画データとするか否かを判断するようにしてもよい。例えば、車や人が一方向に動きつづけている動画データは、ステップＳ４０１の処理では抽出されないことがある。物体が一方向に動き続けている場合、積算動きベクトルヒストグラムは、図７に示すような分布（度数が一部に集中するような分布）となることが多い。そこで、積算動きベクトルヒストグラムを解析し、度数が一部の積算動きベクトルに集中しているフレームを所定の割合以上含む動画データを観賞用動画データとして更に抽出してもよい。換言すれば、第２期間分のフレーム群であって、積算動きベクトルが或る向き及び第１の所定値より大きい或る大きさのベクトルに集中しているフレームを所定の割合以上含むフレーム群からなる動画データを観賞用動画シーンの動画データとして更に抽出してよい。物体が一方向に動き続けているような単調な動画データを観賞用動画シーンの動画データとするか否かは、ユーザが記録条件入力部１１１を用いて切り替え可能としてもよい。ここでは、シーンＡ２の動画データが観賞用動画シーンの動画データとして抽出されなかったものとする。なお、度数が一部に集中しているか否かを判断する方法は、どのような方法であってもよい。例えば、所定の幅の積算動きベクトルの値の度数が、その前後の積算動きベクトルの度数よりも所定の閾値分大きい場合に、度数が一部に集中していると判断することができる。
【００２７】
次に、観賞用動画判定部１０８は、ＡＰＬ検出部１０４で抽出された輝度特徴量（ＡＰＬ）のフレーム間の変動量を算出する。そして、算出したＡＰＬの変動量から、抽出された動画データ（本実施例では、積算静止量、フレーム単位動き量に基づいて抽出されたシーンＡ１，Ａ３の動画データ）の観賞用動画シーンの動画データとしての妥当性を更に判断する（ステップＳ４０２）。ＡＰＬの変動量は、例えば、１つ前のフレームからのＡＰＬの変化量や、処理対象（変動量の算出対象）のフレームを含む所定期間におけるＡＰＬの時間変化を最小二乗近似して得られる一次関数の傾きなどである。図８は、縦軸をＡＰＬの変動量、横軸を時間とするグラフである。観賞用動画判定部１０８は、観賞用動画シーンの動画データを、抽出した動画データのうち、ＡＰＬのフレーム間の変動量が第５の閾値以上のフレームを所定の割合（第３の割合）以上含むフレーム群からなる動画データに絞り込む。本実施例では、観賞用動画シーンの動画データが、変動量が第５の閾値以上のフレーム群からなる動画データに絞り込まれるものとする。それにより、フレーム間で輝度値が大きく変化する動画データが、観賞用動画シーンの動画データから除外される。
ストロボが小刻みに発光されているシーンの動画データのように、フレーム間で輝度値が大きく変化する動画データは、ステップＳ４０１の処理だけでは、観賞用動画シーンの
動画データとされてしまう虞がある。そのような動画データは高い臨場感を感じさせることができないため、観賞用動画シーンの動画データから除外することが望ましい。本処理により、そのような動画データを観賞用動画シーンの動画データから除外することができる。
図８の例では、シーンＡ３の動画データは、符号Ｃ’で示す時刻に、ＡＰＬの変動量が第５の閾値より大きいフレームを含んでいる。そのため、シーンＡ３の動画データは、観賞用動画シーンの動画データとして妥当でないと判断され、除外され、シーンＡ１の動画データが観賞用動画シーンの動画データとされる。ただし、このステップＳ４０２は必須ではなく、ステップＳ４０２の処理を省略してもよい。
【００２８】
そして、観賞用動画判定部１０８は、ステップＳ４０２で抽出（決定）された観賞用動画シーンの動画データの数が、記録条件に含まれる観賞用動画シーン数を満たしているか否かを判断する（ステップＳ４０３）。満たしている場合（ステップＳ４０３：ＹＥＳ）には、ステップＳ４０４へ進み、満たしていない場合（ステップＳ４０３：ＮＯ）には、ステップＳ４０５へ進む。
ステップＳ４０４では、観賞用動画判定部１０８が、抽出された観賞用動画シーン（ここではシーンＡ１）の動画データに対して、観賞用動画フラグを１と設定する。そして、観賞用動画記録判定部１０９へ、抽出された観賞用動画シーンの動画データとその観賞用動画フラグを出力し、本フローの処理を終了する。
ステップＳ４０５では、観賞用動画判定部１０８が、ユーザに観賞用動画シーンの動画データが抽出されなかったことを通知する処理を行う。
【００２９】
ステップＳ４０５の次に、観賞用動画判定部１０８は、第１，３，５の閾値を調整するか否かをユーザに問い合わせる処理を行う（ステップＳ４０６）。第１，３，５の閾値の少なくとも１つが調整された場合（ステップＳ４０６：ＹＥＳ）には、ステップＳ４０７へ進み、調整されなかった場合（ステップＳ４０６：ＮＯ）には、本フローの処理は終了となる。
ステップＳ４０７では、観賞用動画判定部１０８は、第１，３，５の閾値を再設定する。そして、ステップＳ４０１からの処理が再度行われる。
なお、ステップＳ４０７では、ユーザの指示に応じて、観賞用動画シーン数や観賞用動画シーン時間長を再設定してもよい。また、第１〜３の割合を再設定してもよい。例えば、観賞用動画シーン時間長が１０秒、第１〜３の割合がすべて８０％と設定された場合には、１０秒の動画データであって、観賞用動画シーンのフレームとして妥当であるフレームを８秒分以上含む動画データが観賞用動画シーンの動画データとされる。なお、観賞用動画シーンのフレームとして妥当であるフレームは、本実施例では、積算静止量が第１の閾値以上、フレーム単位動き量が第３の閾値以下、輝度特徴量のフレーム間の変動量が第５の閾値以下のフレームである。
【００３０】
観賞用動画記録判定部１０９は、観賞用動画判定部１０８で観賞用動画フラグが１とされた動画データ（抽出された観賞用動画シーンの動画データ）を、記録条件に含まれる記録方法で記録部１１０が有する記録媒体に保存する。本実施例では、記録方法が「元の動画データに観賞用動画フラグを付加」であるため、記録部１１０に格納されていた元の動画データが、その観賞用動画シーンの動画データの期間に観賞用動画フラグ“１”が関連付けられて記録される。
なお、他の記録方法としては、観賞用動画フラグが１とされた動画データのみを元の動画データとは別の動画データとして記録する方法や、元の動画データから、観賞用動画シーンとして抽出された動画データ以外の動画データを削除して記録する方法などがある。また、フレーム単位動き量、積算静止量、ＡＰＬの変動量などの特徴量を元の動画データに関連付けて保存し、後でそれらのデータを用いて観賞用動画シーンの動画データ抽出を行う構成であってもよい。
【００３１】
以上述べたように、本実施例によれば、積算静止量が第１の閾値以上のフレームを所定の割合以上含むフレーム群からなる動画データのみを観賞用動画シーンの動画データとして抽出することができる。積算静止量が第１の閾値以上のフレームを所定の割合以上含むフレーム群からなる動画データは、動きが小さい動画データやランダム性や周期性がある動きのような単調な動きを多く含む動画データである。このような動画データは、視聴者に高い臨場感を感じさせることができる。即ち、本実施例によれば、入力された動画データから視聴者に高い臨場感を感じさせることのできるシーンの動画データのみを抽出することができる。
また、周期的だが大きい動きを多く含む動画データは、高い臨場感を感じさせることができない。本実施例では、観賞用動画シーンの動画データが、抽出した動画データのうち、フレーム単位動き量が第３の閾値以下のフレームを所定の割合以上含むフレーム群からなる動画データに絞り込まれる。それにより、周期的だが大きい動きを多く含む動画データを観賞用動画シーンの動画データから除外することができ、入力された動画データから視聴者に高い臨場感を感じさせることのできるシーンの動画データのみを更に精度よく抽出することができる。
また、フレーム間で輝度値が大きく変化する動画データは、高い臨場感を感じさせることができない。本実施例では、観賞用動画シーンの動画データが、抽出した動画データのうち、輝度特徴量のフレーム間の変動量が第５の閾値以下のフレームを所定の割合以上含むフレーム群からなる動画データに絞り込まれる。それにより、フレーム間で輝度値が大きく変化する動画データを観賞用動画シーンの動画データから除外することができ、入力された動画データから視聴者に高い臨場感を感じさせることのできるシーンの動画データのみを更に精度よく抽出することができる。
【００３２】
なお、本実施例では、フレーム毎に、各ブロックの積算動きベクトルを算出するとしたが、所定期間分（第１期間分）のフレーム群（数〜数十フレーム）毎に、各ブロックの積算動きベクトルを算出してもよい。即ち、所定期間分のフレーム群毎且つブロック毎に、そのフレーム群の動きベクトルの時間方向の積算値である積算動きベクトルを算出してもよい。その場合には、積算静止量も、第１期間分のフレーム群毎に算出すればよい。具体的には、図５（Ｂ）に示すように、第１期間分のフレーム群毎に、大きさが所定値以下（第１の所定値以下）の積算動きベクトルの数に基づく値（大きさが所定値以下の積算動きベクトルの数、又は、大きさが所定値以下の積算動きベクトルの数を積算動きベクトルの総数で割った値）を積算静止量として算出すればよい。そして、積算静止量が第１の閾値以上の期間（第１期間分のフレーム群の期間）を所定の割合以上含む第２期間（例えば１０秒）分の動画データを、観賞用動画シーンの動画データとして抽出すればよい。
なお、フレーム毎に各ブロックの積算動きベクトルを算出し、第１期間分のフレーム群毎に積算静止量を算出してもよい。
なお、積算静止量を算出せずに、大きさが所定値以下の積算動きベクトルの数が第１の閾値以上のフレーム（または上記第１期間分のフレーム群）を所定の割合以上含むフレーム群からなる動画データを、観賞用動画シーンの動画データとして抽出してもよい。
【００３３】
なお、本実施例では、特徴量として、輝度特徴量を用いる構成としたが、輝度特徴量の代わりに画像の色特徴量や形状特徴量などの他の特徴量を用いる構成であってもよい。そのような構成であっても、上述した作用効果に準じた作用効果を得ることができる。また、複数の特徴量を用いてもよい。例えば、本実施例の処理に、形状特徴量の変動量に基づく観賞用動画シーンの動画データの絞り込みを行う処理を更に追加してもよい。そのような構成にすることにより、入力された動画データから視聴者に高い臨場感を感じさせることのできるシーンの動画データのみを更に精度よく抽出することができる。
なお、本実施例では、記録条件がユーザ操作によって選択され、入力される構成としたが、記録条件は予め画像処理装置内に記録されている固定値であってもよい。また、元の
動画データ（対象動画データ）毎に予め定められていてもよい（対象動画データに付加されていてもよい）。
なお、本実施例では、動きベクトル（積算動きベクトル）のヒストグラムとして、動きベクトルのｘ方向成分とｙ方向成分のそれぞれのヒストグラムが作成されるものとしたが、これに限らない。２次元ヒストグラムであってもよい。また、本実施例では、動きベクトルを複数の成分に分け、各成分の値をそれぞれ、閾値と比較するもとしたが、これに限らない。動きベクトルを複数の成分に分けず、動きベクトルそのものの大きさを閾値と比較してもよい。また、ヒストグラムは作成されなくてもよい。例えば、積算動きベクトルヒストグラム作成せずに、各積算動きベクトルの値から、積算静止量が算出されてもよい。
なお、第１〜３の割合は同じ割合であってもよいし、異なっていてもよい。
【００３４】
＜実施例２＞
以下、図１，２，６，９〜１２を用いて本発明の実施例２に係る画像処理装置及び該画像処理装置により実行される画像処理方法について説明する。
図９は、実施例２に係る画像処理装置の機能構成の一例を示すブロック図である。
画像処理装置２００は、実施例１（図１）の構成の他に、デバイス情報取得部２０１を更に有する。また、画像処理装置２００と無線乃至有線で通信可能な表示部１１２（抽出した観賞用動画シーンの動画データに基づく動画を表示する表示装置）には、デバイス情報格納部２０２が設けられている。その他の構成は、図１と同じであるため、図１と同じ符号を付す。以下、実施例１と異なる点について説明する。
【００３５】
デバイス情報取得部２０１は、デバイス情報格納部２０２からデバイス情報を取得し、観賞用動画判定部１０８に出力する（取得手段）。
デバイス情報格納部２０２は、表示部１１２のデバイス情報を記憶するＥＤＩＤ（Extended Display Identification Data）ＲＯＭ等の記録媒体である。なお、デバイス情報格納部２０２は、デバイス情報が格納されていればよく、ＥＤＩＤＲＯＭに限らない。本実施例では、デバイス情報格納部２０２には、デバイス情報として、表示部１１２（表示装置；表示パネル）の駆動方式、表示フレームレート（フレームレート変換方法を含む）、表示方式等を表す情報が格納されているものとする。表示フレームレートは、表示部１１２の、表示する動画のフレームレートである。
【００３６】
本実施例では、観賞用動画判定部１０８は、入力されたデバイス情報に基づいて第１の閾値の値を変更する。また、観賞用動画判定部１０８は、積算静止量を用いた観賞用動画シーンの動画データの抽出処理を行う際に、第２の閾値を更に用いる。
【００３７】
まず、デバイス情報に基づく第１の閾値の変更方法について説明する。
表示部１１２の駆動方式がホールド型駆動方式の場合、強い風でゆれている木の葉などを表す動画を表示しようとするとボケてしまう可能性がある。このようなボケは臨場感を削ぐ結果に繋がってしまい、そのようなボケを生じさせる動画データは観賞用動画シーンの動画データとして適切であるとはいえない。そこで本実施例では、観賞用動画判定部１０８が、入力（取得）されたデバイス情報から、表示部１１２の駆動方式がインパルス型駆動方式なのかホールド型駆動方式なのかを判断する。そして、判断結果に応じて第１の閾値を変更する。
【００３８】
図１０は、縦軸を積算静止量、横軸を時間とするグラフである。インパルス型駆動方式の表示装置は、表示する動画に多少の動きがあってもボケにくい特徴がある。そのため、本実施例では、観賞用動画判定部１０８は、表示部１１２の駆動方式がインパルス型駆動方式のときのほうが、ホールド型駆動方式のときよりも第１の閾値として低い値を設定する。表示部１１２の駆動方式がインパルス型駆動方式のときに第１の閾値として低い値を
設定することにより、ある程度動きのある動画データも観賞用動画シーンの動画データとして抽出することができる。図１０の例では、表示部１１２の駆動方式がインパルス型駆動方式の場合には、シーンＡ１，Ａ３の動画データが観賞用動画シーンの動画データとして抽出される。
一方、ホールド型駆動方式の表示装置は、インパル型駆動方式の表示装置に比べて、表示する動画に動きがあるとボケやすい特徴がある。本実施例では、表示部１１２の駆動方式がホールド型駆動方式のときに第１の閾値として高い値を設定することにより、ボケが生じる虞の無い動画データのみを観賞用動画シーンの動画データとして抽出することができる。図１０の例では、表示部１１２の駆動方式がホールド型駆動方式の場合には、シーンＡ１の動画データのみが観賞用動画シーンの動画データとして抽出される。
【００３９】
また、表示フレームレートが高いほどボケは発生しにくい。そのため、入力されたデバイス情報から、表示部１１２の表示フレームレートを判断してもよい。そして、表示部１１２の表示フレームレートが高いほど第１の閾値として低い値を設定してもよい。そのような構成であっても、上記効果に準じた作用効果を得ることができる。
また、液晶ディスプレイでは、表示方式として、入力された動画データに基づく動画のフレーム間に黒画像を挿入して表示する黒挿入表示方式を採用することにより、ボケを軽減することができる。そのため、入力されたデバイス情報から、表示部１１２の表示方式が黒挿入表示方式か否かを判断してもよい。そして、表示部１１２の表示方式が黒挿入表示方式のときのほうが、黒挿入表示方式でないときよりも第１の閾値として低い値を設定してもよい。そのような構成であっても、上記効果に準じた作用効果を得ることができる。
また、上述した情報を組み合わせて第１の閾値を変更することにより、観賞用動画シーンの動画データとして、より適切な動画データを抽出することが可能となる。
【００４０】
次に、積算静止量を用いた観賞用動画シーンの動画データの抽出処理を、第２の閾値を更に用いて行う方法について説明する。
実施例１では、積算静止量を用いた抽出処理において、全く動きがない（限りなく静止画に近い）動画のデータが観賞用動画シーンの動画データとして抽出される場合がある。臨場感は静止しているより少しでも動きのある動画の方が強く感じられる。そこで、本実施例では、第２の閾値を、積算静止量が観賞用動画シーンの静止量として妥当か否かの上限として用いることにより、全く動きがない（限りなく静止画に近い）動画のデータが観賞用動画シーンの動画データとして抽出されることを防ぐ。
【００４１】
図１１は、縦軸を積算静止量、横軸を時間とするグラフである。
本実施例では、第２の閾値は、ユーザ操作により、記録条件入力部１１１から画像処理装置内に入力される。第２の閾値は、例えば、図４のステップＳ４０１の前や、ステップＳ４０６のタイミングで入力（設定）されればよい。なお、第２の閾値は、画像処理装置内に予め記憶されていてもよいし、対象動画データに付加されていてもよい。
図４のステップＳ４０１で、積算静止量を用いた抽出処理を行う際に、第２の閾値が観賞用動画シーンとして妥当な積算静止量の上限として用いられる。即ち、ステップＳ４０１で、観賞用動画判定部１０８は、積算静止量が第１の閾値以上第２の閾値以下のフレームを所定の割合以上含むフレーム群からなる動画データを観賞用動画シーンの動画データとして抽出する。図１１の例では、実施例１の構成ではシーンＡ１，Ａ３の動画データが観賞用動画シーンの動画データとして抽出されるが、実施例２の構成ではシーンＡ３の動画データのみが観賞用動画シーンの動画データとして抽出される。
その他の処理は実施例１と同じであるため説明を省略する。
【００４２】
観賞用動画記録判定部１０９は、観賞用動画判定部１０８で観賞用動画フラグが１とされた動画データ（抽出された観賞用動画シーンの動画データ）を、記録条件に含まれる記
録方法で記録部１１０が有する記録媒体に保存する。本実施例では、抽出された動画データを、表示部１１２のデバイス情報、抽出する際に使用した記録条件、閾値などの情報の少なくとも一部の情報を関連付けて保存する。例えば、抽出された動画データに、表示部１１２の駆動方式、表示フレームレート、表示方式といった情報を関連付けて保存する。
【００４３】
以上述べたように、本実施例によれば、デバイス情報に基づいて第１の閾値の値が変更される。それにより、観賞用動画シーンの動画データとして、より適切な動画データを抽出することが可能となる。即ち、デバイス情報に基づいて第１の閾値が変更されない場合に比べ、入力された動画データから視聴者に高い臨場感を感じさせることのできるシーンの動画データのみをより精度よく抽出することができる。
また、本実施例によれば、積算静止量が観賞用動画シーンの静止量として妥当か否かの上限として第２の閾値が用いられる。それにより、全く動きがない（限りなく静止画に近い）動画のデータが観賞用動画シーンの動画データとして抽出されることを防ぐことができる。また、本実施例では、第２の閾値はユーザによって入力される、即ちユーザによって変更可能であるため、ユーザの好みに応じて観賞用動画シーンの動画データとするか否かの判断基準を決定することができる。例えば、全く動きがない（限りなく静止画に近い）動画のデータが観賞用動画シーンの動画データとして抽出するか否かを選択することができる。
また、本実施例によれば、抽出された動画データは、デバイス情報、記録条件、閾値などの情報の少なくとも一部の情報が関連付けられて保存される。それにより、別の画像処理装置で観賞用動画シーンの動画データの抽出を行う際に、記録されている情報を参考にして抽出することで、抽出時間（処理時間）を短縮することが可能となる。また、抽出する際の条件（デバイス情報、記録条件、閾値など）が同一である場合には、抽出処理を行うことなく観賞用動画シーンの動画データのみを表示装置で表示することが可能となる。
【００４４】
なお、本実施例では、デバイス情報に基づいて第１の閾値の値を変更するものとしたが、デバイス情報に基づいて実施例１で述べた第３の閾値を変更してもよい。具体的には、表示装置の駆動方式がインパルス型駆動方式のときのほうが、ホールド型駆動方式のときよりも第３の閾値として高い値を設定すればよい。表示装置の表示フレームレートが高いほど第３の閾値として高い値を設定すればよい。表示装置の表示方式が黒挿入表示方式のときのほうが、黒挿入表示方式でないときよりも第３の閾値として高い値を設定すればよい。そのような構成であっても、上記作用効果に準じた効果が得られる。
また、積算静止量を用いた観賞用動画シーンの動画データの抽出処理（絞り込み処理）を行う際に、フレーム単位動き量が観賞用動画シーンのフレーム単位動き量として妥当か否かの下限として第４の閾値を用いてもよい。即ち、観賞用動画シーンの動画データを、抽出した動画データのうち、フレーム単位動き量が第４の閾値以上第３の閾値以下のフレームを所定の割合以上含むフレーム群からなる動画データに絞り込んでもよい。それにより、積算静止量が観賞用動画シーンの積算静止量として妥当か否かの上限として第２の閾値を用いた際に得られる作用効果に準じた作用効果を得ることができる。
【符号の説明】
【００４５】
１０３ 記録条件解析部
１０４ ＡＰＬ検出部
１０５ 動きベクトル検出部
１０６ 積算動きベクトル算出部
１０７ 動き量算出部
１０８ 観賞用動画判定部
１０９ 観賞用動画記録判定部
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
現在、表示装置は高画質化、そして４Ｋ×２Ｋといった高解像度化かつ高精細化が進んでおり、Ｆｕｌｌ−ＨＤに比べより高い臨場感を視聴者に感じさせることができるようになってきた。今後はこのような表示装置（ディスプレイ）の特徴を十分に生かせる画像、即ちより高い臨場感を視聴者に感じさせることのできる画像の需要が高まっていくと考えられる。より高い臨場感を視聴者に感じさせるには、静止画よりも動画が適している。しかし、あまりに動きが激しい動画では画像を細部まで確認することができず、高精細感を感じさせることはできない。そのため、より高い臨場感を感じさせるためには、動きがあまり激しくない単調な動画が適していると言える。
【０００３】
特許文献１には、特徴量に基づき、動画データを複数のシーンに分割し、あるシーンにおける特徴量と、該シーンよりも前の位置にある１又は複数のシーンにおける特徴量とを比較することにより、同一シーンを検出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２８３９６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示の技術では、シーン間の特徴量の差分が所定の閾値以内のシーンが同一シーンとして検出されるため、視聴者に高い臨場感を感じさせることのできるシーンのみを検出することはできない。
【０００６】
本発明は、入力された動画データから視聴者に高い臨場感を感じさせることのできるシーンの動画データのみを抽出することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様は、
入力された動画データから所望のシーンの動画データを抽出する画像処理装置であって、
入力された動画データの各フレームから、フレームを分割して得られるブロック毎に、動きベクトルを検出する動きベクトル検出手段と、
前記フレームのブロック毎に、そのフレームを含む第１期間分のフレーム群の動きベクトルの時間方向の積算値である積算動きベクトルを算出する積算動きベクトル算出手段と、
前記フレーム毎に、大きさが第１の所定値以下の積算動きベクトルの数に基づく値を積算静止量として算出する積算静止量算出手段と、
算出された前記積算静止量が第１の閾値以上のフレームを所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして抽出する抽出手段と、
を有することを特徴とする。
【０００８】
本発明の第２の態様は、
入力された動画データから所望のシーンの動画データを抽出する画像処理方法であって
、
入力された動画データの各フレームから、フレームを分割して得られるブロック毎に、動きベクトルを検出するステップと、
前記フレームのブロック毎に、そのフレームを含む第１期間分のフレーム群の動きベクトルの時間方向の積算値である積算動きベクトルを算出するステップと、
前記フレーム毎に、大きさが第１の所定値以下の積算動きベクトルの数に基づく値を積算静止量として算出するステップと、
算出された前記積算静止量が第１の閾値以上のフレームを所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして抽出するステップと、
を有することを特徴とする。
【０００９】
本発明の第３の態様は、
入力された動画データから所望のシーンの動画データを抽出する画像処理装置であって、
入力された動画データの各フレームから、フレームを分割して得られるブロック毎に、動きベクトルを検出する動きベクトル検出手段と、
所定期間分のフレーム群毎且つブロック毎に、そのフレーム群の動きベクトルの時間方向の積算値である積算動きベクトルを算出する積算動きベクトル算出手段と、
大きさが第１の所定値以下の積算動きベクトルの数が第１の閾値以上の前記所定期間分のフレーム群を所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして抽出する抽出手段と、
を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、入力された動画データから視聴者に高い臨場感を感じさせることのできるシーンの動画データのみを抽出することができる。
【図面の簡単な説明】
【００１１】
【図１】実施例１に係る画像処理装置の機能構成の一例を示すブロック図
【図２】積算動きベクトルヒストグラムの一例を示す図
【図３】フレーム単位動きベクトルヒストグラムの一例を示す図
【図４】観賞用動画判定部の処理の流れの一例を示すフローチャート
【図５】積算静止量の時間変化の一例を示す図
【図６】フレーム単位動き量の時間変化の一例を示す図
【図７】積算動きベクトルヒストグラムの一例を示す図
【図８】ＡＰＬの変動量の時間変化の一例を示す図
【図９】実施例２に係る画像処理装置の機能構成の一例を示すブロック図
【図１０】積算静止量の時間変化の一例を示す図
【図１１】積算静止量の時間変化の一例を示す図
【発明を実施するための形態】
【００１２】
＜実施例１＞
以下、図１〜８を用いて、本発明の実施例１に係る画像処理装置及び該画像処理装置により実行される画像処理方法について説明する。
図１は、実施例１に係る画像処理装置の機能構成の一例を示すブロック図である。
画像処理装置１００は、色空間変換部１０１、遅延部１０２、記録条件解析部１０３、ＡＰＬ検出部１０４、動きベクトル検出部１０５、積算動きベクトル算出部１０６、動き量算出部１０７、観賞用動画判定部１０８、観賞用動画記録判定部１０９などを有する。これらの構成要素はバスで接続されている。画像処理装置１００は、記録部１１０、記録条件入力部１１１、及び、表示部１１２と無線または有線で通信可能に構成されている。
【００１３】
記録部１１０は、動画データを光ディスク、磁気ディスク、メモリカードなどの記録媒体に記録する記録装置である。記録部１１０は、例えば、ＰＣ、ＤＶＤレコーダ、ＨＤＤレコーダ、デジタルビデオカメラ等である。記録媒体は、記録部１１０に固定されていてもよいし、記録部１１０から取り外し可能であってもよい。
動画データは、ＭＰＥＧ等の圧縮された動画データ、もしくは、ＲＡＷ動画データである。ＲＡＷ動画データは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサから得られた動画データである。
本実施例では、画像処理装置には、記録媒体に記録された動画データ（記録部１１０または他の装置によって記録された動画データ）が入力される。そして、ユーザによって入力された記録条件に従って、入力された動画データから所望のシーンの動画データとして視聴者に高い臨場感を感じさせることのできる観賞用動画シーンの動画データを抽出する。
【００１４】
以下、本実施例に係る画像処理装置の処理フローに従って、画像処理装置の各機能について説明する。
まず、記録条件入力部１１１から画像処理装置１００に記録条件が入力される。記録条件入力部１１１はリモートコントローラ等である。具体的には、ユーザが記録条件入力部１１１を操作することにより、記録部１１０（記録媒体）に記録されている動画データから、観賞用動画シーンの動画データの抽出対象とする動画データ（対象動画データ）が選択される。また、抽出する観賞用動画シーンの動画データの時間長（観賞用動画シーン時間長）、数（観賞用動画シーン数）、記録方法などが選択される。それにより、対象動画データ、観賞用動画シーン時間長、観賞用動画シーン数、記録方法などの情報が、記録条件として入力される。
記録条件解析部１０３は、入力された記録条件を解析し、記録部１１０から動画データを読み出す制御をしたり、解析した記録条件を観賞用動画判定部１０８へ送信したりする。
【００１５】
ユーザにより選択された動画データは記録部１１０から読み出され、画像処理装置１００（具体的には、色空間変換部１０１）へ入力される。
色空間変換部１０１は、入力された動画データがＲＧＢデータである場合には、カラーマトリクス演算により、入力された動画データを輝度信号（Ｙ）と色差信号（Ｃｂ／Ｃｒ）に変換する。入力された動画データがＹＣｂＣｒデータである場合には、入力された動画データをそのまま後段へ出力する。輝度信号（Ｙ）はＡＰＬ（Average Picture Level:平均輝度レベル）や動きベクトルを検出するのに使用される。
【００１６】
色空間変換部１０１より出力された動画データは、時間的に連続するフレーム間の動画データの差分から動きベクトルを検出するために、遅延部１０２において１フレーム期間分遅延される。
【００１７】
ＡＰＬ検出部１０４は、動画データの輝度信号（Ｙ）を用いて、フレーム毎に、輝度特徴量を抽出する（特徴量抽出手段）。本実施例では、輝度特徴量としてＡＰＬが検出されるものとする。なお、輝度特徴量は、輝度レベルの最小値、最大値、最頻値などであってもよい。
【００１８】
動きベクトル検出部１０５は、入力された動画データから動きベクトルを検出する（動きベクトル検出手段）。本実施例では、入力された動画データの各フレームを複数のブロックに分割し、ブロック毎に動きベクトルを検出する。具体的には、現在のフレームの輝度信号（Ｙ）と遅延部１０２で遅延された１フレーム前のフレームの輝度信号（Ｙ）とを
用いて、現在のフレームのブロック毎に動きベクトルを検出する。検出された動きベクトルは不図示のＳＲＡＭやフレームメモリに保持される。動きベクトルは、フレームの画像を複数のブロックに分割し、ブロック毎にフレーム間の相関を求めて検出する方法（即ち、ブロックマッチング法）などの一般的な手法を用いて検出される。そして、動きベクトル検出部１０５は、フレーム毎に、動きベクトルのヒストグラム（フレーム単位動きベクトルヒストグラム）を作成する（図３）。
なお、ブロックの大きさはどのような大きさであってもよい。１画素分の大きさであってもよい。即ち、画素毎に動きベクトルが検出されてもよい。例えば、Full Search（全
検索)またはExhaustive Search（徹底検索）と呼ばれる手法で、愚直に、一定の検索範囲を画素単位で左上から右下まで一つずつ調べて、ＳＡＤ（差分絶対和）が最小となる位置を動きベクトルとして採用する手法を用いても良い。また、最初に粗く検索して、段々とより詳細なレベルで動きベクトルを探していくステップサーチと呼ばれる手法や、螺旋順に段々と範囲を広げながら動きベクトルを検索していくスパイラルサーチと呼ばれる手法を用いてもよい。
なお、ブロックマッチング法によりブロック毎の動きベクトルを検出し、ブロック内の各画素にそのブロックの動きベクトルを割り当ててもよい。また、ブロックマッチング法によりブロック毎の動きベクトルを検出し、ブロック内の代表画素（例えば、ブロックの中心の画素）にそのブロックの動きベクトル割り当ててもよい。その場合には、各画素の動きベクトルを参照する際に、ブロックの代表画素に割り当てられた動きベクトルを、そのブロック内の各画素の動きベクトルとして参照すればよい。
【００１９】
積算動きベクトル算出部１０６は、第１期間分のフレーム群の動きベクトルの時間方向の積算値である積算動きベクトルを算出する（積算動きベクトル算出手段）。本実施例では、フレームのブロック毎に、積算動きベクトルとして、そのフレームを含む第１期間分のフレーム群の動きベクトルの時間方向の積算値を算出する。具体的には、処理対象のフレームを基準とする第１期間分のフレーム群の同一ブロックの動きベクトルを積算し、積算結果を積算動きベクトルとして処理対象のフレームのそのブロックに割り当てる処理を各ブロックについて行う。第１期間は、例えば、処理対象のフレームと、その前、後、または、前後の所定数のフレーム（数〜数十フレーム）を含む期間である。
そして、積算動きベクトル算出部１０６は、フレーム毎に、積算動きベクトルのヒストグラム（積算動きベクトルヒストグラム）を作成する。第１期間分の動きベクトルを足し合わせることで、木の葉のざわめき、水面のゆれといったランダム性や周期性がある動きを排除することができる。具体的には、図２に示すように、動きにランダム性や周期性のある部分における第１期間分の動きベクトルの積算値はほぼ０となる。なお、第１期間は、ランダム性や周期性のある動きを排除することができる期間であればよく、メーカーやユーザによって適宜設定される。
【００２０】
動き量算出部１０７は、フレーム毎に、大きさが所定値以上（第２の所定値以上）の動きベクトルの数を表す値をフレーム単位動き量として算出する（動き量算出手段）。具体的には、動きベクトル検出部１０５で検出された動きベクトルのうち、ｘ方向（水平方向）成分の大きさ｜Ｖｘ｜が所定値以上である動きベクトルの数とｙ方向（垂直方向）成分の大きさ｜Ｖｙ｜が所定値以上である動きベクトルの数の和がフレーム単位動き量として算出される。即ち、図３に示すフレーム単位の動きベクトルヒストグラムの範囲Ｂに属する動きベクトルの総度数がフレーム単位動き量として算出される。なお、フレーム単位動き量は、大きさが所定値以上（第２の所定値以上）の動きベクトルの数の、動きベクトルの総数に対する割合を表す値であってもよい。このように算出されたフレーム単位動き量（統計量）は、動きの大きなシーンでは大きな値となる（動きの小さなシーン、静止しているシーンでは小さな値となる）。
【００２１】
観賞用動画判定部１０８では、記録条件、ＡＰＬ、積算動きベクトルヒストグラム、フ
レーム単位動き量から入力された動画データのシーンが観賞用動画シーンか否かを判定する。
【００２２】
観賞用動画判定部１０８の処理の流れを、図４のフローチャートおよび図５（Ａ）〜８を用いて説明する。
なお、ここでは、以下の記録条件が入力（設定）されたものとする。記録時間は、対象動画データの時間長を意味する。
（記録条件）
対象動画データ：動画データＸ（記録時間３０秒）
観賞用動画シーン数：１シーン以上
観賞用動画シーン時間長：１０秒
記録方法：元の動画データに観賞用動画フラグを付加
【００２３】
まず、観賞用動画判定部１０８は、動画データＸから動きに関する情報（積算動きベクトルヒストグラムとフレーム単位動き量）より、観賞用動画シーンの動画データを抽出する（ステップＳ４０１）。
【００２４】
ステップＳ４０１では、観賞用動画判定部１０８（積算静止量算出手段）は、まず、フレーム毎に、大きさが所定値以下（第１の所定値以下）の積算動きベクトルの数を表す値を積算静止量として算出する。具体的には、積算動きベクトルのうち、ｘ方向成分の大きさ｜Ｖｘ｜が所定値以下である積算動きベクトルの数とｙ方向成分の大きさ｜Ｖｙ｜が所定値以下である積算動きベクトルの数の和が積算静止量として算出される。即ち、図２の範囲Ａに属する積算動きベクトルの総度数が積算静止量として算出される。なお、積算静止量は、大きさが所定値以下（第１の所定値以下）の積算動きベクトルの数の、動きベクトルの総数に対する割合を表す値であってもよい。このように算出された積算静止量（統計量）は、動きの小さな（静止している）シーンでは大きな値となる。図５（Ａ）は、縦軸を積算静止量、横軸を時間とするグラフである。観賞用動画判定部１０８は、積算静止量を上記第１期間よりも長い観賞用動画シーン時間長（第２期間）単位でスキャンする。そして、観賞用動画判定部１０８（抽出手段）は、第２期間分のフレーム群であって、積算静止量が第１の閾値以上のフレームを所定の割合（第１の割合）以上含むフレーム群からなる動画データを、観賞用動画シーンの動画データとして抽出する。即ち、動きが小さい部分を多く含む動画データを、観賞用動画シーンの動画データとして抽出する。本実施例では、積算静止量が第１の閾値以上のフレーム群からなる動画データが観賞用動画シーンの動画データとして抽出されるものとする。
図５（Ａ）の例では、シーンＡ１とシーンＡ３の動画データが観賞用動画シーンの動画データとして抽出される。第１の閾値は、積算静止量が観賞用動画シーンの静止量として適切か否かを判断することのできる値であればよく、メーカーやユーザによって適宜設定される。
なお、本実施例では抽出される観賞用動画シーンの時間長を固定（第２期間の長さ）としたが、観賞用動画シーンの時間長は変動してもよい。例えば、上記の方法で積算静止量が第１の閾値以上のフレームを第１の割合以上含むフレーム群からなるシーンを検出した後、積算静止量が第１の閾値以上のフレームを第１の割合だけ含むように、検出したシーンの時間長を長くしてもよい。
【００２５】
次に、観賞用動画判定部１０８は、フレーム単位動き量より、抽出した動画データ（シーンＡ１，Ａ３の動画データ）の観賞用動画シーンの動画データとしての妥当性を判断する。図６は、縦軸をフレーム単位動き量、横軸を時間とするグラフである。観賞用動画判定部１０８は、観賞用動画シーンの動画データを、抽出した動画データ（シーンＡ１，Ａ
３の動画データ）のうち、フレーム単位動き量が第３の閾値以下のフレームを所定の割合（第２の割合）以上含むフレーム群からなる動画データに絞り込む。本実施例では、観賞用動画シーンの動画データが、フレーム単位動き量が第３の閾値以下のフレーム群からなる動画データに絞り込まれるものとする。それにより、動きが大きい部分を多く含む動画データが、観賞用動画シーンの動画データから除外される。
周期的だが大きい動きは、積算動きベクトルには現れない。そのため、そのような動きを多く含む動画データ、例えば、時計の振り子がアップされているシーンの動画データは、積算動きベクトルを用いた判断だけでは、観賞用動画シーンの動画データとされてしまう虞がある。そのような動画データは高い臨場感を感じさせることができないため、観賞用動画シーンの動画データから除外することが望ましい。本処理により、そのような動画データを観賞用動画シーンの動画データから除外することができる。
図６の例では、シーンＡ１，Ａ３の動画データは、いずれもフレーム単位動き量が第３の閾値以下のフレーム群からなる動画データであるため、観賞用動画シーンの動画データとして妥当であると判断され、除外されない。第３の閾値は、フレーム単位動き量が観賞用動画シーンのフレーム単位動き量として適切か否かを判断することのできる値であればよく、メーカーやユーザによって適宜設定される。
【００２６】
なお、ステップＳ４０１で観賞用動画シーンの動画データとして抽出されなかったシーンＡ２の動画データ対して、観賞用動画シーンの動画データとするか否かを判断するようにしてもよい。例えば、車や人が一方向に動きつづけている動画データは、ステップＳ４０１の処理では抽出されないことがある。物体が一方向に動き続けている場合、積算動きベクトルヒストグラムは、図７に示すような分布（度数が一部に集中するような分布）となることが多い。そこで、積算動きベクトルヒストグラムを解析し、度数が一部の積算動きベクトルに集中しているフレームを所定の割合以上含む動画データを観賞用動画データとして更に抽出してもよい。換言すれば、第２期間分のフレーム群であって、積算動きベクトルが或る向き及び第１の所定値より大きい或る大きさのベクトルに集中しているフレームを所定の割合以上含むフレーム群からなる動画データを観賞用動画シーンの動画データとして更に抽出してよい。物体が一方向に動き続けているような単調な動画データを観賞用動画シーンの動画データとするか否かは、ユーザが記録条件入力部１１１を用いて切り替え可能としてもよい。ここでは、シーンＡ２の動画データが観賞用動画シーンの動画データとして抽出されなかったものとする。なお、度数が一部に集中しているか否かを判断する方法は、どのような方法であってもよい。例えば、所定の幅の積算動きベクトルの値の度数が、その前後の積算動きベクトルの度数よりも所定の閾値分大きい場合に、度数が一部に集中していると判断することができる。
【００２７】
次に、観賞用動画判定部１０８は、ＡＰＬ検出部１０４で抽出された輝度特徴量（ＡＰＬ）のフレーム間の変動量を算出する。そして、算出したＡＰＬの変動量から、抽出された動画データ（本実施例では、積算静止量、フレーム単位動き量に基づいて抽出されたシーンＡ１，Ａ３の動画データ）の観賞用動画シーンの動画データとしての妥当性を更に判断する（ステップＳ４０２）。ＡＰＬの変動量は、例えば、１つ前のフレームからのＡＰＬの変化量や、処理対象（変動量の算出対象）のフレームを含む所定期間におけるＡＰＬの時間変化を最小二乗近似して得られる一次関数の傾きなどである。図８は、縦軸をＡＰＬの変動量、横軸を時間とするグラフである。観賞用動画判定部１０８は、観賞用動画シーンの動画データを、抽出した動画データのうち、ＡＰＬのフレーム間の変動量が第５の閾値以上のフレームを所定の割合（第３の割合）以上含むフレーム群からなる動画データに絞り込む。本実施例では、観賞用動画シーンの動画データが、変動量が第５の閾値以上のフレーム群からなる動画データに絞り込まれるものとする。それにより、フレーム間で輝度値が大きく変化する動画データが、観賞用動画シーンの動画データから除外される。
ストロボが小刻みに発光されているシーンの動画データのように、フレーム間で輝度値が大きく変化する動画データは、ステップＳ４０１の処理だけでは、観賞用動画シーンの
動画データとされてしまう虞がある。そのような動画データは高い臨場感を感じさせることができないため、観賞用動画シーンの動画データから除外することが望ましい。本処理により、そのような動画データを観賞用動画シーンの動画データから除外することができる。
図８の例では、シーンＡ３の動画データは、符号Ｃ’で示す時刻に、ＡＰＬの変動量が第５の閾値より大きいフレームを含んでいる。そのため、シーンＡ３の動画データは、観賞用動画シーンの動画データとして妥当でないと判断され、除外され、シーンＡ１の動画データが観賞用動画シーンの動画データとされる。ただし、このステップＳ４０２は必須ではなく、ステップＳ４０２の処理を省略してもよい。
【００２８】
そして、観賞用動画判定部１０８は、ステップＳ４０２で抽出（決定）された観賞用動画シーンの動画データの数が、記録条件に含まれる観賞用動画シーン数を満たしているか否かを判断する（ステップＳ４０３）。満たしている場合（ステップＳ４０３：ＹＥＳ）には、ステップＳ４０４へ進み、満たしていない場合（ステップＳ４０３：ＮＯ）には、ステップＳ４０５へ進む。
ステップＳ４０４では、観賞用動画判定部１０８が、抽出された観賞用動画シーン（ここではシーンＡ１）の動画データに対して、観賞用動画フラグを１と設定する。そして、観賞用動画記録判定部１０９へ、抽出された観賞用動画シーンの動画データとその観賞用動画フラグを出力し、本フローの処理を終了する。
ステップＳ４０５では、観賞用動画判定部１０８が、ユーザに観賞用動画シーンの動画データが抽出されなかったことを通知する処理を行う。
【００２９】
ステップＳ４０５の次に、観賞用動画判定部１０８は、第１，３，５の閾値を調整するか否かをユーザに問い合わせる処理を行う（ステップＳ４０６）。第１，３，５の閾値の少なくとも１つが調整された場合（ステップＳ４０６：ＹＥＳ）には、ステップＳ４０７へ進み、調整されなかった場合（ステップＳ４０６：ＮＯ）には、本フローの処理は終了となる。
ステップＳ４０７では、観賞用動画判定部１０８は、第１，３，５の閾値を再設定する。そして、ステップＳ４０１からの処理が再度行われる。
なお、ステップＳ４０７では、ユーザの指示に応じて、観賞用動画シーン数や観賞用動画シーン時間長を再設定してもよい。また、第１〜３の割合を再設定してもよい。例えば、観賞用動画シーン時間長が１０秒、第１〜３の割合がすべて８０％と設定された場合には、１０秒の動画データであって、観賞用動画シーンのフレームとして妥当であるフレームを８秒分以上含む動画データが観賞用動画シーンの動画データとされる。なお、観賞用動画シーンのフレームとして妥当であるフレームは、本実施例では、積算静止量が第１の閾値以上、フレーム単位動き量が第３の閾値以下、輝度特徴量のフレーム間の変動量が第５の閾値以下のフレームである。
【００３０】
観賞用動画記録判定部１０９は、観賞用動画判定部１０８で観賞用動画フラグが１とされた動画データ（抽出された観賞用動画シーンの動画データ）を、記録条件に含まれる記録方法で記録部１１０が有する記録媒体に保存する。本実施例では、記録方法が「元の動画データに観賞用動画フラグを付加」であるため、記録部１１０に格納されていた元の動画データが、その観賞用動画シーンの動画データの期間に観賞用動画フラグ“１”が関連付けられて記録される。
なお、他の記録方法としては、観賞用動画フラグが１とされた動画データのみを元の動画データとは別の動画データとして記録する方法や、元の動画データから、観賞用動画シーンとして抽出された動画データ以外の動画データを削除して記録する方法などがある。また、フレーム単位動き量、積算静止量、ＡＰＬの変動量などの特徴量を元の動画データに関連付けて保存し、後でそれらのデータを用いて観賞用動画シーンの動画データ抽出を行う構成であってもよい。
【００３１】
以上述べたように、本実施例によれば、積算静止量が第１の閾値以上のフレームを所定の割合以上含むフレーム群からなる動画データのみを観賞用動画シーンの動画データとして抽出することができる。積算静止量が第１の閾値以上のフレームを所定の割合以上含むフレーム群からなる動画データは、動きが小さい動画データやランダム性や周期性がある動きのような単調な動きを多く含む動画データである。このような動画データは、視聴者に高い臨場感を感じさせることができる。即ち、本実施例によれば、入力された動画データから視聴者に高い臨場感を感じさせることのできるシーンの動画データのみを抽出することができる。
また、周期的だが大きい動きを多く含む動画データは、高い臨場感を感じさせることができない。本実施例では、観賞用動画シーンの動画データが、抽出した動画データのうち、フレーム単位動き量が第３の閾値以下のフレームを所定の割合以上含むフレーム群からなる動画データに絞り込まれる。それにより、周期的だが大きい動きを多く含む動画データを観賞用動画シーンの動画データから除外することができ、入力された動画データから視聴者に高い臨場感を感じさせることのできるシーンの動画データのみを更に精度よく抽出することができる。
また、フレーム間で輝度値が大きく変化する動画データは、高い臨場感を感じさせることができない。本実施例では、観賞用動画シーンの動画データが、抽出した動画データのうち、輝度特徴量のフレーム間の変動量が第５の閾値以下のフレームを所定の割合以上含むフレーム群からなる動画データに絞り込まれる。それにより、フレーム間で輝度値が大きく変化する動画データを観賞用動画シーンの動画データから除外することができ、入力された動画データから視聴者に高い臨場感を感じさせることのできるシーンの動画データのみを更に精度よく抽出することができる。
【００３２】
なお、本実施例では、フレーム毎に、各ブロックの積算動きベクトルを算出するとしたが、所定期間分（第１期間分）のフレーム群（数〜数十フレーム）毎に、各ブロックの積算動きベクトルを算出してもよい。即ち、所定期間分のフレーム群毎且つブロック毎に、そのフレーム群の動きベクトルの時間方向の積算値である積算動きベクトルを算出してもよい。その場合には、積算静止量も、第１期間分のフレーム群毎に算出すればよい。具体的には、図５（Ｂ）に示すように、第１期間分のフレーム群毎に、大きさが所定値以下（第１の所定値以下）の積算動きベクトルの数に基づく値（大きさが所定値以下の積算動きベクトルの数、又は、大きさが所定値以下の積算動きベクトルの数を積算動きベクトルの総数で割った値）を積算静止量として算出すればよい。そして、積算静止量が第１の閾値以上の期間（第１期間分のフレーム群の期間）を所定の割合以上含む第２期間（例えば１０秒）分の動画データを、観賞用動画シーンの動画データとして抽出すればよい。
なお、フレーム毎に各ブロックの積算動きベクトルを算出し、第１期間分のフレーム群毎に積算静止量を算出してもよい。
なお、積算静止量を算出せずに、大きさが所定値以下の積算動きベクトルの数が第１の閾値以上のフレーム（または上記第１期間分のフレーム群）を所定の割合以上含むフレーム群からなる動画データを、観賞用動画シーンの動画データとして抽出してもよい。
【００３３】
なお、本実施例では、特徴量として、輝度特徴量を用いる構成としたが、輝度特徴量の代わりに画像の色特徴量や形状特徴量などの他の特徴量を用いる構成であってもよい。そのような構成であっても、上述した作用効果に準じた作用効果を得ることができる。また、複数の特徴量を用いてもよい。例えば、本実施例の処理に、形状特徴量の変動量に基づく観賞用動画シーンの動画データの絞り込みを行う処理を更に追加してもよい。そのような構成にすることにより、入力された動画データから視聴者に高い臨場感を感じさせることのできるシーンの動画データのみを更に精度よく抽出することができる。
なお、本実施例では、記録条件がユーザ操作によって選択され、入力される構成としたが、記録条件は予め画像処理装置内に記録されている固定値であってもよい。また、元の
動画データ（対象動画データ）毎に予め定められていてもよい（対象動画データに付加されていてもよい）。
なお、本実施例では、動きベクトル（積算動きベクトル）のヒストグラムとして、動きベクトルのｘ方向成分とｙ方向成分のそれぞれのヒストグラムが作成されるものとしたが、これに限らない。２次元ヒストグラムであってもよい。また、本実施例では、動きベクトルを複数の成分に分け、各成分の値をそれぞれ、閾値と比較するもとしたが、これに限らない。動きベクトルを複数の成分に分けず、動きベクトルそのものの大きさを閾値と比較してもよい。また、ヒストグラムは作成されなくてもよい。例えば、積算動きベクトルヒストグラム作成せずに、各積算動きベクトルの値から、積算静止量が算出されてもよい。
なお、第１〜３の割合は同じ割合であってもよいし、異なっていてもよい。
【００３４】
＜実施例２＞
以下、図１，２，６，９〜１２を用いて本発明の実施例２に係る画像処理装置及び該画像処理装置により実行される画像処理方法について説明する。
図９は、実施例２に係る画像処理装置の機能構成の一例を示すブロック図である。
画像処理装置２００は、実施例１（図１）の構成の他に、デバイス情報取得部２０１を更に有する。また、画像処理装置２００と無線乃至有線で通信可能な表示部１１２（抽出した観賞用動画シーンの動画データに基づく動画を表示する表示装置）には、デバイス情報格納部２０２が設けられている。その他の構成は、図１と同じであるため、図１と同じ符号を付す。以下、実施例１と異なる点について説明する。
【００３５】
デバイス情報取得部２０１は、デバイス情報格納部２０２からデバイス情報を取得し、観賞用動画判定部１０８に出力する（取得手段）。
デバイス情報格納部２０２は、表示部１１２のデバイス情報を記憶するＥＤＩＤ（Extended Display Identification Data）ＲＯＭ等の記録媒体である。なお、デバイス情報格納部２０２は、デバイス情報が格納されていればよく、ＥＤＩＤＲＯＭに限らない。本実施例では、デバイス情報格納部２０２には、デバイス情報として、表示部１１２（表示装置；表示パネル）の駆動方式、表示フレームレート（フレームレート変換方法を含む）、表示方式等を表す情報が格納されているものとする。表示フレームレートは、表示部１１２の、表示する動画のフレームレートである。
【００３６】
本実施例では、観賞用動画判定部１０８は、入力されたデバイス情報に基づいて第１の閾値の値を変更する。また、観賞用動画判定部１０８は、積算静止量を用いた観賞用動画シーンの動画データの抽出処理を行う際に、第２の閾値を更に用いる。
【００３７】
まず、デバイス情報に基づく第１の閾値の変更方法について説明する。
表示部１１２の駆動方式がホールド型駆動方式の場合、強い風でゆれている木の葉などを表す動画を表示しようとするとボケてしまう可能性がある。このようなボケは臨場感を削ぐ結果に繋がってしまい、そのようなボケを生じさせる動画データは観賞用動画シーンの動画データとして適切であるとはいえない。そこで本実施例では、観賞用動画判定部１０８が、入力（取得）されたデバイス情報から、表示部１１２の駆動方式がインパルス型駆動方式なのかホールド型駆動方式なのかを判断する。そして、判断結果に応じて第１の閾値を変更する。
【００３８】
図１０は、縦軸を積算静止量、横軸を時間とするグラフである。インパルス型駆動方式の表示装置は、表示する動画に多少の動きがあってもボケにくい特徴がある。そのため、本実施例では、観賞用動画判定部１０８は、表示部１１２の駆動方式がインパルス型駆動方式のときのほうが、ホールド型駆動方式のときよりも第１の閾値として低い値を設定する。表示部１１２の駆動方式がインパルス型駆動方式のときに第１の閾値として低い値を
設定することにより、ある程度動きのある動画データも観賞用動画シーンの動画データとして抽出することができる。図１０の例では、表示部１１２の駆動方式がインパルス型駆動方式の場合には、シーンＡ１，Ａ３の動画データが観賞用動画シーンの動画データとして抽出される。
一方、ホールド型駆動方式の表示装置は、インパル型駆動方式の表示装置に比べて、表示する動画に動きがあるとボケやすい特徴がある。本実施例では、表示部１１２の駆動方式がホールド型駆動方式のときに第１の閾値として高い値を設定することにより、ボケが生じる虞の無い動画データのみを観賞用動画シーンの動画データとして抽出することができる。図１０の例では、表示部１１２の駆動方式がホールド型駆動方式の場合には、シーンＡ１の動画データのみが観賞用動画シーンの動画データとして抽出される。
【００３９】
また、表示フレームレートが高いほどボケは発生しにくい。そのため、入力されたデバイス情報から、表示部１１２の表示フレームレートを判断してもよい。そして、表示部１１２の表示フレームレートが高いほど第１の閾値として低い値を設定してもよい。そのような構成であっても、上記効果に準じた作用効果を得ることができる。
また、液晶ディスプレイでは、表示方式として、入力された動画データに基づく動画のフレーム間に黒画像を挿入して表示する黒挿入表示方式を採用することにより、ボケを軽減することができる。そのため、入力されたデバイス情報から、表示部１１２の表示方式が黒挿入表示方式か否かを判断してもよい。そして、表示部１１２の表示方式が黒挿入表示方式のときのほうが、黒挿入表示方式でないときよりも第１の閾値として低い値を設定してもよい。そのような構成であっても、上記効果に準じた作用効果を得ることができる。
また、上述した情報を組み合わせて第１の閾値を変更することにより、観賞用動画シーンの動画データとして、より適切な動画データを抽出することが可能となる。
【００４０】
次に、積算静止量を用いた観賞用動画シーンの動画データの抽出処理を、第２の閾値を更に用いて行う方法について説明する。
実施例１では、積算静止量を用いた抽出処理において、全く動きがない（限りなく静止画に近い）動画のデータが観賞用動画シーンの動画データとして抽出される場合がある。臨場感は静止しているより少しでも動きのある動画の方が強く感じられる。そこで、本実施例では、第２の閾値を、積算静止量が観賞用動画シーンの静止量として妥当か否かの上限として用いることにより、全く動きがない（限りなく静止画に近い）動画のデータが観賞用動画シーンの動画データとして抽出されることを防ぐ。
【００４１】
図１１は、縦軸を積算静止量、横軸を時間とするグラフである。
本実施例では、第２の閾値は、ユーザ操作により、記録条件入力部１１１から画像処理装置内に入力される。第２の閾値は、例えば、図４のステップＳ４０１の前や、ステップＳ４０６のタイミングで入力（設定）されればよい。なお、第２の閾値は、画像処理装置内に予め記憶されていてもよいし、対象動画データに付加されていてもよい。
図４のステップＳ４０１で、積算静止量を用いた抽出処理を行う際に、第２の閾値が観賞用動画シーンとして妥当な積算静止量の上限として用いられる。即ち、ステップＳ４０１で、観賞用動画判定部１０８は、積算静止量が第１の閾値以上第２の閾値以下のフレームを所定の割合以上含むフレーム群からなる動画データを観賞用動画シーンの動画データとして抽出する。図１１の例では、実施例１の構成ではシーンＡ１，Ａ３の動画データが観賞用動画シーンの動画データとして抽出されるが、実施例２の構成ではシーンＡ３の動画データのみが観賞用動画シーンの動画データとして抽出される。
その他の処理は実施例１と同じであるため説明を省略する。
【００４２】
観賞用動画記録判定部１０９は、観賞用動画判定部１０８で観賞用動画フラグが１とされた動画データ（抽出された観賞用動画シーンの動画データ）を、記録条件に含まれる記
録方法で記録部１１０が有する記録媒体に保存する。本実施例では、抽出された動画データを、表示部１１２のデバイス情報、抽出する際に使用した記録条件、閾値などの情報の少なくとも一部の情報を関連付けて保存する。例えば、抽出された動画データに、表示部１１２の駆動方式、表示フレームレート、表示方式といった情報を関連付けて保存する。
【００４３】
以上述べたように、本実施例によれば、デバイス情報に基づいて第１の閾値の値が変更される。それにより、観賞用動画シーンの動画データとして、より適切な動画データを抽出することが可能となる。即ち、デバイス情報に基づいて第１の閾値が変更されない場合に比べ、入力された動画データから視聴者に高い臨場感を感じさせることのできるシーンの動画データのみをより精度よく抽出することができる。
また、本実施例によれば、積算静止量が観賞用動画シーンの静止量として妥当か否かの上限として第２の閾値が用いられる。それにより、全く動きがない（限りなく静止画に近い）動画のデータが観賞用動画シーンの動画データとして抽出されることを防ぐことができる。また、本実施例では、第２の閾値はユーザによって入力される、即ちユーザによって変更可能であるため、ユーザの好みに応じて観賞用動画シーンの動画データとするか否かの判断基準を決定することができる。例えば、全く動きがない（限りなく静止画に近い）動画のデータが観賞用動画シーンの動画データとして抽出するか否かを選択することができる。
また、本実施例によれば、抽出された動画データは、デバイス情報、記録条件、閾値などの情報の少なくとも一部の情報が関連付けられて保存される。それにより、別の画像処理装置で観賞用動画シーンの動画データの抽出を行う際に、記録されている情報を参考にして抽出することで、抽出時間（処理時間）を短縮することが可能となる。また、抽出する際の条件（デバイス情報、記録条件、閾値など）が同一である場合には、抽出処理を行うことなく観賞用動画シーンの動画データのみを表示装置で表示することが可能となる。
【００４４】
なお、本実施例では、デバイス情報に基づいて第１の閾値の値を変更するものとしたが、デバイス情報に基づいて実施例１で述べた第３の閾値を変更してもよい。具体的には、表示装置の駆動方式がインパルス型駆動方式のときのほうが、ホールド型駆動方式のときよりも第３の閾値として高い値を設定すればよい。表示装置の表示フレームレートが高いほど第３の閾値として高い値を設定すればよい。表示装置の表示方式が黒挿入表示方式のときのほうが、黒挿入表示方式でないときよりも第３の閾値として高い値を設定すればよい。そのような構成であっても、上記作用効果に準じた効果が得られる。
また、積算静止量を用いた観賞用動画シーンの動画データの抽出処理（絞り込み処理）を行う際に、フレーム単位動き量が観賞用動画シーンのフレーム単位動き量として妥当か否かの下限として第４の閾値を用いてもよい。即ち、観賞用動画シーンの動画データを、抽出した動画データのうち、フレーム単位動き量が第４の閾値以上第３の閾値以下のフレームを所定の割合以上含むフレーム群からなる動画データに絞り込んでもよい。それにより、積算静止量が観賞用動画シーンの積算静止量として妥当か否かの上限として第２の閾値を用いた際に得られる作用効果に準じた作用効果を得ることができる。
【符号の説明】
【００４５】
１０３ 記録条件解析部
１０４ ＡＰＬ検出部
１０５ 動きベクトル検出部
１０６ 積算動きベクトル算出部
１０７ 動き量算出部
１０８ 観賞用動画判定部
１０９ 観賞用動画記録判定部
【特許請求の範囲】
【請求項１】
入力された動画データから所望のシーンの動画データを抽出する画像処理装置であって、
入力された動画データの各フレームから、フレームを分割して得られるブロック毎に、動きベクトルを検出する動きベクトル検出手段と、
前記フレームのブロック毎に、そのフレームを含む第１期間分のフレーム群の動きベクトルの時間方向の積算値である積算動きベクトルを算出する積算動きベクトル算出手段と、
前記フレーム毎に、大きさが第１の所定値以下の積算動きベクトルの数に基づく値を積算静止量として算出する積算静止量算出手段と、
算出された前記積算静止量が第１の閾値以上のフレームを所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして抽出する抽出手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記抽出手段は、前記積算静止量算出手段により算出された前記積算静止量に基づいて、前記第１期間よりも長い第２期間分のフレーム群からなる動画データを、前記所望のシーンの動画データとして抽出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記抽出手段は、前記積算静止量が第１の閾値以上、かつ第２の閾値以下のフレームを所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして抽出する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記フレーム毎に、大きさが第２の所定値以上の動きベクトルの数に基づく値をフレーム単位動き量として算出するフレーム単位動き量算出手段を更に有し、
前記抽出手段は、前記所望のシーンの動画データを、前記抽出した動画データのうち、前記フレーム単位動き量が第３の閾値以下のフレームを所定の割合以上含むフレーム群からなる動画データに絞り込む
ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記抽出手段は、前記所望のシーンの動画データを、前記抽出した動画データのうち、前記フレーム単位動き量が第４の閾値以上、かつ第３の閾値以下のフレームを所定の割合以上含むフレーム群からなる動画データに絞り込む
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
フレーム毎に、輝度特徴量、色特徴量、または、形状特徴量を抽出する特徴量抽出手段を更に有し、
前記抽出手段は、前記所望のシーンの動画データを、前記抽出した動画データのうち、前記特徴量抽出手段で抽出した特徴量のフレーム間の変動量が第５の閾値以下のフレームを所定の割合以上含むフレーム群からなる動画データに絞り込む
ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記抽出手段は、積算動きベクトルが或る向き及び前記第１の所定値より大きい或る大きさのベクトルに集中しているフレームを所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして更に抽出する
ことを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記抽出した所望のシーンの動画データに基づく動画を表示する表示装置の駆動方式を
表す情報を取得する取得手段を更に有し、
前記抽出手段は、
前記取得手段で取得された情報から、前記表示装置の駆動方式がインパルス型駆動方式なのかホールド型駆動方式なのかを判断し、
前記表示装置の駆動方式がインパルス型駆動方式のときのほうが、ホールド型駆動方式のときよりも前記第１の閾値として低い値を設定する
ことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記抽出した所望のシーンの動画データに基づく動画を表示する表示装置の、表示される動画のフレームレートである表示フレームレートを表す情報を取得する取得手段を更に有し、
前記抽出手段は、
前記取得手段で取得された情報から、前記表示装置の表示フレームレートを判断し、
前記表示装置の表示フレームレートが高いほど前記第１の閾値として低い値を設定する
ことを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記抽出した所望のシーンの動画データに基づく動画を表示する表示装置の表示方式を表す情報を取得する取得手段を更に有し、
前記抽出手段は、
前記取得手段で取得された情報から、前記表示装置の表示方式が、入力された動画データに基づく動画のフレーム間に黒画像を挿入して表示する黒挿入表示方式か否かを判断し、
前記表示装置の表示方式が黒挿入表示方式のときのほうが、前記黒挿入表示方式でないときよりも前記第１の閾値として低い値を設定する
ことを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記動きベクトル検出手段は、入力された動画データの各フレームを複数のブロックに分割し、ブロックマッチング法によりブロック毎に動きベクトルを検出する
ことを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記ブロックの大きさは、１画素分の大きさである
ことを特徴とする請求項１〜１１のいずれか１項に記載の画像処理装置。
【請求項１３】
入力された動画データから所望のシーンの動画データを抽出する画像処理方法であって、
入力された動画データの各フレームから、フレームを分割して得られるブロック毎に、動きベクトルを検出するステップと、
前記フレームのブロック毎に、そのフレームを含む第１期間分のフレーム群の動きベクトルの時間方向の積算値である積算動きベクトルを算出するステップと、
前記フレーム毎に、大きさが第１の所定値以下の積算動きベクトルの数に基づく値を積算静止量として算出するステップと、
算出された前記積算静止量が第１の閾値以上のフレームを所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして抽出するステップと、
を有することを特徴とする画像処理方法。
【請求項１４】
入力された動画データから所望のシーンの動画データを抽出する画像処理装置であって、
入力された動画データの各フレームから、フレームを分割して得られるブロック毎に、動きベクトルを検出する動きベクトル検出手段と、
所定期間分のフレーム群毎且つブロック毎に、そのフレーム群の動きベクトルの時間方
向の積算値である積算動きベクトルを算出する積算動きベクトル算出手段と、
大きさが第１の所定値以下の積算動きベクトルの数が第１の閾値以上の前記所定期間分のフレーム群を所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして抽出する抽出手段と、
を有することを特徴とする画像処理装置。
【請求項１】
入力された動画データから所望のシーンの動画データを抽出する画像処理装置であって、
入力された動画データの各フレームから、フレームを分割して得られるブロック毎に、動きベクトルを検出する動きベクトル検出手段と、
前記フレームのブロック毎に、そのフレームを含む第１期間分のフレーム群の動きベクトルの時間方向の積算値である積算動きベクトルを算出する積算動きベクトル算出手段と、
前記フレーム毎に、大きさが第１の所定値以下の積算動きベクトルの数に基づく値を積算静止量として算出する積算静止量算出手段と、
算出された前記積算静止量が第１の閾値以上のフレームを所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして抽出する抽出手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記抽出手段は、前記積算静止量算出手段により算出された前記積算静止量に基づいて、前記第１期間よりも長い第２期間分のフレーム群からなる動画データを、前記所望のシーンの動画データとして抽出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記抽出手段は、前記積算静止量が第１の閾値以上、かつ第２の閾値以下のフレームを所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして抽出する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記フレーム毎に、大きさが第２の所定値以上の動きベクトルの数に基づく値をフレーム単位動き量として算出するフレーム単位動き量算出手段を更に有し、
前記抽出手段は、前記所望のシーンの動画データを、前記抽出した動画データのうち、前記フレーム単位動き量が第３の閾値以下のフレームを所定の割合以上含むフレーム群からなる動画データに絞り込む
ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記抽出手段は、前記所望のシーンの動画データを、前記抽出した動画データのうち、前記フレーム単位動き量が第４の閾値以上、かつ第３の閾値以下のフレームを所定の割合以上含むフレーム群からなる動画データに絞り込む
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
フレーム毎に、輝度特徴量、色特徴量、または、形状特徴量を抽出する特徴量抽出手段を更に有し、
前記抽出手段は、前記所望のシーンの動画データを、前記抽出した動画データのうち、前記特徴量抽出手段で抽出した特徴量のフレーム間の変動量が第５の閾値以下のフレームを所定の割合以上含むフレーム群からなる動画データに絞り込む
ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記抽出手段は、積算動きベクトルが或る向き及び前記第１の所定値より大きい或る大きさのベクトルに集中しているフレームを所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして更に抽出する
ことを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記抽出した所望のシーンの動画データに基づく動画を表示する表示装置の駆動方式を
表す情報を取得する取得手段を更に有し、
前記抽出手段は、
前記取得手段で取得された情報から、前記表示装置の駆動方式がインパルス型駆動方式なのかホールド型駆動方式なのかを判断し、
前記表示装置の駆動方式がインパルス型駆動方式のときのほうが、ホールド型駆動方式のときよりも前記第１の閾値として低い値を設定する
ことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記抽出した所望のシーンの動画データに基づく動画を表示する表示装置の、表示される動画のフレームレートである表示フレームレートを表す情報を取得する取得手段を更に有し、
前記抽出手段は、
前記取得手段で取得された情報から、前記表示装置の表示フレームレートを判断し、
前記表示装置の表示フレームレートが高いほど前記第１の閾値として低い値を設定する
ことを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記抽出した所望のシーンの動画データに基づく動画を表示する表示装置の表示方式を表す情報を取得する取得手段を更に有し、
前記抽出手段は、
前記取得手段で取得された情報から、前記表示装置の表示方式が、入力された動画データに基づく動画のフレーム間に黒画像を挿入して表示する黒挿入表示方式か否かを判断し、
前記表示装置の表示方式が黒挿入表示方式のときのほうが、前記黒挿入表示方式でないときよりも前記第１の閾値として低い値を設定する
ことを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記動きベクトル検出手段は、入力された動画データの各フレームを複数のブロックに分割し、ブロックマッチング法によりブロック毎に動きベクトルを検出する
ことを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記ブロックの大きさは、１画素分の大きさである
ことを特徴とする請求項１〜１１のいずれか１項に記載の画像処理装置。
【請求項１３】
入力された動画データから所望のシーンの動画データを抽出する画像処理方法であって、
入力された動画データの各フレームから、フレームを分割して得られるブロック毎に、動きベクトルを検出するステップと、
前記フレームのブロック毎に、そのフレームを含む第１期間分のフレーム群の動きベクトルの時間方向の積算値である積算動きベクトルを算出するステップと、
前記フレーム毎に、大きさが第１の所定値以下の積算動きベクトルの数に基づく値を積算静止量として算出するステップと、
算出された前記積算静止量が第１の閾値以上のフレームを所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして抽出するステップと、
を有することを特徴とする画像処理方法。
【請求項１４】
入力された動画データから所望のシーンの動画データを抽出する画像処理装置であって、
入力された動画データの各フレームから、フレームを分割して得られるブロック毎に、動きベクトルを検出する動きベクトル検出手段と、
所定期間分のフレーム群毎且つブロック毎に、そのフレーム群の動きベクトルの時間方
向の積算値である積算動きベクトルを算出する積算動きベクトル算出手段と、
大きさが第１の所定値以下の積算動きベクトルの数が第１の閾値以上の前記所定期間分のフレーム群を所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして抽出する抽出手段と、
を有することを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１５６９８１（Ｐ２０１２−１５６９８１Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−２４１０９９（Ｐ２０１１−２４１０９９）
【出願日】平成２３年１１月２日（２０１１．１１．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１１月２日（２０１１．１１．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]