画像処理装置、画像処理方法、及びプログラム
【課題】簡易な構成で適切に動きぼけ付加処理を行い、ジャーキネス劣化を低減させた画像を得る。
【解決手段】入力された動画像データにおける処理対象フレームについて、領域毎の静動判定の結果と、撮像時の撮像情報とに基づいて動きぼけ付加処理を行う。例えば動領域と判定された領域について、シャッタ速度情報、絞り値情報、焦点距離情報、ジャイロスコープ回転量情報等の撮像情報により、動きぼけ量を示す評価値を生成し、評価値に基づいて動きぼけ付加処理を行う。これによって、フレーム内の領域毎に動きベクトルを検出するという処理負担の大きい処理を不要とする。
【解決手段】入力された動画像データにおける処理対象フレームについて、領域毎の静動判定の結果と、撮像時の撮像情報とに基づいて動きぼけ付加処理を行う。例えば動領域と判定された領域について、シャッタ速度情報、絞り値情報、焦点距離情報、ジャイロスコープ回転量情報等の撮像情報により、動きぼけ量を示す評価値を生成し、評価値に基づいて動きぼけ付加処理を行う。これによって、フレーム内の領域毎に動きベクトルを検出するという処理負担の大きい処理を不要とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像に対して動きぼけを付加する画像処理を行う画像処理装置、画像処理方法、及びその画像処理をコンピュータ等の演算処理装置に実行させるプログラムに関する。
【背景技術】
【０００２】
【特許文献１】特開２００７−２７４２９９号公報
【０００３】
シャッタ機能を有する撮像装置によりフレームレートで決定される期間に対して各フレームが短い有効露光時間で撮像された動画像を、表示デバイスを用いて表示すると、画像中に含まれる移動物体の動きが不連続に表示され、画像を観察する観察者が多重像を知覚してしまうという視覚上の画像劣化が発生する場合がある。
このような動きの不自然さによる動画像の劣化は、一般的にモーションジャーキネス（Motion Jerkiness）と呼ばれる（参考文献：ANSI T1.801.02-1996）。
【０００４】
モーションジャーキネスが発生する具体例について、図２０に示す動画像撮像装置５００及び動画像再生装置６００を用いて説明する。
動画像撮像装置５００は、動画像を撮像してＭＰＥＧ（Moving Picture Experts Group）などの規格で符号化し、この符号化された画像データをＤＶＤ（Digital Versatile Disc）などの記録媒体７００に記録するものであり、具体的には次のような構成を有している。
【０００５】
即ち動画像撮像装置５００は、被写体像からの光を集光する撮像光学系５１０と、この撮像光学系５１０により集光された光を受光して画像信号に変換する撮像素子５２０と、この撮像素子５２０により変換された画像信号を符号化する符号化処理部５３０を有する。
また動画像撮像装置５００は、符号化処理部５３０により符号化された画像データを所定の伝送路を介して外部へ送信する送信処理部５４０と、符号化処理部５３０により符号化された画像データをＤＶＤなどの記録媒体７００に記録する記録処理部５５０を備える。
【０００６】
撮像光学系５１０は、外部から入射する被写体光の光量を調節する絞り機構５１１と、絞り機構５１１により光量を調節された被写体光を撮像素子５２０の受光面に集光させる光学レンズ系５１２とから構成される。
【０００７】
一方、動画像再生装置６００は、符号化された画像データを復号して、ディスプレイなどに表示出力するものであり、具体的には次のような構成を有している。
即ち動画像再生装置６００は、所定の伝送路を介して伝送されてくる符号化された画像データを受信する受信処理部６１０と、記録媒体７００から符号化された画像データを読み出す読出処理部６２０を有する。
また動画像再生装置６００は、受信処理部６１０及び読出処理部６２０から出力される符号化された画像データを復号する復号処理部６３０と、復号処理部６３０によって復号された画像信号を表示するディスプレイなどの表示出力部６４０とを備える。
【０００８】
例えば明るい野外などで動画像を撮像するとき、このような従来の動画像撮像装置５００では、絞り機構５１１を絞ることによって撮像素子５２０に入射させる光量を制限して露光量を適切に制御している。
しかしながら、通常、絞り機構５１１を絞りすぎると回折現象により像がぼやけてしまう。このため、動画像撮像装置５００では、絞り機構５１１によって光量を調節するのに加えて、シャッタ速度を短くすることで適切な露光制御を行っている。
また、絞り機構が設けられていない動画像撮像装置では、シャッタ速度を変更することで露光制御を行っている。
【０００９】
このようにして、従来の動画像撮像装置５００では、シャッタ速度を短くすることで、野外撮影などにおいて適切な露光制御を行うことができるが、これに伴って次のような現象が現れてくる。
すなわち、従来の動画像撮像装置５００では、シャッタ速度を短くしすぎると、人間の視覚特性によって画像の動きに滑らかさを欠いた現象となって現れてしまう。
【００１０】
このような動きの不自然さによる動画像の劣化は、一般的にモーションジャーキネス（Motion Jerkiness）と呼ばれる。すなわち、動画像再生装置６００は、動画像撮像装置５００によってジャーキネス劣化を含んで撮像されると、そのままジャーキネス劣化を含んだ画像データを復号して表示出力部６４０により表示することとなる。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
上述したように、動画像のフレームレートに対して非常に高速のシャッタ速度で撮像された画像は、静止画像として表示したときには鮮鋭度が高いが、動画像として表示したときには画像中の動体の動きが滑らかではなく、人間の視覚特性上、不自然に見えてしまう。
そこで上記特許文献１に記載されているように、本出願人は先に、動画像についての動きベクトルを検出し、動きベクトルを用いて動画像に適切に動きぼけを付加する技術を提案した。
ところが、例えば動画像を構成する各フレームの各領域毎に動きベクトルを検出する処理は、処理負担が大きく、簡易な装置やシステムには不向きとなる場合がある。
そこで本発明は、処理負担の少ない簡易な手法で、動画像に適切に動きぼけを付加し、ジャーキネス劣化を低減できる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の画像処理装置は、動画像データを構成する各単位画像を処理対象画像とし、各処理対象画像の領域毎の静動判定を行う静動判定手段と、上記動画像データに対し、上記静動判定手段の判定結果と、上記動画像データが撮像装置による撮像により生成された際の撮像情報とに基づいて動きぼけを付加する処理を行う動きぼけ付加手段とを備える。
また上記動きぼけ付加手段は、上記動画像データの各処理対象画像について、上記静動判定手段によって動領域と判定された領域に、上記撮像情報に基づいて動きぼけを付加する処理を行う。
また上記静動判定手段は、静領域か動領域かの判定結果と、上記撮像情報とに基づいて領域毎の評価値を生成し、上記動きぼけ付加手段は、上記評価値に基づいて、上記動画像データの各処理対象画像に動きぼけを付加する処理を行う。
また上記静動判定手段は、上記撮像情報取込手段からの複数種類の撮像情報を用いた重み付け演算処理により上記評価値を生成する。
【００１３】
また上記動きぼけ付加手段では、上記撮像情報としてのシャッタ速度情報によるシャッタ速度が速いほど動きぼけ量を大きくする動きぼけ付加処理が行われる。
また上記動きぼけ付加手段では、上記撮像情報としての絞り値情報による絞り値が大きいほど動きぼけ量を大きくする動きぼけ付加処理が行われる。
また上記動きぼけ付加手段では、上記撮像情報としての焦点距離情報による焦点距離が遠いほど動きぼけ量を大きくする動きぼけ付加処理が行われる。
また上記動きぼけ付加手段では、上記撮像情報としてのジャイロスコープ回転量情報によるジャイロスコープ回転量が大きいほど動きぼけ量を大きくする動きぼけ付加処理が行われる。
【００１４】
また上記動きぼけ付加手段は、動画像データに対し、動画像を構成する各単位画像を処理対象画像とし、上記処理対象画像から１つ以上の解像度の異なる縮小画像を生成する縮小画像生成部と、上記処理対象画像の注目画素に位置的に対応する画素を上記縮小画像から抽出し、上記静動判定手段の判定結果と上記撮像情報とに基づく値を基に、上記注目画素および上記縮小画像から抽出した１つ以上の抽出画素について、重み付け加算処理を行って、上記処理対象画像に動きぼけを付加する画素合成処理部とを有する。
【００１５】
また被写体を撮像して動画像を生成する撮像手段をさらに備え、上記撮像手段での撮像によって得られた動画像データが、上記静動判定手段と上記動きぼけ付加手段に入力される。
また記録媒体の再生動作により動画像データを再生する再生手段をさらに備え、上記再生手段で再生された動画像データが、上記静動判定手段と上記動きぼけ付加手段に入力される。
また動画像データを受信する受信手段をさらに備え、上記受信手段で受信された動画像データが、上記静動判定手段と上記動きぼけ付加手段に入力される。
【００１６】
本発明の画像処理方法は、動画像データを構成する各単位画像を処理対象画像とし、各処理対象画像の領域毎の静動判定を行う静動判定ステップと、上記動画像データに対し、上記静動判定ステップでの判定結果と、上記動画像データが撮像装置による撮像により生成された際の撮像情報とに基づいて動きぼけを付加する処理を行う動きぼけ付加処理ステップとを有する。
本発明のプログラムは、上記静動判定ステップと上記動きぼけ付加処理ステップを演算処理装置に実行させるプログラムである。
【００１７】
このような本発明では、入力された動画像データにおける処理対象画像（例えば１フレームの画像データ）について、領域毎の静動判定の結果と、撮像時の撮像情報とに基づいて動きぼけ付加処理を行う。静動判定は、フレーム内の領域（画素単位或いは複数画素による画素ブロック単位）毎について動領域か静領域かを判定する処理であり、例えば前後フレームの比較などの簡易な処理で可能である。
また撮像情報とは、例えばシャッタ速度情報、絞り値情報、焦点距離情報、ジャイロスコープ回転量情報（例えば撮像装置の水平方向、垂直方向の動きを示す情報）などである。
これらの静動判定結果と撮像情報にもとづいて、動画像についてジャーキネス劣化が発生しやすい領域に動きぼけを付加する。これによって、フレーム内の領域毎に動きベクトルを検出するという処理負担の大きい処理を不要とする。
【発明の効果】
【００１８】
本発明によれば、動画像に対して、その撮像時の撮像情報や静動判定に応じて適切な動きぼけを処理対象画像毎に付加することができ、人間の視覚特性上、より自然にジャーキネス劣化が低減された動画像を出力することができる。
特に、動きベクトル検出等の負担の重い処理を行わなくて良いことから、簡易に適切な動きぼけ付加処理を行うことができ、装置の簡易化、低コスト化に適している。
【発明を実施するための最良の形態】
【００１９】
以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。本発明の実施の形態としての画像処理装置は、人間の視覚特性上、不自然に見えてしまうジャーキネス劣化を含んだ動画像に対して動きぼけを付加して、このような劣化を低減するものである。
説明は次の順序で行う。
［１．基本構成例］
［２．第１の実施の形態：動画像撮像装置］
［２−１：動画像撮像装置の全体構成］
［２−２：撮像情報及び評価値生成］
［２−３：動きぼけ付加部の構成例及び動作］
［２−４：まとめ］
［３．第２の実施の形態：再生・受信装置］
［４．プログラム］
【００２０】
［１．基本構成例］
まず本発明の実施の形態の画像処理装置としての基本的な構成例を図１で説明する。後述する第１の実施の形態は、この図１の画像処理装置１００の構成を含む動画像撮像装置であり、第２の実施の形態は、この図１の画像処理装置１００の構成を含む再生・受信装置となる。
【００２１】
実施の形態の基本構成としての画像処理装置１００は、画像処理を用いて、ジャーキネス劣化を低減した画像を生成することを目的としている。
撮像した動画像を表示装置を用いて表示した際には、人間の視覚特性上において不自然に感じるジャーキネス劣化が生じることがある。
そこで実施の形態では、入力された動画像が撮像された際の撮像情報を用いて、適切に動きぼけを付加することでジャーキネス劣化の発生を低減する。これによって画質劣化の少ない高画質な画像信号を生成して出力し、高画質化処理を実現する。
【００２２】
図１の画像処理装置１００は、画像取込部１と、動領域判定部２と、動きぼけ付加部３を備える。
画像取込部１１は画像データを当該画像処理装置１００に取り込む部位としている。例えば撮像装置などから動画像としての画像データＤＤを取得する。そして画像データＤＤを動領域判定部２及び動きぼけ付加部３に供給する。
取り込まれた画像データＤＤに対応しては、撮像情報ＣＩとして、シャッタ速度、絞り値、焦点距離、ジャイロスコープ情報などの撮影時の情報が存在する。画像取込部１は、取り込んだ画像データＤＤについての、これらの撮像情報ＣＩを抽出し、動領域判定部２に供給する。
【００２３】
動領域判定部２は、画像データＤＤの前後フレームの差分を基にして、動いている物体の検出を行う。例えば処理対象とするフレーム内での領域（画素単位或いは複数画素による画素ブロック単位）毎について動領域か静領域かを判定する。
また、動領域判定部２は、撮像情報ＣＩを基にして、動物体におけるジャーキネス劣化の発生度合いを示す評価値を生成し、動きぼけ付加部３に与える。
【００２４】
動きぼけ付加部３は、動領域判定部２から与えられる評価値に基づき、入力される画像データＤＤに対して、擬似的に動きぼけを発生させる。これによりジャーキネス劣化を低減させた出力画像データＯＤを出力する。動きぼけの発生アルゴリズムは、多様に考えられるが、その一例を後述する第１の実施の形態の説明中で述べる。
【００２５】
このような画像処理装置１００では、入力された画像データＤＤにおける処理対象画像（例えば１フレームの画像データ）について、動領域判定部２で行われる領域毎の静動判定の結果と、撮像情報ＣＩとに基づいて動きぼけ付加部３が動きぼけ付加処理を行う。即ち静動判定結果と撮像情報ＣＩにもとづいて、動きぼけ付加部３が動画像についてジャーキネス劣化が発生しやすい領域に動きぼけを付加することになる。これによって、フレーム内の領域毎に動きベクトルを検出するという処理負担の大きい処理を不要としながら、適切な動きぼけ付加を実現し、ジャーキネス劣化を低減させる。
【００２６】
［２．第１の実施の形態：動画像撮像装置］
［２−１：動画像撮像装置の全体構成］
第１の実施形態として、被写体を撮像して、その撮像した動画像に上述した動きぼけ付加処理を施して出力する動画像撮像装置２００の構成について、図２を参照して説明する。
【００２７】
この動画像撮像装置２００は、動画像を撮像して、撮像画像をＤＶＤなどの記録媒体９０に記録したり、外部機器に送信するものである。
この動画像撮像装置２００は、図２に示すように、撮像光学系１０として、絞り機構１１、光学レンズ系１２、撮像素子部１３を備える。
【００２８】
絞り機構１１は、外部から入射する被写体光の光量を調節する。
光学レンズ系１２は、絞り機構１１により光量が調節された被写体光を撮像素子部１３の受光面に集光させる。
撮像素子部１３は、光学レンズ系１２により集光された光を受光面で受光し、画像信号に変換する。そして所定の信号処理を行って動画像としての画像データＤＤを出力する。
撮像素子部１３から出力される画像データＤＤは、動きぼけ付加部３０及び動領域判定部４０に供給される。
なお、画像データＤＤは、例えばフレームレート６０ｆｐｓのプログレッシブ形式の単位画像から構成されるものとするが、プログレッシブ形式に限定されるものではなく、インタレース方式で動画像の単位画像が構成されているようにしても良い。
【００２９】
また動画像撮像装置２００は、ジャイロセンサ１４を備え、動画像撮像装置２００自体の動きを検出する。例えば水平方向、垂直方向の回転量情報を検出する。この回転量の情報は、いわゆる手ぶれ補正などに利用されるとともに、本例では動きぼけ付加のための撮像情報ＣＩの１つとしても用いられる。
【００３０】
制御部２０は、動画像撮像装置２００の全体の動作を制御する。例えばマイクロコンピュータにより構成される。この制御部２０は、撮像動作制御、信号処理制御、記録媒体９０への記録動作制御、外部機器への送信動作制御などを行う。
撮像動作制御としては、制御部２０は、撮像時に撮像光学系１０に対してレンズ駆動によるフォーカス制御、ズーム制御を行う。また絞り機構１１の開閉制御や撮像素子部１３でのシャッタ速度制御、信号ゲイン制御などにより露光調整制御を行う。また例えばジャイロセンサ１４からの動画像撮像装置２００自体の動きの検出に基づいた、ぶれ補正処理制御などを行う。
各制御動作についての詳述は避けるが、本例の画像処理に関する処理として、制御部２０は撮像情報ＣＩを出力するものとなる。即ち上記のような撮像時の制御動作からは、得られる画像データＤＤについてのシャッタ速度情報、絞り値情報、焦点距離情報、ジャイロスコープ回転量情報などを得ることができるが、これらを撮像情報ＣＩとして動領域判定部４０に供給する。
【００３１】
動領域判定部４０は、図５により後述するが、画像データＤＤの前後フレームの差分を基にして、フレーム内での領域（画素単位或いは複数画素による画素ブロック単位）毎について動領域か静領域かを判定する。また、動領域判定部４０は、撮像情報ＣＩを基にして、動物体におけるジャーキネス劣化の発生度合いを示す評価値Ｅを生成し、動きぼけ付加部３０に与える。
動きぼけ付加部３０は、その構成及び処理については図６〜図１８で詳述するが、動領域判定部４０から与えられる評価値に基づき、入力される画像データＤＤに対して、擬似的に動きぼけを発生させる。この場合、ジャーキネス発生と見込まれる領域にその発生量に応じた動きぼけ付加を行う。適応的に動きぼけ付加を行うことでジャーキネス劣化を低減させた出力画像データＯＤを出力する。
【００３２】
動きぼけ付加部３０にて、適応的に動きぼけを付加した画像データＯＤは、動画像符号化処理部５０で圧縮処理される。圧縮されたデータストリームは、送信処理部６０又は記録処理部７０に供給される。
送信処理部６０は、圧縮されたデータストリームに対して、所定の送信用のエンコード及び変調処理を行い、外部機器に送信出力する。
記録処理部７０は、圧縮されたデータストリームに対して、所定の記録用のエンコード及び変調処理を行い、例えば光ディスクその他の記録媒体９０に記録する。
なお制御部２０は、撮像情報ＣＩを送信処理部６０、記録処理部７０にも与える。送信処理部６０、記録処理部７０は、送信データ、または記録データに撮像情報ＣＩを重畳させて送信や記録を行うこともできる。
【００３３】
［２−２：撮像情報及び評価値生成］
このような構成の動画像撮像装置２００では、動領域判定部４０が、画像データＤＤのフレーム毎に動領域を判定する。そして動領域に対して動きぼけ付加部３０で動きぼけを付加するわけであるが、動領域判定部４０は、この動きぼけ付加処理のために評価値を生成して動きぼけ付加部３０に与える。この評価値は、撮像情報ＣＩを用いて生成する。
制御部２０が動領域判定部４０に与える撮像情報ＣＩは、シャッタ速度情報Ｓ、絞り値情報Ｆ、焦点距離情報Ｄ、ジャイロスコープ回転量情報ＧＸ（水平方向の回転量）、ＧＹ（垂直方向の回転量）とする。
そして動領域判定部４０が生成する評価値Ｅは、例えばフレーム内の各動領域について、それぞれどの程度の動きぼけを付加するかを示す情報となる。
【００３４】
図３，図４を用いて、動領域判定部４０が撮像情報ＣＩに基づく評価値を生成する際の考え方を示す。
この図３，図４は、動領域判定部４０が、制御部２０から与えられる撮像情報ＣＩに応じて評価値Ｅを制御するためのテーブルである。この図３，図４において評価値Ｅを縦軸とし、その値の高低を示しているが、評価値Ｅが「高い」というのは、被写体の動きが大きく、ジャーキネス劣化が大きい状態であって、動きぼけ量を多く付加すべきことを意味するものとする。
【００３５】
図３（ａ）は撮像情報ＣＩの１つとしてシャッタ速度Ｓを横軸に示している。
上述のように制御部２０は、撮像素子部１３の駆動における電子シャッタ機能の制御情報から、撮像時のシャッタ速度を得ることが出来る。
動領域判定部４０は、供給されたシャッタ速度情報で示されるシャッタ速度が、画像データＤＤのフレームレートよりも高速な場合、その速度の比率に応じて動領域の評価値を増加させる。また、シャッタ速度情報で示されるシャッタ速度がフレームレートと同等の場合には評価値を下げ、動きぼけ付加処理が無効になるようにする。
なお、フレームレートは「ｆｐｓ」即ち「フレーム／秒」で表され、例えばフレームレート＝６０ｆｐｓでは、１秒間に６０フレームであることを意味するが、この場合、撮像素子における１フレームの電子シャッタの露光時間は、通常は、最大１／６０秒である。これがここでいうシャッタ速度である。一般に露光制御などのために電子シャッタ制御が行われるが、その場合、１フレーム期間のうちで露光期間を変化させる。例えば１／６０秒のうちの露光時間（シャッタ速度）を１／１２０秒、１／１８０秒、１／１０００秒などのように変化させることで露光調整が行われる。
動領域判定部４０は、このような意味でのシャッタ速度Ｓを、当該フレームレートにおける本来のシャッタ速度（例えば１／６０秒）と比較して評価値Ｅを生成する。
【００３６】
シャッタ速度をＳとし、特にシャッタ速度Ｓに応じた評価値をＥｓとすると、
Ｅｓ＝ｆｓ（Ｓ）
で評価値を操作する。関数ｆｓ（ｘ）が線形増加関数であるとすれば、図３（ａ）に実線で示すようになる。
なお、非線形関数であってもよく、例えば図中に破線で示すようにシャッタ速度Ｓに応じた評価値Ｅを生成するものであってもよい。
【００３７】
図３（ｂ）は、動領域判定部４０が、制御部２０から与えられる絞り値Ｆに応じて、評価値を制御するためのテーブルである。
制御部２０は、撮像光学系１０の制御情報から、撮像時の絞り値Ｆを得ることが出来る。
動領域判定部４０は、絞り値Ｆが小さい場合、被写界深度が浅くなり被写体前後がぼけやすくなるためジャーキネス劣化が発生しにくいと判断し、評価値Ｅを下げる。一方、絞り値Ｆが大きい場合、被写界深度が深くなり画像全体に渡ってシャープになるため、ジャーキネス劣化が発生しやすいと判断し、評価値Ｅを上げる。
ここで絞り値Ｆについての評価値をＥｆとすると、
Ｅｆ＝ｆｆ（Ｆ）
で評価値を操作する。関数ｆｆ（ｘ）は、図に示すような線形増加関数に限らず、非線形関数であっても構わない。
【００３８】
図４（ａ）は、動領域判定部４０が、制御部２０から与えられる焦点距離Ｄに応じて、評価値を制御するためのテーブルである。制御部２０は、撮像光学系１０の制御情報から、撮像時の焦点距離Ｄを得ることが出来る。
動領域判定部４０は、焦点距離Ｄが短い（広角）場合、被写界深度は深くなるため、それだけ見ればジャーキネス劣化が発生しやすいが、この場合、手振れや動体の動きは画面上では相対的に小さくなるため、総合的にはジャーキネス劣化が発生しにくいと判断し、評価値を下げる。
一方、焦点距離Ｄが長い（望遠）場合、被写界深度は浅くなり、それだけ見ればジャーキネス劣化が発生しにくいが、この場合、手振れや動体の動きは相対的に画面上で大きくなり、総合的に見ればジャーキネス劣化が発生しやすいと判断し、評価値を上げる。
ここで、焦点距離Ｄについての評価値をＥｄとすると、
Ｅｄ＝ｆｄ（Ｄ）
で評価値を操作する。関数ｆｄ（ｘ）は、図に示すような線形増加関数に限らず、非線形関数であっても構わない。
【００３９】
図４（ｂ）は、動領域判定部４０が、制御部２０から与えられるジャイロスコープ情報（水平方向の回転量ＧＸ）に応じて、水平方向の評価値ＥＸを制御するためのテーブルである。制御部２０は、ジャイロセンサ１４の検出情報から、動画像撮像装置２００自体の水平方向の動きを得ることが出来る。
動領域判定部４０は、水平方向の回転量ＧＸ（垂直軸に対する回転量）が小さい場合、画面の動きは小さく、ジャーキネス劣化が発生しにくいと判断し、水平方向の評価値ＥＸを下げる。一方、回転量ＧＸが大きい場合、ジャーキネス劣化が発生しやすいと判断し、水平方向の評価値ＥＸを上げる。ここで、回転量ＧＸについての、水平方向の評価値をＥｇｘとすると、
Ｅｇｘ＝ｆｇｘ（ＧＸ）
で評価値を操作する。関数ｆｇｘ（ｘ）は、図に示すような線形増加関数に限らず、非線形関数であっても構わない。
【００４０】
図４（ｃ）は、動領域判定部４０が、制御部２０から与えられるジャイロスコープ情報（垂直方向の回転量ＧＹ）に応じて、垂直方向の評価値ＥＹを制御するためのテーブルである。制御部２０は、同じくジャイロセンサ１４の検出情報から、動画像撮像装置２００自体の垂直方向の動きを得ることが出来る。
動領域判定部４０は、垂直方向の回転量ＧＹ（水平軸に対する回転量）が小さい場合、画面の動きは小さく、ジャーキネス劣化が発生しにくいと判断し、垂直方向の評価値ＥＹを下げる。一方、回転量ＧＹが大きい場合、ジャーキネス劣化が発生しやすいと判断し、垂直方向の評価値ＥＹを上げる。ここで、回転量ＧＹについての、垂直方向の評価値をＥｇｙとすると、
Ｅｇｙ＝ｆｇｙ（ＧＹ）
で評価値を操作する。関数ｆｇｙ（Ｙ）は、図に示すような線形増加関数に限らず、非線形関数であっても構わない。
【００４１】
動領域判定部４０は、例えば以上のような方式で、撮像情報ＣＩに応じた評価値Ｅを生成する。
動領域判定部４０の構成例を図５に示す。
動領域判定部４０は、動領域検出部４１、フレームメモリ４２、評価値生成部４３を備える。
動領域検出部４１は、入力される画像データＤＤの現在のフレーム画像と、１フレーム前のフレーム画像の差分を求め、動いている領域（動領域）を検出する。
領域とは、画素単位でもよいし、複数画素による画素ブロック単位でもよい。
即ち動領域検出部４１は、現フレームの画像をフレームメモリ４２に記憶しつつ、前フレームの画像をフレームメモリ４２から読み出して、領域毎に差分計算を行う。そして計算結果により、各領域が「動領域」であるか「静領域」であるかを示す検出結果値を出力する。例えば動領域を「１」、静領域を「０」として示す情報として、現フレームの各領域毎の検出結果情報を生成し、評価値生成部４３に供給する。
【００４２】
評価値生成部４３は、動領域検出部４１から出力される検出結果で示される動領域（検出結果が「１」の領域）に対して、制御部２０から与えられる撮像情報ＣＩ（シャッタ速度Ｓ、絞り値Ｆ、焦点距離Ｄ、回転量ＧＸ，ＧＹ）を基に評価値を生成する。
このとき、各撮像情報ＣＩに対する制御は、図３，図４に示したテーブルに従う。最終的な評価値は、これらのテーブルによる操作を組み合わせて出力する。
【００４３】
一例として、最終的な評価値をＥｘ，Ｅｙとして、以下の式で求める。
Ｅｘ＝ｗｓ×Ｅｓ＋ｗｆ×Ｅｆ＋ｗｄ×Ｅｄ＋ｗｇｘ×Ｅｇｘ
Ｅｙ＝ｗｓ×Ｅｓ＋ｗｆ×Ｅｆ＋ｗｄ×Ｅｄ＋ｗｇｙ×Ｅｇｙ
なお、評価値Ｅｘは、水平方向に付加すべきぼけ量を示す値、評価値Ｅｙは、垂直方向に付加すべきぼけ量を示す値である。
また、ｗｓはシャッタ速度Ｓに基づく評価値Ｅｓに与える重み係数、ｗｆは絞り値Ｆに基づく評価値Ｅｆに与える重み係数、ｗｄは焦点距離Ｄに基づく評価値Ｅｄに与える重み係数、ｗｇｘは水平回転量ＧＸに基づく評価値Ｅｇｘに与える重み係数、ｗｇｙは垂直回転量ＧＹに基づく評価値Ｅｇｙに与える重み係数である。
【００４４】
評価値生成部４３は、例えばこのように重み付け加算によって、水平方向についての評価値Ｅｘと、垂直方向についての評価値Ｅｙを生成し、これらを動きぼけ付加部３０に出力する。動きぼけ付加部３０は、供給される評価値Ｅ（この場合Ｅｘ，Ｅｙ）に基づいて、後述のように動きぼけ付加処理を行う。
【００４５】
このように動領域判定部４０では、まずフレーム内の動領域を検出し、各動領域に対して撮像情報ＣＩに基づいて値を調整した評価値を生成する。
例えばフレーム内の静領域については、動領域検出部４１での検出結果「０」をそのまま評価値Ｅとし（評価値Ｅ＝０）、動きぼけ付加部３０が、動きぼけを付加しない領域として認識できるようにする。
そして動領域については、動領域検出部４１での検出結果「１」に対して、評価値生成部４３の演算処置で上記Ｅｘ，Ｅｙの式のように撮像情報ＣＩに基づいた演算を行い、撮像情報ＣＩに応じて評価値を調整するものとなる。
つまり動領域について、撮像情報ＣＩに基づいて求められる上記Ｅｘ，Ｅｙを評価値とし、動きぼけ付加部３０に対して、付加する動きぼけ量を示す情報とする。
【００４６】
なお、上記のように評価値Ｅｘ，Ｅｙを求める演算は一例であり、他にも多様に考えられる。例えば重み付け乗算を行っても良い。
また、ジャイロセンサ１４の検出に基づく回転量として水平方向、垂直方向の回転量を用いることで、水平、垂直のそれぞれの評価値Ｅｘ，Ｅｙを求めているが、方向性による区別をつけずに１つの評価値Ｅを算出してもよい。
逆に、動きの方向を４５°方向、１３５°方向なども検出して、水平方向、垂直方向、４５°方向、１３５°方向のそれぞれの評価値を算出することも考えられる。
またシャッタ速度情報Ｓ、絞り値情報Ｆ、焦点距離情報Ｄ、ジャイロスコープ回転量情報ＧＸ（水平方向の回転量）、ＧＹ（垂直方向の回転量）の全てを用いなくても良い。つまりこれらの一部を評価値Ｅの算出に用いても良い。
また動領域検出部の検出結果を２値（「０」か「１」）ではなく、多値で扱っても良い。この場合、静止領域では検出結果が「０」となり、動きの大きい領域では検出結果が大きくなり、動きの小さい領域では検出結果が小さくなる。この検出結果をＭとし、上記のようにして求められた評価値Ｅｘ，Ｅｙに乗ずることによって最終的な評価値を算出しても良い。
また、上記例では、シャッタ速度情報Ｓ、絞り値情報Ｆ、焦点距離情報Ｄ、ジャイロスコープ回転量情報ＧＸ、ＧＹから、それぞれ評価値Ｅｓ、Ｅｆ、Ｅｄ、Ｅｇｘ、Ｅｇｙを関数演算で求め、その後、評価値Ｅｓ、Ｅｆ、Ｅｄ、Ｅｇｘ、Ｅｇｙについて重み付け加算を行うとしたが、シャッタ速度情報Ｓ、絞り値情報Ｆ、焦点距離情報Ｄ、ジャイロスコープ回転量情報ＧＸ、ＧＹを、直接用いて評価値Ｅを算出することもできる。
【００４７】
［２−３：動きぼけ付加部の構成例及び動作］
動きぼけ付加部３０は、撮像素子部１３から供給される画像データＤＤに対して、動領域判定部４０からの評価値Ｅに基づいて動きぼけを付加する。
この動きぼけ付加部３０の構成例及び動作を説明していく。
【００４８】
図６は、動きぼけ付加部３０の構成例を示している。
動きぼけ付加部３０は、画像データＤＤ、および動領域判定部４０からの評価値Ｅを入力とし、入力される動画像を構成する１フレーム毎の画像データＤＤに対して動きぼけの付加を行ってジャーキネス劣化が低減した出力画像ＯＤを出力する。
【００４９】
図６に示すように、動きぼけ付加部３０は、フィルタリング処理などにより処理対象フレーム中から選択された画素に動きぼけを付加し、その結果得られた画素から構成される１つ以上の縮小面を生成する縮小画像生成処理部３２を備える。
また、評価値Ｅを基に、処理対象フレーム中の対応画素および縮小画像生成処理部３２において生成された縮小面中の対応画素から、出力画像を構成する各画素の画素値を算出し出力する動きぼけレンダリング処理部３１を備える。
【００５０】
各処理部についての具体的な処理内容を説明する前に、この動きぼけ付加部３０による動きぼけ付加処理の概要について述べておく。
動きぼけ付加部３０は、縮小画像生成処理部３２と動きぼけレンダリング処理部３１により各画素に適切な量の動きぼけを付加し、ジャーキネス劣化を低減した画像を出力する。
図７は、動きぼけ付加処理の概要を示すものである。特に、図６中の縮小画像生成処理部３２と動きぼけレンダリング処理部３１において行われる処理内容の概要を説明するためのものである。
【００５１】
図７における元画像（基底面）とは、入力される画像データＤＤとしての１つの処理対象フレームの画像データとなる。
縮小画像生成処理部３２では、処理対象フレームである元画像に対し、詳しくは後述する空間フィルタリング処理を実行し、その結果として第１縮小面を作成する。
第１縮小面は、元画像よりも一定の比率だけ縮小され、画素数が減少した画像である。
さらに縮小画像生成処理部３２は、得られた第１縮小面に対し、同様の空間フィルタリング処理を実行し、結果として得られる第２縮小面を作成する。
このような要領で縮小画像生成処理部３２は、再帰的にフィルタ処理を用いることで、所定の階層数の縮小画像（第１縮小面〜第ｎ縮小面）の生成を行う。
【００５２】
動きぼけレンダリング処理部３１では、上記の要領で生成された階層型の縮小画像（第１縮小面〜第ｎ縮小面）を用いて、動きぼけを適応的に付加した、視覚特性上自然にジャーキネス劣化を低減した画像を生成し、出力する。
動きぼけレンダリング処理部３１は、例えば図７中に示す元画像の各画素について、元画像である基底面、第１縮小面、および第２縮小面から、動きぼけ付加対象の画素に対応する位置の画素値を各面から抽出し、レンダリング方式に重み付け加算を実行する。
各面が有する画素数はそれぞれ異なるため、動きぼけ付加対象の画素に対応する位置の画素が各縮小面に存在しない場合、詳しくは後述する周辺の画素からの補間処理を行い、画素値を抽出する。
基底面及び各縮小面から抽出したそれぞれの画素値に対する重み係数（ｗ０、ｗ１、ｗ２）は、評価値Ｅに依存して決める。
例えば、評価値Ｅが大きい値の場合、つまり付加する動きぼけの量が大きい場合ほど、高階層の縮小面から抽出した画素の重み係数を大きくする。図７の例においては第２縮小面から抽出した画素の重み係数を大きくすることになる。
一方、評価値Ｅが小さい値の場合、つまり付加する動きぼけの量が少ない場合ほど、低階層の縮小面から抽出した画素の重み係数を大きくする。例えば図７の例においては基底面から抽出した画素の重み係数を大きくする。
このような重み付け加算の結果として、ジャーキネス劣化を低減した画像が生成される。
【００５３】
縮小画像生成処理部３２の具体的な処理について説明する。
縮小画像生成処理部３２で行われる処理は、入力される画像データＤＤに対し空間フィルタリング処理を実行することである。また、その結果として得られる縮小画像に対し（または画像として構成されなくても、前段のフィルタリング処理の結果として得られる複数の画素を用いて）、さらに同様の空間フィルタリング処理を繰り返す。これにより階層的な縮小画像データＲＳＤを生成する。
上記空間フィルタリング処理は、フィルタリング処理前の画像中において複数画素を有する領域の画素情報を用いて行われ、処理の前後にて一定の比率だけ縮小され、画素数が減少した画像を生成する。そのためフィルタリング処理後の各画素は、フィルタリング処理前の画像中における当該領域をぼかした画素、として出力されるわけである。
【００５４】
以下において、最も簡易なフィルタリング方法の例を用いて詳しく説明する。
図８は、縮小画像生成を行うフィルタ処理の具体例における、縮小前後の画素の対応関係について示すものである。
図８の例では、縮小前の画像において、分割領域Ｒ１１として示した４×４画素を用いたフィルタリングを実行し、縮小後の画像における画素Ｐ１１を出力することを表現している。分割領域Ｒ１２，Ｒ２１についても同様に画素Ｐ１２，Ｐ２１を示している。
結果として、縮小後の画像は、縮小前の画像と比べ、垂直・水平方向にそれぞれ１／４の画素数となっている。
なお４×４画素ブロックを用いるのは、あくまで一例であり、Ｎ×Ｎの画素ブロックを用いて同様の処理を行えば、垂直・水平方向にそれぞれ１／Ｎの画素数を有する縮小画像が生成できる。
【００５５】
分割領域Ｒ１１に対して行うのは、例えば、ボックスフィルタなどのローパスフィルタ処理であるとすれば、周辺画素の画素値を平均化することで、画素Ｐ１はぼけを含んだ画素として生成される。
【００５６】
このようにして得られた縮小画像を図７に示した第１縮小面とした場合、この第１縮小面に対し、さらに図８と同様の空間フィルタリング処理を実行して第２縮小面を作成する。
この場合、第１縮小面に４×４画素の分割領域を用いたフィルタリングを実行することにより、第２縮小面の各画素は、元画像における１６×１６画素の領域の画素値を平均化したぼけ画素として生成されることになる。
必要に応じて、第２縮小面の生成後に第３縮小面以降を同じ要領で生成することも可能であり、階層数を増やしても処理の内容は変わらない。
【００５７】
このように、縮小画像生成処理部２では、入力画像に空間ローパスフィルタ処理を実行することで、結果として得られる低解像度な画像を生成し、さらに生成した低解像度画像に同様の処理を実行することでより低解像度な画像を生成していく。このような多重解像度フィルタリング処理を実行して、階層型の縮小画像データＲＳＤを生成する。
【００５８】
図９、図１０に、他の例として、方向選択型縮小画像生成フィルタ方式を説明する。
図８では分割領域として４×４画素の方形領域の例を示したが、フィルタリングを実行する分割領域は、方形でなくても構わない。
むしろ図８に示した４×４画素を用いたフィルタのような等方型フィルタでは、後段の動きぼけレンダリング処理で動きぼけを付加した場合、画質上の問題が発生してしまう場合もあり得る。それは、付加したい所望の動きぼけのみでなく、動きと直交する方向に低解像度化した結果生じるぼけが支配的になってしまう現象である。
例えば、水平方向の動きに応じた動きぼけを付加したい場合、動きぼけの方向である水平のみでなく、垂直方向にもローパスフィルタリングされた縮小画像を用いるため、垂直方向の解像度が低下した画像になってしまう。
つまり画像内容としての動き方向に応じてぼけを付加することでジャーキネスを低減するときに、動き方向とは直交方向にもぼけが付加され、それが視覚上適切な画像とならない場合がある。
【００５９】
そのような事象を回避するには、最終的に付加される動きぼけの方向を考慮した縮小面生成フィルタリングを行う必要がある。この方法は、動きぼけを付加する各方向に独立に縮小面を用意するものである。
【００６０】
図９は、水平方向の動きぼけ付加用の、具体的な縮小画像生成フィルタ処理の一例における、縮小前後の画素の対応関係について示すものである。
図９においては、まず、入力される画像データＤＤ（基底面）に４×１タップの長方形フィルタ処理を実行し、水平方向の画素数が１／４、垂直方向の画素数は変化しない、水平方向１／４縮小画像を生成している。
例えば基底面における領域Ｒ0１１、Ｒ0１２、Ｒ0２１についてのそれぞれのフィルタ処理で得られた画素は、水平方向１／４縮小画像における画素Ｐ1１１、Ｐ1１２、Ｐ1２１となる。
なお４×１画素領域を用いたのは、あくまで一例であり、所望の縮小率に応じて変更できる。
フィルタの内容は、例えばボックスフィルタなどのローパスフィルタである。
【００６１】
さらに、生成した水平方向１／４縮小画像に対し、同様のフィルタ処理を実行することで、水平方向の画素数が１／１６、垂直方向の画素数は変化しない、水平方向１／１６縮小画像を生成する。
例えば水平方向１／４縮小画像における領域Ｒ1１１についてのフィルタ処理で得られた画素は、水平方向１／１６縮小画像における画素Ｐ2１１となる。
このように、水平方向の動きぼけ付加用として、垂直方向の解像度低下を防ぐため、水平方向のみ多階層の縮小画像を生成する。
【００６２】
図１０は、垂直方向の動きぼけ付加用の、具体的な縮小画像生成フィルタ処理の一例における、縮小前後の画素の対応関係について示すものである。
図１０においても、図９の場合と同様に、まず、入力される画像データＤＤに１×４タップの長方形フィルタ処理を実行し、水平方向の画素数が変化せず、垂直方向の画素数が１／４となった、垂直方向１／４縮小画像を生成している。フィルタの内容は、例えばボックスフィルタなどのローパスフィルタである。
例えば基底面における領域Ｒ0１１、Ｒ0１２、Ｒ0２１についてのそれぞれのフィルタ処理で得られた画素は、垂直方向１／４縮小画像における画素Ｐ1１１、Ｐ1１２、Ｐ1２１となる。
【００６３】
さらに、生成した垂直方向１／４縮小画像に対し、同様のフィルタを実行することで、水平方向の画素数が変化せず、垂直方向の画素数が１／１６となった、垂直方向１／１６縮小画像を生成する。
例えば垂直方向１／４縮小画像における領域Ｒ1１１についてのフィルタ処理で得られた画素は、垂直方向１／１６縮小画像における画素Ｐ2１１となる。
このように、垂直方向の動きぼけ付加用として、水平方向の解像度低下を防ぐため、垂直方向のみ多階層の縮小画像を生成する。
【００６４】
例えば以上のように、水平方向、垂直方向の例を示したが、これら以外に、斜め４５°方向、斜め１３５°方向、その他のあらゆる角度方向の縮小画像生成フィルタを採用しても構わない。
上記までに説明する方法は、各方向の動きぼけ付加用として独立に縮小画像を生成するため、後段の動きぼけレンダリング処理において、各画素に付加する動きぼけの方向に応じて、適応的に各方向の縮小画像から画素を選択または合成する必要が生じる。この方法については、動きぼけレンダリング処理部３の説明において述べる。
【００６５】
さて、上記までに付加される動きぼけの方向を考慮した縮小面生成フィルタリングについて説明をしてきたが、その処理をより詳細に説明するために、１つの具体的な構成例を設定して、以降の説明に逐次用いる。
下記の＜具体例：条件１＞をその例として用いる。
【００６６】
＜具体例：条件１＞
縮小画像生成方向：水平・垂直
縮小画像階層数：水平および垂直に各３層（第３縮小面まで）
動きぼけ生成方向：動きぼけレンダリング時に水平・垂直から移動速度の絶対値が大きい方を選択（詳細は後述）
フィルタ前後の縮小率
第１縮小面：１／４
第２縮小面：１／１６
第３縮小面：１／６４
【００６７】
上記の仕様では、付加できる最大の動きぼけ量は、水平・垂直の各方向に、±６４画素移動した相当の動きぼけまでを生成できる。
図１１は、＜具体例：条件１＞の設定における、縮小画像生成処理部３２の構成例を示すものである。
上記の水平・垂直の各方向に１次元フィルタを用いて縮小面生成処理を実行する場合の処理フローを示しており、生成された各縮小面は縮小画像データＲＳＤとして出力される。
即ち入力画像データＤＤに対して、１次元フィルタ処理２１−１で水平方向１／４縮小画像を生成する。さらに１次元フィルタ処理２１−１の結果について１次元フィルタ処理２１−２で水平方向１／１６縮小画像を生成する。さらに１次元フィルタ処理２１−２の結果について１次元フィルタ処理２１−３で水平方向１／６４縮小画像を生成する。
また、入力画像データＤＤに対して、１次元フィルタ処理２２−１で垂直方向１／４縮小画像を生成する。さらに１次元フィルタ処理２２−１の結果について１次元フィルタ処理２２−２で垂直方向１／１６縮小画像を生成する。さらに１次元フィルタ処理２２−２の結果について１次元フィルタ処理２２−３で垂直方向１／６４縮小画像を生成する。
これらの結果として得られた６個の縮小画像データＲＳＤが出力されることになる。
【００６８】
なお、図示している１次元フィルタ（２１−１〜２２−３）の処理は、ソフトウエア演算で実現される再帰的なフィルタ処理をブロックで表現した処理フローとしているが、当該構成をハードウエア構成として捉えても良い。次の図１２も同様である。
【００６９】
図１２は、図１１に示した処理フローを、拡張して一般化したものである。
上記の＜具体例：条件１＞の設定においては、生成する水平・垂直方向の階層数は３と決めていたが、図１２はこれを限定せず、水平方向の縮小面階層数をＭｘ、垂直方向の縮小面階層数をＭｙと表現して一般化している処理フローである。
１次元フィルタ処理２１−１・・・２１−Ｍｘにより、Ｍｘ階層の水平方向縮小画像が生成され、また１次元フィルタ処理２２−１・・・２２−Ｍｙにより、Ｍｙ階層の垂直方向縮小画像が生成される。これらが縮小画像データＲＳＤとして出力される。
なお、図示及び説明は省略するが、縮小画像生成方向について、水平・垂直方向のみから斜め方向も含めた構成へと拡張することもできる。
【００７０】
ここまで、各方向の動きぼけ付加用として独立に縮小画像を生成する方法について、その処理手順を述べたが、以下では、実際に各方向用に縮小画像を生成する際に用いるフィルタについて、その内容を説明する。
【００７１】
上記までの説明においては、例として４タップのボックスフィルタを用いることを述べてきた。これは、縮小率１／４に対応して４画素ブロックのフィルタを用いていたわけであり、最も容易に実現できる方法であるため、である。動きぼけ発生原理を考慮しても、移動平均フィルタと同内容でボックスフィルタが、原理的に実際の動きぼけに最も類似するはずである。しかしながら、最終的に得られる画質の向上のために、変更することも可能である。
【００７２】
図１３は、縮小画像生成処理に用いるフィルタ形状の具体例を示すものである。
上記＜具体例：条件１＞の設定にて、水平・垂直のいずれかの方向に１／４縮小するフィルタを想定し、横軸は４画素ごとを１ブロックと考えた場合の座標を示しており、縦軸はフィルタとして各画素に乗ずる加重である。
４タップのボックスフィルタの他、７タップのテントフィルタ、１０タップの階段フィルタ、１３タップのガウシアンフィルタを例として図示しており、所謂ＦＩＲローパスフィルタであれば採用可能であることを示している。
【００７３】
フィルタタップ数は、縮小フィルタによる縮小率が１／Ｎのとき、Ｎタップ以上であることが必要条件である（例えば、縮小率１／４、入力４画素に対し１画素を出力する場合には４タップ）が、さらにタップ数を増加することにより、画質の向上が期待できる。
これは、タップ数が小さいほど発生する恐れが高まる、折り返し現象に起因する画質劣化を低減できるためである。
また、フィルタタップ数の増加に伴い、隣接する分割領域に属する画素を重複してフィルタ処理を行うことになるが、それは問題とならない。
【００７４】
図１４は、フィルタリングを行う場合に用いる各縮小画像の画素の位置関係を説明するための図である。
いま、水平方向の縮小画像を生成しているものとして、各縮小画像からの画素をどのように重み付け加算することで、出力画素の画素値を算出するかを、この図を用いて説明する。フィルタタップ数は７の場合を例として用いている。なお、垂直方向もこれに準じて行えばよいため、図は省略する。
【００７５】
図１４中には、各縮小画像の画素について、番号が振られている。以下、何層目の縮小画像の何番目の画素か、についてこの番号を用いて表現する。例えば、１／１６縮小画像の番号７９の画素はＬ２（７９）と表記する。基底面である入力画像データＤＤ中の画素はＬ０（画素番号）で表現する。
【００７６】
各縮小画像中の画素番号は、基底面上の対応する位置のものであり、各縮小面中で斜線を付した画素を位相の中心として、フィルタリングが実行されて作成されたものである。例えば、第１番目の縮小面である１／４縮小面中の画素Ｌ１（７）は、基底面中のＬ０（４）〜Ｌ０（１０）までの画素を用いた７タップのフィルタによって、生成された画素である。
このように、各縮小画像においてフィルタを４画素シフトしつつ実行することにより、用いる画素が隣接するフィルタと重複しても問題なく、フィルタの前後で１／４だけ縮小された、次層の縮小面が作成される。当然、縮小率が異なる場合も同様の方法で実現可能である。
【００７７】
続いて動きぼけレンダリング処理部３１の具体的な処理について説明する。
動きぼけレンダリング処理部３１は、入力された画像データＤＤと、縮小画像生成処理部３２で生成された階層的な縮小画像を用いて、動きぼけを含んだ出力画像の各画素値を算出する。
【００７８】
図１５は、動きぼけレンダリング処理の流れを示す概略図である。
動きぼけレンダリング処理部３１には、画像データＤＤ、縮小画像データＲＳＤおよび評価値Ｅ（例えば水平方向の評価値Ｅｘ及び垂直方向の評価値Ｅｙ）が入力し、各画素に適切な量の動きぼけが付加された出力画像データＯＤを出力する。
【００７９】
まず、評価値Ｅｘ、評価値Ｅｙから、当該画素に対し、どの方向に何画素移動した相当の動きぼけを付加するかの情報である、レンダリングパラメータの抽出が行われる（Ｓ１）。
レンダリングパラメータとは、言い換えれば、後段のレンダリング処理において、画像データＤＤおよび縮小画像データＲＳＤ中の当該画素の各々に、どれだけの重みを乗じて加算処理を実行するか、を示すデータである。後に具体的な例を用いてより明確に説明する。
縮小画像データＲＳＤには、画像データＤＤ中の各縮小画像において、当該画素に位置的に対応する画素の画素値を、補間処理によって生成する、合成画素算出処理が行われる（Ｓ２）。
この処理が必要な理由および具体的な処理内容の例については、詳しくは後述する。
最後に、画像データＤＤの当該画素、および、縮小画像データＲＳＤから生成された各合成画素、のそれぞれに重みを付けて加算処理することにより、当該画素に対応する出力画素の画素値を算出する、レンダリング処理が行われる。重みの情報は、入力されるレンダリングパラメータ中にあるものとする。
【００８０】
図１６は、上記した＜具体例：条件１＞における、動きぼけ付加部３０の構成、特に動きぼけレンダリング処理部３１の処理ブロックを詳細に示すものである。
縮小画像生成処理部３２においては、図示するように、縮小画像データＲＳＤとして、水平および垂直に各３層の縮小画像が作成されている。
【００８１】
動きぼけレンダリング処理部３１において、合成画素算出処理部３３−１〜３３−３には、画像データＤＤから処理対象の当該画素が入力されるのとタイミングを合わせて、３層の水平縮小画像から各々に画素が入力され、後述する合成画素値の算出処理が行われる。
また合成画素算出処理部３２−１〜３２−３には、画像データＤＤから処理対象の当該画素が入力されるのとタイミングを合わせて、３層の垂直縮小画像から各々に画素が入力され、後述する合成画素値の算出処理が行われる。
これら合成画素算出処理部３３−１〜３３−３、３２−１〜３２−３で算出された各縮小画像に対する合成画素は、セレクタ３４へと入力される。
【００８２】
評価値判定部３５には、評価値Ｅ（この場合、Ｅｘ及びＥｙ）が入力されている。
上記＜具体例：条件１＞は、各画素に水平および垂直方向のいずれか一方の動きぼけを選択的に付加する条件である。
そのため、評価値判定部３５では、評価値Ｅｘ，Ｅｙを基に、動きを付加する方向が水平と垂直のいずれであるかを示す選択情報と、付加する動きぼけの方向に対する各合成画素値に乗ずる重みを示す重み情報、を生成する。
そして選択情報は、セレクタ３４へ供給され、重み情報は、重み付け画素加算処理部３６へ供給される。
【００８３】
セレクタ３４は、評価値判定部３５から入力された選択情報を基に、合成画素値のうち水平・垂直のどちら一方から入力された画素値のみを選択し、重み付け画素加算処理部３６へ出力する。つまり、＜具体例：条件１＞の場合では、６つの画素値が入力し、３つの画素値として出力される。
重み付け画素加算処理部３６には、既に入力された画像データＤＤから処理対象の当該画素が入力されている。
さらに、上記の通り、合成画素値のうち方向選択された各画素値が入力される。
また、評価値判定部３５から各画素値に対する重み情報が入力している。
この重み付け画素加算処理部３６では、重み情報を基に、入力した各画素値に対し、詳しくは後述する重み付け画素加算処理を実行し、出力する画素値を算出する。
【００８４】
合成画素算出処理部３３−１〜３３−３，３２−１〜３２−３における処理を図１７で説明する。
図１７は、合成画素算出処理および重み付け画素加算処理の内容について、具体例を示して説明するための図である。画像データＤＤと縮小画像データＲＳＤについて、上記図１４と同様に、各画素を示している。
【００８５】
合成画素算出処理部３３−１〜３３−３，３２−１〜３２−３で行われる合成画素値の算出は、水平および垂直の各縮小画像から入力された画素について行うが、図１７では、付加する動きぼけの方向が水平方向の場合（つまり合成画素算出処理部３３−１〜３３−３のみ）について図示している。以下の説明は、垂直方向の場合（合成画素算出処理部３２−１〜３２−３）についても同様に考えればよい。
【００８６】
まず、合成画素値の算出処理が必要な理由について述べる。
後段の重み付け画素加算処理部３６の処理では、前記の通り、画像データＤＤの当該画素、および、縮小画像データＲＳＤから生成された各合成画素、のそれぞれに重みを付けて加算処理することにより、当該画素に対応する出力画素の画素値を算出するわけである。
しかし、各縮小画像には常に、画像データＤＤ中の当該画素に対応する画素が存在するわけではないため、各縮小画像における対応画素を補間処理により算出しなくてはならない。
例えば、図１７中の画像データＤＤで「２０」の番号を振られている画素Ｌ０（２０）に位置的に対応する、各縮小画像中における画素は存在しない。これは、画像データＤＤにフィルタリングを実行して、第１の縮小画像である１／４縮小画像を生成する際、Ｌ０（２０）がフィルタの位相中心ではない画素であるためであり、１／４縮小面以降、位置的に対応する画素は存在しないわけである。
【００８７】
そのため、何らかの補間処理によって、当該画素に対応する縮小画像中の画素値Ｌ１（２０）’、Ｌ２（２０）’、Ｌ３（２０）’を推定するわけである。
ここでは、例として線形補間法を用いて、Ｌ１（２０）’、Ｌ２（２０）’、Ｌ３（２０）’を算出する場合を考える。
【００８８】
いま、各縮小画像生成時に位相中心となった画素の入力画像データＤＤにおける座標と、当該画素との距離を、図１７中に示す通り、ｄ１（２０）、ｄ２（２０）、ｄ３（２０）のように表現する。これらは、当該画素よりも左に存在し、かつ、最寄りの位相中心となる画素、との距離である。このとき、入力画像データＤＤで「２０」の番号を振られている画素Ｌ０（２０）に対応する各縮小画像中における合成画素値Ｌ１（２０）’、Ｌ２（２０）’、Ｌ３（２０）’は、
【数１】
と表現される。
【００８９】
一般には、入力画像データＤＤ中の第Ｎ番目画素Ｌ０（Ｎ）に対応する、第Ｋ縮小画像（１／Ｒ縮小面）において位置的に対応する合成画素の画素値ＬＫ（Ｎ）’を、以下のように表現する。
【数２】
ただし、＜Ｎ＞Ｋとは、入力画像データＤＤ中の当該画素である第Ｎ番目の画素よりも左に存在し、かつ、第Ｋ縮小画像においてＮに最寄りの位相中心となる画素、である。
【００９０】
この（数２）に示す通り、各縮小面に存在する２画素（位置的に当該画素に対応する最寄りの２画素）を用いた、２タップのフィルタリング処理によって、線形補間された画素値を算出できる。
なお、ここでは線形補間による合成画素値算出の方法を示したが、補間の方式は、スプライン補間など、より高次な計算法を用いて算出することも可能である。
【００９１】
次に評価値判定部３５における処理を説明する。
各画素に水平および垂直方向のいずれか一方の動きぼけを選択的に付加する、上記＜具体例：条件１＞に準じた評価値判定部３５では、既に入力されている評価値Ｅｘ，Ｅｙを基に、動きを付加する方向が水平と垂直のいずれであるかを示す選択情報と、付加する動きぼけの方向に対する各合成画素値に乗ずる重みを示す重み情報、を生成する。
【００９２】
評価値判定部３５による動きぼけを付加する方向の選択方式としては、入力された評価値Ｅｘ，Ｅｙの値、即ち水平および垂直方向の動きの大きさを比較し、それが大の方向にぼけを付加する方法を採用することができる。
Ｅｘ≧Ｅｙのとき：水平方向のぼけ付加
Ｅｘ＜Ｅｙのとき：垂直方向のぼけ付加
これを基に、動きぼけを付加する方向についての選択情報を、セレクタ３４へと出力する。この例の場合、セレクタ３４へ送る情報量は、１画素の動きぼけ付加に対して１ビットでよい。
【００９３】
評価値判定部３５のもうひとつの役割は、各合成画素値に乗ずる重みの情報を算出して、重み付け画素加算処理部３６へと出力することであるが、この重み付けの決定方法は、以下の、重み付け画素加算処理部３６の詳細な説明の中で例を示して明らかにする。
【００９４】
次に重み付け画素加算処理部３６における処理を説明する。
重み付け画素加算処理部３６には、画像データＤＤの当該画素Ｌ０（Ｎ）、およびセレクタ３４で選択された、水平・垂直方向のどちらか一方について、各縮小画像から生成された合成画素が各々入力される。
以下では、＜具体例：条件１＞の水平・垂直方向用に３層の縮小画像が生成されている場合であるとし、さらに付加する動きベクトル方向がセレクタ３４において、水平方向に決定されているものとする。
このとき、各水平縮小画像中の画素から生成された合成画素をＬ１（Ｎ）’、Ｌ２（Ｎ）’、Ｌ３（Ｎ）’と表現する。
【００９５】
ここで、同じく評価値判定部３５から入力した重み情報を基に、下記（数３）に示す、これらの画素値の線形重み付け加算処理が行われ、出力画素値Ｌｏｕｔ（Ｎ）が算出される。
【数３】
ここでｗ０〜ｗ３は、各画素値に乗ずる重みである。一般には、下記の（数４）のように表せる。
【数４】
ただし、Ｍは当該方向に生成された縮小画像数であり、Ｌ０（Ｎ）＝Ｌ０（Ｎ）’であるものとする。
【００９６】
評価値判定部３５は、入力された評価値Ｅｘ，Ｅｙから、画像データＤＤの各画素に対して、各縮小画像に対する重みｗｋを算出し、重み付け画素加算処理部３６へと提供しているわけである。
各画素値に与える重みを生成する手段であるが、＜具体例：条件１＞の場合を想定し、重みｗ０〜ｗ３を決定する方法の例を示す。
当該画素の位置的に対応する評価値Ｅｘ，Ｅｙのうち、値が大である成分の値をＶと記す。そして以下の重み決定ルールに基づいて、順に分け与えていく。
【００９７】
手順１：ｗ０＝１。
Ｖ≦１であればｗ１＝０，ｗ２＝０，ｗ３＝０とし、手順５へ。
手順２：Ｖ−ｗ０＞４−１であればｗ１＝３。
そうでない場合、ｗ１＝Ｖ−ｗ０，ｗ２＝０，ｗ３＝０とし、手順５へ。
手順３：Ｖ−（ｗ０＋ｗ１）＞１６−４であればｗ２＝１２。
そうでない場合、ｗ２＝Ｖ−（ｗ０＋ｗ１），ｗ３＝０とし、手順５へ。
手順４：ｗ３＝Ｖ−（ｗ０＋ｗ１＋ｗ２）。
手順５：ｗ０〜ｗ３の各値をＶで除算して規格化。
【００９８】
以上は一例であり、その限りではない。特に、手順５にて除算が生じるため、ハードウェアでの実現の場合に処理コストが増大する。そのため、Ｖに対する各重みｗｋをテーブル化することで、処理コストの低減が可能である。
【００９９】
図１８は、重み情報テーブルの例である。
図中のテーブルの１列目は、選択された方向の評価値Ｅ（評価値Ｅｘ，Ｅｙのいずれか）を示しており、２〜５列目は、各縮小面から抽出した各画素に乗ずる重みの値を示している。
数値はあくまで一例であり、限定するものではないが、評価値Ｅが小さいほど、各縮小面の重みの値は、小さい階層（基底面や第１縮小面）の重みの値を大とし、逆にベクトル絶対値が大きいほど、大きい階層（第３縮小面や第２縮小面）の重みの値を大とすべきである。
【０１００】
このように評価値判定部３５で重み情報が生成されて重み付け画素加算処理３６に供給される。そして重み付け画素加算処理３６で、例えば上記（数３）の線形重み付け加算処理が行われ、出力画素値Ｌｏｕｔ（Ｎ）が算出されることになる。
そしてこの重み付け画素加算処理３６は、ジャーキネス劣化を低減した出力画像データＯＤとなる。
【０１０１】
［２−４：まとめ］
以上、第１の実施の形態の動画像撮像装置２００について説明してきたが、この実施の形態によれば、人間の視覚特性上、より自然にジャーキネス劣化が低減された動画像を出力することができる。
特に、本実施の形態では、撮像され、入力された画像データＤＤにおける処理対象画像（例えば１フレームの画像データ）について、領域毎の静動判定の結果と、撮像時の撮像情報ＣＩとに基づいて動きぼけ付加処理を行う。
そして動領域判定部４０における静動判定は、フレーム内の領域（画素単位或いは複数画素による画素ブロック単位）毎について動領域か静領域かを判定する処理であり、例えば前後フレームの比較などの簡易な処理で可能である。
また撮像情報ＣＩとして、例えばシャッタ速度情報、絞り値情報、焦点距離情報、ジャイロスコープ回転量情報（撮像装置の水平方向、垂直方向の動きを示す情報）を用いて、付加すべきぼけ量を示す評価値Ｅを生成する。
即ち静動判定結果によって検出される動領域について、撮像情報にもとづいて適切なぼけ量を付加させる評価値Ｅが生成され、動画像についてジャーキネス劣化が発生しやすい領域に適切な量の動きぼけを付加することができる。
このため、フレーム内の領域毎に動きベクトルを検出するという処理負担の大きい処理を不要としつつ、人間の視覚特性上、より自然にジャーキネス劣化が低減された動画像を出力することができる。
また、動きベクトル検出等の負担の重い処理を行わなくて良いことから、簡易に適切な動きぼけ付加処理を行うことができ、装置の簡易化、低コスト化に適している。
【０１０２】
また動きぼけ付加処理については、主に空間的なフィルタリング処理によって実現され、中間フレームを生成することがないため、処理過程で画像データを記憶するためのメモリを少なくすることができる。
さらに、空間フィルタ処理は、階層的なフィルタリングを実行した結果得られる、各階層の画素値を重み付け加算して出力する。そのため、各階層において行うフィルタは、少ないタップ数で実現可能である。また、そのフィルタのタップ数は、付加する動きぼけの量に依存せず、固定タップ数で行うことが可能である。
このような再帰的な処理による実現は、特にハードウェアによる処理実装に適している。当然に、ソフトウェア、また組合せによる実現も可能である。
【０１０３】
また、動きぼけ付加部３０で処理された画像データＯＤは、図２で説明したように、送信処理部６０から送信出力されたり、記録処理部７０によって記録媒体９０に記録される。
したがって、この動画像撮像装置２００によって送信された送信データ、及び記録媒体９０に記録された記録データの再生を行う再生装置は、この実施の形態に示したような動きぼけ付加処理を行うことなく、既存の再生処理工程を行うだけで、ジャーキネス効果が低減された動画像を表示装置に表示させることができる。
【０１０４】
［３．第２の実施の形態：再生・受信装置］
第２の実施の形態としての再生・受信装置３００の構成を図１９に示す。
この再生・受信装置３００は、放送などの媒体で送られる画像データの受信や、記録媒体９１に記録された画像データを再生して、表示する装置としている。
【０１０５】
受信処理部１１０は、例えばテレビジョン放送等により送信されてくる画像データを受信する。なお、ネットワーク通信、ダウンロードなどの形態の画像データの受信処理を行う部位としてもよい。受信処理部１１０では受信・復調処理を行い、受信したデータストリームを動画像復号化処理部１３０及び制御部１７０に供給する。
再生処理部１２０は、記録媒体９１に対して画像データの再生動作を行い、再生したデータストリームを動画像復号化処理部１３０及び制御部１７０に供給する。
【０１０６】
受信処理部１１０で受信された画像データ、及び再生処理部１２０で記録媒体９１から再生された画像データは、符号化された画像データであるが、撮像情報が重畳されたデータとなっている。例えばそれらの画像データが撮像された際の撮像装置において例えばシャッタ速度情報、絞り値情報、焦点距離情報、ジャイロスコープ回転量情報等がメタデータとして付加されていることを想定する。
制御部１７０は、このような画像データから撮像情報を抽出する。そして抽出された撮像情報ＣＩを動領域判定部１５０に供給する。
【０１０７】
動画像復号化処理部は、受信処理部１１０又は再生処理部１２０から供給される、圧縮符号化されている画像データを伸張処理し、復号処理後の画像データＤＤを動領域判定部１５０及び動きぼけ付加部１４０に供給する。
動領域判定部１５０、動きぼけ付加部１４０は、上記第１の実施の形態の動領域判定部４０、動きぼけ付加部３０と同様である。即ち動領域判定部１５０は、各フレーム内の領域毎について動領域か静領域かを判定する静動判定処理を行い、また撮像情報ＣＩとして、例えばシャッタ速度情報、絞り値情報、焦点距離情報、ジャイロスコープ回転量情報等を用いて、付加すべきぼけ量を示す評価値Ｅを生成する。
また動きぼけ付加部１４０は、評価値Ｅに基づいて、入力される画像データＤＤに対して動きぼけ付加処理を行って、ジャーキネス劣化が低減された出力画像データＯＤを出力する。
画像表示部１６０では、動きぼけ付加部１４０で処理された出力画像データＯＤについて表示出力を行う。
【０１０８】
このような第２の実施の形態としての再生・受信装置３００では、受信又は再生した画像データについて、適切にジャーキネス劣化を低減させることができ、高品質な画像表示を実現できる。そしてその動きぼけ付加処理のためには、第１の実施の形態と同様、動きベクトル検出等の負担の重い処理を行わなくて良いことから、簡易に適切な動きぼけ付加処理を行うことができ、再生・受信装置の簡易化、低コスト化に適している。
【０１０９】
以上、本発明の第１，第２の実施の形態を説明してきたが、本発明の画像処理装置、画像処理方法は、上記各例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更が可能であることは勿論である。
また実施の形態は、図１の画像処理装置１００としての基本構成を含む動画像撮像装置２００、再生・受信装置３００として説明したが、本発明の画像処理装置は画像処理を行う各種機器に適用できる。例えば画像通信装置、画像記録装置、ゲーム機器、ビデオ編集機、携帯電話機などが想定される。
また上記してきた画像処理装置１００，動画像撮像装置２００、再生・受信装置３００の構成は、複数の処理部の論理的集合構成であり、各構成として示した処理部が同一筐体内にあるものには限らない。
【０１１０】
［４．プログラム］
本発明はさらに、汎用のパーソナルコンピュータその他の情報処理装置において、動画像再生や記録等を行う際に、上記の画像処理装置１としての動作を実行することも当然想定される。
即ち、上述した画像処理装置１を構成する各処理部は、例えばＦＰＧＡ等によって設計されるハードウェアによって実現されることもできるが、各処理部によって実現される画像処理をコンピュータ等の情報処理機器に実行させるようにしても良い。
例えば上述の動領域判定部２（４０，１５０）、撮像情報ＣＩを取得する機能部位としての画像取込部１、及び動きぼけ付加部３（３０、１４０）の動作を演算処理装置に実行させるプログラムを画像処理アプリケーションソフトウエアとして提供することで、パーソナルコンピュータ等において、適切な画像処理を実現できる。
【０１１１】
即ち当該プログラムは以下の各ステップを演算処理装置（ＣＰＵ等）に実行させる。
まず動画像データを構成する各単位画像を処理対象画像とし、各処理対象画像の領域毎の静動判定を行う静動判定ステップを演算処理装置に実行させる。
また、動画像データが撮像装置による撮像により生成された際の撮像情報を取り込む撮像情報取込ステップを演算処理装置に実行させる。
また、動画像データに対し、静動判定ステップでの判定結果と、撮像情報取込ステップで取り込んだ撮像情報とに基づいて動きぼけを付加する処理を行う動きぼけ付加処理ステップを演算処理装置に実行させる。
【０１１２】
このようなプログラムにより、本発明をパーソナルコンピュータ、携帯電話機、ＰＤＡ（Personal Digital Assistant）、その他画像データを用いる多様な情報処理装置においても同様の画像処理を実行できるようにすることができる。
【０１１３】
なお、このようなプログラムは、パーソナルコンピュータ等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【図面の簡単な説明】
【０１１４】
【図１】本発明の実施の形態の基本構成としての画像処理装置のブロック図である。
【図２】第１の実施の形態の動画像撮像装置のブロック図である。
【図３】実施の形態の撮像情報の説明図である。
【図４】実施の形態の撮像情報の説明図である。
【図５】実施の形態の動領域判定部のブロック図である。
【図６】実施の形態の動きぼけ付加部のブロック図である。
【図７】実施の形態の縮小画像を用いた重み付け加算処理の説明図である。
【図８】実施の形態の縮小画の生成処理の説明図である。
【図９】実施の形態の水平方向縮小画像の生成処理の説明図である。
【図１０】実施の形態の垂直方向縮小画像の生成処理の説明図である。
【図１１】実施の形態の縮小画像生成処理部の処理の説明図である。
【図１２】実施の形態の縮小画像生成処理部の処理を一般化した説明図である。
【図１３】実施の形態の縮小画像生成処理部のフィルタの説明図である。
【図１４】実施の形態の縮小画像生成処理の説明図である。
【図１５】実施の形態の動きぼけ付加部の処理の説明図である。
【図１６】実施の形態の動きぼけ付加部の構成のブロック図である。
【図１７】実施の形態の合成画素算出処理及び重み付け画素加算処理の説明図である。
【図１８】実施の形態の重み情報テーブルの説明図である。
【図１９】第２の実施の形態の再生・受信装置のブロック図である。
【図２０】従来の動画像撮像装置と動画像再生装置のブロック図である。
【符号の説明】
【０１１５】
１ 画像取込部、２ 動領域判定部、３ 動きぼけ付加部、１０ 撮像光学系、１１ 絞り機構、１２ 光学レンズ系、１３ 撮像素子部、１４ ジャイロセンサ、２０，１７０ 制御部、３０、１４０ 動きぼけ付加部、４０，１５０ 動領域判定部、５０ 動画像符号化処理部、６０ 送信処理部、７０ 記録処理部、９０，９１ 記録媒体、１００ 画像処理装置、１１０ 受信処理部、１２０ 再生処理部、１３０ 動画像復号化処理部、１６０ 画像表示部、２００ 動画像撮像装置、３００ 再生・受信装置
【技術分野】
【０００１】
本発明は、動画像に対して動きぼけを付加する画像処理を行う画像処理装置、画像処理方法、及びその画像処理をコンピュータ等の演算処理装置に実行させるプログラムに関する。
【背景技術】
【０００２】
【特許文献１】特開２００７−２７４２９９号公報
【０００３】
シャッタ機能を有する撮像装置によりフレームレートで決定される期間に対して各フレームが短い有効露光時間で撮像された動画像を、表示デバイスを用いて表示すると、画像中に含まれる移動物体の動きが不連続に表示され、画像を観察する観察者が多重像を知覚してしまうという視覚上の画像劣化が発生する場合がある。
このような動きの不自然さによる動画像の劣化は、一般的にモーションジャーキネス（Motion Jerkiness）と呼ばれる（参考文献：ANSI T1.801.02-1996）。
【０００４】
モーションジャーキネスが発生する具体例について、図２０に示す動画像撮像装置５００及び動画像再生装置６００を用いて説明する。
動画像撮像装置５００は、動画像を撮像してＭＰＥＧ（Moving Picture Experts Group）などの規格で符号化し、この符号化された画像データをＤＶＤ（Digital Versatile Disc）などの記録媒体７００に記録するものであり、具体的には次のような構成を有している。
【０００５】
即ち動画像撮像装置５００は、被写体像からの光を集光する撮像光学系５１０と、この撮像光学系５１０により集光された光を受光して画像信号に変換する撮像素子５２０と、この撮像素子５２０により変換された画像信号を符号化する符号化処理部５３０を有する。
また動画像撮像装置５００は、符号化処理部５３０により符号化された画像データを所定の伝送路を介して外部へ送信する送信処理部５４０と、符号化処理部５３０により符号化された画像データをＤＶＤなどの記録媒体７００に記録する記録処理部５５０を備える。
【０００６】
撮像光学系５１０は、外部から入射する被写体光の光量を調節する絞り機構５１１と、絞り機構５１１により光量を調節された被写体光を撮像素子５２０の受光面に集光させる光学レンズ系５１２とから構成される。
【０００７】
一方、動画像再生装置６００は、符号化された画像データを復号して、ディスプレイなどに表示出力するものであり、具体的には次のような構成を有している。
即ち動画像再生装置６００は、所定の伝送路を介して伝送されてくる符号化された画像データを受信する受信処理部６１０と、記録媒体７００から符号化された画像データを読み出す読出処理部６２０を有する。
また動画像再生装置６００は、受信処理部６１０及び読出処理部６２０から出力される符号化された画像データを復号する復号処理部６３０と、復号処理部６３０によって復号された画像信号を表示するディスプレイなどの表示出力部６４０とを備える。
【０００８】
例えば明るい野外などで動画像を撮像するとき、このような従来の動画像撮像装置５００では、絞り機構５１１を絞ることによって撮像素子５２０に入射させる光量を制限して露光量を適切に制御している。
しかしながら、通常、絞り機構５１１を絞りすぎると回折現象により像がぼやけてしまう。このため、動画像撮像装置５００では、絞り機構５１１によって光量を調節するのに加えて、シャッタ速度を短くすることで適切な露光制御を行っている。
また、絞り機構が設けられていない動画像撮像装置では、シャッタ速度を変更することで露光制御を行っている。
【０００９】
このようにして、従来の動画像撮像装置５００では、シャッタ速度を短くすることで、野外撮影などにおいて適切な露光制御を行うことができるが、これに伴って次のような現象が現れてくる。
すなわち、従来の動画像撮像装置５００では、シャッタ速度を短くしすぎると、人間の視覚特性によって画像の動きに滑らかさを欠いた現象となって現れてしまう。
【００１０】
このような動きの不自然さによる動画像の劣化は、一般的にモーションジャーキネス（Motion Jerkiness）と呼ばれる。すなわち、動画像再生装置６００は、動画像撮像装置５００によってジャーキネス劣化を含んで撮像されると、そのままジャーキネス劣化を含んだ画像データを復号して表示出力部６４０により表示することとなる。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
上述したように、動画像のフレームレートに対して非常に高速のシャッタ速度で撮像された画像は、静止画像として表示したときには鮮鋭度が高いが、動画像として表示したときには画像中の動体の動きが滑らかではなく、人間の視覚特性上、不自然に見えてしまう。
そこで上記特許文献１に記載されているように、本出願人は先に、動画像についての動きベクトルを検出し、動きベクトルを用いて動画像に適切に動きぼけを付加する技術を提案した。
ところが、例えば動画像を構成する各フレームの各領域毎に動きベクトルを検出する処理は、処理負担が大きく、簡易な装置やシステムには不向きとなる場合がある。
そこで本発明は、処理負担の少ない簡易な手法で、動画像に適切に動きぼけを付加し、ジャーキネス劣化を低減できる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の画像処理装置は、動画像データを構成する各単位画像を処理対象画像とし、各処理対象画像の領域毎の静動判定を行う静動判定手段と、上記動画像データに対し、上記静動判定手段の判定結果と、上記動画像データが撮像装置による撮像により生成された際の撮像情報とに基づいて動きぼけを付加する処理を行う動きぼけ付加手段とを備える。
また上記動きぼけ付加手段は、上記動画像データの各処理対象画像について、上記静動判定手段によって動領域と判定された領域に、上記撮像情報に基づいて動きぼけを付加する処理を行う。
また上記静動判定手段は、静領域か動領域かの判定結果と、上記撮像情報とに基づいて領域毎の評価値を生成し、上記動きぼけ付加手段は、上記評価値に基づいて、上記動画像データの各処理対象画像に動きぼけを付加する処理を行う。
また上記静動判定手段は、上記撮像情報取込手段からの複数種類の撮像情報を用いた重み付け演算処理により上記評価値を生成する。
【００１３】
また上記動きぼけ付加手段では、上記撮像情報としてのシャッタ速度情報によるシャッタ速度が速いほど動きぼけ量を大きくする動きぼけ付加処理が行われる。
また上記動きぼけ付加手段では、上記撮像情報としての絞り値情報による絞り値が大きいほど動きぼけ量を大きくする動きぼけ付加処理が行われる。
また上記動きぼけ付加手段では、上記撮像情報としての焦点距離情報による焦点距離が遠いほど動きぼけ量を大きくする動きぼけ付加処理が行われる。
また上記動きぼけ付加手段では、上記撮像情報としてのジャイロスコープ回転量情報によるジャイロスコープ回転量が大きいほど動きぼけ量を大きくする動きぼけ付加処理が行われる。
【００１４】
また上記動きぼけ付加手段は、動画像データに対し、動画像を構成する各単位画像を処理対象画像とし、上記処理対象画像から１つ以上の解像度の異なる縮小画像を生成する縮小画像生成部と、上記処理対象画像の注目画素に位置的に対応する画素を上記縮小画像から抽出し、上記静動判定手段の判定結果と上記撮像情報とに基づく値を基に、上記注目画素および上記縮小画像から抽出した１つ以上の抽出画素について、重み付け加算処理を行って、上記処理対象画像に動きぼけを付加する画素合成処理部とを有する。
【００１５】
また被写体を撮像して動画像を生成する撮像手段をさらに備え、上記撮像手段での撮像によって得られた動画像データが、上記静動判定手段と上記動きぼけ付加手段に入力される。
また記録媒体の再生動作により動画像データを再生する再生手段をさらに備え、上記再生手段で再生された動画像データが、上記静動判定手段と上記動きぼけ付加手段に入力される。
また動画像データを受信する受信手段をさらに備え、上記受信手段で受信された動画像データが、上記静動判定手段と上記動きぼけ付加手段に入力される。
【００１６】
本発明の画像処理方法は、動画像データを構成する各単位画像を処理対象画像とし、各処理対象画像の領域毎の静動判定を行う静動判定ステップと、上記動画像データに対し、上記静動判定ステップでの判定結果と、上記動画像データが撮像装置による撮像により生成された際の撮像情報とに基づいて動きぼけを付加する処理を行う動きぼけ付加処理ステップとを有する。
本発明のプログラムは、上記静動判定ステップと上記動きぼけ付加処理ステップを演算処理装置に実行させるプログラムである。
【００１７】
このような本発明では、入力された動画像データにおける処理対象画像（例えば１フレームの画像データ）について、領域毎の静動判定の結果と、撮像時の撮像情報とに基づいて動きぼけ付加処理を行う。静動判定は、フレーム内の領域（画素単位或いは複数画素による画素ブロック単位）毎について動領域か静領域かを判定する処理であり、例えば前後フレームの比較などの簡易な処理で可能である。
また撮像情報とは、例えばシャッタ速度情報、絞り値情報、焦点距離情報、ジャイロスコープ回転量情報（例えば撮像装置の水平方向、垂直方向の動きを示す情報）などである。
これらの静動判定結果と撮像情報にもとづいて、動画像についてジャーキネス劣化が発生しやすい領域に動きぼけを付加する。これによって、フレーム内の領域毎に動きベクトルを検出するという処理負担の大きい処理を不要とする。
【発明の効果】
【００１８】
本発明によれば、動画像に対して、その撮像時の撮像情報や静動判定に応じて適切な動きぼけを処理対象画像毎に付加することができ、人間の視覚特性上、より自然にジャーキネス劣化が低減された動画像を出力することができる。
特に、動きベクトル検出等の負担の重い処理を行わなくて良いことから、簡易に適切な動きぼけ付加処理を行うことができ、装置の簡易化、低コスト化に適している。
【発明を実施するための最良の形態】
【００１９】
以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。本発明の実施の形態としての画像処理装置は、人間の視覚特性上、不自然に見えてしまうジャーキネス劣化を含んだ動画像に対して動きぼけを付加して、このような劣化を低減するものである。
説明は次の順序で行う。
［１．基本構成例］
［２．第１の実施の形態：動画像撮像装置］
［２−１：動画像撮像装置の全体構成］
［２−２：撮像情報及び評価値生成］
［２−３：動きぼけ付加部の構成例及び動作］
［２−４：まとめ］
［３．第２の実施の形態：再生・受信装置］
［４．プログラム］
【００２０】
［１．基本構成例］
まず本発明の実施の形態の画像処理装置としての基本的な構成例を図１で説明する。後述する第１の実施の形態は、この図１の画像処理装置１００の構成を含む動画像撮像装置であり、第２の実施の形態は、この図１の画像処理装置１００の構成を含む再生・受信装置となる。
【００２１】
実施の形態の基本構成としての画像処理装置１００は、画像処理を用いて、ジャーキネス劣化を低減した画像を生成することを目的としている。
撮像した動画像を表示装置を用いて表示した際には、人間の視覚特性上において不自然に感じるジャーキネス劣化が生じることがある。
そこで実施の形態では、入力された動画像が撮像された際の撮像情報を用いて、適切に動きぼけを付加することでジャーキネス劣化の発生を低減する。これによって画質劣化の少ない高画質な画像信号を生成して出力し、高画質化処理を実現する。
【００２２】
図１の画像処理装置１００は、画像取込部１と、動領域判定部２と、動きぼけ付加部３を備える。
画像取込部１１は画像データを当該画像処理装置１００に取り込む部位としている。例えば撮像装置などから動画像としての画像データＤＤを取得する。そして画像データＤＤを動領域判定部２及び動きぼけ付加部３に供給する。
取り込まれた画像データＤＤに対応しては、撮像情報ＣＩとして、シャッタ速度、絞り値、焦点距離、ジャイロスコープ情報などの撮影時の情報が存在する。画像取込部１は、取り込んだ画像データＤＤについての、これらの撮像情報ＣＩを抽出し、動領域判定部２に供給する。
【００２３】
動領域判定部２は、画像データＤＤの前後フレームの差分を基にして、動いている物体の検出を行う。例えば処理対象とするフレーム内での領域（画素単位或いは複数画素による画素ブロック単位）毎について動領域か静領域かを判定する。
また、動領域判定部２は、撮像情報ＣＩを基にして、動物体におけるジャーキネス劣化の発生度合いを示す評価値を生成し、動きぼけ付加部３に与える。
【００２４】
動きぼけ付加部３は、動領域判定部２から与えられる評価値に基づき、入力される画像データＤＤに対して、擬似的に動きぼけを発生させる。これによりジャーキネス劣化を低減させた出力画像データＯＤを出力する。動きぼけの発生アルゴリズムは、多様に考えられるが、その一例を後述する第１の実施の形態の説明中で述べる。
【００２５】
このような画像処理装置１００では、入力された画像データＤＤにおける処理対象画像（例えば１フレームの画像データ）について、動領域判定部２で行われる領域毎の静動判定の結果と、撮像情報ＣＩとに基づいて動きぼけ付加部３が動きぼけ付加処理を行う。即ち静動判定結果と撮像情報ＣＩにもとづいて、動きぼけ付加部３が動画像についてジャーキネス劣化が発生しやすい領域に動きぼけを付加することになる。これによって、フレーム内の領域毎に動きベクトルを検出するという処理負担の大きい処理を不要としながら、適切な動きぼけ付加を実現し、ジャーキネス劣化を低減させる。
【００２６】
［２．第１の実施の形態：動画像撮像装置］
［２−１：動画像撮像装置の全体構成］
第１の実施形態として、被写体を撮像して、その撮像した動画像に上述した動きぼけ付加処理を施して出力する動画像撮像装置２００の構成について、図２を参照して説明する。
【００２７】
この動画像撮像装置２００は、動画像を撮像して、撮像画像をＤＶＤなどの記録媒体９０に記録したり、外部機器に送信するものである。
この動画像撮像装置２００は、図２に示すように、撮像光学系１０として、絞り機構１１、光学レンズ系１２、撮像素子部１３を備える。
【００２８】
絞り機構１１は、外部から入射する被写体光の光量を調節する。
光学レンズ系１２は、絞り機構１１により光量が調節された被写体光を撮像素子部１３の受光面に集光させる。
撮像素子部１３は、光学レンズ系１２により集光された光を受光面で受光し、画像信号に変換する。そして所定の信号処理を行って動画像としての画像データＤＤを出力する。
撮像素子部１３から出力される画像データＤＤは、動きぼけ付加部３０及び動領域判定部４０に供給される。
なお、画像データＤＤは、例えばフレームレート６０ｆｐｓのプログレッシブ形式の単位画像から構成されるものとするが、プログレッシブ形式に限定されるものではなく、インタレース方式で動画像の単位画像が構成されているようにしても良い。
【００２９】
また動画像撮像装置２００は、ジャイロセンサ１４を備え、動画像撮像装置２００自体の動きを検出する。例えば水平方向、垂直方向の回転量情報を検出する。この回転量の情報は、いわゆる手ぶれ補正などに利用されるとともに、本例では動きぼけ付加のための撮像情報ＣＩの１つとしても用いられる。
【００３０】
制御部２０は、動画像撮像装置２００の全体の動作を制御する。例えばマイクロコンピュータにより構成される。この制御部２０は、撮像動作制御、信号処理制御、記録媒体９０への記録動作制御、外部機器への送信動作制御などを行う。
撮像動作制御としては、制御部２０は、撮像時に撮像光学系１０に対してレンズ駆動によるフォーカス制御、ズーム制御を行う。また絞り機構１１の開閉制御や撮像素子部１３でのシャッタ速度制御、信号ゲイン制御などにより露光調整制御を行う。また例えばジャイロセンサ１４からの動画像撮像装置２００自体の動きの検出に基づいた、ぶれ補正処理制御などを行う。
各制御動作についての詳述は避けるが、本例の画像処理に関する処理として、制御部２０は撮像情報ＣＩを出力するものとなる。即ち上記のような撮像時の制御動作からは、得られる画像データＤＤについてのシャッタ速度情報、絞り値情報、焦点距離情報、ジャイロスコープ回転量情報などを得ることができるが、これらを撮像情報ＣＩとして動領域判定部４０に供給する。
【００３１】
動領域判定部４０は、図５により後述するが、画像データＤＤの前後フレームの差分を基にして、フレーム内での領域（画素単位或いは複数画素による画素ブロック単位）毎について動領域か静領域かを判定する。また、動領域判定部４０は、撮像情報ＣＩを基にして、動物体におけるジャーキネス劣化の発生度合いを示す評価値Ｅを生成し、動きぼけ付加部３０に与える。
動きぼけ付加部３０は、その構成及び処理については図６〜図１８で詳述するが、動領域判定部４０から与えられる評価値に基づき、入力される画像データＤＤに対して、擬似的に動きぼけを発生させる。この場合、ジャーキネス発生と見込まれる領域にその発生量に応じた動きぼけ付加を行う。適応的に動きぼけ付加を行うことでジャーキネス劣化を低減させた出力画像データＯＤを出力する。
【００３２】
動きぼけ付加部３０にて、適応的に動きぼけを付加した画像データＯＤは、動画像符号化処理部５０で圧縮処理される。圧縮されたデータストリームは、送信処理部６０又は記録処理部７０に供給される。
送信処理部６０は、圧縮されたデータストリームに対して、所定の送信用のエンコード及び変調処理を行い、外部機器に送信出力する。
記録処理部７０は、圧縮されたデータストリームに対して、所定の記録用のエンコード及び変調処理を行い、例えば光ディスクその他の記録媒体９０に記録する。
なお制御部２０は、撮像情報ＣＩを送信処理部６０、記録処理部７０にも与える。送信処理部６０、記録処理部７０は、送信データ、または記録データに撮像情報ＣＩを重畳させて送信や記録を行うこともできる。
【００３３】
［２−２：撮像情報及び評価値生成］
このような構成の動画像撮像装置２００では、動領域判定部４０が、画像データＤＤのフレーム毎に動領域を判定する。そして動領域に対して動きぼけ付加部３０で動きぼけを付加するわけであるが、動領域判定部４０は、この動きぼけ付加処理のために評価値を生成して動きぼけ付加部３０に与える。この評価値は、撮像情報ＣＩを用いて生成する。
制御部２０が動領域判定部４０に与える撮像情報ＣＩは、シャッタ速度情報Ｓ、絞り値情報Ｆ、焦点距離情報Ｄ、ジャイロスコープ回転量情報ＧＸ（水平方向の回転量）、ＧＹ（垂直方向の回転量）とする。
そして動領域判定部４０が生成する評価値Ｅは、例えばフレーム内の各動領域について、それぞれどの程度の動きぼけを付加するかを示す情報となる。
【００３４】
図３，図４を用いて、動領域判定部４０が撮像情報ＣＩに基づく評価値を生成する際の考え方を示す。
この図３，図４は、動領域判定部４０が、制御部２０から与えられる撮像情報ＣＩに応じて評価値Ｅを制御するためのテーブルである。この図３，図４において評価値Ｅを縦軸とし、その値の高低を示しているが、評価値Ｅが「高い」というのは、被写体の動きが大きく、ジャーキネス劣化が大きい状態であって、動きぼけ量を多く付加すべきことを意味するものとする。
【００３５】
図３（ａ）は撮像情報ＣＩの１つとしてシャッタ速度Ｓを横軸に示している。
上述のように制御部２０は、撮像素子部１３の駆動における電子シャッタ機能の制御情報から、撮像時のシャッタ速度を得ることが出来る。
動領域判定部４０は、供給されたシャッタ速度情報で示されるシャッタ速度が、画像データＤＤのフレームレートよりも高速な場合、その速度の比率に応じて動領域の評価値を増加させる。また、シャッタ速度情報で示されるシャッタ速度がフレームレートと同等の場合には評価値を下げ、動きぼけ付加処理が無効になるようにする。
なお、フレームレートは「ｆｐｓ」即ち「フレーム／秒」で表され、例えばフレームレート＝６０ｆｐｓでは、１秒間に６０フレームであることを意味するが、この場合、撮像素子における１フレームの電子シャッタの露光時間は、通常は、最大１／６０秒である。これがここでいうシャッタ速度である。一般に露光制御などのために電子シャッタ制御が行われるが、その場合、１フレーム期間のうちで露光期間を変化させる。例えば１／６０秒のうちの露光時間（シャッタ速度）を１／１２０秒、１／１８０秒、１／１０００秒などのように変化させることで露光調整が行われる。
動領域判定部４０は、このような意味でのシャッタ速度Ｓを、当該フレームレートにおける本来のシャッタ速度（例えば１／６０秒）と比較して評価値Ｅを生成する。
【００３６】
シャッタ速度をＳとし、特にシャッタ速度Ｓに応じた評価値をＥｓとすると、
Ｅｓ＝ｆｓ（Ｓ）
で評価値を操作する。関数ｆｓ（ｘ）が線形増加関数であるとすれば、図３（ａ）に実線で示すようになる。
なお、非線形関数であってもよく、例えば図中に破線で示すようにシャッタ速度Ｓに応じた評価値Ｅを生成するものであってもよい。
【００３７】
図３（ｂ）は、動領域判定部４０が、制御部２０から与えられる絞り値Ｆに応じて、評価値を制御するためのテーブルである。
制御部２０は、撮像光学系１０の制御情報から、撮像時の絞り値Ｆを得ることが出来る。
動領域判定部４０は、絞り値Ｆが小さい場合、被写界深度が浅くなり被写体前後がぼけやすくなるためジャーキネス劣化が発生しにくいと判断し、評価値Ｅを下げる。一方、絞り値Ｆが大きい場合、被写界深度が深くなり画像全体に渡ってシャープになるため、ジャーキネス劣化が発生しやすいと判断し、評価値Ｅを上げる。
ここで絞り値Ｆについての評価値をＥｆとすると、
Ｅｆ＝ｆｆ（Ｆ）
で評価値を操作する。関数ｆｆ（ｘ）は、図に示すような線形増加関数に限らず、非線形関数であっても構わない。
【００３８】
図４（ａ）は、動領域判定部４０が、制御部２０から与えられる焦点距離Ｄに応じて、評価値を制御するためのテーブルである。制御部２０は、撮像光学系１０の制御情報から、撮像時の焦点距離Ｄを得ることが出来る。
動領域判定部４０は、焦点距離Ｄが短い（広角）場合、被写界深度は深くなるため、それだけ見ればジャーキネス劣化が発生しやすいが、この場合、手振れや動体の動きは画面上では相対的に小さくなるため、総合的にはジャーキネス劣化が発生しにくいと判断し、評価値を下げる。
一方、焦点距離Ｄが長い（望遠）場合、被写界深度は浅くなり、それだけ見ればジャーキネス劣化が発生しにくいが、この場合、手振れや動体の動きは相対的に画面上で大きくなり、総合的に見ればジャーキネス劣化が発生しやすいと判断し、評価値を上げる。
ここで、焦点距離Ｄについての評価値をＥｄとすると、
Ｅｄ＝ｆｄ（Ｄ）
で評価値を操作する。関数ｆｄ（ｘ）は、図に示すような線形増加関数に限らず、非線形関数であっても構わない。
【００３９】
図４（ｂ）は、動領域判定部４０が、制御部２０から与えられるジャイロスコープ情報（水平方向の回転量ＧＸ）に応じて、水平方向の評価値ＥＸを制御するためのテーブルである。制御部２０は、ジャイロセンサ１４の検出情報から、動画像撮像装置２００自体の水平方向の動きを得ることが出来る。
動領域判定部４０は、水平方向の回転量ＧＸ（垂直軸に対する回転量）が小さい場合、画面の動きは小さく、ジャーキネス劣化が発生しにくいと判断し、水平方向の評価値ＥＸを下げる。一方、回転量ＧＸが大きい場合、ジャーキネス劣化が発生しやすいと判断し、水平方向の評価値ＥＸを上げる。ここで、回転量ＧＸについての、水平方向の評価値をＥｇｘとすると、
Ｅｇｘ＝ｆｇｘ（ＧＸ）
で評価値を操作する。関数ｆｇｘ（ｘ）は、図に示すような線形増加関数に限らず、非線形関数であっても構わない。
【００４０】
図４（ｃ）は、動領域判定部４０が、制御部２０から与えられるジャイロスコープ情報（垂直方向の回転量ＧＹ）に応じて、垂直方向の評価値ＥＹを制御するためのテーブルである。制御部２０は、同じくジャイロセンサ１４の検出情報から、動画像撮像装置２００自体の垂直方向の動きを得ることが出来る。
動領域判定部４０は、垂直方向の回転量ＧＹ（水平軸に対する回転量）が小さい場合、画面の動きは小さく、ジャーキネス劣化が発生しにくいと判断し、垂直方向の評価値ＥＹを下げる。一方、回転量ＧＹが大きい場合、ジャーキネス劣化が発生しやすいと判断し、垂直方向の評価値ＥＹを上げる。ここで、回転量ＧＹについての、垂直方向の評価値をＥｇｙとすると、
Ｅｇｙ＝ｆｇｙ（ＧＹ）
で評価値を操作する。関数ｆｇｙ（Ｙ）は、図に示すような線形増加関数に限らず、非線形関数であっても構わない。
【００４１】
動領域判定部４０は、例えば以上のような方式で、撮像情報ＣＩに応じた評価値Ｅを生成する。
動領域判定部４０の構成例を図５に示す。
動領域判定部４０は、動領域検出部４１、フレームメモリ４２、評価値生成部４３を備える。
動領域検出部４１は、入力される画像データＤＤの現在のフレーム画像と、１フレーム前のフレーム画像の差分を求め、動いている領域（動領域）を検出する。
領域とは、画素単位でもよいし、複数画素による画素ブロック単位でもよい。
即ち動領域検出部４１は、現フレームの画像をフレームメモリ４２に記憶しつつ、前フレームの画像をフレームメモリ４２から読み出して、領域毎に差分計算を行う。そして計算結果により、各領域が「動領域」であるか「静領域」であるかを示す検出結果値を出力する。例えば動領域を「１」、静領域を「０」として示す情報として、現フレームの各領域毎の検出結果情報を生成し、評価値生成部４３に供給する。
【００４２】
評価値生成部４３は、動領域検出部４１から出力される検出結果で示される動領域（検出結果が「１」の領域）に対して、制御部２０から与えられる撮像情報ＣＩ（シャッタ速度Ｓ、絞り値Ｆ、焦点距離Ｄ、回転量ＧＸ，ＧＹ）を基に評価値を生成する。
このとき、各撮像情報ＣＩに対する制御は、図３，図４に示したテーブルに従う。最終的な評価値は、これらのテーブルによる操作を組み合わせて出力する。
【００４３】
一例として、最終的な評価値をＥｘ，Ｅｙとして、以下の式で求める。
Ｅｘ＝ｗｓ×Ｅｓ＋ｗｆ×Ｅｆ＋ｗｄ×Ｅｄ＋ｗｇｘ×Ｅｇｘ
Ｅｙ＝ｗｓ×Ｅｓ＋ｗｆ×Ｅｆ＋ｗｄ×Ｅｄ＋ｗｇｙ×Ｅｇｙ
なお、評価値Ｅｘは、水平方向に付加すべきぼけ量を示す値、評価値Ｅｙは、垂直方向に付加すべきぼけ量を示す値である。
また、ｗｓはシャッタ速度Ｓに基づく評価値Ｅｓに与える重み係数、ｗｆは絞り値Ｆに基づく評価値Ｅｆに与える重み係数、ｗｄは焦点距離Ｄに基づく評価値Ｅｄに与える重み係数、ｗｇｘは水平回転量ＧＸに基づく評価値Ｅｇｘに与える重み係数、ｗｇｙは垂直回転量ＧＹに基づく評価値Ｅｇｙに与える重み係数である。
【００４４】
評価値生成部４３は、例えばこのように重み付け加算によって、水平方向についての評価値Ｅｘと、垂直方向についての評価値Ｅｙを生成し、これらを動きぼけ付加部３０に出力する。動きぼけ付加部３０は、供給される評価値Ｅ（この場合Ｅｘ，Ｅｙ）に基づいて、後述のように動きぼけ付加処理を行う。
【００４５】
このように動領域判定部４０では、まずフレーム内の動領域を検出し、各動領域に対して撮像情報ＣＩに基づいて値を調整した評価値を生成する。
例えばフレーム内の静領域については、動領域検出部４１での検出結果「０」をそのまま評価値Ｅとし（評価値Ｅ＝０）、動きぼけ付加部３０が、動きぼけを付加しない領域として認識できるようにする。
そして動領域については、動領域検出部４１での検出結果「１」に対して、評価値生成部４３の演算処置で上記Ｅｘ，Ｅｙの式のように撮像情報ＣＩに基づいた演算を行い、撮像情報ＣＩに応じて評価値を調整するものとなる。
つまり動領域について、撮像情報ＣＩに基づいて求められる上記Ｅｘ，Ｅｙを評価値とし、動きぼけ付加部３０に対して、付加する動きぼけ量を示す情報とする。
【００４６】
なお、上記のように評価値Ｅｘ，Ｅｙを求める演算は一例であり、他にも多様に考えられる。例えば重み付け乗算を行っても良い。
また、ジャイロセンサ１４の検出に基づく回転量として水平方向、垂直方向の回転量を用いることで、水平、垂直のそれぞれの評価値Ｅｘ，Ｅｙを求めているが、方向性による区別をつけずに１つの評価値Ｅを算出してもよい。
逆に、動きの方向を４５°方向、１３５°方向なども検出して、水平方向、垂直方向、４５°方向、１３５°方向のそれぞれの評価値を算出することも考えられる。
またシャッタ速度情報Ｓ、絞り値情報Ｆ、焦点距離情報Ｄ、ジャイロスコープ回転量情報ＧＸ（水平方向の回転量）、ＧＹ（垂直方向の回転量）の全てを用いなくても良い。つまりこれらの一部を評価値Ｅの算出に用いても良い。
また動領域検出部の検出結果を２値（「０」か「１」）ではなく、多値で扱っても良い。この場合、静止領域では検出結果が「０」となり、動きの大きい領域では検出結果が大きくなり、動きの小さい領域では検出結果が小さくなる。この検出結果をＭとし、上記のようにして求められた評価値Ｅｘ，Ｅｙに乗ずることによって最終的な評価値を算出しても良い。
また、上記例では、シャッタ速度情報Ｓ、絞り値情報Ｆ、焦点距離情報Ｄ、ジャイロスコープ回転量情報ＧＸ、ＧＹから、それぞれ評価値Ｅｓ、Ｅｆ、Ｅｄ、Ｅｇｘ、Ｅｇｙを関数演算で求め、その後、評価値Ｅｓ、Ｅｆ、Ｅｄ、Ｅｇｘ、Ｅｇｙについて重み付け加算を行うとしたが、シャッタ速度情報Ｓ、絞り値情報Ｆ、焦点距離情報Ｄ、ジャイロスコープ回転量情報ＧＸ、ＧＹを、直接用いて評価値Ｅを算出することもできる。
【００４７】
［２−３：動きぼけ付加部の構成例及び動作］
動きぼけ付加部３０は、撮像素子部１３から供給される画像データＤＤに対して、動領域判定部４０からの評価値Ｅに基づいて動きぼけを付加する。
この動きぼけ付加部３０の構成例及び動作を説明していく。
【００４８】
図６は、動きぼけ付加部３０の構成例を示している。
動きぼけ付加部３０は、画像データＤＤ、および動領域判定部４０からの評価値Ｅを入力とし、入力される動画像を構成する１フレーム毎の画像データＤＤに対して動きぼけの付加を行ってジャーキネス劣化が低減した出力画像ＯＤを出力する。
【００４９】
図６に示すように、動きぼけ付加部３０は、フィルタリング処理などにより処理対象フレーム中から選択された画素に動きぼけを付加し、その結果得られた画素から構成される１つ以上の縮小面を生成する縮小画像生成処理部３２を備える。
また、評価値Ｅを基に、処理対象フレーム中の対応画素および縮小画像生成処理部３２において生成された縮小面中の対応画素から、出力画像を構成する各画素の画素値を算出し出力する動きぼけレンダリング処理部３１を備える。
【００５０】
各処理部についての具体的な処理内容を説明する前に、この動きぼけ付加部３０による動きぼけ付加処理の概要について述べておく。
動きぼけ付加部３０は、縮小画像生成処理部３２と動きぼけレンダリング処理部３１により各画素に適切な量の動きぼけを付加し、ジャーキネス劣化を低減した画像を出力する。
図７は、動きぼけ付加処理の概要を示すものである。特に、図６中の縮小画像生成処理部３２と動きぼけレンダリング処理部３１において行われる処理内容の概要を説明するためのものである。
【００５１】
図７における元画像（基底面）とは、入力される画像データＤＤとしての１つの処理対象フレームの画像データとなる。
縮小画像生成処理部３２では、処理対象フレームである元画像に対し、詳しくは後述する空間フィルタリング処理を実行し、その結果として第１縮小面を作成する。
第１縮小面は、元画像よりも一定の比率だけ縮小され、画素数が減少した画像である。
さらに縮小画像生成処理部３２は、得られた第１縮小面に対し、同様の空間フィルタリング処理を実行し、結果として得られる第２縮小面を作成する。
このような要領で縮小画像生成処理部３２は、再帰的にフィルタ処理を用いることで、所定の階層数の縮小画像（第１縮小面〜第ｎ縮小面）の生成を行う。
【００５２】
動きぼけレンダリング処理部３１では、上記の要領で生成された階層型の縮小画像（第１縮小面〜第ｎ縮小面）を用いて、動きぼけを適応的に付加した、視覚特性上自然にジャーキネス劣化を低減した画像を生成し、出力する。
動きぼけレンダリング処理部３１は、例えば図７中に示す元画像の各画素について、元画像である基底面、第１縮小面、および第２縮小面から、動きぼけ付加対象の画素に対応する位置の画素値を各面から抽出し、レンダリング方式に重み付け加算を実行する。
各面が有する画素数はそれぞれ異なるため、動きぼけ付加対象の画素に対応する位置の画素が各縮小面に存在しない場合、詳しくは後述する周辺の画素からの補間処理を行い、画素値を抽出する。
基底面及び各縮小面から抽出したそれぞれの画素値に対する重み係数（ｗ０、ｗ１、ｗ２）は、評価値Ｅに依存して決める。
例えば、評価値Ｅが大きい値の場合、つまり付加する動きぼけの量が大きい場合ほど、高階層の縮小面から抽出した画素の重み係数を大きくする。図７の例においては第２縮小面から抽出した画素の重み係数を大きくすることになる。
一方、評価値Ｅが小さい値の場合、つまり付加する動きぼけの量が少ない場合ほど、低階層の縮小面から抽出した画素の重み係数を大きくする。例えば図７の例においては基底面から抽出した画素の重み係数を大きくする。
このような重み付け加算の結果として、ジャーキネス劣化を低減した画像が生成される。
【００５３】
縮小画像生成処理部３２の具体的な処理について説明する。
縮小画像生成処理部３２で行われる処理は、入力される画像データＤＤに対し空間フィルタリング処理を実行することである。また、その結果として得られる縮小画像に対し（または画像として構成されなくても、前段のフィルタリング処理の結果として得られる複数の画素を用いて）、さらに同様の空間フィルタリング処理を繰り返す。これにより階層的な縮小画像データＲＳＤを生成する。
上記空間フィルタリング処理は、フィルタリング処理前の画像中において複数画素を有する領域の画素情報を用いて行われ、処理の前後にて一定の比率だけ縮小され、画素数が減少した画像を生成する。そのためフィルタリング処理後の各画素は、フィルタリング処理前の画像中における当該領域をぼかした画素、として出力されるわけである。
【００５４】
以下において、最も簡易なフィルタリング方法の例を用いて詳しく説明する。
図８は、縮小画像生成を行うフィルタ処理の具体例における、縮小前後の画素の対応関係について示すものである。
図８の例では、縮小前の画像において、分割領域Ｒ１１として示した４×４画素を用いたフィルタリングを実行し、縮小後の画像における画素Ｐ１１を出力することを表現している。分割領域Ｒ１２，Ｒ２１についても同様に画素Ｐ１２，Ｐ２１を示している。
結果として、縮小後の画像は、縮小前の画像と比べ、垂直・水平方向にそれぞれ１／４の画素数となっている。
なお４×４画素ブロックを用いるのは、あくまで一例であり、Ｎ×Ｎの画素ブロックを用いて同様の処理を行えば、垂直・水平方向にそれぞれ１／Ｎの画素数を有する縮小画像が生成できる。
【００５５】
分割領域Ｒ１１に対して行うのは、例えば、ボックスフィルタなどのローパスフィルタ処理であるとすれば、周辺画素の画素値を平均化することで、画素Ｐ１はぼけを含んだ画素として生成される。
【００５６】
このようにして得られた縮小画像を図７に示した第１縮小面とした場合、この第１縮小面に対し、さらに図８と同様の空間フィルタリング処理を実行して第２縮小面を作成する。
この場合、第１縮小面に４×４画素の分割領域を用いたフィルタリングを実行することにより、第２縮小面の各画素は、元画像における１６×１６画素の領域の画素値を平均化したぼけ画素として生成されることになる。
必要に応じて、第２縮小面の生成後に第３縮小面以降を同じ要領で生成することも可能であり、階層数を増やしても処理の内容は変わらない。
【００５７】
このように、縮小画像生成処理部２では、入力画像に空間ローパスフィルタ処理を実行することで、結果として得られる低解像度な画像を生成し、さらに生成した低解像度画像に同様の処理を実行することでより低解像度な画像を生成していく。このような多重解像度フィルタリング処理を実行して、階層型の縮小画像データＲＳＤを生成する。
【００５８】
図９、図１０に、他の例として、方向選択型縮小画像生成フィルタ方式を説明する。
図８では分割領域として４×４画素の方形領域の例を示したが、フィルタリングを実行する分割領域は、方形でなくても構わない。
むしろ図８に示した４×４画素を用いたフィルタのような等方型フィルタでは、後段の動きぼけレンダリング処理で動きぼけを付加した場合、画質上の問題が発生してしまう場合もあり得る。それは、付加したい所望の動きぼけのみでなく、動きと直交する方向に低解像度化した結果生じるぼけが支配的になってしまう現象である。
例えば、水平方向の動きに応じた動きぼけを付加したい場合、動きぼけの方向である水平のみでなく、垂直方向にもローパスフィルタリングされた縮小画像を用いるため、垂直方向の解像度が低下した画像になってしまう。
つまり画像内容としての動き方向に応じてぼけを付加することでジャーキネスを低減するときに、動き方向とは直交方向にもぼけが付加され、それが視覚上適切な画像とならない場合がある。
【００５９】
そのような事象を回避するには、最終的に付加される動きぼけの方向を考慮した縮小面生成フィルタリングを行う必要がある。この方法は、動きぼけを付加する各方向に独立に縮小面を用意するものである。
【００６０】
図９は、水平方向の動きぼけ付加用の、具体的な縮小画像生成フィルタ処理の一例における、縮小前後の画素の対応関係について示すものである。
図９においては、まず、入力される画像データＤＤ（基底面）に４×１タップの長方形フィルタ処理を実行し、水平方向の画素数が１／４、垂直方向の画素数は変化しない、水平方向１／４縮小画像を生成している。
例えば基底面における領域Ｒ0１１、Ｒ0１２、Ｒ0２１についてのそれぞれのフィルタ処理で得られた画素は、水平方向１／４縮小画像における画素Ｐ1１１、Ｐ1１２、Ｐ1２１となる。
なお４×１画素領域を用いたのは、あくまで一例であり、所望の縮小率に応じて変更できる。
フィルタの内容は、例えばボックスフィルタなどのローパスフィルタである。
【００６１】
さらに、生成した水平方向１／４縮小画像に対し、同様のフィルタ処理を実行することで、水平方向の画素数が１／１６、垂直方向の画素数は変化しない、水平方向１／１６縮小画像を生成する。
例えば水平方向１／４縮小画像における領域Ｒ1１１についてのフィルタ処理で得られた画素は、水平方向１／１６縮小画像における画素Ｐ2１１となる。
このように、水平方向の動きぼけ付加用として、垂直方向の解像度低下を防ぐため、水平方向のみ多階層の縮小画像を生成する。
【００６２】
図１０は、垂直方向の動きぼけ付加用の、具体的な縮小画像生成フィルタ処理の一例における、縮小前後の画素の対応関係について示すものである。
図１０においても、図９の場合と同様に、まず、入力される画像データＤＤに１×４タップの長方形フィルタ処理を実行し、水平方向の画素数が変化せず、垂直方向の画素数が１／４となった、垂直方向１／４縮小画像を生成している。フィルタの内容は、例えばボックスフィルタなどのローパスフィルタである。
例えば基底面における領域Ｒ0１１、Ｒ0１２、Ｒ0２１についてのそれぞれのフィルタ処理で得られた画素は、垂直方向１／４縮小画像における画素Ｐ1１１、Ｐ1１２、Ｐ1２１となる。
【００６３】
さらに、生成した垂直方向１／４縮小画像に対し、同様のフィルタを実行することで、水平方向の画素数が変化せず、垂直方向の画素数が１／１６となった、垂直方向１／１６縮小画像を生成する。
例えば垂直方向１／４縮小画像における領域Ｒ1１１についてのフィルタ処理で得られた画素は、垂直方向１／１６縮小画像における画素Ｐ2１１となる。
このように、垂直方向の動きぼけ付加用として、水平方向の解像度低下を防ぐため、垂直方向のみ多階層の縮小画像を生成する。
【００６４】
例えば以上のように、水平方向、垂直方向の例を示したが、これら以外に、斜め４５°方向、斜め１３５°方向、その他のあらゆる角度方向の縮小画像生成フィルタを採用しても構わない。
上記までに説明する方法は、各方向の動きぼけ付加用として独立に縮小画像を生成するため、後段の動きぼけレンダリング処理において、各画素に付加する動きぼけの方向に応じて、適応的に各方向の縮小画像から画素を選択または合成する必要が生じる。この方法については、動きぼけレンダリング処理部３の説明において述べる。
【００６５】
さて、上記までに付加される動きぼけの方向を考慮した縮小面生成フィルタリングについて説明をしてきたが、その処理をより詳細に説明するために、１つの具体的な構成例を設定して、以降の説明に逐次用いる。
下記の＜具体例：条件１＞をその例として用いる。
【００６６】
＜具体例：条件１＞
縮小画像生成方向：水平・垂直
縮小画像階層数：水平および垂直に各３層（第３縮小面まで）
動きぼけ生成方向：動きぼけレンダリング時に水平・垂直から移動速度の絶対値が大きい方を選択（詳細は後述）
フィルタ前後の縮小率
第１縮小面：１／４
第２縮小面：１／１６
第３縮小面：１／６４
【００６７】
上記の仕様では、付加できる最大の動きぼけ量は、水平・垂直の各方向に、±６４画素移動した相当の動きぼけまでを生成できる。
図１１は、＜具体例：条件１＞の設定における、縮小画像生成処理部３２の構成例を示すものである。
上記の水平・垂直の各方向に１次元フィルタを用いて縮小面生成処理を実行する場合の処理フローを示しており、生成された各縮小面は縮小画像データＲＳＤとして出力される。
即ち入力画像データＤＤに対して、１次元フィルタ処理２１−１で水平方向１／４縮小画像を生成する。さらに１次元フィルタ処理２１−１の結果について１次元フィルタ処理２１−２で水平方向１／１６縮小画像を生成する。さらに１次元フィルタ処理２１−２の結果について１次元フィルタ処理２１−３で水平方向１／６４縮小画像を生成する。
また、入力画像データＤＤに対して、１次元フィルタ処理２２−１で垂直方向１／４縮小画像を生成する。さらに１次元フィルタ処理２２−１の結果について１次元フィルタ処理２２−２で垂直方向１／１６縮小画像を生成する。さらに１次元フィルタ処理２２−２の結果について１次元フィルタ処理２２−３で垂直方向１／６４縮小画像を生成する。
これらの結果として得られた６個の縮小画像データＲＳＤが出力されることになる。
【００６８】
なお、図示している１次元フィルタ（２１−１〜２２−３）の処理は、ソフトウエア演算で実現される再帰的なフィルタ処理をブロックで表現した処理フローとしているが、当該構成をハードウエア構成として捉えても良い。次の図１２も同様である。
【００６９】
図１２は、図１１に示した処理フローを、拡張して一般化したものである。
上記の＜具体例：条件１＞の設定においては、生成する水平・垂直方向の階層数は３と決めていたが、図１２はこれを限定せず、水平方向の縮小面階層数をＭｘ、垂直方向の縮小面階層数をＭｙと表現して一般化している処理フローである。
１次元フィルタ処理２１−１・・・２１−Ｍｘにより、Ｍｘ階層の水平方向縮小画像が生成され、また１次元フィルタ処理２２−１・・・２２−Ｍｙにより、Ｍｙ階層の垂直方向縮小画像が生成される。これらが縮小画像データＲＳＤとして出力される。
なお、図示及び説明は省略するが、縮小画像生成方向について、水平・垂直方向のみから斜め方向も含めた構成へと拡張することもできる。
【００７０】
ここまで、各方向の動きぼけ付加用として独立に縮小画像を生成する方法について、その処理手順を述べたが、以下では、実際に各方向用に縮小画像を生成する際に用いるフィルタについて、その内容を説明する。
【００７１】
上記までの説明においては、例として４タップのボックスフィルタを用いることを述べてきた。これは、縮小率１／４に対応して４画素ブロックのフィルタを用いていたわけであり、最も容易に実現できる方法であるため、である。動きぼけ発生原理を考慮しても、移動平均フィルタと同内容でボックスフィルタが、原理的に実際の動きぼけに最も類似するはずである。しかしながら、最終的に得られる画質の向上のために、変更することも可能である。
【００７２】
図１３は、縮小画像生成処理に用いるフィルタ形状の具体例を示すものである。
上記＜具体例：条件１＞の設定にて、水平・垂直のいずれかの方向に１／４縮小するフィルタを想定し、横軸は４画素ごとを１ブロックと考えた場合の座標を示しており、縦軸はフィルタとして各画素に乗ずる加重である。
４タップのボックスフィルタの他、７タップのテントフィルタ、１０タップの階段フィルタ、１３タップのガウシアンフィルタを例として図示しており、所謂ＦＩＲローパスフィルタであれば採用可能であることを示している。
【００７３】
フィルタタップ数は、縮小フィルタによる縮小率が１／Ｎのとき、Ｎタップ以上であることが必要条件である（例えば、縮小率１／４、入力４画素に対し１画素を出力する場合には４タップ）が、さらにタップ数を増加することにより、画質の向上が期待できる。
これは、タップ数が小さいほど発生する恐れが高まる、折り返し現象に起因する画質劣化を低減できるためである。
また、フィルタタップ数の増加に伴い、隣接する分割領域に属する画素を重複してフィルタ処理を行うことになるが、それは問題とならない。
【００７４】
図１４は、フィルタリングを行う場合に用いる各縮小画像の画素の位置関係を説明するための図である。
いま、水平方向の縮小画像を生成しているものとして、各縮小画像からの画素をどのように重み付け加算することで、出力画素の画素値を算出するかを、この図を用いて説明する。フィルタタップ数は７の場合を例として用いている。なお、垂直方向もこれに準じて行えばよいため、図は省略する。
【００７５】
図１４中には、各縮小画像の画素について、番号が振られている。以下、何層目の縮小画像の何番目の画素か、についてこの番号を用いて表現する。例えば、１／１６縮小画像の番号７９の画素はＬ２（７９）と表記する。基底面である入力画像データＤＤ中の画素はＬ０（画素番号）で表現する。
【００７６】
各縮小画像中の画素番号は、基底面上の対応する位置のものであり、各縮小面中で斜線を付した画素を位相の中心として、フィルタリングが実行されて作成されたものである。例えば、第１番目の縮小面である１／４縮小面中の画素Ｌ１（７）は、基底面中のＬ０（４）〜Ｌ０（１０）までの画素を用いた７タップのフィルタによって、生成された画素である。
このように、各縮小画像においてフィルタを４画素シフトしつつ実行することにより、用いる画素が隣接するフィルタと重複しても問題なく、フィルタの前後で１／４だけ縮小された、次層の縮小面が作成される。当然、縮小率が異なる場合も同様の方法で実現可能である。
【００７７】
続いて動きぼけレンダリング処理部３１の具体的な処理について説明する。
動きぼけレンダリング処理部３１は、入力された画像データＤＤと、縮小画像生成処理部３２で生成された階層的な縮小画像を用いて、動きぼけを含んだ出力画像の各画素値を算出する。
【００７８】
図１５は、動きぼけレンダリング処理の流れを示す概略図である。
動きぼけレンダリング処理部３１には、画像データＤＤ、縮小画像データＲＳＤおよび評価値Ｅ（例えば水平方向の評価値Ｅｘ及び垂直方向の評価値Ｅｙ）が入力し、各画素に適切な量の動きぼけが付加された出力画像データＯＤを出力する。
【００７９】
まず、評価値Ｅｘ、評価値Ｅｙから、当該画素に対し、どの方向に何画素移動した相当の動きぼけを付加するかの情報である、レンダリングパラメータの抽出が行われる（Ｓ１）。
レンダリングパラメータとは、言い換えれば、後段のレンダリング処理において、画像データＤＤおよび縮小画像データＲＳＤ中の当該画素の各々に、どれだけの重みを乗じて加算処理を実行するか、を示すデータである。後に具体的な例を用いてより明確に説明する。
縮小画像データＲＳＤには、画像データＤＤ中の各縮小画像において、当該画素に位置的に対応する画素の画素値を、補間処理によって生成する、合成画素算出処理が行われる（Ｓ２）。
この処理が必要な理由および具体的な処理内容の例については、詳しくは後述する。
最後に、画像データＤＤの当該画素、および、縮小画像データＲＳＤから生成された各合成画素、のそれぞれに重みを付けて加算処理することにより、当該画素に対応する出力画素の画素値を算出する、レンダリング処理が行われる。重みの情報は、入力されるレンダリングパラメータ中にあるものとする。
【００８０】
図１６は、上記した＜具体例：条件１＞における、動きぼけ付加部３０の構成、特に動きぼけレンダリング処理部３１の処理ブロックを詳細に示すものである。
縮小画像生成処理部３２においては、図示するように、縮小画像データＲＳＤとして、水平および垂直に各３層の縮小画像が作成されている。
【００８１】
動きぼけレンダリング処理部３１において、合成画素算出処理部３３−１〜３３−３には、画像データＤＤから処理対象の当該画素が入力されるのとタイミングを合わせて、３層の水平縮小画像から各々に画素が入力され、後述する合成画素値の算出処理が行われる。
また合成画素算出処理部３２−１〜３２−３には、画像データＤＤから処理対象の当該画素が入力されるのとタイミングを合わせて、３層の垂直縮小画像から各々に画素が入力され、後述する合成画素値の算出処理が行われる。
これら合成画素算出処理部３３−１〜３３−３、３２−１〜３２−３で算出された各縮小画像に対する合成画素は、セレクタ３４へと入力される。
【００８２】
評価値判定部３５には、評価値Ｅ（この場合、Ｅｘ及びＥｙ）が入力されている。
上記＜具体例：条件１＞は、各画素に水平および垂直方向のいずれか一方の動きぼけを選択的に付加する条件である。
そのため、評価値判定部３５では、評価値Ｅｘ，Ｅｙを基に、動きを付加する方向が水平と垂直のいずれであるかを示す選択情報と、付加する動きぼけの方向に対する各合成画素値に乗ずる重みを示す重み情報、を生成する。
そして選択情報は、セレクタ３４へ供給され、重み情報は、重み付け画素加算処理部３６へ供給される。
【００８３】
セレクタ３４は、評価値判定部３５から入力された選択情報を基に、合成画素値のうち水平・垂直のどちら一方から入力された画素値のみを選択し、重み付け画素加算処理部３６へ出力する。つまり、＜具体例：条件１＞の場合では、６つの画素値が入力し、３つの画素値として出力される。
重み付け画素加算処理部３６には、既に入力された画像データＤＤから処理対象の当該画素が入力されている。
さらに、上記の通り、合成画素値のうち方向選択された各画素値が入力される。
また、評価値判定部３５から各画素値に対する重み情報が入力している。
この重み付け画素加算処理部３６では、重み情報を基に、入力した各画素値に対し、詳しくは後述する重み付け画素加算処理を実行し、出力する画素値を算出する。
【００８４】
合成画素算出処理部３３−１〜３３−３，３２−１〜３２−３における処理を図１７で説明する。
図１７は、合成画素算出処理および重み付け画素加算処理の内容について、具体例を示して説明するための図である。画像データＤＤと縮小画像データＲＳＤについて、上記図１４と同様に、各画素を示している。
【００８５】
合成画素算出処理部３３−１〜３３−３，３２−１〜３２−３で行われる合成画素値の算出は、水平および垂直の各縮小画像から入力された画素について行うが、図１７では、付加する動きぼけの方向が水平方向の場合（つまり合成画素算出処理部３３−１〜３３−３のみ）について図示している。以下の説明は、垂直方向の場合（合成画素算出処理部３２−１〜３２−３）についても同様に考えればよい。
【００８６】
まず、合成画素値の算出処理が必要な理由について述べる。
後段の重み付け画素加算処理部３６の処理では、前記の通り、画像データＤＤの当該画素、および、縮小画像データＲＳＤから生成された各合成画素、のそれぞれに重みを付けて加算処理することにより、当該画素に対応する出力画素の画素値を算出するわけである。
しかし、各縮小画像には常に、画像データＤＤ中の当該画素に対応する画素が存在するわけではないため、各縮小画像における対応画素を補間処理により算出しなくてはならない。
例えば、図１７中の画像データＤＤで「２０」の番号を振られている画素Ｌ０（２０）に位置的に対応する、各縮小画像中における画素は存在しない。これは、画像データＤＤにフィルタリングを実行して、第１の縮小画像である１／４縮小画像を生成する際、Ｌ０（２０）がフィルタの位相中心ではない画素であるためであり、１／４縮小面以降、位置的に対応する画素は存在しないわけである。
【００８７】
そのため、何らかの補間処理によって、当該画素に対応する縮小画像中の画素値Ｌ１（２０）’、Ｌ２（２０）’、Ｌ３（２０）’を推定するわけである。
ここでは、例として線形補間法を用いて、Ｌ１（２０）’、Ｌ２（２０）’、Ｌ３（２０）’を算出する場合を考える。
【００８８】
いま、各縮小画像生成時に位相中心となった画素の入力画像データＤＤにおける座標と、当該画素との距離を、図１７中に示す通り、ｄ１（２０）、ｄ２（２０）、ｄ３（２０）のように表現する。これらは、当該画素よりも左に存在し、かつ、最寄りの位相中心となる画素、との距離である。このとき、入力画像データＤＤで「２０」の番号を振られている画素Ｌ０（２０）に対応する各縮小画像中における合成画素値Ｌ１（２０）’、Ｌ２（２０）’、Ｌ３（２０）’は、
【数１】
と表現される。
【００８９】
一般には、入力画像データＤＤ中の第Ｎ番目画素Ｌ０（Ｎ）に対応する、第Ｋ縮小画像（１／Ｒ縮小面）において位置的に対応する合成画素の画素値ＬＫ（Ｎ）’を、以下のように表現する。
【数２】
ただし、＜Ｎ＞Ｋとは、入力画像データＤＤ中の当該画素である第Ｎ番目の画素よりも左に存在し、かつ、第Ｋ縮小画像においてＮに最寄りの位相中心となる画素、である。
【００９０】
この（数２）に示す通り、各縮小面に存在する２画素（位置的に当該画素に対応する最寄りの２画素）を用いた、２タップのフィルタリング処理によって、線形補間された画素値を算出できる。
なお、ここでは線形補間による合成画素値算出の方法を示したが、補間の方式は、スプライン補間など、より高次な計算法を用いて算出することも可能である。
【００９１】
次に評価値判定部３５における処理を説明する。
各画素に水平および垂直方向のいずれか一方の動きぼけを選択的に付加する、上記＜具体例：条件１＞に準じた評価値判定部３５では、既に入力されている評価値Ｅｘ，Ｅｙを基に、動きを付加する方向が水平と垂直のいずれであるかを示す選択情報と、付加する動きぼけの方向に対する各合成画素値に乗ずる重みを示す重み情報、を生成する。
【００９２】
評価値判定部３５による動きぼけを付加する方向の選択方式としては、入力された評価値Ｅｘ，Ｅｙの値、即ち水平および垂直方向の動きの大きさを比較し、それが大の方向にぼけを付加する方法を採用することができる。
Ｅｘ≧Ｅｙのとき：水平方向のぼけ付加
Ｅｘ＜Ｅｙのとき：垂直方向のぼけ付加
これを基に、動きぼけを付加する方向についての選択情報を、セレクタ３４へと出力する。この例の場合、セレクタ３４へ送る情報量は、１画素の動きぼけ付加に対して１ビットでよい。
【００９３】
評価値判定部３５のもうひとつの役割は、各合成画素値に乗ずる重みの情報を算出して、重み付け画素加算処理部３６へと出力することであるが、この重み付けの決定方法は、以下の、重み付け画素加算処理部３６の詳細な説明の中で例を示して明らかにする。
【００９４】
次に重み付け画素加算処理部３６における処理を説明する。
重み付け画素加算処理部３６には、画像データＤＤの当該画素Ｌ０（Ｎ）、およびセレクタ３４で選択された、水平・垂直方向のどちらか一方について、各縮小画像から生成された合成画素が各々入力される。
以下では、＜具体例：条件１＞の水平・垂直方向用に３層の縮小画像が生成されている場合であるとし、さらに付加する動きベクトル方向がセレクタ３４において、水平方向に決定されているものとする。
このとき、各水平縮小画像中の画素から生成された合成画素をＬ１（Ｎ）’、Ｌ２（Ｎ）’、Ｌ３（Ｎ）’と表現する。
【００９５】
ここで、同じく評価値判定部３５から入力した重み情報を基に、下記（数３）に示す、これらの画素値の線形重み付け加算処理が行われ、出力画素値Ｌｏｕｔ（Ｎ）が算出される。
【数３】
ここでｗ０〜ｗ３は、各画素値に乗ずる重みである。一般には、下記の（数４）のように表せる。
【数４】
ただし、Ｍは当該方向に生成された縮小画像数であり、Ｌ０（Ｎ）＝Ｌ０（Ｎ）’であるものとする。
【００９６】
評価値判定部３５は、入力された評価値Ｅｘ，Ｅｙから、画像データＤＤの各画素に対して、各縮小画像に対する重みｗｋを算出し、重み付け画素加算処理部３６へと提供しているわけである。
各画素値に与える重みを生成する手段であるが、＜具体例：条件１＞の場合を想定し、重みｗ０〜ｗ３を決定する方法の例を示す。
当該画素の位置的に対応する評価値Ｅｘ，Ｅｙのうち、値が大である成分の値をＶと記す。そして以下の重み決定ルールに基づいて、順に分け与えていく。
【００９７】
手順１：ｗ０＝１。
Ｖ≦１であればｗ１＝０，ｗ２＝０，ｗ３＝０とし、手順５へ。
手順２：Ｖ−ｗ０＞４−１であればｗ１＝３。
そうでない場合、ｗ１＝Ｖ−ｗ０，ｗ２＝０，ｗ３＝０とし、手順５へ。
手順３：Ｖ−（ｗ０＋ｗ１）＞１６−４であればｗ２＝１２。
そうでない場合、ｗ２＝Ｖ−（ｗ０＋ｗ１），ｗ３＝０とし、手順５へ。
手順４：ｗ３＝Ｖ−（ｗ０＋ｗ１＋ｗ２）。
手順５：ｗ０〜ｗ３の各値をＶで除算して規格化。
【００９８】
以上は一例であり、その限りではない。特に、手順５にて除算が生じるため、ハードウェアでの実現の場合に処理コストが増大する。そのため、Ｖに対する各重みｗｋをテーブル化することで、処理コストの低減が可能である。
【００９９】
図１８は、重み情報テーブルの例である。
図中のテーブルの１列目は、選択された方向の評価値Ｅ（評価値Ｅｘ，Ｅｙのいずれか）を示しており、２〜５列目は、各縮小面から抽出した各画素に乗ずる重みの値を示している。
数値はあくまで一例であり、限定するものではないが、評価値Ｅが小さいほど、各縮小面の重みの値は、小さい階層（基底面や第１縮小面）の重みの値を大とし、逆にベクトル絶対値が大きいほど、大きい階層（第３縮小面や第２縮小面）の重みの値を大とすべきである。
【０１００】
このように評価値判定部３５で重み情報が生成されて重み付け画素加算処理３６に供給される。そして重み付け画素加算処理３６で、例えば上記（数３）の線形重み付け加算処理が行われ、出力画素値Ｌｏｕｔ（Ｎ）が算出されることになる。
そしてこの重み付け画素加算処理３６は、ジャーキネス劣化を低減した出力画像データＯＤとなる。
【０１０１】
［２−４：まとめ］
以上、第１の実施の形態の動画像撮像装置２００について説明してきたが、この実施の形態によれば、人間の視覚特性上、より自然にジャーキネス劣化が低減された動画像を出力することができる。
特に、本実施の形態では、撮像され、入力された画像データＤＤにおける処理対象画像（例えば１フレームの画像データ）について、領域毎の静動判定の結果と、撮像時の撮像情報ＣＩとに基づいて動きぼけ付加処理を行う。
そして動領域判定部４０における静動判定は、フレーム内の領域（画素単位或いは複数画素による画素ブロック単位）毎について動領域か静領域かを判定する処理であり、例えば前後フレームの比較などの簡易な処理で可能である。
また撮像情報ＣＩとして、例えばシャッタ速度情報、絞り値情報、焦点距離情報、ジャイロスコープ回転量情報（撮像装置の水平方向、垂直方向の動きを示す情報）を用いて、付加すべきぼけ量を示す評価値Ｅを生成する。
即ち静動判定結果によって検出される動領域について、撮像情報にもとづいて適切なぼけ量を付加させる評価値Ｅが生成され、動画像についてジャーキネス劣化が発生しやすい領域に適切な量の動きぼけを付加することができる。
このため、フレーム内の領域毎に動きベクトルを検出するという処理負担の大きい処理を不要としつつ、人間の視覚特性上、より自然にジャーキネス劣化が低減された動画像を出力することができる。
また、動きベクトル検出等の負担の重い処理を行わなくて良いことから、簡易に適切な動きぼけ付加処理を行うことができ、装置の簡易化、低コスト化に適している。
【０１０２】
また動きぼけ付加処理については、主に空間的なフィルタリング処理によって実現され、中間フレームを生成することがないため、処理過程で画像データを記憶するためのメモリを少なくすることができる。
さらに、空間フィルタ処理は、階層的なフィルタリングを実行した結果得られる、各階層の画素値を重み付け加算して出力する。そのため、各階層において行うフィルタは、少ないタップ数で実現可能である。また、そのフィルタのタップ数は、付加する動きぼけの量に依存せず、固定タップ数で行うことが可能である。
このような再帰的な処理による実現は、特にハードウェアによる処理実装に適している。当然に、ソフトウェア、また組合せによる実現も可能である。
【０１０３】
また、動きぼけ付加部３０で処理された画像データＯＤは、図２で説明したように、送信処理部６０から送信出力されたり、記録処理部７０によって記録媒体９０に記録される。
したがって、この動画像撮像装置２００によって送信された送信データ、及び記録媒体９０に記録された記録データの再生を行う再生装置は、この実施の形態に示したような動きぼけ付加処理を行うことなく、既存の再生処理工程を行うだけで、ジャーキネス効果が低減された動画像を表示装置に表示させることができる。
【０１０４】
［３．第２の実施の形態：再生・受信装置］
第２の実施の形態としての再生・受信装置３００の構成を図１９に示す。
この再生・受信装置３００は、放送などの媒体で送られる画像データの受信や、記録媒体９１に記録された画像データを再生して、表示する装置としている。
【０１０５】
受信処理部１１０は、例えばテレビジョン放送等により送信されてくる画像データを受信する。なお、ネットワーク通信、ダウンロードなどの形態の画像データの受信処理を行う部位としてもよい。受信処理部１１０では受信・復調処理を行い、受信したデータストリームを動画像復号化処理部１３０及び制御部１７０に供給する。
再生処理部１２０は、記録媒体９１に対して画像データの再生動作を行い、再生したデータストリームを動画像復号化処理部１３０及び制御部１７０に供給する。
【０１０６】
受信処理部１１０で受信された画像データ、及び再生処理部１２０で記録媒体９１から再生された画像データは、符号化された画像データであるが、撮像情報が重畳されたデータとなっている。例えばそれらの画像データが撮像された際の撮像装置において例えばシャッタ速度情報、絞り値情報、焦点距離情報、ジャイロスコープ回転量情報等がメタデータとして付加されていることを想定する。
制御部１７０は、このような画像データから撮像情報を抽出する。そして抽出された撮像情報ＣＩを動領域判定部１５０に供給する。
【０１０７】
動画像復号化処理部は、受信処理部１１０又は再生処理部１２０から供給される、圧縮符号化されている画像データを伸張処理し、復号処理後の画像データＤＤを動領域判定部１５０及び動きぼけ付加部１４０に供給する。
動領域判定部１５０、動きぼけ付加部１４０は、上記第１の実施の形態の動領域判定部４０、動きぼけ付加部３０と同様である。即ち動領域判定部１５０は、各フレーム内の領域毎について動領域か静領域かを判定する静動判定処理を行い、また撮像情報ＣＩとして、例えばシャッタ速度情報、絞り値情報、焦点距離情報、ジャイロスコープ回転量情報等を用いて、付加すべきぼけ量を示す評価値Ｅを生成する。
また動きぼけ付加部１４０は、評価値Ｅに基づいて、入力される画像データＤＤに対して動きぼけ付加処理を行って、ジャーキネス劣化が低減された出力画像データＯＤを出力する。
画像表示部１６０では、動きぼけ付加部１４０で処理された出力画像データＯＤについて表示出力を行う。
【０１０８】
このような第２の実施の形態としての再生・受信装置３００では、受信又は再生した画像データについて、適切にジャーキネス劣化を低減させることができ、高品質な画像表示を実現できる。そしてその動きぼけ付加処理のためには、第１の実施の形態と同様、動きベクトル検出等の負担の重い処理を行わなくて良いことから、簡易に適切な動きぼけ付加処理を行うことができ、再生・受信装置の簡易化、低コスト化に適している。
【０１０９】
以上、本発明の第１，第２の実施の形態を説明してきたが、本発明の画像処理装置、画像処理方法は、上記各例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更が可能であることは勿論である。
また実施の形態は、図１の画像処理装置１００としての基本構成を含む動画像撮像装置２００、再生・受信装置３００として説明したが、本発明の画像処理装置は画像処理を行う各種機器に適用できる。例えば画像通信装置、画像記録装置、ゲーム機器、ビデオ編集機、携帯電話機などが想定される。
また上記してきた画像処理装置１００，動画像撮像装置２００、再生・受信装置３００の構成は、複数の処理部の論理的集合構成であり、各構成として示した処理部が同一筐体内にあるものには限らない。
【０１１０】
［４．プログラム］
本発明はさらに、汎用のパーソナルコンピュータその他の情報処理装置において、動画像再生や記録等を行う際に、上記の画像処理装置１としての動作を実行することも当然想定される。
即ち、上述した画像処理装置１を構成する各処理部は、例えばＦＰＧＡ等によって設計されるハードウェアによって実現されることもできるが、各処理部によって実現される画像処理をコンピュータ等の情報処理機器に実行させるようにしても良い。
例えば上述の動領域判定部２（４０，１５０）、撮像情報ＣＩを取得する機能部位としての画像取込部１、及び動きぼけ付加部３（３０、１４０）の動作を演算処理装置に実行させるプログラムを画像処理アプリケーションソフトウエアとして提供することで、パーソナルコンピュータ等において、適切な画像処理を実現できる。
【０１１１】
即ち当該プログラムは以下の各ステップを演算処理装置（ＣＰＵ等）に実行させる。
まず動画像データを構成する各単位画像を処理対象画像とし、各処理対象画像の領域毎の静動判定を行う静動判定ステップを演算処理装置に実行させる。
また、動画像データが撮像装置による撮像により生成された際の撮像情報を取り込む撮像情報取込ステップを演算処理装置に実行させる。
また、動画像データに対し、静動判定ステップでの判定結果と、撮像情報取込ステップで取り込んだ撮像情報とに基づいて動きぼけを付加する処理を行う動きぼけ付加処理ステップを演算処理装置に実行させる。
【０１１２】
このようなプログラムにより、本発明をパーソナルコンピュータ、携帯電話機、ＰＤＡ（Personal Digital Assistant）、その他画像データを用いる多様な情報処理装置においても同様の画像処理を実行できるようにすることができる。
【０１１３】
なお、このようなプログラムは、パーソナルコンピュータ等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【図面の簡単な説明】
【０１１４】
【図１】本発明の実施の形態の基本構成としての画像処理装置のブロック図である。
【図２】第１の実施の形態の動画像撮像装置のブロック図である。
【図３】実施の形態の撮像情報の説明図である。
【図４】実施の形態の撮像情報の説明図である。
【図５】実施の形態の動領域判定部のブロック図である。
【図６】実施の形態の動きぼけ付加部のブロック図である。
【図７】実施の形態の縮小画像を用いた重み付け加算処理の説明図である。
【図８】実施の形態の縮小画の生成処理の説明図である。
【図９】実施の形態の水平方向縮小画像の生成処理の説明図である。
【図１０】実施の形態の垂直方向縮小画像の生成処理の説明図である。
【図１１】実施の形態の縮小画像生成処理部の処理の説明図である。
【図１２】実施の形態の縮小画像生成処理部の処理を一般化した説明図である。
【図１３】実施の形態の縮小画像生成処理部のフィルタの説明図である。
【図１４】実施の形態の縮小画像生成処理の説明図である。
【図１５】実施の形態の動きぼけ付加部の処理の説明図である。
【図１６】実施の形態の動きぼけ付加部の構成のブロック図である。
【図１７】実施の形態の合成画素算出処理及び重み付け画素加算処理の説明図である。
【図１８】実施の形態の重み情報テーブルの説明図である。
【図１９】第２の実施の形態の再生・受信装置のブロック図である。
【図２０】従来の動画像撮像装置と動画像再生装置のブロック図である。
【符号の説明】
【０１１５】
１ 画像取込部、２ 動領域判定部、３ 動きぼけ付加部、１０ 撮像光学系、１１ 絞り機構、１２ 光学レンズ系、１３ 撮像素子部、１４ ジャイロセンサ、２０，１７０ 制御部、３０、１４０ 動きぼけ付加部、４０，１５０ 動領域判定部、５０ 動画像符号化処理部、６０ 送信処理部、７０ 記録処理部、９０，９１ 記録媒体、１００ 画像処理装置、１１０ 受信処理部、１２０ 再生処理部、１３０ 動画像復号化処理部、１６０ 画像表示部、２００ 動画像撮像装置、３００ 再生・受信装置
【特許請求の範囲】
【請求項１】
動画像データを構成する各単位画像を処理対象画像とし、各処理対象画像の領域毎の静動判定を行う静動判定手段と、
上記動画像データに対し、上記静動判定手段の判定結果と、上記動画像データが撮像装置による撮像により生成された際の撮像情報とに基づいて動きぼけを付加する処理を行う動きぼけ付加手段と、
を備えた画像処理装置。
【請求項２】
上記動きぼけ付加手段は、上記動画像データの各処理対象画像について、上記静動判定手段によって動領域と判定された領域に、上記撮像情報に基づいて動きぼけを付加する処理を行う請求項１に記載の画像処理装置。
【請求項３】
上記静動判定手段は、静領域か動領域かの判定結果と、上記撮像情報とに基づいて領域毎の評価値を生成し、
上記動きぼけ付加手段は、上記評価値に基づいて、上記動画像データの各処理対象画像に動きぼけを付加する処理を行う請求項２に記載の画像処理装置。
【請求項４】
上記静動判定手段は、複数種類の撮像情報を用いた重み付け演算処理により上記評価値を生成する請求項３に記載の画像処理装置。
【請求項５】
上記動きぼけ付加手段では、上記撮像情報としてのシャッタ速度情報によるシャッタ速度が速いほど動きぼけ量を大きくする動きぼけ付加処理が行われる請求項１に記載の画像処理装置。
【請求項６】
上記動きぼけ付加手段では、上記撮像情報としての絞り値情報による絞り値が大きいほど動きぼけ量を大きくする動きぼけ付加処理が行われる請求項１に記載の画像処理装置。
【請求項７】
上記動きぼけ付加手段では、上記撮像情報としての焦点距離情報による焦点距離が遠いほど動きぼけ量を大きくする動きぼけ付加処理が行われる請求項１に記載の画像処理装置。
【請求項８】
上記動きぼけ付加手段では、上記撮像情報としてのジャイロスコープ回転量情報によるジャイロスコープ回転量が大きいほど動きぼけ量を大きくする動きぼけ付加処理が行われる請求項１に記載の画像処理装置。
【請求項９】
上記動きぼけ付加手段は、
動画像データに対し、動画像を構成する各単位画像を処理対象画像とし、上記処理対象画像から１つ以上の解像度の異なる縮小画像を生成する縮小画像生成部と、
上記処理対象画像の注目画素に位置的に対応する画素を上記縮小画像から抽出し、上記静動判定手段の判定結果と上記撮像情報とに基づく値を基に、上記注目画素および上記縮小画像から抽出した１つ以上の抽出画素について、重み付け加算処理を行って、上記処理対象画像に動きぼけを付加する画素合成処理部と、
を有する請求項１に記載の画像処理装置。
【請求項１０】
被写体を撮像して動画像を生成する撮像手段をさらに備え、
上記撮像手段での撮像によって得られた動画像データが、上記静動判定手段と上記動きぼけ付加手段に入力される請求項１に記載の画像処理装置。
【請求項１１】
記録媒体の再生動作により動画像データを再生する再生手段をさらに備え、
上記再生手段で再生された動画像データが、上記静動判定手段と上記動きぼけ付加手段に入力される請求項１に記載の画像処理装置。
【請求項１２】
動画像データを受信する受信手段をさらに備え、
上記受信手段で受信された動画像データが、上記静動判定手段と上記動きぼけ付加手段に入力される請求項１に記載の画像処理装置。
【請求項１３】
動画像データを構成する各単位画像を処理対象画像とし、各処理対象画像の領域毎の静動判定を行う静動判定ステップと、
上記動画像データに対し、上記静動判定ステップでの判定結果と、上記動画像データが撮像装置による撮像により生成された際の撮像情報とに基づいて動きぼけを付加する処理を行う動きぼけ付加処理ステップと、
を有する画像処理方法。
【請求項１４】
動画像データを構成する各単位画像を処理対象画像とし、各処理対象画像の領域毎の静動判定を行う静動判定ステップと、
上記動画像データに対し、上記静動判定ステップでの判定結果と、上記動画像データが撮像装置による撮像により生成された際の撮像情報とに基づいて動きぼけを付加する処理を行う動きぼけ付加処理ステップと、
を演算処理装置に実行させるプログラム。
【請求項１】
動画像データを構成する各単位画像を処理対象画像とし、各処理対象画像の領域毎の静動判定を行う静動判定手段と、
上記動画像データに対し、上記静動判定手段の判定結果と、上記動画像データが撮像装置による撮像により生成された際の撮像情報とに基づいて動きぼけを付加する処理を行う動きぼけ付加手段と、
を備えた画像処理装置。
【請求項２】
上記動きぼけ付加手段は、上記動画像データの各処理対象画像について、上記静動判定手段によって動領域と判定された領域に、上記撮像情報に基づいて動きぼけを付加する処理を行う請求項１に記載の画像処理装置。
【請求項３】
上記静動判定手段は、静領域か動領域かの判定結果と、上記撮像情報とに基づいて領域毎の評価値を生成し、
上記動きぼけ付加手段は、上記評価値に基づいて、上記動画像データの各処理対象画像に動きぼけを付加する処理を行う請求項２に記載の画像処理装置。
【請求項４】
上記静動判定手段は、複数種類の撮像情報を用いた重み付け演算処理により上記評価値を生成する請求項３に記載の画像処理装置。
【請求項５】
上記動きぼけ付加手段では、上記撮像情報としてのシャッタ速度情報によるシャッタ速度が速いほど動きぼけ量を大きくする動きぼけ付加処理が行われる請求項１に記載の画像処理装置。
【請求項６】
上記動きぼけ付加手段では、上記撮像情報としての絞り値情報による絞り値が大きいほど動きぼけ量を大きくする動きぼけ付加処理が行われる請求項１に記載の画像処理装置。
【請求項７】
上記動きぼけ付加手段では、上記撮像情報としての焦点距離情報による焦点距離が遠いほど動きぼけ量を大きくする動きぼけ付加処理が行われる請求項１に記載の画像処理装置。
【請求項８】
上記動きぼけ付加手段では、上記撮像情報としてのジャイロスコープ回転量情報によるジャイロスコープ回転量が大きいほど動きぼけ量を大きくする動きぼけ付加処理が行われる請求項１に記載の画像処理装置。
【請求項９】
上記動きぼけ付加手段は、
動画像データに対し、動画像を構成する各単位画像を処理対象画像とし、上記処理対象画像から１つ以上の解像度の異なる縮小画像を生成する縮小画像生成部と、
上記処理対象画像の注目画素に位置的に対応する画素を上記縮小画像から抽出し、上記静動判定手段の判定結果と上記撮像情報とに基づく値を基に、上記注目画素および上記縮小画像から抽出した１つ以上の抽出画素について、重み付け加算処理を行って、上記処理対象画像に動きぼけを付加する画素合成処理部と、
を有する請求項１に記載の画像処理装置。
【請求項１０】
被写体を撮像して動画像を生成する撮像手段をさらに備え、
上記撮像手段での撮像によって得られた動画像データが、上記静動判定手段と上記動きぼけ付加手段に入力される請求項１に記載の画像処理装置。
【請求項１１】
記録媒体の再生動作により動画像データを再生する再生手段をさらに備え、
上記再生手段で再生された動画像データが、上記静動判定手段と上記動きぼけ付加手段に入力される請求項１に記載の画像処理装置。
【請求項１２】
動画像データを受信する受信手段をさらに備え、
上記受信手段で受信された動画像データが、上記静動判定手段と上記動きぼけ付加手段に入力される請求項１に記載の画像処理装置。
【請求項１３】
動画像データを構成する各単位画像を処理対象画像とし、各処理対象画像の領域毎の静動判定を行う静動判定ステップと、
上記動画像データに対し、上記静動判定ステップでの判定結果と、上記動画像データが撮像装置による撮像により生成された際の撮像情報とに基づいて動きぼけを付加する処理を行う動きぼけ付加処理ステップと、
を有する画像処理方法。
【請求項１４】
動画像データを構成する各単位画像を処理対象画像とし、各処理対象画像の領域毎の静動判定を行う静動判定ステップと、
上記動画像データに対し、上記静動判定ステップでの判定結果と、上記動画像データが撮像装置による撮像により生成された際の撮像情報とに基づいて動きぼけを付加する処理を行う動きぼけ付加処理ステップと、
を演算処理装置に実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１０−３４８５０（Ｐ２０１０−３４８５０Ａ）
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願番号】特願２００８−１９４８７６（Ｐ２００８−１９４８７６）
【出願日】平成２０年７月２９日（２００８．７．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願日】平成２０年７月２９日（２００８．７．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]