画像処理装置、画像処理方法、プログラム
【課題】ジャーキネスおよびブラーの劣化に適切に対応して動画の画質向上を図る。
【解決手段】動画質劣化要因であるジャーキネスとブラーの発生に影響する要因として、入力画像が撮像された際のシャッタ速度に注目し、シャッタ速度を評価した値をもとに実行する補正処理（動きぼけの付加と動きぼけの削除）を切り替える。また入力画像について撮像された際のシャッタ速度の情報が未知である場合、シャッタ速度推定処理手段により撮像時のシャッタ速度を推定し、推定されたシャッタ速度を評価した値をもとに実行する補正処理を切り替える。
【解決手段】動画質劣化要因であるジャーキネスとブラーの発生に影響する要因として、入力画像が撮像された際のシャッタ速度に注目し、シャッタ速度を評価した値をもとに実行する補正処理（動きぼけの付加と動きぼけの削除）を切り替える。また入力画像について撮像された際のシャッタ速度の情報が未知である場合、シャッタ速度推定処理手段により撮像時のシャッタ速度を推定し、推定されたシャッタ速度を評価した値をもとに実行する補正処理を切り替える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法、プログラムに関し、特に画像上の動きぼけの観点に注目し、高品質な画像を得るようにするための画像処理技術に関する。
【背景技術】
【０００２】
【特許文献１】特開２００７−２７４２９９号公報
【特許文献２】特開２００４−２８２３１８号公報
【特許文献３】特開２００６−８１１５０号公報
【非特許文献１】連立非線形拡散法の動きぼけ補正への拡張、齊藤隆弘 原田寛之 小松隆、映像情報メディア学会誌58,（12）,1839-1844
【非特許文献２】ぼけモデルを用いた動きぼけ補正、齊藤隆弘 原田寛之 佐野大志 小松隆、映像情報メディア学会誌59,（11）,1714-1721
【非特許文献３】焦点外れによるぼけとモーションブラーの推定に基づく拡張現実感における光学的整合性の実現、奥村文洋 神原誠之 横矢直和、電子情報通信学会論文誌 D Vol.J90-D No.8 pp.2126-2136
【０００３】
高速シャッタで撮像された動画像やアニメーションなどを、プロジェクタやディスプレイなどの表示デバイスを用いて表示すると、画像中に含まれる移動物体の動きが不連続に表示され、画像を観察する観察者が多重像を知覚してしまうという画像劣化が頻繁に発生する。このような動きの不自然さによる動画像の劣化は、一般的にモーションジャーキネス（Motion Jerkiness）と呼ばれる。
一方、オープンシャッタなど低速のシャッタスピードで撮像された動画像を表示すると、動きぼけの影響により、被写体のディテールの欠損やエッジが不鮮明になることがよくある。この現象は、ブラー（動きぼけ）と呼ばれる画質劣化の現象である。
【０００４】
これらのジャーキネスとブラーの発生原理について、図２６〜図２８を用いて説明する。人間の知覚特性として、目に入射した光を一定時間積分した値として知覚することが知られている。図２６〜図２８は、この知覚特性に基づく観察者からの物体の見え方を模擬的に説明する図である。
【０００５】
図２６は、静止物体と移動物体の実世界における見え方を説明する例である。
図２６（１）は、横軸を位置（ｘ）、縦軸を時間（ｔ）として、静止物体７１と移動物体７２の時間的変移を示しており、図２６（２）は、これらの静止物体７１と移動物体７２を観察する観察者の知覚状況を模擬的に示した図である。観察者には、移動物体７２を追従して観察する追従視と、および移動物体７２を追従しないで視点を固定して観察する固定視を行なう２通りの異なる観察形態における知覚状況がある。それぞれ（ａ）追従視，（ｂ）固定視として示してある。
【０００６】
図２６（２）の（ａ）追従視に示すように、移動物体７２を観察者が追従視した場合、移動物体７２の見え方は、図２６（２）の移動物体知覚情報ａ７２のようになる。これは図２６（２）の（ｂ）固定視における固定物体７１の見え方である固定物体知覚情報ｂ７１と同様の見え方である。このように、観察者が移動物体７２を追従視した場合は、固定視における固定物体７１の見え方と同様に観察者は知覚する。
一方、図２６（２）の（ｂ）固定視に示すように、移動物体７２を観察者が固定視した場合、移動物体７２の見え方は、図２６（２）の移動物体知覚情報ｂ７２のようになる。これは、観察者が移動物体を連続的に移動するように変化する知覚を行うものであり、観察者が違和感を生じることはない。
【０００７】
図２７は、高速シャッタで撮像された動画像やアニメーションなどを、プロジェクタやディスプレイなどの表示デバイスを用いて表示した場合に観察者によって知覚されるジャーキネスの発生を説明する図である。すなわち、画像中に含まれる移動物体の動きが不連続に表示され、画像を観察する観察者が多重像を知覚してしまうという現象である。
【０００８】
図２７では、図２６中の実世界における移動物体を、高速シャッタを用いて撮像し、６０Ｈｚでリフレッシュされる表示デバイスに表示した場合、観察者からの見え方を模擬的に表している。図２７（１）は、表示静止物体８１と表示移動物体８２の表示デバイス上での表示位置の変化を示している。縦軸が時間（ｔ）であり表示デバイスのリフレッシュ間隔（１／６０ｓｅｃ）毎に区切りを設定してある。横軸が表示位置（ｘ）である。
図２７（２）は、表示デバイスに表示される表示静止物体８１と表示移動物体８２を観察する観察者の知覚状況を模擬的に示した図である。観察者の知覚状況として、表示移動物体８２を追従して観察する追従視を、（ａ）追従視として示し、表示移動物体８２を追従しないで視点を固定して観察する固定視を、（ｂ）固定視として示している。
【０００９】
図２７（２）（ａ）に示すように、表示デバイスに表示される表示移動物体８２を、観察者が追従視した場合の見え方（ａ８２）は、上記図２６（２）（ａ）の追従視の見え方（ａ８２）と同様の見え方であり、静止物体を固定視した場合と同じように観察者は知覚することになる。
【００１０】
一方、表示デバイスに表示される表示移動物体８２を、観察者が固定視した場合においては、図２７（２）（ｂ）に示すように、観察者の視覚による知覚上、実世界とは異なり表示移動物体８２は、連続的ではなく離散的に移動変化するような見え方（ｂ２２）となる。結果として、観測者は、目に入射した光を一定時間積分した値として知覚するという知覚特性に基づいて、表示デバイスに表示される移動物体を多重像として知覚することになる。
【００１１】
観測者は、本来１つの物体であるにも拘らず、複数の物体のように感じ取ってしまうことになる。このような現象をジャーキネス劣化という。ジャーキネス劣化は、原理的に移動速度の速い物体ほど発生しやすい。また、ジャーキネス劣化は、表示デバイスのフレームレートが低いほど発生しやすく、フレームレートが高いほど発生しにくい。さらに、ジャーキネス劣化は、一般的に、空間的な輝度の変化が大きい部分、言い換えれば、空間コントラストの高い部分において生じやすい。
【００１２】
図２８は、例えばオープンシャッタなどの低速シャッタで撮像された動画像やアニメーションなどを、プロジェクタやディスプレイなどの表示デバイスを用いて表示した場合に観察者によって知覚されるブラーの発生を説明する図である。ブラーは、動きボケの影響により、被写体のディテールの欠損やエッジが不鮮明になる現象である。
【００１３】
図２８では、図２６中の実世界における移動物体を、低速シャッタを用いて撮像し、６０Ｈｚでリフレッシュされる表示デバイスに表示した場合、観察者からの見え方を模擬的に表している。図２８（１）は、表示静止物体９１と表示移動物体９２の表示デバイス上での表示位置の変化を示している。縦軸が時間（ｔ）であり表示デバイスのリフレッシュ間隔（１／６０ｓｅｃ）毎に区切りを設定してある。横軸が表示位置（ｘ）である。
図２８（２）は、表示デバイスに表示される表示静止物体９１と表示移動物体９２を観察する観察者の知覚状況を模擬的に示している。即ち表示移動物体３２を追従して観察する（ａ）追従視と、表示移動物体３２を追従しないで視点を固定して観察する（ｂ）固定視を示している。
【００１４】
図２８（２）（ｂ）に示すように、表示デバイスに表示される表示移動物体３２を、観察者が固定視した場合（ｂ３２）においては、上記図２６（２）（ｂ）の固定視と同様の見え方（ｂ７２）であり、観察者が移動物体を連続的に移動するように変化する知覚を行い、観察者が違和感を生じることはない。
【００１５】
一方、表示デバイスに表示される表示移動物体９２を、観察者が追従視した場合においては、図２８（２）（ａ）の見え方（ａ９２）に示すように、観察者には、静止物体を固定視した場合とは異なる、ぼやけた像として知覚される。これは、図２８（１）の表示移動物体９２に示すように、撮像時において、低速シャッタに基づく長期間の露光中の移動物体の動きが１フレームに記録され、この移動する物体が１フレーム中に帯状に表示されるためである。このような現象をブラー劣化という。
【００１６】
ジャーキネス劣化およびブラー劣化の発生は、原理的に見て、撮像時のシャッタ速度について相反する関係にあるため、単純なシャッタ制御ではいずれかの劣化が目立ってしまう。
具体的には、動画像のフレームレートに対して短いシャッタ速度（高速シャッタ）で撮像された画像は、静止画像として表示したときには鮮鋭度が高いが、動画像として表示したときには、画像中の動体領域、特に高速に動く領域の動きが滑らかではなく、人間の視覚特性上、不自然に見えてしまう。
それに対し、動画像のフレームレートに対して長いシャッタ速度（低速シャッタ）で撮像された画像を動画像として表示したときには、画像中の高速移動領域の動きは滑らかであるが、画像全体の鮮鋭度は低減してしまう。
【００１７】
本出願人が先に提案した発明として、上記特許文献１に示されるように、高速シャッタで撮像された画像の入力を主に想定し、画像処理を用いて動きぼけを付加することで、ジャーキネスの発生を低減する方法が知られている。
また、その際に動きぼけの過付加によるブラー劣化が発生しないよう、画像処理手法を用いた解析により動きぼけ付加量を制御することも示している。
また、主に低速シャッタで撮像された画像の入力を想定し、画像処理を用いて動きぼけを削減するアプローチは、一般に広く検討されているテーマである。例えば、上記非特許文献１，２によれば、画像のぼけを補正する画像処理手法として、ぼけモデルを用いた逆たたみ込み法と、ピーキング法やショックフィルタ（Shock Filter）に代表されるぼけモデルが不要な手法とに大別され、非特許文献１では前者に所属する手法を動きぼけの削減手段として適用し、非特許文献２では後者に所属する手法を動きぼけの削減手段として適用している。
【発明の開示】
【発明が解決しようとする課題】
【００１８】
上述のように、ジャーキネスおよびブラーの発生は、撮像時のシャッタ速度について、相反する関係にあるため、単純なシャッタ制御ではいずれかの劣化が目立ってしまう問題がある。
そしてジャーキネスおよびブラーの劣化に適切に対応して画質向上を図る技術は提案されておらず、そこで本発明では、動画質劣化の要因であるこれらの劣化に適切に対応すること、さらにはジャーキネスとブラーの双方を抑制するよう、ジャーキネス及びブラーに適応的に対応した画像処理を行う技術を提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明の画像処理装置は、画像データを構成する単位画像間での画像の動きを示す動き情報、及び上記画像データを撮像した時のシャッタ速度情報を基に、動きぼけ補正処理に必要な動きぼけ補正パラメータを算出する補正パラメータ算出手段と、上記動きぼけ補正パラメータを用いて、少なくとも動きぼけを削減する処理を実行し、画像データに含まれる動きぼけ量を補正する動きぼけ補正処理手段とを備える。
また上記動きぼけ補正処理手段は、上記動きぼけ補正パラメータを用いて、画像データに動きぼけを付加する処理及び動きぼけを削減する処理を実行する。
また上記画像データを解析処理することで上記シャッタ速度情報を推定するシャッタ速度推定処理手段をさらに備え、上記補正パラメータ算出手段は、補正パラメータの算出の際に、上記シャッタ速度推定処理手段で推定されたシャッタ速度情報を用いる。
【００２０】
また上記動きぼけ補正処理手段は、上記動きぼけ補正パラメータを基に、画像データに動きぼけを付加する処理又は動きぼけを削減する処理を、画像データ内の分割領域ごとに適応的に選択し、選択した動きぼけ補正処理を実行する。
或いは、上記動きぼけ補正処理手段は、画像データに対し、動きぼけを付加する処理及び動きぼけを削減する処理をそれぞれ独立に実行し、処理された双方の画像データから、上記動きぼけ補正パラメータを基に、画像データ内の分割領域ごとに適応的に出力するデータを選択して出力する。
【００２１】
また上記画像データから、上記動き情報として動きベクトルを生成する動きベクトル生成手段を更に備え、上記動きぼけ補正手段は、上記動きベクトル生成手段により生成された動きベクトルを用いて、上記画像データにフィルタ処理を施すことにより、動きぼけの補正処理を実行する。
【００２２】
また上記シャッタ速度推定処理手段は、画像データ中の対象領域に含まれる動きぼけの特性を解析し、シャッタ速度演算用パラメータを抽出する動きぼけ特性解析部と、上記動きぼけ特性解析手段により抽出されたシャッタ速度演算用パラメータ、及び上記対象領域に対応する動き情報を用いて、上記画像データを撮像した時のシャッタ速度情報を算出する撮像シャッタ速度演算部とを備える。
またこの場合、上記シャッタ速度推定処理手段は、上記動きぼけ特性解析手段による解析処理の対象領域を、上記画像データを構成する各単位画像中から抽出して特定する処理対象領域選択部をさらに備える。
また上記画像データから、上記動き情報として動きベクトルを生成する動きベクトル生成手段を更に備え、上記シャッタ速度推定処理手段における上記処理対象領域選択部は、上記画像データのエッジ情報、及び上記動きベクトル生成手段で生成された動きベクトルの情報を用いて、上記対象領域を特定する。
また上記シャッタ速度推定処理手段は、撮像シャッタ速度高精度化処理部を更に備え、上記シャッタ速度推定処理手段においては、上記動きぼけ特性解析部は、複数の対象領域について上記シャッタ速度演算用パラメータを抽出し、上記撮像シャッタ速度演算部は、複数の対象領域について上記シャッタ速度演算用パラメータとそれぞれの対象領域に対応する動き情報を用いて、複数の上記シャッタ速度情報を算出し、上記撮像シャッタ速度高精度化処理部は、複数の上記シャッタ速度情報の算出結果を用いて、撮像シャッタ速度の推定を行う。
【００２３】
また上記シャッタ速度推定処理手段は、入力される画像データについてのシーンチェンジが検出されてから次のシーンチェンジが検出されるまでの期間に、１回のみシャッタ速度推定処理を行うとともに、当該期間中は、上記１回のシャッタ速度推定処理の結果を保持する。
或いは上記シャッタ速度推定処理手段は、入力される画像データについてのシーンチェンジが検出されてから次のシーンチェンジが検出されるまでの期間に、複数回のシャッタ速度推定処理を行うとともに、上記複数回のシャッタ速度推定処理による複数のシャッタ速度情報の算出結果を用いて、撮像シャッタ速度の推定を行う撮像シャッタ速度高精度化処理部をさらに備える。
なお、これらは撮像シャッタ速度の変更が、シーンチェンジの前後においてのみ発生する可能性を持つ、という仮定のもとにおいて有効である。
【００２４】
また上記補正パラメータ算出手段は、被写体速度と、出力画像の画像劣化が低減される撮像シャッタ速度とを対応付ける対応付け情報を保持し、該対応付け情報を参照して、被写体速度に対応する最適シャッタ速度を画像データ内の分割領域毎に取得し、入力された撮像シャッタ速度の情報と上記最適シャッタ速度とを比較することで、動きぼけを付加する処理又は動きぼけを削減する処理の選択制御情報である動きぼけ補正パラメータを算出し、上記動きぼけ補正処理手段は、上記動きぼけ補正パラメータに基づいて、画像データに動きぼけを付加する処理及び動きぼけを削減する処理を選択的に実行する。
また上記補正パラメータ算出手段は、被写体速度と、出力画像の画像劣化が低減される撮像シャッタ速度とを対応付ける対応付け情報を保持し、該対応付け情報を参照して、被写体速度に対応する最適シャッタ速度を画像データ内の分割領域毎に取得し、入力された撮像シャッタ速度の情報と上記最適シャッタ速度とを比較することで、動きぼけを付加する処理又は動きぼけを削減する処理の選択制御情報である動きぼけ補正パラメータを算出し、上記動きぼけ補正処理手段は、画像データに対し、動きぼけを付加する処理及び動きぼけを削減する処理をそれぞれ独立に実行し、処理された双方の画像データから、上記動きぼけ補正パラメータを基に、画像データ内の分割領域ごとに適応的に出力するデータを選択して出力する。
また上記補正パラメータ算出手段は、上記動きぼけ補正処理手段において画像データに動きぼけを付加する処理又は動きぼけを削減する処理の実行の際の、付加又は削減の度合いを示す動きぼけ補正パラメータを算出する。
また上記付加又は削減の度合いを示す動きぼけ補正パラメータは、撮像シャッタ速度、又は撮像シャッタ速度と上記最適シャッタ速度との差分である。
また上記付加又は削減の度合いを示す動きぼけ補正パラメータは、分割領域の移動速度情報である。
【００２５】
また動き情報を用いて符号化された画像データを取り込む画像取込手段をさらに備え、上記画像取込手段は、取り込んだ画像データを、上記動き情報を用いて復号するとともに、上記動き情報を、動きぼけ補正パラメータの算出に用いる動き情報として、上記補正パラメータ算出手段に供給する。
【００２６】
本発明の画像処理方法は、画像データを構成する単位画像間での画像の動きを示す動き情報、及び上記画像データを撮像した時のシャッタ速度情報を基に、動きぼけ補正処理に必要な動きぼけ補正パラメータを算出するステップと、上記動きぼけ補正パラメータを用いて、少なくとも動きぼけを削減する処理を実行し、画像データに含まれる動きぼけ量を補正するステップとを有する。
本発明のプログラムは、上記各ステップを演算処理装置に実行させるプログラムである。
【００２７】
これらの本発明は、動画質劣化の要因であるジャーキネスやブラー、或いはその双方を抑制することを可能とする画像処理装置、画像処理方法、並びにコンピュータ・プログラムを提供するものとなる。
また、動画質劣化要因であるジャーキネスとブラーの発生に影響する要因として、入力画像が撮像された際のシャッタ速度に注目し、シャッタ速度を評価した値をもとに実行する補正処理（動きぼけの付加と動きぼけの削除）を切り替えることで、いかなるシャッタ速度を用いて撮像された入力画像に対してもジャーキネスとブラーの双方を抑制することが可能となる。
さらに、入力画像が撮像された際のシャッタ速度の情報が未知である場合、シャッタ速度推定処理手段により撮像時のシャッタ速度を推定し、推定されたシャッタ速度を評価した値をもとに実行する補正処理を切り替えることで、いかなるシャッタ速度を用いて撮像された入力画像に対してもジャーキネスとブラーの双方を抑制することが可能となる。
【発明の効果】
【００２８】
本発明によれば、動画質劣化の要因であるジャーキネスとブラーに対して適切に対応した補正処理を行い、特にはジャーキネスとブラーの双方を抑制するよう、ジャーキネス及びブラーに適応的に対応して、動きぼけの付加としての補正処理と動きぼけの削除としての補正処理を行う。これにより出力画像としての画質向上を実現できる。
また、入力画像が撮像された際のシャッタ速度の情報が未知である場合であっても、撮像時のシャッタ速度を推定することで、推定されたシャッタ速度を評価した値をもとに適切な動きぼけ補正処理を行うことができる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。説明は次の順序で行う。
［１．基本構成例Ｉ］
［２．基本構成例II］
［３．基本構成例III］
［４．基本構成例IIに基づく具体的構成：画像再生装置１００］
［４−１：画像再生装置１００の全体構成］
［４−２：動きベクトル生成処理部１４０］
［４−３：シャッタ速度推定処理部１５０］
［４−４：動きぼけ補正パラメータ算出部１７０及び動きぼけ補正処理部１６０］
［５．基本構成例IIIに対応する動きぼけ補正処理部１６０Ａ］
［６．プログラム］
【００３０】
［１．基本構成例Ｉ］
まず本発明の実施の形態としての基本的な構成概念を示す例として、基本構成例Ｉ、II、IIIを説明する。但し、本発明の基本的な構成概念が、この３つの基本構成例に限られるものではない。
【００３１】
実施の形態の画像処理装置は、画像処理を用いて、ジャーキネス劣化とブラー劣化の双方を低減した画像を生成することを目的としている。
単純なシャッタ制御で撮像した動画像を、表示装置を用いて表示した際には、人間の視覚特性上において不自然に感じる、ジャーキネス劣化またはブラー劣化のいずれか一方が目立ってしまう。
そこで実施の形態では、入力画像が撮像された際のシャッタ速度の情報を用いて、高速シャッタ撮像画像に動きぼけを付加することでジャーキネス劣化の発生を低減し、さらに低速シャッタ撮像画像が入力した場合には逆に動きぼけを削減する処理を実行することで、ブラー劣化を低減する。即ち、入力画像信号の条件、詳しくは撮像時のシャッタ速度と被写体の移動速度の関係に応じて、適応的に２つの処理（動きぼけの付加と削減）を選択することで、ジャーキネス劣化やブラー劣化の双方の発生を抑制した、画質劣化の少ない高画質な画像信号を生成して出力し、高画質化処理を実現する。
【００３２】
図１に基本構成例Ｉとしての画像処理装置１を示す。
図１の画像処理装置１は、画像取込部１１と、動きぼけ補正パラメータ算出部１２と、動きぼけ補正処理部１３を備える。
画像取込部１１は画像データを当該画像処理装置１に取り込む部位としている。
動きぼけ補正パラメータ算出部１２は、画像取込部１１により取り込まれた画像データについての動きぼけを補正するために必要なパラメータを設定する。
動きぼけ補正処理部１３は、画像取込部１１により取り込まれた画像データの動きぼけ量を補正する処理を行う。
【００３３】
動きぼけ補正パラメータ算出部１２は、画像取込部１１により取り込まれた画像データの動き情報、および画像データを撮像した時の各フレームの露光時間を示すシャッタ速度情報を入力とする。そしてこれらに入力情報から、取り込まれた画像データの動きぼけ量を補正するために最適なパラメータを、画像データの各フレーム内の各分割領域について算出し、動きぼけ補正処理部１３に供給する。
例えば図２に示すように１フレーム内について複数の分割領域（画素ブロック）＃１〜＃ｍを設定し、これら分割領域＃１〜＃ｍのそれぞれについての動きぼけ補正パラメータを算出し、動きぼけ補正処理部１３に供給する。
なお動き情報とは、フレーム間での画像の動きを示す情報に限定されるものではなく、例えばフィールド間での画像の動きを示す情報など、動画像を構成する単位画像間における画像の動きを示す情報であればよい。
【００３４】
動きぼけ補正処理部１３は、動きぼけ補正パラメータ算出部１２により算出された動きぼけ補正パラメータを用いて、画像データの動きぼけ量を補正して、当該画像処理装置１の外部へ出力する。
この動きぼけ補正処理部１３は、分岐部３１、動きぼけ削減処理部３２、動きぼけ付加処理部３３、合成部３４を備える。
【００３５】
分岐部３１は、入力された画像データについての各分割領域＃１〜＃ｍの画像データについて、それぞれ当該分割領域の動きぼけ量を減らすべきか増やすべきかに応じて、後段の動きぼけ削減処理部３２、動きぼけ付加処理部３３のいずれかへ出力する。
動きぼけ削減処理部３２は、入力した画像データの当該領域の動きぼけ量を減少する処理を行う。
動きぼけ付加処理部３３は、入力した画像データの当該領域の動きぼけ量を増加する処理を行う。
なお、或る分割領域について動きぼけ量の補正が不要である場合は、分岐部３１は、その分割領域の画像データを合成部３４に出力する。但し、実際には、動きぼけ量の補正が不要な分割領域については動きぼけ削減処理部３２、動きぼけ付加処理部３３で補正を行わない（補正量ゼロ）として処理を行うものとすればよい。
【００３６】
合成部３４は、動きぼけ削減処理部３２又は動きぼけ付加処理部３３で動きぼけ補正された分割領域の画像データ、及び補正不要とされた分割領域の画像データについて、合成処理を行い、フレーム画像として合成する。
【００３７】
このような動きぼけ補正処理部１３において、分岐部３１には、動きぼけ補正パラメータ算出部１２で算出された動きぼけ補正パラメータが入力される。
この動きぼけ補正パラメータは、画像データの各フレーム内の各分割領域について算出されており、画像データにおいて現在の処理対象となっている分割領域に行う動きぼけ補正処理の情報が含まれている。
動きぼけ補正処理部１３の動きぼけ補正処理の内容とは、動きぼけ量が過剰、すなわちブラー劣化が発生しやすい領域に対しては、動きぼけを削減するデ・ブラー（de-blur）処理を実行し、動きぼけ量が不足、すなわちジャーキネス劣化が発生しやすい領域に対しては、動きぼけを付加するアド・ブラー（ad-blur）処理のいずれかを実行することである。
そして分岐部３１は、動きぼけ補正パラメータに基づいて、各分割領域の画像データの分岐処理を行う。つまりデ・ブラー処理を行う分割領域の画像データは動きぼけ削減処理部３２に出力し、アド・ブラー処理を行う分割領域の画像データは動きぼけ付加処理部３３に出力する。
【００３８】
動きぼけ削減処理部３２または動きぼけ付加処理部３３へと出力された画像データは、ジャーキネス劣化とブラー劣化の双方を低減するために最適な動きぼけ補正処理され、合成部３４へと出力される。
動きぼけ補正処理された画像データの各領域は、合成部３４にてフレーム画像として合成されて出力される。
このような構成の動きぼけ補正処理部１３の処理により、ジャーキネス劣化とブラー劣化の双方が低減された動画像信号の出力が実現される。
【００３９】
なお、動きぼけ補正処理部１３については、動きぼけ付加処理部３３を省略し、動きぼけ削減処理部３２による補正処理のみとすることも本発明の画像処理装置として想定される。また動きぼけ削減処理部３２を省略し、動きぼけ付加処理部３３による補正処理のみとすることも考えられる。
但し、これらの場合、ジャーキネス劣化とブラー劣化のどちらか一方は残留する恐れがある。例えば、動きぼけ削減処理のみを実装した場合、シャッタ速度を高速に制御して撮像された画像データが入力したとすると、被写体が移動する領域に発生するジャーキネス劣化を低減することはできない。逆に、動きぼけ付加処理のみを実装した場合、シャッタ速度を低速に制御して撮像された画像データが入力したとすると、被写体が移動する領域に発生するブラー劣化を低減することはできない。
【００４０】
図１の構成例（後述の図３，図４も同様）では、動きぼけの削減処理と付加処理を適応的に組み合わせて用いることにより、画像データの撮像シャッタ速度などの条件によらず、ジャーキネス劣化とブラー劣化の双方を低減することができる。
以上のような構成からなる画像処理装置１では、画像データを表示した際、人間の視覚特性上において不自然に感じられる、ジャーキネス劣化とブラー劣化について、この劣化に影響を及ぼす、画像データの動き情報と撮像時のシャッタ速度情報に基づいて、適応的に画像データに動きぼけを補正することにより、双方の劣化を低減するものである。
【００４１】
［２．基本構成例II］
図３は、実施の形態の基本構成例IIとしての画像処理装置２の構成について示すものである。
上記基本構成例Ｉの画像処理装置１は、画像取込部１１で画像データについてのシャッタ速度情報が得られる場合を想定していた。
上記の通り、動きぼけを補正（付加または削減）する処理の選択において、撮像時のシャッタ速度情報を手掛かりとする。例えば画像処理装置１が撮像機能を有する装置であって、画像取込部１１が撮像を実行して画像データを得るのであれば、当該装置が有しているシャッタ機能から、実際に撮像時に用いたシャッタ速度の値を抽出するのは容易である。また画像データのメタデータ等としてシャッタ速度情報が含まれている場合には、そのメタデータ等からをシャッタ速度の値を取り込める。
ところが、本例の画像処理装置を、画像信号を受信したり、記録媒体から再生したりして表示させる装置の一部などとして想定した場合、一般的に画像データが撮像された時のシャッタ速度は未知となる。
【００４２】
そこで、基本構成例IIは、画像処理を用いて入力画像信号を解析することで、画像信号が撮像された時のシャッタ速度を推定する手段を備えるようにする例である。
図３でその処理構成を示す画像処理装置２は、画像取込部１１で、画像データの各フレームの露光時間を示すシャッタ速度情報が得られない場合を想定したものである。そのため、特に図１の画像処理装置１と異なるのは、シャッタ速度推定処理部１４を具備している点である。
【００４３】
シャッタ速度推定処理部１４は、画像取込部１１により取り込まれた画像データ、および画像データの動き情報を入力とし、入力の画像データを解析する画像処理を実行することで、画像データを撮像した時の各フレームの露光時間を示すシャッタ速度情報を推定する。
推定されたシャッタ速度情報は、動きぼけ補正パラメータ算出部１２へと出力される。
動きぼけ補正パラメータ算出部１２及び動きぼけ補正処理部１３の処理の流れは図１の画像処理装置１と同様である。
【００４４】
このような構成からなる画像処理装置２により、画像データを表示した際、人間の視覚特性上において不自然に感じられるジャーキネス劣化とブラー劣化について、この劣化に影響を及ぼす画像データの動き情報を用いて画像データを解析処理することにより、画像データが撮像された時のシャッタ速度情報を推定し、さらに画像データの動き情報および推定されたシャッタ速度情報に基づいて、適応的に画像データに動きぼけを補正することにより、双方の劣化を低減するものである。
【００４５】
［３．基本構成例III］
図４の基本構成例IIIは、上記図１，図３の動きぼけ補正処理部１３に代わる構成として動きぼけ補正処理部１３Ａを備えたものである。他は図３の基本構成例IIと同様としている。
動きぼけ補正処理部１３Ａは、動きぼけ削減処理部３２、動きぼけ付加処理部３３、選択合成部３５を備える。
この場合、動きぼけ削減処理部３２は、入力された画像データの全ての分割領域について、動きぼけ削減処理を行う。また動きぼけ付加処理部１３３は、入力された画像データの全ての分割領域について、動きぼけ付加処理を行う。
【００４６】
選択合成部３５には、動きぼけ削減処理部３２から、全ての分割領域について動きぼけ削減処理を行った画像データが供給される。また動きぼけ付加処理部３３からは、入力された画像データの全ての分割領域について、動き動きぼけ削減処理を行った画像データが供給される。さらに入力された画像データ（動きぼけ補正されていない画像データ）も供給されている。
選択合成部３５は、動きぼけ補正パラメータに基づいて、画像データの各分割領域について、動きぼけ削減されたデータと、動きぼけ付加されたデータと、未補正のデータのいずれかを選択しする。そして選択した各分割領域のデータを合成して、１フレームの出力画像データを生成し、出力する。
つまり基本構成例Ｉ、IIでは補正処理前に、分岐部３１で実行する補正処理を選択していたことに対し、この図４の基本構成例IIIでは、分割領域の全部について動きぼけ削減及び動きぼけ付加の補正処理を行い、その後、適切な補正状態の画像データを選択して出力画像データを出力する処理方式となる。
【００４７】
なお、図４では動きぼけ補正処理部１３Ａ以外は、図３と同様とした例を示したが、動きぼけ補正処理部１３Ａ以外を図１と同様とする例も考えられる。
【００４８】
以上の基本構成例Ｉ、II、IIIにおいては、動きぼけ補正パラメータ算出部１２が、本発明請求項でいう補正パラメータ算出手段に相当する。また動きぼけ補正処理部が本発明請求項でいう動きぼけ補正処理手段に相当する。またシャッタ速度推定処理部１４が本発明請求項でいうシャッタ速度推定処理手段に相当する。
【００４９】
［４．基本構成例IIに基づく具体的構成：画像再生装置１００］
［４−１：画像再生装置１００の全体構成］
以下では、上述した基本構成例IIの画像処理装置２に係る具体的な実施形態について記載することで、本実施の形態の内容をより詳細に説明する。
なお、基本構成例Ｉの画像処理装置１は、撮像シャッタ速度情報が得られているという点で、画像処理装置２の特別なケースととらえることができるため、以下では特に画像処理装置２に基づいた実施形態例について記載するものである。基本構成例Ｉにかかる具体的な実施形態は、図５以降で説明する構成の内、シャッタ速度推定処理に関する構成が不要となったものと考えればよい。また、基本構成例IIIについては後述する。
【００５０】
図５は、基本構成例IIの画像処理装置２が適用された実施の形態例に係る画像再生装置１００の構成を示している。
この図５に示す画像再生装置１００は、伝送路を介して伝送されてくる画像データを受信しての再生、またはＤＶＤ（Digital Versatile Disc）やブルーレイディスク（Blu-ray Disc（登録商標））などの記録媒体２００に記録された画像データの再生、を行う画像再生装置である。
【００５１】
この画像再生装置１００は、図５に示すように、伝送路を介して伝送されてくる符号化された画像データを受信する受信処理部１１０と、記録媒体２００から符号化された画像データを読み込みする読込処理部１２０を備える。
また符号化された画像データを復号画像データＤＤに復号する復号処理部１３０と、復号画像データＤＤから動きベクトルＶＤを生成する動きベクトル生成処理部１４０を備える。
また、復号画像データＤＤおよび動きベクトルＶＤを用いて画像データを撮像した時のシャッタ速度ＳＳＤを推定するシャッタ速度推定処理部１５０と、動きぼけ補正パラメータ算出部１７０を備える。
また復号画像データＤＤに動きベクトルＶＤとシャッタ速度ＳＳＤに応じて動きぼけ量を補正する動きぼけ補正処理部１６０を備える。
また、動きぼけが付加されることによりジャーキネス劣化が低減された動画像を表示装置に表示させる動画像表示出力部１９０と、復号画像を静止画像として表示装置に表示させる静止画像表示出力部１８０とを備えている。
【００５２】
なお、一点鎖線で囲った受信処理部１１０，読込処理部１２０、復号処理部１３０、動きベクトル生成処理部１４０が、図３の基本構成例IIにおける画像取込部１１に相当する部位となる。また、シャッタ速度推定処理部１５０が図３のシャッタ速度推定処理１４に相当し、動きぼけ補正パラメータ算出部１７０が図３の動きぼけ補正パラメータ算出部１２に相当し、動きぼけ補正処理部１６０が図３の動きぼけ補正処理部１３に相当する。
【００５３】
図５において、受信処理部１１０及び読込処理部１２０は、それぞれＭＰＥＧ（Moving Picture Experts Group）規格などの画像の動き情報に基づいて予測符号化された画像データを取り込み、この画像データを復号処理部１３０に供給する処理部である。
ここでは、受信処理部１１０及び読込処理部１２０によって動画像として取り込まれる画像データは、単位時間を１秒とし、この単位時間に対して６０フレームの画像数から構成されているものとする。すなわち、本例では、画像データがフレームレートを６０［ｆｐｓ：frame per second］のプログレッシブ形式の単位画像から構成されているものとして以下説明する。なお、画像データはプログレッシブ形式に限定されるものではなく、フィールド画像単位で処理するインタレース方式で構成されているようにしても良い。また、フレームレートについても本実施形態で用いる６０［ｆｐｓ］のみに限定するものではない。
【００５４】
なお、画像再生装置１００は、外部から画像データを取り込む手段として、受信処理部１１０及び読込処理部１２０のうち少なくとも何れか一方を備えていればよい。
また、画像再生装置１００は、外部から画像データを取り込むのに加えて、画像データのメタデータとして含まれているなどするシャッタ速度情報を取り込める構成にしてもよい。この場合は、前述の基本構成例Ｉの画像処理装置１に準じた構成となり、撮像時のシャッタ速度ＳＳＤを推定するシャッタ速度推定処理部１５０は不要になる。
【００５５】
復号処理部１３０は、受信処理部１１０、又は読込処理部１２０から取り込んだ画像データを復号する。そして復号処理部１３０は、ここで復号されたデータである復号画像データＤＤを動きベクトル生成処理部１４０、シャッタ速度推定処理部１５０、および動きぼけ補正処理部１６０に供給する。
また復号処理部１３０は、この復号画像データＤＤを静止画像として処理するとき、静止画像表示出力部１８０にのみ復号画像データＤＤ供給して、復号画像データＤＤを動画像として処理しなくてもよい。
【００５６】
動きベクトル生成処理部１４０は、復号処理部１３０から供給される復号画像データＤＤから、この復号画像データＤＤの動き情報として、動きベクトルＶＤを生成する。
ここで言う動きベクトルとは、フレーム間における動画像の移動位置と移動方向とを示す情報である。
また、精度よく動体の動き情報を取得するために画素単位で動きベクトルを生成するようにすることも可能であるが、本実施形態に係る動きベクトル生成処理部１４０では、演算処理の負担を軽減するため、フレーム画像を複数の領域に分割した画素ブロック単位で動きベクトルを生成する。
【００５７】
なお、ＭＰＥＧ規格などにより符号化された画像データもの場合には、符号化情報として動きベクトルが含まれている。本実施形態ではこのような符号化情報としてのベクトルを流用して用いることも可能であり、これを採用することは処理の軽減化において有意である。
但し、この符号化用の動きベクトルは、あくまで動画像を符号化するための情報であり、符号化処理が動きベクトル以外に残差情報などと組み合わせて用いて行われるので、画像全体に亘って実際の動体の動きに応じた値を忠実に示しているとは必ずしもいえない。
このため本実施形態においては、より実際の動体の動きに忠実な動きぼけを付加するため、動きベクトル生成処理部１４０は、後述する処理工程によって復号画像における実際の動体の動きに応じた動きベクトルを精度良く検出するようにしている。
【００５８】
シャッタ速度推定処理部１５０は、復号処理部１３０から供給される復号画像データＤＤから、画像データを撮像した時のシャッタ速度ＳＳＤの推定を行なう。また、このシャッタ速度推定処理は、動きベクトル生成処理部１４０から供給される動きベクトルＶＤを用いて、具体的には後述する処理工程により実現される。
ここで、シャッタ速度情報とは、上述したように画像データを撮像した時の、撮像画像に付加される動きぼけに影響を及ぼす情報であり、具体的には、シャッタ機能を有する撮像装置により画像データが撮像された時の各単位画像の露光時間を示す。
なおシャッタ機能としては、撮像装置において、撮像素子の駆動時間を制御する電子シャッタ、開閉機構を用いて露光時間中だけ開放して撮像素子側へレンズからの光を通すメカニカルシャッタ、及び液晶素子の透過率を制御して露光時間中だけ撮像素子側へレンズからの光を通す液晶シャッタなどによって実現される。
【００５９】
動きぼけ補正パラメータ算出部１７０は、具体的には後述する処理により、シャッタ速度推定処理部１５０から供給されるシャッタ速度情報ＳＳＤ、および動きベクトル生成処理部１４０から供給される動きベクトルＶＤに基づいて、動きぼけ補正パラメータを算出し、動きぼけ補正処理部１６０に出力する。
【００６０】
動きぼけ補正処理部１６０は、具体的には後述する処理により、復号処理部１３０から供給される復号画像データＤＤに対して、動きぼけ補正パラメータ算出部１７０から供給される動きぼけ補正パラメータに基づいて、動きぼけの補正処理を行う。
動きぼけの補正処理とは、画像データＤＤの各分割領域を、動きベクトルＶＤに含まれる各分割領域に対応した移動速度の値に応じて、ジャーキネスとブラーの発生を低減させる最適なシャッタ速度での撮像に対応する、擬似的な画像へ変換する処理であると言い換えられる。
その際、変換処理前の入力画像信号の撮像シャッタ速度ＳＳＤを参照し、各分割領域における最適シャッタ速度が、撮像シャッタ速度ＳＳＤよりも低速である場合、動きぼけを付加する処理を行い、逆に撮像シャッタ速度ＳＳＤよりも高速である場合、動きぼけを除去する処理を行うこととなる。
そして動きぼけ補正処理部１６０は、各分割領域を変換処理した画像を１フレーム画像に合成し、出力画像信号ＯＤを生成し、動画像表示出力部１７０へと出力する。
【００６１】
動画像表示出力部１９０は、動きぼけ補正処理部１６０によって動きぼけが補正されることによりジャーキネス劣化とブラー劣化の双方が低減された動画像を、ＬＣＤ（Liquid Crystal Display）などの表示装置に動画像として出力する。
静止画像表示出力部１８０は、復号処理部１３０から供給された復号画像データＤＤを静止画像として、ＬＣＤなどの表示装置に出力する。
【００６２】
［４−２：動きベクトル生成処理部１４０］
次に図５に示した個々の処理部位についての詳細を記載する。まず最初に、動きベクトル生成処理部１４０の構成と動作について記述する。
動きベクトル生成処理部１４０は、上述したように画素ブロック単位で動きベクトルを精度良く生成する部位であって、具体的には図６に示すように、動きベクトル検出部１４１、画素ブロック特定処理部１４２、動きベクトル推定処理部１４３、動きベクトル平滑化処理部１４４、及び遅延部１４１ａ，１４２ａを有する。
【００６３】
動きベクトル検出部１４１は、処理対象フレームと直前フレームとから動きベクトルを検出する。
画素ブロック特定処理部１４２は、処理対象フレームの動きベクトルと直前フレームの動きベクトルとを画素ブロック毎に比較して、相関の高い画素ブロックを特定する。
動きベクトル推定処理部１４３は、画素ブロック特定処理部１４２により特定された画素ブロックの動きベクトルから、それ以外の画素ブロックの動きベクトルを推定する。
動きベクトル平滑化処理部１４４は、動きベクトルに対して平滑化処理を施す。
【００６４】
復号処理部１３０から供給された復号画像データＤＤは、動きベクトル検出部１４１と、復号画像データＤＤを１フレーム分遅延させる遅延部１４１ａに供給される。
動きベクトル検出部１４１は、復号処理部１３０から供給された復号画像データＤＤを処理対象フレームとする。そして当該処理対象フレームと、遅延部１４１ａにより１フレーム分遅延された直前フレームとから、処理対象フレームの動きベクトルを、画素ブロック単位で検出する。
なお、動きベクトル検出部１４１に係る処理をソフトウェアによって実装する場合には、一般的なブロックマッチング法を用いて画素ブロック単位で動きベクトルを検出すればよい。
【００６５】
動きベクトル検出部１４１で検出された動きベクトルは、画素ブロック特定処理部１４２と遅延部１４２ａに供給される。遅延部１４２ａは入力された動きベクトルを１フレーム分遅延させる。
画素ブロック特定処理部１４２は、動きベクトル検出部１４１から供給される処理対象フレームの動きベクトルと、遅延部１４２ａにより遅延された直前フレームの動きベクトルとを、次に示すように画素ブロック単位で比較して、この比較結果から相関の高い画素ブロックを特定する。
【００６６】
具体的に、画素ブロック特定処理部１４２は、処理対象フレームの一の画素ブロックの動きベクトルを（ｘ，ｙ）とし、これに対応する直前フレームの画素ブロックの動きベクトルを（ｘ’，ｙ’）とし、任意に決定される相関判定係数をαとして、次の（数１）により、この画素ブロックのベクトル相関係数σを算出する。
【００６７】
【数１】
なお、相関判定係数αは、その定義域を０＜α＜１とし、αの値が大きいほど、ベクトル相関係数σの値が１として算出される係数である。
【００６８】
そして画素ブロック特定処理部１４２は、上述した（数１）から各画素ブロックのベクトル相関係数σを算出して、ベクトル相関係数σが１である画素ブロックを相関の高い動きベクトルを有するものとして特定する。
【００６９】
動きベクトル推定処理部１４３は、画素ブロック特定処理部１４２でベクトル相関係数σの値が１として特定された画素ブロックの動きベクトルから、このベクトル相関係数σの値が０である画素ブロックの動きベクトルを推定する。
即ち動きベクトル推定処理部１４３は、前段の画素ブロック特定処理部１４２で、ベクトル相関係数σの値が１とされた画素ブロックが有効な動きベクトルを有しているものとして、それ以外の画素ブロック、つまりベクトル相関係数σの値が０とされ有効ではない動きベクトルを有している画素ブロックの動きベクトルを更新する。
【００７０】
具体的な動きベクトル推定処理部１４３の処理工程について、図７を参照して詳細に説明する。
ステップＳ１において、動きベクトル推定処理部１４３は、処理対象フレームにおける現在の処理対象の画素ブロック（以下、注目画素ブロックという。）のベクトル相関係数σが１か０であるかを判断する。すなわち、動きベクトル推定処理部１４３は、この画素ブロックの動きベクトルが有効であるか否かを判断する。そして、動きベクトル推定処理部１４３は、この画素ブロックの動きベクトルが有効であるとき動きベクトルの値を更新せずに本処理工程を終了し、この画素ブロックの動きベクトルが有効でないときステップＳ２に進む。
【００７１】
ステップＳ２において、動きベクトル推定処理部１４３は、注目画素ブロックに対して、その注目画素ブロックの周辺に有効なベクトルを有する周辺画素ブロックが存在するか否かを判断する。具体的には、動きベクトル推定処理部１４３は、周辺画素ブロックとして、この注目画素ブロックに隣接する合計８つの画素ブロックに対して有効な動きベクトルが存在するか否かを判断し、有効な動きベクトルが存在するとき、ステップＳ３に進み、有効な動きベクトルが存在しないとき、この注目画素ブロックの動きベクトルを更新せずに本処理工程を終了する。
【００７２】
ここで、有効な動きベクトルが存在しない注目画素ブロックに対して、より広範囲に位置する周辺画素ブロックを用いて推定処理を行わない理由は、次の通りである。
第１の理由としては、より広範囲に位置する画素ブロックを用いて推定処理を行うことは可能であるが、仮に実現したとしても、固定時間処理で本処理工程を終了するためには、周辺画素ブロックとして扱われる画像データを一時的に記憶するための記憶領域が増大してしまうからである。
第２の理由としては、本処理工程の後段で、上述した隣接する合計８つの画素ブロックよりも広範囲の周辺画素ブロックを用いて注目画素ブロックの動きベクトルに対して平滑化処理を施すことにより、有効ではない動きベクトルを適切に補正することができるからである。
【００７３】
ステップＳ３において、動きベクトル推定処理部１４３は、有効な動きベクトルを有する周辺画素ブロックの動きベクトルのみから、この注目画素ブロックの動きベクトルを推定して更新して、本処理を終了する。動きベクトル推定処理部１４３では、推定処理の一例として、有効な動きベクトルを有する周辺画素ブロックの動きベクトルのみを入力としたメディアンフィルタにより注目画素ブロックの動きベクトルを出力して平滑化する。
【００７４】
動きベクトル推定処理部１４３は、以上のようにして、処理対象フレームの動きベクトルを画素ブロック単位で推定する。そして、動きベクトル推定処理部１４３は、画素ブロック特定処理部１４２で特定された動きベクトルを含めた動きベクトルを、動きベクトル平滑化処理部１４４に供給する。
【００７５】
動きベクトル平滑化処理部１４４は、処理対象画像を構成する各画素ブロックの動きベクトルに対して平滑化処理を施す。具体的に、動きベクトル平滑化処理部１４４は、平滑化処理前の注目画素ブロックの動きベクトルと上述した隣接画素ブロックよりも広範囲の周辺画素ブロックの動きベクトルとを入力Ｉ（ｘ＋ｉ，ｙ＋ｊ）として、下記に示す（数２）に示すようなガウス型関数により、平滑化処理後の注目画素ブロックの動きベクトルＪ（ｘ，ｙ）を出力する。
【００７６】
【数２】
ここで、ｒは注目画素ブロックと各周辺画素ブロックとの２次元空間上の距離を示し、σ2はこの距離ｒについての分散を示し、ｔ2は動きベクトルについての分散を示している。すなわち、σ2及びｔ2は、平滑化の度合いを表す値として任意に設定されるパラメータとなっている。
【００７７】
動きベクトル平滑化処理部１４４は、処理対象フレームを構成する各画素ブロックに対して上述した平滑化処理を施して、動きベクトルＶＤを動きぼけ補正パラメータ算出部１７０に供給する。
【００７８】
このように、動きベクトル平滑化処理部１４４は、処理対象フレームを構成する各画素ブロックから、有効な動きベクトルを有する画素ブロックを特定し、この有効な動きベクトルからそれ以外の動きベクトルを推定する。このため精度良く実際の動体の動きに応じた動きベクトルを生成することができる。
なお、動きベクトル生成処理部１４０では、動きベクトル検出部１４１により検出した動きベクトルを、画素ブロック特定処理部１４２及び動きベクトル推定処理部１４３を介さずに、直接動きベクトル平滑化処理部１４４に供給して平滑化処理を施してもよい。このような処理を行った場合にも、上述した符号化情報として動きベクトルに比べて、実際の動体の動きに応じた精度の良い動きベクトルを生成することができる。
【００７９】
［４−３：シャッタ速度推定処理部１５０］
次に、シャッタ速度推定処理部１５０の具体的な構成例について、図８を参照して詳細に説明する。
図８は、シャッタ速度推定処理部１５０の構成の一例を示すブロック図である。シャッタ速度推定処理部１５０は、処理対象領域選択部１５１、動きぼけ特性解析部１５２、撮像シャッタ速度演算部１５３、撮像シャッタ速度高精度化処理部１５４を備える。
このシャッタ速度推定処理部１５０は、入力された復号画像データＤＤおよび動きベクトルＶＤが入力される。そしてシャッタ速度推定処理部１５０は、これらの入力された情報について画像解析を行うことで画像データが撮像された際のシャッタ速度ＳＳＤを推定し、出力する。
【００８０】
シャッタ速度推定処理部１５０に入力された復号画像データＤＤおよび動きベクトルＶＤは、まず処理対象領域選択部１５１へと入力される。
処理対象領域選択部１５１は、シャッタ速度の算出を目的とした画像解析を実行する処理対象フレーム、および選択されたフレーム内の処理の対象領域を選択する。そして選択された対象領域ＤＤＴとしての画像データ、および当該対象領域ＤＤＴに対応する動きベクトルＶＤＴを、後段へと出力する。
なお後述するが、対象領域ＤＤＴとは１フレーム内でシャッタ速度推定処理の対象として抽出された領域の画像データのことである。
また処理対象領域選択部１５１は、動画として入力される復号画像データＤＤについてのシーンチェンジを検出し、シーンチェンジ検出信号ＳＣＤを撮像シャッタ速度高精度化処理部１５４に出力する。
【００８１】
処理対象領域ＤＤＴは、動きぼけ特性解析部１５２へと入力される。処理対象領域ＤＤＴとしての画像データ（１フレーム内における処理対象領域とされた画素範囲の画像データ）は、動きぼけ特性解析部１５２において画像解析処理される。そして動きぼけ特性解析部１５２は、当該処理対象領域中に発生している動きぼけの長さ、“動きぼけ長”Ｌを算出する。動きぼけ長Ｌの定義については後述する。算出された動きぼけ長Ｌは、撮像シャッタ速度演算部１５３へと出力される。
【００８２】
撮像シャッタ速度演算部１５３では、処理対象領域ＤＤＴにおいて発生した動きぼけ長Ｌの値、および当該処理対象領域に対応する動きベクトルＶＤＴの値を用いて、撮像時のシャッタ速度を推定した値である推定撮像シャッタ速度ＳＳＤＴを算出する。そして算出した推定撮像シャッタ速度ＳＳＤＴを撮像シャッタ速度高精度化処理部１５４へと出力する。
撮像シャッタ速度高精度化処理部１５４には、複数の処理対象領域から推定された、各々の推定撮像シャッタ速度ＳＳＤＴが入力される。撮像シャッタ速度高精度化処理部１５４では、これらの値を用いて高信頼度な推定撮像シャッタ速度ＳＳＤを算出し、後段へと出力する。
【００８３】
ここで、図８のシャッタ速度推定処理部１５０の各処理ブロックで行われる処理について説明する前に、シャッタ速度推定処理部１５０で行われる処理の前提となる、動きぼけの特性について説明する。
シャッタ速度推定処理部１５０における処理は、撮像時のシャッタ速度が未知の画像からシャッタ速度を推定する処理であるが、まず基本的な動きぼけの特性を説明するため、動きぼけの発生と移動速度および撮像シャッタ速度との関係について述べる。その後に、発生する動きぼけの特性を考慮したシャッタ速度の推定方法について詳細を述べていく。
【００８４】
動きぼけの発生と移動速度および撮像シャッタ速度との関係について、図９、図１０を用いて簡単に説明する。
図９は、撮像によって発生する動きぼけの特性を説明する図である。
図９の上段は、実空間中のある領域に注目し、その空間的な位置と明るさの関係を示している。この図の例では、水平方向で空間的な位置を、垂直方向で明るさをそれぞれ表現している。またこの例では、前景が右に向かって一定の速度で移動しており、明るい前景が暗い背景へと覆い被さっていく状況を想定している。
一方、図９の下段は、上段の図で示した実空間中の注目領域を、図中の撮像装置を用いて撮像することで得られた画像信号について、その水平方向の１ラインの座標と輝度の関係をシミュレートしている。この図では、水平方向で画像信号中の座標を、垂直方向で輝度をそれぞれ表しており、点線は画素の単位を表現している。また、この撮像装置はシャッタ機能を有していることを想定しており、画像を取得する際の露光時間である、シャッタ速度を制御できるものとする。
【００８５】
図９下段の（ｉ）は、このシャッタ機能を用いて理想的な高速シャッタで（露光期間を無限小として）撮像した場合の画像信号であり、図９下段の（ii）は、低速シャッタで（ある一定の露光期間で）撮像した画像信号である。（ｉ）と（ii）を比較すると、（ｉ）がステップ関数状の信号であるのに対し、（ii）では露光期間が長い分だけ光が積分されて撮像した結果、（ｉ）の信号に動きぼけが発生している状態が見てとれる。
この図から、画像信号中において、移動する被写体の境界付近における動きぼけは、ローパスフィルタの特性を有することがわかる。
以降においては、（ii）中に見られるように、図示した前景の輝度Ｂｆと背景の輝度Ｂｂが安定して記録されている領域に挟まれた、輝度値の勾配が見られる領域、を動きぼけ領域であるものと定義し、この間の距離を動きぼけ長Ｌと表現して用いる。
【００８６】
図１０の左側に示す（Ａ）（Ｂ）（Ｃ）は、被写体の移動速度と動きぼけ長Ｌとの関係について説明する図である。
この図１０（Ａ）（Ｂ）（Ｃ）は、図９の上段において前景の移動速度をそれぞれに変更した場合について、発生する動きぼけの特性を示している。撮像時のシャッタ速度は、図１０（Ａ）（Ｂ）（Ｃ）の全ての図に例おいて一定の値であるものとする。
【００８７】
前景の移動速度を図１０（Ａ）（Ｂ）（Ｃ）のそれぞれの場合についてＡ、Ｂ、Ｃと表現するとき、移動速度の大きさには、Ａ：Ｂ：Ｃ＝３：２：１という関係があるものとする。このとき、図１０（Ａ）（Ｂ）（Ｃ）中に図示した、(Ａ)Ｌ＝９画素、(Ｂ)Ｌ＝６画素、(Ｃ)Ｌ＝３画素のように、動きぼけ長Ｌも３：２：１の関係となる。この理由は、撮像される画像信号が同じ露光期間分だけ光が積分されて記録されるため、この露光期間に被写体が移動した範囲が動きぼけ領域となるためである。
このように、移動速度を有する画素の周辺において発生する動きぼけ長Ｌは、被写体の移動速度の大きさに比例する、といえる。
【００８８】
一方、図１０の右側に示す（ａ）（ｂ）（ｃ）は、撮像シャッタ速度と動きぼけ長との関係について説明する図である。
この図１０（ａ）（ｂ）（ｃ）は、図９の上段において撮像装置のシャッタ速度をそれぞれに変更した場合について、発生する動きぼけの特性を示している。前景の移動速度は、上図１０（ａ）（ｂ）（ｃ）の例おいて一定の値であるものとする。
【００８９】
撮像シャッタ速度を図１０（ａ）（ｂ）（ｃ）のそれぞれの場合についてａ、ｂ、ｃと表現するとき、撮像シャッタ速度は、ａ：ｂ：ｃ＝４：２：１という関係があるものとする。
このとき、図１０（ａ）（ｂ）（ｃ）に示した(ａ)Ｌ＝８画素、(ｂ)Ｌ＝４画素、(ｃ)Ｌ＝２画素のように、ぼけ長Ｌも４：２：１の関係となる。この理由は、撮像の露光期間に光が積分されて記録されるため、撮像される被写体の移動速度が一定であれば、露光期間が長いほど動きぼけ領域が長くなるためである。
このように、移動速度を有する画素の周辺において発生する動きぼけの長Ｌは、撮像時のシャッタ速度の大きさに比例する、といえる。
【００９０】
以上のように、動きぼけ長は被写体の移動速度、および、撮像シャッタ速度に比例する。
ここで動きぼけ長をＬ［画素］、被写体の画像信号中における移動速度をＶ［画素／フレーム］、撮像シャッタ速度Ｓ［秒］、動画像のフレームレートをＦ（フレーム／秒）表現すると、
【数３】
の関係が成り立つ。フレームレートＦを乗じる理由は、移動速度Ｖを１フレーム期間における移動量としたためである。
【００９１】
例えば、図１０（ａ）（ｂ）（ｃ）において、移動速度を８［画素／フレーム］として、撮像シャッタ速度を（ａ）Ｓ＝Ｔ、（ｂ）Ｓ＝Ｔ／２、（ｃ）Ｓ＝Ｔ／４、フレームレートをＦ＝１／Ｔとすると（Ｔはフレーム周期［秒］に相当）、
（ａ）Ｌ＝８×Ｔ×（１／Ｔ）＝８ [画素]
（ｂ）Ｌ＝８×（Ｔ／２）×（１／Ｔ）＝４ [画素]
（ｃ）Ｌ＝８×（Ｔ／４）×（１／Ｔ）＝２ [画素]
となり、図１０（ａ）（ｂ）（ｃ）にて発生する動きぼけ長Ｌと等しいことが確認できる。
【００９２】
ここまで、動きぼけの発生と、移動速度および撮像シャッタ速度との関係について、簡単な例を用いて説明したが、シャッタ速度推定処理部１５０の目的は、撮像シャッタ速度が未知の画像からこれを推定することであるため、上述の（数３）を、以下のように変形しておく。
【数４】
【００９３】
この（数４）より、画像中の注目する領域が有する移動速度Ｖ、およびフレームレートＦ、が既知であるとすると、未知である撮像時のシャッタ速度Ｓを算出は、発生する動きぼけ長Ｌが得られれば可能であることがわかる。
【００９４】
さて以下では、シャッタ速度推定処理部１５０の構成の一例を示す図８について、各処理ブロックにおける処理内容を明らかにし、シャッタ速度推定の処理手法を説明する。
なお、撮像シャッタ速度が未知の画像からこれを推定する方法は、以下で紹介する手法に限られたものではない。ここでは例として、上で定義した動きぼけ長Ｌを特定することで、撮像時のシャッタ速度を算出する方法を挙げる。
【００９５】
シャッタ速度推定処理部１５０の入力である復号画像データＤＤおよび動きベクトルＶＤは、まず処理対象領域選択部１５１へと入力される。ここでは、シャッタ速度推定のための画像解析を実行する対象となる領域（以下「対象領域」という）の抽出を行い、処理対象領域ＤＤＴおよび当該対象領域ＤＤＴに対応する動きベクトルＶＤＴを後段へと出力する。
この抽出処理は、動きぼけが発生する領域が入力された動画像信号における、当該フレームの全領域について行わなくてもよい、という前提において行う。フレーム中から何らかの方法で解析処理の対象となる対象領域を選択する必要があるわけである。
【００９６】
ここで限定された対象領域にのみ撮像シャッタ速度の推定を行うことが問題にならない理由は、一般的に撮像時のシャッタ速度が１つのフレーム画像内において均一であることが通常であるためである。さらに、処理コストの観点からも、処理を行う対象領域が少ないことが利点となる。
上記の理由から、原理的には当該フレーム中の１ヶ所の対象領域において、シャッタ速度推定処理を行えば、その他の領域でのシャッタ速度推定は必要ないわけであるが、それでも処理コストが許容する範囲で、フレーム内で複数の対象領域を抽出してシャッタ速度推定処理を実行することは、シャッタ速度推定の精度向上のためには大変有効である。
そのため本例では、１フレーム内から複数の対象領域において下記の処理を実行し、複数得られた結果から、撮像シャッタ速度ＳＳＤを推定するものとする。複数の異なるシャッタ速度の値が推定された場合に信頼性を向上する処理は、後段の撮像シャッタ速度高精度化処理部１５４において実行する。その処理内容については後述する。
【００９７】
復号画像データＤＤの或る１フレーム中から、解析処理の対象となる対象領域を選択する方法について唯一に限定するものではないが、その詳細を後述する動きぼけ特性の解析処理が効果的に実行できるためには、図９、図１０に示した被写体の境界エッジ周辺の領域であることが望ましい。
また、或る領域の移動速度が０である場合には、その領域では動きぼけが発生しないため、対象領域の選択の際に移動速度情報を用いて、一定の移動速度を有する領域を対象領域として選択することが望まれる。
また、エッジの方向と移動速度の方向の関係は、できるだけ直交に近い関係であると、発生する動きぼけの解析が行いやすい。
以上をまとめると、一定の移動速度を有し、なるべく移動速度の方向と直交に近い方向のエッジ周辺の領域を解析の対象領域として選択すればよい、ということとなる。
【００９８】
さらに、解析を画像処理にて実現するために処理コストの観点から考えると、スキャンライン方向に画素をピックアップする方がよい。そのため、水平方向の移動速度を有する垂直方向エッジ周辺の領域が、対象領域の抽出について最も便宜がよい。このような領域を選択する場合、詳細を後述する動きぼけ特性解析処理では、複数ラインにまたがる処理は必要なく、全て１ラインの処理で実現できる。
以上をまとめると、水平方向に移動速度を持つ垂直方向のエッジ周辺の領域に注目すれば、移動速度の大きさに対し十分な画素数の水平方向の画素のみを用いて、後述する動きぼけ特性解析処理は実現できる。
【００９９】
図１１は対象領域の選択についてその例を示したものである。
図１１（ａ）は復号画像データＤＤの或る１フレームを示している。ここまでに説明した通り、復号画像データＤＤに対してエッジ抽出処理、例えばsobelフィルタなどを用いてエッジ領域を抽出し、図１１（ｂ）に示したエッジデータＥＤのようなデータを得る。さらに、上記の説明の通り、水平の移動速度を有した垂直方向エッジ周辺の水平１ラインを選択する。例えば図中ＡＲ１〜ＡＲ５と示したような領域を対象領域とする。なお対象領域ＡＲ１〜ＡＲ５は、それぞれ水平１ライン内の一部とされればよい。
そして図１１（ｃ）のように各対象領域についての輝度情報を得る。この図１１（ｃ）は、横軸に対象領域の各画素の座標、縦軸に輝度情報を示している。
【０１００】
なお、ここまでの説明は、当該１フレーム内についてのものであったが、当該フレームの全領域に対して処理を行わなくても問題ないことと同様、対象領域の選択は全てのフレームにおいて実行しなくてもよい。その理由は、複数フレームで構成される動画像が、少なくともシーンチェンジが発生するフレームまでの間は、撮像時のシャッタ速度が一定であることが一般的であるためである。したがって、あるフレームを解析することで推定された撮像シャッタ速度は、次のシーンチェンジが検出されるまで、その値を保持すればよいこととなる。
【０１０１】
このようにシャッタ速度推定処理は、シーンチェンジが検出されてから次のシーンチェンジが検出されるまでの間に、少なくともある一つのフレームで実行すればよい。しかしながら、上述したように１つのフレーム内において複数の対象領域を抽出して、それぞれの対象領域でシャッタ速度推定処理を実行するのと同様に、処理コストが許容する範囲で複数のフレームでシャッタ速度推定処理を実行することは、シャッタ速度推定の精度向上のために大変有効である。複数の異なるシャッタ速度の値が推定された場合に信頼性を向上する処理は、後述する撮像シャッタ速度高精度化処理部１５４において実行する。
【０１０２】
ここで処理対象領域選択部１５１による対象領域選択処理の具体例を、図１２を参照して説明する。
なお図１２は、図８の構成において、処理対象領域選択部１５１と撮像シャッタ速度高精度化処理部１５４について、動作説明のために内部機能構成例を示したものである。
【０１０３】
図１２の例では、処理対象領域選択部１５１は、垂直方向エッジ検出部１５１１、水平方向移動速度しきい値処理部１５１２、対象領域判別部１５１３、およびシーンチェンジ検出部１５１４によって構成されている。
上述の通りこの例においては、１つのフレーム内から、一定以上の水平方向の速度を有した垂直方向エッジ周辺の領域を対象領域として抽出し、抽出した対象領域のみにおいてシャッタ速度推定処理を行うようにする。
【０１０４】
垂直方向エッジ検出部１５１１では、入力された復号画像データＤＤの当該フレーム中の各領域に対し、エッジ検出処理を行う。このとき、Sobelフィルタなどの方向選択型マスク処理を用いて、垂直方向のエッジのみを抽出すればよい。
垂直エッジ領域として判別された領域は、入力した当該領域の画像信号をそのまま対象領域判別部１５１３へと出力する。垂直エッジ領域として判別されなかった領域については、領域内の全ての画素信号を「０」にして、対象領域判別部１５１３へ出力するものとする。
水平方向移動速度しきい値処理部１５１２には、動きベクトルＶＤが入力される。ここで、一定以上の水平方向の速度を有した領域を選別するため、各領域の持つ動きベクトルの水平成分、ここでは水平成分ＶＤｘと表現するが、この値をしきい値処理する。
あらかじめ用意しておいたしきい値をＴＨとすると、水平成分ＶＤｘがしきい値ＴＨより大きい（ＶＤｘ＞ＴＨ）場合、入力した当該領域の動きベクトル信号をそのまま対象領域判別部１５１３へと出力する。水平成分ＶＤｘがしきい値ＴＨより大きくない（ＶＤｘ≦ＴＨ）場合、当該領域の有する動きベクトル値をすべて「０」にして、対象領域判別部１５１３へ出力するものとする。
【０１０５】
対象領域判別部１５１３では、入力した当該領域の画像データ、および動きベクトルが双方ともに０でない場合のみ、当該領域がシャッタ速度推定処理の対象領域であるものと判断する。その場合にのみ、当該領域を対象領域ＤＤＴとする。上述したように「対象領域ＤＤＴ」とは、対象領域と判定した領域の画像データのことである。
そして対象領域判別部１５１３は、対象領域ＤＤＴを動きぼけ特性解析部１５２へと出力し、また当該領域の動きベクトルＶＤＴを撮像シャッタ速度演算部１５３へ出力する。
【０１０６】
また、処理対象領域選択部１５１に入力した復号画像データＤＤの各フレームは、シーンチェンジ検出部１５１４に供給され、シーンチェンジ検出処理が行われる。なおシーンチェンジの手法は、例えば特許文献２として挙げた特開２００４−２８２３１８等に開示された手法を採用すればよい。もちろん他にもシーンチェンジ検出処理手法は多様に考えられる。
そしてシーンチェンジが検出された場合には、シーンチェンジ検出部１５１４は、シーンチェンジ検出信号ＳＣＤを撮像シャッタ速度高精度化処理部１５４へと出力する。
【０１０７】
例えば以上のようにして処理対象領域選択部１５１は、対象領域ＤＤＴを特定し、これを動きぼけ特性解析部１５２へと出力する。また、対象領域ＤＤＴの位置に対応する動きベクトルＶＤＴを取り出し、こちらは撮像シャッタ速度演算部１５３へ出力する。
続いて、動きぼけ特性解析部１５２における処理について説明する。
ここで言う動きぼけ特性の解析とは、上記のように選択された対象領域について、その動きぼけが有する動きぼけ長Ｌ（図９（ii）、図１１（ｃ）参照）を推定する処理である。
【０１０８】
動きぼけ長Ｌを求める方法はいくつかが考えられるが、ここでは大きく分けて２種類を説明する。
１つ目は、動きぼけの数式モデルを定義しておき、実際に画像信号中に発生した動きぼけとの誤差関数を最小にする前記数式モデル中のパラメータを発見することにより推定する方法である。
２つ目は、事前に用意しておいた動きぼけのサンプルパターンと実際に画像信号中に発生した動きぼけとのマッチングにより推定する方法である。
【０１０９】
まず、１つ目の方法の一例を述べる。
動きぼけの影響を受けたエッジ周辺の輝度値を数式モデルで表現し、動きぼけ長を推定する手法としては、非特許文献３に示される手法が利用できる。
この方法は、エッジ周辺の各画素の座標をｐ、エッジ周辺に発生するぼけの中心位置の座標（未知）をｐ０と表し、これを用いて変数tを次の（数５）のように設定する。
なお、図９（ii）に中心位置座標ｐ０を示している。
【数５】
【０１１０】
これを用いて、エッジ周辺の動きぼけの特性を模擬した関数式ｇ（ｔ）を以下のように定義する。
【数６】
【０１１１】
このとき、実際の動きぼけとの比較は、以下の（数７）を用いる。
【数７】
なお（数７）には、図９（ii）で示した前景の輝度Ｂｆと背景の輝度Ｂｂの値を用いている。
【０１１２】
さて、（数７）にエッジ周辺領域の画素座標ｐに代入、実際の動きぼけの値との距離関数を最小とするような、パラメータＬ、ｐ０、Ｂf、Ｂｂを見つければ、目的である動きぼけ長Ｌを推定することができるわけである。
距離関数を最小化するような４つの未知数を探索するためには、準ニュートン法などの数値解放を用いるのがよい。距離関数は、実画像と関数ｆにおいて対応する各画素値について、その差分の２乗値や絶対値の線形和を比較するのが一般的である。
上記の例では（数６）に見られるような、光学ローパスフィルタやフォーカスなどの撮像条件を加味した上で、支配的な動きぼけの特性を模擬した関数式を定義しているが、これは、図９（ii）の画像信号の例のように、シンプルな不連続関数でもよい。
【０１１３】
次に２つ目の方法の一例を説明する。
ここでは、画像信号中において上記のように処理対象として選択されたエッジ周辺の対象領域における空間周波数成分から、動きぼけの長さＬを推定する方法を述べる。
図９を用いて説明した通り、移動速度を有する画素の周辺において発生する動きぼけがローパスフィルタとして表現可能である。これを利用し、周波数解析結果のマッチングによる方法で、発生する動きぼけ長Ｌを推定する。
【０１１４】
図９で示した通り、動きぼけの発生は露光期間によって、その特性が決まる。移動速度が一定のとき、同じ動きぼけ長を有する動きぼけは、同一の周波数特性を持つはずである。
例えば、まず、撮像時の動きぼけが発生した図９（ii）の例のような画像信号について、あらゆる動きぼけ長を持った動きぼけのサンプルパターンを用意し、これらに対し所定の周波数解析を行い、各サンプルパターンが有する周波数成分を記憶しておく。周波数解析の具体的な方法には、フーリエ変換やウェーブレット解析などの一般的な方法のうち１つを用いればよい。
解析対象とされた対象領域が入力されると、サンプルパターンに行った処理と同様の周波数解析を行い、どのサンプルパターンの周波数成分と最も近いか、を誤差関数などによって判別する。最も近いサンプルパターンの動きぼけ長が、解析対象領域中のエッジが有する動きぼけ長Ｌとなる。
【０１１５】
図１３は、周波数解析結果のマッチングによる動きぼけ長Ｌ推定の、具体的な処理方法の例について、その処理の流れを記している。
解析対象と判別されたエッジ周辺の対象領域は、高速フーリエ変換（ＦＦＴ） 部１５２１へと入力される。ここで、当該対象領域に対し、高速フーリエ変換（ＦＦＴ）の処理が行われ、当該対象領域が有する支配的な周波数成分を周波数成分マッチング部１５２２へと出力する。本例においては、高速フーリエ変換の結果として、各周波数におけるパワースペクトラムを算出し、その上位３つの値を持つ周波数を後段へと送ることにしている。
周波数成分マッチング部１５２２では、入力された当該対象領域が有する支配的な周波数成分と、最も類似した周波数パターンを持つ、動きぼけサンプルを動きぼけサンプル周波数テーブル１５２３から探索し、発見した動きぼけサンプルの動きぼけ長Ｌを出力する。
【０１１６】
図１４は、動きぼけサンプル周波数テーブル１５２３の例を示すものである。これは図示するように、各種の動きぼけ長Ｌ（Ｌａ・・・Ｌｍａｘ）のそれぞれについて、上位３つの周波数成分が記憶されたテーブルデータとされる。
周波数成分マッチング部１５２２は、当該対象領域が有する上位３つの周波数成分と最も近い周波数成分を有するサンプルを、図１４のようなルックアップテーブルから探索する。このためには、誤差を評価する関数を用意する必要がある。例えば差の２乗を線形に足し合わせる一般的な距離関数のようなもので評価を行ってもよい。該当したサンプル動きぼけパターンが有する動きぼけ長が求めるべきＬである。
【０１１７】
上記までに、動きぼけのサンプルパターンと実際に画像信号中に発生した動きぼけとのマッチングにより動きぼけ長Ｌを推定する方法として、空間周波数成分に注目して行う方法を説明した。これに対し、実空間において、サンプルパターンと解析対象と判別されたエッジ周辺の領域の比較評価を行う方法も考えられる。言い換えれば、画像信号としてサンプル動きぼけパターンを保存しておき、実際の画像信号との誤差関数が最小になるようなサンプル動きぼけパターンを探索する方法も可能である。
【０１１８】
シャッタ速度推定処理部１５０における動きぼけ特性解析部１５２は、上記いずれかの方法を用いて動きぼけ長Ｌを推定し、出力する。出力された動きぼけ長Ｌは、撮像シャッタ速度演算部１５３へと入力される。
【０１１９】
撮像シャッタ速度演算部１５３で行われるのは、対象領域ＤＤＴ中の動きぼけが有する動きぼけ長Ｌと、対象領域ＤＤＴに対応する動きベクトルＶＤＴを用いて、推定撮像シャッタ速度ＳＳＤＴを求めることである。これは、換言すれば、単に上記（数４）を解くことである。
前記の通り、（数４）中のフレームレートＦは既知であり、移動速度Ｖは対象領域ＤＤＴに対応する動きベクトルＶＤＴの水平方向成分を用いればよく、これも既知である。また、動きぼけ特性解析部１５２によって動きぼけ長Ｌも推定されている。このため（数４）からシャッタ速度Ｓが簡単に求められ、これが撮像シャッタ速度演算部１５３が出力する推定撮像シャッタ速度ＳＳＤＴとなる。
【０１２０】
最後に撮像シャッタ速度高精度化処理部１５４により撮像シャッタ速度ＳＳＤが生成され、出力される。
この撮像シャッタ速度高精度化処理部１５４には、撮像シャッタ速度演算部１５３において推定された推定撮像シャッタ速度ＳＳＤＴが入力されるが、この場合、複数の対象領域から推定された推定撮像シャッタ速度が入力されるようにする。
先に述べたように、シャッタ速度推定処理は、原理的にはシーンチェンジが検出されてから次のシーンチェンジが検出されるまでの間に、ある１フレームの１ヶ所の領域を選択して処理を実行することで可能であるが、フレーム内の複数の対象領域、および、複数のフレームで同処理を実行することが、推定精度の向上のために有効である。このため、複数の推定撮像シャッタ速度ＳＳＤＴを用いて撮像シャッタ速度ＳＳＤを生成するようにする。
このように異なる複数の推定撮像シャッタ速度ＳＳＤＴが推定された場合には、加重平均値や中間値をもとめて、最終的に出力する撮像シャッタ速度ＳＳＤとすることが考えられる。そのような処理により、信頼性を向上することができる。
【０１２１】
以下では図１２により、撮像シャッタ速度高精度化処理部１５４の動作例を述べる。
図１２の例では、撮像シャッタ速度高精度化処理部１５４は、撮像シャッタ速度蓄積部１５４１、撮像シャッタ速度フィルタ処理部１５４２、およびシーンチェンジ検出信号受信部１５４３によって構成されている。
【０１２２】
撮像シャッタ速度演算部１５３により対象領域について算出された推定撮像シャッタ速度ＳＳＤＴは、撮像シャッタ速度高精度化処理部１５４に入力すると、まず撮像シャッタ速度蓄積部１５４１に入り、その値を蓄積するものとする。
撮像シャッタ速度フィルタ処理部１５４２は、撮像シャッタ速度蓄積部１５４１に蓄積された１つ以上の推定撮像シャッタ速度ＳＳＤＴの値を用いて、これに所定のフィルタ処理を行う。先に述べた通り、この処理は、異なる複数の推定撮像シャッタ速度ＳＳＤＴの値が入力された場合における、信頼度向上の効果を期待して行うものである。フィルタの内容は、平均化処理、加重平均化処理、中間値検出処理などを行えばよい。
また、撮像シャッタ速度蓄積部１５４１に蓄積する推定撮像シャッタ速度ＳＳＤＴの値のデータ量を軽減するためには、ＩＩＲフィルタを用いれば、直前の処理結果のみを保持すればよく、効率的である。
【０１２３】
シーンチェンジ検出信号受信部１５４３は、処理対象領域選択部１５１中のシーンチェンジ検出部１５１４から入力されたシーンチェンジ検出信号ＳＣＤを受信する。シーンチェンジ検出信号ＳＣＤを受信した場合、当該処理フレームにおいて、シーンチェンジが起こったものとみなし、その結果、撮像シャッタ速度が変更になるものとみなす。
その場合、シーンチェンジ検出信号受信部１５４３は、リセット信号を撮像シャッタ速度蓄積部１５４１へと出力し、蓄積されているこれまでの撮像シャッタ速度の推定値を削除する。以降、撮像シャッタ速度フィルタ処理部１５４２は、撮像シャッタ速度蓄積部１５４１に新たに入力した、撮像シャッタ速度の推定値を用いて、信頼性の高い撮像シャッタ速度の算出を行っていく。
【０１２４】
このような動作による撮像シャッタ速度フィルタ処理部１５４２の処理結果が、当該フレームの、また、当該シーン（直前にシーンチェンジが検出されてから次にシーンチェンジが検出されるまで）の、撮像シャッタ速度ＳＳＤとして出力される。
【０１２５】
以上が、シャッタ速度推定処理部１５０における一連のシャッタ速度の推定方法の説明である。上記までの手法により推定されたシャッタ速度ＳＳＤは、動きぼけ補正パラメータ算出部１７０へと出力される。
【０１２６】
［４−４：動きぼけ補正パラメータ算出部１７０及び動きぼけ補正処理部１６０］
次に、図５に示した動きぼけ補正パラメータ算出部１７０及び動きぼけ補正処理部１６０で行われる処理について説明する。
動きぼけ補正パラメータ算出部１７０及び動きぼけ補正処理部１６０における処理の目的は、復号画像データＤＤの各分割領域（図２参照）を、シャッタ速度推定処理部１５０から入力した撮像シャッタ速度ＳＳＤを参照しつつ、動きベクトル生成処理部１４０から入力した動きベクトルＶＤの値に応じてフィルタリング処理を実行し、ジャーキネスとブラーの双方の発生が低減された出力画像を動画像表示出力部１９０へと出力するものである。
その際に実行する動きぼけ補正処理とは、分割領域ごとに動きぼけを削減または付加するフィルタリング処理であり、フィルタリング処理選択は具体的には後述する手法により、適応的に行なわれる。
【０１２７】
図１５は、動きぼけ補正パラメータ算出部１７０及び動きぼけ補正処理部１６０の具体的な構成例を示すものである。動きぼけ補正パラメータ算出部１７０は、処理選択制御部１７１と最適シャッタ速度情報記憶部１７２を備える。
動きぼけ補正処理部１６０は、分岐部１６３、動きぼけ削減処理部１６４、動きぼけ付加処理部１６５、合成部１６６を備える。
【０１２８】
上述した動きベクトル生成処理部１４０から出力された動きベクトルＶＤ、及びシャッタ速度推定処理部１５０から出力された撮像シャッタ速度ＳＳＤは、まず処理選択制御部１７１へと入力される。
処理選択制御部１７１では、入力された動きベクトルＶＤ中の当該分割領域に対応するベクトルの値を用いて、最適シャッタ速度情報記憶部１７２に記憶してあるデータである最適シャッタ速度情報を参照し、当該分割領域における最適シャッタ速度ＳＳＤ０を導出する。
そして処理選択制御部１７１はさらに、シャッタ速度推定処理部１５０から供給された撮像シャッタ速度ＳＳＤと、最適シャッタ速度ＳＳＤ０を比較評価する。これにより当該分割領域に対して実行すべきフィルタリング処理が、動きぼけの削減処理なのか、或いは動きぼけの付加処理なのか、或いは動きぼけ補正処理不要かを判断し、それを伝達する処理選択制御情報ＳＣＳを分岐部１６３へと出力する。
【０１２９】
また、処理選択制御部１７１は、選択された動きぼけ補正用のフィルタリング処理ブロック、すなわち、動きぼけ削減処理部１６４および動きぼけ付加処理部１６５へと、フィルタリング処理に必要な、フィルタパラメータＰＤを出力する。動きぼけ補正は、動きぼけの削減または付加のいずれかの処理によって実現されるわけであるが、フィルタパラメータＰＤは、その処理の具合（量／強度）を調整するために用いられる。
【０１３０】
分岐部１６３へは、復号画像データＤＤが既に入力されており、処理選択制御情報ＳＣＳに応じて、分割領域毎に、動きぼけ削減処理部１６４または動きぼけ付加処理部１６５の選択された方へと出力する。
なお分岐部１６３は、動きぼけ補正が不要と判断された分割領域については、動きぼけ削減処理部１６４または動きぼけ付加処理部１６５に供給せずに合成部１６６に出力するようにしてもよい。但しここでは、動きぼけ補正が不要と判断された分割領域については、動きぼけ削減処理部１６４または動きぼけ付加処理部１６５で補正量ゼロとして処理されるものとする。
【０１３１】
動きぼけ削減処理部１６４では、分岐部１６３から供給される分割領域毎の画像データについて、詳しくは後述する手法で、動きぼけ量を減少させるフィルタリング処理を実行し、合成部１６６へと出力する。
動きぼけ削減処理部１６５では、分岐部１６３から供給される分割領域毎の画像データについて、詳しくは後述する手法で、動きぼけ量を増加させるフィルタリング処理を実行し、合成部１６６へと出力する。
合成部１６６へと出力された、各分割領域のフィルタリング処理後の画像信号は、この合成部１６６で各フレーム画像へと再構成され、出力画像信号ＯＤとして、出力される。
【０１３２】
以降、図１５に示した構成例の各処理ブロックにおける処理を順に説明していく。
またその過程で、動きぼけ補正処理部１６０で行われる処理を理解する上でポイントとなる、前記最適なシャッタ速度情報について詳細な説明、前記動きぼけ削減処理と動きぼけ付加処理の選択方法についての説明、および双方のフィルタリング処理の具体的な実現方法について例を挙げた説明を加えていく。
【０１３３】
処理選択制御部１７１で実行される最初の処理は、入力された動きベクトルＶＤ中の当該分割領域に対応するベクトルの値を用いて、事前から最適シャッタ速度情報記憶部１７２に記憶されているデータである最適シャッタ速度情報を参照し、当該分割領域における最適シャッタ速度ＳＳＤ０を導出する、ことであった。
そのため、処理選択制御部１７１の処理内容を述べる前に、最適シャッタ速度そのものについて説明しておく。
【０１３４】
図１６は、動きベクトルとして検出される動体の移動速度を示す被写体速度と、この被写体速度に応じた最適シャッタ速度曲線を表した図である。
ある移動速度に対する最適なシャッタ速度とは、もし仮にそのシャッタ速度で実際の撮像が行なわれた場合、ジャーキネス劣化と動きぼけ劣化の双方が低減される、という値である。即ち最適シャッタ速度とは、被写体の移動速度に応じた、視覚特性上、ジャーキネス劣化が知覚されにくく、且つ、動きぼけが過度に付加されることによって被写体のディテールが欠損したり不鮮明になるぼけ劣化も知覚されにくいシャッタ速度である。
また、動きぼけ量は撮像時の露光期間であるシャッタ速度の値が大きくなるほど増加する関係にある。
そして、この最適シャッタ速度よりも速いシャッタ速度で被写体を撮像すると、撮像画像には、ジャーキネス劣化が生じていると判断できる。一方、この最適シャッタ速度よりも遅いシャッタ速度で被写体を撮像すると、撮像画像には、ぼけ劣化が生じていると判断することができる。
【０１３５】
最適シャッタ速度情報記憶部１７２は、この図１６で表現するような最適なシャッタ速度の情報を事前に有している箇所であり、これを動きぼけ量調整の基準として用いて、後段の動きぼけ量を調整するフィルタリング処理の内容を決定する。言い換えれば、後段の動きぼけ削減処理部１６４および動きぼけ付加処理部１６５で行われるフィルタリング処理は、画像中の各領域を“最適なシャッタ速度で撮像された相当”の動きぼけを含んだ画像に変換する処理、と言える。
【０１３６】
図１６の最適シャッタ速度曲線ＳＳ０は、任意の被写体速度と最適なシャッタ速度との対応関係を示した一例であって、具体的には心理実験に基づいて得られた実験結果値を結んだ曲線である。ここで、図１６に示す動きぼけ領域Ａ１は、最適シャッタ速度曲線ＳＳ０に基づいて、被写体の動きによる動きぼけが過度に含まれると判別される領域である。同様にして、ジャーキネス領域Ａ２は、最適シャッタ速度曲線ＳＳ０に基づいて、被写体の動きによる動きぼけが含まれず、視覚特性上ジャーキネス劣化が生じていると判別される領域である。
この最適シャッタ速度曲線ＳＳ０を直接用いて動きベクトルに応じた最適シャッタ速度を求める場合には、任意の刻み幅で動きベクトルに応じた最適シャッタ速度情報をテーブルとして最適シャッタ速度情報記憶部１７２に予め記憶し、参照すればよい。
【０１３７】
また本例では、この実線で示された最適シャッタ速度曲線に近似する関数を用いることにより、動きベクトルに応じた最適シャッタ速度を算出するようにしてもよい。この場合、処理選択制御部１７１は、ある分割領域での動きベクトルをｖとして、下記の（数８）に示す最適シャッタ速度曲線の近似関数により最適シャッタ速度ＳＳＤ’を算出する。
【数８】
なお、この（数８）における各パラメータＡ、Ｂ、γは、図１１に示す最適シャッタ速度曲線の曲線形状に応じて適当な値を選択して用いるようにすればよい。シャッタ速度曲線の具体例として、図１１では、（数８）の各パラメータのうち、Ａ、Ｂの値を固定にして、γを３段階に変化させたときの曲線形状ＳＳ１〜ＳＳ３を示している。
【０１３８】
このように、ＳＳ０は主観評価実験により得られた値を基に作成した最適シャッタ速度曲線であり、ＳＳ１〜ＳＳ３はこれを上記（数８）で近似させた最適シャッタ速度曲線である。ＳＳ１〜ＳＳ３は、例えば装置の使用者の嗜好によって、この最適シャッタ速度曲線を調整するために用いることが可能である。
【０１３９】
なお、最適シャッタ速度情報記憶部１７２に保存されるデータの形式は、図１６のグラフ曲線や（数８）のような数式での表現のみならず、最適シャッタ速度曲線を量子化したテーブルを持つことなども可能である。
以上において、ジャーキネスとブラー双方の劣化の発生を最も低減させる最適なシャッタ速度について説明した。
【０１４０】
最適シャッタ速度情報記憶部１７２が図１６のグラフ曲線の形式で最適なシャッタ速度情報を有しているとして、処理選択制御部１７１で行なわれる当該分割領域における最適シャッタ速度ＳＳＤ０の導出方法を説明する。
【０１４１】
動きベクトルＶＤ中の当該分割領域に対応するベクトルの値から、その絶対値を計算したものを、当該分割領域の移動速度ＡＶＴと表現すると、移動速度ＡＶＴの値を図１６のグラフの横軸にとり、対応する曲線上の点を見つけ、さらにその曲線上の点に対応する縦軸の値を見つける。そのときの縦軸の値が、当該分割領域における最適シャッタ速度ＳＳＤ０である。
【０１４２】
図１７は、処理選択制御部１７１で行なわれる処理の流れを示すものである。
処理選択制御部１７１では、ステップＳ１０として、上記の要領で当該分割領域における最適シャッタ速度ＳＳＤ０を導出する。そしてステップＳ１１で、導出した最適シャッタ速度ＳＳＤ０と、既に処理選択制御部１７１に入力している撮像シャッタ速度ＳＳＤとを比較評価する。そしてその比較結果として、当該領域に対して実行するフィルタリング処理が、動きぼけの削減処理なのか、あるいは、動きぼけの付加処理なのか、を選択する。
その選択処理の基準は、各領域における最適シャッタ速度が撮像シャッタ速度ＳＳＤよりも低速である場合、ブラーを付加する処理を行いものとし（Ｓ１２）、逆に撮像シャッタ速度ＳＳＤよりも高速である場合、ブラーを削減する処理を行うものとする（Ｓ１３）ということとなる。
【０１４３】
また図１５に示したように、処理選択制御部１７１は、選択された動きぼけ補正用のフィルタリング処理ブロック、すなわち、動きぼけ削減処理部１６４および動きぼけ付加処理部１６５へと、フィルタパラメータＰＤを出力する。このフィルタパラメータＰＤは、動きぼけの削減および付加処理において、選択された処理の具合（量／強度）を調整するためのものである。特に本例では、各分割領域における撮像シャッタ速度と最適シャッタ速度の差分値であるシャッタ速度差分値ＳＳＤＤ、および動きベクトルＶＤの双方をフィルタパラメータＰＤとして、動きぼけ削減処理部１６４および動きぼけ付加処理部１６５の各々へと出力することとする。
シャッタ速度差分値ＳＳＤＤは、処理選択制御部１７１にて、動きぼけ補正の内容を動きぼけ削減処理とするか付加処理とするか、を判断する段階で行う比較評価の際に算出しておけばよい。ＳＳＤＤ＝ＳＳＤ−ＳＳＤ０の式からシャッタ速度差分値を算出することとすれば、シャッタ速度差分値ＳＳＤＤが正の場合に動きぼけ削減処理、負の場合に動きぼけ付加処理を実行することとなる。
【０１４４】
図１８は、図１６に撮像シャッタ速度と被写体速度（被写体の移動速度）の具体例を加えて記したものである。
この例を用いて、動きぼけ削減と動きぼけ付加のどちらのフィルタリング処理を実行するか、その選択について具体的に説明するとともに、双方のフィルタリングの実現例をそれぞれ説明する。
図１８中では、撮像時のシャッタ速度の例として撮像シャッタ速度Ｓａ〜Ｓｃ、被写体の移動速度の例として被写体速度Ｖａ〜Ｖｃを記載している。便宜上、最適シャッタ速度曲線は、図１６中からＳＳ０のみを選択して以降の説明に用いるが、これは図１６中のＳＳ０〜ＳＳ３のどれを選択して用いても問題ない。
【０１４５】
以下では、撮像シャッタ速度について３つの場合に分け、それぞれの場合における動きぼけ量調整処理についてその概要を説明する。それぞれの場合の例として、図１８の撮像シャッタ速度の値Ｓａ、Ｓｂ、Ｓｃを用いて説明する。
【０１４６】
＜１＞撮像シャッタ速度が図１８のＳａの場合
この場合、撮像シャッタ速度がオープンシャッタであり、被写体速度がＶａ、Ｖｂ、Ｖｃの全ての場合において、最適なシャッタ速度は実際の撮像シャッタ速度Ｓａよりも高速である。そのため、最適なシャッタ速度相当の動きぼけを含んだ画像を生成するためには、何らかの方法で動きぼけを削減する処理、いわゆるデ・ブラー（de-blur）処理を行って実現しなければならない。
この場合、処理選択制御部１７１は、動きぼけ削減処理を選択したことを伝達する処理選択制御情報ＳＣＳを分岐部１６３へと出力することとなり、分岐部１６３では入力された復号画像データＤＤ中の各分割領域の信号を、動きぼけ削減処理部１６４へと出力する。
【０１４７】
以下、動きぼけ削減処理部１６４で行われる動きぼけ削減の実現方法を、例を挙げて説明する。
具体的には例えば動きぼけ削減処理部１６４は、図１９の構成とする。
図１９の動きぼけ削減処理部１６４は、移動平均フィルタ特性変換部１６４１、移動平均フィルタ１６４２、減算部１６４３、加算部１６４４から構成されており、入力された復号画像データＤＤ中の当該分割領域に対して、動きぼけ量の削減を実現する。
【０１４８】
なお移動平均フィルタ１６４２として用いる移動平均フィルタとは、最も簡易なローパスフィルタの一種であり、処理対象画素が１画素移動する毎に、周辺画素との平均値を算出して出力するフィルタである。例えばある時点では、図２０（ａ）のように現在のサンプル値を含めてｎ個（図では４個）のサンプルで平均をとる。次の時点でも図２０（ｂ）のように現在のサンプル値を含めてｎ個（図では４個）のサンプルで平均をとる。ここでいうサンプル値が画素値となり、処理対象画素が１画素移動する毎に、処理対象画素を含む周辺画素のｎサンプルの平均を出力するものとする。
【０１４９】
移動平均フィルタ特性変換部１６４１には、フィルタパラメータＰＤが入力している。移動平均フィルタ特性変換部１６４１では、復号画像データＤＤ中の当該分割領域に位置的に対応するフィルタパラメータを入力されたフィルタパラメータＰＤから抽出し、これに基づいて移動平均フィルタ１６４２にて行われる処理のフィルタ特性を決定する。
例えば、複数のフィルタパラメータＰＤに対して、移動平均フィルタを１つずつ予め用意しておき、注目画素において用いるべきフィルタを決定すればよい。具体的には、以下のように行う。
【０１５０】
移動平均フィルタの特性を、注目画素周辺の何画素について平均処理を実行するか、と置き換えて考え、フィルタパラメータの一例としてシャッタ速度差分値ＳＳＤＤと動きベクトルＶＤの双方を用いることとする。このとき、シャッタ速度差分値ＳＳＤＤと動きベクトルＶＤの組合せ１つに対して、移動平均フィルタに用いる画素数を１つ決定するテーブルを用意しておき、各領域のシャッタ速度差分値ＳＳＤＤと動きベクトルＶＤが入力するたびに、移動平均フィルタに用いる画素数を出力する。
決定された移動平均フィルタに用いる画素数は、移動平均フィルタ部１６４２へと出力される。
【０１５１】
移動平均フィルタ部１６４２（ローパスフィルタ）は、処理対象の当該フレーム内の注目画素を含む所定のブロックに対して、移動平均フィルタ特性変換部１６４１により特性が決定された移動平均フィルタをかけることで、注目画素の画素値を変換する。移動平均フィルタ部１６４２により変換された注目画素の画素値は、減算部１６４３へと出力される。
すなわち、減算部１６４３には、移動平均フィルタ部１６４２により変換された注目画素の画素値が極性反転されて入力される。減算部１６４３にはまた、入力された復号画像データＤＤ中の処理対象のフレームのうちの注目画素が入力されている。
減算部１６４３は、入力画像データＤＤ中の当該画素の画素値と、移動平均フィルタ部１６４２により変換された注目画素の画素値との差分を求め、その差分値を加算部１６４４へと出力する。
このようにして、加算部１６４４には、移動平均フィルタ前後の差分が入力される。加算部１６４４にはまた、復号画像データＤＤ中の処理対象のフレームのうちの注目画素が入力されている。加算部１６４４は、注目画素の補正前の画素値に対して、移動平均フィルタ前後の差分値を加算し、その加算結果を出力画像（その一部）として出力する。
【０１５２】
以上が、図１９の構成例における動きぼけ削減処理部１６４の処理内容であるが、この処理の意味を理解するためには、周波数領域で考えるとわかりやすい。
減算部１６４３の出力信号である移動平均フィルタ前後の差分を周波数領域で考えた場合、着目された周波数において、入力された画像信号のゲインと、移動平均フィルタがかけられた後の画像信号のゲインとの差分が、減算部１６４３の出力信号のゲインとなる。さらに、加算部１６４４の出力画像信号のゲインは、入力された画像信号のゲインに対して、移動平均フィルタ前後の差分ゲインが加算された値となる。すなわち、各周波数のそれぞれにおいて、出力画像信号のゲインは、入力画像のゲインに比較して、移動平均フィルタ前後の差分ゲイン分だけ持ち上げられてことになる。
移動平均フィルタがローパスフィルタであることを踏まえ、上記の内容を換言すると、図１９の構成例に示す動きぼけ削減処理部１６４全体では、ハイパスフィルタをかける処理と基本的に等価な処理を実行していることになる。
【０１５３】
なお特許文献３（特開２００６−８１１５０号公報）では、当該分割領域に直接ハイパスフィルタを実行することで動きぼけ削減処理を実現する方法も提案している。しかし、ハイパスフィルタの例として、移動平均フィルタの伝達関数の逆関数の採用を前提としており、移動平均フィルタの周波数特性にはゲインが０となる周波数が含まれているため、完全な逆移動平均フィルタが生成できないことを問題としている。処理の簡易な実現のためにも、図１９の構成例に示す動きぼけ削減処理部１６４のようなローパスフィルタのみによる実現の方が適していると考えられるため、本例では、これを採用することが好ましい。
【０１５４】
以上に示した例などを用いて、動きぼけ削減処理の実現が可能である。当然ながら、動きぼけ量の削減方法は、上記に限られるものではない。
【０１５５】
＜２＞撮像シャッタ速度が図１８のＳｂの場合
この場合、撮像シャッタ速度が十分に速い場合であり、被写体速度がＶａ、Ｖｂ、Ｖｃの全ての場合において、最適なシャッタ速度は実際の撮像シャッタ速度Ｓｂよりも低速である。そのため、最適なシャッタ速度相当の動きぼけを含んだ画像を生成するためには、何らかの方法で動きぼけを付加する処理、いわゆるアド・ブラー（ad-blur）処理を行って実現しなければならない。
【０１５６】
この場合、処理選択制御部１７１は、動きぼけ付加処理を選択したことを伝達する処理選択制御情報ＳＣＳを分岐部１６３へと出力することとなり、分岐部１６３では復号画像データＤＤ中の各分割領域の信号を、動きぼけ付加処理部１６５へと出力する。
以下、動きぼけ付加処理部１６５で行われる動きぼけ付加の実現方法を、例を挙げて説明する。ここでは空間フィルタリングにより出力画像の生成を行う場合を例とする。
【０１５７】
動きぼけ付加処理部１６５は、図２１に示すように、動きぼけを付加する画像領域を特定する動きベクトルマスク情報を生成する動きベクトルマスク処理部１６５１と、動きベクトルを補正する動きベクトル補正部１６５２を有する。また処理対象フレームの各画素に応じた動きぼけ付加のためのフィルタパラメータを算出するフィルタパラメータ算出部１６５３と、処理対象フレームの各画素の画素値に対して動きぼけフィルタ処理を施す動きぼけ付加フィルタ１６５４を有する。
【０１５８】
ここで、画素単位で全ての処理を行うことも可能であるが、演算処理の負担を軽減するため、動きぼけ付加処理部１６５では、動きベクトルマスク処理部１６５１及び動きベクトル補正部１６５２に係る処理を、画素ブロックとしての分割領域単位で行うものとしている。
また、フィルタパラメータ算出部１６５３、及び動きぼけ付加フィルタ部１６５４、復号画像データＤＤに動きぼけを付加するフィルタ処理に当たるため、画素ブロックではなく、画素単位で行う。
【０１５９】
動きベクトルマスク処理部１６５１は、処理対象フレームのうち、動きぼけを付加する画像領域を特定するため、供給される分割領域単位の動きベクトルＶＤに対して、図２２に示すようなマスク処理を施して、マスク処理後の分割領域単位の動きベクトルを動きベクトル補正部１６５２に供給する。
ここで、動きぼけを付加する必要がある、ジャーキネス劣化が発生しやすい画像領域は、特に画面内の動体画像領域及びエッジ周辺の画像領域に集中する。
よって、動きベクトルマスク処理部１６５１では、図２２に示す処理により、ジャーキネスが発生しやすい、空間コントラストの高いエッジ周辺の画素ブロックの動きベクトルだけ有効な値として出力する。すなわちステップＳ２１において、動きベクトルマスク処理部１６５１は、分岐部１６３から供給される復号画像データＤＤに対し、画素ブロック単位で、処理対象フレーム内の空間コントラストの高い領域を特定するための処理として画像のエッジを検出する。
またステップＳ２１の処理と並列して、ステップＳ２２において、動きベクトルマスク処理部１６５１は、処理対象フレーム内の動体領域を特定するための処理として、フレーム間での差分を画素ブロック単位で算出することによって動体画像領域を検出する。
【０１６０】
ステップＳ２３において、動きベクトルマスク処理部１６５１は、上述したステップＳ２１及びＳ２２の何れか一方又は両方に係る処理で、ジャーキネス劣化が発生しやすい領域として検出されたか否かを、画素ブロック単位で判断する。そして、ジャーキネス劣化が発生しやすい領域と判断した画素ブロックに対して、動きベクトルマスク処理部１６５１は、マスク処理用のフラグを「１」に設定する。また、ジャーキネスが発生しやすい領域と判断されなかった画素ブロックに対して、動きベクトルマスク処理部１６５１は、マスク処理用のフラグを「０」に設定する。
【０１６１】
ステップＳ２４において、動きベクトルマスク処理部１６５１は、処理選択制御部１７１から供給される動きベクトルＶＤに対して、上述したフラグが「１」に設定されている画素ブロックの動きベクトルＶＤであるか否かを判断する。
動きベクトルマスク処理部１５１は、フラグが「１」に設定されている画素ブロックの動きベクトルに対しては、その値を変えずに、後段の動きベクトル補正部１６５２に出力する（Ｓ２４→Ｓ２６）。
また、動きベクトルマスク処理部１６５１は、フラグが「０」に設定されている画素ブロックの動きベクトルに対しては、ステップＳ２５において、動きベクトルの値を０又は無効にするマスク処理を施して、後段の動きベクトル補正部１６５２に出力する（Ｓ２４→Ｓ２５→Ｓ２６）。
【０１６２】
次に、動きベクトル補正部１６５２における処理は、入力している当該領域のシャッタ速度差分値ＳＳＤＤを用いて、動きベクトルＶＤを補正する処理である。
動きぼけ付加処理部１６５２で処理されているのは、シャッタ速度差分値ＳＳＤＤが負の場合である。また動画像である復号画像データＤＤのフレームレートをＦ（フレーム／秒）と表すとき、０（秒）よりは小さくなりえない撮像シャッタ速度ＳＳＤと、１／Ｆ（秒）よりも大きくなりえない最適シャッタ速度ＳＳＤ０、の差分値であるシャッタ速度差分値ＳＳＤＤは、−１／Ｆ（秒）より小さくはならない。
【０１６３】
後段で行われる動きぼけを付加する処理は、シャッタ速度差分値ＳＳＤＤが小さいほど（差の絶対値が大きいほど）、付加するぼけ量は大きくなり、シャッタ速度差分値ＳＳＤＤが０に近づくほど、付加するぼけ量は小さくなる。換言すれば、付加する動きぼけ量の指標となる動きベクトルＶＤは、シャッタ速度差分値ＳＳＤＤの値が小さいほど、大きな値を保持し、シャッタ速度差分値ＳＳＤＤの値が０に近づくほど、小さな値にならなくてはならない。
したがって、動きベクトル補正部１６５２にて行われる処理は、処理対象の画素ブロックにおいて、シャッタ速度差分値ＳＳＤＤが「−１／Ｆ」に近づくに伴って増加して値が１に収束し、ＳＳＤＤが「０」に近づくほど値が０に収束する関数ｆｓ（ＳＳＤＤ）を動きベクトルの値に乗じる処理を行うこととする。
【０１６４】
また、
−１／Ｆ ＜ Ａ ＜＜ Ｂ ＜ ０
の大小関係になる、−１／Ｆに近い値Ａ、０に近い値Ｂを設定し、Ａ以下の値の場合には関数ｆｓの出力値が１に、Ｂ以上の値の場合には関数ｆｓの出力値が０になるようにする、所謂クリッピングの方法を採用してもよい。
【０１６５】
なお、動きベクトル補正部１６５２は、関数ｆｓ（ＳＳＤＤ）に代えて、動きベクトルＶＤを変数としたｆｓ（ＶＤ）、または、シャッタ速度差分値ＳＳＤＤと動きベクトルＶＤとを２変数としたｆｓ（ＳＳＤＤ，ＶＤ）を用いて乗算処理を行うようにしてもよい。
このように、動きベクトルＶＤに対し、シャッタ速度差分値ＳＳＤＤや動きベクトルＶＤ自身といった、フィルタパラメータＰＤの値を用いて、適切な動きぼけを付加するための補正処理を施すので、後段で動きぼけ付加されたデータを動画像として表示した際、視覚特性上、より自然な画質を得ることができる。
【０１６６】
フィルタパラメータ算出部１６５３は、処理対象フレームを構成する各画素に対して動きぼけを付加するため、次に示すようなフィルタパラメータを画素単位で算出する。
まず、フィルタパラメータ算出部１６５３は、有効な動きベクトル情報を有する画素を注目画素として、各注目画素の動きベクトル上に位置する画素（以下、パラメータ算出対象画素という。）を特定する。そして、フィルタパラメータ算出部１６５３は、この注目画素に対する特定されたパラメータ算出対象画素の相対位置に応じたフィルタパラメータを、次に示すようにして算出する。
【０１６７】
すなわち、フィルタパラメータ算出部１６５３は、図２３に示すように、動きベクトルの始点Ｓと終点Ｅとの中点を注目画素Ｐ０の位置としたベクトル上に位置する画素の全てをパラメータ算出対象画素として特定する。なお、図２３に示すように、絶対値ｖは注目画素の動きベクトルの絶対値である。
続いて、フィルタパラメータ算出部１６５３は、動きベクトルの絶対値ｖと、注目画素Ｐ０の画素位置と上述した処理により特定したパラメータ算出対象画素Ｐ１の画素位置との間の距離ｄとに応じて、動きぼけ付加の強度σを下記の（数９）により算出する。
【数９】
ここで、式中の強度σを二乗した値が後段の動きぼけ付加フィルタ部１６５４におけるガウス型関数の分散となるように（数９）は設定されている。
【０１６８】
またフィルタパラメータ算出部１６５３は、注目画素Ｐ０を原点としたときの各パラメータ算出対象画素Ｐ１の直交座標平面ｘ−ｙの座標点を（ｘ1，ｙ1）として、動きぼけを付加する角度方向θを下記の（数１０）より算出する。
【数１０】
このようにして、フィルタパラメータ算出部１６５３は、注目画素の動きベクトルからパラメータ算出対象画素を特定して、特定した各パラメータ算出対象画素に対してパラメータ情報（σ，θ）を設定し、処理対象フレーム単位で動きぼけ付加フィルタ部１６５４に供給する。
【０１６９】
なお、フィルタパラメータ算出部１６５３に係る処理では、ある画素に対して重複してパラメータ算出対象画素が特定される場合がある。この場合には、処理を単純化するため、例えば、重複して特定されたパラメータ情報のうち、σの大きい値の情報を、その画素のパラメータ情報として設定すればよい。また、フィルタパラメータ算出部１６５３では、各パラメータ算出対象画素のパラメータ情報（σ，θ）に対して、ガウス関数型フィルタ処理やメディアンフィルタ処理などの平滑化処理を施すことにより、後段の動きぼけ付加フィルタ部１６５４から出力される動画像の画質を高めることができる。
【０１７０】
動きぼけ付加フィルタ部１６５４は、フィルタパラメータ算出部１６５３から供給されるパラメータ情報に応じて、復号画像データＤＤの処理対象フレームの各画素の画素値に対して、次に示すような処理対象フレーム内での空間的なフィルタ処理を施す。
本例において動きぼけ付加フィルタ部１６５４は、以下に示す第１のフィルタ処理、又は第２のフィルタ処理の一方又は両方を実行することにより、動きぼけを付加した画像を出力する。
【０１７１】
まず、第１のフィルタ処理について説明する。第１のフィルタ処理において、動きぼけ付加フィルタ部１６５４は、動きぼけ付加フィルタ処理前の動きぼけ付加対象画素の画素値と、この画素の周辺に位置する周辺画素の画素値とを入力Ｉ（ｘ＋ｉ，ｙ＋ｊ）とする。そして下記の（数１１）に示すようなガウス型関数により、フィルタ処理後の注目画像の画素値Ｊ（ｘ，ｙ）を出力する。
【数１１】
なお、入力Ｉ（ｘ＋ｉ，ｙ＋ｊ）となる周辺画素は、動きベクトルを付加する角度方向に応じて設定される。また、ｒは、動きぼけ付加対象画素と周辺画素との間の距離を示す。
【０１７２】
動きぼけ付加フィルタ部１６５４は、処理対象フレームを構成する全画素のうち、パラメータ情報（σ，θ）が設定されている画素毎に、上述したフィルタ処理を施して画素値を更新する。このようにして動きぼけ付加フィルタ１６５４は、ジャーキネス劣化が低減された動画像を動画像表示出力部１９０に供給することができる。
【０１７３】
ところで、注目画素の周辺に位置する周辺画素には、元々動きのない領域、すなわち背景領域となっているものがある。このような背景領域に位置する周辺画素は、本来注目画素に対して動きぼけを付加するのに考慮する必要がない。このような点に注目した処理方法が次に示す第２のフィルタ処理である。
すなわち、第２のフィルタ処理において、動きぼけ付加フィルタ部１６５４は、注目画素の動きベクトルの値が０又は無効であるときに、その注目画素の周辺に位置する周辺画素のうち動きベクトルの値が０又は無効である画素の画素値Ｉ（ｘ＋ｉ0，ｙ＋ｊ0）を注目画素の画素値Ｉ（ｘ，ｙ）に代えて、上記の（数１１）により注目画素の画素値Ｊ（ｘ，ｙ）を算出する。このようにして、動きぼけ付加フィルタ部１６５４は、第１のフィルタ処理よりも、視覚特性上自然にジャーキネス劣化を低減した画像を出力する。
【０１７４】
以上は、動きぼけ付加処理部１６５において空間フィルタリングを行う例としたが、動きぼけ付加処理部１６５では、時間フィルタリングにより出力画像の生成を行うようにする例も考えられる。その場合、適当数の中間フレームを生成して動きぼけ付加を行う方法が有効である。その構成例を図２４に示す。
図２４に示す動きぼけ付加処理部１６５は、中間フレーム生成部１６５５、画像蓄積部１６５６、フィルタ制御部１６５７、および動きぼけ付加フィルタ部１６５８によって構成されている。
【０１７５】
入力された復号画像データＤＤは、中間フレーム生成部１６５５および画像蓄積部１６５６へと入力される。中間フレーム生成部１６５５では、所定の中間フレーム生成手法により、既存の前後フレームを時間方向に補間する新規フレームを所定の数だけ生成し、画像蓄積部１６５６へと出力する。
中間フレームの生成処理手法には、様々な既存の手法が適用可能である。例えば、既存の前後フレームを、重みをつけてブレンドする方法のほか、中間フレーム生成部１６５５に入力した領域毎の動きベクトルの情報を用いて、この動きベクトルに基づく重みづけや画像ブレンドを実行することで、より精度の高い中間フレーム生成が可能となる。
【０１７６】
フィルタ制御部１６５７には、シャッタ速度差分値ＳＳＤＤおよび動きベクトルＶＤが入力しており、これを用いて、後段の動きぼけ付加フィルタ部１６５８に用いるフィルタパラメータＦＮを、各分割領域について算出する。
ここでフィルタパラメータＦＮについて説明する前に、まず、動きぼけ付加フィルタ部１６５８で行われる処理について、先行して説明しておく。
【０１７７】
動きぼけ付加フィルタ部１６５８で行われる処理は、フレームの平均化であり、平均化に用いるフレーム数は分割領域ごと適応的に決定する。換言すれば、入力された復号画像データＤＤ中の１フレームと、中間フレーム生成部１６５５で生成された複数のフレームを用いて、各分割領域でフレーム数の異なるフレーム平均化処理を実行するわけである。
簡単に言えば、平均化処理の対象とするフレーム数が多くなるほど、付加されるぼけ量は大きくなり、平均化処理の対象とするフレーム数が少なくなるほど、付加されるぼけ量は小さくなる。
【０１７８】
さて、フィルタ制御部１６５７の説明に戻るが、フィルタ制御部１６５７では、各分割領域に対応した、平均化に用いるフレーム数を決め、動きぼけ付加フィルタ部１６５８へと出力する。この平均化に用いるフレーム数がフィルタパラメータＦＮである。
平均化に用いるフレーム数（フィルタパラメータＦＮ）は、最小の場合で１であり、これは、復号画像データＤＤ中の１フレームが処理されずそのまま出力する場合である。最大の場合は、中間フレーム生成部において生成されたフレーム数を、既存フレームの前後でＫとおくと、このフレーム数Ｋに、入力フレーム自身を考慮に入れたＫ＋１であると都合がいい。フィルタパラメータＦＮは、１からＫ＋１の間の数から決められ、上記のように数が大になるほど、付加する動きぼけ量は大となる。
【０１７９】
フィルタパラメータＦＮの決定方法は、唯一に限られたものではないが、本例では、フィルタ制御部１６５７に入力したシャッタ速度差分値ＳＳＤＤを用いて以下のように行う。
動きぼけ付加処理部１６５で処理されているのは、シャッタ速度差分値ＳＳＤＤが負の場合である。また動画像である入力画像データＤＤのフレームレートをＦ（フレーム／秒）と表すとき、０（秒）よりは小さくなりえない撮像シャッタ速度ＳＳＤと、１／Ｆ（秒）よりも大きくなりえない最適シャッタ速度ＳＳＤ０との差分値であるシャッタ速度差分値ＳＳＤＤは、−１／Ｆ（秒）より小さくはならない。
【０１８０】
後段で行われる動きぼけを付加する処理は、シャッタ速度差分値ＳＳＤＤが小さいほど（差の絶対値が大きいほど）、付加するぼけ量は大きくなり、シャッタ速度差分値ＳＳＤＤが０に近づくほど、付加するぼけ量は小さくなる。換言すれば、付加する動きぼけ量の指標となる動きベクトルＶＤは、シャッタ速度差分値ＳＳＤＤの値が小さいほど、大きな値を保持し、シャッタ速度差分値ＳＳＤＤの値が０に近づくほど、小さな値にならなくてはならない。
【０１８１】
したがって、フィルタ制御部１６５７にて行われる処理は、処理対象の画素ブロックにおいて、シャッタ速度差分値ＳＳＤＤが「−１／Ｆ」に近づくに伴って増加して値がＫ＋１に収束し、ＳＳＤＤが「０」に近づくほど値が１に収束する関数ｇｓ（ＳＳＤＤ）による演算を行い、その結果として得られたFNを動きぼけ付加フィルタ部１６５８へと出力することである。また、
−１／Ｆ ＜ Ａ ＜＜ Ｂ ＜ ０
の大小関係になる、−１／Ｆに近い値Ａ、０に近い値Ｂを設定し、Ａ以下の値の場合には関数ｇｓの出力値がＫ＋１に、Ｂ以上の値の場合には関数ｆｓの出力値が１になるようにする、所謂クリッピングの方法を採用してもよい。
【０１８２】
なお、フィルタ制御部１６５７は、関数ｇｓ（ＳＳＤＤ）に代えて、動きベクトルＶＤを変数としたｇｓ（ＶＤ）、または、シャッタ速度差分値ＳＳＤＤと動きベクトルＶＤとを２変数としたｇｓ（ＳＳＤＤ，ＶＤ）を用いてフィルタパラメータＦＮを算出してもよい。
【０１８３】
各分割領域においてフィルタ平均化を行うためのフレーム数（ＦＮ）が入力されると、動きぼけ付加フィルタ部１６５８では、各分割領域にぼけ付加を行うために必要なフレーム数の画像データを、画像蓄積部１６５６から入力し、前記したフレーム平均化処理を実行する。各領域への処理が終了した後、再びフレーム画像として構成され、出力画像データＯＤとして出力される。
【０１８４】
以上のように、動きぼけ付加処理部１６５は、空間フィルタリング或いは時間フィルタリングのいずれかの方法を用いるなどして、動きぼけ付加処理を実行する。
もちろん動きぼけ付加処理の方法は、上記に限られるものではない。
【０１８５】
＜３＞撮像シャッタ速度が図１８のＳｃの場合
この場合、撮像シャッタ速度はＳａとＳｂの中間であり、被写体速度の値によって最適なシャッタ速度が実際の撮像シャッタ速度Ｓｃよりも高速な場合もあるが、その逆に最適なシャッタ速度が実際の撮像シャッタ速度Ｓｃよりも低速な場合もある。
例えば被写体速度の値がＶａである分割領域においては、最適なシャッタ速度相当の動きぼけを含んだ画像を生成するために、何らかの方法で動きぼけを削減する処理を行って実現しなければならない。
【０１８６】
この場合、＜１＞で説明したものと同様に、処理選択制御部１７１は、動きぼけ削減処理を選択したことを伝達する処理選択制御情報ＳＣＳを分岐部１６３へと出力することとなり、分岐部１６３では復号画像データＤＤ中の当該分割領域の信号を、動きぼけ削減処理部１６４へと出力する。
そして動きぼけ削減処理部１６４は、＜１＞で説明したと同様の動きぼけ削減手法により、フィルタリングを実行する。
【０１８７】
一方、例えば被写体速度の値がＶｂやＶｃである分割領域においては、最適なシャッタ速度相当の動きぼけを含んだ画像を生成するために、何らかの方法で動きぼけを付加する処理を行って実現しなければならない。
この場合、＜２＞で説明したものと同様に、処理選択制御部１７１は、動きぼけ付加処理を選択したことを伝達する処理選択制御情報ＳＣＳを分岐部１６３へと出力することとなり、分岐部１６３では復号画像データＤＤ中の当該分割領域の信号を、動きぼけ付加処理部１６５へと出力する。
そして動きぼけ付加処理部１６５は、＜２＞で説明したと同様の動きぼけ付加手法により、フィルタリングを実行する。
【０１８８】
図３で述べた基本構成例IIとしての画像処理装置２に対応する、図５の画像再生装置１００の構成及び動作は、以上の通りとなる。
このような画像再生装置１００によれば、ジャーキネスとブラーに対して適切に対応した補正処理を行い、その双方を抑制することで、動画像表示出力部１９０での出力画像としての画質向上を実現できる。
またこの場合、復号画像データＤＤについての撮像された際のシャッタ速度の情報が未知であっても、撮像時のシャッタ速度を推定することで、推定されたシャッタ速度を評価した値をもとに適切な動きぼけ補正処理を行うことができる。
【０１８９】
［５．基本構成例IIIに対応する動きぼけ補正処理部１６０Ａ］
基本構成例IIIに対応する例としての画像再生装置１００については、全体構成は図５と同様となるが、上述した動きぼけ補正処理部１６０の構成が、図２５の補正処理部１６０Ａのようになると考えればよい。
図２５は、上記図１５と同様の形式で、動きぼけ補正パラメータ算出部１７０と動きぼけ補正処理部１６０Ａを示している。
【０１９０】
動きぼけ補正処理部１６０Ａは、動きぼけ削減処理部１６４、動きぼけ付加処理部１６５、及び選択合成部１６７を備える。
なお、動きぼけ補正パラメータ算出部１７０における処理選択制御部１７１、最適シャッタ速度情報記憶部１７２については、上記図１５以降で説明したものと同様である。但し、処理選択制御部１７１から出力される処理選択制御情報ＳＣＳは、選択合成部１６７に供給されるものとなる。
また動きぼけ削減処理部１６４，動きぼけ付加処理部１６５の補正処理手法も同様である。
【０１９１】
この図２５の場合、図１５における分岐部１６３が設けられておらず、入力された復号画像データＤＤは無条件で動きぼけ削減処理部１６４、動きぼけ付加処理部１６５の双方に供給される。
動きぼけ削減処理部１６４では、入力された復号画像データＤＤの全ての分割領域について、処理選択制御部１７１から供給される分割領域毎のフィルタパラメータＰＤに基づいて、動きぼけ削減処理を行い、選択合成部１６７に出力する。
また動きぼけ付加処理部１６５では、入力された復号画像データＤＤの全ての分割領域について、処理選択制御部１７１から供給される分割領域毎のフィルタパラメータＰＤに基づいて、動きぼけ付加処理を行い、選択合成部１６７に出力する。
【０１９２】
従って選択合成部１６７には、復号画像データＤＤについての全ての分割領域について、動きぼけ削減処理が行われた画像データ（補正量ゼロの分割領域も含む）と、動きぼけ付加処理が行われた画像データ（補正量ゼロの分割領域も含む）とが供給される。
選択合成部１６７は、処理選択制御部１７１から供給される処理選択制御情報ＳＣＳに応じて、各分割領域の画像データを選択する。即ち１フレームを構成する各分割領域について、動きぼけ削減処理部１６４からの画像データと、動きぼけ付加処理部１６５からの画像データのいずれかを選択する。
そして選択した各分割領域の画像データを合成し、１フレームの出力画像データＯＤを生成して出力する。
【０１９３】
このような動きぼけ補正処理部１６０Ａの構成としても、上記図１５の動きぼけ補正処理部１６０を用いた場合と同様の効果を得ることができる。
【０１９４】
［６．プログラム］
以上の実施の形態は、画像処理装置１，２，３、及びその具体例としての画像再生装置１００について説明したが、本発明は画像処理を行う特定種類の機器として各種機器に適用できる。例えば画像再生装置以外に、撮像装置、通信装置、画像記録装置、ゲーム機器、ビデオ編集機、などが想定される。
さらに、汎用のパーソナルコンピュータその他の情報処理装置において、画像処理装置１，２，３を実現することも当然想定される。
例えば図１，図３，図４における動きぼけ補正パラメータ算出部１２、動きぼけ補正処理部１３，シャッタ速度推定処理部１４としての動作を演算処理装置に実行させるプログラムを画像処理アプリケーションソフトウエアとして提供することで、パーソナルコンピュータ等において、適切な画像処理を実現できる。
【０１９５】
即ち補正パラメータ算出部１２、動きぼけ補正処理部１３の機能を実行させるプログラムとは、画像データを構成する単位画像間での画像の動きを示す動き情報、及び上記画像データを撮像した時のシャッタ速度情報を基に、動きぼけ補正処理に必要な動きぼけ補正パラメータを算出するステップと、上記動きぼけ補正パラメータを用いて、少なくとも動きぼけを削減する処理を実行し、画像データに含まれる動きぼけ量を補正するステップとを演算処理装置（ＣＰＵ等）に実行させるプログラムである。
さらには、上記画像データを解析処理することで上記シャッタ速度情報を推定するシャッタ速度を推定するステップを加え、上記の動きぼけ補正パラメータを算出するステップにおいては、推定されたシャッタ速度情報を用いるようにすることで、シャッタ速度推定処理部１４としての動作を演算処理装置に実行させるプログラムも実現される。
【０１９６】
このようなプログラムにより、本発明をパーソナルコンピュータ、携帯電話機、ＰＤＡ（Personal Digital Assistant）、その他画像データを用いる多様な情報処理装置においても同様の画像処理を実行できるようにすることができる。
【０１９７】
なお、このような補正パラメータ算出部１２、動きぼけ補正処理部１３の機能、（或いはさらにシャッタ速度推定処理部１４の機能）を実行させるプログラムは、パーソナルコンピュータ等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【図面の簡単な説明】
【０１９８】
【図１】本発明の実施の形態の画像処理装置の基本構成例Ｉのブロック図である。
【図２】実施の形態の分割領域の説明図である。
【図３】本発明の実施の形態の画像処理装置の基本構成例IIのブロック図である。
【図４】本発明の実施の形態の画像処理装置の基本構成例IIIのブロック図である。
【図５】実施の形態の画像再生装置のブロック図である。
【図６】実施の形態の動きベクトル生成処理部のブロック図である。
【図７】実施の形態の動きベクトル生成処理部の動作のフローチャートである。
【図８】実施の形態のシャッタ速度推定処理部のブロック図である。
【図９】実施の形態の処理に係る動きぼけ長の説明図である。
【図１０】実施の形態の処理に係る動きぼけ長の説明図である。
【図１１】実施の形態の動きぼけ長の算出処理の説明図である。
【図１２】実施の形態のシャッタ速度推定処理部の詳細なブロック図である。
【図１３】実施の形態の動きぼけ特性解析部の処理の説明図である。
【図１４】実施の形態の動きぼけサンプル周波数テーブルの説明図である。
【図１５】実施の形態の動きぼけ補正パラメータ算出部及び動きぼけ補正処理部のブロック図である。
【図１６】実施の形態の最適シャッタ速度に関する説明図である。
【図１７】実施の形態の処理選択制御部の処理のフローチャートである。
【図１８】実施の形態の被写体速度と撮像シャッタ速度に応じた処理の説明図である。
【図１９】実施の形態の動きぼけ削減処理部のブロック図である。
【図２０】実施の形態で用いる移動平均フィルタの説明図である。
【図２１】実施の形態の動きぼけ付加処理部のブロック図である。
【図２２】実施の形態の動きベクトルマスク処理のフローチャートである。
【図２３】実施の形態のフィルタパラメータ算出の説明図である。
【図２４】実施の形態の動きぼけ付加処理部の他の例のブロック図である。
【図２５】実施の形態の動きぼけ補正処理部の他の構成を示すブロック図である。
【図２６】ジャーキネスとブラーの発生原理に関し静止物体と移動物体の見え方の説明図である。
【図２７】ジャーキネスの発生原理の説明図である。
【図２８】ブラーの発生原理の説明図である。
【符号の説明】
【０１９９】
１，２，３ 画像処理装置、１１ 画像取込部、１２ 動きぼけ補正パラメータ算出部、１３，１３Ａ 動きぼけ補正処理部、１４ シャッタ速度推定処理部、３１ 分岐部、３２ 動きぼけ削減処理部、３３ 動きぼけ付加処理部、３４ 合成部、３５ 選択合成部、１００ 画像再生装置、１１０ 受信処理部、１２０ 読込処理部、１３０ 復号処理部、１４０ 動きベクトル生成処理部、１５０ シャッタ速度推定処理部、１５１ 処理対象領域選択部、１５２ 動きぼけ特性解析部、１５３ 撮像シャッタ速度演算部、１５４ 撮像シャッタ速度高精度化処理部、１６０ 動きぼけ補正処理部、１６３ 分岐部、１６４ 動きぼけ削減処理部、１６５ 動きぼけ付加処理部、１６６ 合成部、１６７ 選択合成部１７０、１７１ 処理選択制御部、１７２ 最適シャッタ速度情報記憶部、動きぼけ補正パラメータ算出部、１８０ 静止画像表示出力部、１９０ 動画像表示出力部
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法、プログラムに関し、特に画像上の動きぼけの観点に注目し、高品質な画像を得るようにするための画像処理技術に関する。
【背景技術】
【０００２】
【特許文献１】特開２００７−２７４２９９号公報
【特許文献２】特開２００４−２８２３１８号公報
【特許文献３】特開２００６−８１１５０号公報
【非特許文献１】連立非線形拡散法の動きぼけ補正への拡張、齊藤隆弘 原田寛之 小松隆、映像情報メディア学会誌58,（12）,1839-1844
【非特許文献２】ぼけモデルを用いた動きぼけ補正、齊藤隆弘 原田寛之 佐野大志 小松隆、映像情報メディア学会誌59,（11）,1714-1721
【非特許文献３】焦点外れによるぼけとモーションブラーの推定に基づく拡張現実感における光学的整合性の実現、奥村文洋 神原誠之 横矢直和、電子情報通信学会論文誌 D Vol.J90-D No.8 pp.2126-2136
【０００３】
高速シャッタで撮像された動画像やアニメーションなどを、プロジェクタやディスプレイなどの表示デバイスを用いて表示すると、画像中に含まれる移動物体の動きが不連続に表示され、画像を観察する観察者が多重像を知覚してしまうという画像劣化が頻繁に発生する。このような動きの不自然さによる動画像の劣化は、一般的にモーションジャーキネス（Motion Jerkiness）と呼ばれる。
一方、オープンシャッタなど低速のシャッタスピードで撮像された動画像を表示すると、動きぼけの影響により、被写体のディテールの欠損やエッジが不鮮明になることがよくある。この現象は、ブラー（動きぼけ）と呼ばれる画質劣化の現象である。
【０００４】
これらのジャーキネスとブラーの発生原理について、図２６〜図２８を用いて説明する。人間の知覚特性として、目に入射した光を一定時間積分した値として知覚することが知られている。図２６〜図２８は、この知覚特性に基づく観察者からの物体の見え方を模擬的に説明する図である。
【０００５】
図２６は、静止物体と移動物体の実世界における見え方を説明する例である。
図２６（１）は、横軸を位置（ｘ）、縦軸を時間（ｔ）として、静止物体７１と移動物体７２の時間的変移を示しており、図２６（２）は、これらの静止物体７１と移動物体７２を観察する観察者の知覚状況を模擬的に示した図である。観察者には、移動物体７２を追従して観察する追従視と、および移動物体７２を追従しないで視点を固定して観察する固定視を行なう２通りの異なる観察形態における知覚状況がある。それぞれ（ａ）追従視，（ｂ）固定視として示してある。
【０００６】
図２６（２）の（ａ）追従視に示すように、移動物体７２を観察者が追従視した場合、移動物体７２の見え方は、図２６（２）の移動物体知覚情報ａ７２のようになる。これは図２６（２）の（ｂ）固定視における固定物体７１の見え方である固定物体知覚情報ｂ７１と同様の見え方である。このように、観察者が移動物体７２を追従視した場合は、固定視における固定物体７１の見え方と同様に観察者は知覚する。
一方、図２６（２）の（ｂ）固定視に示すように、移動物体７２を観察者が固定視した場合、移動物体７２の見え方は、図２６（２）の移動物体知覚情報ｂ７２のようになる。これは、観察者が移動物体を連続的に移動するように変化する知覚を行うものであり、観察者が違和感を生じることはない。
【０００７】
図２７は、高速シャッタで撮像された動画像やアニメーションなどを、プロジェクタやディスプレイなどの表示デバイスを用いて表示した場合に観察者によって知覚されるジャーキネスの発生を説明する図である。すなわち、画像中に含まれる移動物体の動きが不連続に表示され、画像を観察する観察者が多重像を知覚してしまうという現象である。
【０００８】
図２７では、図２６中の実世界における移動物体を、高速シャッタを用いて撮像し、６０Ｈｚでリフレッシュされる表示デバイスに表示した場合、観察者からの見え方を模擬的に表している。図２７（１）は、表示静止物体８１と表示移動物体８２の表示デバイス上での表示位置の変化を示している。縦軸が時間（ｔ）であり表示デバイスのリフレッシュ間隔（１／６０ｓｅｃ）毎に区切りを設定してある。横軸が表示位置（ｘ）である。
図２７（２）は、表示デバイスに表示される表示静止物体８１と表示移動物体８２を観察する観察者の知覚状況を模擬的に示した図である。観察者の知覚状況として、表示移動物体８２を追従して観察する追従視を、（ａ）追従視として示し、表示移動物体８２を追従しないで視点を固定して観察する固定視を、（ｂ）固定視として示している。
【０００９】
図２７（２）（ａ）に示すように、表示デバイスに表示される表示移動物体８２を、観察者が追従視した場合の見え方（ａ８２）は、上記図２６（２）（ａ）の追従視の見え方（ａ８２）と同様の見え方であり、静止物体を固定視した場合と同じように観察者は知覚することになる。
【００１０】
一方、表示デバイスに表示される表示移動物体８２を、観察者が固定視した場合においては、図２７（２）（ｂ）に示すように、観察者の視覚による知覚上、実世界とは異なり表示移動物体８２は、連続的ではなく離散的に移動変化するような見え方（ｂ２２）となる。結果として、観測者は、目に入射した光を一定時間積分した値として知覚するという知覚特性に基づいて、表示デバイスに表示される移動物体を多重像として知覚することになる。
【００１１】
観測者は、本来１つの物体であるにも拘らず、複数の物体のように感じ取ってしまうことになる。このような現象をジャーキネス劣化という。ジャーキネス劣化は、原理的に移動速度の速い物体ほど発生しやすい。また、ジャーキネス劣化は、表示デバイスのフレームレートが低いほど発生しやすく、フレームレートが高いほど発生しにくい。さらに、ジャーキネス劣化は、一般的に、空間的な輝度の変化が大きい部分、言い換えれば、空間コントラストの高い部分において生じやすい。
【００１２】
図２８は、例えばオープンシャッタなどの低速シャッタで撮像された動画像やアニメーションなどを、プロジェクタやディスプレイなどの表示デバイスを用いて表示した場合に観察者によって知覚されるブラーの発生を説明する図である。ブラーは、動きボケの影響により、被写体のディテールの欠損やエッジが不鮮明になる現象である。
【００１３】
図２８では、図２６中の実世界における移動物体を、低速シャッタを用いて撮像し、６０Ｈｚでリフレッシュされる表示デバイスに表示した場合、観察者からの見え方を模擬的に表している。図２８（１）は、表示静止物体９１と表示移動物体９２の表示デバイス上での表示位置の変化を示している。縦軸が時間（ｔ）であり表示デバイスのリフレッシュ間隔（１／６０ｓｅｃ）毎に区切りを設定してある。横軸が表示位置（ｘ）である。
図２８（２）は、表示デバイスに表示される表示静止物体９１と表示移動物体９２を観察する観察者の知覚状況を模擬的に示している。即ち表示移動物体３２を追従して観察する（ａ）追従視と、表示移動物体３２を追従しないで視点を固定して観察する（ｂ）固定視を示している。
【００１４】
図２８（２）（ｂ）に示すように、表示デバイスに表示される表示移動物体３２を、観察者が固定視した場合（ｂ３２）においては、上記図２６（２）（ｂ）の固定視と同様の見え方（ｂ７２）であり、観察者が移動物体を連続的に移動するように変化する知覚を行い、観察者が違和感を生じることはない。
【００１５】
一方、表示デバイスに表示される表示移動物体９２を、観察者が追従視した場合においては、図２８（２）（ａ）の見え方（ａ９２）に示すように、観察者には、静止物体を固定視した場合とは異なる、ぼやけた像として知覚される。これは、図２８（１）の表示移動物体９２に示すように、撮像時において、低速シャッタに基づく長期間の露光中の移動物体の動きが１フレームに記録され、この移動する物体が１フレーム中に帯状に表示されるためである。このような現象をブラー劣化という。
【００１６】
ジャーキネス劣化およびブラー劣化の発生は、原理的に見て、撮像時のシャッタ速度について相反する関係にあるため、単純なシャッタ制御ではいずれかの劣化が目立ってしまう。
具体的には、動画像のフレームレートに対して短いシャッタ速度（高速シャッタ）で撮像された画像は、静止画像として表示したときには鮮鋭度が高いが、動画像として表示したときには、画像中の動体領域、特に高速に動く領域の動きが滑らかではなく、人間の視覚特性上、不自然に見えてしまう。
それに対し、動画像のフレームレートに対して長いシャッタ速度（低速シャッタ）で撮像された画像を動画像として表示したときには、画像中の高速移動領域の動きは滑らかであるが、画像全体の鮮鋭度は低減してしまう。
【００１７】
本出願人が先に提案した発明として、上記特許文献１に示されるように、高速シャッタで撮像された画像の入力を主に想定し、画像処理を用いて動きぼけを付加することで、ジャーキネスの発生を低減する方法が知られている。
また、その際に動きぼけの過付加によるブラー劣化が発生しないよう、画像処理手法を用いた解析により動きぼけ付加量を制御することも示している。
また、主に低速シャッタで撮像された画像の入力を想定し、画像処理を用いて動きぼけを削減するアプローチは、一般に広く検討されているテーマである。例えば、上記非特許文献１，２によれば、画像のぼけを補正する画像処理手法として、ぼけモデルを用いた逆たたみ込み法と、ピーキング法やショックフィルタ（Shock Filter）に代表されるぼけモデルが不要な手法とに大別され、非特許文献１では前者に所属する手法を動きぼけの削減手段として適用し、非特許文献２では後者に所属する手法を動きぼけの削減手段として適用している。
【発明の開示】
【発明が解決しようとする課題】
【００１８】
上述のように、ジャーキネスおよびブラーの発生は、撮像時のシャッタ速度について、相反する関係にあるため、単純なシャッタ制御ではいずれかの劣化が目立ってしまう問題がある。
そしてジャーキネスおよびブラーの劣化に適切に対応して画質向上を図る技術は提案されておらず、そこで本発明では、動画質劣化の要因であるこれらの劣化に適切に対応すること、さらにはジャーキネスとブラーの双方を抑制するよう、ジャーキネス及びブラーに適応的に対応した画像処理を行う技術を提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明の画像処理装置は、画像データを構成する単位画像間での画像の動きを示す動き情報、及び上記画像データを撮像した時のシャッタ速度情報を基に、動きぼけ補正処理に必要な動きぼけ補正パラメータを算出する補正パラメータ算出手段と、上記動きぼけ補正パラメータを用いて、少なくとも動きぼけを削減する処理を実行し、画像データに含まれる動きぼけ量を補正する動きぼけ補正処理手段とを備える。
また上記動きぼけ補正処理手段は、上記動きぼけ補正パラメータを用いて、画像データに動きぼけを付加する処理及び動きぼけを削減する処理を実行する。
また上記画像データを解析処理することで上記シャッタ速度情報を推定するシャッタ速度推定処理手段をさらに備え、上記補正パラメータ算出手段は、補正パラメータの算出の際に、上記シャッタ速度推定処理手段で推定されたシャッタ速度情報を用いる。
【００２０】
また上記動きぼけ補正処理手段は、上記動きぼけ補正パラメータを基に、画像データに動きぼけを付加する処理又は動きぼけを削減する処理を、画像データ内の分割領域ごとに適応的に選択し、選択した動きぼけ補正処理を実行する。
或いは、上記動きぼけ補正処理手段は、画像データに対し、動きぼけを付加する処理及び動きぼけを削減する処理をそれぞれ独立に実行し、処理された双方の画像データから、上記動きぼけ補正パラメータを基に、画像データ内の分割領域ごとに適応的に出力するデータを選択して出力する。
【００２１】
また上記画像データから、上記動き情報として動きベクトルを生成する動きベクトル生成手段を更に備え、上記動きぼけ補正手段は、上記動きベクトル生成手段により生成された動きベクトルを用いて、上記画像データにフィルタ処理を施すことにより、動きぼけの補正処理を実行する。
【００２２】
また上記シャッタ速度推定処理手段は、画像データ中の対象領域に含まれる動きぼけの特性を解析し、シャッタ速度演算用パラメータを抽出する動きぼけ特性解析部と、上記動きぼけ特性解析手段により抽出されたシャッタ速度演算用パラメータ、及び上記対象領域に対応する動き情報を用いて、上記画像データを撮像した時のシャッタ速度情報を算出する撮像シャッタ速度演算部とを備える。
またこの場合、上記シャッタ速度推定処理手段は、上記動きぼけ特性解析手段による解析処理の対象領域を、上記画像データを構成する各単位画像中から抽出して特定する処理対象領域選択部をさらに備える。
また上記画像データから、上記動き情報として動きベクトルを生成する動きベクトル生成手段を更に備え、上記シャッタ速度推定処理手段における上記処理対象領域選択部は、上記画像データのエッジ情報、及び上記動きベクトル生成手段で生成された動きベクトルの情報を用いて、上記対象領域を特定する。
また上記シャッタ速度推定処理手段は、撮像シャッタ速度高精度化処理部を更に備え、上記シャッタ速度推定処理手段においては、上記動きぼけ特性解析部は、複数の対象領域について上記シャッタ速度演算用パラメータを抽出し、上記撮像シャッタ速度演算部は、複数の対象領域について上記シャッタ速度演算用パラメータとそれぞれの対象領域に対応する動き情報を用いて、複数の上記シャッタ速度情報を算出し、上記撮像シャッタ速度高精度化処理部は、複数の上記シャッタ速度情報の算出結果を用いて、撮像シャッタ速度の推定を行う。
【００２３】
また上記シャッタ速度推定処理手段は、入力される画像データについてのシーンチェンジが検出されてから次のシーンチェンジが検出されるまでの期間に、１回のみシャッタ速度推定処理を行うとともに、当該期間中は、上記１回のシャッタ速度推定処理の結果を保持する。
或いは上記シャッタ速度推定処理手段は、入力される画像データについてのシーンチェンジが検出されてから次のシーンチェンジが検出されるまでの期間に、複数回のシャッタ速度推定処理を行うとともに、上記複数回のシャッタ速度推定処理による複数のシャッタ速度情報の算出結果を用いて、撮像シャッタ速度の推定を行う撮像シャッタ速度高精度化処理部をさらに備える。
なお、これらは撮像シャッタ速度の変更が、シーンチェンジの前後においてのみ発生する可能性を持つ、という仮定のもとにおいて有効である。
【００２４】
また上記補正パラメータ算出手段は、被写体速度と、出力画像の画像劣化が低減される撮像シャッタ速度とを対応付ける対応付け情報を保持し、該対応付け情報を参照して、被写体速度に対応する最適シャッタ速度を画像データ内の分割領域毎に取得し、入力された撮像シャッタ速度の情報と上記最適シャッタ速度とを比較することで、動きぼけを付加する処理又は動きぼけを削減する処理の選択制御情報である動きぼけ補正パラメータを算出し、上記動きぼけ補正処理手段は、上記動きぼけ補正パラメータに基づいて、画像データに動きぼけを付加する処理及び動きぼけを削減する処理を選択的に実行する。
また上記補正パラメータ算出手段は、被写体速度と、出力画像の画像劣化が低減される撮像シャッタ速度とを対応付ける対応付け情報を保持し、該対応付け情報を参照して、被写体速度に対応する最適シャッタ速度を画像データ内の分割領域毎に取得し、入力された撮像シャッタ速度の情報と上記最適シャッタ速度とを比較することで、動きぼけを付加する処理又は動きぼけを削減する処理の選択制御情報である動きぼけ補正パラメータを算出し、上記動きぼけ補正処理手段は、画像データに対し、動きぼけを付加する処理及び動きぼけを削減する処理をそれぞれ独立に実行し、処理された双方の画像データから、上記動きぼけ補正パラメータを基に、画像データ内の分割領域ごとに適応的に出力するデータを選択して出力する。
また上記補正パラメータ算出手段は、上記動きぼけ補正処理手段において画像データに動きぼけを付加する処理又は動きぼけを削減する処理の実行の際の、付加又は削減の度合いを示す動きぼけ補正パラメータを算出する。
また上記付加又は削減の度合いを示す動きぼけ補正パラメータは、撮像シャッタ速度、又は撮像シャッタ速度と上記最適シャッタ速度との差分である。
また上記付加又は削減の度合いを示す動きぼけ補正パラメータは、分割領域の移動速度情報である。
【００２５】
また動き情報を用いて符号化された画像データを取り込む画像取込手段をさらに備え、上記画像取込手段は、取り込んだ画像データを、上記動き情報を用いて復号するとともに、上記動き情報を、動きぼけ補正パラメータの算出に用いる動き情報として、上記補正パラメータ算出手段に供給する。
【００２６】
本発明の画像処理方法は、画像データを構成する単位画像間での画像の動きを示す動き情報、及び上記画像データを撮像した時のシャッタ速度情報を基に、動きぼけ補正処理に必要な動きぼけ補正パラメータを算出するステップと、上記動きぼけ補正パラメータを用いて、少なくとも動きぼけを削減する処理を実行し、画像データに含まれる動きぼけ量を補正するステップとを有する。
本発明のプログラムは、上記各ステップを演算処理装置に実行させるプログラムである。
【００２７】
これらの本発明は、動画質劣化の要因であるジャーキネスやブラー、或いはその双方を抑制することを可能とする画像処理装置、画像処理方法、並びにコンピュータ・プログラムを提供するものとなる。
また、動画質劣化要因であるジャーキネスとブラーの発生に影響する要因として、入力画像が撮像された際のシャッタ速度に注目し、シャッタ速度を評価した値をもとに実行する補正処理（動きぼけの付加と動きぼけの削除）を切り替えることで、いかなるシャッタ速度を用いて撮像された入力画像に対してもジャーキネスとブラーの双方を抑制することが可能となる。
さらに、入力画像が撮像された際のシャッタ速度の情報が未知である場合、シャッタ速度推定処理手段により撮像時のシャッタ速度を推定し、推定されたシャッタ速度を評価した値をもとに実行する補正処理を切り替えることで、いかなるシャッタ速度を用いて撮像された入力画像に対してもジャーキネスとブラーの双方を抑制することが可能となる。
【発明の効果】
【００２８】
本発明によれば、動画質劣化の要因であるジャーキネスとブラーに対して適切に対応した補正処理を行い、特にはジャーキネスとブラーの双方を抑制するよう、ジャーキネス及びブラーに適応的に対応して、動きぼけの付加としての補正処理と動きぼけの削除としての補正処理を行う。これにより出力画像としての画質向上を実現できる。
また、入力画像が撮像された際のシャッタ速度の情報が未知である場合であっても、撮像時のシャッタ速度を推定することで、推定されたシャッタ速度を評価した値をもとに適切な動きぼけ補正処理を行うことができる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。説明は次の順序で行う。
［１．基本構成例Ｉ］
［２．基本構成例II］
［３．基本構成例III］
［４．基本構成例IIに基づく具体的構成：画像再生装置１００］
［４−１：画像再生装置１００の全体構成］
［４−２：動きベクトル生成処理部１４０］
［４−３：シャッタ速度推定処理部１５０］
［４−４：動きぼけ補正パラメータ算出部１７０及び動きぼけ補正処理部１６０］
［５．基本構成例IIIに対応する動きぼけ補正処理部１６０Ａ］
［６．プログラム］
【００３０】
［１．基本構成例Ｉ］
まず本発明の実施の形態としての基本的な構成概念を示す例として、基本構成例Ｉ、II、IIIを説明する。但し、本発明の基本的な構成概念が、この３つの基本構成例に限られるものではない。
【００３１】
実施の形態の画像処理装置は、画像処理を用いて、ジャーキネス劣化とブラー劣化の双方を低減した画像を生成することを目的としている。
単純なシャッタ制御で撮像した動画像を、表示装置を用いて表示した際には、人間の視覚特性上において不自然に感じる、ジャーキネス劣化またはブラー劣化のいずれか一方が目立ってしまう。
そこで実施の形態では、入力画像が撮像された際のシャッタ速度の情報を用いて、高速シャッタ撮像画像に動きぼけを付加することでジャーキネス劣化の発生を低減し、さらに低速シャッタ撮像画像が入力した場合には逆に動きぼけを削減する処理を実行することで、ブラー劣化を低減する。即ち、入力画像信号の条件、詳しくは撮像時のシャッタ速度と被写体の移動速度の関係に応じて、適応的に２つの処理（動きぼけの付加と削減）を選択することで、ジャーキネス劣化やブラー劣化の双方の発生を抑制した、画質劣化の少ない高画質な画像信号を生成して出力し、高画質化処理を実現する。
【００３２】
図１に基本構成例Ｉとしての画像処理装置１を示す。
図１の画像処理装置１は、画像取込部１１と、動きぼけ補正パラメータ算出部１２と、動きぼけ補正処理部１３を備える。
画像取込部１１は画像データを当該画像処理装置１に取り込む部位としている。
動きぼけ補正パラメータ算出部１２は、画像取込部１１により取り込まれた画像データについての動きぼけを補正するために必要なパラメータを設定する。
動きぼけ補正処理部１３は、画像取込部１１により取り込まれた画像データの動きぼけ量を補正する処理を行う。
【００３３】
動きぼけ補正パラメータ算出部１２は、画像取込部１１により取り込まれた画像データの動き情報、および画像データを撮像した時の各フレームの露光時間を示すシャッタ速度情報を入力とする。そしてこれらに入力情報から、取り込まれた画像データの動きぼけ量を補正するために最適なパラメータを、画像データの各フレーム内の各分割領域について算出し、動きぼけ補正処理部１３に供給する。
例えば図２に示すように１フレーム内について複数の分割領域（画素ブロック）＃１〜＃ｍを設定し、これら分割領域＃１〜＃ｍのそれぞれについての動きぼけ補正パラメータを算出し、動きぼけ補正処理部１３に供給する。
なお動き情報とは、フレーム間での画像の動きを示す情報に限定されるものではなく、例えばフィールド間での画像の動きを示す情報など、動画像を構成する単位画像間における画像の動きを示す情報であればよい。
【００３４】
動きぼけ補正処理部１３は、動きぼけ補正パラメータ算出部１２により算出された動きぼけ補正パラメータを用いて、画像データの動きぼけ量を補正して、当該画像処理装置１の外部へ出力する。
この動きぼけ補正処理部１３は、分岐部３１、動きぼけ削減処理部３２、動きぼけ付加処理部３３、合成部３４を備える。
【００３５】
分岐部３１は、入力された画像データについての各分割領域＃１〜＃ｍの画像データについて、それぞれ当該分割領域の動きぼけ量を減らすべきか増やすべきかに応じて、後段の動きぼけ削減処理部３２、動きぼけ付加処理部３３のいずれかへ出力する。
動きぼけ削減処理部３２は、入力した画像データの当該領域の動きぼけ量を減少する処理を行う。
動きぼけ付加処理部３３は、入力した画像データの当該領域の動きぼけ量を増加する処理を行う。
なお、或る分割領域について動きぼけ量の補正が不要である場合は、分岐部３１は、その分割領域の画像データを合成部３４に出力する。但し、実際には、動きぼけ量の補正が不要な分割領域については動きぼけ削減処理部３２、動きぼけ付加処理部３３で補正を行わない（補正量ゼロ）として処理を行うものとすればよい。
【００３６】
合成部３４は、動きぼけ削減処理部３２又は動きぼけ付加処理部３３で動きぼけ補正された分割領域の画像データ、及び補正不要とされた分割領域の画像データについて、合成処理を行い、フレーム画像として合成する。
【００３７】
このような動きぼけ補正処理部１３において、分岐部３１には、動きぼけ補正パラメータ算出部１２で算出された動きぼけ補正パラメータが入力される。
この動きぼけ補正パラメータは、画像データの各フレーム内の各分割領域について算出されており、画像データにおいて現在の処理対象となっている分割領域に行う動きぼけ補正処理の情報が含まれている。
動きぼけ補正処理部１３の動きぼけ補正処理の内容とは、動きぼけ量が過剰、すなわちブラー劣化が発生しやすい領域に対しては、動きぼけを削減するデ・ブラー（de-blur）処理を実行し、動きぼけ量が不足、すなわちジャーキネス劣化が発生しやすい領域に対しては、動きぼけを付加するアド・ブラー（ad-blur）処理のいずれかを実行することである。
そして分岐部３１は、動きぼけ補正パラメータに基づいて、各分割領域の画像データの分岐処理を行う。つまりデ・ブラー処理を行う分割領域の画像データは動きぼけ削減処理部３２に出力し、アド・ブラー処理を行う分割領域の画像データは動きぼけ付加処理部３３に出力する。
【００３８】
動きぼけ削減処理部３２または動きぼけ付加処理部３３へと出力された画像データは、ジャーキネス劣化とブラー劣化の双方を低減するために最適な動きぼけ補正処理され、合成部３４へと出力される。
動きぼけ補正処理された画像データの各領域は、合成部３４にてフレーム画像として合成されて出力される。
このような構成の動きぼけ補正処理部１３の処理により、ジャーキネス劣化とブラー劣化の双方が低減された動画像信号の出力が実現される。
【００３９】
なお、動きぼけ補正処理部１３については、動きぼけ付加処理部３３を省略し、動きぼけ削減処理部３２による補正処理のみとすることも本発明の画像処理装置として想定される。また動きぼけ削減処理部３２を省略し、動きぼけ付加処理部３３による補正処理のみとすることも考えられる。
但し、これらの場合、ジャーキネス劣化とブラー劣化のどちらか一方は残留する恐れがある。例えば、動きぼけ削減処理のみを実装した場合、シャッタ速度を高速に制御して撮像された画像データが入力したとすると、被写体が移動する領域に発生するジャーキネス劣化を低減することはできない。逆に、動きぼけ付加処理のみを実装した場合、シャッタ速度を低速に制御して撮像された画像データが入力したとすると、被写体が移動する領域に発生するブラー劣化を低減することはできない。
【００４０】
図１の構成例（後述の図３，図４も同様）では、動きぼけの削減処理と付加処理を適応的に組み合わせて用いることにより、画像データの撮像シャッタ速度などの条件によらず、ジャーキネス劣化とブラー劣化の双方を低減することができる。
以上のような構成からなる画像処理装置１では、画像データを表示した際、人間の視覚特性上において不自然に感じられる、ジャーキネス劣化とブラー劣化について、この劣化に影響を及ぼす、画像データの動き情報と撮像時のシャッタ速度情報に基づいて、適応的に画像データに動きぼけを補正することにより、双方の劣化を低減するものである。
【００４１】
［２．基本構成例II］
図３は、実施の形態の基本構成例IIとしての画像処理装置２の構成について示すものである。
上記基本構成例Ｉの画像処理装置１は、画像取込部１１で画像データについてのシャッタ速度情報が得られる場合を想定していた。
上記の通り、動きぼけを補正（付加または削減）する処理の選択において、撮像時のシャッタ速度情報を手掛かりとする。例えば画像処理装置１が撮像機能を有する装置であって、画像取込部１１が撮像を実行して画像データを得るのであれば、当該装置が有しているシャッタ機能から、実際に撮像時に用いたシャッタ速度の値を抽出するのは容易である。また画像データのメタデータ等としてシャッタ速度情報が含まれている場合には、そのメタデータ等からをシャッタ速度の値を取り込める。
ところが、本例の画像処理装置を、画像信号を受信したり、記録媒体から再生したりして表示させる装置の一部などとして想定した場合、一般的に画像データが撮像された時のシャッタ速度は未知となる。
【００４２】
そこで、基本構成例IIは、画像処理を用いて入力画像信号を解析することで、画像信号が撮像された時のシャッタ速度を推定する手段を備えるようにする例である。
図３でその処理構成を示す画像処理装置２は、画像取込部１１で、画像データの各フレームの露光時間を示すシャッタ速度情報が得られない場合を想定したものである。そのため、特に図１の画像処理装置１と異なるのは、シャッタ速度推定処理部１４を具備している点である。
【００４３】
シャッタ速度推定処理部１４は、画像取込部１１により取り込まれた画像データ、および画像データの動き情報を入力とし、入力の画像データを解析する画像処理を実行することで、画像データを撮像した時の各フレームの露光時間を示すシャッタ速度情報を推定する。
推定されたシャッタ速度情報は、動きぼけ補正パラメータ算出部１２へと出力される。
動きぼけ補正パラメータ算出部１２及び動きぼけ補正処理部１３の処理の流れは図１の画像処理装置１と同様である。
【００４４】
このような構成からなる画像処理装置２により、画像データを表示した際、人間の視覚特性上において不自然に感じられるジャーキネス劣化とブラー劣化について、この劣化に影響を及ぼす画像データの動き情報を用いて画像データを解析処理することにより、画像データが撮像された時のシャッタ速度情報を推定し、さらに画像データの動き情報および推定されたシャッタ速度情報に基づいて、適応的に画像データに動きぼけを補正することにより、双方の劣化を低減するものである。
【００４５】
［３．基本構成例III］
図４の基本構成例IIIは、上記図１，図３の動きぼけ補正処理部１３に代わる構成として動きぼけ補正処理部１３Ａを備えたものである。他は図３の基本構成例IIと同様としている。
動きぼけ補正処理部１３Ａは、動きぼけ削減処理部３２、動きぼけ付加処理部３３、選択合成部３５を備える。
この場合、動きぼけ削減処理部３２は、入力された画像データの全ての分割領域について、動きぼけ削減処理を行う。また動きぼけ付加処理部１３３は、入力された画像データの全ての分割領域について、動きぼけ付加処理を行う。
【００４６】
選択合成部３５には、動きぼけ削減処理部３２から、全ての分割領域について動きぼけ削減処理を行った画像データが供給される。また動きぼけ付加処理部３３からは、入力された画像データの全ての分割領域について、動き動きぼけ削減処理を行った画像データが供給される。さらに入力された画像データ（動きぼけ補正されていない画像データ）も供給されている。
選択合成部３５は、動きぼけ補正パラメータに基づいて、画像データの各分割領域について、動きぼけ削減されたデータと、動きぼけ付加されたデータと、未補正のデータのいずれかを選択しする。そして選択した各分割領域のデータを合成して、１フレームの出力画像データを生成し、出力する。
つまり基本構成例Ｉ、IIでは補正処理前に、分岐部３１で実行する補正処理を選択していたことに対し、この図４の基本構成例IIIでは、分割領域の全部について動きぼけ削減及び動きぼけ付加の補正処理を行い、その後、適切な補正状態の画像データを選択して出力画像データを出力する処理方式となる。
【００４７】
なお、図４では動きぼけ補正処理部１３Ａ以外は、図３と同様とした例を示したが、動きぼけ補正処理部１３Ａ以外を図１と同様とする例も考えられる。
【００４８】
以上の基本構成例Ｉ、II、IIIにおいては、動きぼけ補正パラメータ算出部１２が、本発明請求項でいう補正パラメータ算出手段に相当する。また動きぼけ補正処理部が本発明請求項でいう動きぼけ補正処理手段に相当する。またシャッタ速度推定処理部１４が本発明請求項でいうシャッタ速度推定処理手段に相当する。
【００４９】
［４．基本構成例IIに基づく具体的構成：画像再生装置１００］
［４−１：画像再生装置１００の全体構成］
以下では、上述した基本構成例IIの画像処理装置２に係る具体的な実施形態について記載することで、本実施の形態の内容をより詳細に説明する。
なお、基本構成例Ｉの画像処理装置１は、撮像シャッタ速度情報が得られているという点で、画像処理装置２の特別なケースととらえることができるため、以下では特に画像処理装置２に基づいた実施形態例について記載するものである。基本構成例Ｉにかかる具体的な実施形態は、図５以降で説明する構成の内、シャッタ速度推定処理に関する構成が不要となったものと考えればよい。また、基本構成例IIIについては後述する。
【００５０】
図５は、基本構成例IIの画像処理装置２が適用された実施の形態例に係る画像再生装置１００の構成を示している。
この図５に示す画像再生装置１００は、伝送路を介して伝送されてくる画像データを受信しての再生、またはＤＶＤ（Digital Versatile Disc）やブルーレイディスク（Blu-ray Disc（登録商標））などの記録媒体２００に記録された画像データの再生、を行う画像再生装置である。
【００５１】
この画像再生装置１００は、図５に示すように、伝送路を介して伝送されてくる符号化された画像データを受信する受信処理部１１０と、記録媒体２００から符号化された画像データを読み込みする読込処理部１２０を備える。
また符号化された画像データを復号画像データＤＤに復号する復号処理部１３０と、復号画像データＤＤから動きベクトルＶＤを生成する動きベクトル生成処理部１４０を備える。
また、復号画像データＤＤおよび動きベクトルＶＤを用いて画像データを撮像した時のシャッタ速度ＳＳＤを推定するシャッタ速度推定処理部１５０と、動きぼけ補正パラメータ算出部１７０を備える。
また復号画像データＤＤに動きベクトルＶＤとシャッタ速度ＳＳＤに応じて動きぼけ量を補正する動きぼけ補正処理部１６０を備える。
また、動きぼけが付加されることによりジャーキネス劣化が低減された動画像を表示装置に表示させる動画像表示出力部１９０と、復号画像を静止画像として表示装置に表示させる静止画像表示出力部１８０とを備えている。
【００５２】
なお、一点鎖線で囲った受信処理部１１０，読込処理部１２０、復号処理部１３０、動きベクトル生成処理部１４０が、図３の基本構成例IIにおける画像取込部１１に相当する部位となる。また、シャッタ速度推定処理部１５０が図３のシャッタ速度推定処理１４に相当し、動きぼけ補正パラメータ算出部１７０が図３の動きぼけ補正パラメータ算出部１２に相当し、動きぼけ補正処理部１６０が図３の動きぼけ補正処理部１３に相当する。
【００５３】
図５において、受信処理部１１０及び読込処理部１２０は、それぞれＭＰＥＧ（Moving Picture Experts Group）規格などの画像の動き情報に基づいて予測符号化された画像データを取り込み、この画像データを復号処理部１３０に供給する処理部である。
ここでは、受信処理部１１０及び読込処理部１２０によって動画像として取り込まれる画像データは、単位時間を１秒とし、この単位時間に対して６０フレームの画像数から構成されているものとする。すなわち、本例では、画像データがフレームレートを６０［ｆｐｓ：frame per second］のプログレッシブ形式の単位画像から構成されているものとして以下説明する。なお、画像データはプログレッシブ形式に限定されるものではなく、フィールド画像単位で処理するインタレース方式で構成されているようにしても良い。また、フレームレートについても本実施形態で用いる６０［ｆｐｓ］のみに限定するものではない。
【００５４】
なお、画像再生装置１００は、外部から画像データを取り込む手段として、受信処理部１１０及び読込処理部１２０のうち少なくとも何れか一方を備えていればよい。
また、画像再生装置１００は、外部から画像データを取り込むのに加えて、画像データのメタデータとして含まれているなどするシャッタ速度情報を取り込める構成にしてもよい。この場合は、前述の基本構成例Ｉの画像処理装置１に準じた構成となり、撮像時のシャッタ速度ＳＳＤを推定するシャッタ速度推定処理部１５０は不要になる。
【００５５】
復号処理部１３０は、受信処理部１１０、又は読込処理部１２０から取り込んだ画像データを復号する。そして復号処理部１３０は、ここで復号されたデータである復号画像データＤＤを動きベクトル生成処理部１４０、シャッタ速度推定処理部１５０、および動きぼけ補正処理部１６０に供給する。
また復号処理部１３０は、この復号画像データＤＤを静止画像として処理するとき、静止画像表示出力部１８０にのみ復号画像データＤＤ供給して、復号画像データＤＤを動画像として処理しなくてもよい。
【００５６】
動きベクトル生成処理部１４０は、復号処理部１３０から供給される復号画像データＤＤから、この復号画像データＤＤの動き情報として、動きベクトルＶＤを生成する。
ここで言う動きベクトルとは、フレーム間における動画像の移動位置と移動方向とを示す情報である。
また、精度よく動体の動き情報を取得するために画素単位で動きベクトルを生成するようにすることも可能であるが、本実施形態に係る動きベクトル生成処理部１４０では、演算処理の負担を軽減するため、フレーム画像を複数の領域に分割した画素ブロック単位で動きベクトルを生成する。
【００５７】
なお、ＭＰＥＧ規格などにより符号化された画像データもの場合には、符号化情報として動きベクトルが含まれている。本実施形態ではこのような符号化情報としてのベクトルを流用して用いることも可能であり、これを採用することは処理の軽減化において有意である。
但し、この符号化用の動きベクトルは、あくまで動画像を符号化するための情報であり、符号化処理が動きベクトル以外に残差情報などと組み合わせて用いて行われるので、画像全体に亘って実際の動体の動きに応じた値を忠実に示しているとは必ずしもいえない。
このため本実施形態においては、より実際の動体の動きに忠実な動きぼけを付加するため、動きベクトル生成処理部１４０は、後述する処理工程によって復号画像における実際の動体の動きに応じた動きベクトルを精度良く検出するようにしている。
【００５８】
シャッタ速度推定処理部１５０は、復号処理部１３０から供給される復号画像データＤＤから、画像データを撮像した時のシャッタ速度ＳＳＤの推定を行なう。また、このシャッタ速度推定処理は、動きベクトル生成処理部１４０から供給される動きベクトルＶＤを用いて、具体的には後述する処理工程により実現される。
ここで、シャッタ速度情報とは、上述したように画像データを撮像した時の、撮像画像に付加される動きぼけに影響を及ぼす情報であり、具体的には、シャッタ機能を有する撮像装置により画像データが撮像された時の各単位画像の露光時間を示す。
なおシャッタ機能としては、撮像装置において、撮像素子の駆動時間を制御する電子シャッタ、開閉機構を用いて露光時間中だけ開放して撮像素子側へレンズからの光を通すメカニカルシャッタ、及び液晶素子の透過率を制御して露光時間中だけ撮像素子側へレンズからの光を通す液晶シャッタなどによって実現される。
【００５９】
動きぼけ補正パラメータ算出部１７０は、具体的には後述する処理により、シャッタ速度推定処理部１５０から供給されるシャッタ速度情報ＳＳＤ、および動きベクトル生成処理部１４０から供給される動きベクトルＶＤに基づいて、動きぼけ補正パラメータを算出し、動きぼけ補正処理部１６０に出力する。
【００６０】
動きぼけ補正処理部１６０は、具体的には後述する処理により、復号処理部１３０から供給される復号画像データＤＤに対して、動きぼけ補正パラメータ算出部１７０から供給される動きぼけ補正パラメータに基づいて、動きぼけの補正処理を行う。
動きぼけの補正処理とは、画像データＤＤの各分割領域を、動きベクトルＶＤに含まれる各分割領域に対応した移動速度の値に応じて、ジャーキネスとブラーの発生を低減させる最適なシャッタ速度での撮像に対応する、擬似的な画像へ変換する処理であると言い換えられる。
その際、変換処理前の入力画像信号の撮像シャッタ速度ＳＳＤを参照し、各分割領域における最適シャッタ速度が、撮像シャッタ速度ＳＳＤよりも低速である場合、動きぼけを付加する処理を行い、逆に撮像シャッタ速度ＳＳＤよりも高速である場合、動きぼけを除去する処理を行うこととなる。
そして動きぼけ補正処理部１６０は、各分割領域を変換処理した画像を１フレーム画像に合成し、出力画像信号ＯＤを生成し、動画像表示出力部１７０へと出力する。
【００６１】
動画像表示出力部１９０は、動きぼけ補正処理部１６０によって動きぼけが補正されることによりジャーキネス劣化とブラー劣化の双方が低減された動画像を、ＬＣＤ（Liquid Crystal Display）などの表示装置に動画像として出力する。
静止画像表示出力部１８０は、復号処理部１３０から供給された復号画像データＤＤを静止画像として、ＬＣＤなどの表示装置に出力する。
【００６２】
［４−２：動きベクトル生成処理部１４０］
次に図５に示した個々の処理部位についての詳細を記載する。まず最初に、動きベクトル生成処理部１４０の構成と動作について記述する。
動きベクトル生成処理部１４０は、上述したように画素ブロック単位で動きベクトルを精度良く生成する部位であって、具体的には図６に示すように、動きベクトル検出部１４１、画素ブロック特定処理部１４２、動きベクトル推定処理部１４３、動きベクトル平滑化処理部１４４、及び遅延部１４１ａ，１４２ａを有する。
【００６３】
動きベクトル検出部１４１は、処理対象フレームと直前フレームとから動きベクトルを検出する。
画素ブロック特定処理部１４２は、処理対象フレームの動きベクトルと直前フレームの動きベクトルとを画素ブロック毎に比較して、相関の高い画素ブロックを特定する。
動きベクトル推定処理部１４３は、画素ブロック特定処理部１４２により特定された画素ブロックの動きベクトルから、それ以外の画素ブロックの動きベクトルを推定する。
動きベクトル平滑化処理部１４４は、動きベクトルに対して平滑化処理を施す。
【００６４】
復号処理部１３０から供給された復号画像データＤＤは、動きベクトル検出部１４１と、復号画像データＤＤを１フレーム分遅延させる遅延部１４１ａに供給される。
動きベクトル検出部１４１は、復号処理部１３０から供給された復号画像データＤＤを処理対象フレームとする。そして当該処理対象フレームと、遅延部１４１ａにより１フレーム分遅延された直前フレームとから、処理対象フレームの動きベクトルを、画素ブロック単位で検出する。
なお、動きベクトル検出部１４１に係る処理をソフトウェアによって実装する場合には、一般的なブロックマッチング法を用いて画素ブロック単位で動きベクトルを検出すればよい。
【００６５】
動きベクトル検出部１４１で検出された動きベクトルは、画素ブロック特定処理部１４２と遅延部１４２ａに供給される。遅延部１４２ａは入力された動きベクトルを１フレーム分遅延させる。
画素ブロック特定処理部１４２は、動きベクトル検出部１４１から供給される処理対象フレームの動きベクトルと、遅延部１４２ａにより遅延された直前フレームの動きベクトルとを、次に示すように画素ブロック単位で比較して、この比較結果から相関の高い画素ブロックを特定する。
【００６６】
具体的に、画素ブロック特定処理部１４２は、処理対象フレームの一の画素ブロックの動きベクトルを（ｘ，ｙ）とし、これに対応する直前フレームの画素ブロックの動きベクトルを（ｘ’，ｙ’）とし、任意に決定される相関判定係数をαとして、次の（数１）により、この画素ブロックのベクトル相関係数σを算出する。
【００６７】
【数１】
なお、相関判定係数αは、その定義域を０＜α＜１とし、αの値が大きいほど、ベクトル相関係数σの値が１として算出される係数である。
【００６８】
そして画素ブロック特定処理部１４２は、上述した（数１）から各画素ブロックのベクトル相関係数σを算出して、ベクトル相関係数σが１である画素ブロックを相関の高い動きベクトルを有するものとして特定する。
【００６９】
動きベクトル推定処理部１４３は、画素ブロック特定処理部１４２でベクトル相関係数σの値が１として特定された画素ブロックの動きベクトルから、このベクトル相関係数σの値が０である画素ブロックの動きベクトルを推定する。
即ち動きベクトル推定処理部１４３は、前段の画素ブロック特定処理部１４２で、ベクトル相関係数σの値が１とされた画素ブロックが有効な動きベクトルを有しているものとして、それ以外の画素ブロック、つまりベクトル相関係数σの値が０とされ有効ではない動きベクトルを有している画素ブロックの動きベクトルを更新する。
【００７０】
具体的な動きベクトル推定処理部１４３の処理工程について、図７を参照して詳細に説明する。
ステップＳ１において、動きベクトル推定処理部１４３は、処理対象フレームにおける現在の処理対象の画素ブロック（以下、注目画素ブロックという。）のベクトル相関係数σが１か０であるかを判断する。すなわち、動きベクトル推定処理部１４３は、この画素ブロックの動きベクトルが有効であるか否かを判断する。そして、動きベクトル推定処理部１４３は、この画素ブロックの動きベクトルが有効であるとき動きベクトルの値を更新せずに本処理工程を終了し、この画素ブロックの動きベクトルが有効でないときステップＳ２に進む。
【００７１】
ステップＳ２において、動きベクトル推定処理部１４３は、注目画素ブロックに対して、その注目画素ブロックの周辺に有効なベクトルを有する周辺画素ブロックが存在するか否かを判断する。具体的には、動きベクトル推定処理部１４３は、周辺画素ブロックとして、この注目画素ブロックに隣接する合計８つの画素ブロックに対して有効な動きベクトルが存在するか否かを判断し、有効な動きベクトルが存在するとき、ステップＳ３に進み、有効な動きベクトルが存在しないとき、この注目画素ブロックの動きベクトルを更新せずに本処理工程を終了する。
【００７２】
ここで、有効な動きベクトルが存在しない注目画素ブロックに対して、より広範囲に位置する周辺画素ブロックを用いて推定処理を行わない理由は、次の通りである。
第１の理由としては、より広範囲に位置する画素ブロックを用いて推定処理を行うことは可能であるが、仮に実現したとしても、固定時間処理で本処理工程を終了するためには、周辺画素ブロックとして扱われる画像データを一時的に記憶するための記憶領域が増大してしまうからである。
第２の理由としては、本処理工程の後段で、上述した隣接する合計８つの画素ブロックよりも広範囲の周辺画素ブロックを用いて注目画素ブロックの動きベクトルに対して平滑化処理を施すことにより、有効ではない動きベクトルを適切に補正することができるからである。
【００７３】
ステップＳ３において、動きベクトル推定処理部１４３は、有効な動きベクトルを有する周辺画素ブロックの動きベクトルのみから、この注目画素ブロックの動きベクトルを推定して更新して、本処理を終了する。動きベクトル推定処理部１４３では、推定処理の一例として、有効な動きベクトルを有する周辺画素ブロックの動きベクトルのみを入力としたメディアンフィルタにより注目画素ブロックの動きベクトルを出力して平滑化する。
【００７４】
動きベクトル推定処理部１４３は、以上のようにして、処理対象フレームの動きベクトルを画素ブロック単位で推定する。そして、動きベクトル推定処理部１４３は、画素ブロック特定処理部１４２で特定された動きベクトルを含めた動きベクトルを、動きベクトル平滑化処理部１４４に供給する。
【００７５】
動きベクトル平滑化処理部１４４は、処理対象画像を構成する各画素ブロックの動きベクトルに対して平滑化処理を施す。具体的に、動きベクトル平滑化処理部１４４は、平滑化処理前の注目画素ブロックの動きベクトルと上述した隣接画素ブロックよりも広範囲の周辺画素ブロックの動きベクトルとを入力Ｉ（ｘ＋ｉ，ｙ＋ｊ）として、下記に示す（数２）に示すようなガウス型関数により、平滑化処理後の注目画素ブロックの動きベクトルＪ（ｘ，ｙ）を出力する。
【００７６】
【数２】
ここで、ｒは注目画素ブロックと各周辺画素ブロックとの２次元空間上の距離を示し、σ2はこの距離ｒについての分散を示し、ｔ2は動きベクトルについての分散を示している。すなわち、σ2及びｔ2は、平滑化の度合いを表す値として任意に設定されるパラメータとなっている。
【００７７】
動きベクトル平滑化処理部１４４は、処理対象フレームを構成する各画素ブロックに対して上述した平滑化処理を施して、動きベクトルＶＤを動きぼけ補正パラメータ算出部１７０に供給する。
【００７８】
このように、動きベクトル平滑化処理部１４４は、処理対象フレームを構成する各画素ブロックから、有効な動きベクトルを有する画素ブロックを特定し、この有効な動きベクトルからそれ以外の動きベクトルを推定する。このため精度良く実際の動体の動きに応じた動きベクトルを生成することができる。
なお、動きベクトル生成処理部１４０では、動きベクトル検出部１４１により検出した動きベクトルを、画素ブロック特定処理部１４２及び動きベクトル推定処理部１４３を介さずに、直接動きベクトル平滑化処理部１４４に供給して平滑化処理を施してもよい。このような処理を行った場合にも、上述した符号化情報として動きベクトルに比べて、実際の動体の動きに応じた精度の良い動きベクトルを生成することができる。
【００７９】
［４−３：シャッタ速度推定処理部１５０］
次に、シャッタ速度推定処理部１５０の具体的な構成例について、図８を参照して詳細に説明する。
図８は、シャッタ速度推定処理部１５０の構成の一例を示すブロック図である。シャッタ速度推定処理部１５０は、処理対象領域選択部１５１、動きぼけ特性解析部１５２、撮像シャッタ速度演算部１５３、撮像シャッタ速度高精度化処理部１５４を備える。
このシャッタ速度推定処理部１５０は、入力された復号画像データＤＤおよび動きベクトルＶＤが入力される。そしてシャッタ速度推定処理部１５０は、これらの入力された情報について画像解析を行うことで画像データが撮像された際のシャッタ速度ＳＳＤを推定し、出力する。
【００８０】
シャッタ速度推定処理部１５０に入力された復号画像データＤＤおよび動きベクトルＶＤは、まず処理対象領域選択部１５１へと入力される。
処理対象領域選択部１５１は、シャッタ速度の算出を目的とした画像解析を実行する処理対象フレーム、および選択されたフレーム内の処理の対象領域を選択する。そして選択された対象領域ＤＤＴとしての画像データ、および当該対象領域ＤＤＴに対応する動きベクトルＶＤＴを、後段へと出力する。
なお後述するが、対象領域ＤＤＴとは１フレーム内でシャッタ速度推定処理の対象として抽出された領域の画像データのことである。
また処理対象領域選択部１５１は、動画として入力される復号画像データＤＤについてのシーンチェンジを検出し、シーンチェンジ検出信号ＳＣＤを撮像シャッタ速度高精度化処理部１５４に出力する。
【００８１】
処理対象領域ＤＤＴは、動きぼけ特性解析部１５２へと入力される。処理対象領域ＤＤＴとしての画像データ（１フレーム内における処理対象領域とされた画素範囲の画像データ）は、動きぼけ特性解析部１５２において画像解析処理される。そして動きぼけ特性解析部１５２は、当該処理対象領域中に発生している動きぼけの長さ、“動きぼけ長”Ｌを算出する。動きぼけ長Ｌの定義については後述する。算出された動きぼけ長Ｌは、撮像シャッタ速度演算部１５３へと出力される。
【００８２】
撮像シャッタ速度演算部１５３では、処理対象領域ＤＤＴにおいて発生した動きぼけ長Ｌの値、および当該処理対象領域に対応する動きベクトルＶＤＴの値を用いて、撮像時のシャッタ速度を推定した値である推定撮像シャッタ速度ＳＳＤＴを算出する。そして算出した推定撮像シャッタ速度ＳＳＤＴを撮像シャッタ速度高精度化処理部１５４へと出力する。
撮像シャッタ速度高精度化処理部１５４には、複数の処理対象領域から推定された、各々の推定撮像シャッタ速度ＳＳＤＴが入力される。撮像シャッタ速度高精度化処理部１５４では、これらの値を用いて高信頼度な推定撮像シャッタ速度ＳＳＤを算出し、後段へと出力する。
【００８３】
ここで、図８のシャッタ速度推定処理部１５０の各処理ブロックで行われる処理について説明する前に、シャッタ速度推定処理部１５０で行われる処理の前提となる、動きぼけの特性について説明する。
シャッタ速度推定処理部１５０における処理は、撮像時のシャッタ速度が未知の画像からシャッタ速度を推定する処理であるが、まず基本的な動きぼけの特性を説明するため、動きぼけの発生と移動速度および撮像シャッタ速度との関係について述べる。その後に、発生する動きぼけの特性を考慮したシャッタ速度の推定方法について詳細を述べていく。
【００８４】
動きぼけの発生と移動速度および撮像シャッタ速度との関係について、図９、図１０を用いて簡単に説明する。
図９は、撮像によって発生する動きぼけの特性を説明する図である。
図９の上段は、実空間中のある領域に注目し、その空間的な位置と明るさの関係を示している。この図の例では、水平方向で空間的な位置を、垂直方向で明るさをそれぞれ表現している。またこの例では、前景が右に向かって一定の速度で移動しており、明るい前景が暗い背景へと覆い被さっていく状況を想定している。
一方、図９の下段は、上段の図で示した実空間中の注目領域を、図中の撮像装置を用いて撮像することで得られた画像信号について、その水平方向の１ラインの座標と輝度の関係をシミュレートしている。この図では、水平方向で画像信号中の座標を、垂直方向で輝度をそれぞれ表しており、点線は画素の単位を表現している。また、この撮像装置はシャッタ機能を有していることを想定しており、画像を取得する際の露光時間である、シャッタ速度を制御できるものとする。
【００８５】
図９下段の（ｉ）は、このシャッタ機能を用いて理想的な高速シャッタで（露光期間を無限小として）撮像した場合の画像信号であり、図９下段の（ii）は、低速シャッタで（ある一定の露光期間で）撮像した画像信号である。（ｉ）と（ii）を比較すると、（ｉ）がステップ関数状の信号であるのに対し、（ii）では露光期間が長い分だけ光が積分されて撮像した結果、（ｉ）の信号に動きぼけが発生している状態が見てとれる。
この図から、画像信号中において、移動する被写体の境界付近における動きぼけは、ローパスフィルタの特性を有することがわかる。
以降においては、（ii）中に見られるように、図示した前景の輝度Ｂｆと背景の輝度Ｂｂが安定して記録されている領域に挟まれた、輝度値の勾配が見られる領域、を動きぼけ領域であるものと定義し、この間の距離を動きぼけ長Ｌと表現して用いる。
【００８６】
図１０の左側に示す（Ａ）（Ｂ）（Ｃ）は、被写体の移動速度と動きぼけ長Ｌとの関係について説明する図である。
この図１０（Ａ）（Ｂ）（Ｃ）は、図９の上段において前景の移動速度をそれぞれに変更した場合について、発生する動きぼけの特性を示している。撮像時のシャッタ速度は、図１０（Ａ）（Ｂ）（Ｃ）の全ての図に例おいて一定の値であるものとする。
【００８７】
前景の移動速度を図１０（Ａ）（Ｂ）（Ｃ）のそれぞれの場合についてＡ、Ｂ、Ｃと表現するとき、移動速度の大きさには、Ａ：Ｂ：Ｃ＝３：２：１という関係があるものとする。このとき、図１０（Ａ）（Ｂ）（Ｃ）中に図示した、(Ａ)Ｌ＝９画素、(Ｂ)Ｌ＝６画素、(Ｃ)Ｌ＝３画素のように、動きぼけ長Ｌも３：２：１の関係となる。この理由は、撮像される画像信号が同じ露光期間分だけ光が積分されて記録されるため、この露光期間に被写体が移動した範囲が動きぼけ領域となるためである。
このように、移動速度を有する画素の周辺において発生する動きぼけ長Ｌは、被写体の移動速度の大きさに比例する、といえる。
【００８８】
一方、図１０の右側に示す（ａ）（ｂ）（ｃ）は、撮像シャッタ速度と動きぼけ長との関係について説明する図である。
この図１０（ａ）（ｂ）（ｃ）は、図９の上段において撮像装置のシャッタ速度をそれぞれに変更した場合について、発生する動きぼけの特性を示している。前景の移動速度は、上図１０（ａ）（ｂ）（ｃ）の例おいて一定の値であるものとする。
【００８９】
撮像シャッタ速度を図１０（ａ）（ｂ）（ｃ）のそれぞれの場合についてａ、ｂ、ｃと表現するとき、撮像シャッタ速度は、ａ：ｂ：ｃ＝４：２：１という関係があるものとする。
このとき、図１０（ａ）（ｂ）（ｃ）に示した(ａ)Ｌ＝８画素、(ｂ)Ｌ＝４画素、(ｃ)Ｌ＝２画素のように、ぼけ長Ｌも４：２：１の関係となる。この理由は、撮像の露光期間に光が積分されて記録されるため、撮像される被写体の移動速度が一定であれば、露光期間が長いほど動きぼけ領域が長くなるためである。
このように、移動速度を有する画素の周辺において発生する動きぼけの長Ｌは、撮像時のシャッタ速度の大きさに比例する、といえる。
【００９０】
以上のように、動きぼけ長は被写体の移動速度、および、撮像シャッタ速度に比例する。
ここで動きぼけ長をＬ［画素］、被写体の画像信号中における移動速度をＶ［画素／フレーム］、撮像シャッタ速度Ｓ［秒］、動画像のフレームレートをＦ（フレーム／秒）表現すると、
【数３】
の関係が成り立つ。フレームレートＦを乗じる理由は、移動速度Ｖを１フレーム期間における移動量としたためである。
【００９１】
例えば、図１０（ａ）（ｂ）（ｃ）において、移動速度を８［画素／フレーム］として、撮像シャッタ速度を（ａ）Ｓ＝Ｔ、（ｂ）Ｓ＝Ｔ／２、（ｃ）Ｓ＝Ｔ／４、フレームレートをＦ＝１／Ｔとすると（Ｔはフレーム周期［秒］に相当）、
（ａ）Ｌ＝８×Ｔ×（１／Ｔ）＝８ [画素]
（ｂ）Ｌ＝８×（Ｔ／２）×（１／Ｔ）＝４ [画素]
（ｃ）Ｌ＝８×（Ｔ／４）×（１／Ｔ）＝２ [画素]
となり、図１０（ａ）（ｂ）（ｃ）にて発生する動きぼけ長Ｌと等しいことが確認できる。
【００９２】
ここまで、動きぼけの発生と、移動速度および撮像シャッタ速度との関係について、簡単な例を用いて説明したが、シャッタ速度推定処理部１５０の目的は、撮像シャッタ速度が未知の画像からこれを推定することであるため、上述の（数３）を、以下のように変形しておく。
【数４】
【００９３】
この（数４）より、画像中の注目する領域が有する移動速度Ｖ、およびフレームレートＦ、が既知であるとすると、未知である撮像時のシャッタ速度Ｓを算出は、発生する動きぼけ長Ｌが得られれば可能であることがわかる。
【００９４】
さて以下では、シャッタ速度推定処理部１５０の構成の一例を示す図８について、各処理ブロックにおける処理内容を明らかにし、シャッタ速度推定の処理手法を説明する。
なお、撮像シャッタ速度が未知の画像からこれを推定する方法は、以下で紹介する手法に限られたものではない。ここでは例として、上で定義した動きぼけ長Ｌを特定することで、撮像時のシャッタ速度を算出する方法を挙げる。
【００９５】
シャッタ速度推定処理部１５０の入力である復号画像データＤＤおよび動きベクトルＶＤは、まず処理対象領域選択部１５１へと入力される。ここでは、シャッタ速度推定のための画像解析を実行する対象となる領域（以下「対象領域」という）の抽出を行い、処理対象領域ＤＤＴおよび当該対象領域ＤＤＴに対応する動きベクトルＶＤＴを後段へと出力する。
この抽出処理は、動きぼけが発生する領域が入力された動画像信号における、当該フレームの全領域について行わなくてもよい、という前提において行う。フレーム中から何らかの方法で解析処理の対象となる対象領域を選択する必要があるわけである。
【００９６】
ここで限定された対象領域にのみ撮像シャッタ速度の推定を行うことが問題にならない理由は、一般的に撮像時のシャッタ速度が１つのフレーム画像内において均一であることが通常であるためである。さらに、処理コストの観点からも、処理を行う対象領域が少ないことが利点となる。
上記の理由から、原理的には当該フレーム中の１ヶ所の対象領域において、シャッタ速度推定処理を行えば、その他の領域でのシャッタ速度推定は必要ないわけであるが、それでも処理コストが許容する範囲で、フレーム内で複数の対象領域を抽出してシャッタ速度推定処理を実行することは、シャッタ速度推定の精度向上のためには大変有効である。
そのため本例では、１フレーム内から複数の対象領域において下記の処理を実行し、複数得られた結果から、撮像シャッタ速度ＳＳＤを推定するものとする。複数の異なるシャッタ速度の値が推定された場合に信頼性を向上する処理は、後段の撮像シャッタ速度高精度化処理部１５４において実行する。その処理内容については後述する。
【００９７】
復号画像データＤＤの或る１フレーム中から、解析処理の対象となる対象領域を選択する方法について唯一に限定するものではないが、その詳細を後述する動きぼけ特性の解析処理が効果的に実行できるためには、図９、図１０に示した被写体の境界エッジ周辺の領域であることが望ましい。
また、或る領域の移動速度が０である場合には、その領域では動きぼけが発生しないため、対象領域の選択の際に移動速度情報を用いて、一定の移動速度を有する領域を対象領域として選択することが望まれる。
また、エッジの方向と移動速度の方向の関係は、できるだけ直交に近い関係であると、発生する動きぼけの解析が行いやすい。
以上をまとめると、一定の移動速度を有し、なるべく移動速度の方向と直交に近い方向のエッジ周辺の領域を解析の対象領域として選択すればよい、ということとなる。
【００９８】
さらに、解析を画像処理にて実現するために処理コストの観点から考えると、スキャンライン方向に画素をピックアップする方がよい。そのため、水平方向の移動速度を有する垂直方向エッジ周辺の領域が、対象領域の抽出について最も便宜がよい。このような領域を選択する場合、詳細を後述する動きぼけ特性解析処理では、複数ラインにまたがる処理は必要なく、全て１ラインの処理で実現できる。
以上をまとめると、水平方向に移動速度を持つ垂直方向のエッジ周辺の領域に注目すれば、移動速度の大きさに対し十分な画素数の水平方向の画素のみを用いて、後述する動きぼけ特性解析処理は実現できる。
【００９９】
図１１は対象領域の選択についてその例を示したものである。
図１１（ａ）は復号画像データＤＤの或る１フレームを示している。ここまでに説明した通り、復号画像データＤＤに対してエッジ抽出処理、例えばsobelフィルタなどを用いてエッジ領域を抽出し、図１１（ｂ）に示したエッジデータＥＤのようなデータを得る。さらに、上記の説明の通り、水平の移動速度を有した垂直方向エッジ周辺の水平１ラインを選択する。例えば図中ＡＲ１〜ＡＲ５と示したような領域を対象領域とする。なお対象領域ＡＲ１〜ＡＲ５は、それぞれ水平１ライン内の一部とされればよい。
そして図１１（ｃ）のように各対象領域についての輝度情報を得る。この図１１（ｃ）は、横軸に対象領域の各画素の座標、縦軸に輝度情報を示している。
【０１００】
なお、ここまでの説明は、当該１フレーム内についてのものであったが、当該フレームの全領域に対して処理を行わなくても問題ないことと同様、対象領域の選択は全てのフレームにおいて実行しなくてもよい。その理由は、複数フレームで構成される動画像が、少なくともシーンチェンジが発生するフレームまでの間は、撮像時のシャッタ速度が一定であることが一般的であるためである。したがって、あるフレームを解析することで推定された撮像シャッタ速度は、次のシーンチェンジが検出されるまで、その値を保持すればよいこととなる。
【０１０１】
このようにシャッタ速度推定処理は、シーンチェンジが検出されてから次のシーンチェンジが検出されるまでの間に、少なくともある一つのフレームで実行すればよい。しかしながら、上述したように１つのフレーム内において複数の対象領域を抽出して、それぞれの対象領域でシャッタ速度推定処理を実行するのと同様に、処理コストが許容する範囲で複数のフレームでシャッタ速度推定処理を実行することは、シャッタ速度推定の精度向上のために大変有効である。複数の異なるシャッタ速度の値が推定された場合に信頼性を向上する処理は、後述する撮像シャッタ速度高精度化処理部１５４において実行する。
【０１０２】
ここで処理対象領域選択部１５１による対象領域選択処理の具体例を、図１２を参照して説明する。
なお図１２は、図８の構成において、処理対象領域選択部１５１と撮像シャッタ速度高精度化処理部１５４について、動作説明のために内部機能構成例を示したものである。
【０１０３】
図１２の例では、処理対象領域選択部１５１は、垂直方向エッジ検出部１５１１、水平方向移動速度しきい値処理部１５１２、対象領域判別部１５１３、およびシーンチェンジ検出部１５１４によって構成されている。
上述の通りこの例においては、１つのフレーム内から、一定以上の水平方向の速度を有した垂直方向エッジ周辺の領域を対象領域として抽出し、抽出した対象領域のみにおいてシャッタ速度推定処理を行うようにする。
【０１０４】
垂直方向エッジ検出部１５１１では、入力された復号画像データＤＤの当該フレーム中の各領域に対し、エッジ検出処理を行う。このとき、Sobelフィルタなどの方向選択型マスク処理を用いて、垂直方向のエッジのみを抽出すればよい。
垂直エッジ領域として判別された領域は、入力した当該領域の画像信号をそのまま対象領域判別部１５１３へと出力する。垂直エッジ領域として判別されなかった領域については、領域内の全ての画素信号を「０」にして、対象領域判別部１５１３へ出力するものとする。
水平方向移動速度しきい値処理部１５１２には、動きベクトルＶＤが入力される。ここで、一定以上の水平方向の速度を有した領域を選別するため、各領域の持つ動きベクトルの水平成分、ここでは水平成分ＶＤｘと表現するが、この値をしきい値処理する。
あらかじめ用意しておいたしきい値をＴＨとすると、水平成分ＶＤｘがしきい値ＴＨより大きい（ＶＤｘ＞ＴＨ）場合、入力した当該領域の動きベクトル信号をそのまま対象領域判別部１５１３へと出力する。水平成分ＶＤｘがしきい値ＴＨより大きくない（ＶＤｘ≦ＴＨ）場合、当該領域の有する動きベクトル値をすべて「０」にして、対象領域判別部１５１３へ出力するものとする。
【０１０５】
対象領域判別部１５１３では、入力した当該領域の画像データ、および動きベクトルが双方ともに０でない場合のみ、当該領域がシャッタ速度推定処理の対象領域であるものと判断する。その場合にのみ、当該領域を対象領域ＤＤＴとする。上述したように「対象領域ＤＤＴ」とは、対象領域と判定した領域の画像データのことである。
そして対象領域判別部１５１３は、対象領域ＤＤＴを動きぼけ特性解析部１５２へと出力し、また当該領域の動きベクトルＶＤＴを撮像シャッタ速度演算部１５３へ出力する。
【０１０６】
また、処理対象領域選択部１５１に入力した復号画像データＤＤの各フレームは、シーンチェンジ検出部１５１４に供給され、シーンチェンジ検出処理が行われる。なおシーンチェンジの手法は、例えば特許文献２として挙げた特開２００４−２８２３１８等に開示された手法を採用すればよい。もちろん他にもシーンチェンジ検出処理手法は多様に考えられる。
そしてシーンチェンジが検出された場合には、シーンチェンジ検出部１５１４は、シーンチェンジ検出信号ＳＣＤを撮像シャッタ速度高精度化処理部１５４へと出力する。
【０１０７】
例えば以上のようにして処理対象領域選択部１５１は、対象領域ＤＤＴを特定し、これを動きぼけ特性解析部１５２へと出力する。また、対象領域ＤＤＴの位置に対応する動きベクトルＶＤＴを取り出し、こちらは撮像シャッタ速度演算部１５３へ出力する。
続いて、動きぼけ特性解析部１５２における処理について説明する。
ここで言う動きぼけ特性の解析とは、上記のように選択された対象領域について、その動きぼけが有する動きぼけ長Ｌ（図９（ii）、図１１（ｃ）参照）を推定する処理である。
【０１０８】
動きぼけ長Ｌを求める方法はいくつかが考えられるが、ここでは大きく分けて２種類を説明する。
１つ目は、動きぼけの数式モデルを定義しておき、実際に画像信号中に発生した動きぼけとの誤差関数を最小にする前記数式モデル中のパラメータを発見することにより推定する方法である。
２つ目は、事前に用意しておいた動きぼけのサンプルパターンと実際に画像信号中に発生した動きぼけとのマッチングにより推定する方法である。
【０１０９】
まず、１つ目の方法の一例を述べる。
動きぼけの影響を受けたエッジ周辺の輝度値を数式モデルで表現し、動きぼけ長を推定する手法としては、非特許文献３に示される手法が利用できる。
この方法は、エッジ周辺の各画素の座標をｐ、エッジ周辺に発生するぼけの中心位置の座標（未知）をｐ０と表し、これを用いて変数tを次の（数５）のように設定する。
なお、図９（ii）に中心位置座標ｐ０を示している。
【数５】
【０１１０】
これを用いて、エッジ周辺の動きぼけの特性を模擬した関数式ｇ（ｔ）を以下のように定義する。
【数６】
【０１１１】
このとき、実際の動きぼけとの比較は、以下の（数７）を用いる。
【数７】
なお（数７）には、図９（ii）で示した前景の輝度Ｂｆと背景の輝度Ｂｂの値を用いている。
【０１１２】
さて、（数７）にエッジ周辺領域の画素座標ｐに代入、実際の動きぼけの値との距離関数を最小とするような、パラメータＬ、ｐ０、Ｂf、Ｂｂを見つければ、目的である動きぼけ長Ｌを推定することができるわけである。
距離関数を最小化するような４つの未知数を探索するためには、準ニュートン法などの数値解放を用いるのがよい。距離関数は、実画像と関数ｆにおいて対応する各画素値について、その差分の２乗値や絶対値の線形和を比較するのが一般的である。
上記の例では（数６）に見られるような、光学ローパスフィルタやフォーカスなどの撮像条件を加味した上で、支配的な動きぼけの特性を模擬した関数式を定義しているが、これは、図９（ii）の画像信号の例のように、シンプルな不連続関数でもよい。
【０１１３】
次に２つ目の方法の一例を説明する。
ここでは、画像信号中において上記のように処理対象として選択されたエッジ周辺の対象領域における空間周波数成分から、動きぼけの長さＬを推定する方法を述べる。
図９を用いて説明した通り、移動速度を有する画素の周辺において発生する動きぼけがローパスフィルタとして表現可能である。これを利用し、周波数解析結果のマッチングによる方法で、発生する動きぼけ長Ｌを推定する。
【０１１４】
図９で示した通り、動きぼけの発生は露光期間によって、その特性が決まる。移動速度が一定のとき、同じ動きぼけ長を有する動きぼけは、同一の周波数特性を持つはずである。
例えば、まず、撮像時の動きぼけが発生した図９（ii）の例のような画像信号について、あらゆる動きぼけ長を持った動きぼけのサンプルパターンを用意し、これらに対し所定の周波数解析を行い、各サンプルパターンが有する周波数成分を記憶しておく。周波数解析の具体的な方法には、フーリエ変換やウェーブレット解析などの一般的な方法のうち１つを用いればよい。
解析対象とされた対象領域が入力されると、サンプルパターンに行った処理と同様の周波数解析を行い、どのサンプルパターンの周波数成分と最も近いか、を誤差関数などによって判別する。最も近いサンプルパターンの動きぼけ長が、解析対象領域中のエッジが有する動きぼけ長Ｌとなる。
【０１１５】
図１３は、周波数解析結果のマッチングによる動きぼけ長Ｌ推定の、具体的な処理方法の例について、その処理の流れを記している。
解析対象と判別されたエッジ周辺の対象領域は、高速フーリエ変換（ＦＦＴ） 部１５２１へと入力される。ここで、当該対象領域に対し、高速フーリエ変換（ＦＦＴ）の処理が行われ、当該対象領域が有する支配的な周波数成分を周波数成分マッチング部１５２２へと出力する。本例においては、高速フーリエ変換の結果として、各周波数におけるパワースペクトラムを算出し、その上位３つの値を持つ周波数を後段へと送ることにしている。
周波数成分マッチング部１５２２では、入力された当該対象領域が有する支配的な周波数成分と、最も類似した周波数パターンを持つ、動きぼけサンプルを動きぼけサンプル周波数テーブル１５２３から探索し、発見した動きぼけサンプルの動きぼけ長Ｌを出力する。
【０１１６】
図１４は、動きぼけサンプル周波数テーブル１５２３の例を示すものである。これは図示するように、各種の動きぼけ長Ｌ（Ｌａ・・・Ｌｍａｘ）のそれぞれについて、上位３つの周波数成分が記憶されたテーブルデータとされる。
周波数成分マッチング部１５２２は、当該対象領域が有する上位３つの周波数成分と最も近い周波数成分を有するサンプルを、図１４のようなルックアップテーブルから探索する。このためには、誤差を評価する関数を用意する必要がある。例えば差の２乗を線形に足し合わせる一般的な距離関数のようなもので評価を行ってもよい。該当したサンプル動きぼけパターンが有する動きぼけ長が求めるべきＬである。
【０１１７】
上記までに、動きぼけのサンプルパターンと実際に画像信号中に発生した動きぼけとのマッチングにより動きぼけ長Ｌを推定する方法として、空間周波数成分に注目して行う方法を説明した。これに対し、実空間において、サンプルパターンと解析対象と判別されたエッジ周辺の領域の比較評価を行う方法も考えられる。言い換えれば、画像信号としてサンプル動きぼけパターンを保存しておき、実際の画像信号との誤差関数が最小になるようなサンプル動きぼけパターンを探索する方法も可能である。
【０１１８】
シャッタ速度推定処理部１５０における動きぼけ特性解析部１５２は、上記いずれかの方法を用いて動きぼけ長Ｌを推定し、出力する。出力された動きぼけ長Ｌは、撮像シャッタ速度演算部１５３へと入力される。
【０１１９】
撮像シャッタ速度演算部１５３で行われるのは、対象領域ＤＤＴ中の動きぼけが有する動きぼけ長Ｌと、対象領域ＤＤＴに対応する動きベクトルＶＤＴを用いて、推定撮像シャッタ速度ＳＳＤＴを求めることである。これは、換言すれば、単に上記（数４）を解くことである。
前記の通り、（数４）中のフレームレートＦは既知であり、移動速度Ｖは対象領域ＤＤＴに対応する動きベクトルＶＤＴの水平方向成分を用いればよく、これも既知である。また、動きぼけ特性解析部１５２によって動きぼけ長Ｌも推定されている。このため（数４）からシャッタ速度Ｓが簡単に求められ、これが撮像シャッタ速度演算部１５３が出力する推定撮像シャッタ速度ＳＳＤＴとなる。
【０１２０】
最後に撮像シャッタ速度高精度化処理部１５４により撮像シャッタ速度ＳＳＤが生成され、出力される。
この撮像シャッタ速度高精度化処理部１５４には、撮像シャッタ速度演算部１５３において推定された推定撮像シャッタ速度ＳＳＤＴが入力されるが、この場合、複数の対象領域から推定された推定撮像シャッタ速度が入力されるようにする。
先に述べたように、シャッタ速度推定処理は、原理的にはシーンチェンジが検出されてから次のシーンチェンジが検出されるまでの間に、ある１フレームの１ヶ所の領域を選択して処理を実行することで可能であるが、フレーム内の複数の対象領域、および、複数のフレームで同処理を実行することが、推定精度の向上のために有効である。このため、複数の推定撮像シャッタ速度ＳＳＤＴを用いて撮像シャッタ速度ＳＳＤを生成するようにする。
このように異なる複数の推定撮像シャッタ速度ＳＳＤＴが推定された場合には、加重平均値や中間値をもとめて、最終的に出力する撮像シャッタ速度ＳＳＤとすることが考えられる。そのような処理により、信頼性を向上することができる。
【０１２１】
以下では図１２により、撮像シャッタ速度高精度化処理部１５４の動作例を述べる。
図１２の例では、撮像シャッタ速度高精度化処理部１５４は、撮像シャッタ速度蓄積部１５４１、撮像シャッタ速度フィルタ処理部１５４２、およびシーンチェンジ検出信号受信部１５４３によって構成されている。
【０１２２】
撮像シャッタ速度演算部１５３により対象領域について算出された推定撮像シャッタ速度ＳＳＤＴは、撮像シャッタ速度高精度化処理部１５４に入力すると、まず撮像シャッタ速度蓄積部１５４１に入り、その値を蓄積するものとする。
撮像シャッタ速度フィルタ処理部１５４２は、撮像シャッタ速度蓄積部１５４１に蓄積された１つ以上の推定撮像シャッタ速度ＳＳＤＴの値を用いて、これに所定のフィルタ処理を行う。先に述べた通り、この処理は、異なる複数の推定撮像シャッタ速度ＳＳＤＴの値が入力された場合における、信頼度向上の効果を期待して行うものである。フィルタの内容は、平均化処理、加重平均化処理、中間値検出処理などを行えばよい。
また、撮像シャッタ速度蓄積部１５４１に蓄積する推定撮像シャッタ速度ＳＳＤＴの値のデータ量を軽減するためには、ＩＩＲフィルタを用いれば、直前の処理結果のみを保持すればよく、効率的である。
【０１２３】
シーンチェンジ検出信号受信部１５４３は、処理対象領域選択部１５１中のシーンチェンジ検出部１５１４から入力されたシーンチェンジ検出信号ＳＣＤを受信する。シーンチェンジ検出信号ＳＣＤを受信した場合、当該処理フレームにおいて、シーンチェンジが起こったものとみなし、その結果、撮像シャッタ速度が変更になるものとみなす。
その場合、シーンチェンジ検出信号受信部１５４３は、リセット信号を撮像シャッタ速度蓄積部１５４１へと出力し、蓄積されているこれまでの撮像シャッタ速度の推定値を削除する。以降、撮像シャッタ速度フィルタ処理部１５４２は、撮像シャッタ速度蓄積部１５４１に新たに入力した、撮像シャッタ速度の推定値を用いて、信頼性の高い撮像シャッタ速度の算出を行っていく。
【０１２４】
このような動作による撮像シャッタ速度フィルタ処理部１５４２の処理結果が、当該フレームの、また、当該シーン（直前にシーンチェンジが検出されてから次にシーンチェンジが検出されるまで）の、撮像シャッタ速度ＳＳＤとして出力される。
【０１２５】
以上が、シャッタ速度推定処理部１５０における一連のシャッタ速度の推定方法の説明である。上記までの手法により推定されたシャッタ速度ＳＳＤは、動きぼけ補正パラメータ算出部１７０へと出力される。
【０１２６】
［４−４：動きぼけ補正パラメータ算出部１７０及び動きぼけ補正処理部１６０］
次に、図５に示した動きぼけ補正パラメータ算出部１７０及び動きぼけ補正処理部１６０で行われる処理について説明する。
動きぼけ補正パラメータ算出部１７０及び動きぼけ補正処理部１６０における処理の目的は、復号画像データＤＤの各分割領域（図２参照）を、シャッタ速度推定処理部１５０から入力した撮像シャッタ速度ＳＳＤを参照しつつ、動きベクトル生成処理部１４０から入力した動きベクトルＶＤの値に応じてフィルタリング処理を実行し、ジャーキネスとブラーの双方の発生が低減された出力画像を動画像表示出力部１９０へと出力するものである。
その際に実行する動きぼけ補正処理とは、分割領域ごとに動きぼけを削減または付加するフィルタリング処理であり、フィルタリング処理選択は具体的には後述する手法により、適応的に行なわれる。
【０１２７】
図１５は、動きぼけ補正パラメータ算出部１７０及び動きぼけ補正処理部１６０の具体的な構成例を示すものである。動きぼけ補正パラメータ算出部１７０は、処理選択制御部１７１と最適シャッタ速度情報記憶部１７２を備える。
動きぼけ補正処理部１６０は、分岐部１６３、動きぼけ削減処理部１６４、動きぼけ付加処理部１６５、合成部１６６を備える。
【０１２８】
上述した動きベクトル生成処理部１４０から出力された動きベクトルＶＤ、及びシャッタ速度推定処理部１５０から出力された撮像シャッタ速度ＳＳＤは、まず処理選択制御部１７１へと入力される。
処理選択制御部１７１では、入力された動きベクトルＶＤ中の当該分割領域に対応するベクトルの値を用いて、最適シャッタ速度情報記憶部１７２に記憶してあるデータである最適シャッタ速度情報を参照し、当該分割領域における最適シャッタ速度ＳＳＤ０を導出する。
そして処理選択制御部１７１はさらに、シャッタ速度推定処理部１５０から供給された撮像シャッタ速度ＳＳＤと、最適シャッタ速度ＳＳＤ０を比較評価する。これにより当該分割領域に対して実行すべきフィルタリング処理が、動きぼけの削減処理なのか、或いは動きぼけの付加処理なのか、或いは動きぼけ補正処理不要かを判断し、それを伝達する処理選択制御情報ＳＣＳを分岐部１６３へと出力する。
【０１２９】
また、処理選択制御部１７１は、選択された動きぼけ補正用のフィルタリング処理ブロック、すなわち、動きぼけ削減処理部１６４および動きぼけ付加処理部１６５へと、フィルタリング処理に必要な、フィルタパラメータＰＤを出力する。動きぼけ補正は、動きぼけの削減または付加のいずれかの処理によって実現されるわけであるが、フィルタパラメータＰＤは、その処理の具合（量／強度）を調整するために用いられる。
【０１３０】
分岐部１６３へは、復号画像データＤＤが既に入力されており、処理選択制御情報ＳＣＳに応じて、分割領域毎に、動きぼけ削減処理部１６４または動きぼけ付加処理部１６５の選択された方へと出力する。
なお分岐部１６３は、動きぼけ補正が不要と判断された分割領域については、動きぼけ削減処理部１６４または動きぼけ付加処理部１６５に供給せずに合成部１６６に出力するようにしてもよい。但しここでは、動きぼけ補正が不要と判断された分割領域については、動きぼけ削減処理部１６４または動きぼけ付加処理部１６５で補正量ゼロとして処理されるものとする。
【０１３１】
動きぼけ削減処理部１６４では、分岐部１６３から供給される分割領域毎の画像データについて、詳しくは後述する手法で、動きぼけ量を減少させるフィルタリング処理を実行し、合成部１６６へと出力する。
動きぼけ削減処理部１６５では、分岐部１６３から供給される分割領域毎の画像データについて、詳しくは後述する手法で、動きぼけ量を増加させるフィルタリング処理を実行し、合成部１６６へと出力する。
合成部１６６へと出力された、各分割領域のフィルタリング処理後の画像信号は、この合成部１６６で各フレーム画像へと再構成され、出力画像信号ＯＤとして、出力される。
【０１３２】
以降、図１５に示した構成例の各処理ブロックにおける処理を順に説明していく。
またその過程で、動きぼけ補正処理部１６０で行われる処理を理解する上でポイントとなる、前記最適なシャッタ速度情報について詳細な説明、前記動きぼけ削減処理と動きぼけ付加処理の選択方法についての説明、および双方のフィルタリング処理の具体的な実現方法について例を挙げた説明を加えていく。
【０１３３】
処理選択制御部１７１で実行される最初の処理は、入力された動きベクトルＶＤ中の当該分割領域に対応するベクトルの値を用いて、事前から最適シャッタ速度情報記憶部１７２に記憶されているデータである最適シャッタ速度情報を参照し、当該分割領域における最適シャッタ速度ＳＳＤ０を導出する、ことであった。
そのため、処理選択制御部１７１の処理内容を述べる前に、最適シャッタ速度そのものについて説明しておく。
【０１３４】
図１６は、動きベクトルとして検出される動体の移動速度を示す被写体速度と、この被写体速度に応じた最適シャッタ速度曲線を表した図である。
ある移動速度に対する最適なシャッタ速度とは、もし仮にそのシャッタ速度で実際の撮像が行なわれた場合、ジャーキネス劣化と動きぼけ劣化の双方が低減される、という値である。即ち最適シャッタ速度とは、被写体の移動速度に応じた、視覚特性上、ジャーキネス劣化が知覚されにくく、且つ、動きぼけが過度に付加されることによって被写体のディテールが欠損したり不鮮明になるぼけ劣化も知覚されにくいシャッタ速度である。
また、動きぼけ量は撮像時の露光期間であるシャッタ速度の値が大きくなるほど増加する関係にある。
そして、この最適シャッタ速度よりも速いシャッタ速度で被写体を撮像すると、撮像画像には、ジャーキネス劣化が生じていると判断できる。一方、この最適シャッタ速度よりも遅いシャッタ速度で被写体を撮像すると、撮像画像には、ぼけ劣化が生じていると判断することができる。
【０１３５】
最適シャッタ速度情報記憶部１７２は、この図１６で表現するような最適なシャッタ速度の情報を事前に有している箇所であり、これを動きぼけ量調整の基準として用いて、後段の動きぼけ量を調整するフィルタリング処理の内容を決定する。言い換えれば、後段の動きぼけ削減処理部１６４および動きぼけ付加処理部１６５で行われるフィルタリング処理は、画像中の各領域を“最適なシャッタ速度で撮像された相当”の動きぼけを含んだ画像に変換する処理、と言える。
【０１３６】
図１６の最適シャッタ速度曲線ＳＳ０は、任意の被写体速度と最適なシャッタ速度との対応関係を示した一例であって、具体的には心理実験に基づいて得られた実験結果値を結んだ曲線である。ここで、図１６に示す動きぼけ領域Ａ１は、最適シャッタ速度曲線ＳＳ０に基づいて、被写体の動きによる動きぼけが過度に含まれると判別される領域である。同様にして、ジャーキネス領域Ａ２は、最適シャッタ速度曲線ＳＳ０に基づいて、被写体の動きによる動きぼけが含まれず、視覚特性上ジャーキネス劣化が生じていると判別される領域である。
この最適シャッタ速度曲線ＳＳ０を直接用いて動きベクトルに応じた最適シャッタ速度を求める場合には、任意の刻み幅で動きベクトルに応じた最適シャッタ速度情報をテーブルとして最適シャッタ速度情報記憶部１７２に予め記憶し、参照すればよい。
【０１３７】
また本例では、この実線で示された最適シャッタ速度曲線に近似する関数を用いることにより、動きベクトルに応じた最適シャッタ速度を算出するようにしてもよい。この場合、処理選択制御部１７１は、ある分割領域での動きベクトルをｖとして、下記の（数８）に示す最適シャッタ速度曲線の近似関数により最適シャッタ速度ＳＳＤ’を算出する。
【数８】
なお、この（数８）における各パラメータＡ、Ｂ、γは、図１１に示す最適シャッタ速度曲線の曲線形状に応じて適当な値を選択して用いるようにすればよい。シャッタ速度曲線の具体例として、図１１では、（数８）の各パラメータのうち、Ａ、Ｂの値を固定にして、γを３段階に変化させたときの曲線形状ＳＳ１〜ＳＳ３を示している。
【０１３８】
このように、ＳＳ０は主観評価実験により得られた値を基に作成した最適シャッタ速度曲線であり、ＳＳ１〜ＳＳ３はこれを上記（数８）で近似させた最適シャッタ速度曲線である。ＳＳ１〜ＳＳ３は、例えば装置の使用者の嗜好によって、この最適シャッタ速度曲線を調整するために用いることが可能である。
【０１３９】
なお、最適シャッタ速度情報記憶部１７２に保存されるデータの形式は、図１６のグラフ曲線や（数８）のような数式での表現のみならず、最適シャッタ速度曲線を量子化したテーブルを持つことなども可能である。
以上において、ジャーキネスとブラー双方の劣化の発生を最も低減させる最適なシャッタ速度について説明した。
【０１４０】
最適シャッタ速度情報記憶部１７２が図１６のグラフ曲線の形式で最適なシャッタ速度情報を有しているとして、処理選択制御部１７１で行なわれる当該分割領域における最適シャッタ速度ＳＳＤ０の導出方法を説明する。
【０１４１】
動きベクトルＶＤ中の当該分割領域に対応するベクトルの値から、その絶対値を計算したものを、当該分割領域の移動速度ＡＶＴと表現すると、移動速度ＡＶＴの値を図１６のグラフの横軸にとり、対応する曲線上の点を見つけ、さらにその曲線上の点に対応する縦軸の値を見つける。そのときの縦軸の値が、当該分割領域における最適シャッタ速度ＳＳＤ０である。
【０１４２】
図１７は、処理選択制御部１７１で行なわれる処理の流れを示すものである。
処理選択制御部１７１では、ステップＳ１０として、上記の要領で当該分割領域における最適シャッタ速度ＳＳＤ０を導出する。そしてステップＳ１１で、導出した最適シャッタ速度ＳＳＤ０と、既に処理選択制御部１７１に入力している撮像シャッタ速度ＳＳＤとを比較評価する。そしてその比較結果として、当該領域に対して実行するフィルタリング処理が、動きぼけの削減処理なのか、あるいは、動きぼけの付加処理なのか、を選択する。
その選択処理の基準は、各領域における最適シャッタ速度が撮像シャッタ速度ＳＳＤよりも低速である場合、ブラーを付加する処理を行いものとし（Ｓ１２）、逆に撮像シャッタ速度ＳＳＤよりも高速である場合、ブラーを削減する処理を行うものとする（Ｓ１３）ということとなる。
【０１４３】
また図１５に示したように、処理選択制御部１７１は、選択された動きぼけ補正用のフィルタリング処理ブロック、すなわち、動きぼけ削減処理部１６４および動きぼけ付加処理部１６５へと、フィルタパラメータＰＤを出力する。このフィルタパラメータＰＤは、動きぼけの削減および付加処理において、選択された処理の具合（量／強度）を調整するためのものである。特に本例では、各分割領域における撮像シャッタ速度と最適シャッタ速度の差分値であるシャッタ速度差分値ＳＳＤＤ、および動きベクトルＶＤの双方をフィルタパラメータＰＤとして、動きぼけ削減処理部１６４および動きぼけ付加処理部１６５の各々へと出力することとする。
シャッタ速度差分値ＳＳＤＤは、処理選択制御部１７１にて、動きぼけ補正の内容を動きぼけ削減処理とするか付加処理とするか、を判断する段階で行う比較評価の際に算出しておけばよい。ＳＳＤＤ＝ＳＳＤ−ＳＳＤ０の式からシャッタ速度差分値を算出することとすれば、シャッタ速度差分値ＳＳＤＤが正の場合に動きぼけ削減処理、負の場合に動きぼけ付加処理を実行することとなる。
【０１４４】
図１８は、図１６に撮像シャッタ速度と被写体速度（被写体の移動速度）の具体例を加えて記したものである。
この例を用いて、動きぼけ削減と動きぼけ付加のどちらのフィルタリング処理を実行するか、その選択について具体的に説明するとともに、双方のフィルタリングの実現例をそれぞれ説明する。
図１８中では、撮像時のシャッタ速度の例として撮像シャッタ速度Ｓａ〜Ｓｃ、被写体の移動速度の例として被写体速度Ｖａ〜Ｖｃを記載している。便宜上、最適シャッタ速度曲線は、図１６中からＳＳ０のみを選択して以降の説明に用いるが、これは図１６中のＳＳ０〜ＳＳ３のどれを選択して用いても問題ない。
【０１４５】
以下では、撮像シャッタ速度について３つの場合に分け、それぞれの場合における動きぼけ量調整処理についてその概要を説明する。それぞれの場合の例として、図１８の撮像シャッタ速度の値Ｓａ、Ｓｂ、Ｓｃを用いて説明する。
【０１４６】
＜１＞撮像シャッタ速度が図１８のＳａの場合
この場合、撮像シャッタ速度がオープンシャッタであり、被写体速度がＶａ、Ｖｂ、Ｖｃの全ての場合において、最適なシャッタ速度は実際の撮像シャッタ速度Ｓａよりも高速である。そのため、最適なシャッタ速度相当の動きぼけを含んだ画像を生成するためには、何らかの方法で動きぼけを削減する処理、いわゆるデ・ブラー（de-blur）処理を行って実現しなければならない。
この場合、処理選択制御部１７１は、動きぼけ削減処理を選択したことを伝達する処理選択制御情報ＳＣＳを分岐部１６３へと出力することとなり、分岐部１６３では入力された復号画像データＤＤ中の各分割領域の信号を、動きぼけ削減処理部１６４へと出力する。
【０１４７】
以下、動きぼけ削減処理部１６４で行われる動きぼけ削減の実現方法を、例を挙げて説明する。
具体的には例えば動きぼけ削減処理部１６４は、図１９の構成とする。
図１９の動きぼけ削減処理部１６４は、移動平均フィルタ特性変換部１６４１、移動平均フィルタ１６４２、減算部１６４３、加算部１６４４から構成されており、入力された復号画像データＤＤ中の当該分割領域に対して、動きぼけ量の削減を実現する。
【０１４８】
なお移動平均フィルタ１６４２として用いる移動平均フィルタとは、最も簡易なローパスフィルタの一種であり、処理対象画素が１画素移動する毎に、周辺画素との平均値を算出して出力するフィルタである。例えばある時点では、図２０（ａ）のように現在のサンプル値を含めてｎ個（図では４個）のサンプルで平均をとる。次の時点でも図２０（ｂ）のように現在のサンプル値を含めてｎ個（図では４個）のサンプルで平均をとる。ここでいうサンプル値が画素値となり、処理対象画素が１画素移動する毎に、処理対象画素を含む周辺画素のｎサンプルの平均を出力するものとする。
【０１４９】
移動平均フィルタ特性変換部１６４１には、フィルタパラメータＰＤが入力している。移動平均フィルタ特性変換部１６４１では、復号画像データＤＤ中の当該分割領域に位置的に対応するフィルタパラメータを入力されたフィルタパラメータＰＤから抽出し、これに基づいて移動平均フィルタ１６４２にて行われる処理のフィルタ特性を決定する。
例えば、複数のフィルタパラメータＰＤに対して、移動平均フィルタを１つずつ予め用意しておき、注目画素において用いるべきフィルタを決定すればよい。具体的には、以下のように行う。
【０１５０】
移動平均フィルタの特性を、注目画素周辺の何画素について平均処理を実行するか、と置き換えて考え、フィルタパラメータの一例としてシャッタ速度差分値ＳＳＤＤと動きベクトルＶＤの双方を用いることとする。このとき、シャッタ速度差分値ＳＳＤＤと動きベクトルＶＤの組合せ１つに対して、移動平均フィルタに用いる画素数を１つ決定するテーブルを用意しておき、各領域のシャッタ速度差分値ＳＳＤＤと動きベクトルＶＤが入力するたびに、移動平均フィルタに用いる画素数を出力する。
決定された移動平均フィルタに用いる画素数は、移動平均フィルタ部１６４２へと出力される。
【０１５１】
移動平均フィルタ部１６４２（ローパスフィルタ）は、処理対象の当該フレーム内の注目画素を含む所定のブロックに対して、移動平均フィルタ特性変換部１６４１により特性が決定された移動平均フィルタをかけることで、注目画素の画素値を変換する。移動平均フィルタ部１６４２により変換された注目画素の画素値は、減算部１６４３へと出力される。
すなわち、減算部１６４３には、移動平均フィルタ部１６４２により変換された注目画素の画素値が極性反転されて入力される。減算部１６４３にはまた、入力された復号画像データＤＤ中の処理対象のフレームのうちの注目画素が入力されている。
減算部１６４３は、入力画像データＤＤ中の当該画素の画素値と、移動平均フィルタ部１６４２により変換された注目画素の画素値との差分を求め、その差分値を加算部１６４４へと出力する。
このようにして、加算部１６４４には、移動平均フィルタ前後の差分が入力される。加算部１６４４にはまた、復号画像データＤＤ中の処理対象のフレームのうちの注目画素が入力されている。加算部１６４４は、注目画素の補正前の画素値に対して、移動平均フィルタ前後の差分値を加算し、その加算結果を出力画像（その一部）として出力する。
【０１５２】
以上が、図１９の構成例における動きぼけ削減処理部１６４の処理内容であるが、この処理の意味を理解するためには、周波数領域で考えるとわかりやすい。
減算部１６４３の出力信号である移動平均フィルタ前後の差分を周波数領域で考えた場合、着目された周波数において、入力された画像信号のゲインと、移動平均フィルタがかけられた後の画像信号のゲインとの差分が、減算部１６４３の出力信号のゲインとなる。さらに、加算部１６４４の出力画像信号のゲインは、入力された画像信号のゲインに対して、移動平均フィルタ前後の差分ゲインが加算された値となる。すなわち、各周波数のそれぞれにおいて、出力画像信号のゲインは、入力画像のゲインに比較して、移動平均フィルタ前後の差分ゲイン分だけ持ち上げられてことになる。
移動平均フィルタがローパスフィルタであることを踏まえ、上記の内容を換言すると、図１９の構成例に示す動きぼけ削減処理部１６４全体では、ハイパスフィルタをかける処理と基本的に等価な処理を実行していることになる。
【０１５３】
なお特許文献３（特開２００６−８１１５０号公報）では、当該分割領域に直接ハイパスフィルタを実行することで動きぼけ削減処理を実現する方法も提案している。しかし、ハイパスフィルタの例として、移動平均フィルタの伝達関数の逆関数の採用を前提としており、移動平均フィルタの周波数特性にはゲインが０となる周波数が含まれているため、完全な逆移動平均フィルタが生成できないことを問題としている。処理の簡易な実現のためにも、図１９の構成例に示す動きぼけ削減処理部１６４のようなローパスフィルタのみによる実現の方が適していると考えられるため、本例では、これを採用することが好ましい。
【０１５４】
以上に示した例などを用いて、動きぼけ削減処理の実現が可能である。当然ながら、動きぼけ量の削減方法は、上記に限られるものではない。
【０１５５】
＜２＞撮像シャッタ速度が図１８のＳｂの場合
この場合、撮像シャッタ速度が十分に速い場合であり、被写体速度がＶａ、Ｖｂ、Ｖｃの全ての場合において、最適なシャッタ速度は実際の撮像シャッタ速度Ｓｂよりも低速である。そのため、最適なシャッタ速度相当の動きぼけを含んだ画像を生成するためには、何らかの方法で動きぼけを付加する処理、いわゆるアド・ブラー（ad-blur）処理を行って実現しなければならない。
【０１５６】
この場合、処理選択制御部１７１は、動きぼけ付加処理を選択したことを伝達する処理選択制御情報ＳＣＳを分岐部１６３へと出力することとなり、分岐部１６３では復号画像データＤＤ中の各分割領域の信号を、動きぼけ付加処理部１６５へと出力する。
以下、動きぼけ付加処理部１６５で行われる動きぼけ付加の実現方法を、例を挙げて説明する。ここでは空間フィルタリングにより出力画像の生成を行う場合を例とする。
【０１５７】
動きぼけ付加処理部１６５は、図２１に示すように、動きぼけを付加する画像領域を特定する動きベクトルマスク情報を生成する動きベクトルマスク処理部１６５１と、動きベクトルを補正する動きベクトル補正部１６５２を有する。また処理対象フレームの各画素に応じた動きぼけ付加のためのフィルタパラメータを算出するフィルタパラメータ算出部１６５３と、処理対象フレームの各画素の画素値に対して動きぼけフィルタ処理を施す動きぼけ付加フィルタ１６５４を有する。
【０１５８】
ここで、画素単位で全ての処理を行うことも可能であるが、演算処理の負担を軽減するため、動きぼけ付加処理部１６５では、動きベクトルマスク処理部１６５１及び動きベクトル補正部１６５２に係る処理を、画素ブロックとしての分割領域単位で行うものとしている。
また、フィルタパラメータ算出部１６５３、及び動きぼけ付加フィルタ部１６５４、復号画像データＤＤに動きぼけを付加するフィルタ処理に当たるため、画素ブロックではなく、画素単位で行う。
【０１５９】
動きベクトルマスク処理部１６５１は、処理対象フレームのうち、動きぼけを付加する画像領域を特定するため、供給される分割領域単位の動きベクトルＶＤに対して、図２２に示すようなマスク処理を施して、マスク処理後の分割領域単位の動きベクトルを動きベクトル補正部１６５２に供給する。
ここで、動きぼけを付加する必要がある、ジャーキネス劣化が発生しやすい画像領域は、特に画面内の動体画像領域及びエッジ周辺の画像領域に集中する。
よって、動きベクトルマスク処理部１６５１では、図２２に示す処理により、ジャーキネスが発生しやすい、空間コントラストの高いエッジ周辺の画素ブロックの動きベクトルだけ有効な値として出力する。すなわちステップＳ２１において、動きベクトルマスク処理部１６５１は、分岐部１６３から供給される復号画像データＤＤに対し、画素ブロック単位で、処理対象フレーム内の空間コントラストの高い領域を特定するための処理として画像のエッジを検出する。
またステップＳ２１の処理と並列して、ステップＳ２２において、動きベクトルマスク処理部１６５１は、処理対象フレーム内の動体領域を特定するための処理として、フレーム間での差分を画素ブロック単位で算出することによって動体画像領域を検出する。
【０１６０】
ステップＳ２３において、動きベクトルマスク処理部１６５１は、上述したステップＳ２１及びＳ２２の何れか一方又は両方に係る処理で、ジャーキネス劣化が発生しやすい領域として検出されたか否かを、画素ブロック単位で判断する。そして、ジャーキネス劣化が発生しやすい領域と判断した画素ブロックに対して、動きベクトルマスク処理部１６５１は、マスク処理用のフラグを「１」に設定する。また、ジャーキネスが発生しやすい領域と判断されなかった画素ブロックに対して、動きベクトルマスク処理部１６５１は、マスク処理用のフラグを「０」に設定する。
【０１６１】
ステップＳ２４において、動きベクトルマスク処理部１６５１は、処理選択制御部１７１から供給される動きベクトルＶＤに対して、上述したフラグが「１」に設定されている画素ブロックの動きベクトルＶＤであるか否かを判断する。
動きベクトルマスク処理部１５１は、フラグが「１」に設定されている画素ブロックの動きベクトルに対しては、その値を変えずに、後段の動きベクトル補正部１６５２に出力する（Ｓ２４→Ｓ２６）。
また、動きベクトルマスク処理部１６５１は、フラグが「０」に設定されている画素ブロックの動きベクトルに対しては、ステップＳ２５において、動きベクトルの値を０又は無効にするマスク処理を施して、後段の動きベクトル補正部１６５２に出力する（Ｓ２４→Ｓ２５→Ｓ２６）。
【０１６２】
次に、動きベクトル補正部１６５２における処理は、入力している当該領域のシャッタ速度差分値ＳＳＤＤを用いて、動きベクトルＶＤを補正する処理である。
動きぼけ付加処理部１６５２で処理されているのは、シャッタ速度差分値ＳＳＤＤが負の場合である。また動画像である復号画像データＤＤのフレームレートをＦ（フレーム／秒）と表すとき、０（秒）よりは小さくなりえない撮像シャッタ速度ＳＳＤと、１／Ｆ（秒）よりも大きくなりえない最適シャッタ速度ＳＳＤ０、の差分値であるシャッタ速度差分値ＳＳＤＤは、−１／Ｆ（秒）より小さくはならない。
【０１６３】
後段で行われる動きぼけを付加する処理は、シャッタ速度差分値ＳＳＤＤが小さいほど（差の絶対値が大きいほど）、付加するぼけ量は大きくなり、シャッタ速度差分値ＳＳＤＤが０に近づくほど、付加するぼけ量は小さくなる。換言すれば、付加する動きぼけ量の指標となる動きベクトルＶＤは、シャッタ速度差分値ＳＳＤＤの値が小さいほど、大きな値を保持し、シャッタ速度差分値ＳＳＤＤの値が０に近づくほど、小さな値にならなくてはならない。
したがって、動きベクトル補正部１６５２にて行われる処理は、処理対象の画素ブロックにおいて、シャッタ速度差分値ＳＳＤＤが「−１／Ｆ」に近づくに伴って増加して値が１に収束し、ＳＳＤＤが「０」に近づくほど値が０に収束する関数ｆｓ（ＳＳＤＤ）を動きベクトルの値に乗じる処理を行うこととする。
【０１６４】
また、
−１／Ｆ ＜ Ａ ＜＜ Ｂ ＜ ０
の大小関係になる、−１／Ｆに近い値Ａ、０に近い値Ｂを設定し、Ａ以下の値の場合には関数ｆｓの出力値が１に、Ｂ以上の値の場合には関数ｆｓの出力値が０になるようにする、所謂クリッピングの方法を採用してもよい。
【０１６５】
なお、動きベクトル補正部１６５２は、関数ｆｓ（ＳＳＤＤ）に代えて、動きベクトルＶＤを変数としたｆｓ（ＶＤ）、または、シャッタ速度差分値ＳＳＤＤと動きベクトルＶＤとを２変数としたｆｓ（ＳＳＤＤ，ＶＤ）を用いて乗算処理を行うようにしてもよい。
このように、動きベクトルＶＤに対し、シャッタ速度差分値ＳＳＤＤや動きベクトルＶＤ自身といった、フィルタパラメータＰＤの値を用いて、適切な動きぼけを付加するための補正処理を施すので、後段で動きぼけ付加されたデータを動画像として表示した際、視覚特性上、より自然な画質を得ることができる。
【０１６６】
フィルタパラメータ算出部１６５３は、処理対象フレームを構成する各画素に対して動きぼけを付加するため、次に示すようなフィルタパラメータを画素単位で算出する。
まず、フィルタパラメータ算出部１６５３は、有効な動きベクトル情報を有する画素を注目画素として、各注目画素の動きベクトル上に位置する画素（以下、パラメータ算出対象画素という。）を特定する。そして、フィルタパラメータ算出部１６５３は、この注目画素に対する特定されたパラメータ算出対象画素の相対位置に応じたフィルタパラメータを、次に示すようにして算出する。
【０１６７】
すなわち、フィルタパラメータ算出部１６５３は、図２３に示すように、動きベクトルの始点Ｓと終点Ｅとの中点を注目画素Ｐ０の位置としたベクトル上に位置する画素の全てをパラメータ算出対象画素として特定する。なお、図２３に示すように、絶対値ｖは注目画素の動きベクトルの絶対値である。
続いて、フィルタパラメータ算出部１６５３は、動きベクトルの絶対値ｖと、注目画素Ｐ０の画素位置と上述した処理により特定したパラメータ算出対象画素Ｐ１の画素位置との間の距離ｄとに応じて、動きぼけ付加の強度σを下記の（数９）により算出する。
【数９】
ここで、式中の強度σを二乗した値が後段の動きぼけ付加フィルタ部１６５４におけるガウス型関数の分散となるように（数９）は設定されている。
【０１６８】
またフィルタパラメータ算出部１６５３は、注目画素Ｐ０を原点としたときの各パラメータ算出対象画素Ｐ１の直交座標平面ｘ−ｙの座標点を（ｘ1，ｙ1）として、動きぼけを付加する角度方向θを下記の（数１０）より算出する。
【数１０】
このようにして、フィルタパラメータ算出部１６５３は、注目画素の動きベクトルからパラメータ算出対象画素を特定して、特定した各パラメータ算出対象画素に対してパラメータ情報（σ，θ）を設定し、処理対象フレーム単位で動きぼけ付加フィルタ部１６５４に供給する。
【０１６９】
なお、フィルタパラメータ算出部１６５３に係る処理では、ある画素に対して重複してパラメータ算出対象画素が特定される場合がある。この場合には、処理を単純化するため、例えば、重複して特定されたパラメータ情報のうち、σの大きい値の情報を、その画素のパラメータ情報として設定すればよい。また、フィルタパラメータ算出部１６５３では、各パラメータ算出対象画素のパラメータ情報（σ，θ）に対して、ガウス関数型フィルタ処理やメディアンフィルタ処理などの平滑化処理を施すことにより、後段の動きぼけ付加フィルタ部１６５４から出力される動画像の画質を高めることができる。
【０１７０】
動きぼけ付加フィルタ部１６５４は、フィルタパラメータ算出部１６５３から供給されるパラメータ情報に応じて、復号画像データＤＤの処理対象フレームの各画素の画素値に対して、次に示すような処理対象フレーム内での空間的なフィルタ処理を施す。
本例において動きぼけ付加フィルタ部１６５４は、以下に示す第１のフィルタ処理、又は第２のフィルタ処理の一方又は両方を実行することにより、動きぼけを付加した画像を出力する。
【０１７１】
まず、第１のフィルタ処理について説明する。第１のフィルタ処理において、動きぼけ付加フィルタ部１６５４は、動きぼけ付加フィルタ処理前の動きぼけ付加対象画素の画素値と、この画素の周辺に位置する周辺画素の画素値とを入力Ｉ（ｘ＋ｉ，ｙ＋ｊ）とする。そして下記の（数１１）に示すようなガウス型関数により、フィルタ処理後の注目画像の画素値Ｊ（ｘ，ｙ）を出力する。
【数１１】
なお、入力Ｉ（ｘ＋ｉ，ｙ＋ｊ）となる周辺画素は、動きベクトルを付加する角度方向に応じて設定される。また、ｒは、動きぼけ付加対象画素と周辺画素との間の距離を示す。
【０１７２】
動きぼけ付加フィルタ部１６５４は、処理対象フレームを構成する全画素のうち、パラメータ情報（σ，θ）が設定されている画素毎に、上述したフィルタ処理を施して画素値を更新する。このようにして動きぼけ付加フィルタ１６５４は、ジャーキネス劣化が低減された動画像を動画像表示出力部１９０に供給することができる。
【０１７３】
ところで、注目画素の周辺に位置する周辺画素には、元々動きのない領域、すなわち背景領域となっているものがある。このような背景領域に位置する周辺画素は、本来注目画素に対して動きぼけを付加するのに考慮する必要がない。このような点に注目した処理方法が次に示す第２のフィルタ処理である。
すなわち、第２のフィルタ処理において、動きぼけ付加フィルタ部１６５４は、注目画素の動きベクトルの値が０又は無効であるときに、その注目画素の周辺に位置する周辺画素のうち動きベクトルの値が０又は無効である画素の画素値Ｉ（ｘ＋ｉ0，ｙ＋ｊ0）を注目画素の画素値Ｉ（ｘ，ｙ）に代えて、上記の（数１１）により注目画素の画素値Ｊ（ｘ，ｙ）を算出する。このようにして、動きぼけ付加フィルタ部１６５４は、第１のフィルタ処理よりも、視覚特性上自然にジャーキネス劣化を低減した画像を出力する。
【０１７４】
以上は、動きぼけ付加処理部１６５において空間フィルタリングを行う例としたが、動きぼけ付加処理部１６５では、時間フィルタリングにより出力画像の生成を行うようにする例も考えられる。その場合、適当数の中間フレームを生成して動きぼけ付加を行う方法が有効である。その構成例を図２４に示す。
図２４に示す動きぼけ付加処理部１６５は、中間フレーム生成部１６５５、画像蓄積部１６５６、フィルタ制御部１６５７、および動きぼけ付加フィルタ部１６５８によって構成されている。
【０１７５】
入力された復号画像データＤＤは、中間フレーム生成部１６５５および画像蓄積部１６５６へと入力される。中間フレーム生成部１６５５では、所定の中間フレーム生成手法により、既存の前後フレームを時間方向に補間する新規フレームを所定の数だけ生成し、画像蓄積部１６５６へと出力する。
中間フレームの生成処理手法には、様々な既存の手法が適用可能である。例えば、既存の前後フレームを、重みをつけてブレンドする方法のほか、中間フレーム生成部１６５５に入力した領域毎の動きベクトルの情報を用いて、この動きベクトルに基づく重みづけや画像ブレンドを実行することで、より精度の高い中間フレーム生成が可能となる。
【０１７６】
フィルタ制御部１６５７には、シャッタ速度差分値ＳＳＤＤおよび動きベクトルＶＤが入力しており、これを用いて、後段の動きぼけ付加フィルタ部１６５８に用いるフィルタパラメータＦＮを、各分割領域について算出する。
ここでフィルタパラメータＦＮについて説明する前に、まず、動きぼけ付加フィルタ部１６５８で行われる処理について、先行して説明しておく。
【０１７７】
動きぼけ付加フィルタ部１６５８で行われる処理は、フレームの平均化であり、平均化に用いるフレーム数は分割領域ごと適応的に決定する。換言すれば、入力された復号画像データＤＤ中の１フレームと、中間フレーム生成部１６５５で生成された複数のフレームを用いて、各分割領域でフレーム数の異なるフレーム平均化処理を実行するわけである。
簡単に言えば、平均化処理の対象とするフレーム数が多くなるほど、付加されるぼけ量は大きくなり、平均化処理の対象とするフレーム数が少なくなるほど、付加されるぼけ量は小さくなる。
【０１７８】
さて、フィルタ制御部１６５７の説明に戻るが、フィルタ制御部１６５７では、各分割領域に対応した、平均化に用いるフレーム数を決め、動きぼけ付加フィルタ部１６５８へと出力する。この平均化に用いるフレーム数がフィルタパラメータＦＮである。
平均化に用いるフレーム数（フィルタパラメータＦＮ）は、最小の場合で１であり、これは、復号画像データＤＤ中の１フレームが処理されずそのまま出力する場合である。最大の場合は、中間フレーム生成部において生成されたフレーム数を、既存フレームの前後でＫとおくと、このフレーム数Ｋに、入力フレーム自身を考慮に入れたＫ＋１であると都合がいい。フィルタパラメータＦＮは、１からＫ＋１の間の数から決められ、上記のように数が大になるほど、付加する動きぼけ量は大となる。
【０１７９】
フィルタパラメータＦＮの決定方法は、唯一に限られたものではないが、本例では、フィルタ制御部１６５７に入力したシャッタ速度差分値ＳＳＤＤを用いて以下のように行う。
動きぼけ付加処理部１６５で処理されているのは、シャッタ速度差分値ＳＳＤＤが負の場合である。また動画像である入力画像データＤＤのフレームレートをＦ（フレーム／秒）と表すとき、０（秒）よりは小さくなりえない撮像シャッタ速度ＳＳＤと、１／Ｆ（秒）よりも大きくなりえない最適シャッタ速度ＳＳＤ０との差分値であるシャッタ速度差分値ＳＳＤＤは、−１／Ｆ（秒）より小さくはならない。
【０１８０】
後段で行われる動きぼけを付加する処理は、シャッタ速度差分値ＳＳＤＤが小さいほど（差の絶対値が大きいほど）、付加するぼけ量は大きくなり、シャッタ速度差分値ＳＳＤＤが０に近づくほど、付加するぼけ量は小さくなる。換言すれば、付加する動きぼけ量の指標となる動きベクトルＶＤは、シャッタ速度差分値ＳＳＤＤの値が小さいほど、大きな値を保持し、シャッタ速度差分値ＳＳＤＤの値が０に近づくほど、小さな値にならなくてはならない。
【０１８１】
したがって、フィルタ制御部１６５７にて行われる処理は、処理対象の画素ブロックにおいて、シャッタ速度差分値ＳＳＤＤが「−１／Ｆ」に近づくに伴って増加して値がＫ＋１に収束し、ＳＳＤＤが「０」に近づくほど値が１に収束する関数ｇｓ（ＳＳＤＤ）による演算を行い、その結果として得られたFNを動きぼけ付加フィルタ部１６５８へと出力することである。また、
−１／Ｆ ＜ Ａ ＜＜ Ｂ ＜ ０
の大小関係になる、−１／Ｆに近い値Ａ、０に近い値Ｂを設定し、Ａ以下の値の場合には関数ｇｓの出力値がＫ＋１に、Ｂ以上の値の場合には関数ｆｓの出力値が１になるようにする、所謂クリッピングの方法を採用してもよい。
【０１８２】
なお、フィルタ制御部１６５７は、関数ｇｓ（ＳＳＤＤ）に代えて、動きベクトルＶＤを変数としたｇｓ（ＶＤ）、または、シャッタ速度差分値ＳＳＤＤと動きベクトルＶＤとを２変数としたｇｓ（ＳＳＤＤ，ＶＤ）を用いてフィルタパラメータＦＮを算出してもよい。
【０１８３】
各分割領域においてフィルタ平均化を行うためのフレーム数（ＦＮ）が入力されると、動きぼけ付加フィルタ部１６５８では、各分割領域にぼけ付加を行うために必要なフレーム数の画像データを、画像蓄積部１６５６から入力し、前記したフレーム平均化処理を実行する。各領域への処理が終了した後、再びフレーム画像として構成され、出力画像データＯＤとして出力される。
【０１８４】
以上のように、動きぼけ付加処理部１６５は、空間フィルタリング或いは時間フィルタリングのいずれかの方法を用いるなどして、動きぼけ付加処理を実行する。
もちろん動きぼけ付加処理の方法は、上記に限られるものではない。
【０１８５】
＜３＞撮像シャッタ速度が図１８のＳｃの場合
この場合、撮像シャッタ速度はＳａとＳｂの中間であり、被写体速度の値によって最適なシャッタ速度が実際の撮像シャッタ速度Ｓｃよりも高速な場合もあるが、その逆に最適なシャッタ速度が実際の撮像シャッタ速度Ｓｃよりも低速な場合もある。
例えば被写体速度の値がＶａである分割領域においては、最適なシャッタ速度相当の動きぼけを含んだ画像を生成するために、何らかの方法で動きぼけを削減する処理を行って実現しなければならない。
【０１８６】
この場合、＜１＞で説明したものと同様に、処理選択制御部１７１は、動きぼけ削減処理を選択したことを伝達する処理選択制御情報ＳＣＳを分岐部１６３へと出力することとなり、分岐部１６３では復号画像データＤＤ中の当該分割領域の信号を、動きぼけ削減処理部１６４へと出力する。
そして動きぼけ削減処理部１６４は、＜１＞で説明したと同様の動きぼけ削減手法により、フィルタリングを実行する。
【０１８７】
一方、例えば被写体速度の値がＶｂやＶｃである分割領域においては、最適なシャッタ速度相当の動きぼけを含んだ画像を生成するために、何らかの方法で動きぼけを付加する処理を行って実現しなければならない。
この場合、＜２＞で説明したものと同様に、処理選択制御部１７１は、動きぼけ付加処理を選択したことを伝達する処理選択制御情報ＳＣＳを分岐部１６３へと出力することとなり、分岐部１６３では復号画像データＤＤ中の当該分割領域の信号を、動きぼけ付加処理部１６５へと出力する。
そして動きぼけ付加処理部１６５は、＜２＞で説明したと同様の動きぼけ付加手法により、フィルタリングを実行する。
【０１８８】
図３で述べた基本構成例IIとしての画像処理装置２に対応する、図５の画像再生装置１００の構成及び動作は、以上の通りとなる。
このような画像再生装置１００によれば、ジャーキネスとブラーに対して適切に対応した補正処理を行い、その双方を抑制することで、動画像表示出力部１９０での出力画像としての画質向上を実現できる。
またこの場合、復号画像データＤＤについての撮像された際のシャッタ速度の情報が未知であっても、撮像時のシャッタ速度を推定することで、推定されたシャッタ速度を評価した値をもとに適切な動きぼけ補正処理を行うことができる。
【０１８９】
［５．基本構成例IIIに対応する動きぼけ補正処理部１６０Ａ］
基本構成例IIIに対応する例としての画像再生装置１００については、全体構成は図５と同様となるが、上述した動きぼけ補正処理部１６０の構成が、図２５の補正処理部１６０Ａのようになると考えればよい。
図２５は、上記図１５と同様の形式で、動きぼけ補正パラメータ算出部１７０と動きぼけ補正処理部１６０Ａを示している。
【０１９０】
動きぼけ補正処理部１６０Ａは、動きぼけ削減処理部１６４、動きぼけ付加処理部１６５、及び選択合成部１６７を備える。
なお、動きぼけ補正パラメータ算出部１７０における処理選択制御部１７１、最適シャッタ速度情報記憶部１７２については、上記図１５以降で説明したものと同様である。但し、処理選択制御部１７１から出力される処理選択制御情報ＳＣＳは、選択合成部１６７に供給されるものとなる。
また動きぼけ削減処理部１６４，動きぼけ付加処理部１６５の補正処理手法も同様である。
【０１９１】
この図２５の場合、図１５における分岐部１６３が設けられておらず、入力された復号画像データＤＤは無条件で動きぼけ削減処理部１６４、動きぼけ付加処理部１６５の双方に供給される。
動きぼけ削減処理部１６４では、入力された復号画像データＤＤの全ての分割領域について、処理選択制御部１７１から供給される分割領域毎のフィルタパラメータＰＤに基づいて、動きぼけ削減処理を行い、選択合成部１６７に出力する。
また動きぼけ付加処理部１６５では、入力された復号画像データＤＤの全ての分割領域について、処理選択制御部１７１から供給される分割領域毎のフィルタパラメータＰＤに基づいて、動きぼけ付加処理を行い、選択合成部１６７に出力する。
【０１９２】
従って選択合成部１６７には、復号画像データＤＤについての全ての分割領域について、動きぼけ削減処理が行われた画像データ（補正量ゼロの分割領域も含む）と、動きぼけ付加処理が行われた画像データ（補正量ゼロの分割領域も含む）とが供給される。
選択合成部１６７は、処理選択制御部１７１から供給される処理選択制御情報ＳＣＳに応じて、各分割領域の画像データを選択する。即ち１フレームを構成する各分割領域について、動きぼけ削減処理部１６４からの画像データと、動きぼけ付加処理部１６５からの画像データのいずれかを選択する。
そして選択した各分割領域の画像データを合成し、１フレームの出力画像データＯＤを生成して出力する。
【０１９３】
このような動きぼけ補正処理部１６０Ａの構成としても、上記図１５の動きぼけ補正処理部１６０を用いた場合と同様の効果を得ることができる。
【０１９４】
［６．プログラム］
以上の実施の形態は、画像処理装置１，２，３、及びその具体例としての画像再生装置１００について説明したが、本発明は画像処理を行う特定種類の機器として各種機器に適用できる。例えば画像再生装置以外に、撮像装置、通信装置、画像記録装置、ゲーム機器、ビデオ編集機、などが想定される。
さらに、汎用のパーソナルコンピュータその他の情報処理装置において、画像処理装置１，２，３を実現することも当然想定される。
例えば図１，図３，図４における動きぼけ補正パラメータ算出部１２、動きぼけ補正処理部１３，シャッタ速度推定処理部１４としての動作を演算処理装置に実行させるプログラムを画像処理アプリケーションソフトウエアとして提供することで、パーソナルコンピュータ等において、適切な画像処理を実現できる。
【０１９５】
即ち補正パラメータ算出部１２、動きぼけ補正処理部１３の機能を実行させるプログラムとは、画像データを構成する単位画像間での画像の動きを示す動き情報、及び上記画像データを撮像した時のシャッタ速度情報を基に、動きぼけ補正処理に必要な動きぼけ補正パラメータを算出するステップと、上記動きぼけ補正パラメータを用いて、少なくとも動きぼけを削減する処理を実行し、画像データに含まれる動きぼけ量を補正するステップとを演算処理装置（ＣＰＵ等）に実行させるプログラムである。
さらには、上記画像データを解析処理することで上記シャッタ速度情報を推定するシャッタ速度を推定するステップを加え、上記の動きぼけ補正パラメータを算出するステップにおいては、推定されたシャッタ速度情報を用いるようにすることで、シャッタ速度推定処理部１４としての動作を演算処理装置に実行させるプログラムも実現される。
【０１９６】
このようなプログラムにより、本発明をパーソナルコンピュータ、携帯電話機、ＰＤＡ（Personal Digital Assistant）、その他画像データを用いる多様な情報処理装置においても同様の画像処理を実行できるようにすることができる。
【０１９７】
なお、このような補正パラメータ算出部１２、動きぼけ補正処理部１３の機能、（或いはさらにシャッタ速度推定処理部１４の機能）を実行させるプログラムは、パーソナルコンピュータ等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【図面の簡単な説明】
【０１９８】
【図１】本発明の実施の形態の画像処理装置の基本構成例Ｉのブロック図である。
【図２】実施の形態の分割領域の説明図である。
【図３】本発明の実施の形態の画像処理装置の基本構成例IIのブロック図である。
【図４】本発明の実施の形態の画像処理装置の基本構成例IIIのブロック図である。
【図５】実施の形態の画像再生装置のブロック図である。
【図６】実施の形態の動きベクトル生成処理部のブロック図である。
【図７】実施の形態の動きベクトル生成処理部の動作のフローチャートである。
【図８】実施の形態のシャッタ速度推定処理部のブロック図である。
【図９】実施の形態の処理に係る動きぼけ長の説明図である。
【図１０】実施の形態の処理に係る動きぼけ長の説明図である。
【図１１】実施の形態の動きぼけ長の算出処理の説明図である。
【図１２】実施の形態のシャッタ速度推定処理部の詳細なブロック図である。
【図１３】実施の形態の動きぼけ特性解析部の処理の説明図である。
【図１４】実施の形態の動きぼけサンプル周波数テーブルの説明図である。
【図１５】実施の形態の動きぼけ補正パラメータ算出部及び動きぼけ補正処理部のブロック図である。
【図１６】実施の形態の最適シャッタ速度に関する説明図である。
【図１７】実施の形態の処理選択制御部の処理のフローチャートである。
【図１８】実施の形態の被写体速度と撮像シャッタ速度に応じた処理の説明図である。
【図１９】実施の形態の動きぼけ削減処理部のブロック図である。
【図２０】実施の形態で用いる移動平均フィルタの説明図である。
【図２１】実施の形態の動きぼけ付加処理部のブロック図である。
【図２２】実施の形態の動きベクトルマスク処理のフローチャートである。
【図２３】実施の形態のフィルタパラメータ算出の説明図である。
【図２４】実施の形態の動きぼけ付加処理部の他の例のブロック図である。
【図２５】実施の形態の動きぼけ補正処理部の他の構成を示すブロック図である。
【図２６】ジャーキネスとブラーの発生原理に関し静止物体と移動物体の見え方の説明図である。
【図２７】ジャーキネスの発生原理の説明図である。
【図２８】ブラーの発生原理の説明図である。
【符号の説明】
【０１９９】
１，２，３ 画像処理装置、１１ 画像取込部、１２ 動きぼけ補正パラメータ算出部、１３，１３Ａ 動きぼけ補正処理部、１４ シャッタ速度推定処理部、３１ 分岐部、３２ 動きぼけ削減処理部、３３ 動きぼけ付加処理部、３４ 合成部、３５ 選択合成部、１００ 画像再生装置、１１０ 受信処理部、１２０ 読込処理部、１３０ 復号処理部、１４０ 動きベクトル生成処理部、１５０ シャッタ速度推定処理部、１５１ 処理対象領域選択部、１５２ 動きぼけ特性解析部、１５３ 撮像シャッタ速度演算部、１５４ 撮像シャッタ速度高精度化処理部、１６０ 動きぼけ補正処理部、１６３ 分岐部、１６４ 動きぼけ削減処理部、１６５ 動きぼけ付加処理部、１６６ 合成部、１６７ 選択合成部１７０、１７１ 処理選択制御部、１７２ 最適シャッタ速度情報記憶部、動きぼけ補正パラメータ算出部、１８０ 静止画像表示出力部、１９０ 動画像表示出力部
【特許請求の範囲】
【請求項１】
画像データを構成する単位画像間での画像の動きを示す動き情報、及び上記画像データを撮像した時のシャッタ速度情報を基に、動きぼけ補正処理に必要な動きぼけ補正パラメータを算出する補正パラメータ算出手段と、
上記動きぼけ補正パラメータを用いて、少なくとも動きぼけを削減する処理を実行し、画像データに含まれる動きぼけ量を補正する動きぼけ補正処理手段と、
を備える画像処理装置。
【請求項２】
上記動きぼけ補正処理手段は、上記動きぼけ補正パラメータを用いて、画像データに動きぼけを付加する処理及び動きぼけを削減する処理を実行する請求項１に記載の画像処理装置。
【請求項３】
上記画像データを解析処理することで上記シャッタ速度情報を推定するシャッタ速度推定処理手段をさらに備え、
上記補正パラメータ算出手段は、補正パラメータの算出の際に、上記シャッタ速度推定処理手段で推定されたシャッタ速度情報を用いる請求項１に記載の画像処理装置。
【請求項４】
上記動きぼけ補正処理手段は、上記動きぼけ補正パラメータを基に、画像データに動きぼけを付加する処理又は動きぼけを削減する処理を、画像データ内の分割領域ごとに適応的に選択し、選択した動きぼけ補正処理を実行する請求項１に記載の画像処理装置。
【請求項５】
上記動きぼけ補正処理手段は、画像データに対し、動きぼけを付加する処理及び動きぼけを削減する処理をそれぞれ独立に実行し、処理された双方の画像データから、上記動きぼけ補正パラメータを基に、画像データ内の分割領域ごとに適応的に出力するデータを選択して出力する請求項１に記載の画像処理装置。
【請求項６】
上記画像データから、上記動き情報として動きベクトルを生成する動きベクトル生成手段を更に備え、
上記動きぼけ補正手段は、上記動きベクトル生成手段により生成された動きベクトルを用いて、上記画像データにフィルタ処理を施すことにより、動きぼけの補正処理を実行する請求項１に記載の画像処理装置。
【請求項７】
上記シャッタ速度推定処理手段は、
画像データ中の対象領域に含まれる動きぼけの特性を解析し、シャッタ速度演算用パラメータを抽出する動きぼけ特性解析部と、
上記動きぼけ特性解析手段により抽出されたシャッタ速度演算用パラメータ、及び上記対象領域に対応する動き情報を用いて、上記画像データを撮像した時のシャッタ速度情報を算出する撮像シャッタ速度演算部と、
を備える請求項３に記載の画像処理装置。
【請求項８】
上記シャッタ速度推定処理手段は、
上記動きぼけ特性解析手段による解析処理の対象領域を、上記画像データを構成する各単位画像中から抽出して特定する処理対象領域選択部を、
さらに備える請求項７に記載の画像処理装置。
【請求項９】
上記画像データから、上記動き情報として動きベクトルを生成する動きベクトル生成手段を更に備え、
上記シャッタ速度推定処理手段における上記処理対象領域選択部は、
上記画像データのエッジ情報、及び上記動きベクトル生成手段で生成された動きベクトルの情報を用いて、上記対象領域を特定する請求項８に記載の画像処理装置。
【請求項１０】
上記シャッタ速度推定処理手段は、撮像シャッタ速度高精度化処理部を更に備え、
上記シャッタ速度推定処理手段においては、
上記動きぼけ特性解析部は、複数の対象領域について上記シャッタ速度演算用パラメータを抽出し、
上記撮像シャッタ速度演算部は、複数の対象領域について上記シャッタ速度演算用パラメータとそれぞれの対象領域に対応する動き情報を用いて、複数の上記シャッタ速度情報を算出し、
上記撮像シャッタ速度高精度化処理部は、複数の上記シャッタ速度情報の算出結果を用いて、撮像シャッタ速度の推定を行う請求項７に記載の画像処理装置。
【請求項１１】
上記シャッタ速度推定処理手段は、入力される画像データについてのシーンチェンジが検出されてから次のシーンチェンジが検出されるまでの期間に、１回のみシャッタ速度推定処理を行うとともに、当該期間中は、上記１回のシャッタ速度推定処理の結果を保持する請求項３に記載の画像処理装置。
【請求項１２】
上記シャッタ速度推定処理手段は、入力される画像データについてのシーンチェンジが検出されてから次のシーンチェンジが検出されるまでの期間に、複数回のシャッタ速度推定処理を行うとともに、
上記複数回のシャッタ速度推定処理による複数のシャッタ速度情報の算出結果を用いて、撮像シャッタ速度の推定を行う撮像シャッタ速度高精度化処理部を、さらに備えた請求項３に記載の画像処理装置。
【請求項１３】
上記補正パラメータ算出手段は、
被写体速度と、出力画像の画像劣化が低減される撮像シャッタ速度とを対応付ける対応付け情報を保持し、該対応付け情報を参照して、被写体速度に対応する最適シャッタ速度を画像データ内の分割領域毎に取得し、入力された撮像シャッタ速度の情報と上記最適シャッタ速度とを比較することで、動きぼけを付加する処理又は動きぼけを削減する処理の選択制御情報である動きぼけ補正パラメータを算出し、
上記動きぼけ補正処理手段は、
上記動きぼけ補正パラメータに基づいて、画像データに動きぼけを付加する処理及び動きぼけを削減する処理を選択的に実行する請求項１に記載の画像処理装置。
【請求項１４】
上記補正パラメータ算出手段は、
被写体速度と、出力画像の画像劣化が低減される撮像シャッタ速度とを対応付ける対応付け情報を保持し、該対応付け情報を参照して、被写体速度に対応する最適シャッタ速度を画像データ内の分割領域毎に取得し、入力された撮像シャッタ速度の情報と上記最適シャッタ速度とを比較することで、動きぼけを付加する処理又は動きぼけを削減する処理の選択制御情報である動きぼけ補正パラメータを算出し、
上記動きぼけ補正処理手段は、
画像データに対し、動きぼけを付加する処理及び動きぼけを削減する処理をそれぞれ独立に実行し、処理された双方の画像データから、上記動きぼけ補正パラメータを基に、画像データ内の分割領域ごとに適応的に出力するデータを選択して出力する請求項１に記載の画像処理装置。
【請求項１５】
上記補正パラメータ算出手段は、
上記動きぼけ補正処理手段において画像データに動きぼけを付加する処理又は動きぼけを削減する処理の実行の際の、付加又は削減の度合いを示す動きぼけ補正パラメータを算出する請求項１に記載の画像処理装置。
【請求項１６】
上記付加又は削減の度合いを示す動きぼけ補正パラメータは、
撮像シャッタ速度、又は撮像シャッタ速度と上記最適シャッタ速度との差分である請求項１５に記載の画像処理装置。
【請求項１７】
上記付加又は削減の度合いを示す動きぼけ補正パラメータは、
分割領域の移動速度情報である請求項１５に記載の画像処理装置。
【請求項１８】
動き情報を用いて符号化された画像データを取り込む画像取込手段をさらに備え、
上記画像取込手段は、取り込んだ画像データを、上記動き情報を用いて復号するとともに、上記動き情報を、動きぼけ補正パラメータの算出に用いる動き情報として、上記補正パラメータ算出手段に供給する請求項１に記載の画像処理装置。
【請求項１９】
画像データを構成する単位画像間での画像の動きを示す動き情報、及び上記画像データを撮像した時のシャッタ速度情報を基に、動きぼけ補正処理に必要な動きぼけ補正パラメータを算出するステップと、
上記動きぼけ補正パラメータを用いて、少なくとも動きぼけを削減する処理を実行し、画像データに含まれる動きぼけ量を補正するステップと、
を有する画像処理方法。
【請求項２０】
画像データを構成する単位画像間での画像の動きを示す動き情報、及び上記画像データを撮像した時のシャッタ速度情報を基に、動きぼけ補正処理に必要な動きぼけ補正パラメータを算出するステップと、
上記動きぼけ補正パラメータを用いて、少なくとも動きぼけを削減する処理を実行し、画像データに含まれる動きぼけ量を補正するステップと、
を演算処理装置に実行させるプログラム。
【請求項１】
画像データを構成する単位画像間での画像の動きを示す動き情報、及び上記画像データを撮像した時のシャッタ速度情報を基に、動きぼけ補正処理に必要な動きぼけ補正パラメータを算出する補正パラメータ算出手段と、
上記動きぼけ補正パラメータを用いて、少なくとも動きぼけを削減する処理を実行し、画像データに含まれる動きぼけ量を補正する動きぼけ補正処理手段と、
を備える画像処理装置。
【請求項２】
上記動きぼけ補正処理手段は、上記動きぼけ補正パラメータを用いて、画像データに動きぼけを付加する処理及び動きぼけを削減する処理を実行する請求項１に記載の画像処理装置。
【請求項３】
上記画像データを解析処理することで上記シャッタ速度情報を推定するシャッタ速度推定処理手段をさらに備え、
上記補正パラメータ算出手段は、補正パラメータの算出の際に、上記シャッタ速度推定処理手段で推定されたシャッタ速度情報を用いる請求項１に記載の画像処理装置。
【請求項４】
上記動きぼけ補正処理手段は、上記動きぼけ補正パラメータを基に、画像データに動きぼけを付加する処理又は動きぼけを削減する処理を、画像データ内の分割領域ごとに適応的に選択し、選択した動きぼけ補正処理を実行する請求項１に記載の画像処理装置。
【請求項５】
上記動きぼけ補正処理手段は、画像データに対し、動きぼけを付加する処理及び動きぼけを削減する処理をそれぞれ独立に実行し、処理された双方の画像データから、上記動きぼけ補正パラメータを基に、画像データ内の分割領域ごとに適応的に出力するデータを選択して出力する請求項１に記載の画像処理装置。
【請求項６】
上記画像データから、上記動き情報として動きベクトルを生成する動きベクトル生成手段を更に備え、
上記動きぼけ補正手段は、上記動きベクトル生成手段により生成された動きベクトルを用いて、上記画像データにフィルタ処理を施すことにより、動きぼけの補正処理を実行する請求項１に記載の画像処理装置。
【請求項７】
上記シャッタ速度推定処理手段は、
画像データ中の対象領域に含まれる動きぼけの特性を解析し、シャッタ速度演算用パラメータを抽出する動きぼけ特性解析部と、
上記動きぼけ特性解析手段により抽出されたシャッタ速度演算用パラメータ、及び上記対象領域に対応する動き情報を用いて、上記画像データを撮像した時のシャッタ速度情報を算出する撮像シャッタ速度演算部と、
を備える請求項３に記載の画像処理装置。
【請求項８】
上記シャッタ速度推定処理手段は、
上記動きぼけ特性解析手段による解析処理の対象領域を、上記画像データを構成する各単位画像中から抽出して特定する処理対象領域選択部を、
さらに備える請求項７に記載の画像処理装置。
【請求項９】
上記画像データから、上記動き情報として動きベクトルを生成する動きベクトル生成手段を更に備え、
上記シャッタ速度推定処理手段における上記処理対象領域選択部は、
上記画像データのエッジ情報、及び上記動きベクトル生成手段で生成された動きベクトルの情報を用いて、上記対象領域を特定する請求項８に記載の画像処理装置。
【請求項１０】
上記シャッタ速度推定処理手段は、撮像シャッタ速度高精度化処理部を更に備え、
上記シャッタ速度推定処理手段においては、
上記動きぼけ特性解析部は、複数の対象領域について上記シャッタ速度演算用パラメータを抽出し、
上記撮像シャッタ速度演算部は、複数の対象領域について上記シャッタ速度演算用パラメータとそれぞれの対象領域に対応する動き情報を用いて、複数の上記シャッタ速度情報を算出し、
上記撮像シャッタ速度高精度化処理部は、複数の上記シャッタ速度情報の算出結果を用いて、撮像シャッタ速度の推定を行う請求項７に記載の画像処理装置。
【請求項１１】
上記シャッタ速度推定処理手段は、入力される画像データについてのシーンチェンジが検出されてから次のシーンチェンジが検出されるまでの期間に、１回のみシャッタ速度推定処理を行うとともに、当該期間中は、上記１回のシャッタ速度推定処理の結果を保持する請求項３に記載の画像処理装置。
【請求項１２】
上記シャッタ速度推定処理手段は、入力される画像データについてのシーンチェンジが検出されてから次のシーンチェンジが検出されるまでの期間に、複数回のシャッタ速度推定処理を行うとともに、
上記複数回のシャッタ速度推定処理による複数のシャッタ速度情報の算出結果を用いて、撮像シャッタ速度の推定を行う撮像シャッタ速度高精度化処理部を、さらに備えた請求項３に記載の画像処理装置。
【請求項１３】
上記補正パラメータ算出手段は、
被写体速度と、出力画像の画像劣化が低減される撮像シャッタ速度とを対応付ける対応付け情報を保持し、該対応付け情報を参照して、被写体速度に対応する最適シャッタ速度を画像データ内の分割領域毎に取得し、入力された撮像シャッタ速度の情報と上記最適シャッタ速度とを比較することで、動きぼけを付加する処理又は動きぼけを削減する処理の選択制御情報である動きぼけ補正パラメータを算出し、
上記動きぼけ補正処理手段は、
上記動きぼけ補正パラメータに基づいて、画像データに動きぼけを付加する処理及び動きぼけを削減する処理を選択的に実行する請求項１に記載の画像処理装置。
【請求項１４】
上記補正パラメータ算出手段は、
被写体速度と、出力画像の画像劣化が低減される撮像シャッタ速度とを対応付ける対応付け情報を保持し、該対応付け情報を参照して、被写体速度に対応する最適シャッタ速度を画像データ内の分割領域毎に取得し、入力された撮像シャッタ速度の情報と上記最適シャッタ速度とを比較することで、動きぼけを付加する処理又は動きぼけを削減する処理の選択制御情報である動きぼけ補正パラメータを算出し、
上記動きぼけ補正処理手段は、
画像データに対し、動きぼけを付加する処理及び動きぼけを削減する処理をそれぞれ独立に実行し、処理された双方の画像データから、上記動きぼけ補正パラメータを基に、画像データ内の分割領域ごとに適応的に出力するデータを選択して出力する請求項１に記載の画像処理装置。
【請求項１５】
上記補正パラメータ算出手段は、
上記動きぼけ補正処理手段において画像データに動きぼけを付加する処理又は動きぼけを削減する処理の実行の際の、付加又は削減の度合いを示す動きぼけ補正パラメータを算出する請求項１に記載の画像処理装置。
【請求項１６】
上記付加又は削減の度合いを示す動きぼけ補正パラメータは、
撮像シャッタ速度、又は撮像シャッタ速度と上記最適シャッタ速度との差分である請求項１５に記載の画像処理装置。
【請求項１７】
上記付加又は削減の度合いを示す動きぼけ補正パラメータは、
分割領域の移動速度情報である請求項１５に記載の画像処理装置。
【請求項１８】
動き情報を用いて符号化された画像データを取り込む画像取込手段をさらに備え、
上記画像取込手段は、取り込んだ画像データを、上記動き情報を用いて復号するとともに、上記動き情報を、動きぼけ補正パラメータの算出に用いる動き情報として、上記補正パラメータ算出手段に供給する請求項１に記載の画像処理装置。
【請求項１９】
画像データを構成する単位画像間での画像の動きを示す動き情報、及び上記画像データを撮像した時のシャッタ速度情報を基に、動きぼけ補正処理に必要な動きぼけ補正パラメータを算出するステップと、
上記動きぼけ補正パラメータを用いて、少なくとも動きぼけを削減する処理を実行し、画像データに含まれる動きぼけ量を補正するステップと、
を有する画像処理方法。
【請求項２０】
画像データを構成する単位画像間での画像の動きを示す動き情報、及び上記画像データを撮像した時のシャッタ速度情報を基に、動きぼけ補正処理に必要な動きぼけ補正パラメータを算出するステップと、
上記動きぼけ補正パラメータを用いて、少なくとも動きぼけを削減する処理を実行し、画像データに含まれる動きぼけ量を補正するステップと、
を演算処理装置に実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【公開番号】特開２０１０−４３２９（Ｐ２０１０−４３２９Ａ）
【公開日】平成２２年１月７日（２０１０．１．７）
【国際特許分類】
【出願番号】特願２００８−１６１５８１（Ｐ２００８−１６１５８１）
【出願日】平成２０年６月２０日（２００８．６．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年１月７日（２０１０．１．７）
【国際特許分類】
【出願日】平成２０年６月２０日（２００８．６．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]