画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
【課題】ジャーキネスおよびブラーの双方を低減した高品質の画像を出力する装置および方法を提供する。
【解決手段】一定のフレームレートで出力する動画像を生成する際、動画像を構成するフレーム画像を区分した分割領域単位で出力画像のフレームレートに応じた被写体の移動速度を算出し、分割領域単位の移動速度に対応する最適な撮像シャッタ速度として、出力画像の画像劣化が低減される最適シャッタ速度を分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を分割領域単位で生成して、生成した分割領域画像を結合したフレーム画像を出力させる。本構成によれば、ジャーキネスおよびブラーの双方を低減した高品質の画像の出力が可能となる。
【解決手段】一定のフレームレートで出力する動画像を生成する際、動画像を構成するフレーム画像を区分した分割領域単位で出力画像のフレームレートに応じた被写体の移動速度を算出し、分割領域単位の移動速度に対応する最適な撮像シャッタ速度として、出力画像の画像劣化が低減される最適シャッタ速度を分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を分割領域単位で生成して、生成した分割領域画像を結合したフレーム画像を出力させる。本構成によれば、ジャーキネスおよびブラーの双方を低減した高品質の画像の出力が可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。特に移動する被写体の撮影画像に発生するジャーキネスやブラーなどの画質劣化を低減し、高品質な出力画像を生成する画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
高速シャッタで撮像された動画像やアニメーションなどを、プロジェクタやディスプレイなどの表示デバイスを用いて表示すると、画像中に含まれる移動物体の動きが不連続に表示され、画像を観察する観察者が多重像を知覚してしまうという画像劣化が頻繁に発生する。これは、一般にジャーキネスと呼ばれる画質劣化の現象である。
【０００３】
一方、オープンシャッタなど低速のシャッタスピードで撮像された動画像を表示すると、動きボケの影響により、被写体のディテールの欠損やエッジが不鮮明になることがよくある。この現象は、ブラー（ぼけ）と呼ばれる画質劣化の現象である。
【０００４】
これらの、ジャーキネスとブラーの発生原理について、図１〜３を用いて説明する。人間の知覚特性として、目に入射した光を一定時間積分した値として知覚することが知られている。図１〜３は、この知覚特性に基づく観察者からの物体の見え方を模擬的に説明する図である。
【０００５】
図１は、静止物体と移動物体の実世界における見え方を説明する例である。
図１（１）は、横軸を位置（ｘ）、縦軸を時間（ｔ）として、静止物体１１と移動物体１２の時間的変移を示しており、図１（２）は、これらの静止物体１１と移動物体１２を観察する観察者の知覚状況を模擬的に示した図である。観察者は、移動物体１２を追従して観察する追従視と、および移動物体１２を追従しないで視点を固定して観察する固定視を行なう２通りの異なる観察形態における知覚状況がある。それぞれ（ａ）追従視，（ｂ）固定視として示してある。
【０００６】
図１（２）の（ａ）追従視に示すように、移動物体１２を観察者が追従視した場合、移動物体１２の見え方は、図１（２）の移動物体知覚情報ａ１２のようになる。これは図１（２）の（ｂ）固定視における固定物体１１の見え方である固定物体知覚情報ｂ１１と同様の見え方である。このように、観察者が移動物体１２を追従視した場合は、固定視における固定物体１１の見え方と同様に観察者は知覚する。
【０００７】
一方、図１（２）の（ｂ）固定視に示すように、移動物体１２を観察者が固定視した場合、移動物体１２の見え方は、図１（２）の移動物体知覚情報ｂ１２のようになる。これは、観察者が移動物体を連続的に移動するように変化する知覚を行うものであり、観察者が違和感を生じることはない。
【０００８】
図２は、高速シャッタで撮像された動画像やアニメーションなどを、プロジェクタやディスプレイなどの表示デバイスを用いて表示した場合に観察者によって知覚されるジャーキネスの発生を説明する図である。すなわち、画像中に含まれる移動物体の動きが不連続に表示され、画像を観察する観察者が多重像を知覚してしまうという現象である。
【０００９】
図２では、図１中の実世界における移動物体を、高速シャッタを用いて撮像し、６０Ｈｚでリフレッシュされる表示デバイスに表示した場合、観察者からの見え方を模擬的に表している。図２（１）は、表示静止物体２１と表示移動物体２２の表示デバイス上での表示位置の変化を示している。縦軸が時間（ｔ）であり表示デバイスのリフレッシュ間隔（１／６０ｓｅｃ）毎に区切りを設定してある。横軸が表示位置（ｘ）である。
【００１０】
図２（２）は、表示デバイスに表示される表示静止物体２１と表示移動物体２２を観察する観察者の知覚状況を模擬的に示した図である。観察者は、表示移動物体２２を追従して観察する追従視と、および表示移動物体２２を追従しないで視点を固定して観察する固定視を行なう２通りの異なる観察形態における知覚状況がある。これらをそれぞれ（ａ）追従視，（ｂ）固定視として示してある。
【００１１】
図２（２）（ａ）に示すように、表示デバイスに表示される表示移動物体２２を、観察者が追従視した場合の見え方（ａ２２）は、図１を参照して説明した図１（２）（ａ）の追従視の見え方（ａ１２）と同様の見え方であり、静止物体を固定視した場合と同じように観察者は知覚することになる。
【００１２】
一方、表示デバイスに表示される表示移動物体２２を、観察者が固定視した場合においては、図２（２）（ｂ）に示すように、観察者の視覚による知覚上、実世界とは異なり表示移動物体２２は、連続的ではなく離散的に移動変化するような見え方（ｂ２２）となる。結果として、観測者は、目に入射した光を一定時間積分した値として知覚するという知覚特性に基づいて、表示デバイスに表示される移動物体を多重像として知覚することになる。
【００１３】
観測者は、本来１つの物体であるにも拘らず、複数の物体のように感じ取ってしまうことになる。このような現象をジャーキネス劣化という。ジャーキネス劣化は、原理的に移動速度の速い物体ほど発生しやすい。また、ジャーキネス劣化は、表示デバイスのフレームレートが低いほど発生しやすく、フレームレートが高いほど発生しにくい。さらに、ジャーキネス劣化は、一般的に、空間的な輝度の変化が大きい部分、言い換えれば、空間コントラストの高い部分において生じやすい。
【００１４】
図３は、例えばオープンシャッタなどの低速シャッタで撮像された動画像やアニメーションなどを、プロジェクタやディスプレイなどの表示デバイスを用いて表示した場合に観察者によって知覚されるブラーの発生を説明する図である。ブラーは、動きボケの影響により、被写体のディテールの欠損やエッジが不鮮明になる現象である。
【００１５】
図３では、図１中の実世界における移動物体を、低速シャッタを用いて撮像し、６０Ｈｚでリフレッシュされる表示デバイスに表示した場合、観察者からの見え方を模擬的に表している。図３（１）は、表示静止物体３１と表示移動物体３２の表示デバイス上での表示位置の変化を示している。縦軸が時間（ｔ）であり表示デバイスのリフレッシュ間隔（１／６０ｓｅｃ）毎に区切りを設定してある。横軸が表示位置（ｘ）である。
【００１６】
図３（２）は、表示デバイスに表示される表示静止物体３１と表示移動物体３２を観察する観察者の知覚状況を模擬的に示した図である。観察者は、表示移動物体３２を追従して観察する追従視と、および表示移動物体３２を追従しないで視点を固定して観察する固定視を行なう２通りの異なる観察形態における知覚状況がある。これらをそれぞれ（ａ）追従視，（ｂ）固定視として示してある。
【００１７】
図３（２）（ｂ）に示すように、表示デバイスに表示される表示移動物体３２を、観察者が固定視した場合（ｂ３２）においては、図１を参照して説明した図１（２）（ｂ）の固定視と同様の見え方（ｂ１２）であり、観察者が移動物体を連続的に移動するように変化する知覚を行い、観察者が違和感を生じることはない。
【００１８】
一方、表示デバイスに表示される表示移動物体２２を、観察者が追従視した場合においては、図３（２）（ａ）の見え方（ａ３２）に示すように、観察者には、静止物体を固定視した場合とは異なる、ぼやけた像として知覚される。これは、図３（１）の表示移動物体２２に示すように、撮像時において、低速シャッタに基づく長期間の露光中の移動物体の動きが１フレームに記録され、この移動する物体が１フレーム中に帯状に表示されるためである。このような現象をブラー劣化という。
【００１９】
先に説明した通り、ジャーキネス劣化およびブラー劣化の発生は、撮像時のシャッタ速度について、相反する関係にあるため、単純なシャッタ制御ではいずれかの劣化が目立ってしまう。
【００２０】
また、ジャーキネスは、元の動画像と異なるフレームレートに変換して表示する場合、発生しやすい画質劣化として知られている。例えば、高フレームレートの元動画像を、元動画像よりも低いフレームレートに変換して表示する手段としては、変換後のフレーム数に合わせて、単純に間引く方法が一般的であるが、この場合、元動画像は短い露光時間で撮像されるため、ジャーキネスが発生しやすい。
【００２１】
このフレームレート変換に際して発生するジャーキネスを抑制するための手法として、間引きによるフレームレートの変換を行わず、変換後のフレーム数に合わせて、単純に元の動画像の構成フレームの平均化を行う方法が知られている。このフレーム平均化手法によって、ジャーキネスの抑制が可能となる。しかし、この手法は、結果として、高速シャッタ対応の高フレームレート画像に基づく平均化によって、低フレームレート、すなわち低速シャッタでの撮影画像を生成することに相当し、ブラー劣化を目立たせてしまうという問題を発生させることになる。
【００２２】
一方、低フレームレートの元動画像を、元動画像よりも高いフレームレートに変換して表示する場合、時間的に存在しないフレームについて、前後の存在するフレームを複数回表示する手法が、最も簡易である。しかし、このようなフレームレート変換を行うと、移動する被写体の動きは離散的になるため、ジャーキネスが発生しやすい。
【００２３】
このように、低フレームレートの元画像から高フレームレートの画像を生成するフレームレート変換処理を行なう場合にジャーキネスの発生を抑制するための手法として、動き補償を用いて時間的に存在しないフレームを補間処理によって生成し、高フレームレートの動画像を作成する手法が知られている。（例えば特許文献１）この手法を用いることで、ジャーキネス劣化の改善が図られる。
【特許文献１】特開平１１−１１２９３９号公報
【発明の開示】
【発明が解決しようとする課題】
【００２４】
上述のように、ジャーキネスおよびブラーの発生は、撮像時のシャッタ速度について、相反する関係にあるため、単純なシャッタ制御ではいずれかの劣化が目立ってしまう問題がある。また、フレームレート変換時においては、前記の通り、原理的に、双方の劣化を抑制することは困難であり、一方の劣化を抑制すると他方が目立ってしまうという問題がある。
【００２５】
例えば低フレームレートから高フレームレートの変換を行う場合には、前述したフレーム補間を行い、相当に高いフレームレートにまで変換すれば、動画像を表示した際のジャーキネス劣化を低減することは可能である。しかし、現行のフィルム（１秒当たり２４フレーム）やテレビジョン（１秒当たり５０フレームもしくは６０フレーム）標準の動画像フォーマットでの表示では、フレームレートは十分に高くないため、ジャーキネス劣化の低減には限界がある。現行のテレビジョン標準以上に、高速なフレームレートの動画像を、表示可能な表示デバイスは、現在のところごく限られており、現行の多くの表示デバイスに対しては、フレーム補間による画質劣化の改善には限界がある。
【００２６】
本発明は、このような問題に鑑みてなされたものであり、動画質劣化の要因であるジャーキネスとブラーの双方を抑制することを可能とする画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【００２７】
本発明は、例えば、入力画像信号の分割領域毎に、フレーム間の移動速度や空間的な特徴量を算出し、算出した移動速度や空間特徴量に基づいて領域毎に適応的なフィルタリング処理を行うことで、ジャーキネスとブラーの双方の発生を抑制した画質劣化の少ない高画質な画像信号を生成して出力することを可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２８】
本発明の第１の側面は、
動画像に対する画像処理を実行する画像処理装置であり、
動画像を構成するフレーム画像を区分した分割領域単位で出力画像のフレームレートに応じた被写体の移動速度を算出する移動速度演算部と、
前記分割領域単位の移動速度情報を入力し、移動速度に対応する最適な撮像シャッタ速度として、出力画像の画像劣化が低減される最適シャッタ速度を前記分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を前記分割領域単位で生成し、生成した分割領域画像を結合したフレーム画像を出力する画像生成処理部と、
を有することを特徴とする画像処理装置にある。
【００２９】
さらに、本発明の画像処理装置の一実施態様において、前記移動速度演算部は、入力画像のフレームから選択された探索用フレームと参照用フレームを適用したブロックマッチング処理により分割領域単位で移動速度を算出する処理を実行する構成であることを特徴とする。
【００３０】
さらに、本発明の画像処理装置の一実施態様において、前記移動速度演算部は、入力画像のフレームから選択された探索用フレームと参照用フレームを適用したブロックマッチング処理により分割領域単位で動きベクトルを求めるブロックマッチング部と、前記ブロックマッチング部において算出した動きベクトル情報に基づいて、出力画像のフレームレートに応じた被写体の移動速度を算出する動きベクトル規格化部とを有する構成であることを特徴とする。
【００３１】
さらに、本発明の画像処理装置の一実施態様において、前記移動速度演算部は、前記探索用フレームを、出力画像のフレームレートに応じたフレーム間隔で入力画像のフレームから選択する処理を実行する構成であることを特徴とする。
【００３２】
さらに、本発明の画像処理装置の一実施態様において、前記画像生成処理部は、移動速度と、出力画像の画像劣化が低減される撮像シャッタ速度とを対応付けたテーブルを保持し、該テーブルを参照して移動速度に対応する最適シャッタ速度を前記分割領域単位で取得する構成であることを特徴とする。
【００３３】
さらに、本発明の画像処理装置の一実施態様において、前記テーブルは、移動速度区間情報と、最適シャッタ速度情報とを対応付けたテーブルであることを特徴とする。
【００３４】
さらに、本発明の画像処理装置の一実施態様において、前記画像生成処理部は、移動速度と、出力画像の画像劣化が低減される最適シャッタ速度との対応関係の異なる複数の異なるテーブルを有し、ユーザ選択情報に基づいて、適用するテーブルを決定する構成であることを特徴とする。
【００３５】
さらに、本発明の画像処理装置の一実施態様において、前記画像生成処理部は、前記分割領域単位で、移動速度に対応する最適シャッタ速度を算出する最適シャッタ速度算出部と、前記最適シャッタ速度算出部の算出した最適シャッタ速度に対応する画像を前記分割領域単位で生成するフィルタリング処理部とを有する構成であることを特徴とする。
【００３６】
さらに、本発明の画像処理装置の一実施態様において、前記フィルタリング処理部は、入力画像のフレームから選択されたフレームに基づいて、前記最適シャッタ速度算出部の算出した撮像シャッタ速度に対応する画像を前記分割領域単位で生成する処理を実行する構成であることを特徴とする。
【００３７】
さらに、本発明の画像処理装置の一実施態様において、前記フィルタリング処理部は、前記最適シャッタ速度算出部の算出した最適シャッタ速度に応じた重み係数を設定して、入力画像の複数フレームの画素値の加重平均を実行して、出力画像フレームの画素値を決定する処理を実行する構成であることを特徴とする。
【００３８】
さらに、本発明の画像処理装置の一実施態様において、前記画像生成処理部は、入力画像のフレームに含まれない中間フレームを生成する中間フレーム生成部を有し、前記最適シャッタ速度算出部の算出した最適シャッタ速度に対応する画像を、前記中間フレームを適用して分割領域単位で生成する処理を実行する構成であることを特徴とする。
【００３９】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記分割領域単位で空間コントラストの大きさを検出する空間特徴量検出部を有し、前記画像生成処理部は、空間コントラストが予め定めた閾値未満の分割領域については、前記移動速度に対応して算出される最適シャッタ速度より高いシャッタ速度を最適シャッタ速度として設定する処理を実行する構成であることを特徴とする。
【００４０】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記分割領域単位で空間コントラストの大きさを検出する空間特徴量検出部を有し、前記画像生成処理部は、空間コントラストが予め定めた閾値未満の分割領域については、前記移動速度に対応して算出される最適シャッタ速度を算出することなく、入力画像の持つフレームレートに対応するシャッタ速度を最適シャッタ速度として設定する処理を実行する構成であることを特徴とする。
【００４１】
さらに、本発明の画像処理装置の一実施態様において、前記出力画像の画像劣化は、ジャーキネスおよびブラーによる画像劣化であり、前記画像生成処理部は、ジャーキネスおよびブラーによる画像劣化が低減される最適シャッタ速度を前記分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を前記分割領域単位で生成する処理を実行する構成であることを特徴とする。
【００４２】
さらに、本発明の第２の側面は、
画像処理装置において、動画像に対する画像処理を実行する画像処理方法であり、
移動速度演算部において、動画像を構成するフレーム画像を区分した分割領域単位で出力画像のフレームレートに応じた被写体の移動速度を算出する移動速度演算ステップと、
画像生成処理部において、前記分割領域単位の移動速度情報を入力し、移動速度に対応する最適な撮像シャッタ速度として、出力画像の画像劣化が低減される最適シャッタ速度を前記分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を前記分割領域単位で生成し、生成した分割領域画像を結合したフレーム画像を出力する画像生成処理ステップと、
を有することを特徴とする画像処理方法にある。
【００４３】
さらに、本発明の画像処理方法の一実施態様において、前記移動速度演算ステップは、入力画像のフレームから選択された探索用フレームと参照用フレームを適用したブロックマッチング処理により分割領域単位で移動速度を算出する処理を実行することを特徴とする。
【００４４】
さらに、本発明の画像処理方法の一実施態様において、前記移動速度演算ステップは、入力画像のフレームから選択された探索用フレームと参照用フレームを適用したブロックマッチング処理により分割領域単位で動きベクトルを求めるブロックマッチング処理ステップ、前記ブロックマッチング処理ステップにおいて算出した動きベクトル情報に基づいて、出力画像のフレームレートに応じた被写体の移動速度を算出する動きベクトル規格化ステップとを有することを特徴とする。
【００４５】
さらに、本発明の画像処理方法の一実施態様において、前記移動速度演算ステップは、前記探索用フレームを、出力画像のフレームレートに応じたフレーム間隔で入力画像のフレームから選択する処理を実行することを特徴とする。
【００４６】
さらに、本発明の画像処理方法の一実施態様において、前記画像生成処理ステップは、移動速度と、出力画像の画像劣化が低減される撮像シャッタ速度とを対応付けたテーブルを参照して移動速度に対応する最適シャッタ速度を前記分割領域単位で取得するステップを含むことを特徴とする。
【００４７】
さらに、本発明の画像処理方法の一実施態様において、前記テーブルは、移動速度区間情報と、最適シャッタ速度情報とを対応付けたテーブルであることを特徴とする。
【００４８】
さらに、本発明の画像処理方法の一実施態様において、前記画像生成処理ステップは、移動速度と、出力画像の画像劣化が低減される最適シャッタ速度との対応関係の異なる複数の異なるテーブルからのユーザ選択情報に基づいて適用テーブルを決定する処理を実行するステップを含むことを特徴とする。
【００４９】
さらに、本発明の画像処理方法の一実施態様において、前記画像生成処理ステップは、前記分割領域単位で、移動速度に対応する最適シャッタ速度を算出する最適シャッタ速度算出ステップと、前記最適シャッタ速度算出ステップにおいて算出した最適シャッタ速度に対応する画像を前記分割領域単位で生成するフィルタリング処理ステップとを有することを特徴とする。
【００５０】
さらに、本発明の画像処理方法の一実施態様において、前記フィルタリング処理ステップは、入力画像のフレームから選択されたフレームに基づいて、前記最適シャッタ速度算出ステップにおいて算出した撮像シャッタ速度に対応する画像を前記分割領域単位で生成する処理を実行することを特徴とする。
【００５１】
さらに、本発明の画像処理方法の一実施態様において、前記フィルタリング処理ステップは、前記最適シャッタ速度算出ステップにおいて算出した最適シャッタ速度に応じた重み係数を設定して、入力画像の複数フレームの画素値の加重平均を実行して、出力画像フレームの画素値を決定する処理を実行することを特徴とする。
【００５２】
さらに、本発明の画像処理方法の一実施態様において、前記画像生成処理ステップは、入力画像のフレームに含まれない中間フレームを生成し、前記最適シャッタ速度算出ステップにおいて算出した最適シャッタ速度に対応する画像を、前記中間フレームを適用して分割領域単位で生成する処理を実行することを特徴とする。
【００５３】
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、空間特徴量検出部において、前記分割領域単位で空間コントラストの大きさを検出する空間特徴量検出ステップを有し、前記画像生成処理ステップは、空間コントラストが予め定めた閾値未満の分割領域については、前記移動速度に対応して算出される最適シャッタ速度より高いシャッタ速度を最適シャッタ速度として設定する処理を実行することを特徴とする。
【００５４】
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、空間特徴量検出部において、前記分割領域単位で空間コントラストの大きさを検出する空間特徴量検出ステップを有し、前記画像生成処理ステップは、空間コントラストが予め定めた閾値未満の分割領域については、前記移動速度に対応して算出される最適シャッタ速度を算出することなく、入力画像の持つフレームレートに対応するシャッタ速度を最適シャッタ速度として設定する処理を実行することを特徴とする。
【００５５】
さらに、本発明の画像処理方法の一実施態様において、前記出力画像の画像劣化は、ジャーキネスおよびブラーによる画像劣化であり、前記画像生成処理ステップは、ジャーキネスおよびブラーによる画像劣化が低減される最適シャッタ速度を前記分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を前記分割領域単位で生成する処理を実行することを特徴とする。
【００５６】
さらに、本発明の第３の側面は、
画像処理装置において、動画像に対する画像処理を実行させるコンピュータ・プログラムであり、
移動速度演算部において、動画像を構成するフレーム画像を区分した分割領域単位で出力画像のフレームレートに応じた被写体の移動速度を算出させる移動速度演算ステップと、
画像生成処理部において、前記分割領域単位の移動速度情報を入力し、移動速度に対応する最適な撮像シャッタ速度として、出力画像の画像劣化が低減される最適シャッタ速度を前記分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を前記分割領域単位で生成し、生成した分割領域画像を結合したフレーム画像を出力させる画像生成処理ステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。
【００５７】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００５８】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００５９】
本発明の構成によれば、一定のフレームレートで出力する動画像を生成する際、動画像を構成するフレーム画像を区分した分割領域単位で出力画像のフレームレートに応じた被写体の移動速度を算出し、分割領域単位の移動速度に対応する最適な撮像シャッタ速度として、出力画像の画像劣化が低減される最適シャッタ速度を分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を分割領域単位で生成して、生成した分割領域画像を結合したフレーム画像を出力させる構成としたので、出力画像における画像劣化、具体的には、ジャーキネスおよびブラーの双方を低減した高品質の画像を出力することが可能となる。
【発明を実施するための最良の形態】
【００６０】
以下、図面を参照しながら、本発明の画像処理装置、および画像処理方法、並びにコンピュータ・プログラムの構成について説明する。
【００６１】
本発明の画像処理装置では、一定のフレームレートで入力する入力動画像について、各フレーム画像を所定の分割領域に区切り、各分割領域単位でフレーム間の移動速度や空間的な特徴量を算出し、算出した各分割領域の移動速度や空間特徴量に基づいて各領域毎に最適なフィルタリング処理を行うことで、各領域に応じてジャーキネスやブラーを低減させた画像を生成し、ジャーキネスやブラー双方の発生を抑制した画質劣化の少ない高画質な画像信号を生成して出力する。
【００６２】
例えば、本発明の画像処理装置では、フレーム間の移動速度や空間的な特徴量とフィルタリング処理パラメータとを対応付けたテーブルを保持し、このテーブルに基づいて、各分割領域に対応する最適なフィルタリング処理を行う。なお、各分割領域に対応する最適なフィルタリング処理は、具体的には、各分割領域において、ジャーキネスとブラーの発生を低減させるための最適な撮像シャッタ速度を決定し、その撮像シャッタ速度に対応した画像を生成する処理に相当する。
【００６３】
すなわち、各分割領域に対応する最適なフィルタリング処理のパラメータの決定処理は、各領域についてジャーキネスとブラーの発生を低減させる最適なシャッタ速度を決定する処理を含むものである。本発明の画像処理装置では、各分割領域各々に対応して、ジャーキネスとブラーの発生を低減させる最適なシャッタ速度を決定し、その決定したシャッタ速度に従った擬似画像を各分割領域毎に個別に生成して出力する。
【００６４】
以下、本発明の画像処理装置の詳細について説明する。以下の項目に従って、詳細を説明する。
１．本発明の画像処理装置における基本処理の概要
２．入力画像信号および出力画像信号に関する説明
３．移動速度演算部の処理の詳細
４．画像生成処理部の処理についての説明
５．フィルタリング処理部の実行するフィルタリング処理の詳細
６．フィルタリング処理に用いるフレームの選別方法について
７．移動速度と最適な撮像シャッタ速度との対応関係について
８．最適な撮像シャッタ速度算出方法について
９．最適な撮像シャッタ速度算出および、出力フレーム生成処理の具体例
１０．移動速度と最適なシャッタ速度曲線の調整機能を有した装置について
１１．第２の実施例の概要
【００６５】
［１．本発明の画像処理装置における基本処理の概要］
まず、本発明の画像処理装置の基本処理の概要について説明する。図４は、本発明の第１の実施例に係る画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、処理対象画像として、一定のフレームレートを有する画像信号を入力する。この入力画像信号は、移動速度演算部１０１および画像生成処理部１０２に入力される。
【００６６】
移動速度演算部１０１では、図５に示すように、入力画像信号の各フレーム画像について、領域分割がなされ、分割領域各々に含まれる画像についてブロックマッチング処理を実行し、分割領域各々の画像データのフレーム間の移動速度（Ｖ１，Ｖ２，Ｖ３・・・）を算出する。ただし、ここで算出するフレーム間の移動速度（Ｖ１，Ｖ２，Ｖ３・・・）は、出力画像信号の有するフレームレートに対応するフレーム間の動速度である。画像処理装置は、出力画像フレームレート情報１０３を記憶部に保持し、移動速度演算部１０１では、出力画像フレームレート情報１０３に基づいて分割領域各々のフレーム間移動速度（Ｖ１，Ｖ２，Ｖ３・・・）を算出する。
【００６７】
移動速度演算部１０１において算出された各分割領域における移動速度は、画像生成処理部１０２に入力される。画像生成処理部１０２には、既に入力画像信号が入力されている。画像生成処理部１０２は、移動速度演算部１０１において算出された各分割領域における移動速度（Ｖ１，Ｖ２，Ｖ３・・・）に応じて、入力画像を各分割領域単位で変換処理を行なう。すなわち、各分割領域単位で求められた移動速度（Ｖｎ）に基づいて、ジャーキネスとブラーの発生を低減させる最適なシャッタ速度に対応する擬似的な画像に変換する処理を実行する。
【００６８】
各分割領域単位で求められた移動速度（Ｖｎ）と、ジャーキネスとブラーの発生を低減させる最適な撮像シャッタ速度の関係は、出力画像信号の持つフレームレートに応じて算出可能である。画像生成処理部１０２は、この対応関係を予め設定したテーブルとして保持し、出力画像フレームレート情報１０３を適用して、保持テーブルから、各領域ごとの最適な撮像シャッタ速度を求める。あるいは、予め定めた算出式により、各分割領域単位で求められた移動速度（Ｖｎ）に基づいて、ジャーキネスとブラーの発生を低減させる最適な撮像シャッタ速度を算出する。
【００６９】
画像生成処理部１０２は、さらに、求めた撮像シャッタ速度に対応する擬似画像を各分割領域ごとに生成し、これらの分割領域ごとの生成画像を合成して１フレーム画像を生成し、予め定められたフレームレートで出力する。これらの処理によって、ジャーキネスとブラーによる画質劣化の双方が低減された高画質データを出力する。
【００７０】
このように、画像生成処理部１０２では、移動速度演算部１０１において算出された各分割領域における移動速度に基づいて決定される最適な撮像シャッタ速度で撮像した画像を擬似的に生成する。この画像生成処理は、例えば時間方向のフィルタリング処理等によって実現される。画像生成処理部１０２において作成された画像は、一定のフレームレートを有する出力画像信号として出力される。
【００７１】
［２．入力画像信号および出力画像信号に関する説明］
次に、入力画像信号および出力画像信号の有するフレームレートについて詳解する。なお、図４に示す画像処理装置１００において、入力画像信号、および変換処理により生成される出力画像信号のフレームレートは限定されるものではなく、様々な設定が可能である。ただし、画像生成処理部１０２において、ジャーキネスとブラーによる画質劣化の双方を低減する最適シャッタ速度での撮像画像を領域毎に擬似的に生成するための処理として、時間方向のフィルタリング処理を採用する場合、入力画像信号は、出力画像信号が有する所望のフレームレートに対し、できる限り高いフレームレートを有していることが好ましい。これは、画像生成処理部１０２で行われる画像変換処理において、より高いフレームレートの入力画像信号を使用する方がより滑らかな画像の生成が容易となるからである。
【００７２】
なお、図４に示す例では、画像処理装置１００において、出力画像信号のフレームレート値は、記憶部に保持したものを参照する構成として説明したが、この出力画像信号のフレームレート値を外部から入力する構成としてもよい。
【００７３】
出力画像信号のフレームレート値を外部から入力する構成を持つ画像処理装置の構成例を図６に示す。外部から入力する出力画像信号のフレームレート値は、図６に示す移動速度演算部１０１、画像生成処理部１０２の双方に入力される。画像生成処理部１０２は、画像変換処理を、入力されたフレームレート情報に基づいて実行する。このような構成とすることで、様々なフレームレートに対応した最適な画像変換が実行可能となる。
【００７４】
以降、本発明の画像処理装置の実行する処理の具体例について説明する。説明の便宜上、入力画像信号と出力画像信号が有するフレームレートの例として、
入力画像信号のフレームレートを２４０（フレーム／秒）、
出力画像信号のフレームレートを６０（フレーム／秒）、
これらの設定における処理例について説明する。ただし、このフレームレートは一例であり、本発明の画像処理装置では、入出力画像のフレームレートは限定されない。
【００７５】
［３．移動速度演算部の処理の詳細］
まず、移動速度演算部１０１の処理の詳細について説明する。移動速度演算部１０１は、出力画像信号が有するフレームレートを基準として、図５を参照して説明したように画像の分割領域毎にフレーム間の移動速度を算出し、画像生成処理部に出力する。移動速度とは、被写体が１フレーム間にどれだけ移動したかを表わす。例えば、単位は画素／フレームであり、出力画像信号が有するフレームレートを基準とする。
【００７６】
図７は、移動速度演算部１０１の詳細な構成を示すものである。図７に示すように移動速度演算部１０１は、入力画像信号の複数のフレームを記憶する画像蓄積部２０１、ブロックマッチング処理に用いるフレームを選別し画像蓄積部２０１からの読み出し制御を行う制御部２０２、動き検出の対象となるフレームを領域に分割する領域分割部２０３、ブロックマッチング処理を行い領域毎の移動速度を算出する移動速度検出部２０４を有する。
【００７７】
移動速度演算部１０１に入力した入力画像信号は、まず画像蓄積部２０１に入力され、格納される。画像蓄積部２０１は、複数のフレームを記憶できる記憶部である。移動速度検出部２０４において行われる実際のブロックマッチング処理の際、動きベクトル検出対象となる探索用フレーム、およびその参照用フレームの、少なくとも２フレームのデータが必要となり、画像蓄積部２０１は、これらの複数のフレームを記憶する。
【００７８】
制御部２０２は、探索用および参照用フレームを選別し、画像蓄積部２０１からの読み出し制御を行う。探索用および参照用フレームの選別は、制御部２０２に入力された出力画像のフレームレート情報を基に、制御部２０２において行われる。この選別方法については、後に詳しく述べる。
【００７９】
制御部２０２によって読み出された、動きベクトル検出対象となる探索用フレームは、領域分割部２０３へと出力される。また、同じく制御部２０２によって読み出された参照用フレームは、移動速度検出部２０４へと直接に出力される。領域分割部２０３へと出力された探索用フレームは、移動速度を算出する領域の単位である、適当な大きさのブロックへと分割される。移動速度を算出する領域毎に分割された探索用フレームは、移動速度検出部２０４に入力される。
【００８０】
図８は、移動速度検出部２０４の詳細な構成例を示す図である。移動速度検出部２０４に入力した探索用フレーム画像データは、ブロックマッチング部２２１に入力される。ブロックマッチング部２２１では、同じくブロックマッチング部２２１に入力された参照用フレームとの間で、分割領域毎にブロックマッチング処理を行う。ブロックマッチングは、微小画像領域毎にフレーム間で対応する画素位置を検出する処理である。
【００８１】
移動速度検出部２０４は、分割領域毎にブロックマッチング処理を行い、この処理によって、フレーム間での被写体の移動情報として、分割領域毎の動きベクトル量を算出する。なお、ブロックマッチング処理におけるマッチング評価関数などの設定は様々な設定が可能であり、その方法は特に限定されない。
【００８２】
ブロックマッチング部２２１におけるブロックマッチング処理により算出された、分割領域毎の動きベクトル量は、動きベクトル規格化部２２２に入力する。以下、動きベクトル規格化部２２２において行われる処理について説明する。
【００８３】
ブロックマッチング部２２１におけるブロックマッチング処理により算出された探索用フレーム各領域の動きベクトル量は、参照用フレームに対してどれだけ移動したかを表わすものである。一方、求めるべき移動速度（画素／フレーム）は、出力画像の有するフレームレートを基準とした、１フレーム間の移動量である。そのため、ブロックマッチング処理により得られた動きベクトル量を、出力画像信号が有するフレームレートを基準とした、１フレーム間の移動量を表す移動速度（単位は画素／フレーム）へと規格化する必要がある。
【００８４】
動きベクトル規格化部２２２は、出力画像信号のフレームレート情報に基づく制御信号を制御部２０２から入力し、この制御信号に基づいて、ブロックマッチング処理により得られた動きベクトル量を、出力画像信号が有するフレームレートを基準とした、１フレーム間の移動量を表す移動速度（単位は画素／フレーム）へと規格化する処理を実行する。
【００８５】
この動きベクトルの規格化により、出力画像信号が有するフレームレートを基準とした移動速度（画素／フレーム）が算出される。なお、この規格化の方法については、後に詳しく述べる。
【００８６】
動きベクトル規格化部２２２において、算出された画像の各領域における出力フレーム対応の移動速度は、移動速度演算部１０１の出力として、移動速度検出部１０１から、画像生成処理部１０２へ出力される。
【００８７】
このように、移動速度演算部１０１では、出力画像信号が有するフレームレートを基準として、分割領域ごとに移動速度（画素／フレーム）を求める処理を実行する。この処理には、まず、入力画像から探索用フレームと参照用フレームを選択して、これらの２つのフレームに基づいて動きベクトルを検出することが必要である。この動きベクトルの検出に適用する探索用フレームと参照用フレームの選別方法について、詳しく説明する。
【００８８】
（移動速度演算時に適用するフレームについて）
図９は、移動速度演算部１０１において、動きベクトルの検出に適用する探索用フレームと参照用フレームの選別処理を説明する図である。
この処理例は、前述したように、
入力画像信号のフレームレートを２４０（フレーム／秒）、
出力画像信号のフレームレートを６０（フレーム／秒）、
これらの設定における処理例を説明する図である。
【００８９】
なお、移動速度演算部１０１において、動きベクトルの検出に適用する探索用フレームと参照用フレームは、入力画像を構成するフレームであり２４０（フレーム／秒）のフレームレートを持つ入力画像信号の構成フレームから、動きベクトルの検出に適用する探索用フレームと参照用フレームが選択される。
【００９０】
図９中では、入力画像信号の各フレームにフレーム番号が記してあるが、この番号は時刻０（秒）に入力画像信号の０番目のフレームが撮像されたとして表現したものである。入力画像信号のフレームレートは２４０（フレーム／秒）であるため、時刻ｓ（秒）では２４０×ｓ番目のフレームと表記する。
【００９１】
制御部２０２によって行われる、探索用および参照用フレームの選別方法について、図９を参照して説明する。
まず、探索用フレームの選別について説明する。
探索用フレームは、出力画像の有するフレームレートを基に抽出する。
ここで、出力画像信号のフレームレートは、
６０（フレーム／秒）
であるため、入力画像信号［２４０（フレーム／秒）］中から、１／６０秒間毎に撮像されたフレームを、探索対象として抽出する。
【００９２】
図９中では、２４０×ｓ＋０番目、２４０×ｓ＋４番目、２４０×ｓ＋８番目のフレームを、選択された探索フレームとして示している。結果的に探索用フレームは、出力画像のフレームと同数となる。言い換えれば、出力画像の１フレームを生成するために、１つの探索用フレームが選択される。
【００９３】
次に、参照用フレームの選別について説明する。
参照用フレームは、１つの探索フレームに対応して、１つの参照用フレームが選択される。具体的には、図９に示す（例１）、（例２）、（例３）のように、様々な選択手法が適用可能である。
【００９４】
探索用フレームを２４０×ｓ＋０番目のフレームとし、この２４０×ｓ＋０番目のフレームに対する参照フレームを選択する例について説明する。前述した通り、求めるべき移動速度（画素／フレーム）は、出力画像の有するフレームレート６０（フレーム／秒）を基準とする。従って、探索用フレームと参照用フレームの間隔が１／６０秒間の場合であれば、その探索用フレームと参照用フレームに基づいて算出される移動ベクトルは、出力画像の有するフレームレート６０（フレーム／秒）に対応する移動速度に相当する大きさを持つ。従って、この場合は、ブロックマッチング処理により得られる動きベクトルの規格化は必要ない。
【００９５】
図９に示す（例１）の参照用フレームの選別処理例は、探索用フレームと参照用フレームの間隔を１／６０秒間とした処理例である。
探索用フレームである２４０×ｓ＋０番目のフレームの１／６０秒後に撮像されたフレームは、２４０×ｓ＋４番目のフレームであり、この２４０×ｓ＋４番目のフレームを、探索用フレームである２４０×ｓ＋０番目のフレームに対応する参照用フレームとして選択する。
【００９６】
また、次の探索用フレームである２４０×ｓ＋４番目のフレームの１／６０秒後に撮像されたフレームは、２４０×ｓ＋８番目のフレームであり、この２４０×ｓ＋８番目のフレームを、探索用フレームである２４０×ｓ＋４番目のフレームに対応する参照用フレームとして選択する。
【００９７】
この（例１）のように、探索用フレームと参照用フレームの間隔を１／６０秒に設定した例であれば、その探索用フレームと参照用フレームに基づいて算出される移動ベクトルは、出力画像の有するフレームレート６０（フレーム／秒）に対応する移動速度に相当する大きさを持つ。従って、この場合は、ブロックマッチング処理により得られる動きベクトルの規格化は必要ない。
【００９８】
これに対し、図９に示す（例２）、（例３）のような参照用フレームの選択も可能である。（例２）では、探索用フレームに対応する参照用フレームを探索用フレームの次のフレーム、すなわち、１／２４０秒後のフレームに設定し、（例３）では、探索用フレームに対応する参照用フレームを探索用フレームの２つ後のフレーム、すなわち、２／２４０秒後のフレームに設定した例である。このように、探索用フレームにより近いフレームを参照用フレームとして設定することも可能である。
【００９９】
より探索用フレームに近い参照用フレームを選別することで、フレーム間の被写体の移動量は小さくなり、ブロックマッチング処理時において探索範囲を小さくすることができる。そのため、ブロックマッチング処理の高速化、高精度化を見込むことができる。
【０１００】
２４０×ｓ＋０番目のフレームを探索用フレームとしたとき、図９に示す（例２）では、２４０×ｓ＋１番目のフレームを参照用フレームとして選択し、（例３）では、２４０×ｓ＋２番目のフレームを参照用フレームとしている。
【０１０１】
（例２）、（例３）の場合、移動速度検出部２０４のブロックマッチング処理部２２１におけるブロックマッチング処理によって得られた動きベクトルは、出力画像信号のフレームレート相当の移動速度と異なるため、求めた動きベクトルに基づいて、出力画像信号のフレームレート相当の移動速度に変換する規格化処理を行なうことが必要となる。以下では動きベクトルを規格化する方法について説明する。
【０１０２】
（動きベクトルの規格化について）
図９中の（例２）の場合では、探索用フレームである２４０×ｓ＋０番目のフレームと、参照用の２４０×ｓ＋１番目のフレーム間は、１／２４０秒の差で撮像されたフレームである。一方、出力画像の有するフレームレートは６０（フレーム／秒）である。移動速度検出部２０４の動きベクトル規格化部２２２は、１／２４０秒の差で撮像されたフレーム間において算出した移動ベクトルに基づいて、出力画像の有するフレームレート［６０（フレーム／秒）］相当の移動速度に変換する規格化処理を行なう。この規格化処理は、移動ベクトルに基づいて、１／６０秒間の移動量を求めることに相当する。
【０１０３】
図９に示す（例２）の場合、
ブロックマッチング処理によって得られた動きベクトルは、１／２４０秒の差で撮像されたフレームに基づいて算出した移動ベクトルであり、
算出すべき移動量は、１／６０秒間の移動量であるので、
ブロックマッチング処理によって得られた動きベクトルの大きさに、
（１／６０）／（１／２４０）＝４
の値を乗じることで、出力画像信号のフレームレート［６０（フレーム／秒）］相当に規格化された移動速度が算出できる。
【０１０４】
また、図９に示す（例３）の場合、
ブロックマッチング処理によって得られた動きベクトルは、２／２４０秒の差で撮像されたフレームに基づいて算出した移動ベクトルであり、
算出すべき移動量は、１／６０秒間の移動量であるので、
ブロックマッチング処理によって得られた動きベクトルの大きさに、
（１／６０）／（２／２４０）＝２
の値を乗じることで、出力画像信号のフレームレート［６０（フレーム／秒）］相当に規格化された移動速度が算出できる。
【０１０５】
このような動きベクトルの規格化は、移動速度検出部２０４内の動きベクトル規格化部２２２において行われるが、本実施例では、制御部２０２において探索用および参照用フレームを選別する際、規格化に必要な動きベクトルの大きさに乗じる係数を実数値精度で算出し、その値を制御信号として動きベクトル規格化部２２２へと出力する構成をとっている。
【０１０６】
ここまで、探索用フレームの選別、参照用フレームの選別、および、得られた動きベクトルを規格化して移動速度を算出する方法を説明した。先に、説明した通り、本処理例では、出力画像１フレームを生成するために、１つの移動速度の探索用フレームを設定している。結果として、出力画像のフレーム数と同数の探索用フレームが選択され、これらの各探索用フレームについて、フレーム内に設定される各分割領域の移動速度が、出力画像のフレームレート相当の値として算出され、移動速度演算部１０１から画像生成処理部１０２に出力される。
【０１０７】
［４．画像生成処理部の処理についての説明］
次に、画像生成処理部１０２の実行する処理の詳細について説明する。画像生成処理部１０２では、移動速度演算部１０１から入力した画像中の各領域における移動速度に応じて、入力画像の分割領域毎に適応的な画像変換処理を行い、各分割領域ごとにジャーキネスおよびブラーの発生が最も抑制される画像、すなわち、最適なシャッタ速度で撮像した画像を擬似的に作成し、各分割領域単位で生成した最適シャッタ速度に対応する擬似画像を合成して１つのフレーム画像を生成して出力する。
【０１０８】
図１０は、画像生成処理部１０２の詳細な構成例を示すブロック図である。画像生成処理部１０２は、図１０に示すように、入力画像信号の複数のフレームを記憶する画像蓄積部２５１、フィルタリング処理に用いるフレームを選別し画像蓄積部２５１からの読み出し制御を行う制御部２５２、移動速度を基に各領域に対して最適な撮像シャッタ速度を算出する最適シャッタ速度算出部２５３、入力画像に対し領域毎に適応的なフィルタリング処理を行うフィルタリング処理部２５４を有する構成である。
【０１０９】
画像生成処理部１０２は、処理対象画像の分割領域単位で最適シャッタ速度の撮像画像を擬似的に生成する。すなわち、分割領域ごとにジャーキネスおよびブラーの発生が最も抑制される画像を生成する。この画像生成処理の一例として、時間方向のフィルタリング処理を用いた処理例について、以下説明する。
【０１１０】
出力画像信号のある１フレームを生成する処理の流れを、図１０を参照して説明する。画像生成処理部１０２に入力した入力画像信号は、まず画像蓄積部２５１に入力、格納される。画像蓄積部２５１は、複数のフレームを記憶できる記憶部である。画像蓄積部２５１に蓄積された入力画像信号から、後段のフィルタリング処理に用いるフレームが順次読み出されることになるが、この読み出し制御は制御部２５２において行われる。
【０１１１】
出力画像のある１フレームを生成するために用いる読み出しフレームの選別についての詳細は後述する。制御部２５２の制御によって読み出された入力画像中の各フレームは、フィルタリング処理部２５４へ入力される。
【０１１２】
一方、最適シャッタ速度算出部２５３には、移動速度演算部２５１から出力された、入力画像の各分割領域対応の移動速度情報が入力される。この移動速度情報は、移動速度演算部１０１内の制御部２０２（図７参照）によって入力画像信号から選別された、探索用フレーム内の各領域について算出されたものであり、先に図９を参照して説明したように、各探索用フレームは生成する出力画像の各フレームに一対一で対応している。
【０１１３】
最適シャッタ速度算出部２５３は、入力した各分割領域対応の移動速度情報に基づいて出力画像の該当フレーム内の各領域について、最適な撮像シャッタ速度を算出する。移動速度と最適な撮像シャッタ速度の関係についての詳細は後述するが、出力画像が指定のフレームレートで表示された際、ジャーキネス劣化とボケ劣化の双方が最も低減する設定条件に基づいて最適な撮像シャッタ速度が算出される。この設定条件は、予め最適シャッタ速度算出部２５３が有している。
【０１１４】
最適シャッタ速度算出部２５３は、各分割領域対応の移動速度情報を入力し、ジャーキネス劣化とボケ劣化の双方が最も低減する最適な撮像シャッタ速度を算出する。ここで算出する最適な撮像シャッタ速度は、出力画像の各フレームに設定される分割領域単位の最適撮像シャッタ速度である。最適シャッタ速度算出部２５３は、算出した出力画像フレーム内の各分割領域対応の最適な撮像シャッタ速度を、フィルタリング処理部２５４へと出力する。
【０１１５】
フィルタリング処理部２５４には、さらに、制御部２５２の制御に基づいて画像蓄積部２５１から読み出された出力画像の当該フレーム生成するために用いる入力画像フレームが入力される。フィルタリング処理部２５４は、この入力画像に対する画像処理を実行する。すなわち、最適シャッタ速度算出部２５３から入力される出力画像フレーム内の各分割領域対応の最適な撮像シャッタ速度に基づいて、入力画像フレームの分割領域各々について、最適シャッタ速度の撮像画像を擬似的に生成するフィルタリング処理を行う。フィルタリング処理部２５４において生成された画像は、出力画像信号の１フレームとして出力される。
【０１１６】
画像生成処理部１０２では、ここまでに説明した処理を、出力画像のフレーム数だけ繰り返すことにより、指定のフレームレートを有する出力画像信号を出力する。
【０１１７】
［５．フィルタリング処理部の実行するフィルタリング処理の詳細］
フィルタリング処理部２５４は、最適シャッタ速度算出部２５３から入力される出力画像フレーム内の各分割領域対応の最適な撮像シャッタ速度に基づいて、入力画像フレームの分割領域各々について、最適シャッタ速度の撮像画像を擬似的に生成するフィルタリング処理を行う。このフィルタリング処理を、最も簡単に実現する方法の１つの手法は、入力画像フレームの分割領域を時間方向に平均化する処理である。
【０１１８】
最適な撮像シャッタ速度に応じて、領域毎に平均化に用いるフレーム数を変えて平均化を行うことによって、撮像時におけるシャッタ速度が各領域において異なる出力画像を擬似的に生成することができる。
【０１１９】
また、時間方向の平均化処理を行う際、既存のフレーム間を補間する中間フレームを作成することで、より滑らかな動きボケ生成を行う方法を用いることも有効である。この補間処理は、出力画像信号のフレームレートに対し、入力画像信号のフレームレートが十分に大きくない場合には特に有効である。この補間処理を実行する画像生成処理部１０２の構成例を図１１に示す。
【０１２０】
図１１は、画像生成処理部１０２内に中間フレーム生成部を加えた構成例を示すものである。図１１において、入力画像信号は画像蓄積部２５１とともに中間フレーム生成部２５０に入力される。中間フレーム生成部２５０は、既存のフレームを基に中間フレームを生成し、この中間フレームを用いることで、後段のフィルタリング処理部２５４において行われるフィルタリング処理において滑らかな画像を生成することができる。
【０１２１】
中間フレーム生成部２５０における中間フレームの生成処理手法には、様々な既存の手法が適用可能である。例えば、既存の前後フレームを、重みをつけてブレンドする方法のほか、図１１に示すように、中間フレーム生成部２５０に、領域毎の移動速度情報を入力し、この移動速度情報に基づく重みづけや画像ブレンドを実行することで、より精度の高い中間フレーム生成が可能となる。
【０１２２】
また、フィルタリング処理部２５４における最適シャッタ速度の撮像画像を擬似的に生成するフィルタリング処理としては、時間方向の平均化処理のほか、時間方向に帯域制限フィルタ処理を行い、信号の制限（もしくは通過）帯域を変更する構成としてもよい。さらに、時間方向のフィルタリングのみならず、空間方向の帯域制限フィルタリングや、動きベクトルを利用して周囲の画素情報を取得することによって動きボケを生成する方法（例えば、"Ｉｍａｇｅ−Ｂａｓｅｄ Ｍｏｔｉｏｎ Ｂｌｕｒ ｆｏｒ Ｓｔｏｐ Ｍｏｔｉｏｎ Ａｎｉｍａｔｉｏｎ，" Ｇ．Ｊ．Ｂｒｏｓｔｏｗ ｅｔ ａｌ． ＳＩＧＧＲＡＰＨ２００１．などに開示された方法）等を適用するなど、さまざまな方法の適用が可能である。
【０１２３】
［６．フィルタリング処理に用いるフレームの選別方法について］
前述したように、フィルタリング処理部２５４は、最適シャッタ速度算出部２５３から入力される出力画像フレーム内の各分割領域対応の最適な撮像シャッタ速度に基づいて、入力画像フレームの分割領域各々について、最適シャッタ速度の撮像画像を擬似的に生成するフィルタリング処理を行う。すなわち、入力画像フレームの分割領域各々について、シャーキネスおよびブラーの発生が最も抑制される最適シャッタ速度の撮像画像を擬似的に生成する。
【０１２４】
出力画像の１フレームを生成するために用いる読み出しフレームの選別処理について、図１２を参照して説明する。図１２は、フィルタリング処理に用いる入力画像フレームと、出力される画像フレームとの対応について説明する図である。
【０１２５】
先に、説明したように、本発明の画像処理装置では、入力画像及び出力画像のフレームレートの組み合わせは様々な設定が可能であるが、ここでは、その一例として、
入力画像信号のフレームレートを２４０（フレーム／秒）、
出力画像信号のフレームレートを６０（フレーム／秒）、
これらの組み合わせの例を説明する。また、ここで説明する処理例においては、中間フレームの生成は行わないものとする。
【０１２６】
図１２において、（ａ）入力画像信号には、先に説明した図９と同様、各フレームに、フレーム番号を示している。このフレーム番号は時刻０（秒）に入力画像信号の０番目のフレームが撮像されたとして表現したものである。入力画像信号のフレームレートは２４０（フレーム／秒）であるため、時刻ｓ（秒）では２４０×ｓ番目のフレームと表記する。
【０１２７】
図１０に示す画像生成処理部１０２の制御部２５２の制御のもと、出力画像のある１フレームを生成するためのフィルタリング処理に用いる読み出しフレームの選別処理が実行される。図１２には、このフレーム選別処理例の２つの例（例１）、（例２）を示している。
【０１２８】
図１２の（ａ）入力画像信号には、先に、図９を参照して説明した探索用フレームを２４０×ｓ＋０番目、２４０×ｓ＋４番目、２４０×ｓ＋８番目のフレームとして斜線で示している。
本処理例では、出力画像信号のフレームレートは、
６０（フレーム／秒）
であるため、入力画像信号［２４０（フレーム／秒）］中から、１／６０秒間毎に撮像されたフレームを、探索対象として抽出する。すなわち、移動速度演算部１０１において探索対象のフレームとして選別されるフレームは、２４０×ｓ＋０番目、２４０×ｓ＋４番目、２４０×ｓ＋８番目のフレームであり、斜線で示したフレームである。
【０１２９】
本実施例において、出力画像を生成するためのフィルタリング処理に用いる入力画像フレームは、各出力画像フレームに対応する探索用フレームを含む前後フレームを用いる。なお、１つの出力フレームを生成するためのフィルタリング処理に適用する入力画像フレームについては、このように、各出力画像フレームに対応する探索用フレームを含む前後フレームを用いる処理とすることが必須となるものではなく、各出力画像フレームに対応する探索用フレームを含む前フレームのみ、あるいは後フレームのみなど、様々な処理形態を適用することが可能である。
【０１３０】
しかし、先に図９を参照して説明したように、出力画像の１フレームに対して、１つの移動速度の探索用フレームが対応付けられており、出力画像フレームをフィルタリング処理により生成する場合に、その出力画像フレームに対応する探索用フレームを含むようその前後フレームを用いることで、移動速度情報を反映したフィルタリング処理が可能となる。
【０１３１】
図１２には、（例１）、（例２）として、画像生成処理部１０２の制御部２５２の制御のもと、出力画像のある１フレームを生成するためのフィルタリング処理に用いる読み出しフレームの２つの選別処理例を示している。
【０１３２】
なお、６０×ｓ＋０番目の出力画像のフレームと対応する入力画像中の移動速度検出適用探索フレームは２４０×ｓ＋０番目の入力画像フレームである。
６０×ｓ＋１番目の出力画像のフレームと対応する入力画像中の移動速度検出適用探索フレームは２４０×ｓ＋４番目の入力画像フレームである。
６０×ｓ＋２番目の出力画像のフレームと対応する入力画像中の移動速度検出適用探索フレームは２４０×ｓ＋８番目の入力画像フレームである。
【０１３３】
まず、（例１）の処理例について説明する。
（例１）においては、６０×ｓ＋０番目の出力画像フレーム３１０を生成する場合のフィルタリング処理に適用する入力画像フレームは、図に示すように、対応する移動速度の探索用フレームである２４０×ｓ＋０番目と、その前１フレームと後２フレームとした設定である。すなわち、２４０×ｓ−１番目、２４０×ｓ＋０番目、２４０×ｓ＋１番目、２４０×ｓ＋２番目の計４フレームを、フィルタリング処理に用いるフレームとして選択する例を示している。
【０１３４】
図には、出力画像フレームに対応する移動速度検出に適用した探索用フレームを［０］として、ｎ個前のフレームを［−ｎ］、ｎ個後のフレーム［＋ｎ］として示してある。（例１）の場合、１つの出力画像フレームを生成する場合のフィルタリング処理に適用する入力画像フレームは、出力画像フレームに対応する移動速度の探索用フレームの１つ前（−１）のフレームから２つ後（＋２）のフレーム、すなわち−１，０，＋１，＋２の４フレームとした設定である。これらの４フレームを適用して、各分割領域毎に最適シャッタ速度の撮像画像を擬似的に生成するフィルタリング処理を行う。例えば、入力画像フレームの分割領域を時間方向に平均化する処理を行なう。
【０１３５】
（例１）では、６０×ｓ＋１番目、および、６０×ｓ＋２番目の出力画像のフレーム３１１，３１２を生成する場合も同様に、対応する探索用フレームとその前１フレームと後２フレーム（−１〜＋２）の計４フレームを、フィルタリング処理に用いるフレームとして選択している。
【０１３６】
（例２）においては、６０×ｓ＋０番目の出力画像フレーム３２０を生成する場合のフィルタリング処理に適用する入力画像フレームは、図に示すように、対応する移動速度の探索用フレームである２４０×ｓ＋０番目と、その前２フレームと後２フレームとした設定である。すなわち、２４０×ｓ−２番目、２４０×ｓ−１番目、２４０×ｓ＋０番目、２４０×ｓ＋１番目、２４０×ｓ＋２番目の計５フレームを、フィルタリング処理に用いるフレームとして選択する例を示している。
【０１３７】
（例２）では、６０×ｓ＋１番目、および、６０×ｓ＋２番目の出力画像のフレーム３２１，３２２を生成する場合も同様に、対応する探索用フレームとその前２フレームと後２フレーム（−２〜＋２）の計５フレームを、フィルタリング処理に用いるフレームとして選択している。例２の場合、これらの５フレームを適用して、各分割領域毎に最適シャッタ速度の撮像画像を擬似的に生成するフィルタリング処理を行う。例えば、入力画像フレームの分割領域を時間方向に平均化する処理を行なう。
【０１３８】
（例２）の場合、例えば、２４０×ｓ＋２番目のフレームが、６０×ｓ＋０番目と６０×ｓ＋１番目の出力画像のフレーム３２０，３２１の生成のためのフィルタリング処理に、２４０×ｓ＋６番目のフレームが、６０×ｓ＋１番目と６０×ｓ＋２番目の出力画像のフレーム３２１，３２２の生成のためのフィルタリング処理に、それぞれ重複して用いられるが、このような重複したフレーム選択は特に問題とはならない。
【０１３９】
［７．移動速度と最適な撮像シャッタ速度の対応関係について］
前述した通り、図１１に示す画像生成処理部１０２における最適シャッタ速度算出部２５３は、移動速度演算部１０１から出力された、画像中の各分割領域における移動速度を入力とし、この分割領域各々の移動速度情報に基づいて、最適な撮像シャッタ速度、すなわち、ジャーキネスおよびブラーが最も低減される撮像シャッタ速度を算出する。
【０１４０】
その際、最適シャッタ速度算出部２５３は、移動速度と最適な撮像シャッタ速度とを対応付けたテーブル、あるいは予め設定された算出式に基づいて撮像シャッタ速度を求める。最適シャッタ速度算出部２５３は、移動速度と最適な撮像シャッタ速度とを対応付けたテーブルまたは算出式情報を保持している。
【０１４１】
図１３は、移動速度と最適な撮像シャッタ速度の対応関係の一例を示したものである。グラフの横軸は移動速度、縦軸はシャッタ速度を示しており、グラフ中の曲線が移動速度と最適な撮像シャッタ速度との対応関係を示す。図１３の曲線は、主観評価実験により求めた結果を示すグラフである。
【０１４２】
被写体の輝度、移動速度、撮像シャッタ速度について、複数のパターンについて実験を行うことで、ジャーキネス劣化とボケ劣化の双方が最も低減する条件を探索し、さらに、複数の被験者についての結果を平均して、ある関数で近似することにより得られた曲線が図１３に示す曲線である。
【０１４３】
以降、本実施例では、実験によって得られた結果である図１３の曲線を例として説明を進めていくが、この曲線は、移動速度と最適撮像シャッタ速度との対応を示す一例であり、本発明の装置は、この曲線の適用に限定されるものではない。最適シャッタ速度算出部２５３は、入力する各分割領域の移動速度情報に基づいてジャーキネス劣化とボケ劣化の双方が最も低減する最適な撮像シャッタ速度を算出可能な構成であればよく、そのための対応テーブルまたは算出式を保持することが必要となる。
【０１４４】
また、本実施例に係る処理を実装した装置においては、速度と最適な撮像シャッタ速度の対応関係を、出力画像信号を表示するデバイスの応答特性や、使用者の嗜好に応じて、変更できるように構成することも可能である。これについての詳細は後述する。
【０１４５】
［８．最適な撮像シャッタ速度算出方法について］
以下、最適シャッタ速度算出部２５３が、図１３に示すグラフデータを、移動速度−最適撮像シャッタ速度の対応テーブルとして保持している場合、ある分割領域の移動速度情報を入力して、最適撮像シャッタ速度を算出する処理例について説明する。すなわち、画像中のある分割領域における移動速度情報を最適シャッタ速度算出部２５３に入力したとき、その領域に対し最適な撮像シャッタ速度を算出する最も基本的な処理例について、図１４を用いて説明する。
【０１４６】
まず、ある出力フレームの１つの分割領域における移動速度の値を、グラフの横軸から探索する。例えば、図１４の横軸上の移動速度点３３１が、ある出力フレームの１つの分割領域における移動速度の値であるとする。次に、横軸の値に対応するグラフ曲線上の点を探索する。図に示す矢印Ａによって、横軸の値（移動速度点３３１）に対応するグラフ曲線上の点を探索する。図に示すグラフ点３３２が探索される。
【０１４７】
次に、探索したグラフ曲線上の点３３２に対応する縦軸上の値を探索する。図に示す矢印Ｂによって、グラフ曲線上の点３３２に対応する縦軸上の値（最適撮像シャッタ速度点３３３）を探索する。この処理によって、特定の分割領域の移動速度に対し最適な撮像シャッタ速度の値（最適撮像シャッタ速度点３３３）を獲得することができる。この要領で、各分割領域に対応する移動速度に対応する最適シャッタ速度を求める。決定した最適な撮像シャッタ速度は、図１１に示す画像生成処理部１０２の最適シャッタ速度算出部２５３から出力され、フィルタリング処理部２５４へ入力される。
【０１４８】
なお、上述の撮像シャッタ速度の算出方法は、最も基本的な手段の一例であり、算出処理の高速化や記憶データ量の削減の必要性に応じて簡略化してもよい。図１５は、図１３に示した移動速度と最適な撮像シャッタ速度の関係の一例を粗化して示したものである。移動速度と最適な撮像シャッタ速度の関係の情報を、図１３のように粗化したデータとして表現することにより、最適シャッタ速度算出部２５３が予め有しているべき情報は、限られた組み合わせのテーブル状のデータとなり、データ量は軽減される。
【０１４９】
すなわち、この例では、最適シャッタ速度算出部２５３が予め有しているべき情報は、図１６に示す移動速度と最適シャッタ速度の対応データとなる。図１６に示すように、
移動速度が０〜Ｖａでは、最適シャッタ速度＝ｔ４、
移動速度がＶａ〜Ｖｂでは、最適シャッタ速度＝ｔｋ、
移動速度がＶｂ〜Ｖｃでは、最適シャッタ速度＝ｔｌ、
：
移動速度がＶｇ〜Ｖｈでは、最適シャッタ速度＝ｔｒ、
移動速度がＶｈ〜では、最適シャッタ速度＝ｔｓ、
このように、移動速度の区間データに対応する最適シャッタ速度を設定したテーブルを、図１５に示すグラフに基づいて生成し、この対応テーブルを保持する構成としてもよい。この構成によって、最適シャッタ速度算出部２５３が保持すべきデータ量は軽減される。また、この場合、計算コストの点にも利便性がある。すなわち、最適シャッタ速度算出部２５３は、ある領域の移動速度情報を入力してその領域に最適な撮像シャッタ速度を算出する場合、移動速度が図１６に示すテーブルのどの区間に対応するかを判別し、その区間に対応付けられた最適シャッタ速度データを取得するのみで、各移動速度に対応する最適な撮像シャッタ速度を取得することができる。
【０１５０】
［９．最適な撮像シャッタ速度算出および、出力フレーム生成処理の具体例］
次に、最適な撮像シャッタ速度算出および、出力フレーム生成処理の具体例について、図１７〜図１９を参照して説明する。
【０１５１】
以下の説明においても、
入力画像のフレームレートは２４０（フレーム／秒）、
出力画像のフレームレートは６０（フレーム／秒）、
このフレームレート設定として説明する。また、本例では、入力画像の各フレームは、単一のシャッタ速度１／２４０（秒）で撮像されているものとして説明する。
【０１５２】
図１７は、本発明の画像処理装置の移動速度演算部１０１（図４参照）において、各分割領域について移動速度が算出された、ある１枚の探索用フレームを図示している。本例では、画像フレームを４×４画素の領域に分割し、これらの４×４画素の分割領域を単位として、各分割領域の移動速度を検出するものとする。図７を参照して説明した移動速度演算部１０１の領域分割部２０３において４×４画素単位に分割され、各々の領域について対応する移動速度の値が算出される。
【０１５３】
各分割領域の移動速度は、先に図７〜図９を参照して説明した移動速度検出処理、すなわち、探索用フレームと参照用フレームを設定し、これらのフレーム間においてブロックマッチングを実行することで算出される。
【０１５４】
図１７に示す分割領域の内、６つに識別記号Ａ〜Ｆを示している。ここで、各々の領域Ａ〜Ｅの分割領域において算出された移動速度を、それぞれＶａ、Ｖｂ、Ｖｃ、Ｖｄ、Ｖｅ、Ｖｆとする。
【０１５５】
図１８は、画像生成処理部１０２において行われる移動速度に基づく最適な撮像シャッタ速度の算出に適用するグラフ（テーブル）を示している。このテーブルは、図１１を参照して説明した画像生成処理部１０２の最適シャッタ速度算出部２５３に保持されたテーブルであり、移動速度と最適な撮像シャッタ速度との対応データである。最適シャッタ速度算出部２５３は、このテーブルを適用して、各分割領域に対応して求められた移動速度に基づいて、各分割領域に対応する最適シャッタ速度を算出する。図１８に示すデータは、先に、図１５を参照して説明したグラフと同様、所定の移動速度区間毎に、最適シャッタ速度を対応付けたデータである。
【０１５６】
最適シャッタ速度算出部２５３は、各分割領域に対応して求められた移動速度情報を入力し、図１８に示すデータを適用して各分割領域に対応する最適シャッタ速度を算出する。以下、図１７に示すフレーム画像データが、出力画像フレームに対応する探索用フレームとして画像生成処理部１０２に入力した場合の処理例について説明する。
【０１５７】
図１１に示す画像生成処理部１０２の最適シャッタ速度算出部２５３には、図１７に示すフレーム画像の各分割領域の移動速度情報が入力される。分割領域Ａ〜Ｆ（４×４画素）に対しては、移動速度情報Ｖａ〜Ｖｆが入力される。
ここで、図１７に示す分割領域Ａ〜Ｆの各々が有する移動速度Ｖａ〜Ｖｆの値と、図１８に示すグラフの横軸に示す閾値ｔｈ１〜ｔｈ６との大小関係は、以下の設定であるとする。
０≦Ｖａ＜ｔｈ１
ｔｈ１≦Ｖｂ＜ｔｈ２
ｔｈ２≦Ｖｃ＜ｔｈ３
ｔｈ３≦Ｖｄ＜ｔｈ４
ｔｈ４≦Ｖｅ＜ｔｈ５
ｔｈ６≦Ｖｆ
【０１５８】
先に説明した通り、ある領域の移動速度から当該領域に最適な撮像シャッタ速度を算出する処理は、まず、移動速度が上記閾値によって区切られた移動速度区間のどの区間にあるかを判別し、次に、その移動速度区間に対応付けられた最適シャッタ速度を取得する処理として実行される。
【０１５９】
例えば、図１７に示す分割領域Ｃは、移動速度Ｖｃを有する。
ｔｈ２≦Ｖｃ＜ｔｈ３
であり、移動速度Ｖｃは、移動速度区間ｔｈ２〜ｔｈ３に含まれる。移動速度区間ｔｈ２〜ｔｈ３に対応する最適シャッタ速度は、図１８に示すグラフから［１／１２０秒］である。このように、移動速度Ｖｃを有する分割領域Ｃにおける最適シャッタ速度は［１／１２０秒］であると判定される。これは、分割領域Ｃの画像をシャッタ速度１／１２０秒とした擬似画像とした場合に、ジャーキネスおよびブラーが最も低減された画像とすることが可能であることを意味している。
【０１６０】
このシャッタ速度情報が図１１に示す画像生成処理部１０２のフィルタリング処理部２５４に入力され、フィルタリング処理部２５４では、分割領域Ｃの画像をシャッタ速度１／１２０秒とした擬似画像とするための画像生成処理（フィルタリング処理）を実行する。画像フィルタリング処理は、先に、図１２を参照して説明したように、既存の前後フレームを、重みをつけてブレンドする処理として実行される。
【０１６１】
図１９を参照してフィルタリング処理部２５４において実行するフィルタリング処理、すなわち、ジャーキネスおよびブラーが最も低減されたシャッタ速度撮像画像としての擬似画像の生成処理について説明する。
【０１６２】
フィルタリング処理部２５４には、各領域に対応する最適シャッタ速度情報と、先に図１２を参照して説明したように、図１１に示す画像生成処理部１０２の制御部２５２において選択されたフィルタリング処理に適用する入力画像フレームが入力される。本例では、フィルタリング処理に用いるフレームを、図１２を参照して説明した（例２）のように、移動速度の探索用フレームの前後２フレームであるとする。
【０１６３】
図１９には、フィルタリング処理部２５４に入力された出力画像フレームに対応する移動速度の探索用フレームとその前後２フレームの５つの入力フレームを示している。これらの５つのフレームは、出力画像フレームに対応する移動速度の探索用フレームである２４０×ｓ＋０番目のフレーム、および、フィルタリングに用いるフレームとしてその前後２フレームである２４０×ｓ−２番目、２４０×ｓ−１番目、２４０×ｓ＋１番目、２４０×ｓ＋２番目のフレームである。これらの入力フレーム中に示す画素３５１（−２）〜３５１（２）は、先に図１７を参照して説明した処理対象の４×４画素の分割領域に含まれる画素であるとする。入力フレーム中に示す画素３５１（−２）〜３５１（２）の各画素値をｉｎ（−２）、ｉｎ（−１）、ｉｎ（０）、ｉｎ（１）、ｉｎ（２）とする。
【０１６４】
また、図１９には、これらの各フレームを用いたフィルタリング処理の結果、出力される出力フレーム３７０を示している。このフレームは、図１２の（例２）において示す［６０×ｓ＋０番目の出力フレーム］３２０に相当する。出力フレーム３７０中、注目画素３５１（−２）〜３５１（２）と位置的に対応する出力画素３７１の画素値をｏｕｔ（０）とする。
【０１６５】
本例では、出力フレーム中の出力画素３７１の画素値ｏｕｔ（０）は、入力画像の各フレームの注目画素３５１（−２）〜３５１（２）の画素値ｉｎ（−２）、ｉｎ（−１）、ｉｎ（０）、ｉｎ（１）、ｉｎ（２）を加重平均することで算出するものとし、以下、例をあげて説明する。
【０１６６】
（Ａ）注目画素が分割領域Ａ内の画素である場合
まず、注目画素が、図１７の領域Ａ内に存在する例を考える。
注目画素は移動速度Ｖａ（０≦Ｖａ＜ｔｈ１）を有している。
この場合、注目画素に対する最適なシャッタ速度は、既に最適シャッタ速度算出部２５３において図１８のテーブルから算出され、フィルタリング処理部２５４に入力されており、その値は１／２４０（秒）である。
【０１６７】
入力画像の各フレームは単一のシャッタ速度１／２４０（秒）で撮像されている。そのため、２４０×ｓ＋０番目の入力フレームの注目画素の画素値は、図１８のテーブルから算出された最適なシャッタ速度（１／２４０秒）で撮像されている画像であり、出力フレーム中の注目画素の画素値ｏｕｔ（０）は、ｉｎ（０）の値をそのまま用いればよい。数式で表現すると以下のようになる。
ｏｕｔ（０）＝ｉｎ（０）
【０１６８】
（Ｂ）注目画素が分割領域Ｂ内の画素である場合
次に、注目画素が図１７の領域Ｂ内に存在する場合を考える。
注目画素は移動速度Ｖｂ（ｔｈ１≦Ｖｂ＜ｔｈ２）を有している。
この場合、注目画素に対する最適なシャッタ速度は、既に最適シャッタ速度算出部２５３において図１８のテーブルから算出され、フィルタリング処理部２５４に入力されており、その値は１／１６０（秒）である。
【０１６９】
入力画像の各フレームは単一のシャッタ速度１／２４０（秒）で撮像されており、注目画素に対する最適シャッタ速度１／１６０（秒）は、
（１／１６０）／（１／２４０）＝１．５倍である。
この場合、出力フレーム中の注目画素の画素値ｏｕｔ（０）は、以下のように入力画像の各フレームの注目画素の画素値を加重平均の計算により求める。
ｏｕｔ（０）＝（ｉｎ（−１）＊０．２５＋ｉｎ（０）＋ｉｎ（１）＊０．２５）／１．５
上記式は、出力画像フレームに対応する移動速度の探索用フレームである２４０×ｓ＋０番目のフレームの画素の画素値の重みを［１］とし、
１つ前のフレームと１つ後のフレームの対応画素の画素値の重みをそれぞれ［０．２５］として、加重平均によって、出力画像フレームの画素値ｏｕｔ（０）を算出したものである。上記式により、注目画素の元々の露光時間よりも１．５倍の期間、露光されて撮像された画素を擬似的に生成することができる。
【０１７０】
（Ｃ）注目画素が分割領域Ｃ内の画素である場合
次に、注目画素が図１７の領域Ｃ内に存在する場合を考える。
注目画素は移動速度Ｖｃ（ｔｈ２≦Ｖｃ＜ｔｈ３）を有している。
この場合、注目画素に対する最適なシャッタ速度は、既に最適シャッタ速度算出部２５３において図１８のテーブルから算出され、フィルタリング処理部２５４に入力されており、その値は１／１２０（秒）である。
【０１７１】
入力画像の各フレームは単一のシャッタ速度１／２４０（秒）で撮像されており、注目画素に対する最適シャッタ速度１／１２０（秒）は、
（１／１２０）／（１／２４０）＝２．０倍である。
この場合、出力フレーム中の注目画素の画素値ｏｕｔ（０）は、以下のように入力画像の各フレームの注目画素の画素値を加重平均の計算により求める。
ｏｕｔ（０）＝（ｉｎ（−１）＊０．５＋ｉｎ（０）＋ｉｎ（１）＊０．５）／２．０
上記式により、注目画素の元々の露光時間よりも２．０倍の期間、露光されて撮像された画素を擬似的に生成する。
【０１７２】
（Ｄ）注目画素が分割領域Ｄ内の画素である場合
次に、注目画素が図１７の領域Ｄ内に存在する場合を考える。
注目画素は移動速度Ｖｄ（ｔｈ３≦Ｖｄ＜ｔｈ４）を有している。
この場合、注目画素に対する最適なシャッタ速度は、既に最適シャッタ速度算出部２５３において図１８のテーブルから算出され、フィルタリング処理部２５４に入力されており、その値は１／９６（秒）である。
【０１７３】
入力画像の各フレームは単一のシャッタ速度１／２４０（秒）で撮像されており、注目画素に対する最適シャッタ速度１／９６（秒）は、
（１／９６）／（１／２４０）＝２．５倍である。
この場合、出力フレーム中の注目画素の画素値ｏｕｔ（０）は、以下のように入力画像の各フレームの注目画素の画素値を加重平均の計算により求める。
ｏｕｔ（０）＝（ｉｎ（−１）＊０．７５＋ｉｎ（０）＋ｉｎ（１）＊０．７５） ／２．５
上記式により、注目画素の元々の露光時間よりも２．５倍の期間、露光されて撮像された画素を擬似的に生成する。
【０１７４】
（Ｅ）注目画素が分割領域Ｅ内の画素である場合
次に、注目画素が図１７の領域Ｅ内に存在する場合を考える。
注目画素は移動速度Ｖｅ（ｔｈ４≦Ｖｅ＜ｔｈ５）を有している。
この場合、注目画素に対する最適なシャッタ速度は、既に最適シャッタ速度算出部２５３において図１８のテーブルから算出され、フィルタリング処理部２５４に入力されており、その値は１／８０（秒）である。
【０１７５】
入力画像の各フレームは単一のシャッタ速度１／２４０（秒）で撮像されており、注目画素に対する最適シャッタ速度１／８０（秒）は、
（１／８０）／（１／２４０）＝３．０倍である。
この場合、出力フレーム中の注目画素の画素値ｏｕｔ（０）は、以下のように入力画像の各フレームの注目画素の画素値を加重平均の計算により求める。
ｏｕｔ（０）＝（ｉｎ（−１）＋ｉｎ（０）＋ｉｎ（１））／３．０
上記式により、注目画素の元々の露光時間よりも３．０倍の期間、露光されて撮像された画素を擬似的に生成する。
【０１７６】
（Ｆ）注目画素が分割領域Ｆ内の画素である場合
次に、注目画素が図１７の領域Ｆ内に存在する場合を考える。
注目画素は移動速度Ｖｆ（ｔｈ６≦Ｖｆ）を有している。
この場合、注目画素に対する最適なシャッタ速度は、既に最適シャッタ速度算出部２５３において図１８のテーブルから算出され、フィルタリング処理部２５４に入力されており、その値は１／６０（秒）である。
入力画像の各フレームは単一のシャッタ速度１／２４０（秒）で撮像されており、注目画素に対する最適シャッタ速度１／６０（秒）は、
（１／６０）／（１／２４０）＝４．０倍である。
この場合、出力フレーム中の注目画素の画素値ｏｕｔ（０）は、以下のように入力画像の各フレームの注目画素の画素値を加重平均の計算により求める。
ｏｕｔ（０）＝（ｉｎ（−２）＊０．５＋ｉｎ（−１）＋ｉｎ（０）＋ｉｎ（１）＋ｉｎ（２）＊０．５）／４．０
上記式により、注目画素の元々の露光時間よりも４．０倍の期間、露光されて撮像された画素を擬似的に生成する。
【０１７７】
このように、フィルタリング処理部２５４では、各画素が最適なシャッタ速度で撮像された出力フレームを生成するため、入力画像フレームの画素値を移動速度に応じた係数を設定して加重平均によるフィルタリング処理を実行して画素値を設定した画像を生成する。
【０１７８】
このように、フィルタリング処理部２５４では、生成する出力画像のシャッタ速度に応じて、フィルタリング処理に適用する入力画像フレームの数を適宜、変更して処理を行なう。
【０１７９】
［１０．移動速度と最適なシャッタ速度曲線の調整機能を有した装置について］
さらに、本発明に係る画像処理構成を実装した装置においては、出力画像を表示する表示デバイスの応答特性や、装置の使用者の嗜好に応じて、移動速度と最適な撮像シャッタ速度の関係を調整する機能を持たせる構成としてもよい。
【０１８０】
図２０は、移動速度と最適な撮像シャッタ速度の関係を表す曲線の例をいくつか示している。例えば、図２０中に示す第１段階〜第５段階の曲線のなかから、使用者が移動速度と最適な撮像シャッタ速度の関係を調整可能とする。移動速度と最適な撮像シャッタ速度の関係は、出力画像を表示する表示デバイスの応答特性や、装置の使用者の嗜好に応じて異なる場合がある。このような場合、移動速度と最適な撮像シャッタ速度の関係を調整可能とすることで、状況に応じた最適な処理が可能となる。
【０１８１】
例えば、図２０に示す移動速度と最適撮像シャッタ速度の関係を示す複数の曲線中、第１段階と第５段階を比較した場合、移動速度が等しい場合における最適な撮像シャッタ速度は、第５段階の方が高速である。そのため、フィルタリング処理により生成される出力画像は、第１段階を採用した場合の方が、第５段階を採用した場合と比べ、よりジャーキネス劣化が低減された画像となり、反対に第５段階を採用した場合の方が第１段階を採用した場合と比べ、よりブラー劣化が低減された画像となる。
【０１８２】
装置の使用者は、その嗜好に応じて、最も双方の劣化が気にならないよう、図２０中に示す第１段階〜第５段階の曲線を選択して、移動速度に対応する最適シャッタ速度を調整することができる。この移動速度と最適な撮像シャッタ速度の関係を調整する機能は、ちょうど一般的な表示装置において、輝度のガンマ曲線を調整する機能とよく似たものである。
【０１８３】
使用者が、移動速度と最適な撮像シャッタ速度の関係を調整するために必要な情報を入力する手段としては様々な構成が適用可能である。例えば、装置に設定されたユーザインタフェース（ＧＵＩ）によって入力する方法が考えられる。この場合、装置は表示デバイス、マウスなどの入力デバイスを持ち、ユーザはこれらの入力デバイスを使用して、調整を行うこととなる。図２１は、使用者が移動速度と最適な撮像シャッタ速度の関係を調整する際に用いる、ユーザインタフェースの構成例である。
【０１８４】
図２１は、図２０において示した第１段階〜第５段階の曲線のなかから、移動速度と最適な撮像シャッタ速度の関係を、使用者が選択できるよう構成されており、スクロールバー３８１を移動させて入力できるように設計してある。ユーザは何らか入力デバイスを用いてスクロールバー３８１を動かし、ＯＫボタン３８２を操作することで、移動速度と最適な撮像シャッタ速度の関係を調整することが可能となっている。
【０１８５】
［１１．第２の実施例の概要］
図２２は、本発明の第２の実施例に係る画像処理装置の構成例を示すブロック図である。第２の実施例のブロック図は、図４を参照して説明した第１の実施例に空間特徴量検出部５０３を付け加えたものである。画像処理装置５００は、処理対象画像として、一定のフレームレートを有する画像信号を入力する。この入力画像信号は、移動速度演算部５０１、画像生成処理部５０２、および空間特徴量検出部５０３に入力される。
【０１８６】
以下、第１の実施例との差分を中心として、画像処理装置５００の処理について説明する。一定のフレームレートを有する入力画像信号は、移動速度演算部５０１に入力される。移動速度演算部５０１に入力した入力画像信号は、先に、図４以下を参照して説明した第１の実施例と同様の処理を実行して、フレーム内の各分割領域の移動速度を算出する。この移動速度は、出力画像のフレームレート相当の値として算出され、移動速度演算部５０１から画像生成処理部５０２に出力される。
【０１８７】
空間特徴量検出部５０３にも同様に、入力画像信号が入力される。空間特徴量検出部５０３の処理について、図２３を参照して説明する。図２３は、空間特徴量検出部５０３の詳細な構成例を示す図である。図２３に示すように、空間特徴量検出部５０３は、入力画像信号の複数のフレームを記憶する画像蓄積部５２１、空間コントラストの大きさを評価する対象のフレームを選別し読み出し制御を行う制御部５２２、評価対象となるフレームを領域に分割する領域分割部５２３、空間フィルタリング処理などにより各領域における空間コントラストの大きさを評価する空間コントラスト評価部５２４を有する。
【０１８８】
本実施例では、処理の基準とする空間コントラスト閾値を、予め空間コントラスト評価部５２４が有している。空間特徴量検出部５０３は、処理対象とする分割領域各々について、空間コントラストの大きさが閾値以上であるか否かを判定し、処理対象とする分割領域の空間コントラストの大きさが閾値以上である場合、空間特徴量情報として信号［０］、閾値よりも小さい場合、空間特徴量情報として信号［１］を出力する。
【０１８９】
空間特徴量検出部５０３に入力した入力画像信号は、まず画像蓄積部５２１に入力され記憶される。この記憶画像フレームデータは、制御部５２２の制御のもと、空間コントラストの評価対象として選択されたフレームが画像蓄積部５２１から読み出される。
【０１９０】
空間コントラストの評価対象となるフレームは、出力画像のフレームレート情報を基に実行される。このフレーム選択処理は、先に、図７〜図９を参照して説明した移動速度演算部の制御部における動きベクトル検出対象となる探索用フレームの選別と同様の処理である。画像蓄積部５２１から読み出されたフレームは、領域分割部５２３に入力される。
【０１９１】
領域分割部５２３において行われる領域分割処理は、先に、第１の実施例において図７を参照して説明した移動速度演算部の領域分割部において実行される動きベクトル検出対象となる探索用フレームの領域分割処理と同様に行われる。先に、図５を参照して説明したように、１フレームの画像が予め定められた画素領域に分割される。
【０１９２】
各分割領域の画像データは、空間コントラスト評価部５２４へ入力され、空間フィルタリング処理が行われる。すなわち、処理対象とする分割領域各々について、空間コントラストの大きさが閾値以上であるか否かを判定し、処理対象とする分割領域の空間コントラストの大きさが閾値以上である場合、空間特徴量情報として信号［０］、閾値よりも小さい場合、空間特徴量情報として信号［１］を出力する。
【０１９３】
このように、本実施例では、図２２に示す画像生成処理部５０２は、移動速度演算部５０１から出力される画像中の各領域における移動速度情報、および、空間特徴量検出部５０３から出力される画像中の各領域における空間特徴量情報を入力する。
【０１９４】
図２４を参照して、本実施例における画像生成処理部５０２の構成および処理について説明する。図２４に示す画像生成処理部５０２において、空間特徴量検出部５０３から入力した空間特徴量情報は、移動速度情報と同様に、最適シャッタ速度算出部５５３へ入力される。最適シャッタ速度算出部５５３は、これらの各情報を適用して、各分割領域に対応する最適シャッタ速度を算出する。
【０１９５】
最適シャッタ速度算出部５５３における処理は、例えば以下のように行われる。最適シャッタ速度算出部５５３に入力した空間特徴量情報が信号［０］の場合、すなわち、処理対象とする分割領域の空間コントラストの大きさが閾値以上である場合、当該領域はその移動速度情報のみに基づいて、先に図１３〜図１７を参照して説明した移動速度と最適シャッタ速度との対応テーブルに基づいて、最適な撮像シャッタ速度を算出する。
【０１９６】
一方、空間特徴量情報が信号［１］の場合、すなわち、処理対象とする分割領域の空間コントラストの大きさが閾値未満である場合、当該領域はその移動速度に関わらず、最適シャッタ速度を最大のフレームレートに相当するシャッタ速度、例えば図１３中のｔ４をシャッタ速度として設定する。
【０１９７】
この最適シャッタ速度の決定処理は、空間コントラストが小さい領域では、ジャーキネス劣化は目立たないという事実を考慮したものである。すなわち、処理対象の分割領域の空間特徴量情報が信号［１］の場合、処理対象とする分割領域の空間コントラストの大きさが閾値未満であり、空間コントラストが小さく、ジャーキネス劣化は目立たない。従って、このような領域は、最大のフレームレートに相当するシャッタ速度、例えば図１３中のｔ４をシャッタ速度として設定して鮮明な画像を出力する。
【０１９８】
一方、分割領域の空間特徴量情報が信号［０］の場合、処理対象とする分割領域の空間コントラストの大きさが閾値以上であり、空間コントラストが大きく、ジャーキネス劣化が目立つ領域であると判定されるので、先に説明した実施例と同様、先に図１３〜図１７を参照して説明した移動速度と最適シャッタ速度との対応テーブルに基づいて、最適な撮像シャッタ速度を算出する。
【０１９９】
なお、空間特徴量情報は、本実施例で説明した例においては、所定の閾値の前後で［０］，［１］の２種類の情報とした例を説明したが、この他の設定としてもよい。例えば、空間特徴量検出部５０３が予め１つの閾値を有しているのではなく、コントラストの値に応じた異なる出力値を出力するためのより詳細なテーブルを有する構成とし、空間特徴量情報として２種類より多種類の信号を画像生成処理部５０２へ出力する構成にすることも可能である。
【０２００】
図２４に示す画像生成処理部５０２の最適シャッタ速度算出部５５３において、画像中の各領域における最適な撮像シャッタ速度を算出した後の処理、すなわち、フィルタリング処理部５５４における処理は、先の実施例において説明した処理と同様であり、各分割領域において、複数の入力画像フレームに基づいて、最適シャッタ速度に対応する擬似画像を生成する処理として実行される。
【０２０１】
本処理例では、このように、空間特徴量検出部５０３において分割領域単位で空間コントラストの大きさを検出し、画像生成処理部５０２において、空間コントラストが予め定めた閾値未満の分割領域については、移動速度に対応して算出される最適撮像シャッタ速度より高いシャッタ速度を最適シャッタ速度として設定する。あるいは、空間コントラストが予め定めた閾値未満の分割領域については、移動速度に対応して算出される最適撮像シャッタ速度を算出することなく、入力画像の持つフレームレートに対応する最高のシャッタ速度を最適シャッタ速度として設定する処理を実行する。
【０２０２】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２０３】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０２０４】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０２０５】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２０６】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２０７】
以上、説明したように、本発明の構成によれば、一定のフレームレートで出力する動画像を生成する際、動画像を構成するフレーム画像を区分した分割領域単位で出力画像のフレームレートに応じた被写体の移動速度を算出し、分割領域単位の移動速度に対応する最適な撮像シャッタ速度として、出力画像の画像劣化が低減される最適シャッタ速度を分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を分割領域単位で生成して、生成した分割領域画像を結合したフレーム画像を出力させる構成としたので、出力画像における画像劣化、具体的には、ジャーキネスおよびブラーの双方を低減した高品質の画像を出力することが可能とした画像処理装置が実現される。
【図面の簡単な説明】
【０２０８】
【図１】ジャーキネスとブラーの発生原理について説明する図であり、静止物体と移動物体の実世界における見え方を説明する図である。
【図２】ジャーキネスの発生原理について説明する図である。
【図３】ブラーの発生原理について説明する図である。
【図４】本発明の第１の実施例に係る画像処理装置の構成を示すブロック図である。
【図５】画像信号の各フレーム画像についての領域分割処理について説明する図である。
【図６】出力画像信号のフレームレート値を外部から入力する構成を持つ画像処理装置の構成例を示す図である。
【図７】移動速度演算部の詳細な構成を示す図である。
【図８】移動速度検出部の詳細な構成例を示す図である。
【図９】移動速度演算部において実行する動きベクトルの検出に適用する探索用フレームと参照用フレームの選別処理を説明する図である。
【図１０】画像生成処理部の詳細な構成例を示すブロック図である。
【図１１】画像生成処理部内に中間フレーム生成部を加えた画像生成処理部の構成例を示す図である。
【図１２】フィルタリング処理に用いる入力画像フレームと、出力される画像フレームとの対応について説明する図である。
【図１３】移動速度と最適な撮像シャッタ速度の対応関係の一例を示す図である。
【図１４】移動速度情報に基づいて、最適な撮像シャッタ速度を算出する基本的な処理例について説明する図である。
【図１５】移動速度と最適な撮像シャッタ速度の関係の一例を粗化して示した図である。
【図１６】移動速度と最適な撮像シャッタ速度の関係の一例を粗化した対応データ構成を示す図である。
【図１７】移動速度演算部において、各分割領域について移動速度が算出されたある１枚の探索用フレームを示す図である。
【図１８】画像生成処理部において行われる移動速度に基づく最適な撮像シャッタ速度の算出に適用するグラフ（テーブル）を示す図である。
【図１９】フレームを用いたフィルタリング処理について説明する図である。
【図２０】移動速度と最適な撮像シャッタ速度の関係を表す複数の異なる曲線の例を示す図である。
【図２１】移動速度と最適な撮像シャッタ速度の関係を表す複数の異なる曲線から使用者が曲線を選択できるよう構成したインタフェースを示す図である。
【図２２】本発明の第２の実施例に係る画像処理装置の構成例を示すブロック図である。
【図２３】空間特徴量検出部の詳細な構成例を示す図である。
【図２４】画像生成処理部の構成および処理について説明する図である。
【符号の説明】
【０２０９】
１１ 静止物体
１２ 移動物体
２１ 表示静止物体
２２ 表示移動物体
３１ 表示静止物体
３２ 表示移動物体
１００ 画像処理装置
１０１ 移動速度演算部
１０２ 画像生成処理部
１０３ 出力画像フレームレート情報
２０１ 画像蓄積部
２０２ 制御部
２０３ 領域分割部
２０４ 移動速度検出部
２２１ ブロックマッチング部
２２２ 動きベクトル規格化部
２５０ 中間フレーム生成部
２５１ 画像蓄積部
２５２ 制御部
２５３ 最適シャッタ速度算出部
２５４ フィルタリング処理部
３５１ 入力フレーム
３７０ 出力フレーム
３８１ スクロールバー
３８２ ＯＫボタン
５００ 画像処理装置
５０１ 移動速度演算部
５０２ 画像生成処理部
５０３ 空間特徴量検出部
５２１ 画像蓄積部
５２２ 制御部
５２３ 領域分割部
５２４ 空間コントラスト評価部
５５１ 画像蓄積部
５５２ 制御部
５５３ 最適シャッタ速度算出部
５５４ フィルタリング処理部
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。特に移動する被写体の撮影画像に発生するジャーキネスやブラーなどの画質劣化を低減し、高品質な出力画像を生成する画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
高速シャッタで撮像された動画像やアニメーションなどを、プロジェクタやディスプレイなどの表示デバイスを用いて表示すると、画像中に含まれる移動物体の動きが不連続に表示され、画像を観察する観察者が多重像を知覚してしまうという画像劣化が頻繁に発生する。これは、一般にジャーキネスと呼ばれる画質劣化の現象である。
【０００３】
一方、オープンシャッタなど低速のシャッタスピードで撮像された動画像を表示すると、動きボケの影響により、被写体のディテールの欠損やエッジが不鮮明になることがよくある。この現象は、ブラー（ぼけ）と呼ばれる画質劣化の現象である。
【０００４】
これらの、ジャーキネスとブラーの発生原理について、図１〜３を用いて説明する。人間の知覚特性として、目に入射した光を一定時間積分した値として知覚することが知られている。図１〜３は、この知覚特性に基づく観察者からの物体の見え方を模擬的に説明する図である。
【０００５】
図１は、静止物体と移動物体の実世界における見え方を説明する例である。
図１（１）は、横軸を位置（ｘ）、縦軸を時間（ｔ）として、静止物体１１と移動物体１２の時間的変移を示しており、図１（２）は、これらの静止物体１１と移動物体１２を観察する観察者の知覚状況を模擬的に示した図である。観察者は、移動物体１２を追従して観察する追従視と、および移動物体１２を追従しないで視点を固定して観察する固定視を行なう２通りの異なる観察形態における知覚状況がある。それぞれ（ａ）追従視，（ｂ）固定視として示してある。
【０００６】
図１（２）の（ａ）追従視に示すように、移動物体１２を観察者が追従視した場合、移動物体１２の見え方は、図１（２）の移動物体知覚情報ａ１２のようになる。これは図１（２）の（ｂ）固定視における固定物体１１の見え方である固定物体知覚情報ｂ１１と同様の見え方である。このように、観察者が移動物体１２を追従視した場合は、固定視における固定物体１１の見え方と同様に観察者は知覚する。
【０００７】
一方、図１（２）の（ｂ）固定視に示すように、移動物体１２を観察者が固定視した場合、移動物体１２の見え方は、図１（２）の移動物体知覚情報ｂ１２のようになる。これは、観察者が移動物体を連続的に移動するように変化する知覚を行うものであり、観察者が違和感を生じることはない。
【０００８】
図２は、高速シャッタで撮像された動画像やアニメーションなどを、プロジェクタやディスプレイなどの表示デバイスを用いて表示した場合に観察者によって知覚されるジャーキネスの発生を説明する図である。すなわち、画像中に含まれる移動物体の動きが不連続に表示され、画像を観察する観察者が多重像を知覚してしまうという現象である。
【０００９】
図２では、図１中の実世界における移動物体を、高速シャッタを用いて撮像し、６０Ｈｚでリフレッシュされる表示デバイスに表示した場合、観察者からの見え方を模擬的に表している。図２（１）は、表示静止物体２１と表示移動物体２２の表示デバイス上での表示位置の変化を示している。縦軸が時間（ｔ）であり表示デバイスのリフレッシュ間隔（１／６０ｓｅｃ）毎に区切りを設定してある。横軸が表示位置（ｘ）である。
【００１０】
図２（２）は、表示デバイスに表示される表示静止物体２１と表示移動物体２２を観察する観察者の知覚状況を模擬的に示した図である。観察者は、表示移動物体２２を追従して観察する追従視と、および表示移動物体２２を追従しないで視点を固定して観察する固定視を行なう２通りの異なる観察形態における知覚状況がある。これらをそれぞれ（ａ）追従視，（ｂ）固定視として示してある。
【００１１】
図２（２）（ａ）に示すように、表示デバイスに表示される表示移動物体２２を、観察者が追従視した場合の見え方（ａ２２）は、図１を参照して説明した図１（２）（ａ）の追従視の見え方（ａ１２）と同様の見え方であり、静止物体を固定視した場合と同じように観察者は知覚することになる。
【００１２】
一方、表示デバイスに表示される表示移動物体２２を、観察者が固定視した場合においては、図２（２）（ｂ）に示すように、観察者の視覚による知覚上、実世界とは異なり表示移動物体２２は、連続的ではなく離散的に移動変化するような見え方（ｂ２２）となる。結果として、観測者は、目に入射した光を一定時間積分した値として知覚するという知覚特性に基づいて、表示デバイスに表示される移動物体を多重像として知覚することになる。
【００１３】
観測者は、本来１つの物体であるにも拘らず、複数の物体のように感じ取ってしまうことになる。このような現象をジャーキネス劣化という。ジャーキネス劣化は、原理的に移動速度の速い物体ほど発生しやすい。また、ジャーキネス劣化は、表示デバイスのフレームレートが低いほど発生しやすく、フレームレートが高いほど発生しにくい。さらに、ジャーキネス劣化は、一般的に、空間的な輝度の変化が大きい部分、言い換えれば、空間コントラストの高い部分において生じやすい。
【００１４】
図３は、例えばオープンシャッタなどの低速シャッタで撮像された動画像やアニメーションなどを、プロジェクタやディスプレイなどの表示デバイスを用いて表示した場合に観察者によって知覚されるブラーの発生を説明する図である。ブラーは、動きボケの影響により、被写体のディテールの欠損やエッジが不鮮明になる現象である。
【００１５】
図３では、図１中の実世界における移動物体を、低速シャッタを用いて撮像し、６０Ｈｚでリフレッシュされる表示デバイスに表示した場合、観察者からの見え方を模擬的に表している。図３（１）は、表示静止物体３１と表示移動物体３２の表示デバイス上での表示位置の変化を示している。縦軸が時間（ｔ）であり表示デバイスのリフレッシュ間隔（１／６０ｓｅｃ）毎に区切りを設定してある。横軸が表示位置（ｘ）である。
【００１６】
図３（２）は、表示デバイスに表示される表示静止物体３１と表示移動物体３２を観察する観察者の知覚状況を模擬的に示した図である。観察者は、表示移動物体３２を追従して観察する追従視と、および表示移動物体３２を追従しないで視点を固定して観察する固定視を行なう２通りの異なる観察形態における知覚状況がある。これらをそれぞれ（ａ）追従視，（ｂ）固定視として示してある。
【００１７】
図３（２）（ｂ）に示すように、表示デバイスに表示される表示移動物体３２を、観察者が固定視した場合（ｂ３２）においては、図１を参照して説明した図１（２）（ｂ）の固定視と同様の見え方（ｂ１２）であり、観察者が移動物体を連続的に移動するように変化する知覚を行い、観察者が違和感を生じることはない。
【００１８】
一方、表示デバイスに表示される表示移動物体２２を、観察者が追従視した場合においては、図３（２）（ａ）の見え方（ａ３２）に示すように、観察者には、静止物体を固定視した場合とは異なる、ぼやけた像として知覚される。これは、図３（１）の表示移動物体２２に示すように、撮像時において、低速シャッタに基づく長期間の露光中の移動物体の動きが１フレームに記録され、この移動する物体が１フレーム中に帯状に表示されるためである。このような現象をブラー劣化という。
【００１９】
先に説明した通り、ジャーキネス劣化およびブラー劣化の発生は、撮像時のシャッタ速度について、相反する関係にあるため、単純なシャッタ制御ではいずれかの劣化が目立ってしまう。
【００２０】
また、ジャーキネスは、元の動画像と異なるフレームレートに変換して表示する場合、発生しやすい画質劣化として知られている。例えば、高フレームレートの元動画像を、元動画像よりも低いフレームレートに変換して表示する手段としては、変換後のフレーム数に合わせて、単純に間引く方法が一般的であるが、この場合、元動画像は短い露光時間で撮像されるため、ジャーキネスが発生しやすい。
【００２１】
このフレームレート変換に際して発生するジャーキネスを抑制するための手法として、間引きによるフレームレートの変換を行わず、変換後のフレーム数に合わせて、単純に元の動画像の構成フレームの平均化を行う方法が知られている。このフレーム平均化手法によって、ジャーキネスの抑制が可能となる。しかし、この手法は、結果として、高速シャッタ対応の高フレームレート画像に基づく平均化によって、低フレームレート、すなわち低速シャッタでの撮影画像を生成することに相当し、ブラー劣化を目立たせてしまうという問題を発生させることになる。
【００２２】
一方、低フレームレートの元動画像を、元動画像よりも高いフレームレートに変換して表示する場合、時間的に存在しないフレームについて、前後の存在するフレームを複数回表示する手法が、最も簡易である。しかし、このようなフレームレート変換を行うと、移動する被写体の動きは離散的になるため、ジャーキネスが発生しやすい。
【００２３】
このように、低フレームレートの元画像から高フレームレートの画像を生成するフレームレート変換処理を行なう場合にジャーキネスの発生を抑制するための手法として、動き補償を用いて時間的に存在しないフレームを補間処理によって生成し、高フレームレートの動画像を作成する手法が知られている。（例えば特許文献１）この手法を用いることで、ジャーキネス劣化の改善が図られる。
【特許文献１】特開平１１−１１２９３９号公報
【発明の開示】
【発明が解決しようとする課題】
【００２４】
上述のように、ジャーキネスおよびブラーの発生は、撮像時のシャッタ速度について、相反する関係にあるため、単純なシャッタ制御ではいずれかの劣化が目立ってしまう問題がある。また、フレームレート変換時においては、前記の通り、原理的に、双方の劣化を抑制することは困難であり、一方の劣化を抑制すると他方が目立ってしまうという問題がある。
【００２５】
例えば低フレームレートから高フレームレートの変換を行う場合には、前述したフレーム補間を行い、相当に高いフレームレートにまで変換すれば、動画像を表示した際のジャーキネス劣化を低減することは可能である。しかし、現行のフィルム（１秒当たり２４フレーム）やテレビジョン（１秒当たり５０フレームもしくは６０フレーム）標準の動画像フォーマットでの表示では、フレームレートは十分に高くないため、ジャーキネス劣化の低減には限界がある。現行のテレビジョン標準以上に、高速なフレームレートの動画像を、表示可能な表示デバイスは、現在のところごく限られており、現行の多くの表示デバイスに対しては、フレーム補間による画質劣化の改善には限界がある。
【００２６】
本発明は、このような問題に鑑みてなされたものであり、動画質劣化の要因であるジャーキネスとブラーの双方を抑制することを可能とする画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【００２７】
本発明は、例えば、入力画像信号の分割領域毎に、フレーム間の移動速度や空間的な特徴量を算出し、算出した移動速度や空間特徴量に基づいて領域毎に適応的なフィルタリング処理を行うことで、ジャーキネスとブラーの双方の発生を抑制した画質劣化の少ない高画質な画像信号を生成して出力することを可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２８】
本発明の第１の側面は、
動画像に対する画像処理を実行する画像処理装置であり、
動画像を構成するフレーム画像を区分した分割領域単位で出力画像のフレームレートに応じた被写体の移動速度を算出する移動速度演算部と、
前記分割領域単位の移動速度情報を入力し、移動速度に対応する最適な撮像シャッタ速度として、出力画像の画像劣化が低減される最適シャッタ速度を前記分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を前記分割領域単位で生成し、生成した分割領域画像を結合したフレーム画像を出力する画像生成処理部と、
を有することを特徴とする画像処理装置にある。
【００２９】
さらに、本発明の画像処理装置の一実施態様において、前記移動速度演算部は、入力画像のフレームから選択された探索用フレームと参照用フレームを適用したブロックマッチング処理により分割領域単位で移動速度を算出する処理を実行する構成であることを特徴とする。
【００３０】
さらに、本発明の画像処理装置の一実施態様において、前記移動速度演算部は、入力画像のフレームから選択された探索用フレームと参照用フレームを適用したブロックマッチング処理により分割領域単位で動きベクトルを求めるブロックマッチング部と、前記ブロックマッチング部において算出した動きベクトル情報に基づいて、出力画像のフレームレートに応じた被写体の移動速度を算出する動きベクトル規格化部とを有する構成であることを特徴とする。
【００３１】
さらに、本発明の画像処理装置の一実施態様において、前記移動速度演算部は、前記探索用フレームを、出力画像のフレームレートに応じたフレーム間隔で入力画像のフレームから選択する処理を実行する構成であることを特徴とする。
【００３２】
さらに、本発明の画像処理装置の一実施態様において、前記画像生成処理部は、移動速度と、出力画像の画像劣化が低減される撮像シャッタ速度とを対応付けたテーブルを保持し、該テーブルを参照して移動速度に対応する最適シャッタ速度を前記分割領域単位で取得する構成であることを特徴とする。
【００３３】
さらに、本発明の画像処理装置の一実施態様において、前記テーブルは、移動速度区間情報と、最適シャッタ速度情報とを対応付けたテーブルであることを特徴とする。
【００３４】
さらに、本発明の画像処理装置の一実施態様において、前記画像生成処理部は、移動速度と、出力画像の画像劣化が低減される最適シャッタ速度との対応関係の異なる複数の異なるテーブルを有し、ユーザ選択情報に基づいて、適用するテーブルを決定する構成であることを特徴とする。
【００３５】
さらに、本発明の画像処理装置の一実施態様において、前記画像生成処理部は、前記分割領域単位で、移動速度に対応する最適シャッタ速度を算出する最適シャッタ速度算出部と、前記最適シャッタ速度算出部の算出した最適シャッタ速度に対応する画像を前記分割領域単位で生成するフィルタリング処理部とを有する構成であることを特徴とする。
【００３６】
さらに、本発明の画像処理装置の一実施態様において、前記フィルタリング処理部は、入力画像のフレームから選択されたフレームに基づいて、前記最適シャッタ速度算出部の算出した撮像シャッタ速度に対応する画像を前記分割領域単位で生成する処理を実行する構成であることを特徴とする。
【００３７】
さらに、本発明の画像処理装置の一実施態様において、前記フィルタリング処理部は、前記最適シャッタ速度算出部の算出した最適シャッタ速度に応じた重み係数を設定して、入力画像の複数フレームの画素値の加重平均を実行して、出力画像フレームの画素値を決定する処理を実行する構成であることを特徴とする。
【００３８】
さらに、本発明の画像処理装置の一実施態様において、前記画像生成処理部は、入力画像のフレームに含まれない中間フレームを生成する中間フレーム生成部を有し、前記最適シャッタ速度算出部の算出した最適シャッタ速度に対応する画像を、前記中間フレームを適用して分割領域単位で生成する処理を実行する構成であることを特徴とする。
【００３９】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記分割領域単位で空間コントラストの大きさを検出する空間特徴量検出部を有し、前記画像生成処理部は、空間コントラストが予め定めた閾値未満の分割領域については、前記移動速度に対応して算出される最適シャッタ速度より高いシャッタ速度を最適シャッタ速度として設定する処理を実行する構成であることを特徴とする。
【００４０】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記分割領域単位で空間コントラストの大きさを検出する空間特徴量検出部を有し、前記画像生成処理部は、空間コントラストが予め定めた閾値未満の分割領域については、前記移動速度に対応して算出される最適シャッタ速度を算出することなく、入力画像の持つフレームレートに対応するシャッタ速度を最適シャッタ速度として設定する処理を実行する構成であることを特徴とする。
【００４１】
さらに、本発明の画像処理装置の一実施態様において、前記出力画像の画像劣化は、ジャーキネスおよびブラーによる画像劣化であり、前記画像生成処理部は、ジャーキネスおよびブラーによる画像劣化が低減される最適シャッタ速度を前記分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を前記分割領域単位で生成する処理を実行する構成であることを特徴とする。
【００４２】
さらに、本発明の第２の側面は、
画像処理装置において、動画像に対する画像処理を実行する画像処理方法であり、
移動速度演算部において、動画像を構成するフレーム画像を区分した分割領域単位で出力画像のフレームレートに応じた被写体の移動速度を算出する移動速度演算ステップと、
画像生成処理部において、前記分割領域単位の移動速度情報を入力し、移動速度に対応する最適な撮像シャッタ速度として、出力画像の画像劣化が低減される最適シャッタ速度を前記分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を前記分割領域単位で生成し、生成した分割領域画像を結合したフレーム画像を出力する画像生成処理ステップと、
を有することを特徴とする画像処理方法にある。
【００４３】
さらに、本発明の画像処理方法の一実施態様において、前記移動速度演算ステップは、入力画像のフレームから選択された探索用フレームと参照用フレームを適用したブロックマッチング処理により分割領域単位で移動速度を算出する処理を実行することを特徴とする。
【００４４】
さらに、本発明の画像処理方法の一実施態様において、前記移動速度演算ステップは、入力画像のフレームから選択された探索用フレームと参照用フレームを適用したブロックマッチング処理により分割領域単位で動きベクトルを求めるブロックマッチング処理ステップ、前記ブロックマッチング処理ステップにおいて算出した動きベクトル情報に基づいて、出力画像のフレームレートに応じた被写体の移動速度を算出する動きベクトル規格化ステップとを有することを特徴とする。
【００４５】
さらに、本発明の画像処理方法の一実施態様において、前記移動速度演算ステップは、前記探索用フレームを、出力画像のフレームレートに応じたフレーム間隔で入力画像のフレームから選択する処理を実行することを特徴とする。
【００４６】
さらに、本発明の画像処理方法の一実施態様において、前記画像生成処理ステップは、移動速度と、出力画像の画像劣化が低減される撮像シャッタ速度とを対応付けたテーブルを参照して移動速度に対応する最適シャッタ速度を前記分割領域単位で取得するステップを含むことを特徴とする。
【００４７】
さらに、本発明の画像処理方法の一実施態様において、前記テーブルは、移動速度区間情報と、最適シャッタ速度情報とを対応付けたテーブルであることを特徴とする。
【００４８】
さらに、本発明の画像処理方法の一実施態様において、前記画像生成処理ステップは、移動速度と、出力画像の画像劣化が低減される最適シャッタ速度との対応関係の異なる複数の異なるテーブルからのユーザ選択情報に基づいて適用テーブルを決定する処理を実行するステップを含むことを特徴とする。
【００４９】
さらに、本発明の画像処理方法の一実施態様において、前記画像生成処理ステップは、前記分割領域単位で、移動速度に対応する最適シャッタ速度を算出する最適シャッタ速度算出ステップと、前記最適シャッタ速度算出ステップにおいて算出した最適シャッタ速度に対応する画像を前記分割領域単位で生成するフィルタリング処理ステップとを有することを特徴とする。
【００５０】
さらに、本発明の画像処理方法の一実施態様において、前記フィルタリング処理ステップは、入力画像のフレームから選択されたフレームに基づいて、前記最適シャッタ速度算出ステップにおいて算出した撮像シャッタ速度に対応する画像を前記分割領域単位で生成する処理を実行することを特徴とする。
【００５１】
さらに、本発明の画像処理方法の一実施態様において、前記フィルタリング処理ステップは、前記最適シャッタ速度算出ステップにおいて算出した最適シャッタ速度に応じた重み係数を設定して、入力画像の複数フレームの画素値の加重平均を実行して、出力画像フレームの画素値を決定する処理を実行することを特徴とする。
【００５２】
さらに、本発明の画像処理方法の一実施態様において、前記画像生成処理ステップは、入力画像のフレームに含まれない中間フレームを生成し、前記最適シャッタ速度算出ステップにおいて算出した最適シャッタ速度に対応する画像を、前記中間フレームを適用して分割領域単位で生成する処理を実行することを特徴とする。
【００５３】
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、空間特徴量検出部において、前記分割領域単位で空間コントラストの大きさを検出する空間特徴量検出ステップを有し、前記画像生成処理ステップは、空間コントラストが予め定めた閾値未満の分割領域については、前記移動速度に対応して算出される最適シャッタ速度より高いシャッタ速度を最適シャッタ速度として設定する処理を実行することを特徴とする。
【００５４】
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、空間特徴量検出部において、前記分割領域単位で空間コントラストの大きさを検出する空間特徴量検出ステップを有し、前記画像生成処理ステップは、空間コントラストが予め定めた閾値未満の分割領域については、前記移動速度に対応して算出される最適シャッタ速度を算出することなく、入力画像の持つフレームレートに対応するシャッタ速度を最適シャッタ速度として設定する処理を実行することを特徴とする。
【００５５】
さらに、本発明の画像処理方法の一実施態様において、前記出力画像の画像劣化は、ジャーキネスおよびブラーによる画像劣化であり、前記画像生成処理ステップは、ジャーキネスおよびブラーによる画像劣化が低減される最適シャッタ速度を前記分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を前記分割領域単位で生成する処理を実行することを特徴とする。
【００５６】
さらに、本発明の第３の側面は、
画像処理装置において、動画像に対する画像処理を実行させるコンピュータ・プログラムであり、
移動速度演算部において、動画像を構成するフレーム画像を区分した分割領域単位で出力画像のフレームレートに応じた被写体の移動速度を算出させる移動速度演算ステップと、
画像生成処理部において、前記分割領域単位の移動速度情報を入力し、移動速度に対応する最適な撮像シャッタ速度として、出力画像の画像劣化が低減される最適シャッタ速度を前記分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を前記分割領域単位で生成し、生成した分割領域画像を結合したフレーム画像を出力させる画像生成処理ステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。
【００５７】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００５８】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００５９】
本発明の構成によれば、一定のフレームレートで出力する動画像を生成する際、動画像を構成するフレーム画像を区分した分割領域単位で出力画像のフレームレートに応じた被写体の移動速度を算出し、分割領域単位の移動速度に対応する最適な撮像シャッタ速度として、出力画像の画像劣化が低減される最適シャッタ速度を分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を分割領域単位で生成して、生成した分割領域画像を結合したフレーム画像を出力させる構成としたので、出力画像における画像劣化、具体的には、ジャーキネスおよびブラーの双方を低減した高品質の画像を出力することが可能となる。
【発明を実施するための最良の形態】
【００６０】
以下、図面を参照しながら、本発明の画像処理装置、および画像処理方法、並びにコンピュータ・プログラムの構成について説明する。
【００６１】
本発明の画像処理装置では、一定のフレームレートで入力する入力動画像について、各フレーム画像を所定の分割領域に区切り、各分割領域単位でフレーム間の移動速度や空間的な特徴量を算出し、算出した各分割領域の移動速度や空間特徴量に基づいて各領域毎に最適なフィルタリング処理を行うことで、各領域に応じてジャーキネスやブラーを低減させた画像を生成し、ジャーキネスやブラー双方の発生を抑制した画質劣化の少ない高画質な画像信号を生成して出力する。
【００６２】
例えば、本発明の画像処理装置では、フレーム間の移動速度や空間的な特徴量とフィルタリング処理パラメータとを対応付けたテーブルを保持し、このテーブルに基づいて、各分割領域に対応する最適なフィルタリング処理を行う。なお、各分割領域に対応する最適なフィルタリング処理は、具体的には、各分割領域において、ジャーキネスとブラーの発生を低減させるための最適な撮像シャッタ速度を決定し、その撮像シャッタ速度に対応した画像を生成する処理に相当する。
【００６３】
すなわち、各分割領域に対応する最適なフィルタリング処理のパラメータの決定処理は、各領域についてジャーキネスとブラーの発生を低減させる最適なシャッタ速度を決定する処理を含むものである。本発明の画像処理装置では、各分割領域各々に対応して、ジャーキネスとブラーの発生を低減させる最適なシャッタ速度を決定し、その決定したシャッタ速度に従った擬似画像を各分割領域毎に個別に生成して出力する。
【００６４】
以下、本発明の画像処理装置の詳細について説明する。以下の項目に従って、詳細を説明する。
１．本発明の画像処理装置における基本処理の概要
２．入力画像信号および出力画像信号に関する説明
３．移動速度演算部の処理の詳細
４．画像生成処理部の処理についての説明
５．フィルタリング処理部の実行するフィルタリング処理の詳細
６．フィルタリング処理に用いるフレームの選別方法について
７．移動速度と最適な撮像シャッタ速度との対応関係について
８．最適な撮像シャッタ速度算出方法について
９．最適な撮像シャッタ速度算出および、出力フレーム生成処理の具体例
１０．移動速度と最適なシャッタ速度曲線の調整機能を有した装置について
１１．第２の実施例の概要
【００６５】
［１．本発明の画像処理装置における基本処理の概要］
まず、本発明の画像処理装置の基本処理の概要について説明する。図４は、本発明の第１の実施例に係る画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、処理対象画像として、一定のフレームレートを有する画像信号を入力する。この入力画像信号は、移動速度演算部１０１および画像生成処理部１０２に入力される。
【００６６】
移動速度演算部１０１では、図５に示すように、入力画像信号の各フレーム画像について、領域分割がなされ、分割領域各々に含まれる画像についてブロックマッチング処理を実行し、分割領域各々の画像データのフレーム間の移動速度（Ｖ１，Ｖ２，Ｖ３・・・）を算出する。ただし、ここで算出するフレーム間の移動速度（Ｖ１，Ｖ２，Ｖ３・・・）は、出力画像信号の有するフレームレートに対応するフレーム間の動速度である。画像処理装置は、出力画像フレームレート情報１０３を記憶部に保持し、移動速度演算部１０１では、出力画像フレームレート情報１０３に基づいて分割領域各々のフレーム間移動速度（Ｖ１，Ｖ２，Ｖ３・・・）を算出する。
【００６７】
移動速度演算部１０１において算出された各分割領域における移動速度は、画像生成処理部１０２に入力される。画像生成処理部１０２には、既に入力画像信号が入力されている。画像生成処理部１０２は、移動速度演算部１０１において算出された各分割領域における移動速度（Ｖ１，Ｖ２，Ｖ３・・・）に応じて、入力画像を各分割領域単位で変換処理を行なう。すなわち、各分割領域単位で求められた移動速度（Ｖｎ）に基づいて、ジャーキネスとブラーの発生を低減させる最適なシャッタ速度に対応する擬似的な画像に変換する処理を実行する。
【００６８】
各分割領域単位で求められた移動速度（Ｖｎ）と、ジャーキネスとブラーの発生を低減させる最適な撮像シャッタ速度の関係は、出力画像信号の持つフレームレートに応じて算出可能である。画像生成処理部１０２は、この対応関係を予め設定したテーブルとして保持し、出力画像フレームレート情報１０３を適用して、保持テーブルから、各領域ごとの最適な撮像シャッタ速度を求める。あるいは、予め定めた算出式により、各分割領域単位で求められた移動速度（Ｖｎ）に基づいて、ジャーキネスとブラーの発生を低減させる最適な撮像シャッタ速度を算出する。
【００６９】
画像生成処理部１０２は、さらに、求めた撮像シャッタ速度に対応する擬似画像を各分割領域ごとに生成し、これらの分割領域ごとの生成画像を合成して１フレーム画像を生成し、予め定められたフレームレートで出力する。これらの処理によって、ジャーキネスとブラーによる画質劣化の双方が低減された高画質データを出力する。
【００７０】
このように、画像生成処理部１０２では、移動速度演算部１０１において算出された各分割領域における移動速度に基づいて決定される最適な撮像シャッタ速度で撮像した画像を擬似的に生成する。この画像生成処理は、例えば時間方向のフィルタリング処理等によって実現される。画像生成処理部１０２において作成された画像は、一定のフレームレートを有する出力画像信号として出力される。
【００７１】
［２．入力画像信号および出力画像信号に関する説明］
次に、入力画像信号および出力画像信号の有するフレームレートについて詳解する。なお、図４に示す画像処理装置１００において、入力画像信号、および変換処理により生成される出力画像信号のフレームレートは限定されるものではなく、様々な設定が可能である。ただし、画像生成処理部１０２において、ジャーキネスとブラーによる画質劣化の双方を低減する最適シャッタ速度での撮像画像を領域毎に擬似的に生成するための処理として、時間方向のフィルタリング処理を採用する場合、入力画像信号は、出力画像信号が有する所望のフレームレートに対し、できる限り高いフレームレートを有していることが好ましい。これは、画像生成処理部１０２で行われる画像変換処理において、より高いフレームレートの入力画像信号を使用する方がより滑らかな画像の生成が容易となるからである。
【００７２】
なお、図４に示す例では、画像処理装置１００において、出力画像信号のフレームレート値は、記憶部に保持したものを参照する構成として説明したが、この出力画像信号のフレームレート値を外部から入力する構成としてもよい。
【００７３】
出力画像信号のフレームレート値を外部から入力する構成を持つ画像処理装置の構成例を図６に示す。外部から入力する出力画像信号のフレームレート値は、図６に示す移動速度演算部１０１、画像生成処理部１０２の双方に入力される。画像生成処理部１０２は、画像変換処理を、入力されたフレームレート情報に基づいて実行する。このような構成とすることで、様々なフレームレートに対応した最適な画像変換が実行可能となる。
【００７４】
以降、本発明の画像処理装置の実行する処理の具体例について説明する。説明の便宜上、入力画像信号と出力画像信号が有するフレームレートの例として、
入力画像信号のフレームレートを２４０（フレーム／秒）、
出力画像信号のフレームレートを６０（フレーム／秒）、
これらの設定における処理例について説明する。ただし、このフレームレートは一例であり、本発明の画像処理装置では、入出力画像のフレームレートは限定されない。
【００７５】
［３．移動速度演算部の処理の詳細］
まず、移動速度演算部１０１の処理の詳細について説明する。移動速度演算部１０１は、出力画像信号が有するフレームレートを基準として、図５を参照して説明したように画像の分割領域毎にフレーム間の移動速度を算出し、画像生成処理部に出力する。移動速度とは、被写体が１フレーム間にどれだけ移動したかを表わす。例えば、単位は画素／フレームであり、出力画像信号が有するフレームレートを基準とする。
【００７６】
図７は、移動速度演算部１０１の詳細な構成を示すものである。図７に示すように移動速度演算部１０１は、入力画像信号の複数のフレームを記憶する画像蓄積部２０１、ブロックマッチング処理に用いるフレームを選別し画像蓄積部２０１からの読み出し制御を行う制御部２０２、動き検出の対象となるフレームを領域に分割する領域分割部２０３、ブロックマッチング処理を行い領域毎の移動速度を算出する移動速度検出部２０４を有する。
【００７７】
移動速度演算部１０１に入力した入力画像信号は、まず画像蓄積部２０１に入力され、格納される。画像蓄積部２０１は、複数のフレームを記憶できる記憶部である。移動速度検出部２０４において行われる実際のブロックマッチング処理の際、動きベクトル検出対象となる探索用フレーム、およびその参照用フレームの、少なくとも２フレームのデータが必要となり、画像蓄積部２０１は、これらの複数のフレームを記憶する。
【００７８】
制御部２０２は、探索用および参照用フレームを選別し、画像蓄積部２０１からの読み出し制御を行う。探索用および参照用フレームの選別は、制御部２０２に入力された出力画像のフレームレート情報を基に、制御部２０２において行われる。この選別方法については、後に詳しく述べる。
【００７９】
制御部２０２によって読み出された、動きベクトル検出対象となる探索用フレームは、領域分割部２０３へと出力される。また、同じく制御部２０２によって読み出された参照用フレームは、移動速度検出部２０４へと直接に出力される。領域分割部２０３へと出力された探索用フレームは、移動速度を算出する領域の単位である、適当な大きさのブロックへと分割される。移動速度を算出する領域毎に分割された探索用フレームは、移動速度検出部２０４に入力される。
【００８０】
図８は、移動速度検出部２０４の詳細な構成例を示す図である。移動速度検出部２０４に入力した探索用フレーム画像データは、ブロックマッチング部２２１に入力される。ブロックマッチング部２２１では、同じくブロックマッチング部２２１に入力された参照用フレームとの間で、分割領域毎にブロックマッチング処理を行う。ブロックマッチングは、微小画像領域毎にフレーム間で対応する画素位置を検出する処理である。
【００８１】
移動速度検出部２０４は、分割領域毎にブロックマッチング処理を行い、この処理によって、フレーム間での被写体の移動情報として、分割領域毎の動きベクトル量を算出する。なお、ブロックマッチング処理におけるマッチング評価関数などの設定は様々な設定が可能であり、その方法は特に限定されない。
【００８２】
ブロックマッチング部２２１におけるブロックマッチング処理により算出された、分割領域毎の動きベクトル量は、動きベクトル規格化部２２２に入力する。以下、動きベクトル規格化部２２２において行われる処理について説明する。
【００８３】
ブロックマッチング部２２１におけるブロックマッチング処理により算出された探索用フレーム各領域の動きベクトル量は、参照用フレームに対してどれだけ移動したかを表わすものである。一方、求めるべき移動速度（画素／フレーム）は、出力画像の有するフレームレートを基準とした、１フレーム間の移動量である。そのため、ブロックマッチング処理により得られた動きベクトル量を、出力画像信号が有するフレームレートを基準とした、１フレーム間の移動量を表す移動速度（単位は画素／フレーム）へと規格化する必要がある。
【００８４】
動きベクトル規格化部２２２は、出力画像信号のフレームレート情報に基づく制御信号を制御部２０２から入力し、この制御信号に基づいて、ブロックマッチング処理により得られた動きベクトル量を、出力画像信号が有するフレームレートを基準とした、１フレーム間の移動量を表す移動速度（単位は画素／フレーム）へと規格化する処理を実行する。
【００８５】
この動きベクトルの規格化により、出力画像信号が有するフレームレートを基準とした移動速度（画素／フレーム）が算出される。なお、この規格化の方法については、後に詳しく述べる。
【００８６】
動きベクトル規格化部２２２において、算出された画像の各領域における出力フレーム対応の移動速度は、移動速度演算部１０１の出力として、移動速度検出部１０１から、画像生成処理部１０２へ出力される。
【００８７】
このように、移動速度演算部１０１では、出力画像信号が有するフレームレートを基準として、分割領域ごとに移動速度（画素／フレーム）を求める処理を実行する。この処理には、まず、入力画像から探索用フレームと参照用フレームを選択して、これらの２つのフレームに基づいて動きベクトルを検出することが必要である。この動きベクトルの検出に適用する探索用フレームと参照用フレームの選別方法について、詳しく説明する。
【００８８】
（移動速度演算時に適用するフレームについて）
図９は、移動速度演算部１０１において、動きベクトルの検出に適用する探索用フレームと参照用フレームの選別処理を説明する図である。
この処理例は、前述したように、
入力画像信号のフレームレートを２４０（フレーム／秒）、
出力画像信号のフレームレートを６０（フレーム／秒）、
これらの設定における処理例を説明する図である。
【００８９】
なお、移動速度演算部１０１において、動きベクトルの検出に適用する探索用フレームと参照用フレームは、入力画像を構成するフレームであり２４０（フレーム／秒）のフレームレートを持つ入力画像信号の構成フレームから、動きベクトルの検出に適用する探索用フレームと参照用フレームが選択される。
【００９０】
図９中では、入力画像信号の各フレームにフレーム番号が記してあるが、この番号は時刻０（秒）に入力画像信号の０番目のフレームが撮像されたとして表現したものである。入力画像信号のフレームレートは２４０（フレーム／秒）であるため、時刻ｓ（秒）では２４０×ｓ番目のフレームと表記する。
【００９１】
制御部２０２によって行われる、探索用および参照用フレームの選別方法について、図９を参照して説明する。
まず、探索用フレームの選別について説明する。
探索用フレームは、出力画像の有するフレームレートを基に抽出する。
ここで、出力画像信号のフレームレートは、
６０（フレーム／秒）
であるため、入力画像信号［２４０（フレーム／秒）］中から、１／６０秒間毎に撮像されたフレームを、探索対象として抽出する。
【００９２】
図９中では、２４０×ｓ＋０番目、２４０×ｓ＋４番目、２４０×ｓ＋８番目のフレームを、選択された探索フレームとして示している。結果的に探索用フレームは、出力画像のフレームと同数となる。言い換えれば、出力画像の１フレームを生成するために、１つの探索用フレームが選択される。
【００９３】
次に、参照用フレームの選別について説明する。
参照用フレームは、１つの探索フレームに対応して、１つの参照用フレームが選択される。具体的には、図９に示す（例１）、（例２）、（例３）のように、様々な選択手法が適用可能である。
【００９４】
探索用フレームを２４０×ｓ＋０番目のフレームとし、この２４０×ｓ＋０番目のフレームに対する参照フレームを選択する例について説明する。前述した通り、求めるべき移動速度（画素／フレーム）は、出力画像の有するフレームレート６０（フレーム／秒）を基準とする。従って、探索用フレームと参照用フレームの間隔が１／６０秒間の場合であれば、その探索用フレームと参照用フレームに基づいて算出される移動ベクトルは、出力画像の有するフレームレート６０（フレーム／秒）に対応する移動速度に相当する大きさを持つ。従って、この場合は、ブロックマッチング処理により得られる動きベクトルの規格化は必要ない。
【００９５】
図９に示す（例１）の参照用フレームの選別処理例は、探索用フレームと参照用フレームの間隔を１／６０秒間とした処理例である。
探索用フレームである２４０×ｓ＋０番目のフレームの１／６０秒後に撮像されたフレームは、２４０×ｓ＋４番目のフレームであり、この２４０×ｓ＋４番目のフレームを、探索用フレームである２４０×ｓ＋０番目のフレームに対応する参照用フレームとして選択する。
【００９６】
また、次の探索用フレームである２４０×ｓ＋４番目のフレームの１／６０秒後に撮像されたフレームは、２４０×ｓ＋８番目のフレームであり、この２４０×ｓ＋８番目のフレームを、探索用フレームである２４０×ｓ＋４番目のフレームに対応する参照用フレームとして選択する。
【００９７】
この（例１）のように、探索用フレームと参照用フレームの間隔を１／６０秒に設定した例であれば、その探索用フレームと参照用フレームに基づいて算出される移動ベクトルは、出力画像の有するフレームレート６０（フレーム／秒）に対応する移動速度に相当する大きさを持つ。従って、この場合は、ブロックマッチング処理により得られる動きベクトルの規格化は必要ない。
【００９８】
これに対し、図９に示す（例２）、（例３）のような参照用フレームの選択も可能である。（例２）では、探索用フレームに対応する参照用フレームを探索用フレームの次のフレーム、すなわち、１／２４０秒後のフレームに設定し、（例３）では、探索用フレームに対応する参照用フレームを探索用フレームの２つ後のフレーム、すなわち、２／２４０秒後のフレームに設定した例である。このように、探索用フレームにより近いフレームを参照用フレームとして設定することも可能である。
【００９９】
より探索用フレームに近い参照用フレームを選別することで、フレーム間の被写体の移動量は小さくなり、ブロックマッチング処理時において探索範囲を小さくすることができる。そのため、ブロックマッチング処理の高速化、高精度化を見込むことができる。
【０１００】
２４０×ｓ＋０番目のフレームを探索用フレームとしたとき、図９に示す（例２）では、２４０×ｓ＋１番目のフレームを参照用フレームとして選択し、（例３）では、２４０×ｓ＋２番目のフレームを参照用フレームとしている。
【０１０１】
（例２）、（例３）の場合、移動速度検出部２０４のブロックマッチング処理部２２１におけるブロックマッチング処理によって得られた動きベクトルは、出力画像信号のフレームレート相当の移動速度と異なるため、求めた動きベクトルに基づいて、出力画像信号のフレームレート相当の移動速度に変換する規格化処理を行なうことが必要となる。以下では動きベクトルを規格化する方法について説明する。
【０１０２】
（動きベクトルの規格化について）
図９中の（例２）の場合では、探索用フレームである２４０×ｓ＋０番目のフレームと、参照用の２４０×ｓ＋１番目のフレーム間は、１／２４０秒の差で撮像されたフレームである。一方、出力画像の有するフレームレートは６０（フレーム／秒）である。移動速度検出部２０４の動きベクトル規格化部２２２は、１／２４０秒の差で撮像されたフレーム間において算出した移動ベクトルに基づいて、出力画像の有するフレームレート［６０（フレーム／秒）］相当の移動速度に変換する規格化処理を行なう。この規格化処理は、移動ベクトルに基づいて、１／６０秒間の移動量を求めることに相当する。
【０１０３】
図９に示す（例２）の場合、
ブロックマッチング処理によって得られた動きベクトルは、１／２４０秒の差で撮像されたフレームに基づいて算出した移動ベクトルであり、
算出すべき移動量は、１／６０秒間の移動量であるので、
ブロックマッチング処理によって得られた動きベクトルの大きさに、
（１／６０）／（１／２４０）＝４
の値を乗じることで、出力画像信号のフレームレート［６０（フレーム／秒）］相当に規格化された移動速度が算出できる。
【０１０４】
また、図９に示す（例３）の場合、
ブロックマッチング処理によって得られた動きベクトルは、２／２４０秒の差で撮像されたフレームに基づいて算出した移動ベクトルであり、
算出すべき移動量は、１／６０秒間の移動量であるので、
ブロックマッチング処理によって得られた動きベクトルの大きさに、
（１／６０）／（２／２４０）＝２
の値を乗じることで、出力画像信号のフレームレート［６０（フレーム／秒）］相当に規格化された移動速度が算出できる。
【０１０５】
このような動きベクトルの規格化は、移動速度検出部２０４内の動きベクトル規格化部２２２において行われるが、本実施例では、制御部２０２において探索用および参照用フレームを選別する際、規格化に必要な動きベクトルの大きさに乗じる係数を実数値精度で算出し、その値を制御信号として動きベクトル規格化部２２２へと出力する構成をとっている。
【０１０６】
ここまで、探索用フレームの選別、参照用フレームの選別、および、得られた動きベクトルを規格化して移動速度を算出する方法を説明した。先に、説明した通り、本処理例では、出力画像１フレームを生成するために、１つの移動速度の探索用フレームを設定している。結果として、出力画像のフレーム数と同数の探索用フレームが選択され、これらの各探索用フレームについて、フレーム内に設定される各分割領域の移動速度が、出力画像のフレームレート相当の値として算出され、移動速度演算部１０１から画像生成処理部１０２に出力される。
【０１０７】
［４．画像生成処理部の処理についての説明］
次に、画像生成処理部１０２の実行する処理の詳細について説明する。画像生成処理部１０２では、移動速度演算部１０１から入力した画像中の各領域における移動速度に応じて、入力画像の分割領域毎に適応的な画像変換処理を行い、各分割領域ごとにジャーキネスおよびブラーの発生が最も抑制される画像、すなわち、最適なシャッタ速度で撮像した画像を擬似的に作成し、各分割領域単位で生成した最適シャッタ速度に対応する擬似画像を合成して１つのフレーム画像を生成して出力する。
【０１０８】
図１０は、画像生成処理部１０２の詳細な構成例を示すブロック図である。画像生成処理部１０２は、図１０に示すように、入力画像信号の複数のフレームを記憶する画像蓄積部２５１、フィルタリング処理に用いるフレームを選別し画像蓄積部２５１からの読み出し制御を行う制御部２５２、移動速度を基に各領域に対して最適な撮像シャッタ速度を算出する最適シャッタ速度算出部２５３、入力画像に対し領域毎に適応的なフィルタリング処理を行うフィルタリング処理部２５４を有する構成である。
【０１０９】
画像生成処理部１０２は、処理対象画像の分割領域単位で最適シャッタ速度の撮像画像を擬似的に生成する。すなわち、分割領域ごとにジャーキネスおよびブラーの発生が最も抑制される画像を生成する。この画像生成処理の一例として、時間方向のフィルタリング処理を用いた処理例について、以下説明する。
【０１１０】
出力画像信号のある１フレームを生成する処理の流れを、図１０を参照して説明する。画像生成処理部１０２に入力した入力画像信号は、まず画像蓄積部２５１に入力、格納される。画像蓄積部２５１は、複数のフレームを記憶できる記憶部である。画像蓄積部２５１に蓄積された入力画像信号から、後段のフィルタリング処理に用いるフレームが順次読み出されることになるが、この読み出し制御は制御部２５２において行われる。
【０１１１】
出力画像のある１フレームを生成するために用いる読み出しフレームの選別についての詳細は後述する。制御部２５２の制御によって読み出された入力画像中の各フレームは、フィルタリング処理部２５４へ入力される。
【０１１２】
一方、最適シャッタ速度算出部２５３には、移動速度演算部２５１から出力された、入力画像の各分割領域対応の移動速度情報が入力される。この移動速度情報は、移動速度演算部１０１内の制御部２０２（図７参照）によって入力画像信号から選別された、探索用フレーム内の各領域について算出されたものであり、先に図９を参照して説明したように、各探索用フレームは生成する出力画像の各フレームに一対一で対応している。
【０１１３】
最適シャッタ速度算出部２５３は、入力した各分割領域対応の移動速度情報に基づいて出力画像の該当フレーム内の各領域について、最適な撮像シャッタ速度を算出する。移動速度と最適な撮像シャッタ速度の関係についての詳細は後述するが、出力画像が指定のフレームレートで表示された際、ジャーキネス劣化とボケ劣化の双方が最も低減する設定条件に基づいて最適な撮像シャッタ速度が算出される。この設定条件は、予め最適シャッタ速度算出部２５３が有している。
【０１１４】
最適シャッタ速度算出部２５３は、各分割領域対応の移動速度情報を入力し、ジャーキネス劣化とボケ劣化の双方が最も低減する最適な撮像シャッタ速度を算出する。ここで算出する最適な撮像シャッタ速度は、出力画像の各フレームに設定される分割領域単位の最適撮像シャッタ速度である。最適シャッタ速度算出部２５３は、算出した出力画像フレーム内の各分割領域対応の最適な撮像シャッタ速度を、フィルタリング処理部２５４へと出力する。
【０１１５】
フィルタリング処理部２５４には、さらに、制御部２５２の制御に基づいて画像蓄積部２５１から読み出された出力画像の当該フレーム生成するために用いる入力画像フレームが入力される。フィルタリング処理部２５４は、この入力画像に対する画像処理を実行する。すなわち、最適シャッタ速度算出部２５３から入力される出力画像フレーム内の各分割領域対応の最適な撮像シャッタ速度に基づいて、入力画像フレームの分割領域各々について、最適シャッタ速度の撮像画像を擬似的に生成するフィルタリング処理を行う。フィルタリング処理部２５４において生成された画像は、出力画像信号の１フレームとして出力される。
【０１１６】
画像生成処理部１０２では、ここまでに説明した処理を、出力画像のフレーム数だけ繰り返すことにより、指定のフレームレートを有する出力画像信号を出力する。
【０１１７】
［５．フィルタリング処理部の実行するフィルタリング処理の詳細］
フィルタリング処理部２５４は、最適シャッタ速度算出部２５３から入力される出力画像フレーム内の各分割領域対応の最適な撮像シャッタ速度に基づいて、入力画像フレームの分割領域各々について、最適シャッタ速度の撮像画像を擬似的に生成するフィルタリング処理を行う。このフィルタリング処理を、最も簡単に実現する方法の１つの手法は、入力画像フレームの分割領域を時間方向に平均化する処理である。
【０１１８】
最適な撮像シャッタ速度に応じて、領域毎に平均化に用いるフレーム数を変えて平均化を行うことによって、撮像時におけるシャッタ速度が各領域において異なる出力画像を擬似的に生成することができる。
【０１１９】
また、時間方向の平均化処理を行う際、既存のフレーム間を補間する中間フレームを作成することで、より滑らかな動きボケ生成を行う方法を用いることも有効である。この補間処理は、出力画像信号のフレームレートに対し、入力画像信号のフレームレートが十分に大きくない場合には特に有効である。この補間処理を実行する画像生成処理部１０２の構成例を図１１に示す。
【０１２０】
図１１は、画像生成処理部１０２内に中間フレーム生成部を加えた構成例を示すものである。図１１において、入力画像信号は画像蓄積部２５１とともに中間フレーム生成部２５０に入力される。中間フレーム生成部２５０は、既存のフレームを基に中間フレームを生成し、この中間フレームを用いることで、後段のフィルタリング処理部２５４において行われるフィルタリング処理において滑らかな画像を生成することができる。
【０１２１】
中間フレーム生成部２５０における中間フレームの生成処理手法には、様々な既存の手法が適用可能である。例えば、既存の前後フレームを、重みをつけてブレンドする方法のほか、図１１に示すように、中間フレーム生成部２５０に、領域毎の移動速度情報を入力し、この移動速度情報に基づく重みづけや画像ブレンドを実行することで、より精度の高い中間フレーム生成が可能となる。
【０１２２】
また、フィルタリング処理部２５４における最適シャッタ速度の撮像画像を擬似的に生成するフィルタリング処理としては、時間方向の平均化処理のほか、時間方向に帯域制限フィルタ処理を行い、信号の制限（もしくは通過）帯域を変更する構成としてもよい。さらに、時間方向のフィルタリングのみならず、空間方向の帯域制限フィルタリングや、動きベクトルを利用して周囲の画素情報を取得することによって動きボケを生成する方法（例えば、"Ｉｍａｇｅ−Ｂａｓｅｄ Ｍｏｔｉｏｎ Ｂｌｕｒ ｆｏｒ Ｓｔｏｐ Ｍｏｔｉｏｎ Ａｎｉｍａｔｉｏｎ，" Ｇ．Ｊ．Ｂｒｏｓｔｏｗ ｅｔ ａｌ． ＳＩＧＧＲＡＰＨ２００１．などに開示された方法）等を適用するなど、さまざまな方法の適用が可能である。
【０１２３】
［６．フィルタリング処理に用いるフレームの選別方法について］
前述したように、フィルタリング処理部２５４は、最適シャッタ速度算出部２５３から入力される出力画像フレーム内の各分割領域対応の最適な撮像シャッタ速度に基づいて、入力画像フレームの分割領域各々について、最適シャッタ速度の撮像画像を擬似的に生成するフィルタリング処理を行う。すなわち、入力画像フレームの分割領域各々について、シャーキネスおよびブラーの発生が最も抑制される最適シャッタ速度の撮像画像を擬似的に生成する。
【０１２４】
出力画像の１フレームを生成するために用いる読み出しフレームの選別処理について、図１２を参照して説明する。図１２は、フィルタリング処理に用いる入力画像フレームと、出力される画像フレームとの対応について説明する図である。
【０１２５】
先に、説明したように、本発明の画像処理装置では、入力画像及び出力画像のフレームレートの組み合わせは様々な設定が可能であるが、ここでは、その一例として、
入力画像信号のフレームレートを２４０（フレーム／秒）、
出力画像信号のフレームレートを６０（フレーム／秒）、
これらの組み合わせの例を説明する。また、ここで説明する処理例においては、中間フレームの生成は行わないものとする。
【０１２６】
図１２において、（ａ）入力画像信号には、先に説明した図９と同様、各フレームに、フレーム番号を示している。このフレーム番号は時刻０（秒）に入力画像信号の０番目のフレームが撮像されたとして表現したものである。入力画像信号のフレームレートは２４０（フレーム／秒）であるため、時刻ｓ（秒）では２４０×ｓ番目のフレームと表記する。
【０１２７】
図１０に示す画像生成処理部１０２の制御部２５２の制御のもと、出力画像のある１フレームを生成するためのフィルタリング処理に用いる読み出しフレームの選別処理が実行される。図１２には、このフレーム選別処理例の２つの例（例１）、（例２）を示している。
【０１２８】
図１２の（ａ）入力画像信号には、先に、図９を参照して説明した探索用フレームを２４０×ｓ＋０番目、２４０×ｓ＋４番目、２４０×ｓ＋８番目のフレームとして斜線で示している。
本処理例では、出力画像信号のフレームレートは、
６０（フレーム／秒）
であるため、入力画像信号［２４０（フレーム／秒）］中から、１／６０秒間毎に撮像されたフレームを、探索対象として抽出する。すなわち、移動速度演算部１０１において探索対象のフレームとして選別されるフレームは、２４０×ｓ＋０番目、２４０×ｓ＋４番目、２４０×ｓ＋８番目のフレームであり、斜線で示したフレームである。
【０１２９】
本実施例において、出力画像を生成するためのフィルタリング処理に用いる入力画像フレームは、各出力画像フレームに対応する探索用フレームを含む前後フレームを用いる。なお、１つの出力フレームを生成するためのフィルタリング処理に適用する入力画像フレームについては、このように、各出力画像フレームに対応する探索用フレームを含む前後フレームを用いる処理とすることが必須となるものではなく、各出力画像フレームに対応する探索用フレームを含む前フレームのみ、あるいは後フレームのみなど、様々な処理形態を適用することが可能である。
【０１３０】
しかし、先に図９を参照して説明したように、出力画像の１フレームに対して、１つの移動速度の探索用フレームが対応付けられており、出力画像フレームをフィルタリング処理により生成する場合に、その出力画像フレームに対応する探索用フレームを含むようその前後フレームを用いることで、移動速度情報を反映したフィルタリング処理が可能となる。
【０１３１】
図１２には、（例１）、（例２）として、画像生成処理部１０２の制御部２５２の制御のもと、出力画像のある１フレームを生成するためのフィルタリング処理に用いる読み出しフレームの２つの選別処理例を示している。
【０１３２】
なお、６０×ｓ＋０番目の出力画像のフレームと対応する入力画像中の移動速度検出適用探索フレームは２４０×ｓ＋０番目の入力画像フレームである。
６０×ｓ＋１番目の出力画像のフレームと対応する入力画像中の移動速度検出適用探索フレームは２４０×ｓ＋４番目の入力画像フレームである。
６０×ｓ＋２番目の出力画像のフレームと対応する入力画像中の移動速度検出適用探索フレームは２４０×ｓ＋８番目の入力画像フレームである。
【０１３３】
まず、（例１）の処理例について説明する。
（例１）においては、６０×ｓ＋０番目の出力画像フレーム３１０を生成する場合のフィルタリング処理に適用する入力画像フレームは、図に示すように、対応する移動速度の探索用フレームである２４０×ｓ＋０番目と、その前１フレームと後２フレームとした設定である。すなわち、２４０×ｓ−１番目、２４０×ｓ＋０番目、２４０×ｓ＋１番目、２４０×ｓ＋２番目の計４フレームを、フィルタリング処理に用いるフレームとして選択する例を示している。
【０１３４】
図には、出力画像フレームに対応する移動速度検出に適用した探索用フレームを［０］として、ｎ個前のフレームを［−ｎ］、ｎ個後のフレーム［＋ｎ］として示してある。（例１）の場合、１つの出力画像フレームを生成する場合のフィルタリング処理に適用する入力画像フレームは、出力画像フレームに対応する移動速度の探索用フレームの１つ前（−１）のフレームから２つ後（＋２）のフレーム、すなわち−１，０，＋１，＋２の４フレームとした設定である。これらの４フレームを適用して、各分割領域毎に最適シャッタ速度の撮像画像を擬似的に生成するフィルタリング処理を行う。例えば、入力画像フレームの分割領域を時間方向に平均化する処理を行なう。
【０１３５】
（例１）では、６０×ｓ＋１番目、および、６０×ｓ＋２番目の出力画像のフレーム３１１，３１２を生成する場合も同様に、対応する探索用フレームとその前１フレームと後２フレーム（−１〜＋２）の計４フレームを、フィルタリング処理に用いるフレームとして選択している。
【０１３６】
（例２）においては、６０×ｓ＋０番目の出力画像フレーム３２０を生成する場合のフィルタリング処理に適用する入力画像フレームは、図に示すように、対応する移動速度の探索用フレームである２４０×ｓ＋０番目と、その前２フレームと後２フレームとした設定である。すなわち、２４０×ｓ−２番目、２４０×ｓ−１番目、２４０×ｓ＋０番目、２４０×ｓ＋１番目、２４０×ｓ＋２番目の計５フレームを、フィルタリング処理に用いるフレームとして選択する例を示している。
【０１３７】
（例２）では、６０×ｓ＋１番目、および、６０×ｓ＋２番目の出力画像のフレーム３２１，３２２を生成する場合も同様に、対応する探索用フレームとその前２フレームと後２フレーム（−２〜＋２）の計５フレームを、フィルタリング処理に用いるフレームとして選択している。例２の場合、これらの５フレームを適用して、各分割領域毎に最適シャッタ速度の撮像画像を擬似的に生成するフィルタリング処理を行う。例えば、入力画像フレームの分割領域を時間方向に平均化する処理を行なう。
【０１３８】
（例２）の場合、例えば、２４０×ｓ＋２番目のフレームが、６０×ｓ＋０番目と６０×ｓ＋１番目の出力画像のフレーム３２０，３２１の生成のためのフィルタリング処理に、２４０×ｓ＋６番目のフレームが、６０×ｓ＋１番目と６０×ｓ＋２番目の出力画像のフレーム３２１，３２２の生成のためのフィルタリング処理に、それぞれ重複して用いられるが、このような重複したフレーム選択は特に問題とはならない。
【０１３９】
［７．移動速度と最適な撮像シャッタ速度の対応関係について］
前述した通り、図１１に示す画像生成処理部１０２における最適シャッタ速度算出部２５３は、移動速度演算部１０１から出力された、画像中の各分割領域における移動速度を入力とし、この分割領域各々の移動速度情報に基づいて、最適な撮像シャッタ速度、すなわち、ジャーキネスおよびブラーが最も低減される撮像シャッタ速度を算出する。
【０１４０】
その際、最適シャッタ速度算出部２５３は、移動速度と最適な撮像シャッタ速度とを対応付けたテーブル、あるいは予め設定された算出式に基づいて撮像シャッタ速度を求める。最適シャッタ速度算出部２５３は、移動速度と最適な撮像シャッタ速度とを対応付けたテーブルまたは算出式情報を保持している。
【０１４１】
図１３は、移動速度と最適な撮像シャッタ速度の対応関係の一例を示したものである。グラフの横軸は移動速度、縦軸はシャッタ速度を示しており、グラフ中の曲線が移動速度と最適な撮像シャッタ速度との対応関係を示す。図１３の曲線は、主観評価実験により求めた結果を示すグラフである。
【０１４２】
被写体の輝度、移動速度、撮像シャッタ速度について、複数のパターンについて実験を行うことで、ジャーキネス劣化とボケ劣化の双方が最も低減する条件を探索し、さらに、複数の被験者についての結果を平均して、ある関数で近似することにより得られた曲線が図１３に示す曲線である。
【０１４３】
以降、本実施例では、実験によって得られた結果である図１３の曲線を例として説明を進めていくが、この曲線は、移動速度と最適撮像シャッタ速度との対応を示す一例であり、本発明の装置は、この曲線の適用に限定されるものではない。最適シャッタ速度算出部２５３は、入力する各分割領域の移動速度情報に基づいてジャーキネス劣化とボケ劣化の双方が最も低減する最適な撮像シャッタ速度を算出可能な構成であればよく、そのための対応テーブルまたは算出式を保持することが必要となる。
【０１４４】
また、本実施例に係る処理を実装した装置においては、速度と最適な撮像シャッタ速度の対応関係を、出力画像信号を表示するデバイスの応答特性や、使用者の嗜好に応じて、変更できるように構成することも可能である。これについての詳細は後述する。
【０１４５】
［８．最適な撮像シャッタ速度算出方法について］
以下、最適シャッタ速度算出部２５３が、図１３に示すグラフデータを、移動速度−最適撮像シャッタ速度の対応テーブルとして保持している場合、ある分割領域の移動速度情報を入力して、最適撮像シャッタ速度を算出する処理例について説明する。すなわち、画像中のある分割領域における移動速度情報を最適シャッタ速度算出部２５３に入力したとき、その領域に対し最適な撮像シャッタ速度を算出する最も基本的な処理例について、図１４を用いて説明する。
【０１４６】
まず、ある出力フレームの１つの分割領域における移動速度の値を、グラフの横軸から探索する。例えば、図１４の横軸上の移動速度点３３１が、ある出力フレームの１つの分割領域における移動速度の値であるとする。次に、横軸の値に対応するグラフ曲線上の点を探索する。図に示す矢印Ａによって、横軸の値（移動速度点３３１）に対応するグラフ曲線上の点を探索する。図に示すグラフ点３３２が探索される。
【０１４７】
次に、探索したグラフ曲線上の点３３２に対応する縦軸上の値を探索する。図に示す矢印Ｂによって、グラフ曲線上の点３３２に対応する縦軸上の値（最適撮像シャッタ速度点３３３）を探索する。この処理によって、特定の分割領域の移動速度に対し最適な撮像シャッタ速度の値（最適撮像シャッタ速度点３３３）を獲得することができる。この要領で、各分割領域に対応する移動速度に対応する最適シャッタ速度を求める。決定した最適な撮像シャッタ速度は、図１１に示す画像生成処理部１０２の最適シャッタ速度算出部２５３から出力され、フィルタリング処理部２５４へ入力される。
【０１４８】
なお、上述の撮像シャッタ速度の算出方法は、最も基本的な手段の一例であり、算出処理の高速化や記憶データ量の削減の必要性に応じて簡略化してもよい。図１５は、図１３に示した移動速度と最適な撮像シャッタ速度の関係の一例を粗化して示したものである。移動速度と最適な撮像シャッタ速度の関係の情報を、図１３のように粗化したデータとして表現することにより、最適シャッタ速度算出部２５３が予め有しているべき情報は、限られた組み合わせのテーブル状のデータとなり、データ量は軽減される。
【０１４９】
すなわち、この例では、最適シャッタ速度算出部２５３が予め有しているべき情報は、図１６に示す移動速度と最適シャッタ速度の対応データとなる。図１６に示すように、
移動速度が０〜Ｖａでは、最適シャッタ速度＝ｔ４、
移動速度がＶａ〜Ｖｂでは、最適シャッタ速度＝ｔｋ、
移動速度がＶｂ〜Ｖｃでは、最適シャッタ速度＝ｔｌ、
：
移動速度がＶｇ〜Ｖｈでは、最適シャッタ速度＝ｔｒ、
移動速度がＶｈ〜では、最適シャッタ速度＝ｔｓ、
このように、移動速度の区間データに対応する最適シャッタ速度を設定したテーブルを、図１５に示すグラフに基づいて生成し、この対応テーブルを保持する構成としてもよい。この構成によって、最適シャッタ速度算出部２５３が保持すべきデータ量は軽減される。また、この場合、計算コストの点にも利便性がある。すなわち、最適シャッタ速度算出部２５３は、ある領域の移動速度情報を入力してその領域に最適な撮像シャッタ速度を算出する場合、移動速度が図１６に示すテーブルのどの区間に対応するかを判別し、その区間に対応付けられた最適シャッタ速度データを取得するのみで、各移動速度に対応する最適な撮像シャッタ速度を取得することができる。
【０１５０】
［９．最適な撮像シャッタ速度算出および、出力フレーム生成処理の具体例］
次に、最適な撮像シャッタ速度算出および、出力フレーム生成処理の具体例について、図１７〜図１９を参照して説明する。
【０１５１】
以下の説明においても、
入力画像のフレームレートは２４０（フレーム／秒）、
出力画像のフレームレートは６０（フレーム／秒）、
このフレームレート設定として説明する。また、本例では、入力画像の各フレームは、単一のシャッタ速度１／２４０（秒）で撮像されているものとして説明する。
【０１５２】
図１７は、本発明の画像処理装置の移動速度演算部１０１（図４参照）において、各分割領域について移動速度が算出された、ある１枚の探索用フレームを図示している。本例では、画像フレームを４×４画素の領域に分割し、これらの４×４画素の分割領域を単位として、各分割領域の移動速度を検出するものとする。図７を参照して説明した移動速度演算部１０１の領域分割部２０３において４×４画素単位に分割され、各々の領域について対応する移動速度の値が算出される。
【０１５３】
各分割領域の移動速度は、先に図７〜図９を参照して説明した移動速度検出処理、すなわち、探索用フレームと参照用フレームを設定し、これらのフレーム間においてブロックマッチングを実行することで算出される。
【０１５４】
図１７に示す分割領域の内、６つに識別記号Ａ〜Ｆを示している。ここで、各々の領域Ａ〜Ｅの分割領域において算出された移動速度を、それぞれＶａ、Ｖｂ、Ｖｃ、Ｖｄ、Ｖｅ、Ｖｆとする。
【０１５５】
図１８は、画像生成処理部１０２において行われる移動速度に基づく最適な撮像シャッタ速度の算出に適用するグラフ（テーブル）を示している。このテーブルは、図１１を参照して説明した画像生成処理部１０２の最適シャッタ速度算出部２５３に保持されたテーブルであり、移動速度と最適な撮像シャッタ速度との対応データである。最適シャッタ速度算出部２５３は、このテーブルを適用して、各分割領域に対応して求められた移動速度に基づいて、各分割領域に対応する最適シャッタ速度を算出する。図１８に示すデータは、先に、図１５を参照して説明したグラフと同様、所定の移動速度区間毎に、最適シャッタ速度を対応付けたデータである。
【０１５６】
最適シャッタ速度算出部２５３は、各分割領域に対応して求められた移動速度情報を入力し、図１８に示すデータを適用して各分割領域に対応する最適シャッタ速度を算出する。以下、図１７に示すフレーム画像データが、出力画像フレームに対応する探索用フレームとして画像生成処理部１０２に入力した場合の処理例について説明する。
【０１５７】
図１１に示す画像生成処理部１０２の最適シャッタ速度算出部２５３には、図１７に示すフレーム画像の各分割領域の移動速度情報が入力される。分割領域Ａ〜Ｆ（４×４画素）に対しては、移動速度情報Ｖａ〜Ｖｆが入力される。
ここで、図１７に示す分割領域Ａ〜Ｆの各々が有する移動速度Ｖａ〜Ｖｆの値と、図１８に示すグラフの横軸に示す閾値ｔｈ１〜ｔｈ６との大小関係は、以下の設定であるとする。
０≦Ｖａ＜ｔｈ１
ｔｈ１≦Ｖｂ＜ｔｈ２
ｔｈ２≦Ｖｃ＜ｔｈ３
ｔｈ３≦Ｖｄ＜ｔｈ４
ｔｈ４≦Ｖｅ＜ｔｈ５
ｔｈ６≦Ｖｆ
【０１５８】
先に説明した通り、ある領域の移動速度から当該領域に最適な撮像シャッタ速度を算出する処理は、まず、移動速度が上記閾値によって区切られた移動速度区間のどの区間にあるかを判別し、次に、その移動速度区間に対応付けられた最適シャッタ速度を取得する処理として実行される。
【０１５９】
例えば、図１７に示す分割領域Ｃは、移動速度Ｖｃを有する。
ｔｈ２≦Ｖｃ＜ｔｈ３
であり、移動速度Ｖｃは、移動速度区間ｔｈ２〜ｔｈ３に含まれる。移動速度区間ｔｈ２〜ｔｈ３に対応する最適シャッタ速度は、図１８に示すグラフから［１／１２０秒］である。このように、移動速度Ｖｃを有する分割領域Ｃにおける最適シャッタ速度は［１／１２０秒］であると判定される。これは、分割領域Ｃの画像をシャッタ速度１／１２０秒とした擬似画像とした場合に、ジャーキネスおよびブラーが最も低減された画像とすることが可能であることを意味している。
【０１６０】
このシャッタ速度情報が図１１に示す画像生成処理部１０２のフィルタリング処理部２５４に入力され、フィルタリング処理部２５４では、分割領域Ｃの画像をシャッタ速度１／１２０秒とした擬似画像とするための画像生成処理（フィルタリング処理）を実行する。画像フィルタリング処理は、先に、図１２を参照して説明したように、既存の前後フレームを、重みをつけてブレンドする処理として実行される。
【０１６１】
図１９を参照してフィルタリング処理部２５４において実行するフィルタリング処理、すなわち、ジャーキネスおよびブラーが最も低減されたシャッタ速度撮像画像としての擬似画像の生成処理について説明する。
【０１６２】
フィルタリング処理部２５４には、各領域に対応する最適シャッタ速度情報と、先に図１２を参照して説明したように、図１１に示す画像生成処理部１０２の制御部２５２において選択されたフィルタリング処理に適用する入力画像フレームが入力される。本例では、フィルタリング処理に用いるフレームを、図１２を参照して説明した（例２）のように、移動速度の探索用フレームの前後２フレームであるとする。
【０１６３】
図１９には、フィルタリング処理部２５４に入力された出力画像フレームに対応する移動速度の探索用フレームとその前後２フレームの５つの入力フレームを示している。これらの５つのフレームは、出力画像フレームに対応する移動速度の探索用フレームである２４０×ｓ＋０番目のフレーム、および、フィルタリングに用いるフレームとしてその前後２フレームである２４０×ｓ−２番目、２４０×ｓ−１番目、２４０×ｓ＋１番目、２４０×ｓ＋２番目のフレームである。これらの入力フレーム中に示す画素３５１（−２）〜３５１（２）は、先に図１７を参照して説明した処理対象の４×４画素の分割領域に含まれる画素であるとする。入力フレーム中に示す画素３５１（−２）〜３５１（２）の各画素値をｉｎ（−２）、ｉｎ（−１）、ｉｎ（０）、ｉｎ（１）、ｉｎ（２）とする。
【０１６４】
また、図１９には、これらの各フレームを用いたフィルタリング処理の結果、出力される出力フレーム３７０を示している。このフレームは、図１２の（例２）において示す［６０×ｓ＋０番目の出力フレーム］３２０に相当する。出力フレーム３７０中、注目画素３５１（−２）〜３５１（２）と位置的に対応する出力画素３７１の画素値をｏｕｔ（０）とする。
【０１６５】
本例では、出力フレーム中の出力画素３７１の画素値ｏｕｔ（０）は、入力画像の各フレームの注目画素３５１（−２）〜３５１（２）の画素値ｉｎ（−２）、ｉｎ（−１）、ｉｎ（０）、ｉｎ（１）、ｉｎ（２）を加重平均することで算出するものとし、以下、例をあげて説明する。
【０１６６】
（Ａ）注目画素が分割領域Ａ内の画素である場合
まず、注目画素が、図１７の領域Ａ内に存在する例を考える。
注目画素は移動速度Ｖａ（０≦Ｖａ＜ｔｈ１）を有している。
この場合、注目画素に対する最適なシャッタ速度は、既に最適シャッタ速度算出部２５３において図１８のテーブルから算出され、フィルタリング処理部２５４に入力されており、その値は１／２４０（秒）である。
【０１６７】
入力画像の各フレームは単一のシャッタ速度１／２４０（秒）で撮像されている。そのため、２４０×ｓ＋０番目の入力フレームの注目画素の画素値は、図１８のテーブルから算出された最適なシャッタ速度（１／２４０秒）で撮像されている画像であり、出力フレーム中の注目画素の画素値ｏｕｔ（０）は、ｉｎ（０）の値をそのまま用いればよい。数式で表現すると以下のようになる。
ｏｕｔ（０）＝ｉｎ（０）
【０１６８】
（Ｂ）注目画素が分割領域Ｂ内の画素である場合
次に、注目画素が図１７の領域Ｂ内に存在する場合を考える。
注目画素は移動速度Ｖｂ（ｔｈ１≦Ｖｂ＜ｔｈ２）を有している。
この場合、注目画素に対する最適なシャッタ速度は、既に最適シャッタ速度算出部２５３において図１８のテーブルから算出され、フィルタリング処理部２５４に入力されており、その値は１／１６０（秒）である。
【０１６９】
入力画像の各フレームは単一のシャッタ速度１／２４０（秒）で撮像されており、注目画素に対する最適シャッタ速度１／１６０（秒）は、
（１／１６０）／（１／２４０）＝１．５倍である。
この場合、出力フレーム中の注目画素の画素値ｏｕｔ（０）は、以下のように入力画像の各フレームの注目画素の画素値を加重平均の計算により求める。
ｏｕｔ（０）＝（ｉｎ（−１）＊０．２５＋ｉｎ（０）＋ｉｎ（１）＊０．２５）／１．５
上記式は、出力画像フレームに対応する移動速度の探索用フレームである２４０×ｓ＋０番目のフレームの画素の画素値の重みを［１］とし、
１つ前のフレームと１つ後のフレームの対応画素の画素値の重みをそれぞれ［０．２５］として、加重平均によって、出力画像フレームの画素値ｏｕｔ（０）を算出したものである。上記式により、注目画素の元々の露光時間よりも１．５倍の期間、露光されて撮像された画素を擬似的に生成することができる。
【０１７０】
（Ｃ）注目画素が分割領域Ｃ内の画素である場合
次に、注目画素が図１７の領域Ｃ内に存在する場合を考える。
注目画素は移動速度Ｖｃ（ｔｈ２≦Ｖｃ＜ｔｈ３）を有している。
この場合、注目画素に対する最適なシャッタ速度は、既に最適シャッタ速度算出部２５３において図１８のテーブルから算出され、フィルタリング処理部２５４に入力されており、その値は１／１２０（秒）である。
【０１７１】
入力画像の各フレームは単一のシャッタ速度１／２４０（秒）で撮像されており、注目画素に対する最適シャッタ速度１／１２０（秒）は、
（１／１２０）／（１／２４０）＝２．０倍である。
この場合、出力フレーム中の注目画素の画素値ｏｕｔ（０）は、以下のように入力画像の各フレームの注目画素の画素値を加重平均の計算により求める。
ｏｕｔ（０）＝（ｉｎ（−１）＊０．５＋ｉｎ（０）＋ｉｎ（１）＊０．５）／２．０
上記式により、注目画素の元々の露光時間よりも２．０倍の期間、露光されて撮像された画素を擬似的に生成する。
【０１７２】
（Ｄ）注目画素が分割領域Ｄ内の画素である場合
次に、注目画素が図１７の領域Ｄ内に存在する場合を考える。
注目画素は移動速度Ｖｄ（ｔｈ３≦Ｖｄ＜ｔｈ４）を有している。
この場合、注目画素に対する最適なシャッタ速度は、既に最適シャッタ速度算出部２５３において図１８のテーブルから算出され、フィルタリング処理部２５４に入力されており、その値は１／９６（秒）である。
【０１７３】
入力画像の各フレームは単一のシャッタ速度１／２４０（秒）で撮像されており、注目画素に対する最適シャッタ速度１／９６（秒）は、
（１／９６）／（１／２４０）＝２．５倍である。
この場合、出力フレーム中の注目画素の画素値ｏｕｔ（０）は、以下のように入力画像の各フレームの注目画素の画素値を加重平均の計算により求める。
ｏｕｔ（０）＝（ｉｎ（−１）＊０．７５＋ｉｎ（０）＋ｉｎ（１）＊０．７５） ／２．５
上記式により、注目画素の元々の露光時間よりも２．５倍の期間、露光されて撮像された画素を擬似的に生成する。
【０１７４】
（Ｅ）注目画素が分割領域Ｅ内の画素である場合
次に、注目画素が図１７の領域Ｅ内に存在する場合を考える。
注目画素は移動速度Ｖｅ（ｔｈ４≦Ｖｅ＜ｔｈ５）を有している。
この場合、注目画素に対する最適なシャッタ速度は、既に最適シャッタ速度算出部２５３において図１８のテーブルから算出され、フィルタリング処理部２５４に入力されており、その値は１／８０（秒）である。
【０１７５】
入力画像の各フレームは単一のシャッタ速度１／２４０（秒）で撮像されており、注目画素に対する最適シャッタ速度１／８０（秒）は、
（１／８０）／（１／２４０）＝３．０倍である。
この場合、出力フレーム中の注目画素の画素値ｏｕｔ（０）は、以下のように入力画像の各フレームの注目画素の画素値を加重平均の計算により求める。
ｏｕｔ（０）＝（ｉｎ（−１）＋ｉｎ（０）＋ｉｎ（１））／３．０
上記式により、注目画素の元々の露光時間よりも３．０倍の期間、露光されて撮像された画素を擬似的に生成する。
【０１７６】
（Ｆ）注目画素が分割領域Ｆ内の画素である場合
次に、注目画素が図１７の領域Ｆ内に存在する場合を考える。
注目画素は移動速度Ｖｆ（ｔｈ６≦Ｖｆ）を有している。
この場合、注目画素に対する最適なシャッタ速度は、既に最適シャッタ速度算出部２５３において図１８のテーブルから算出され、フィルタリング処理部２５４に入力されており、その値は１／６０（秒）である。
入力画像の各フレームは単一のシャッタ速度１／２４０（秒）で撮像されており、注目画素に対する最適シャッタ速度１／６０（秒）は、
（１／６０）／（１／２４０）＝４．０倍である。
この場合、出力フレーム中の注目画素の画素値ｏｕｔ（０）は、以下のように入力画像の各フレームの注目画素の画素値を加重平均の計算により求める。
ｏｕｔ（０）＝（ｉｎ（−２）＊０．５＋ｉｎ（−１）＋ｉｎ（０）＋ｉｎ（１）＋ｉｎ（２）＊０．５）／４．０
上記式により、注目画素の元々の露光時間よりも４．０倍の期間、露光されて撮像された画素を擬似的に生成する。
【０１７７】
このように、フィルタリング処理部２５４では、各画素が最適なシャッタ速度で撮像された出力フレームを生成するため、入力画像フレームの画素値を移動速度に応じた係数を設定して加重平均によるフィルタリング処理を実行して画素値を設定した画像を生成する。
【０１７８】
このように、フィルタリング処理部２５４では、生成する出力画像のシャッタ速度に応じて、フィルタリング処理に適用する入力画像フレームの数を適宜、変更して処理を行なう。
【０１７９】
［１０．移動速度と最適なシャッタ速度曲線の調整機能を有した装置について］
さらに、本発明に係る画像処理構成を実装した装置においては、出力画像を表示する表示デバイスの応答特性や、装置の使用者の嗜好に応じて、移動速度と最適な撮像シャッタ速度の関係を調整する機能を持たせる構成としてもよい。
【０１８０】
図２０は、移動速度と最適な撮像シャッタ速度の関係を表す曲線の例をいくつか示している。例えば、図２０中に示す第１段階〜第５段階の曲線のなかから、使用者が移動速度と最適な撮像シャッタ速度の関係を調整可能とする。移動速度と最適な撮像シャッタ速度の関係は、出力画像を表示する表示デバイスの応答特性や、装置の使用者の嗜好に応じて異なる場合がある。このような場合、移動速度と最適な撮像シャッタ速度の関係を調整可能とすることで、状況に応じた最適な処理が可能となる。
【０１８１】
例えば、図２０に示す移動速度と最適撮像シャッタ速度の関係を示す複数の曲線中、第１段階と第５段階を比較した場合、移動速度が等しい場合における最適な撮像シャッタ速度は、第５段階の方が高速である。そのため、フィルタリング処理により生成される出力画像は、第１段階を採用した場合の方が、第５段階を採用した場合と比べ、よりジャーキネス劣化が低減された画像となり、反対に第５段階を採用した場合の方が第１段階を採用した場合と比べ、よりブラー劣化が低減された画像となる。
【０１８２】
装置の使用者は、その嗜好に応じて、最も双方の劣化が気にならないよう、図２０中に示す第１段階〜第５段階の曲線を選択して、移動速度に対応する最適シャッタ速度を調整することができる。この移動速度と最適な撮像シャッタ速度の関係を調整する機能は、ちょうど一般的な表示装置において、輝度のガンマ曲線を調整する機能とよく似たものである。
【０１８３】
使用者が、移動速度と最適な撮像シャッタ速度の関係を調整するために必要な情報を入力する手段としては様々な構成が適用可能である。例えば、装置に設定されたユーザインタフェース（ＧＵＩ）によって入力する方法が考えられる。この場合、装置は表示デバイス、マウスなどの入力デバイスを持ち、ユーザはこれらの入力デバイスを使用して、調整を行うこととなる。図２１は、使用者が移動速度と最適な撮像シャッタ速度の関係を調整する際に用いる、ユーザインタフェースの構成例である。
【０１８４】
図２１は、図２０において示した第１段階〜第５段階の曲線のなかから、移動速度と最適な撮像シャッタ速度の関係を、使用者が選択できるよう構成されており、スクロールバー３８１を移動させて入力できるように設計してある。ユーザは何らか入力デバイスを用いてスクロールバー３８１を動かし、ＯＫボタン３８２を操作することで、移動速度と最適な撮像シャッタ速度の関係を調整することが可能となっている。
【０１８５】
［１１．第２の実施例の概要］
図２２は、本発明の第２の実施例に係る画像処理装置の構成例を示すブロック図である。第２の実施例のブロック図は、図４を参照して説明した第１の実施例に空間特徴量検出部５０３を付け加えたものである。画像処理装置５００は、処理対象画像として、一定のフレームレートを有する画像信号を入力する。この入力画像信号は、移動速度演算部５０１、画像生成処理部５０２、および空間特徴量検出部５０３に入力される。
【０１８６】
以下、第１の実施例との差分を中心として、画像処理装置５００の処理について説明する。一定のフレームレートを有する入力画像信号は、移動速度演算部５０１に入力される。移動速度演算部５０１に入力した入力画像信号は、先に、図４以下を参照して説明した第１の実施例と同様の処理を実行して、フレーム内の各分割領域の移動速度を算出する。この移動速度は、出力画像のフレームレート相当の値として算出され、移動速度演算部５０１から画像生成処理部５０２に出力される。
【０１８７】
空間特徴量検出部５０３にも同様に、入力画像信号が入力される。空間特徴量検出部５０３の処理について、図２３を参照して説明する。図２３は、空間特徴量検出部５０３の詳細な構成例を示す図である。図２３に示すように、空間特徴量検出部５０３は、入力画像信号の複数のフレームを記憶する画像蓄積部５２１、空間コントラストの大きさを評価する対象のフレームを選別し読み出し制御を行う制御部５２２、評価対象となるフレームを領域に分割する領域分割部５２３、空間フィルタリング処理などにより各領域における空間コントラストの大きさを評価する空間コントラスト評価部５２４を有する。
【０１８８】
本実施例では、処理の基準とする空間コントラスト閾値を、予め空間コントラスト評価部５２４が有している。空間特徴量検出部５０３は、処理対象とする分割領域各々について、空間コントラストの大きさが閾値以上であるか否かを判定し、処理対象とする分割領域の空間コントラストの大きさが閾値以上である場合、空間特徴量情報として信号［０］、閾値よりも小さい場合、空間特徴量情報として信号［１］を出力する。
【０１８９】
空間特徴量検出部５０３に入力した入力画像信号は、まず画像蓄積部５２１に入力され記憶される。この記憶画像フレームデータは、制御部５２２の制御のもと、空間コントラストの評価対象として選択されたフレームが画像蓄積部５２１から読み出される。
【０１９０】
空間コントラストの評価対象となるフレームは、出力画像のフレームレート情報を基に実行される。このフレーム選択処理は、先に、図７〜図９を参照して説明した移動速度演算部の制御部における動きベクトル検出対象となる探索用フレームの選別と同様の処理である。画像蓄積部５２１から読み出されたフレームは、領域分割部５２３に入力される。
【０１９１】
領域分割部５２３において行われる領域分割処理は、先に、第１の実施例において図７を参照して説明した移動速度演算部の領域分割部において実行される動きベクトル検出対象となる探索用フレームの領域分割処理と同様に行われる。先に、図５を参照して説明したように、１フレームの画像が予め定められた画素領域に分割される。
【０１９２】
各分割領域の画像データは、空間コントラスト評価部５２４へ入力され、空間フィルタリング処理が行われる。すなわち、処理対象とする分割領域各々について、空間コントラストの大きさが閾値以上であるか否かを判定し、処理対象とする分割領域の空間コントラストの大きさが閾値以上である場合、空間特徴量情報として信号［０］、閾値よりも小さい場合、空間特徴量情報として信号［１］を出力する。
【０１９３】
このように、本実施例では、図２２に示す画像生成処理部５０２は、移動速度演算部５０１から出力される画像中の各領域における移動速度情報、および、空間特徴量検出部５０３から出力される画像中の各領域における空間特徴量情報を入力する。
【０１９４】
図２４を参照して、本実施例における画像生成処理部５０２の構成および処理について説明する。図２４に示す画像生成処理部５０２において、空間特徴量検出部５０３から入力した空間特徴量情報は、移動速度情報と同様に、最適シャッタ速度算出部５５３へ入力される。最適シャッタ速度算出部５５３は、これらの各情報を適用して、各分割領域に対応する最適シャッタ速度を算出する。
【０１９５】
最適シャッタ速度算出部５５３における処理は、例えば以下のように行われる。最適シャッタ速度算出部５５３に入力した空間特徴量情報が信号［０］の場合、すなわち、処理対象とする分割領域の空間コントラストの大きさが閾値以上である場合、当該領域はその移動速度情報のみに基づいて、先に図１３〜図１７を参照して説明した移動速度と最適シャッタ速度との対応テーブルに基づいて、最適な撮像シャッタ速度を算出する。
【０１９６】
一方、空間特徴量情報が信号［１］の場合、すなわち、処理対象とする分割領域の空間コントラストの大きさが閾値未満である場合、当該領域はその移動速度に関わらず、最適シャッタ速度を最大のフレームレートに相当するシャッタ速度、例えば図１３中のｔ４をシャッタ速度として設定する。
【０１９７】
この最適シャッタ速度の決定処理は、空間コントラストが小さい領域では、ジャーキネス劣化は目立たないという事実を考慮したものである。すなわち、処理対象の分割領域の空間特徴量情報が信号［１］の場合、処理対象とする分割領域の空間コントラストの大きさが閾値未満であり、空間コントラストが小さく、ジャーキネス劣化は目立たない。従って、このような領域は、最大のフレームレートに相当するシャッタ速度、例えば図１３中のｔ４をシャッタ速度として設定して鮮明な画像を出力する。
【０１９８】
一方、分割領域の空間特徴量情報が信号［０］の場合、処理対象とする分割領域の空間コントラストの大きさが閾値以上であり、空間コントラストが大きく、ジャーキネス劣化が目立つ領域であると判定されるので、先に説明した実施例と同様、先に図１３〜図１７を参照して説明した移動速度と最適シャッタ速度との対応テーブルに基づいて、最適な撮像シャッタ速度を算出する。
【０１９９】
なお、空間特徴量情報は、本実施例で説明した例においては、所定の閾値の前後で［０］，［１］の２種類の情報とした例を説明したが、この他の設定としてもよい。例えば、空間特徴量検出部５０３が予め１つの閾値を有しているのではなく、コントラストの値に応じた異なる出力値を出力するためのより詳細なテーブルを有する構成とし、空間特徴量情報として２種類より多種類の信号を画像生成処理部５０２へ出力する構成にすることも可能である。
【０２００】
図２４に示す画像生成処理部５０２の最適シャッタ速度算出部５５３において、画像中の各領域における最適な撮像シャッタ速度を算出した後の処理、すなわち、フィルタリング処理部５５４における処理は、先の実施例において説明した処理と同様であり、各分割領域において、複数の入力画像フレームに基づいて、最適シャッタ速度に対応する擬似画像を生成する処理として実行される。
【０２０１】
本処理例では、このように、空間特徴量検出部５０３において分割領域単位で空間コントラストの大きさを検出し、画像生成処理部５０２において、空間コントラストが予め定めた閾値未満の分割領域については、移動速度に対応して算出される最適撮像シャッタ速度より高いシャッタ速度を最適シャッタ速度として設定する。あるいは、空間コントラストが予め定めた閾値未満の分割領域については、移動速度に対応して算出される最適撮像シャッタ速度を算出することなく、入力画像の持つフレームレートに対応する最高のシャッタ速度を最適シャッタ速度として設定する処理を実行する。
【０２０２】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２０３】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０２０４】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０２０５】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２０６】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２０７】
以上、説明したように、本発明の構成によれば、一定のフレームレートで出力する動画像を生成する際、動画像を構成するフレーム画像を区分した分割領域単位で出力画像のフレームレートに応じた被写体の移動速度を算出し、分割領域単位の移動速度に対応する最適な撮像シャッタ速度として、出力画像の画像劣化が低減される最適シャッタ速度を分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を分割領域単位で生成して、生成した分割領域画像を結合したフレーム画像を出力させる構成としたので、出力画像における画像劣化、具体的には、ジャーキネスおよびブラーの双方を低減した高品質の画像を出力することが可能とした画像処理装置が実現される。
【図面の簡単な説明】
【０２０８】
【図１】ジャーキネスとブラーの発生原理について説明する図であり、静止物体と移動物体の実世界における見え方を説明する図である。
【図２】ジャーキネスの発生原理について説明する図である。
【図３】ブラーの発生原理について説明する図である。
【図４】本発明の第１の実施例に係る画像処理装置の構成を示すブロック図である。
【図５】画像信号の各フレーム画像についての領域分割処理について説明する図である。
【図６】出力画像信号のフレームレート値を外部から入力する構成を持つ画像処理装置の構成例を示す図である。
【図７】移動速度演算部の詳細な構成を示す図である。
【図８】移動速度検出部の詳細な構成例を示す図である。
【図９】移動速度演算部において実行する動きベクトルの検出に適用する探索用フレームと参照用フレームの選別処理を説明する図である。
【図１０】画像生成処理部の詳細な構成例を示すブロック図である。
【図１１】画像生成処理部内に中間フレーム生成部を加えた画像生成処理部の構成例を示す図である。
【図１２】フィルタリング処理に用いる入力画像フレームと、出力される画像フレームとの対応について説明する図である。
【図１３】移動速度と最適な撮像シャッタ速度の対応関係の一例を示す図である。
【図１４】移動速度情報に基づいて、最適な撮像シャッタ速度を算出する基本的な処理例について説明する図である。
【図１５】移動速度と最適な撮像シャッタ速度の関係の一例を粗化して示した図である。
【図１６】移動速度と最適な撮像シャッタ速度の関係の一例を粗化した対応データ構成を示す図である。
【図１７】移動速度演算部において、各分割領域について移動速度が算出されたある１枚の探索用フレームを示す図である。
【図１８】画像生成処理部において行われる移動速度に基づく最適な撮像シャッタ速度の算出に適用するグラフ（テーブル）を示す図である。
【図１９】フレームを用いたフィルタリング処理について説明する図である。
【図２０】移動速度と最適な撮像シャッタ速度の関係を表す複数の異なる曲線の例を示す図である。
【図２１】移動速度と最適な撮像シャッタ速度の関係を表す複数の異なる曲線から使用者が曲線を選択できるよう構成したインタフェースを示す図である。
【図２２】本発明の第２の実施例に係る画像処理装置の構成例を示すブロック図である。
【図２３】空間特徴量検出部の詳細な構成例を示す図である。
【図２４】画像生成処理部の構成および処理について説明する図である。
【符号の説明】
【０２０９】
１１ 静止物体
１２ 移動物体
２１ 表示静止物体
２２ 表示移動物体
３１ 表示静止物体
３２ 表示移動物体
１００ 画像処理装置
１０１ 移動速度演算部
１０２ 画像生成処理部
１０３ 出力画像フレームレート情報
２０１ 画像蓄積部
２０２ 制御部
２０３ 領域分割部
２０４ 移動速度検出部
２２１ ブロックマッチング部
２２２ 動きベクトル規格化部
２５０ 中間フレーム生成部
２５１ 画像蓄積部
２５２ 制御部
２５３ 最適シャッタ速度算出部
２５４ フィルタリング処理部
３５１ 入力フレーム
３７０ 出力フレーム
３８１ スクロールバー
３８２ ＯＫボタン
５００ 画像処理装置
５０１ 移動速度演算部
５０２ 画像生成処理部
５０３ 空間特徴量検出部
５２１ 画像蓄積部
５２２ 制御部
５２３ 領域分割部
５２４ 空間コントラスト評価部
５５１ 画像蓄積部
５５２ 制御部
５５３ 最適シャッタ速度算出部
５５４ フィルタリング処理部
【特許請求の範囲】
【請求項１】
動画像に対する画像処理を実行する画像処理装置であり、
動画像を構成するフレーム画像を区分した分割領域単位で出力画像のフレームレートに応じた被写体の移動速度を算出する移動速度演算部と、
前記分割領域単位の移動速度情報を入力し、移動速度に対応する最適な撮像シャッタ速度として、出力画像の画像劣化が低減される最適シャッタ速度を前記分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を前記分割領域単位で生成し、生成した分割領域画像を結合したフレーム画像を出力する画像生成処理部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記移動速度演算部は、
入力画像のフレームから選択された探索用フレームと参照用フレームを適用したブロックマッチング処理により分割領域単位で移動速度を算出する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記移動速度演算部は、
入力画像のフレームから選択された探索用フレームと参照用フレームを適用したブロックマッチング処理により分割領域単位で動きベクトルを求めるブロックマッチング部と、
前記ブロックマッチング部において算出した動きベクトル情報に基づいて、出力画像のフレームレートに応じた被写体の移動速度を算出する動きベクトル規格化部とを有する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記移動速度演算部は、
前記探索用フレームを、出力画像のフレームレートに応じたフレーム間隔で入力画像のフレームから選択する処理を実行する構成であることを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記画像生成処理部は、
移動速度と、出力画像の画像劣化が低減される撮像シャッタ速度とを対応付けたテーブルを保持し、該テーブルを参照して移動速度に対応する最適シャッタ速度を前記分割領域単位で取得する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記テーブルは、
移動速度区間情報と、最適シャッタ速度情報とを対応付けたテーブルであることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記画像生成処理部は、
移動速度と、出力画像の画像劣化が低減される最適シャッタ速度との対応関係の異なる複数の異なるテーブルを有し、ユーザ選択情報に基づいて、適用するテーブルを決定する構成であることを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記画像生成処理部は、
前記分割領域単位で、移動速度に対応する最適シャッタ速度を算出する最適シャッタ速度算出部と、
前記最適シャッタ速度算出部の算出した最適シャッタ速度に対応する画像を前記分割領域単位で生成するフィルタリング処理部とを有する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記フィルタリング処理部は、
入力画像のフレームから選択されたフレームに基づいて、前記最適シャッタ速度算出部の算出した撮像シャッタ速度に対応する画像を前記分割領域単位で生成する処理を実行する構成であることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記フィルタリング処理部は、
前記最適シャッタ速度算出部の算出した最適シャッタ速度に応じた重み係数を設定して、入力画像の複数フレームの画素値の加重平均を実行して、出力画像フレームの画素値を決定する処理を実行する構成であることを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
前記画像生成処理部は、
入力画像のフレームに含まれない中間フレームを生成する中間フレーム生成部を有し、前記最適シャッタ速度算出部の算出した最適シャッタ速度に対応する画像を、前記中間フレームを適用して分割領域単位で生成する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記画像処理装置は、さらに、
前記分割領域単位で空間コントラストの大きさを検出する空間特徴量検出部を有し、
前記画像生成処理部は、
空間コントラストが予め定めた閾値未満の分割領域については、前記移動速度に対応して算出される最適シャッタ速度より高いシャッタ速度を最適シャッタ速度として設定する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項１３】
前記画像処理装置は、さらに、
前記分割領域単位で空間コントラストの大きさを検出する空間特徴量検出部を有し、
前記画像生成処理部は、
空間コントラストが予め定めた閾値未満の分割領域については、前記移動速度に対応して算出される最適シャッタ速度を算出することなく、入力画像の持つフレームレートに対応するシャッタ速度を最適シャッタ速度として設定する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項１４】
前記出力画像の画像劣化は、ジャーキネスおよびブラーによる画像劣化であり、
前記画像生成処理部は、
ジャーキネスおよびブラーによる画像劣化が低減される最適シャッタ速度を前記分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を前記分割領域単位で生成する処理を実行する構成であることを特徴とする請求項１から請求項１３いずれかに記載の画像処理装置。
【請求項１５】
画像処理装置において、動画像に対する画像処理を実行する画像処理方法であり、
移動速度演算部において、動画像を構成するフレーム画像を区分した分割領域単位で出力画像のフレームレートに応じた被写体の移動速度を算出する移動速度演算ステップと、
画像生成処理部において、前記分割領域単位の移動速度情報を入力し、移動速度に対応する最適な撮像シャッタ速度として、出力画像の画像劣化が低減される最適シャッタ速度を前記分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を前記分割領域単位で生成し、生成した分割領域画像を結合したフレーム画像を出力する画像生成処理ステップと、
を有することを特徴とする画像処理方法。
【請求項１６】
前記移動速度演算ステップは、
入力画像のフレームから選択された探索用フレームと参照用フレームを適用したブロックマッチング処理により分割領域単位で移動速度を算出する処理を実行することを特徴とする請求項１５に記載の画像処理方法。
【請求項１７】
前記移動速度演算ステップは、
入力画像のフレームから選択された探索用フレームと参照用フレームを適用したブロックマッチング処理により分割領域単位で動きベクトルを求めるブロックマッチング処理ステップ、
前記ブロックマッチング処理ステップにおいて算出した動きベクトル情報に基づいて、出力画像のフレームレートに応じた被写体の移動速度を算出する動きベクトル規格化ステップとを有することを特徴とする請求項１５に記載の画像処理方法。
【請求項１８】
前記移動速度演算ステップは、
前記探索用フレームを、出力画像のフレームレートに応じたフレーム間隔で入力画像のフレームから選択する処理を実行することを特徴とする請求項１６または１７に記載の画像処理方法。
【請求項１９】
前記画像生成処理ステップは、
移動速度と、出力画像の画像劣化が低減される撮像シャッタ速度とを対応付けたテーブルを参照して移動速度に対応する最適シャッタ速度を前記分割領域単位で取得するステップを含むことを特徴とする請求項１５に記載の画像処理方法。
【請求項２０】
前記テーブルは、
移動速度区間情報と、最適シャッタ速度情報とを対応付けたテーブルであることを特徴とする請求項１９に記載の画像処理方法。
【請求項２１】
前記画像生成処理ステップは、
移動速度と、出力画像の画像劣化が低減される最適シャッタ速度との対応関係の異なる複数の異なるテーブルからのユーザ選択情報に基づいて適用テーブルを決定する処理を実行するステップを含むことを特徴とする請求項１９に記載の画像処理方法。
【請求項２２】
前記画像生成処理ステップは、
前記分割領域単位で、移動速度に対応する最適シャッタ速度を算出する最適シャッタ速度算出ステップと、
前記最適シャッタ速度算出ステップにおいて算出した最適シャッタ速度に対応する画像を前記分割領域単位で生成するフィルタリング処理ステップとを有することを特徴とする請求項１５に記載の画像処理方法。
【請求項２３】
前記フィルタリング処理ステップは、
入力画像のフレームから選択されたフレームに基づいて、前記最適シャッタ速度算出ステップにおいて算出した撮像シャッタ速度に対応する画像を前記分割領域単位で生成する処理を実行することを特徴とする請求項２２に記載の画像処理方法。
【請求項２４】
前記フィルタリング処理ステップは、
前記最適シャッタ速度算出ステップにおいて算出した最適シャッタ速度に応じた重み係数を設定して、入力画像の複数フレームの画素値の加重平均を実行して、出力画像フレームの画素値を決定する処理を実行することを特徴とする請求項２２に記載の画像処理方法。
【請求項２５】
前記画像生成処理ステップは、
入力画像のフレームに含まれない中間フレームを生成し、前記最適シャッタ速度算出ステップにおいて算出した最適シャッタ速度に対応する画像を、前記中間フレームを適用して分割領域単位で生成する処理を実行することを特徴とする請求項１５に記載の画像処理方法。
【請求項２６】
前記画像処理方法は、さらに、
空間特徴量検出部において、前記分割領域単位で空間コントラストの大きさを検出する空間特徴量検出ステップを有し、
前記画像生成処理ステップは、
空間コントラストが予め定めた閾値未満の分割領域については、前記移動速度に対応して算出される最適シャッタ速度より高いシャッタ速度を最適シャッタ速度として設定する処理を実行することを特徴とする請求項１５に記載の画像処理方法。
【請求項２７】
前記画像処理方法は、さらに、
空間特徴量検出部において、前記分割領域単位で空間コントラストの大きさを検出する空間特徴量検出ステップを有し、
前記画像生成処理ステップは、
空間コントラストが予め定めた閾値未満の分割領域については、前記移動速度に対応して算出される最適シャッタ速度を算出することなく、入力画像の持つフレームレートに対応するシャッタ速度を最適シャッタ速度として設定する処理を実行することを特徴とする請求項１５に記載の画像処理方法。
【請求項２８】
前記出力画像の画像劣化は、ジャーキネスおよびブラーによる画像劣化であり、
前記画像生成処理ステップは、
ジャーキネスおよびブラーによる画像劣化が低減される最適シャッタ速度を前記分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を前記分割領域単位で生成する処理を実行することを特徴とする請求項１５から請求項２７いずれかに記載の画像処理方法。
【請求項２９】
画像処理装置において、動画像に対する画像処理を実行させるコンピュータ・プログラムであり、
移動速度演算部において、動画像を構成するフレーム画像を区分した分割領域単位で出力画像のフレームレートに応じた被写体の移動速度を算出させる移動速度演算ステップと、
画像生成処理部において、前記分割領域単位の移動速度情報を入力し、移動速度に対応する最適な撮像シャッタ速度として、出力画像の画像劣化が低減される最適シャッタ速度を前記分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を前記分割領域単位で生成し、生成した分割領域画像を結合したフレーム画像を出力させる画像生成処理ステップと、
を実行させることを特徴とするコンピュータ・プログラム。
【請求項１】
動画像に対する画像処理を実行する画像処理装置であり、
動画像を構成するフレーム画像を区分した分割領域単位で出力画像のフレームレートに応じた被写体の移動速度を算出する移動速度演算部と、
前記分割領域単位の移動速度情報を入力し、移動速度に対応する最適な撮像シャッタ速度として、出力画像の画像劣化が低減される最適シャッタ速度を前記分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を前記分割領域単位で生成し、生成した分割領域画像を結合したフレーム画像を出力する画像生成処理部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記移動速度演算部は、
入力画像のフレームから選択された探索用フレームと参照用フレームを適用したブロックマッチング処理により分割領域単位で移動速度を算出する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記移動速度演算部は、
入力画像のフレームから選択された探索用フレームと参照用フレームを適用したブロックマッチング処理により分割領域単位で動きベクトルを求めるブロックマッチング部と、
前記ブロックマッチング部において算出した動きベクトル情報に基づいて、出力画像のフレームレートに応じた被写体の移動速度を算出する動きベクトル規格化部とを有する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記移動速度演算部は、
前記探索用フレームを、出力画像のフレームレートに応じたフレーム間隔で入力画像のフレームから選択する処理を実行する構成であることを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記画像生成処理部は、
移動速度と、出力画像の画像劣化が低減される撮像シャッタ速度とを対応付けたテーブルを保持し、該テーブルを参照して移動速度に対応する最適シャッタ速度を前記分割領域単位で取得する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記テーブルは、
移動速度区間情報と、最適シャッタ速度情報とを対応付けたテーブルであることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記画像生成処理部は、
移動速度と、出力画像の画像劣化が低減される最適シャッタ速度との対応関係の異なる複数の異なるテーブルを有し、ユーザ選択情報に基づいて、適用するテーブルを決定する構成であることを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記画像生成処理部は、
前記分割領域単位で、移動速度に対応する最適シャッタ速度を算出する最適シャッタ速度算出部と、
前記最適シャッタ速度算出部の算出した最適シャッタ速度に対応する画像を前記分割領域単位で生成するフィルタリング処理部とを有する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記フィルタリング処理部は、
入力画像のフレームから選択されたフレームに基づいて、前記最適シャッタ速度算出部の算出した撮像シャッタ速度に対応する画像を前記分割領域単位で生成する処理を実行する構成であることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記フィルタリング処理部は、
前記最適シャッタ速度算出部の算出した最適シャッタ速度に応じた重み係数を設定して、入力画像の複数フレームの画素値の加重平均を実行して、出力画像フレームの画素値を決定する処理を実行する構成であることを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
前記画像生成処理部は、
入力画像のフレームに含まれない中間フレームを生成する中間フレーム生成部を有し、前記最適シャッタ速度算出部の算出した最適シャッタ速度に対応する画像を、前記中間フレームを適用して分割領域単位で生成する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記画像処理装置は、さらに、
前記分割領域単位で空間コントラストの大きさを検出する空間特徴量検出部を有し、
前記画像生成処理部は、
空間コントラストが予め定めた閾値未満の分割領域については、前記移動速度に対応して算出される最適シャッタ速度より高いシャッタ速度を最適シャッタ速度として設定する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項１３】
前記画像処理装置は、さらに、
前記分割領域単位で空間コントラストの大きさを検出する空間特徴量検出部を有し、
前記画像生成処理部は、
空間コントラストが予め定めた閾値未満の分割領域については、前記移動速度に対応して算出される最適シャッタ速度を算出することなく、入力画像の持つフレームレートに対応するシャッタ速度を最適シャッタ速度として設定する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項１４】
前記出力画像の画像劣化は、ジャーキネスおよびブラーによる画像劣化であり、
前記画像生成処理部は、
ジャーキネスおよびブラーによる画像劣化が低減される最適シャッタ速度を前記分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を前記分割領域単位で生成する処理を実行する構成であることを特徴とする請求項１から請求項１３いずれかに記載の画像処理装置。
【請求項１５】
画像処理装置において、動画像に対する画像処理を実行する画像処理方法であり、
移動速度演算部において、動画像を構成するフレーム画像を区分した分割領域単位で出力画像のフレームレートに応じた被写体の移動速度を算出する移動速度演算ステップと、
画像生成処理部において、前記分割領域単位の移動速度情報を入力し、移動速度に対応する最適な撮像シャッタ速度として、出力画像の画像劣化が低減される最適シャッタ速度を前記分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を前記分割領域単位で生成し、生成した分割領域画像を結合したフレーム画像を出力する画像生成処理ステップと、
を有することを特徴とする画像処理方法。
【請求項１６】
前記移動速度演算ステップは、
入力画像のフレームから選択された探索用フレームと参照用フレームを適用したブロックマッチング処理により分割領域単位で移動速度を算出する処理を実行することを特徴とする請求項１５に記載の画像処理方法。
【請求項１７】
前記移動速度演算ステップは、
入力画像のフレームから選択された探索用フレームと参照用フレームを適用したブロックマッチング処理により分割領域単位で動きベクトルを求めるブロックマッチング処理ステップ、
前記ブロックマッチング処理ステップにおいて算出した動きベクトル情報に基づいて、出力画像のフレームレートに応じた被写体の移動速度を算出する動きベクトル規格化ステップとを有することを特徴とする請求項１５に記載の画像処理方法。
【請求項１８】
前記移動速度演算ステップは、
前記探索用フレームを、出力画像のフレームレートに応じたフレーム間隔で入力画像のフレームから選択する処理を実行することを特徴とする請求項１６または１７に記載の画像処理方法。
【請求項１９】
前記画像生成処理ステップは、
移動速度と、出力画像の画像劣化が低減される撮像シャッタ速度とを対応付けたテーブルを参照して移動速度に対応する最適シャッタ速度を前記分割領域単位で取得するステップを含むことを特徴とする請求項１５に記載の画像処理方法。
【請求項２０】
前記テーブルは、
移動速度区間情報と、最適シャッタ速度情報とを対応付けたテーブルであることを特徴とする請求項１９に記載の画像処理方法。
【請求項２１】
前記画像生成処理ステップは、
移動速度と、出力画像の画像劣化が低減される最適シャッタ速度との対応関係の異なる複数の異なるテーブルからのユーザ選択情報に基づいて適用テーブルを決定する処理を実行するステップを含むことを特徴とする請求項１９に記載の画像処理方法。
【請求項２２】
前記画像生成処理ステップは、
前記分割領域単位で、移動速度に対応する最適シャッタ速度を算出する最適シャッタ速度算出ステップと、
前記最適シャッタ速度算出ステップにおいて算出した最適シャッタ速度に対応する画像を前記分割領域単位で生成するフィルタリング処理ステップとを有することを特徴とする請求項１５に記載の画像処理方法。
【請求項２３】
前記フィルタリング処理ステップは、
入力画像のフレームから選択されたフレームに基づいて、前記最適シャッタ速度算出ステップにおいて算出した撮像シャッタ速度に対応する画像を前記分割領域単位で生成する処理を実行することを特徴とする請求項２２に記載の画像処理方法。
【請求項２４】
前記フィルタリング処理ステップは、
前記最適シャッタ速度算出ステップにおいて算出した最適シャッタ速度に応じた重み係数を設定して、入力画像の複数フレームの画素値の加重平均を実行して、出力画像フレームの画素値を決定する処理を実行することを特徴とする請求項２２に記載の画像処理方法。
【請求項２５】
前記画像生成処理ステップは、
入力画像のフレームに含まれない中間フレームを生成し、前記最適シャッタ速度算出ステップにおいて算出した最適シャッタ速度に対応する画像を、前記中間フレームを適用して分割領域単位で生成する処理を実行することを特徴とする請求項１５に記載の画像処理方法。
【請求項２６】
前記画像処理方法は、さらに、
空間特徴量検出部において、前記分割領域単位で空間コントラストの大きさを検出する空間特徴量検出ステップを有し、
前記画像生成処理ステップは、
空間コントラストが予め定めた閾値未満の分割領域については、前記移動速度に対応して算出される最適シャッタ速度より高いシャッタ速度を最適シャッタ速度として設定する処理を実行することを特徴とする請求項１５に記載の画像処理方法。
【請求項２７】
前記画像処理方法は、さらに、
空間特徴量検出部において、前記分割領域単位で空間コントラストの大きさを検出する空間特徴量検出ステップを有し、
前記画像生成処理ステップは、
空間コントラストが予め定めた閾値未満の分割領域については、前記移動速度に対応して算出される最適シャッタ速度を算出することなく、入力画像の持つフレームレートに対応するシャッタ速度を最適シャッタ速度として設定する処理を実行することを特徴とする請求項１５に記載の画像処理方法。
【請求項２８】
前記出力画像の画像劣化は、ジャーキネスおよびブラーによる画像劣化であり、
前記画像生成処理ステップは、
ジャーキネスおよびブラーによる画像劣化が低減される最適シャッタ速度を前記分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を前記分割領域単位で生成する処理を実行することを特徴とする請求項１５から請求項２７いずれかに記載の画像処理方法。
【請求項２９】
画像処理装置において、動画像に対する画像処理を実行させるコンピュータ・プログラムであり、
移動速度演算部において、動画像を構成するフレーム画像を区分した分割領域単位で出力画像のフレームレートに応じた被写体の移動速度を算出させる移動速度演算ステップと、
画像生成処理部において、前記分割領域単位の移動速度情報を入力し、移動速度に対応する最適な撮像シャッタ速度として、出力画像の画像劣化が低減される最適シャッタ速度を前記分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を前記分割領域単位で生成し、生成した分割領域画像を結合したフレーム画像を出力させる画像生成処理ステップと、
を実行させることを特徴とするコンピュータ・プログラム。
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１３】
【図１４】
【図１５】
【図１６】
【図１８】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図１】
【図２】
【図３】
【図９】
【図１２】
【図１７】
【図１９】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１３】
【図１４】
【図１５】
【図１６】
【図１８】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図１】
【図２】
【図３】
【図９】
【図１２】
【図１７】
【図１９】
【公開番号】特開２００７−２７４２９９（Ｐ２００７−２７４２９９Ａ）
【公開日】平成１９年１０月１８日（２００７．１０．１８）
【国際特許分類】
【出願番号】特願２００６−９６７９２（Ｐ２００６−９６７９２）
【出願日】平成１８年３月３１日（２００６．３．３１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１９年１０月１８日（２００７．１０．１８）
【国際特許分類】
【出願日】平成１８年３月３１日（２００６．３．３１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]