画像処理装置および方法、プログラム、並びに記録媒体
【課題】リンギングやゴースト等のアーティファクトを抑制しつつ、より小さい回路規模で、かつ、より少ない計算量で、ぶれまたはぼけを補正する。
【解決手段】時間的に連続する画像のぶれまたはぼけを補正する画像処理装置において、零点成分抽出部は、注目する注目フレームに位置合わせされた、注目フレームより時間的に前のフレームであって、ぶれまたはぼけが補正された補正済みフレームから、所定のフィルタを用いて注目フレームに含まれない周波数成分を抽出し、合成部は、零点成分抽出部により抽出された周波数成分と注目フレームとを合成する。本技術は、デジタルカメラ等の撮像装置に適用することができる。
【解決手段】時間的に連続する画像のぶれまたはぼけを補正する画像処理装置において、零点成分抽出部は、注目する注目フレームに位置合わせされた、注目フレームより時間的に前のフレームであって、ぶれまたはぼけが補正された補正済みフレームから、所定のフィルタを用いて注目フレームに含まれない周波数成分を抽出し、合成部は、零点成分抽出部により抽出された周波数成分と注目フレームとを合成する。本技術は、デジタルカメラ等の撮像装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、リンギングやゴースト等のアーティファクトを抑制しつつ、ぶれまたはぼけを補正することができるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
露出中にカメラや被写体が動いたことによって、撮影された画像に生じるぶれやぼけがは、光軸や被写体の軌跡から定まる２次元のインパルス応答（PSF：Point Spread Function）を、元の画像に畳み込むこと（コンボリューション）によってモデル化される。近年、それを戻す、すなわち、ぶれやぼけを補正する手段としてのデコンボリューションの技術が研究されている。
【０００３】
古典的なデコンボリューションの方法の１つであるWiener Filterを用いる手法によれば、ある程度のぶれやぼけの補正は可能であるが、仮にPSFが正確に分かったとしても、ぶれやぼけが生じる前の画像を完全に復元することは不可能であり、リンギングやゴーストと呼ばれるアーティファクトを伴う。これらリンギングやゴーストは、畳み込まれたPSFに対応する周波数応答の中に、周期的にまたは高域の多くに見られる零点（遮断される周波数成分）により情報が欠落することで生じる。このことは、デコンボリューションの方法が線形である限り、他の方法であっても同様である。
【０００４】
そこで、複数のぶれ画像から１枚のぶれ補正画像を得るとともに、複数のぶれ画像毎の零点が重ならないようにすることで、全体として零点を生じさせないようにする手法が提案されている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Agrawal et al., "Invertible motion blur in video", SIGGRAPH, ACM Transactions on Graphics, Aug 2009
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した手法では、１枚のぶれ補正画像を得るのに必要なぶれ画像の枚数分のフレームメモリを必要とするので、ハードウェアにより実現しようとした場合、回路規模が大きくなってしまう。
【０００７】
また、複数枚対１枚のアルゴリズムであるため、リアルタイムの動画像に対して処理を行う場合、計算量が多くなってしまう。
【０００８】
本技術は、このような状況に鑑みてなされたものであり、リンギングやゴースト等のアーティファクトを抑制しつつ、より小さい回路規模で、かつ、より少ない計算量で、ぶれまたはぼけを補正することができるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の一側面の画像処理装置は、時間的に連続する画像のぶれまたはぼけを補正する画像処理装置であって、注目する注目画像に位置合わせされた、前記注目画像より時間的に前の画像であって、ぶれまたはぼけが補正された補正済み画像から、所定のフィルタを用いて前記注目画像に含まれない周波数成分を抽出する抽出部と、前記抽出部により抽出された前記周波数成分と前記注目画像とを合成する合成部とを備える。
【００１０】
前記画像処理装置には、ぶれまたはぼけの周波数特性に対して略逆特性を有し、前記フィルタに相補的な相補フィルタを用いて、前記注目画像のぶれまたはぼけを補正する補正部をさらに設け、前記合成部には、前記補正部によりぶれまたはぼけが補正された前記注目画像と前記周波数成分とを合成させることができる。
【００１１】
前記画像処理装置には、前記合成部により前記周波数成分が合成された前記注目画像と前記補正済み画像とを、所定の加算重みに応じて加算する加算する加算部をさらに設けることができる。
【００１２】
前記補正済み画像の解像度は、前記注目画像の解像度である第１の解像度より高い第２の解像度とすることができ、前記フィルタおよび前記相補フィルタには、前記注目画像の解像度を前記第１の解像度から前記第２の解像度にさせることができる。
【００１３】
前記画像処理装置には、前記第２の解像度の前記注目画像と前記補正済み画像とを、所定の加算重みに応じて加算する加算する加算部をさらに設けることができる。
【００１４】
前記画像処理装置には、前記注目画像と前記補正済み画像との位置合わせにおけるずれを検出する検出部と、前記検出部により検出されたずれに応じて、前記合成部により前記周波数成分が合成された前記注目画像と、いずれの処理もされていない前記注目画像との合成の比率を調整して得られる画像を出力する出力部とをさらに設けることができる。
【００１５】
前記画像処理装置には、前記注目画像と前記補正済み画像との間の位置のずれに基づいて、前記注目画像のぶれまたはぼけの向きおよび長さを推定する推定部をさらに設け、前記補正部には、前記推定部により推定された前記注目画像のぶれまたはぼけの向きおよび長さに応じた前記相補フィルタを用いて、前記注目画像のぶれまたはぼけを補正させることができる。
【００１６】
前記補正部には、前記補正済み画像、前記注目画像、および前記注目画像より時間的に後の後画像に基づいて、前記注目画像における動体としての被写体以外の背景部分を除去して、前記注目画像における前記被写体のぶれまたはぼけを補正させることができる。
【００１７】
前記注目画像に含まれない周波数成分は、前記注目画像のぶれまたはぼけをモデル化した周波数特性の零点近傍の周波数成分とすることができる。
【００１８】
本技術の一側面の画像処理方法は、時間的に連続する画像のぶれまたはぼけを補正する画像処理装置において、注目する注目画像に位置合わせされた、前記注目画像より時間的に前の画像であって、ぶれまたはぼけが補正された補正済み画像から、所定のフィルタを用いて前記注目画像に含まれない周波数成分を抽出する抽出部と、前記抽出部により抽出された前記周波数成分と前記注目画像とを合成する合成部とを備える画像処理装置の画像処理方法であって、前記画像処理装置が、注目する注目画像に位置合わせされた、前記注目画像より時間的に前の画像であって、ぶれまたはぼけが補正された補正済み画像から、所定のフィルタを用いて前記注目画像に含まれない周波数成分を抽出し、抽出された前記周波数成分と前記注目画像とを合成するステップを含む。
【００１９】
本技術の一側面のプログラムおよび一側面の記録媒体に記録されるプログラムは、時間的に連続する画像のぶれまたはぼけを補正する処理をコンピュータに実行させるプログラムであって、注目する注目画像に位置合わせされた、前記注目画像より時間的に前の画像であって、ぶれまたはぼけが補正された補正済み画像から、所定のフィルタを用いて前記注目画像に含まれない周波数成分を抽出する抽出ステップと、前記抽出ステップの処理により抽出された前記周波数成分と前記注目画像とを合成する合成ステップとを含む処理をコンピュータに実行させる。
【００２０】
本技術の一側面においては、注目する注目画像に位置合わせされた、注目画像より時間的に前の画像であって、ぶれまたはぼけが補正された補正済み画像から、所定のフィルタを用いて注目画像に含まれない周波数成分が抽出され、抽出された周波数成分と注目画像とが合成される。
【発明の効果】
【００２１】
本技術の一側面によれば、リンギングやゴースト等のアーティファクトを抑制しつつ、より小さい回路規模で、かつ、より少ない計算量で、ぶれまたはぼけを補正することが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本技術を適用した画像処理装置の一実施の形態の機能構成例を示すブロック図である。
【図２】パラメータρに応じたWiener FilterおよびNull Filling Filterの周波数応答を示す図である。
【図３】ぶれ補正処理について説明するフローチャートである。
【図４】図１の画像処理装置の変形例を示すブロック図である。
【図５】図４の画像処理装置のぶれ補正処理について説明するフローチャートである。
【図６】図１の画像処理装置の他の変形例の原理を説明するブロック図である。
【図７】図１の画像処理装置の他の変形例を示すブロック図である。
【図８】ノイズ低減処理を行う従来の画像処理装置の機能構成例を示すブロック図である。
【図９】本技術を適用した画像処理装置の他の機能構成例を示すブロック図である。
【図１０】ノイズ低減に関わる処理部の置き換えについて説明する図である。
【図１１】ノイズ低減に関わる処理部に、本技術の機能を追加した構成について説明する図である。
【図１２】図９の画像処理装置のぶれ補正処理について説明するフローチャートである。
【図１３】超解像処理を行う従来の画像処理装置の機能構成例を示すブロック図である。
【図１４】本技術を適用した画像処理装置のさらに他の機能構成例を示すブロック図である。
【図１５】本技術を適用した画像処理装置のさらに他の機能構成例を示すブロック図である。
【図１６】ノイズ低減に関わるブロックに、超解像の機能を追加した構成について説明する図である。
【図１７】被写体の等加速度運動について説明する図である。
【図１８】等加速度運動する被写体のぶれについて説明する図である。
【図１９】本技術を適用した画像処理装置のさらに他の機能構成例を示すブロック図である。
【図２０】図１９のぶれ補正部の機能構成例を示すブロック図である。
【図２１】図１９の画像処理装置のぶれ補正処理について説明するフローチャートである。
【図２２】背景除去／ぶれ補正処理について説明するフローチャートである。
【図２３】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．画像処理装置の構成
２．ぶれ補正処理
３．ノイズ低減機能の追加
４．超解像処理機能の追加
５．PSFの推定方法の例
６．ぶれた被写体だけにぶれ補正を施す画像処理装置の構成
【００２４】
＜１．画像処理装置の構成＞
図１は、本技術を適用した画像処理装置の一実施の形態の構成を示している。
【００２５】
図１の画像処理装置１１は、例えば、図示せぬ撮像装置から供給（入力）されてくる、時間的に連続した画像に対して、ぶれを補正するぶれ補正処理を施して、図示せぬ記憶装置や表示装置等に供給する。画像処理装置１１に入力される画像は、連続して撮像された静止画像であってもよいし、動画像であってもよいが、以下においては、複数のフレームからなる動画像であるものとして説明する。また、画像処理装置１１は、それ自身がデジタルカメラ等の撮像装置に設けられるようにしてもよい。
【００２６】
図１の画像処理装置１１は、動き検出部３１、動き補償部３２、PSF推定部３３、ぶれ補正部３４、零点成分抽出部３５、合成部３６、ずれ検出部３７、ブレンド処理部３８、事前知識処理部３９、およびフレームメモリ４０から構成される。
【００２７】
動き検出部３１は、連続して入力される画像のうちの、現在入力された、注目すべき注目画像（注目フレーム）である現フレームと、フレームメモリ４０に保持されている、現フレームより時間的に１つ前のフレーム（以下、前フレームという）とに対して、ME（Motion Estimation）（動き検出）を行い、前フレームに対する現フレームの位置のずれを表す動きベクトル（MV：Motion Vector）を求める。このとき、動き検出部３１は、PSF推定部３３から供給されるPSFに基づいて、前フレームに対してぼけ処理を施して、動きベクトルを求める。動き検出部３１は、求めた動きベクトルを動き補償部３２およびPSF推定部３３に供給する。
【００２８】
動き補償部３２は、動き検出部３１からの動きベクトルに基づいて、フレームメモリに保持されている前フレームに対して動き補償(MC：Motion Compensation)を行い、現フレームに位置合わせされた、すなわち、動き補償された前フレーム（以下、動き補償前フレームという）を得る。動き補償部３２は、得られた動き補償前フレームを、零点成分抽出部３５およびずれ検出部３７に供給する。
【００２９】
PSF推定部３３は、動き検出部３１からの動きベクトルに基づいて、現フレームに含まれるぶれをモデル化するPSF（Point Spread Function）推定を行うことにより、PSFを求める。具体的には、例えば、PSF推定部３３は、（動きベクトルMV）×（露出時間）÷（フレーム周期）より、ぶれの向きと長さを求めることでPSFを求める。PSF推定部３３は、求めたPSFを、動き検出部３１、ぶれ補正部３４、零点成分抽出部３５、およびずれ検出部３７に供給する。
【００３０】
ぶれ補正部３４は、PSF推定部３３からのPSFに基づいて、Wiener Filterを構成し、そのWiener Filterを現フレームに対して適用することで、ぶれ補正された現フレーム（以下、ぶれ補正現フレームという）を得て、合成部３６に供給する。
【００３１】
零点成分抽出部３５は、PSF推定部３３からのPSFに基づいて、Null Filling Filterを構成し、そのNull Filling Filterを動き補償部３２からの動き補償前フレームに対して適用することで、動き補償前フレームから、現フレームのぶれ（PSF）の周波数特性に含まれない周波数成分である零点成分（零点を含む、零点近傍の周波数成分）を抽出して、合成部３６に供給する。
【００３２】
［Wiener FilterおよびNull Filling Filterの伝達関数］
ここで、Wiener FilterおよびNull Filling Filterの伝達関数について説明する。Wiener Filterの伝達関数RW(ω)およびNull Filling Filterの伝達関数RW(ω)チルダ（RW(ω)の上に~が付される。以下、RW~(ω)と記し、他の表記についても同様とする）は、以下の式（１）で表される。
【００３３】
【数１】
・・・（１）
【００３４】
式（１）において、H(ω)は、PSFで表されるぶれモデル（以下、ぼけモデルともいう）であり、S/N比は一定であるものとする。式（１）に示されるように、Wiener FilterおよびNull Filling Filterの伝達関数RW(ω)，RW~(ω)は、共通のパラメータρを取る。S/N比が高いほど、パラメータρは小さくなり、Wiener Filterは、ぶれに対して理想的な逆特性を有する逆フィルタに近づく。また、S/N比が低いほど、パラメータρは大きくなり、Wiener Filterは理想的な逆フィルタから遠ざかり、ローパスフィルタのような特性を有するようになる。具体的には、パラメータρは、ホワイトノイズを仮定したときのノイズレベルで、Wiener Filterによるぶれ補正の強さを示している。Wiener Filterによるぶれ補正の強さを弱くすると、対応するNull Filling Filterを通過する成分が増えるようになる。すなわち、パラメータρによって、現フレームに対するぶれ補正と動き補償された前フレームの補正結果との間の重みが調整される。
【００３５】
図２は、Wiener FilterおよびNull Filling Filterの周波数応答の例を示している。図２において、上段には、パラメータρを0.3、0.1、0.03、0.01、および0.003としたときのWiener Filterの周波数応答の例が示されており、下段には、パラメータρを0.3、0.1、0.03、0.01、および0.003としたときのNull Filling Filterの周波数応答の例が示されている。図２に示されるように、Wiener Filterの周波数応答において振幅が０となる点（周波数）で、Null Filling Filterの周波数応答における振幅が最大値１となっている。これは、上述したように、Wiener Filterによるぶれ補正の強さを弱くすると、対応するNull Filling Filterを通過する成分が増えることを示しており、Wiener FilterとNull Filling Filterとは、相補的な関係を有している。ここで、相補的な関係とは、ぼけモデル（ぼけ）に対してWiener Filterによってぼけ補正を行った結果の周波数特性と、Null Filling Filterの周波数特性とを足し合わせると１となる、Wiener FilterとNull Filling Filterの関係をいう。
【００３６】
なお、ここでは、Wiener Filterと、Wiener Filterと相補的な関係を有するNull Filling Filterとについて説明したが、画像Ｆ、ぼけモデルＨとしたときに、本技術においては、以下の式（２）に示されるような相補性（相補的な関係）を満たすフィルタＲ，Ｒ~を適用することができる。
【００３７】
【数２】
・・・（２）
【００３８】
図１の説明に戻り、合成部３６は、ぶれ補正部３４からのぶれ補正現フレームと、零点成分抽出部３５からの動き補償前フレームの零点成分とを合成（加算）し、零点成分が合成（補償）された現フレームを、ブレンド処理部３８に供給する。
【００３９】
ずれ検出部３７は、現フレームと動き補償前フレームとを比較し、それぞれの間の位置のずれを検出する。このとき、ずれ検出部３７は、PSF推定部３３からのPSFに基づいて、動き補償前フレームに対してぼけ処理を施して、現フレームと動き補償前フレームとを比較する。ずれ検出部３７は、現フレームと動き補償前フレームとの間のずれに応じて、ずれが大きい領域（例えば画素）ほど１に近い値（以下、α値という）を、ずれが小さい領域ほど０に近いα値を割り当てたαマップを生成し、ブレンド処理部３８に供給する。αマップにおいて、α値は０乃至１の値をとる。
【００４０】
ブレンド処理部３８は、ずれ検出部３７からのαマップに基づいて、領域毎に、合成部３６からの零点成分が補償された現フレームと、いずれの処理もされていない、もともとの現フレームとの合成の比率を調整したフレームを現フレームとして出力するブレンド処理を行う。ブレンド処理部３８は、ブレンド処理の結果得られた現フレームを、事前知識処理部３９に供給する。
【００４１】
事前知識処理部３９は、ブレンド処理部３８からの現フレームに対して、所定の事前知識を用いた処理を施し、図示せぬ記憶装置や表示装置等に出力するとともに、フレームメモリ４０に保持（記憶）させる。
【００４２】
フレームメモリ４０は、事前知識処理部３９からの現フレームを１フレーム遅延させ、ぶれ補正処理が済んだ前フレーム（以下、補正済み前フレーム）として、動き検出部３１および動き補償部３２に供給する。
【００４３】
＜２．ぶれ補正処理＞
次に、図３のフローチャートを参照して、画像処理装置１１によるぶれ補正処理について説明する。
【００４４】
ステップＳ１１において、動き検出部３１は、連続して入力されてくる画像のうちの現フレームと、フレームメモリ４０に保持されている補正済み前フレーム（以下、単に、前フレームともいう）とに基づいて、動きベクトルを検出する。このとき、動き検出部３１は、PSF推定部３３からのPSFに基づいて、前フレームに対してぼけ処理を施して、動きベクトルを検出する。これにより、ぶれを多く含まない前フレームのぶれの程度を、ぶれを含む現フレームに合わせることができ、動きベクトルの検出の精度を高めることができる。動き検出部３１は、検出した動きベクトルを動き補償部３２およびPSF推定部３３に供給する。
【００４５】
ステップＳ１２において、動き補償部３２は、動き検出部３１からの動きベクトルに基づいて、フレームメモリ４０に保持されている前フレームに対して動き補償を行い、動き補償前フレームを得る。動き補償部３２は、得られた動き補償前フレームを、零点成分抽出部３５およびずれ検出部３７に供給する。
【００４６】
ステップＳ１３において、PSF推定部３３は、動き検出部３１からの動きベクトルに基づいて、PSFを求め、動き検出部３１、ぶれ補正部３４、零点成分抽出部３５、およびずれ検出部３７に供給する。
【００４７】
ステップＳ１４において、ぶれ補正部３４は、PSF推定部３３からのPSFに基づいて得られるWiener Filterにより、ぶれ補正された現フレーム（ぶれ補正現フレーム）を得て、合成部３６に供給する。このようにして得られたぶれ補正現フレームは、ぶれの周波数特性およびWiener Filterの周波数特性に見られる零点の影響により、リンギングやゴーストを含んでいる。また、ぶれ補正現フレームにおいては、もともとの現フレームに含まれているノイズが、Wiener Filterの周波数特性により増幅されている。
【００４８】
ステップＳ１５において、零点成分抽出部３５は、PSF推定部３３からのPSFに基づいて得られるNull Filling Filterにより、動き補償前フレームの零点成分を抽出して、合成部３６に供給する。このようにして得られた動き補償前フレームの零点成分は、フレームメモリ４０からの補正済み前フレームにおいてぶれが十分に補正されていれば、ぶれ補正現フレームに残るリンギング成分を打ち消すような信号成分となる。
【００４９】
ステップＳ１６において、合成部３６は、ぶれ補正部３４からのぶれ補正現フレームと、零点成分抽出部３５からの動き補償前フレームの零点成分とを合成し、ブレンド処理部３８に供給する。これにより、ぶれが補正され、かつ、リンギングの原因となる零点が補償された現フレームが得られる。ここでは、ぶれ補正部３４からのぶれ補正現フレームにおいて情報が失われてしまい復元できない零点成分が、１フレームずつ補正されてきた結果としての前フレームに含まれていることを期待してリンギングの解消が図られる。
【００５０】
ステップＳ１７において、ずれ検出部３７は、現フレームと動き補償前フレームとの間の位置のずれを検出することで、αマップを生成し、ブレンド処理部３８に供給する。αマップにおいては、現フレームと動き補償前フレームとの間のずれが大きい領域（画素）ほど１に近いα値が、ずれが小さい領域ほど０に近いα値が割り当てられる。すなわち、αマップにおいては、動き検出（ME）や動き補償（MC）が失敗していると考えられる領域ほど、０に近いα値が割り当てられる。
【００５１】
ステップＳ１８において、ブレンド処理部３８は、ずれ検出部３７からのαマップを用いて、合成部３６からの零点成分が補償された現フレームと、もともとの現フレームとについて、領域毎にブレンド処理を行う。具体的には、ブレンド処理によって得られる領域毎の画像は、以下の式（３）により与えられる。
【００５２】
【数３】
・・・（３）
【００５３】
式（３）において、Curは現フレームを示しており、MCは動き補償前フレームを示している。すなわち、αマップにおいて、MEやMCの結果が信頼できる領域については、α値は１に近い値となり、合成部３６からの零点成分が補償された現フレームが高い比率で出力され、MEやMCが失敗していると考えられる領域については、α値は０に近い値となり、もともとの現フレームが高い比率で出力される。これにより、MEやMCが失敗したまま処理が繰り返されて、破綻した画像が出力されることを防ぐことができるようになる。
【００５４】
ステップＳ１９において、事前知識処理部３９は、ブレンド処理によって得られた現フレームに対して、所定の事前知識を用いた処理を施す。具体的には、事前知識処理部３９は、ノイズの抑制に用いられる技術として、Total Variationの最小化や画素値の勾配のスパース性を利用した、エッジを保持しつつ平滑化を行う処理を行う。これにより、最終的に補正された現フレームが得られる。
【００５５】
ステップＳ２０において、事前知識処理部３９は、最終的に補正された現フレームをフレームメモリ４０に保持させる。フレームメモリ４０に保持された現フレームは、１フレーム遅延され、次のフレームについてのぶれ補正処理において、補正済み前フレームとして、動き検出部３１および動き補償部３２に供給される。すなわち、図３のぶれ補正処理は、１フレーム毎に実行される。
【００５６】
以上の処理によれば、補正済み前フレームから、現フレームに含まれない零点成分が抽出され、その零点成分とぼけ補正された現フレームとが合成されるので、リンギングやゴースト等のアーティファクトを抑制することができる。この補正済み前フレームは、複数枚の補正が反映されているが、１枚ずつ処理されるので、１枚分のフレームメモリがあればよい。また、上述した処理は、連続したフレームに対する逐次処理であるので、リアルタイムの動画像であっても、計算量は少なくて済む。したがって、リンギングやゴースト等のアーティファクトを抑制しつつ、より小さい回路規模で、かつ、より少ない計算量で、ぶれを補正することが可能となる。
【００５７】
また、現フレームと前フレームとの間の位置ずれを検出するようにしたので、MEやMCが失敗したことによる画像の破たんを防ぐことが可能となる。
【００５８】
特に、従来のデコンボリューションの手法によるぶれ補正においては、MEやMCが失敗した場合、移動する被写体の、背景との境界部分にリンギングやゴーストといったアーティファクトが発生するが、現フレームと前フレームとの間の位置ずれを検出することで、上述のリンギングやゴースト等のアーティファクトを抑制することが可能となる。
【００５９】
なお、以上においては、合成部３６からの零点成分が補償された現フレームと、もともとの現フレームとに対してブレンド処理を行うようにしたが、例えば、動き補償前フレームと、もともとの現フレームとに対してブレンド処理を行うようにしてもよい。
【００６０】
［画像処理装置の変形例］
ここで、図４を参照して、動き補償前フレームと、もともとの現フレームとに対してブレンド処理を行うようにした画像処理装置について説明する。
【００６１】
なお、図４の画像処理装置６１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【００６２】
すなわち、図４の画像処理装置６１において、図１の画像処理装置１１と異なるのは、合成部３６と事前知識処理部３９との間に設けられているブレンド処理部３８を、動き補償部３２と零点成分抽出部３５との間に設けた点である。
【００６３】
［ぶれ補正処理の他の例］
次に、図５のフローチャートを参照して、図４の画像処理装置６１のぶれ補正処理について説明する。
【００６４】
なお、図５のフローチャートのステップＳ３１，Ｓ３２，Ｓ３５乃至Ｓ４０の処理は、図３のフローチャートのステップＳ１１乃至Ｓ１６，Ｓ１９，Ｓ２０の処理とそれぞれ同様であるので、その説明は省略する。
【００６５】
ステップＳ３３において、ずれ検出部３７は、現フレームと動き補償前フレームとの間の位置のずれを検出することで、αマップを生成し、ブレンド処理部３８に供給する。
【００６６】
ステップＳ３４において、ブレンド処理部３８は、ずれ検出部３７からのαマップを用いて、動き補償前フレームおよび現フレームに対して、領域毎にブレンド処理を行う。ブレンド処理によって得られた画像（フレーム）は、動き補償前フレームとして、零点成分抽出部３５に供給される。
【００６７】
図５のフローチャートで示されるぶれ補正処理によっても、図３のフローチャートで示されるぶれ補正処理と同様の作用効果を奏することができる。
【００６８】
なお、以上においては、現フレームのぼけ補正にWiener Filterを用いるようにしたが、Wiener Filterに限らず、補正対象となる現フレームのぶれの周波数特性に対して略逆特性となるフィルタを用いることが可能であり、以下に後述する構成においても同様である。
【００６９】
また、図１の画像処理装置１１や図４の画像処理装置６１の構成において、ぶれ補正部３４を設けないようにしてもよい。
【００７０】
この場合、Null Filling Filter、またはこれに準ずるフィルタを、上述の式（２）に従って構成することで、ぶれ補正を行うことができる。
【００７１】
［画像処理装置の他の変形例］
ここで、図６を参照して、ぶれ補正部３４を備えない画像処理装置によるぶれ補正の原理について説明する。
【００７２】
なお、図６の画像処理装置２１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【００７３】
すなわち、図６の画像処理装置２１１において、図１の画像処理装置１１と異なるのは、ぶれ補正部３４、零点成分抽出部３５、および合成部３６に代えて、図６中、破線で示される処理部２２０に含まれるぶれ処理部２３１、演算部２３２、および演算部２３３を設けた点である。
【００７４】
ぶれ処理部２３１は、PSF推定部３３からのPSFに基づいて、動き補償部３２からの動き補償前フレームに対してぶれを加え、演算部２３２に供給する。
【００７５】
演算部２３２は、ぶれ処理部２３１からの、ぶれが加えられた動き補償前フレームを、現フレームから減算し、ぶれが加えられた動き補償前フレームと現フレームとの差分を演算部２３３に供給する。
【００７６】
演算部２３３は、動き補償部３２からの動き補償前フレームと、演算部２３２からの、ぶれが加えられた動き補償前フレームと現フレームとの差分とを加算し、その結果をブレンド処理部３８に供給する。
【００７７】
このような構成において処理が繰り返されることにより、ぶれが加えられた動き補償前フレームと現フレームとの差分が減少する方向に働き、徐々に現フレームのぶれが補正されるようになる。
【００７８】
図７は、図６の画像処理装置２１１の構成と等価であり、かつ、図１の画像処理装置１１に対応させた画像処理装置の構成を示している。
【００７９】
図７の画像処理装置２６１において、図６の画像処理装置２１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付している。
【００８０】
すなわち、図７の画像処理装置２６１において、図６の画像処理装置２１１と異なるのは、図６の処理部２２０に含まれるぶれ処理部２３１、演算部２３２、および演算部２３３に代えて、図７中、破線で示される処理部２７０に含まれるフィルタ２８１、フィルタ２８２、および合成部２８３を設けた点である。
【００８１】
フィルタ２８１は、所定のフィルタを現フレームに対して適用し、合成部２８３に供給する。フィルタ２８２は、PSF推定部３３からのPSFを用いて、フィルタ２８１に相補的なフィルタを動き補償前フレームに適用し、合成部２８３に供給する。合成部２８３は、フィルタ２８１からの現フレームと、フィルタ２８２からの動き補償前フレームとを合成する。
【００８２】
ここで、フィルタ２８１およびフィルタ２８２の伝達関数について説明する。フィルタ２８１の伝達関数R0(ω)およびフィルタ２８２の伝達関数R0~(ω)は、以下の式（４）で表される。
【００８３】
【数４】
・・・（４）
【００８４】
式（４）によれば、フィルタ２８１は、現フレームに対していずれの処理も行わない。また、図７の画像処理装置２６１におけるフィルタ２８１およびフィルタ２８２は、構成上、図１の画像処理装置１１におけるぶれ補正部３４および零点成分抽出部３５に対応している。したがって、図１の画像処理装置１１の構成において、ぶれ補正部３４を設けないようにした場合であっても、零点成分抽出部３５の伝達関数を調整することによって、現フレームのぶれが補正されるようになる。
【００８５】
＜３．ノイズ低減機能の追加＞
以下においては、本技術を適用した画像処理装置に対して、ノイズ低減機能を追加することについて説明する。
【００８６】
［ノイズ低減処理を行う従来の画像処理装置の機能構成例］
図８は、ノイズ低減処理を行う従来の画像処理装置の機能構成例を示すブロック図である。
【００８７】
図８の画像処理装置３１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付している。
【００８８】
すなわち、図８の画像処理装置３１１において、図１の画像処理装置１１と異なるのは、PSF推定部３３が削除され、ぶれ補正部３４、零点成分抽出部３５、合成部３６、およびブレンド処理部３８に代えて、図８中、破線で示される処理部３２０に含まれる演算部３３１、演算部３３２、およびブレンド処理部３３３を設けた点である。
【００８９】
演算部３３１は、現フレームに対してフレーム加算の重み付けを行い、ブレンド処理部３３３に供給する。演算部３３２は、動き補償前フレームに対してフレーム加算の重み付けを行い、ブレンド処理部３３３に供給する。ブレンド処理部３３３は、演算部３３１からの現フレームと、演算部３３２からの動き補償前フレームとを、所定の加算重みに応じて加算するとともに、ずれ検出部３７からのαマップに基づいて、加算の結果および現フレームに対してブレンド処理を行う。ブレンド処理部３３３は、結果として得られる、ノイズ低減されたフレーム（以下、ノイズ低減フレームともいう）を事前知識処理部３９に供給する。
【００９０】
ここで、演算部３３１および演算部３３２の伝達関数をそれぞれRN(ω)，RN~(ω)とすると、それぞれは、以下の式（５）で表される。
【００９１】
【数５】
・・・（５）
【００９２】
ここで、γは、フレーム加算の重み付けの係数を示している。また、ブレンド処理部３３３から出力されるノイズ低減フレームNRは、以下の式（６）で表される。
【００９３】
ＮＲ＝（１−αγ）・Cur＋αγ・MC ・・・（６）
【００９４】
なお、ノイズ低減の具体的な方法は、例えば、特許第４３２１６２６号公報等に詳細に記載されている。
【００９５】
さて、本技術を適用した画像処理装置に対しては、上述したノイズ低減を実現する構成を追加することができる。具体的には、図１の画像処理装置１１に対応する画像処理装置の構成に、ノイズ低減を実現する構成を追加することができる。
【００９６】
［本技術を適用した画像処理装置の他の機能構成例］
図９は、本技術を適用した画像処理装置の他の機能構成例を示している。
【００９７】
図９の画像処理装置３６１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付している。
【００９８】
すなわち、図９の画像処理装置３６１において、図１の画像処理装置１１と異なるのは、ぶれ補正部３４、零点成分抽出部３５、および合成部３６に代えて、図９中、破線で示される処理部３７０に含まれるフィルタ３８１、フィルタ３８２、および合成部３８３を設けた点である。
【００９９】
フィルタ３８１は、PSF推定部３３からのPSFを用いて、所定のフィルタを現フレームに対して適用し、合成部３８３に供給する。フィルタ３８２は、PSF推定部３３からのPSFを用いて、フィルタ３８１に相補的なフィルタを動き補償前フレームに適用し、合成部３８３に供給する。合成部３８３は、フィルタ３８１からの現フレームと、フィルタ３８２からの動き補償前フレームとを合成する。
【０１００】
ここで、図１０および図１１を参照して、フィルタ３８１およびフィルタ３８２の伝達関数RWN(ω)，RWN~(ω)の導出について説明する。
【０１０１】
図１０の左側には、演算部３３１、演算部３３２、およびブレンド処理部３３３からなる、図８の処理部３２０と等価な構成が示されている。
【０１０２】
もともと、ノイズ低減（ノイズリダクション）は、図１０に示される処理部３２０による１段のαブレンディングにより実現可能である。これは、現フレームと前フレームとのフレーム加算と、MCずれのコンシールを同時に行うことによるものであるが、原理的には、現フレームと前フレームとのフレーム加算と、MCずれのコンシールとを独立して行うようにした構成と等価である。
【０１０３】
すなわち、図１０の左側に示される処理部３２０は、図１０の右側に示される、演算部４１１乃至４１３からなる処理部４１０と、演算部４２１乃至４２３からなる処理部４２０とに置き換えることができる。処理部４１０は、現フレームと前フレームとのフレーム加算を行い、処理部４２０は、MCずれのコンシールを行う。
【０１０４】
ここで、図１０の処理部４１０に、上述したぶれ補正の機能を実現する構成を追加した構成を図１１に示す。
【０１０５】
図１１の処理部４５０には、図１０の処理部４１０に、図１の画像処理装置１１のぶれ補正部３４、零点成分抽出部３５、および合成部３６が追加されており、合成部３６からの零点補償された現フレームと動き補償前フレームとのフレーム加算が行われるようになる。
【０１０６】
なお、図１１の処理部４５０は、図９の処理部３７０と等価であり、図１１の処理部４２０は、図９のブレンド処理部３８と等価であるものとする。
【０１０７】
ここで、図１０の処理部４５０から出力されるノイズ低減フレームNR’は、以下の式（７）で示される。
【数６】
・・・（７）
【０１０８】
式（７）に示されるように、ノイズ低減フレームNR’は、現フレームCurに関する項と、前フレームMCに関する項とからなる。上述したように、図１０の処理部４５０は、図９の処理部３７０と等価であるので、図９のフィルタ３８１およびフィルタ３８２の伝達関数RWN(ω)，RWN~(ω)は、以下の式（８）で与えられるようになる。
【数７】
・・・（８）
【０１０９】
このように、本技術を適用した画像処理装置に、ノイズ低減処理を行う構成を追加した場合であっても、図１の画像処理装置１１に対応した構成とすることができる。すなわち、図１の画像処理装置１１において、ぶれ補正部３４および零点成分抽出部３５の伝達関数を調整することによって、ノイズ低減の機能を追加することができる。
【０１１０】
［ぶれ補正処理］
ここで、図１２のフローチャートを参照して、図９の画像処理装置３６１のぶれ補正処理について説明する。
【０１１１】
なお、図１２のフローチャートのステップＳ１１１乃至Ｓ１１３，Ｓ１１７乃至Ｓ１２０の処理は、図３のフローチャートのステップＳ１１乃至Ｓ１３，Ｓ１７乃至Ｓ２０の処理とそれぞれ同様であるので、その説明は省略する。
【０１１２】
すなわち、ステップＳ１１４において、フィルタ３８１は、PSF推定部３３からのPSFに基づいて、現フレームについてのフィルタを得て、そのフィルタを現フレームに適用する。フィルタ３８１は、フィルタ処理された現フレームを合成部３８３に供給する。
【０１１３】
ステップＳ１１５において、フィルタ３８２は、PSF推定部３３からのPSFに基づいて、動き補償前フレームについてのフィルタを得て、そのフィルタを前フレームに適用する。フィルタ３８２は、フィルタ処理された前フレームを合成部３８３に供給する。
【０１１４】
ステップＳ１１６において、合成部３８３は、フィルタ３８１からのフィルタ処理後の現フレームと、フィルタ３８２からのフィルタ処理後の前フレームとを加算する。これにより、ぶれが補正され、かつ、リンギングの原因となる零点が補償され、さらにノイズが低減された現フレームが得られる。
【０１１５】
以上の処理によれば、図３のぶれ補正処理と同様の作用効果を奏することができる上に、ノイズを低減させることが可能となる。一般的に、デコンボリューションは、ノイズを増幅する性質があるが、本技術によれば、その増幅されたノイズを抑制することができるようになる。
【０１１６】
＜４．超解像機能の追加＞
以下においては、本技術を適用した画像処理装置に対して、超解像機能を追加することについて説明する。
【０１１７】
超解像とは、入力画像に含まれる折り返し成分から高域の信号成分を復元しながら、入力画像の画素数よりも画素数の多い、すなわち、入力画像の解像度よりも高い解像度の画像を出力することをいう。
【０１１８】
［超解像処理を行う従来の画像処理装置の機能構成例］
図１３は、超解像処理を行う従来の画像処理装置の機能構成例を示すブロック図である。
【０１１９】
図１３の画像処理装置５１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付している。
【０１２０】
すなわち、図１３の画像処理装置５１１において、図１の画像処理装置１１と異なるのは、PSF推定部３３に代えて超解像用PSF仮定部５３０を設けた点、および、ぶれ補正部３４、零点成分抽出部３５、および合成部３６に代えて、図１３中、破線で示される処理部５２０に含まれるぼけ処理部５３１、ダウンサンプリング部５３２、演算部５３３、アップサンプリング部５３４、ぼけ処理部５３５、係数処理部５３６、および演算部５３７と、拡大処理部５３８とを設けた点である。
【０１２１】
なお、図１３のフレームメモリ４０には、超解像処理により得られた、入力される現フレームの解像度より高い高解像度のフレームが保持されており、超解像処理された前フレーム（以下、超解像前フレームという）として、動き検出部３１および動き補償部３２に供給される。
【０１２２】
超解像用PSF仮定部５３０は、現フレームに基づいて、低解像度で撮影するときのぼけモデルを仮定し、超解像用PSFとして、ぼけ処理部５３１およびぼけ処理部５３５に供給する。具体的には、例えば、超解像用PSF仮定部５３０は、１画素が大きいイメージセンサにおけるアパーチャ効果を仮定することで、ぼけモデルを仮定する。
【０１２３】
ぼけ処理部５３１は、超解像用PSF仮定部５３０からの超解像用PSFに基づいて、動き補償された超解像前フレーム（以下、単に、動き補償前フレームという）に対して、伝達関数Hd(ω)で与えられるぼけモデルを適用することで、ぼけ処理を施し、ダウンサンプリング部５３２に供給する。
【０１２４】
ダウンサンプリング部５３２は、ぼけ処理部５３１からの、ぼけ処理が施された動き補償前フレームをダウンサンプリングし、入力される現フレームと同じ解像度の画像を生成して、演算部５３３に供給する。
【０１２５】
演算部５３３は、現フレームから、ダウンサンプリング部５３２からのダウンサンプリングされた画像を減算することで、現フレームと、ダウンサンプリング部５３２からのダウンサンプリングされた画像との差分（差分画像）を求め、アップサンプリング部５３４に供給する。この差分画像は、超解像処理された前フレームと、入力された現フレームとの誤差であり、この誤差は、後段のアップサンプリング部５３４乃至係数処理部５３６を介して、動き補償された超解像前フレームにフィードバックされる。
【０１２６】
アップサンプリング部５３４は、演算部５３３からの差分画像をアップサンプリングし、超解像前フレームと同じ解像度の画像を生成して、ぼけ処理部５３５に供給する。
【０１２７】
ぼけ処理部５３５は、超解像用PSF仮定部５３０からの超解像用PSFに基づいて、アップサンプリング部５３４からのアップサンプリングされた差分画像に対して、伝達関数Hu(ω)で与えられるぼけモデルを適用することで、ぼけ処理を施し、係数処理部５３６に供給する。
【０１２８】
係数処理部５３６は、ぼけ処理部５３５からの、ぼけ処理された差分画像に対して、帰還の強度を決定する係数λをかけ、演算部５３７に供給する。
【０１２９】
演算部５３７は、動き補償部３２からの動き補償前フレームと、係数処理部５３６からの差分画像とを加算し、得られた超解像画像（超解像処理された現フレーム）を、ブレンド処理部３８に供給する。
【０１３０】
拡大処理部５３８は、入力された現フレームを、超解像前フレームと同じ解像度の画像となるように拡大して、ブレンド処理部３８に供給する。
【０１３１】
すなわち、ブレンド処理部３８においては、例えば、動き補償（MC）に失敗した領域については、拡大処理部５３８により拡大された現フレームが出力されるようになる。
【０１３２】
なお、超解像の具体的な方法は、例えば、特許第４６４６１４６号公報等に詳細に記載されている。
【０１３３】
ここで、図１３の処理部５２０に含まれる構成は、例えば図９の処理部３７０に含まれるような、２つのフィルタと合成部とからなる構成に置き換えることができる。
【０１３４】
このときの、現フレームについてのフィルタおよび前フレームについてのフィルタの伝達関数をそれぞれRS(ω)，RS~(ω)とすると、それぞれは、以下の式（９）で表される。
【０１３５】
【数８】
・・・（９）
【０１３６】
式（９）において、Ｄは、ダウンサンプリング部５３２によるダウンサンプリングを、ＤＴは、ダウンサンプリング部５３２によるアップサンプリングを示している。
【０１３７】
図１３の構成において、超解像の拡大側のぼけモデルHu(ω)には、縮小側のぼけモデルHd(ω)の複素共役（インパルス応答でいう上下左右反転したもの）が用いられる。図１３においては、現フレームと前フレームとの差分画像（誤差）をフィードバックする構成に、２つのぼけモデルHd(ω)，Hu(ω)が存在するため、高域のフィードバックゲインが不足し、超解像画像を得ることができるまでの時間（収束するまでの時間）が長くかかるという問題があった。
【０１３８】
そこで、本技術においては、フィードバック特性Hu(ω)として、ぼけモデルHd(ω)に対して逆特性を有する逆フィルタを用いるようにする。
【０１３９】
上述の式（９）において、Hd(ω)＝H(ω)，Hu(ω)＝RW(ω)とすると、その伝達関数RS(ω)，RS~(ω)は、Ｄ，ＤＴを除いて、式（１）と同様となる。
【０１４０】
すなわち、図１の画像処理装置１１において、ぶれ補正部３４および零点成分抽出部３５の伝達関数を調整することで、超解像処理を行う構成を追加することができる。
【０１４１】
［本技術を適用した画像処理装置のさらに他の機能構成例］
図１４は、超解像処理を行うようにした、本技術の画像処理装置の機能構成例を示している。
【０１４２】
図１４の画像処理装置５６１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付している。
【０１４３】
すなわち、図１４の画像処理装置５６１において、図１の画像処理装置１１と異なるのは、ぶれ補正部３４、零点成分抽出部３５、および合成部３６に代えて、図１１中、破線で示される処理部５７０に含まれるフィルタ５８１、フィルタ５８２、および合成部５８３と、拡大処理部５３８とを設けた点、および、PSF推定部３３に代えて超解像用PSF仮定部５８４を設けた点である。なお、拡大処理部５３８は、図１３の画像処理装置５１１に設けられたものと同一である。また、超解像用PSF仮定部５８４は、図１３の超解像用PSF仮定部５３０と同様の機能を備える。
【０１４４】
フィルタ５８１は、超解像用PSF仮定部５８４からのPSF（超解像用PSF）を用いて、所定のフィルタを現フレームに対して適用し、合成部５８３に供給する。フィルタ５８２は、超解像用PSF仮定部５８４からのPSFを用いて、フィルタ５８１に相補的なフィルタを動き補償前フレームに適用し、合成部５８３に供給する。合成部５８３は、フィルタ５８１からの現フレームと、フィルタ５８２からの動き補償前フレームとを合成する。
【０１４５】
なお、フィルタ５８１およびフィルタ５８２の伝達関数RWS(ω)，RWS~(ω)は、上述の式（９）に示される伝達関数RS(ω)，RS~(ω)において、Hd(ω)＝H(ω)，Hu(ω)＝RW(ω)としたものとなる。
【０１４６】
また、図１４の画像処理装置５６１による超解像処理は、図１２のフローチャートを参照して説明した、図９の画像処理装置３６１によるぶれ補正処理と基本的に同様にして行われるので、その説明は省略する。
【０１４７】
以上の構成によれば、超解像処理を行う画像処理装置において、フィードバック特性Hu(ω)として、ぼけモデルHd(ω)に対して逆特性を有する逆フィルタを用いるようにしたので、高域のフィードバックゲインを大きくすることができ、収束するまでの時間を短くすることができるようになり、ひいては、超解像処理の処理速度を高めることが可能となる。
【０１４８】
なお、上述した超解像処理を行う画像処理装置においても、図８を参照して上述したノイズ低減を実現する構成を追加することができる。具体的には、図１４の画像処理装置５６１に対応する画像処理装置の構成に、ノイズ低減を実現する構成を追加することができる。
【０１４９】
［ノイズ低減処理と超解像処理とを同時に行う画像処理装置の機能構成例］
図１５は、ノイズ低減処理と超解像処理とを同時に行う画像処理装置の機能構成例を示している。
【０１５０】
図１５の画像処理装置６１１において、図１４の画像処理装置５６１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付している。
【０１５１】
すなわち、図１５の画像処理装置６１１において、図１４の画像処理装置５６１と異なるのは、図１４の処理部５７０に含まれるフィルタ５８１、フィルタ５８２、および合成部５８３に代えて、図１５中、破線で示される処理部６２０に含まれるフィルタ６３１、フィルタ６３２、および合成部６３３を設けた点である。
【０１５２】
フィルタ６３１は、超解像用PSF仮定部５８４からのPSFを用いて、所定のフィルタを現フレームに対して適用し、合成部６３３に供給する。フィルタ６３２は、超解像用PSF仮定部５８４からのPSFを用いて、フィルタ６３１に相補的なフィルタを動き補償前フレームに適用し、合成部６３３に供給する。合成部６３３は、フィルタ６３１からの現フレームと、フィルタ６３２からの動き補償前フレームとを合成する。
【０１５３】
ここで、フィルタ６３１およびフィルタ６３２の伝達関数RWNS(ω)，RWNS~(ω)の導出について説明する。
【０１５４】
上述したように、ノイズ低減を行う構成は、図１０で示される処理部４１０と処理部４２０とで表される。
【０１５５】
ここで、図１０の処理部４１０に、超解像の機能を実現する構成を追加した構成を図１６に示す。
【０１５６】
図１６における処理部６５０には、図１０の処理部４１０に、フィルタ６５１、演算部６５２、フィルタ６５３、および演算部６５４が追加されており、超解像処理された現フレームと前フレームとのフレーム加算が行われるようになる。なお、図１６において、フィルタ６５１は、図１３のぼけ処理部５３１およびダウンサンプリング部５３２に対応し、演算部６５２は、図１３の演算部５３３に対応し、フィルタ６５３は、図１３のアップサンプリング部５３４、ぼけ処理部５３５、および係数処理部５３６に対応し、演算部６５４は、図１３の演算部５３７に対応している。
【０１５７】
なお、図１６の処理部６５０は、図１５の処理部６２０と等価であるものとする。
【０１５８】
ここで、図１６の処理部６５０から出力される超解像ノイズ低減フレームSNRは、以下の式（１０）で示される。
【０１５９】
SNR＝（１−γ）・｛λHu(ω)ＤＴ（Cur−ＤHd(ω)・MC）＋MC｝＋γ・MC
＝（１−γ）・λHu(ω)ＤＴ・Cur
＋｛（１−γ）・（１−λHu(ω)ＤＴ・Ｄ・Hd(ω)）＋γ｝MC
・・・（１０）
【０１６０】
式（１０）に示されるように、超解像ノイズ低減フレームSNRは、現フレームCurに関する項と、前フレームMCに関する項とからなる。上述したように、図１６の処理部６５０は、図１５の処理部６２０と等価であるので、図１５のフィルタ６３１およびフィルタ６３２の伝達関数RWNS(ω)，RWNS~(ω)は、以下の式（１１）で与えられるようになる。
【数９】
・・・（１１）
【０１６１】
このように、超解像処理を行う画像処理装置に、ノイズ低減処理を行う構成を追加した場合であっても、図１４の画像処理装置５６１に対応した構成とすることができ、超解像とノイズリダクションとを同時に行うことができる。また、式（１１）に示されるように、フィルタ６３１およびフィルタ６３２の伝達関数RWNS(ω)，RWNS~(ω)は、超解像の結果にノイズリダクションをかけたものと等価な伝達関数となっており、超解像およびノイズリダクションのそれぞれの効果を欠くことなく得ることが可能となる。
【０１６２】
＜５．PSFの推定方法の例＞
さて、本技術で用いられるPSFの推定方法は、上述した動きベクトルに基づくものに限定されない。
【０１６３】
画像からぶれを推定する方法としては、ケプストラム変換を用いる方法や、被写体境界部のぼけを用いる方法等、多数の方法が知られており、これらを、本技術に適用するようにしてもよい。
【０１６４】
また、本技術で用いられるPSFは、直線ぶれをモデル化するものに限定されない。ほとんどのPSFには、その周波数特性に零点が存在し、上述した手法により、Null Filling Filterを構成することができる。例えば、自由軌跡の手ぶれや、ピンぼけをモデル化するPSFを、本技術で用いるようにしてもよい。すなわち、本技術によれば、手ぶれやピンぼけを、リンギングやゴースト等のアーティファクトを抑制しつつ、より小さい回路規模で、かつ、より少ない計算量で補正することができるようになる。
【０１６５】
ピンぼけのPSFを錯乱円でモデル化すると、その周波数特性は、回転対称なベッセル関数で表され、直線ぶれをモデル化した周波数特性と同様に、周期的な零点を有する。この場合、画像のスペクトラムから錯乱円の半径を推定することが可能である。撮像画像を入力するカメラにおいてAF（Auto focus）が機能している場合、錯乱円の大きさはフレーム毎に変化し、零点の位置も変化するので、フレーム間のNull Filling Filterが有効に作用する。
【０１６６】
また、PSFは、画像から推定する以外の方法により推定することもできる。例えば、カメラにジャイロセンサを取り付け、ジャイロセンサによりカメラの回転を測定することで、手ぶれによるPSFを推定することが可能となる。また、カメラ自体が、機械的に光軸の方向を変えることができる自動雲台（パンチルタ）に設置されている場合や、イメージセンサを機械的に動作させる機構を備えている場合、自動雲台やイメージセンサの動作を観測することにより、そのPSFを推定することが可能となる。
【０１６７】
ところで、上述で説明した構成および処理においては、PSFは、（動きベクトルMV）×（露出時間）÷（フレーム周期）により求められるものとしたが、被写体が画面上で等速運動をしている場合にのみ正確に求められる。
【０１６８】
ここで、画面上で、動体としての被写体が、図１７に示されるように、時刻t1乃至t2、時刻t2乃至t3、時刻t3乃至t4のそれぞれのフレーム内では等速直線運動をし、時刻t1乃至t2、時刻t2乃至t3、時刻t3乃至t4それぞれのフレーム毎では等加速度運動をしているとみなせる場合には、注目する注目フレーム、および、その注目フレームに時間的に前後する２フレーム、すなわち、隣接する３フレームに基づいて、注目フレームについてのぶれを求めることができる。
【０１６９】
図１８は、図１７に示される運動を行う被写体の、時刻t1乃至t4のそれぞれの時刻における位置と、各フレームにおける被写体のぶれの様子を説明する図である。
【０１７０】
図１８において、注目フレームを時刻t2乃至t3のFrame23とした場合、Frame23のぶれ（被写体と背景の境界部分であって、被写体と背景とが混在した部分）は、注目フレームの前フレームであるFrame12およびFrame23から得られる動きベクトルmv2と、Frame23および注目フレームの後フレームであるFrame34およびから得られる動きベクトルmv3の相加平均として与えられる。
【０１７１】
これにより、被写体が等加速度運動をしている場合であっても、隣接する３フレームに基づいて２つの動きベクトルを求めることで、PSFを正確に求めることが可能となる。
【０１７２】
ところで、静止した背景の中を動体である被写体が移動する場合、被写体の移動方向側（前方）の被写体と背景の境界部分では、背景はぶれずにだんだん薄くなるとともに、ぶれた被写体がだんだん濃くなっていく。また、被写体の移動方向と反対側（後方）の被写体と背景の境界部分では、背景はぶれずにだんだん濃くなるとともに、ぶれた被写体がだんだん薄くなっていく。このように、ぶれた被写体だけにぶれ補正を施すには、境界部分の背景を除去する必要がある。
【０１７３】
＜６．ぶれた被写体だけにぶれ補正を施す画像処理装置の構成＞
そこで、以下においては、ぶれた被写体だけにぶれ補正を施す画像処理装置の構成について説明する。
【０１７４】
図１９は、境界部分の背景を除去して、ぶれた被写体だけにぶれ補正を施す画像処理装置の構成を示している。
【０１７５】
図１９の画像処理装置７１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付している。
【０１７６】
すなわち、図１９の画像処理装置７１１において、図１の画像処理装置１１と異なるのは、フレームメモリ７３１を新たに設け、ぶれ補正部３４に代えて、ぶれ補正部７３２を設けた点である。
【０１７７】
フレームメモリ７３１は、画像処理装置７１１に入力されてくる現フレームを保持し、１フレーム遅延させて、動き検出部３１、ずれ検出部３７、ブレンド処理部３８、およびぶれ補正部７３２に供給する。
【０１７８】
ぶれ補正部７３２は、現フレーム、フレームメモリ７３１からの前フレーム、および、フレームメモリ４０に保持されている、前フレームより１つ前のフレーム（以下、前々フレームという）に基づいて、前フレームにおける背景部分を除去する。そして、ぶれ補正部７３２は、PSF推定部３３からのPSFに基づいて、Wiener Filterを構成し、そのWiener Filterを背景部分が除去された前フレームの被写体部分に対して適用することで、被写体部分についてぶれ補正された前フレームを得て、合成部３６に供給する。
【０１７９】
なお、図１９の画像処理装置７１１においては、フレームメモリ７３１から出力される前フレームを注目する注目フレームとして処理が行われる。
【０１８０】
［ぶれ補正部の構成］
次に、図２０を参照して、図１９の画像処理装置７１１のぶれ補正部７３２の詳細な構成例について説明する。
【０１８１】
ぶれ補正部７３２は、動き検出部７４１、クラスタリング部７４２、前方背景マスク生成部７４３、畳み込み部７４４、演算部７４５、動き検出部７４６、クラスタリング部７４７、前方背景マスク生成部７４８、畳み込み部７４９、演算部７５０、演算部７５１、ぶれ補正フィルタ７５２、演算部７５３、演算部７５４、および演算部７５５から構成される。
【０１８２】
動き検出部７４１は、前々フレームと前フレームとに対してME（動き検出）を行い、動きベクトルを求め、クラスタリング部７４２に供給する。
【０１８３】
クラスタリング部７４２は、動き検出部７４１からの動きベクトルをクラスタリングし、動きのない背景部分のベクトル（０ベクトル）と動きのある被写体部分のベクトルとに分類して、その分類結果を前方背景マスク生成部７４３に供給する。
【０１８４】
前方背景マスク生成部７４３は、クラスタリング部７４２からの動きベクトルの分類結果に基づいて、前フレームにおいて被写体の前方でぶれている被写体部分を含む背景をマスキングする前方背景マスクを生成し、畳み込み部７４４および演算部７５３に供給する。
【０１８５】
畳み込み部７４４は、前方背景マスク生成部７４３からの前方背景マスクにPSFを畳み込んで、だんだん薄くなる背景部分に重み付けする前方背景重みマップを生成し、演算部７４５に供給する。
【０１８６】
演算部７４５は、畳み込み部７４４からの前方背景重みマップを前々フレームにかけ合わせることで、だんだん薄くなる背景部分のみの画像（前方背景画像）を生成し、演算部７５１に供給する。
【０１８７】
動き検出部７４６は、前フレームと現フレームとに対してME（動き検出）を行い、動きベクトルを求め、クラスタリング部７４７に供給する。
【０１８８】
クラスタリング部７４７は、動き検出部７４６からの動きベクトルをクラスタリングし、動きのない背景部分のベクトル（０ベクトル）と動きのある被写体部分のベクトルとに分類して、その分類結果を後方背景マスク生成部７４８に供給する。
【０１８９】
後方背景マスク生成部７４８は、クラスタリング部７４７からの動きベクトルの分類結果に基づいて、前フレームにおいて被写体の後方でぶれている被写体部分を含む背景をマスキングする後方背景マスクを生成し、畳み込み部７４９および演算部７５４に供給する。
【０１９０】
畳み込み部７４９は、後方背景マスク生成部７４８からの後方背景マスクにPSFを畳み込んで、だんだん濃くなる背景部分に重み付けする後方背景重みマップを生成し、演算部７５０に供給する。
【０１９１】
演算部７５０は、畳み込み部７４９からの後方背景重みマップを現フレームにかけ合わせることで、だんだん濃くなる背景部分のみの画像（後方背景画像）を生成し、演算部７５１に供給する。
【０１９２】
演算部７５１は、演算部７４５からの前方背景画像および演算部７５０からの後方背景画像に基づいて、前フレームから背景画像を減算（除去）することで、ぶれた被写体部分の画像（以下、単に、被写体部分ともいう）を抽出し、ぶれ補正フィルタ７５２に供給する。
【０１９３】
ぶれ補正フィルタ７５２は、PSFに基づいて、Wiener Filterを構成し、そのWiener Filterを被写体部分に対して適用することで、ぶれ補正された被写体部分を得て、演算部７５５に供給する。
【０１９４】
演算部７５３は、前方背景マスク生成部７４３からの前方背景マスクを前々フレームにかけ合わせて、演算部７５５に供給する。
【０１９５】
演算部７５４は、後方背景マスク生成部７４８からの後方背景マスクを現フレームにかけ合わせて、演算部７５５に供給する。
【０１９６】
演算部７５５は、演算部７５３からの前々フレームおよび演算部７５４からの現フレームに基づいて、ぶれのない背景画像を生成し、ぶれ補正フィルタ７５２からのぶれ補正された被写体部分を合成し、図１９の合成部３６に供給する。
【０１９７】
［ぶれ補正処理］
次に、図２１のフローチャートを参照して、図１９の画像処理装置７１１のぶれ補正処理について説明する。
【０１９８】
なお、図２１のフローチャートのステップＳ２１１乃至Ｓ２１３，Ｓ２１５乃至Ｓ２２０の処理は、注目フレームが現フレームではなく前フレームであることを除いて、図３のフローチャートのステップＳ１１乃至Ｓ１３，Ｓ１５乃至Ｓ２０の処理とそれぞれ同様であるので、その説明は省略する。
【０１９９】
すなわち、ステップＳ２１４において、ぶれ補正部７３２は、背景除去／ぶれ補正処理を実行する。
【０２００】
［背景除去／ぶれ補正処理］
ここで、図２２のフローチャートを参照して、ぶれ補正部７３２の背景除去／ぶれ補正処理について説明する。
【０２０１】
ステップＳ２６１において、動き検出部７４１は、前々フレームと前フレームとに基づいて動きベクトルを検出し、クラスタリング部７４２に供給する。
【０２０２】
ステップＳ２６２において、クラスタリング部７４２は、動き検出部７４１からの動きベクトルをクラスタリングし、その分類結果を前方背景マスク生成部７４３に供給する。
【０２０３】
ステップＳ２６３において、前方背景マスク生成部７４３は、クラスタリング部７４２からの動きベクトルの分類結果に基づいて、前方背景マスクを生成し、畳み込み部７４４および演算部７５３に供給する。
【０２０４】
ステップＳ２６４において、畳み込み部７４４は、前方背景マスク生成部７４３からの前方背景マスクにPSFを畳み込むことにより前方背景重みマップを生成し、演算部７４５に供給する。
【０２０５】
ステップＳ２６５において、演算部７４５は、畳み込み部７４４からの前方背景重みマップを前々フレームにかけ合わせることで、前方背景画像を生成し、演算部７５１に供給する。
【０２０６】
ステップＳ２６６において、動き検出部７４６は、前フレームと現フレームとに基づいて、動きベクトルを検出し、クラスタリング部７４７に供給する。
【０２０７】
ステップＳ２６７において、クラスタリング部７４７は、動き検出部７４６からの動きベクトルをクラスタリングし、その分類結果を後方背景マスク生成部７４８に供給する。
【０２０８】
ステップＳ２６８において、後方背景マスク生成部７４８は、クラスタリング部７４７からの動きベクトルの分類結果に基づいて、後方背景マスクを生成し、畳み込み部７４９および演算部７５４に供給する。
【０２０９】
ステップＳ２６９において、畳み込み部７４９は、後方背景マスク生成部７４８からの後方背景マスクにPSFを畳み込むことにより後方背景重みマップを生成し、演算部７５０に供給する。
【０２１０】
ステップＳ２７０において、演算部７５０は、畳み込み部７４９からの後方背景重みマップを現フレームにかけ合わせることで、後方背景画像を生成し、演算部７５１に供給する。
【０２１１】
なお、ステップＳ２６１乃至Ｓ２６５の処理と、ステップＳ２６６乃至Ｓ２７０の処理とは、並列して実行されてもよい。
【０２１２】
ステップＳ２７１において、演算部７５１は、演算部７４５からの前方背景画像および演算部７５０からの後方背景画像に基づいて、前フレームから背景部分を除去することで、ぶれた被写体部分の画像（被写体部分）を抽出し、ぶれ補正フィルタ７５２に供給する。
【０２１３】
ステップＳ２７２において、ぶれ補正フィルタ７５２は、PSFに基づいてWiener Filterを構成し、そのWiener Filterを被写体部分に対して適用することで、被写体部分のぶれを補正し、ぶれ補正された被写体部分を演算部７５５に供給する。
【０２１４】
ステップＳ２７３において、演算部７５３は、前方背景マスク生成部７４３からの前方背景マスクを前々フレームにかけ合わせて、演算部７５５に供給する。
【０２１５】
ステップＳ２７４において、演算部７５４は、後方背景マスク生成部７４８からの後方背景マスクを現フレームにかけ合わせて、演算部７５５に供給する。
【０２１６】
ステップＳ２７５において、演算部７５５は、演算部７５３からの前々フレームおよび演算部７５４からの現フレームに基づいて、ぶれのない背景画像を生成し、その背景画像に、ぶれ補正フィルタ７５２からのぶれ補正された被写体部分を合成する。その後、処理は、図２１のフローチャートのステップＳ２１４に戻る。
【０２１７】
以上の処理によれば、静止した背景の中を動体である被写体が移動する場合であっても、境界部分の背景を除去しながら、ぶれた被写体だけにぶれ補正を施すことが可能になる。この場合、２枚分のフレームメモリがあればよく、比較的小さい回路規模で、ぶれを補正することが可能となる。
【０２１８】
なお、図１９の画像処理装置７１１の構成において、フレームメモリ７３１を設けない場合、現フレームが注目フレームとなり、現フレームと前フレームとに基づいて、背景除去／ぶれ補正処理が実行されるが、注目フレームより時間的に後の後フレームの情報が得られないので、被写体の後方の境界部分のぶれを補正することができない。しかしながら、動画像においては、被写体の後方の境界部分は、１フレーム遅延して背景に置き換えられるので、その影響は限定的となる。すなわち、動画像に対しては、図１９の画像処理装置７１１において、１枚分のフレームメモリ（フレームメモリ４０）のみを備えるようにしてもよい。
【０２１９】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０２２０】
図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２２１】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０２２２】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【０２２３】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０２２４】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２２５】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０２２６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２２７】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２２８】
さらに、本技術は以下のような構成をとることができる。
（１） 時間的に連続する画像のぶれまたはぼけを補正する画像処理装置において、
注目する注目画像に位置合わせされた、前記注目画像より時間的に前の画像であって、ぶれまたはぼけが補正された補正済み画像から、所定のフィルタを用いて前記注目画像に含まれない周波数成分を抽出する抽出部と、
前記抽出部により抽出された前記周波数成分と前記注目画像とを合成する合成部と
を備える画像処理装置。
（２） ぶれまたはぼけの周波数特性に対して略逆特性を有し、前記フィルタに相補的な相補フィルタを用いて、前記注目画像のぶれまたはぼけを補正する補正部をさらに備え、
前記合成部は、前記補正部によりぶれまたはぼけが補正された前記注目画像と前記周波数成分とを合成する
（１）に記載の画像処理装置。
（３） 前記合成部により前記周波数成分が合成された前記注目画像と前記補正済み画像とを、所定の加算重みに応じて加算する加算する加算部をさらに備える
（１）または（２）に記載の画像処理装置。
（４） 前記補正済み画像の解像度は、前記注目画像の解像度である第１の解像度より高い第２の解像度であり、
前記フィルタおよび前記相補フィルタは、前記注目画像の解像度を前記第１の解像度から前記第２の解像度にする
（１）または（２）に記載の画像処理装置。
（５） 前記第２の解像度の前記注目画像と前記補正済み画像とを、所定の加算重みに応じて加算する加算する加算部をさらに備える
（４）に記載の画像処理装置。
（６） 前記注目画像と前記補正済み画像との位置合わせにおけるずれを検出する検出部と、
前記検出部により検出されたずれに応じて、前記合成部により前記周波数成分が合成された前記注目画像と、いずれの処理もされていない前記注目画像との合成の比率を調整して得られる画像を出力する出力部とをさらに備える
（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記注目画像と前記補正済み画像との間の位置のずれに基づいて、前記注目画像のぶれまたはぼけの向きおよび長さを推定する推定部をさらに備え、
前記補正部は、前記推定部により推定された前記注目画像のぶれまたはぼけの向きおよび長さに応じた前記相補フィルタを用いて、前記注目画像のぶれまたはぼけを補正する
（２）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記補正部は、前記補正済み画像、前記注目画像、および前記注目画像より時間的に後の後画像に基づいて、前記注目画像における動体としての被写体以外の背景部分を除去して、前記注目画像における前記被写体のぶれまたはぼけを補正する
（２）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記注目画像に含まれない周波数成分は、前記注目画像のぶれまたはぼけをモデル化した周波数特性の零点近傍の周波数成分である
（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 時間的に連続する画像のぶれまたはぼけを補正する画像処理装置において、
注目する注目画像に位置合わせされた、前記注目画像より時間的に前の画像であって、ぶれまたはぼけが補正された補正済み画像から、所定のフィルタを用いて前記注目画像に含まれない周波数成分を抽出する抽出部と、
前記抽出部により抽出された前記周波数成分と前記注目画像とを合成する合成部と
を備える画像処理装置の画像処理方法であって、
前記画像処理装置が、
注目する注目画像に位置合わせされた、前記注目画像より時間的に前の画像であって、ぶれまたはぼけが補正された補正済み画像から、所定のフィルタを用いて前記注目画像に含まれない周波数成分を抽出し、
抽出された前記周波数成分と前記注目画像とを合成する
ステップを含む画像処理方法。
（１１） 時間的に連続する画像のぶれまたはぼけを補正する処理をコンピュータに実行させるプログラムにおいて、
注目する注目画像に位置合わせされた、前記注目画像より時間的に前の画像であって、ぶれまたはぼけが補正された補正済み画像から、所定のフィルタを用いて前記注目画像に含まれない周波数成分を抽出する抽出ステップと、
前記抽出ステップの処理により抽出された前記周波数成分と前記注目画像とを合成する合成ステップと
を含む処理をコンピュータに実行させるプログラム。
（１２） （１１）に記載のプログラムが記録されている記録媒体。
【符号の説明】
【０２２９】
１１ 画像処理装置， ３１ 動き検出部， ３２ 動き補償部， ３３ PSF推定部， ３４ ぶれ補正部， ３５ 零点成分抽出部， ３６ 合成部， ３７ ずれ検出部， ３８ ブレンド処理部， ３９ 事前知識処理部， ４０ フレームメモリ
【技術分野】
【０００１】
本技術は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、リンギングやゴースト等のアーティファクトを抑制しつつ、ぶれまたはぼけを補正することができるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
露出中にカメラや被写体が動いたことによって、撮影された画像に生じるぶれやぼけがは、光軸や被写体の軌跡から定まる２次元のインパルス応答（PSF：Point Spread Function）を、元の画像に畳み込むこと（コンボリューション）によってモデル化される。近年、それを戻す、すなわち、ぶれやぼけを補正する手段としてのデコンボリューションの技術が研究されている。
【０００３】
古典的なデコンボリューションの方法の１つであるWiener Filterを用いる手法によれば、ある程度のぶれやぼけの補正は可能であるが、仮にPSFが正確に分かったとしても、ぶれやぼけが生じる前の画像を完全に復元することは不可能であり、リンギングやゴーストと呼ばれるアーティファクトを伴う。これらリンギングやゴーストは、畳み込まれたPSFに対応する周波数応答の中に、周期的にまたは高域の多くに見られる零点（遮断される周波数成分）により情報が欠落することで生じる。このことは、デコンボリューションの方法が線形である限り、他の方法であっても同様である。
【０００４】
そこで、複数のぶれ画像から１枚のぶれ補正画像を得るとともに、複数のぶれ画像毎の零点が重ならないようにすることで、全体として零点を生じさせないようにする手法が提案されている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Agrawal et al., "Invertible motion blur in video", SIGGRAPH, ACM Transactions on Graphics, Aug 2009
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した手法では、１枚のぶれ補正画像を得るのに必要なぶれ画像の枚数分のフレームメモリを必要とするので、ハードウェアにより実現しようとした場合、回路規模が大きくなってしまう。
【０００７】
また、複数枚対１枚のアルゴリズムであるため、リアルタイムの動画像に対して処理を行う場合、計算量が多くなってしまう。
【０００８】
本技術は、このような状況に鑑みてなされたものであり、リンギングやゴースト等のアーティファクトを抑制しつつ、より小さい回路規模で、かつ、より少ない計算量で、ぶれまたはぼけを補正することができるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の一側面の画像処理装置は、時間的に連続する画像のぶれまたはぼけを補正する画像処理装置であって、注目する注目画像に位置合わせされた、前記注目画像より時間的に前の画像であって、ぶれまたはぼけが補正された補正済み画像から、所定のフィルタを用いて前記注目画像に含まれない周波数成分を抽出する抽出部と、前記抽出部により抽出された前記周波数成分と前記注目画像とを合成する合成部とを備える。
【００１０】
前記画像処理装置には、ぶれまたはぼけの周波数特性に対して略逆特性を有し、前記フィルタに相補的な相補フィルタを用いて、前記注目画像のぶれまたはぼけを補正する補正部をさらに設け、前記合成部には、前記補正部によりぶれまたはぼけが補正された前記注目画像と前記周波数成分とを合成させることができる。
【００１１】
前記画像処理装置には、前記合成部により前記周波数成分が合成された前記注目画像と前記補正済み画像とを、所定の加算重みに応じて加算する加算する加算部をさらに設けることができる。
【００１２】
前記補正済み画像の解像度は、前記注目画像の解像度である第１の解像度より高い第２の解像度とすることができ、前記フィルタおよび前記相補フィルタには、前記注目画像の解像度を前記第１の解像度から前記第２の解像度にさせることができる。
【００１３】
前記画像処理装置には、前記第２の解像度の前記注目画像と前記補正済み画像とを、所定の加算重みに応じて加算する加算する加算部をさらに設けることができる。
【００１４】
前記画像処理装置には、前記注目画像と前記補正済み画像との位置合わせにおけるずれを検出する検出部と、前記検出部により検出されたずれに応じて、前記合成部により前記周波数成分が合成された前記注目画像と、いずれの処理もされていない前記注目画像との合成の比率を調整して得られる画像を出力する出力部とをさらに設けることができる。
【００１５】
前記画像処理装置には、前記注目画像と前記補正済み画像との間の位置のずれに基づいて、前記注目画像のぶれまたはぼけの向きおよび長さを推定する推定部をさらに設け、前記補正部には、前記推定部により推定された前記注目画像のぶれまたはぼけの向きおよび長さに応じた前記相補フィルタを用いて、前記注目画像のぶれまたはぼけを補正させることができる。
【００１６】
前記補正部には、前記補正済み画像、前記注目画像、および前記注目画像より時間的に後の後画像に基づいて、前記注目画像における動体としての被写体以外の背景部分を除去して、前記注目画像における前記被写体のぶれまたはぼけを補正させることができる。
【００１７】
前記注目画像に含まれない周波数成分は、前記注目画像のぶれまたはぼけをモデル化した周波数特性の零点近傍の周波数成分とすることができる。
【００１８】
本技術の一側面の画像処理方法は、時間的に連続する画像のぶれまたはぼけを補正する画像処理装置において、注目する注目画像に位置合わせされた、前記注目画像より時間的に前の画像であって、ぶれまたはぼけが補正された補正済み画像から、所定のフィルタを用いて前記注目画像に含まれない周波数成分を抽出する抽出部と、前記抽出部により抽出された前記周波数成分と前記注目画像とを合成する合成部とを備える画像処理装置の画像処理方法であって、前記画像処理装置が、注目する注目画像に位置合わせされた、前記注目画像より時間的に前の画像であって、ぶれまたはぼけが補正された補正済み画像から、所定のフィルタを用いて前記注目画像に含まれない周波数成分を抽出し、抽出された前記周波数成分と前記注目画像とを合成するステップを含む。
【００１９】
本技術の一側面のプログラムおよび一側面の記録媒体に記録されるプログラムは、時間的に連続する画像のぶれまたはぼけを補正する処理をコンピュータに実行させるプログラムであって、注目する注目画像に位置合わせされた、前記注目画像より時間的に前の画像であって、ぶれまたはぼけが補正された補正済み画像から、所定のフィルタを用いて前記注目画像に含まれない周波数成分を抽出する抽出ステップと、前記抽出ステップの処理により抽出された前記周波数成分と前記注目画像とを合成する合成ステップとを含む処理をコンピュータに実行させる。
【００２０】
本技術の一側面においては、注目する注目画像に位置合わせされた、注目画像より時間的に前の画像であって、ぶれまたはぼけが補正された補正済み画像から、所定のフィルタを用いて注目画像に含まれない周波数成分が抽出され、抽出された周波数成分と注目画像とが合成される。
【発明の効果】
【００２１】
本技術の一側面によれば、リンギングやゴースト等のアーティファクトを抑制しつつ、より小さい回路規模で、かつ、より少ない計算量で、ぶれまたはぼけを補正することが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本技術を適用した画像処理装置の一実施の形態の機能構成例を示すブロック図である。
【図２】パラメータρに応じたWiener FilterおよびNull Filling Filterの周波数応答を示す図である。
【図３】ぶれ補正処理について説明するフローチャートである。
【図４】図１の画像処理装置の変形例を示すブロック図である。
【図５】図４の画像処理装置のぶれ補正処理について説明するフローチャートである。
【図６】図１の画像処理装置の他の変形例の原理を説明するブロック図である。
【図７】図１の画像処理装置の他の変形例を示すブロック図である。
【図８】ノイズ低減処理を行う従来の画像処理装置の機能構成例を示すブロック図である。
【図９】本技術を適用した画像処理装置の他の機能構成例を示すブロック図である。
【図１０】ノイズ低減に関わる処理部の置き換えについて説明する図である。
【図１１】ノイズ低減に関わる処理部に、本技術の機能を追加した構成について説明する図である。
【図１２】図９の画像処理装置のぶれ補正処理について説明するフローチャートである。
【図１３】超解像処理を行う従来の画像処理装置の機能構成例を示すブロック図である。
【図１４】本技術を適用した画像処理装置のさらに他の機能構成例を示すブロック図である。
【図１５】本技術を適用した画像処理装置のさらに他の機能構成例を示すブロック図である。
【図１６】ノイズ低減に関わるブロックに、超解像の機能を追加した構成について説明する図である。
【図１７】被写体の等加速度運動について説明する図である。
【図１８】等加速度運動する被写体のぶれについて説明する図である。
【図１９】本技術を適用した画像処理装置のさらに他の機能構成例を示すブロック図である。
【図２０】図１９のぶれ補正部の機能構成例を示すブロック図である。
【図２１】図１９の画像処理装置のぶれ補正処理について説明するフローチャートである。
【図２２】背景除去／ぶれ補正処理について説明するフローチャートである。
【図２３】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．画像処理装置の構成
２．ぶれ補正処理
３．ノイズ低減機能の追加
４．超解像処理機能の追加
５．PSFの推定方法の例
６．ぶれた被写体だけにぶれ補正を施す画像処理装置の構成
【００２４】
＜１．画像処理装置の構成＞
図１は、本技術を適用した画像処理装置の一実施の形態の構成を示している。
【００２５】
図１の画像処理装置１１は、例えば、図示せぬ撮像装置から供給（入力）されてくる、時間的に連続した画像に対して、ぶれを補正するぶれ補正処理を施して、図示せぬ記憶装置や表示装置等に供給する。画像処理装置１１に入力される画像は、連続して撮像された静止画像であってもよいし、動画像であってもよいが、以下においては、複数のフレームからなる動画像であるものとして説明する。また、画像処理装置１１は、それ自身がデジタルカメラ等の撮像装置に設けられるようにしてもよい。
【００２６】
図１の画像処理装置１１は、動き検出部３１、動き補償部３２、PSF推定部３３、ぶれ補正部３４、零点成分抽出部３５、合成部３６、ずれ検出部３７、ブレンド処理部３８、事前知識処理部３９、およびフレームメモリ４０から構成される。
【００２７】
動き検出部３１は、連続して入力される画像のうちの、現在入力された、注目すべき注目画像（注目フレーム）である現フレームと、フレームメモリ４０に保持されている、現フレームより時間的に１つ前のフレーム（以下、前フレームという）とに対して、ME（Motion Estimation）（動き検出）を行い、前フレームに対する現フレームの位置のずれを表す動きベクトル（MV：Motion Vector）を求める。このとき、動き検出部３１は、PSF推定部３３から供給されるPSFに基づいて、前フレームに対してぼけ処理を施して、動きベクトルを求める。動き検出部３１は、求めた動きベクトルを動き補償部３２およびPSF推定部３３に供給する。
【００２８】
動き補償部３２は、動き検出部３１からの動きベクトルに基づいて、フレームメモリに保持されている前フレームに対して動き補償(MC：Motion Compensation)を行い、現フレームに位置合わせされた、すなわち、動き補償された前フレーム（以下、動き補償前フレームという）を得る。動き補償部３２は、得られた動き補償前フレームを、零点成分抽出部３５およびずれ検出部３７に供給する。
【００２９】
PSF推定部３３は、動き検出部３１からの動きベクトルに基づいて、現フレームに含まれるぶれをモデル化するPSF（Point Spread Function）推定を行うことにより、PSFを求める。具体的には、例えば、PSF推定部３３は、（動きベクトルMV）×（露出時間）÷（フレーム周期）より、ぶれの向きと長さを求めることでPSFを求める。PSF推定部３３は、求めたPSFを、動き検出部３１、ぶれ補正部３４、零点成分抽出部３５、およびずれ検出部３７に供給する。
【００３０】
ぶれ補正部３４は、PSF推定部３３からのPSFに基づいて、Wiener Filterを構成し、そのWiener Filterを現フレームに対して適用することで、ぶれ補正された現フレーム（以下、ぶれ補正現フレームという）を得て、合成部３６に供給する。
【００３１】
零点成分抽出部３５は、PSF推定部３３からのPSFに基づいて、Null Filling Filterを構成し、そのNull Filling Filterを動き補償部３２からの動き補償前フレームに対して適用することで、動き補償前フレームから、現フレームのぶれ（PSF）の周波数特性に含まれない周波数成分である零点成分（零点を含む、零点近傍の周波数成分）を抽出して、合成部３６に供給する。
【００３２】
［Wiener FilterおよびNull Filling Filterの伝達関数］
ここで、Wiener FilterおよびNull Filling Filterの伝達関数について説明する。Wiener Filterの伝達関数RW(ω)およびNull Filling Filterの伝達関数RW(ω)チルダ（RW(ω)の上に~が付される。以下、RW~(ω)と記し、他の表記についても同様とする）は、以下の式（１）で表される。
【００３３】
【数１】
・・・（１）
【００３４】
式（１）において、H(ω)は、PSFで表されるぶれモデル（以下、ぼけモデルともいう）であり、S/N比は一定であるものとする。式（１）に示されるように、Wiener FilterおよびNull Filling Filterの伝達関数RW(ω)，RW~(ω)は、共通のパラメータρを取る。S/N比が高いほど、パラメータρは小さくなり、Wiener Filterは、ぶれに対して理想的な逆特性を有する逆フィルタに近づく。また、S/N比が低いほど、パラメータρは大きくなり、Wiener Filterは理想的な逆フィルタから遠ざかり、ローパスフィルタのような特性を有するようになる。具体的には、パラメータρは、ホワイトノイズを仮定したときのノイズレベルで、Wiener Filterによるぶれ補正の強さを示している。Wiener Filterによるぶれ補正の強さを弱くすると、対応するNull Filling Filterを通過する成分が増えるようになる。すなわち、パラメータρによって、現フレームに対するぶれ補正と動き補償された前フレームの補正結果との間の重みが調整される。
【００３５】
図２は、Wiener FilterおよびNull Filling Filterの周波数応答の例を示している。図２において、上段には、パラメータρを0.3、0.1、0.03、0.01、および0.003としたときのWiener Filterの周波数応答の例が示されており、下段には、パラメータρを0.3、0.1、0.03、0.01、および0.003としたときのNull Filling Filterの周波数応答の例が示されている。図２に示されるように、Wiener Filterの周波数応答において振幅が０となる点（周波数）で、Null Filling Filterの周波数応答における振幅が最大値１となっている。これは、上述したように、Wiener Filterによるぶれ補正の強さを弱くすると、対応するNull Filling Filterを通過する成分が増えることを示しており、Wiener FilterとNull Filling Filterとは、相補的な関係を有している。ここで、相補的な関係とは、ぼけモデル（ぼけ）に対してWiener Filterによってぼけ補正を行った結果の周波数特性と、Null Filling Filterの周波数特性とを足し合わせると１となる、Wiener FilterとNull Filling Filterの関係をいう。
【００３６】
なお、ここでは、Wiener Filterと、Wiener Filterと相補的な関係を有するNull Filling Filterとについて説明したが、画像Ｆ、ぼけモデルＨとしたときに、本技術においては、以下の式（２）に示されるような相補性（相補的な関係）を満たすフィルタＲ，Ｒ~を適用することができる。
【００３７】
【数２】
・・・（２）
【００３８】
図１の説明に戻り、合成部３６は、ぶれ補正部３４からのぶれ補正現フレームと、零点成分抽出部３５からの動き補償前フレームの零点成分とを合成（加算）し、零点成分が合成（補償）された現フレームを、ブレンド処理部３８に供給する。
【００３９】
ずれ検出部３７は、現フレームと動き補償前フレームとを比較し、それぞれの間の位置のずれを検出する。このとき、ずれ検出部３７は、PSF推定部３３からのPSFに基づいて、動き補償前フレームに対してぼけ処理を施して、現フレームと動き補償前フレームとを比較する。ずれ検出部３７は、現フレームと動き補償前フレームとの間のずれに応じて、ずれが大きい領域（例えば画素）ほど１に近い値（以下、α値という）を、ずれが小さい領域ほど０に近いα値を割り当てたαマップを生成し、ブレンド処理部３８に供給する。αマップにおいて、α値は０乃至１の値をとる。
【００４０】
ブレンド処理部３８は、ずれ検出部３７からのαマップに基づいて、領域毎に、合成部３６からの零点成分が補償された現フレームと、いずれの処理もされていない、もともとの現フレームとの合成の比率を調整したフレームを現フレームとして出力するブレンド処理を行う。ブレンド処理部３８は、ブレンド処理の結果得られた現フレームを、事前知識処理部３９に供給する。
【００４１】
事前知識処理部３９は、ブレンド処理部３８からの現フレームに対して、所定の事前知識を用いた処理を施し、図示せぬ記憶装置や表示装置等に出力するとともに、フレームメモリ４０に保持（記憶）させる。
【００４２】
フレームメモリ４０は、事前知識処理部３９からの現フレームを１フレーム遅延させ、ぶれ補正処理が済んだ前フレーム（以下、補正済み前フレーム）として、動き検出部３１および動き補償部３２に供給する。
【００４３】
＜２．ぶれ補正処理＞
次に、図３のフローチャートを参照して、画像処理装置１１によるぶれ補正処理について説明する。
【００４４】
ステップＳ１１において、動き検出部３１は、連続して入力されてくる画像のうちの現フレームと、フレームメモリ４０に保持されている補正済み前フレーム（以下、単に、前フレームともいう）とに基づいて、動きベクトルを検出する。このとき、動き検出部３１は、PSF推定部３３からのPSFに基づいて、前フレームに対してぼけ処理を施して、動きベクトルを検出する。これにより、ぶれを多く含まない前フレームのぶれの程度を、ぶれを含む現フレームに合わせることができ、動きベクトルの検出の精度を高めることができる。動き検出部３１は、検出した動きベクトルを動き補償部３２およびPSF推定部３３に供給する。
【００４５】
ステップＳ１２において、動き補償部３２は、動き検出部３１からの動きベクトルに基づいて、フレームメモリ４０に保持されている前フレームに対して動き補償を行い、動き補償前フレームを得る。動き補償部３２は、得られた動き補償前フレームを、零点成分抽出部３５およびずれ検出部３７に供給する。
【００４６】
ステップＳ１３において、PSF推定部３３は、動き検出部３１からの動きベクトルに基づいて、PSFを求め、動き検出部３１、ぶれ補正部３４、零点成分抽出部３５、およびずれ検出部３７に供給する。
【００４７】
ステップＳ１４において、ぶれ補正部３４は、PSF推定部３３からのPSFに基づいて得られるWiener Filterにより、ぶれ補正された現フレーム（ぶれ補正現フレーム）を得て、合成部３６に供給する。このようにして得られたぶれ補正現フレームは、ぶれの周波数特性およびWiener Filterの周波数特性に見られる零点の影響により、リンギングやゴーストを含んでいる。また、ぶれ補正現フレームにおいては、もともとの現フレームに含まれているノイズが、Wiener Filterの周波数特性により増幅されている。
【００４８】
ステップＳ１５において、零点成分抽出部３５は、PSF推定部３３からのPSFに基づいて得られるNull Filling Filterにより、動き補償前フレームの零点成分を抽出して、合成部３６に供給する。このようにして得られた動き補償前フレームの零点成分は、フレームメモリ４０からの補正済み前フレームにおいてぶれが十分に補正されていれば、ぶれ補正現フレームに残るリンギング成分を打ち消すような信号成分となる。
【００４９】
ステップＳ１６において、合成部３６は、ぶれ補正部３４からのぶれ補正現フレームと、零点成分抽出部３５からの動き補償前フレームの零点成分とを合成し、ブレンド処理部３８に供給する。これにより、ぶれが補正され、かつ、リンギングの原因となる零点が補償された現フレームが得られる。ここでは、ぶれ補正部３４からのぶれ補正現フレームにおいて情報が失われてしまい復元できない零点成分が、１フレームずつ補正されてきた結果としての前フレームに含まれていることを期待してリンギングの解消が図られる。
【００５０】
ステップＳ１７において、ずれ検出部３７は、現フレームと動き補償前フレームとの間の位置のずれを検出することで、αマップを生成し、ブレンド処理部３８に供給する。αマップにおいては、現フレームと動き補償前フレームとの間のずれが大きい領域（画素）ほど１に近いα値が、ずれが小さい領域ほど０に近いα値が割り当てられる。すなわち、αマップにおいては、動き検出（ME）や動き補償（MC）が失敗していると考えられる領域ほど、０に近いα値が割り当てられる。
【００５１】
ステップＳ１８において、ブレンド処理部３８は、ずれ検出部３７からのαマップを用いて、合成部３６からの零点成分が補償された現フレームと、もともとの現フレームとについて、領域毎にブレンド処理を行う。具体的には、ブレンド処理によって得られる領域毎の画像は、以下の式（３）により与えられる。
【００５２】
【数３】
・・・（３）
【００５３】
式（３）において、Curは現フレームを示しており、MCは動き補償前フレームを示している。すなわち、αマップにおいて、MEやMCの結果が信頼できる領域については、α値は１に近い値となり、合成部３６からの零点成分が補償された現フレームが高い比率で出力され、MEやMCが失敗していると考えられる領域については、α値は０に近い値となり、もともとの現フレームが高い比率で出力される。これにより、MEやMCが失敗したまま処理が繰り返されて、破綻した画像が出力されることを防ぐことができるようになる。
【００５４】
ステップＳ１９において、事前知識処理部３９は、ブレンド処理によって得られた現フレームに対して、所定の事前知識を用いた処理を施す。具体的には、事前知識処理部３９は、ノイズの抑制に用いられる技術として、Total Variationの最小化や画素値の勾配のスパース性を利用した、エッジを保持しつつ平滑化を行う処理を行う。これにより、最終的に補正された現フレームが得られる。
【００５５】
ステップＳ２０において、事前知識処理部３９は、最終的に補正された現フレームをフレームメモリ４０に保持させる。フレームメモリ４０に保持された現フレームは、１フレーム遅延され、次のフレームについてのぶれ補正処理において、補正済み前フレームとして、動き検出部３１および動き補償部３２に供給される。すなわち、図３のぶれ補正処理は、１フレーム毎に実行される。
【００５６】
以上の処理によれば、補正済み前フレームから、現フレームに含まれない零点成分が抽出され、その零点成分とぼけ補正された現フレームとが合成されるので、リンギングやゴースト等のアーティファクトを抑制することができる。この補正済み前フレームは、複数枚の補正が反映されているが、１枚ずつ処理されるので、１枚分のフレームメモリがあればよい。また、上述した処理は、連続したフレームに対する逐次処理であるので、リアルタイムの動画像であっても、計算量は少なくて済む。したがって、リンギングやゴースト等のアーティファクトを抑制しつつ、より小さい回路規模で、かつ、より少ない計算量で、ぶれを補正することが可能となる。
【００５７】
また、現フレームと前フレームとの間の位置ずれを検出するようにしたので、MEやMCが失敗したことによる画像の破たんを防ぐことが可能となる。
【００５８】
特に、従来のデコンボリューションの手法によるぶれ補正においては、MEやMCが失敗した場合、移動する被写体の、背景との境界部分にリンギングやゴーストといったアーティファクトが発生するが、現フレームと前フレームとの間の位置ずれを検出することで、上述のリンギングやゴースト等のアーティファクトを抑制することが可能となる。
【００５９】
なお、以上においては、合成部３６からの零点成分が補償された現フレームと、もともとの現フレームとに対してブレンド処理を行うようにしたが、例えば、動き補償前フレームと、もともとの現フレームとに対してブレンド処理を行うようにしてもよい。
【００６０】
［画像処理装置の変形例］
ここで、図４を参照して、動き補償前フレームと、もともとの現フレームとに対してブレンド処理を行うようにした画像処理装置について説明する。
【００６１】
なお、図４の画像処理装置６１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【００６２】
すなわち、図４の画像処理装置６１において、図１の画像処理装置１１と異なるのは、合成部３６と事前知識処理部３９との間に設けられているブレンド処理部３８を、動き補償部３２と零点成分抽出部３５との間に設けた点である。
【００６３】
［ぶれ補正処理の他の例］
次に、図５のフローチャートを参照して、図４の画像処理装置６１のぶれ補正処理について説明する。
【００６４】
なお、図５のフローチャートのステップＳ３１，Ｓ３２，Ｓ３５乃至Ｓ４０の処理は、図３のフローチャートのステップＳ１１乃至Ｓ１６，Ｓ１９，Ｓ２０の処理とそれぞれ同様であるので、その説明は省略する。
【００６５】
ステップＳ３３において、ずれ検出部３７は、現フレームと動き補償前フレームとの間の位置のずれを検出することで、αマップを生成し、ブレンド処理部３８に供給する。
【００６６】
ステップＳ３４において、ブレンド処理部３８は、ずれ検出部３７からのαマップを用いて、動き補償前フレームおよび現フレームに対して、領域毎にブレンド処理を行う。ブレンド処理によって得られた画像（フレーム）は、動き補償前フレームとして、零点成分抽出部３５に供給される。
【００６７】
図５のフローチャートで示されるぶれ補正処理によっても、図３のフローチャートで示されるぶれ補正処理と同様の作用効果を奏することができる。
【００６８】
なお、以上においては、現フレームのぼけ補正にWiener Filterを用いるようにしたが、Wiener Filterに限らず、補正対象となる現フレームのぶれの周波数特性に対して略逆特性となるフィルタを用いることが可能であり、以下に後述する構成においても同様である。
【００６９】
また、図１の画像処理装置１１や図４の画像処理装置６１の構成において、ぶれ補正部３４を設けないようにしてもよい。
【００７０】
この場合、Null Filling Filter、またはこれに準ずるフィルタを、上述の式（２）に従って構成することで、ぶれ補正を行うことができる。
【００７１】
［画像処理装置の他の変形例］
ここで、図６を参照して、ぶれ補正部３４を備えない画像処理装置によるぶれ補正の原理について説明する。
【００７２】
なお、図６の画像処理装置２１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【００７３】
すなわち、図６の画像処理装置２１１において、図１の画像処理装置１１と異なるのは、ぶれ補正部３４、零点成分抽出部３５、および合成部３６に代えて、図６中、破線で示される処理部２２０に含まれるぶれ処理部２３１、演算部２３２、および演算部２３３を設けた点である。
【００７４】
ぶれ処理部２３１は、PSF推定部３３からのPSFに基づいて、動き補償部３２からの動き補償前フレームに対してぶれを加え、演算部２３２に供給する。
【００７５】
演算部２３２は、ぶれ処理部２３１からの、ぶれが加えられた動き補償前フレームを、現フレームから減算し、ぶれが加えられた動き補償前フレームと現フレームとの差分を演算部２３３に供給する。
【００７６】
演算部２３３は、動き補償部３２からの動き補償前フレームと、演算部２３２からの、ぶれが加えられた動き補償前フレームと現フレームとの差分とを加算し、その結果をブレンド処理部３８に供給する。
【００７７】
このような構成において処理が繰り返されることにより、ぶれが加えられた動き補償前フレームと現フレームとの差分が減少する方向に働き、徐々に現フレームのぶれが補正されるようになる。
【００７８】
図７は、図６の画像処理装置２１１の構成と等価であり、かつ、図１の画像処理装置１１に対応させた画像処理装置の構成を示している。
【００７９】
図７の画像処理装置２６１において、図６の画像処理装置２１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付している。
【００８０】
すなわち、図７の画像処理装置２６１において、図６の画像処理装置２１１と異なるのは、図６の処理部２２０に含まれるぶれ処理部２３１、演算部２３２、および演算部２３３に代えて、図７中、破線で示される処理部２７０に含まれるフィルタ２８１、フィルタ２８２、および合成部２８３を設けた点である。
【００８１】
フィルタ２８１は、所定のフィルタを現フレームに対して適用し、合成部２８３に供給する。フィルタ２８２は、PSF推定部３３からのPSFを用いて、フィルタ２８１に相補的なフィルタを動き補償前フレームに適用し、合成部２８３に供給する。合成部２８３は、フィルタ２８１からの現フレームと、フィルタ２８２からの動き補償前フレームとを合成する。
【００８２】
ここで、フィルタ２８１およびフィルタ２８２の伝達関数について説明する。フィルタ２８１の伝達関数R0(ω)およびフィルタ２８２の伝達関数R0~(ω)は、以下の式（４）で表される。
【００８３】
【数４】
・・・（４）
【００８４】
式（４）によれば、フィルタ２８１は、現フレームに対していずれの処理も行わない。また、図７の画像処理装置２６１におけるフィルタ２８１およびフィルタ２８２は、構成上、図１の画像処理装置１１におけるぶれ補正部３４および零点成分抽出部３５に対応している。したがって、図１の画像処理装置１１の構成において、ぶれ補正部３４を設けないようにした場合であっても、零点成分抽出部３５の伝達関数を調整することによって、現フレームのぶれが補正されるようになる。
【００８５】
＜３．ノイズ低減機能の追加＞
以下においては、本技術を適用した画像処理装置に対して、ノイズ低減機能を追加することについて説明する。
【００８６】
［ノイズ低減処理を行う従来の画像処理装置の機能構成例］
図８は、ノイズ低減処理を行う従来の画像処理装置の機能構成例を示すブロック図である。
【００８７】
図８の画像処理装置３１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付している。
【００８８】
すなわち、図８の画像処理装置３１１において、図１の画像処理装置１１と異なるのは、PSF推定部３３が削除され、ぶれ補正部３４、零点成分抽出部３５、合成部３６、およびブレンド処理部３８に代えて、図８中、破線で示される処理部３２０に含まれる演算部３３１、演算部３３２、およびブレンド処理部３３３を設けた点である。
【００８９】
演算部３３１は、現フレームに対してフレーム加算の重み付けを行い、ブレンド処理部３３３に供給する。演算部３３２は、動き補償前フレームに対してフレーム加算の重み付けを行い、ブレンド処理部３３３に供給する。ブレンド処理部３３３は、演算部３３１からの現フレームと、演算部３３２からの動き補償前フレームとを、所定の加算重みに応じて加算するとともに、ずれ検出部３７からのαマップに基づいて、加算の結果および現フレームに対してブレンド処理を行う。ブレンド処理部３３３は、結果として得られる、ノイズ低減されたフレーム（以下、ノイズ低減フレームともいう）を事前知識処理部３９に供給する。
【００９０】
ここで、演算部３３１および演算部３３２の伝達関数をそれぞれRN(ω)，RN~(ω)とすると、それぞれは、以下の式（５）で表される。
【００９１】
【数５】
・・・（５）
【００９２】
ここで、γは、フレーム加算の重み付けの係数を示している。また、ブレンド処理部３３３から出力されるノイズ低減フレームNRは、以下の式（６）で表される。
【００９３】
ＮＲ＝（１−αγ）・Cur＋αγ・MC ・・・（６）
【００９４】
なお、ノイズ低減の具体的な方法は、例えば、特許第４３２１６２６号公報等に詳細に記載されている。
【００９５】
さて、本技術を適用した画像処理装置に対しては、上述したノイズ低減を実現する構成を追加することができる。具体的には、図１の画像処理装置１１に対応する画像処理装置の構成に、ノイズ低減を実現する構成を追加することができる。
【００９６】
［本技術を適用した画像処理装置の他の機能構成例］
図９は、本技術を適用した画像処理装置の他の機能構成例を示している。
【００９７】
図９の画像処理装置３６１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付している。
【００９８】
すなわち、図９の画像処理装置３６１において、図１の画像処理装置１１と異なるのは、ぶれ補正部３４、零点成分抽出部３５、および合成部３６に代えて、図９中、破線で示される処理部３７０に含まれるフィルタ３８１、フィルタ３８２、および合成部３８３を設けた点である。
【００９９】
フィルタ３８１は、PSF推定部３３からのPSFを用いて、所定のフィルタを現フレームに対して適用し、合成部３８３に供給する。フィルタ３８２は、PSF推定部３３からのPSFを用いて、フィルタ３８１に相補的なフィルタを動き補償前フレームに適用し、合成部３８３に供給する。合成部３８３は、フィルタ３８１からの現フレームと、フィルタ３８２からの動き補償前フレームとを合成する。
【０１００】
ここで、図１０および図１１を参照して、フィルタ３８１およびフィルタ３８２の伝達関数RWN(ω)，RWN~(ω)の導出について説明する。
【０１０１】
図１０の左側には、演算部３３１、演算部３３２、およびブレンド処理部３３３からなる、図８の処理部３２０と等価な構成が示されている。
【０１０２】
もともと、ノイズ低減（ノイズリダクション）は、図１０に示される処理部３２０による１段のαブレンディングにより実現可能である。これは、現フレームと前フレームとのフレーム加算と、MCずれのコンシールを同時に行うことによるものであるが、原理的には、現フレームと前フレームとのフレーム加算と、MCずれのコンシールとを独立して行うようにした構成と等価である。
【０１０３】
すなわち、図１０の左側に示される処理部３２０は、図１０の右側に示される、演算部４１１乃至４１３からなる処理部４１０と、演算部４２１乃至４２３からなる処理部４２０とに置き換えることができる。処理部４１０は、現フレームと前フレームとのフレーム加算を行い、処理部４２０は、MCずれのコンシールを行う。
【０１０４】
ここで、図１０の処理部４１０に、上述したぶれ補正の機能を実現する構成を追加した構成を図１１に示す。
【０１０５】
図１１の処理部４５０には、図１０の処理部４１０に、図１の画像処理装置１１のぶれ補正部３４、零点成分抽出部３５、および合成部３６が追加されており、合成部３６からの零点補償された現フレームと動き補償前フレームとのフレーム加算が行われるようになる。
【０１０６】
なお、図１１の処理部４５０は、図９の処理部３７０と等価であり、図１１の処理部４２０は、図９のブレンド処理部３８と等価であるものとする。
【０１０７】
ここで、図１０の処理部４５０から出力されるノイズ低減フレームNR’は、以下の式（７）で示される。
【数６】
・・・（７）
【０１０８】
式（７）に示されるように、ノイズ低減フレームNR’は、現フレームCurに関する項と、前フレームMCに関する項とからなる。上述したように、図１０の処理部４５０は、図９の処理部３７０と等価であるので、図９のフィルタ３８１およびフィルタ３８２の伝達関数RWN(ω)，RWN~(ω)は、以下の式（８）で与えられるようになる。
【数７】
・・・（８）
【０１０９】
このように、本技術を適用した画像処理装置に、ノイズ低減処理を行う構成を追加した場合であっても、図１の画像処理装置１１に対応した構成とすることができる。すなわち、図１の画像処理装置１１において、ぶれ補正部３４および零点成分抽出部３５の伝達関数を調整することによって、ノイズ低減の機能を追加することができる。
【０１１０】
［ぶれ補正処理］
ここで、図１２のフローチャートを参照して、図９の画像処理装置３６１のぶれ補正処理について説明する。
【０１１１】
なお、図１２のフローチャートのステップＳ１１１乃至Ｓ１１３，Ｓ１１７乃至Ｓ１２０の処理は、図３のフローチャートのステップＳ１１乃至Ｓ１３，Ｓ１７乃至Ｓ２０の処理とそれぞれ同様であるので、その説明は省略する。
【０１１２】
すなわち、ステップＳ１１４において、フィルタ３８１は、PSF推定部３３からのPSFに基づいて、現フレームについてのフィルタを得て、そのフィルタを現フレームに適用する。フィルタ３８１は、フィルタ処理された現フレームを合成部３８３に供給する。
【０１１３】
ステップＳ１１５において、フィルタ３８２は、PSF推定部３３からのPSFに基づいて、動き補償前フレームについてのフィルタを得て、そのフィルタを前フレームに適用する。フィルタ３８２は、フィルタ処理された前フレームを合成部３８３に供給する。
【０１１４】
ステップＳ１１６において、合成部３８３は、フィルタ３８１からのフィルタ処理後の現フレームと、フィルタ３８２からのフィルタ処理後の前フレームとを加算する。これにより、ぶれが補正され、かつ、リンギングの原因となる零点が補償され、さらにノイズが低減された現フレームが得られる。
【０１１５】
以上の処理によれば、図３のぶれ補正処理と同様の作用効果を奏することができる上に、ノイズを低減させることが可能となる。一般的に、デコンボリューションは、ノイズを増幅する性質があるが、本技術によれば、その増幅されたノイズを抑制することができるようになる。
【０１１６】
＜４．超解像機能の追加＞
以下においては、本技術を適用した画像処理装置に対して、超解像機能を追加することについて説明する。
【０１１７】
超解像とは、入力画像に含まれる折り返し成分から高域の信号成分を復元しながら、入力画像の画素数よりも画素数の多い、すなわち、入力画像の解像度よりも高い解像度の画像を出力することをいう。
【０１１８】
［超解像処理を行う従来の画像処理装置の機能構成例］
図１３は、超解像処理を行う従来の画像処理装置の機能構成例を示すブロック図である。
【０１１９】
図１３の画像処理装置５１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付している。
【０１２０】
すなわち、図１３の画像処理装置５１１において、図１の画像処理装置１１と異なるのは、PSF推定部３３に代えて超解像用PSF仮定部５３０を設けた点、および、ぶれ補正部３４、零点成分抽出部３５、および合成部３６に代えて、図１３中、破線で示される処理部５２０に含まれるぼけ処理部５３１、ダウンサンプリング部５３２、演算部５３３、アップサンプリング部５３４、ぼけ処理部５３５、係数処理部５３６、および演算部５３７と、拡大処理部５３８とを設けた点である。
【０１２１】
なお、図１３のフレームメモリ４０には、超解像処理により得られた、入力される現フレームの解像度より高い高解像度のフレームが保持されており、超解像処理された前フレーム（以下、超解像前フレームという）として、動き検出部３１および動き補償部３２に供給される。
【０１２２】
超解像用PSF仮定部５３０は、現フレームに基づいて、低解像度で撮影するときのぼけモデルを仮定し、超解像用PSFとして、ぼけ処理部５３１およびぼけ処理部５３５に供給する。具体的には、例えば、超解像用PSF仮定部５３０は、１画素が大きいイメージセンサにおけるアパーチャ効果を仮定することで、ぼけモデルを仮定する。
【０１２３】
ぼけ処理部５３１は、超解像用PSF仮定部５３０からの超解像用PSFに基づいて、動き補償された超解像前フレーム（以下、単に、動き補償前フレームという）に対して、伝達関数Hd(ω)で与えられるぼけモデルを適用することで、ぼけ処理を施し、ダウンサンプリング部５３２に供給する。
【０１２４】
ダウンサンプリング部５３２は、ぼけ処理部５３１からの、ぼけ処理が施された動き補償前フレームをダウンサンプリングし、入力される現フレームと同じ解像度の画像を生成して、演算部５３３に供給する。
【０１２５】
演算部５３３は、現フレームから、ダウンサンプリング部５３２からのダウンサンプリングされた画像を減算することで、現フレームと、ダウンサンプリング部５３２からのダウンサンプリングされた画像との差分（差分画像）を求め、アップサンプリング部５３４に供給する。この差分画像は、超解像処理された前フレームと、入力された現フレームとの誤差であり、この誤差は、後段のアップサンプリング部５３４乃至係数処理部５３６を介して、動き補償された超解像前フレームにフィードバックされる。
【０１２６】
アップサンプリング部５３４は、演算部５３３からの差分画像をアップサンプリングし、超解像前フレームと同じ解像度の画像を生成して、ぼけ処理部５３５に供給する。
【０１２７】
ぼけ処理部５３５は、超解像用PSF仮定部５３０からの超解像用PSFに基づいて、アップサンプリング部５３４からのアップサンプリングされた差分画像に対して、伝達関数Hu(ω)で与えられるぼけモデルを適用することで、ぼけ処理を施し、係数処理部５３６に供給する。
【０１２８】
係数処理部５３６は、ぼけ処理部５３５からの、ぼけ処理された差分画像に対して、帰還の強度を決定する係数λをかけ、演算部５３７に供給する。
【０１２９】
演算部５３７は、動き補償部３２からの動き補償前フレームと、係数処理部５３６からの差分画像とを加算し、得られた超解像画像（超解像処理された現フレーム）を、ブレンド処理部３８に供給する。
【０１３０】
拡大処理部５３８は、入力された現フレームを、超解像前フレームと同じ解像度の画像となるように拡大して、ブレンド処理部３８に供給する。
【０１３１】
すなわち、ブレンド処理部３８においては、例えば、動き補償（MC）に失敗した領域については、拡大処理部５３８により拡大された現フレームが出力されるようになる。
【０１３２】
なお、超解像の具体的な方法は、例えば、特許第４６４６１４６号公報等に詳細に記載されている。
【０１３３】
ここで、図１３の処理部５２０に含まれる構成は、例えば図９の処理部３７０に含まれるような、２つのフィルタと合成部とからなる構成に置き換えることができる。
【０１３４】
このときの、現フレームについてのフィルタおよび前フレームについてのフィルタの伝達関数をそれぞれRS(ω)，RS~(ω)とすると、それぞれは、以下の式（９）で表される。
【０１３５】
【数８】
・・・（９）
【０１３６】
式（９）において、Ｄは、ダウンサンプリング部５３２によるダウンサンプリングを、ＤＴは、ダウンサンプリング部５３２によるアップサンプリングを示している。
【０１３７】
図１３の構成において、超解像の拡大側のぼけモデルHu(ω)には、縮小側のぼけモデルHd(ω)の複素共役（インパルス応答でいう上下左右反転したもの）が用いられる。図１３においては、現フレームと前フレームとの差分画像（誤差）をフィードバックする構成に、２つのぼけモデルHd(ω)，Hu(ω)が存在するため、高域のフィードバックゲインが不足し、超解像画像を得ることができるまでの時間（収束するまでの時間）が長くかかるという問題があった。
【０１３８】
そこで、本技術においては、フィードバック特性Hu(ω)として、ぼけモデルHd(ω)に対して逆特性を有する逆フィルタを用いるようにする。
【０１３９】
上述の式（９）において、Hd(ω)＝H(ω)，Hu(ω)＝RW(ω)とすると、その伝達関数RS(ω)，RS~(ω)は、Ｄ，ＤＴを除いて、式（１）と同様となる。
【０１４０】
すなわち、図１の画像処理装置１１において、ぶれ補正部３４および零点成分抽出部３５の伝達関数を調整することで、超解像処理を行う構成を追加することができる。
【０１４１】
［本技術を適用した画像処理装置のさらに他の機能構成例］
図１４は、超解像処理を行うようにした、本技術の画像処理装置の機能構成例を示している。
【０１４２】
図１４の画像処理装置５６１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付している。
【０１４３】
すなわち、図１４の画像処理装置５６１において、図１の画像処理装置１１と異なるのは、ぶれ補正部３４、零点成分抽出部３５、および合成部３６に代えて、図１１中、破線で示される処理部５７０に含まれるフィルタ５８１、フィルタ５８２、および合成部５８３と、拡大処理部５３８とを設けた点、および、PSF推定部３３に代えて超解像用PSF仮定部５８４を設けた点である。なお、拡大処理部５３８は、図１３の画像処理装置５１１に設けられたものと同一である。また、超解像用PSF仮定部５８４は、図１３の超解像用PSF仮定部５３０と同様の機能を備える。
【０１４４】
フィルタ５８１は、超解像用PSF仮定部５８４からのPSF（超解像用PSF）を用いて、所定のフィルタを現フレームに対して適用し、合成部５８３に供給する。フィルタ５８２は、超解像用PSF仮定部５８４からのPSFを用いて、フィルタ５８１に相補的なフィルタを動き補償前フレームに適用し、合成部５８３に供給する。合成部５８３は、フィルタ５８１からの現フレームと、フィルタ５８２からの動き補償前フレームとを合成する。
【０１４５】
なお、フィルタ５８１およびフィルタ５８２の伝達関数RWS(ω)，RWS~(ω)は、上述の式（９）に示される伝達関数RS(ω)，RS~(ω)において、Hd(ω)＝H(ω)，Hu(ω)＝RW(ω)としたものとなる。
【０１４６】
また、図１４の画像処理装置５６１による超解像処理は、図１２のフローチャートを参照して説明した、図９の画像処理装置３６１によるぶれ補正処理と基本的に同様にして行われるので、その説明は省略する。
【０１４７】
以上の構成によれば、超解像処理を行う画像処理装置において、フィードバック特性Hu(ω)として、ぼけモデルHd(ω)に対して逆特性を有する逆フィルタを用いるようにしたので、高域のフィードバックゲインを大きくすることができ、収束するまでの時間を短くすることができるようになり、ひいては、超解像処理の処理速度を高めることが可能となる。
【０１４８】
なお、上述した超解像処理を行う画像処理装置においても、図８を参照して上述したノイズ低減を実現する構成を追加することができる。具体的には、図１４の画像処理装置５６１に対応する画像処理装置の構成に、ノイズ低減を実現する構成を追加することができる。
【０１４９】
［ノイズ低減処理と超解像処理とを同時に行う画像処理装置の機能構成例］
図１５は、ノイズ低減処理と超解像処理とを同時に行う画像処理装置の機能構成例を示している。
【０１５０】
図１５の画像処理装置６１１において、図１４の画像処理装置５６１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付している。
【０１５１】
すなわち、図１５の画像処理装置６１１において、図１４の画像処理装置５６１と異なるのは、図１４の処理部５７０に含まれるフィルタ５８１、フィルタ５８２、および合成部５８３に代えて、図１５中、破線で示される処理部６２０に含まれるフィルタ６３１、フィルタ６３２、および合成部６３３を設けた点である。
【０１５２】
フィルタ６３１は、超解像用PSF仮定部５８４からのPSFを用いて、所定のフィルタを現フレームに対して適用し、合成部６３３に供給する。フィルタ６３２は、超解像用PSF仮定部５８４からのPSFを用いて、フィルタ６３１に相補的なフィルタを動き補償前フレームに適用し、合成部６３３に供給する。合成部６３３は、フィルタ６３１からの現フレームと、フィルタ６３２からの動き補償前フレームとを合成する。
【０１５３】
ここで、フィルタ６３１およびフィルタ６３２の伝達関数RWNS(ω)，RWNS~(ω)の導出について説明する。
【０１５４】
上述したように、ノイズ低減を行う構成は、図１０で示される処理部４１０と処理部４２０とで表される。
【０１５５】
ここで、図１０の処理部４１０に、超解像の機能を実現する構成を追加した構成を図１６に示す。
【０１５６】
図１６における処理部６５０には、図１０の処理部４１０に、フィルタ６５１、演算部６５２、フィルタ６５３、および演算部６５４が追加されており、超解像処理された現フレームと前フレームとのフレーム加算が行われるようになる。なお、図１６において、フィルタ６５１は、図１３のぼけ処理部５３１およびダウンサンプリング部５３２に対応し、演算部６５２は、図１３の演算部５３３に対応し、フィルタ６５３は、図１３のアップサンプリング部５３４、ぼけ処理部５３５、および係数処理部５３６に対応し、演算部６５４は、図１３の演算部５３７に対応している。
【０１５７】
なお、図１６の処理部６５０は、図１５の処理部６２０と等価であるものとする。
【０１５８】
ここで、図１６の処理部６５０から出力される超解像ノイズ低減フレームSNRは、以下の式（１０）で示される。
【０１５９】
SNR＝（１−γ）・｛λHu(ω)ＤＴ（Cur−ＤHd(ω)・MC）＋MC｝＋γ・MC
＝（１−γ）・λHu(ω)ＤＴ・Cur
＋｛（１−γ）・（１−λHu(ω)ＤＴ・Ｄ・Hd(ω)）＋γ｝MC
・・・（１０）
【０１６０】
式（１０）に示されるように、超解像ノイズ低減フレームSNRは、現フレームCurに関する項と、前フレームMCに関する項とからなる。上述したように、図１６の処理部６５０は、図１５の処理部６２０と等価であるので、図１５のフィルタ６３１およびフィルタ６３２の伝達関数RWNS(ω)，RWNS~(ω)は、以下の式（１１）で与えられるようになる。
【数９】
・・・（１１）
【０１６１】
このように、超解像処理を行う画像処理装置に、ノイズ低減処理を行う構成を追加した場合であっても、図１４の画像処理装置５６１に対応した構成とすることができ、超解像とノイズリダクションとを同時に行うことができる。また、式（１１）に示されるように、フィルタ６３１およびフィルタ６３２の伝達関数RWNS(ω)，RWNS~(ω)は、超解像の結果にノイズリダクションをかけたものと等価な伝達関数となっており、超解像およびノイズリダクションのそれぞれの効果を欠くことなく得ることが可能となる。
【０１６２】
＜５．PSFの推定方法の例＞
さて、本技術で用いられるPSFの推定方法は、上述した動きベクトルに基づくものに限定されない。
【０１６３】
画像からぶれを推定する方法としては、ケプストラム変換を用いる方法や、被写体境界部のぼけを用いる方法等、多数の方法が知られており、これらを、本技術に適用するようにしてもよい。
【０１６４】
また、本技術で用いられるPSFは、直線ぶれをモデル化するものに限定されない。ほとんどのPSFには、その周波数特性に零点が存在し、上述した手法により、Null Filling Filterを構成することができる。例えば、自由軌跡の手ぶれや、ピンぼけをモデル化するPSFを、本技術で用いるようにしてもよい。すなわち、本技術によれば、手ぶれやピンぼけを、リンギングやゴースト等のアーティファクトを抑制しつつ、より小さい回路規模で、かつ、より少ない計算量で補正することができるようになる。
【０１６５】
ピンぼけのPSFを錯乱円でモデル化すると、その周波数特性は、回転対称なベッセル関数で表され、直線ぶれをモデル化した周波数特性と同様に、周期的な零点を有する。この場合、画像のスペクトラムから錯乱円の半径を推定することが可能である。撮像画像を入力するカメラにおいてAF（Auto focus）が機能している場合、錯乱円の大きさはフレーム毎に変化し、零点の位置も変化するので、フレーム間のNull Filling Filterが有効に作用する。
【０１６６】
また、PSFは、画像から推定する以外の方法により推定することもできる。例えば、カメラにジャイロセンサを取り付け、ジャイロセンサによりカメラの回転を測定することで、手ぶれによるPSFを推定することが可能となる。また、カメラ自体が、機械的に光軸の方向を変えることができる自動雲台（パンチルタ）に設置されている場合や、イメージセンサを機械的に動作させる機構を備えている場合、自動雲台やイメージセンサの動作を観測することにより、そのPSFを推定することが可能となる。
【０１６７】
ところで、上述で説明した構成および処理においては、PSFは、（動きベクトルMV）×（露出時間）÷（フレーム周期）により求められるものとしたが、被写体が画面上で等速運動をしている場合にのみ正確に求められる。
【０１６８】
ここで、画面上で、動体としての被写体が、図１７に示されるように、時刻t1乃至t2、時刻t2乃至t3、時刻t3乃至t4のそれぞれのフレーム内では等速直線運動をし、時刻t1乃至t2、時刻t2乃至t3、時刻t3乃至t4それぞれのフレーム毎では等加速度運動をしているとみなせる場合には、注目する注目フレーム、および、その注目フレームに時間的に前後する２フレーム、すなわち、隣接する３フレームに基づいて、注目フレームについてのぶれを求めることができる。
【０１６９】
図１８は、図１７に示される運動を行う被写体の、時刻t1乃至t4のそれぞれの時刻における位置と、各フレームにおける被写体のぶれの様子を説明する図である。
【０１７０】
図１８において、注目フレームを時刻t2乃至t3のFrame23とした場合、Frame23のぶれ（被写体と背景の境界部分であって、被写体と背景とが混在した部分）は、注目フレームの前フレームであるFrame12およびFrame23から得られる動きベクトルmv2と、Frame23および注目フレームの後フレームであるFrame34およびから得られる動きベクトルmv3の相加平均として与えられる。
【０１７１】
これにより、被写体が等加速度運動をしている場合であっても、隣接する３フレームに基づいて２つの動きベクトルを求めることで、PSFを正確に求めることが可能となる。
【０１７２】
ところで、静止した背景の中を動体である被写体が移動する場合、被写体の移動方向側（前方）の被写体と背景の境界部分では、背景はぶれずにだんだん薄くなるとともに、ぶれた被写体がだんだん濃くなっていく。また、被写体の移動方向と反対側（後方）の被写体と背景の境界部分では、背景はぶれずにだんだん濃くなるとともに、ぶれた被写体がだんだん薄くなっていく。このように、ぶれた被写体だけにぶれ補正を施すには、境界部分の背景を除去する必要がある。
【０１７３】
＜６．ぶれた被写体だけにぶれ補正を施す画像処理装置の構成＞
そこで、以下においては、ぶれた被写体だけにぶれ補正を施す画像処理装置の構成について説明する。
【０１７４】
図１９は、境界部分の背景を除去して、ぶれた被写体だけにぶれ補正を施す画像処理装置の構成を示している。
【０１７５】
図１９の画像処理装置７１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付している。
【０１７６】
すなわち、図１９の画像処理装置７１１において、図１の画像処理装置１１と異なるのは、フレームメモリ７３１を新たに設け、ぶれ補正部３４に代えて、ぶれ補正部７３２を設けた点である。
【０１７７】
フレームメモリ７３１は、画像処理装置７１１に入力されてくる現フレームを保持し、１フレーム遅延させて、動き検出部３１、ずれ検出部３７、ブレンド処理部３８、およびぶれ補正部７３２に供給する。
【０１７８】
ぶれ補正部７３２は、現フレーム、フレームメモリ７３１からの前フレーム、および、フレームメモリ４０に保持されている、前フレームより１つ前のフレーム（以下、前々フレームという）に基づいて、前フレームにおける背景部分を除去する。そして、ぶれ補正部７３２は、PSF推定部３３からのPSFに基づいて、Wiener Filterを構成し、そのWiener Filterを背景部分が除去された前フレームの被写体部分に対して適用することで、被写体部分についてぶれ補正された前フレームを得て、合成部３６に供給する。
【０１７９】
なお、図１９の画像処理装置７１１においては、フレームメモリ７３１から出力される前フレームを注目する注目フレームとして処理が行われる。
【０１８０】
［ぶれ補正部の構成］
次に、図２０を参照して、図１９の画像処理装置７１１のぶれ補正部７３２の詳細な構成例について説明する。
【０１８１】
ぶれ補正部７３２は、動き検出部７４１、クラスタリング部７４２、前方背景マスク生成部７４３、畳み込み部７４４、演算部７４５、動き検出部７４６、クラスタリング部７４７、前方背景マスク生成部７４８、畳み込み部７４９、演算部７５０、演算部７５１、ぶれ補正フィルタ７５２、演算部７５３、演算部７５４、および演算部７５５から構成される。
【０１８２】
動き検出部７４１は、前々フレームと前フレームとに対してME（動き検出）を行い、動きベクトルを求め、クラスタリング部７４２に供給する。
【０１８３】
クラスタリング部７４２は、動き検出部７４１からの動きベクトルをクラスタリングし、動きのない背景部分のベクトル（０ベクトル）と動きのある被写体部分のベクトルとに分類して、その分類結果を前方背景マスク生成部７４３に供給する。
【０１８４】
前方背景マスク生成部７４３は、クラスタリング部７４２からの動きベクトルの分類結果に基づいて、前フレームにおいて被写体の前方でぶれている被写体部分を含む背景をマスキングする前方背景マスクを生成し、畳み込み部７４４および演算部７５３に供給する。
【０１８５】
畳み込み部７４４は、前方背景マスク生成部７４３からの前方背景マスクにPSFを畳み込んで、だんだん薄くなる背景部分に重み付けする前方背景重みマップを生成し、演算部７４５に供給する。
【０１８６】
演算部７４５は、畳み込み部７４４からの前方背景重みマップを前々フレームにかけ合わせることで、だんだん薄くなる背景部分のみの画像（前方背景画像）を生成し、演算部７５１に供給する。
【０１８７】
動き検出部７４６は、前フレームと現フレームとに対してME（動き検出）を行い、動きベクトルを求め、クラスタリング部７４７に供給する。
【０１８８】
クラスタリング部７４７は、動き検出部７４６からの動きベクトルをクラスタリングし、動きのない背景部分のベクトル（０ベクトル）と動きのある被写体部分のベクトルとに分類して、その分類結果を後方背景マスク生成部７４８に供給する。
【０１８９】
後方背景マスク生成部７４８は、クラスタリング部７４７からの動きベクトルの分類結果に基づいて、前フレームにおいて被写体の後方でぶれている被写体部分を含む背景をマスキングする後方背景マスクを生成し、畳み込み部７４９および演算部７５４に供給する。
【０１９０】
畳み込み部７４９は、後方背景マスク生成部７４８からの後方背景マスクにPSFを畳み込んで、だんだん濃くなる背景部分に重み付けする後方背景重みマップを生成し、演算部７５０に供給する。
【０１９１】
演算部７５０は、畳み込み部７４９からの後方背景重みマップを現フレームにかけ合わせることで、だんだん濃くなる背景部分のみの画像（後方背景画像）を生成し、演算部７５１に供給する。
【０１９２】
演算部７５１は、演算部７４５からの前方背景画像および演算部７５０からの後方背景画像に基づいて、前フレームから背景画像を減算（除去）することで、ぶれた被写体部分の画像（以下、単に、被写体部分ともいう）を抽出し、ぶれ補正フィルタ７５２に供給する。
【０１９３】
ぶれ補正フィルタ７５２は、PSFに基づいて、Wiener Filterを構成し、そのWiener Filterを被写体部分に対して適用することで、ぶれ補正された被写体部分を得て、演算部７５５に供給する。
【０１９４】
演算部７５３は、前方背景マスク生成部７４３からの前方背景マスクを前々フレームにかけ合わせて、演算部７５５に供給する。
【０１９５】
演算部７５４は、後方背景マスク生成部７４８からの後方背景マスクを現フレームにかけ合わせて、演算部７５５に供給する。
【０１９６】
演算部７５５は、演算部７５３からの前々フレームおよび演算部７５４からの現フレームに基づいて、ぶれのない背景画像を生成し、ぶれ補正フィルタ７５２からのぶれ補正された被写体部分を合成し、図１９の合成部３６に供給する。
【０１９７】
［ぶれ補正処理］
次に、図２１のフローチャートを参照して、図１９の画像処理装置７１１のぶれ補正処理について説明する。
【０１９８】
なお、図２１のフローチャートのステップＳ２１１乃至Ｓ２１３，Ｓ２１５乃至Ｓ２２０の処理は、注目フレームが現フレームではなく前フレームであることを除いて、図３のフローチャートのステップＳ１１乃至Ｓ１３，Ｓ１５乃至Ｓ２０の処理とそれぞれ同様であるので、その説明は省略する。
【０１９９】
すなわち、ステップＳ２１４において、ぶれ補正部７３２は、背景除去／ぶれ補正処理を実行する。
【０２００】
［背景除去／ぶれ補正処理］
ここで、図２２のフローチャートを参照して、ぶれ補正部７３２の背景除去／ぶれ補正処理について説明する。
【０２０１】
ステップＳ２６１において、動き検出部７４１は、前々フレームと前フレームとに基づいて動きベクトルを検出し、クラスタリング部７４２に供給する。
【０２０２】
ステップＳ２６２において、クラスタリング部７４２は、動き検出部７４１からの動きベクトルをクラスタリングし、その分類結果を前方背景マスク生成部７４３に供給する。
【０２０３】
ステップＳ２６３において、前方背景マスク生成部７４３は、クラスタリング部７４２からの動きベクトルの分類結果に基づいて、前方背景マスクを生成し、畳み込み部７４４および演算部７５３に供給する。
【０２０４】
ステップＳ２６４において、畳み込み部７４４は、前方背景マスク生成部７４３からの前方背景マスクにPSFを畳み込むことにより前方背景重みマップを生成し、演算部７４５に供給する。
【０２０５】
ステップＳ２６５において、演算部７４５は、畳み込み部７４４からの前方背景重みマップを前々フレームにかけ合わせることで、前方背景画像を生成し、演算部７５１に供給する。
【０２０６】
ステップＳ２６６において、動き検出部７４６は、前フレームと現フレームとに基づいて、動きベクトルを検出し、クラスタリング部７４７に供給する。
【０２０７】
ステップＳ２６７において、クラスタリング部７４７は、動き検出部７４６からの動きベクトルをクラスタリングし、その分類結果を後方背景マスク生成部７４８に供給する。
【０２０８】
ステップＳ２６８において、後方背景マスク生成部７４８は、クラスタリング部７４７からの動きベクトルの分類結果に基づいて、後方背景マスクを生成し、畳み込み部７４９および演算部７５４に供給する。
【０２０９】
ステップＳ２６９において、畳み込み部７４９は、後方背景マスク生成部７４８からの後方背景マスクにPSFを畳み込むことにより後方背景重みマップを生成し、演算部７５０に供給する。
【０２１０】
ステップＳ２７０において、演算部７５０は、畳み込み部７４９からの後方背景重みマップを現フレームにかけ合わせることで、後方背景画像を生成し、演算部７５１に供給する。
【０２１１】
なお、ステップＳ２６１乃至Ｓ２６５の処理と、ステップＳ２６６乃至Ｓ２７０の処理とは、並列して実行されてもよい。
【０２１２】
ステップＳ２７１において、演算部７５１は、演算部７４５からの前方背景画像および演算部７５０からの後方背景画像に基づいて、前フレームから背景部分を除去することで、ぶれた被写体部分の画像（被写体部分）を抽出し、ぶれ補正フィルタ７５２に供給する。
【０２１３】
ステップＳ２７２において、ぶれ補正フィルタ７５２は、PSFに基づいてWiener Filterを構成し、そのWiener Filterを被写体部分に対して適用することで、被写体部分のぶれを補正し、ぶれ補正された被写体部分を演算部７５５に供給する。
【０２１４】
ステップＳ２７３において、演算部７５３は、前方背景マスク生成部７４３からの前方背景マスクを前々フレームにかけ合わせて、演算部７５５に供給する。
【０２１５】
ステップＳ２７４において、演算部７５４は、後方背景マスク生成部７４８からの後方背景マスクを現フレームにかけ合わせて、演算部７５５に供給する。
【０２１６】
ステップＳ２７５において、演算部７５５は、演算部７５３からの前々フレームおよび演算部７５４からの現フレームに基づいて、ぶれのない背景画像を生成し、その背景画像に、ぶれ補正フィルタ７５２からのぶれ補正された被写体部分を合成する。その後、処理は、図２１のフローチャートのステップＳ２１４に戻る。
【０２１７】
以上の処理によれば、静止した背景の中を動体である被写体が移動する場合であっても、境界部分の背景を除去しながら、ぶれた被写体だけにぶれ補正を施すことが可能になる。この場合、２枚分のフレームメモリがあればよく、比較的小さい回路規模で、ぶれを補正することが可能となる。
【０２１８】
なお、図１９の画像処理装置７１１の構成において、フレームメモリ７３１を設けない場合、現フレームが注目フレームとなり、現フレームと前フレームとに基づいて、背景除去／ぶれ補正処理が実行されるが、注目フレームより時間的に後の後フレームの情報が得られないので、被写体の後方の境界部分のぶれを補正することができない。しかしながら、動画像においては、被写体の後方の境界部分は、１フレーム遅延して背景に置き換えられるので、その影響は限定的となる。すなわち、動画像に対しては、図１９の画像処理装置７１１において、１枚分のフレームメモリ（フレームメモリ４０）のみを備えるようにしてもよい。
【０２１９】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０２２０】
図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２２１】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０２２２】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【０２２３】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０２２４】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２２５】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０２２６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２２７】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２２８】
さらに、本技術は以下のような構成をとることができる。
（１） 時間的に連続する画像のぶれまたはぼけを補正する画像処理装置において、
注目する注目画像に位置合わせされた、前記注目画像より時間的に前の画像であって、ぶれまたはぼけが補正された補正済み画像から、所定のフィルタを用いて前記注目画像に含まれない周波数成分を抽出する抽出部と、
前記抽出部により抽出された前記周波数成分と前記注目画像とを合成する合成部と
を備える画像処理装置。
（２） ぶれまたはぼけの周波数特性に対して略逆特性を有し、前記フィルタに相補的な相補フィルタを用いて、前記注目画像のぶれまたはぼけを補正する補正部をさらに備え、
前記合成部は、前記補正部によりぶれまたはぼけが補正された前記注目画像と前記周波数成分とを合成する
（１）に記載の画像処理装置。
（３） 前記合成部により前記周波数成分が合成された前記注目画像と前記補正済み画像とを、所定の加算重みに応じて加算する加算する加算部をさらに備える
（１）または（２）に記載の画像処理装置。
（４） 前記補正済み画像の解像度は、前記注目画像の解像度である第１の解像度より高い第２の解像度であり、
前記フィルタおよび前記相補フィルタは、前記注目画像の解像度を前記第１の解像度から前記第２の解像度にする
（１）または（２）に記載の画像処理装置。
（５） 前記第２の解像度の前記注目画像と前記補正済み画像とを、所定の加算重みに応じて加算する加算する加算部をさらに備える
（４）に記載の画像処理装置。
（６） 前記注目画像と前記補正済み画像との位置合わせにおけるずれを検出する検出部と、
前記検出部により検出されたずれに応じて、前記合成部により前記周波数成分が合成された前記注目画像と、いずれの処理もされていない前記注目画像との合成の比率を調整して得られる画像を出力する出力部とをさらに備える
（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記注目画像と前記補正済み画像との間の位置のずれに基づいて、前記注目画像のぶれまたはぼけの向きおよび長さを推定する推定部をさらに備え、
前記補正部は、前記推定部により推定された前記注目画像のぶれまたはぼけの向きおよび長さに応じた前記相補フィルタを用いて、前記注目画像のぶれまたはぼけを補正する
（２）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記補正部は、前記補正済み画像、前記注目画像、および前記注目画像より時間的に後の後画像に基づいて、前記注目画像における動体としての被写体以外の背景部分を除去して、前記注目画像における前記被写体のぶれまたはぼけを補正する
（２）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記注目画像に含まれない周波数成分は、前記注目画像のぶれまたはぼけをモデル化した周波数特性の零点近傍の周波数成分である
（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 時間的に連続する画像のぶれまたはぼけを補正する画像処理装置において、
注目する注目画像に位置合わせされた、前記注目画像より時間的に前の画像であって、ぶれまたはぼけが補正された補正済み画像から、所定のフィルタを用いて前記注目画像に含まれない周波数成分を抽出する抽出部と、
前記抽出部により抽出された前記周波数成分と前記注目画像とを合成する合成部と
を備える画像処理装置の画像処理方法であって、
前記画像処理装置が、
注目する注目画像に位置合わせされた、前記注目画像より時間的に前の画像であって、ぶれまたはぼけが補正された補正済み画像から、所定のフィルタを用いて前記注目画像に含まれない周波数成分を抽出し、
抽出された前記周波数成分と前記注目画像とを合成する
ステップを含む画像処理方法。
（１１） 時間的に連続する画像のぶれまたはぼけを補正する処理をコンピュータに実行させるプログラムにおいて、
注目する注目画像に位置合わせされた、前記注目画像より時間的に前の画像であって、ぶれまたはぼけが補正された補正済み画像から、所定のフィルタを用いて前記注目画像に含まれない周波数成分を抽出する抽出ステップと、
前記抽出ステップの処理により抽出された前記周波数成分と前記注目画像とを合成する合成ステップと
を含む処理をコンピュータに実行させるプログラム。
（１２） （１１）に記載のプログラムが記録されている記録媒体。
【符号の説明】
【０２２９】
１１ 画像処理装置， ３１ 動き検出部， ３２ 動き補償部， ３３ PSF推定部， ３４ ぶれ補正部， ３５ 零点成分抽出部， ３６ 合成部， ３７ ずれ検出部， ３８ ブレンド処理部， ３９ 事前知識処理部， ４０ フレームメモリ
【特許請求の範囲】
【請求項１】
時間的に連続する画像のぶれまたはぼけを補正する画像処理装置において、
注目する注目画像に位置合わせされた、前記注目画像より時間的に前の画像であって、ぶれまたはぼけが補正された補正済み画像から、所定のフィルタを用いて前記注目画像に含まれない周波数成分を抽出する抽出部と、
前記抽出部により抽出された前記周波数成分と前記注目画像とを合成する合成部と
を備える画像処理装置。
【請求項２】
ぶれまたはぼけの周波数特性に対して略逆特性を有し、前記フィルタに相補的な相補フィルタを用いて、前記注目画像のぶれまたはぼけを補正する補正部をさらに備え、
前記合成部は、前記補正部によりぶれまたはぼけが補正された前記注目画像と前記周波数成分とを合成する
請求項１に記載の画像処理装置。
【請求項３】
前記合成部により前記周波数成分が合成された前記注目画像と前記補正済み画像とを、所定の加算重みに応じて加算する加算する加算部をさらに備える
請求項２に記載の画像処理装置。
【請求項４】
前記補正済み画像の解像度は、前記注目画像の解像度である第１の解像度より高い第２の解像度であり、
前記フィルタおよび前記相補フィルタは、前記注目画像の解像度を前記第１の解像度から前記第２の解像度にする
請求項２に記載の画像処理装置。
【請求項５】
前記第２の解像度の前記注目画像と前記補正済み画像とを、所定の加算重みに応じて加算する加算する加算部をさらに備える
請求項４に記載の画像処理装置。
【請求項６】
前記注目画像と前記補正済み画像との位置合わせにおけるずれを検出する検出部と、
前記検出部により検出されたずれに応じて、前記合成部により前記周波数成分が合成された前記注目画像と、いずれの処理もされていない前記注目画像との合成の比率を調整して得られる画像を出力する出力部とをさらに備える
請求項２に記載の画像処理装置。
【請求項７】
前記注目画像と前記補正済み画像との間の位置のずれに基づいて、前記注目画像のぶれまたはぼけの向きおよび長さを推定する推定部をさらに備え、
前記補正部は、前記推定部により推定された前記注目画像のぶれまたはぼけの向きおよび長さに応じた前記相補フィルタを用いて、前記注目画像のぶれまたはぼけを補正する
請求項２に記載の画像処理装置。
【請求項８】
前記補正部は、前記補正済み画像、前記注目画像、および前記注目画像より時間的に後の後画像に基づいて、前記注目画像における動体としての被写体以外の背景部分を除去して、前記注目画像における前記被写体のぶれまたはぼけを補正する
請求項２に記載の画像処理装置。
【請求項９】
前記注目画像に含まれない周波数成分は、前記注目画像のぶれまたはぼけをモデル化した周波数特性の零点近傍の周波数成分である
請求項１に記載の画像処理装置。
【請求項１０】
時間的に連続する画像のぶれまたはぼけを補正する画像処理装置において、
注目する注目画像に位置合わせされた、前記注目画像より時間的に前の画像であって、ぶれまたはぼけが補正された補正済み画像から、所定のフィルタを用いて前記注目画像に含まれない周波数成分を抽出する抽出部と、
前記抽出部により抽出された前記周波数成分と前記注目画像とを合成する合成部と
を備える画像処理装置の画像処理方法であって、
前記画像処理装置が、
注目する注目画像に位置合わせされた、前記注目画像より時間的に前の画像であって、ぶれまたはぼけが補正された補正済み画像から、所定のフィルタを用いて前記注目画像に含まれない周波数成分を抽出し、
抽出された前記周波数成分と前記注目画像とを合成する
ステップを含む画像処理方法。
【請求項１１】
時間的に連続する画像のぶれまたはぼけを補正する処理をコンピュータに実行させるプログラムにおいて、
注目する注目画像に位置合わせされた、前記注目画像より時間的に前の画像であって、ぶれまたはぼけが補正された補正済み画像から、所定のフィルタを用いて前記注目画像に含まれない周波数成分を抽出する抽出ステップと、
前記抽出ステップの処理により抽出された前記周波数成分と前記注目画像とを合成する合成ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項１２】
請求項１１に記載のプログラムが記録されている記録媒体。
【請求項１】
時間的に連続する画像のぶれまたはぼけを補正する画像処理装置において、
注目する注目画像に位置合わせされた、前記注目画像より時間的に前の画像であって、ぶれまたはぼけが補正された補正済み画像から、所定のフィルタを用いて前記注目画像に含まれない周波数成分を抽出する抽出部と、
前記抽出部により抽出された前記周波数成分と前記注目画像とを合成する合成部と
を備える画像処理装置。
【請求項２】
ぶれまたはぼけの周波数特性に対して略逆特性を有し、前記フィルタに相補的な相補フィルタを用いて、前記注目画像のぶれまたはぼけを補正する補正部をさらに備え、
前記合成部は、前記補正部によりぶれまたはぼけが補正された前記注目画像と前記周波数成分とを合成する
請求項１に記載の画像処理装置。
【請求項３】
前記合成部により前記周波数成分が合成された前記注目画像と前記補正済み画像とを、所定の加算重みに応じて加算する加算する加算部をさらに備える
請求項２に記載の画像処理装置。
【請求項４】
前記補正済み画像の解像度は、前記注目画像の解像度である第１の解像度より高い第２の解像度であり、
前記フィルタおよび前記相補フィルタは、前記注目画像の解像度を前記第１の解像度から前記第２の解像度にする
請求項２に記載の画像処理装置。
【請求項５】
前記第２の解像度の前記注目画像と前記補正済み画像とを、所定の加算重みに応じて加算する加算する加算部をさらに備える
請求項４に記載の画像処理装置。
【請求項６】
前記注目画像と前記補正済み画像との位置合わせにおけるずれを検出する検出部と、
前記検出部により検出されたずれに応じて、前記合成部により前記周波数成分が合成された前記注目画像と、いずれの処理もされていない前記注目画像との合成の比率を調整して得られる画像を出力する出力部とをさらに備える
請求項２に記載の画像処理装置。
【請求項７】
前記注目画像と前記補正済み画像との間の位置のずれに基づいて、前記注目画像のぶれまたはぼけの向きおよび長さを推定する推定部をさらに備え、
前記補正部は、前記推定部により推定された前記注目画像のぶれまたはぼけの向きおよび長さに応じた前記相補フィルタを用いて、前記注目画像のぶれまたはぼけを補正する
請求項２に記載の画像処理装置。
【請求項８】
前記補正部は、前記補正済み画像、前記注目画像、および前記注目画像より時間的に後の後画像に基づいて、前記注目画像における動体としての被写体以外の背景部分を除去して、前記注目画像における前記被写体のぶれまたはぼけを補正する
請求項２に記載の画像処理装置。
【請求項９】
前記注目画像に含まれない周波数成分は、前記注目画像のぶれまたはぼけをモデル化した周波数特性の零点近傍の周波数成分である
請求項１に記載の画像処理装置。
【請求項１０】
時間的に連続する画像のぶれまたはぼけを補正する画像処理装置において、
注目する注目画像に位置合わせされた、前記注目画像より時間的に前の画像であって、ぶれまたはぼけが補正された補正済み画像から、所定のフィルタを用いて前記注目画像に含まれない周波数成分を抽出する抽出部と、
前記抽出部により抽出された前記周波数成分と前記注目画像とを合成する合成部と
を備える画像処理装置の画像処理方法であって、
前記画像処理装置が、
注目する注目画像に位置合わせされた、前記注目画像より時間的に前の画像であって、ぶれまたはぼけが補正された補正済み画像から、所定のフィルタを用いて前記注目画像に含まれない周波数成分を抽出し、
抽出された前記周波数成分と前記注目画像とを合成する
ステップを含む画像処理方法。
【請求項１１】
時間的に連続する画像のぶれまたはぼけを補正する処理をコンピュータに実行させるプログラムにおいて、
注目する注目画像に位置合わせされた、前記注目画像より時間的に前の画像であって、ぶれまたはぼけが補正された補正済み画像から、所定のフィルタを用いて前記注目画像に含まれない周波数成分を抽出する抽出ステップと、
前記抽出ステップの処理により抽出された前記周波数成分と前記注目画像とを合成する合成ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項１２】
請求項１１に記載のプログラムが記録されている記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１３−３６１０（Ｐ２０１３−３６１０Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３０６５２（Ｐ２０１１−１３０６５２）
【出願日】平成２３年６月１０日（２０１１．６．１０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１０日（２０１１．６．１０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]