画像処理装置、画像処理方法、及びプログラム
【課題】画質の低下を抑制しつつ、より高速に画像のブレおよびボケを補正する。
【解決手段】HPF２１３は、Gブレ画像のストラクチャ成分のブレを補正したG補正画像のテクスチャ成分を抽出する。マスク生成部２１４は、縮小Rブレ画像のストラクチャ成分のブレを補正した後、縮小前の大きさに戻したR補正画像、および、縮小Bブレ画像のストラクチャ成分のブレを補正した後、縮小前の大きさに戻したB補正画像に、G補正画像のテクスチャ成分を合成する量を、ブレ画像のG成分の変動とR成分の変動との相関またはG成分の変動とB成分の変動との相関のうち少なくとも一方が弱い領域ほど小さくするマスク画像を生成する。乗算部２１５は、マスク画像を用いて、R補正画像およびB補正画像にG補正画像のテクスチャ成分を合成する。本発明は、例えば、記録再生装置等に適用できる。
【解決手段】HPF２１３は、Gブレ画像のストラクチャ成分のブレを補正したG補正画像のテクスチャ成分を抽出する。マスク生成部２１４は、縮小Rブレ画像のストラクチャ成分のブレを補正した後、縮小前の大きさに戻したR補正画像、および、縮小Bブレ画像のストラクチャ成分のブレを補正した後、縮小前の大きさに戻したB補正画像に、G補正画像のテクスチャ成分を合成する量を、ブレ画像のG成分の変動とR成分の変動との相関またはG成分の変動とB成分の変動との相関のうち少なくとも一方が弱い領域ほど小さくするマスク画像を生成する。乗算部２１５は、マスク画像を用いて、R補正画像およびB補正画像にG補正画像のテクスチャ成分を合成する。本発明は、例えば、記録再生装置等に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、ブレまたはボケが発生している画像を補正する場合に用いて好適な画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、撮像した画像に生じた手振れボケやピンボケ（以下、単にボケともいう）を補正する補正技術が存在する。
【０００３】
例えば、L.B.LucyとWilliam Hardley Richardsonにより提唱されたRichardson-Lucy法がある。しかし、この手法では、点広がり関数（PSF（Point Spread Function)）の周波数軸上で零点に落ち込むスペクトラムを用いて逆問題を解く際に、零点において、ノイズの増幅やリンギングの発生等が見られる。また、点広がり関数が正確に求まらなかった場合には、零点において、ノイズの増幅やリンギングの発生等が、より大きくなってしまう。
【０００４】
そこで、ゲインマップの導入により、点広がり関数が正確にわかる場合に、リンギングを抑制することが可能なresidual deconvolution技術が存在する（例えば、非特許文献１を参照）。
【０００５】
しかしながら、従来のresidual deconvolution技術では、点広がり関数に誤差が存在する場合には、画像のストラクチャ成分(structure)と残差(residual部分)の復元がうまくいかず、リンギングがより多く発生してしまう。
【０００６】
そこで、Richardson-Lucy法をベースにした静止画手振れ補正アルゴリズムに、画像のストラクチャ成分とテクスチャ成分を分離するStructure/Texture分離フィルタを組み込んだ技術（以下、Structure Deconvolution技術と称する）を適用することが考えられる。
【０００７】
Structure Deconvolution技術では、例えば、Structure/Texture分離フィルタの一種であるトータルバリエーション（Total Variation）フィルタにより、ブレが発生している画像（以下、ブレ画像と称する）のストラクチャ成分とテクスチャ成分を分離し、ストラクチャ成分に対してのみブレを補正することで、ノイズやリンギングの発生を抑制する。
【０００８】
ここで、ストラクチャ成分とは、画像がほとんど変化しない平坦部、画像が緩やかに変化する傾斜部、被写体の輪郭、エッジなど、画像の骨格を構成する成分を表す。また、テクチャ成分とは、被写体の細かな模様など画像のディテイルを構成する部分を表す。従って、ストラクチャ成分のほとんどが空間周波数の低い低周波成分に含まれ、テクスチャ成分のほとんどが空間周波数の高い高周波成分に含まれる。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Lu Yuan, Jian Sun, Long Quan, Heung-Yeung Shum, Image deblurring with blurred/noisy image pairs, ACM Transactions on Graphics (TOG), v.26 n.3, July 2007
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところで、上述したStructure Deconvolution技術においては、計算量を削減し、より処理を高速化することが望まれている。
【００１１】
本発明は、このような状況に鑑みてなされたものであり、画質の低下を抑制しつつ、より高速に画像のブレおよびボケを補正できるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の一側面の画像処理装置は、入力画像のG成分からなるG画像のストラクチャ成分のブレまたはボケを補正したG補正画像のテクスチャ成分を抽出するテクスチャ抽出手段と、前記入力画像のR成分からなるR画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したR補正画像、および、前記入力画像のB成分からなるB画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したB補正画像に、前記G補正画像のテクスチャ成分を合成する量を、前記入力画像のG成分の変動とR成分の変動との相関または前記入力画像のG成分の変動とB成分の変動との相関のうち少なくとも一方が弱い領域ほど小さくするマスク画像を生成するマスク生成手段と、前記マスク画像を用いて、前記R補正画像および前記B補正画像に前記G補正画像のテクスチャ成分を合成する合成手段とを含む。
【００１３】
前記マスク生成手段には、前記R画像の高周波成分と前記G画像の高周波成分との相関が弱い領域ほど、前記R補正画像に前記G補正画像のテクスチャ成分を合成する量を小さくする第１のマスク画像を生成させ、前記B画像の高周波成分と前記G画像の高周波成分との相関が弱い領域ほど、前記B補正画像に前記G補正画像のテクスチャ成分を合成する量を小さくする第２のマスク画像を生成させ、前記合成手段には、前記第１のマスク画像を用いて、前記R補正画像に前記G補正画像のテクスチャ成分を合成し、前記第２のマスク画像を用いて、前記B補正画像に前記G補正画像のテクスチャ成分を合成させることができる。
【００１４】
前記マスク生成手段は、前記R画像、前記G画像、および、前記B画像の高周波成分を抽出する高周波抽出手段と、前記R画像の高周波成分と前記G画像の高周波成分との差、および、前記B画像の高周波成分と前記G画像の高周波成分との差を検出する検出手段と、前記R画像の高周波成分と前記G画像の高周波成分との差が大きい領域ほど、前記R補正画像に前記G補正画像のテクスチャ成分を合成する量を小さくする前記第１のマスク画像を生成し、前記B画像の高周波成分と前記G画像の高周波成分との差が大きい領域ほど、前記B補正画像に前記G補正画像のテクスチャ成分を合成する量を小さくする前記第２のマスク画像を生成する生成手段とを含むようにすることができる。
【００１５】
前記R画像および前記B画像を縮小する縮小手段と、前記R画像を縮小したR縮小画像のストラクチャ成分、前記B画像を縮小したB縮小画像のストラクチャ成分、および、前記G画像のストラクチャ成分のブレまたはボケを補正する補正手段と、ブレまたはボケを補正した後の前記R縮小画像および前記B縮小画像を元の大きさに戻す拡大手段とをさらに含むようにすることができる。
【００１６】
本発明の一側面の情報処理方法は、画像処理装置が、入力画像のG成分からなるG画像のストラクチャ成分のブレまたはボケを補正したG補正画像のテクスチャ成分を抽出し、前記入力画像のR成分からなるR画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したR補正画像、および、前記入力画像のB成分からなるB画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したB補正画像に、前記G補正画像のテクスチャ成分を合成する量を、前記入力画像のG成分の変動とR成分の変動との相関または前記入力画像のG成分の変動とB成分の変動との相関のうち少なくとも一方が弱い領域ほど小さくするマスク画像を生成し、前記マスク画像を用いて、前記R補正画像および前記B補正画像に前記G補正画像のテクスチャ成分を合成するステップを含む。
【００１７】
本発明の一側面のプログラムは、入力画像のG成分からなるG画像のストラクチャ成分のブレまたはボケを補正したG補正画像のテクスチャ成分を抽出し、前記入力画像のR成分からなるR画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したR補正画像、および、前記入力画像のB成分からなるB画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したB補正画像に、前記G補正画像のテクスチャ成分を合成する量を、前記入力画像のG成分の変動とR成分の変動との相関または前記入力画像のG成分の変動とB成分の変動との相関のうち少なくとも一方が弱い領域ほど小さくするマスク画像を生成し、前記マスク画像を用いて、前記R補正画像および前記B補正画像に前記G補正画像のテクスチャ成分を合成するステップを含む処理をコンピュータに実行させる。
【００１８】
本発明の一側面によれば入力画像のG成分からなるG画像のストラクチャ成分のブレまたはボケを補正したG補正画像のテクスチャ成分が抽出され、前記入力画像のR成分からなるR画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したR補正画像、および、前記入力画像のB成分からなるB画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したB補正画像に、前記G補正画像のテクスチャ成分を合成する量を、前記入力画像のG成分の変動とR成分の変動との相関または前記入力画像のG成分の変動とB成分の変動との相関のうち少なくとも一方が弱い領域ほど小さくするマスク画像が生成され、前記マスク画像を用いて、前記R補正画像および前記B補正画像に前記G補正画像のテクスチャ成分が合成される。
【発明の効果】
【００１９】
本発明の一側面によれば、画像のブレおよびボケを補正することができる。特に、本発明の一側面によれば、画質の低下を抑制しつつ、より高速に画像のブレおよびボケを補正することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明を適用した情報処理装置の第１の構成例を示すブロック図である。
【図２】初期推定PSFの推定方法の概要を説明する図である。
【図３】ブレ画像についてケプストラムを生成する生成方法を説明する図である。
【図４】ケプストラムに対して、輝点の最大値を算出する算出方法を説明する図である。
【図５】初期推定PSFの推定が成功したか否かを判定する判定方法を説明する図である。
【図６】初期推定PSFを生成する生成方法を説明する図である。
【図７】ストラクチャUの初期値U_initの生成方法を説明する図である。
【図８】バイリニア補間による補間方法を示す図である。
【図９】サポート制限部が行うサポート制限処理を説明する図である。
【図１０】反復更新処理を説明するフローチャートである。
【図１１】本発明を適用した情報処理装置の第２の構成例を示すブロック図である。
【図１２】YUV空間について反復更新処理を行うことを説明する図である。
【図１３】本発明を適用した情報処理装置の第３の構成例を示すブロック図である。
【図１４】糊代処理を説明する第１の図である。
【図１５】糊代処理を説明する第２の図である。
【図１６】本発明を適用した画像処理装置の構成例を示すブロック図である。
【図１７】マスク生成部の詳細な構成例を示すブロック図である。
【図１８】画像補正処理を説明するフローチャートである。
【図１９】マスク生成処理を説明するフローチャートである。
【図２０】マスク画像を用いずに図１８の画像補正処理を行った場合に発生する偽色の例について説明するための図である。
【図２１】マスク画像を用いずに図１８の画像補正処理を行った場合に発生する偽色の例について説明するための図である。
【図２２】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第1の実施の形態
２．変形例１
３．第２の実施の形態
４．変形例２
【００２２】
＜１．第１の実施の形態＞
［情報処理装置の構成］
図１は、本発明の第１の実施の形態である情報処理装置１の構成例を示している。
【００２３】
この情報処理装置１には、JPEG（Joint Photographic Experts Group）圧縮により圧縮された画像であって、撮像時の手振れによりブレが生じているブレ画像が入力される。
【００２４】
情報処理装置１は、入力されるブレ画像を、複数のブロックgに分割し、各ブロック毎に、ブロックgに生じているブレ（の方向や長さ）を表す点広がり関数h、及びブロックgの平坦部とエッジ等の大振幅の成分を表すストラクチャfを初期推定する。
【００２５】
そして、情報処理装置１は、各ブロック毎に初期推定した点広がり関数h及びストラクチャfを、それぞれ、真の点広がり関数、及び真のストラクチャに近づくように、反復して更新する。
【００２６】
なお、以下において、k回だけ更新したときの点広がり関数hを、点広がり関数hkというとともに、k回だけ更新したときのストラクチャfを、ストラクチャfkという。
【００２７】
また、各ブロック毎の点広がり関数hkを区別する必要がない場合、単に、点広がり関数Hkという。また、各ブロック毎のストラクチャfkを区別する必要がない場合、単に、ストラクチャUkという。さらに、各ブロックgを区別する必要がない場合、単に、ブレ画像Gという。
【００２８】
情報処理装置１は、H_init生成部２１、サポート制限部２２、乗算部２３、加算部２４、重心補正（Center of gravity revision）部２５、H生成部２６、conv部２７、処理部２８、残差生成部２９、corr部３０、corr部３１、平均化(average)部３２、減算部３３、U_init生成部３４、U生成部３５、乗算部３６、及びトータルバリエーション(Total Variation)フィルタ３７により構成される。
【００２９】
H_init生成部２１には、ブレ画像Gが入力される。H_init生成部２１は、入力されたブレ画像Gを構成する画素の輝度値(Y成分)から、ケプストラム上で特徴点を検出し、PSFの直線推定を行い、その直線推定により得られた初期推定PSFを、点広がり関数Hの初期値H_init(=H0)として、サポート制限部２２、及びH生成部２６に供給する。
【００３０】
なお、H_init生成部２１は、入力されたブレ画像Gを構成する画素のY成分の他、R成分、G成分、B成分、並びに、R成分、G成分及びB成分それぞれを加算して得られるR+G+B成分から、ケプストラム上で特徴点を検出し、PSFの直線推定を行うようにすることが可能である。
【００３１】
サポート制限部２２は、H_init生成部２１からの初期値H_init(=初期推定PSF)の近傍のみを更新対象領域として更新させるためのサポート制限情報を生成し、乗算部２３に供給する。
【００３２】
ここで、サポート制限情報とは、初期推定PSFの近傍のみを更新対象領域とし、更新対象領域以外の領域ではゼロ固定とするマスク情報をいう。
【００３３】
乗算部２３は、サポート制限部２２からのサポート制限情報に基づいて、減算部３３からの減算結果Uko(G-Hk○Uk)-mean(Hk)のうち、初期推定PSFの周辺に存在する減算結果に対応するもののみを抽出し、加算部２４に供給する。
【００３４】
すなわち、例えば、乗算部２３は、サポート制限部２２からのサポート制限情報と、対応する、減算部３３からの減算結果Uko(G-Hk○Uk)-mean(Hk)どうしを乗算して、PSFの周辺に存在する減算結果に対応するもののみを抽出し、加算部２４に供給する。
【００３５】
なお、oは相関演算を表し、○は畳込み演算を表している。また、mean(Hk)は、点広がり関数Hkの平均値を表している。
【００３６】
加算部２４は、乗算部２３からの値Uko(G-Hk○Uk)-mean(Hk)のうち、値Uko(G-Hk○Uk)に、未定乗数λを乗算する。そして、加算部２４は、その結果得られる値λUko(G-Hk○Uk)-mean(Hk)に、H生成部２６からの点広がり関数Hkを加算し、その結果得られる値Hk+λUko(G-Hk○Uk)-mean(Hk)に対して、Lagrangeの未定乗数法を適用し、未定乗数λの解として値aを算出する。
【００３７】
加算部２４は、Lagrangeの未定乗数法により算出された値aを、値Hk+λUko(G-Hk○Uk)-mean(Hk)に代入し、その結果得られる値Hk+aUko(G-Hk○Uk)-mean(Hk)を、重心補正部２５に供給する。
【００３８】
これにより、重心補正部２５には、ブレ画像を構成する複数のブロック毎に得られたHk+aUko(G-Hk○Uk)-mean(Hk)=Hk+ΔHkが供給される。
【００３９】
重心補正部２５は、点広がり関数Hk+△Hk（但し、△Hkは更新分）の重心を、バイリニア補間により、画面の中心（点広がり関数の初期値H_initの重心）に移動させ、重心を移動させた点広がり関数Hk+△Hkを、H生成部２６に供給する。なお、詳細は、図８を参照して後述する。
【００４０】
H生成部２６は、H_init生成部２１からの初期値H_initを、点広がり関数H0として、加算部２４、conv部２７、及びcorr部３０に供給する。
【００４１】
また、H生成部２６は、重心補正部２５からの点広がり関数Hk+△Hkを、更新後の点広がり関数Hk+1として、加算部２４、conv部２７、及びcorr部３０に供給する。
【００４２】
なお、H生成部２６は、重心補正部２５から、点広がり関数Hk-1を更新して得られる点広がり関数Hk-1+△Hk-1が供給された場合、同様にして、重心補正部２５からの点広がり関数Hk-1+△Hk-1を、更新後の点広がり関数Hkとして、加算部２４、conv部２７、及びcorr部３０に供給する。
【００４３】
conv部２７は、H生成部２６からの点広がり関数Hkと、U生成部３５からのストラクチャUkとの畳み込み演算を行い、その演算結果Hk○Ukを、処理部２８に供給する。
【００４４】
処理部２８は、入力されるブレ画像Gから、conv部２７からの演算結果Hk○Ukを減算し、その減算結果G-Hk○Ukを、残差生成部２９に供給する。
【００４５】
残差生成部２９は、処理部２８からの減算結果G-Hk○Ukを、残差Ekとして、corr部３０及びcorr部３１に供給する。
【００４６】
corr部３０は、残差生成部２９からの残差Ekと、H生成部２６からの点広がり関数Hkの相関演算を行い、その演算結果Hko(G-Hk○Uk)を、乗算部３６に供給する。
【００４７】
corr部３１は、残差生成部２９からの残差Ekと、U生成部３５からのストラクチャUkの相関演算を行い、その演算結果Uko(G-Hk○Uk)を、減算部３３に供給する。
【００４８】
平均化部３２には、H生成部２６から、conv部２７、処理部２８、残差生成部２９、及びcorr部３１を介して、点広がり関数Hkが供給される。
【００４９】
平均化部３２は、corr部３１からの点広がり関数Hkの平均値mean(Hk)を算出し、減算部３３に供給する。
【００５０】
減算部３３は、corr部３１から供給される演算結果Uko(G-Hk○Uk)から、平均化部３２からのmean(Hk)を減算し、その結果得られる減算結果Uko(G-Hk○Uk)-mean(Hk)を、乗算部２３に供給する。
【００５１】
U_init生成部３４は、H_init生成部２１により生成された初期値H_init(=初期推定PSF)を用いて、入力されるブレ画像G（ブロックg）を、初期推定PSFサイズで縮小し、畳み込んだPSFを１点に戻すことにより、ブレ画像Gのブレが除去（低減）された画像であって、縮小された画像を生成する。
【００５２】
また、U_init生成部３４は、縮小された画像を、初期推定PSFサイズで拡大することにより、拡大によりボケた画像であって、ブレが除去された画像を生成し、ストラクチャUの初期値U_initに設定して、U生成部３５に供給する。
【００５３】
なお、後述する図７を参照して、U_init生成部３４が、初期値U_initを設定する方法の詳細を説明する。
【００５４】
U生成部３５は、トータルバリエーションフィルタ３７からのストラクチャUk+1を、conv部２７、corr部３１及び乗算部３６に供給する。
【００５５】
また、U生成部３５には、トータルバリエーションフィルタ３７からストラクチャUkが供給される。U生成部３５は、トータルバリエーションフィルタ３７からのストラクチャUkを、conv部２７、corr部３１及び乗算部３６に供給する。
【００５６】
乗算部３６は、corr部３０からの演算結果Hk○(G-Hk○Uk)に、U生成部３５からのストラクチャUkを乗算し、その乗算結果Uk{Hk○(G-Hk○Uk)}を、更新後のストラクチャとして、トータルバリエーションフィルタ３７に供給する。
【００５７】
トータルバリエーションフィルタ３７は、乗算部３６からの乗算結果Uk{Hk○(G-Hk○Uk)}を、ストラクチャ成分とテクスチャ成分に分離し、分離により得られるストラクチャ成分を、次の更新対象であるストラクチャUk+1として、U生成部３５に供給する。
【００５８】
上述したように、conv部２７乃至corr部３１、U生成部３５、及びトータルバリエーションフィルタ３７等は、H_init生成部２１により生成された点広がり関数Hの初期値H_init(=H0)を用いて、Richardson-Lucy法によるストラクチャU0の更新を行う。
【００５９】
また、conv部２７乃至corr部３１、U生成部３５、及びトータルバリエーションフィルタ３７等は、点広がり関数Hk-1が更新された場合、更新により得られた最新の点広がり関数Hkを用いて、Richardson-Lucy法によるストラクチャUkの更新を行う。
【００６０】
Richardson-Lucy法では、ストラクチャUkの更新により得られたストラクチャUk+1について、増幅されたノイズや発生したリンギングを、トータルバリエーションフィルタ３７による、ストラクチャ成分（structure）とテクスチャ成分(texture)との分離により落とすので、ノイズとリンギングを大幅に抑制することができる。
【００６１】
さらに、トータルバリエーションフィルタ３７については、「Structure-Texture Image Decomposition Modeling,Algorithms, and Parameter Selection(Jean-Fran_cois Aujol)」に詳細に記載されている。
【００６２】
なお、トータルバリエーションフィルタ３７には、ストラクチャ成分とテクスチャ成分との境界を示すフィルタ閾値がパラメータのひとつとして設定され、そのパラメータを調整することにより、出力されるストラクチャ成分(structure)に、より多くのディテイル（detail）を含ませることが可能である。
【００６３】
しかし、ストラクチャUkと、後述する点広がり関数Hkとを、交互に反復的に更新する反復更新処理（図１０において後述）の初期段階では、点広がり関数Hkが充分に更新されていないため、点広がり関数Hkには多くの誤差を含むことがある。
【００６４】
したがって、誤差を多く含む点広がり関数Hkを用いてストラクチャUkの更新を行うと、更新により得られるストラクチャUk+1には、点広がり関数Hkに含まれる誤差に応じたリンギング等が発生してしまう。
【００６５】
同様に、ストラクチャUkについても、点広がり関数Hk-1に含まれる誤差に応じたリンギング等が発生している。
【００６６】
そして、リンギング等が発生したストラクチャUkを用いて更新される点広がり関数Hkについても同様に、悪影響を及ぼしてしまう。
【００６７】
そこで、点広がり関数Hkが充分に更新されていない間は、トータルバリエーションフィルタ３７に設定されるフィルタ閾値を高く設定しておき、より強力に、リンギングとノイズを落とし、更新されるストラクチャUが、リンギング等の発生により劣化しないようにすることが可能である。
【００６８】
そして、ある程度、点広がり関数Hkが更新されて、より真の点広がり関数に近づくと、トータルバリエーションフィルタ３７に設定されるフィルタ閾値を低く設定して、ディテイルの復元をより真の点広がり関数Hkで行うようにする。
【００６９】
すなわち、点広がり関数Hkが充分に更新されていない間は、トータルバリエーションフィルタ３７から出力されるストラクチャUkを構成する画素のうち、隣接する画素どうしの輝度の差分絶対値和を表すトータルバリエーション（total variation）が小さくなるようにフィルタ閾値を高く設定する。
【００７０】
また、ある程度、点広がり関数Hkが更新されて、より真の点広がり関数に近づくと、トータルバリエーションフィルタ３７から出力されるストラクチャUkのトータルバリエーションがこれ以上小さくならないようにフィルタ閾値を低く設定する。
【００７１】
これにより、トータルバリエーションフィルタ３７では、ストラクチャUkに含まれるエッジを残しつつ、ストラクチャUkを平滑化することにより、ストラクチャUに含まれるリンギングとノイズを落とすことが可能となる。
【００７２】
なお、第１の実施の形態では、点広がり関数Hkの更新の程度に拘わらず、トータルバリエーションフィルタ３７は、フィルタ閾値を充分低くした状態で、ストラクチャUkについて増幅されたノイズや発生したリンギングを、トータルバリエーションフィルタ３７による、ストラクチャ成分とテクスチャ成分との分離により落とすように構成されているものとする。
【００７３】
H生成部２６乃至残差生成部２９、corr部３１、及びU生成部３５等は、ストラクチャUkの初期値U_initを用いて、最急降下法（landweber法）による点広がり関数Hkの更新を行う。
【００７４】
また、H生成部２６乃至残差生成部２９、corr部３１、及びU生成部３５等は、ストラクチャUk-1が更新された場合、更新により得られた最新のストラクチャUkを用いて、最急降下法（landweber法）による点広がり関数Hkの更新を行う。
【００７５】
以下、ストラクチャUkとして、ブレ画像を構成する複数のブロックのうちの所定のブロックgのストラクチャfk（更新により得られた最新のストラクチャ）を用いて、最急降下法による点広がり関数Hkの更新として、所定のブロックgの点広がり関数hkを更新する処理を説明する。
【００７６】
ここで、現時点のストラクチャfkをfとし、現時点の点広がり関数hkをhとすると、コスト関数は、次式（１）により与えられる。
【００７７】
【数１】
【００７８】
なお、式（１）において、||・||はノルムを表しており、*は乗算を表している。
【００７９】
現時点のストラクチャfを固定した場合、式（１）のe2を最小にすることを目的として、次式（２）のように、式（１）を変数h(点広がり関数h)により偏微分して、降下方向を求める。
【００８０】
【数２】
【００８１】
現時点での点広がり関数hを、式（２）により求めた降下方向に沿って検索していくと、式（２）の最小値が存在する。現在の点広がり関数hに対して、次式（３）のように、式（２）により求めた降下方向に、ステップサイズλだけ進めさせると、更新された点広がり関数hを求めることができる。
【００８２】
【数３】
【００８３】
なお、式（２）及び式（３）において、白丸（。）は相関演算子を表しており、バツ印（×）を白丸（○）で囲んだ記号は、畳み込み演算を表している。
【００８４】
また、式（３）において、点広がり関数hk+1は、更新後の点広がり関数を表しており、点広がり関数hkは、現時点での点広がり関数h（更新前の点広がり関数）を表している。さらに、ストラクチャfkは、現時点でのストラクチャfを表している。
【００８５】
しかし、点広がり関数hk+1は、ブレ画像を構成する複数のブロックそれぞれの点広がり関数hk+1(i)において、Σii=1h(i)=1となるように強制されるため、H生成部２６乃至残差生成部２９、corr部３１、及びU生成部３５等により形成されるループで正規化される。したがって、点広がり関数hkの更新分△hkが、点広がり関数hkと同じ符号になったとき、正規化の結果、点広がり関数hk+1は更新前の値hkに戻ってしまう。
【００８６】
式（３）に、
【数４】
の拘束を加えて、Lagrange(ラグランジュ)の未定乗数法を適用すると、次式（４）が導出される。
【００８７】
【数５】
【００８８】
なお、式（４）において、mean(h)とは、hkの平均値を示している。mean(h)は、減算部３３により減算される。
【００８９】
また、丸め誤差により、点広がり関数hkを更新しているうちに、重心が画面中心から外れてしまうことがあるため、不正確な残差eが得られてしまい、ストラクチャfkの更新（復元)に悪影響を及ぼしてしまう。したがって、重心補正部２５は、１画素（pix）以下のバイリニア補間で、更新後の点広がり関数hk+△hk（=hk+1）の重心が画面中心にくるように、平行移動を行っている。
【００９０】
情報処理装置１は、上述したように、ブレ画像を構成するブロックから、ブレを除去したブロックを表すものとして、更新後のストラクチャUkを算出する。そして、情報処理装置１は、算出したストラクチャUkそれぞれを、１枚の画像となるように構成することにより、ブレが除去された原画像を取得する。
【００９１】
［初期推定PSFの推定方法］
次に、図２を参照して、H_init生成部２１が行う初期推定PSFの推定方法の概要を説明する。
【００９２】
ブレ画像は、ブレが生じていない原画像（ブレ画像に対応する原画像）とPSFとの畳み込みによりモデル化することができる。
【００９３】
直線PSFのスペクトラムが、ブレの長さを周期的に零点に落ち込む特徴を持ち、原画像とPSFの畳み込みにより、ブレ画像のスペクトルもブレの長さを周期に零点に落ち込む。
【００９４】
その零点に落ち込む間隔と方向を求めることにより、PSFの直線ブレの長さと方向を近似することができる。そこで、ブレ画像をFFT(Fast Fourier Transform、高速フーリエ変換)してブレ画像のスペクトラムを算出し、算出したスペクトラムのLog（自然対数）をとることにより、原画像のスペクトラムと、PSFのスペクトラム（MTF）の和に変換する。
【００９５】
ここで必要な情報はMTFのみなので、ブレ画像のスペクトラムに対して多くのパッチを足し合わせて平均化することにより、原画像のスペクトルの特徴が失われて、MTFの特徴のみを表すことが可能となる。
【００９６】
次に、図３乃至図６を参照して、初期推定PSFの具体的な推定方法を説明する。
【００９７】
図３は、ブレ画像についてケプストラムを生成する生成方法を示している。
【００９８】
H_init生成部２１は、入力されるブレ画像を、複数のブロックに分割し、分割した各ブロック毎に、FFT(Fast Fourier Transform、高速フーリエ変換)を行い、各ブロックそれぞれに対応するスペクトルを算出する。
【００９９】
すなわち、例えば、H_init生成部２１は、ブレ画像を分割して得られるブロックを構成する画素のY成分、R成分、G成分、B成分、及びR+G+B成分のうちのいずれかに、FFTを行い、対応するスペクトルを算出する。
【０１００】
また、H_init生成部２１は、各ブロックそれぞれに対応するスペクトルの２乗和について自然対数をとり、JPEG圧縮時に生じた歪みを除去するJPEG除去フィルタにより、歪みを除去する。これは、JPEG圧縮時に生じた歪みにより、スペクトル精度に影響を及ぼしてしまうことを防止することによる。
【０１０１】
さらに、H_init生成部２１は、JPEG除去フィルタによる歪み除去後の、各ブロックgそれぞれに対応するスペクトルgsの２乗和の自然対数logΣ|gs|2に対して、ブレによる周期的な落ち込みを際立たせるために、HPF（high pass filter）によるフィルタリング処理を行い、ブレによるなだらかな変化を低減させる。
【０１０２】
H_init生成部２１は、移動平均で差し引いた残差成分、すなわち、HPFによるフィルタリング処理が行われた後の、スペクトルの２乗和の自然対数logΣ|gs|2に対して、IFFT(Inverse Fast Fourier Transform、逆高速フーリエ変換)を行い、一種のケプストラムを生成する。
【０１０３】
より具体的には、H_init生成部２１は、HPFによるフィルタリング処理が行われた後の、スペクトルの２乗和の自然対数logΣ|gs|2において、正負の符号を逆転させる。そして、H_init生成部２１は、正負の符号が逆転されたlogΣ|gs|2のうち、負の符号を有する部分を破棄し、正の符号を有する部分のみに基づいて、一種のケプストラムを生成する。
【０１０４】
そして、H_init生成部２１は、生成したケプストラムに対して、輝点の最大値を算出する。
【０１０５】
すなわち、H_init生成部２１は、生成したケプストラムのうち、最大の値を有するケプストラムを、輝点の最大値として算出する。
【０１０６】
次に、図４は、生成したケプストラムに対して、輝点の最大値を算出する算出方法を示している。
【０１０７】
H_init生成部２１は、図４Aに示すように、周りの画素と比較して、輝度が大きい複数の画素の塊に強く反応するスポットフィルタによるフィルタリング処理を、生成したケプストラムに対して行う。
【０１０８】
また、H_init生成部２１は、図４Bに示すように、図４Aに示したスポットフィルタによるフィルタリング処理後のケプストラムから、最大値を含む一山を、スポットとして取り出す。
【０１０９】
さらに、H_init生成部２１は、図４Cに示すように、スポット位置を決定する。なお、スポット位置とは、最大値を含む一山を構成する複数のケプストラムからなるスポットの重心位置を表す。
【０１１０】
次に、図５は、初期推定PSFの推定が成功したか否かを判定する判定方法を説明する。なお、初期推定PSFの推定方法については、後述する図６を参照して説明する。
【０１１１】
輝点は原点対称なので、原点対称位置にもうひとつの特徴点が存在する。すなわち、特徴点として、原点を対称とする２つのスポットが存在する。
【０１１２】
この２つのスポットに接する最小正方形範囲内で閾値を超えたものが存在する場合、すなわち、最小正方形範囲内で、閾値を超える値を有するケプストラムが存在する場合、H_init生成部２１は、初期推定PSFの初期推定が失敗したと判定する。
【０１１３】
この場合、H_init生成部２１は、初期推定した初期推定PSFを、ブレの分布がガウス分布（正規分布）に従うPSFに近似し、その結果得られるPSFを、初期値H_initに設定する。
【０１１４】
また、２つのスポットに接する最小正方形範囲内で閾値を超えたものが存在しない場合、すなわち、最小正方形範囲内で、閾値を超える値を有するケプストラムが存在しない場合、H_init生成部２１は、初期推定PSFの初期推定が成功したと判定し、初期推定PSFを初期値H_initに設定する。
【０１１５】
次に、図６は、２つのスポットに基づいて、初期推定PSFを推定（生成）する推定方法を示している。
【０１１６】
２つのスポットに接する最小正方形範囲内で閾値を超えたものが存在しない場合、H_init生成部２１は、図６に示すように、スポット位置を原点対称に結ぶ直線を、初期推定PSFとして生成し、初期値H_initに設定する。
【０１１７】
［ストラクチャUkの初期値U_initの生成方法］
次に、図７を参照して、U_init生成部３４が行う、ストラクチャUkの初期値U_initの生成方法を説明する。
【０１１８】
U_init生成部３４は、入力されるブレ画像を、初期推定PSFのサイズで縮小することにより縮小画像を生成し、生成した縮小画像を、初期推定PSFのサイズで拡大することにより拡大画像を生成する。そして、生成した拡大画像を、ストラクチャ成分とテクスチャ成分に分離し、分離により得られたストラクチャ成分を、ストラクチャUの初期値U_initとして、U生成部３５に供給する。
【０１１９】
すなわち、例えば、U_init生成部３４は、入力されるブレ画像を構成するブロックを、H_init生成部２１から供給される、ブロックの初期推定PSFを１点に縮小する縮小サイズと同一の縮小サイズで縮小することにより、ブロックに生じているブレが除去（低減）された縮小ブロックを生成する。
【０１２０】
そして、U_init生成部３４は、生成した縮小ブロックを、１点に縮小された初期推定PSFを、元の初期推定PSFに拡大する拡大サイズと同一の拡大サイズで拡大することにより、拡大によるボケが生じているが、ブレは生じていない拡大ブロックを生成する。
【０１２１】
U_init生成部３４は、生成した拡大ブロックを、初期値U_init（ストラクチャU0）として、U生成部３５に供給する。
【０１２２】
［点広がり関数の重心の補正方法］
次に、図８を参照して、重心補正部２５が行う、重心を補正する補正方法を説明する。
【０１２３】
図８は、バイリニア補間による補間方法を示している。
【０１２４】
上述したように、H生成部２６乃至残差生成部２９、corr部３１、及びU生成部３５等が、点広がり関数Hkを更新しているうちに、丸め誤差により、重心が画面中心から外れてしまうことがあるため、重心補正部２５は、図８に示すように、バイリニア補間により、点広がり関数Hk+△Hkの重心が画面中心にくるように平行移動を行う。
【０１２５】
［サポート制限処理］
次に、図９を参照して、サポート制限部２２が行うサポート制限処理を説明する。
【０１２６】
H生成部２６乃至残差生成部２９、corr部３１、及びU生成部３５等が、点広がり関数Hkを更新するときに、更新分の△Hkの自由度が高く、図９Aに示すように、真のPSF(点広がり関数)から離れた場所に、更新後の点広がり関数Hk+△Hkが表すブレが正確に反映されていない偽画素が現れる。そこで、サポート制限部２２は、図９Bに示すように、初期推定PSFの近傍だけ更新を許可し、初期推定PSFの近傍以外の領域では、更新分△Hkに画素が存在しても、マスクすることで、初期推定PSFの近傍だけを更新させるように、サポート(support)制限を加えることとしている。
【０１２７】
ところで、点広がり関数Hkの更新ループにおいて、ストラクチャUkの更新分△Ukは徐々に小さくなり、ある程度小さくなると、残差Ek=G-Hk*(Uk+△Uk)が飽和してしまい（残差Eが殆ど変化しなくなってしまい）、点広がり関数Hkの更新が停止する。したがって、トータルバリエーションフィルタ３７に設定されたフィルタ閾値を調整することにより、意図的に残差Ekを下げて（小さくして）、それをトリガにして、点広がり関数Hkの更新も再開させる。
【０１２８】
また、トータルバリエーションフィルタ３７において、最終出力がされた場合には、フィルタ閾値を低くする（逓減させる）ことで、ストラクチャ出力によるディテイル不足を克服することが可能となる。
【０１２９】
点広がり関数Hkの更新時に使用するストラクチャUkの情報は、輝度Y（R成分、G成分、及びB成分それぞれに対する重み付けによる乗算で得られる乗算結果の総和を表すY成分）の他に、R/G/B３チャンネルの和（R成分、G成分、及びB成分の総和）を使用することもできる。輝度Yだけで更新するときとの違いは、R/Bチャンネルだけブレが反映されるエッジが存在するようなブレ画像に対しても、Gチャンネルと同様に大きなフィードバックが得られることである。
【０１３０】
また、点広がり関数Hkの更新時に使用するストラクチャUkの情報は、R成分、G成分、及びB成分を使用することができる。
【０１３１】
［反復更新処理］
次に、図１０のフローチャートを参照して、情報処理装置１が行う反復更新処理を説明する。
【０１３２】
なお、反復更新処理においては、点広がり関数HkとストラクチャUkとを別々に更新していくのではなく、点広がり関数Hk及びストラクチャUkを、互いの初期値に基づいて、交互に更新していくアルゴリズムである。
【０１３３】
ステップＳ３１及びステップＳ３２において、初期値H_init，初期値U_initの初期推定、及び、各パラメータ、グローバル変数等の初期化を行う。
【０１３４】
すなわち、例えば、ステップＳ３１において、H_init生成部２１は、入力されたブレ画像Gから、ケプストラム上で特徴点を検出し、PSFの直線推定を行い、その直線推定により得られた初期推定PSFを、点広がり関数Hの初期値H_initに設定して、サポート制限部２２、及びH生成部２６に供給する。
【０１３５】
ステップＳ３２において、U_init生成部３４は、H_init生成部２１により設定された初期値H_init(=初期推定PSF)を用いて、入力されるブレ画像を、初期推定PSFサイズで縮小し、畳み込んだPSFを１点に戻すことにより、ブレ画像のブレが除去された画像であって、縮小された画像を生成する。
【０１３６】
また、U_init生成部３４は、縮小された画像を、初期推定PSFサイズで拡大することにより、補間によりボケた画像であって、ブレが除去された画像を生成し、ストラクチャUkの初期値U_initに設定して、U生成部３５に供給する。
【０１３７】
すなわち、例えば、U_init生成部３４は、入力されるブレ画像を構成するブロックを、H_init生成部２１から供給される、ブロックの初期推定PSFを１点に縮小する縮小サイズと同一の縮小サイズで縮小することにより、ブロックに生じているブレが除去（低減）された縮小ブロックを生成する。
【０１３８】
そして、U_init生成部３４は、生成した縮小ブロックを、１点に縮小された初期推定PSFを、元の初期推定PSFに拡大する拡大サイズと同一の拡大サイズで拡大することにより、拡大によるボケが生じているが、ブレは生じていない拡大ブロックを生成する。
【０１３９】
U_init生成部３４は、生成した拡大ブロックを、初期値U_init（ストラクチャU0）として、U生成部３５に供給する。
【０１４０】
ストラクチャUk及び点広がり関数Hkの両方とも正確にわかっていない状況の中で、ステップＳ３３において、ストラクチャUkは、最新の点広がり関数Hkの情報を用いて更新され、ステップＳ３４において、点広がり関数Hkは、最新のストラクチャUkの情報を用いて更新される。
【０１４１】
この繰り返しにより、ストラクチャUkと点広がり関数Hkとを交互に更新していくと、ストラクチャUkは、より真のストラクチャUへ、点広がり関数Hkは、より真の点広がり関数Hへと収束していく。
【０１４２】
すなわち、ステップＳ３３において、conv部２７乃至corr部３１、U生成部３５、及びトータルバリエーションフィルタ３７等は、点広がり関数Hkの初期値H_init（=初期推定PSF）を用いて、従来のRichardson-Lucy法によるストラクチャU0の更新を行う。
【０１４３】
ステップＳ３３において、conv部２７は、H生成部２６からの点広がり関数Hkの初期値H_initである点広がり関数H0と、U生成部３５からのストラクチャU0との畳み込み演算を行い、その演算結果H0○U0を、処理部２８に供給する。
【０１４４】
処理部２８は、入力されるブレ画像Gから、conv部２７からの演算結果H0○U0を減算し、その減算結果G-H0○U0を、残差生成部２９に供給する。
【０１４５】
残差生成部２９は、処理部２８からの減算結果G-H0○U0を、corr部３０及びcorr部３１に供給する。
【０１４６】
corr部３０は、残差生成部２９からの減算結果G-H0○U0と、H生成部２６からの点広がり関数H0との相関演算を行い、その演算結果H0o(G-H0○U0)を、乗算部３６に供給する。
【０１４７】
乗算部３６は、corr部３０からの演算結果H0o(G-H0○U0)に、U生成部３５からのストラクチャU0を乗算し、その乗算結果U0{H0o(G-H0○U0)}を、更新後のストラクチャとして、トータルバリエーションフィルタ３７に供給する。
【０１４８】
トータルバリエーションフィルタ３７は、乗算部３６からの乗算結果U0{H0o(G-H0○U0)}に対して、増幅されたノイズや発生したリンギングを抑制する処理を行う。
【０１４９】
そして、トータルバリエーションフィルタ３７は、その処理により得られた、乗算結果U0{H0o(G-H0○U0)}のストラクチャ成分及びテクスチャ成分のうち、ストラクチャ成分を、U生成部３５に供給する。
【０１５０】
U生成部３５は、トータルバリエーションフィルタ３７から供給されるストラクチャ成分を、次のストラクチャの更新対象であるストラクチャU1として取得する。
【０１５１】
そして、U生成部３５は、取得したストラクチャU1をさらに更新するために、ストラクチャU1を、conv部２７、corr部３１、及び乗算部３６に供給する。
【０１５２】
ステップＳ３４において、H生成部２６乃至残差生成部２９、corr部３１、及びU生成部３５等は、最急降下法により、ストラクチャUkの初期値U_initを用いて、点広がり関数H0の更新を行う。
【０１５３】
なお、上述したステップＳ３３において、残差生成部２９は、処理部２８からの減算結果G-H0○U0を、corr部３０の他、corr部３１に供給している。
【０１５４】
ステップＳ３４では、corr部３１は、残差生成部２９からの減算結果G-H0○U0と、U生成部３５からのストラクチャU0との相関演算を行い、その演算結果U0o(G-H0○U0)を、減算部３３に供給する。
【０１５５】
また、corr部３１は、H生成部２６から、conv部２７、処理部２８、及び残差生成部２９を介して供給された点広がり関数H0を、平均化部３２に供給する。
【０１５６】
平均化部３２は、corr部３１からの点広がり関数H0の平均値mean(H0)を算出し、減算部３３に供給する。
【０１５７】
減算部３３は、corr部３１から供給される演算結果U0o(G-H0○U0)から、平均化部３２からのmean(H0)を減算し、その結果得られる減算結果U0o(G-H0○U0)-mean(H0)を、乗算部２３に供給する。
【０１５８】
乗算部２３は、サポート制限部２２からのサポート制限情報に基づいて、減算部３３からの減算結果U0o(G-H0○U0)-mean(H0)のうち、初期推定PSFの周辺に存在する減算結果に対応するもののみを抽出し、加算部２４に供給する。
【０１５９】
加算部２４は、乗算部２３からの値Uko(G-Hk○Uk)-mean(Hk)のうち、値Uko(G-Hk○Uk)に、未定乗数λを乗算する。そして、加算部２４は、その結果得られる値λUko(G-Hk○Uk)-mean(Hk)に、H生成部２６からの点広がり関数Hkを加算し、その結果得られる値Hk+λUko(G-Hk○Uk)-mean(Hk)に対して、Lagrangeの未定乗数法を適用し、未定乗数λの解として値aを算出する。
【０１６０】
加算部２４は、Lagrangeの未定乗数法により算出された値aを、値Hk+λUko(G-Hk○Uk)-mean(Hk)に代入し、その結果得られる値Hk+aUko(G-Hk○Uk)-mean(Hk)を、重心補正部２５に供給する。
【０１６１】
これにより、重心補正部２５には、ブレ画像を構成する複数のブロック毎に得られたH0+aU0o(G-H0○U0)-mean(H0)=H0+ΔH0が供給される。
【０１６２】
重心補正部２５は、点広がり関数H0+△H0の重心を、バイリニア補間により、画面の中心（点広がり関数の初期値H_initの重心）に移動させ、重心を移動させた点広がり関数H0+△H0を、H生成部２６に供給する。
【０１６３】
H生成部２６は、重心補正部２５からの点広がり関数H0+△H0を、更新後の点広がり関数H1として取得する。
【０１６４】
そして、H生成部２６は、取得した点広がり関数H1をさらに更新するために、点広がり関数H1を、加算部２４、conv部２７、及びcorr部３０に供給する。
【０１６５】
ステップＳ３５において、反復更新処理は終了するか否かを判定する。すなわち、例えば、更新後のストラクチャUk（又は点広がり関数Hkの少なくとも一方）は収束したか否かを判定する。そして、更新後のストラクチャUkが収束していないと判定された場合、処理はステップＳ３３に戻る。
【０１６６】
なお、更新後のストラクチャUkが収束したか否かは、例えば、残差生成部２９により、ブレ画像を構成する複数のブロックそれぞれに対応する値G-Hk○Uk（=Ek）の２乗和Σ|Ek|2が、所定の値未満であるか否かに基づいて判定される。
【０１６７】
また、トータルバリエーションフィルタ３７が、乗算部３６からのストラクチャUkを構成する画素のうち、隣接画素どうしの輝度の差分絶対値和を表すトータルバリエーションが、増加から減少に転じたか否かに基づいて判定するようにしてもよい。
【０１６８】
ステップＳ３３では、前回のステップＳ３４の処理による更新後の点広がり関数Hk（例えば、H1）を用いて、前回のステップＳ３３の処理による更新後のストラクチャUk（例えば、U1）の更新を、従来のRichardson-Lucy法により行う。
【０１６９】
すなわち、ステップＳ３３では、conv部２７乃至corr部３１、U生成部３５、及びトータルバリエーションフィルタ３７等は、前回のステップＳ３４の処理による更新後の点広がり関数Hk（例えば、H1）を用いて、従来のRichardson-Lucy法によるストラクチャUk（例えば、U1）の更新を行う。
【０１７０】
ステップＳ３３の処理の終了後、ステップＳ３４では、前回のステップＳ３３の処理による更新後のストラクチャUk（例えば、U1）を用いて、前回のステップＳ３４の処理による更新後の点広がり関数Hk（例えば、H1）の更新を、最急降下法により行う。
【０１７１】
すなわち、ステップＳ３４では、H生成部２６乃至残差生成部２９、corr部３１、及びU生成部３５等は、最急降下法により、前回のステップＳ３３の処理による更新後のストラクチャUk（例えば、U1）を用いて、点広がり関数Hk（例えば、H1）の更新を行う。
【０１７２】
処理は、ステップＳ３４からステップＳ３５に進み、以下、同様の処理が繰り返される。
【０１７３】
なお、ステップＳ３５において、更新されたストラクチャUkが収束していると判定された場合、反復更新処理は終了される。
【０１７４】
以上説明したように、反復更新処理では、ストラクチャUkと点広がり関数Hkの更新を反復して行うことにより、ストラクチャUkを真のストラクチャUに収束させる（及び点広がり関数Hkを真の点広がり関数Hに収束させる）こととしたので、最終的に得られるストラクチャUkに発生するリンギングやノイズを抑制することが可能となる。
【０１７５】
また、初期値H_initとして得られるPSF（=点広がり関数H0）が不正確な状態からでも、正確なPSF、すなわち、真のPSF又は真のPSFに近いPSFを求めることが可能となる。
【０１７６】
さらに、PSFのサポート制限により、初期値H_init(=初期推定PSF)が初期推定の方向に沿って更新されるため、発散することなく、真のPSF又は真のPSFに近いPSFを求めることが可能となる。
【０１７７】
＜２．変形例１＞
［反復更新処理の変形例］
なお、反復更新処理では、例えば、ステップＳ３１において、初期値H_init（=点広がり関数H0）の推定（生成）に成功した場合には、ステップＳ３３において、初期値H_initでストラクチャU0の更新を行い、ステップＳ３１において、初期値H_initの推定に失敗した場合、ステップＳ３３において、PSFをガウシアン（ガウス分布）により近似し、近似したPSFを初期値H_initとして、ストラクチャU0の更新を行うようにすることが可能である。この場合、初期値H_init(=初期推定PSF)のズレによるストラクチャU0の劣化を防止することができる。
【０１７８】
また、ステップＳ３３では、conv部２７乃至corr部３１、U生成部３５、及びトータルバリエーションフィルタ３７等が、従来のRichardson-Lucy法によるストラクチャUkの更新を行うこととしたが、Richardson-Lucy法による処理を高速化した従来のR-L高速アルゴリズムを用いることとすれば、より迅速に、ストラクチャUkを、真のストラクチャに更新することが可能となる。
【０１７９】
さらに、図１０の反復更新処理において、ステップＳ３５では、更新後のストラクチャUkが収束したか否かに応じて、反復更新処理を終了するか否かを判定することとしたが、これに限定されない。
【０１８０】
すなわち、例えば、ステップＳ３５では、ストラクチャUk及び点広がり関数Hkを所定の回数だけ更新したか否かを判定し、所定の回数だけ更新したと判定された場合に、反復更新処理を終了させるようにしてもよい。なお、所定の回数としては、例えば、精度が低いPSFでもリンギングが発生しない程度の回数か、トータルバリエーションフィルタ３７により僅かに発生したリンギングを取り消すことが出来る程度の回数であることが望ましい。
【０１８１】
［residual deconvolutionの適用方法］
ところで、本発明の第１の実施の形態では、トータルバリエーションフィルタ３７のフィルタ閾値を充分低くした状態で得られるストラクチャUkを最終出力としたが、ブレ画像と更新済みのストラクチャUkを用いて、従来のresidual deconvolutionによる方法を行うことも可能である。
【０１８２】
図１１は、ブレ画像と更新済みのストラクチャUkを用いて、従来のresidual deconvolutionによる方法を行う情報処理装置６１の構成例を示している。
【０１８３】
この情報処理装置６１は、conv部９１、減算部９２、加算部９３、R-Ldeconv部９４、減算部９５、加算部９６、オフセット(offset)部９７、及びゲインマップ（Gain Map）９８により構成される。
【０１８４】
conv部９１には、更新済みのHkと更新済みのUkとが供給される。Conv部９１は、更新済みのHkと、更新済みのUkとの畳込み演算を行い、その結果得られる値Hk○Ukを、減算部９２に供給する。
【０１８５】
減算部９２には、ブレ画像Gが供給される。減算部９２は、供給されるブレ画像Gから、conv部９１からの値Hk○Ukを減算し、その減算結果G-Hk○Ukを、残差成分（residual）として、加算部９３に供給する。
【０１８６】
加算部９３は、減算部９２からの残差成分G-Hk○Ukを正の値にするために、残差成分G-Hk○Ukに、オフセット部９７からのオフセット値とを加算し、その加算結果を、R-Ldeconv部９４に供給する。なお、加算部９３において、残差成分G-Hk○Ukにオフセット値を加算して正の値にするのは、R-Ldeconv部９４による処理において、正の値を対象としていることによる。
【０１８７】
R-Ldeconv部９４は、ゲインマップ（Gain Map）部９８に保持されているゲインマップ、及び更新済みのHkに基づいて、加算部９３からの加算結果に対して、非特許文献１に記載されたresidual deconvolutionを行う。これにより、オフセット値が加算された残差成分のリンギングが抑制される。
【０１８８】
減算部９５は、R-Ldeconv部９４からの処理結果から、加算部９３で加算したものと同一のオフセット値を減算し、リンギングが抑制された残差成分、すなわち、ブレ画像のテクスチャを復元した復元結果を取得する。そして、減算部９５は、取得したテクスチャの復元結果を、加算部９６に供給する。
【０１８９】
加算部９６には、更新済みのストラクチャUkが供給される。加算部９６は、減算部９５からの、テクスチャの復元結果と、供給される更新済みのストラクチャUkとを加算し、その結果得られる、ブレ画像からブレを除去した復元画像を出力する。
【０１９０】
すなわち、例えば、加算部９６は、ブレ画像を構成するブロックに対応する、テクスチャの復元結果と更新済みのストラクチャUkとを加算し、その加算結果として、ブレ画像を構成するブロックから、ブレを除去した復元ブロックを取得する。そして、加算部９６は、ブレ画像を構成するブロックそれぞれに対応する復元ブロックを取得し、取得した復元ブロックそれぞれをつなぎ合わせることにより、復元画像を生成して出力する。
【０１９１】
オフセット部９７は、残差成分G-Hk○Ukを正の数にするために加算されるオフセット値を予め保持している。オフセット部９７は、予め保持しているオフセット値を、加算部９３及び減算部９５に供給する。
【０１９２】
ゲインマップ部９８は、残差成分G-Hk○Ukのゲインを調整するために用いられるゲインマップを予め保持している。
【０１９３】
図１１に示すように、更新済みの点広がり関数PSF（点広がり関数Hk）で更新済みのストラクチャUkにブレを生じさせ、ブレ画像Gとの残差成分（residual成分）G-Hk○Ukに対して、deconvolution(R-Ldeconv部９４による処理)を行い、その結果得られるもの（ブレ画像のテクスチャを復元した復元結果）を、更新済みのストラクチャUkに加算することで、残差のディテイル情報が復元されて、きめ細かい復元結果が得られる。
【０１９４】
［RGB空間以外の色空間への適用方法］
なお、本発明の第１の実施の形態では、RGB空間（R成分、G成分、及びB成分により表される画素により構成されるブレ画像）について反復更新処理を行うこととしたが、YUV空間等のほかの色空間について、同様の反復更新処理を行うことが可能である。
【０１９５】
次に、図１２は、YUV空間について反復更新処理を行うことを説明する図である。
【０１９６】
図１２に示すように、YUV空間において、Yだけ反復更新処理（GSDM,Gradual Structure Deconvolution Method）を適用して正確なPSFを算出した後に、算出した正確なPSFを用いたRichardson-Lucy法等による処理を、リンギングが発生しない程度にU/V成分に対して行ったものを、Yに足し合わせるようにしてもよい。
【０１９７】
なお、上述した第１の実施の形態では、最急降下法を用いて、点広がり関数Hkを更新するとともに、Richardson-Lucy法を用いて、ストラクチャUkを更新するようにしたが、その他、例えば、Richardson-Lucy法を用いて、点広がり関数Hkを更新するとともに、最急降下法を用いて、ストラクチャUkを更新するようにしてもよい。
【０１９８】
＜３．第２の実施の形態＞
［情報処理装置の構成］
次に、図１３を参照して、Richardson-Lucy法を用いて、点広がり関数Hkを更新するとともに、最急降下法を用いて、ストラクチャUkを更新する情報処理装置１２１について説明する。
【０１９９】
図１３は、本発明の第２の実施の形態である情報処理装置１２１を示している。
【０２００】
なお、この情報処理装置１２１において、図１に示された第１の実施の形態である情報処理装置１の構成要素のうち、共通するものについては同一の符号を付しているので、その説明は適宜省略する。
【０２０１】
すなわち、情報処理装置１２１において、加算部２４に代えて乗算部１５１が、乗算部３６に代えて加算部１５２が、乗算部２３、平均化部３２、及び減算部３３に代えて乗算部１５３が、それぞれ設けられている他は、情報処理装置１と同様に構成されている。
【０２０２】
乗算部１５１には、乗算部１５３から、初期推定PSFの周辺の領域に対応する演算結果Uko(G-Hk○Uk)が、H生成部２６から、点広がり関数Hkが、それぞれ供給される。
【０２０３】
乗算部１５１は、乗算部１５３からの演算結果Uko(G-Hk○Uk)と、H生成部２６からの点広がり関数Hkとを乗算し、その結果得られる点広がり関数Hk+1=HkUko(G-Hk○Uk)を、重心補正部２５に供給する。
【０２０４】
加算部１５２には、corr部３０から、演算結果Hko(G-Hk○Uk)が、U生成部３５からストラクチャUkが、それぞれ供給される。
【０２０５】
加算部１５２は、corr部３０からの演算結果Hko(G-Hk○Uk)に、未定乗数λを乗算し、その結果得られる値λHko(G-Hk○Uk)に、U生成部３５からのストラクチャUkとを加算する。そして、加算部１５２は、その結果得られる加算結果Uk+λHko(G-Hk○Uk)(=Uk+1)について、Lagrangeの未定乗数法により、未定乗数λを算出する。
【０２０６】
加算部１５２は、未定乗数λの解として算出された定数aを、加算結果Uk+λHko(G-Hk○Uk)に代入し、その結果得られるストラクチャUk+1=Uk+aHko(G-Hk○Uk)を、トータルバリエーションフィルタ３７に供給する。
【０２０７】
乗算部１５３には、corr部３１から、演算結果Uko(G-Hk○Uk)が、サポート制限部２２から、サポート制限情報が、それぞれ供給される。
【０２０８】
乗算部１５３は、サポート制限部２２からのサポート制限情報に基づいて、corr部３１からの演算結果Uko(G-Hk○Uk)のうち、初期推定PSFの周辺の領域に対応する演算結果のみを抽出し、乗算部１５１に供給する。
【０２０９】
この情報処理装置１２１においても、第１の実施の形態である情報処理装置１と同様の作用効果を奏することが可能である。
【０２１０】
＜４．変形例２＞
第２の実施の形態では、Richardson-Lucy法を用いて、点広がり関数Hkを更新するとともに、最急降下法を用いて、ストラクチャUkを更新するようにしたが、Richardson-Lucy法を用いて、点広がり関数Hk及びストラクチャUkを更新するようにしてもよいし、最急降下法を用いて、点広がり関数Hk及びストラクチャUkを更新するようにしてもよい。
【０２１１】
なお、第１及び第２の実施の形態では、ブレ画像を構成する複数のブロックに対して、反復更新処理を行うようにしたが、ブレ画像そのものを１個のブロックとして、反復更新処理を行うことも可能である。
【０２１２】
［糊代処理］
また、第１及び第２の実施の形態では、上述したように、ブレ画像に対して、反復更新処理を行うことも可能であるが、これに限定されない。すなわち、例えば、ブレ画像を複数のブロックに分割し、ブロック毎に、第１の実施の形態である情報処理装置１、又は第２の実施の形態である情報処理装置１２１を用いて反復更新処理を行い、図１４及び図１５に示すように、反復更新処理後の複数のブロックをつなぎ合わせることにより、復元後の１枚の復元画像を生成する糊代処理を行うようにしてもよい。
【０２１３】
具体的には、第１及び第２の実施の形態では、ブレ画像を複数のブロックに分割し、そのブロック毎に、反復更新処理を行うようにしたが、糊代処理では、分割されたブロックを拡大（拡張）した上で、反復更新処理を行い、反復更新処理後のブロックを、元のブロックのサイズに縮小して得られる複数の縮小ブロックをつなぎ合わせることにより、復元後の１枚の復元画像を生成する。
【０２１４】
図１４及び図１５は、反復更新処理後の複数のブロックをつなぎ合わせることにより、復元後の１枚の復元画像を生成する糊代処理の様子を示している。
【０２１５】
次に、図１４を参照して、ブレ画像を構成する複数のブロックそれぞれに対応するストラクチャUkを生成する処理を説明する。
【０２１６】
図１４に示されるように、ブレ画像を構成する複数のブロック（例えば、図１４に示すG）は、それぞれ、隣接するブロックとの連続性を維持するために、隣接するブロックどうしが、一部分だけ重なり合うサイズとなるように、拡大（拡張）される。これにより、拡大ブロック（例えば、図１４に示す、dummyが付加されたG'）が生成される。
【０２１７】
また、ブレ画像を構成する複数のブロックそれぞれに対応するストラクチャU0（例えば、図１４に示すU）についても、同一のサイズで拡大される。これにより、拡大ストラクチャ（例えば、図１４に示す、dummyが付加されたU'）が生成される。
【０２１８】
そして、拡大ブロック、拡大ストラクチャ、及び拡大ブロックに基づいて生成された点広がり関数H0（例えば、図１４に示すPSF）に基づいて、Richardson-Lucy法により、拡大ストラクチャの更新を行う。
【０２１９】
Richardson-Lucy法による拡大ストラクチャの更新により得られた更新後の拡大ストラクチャ（例えば、図１４に示す、dummyが付加されたupdated U）を、元のストラクチャU0のサイズに縮小する。
【０２２０】
これにより、ブレ画像を構成する複数のブロックそれぞれに対応するストラクチャとして、隣接するブロックとの連続性が維持されたストラクチャ（例えば、図１４に示すupdated U）を取得し、図１５に示されるように、取得したストラクチャを、それぞれつなぎ合わせることにより、ブレが低減（除去）された復元画像を取得することができる。
【０２２１】
また、１個の拡大ブロックにおいて、点広がり関数Hkの更新を行い、最終的に得られる点広がり関数を、他の拡大ブロックの点広がり関数として用いて、他の拡大ブロックに対応するストラクチャUkを更新するようにしてもよい。
【０２２２】
この場合、他の拡大ブロックでは、点広がり関数Hkの更新を行う必要がなく、ストラクチャUkの更新のみを行えばよいこととなる。
【０２２３】
したがって、拡大ブロック毎に、対応する点広がり関数Hkの更新を行う場合と比較して、拡大ブロックそれぞれの点広がり関数Hを算出するために用いられるメモリ（の記憶容量）を少なくすることができるととも、点広がり関数を更新（算出）するための計算量を少なくすることが可能となる。
【０２２４】
［他の変形例］
また、第１の実施の形態では、ブレ画像を複数のブロックに分割し、ブロック毎に、点広がり関数Hk及びストラクチャUkを反復して更新するようにしたが、ブレ画像を構成する複数のブロックのうちの所定のブロックについてのみ、点広がり関数Hkの更新を行い、最終的に得られる点広がり関数を、他のブロックの点広がり関数として用いるようにしても、ブロックそれぞれの点広がり関数Hkを算出するために用いられるメモリを少なくすることができるととも、点広がり関数を更新するための計算量を少なくすることが可能となる。
【０２２５】
ところで、反復更新処理では、ブレ画像を対象として処理を行うこととしたが、その他、合焦距離のズレによるピンボケ、面内一様のボケ、カメラレンズによる面内不均一な周辺ボケ等が生じたボケ画像に対しても処理を行うことが可能である。
【０２２６】
また、反復更新処理は、予め記録しておいた、ブレが生じた動画像に対して処理を行うこともできるし、動画像を撮像しているときに生じたブレを検出して、リアルタイムに除去するように処理を行うこともできる。
【０２２７】
図１における第１の実施の形態では、ストラクチャ成分とテクスチャ成分とを分離するために、トータルバリエーションフィルタ３７を用いることとしたが、その他、例えばBilateralフィルタ、εフィルタ等を用いるようにしてもよい。
【０２２８】
第１及び第２の実施の形態では、処理部２８が、ブレ画像Gから、conv部２７からの演算結果Hk○Ukを減算し、その減算結果G-Hk○Ukを、残差生成部２９に供給するようにしたが、その他、ブレ画像Gを、conv部２７からの演算結果Hk○Ukで除算し、その除算結果(Hk○Uk)/Gを、残差生成部２９に供給するよう構成しても、同様の結果を得ることができる。
【０２２９】
上述した反復更新処理では、ステップＳ３３において、点広がり関数Hkを用いて、ストラクチャUkの更新を行うと同時に、ステップＳ３４において、ストラクチャUkを用いて、点広がり関数Hkの更新を行うようにしたが、これに限定されない。
【０２３０】
すなわち、例えば、反復更新処理において、ストラクチャの更新、及び点広がり関数の更新を交互に行うようすることが可能である。
【０２３１】
具体的には、例えば、ステップＳ３３において、点広がり関数Hkを用いて、ストラクチャUkの更新を行い、ステップＳ３４において、その更新により得られたストラクチャUk+1を用いて、点広がり関数Hkを更新するようにしてもよい。さらに、次回のステップＳ３３において、更新により得られた点広がり関数Hk+1を用いて、ストラクチャUk+1を更新し、次回のステップＳ３４において、更新により得られたストラクチャUk+2を用いて、点広がり関数Hk+1を更新するというように、ストラクチャと点広がり関数との更新を、交互に行うようにすることが可能である。
【０２３２】
この場合、例えば、ストラクチャUkを用いて、点広がり関数Hkを更新する場合と比較して、より真のストラクチャに近いストラクチャUk+1を用いて、点広がり関数Hkを更新するため、点広がり関数Hkの更新結果として、より真の点広がり関数に近い点広がり関数Hk+1を取得することが可能となる。
【０２３３】
［反復更新処理の高速化方法］
また、上述した反復更新処理では、少しでも計算量を減らし、処理を高速化することが望まれる。ここで、図１６乃至図１９を参照して、ブレ画像のR（赤）成分、G（緑）成分、及びB（青）成分の各色成分毎に反復更新処理を行う場合に、画質の低下を抑制しつつ、より高速に画像のブレを補正する方法について説明する。
【０２３４】
図１６は、ブレ画像のR成分、G成分、及びB成分の各色成分毎に反復更新処理を行う場合に、画質の低下を抑制しつつ、より高速に画像のブレを補正することが可能な画像処理装置２０１の構成例を示している。画像処理装置２０１は、情報処理装置１、ダウンサンプル部２１１、アップサンプル部２１２、HPF（ハイパスフィルタ）２１３、マスク生成部２１４、および、乗算部２１５を含むように構成される。
【０２３５】
ダウンサンプル部２１１には、ブレ画像のR成分からなる画像（以下、Rブレ画像と称する）、および、ブレ画像のB成分からなる画像（以下、Bブレ画像と称する）が入力される。ダウンサンプル部２１１は、Rブレ画像およびBブレ画像を所定の倍率で縮小し、縮小した画像（以下、縮小Rブレ画像および縮小Bブレ画像と称する）を情報処理装置１に供給する。
【０２３６】
情報処理装置１には、縮小Rブレ画像および縮小Bブレ画像の他、ブレ画像のG成分からなる画像（以下、Gブレ画像と称する）が入力される。情報処理装置１は、Gブレ画像、縮小Rブレ画像、および、縮小Bブレ画像に対して、図１０を参照して上述した反復更新処理を行い、各画像のストラクチャ成分のブレを補正する。情報処理装置１は、Gブレ画像のストラクチャ成分のブレを補正した画像（以下、G補正画像と称する）をHPF２１３に供給するとともに、外部に出力する。また、情報処理装置１は、縮小Rブレ画像のストラクチャ成分のブレを補正した画像（以下、縮小R補正画像と称する）、および、縮小Bブレ画像のストラクチャ成分のブレを補正した画像（以下、縮小B補正画像と称する）をアップサンプル部２１２に供給する。
【０２３７】
アップサンプル部２１２は、縮小R補正画像および縮小B補正画像を縮小前の大きさに戻し、その結果得られた画像（以下、R補正画像およびB補正画像と称する）を乗算部２１５に供給する。
【０２３８】
HPF２１３は、G補正画像の所定の閾値より低い周波数成分を減衰させることにより、G補正画像のテクスチャ成分を抽出する。HPF２１３は、抽出したテクスチャ成分からなる画像（以下、Gテクスチャ画像と称する）を乗算部２１５に供給する。
【０２３９】
マスク生成部２１４には、Rブレ画像、Gブレ画像、および、Bブレ画像が入力される。マスク生成部２１４は、Rブレ画像の画素値の変動とGブレ画像の画素値の変動の相関に基づいて、乗算部２１５においてR補正画像とGテクスチャ画像とを合成するときに用いるマスク画像（以下、RGマスク画像と称する）を生成する。また、マスク生成部２１４は、Bブレ画像の画素値の変動とGブレ画像の画素値の変動の相関に基づいて、乗算部２１５においてB補正画像とGテクスチャ画像とを合成するときに用いるマスク画像（以下、BGマスク画像と称する）を生成する。マスク生成部２１４は、生成したRGマスク画像およびBGマスク画像を乗算部２１５に供給する。
【０２４０】
乗算部２１５は、RGマスク画像を用いて、R補正画像にGテクスチャ画像を合成する。また、乗算部２１５は、BGマスク画像を用いて、B補正画像にGテクスチャ画像を合成する。乗算部２１５は、R補正画像にGテクスチャ画像を合成することにより得られた画像（以下、Rテクスチャ合成画像と称する）、および、B補正画像にGテクスチャ画像を合成することにより得られた画像（以下、Bテクスチャ合成画像と称する）を外部に出力する。
【０２４１】
図１７は、マスク生成部２１４の機能の構成の例を示している。マスク生成部２１４は、LPF（ローパスフィルタ）２３１−１，２３１−２、減算部２３２−１，２３２−２、相関検出部２３３、および、マスク画像生成部２３４を含むように構成される。
【０２４２】
LPF２３１−１には、Gブレ画像が入力される。LPF２３１−１は、Gブレ画像の所定の閾値より高い周波数成分を減衰させて、減算部２３２−１に供給する。
【０２４３】
減算部２３２−１には、LPF２３１−１により高周波成分が減衰されたGブレ画像の他、高周波成分が減衰される前のGブレ画像が入力される。減算部２３２−１は、高周波成分が減衰される前と後のGブレ画像の差分をとることにより、Gブレ画像の高周波成分を抽出する。減算部２３２−１は、抽出したGブレ画像の高周波成分からなる画像（以下、G高周波ブレ画像と称する）を相関検出部２３３に供給する。
【０２４４】
LPF２３１−２には、Rブレ画像およびBブレ画像が入力される。LPF２３１−１は、Rブレ画像およびBブレ画像の所定の閾値より高い周波数成分を減衰させて、減算部２３２−２に供給する。
【０２４５】
減算部２３２−２には、LPF２３１−２により高周波成分が減衰されたRブレ画像およびBブレ画像の他、高周波成分が減衰される前のRブレ画像およびBブレ画像が入力される。減算部２３２−２は、高周波成分が減衰される前と後のRブレ画像の差分をとることにより、Rブレ画像の高周波成分を抽出し、高周波成分が減衰される前と後のBブレ画像の差分をとることにより、Bブレ画像の高周波成分を抽出する。減算部２３２−２は、抽出したRブレ画像の高周波成分からなる画像（以下、R高周波ブレ画像と称する）、および、抽出したBブレ画像の高周波成分からなる画像（以下、B高周波ブレ画像と称する）を相関検出部２３３に供給する。
【０２４６】
相関検出部２３３は、Rブレ画像の高周波成分とGブレ画像の高周波成分との相関、および、Bブレ画像の高周波成分とGブレ画像の高周波成分との相関を検出し、検出結果をマスク画像生成部２３４に供給する。
【０２４７】
マスク画像生成部２３４は、Rブレ画像の高周波成分とGブレ画像の高周波成分との相関に基づいて、RGマスク画像を生成し、Bブレ画像の高周波成分とGブレ画像の高周波成分との相関に基づいて、BGマスク画像を生成する。マスク画像生成部２３４は、生成したRGマスク画像およびBGマスク画像を乗算部２１５に供給する。
【０２４８】
次に、図１８のフローチャートを参照して、画像処理装置２０１により実行される画像補正処理について説明する。なお、この処理は、例えば、画像処理装置２０１に、補正の対象となるブレ画像が入力され、図示せぬ操作部を介して、画像補正処理の実行が指令されたとき開始される。なお、入力されたブレ画像のG成分からなるGブレ画像は、情報処理装置１、並びに、マスク生成部２１４のLPF２３１−１および減算部２３２−１に供給され、ブレ画像のR成分からなるRブレ画像、および、ブレ画像のB成分からなるBブレ画像は、ダウンサンプル部２１１、並びに、マスク生成部２１４のLPF２３１−２および減算部２３２−２に供給される。
【０２４９】
ステップＳ１０１において、情報処理装置１は、Gブレ画像に対して、図１０を参照して上述した反復更新処理を行う。情報処理装置１は、反復更新処理の結果得られたG補正画像をHPF２１３に供給する。
【０２５０】
ステップＳ１０２において、HPF２１３は、補正したG画像のテクスチャ成分を抽出する。すなわち、HPF２１３は、G補正画像の所定の閾値より低い周波数成分を減衰させることにより、G補正画像のテクスチャ成分を抽出する。HPF２１３は、抽出したG補正画像のテクスチャ成分からなるGテクスチャ画像を乗算部２１５に供給する。
【０２５１】
ステップＳ１０３において、ダウンサンプル部２１１は、Rブレ画像およびBブレ画像を所定の倍率で縮小する。ダウンサンプル部２１１は、縮小した画像、すなわち、縮小Rブレ画像および縮小Bブレ画像を情報処理装置１に供給する。
【０２５２】
ステップＳ１０４において、情報処理装置１は、縮小したRブレ画像およびBブレ画像に対して、それぞれ反復更新処理を行う。すなわち、情報処理装置１は、縮小Rブレ画像および縮小Bブレ画像に対して、それぞれ個別に図１０を参照して上述した反復更新処理を行う。情報処理装置１は、反復更新処理の結果得られた縮小R補正画像および縮小B補正画像をアップサンプル部２１２に供給する。
【０２５３】
ステップＳ１０５において、アップサンプル部２１２は、補正したR画像およびB画像を拡大する。すなわち、アップサンプル部２１２は、縮小R補正画像および縮小B補正画像を縮小前の大きさに戻す。アップサンプル部２１２は、拡大した画像、すなわち、R補正画像およびB補正画像を乗算部２１５に供給する。
【０２５４】
なお、R補正画像およびB補正画像は、元となるRブレ画像およびBブレ画像をいったん縮小した後、ブレを補正し、元の大きさに拡大した画像であり、縮小時に元の画像内のテクスチャ成分に関する情報の一部が失われている。従って、R補正画像およびB補正画像は、元のRブレ画像およびBブレ画像と比較して、ブレが補正される一方で、テクスチャ成分が不足した画像となる。
【０２５５】
ステップＳ１０６において、マスク生成部２１４は、マスク生成処理を実行する。ここで、図１９のフローチャートを参照して、マスク生成処理の詳細について説明する。
【０２５６】
ステップＳ１２１において、マスク生成部２１４は、Rブレ画像、Gブレ画像、および、Bブレ画像の高周波成分を抽出する。具体的には、LPF２３１−１は、Gブレ画像の所定の閾値より高い周波数成分を減衰させて、減算部２３２−１に供給する。減算部２３２−１は、高周波成分が減衰される前のGブレ画像と、LPF２３１−１により高周波成分が減衰された後のGブレ画像との差分をとることにより、Gブレ画像の高周波成分を抽出する。減算部２３２−１は、抽出したGブレ画像の高周波成分からなるG高周波ブレ画像を相関検出部２３３に供給する。
【０２５７】
また、LPF２３１−２は、Rブレ画像の所定の閾値より高い周波数成分を減衰させて、減算部２３２−２に供給する。減算部２３２−２は、高周波成分が減衰される前のRブレ画像と、LPF２３１−２により高周波成分が減衰された後のRブレ画像との差分をとることにより、Rブレ画像の高周波成分を抽出する。減算部２３２−２は、抽出したRブレ画像の高周波成分からなるR高周波ブレ画像を相関検出部２３３に供給する。
【０２５８】
同様に、LPF２３１−２は、Bブレ画像の所定の閾値より高い周波数成分を減衰させて、減算部２３２−２に供給する。減算部２３２−２は、高周波成分が減衰される前のBブレ画像と、LPF２３１−２により高周波成分が減衰された後のBブレ画像との差分をとることにより、Bブレ画像の高周波成分を抽出する。減算部２３２−２は、抽出したBブレ画像の高周波成分からなるB高周波ブレ画像を相関検出部２３３に供給する。
【０２５９】
ステップＳ１２２において、相関検出部２３３は、Rブレ画像の高周波成分とGブレ画像の高周波成分との相関、および、Bブレ画像の高周波成分とGブレ画像の高周波成分との相関を検出する。具体的には、相関検出部２３３は、R高周波ブレ画像とG高周波ブレ画像との差分をとることにより、Rブレ画像の高周波成分とGブレ画像の高周波成分との相関を検出する。すなわち、相関検出部２３３は、R高周波ブレ画像とG高周波ブレ画像との差分をとることにより、Rブレ画像の高周波成分とGブレ画像の高周波成分との相関を示す画像（以下、RG高周波差分画像と称する）を生成する。RG高周波差分画像では、Rブレ画像の高周波成分とGブレ画像の高周波成分との相関が強い領域ほど、画素値が小さくなり、相関が弱い領域ほど、画素値が大きくなる。
【０２６０】
同様に、相関検出部２３３は、B高周波ブレ画像とG高周波ブレ画像との差分をとることにより、Bブレ画像の高周波成分とGブレ画像の高周波成分との相関を示す画像（以下、BG高周波差分画像と称する）を生成する。相関検出部２３３は、生成したRG高周波差分画像およびBG高周波差分画像をマスク画像生成部２３４に供給する。
【０２６１】
ステップＳ１２３において、マスク画像生成部２３４は、検出した高周波成分の相関に基づいて、マスク画像を生成する。具体的には、マスク画像生成部２３４は、RG高周波差分画像の画素値が大きい画素ほど画素値が小さくなり、RG高周波差分画像の画素値が小さい画素ほど画素値が大きくなるとともに、画素値が０から１の範囲内となるように正規化したRGマスク画像を生成する。すなわち、RGマスク画像の各画素の画素値は、０から１の範囲内で、Rブレ画像の高周波成分とGブレ画像の高周波成分との相関が強い領域内の画素ほど大きくなり、相関が弱い領域内の画素ほど小さくなる。同様に、マスク画像生成部２３４は、BG高周波差分画像の画素値が大きい画素ほど画素値が小さくなり、BG高周波差分画像の画素値が小さい画素ほど画素値が大きくなるとともに、画素値が０から１の範囲内となるように正規化したBGマスク画像を生成する。マスク画像生成部２３４は、生成したRGマスク画像およびBGマスク画像を乗算部２１５に供給する。
【０２６２】
その後、マスク生成処理は終了する。
【０２６３】
図１８に戻り、ステップＳ１０７において、乗算部２１５は、マスク画像を用いて、R補正画像およびB補正画像に、G補正画像のテクスチャ成分を合成する。すなわち、乗算部２１５は、RGマスク画像を用いて、R補正画像にGテクスチャ画像を掛け合わせることにより、縮小時に失われたR補正画像のテクスチャ成分を復元する。同様に、乗算部２１５は、BGマスク画像を用いて、B補正画像にGテクスチャ画像を掛け合わせることにより、縮小時に失われたB補正画像のテクスチャ成分を復元する。
【０２６４】
このとき、RGマスク画像を用いることにより、Rブレ画像の高周波成分とGブレ画像の高周波成分との相関が弱い領域ほど、ブレ画像においてR成分の変動とG成分の変動との相関が弱いとみなされ、R補正画像にG補正画像のテクスチャ成分を合成する量が小さくなる。一方、Rブレ画像の高周波成分とGブレ画像の高周波成分との相関が強い領域ほど、ブレ画像においてR成分の変動とG成分の変動との相関が強いとみなされ、R補正画像にG補正画像のテクスチャ成分を合成する量が大きくなる。同様に、BGマスク画像を用いることにより、Bブレ画像の高周波成分とGブレ画像の高周波成分との相関が弱い領域ほど、ブレ画像においてB成分の変動とG成分の変動との相関が弱いとみなされ、B補正画像にG補正画像のテクスチャ成分を合成する量が小さくなる。一方、Bブレ画像の高周波成分とGブレ画像の高周波成分との相関が強い領域ほど、ブレ画像においてB成分の変動とG成分の変動との相関が強いとみなされ、B補正画像にG補正画像のテクスチャ成分を合成する量が大きくなる。
【０２６５】
ステップＳ１０８において、画像処理装置２０１は、補正した画像を出力する。すなわち、情報処理装置１は、ステップＳ１０１の処理で得られたG補正画像を画像処理装置２０１の後段の装置に出力し、乗算部２１５は、ステップＳ１０７の処理で得られたRテクスチャ合成画像およびRテクスチャ合成画像を画像処理装置２０１の後段の装置に出力する。その後、画像補正処理は終了する。
【０２６６】
このように、Rブレ画像およびBブレ画像を縮小してから反復更新処理を行うことにより、計算量を削減し、処理を高速化することができる。
【０２６７】
また、人間の目が最も反応しやすいG成分からなるGブレ画像は縮小せずに処理するとともに、Rブレ画像およびBブレ画像を縮小することにより失われたテクスチャ成分を、G補正画像のテクスチャ成分を用いて復元することにより、処理の高速化に伴う画質の低下を抑制することができる。
【０２６８】
さらに、ブレ画像においてR成分の変動とG成分の変動との相関が弱い領域、および、B成分の変動とG成分の変動との相関が弱い領域において、G補正画像のテクスチャ成分を合成する量を小さくしたり、あるいは、合成しないようにしたりすることにより、合成後の画像において、元々の被写体にない色（偽色）が発生することを抑制することができる。
【０２６９】
ここで、偽色の発生の具体例について、図２０および図２１を参照して説明する。
【０２７０】
図２０の上の図は、図１８の画像補正処理を施す前の画像の一部を拡大し、モノクロームにした図である。実際の画像では、画像内の暗い部分が明るい赤色をしており、中央付近の明るい部分が反射光により明るく光っている。また、図２０の下のグラフは、上の画像の中央付近の横方向のラインのR成分、G成分、B成分の変化を示しており、実線がR成分の変化を表し、細かい点線がG成分の変化を表し、粗い点線がB成分の変化を表している。このグラフから分かるように、R成分は他の成分との相関が弱く、大きな値であまり変化せず、G成分、B成分は、反射光により光っている部分で値が大きくなり、それ以外の部分では値が小さくなっている。
【０２７１】
一方、図２１の上の図は、図２０の上の図に対して、マスク画像を用いずに図１８の画像補正処理を施した結果を示している。また、図２１の下のグラフは、図２０の下のグラフと同様のグラフであり、上の画像の図２０の下のグラフと同じ横方向のラインのR成分、G成分、B成分の変化を示している。図２０のグラフと図２１のグラフとを比較すると、図２１のグラフでは、反射光により光っている部分の境界付近のG成分の値が大きく変化する部分で、R成分の値が落ち込んでいる。そして、図２０の上の図と図２１の上の図とを比較すると、図２１の上の図では、反射光により光っている部分の境界付近に偽色が発生し、黒い縁が現れている。これは、R成分とG成分の相関が弱い領域において、R補正画像にG補正画像のテクスチャ成分を合成することによる弊害である。
【０２７２】
そこで、上述したように、マスク画像を用いて、R補正画像およびB補正画像にG補正画像のテクスチャ成分を合成するようにすることにより、このような黒縁等の偽色の発生を抑制することができる。
【０２７３】
なお、画像処理装置２０１において、情報処理装置１の代わりに、図１３の情報処理装置１２１を適用することも可能である。
【０２７４】
また、例えば、以上の説明では、R補正画像にG補正画像のテクスチャ成分を合成するときと、B補正画像にG補正画像のテクスチャ成分を合成するときとで、異なるマスク画像を用いるようにしたが、同じマスク画像を用いるようにすることも考えられる。この場合、例えば、Rブレ画像の高周波成分とGブレ画像の高周波成分との相関、および、Bブレ画像の高周波成分とGブレ画像の高周波成分との相関のうち少なくとも一方が弱い領域ほど画素値が小さくなり、両方の相関とも強い領域ほど画素値が大きくなるマスク画像を生成し、用いるようにすることが考えられる。換言すれば、例えば、ブレ画像のG成分の変動とR成分の変動との相関またはG成分の変動とB成分の変動との相関のうち少なくとも一方が弱い領域ほど、G補正画像のストラクチャ成分を合成する量を小さくし、両方の相関とも強い領域ほど、G補正画像のストラクチャ成分を合成する量を大きくするマスク画像を生成し、用いることが考えられる。
【０２７５】
さらに、以上の説明では、ブレ画像を補正する例を説明したが、本発明は、ピンボケなどによるボケが発生した画像、あるいは、ブレとボケが両方発生した画像を補正する場合にも適用できる。
【０２７６】
また、第１の実施の形態である情報処理装置１、及び第２の実施の形態である情報処理装置１２１としては、例えば、画像を再生したり録画したりすることが可能な録画再生装置等に適用できる。
【０２７７】
［コンピュータの構成例］
ところで、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【０２７８】
図２０は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示している。
【０２７９】
CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３０３には、CPU３０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU３０１、ROM３０２、及びRAM３０３は、バス３０４により相互に接続されている。
【０２８０】
CPU３０１にはまた、バス３０４を介して入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。CPU３０１は、入力部３０６から入力される指令に対応して各種の処理を実行する。そして、CPU３０１は、処理の結果を出力部３０７に出力する。
【０２８１】
入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスクからなり、CPU３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０２８２】
また、通信部３０９を介してプログラムを取得し、記憶部３０８に記憶してもよい。
【０２８３】
入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部３０８に転送され、記憶される。
【０２８４】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図２０に示されるように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１、または、プログラムが一時的もしくは永続的に格納されるROM３０２や、記憶部３０８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部３０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０２８５】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２８６】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２８７】
１ 情報処理装置， ２１ H_init生成部， ２２ サポート制限部， ２３ 乗算部， ２４ 加算部， ２５ 重心補正部， ２６ H生成部， ２７ conv部， ２８ 処理部， ２９ 残差生成部， ３０ corr部， ３１ corr部， ３２ 平均化部， ３３ 減算部， ３４ U_init生成部， ３５ U生成部， ３６ 乗算部， ３７ トータルバリエーションフィルタ， ６１ 情報処理装置， ９１ conv部， ９２ 減算部， ９３ 加算部， ９４ R-Ldeconv部， ９５ 減算部， ９６ 加算部， ９７ オフセット部， ９８ ゲインマップ， １２１ 情報処理装置， １５１ 乗算部， １５２ 加算部， １５３ 乗算部， ２０１ 画像処理装置， ２１１ ダウンサンプル部， ２１２ アップサンプル部， ２１３ ハイパスフィルタ， ２１４ マスク生成部， ２１５ 乗算部， ２３１−１，２３１−２ ローパスフィルタ， ２３２−１，２３２−２ 減算部， ２３３ 相関検出部， ２３４ マスク画像生成部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、ブレまたはボケが発生している画像を補正する場合に用いて好適な画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、撮像した画像に生じた手振れボケやピンボケ（以下、単にボケともいう）を補正する補正技術が存在する。
【０００３】
例えば、L.B.LucyとWilliam Hardley Richardsonにより提唱されたRichardson-Lucy法がある。しかし、この手法では、点広がり関数（PSF（Point Spread Function)）の周波数軸上で零点に落ち込むスペクトラムを用いて逆問題を解く際に、零点において、ノイズの増幅やリンギングの発生等が見られる。また、点広がり関数が正確に求まらなかった場合には、零点において、ノイズの増幅やリンギングの発生等が、より大きくなってしまう。
【０００４】
そこで、ゲインマップの導入により、点広がり関数が正確にわかる場合に、リンギングを抑制することが可能なresidual deconvolution技術が存在する（例えば、非特許文献１を参照）。
【０００５】
しかしながら、従来のresidual deconvolution技術では、点広がり関数に誤差が存在する場合には、画像のストラクチャ成分(structure)と残差(residual部分)の復元がうまくいかず、リンギングがより多く発生してしまう。
【０００６】
そこで、Richardson-Lucy法をベースにした静止画手振れ補正アルゴリズムに、画像のストラクチャ成分とテクスチャ成分を分離するStructure/Texture分離フィルタを組み込んだ技術（以下、Structure Deconvolution技術と称する）を適用することが考えられる。
【０００７】
Structure Deconvolution技術では、例えば、Structure/Texture分離フィルタの一種であるトータルバリエーション（Total Variation）フィルタにより、ブレが発生している画像（以下、ブレ画像と称する）のストラクチャ成分とテクスチャ成分を分離し、ストラクチャ成分に対してのみブレを補正することで、ノイズやリンギングの発生を抑制する。
【０００８】
ここで、ストラクチャ成分とは、画像がほとんど変化しない平坦部、画像が緩やかに変化する傾斜部、被写体の輪郭、エッジなど、画像の骨格を構成する成分を表す。また、テクチャ成分とは、被写体の細かな模様など画像のディテイルを構成する部分を表す。従って、ストラクチャ成分のほとんどが空間周波数の低い低周波成分に含まれ、テクスチャ成分のほとんどが空間周波数の高い高周波成分に含まれる。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Lu Yuan, Jian Sun, Long Quan, Heung-Yeung Shum, Image deblurring with blurred/noisy image pairs, ACM Transactions on Graphics (TOG), v.26 n.3, July 2007
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところで、上述したStructure Deconvolution技術においては、計算量を削減し、より処理を高速化することが望まれている。
【００１１】
本発明は、このような状況に鑑みてなされたものであり、画質の低下を抑制しつつ、より高速に画像のブレおよびボケを補正できるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の一側面の画像処理装置は、入力画像のG成分からなるG画像のストラクチャ成分のブレまたはボケを補正したG補正画像のテクスチャ成分を抽出するテクスチャ抽出手段と、前記入力画像のR成分からなるR画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したR補正画像、および、前記入力画像のB成分からなるB画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したB補正画像に、前記G補正画像のテクスチャ成分を合成する量を、前記入力画像のG成分の変動とR成分の変動との相関または前記入力画像のG成分の変動とB成分の変動との相関のうち少なくとも一方が弱い領域ほど小さくするマスク画像を生成するマスク生成手段と、前記マスク画像を用いて、前記R補正画像および前記B補正画像に前記G補正画像のテクスチャ成分を合成する合成手段とを含む。
【００１３】
前記マスク生成手段には、前記R画像の高周波成分と前記G画像の高周波成分との相関が弱い領域ほど、前記R補正画像に前記G補正画像のテクスチャ成分を合成する量を小さくする第１のマスク画像を生成させ、前記B画像の高周波成分と前記G画像の高周波成分との相関が弱い領域ほど、前記B補正画像に前記G補正画像のテクスチャ成分を合成する量を小さくする第２のマスク画像を生成させ、前記合成手段には、前記第１のマスク画像を用いて、前記R補正画像に前記G補正画像のテクスチャ成分を合成し、前記第２のマスク画像を用いて、前記B補正画像に前記G補正画像のテクスチャ成分を合成させることができる。
【００１４】
前記マスク生成手段は、前記R画像、前記G画像、および、前記B画像の高周波成分を抽出する高周波抽出手段と、前記R画像の高周波成分と前記G画像の高周波成分との差、および、前記B画像の高周波成分と前記G画像の高周波成分との差を検出する検出手段と、前記R画像の高周波成分と前記G画像の高周波成分との差が大きい領域ほど、前記R補正画像に前記G補正画像のテクスチャ成分を合成する量を小さくする前記第１のマスク画像を生成し、前記B画像の高周波成分と前記G画像の高周波成分との差が大きい領域ほど、前記B補正画像に前記G補正画像のテクスチャ成分を合成する量を小さくする前記第２のマスク画像を生成する生成手段とを含むようにすることができる。
【００１５】
前記R画像および前記B画像を縮小する縮小手段と、前記R画像を縮小したR縮小画像のストラクチャ成分、前記B画像を縮小したB縮小画像のストラクチャ成分、および、前記G画像のストラクチャ成分のブレまたはボケを補正する補正手段と、ブレまたはボケを補正した後の前記R縮小画像および前記B縮小画像を元の大きさに戻す拡大手段とをさらに含むようにすることができる。
【００１６】
本発明の一側面の情報処理方法は、画像処理装置が、入力画像のG成分からなるG画像のストラクチャ成分のブレまたはボケを補正したG補正画像のテクスチャ成分を抽出し、前記入力画像のR成分からなるR画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したR補正画像、および、前記入力画像のB成分からなるB画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したB補正画像に、前記G補正画像のテクスチャ成分を合成する量を、前記入力画像のG成分の変動とR成分の変動との相関または前記入力画像のG成分の変動とB成分の変動との相関のうち少なくとも一方が弱い領域ほど小さくするマスク画像を生成し、前記マスク画像を用いて、前記R補正画像および前記B補正画像に前記G補正画像のテクスチャ成分を合成するステップを含む。
【００１７】
本発明の一側面のプログラムは、入力画像のG成分からなるG画像のストラクチャ成分のブレまたはボケを補正したG補正画像のテクスチャ成分を抽出し、前記入力画像のR成分からなるR画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したR補正画像、および、前記入力画像のB成分からなるB画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したB補正画像に、前記G補正画像のテクスチャ成分を合成する量を、前記入力画像のG成分の変動とR成分の変動との相関または前記入力画像のG成分の変動とB成分の変動との相関のうち少なくとも一方が弱い領域ほど小さくするマスク画像を生成し、前記マスク画像を用いて、前記R補正画像および前記B補正画像に前記G補正画像のテクスチャ成分を合成するステップを含む処理をコンピュータに実行させる。
【００１８】
本発明の一側面によれば入力画像のG成分からなるG画像のストラクチャ成分のブレまたはボケを補正したG補正画像のテクスチャ成分が抽出され、前記入力画像のR成分からなるR画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したR補正画像、および、前記入力画像のB成分からなるB画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したB補正画像に、前記G補正画像のテクスチャ成分を合成する量を、前記入力画像のG成分の変動とR成分の変動との相関または前記入力画像のG成分の変動とB成分の変動との相関のうち少なくとも一方が弱い領域ほど小さくするマスク画像が生成され、前記マスク画像を用いて、前記R補正画像および前記B補正画像に前記G補正画像のテクスチャ成分が合成される。
【発明の効果】
【００１９】
本発明の一側面によれば、画像のブレおよびボケを補正することができる。特に、本発明の一側面によれば、画質の低下を抑制しつつ、より高速に画像のブレおよびボケを補正することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明を適用した情報処理装置の第１の構成例を示すブロック図である。
【図２】初期推定PSFの推定方法の概要を説明する図である。
【図３】ブレ画像についてケプストラムを生成する生成方法を説明する図である。
【図４】ケプストラムに対して、輝点の最大値を算出する算出方法を説明する図である。
【図５】初期推定PSFの推定が成功したか否かを判定する判定方法を説明する図である。
【図６】初期推定PSFを生成する生成方法を説明する図である。
【図７】ストラクチャUの初期値U_initの生成方法を説明する図である。
【図８】バイリニア補間による補間方法を示す図である。
【図９】サポート制限部が行うサポート制限処理を説明する図である。
【図１０】反復更新処理を説明するフローチャートである。
【図１１】本発明を適用した情報処理装置の第２の構成例を示すブロック図である。
【図１２】YUV空間について反復更新処理を行うことを説明する図である。
【図１３】本発明を適用した情報処理装置の第３の構成例を示すブロック図である。
【図１４】糊代処理を説明する第１の図である。
【図１５】糊代処理を説明する第２の図である。
【図１６】本発明を適用した画像処理装置の構成例を示すブロック図である。
【図１７】マスク生成部の詳細な構成例を示すブロック図である。
【図１８】画像補正処理を説明するフローチャートである。
【図１９】マスク生成処理を説明するフローチャートである。
【図２０】マスク画像を用いずに図１８の画像補正処理を行った場合に発生する偽色の例について説明するための図である。
【図２１】マスク画像を用いずに図１８の画像補正処理を行った場合に発生する偽色の例について説明するための図である。
【図２２】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第1の実施の形態
２．変形例１
３．第２の実施の形態
４．変形例２
【００２２】
＜１．第１の実施の形態＞
［情報処理装置の構成］
図１は、本発明の第１の実施の形態である情報処理装置１の構成例を示している。
【００２３】
この情報処理装置１には、JPEG（Joint Photographic Experts Group）圧縮により圧縮された画像であって、撮像時の手振れによりブレが生じているブレ画像が入力される。
【００２４】
情報処理装置１は、入力されるブレ画像を、複数のブロックgに分割し、各ブロック毎に、ブロックgに生じているブレ（の方向や長さ）を表す点広がり関数h、及びブロックgの平坦部とエッジ等の大振幅の成分を表すストラクチャfを初期推定する。
【００２５】
そして、情報処理装置１は、各ブロック毎に初期推定した点広がり関数h及びストラクチャfを、それぞれ、真の点広がり関数、及び真のストラクチャに近づくように、反復して更新する。
【００２６】
なお、以下において、k回だけ更新したときの点広がり関数hを、点広がり関数hkというとともに、k回だけ更新したときのストラクチャfを、ストラクチャfkという。
【００２７】
また、各ブロック毎の点広がり関数hkを区別する必要がない場合、単に、点広がり関数Hkという。また、各ブロック毎のストラクチャfkを区別する必要がない場合、単に、ストラクチャUkという。さらに、各ブロックgを区別する必要がない場合、単に、ブレ画像Gという。
【００２８】
情報処理装置１は、H_init生成部２１、サポート制限部２２、乗算部２３、加算部２４、重心補正（Center of gravity revision）部２５、H生成部２６、conv部２７、処理部２８、残差生成部２９、corr部３０、corr部３１、平均化(average)部３２、減算部３３、U_init生成部３４、U生成部３５、乗算部３６、及びトータルバリエーション(Total Variation)フィルタ３７により構成される。
【００２９】
H_init生成部２１には、ブレ画像Gが入力される。H_init生成部２１は、入力されたブレ画像Gを構成する画素の輝度値(Y成分)から、ケプストラム上で特徴点を検出し、PSFの直線推定を行い、その直線推定により得られた初期推定PSFを、点広がり関数Hの初期値H_init(=H0)として、サポート制限部２２、及びH生成部２６に供給する。
【００３０】
なお、H_init生成部２１は、入力されたブレ画像Gを構成する画素のY成分の他、R成分、G成分、B成分、並びに、R成分、G成分及びB成分それぞれを加算して得られるR+G+B成分から、ケプストラム上で特徴点を検出し、PSFの直線推定を行うようにすることが可能である。
【００３１】
サポート制限部２２は、H_init生成部２１からの初期値H_init(=初期推定PSF)の近傍のみを更新対象領域として更新させるためのサポート制限情報を生成し、乗算部２３に供給する。
【００３２】
ここで、サポート制限情報とは、初期推定PSFの近傍のみを更新対象領域とし、更新対象領域以外の領域ではゼロ固定とするマスク情報をいう。
【００３３】
乗算部２３は、サポート制限部２２からのサポート制限情報に基づいて、減算部３３からの減算結果Uko(G-Hk○Uk)-mean(Hk)のうち、初期推定PSFの周辺に存在する減算結果に対応するもののみを抽出し、加算部２４に供給する。
【００３４】
すなわち、例えば、乗算部２３は、サポート制限部２２からのサポート制限情報と、対応する、減算部３３からの減算結果Uko(G-Hk○Uk)-mean(Hk)どうしを乗算して、PSFの周辺に存在する減算結果に対応するもののみを抽出し、加算部２４に供給する。
【００３５】
なお、oは相関演算を表し、○は畳込み演算を表している。また、mean(Hk)は、点広がり関数Hkの平均値を表している。
【００３６】
加算部２４は、乗算部２３からの値Uko(G-Hk○Uk)-mean(Hk)のうち、値Uko(G-Hk○Uk)に、未定乗数λを乗算する。そして、加算部２４は、その結果得られる値λUko(G-Hk○Uk)-mean(Hk)に、H生成部２６からの点広がり関数Hkを加算し、その結果得られる値Hk+λUko(G-Hk○Uk)-mean(Hk)に対して、Lagrangeの未定乗数法を適用し、未定乗数λの解として値aを算出する。
【００３７】
加算部２４は、Lagrangeの未定乗数法により算出された値aを、値Hk+λUko(G-Hk○Uk)-mean(Hk)に代入し、その結果得られる値Hk+aUko(G-Hk○Uk)-mean(Hk)を、重心補正部２５に供給する。
【００３８】
これにより、重心補正部２５には、ブレ画像を構成する複数のブロック毎に得られたHk+aUko(G-Hk○Uk)-mean(Hk)=Hk+ΔHkが供給される。
【００３９】
重心補正部２５は、点広がり関数Hk+△Hk（但し、△Hkは更新分）の重心を、バイリニア補間により、画面の中心（点広がり関数の初期値H_initの重心）に移動させ、重心を移動させた点広がり関数Hk+△Hkを、H生成部２６に供給する。なお、詳細は、図８を参照して後述する。
【００４０】
H生成部２６は、H_init生成部２１からの初期値H_initを、点広がり関数H0として、加算部２４、conv部２７、及びcorr部３０に供給する。
【００４１】
また、H生成部２６は、重心補正部２５からの点広がり関数Hk+△Hkを、更新後の点広がり関数Hk+1として、加算部２４、conv部２７、及びcorr部３０に供給する。
【００４２】
なお、H生成部２６は、重心補正部２５から、点広がり関数Hk-1を更新して得られる点広がり関数Hk-1+△Hk-1が供給された場合、同様にして、重心補正部２５からの点広がり関数Hk-1+△Hk-1を、更新後の点広がり関数Hkとして、加算部２４、conv部２７、及びcorr部３０に供給する。
【００４３】
conv部２７は、H生成部２６からの点広がり関数Hkと、U生成部３５からのストラクチャUkとの畳み込み演算を行い、その演算結果Hk○Ukを、処理部２８に供給する。
【００４４】
処理部２８は、入力されるブレ画像Gから、conv部２７からの演算結果Hk○Ukを減算し、その減算結果G-Hk○Ukを、残差生成部２９に供給する。
【００４５】
残差生成部２９は、処理部２８からの減算結果G-Hk○Ukを、残差Ekとして、corr部３０及びcorr部３１に供給する。
【００４６】
corr部３０は、残差生成部２９からの残差Ekと、H生成部２６からの点広がり関数Hkの相関演算を行い、その演算結果Hko(G-Hk○Uk)を、乗算部３６に供給する。
【００４７】
corr部３１は、残差生成部２９からの残差Ekと、U生成部３５からのストラクチャUkの相関演算を行い、その演算結果Uko(G-Hk○Uk)を、減算部３３に供給する。
【００４８】
平均化部３２には、H生成部２６から、conv部２７、処理部２８、残差生成部２９、及びcorr部３１を介して、点広がり関数Hkが供給される。
【００４９】
平均化部３２は、corr部３１からの点広がり関数Hkの平均値mean(Hk)を算出し、減算部３３に供給する。
【００５０】
減算部３３は、corr部３１から供給される演算結果Uko(G-Hk○Uk)から、平均化部３２からのmean(Hk)を減算し、その結果得られる減算結果Uko(G-Hk○Uk)-mean(Hk)を、乗算部２３に供給する。
【００５１】
U_init生成部３４は、H_init生成部２１により生成された初期値H_init(=初期推定PSF)を用いて、入力されるブレ画像G（ブロックg）を、初期推定PSFサイズで縮小し、畳み込んだPSFを１点に戻すことにより、ブレ画像Gのブレが除去（低減）された画像であって、縮小された画像を生成する。
【００５２】
また、U_init生成部３４は、縮小された画像を、初期推定PSFサイズで拡大することにより、拡大によりボケた画像であって、ブレが除去された画像を生成し、ストラクチャUの初期値U_initに設定して、U生成部３５に供給する。
【００５３】
なお、後述する図７を参照して、U_init生成部３４が、初期値U_initを設定する方法の詳細を説明する。
【００５４】
U生成部３５は、トータルバリエーションフィルタ３７からのストラクチャUk+1を、conv部２７、corr部３１及び乗算部３６に供給する。
【００５５】
また、U生成部３５には、トータルバリエーションフィルタ３７からストラクチャUkが供給される。U生成部３５は、トータルバリエーションフィルタ３７からのストラクチャUkを、conv部２７、corr部３１及び乗算部３６に供給する。
【００５６】
乗算部３６は、corr部３０からの演算結果Hk○(G-Hk○Uk)に、U生成部３５からのストラクチャUkを乗算し、その乗算結果Uk{Hk○(G-Hk○Uk)}を、更新後のストラクチャとして、トータルバリエーションフィルタ３７に供給する。
【００５７】
トータルバリエーションフィルタ３７は、乗算部３６からの乗算結果Uk{Hk○(G-Hk○Uk)}を、ストラクチャ成分とテクスチャ成分に分離し、分離により得られるストラクチャ成分を、次の更新対象であるストラクチャUk+1として、U生成部３５に供給する。
【００５８】
上述したように、conv部２７乃至corr部３１、U生成部３５、及びトータルバリエーションフィルタ３７等は、H_init生成部２１により生成された点広がり関数Hの初期値H_init(=H0)を用いて、Richardson-Lucy法によるストラクチャU0の更新を行う。
【００５９】
また、conv部２７乃至corr部３１、U生成部３５、及びトータルバリエーションフィルタ３７等は、点広がり関数Hk-1が更新された場合、更新により得られた最新の点広がり関数Hkを用いて、Richardson-Lucy法によるストラクチャUkの更新を行う。
【００６０】
Richardson-Lucy法では、ストラクチャUkの更新により得られたストラクチャUk+1について、増幅されたノイズや発生したリンギングを、トータルバリエーションフィルタ３７による、ストラクチャ成分（structure）とテクスチャ成分(texture)との分離により落とすので、ノイズとリンギングを大幅に抑制することができる。
【００６１】
さらに、トータルバリエーションフィルタ３７については、「Structure-Texture Image Decomposition Modeling,Algorithms, and Parameter Selection(Jean-Fran_cois Aujol)」に詳細に記載されている。
【００６２】
なお、トータルバリエーションフィルタ３７には、ストラクチャ成分とテクスチャ成分との境界を示すフィルタ閾値がパラメータのひとつとして設定され、そのパラメータを調整することにより、出力されるストラクチャ成分(structure)に、より多くのディテイル（detail）を含ませることが可能である。
【００６３】
しかし、ストラクチャUkと、後述する点広がり関数Hkとを、交互に反復的に更新する反復更新処理（図１０において後述）の初期段階では、点広がり関数Hkが充分に更新されていないため、点広がり関数Hkには多くの誤差を含むことがある。
【００６４】
したがって、誤差を多く含む点広がり関数Hkを用いてストラクチャUkの更新を行うと、更新により得られるストラクチャUk+1には、点広がり関数Hkに含まれる誤差に応じたリンギング等が発生してしまう。
【００６５】
同様に、ストラクチャUkについても、点広がり関数Hk-1に含まれる誤差に応じたリンギング等が発生している。
【００６６】
そして、リンギング等が発生したストラクチャUkを用いて更新される点広がり関数Hkについても同様に、悪影響を及ぼしてしまう。
【００６７】
そこで、点広がり関数Hkが充分に更新されていない間は、トータルバリエーションフィルタ３７に設定されるフィルタ閾値を高く設定しておき、より強力に、リンギングとノイズを落とし、更新されるストラクチャUが、リンギング等の発生により劣化しないようにすることが可能である。
【００６８】
そして、ある程度、点広がり関数Hkが更新されて、より真の点広がり関数に近づくと、トータルバリエーションフィルタ３７に設定されるフィルタ閾値を低く設定して、ディテイルの復元をより真の点広がり関数Hkで行うようにする。
【００６９】
すなわち、点広がり関数Hkが充分に更新されていない間は、トータルバリエーションフィルタ３７から出力されるストラクチャUkを構成する画素のうち、隣接する画素どうしの輝度の差分絶対値和を表すトータルバリエーション（total variation）が小さくなるようにフィルタ閾値を高く設定する。
【００７０】
また、ある程度、点広がり関数Hkが更新されて、より真の点広がり関数に近づくと、トータルバリエーションフィルタ３７から出力されるストラクチャUkのトータルバリエーションがこれ以上小さくならないようにフィルタ閾値を低く設定する。
【００７１】
これにより、トータルバリエーションフィルタ３７では、ストラクチャUkに含まれるエッジを残しつつ、ストラクチャUkを平滑化することにより、ストラクチャUに含まれるリンギングとノイズを落とすことが可能となる。
【００７２】
なお、第１の実施の形態では、点広がり関数Hkの更新の程度に拘わらず、トータルバリエーションフィルタ３７は、フィルタ閾値を充分低くした状態で、ストラクチャUkについて増幅されたノイズや発生したリンギングを、トータルバリエーションフィルタ３７による、ストラクチャ成分とテクスチャ成分との分離により落とすように構成されているものとする。
【００７３】
H生成部２６乃至残差生成部２９、corr部３１、及びU生成部３５等は、ストラクチャUkの初期値U_initを用いて、最急降下法（landweber法）による点広がり関数Hkの更新を行う。
【００７４】
また、H生成部２６乃至残差生成部２９、corr部３１、及びU生成部３５等は、ストラクチャUk-1が更新された場合、更新により得られた最新のストラクチャUkを用いて、最急降下法（landweber法）による点広がり関数Hkの更新を行う。
【００７５】
以下、ストラクチャUkとして、ブレ画像を構成する複数のブロックのうちの所定のブロックgのストラクチャfk（更新により得られた最新のストラクチャ）を用いて、最急降下法による点広がり関数Hkの更新として、所定のブロックgの点広がり関数hkを更新する処理を説明する。
【００７６】
ここで、現時点のストラクチャfkをfとし、現時点の点広がり関数hkをhとすると、コスト関数は、次式（１）により与えられる。
【００７７】
【数１】
【００７８】
なお、式（１）において、||・||はノルムを表しており、*は乗算を表している。
【００７９】
現時点のストラクチャfを固定した場合、式（１）のe2を最小にすることを目的として、次式（２）のように、式（１）を変数h(点広がり関数h)により偏微分して、降下方向を求める。
【００８０】
【数２】
【００８１】
現時点での点広がり関数hを、式（２）により求めた降下方向に沿って検索していくと、式（２）の最小値が存在する。現在の点広がり関数hに対して、次式（３）のように、式（２）により求めた降下方向に、ステップサイズλだけ進めさせると、更新された点広がり関数hを求めることができる。
【００８２】
【数３】
【００８３】
なお、式（２）及び式（３）において、白丸（。）は相関演算子を表しており、バツ印（×）を白丸（○）で囲んだ記号は、畳み込み演算を表している。
【００８４】
また、式（３）において、点広がり関数hk+1は、更新後の点広がり関数を表しており、点広がり関数hkは、現時点での点広がり関数h（更新前の点広がり関数）を表している。さらに、ストラクチャfkは、現時点でのストラクチャfを表している。
【００８５】
しかし、点広がり関数hk+1は、ブレ画像を構成する複数のブロックそれぞれの点広がり関数hk+1(i)において、Σii=1h(i)=1となるように強制されるため、H生成部２６乃至残差生成部２９、corr部３１、及びU生成部３５等により形成されるループで正規化される。したがって、点広がり関数hkの更新分△hkが、点広がり関数hkと同じ符号になったとき、正規化の結果、点広がり関数hk+1は更新前の値hkに戻ってしまう。
【００８６】
式（３）に、
【数４】
の拘束を加えて、Lagrange(ラグランジュ)の未定乗数法を適用すると、次式（４）が導出される。
【００８７】
【数５】
【００８８】
なお、式（４）において、mean(h)とは、hkの平均値を示している。mean(h)は、減算部３３により減算される。
【００８９】
また、丸め誤差により、点広がり関数hkを更新しているうちに、重心が画面中心から外れてしまうことがあるため、不正確な残差eが得られてしまい、ストラクチャfkの更新（復元)に悪影響を及ぼしてしまう。したがって、重心補正部２５は、１画素（pix）以下のバイリニア補間で、更新後の点広がり関数hk+△hk（=hk+1）の重心が画面中心にくるように、平行移動を行っている。
【００９０】
情報処理装置１は、上述したように、ブレ画像を構成するブロックから、ブレを除去したブロックを表すものとして、更新後のストラクチャUkを算出する。そして、情報処理装置１は、算出したストラクチャUkそれぞれを、１枚の画像となるように構成することにより、ブレが除去された原画像を取得する。
【００９１】
［初期推定PSFの推定方法］
次に、図２を参照して、H_init生成部２１が行う初期推定PSFの推定方法の概要を説明する。
【００９２】
ブレ画像は、ブレが生じていない原画像（ブレ画像に対応する原画像）とPSFとの畳み込みによりモデル化することができる。
【００９３】
直線PSFのスペクトラムが、ブレの長さを周期的に零点に落ち込む特徴を持ち、原画像とPSFの畳み込みにより、ブレ画像のスペクトルもブレの長さを周期に零点に落ち込む。
【００９４】
その零点に落ち込む間隔と方向を求めることにより、PSFの直線ブレの長さと方向を近似することができる。そこで、ブレ画像をFFT(Fast Fourier Transform、高速フーリエ変換)してブレ画像のスペクトラムを算出し、算出したスペクトラムのLog（自然対数）をとることにより、原画像のスペクトラムと、PSFのスペクトラム（MTF）の和に変換する。
【００９５】
ここで必要な情報はMTFのみなので、ブレ画像のスペクトラムに対して多くのパッチを足し合わせて平均化することにより、原画像のスペクトルの特徴が失われて、MTFの特徴のみを表すことが可能となる。
【００９６】
次に、図３乃至図６を参照して、初期推定PSFの具体的な推定方法を説明する。
【００９７】
図３は、ブレ画像についてケプストラムを生成する生成方法を示している。
【００９８】
H_init生成部２１は、入力されるブレ画像を、複数のブロックに分割し、分割した各ブロック毎に、FFT(Fast Fourier Transform、高速フーリエ変換)を行い、各ブロックそれぞれに対応するスペクトルを算出する。
【００９９】
すなわち、例えば、H_init生成部２１は、ブレ画像を分割して得られるブロックを構成する画素のY成分、R成分、G成分、B成分、及びR+G+B成分のうちのいずれかに、FFTを行い、対応するスペクトルを算出する。
【０１００】
また、H_init生成部２１は、各ブロックそれぞれに対応するスペクトルの２乗和について自然対数をとり、JPEG圧縮時に生じた歪みを除去するJPEG除去フィルタにより、歪みを除去する。これは、JPEG圧縮時に生じた歪みにより、スペクトル精度に影響を及ぼしてしまうことを防止することによる。
【０１０１】
さらに、H_init生成部２１は、JPEG除去フィルタによる歪み除去後の、各ブロックgそれぞれに対応するスペクトルgsの２乗和の自然対数logΣ|gs|2に対して、ブレによる周期的な落ち込みを際立たせるために、HPF（high pass filter）によるフィルタリング処理を行い、ブレによるなだらかな変化を低減させる。
【０１０２】
H_init生成部２１は、移動平均で差し引いた残差成分、すなわち、HPFによるフィルタリング処理が行われた後の、スペクトルの２乗和の自然対数logΣ|gs|2に対して、IFFT(Inverse Fast Fourier Transform、逆高速フーリエ変換)を行い、一種のケプストラムを生成する。
【０１０３】
より具体的には、H_init生成部２１は、HPFによるフィルタリング処理が行われた後の、スペクトルの２乗和の自然対数logΣ|gs|2において、正負の符号を逆転させる。そして、H_init生成部２１は、正負の符号が逆転されたlogΣ|gs|2のうち、負の符号を有する部分を破棄し、正の符号を有する部分のみに基づいて、一種のケプストラムを生成する。
【０１０４】
そして、H_init生成部２１は、生成したケプストラムに対して、輝点の最大値を算出する。
【０１０５】
すなわち、H_init生成部２１は、生成したケプストラムのうち、最大の値を有するケプストラムを、輝点の最大値として算出する。
【０１０６】
次に、図４は、生成したケプストラムに対して、輝点の最大値を算出する算出方法を示している。
【０１０７】
H_init生成部２１は、図４Aに示すように、周りの画素と比較して、輝度が大きい複数の画素の塊に強く反応するスポットフィルタによるフィルタリング処理を、生成したケプストラムに対して行う。
【０１０８】
また、H_init生成部２１は、図４Bに示すように、図４Aに示したスポットフィルタによるフィルタリング処理後のケプストラムから、最大値を含む一山を、スポットとして取り出す。
【０１０９】
さらに、H_init生成部２１は、図４Cに示すように、スポット位置を決定する。なお、スポット位置とは、最大値を含む一山を構成する複数のケプストラムからなるスポットの重心位置を表す。
【０１１０】
次に、図５は、初期推定PSFの推定が成功したか否かを判定する判定方法を説明する。なお、初期推定PSFの推定方法については、後述する図６を参照して説明する。
【０１１１】
輝点は原点対称なので、原点対称位置にもうひとつの特徴点が存在する。すなわち、特徴点として、原点を対称とする２つのスポットが存在する。
【０１１２】
この２つのスポットに接する最小正方形範囲内で閾値を超えたものが存在する場合、すなわち、最小正方形範囲内で、閾値を超える値を有するケプストラムが存在する場合、H_init生成部２１は、初期推定PSFの初期推定が失敗したと判定する。
【０１１３】
この場合、H_init生成部２１は、初期推定した初期推定PSFを、ブレの分布がガウス分布（正規分布）に従うPSFに近似し、その結果得られるPSFを、初期値H_initに設定する。
【０１１４】
また、２つのスポットに接する最小正方形範囲内で閾値を超えたものが存在しない場合、すなわち、最小正方形範囲内で、閾値を超える値を有するケプストラムが存在しない場合、H_init生成部２１は、初期推定PSFの初期推定が成功したと判定し、初期推定PSFを初期値H_initに設定する。
【０１１５】
次に、図６は、２つのスポットに基づいて、初期推定PSFを推定（生成）する推定方法を示している。
【０１１６】
２つのスポットに接する最小正方形範囲内で閾値を超えたものが存在しない場合、H_init生成部２１は、図６に示すように、スポット位置を原点対称に結ぶ直線を、初期推定PSFとして生成し、初期値H_initに設定する。
【０１１７】
［ストラクチャUkの初期値U_initの生成方法］
次に、図７を参照して、U_init生成部３４が行う、ストラクチャUkの初期値U_initの生成方法を説明する。
【０１１８】
U_init生成部３４は、入力されるブレ画像を、初期推定PSFのサイズで縮小することにより縮小画像を生成し、生成した縮小画像を、初期推定PSFのサイズで拡大することにより拡大画像を生成する。そして、生成した拡大画像を、ストラクチャ成分とテクスチャ成分に分離し、分離により得られたストラクチャ成分を、ストラクチャUの初期値U_initとして、U生成部３５に供給する。
【０１１９】
すなわち、例えば、U_init生成部３４は、入力されるブレ画像を構成するブロックを、H_init生成部２１から供給される、ブロックの初期推定PSFを１点に縮小する縮小サイズと同一の縮小サイズで縮小することにより、ブロックに生じているブレが除去（低減）された縮小ブロックを生成する。
【０１２０】
そして、U_init生成部３４は、生成した縮小ブロックを、１点に縮小された初期推定PSFを、元の初期推定PSFに拡大する拡大サイズと同一の拡大サイズで拡大することにより、拡大によるボケが生じているが、ブレは生じていない拡大ブロックを生成する。
【０１２１】
U_init生成部３４は、生成した拡大ブロックを、初期値U_init（ストラクチャU0）として、U生成部３５に供給する。
【０１２２】
［点広がり関数の重心の補正方法］
次に、図８を参照して、重心補正部２５が行う、重心を補正する補正方法を説明する。
【０１２３】
図８は、バイリニア補間による補間方法を示している。
【０１２４】
上述したように、H生成部２６乃至残差生成部２９、corr部３１、及びU生成部３５等が、点広がり関数Hkを更新しているうちに、丸め誤差により、重心が画面中心から外れてしまうことがあるため、重心補正部２５は、図８に示すように、バイリニア補間により、点広がり関数Hk+△Hkの重心が画面中心にくるように平行移動を行う。
【０１２５】
［サポート制限処理］
次に、図９を参照して、サポート制限部２２が行うサポート制限処理を説明する。
【０１２６】
H生成部２６乃至残差生成部２９、corr部３１、及びU生成部３５等が、点広がり関数Hkを更新するときに、更新分の△Hkの自由度が高く、図９Aに示すように、真のPSF(点広がり関数)から離れた場所に、更新後の点広がり関数Hk+△Hkが表すブレが正確に反映されていない偽画素が現れる。そこで、サポート制限部２２は、図９Bに示すように、初期推定PSFの近傍だけ更新を許可し、初期推定PSFの近傍以外の領域では、更新分△Hkに画素が存在しても、マスクすることで、初期推定PSFの近傍だけを更新させるように、サポート(support)制限を加えることとしている。
【０１２７】
ところで、点広がり関数Hkの更新ループにおいて、ストラクチャUkの更新分△Ukは徐々に小さくなり、ある程度小さくなると、残差Ek=G-Hk*(Uk+△Uk)が飽和してしまい（残差Eが殆ど変化しなくなってしまい）、点広がり関数Hkの更新が停止する。したがって、トータルバリエーションフィルタ３７に設定されたフィルタ閾値を調整することにより、意図的に残差Ekを下げて（小さくして）、それをトリガにして、点広がり関数Hkの更新も再開させる。
【０１２８】
また、トータルバリエーションフィルタ３７において、最終出力がされた場合には、フィルタ閾値を低くする（逓減させる）ことで、ストラクチャ出力によるディテイル不足を克服することが可能となる。
【０１２９】
点広がり関数Hkの更新時に使用するストラクチャUkの情報は、輝度Y（R成分、G成分、及びB成分それぞれに対する重み付けによる乗算で得られる乗算結果の総和を表すY成分）の他に、R/G/B３チャンネルの和（R成分、G成分、及びB成分の総和）を使用することもできる。輝度Yだけで更新するときとの違いは、R/Bチャンネルだけブレが反映されるエッジが存在するようなブレ画像に対しても、Gチャンネルと同様に大きなフィードバックが得られることである。
【０１３０】
また、点広がり関数Hkの更新時に使用するストラクチャUkの情報は、R成分、G成分、及びB成分を使用することができる。
【０１３１】
［反復更新処理］
次に、図１０のフローチャートを参照して、情報処理装置１が行う反復更新処理を説明する。
【０１３２】
なお、反復更新処理においては、点広がり関数HkとストラクチャUkとを別々に更新していくのではなく、点広がり関数Hk及びストラクチャUkを、互いの初期値に基づいて、交互に更新していくアルゴリズムである。
【０１３３】
ステップＳ３１及びステップＳ３２において、初期値H_init，初期値U_initの初期推定、及び、各パラメータ、グローバル変数等の初期化を行う。
【０１３４】
すなわち、例えば、ステップＳ３１において、H_init生成部２１は、入力されたブレ画像Gから、ケプストラム上で特徴点を検出し、PSFの直線推定を行い、その直線推定により得られた初期推定PSFを、点広がり関数Hの初期値H_initに設定して、サポート制限部２２、及びH生成部２６に供給する。
【０１３５】
ステップＳ３２において、U_init生成部３４は、H_init生成部２１により設定された初期値H_init(=初期推定PSF)を用いて、入力されるブレ画像を、初期推定PSFサイズで縮小し、畳み込んだPSFを１点に戻すことにより、ブレ画像のブレが除去された画像であって、縮小された画像を生成する。
【０１３６】
また、U_init生成部３４は、縮小された画像を、初期推定PSFサイズで拡大することにより、補間によりボケた画像であって、ブレが除去された画像を生成し、ストラクチャUkの初期値U_initに設定して、U生成部３５に供給する。
【０１３７】
すなわち、例えば、U_init生成部３４は、入力されるブレ画像を構成するブロックを、H_init生成部２１から供給される、ブロックの初期推定PSFを１点に縮小する縮小サイズと同一の縮小サイズで縮小することにより、ブロックに生じているブレが除去（低減）された縮小ブロックを生成する。
【０１３８】
そして、U_init生成部３４は、生成した縮小ブロックを、１点に縮小された初期推定PSFを、元の初期推定PSFに拡大する拡大サイズと同一の拡大サイズで拡大することにより、拡大によるボケが生じているが、ブレは生じていない拡大ブロックを生成する。
【０１３９】
U_init生成部３４は、生成した拡大ブロックを、初期値U_init（ストラクチャU0）として、U生成部３５に供給する。
【０１４０】
ストラクチャUk及び点広がり関数Hkの両方とも正確にわかっていない状況の中で、ステップＳ３３において、ストラクチャUkは、最新の点広がり関数Hkの情報を用いて更新され、ステップＳ３４において、点広がり関数Hkは、最新のストラクチャUkの情報を用いて更新される。
【０１４１】
この繰り返しにより、ストラクチャUkと点広がり関数Hkとを交互に更新していくと、ストラクチャUkは、より真のストラクチャUへ、点広がり関数Hkは、より真の点広がり関数Hへと収束していく。
【０１４２】
すなわち、ステップＳ３３において、conv部２７乃至corr部３１、U生成部３５、及びトータルバリエーションフィルタ３７等は、点広がり関数Hkの初期値H_init（=初期推定PSF）を用いて、従来のRichardson-Lucy法によるストラクチャU0の更新を行う。
【０１４３】
ステップＳ３３において、conv部２７は、H生成部２６からの点広がり関数Hkの初期値H_initである点広がり関数H0と、U生成部３５からのストラクチャU0との畳み込み演算を行い、その演算結果H0○U0を、処理部２８に供給する。
【０１４４】
処理部２８は、入力されるブレ画像Gから、conv部２７からの演算結果H0○U0を減算し、その減算結果G-H0○U0を、残差生成部２９に供給する。
【０１４５】
残差生成部２９は、処理部２８からの減算結果G-H0○U0を、corr部３０及びcorr部３１に供給する。
【０１４６】
corr部３０は、残差生成部２９からの減算結果G-H0○U0と、H生成部２６からの点広がり関数H0との相関演算を行い、その演算結果H0o(G-H0○U0)を、乗算部３６に供給する。
【０１４７】
乗算部３６は、corr部３０からの演算結果H0o(G-H0○U0)に、U生成部３５からのストラクチャU0を乗算し、その乗算結果U0{H0o(G-H0○U0)}を、更新後のストラクチャとして、トータルバリエーションフィルタ３７に供給する。
【０１４８】
トータルバリエーションフィルタ３７は、乗算部３６からの乗算結果U0{H0o(G-H0○U0)}に対して、増幅されたノイズや発生したリンギングを抑制する処理を行う。
【０１４９】
そして、トータルバリエーションフィルタ３７は、その処理により得られた、乗算結果U0{H0o(G-H0○U0)}のストラクチャ成分及びテクスチャ成分のうち、ストラクチャ成分を、U生成部３５に供給する。
【０１５０】
U生成部３５は、トータルバリエーションフィルタ３７から供給されるストラクチャ成分を、次のストラクチャの更新対象であるストラクチャU1として取得する。
【０１５１】
そして、U生成部３５は、取得したストラクチャU1をさらに更新するために、ストラクチャU1を、conv部２７、corr部３１、及び乗算部３６に供給する。
【０１５２】
ステップＳ３４において、H生成部２６乃至残差生成部２９、corr部３１、及びU生成部３５等は、最急降下法により、ストラクチャUkの初期値U_initを用いて、点広がり関数H0の更新を行う。
【０１５３】
なお、上述したステップＳ３３において、残差生成部２９は、処理部２８からの減算結果G-H0○U0を、corr部３０の他、corr部３１に供給している。
【０１５４】
ステップＳ３４では、corr部３１は、残差生成部２９からの減算結果G-H0○U0と、U生成部３５からのストラクチャU0との相関演算を行い、その演算結果U0o(G-H0○U0)を、減算部３３に供給する。
【０１５５】
また、corr部３１は、H生成部２６から、conv部２７、処理部２８、及び残差生成部２９を介して供給された点広がり関数H0を、平均化部３２に供給する。
【０１５６】
平均化部３２は、corr部３１からの点広がり関数H0の平均値mean(H0)を算出し、減算部３３に供給する。
【０１５７】
減算部３３は、corr部３１から供給される演算結果U0o(G-H0○U0)から、平均化部３２からのmean(H0)を減算し、その結果得られる減算結果U0o(G-H0○U0)-mean(H0)を、乗算部２３に供給する。
【０１５８】
乗算部２３は、サポート制限部２２からのサポート制限情報に基づいて、減算部３３からの減算結果U0o(G-H0○U0)-mean(H0)のうち、初期推定PSFの周辺に存在する減算結果に対応するもののみを抽出し、加算部２４に供給する。
【０１５９】
加算部２４は、乗算部２３からの値Uko(G-Hk○Uk)-mean(Hk)のうち、値Uko(G-Hk○Uk)に、未定乗数λを乗算する。そして、加算部２４は、その結果得られる値λUko(G-Hk○Uk)-mean(Hk)に、H生成部２６からの点広がり関数Hkを加算し、その結果得られる値Hk+λUko(G-Hk○Uk)-mean(Hk)に対して、Lagrangeの未定乗数法を適用し、未定乗数λの解として値aを算出する。
【０１６０】
加算部２４は、Lagrangeの未定乗数法により算出された値aを、値Hk+λUko(G-Hk○Uk)-mean(Hk)に代入し、その結果得られる値Hk+aUko(G-Hk○Uk)-mean(Hk)を、重心補正部２５に供給する。
【０１６１】
これにより、重心補正部２５には、ブレ画像を構成する複数のブロック毎に得られたH0+aU0o(G-H0○U0)-mean(H0)=H0+ΔH0が供給される。
【０１６２】
重心補正部２５は、点広がり関数H0+△H0の重心を、バイリニア補間により、画面の中心（点広がり関数の初期値H_initの重心）に移動させ、重心を移動させた点広がり関数H0+△H0を、H生成部２６に供給する。
【０１６３】
H生成部２６は、重心補正部２５からの点広がり関数H0+△H0を、更新後の点広がり関数H1として取得する。
【０１６４】
そして、H生成部２６は、取得した点広がり関数H1をさらに更新するために、点広がり関数H1を、加算部２４、conv部２７、及びcorr部３０に供給する。
【０１６５】
ステップＳ３５において、反復更新処理は終了するか否かを判定する。すなわち、例えば、更新後のストラクチャUk（又は点広がり関数Hkの少なくとも一方）は収束したか否かを判定する。そして、更新後のストラクチャUkが収束していないと判定された場合、処理はステップＳ３３に戻る。
【０１６６】
なお、更新後のストラクチャUkが収束したか否かは、例えば、残差生成部２９により、ブレ画像を構成する複数のブロックそれぞれに対応する値G-Hk○Uk（=Ek）の２乗和Σ|Ek|2が、所定の値未満であるか否かに基づいて判定される。
【０１６７】
また、トータルバリエーションフィルタ３７が、乗算部３６からのストラクチャUkを構成する画素のうち、隣接画素どうしの輝度の差分絶対値和を表すトータルバリエーションが、増加から減少に転じたか否かに基づいて判定するようにしてもよい。
【０１６８】
ステップＳ３３では、前回のステップＳ３４の処理による更新後の点広がり関数Hk（例えば、H1）を用いて、前回のステップＳ３３の処理による更新後のストラクチャUk（例えば、U1）の更新を、従来のRichardson-Lucy法により行う。
【０１６９】
すなわち、ステップＳ３３では、conv部２７乃至corr部３１、U生成部３５、及びトータルバリエーションフィルタ３７等は、前回のステップＳ３４の処理による更新後の点広がり関数Hk（例えば、H1）を用いて、従来のRichardson-Lucy法によるストラクチャUk（例えば、U1）の更新を行う。
【０１７０】
ステップＳ３３の処理の終了後、ステップＳ３４では、前回のステップＳ３３の処理による更新後のストラクチャUk（例えば、U1）を用いて、前回のステップＳ３４の処理による更新後の点広がり関数Hk（例えば、H1）の更新を、最急降下法により行う。
【０１７１】
すなわち、ステップＳ３４では、H生成部２６乃至残差生成部２９、corr部３１、及びU生成部３５等は、最急降下法により、前回のステップＳ３３の処理による更新後のストラクチャUk（例えば、U1）を用いて、点広がり関数Hk（例えば、H1）の更新を行う。
【０１７２】
処理は、ステップＳ３４からステップＳ３５に進み、以下、同様の処理が繰り返される。
【０１７３】
なお、ステップＳ３５において、更新されたストラクチャUkが収束していると判定された場合、反復更新処理は終了される。
【０１７４】
以上説明したように、反復更新処理では、ストラクチャUkと点広がり関数Hkの更新を反復して行うことにより、ストラクチャUkを真のストラクチャUに収束させる（及び点広がり関数Hkを真の点広がり関数Hに収束させる）こととしたので、最終的に得られるストラクチャUkに発生するリンギングやノイズを抑制することが可能となる。
【０１７５】
また、初期値H_initとして得られるPSF（=点広がり関数H0）が不正確な状態からでも、正確なPSF、すなわち、真のPSF又は真のPSFに近いPSFを求めることが可能となる。
【０１７６】
さらに、PSFのサポート制限により、初期値H_init(=初期推定PSF)が初期推定の方向に沿って更新されるため、発散することなく、真のPSF又は真のPSFに近いPSFを求めることが可能となる。
【０１７７】
＜２．変形例１＞
［反復更新処理の変形例］
なお、反復更新処理では、例えば、ステップＳ３１において、初期値H_init（=点広がり関数H0）の推定（生成）に成功した場合には、ステップＳ３３において、初期値H_initでストラクチャU0の更新を行い、ステップＳ３１において、初期値H_initの推定に失敗した場合、ステップＳ３３において、PSFをガウシアン（ガウス分布）により近似し、近似したPSFを初期値H_initとして、ストラクチャU0の更新を行うようにすることが可能である。この場合、初期値H_init(=初期推定PSF)のズレによるストラクチャU0の劣化を防止することができる。
【０１７８】
また、ステップＳ３３では、conv部２７乃至corr部３１、U生成部３５、及びトータルバリエーションフィルタ３７等が、従来のRichardson-Lucy法によるストラクチャUkの更新を行うこととしたが、Richardson-Lucy法による処理を高速化した従来のR-L高速アルゴリズムを用いることとすれば、より迅速に、ストラクチャUkを、真のストラクチャに更新することが可能となる。
【０１７９】
さらに、図１０の反復更新処理において、ステップＳ３５では、更新後のストラクチャUkが収束したか否かに応じて、反復更新処理を終了するか否かを判定することとしたが、これに限定されない。
【０１８０】
すなわち、例えば、ステップＳ３５では、ストラクチャUk及び点広がり関数Hkを所定の回数だけ更新したか否かを判定し、所定の回数だけ更新したと判定された場合に、反復更新処理を終了させるようにしてもよい。なお、所定の回数としては、例えば、精度が低いPSFでもリンギングが発生しない程度の回数か、トータルバリエーションフィルタ３７により僅かに発生したリンギングを取り消すことが出来る程度の回数であることが望ましい。
【０１８１】
［residual deconvolutionの適用方法］
ところで、本発明の第１の実施の形態では、トータルバリエーションフィルタ３７のフィルタ閾値を充分低くした状態で得られるストラクチャUkを最終出力としたが、ブレ画像と更新済みのストラクチャUkを用いて、従来のresidual deconvolutionによる方法を行うことも可能である。
【０１８２】
図１１は、ブレ画像と更新済みのストラクチャUkを用いて、従来のresidual deconvolutionによる方法を行う情報処理装置６１の構成例を示している。
【０１８３】
この情報処理装置６１は、conv部９１、減算部９２、加算部９３、R-Ldeconv部９４、減算部９５、加算部９６、オフセット(offset)部９７、及びゲインマップ（Gain Map）９８により構成される。
【０１８４】
conv部９１には、更新済みのHkと更新済みのUkとが供給される。Conv部９１は、更新済みのHkと、更新済みのUkとの畳込み演算を行い、その結果得られる値Hk○Ukを、減算部９２に供給する。
【０１８５】
減算部９２には、ブレ画像Gが供給される。減算部９２は、供給されるブレ画像Gから、conv部９１からの値Hk○Ukを減算し、その減算結果G-Hk○Ukを、残差成分（residual）として、加算部９３に供給する。
【０１８６】
加算部９３は、減算部９２からの残差成分G-Hk○Ukを正の値にするために、残差成分G-Hk○Ukに、オフセット部９７からのオフセット値とを加算し、その加算結果を、R-Ldeconv部９４に供給する。なお、加算部９３において、残差成分G-Hk○Ukにオフセット値を加算して正の値にするのは、R-Ldeconv部９４による処理において、正の値を対象としていることによる。
【０１８７】
R-Ldeconv部９４は、ゲインマップ（Gain Map）部９８に保持されているゲインマップ、及び更新済みのHkに基づいて、加算部９３からの加算結果に対して、非特許文献１に記載されたresidual deconvolutionを行う。これにより、オフセット値が加算された残差成分のリンギングが抑制される。
【０１８８】
減算部９５は、R-Ldeconv部９４からの処理結果から、加算部９３で加算したものと同一のオフセット値を減算し、リンギングが抑制された残差成分、すなわち、ブレ画像のテクスチャを復元した復元結果を取得する。そして、減算部９５は、取得したテクスチャの復元結果を、加算部９６に供給する。
【０１８９】
加算部９６には、更新済みのストラクチャUkが供給される。加算部９６は、減算部９５からの、テクスチャの復元結果と、供給される更新済みのストラクチャUkとを加算し、その結果得られる、ブレ画像からブレを除去した復元画像を出力する。
【０１９０】
すなわち、例えば、加算部９６は、ブレ画像を構成するブロックに対応する、テクスチャの復元結果と更新済みのストラクチャUkとを加算し、その加算結果として、ブレ画像を構成するブロックから、ブレを除去した復元ブロックを取得する。そして、加算部９６は、ブレ画像を構成するブロックそれぞれに対応する復元ブロックを取得し、取得した復元ブロックそれぞれをつなぎ合わせることにより、復元画像を生成して出力する。
【０１９１】
オフセット部９７は、残差成分G-Hk○Ukを正の数にするために加算されるオフセット値を予め保持している。オフセット部９７は、予め保持しているオフセット値を、加算部９３及び減算部９５に供給する。
【０１９２】
ゲインマップ部９８は、残差成分G-Hk○Ukのゲインを調整するために用いられるゲインマップを予め保持している。
【０１９３】
図１１に示すように、更新済みの点広がり関数PSF（点広がり関数Hk）で更新済みのストラクチャUkにブレを生じさせ、ブレ画像Gとの残差成分（residual成分）G-Hk○Ukに対して、deconvolution(R-Ldeconv部９４による処理)を行い、その結果得られるもの（ブレ画像のテクスチャを復元した復元結果）を、更新済みのストラクチャUkに加算することで、残差のディテイル情報が復元されて、きめ細かい復元結果が得られる。
【０１９４】
［RGB空間以外の色空間への適用方法］
なお、本発明の第１の実施の形態では、RGB空間（R成分、G成分、及びB成分により表される画素により構成されるブレ画像）について反復更新処理を行うこととしたが、YUV空間等のほかの色空間について、同様の反復更新処理を行うことが可能である。
【０１９５】
次に、図１２は、YUV空間について反復更新処理を行うことを説明する図である。
【０１９６】
図１２に示すように、YUV空間において、Yだけ反復更新処理（GSDM,Gradual Structure Deconvolution Method）を適用して正確なPSFを算出した後に、算出した正確なPSFを用いたRichardson-Lucy法等による処理を、リンギングが発生しない程度にU/V成分に対して行ったものを、Yに足し合わせるようにしてもよい。
【０１９７】
なお、上述した第１の実施の形態では、最急降下法を用いて、点広がり関数Hkを更新するとともに、Richardson-Lucy法を用いて、ストラクチャUkを更新するようにしたが、その他、例えば、Richardson-Lucy法を用いて、点広がり関数Hkを更新するとともに、最急降下法を用いて、ストラクチャUkを更新するようにしてもよい。
【０１９８】
＜３．第２の実施の形態＞
［情報処理装置の構成］
次に、図１３を参照して、Richardson-Lucy法を用いて、点広がり関数Hkを更新するとともに、最急降下法を用いて、ストラクチャUkを更新する情報処理装置１２１について説明する。
【０１９９】
図１３は、本発明の第２の実施の形態である情報処理装置１２１を示している。
【０２００】
なお、この情報処理装置１２１において、図１に示された第１の実施の形態である情報処理装置１の構成要素のうち、共通するものについては同一の符号を付しているので、その説明は適宜省略する。
【０２０１】
すなわち、情報処理装置１２１において、加算部２４に代えて乗算部１５１が、乗算部３６に代えて加算部１５２が、乗算部２３、平均化部３２、及び減算部３３に代えて乗算部１５３が、それぞれ設けられている他は、情報処理装置１と同様に構成されている。
【０２０２】
乗算部１５１には、乗算部１５３から、初期推定PSFの周辺の領域に対応する演算結果Uko(G-Hk○Uk)が、H生成部２６から、点広がり関数Hkが、それぞれ供給される。
【０２０３】
乗算部１５１は、乗算部１５３からの演算結果Uko(G-Hk○Uk)と、H生成部２６からの点広がり関数Hkとを乗算し、その結果得られる点広がり関数Hk+1=HkUko(G-Hk○Uk)を、重心補正部２５に供給する。
【０２０４】
加算部１５２には、corr部３０から、演算結果Hko(G-Hk○Uk)が、U生成部３５からストラクチャUkが、それぞれ供給される。
【０２０５】
加算部１５２は、corr部３０からの演算結果Hko(G-Hk○Uk)に、未定乗数λを乗算し、その結果得られる値λHko(G-Hk○Uk)に、U生成部３５からのストラクチャUkとを加算する。そして、加算部１５２は、その結果得られる加算結果Uk+λHko(G-Hk○Uk)(=Uk+1)について、Lagrangeの未定乗数法により、未定乗数λを算出する。
【０２０６】
加算部１５２は、未定乗数λの解として算出された定数aを、加算結果Uk+λHko(G-Hk○Uk)に代入し、その結果得られるストラクチャUk+1=Uk+aHko(G-Hk○Uk)を、トータルバリエーションフィルタ３７に供給する。
【０２０７】
乗算部１５３には、corr部３１から、演算結果Uko(G-Hk○Uk)が、サポート制限部２２から、サポート制限情報が、それぞれ供給される。
【０２０８】
乗算部１５３は、サポート制限部２２からのサポート制限情報に基づいて、corr部３１からの演算結果Uko(G-Hk○Uk)のうち、初期推定PSFの周辺の領域に対応する演算結果のみを抽出し、乗算部１５１に供給する。
【０２０９】
この情報処理装置１２１においても、第１の実施の形態である情報処理装置１と同様の作用効果を奏することが可能である。
【０２１０】
＜４．変形例２＞
第２の実施の形態では、Richardson-Lucy法を用いて、点広がり関数Hkを更新するとともに、最急降下法を用いて、ストラクチャUkを更新するようにしたが、Richardson-Lucy法を用いて、点広がり関数Hk及びストラクチャUkを更新するようにしてもよいし、最急降下法を用いて、点広がり関数Hk及びストラクチャUkを更新するようにしてもよい。
【０２１１】
なお、第１及び第２の実施の形態では、ブレ画像を構成する複数のブロックに対して、反復更新処理を行うようにしたが、ブレ画像そのものを１個のブロックとして、反復更新処理を行うことも可能である。
【０２１２】
［糊代処理］
また、第１及び第２の実施の形態では、上述したように、ブレ画像に対して、反復更新処理を行うことも可能であるが、これに限定されない。すなわち、例えば、ブレ画像を複数のブロックに分割し、ブロック毎に、第１の実施の形態である情報処理装置１、又は第２の実施の形態である情報処理装置１２１を用いて反復更新処理を行い、図１４及び図１５に示すように、反復更新処理後の複数のブロックをつなぎ合わせることにより、復元後の１枚の復元画像を生成する糊代処理を行うようにしてもよい。
【０２１３】
具体的には、第１及び第２の実施の形態では、ブレ画像を複数のブロックに分割し、そのブロック毎に、反復更新処理を行うようにしたが、糊代処理では、分割されたブロックを拡大（拡張）した上で、反復更新処理を行い、反復更新処理後のブロックを、元のブロックのサイズに縮小して得られる複数の縮小ブロックをつなぎ合わせることにより、復元後の１枚の復元画像を生成する。
【０２１４】
図１４及び図１５は、反復更新処理後の複数のブロックをつなぎ合わせることにより、復元後の１枚の復元画像を生成する糊代処理の様子を示している。
【０２１５】
次に、図１４を参照して、ブレ画像を構成する複数のブロックそれぞれに対応するストラクチャUkを生成する処理を説明する。
【０２１６】
図１４に示されるように、ブレ画像を構成する複数のブロック（例えば、図１４に示すG）は、それぞれ、隣接するブロックとの連続性を維持するために、隣接するブロックどうしが、一部分だけ重なり合うサイズとなるように、拡大（拡張）される。これにより、拡大ブロック（例えば、図１４に示す、dummyが付加されたG'）が生成される。
【０２１７】
また、ブレ画像を構成する複数のブロックそれぞれに対応するストラクチャU0（例えば、図１４に示すU）についても、同一のサイズで拡大される。これにより、拡大ストラクチャ（例えば、図１４に示す、dummyが付加されたU'）が生成される。
【０２１８】
そして、拡大ブロック、拡大ストラクチャ、及び拡大ブロックに基づいて生成された点広がり関数H0（例えば、図１４に示すPSF）に基づいて、Richardson-Lucy法により、拡大ストラクチャの更新を行う。
【０２１９】
Richardson-Lucy法による拡大ストラクチャの更新により得られた更新後の拡大ストラクチャ（例えば、図１４に示す、dummyが付加されたupdated U）を、元のストラクチャU0のサイズに縮小する。
【０２２０】
これにより、ブレ画像を構成する複数のブロックそれぞれに対応するストラクチャとして、隣接するブロックとの連続性が維持されたストラクチャ（例えば、図１４に示すupdated U）を取得し、図１５に示されるように、取得したストラクチャを、それぞれつなぎ合わせることにより、ブレが低減（除去）された復元画像を取得することができる。
【０２２１】
また、１個の拡大ブロックにおいて、点広がり関数Hkの更新を行い、最終的に得られる点広がり関数を、他の拡大ブロックの点広がり関数として用いて、他の拡大ブロックに対応するストラクチャUkを更新するようにしてもよい。
【０２２２】
この場合、他の拡大ブロックでは、点広がり関数Hkの更新を行う必要がなく、ストラクチャUkの更新のみを行えばよいこととなる。
【０２２３】
したがって、拡大ブロック毎に、対応する点広がり関数Hkの更新を行う場合と比較して、拡大ブロックそれぞれの点広がり関数Hを算出するために用いられるメモリ（の記憶容量）を少なくすることができるととも、点広がり関数を更新（算出）するための計算量を少なくすることが可能となる。
【０２２４】
［他の変形例］
また、第１の実施の形態では、ブレ画像を複数のブロックに分割し、ブロック毎に、点広がり関数Hk及びストラクチャUkを反復して更新するようにしたが、ブレ画像を構成する複数のブロックのうちの所定のブロックについてのみ、点広がり関数Hkの更新を行い、最終的に得られる点広がり関数を、他のブロックの点広がり関数として用いるようにしても、ブロックそれぞれの点広がり関数Hkを算出するために用いられるメモリを少なくすることができるととも、点広がり関数を更新するための計算量を少なくすることが可能となる。
【０２２５】
ところで、反復更新処理では、ブレ画像を対象として処理を行うこととしたが、その他、合焦距離のズレによるピンボケ、面内一様のボケ、カメラレンズによる面内不均一な周辺ボケ等が生じたボケ画像に対しても処理を行うことが可能である。
【０２２６】
また、反復更新処理は、予め記録しておいた、ブレが生じた動画像に対して処理を行うこともできるし、動画像を撮像しているときに生じたブレを検出して、リアルタイムに除去するように処理を行うこともできる。
【０２２７】
図１における第１の実施の形態では、ストラクチャ成分とテクスチャ成分とを分離するために、トータルバリエーションフィルタ３７を用いることとしたが、その他、例えばBilateralフィルタ、εフィルタ等を用いるようにしてもよい。
【０２２８】
第１及び第２の実施の形態では、処理部２８が、ブレ画像Gから、conv部２７からの演算結果Hk○Ukを減算し、その減算結果G-Hk○Ukを、残差生成部２９に供給するようにしたが、その他、ブレ画像Gを、conv部２７からの演算結果Hk○Ukで除算し、その除算結果(Hk○Uk)/Gを、残差生成部２９に供給するよう構成しても、同様の結果を得ることができる。
【０２２９】
上述した反復更新処理では、ステップＳ３３において、点広がり関数Hkを用いて、ストラクチャUkの更新を行うと同時に、ステップＳ３４において、ストラクチャUkを用いて、点広がり関数Hkの更新を行うようにしたが、これに限定されない。
【０２３０】
すなわち、例えば、反復更新処理において、ストラクチャの更新、及び点広がり関数の更新を交互に行うようすることが可能である。
【０２３１】
具体的には、例えば、ステップＳ３３において、点広がり関数Hkを用いて、ストラクチャUkの更新を行い、ステップＳ３４において、その更新により得られたストラクチャUk+1を用いて、点広がり関数Hkを更新するようにしてもよい。さらに、次回のステップＳ３３において、更新により得られた点広がり関数Hk+1を用いて、ストラクチャUk+1を更新し、次回のステップＳ３４において、更新により得られたストラクチャUk+2を用いて、点広がり関数Hk+1を更新するというように、ストラクチャと点広がり関数との更新を、交互に行うようにすることが可能である。
【０２３２】
この場合、例えば、ストラクチャUkを用いて、点広がり関数Hkを更新する場合と比較して、より真のストラクチャに近いストラクチャUk+1を用いて、点広がり関数Hkを更新するため、点広がり関数Hkの更新結果として、より真の点広がり関数に近い点広がり関数Hk+1を取得することが可能となる。
【０２３３】
［反復更新処理の高速化方法］
また、上述した反復更新処理では、少しでも計算量を減らし、処理を高速化することが望まれる。ここで、図１６乃至図１９を参照して、ブレ画像のR（赤）成分、G（緑）成分、及びB（青）成分の各色成分毎に反復更新処理を行う場合に、画質の低下を抑制しつつ、より高速に画像のブレを補正する方法について説明する。
【０２３４】
図１６は、ブレ画像のR成分、G成分、及びB成分の各色成分毎に反復更新処理を行う場合に、画質の低下を抑制しつつ、より高速に画像のブレを補正することが可能な画像処理装置２０１の構成例を示している。画像処理装置２０１は、情報処理装置１、ダウンサンプル部２１１、アップサンプル部２１２、HPF（ハイパスフィルタ）２１３、マスク生成部２１４、および、乗算部２１５を含むように構成される。
【０２３５】
ダウンサンプル部２１１には、ブレ画像のR成分からなる画像（以下、Rブレ画像と称する）、および、ブレ画像のB成分からなる画像（以下、Bブレ画像と称する）が入力される。ダウンサンプル部２１１は、Rブレ画像およびBブレ画像を所定の倍率で縮小し、縮小した画像（以下、縮小Rブレ画像および縮小Bブレ画像と称する）を情報処理装置１に供給する。
【０２３６】
情報処理装置１には、縮小Rブレ画像および縮小Bブレ画像の他、ブレ画像のG成分からなる画像（以下、Gブレ画像と称する）が入力される。情報処理装置１は、Gブレ画像、縮小Rブレ画像、および、縮小Bブレ画像に対して、図１０を参照して上述した反復更新処理を行い、各画像のストラクチャ成分のブレを補正する。情報処理装置１は、Gブレ画像のストラクチャ成分のブレを補正した画像（以下、G補正画像と称する）をHPF２１３に供給するとともに、外部に出力する。また、情報処理装置１は、縮小Rブレ画像のストラクチャ成分のブレを補正した画像（以下、縮小R補正画像と称する）、および、縮小Bブレ画像のストラクチャ成分のブレを補正した画像（以下、縮小B補正画像と称する）をアップサンプル部２１２に供給する。
【０２３７】
アップサンプル部２１２は、縮小R補正画像および縮小B補正画像を縮小前の大きさに戻し、その結果得られた画像（以下、R補正画像およびB補正画像と称する）を乗算部２１５に供給する。
【０２３８】
HPF２１３は、G補正画像の所定の閾値より低い周波数成分を減衰させることにより、G補正画像のテクスチャ成分を抽出する。HPF２１３は、抽出したテクスチャ成分からなる画像（以下、Gテクスチャ画像と称する）を乗算部２１５に供給する。
【０２３９】
マスク生成部２１４には、Rブレ画像、Gブレ画像、および、Bブレ画像が入力される。マスク生成部２１４は、Rブレ画像の画素値の変動とGブレ画像の画素値の変動の相関に基づいて、乗算部２１５においてR補正画像とGテクスチャ画像とを合成するときに用いるマスク画像（以下、RGマスク画像と称する）を生成する。また、マスク生成部２１４は、Bブレ画像の画素値の変動とGブレ画像の画素値の変動の相関に基づいて、乗算部２１５においてB補正画像とGテクスチャ画像とを合成するときに用いるマスク画像（以下、BGマスク画像と称する）を生成する。マスク生成部２１４は、生成したRGマスク画像およびBGマスク画像を乗算部２１５に供給する。
【０２４０】
乗算部２１５は、RGマスク画像を用いて、R補正画像にGテクスチャ画像を合成する。また、乗算部２１５は、BGマスク画像を用いて、B補正画像にGテクスチャ画像を合成する。乗算部２１５は、R補正画像にGテクスチャ画像を合成することにより得られた画像（以下、Rテクスチャ合成画像と称する）、および、B補正画像にGテクスチャ画像を合成することにより得られた画像（以下、Bテクスチャ合成画像と称する）を外部に出力する。
【０２４１】
図１７は、マスク生成部２１４の機能の構成の例を示している。マスク生成部２１４は、LPF（ローパスフィルタ）２３１−１，２３１−２、減算部２３２−１，２３２−２、相関検出部２３３、および、マスク画像生成部２３４を含むように構成される。
【０２４２】
LPF２３１−１には、Gブレ画像が入力される。LPF２３１−１は、Gブレ画像の所定の閾値より高い周波数成分を減衰させて、減算部２３２−１に供給する。
【０２４３】
減算部２３２−１には、LPF２３１−１により高周波成分が減衰されたGブレ画像の他、高周波成分が減衰される前のGブレ画像が入力される。減算部２３２−１は、高周波成分が減衰される前と後のGブレ画像の差分をとることにより、Gブレ画像の高周波成分を抽出する。減算部２３２−１は、抽出したGブレ画像の高周波成分からなる画像（以下、G高周波ブレ画像と称する）を相関検出部２３３に供給する。
【０２４４】
LPF２３１−２には、Rブレ画像およびBブレ画像が入力される。LPF２３１−１は、Rブレ画像およびBブレ画像の所定の閾値より高い周波数成分を減衰させて、減算部２３２−２に供給する。
【０２４５】
減算部２３２−２には、LPF２３１−２により高周波成分が減衰されたRブレ画像およびBブレ画像の他、高周波成分が減衰される前のRブレ画像およびBブレ画像が入力される。減算部２３２−２は、高周波成分が減衰される前と後のRブレ画像の差分をとることにより、Rブレ画像の高周波成分を抽出し、高周波成分が減衰される前と後のBブレ画像の差分をとることにより、Bブレ画像の高周波成分を抽出する。減算部２３２−２は、抽出したRブレ画像の高周波成分からなる画像（以下、R高周波ブレ画像と称する）、および、抽出したBブレ画像の高周波成分からなる画像（以下、B高周波ブレ画像と称する）を相関検出部２３３に供給する。
【０２４６】
相関検出部２３３は、Rブレ画像の高周波成分とGブレ画像の高周波成分との相関、および、Bブレ画像の高周波成分とGブレ画像の高周波成分との相関を検出し、検出結果をマスク画像生成部２３４に供給する。
【０２４７】
マスク画像生成部２３４は、Rブレ画像の高周波成分とGブレ画像の高周波成分との相関に基づいて、RGマスク画像を生成し、Bブレ画像の高周波成分とGブレ画像の高周波成分との相関に基づいて、BGマスク画像を生成する。マスク画像生成部２３４は、生成したRGマスク画像およびBGマスク画像を乗算部２１５に供給する。
【０２４８】
次に、図１８のフローチャートを参照して、画像処理装置２０１により実行される画像補正処理について説明する。なお、この処理は、例えば、画像処理装置２０１に、補正の対象となるブレ画像が入力され、図示せぬ操作部を介して、画像補正処理の実行が指令されたとき開始される。なお、入力されたブレ画像のG成分からなるGブレ画像は、情報処理装置１、並びに、マスク生成部２１４のLPF２３１−１および減算部２３２−１に供給され、ブレ画像のR成分からなるRブレ画像、および、ブレ画像のB成分からなるBブレ画像は、ダウンサンプル部２１１、並びに、マスク生成部２１４のLPF２３１−２および減算部２３２−２に供給される。
【０２４９】
ステップＳ１０１において、情報処理装置１は、Gブレ画像に対して、図１０を参照して上述した反復更新処理を行う。情報処理装置１は、反復更新処理の結果得られたG補正画像をHPF２１３に供給する。
【０２５０】
ステップＳ１０２において、HPF２１３は、補正したG画像のテクスチャ成分を抽出する。すなわち、HPF２１３は、G補正画像の所定の閾値より低い周波数成分を減衰させることにより、G補正画像のテクスチャ成分を抽出する。HPF２１３は、抽出したG補正画像のテクスチャ成分からなるGテクスチャ画像を乗算部２１５に供給する。
【０２５１】
ステップＳ１０３において、ダウンサンプル部２１１は、Rブレ画像およびBブレ画像を所定の倍率で縮小する。ダウンサンプル部２１１は、縮小した画像、すなわち、縮小Rブレ画像および縮小Bブレ画像を情報処理装置１に供給する。
【０２５２】
ステップＳ１０４において、情報処理装置１は、縮小したRブレ画像およびBブレ画像に対して、それぞれ反復更新処理を行う。すなわち、情報処理装置１は、縮小Rブレ画像および縮小Bブレ画像に対して、それぞれ個別に図１０を参照して上述した反復更新処理を行う。情報処理装置１は、反復更新処理の結果得られた縮小R補正画像および縮小B補正画像をアップサンプル部２１２に供給する。
【０２５３】
ステップＳ１０５において、アップサンプル部２１２は、補正したR画像およびB画像を拡大する。すなわち、アップサンプル部２１２は、縮小R補正画像および縮小B補正画像を縮小前の大きさに戻す。アップサンプル部２１２は、拡大した画像、すなわち、R補正画像およびB補正画像を乗算部２１５に供給する。
【０２５４】
なお、R補正画像およびB補正画像は、元となるRブレ画像およびBブレ画像をいったん縮小した後、ブレを補正し、元の大きさに拡大した画像であり、縮小時に元の画像内のテクスチャ成分に関する情報の一部が失われている。従って、R補正画像およびB補正画像は、元のRブレ画像およびBブレ画像と比較して、ブレが補正される一方で、テクスチャ成分が不足した画像となる。
【０２５５】
ステップＳ１０６において、マスク生成部２１４は、マスク生成処理を実行する。ここで、図１９のフローチャートを参照して、マスク生成処理の詳細について説明する。
【０２５６】
ステップＳ１２１において、マスク生成部２１４は、Rブレ画像、Gブレ画像、および、Bブレ画像の高周波成分を抽出する。具体的には、LPF２３１−１は、Gブレ画像の所定の閾値より高い周波数成分を減衰させて、減算部２３２−１に供給する。減算部２３２−１は、高周波成分が減衰される前のGブレ画像と、LPF２３１−１により高周波成分が減衰された後のGブレ画像との差分をとることにより、Gブレ画像の高周波成分を抽出する。減算部２３２−１は、抽出したGブレ画像の高周波成分からなるG高周波ブレ画像を相関検出部２３３に供給する。
【０２５７】
また、LPF２３１−２は、Rブレ画像の所定の閾値より高い周波数成分を減衰させて、減算部２３２−２に供給する。減算部２３２−２は、高周波成分が減衰される前のRブレ画像と、LPF２３１−２により高周波成分が減衰された後のRブレ画像との差分をとることにより、Rブレ画像の高周波成分を抽出する。減算部２３２−２は、抽出したRブレ画像の高周波成分からなるR高周波ブレ画像を相関検出部２３３に供給する。
【０２５８】
同様に、LPF２３１−２は、Bブレ画像の所定の閾値より高い周波数成分を減衰させて、減算部２３２−２に供給する。減算部２３２−２は、高周波成分が減衰される前のBブレ画像と、LPF２３１−２により高周波成分が減衰された後のBブレ画像との差分をとることにより、Bブレ画像の高周波成分を抽出する。減算部２３２−２は、抽出したBブレ画像の高周波成分からなるB高周波ブレ画像を相関検出部２３３に供給する。
【０２５９】
ステップＳ１２２において、相関検出部２３３は、Rブレ画像の高周波成分とGブレ画像の高周波成分との相関、および、Bブレ画像の高周波成分とGブレ画像の高周波成分との相関を検出する。具体的には、相関検出部２３３は、R高周波ブレ画像とG高周波ブレ画像との差分をとることにより、Rブレ画像の高周波成分とGブレ画像の高周波成分との相関を検出する。すなわち、相関検出部２３３は、R高周波ブレ画像とG高周波ブレ画像との差分をとることにより、Rブレ画像の高周波成分とGブレ画像の高周波成分との相関を示す画像（以下、RG高周波差分画像と称する）を生成する。RG高周波差分画像では、Rブレ画像の高周波成分とGブレ画像の高周波成分との相関が強い領域ほど、画素値が小さくなり、相関が弱い領域ほど、画素値が大きくなる。
【０２６０】
同様に、相関検出部２３３は、B高周波ブレ画像とG高周波ブレ画像との差分をとることにより、Bブレ画像の高周波成分とGブレ画像の高周波成分との相関を示す画像（以下、BG高周波差分画像と称する）を生成する。相関検出部２３３は、生成したRG高周波差分画像およびBG高周波差分画像をマスク画像生成部２３４に供給する。
【０２６１】
ステップＳ１２３において、マスク画像生成部２３４は、検出した高周波成分の相関に基づいて、マスク画像を生成する。具体的には、マスク画像生成部２３４は、RG高周波差分画像の画素値が大きい画素ほど画素値が小さくなり、RG高周波差分画像の画素値が小さい画素ほど画素値が大きくなるとともに、画素値が０から１の範囲内となるように正規化したRGマスク画像を生成する。すなわち、RGマスク画像の各画素の画素値は、０から１の範囲内で、Rブレ画像の高周波成分とGブレ画像の高周波成分との相関が強い領域内の画素ほど大きくなり、相関が弱い領域内の画素ほど小さくなる。同様に、マスク画像生成部２３４は、BG高周波差分画像の画素値が大きい画素ほど画素値が小さくなり、BG高周波差分画像の画素値が小さい画素ほど画素値が大きくなるとともに、画素値が０から１の範囲内となるように正規化したBGマスク画像を生成する。マスク画像生成部２３４は、生成したRGマスク画像およびBGマスク画像を乗算部２１５に供給する。
【０２６２】
その後、マスク生成処理は終了する。
【０２６３】
図１８に戻り、ステップＳ１０７において、乗算部２１５は、マスク画像を用いて、R補正画像およびB補正画像に、G補正画像のテクスチャ成分を合成する。すなわち、乗算部２１５は、RGマスク画像を用いて、R補正画像にGテクスチャ画像を掛け合わせることにより、縮小時に失われたR補正画像のテクスチャ成分を復元する。同様に、乗算部２１５は、BGマスク画像を用いて、B補正画像にGテクスチャ画像を掛け合わせることにより、縮小時に失われたB補正画像のテクスチャ成分を復元する。
【０２６４】
このとき、RGマスク画像を用いることにより、Rブレ画像の高周波成分とGブレ画像の高周波成分との相関が弱い領域ほど、ブレ画像においてR成分の変動とG成分の変動との相関が弱いとみなされ、R補正画像にG補正画像のテクスチャ成分を合成する量が小さくなる。一方、Rブレ画像の高周波成分とGブレ画像の高周波成分との相関が強い領域ほど、ブレ画像においてR成分の変動とG成分の変動との相関が強いとみなされ、R補正画像にG補正画像のテクスチャ成分を合成する量が大きくなる。同様に、BGマスク画像を用いることにより、Bブレ画像の高周波成分とGブレ画像の高周波成分との相関が弱い領域ほど、ブレ画像においてB成分の変動とG成分の変動との相関が弱いとみなされ、B補正画像にG補正画像のテクスチャ成分を合成する量が小さくなる。一方、Bブレ画像の高周波成分とGブレ画像の高周波成分との相関が強い領域ほど、ブレ画像においてB成分の変動とG成分の変動との相関が強いとみなされ、B補正画像にG補正画像のテクスチャ成分を合成する量が大きくなる。
【０２６５】
ステップＳ１０８において、画像処理装置２０１は、補正した画像を出力する。すなわち、情報処理装置１は、ステップＳ１０１の処理で得られたG補正画像を画像処理装置２０１の後段の装置に出力し、乗算部２１５は、ステップＳ１０７の処理で得られたRテクスチャ合成画像およびRテクスチャ合成画像を画像処理装置２０１の後段の装置に出力する。その後、画像補正処理は終了する。
【０２６６】
このように、Rブレ画像およびBブレ画像を縮小してから反復更新処理を行うことにより、計算量を削減し、処理を高速化することができる。
【０２６７】
また、人間の目が最も反応しやすいG成分からなるGブレ画像は縮小せずに処理するとともに、Rブレ画像およびBブレ画像を縮小することにより失われたテクスチャ成分を、G補正画像のテクスチャ成分を用いて復元することにより、処理の高速化に伴う画質の低下を抑制することができる。
【０２６８】
さらに、ブレ画像においてR成分の変動とG成分の変動との相関が弱い領域、および、B成分の変動とG成分の変動との相関が弱い領域において、G補正画像のテクスチャ成分を合成する量を小さくしたり、あるいは、合成しないようにしたりすることにより、合成後の画像において、元々の被写体にない色（偽色）が発生することを抑制することができる。
【０２６９】
ここで、偽色の発生の具体例について、図２０および図２１を参照して説明する。
【０２７０】
図２０の上の図は、図１８の画像補正処理を施す前の画像の一部を拡大し、モノクロームにした図である。実際の画像では、画像内の暗い部分が明るい赤色をしており、中央付近の明るい部分が反射光により明るく光っている。また、図２０の下のグラフは、上の画像の中央付近の横方向のラインのR成分、G成分、B成分の変化を示しており、実線がR成分の変化を表し、細かい点線がG成分の変化を表し、粗い点線がB成分の変化を表している。このグラフから分かるように、R成分は他の成分との相関が弱く、大きな値であまり変化せず、G成分、B成分は、反射光により光っている部分で値が大きくなり、それ以外の部分では値が小さくなっている。
【０２７１】
一方、図２１の上の図は、図２０の上の図に対して、マスク画像を用いずに図１８の画像補正処理を施した結果を示している。また、図２１の下のグラフは、図２０の下のグラフと同様のグラフであり、上の画像の図２０の下のグラフと同じ横方向のラインのR成分、G成分、B成分の変化を示している。図２０のグラフと図２１のグラフとを比較すると、図２１のグラフでは、反射光により光っている部分の境界付近のG成分の値が大きく変化する部分で、R成分の値が落ち込んでいる。そして、図２０の上の図と図２１の上の図とを比較すると、図２１の上の図では、反射光により光っている部分の境界付近に偽色が発生し、黒い縁が現れている。これは、R成分とG成分の相関が弱い領域において、R補正画像にG補正画像のテクスチャ成分を合成することによる弊害である。
【０２７２】
そこで、上述したように、マスク画像を用いて、R補正画像およびB補正画像にG補正画像のテクスチャ成分を合成するようにすることにより、このような黒縁等の偽色の発生を抑制することができる。
【０２７３】
なお、画像処理装置２０１において、情報処理装置１の代わりに、図１３の情報処理装置１２１を適用することも可能である。
【０２７４】
また、例えば、以上の説明では、R補正画像にG補正画像のテクスチャ成分を合成するときと、B補正画像にG補正画像のテクスチャ成分を合成するときとで、異なるマスク画像を用いるようにしたが、同じマスク画像を用いるようにすることも考えられる。この場合、例えば、Rブレ画像の高周波成分とGブレ画像の高周波成分との相関、および、Bブレ画像の高周波成分とGブレ画像の高周波成分との相関のうち少なくとも一方が弱い領域ほど画素値が小さくなり、両方の相関とも強い領域ほど画素値が大きくなるマスク画像を生成し、用いるようにすることが考えられる。換言すれば、例えば、ブレ画像のG成分の変動とR成分の変動との相関またはG成分の変動とB成分の変動との相関のうち少なくとも一方が弱い領域ほど、G補正画像のストラクチャ成分を合成する量を小さくし、両方の相関とも強い領域ほど、G補正画像のストラクチャ成分を合成する量を大きくするマスク画像を生成し、用いることが考えられる。
【０２７５】
さらに、以上の説明では、ブレ画像を補正する例を説明したが、本発明は、ピンボケなどによるボケが発生した画像、あるいは、ブレとボケが両方発生した画像を補正する場合にも適用できる。
【０２７６】
また、第１の実施の形態である情報処理装置１、及び第２の実施の形態である情報処理装置１２１としては、例えば、画像を再生したり録画したりすることが可能な録画再生装置等に適用できる。
【０２７７】
［コンピュータの構成例］
ところで、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【０２７８】
図２０は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示している。
【０２７９】
CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３０３には、CPU３０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU３０１、ROM３０２、及びRAM３０３は、バス３０４により相互に接続されている。
【０２８０】
CPU３０１にはまた、バス３０４を介して入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。CPU３０１は、入力部３０６から入力される指令に対応して各種の処理を実行する。そして、CPU３０１は、処理の結果を出力部３０７に出力する。
【０２８１】
入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスクからなり、CPU３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０２８２】
また、通信部３０９を介してプログラムを取得し、記憶部３０８に記憶してもよい。
【０２８３】
入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部３０８に転送され、記憶される。
【０２８４】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図２０に示されるように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１、または、プログラムが一時的もしくは永続的に格納されるROM３０２や、記憶部３０８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部３０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０２８５】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２８６】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２８７】
１ 情報処理装置， ２１ H_init生成部， ２２ サポート制限部， ２３ 乗算部， ２４ 加算部， ２５ 重心補正部， ２６ H生成部， ２７ conv部， ２８ 処理部， ２９ 残差生成部， ３０ corr部， ３１ corr部， ３２ 平均化部， ３３ 減算部， ３４ U_init生成部， ３５ U生成部， ３６ 乗算部， ３７ トータルバリエーションフィルタ， ６１ 情報処理装置， ９１ conv部， ９２ 減算部， ９３ 加算部， ９４ R-Ldeconv部， ９５ 減算部， ９６ 加算部， ９７ オフセット部， ９８ ゲインマップ， １２１ 情報処理装置， １５１ 乗算部， １５２ 加算部， １５３ 乗算部， ２０１ 画像処理装置， ２１１ ダウンサンプル部， ２１２ アップサンプル部， ２１３ ハイパスフィルタ， ２１４ マスク生成部， ２１５ 乗算部， ２３１−１，２３１−２ ローパスフィルタ， ２３２−１，２３２−２ 減算部， ２３３ 相関検出部， ２３４ マスク画像生成部
【特許請求の範囲】
【請求項１】
入力画像のG成分からなるG画像のストラクチャ成分のブレまたはボケを補正したG補正画像のテクスチャ成分を抽出するテクスチャ抽出手段と、
前記入力画像のR成分からなるR画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したR補正画像、および、前記入力画像のB成分からなるB画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したB補正画像に、前記G補正画像のテクスチャ成分を合成する量を、前記入力画像のG成分の変動とR成分の変動との相関または前記入力画像のG成分の変動とB成分の変動との相関のうち少なくとも一方が弱い領域ほど小さくするマスク画像を生成するマスク生成手段と、
前記マスク画像を用いて、前記R補正画像および前記B補正画像に前記G補正画像のテクスチャ成分を合成する合成手段と
を含む画像処理装置。
【請求項２】
前記マスク生成手段は、前記R画像の高周波成分と前記G画像の高周波成分との相関が弱い領域ほど、前記R補正画像に前記G補正画像のテクスチャ成分を合成する量を小さくする第１のマスク画像を生成し、前記B画像の高周波成分と前記G画像の高周波成分との相関が弱い領域ほど、前記B補正画像に前記G補正画像のテクスチャ成分を合成する量を小さくする第２のマスク画像を生成し、
前記合成手段は、前記第１のマスク画像を用いて、前記R補正画像に前記G補正画像のテクスチャ成分を合成し、前記第２のマスク画像を用いて、前記B補正画像に前記G補正画像のテクスチャ成分を合成する
請求項１に記載の画像処理装置。
【請求項３】
前記マスク生成手段は、
前記R画像、前記G画像、および、前記B画像の高周波成分を抽出する高周波抽出手段と、
前記R画像の高周波成分と前記G画像の高周波成分との差、および、前記B画像の高周波成分と前記G画像の高周波成分との差を検出する検出手段と、
前記R画像の高周波成分と前記G画像の高周波成分との差が大きい領域ほど、前記R補正画像に前記G補正画像のテクスチャ成分を合成する量を小さくする前記第１のマスク画像を生成し、前記B画像の高周波成分と前記G画像の高周波成分との差が大きい領域ほど、前記B補正画像に前記G補正画像のテクスチャ成分を合成する量を小さくする前記第２のマスク画像を生成する生成手段と
を含む請求項２に記載の画像処理装置。
【請求項４】
前記R画像および前記B画像を縮小する縮小手段と、
前記R画像を縮小したR縮小画像のストラクチャ成分、前記B画像を縮小したB縮小画像のストラクチャ成分、および、前記G画像のストラクチャ成分のブレまたはボケを補正する補正手段と、
ブレまたはボケを補正した後の前記R縮小画像および前記B縮小画像を元の大きさに戻す拡大手段と
をさらに含む請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
画像処理装置が、
入力画像のG成分からなるG画像のストラクチャ成分のブレまたはボケを補正したG補正画像のテクスチャ成分を抽出し、
前記入力画像のR成分からなるR画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したR補正画像、および、前記入力画像のB成分からなるB画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したB補正画像に、前記G補正画像のテクスチャ成分を合成する量を、前記入力画像のG成分の変動とR成分の変動との相関または前記入力画像のG成分の変動とB成分の変動との相関のうち少なくとも一方が弱い領域ほど小さくするマスク画像を生成し、
前記マスク画像を用いて、前記R補正画像および前記B補正画像に前記G補正画像のテクスチャ成分を合成する
ステップを含む画像処理方法。
【請求項６】
入力画像のG成分からなるG画像のストラクチャ成分のブレまたはボケを補正したG補正画像のテクスチャ成分を抽出し、
前記入力画像のR成分からなるR画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したR補正画像、および、前記入力画像のB成分からなるB画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したB補正画像に、前記G補正画像のテクスチャ成分を合成する量を、前記入力画像のG成分の変動とR成分の変動との相関または前記入力画像のG成分の変動とB成分の変動との相関のうち少なくとも一方が弱い領域ほど小さくするマスク画像を生成し、
前記マスク画像を用いて、前記R補正画像および前記B補正画像に前記G補正画像のテクスチャ成分を合成する
ステップを含む処理をコンピュータに実行させるためのプログラム。
【請求項１】
入力画像のG成分からなるG画像のストラクチャ成分のブレまたはボケを補正したG補正画像のテクスチャ成分を抽出するテクスチャ抽出手段と、
前記入力画像のR成分からなるR画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したR補正画像、および、前記入力画像のB成分からなるB画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したB補正画像に、前記G補正画像のテクスチャ成分を合成する量を、前記入力画像のG成分の変動とR成分の変動との相関または前記入力画像のG成分の変動とB成分の変動との相関のうち少なくとも一方が弱い領域ほど小さくするマスク画像を生成するマスク生成手段と、
前記マスク画像を用いて、前記R補正画像および前記B補正画像に前記G補正画像のテクスチャ成分を合成する合成手段と
を含む画像処理装置。
【請求項２】
前記マスク生成手段は、前記R画像の高周波成分と前記G画像の高周波成分との相関が弱い領域ほど、前記R補正画像に前記G補正画像のテクスチャ成分を合成する量を小さくする第１のマスク画像を生成し、前記B画像の高周波成分と前記G画像の高周波成分との相関が弱い領域ほど、前記B補正画像に前記G補正画像のテクスチャ成分を合成する量を小さくする第２のマスク画像を生成し、
前記合成手段は、前記第１のマスク画像を用いて、前記R補正画像に前記G補正画像のテクスチャ成分を合成し、前記第２のマスク画像を用いて、前記B補正画像に前記G補正画像のテクスチャ成分を合成する
請求項１に記載の画像処理装置。
【請求項３】
前記マスク生成手段は、
前記R画像、前記G画像、および、前記B画像の高周波成分を抽出する高周波抽出手段と、
前記R画像の高周波成分と前記G画像の高周波成分との差、および、前記B画像の高周波成分と前記G画像の高周波成分との差を検出する検出手段と、
前記R画像の高周波成分と前記G画像の高周波成分との差が大きい領域ほど、前記R補正画像に前記G補正画像のテクスチャ成分を合成する量を小さくする前記第１のマスク画像を生成し、前記B画像の高周波成分と前記G画像の高周波成分との差が大きい領域ほど、前記B補正画像に前記G補正画像のテクスチャ成分を合成する量を小さくする前記第２のマスク画像を生成する生成手段と
を含む請求項２に記載の画像処理装置。
【請求項４】
前記R画像および前記B画像を縮小する縮小手段と、
前記R画像を縮小したR縮小画像のストラクチャ成分、前記B画像を縮小したB縮小画像のストラクチャ成分、および、前記G画像のストラクチャ成分のブレまたはボケを補正する補正手段と、
ブレまたはボケを補正した後の前記R縮小画像および前記B縮小画像を元の大きさに戻す拡大手段と
をさらに含む請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
画像処理装置が、
入力画像のG成分からなるG画像のストラクチャ成分のブレまたはボケを補正したG補正画像のテクスチャ成分を抽出し、
前記入力画像のR成分からなるR画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したR補正画像、および、前記入力画像のB成分からなるB画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したB補正画像に、前記G補正画像のテクスチャ成分を合成する量を、前記入力画像のG成分の変動とR成分の変動との相関または前記入力画像のG成分の変動とB成分の変動との相関のうち少なくとも一方が弱い領域ほど小さくするマスク画像を生成し、
前記マスク画像を用いて、前記R補正画像および前記B補正画像に前記G補正画像のテクスチャ成分を合成する
ステップを含む画像処理方法。
【請求項６】
入力画像のG成分からなるG画像のストラクチャ成分のブレまたはボケを補正したG補正画像のテクスチャ成分を抽出し、
前記入力画像のR成分からなるR画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したR補正画像、および、前記入力画像のB成分からなるB画像を縮小した画像のストラクチャ成分のブレまたはボケを補正した後、縮小前の大きさに戻したB補正画像に、前記G補正画像のテクスチャ成分を合成する量を、前記入力画像のG成分の変動とR成分の変動との相関または前記入力画像のG成分の変動とB成分の変動との相関のうち少なくとも一方が弱い領域ほど小さくするマスク画像を生成し、
前記マスク画像を用いて、前記R補正画像および前記B補正画像に前記G補正画像のテクスチャ成分を合成する
ステップを含む処理をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１１−１３４２０４（Ｐ２０１１−１３４２０４Ａ）
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願番号】特願２００９−２９４５４４（Ｐ２００９−２９４５４４）
【出願日】平成２１年１２月２５日（２００９．１２．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願日】平成２１年１２月２５日（２００９．１２．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]