撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
【課題】画像処理により、画像の平坦部でリンギングの少ない画像復元を実現する。
【解決手段】第１撮像素子１０Ａおよび第２撮像素子１０Ｂと、第１撮像素子１０Ａの撮像面上に焦点が合っている第１の像を形成し、かつ、第２撮像素子１０Ｂの撮像面上に焦点が外れた第２の像を形成する光学系を備えている。画像処理部２２０は、第１撮像素子１０Ａおよび第２撮像素子１０Ｂから得られる信号を処理し、第２撮像素子１０Ｂによって取得された画像から、手振れによるぼやけおよび焦点外れによるぼやけを減少させた復元画像を生成する。
【解決手段】第１撮像素子１０Ａおよび第２撮像素子１０Ｂと、第１撮像素子１０Ａの撮像面上に焦点が合っている第１の像を形成し、かつ、第２撮像素子１０Ｂの撮像面上に焦点が外れた第２の像を形成する光学系を備えている。画像処理部２２０は、第１撮像素子１０Ａおよび第２撮像素子１０Ｂから得られる信号を処理し、第２撮像素子１０Ｂによって取得された画像から、手振れによるぼやけおよび焦点外れによるぼやけを減少させた復元画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、リンギング除去のための画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
デジタルカメラで画像を撮像すると、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、あるいはＣＭＯＳの読み出し回路の特性や伝送路の特性により画像にノイズが加わることがある。また、撮像時にフォーカスが合っていないこと（焦点外れ：ｏｕｔ−ｏｆ−ｆｏｃｕｓ）による画像のぼやけ（ブラー：ｂｌｕｒ）や、手振れ（ｃａｍｅｒａ ｓｈａｋｅ）などによる画像のぼやけが発生する。このように撮像画像には、撮像画像固有の特性によるノイズに、撮影時の人為的な操作を起因とするぼやけが加わることにより、画像が劣化することになる。これらの「ぼやけ」のうち、撮影（露光）中におけるカメラの運動による画像のぼやけを「ブレ（ｍｏｔｉｏｎ ｂｌｕｒ）」と称し、焦点外れによるぼやけ（ｏｕｔ−ｏｆ−ｆｏｃｕｓ ｂｌｕｒ）と区別することにする。
【０００３】
近年、特に高感度撮影の需要が増大していることにより、ぼやけによって劣化した画像（以下、「劣化画像」という）を元の画像（以下、「理想画像」という）にできるだけ近い画像に復元することが必要となる。高感度撮影に要求される、明るくノイズやぼやけのない画像を実現するために、大別して感度をあげるという考え方と、露光時間を長くするという考え方がある。
【０００４】
しかしながら、感度を高めるとノイズも増幅してしまう、そのため、信号がノイズに埋もれてしまい、ノイズが大半を占める画像になることが多い。一方で露光時間を長くすることで、その場で生じる光を多く蓄積し、ノイズの少ない画像が得られる。この場合、信号がノイズで埋もれることはないが、手振れによって画像にブレが生じるという問題がある。
【０００５】
そこで、従来、２通りの考え方で露光時間を長くする場合の対処法がとられていた。一つは、レンズシフトやセンサシフトといった光学式手振れ補正である。他方は、得られた画像からブレの方向／大きさを求め、そこから信号処理によって画像を復元するという方法（信号処理による復元方法）である。信号処理による復元方法は、例えば特許文献１、特許文献２、非特許文献１〜５などに開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６-１２９２３６号公報
【特許文献２】特表２００９-５２２８２５号公報
【非特許文献】
【０００７】
【非特許文献１】Qi Shan, Jiaya Jia, and Aseem Agarwala，“High-quality Motion Deblurring from ａ Single Image”，SIGGRAPH 2008
【非特許文献２】米司・田中・奥富共著,「直線的手ぶれ画像復元のためのｐｓｆパラメータ推定手法」，情報処理学会研究報告，第２００５巻,第３８号，ｐ．４７−５２，２００５年
【非特許文献３】J. Bioucas-Dias, Bayesian wavelet-based image deconvolution: a gem algorithm exploiting a class of heavy-tailed priors", IEEE Trans. Image Proc., vol. 4, pp. 937？951, April 2006.
【非特許文献４】Levin, "Blind Motion Deblurring Using Image Statistics", Advances in Neural Information Processing Systems (NIPS), Dec 2006
【非特許文献５】Rob Fergus et al., "Removing camera shake from a single image", Barun Singh Aaron Hertzmann"，SIGGRAPH 2006
【発明の概要】
【発明が解決しようとする課題】
【０００８】
光学式手振れ補正は、補正範囲に限界があるため、従来よりも暗い環境で十分な光量を集める場合、稼動範囲が大きくなければならない。しかし、大きくなると移動の際の時間遅れが生じ、また、大型化にはサイズの物理的な限界がある。
【０００９】
また、信号処理によって、劣化画像から理想画像を復元する方法では、復元された画像にリンギングなどのノイズが発生してしまうという問題がある。「リンギング（ｒｉｎｇｉｎｇ）」とは、画像において輝度などが一様な部分（平坦部）が平坦に見えないノイズである。
【００１０】
図１（ａ）は、輝度がステップ状に変化する画像（エッジ付近の理想画像）を示す平面図であり、図１（ｂ）は、その輝度分布を模式的に示すグラフである。図２（ａ）は、図１（ａ）の画像をカメラで撮影することによって得られた劣化画像（ぼやけ画像：ｂｌｕｒｒｅｄ ｉｍａｇｅ）を示す平面図であり、図２（ｂ）は、その輝度分布を模式的に示すグラフである。これは、カメラ撮影に際して、水平横方向に手振れが生じたものとする。図２（ａ）の劣化画像は、手振れによるぼやけ（ブレ）が発生したため、エッジのシャープネスが失われている。図３（ａ）は、図２（ａ）の劣化画像を信号処理によって復元した画像を示す平面図であり、図３（ｂ）は、復元画像の輝度分布を模式的に示すグラフである。図３（ａ）の復元画像には、輝度が周期的に変化する部分が存在している。このような輝度変化が「リンギング」と称されるノイズである。
【００１１】
特許文献１に示される方法では、エッジ近辺で発生するリンギングをおさえるように、エッジ近辺では復元された結果を利用せず、ぼやけ画像のデータを利用している。この方法では、画面内のエッジの強度に基づいて、ぼやけ画像のデータを利用する重みを決めている。しかしながら、手振れの量が決まらなければ、エッジの強度を決めることができない。エッジの強度が決まらなければ、ぼやけ画像のデータを利用する重みを決めることができない。そのため、リンギングを除去できないという問題があった。
【００１２】
本発明は、上記課題を解決するためになされたものであり、人間の知覚特性を考慮して、画像の平坦部におけるリンギングを低減させる画像処理を行う撮像装置を提供することにある。
【課題を解決するための手段】
【００１３】
本発明の撮像装置は、第１撮像素子および第２撮像素子と、前記第１撮像素子の撮像面上に焦点が合っている第１の像を形成し、かつ、前記第２撮像素子の撮像面上に焦点が外れた第２の像を形成し得る光学系と、前記第１撮像素子および前記第２撮像素子から得られる信号を処理する画像処理部とを備え、前記画像処理部は、前記第１撮像素子および第２撮像素子によって取得された画像から、手振れによるぼやけおよび焦点外れによるぼやけを減少させた復元画像を生成する。
【００１４】
好ましい実施形態において、前記第２撮像素子における焦点外れによるぼやけを規定する点拡がり関数を記録するメモリを備え、前記画像処理部は、撮像時における焦点外れによるぼやけを規定する点拡がり関数を前記メモリから読み出し、復元画像の生成に用いる。
【００１５】
好ましい実施形態において、前記光学系は、結像レンズと、前記結像レンズを透過した光を２方向に分離する光スプリッタとを有しており、分離された一方の光を前記第１撮像素子に入射し、かつ、分離された他方の光を前記第２撮像素子に入射する。
【００１６】
好ましい実施形態において、前記結像レンズから前記第１撮像素子までの光学的な距離は、前記結像レンズから前記第２撮像素子までの光学的な距離とは異なっている。
【００１７】
好ましい実施形態において、前記光学系は、入射光を２方向に分離する光スプリッタと、分離された一方の光を前記第１撮像素子上に集光する第１結像レンズと、分離された他方の光を前記第２撮像素子上に集光する第２結像レンズとを有している。
【００１８】
好ましい実施形態において、表示部を更に備え、前記第１撮像素子によって取得された画像を前記表示部に表示する。
【００１９】
本発明のプログラムは、第１撮像素子および第２撮像素子と、前記第１撮像素子の撮像面上に焦点が合っている第１の像を形成し、かつ、前記第２撮像素子の撮像面上に焦点が外れた第２の像を形成する光学系と、前記第１撮像素子および前記第２撮像素子から得られる信号を処理する画像処理部とを備える撮像装置の動作を制御するプログラムであって、前記光学系により、前記第１撮像素子の撮像面上に焦点が合っている第１の像を形成させるとともに、前記第２撮像素子の撮像面上に焦点が合っていない第２の像を形成させるステップと、前記画像処理部により、前記第１撮像素子および前記第２撮像素子によって取得された画像から、手振れによるぼやけおよび焦点外れによるぼやけを減少させた復元画像を生成するステップとを実行する。
【００２０】
本発明の画像処理方法は、第１撮像素子および第２撮像素子と、前記第１撮像素子の撮像面上に焦点が合っている第１の像を形成し、かつ、前記第２撮像素子の撮像面上に焦点が外れた第２の像を形成する光学系と、前記第１撮像素子および前記第２撮像素子から得られる信号を処理する画像処理部とを備える撮像装置における画像処理方法であって、前記光学系により、前記第１撮像素子の撮像面上に焦点が合っている第１の像を形成させるとともに、前記第２撮像素子の撮像面上に焦点が合っていない第２の像を形成させるステップと、前記画像処理部により、前記第１撮像素子および前記第２撮像素子によって取得された画像から、手振れによるぼやけおよび焦点外れによるぼやけを減少させた復元画像を生成するステップとを含む。
【００２１】
本発明の他の画像処理方法は、第１撮像素子および第２撮像素子と、前記第１撮像素子の撮像面上に焦点が合っている第１の像を形成し、かつ、前記第２撮像素子の撮像面上に焦点が外れた第２の像を形成する光学系と、前記第１撮像素子および前記第２撮像素子から得られる信号を処理する画像処理部とを備える撮像装置における画像処理方法であって、前記光学系により、前記第１撮像素子の撮像面上に焦点が合っていない第１の像を形成させるとともに、前記第２撮像面上にも焦点が合っていない第２の像を形成させるステップと、前記画像処理部により、前記第１撮像素子および前記第２撮像素子によって取得された画像から、手振れによるぼやけおよび焦点外れによるぼやけを減少させた復元画像を生成するステップとを含む。
【発明の効果】
【００２２】
この発明によれば、特に画像の平坦部分におけるリンギングを低減させることが可能となる。
【図面の簡単な説明】
【００２３】
【図１】（ａ）は、輝度がステップ状に変化する画像（エッジ付近の理想画像）を示す平面図であり、（ｂ）は、その輝度分布を模式的に示すグラフである。
【図２】（ａ）は、図１（ａ）の画像をカメラで撮影することによって得られた劣化画像（ぼやけ画像：ｂｌｕｒｒｅｄ ｉｍａｇｅ）を示す平面図であり、（ｂ）は、その輝度分布を模式的に示すグラフである。
【図３】（ａ）は、図２（ａ）の劣化画像を信号処理によって復元した画像を示す平面図であり、（ｂ）は、復元画像の輝度分布を模式的に示すグラフである。
【図４】（ａ）は、特定の画素がゼロで無い輝度を有し、他の画素がゼロの輝度を有する画像（点像）を模式的に示す図であり、（ｂ）は、焦点外れによるぼやけの点拡がり関数ＰＳＦを示す図であり、（ｃ）は、（ａ）の画像に対して、焦点外れによるぼやけの点拡がり関数ＰＳＦの畳み込みを行うことにより得られる画像を示す図である。
【図５】（ａ）は、結像レンズによる焦点が合っている場合の光線図であり、（ｂ）は、焦点が外れている場合の光線図である。
【図６】撮像部１００の構成を示す図である。
【図７】（ａ）〜（ｃ）は、それぞれ、撮像部１００の構成の具体例を示す図である。
【図８】本実施形態における撮像装置の概略構成を示すブロック図である。
【図９】（ａ）は、背景が黒く、小さな輝点を中心に有するパターンを示す図であり、（ｂ）は、撮像素子１０Ａの撮像面上で焦点が合っているときの像を示す図であり、（ｃ）は、撮像素子１０Ｂの撮像面上で焦点が合っていないときの像を示す図である。
【図１０】図８に示す画像処理部２２０の構成例を示すブロックである。
【図１１】本発明の実施形態で実行する復元処理の例を示すフローチャートである。
【発明を実施するための形態】
【００２４】
本発明の実施形態を説明する前に、本発明の基本的原理を説明する。
【００２５】
本明細書では、撮像面に形成される画像の輝度分布をｉ（ｘ，ｙ）で表すことにする。座標（ｘ，ｙ）は、撮像面の画素（光感知セル）の位置を示す二次元座標である。画像が例えば行列状に配列されたＭ×Ｎ個の画素からなる場合において、ｘおよびｙが、それぞれ、０≦ｘ≦Ｍ−１、０≦ｙ≦Ｎ−１の関係を満足する整数であるとすると、画像を構成する個々の画素の位置を座標（ｘ，ｙ）によって特定することができる。ここでは、座標の原点（０、０）を画像の左上隅に置き、ｘ軸は垂直方向、ｙ軸は水平方向に延びるものとする。ただし、座標の取り方は、任意である。
【００２６】
ぼやけ（ｂｌｕｒ）のない画像（理想画像または元画像）の輝度分布をｓ（ｘ，ｙ）とし、ぼやけを規定するＰＳＦ、すなわち「点拡がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）」をｆ（ｘ，ｙ）とすると、以下の式１が成立する。
【数１】
【００２７】
ここで、記号「＊」は、畳み込み演算（コンボリューション）を示している。式１は、一般に、以下の式２で表される。
【数２】
【００２８】
画像が、Ｍ×Ｎ個の画素からなる場合、上記の式２は、以下の式３で表すことができる。
【数３】
【００２９】
ぼやけの点拡がり関数ＰＳＦである関数ｆ（ｘ，ｙ）が既知であると、カメラ撮影によって得られた画像ｉ（ｘ，ｙ）に対する逆畳み込み演算（デコンボリューション）により、ぼやけの無い画像ｓ（ｘ，ｙ）を復元することができる。また、ｆ（ｘ，ｙ）が既知でない場合は、画像からｆ（ｘ，ｙ）を推定した上でｓ（ｘ，ｙ）を求める必要がある。
【００３０】
一般に、２つの関数の畳み込みのフーリエ変換は、各関数のフーリエ変換の積によって表される。このため、ｉ（ｘ，ｙ）、ｓ（ｘ，ｙ）、ｆ（ｘ，ｙ）のフーリエ変換を、それぞれ、Ｉ（ｕ，ｖ）、Ｓ（ｕ，ｖ）、Ｆ（ｕ，ｖ）で表すと、式１から、以下の式４が導かれる。なお、（ｕ，ｖ）は、周波数空間における座標であり、それぞれ、実画像におけるｘ方向およびｙ方向の空間周波数に対応している。
【数４】
【００３１】
ここで、記号「・」は、周波数空間における関数の「積」を示している。式（４）を変形すると、以下の式５が得られる。
【数５】
【００３２】
この式５は、カメラ撮影によって得られた画像ｉ（ｘ，ｙ）のフーリエ変換Ｉ（ｕ，ｖ）を、点拡がり関数ＰＳＦであるｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）で除算して得られた関数が、理想画像ｓ（ｘ，ｙ）のフーリエ変換Ｓ（ｕ，ｖ）に相当することを示している。すなわち、Ｉ（ｕ，ｖ）およびｆ（ｕ，ｖ）が求まれば、Ｓ（ｕ，ｖ）を決定できる。Ｉ（ｕ，ｖ）は、カメラ撮影によって得られた画像（劣化画像）をフーリエ変換したものであるため、手振れの点拡がり関数ＰＳＦを表すｆ（ｘ，ｙ）が求まれば、信号処理によって劣化画像から画像を復元する（真の画像に近づける）ことが可能になる。
【００３３】
手振れの点拡がり関数ＰＳＦを表すｆ（ｘ，ｙ）は、撮影（露光）中における手振れの軌道に依存する。言い換えると、手振れの軌道はカメラ撮影毎に異なるため、ｆ（ｘ，ｙ）もカメラ撮影毎に変化する。ｆ（ｘ，ｙ）は、カメラ撮影によって得られた１枚または複数枚の画像から推定することも可能であるが、撮影（露光）中におけるカメラの動き（手振れ軌跡）をセンサによって検出して推定することも可能である。しかし、ｆ（ｘ，ｙ）は、推定または測定によって得られるものに過ぎず、何らかの誤差を含む。このため、理想画像ｓ（ｘ，ｙ）を完全に復元することは困難である。
【００３４】
非特許文献２は、短い露光時間中における手振れの軌道を「等速直線運動」と仮定することにより、その点拡がり関数ＰＳＦのフーリエ変換をｓｉｎｃ関数で近似することを開示している。手振れの幅をＷ、手振れの方向をｘ軸方向とすると、式５の分母であるＦ（ｕ，ｖ）は、以下の式６で示される。
【数６】
【００３５】
式６の右辺は、ｓｉｎｃ（ジンク）関数であり、その振幅は一定周期毎にゼロ（０）となる。この周期は、手振れの幅Ｗの逆数（１／Ｗ）である。なお、手振れの方向がｘ軸に対してθの角度を向く場合、Ｆ（ｕ、ｖ）は、式６の関数を角度θだけ回転させたものとなる。現実の手振れは、複雑な軌道を描くため、「等速直線運動」の仮定が充分に成立しない場合がある。
【００３６】
本発明者は、式５の分母であるＦ（ｕ，ｖ）が低周波数領域で周期的にゼロとなることが、画像の平坦部におけるリンギングの主たる発生原因であることに着目し、本発明を完成した。ここで、「低周波数領域」とは、周波数空間において原点に近い領域であり、画像において輝度分布の空間周波数が相対的に低い領域である。このような低周波数領域は、画像の平坦部（輝度変化が少ない部分）に相当する。
【００３７】
本発明では、低周波数領域でＦ（ｕ，ｖ）がゼロにならないような撮像を実現することにより、手振れなどを原因とする劣化画像を復元するに際して画像の平坦部（低空間周波数領域）におけるリンギングを低減することが可能になる。人の目には、画像の平坦部におけるリンギングが目立つため、平坦部でのリンギングを低減すれば、画像の質は格段に向上する。
【００３８】
本発明の好ましい実施形態では、カメラ撮影に際して、焦点外れによるぼやけを意図的に画像に付与する。好ましい実施形態では、後述するように、１つの撮像素子で焦点外れによるぼやけのない画像を取得するとともに、他の撮像素子で意図的に焦点外れによるぼやけのある画像を取得する。そして、これらの撮像素子から得られる画像信号を合成することにより１つの劣化画像を生成する。この劣化画像には、撮影時に手振れが発生した場合、手振れによるぼやけと焦点外れによるぼやけとが重畳したぼやけが発生している。なお、好ましい実施形態において、焦点外れのぼやけを示す点拡がり関数ＰＳＦは既知である。
【００３９】
本明細書では、手振れによるぼやけの点拡がり関数ＰＳＦをｆ1（ｘ，ｙ）で表し、焦点外れによるぼやけの点拡がり関数ＰＳＦをｆ2（ｘ，ｙ）で表す。この場合、式１、式４、式５は、それぞれ、以下の式７、式８、式９に変形される。
【数７】
【数８】
【数９】
【００４０】
ここで、Ｆ1（ｕ，ｖ）およびＦ2（ｕ，ｖ）は、それぞれ、ｆ1（ｘ，ｙ）およびｆ2（ｘ，ｙ）のフーリエ変換である。
【００４１】
本発明の好ましい実施形態において、画像に意図的に付与した焦点外れによるぼやけの点拡がり関数ＰＳＦ、すなわちｆ2（ｘ，ｙ）は、既知である。一般に、焦点外れによるぼやけの点拡がり関数ＰＳＦは、ピルボックス（ｐｉｌｌｂｏｘ）関数やガウス関数（Ｇａｕｓｓｉａｎ）によって表現され得る。このような関数のフーリエ変換は、焦点外れの程度を適切に調整する限り、周波数ゼロの近傍、すなわち低周波数領域ではゼロにはならない。
【００４２】
本発明の実施形態では、低周波数領域でゼロにならない関数Ｆ2（ｕ，ｖ）をＦ1（ｕ，ｖ）に加算することにより、少なくとも低周波数領域で式９の分母がゼロにならないようにする。その結果、画像の「平坦部」におけるリンギングノイズを低減し、それによって、リンギングが目立たない高質な画像の復元を実現する。以下、焦点外れを生じさせることにより、画像の「平坦部」においてリンギングを低減できる理由を説明する。
【００４３】
図４（ａ）は、特定の画素がゼロで無い輝度を有し、他の画素がゼロの輝度を有する画像（点像）を模式的に示す図である。図４（ｂ）は、焦点外れによるぼやけの点拡がり関数ＰＳＦを示す図であり、図４（ｂ）の左側のグラフはピルボックス関数の一例を示し、右側のグラフはガウス関数の一例を示している。図４（ｃ）は、図４（ａ）の画像に対して、焦点外れによるぼやけの点拡がり関数ＰＳＦの畳み込みを行うことにより得られる画像を示す図である。図４（ｃ）の画像では、焦点外れによるぼやけが生じている。このぼやけは、手振れによるぼやけとは異なり、中心から対称に広がる輝度の分布を有している。ぼやけの程度は、厳密には点拡がり関数ＰＳＦによって規定されるが、概略的には、点像の広がりの大きさ（直径または半径）によって評価され得る。
【００４４】
次に、焦点外れのぼやけについて詳細を説明する。
【００４５】
図５（ａ）は、結像レンズによる焦点が合っている場合の光線図であり、図５（ｂ）は、焦点が外れている場合の光線図である。図５（ａ）の例では、レンズから距離Ａだけ離れた点Ｓが、レンズから距離Ｂだけ離れた撮像面上に点ｓの像を形成している。
【００４６】
図５（ａ）では、距離Ｂはレンズの焦点距離Ｃに一致している。一方、図５（ｂ）では、距離Ｂはレンズの焦点距離Ｃに一致していないため、撮像面上における像はぼやけており、その輝度分布は直径ｂの広がりを有している。
【００４７】
ぼやけの広がりの大きさ（直径ｂ）は、以下の式１０で近似的に示すことができる。
【数１０】
【００４８】
ここで、γはレンズの開口径である。
【００４９】
式１０からわかるように、ｂの大きさは、撮像時におけるレンズと被写体との距離Ａ、レンズと撮像面との距離Ｂ、焦点距離Ｃ、レンズ開口径γに依存して変化し得る。
【００５０】
撮像面上における点像の輝度分布は、焦点外れのぼやけを示す点拡がり関数ＰＳＦに応じて、例えばピルボックス関数またはガウス関数で近似的に表現することができる。
【００５１】
この点拡がり関数ＰＳＦをピルボックス関数で近似した場合、ＰＳＦすなわちｆ2（ｘ，ｙ）は、以下の式１１で表される。
【数１１】
【００５２】
ここで、ｃｉｒｃ（Ｘ）は、Ｘの絶対値が１／２以下のときに１の値を持ち、それ以外は０の値を持つ円形関数である。一方、焦点外れによるぼやけの点広がり関数ＰＳＦをガウス関数で近似した場合、ｆ2（ｘ，ｙ）は、以下の式１２で表される。
【数１２】
【００５３】
σは、ガウス分布の標準偏差であり、例えば、点像のぼやけの広がり（半径ｂ／２）程度の値と置くことができる。このように、焦点外れによるぼやけのＰＳＦ、すなわちｆ2（ｘ，ｙ）は、図５（ｂ）に示す撮像面上の像から測定によって求めることができる。なお、点拡がり関数ＰＳＦは、結像レンズの収差が小さいほど、ピルボックス関数で良く近似することができる。
【００５４】
ピルボックス関数のフーリエ変換は０次の第１種ベッセル関数Ｊ0であり、ガウス関数のフーリエ変換はガウス関数である。このような関数Ｆ2（ｕ，ｖ）は、いずれも、（ｕ，ｖ）＝（０，０）で最大となり、低周波数領域で相対的に大きな値を有している。また、ベッセル関数は特定の周波数でゼロとなるが、ガウス関数はゼロにならない。このため、低周波数領域において、Ｆ1（ｕ，ｖ）およびＦ2（ｕ，ｖ）が同一周波数でゼロにならず、Ｆ1（ｕ，ｖ）＋Ｆ2（ｕ，ｖ）はゼロ以外の値を有している。
【００５５】
以上の説明から明らかなように、本発明によれば、少なくとも低周波数領域で式９の分母がゼロにならないようできる。その結果、画像の「平坦部」におけるリンギングノイズを低減し、それによって、リンギングが目立たない高質な画像の復元を実現できる。
【００５６】
図６は、本発明による撮像素子における撮像部の構成を模式的に示す図である。本実施形態では、被写体からの光が分光部６０により、２つに分離される。分光部６０は、レンズと、レンズを透過した光を２方向に分離する光スプリッタとを備えている。分光部６０を透過した光の一方は第１撮像素子１０Ａに入射し、他方は第２撮像素子１０Ｂに入射する。撮像素子１０Ａおよび撮像素子１０Ｂの一方は、レンズの焦点が合う位置に配置され、他方はレンズの焦点が外れる位置に配置される。このような配置は、例えば、レンズから第１撮像素子１０Ａまでの光学的な距離と、レンズから第２撮像素子１０Ｂまでの光学的な距離とを異なる値に設定することにより実現される。光学的な距離を異ならせる典型的な配置は、物理的な距離を変化させることで実現されるが、本発明は、そのような場合に限定されない。
【００５７】
図７（ａ）は、レンズ２０を透過した光を光スプリッタ４０で２方向に分離する構成例を示す図である。この構成例では、レンズ２０から第１撮像素子１０Ａまでの距離が、レンズ２０から第２撮像素子１０Ｂまでの距離よりも長い。また、図７（ｂ）は、他の構成例を示す図である。この構成例では、レンズ２０から第１撮像素子１０Ａまでの距離と、レンズ２０から第２撮像素子１０Ｂまでの距離とは等しい。しかし、レンズ２０と第１撮像素子１０Ａとの間に空気の屈折率とは異なる屈折率を有する透明材料からなる光学素子４５が挿入されている。このような光学素子４５の介在により、レンズ２０から第１撮像素子１０Ａまでの光学的な距離と、レンズ２０から第２撮像素子１０Ｂまでの光学的な距離とが異なるため、第１撮像素子１０Ａと第２撮像素子１０Ｂとの間で合焦状態を変化させることができる。光路上に挿入する光学素子は、撮像素子１０Ａ、１０Ｂの撮像面上における合焦状態に差異を形成できればよく、凹レンズ形状、凸レンズ形状、もしくは平板形状、または、これらを複合した形状のいずれを有していても良い。
【００５８】
図７（ｃ）は、更に他の構成例を示す図である。この構成例では、光スプリッタ４０で２方向に分離された光が、それぞれ、異なるレンズ２０Ａ、２０Ｂによって集光される。レンズ２０Ａ、２０Ｂが同一の焦点距離を有する場合、レンズ２０Ａから第１撮像素子１０Ａまでの距離とレンズ２０Ｂから第２撮像素子１０Ｂまでの距離が異なるように構成される。なお、レンズ２０Ａとレンズ２０Ｂとの間で焦点距離などのレンズ特性を変化させても良い。このような構成を採用する場合でも、予め種々の撮影条件の下で意図的に第２撮像素子１０Ｂで発生させる焦点外れのぼやけを規定する点拡がり関数を求めておくことができる。
【００５９】
このように、本発明の好ましい実施形態によれば、２つの撮像素子１０Ａ、１０Ｂの一方からは焦点の合った画像の信号を取得し、他方からは焦点が外れた画像の信号を取得する。そして、それらの信号を合算することにより、劣化画像の信号を生成する。こうして得られた劣化画像について、復元処理を実行すれば、リンギングの発生を抑制することが可能なる。
【００６０】
以下、本発明による撮像装置の実施形態を説明する。
【００６１】
図８は、本実施形態における撮像装置の概略構成を示すブロック図である。
【００６２】
本実施形態の撮像装置は、デジタル式の電子カメラであるが、これに限定されない。本実施形態の撮像装置は、図８に例示するように、撮像部１００と、各種信号処理を行う信号処理部２００と、撮像によって取得した画像を表示する撮像表示部３００と、画像のデータを記録する記録部４００と、各部を制御するシステム制御部５００とを備える。本実施形態の撮像装置が公知の撮像装置と異なる主な点は、撮像部１００の構成および信号処理部２００の動作にある。したがって、以下の説明では、主として撮像部１００および信号処理部２００を詳しく説明する。
【００６３】
本実施形態における撮像部１００は、撮影レンズ２０と、絞り機能を有するシャッタ１５と、撮影レンズ２０を透過した光を２つに分離する光スプリッタ４０と、光スプリッタ４０によって分離された光を受け取る２つの撮像素子１０Ａ、１０Ｂとを有している。撮像素子１０Ａ、１０Ｂは、撮像面上に配列された複数の光感知セル（フォトダイオード）を備えている。撮像素子１０Ａ、１０Ｂの典型例は、ＣＣＤまたはＣＭＯＳセンサである。撮影レンズ２０は、公知の構成を有しており、現実には複数のレンズから構成されたレンズユニットであり得る。シャッタ１５および撮影レンズ２０は、不図示の機構によって駆動され、光学ズーミング、自動露光（ＡＥ：Ａｕｔｏ Ｅｘｐｏｓｕｒｅ），オートフォーカス（ＡＦ：Ａｕｔｏ Ｆｏｃｕｓ）に必要な動作が実行される。
【００６４】
更に、撮像部１００は、撮像素子１０Ａ、１０Ｂを駆動する撮像素子駆動部３０を備えている。撮像素子駆動部３０は、例えばＣＣＤドライバなどの半導体集積回路から構成され得る。撮像素子駆動部３０は、撮像素子１０Ａ、１０Ｂを駆動することにより、撮像素子１０Ａ、１０Ｂからアナログ信号（光電変換信号）を読み出してデジタル信号に変換する。本実施形態によれば、光スプリッタ４０の働きにより、同一被写体の像が撮像素子１０Ａ、１０Ｂによって同時に取得され得るが、一方の撮像素子１０Ａでは焦点のあった状態で撮像が行われ、他方の撮像素子１０Ｂでは焦点外れのある状態で撮像が行われる。このため、撮像素子駆動部３０は、２つの撮像素子１０Ａ、１０Ｂの両方から光電変換信号を読み出し、それらを加算することにより得られた画像信号を生成する。このような画像信号によって表現される画像は、意図的に形成された焦点外れによるぼやけを含む劣化画像である。信号処理部２００には、この劣化画像のデータが入力される。
【００６５】
なお、本実施形態では、撮影レンズ２０から第１撮像素子１０Ａまでの実際の距離と、撮影レンズ２０から第２撮像素子１０Ｂまでの実際の距離との差異が固定されており、第１撮像素子１０Ａで焦点が合っているときに、第２撮像素子１０Ｂで生じる焦点外れによるぼやけを規定する点拡がり関数は既知である。この点拡がり関数は、撮影レンズ２０の焦点距離や絞りの開口径などの撮影パラメータに応じて既存のテーブルなどから求められ得る。
【００６６】
本実施形態における信号処理部２００は、画像処理部（イメージプロセッサ）２２０、メモリ２４０、およびインターフェース（ＩＦ）部２６０を備えている。信号処理部２００は、液晶表示パネルなどの表示部３００、および、メモリカードなどの記録媒体４００に接続されている。
【００６７】
画像処理部２２０は、色調補正、解像度変更、データ圧縮などの各種信号処理を行うほか、本発明による劣化画像の復元処理を実行する。画像処理部２２０は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像処理を実行するためのソフトウェアとの組合せによって好適に実現される。メモリ２４０は、ＤＲＡＭなどによって構成される。このメモリ２４０は、撮像部１００から得られた画像データを記録するとともに、画像処理部２２０によって各種の画像処理を受けた画像データや、圧縮された画像データを一時的に記録する。画像データは、アナログ信号に変換された後、表示部３００によって表示され、あるいは、デジタル信号のままインターフェース部２６０を介して記録媒体４００に記録される。画像データは、不図示の通信装置を介して、無線または有線で他の装置（不図示）に送信されてもよい。
【００６８】
なお、使用者が被写体にカメラを向けているときｆ、表示部３００に第１撮像素子１０Ａによって取得される画像が表示されることが好ましい。これにより、使用者は焦点外れによるぼやけの無い画像を見ながら撮影を行うことができる。
【００６９】
上記の構成要素は、不図示の中央演算処理ユニット（ＣＰＵ）およびフラッシュメモリを含むシステム制御部５００によって制御される。なお、本実施形態の撮像装置は、光学ファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。
【００７０】
上述したように、本実施形態の撮像素子１００によれば、焦点の合った像を撮像素子１０Ａの撮像面上に形成するとともに、焦点を意図的に外した像を撮像素子１０Ｂに形成することができる。なお、撮像素子１０Ａの撮像面上に焦点の合った像は、通常のオートフォーカス技術により、容易に形成される。
【００７１】
意図的に焦点を外した状態で撮像を行うとき、露光中の手振れによって画像にブレ（ｍｏｔｉｏｎ ｂｌｕｒ）が発生したと仮定する。このようにして得られた画像のぼやけの点拡がり関数ＰＳＦは、前述したように、ｆ1（ｘ，ｙ）およびｆ2（ｘ，ｙ）を足し合わせたものである。
【００７２】
次に、焦点外れによるぼやけのＰＳＦ、すなわち、ｆ2（ｘ，ｙ）の求め方を説明する。
【００７３】
まず、図９（ａ）に示すように背景が黒く、小さな輝点を中心に有するパターンを撮影する。このとき、第１撮像素子１０Ａでは、図９（ｂ）に示すように、焦点の合った像が形成される。一方、第２撮像素子１０Ｂでは、図９（ｃ）に示すように、焦点が外れた像が形成される。
【００７４】
焦点外れによるぼやけのＰＳＦを、円柱状に点が広がるピルボックス関数で近似する場合、撮像面における点像の広がり（直径ｂ）が円柱の直径に相当する。このため、点像の広がりを測定すれば、焦点外れのぼやけを示すＰＳＦ（ピルボックス関数）を決定することができる。点像の広がりは、撮像面における画素数で表現することができ、撮像素子によって容易に検出することができる。
【００７５】
なお、レンズの形状によっては、収差などにより、点像の面内輝度がガウス分布を示す場合がある。そのような場合は、焦点外れによるぼやけのＰＳＦをガウス関数で近似することが好ましい。撮像面上に広がった点像の輝度分布は、撮像素子によって測定されるため、その輝度分布から、対応するガウス関数のσを決定することができる。
【００７６】
このようにして焦点外れのぼやけを規定するＰＳＦ（ｆ2（ｘ，ｙ））が予め測定によって決定され、撮像装置が内蔵するメモリのテーブルなどに格納される。このＰＳＦ（ｆ2（ｘ，ｙ））は、撮影レンズ２０の焦点距離や絞りの開口径などの撮影パラメータにも依存する。すなわち、被写体までの距離が変わると撮影レンズ２０の焦点距離が変化し、また、開口径が変わると被写界深度が変化する。したがって、撮影パラメータの値の可能な組み言わせに関連付けて、多数のＰＳＦ（ｆ2（ｘ，ｙ））を測定し、メモリに記録させておくことが好ましい。そうすることにより、現実の撮影時において、撮影パラメータに応じた焦点外れのＰＳＦ（ｆ2（ｘ，ｙ））を求めることができる。
【００７７】
次に、ユーザが本実施形態の撮像装置によって撮像を行うときの動作を説明する。
【００７８】
まず、通常のデジタルカメラによる撮像を行うように、ユーザは被写体に撮像装置を向け、シャッタボタンを半押しすると、第１撮像素子１０Ａで焦点の合った像が形成されるように、自動焦点動作により被写体に焦点が合う。このとき、第１撮像素子１０Ａの撮像面には焦点の合った像が形成されるが、第２撮像素子１０Ｂの撮像面には焦点外れによってぼやけの発生した像が形成される。
【００７９】
次に、ユーザがシャッタボタンを深く押し込むと、撮像素子１０Ａ、１０Ｂの「露光」が開始される。露光中にユーザによって撮像装置が不安定に動いた場合、撮像素子１０Ａ、１０Ｂの撮像面上を像が移動するため、いずれの像にも手振れによるぼやけが加算されることになる。
【００８０】
信号処理部２００は、撮像部１００によって取得された信号を受け取る。こうして得られた画像は、式７の左辺にあるｉ（ｘ、ｙ）で表される劣化画像である。本実施形態におけるｉ（ｘ、ｙ）は、撮像素子１０Ａ、１０Ｂから出力される画像信号を加算することにより得られる。撮像素子１０Ａ、１０Ｂから出力は、単純に加算されてもよいが、一方の出力と他方の出力とに異なる重み付けをした上で加算されてもよい。このような重み付けは、撮像素子１０Ａ、１０Ｂのサイズ、解像度、画素数、および開口率の少なくとも何れかが異なる場合や、撮像素子１０Ａ、１０Ｂに入射する光の強さが異なる場合には、好適に実行され得る。
【００８１】
信号処理部２００における画像処理部２２０は、ｉ（ｘ、ｙ）からｓ（ｘ，ｙ）を復元するための処理を行う。この復元処理のアルゴリズムは、特に限定されず、公知の画像復元処理のいずれであってもよい。
【００８２】
以下、図１０および図１１を参照しながら、本実施形態で実行し得る復元処理の一例を説明する。図１０は、図８に示す画像処理部２２０の構成例を示すブロックであり、図１１は、復元処理の例を示すフローチャートである。
【００８３】
まず、図１０を参照する。図１０に示す画像処理部２２０は、初期ＰＳＦ設定部２２２、画像復元部２２４、ＰＳＦ設定部２２６、およびパラメータ更新部２２８を備え、劣化画像の入力を得て復元結果を出力する。初期ＰＳＦ推定部２２２は、画像復元部２２４による処理に必要な初期ＰＳＦを設定する。この初期ＰＳＦは、カメラの運動（軌跡）をジャイロセンサなどのセンサによって検出し、その軌跡に基づいて決定しても良いし、使用者が手動で入力してもよい。なお、画像処理に要する時間を短縮するという観点から、初期ＰＳＦは真のＰＳＦに近いことが好ましい。このため、センサによって検出したカメラの軌跡から定まるＰＳＦに対して焦点外れのＰＳＦを加算したＰＳＦを初期ＰＳＦに設定することが好ましい。
【００８４】
画像復元部２２４は、初期ＰＳＦに基づいて劣化画像から復元画像を得る。ＰＳＦ推定部２２６は、劣化画像、および、画像復元部２２４で得た復元画像に基づいてＰＳＦの推定を行う。パラメータ更新部２２８は、ＰＳＦ推定部２２６によって得られたＰＳＦ（推定されたＰＳＦ）で初期ＰＳＦ（前回の画像復元に用いたＰＳＦ）を更新する。更新されたＰＳＦは、画像復元部２２４に与えられ、上記の処理が繰り返し実行される。
【００８５】
図１０に示す構成は、画像処理部２２０の機能ブロックの例であり、画像処理部２２０は、他の機能ブロックに分割され得る。画像処理部２２０は、例えば公知のハードウェアに画像処理のソフトウェアを組み込むことによっても好適に実現される。
【００８６】
次に、図１１を参照しながら復元処理の概略手順を説明する。
【００８７】
まず、ステップＳ１において、劣化画像の読み出しを行う。具体的には、復元処理のベースとなる劣化画像を、画像処理部２２０が図８のメモリ２４０から取得する。劣化画像は、図８の撮像部１００によって取得された画像であり、本実施形態では、意図的な焦点外れによるぼやけが付与されている。一般には、使用者による撮像部１００の振れ（運動）により、手振れによるぼやけ（ブレ）も劣化画像に付与される。
【００８８】
ステップＳ２において、初期ＰＳＦ設定部２２２は初期ＰＳＦを設定する。ステップＳ３において、画像復元部２２４は、ステップＳ１で取得した劣化画像とステップＳ２で設定した初期ＰＳＦとを用いて画像復元処理を実行する。この画像復元処理は、図１０の画像復元部２２４において、公知の復元アルゴリズムによって実行することができる。画像復元部２２４は、得られた復元画像をいったんメモリ２４０に記録する。ステップＳ４では、ＰＳＦ推定部２２６が復元画像からＰＳＦの推定を行い、パラメータ更新部２２８が、推定されたＰＳＦによって前のＰＳＦを更新する。
【００８９】
ステップＳ５において、更新前後のＰＳＦ、および、更新前後の復元画像の変化が所定の閾値よりも小さいか否かを判定し、小さい場合は処理が収束したと判断する。ステップＳ６では、復元結果をメモリ２４０に格納する。
【００９０】
以下、ステップＳ２〜Ｓ３で行うＰＳＦ推定および画像復元の詳細を説明する。
【００９１】
ここでは、非特許文献１に開示されている信号処理法による場合を説明する。非特許文献１の信号処理法による場合、まず初期ＰＳＦを与える必要がある。この初期ＰＳＦは、手動あるいは、手振れ検知装置（ジャイロセンサなどの外部デバイス）によって与えられる。この初期ＰＳＦに基づいて、第１の画像復元が行われる。この段階のＰＳＦは、必ずしも真のＰＳＦ（正解）に一致しているものではないが、復元される結果は、劣化画像に比べると原画像に近づいたものとなる。
【００９２】
続いて、第１の画像復元の結果である第１の復元画像からＰＳＦの推定を行う。第１の復元画像が劣化画像よりも原画像に近づいているため、推定されるＰＳＦは正解に近づく。ここで推定したＰＳＦを用いて、すなわち、初期ＰＳＦを次のＰＳＦで更新して、第２の画像復元を行う。この処理をＰＳＦの変化、および、画像復元結果の変化がなくなるまで繰り返し行うことにより、ＰＳＦ推定と画像復元を同時に行う。
【００９３】
以下、画像復元処理の更に具体的な方法を述べる。
【００９４】
まず、画像復元に先立って、初期ＰＳＦ設定部２２２により、初期ＰＳＦを与える。非特許文献１に開示されている方法では、初期ＰＳＦを手動で与えているが、本実施形態では、ジャイロセンサによって取得した動き情報に基づいてＰＳＦの初期値を設定する。
【００９５】
画像復元部２２４は、与えられたＰＳＦ（最初は初期値、次からは更新値）と劣化画像により、画像の復元を行う。この処理に使用する評価式ＥLを式１３に示す。
【数１３】
【００９６】
ここで、Ｉは劣化画像、Ｌはブレおよびぼやけのない画像Ｌ、ｆは点拡がり関数ＰＳＦである。変数ｗｋ、λ１、λ２は手動で設定される「重み」である。Θは、どのような微分を画像に施すかを規定する演算子のセットである。具体的には、０回微分、１回微分（ｘ、ｙ方向それぞれ）、２回微分（ｘ方向に二回、ｙ方向に二回、ｘとｙ方向に１回ずつ）の合計６個の微分パラメータを持つ。ｄ*は、微分演算子である。ｄ*を用いてΘを表現すると、Θ＝｛ｄ0、ｄx、ｄy、ｄxx、ｄxy、ｄyy｝となる。ｄ*により、輝度情報とエッジ情報の両方を用いた処理を行うことが可能になり、輝度だけでは得られない情報も得ることができる。Ｍは、２次元のマスクであり、画像中の平坦な領域、すなわち局所的なスムーズな領域（Ω）に含まれる画素では「１」の要素、それ以外の画素では「０」の要素を有している。||・||pは、ｐノルム演算子である。Φ（ｘ）は、自然に観察される画像中の輝度勾配ｘとその分布密度（対数表示）との関係を近似的に示す関数である。
【００９７】
式１３の右辺における第１項は、復元画像Ｌと点拡がり関数ｆとの畳み込みを行って得られる画像と劣化画像Ｉとの差（距離）を示す項である。画像に対して６個の微分パラメータによる演算を施すことにより、輝度以外の情報に基づいて画像の近似度を評価できる。
【００９８】
式１３の右辺における第２項は、画像内の輝度勾配の性質（「ｈｅａｖｙ ｔａｉｌ」と呼ばれる）を示す項である。Φ（ｄxＬ）、Φ（ｄyＬ）は、復元画像の輝度勾配をヒストグラム化したときに、勾配が０付近に出現確率の急激なピークが現れ、勾配が大きくなるにつれ出現確率が小さくなるという、統計的性質を持つ。第２項では、ｘ方向の勾配とｙ方向の勾配のそれぞれに対して、上記の統計的性質を示す分布からの距離を算出している。この統計的性質は、非特許文献３〜５に開示されている方法でも利用されている。
【００９９】
式１３の右辺における第３項は、マスクＭと微分劣化画像と微分復元画像を用いて、平坦度の評価を行う項である。平坦な領域では、劣化画像と復元画像との間で輝度の勾配値が近い値を持つ。そのため、ｘ、ｙ方向の勾配値の誤差を評価値として用いる。
【０１００】
式１３の右辺を最小化するＬを求めることにより、復元画像Ｌを求めることができる（Ｌの最適化）。Ｌの最適化の具体的な計算方法は、非特許文献１に開示されている。
【０１０１】
次に、復元画像Ｌが得られた後に行う、ＰＳＦ推定部２２６による処理を詳しく説明する。
【０１０２】
ＰＳＦ推定は、画像復元部２２４で得られた復元画像Ｌと劣化画像Ｉとを用いて点拡がり関数ｆを推定する問題である。ｆは、以下の式１４の右辺を最小化するようにｆを決定することにより、点拡がり関数ｆを求めることができる（ｆの最適化）。
【数１４】
【０１０３】
式１４の右辺における第１項は、式１３の右辺における第１項に相当し、復元画像Ｌと点拡がり関数ｆとの畳み込みが劣化画像Ｉに近いか否かを示す評価基準を与える。式１４の右辺における第２項は、点拡がり関数ｆの１ノルムである。第２項は、スパースコーディングと呼ばれる考え方に基づく項である。点拡がり関数ｆの行例における大部分の要素が０（動きがない）であることから、この最適化項が用いられる。本実施形態では、非特許文献１と同様に「ｉｎｔｅｒｉｏｒ ｐｏｉｎｔ ｍｅｔｈｏｄ」による最適化を行い、全体最適化を実現できる。
【０１０４】
なお、画像復元の手順は、上記の例に限定されない。例えば、リチャードソンルーシ（ＬＲ）法やウィーナフィルタ法を用いても良い。
【０１０５】
本実施形態における画像復元で重要な点は、意図的に与える焦点はずれによるぼやけの点拡がり関数ＰＳＦを既知とすることにある。動きの情報は、ジャイロセンサによって取得できるため、焦点はずれが生じても、その点拡がり関数ＰＳＦが既知であれば、ＬＲ法などの従来から知られている簡便な手法を適用して画像の復元を実現することできる。このため、信号処理にかかる負担を軽減させることが可能になる。
【０１０６】
本実施形態では、手振れによるぼやけを規定するＰＳＦをも推定の対象とするブラインド・デコンボリューションによって画像の復元を行ったが、本発明はこれに限定されない。撮像装置に取り付けられたジャイロセンサによって「手振れ軌跡」を高い精度で検出できれば、検出した手振れ軌跡に基づいて得られたＰＳＦを画像復元処理のための単なる初期値として用いるだけではなく、手触れによるぼやけを規定する最終的なＰＳＦとして用いても良い。この場合、焦点外れによるぼやけを規定するＰＳＦも既知であり、ぼやけの点拡がり関数がすべて既知となるため、推定すべきは復元画像のみとなる。
【０１０７】
このように本実施形態によれば、復元方法の種類によらず、劣化画像に意図的な焦点外れによるぼやけが付加されるため、手振れによるぼやけ（ブレ）で劣化した画像を復元した場合でも、画像の平坦部でリンギングが目立たないという効果が得られる。
【０１０８】
上記の実施形態では、第１撮像素子１０Ａに焦点が合っているとき、第２撮像素子１０Ｂに生じる焦点外れのぼやけを規定する点拡がり関数が既知である。しかし、本発明は、このような場合に限定されない。焦点外れのぼやけを既定する点拡がり関数が既知の場合は、精度よくブレとボケの復元が可能になる。
【０１０９】
なお、２つの撮像素子１０Ａ、１０Ｂで取得された画像のどちらにも焦点外れによるぼやけが発生していることが有り得る。このような場合でも、合成された劣化画像のぼやけ全体を規定するＰＳＦを推定して復元画像を得ることは可能である。２つの撮像素子１０Ａ、１０Ｂから得られる合成画像でピントが合っている必要がないため、ピント調整が不要であるという利点がある。例えば、奥行きのある風景を撮影対象とする場合、被写体に必ずしも焦点が合うわけではない。このような場合でも、本発明は有効である。本発明の好ましい実施形態において、２つの撮像素子１０Ａ、１０Ｂの両方で焦点外れが生じる場合、各々の焦点外れによるぼやけを規定する点拡がり関数は相互に異なる関数となる。この場合、焦点はずれによるぼやけを規定する２つの点拡がり関数のフーリエ変換がともに特定の空間周波数で零になることはない。このため、２つの撮像素子１０Ａ、１０Ｂの両方で焦点外れを生じさせることにより、リンギング抑制の効果が更に高められる。
【０１１０】
第１撮像素子１０Ａと第２撮像素子１０Ｂとは、同じ解像度を有する必要は無い。例えば、片方の解像度が小さい場合は、超解像技術（例えば魏，田中，奥富； 実時間動画像超解像処理システム第15回画像センシングシンポジウム（SSII2009）講演論文集, pp.DS2-01-1-１, 2009）により、一方の画像の解像度を高めることができる。異なる解像度の画像を同一解像度に復元した後に、上記の処理により、ブレとボケを低減するための画像復元を行ってもよい。
【０１１１】
また、本発明が備える撮像素子の個数は、２個に限定されず、３個以上であってもよい。
【産業上の利用可能性】
【０１１２】
本発明の撮像装置は、平坦部でリンギングの少ない画像を復元できるため、電子スチルカメラなどとして利用可能である。
【符号の説明】
【０１１３】
１０Ａ 第１撮像素子
１０Ｂ 第２撮像素子
１５ 絞り機能を有するシャッタ
２０ 撮影レンズ
３０ 撮像素子駆動部
４０ 光スプリッタ
４５ 光学素子
６０ 分光部
１００ 撮像部
２００ 信号処理部
２２０ 画像処理部
２２２ 初期ＰＳＦ設定部
２２４ 画像復元部
２２６ ＰＳＦ推定部
２２８ パラメータ更新部
２４０ メモリ
２６０ インターフェース（ＩＦ）
３００ 表示部
４００ 記録媒体
５００ システム制御部
【技術分野】
【０００１】
この発明は、リンギング除去のための画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
デジタルカメラで画像を撮像すると、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、あるいはＣＭＯＳの読み出し回路の特性や伝送路の特性により画像にノイズが加わることがある。また、撮像時にフォーカスが合っていないこと（焦点外れ：ｏｕｔ−ｏｆ−ｆｏｃｕｓ）による画像のぼやけ（ブラー：ｂｌｕｒ）や、手振れ（ｃａｍｅｒａ ｓｈａｋｅ）などによる画像のぼやけが発生する。このように撮像画像には、撮像画像固有の特性によるノイズに、撮影時の人為的な操作を起因とするぼやけが加わることにより、画像が劣化することになる。これらの「ぼやけ」のうち、撮影（露光）中におけるカメラの運動による画像のぼやけを「ブレ（ｍｏｔｉｏｎ ｂｌｕｒ）」と称し、焦点外れによるぼやけ（ｏｕｔ−ｏｆ−ｆｏｃｕｓ ｂｌｕｒ）と区別することにする。
【０００３】
近年、特に高感度撮影の需要が増大していることにより、ぼやけによって劣化した画像（以下、「劣化画像」という）を元の画像（以下、「理想画像」という）にできるだけ近い画像に復元することが必要となる。高感度撮影に要求される、明るくノイズやぼやけのない画像を実現するために、大別して感度をあげるという考え方と、露光時間を長くするという考え方がある。
【０００４】
しかしながら、感度を高めるとノイズも増幅してしまう、そのため、信号がノイズに埋もれてしまい、ノイズが大半を占める画像になることが多い。一方で露光時間を長くすることで、その場で生じる光を多く蓄積し、ノイズの少ない画像が得られる。この場合、信号がノイズで埋もれることはないが、手振れによって画像にブレが生じるという問題がある。
【０００５】
そこで、従来、２通りの考え方で露光時間を長くする場合の対処法がとられていた。一つは、レンズシフトやセンサシフトといった光学式手振れ補正である。他方は、得られた画像からブレの方向／大きさを求め、そこから信号処理によって画像を復元するという方法（信号処理による復元方法）である。信号処理による復元方法は、例えば特許文献１、特許文献２、非特許文献１〜５などに開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６-１２９２３６号公報
【特許文献２】特表２００９-５２２８２５号公報
【非特許文献】
【０００７】
【非特許文献１】Qi Shan, Jiaya Jia, and Aseem Agarwala，“High-quality Motion Deblurring from ａ Single Image”，SIGGRAPH 2008
【非特許文献２】米司・田中・奥富共著,「直線的手ぶれ画像復元のためのｐｓｆパラメータ推定手法」，情報処理学会研究報告，第２００５巻,第３８号，ｐ．４７−５２，２００５年
【非特許文献３】J. Bioucas-Dias, Bayesian wavelet-based image deconvolution: a gem algorithm exploiting a class of heavy-tailed priors", IEEE Trans. Image Proc., vol. 4, pp. 937？951, April 2006.
【非特許文献４】Levin, "Blind Motion Deblurring Using Image Statistics", Advances in Neural Information Processing Systems (NIPS), Dec 2006
【非特許文献５】Rob Fergus et al., "Removing camera shake from a single image", Barun Singh Aaron Hertzmann"，SIGGRAPH 2006
【発明の概要】
【発明が解決しようとする課題】
【０００８】
光学式手振れ補正は、補正範囲に限界があるため、従来よりも暗い環境で十分な光量を集める場合、稼動範囲が大きくなければならない。しかし、大きくなると移動の際の時間遅れが生じ、また、大型化にはサイズの物理的な限界がある。
【０００９】
また、信号処理によって、劣化画像から理想画像を復元する方法では、復元された画像にリンギングなどのノイズが発生してしまうという問題がある。「リンギング（ｒｉｎｇｉｎｇ）」とは、画像において輝度などが一様な部分（平坦部）が平坦に見えないノイズである。
【００１０】
図１（ａ）は、輝度がステップ状に変化する画像（エッジ付近の理想画像）を示す平面図であり、図１（ｂ）は、その輝度分布を模式的に示すグラフである。図２（ａ）は、図１（ａ）の画像をカメラで撮影することによって得られた劣化画像（ぼやけ画像：ｂｌｕｒｒｅｄ ｉｍａｇｅ）を示す平面図であり、図２（ｂ）は、その輝度分布を模式的に示すグラフである。これは、カメラ撮影に際して、水平横方向に手振れが生じたものとする。図２（ａ）の劣化画像は、手振れによるぼやけ（ブレ）が発生したため、エッジのシャープネスが失われている。図３（ａ）は、図２（ａ）の劣化画像を信号処理によって復元した画像を示す平面図であり、図３（ｂ）は、復元画像の輝度分布を模式的に示すグラフである。図３（ａ）の復元画像には、輝度が周期的に変化する部分が存在している。このような輝度変化が「リンギング」と称されるノイズである。
【００１１】
特許文献１に示される方法では、エッジ近辺で発生するリンギングをおさえるように、エッジ近辺では復元された結果を利用せず、ぼやけ画像のデータを利用している。この方法では、画面内のエッジの強度に基づいて、ぼやけ画像のデータを利用する重みを決めている。しかしながら、手振れの量が決まらなければ、エッジの強度を決めることができない。エッジの強度が決まらなければ、ぼやけ画像のデータを利用する重みを決めることができない。そのため、リンギングを除去できないという問題があった。
【００１２】
本発明は、上記課題を解決するためになされたものであり、人間の知覚特性を考慮して、画像の平坦部におけるリンギングを低減させる画像処理を行う撮像装置を提供することにある。
【課題を解決するための手段】
【００１３】
本発明の撮像装置は、第１撮像素子および第２撮像素子と、前記第１撮像素子の撮像面上に焦点が合っている第１の像を形成し、かつ、前記第２撮像素子の撮像面上に焦点が外れた第２の像を形成し得る光学系と、前記第１撮像素子および前記第２撮像素子から得られる信号を処理する画像処理部とを備え、前記画像処理部は、前記第１撮像素子および第２撮像素子によって取得された画像から、手振れによるぼやけおよび焦点外れによるぼやけを減少させた復元画像を生成する。
【００１４】
好ましい実施形態において、前記第２撮像素子における焦点外れによるぼやけを規定する点拡がり関数を記録するメモリを備え、前記画像処理部は、撮像時における焦点外れによるぼやけを規定する点拡がり関数を前記メモリから読み出し、復元画像の生成に用いる。
【００１５】
好ましい実施形態において、前記光学系は、結像レンズと、前記結像レンズを透過した光を２方向に分離する光スプリッタとを有しており、分離された一方の光を前記第１撮像素子に入射し、かつ、分離された他方の光を前記第２撮像素子に入射する。
【００１６】
好ましい実施形態において、前記結像レンズから前記第１撮像素子までの光学的な距離は、前記結像レンズから前記第２撮像素子までの光学的な距離とは異なっている。
【００１７】
好ましい実施形態において、前記光学系は、入射光を２方向に分離する光スプリッタと、分離された一方の光を前記第１撮像素子上に集光する第１結像レンズと、分離された他方の光を前記第２撮像素子上に集光する第２結像レンズとを有している。
【００１８】
好ましい実施形態において、表示部を更に備え、前記第１撮像素子によって取得された画像を前記表示部に表示する。
【００１９】
本発明のプログラムは、第１撮像素子および第２撮像素子と、前記第１撮像素子の撮像面上に焦点が合っている第１の像を形成し、かつ、前記第２撮像素子の撮像面上に焦点が外れた第２の像を形成する光学系と、前記第１撮像素子および前記第２撮像素子から得られる信号を処理する画像処理部とを備える撮像装置の動作を制御するプログラムであって、前記光学系により、前記第１撮像素子の撮像面上に焦点が合っている第１の像を形成させるとともに、前記第２撮像素子の撮像面上に焦点が合っていない第２の像を形成させるステップと、前記画像処理部により、前記第１撮像素子および前記第２撮像素子によって取得された画像から、手振れによるぼやけおよび焦点外れによるぼやけを減少させた復元画像を生成するステップとを実行する。
【００２０】
本発明の画像処理方法は、第１撮像素子および第２撮像素子と、前記第１撮像素子の撮像面上に焦点が合っている第１の像を形成し、かつ、前記第２撮像素子の撮像面上に焦点が外れた第２の像を形成する光学系と、前記第１撮像素子および前記第２撮像素子から得られる信号を処理する画像処理部とを備える撮像装置における画像処理方法であって、前記光学系により、前記第１撮像素子の撮像面上に焦点が合っている第１の像を形成させるとともに、前記第２撮像素子の撮像面上に焦点が合っていない第２の像を形成させるステップと、前記画像処理部により、前記第１撮像素子および前記第２撮像素子によって取得された画像から、手振れによるぼやけおよび焦点外れによるぼやけを減少させた復元画像を生成するステップとを含む。
【００２１】
本発明の他の画像処理方法は、第１撮像素子および第２撮像素子と、前記第１撮像素子の撮像面上に焦点が合っている第１の像を形成し、かつ、前記第２撮像素子の撮像面上に焦点が外れた第２の像を形成する光学系と、前記第１撮像素子および前記第２撮像素子から得られる信号を処理する画像処理部とを備える撮像装置における画像処理方法であって、前記光学系により、前記第１撮像素子の撮像面上に焦点が合っていない第１の像を形成させるとともに、前記第２撮像面上にも焦点が合っていない第２の像を形成させるステップと、前記画像処理部により、前記第１撮像素子および前記第２撮像素子によって取得された画像から、手振れによるぼやけおよび焦点外れによるぼやけを減少させた復元画像を生成するステップとを含む。
【発明の効果】
【００２２】
この発明によれば、特に画像の平坦部分におけるリンギングを低減させることが可能となる。
【図面の簡単な説明】
【００２３】
【図１】（ａ）は、輝度がステップ状に変化する画像（エッジ付近の理想画像）を示す平面図であり、（ｂ）は、その輝度分布を模式的に示すグラフである。
【図２】（ａ）は、図１（ａ）の画像をカメラで撮影することによって得られた劣化画像（ぼやけ画像：ｂｌｕｒｒｅｄ ｉｍａｇｅ）を示す平面図であり、（ｂ）は、その輝度分布を模式的に示すグラフである。
【図３】（ａ）は、図２（ａ）の劣化画像を信号処理によって復元した画像を示す平面図であり、（ｂ）は、復元画像の輝度分布を模式的に示すグラフである。
【図４】（ａ）は、特定の画素がゼロで無い輝度を有し、他の画素がゼロの輝度を有する画像（点像）を模式的に示す図であり、（ｂ）は、焦点外れによるぼやけの点拡がり関数ＰＳＦを示す図であり、（ｃ）は、（ａ）の画像に対して、焦点外れによるぼやけの点拡がり関数ＰＳＦの畳み込みを行うことにより得られる画像を示す図である。
【図５】（ａ）は、結像レンズによる焦点が合っている場合の光線図であり、（ｂ）は、焦点が外れている場合の光線図である。
【図６】撮像部１００の構成を示す図である。
【図７】（ａ）〜（ｃ）は、それぞれ、撮像部１００の構成の具体例を示す図である。
【図８】本実施形態における撮像装置の概略構成を示すブロック図である。
【図９】（ａ）は、背景が黒く、小さな輝点を中心に有するパターンを示す図であり、（ｂ）は、撮像素子１０Ａの撮像面上で焦点が合っているときの像を示す図であり、（ｃ）は、撮像素子１０Ｂの撮像面上で焦点が合っていないときの像を示す図である。
【図１０】図８に示す画像処理部２２０の構成例を示すブロックである。
【図１１】本発明の実施形態で実行する復元処理の例を示すフローチャートである。
【発明を実施するための形態】
【００２４】
本発明の実施形態を説明する前に、本発明の基本的原理を説明する。
【００２５】
本明細書では、撮像面に形成される画像の輝度分布をｉ（ｘ，ｙ）で表すことにする。座標（ｘ，ｙ）は、撮像面の画素（光感知セル）の位置を示す二次元座標である。画像が例えば行列状に配列されたＭ×Ｎ個の画素からなる場合において、ｘおよびｙが、それぞれ、０≦ｘ≦Ｍ−１、０≦ｙ≦Ｎ−１の関係を満足する整数であるとすると、画像を構成する個々の画素の位置を座標（ｘ，ｙ）によって特定することができる。ここでは、座標の原点（０、０）を画像の左上隅に置き、ｘ軸は垂直方向、ｙ軸は水平方向に延びるものとする。ただし、座標の取り方は、任意である。
【００２６】
ぼやけ（ｂｌｕｒ）のない画像（理想画像または元画像）の輝度分布をｓ（ｘ，ｙ）とし、ぼやけを規定するＰＳＦ、すなわち「点拡がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）」をｆ（ｘ，ｙ）とすると、以下の式１が成立する。
【数１】
【００２７】
ここで、記号「＊」は、畳み込み演算（コンボリューション）を示している。式１は、一般に、以下の式２で表される。
【数２】
【００２８】
画像が、Ｍ×Ｎ個の画素からなる場合、上記の式２は、以下の式３で表すことができる。
【数３】
【００２９】
ぼやけの点拡がり関数ＰＳＦである関数ｆ（ｘ，ｙ）が既知であると、カメラ撮影によって得られた画像ｉ（ｘ，ｙ）に対する逆畳み込み演算（デコンボリューション）により、ぼやけの無い画像ｓ（ｘ，ｙ）を復元することができる。また、ｆ（ｘ，ｙ）が既知でない場合は、画像からｆ（ｘ，ｙ）を推定した上でｓ（ｘ，ｙ）を求める必要がある。
【００３０】
一般に、２つの関数の畳み込みのフーリエ変換は、各関数のフーリエ変換の積によって表される。このため、ｉ（ｘ，ｙ）、ｓ（ｘ，ｙ）、ｆ（ｘ，ｙ）のフーリエ変換を、それぞれ、Ｉ（ｕ，ｖ）、Ｓ（ｕ，ｖ）、Ｆ（ｕ，ｖ）で表すと、式１から、以下の式４が導かれる。なお、（ｕ，ｖ）は、周波数空間における座標であり、それぞれ、実画像におけるｘ方向およびｙ方向の空間周波数に対応している。
【数４】
【００３１】
ここで、記号「・」は、周波数空間における関数の「積」を示している。式（４）を変形すると、以下の式５が得られる。
【数５】
【００３２】
この式５は、カメラ撮影によって得られた画像ｉ（ｘ，ｙ）のフーリエ変換Ｉ（ｕ，ｖ）を、点拡がり関数ＰＳＦであるｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）で除算して得られた関数が、理想画像ｓ（ｘ，ｙ）のフーリエ変換Ｓ（ｕ，ｖ）に相当することを示している。すなわち、Ｉ（ｕ，ｖ）およびｆ（ｕ，ｖ）が求まれば、Ｓ（ｕ，ｖ）を決定できる。Ｉ（ｕ，ｖ）は、カメラ撮影によって得られた画像（劣化画像）をフーリエ変換したものであるため、手振れの点拡がり関数ＰＳＦを表すｆ（ｘ，ｙ）が求まれば、信号処理によって劣化画像から画像を復元する（真の画像に近づける）ことが可能になる。
【００３３】
手振れの点拡がり関数ＰＳＦを表すｆ（ｘ，ｙ）は、撮影（露光）中における手振れの軌道に依存する。言い換えると、手振れの軌道はカメラ撮影毎に異なるため、ｆ（ｘ，ｙ）もカメラ撮影毎に変化する。ｆ（ｘ，ｙ）は、カメラ撮影によって得られた１枚または複数枚の画像から推定することも可能であるが、撮影（露光）中におけるカメラの動き（手振れ軌跡）をセンサによって検出して推定することも可能である。しかし、ｆ（ｘ，ｙ）は、推定または測定によって得られるものに過ぎず、何らかの誤差を含む。このため、理想画像ｓ（ｘ，ｙ）を完全に復元することは困難である。
【００３４】
非特許文献２は、短い露光時間中における手振れの軌道を「等速直線運動」と仮定することにより、その点拡がり関数ＰＳＦのフーリエ変換をｓｉｎｃ関数で近似することを開示している。手振れの幅をＷ、手振れの方向をｘ軸方向とすると、式５の分母であるＦ（ｕ，ｖ）は、以下の式６で示される。
【数６】
【００３５】
式６の右辺は、ｓｉｎｃ（ジンク）関数であり、その振幅は一定周期毎にゼロ（０）となる。この周期は、手振れの幅Ｗの逆数（１／Ｗ）である。なお、手振れの方向がｘ軸に対してθの角度を向く場合、Ｆ（ｕ、ｖ）は、式６の関数を角度θだけ回転させたものとなる。現実の手振れは、複雑な軌道を描くため、「等速直線運動」の仮定が充分に成立しない場合がある。
【００３６】
本発明者は、式５の分母であるＦ（ｕ，ｖ）が低周波数領域で周期的にゼロとなることが、画像の平坦部におけるリンギングの主たる発生原因であることに着目し、本発明を完成した。ここで、「低周波数領域」とは、周波数空間において原点に近い領域であり、画像において輝度分布の空間周波数が相対的に低い領域である。このような低周波数領域は、画像の平坦部（輝度変化が少ない部分）に相当する。
【００３７】
本発明では、低周波数領域でＦ（ｕ，ｖ）がゼロにならないような撮像を実現することにより、手振れなどを原因とする劣化画像を復元するに際して画像の平坦部（低空間周波数領域）におけるリンギングを低減することが可能になる。人の目には、画像の平坦部におけるリンギングが目立つため、平坦部でのリンギングを低減すれば、画像の質は格段に向上する。
【００３８】
本発明の好ましい実施形態では、カメラ撮影に際して、焦点外れによるぼやけを意図的に画像に付与する。好ましい実施形態では、後述するように、１つの撮像素子で焦点外れによるぼやけのない画像を取得するとともに、他の撮像素子で意図的に焦点外れによるぼやけのある画像を取得する。そして、これらの撮像素子から得られる画像信号を合成することにより１つの劣化画像を生成する。この劣化画像には、撮影時に手振れが発生した場合、手振れによるぼやけと焦点外れによるぼやけとが重畳したぼやけが発生している。なお、好ましい実施形態において、焦点外れのぼやけを示す点拡がり関数ＰＳＦは既知である。
【００３９】
本明細書では、手振れによるぼやけの点拡がり関数ＰＳＦをｆ1（ｘ，ｙ）で表し、焦点外れによるぼやけの点拡がり関数ＰＳＦをｆ2（ｘ，ｙ）で表す。この場合、式１、式４、式５は、それぞれ、以下の式７、式８、式９に変形される。
【数７】
【数８】
【数９】
【００４０】
ここで、Ｆ1（ｕ，ｖ）およびＦ2（ｕ，ｖ）は、それぞれ、ｆ1（ｘ，ｙ）およびｆ2（ｘ，ｙ）のフーリエ変換である。
【００４１】
本発明の好ましい実施形態において、画像に意図的に付与した焦点外れによるぼやけの点拡がり関数ＰＳＦ、すなわちｆ2（ｘ，ｙ）は、既知である。一般に、焦点外れによるぼやけの点拡がり関数ＰＳＦは、ピルボックス（ｐｉｌｌｂｏｘ）関数やガウス関数（Ｇａｕｓｓｉａｎ）によって表現され得る。このような関数のフーリエ変換は、焦点外れの程度を適切に調整する限り、周波数ゼロの近傍、すなわち低周波数領域ではゼロにはならない。
【００４２】
本発明の実施形態では、低周波数領域でゼロにならない関数Ｆ2（ｕ，ｖ）をＦ1（ｕ，ｖ）に加算することにより、少なくとも低周波数領域で式９の分母がゼロにならないようにする。その結果、画像の「平坦部」におけるリンギングノイズを低減し、それによって、リンギングが目立たない高質な画像の復元を実現する。以下、焦点外れを生じさせることにより、画像の「平坦部」においてリンギングを低減できる理由を説明する。
【００４３】
図４（ａ）は、特定の画素がゼロで無い輝度を有し、他の画素がゼロの輝度を有する画像（点像）を模式的に示す図である。図４（ｂ）は、焦点外れによるぼやけの点拡がり関数ＰＳＦを示す図であり、図４（ｂ）の左側のグラフはピルボックス関数の一例を示し、右側のグラフはガウス関数の一例を示している。図４（ｃ）は、図４（ａ）の画像に対して、焦点外れによるぼやけの点拡がり関数ＰＳＦの畳み込みを行うことにより得られる画像を示す図である。図４（ｃ）の画像では、焦点外れによるぼやけが生じている。このぼやけは、手振れによるぼやけとは異なり、中心から対称に広がる輝度の分布を有している。ぼやけの程度は、厳密には点拡がり関数ＰＳＦによって規定されるが、概略的には、点像の広がりの大きさ（直径または半径）によって評価され得る。
【００４４】
次に、焦点外れのぼやけについて詳細を説明する。
【００４５】
図５（ａ）は、結像レンズによる焦点が合っている場合の光線図であり、図５（ｂ）は、焦点が外れている場合の光線図である。図５（ａ）の例では、レンズから距離Ａだけ離れた点Ｓが、レンズから距離Ｂだけ離れた撮像面上に点ｓの像を形成している。
【００４６】
図５（ａ）では、距離Ｂはレンズの焦点距離Ｃに一致している。一方、図５（ｂ）では、距離Ｂはレンズの焦点距離Ｃに一致していないため、撮像面上における像はぼやけており、その輝度分布は直径ｂの広がりを有している。
【００４７】
ぼやけの広がりの大きさ（直径ｂ）は、以下の式１０で近似的に示すことができる。
【数１０】
【００４８】
ここで、γはレンズの開口径である。
【００４９】
式１０からわかるように、ｂの大きさは、撮像時におけるレンズと被写体との距離Ａ、レンズと撮像面との距離Ｂ、焦点距離Ｃ、レンズ開口径γに依存して変化し得る。
【００５０】
撮像面上における点像の輝度分布は、焦点外れのぼやけを示す点拡がり関数ＰＳＦに応じて、例えばピルボックス関数またはガウス関数で近似的に表現することができる。
【００５１】
この点拡がり関数ＰＳＦをピルボックス関数で近似した場合、ＰＳＦすなわちｆ2（ｘ，ｙ）は、以下の式１１で表される。
【数１１】
【００５２】
ここで、ｃｉｒｃ（Ｘ）は、Ｘの絶対値が１／２以下のときに１の値を持ち、それ以外は０の値を持つ円形関数である。一方、焦点外れによるぼやけの点広がり関数ＰＳＦをガウス関数で近似した場合、ｆ2（ｘ，ｙ）は、以下の式１２で表される。
【数１２】
【００５３】
σは、ガウス分布の標準偏差であり、例えば、点像のぼやけの広がり（半径ｂ／２）程度の値と置くことができる。このように、焦点外れによるぼやけのＰＳＦ、すなわちｆ2（ｘ，ｙ）は、図５（ｂ）に示す撮像面上の像から測定によって求めることができる。なお、点拡がり関数ＰＳＦは、結像レンズの収差が小さいほど、ピルボックス関数で良く近似することができる。
【００５４】
ピルボックス関数のフーリエ変換は０次の第１種ベッセル関数Ｊ0であり、ガウス関数のフーリエ変換はガウス関数である。このような関数Ｆ2（ｕ，ｖ）は、いずれも、（ｕ，ｖ）＝（０，０）で最大となり、低周波数領域で相対的に大きな値を有している。また、ベッセル関数は特定の周波数でゼロとなるが、ガウス関数はゼロにならない。このため、低周波数領域において、Ｆ1（ｕ，ｖ）およびＦ2（ｕ，ｖ）が同一周波数でゼロにならず、Ｆ1（ｕ，ｖ）＋Ｆ2（ｕ，ｖ）はゼロ以外の値を有している。
【００５５】
以上の説明から明らかなように、本発明によれば、少なくとも低周波数領域で式９の分母がゼロにならないようできる。その結果、画像の「平坦部」におけるリンギングノイズを低減し、それによって、リンギングが目立たない高質な画像の復元を実現できる。
【００５６】
図６は、本発明による撮像素子における撮像部の構成を模式的に示す図である。本実施形態では、被写体からの光が分光部６０により、２つに分離される。分光部６０は、レンズと、レンズを透過した光を２方向に分離する光スプリッタとを備えている。分光部６０を透過した光の一方は第１撮像素子１０Ａに入射し、他方は第２撮像素子１０Ｂに入射する。撮像素子１０Ａおよび撮像素子１０Ｂの一方は、レンズの焦点が合う位置に配置され、他方はレンズの焦点が外れる位置に配置される。このような配置は、例えば、レンズから第１撮像素子１０Ａまでの光学的な距離と、レンズから第２撮像素子１０Ｂまでの光学的な距離とを異なる値に設定することにより実現される。光学的な距離を異ならせる典型的な配置は、物理的な距離を変化させることで実現されるが、本発明は、そのような場合に限定されない。
【００５７】
図７（ａ）は、レンズ２０を透過した光を光スプリッタ４０で２方向に分離する構成例を示す図である。この構成例では、レンズ２０から第１撮像素子１０Ａまでの距離が、レンズ２０から第２撮像素子１０Ｂまでの距離よりも長い。また、図７（ｂ）は、他の構成例を示す図である。この構成例では、レンズ２０から第１撮像素子１０Ａまでの距離と、レンズ２０から第２撮像素子１０Ｂまでの距離とは等しい。しかし、レンズ２０と第１撮像素子１０Ａとの間に空気の屈折率とは異なる屈折率を有する透明材料からなる光学素子４５が挿入されている。このような光学素子４５の介在により、レンズ２０から第１撮像素子１０Ａまでの光学的な距離と、レンズ２０から第２撮像素子１０Ｂまでの光学的な距離とが異なるため、第１撮像素子１０Ａと第２撮像素子１０Ｂとの間で合焦状態を変化させることができる。光路上に挿入する光学素子は、撮像素子１０Ａ、１０Ｂの撮像面上における合焦状態に差異を形成できればよく、凹レンズ形状、凸レンズ形状、もしくは平板形状、または、これらを複合した形状のいずれを有していても良い。
【００５８】
図７（ｃ）は、更に他の構成例を示す図である。この構成例では、光スプリッタ４０で２方向に分離された光が、それぞれ、異なるレンズ２０Ａ、２０Ｂによって集光される。レンズ２０Ａ、２０Ｂが同一の焦点距離を有する場合、レンズ２０Ａから第１撮像素子１０Ａまでの距離とレンズ２０Ｂから第２撮像素子１０Ｂまでの距離が異なるように構成される。なお、レンズ２０Ａとレンズ２０Ｂとの間で焦点距離などのレンズ特性を変化させても良い。このような構成を採用する場合でも、予め種々の撮影条件の下で意図的に第２撮像素子１０Ｂで発生させる焦点外れのぼやけを規定する点拡がり関数を求めておくことができる。
【００５９】
このように、本発明の好ましい実施形態によれば、２つの撮像素子１０Ａ、１０Ｂの一方からは焦点の合った画像の信号を取得し、他方からは焦点が外れた画像の信号を取得する。そして、それらの信号を合算することにより、劣化画像の信号を生成する。こうして得られた劣化画像について、復元処理を実行すれば、リンギングの発生を抑制することが可能なる。
【００６０】
以下、本発明による撮像装置の実施形態を説明する。
【００６１】
図８は、本実施形態における撮像装置の概略構成を示すブロック図である。
【００６２】
本実施形態の撮像装置は、デジタル式の電子カメラであるが、これに限定されない。本実施形態の撮像装置は、図８に例示するように、撮像部１００と、各種信号処理を行う信号処理部２００と、撮像によって取得した画像を表示する撮像表示部３００と、画像のデータを記録する記録部４００と、各部を制御するシステム制御部５００とを備える。本実施形態の撮像装置が公知の撮像装置と異なる主な点は、撮像部１００の構成および信号処理部２００の動作にある。したがって、以下の説明では、主として撮像部１００および信号処理部２００を詳しく説明する。
【００６３】
本実施形態における撮像部１００は、撮影レンズ２０と、絞り機能を有するシャッタ１５と、撮影レンズ２０を透過した光を２つに分離する光スプリッタ４０と、光スプリッタ４０によって分離された光を受け取る２つの撮像素子１０Ａ、１０Ｂとを有している。撮像素子１０Ａ、１０Ｂは、撮像面上に配列された複数の光感知セル（フォトダイオード）を備えている。撮像素子１０Ａ、１０Ｂの典型例は、ＣＣＤまたはＣＭＯＳセンサである。撮影レンズ２０は、公知の構成を有しており、現実には複数のレンズから構成されたレンズユニットであり得る。シャッタ１５および撮影レンズ２０は、不図示の機構によって駆動され、光学ズーミング、自動露光（ＡＥ：Ａｕｔｏ Ｅｘｐｏｓｕｒｅ），オートフォーカス（ＡＦ：Ａｕｔｏ Ｆｏｃｕｓ）に必要な動作が実行される。
【００６４】
更に、撮像部１００は、撮像素子１０Ａ、１０Ｂを駆動する撮像素子駆動部３０を備えている。撮像素子駆動部３０は、例えばＣＣＤドライバなどの半導体集積回路から構成され得る。撮像素子駆動部３０は、撮像素子１０Ａ、１０Ｂを駆動することにより、撮像素子１０Ａ、１０Ｂからアナログ信号（光電変換信号）を読み出してデジタル信号に変換する。本実施形態によれば、光スプリッタ４０の働きにより、同一被写体の像が撮像素子１０Ａ、１０Ｂによって同時に取得され得るが、一方の撮像素子１０Ａでは焦点のあった状態で撮像が行われ、他方の撮像素子１０Ｂでは焦点外れのある状態で撮像が行われる。このため、撮像素子駆動部３０は、２つの撮像素子１０Ａ、１０Ｂの両方から光電変換信号を読み出し、それらを加算することにより得られた画像信号を生成する。このような画像信号によって表現される画像は、意図的に形成された焦点外れによるぼやけを含む劣化画像である。信号処理部２００には、この劣化画像のデータが入力される。
【００６５】
なお、本実施形態では、撮影レンズ２０から第１撮像素子１０Ａまでの実際の距離と、撮影レンズ２０から第２撮像素子１０Ｂまでの実際の距離との差異が固定されており、第１撮像素子１０Ａで焦点が合っているときに、第２撮像素子１０Ｂで生じる焦点外れによるぼやけを規定する点拡がり関数は既知である。この点拡がり関数は、撮影レンズ２０の焦点距離や絞りの開口径などの撮影パラメータに応じて既存のテーブルなどから求められ得る。
【００６６】
本実施形態における信号処理部２００は、画像処理部（イメージプロセッサ）２２０、メモリ２４０、およびインターフェース（ＩＦ）部２６０を備えている。信号処理部２００は、液晶表示パネルなどの表示部３００、および、メモリカードなどの記録媒体４００に接続されている。
【００６７】
画像処理部２２０は、色調補正、解像度変更、データ圧縮などの各種信号処理を行うほか、本発明による劣化画像の復元処理を実行する。画像処理部２２０は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像処理を実行するためのソフトウェアとの組合せによって好適に実現される。メモリ２４０は、ＤＲＡＭなどによって構成される。このメモリ２４０は、撮像部１００から得られた画像データを記録するとともに、画像処理部２２０によって各種の画像処理を受けた画像データや、圧縮された画像データを一時的に記録する。画像データは、アナログ信号に変換された後、表示部３００によって表示され、あるいは、デジタル信号のままインターフェース部２６０を介して記録媒体４００に記録される。画像データは、不図示の通信装置を介して、無線または有線で他の装置（不図示）に送信されてもよい。
【００６８】
なお、使用者が被写体にカメラを向けているときｆ、表示部３００に第１撮像素子１０Ａによって取得される画像が表示されることが好ましい。これにより、使用者は焦点外れによるぼやけの無い画像を見ながら撮影を行うことができる。
【００６９】
上記の構成要素は、不図示の中央演算処理ユニット（ＣＰＵ）およびフラッシュメモリを含むシステム制御部５００によって制御される。なお、本実施形態の撮像装置は、光学ファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。
【００７０】
上述したように、本実施形態の撮像素子１００によれば、焦点の合った像を撮像素子１０Ａの撮像面上に形成するとともに、焦点を意図的に外した像を撮像素子１０Ｂに形成することができる。なお、撮像素子１０Ａの撮像面上に焦点の合った像は、通常のオートフォーカス技術により、容易に形成される。
【００７１】
意図的に焦点を外した状態で撮像を行うとき、露光中の手振れによって画像にブレ（ｍｏｔｉｏｎ ｂｌｕｒ）が発生したと仮定する。このようにして得られた画像のぼやけの点拡がり関数ＰＳＦは、前述したように、ｆ1（ｘ，ｙ）およびｆ2（ｘ，ｙ）を足し合わせたものである。
【００７２】
次に、焦点外れによるぼやけのＰＳＦ、すなわち、ｆ2（ｘ，ｙ）の求め方を説明する。
【００７３】
まず、図９（ａ）に示すように背景が黒く、小さな輝点を中心に有するパターンを撮影する。このとき、第１撮像素子１０Ａでは、図９（ｂ）に示すように、焦点の合った像が形成される。一方、第２撮像素子１０Ｂでは、図９（ｃ）に示すように、焦点が外れた像が形成される。
【００７４】
焦点外れによるぼやけのＰＳＦを、円柱状に点が広がるピルボックス関数で近似する場合、撮像面における点像の広がり（直径ｂ）が円柱の直径に相当する。このため、点像の広がりを測定すれば、焦点外れのぼやけを示すＰＳＦ（ピルボックス関数）を決定することができる。点像の広がりは、撮像面における画素数で表現することができ、撮像素子によって容易に検出することができる。
【００７５】
なお、レンズの形状によっては、収差などにより、点像の面内輝度がガウス分布を示す場合がある。そのような場合は、焦点外れによるぼやけのＰＳＦをガウス関数で近似することが好ましい。撮像面上に広がった点像の輝度分布は、撮像素子によって測定されるため、その輝度分布から、対応するガウス関数のσを決定することができる。
【００７６】
このようにして焦点外れのぼやけを規定するＰＳＦ（ｆ2（ｘ，ｙ））が予め測定によって決定され、撮像装置が内蔵するメモリのテーブルなどに格納される。このＰＳＦ（ｆ2（ｘ，ｙ））は、撮影レンズ２０の焦点距離や絞りの開口径などの撮影パラメータにも依存する。すなわち、被写体までの距離が変わると撮影レンズ２０の焦点距離が変化し、また、開口径が変わると被写界深度が変化する。したがって、撮影パラメータの値の可能な組み言わせに関連付けて、多数のＰＳＦ（ｆ2（ｘ，ｙ））を測定し、メモリに記録させておくことが好ましい。そうすることにより、現実の撮影時において、撮影パラメータに応じた焦点外れのＰＳＦ（ｆ2（ｘ，ｙ））を求めることができる。
【００７７】
次に、ユーザが本実施形態の撮像装置によって撮像を行うときの動作を説明する。
【００７８】
まず、通常のデジタルカメラによる撮像を行うように、ユーザは被写体に撮像装置を向け、シャッタボタンを半押しすると、第１撮像素子１０Ａで焦点の合った像が形成されるように、自動焦点動作により被写体に焦点が合う。このとき、第１撮像素子１０Ａの撮像面には焦点の合った像が形成されるが、第２撮像素子１０Ｂの撮像面には焦点外れによってぼやけの発生した像が形成される。
【００７９】
次に、ユーザがシャッタボタンを深く押し込むと、撮像素子１０Ａ、１０Ｂの「露光」が開始される。露光中にユーザによって撮像装置が不安定に動いた場合、撮像素子１０Ａ、１０Ｂの撮像面上を像が移動するため、いずれの像にも手振れによるぼやけが加算されることになる。
【００８０】
信号処理部２００は、撮像部１００によって取得された信号を受け取る。こうして得られた画像は、式７の左辺にあるｉ（ｘ、ｙ）で表される劣化画像である。本実施形態におけるｉ（ｘ、ｙ）は、撮像素子１０Ａ、１０Ｂから出力される画像信号を加算することにより得られる。撮像素子１０Ａ、１０Ｂから出力は、単純に加算されてもよいが、一方の出力と他方の出力とに異なる重み付けをした上で加算されてもよい。このような重み付けは、撮像素子１０Ａ、１０Ｂのサイズ、解像度、画素数、および開口率の少なくとも何れかが異なる場合や、撮像素子１０Ａ、１０Ｂに入射する光の強さが異なる場合には、好適に実行され得る。
【００８１】
信号処理部２００における画像処理部２２０は、ｉ（ｘ、ｙ）からｓ（ｘ，ｙ）を復元するための処理を行う。この復元処理のアルゴリズムは、特に限定されず、公知の画像復元処理のいずれであってもよい。
【００８２】
以下、図１０および図１１を参照しながら、本実施形態で実行し得る復元処理の一例を説明する。図１０は、図８に示す画像処理部２２０の構成例を示すブロックであり、図１１は、復元処理の例を示すフローチャートである。
【００８３】
まず、図１０を参照する。図１０に示す画像処理部２２０は、初期ＰＳＦ設定部２２２、画像復元部２２４、ＰＳＦ設定部２２６、およびパラメータ更新部２２８を備え、劣化画像の入力を得て復元結果を出力する。初期ＰＳＦ推定部２２２は、画像復元部２２４による処理に必要な初期ＰＳＦを設定する。この初期ＰＳＦは、カメラの運動（軌跡）をジャイロセンサなどのセンサによって検出し、その軌跡に基づいて決定しても良いし、使用者が手動で入力してもよい。なお、画像処理に要する時間を短縮するという観点から、初期ＰＳＦは真のＰＳＦに近いことが好ましい。このため、センサによって検出したカメラの軌跡から定まるＰＳＦに対して焦点外れのＰＳＦを加算したＰＳＦを初期ＰＳＦに設定することが好ましい。
【００８４】
画像復元部２２４は、初期ＰＳＦに基づいて劣化画像から復元画像を得る。ＰＳＦ推定部２２６は、劣化画像、および、画像復元部２２４で得た復元画像に基づいてＰＳＦの推定を行う。パラメータ更新部２２８は、ＰＳＦ推定部２２６によって得られたＰＳＦ（推定されたＰＳＦ）で初期ＰＳＦ（前回の画像復元に用いたＰＳＦ）を更新する。更新されたＰＳＦは、画像復元部２２４に与えられ、上記の処理が繰り返し実行される。
【００８５】
図１０に示す構成は、画像処理部２２０の機能ブロックの例であり、画像処理部２２０は、他の機能ブロックに分割され得る。画像処理部２２０は、例えば公知のハードウェアに画像処理のソフトウェアを組み込むことによっても好適に実現される。
【００８６】
次に、図１１を参照しながら復元処理の概略手順を説明する。
【００８７】
まず、ステップＳ１において、劣化画像の読み出しを行う。具体的には、復元処理のベースとなる劣化画像を、画像処理部２２０が図８のメモリ２４０から取得する。劣化画像は、図８の撮像部１００によって取得された画像であり、本実施形態では、意図的な焦点外れによるぼやけが付与されている。一般には、使用者による撮像部１００の振れ（運動）により、手振れによるぼやけ（ブレ）も劣化画像に付与される。
【００８８】
ステップＳ２において、初期ＰＳＦ設定部２２２は初期ＰＳＦを設定する。ステップＳ３において、画像復元部２２４は、ステップＳ１で取得した劣化画像とステップＳ２で設定した初期ＰＳＦとを用いて画像復元処理を実行する。この画像復元処理は、図１０の画像復元部２２４において、公知の復元アルゴリズムによって実行することができる。画像復元部２２４は、得られた復元画像をいったんメモリ２４０に記録する。ステップＳ４では、ＰＳＦ推定部２２６が復元画像からＰＳＦの推定を行い、パラメータ更新部２２８が、推定されたＰＳＦによって前のＰＳＦを更新する。
【００８９】
ステップＳ５において、更新前後のＰＳＦ、および、更新前後の復元画像の変化が所定の閾値よりも小さいか否かを判定し、小さい場合は処理が収束したと判断する。ステップＳ６では、復元結果をメモリ２４０に格納する。
【００９０】
以下、ステップＳ２〜Ｓ３で行うＰＳＦ推定および画像復元の詳細を説明する。
【００９１】
ここでは、非特許文献１に開示されている信号処理法による場合を説明する。非特許文献１の信号処理法による場合、まず初期ＰＳＦを与える必要がある。この初期ＰＳＦは、手動あるいは、手振れ検知装置（ジャイロセンサなどの外部デバイス）によって与えられる。この初期ＰＳＦに基づいて、第１の画像復元が行われる。この段階のＰＳＦは、必ずしも真のＰＳＦ（正解）に一致しているものではないが、復元される結果は、劣化画像に比べると原画像に近づいたものとなる。
【００９２】
続いて、第１の画像復元の結果である第１の復元画像からＰＳＦの推定を行う。第１の復元画像が劣化画像よりも原画像に近づいているため、推定されるＰＳＦは正解に近づく。ここで推定したＰＳＦを用いて、すなわち、初期ＰＳＦを次のＰＳＦで更新して、第２の画像復元を行う。この処理をＰＳＦの変化、および、画像復元結果の変化がなくなるまで繰り返し行うことにより、ＰＳＦ推定と画像復元を同時に行う。
【００９３】
以下、画像復元処理の更に具体的な方法を述べる。
【００９４】
まず、画像復元に先立って、初期ＰＳＦ設定部２２２により、初期ＰＳＦを与える。非特許文献１に開示されている方法では、初期ＰＳＦを手動で与えているが、本実施形態では、ジャイロセンサによって取得した動き情報に基づいてＰＳＦの初期値を設定する。
【００９５】
画像復元部２２４は、与えられたＰＳＦ（最初は初期値、次からは更新値）と劣化画像により、画像の復元を行う。この処理に使用する評価式ＥLを式１３に示す。
【数１３】
【００９６】
ここで、Ｉは劣化画像、Ｌはブレおよびぼやけのない画像Ｌ、ｆは点拡がり関数ＰＳＦである。変数ｗｋ、λ１、λ２は手動で設定される「重み」である。Θは、どのような微分を画像に施すかを規定する演算子のセットである。具体的には、０回微分、１回微分（ｘ、ｙ方向それぞれ）、２回微分（ｘ方向に二回、ｙ方向に二回、ｘとｙ方向に１回ずつ）の合計６個の微分パラメータを持つ。ｄ*は、微分演算子である。ｄ*を用いてΘを表現すると、Θ＝｛ｄ0、ｄx、ｄy、ｄxx、ｄxy、ｄyy｝となる。ｄ*により、輝度情報とエッジ情報の両方を用いた処理を行うことが可能になり、輝度だけでは得られない情報も得ることができる。Ｍは、２次元のマスクであり、画像中の平坦な領域、すなわち局所的なスムーズな領域（Ω）に含まれる画素では「１」の要素、それ以外の画素では「０」の要素を有している。||・||pは、ｐノルム演算子である。Φ（ｘ）は、自然に観察される画像中の輝度勾配ｘとその分布密度（対数表示）との関係を近似的に示す関数である。
【００９７】
式１３の右辺における第１項は、復元画像Ｌと点拡がり関数ｆとの畳み込みを行って得られる画像と劣化画像Ｉとの差（距離）を示す項である。画像に対して６個の微分パラメータによる演算を施すことにより、輝度以外の情報に基づいて画像の近似度を評価できる。
【００９８】
式１３の右辺における第２項は、画像内の輝度勾配の性質（「ｈｅａｖｙ ｔａｉｌ」と呼ばれる）を示す項である。Φ（ｄxＬ）、Φ（ｄyＬ）は、復元画像の輝度勾配をヒストグラム化したときに、勾配が０付近に出現確率の急激なピークが現れ、勾配が大きくなるにつれ出現確率が小さくなるという、統計的性質を持つ。第２項では、ｘ方向の勾配とｙ方向の勾配のそれぞれに対して、上記の統計的性質を示す分布からの距離を算出している。この統計的性質は、非特許文献３〜５に開示されている方法でも利用されている。
【００９９】
式１３の右辺における第３項は、マスクＭと微分劣化画像と微分復元画像を用いて、平坦度の評価を行う項である。平坦な領域では、劣化画像と復元画像との間で輝度の勾配値が近い値を持つ。そのため、ｘ、ｙ方向の勾配値の誤差を評価値として用いる。
【０１００】
式１３の右辺を最小化するＬを求めることにより、復元画像Ｌを求めることができる（Ｌの最適化）。Ｌの最適化の具体的な計算方法は、非特許文献１に開示されている。
【０１０１】
次に、復元画像Ｌが得られた後に行う、ＰＳＦ推定部２２６による処理を詳しく説明する。
【０１０２】
ＰＳＦ推定は、画像復元部２２４で得られた復元画像Ｌと劣化画像Ｉとを用いて点拡がり関数ｆを推定する問題である。ｆは、以下の式１４の右辺を最小化するようにｆを決定することにより、点拡がり関数ｆを求めることができる（ｆの最適化）。
【数１４】
【０１０３】
式１４の右辺における第１項は、式１３の右辺における第１項に相当し、復元画像Ｌと点拡がり関数ｆとの畳み込みが劣化画像Ｉに近いか否かを示す評価基準を与える。式１４の右辺における第２項は、点拡がり関数ｆの１ノルムである。第２項は、スパースコーディングと呼ばれる考え方に基づく項である。点拡がり関数ｆの行例における大部分の要素が０（動きがない）であることから、この最適化項が用いられる。本実施形態では、非特許文献１と同様に「ｉｎｔｅｒｉｏｒ ｐｏｉｎｔ ｍｅｔｈｏｄ」による最適化を行い、全体最適化を実現できる。
【０１０４】
なお、画像復元の手順は、上記の例に限定されない。例えば、リチャードソンルーシ（ＬＲ）法やウィーナフィルタ法を用いても良い。
【０１０５】
本実施形態における画像復元で重要な点は、意図的に与える焦点はずれによるぼやけの点拡がり関数ＰＳＦを既知とすることにある。動きの情報は、ジャイロセンサによって取得できるため、焦点はずれが生じても、その点拡がり関数ＰＳＦが既知であれば、ＬＲ法などの従来から知られている簡便な手法を適用して画像の復元を実現することできる。このため、信号処理にかかる負担を軽減させることが可能になる。
【０１０６】
本実施形態では、手振れによるぼやけを規定するＰＳＦをも推定の対象とするブラインド・デコンボリューションによって画像の復元を行ったが、本発明はこれに限定されない。撮像装置に取り付けられたジャイロセンサによって「手振れ軌跡」を高い精度で検出できれば、検出した手振れ軌跡に基づいて得られたＰＳＦを画像復元処理のための単なる初期値として用いるだけではなく、手触れによるぼやけを規定する最終的なＰＳＦとして用いても良い。この場合、焦点外れによるぼやけを規定するＰＳＦも既知であり、ぼやけの点拡がり関数がすべて既知となるため、推定すべきは復元画像のみとなる。
【０１０７】
このように本実施形態によれば、復元方法の種類によらず、劣化画像に意図的な焦点外れによるぼやけが付加されるため、手振れによるぼやけ（ブレ）で劣化した画像を復元した場合でも、画像の平坦部でリンギングが目立たないという効果が得られる。
【０１０８】
上記の実施形態では、第１撮像素子１０Ａに焦点が合っているとき、第２撮像素子１０Ｂに生じる焦点外れのぼやけを規定する点拡がり関数が既知である。しかし、本発明は、このような場合に限定されない。焦点外れのぼやけを既定する点拡がり関数が既知の場合は、精度よくブレとボケの復元が可能になる。
【０１０９】
なお、２つの撮像素子１０Ａ、１０Ｂで取得された画像のどちらにも焦点外れによるぼやけが発生していることが有り得る。このような場合でも、合成された劣化画像のぼやけ全体を規定するＰＳＦを推定して復元画像を得ることは可能である。２つの撮像素子１０Ａ、１０Ｂから得られる合成画像でピントが合っている必要がないため、ピント調整が不要であるという利点がある。例えば、奥行きのある風景を撮影対象とする場合、被写体に必ずしも焦点が合うわけではない。このような場合でも、本発明は有効である。本発明の好ましい実施形態において、２つの撮像素子１０Ａ、１０Ｂの両方で焦点外れが生じる場合、各々の焦点外れによるぼやけを規定する点拡がり関数は相互に異なる関数となる。この場合、焦点はずれによるぼやけを規定する２つの点拡がり関数のフーリエ変換がともに特定の空間周波数で零になることはない。このため、２つの撮像素子１０Ａ、１０Ｂの両方で焦点外れを生じさせることにより、リンギング抑制の効果が更に高められる。
【０１１０】
第１撮像素子１０Ａと第２撮像素子１０Ｂとは、同じ解像度を有する必要は無い。例えば、片方の解像度が小さい場合は、超解像技術（例えば魏，田中，奥富； 実時間動画像超解像処理システム第15回画像センシングシンポジウム（SSII2009）講演論文集, pp.DS2-01-1-１, 2009）により、一方の画像の解像度を高めることができる。異なる解像度の画像を同一解像度に復元した後に、上記の処理により、ブレとボケを低減するための画像復元を行ってもよい。
【０１１１】
また、本発明が備える撮像素子の個数は、２個に限定されず、３個以上であってもよい。
【産業上の利用可能性】
【０１１２】
本発明の撮像装置は、平坦部でリンギングの少ない画像を復元できるため、電子スチルカメラなどとして利用可能である。
【符号の説明】
【０１１３】
１０Ａ 第１撮像素子
１０Ｂ 第２撮像素子
１５ 絞り機能を有するシャッタ
２０ 撮影レンズ
３０ 撮像素子駆動部
４０ 光スプリッタ
４５ 光学素子
６０ 分光部
１００ 撮像部
２００ 信号処理部
２２０ 画像処理部
２２２ 初期ＰＳＦ設定部
２２４ 画像復元部
２２６ ＰＳＦ推定部
２２８ パラメータ更新部
２４０ メモリ
２６０ インターフェース（ＩＦ）
３００ 表示部
４００ 記録媒体
５００ システム制御部
【特許請求の範囲】
【請求項１】
第１撮像素子および第２撮像素子と、
前記第１撮像素子の撮像面上に焦点が合っている第１の像を形成し、かつ、前記第２撮像素子の撮像面上に焦点が外れた第２の像を形成し得る光学系と、
前記第１撮像素子および前記第２撮像素子から得られる信号を処理する画像処理部と、
を備え、
前記画像処理部は、
前記第１撮像素子および第２撮像素子によって取得された画像から、手振れによるぼやけおよび焦点外れによるぼやけを減少させた復元画像を生成する、撮像装置。
【請求項２】
前記第２撮像素子における焦点外れによるぼやけを規定する点広がり関数を記録するメモリを備え、
前記画像処理部は、撮像時における焦点外れによるぼやけを規定する点広がり関数を前記メモリから読み出し、復元画像の生成に用いる、請求項１に記載の撮像装置。
【請求項３】
前記光学系は、
結像レンズと、
前記結像レンズを透過した光を２方向に分離する光スプリッタとを有しており、
分離された一方の光を前記第１撮像素子に入射し、かつ、分離された他方の光を前記第２撮像素子に入射する、請求項１または２に記載の撮像装置。
【請求項４】
前記結像レンズから前記第１撮像素子までの光学的な距離は、前記結像レンズから前記第２撮像素子までの光学的な距離とは異なっている、請求項３に記載の撮像装置。
【請求項５】
前記光学系は、
入射光を２方向に分離する光スプリッタと、
分離された一方の光を前記第１撮像素子上に集光する第１結像レンズと、
分離された他方の光を前記第２撮像素子上に集光する第２結像レンズと
を有している、請求項１または２に記載の撮像装置。
【請求項６】
表示部を更に備え、
前記第１撮像素子によって取得された画像を前記表示部に表示する、請求項１から４のいずれかに記載の撮像装置。
【請求項７】
第１撮像素子および第２撮像素子と、前記第１撮像素子の撮像面上に焦点が合っている第１の像を形成し、かつ、前記第２撮像素子の撮像面上に焦点が外れた第２の像を形成する光学系と、前記第１撮像素子および前記第２撮像素子から得られる信号を処理する画像処理部とを備える撮像装置の動作を制御するプログラムであって、
前記光学系により、前記第１撮像素子の撮像面上に焦点が合っている第１の像を形成させるとともに、前記第２撮像素子の撮像面上に焦点が合っていない第２の像を形成させるステップと、
前記画像処理部により、前記第１撮像素子および前記第２撮像素子によって取得された画像から、手振れによるぼやけおよび焦点外れによるぼやけを減少させた復元画像を生成するステップと
を実行するプログラム。
【請求項８】
第１撮像素子および第２撮像素子と、前記第１撮像素子の撮像面上に焦点が合っている第１の像を形成し、かつ、前記第２撮像素子の撮像面上に焦点が外れた第２の像を形成する光学系と、前記第１撮像素子および前記第２撮像素子から得られる信号を処理する画像処理部とを備える撮像装置における画像処理方法であって、
前記光学系により、前記第１撮像素子の撮像面上に焦点が合っている第１の像を形成させるとともに、前記第２撮像素子の撮像面上に焦点が合っていない第２の像を形成させるステップと、
前記画像処理部により、前記第１撮像素子および前記第２撮像素子によって取得された画像から、手振れによるぼやけおよび焦点外れによるぼやけを減少させた復元画像を生成するステップと
を含む、画像処理方法。
【請求項９】
第１撮像素子および第２撮像素子と、前記第１撮像素子の撮像面上に焦点が合っている第１の像を形成し、かつ、前記第２撮像素子の撮像面上に焦点が外れた第２の像を形成する光学系と、前記第１撮像素子および前記第２撮像素子から得られる信号を処理する画像処理部とを備える撮像装置における画像処理方法であって、
前記光学系により、前記第１撮像素子の撮像面上に焦点が合っていない第１の像を形成させるとともに、前記第２撮像面上にも焦点が合っていない第２の像を形成させるステップと、
前記画像処理部により、前記第１撮像素子および前記第２撮像素子によって取得された画像から、手振れによるぼやけおよび焦点外れによるぼやけを減少させた復元画像を生成するステップと
を含む、画像処理方法。
【請求項１】
第１撮像素子および第２撮像素子と、
前記第１撮像素子の撮像面上に焦点が合っている第１の像を形成し、かつ、前記第２撮像素子の撮像面上に焦点が外れた第２の像を形成し得る光学系と、
前記第１撮像素子および前記第２撮像素子から得られる信号を処理する画像処理部と、
を備え、
前記画像処理部は、
前記第１撮像素子および第２撮像素子によって取得された画像から、手振れによるぼやけおよび焦点外れによるぼやけを減少させた復元画像を生成する、撮像装置。
【請求項２】
前記第２撮像素子における焦点外れによるぼやけを規定する点広がり関数を記録するメモリを備え、
前記画像処理部は、撮像時における焦点外れによるぼやけを規定する点広がり関数を前記メモリから読み出し、復元画像の生成に用いる、請求項１に記載の撮像装置。
【請求項３】
前記光学系は、
結像レンズと、
前記結像レンズを透過した光を２方向に分離する光スプリッタとを有しており、
分離された一方の光を前記第１撮像素子に入射し、かつ、分離された他方の光を前記第２撮像素子に入射する、請求項１または２に記載の撮像装置。
【請求項４】
前記結像レンズから前記第１撮像素子までの光学的な距離は、前記結像レンズから前記第２撮像素子までの光学的な距離とは異なっている、請求項３に記載の撮像装置。
【請求項５】
前記光学系は、
入射光を２方向に分離する光スプリッタと、
分離された一方の光を前記第１撮像素子上に集光する第１結像レンズと、
分離された他方の光を前記第２撮像素子上に集光する第２結像レンズと
を有している、請求項１または２に記載の撮像装置。
【請求項６】
表示部を更に備え、
前記第１撮像素子によって取得された画像を前記表示部に表示する、請求項１から４のいずれかに記載の撮像装置。
【請求項７】
第１撮像素子および第２撮像素子と、前記第１撮像素子の撮像面上に焦点が合っている第１の像を形成し、かつ、前記第２撮像素子の撮像面上に焦点が外れた第２の像を形成する光学系と、前記第１撮像素子および前記第２撮像素子から得られる信号を処理する画像処理部とを備える撮像装置の動作を制御するプログラムであって、
前記光学系により、前記第１撮像素子の撮像面上に焦点が合っている第１の像を形成させるとともに、前記第２撮像素子の撮像面上に焦点が合っていない第２の像を形成させるステップと、
前記画像処理部により、前記第１撮像素子および前記第２撮像素子によって取得された画像から、手振れによるぼやけおよび焦点外れによるぼやけを減少させた復元画像を生成するステップと
を実行するプログラム。
【請求項８】
第１撮像素子および第２撮像素子と、前記第１撮像素子の撮像面上に焦点が合っている第１の像を形成し、かつ、前記第２撮像素子の撮像面上に焦点が外れた第２の像を形成する光学系と、前記第１撮像素子および前記第２撮像素子から得られる信号を処理する画像処理部とを備える撮像装置における画像処理方法であって、
前記光学系により、前記第１撮像素子の撮像面上に焦点が合っている第１の像を形成させるとともに、前記第２撮像素子の撮像面上に焦点が合っていない第２の像を形成させるステップと、
前記画像処理部により、前記第１撮像素子および前記第２撮像素子によって取得された画像から、手振れによるぼやけおよび焦点外れによるぼやけを減少させた復元画像を生成するステップと
を含む、画像処理方法。
【請求項９】
第１撮像素子および第２撮像素子と、前記第１撮像素子の撮像面上に焦点が合っている第１の像を形成し、かつ、前記第２撮像素子の撮像面上に焦点が外れた第２の像を形成する光学系と、前記第１撮像素子および前記第２撮像素子から得られる信号を処理する画像処理部とを備える撮像装置における画像処理方法であって、
前記光学系により、前記第１撮像素子の撮像面上に焦点が合っていない第１の像を形成させるとともに、前記第２撮像面上にも焦点が合っていない第２の像を形成させるステップと、
前記画像処理部により、前記第１撮像素子および前記第２撮像素子によって取得された画像から、手振れによるぼやけおよび焦点外れによるぼやけを減少させた復元画像を生成するステップと
を含む、画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−１６６５８８（Ｐ２０１１−１６６５８８Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１０−２９０３９（Ｐ２０１０−２９０３９）
【出願日】平成２２年２月１２日（２０１０．２．１２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２２年２月１２日（２０１０．２．１２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]