画像処理方法、画像処理装置、撮像装置および画像処理プログラム
【課題】撮影光学系およびマイクロレンズアレイで発生する収差の影響を十分に低減して、良好な精度で再構成画像を生成する。
【解決手段】画像処理方法は、撮影光学系１０１からの光を光学素子アレイ１０１ｃを通して撮像素子１０２に導く撮像装置を用いて生成された第１の画像から第２の画像を生成する。該方法は、第１の画像および該第１の画像を生成した際の撮像装置における撮影条件に関する情報を得るステップＳ１１，Ｓ１２と、撮影条件に関する情報と撮影光学系および光学素子アレイのそれぞれの光学伝達関数とに応じた画像回復フィルタＳ１２を得るステップと、画像回復フィルタを用いて第１の画像に対して画像回復処理を行うステップＳ１３と、画像回復処理が行われた第１の画像から第２の画像を生成するステップＳ１４とを有する。
【解決手段】画像処理方法は、撮影光学系１０１からの光を光学素子アレイ１０１ｃを通して撮像素子１０２に導く撮像装置を用いて生成された第１の画像から第２の画像を生成する。該方法は、第１の画像および該第１の画像を生成した際の撮像装置における撮影条件に関する情報を得るステップＳ１１，Ｓ１２と、撮影条件に関する情報と撮影光学系および光学素子アレイのそれぞれの光学伝達関数とに応じた画像回復フィルタＳ１２を得るステップと、画像回復フィルタを用いて第１の画像に対して画像回復処理を行うステップＳ１３と、画像回復処理が行われた第１の画像から第２の画像を生成するステップＳ１４とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影光学系からの光を、マイクロレンズアレイ等の光学素子アレイを通して撮像素子に導く撮像装置により撮影された画像から新たな画像を生成する画像処理技術に関する。
【背景技術】
【０００２】
撮影により生成されたデジタル画像を用いて、様々な画像を再構成して出力する方法が各種提案されている。例えば、非特許文献１にて提案されている「Plenoptic Camera」は、「Light Field Photography」という手法を用いることで、被写体からの光線の位置と角度の情報を取り込むことができる。
【０００３】
「Plenoptic Camera」について図１を用いて説明する。「Plenoptic Camera」では、主レンズ群１０１ｂと開口絞り１０１ａとで構成される撮影光学系１０１の結像位置に、マイクロレンズアレイ１０１ｃを配置し、その後方に撮像素子１０２を配置する。マイクロレンズアレイ１０１ｃは、被写体空間のある一点Ａを通る光線群と、点Ａの近傍の点を通る光線とが撮像素子上で混ざらないようにするためのセパレータの役割を有する。図１から分かるように、点Ａからの上線、主光線および下線はそれぞれ、撮像素子１０２上の異なる画素により受光される。このため、点Ａを通る光線群を、該光線の角度ごとに分離して撮像素子１０２により光電変換することができる。
【０００４】
また、非特許文献２には、光線の位置と角度の情報（Light Field）を取得する方法として、図２および図３に示す手法を提案している。撮像装置の構成要素は図１と同じである。図２では、マイクロレンズアレイ１０１ｃを主レンズ群１０１ｂの結像位置よりも後方に配置し、撮像素子上に再結像させることで点Ａを通る光線群を光線の角度ごとに分離して取得する。また、図３では、マイクロレンズアレイを主レンズの結像位置よりも前方に配置し、撮像素子上に結像させることで点Ａを通る光線群を光線の角度ごとに分離して取得する。マイクロレンズは、図２では主レンズの実像を再結像しているのに対し、図３では主レンズの虚像を結像している。
【０００５】
非特許文献１の「Plenoptic Camera」と非特許文献２の手法とでは、光線の位置と角度の情報（Light Field）の取得方法は異なる。しかし、いずれにより得られる情報からも、画像処理によって任意のフォーカス位置や視点方向からの画像を再構成することができる。
【０００６】
また、特許文献１には、マイクロレンズアレイで発生する収差を抑制するために、マイクロレンズの焦点距離を撮像装置に必要な奥行き分解能の２倍と撮像レンズの横倍率との積よりも小さくなるように設定する方法が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１０５７１７号公報
【非特許文献１】Ren.Ng, 他５名「Light Field Photography with a Hand-held Plenoptic Camera」,Stanford Tech Report CTSR 2005-2
【非特許文献２】Todor Georgive, 他１名「Full Resolution Light Field Rendering」,Adobe Technical Report January 2008
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、収差はマイクロレンズアレイだけでなく、撮影光学系にも存在する。ここにいう撮影光学系の収差は、球面収差、コマ収差、像面湾曲および非点収差等である。これらの収差は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。また、これらの収差は、光学的には、点像分布関数（Point Spread Function：ＰＳＦ）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。さらに、横方向の色ずれも、光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれ又は位相ずれと言うことができる
撮影光学系に収差がある場合、例えば図１中の点Ａを通った光線の撮像素子１０２上での到達位置が本来の位置からずれることになる。図４（ａ）は、撮影光学系に収差が存在しない場合を示しており、撮影光学系からの光線はそれぞれが本来到達すべき撮像素子１０２上の位置（画素）に到達している。一方、図４（ｂ）は、撮影光学系にコマ収差が存在する場合を示しており、撮影光学系からの光線はそれぞれが本来到達すべき位置に到達せず、非対称で複雑なずれを有する。他の収差についても同様に、撮影光学系からの光線を本来到達すべき位置からずれた位置に到達させる。
【０００９】
このような撮像素子上での光線の位置ずれは、特に角度情報に誤差を与えることになり、良好な精度での再構成画像の生成を困難とする。図１に示したように、撮像素子は撮影光学系１０１の結像位置から離れた位置に配置されるため、撮影光学系で発生したコマ収差が拡大されて撮像素子上での光線の位置ずれとなって現れる。
【００１０】
さらに、撮像素子上での光線の位置ずれは、マイクロレンズアレイの収差によっても同様に発生する。特許文献１にて開示された方法により、マイクロレンズアレイの収差の影響を低減することは可能ではある。しかし、実際にはマイクロレンズアレイは光軸方向においては１枚のレンズにより構成されることが多く、光学的な手法により十分に収差の影響を低減することは困難である。
【００１１】
本発明は、撮影光学系およびマイクロレンズアレイで発生する収差の影響を十分に低減して、良好な精度で再構成画像を生成できるようにした画像処理技術を提供する。
【課題を解決するための手段】
【００１２】
本発明の一側面としての画像処理方法は、撮影光学系からの光を光学素子アレイを通して撮像素子に導く撮像装置を用いて生成された第１の画像から第２の画像を生成する。該方法は、第１の画像および該第１の画像を生成した際の撮像装置における撮影条件に関する情報を得るステップと、撮影条件に関する情報と撮影光学系および光学素子アレイのそれぞれの光学伝達関数とに応じた画像回復フィルタを得るステップと、画像回復フィルタを用いて第１の画像に対して画像回復処理を行うステップと、画像回復処理が行われた第１の画像から第２の画像を生成するステップとを有することを特徴とする。
【００１３】
また、本発明の他の一側面としての画像処理装置は、撮影光学系からの光を光学素子アレイを通して撮像素子に導く撮像装置を用いて生成された第１の画像から第２の画像を生成する。該装置は、第１の画像および該第１の画像を生成した際の撮像装置における撮影条件に関する情報を得る入力部と、撮影条件に関する情報と撮影光学系および光学素子アレイのそれぞれの光学伝達関数とに応じた画像回復フィルタを得るフィルタ取得部と、画像回復フィルタを用いて第１の画像に対して画像回復処理を行う処理部と、画像回復処理が行われた第１の画像から第２の画像を生成する画像生成部とを有することを特徴とする。
【００１４】
なお、上記画像処理装置を有する撮像装置も本発明の他の一側面を構成する。
【００１５】
さらに、本発明の他の一側面としての画像処理プログラムは、コンピュータに、撮影光学系からの光を光学素子アレイを通して撮像素子に導く撮像装置を用いて生成された第１の画像から第２の画像を生成させる。該プログラムは、第１の画像および該第１の画像を生成した際の撮像装置における撮影条件に関する情報を得るステップと、撮影条件に関する情報と撮影光学系および光学素子アレイのそれぞれの光学伝達関数とに応じた画像回復フィルタを得るステップと、画像回復フィルタを用いて第１の画像に対して画像回復処理を行うステップと、画像回復処理が行われた第１の画像から第２の画像を生成するステップとを有することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、撮影光学系および光学素子アレイで発生した収差の影響を十分に低減した第１の画像から、光線の位置や角度の情報を精度良く取得することができる。このため、第１の画像から、例えば任意のフォーカス位置や視点方向から見たときの画像としての第２の画像（再構成画像）を良好な精度で生成することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施例１である撮像装置の撮影光学系、マイクロレンズアレイおよび撮像素子を示す図。
【図２】本発明の実施例２である撮像装置の撮影光学系、マイクロレンズアレイおよび撮像素子を示す図。
【図３】実施例２である別の撮像装置の撮影光学系、マイクロレンズアレイおよび撮像素子を示す図。
【図４】撮影光学系にて発生する収差の影響を示す図。
【図５】本発明の各実施例の画像回復処理における画像回復フィルタを説明する図。
【図６】各実施例の画像回復処理における画像回復フィルタ内の各タップの値を説明する図。
【図７】各実施例の画像処理方法における点像の補正状態を説明する図。
【図８】各実施例の画像処理方法における振幅と位相を説明する図。
【図９】実施例１の撮像装置の構成を示すブロック図。
【図１０】実施例におけるマイクロレンズアレイを示す図。
【図１１】実施例におけるマイクロレンズアレイの像を示す図。
【図１２】実施例における画像処理方法の変形例を示すフローチャート。
【図１３】実施例１においてマイクロレンズアレイが撮影光学系の射出瞳を撮像素子上に結像させる様子を示す図。
【図１４】実施例における補正効果を説明する図。
【図１５】実施例２においてマイクロレンズアレイが撮影光学系の空中像を撮像素子上に結像させる様子を示す図。
【発明を実施するための形態】
【００１８】
以下、本発明の実施例について図面を参照しながら説明する。
【００１９】
まず、以下に説明する実施例にて用いる用語の定義と画像回復処理について説明する。
【００２０】
「入力画像」
入力画像は、撮像装置において光学系（本実施例では、撮影光学系およびマイクロレンズアレイ等の光学素子アレイ）により形成された被写体像を光電変換した撮像素子からの出力を用いて生成されたデジタル画像である。このデジタル画像は、レンズや光学フィルタ等の光学素子を含む光学系の収差を含む光学伝達関数（ＯＴＦ）により劣化した画像である。撮像素子は、ＣＭＯＳやＣＣＤ等の光電変換素子により構成される。撮影光学系は、曲率を有するミラー（反射面）を含んでもよい。また、光学系は、撮像装置に対して着脱（交換）が可能であってもよい。撮像装置において、撮像素子および該撮像素子の出力を用いてデジタル画像（入力画像）を生成する信号処理回路により撮像系が構成される。
【００２１】
入力画像の色成分は、例えばＲＧＢ色成分の情報を有している。色成分の扱いとしては、これ以外にもＬＣＨで表現される明度、色相および彩度や、ＹＣｂＣｒで表現される輝度および色差信号等、一般に用いられている色空間を選択して用いることができる。その他の色空間としては、例えば、ＸＹＺ，Ｌａｂ，Ｙｕｖ，ＪＣｈを用いることが可能であり、さらに色温度を用いることも可能である。
【００２２】
入力画像や回復画像（出力画像）には、入力画像を生成した際の撮像装置における光学系の焦点距離や絞り値、さらに撮影距離等の撮影条件に関する情報（以下、撮影条件情報という）を付帯することができる。また、入力画像を補正するための各種の補正情報も付帯することができる。撮像装置から、これとは別に設けられた画像処理装置に入力画像を出力し、該画像処理装置にて画像回復処理を行う場合には、入力画像に撮影条件情報や補正情報を付帯することが好ましい。撮影条件情報や補正情報は、入力画像に付帯する以外に、撮像装置から画像処理装置に直接または間接的に通信により受け渡すこともできる。
【００２３】
「光学伝達関数（ＯＴＦ）」
点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（Optical Transfer Function：ＯＴＦ）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数（ＯＴＦ）の絶対値、すなわち振幅成分をＭＴＦ（Modulation Transfer Function）といい、位相成分をＰＴＦ（Phase Transfer Function）という。ＭＴＦおよびＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれ、ＯＴＦの実部および虚部を表す。
ＰＴＦ＝ｔａｎ−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
このように、光学系の光学伝達関数（ＯＴＦ）は、画像の振幅成分と位相成分に劣化を与えるため、結像位置での像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。
【００２４】
また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて、例えばＲＧＢの色成分として取得することで発生する。したがって、ＲＧＢ間で結像位置がずれることはもとより、各色成分内にも波長ごとの結像位置のずれ、すなわち位相ずれによる像の広がりが発生する。よって、正確には倍率色収差は単なる平行シフトの色ずれではなく、例えばＧチャンネルといったある色チャンネルの像の広がりにも影響している。
【００２５】
「画像回復処理」
光学伝達関数（ＯＴＦ）の振幅（ＭＴＦ）の劣化と位相（ＰＴＦ）の劣化を補正する方法として、光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正するものが知られている。この方法は画像回復や画像復元と呼ばれており、以下、本明細書では、この光学系の光学伝達関数（ＯＴＦ）の情報を用いて画像の劣化を補正する処理を、画像回復処理（または回復処理）と記す。
【００２６】
撮像装置により生成された入力画像（劣化画像）をｇ（ｘ，ｙ）とし、元の画像（劣化していない画像）をｆ（ｘ，ｙ）とし、光学伝達関数（ＯＴＦ）のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする場合、以下の式が成り立つ。ただし、＊はコンボリューション（畳み込み積分または積和）を示し、（ｘ，ｙ）は入力画像上の座標（位置）を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
この式をフーリエ変換して周波数面での表示形式に変換すると、以下の式のように周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）ｈをフーリエ変換したものであり、光学伝達関数（ＯＴＦ）に相当する。Ｇ，Ｆはそれぞれ、ｇ，ｆをフーリエ変換したものである。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
撮像装置により生成された劣化画像から元の画像を得るためには、以下のように、上記式の両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。
【００２７】
ここで、Ｈ−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像ｆ（ｘ，ｙ）に相当する回復画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
Ｒ（ｘ，ｙ）が画像回復フィルタである。入力画像が２次元であるとき、一般に画像回復フィルタも該２次元画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、一般に画像回復フィルタのタップ数（セル数）が多いほど画像回復精度が向上するため、出力画像としての要求画質、画像処理装置としての画像処理能力、撮影光学系の収差の特性等に応じて実現可能なタップ数を設定する。
【００２８】
画像回復フィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）等とは全く異なる。また、画像回復フィルタは、光学伝達関数（ＯＴＦ）に基づいて生成されるため、劣化画像（入力画像）における振幅成分と位相成分の劣化をともに高精度に補正することができる。
【００２９】
また、実際の入力画像にはノイズ成分が含まれる。このため、上記のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像が回復されるだけでなくノイズ成分が大幅に増幅されてしまう。これは、入力画像の振幅成分にノイズの振幅が付加されている状態に対して撮影光学系のＭＴＦ（振幅成分）を全周波数にわたって１に戻すようにＭＴＦを持ち上げるためである。撮影光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズ成分のパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合い、すなわち回復ゲインに応じてノイズが増幅されてしまう。
【００３０】
したがって、ノイズ成分がある入力画像からは鑑賞用画像として良好な回復画像が得られない。これを式で示すと以下のように表せる。Ｎはノイズ成分を表す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）
この点については、例えば、式（１）に示すウィナーフィルタのように画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合いを制御する方法が知られている。
【００３１】
【数１】
【００３２】
Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性を示し、｜Ｈ（ｕ，ｖ）｜は光学伝達関数（ＯＴＦ）の絶対値（ＭＴＦ）を示す。この方法は、周波数ごとに、ＭＴＦが小さいほど回復ゲインを抑制し、ＭＴＦが大きいほど回復ゲインを強くするものである。一般に、撮影光学系のＭＴＦは、低周波数側が高く、高周波数側が低くなるため、実質的に画像信号の高周波数側の回復ゲインを抑制する方法となる。
【００３３】
画像回復フィルタを図５および図６を用いて説明する。画像回復フィルタは、撮影光学系の収差特性や要求される画像回復精度に応じてタップ数が決められる。図５では、例として、１１×１１タップの２次元画像回復フィルタを示している。図５では、各タップ内の値（係数値）を省略しているが、この画像回復フィルタの１つの断面を図６に示す。画像回復フィルタの各タップ内の値の分布が、収差によって空間的に広がった信号値（ＰＳＦ）を、理想的には元の１点に戻す役割を果たす。
【００３４】
画像回復処理では、画像回復フィルタの各タップの値が、入力画像における各タップに対応する各画素に対してコンボリューション（畳み込み積分や積和ともいう）される。コンボリューションの処理では、ある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、入力画像と画像回復フィルタの対応画素ごとに入力画像の信号値と画像回復フィルタのタップの値（係数値）との積をとり、その総和を中心画素の信号値として置き換える。
【００３５】
画像回復処理の実空間と周波数空間での特性を図７および図８を用いて説明する。図７の（ａ）は画像回復前のＰＳＦを示し、（ｂ）は画像回復後のＰＳＦを示している。また、図８の（Ｍ）の（ａ）は画像回復前のＭＴＦを示し、（Ｍ）の（ｂ）は画像回復後のＭＴＦを示している。さらに、図８の（Ｐ）の（ａ）は画像回復前のＰＴＦを示し、（Ｐ）の（ｂ）は画像回復後のＰＴＦを示している。画像回復前のＰＳＦは非対称な広がりを持っており、この非対称性によりＰＴＦは周波数に対して非直線的な値を持つ。画像回復処理は、ＭＴＦを増幅し、ＰＴＦを零に補正するため、画像回復後のＰＳＦは対称で、かつ鮮鋭になる。
【００３６】
画像回復フィルタの作成法については、撮影光学系の光学伝達関数（ＯＴＦ）の逆関数に基づいて設計した関数を逆フーリエ変換して得ることができる。例えば、ウィナーフィルタを用いる場合、式（１）を逆フーリエ変換することで、実際に入力画像に畳み込む実空間の画像回復フィルタを作成することができる。
【００３７】
また、光学伝達関数（ＯＴＦ）は、同じ撮影条件であっても撮影光学系の像高（画像上での位置）に応じて変化するので、画像回復フィルタは像高に応じて変更して使用される。
【００３８】
以下、本発明の具体的な実施例について説明する。
【実施例１】
【００３９】
図９には、本発明の実施例１である撮像装置の構成を示している。撮像装置は、不図示の被写体からの光は、撮影光学系１０１に入射する。撮影光学系１０１から射出した光は、マイクロレンズアレイ１０１ｃを通って撮像素子１０２に導かれる。撮像素子１０２は、撮影光学系１０１とマイクロレンズアレイ１０１ｃにより形成された光学像を光電変換し、アナログ撮像信号を出力する。アナログ撮像信号は、Ａ／Ｄコンバータ１０３によりデジタル撮像信号に変換され、画像処理部１０４に入力される。
【００４０】
画像処理部１０４は、デジタル撮像信号に対して各種画像処理を行って第１の画像としての入力画像を生成し、さらに該入力画像に対して画像回復処理を行う。画像処理部１０４は、状態検知部１０７から、入力画像を生成した際における撮像装置の撮影条件に関する情報（以下、撮影条件情報という）を取得する。撮影条件情報とは、絞り値、撮影距離および撮影光学系がズームレンズである場合の焦点距離等を含む。
【００４１】
状態検知部１０７は、システムコントローラ１１０から直接、撮影条件情報を取得してもよいし、撮影光学系に関する撮影条件情報については撮影光学系制御部から取得してもよい。
【００４２】
画像処理部１０４は、撮影条件情報に応じた画像回復フィルタを得る。具体的には、記憶部１０８に予め記憶された複数の画像回復フィルタから撮影条件情報に応じた画像回復フィルタを選択したり、記憶された画像回復フィルタを用いて撮影条件情報に応じた画像回復フィルタを新たに生成したりする。また、画像処理部１０４は、記憶部１０８に予め記憶された複数の光学伝達関数（ＯＴＦ）から撮影条件情報に応じた光学伝達関数を選択したり、記憶された光学伝達関数を用いて撮影条件情報に応じた画像回復フィルタを新たに生成したりしてもよい。さらに、画像処理部１０４は、記憶された光学伝達関数を用いて撮影条件情報に応じた光学伝達関数を新たに作成し、その光学伝達関数をフーリエ変換することにより画像回復フィルタを生成してもよい。
【００４３】
そして、画像処理部１０４は、入力画像に対して、取得した画像回復フィルタを用いて画像回復処理を行い、さらに画像回復処理後の画像（回復画像）を用いて画像再構成処理を行う。ここでの具体的な処理については後述する。画像処理部１０４は、入力部、情報取得部、フィルタ取得部、処理部および画像生成部を含む画像処理装置に相当する。
【００４４】
画像処理部１０４での画像再構成処理により生成された第２の画像としての出力画像は、画像記録媒体１０９に所定のフォーマットで保存される。また、出力画像は、ＬＣＤ等により構成される表示部１０５に表示される。
【００４５】
以上の一連の処理は、システムコントローラ１１０の制御下で行われる。また、撮影光学系１０１の機械的な駆動（後述するフォーカス機構、ズーム機構および開口絞りの駆動）はシステムコントローラ１１０からの制御信号を受けた撮影光学系制御部１０６によって制御される。
【００４６】
撮影光学系１０１に含まれる開口絞り１０１ａは、その絞り開口径を増減させて絞り値（Ｆナンバー）を変化させる。
【００４７】
なお、後述する光線の位置と角度の情報（Light Field）を取得する際には、大きな光線の角度の情報を取得するために、開口絞り１０１ａを開放絞り開口径等の大きい絞り開口径に固定してもよい。
【００４８】
また、本実施例の撮像装置では、画像処理部１０４による画像再構成処理によって入力画像を生成した後のＦナンバーの制御が可能である。このため、絞り開口径の小さな焦点深度の深い出力画像は、入力画像を生成するための撮像後に生成することができる。
【００４９】
主レンズ群１０１ｂは、１枚または複数枚のレンズにより構成され、変倍レンズやフォーカスレンズを含む。撮像装置は、変倍レンズを光軸方向に移動させて変倍を行うズーム機構と、フォーカスレンズを光軸方向に移動させてピント調節を行うフォーカス機構とを有する。フォーカス機構には、オートフォーカス（ＡＦ）を行うためにフォーカスレンズを移動させるアクチュエータを含むＡＦ機構や、不図示のフォーカス操作リングの手動操作よってフォーカスレンズを移動させるマニュアルフォーカス機構を含む。
【００５０】
なお、本実施例の撮像装置では、画像処理部１０４による画像再構成処理により入力画像の生成のための撮像を行った後に、フォーカス位置調整（リフォーカス）された出力画像の生成が可能である。このため、フォーカス機構を含まなくてもよい。
【００５１】
ただし、光線の位置と角度の情報量は有限であるため、撮像時のフォーカスレンズ位置に対する出力画像中でのフォーカス位置調整範囲も有限となる。したがって、撮影光学系１０１の光学的なフォーカス機構を動作させて、基準被写体にピントを合わせた状態で入力画像を生成するための撮像を行うことで、主要被写体の前後の位置に対するリフォーカスを良好に行うことができる。
【００５２】
マイクロレンズアレイ１０１ｃは、撮影光学系１０１と撮像素子１０２との間に配置される。マイクロレンズアレイ１０１ｃは、例えば、図１０に示すように、２次元配列された複数のマイクロレンズ１０１ｄにより構成されている。各マイクロレンズ１０１ｄは、円形の開口を有している。図１０では、説明のためにマイクロレンズ１０１ｄの数を７×７としているが、実際のマイクロレンズアレイでは、数百×数百や数千×数千といった多数のマイクロレンズを有する。
【００５３】
また、マイクロレンズ１０１ｄは、固体レンズ、液体レンズ、液晶レンズおよび回折光学素子等、屈折力が可変である光学素子を含めて様々な光学素子により形成することができる。また、マイクロレンズ１０１ｄのレンズ面の形状は、入射面と射出面のうち少なくとも一方が球面や非球面等の曲面であってもよいし、入射面と射出面のうち一方が平面であってもよい。
【００５４】
図９に示す撮影光学系１０１、マイクロレンズアレイ１０１ｃおよび撮像素子１０２の具体的な構成を図１に示す。
図１は、主レンズ群１０１ｂおよび開口絞り１０１ａにより構成される撮影光学系１０１の結像位置に、マイクロレンズアレイ１０１ｃを配置し、その後方（被写体側とは反対側）に撮像素子１０２を配置した構成を示す。撮像素子１０２は、マイクロレンズアレイ１０１ｃに関して撮影光学系１０１の射出瞳と共役な位置に配置されている。先にも説明したように、マイクロレンズアレイ１０１ｃは、例えば点Ａのような被写体空間のある１点を通る光線群と、点Ａの近傍の点を通る光線とが撮像素子１０２上で混ざらないようにするセパレータの役割を有する。
【００５５】
図１から分かるように、実線で示した点Ａからの上線、主光線および下線はそれぞれ、撮像素子１０２上の互いに異なる画素で受光されるため、点Ａを通る光線群を光線の角度ごとに分離して取得することができる。破線で示した別の点を通る光線についても同様である。また、マイクロレンズアレイ１０１ｃの各マイクロレンズは、撮影光学系１０１の射出瞳の像を撮像素子１０２上に結像させている。このため、撮像素子１０２上では、その一部を拡大した図１１に示すように、各マイクロレンズから見た撮影光学系１０１の射出瞳の像が２次元状に配列するように形成される。図１１では、１つの円形像がおよそ１１×１１画素により取得されているので、例えば点Ａを通る光線群の角度情報を１１×１１の角度分解能で取得していることになる。
【００５６】
また、撮影光学系１０１には、ローパスフィルタや赤外線カットフィルタ等の光学素子を挿入してもよい。ただし、ローパスフィルタ等の光学伝達関数（ＯＴＦ）の特性に影響を与える光学素子を挿入する場合には、画像回復フィルタの作成においてその考慮が必要になる。また、赤外カットフィルタを挿入する場合においても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、画像回復フィルタの作成においてその考慮が必要になる。
【００５７】
図１２には、本実施例における画像処理方法の手順を示している。この画像処理方法は、コンピュータにより構成される画像処理部１０４が、コンピュータプログラムとしての画像処理プログラムに従って実行する。
【００５８】
ステップＳ１１では、画像処理部１０４は、入力画像（以下、撮影画像ともいう）を生成することで取得する。ここでいう撮影画像とは、図１１に示した撮影光学系１０１の射出瞳の像を光電変換して得られる画像である。
【００５９】
次にステップＳ１２では、画像処理部１０４は、撮像装置が撮影画像を生成した際の撮影条件情報を得る。そして、撮影条件に応じた（適した）画像回復フィルタを得る。具体的には、前述したように、記憶部１０８に予め記憶された複数の画像回復フィルタから撮影条件情報に応じた画像回復フィルタを選択したり、記憶された画像回復フィルタを用いて撮影条件情報に応じた画像回復フィルタを新たに生成したりする。画像回復フィルタを新たに生成するには、例えば、離散的に選択された焦点距離、絞り値および撮影距離等の撮影条件に応じた画像回復フィルタのデータを予め記憶部１０８にメモリに記憶しておく。そして、実際の撮影条件が記憶部１０８に記憶された撮影条件と異なるときは、記憶された撮像条件のうち実際の撮像条件に近い複数の撮像条件に対応する画像回復フィルタを用いた補間演算により実際の撮影条件に対応する画像回復フィルタを生成する。これにより、予めメモリに記憶させる画像回復フィルタのデータ量を削減することができる。補間処理の方法としては、バイリニア補間（線形補間）やバイキュービック補間等が挙げられるが、どのような方法であってもよい。
【００６０】
また、撮影画像内での位置により画像回復フィルタを変更する場合にも、同様に、撮影画像内での離散的な特定位置に対して予め保持された画像回復フィルタ群から、それらの特定位置の間の位置に対応する画像回復フィルタを補間処理により生成する。
【００６１】
なお、記憶部１０８に予め保持するデータを、画像回復フィルタではなく、ＰＳＦ、ＯＴＦ、ＭＴＦおよびＰＴＦ等、画像回復フィルタを生成する元となるデータとして、このデータから撮影条件に応じた画像回復フィルタを演算により生成してもよい。
【００６２】
次にステップＳ１３では、画像処理部１０４は、ステップＳ１２で得た画像回復フィルタを用いて、撮影画像に対して画像回復処理を行い、画像回復処理後の撮影画像としての回復画像を得る。図１３には、１つのマイクロレンズが、撮影光学系１０１の射出瞳の像を撮像素子１０２上に結像させる様子を示している。また、図１４（ａ）は、図１３に示したマイクロレンズに収差がない場合の理想的な射出瞳像の断面を示している。しかし、実際には、図１４（ｂ）に示すように、マイクロレンズにて色収差や非対称収差が発生する。図１４（ｂ）中の実線および破線は、撮影画像の２つの色成分を表している。
【００６３】
図１４（ｃ）には、マイクロレンズの光学伝達関数（ＯＴＦ）に基づいて生成した画像回復フィルタを用いて、図１４（ｂ）に示す劣化画像を回復処理した結果の回復画像を示している。回復画像は、色収差および非対称収差が補正され、かつ尖鋭化される。
【００６４】
画像回復フィルタの設計にあたっては、回復度合い（回復ゲイン）を高く設計するほど回復画像は図１４（ａ）に示す理想的な画像に近づく。しかし、尖鋭化とともにノイズも増幅してしまうため、回復度合いを適宜調整することで、画像の尖鋭化とノイズ量とのバランスを適切に設定することができる。この結果、図１４（ｃ）に示すような回復画像が得られる。
【００６５】
また、図４（ｂ）から分かるように、撮影光学系の収差も光線の位置と角度の情報を劣化させる要因となり得る。すなわち、マイクロレンズが無収差であっても、撮影光学系の射出瞳に収差が発生しているためである。したがって、この場合、図１４（ｂ）に示す劣化画像に含まれる光線の位置と角度の情報は、撮影光学系とマイクロレンズの収差によって劣化している。これを補正するためには、撮影光学系のＯＴＦとマイクロレンズのＯＴＦとに基づいて画像回復フィルタを生成し、劣化画像に対して画像回復処理を行うことで、撮影光学系とマイクロレンズの収差による劣化を良好に補正した回復画像が得られる。
【００６６】
上述した画像回復処理は、収差により広がりをもったＰＳＦを理想的には点像に補正する処理である。しかし、図１４（ａ）に示す理想的な画像とは、撮影光学系の結像位置から離れた位置で捉えられるデフォーカス画像である。このため、画像回復フィルタの生成方法が、一般的な画像回復処理とは異なる。
【００６７】
すなわち、本実施例で用いる画像回復フィルタは、式（２）に基づいて生成される。
【００６８】
【数２】
【００６９】
Ｒ（ｕ，ｖ）は画像回復フィルタの周波数特性を示し、Ｈ（ｕ，ｖ）は光学伝達関数（ＯＴＦ）を示す。ｒＨ（ｕ，ｖ）は回復後の目標とするＯＴＦを示し、Ｃは回復度合いの制御パラメータである。
【００７０】
被写体が点像である場合、被写体の周波数特性はＨ（ｕ，ｖ）であるので、これにＲ（ｕ，ｖ）を掛けた式（３）は、回復後のＯＴＦを示している。
【００７１】
【数３】
【００７２】
式（３）において、Ｃ＝０として最大の回復度合いとしたとき、回復後のＯＴＦは目標とするｒＨ（ｕ，ｖ）となる。回復度合いが最大に満たない場合にも、目標とするｒＨ（ｕ，ｖ）に近づいていくことが分かる。式（１）に示した従来のウィナーフィルタを用いると、光線の位置と角度の情報を取得するために取得したデフォーカス画像をピントが合った点像に補正してしまうため、目的の情報を取得することができなくなってしまう。
【００７３】
また、式（３）でｒＨ（ｕ，ｖ）を実部のみとし、さらに（ｕ，ｖ）の周波数空間で（０，０）に対して回転対称とすることで、位相が補正され、振幅が回転対称になるため、回復後の画像の非対称性を除去することができる。位相のみが補正された状態では、像の広がりは点対称になるが回転対称にはならない。さらに、振幅が回転対称に補正されることで、像も回転対称となる。
【００７４】
また、式（４）に示した画像回復フィルタを用いることで、位相の劣化のみを補正することもできる。
【００７５】
【数４】
【００７６】
ここで、ステップＳ１３にて画像回復処理により補正された回復画像は、撮像装置の記憶部１０８に一時的に保存され、以下のステップＳ１４にて記憶部１０８から読み出される。
【００７７】
ただし、以下の方法によれば、回復画像を記憶部１０８に一時的に保存しなくてもよい。まず、撮影画像の一部の領域に対して画像回復処理を行い、該処理を受けた領域に対して画像再構成処理を行って出力画像の一部の領域を生成する。次に、撮影画像における画像回復処理を行う領域を変更して、同様に出力画像の一部の領域を生成する。これを撮影画像の全体に対する画像回復処理と画像再構成処理が終了するまで繰り返すことで、出力画像の全体を生成することができる。この方法によれば、記憶部１０８の容量が小さい場合でも、その容量が不足することなく出力画像を生成することができる。
【００７８】
次にステップＳ１４では、画像処理部１０４は、ステップＳ１３にて生成された回復画像に対して画像再構成処理を実行する。画像再構成処理の具体的な方法については、非特許文献１に記載されている通りである。概要としては、撮影画像の取得後のフォーカス位置、Ｆナンバーおよび視点の変更等、出力画像の目的に応じて撮像素子１０２上の位置に変換された各光線の位置と角度ごとの強度を再配置する。
【００７９】
なお、１つの撮影画像から、フォーカス位置、Ｆナンバーおよび視点等が互いに異なる複数の出力画像を生成することもできる。すなわち、撮影画像として各光線の位置と角度の情報を取得することで、あたかも撮影条件を変えて取得したような複数の出力画像を生成することができる。
【実施例２】
【００８０】
図２および図３には、本発明の実施例２である撮像装置の撮影光学系１０１、マイクロレンズアレイ１０１ｃおよび撮像素子１０２の配置を２種類示している。撮像装置全体の構成は、図９に示した構成と同じである。
【００８１】
図２では、マイクロレンズアレイ１０１ｃを撮影光学系１０１（主レンズ群１０１ｂ）の結像位置よりも後方に配置し、撮影光学系１０１にて結像した光をマイクロレンズアレイ１０１ｃの各マイクロレンズにより撮像素子１０２上に再結像させる。これにより、点Ａを通る光線群を光線の角度ごとに分離して取得することができる。図１５には、図２に示す構成において、１つのマイクロレンズが撮影光学系１０１の空中像を撮像素子１０２上に再結像させる様子を示している。
【００８２】
また、図３では、マイクロレンズアレイ１０１ｃを撮影光学系１０１（主レンズ群１０１ｂ）の結像位置よりも前方に配置し、撮影光学系１０１からの光をマイクロレンズアレイ１０１ｃの各マイクロレンズにより撮像素子１０２上に結像させる。これにより、点Ａを通る光線群を光線の角度ごとに分離して取得することができる。
【００８３】
図２および図３のいずれにおいても、マイクロレンズアレイ１０１ｃは、撮影光学系１０１の結像位置から離れた位置に配置され、該結像位置と共役な位置に配置された撮像素子１０２上に撮影光学系１０１からの光を結像させる。ただし、図２では各マイクロレンズは撮影光学系１０１の実像を再結像させるのに対し、図３では各マイクロレンズは撮影光学系１０１の虚像を結像させる。
【００８４】
図２や図３に示す構成では、マイクロレンズは撮影光学系１０１の空中像を撮像素子１０２上に再結像させるため、撮像素子１０２上には撮影光学系１０１の空中像が繰り返し配列されることになる。撮像素子１０２上にて繰り返される像は、それらを形成する光線の角度が少しずつ異なっているため、実施例１とは画像再構成処理の再配置パターンが異なるものの、同様に画像再構成処理を行うことができる。
【００８５】
図２および図３に示す構成のいずれにおいても、マイクロレンズは撮影光学系１０１の空中像を撮像素子１０２上に結像させる。このため、撮像素子１０２上には、その一部を拡大した図１１に示すように、各マイクロレンズにより再結像された撮影光学系１０１の空中像が２次元状に配列する。隣り合うマイクロレンズのそれぞれにより撮像素子１０２上に再結像される空中像は互いにオーバーラップする部分を含み、そのオーバーラップ部分が撮像素子１０２上の位置に応じてシフトしていく。２つのマイクロレンズにより再結像される空中像のうちオーバーラップする部分は、被写体の同一点を互いに異なる２つの角度から撮影することで得られる像に相当する。
【００８６】
角度分解能については、図２および図３に示したように、ある点Ａからの光線群をいくつのマイクロレンズで分離するかによって決定される。例えば、図２および図３に示す一断面では、点Ａからの光線群を４分割して様子を示している。
【００８７】
本実施例における画像処理方法の手順は、実施例１で図１２を用いて説明した手順と同様である。ただし、ステップＳ１１で取得する撮影画像は、図１１を用いて説明したように、撮影光学系１０１の空中像を各マイクロレンズで再結像した像を光電変換して得られた画像である。
【００８８】
また、本実施例における画像回復処理の概要は、実施例１でも用いた図１４（ａ）〜（ｂ）に示す通りである。ただし、本実施例においては、図１４（ａ）は、図１５に示したマイクロレンズに収差がない場合の理想的な射出瞳像の断面を示す。
【００８９】
なお、本実施例では、撮像素子１０２上に形成される像は被写体の実像であるため、撮像素子１０２上への像形成についてはマイクロレンズを撮影光学系１０１の一部と考えてＯＴＦを生成し、画像回復フィルタを生成することができる。具体的には、撮影光学系１０１のＯＴＦとマイクロレンズのＯＴＦとを掛け合わせることで、光学系全体のＯＴＦを生成することができる。
【実施例３】
【００９０】
実施例１，２では、画像処理方法を使用する（画像処理装置を搭載した）撮像装置について説明したが、本発明の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが本発明の画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の撮影画像（入力画像）を、該撮像装置から有線／無線通信を介して、または他のパーソナルコンピュータからインターネット等の回線を介して取得する。撮影画像が記録された画像記録媒体を介して該撮影画像を取得してもよい。そして、撮影画像を取得したパーソナルコンピュータは、画像処理プログラムによって画像回復処理を行い、その結果得られた回復画像を出力する。
【００９１】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【００９２】
Plenoptic Cameraにおいて良好な出力画像が得られる画像処理方法を提供できる。
【符号の説明】
【００９３】
１０１ 撮影光学系
１０２ 撮像素子
１０１ｃ マイクロレンズアレイ
【技術分野】
【０００１】
本発明は、撮影光学系からの光を、マイクロレンズアレイ等の光学素子アレイを通して撮像素子に導く撮像装置により撮影された画像から新たな画像を生成する画像処理技術に関する。
【背景技術】
【０００２】
撮影により生成されたデジタル画像を用いて、様々な画像を再構成して出力する方法が各種提案されている。例えば、非特許文献１にて提案されている「Plenoptic Camera」は、「Light Field Photography」という手法を用いることで、被写体からの光線の位置と角度の情報を取り込むことができる。
【０００３】
「Plenoptic Camera」について図１を用いて説明する。「Plenoptic Camera」では、主レンズ群１０１ｂと開口絞り１０１ａとで構成される撮影光学系１０１の結像位置に、マイクロレンズアレイ１０１ｃを配置し、その後方に撮像素子１０２を配置する。マイクロレンズアレイ１０１ｃは、被写体空間のある一点Ａを通る光線群と、点Ａの近傍の点を通る光線とが撮像素子上で混ざらないようにするためのセパレータの役割を有する。図１から分かるように、点Ａからの上線、主光線および下線はそれぞれ、撮像素子１０２上の異なる画素により受光される。このため、点Ａを通る光線群を、該光線の角度ごとに分離して撮像素子１０２により光電変換することができる。
【０００４】
また、非特許文献２には、光線の位置と角度の情報（Light Field）を取得する方法として、図２および図３に示す手法を提案している。撮像装置の構成要素は図１と同じである。図２では、マイクロレンズアレイ１０１ｃを主レンズ群１０１ｂの結像位置よりも後方に配置し、撮像素子上に再結像させることで点Ａを通る光線群を光線の角度ごとに分離して取得する。また、図３では、マイクロレンズアレイを主レンズの結像位置よりも前方に配置し、撮像素子上に結像させることで点Ａを通る光線群を光線の角度ごとに分離して取得する。マイクロレンズは、図２では主レンズの実像を再結像しているのに対し、図３では主レンズの虚像を結像している。
【０００５】
非特許文献１の「Plenoptic Camera」と非特許文献２の手法とでは、光線の位置と角度の情報（Light Field）の取得方法は異なる。しかし、いずれにより得られる情報からも、画像処理によって任意のフォーカス位置や視点方向からの画像を再構成することができる。
【０００６】
また、特許文献１には、マイクロレンズアレイで発生する収差を抑制するために、マイクロレンズの焦点距離を撮像装置に必要な奥行き分解能の２倍と撮像レンズの横倍率との積よりも小さくなるように設定する方法が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１０５７１７号公報
【非特許文献１】Ren.Ng, 他５名「Light Field Photography with a Hand-held Plenoptic Camera」,Stanford Tech Report CTSR 2005-2
【非特許文献２】Todor Georgive, 他１名「Full Resolution Light Field Rendering」,Adobe Technical Report January 2008
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、収差はマイクロレンズアレイだけでなく、撮影光学系にも存在する。ここにいう撮影光学系の収差は、球面収差、コマ収差、像面湾曲および非点収差等である。これらの収差は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。また、これらの収差は、光学的には、点像分布関数（Point Spread Function：ＰＳＦ）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。さらに、横方向の色ずれも、光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれ又は位相ずれと言うことができる
撮影光学系に収差がある場合、例えば図１中の点Ａを通った光線の撮像素子１０２上での到達位置が本来の位置からずれることになる。図４（ａ）は、撮影光学系に収差が存在しない場合を示しており、撮影光学系からの光線はそれぞれが本来到達すべき撮像素子１０２上の位置（画素）に到達している。一方、図４（ｂ）は、撮影光学系にコマ収差が存在する場合を示しており、撮影光学系からの光線はそれぞれが本来到達すべき位置に到達せず、非対称で複雑なずれを有する。他の収差についても同様に、撮影光学系からの光線を本来到達すべき位置からずれた位置に到達させる。
【０００９】
このような撮像素子上での光線の位置ずれは、特に角度情報に誤差を与えることになり、良好な精度での再構成画像の生成を困難とする。図１に示したように、撮像素子は撮影光学系１０１の結像位置から離れた位置に配置されるため、撮影光学系で発生したコマ収差が拡大されて撮像素子上での光線の位置ずれとなって現れる。
【００１０】
さらに、撮像素子上での光線の位置ずれは、マイクロレンズアレイの収差によっても同様に発生する。特許文献１にて開示された方法により、マイクロレンズアレイの収差の影響を低減することは可能ではある。しかし、実際にはマイクロレンズアレイは光軸方向においては１枚のレンズにより構成されることが多く、光学的な手法により十分に収差の影響を低減することは困難である。
【００１１】
本発明は、撮影光学系およびマイクロレンズアレイで発生する収差の影響を十分に低減して、良好な精度で再構成画像を生成できるようにした画像処理技術を提供する。
【課題を解決するための手段】
【００１２】
本発明の一側面としての画像処理方法は、撮影光学系からの光を光学素子アレイを通して撮像素子に導く撮像装置を用いて生成された第１の画像から第２の画像を生成する。該方法は、第１の画像および該第１の画像を生成した際の撮像装置における撮影条件に関する情報を得るステップと、撮影条件に関する情報と撮影光学系および光学素子アレイのそれぞれの光学伝達関数とに応じた画像回復フィルタを得るステップと、画像回復フィルタを用いて第１の画像に対して画像回復処理を行うステップと、画像回復処理が行われた第１の画像から第２の画像を生成するステップとを有することを特徴とする。
【００１３】
また、本発明の他の一側面としての画像処理装置は、撮影光学系からの光を光学素子アレイを通して撮像素子に導く撮像装置を用いて生成された第１の画像から第２の画像を生成する。該装置は、第１の画像および該第１の画像を生成した際の撮像装置における撮影条件に関する情報を得る入力部と、撮影条件に関する情報と撮影光学系および光学素子アレイのそれぞれの光学伝達関数とに応じた画像回復フィルタを得るフィルタ取得部と、画像回復フィルタを用いて第１の画像に対して画像回復処理を行う処理部と、画像回復処理が行われた第１の画像から第２の画像を生成する画像生成部とを有することを特徴とする。
【００１４】
なお、上記画像処理装置を有する撮像装置も本発明の他の一側面を構成する。
【００１５】
さらに、本発明の他の一側面としての画像処理プログラムは、コンピュータに、撮影光学系からの光を光学素子アレイを通して撮像素子に導く撮像装置を用いて生成された第１の画像から第２の画像を生成させる。該プログラムは、第１の画像および該第１の画像を生成した際の撮像装置における撮影条件に関する情報を得るステップと、撮影条件に関する情報と撮影光学系および光学素子アレイのそれぞれの光学伝達関数とに応じた画像回復フィルタを得るステップと、画像回復フィルタを用いて第１の画像に対して画像回復処理を行うステップと、画像回復処理が行われた第１の画像から第２の画像を生成するステップとを有することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、撮影光学系および光学素子アレイで発生した収差の影響を十分に低減した第１の画像から、光線の位置や角度の情報を精度良く取得することができる。このため、第１の画像から、例えば任意のフォーカス位置や視点方向から見たときの画像としての第２の画像（再構成画像）を良好な精度で生成することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施例１である撮像装置の撮影光学系、マイクロレンズアレイおよび撮像素子を示す図。
【図２】本発明の実施例２である撮像装置の撮影光学系、マイクロレンズアレイおよび撮像素子を示す図。
【図３】実施例２である別の撮像装置の撮影光学系、マイクロレンズアレイおよび撮像素子を示す図。
【図４】撮影光学系にて発生する収差の影響を示す図。
【図５】本発明の各実施例の画像回復処理における画像回復フィルタを説明する図。
【図６】各実施例の画像回復処理における画像回復フィルタ内の各タップの値を説明する図。
【図７】各実施例の画像処理方法における点像の補正状態を説明する図。
【図８】各実施例の画像処理方法における振幅と位相を説明する図。
【図９】実施例１の撮像装置の構成を示すブロック図。
【図１０】実施例におけるマイクロレンズアレイを示す図。
【図１１】実施例におけるマイクロレンズアレイの像を示す図。
【図１２】実施例における画像処理方法の変形例を示すフローチャート。
【図１３】実施例１においてマイクロレンズアレイが撮影光学系の射出瞳を撮像素子上に結像させる様子を示す図。
【図１４】実施例における補正効果を説明する図。
【図１５】実施例２においてマイクロレンズアレイが撮影光学系の空中像を撮像素子上に結像させる様子を示す図。
【発明を実施するための形態】
【００１８】
以下、本発明の実施例について図面を参照しながら説明する。
【００１９】
まず、以下に説明する実施例にて用いる用語の定義と画像回復処理について説明する。
【００２０】
「入力画像」
入力画像は、撮像装置において光学系（本実施例では、撮影光学系およびマイクロレンズアレイ等の光学素子アレイ）により形成された被写体像を光電変換した撮像素子からの出力を用いて生成されたデジタル画像である。このデジタル画像は、レンズや光学フィルタ等の光学素子を含む光学系の収差を含む光学伝達関数（ＯＴＦ）により劣化した画像である。撮像素子は、ＣＭＯＳやＣＣＤ等の光電変換素子により構成される。撮影光学系は、曲率を有するミラー（反射面）を含んでもよい。また、光学系は、撮像装置に対して着脱（交換）が可能であってもよい。撮像装置において、撮像素子および該撮像素子の出力を用いてデジタル画像（入力画像）を生成する信号処理回路により撮像系が構成される。
【００２１】
入力画像の色成分は、例えばＲＧＢ色成分の情報を有している。色成分の扱いとしては、これ以外にもＬＣＨで表現される明度、色相および彩度や、ＹＣｂＣｒで表現される輝度および色差信号等、一般に用いられている色空間を選択して用いることができる。その他の色空間としては、例えば、ＸＹＺ，Ｌａｂ，Ｙｕｖ，ＪＣｈを用いることが可能であり、さらに色温度を用いることも可能である。
【００２２】
入力画像や回復画像（出力画像）には、入力画像を生成した際の撮像装置における光学系の焦点距離や絞り値、さらに撮影距離等の撮影条件に関する情報（以下、撮影条件情報という）を付帯することができる。また、入力画像を補正するための各種の補正情報も付帯することができる。撮像装置から、これとは別に設けられた画像処理装置に入力画像を出力し、該画像処理装置にて画像回復処理を行う場合には、入力画像に撮影条件情報や補正情報を付帯することが好ましい。撮影条件情報や補正情報は、入力画像に付帯する以外に、撮像装置から画像処理装置に直接または間接的に通信により受け渡すこともできる。
【００２３】
「光学伝達関数（ＯＴＦ）」
点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（Optical Transfer Function：ＯＴＦ）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数（ＯＴＦ）の絶対値、すなわち振幅成分をＭＴＦ（Modulation Transfer Function）といい、位相成分をＰＴＦ（Phase Transfer Function）という。ＭＴＦおよびＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれ、ＯＴＦの実部および虚部を表す。
ＰＴＦ＝ｔａｎ−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
このように、光学系の光学伝達関数（ＯＴＦ）は、画像の振幅成分と位相成分に劣化を与えるため、結像位置での像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。
【００２４】
また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて、例えばＲＧＢの色成分として取得することで発生する。したがって、ＲＧＢ間で結像位置がずれることはもとより、各色成分内にも波長ごとの結像位置のずれ、すなわち位相ずれによる像の広がりが発生する。よって、正確には倍率色収差は単なる平行シフトの色ずれではなく、例えばＧチャンネルといったある色チャンネルの像の広がりにも影響している。
【００２５】
「画像回復処理」
光学伝達関数（ＯＴＦ）の振幅（ＭＴＦ）の劣化と位相（ＰＴＦ）の劣化を補正する方法として、光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正するものが知られている。この方法は画像回復や画像復元と呼ばれており、以下、本明細書では、この光学系の光学伝達関数（ＯＴＦ）の情報を用いて画像の劣化を補正する処理を、画像回復処理（または回復処理）と記す。
【００２６】
撮像装置により生成された入力画像（劣化画像）をｇ（ｘ，ｙ）とし、元の画像（劣化していない画像）をｆ（ｘ，ｙ）とし、光学伝達関数（ＯＴＦ）のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする場合、以下の式が成り立つ。ただし、＊はコンボリューション（畳み込み積分または積和）を示し、（ｘ，ｙ）は入力画像上の座標（位置）を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
この式をフーリエ変換して周波数面での表示形式に変換すると、以下の式のように周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）ｈをフーリエ変換したものであり、光学伝達関数（ＯＴＦ）に相当する。Ｇ，Ｆはそれぞれ、ｇ，ｆをフーリエ変換したものである。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
撮像装置により生成された劣化画像から元の画像を得るためには、以下のように、上記式の両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。
【００２７】
ここで、Ｈ−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像ｆ（ｘ，ｙ）に相当する回復画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
Ｒ（ｘ，ｙ）が画像回復フィルタである。入力画像が２次元であるとき、一般に画像回復フィルタも該２次元画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、一般に画像回復フィルタのタップ数（セル数）が多いほど画像回復精度が向上するため、出力画像としての要求画質、画像処理装置としての画像処理能力、撮影光学系の収差の特性等に応じて実現可能なタップ数を設定する。
【００２８】
画像回復フィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）等とは全く異なる。また、画像回復フィルタは、光学伝達関数（ＯＴＦ）に基づいて生成されるため、劣化画像（入力画像）における振幅成分と位相成分の劣化をともに高精度に補正することができる。
【００２９】
また、実際の入力画像にはノイズ成分が含まれる。このため、上記のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像が回復されるだけでなくノイズ成分が大幅に増幅されてしまう。これは、入力画像の振幅成分にノイズの振幅が付加されている状態に対して撮影光学系のＭＴＦ（振幅成分）を全周波数にわたって１に戻すようにＭＴＦを持ち上げるためである。撮影光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズ成分のパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合い、すなわち回復ゲインに応じてノイズが増幅されてしまう。
【００３０】
したがって、ノイズ成分がある入力画像からは鑑賞用画像として良好な回復画像が得られない。これを式で示すと以下のように表せる。Ｎはノイズ成分を表す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）
この点については、例えば、式（１）に示すウィナーフィルタのように画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合いを制御する方法が知られている。
【００３１】
【数１】
【００３２】
Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性を示し、｜Ｈ（ｕ，ｖ）｜は光学伝達関数（ＯＴＦ）の絶対値（ＭＴＦ）を示す。この方法は、周波数ごとに、ＭＴＦが小さいほど回復ゲインを抑制し、ＭＴＦが大きいほど回復ゲインを強くするものである。一般に、撮影光学系のＭＴＦは、低周波数側が高く、高周波数側が低くなるため、実質的に画像信号の高周波数側の回復ゲインを抑制する方法となる。
【００３３】
画像回復フィルタを図５および図６を用いて説明する。画像回復フィルタは、撮影光学系の収差特性や要求される画像回復精度に応じてタップ数が決められる。図５では、例として、１１×１１タップの２次元画像回復フィルタを示している。図５では、各タップ内の値（係数値）を省略しているが、この画像回復フィルタの１つの断面を図６に示す。画像回復フィルタの各タップ内の値の分布が、収差によって空間的に広がった信号値（ＰＳＦ）を、理想的には元の１点に戻す役割を果たす。
【００３４】
画像回復処理では、画像回復フィルタの各タップの値が、入力画像における各タップに対応する各画素に対してコンボリューション（畳み込み積分や積和ともいう）される。コンボリューションの処理では、ある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、入力画像と画像回復フィルタの対応画素ごとに入力画像の信号値と画像回復フィルタのタップの値（係数値）との積をとり、その総和を中心画素の信号値として置き換える。
【００３５】
画像回復処理の実空間と周波数空間での特性を図７および図８を用いて説明する。図７の（ａ）は画像回復前のＰＳＦを示し、（ｂ）は画像回復後のＰＳＦを示している。また、図８の（Ｍ）の（ａ）は画像回復前のＭＴＦを示し、（Ｍ）の（ｂ）は画像回復後のＭＴＦを示している。さらに、図８の（Ｐ）の（ａ）は画像回復前のＰＴＦを示し、（Ｐ）の（ｂ）は画像回復後のＰＴＦを示している。画像回復前のＰＳＦは非対称な広がりを持っており、この非対称性によりＰＴＦは周波数に対して非直線的な値を持つ。画像回復処理は、ＭＴＦを増幅し、ＰＴＦを零に補正するため、画像回復後のＰＳＦは対称で、かつ鮮鋭になる。
【００３６】
画像回復フィルタの作成法については、撮影光学系の光学伝達関数（ＯＴＦ）の逆関数に基づいて設計した関数を逆フーリエ変換して得ることができる。例えば、ウィナーフィルタを用いる場合、式（１）を逆フーリエ変換することで、実際に入力画像に畳み込む実空間の画像回復フィルタを作成することができる。
【００３７】
また、光学伝達関数（ＯＴＦ）は、同じ撮影条件であっても撮影光学系の像高（画像上での位置）に応じて変化するので、画像回復フィルタは像高に応じて変更して使用される。
【００３８】
以下、本発明の具体的な実施例について説明する。
【実施例１】
【００３９】
図９には、本発明の実施例１である撮像装置の構成を示している。撮像装置は、不図示の被写体からの光は、撮影光学系１０１に入射する。撮影光学系１０１から射出した光は、マイクロレンズアレイ１０１ｃを通って撮像素子１０２に導かれる。撮像素子１０２は、撮影光学系１０１とマイクロレンズアレイ１０１ｃにより形成された光学像を光電変換し、アナログ撮像信号を出力する。アナログ撮像信号は、Ａ／Ｄコンバータ１０３によりデジタル撮像信号に変換され、画像処理部１０４に入力される。
【００４０】
画像処理部１０４は、デジタル撮像信号に対して各種画像処理を行って第１の画像としての入力画像を生成し、さらに該入力画像に対して画像回復処理を行う。画像処理部１０４は、状態検知部１０７から、入力画像を生成した際における撮像装置の撮影条件に関する情報（以下、撮影条件情報という）を取得する。撮影条件情報とは、絞り値、撮影距離および撮影光学系がズームレンズである場合の焦点距離等を含む。
【００４１】
状態検知部１０７は、システムコントローラ１１０から直接、撮影条件情報を取得してもよいし、撮影光学系に関する撮影条件情報については撮影光学系制御部から取得してもよい。
【００４２】
画像処理部１０４は、撮影条件情報に応じた画像回復フィルタを得る。具体的には、記憶部１０８に予め記憶された複数の画像回復フィルタから撮影条件情報に応じた画像回復フィルタを選択したり、記憶された画像回復フィルタを用いて撮影条件情報に応じた画像回復フィルタを新たに生成したりする。また、画像処理部１０４は、記憶部１０８に予め記憶された複数の光学伝達関数（ＯＴＦ）から撮影条件情報に応じた光学伝達関数を選択したり、記憶された光学伝達関数を用いて撮影条件情報に応じた画像回復フィルタを新たに生成したりしてもよい。さらに、画像処理部１０４は、記憶された光学伝達関数を用いて撮影条件情報に応じた光学伝達関数を新たに作成し、その光学伝達関数をフーリエ変換することにより画像回復フィルタを生成してもよい。
【００４３】
そして、画像処理部１０４は、入力画像に対して、取得した画像回復フィルタを用いて画像回復処理を行い、さらに画像回復処理後の画像（回復画像）を用いて画像再構成処理を行う。ここでの具体的な処理については後述する。画像処理部１０４は、入力部、情報取得部、フィルタ取得部、処理部および画像生成部を含む画像処理装置に相当する。
【００４４】
画像処理部１０４での画像再構成処理により生成された第２の画像としての出力画像は、画像記録媒体１０９に所定のフォーマットで保存される。また、出力画像は、ＬＣＤ等により構成される表示部１０５に表示される。
【００４５】
以上の一連の処理は、システムコントローラ１１０の制御下で行われる。また、撮影光学系１０１の機械的な駆動（後述するフォーカス機構、ズーム機構および開口絞りの駆動）はシステムコントローラ１１０からの制御信号を受けた撮影光学系制御部１０６によって制御される。
【００４６】
撮影光学系１０１に含まれる開口絞り１０１ａは、その絞り開口径を増減させて絞り値（Ｆナンバー）を変化させる。
【００４７】
なお、後述する光線の位置と角度の情報（Light Field）を取得する際には、大きな光線の角度の情報を取得するために、開口絞り１０１ａを開放絞り開口径等の大きい絞り開口径に固定してもよい。
【００４８】
また、本実施例の撮像装置では、画像処理部１０４による画像再構成処理によって入力画像を生成した後のＦナンバーの制御が可能である。このため、絞り開口径の小さな焦点深度の深い出力画像は、入力画像を生成するための撮像後に生成することができる。
【００４９】
主レンズ群１０１ｂは、１枚または複数枚のレンズにより構成され、変倍レンズやフォーカスレンズを含む。撮像装置は、変倍レンズを光軸方向に移動させて変倍を行うズーム機構と、フォーカスレンズを光軸方向に移動させてピント調節を行うフォーカス機構とを有する。フォーカス機構には、オートフォーカス（ＡＦ）を行うためにフォーカスレンズを移動させるアクチュエータを含むＡＦ機構や、不図示のフォーカス操作リングの手動操作よってフォーカスレンズを移動させるマニュアルフォーカス機構を含む。
【００５０】
なお、本実施例の撮像装置では、画像処理部１０４による画像再構成処理により入力画像の生成のための撮像を行った後に、フォーカス位置調整（リフォーカス）された出力画像の生成が可能である。このため、フォーカス機構を含まなくてもよい。
【００５１】
ただし、光線の位置と角度の情報量は有限であるため、撮像時のフォーカスレンズ位置に対する出力画像中でのフォーカス位置調整範囲も有限となる。したがって、撮影光学系１０１の光学的なフォーカス機構を動作させて、基準被写体にピントを合わせた状態で入力画像を生成するための撮像を行うことで、主要被写体の前後の位置に対するリフォーカスを良好に行うことができる。
【００５２】
マイクロレンズアレイ１０１ｃは、撮影光学系１０１と撮像素子１０２との間に配置される。マイクロレンズアレイ１０１ｃは、例えば、図１０に示すように、２次元配列された複数のマイクロレンズ１０１ｄにより構成されている。各マイクロレンズ１０１ｄは、円形の開口を有している。図１０では、説明のためにマイクロレンズ１０１ｄの数を７×７としているが、実際のマイクロレンズアレイでは、数百×数百や数千×数千といった多数のマイクロレンズを有する。
【００５３】
また、マイクロレンズ１０１ｄは、固体レンズ、液体レンズ、液晶レンズおよび回折光学素子等、屈折力が可変である光学素子を含めて様々な光学素子により形成することができる。また、マイクロレンズ１０１ｄのレンズ面の形状は、入射面と射出面のうち少なくとも一方が球面や非球面等の曲面であってもよいし、入射面と射出面のうち一方が平面であってもよい。
【００５４】
図９に示す撮影光学系１０１、マイクロレンズアレイ１０１ｃおよび撮像素子１０２の具体的な構成を図１に示す。
図１は、主レンズ群１０１ｂおよび開口絞り１０１ａにより構成される撮影光学系１０１の結像位置に、マイクロレンズアレイ１０１ｃを配置し、その後方（被写体側とは反対側）に撮像素子１０２を配置した構成を示す。撮像素子１０２は、マイクロレンズアレイ１０１ｃに関して撮影光学系１０１の射出瞳と共役な位置に配置されている。先にも説明したように、マイクロレンズアレイ１０１ｃは、例えば点Ａのような被写体空間のある１点を通る光線群と、点Ａの近傍の点を通る光線とが撮像素子１０２上で混ざらないようにするセパレータの役割を有する。
【００５５】
図１から分かるように、実線で示した点Ａからの上線、主光線および下線はそれぞれ、撮像素子１０２上の互いに異なる画素で受光されるため、点Ａを通る光線群を光線の角度ごとに分離して取得することができる。破線で示した別の点を通る光線についても同様である。また、マイクロレンズアレイ１０１ｃの各マイクロレンズは、撮影光学系１０１の射出瞳の像を撮像素子１０２上に結像させている。このため、撮像素子１０２上では、その一部を拡大した図１１に示すように、各マイクロレンズから見た撮影光学系１０１の射出瞳の像が２次元状に配列するように形成される。図１１では、１つの円形像がおよそ１１×１１画素により取得されているので、例えば点Ａを通る光線群の角度情報を１１×１１の角度分解能で取得していることになる。
【００５６】
また、撮影光学系１０１には、ローパスフィルタや赤外線カットフィルタ等の光学素子を挿入してもよい。ただし、ローパスフィルタ等の光学伝達関数（ＯＴＦ）の特性に影響を与える光学素子を挿入する場合には、画像回復フィルタの作成においてその考慮が必要になる。また、赤外カットフィルタを挿入する場合においても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、画像回復フィルタの作成においてその考慮が必要になる。
【００５７】
図１２には、本実施例における画像処理方法の手順を示している。この画像処理方法は、コンピュータにより構成される画像処理部１０４が、コンピュータプログラムとしての画像処理プログラムに従って実行する。
【００５８】
ステップＳ１１では、画像処理部１０４は、入力画像（以下、撮影画像ともいう）を生成することで取得する。ここでいう撮影画像とは、図１１に示した撮影光学系１０１の射出瞳の像を光電変換して得られる画像である。
【００５９】
次にステップＳ１２では、画像処理部１０４は、撮像装置が撮影画像を生成した際の撮影条件情報を得る。そして、撮影条件に応じた（適した）画像回復フィルタを得る。具体的には、前述したように、記憶部１０８に予め記憶された複数の画像回復フィルタから撮影条件情報に応じた画像回復フィルタを選択したり、記憶された画像回復フィルタを用いて撮影条件情報に応じた画像回復フィルタを新たに生成したりする。画像回復フィルタを新たに生成するには、例えば、離散的に選択された焦点距離、絞り値および撮影距離等の撮影条件に応じた画像回復フィルタのデータを予め記憶部１０８にメモリに記憶しておく。そして、実際の撮影条件が記憶部１０８に記憶された撮影条件と異なるときは、記憶された撮像条件のうち実際の撮像条件に近い複数の撮像条件に対応する画像回復フィルタを用いた補間演算により実際の撮影条件に対応する画像回復フィルタを生成する。これにより、予めメモリに記憶させる画像回復フィルタのデータ量を削減することができる。補間処理の方法としては、バイリニア補間（線形補間）やバイキュービック補間等が挙げられるが、どのような方法であってもよい。
【００６０】
また、撮影画像内での位置により画像回復フィルタを変更する場合にも、同様に、撮影画像内での離散的な特定位置に対して予め保持された画像回復フィルタ群から、それらの特定位置の間の位置に対応する画像回復フィルタを補間処理により生成する。
【００６１】
なお、記憶部１０８に予め保持するデータを、画像回復フィルタではなく、ＰＳＦ、ＯＴＦ、ＭＴＦおよびＰＴＦ等、画像回復フィルタを生成する元となるデータとして、このデータから撮影条件に応じた画像回復フィルタを演算により生成してもよい。
【００６２】
次にステップＳ１３では、画像処理部１０４は、ステップＳ１２で得た画像回復フィルタを用いて、撮影画像に対して画像回復処理を行い、画像回復処理後の撮影画像としての回復画像を得る。図１３には、１つのマイクロレンズが、撮影光学系１０１の射出瞳の像を撮像素子１０２上に結像させる様子を示している。また、図１４（ａ）は、図１３に示したマイクロレンズに収差がない場合の理想的な射出瞳像の断面を示している。しかし、実際には、図１４（ｂ）に示すように、マイクロレンズにて色収差や非対称収差が発生する。図１４（ｂ）中の実線および破線は、撮影画像の２つの色成分を表している。
【００６３】
図１４（ｃ）には、マイクロレンズの光学伝達関数（ＯＴＦ）に基づいて生成した画像回復フィルタを用いて、図１４（ｂ）に示す劣化画像を回復処理した結果の回復画像を示している。回復画像は、色収差および非対称収差が補正され、かつ尖鋭化される。
【００６４】
画像回復フィルタの設計にあたっては、回復度合い（回復ゲイン）を高く設計するほど回復画像は図１４（ａ）に示す理想的な画像に近づく。しかし、尖鋭化とともにノイズも増幅してしまうため、回復度合いを適宜調整することで、画像の尖鋭化とノイズ量とのバランスを適切に設定することができる。この結果、図１４（ｃ）に示すような回復画像が得られる。
【００６５】
また、図４（ｂ）から分かるように、撮影光学系の収差も光線の位置と角度の情報を劣化させる要因となり得る。すなわち、マイクロレンズが無収差であっても、撮影光学系の射出瞳に収差が発生しているためである。したがって、この場合、図１４（ｂ）に示す劣化画像に含まれる光線の位置と角度の情報は、撮影光学系とマイクロレンズの収差によって劣化している。これを補正するためには、撮影光学系のＯＴＦとマイクロレンズのＯＴＦとに基づいて画像回復フィルタを生成し、劣化画像に対して画像回復処理を行うことで、撮影光学系とマイクロレンズの収差による劣化を良好に補正した回復画像が得られる。
【００６６】
上述した画像回復処理は、収差により広がりをもったＰＳＦを理想的には点像に補正する処理である。しかし、図１４（ａ）に示す理想的な画像とは、撮影光学系の結像位置から離れた位置で捉えられるデフォーカス画像である。このため、画像回復フィルタの生成方法が、一般的な画像回復処理とは異なる。
【００６７】
すなわち、本実施例で用いる画像回復フィルタは、式（２）に基づいて生成される。
【００６８】
【数２】
【００６９】
Ｒ（ｕ，ｖ）は画像回復フィルタの周波数特性を示し、Ｈ（ｕ，ｖ）は光学伝達関数（ＯＴＦ）を示す。ｒＨ（ｕ，ｖ）は回復後の目標とするＯＴＦを示し、Ｃは回復度合いの制御パラメータである。
【００７０】
被写体が点像である場合、被写体の周波数特性はＨ（ｕ，ｖ）であるので、これにＲ（ｕ，ｖ）を掛けた式（３）は、回復後のＯＴＦを示している。
【００７１】
【数３】
【００７２】
式（３）において、Ｃ＝０として最大の回復度合いとしたとき、回復後のＯＴＦは目標とするｒＨ（ｕ，ｖ）となる。回復度合いが最大に満たない場合にも、目標とするｒＨ（ｕ，ｖ）に近づいていくことが分かる。式（１）に示した従来のウィナーフィルタを用いると、光線の位置と角度の情報を取得するために取得したデフォーカス画像をピントが合った点像に補正してしまうため、目的の情報を取得することができなくなってしまう。
【００７３】
また、式（３）でｒＨ（ｕ，ｖ）を実部のみとし、さらに（ｕ，ｖ）の周波数空間で（０，０）に対して回転対称とすることで、位相が補正され、振幅が回転対称になるため、回復後の画像の非対称性を除去することができる。位相のみが補正された状態では、像の広がりは点対称になるが回転対称にはならない。さらに、振幅が回転対称に補正されることで、像も回転対称となる。
【００７４】
また、式（４）に示した画像回復フィルタを用いることで、位相の劣化のみを補正することもできる。
【００７５】
【数４】
【００７６】
ここで、ステップＳ１３にて画像回復処理により補正された回復画像は、撮像装置の記憶部１０８に一時的に保存され、以下のステップＳ１４にて記憶部１０８から読み出される。
【００７７】
ただし、以下の方法によれば、回復画像を記憶部１０８に一時的に保存しなくてもよい。まず、撮影画像の一部の領域に対して画像回復処理を行い、該処理を受けた領域に対して画像再構成処理を行って出力画像の一部の領域を生成する。次に、撮影画像における画像回復処理を行う領域を変更して、同様に出力画像の一部の領域を生成する。これを撮影画像の全体に対する画像回復処理と画像再構成処理が終了するまで繰り返すことで、出力画像の全体を生成することができる。この方法によれば、記憶部１０８の容量が小さい場合でも、その容量が不足することなく出力画像を生成することができる。
【００７８】
次にステップＳ１４では、画像処理部１０４は、ステップＳ１３にて生成された回復画像に対して画像再構成処理を実行する。画像再構成処理の具体的な方法については、非特許文献１に記載されている通りである。概要としては、撮影画像の取得後のフォーカス位置、Ｆナンバーおよび視点の変更等、出力画像の目的に応じて撮像素子１０２上の位置に変換された各光線の位置と角度ごとの強度を再配置する。
【００７９】
なお、１つの撮影画像から、フォーカス位置、Ｆナンバーおよび視点等が互いに異なる複数の出力画像を生成することもできる。すなわち、撮影画像として各光線の位置と角度の情報を取得することで、あたかも撮影条件を変えて取得したような複数の出力画像を生成することができる。
【実施例２】
【００８０】
図２および図３には、本発明の実施例２である撮像装置の撮影光学系１０１、マイクロレンズアレイ１０１ｃおよび撮像素子１０２の配置を２種類示している。撮像装置全体の構成は、図９に示した構成と同じである。
【００８１】
図２では、マイクロレンズアレイ１０１ｃを撮影光学系１０１（主レンズ群１０１ｂ）の結像位置よりも後方に配置し、撮影光学系１０１にて結像した光をマイクロレンズアレイ１０１ｃの各マイクロレンズにより撮像素子１０２上に再結像させる。これにより、点Ａを通る光線群を光線の角度ごとに分離して取得することができる。図１５には、図２に示す構成において、１つのマイクロレンズが撮影光学系１０１の空中像を撮像素子１０２上に再結像させる様子を示している。
【００８２】
また、図３では、マイクロレンズアレイ１０１ｃを撮影光学系１０１（主レンズ群１０１ｂ）の結像位置よりも前方に配置し、撮影光学系１０１からの光をマイクロレンズアレイ１０１ｃの各マイクロレンズにより撮像素子１０２上に結像させる。これにより、点Ａを通る光線群を光線の角度ごとに分離して取得することができる。
【００８３】
図２および図３のいずれにおいても、マイクロレンズアレイ１０１ｃは、撮影光学系１０１の結像位置から離れた位置に配置され、該結像位置と共役な位置に配置された撮像素子１０２上に撮影光学系１０１からの光を結像させる。ただし、図２では各マイクロレンズは撮影光学系１０１の実像を再結像させるのに対し、図３では各マイクロレンズは撮影光学系１０１の虚像を結像させる。
【００８４】
図２や図３に示す構成では、マイクロレンズは撮影光学系１０１の空中像を撮像素子１０２上に再結像させるため、撮像素子１０２上には撮影光学系１０１の空中像が繰り返し配列されることになる。撮像素子１０２上にて繰り返される像は、それらを形成する光線の角度が少しずつ異なっているため、実施例１とは画像再構成処理の再配置パターンが異なるものの、同様に画像再構成処理を行うことができる。
【００８５】
図２および図３に示す構成のいずれにおいても、マイクロレンズは撮影光学系１０１の空中像を撮像素子１０２上に結像させる。このため、撮像素子１０２上には、その一部を拡大した図１１に示すように、各マイクロレンズにより再結像された撮影光学系１０１の空中像が２次元状に配列する。隣り合うマイクロレンズのそれぞれにより撮像素子１０２上に再結像される空中像は互いにオーバーラップする部分を含み、そのオーバーラップ部分が撮像素子１０２上の位置に応じてシフトしていく。２つのマイクロレンズにより再結像される空中像のうちオーバーラップする部分は、被写体の同一点を互いに異なる２つの角度から撮影することで得られる像に相当する。
【００８６】
角度分解能については、図２および図３に示したように、ある点Ａからの光線群をいくつのマイクロレンズで分離するかによって決定される。例えば、図２および図３に示す一断面では、点Ａからの光線群を４分割して様子を示している。
【００８７】
本実施例における画像処理方法の手順は、実施例１で図１２を用いて説明した手順と同様である。ただし、ステップＳ１１で取得する撮影画像は、図１１を用いて説明したように、撮影光学系１０１の空中像を各マイクロレンズで再結像した像を光電変換して得られた画像である。
【００８８】
また、本実施例における画像回復処理の概要は、実施例１でも用いた図１４（ａ）〜（ｂ）に示す通りである。ただし、本実施例においては、図１４（ａ）は、図１５に示したマイクロレンズに収差がない場合の理想的な射出瞳像の断面を示す。
【００８９】
なお、本実施例では、撮像素子１０２上に形成される像は被写体の実像であるため、撮像素子１０２上への像形成についてはマイクロレンズを撮影光学系１０１の一部と考えてＯＴＦを生成し、画像回復フィルタを生成することができる。具体的には、撮影光学系１０１のＯＴＦとマイクロレンズのＯＴＦとを掛け合わせることで、光学系全体のＯＴＦを生成することができる。
【実施例３】
【００９０】
実施例１，２では、画像処理方法を使用する（画像処理装置を搭載した）撮像装置について説明したが、本発明の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが本発明の画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の撮影画像（入力画像）を、該撮像装置から有線／無線通信を介して、または他のパーソナルコンピュータからインターネット等の回線を介して取得する。撮影画像が記録された画像記録媒体を介して該撮影画像を取得してもよい。そして、撮影画像を取得したパーソナルコンピュータは、画像処理プログラムによって画像回復処理を行い、その結果得られた回復画像を出力する。
【００９１】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【００９２】
Plenoptic Cameraにおいて良好な出力画像が得られる画像処理方法を提供できる。
【符号の説明】
【００９３】
１０１ 撮影光学系
１０２ 撮像素子
１０１ｃ マイクロレンズアレイ
【特許請求の範囲】
【請求項１】
撮影光学系からの光を光学素子アレイを通して撮像素子に導く撮像装置を用いて生成された第１の画像から第２の画像を生成する画像処理方法であって、
前記第１の画像および該第１の画像を生成した際の前記撮像装置における撮影条件に関する情報を得るステップと、
前記撮影条件に関する情報と前記撮影光学系および前記光学素子アレイのそれぞれの光学伝達関数とに応じた画像回復フィルタを得るステップと、
前記画像回復フィルタを用いて前記第１の画像に対して画像回復処理を行うステップと、
前記画像回復処理が行われた前記第１の画像から前記第２の画像を生成するステップとを有することを特徴とする画像処理方法。
【請求項２】
前記撮像装置において、
前記光学素子アレイは、前記撮影光学系の結像位置に配置されており、
前記撮像素子は、前記光学素子アレイに関して前記撮影光学系の射出瞳と共役な位置に配置されており、
前記第１の画像は、前記射出瞳の像が前記撮像素子によって光電変換されることにより生成された画像であることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記撮像装置において、
前記光学素子アレイは、前記撮影光学系の結像位置から離れた位置に配置され、該結像位置と共役な位置に配置された前記撮像素子上に前記撮影光学系からの光を結像させ、
前記第１の画像は、前記撮影光学系の空中像が前記撮像素子によって光電変換されることにより生成された画像であることを特徴とする請求項１に記載の画像処理方法。
【請求項４】
撮影光学系からの光を光学素子アレイを通して撮像素子に導く撮像装置を用いて生成された第１の画像から第２の画像を生成する画像処理装置であって、
前記第１の画像および該第１の画像を生成した際の前記撮像装置における撮影条件に関する情報を得る入力部と、
前記撮影条件に関する情報と前記撮影光学系および前記光学素子アレイのそれぞれの光学伝達関数とに応じた画像回復フィルタを得るフィルタ取得部と、
前記画像回復フィルタを用いて前記第１の画像に対して画像回復処理を行う処理部と、
前記画像回復処理が行われた前記第１の画像から前記第２の画像を生成する画像生成部とを有することを特徴とする画像処理装置。
【請求項５】
撮影光学系からの光を光学素子アレイを通して撮像素子に導く撮像装置であって、
請求項４に記載の画像処理装置を有することを特徴とする撮像装置。
【請求項６】
コンピュータに、撮影光学系からの光を光学素子アレイを通して撮像素子に導く撮像装置を用いて生成された第１の画像から第２の画像を生成させる画像処理プログラムであって、
前記第１の画像および該第１の画像を生成した際の前記撮像装置における撮影条件に関する情報を得るステップと、
前記撮影条件に関する情報と前記撮影光学系および前記光学素子アレイのそれぞれの光学伝達関数とに応じた画像回復フィルタを得るステップと、
前記画像回復フィルタを用いて前記第１の画像に対して画像回復処理を行うステップと、
前記画像回復処理が行われた前記第１の画像から前記第２の画像を生成するステップとを有することを特徴とする画像処理プログラム。
【請求項１】
撮影光学系からの光を光学素子アレイを通して撮像素子に導く撮像装置を用いて生成された第１の画像から第２の画像を生成する画像処理方法であって、
前記第１の画像および該第１の画像を生成した際の前記撮像装置における撮影条件に関する情報を得るステップと、
前記撮影条件に関する情報と前記撮影光学系および前記光学素子アレイのそれぞれの光学伝達関数とに応じた画像回復フィルタを得るステップと、
前記画像回復フィルタを用いて前記第１の画像に対して画像回復処理を行うステップと、
前記画像回復処理が行われた前記第１の画像から前記第２の画像を生成するステップとを有することを特徴とする画像処理方法。
【請求項２】
前記撮像装置において、
前記光学素子アレイは、前記撮影光学系の結像位置に配置されており、
前記撮像素子は、前記光学素子アレイに関して前記撮影光学系の射出瞳と共役な位置に配置されており、
前記第１の画像は、前記射出瞳の像が前記撮像素子によって光電変換されることにより生成された画像であることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記撮像装置において、
前記光学素子アレイは、前記撮影光学系の結像位置から離れた位置に配置され、該結像位置と共役な位置に配置された前記撮像素子上に前記撮影光学系からの光を結像させ、
前記第１の画像は、前記撮影光学系の空中像が前記撮像素子によって光電変換されることにより生成された画像であることを特徴とする請求項１に記載の画像処理方法。
【請求項４】
撮影光学系からの光を光学素子アレイを通して撮像素子に導く撮像装置を用いて生成された第１の画像から第２の画像を生成する画像処理装置であって、
前記第１の画像および該第１の画像を生成した際の前記撮像装置における撮影条件に関する情報を得る入力部と、
前記撮影条件に関する情報と前記撮影光学系および前記光学素子アレイのそれぞれの光学伝達関数とに応じた画像回復フィルタを得るフィルタ取得部と、
前記画像回復フィルタを用いて前記第１の画像に対して画像回復処理を行う処理部と、
前記画像回復処理が行われた前記第１の画像から前記第２の画像を生成する画像生成部とを有することを特徴とする画像処理装置。
【請求項５】
撮影光学系からの光を光学素子アレイを通して撮像素子に導く撮像装置であって、
請求項４に記載の画像処理装置を有することを特徴とする撮像装置。
【請求項６】
コンピュータに、撮影光学系からの光を光学素子アレイを通して撮像素子に導く撮像装置を用いて生成された第１の画像から第２の画像を生成させる画像処理プログラムであって、
前記第１の画像および該第１の画像を生成した際の前記撮像装置における撮影条件に関する情報を得るステップと、
前記撮影条件に関する情報と前記撮影光学系および前記光学素子アレイのそれぞれの光学伝達関数とに応じた画像回復フィルタを得るステップと、
前記画像回復フィルタを用いて前記第１の画像に対して画像回復処理を行うステップと、
前記画像回復処理が行われた前記第１の画像から前記第２の画像を生成するステップとを有することを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−６２５８７（Ｐ２０１３−６２５８７Ａ）
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願番号】特願２０１１−１９８２８６（Ｐ２０１１−１９８２８６）
【出願日】平成２３年９月１２日（２０１１．９．１２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願日】平成２３年９月１２日（２０１１．９．１２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]