画像処理装置及び画像処理方法
【課題】 ＲＡＷ画像に対する画像回復処理において生じる色付きを抑制可能な画像処理装置および画像処理方法を提供する。
【解決手段】 ＲＡＷ画像のうち予め定めた基準の色成分について画素補間処理を行い、基準の色成分以外の色成分の各々について、値を有する画素と画素補間処理後の基準の色成分の対応する画素とから、色差を取得する。画像回復処理を各色成分に対して適用した後、再度色差を取得し、画像回復処理前後における色差の変化に応じて画素値を補正する。
【解決手段】 ＲＡＷ画像のうち予め定めた基準の色成分について画素補間処理を行い、基準の色成分以外の色成分の各々について、値を有する画素と画素補間処理後の基準の色成分の対応する画素とから、色差を取得する。画像回復処理を各色成分に対して適用した後、再度色差を取得し、画像回復処理前後における色差の変化に応じて画素値を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、特に画像回復処理を用いた画像補正技術に関する。
【背景技術】
【０００２】
撮像装置で被写体を撮像して得られた画像には、特に撮像光学系の収差の影響による画質劣化が生じている。例えば、画像のぼけは、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等による画質劣化である。光の波としての性質である回折の影響を無視すれば、被写体の一点から出た光束は収差のない撮像光学系によって撮像面上で同じ大きさの一点（集光店）に結像される。しかしながら実際には、回折の影響に加え、撮像光学系の収差により、集光点から広がりをもって結像される。
【０００３】
撮像光学系の点像分布関数（ＰＳＦ: Point Spread Function）は、集光点付近の強度分布、すなわち回折および撮像光学系の収差による像のぼけを表すため、ぼけ成分と呼ぶことにする。このぼけ成分は、いわゆるピントがずれていることによるぼけではなく、ピントが合っていても、光の回折や撮像光学系の収差によって生じるぼけを意味する。
【０００４】
また、カラー画像での色にじみも、撮像光学系の軸上色収差、色の球面収差、色のコマ収差に起因するものに関しては、光の波長に応じたぼけ方の相違ということができる。また、横方向の色ズレも、光学系の倍率色収差に起因したものに関しては、光の波長に応じた撮像倍率の相違による位置ずれまたは位相ずれということができる。
【０００５】
点像分布関数をフーリエ変換して得られる光学伝達関数（ＯＴＦ： Optical Transfer Function）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数の絶対値、即ち振幅成分をＭＴＦ(Modulation Transfer Function)と呼び、位相成分をＰＴＦ(Phase Transfer Function)と呼ぶ。ＭＴＦ、ＰＴＦはそれぞれ収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分ＰＴＦを位相角として以下の式で表す。なお、Ｒｅ（ＯＴＦ）、Ｉｍ（ＯＴＦ）は、それぞれ光学伝達関数の実部、虚部を表す。
ＰＴＦ＝ｔａｎ-1（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ）） ・・・（式１）
【０００６】
このように、撮像光学系の光学伝達関数が画像の振幅成分と位相成分の両方を劣化させるため、被写体像の各点は、コマ収差がある場合のように、集光点に対して非対称にぼけている。
【０００７】
また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれる現象である。通常撮像素子にはＲＧＢのカラーモザイクフィルタが設けられており、各画素ではＲＧＢのいずれか一つの色成分を取得するように構成されている。従って、Ｒの波長、Ｇの波長、及びＢの波長間で結像位置がずれることはもとより、取得した各色成分内にも波長ごとの結像位置のずれ、即ち位相ずれによる像の広がりが発生する。よって、厳密には倍率色収差は単なる平行シフトの色ズレではないが、特に説明が無い限り本明細書では色ズレと倍率色収差とを同義として用いる。
【０００８】
撮像光学系の光学伝達関数の情報を用い、振幅成分（ＭＴＦ）および位相成分（ＰＴＦ）の劣化を補正する、画像回復や画像復元と呼ばれる方法が知られている。そのため、以下では、撮像光学系の光学伝達関数の情報を用いて画像の劣化を補正する処理を画像回復処理と呼ぶ。
【０００９】
ここで、画像回復処理の概要を示す。劣化した画像をｇ（ｘ，ｙ）、元の画像をｆ（ｘ，ｙ）、撮像光学系の光学伝達関数を逆フーリエ変換したものである点像分布関数をｈ（ｘ，ｙ）としたとき、以下の式が成り立つ。ただし、演算子”＊”はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示すものとする。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） ・・・（式２）
【００１０】
また、この式をフーリエ変換して２次元周波数面での表示形式に変換すると、以下の式のように周波数毎の積の形式になる。Ｈは点像分布関数をフーリエ変換したものであるので光学伝達関数である。（ｕ，ｖ）は２次元周波数面での座標、即ち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） ・・・（式３）
【００１１】
撮像された劣化画像から元の画像を得るためには、以下のように両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） ・・・（式４）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで元の画像ｆ（ｘ，ｙ）が回復像として得られる。
【００１２】
ここで、上式の１／Ｈを逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで同様に元の画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） ・・・（式５）
【００１３】
このＲ（ｘ，ｙ）を画像回復フィルタと呼ぶ。２次元画像に適用する画像回復フィルタは一般に、画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また一般に、画像回復フィルタのタップ数（セルの数）が多いほど回復精度が向上するが、実際のタップ数は要求画質、画像処理能力、収差の特性等に応じて設定される。画像回復フィルタは、撮像光学系の収差の特性を反映する光学伝達関数に基づいているため、振幅成分および位相成分の劣化をともに高精度に補正することができる。このような画像回復フィルタは、水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）のような２次元フィルタとは根本的に異なるものである。
【００１４】
例えば、特許文献１には、生体内部を観察するための蛍光内視鏡の撮像画像のうち、合焦範囲外となる部分について、使用する蛍光波長に応じた点像分布関数を用いて像のぼけを解消する手法が開示されている。
【００１５】
なお、実際の画像にはノイズ成分があるため、光学伝達関数の完全な逆数をとって作成した画像回復フィルタを用いると、ノイズ成分が増幅されてしまい、高画質の回復画像を得ることができない。光学伝達関数の完全な逆数をとって作成した画像回復フィルタは、撮像光学系のＭＴＦが全周波数に渡って１となるようにＭＴＦを補正（増加）することで、撮像光学系による振幅劣化を回復する。そのため、画像の振幅成分にノイズの振幅が付加されていると、ＭＴＦとともにノイズのパワースペクトルも上昇し、結果的にＭＴＦの回復度合（回復ゲイン）に応じてノイズが増幅されてしまう。
【００１６】
そのため、例えばウィーナーフィルタのように、画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する画像回復フィルタを用いることで、回復画像におけるノイズを抑制する方法が知られている。画像の色にじみ成分の劣化の補正は、例えば、画像の色成分毎のぼけ量が均一となるようにぼけ成分を補正することで実現できる。なお、撮像光学系のズーム位置や絞り径等の撮像状態に応じて光学伝達関数が変動するため、撮像状態に応じた画像回復フィルタを用いることにより、精度の良い画像回復処理を実現することができる。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特許第３５３２３６８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１８】
このように、撮像画像に対して撮像光学系の点像分布関数を用いた画像回復処理を施すことにより、諸収差を補正して画質を向上させる技術が知られている。
しかしながら、実際の撮像では、入力画像の撮像状態と、適用する画像回復フィルタの状態が最適には一致しない場合がある。
【００１９】
例えば、立体被写体の撮像画像がその一例である。撮像装置は、オートフォーカス機能やマニュアルフォーカスにより被写体空間の１つの面に焦点を合わせて撮像するため、合焦面に位置する被写体は比較的先鋭に撮像される。しかし、他の被写体（同一被写体の、合焦面から異なる位置にある部分を含む）は合焦面からの距離に応じたぼけ量で撮像される。
【００２０】
そして、被写体距離に関する情報が、合焦面までの距離のみの場合、この被写体距離と画角に最適な画像回復フィルタを選択若しくは生成して使用することになる。その結果、合焦物体に対しては最適な画像回復フィルタが適用されるため、望ましい回復結果を得ることができるが、非合焦物体については画像回復フィルタが最適でないため、多少の回復効果はあるものの、ぼけを解消することはできない。
【００２１】
一方で、写真において被写体のぼけは、被写体の立体感や注視物体を表現するための手法として用いられている。例えば、被写界深度の浅い望遠レンズを用いて主被写体にピントを合わせ、背景を意図的にぼかす写真表現などである。このような写真表現の存在を考慮すれば、合焦被写体はより先鋭化され、非合焦被写体にはぼけが残存する上述の画像回復処理は適切とも考えられる。
【００２２】
しかし、合焦距離の被写体に最適であり、非合焦距離の被写体には最適でない画像回復フィルタを用いて画像回復処理した場合、非合焦距離の被写体に色付きが発生する場合がある。ここでの色付きとは、画像の各色成分のぼけ方の関係が画像回復処理の前後で異なることにより、画像回復処理後の画像の例えば非合焦距離の被写体（非合焦被写体）のエッジ部に、被写体に無い色（偽色）が発生することである。
【００２３】
さらに、このような色付きは立体被写体の撮像に限らず発生する場合がある。本質的には合焦しているか否かに関わらず、画像を撮像した際の収差の状態と、適用する画像回復フィルタが補正する収差の状態とが異なる場合に色付きが発生する。例えば撮像光学系の製造ばらつきや撮像時の光源分光の変動などが原因となりうる。
【００２４】
このような色付きを低減する方法として、画像回復処理前の画像の色情報に基づいて、画像回復処理後の画像の色を補正する方法がある。つまり画像の各画素において画像回復処理による色の変化を判定し、画像回復処理による色付きを低減させるという方法である。
【００２５】
ところで、撮像素子がベイヤー配列のカラーフィルタを備えている場合、撮像素子から得られる画像は各画素がＲ、Ｇ、又はＢの１つの色成分を有するＲＡＷ画像であるが、このようなＲＡＷ画像に対する画像回復処理には２通りの方法が考えられる。１つ目の方法は、ＲＡＷ画像に対して色補間処理を適用し、各画素がＲＧＢ全ての色成分を有する状態にしてから、Ｒ，Ｇ，Ｂプレーンの各々に画像回復フィルタを適用する方法である。また、２つ目の方法は、色補間処理を適用せずに、各画素が１つの色成分をもつＲＡＷ画像の状態のまま画像回復フィルタを適用する方法である。
【００２６】
各色プレーンに画像回復フィルタを適用する方法は、ＲＡＷ画像に適用する方法と比較して画像回復処理を適用する画素数と画像回復フィルタのタップ数が多くなるため、画像回復処理の負荷が著しく増大する。そのため、低処理負荷が求められる場合はＲＡＷ画像に画像回復処理を適用する方法を用いることになる。しかし、ＲＡＷ画像に画像回復処理を適用する場合も、画像を撮像した際の収差の状態と、適用する画像回復フィルタが補正する収差の状態とが異なると、ＲＡＷ画像に色補間処理を含む所謂現像処理を適用して得られる出力画像に色付きが発生することがある。出力画像の画質を向上させるためのＲＡＷ画像に対する画像回復処理において生じる色付きは、無視できない画質劣化であり、十分な抑制が必要である。
【００２７】
しかし、上述のようにＲＡＷ画像は各画素が１つの色成分しか持たないため、画像回復処理前後の色の変化を測定するために必要な色情報が存在しない。そのため、画像回復処理前の画像の色情報に基づいて画像回復処理後の画像の色を補正する上述の方法をそのまま適用することはできない。
【００２８】
特許文献１では、撮像画像の非合焦範囲に対して画像回復処理を行うことで、撮像光学系の浅い被写界深度を補おうとするものである。特許文献１記載の画像回復処理では、非業小範囲における先鋭度の向上は実現できたとしても、ＲＡＷ画像に適用した画像回復処理で発生する色付きを十分抑制することはできない。
【００２９】
本発明はこのような従来技術の課題に鑑みてなされたものであり、ＲＡＷ画像に対する画像回復処理において生じる色付きを抑制可能な画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００３０】
上述の目的は、撮像装置によって撮像された、各画素が１つの色成分を有するＲＡＷ画像における、撮像装置の撮像光学系の収差による画質の劣化を回復するための画像処理装置であって、ＲＡＷ画像のうち予め定めた基準の色成分について、画素補間処理を行う第１の画素補間手段と、ＲＡＷ画像のうち基準の色成分以外の色成分の各々について、値を有する画素と画素補間処理後の基準の色成分の対応する画素とから、色差を取得する第１の取得手段と、撮像光学系の収差を示す関数に基づいた画像回復フィルタを、ＲＡＷ画像の色成分の各々に対して適用する画像回復処理手段と、画像回復フィルタが適用されたＲＡＷ画像のうち基準の色成分について、画素補間処理を行う第２の画素補間手段と、画像回復フィルタが適用されたＲＡＷ画像のうち基準の色成分以外の色成分の各々について、値を有する画素と第２の画素補間手段による画素補間処理後の基準の色成分の対応する画素とから、色差を取得する第２の取得手段と、第１の取得手段と第２の取得手段が取得した色差の変化に応じて、画像回復フィルタが適用されたＲＡＷ画像のうち、基準の色成分以外の色成分の画素値の補正要否を判定し、補正が必要と判定された画素値を補正する画素値補正手段と、を有することを特徴とする画像処理装置によって達成される。
【発明の効果】
【００３１】
このような構成により本発明によれば、ＲＡＷ画像に対する画像回復処理において生じる色付きを抑制可能な画像処理装置および画像処理方法を提供することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施形態に係る画像処理装置の一例としての撮像装置の構成例を示すブロック図
【図２】本発明の第１の実施形態における画像回復処理部の機能構成例を示すブロック図
【図３】本発明の第１の実施形態に係る画像回復処理を示すフローチャート
【図４】ベイヤー配列の原色カラーフィルタを備える撮像素子で得られるＲＡＷ画像について説明するための図
【図５】本発明の第１の実施形態に係る画像回復処理における画素補間処理を説明するための図
【図６】本発明の実施形態に係る画像回復フィルタを説明するための図
【図７】各画素が１つの色成分のみを有するＲＡＷ画像に適用する画像回復フィルタを模式的に示す図
【図８】本発明の実施形態に係る点光源の図
【図９】本発明の第１の実施形態に係る画像回復処理の作用効果を説明するための図
【図１０】（ａ）〜（ｄ）は本発明の実施形態に係る撮像装置の撮像光学系のＭＴＦと画像回復フィルタ適用後のＭＴＦの空間周波数特性の例を示す模式図、（ｅ）は本発明の実施形態に係る撮像装置の画像回復フィルタによるＭＴＦの増減率（回復ゲイン）を示す模式図
【図１１】本発明の第１の実施形態における画像回復処理部の別の機能構成例を示すブロック図
【図１２】本発明の実施形態に係る画像回復処理の実空間と周波数空間での特性を説明するための図
【図１３】倍率色収差を考慮した画像回復フィルタの生成について説明するための図
【図１４】本発明の実施形態に係る倍率色収差補正データ生成方法を説明するための図
【図１５】本発明の第２の実施形態における画像回復処理部の機能構成例を示すブロック図
【図１６】本発明の第２の実施形態に係る画像回復処理を示すフローチャート
【図１７】本発明の第２の実施形態における画像回復処理を説明するための図
【図１８】本発明の第２の実施形態における画像回復処理を説明するための図
【図１９】本発明の第２の実施形態に係る画像回復処理の作用効果を説明するための図
【発明を実施するための形態】
【００３３】
以下、添付図面を参照して、本発明をその例示的な実施形態に基づいて詳細に説明する。以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００３４】
（撮像装置の構成）
図１は、本発明の実施形態にかかる画像処理装置の一例としての撮像装置の構成例を示すブロック図である。本実施形態では撮像光学系および撮像素子を有する撮像装置に本発明を適用した例を説明するが、本発明において撮像光学系や撮像素子といった撮像画像を生成するための構成要素は必須でない。
【００３５】
不図示の被写体の光学像を撮像光学系１０１で撮像素子１０２に結像する。撮像素子１０２で結像光が電気信号に変換され、Ａ／Ｄコンバータ１０３でデジタル信号に変換されて、画像処理部１０４に入力される。画像処理部１０４は画像回復処理部１１１と、画像回復処理以外の画像処理を行う、他の画像処理部１１２から構成される。画像回復処理部１１１は、まず、状態検知部１０７から撮像装置の撮像状態の情報を得る。状態検知部１０７は撮像装置の撮像状態の情報をシステムコントローラ１１０から直接得ても良いし、例えば撮像光学系１０１に関する撮像状態の情報は撮像光学系制御部１０６から得てもよい。
【００３６】
次に画像回復処理部１１１は、撮像状態に応じた画像回復フィルタを例えば記憶部１０８から選択し、画像回復処理部１１１は画像処理部１０４に入力された画像に対して倍率色収差補正処理および画像回復フィルタ適用処理を行う。画像回復処理部１１１の詳細については後述する。記憶部１０８で保持するデータは画像回復フィルタではなく、画像回復フィルタを生成するために必要な情報（例えば点像分布関数や光学伝達関数に関する情報）でもよい。この場合、画像回復処理部１１１は撮像状態に応じた点像分布関数又は光学伝達関数に関する情報を記憶部１０８から選択して撮像状態に応じた画像回復フィルタを生成し、この画像回復フィルタを用いて画像回復処理を行う。また、他の画像処理部１１２は画像回復処理後の画像に対し、ガンマ補正やカラーバランス調整など、所定の画像処理を行ないＪＰＥＧ等の画像ファイルを生成する。
【００３７】
画像処理部１０４で処理された出力画像は、システムコントローラ１１０が画像記録媒体１０９に所定のフォーマットで保存する。また、表示部１０５には、画像回復処理後の画像に表示用の所定の処理を行った画像を表示しても良いし、画像回復処理を行わない、又は簡易的な回復処理を行った画像を表示しても良い。
【００３８】
一連の制御はシステムコントローラ１１０で行われ、撮像光学系１０１の機械的な駆動（絞り１０１ａ、フォーカスレンズ１０１ｂ、光学ズームの駆動など）はシステムコントローラ１１０の指示により撮像光学系制御部１０６で行う。システムコントローラ１１０は例えばＣＰＵやＭＰＵのようなプログラマブルなコントローラであり、記憶部１０８に記憶されたプログラムを実行することで撮像装置の全体的な動作を実現する。なお、画像処理部１０４はハードウェアで実現してもよいが、少なくとも一部をシステムコントローラ１１０がソフトウェア的に実現することも可能である。
【００３９】
絞り１０１ａは、Ｆナンバーの撮像状態設定として開口径が制御される。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構によりレンズの位置が制御される。撮像光学系１０１にはローパスフィルタや赤外線カットフィルタ等の光学素子を入れても構わない。ただし、ローパスフィルタ等の光学伝達関数の特性に影響を与える素子を用いる場合には、画像回復フィルタを作成する時点でその光学素子による光学伝達関数の変化を考慮する。赤外カットフィルタにおいても、分光波長の点像分布関数の積分値であるＲＧＢチャンネルの各点像分布関数、特にＲチャンネルの点像分布関数に影響するため、画像回復フィルタを作成する時点で赤外カットフィルタによる点像分布関数の変化を考慮する。
また、撮像光学系１０１は撮像装置の一部として図示しているが、レンズ交換式カメラのような交換可能な構成であっても良い。
【００４０】
（画像回復処理部１１１）
図２は画像回復処理部１１１の機能構成例を示すブロック図、図３は画像回復処理部１１１における画像回復処理を説明するためのフローチャートである。
画像回復処理部１１１には、図４（ａ）に示すように各画素が１つの色成分を持つＲＡＷ画像が入力される。従って、図４（ｂ）〜（ｄ）に示すように、各色成分は一部の画素にのみ値を有する。画像回復処理部１１１での処理は、図４（ｂ）〜（ｄ）に示す色成分（色プレーン）ごとに行われる。ここでは、ＲＡＷ画像が色成分ごとに入力されているように図示しているが、実際に色プレーンごとに分離して入力するようにしてもよいし、ＲＡＷ画像が保存されたメモリから、必要な色成分だけ読み出して処理すように構成してもよい。
【００４１】
図３のＳ２０１で第１の画素補間部１００１は、Ｇ成分（図４（ｂ））に対して画素補間処理を適用し、Ｇ成分の値がない画素に対応するＧ成分の値を求める。この画素補間処理により、図４（ｅ）に示すように各画素がＧ成分の値を有するようになる。
【００４２】
Ｓ２０２で回復前色差算出部（Ｒ）１００２は、第１の画素補間部１００１が出力する画素補間処理後のＧ成分（図４（ｅ））と、画素補間していない状態のＲ成分（図４（ｃ））とから、画像回復処理前の色情報としての色差情報を取得する。また同様に、回復前色差算出部（Ｂ）１００３が、第１の画素補間部１００１が出力する画素補間処理後のＧ成分（図４（ｅ））と、画素補間していない状態のＢ成分（図４（ｄ））とから、画像回復処理前の色情報としての色差情報を取得する。色差情報を取得する。回復前色差算出部（Ｒ）１００２及び回復前色差算出部（Ｂ）１００３は、第１の取得手段に相当する。
【００４３】
本実施形態では、色差を、基準の色成分（ここではＧ）の信号値との差分と定義する。従って、基準の色成分以外の色成分であるＲ成分、Ｂ成分の、Ｇ成分に対する色差Ｃ１ｒ、Ｃ１ｂは、以下の式６、式７により計算される。式６，式７において（ｘ，ｙ）は画像上の座標値である。
Ｃ１ｒ（ｘ，ｙ）＝Ｒ（ｘ，ｙ）− Ｇ（ｘ，ｙ） ・・・（式６）
Ｃ１ｂ（ｘ，ｙ）＝Ｂ（ｘ，ｙ）− Ｇ（ｘ，ｙ） ・・・（式７）
【００４４】
なお、上述の通りＲ成分及びＢ成分は画素補間していないので、Ｓ２０２で色差を計算する画素は、基準の色成分以外の色成分であるＲ成分、Ｂ成分のうち、値が存在する画素のみである。つまり、回復前色差算出部（Ｒ）１００２は、図４（ｃ）で「Ｒ」と記載された画素についてのみＣ１ｒ（ｘ，ｙ）を計算し、回復前色差算出部（Ｂ）１００３は図４（ｄ）で「Ｂ」と記載された画素についてのみＣ１ｂ（ｘ，ｙ）を計算する。
【００４５】
このように、第１の画素補間部１００１で基準色成分（Ｇ成分）を画素補間することで、他の色成分（Ｒ，Ｂ成分）について画素補間せずに、色付き抑制処理に必要な画像回復フィルタ適用前の色差情報を取得することができる。ベイヤー配列のカラーフィルタを備えた撮像素子で得られるＲＡＷ画像については、従来から様々な画素補間技術が開示されており、第１の画素補間部１００１は既知の任意の方法を用いることができる。例えば、対象画素の特定の色成分の値を、周囲の画素の他の色成分の値を用いて決定した補間方法で求めることができる。つまり、ある画素のＧ成分の値を補間処理により生成する場合、周囲の画素のＲ、Ｂ成分の値を用いてＧ成分の補間方法を決定する。近傍の同じ色成分の値を単純に線形補間するような方法と比較して、このような適応的な方法は、補間処理による偽色の発生や先鋭度の低下を低減することが可能である。
【００４６】
図５を参照して、適応的な画素補間処理方法の一例をさらに説明する。図５（ａ）は、画像の無彩色のエッジと直交する方向に並んだ画素値の例を示している。このエッジは無彩色であるため、撮像素子の各画素におけるＲＧＢ成分の値は等しい。ここでは図５（ｂ）に示すように、(R,G,B)=(100,100,100)の画素と、(R,G,B)=(200,200,200)の画素とから構成されるものとする。実際にはベイヤー配列の撮像素子で撮像されたＲＡＷ画像は各画素とも１つの色成分を持つため、色成分ごとに値を抽出すると、図５（ｃ）〜（ｅ）に示す配列となる。図５（ｃ）〜（ｅ）において黒い画素が補間の必要な画素である。この場合、画素補間処理後の各色成分の値が、図５（ｂ）に示した値になることが理想であることは明らかである。
【００４７】
以後、図５（ｃ）〜（ｅ）の画素配列はＧ（ｘ，ｙ）、Ｒ（ｘ，ｙ）、Ｂ（ｘ，ｙ）と記述する。ここでｘは横方向の座標、ｙは縦方向の座標であり、図示の通り左上角の画素が（０，０）、右下角の画素が（４，４）の座標値を有する。
【００４８】
上述の通り、Ｓ２０１において第１の画素補間部１００１はＧ成分に対して画素補間処理を行なう。図５（ｃ）に示す状態のＧ成分の黒い画素の値を周囲の他の色成分の画素情報を使って適応的に生成する画素補間処理の例を、以下に説明する。
【００４９】
（例えばＧ（１，２）のように、Ｒ成分に値をもつ画素のＧ成分の値を求める場合）
Ｈ＿ＤＩＦＦ＝（Ｒ（ｘ，ｙ）−Ｒ（ｘ−２，ｙ））
＋（Ｒ（ｘ，ｙ）−Ｒ（ｘ＋２，ｙ）） ・・・（式８）
Ｖ＿ＤＩＦＦ＝（Ｒ（ｘ，ｙ）−Ｒ（ｘ，ｙ−２））
＋（Ｒ（ｘ，ｙ）−Ｒ（ｘ，ｙ＋２）） ・・・（式９）
【００５０】
｜Ｈ＿ＤＩＦＦ｜＞｜Ｖ＿ＤＩＦＦ｜の場合、
Ｇ（ｘ，ｙ）＝（Ｇ（ｘ，ｙ−１）＋Ｇ（ｘ，ｙ＋１））／２ ・・・（式１０）
｜Ｈ＿ＤＩＦＦ｜≦｜Ｖ＿ＤＩＦＦ｜の場合、
Ｇ（ｘ，ｙ）＝（Ｇ（ｘ−１，ｙ）＋Ｇ（ｘ＋１，ｙ））／２ ・・・（式１１）
【００５１】
このように、対象の画素が有する色成分について、周辺の画素値から計算したの水平方向及び垂直方向の画素値の変化量であるＨ＿ＤＩＦＦ、Ｖ＿ＤＩＦＦを求め、変化量の絶対値が小さい方向を決定する。そして、対象の画素を挟んで位置する、一対の同色成分の画素値を補間（ここでは平均）して対象の画素における色成分値を求めることができる。このような適応的な画素補間処理の結果を図５（ｉ）に示す。また、式８〜１１を用いて説明した適応的な画像補間処理を適用せず、周辺のＧ画素の画素値を単純に補間する画素補間処理の結果を図５（ｆ）に示す。図５（ｉ）及び（ｆ）の比較から明らかなように、適応的な画素補間処理を行った場合は、線形補間を行なった場合に対して先鋭度が低下していないことが分かる。
【００５２】
Ｒ成分の値をもつ画素に対するＧ成分の値を生成する場合について説明したが、例えばＧ（２，１）のように、Ｂ成分の値をもつ画素に対するＧ成分の値を生成する場合も同様に行なうことができる。
なお、ここで説明した画素補間方法は単なる例示であって、第１の画素補間部１００１が用いる画素補間方法は、単なる線形補間方法を含む他の方法を採用することができる。
【００５３】
図３に戻り、Ｓ２０３で回復フィルタ適用部（Ｇ）１００４、回復フィルタ適用部（Ｒ）１００５、回復フィルタ適用部（Ｂ）１００６は、撮像条件に適した画像回復フィルタを選択する。このとき、選択された画像回復フィルタを必要に応じて補正しても構わない。これは、予め記憶部１０８に用意しておく画像回復フィルタのデータ数を低減するために、離散的な撮像状態のデータを用意しておいて、画像回復処理を実行する際に、実際の撮像状態に応じて画像回復フィルタを補正することである。また、画像回復フィルタの選択ではなく、画像回復フィルタを生成するために必要な光学伝達関数に関する情報から、撮像状態に応じた画像回復フィルタを生成してもよい。
【００５４】
Ｓ２０４で回復フィルタ適用部（Ｇ）１００４、回復フィルタ適用部（Ｒ）１００５及び回復フィルタ適用部（Ｂ）１００６は、Ｓ２０３で選択もしくは生成した画像回復フィルタを用いて、入力画像の色成分ごとに、各画素に対してコンボリューション処理を行う。コンボリューション処理の詳細は、式５を用いて上述した通りである。これにより、撮像光学系１０１の収差による点像分布関数の非対称性を補正し、画像のぼけ成分を除去もしくは低減することができる。回復フィルタ適用部（Ｇ）１００４、回復フィルタ適用部（Ｒ）１００５及び回復フィルタ適用部（Ｂ）１００６は、画像回復処理手段に相当する。
【００５５】
上述の通り、画像回復フィルタは２次元画像に適用する場合、画素に対応するタップを有する２次元フィルタとして構成され、タップ数は撮像光学系の収差特性や要求される回復精度に応じて決定することができる。図６（ａ）は、例として、水平及び垂直方向に１１タップを有する１１×１１タップの２次元フィルタで構成された画像回復フィルタを模式的に示している。なお、図６（ａ）に示す画像回復フィルタは、各画素がＲＧＢの各色成分を有する画像の各色プレーンに適用する画像回復フィルタの例である。
【００５６】
図６（ａ）に示すように画像回復フィルタを１００以上のタップを有する２次元フィルタとすることで、撮像光学系による球面収差、コマ収差、軸上色収差、軸外色フレア等の、結像位置から大きく広がる収差に対しても回復することができる。
【００５７】
図６（ａ）では各タップの値（係数値）の記載を省略しているが、画像回復フィルタの１水平ラインのタップ係数の分布例を図６（ｂ）に示す。画像回復フィルタのタップの値（係数値）の分布が、撮像光学系の収差によって空間的な広がりを持つ点像分布関数を、理想的には元の１点に戻す（回折の影響を無視した場合）役割を果たしている。
【００５８】
画像回復フィルタのタップ係数値は、画像回復処理の工程で実行される画素ごとのコンボリューション処理（畳み込み積分、積和）に用いられる。コンボリューション処理では、処理対象の画素の信号値に画像回復処理を適用するために、処理対象の画素を画像回復フィルタの中心タップと一致させる。そして、画像回復フィルタの各タップ位置において、対応する画素信号値とタップ係数値との積を求め、積の総和で処理対象の画素の信号値を置き換える。
【００５９】
このような画像回復フィルタは、上述のように撮像光学系の光学伝達関数を計算若しくは計測し、光学伝達関数の逆関数を逆フーリエ変換して得ることができる。なお、実際の画像にはノイズ成分があるため、光学伝達関数の完全な逆数をとって作成した画像回復フィルタを用いると、ノイズ成分が増幅されてしまい、高画質の回復画像を得ることができない。そのため、例えば後述するウィーナーフィルタのように、画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する画像回復フィルタを用いることで、回復画像におけるノイズを抑制する方法が知られている。
【００６０】
さらに、光学伝達関数は撮像光学系のみならず、画像処理部１０４に入力される画像に対して、光学伝達関数を劣化させる要因を含めることができる。例えば、ローパスフィルタは光学伝達関数の周波数特性おける高周波成分を抑制する。また、撮像素子の画素開口の形状や開口率も周波数特性に影響を与える。光源の分光特性や各種波長フィルタの分光特性もまた光学伝達関数に影響する。従って、これら様々な要因を含めた広義の光学伝達関数に基づいて画像回復フィルタを作成することが望ましい。
【００６１】
また、画像がＲＧＢ形式のカラー画像である場合は、Ｒ、Ｇ、Ｂの各色成分に対応した３つの画像回復フィルタを作成すれば良い。撮像光学系には色収差があり、色成分によってぼけ方が異なるため、画像回復フィルタもまた対象とする色成分に応じて特性が異なる。具体的には、図６（ｂ）に示すタップ値の変化が色成分毎に異なる。画像回復フィルタの縦横のタップ数が等しい必要はなく、コンボリューション処理が可能な範囲で任意に変更することができる。
【００６２】
各画素がＲＧＢの各色成分を有する画像の各色プレーンに適用する画像回復フィルタに対し、本実施形態のように、各画素が１つの色成分のみを有するＲＡＷ画像に適用する画像回復フィルタの例を図７に示す。対象の色成分が存在する画素に対応したタップが係数を有し、図７（ａ）はＧ成分に提供する画像回復フィルタを、図７（ｂ）はＲ、Ｂ成分に適用する画像回復フィルタを模式的に示している。図７（ａ），（ｂ）において、黒いタップがタップ係数を有し（タップ係数が０でない）、白いタップはタップ係数を有していない（タップ係数が０）。
【００６３】
回復フィルタ適用部（Ｇ）１００４は、図４（ｂ）に示す（画素補間されていない）Ｇ成分に対し、図７（ａ）に示す画像回復フィルタを用いたコンボリューション処理を適用する。また、回復フィルタ適用部（Ｒ）１００５と回復フィルタ適用部（Ｂ）１００６は、図４（ｃ）及び（ｄ）に示したＲ成分及びＢ成分に対し、図７（ｂ）に示す画像回復フィルタを用いたコンボリューション処理をそれぞれ適用する。
【００６４】
図３のＳ２０５では、画像回復フィルタが適用されたＧ成分に対し、第２の画素補間部１００７で画素補間処理を適用する。これは第１の画素補間部１００１がＳ２０１で行うものと同様の処理であり、この画素補間処理によりＧ成分が図４（ｂ）に示した状態から図４（ｅ）に示す各画素がＧ成分の値を有する状態になる。
【００６５】
Ｓ２０６では、第２の取得手段に相当する回復後色差算出部（Ｒ）１００８と回復後色差算出部（Ｂ）１００９で色差情報を取得する。ここでの色差計算はＳ２０２で回復後色差算出部（Ｒ）１００２と回復後色差算出部（Ｂ）１００３が行なうものと同様であり、基準色成分であるＧ成分に対するＲ成分、Ｂ成分の差として以下の式によって求める。すなわち、Ｒ成分、Ｂ成分のＧ成分に対する色差Ｃ２ｒ、Ｃ２ｂは、次式で定義される。
Ｃ２ｒ（ｘ，ｙ）＝Ｒ（ｘ，ｙ）− Ｇ（ｘ，ｙ） ・・・（式１２）
Ｃ２ｂ（ｘ，ｙ）＝Ｂ（ｘ，ｙ）− Ｇ（ｘ，ｙ） ・・・（式１３）
このように、第２の画素補間部１００７でＧ成分にのみ画素補間を行なうことで、色付き抑制処理に必要な画像回復フィルタ適用後の色差情報を取得することができる。
【００６６】
Ｓ２０７で画素値調整部（Ｒ）１０１０は色差情報Ｃ１ｒとＣ２ｒとから、画素値調整部（Ｂ）１０１１はＣｂ１とＣ２ｂとから、それぞれＲ成分及びＢ成分について色付き抑制のための画素値調整が必要か否かを決定する。画素値調整部（Ｒ）１０１０及び画素値調整部（Ｂ）１０１１は、画素値補正手段に相当する。この決定は、以下に示すように、色差が増大しているか否か、色差の符号が反転しているか否かに基づいて行うことができる。
【００６７】
画素値調整部（Ｒ）１０１０と画素値調整部（Ｂ）１０１１は各画素におけるＲ成分とＢ成分に対してそれぞれ以下の判定を行い、いずれかを満たす場合はその色成分の値に対し、色付き抑制のための画素値調整が必要と決定する。
【００６８】
・画素値調整部（Ｒ）１０１０が行う、Ｒに対する判定
判定条件１：
Ｃ１ｒ（ｘ，ｙ）とＣ２ｒ（ｘ，ｙ）が同符号、且つ｜Ｃ１ｒ（ｘ，ｙ）｜ ＜ ｜Ｃ２ｒ（ｘ，ｙ）｜
判定条件２：
Ｃ１ｒ（ｘ，ｙ）とＣ２ｒ（ｘ，ｙ）が異符号
・画素値調整部（Ｂ）１０１１が行う、Ｂに対する判定
判定条件１：
Ｃ１ｂ（ｘ，ｙ）とＣ２ｂ（ｘ，ｙ）が同符号、且つ｜Ｃ１ｒ（ｘ，ｙ）｜ ＜ ｜Ｃ２ｒ（ｘ，ｙ）｜
判定条件２：
Ｃ１ｂ（ｘ，ｙ）とＣ２ｂ（ｘ，ｙ）が異符号
【００６９】
この判定結果により、画素値調整が必要と決定された画素について、画素値調整部（Ｒ）１０１０及び画素値調整部（Ｂ）１０１１は、Ｓ２０８において色付き抑制のための画素値調整を適用する。画素値調整は例えば以下に示すように、色差が増大した場合は画像回復前の色差を使用し、色差の符号が反転した場合は色差を０とするものであってよい。
・画素値調整部（Ｒ）１０１０による、Ｒに対する画素値調整
判定条件１を満たす場合（色差増大）；
Ｒ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ）＋ Ｃ１ｒ（ｘ，ｙ） ・・・（式１４）
判定条件２を満たす場合（色差反転）：
Ｒ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ） ・・・（式１５）
・画素値調整部（Ｂ）１０１１による、Ｂに対する画素値調整
判定条件１を満たす場合（色差増大）：
Ｂ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ）＋ Ｃ１ｒ（ｘ，ｙ） ・・・（式１６）
判定条件２を満たす場合（色差反転）：
Ｂ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ） ・・・（式１７）
【００７０】
Ｓ２０９では、画像回復フィルタが適用され、色付き抑制のための画素値調整が行なわれたＲＧＢの各色成分に対し、第３の画素補間部１０１２が画素補間処理を行なう。第３の画素補間部１０１２がＧ成分に対して適用する適応的な画素補間処理は、第１の画素補間部１００１や第２の画素補間部１００７での処理と同様であってよい。
一方、Ｒ成分及びＢ成分に対する適応的な画素補間処理の方法は、例えば以下のように行うことができる。ここでは、図５（ｄ）に示した補間前のＲ成分における値を有さない画素に対し、他の色成分を有する周囲の画素の情報を用いてＲ成分の値を生成する適応補間を行なう場合の例を説明する。
【００７１】
第３の画素補間部１０１２において、Ｒ成分に対する適応的な画素補間処理は、Ｒ成分の値を有する隣接画素の存在する方向に応じて、また事前に補間されたＧ成分の値を用いて、以下のように行うことができる。
隣接する左右画素に値がある場合（例えばＲ（２，０））：
Ｃｒ＝（Ｒ（ｘ−１，ｙ）−Ｇ（ｘ−１，ｙ）
＋Ｒ（ｘ＋１，ｙ）−Ｇ（ｘ＋１，ｙ））／２ ・・・（式１８）
Ｒ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）＋Ｃｒ ・・・（式１９）
隣接する上下画素に値がある場合（例えばＲ（１，１））：
Ｃｒ＝（Ｒ（ｘ，ｙ−１）−Ｇ（ｘ，ｙ−１） ・・・（式２０）
＋Ｒ（ｘ，ｙ＋１）−Ｇ（ｘ，ｙ＋１））／２
Ｒ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）＋Ｃｒ ・・・（式２１）
隣接する斜め画素に値がある場合（例えばＲ（２，１））：
Ｃｒ＝（Ｒ（ｘ−１，ｙ−１）−Ｇ（ｘ−１，ｙ−１）
＋Ｒ（ｘ＋１，ｙ−１）−Ｇ（ｘ＋１，ｙ−１）
＋Ｒ（ｘ−１，ｙ＋１）−Ｇ（ｘ−１，ｙ＋１）
＋Ｒ（ｘ＋１，ｙ＋１）−Ｇ（ｘ＋１，ｙ＋１））／４ ・・・（式２２）
Ｒ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）＋Ｃｒ ・・・（式２３）
このように、同じ色成分の値を有する隣接画素の存在する方向に応じて、その隣接画素に対して取得した色差情報（Ｒ−Ｇ）を補間することにより、適応的な画素補間処理を行う。
【００７２】
図５（ｅ）に示したＢ成分に対する画素補間処理についても、上述したＲ成分と同様にして、同じ色成分の値を有する隣接画素の存在する方向に応じて、その隣接画素に対して取得した色差情報（Ｒ−Ｂ）を補間することにより、適応的な画素補間処理を行う。
【００７３】
このような適応的な画素補間処理の適用により得られた、各色成分の値の例を図５（ｉ）〜（ｋ）に示す。また、適応的な画素補間処理の代わりに一般的な線形画素補間処理を適用して得られた色成分の値の例を図５（ｆ）〜（ｈ）に示す。線形補間の場合は100、200以外の値が生成されており、理想的な図５（ｂ）に示した画素配列に対して先鋭度が低下している。これに対し、適応的な画素補間処理を適用した場合、ＲＧＢ各成分の値は等しく、かつ図５（ｂ）に示した画素配列と一致している。このように、ある画素の色成分を求める際、その画素の周囲の、他の色成分を有する画素の情報に応じて適応的に画素補間を行なうことで、補間による先鋭度の低下を抑制または防止することが可能である。
【００７４】
なお、ここで説明した画素補間方法は単なる例示であって、第３の画素補間部１０１２が用いる画素補間方法は、単なる線形補間方法を含む他の方法を採用することができる。
【００７５】
このように、図３のフローチャートに従った処理により、画像処理部１０４（画像回復処理部１１１）における画像回復処理が実行される。なお、撮像光学系１０１の光学伝達関数は１つの撮像状態においても撮像光学系の画角（像高）に応じて変化するので、ここで説明した画像回復処理を、像高に応じたて分割した領域（例えば図１４（ａ）のｈ１〜ｈ８）ごとに変更して行うことが望ましい。具体的には、画像回復フィルタを画像上にコンボリューション処理をしながら走査させ、領域毎にフィルタを順次変更すれば良い。すなわちＳ２０３の処理を各対象画素に対して実行する。
【００７６】
なお、本実施形態では理解及び説明を容易にするため、画像回復フィルタの適用＝画像回復処理として説明したが、画像回復処理の一部として、他の補正処理、例えば歪曲補正処理や周辺光量補正処理やノイズ低減処理等を含めてもよい。
【００７７】
ここで、Ｓ２０２、Ｓ２０４、Ｓ２０６、Ｓ２０８で行なわれる画像回復処理前後の色差情報取得、画像回復フィルタ適用、並びに色付き抑制のための画素値調整の作用および効果の例を図９を用いて説明する。
【００７８】
図９（ａ）、（ｂ）は、図８に示したような、周辺部に点光源が存在する被写界を撮像した入力における、点光源とその近傍の水平方向における画素値の例を示す模式図である。図９（ａ）、（ｂ）はいずれも上段にＲ成分とＧ成分の画素値を、下段には上段で示したＲ成分とＧ成分の差分、つまり色差を示している。
【００７９】
まず、図９（ａ）は合焦時の状態を示している。（ａ）ー１は画像回復処理を適用していない状態を示し、画像に各収差が残存している。そのため、Ｇ成分、Ｒ成分ともにぼけており、さらにＧ成分とＲ成分のぼけ方が異なっているため色にじみが発生している。この場合、色差は左右のエッジ部分で正の値を持っている。
【００８０】
一方、（ａ）−２はＲＡＷ画像に画像回復処理を適用した状態を示し、収差が補正されぼけ成分が除去されている。（ａ）−２は、合焦時には画像回復処理による色付きが発生しない例を示している。この場合、本実施形態において色付き抑制のための画素値調整は不要と判定される。
【００８１】
また、図９（ｂ）は非合焦時の状態を示している。（ｂ）−１は（ａ）−１と同様に画像回復処理を適用していない状態を示し、画像に各収差が残存している。Ｇ成分、Ｒ成分ともにぼけているが、Ｇ成分とＲ成分のぼけ方が一致しているため、色差は全領域で０である。一方、（ｂ）−２はＲＡＷ画像に画像回復処理を適用した状態を示し、収差が補正されぼけ成分が低減されている。しかし、Ｇ成分とＲ成分のぼけ方が異なっているため色にじみが発生している。この場合、色差は左右のエッジ部分で負の値を持つ。
【００８２】
このような、画像回復処理の適用によって生じる色にじみが、本実施形態において抑制の対象となる色付きである。（ｂ）−３は本実施形態のＳ２０８において色付き抑制のための画素値調整処理が行われた状態を示し、画像回復処理による色付きが適切に抑制され、色差は（ｂ）−１と同様に全領域で０である。
【００８３】
このように、本実施形態では、ＲＡＷ画像に対して画像回復処理を行う場合でも、画像回復フィルタの適用によって発生する色付きを効果的に抑制することができる。図９（ａ）で示した合焦時と図９（ｂ）で示した非合焦時のそれぞれで、画像回復フィルタ適用前後のＧ成分とＲ成分のぼけ方の違いについて図１０を用いて説明する。図１０（ａ）〜（ｄ）は撮像光学系１０１のＭＴＦと画像回復フィルタ適用後のＭＴＦの空間周波数特性を示す模式図である。また、図１０（ｅ）は画像回復フィルタによるＭＴＦの増減率（回復ゲイン）を示す模式図である。
【００８４】
図１０（ａ）は合焦時の撮像光学系１０１のＭＴＦであり、Ｒ成分はＧ成分よりも劣化している。従って図９（ａ）−１ではＧ成分とＲ成分のぼけ方が異なり、点光源部分の画素値の変化はＲ成分の方がＧ成分よりも広がった状態になっている。
【００８５】
図１０（ｂ）は合焦時の画像回復フィルタ適用後のＭＴＦであり、Ｇ成分とＲ成分ともにＭＴＦが適切に補正され、Ｇ成分とＲ成分は一致している。これは図１０（ａ）のＭＴＦに図１０（ｅ）に示す回復ゲインが乗算された結果である。画像回復フィルタは合焦物体に最適な画像回復処理が行なえるように設計されているため、合焦時は適切な画像回復処理がされる。従って図９（ａ）−２に示す画像回復処理適用後はＧ成分とＲ成分のぼけが適切に除去され、色にじみも除去されている。
【００８６】
一方、図１０（ｃ）は非合焦時の撮像光学系１０１のＭＴＦであり、図１０（ａ）の合焦時と比較するとＧ成分もＲ成分も劣化した状態で一致している。従って図９（ｂ）−１ではＧ成分とＲ成分のぼけ方が一致しているが、図９（ａ）−１で示した合焦時よりぼけが大きくなっている状態である。
【００８７】
図１０（ｄ）は非合焦時の画像回復処理適用後のＭＴＦであり、Ｇ成分とＲ成分ともにＭＴＦが補正されているが、Ｇ成分はＲ成分よりも劣化した状態になっている。これは図１０（ｃ）のＭＴＦに図１０（ｅ）に示す回復ゲインが乗算された結果である。画像回復フィルタは合焦物体に最適な画像回復処理が行なえるように設計されているため、非合焦時は期待した画像回復結果にならない場合がある。従って、図９（ｂ）−２に示す画像回復処理適用後では、Ｇ成分とＲ成分のぼけが低減しているものの、Ｇ成分の方がＲ成分よりも広がった状態になっている。
【００８８】
なお、本実施形態の画像回復処理部１１１は、Ｇ成分に対する回復フィルタ適用部（Ｇ）１００４には入力ＲＡＷ画像のＧ成分がそのまま入力され、回復フィルタ適用部（Ｇ）１００４の出力がそのまま第３の画素補間部１０１２に入力される構成であった。しかし、図１１のように、第１の画素補間部１００１の出力を第１の画素間引き部１０１３で間引いて回復フィルタ適用部（Ｇ）１００４に入力し、第２の画素補間部１００７の出力を第２の画素間引き部１０１４で間引いて第３の画素補間部１０１２に出力してもよい。
【００８９】
図２の構成では、第１の画素補間部１００１と第２の画素補間部１００７により生成された画素補間後のＧ成分を、ベイヤー配列のＧ成分とは別に保持するためのメモリが必要となる。しかし、図１１の構成では、画素補間後に、補間で作成された画素の値を第１の画素間引き部１０１３と第２の画素間引き部１０１４で間引き、ベイヤー配列におけるＧ成分の状態に戻すため、画素補間後のＧ成分を保持するためのメモリが不要である。
【００９０】
このように、本実施形態で説明した処理を実施するにあたり、処理中の画像データは様々な時点で保持することができる。例えば回復フィルタ適用部１００４〜１００６に入力する各色成分は色成分ごとに保持しても良いし、ベイヤー配列のまま（色プレーンに分離せずに）保持してもよい。また、図２の構成のように、第１の画素補間部１００１と第２の画素補間部１００７で生成されたＧ成分を、ベイヤ配列のＧ成分とは別に保持してもよい。データの保持方法は、システムの有するメモリ容量等に応じて適宜決定すればよい。
【００９１】
以上説明したように、本実施形態によれば、ＲＡＷ画像のうちＧ成分のみを画素補間して、Ｒ成分及びＧ成分の画素について画像回復処理前後に色情報を取得する。そのため、ＲＡＷ画像に対して適用した画像回復処理によって色付きが生じた場合でも、画像回復処理前後に取得した色情報に基づいて色付きを効果的に抑制することが可能であり、高画質な画像回復処理結果を得ることができる。さらに、Ｇ成分についてのみ画素補間を行うので、処理負荷の増加は少なくてすむという利点もある。
【００９２】
（第２の実施形態）
以下、本発明の第２の実施形態について説明する。本実施形態に係る画像処理装置は、画像回復処理部の構成及び動作を除き、第１の実施形態で説明した撮像装置と同等であってよいため、以下の説明においては画像回復処理部の動作に関して説明する。
まず、本実施形態で用いる、倍率色収差補正成分を含まない画像回復フィルタと、倍率色収差の補正について説明する。
【００９３】
・倍率色収差補正成分を含まない画像回復フィルタ
画像回復処理の実空間と周波数空間での特性を図１２を用いて説明する。図１２において、（ａ）は画像回復処理前の点像分布関数を、（ｂ）は回復後の点像分布関数をそれぞれ示している。また、図１２（ｃ）の４０１は画像回復処理前のＭＴＦ、４０２は画像回復処理後のＭＴＦを示し、図１２（ｄ）の４０３は画像回復処理前のＰＴＦ、４０４は画像回復処理後のＰＴＦを示している。図１２（ａ）からわかるように、画像回復処理前の点像分布関数は非対称な広がりを有し、この非対称性により、対応するＰＴＦは零ではない値を有する（図１２（ｄ）４０３）。画像回復処理は、図１２（ｃ）の４０２に示すようにＭＴＦを増幅し、図１２（ｄ）の４０４に示すようにＰＴＦを零に補正するため、画像回復処理後の点像分布関数は図１２（ｂ）に示すように対称で先鋭になる。
【００９４】
画像回復フィルタは、撮像光学系の光学伝達関数の逆関数（１／Ｈ）に基づいて設計した関数を逆フーリエ変換して得ることができる。画像回復フィルタには上述のウィナーフィルタを用いることができるが、他のフィルタを用いてもよい。ウィナーフィルタを用いる場合、以下の式２４を逆フーリエ変換することで、コンボリューション処理に用いる実空間の画像回復フィルタを作成することができる。
【数１】
【００９５】
次に、倍率色収差を考慮した画像回復フィルタの生成について説明する。図１３（ａ）の５０２は、５０１の結像位置を基準として平行移動した位置に同形状の点像分布関数として結像した２つの色成分を表している。このときのＰＴＦを図１３（ｂ）に示す。図１３（ｂ）の６０１、６０２は図１３（ａ）の５０１、５０２と対応しており、６０２は位相が傾きをもった直線となっている。画像回復フィルタは、このような直線的なＰＴＦも図３（ｄ）の４０３のような非直線のＰＴＦも、もととなる光学伝達関数に含まれているため図１３（ｂ）の６０１のように補正することができる。
【００９６】
また、予めＰＴＦから直線成分を除去した光学伝達関数をもとに画像回復フィルタを生成することで、平行移動としての倍率色収差の成分を補正しない画像回復フィルタを生成することができる。一方、実空間で倍率色収差成分を除去する場合、図１３（ａ）の５０２を５０１の位置に平行移動して色成分間の差異を低減した点像分布関数を生成し、フーリエ変換することで、同様に倍率色収差の成分を除去した光学伝達関数を生成することができる。実際には５０１と５０２の点像分布関数の形状は異なるため、例えば重心を一致させる方法や５０１と５０２の差分の二乗平均を最小化するなどして両者を位置合わせすることで、色成分間の差異を低減できる。この光学伝達関数をもとに画像回復フィルタを生成することで、平行移動としての倍率色収差の成分を補正しない画像回復フィルタを生成することができる。
【００９７】
倍率色収差の成分を補正しない画像回復フィルタを適用することで、倍率色収差を画像回復処理と独立して処理することが可能になる。つまり、色成分ごとの非対称収差の補正および先鋭化と、倍率色収差の平行移動の成分である色ズレの補正とを分離して処理することが可能になる。
【００９８】
なお、光学伝達関数は同一の撮像状態（ズーム位置や絞りの開口径）であっても撮像光学系の像高（画像の位置）に応じて変化するので、画像回復フィルタは像高に応じて変更して使用することが望ましい。
【００９９】
（倍率色収差の検出と補正）
倍率色収差の補正量は、上述のようにＰＴＦの直線成分や点像分布関数の形状など、撮像光学系の設計値から算出することができる。上述のように、本明細書では色ズレと倍率色収差とを同義として用いるので、倍率色収差はＧに対するＲのズレ量、Ｇに対するＢのズレ量として扱うことができる。
【０１００】
以下、本実施形態における倍率色収差の補正方法を説明する。
倍率色収差による色ズレ量は一般に撮像光学系の光軸中心からの距離を示す像高によって変動する。ここで、ある像高Ｌにおける色ズレ量Ｄから、像高Ｌに対する色ズレ率Ｍを次式のように定義する。
Ｍ＝Ｄ／Ｌ ・・・（式２５）
【０１０１】
図１４（ｂ）に示すように、像高（ここでは図１４（ａ）に示した領域ｈ１〜ｈ８）と色ズレ率とから、像高ｌと色ズレ率Ｍとの関係を表す高次の多項近似式Ｆ（ｌ）を算出し、これを補正データとする。図１４（ｂ）は以下の式２６のように３次の多項式により補正データを算出した例である。なお式２６においてａ、ｂ、ｃは係数を示している。
Ｍ＝Ｆ（ｌ）＝ａｌ３ ＋ｂｌ２ ＋ｃｌ ・・・（式２６）
【０１０２】
色ズレの補正は対象色成分の画素位置をシフトすることで行い、具体的には例えば以下に示す方法で補正することができる。
まず、補正したいプレーン（Ｒプレーン、Ｂプレーン）の画素（Ｘ，Ｙ）において、画素（Ｘ，Ｙ）の像高Ｌと、補正データとから、画素（Ｘ，Ｙ）における色ズレ率Ｍを求める。なお、光学中心に対応する画素が（０，０）の座標系とする。
Ｍ＝Ｆ（Ｌ） ・・・（式２７）
【０１０３】
次に色ズレ補正により生成する画素の座標（Ｘ１，Ｙ１）を求める。
Ｘ１＝Ｍ×Ｘ ・・・（式２８）
Ｙ１＝Ｍ×Ｙ ・・・（式２９）
【０１０４】
補正したいプレーンにおいて上記座標（Ｘ１，Ｙ１）に相当する画素値を、一般的な補間処理により生成し、画素（Ｘ，Ｙ）の画素値とする。これらを全画素について行うことで、色ズレ補正を行う。このようにして、倍率色収差を補正する。
【０１０５】
図１５は、本発明の第２の実施形態に係る画像処理装置の一例としての撮像装置が有する画像回復処理部１１１”の機能構成例を示すブロック図である。図１５において、第１の実施形態に係る画像回復処理部１１１と同じ機能ブロックには同じ参照数字を付してある。図２と図１５との比較からわかるように、本実施形態ではＧ成分に対する回復フィルタ適用部が２つあること、倍率色収差補正部（Ｒ）１０１５と倍率色収差補正部（Ｂ）１０１６を有することを特徴とする。
【０１０６】
図１６に示すフローチャートを用いて、画像回復処理部１１１”の動作について説明する。
まずＳ３０１で、倍率色収差補正部（Ｒ）１０１５と倍率色収差補正部（Ｂ）１０１６で、Ｒ成分とＢ成分の倍率色収差をそれぞれ補正する。
【０１０７】
図４（ｃ）及び（ｄ）に示したように、入力されるＲ成分とＢ成分は限られた画素にのみ値を持つ状態だが、値を持つ画素のみを使用した補間処理による画素位置のシフトを行なうことで、ＲＡＷ画像のまま倍率色収差を補正することができる。
【０１０８】
Ｇ成分の画素補間処理（Ｓ２０１）と、回復前色差情報取得処理（Ｓ２０２）は第１の実施形態で説明したとおりである。
【０１０９】
次のＳ３０４で、回復フィルタ適用部１００５，１００６，１０１７，１０１８は撮像条件に適した画像回復フィルタを選択する。ただし、本実施形態で用いる画像回復フィルタは、倍率色収差補正のための平行移動成分が除去されている。つまり、画像回復フィルタは倍率色収差補正成分を含んでおらず、収差の非対称性および広がりを補正して画像の先鋭化を行うが、倍率色収差の平行移動成分に関しては補正しない。上述の通り、このような画像回復フィルタを用いることにより、倍率色収差を画像回復処理と独立して処理することが可能になる。つまり、色成分ごとの非対称収差の補正および先鋭化と、倍率色収差の平行移動の成分である色ズレの補正とを分離して処理することが可能になる。
【０１１０】
また、Ｓ３０４においては、選択された画像回復フィルタを必要に応じて補正しても構わない。これは、予め記憶部１０８に用意しておく画像回復フィルタのデータ数を低減するために、離散的な撮像状態のデータを用意しておいて、画像回復処理を実行する際に、実際の撮像状態に応じて画像回復フィルタを補正することである。また、画像回復フィルタの選択ではなく、画像回復フィルタを生成するために必要な光学伝達関数に関する情報から、撮像状態に応じた画像回復フィルタを生成してもよい。
【０１１１】
Ｓ３０５で回復フィルタ適用部１００５，１００６，１０１７，１０１８は、Ｓ３０４で選択もしくは生成した画像回復フィルタを、撮像された入力画像の各色成分に対して適用する。これにより、撮像光学系１０１の収差による点像分布関数の非対称性を補正し、画像のぼけ成分を除去もしくは低減することができる。
【０１１２】
本実施形態では図１７（ａ）（ｄ）（ｅ）で示すように、ＲＡＷ画像のＧ成分をさらにベイヤー配列におけるＧ１、Ｇ２の２成分に分離し、回復フィルタ適用部（Ｇ１）１０１７と回復フィルタ適用部（Ｇ２）１０１８で別個に画像回復フィルタを適用する。具体的には、Ｒ成分の信号を出力する画素の水平方向に隣接する画素から出力されるＧ成分の信号をＧ１成分の信号とし、Ｂ成分の信号を出力する画素の水平方向に隣接する画素から出力されるＧ成分の信号をＧ２成分の信号とする。
【０１１３】
つまり、図１７（ｂ）（ｃ）（ｄ）（ｅ）で示したＲ、Ｂ、Ｇ１、Ｇ２の４つを画像回復成分として扱い、個別に回復フィルタ適用部１００５、１００６、１０１７、１０１８、で画像回復処理（コンボリューション処理）を適用する。
【０１１４】
ここで、Ｇ成分をさらにＧ１、Ｇ２の２成分に分離して処理する意味を説明する。図１８はベイヤー配列の原色カラーフィルタを備える撮像素子における、色成分別の画素配列の空間周波数特性を示す図である。
所定のｘ，ｙの範囲について、Ｇ成分の画素で光を感知できる画素（白）を「１」、光を感知できない画素（黒）を「０」とする配列ｍ＿Ｇ（ｘ，ｙ）を求める。同様の配列を、Ｒ、Ｂ、Ｇ１、Ｇ２成分についても求め、ｍ＿Ｒ（ｘ，ｙ）、ｍ＿Ｂ（ｘ，ｙ）、ｍ＿Ｇ１（ｘ，ｙ）、ｍ＿Ｇ２（ｘ，ｙ）とする。ｍ＿Ｇ（ｘ，ｙ）、ｍ＿Ｒ（ｘ，ｙ）、ｍ＿Ｂ（ｘ，ｙ）、ｍ＿Ｇ１（ｘ，ｙ）、ｍ＿Ｇ２（ｘ，ｙ）をフーリエ変換したものが図１８に示した周波数特性に相当する。
【０１１５】
図１８（ａ）はＧ１成分とＧ２成分の両方を含んだＧ成分、すなわち図１７（ａ）の周波数特性を表したものであり、●の位置のみに「１」が存在するくし型関数である。図１８（ａ）に示すＧ成分の周波数特性は、図１７（ｂ）（ｃ）で示したＲ成分・Ｂ成分の周波数特性を示した図１８（ｂ）とは異なる。一方、Ｇ成分をＧ１成分とＧ２成分に分離すると、周波数特性はＲやＢ成分と同様に図１８（ｂ）のようになる。
【０１１６】
ベイヤー配列の原色カラーフィルタでは、Ｇ画素がＲ画素やＢ画素の２倍含まれるため、図１８に示すとおりＧ成分とＲ，Ｂ成分とで周波数特性が異なる。そのため、Ｇ成分をＧ１成分とＧ２成分に分離せず、Ｒ、Ｇ、Ｂの３つの色成分に画像回復フィルタを適用した場合、Ｇ成分だけが高周波帯域まで回復される。ＲＧＢ成分のうちＧ成分だけが高周波帯域まで回復されると、高周波成分を含む画像領域に、本来存在しなかった偽色が発生することがある。これは、画像の高周波帯域におけるＲＧＢ成分の周波数特性の関係が、画像回復処理前と後で変化したことによる。
【０１１７】
このように、画像回復対象成分の周波数特性が異なる場合、画像回復処理によって偽色が発生の原因になる。この偽色は、ベイヤー配列の画像に対する画素補間によって発生する偽色とは異なり、撮像素子によって取得された画素値そのものが変化することで発生する。そのため、画素補間による偽色発生を抑制する手法では画像回復処理によって発生する偽色は抑制できない。
【０１１８】
Ｇ成分をＧ１成分及びＧ２成分に分離することで、４つの画像回復成分Ｒ、Ｇ１、Ｇ２、Ｂの画素配列は同じ空間周波数特性を示すようになるため、画像回復処理による偽色の発生を抑えることができる。なお、Ｇ成分をＧ１成分とＧ２成分に分離しない場合も、Ｇ成分に適用する画像回復フィルタの作り方によって、補正されるＧ成分の周波数帯域をＲやＢ成分に一致させることが可能である。しかし、その場合、回復される周波数帯域はＧ成分をＧ１成分とＧ２成分に分離した場合と同等である。
【０１１９】
以後の処理は第１の実施形態におけるＳ２０５〜Ｓ２０９の処理と同様である。Ｓ３０５でＧ成分をＧ１成分とＧ２成分に分離して画像回復フィルタを適用した後は、再度１つのＧ成分として以降の処理を行なう。
【０１２０】
以上、本実施形態にかかわる画像回復処理部１１１”の構成及び画像回復処理について説明した。ここで、本実施形態においてＳ３０１で倍率色収差補正を行い、Ｓ３０５で倍率色収差補正成分を含まない画像回復フィルタを適用することの作用および効果の例を図１９を用いて説明する。
【０１２１】
図１９（ａ）（ｂ）は、図８に示したような、周辺部に点光源が存在する被写界を撮像した入力における、点光源とその近傍の水平方向における画素値の例を示す模式図である。図１９（ａ）（ｂ）はいずれも上段にＲ成分とＧ成分の画素値を、下段には上段で示したＲ成分とＧ成分の差分、つまり色差を示している。
【０１２２】
まず、図１９（ａ）は非合焦時において、倍率色収差補正成分を含まない画像回復フィルタを使用することの作用及び効果を説明するための図である。（ａ）−１は倍率色収差補正と、倍率色収差補正成分を含まない画像回復フィルタによる画像回復処理を行っていない状態を示し、画像に各収差が残存していることがわかる。Ｇ成分、Ｒ成分ともにぼけており、さらに倍率色収差により色ズレが発生しているため左右のエッジで色差が発生している。ただし、Ｇ成分とＲ成分のぼけ方は一致している。
【０１２３】
倍率色収差補正のみを適用した場合を、（ａ）−２に示す。Ｇ成分、Ｒ成分ともにぼけているが、倍率色収差補正により色ズレが解消されている。もともとＧ成分とＲ成分のぼけ方は一致していたため、色差は全領域で０である。
【０１２４】
倍率色収差補正に加え、倍率色収差補正成分を含まない画像回復フィルタによる画像回復処理を適用した場合を（ａ）−３に示す。非合焦時の例であるため、ぼけは低減しているが、実際の撮像状態での収差の状態と、画像回復フィルタの対象としている収差の状態が異なるために色付きが発生している。この色付きが本実施形態において抑制の対象となる色付きである。上述のように、本実施形態では、色付き抑制のための画素値調整処理の要否（画素値の補正要否）は、倍率色収差が補正された状態に相当する（ａ）−２の色差と、画像回復フィルタ適用後の状態に相当する（ａ）−３の色差の変化に基づいて判定される。
【０１２５】
（ａ）−２の状態で色差は全領域で０であるため、画像回復フィルタの適用により色差が増大したと判定され、色付き抑制のための画素値調整が必要と決定される。（ａ）−４は色付き抑制のための画素値調整処理の実行後の状態を示し、画像回復処理によって発生した色付きが適切に抑制され、色差は（ａ）−２と同様に全領域で０となる。
【０１２６】
一方、図１９（ｂ）は非合焦時において、倍率色収差補正成分を含んだ画像回復フィルタを使用した場合を示す。（ｂ）−１は（ａ）−１と同じであり、倍率色収差補正も画像回復フィルタによる画像回復処理も行っていない状態を示している。
この状態から、倍率色収差補正成分を有する画像回復フィルタを適用し、倍率色収差補正と画像回復処理を行った状態を（ｂ）−２に示す。色ズレが消滅し、ぼけは低減されてはいるが、画像回復フィルタの適用により色付きが発生している。（ａ）−３と同様の状態である。
【０１２７】
倍率色収差補正成分を含んだ画像回復フィルタを使用した場合、色付き抑制のための画素値の補正要否は、画像回復フィルタ適用前の（ｂ）−１での色差と、画像回復フィルタ適用後の（ｂ）−２での色差の変化に基づいて判定する。この場合、左のエッジは色差が一部反転しているため、色付き抑制のために画素値の補正が必要と判定されるが、右のエッジは色差が増大も反転もしていないため、画素値の補正は不要と判定される。
【０１２８】
（ｂ）−３は色付き抑制のための画素値調整処理が実行された状態を示し、左のエッジは色付きが抑制されているが、右のエッジは色付きが抑制されずそのまま残っている。
【０１２９】
このように本実施形態では、画像回復処理の前に倍率色収差補正を行い、その後、倍率色収差補正成分を含まない画像回復フィルタを適用して画像回復処理を行うことで、第１の実施形態による効果に加え、より高精度な色付き抑制が可能となる。
【０１３０】
また、Ｇ成分をＧ１成分とＧ２成分に分離して画像回復処理を適用することで、ＲＡＷ画像における各成分の周波数特性が等しくなり、画像回復処理による色付きをさらに抑制することができる。
【０１３１】
なお、本実施形態では、基準の色成分であるＧ成分をＧ１成分とＧ２成分に分離する構成と、倍率色収差補正と倍率色収差補正成分を含まない画像回復フィルタの組み合わせとを両方備える画像回復処理部１１１”について説明した。しかし、一方だけを用いることもでき、個々の効果を享受できる。
また、本実施形態においても、図１１を用いて説明した第１の実施形態の変形例のように、画素間引き部を設けた構成とすることができる。
【０１３２】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、特に画像回復処理を用いた画像補正技術に関する。
【背景技術】
【０００２】
撮像装置で被写体を撮像して得られた画像には、特に撮像光学系の収差の影響による画質劣化が生じている。例えば、画像のぼけは、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等による画質劣化である。光の波としての性質である回折の影響を無視すれば、被写体の一点から出た光束は収差のない撮像光学系によって撮像面上で同じ大きさの一点（集光店）に結像される。しかしながら実際には、回折の影響に加え、撮像光学系の収差により、集光点から広がりをもって結像される。
【０００３】
撮像光学系の点像分布関数（ＰＳＦ: Point Spread Function）は、集光点付近の強度分布、すなわち回折および撮像光学系の収差による像のぼけを表すため、ぼけ成分と呼ぶことにする。このぼけ成分は、いわゆるピントがずれていることによるぼけではなく、ピントが合っていても、光の回折や撮像光学系の収差によって生じるぼけを意味する。
【０００４】
また、カラー画像での色にじみも、撮像光学系の軸上色収差、色の球面収差、色のコマ収差に起因するものに関しては、光の波長に応じたぼけ方の相違ということができる。また、横方向の色ズレも、光学系の倍率色収差に起因したものに関しては、光の波長に応じた撮像倍率の相違による位置ずれまたは位相ずれということができる。
【０００５】
点像分布関数をフーリエ変換して得られる光学伝達関数（ＯＴＦ： Optical Transfer Function）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数の絶対値、即ち振幅成分をＭＴＦ(Modulation Transfer Function)と呼び、位相成分をＰＴＦ(Phase Transfer Function)と呼ぶ。ＭＴＦ、ＰＴＦはそれぞれ収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分ＰＴＦを位相角として以下の式で表す。なお、Ｒｅ（ＯＴＦ）、Ｉｍ（ＯＴＦ）は、それぞれ光学伝達関数の実部、虚部を表す。
ＰＴＦ＝ｔａｎ-1（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ）） ・・・（式１）
【０００６】
このように、撮像光学系の光学伝達関数が画像の振幅成分と位相成分の両方を劣化させるため、被写体像の各点は、コマ収差がある場合のように、集光点に対して非対称にぼけている。
【０００７】
また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれる現象である。通常撮像素子にはＲＧＢのカラーモザイクフィルタが設けられており、各画素ではＲＧＢのいずれか一つの色成分を取得するように構成されている。従って、Ｒの波長、Ｇの波長、及びＢの波長間で結像位置がずれることはもとより、取得した各色成分内にも波長ごとの結像位置のずれ、即ち位相ずれによる像の広がりが発生する。よって、厳密には倍率色収差は単なる平行シフトの色ズレではないが、特に説明が無い限り本明細書では色ズレと倍率色収差とを同義として用いる。
【０００８】
撮像光学系の光学伝達関数の情報を用い、振幅成分（ＭＴＦ）および位相成分（ＰＴＦ）の劣化を補正する、画像回復や画像復元と呼ばれる方法が知られている。そのため、以下では、撮像光学系の光学伝達関数の情報を用いて画像の劣化を補正する処理を画像回復処理と呼ぶ。
【０００９】
ここで、画像回復処理の概要を示す。劣化した画像をｇ（ｘ，ｙ）、元の画像をｆ（ｘ，ｙ）、撮像光学系の光学伝達関数を逆フーリエ変換したものである点像分布関数をｈ（ｘ，ｙ）としたとき、以下の式が成り立つ。ただし、演算子”＊”はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示すものとする。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） ・・・（式２）
【００１０】
また、この式をフーリエ変換して２次元周波数面での表示形式に変換すると、以下の式のように周波数毎の積の形式になる。Ｈは点像分布関数をフーリエ変換したものであるので光学伝達関数である。（ｕ，ｖ）は２次元周波数面での座標、即ち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） ・・・（式３）
【００１１】
撮像された劣化画像から元の画像を得るためには、以下のように両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） ・・・（式４）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで元の画像ｆ（ｘ，ｙ）が回復像として得られる。
【００１２】
ここで、上式の１／Ｈを逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで同様に元の画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） ・・・（式５）
【００１３】
このＲ（ｘ，ｙ）を画像回復フィルタと呼ぶ。２次元画像に適用する画像回復フィルタは一般に、画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また一般に、画像回復フィルタのタップ数（セルの数）が多いほど回復精度が向上するが、実際のタップ数は要求画質、画像処理能力、収差の特性等に応じて設定される。画像回復フィルタは、撮像光学系の収差の特性を反映する光学伝達関数に基づいているため、振幅成分および位相成分の劣化をともに高精度に補正することができる。このような画像回復フィルタは、水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）のような２次元フィルタとは根本的に異なるものである。
【００１４】
例えば、特許文献１には、生体内部を観察するための蛍光内視鏡の撮像画像のうち、合焦範囲外となる部分について、使用する蛍光波長に応じた点像分布関数を用いて像のぼけを解消する手法が開示されている。
【００１５】
なお、実際の画像にはノイズ成分があるため、光学伝達関数の完全な逆数をとって作成した画像回復フィルタを用いると、ノイズ成分が増幅されてしまい、高画質の回復画像を得ることができない。光学伝達関数の完全な逆数をとって作成した画像回復フィルタは、撮像光学系のＭＴＦが全周波数に渡って１となるようにＭＴＦを補正（増加）することで、撮像光学系による振幅劣化を回復する。そのため、画像の振幅成分にノイズの振幅が付加されていると、ＭＴＦとともにノイズのパワースペクトルも上昇し、結果的にＭＴＦの回復度合（回復ゲイン）に応じてノイズが増幅されてしまう。
【００１６】
そのため、例えばウィーナーフィルタのように、画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する画像回復フィルタを用いることで、回復画像におけるノイズを抑制する方法が知られている。画像の色にじみ成分の劣化の補正は、例えば、画像の色成分毎のぼけ量が均一となるようにぼけ成分を補正することで実現できる。なお、撮像光学系のズーム位置や絞り径等の撮像状態に応じて光学伝達関数が変動するため、撮像状態に応じた画像回復フィルタを用いることにより、精度の良い画像回復処理を実現することができる。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特許第３５３２３６８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１８】
このように、撮像画像に対して撮像光学系の点像分布関数を用いた画像回復処理を施すことにより、諸収差を補正して画質を向上させる技術が知られている。
しかしながら、実際の撮像では、入力画像の撮像状態と、適用する画像回復フィルタの状態が最適には一致しない場合がある。
【００１９】
例えば、立体被写体の撮像画像がその一例である。撮像装置は、オートフォーカス機能やマニュアルフォーカスにより被写体空間の１つの面に焦点を合わせて撮像するため、合焦面に位置する被写体は比較的先鋭に撮像される。しかし、他の被写体（同一被写体の、合焦面から異なる位置にある部分を含む）は合焦面からの距離に応じたぼけ量で撮像される。
【００２０】
そして、被写体距離に関する情報が、合焦面までの距離のみの場合、この被写体距離と画角に最適な画像回復フィルタを選択若しくは生成して使用することになる。その結果、合焦物体に対しては最適な画像回復フィルタが適用されるため、望ましい回復結果を得ることができるが、非合焦物体については画像回復フィルタが最適でないため、多少の回復効果はあるものの、ぼけを解消することはできない。
【００２１】
一方で、写真において被写体のぼけは、被写体の立体感や注視物体を表現するための手法として用いられている。例えば、被写界深度の浅い望遠レンズを用いて主被写体にピントを合わせ、背景を意図的にぼかす写真表現などである。このような写真表現の存在を考慮すれば、合焦被写体はより先鋭化され、非合焦被写体にはぼけが残存する上述の画像回復処理は適切とも考えられる。
【００２２】
しかし、合焦距離の被写体に最適であり、非合焦距離の被写体には最適でない画像回復フィルタを用いて画像回復処理した場合、非合焦距離の被写体に色付きが発生する場合がある。ここでの色付きとは、画像の各色成分のぼけ方の関係が画像回復処理の前後で異なることにより、画像回復処理後の画像の例えば非合焦距離の被写体（非合焦被写体）のエッジ部に、被写体に無い色（偽色）が発生することである。
【００２３】
さらに、このような色付きは立体被写体の撮像に限らず発生する場合がある。本質的には合焦しているか否かに関わらず、画像を撮像した際の収差の状態と、適用する画像回復フィルタが補正する収差の状態とが異なる場合に色付きが発生する。例えば撮像光学系の製造ばらつきや撮像時の光源分光の変動などが原因となりうる。
【００２４】
このような色付きを低減する方法として、画像回復処理前の画像の色情報に基づいて、画像回復処理後の画像の色を補正する方法がある。つまり画像の各画素において画像回復処理による色の変化を判定し、画像回復処理による色付きを低減させるという方法である。
【００２５】
ところで、撮像素子がベイヤー配列のカラーフィルタを備えている場合、撮像素子から得られる画像は各画素がＲ、Ｇ、又はＢの１つの色成分を有するＲＡＷ画像であるが、このようなＲＡＷ画像に対する画像回復処理には２通りの方法が考えられる。１つ目の方法は、ＲＡＷ画像に対して色補間処理を適用し、各画素がＲＧＢ全ての色成分を有する状態にしてから、Ｒ，Ｇ，Ｂプレーンの各々に画像回復フィルタを適用する方法である。また、２つ目の方法は、色補間処理を適用せずに、各画素が１つの色成分をもつＲＡＷ画像の状態のまま画像回復フィルタを適用する方法である。
【００２６】
各色プレーンに画像回復フィルタを適用する方法は、ＲＡＷ画像に適用する方法と比較して画像回復処理を適用する画素数と画像回復フィルタのタップ数が多くなるため、画像回復処理の負荷が著しく増大する。そのため、低処理負荷が求められる場合はＲＡＷ画像に画像回復処理を適用する方法を用いることになる。しかし、ＲＡＷ画像に画像回復処理を適用する場合も、画像を撮像した際の収差の状態と、適用する画像回復フィルタが補正する収差の状態とが異なると、ＲＡＷ画像に色補間処理を含む所謂現像処理を適用して得られる出力画像に色付きが発生することがある。出力画像の画質を向上させるためのＲＡＷ画像に対する画像回復処理において生じる色付きは、無視できない画質劣化であり、十分な抑制が必要である。
【００２７】
しかし、上述のようにＲＡＷ画像は各画素が１つの色成分しか持たないため、画像回復処理前後の色の変化を測定するために必要な色情報が存在しない。そのため、画像回復処理前の画像の色情報に基づいて画像回復処理後の画像の色を補正する上述の方法をそのまま適用することはできない。
【００２８】
特許文献１では、撮像画像の非合焦範囲に対して画像回復処理を行うことで、撮像光学系の浅い被写界深度を補おうとするものである。特許文献１記載の画像回復処理では、非業小範囲における先鋭度の向上は実現できたとしても、ＲＡＷ画像に適用した画像回復処理で発生する色付きを十分抑制することはできない。
【００２９】
本発明はこのような従来技術の課題に鑑みてなされたものであり、ＲＡＷ画像に対する画像回復処理において生じる色付きを抑制可能な画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００３０】
上述の目的は、撮像装置によって撮像された、各画素が１つの色成分を有するＲＡＷ画像における、撮像装置の撮像光学系の収差による画質の劣化を回復するための画像処理装置であって、ＲＡＷ画像のうち予め定めた基準の色成分について、画素補間処理を行う第１の画素補間手段と、ＲＡＷ画像のうち基準の色成分以外の色成分の各々について、値を有する画素と画素補間処理後の基準の色成分の対応する画素とから、色差を取得する第１の取得手段と、撮像光学系の収差を示す関数に基づいた画像回復フィルタを、ＲＡＷ画像の色成分の各々に対して適用する画像回復処理手段と、画像回復フィルタが適用されたＲＡＷ画像のうち基準の色成分について、画素補間処理を行う第２の画素補間手段と、画像回復フィルタが適用されたＲＡＷ画像のうち基準の色成分以外の色成分の各々について、値を有する画素と第２の画素補間手段による画素補間処理後の基準の色成分の対応する画素とから、色差を取得する第２の取得手段と、第１の取得手段と第２の取得手段が取得した色差の変化に応じて、画像回復フィルタが適用されたＲＡＷ画像のうち、基準の色成分以外の色成分の画素値の補正要否を判定し、補正が必要と判定された画素値を補正する画素値補正手段と、を有することを特徴とする画像処理装置によって達成される。
【発明の効果】
【００３１】
このような構成により本発明によれば、ＲＡＷ画像に対する画像回復処理において生じる色付きを抑制可能な画像処理装置および画像処理方法を提供することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施形態に係る画像処理装置の一例としての撮像装置の構成例を示すブロック図
【図２】本発明の第１の実施形態における画像回復処理部の機能構成例を示すブロック図
【図３】本発明の第１の実施形態に係る画像回復処理を示すフローチャート
【図４】ベイヤー配列の原色カラーフィルタを備える撮像素子で得られるＲＡＷ画像について説明するための図
【図５】本発明の第１の実施形態に係る画像回復処理における画素補間処理を説明するための図
【図６】本発明の実施形態に係る画像回復フィルタを説明するための図
【図７】各画素が１つの色成分のみを有するＲＡＷ画像に適用する画像回復フィルタを模式的に示す図
【図８】本発明の実施形態に係る点光源の図
【図９】本発明の第１の実施形態に係る画像回復処理の作用効果を説明するための図
【図１０】（ａ）〜（ｄ）は本発明の実施形態に係る撮像装置の撮像光学系のＭＴＦと画像回復フィルタ適用後のＭＴＦの空間周波数特性の例を示す模式図、（ｅ）は本発明の実施形態に係る撮像装置の画像回復フィルタによるＭＴＦの増減率（回復ゲイン）を示す模式図
【図１１】本発明の第１の実施形態における画像回復処理部の別の機能構成例を示すブロック図
【図１２】本発明の実施形態に係る画像回復処理の実空間と周波数空間での特性を説明するための図
【図１３】倍率色収差を考慮した画像回復フィルタの生成について説明するための図
【図１４】本発明の実施形態に係る倍率色収差補正データ生成方法を説明するための図
【図１５】本発明の第２の実施形態における画像回復処理部の機能構成例を示すブロック図
【図１６】本発明の第２の実施形態に係る画像回復処理を示すフローチャート
【図１７】本発明の第２の実施形態における画像回復処理を説明するための図
【図１８】本発明の第２の実施形態における画像回復処理を説明するための図
【図１９】本発明の第２の実施形態に係る画像回復処理の作用効果を説明するための図
【発明を実施するための形態】
【００３３】
以下、添付図面を参照して、本発明をその例示的な実施形態に基づいて詳細に説明する。以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００３４】
（撮像装置の構成）
図１は、本発明の実施形態にかかる画像処理装置の一例としての撮像装置の構成例を示すブロック図である。本実施形態では撮像光学系および撮像素子を有する撮像装置に本発明を適用した例を説明するが、本発明において撮像光学系や撮像素子といった撮像画像を生成するための構成要素は必須でない。
【００３５】
不図示の被写体の光学像を撮像光学系１０１で撮像素子１０２に結像する。撮像素子１０２で結像光が電気信号に変換され、Ａ／Ｄコンバータ１０３でデジタル信号に変換されて、画像処理部１０４に入力される。画像処理部１０４は画像回復処理部１１１と、画像回復処理以外の画像処理を行う、他の画像処理部１１２から構成される。画像回復処理部１１１は、まず、状態検知部１０７から撮像装置の撮像状態の情報を得る。状態検知部１０７は撮像装置の撮像状態の情報をシステムコントローラ１１０から直接得ても良いし、例えば撮像光学系１０１に関する撮像状態の情報は撮像光学系制御部１０６から得てもよい。
【００３６】
次に画像回復処理部１１１は、撮像状態に応じた画像回復フィルタを例えば記憶部１０８から選択し、画像回復処理部１１１は画像処理部１０４に入力された画像に対して倍率色収差補正処理および画像回復フィルタ適用処理を行う。画像回復処理部１１１の詳細については後述する。記憶部１０８で保持するデータは画像回復フィルタではなく、画像回復フィルタを生成するために必要な情報（例えば点像分布関数や光学伝達関数に関する情報）でもよい。この場合、画像回復処理部１１１は撮像状態に応じた点像分布関数又は光学伝達関数に関する情報を記憶部１０８から選択して撮像状態に応じた画像回復フィルタを生成し、この画像回復フィルタを用いて画像回復処理を行う。また、他の画像処理部１１２は画像回復処理後の画像に対し、ガンマ補正やカラーバランス調整など、所定の画像処理を行ないＪＰＥＧ等の画像ファイルを生成する。
【００３７】
画像処理部１０４で処理された出力画像は、システムコントローラ１１０が画像記録媒体１０９に所定のフォーマットで保存する。また、表示部１０５には、画像回復処理後の画像に表示用の所定の処理を行った画像を表示しても良いし、画像回復処理を行わない、又は簡易的な回復処理を行った画像を表示しても良い。
【００３８】
一連の制御はシステムコントローラ１１０で行われ、撮像光学系１０１の機械的な駆動（絞り１０１ａ、フォーカスレンズ１０１ｂ、光学ズームの駆動など）はシステムコントローラ１１０の指示により撮像光学系制御部１０６で行う。システムコントローラ１１０は例えばＣＰＵやＭＰＵのようなプログラマブルなコントローラであり、記憶部１０８に記憶されたプログラムを実行することで撮像装置の全体的な動作を実現する。なお、画像処理部１０４はハードウェアで実現してもよいが、少なくとも一部をシステムコントローラ１１０がソフトウェア的に実現することも可能である。
【００３９】
絞り１０１ａは、Ｆナンバーの撮像状態設定として開口径が制御される。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構によりレンズの位置が制御される。撮像光学系１０１にはローパスフィルタや赤外線カットフィルタ等の光学素子を入れても構わない。ただし、ローパスフィルタ等の光学伝達関数の特性に影響を与える素子を用いる場合には、画像回復フィルタを作成する時点でその光学素子による光学伝達関数の変化を考慮する。赤外カットフィルタにおいても、分光波長の点像分布関数の積分値であるＲＧＢチャンネルの各点像分布関数、特にＲチャンネルの点像分布関数に影響するため、画像回復フィルタを作成する時点で赤外カットフィルタによる点像分布関数の変化を考慮する。
また、撮像光学系１０１は撮像装置の一部として図示しているが、レンズ交換式カメラのような交換可能な構成であっても良い。
【００４０】
（画像回復処理部１１１）
図２は画像回復処理部１１１の機能構成例を示すブロック図、図３は画像回復処理部１１１における画像回復処理を説明するためのフローチャートである。
画像回復処理部１１１には、図４（ａ）に示すように各画素が１つの色成分を持つＲＡＷ画像が入力される。従って、図４（ｂ）〜（ｄ）に示すように、各色成分は一部の画素にのみ値を有する。画像回復処理部１１１での処理は、図４（ｂ）〜（ｄ）に示す色成分（色プレーン）ごとに行われる。ここでは、ＲＡＷ画像が色成分ごとに入力されているように図示しているが、実際に色プレーンごとに分離して入力するようにしてもよいし、ＲＡＷ画像が保存されたメモリから、必要な色成分だけ読み出して処理すように構成してもよい。
【００４１】
図３のＳ２０１で第１の画素補間部１００１は、Ｇ成分（図４（ｂ））に対して画素補間処理を適用し、Ｇ成分の値がない画素に対応するＧ成分の値を求める。この画素補間処理により、図４（ｅ）に示すように各画素がＧ成分の値を有するようになる。
【００４２】
Ｓ２０２で回復前色差算出部（Ｒ）１００２は、第１の画素補間部１００１が出力する画素補間処理後のＧ成分（図４（ｅ））と、画素補間していない状態のＲ成分（図４（ｃ））とから、画像回復処理前の色情報としての色差情報を取得する。また同様に、回復前色差算出部（Ｂ）１００３が、第１の画素補間部１００１が出力する画素補間処理後のＧ成分（図４（ｅ））と、画素補間していない状態のＢ成分（図４（ｄ））とから、画像回復処理前の色情報としての色差情報を取得する。色差情報を取得する。回復前色差算出部（Ｒ）１００２及び回復前色差算出部（Ｂ）１００３は、第１の取得手段に相当する。
【００４３】
本実施形態では、色差を、基準の色成分（ここではＧ）の信号値との差分と定義する。従って、基準の色成分以外の色成分であるＲ成分、Ｂ成分の、Ｇ成分に対する色差Ｃ１ｒ、Ｃ１ｂは、以下の式６、式７により計算される。式６，式７において（ｘ，ｙ）は画像上の座標値である。
Ｃ１ｒ（ｘ，ｙ）＝Ｒ（ｘ，ｙ）− Ｇ（ｘ，ｙ） ・・・（式６）
Ｃ１ｂ（ｘ，ｙ）＝Ｂ（ｘ，ｙ）− Ｇ（ｘ，ｙ） ・・・（式７）
【００４４】
なお、上述の通りＲ成分及びＢ成分は画素補間していないので、Ｓ２０２で色差を計算する画素は、基準の色成分以外の色成分であるＲ成分、Ｂ成分のうち、値が存在する画素のみである。つまり、回復前色差算出部（Ｒ）１００２は、図４（ｃ）で「Ｒ」と記載された画素についてのみＣ１ｒ（ｘ，ｙ）を計算し、回復前色差算出部（Ｂ）１００３は図４（ｄ）で「Ｂ」と記載された画素についてのみＣ１ｂ（ｘ，ｙ）を計算する。
【００４５】
このように、第１の画素補間部１００１で基準色成分（Ｇ成分）を画素補間することで、他の色成分（Ｒ，Ｂ成分）について画素補間せずに、色付き抑制処理に必要な画像回復フィルタ適用前の色差情報を取得することができる。ベイヤー配列のカラーフィルタを備えた撮像素子で得られるＲＡＷ画像については、従来から様々な画素補間技術が開示されており、第１の画素補間部１００１は既知の任意の方法を用いることができる。例えば、対象画素の特定の色成分の値を、周囲の画素の他の色成分の値を用いて決定した補間方法で求めることができる。つまり、ある画素のＧ成分の値を補間処理により生成する場合、周囲の画素のＲ、Ｂ成分の値を用いてＧ成分の補間方法を決定する。近傍の同じ色成分の値を単純に線形補間するような方法と比較して、このような適応的な方法は、補間処理による偽色の発生や先鋭度の低下を低減することが可能である。
【００４６】
図５を参照して、適応的な画素補間処理方法の一例をさらに説明する。図５（ａ）は、画像の無彩色のエッジと直交する方向に並んだ画素値の例を示している。このエッジは無彩色であるため、撮像素子の各画素におけるＲＧＢ成分の値は等しい。ここでは図５（ｂ）に示すように、(R,G,B)=(100,100,100)の画素と、(R,G,B)=(200,200,200)の画素とから構成されるものとする。実際にはベイヤー配列の撮像素子で撮像されたＲＡＷ画像は各画素とも１つの色成分を持つため、色成分ごとに値を抽出すると、図５（ｃ）〜（ｅ）に示す配列となる。図５（ｃ）〜（ｅ）において黒い画素が補間の必要な画素である。この場合、画素補間処理後の各色成分の値が、図５（ｂ）に示した値になることが理想であることは明らかである。
【００４７】
以後、図５（ｃ）〜（ｅ）の画素配列はＧ（ｘ，ｙ）、Ｒ（ｘ，ｙ）、Ｂ（ｘ，ｙ）と記述する。ここでｘは横方向の座標、ｙは縦方向の座標であり、図示の通り左上角の画素が（０，０）、右下角の画素が（４，４）の座標値を有する。
【００４８】
上述の通り、Ｓ２０１において第１の画素補間部１００１はＧ成分に対して画素補間処理を行なう。図５（ｃ）に示す状態のＧ成分の黒い画素の値を周囲の他の色成分の画素情報を使って適応的に生成する画素補間処理の例を、以下に説明する。
【００４９】
（例えばＧ（１，２）のように、Ｒ成分に値をもつ画素のＧ成分の値を求める場合）
Ｈ＿ＤＩＦＦ＝（Ｒ（ｘ，ｙ）−Ｒ（ｘ−２，ｙ））
＋（Ｒ（ｘ，ｙ）−Ｒ（ｘ＋２，ｙ）） ・・・（式８）
Ｖ＿ＤＩＦＦ＝（Ｒ（ｘ，ｙ）−Ｒ（ｘ，ｙ−２））
＋（Ｒ（ｘ，ｙ）−Ｒ（ｘ，ｙ＋２）） ・・・（式９）
【００５０】
｜Ｈ＿ＤＩＦＦ｜＞｜Ｖ＿ＤＩＦＦ｜の場合、
Ｇ（ｘ，ｙ）＝（Ｇ（ｘ，ｙ−１）＋Ｇ（ｘ，ｙ＋１））／２ ・・・（式１０）
｜Ｈ＿ＤＩＦＦ｜≦｜Ｖ＿ＤＩＦＦ｜の場合、
Ｇ（ｘ，ｙ）＝（Ｇ（ｘ−１，ｙ）＋Ｇ（ｘ＋１，ｙ））／２ ・・・（式１１）
【００５１】
このように、対象の画素が有する色成分について、周辺の画素値から計算したの水平方向及び垂直方向の画素値の変化量であるＨ＿ＤＩＦＦ、Ｖ＿ＤＩＦＦを求め、変化量の絶対値が小さい方向を決定する。そして、対象の画素を挟んで位置する、一対の同色成分の画素値を補間（ここでは平均）して対象の画素における色成分値を求めることができる。このような適応的な画素補間処理の結果を図５（ｉ）に示す。また、式８〜１１を用いて説明した適応的な画像補間処理を適用せず、周辺のＧ画素の画素値を単純に補間する画素補間処理の結果を図５（ｆ）に示す。図５（ｉ）及び（ｆ）の比較から明らかなように、適応的な画素補間処理を行った場合は、線形補間を行なった場合に対して先鋭度が低下していないことが分かる。
【００５２】
Ｒ成分の値をもつ画素に対するＧ成分の値を生成する場合について説明したが、例えばＧ（２，１）のように、Ｂ成分の値をもつ画素に対するＧ成分の値を生成する場合も同様に行なうことができる。
なお、ここで説明した画素補間方法は単なる例示であって、第１の画素補間部１００１が用いる画素補間方法は、単なる線形補間方法を含む他の方法を採用することができる。
【００５３】
図３に戻り、Ｓ２０３で回復フィルタ適用部（Ｇ）１００４、回復フィルタ適用部（Ｒ）１００５、回復フィルタ適用部（Ｂ）１００６は、撮像条件に適した画像回復フィルタを選択する。このとき、選択された画像回復フィルタを必要に応じて補正しても構わない。これは、予め記憶部１０８に用意しておく画像回復フィルタのデータ数を低減するために、離散的な撮像状態のデータを用意しておいて、画像回復処理を実行する際に、実際の撮像状態に応じて画像回復フィルタを補正することである。また、画像回復フィルタの選択ではなく、画像回復フィルタを生成するために必要な光学伝達関数に関する情報から、撮像状態に応じた画像回復フィルタを生成してもよい。
【００５４】
Ｓ２０４で回復フィルタ適用部（Ｇ）１００４、回復フィルタ適用部（Ｒ）１００５及び回復フィルタ適用部（Ｂ）１００６は、Ｓ２０３で選択もしくは生成した画像回復フィルタを用いて、入力画像の色成分ごとに、各画素に対してコンボリューション処理を行う。コンボリューション処理の詳細は、式５を用いて上述した通りである。これにより、撮像光学系１０１の収差による点像分布関数の非対称性を補正し、画像のぼけ成分を除去もしくは低減することができる。回復フィルタ適用部（Ｇ）１００４、回復フィルタ適用部（Ｒ）１００５及び回復フィルタ適用部（Ｂ）１００６は、画像回復処理手段に相当する。
【００５５】
上述の通り、画像回復フィルタは２次元画像に適用する場合、画素に対応するタップを有する２次元フィルタとして構成され、タップ数は撮像光学系の収差特性や要求される回復精度に応じて決定することができる。図６（ａ）は、例として、水平及び垂直方向に１１タップを有する１１×１１タップの２次元フィルタで構成された画像回復フィルタを模式的に示している。なお、図６（ａ）に示す画像回復フィルタは、各画素がＲＧＢの各色成分を有する画像の各色プレーンに適用する画像回復フィルタの例である。
【００５６】
図６（ａ）に示すように画像回復フィルタを１００以上のタップを有する２次元フィルタとすることで、撮像光学系による球面収差、コマ収差、軸上色収差、軸外色フレア等の、結像位置から大きく広がる収差に対しても回復することができる。
【００５７】
図６（ａ）では各タップの値（係数値）の記載を省略しているが、画像回復フィルタの１水平ラインのタップ係数の分布例を図６（ｂ）に示す。画像回復フィルタのタップの値（係数値）の分布が、撮像光学系の収差によって空間的な広がりを持つ点像分布関数を、理想的には元の１点に戻す（回折の影響を無視した場合）役割を果たしている。
【００５８】
画像回復フィルタのタップ係数値は、画像回復処理の工程で実行される画素ごとのコンボリューション処理（畳み込み積分、積和）に用いられる。コンボリューション処理では、処理対象の画素の信号値に画像回復処理を適用するために、処理対象の画素を画像回復フィルタの中心タップと一致させる。そして、画像回復フィルタの各タップ位置において、対応する画素信号値とタップ係数値との積を求め、積の総和で処理対象の画素の信号値を置き換える。
【００５９】
このような画像回復フィルタは、上述のように撮像光学系の光学伝達関数を計算若しくは計測し、光学伝達関数の逆関数を逆フーリエ変換して得ることができる。なお、実際の画像にはノイズ成分があるため、光学伝達関数の完全な逆数をとって作成した画像回復フィルタを用いると、ノイズ成分が増幅されてしまい、高画質の回復画像を得ることができない。そのため、例えば後述するウィーナーフィルタのように、画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する画像回復フィルタを用いることで、回復画像におけるノイズを抑制する方法が知られている。
【００６０】
さらに、光学伝達関数は撮像光学系のみならず、画像処理部１０４に入力される画像に対して、光学伝達関数を劣化させる要因を含めることができる。例えば、ローパスフィルタは光学伝達関数の周波数特性おける高周波成分を抑制する。また、撮像素子の画素開口の形状や開口率も周波数特性に影響を与える。光源の分光特性や各種波長フィルタの分光特性もまた光学伝達関数に影響する。従って、これら様々な要因を含めた広義の光学伝達関数に基づいて画像回復フィルタを作成することが望ましい。
【００６１】
また、画像がＲＧＢ形式のカラー画像である場合は、Ｒ、Ｇ、Ｂの各色成分に対応した３つの画像回復フィルタを作成すれば良い。撮像光学系には色収差があり、色成分によってぼけ方が異なるため、画像回復フィルタもまた対象とする色成分に応じて特性が異なる。具体的には、図６（ｂ）に示すタップ値の変化が色成分毎に異なる。画像回復フィルタの縦横のタップ数が等しい必要はなく、コンボリューション処理が可能な範囲で任意に変更することができる。
【００６２】
各画素がＲＧＢの各色成分を有する画像の各色プレーンに適用する画像回復フィルタに対し、本実施形態のように、各画素が１つの色成分のみを有するＲＡＷ画像に適用する画像回復フィルタの例を図７に示す。対象の色成分が存在する画素に対応したタップが係数を有し、図７（ａ）はＧ成分に提供する画像回復フィルタを、図７（ｂ）はＲ、Ｂ成分に適用する画像回復フィルタを模式的に示している。図７（ａ），（ｂ）において、黒いタップがタップ係数を有し（タップ係数が０でない）、白いタップはタップ係数を有していない（タップ係数が０）。
【００６３】
回復フィルタ適用部（Ｇ）１００４は、図４（ｂ）に示す（画素補間されていない）Ｇ成分に対し、図７（ａ）に示す画像回復フィルタを用いたコンボリューション処理を適用する。また、回復フィルタ適用部（Ｒ）１００５と回復フィルタ適用部（Ｂ）１００６は、図４（ｃ）及び（ｄ）に示したＲ成分及びＢ成分に対し、図７（ｂ）に示す画像回復フィルタを用いたコンボリューション処理をそれぞれ適用する。
【００６４】
図３のＳ２０５では、画像回復フィルタが適用されたＧ成分に対し、第２の画素補間部１００７で画素補間処理を適用する。これは第１の画素補間部１００１がＳ２０１で行うものと同様の処理であり、この画素補間処理によりＧ成分が図４（ｂ）に示した状態から図４（ｅ）に示す各画素がＧ成分の値を有する状態になる。
【００６５】
Ｓ２０６では、第２の取得手段に相当する回復後色差算出部（Ｒ）１００８と回復後色差算出部（Ｂ）１００９で色差情報を取得する。ここでの色差計算はＳ２０２で回復後色差算出部（Ｒ）１００２と回復後色差算出部（Ｂ）１００３が行なうものと同様であり、基準色成分であるＧ成分に対するＲ成分、Ｂ成分の差として以下の式によって求める。すなわち、Ｒ成分、Ｂ成分のＧ成分に対する色差Ｃ２ｒ、Ｃ２ｂは、次式で定義される。
Ｃ２ｒ（ｘ，ｙ）＝Ｒ（ｘ，ｙ）− Ｇ（ｘ，ｙ） ・・・（式１２）
Ｃ２ｂ（ｘ，ｙ）＝Ｂ（ｘ，ｙ）− Ｇ（ｘ，ｙ） ・・・（式１３）
このように、第２の画素補間部１００７でＧ成分にのみ画素補間を行なうことで、色付き抑制処理に必要な画像回復フィルタ適用後の色差情報を取得することができる。
【００６６】
Ｓ２０７で画素値調整部（Ｒ）１０１０は色差情報Ｃ１ｒとＣ２ｒとから、画素値調整部（Ｂ）１０１１はＣｂ１とＣ２ｂとから、それぞれＲ成分及びＢ成分について色付き抑制のための画素値調整が必要か否かを決定する。画素値調整部（Ｒ）１０１０及び画素値調整部（Ｂ）１０１１は、画素値補正手段に相当する。この決定は、以下に示すように、色差が増大しているか否か、色差の符号が反転しているか否かに基づいて行うことができる。
【００６７】
画素値調整部（Ｒ）１０１０と画素値調整部（Ｂ）１０１１は各画素におけるＲ成分とＢ成分に対してそれぞれ以下の判定を行い、いずれかを満たす場合はその色成分の値に対し、色付き抑制のための画素値調整が必要と決定する。
【００６８】
・画素値調整部（Ｒ）１０１０が行う、Ｒに対する判定
判定条件１：
Ｃ１ｒ（ｘ，ｙ）とＣ２ｒ（ｘ，ｙ）が同符号、且つ｜Ｃ１ｒ（ｘ，ｙ）｜ ＜ ｜Ｃ２ｒ（ｘ，ｙ）｜
判定条件２：
Ｃ１ｒ（ｘ，ｙ）とＣ２ｒ（ｘ，ｙ）が異符号
・画素値調整部（Ｂ）１０１１が行う、Ｂに対する判定
判定条件１：
Ｃ１ｂ（ｘ，ｙ）とＣ２ｂ（ｘ，ｙ）が同符号、且つ｜Ｃ１ｒ（ｘ，ｙ）｜ ＜ ｜Ｃ２ｒ（ｘ，ｙ）｜
判定条件２：
Ｃ１ｂ（ｘ，ｙ）とＣ２ｂ（ｘ，ｙ）が異符号
【００６９】
この判定結果により、画素値調整が必要と決定された画素について、画素値調整部（Ｒ）１０１０及び画素値調整部（Ｂ）１０１１は、Ｓ２０８において色付き抑制のための画素値調整を適用する。画素値調整は例えば以下に示すように、色差が増大した場合は画像回復前の色差を使用し、色差の符号が反転した場合は色差を０とするものであってよい。
・画素値調整部（Ｒ）１０１０による、Ｒに対する画素値調整
判定条件１を満たす場合（色差増大）；
Ｒ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ）＋ Ｃ１ｒ（ｘ，ｙ） ・・・（式１４）
判定条件２を満たす場合（色差反転）：
Ｒ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ） ・・・（式１５）
・画素値調整部（Ｂ）１０１１による、Ｂに対する画素値調整
判定条件１を満たす場合（色差増大）：
Ｂ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ）＋ Ｃ１ｒ（ｘ，ｙ） ・・・（式１６）
判定条件２を満たす場合（色差反転）：
Ｂ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ） ・・・（式１７）
【００７０】
Ｓ２０９では、画像回復フィルタが適用され、色付き抑制のための画素値調整が行なわれたＲＧＢの各色成分に対し、第３の画素補間部１０１２が画素補間処理を行なう。第３の画素補間部１０１２がＧ成分に対して適用する適応的な画素補間処理は、第１の画素補間部１００１や第２の画素補間部１００７での処理と同様であってよい。
一方、Ｒ成分及びＢ成分に対する適応的な画素補間処理の方法は、例えば以下のように行うことができる。ここでは、図５（ｄ）に示した補間前のＲ成分における値を有さない画素に対し、他の色成分を有する周囲の画素の情報を用いてＲ成分の値を生成する適応補間を行なう場合の例を説明する。
【００７１】
第３の画素補間部１０１２において、Ｒ成分に対する適応的な画素補間処理は、Ｒ成分の値を有する隣接画素の存在する方向に応じて、また事前に補間されたＧ成分の値を用いて、以下のように行うことができる。
隣接する左右画素に値がある場合（例えばＲ（２，０））：
Ｃｒ＝（Ｒ（ｘ−１，ｙ）−Ｇ（ｘ−１，ｙ）
＋Ｒ（ｘ＋１，ｙ）−Ｇ（ｘ＋１，ｙ））／２ ・・・（式１８）
Ｒ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）＋Ｃｒ ・・・（式１９）
隣接する上下画素に値がある場合（例えばＲ（１，１））：
Ｃｒ＝（Ｒ（ｘ，ｙ−１）−Ｇ（ｘ，ｙ−１） ・・・（式２０）
＋Ｒ（ｘ，ｙ＋１）−Ｇ（ｘ，ｙ＋１））／２
Ｒ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）＋Ｃｒ ・・・（式２１）
隣接する斜め画素に値がある場合（例えばＲ（２，１））：
Ｃｒ＝（Ｒ（ｘ−１，ｙ−１）−Ｇ（ｘ−１，ｙ−１）
＋Ｒ（ｘ＋１，ｙ−１）−Ｇ（ｘ＋１，ｙ−１）
＋Ｒ（ｘ−１，ｙ＋１）−Ｇ（ｘ−１，ｙ＋１）
＋Ｒ（ｘ＋１，ｙ＋１）−Ｇ（ｘ＋１，ｙ＋１））／４ ・・・（式２２）
Ｒ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）＋Ｃｒ ・・・（式２３）
このように、同じ色成分の値を有する隣接画素の存在する方向に応じて、その隣接画素に対して取得した色差情報（Ｒ−Ｇ）を補間することにより、適応的な画素補間処理を行う。
【００７２】
図５（ｅ）に示したＢ成分に対する画素補間処理についても、上述したＲ成分と同様にして、同じ色成分の値を有する隣接画素の存在する方向に応じて、その隣接画素に対して取得した色差情報（Ｒ−Ｂ）を補間することにより、適応的な画素補間処理を行う。
【００７３】
このような適応的な画素補間処理の適用により得られた、各色成分の値の例を図５（ｉ）〜（ｋ）に示す。また、適応的な画素補間処理の代わりに一般的な線形画素補間処理を適用して得られた色成分の値の例を図５（ｆ）〜（ｈ）に示す。線形補間の場合は100、200以外の値が生成されており、理想的な図５（ｂ）に示した画素配列に対して先鋭度が低下している。これに対し、適応的な画素補間処理を適用した場合、ＲＧＢ各成分の値は等しく、かつ図５（ｂ）に示した画素配列と一致している。このように、ある画素の色成分を求める際、その画素の周囲の、他の色成分を有する画素の情報に応じて適応的に画素補間を行なうことで、補間による先鋭度の低下を抑制または防止することが可能である。
【００７４】
なお、ここで説明した画素補間方法は単なる例示であって、第３の画素補間部１０１２が用いる画素補間方法は、単なる線形補間方法を含む他の方法を採用することができる。
【００７５】
このように、図３のフローチャートに従った処理により、画像処理部１０４（画像回復処理部１１１）における画像回復処理が実行される。なお、撮像光学系１０１の光学伝達関数は１つの撮像状態においても撮像光学系の画角（像高）に応じて変化するので、ここで説明した画像回復処理を、像高に応じたて分割した領域（例えば図１４（ａ）のｈ１〜ｈ８）ごとに変更して行うことが望ましい。具体的には、画像回復フィルタを画像上にコンボリューション処理をしながら走査させ、領域毎にフィルタを順次変更すれば良い。すなわちＳ２０３の処理を各対象画素に対して実行する。
【００７６】
なお、本実施形態では理解及び説明を容易にするため、画像回復フィルタの適用＝画像回復処理として説明したが、画像回復処理の一部として、他の補正処理、例えば歪曲補正処理や周辺光量補正処理やノイズ低減処理等を含めてもよい。
【００７７】
ここで、Ｓ２０２、Ｓ２０４、Ｓ２０６、Ｓ２０８で行なわれる画像回復処理前後の色差情報取得、画像回復フィルタ適用、並びに色付き抑制のための画素値調整の作用および効果の例を図９を用いて説明する。
【００７８】
図９（ａ）、（ｂ）は、図８に示したような、周辺部に点光源が存在する被写界を撮像した入力における、点光源とその近傍の水平方向における画素値の例を示す模式図である。図９（ａ）、（ｂ）はいずれも上段にＲ成分とＧ成分の画素値を、下段には上段で示したＲ成分とＧ成分の差分、つまり色差を示している。
【００７９】
まず、図９（ａ）は合焦時の状態を示している。（ａ）ー１は画像回復処理を適用していない状態を示し、画像に各収差が残存している。そのため、Ｇ成分、Ｒ成分ともにぼけており、さらにＧ成分とＲ成分のぼけ方が異なっているため色にじみが発生している。この場合、色差は左右のエッジ部分で正の値を持っている。
【００８０】
一方、（ａ）−２はＲＡＷ画像に画像回復処理を適用した状態を示し、収差が補正されぼけ成分が除去されている。（ａ）−２は、合焦時には画像回復処理による色付きが発生しない例を示している。この場合、本実施形態において色付き抑制のための画素値調整は不要と判定される。
【００８１】
また、図９（ｂ）は非合焦時の状態を示している。（ｂ）−１は（ａ）−１と同様に画像回復処理を適用していない状態を示し、画像に各収差が残存している。Ｇ成分、Ｒ成分ともにぼけているが、Ｇ成分とＲ成分のぼけ方が一致しているため、色差は全領域で０である。一方、（ｂ）−２はＲＡＷ画像に画像回復処理を適用した状態を示し、収差が補正されぼけ成分が低減されている。しかし、Ｇ成分とＲ成分のぼけ方が異なっているため色にじみが発生している。この場合、色差は左右のエッジ部分で負の値を持つ。
【００８２】
このような、画像回復処理の適用によって生じる色にじみが、本実施形態において抑制の対象となる色付きである。（ｂ）−３は本実施形態のＳ２０８において色付き抑制のための画素値調整処理が行われた状態を示し、画像回復処理による色付きが適切に抑制され、色差は（ｂ）−１と同様に全領域で０である。
【００８３】
このように、本実施形態では、ＲＡＷ画像に対して画像回復処理を行う場合でも、画像回復フィルタの適用によって発生する色付きを効果的に抑制することができる。図９（ａ）で示した合焦時と図９（ｂ）で示した非合焦時のそれぞれで、画像回復フィルタ適用前後のＧ成分とＲ成分のぼけ方の違いについて図１０を用いて説明する。図１０（ａ）〜（ｄ）は撮像光学系１０１のＭＴＦと画像回復フィルタ適用後のＭＴＦの空間周波数特性を示す模式図である。また、図１０（ｅ）は画像回復フィルタによるＭＴＦの増減率（回復ゲイン）を示す模式図である。
【００８４】
図１０（ａ）は合焦時の撮像光学系１０１のＭＴＦであり、Ｒ成分はＧ成分よりも劣化している。従って図９（ａ）−１ではＧ成分とＲ成分のぼけ方が異なり、点光源部分の画素値の変化はＲ成分の方がＧ成分よりも広がった状態になっている。
【００８５】
図１０（ｂ）は合焦時の画像回復フィルタ適用後のＭＴＦであり、Ｇ成分とＲ成分ともにＭＴＦが適切に補正され、Ｇ成分とＲ成分は一致している。これは図１０（ａ）のＭＴＦに図１０（ｅ）に示す回復ゲインが乗算された結果である。画像回復フィルタは合焦物体に最適な画像回復処理が行なえるように設計されているため、合焦時は適切な画像回復処理がされる。従って図９（ａ）−２に示す画像回復処理適用後はＧ成分とＲ成分のぼけが適切に除去され、色にじみも除去されている。
【００８６】
一方、図１０（ｃ）は非合焦時の撮像光学系１０１のＭＴＦであり、図１０（ａ）の合焦時と比較するとＧ成分もＲ成分も劣化した状態で一致している。従って図９（ｂ）−１ではＧ成分とＲ成分のぼけ方が一致しているが、図９（ａ）−１で示した合焦時よりぼけが大きくなっている状態である。
【００８７】
図１０（ｄ）は非合焦時の画像回復処理適用後のＭＴＦであり、Ｇ成分とＲ成分ともにＭＴＦが補正されているが、Ｇ成分はＲ成分よりも劣化した状態になっている。これは図１０（ｃ）のＭＴＦに図１０（ｅ）に示す回復ゲインが乗算された結果である。画像回復フィルタは合焦物体に最適な画像回復処理が行なえるように設計されているため、非合焦時は期待した画像回復結果にならない場合がある。従って、図９（ｂ）−２に示す画像回復処理適用後では、Ｇ成分とＲ成分のぼけが低減しているものの、Ｇ成分の方がＲ成分よりも広がった状態になっている。
【００８８】
なお、本実施形態の画像回復処理部１１１は、Ｇ成分に対する回復フィルタ適用部（Ｇ）１００４には入力ＲＡＷ画像のＧ成分がそのまま入力され、回復フィルタ適用部（Ｇ）１００４の出力がそのまま第３の画素補間部１０１２に入力される構成であった。しかし、図１１のように、第１の画素補間部１００１の出力を第１の画素間引き部１０１３で間引いて回復フィルタ適用部（Ｇ）１００４に入力し、第２の画素補間部１００７の出力を第２の画素間引き部１０１４で間引いて第３の画素補間部１０１２に出力してもよい。
【００８９】
図２の構成では、第１の画素補間部１００１と第２の画素補間部１００７により生成された画素補間後のＧ成分を、ベイヤー配列のＧ成分とは別に保持するためのメモリが必要となる。しかし、図１１の構成では、画素補間後に、補間で作成された画素の値を第１の画素間引き部１０１３と第２の画素間引き部１０１４で間引き、ベイヤー配列におけるＧ成分の状態に戻すため、画素補間後のＧ成分を保持するためのメモリが不要である。
【００９０】
このように、本実施形態で説明した処理を実施するにあたり、処理中の画像データは様々な時点で保持することができる。例えば回復フィルタ適用部１００４〜１００６に入力する各色成分は色成分ごとに保持しても良いし、ベイヤー配列のまま（色プレーンに分離せずに）保持してもよい。また、図２の構成のように、第１の画素補間部１００１と第２の画素補間部１００７で生成されたＧ成分を、ベイヤ配列のＧ成分とは別に保持してもよい。データの保持方法は、システムの有するメモリ容量等に応じて適宜決定すればよい。
【００９１】
以上説明したように、本実施形態によれば、ＲＡＷ画像のうちＧ成分のみを画素補間して、Ｒ成分及びＧ成分の画素について画像回復処理前後に色情報を取得する。そのため、ＲＡＷ画像に対して適用した画像回復処理によって色付きが生じた場合でも、画像回復処理前後に取得した色情報に基づいて色付きを効果的に抑制することが可能であり、高画質な画像回復処理結果を得ることができる。さらに、Ｇ成分についてのみ画素補間を行うので、処理負荷の増加は少なくてすむという利点もある。
【００９２】
（第２の実施形態）
以下、本発明の第２の実施形態について説明する。本実施形態に係る画像処理装置は、画像回復処理部の構成及び動作を除き、第１の実施形態で説明した撮像装置と同等であってよいため、以下の説明においては画像回復処理部の動作に関して説明する。
まず、本実施形態で用いる、倍率色収差補正成分を含まない画像回復フィルタと、倍率色収差の補正について説明する。
【００９３】
・倍率色収差補正成分を含まない画像回復フィルタ
画像回復処理の実空間と周波数空間での特性を図１２を用いて説明する。図１２において、（ａ）は画像回復処理前の点像分布関数を、（ｂ）は回復後の点像分布関数をそれぞれ示している。また、図１２（ｃ）の４０１は画像回復処理前のＭＴＦ、４０２は画像回復処理後のＭＴＦを示し、図１２（ｄ）の４０３は画像回復処理前のＰＴＦ、４０４は画像回復処理後のＰＴＦを示している。図１２（ａ）からわかるように、画像回復処理前の点像分布関数は非対称な広がりを有し、この非対称性により、対応するＰＴＦは零ではない値を有する（図１２（ｄ）４０３）。画像回復処理は、図１２（ｃ）の４０２に示すようにＭＴＦを増幅し、図１２（ｄ）の４０４に示すようにＰＴＦを零に補正するため、画像回復処理後の点像分布関数は図１２（ｂ）に示すように対称で先鋭になる。
【００９４】
画像回復フィルタは、撮像光学系の光学伝達関数の逆関数（１／Ｈ）に基づいて設計した関数を逆フーリエ変換して得ることができる。画像回復フィルタには上述のウィナーフィルタを用いることができるが、他のフィルタを用いてもよい。ウィナーフィルタを用いる場合、以下の式２４を逆フーリエ変換することで、コンボリューション処理に用いる実空間の画像回復フィルタを作成することができる。
【数１】
【００９５】
次に、倍率色収差を考慮した画像回復フィルタの生成について説明する。図１３（ａ）の５０２は、５０１の結像位置を基準として平行移動した位置に同形状の点像分布関数として結像した２つの色成分を表している。このときのＰＴＦを図１３（ｂ）に示す。図１３（ｂ）の６０１、６０２は図１３（ａ）の５０１、５０２と対応しており、６０２は位相が傾きをもった直線となっている。画像回復フィルタは、このような直線的なＰＴＦも図３（ｄ）の４０３のような非直線のＰＴＦも、もととなる光学伝達関数に含まれているため図１３（ｂ）の６０１のように補正することができる。
【００９６】
また、予めＰＴＦから直線成分を除去した光学伝達関数をもとに画像回復フィルタを生成することで、平行移動としての倍率色収差の成分を補正しない画像回復フィルタを生成することができる。一方、実空間で倍率色収差成分を除去する場合、図１３（ａ）の５０２を５０１の位置に平行移動して色成分間の差異を低減した点像分布関数を生成し、フーリエ変換することで、同様に倍率色収差の成分を除去した光学伝達関数を生成することができる。実際には５０１と５０２の点像分布関数の形状は異なるため、例えば重心を一致させる方法や５０１と５０２の差分の二乗平均を最小化するなどして両者を位置合わせすることで、色成分間の差異を低減できる。この光学伝達関数をもとに画像回復フィルタを生成することで、平行移動としての倍率色収差の成分を補正しない画像回復フィルタを生成することができる。
【００９７】
倍率色収差の成分を補正しない画像回復フィルタを適用することで、倍率色収差を画像回復処理と独立して処理することが可能になる。つまり、色成分ごとの非対称収差の補正および先鋭化と、倍率色収差の平行移動の成分である色ズレの補正とを分離して処理することが可能になる。
【００９８】
なお、光学伝達関数は同一の撮像状態（ズーム位置や絞りの開口径）であっても撮像光学系の像高（画像の位置）に応じて変化するので、画像回復フィルタは像高に応じて変更して使用することが望ましい。
【００９９】
（倍率色収差の検出と補正）
倍率色収差の補正量は、上述のようにＰＴＦの直線成分や点像分布関数の形状など、撮像光学系の設計値から算出することができる。上述のように、本明細書では色ズレと倍率色収差とを同義として用いるので、倍率色収差はＧに対するＲのズレ量、Ｇに対するＢのズレ量として扱うことができる。
【０１００】
以下、本実施形態における倍率色収差の補正方法を説明する。
倍率色収差による色ズレ量は一般に撮像光学系の光軸中心からの距離を示す像高によって変動する。ここで、ある像高Ｌにおける色ズレ量Ｄから、像高Ｌに対する色ズレ率Ｍを次式のように定義する。
Ｍ＝Ｄ／Ｌ ・・・（式２５）
【０１０１】
図１４（ｂ）に示すように、像高（ここでは図１４（ａ）に示した領域ｈ１〜ｈ８）と色ズレ率とから、像高ｌと色ズレ率Ｍとの関係を表す高次の多項近似式Ｆ（ｌ）を算出し、これを補正データとする。図１４（ｂ）は以下の式２６のように３次の多項式により補正データを算出した例である。なお式２６においてａ、ｂ、ｃは係数を示している。
Ｍ＝Ｆ（ｌ）＝ａｌ３ ＋ｂｌ２ ＋ｃｌ ・・・（式２６）
【０１０２】
色ズレの補正は対象色成分の画素位置をシフトすることで行い、具体的には例えば以下に示す方法で補正することができる。
まず、補正したいプレーン（Ｒプレーン、Ｂプレーン）の画素（Ｘ，Ｙ）において、画素（Ｘ，Ｙ）の像高Ｌと、補正データとから、画素（Ｘ，Ｙ）における色ズレ率Ｍを求める。なお、光学中心に対応する画素が（０，０）の座標系とする。
Ｍ＝Ｆ（Ｌ） ・・・（式２７）
【０１０３】
次に色ズレ補正により生成する画素の座標（Ｘ１，Ｙ１）を求める。
Ｘ１＝Ｍ×Ｘ ・・・（式２８）
Ｙ１＝Ｍ×Ｙ ・・・（式２９）
【０１０４】
補正したいプレーンにおいて上記座標（Ｘ１，Ｙ１）に相当する画素値を、一般的な補間処理により生成し、画素（Ｘ，Ｙ）の画素値とする。これらを全画素について行うことで、色ズレ補正を行う。このようにして、倍率色収差を補正する。
【０１０５】
図１５は、本発明の第２の実施形態に係る画像処理装置の一例としての撮像装置が有する画像回復処理部１１１”の機能構成例を示すブロック図である。図１５において、第１の実施形態に係る画像回復処理部１１１と同じ機能ブロックには同じ参照数字を付してある。図２と図１５との比較からわかるように、本実施形態ではＧ成分に対する回復フィルタ適用部が２つあること、倍率色収差補正部（Ｒ）１０１５と倍率色収差補正部（Ｂ）１０１６を有することを特徴とする。
【０１０６】
図１６に示すフローチャートを用いて、画像回復処理部１１１”の動作について説明する。
まずＳ３０１で、倍率色収差補正部（Ｒ）１０１５と倍率色収差補正部（Ｂ）１０１６で、Ｒ成分とＢ成分の倍率色収差をそれぞれ補正する。
【０１０７】
図４（ｃ）及び（ｄ）に示したように、入力されるＲ成分とＢ成分は限られた画素にのみ値を持つ状態だが、値を持つ画素のみを使用した補間処理による画素位置のシフトを行なうことで、ＲＡＷ画像のまま倍率色収差を補正することができる。
【０１０８】
Ｇ成分の画素補間処理（Ｓ２０１）と、回復前色差情報取得処理（Ｓ２０２）は第１の実施形態で説明したとおりである。
【０１０９】
次のＳ３０４で、回復フィルタ適用部１００５，１００６，１０１７，１０１８は撮像条件に適した画像回復フィルタを選択する。ただし、本実施形態で用いる画像回復フィルタは、倍率色収差補正のための平行移動成分が除去されている。つまり、画像回復フィルタは倍率色収差補正成分を含んでおらず、収差の非対称性および広がりを補正して画像の先鋭化を行うが、倍率色収差の平行移動成分に関しては補正しない。上述の通り、このような画像回復フィルタを用いることにより、倍率色収差を画像回復処理と独立して処理することが可能になる。つまり、色成分ごとの非対称収差の補正および先鋭化と、倍率色収差の平行移動の成分である色ズレの補正とを分離して処理することが可能になる。
【０１１０】
また、Ｓ３０４においては、選択された画像回復フィルタを必要に応じて補正しても構わない。これは、予め記憶部１０８に用意しておく画像回復フィルタのデータ数を低減するために、離散的な撮像状態のデータを用意しておいて、画像回復処理を実行する際に、実際の撮像状態に応じて画像回復フィルタを補正することである。また、画像回復フィルタの選択ではなく、画像回復フィルタを生成するために必要な光学伝達関数に関する情報から、撮像状態に応じた画像回復フィルタを生成してもよい。
【０１１１】
Ｓ３０５で回復フィルタ適用部１００５，１００６，１０１７，１０１８は、Ｓ３０４で選択もしくは生成した画像回復フィルタを、撮像された入力画像の各色成分に対して適用する。これにより、撮像光学系１０１の収差による点像分布関数の非対称性を補正し、画像のぼけ成分を除去もしくは低減することができる。
【０１１２】
本実施形態では図１７（ａ）（ｄ）（ｅ）で示すように、ＲＡＷ画像のＧ成分をさらにベイヤー配列におけるＧ１、Ｇ２の２成分に分離し、回復フィルタ適用部（Ｇ１）１０１７と回復フィルタ適用部（Ｇ２）１０１８で別個に画像回復フィルタを適用する。具体的には、Ｒ成分の信号を出力する画素の水平方向に隣接する画素から出力されるＧ成分の信号をＧ１成分の信号とし、Ｂ成分の信号を出力する画素の水平方向に隣接する画素から出力されるＧ成分の信号をＧ２成分の信号とする。
【０１１３】
つまり、図１７（ｂ）（ｃ）（ｄ）（ｅ）で示したＲ、Ｂ、Ｇ１、Ｇ２の４つを画像回復成分として扱い、個別に回復フィルタ適用部１００５、１００６、１０１７、１０１８、で画像回復処理（コンボリューション処理）を適用する。
【０１１４】
ここで、Ｇ成分をさらにＧ１、Ｇ２の２成分に分離して処理する意味を説明する。図１８はベイヤー配列の原色カラーフィルタを備える撮像素子における、色成分別の画素配列の空間周波数特性を示す図である。
所定のｘ，ｙの範囲について、Ｇ成分の画素で光を感知できる画素（白）を「１」、光を感知できない画素（黒）を「０」とする配列ｍ＿Ｇ（ｘ，ｙ）を求める。同様の配列を、Ｒ、Ｂ、Ｇ１、Ｇ２成分についても求め、ｍ＿Ｒ（ｘ，ｙ）、ｍ＿Ｂ（ｘ，ｙ）、ｍ＿Ｇ１（ｘ，ｙ）、ｍ＿Ｇ２（ｘ，ｙ）とする。ｍ＿Ｇ（ｘ，ｙ）、ｍ＿Ｒ（ｘ，ｙ）、ｍ＿Ｂ（ｘ，ｙ）、ｍ＿Ｇ１（ｘ，ｙ）、ｍ＿Ｇ２（ｘ，ｙ）をフーリエ変換したものが図１８に示した周波数特性に相当する。
【０１１５】
図１８（ａ）はＧ１成分とＧ２成分の両方を含んだＧ成分、すなわち図１７（ａ）の周波数特性を表したものであり、●の位置のみに「１」が存在するくし型関数である。図１８（ａ）に示すＧ成分の周波数特性は、図１７（ｂ）（ｃ）で示したＲ成分・Ｂ成分の周波数特性を示した図１８（ｂ）とは異なる。一方、Ｇ成分をＧ１成分とＧ２成分に分離すると、周波数特性はＲやＢ成分と同様に図１８（ｂ）のようになる。
【０１１６】
ベイヤー配列の原色カラーフィルタでは、Ｇ画素がＲ画素やＢ画素の２倍含まれるため、図１８に示すとおりＧ成分とＲ，Ｂ成分とで周波数特性が異なる。そのため、Ｇ成分をＧ１成分とＧ２成分に分離せず、Ｒ、Ｇ、Ｂの３つの色成分に画像回復フィルタを適用した場合、Ｇ成分だけが高周波帯域まで回復される。ＲＧＢ成分のうちＧ成分だけが高周波帯域まで回復されると、高周波成分を含む画像領域に、本来存在しなかった偽色が発生することがある。これは、画像の高周波帯域におけるＲＧＢ成分の周波数特性の関係が、画像回復処理前と後で変化したことによる。
【０１１７】
このように、画像回復対象成分の周波数特性が異なる場合、画像回復処理によって偽色が発生の原因になる。この偽色は、ベイヤー配列の画像に対する画素補間によって発生する偽色とは異なり、撮像素子によって取得された画素値そのものが変化することで発生する。そのため、画素補間による偽色発生を抑制する手法では画像回復処理によって発生する偽色は抑制できない。
【０１１８】
Ｇ成分をＧ１成分及びＧ２成分に分離することで、４つの画像回復成分Ｒ、Ｇ１、Ｇ２、Ｂの画素配列は同じ空間周波数特性を示すようになるため、画像回復処理による偽色の発生を抑えることができる。なお、Ｇ成分をＧ１成分とＧ２成分に分離しない場合も、Ｇ成分に適用する画像回復フィルタの作り方によって、補正されるＧ成分の周波数帯域をＲやＢ成分に一致させることが可能である。しかし、その場合、回復される周波数帯域はＧ成分をＧ１成分とＧ２成分に分離した場合と同等である。
【０１１９】
以後の処理は第１の実施形態におけるＳ２０５〜Ｓ２０９の処理と同様である。Ｓ３０５でＧ成分をＧ１成分とＧ２成分に分離して画像回復フィルタを適用した後は、再度１つのＧ成分として以降の処理を行なう。
【０１２０】
以上、本実施形態にかかわる画像回復処理部１１１”の構成及び画像回復処理について説明した。ここで、本実施形態においてＳ３０１で倍率色収差補正を行い、Ｓ３０５で倍率色収差補正成分を含まない画像回復フィルタを適用することの作用および効果の例を図１９を用いて説明する。
【０１２１】
図１９（ａ）（ｂ）は、図８に示したような、周辺部に点光源が存在する被写界を撮像した入力における、点光源とその近傍の水平方向における画素値の例を示す模式図である。図１９（ａ）（ｂ）はいずれも上段にＲ成分とＧ成分の画素値を、下段には上段で示したＲ成分とＧ成分の差分、つまり色差を示している。
【０１２２】
まず、図１９（ａ）は非合焦時において、倍率色収差補正成分を含まない画像回復フィルタを使用することの作用及び効果を説明するための図である。（ａ）−１は倍率色収差補正と、倍率色収差補正成分を含まない画像回復フィルタによる画像回復処理を行っていない状態を示し、画像に各収差が残存していることがわかる。Ｇ成分、Ｒ成分ともにぼけており、さらに倍率色収差により色ズレが発生しているため左右のエッジで色差が発生している。ただし、Ｇ成分とＲ成分のぼけ方は一致している。
【０１２３】
倍率色収差補正のみを適用した場合を、（ａ）−２に示す。Ｇ成分、Ｒ成分ともにぼけているが、倍率色収差補正により色ズレが解消されている。もともとＧ成分とＲ成分のぼけ方は一致していたため、色差は全領域で０である。
【０１２４】
倍率色収差補正に加え、倍率色収差補正成分を含まない画像回復フィルタによる画像回復処理を適用した場合を（ａ）−３に示す。非合焦時の例であるため、ぼけは低減しているが、実際の撮像状態での収差の状態と、画像回復フィルタの対象としている収差の状態が異なるために色付きが発生している。この色付きが本実施形態において抑制の対象となる色付きである。上述のように、本実施形態では、色付き抑制のための画素値調整処理の要否（画素値の補正要否）は、倍率色収差が補正された状態に相当する（ａ）−２の色差と、画像回復フィルタ適用後の状態に相当する（ａ）−３の色差の変化に基づいて判定される。
【０１２５】
（ａ）−２の状態で色差は全領域で０であるため、画像回復フィルタの適用により色差が増大したと判定され、色付き抑制のための画素値調整が必要と決定される。（ａ）−４は色付き抑制のための画素値調整処理の実行後の状態を示し、画像回復処理によって発生した色付きが適切に抑制され、色差は（ａ）−２と同様に全領域で０となる。
【０１２６】
一方、図１９（ｂ）は非合焦時において、倍率色収差補正成分を含んだ画像回復フィルタを使用した場合を示す。（ｂ）−１は（ａ）−１と同じであり、倍率色収差補正も画像回復フィルタによる画像回復処理も行っていない状態を示している。
この状態から、倍率色収差補正成分を有する画像回復フィルタを適用し、倍率色収差補正と画像回復処理を行った状態を（ｂ）−２に示す。色ズレが消滅し、ぼけは低減されてはいるが、画像回復フィルタの適用により色付きが発生している。（ａ）−３と同様の状態である。
【０１２７】
倍率色収差補正成分を含んだ画像回復フィルタを使用した場合、色付き抑制のための画素値の補正要否は、画像回復フィルタ適用前の（ｂ）−１での色差と、画像回復フィルタ適用後の（ｂ）−２での色差の変化に基づいて判定する。この場合、左のエッジは色差が一部反転しているため、色付き抑制のために画素値の補正が必要と判定されるが、右のエッジは色差が増大も反転もしていないため、画素値の補正は不要と判定される。
【０１２８】
（ｂ）−３は色付き抑制のための画素値調整処理が実行された状態を示し、左のエッジは色付きが抑制されているが、右のエッジは色付きが抑制されずそのまま残っている。
【０１２９】
このように本実施形態では、画像回復処理の前に倍率色収差補正を行い、その後、倍率色収差補正成分を含まない画像回復フィルタを適用して画像回復処理を行うことで、第１の実施形態による効果に加え、より高精度な色付き抑制が可能となる。
【０１３０】
また、Ｇ成分をＧ１成分とＧ２成分に分離して画像回復処理を適用することで、ＲＡＷ画像における各成分の周波数特性が等しくなり、画像回復処理による色付きをさらに抑制することができる。
【０１３１】
なお、本実施形態では、基準の色成分であるＧ成分をＧ１成分とＧ２成分に分離する構成と、倍率色収差補正と倍率色収差補正成分を含まない画像回復フィルタの組み合わせとを両方備える画像回復処理部１１１”について説明した。しかし、一方だけを用いることもでき、個々の効果を享受できる。
また、本実施形態においても、図１１を用いて説明した第１の実施形態の変形例のように、画素間引き部を設けた構成とすることができる。
【０１３２】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
撮像装置によって撮像された、各画素が１つの色成分を有するＲＡＷ画像における、前記撮像装置の撮像光学系の収差による画質の劣化を回復するための画像処理装置であって、
前記ＲＡＷ画像のうち予め定めた基準の色成分について、画素補間処理を行う第１の画素補間手段と、
前記ＲＡＷ画像のうち前記基準の色成分以外の色成分の各々について、値を有する画素と前記画素補間処理後の前記基準の色成分の対応する画素とから、色差を取得する第１の取得手段と、
前記撮像光学系の収差を示す関数に基づいた画像回復フィルタを、前記ＲＡＷ画像の色成分の各々に対して適用する画像回復処理手段と、
前記画像回復フィルタが適用されたＲＡＷ画像のうち前記基準の色成分について、画素補間処理を行う第２の画素補間手段と、
前記画像回復フィルタが適用されたＲＡＷ画像のうち前記基準の色成分以外の色成分の各々について、値を有する画素と前記第２の画素補間手段による画素補間処理後の前記基準の色成分の対応する画素とから、色差を取得する第２の取得手段と、
前記第１の取得手段と前記第２の取得手段が取得した前記色差の変化に応じて、前記画像回復フィルタが適用されたＲＡＷ画像のうち、前記基準の色成分以外の色成分の画素値の補正要否を判定し、補正が必要と判定された画素値を補正する画素値補正手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記ＲＡＷ画像のうち前記基準の色成分以外の色成分の各々について、前記撮像光学系の倍率色収差を補正する倍率色収差補正手段をさらに有し、
前記第１の取得手段は前記倍率色収差が補正された色成分の各々について前記色差を取得し、
前記画像回復処理手段は、倍率色収差の補正を行わない画像回復フィルタを適用することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記ＲＡＷ画像が、ベイヤー配列の原色カラーフィルタを備えた撮像素子によって撮像され、
前記基準の色成分がＧ成分であることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記画像回復処理手段は、前記Ｇ成分をＧ１成分とＧ２成分に分離し、前記Ｇ１成分と前記Ｇ２成分とで個別に前記画像回復フィルタを適用することを特徴とする請求項３記載の画像処理装置。
【請求項５】
さらに、前記画素値補正手段の出力する前記基準の色成分以外の色成分と、前記画像回復フィルタが適用された前記基準の色成分とをそれぞれ画素補間して出力する第３の画素補間手段を有することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記第１の画素補間手段、前記第２の画素補間手段、及び前記第３の画素補間手段の少なくとも１つは、補間する画素の特定の色成分の値を、該画素の周囲の、前記特定の色成分以外の色成分の値を用いて決定した補間方法によって前記画素補間処理を行うことを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記画像回復フィルタは、前記撮像光学系の点像分布関数の色成分間の差異を、ある色成分の点像分布関数の位置に他の色成分の点像分布関数を平行移動させることによって低減した点像分布関数に基づいて生成されたものであることを特徴とする請求項１乃至請求項６のいずれか１項に記載の画像処理装置。
【請求項８】
前記画像回復フィルタは、前記撮像光学系の光学伝達関数の位相の周波数特性から直線成分を除去した前記光学伝達関数に基づいて生成されたものであることを特徴とする請求項１乃至請求項６のいずれか１項に記載の画像処理装置。
【請求項９】
被写体の光学像を結像する撮像光学系と、
前記光学像を撮像する撮像素子と、
請求項１乃至請求項８のいずれか１項に記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項１０】
撮像装置によって撮像された、各画素が１つの色成分を有するＲＡＷ画像における、前記撮像装置の撮像光学系の収差による画質の劣化を回復するための、画像処理装置によって実行される画像処理方法であって、
前記画像処理装置の第１の画素補間手段が、前記ＲＡＷ画像のうち予め定めた基準の色成分について、画素補間処理を行う第１の画素補間工程と、
前記画像処理装置の第１の取得手段が、前記ＲＡＷ画像のうち前記基準の色成分以外の色成分の各々について、値を有する画素と前記画素補間処理後の前記基準の色成分の対応する画素とから、色差を取得する第１の取得工程と、
前記画像処理装置の画像回復処理手段が、前記撮像光学系の収差を示す関数に基づいた画像回復フィルタを、前記ＲＡＷ画像の色成分の各々に対して適用する画像回復処理工程と、
前記画像処理装置の第２の画素補間手段が、前記画像回復フィルタが適用されたＲＡＷ画像のうち前記基準の色成分について画素補間処理を行う第２の画素補間工程と、
前記画像処理装置の第２の取得手段が、前記画像回復フィルタが適用されたＲＡＷ画像のうち前記基準の色成分以外の色成分の各々について、値を有する画素と前記第２の画素補間手段による画素補間処理後の前記基準の色成分の対応する画素とから、色差を取得する第２の取得工程と、
前記画像処理装置の画素値補正手段が、前記第１の取得工程と前記第２の取得工程で取得された前記色差の変化に応じて、前記画像回復フィルタが適用されたＲＡＷ画像のうち前記基準の色成分以外の色成分の画素値の補正要否を判定し、補正が必要と判定された画素値を補正する画素値補正工程と、
を有することを特徴とする画像処理方法。
【請求項１１】
コンピュータを、請求項１乃至請求項８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１】
撮像装置によって撮像された、各画素が１つの色成分を有するＲＡＷ画像における、前記撮像装置の撮像光学系の収差による画質の劣化を回復するための画像処理装置であって、
前記ＲＡＷ画像のうち予め定めた基準の色成分について、画素補間処理を行う第１の画素補間手段と、
前記ＲＡＷ画像のうち前記基準の色成分以外の色成分の各々について、値を有する画素と前記画素補間処理後の前記基準の色成分の対応する画素とから、色差を取得する第１の取得手段と、
前記撮像光学系の収差を示す関数に基づいた画像回復フィルタを、前記ＲＡＷ画像の色成分の各々に対して適用する画像回復処理手段と、
前記画像回復フィルタが適用されたＲＡＷ画像のうち前記基準の色成分について、画素補間処理を行う第２の画素補間手段と、
前記画像回復フィルタが適用されたＲＡＷ画像のうち前記基準の色成分以外の色成分の各々について、値を有する画素と前記第２の画素補間手段による画素補間処理後の前記基準の色成分の対応する画素とから、色差を取得する第２の取得手段と、
前記第１の取得手段と前記第２の取得手段が取得した前記色差の変化に応じて、前記画像回復フィルタが適用されたＲＡＷ画像のうち、前記基準の色成分以外の色成分の画素値の補正要否を判定し、補正が必要と判定された画素値を補正する画素値補正手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記ＲＡＷ画像のうち前記基準の色成分以外の色成分の各々について、前記撮像光学系の倍率色収差を補正する倍率色収差補正手段をさらに有し、
前記第１の取得手段は前記倍率色収差が補正された色成分の各々について前記色差を取得し、
前記画像回復処理手段は、倍率色収差の補正を行わない画像回復フィルタを適用することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記ＲＡＷ画像が、ベイヤー配列の原色カラーフィルタを備えた撮像素子によって撮像され、
前記基準の色成分がＧ成分であることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記画像回復処理手段は、前記Ｇ成分をＧ１成分とＧ２成分に分離し、前記Ｇ１成分と前記Ｇ２成分とで個別に前記画像回復フィルタを適用することを特徴とする請求項３記載の画像処理装置。
【請求項５】
さらに、前記画素値補正手段の出力する前記基準の色成分以外の色成分と、前記画像回復フィルタが適用された前記基準の色成分とをそれぞれ画素補間して出力する第３の画素補間手段を有することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記第１の画素補間手段、前記第２の画素補間手段、及び前記第３の画素補間手段の少なくとも１つは、補間する画素の特定の色成分の値を、該画素の周囲の、前記特定の色成分以外の色成分の値を用いて決定した補間方法によって前記画素補間処理を行うことを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記画像回復フィルタは、前記撮像光学系の点像分布関数の色成分間の差異を、ある色成分の点像分布関数の位置に他の色成分の点像分布関数を平行移動させることによって低減した点像分布関数に基づいて生成されたものであることを特徴とする請求項１乃至請求項６のいずれか１項に記載の画像処理装置。
【請求項８】
前記画像回復フィルタは、前記撮像光学系の光学伝達関数の位相の周波数特性から直線成分を除去した前記光学伝達関数に基づいて生成されたものであることを特徴とする請求項１乃至請求項６のいずれか１項に記載の画像処理装置。
【請求項９】
被写体の光学像を結像する撮像光学系と、
前記光学像を撮像する撮像素子と、
請求項１乃至請求項８のいずれか１項に記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項１０】
撮像装置によって撮像された、各画素が１つの色成分を有するＲＡＷ画像における、前記撮像装置の撮像光学系の収差による画質の劣化を回復するための、画像処理装置によって実行される画像処理方法であって、
前記画像処理装置の第１の画素補間手段が、前記ＲＡＷ画像のうち予め定めた基準の色成分について、画素補間処理を行う第１の画素補間工程と、
前記画像処理装置の第１の取得手段が、前記ＲＡＷ画像のうち前記基準の色成分以外の色成分の各々について、値を有する画素と前記画素補間処理後の前記基準の色成分の対応する画素とから、色差を取得する第１の取得工程と、
前記画像処理装置の画像回復処理手段が、前記撮像光学系の収差を示す関数に基づいた画像回復フィルタを、前記ＲＡＷ画像の色成分の各々に対して適用する画像回復処理工程と、
前記画像処理装置の第２の画素補間手段が、前記画像回復フィルタが適用されたＲＡＷ画像のうち前記基準の色成分について画素補間処理を行う第２の画素補間工程と、
前記画像処理装置の第２の取得手段が、前記画像回復フィルタが適用されたＲＡＷ画像のうち前記基準の色成分以外の色成分の各々について、値を有する画素と前記第２の画素補間手段による画素補間処理後の前記基準の色成分の対応する画素とから、色差を取得する第２の取得工程と、
前記画像処理装置の画素値補正手段が、前記第１の取得工程と前記第２の取得工程で取得された前記色差の変化に応じて、前記画像回復フィルタが適用されたＲＡＷ画像のうち前記基準の色成分以外の色成分の画素値の補正要否を判定し、補正が必要と判定された画素値を補正する画素値補正工程と、
を有することを特徴とする画像処理方法。
【請求項１１】
コンピュータを、請求項１乃至請求項８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１３−５１５９９（Ｐ２０１３−５１５９９Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８９３２６（Ｐ２０１１−１８９３２６）
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]