画像処理装置及び画像処理方法
【課題】 画像回復処理後の画像における色付きを抑制することの可能な画像処理装置およびその制御方法を提供する。
【解決手段】 撮像光学系の倍率色収差を補正し（Ｓ３０２）た後、画像回復フィルタを適用する前に色に関する特徴量を取得する（Ｓ３０４）。そして、撮像光学系の収差を示す関数に基づいた、倍率色収差の補正を行わないフィルタ画像回復フィルタを適用する（Ｓ３０５）。画像回復フィルタ適用後の画像から色に関する特徴量を取得し（Ｓ３０６）、画像回復フィルタの適用前後における特徴量の変化に応じて、色付きを抑制するための画素値補正を行う（Ｓ３０８）。
【解決手段】 撮像光学系の倍率色収差を補正し（Ｓ３０２）た後、画像回復フィルタを適用する前に色に関する特徴量を取得する（Ｓ３０４）。そして、撮像光学系の収差を示す関数に基づいた、倍率色収差の補正を行わないフィルタ画像回復フィルタを適用する（Ｓ３０５）。画像回復フィルタ適用後の画像から色に関する特徴量を取得し（Ｓ３０６）、画像回復フィルタの適用前後における特徴量の変化に応じて、色付きを抑制するための画素値補正を行う（Ｓ３０８）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、特に画像回復処理を用いた画像補正技術に関する。
【背景技術】
【０００２】
撮像装置で被写体を撮像して得られた画像には、特に撮像光学系の収差の影響による画質劣化が生じている。例えば、画像のぼけは、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等による画質劣化である。光の波としての性質である回折の影響を無視すれば、被写体の一点から出た光束は収差のない撮像光学系によって撮像面上で同じ大きさの一点（集光店）に結像される。しかしながら実際には、回折の影響に加え、撮像光学系の収差により、集光点から広がりをもって結像される。
【０００３】
撮像光学系の点像分布関数（ＰＳＦ: Point Spread Function）は、集光点付近の強度分布、すなわち回折および撮像光学系の収差による像のぼけを表すため、ぼけ成分と呼ぶことにする。このぼけ成分は、いわゆるピントがずれていることによるぼけではなく、ピントが合っていても、光の回折や撮像光学系の収差によって生じるぼけを意味する。
【０００４】
また、カラー画像での色にじみも、撮像光学系の軸上色収差、色の球面収差、色のコマ収差に起因するものに関しては、光の波長に応じたぼけ方の相違ということができる。また、横方向の色ズレも、光学系の倍率色収差に起因したものに関しては、光の波長に応じた撮像倍率の相違による位置ずれまたは位相ずれということができる。
【０００５】
点像分布関数をフーリエ変換して得られる光学伝達関数（ＯＴＦ： Optical Transfer Function）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数の絶対値、即ち振幅成分をＭＴＦ(Modulation Transfer Function)と呼び、位相成分をＰＴＦ(Phase Transfer Function)と呼ぶ。ＭＴＦ、ＰＴＦはそれぞれ収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分ＰＴＦを位相角として以下の式で表す。なお、Ｒｅ（ＯＴＦ）、Ｉｍ（ＯＴＦ）は、それぞれ光学伝達関数の実部、虚部を表す。
ＰＴＦ＝ｔａｎ-1（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ）） ・・・（式１）
【０００６】
このように、撮像光学系の光学伝達関数が画像の振幅成分と位相成分の両方を劣化させるため、被写体像の各点は、コマ収差がある場合のように、集光点に対して非対称にぼけている。
【０００７】
また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれる現象である。通常撮像素子にはＲＧＢのカラーモザイクフィルタが設けられており、各画素ではＲＧＢのいずれか一つの色成分を取得するように構成されている。従って、Ｒの波長、Ｇの波長、及びＢの波長間で結像位置がずれることはもとより、取得した各色成分内にも波長ごとの結像位置のずれ、即ち位相ずれによる像の広がりが発生する。よって、厳密には倍率色収差は単なる平行シフトの色ズレではないが、特に説明が無い限り本明細書では色ズレと倍率色収差とを同義として用いる。
【０００８】
撮像光学系の光学伝達関数の情報を用い、振幅成分（ＭＴＦ）および位相成分（ＰＴＦ）の劣化を補正する、画像回復や画像復元と呼ばれる方法が知られている。そのため、以下では、撮像光学系の光学伝達関数の情報を用いて画像の劣化を補正する処理を画像回復処理と呼ぶ。
【０００９】
ここで、画像回復処理の概要を示す。劣化した画像をｇ（ｘ，ｙ）、元の画像をｆ（ｘ，ｙ）、撮像光学系の光学伝達関数を逆フーリエ変換したものである点像分布関数をｈ（ｘ，ｙ）としたとき、以下の式が成り立つ。ただし、演算子”＊”はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示すものとする。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） ・・・（式２）
【００１０】
また、この式をフーリエ変換して２次元周波数面での表示形式に変換すると、以下の式のように周波数毎の積の形式になる。Ｈは点像分布関数をフーリエ変換したものであるので光学伝達関数である。（ｕ，ｖ）は２次元周波数面での座標、即ち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） ・・・（式３）
【００１１】
撮像された劣化画像から元の画像を得るためには、以下のように両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） ・・・（式４）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで元の画像ｆ（ｘ，ｙ）が回復像として得られる。
【００１２】
ここで、上式の１／Ｈを逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで同様に元の画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） ・・・（式５）
【００１３】
このＲ（ｘ，ｙ）を画像回復フィルタと呼ぶ。２次元画像に適用する画像回復フィルタは一般に、画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また一般に、画像回復フィルタのタップ数（セルの数）が多いほど回復精度が向上するが、実際のタップ数は要求画質、画像処理能力、収差の特性等に応じて設定される。画像回復フィルタは、撮像光学系の収差の特性を反映する光学伝達関数に基づいているため、振幅成分および位相成分の劣化をともに高精度に補正することができる。このような画像回復フィルタは、水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）のような２次元フィルタとは根本的に異なるものである。
【００１４】
例えば、特許文献１には、生体内部を観察するための蛍光内視鏡の撮像画像のうち、合焦範囲外となる部分について、使用する蛍光波長に応じた点像分布関数を用いて像のぼけを解消する手法が開示されている。
【００１５】
なお、実際の画像にはノイズ成分があるため、光学伝達関数の完全な逆数をとって作成した画像回復フィルタを用いると、ノイズ成分が増幅されてしまい、高画質の回復画像を得ることができない。光学伝達関数の完全な逆数をとって作成した画像回復フィルタは、撮像光学系のＭＴＦが全周波数に渡って１となるようにＭＴＦを補正（増加）することで、撮像光学系による振幅劣化を回復する。そのため、画像の振幅成分にノイズの振幅が付加されていると、ＭＴＦとともにノイズのパワースペクトルも上昇し、結果的にＭＴＦの回復度合（回復ゲイン）に応じてノイズが増幅されてしまう。
【００１６】
この現象は以下の式で表すことができる。なお、Ｎはノイズ成分を表している。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ） ・・・（式６）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）
・・・（式７）
そのため、例えば詳細を後述するウィーナーフィルタのように、画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する画像回復フィルタを用いることで、回復画像におけるノイズを抑制する方法が知られている。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特許第３５３２３６８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１８】
このように、撮像画像に対して撮像光学系の点像分布関数を用いた画像回復処理を施すことにより、諸収差を補正して画質を向上させる技術が知られている。
しかしながら、実際の撮像では、入力画像の撮像状態と、適用する画像回復フィルタの状態が最適には一致しない場合がある。
【００１９】
例えば、立体被写体の撮像画像がその一例である。撮像装置は、オートフォーカス機能やマニュアルフォーカスにより被写体空間の１つの面に焦点を合わせて撮像するため、合焦面に位置する被写体は比較的先鋭に撮像される。しかし、他の被写体（同一被写体の、合焦面から異なる位置にある部分を含む）は合焦面からの距離に応じたぼけ量で撮像される。
【００２０】
そして、被写体距離に関する情報が、合焦面までの距離のみの場合、この被写体距離と画角に最適な画像回復フィルタを選択若しくは生成して使用することになる。その結果、合焦物体に対しては最適な画像回復フィルタが適用されるため、望ましい回復結果を得ることができるが、非合焦物体については画像回復フィルタが最適でないため、多少の回復効果はあるものの、ぼけを解消することはできない。
【００２１】
一方で、写真において被写体のぼけは、被写体の立体感や注視物体を表現するための手法として用いられている。例えば、被写界深度の浅い望遠レンズを用いて主被写体にピントを合わせ、背景を意図的にぼかす写真表現などである。このような写真表現の存在を考慮すれば、合焦被写体はより先鋭化され、非合焦被写体にはぼけが残存する上述の画像回復処理は適切とも考えられる。
【００２２】
しかし、合焦距離の被写体に最適であり、非合焦距離の被写体には最適でない画像回復フィルタを用いて画像回復処理した場合、非合焦距離の被写体に色付きが発生する場合がある。ここでの色付きとは、画像の各色成分のぼけ方の関係が画像回復処理の前後で異なることにより、画像回復処理後の画像の例えば非合焦距離の被写体（非合焦被写体）のエッジ部に、被写体に無い色（偽色）が発生することである。
【００２３】
さらに、このような色付きは立体被写体の撮像に限らず発生する場合がある。本質的には合焦しているか否かに関わらず、画像を撮像した際の収差の状態と、適用する画像回復フィルタが補正する収差の状態とが異なる場合に色付きが発生する。
【００２４】
このような色付きを低減する方法として、画像回復処理前の画像の色情報に基づいて、画像回復処理後の画像の色を補正する方法がある。つまり画像の各画素において画像回復処理による色の変化を判定し、画像回復処理による色付きを低減させるという方法である。しかし、画像回復処理前の撮像画像にはすでに、軸上色収差、色の球面収差、色のコマ収差が原因となる色のにじみや、倍率色収差が原因となる色ズレなど、撮像光学系の諸収差による色付きが存在している。画像回復処理前の画像にこのような色付きが存在する場合、画像回復処理前の画像の色情報に基づく方法では画像回復処理後の画像における色付きを十分に抑制できないことがある。
画質を向上させるための画像回復処理において生じる色付きは、無視できない画質劣化であり、十分な抑制が必要である。
【００２５】
特許文献１では、撮像画像の非合焦範囲に対して画像回復処理を行うことで、撮像光学系の浅い被写界深度を補おうとするものである。特許文献１記載の画像回復処理では、非業小範囲における先鋭度の向上は実現できたとしても、画像回復処理前の撮像画像に色付きがある場合、画像回復処理後の画像に発生する色付きを十分抑制することはできない。
【００２６】
本発明はこのような従来技術の課題に鑑みてなされたものであり、画像回復処理後の画像における色付きを抑制することの可能な画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００２７】
上述の目的は、撮像装置によって撮像された画像における、撮像装置の撮像光学系の収差による画質の劣化を回復するための画像処理装置であって、画像に対して撮像光学系の倍率色収差の補正を行う第１の倍率色収差補正手段と、倍率色収差が補正された画像について、色に関する特徴量を取得する第１の取得手段と、撮像光学系の収差を示す関数に基づいた画像回復フィルタを倍率色収差が補正された画像に適用する画像回復処理手段と、画像回復フィルタが適用された画像に対し、色に関する特徴量を取得する第２の取得手段と、第１の取得手段と第２の取得手段が取得した色に関する特徴量の変化に応じて、画像回復フィルタが適用された画像の画素値を補正する画素値補正手段とを有し、画像回復フィルタは、倍率色収差の補正を行わないフィルタであることを特徴とする画像処理装置によって達成される。
【発明の効果】
【００２８】
このような構成により本発明によれば、画像回復処理後の画像における色付きを抑制することの可能な画像処理装置および画像処理方法を提供することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施形態に係る画像処理装置の一例としての撮像装置の構成例を示すブロック図
【図２】本発明の実施形態に係る画像回復フィルタを説明するための図
【図３】本発明の実施形態に係る画像回復処理の実空間と周波数空間での特性を説明するための図
【図４】倍率色収差を考慮した画像回復フィルタの生成について説明するための図
【図５】本発明の実施形態に係る倍率色収差の検出及び補正処理を示すフローチャート
【図６】本発明の実施形態に係る倍率色収差補正データ生成方法を説明するための図
【図７】本発明の第１の実施形態に係る画像回復処理を示すフローチャート
【図８】本発明の実施形態に係る点光源の図
【図９】本発明の第１の実施形態に係る画像回復処理の作用効果を説明するための図
【図１０】本発明の第１の実施形態に係る画像回復処理の作用効果を説明するための図
【図１１】（ａ）〜（ｄ）は本発明の実施形態に係る撮像装置の撮像光学系のＭＴＦと画像回復フィルタ適用後のＭＴＦの空間周波数特性の例を示す模式図、（ｅ）は本発明の実施形態に係る撮像装置の画像回復フィルタによるＭＴＦの増減率（回復ゲイン）を示す模式図
【図１２】本発明の第２の実施形態に係る画像回復処理を示すフローチャート
【図１３】本発明の第２の実施形態に係る画像回復処理の作用効果を説明するための図
【図１４】本発明の第２の実施形態に係る画像回復処理の作用効果を説明するための図
【発明を実施するための形態】
【００３０】
以下、添付図面を参照して、本発明をその例示的な実施形態に基づいて詳細に説明する。はじめに、本発明の実施形態における画像回復処理の概要と、倍率色収差の検出及び補正処理について説明する。
【００３１】
（画像回復処理）
基本的には、上述した従来の画像回復処理と同様、画像回復フィルタを用いる。以下の式は、画像回復フィルタとして使用可能な一例としてのウィナーフィルタの特性を示す。
【００３２】
【数１】
【００３３】
ここで、Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜は光学伝達関数の絶対値（ＭＴＦ）、ＳＮＲは画像信号とノイズ信号との強度比である。上式からわかるように、この方法は周波数ごとに、ＭＴＦが小さいほど回復ゲイン（回復度合）を抑制し、ＭＴＦが大きいほど回復ゲインを強くするものである。一般的に撮像光学系のＭＴＦは低周波側が大きく高周波側が小さくなるため、実質的に画像の高周波側の回復ゲインを抑制している。
【００３４】
上述の通り、画像回復フィルタは２次元画像に適用する場合、画素に対応するタップを有する２次元フィルタとして構成され、タップ数は撮像光学系の収差特性や要求される回復精度に応じて決定することができる。図２（ａ）は、例として、水平及び垂直方向に１１タップを有する１１×１１タップの２次元フィルタで構成された画像回復フィルタを模式的に示している。図２（ａ）では各タップの値（係数値）の記載を省略しているが、画像回復フィルタの１水平ラインのタップ係数の分布例を図２（ｂ）に示す。画像回復フィルタのタップの値（係数値）の分布が、撮像光学系の収差によって空間的な広がりを持つ点像分布関数を、理想的には元の１点に戻す（回折の影響を無視した場合）役割を果たしている。
【００３５】
画像回復フィルタのタップ係数値は、画像回復処理の工程で実行される画素ごとのコンボリューション処理（畳み込み積分、積和）に用いられる。コンボリューション処理では、処理対象の画素の信号値に画像回復処理を適用するために、処理対象の画素を画像回復フィルタの中心タップと一致させる。そして、画像回復フィルタの各タップ位置において、対応する画素信号値とタップ係数値との積を求め、積の総和で処理対象の画素の信号値を置き換える。
【００３６】
画像回復処理の実空間と周波数空間での特性を図３を用いて説明する。図３において、（ａ）は画像回復処理前の点像分布関数を、（ｂ）は回復後の点像分布関数をそれぞれ示している。また、図３（ｃ）の４０１は画像回復処理前のＭＴＦ、４０２は画像回復処理後のＭＴＦを示し、図３（ｄ）の４０３は画像回復処理前のＰＴＦ、４０４は画像回復処理後のＰＴＦを示している。図３（ａ）からわかるように、画像回復処理前の点像分布関数は非対称な広がりを有し、この非対称性により、対応するＰＴＦは零ではない値を有する（図３（ｄ）４０３）。画像回復処理は、図３（ｃ）の４０２に示すようにＭＴＦを増幅し、図３（ｄ）の４０４に示すようにＰＴＦを零に補正するため、画像回復処理後の点像分布関数は図３（ｂ）に示すように対称で先鋭になる。
【００３７】
画像回復フィルタは、撮像光学系の光学伝達関数の逆関数（１／Ｈ）に基づいて設計した関数を逆フーリエ変換して得ることができる。画像回復フィルタには上述のウィナーフィルタを用いることができるが、他のフィルタを用いてもよい。ウィナーフィルタを用いる場合、光学伝達関数の逆関数を逆フーリエ変換することで、コンボリューション処理に用いる実空間の画像回復フィルタを作成することができる。
【００３８】
次に、倍率色収差を考慮した画像回復フィルタの生成について説明する。図４（ａ）の５０２は、５０１の結像位置を基準として平行移動した位置に同形状の点像分布関数として結像した２つの色成分を表している。このときのＰＴＦを図４（ｂ）に示す。図４（ｂ）の６０１、６０２は図４（ａ）の５０１、５０２と対応しており、６０２は位相が傾きをもった直線となっている。画像回復フィルタは、このような直線的なＰＴＦも図３（ｄ）の４０３のような非直線のＰＴＦも、もととなる光学伝達関数に含まれているため図４（ｂ）の６０１のように補正することができる。
【００３９】
また、予めＰＴＦから直線成分を除去した光学伝達関数をもとに画像回復フィルタを生成することで、平行移動としての倍率色収差の成分を補正しない画像回復フィルタを生成することができる。一方、実空間で倍率色収差成分を除去する場合、図４（ａ）の５０２を５０１の位置に平行移動して差異を低減した点像分布関数を生成し、フーリエ変換することで、同様に倍率色収差の成分を除去した光学伝達関数を生成することができる。実際には５０１と５０２の点像分布関数の形状は異なるため、例えば重心を一致させる方法や５０１と５０２の差分の二乗平均を最小化するなどして両者を位置合わせすることができる。この光学伝達関数をもとに画像回復フィルタを生成することで、平行移動としての倍率色収差の成分を補正しない画像回復フィルタを生成することができる。
【００４０】
倍率色収差の成分を補正しない画像回復フィルタを適用することで、倍率色収差を画像回復処理と独立して処理することが可能になる。つまり、色成分ごとの非対称収差の補正および先鋭化と、倍率色収差の平行移動の成分である色ズレの補正とを分離して処理することが可能になる。
【００４１】
なお、光学伝達関数は同一の撮像状態（ズーム位置や絞りの開口径）であっても撮像光学系の像高（画像の位置）に応じて変化するので、画像回復フィルタは像高に応じて変更して使用することが望ましい。
以上が、画像回復処理の概要である。
【００４２】
（倍率色収差の検出と補正）
倍率色収差の補正量は、上述のようにＰＴＦの直線成分や点像分布関数の形状など、撮像光学系の設計値から算出することができる。
【００４３】
しかし、撮像光学系の製造ばらつきや撮像時の光源分光の変動により倍率色収差の画像上での現れ方が変化する場合があり、このような変化に対応する方法として画像から倍率色収差を検出する方法がある。画像から倍率色収差を検出して補正する方法に関して図５を用いて説明する。後述するように、本実施形態に係る撮像装置（図１）においては、画像処理部１０４の有する画像回復処理部１１１が以下の処理を実行することができるが、ここでは一般的な手順として説明する。
【００４４】
まず、Ｓ２０１で撮像画像を入力画像として取得する。
次に、Ｓ２０２では、倍率色収差による色ズレが顕著に現れるエッジ部分を画像から検出する。エッジの検出にはＹ（輝度）プレーンを使用する。光学中心からの動径方向に大きく画素値の変化するエッジに限定して検出することにより、精度の高い色ズレ量取得が可能になる。また、Ｙプレーンにおいて、倍率色収差による色ズレはにじみとなって現れるので、画素値の単調増加もしくは単調減少が複数画素連続するような、ある程度幅のあるエッジを検出するのが良い。
【００４５】
次に、Ｓ２０３では、Ｓ２０２で検出された各エッジにおいて色ズレ量を取得する。ここで扱う色ズレの方向は、光学中心と各エッジの位置関係により上／下方向、左／右方向、右斜め上／左斜め下方向、左斜め上／右斜め下方向の何れかを適用することで処理の簡略化を図る。各エッジにおける色ズレ量の取得には、色成分間の相関を用いる。例えば、色成分間の差分絶対値の和を判定して色ズレ量を取得することができる。Ｇプレーンに対しＲプレーン（もしくはＢプレーン）を色ズレ方向に移動させながら、検出されたエッジ付近の画素において、色成分間の差分絶対値和が最小となる場所を探索する。ここで検出された差分絶対値和が最小となった位置と、移動前の位置とから、Ｇプレーンに対するＲプレーン（もしくはＢプレーン）の色ズレ量を取得することができる。
【００４６】
色ズレ量は、Ｇプレーンに対しＲプレーン（もしくはＢプレーン）が光学中心方向へずれている場合に負の値とし、Ｇプレーンに対しＲプレーン（もしくはＢプレーン）が光学中心とは逆方向へずれている場合に正の値とする。
【００４７】
Ｓ２０４では、Ｓ２０２で検出された各エッジの像高と、Ｓ２０３で取得した各エッジの色ズレ量から、像高と色ズレの関係を求めることで補正データを作成する。
ここでいう像高とは、光学中心に相当する画素（以降、単に光学中心という）からの距離である。
【００４８】
以下、補正データの作成手順について具体的に説明する。
（１）Ｓ２０２で検出されたエッジの像高をＬ、Ｓ２０３で取得された色ズレ量をＤとした場合、下記のように像高に対する色ズレ率Ｍを求める。
Ｍ＝Ｄ／Ｌ ・・・（式９）
（２）図６（ａ）に示すように画像を像高に応じた複数の領域（ここではｈ１〜ｈ８）に分割し、エッジが属する領域を選別する。
（３）画像内で検出された各エッジについて（１）（２）を行い、像高に応じて分割した領域ごとに色ズレ率Ｍを集計し、各領域での色ズレ率Ｍの平均値を各領域の色ズレ率として求める。
（４）図６（ｂ）に示すように、像高と色ズレ率とから、像高ｌと色ズレ率Ｍとの関係を表す高次の多項近似式Ｆ（ｌ）を算出し、これを補正データとする。図６（ｂ）は以下の式１０のように３次の多項式により補正データを算出した例である。なお式１０においてａ、ｂ、ｃは係数を示している。
Ｍ＝Ｆ（ｌ）＝ａｌ３ ＋ｂｌ２ ＋ｃｌ ・・・（式１０）
【００４９】
なお、エッジの検出と色ズレ量取得は、画像内の全エッジに対して行っても良い。しかし、像高に応じて分割した各領域で、ある閾値以上の数の色ズレ率が集計された段階でエッジ検出と色ズレ量取得を終了するなど、信頼度を保ちながら処理の効率化を図ることもできる。
【００５０】
また、像高に応じて分割した複数の領域のうち、該当するエッジが見つかった領域のみを高次の多項近似式算出に使用することで、該当するエッジが見つからない領域があった場合でも補正データの作成が可能となる。
【００５１】
次に、Ｓ２０５では、Ｓ２０４で作成された補正データを使用して色ズレを補正する。補正は対象色成分の画素位置をシフトすることで行い、具体的には例えば以下に示す方法で補正することができる。
【００５２】
まず、補正したいプレーン（Ｒプレーン、Ｂプレーン）の画素（Ｘ，Ｙ）において、画素（Ｘ，Ｙ）の像高Ｌと、補正データとから、画素（Ｘ，Ｙ）における色ズレ率Ｍを求める。なお、光学中心に対応する画素が（０，０）の座標系とする。
Ｍ＝Ｆ（Ｌ） ・・・（式１１）
【００５３】
次に色ズレ補正により生成する画素の座標（Ｘ１，Ｙ１）を求める。
Ｘ１＝Ｍ×Ｘ ・・・（式１２）
Ｙ１＝Ｍ×Ｙ ・・・（式１３）
【００５４】
補正したいプレーンにおいて上記座標（Ｘ１，Ｙ１）に相当する画素値を、一般的な補間処理により生成し、画素（Ｘ，Ｙ）の画素値とする。これらを全画素について行うことで、色ズレ補正を行う。
以上が、画像から倍率色収差補正データを作成し、補正するまでの処理概要である。
【００５５】
（撮像装置の構成）
図１は、本発明の実施形態にかかる画像処理装置の一例としての撮像装置の構成例を示すブロック図である。本実施形態では撮像光学系および撮像素子を有する撮像装置に本発明を適用した例を説明するが、本発明において撮像光学系や撮像素子といった撮像画像を生成するための構成要素は必須でない。
【００５６】
不図示の被写体の光学像を撮像光学系１０１で撮像素子１０２に結像する。撮像素子１０２で結像光が電気信号に変換され、Ａ／Ｄコンバータ１０３でデジタル信号に変換されて、画像処理部１０４に入力される。画像処理部１０４は画像回復処理部１１１と、画像回復処理以外の画像処理を行う、他の画像処理部１１２から構成される。画像回復処理部１１１は、まず、状態検知部１０７から撮像装置の撮像状態の情報を得る。状態検知部１０７は撮像装置の撮像状態の情報をシステムコントローラ１１０から直接得ても良いし、例えば撮像光学系１０１に関する撮像状態の情報は撮像光学系制御部１０６から得てもよい。
【００５７】
次に画像回復処理部１１１は、撮像状態に応じた画像回復フィルタを例えば記憶部１０８から選択し、画像回復処理部１１１は画像処理部１０４に入力された画像に対して倍率色収差補正処理および画像回復フィルタ適用処理を行う。画像回復処理の詳細については後述する。記憶部１０８で保持するデータは画像回復フィルタではなく、画像回復フィルタを生成するために必要な情報（例えば点像分布関数や光学伝達関数に関する情報）でもよい。この場合、画像回復処理部１１１は撮像状態に応じた点像分布関数又は光学伝達関数に関する情報を記憶部１０８から選択して撮像状態に応じた画像回復フィルタを生成し、この画像回復フィルタを用いて画像回復処理を行う。また、他の画像処理部１１２は画像回復処理後の画像に対し、ガンマ補正やカラーバランス調整など、所定の画像処理を行ないＪＰＥＧ等の画像ファイルを生成する。
【００５８】
画像処理部１０４で処理された出力画像は、システムコントローラ１１０が画像記録媒体１０９に所定のフォーマットで保存する。また、表示部１０５には、画像回復処理後の画像に表示用の所定の処理を行った画像を表示しても良いし、画像回復処理を行わない、又は簡易的な回復処理を行った画像を表示しても良い。
【００５９】
一連の制御はシステムコントローラ１１０で行われ、撮像光学系１０１の機械的な駆動（絞り１０１ａ、フォーカスレンズ１０１ｂ、光学ズームの駆動など）はシステムコントローラ１１０の指示により撮像光学系制御部１０６で行う。システムコントローラ１１０は例えばＣＰＵやＭＰＵのようなプログラマブルなコントローラであり、記憶部１０８に記憶されたプログラムを実行することで撮像装置の全体的な動作を実現する。なお、画像処理部１０４はハードウェアで実現してもよいが、少なくとも一部をシステムコントローラ１１０がソフトウェア的に実現することも可能である。
【００６０】
絞り１０１ａは、Ｆナンバーの撮像状態設定として開口径が制御される。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構によりレンズの位置が制御される。撮像光学系１０１にはローパスフィルタや赤外線カットフィルタ等の光学素子を入れても構わない。ただし、ローパスフィルタ等の光学伝達関数の特性に影響を与える素子を用いる場合には、画像回復フィルタを作成する時点でその光学素子による光学伝達関数の変化を考慮する。赤外カットフィルタにおいても、分光波長の点像分布関数の積分値であるＲＧＢチャンネルの各点像分布関数、特にＲチャンネルの点像分布関数に影響するため、画像回復フィルタを作成する時点で赤外カットフィルタによる点像分布関数の変化を考慮する。
また、撮像光学系１０１は撮像装置の一部として図示しているが、レンズ交換式カメラのような交換可能な構成であっても良い。
【００６１】
図７に画像回復処理部１１１での画像回復処理を説明するためのフローチャートを示す。
Ｓ３０１で画像回復処理部１１１は、状態検知部１０７から実際の撮像状態の情報を取得する。撮像状態とは、例えばズーム位置、絞り径、被写体距離等の撮像条件である。なお、これら撮像状態の情報は、画像ファイルのヘッダ部分などに書き込まれていることが多く、撮像済みの画像に対して画像回復処理を行う場合には、画像ファイルから取得してもよい。
【００６２】
Ｓ３０２で第１の倍率色収差補正手段としての画像回復処理部１１１は、倍率色収差の補正を行う。ここで行う倍率色収差の補正は上述の通り画素位置をシフトすることによって行うものであり、光学系の諸収差を補正する画像回復フィルタは適用しない。倍率色収差の補正量は、撮像光学系の設計値から算出したものを使用してもよいし、上述したように画像から倍率色収差を検出して補正量を決定してもよい。
【００６３】
Ｓ３０３で画像回復処理部１１１は、撮像条件に適した画像回復フィルタを選択する。このとき、選択された画像回復フィルタを必要に応じて補正しても構わない。これは、予め記憶部１０８に用意しておく画像回復フィルタのデータ数を低減するために、離散的な撮像状態のデータを用意しておいて、画像回復処理を実行する際に、実際の撮像状態に応じて画像回復フィルタを補正することである。また、画像回復フィルタの選択ではなく、画像回復フィルタを生成するために必要な光学伝達関数に関する情報から、撮像状態に応じた画像回復フィルタを生成してもよい。
【００６４】
また、本実施形態で用いる画像回復フィルタは、倍率色収差補正のための平行移動成分が除去されている。つまり、画像回復フィルタは倍率色収差補正成分を含んでおらず、収差の非対称性および広がりを補正して画像の先鋭化を行うが、倍率色収差の平行移動成分に関しては補正しない。上述の通り、このような画像回復フィルタを用いることにより、倍率色収差を画像回復処理と独立して処理することが可能になる。つまり、色成分ごとの非対称収差の補正および先鋭化と、倍率色収差の平行移動の成分である色ズレの補正とを分離して処理することが可能になる。
【００６５】
Ｓ３０４で第１の取得手段としての画像回復処理部１１１は、Ｓ３０２によって倍率色収差が補正された画像の色に関する特徴量の一例として、各画素における色差情報を取得する。ここでは、入力画像はＲＧＢ成分から構成され、色差を基準色Ｇに対する信号値の差分と定義する。従って、色差は以下の式により計算される。ここで、Ｒ１、Ｇ１、Ｂ１は、画像回復処理前のＲＧＢの各信号値、（ｘ，ｙ）は画像上の座標値、Ｃ１ｒ、Ｃ１ｂは、以下の式で定義されるＲ成分、Ｂ成分のＧ成分に対する色差である。
Ｃ１ｒ（ｘ，ｙ）＝Ｒ１（ｘ，ｙ）− Ｇ１（ｘ，ｙ） ・・・（式１４）
Ｃ１ｂ（ｘ，ｙ）＝Ｂ１（ｘ，ｙ）− Ｇ１（ｘ，ｙ） ・・・（式１５）
【００６６】
なお、ここで、入力画像が例えばベイヤ配列の原色カラーフィルタを持つ撮像素子によって撮像された所謂ＲＡＷ画像である場合、各画素はＲ，Ｇ，Ｂ成分のうち１つの値しか有していない。そのため、Ｒ画素又はＢ画素におけるＧ成分の値をＧ画素の値を適応補間して生成することにより、Ｃ１ｒ及びＣ１ｂを求める。
一方、既に色補間処理済みで、各画素がＲＧＢ成分の値を有している場合には、各画素においてＣ１ｒ及びＣ１ｂを求める。また、各画素がＲＧＢの成分の値を有している場合には、各画素においてＲＧＢの成分の値からＹ（輝度）の成分の値を求め、Ｒ成分、Ｂ成分の輝度成分に対する色差をＣ１ｒ及びＣ１ｂとして求めるようにしてもよい。
【００６７】
次にＳ３０５で画像回復処理部１１１は、Ｓ３０３で選択もしくは生成した画像回復フィルタを用いて、入力画像の各画素に対して上述したコンボリューション処理を行う。これにより、撮像光学系１０１の収差による点像分布関数の非対称性を補正し、画像のぼけ成分を除去もしくは低減することができる。
【００６８】
次のＳ３０６で第２の取得手段としての画像回復処理部１１１は、Ｓ３０５での画像回復処理後の画像の色に関する特徴量の一例として、各画素についてＳ３０４と同様に色差情報を取得する。ここで、Ｒ２、Ｇ２、Ｂ２は、画像回復処理後のＲＧＢの各信号値、（ｘ，ｙ）は画像上の座標値、Ｃ２ｒ、Ｃ２ｂは、以下の式で定義されるＲ成分、Ｂ成分のＧ成分に対する色差である。
Ｃ２ｒ（ｘ，ｙ）＝Ｒ２（ｘ，ｙ）− Ｇ２（ｘ，ｙ） ・・・（式１６）
Ｃ２ｂ（ｘ，ｙ）＝Ｂ２（ｘ，ｙ）− Ｇ２（ｘ，ｙ） ・・・（式１７）
【００６９】
なお、ここでも、Ｃ１ｒ及びＣ１ｂを求める場合と同様、入力画像が色補間前のＲＡＷ画像である場合、Ｒ画素又はＢ画素におけるＧ成分の値をＧ画素の値を適応補間して生成することにより、Ｃ２ｒ及びＣ２ｂを求める。
一方、既に色補間処理済みで、各画素がＲＧＢ成分の値を有している場合には、各画素においてＣ２ｒ及びＣ２ｂを求める。
【００７０】
次にＳ３０７で画素値補正手段としての画像回復処理部１１１は、Ｓ３０４とＳ３０６で取得した、画像回復処理前後の各画素の色差情報Ｃ１ｒ、Ｃ１ｂ、Ｃ２ｒ、Ｃ２ｂに基づき、色付き抑制のための画素値調整が必要か否かを決定する。この決定は、以下に示すように、色差が増大しているか否か、色差の符号が反転しているか否かに基づいて行うことができる。
【００７１】
画像回復処理部１１１は、ＲＧＢの画素のうちＲ画素とＢ画素（又は、各画素におけるＲ成分とＢ成分）に対してそれぞれ以下の判定を行い、いずれかを満たす場合はその色成分の画素に対し、色付き抑制のための画素値調整が必要と決定する。
・Ｒに対する判定
判定条件１：
Ｃ１ｒ（ｘ，ｙ）とＣ２ｒ（ｘ，ｙ）が同符号、且つ｜Ｃ１ｒ（ｘ，ｙ）｜ ＜ ｜Ｃ２ｒ（ｘ，ｙ）｜
判定条件２：
Ｃ１ｒ（ｘ，ｙ）とＣ２ｒ（ｘ，ｙ）が異符号
・Ｂに対する判定
判定条件１：
Ｃ１ｂ（ｘ，ｙ）とＣ２ｂ（ｘ，ｙ）が同符号、且つ｜Ｃ１ｒ（ｘ，ｙ）｜ ＜ ｜Ｃ２ｒ（ｘ，ｙ）｜
判定条件２：
Ｃ１ｂ（ｘ，ｙ）とＣ２ｂ（ｘ，ｙ）が異符号
【００７２】
この判定結果により、画素値調整が必要と決定された画素について、画素値補正手段としての画像回復処理部１１１はＳ３０８において色付き抑制のための画素値調整を適用する。画素値調整は例えば以下に示すように、色差が増大した場合は画像回復前の色差を使用し、色差の符号が反転した場合は色差を０とするものであってよい。
・Ｒに対する画素値調整
判定条件１を満たす場合（色差増大）；
Ｒ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ）＋ Ｃ１ｒ（ｘ，ｙ） ・・・（式１８）
判定条件２を満たす場合（色差反転）：
Ｒ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ） ・・・（式１９）
・Ｂに対する画素値調整
判定条件１を満たす場合（色差増大）：
Ｂ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ）＋ Ｃ１ｒ（ｘ，ｙ） ・・・（式２０）
判定条件２を満たす場合（色差反転）：
Ｂ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ） ・・・（式２１）
【００７３】
このように、図７のフローチャートに従った処理により、画像処理部１０４（画像回復処理部１１１）における画像回復処理が実行される。なお、撮像光学系１０１の光学伝達関数は１つの撮像状態においても撮像光学系の画角（像高）に応じて変化するので、ここで説明した画像回復処理を、像高に応じたて分割した領域（図６のｈ１〜ｈ８）ごとに変更して行うことが望ましい。具体的には、画像回復フィルタを画像上にコンボリューション処理をしながら走査させ、領域毎にフィルタを順次変更すれば良い。すなわちＳ３０３の処理を各対象画素に対して実行する。
【００７４】
なお、本実施形態では理解及び説明を容易にするため、画像回復フィルタの適用＝画像回復処理として説明したが、画像回復処理の一部として、他の補正処理、例えば歪曲補正処理や周辺光量補正処理やノイズ低減処理等を含めてもよい。
【００７５】
ここで、Ｓ３０２、Ｓ３０４、Ｓ３０５、Ｓ３０６、Ｓ３０８で行なわれる倍率色収差補正、画像回復処理前後の色差情報取得、画像回復フィルタ適用の作用および効果の例を図９及び図１０を用いて説明する。
【００７６】
図９（ａ）〜（ｃ）は、図８に示したような、周辺部に点光源が存在する被写界を撮像した入力における、点光源とその近傍の水平方向における画素値の例を示す模式図である。図９（ａ）〜（ｃ）はいずれも上段にＲ成分とＧ成分の画素値を、下段には上段で示したＲ成分とＧ成分の差分、つまり色差を示している。
【００７７】
図９（ｂ）は、非合焦時の状態を示している。合焦時の状態を示す図９（ａ）と比べると、倍率色収差による色ズレは同様に発生しているが、Ｇ成分、Ｒ成分ともにぼけ量が大きく、またＧ成分とＲ成分は同じぼけ方をしている。倍率色収差補正後はＲ成分とＧ成分の位置が揃い、Ｇ成分とＲ成分のぼけ方が同じであるため、この段階で色にじみは発生していない。画像回復フィルタ適用後は、Ｇ成分、Ｒ成分ともにぼけが低減されているが、Ｇ成分とＲ成分のぼけの残り方が異なるため、色にじみが発生している。この色にじみが本実施形態において抑制の対象となる色付きである。
【００７８】
図９（ｂ）に対応する画像回復フィルタ適用前後の色差情報の関係を図１０（ｂ）に示す。画像回復フィルタの適用前である倍率色収差補正後の色差は全領域で０となっているが、画像回復フィルタ適用後はエッジ部分で色差が発生している。従って、Ｓ３０７における判定処理では色差増大により画素値調整が必要と決定され、Ｓ３０８で画像回復処理部１１１によって色付き抑制のための画素値調整が適用される。Ｓ３０８での画素値調整処理では、画像回復フィルタの適用前の色差である倍率色収差補正後の色差が使用されるため、画素値調整後の色差は全領域で０となり、色付きが適切に抑制された画像が得られる。
【００７９】
このように、本実施形態では、非合焦時部分に対する画像回復フィルタの適用によって発生する色付きを効果的に抑制することができる。図９（ａ）で示した合焦時と図９（ｂ）で示した非合焦時のそれぞれで、画像回復フィルタ適用前後のＧ成分とＲ成分のぼけ方の違いについて図１１を用いて説明する。図１１（ａ）〜（ｄ）は撮像光学系１０１のＭＴＦと画像回復フィルタ適用後のＭＴＦの空間周波数特性を示す模式図である。また、図１１（ｅ）は画像回復フィルタによるＭＴＦの増減率（回復ゲイン）を示す模式図である。
【００８０】
図１１（ａ）は合焦時の撮像光学系１０１のＭＴＦであり、Ｒ成分はＧ成分よりも劣化している。従って図９（ａ）の入力画像ではＧ成分とＲ成分のぼけ方が異なり、点光源部分の画素値の変化はＲ成分の方がＧ成分よりも広がった状態になっている。
【００８１】
図１１（ｂ）は合焦時の画像回復フィルタ適用後のＭＴＦであり、Ｇ成分とＲ成分ともにＭＴＦが適切に補正され、Ｇ成分とＲ成分は一致している。これは図１１（ａ）のＭＴＦに図１１（ｅ）に示す回復ゲインが乗算された結果である。画像回復フィルタは合焦物体に最適な画像回復処理が行なえるように設計されているため、合焦時は適切な画像回復処理がされる。従って図９（ａ）の画像回復フィルタ適用後ではＧ成分とＲ成分のぼけが適切に除去され、色にじみも除去されている。
【００８２】
一方、図１１（ｃ）は非合焦時の撮像光学系１０１のＭＴＦであり、図１１（ａ）の合焦時と比較するとＧ成分もＲ成分も劣化した状態で一致している。従って図９（ｂ）の入力画像ではＧ成分とＲ成分のぼけ方が一致しているが図９（ａ）で示した合焦時よりぼけが大きくなっている状態である。
【００８３】
図１１（ｄ）は非合焦時の画像回復フィルタ適用後のＭＴＦであり、Ｇ成分とＲ成分ともにＭＴＦが補正されているが、Ｇ成分はＲ成分よりも劣化した状態になっている。これは図１１（ｃ）のＭＴＦに図１１（ｅ）に示す回復ゲインが乗算された結果である。画像回復フィルタは合焦物体に最適な画像回復処理が行なえるように設計されているため、非合焦時は期待した画像回復結果にならない場合がある。従って、図９（ｂ）の画像回復フィルタ適用後ではＧ成分とＲ成分のぼけが低減しているが、Ｇ成分の方がＲ成分よりも広がった状態になっている。
【００８４】
本実施形態と異なり、画像回復フィルタに倍率色収差補正成分を含めた場合の例を図９（ｃ）に示す。
図９（ｃ）は、図９（ｂ）と同様の非合焦時において、倍率色収差補正成分を含めた画像回復フィルタを適用した場合の例を示している。入力画像は図９（ｂ）と同じであり、また倍率色収差補正を行わないが、画像回復フィルタで倍率色収差補正も同時に行うため、画像回復フィルタ適用後の画像も図９（ｂ）と同じである。
【００８５】
画像回復フィルタ適用前後の色差情報の関係を図１０（ｃ）に示す。画像回復フィルタの適用前の入力画像の色差は色ズレにより左側のエッジ部分で正の値、右側のエッジ部分で負の値として存在する。また、画像回復フィルタ適用後は両エッジ部分で負の値の色差が発生している。従って、Ｓ３０７における判定処理では、左側のエッジ部では色差反転しているとの判定により画素値調整が必要と決定され、Ｓ３０８で色付き抑制のための画素値調整が行なわれるので色付きが抑制される。しかし、右側のエッジは色差の増大も反転もないことから、画素値調整は不要と決定され、Ｓ３０８での画素値調整は行われない。そのため、右側のエッジでは色付きが抑制されないまま画像回復処理結果として出力される。
このように、画像回復フィルタに倍率色収差補正成分を含めた場合には画像回復フィルタの適用によって生じた色付きが十分に抑制されず、画質が劣化する。
【００８６】
以上説明したように、本実施形態によれば、撮像光学系の収差を補正するための画像回復フィルタとして、倍率色収差補正を行わない画像回復フィルタを用いるとともに、倍率色収差は画像回復フィルタを適用する前に、画像回復フィルタとは別の方法で補正する。そのため、実際の撮像状態での収差の状態と、画像回復フィルタが想定している収差の状態が異なるときに発生する、画像回復フィルタに起因する色付きを、倍率色収差に起因する色付きと分離して補正することが可能になり、色付きを効果的に抑制可能となる。
【００８７】
つまり、倍率色収差の色ズレによる色付きと、ぼけの除去時に発生する色付きとを切り分けることができ、ぼけの除去時に発生する色付きのみを抑制することが可能になる。このように、本実施形態によれば、画像回復処理全体として色付きを抑えた画像回復処理が可能となる。
【００８８】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。なお、本実施形態も第１の実施形態対と同様、図１に示した撮像装置に適用した場合について説明する。第１の実施形態とは画像処理部１０４（画像回復処理部１１１）における画像回復処理のみ異なるため、図１２を用いて本実施形態における画像回復処理について説明する。
【００８９】
なお、図１２におけるＳ４０１からＳ４０５までの処理は、図７のＳ３０１からＳ３０５までの処理と同様であるため、説明は割愛する。本実施形態では、Ｓ４０５で画像回復フィルタを適用した後に、Ｓ４０６で画像から倍率色収差を検出して生成した補正量を使用した倍率色収差の補正を行うことを特徴とする。
【００９０】
図１３及び図１４は、本実施形態においてＳ４０２、Ｓ４０４、Ｓ４０５、Ｓ４０６、Ｓ４０７、Ｓ４０８で行なわれる倍率色収差補正、画像回復処理前後の色差情報取得、画像回復フィルタ適用の作用及び効果の例を示す模式図である。
【００９１】
図１３（ａ）〜（ｄ）は、図８に示したような、周辺部に点光源が存在する被写界を撮像した入力における、点光源とその近傍のメリジオナル方向（画像中心から放射方向）における画素値の例を示す模式図である。図１３（ａ）〜（ｄ）はいずれも上段にＲ成分とＧ成分の画素値を、下段には上段で示したＲ成分とＧ成分の差分、つまり色差を示している。図９とは着目している画素の方向が異なるため、非対称収差となり、左右のエッジでぼけ方が異なっている。
【００９２】
倍率色収差を補正しない画像回復フィルタを適用した後に、Ｓ４０６で画像から倍率色収差を検出して補正することの効果について図１３（ａ）を用いて説明する。図１３（ａ）は、合焦時の状態を示している。入力画像には倍率色収差によりＧ成分とＲ成分の色ズレが発生し、さらにＧ成分とＲ成分のぼけ方が異なっており、左右のエッジの収差が異なるためにぼけ方が異なっている。
【００９３】
画像回復フィルタ適用前に行うＳ４０２での倍率色収差補正の結果を、図１３（ａ）の、”倍率色収差補正後１”で示している。Ｓ４０２の倍率色収差補正では、左右のエッジの収差の状態が異なったまま、色ズレができるだけ目立たないような倍率色収差補正を行う。倍率色収差の補正量は、撮像光学系１０１の設計値から算出したものを使用してもよいし、画像から倍率色収差を検出して補正量を決定してもよい。
【００９４】
画像回復フィルタの適用により、Ｇ成分、Ｒ成分のエッジは非対称収差が補正され且つ先鋭化されているが、Ｇ成分、Ｒ成分間の色ズレが残留している。この、残留している色ズレの原因は、撮像光学系１０１の製造上のばらつきや、光源分光の変動などにより、画像撮像時の収差の状態と、画像回復フィルタが対象としている収差の状態とが異なることが挙げられる。また、画像回復フィルタ適用前に行うＳ４０２での倍率色収差補正において、画像から倍率色収差を検出して補正量を決定する場合、非対称性の残留したエッジで倍率色収差量の検出を行っている。そのため、画像回復処理後のエッジの状態に適切な倍率色収差の補正量と異なる補正量が得られる場合があり、その場合には色ズレが残留する。
【００９５】
本実施形態はこのような理由によって画像回復フィルタの適用後に残留する色ズレに対処する。Ｓ４０６において第２の倍率色収差補正手段としての画像回復処理部１１１は、画像回復フィルタ適用後の画像から倍率色収差を検出して補正を行う。Ｓ４０６での倍率色収差補正処理後の状態を図１３（ａ）の倍率色収差補正後２で示している。倍率色収差補正後２では残留した色ズレが適切に補正された状態であり、入力画像に対してはエッジは非対称収差が補正され且つ先鋭化されＧ成分とＲ成分が一致することで色にじみも除去されている。
【００９６】
次に行なわれるＳ４０７からＳ４０９の処理は、第１の実施形態で説明した図７のＳ３０６からＳ３０８の処理と同様であるため、説明は割愛する。
【００９７】
図１３（ａ）に示した合焦時に、Ｓ４０４、Ｓ４０７で取得された色差情報を図１４（ａ）に示す。この場合、画像回復フィルタの適用前の”倍率色収差補正後１”での色差はエッジ部分で値を持っているが、画像回復フィルタの適用後の”倍率色収差補正後２”では全領域で０となっている。従って、Ｓ４０８における判定処理では、色付き抑制のための画素値調整は不要と判断され、倍率色収差補正後２の画像がそのまま画像回復処理結果となる。
【００９８】
図１３（ａ）と同じ入力画像に対し、本実施形態と異なり画像回復フィルタ適用後にＳ４０６の倍率色収差補正を行なわない場合の例を図１３（ｂ）に示す。この場合、画像回復フィルタ適用後の色ズレが残留している状態でＳ４０７の色差情報取得処理が行われる。図１４（ｂ）に示すように、画像回復処理前後で左側のエッジでは色差の反転、右側のエッジでは色差の増大がそれぞれ発生しているため、いずれもＳ４０９で色付き抑制のための画素値調整が行なわれる。この場合の出力画像は図１３（ｂ）の”画素値調整後”の状態である。Ｓ４０９における色付き抑制処理によって色付きは抑制されているが、Ｓ４０６の倍率色収差補正を行なった場合の図１２（ａ）と比べると、色付きが残留していることがわかる。このように、画像回復フィルタ適用後、色付き抑制処理の要否判定前の画像で倍率色収差を検出し、補正を行うことで、色付きをより適切に抑制することができる。
【００９９】
以上、本発明の第２の実施形態について説明した。このように、画像回復フィルタを適用した後に、画像から倍率色収差を検出して補正する場合でも本発明は有効である。
【０１００】
図１３（ｃ）に、図１３（ａ）に対応する非合焦時の状態を示す。入力画像には倍率色収差によりＧ成分とＲ成分の色ズレが発生し、さらにＧ成分とＲ成分のぼけ方は同じであるが、左右のエッジの収差が異なるために左右のエッジでぼけ方が異なっている状態である。Ｓ４０２で倍率色収差補正した後の”倍率色収差補正後１”では、Ｒ成分とＧ成分の位置が揃い、Ｇ成分とＲ成分のぼけ方が同じであるため、この段階で色にじみは発生していない。
【０１０１】
画像回復フィルタ適用後は、Ｇ成分、Ｒ成分ともにぼけが低減されているが、Ｇ成分とＲ成分のぼけの残り方が異なるために色にじみが発生している。この色にじみは左右のエッジの状態が異なり、色ズレとして扱うことができる。Ｓ４０６において、画像回復フィルタ適用後の画像から倍率色収差を検出し、補正した結果を示す”倍率色収差補正後２”では、左右のエッジの色にじみ方が同じになっている。この場合の画像回復処理前後の色差情報の関係を図１４（ｃ）に示す。画像回復フィルタの適用前の”倍率色収差補正後１”での色差は全領域で０となっているが、画像回復フィルタの適用後の”倍率色収差補正後２”はエッジ部分で色差が発生している。従って、Ｓ４０８における判定処理では色付き抑制のための画素値調整が必要と判定され、Ｓ４０９で色付き抑制のための画素値調整が行なわれる。Ｓ４０９では、画像回復フィルタの適用前の”倍率色収差補正後１”の色差が使用されるため、画素値調整後の色差は全領域で０となり、色差が適切に抑制された画像が画像回復処理結果として得られる。
【０１０２】
本実施形態と異なり、画像回復フィルタに倍率色収差補正成分を含めた場合の例を図１３（ｄ）に示す。
図１３（ｄ）において、入力画像は図１３（ｃ）と同じである。Ｓ４０２での倍率色収差補正を行わずに画像回復フィルタで倍率色収差補正も同時に行うため、画像回復フィルタ適用後の画像と、画像回復フィルタ適用後の画像から倍率色収差を検出して補正した”倍率色収差補正後２”の画像は、図１３（ｃ）と同様である。この場合の画像回復処理前後の色差情報の関係を図１４（ｄ）に示す。左右のエッジとも一部で色差の反転があるため、Ｓ４０８における判定処理では色付き抑制のための画素値調整が必要と判定され、Ｓ４０９で色付き抑制のための画素値調整が行なわれる。この場合の出力画像は図１３（ｄ）の”画素値調整後”の状態である。色付き抑制処理によって色付きは抑制されているが、本実施形態による図１３（ｃ）と比べると色付きが残っていることが確認される。
【０１０３】
以上説明したように、本実施形態によれば、倍率色収差を補正しない画像回復フィルタ適用後、色付き抑制のための画素値調整の有無を判定する前に、画像回復フィルタ適用後の画像から倍率色収差を検出して補正する。これにより、一層良好な色付き抑制効果を実現することが可能になる。
【０１０４】
（その他の実施形態）
上述の実施形態においては、画像回復処理前後における画像の色に関する特徴量として、色差を用いた場合を説明した。しかし、色差に限らず、画像回復フィルタの適用によって生じた色付きを補正するために用いることが可能な任意の色に関する特徴量を用いることができる。例えば、画像回復処理前後における画像にて、Ｇプレーンに対しＲプレーン（もしくはＢプレーン）をメリジオナル方向に移動させながら、Ｙプレーンで検出されたエッジ付近の画素において、色成分間の差分絶対値和が最小となる場所を探索する。ここで検出された差分絶対値和が最小となった位置と、移動前の位置とから、Ｇプレーンに対するＲプレーン（もしくはＢプレーン）の色ズレ方向と色ズレ量を取得し、この色ズレ方向と色ズレ量を色に関する特徴量とすることができる。画像回復処理前後における画像の色ズレ方向が反転していれば、色付き抑制のための画素値調整を行い、色ズレ方向が反転していなくとも画像回復処理後の色ズレ量ほうが大きいのであれば、色付き抑制のための画素値調整を行うようにすればよい。
【０１０５】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、特に画像回復処理を用いた画像補正技術に関する。
【背景技術】
【０００２】
撮像装置で被写体を撮像して得られた画像には、特に撮像光学系の収差の影響による画質劣化が生じている。例えば、画像のぼけは、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等による画質劣化である。光の波としての性質である回折の影響を無視すれば、被写体の一点から出た光束は収差のない撮像光学系によって撮像面上で同じ大きさの一点（集光店）に結像される。しかしながら実際には、回折の影響に加え、撮像光学系の収差により、集光点から広がりをもって結像される。
【０００３】
撮像光学系の点像分布関数（ＰＳＦ: Point Spread Function）は、集光点付近の強度分布、すなわち回折および撮像光学系の収差による像のぼけを表すため、ぼけ成分と呼ぶことにする。このぼけ成分は、いわゆるピントがずれていることによるぼけではなく、ピントが合っていても、光の回折や撮像光学系の収差によって生じるぼけを意味する。
【０００４】
また、カラー画像での色にじみも、撮像光学系の軸上色収差、色の球面収差、色のコマ収差に起因するものに関しては、光の波長に応じたぼけ方の相違ということができる。また、横方向の色ズレも、光学系の倍率色収差に起因したものに関しては、光の波長に応じた撮像倍率の相違による位置ずれまたは位相ずれということができる。
【０００５】
点像分布関数をフーリエ変換して得られる光学伝達関数（ＯＴＦ： Optical Transfer Function）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数の絶対値、即ち振幅成分をＭＴＦ(Modulation Transfer Function)と呼び、位相成分をＰＴＦ(Phase Transfer Function)と呼ぶ。ＭＴＦ、ＰＴＦはそれぞれ収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分ＰＴＦを位相角として以下の式で表す。なお、Ｒｅ（ＯＴＦ）、Ｉｍ（ＯＴＦ）は、それぞれ光学伝達関数の実部、虚部を表す。
ＰＴＦ＝ｔａｎ-1（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ）） ・・・（式１）
【０００６】
このように、撮像光学系の光学伝達関数が画像の振幅成分と位相成分の両方を劣化させるため、被写体像の各点は、コマ収差がある場合のように、集光点に対して非対称にぼけている。
【０００７】
また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれる現象である。通常撮像素子にはＲＧＢのカラーモザイクフィルタが設けられており、各画素ではＲＧＢのいずれか一つの色成分を取得するように構成されている。従って、Ｒの波長、Ｇの波長、及びＢの波長間で結像位置がずれることはもとより、取得した各色成分内にも波長ごとの結像位置のずれ、即ち位相ずれによる像の広がりが発生する。よって、厳密には倍率色収差は単なる平行シフトの色ズレではないが、特に説明が無い限り本明細書では色ズレと倍率色収差とを同義として用いる。
【０００８】
撮像光学系の光学伝達関数の情報を用い、振幅成分（ＭＴＦ）および位相成分（ＰＴＦ）の劣化を補正する、画像回復や画像復元と呼ばれる方法が知られている。そのため、以下では、撮像光学系の光学伝達関数の情報を用いて画像の劣化を補正する処理を画像回復処理と呼ぶ。
【０００９】
ここで、画像回復処理の概要を示す。劣化した画像をｇ（ｘ，ｙ）、元の画像をｆ（ｘ，ｙ）、撮像光学系の光学伝達関数を逆フーリエ変換したものである点像分布関数をｈ（ｘ，ｙ）としたとき、以下の式が成り立つ。ただし、演算子”＊”はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示すものとする。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） ・・・（式２）
【００１０】
また、この式をフーリエ変換して２次元周波数面での表示形式に変換すると、以下の式のように周波数毎の積の形式になる。Ｈは点像分布関数をフーリエ変換したものであるので光学伝達関数である。（ｕ，ｖ）は２次元周波数面での座標、即ち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） ・・・（式３）
【００１１】
撮像された劣化画像から元の画像を得るためには、以下のように両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） ・・・（式４）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで元の画像ｆ（ｘ，ｙ）が回復像として得られる。
【００１２】
ここで、上式の１／Ｈを逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで同様に元の画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） ・・・（式５）
【００１３】
このＲ（ｘ，ｙ）を画像回復フィルタと呼ぶ。２次元画像に適用する画像回復フィルタは一般に、画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また一般に、画像回復フィルタのタップ数（セルの数）が多いほど回復精度が向上するが、実際のタップ数は要求画質、画像処理能力、収差の特性等に応じて設定される。画像回復フィルタは、撮像光学系の収差の特性を反映する光学伝達関数に基づいているため、振幅成分および位相成分の劣化をともに高精度に補正することができる。このような画像回復フィルタは、水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）のような２次元フィルタとは根本的に異なるものである。
【００１４】
例えば、特許文献１には、生体内部を観察するための蛍光内視鏡の撮像画像のうち、合焦範囲外となる部分について、使用する蛍光波長に応じた点像分布関数を用いて像のぼけを解消する手法が開示されている。
【００１５】
なお、実際の画像にはノイズ成分があるため、光学伝達関数の完全な逆数をとって作成した画像回復フィルタを用いると、ノイズ成分が増幅されてしまい、高画質の回復画像を得ることができない。光学伝達関数の完全な逆数をとって作成した画像回復フィルタは、撮像光学系のＭＴＦが全周波数に渡って１となるようにＭＴＦを補正（増加）することで、撮像光学系による振幅劣化を回復する。そのため、画像の振幅成分にノイズの振幅が付加されていると、ＭＴＦとともにノイズのパワースペクトルも上昇し、結果的にＭＴＦの回復度合（回復ゲイン）に応じてノイズが増幅されてしまう。
【００１６】
この現象は以下の式で表すことができる。なお、Ｎはノイズ成分を表している。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ） ・・・（式６）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）
・・・（式７）
そのため、例えば詳細を後述するウィーナーフィルタのように、画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する画像回復フィルタを用いることで、回復画像におけるノイズを抑制する方法が知られている。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特許第３５３２３６８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１８】
このように、撮像画像に対して撮像光学系の点像分布関数を用いた画像回復処理を施すことにより、諸収差を補正して画質を向上させる技術が知られている。
しかしながら、実際の撮像では、入力画像の撮像状態と、適用する画像回復フィルタの状態が最適には一致しない場合がある。
【００１９】
例えば、立体被写体の撮像画像がその一例である。撮像装置は、オートフォーカス機能やマニュアルフォーカスにより被写体空間の１つの面に焦点を合わせて撮像するため、合焦面に位置する被写体は比較的先鋭に撮像される。しかし、他の被写体（同一被写体の、合焦面から異なる位置にある部分を含む）は合焦面からの距離に応じたぼけ量で撮像される。
【００２０】
そして、被写体距離に関する情報が、合焦面までの距離のみの場合、この被写体距離と画角に最適な画像回復フィルタを選択若しくは生成して使用することになる。その結果、合焦物体に対しては最適な画像回復フィルタが適用されるため、望ましい回復結果を得ることができるが、非合焦物体については画像回復フィルタが最適でないため、多少の回復効果はあるものの、ぼけを解消することはできない。
【００２１】
一方で、写真において被写体のぼけは、被写体の立体感や注視物体を表現するための手法として用いられている。例えば、被写界深度の浅い望遠レンズを用いて主被写体にピントを合わせ、背景を意図的にぼかす写真表現などである。このような写真表現の存在を考慮すれば、合焦被写体はより先鋭化され、非合焦被写体にはぼけが残存する上述の画像回復処理は適切とも考えられる。
【００２２】
しかし、合焦距離の被写体に最適であり、非合焦距離の被写体には最適でない画像回復フィルタを用いて画像回復処理した場合、非合焦距離の被写体に色付きが発生する場合がある。ここでの色付きとは、画像の各色成分のぼけ方の関係が画像回復処理の前後で異なることにより、画像回復処理後の画像の例えば非合焦距離の被写体（非合焦被写体）のエッジ部に、被写体に無い色（偽色）が発生することである。
【００２３】
さらに、このような色付きは立体被写体の撮像に限らず発生する場合がある。本質的には合焦しているか否かに関わらず、画像を撮像した際の収差の状態と、適用する画像回復フィルタが補正する収差の状態とが異なる場合に色付きが発生する。
【００２４】
このような色付きを低減する方法として、画像回復処理前の画像の色情報に基づいて、画像回復処理後の画像の色を補正する方法がある。つまり画像の各画素において画像回復処理による色の変化を判定し、画像回復処理による色付きを低減させるという方法である。しかし、画像回復処理前の撮像画像にはすでに、軸上色収差、色の球面収差、色のコマ収差が原因となる色のにじみや、倍率色収差が原因となる色ズレなど、撮像光学系の諸収差による色付きが存在している。画像回復処理前の画像にこのような色付きが存在する場合、画像回復処理前の画像の色情報に基づく方法では画像回復処理後の画像における色付きを十分に抑制できないことがある。
画質を向上させるための画像回復処理において生じる色付きは、無視できない画質劣化であり、十分な抑制が必要である。
【００２５】
特許文献１では、撮像画像の非合焦範囲に対して画像回復処理を行うことで、撮像光学系の浅い被写界深度を補おうとするものである。特許文献１記載の画像回復処理では、非業小範囲における先鋭度の向上は実現できたとしても、画像回復処理前の撮像画像に色付きがある場合、画像回復処理後の画像に発生する色付きを十分抑制することはできない。
【００２６】
本発明はこのような従来技術の課題に鑑みてなされたものであり、画像回復処理後の画像における色付きを抑制することの可能な画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００２７】
上述の目的は、撮像装置によって撮像された画像における、撮像装置の撮像光学系の収差による画質の劣化を回復するための画像処理装置であって、画像に対して撮像光学系の倍率色収差の補正を行う第１の倍率色収差補正手段と、倍率色収差が補正された画像について、色に関する特徴量を取得する第１の取得手段と、撮像光学系の収差を示す関数に基づいた画像回復フィルタを倍率色収差が補正された画像に適用する画像回復処理手段と、画像回復フィルタが適用された画像に対し、色に関する特徴量を取得する第２の取得手段と、第１の取得手段と第２の取得手段が取得した色に関する特徴量の変化に応じて、画像回復フィルタが適用された画像の画素値を補正する画素値補正手段とを有し、画像回復フィルタは、倍率色収差の補正を行わないフィルタであることを特徴とする画像処理装置によって達成される。
【発明の効果】
【００２８】
このような構成により本発明によれば、画像回復処理後の画像における色付きを抑制することの可能な画像処理装置および画像処理方法を提供することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施形態に係る画像処理装置の一例としての撮像装置の構成例を示すブロック図
【図２】本発明の実施形態に係る画像回復フィルタを説明するための図
【図３】本発明の実施形態に係る画像回復処理の実空間と周波数空間での特性を説明するための図
【図４】倍率色収差を考慮した画像回復フィルタの生成について説明するための図
【図５】本発明の実施形態に係る倍率色収差の検出及び補正処理を示すフローチャート
【図６】本発明の実施形態に係る倍率色収差補正データ生成方法を説明するための図
【図７】本発明の第１の実施形態に係る画像回復処理を示すフローチャート
【図８】本発明の実施形態に係る点光源の図
【図９】本発明の第１の実施形態に係る画像回復処理の作用効果を説明するための図
【図１０】本発明の第１の実施形態に係る画像回復処理の作用効果を説明するための図
【図１１】（ａ）〜（ｄ）は本発明の実施形態に係る撮像装置の撮像光学系のＭＴＦと画像回復フィルタ適用後のＭＴＦの空間周波数特性の例を示す模式図、（ｅ）は本発明の実施形態に係る撮像装置の画像回復フィルタによるＭＴＦの増減率（回復ゲイン）を示す模式図
【図１２】本発明の第２の実施形態に係る画像回復処理を示すフローチャート
【図１３】本発明の第２の実施形態に係る画像回復処理の作用効果を説明するための図
【図１４】本発明の第２の実施形態に係る画像回復処理の作用効果を説明するための図
【発明を実施するための形態】
【００３０】
以下、添付図面を参照して、本発明をその例示的な実施形態に基づいて詳細に説明する。はじめに、本発明の実施形態における画像回復処理の概要と、倍率色収差の検出及び補正処理について説明する。
【００３１】
（画像回復処理）
基本的には、上述した従来の画像回復処理と同様、画像回復フィルタを用いる。以下の式は、画像回復フィルタとして使用可能な一例としてのウィナーフィルタの特性を示す。
【００３２】
【数１】
【００３３】
ここで、Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜は光学伝達関数の絶対値（ＭＴＦ）、ＳＮＲは画像信号とノイズ信号との強度比である。上式からわかるように、この方法は周波数ごとに、ＭＴＦが小さいほど回復ゲイン（回復度合）を抑制し、ＭＴＦが大きいほど回復ゲインを強くするものである。一般的に撮像光学系のＭＴＦは低周波側が大きく高周波側が小さくなるため、実質的に画像の高周波側の回復ゲインを抑制している。
【００３４】
上述の通り、画像回復フィルタは２次元画像に適用する場合、画素に対応するタップを有する２次元フィルタとして構成され、タップ数は撮像光学系の収差特性や要求される回復精度に応じて決定することができる。図２（ａ）は、例として、水平及び垂直方向に１１タップを有する１１×１１タップの２次元フィルタで構成された画像回復フィルタを模式的に示している。図２（ａ）では各タップの値（係数値）の記載を省略しているが、画像回復フィルタの１水平ラインのタップ係数の分布例を図２（ｂ）に示す。画像回復フィルタのタップの値（係数値）の分布が、撮像光学系の収差によって空間的な広がりを持つ点像分布関数を、理想的には元の１点に戻す（回折の影響を無視した場合）役割を果たしている。
【００３５】
画像回復フィルタのタップ係数値は、画像回復処理の工程で実行される画素ごとのコンボリューション処理（畳み込み積分、積和）に用いられる。コンボリューション処理では、処理対象の画素の信号値に画像回復処理を適用するために、処理対象の画素を画像回復フィルタの中心タップと一致させる。そして、画像回復フィルタの各タップ位置において、対応する画素信号値とタップ係数値との積を求め、積の総和で処理対象の画素の信号値を置き換える。
【００３６】
画像回復処理の実空間と周波数空間での特性を図３を用いて説明する。図３において、（ａ）は画像回復処理前の点像分布関数を、（ｂ）は回復後の点像分布関数をそれぞれ示している。また、図３（ｃ）の４０１は画像回復処理前のＭＴＦ、４０２は画像回復処理後のＭＴＦを示し、図３（ｄ）の４０３は画像回復処理前のＰＴＦ、４０４は画像回復処理後のＰＴＦを示している。図３（ａ）からわかるように、画像回復処理前の点像分布関数は非対称な広がりを有し、この非対称性により、対応するＰＴＦは零ではない値を有する（図３（ｄ）４０３）。画像回復処理は、図３（ｃ）の４０２に示すようにＭＴＦを増幅し、図３（ｄ）の４０４に示すようにＰＴＦを零に補正するため、画像回復処理後の点像分布関数は図３（ｂ）に示すように対称で先鋭になる。
【００３７】
画像回復フィルタは、撮像光学系の光学伝達関数の逆関数（１／Ｈ）に基づいて設計した関数を逆フーリエ変換して得ることができる。画像回復フィルタには上述のウィナーフィルタを用いることができるが、他のフィルタを用いてもよい。ウィナーフィルタを用いる場合、光学伝達関数の逆関数を逆フーリエ変換することで、コンボリューション処理に用いる実空間の画像回復フィルタを作成することができる。
【００３８】
次に、倍率色収差を考慮した画像回復フィルタの生成について説明する。図４（ａ）の５０２は、５０１の結像位置を基準として平行移動した位置に同形状の点像分布関数として結像した２つの色成分を表している。このときのＰＴＦを図４（ｂ）に示す。図４（ｂ）の６０１、６０２は図４（ａ）の５０１、５０２と対応しており、６０２は位相が傾きをもった直線となっている。画像回復フィルタは、このような直線的なＰＴＦも図３（ｄ）の４０３のような非直線のＰＴＦも、もととなる光学伝達関数に含まれているため図４（ｂ）の６０１のように補正することができる。
【００３９】
また、予めＰＴＦから直線成分を除去した光学伝達関数をもとに画像回復フィルタを生成することで、平行移動としての倍率色収差の成分を補正しない画像回復フィルタを生成することができる。一方、実空間で倍率色収差成分を除去する場合、図４（ａ）の５０２を５０１の位置に平行移動して差異を低減した点像分布関数を生成し、フーリエ変換することで、同様に倍率色収差の成分を除去した光学伝達関数を生成することができる。実際には５０１と５０２の点像分布関数の形状は異なるため、例えば重心を一致させる方法や５０１と５０２の差分の二乗平均を最小化するなどして両者を位置合わせすることができる。この光学伝達関数をもとに画像回復フィルタを生成することで、平行移動としての倍率色収差の成分を補正しない画像回復フィルタを生成することができる。
【００４０】
倍率色収差の成分を補正しない画像回復フィルタを適用することで、倍率色収差を画像回復処理と独立して処理することが可能になる。つまり、色成分ごとの非対称収差の補正および先鋭化と、倍率色収差の平行移動の成分である色ズレの補正とを分離して処理することが可能になる。
【００４１】
なお、光学伝達関数は同一の撮像状態（ズーム位置や絞りの開口径）であっても撮像光学系の像高（画像の位置）に応じて変化するので、画像回復フィルタは像高に応じて変更して使用することが望ましい。
以上が、画像回復処理の概要である。
【００４２】
（倍率色収差の検出と補正）
倍率色収差の補正量は、上述のようにＰＴＦの直線成分や点像分布関数の形状など、撮像光学系の設計値から算出することができる。
【００４３】
しかし、撮像光学系の製造ばらつきや撮像時の光源分光の変動により倍率色収差の画像上での現れ方が変化する場合があり、このような変化に対応する方法として画像から倍率色収差を検出する方法がある。画像から倍率色収差を検出して補正する方法に関して図５を用いて説明する。後述するように、本実施形態に係る撮像装置（図１）においては、画像処理部１０４の有する画像回復処理部１１１が以下の処理を実行することができるが、ここでは一般的な手順として説明する。
【００４４】
まず、Ｓ２０１で撮像画像を入力画像として取得する。
次に、Ｓ２０２では、倍率色収差による色ズレが顕著に現れるエッジ部分を画像から検出する。エッジの検出にはＹ（輝度）プレーンを使用する。光学中心からの動径方向に大きく画素値の変化するエッジに限定して検出することにより、精度の高い色ズレ量取得が可能になる。また、Ｙプレーンにおいて、倍率色収差による色ズレはにじみとなって現れるので、画素値の単調増加もしくは単調減少が複数画素連続するような、ある程度幅のあるエッジを検出するのが良い。
【００４５】
次に、Ｓ２０３では、Ｓ２０２で検出された各エッジにおいて色ズレ量を取得する。ここで扱う色ズレの方向は、光学中心と各エッジの位置関係により上／下方向、左／右方向、右斜め上／左斜め下方向、左斜め上／右斜め下方向の何れかを適用することで処理の簡略化を図る。各エッジにおける色ズレ量の取得には、色成分間の相関を用いる。例えば、色成分間の差分絶対値の和を判定して色ズレ量を取得することができる。Ｇプレーンに対しＲプレーン（もしくはＢプレーン）を色ズレ方向に移動させながら、検出されたエッジ付近の画素において、色成分間の差分絶対値和が最小となる場所を探索する。ここで検出された差分絶対値和が最小となった位置と、移動前の位置とから、Ｇプレーンに対するＲプレーン（もしくはＢプレーン）の色ズレ量を取得することができる。
【００４６】
色ズレ量は、Ｇプレーンに対しＲプレーン（もしくはＢプレーン）が光学中心方向へずれている場合に負の値とし、Ｇプレーンに対しＲプレーン（もしくはＢプレーン）が光学中心とは逆方向へずれている場合に正の値とする。
【００４７】
Ｓ２０４では、Ｓ２０２で検出された各エッジの像高と、Ｓ２０３で取得した各エッジの色ズレ量から、像高と色ズレの関係を求めることで補正データを作成する。
ここでいう像高とは、光学中心に相当する画素（以降、単に光学中心という）からの距離である。
【００４８】
以下、補正データの作成手順について具体的に説明する。
（１）Ｓ２０２で検出されたエッジの像高をＬ、Ｓ２０３で取得された色ズレ量をＤとした場合、下記のように像高に対する色ズレ率Ｍを求める。
Ｍ＝Ｄ／Ｌ ・・・（式９）
（２）図６（ａ）に示すように画像を像高に応じた複数の領域（ここではｈ１〜ｈ８）に分割し、エッジが属する領域を選別する。
（３）画像内で検出された各エッジについて（１）（２）を行い、像高に応じて分割した領域ごとに色ズレ率Ｍを集計し、各領域での色ズレ率Ｍの平均値を各領域の色ズレ率として求める。
（４）図６（ｂ）に示すように、像高と色ズレ率とから、像高ｌと色ズレ率Ｍとの関係を表す高次の多項近似式Ｆ（ｌ）を算出し、これを補正データとする。図６（ｂ）は以下の式１０のように３次の多項式により補正データを算出した例である。なお式１０においてａ、ｂ、ｃは係数を示している。
Ｍ＝Ｆ（ｌ）＝ａｌ３ ＋ｂｌ２ ＋ｃｌ ・・・（式１０）
【００４９】
なお、エッジの検出と色ズレ量取得は、画像内の全エッジに対して行っても良い。しかし、像高に応じて分割した各領域で、ある閾値以上の数の色ズレ率が集計された段階でエッジ検出と色ズレ量取得を終了するなど、信頼度を保ちながら処理の効率化を図ることもできる。
【００５０】
また、像高に応じて分割した複数の領域のうち、該当するエッジが見つかった領域のみを高次の多項近似式算出に使用することで、該当するエッジが見つからない領域があった場合でも補正データの作成が可能となる。
【００５１】
次に、Ｓ２０５では、Ｓ２０４で作成された補正データを使用して色ズレを補正する。補正は対象色成分の画素位置をシフトすることで行い、具体的には例えば以下に示す方法で補正することができる。
【００５２】
まず、補正したいプレーン（Ｒプレーン、Ｂプレーン）の画素（Ｘ，Ｙ）において、画素（Ｘ，Ｙ）の像高Ｌと、補正データとから、画素（Ｘ，Ｙ）における色ズレ率Ｍを求める。なお、光学中心に対応する画素が（０，０）の座標系とする。
Ｍ＝Ｆ（Ｌ） ・・・（式１１）
【００５３】
次に色ズレ補正により生成する画素の座標（Ｘ１，Ｙ１）を求める。
Ｘ１＝Ｍ×Ｘ ・・・（式１２）
Ｙ１＝Ｍ×Ｙ ・・・（式１３）
【００５４】
補正したいプレーンにおいて上記座標（Ｘ１，Ｙ１）に相当する画素値を、一般的な補間処理により生成し、画素（Ｘ，Ｙ）の画素値とする。これらを全画素について行うことで、色ズレ補正を行う。
以上が、画像から倍率色収差補正データを作成し、補正するまでの処理概要である。
【００５５】
（撮像装置の構成）
図１は、本発明の実施形態にかかる画像処理装置の一例としての撮像装置の構成例を示すブロック図である。本実施形態では撮像光学系および撮像素子を有する撮像装置に本発明を適用した例を説明するが、本発明において撮像光学系や撮像素子といった撮像画像を生成するための構成要素は必須でない。
【００５６】
不図示の被写体の光学像を撮像光学系１０１で撮像素子１０２に結像する。撮像素子１０２で結像光が電気信号に変換され、Ａ／Ｄコンバータ１０３でデジタル信号に変換されて、画像処理部１０４に入力される。画像処理部１０４は画像回復処理部１１１と、画像回復処理以外の画像処理を行う、他の画像処理部１１２から構成される。画像回復処理部１１１は、まず、状態検知部１０７から撮像装置の撮像状態の情報を得る。状態検知部１０７は撮像装置の撮像状態の情報をシステムコントローラ１１０から直接得ても良いし、例えば撮像光学系１０１に関する撮像状態の情報は撮像光学系制御部１０６から得てもよい。
【００５７】
次に画像回復処理部１１１は、撮像状態に応じた画像回復フィルタを例えば記憶部１０８から選択し、画像回復処理部１１１は画像処理部１０４に入力された画像に対して倍率色収差補正処理および画像回復フィルタ適用処理を行う。画像回復処理の詳細については後述する。記憶部１０８で保持するデータは画像回復フィルタではなく、画像回復フィルタを生成するために必要な情報（例えば点像分布関数や光学伝達関数に関する情報）でもよい。この場合、画像回復処理部１１１は撮像状態に応じた点像分布関数又は光学伝達関数に関する情報を記憶部１０８から選択して撮像状態に応じた画像回復フィルタを生成し、この画像回復フィルタを用いて画像回復処理を行う。また、他の画像処理部１１２は画像回復処理後の画像に対し、ガンマ補正やカラーバランス調整など、所定の画像処理を行ないＪＰＥＧ等の画像ファイルを生成する。
【００５８】
画像処理部１０４で処理された出力画像は、システムコントローラ１１０が画像記録媒体１０９に所定のフォーマットで保存する。また、表示部１０５には、画像回復処理後の画像に表示用の所定の処理を行った画像を表示しても良いし、画像回復処理を行わない、又は簡易的な回復処理を行った画像を表示しても良い。
【００５９】
一連の制御はシステムコントローラ１１０で行われ、撮像光学系１０１の機械的な駆動（絞り１０１ａ、フォーカスレンズ１０１ｂ、光学ズームの駆動など）はシステムコントローラ１１０の指示により撮像光学系制御部１０６で行う。システムコントローラ１１０は例えばＣＰＵやＭＰＵのようなプログラマブルなコントローラであり、記憶部１０８に記憶されたプログラムを実行することで撮像装置の全体的な動作を実現する。なお、画像処理部１０４はハードウェアで実現してもよいが、少なくとも一部をシステムコントローラ１１０がソフトウェア的に実現することも可能である。
【００６０】
絞り１０１ａは、Ｆナンバーの撮像状態設定として開口径が制御される。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構によりレンズの位置が制御される。撮像光学系１０１にはローパスフィルタや赤外線カットフィルタ等の光学素子を入れても構わない。ただし、ローパスフィルタ等の光学伝達関数の特性に影響を与える素子を用いる場合には、画像回復フィルタを作成する時点でその光学素子による光学伝達関数の変化を考慮する。赤外カットフィルタにおいても、分光波長の点像分布関数の積分値であるＲＧＢチャンネルの各点像分布関数、特にＲチャンネルの点像分布関数に影響するため、画像回復フィルタを作成する時点で赤外カットフィルタによる点像分布関数の変化を考慮する。
また、撮像光学系１０１は撮像装置の一部として図示しているが、レンズ交換式カメラのような交換可能な構成であっても良い。
【００６１】
図７に画像回復処理部１１１での画像回復処理を説明するためのフローチャートを示す。
Ｓ３０１で画像回復処理部１１１は、状態検知部１０７から実際の撮像状態の情報を取得する。撮像状態とは、例えばズーム位置、絞り径、被写体距離等の撮像条件である。なお、これら撮像状態の情報は、画像ファイルのヘッダ部分などに書き込まれていることが多く、撮像済みの画像に対して画像回復処理を行う場合には、画像ファイルから取得してもよい。
【００６２】
Ｓ３０２で第１の倍率色収差補正手段としての画像回復処理部１１１は、倍率色収差の補正を行う。ここで行う倍率色収差の補正は上述の通り画素位置をシフトすることによって行うものであり、光学系の諸収差を補正する画像回復フィルタは適用しない。倍率色収差の補正量は、撮像光学系の設計値から算出したものを使用してもよいし、上述したように画像から倍率色収差を検出して補正量を決定してもよい。
【００６３】
Ｓ３０３で画像回復処理部１１１は、撮像条件に適した画像回復フィルタを選択する。このとき、選択された画像回復フィルタを必要に応じて補正しても構わない。これは、予め記憶部１０８に用意しておく画像回復フィルタのデータ数を低減するために、離散的な撮像状態のデータを用意しておいて、画像回復処理を実行する際に、実際の撮像状態に応じて画像回復フィルタを補正することである。また、画像回復フィルタの選択ではなく、画像回復フィルタを生成するために必要な光学伝達関数に関する情報から、撮像状態に応じた画像回復フィルタを生成してもよい。
【００６４】
また、本実施形態で用いる画像回復フィルタは、倍率色収差補正のための平行移動成分が除去されている。つまり、画像回復フィルタは倍率色収差補正成分を含んでおらず、収差の非対称性および広がりを補正して画像の先鋭化を行うが、倍率色収差の平行移動成分に関しては補正しない。上述の通り、このような画像回復フィルタを用いることにより、倍率色収差を画像回復処理と独立して処理することが可能になる。つまり、色成分ごとの非対称収差の補正および先鋭化と、倍率色収差の平行移動の成分である色ズレの補正とを分離して処理することが可能になる。
【００６５】
Ｓ３０４で第１の取得手段としての画像回復処理部１１１は、Ｓ３０２によって倍率色収差が補正された画像の色に関する特徴量の一例として、各画素における色差情報を取得する。ここでは、入力画像はＲＧＢ成分から構成され、色差を基準色Ｇに対する信号値の差分と定義する。従って、色差は以下の式により計算される。ここで、Ｒ１、Ｇ１、Ｂ１は、画像回復処理前のＲＧＢの各信号値、（ｘ，ｙ）は画像上の座標値、Ｃ１ｒ、Ｃ１ｂは、以下の式で定義されるＲ成分、Ｂ成分のＧ成分に対する色差である。
Ｃ１ｒ（ｘ，ｙ）＝Ｒ１（ｘ，ｙ）− Ｇ１（ｘ，ｙ） ・・・（式１４）
Ｃ１ｂ（ｘ，ｙ）＝Ｂ１（ｘ，ｙ）− Ｇ１（ｘ，ｙ） ・・・（式１５）
【００６６】
なお、ここで、入力画像が例えばベイヤ配列の原色カラーフィルタを持つ撮像素子によって撮像された所謂ＲＡＷ画像である場合、各画素はＲ，Ｇ，Ｂ成分のうち１つの値しか有していない。そのため、Ｒ画素又はＢ画素におけるＧ成分の値をＧ画素の値を適応補間して生成することにより、Ｃ１ｒ及びＣ１ｂを求める。
一方、既に色補間処理済みで、各画素がＲＧＢ成分の値を有している場合には、各画素においてＣ１ｒ及びＣ１ｂを求める。また、各画素がＲＧＢの成分の値を有している場合には、各画素においてＲＧＢの成分の値からＹ（輝度）の成分の値を求め、Ｒ成分、Ｂ成分の輝度成分に対する色差をＣ１ｒ及びＣ１ｂとして求めるようにしてもよい。
【００６７】
次にＳ３０５で画像回復処理部１１１は、Ｓ３０３で選択もしくは生成した画像回復フィルタを用いて、入力画像の各画素に対して上述したコンボリューション処理を行う。これにより、撮像光学系１０１の収差による点像分布関数の非対称性を補正し、画像のぼけ成分を除去もしくは低減することができる。
【００６８】
次のＳ３０６で第２の取得手段としての画像回復処理部１１１は、Ｓ３０５での画像回復処理後の画像の色に関する特徴量の一例として、各画素についてＳ３０４と同様に色差情報を取得する。ここで、Ｒ２、Ｇ２、Ｂ２は、画像回復処理後のＲＧＢの各信号値、（ｘ，ｙ）は画像上の座標値、Ｃ２ｒ、Ｃ２ｂは、以下の式で定義されるＲ成分、Ｂ成分のＧ成分に対する色差である。
Ｃ２ｒ（ｘ，ｙ）＝Ｒ２（ｘ，ｙ）− Ｇ２（ｘ，ｙ） ・・・（式１６）
Ｃ２ｂ（ｘ，ｙ）＝Ｂ２（ｘ，ｙ）− Ｇ２（ｘ，ｙ） ・・・（式１７）
【００６９】
なお、ここでも、Ｃ１ｒ及びＣ１ｂを求める場合と同様、入力画像が色補間前のＲＡＷ画像である場合、Ｒ画素又はＢ画素におけるＧ成分の値をＧ画素の値を適応補間して生成することにより、Ｃ２ｒ及びＣ２ｂを求める。
一方、既に色補間処理済みで、各画素がＲＧＢ成分の値を有している場合には、各画素においてＣ２ｒ及びＣ２ｂを求める。
【００７０】
次にＳ３０７で画素値補正手段としての画像回復処理部１１１は、Ｓ３０４とＳ３０６で取得した、画像回復処理前後の各画素の色差情報Ｃ１ｒ、Ｃ１ｂ、Ｃ２ｒ、Ｃ２ｂに基づき、色付き抑制のための画素値調整が必要か否かを決定する。この決定は、以下に示すように、色差が増大しているか否か、色差の符号が反転しているか否かに基づいて行うことができる。
【００７１】
画像回復処理部１１１は、ＲＧＢの画素のうちＲ画素とＢ画素（又は、各画素におけるＲ成分とＢ成分）に対してそれぞれ以下の判定を行い、いずれかを満たす場合はその色成分の画素に対し、色付き抑制のための画素値調整が必要と決定する。
・Ｒに対する判定
判定条件１：
Ｃ１ｒ（ｘ，ｙ）とＣ２ｒ（ｘ，ｙ）が同符号、且つ｜Ｃ１ｒ（ｘ，ｙ）｜ ＜ ｜Ｃ２ｒ（ｘ，ｙ）｜
判定条件２：
Ｃ１ｒ（ｘ，ｙ）とＣ２ｒ（ｘ，ｙ）が異符号
・Ｂに対する判定
判定条件１：
Ｃ１ｂ（ｘ，ｙ）とＣ２ｂ（ｘ，ｙ）が同符号、且つ｜Ｃ１ｒ（ｘ，ｙ）｜ ＜ ｜Ｃ２ｒ（ｘ，ｙ）｜
判定条件２：
Ｃ１ｂ（ｘ，ｙ）とＣ２ｂ（ｘ，ｙ）が異符号
【００７２】
この判定結果により、画素値調整が必要と決定された画素について、画素値補正手段としての画像回復処理部１１１はＳ３０８において色付き抑制のための画素値調整を適用する。画素値調整は例えば以下に示すように、色差が増大した場合は画像回復前の色差を使用し、色差の符号が反転した場合は色差を０とするものであってよい。
・Ｒに対する画素値調整
判定条件１を満たす場合（色差増大）；
Ｒ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ）＋ Ｃ１ｒ（ｘ，ｙ） ・・・（式１８）
判定条件２を満たす場合（色差反転）：
Ｒ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ） ・・・（式１９）
・Ｂに対する画素値調整
判定条件１を満たす場合（色差増大）：
Ｂ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ）＋ Ｃ１ｒ（ｘ，ｙ） ・・・（式２０）
判定条件２を満たす場合（色差反転）：
Ｂ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ） ・・・（式２１）
【００７３】
このように、図７のフローチャートに従った処理により、画像処理部１０４（画像回復処理部１１１）における画像回復処理が実行される。なお、撮像光学系１０１の光学伝達関数は１つの撮像状態においても撮像光学系の画角（像高）に応じて変化するので、ここで説明した画像回復処理を、像高に応じたて分割した領域（図６のｈ１〜ｈ８）ごとに変更して行うことが望ましい。具体的には、画像回復フィルタを画像上にコンボリューション処理をしながら走査させ、領域毎にフィルタを順次変更すれば良い。すなわちＳ３０３の処理を各対象画素に対して実行する。
【００７４】
なお、本実施形態では理解及び説明を容易にするため、画像回復フィルタの適用＝画像回復処理として説明したが、画像回復処理の一部として、他の補正処理、例えば歪曲補正処理や周辺光量補正処理やノイズ低減処理等を含めてもよい。
【００７５】
ここで、Ｓ３０２、Ｓ３０４、Ｓ３０５、Ｓ３０６、Ｓ３０８で行なわれる倍率色収差補正、画像回復処理前後の色差情報取得、画像回復フィルタ適用の作用および効果の例を図９及び図１０を用いて説明する。
【００７６】
図９（ａ）〜（ｃ）は、図８に示したような、周辺部に点光源が存在する被写界を撮像した入力における、点光源とその近傍の水平方向における画素値の例を示す模式図である。図９（ａ）〜（ｃ）はいずれも上段にＲ成分とＧ成分の画素値を、下段には上段で示したＲ成分とＧ成分の差分、つまり色差を示している。
【００７７】
図９（ｂ）は、非合焦時の状態を示している。合焦時の状態を示す図９（ａ）と比べると、倍率色収差による色ズレは同様に発生しているが、Ｇ成分、Ｒ成分ともにぼけ量が大きく、またＧ成分とＲ成分は同じぼけ方をしている。倍率色収差補正後はＲ成分とＧ成分の位置が揃い、Ｇ成分とＲ成分のぼけ方が同じであるため、この段階で色にじみは発生していない。画像回復フィルタ適用後は、Ｇ成分、Ｒ成分ともにぼけが低減されているが、Ｇ成分とＲ成分のぼけの残り方が異なるため、色にじみが発生している。この色にじみが本実施形態において抑制の対象となる色付きである。
【００７８】
図９（ｂ）に対応する画像回復フィルタ適用前後の色差情報の関係を図１０（ｂ）に示す。画像回復フィルタの適用前である倍率色収差補正後の色差は全領域で０となっているが、画像回復フィルタ適用後はエッジ部分で色差が発生している。従って、Ｓ３０７における判定処理では色差増大により画素値調整が必要と決定され、Ｓ３０８で画像回復処理部１１１によって色付き抑制のための画素値調整が適用される。Ｓ３０８での画素値調整処理では、画像回復フィルタの適用前の色差である倍率色収差補正後の色差が使用されるため、画素値調整後の色差は全領域で０となり、色付きが適切に抑制された画像が得られる。
【００７９】
このように、本実施形態では、非合焦時部分に対する画像回復フィルタの適用によって発生する色付きを効果的に抑制することができる。図９（ａ）で示した合焦時と図９（ｂ）で示した非合焦時のそれぞれで、画像回復フィルタ適用前後のＧ成分とＲ成分のぼけ方の違いについて図１１を用いて説明する。図１１（ａ）〜（ｄ）は撮像光学系１０１のＭＴＦと画像回復フィルタ適用後のＭＴＦの空間周波数特性を示す模式図である。また、図１１（ｅ）は画像回復フィルタによるＭＴＦの増減率（回復ゲイン）を示す模式図である。
【００８０】
図１１（ａ）は合焦時の撮像光学系１０１のＭＴＦであり、Ｒ成分はＧ成分よりも劣化している。従って図９（ａ）の入力画像ではＧ成分とＲ成分のぼけ方が異なり、点光源部分の画素値の変化はＲ成分の方がＧ成分よりも広がった状態になっている。
【００８１】
図１１（ｂ）は合焦時の画像回復フィルタ適用後のＭＴＦであり、Ｇ成分とＲ成分ともにＭＴＦが適切に補正され、Ｇ成分とＲ成分は一致している。これは図１１（ａ）のＭＴＦに図１１（ｅ）に示す回復ゲインが乗算された結果である。画像回復フィルタは合焦物体に最適な画像回復処理が行なえるように設計されているため、合焦時は適切な画像回復処理がされる。従って図９（ａ）の画像回復フィルタ適用後ではＧ成分とＲ成分のぼけが適切に除去され、色にじみも除去されている。
【００８２】
一方、図１１（ｃ）は非合焦時の撮像光学系１０１のＭＴＦであり、図１１（ａ）の合焦時と比較するとＧ成分もＲ成分も劣化した状態で一致している。従って図９（ｂ）の入力画像ではＧ成分とＲ成分のぼけ方が一致しているが図９（ａ）で示した合焦時よりぼけが大きくなっている状態である。
【００８３】
図１１（ｄ）は非合焦時の画像回復フィルタ適用後のＭＴＦであり、Ｇ成分とＲ成分ともにＭＴＦが補正されているが、Ｇ成分はＲ成分よりも劣化した状態になっている。これは図１１（ｃ）のＭＴＦに図１１（ｅ）に示す回復ゲインが乗算された結果である。画像回復フィルタは合焦物体に最適な画像回復処理が行なえるように設計されているため、非合焦時は期待した画像回復結果にならない場合がある。従って、図９（ｂ）の画像回復フィルタ適用後ではＧ成分とＲ成分のぼけが低減しているが、Ｇ成分の方がＲ成分よりも広がった状態になっている。
【００８４】
本実施形態と異なり、画像回復フィルタに倍率色収差補正成分を含めた場合の例を図９（ｃ）に示す。
図９（ｃ）は、図９（ｂ）と同様の非合焦時において、倍率色収差補正成分を含めた画像回復フィルタを適用した場合の例を示している。入力画像は図９（ｂ）と同じであり、また倍率色収差補正を行わないが、画像回復フィルタで倍率色収差補正も同時に行うため、画像回復フィルタ適用後の画像も図９（ｂ）と同じである。
【００８５】
画像回復フィルタ適用前後の色差情報の関係を図１０（ｃ）に示す。画像回復フィルタの適用前の入力画像の色差は色ズレにより左側のエッジ部分で正の値、右側のエッジ部分で負の値として存在する。また、画像回復フィルタ適用後は両エッジ部分で負の値の色差が発生している。従って、Ｓ３０７における判定処理では、左側のエッジ部では色差反転しているとの判定により画素値調整が必要と決定され、Ｓ３０８で色付き抑制のための画素値調整が行なわれるので色付きが抑制される。しかし、右側のエッジは色差の増大も反転もないことから、画素値調整は不要と決定され、Ｓ３０８での画素値調整は行われない。そのため、右側のエッジでは色付きが抑制されないまま画像回復処理結果として出力される。
このように、画像回復フィルタに倍率色収差補正成分を含めた場合には画像回復フィルタの適用によって生じた色付きが十分に抑制されず、画質が劣化する。
【００８６】
以上説明したように、本実施形態によれば、撮像光学系の収差を補正するための画像回復フィルタとして、倍率色収差補正を行わない画像回復フィルタを用いるとともに、倍率色収差は画像回復フィルタを適用する前に、画像回復フィルタとは別の方法で補正する。そのため、実際の撮像状態での収差の状態と、画像回復フィルタが想定している収差の状態が異なるときに発生する、画像回復フィルタに起因する色付きを、倍率色収差に起因する色付きと分離して補正することが可能になり、色付きを効果的に抑制可能となる。
【００８７】
つまり、倍率色収差の色ズレによる色付きと、ぼけの除去時に発生する色付きとを切り分けることができ、ぼけの除去時に発生する色付きのみを抑制することが可能になる。このように、本実施形態によれば、画像回復処理全体として色付きを抑えた画像回復処理が可能となる。
【００８８】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。なお、本実施形態も第１の実施形態対と同様、図１に示した撮像装置に適用した場合について説明する。第１の実施形態とは画像処理部１０４（画像回復処理部１１１）における画像回復処理のみ異なるため、図１２を用いて本実施形態における画像回復処理について説明する。
【００８９】
なお、図１２におけるＳ４０１からＳ４０５までの処理は、図７のＳ３０１からＳ３０５までの処理と同様であるため、説明は割愛する。本実施形態では、Ｓ４０５で画像回復フィルタを適用した後に、Ｓ４０６で画像から倍率色収差を検出して生成した補正量を使用した倍率色収差の補正を行うことを特徴とする。
【００９０】
図１３及び図１４は、本実施形態においてＳ４０２、Ｓ４０４、Ｓ４０５、Ｓ４０６、Ｓ４０７、Ｓ４０８で行なわれる倍率色収差補正、画像回復処理前後の色差情報取得、画像回復フィルタ適用の作用及び効果の例を示す模式図である。
【００９１】
図１３（ａ）〜（ｄ）は、図８に示したような、周辺部に点光源が存在する被写界を撮像した入力における、点光源とその近傍のメリジオナル方向（画像中心から放射方向）における画素値の例を示す模式図である。図１３（ａ）〜（ｄ）はいずれも上段にＲ成分とＧ成分の画素値を、下段には上段で示したＲ成分とＧ成分の差分、つまり色差を示している。図９とは着目している画素の方向が異なるため、非対称収差となり、左右のエッジでぼけ方が異なっている。
【００９２】
倍率色収差を補正しない画像回復フィルタを適用した後に、Ｓ４０６で画像から倍率色収差を検出して補正することの効果について図１３（ａ）を用いて説明する。図１３（ａ）は、合焦時の状態を示している。入力画像には倍率色収差によりＧ成分とＲ成分の色ズレが発生し、さらにＧ成分とＲ成分のぼけ方が異なっており、左右のエッジの収差が異なるためにぼけ方が異なっている。
【００９３】
画像回復フィルタ適用前に行うＳ４０２での倍率色収差補正の結果を、図１３（ａ）の、”倍率色収差補正後１”で示している。Ｓ４０２の倍率色収差補正では、左右のエッジの収差の状態が異なったまま、色ズレができるだけ目立たないような倍率色収差補正を行う。倍率色収差の補正量は、撮像光学系１０１の設計値から算出したものを使用してもよいし、画像から倍率色収差を検出して補正量を決定してもよい。
【００９４】
画像回復フィルタの適用により、Ｇ成分、Ｒ成分のエッジは非対称収差が補正され且つ先鋭化されているが、Ｇ成分、Ｒ成分間の色ズレが残留している。この、残留している色ズレの原因は、撮像光学系１０１の製造上のばらつきや、光源分光の変動などにより、画像撮像時の収差の状態と、画像回復フィルタが対象としている収差の状態とが異なることが挙げられる。また、画像回復フィルタ適用前に行うＳ４０２での倍率色収差補正において、画像から倍率色収差を検出して補正量を決定する場合、非対称性の残留したエッジで倍率色収差量の検出を行っている。そのため、画像回復処理後のエッジの状態に適切な倍率色収差の補正量と異なる補正量が得られる場合があり、その場合には色ズレが残留する。
【００９５】
本実施形態はこのような理由によって画像回復フィルタの適用後に残留する色ズレに対処する。Ｓ４０６において第２の倍率色収差補正手段としての画像回復処理部１１１は、画像回復フィルタ適用後の画像から倍率色収差を検出して補正を行う。Ｓ４０６での倍率色収差補正処理後の状態を図１３（ａ）の倍率色収差補正後２で示している。倍率色収差補正後２では残留した色ズレが適切に補正された状態であり、入力画像に対してはエッジは非対称収差が補正され且つ先鋭化されＧ成分とＲ成分が一致することで色にじみも除去されている。
【００９６】
次に行なわれるＳ４０７からＳ４０９の処理は、第１の実施形態で説明した図７のＳ３０６からＳ３０８の処理と同様であるため、説明は割愛する。
【００９７】
図１３（ａ）に示した合焦時に、Ｓ４０４、Ｓ４０７で取得された色差情報を図１４（ａ）に示す。この場合、画像回復フィルタの適用前の”倍率色収差補正後１”での色差はエッジ部分で値を持っているが、画像回復フィルタの適用後の”倍率色収差補正後２”では全領域で０となっている。従って、Ｓ４０８における判定処理では、色付き抑制のための画素値調整は不要と判断され、倍率色収差補正後２の画像がそのまま画像回復処理結果となる。
【００９８】
図１３（ａ）と同じ入力画像に対し、本実施形態と異なり画像回復フィルタ適用後にＳ４０６の倍率色収差補正を行なわない場合の例を図１３（ｂ）に示す。この場合、画像回復フィルタ適用後の色ズレが残留している状態でＳ４０７の色差情報取得処理が行われる。図１４（ｂ）に示すように、画像回復処理前後で左側のエッジでは色差の反転、右側のエッジでは色差の増大がそれぞれ発生しているため、いずれもＳ４０９で色付き抑制のための画素値調整が行なわれる。この場合の出力画像は図１３（ｂ）の”画素値調整後”の状態である。Ｓ４０９における色付き抑制処理によって色付きは抑制されているが、Ｓ４０６の倍率色収差補正を行なった場合の図１２（ａ）と比べると、色付きが残留していることがわかる。このように、画像回復フィルタ適用後、色付き抑制処理の要否判定前の画像で倍率色収差を検出し、補正を行うことで、色付きをより適切に抑制することができる。
【００９９】
以上、本発明の第２の実施形態について説明した。このように、画像回復フィルタを適用した後に、画像から倍率色収差を検出して補正する場合でも本発明は有効である。
【０１００】
図１３（ｃ）に、図１３（ａ）に対応する非合焦時の状態を示す。入力画像には倍率色収差によりＧ成分とＲ成分の色ズレが発生し、さらにＧ成分とＲ成分のぼけ方は同じであるが、左右のエッジの収差が異なるために左右のエッジでぼけ方が異なっている状態である。Ｓ４０２で倍率色収差補正した後の”倍率色収差補正後１”では、Ｒ成分とＧ成分の位置が揃い、Ｇ成分とＲ成分のぼけ方が同じであるため、この段階で色にじみは発生していない。
【０１０１】
画像回復フィルタ適用後は、Ｇ成分、Ｒ成分ともにぼけが低減されているが、Ｇ成分とＲ成分のぼけの残り方が異なるために色にじみが発生している。この色にじみは左右のエッジの状態が異なり、色ズレとして扱うことができる。Ｓ４０６において、画像回復フィルタ適用後の画像から倍率色収差を検出し、補正した結果を示す”倍率色収差補正後２”では、左右のエッジの色にじみ方が同じになっている。この場合の画像回復処理前後の色差情報の関係を図１４（ｃ）に示す。画像回復フィルタの適用前の”倍率色収差補正後１”での色差は全領域で０となっているが、画像回復フィルタの適用後の”倍率色収差補正後２”はエッジ部分で色差が発生している。従って、Ｓ４０８における判定処理では色付き抑制のための画素値調整が必要と判定され、Ｓ４０９で色付き抑制のための画素値調整が行なわれる。Ｓ４０９では、画像回復フィルタの適用前の”倍率色収差補正後１”の色差が使用されるため、画素値調整後の色差は全領域で０となり、色差が適切に抑制された画像が画像回復処理結果として得られる。
【０１０２】
本実施形態と異なり、画像回復フィルタに倍率色収差補正成分を含めた場合の例を図１３（ｄ）に示す。
図１３（ｄ）において、入力画像は図１３（ｃ）と同じである。Ｓ４０２での倍率色収差補正を行わずに画像回復フィルタで倍率色収差補正も同時に行うため、画像回復フィルタ適用後の画像と、画像回復フィルタ適用後の画像から倍率色収差を検出して補正した”倍率色収差補正後２”の画像は、図１３（ｃ）と同様である。この場合の画像回復処理前後の色差情報の関係を図１４（ｄ）に示す。左右のエッジとも一部で色差の反転があるため、Ｓ４０８における判定処理では色付き抑制のための画素値調整が必要と判定され、Ｓ４０９で色付き抑制のための画素値調整が行なわれる。この場合の出力画像は図１３（ｄ）の”画素値調整後”の状態である。色付き抑制処理によって色付きは抑制されているが、本実施形態による図１３（ｃ）と比べると色付きが残っていることが確認される。
【０１０３】
以上説明したように、本実施形態によれば、倍率色収差を補正しない画像回復フィルタ適用後、色付き抑制のための画素値調整の有無を判定する前に、画像回復フィルタ適用後の画像から倍率色収差を検出して補正する。これにより、一層良好な色付き抑制効果を実現することが可能になる。
【０１０４】
（その他の実施形態）
上述の実施形態においては、画像回復処理前後における画像の色に関する特徴量として、色差を用いた場合を説明した。しかし、色差に限らず、画像回復フィルタの適用によって生じた色付きを補正するために用いることが可能な任意の色に関する特徴量を用いることができる。例えば、画像回復処理前後における画像にて、Ｇプレーンに対しＲプレーン（もしくはＢプレーン）をメリジオナル方向に移動させながら、Ｙプレーンで検出されたエッジ付近の画素において、色成分間の差分絶対値和が最小となる場所を探索する。ここで検出された差分絶対値和が最小となった位置と、移動前の位置とから、Ｇプレーンに対するＲプレーン（もしくはＢプレーン）の色ズレ方向と色ズレ量を取得し、この色ズレ方向と色ズレ量を色に関する特徴量とすることができる。画像回復処理前後における画像の色ズレ方向が反転していれば、色付き抑制のための画素値調整を行い、色ズレ方向が反転していなくとも画像回復処理後の色ズレ量ほうが大きいのであれば、色付き抑制のための画素値調整を行うようにすればよい。
【０１０５】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
撮像装置によって撮像された画像における、前記撮像装置の撮像光学系の収差による画質の劣化を回復するための画像処理装置であって、
前記画像に対して前記撮像光学系の倍率色収差の補正を行う第１の倍率色収差補正手段と、
前記倍率色収差が補正された画像について、色に関する特徴量を取得する第１の取得手段と、
前記撮像光学系の収差を示す関数に基づいた画像回復フィルタを前記倍率色収差が補正された画像に適用する画像回復処理手段と、
前記画像回復フィルタが適用された画像に対し、前記色に関する特徴量を取得する第２の取得手段と、
前記第１の取得手段と前記第２の取得手段が取得した前記色に関する特徴量の変化に応じて、前記画像回復フィルタが適用された画像の画素値を補正する画素値補正手段とを有し、
前記画像回復フィルタは、倍率色収差の補正を行わないフィルタであることを特徴とする画像処理装置。
【請求項２】
前記画像がＲＧＢ成分から構成され、前記色に関する特徴量が、Ｇ成分の値に対するＲ成分もしくはＢ成分の値の差分であり、前記画素値補正手段は画素のＲ成分もしくはＢ成分の値を補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像がＲＧＢ成分から構成され、前記色に関する特徴量が、ＲＧＢ成分から生成した輝度成分の値に対するＲ成分もしくはＢ成分の値の差分であり、前記画素値補正手段は画素のＲ成分もしくはＢ成分の値を補正することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
さらに、前記画像回復フィルタが適用された画像から倍率色収差を検出して補正する第２の倍率色収差補正手段を有し、
前記第２の取得手段が、前記第２の倍率色収差補正手段によって倍率色収差が補正された画像に対して前記色に関する特徴量を取得することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像回復フィルタは、前記撮像光学系の点像分布関数の色成分間の差異を、ある色成分の点像分布関数の位置に他の色成分の点像分布関数を平行移動させることによって低減した点像分布関数に基づいて生成されたものであることを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像回復フィルタは、前記撮像光学系の光学伝達関数の位相の周波数特性から直線成分を除去した前記光学伝達関数に基づいて生成されたものであることを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
【請求項７】
被写体の光学像を結像する撮像光学系と、
前記光学像を撮像する撮像素子と、
請求項１乃至請求項６のいずれか１項に記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項８】
撮像装置によって撮像された画像における、前記撮像装置の撮像光学系の収差による画質の劣化を回復するための、画像処理装置によって実行される画像処理方法であって、
前記画像処理装置の倍率色収差補正手段が、前記画像に対して前記撮像光学系の倍率色収差の補正を行う工程と、
前記画像処理装置の第１の取得手段が、前記倍率色収差が補正された画像について、色に関する特徴量を取得する第１の取得工程と、
前記画像処理装置の画像回復処理手段が、前記撮像光学系の収差を示す関数に基づいた画像回復フィルタを前記倍率色収差が補正された画像に適用する工程と、
前記画像処理装置の第２の取得手段が、前記画像回復フィルタが適用された画像に対し、前記色に関する特徴量を取得する第２の取得工程と、
前記画像処理装置の前記第１の取得工程と前記第２の取得工程で取得された前記色に関する特徴量の変化に応じて、画素値補正手段が、前記画像回復フィルタが適用された画像の画素値を補正する工程とを有し、
前記画像回復フィルタは、倍率色収差の補正を行わないフィルタであることを特徴とする画像処理方法。
【請求項９】
コンピュータを、請求項１乃至請求項６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１】
撮像装置によって撮像された画像における、前記撮像装置の撮像光学系の収差による画質の劣化を回復するための画像処理装置であって、
前記画像に対して前記撮像光学系の倍率色収差の補正を行う第１の倍率色収差補正手段と、
前記倍率色収差が補正された画像について、色に関する特徴量を取得する第１の取得手段と、
前記撮像光学系の収差を示す関数に基づいた画像回復フィルタを前記倍率色収差が補正された画像に適用する画像回復処理手段と、
前記画像回復フィルタが適用された画像に対し、前記色に関する特徴量を取得する第２の取得手段と、
前記第１の取得手段と前記第２の取得手段が取得した前記色に関する特徴量の変化に応じて、前記画像回復フィルタが適用された画像の画素値を補正する画素値補正手段とを有し、
前記画像回復フィルタは、倍率色収差の補正を行わないフィルタであることを特徴とする画像処理装置。
【請求項２】
前記画像がＲＧＢ成分から構成され、前記色に関する特徴量が、Ｇ成分の値に対するＲ成分もしくはＢ成分の値の差分であり、前記画素値補正手段は画素のＲ成分もしくはＢ成分の値を補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像がＲＧＢ成分から構成され、前記色に関する特徴量が、ＲＧＢ成分から生成した輝度成分の値に対するＲ成分もしくはＢ成分の値の差分であり、前記画素値補正手段は画素のＲ成分もしくはＢ成分の値を補正することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
さらに、前記画像回復フィルタが適用された画像から倍率色収差を検出して補正する第２の倍率色収差補正手段を有し、
前記第２の取得手段が、前記第２の倍率色収差補正手段によって倍率色収差が補正された画像に対して前記色に関する特徴量を取得することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像回復フィルタは、前記撮像光学系の点像分布関数の色成分間の差異を、ある色成分の点像分布関数の位置に他の色成分の点像分布関数を平行移動させることによって低減した点像分布関数に基づいて生成されたものであることを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像回復フィルタは、前記撮像光学系の光学伝達関数の位相の周波数特性から直線成分を除去した前記光学伝達関数に基づいて生成されたものであることを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
【請求項７】
被写体の光学像を結像する撮像光学系と、
前記光学像を撮像する撮像素子と、
請求項１乃至請求項６のいずれか１項に記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項８】
撮像装置によって撮像された画像における、前記撮像装置の撮像光学系の収差による画質の劣化を回復するための、画像処理装置によって実行される画像処理方法であって、
前記画像処理装置の倍率色収差補正手段が、前記画像に対して前記撮像光学系の倍率色収差の補正を行う工程と、
前記画像処理装置の第１の取得手段が、前記倍率色収差が補正された画像について、色に関する特徴量を取得する第１の取得工程と、
前記画像処理装置の画像回復処理手段が、前記撮像光学系の収差を示す関数に基づいた画像回復フィルタを前記倍率色収差が補正された画像に適用する工程と、
前記画像処理装置の第２の取得手段が、前記画像回復フィルタが適用された画像に対し、前記色に関する特徴量を取得する第２の取得工程と、
前記画像処理装置の前記第１の取得工程と前記第２の取得工程で取得された前記色に関する特徴量の変化に応じて、画素値補正手段が、前記画像回復フィルタが適用された画像の画素値を補正する工程とを有し、
前記画像回復フィルタは、倍率色収差の補正を行わないフィルタであることを特徴とする画像処理方法。
【請求項９】
コンピュータを、請求項１乃至請求項６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−５１５９８（Ｐ２０１３−５１５９８Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８９３２５（Ｐ２０１１−１８９３２５）
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]