画像処理方法、画像処理プログラム、画像処理装置および撮像装置
【課題】倍率色収差による色ずれを高精度に補正して高画質の回復画像を生成する。
【解決手段】画像処理方法は、光学系１０１を用いた撮影により生成された入力画像を取得するステップＳ１１と、光学系の光学伝達関数に基づいて作成された画像回復フィルタを用いて入力画像に対して画像回復処理を行うことにより回復画像を生成する画像回復ステップＳ１２，Ｓ１３と、回復画像に含まれる光学系の倍率色収差に対応した色ずれを検出する色ずれ検出ステップＳ１４を有する。回復画像色ずれ低減ステップＳ１５では、回復画像に対して、色ずれ検出ステップにて検出された色ずれを低減する色ずれ低減処理を行う。
【解決手段】画像処理方法は、光学系１０１を用いた撮影により生成された入力画像を取得するステップＳ１１と、光学系の光学伝達関数に基づいて作成された画像回復フィルタを用いて入力画像に対して画像回復処理を行うことにより回復画像を生成する画像回復ステップＳ１２，Ｓ１３と、回復画像に含まれる光学系の倍率色収差に対応した色ずれを検出する色ずれ検出ステップＳ１４を有する。回復画像色ずれ低減ステップＳ１５では、回復画像に対して、色ずれ検出ステップにて検出された色ずれを低減する色ずれ低減処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影により生成された画像の収差成分を低減する画像処理技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置により被写体を撮像して得られた画像には、撮像光学系（以下、単に光学系という）の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束のうち撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。
【０００３】
ここにいうぼけ成分は、光学的には、点像分布関数（ＰＳＦ：Point Spread Function）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。さらに、横方向の色ずれも光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれまたは位相ずれということができる。
【０００４】
ＰＳＦをフーリエ変換して得られる光学伝達関数（ＯＴＦ：Optical Transfer Function）は、収差の周波数成分の情報であり、複素数で表される。ＯＴＦの絶対値、すなわち振幅成分をＭＴＦ（Modulation Transfer Function）といい、位相成分をＰＴＦ（Phase Transfer Function）という。ＭＴＦおよびＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として、以下の式で表す。
【０００５】
ＰＴＦ＝ｔａｎ−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
ただし、Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれ、ＯＴＦの実部および虚部を示す。
【０００６】
このように、撮像光学系のＯＴＦは、画像の振幅成分と位相成分に劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。
【０００７】
また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じてＲＧＢ等の色成分として取得することで発生する。したがって、ＲＧＢ間で結像位置がずれることはもとより、各色成分内にも波長ごとの結像位置のずれ、つまりは位相ずれによる像の広がりが発生する。このため、正確には倍率色収差は単なる平行シフトの色ずれを生じさせるものではないが、本明細書では特に断りがない限り、倍率色収差によって色ずれが発生するものとして記載する。
【０００８】
振幅（ＭＴＦ）の劣化と位相（ＰＴＦ）の劣化を補正（低減）する方法として、撮像光学系のＯＴＦの情報を用いるものが知られている。この補正方法は、画像回復や画像復元と称され、以下の説明でも、光学系のＯＴＦの情報を用いて画像の劣化を補正（低減）する処理を、画像回復処理または単に画像回復と称する。画像回復処理の１つとして、ＯＴＦの逆特性を有する画像回復フィルタを入力画像に対して畳み込む（コンボリューションする）方法が知られている。
【０００９】
また、倍率色収差により発生した画像の色ずれのみを補正する方法として、画素信号値の座標に関する幾何変換処理と画素補間処理を用いる方法がある。例えば、特許文献１には、光学系の焦点距離に応じてＲＧＢごとに倍率色収差による色ずれ補正を行う方法が開示されている。
【００１０】
ただし、特許文献１にて開示された補正方法では、撮像光学系の製造ばらつきや撮影時の光源の分光特性の変動によって倍率色収差が変化した場合に、色ずれの補正不足や補正過剰によって、色ずれが残留してしまう。
【００１１】
この点、特許文献２にて開示された補正方法では、ＲＡＷデータに含まれる２種類の色成分について相関を算出して色ずれ幅を検出し、該色ずれ幅に基づいて撮像光学系の倍率色収差を求める。すなわち、実際の色ずれ量を検出して、該検出した色ずれ量を用いて色ずれ補正を行うことで、倍率色収差の変化に対応して色ずれを良好に補正することができる。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開平０６−１１３３０９号公報
【特許文献２】特開２００６−０２０２７５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、特許文献２にて開示された補正方法を用いても、色ずれ補正を十分に行えない場合がある。前述したように、倍率色収差は色成分間で結像位置がずれることはもとより、各色成分内にも波長ごとの結像位置のずれ、つまりは位相ずれによる像の広がりが発生する。例えば、ＲＧＢのうち１つの色成分であるＧチャンネルの画像は、Ｇのカラーフィルタの分光透過率特性の感度を持った波長帯域内での倍率色収差に対応する位相ずれが含まれている。このように、各色成分内に残留した波長ごとの倍率色収差の影響による像の広がりは、特許文献２の補正方法によって色成分間での色ずれを補正できたとしても、補正することができない。
【００１４】
言い換えれば、像倍率を補正することによる色ずれ補正は、局所的には画像を平行移動させることと等価であるため、ＰＴＦの周波数に対する直線成分を補正しているにすぎない。各色成分の像はコマ収差等の非対称収差を含んでいるため、ＰＴＦの周波数特性は非直線となっている。このため、各色成分の像を平行移動したとしても、この非対称性は補正されない。したがって、各色成分内に残留した波長ごとの倍率色収差の影響による色ずれを高精度に補正するためには、周波数に対して非直線であるＰＴＦをも補正する必要がある。
【００１５】
本発明は、各色成分内で発生する非対称収差と色成分間で発生する色ずれの双方を高精度に補正して高画質の回復画像を出力することが可能な画像処理方法、画像処理プログラム、画像処理装置および撮像装置を提供する。
【課題を解決するための手段】
【００１６】
本発明の一側面としての画像処理方法は、光学系を用いた撮影により生成された入力画像を取得するステップと、光学系の光学伝達関数に基づいて作成された画像回復フィルタを用いて入力画像に対して画像回復処理を行うことにより回復画像を生成する画像回復ステップと、回復画像に含まれる光学系の倍率色収差に対応した色ずれを検出する色ずれ検出ステップと、該回復画像に対して、色ずれ検出ステップにて検出された色ずれを低減する色ずれ低減処理を行う回復画像色ずれ低減ステップとを有することを特徴とする。
【００１７】
本発明の他の一側面としての画像処理プログラムは、コンピュータに、光学系を用いた撮影により生成された入力画像を取得するステップと、光学系の光学伝達関数に基づいて作成された画像回復フィルタを用いて入力画像に対して画像回復処理を行うことにより回復画像を生成する画像回復ステップと、回復画像に含まれる光学系の倍率色収差に対応した色ずれを検出する色ずれ検出ステップと、該回復画像に対して、色ずれ検出ステップにて検出された色ずれを低減する色ずれ低減処理を行う回復画像色ずれ低減ステップとを実行させることを特徴とする。
【００１８】
さらに、本発明の他の一側面としての画像処理装置は、光学系を用いた撮影により生成された入力画像を取得する画像取得手段と、光学系の光学伝達関数に基づいて作成された画像回復フィルタを用いて入力画像に対して画像回復処理を行うことにより回復画像を生成する画像回復手段と、回復画像に含まれる光学系の倍率色収差に対応した色ずれを検出する色ずれ検出手段と、該回復画像に対して、色ずれ検出ステップにて検出された色ずれを低減する色ずれ低減処理を行う回復画像色ずれ低減手段とを有することを特徴とする。
【００１９】
なお、光学系により形成された被写体像を光電変換して画像を生成する撮像系と、該画像を入力画像として処理する上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。
【発明の効果】
【００２０】
本発明では、画像回復処理によって色成分ごとの非対称収差が低減されて鮮鋭となった回復画像において、倍率色収差に対応する色ずれを検出し、これを低減する処理を行う。このため、高精度に色ずれを検出してこれを低減した高精細な回復画像を生成することができる。特に、画像回復の度合いによって回復画像中のエッジ部の鮮鋭度が色成分ごとに変化することで色ずれ量が変動しても、適切な色ずれ量の低減が可能となる。これにより、各色成分内で発生する非対称収差と色成分間で発生する色ずれの双方を高精度に補正して高画質の回復画像を出力することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施例である画像処理方法のシーケンスを示すフローチャート。
【図２】上記画像処理シーケンスで用いられる画像回復フィルタを説明する図。
【図３】（Ａ）点像の補正状態を説明する図、（Ｂ）振幅と位相を説明する図および（Ｃ），（Ｄ）倍率色収差を説明する図。
【図４】上記画像処理シーケンスにおける色ずれ補正処理のフローチャート。
【図５】上記画像処理シーケンスにおける色ずれ補正処理を説明する図。
【図６】本発明の実施例１である撮像装置の構成を示すブロック図。
【図７】実施例１の撮像装置における画像処理シーケンスの効果を説明する図。
【図８】実施例１で説明した画像処理シーケンスの変形例１のフローチャート。
【図９】上記変形例１の効果を説明する図。
【図１０】実施例１で説明した画像処理シーケンスの変形例２のフローチャート。
【図１１】本発明の実施例２の撮像装置における画像処理シーケンスのフローチャート。
【図１２】実施例２における製造誤差による性能変動を説明する図。
【図１３】実施例２における色ずれと片ぼけの相関を説明する図。
【図１４】実施例２における（Ａ）色ずれと（Ｂ）片ぼけの算出を説明する図。
【図１５】実施例２における（Ａ）〜（Ｄ）画像回復フィルタの補正と（Ｅ）ＭＴＦ補正とを説明する図。
【図１６】実施例２における画像回復フィルタの補正を説明する図。
【図１７】実施例２の撮像装置における画像処理シーケンスの変形例３のフローチャート。
【図１８】本発明の実施例３である画像処理装置を含むシステムの構成を示す図。
【発明を実施するための形態】
【００２２】
以下、本発明の実施例について図面を参照しながら説明する。
【００２３】
まず具体的な実施例の説明に先立って、各実施例で用いる用語の定義と各実施例で行う画像処理について説明する。
【００２４】
「入力画像」
入力画像は、撮像光学系により形成された被写体像（光学像）をＣＣＤセンサやＣＭＯＳセンサ等の撮像素子によって光電変換することで得られたデジタル画像である。被写体像は、撮像光学系を通った光により形成されるため、撮像光学系を構成するレンズや光学フィルタ等で発生する収差（光学伝達関数（ＯＴＦ））によって劣化している。撮像光学系には、レンズの他にも曲率を有するミラー（反射面）を用いることもできる。
【００２５】
なお、各実施例の画像処理は、撮像光学系を持たない画像生成装置にも応用することができる。例えば、被写体面に撮像素子を密着させて撮像を行うスキャナ（読み取り装置）やＸ線撮像装置はレンズのような撮像光学系を持たないが、撮像素子による画像サンプリングなどにより出力画像は少なからず劣化する。この劣化特性は撮像光学系によるものではないが、撮像システム伝達関数であるので、前記の光学伝達関数（ＯＴＦ）に相当するものであるとする。したがって、撮像光学系を持たずとも、伝達関数に基づいて画像回復フィルタを生成すれば、本発明の画像処理方法を用いることができる。説明の便宜上、光学伝達関数（ＯＴＦ）と表現するが、ＯＴＦはこの撮像システム全体の広義の伝達関数を含むものとする。
【００２６】
読み取り装置における伝達関数の例として、例えば撮像素子の受光部の開口形状による劣化、受光部に配置されたマイクロレンズの収差、カバーガラスによる収差などが挙げられる。受光部の有限サイズ開口形状は、例えばローパスフィルタのような伝達特性を有する。
【００２７】
また、入力画像の色成分は、ＲＧＢ等の複数の色成分の情報を有する。色成分は、ＲＧＢ以外にも、ＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号等、一般に用いられている色空間を選択して表現することができる。その他の色空間として、ＸＹＺ，Ｌａｂ，Ｙｕｖ，ＪＣｈを用いることも可能である。さらに、色温度を用いることも可能である。
【００２８】
また、入力画像や出力画像には、撮像光学系の焦点距離、絞り値、撮影距離等の撮影条件の情報や画像処理に必要な各種情報を付帯することができる。撮像装置から別の画像処理装置に画像を受け渡して画像処理を行う場合には、画像に撮影条件情報や画像処理に必要な情報を付帯することが好ましい。撮影条件情報や画像処理に必要な情報は、撮像装置と画像処理装置を直接的または間接的に接続して受け渡すこともできる。
【００２９】
「画像回復処理」
画像回復処理の概要を以下に説明する。劣化画像（入力画像）をｇ（ｘ，ｙ）とし、劣化していない元の画像をｆ（ｘ，ｙ）とする。また、光学伝達関数のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする。このとき、以下の式が成り立つ。ただし、＊はコンボリューション（畳み込み積分、積和）を示し、（ｘ，ｙ）は画像上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
また、上記式をフーリエ変換により２次元周波数面での表示形式に変換すると、以下の式のように、周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）をフーリエ変換したものであり、光学伝達関数（ＯＴＦ）である。Ｇ，Ｆはそれぞれ、ｇ，ｆをフーリエ変換したものである。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
劣化画像から元の画像を得るためには、以下のように、両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。
【００３０】
ここで、Ｈ−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）を、画像回復フィルタという。
【００３１】
画像が２次元画像であるとき、一般には画像回復フィルタも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、一般に、画像回復フィルタのタップ数（セルの数）が多いほど回復精度が向上するため、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数に設定して用いる。この画像回復におけるフィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）とは異なる。画像回復フィルタは光学伝達関数（ＯＴＦ）に基づいているため、振幅成分および位相成分の劣化をともに高精度に補正することができる。
【００３２】
また、実際の画像にはノイズ成分があるため、上記のように光学伝達関数（ＯＴＦ）の逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい、一般には良好な画像は得られない。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して光学系のＭＴＦ（振幅成分）を全周波数に渡って１に戻すようにＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合い（回復ゲイン）に応じてノイズが増幅されてしまう。
【００３３】
したがって、ノイズがある場合には良好な画像を得ることが難しい。これを式で示すと以下のようになる。Ｎはノイズ成分である。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）
この点については、例えば式１に示すウィナーフィルタ（Wiener filter）のように画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合いを制御する方法が知られている。Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜は光学伝達関数（ＯＴＦ）の絶対値（ＭＴＦ）である。
【００３４】
【数１】
【００３５】
この方法は、周波数ごとに、ＭＴＦが小さいほど回復ゲイン（回復度合い）を抑制し、ＭＴＦが大きいほど回復ゲインを強くするものである。一般に、撮像光学系のＭＴＦは低周波側が高く高周波側が低いため、実質的に画像の高周波側の回復ゲインを抑制する方法となっている。
【００３６】
画像回復フィルタを図２（Ａ）に模式的に示している。画像回復フィルタは、撮像光学系の収差特性や要求される回復精度に応じてタップ数を決めることができる。図２（Ａ）では、例として１１×１１タップの２次元フィルタである画像回復フィルタを示している。図２（Ａ）では、各タップ内の値（係数）を省略している。
【００３７】
この画像回復フィルタの１つの断面を図２（Ｂ）に示す。画像回復フィルタの各タップが持つ値（係数）の分布が、収差によって空間的に広がった信号値（ＰＳＦ）を理想的には元の１点に戻す役割を果たしている。
【００３８】
画像回復フィルタの各タップが劣化画像の各画素に対応しており、各タップの値が画像回復処理にて劣化画像に対してコンボリューション処理される。コンボリューション処理では、劣化画像中のある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、劣化画像と画像回復フィルタの対応画素ごとに画像の信号値とフィルタの係数との積をとり、その総和を中心画素の信号値として置き換える。
【００３９】
画像回復処理の実空間と周波数空間での特性を、図３を用いて説明する。図３（Ａ）の（ａ）は回復前のＰＳＦを、（ｂ）は回復後のＰＳＦをそれぞれ示している。また、図３（Ｂ）に示すＭＴＦのうち（ａ）は回復前のＭＴＦを、（ｂ）は回復後のＭＴＦを示している。さらに、図３（Ｂ）に示すＰＴＦのうち（ａ）は回復前のＰＴＦを、（ｂ）は回復後のＰＴＦをそれぞれ示している。
【００４０】
回復前のＰＳＦは非対称な広がりをもっており、この非対称性によりＰＴＦは周波数に対して非直線的な値を持っている。画像回復処理は、ＭＴＦを増幅し、ＰＴＦを零に向けて低減するため、画像回復後のＰＳＦは対称性を有し、かつ鮮鋭になる。
【００４１】
画像回復フィルタは、撮像光学系の光学伝達関数（ＯＴＦ）の逆関数に基づいて設計した関数を逆フーリエ変換して作成することができる。実施例で用いる画像回復フィルタは、適宜変更可能であり、例えばウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、式１を逆フーリエ変換することで実際に画像に畳み込む実空間の画像回復フィルタを作成することができる。
【００４２】
倍率色収差による色ずれについて説明する。図３（Ｃ）に示す（ｂ）は、（ａ）に示す結像位置を基準として平行移動した位置に同形状のＰＳＦとして結像した２つの色成分を表している。このときのＰＴＦを図３（Ｄ）に示す。図３（Ｄ）の（ａ），（ｂ）は図３（Ｃ）の（ａ），（ｂ）と対応している。図３（Ｄ）の（ｂ）に示すＰＴＦは、ある傾きを持った直線となっている。画像回復フィルタは、このような直線的なＰＴＦも図３（Ｂ）に示した非直線のＰＴＦ（ａ）も元となるＯＴＦに含まれているため、図３（Ｄ）の（ｂ）に示すように補正することができる。
【００４３】
また、予めＰＴＦから直線成分を除去したＯＴＦを元に画像回復フィルタを作成することで、倍率色収差の平行移動成分である色ずれを補正する作用を持たない画像回復フィルタを作成することもできる。言い換えれば、画像回復フィルタを、光学伝達関数の位相の周波数特性から、倍率色収差に対応した直線成分を除去した光学伝達関数に基づいて作成することができる。
【００４４】
一方、実空間で画像回復フィルタから色ずれの補正作用を除去する場合、まず図３（Ｃ）に示す（ｂ）を（ａ）の位置に平行移動したＰＳＦを生成する。言い換えれば、画像回復フィルタを、点像分布関数の色成分間の差異を相対的な平行移動によって低減した点像分布関数に基づいて作成する。その際、画素補間は適宜用いる。該ＰＳＦをフーリエ変換することで、倍率色収差の成分を除去したＯＴＦを生成することができる。実際には、（ａ）と（ｂ）のＰＳＦの形状は異なるため、位置合わせに関しては、例えば重心を一致させる方法や、（ａ）と（ｂ）の差分の二乗平均を最小化する方法がある。そして、このＯＴＦに基づいて画像回復フィルタを作成することで、色ずれを補正する作用を持たない画像回復フィルタを作成することができる。
【００４５】
このように、画像回復フィルタから倍率色収差による色ずれの補正作用を除去することで、色成分ごとの非対称収差の補正および鮮鋭化の処理（画像回復処理）と、倍率色収差による色ずれを補正する処理（色ずれ低減処理）とを分離することができる。このような処理の分離により、製造誤差等によって画像の鮮鋭度や色ずれ量が設計値通りでない場合でも、画像の鮮鋭度や色ずれ量を画像から検出し、その検出結果に基づいて適切な補正量を設定することができる。
【００４６】
また、光学伝達関数（ＯＴＦ）は、１つの撮影状態においても撮像光学系の像高（画像の位置）に応じて変化するので、画像回復フィルタは像高に応じて変更することが望ましい。
「色ずれ（倍率色収差）の検出と補正」
画像から倍率色収差による色ずれを検出して補正（低減）する色ずれ補正処理（色ずれ低減処理）のシーケンスについて、図４のフローチャートを用いて説明する。
【００４７】
まず、シーケンスは、画像取得ステップＳ０１にて、色ずれ補正処理の対象となる画像を取得する。後述する実施例では、色ずれ補正処理の処理画像は、本来の入力画像としての撮影画像に対して画像回復フィルタを用いた画像回復処理が行われることにより生成された回復画像であるが、ここでは便宜上、入力画像と称する。
【００４８】
次に、シーケンスは、エッジ検出ステップＳ０２にて、入力画像から倍率色収差による色ずれが顕著に現れるエッジ部を検出する。ここでは、複数のエッジ部を検出する。エッジ部の検出には、Ｙ（輝度）プレーンを使用する。検出する複数のエッジ部は、光学中心からの動径方向に大きく画素値の変化するエッジ部に限定する。これにより、精度の高い色ずれ量の取得が可能になる。
【００４９】
また、Ｙプレーンにおいて、倍率色収差による色ずれはにじみとなって現れるので、画素値の単調増加もしくは単調減少が複数画素、続くようなある程度幅のあるエッジ部を対象とするのがよい。
【００５０】
次に、シーケンスは、色ずれ量検出ステップＳ０３では、エッジ検出ステップＳ０２で検出した各エッジ部での色ずれ量を検出する。色ずれの方向は、光学中心と各エッジ部との位置関係によって、上下方向、左右方向、右斜め上−左斜め下方向および左斜め上−右斜め下方向のうちいずれかを選択することで、処理の簡略化を図るとよい。
【００５１】
各エッジ部における色ずれ量の検出には、色成分間の相関を用いる。例えば、色成分間の差分の絶対値の和を判定して色ずれ量を検出することができる。Ｇプレーンに対してＲプレーン（もしくはＢプレーン）を色ずれ方向に移動させながら、各エッジ部付近の画素において、色成分間の差分の絶対値の和が最小となる位置を探索する。ここで検出された差分絶対値和が最小となった位置から、Ｇプレーンに対するＲプレーン（もしくはＢプレーン）の色ずれ量を検出することができる。
【００５２】
色ずれ量取得ステップＳ０３での出力となる色ずれ量は、Ｇプレーンに対してＲプレーン（もしくはＢプレーン）が光学中心方向へずれている場合には負の値とする。また、Ｇプレーンに対してＲプレーン（もしくはＢプレーン）が光学中心とは逆方向へずれている場合には正の値とする。
【００５３】
次に、シーケンスは、補正データ作成ステップＳ０４では、エッジ検出ステップＳ０２で検出した複数のエッジ部の像高と、色ずれ量検出ステップＳ０３で検出した各エッジ部の色ずれ量とから、像高と色ずれ量との関係を求める。そして、該関係から色ずれ補正データを作成する。ここにいう像高とは、光学中心に相当する画素（以下の説明では、この画素を光学中心ともいう）からの距離である。
【００５４】
以下、色ずれ補正データの作成手順について具体的に説明する。
【００５５】
（１）シーケンスは、エッジ検出ステップＳ０２で検出したエッジ部の像高をＬとし、色ずれ量検出ステップＳ０３で検出した色ずれ量をＤとする場合、以下の式により像高に対する色ずれ率Ｍを求める。
Ｍ＝Ｌ／Ｄ
（２）シーケンスは、図５（Ａ）に示すように、入力画像を像高が異なる８つの領域ｈ１〜ｈ８に分割し、各エッジ部が属する領域を判定する。
【００５６】
（３）シーケンスは、入力画像内で検出された複数のエッジ部について上記（１）と（２）を行い、８つの領域のそれぞれで色ずれ率Ｍを集計する。そして、８つの領域のそれぞれで色ずれ率Ｍの平均値を求め、各領域の色ずれ率を決定する。ここでは、同心円状に領域を分割した場合について説明するが、さらに光学中心からの放射方向に領域を分割して色ずれ率を求める領域を細分化することで、例えば左右で色ずれ量が非対称な場合でも、それに対応した色ずれ補正データの作成が可能となる。
【００５７】
（４）図５（Ｂ）に示すように、像高と求めた色ずれ率とから、像高と色ずれ率との関係を近似する曲線を表す高次の多項近似式Ｆを算出し、これを色ずれ補正データとする。図５（Ｂ）に示す近似曲線は、三次の多項式により表される。
【００５８】
なお、エッジ部の検出と色ずれ量の検出は、入力画像内の全エッジ部に対して行ってもよいが、像高に応じて分割した８つの領域のそれぞれで所定数の色ずれ率が集計された段階で該検出を終了するとよい。これにより、信頼度を保ちながら処理の効率化を図ることができる。
【００５９】
また、像高に応じて分割した８つの領域のうち、該当するエッジ部が見つかった領域のみを高次の多項近似式の算出に使用することで、該当するエッジ部が見つからない領域があった場合でも色ずれ補正データの作成が可能となる。
【００６０】
次に、図４の補正ステップＳ０５では、シーケンスは、補正データ作成ステップＳ０４にて作成した色ずれ補正データを用いて色ずれを補正する処理を行う。具体的には、まず補正したいプレーン（ＲプレーンやＢプレーン）の画素（Ｘ，Ｙ）において、該画素（Ｘ，Ｙ）の像高Ｌから、以下の多項近似式Ｆを用いて色ずれ率Ｍを求める。なお、光学中心の座標を（０，０）とする。
Ｍ＝Ｆ(Ｌ)
次に、シーケンスは、色ずれ補正によって生成する画素の座標（Ｘ１，Ｙ１）を以下の式により求める。
Ｘ1＝Ｍ×Ｘ
Ｙ1＝Ｍ×Ｙ
そして、シーケンスは、補正したいプレーンにおいて、上記座標（Ｘ１，Ｙ１）に相当する画素値を、一般的な補間処理により生成し、画素（Ｘ，Ｙ）の画素値とする。これらの処理を入力画像の全画素について行うことで、色ずれ補正を行う。
【実施例１】
【００６１】
図６には、本発明の実施例１である画像処理方法に従う処理を実行する撮像装置の構成を示している。不図示の被写体からの光は、撮像光学系１０１を通り、被写体像を形成して撮像素子１０２に到達する。撮像素子１０２で被写体像が電気信号（アナログ信号）に変換され、該アナログ信号は、Ａ／Ｄコンバータ１０３によってデジタル撮像信号に変換されて画像処理装置としての画像処理部１０４に入力される。
【００６２】
画像処理部１０４は、該デジタル撮像信号に対して、入力画像としての撮影画像を生成するための各種処理を行う（すなわち、撮影画像を取得する）とともに、該撮影画像に対して前述した画像回復処理を行う。
【００６３】
まず、画像処理部１０４は、状態検知部１０７から、撮影画像の取得時（撮像時）における撮像装置の設定状況等の撮像条件を示す情報（以下、撮像条件情報という）を取得する。撮像条件情報には、撮像光学系１０１の焦点距離や絞り値、さらに被写体までの距離である撮影距離等が含まれる。状態検知部１０７は、システムコントローラ１１０から撮像条件情報を得てもよいし、撮像光学系１０１に関する撮像条件情報を撮像光学系制御部１０６から得てもよい。また、画像処理部１０４は、半導体メモリ等の画像記録媒体１０９に保存された撮影画像に対して処理を行う場合には、該撮影画像に付帯した撮像条件情報を読みとってもよい。
【００６４】
次に、画像処理部１０４は、予め様々な撮像条件に対応するように作成されて記憶部１０８に記憶された画像回復フィルタの中から、状態検知部１０７から得られた又は撮影画像に付帯した撮像条件情報に対応する画像回復フィルタを選択する。そして、画像処理部１０４は、撮影画像に対して選択した画像回復フィルタを用いた画像回復処理を行い、さらに該画像回復処理により生成された回復画像に対して色ずれ補正処理（回復画像色ずれ低減処理）を行う。これらの処理の詳細については後述する。
【００６５】
そして、画像処理部１０４は、画像回復処理および色ずれ補正処理を行った回復画像である出力画像を、画像記録媒体１０９に保存する。また、表示部１０５は、該出力画像を表示する。
【００６６】
画像処理部１０４は、画像取得手段、画像回復手段、色ずれ検出手段および回復画像色ずれ低減手段として機能するコンピュータにより構成されている。
【００６７】
以上説明したデジタル画像の生成から画像処理部１０４での画像回復処理および色ずれ補正処理は、システムコントローラ１１０によって制御される。また、撮像光学系１０１におけるズーム駆動やフォーカス駆動の制御は、システムコントローラ１１０からの指示を受けた撮像光学系制御部１０６が行う。
【００６８】
撮像光学系１０１において、絞り１０１ａは、その開口径（Ｆナンバー）を増減させて撮像素子１０２に到達する光量を調節する。また、フォーカスレンズ１０１ｂは、撮像光学系制御部１０６のオートフォーカス（ＡＦ）機能または不図示のマニュアルフォーカス機構によってその光軸方向位置が調節されて、被写体に対するピント合わせを行う。さらに、不図示のズームレンズは、撮像光学系制御部１０６のズーム機能または不図示のマニュアルズーム機構によってその光軸方向位置が調節されて、撮像光学系１０１の焦点距離を変化させる。
【００６９】
撮像光学系１０１には、ローパスフィルタや赤外線カットフィルタ等の光学素フィルタを設けてもよい。ただし、撮像光学系１０１の光学伝達関数（ＯＴＦ）に影響を与える光学フィルタを設ける場合には、画像回復フィルタの作成において該光学フィルタを考慮する必要が生じる場合がある。赤外カットフィルタについては、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢの各チャンネルのＰＳＦ（特にＲチャンネルのＰＳＦ）に影響するため、画像回復フィルタの作成における考慮が必要になる。
【００７０】
また、撮像光学系１０１は、撮像装置の一部として構成されていてもよいし、一眼レフカメラ等のように撮像装置に対して交換されるものであってもよい。
【００７１】
次に、上記撮像装置（画像処理部１０４）が実行する画像回復処理および色ずれ補正処理を含む画像処理について、図１のフローチャートを用いて説明する。この処理は、コンピュータとしての画像処理部１０４が、コンピュータプログラムである画像処理プログラムに従って実行する。
【００７２】
画像処理部１０４は、ステップＳ１１において、自ら生成した又は画像記録媒体１０９から読み込んだ撮影画像を入力画像として取得する。このとき、画像処理部１０４は、撮影画像に対応する撮像条件情報も取得する。
【００７３】
次に、画像処理部１０４は、ステップＳ１２において、記憶部１０８から、撮像条件情報により得られた撮像条件に対応した画像回復フィルタを選択する。なお、記憶部１０８に撮像条件に正確に対応した画像回復フィルタが記憶されていない場合には、その撮像条件に近い画像回復フィルタを選択し、これを撮像条件に応じて補正することで、該撮像条件に対応した画像回復フィルタを作成することもできる。
【００７４】
例えば、様々な撮像条件に対して離散的に記憶された複数の画像回復フィルタのうち、撮像条件情報により得られた撮像条件に近い撮像条件に対応した２つの画像回復フィルタを用いた補間処理を行って、補正された画像回復フィルタを作成する。補間処理としては、バイリニア補間（線形補間）やバイキュービック補間等を用いることができる。
【００７５】
また、記憶部１０８に、ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦおよび画像回復フィルタの周波数特性等の画像回復フィルタを作成するのに必要なデータを記憶しておき、これらのデータを用いて撮像条件に対応する画像回復フィルタを作成するようにしてもよい。
【００７６】
ここで、本実施例で用いる画像回復フィルタは、倍率色収差における色成分間の平行移動成分である色ずれの補正作用（低減作用）が除去されたフィルタである。言い換えれば、本実施例の画像回復フィルタは、収差の非対称性を補正し、かつ画像を鮮鋭化するが、色ずれを補正しないフィルタである。
【００７７】
次に、画像処理部１０４は、ステップＳ１３において、ステップＳ１２にて選択又は作成した画像回復フィルタを用いて撮影画像に対する画像回復処理を行い、回復画像を得る。前述した画像回復フィルタの特徴により、この回復画像では、収差の非対称性は補正され、かつ画像として鮮鋭化されているが、倍率色収差による色ずれは残留している。
【００７８】
図７（Ａ）には、撮影画像中のメリジオナル断面（画像中心から放射方向の断面）におけるエッジ部を模式的に示している。実線および破線は、撮影画像の２つの色成分を示している。ステップＳ１３での画像回復処理により、同図（Ｂ）に示すように非対称収差が補正され、画像して鮮鋭化されたが、色ずれは残留した回復画像が得られる。
【００７９】
次に、画像処理部１０４は、ステップＳ１４において、回復画像から色ずれ量を検出する。すなわち、図７（Ｂ）に示す回復画像における２つの色成分間のずれ量を検出する。
【００８０】
次に、画像処理部１０４は、ステップＳ１５において、回復画像に対して、ステップＳ１４にて検出した色ずれ量を補正するための色ずれ補正処理を行い、色ずれ補正回復画像を生成する。すなわち、図７（Ｂ）に示した回復画像に対して色ずれ補正処理を行うことで、同図（Ｃ）に示す色ずれ補正回復画像が生成される。この色ずれ補正回復画像は、ステップＳ１３での画像回復処理によって色成分ごとの非対称収差が補正され、かつ鮮鋭化された後、さらにステップＳ１５で残留していた色ずれが補正された画像である。
【００８１】
一方、本実施例とは異なり、図７（Ａ）の撮影画像に対してまず色ずれ量の検出を行い、色ずれ補正処理を行った場合には、同図（Ｄ）に示す画像が得られる。この画像は、収差成分の非対称性が残留して左右のエッジ部の収差状態が異なったまま、色ずれができるだけ目立たないように補正された画像である。そして、この収差成分の非対称性が残留した画像に対して画像回復処理を行って図７（Ｅ）に示す画像を得ると、そのエッジ部は色成分ごとには非対称収差が補正され、かつ鮮鋭化されているものの、色成分間の色ずれは残留している。
【００８２】
これは、同図（Ａ）に示した画像のように非対称性が残留したエッジ部に対して色ずれ量の検出を行っているために、最終的に画像回復処理が行われるエッジ部の状態に対して適正ではない色ずれ補正量が設定されてしまうためである。エッジ部が鮮鋭化された状態での色ずれは、（Ａ）の画像のようにぼけが残留している状態よりも目立ちやすい。このため、図７（Ａ）→（Ｄ）→（Ｅ）の順序の処理は、より高画質な画像を生成するには不適当である。
【００８３】
また、画像回復処理の回復ゲイン（回復度合い）は、画像回復フィルタの設計によって変更することが可能であるため、図７（Ｅ）に残留した色ずれは回復度合いでも変化してしまう。さらに、製造ばらつきや光源の分光の変動がある場合には、画像回復処理後にエッジ部の状態を予測することはさらに複雑で困難になる。以上のことから、本実施例のように、図７（Ａ）→（Ｂ）→（Ｃ）の順序で処理を行う方が、より高画質な画像を生成することができる。
【００８４】
次に、本実施例の変形例を、図８のフローチャートを用いて説明する。画像処理部１０４は、ステップＳ２１において、自ら生成した又は画像記録媒体１０９から読み込んだ撮影画像を入力画像として取得する。このとき、画像処理部１０４は、撮影画像に対応する撮像条件情報も取得する。
【００８５】
次に、画像処理部１０４は、ステップＳ２２において、記憶部１０８から、撮像条件情報により得られた撮像条件に対応した画像回復フィルタを選択する。記憶部１０８に撮像条件に正確に対応した画像回復フィルタが記憶されていない場合の処理については、図１におけるステップＳ１２と同じである。
【００８６】
本変形例における画像回復フィルタは、倍率色収差における色成分間の平行移動成分である色ずれの少なくとも一部を補正する作用を有するフィルタである。言い換えれば、本変形例の画像回復フィルタは、収差の非対称性を補正し、かつ画像を鮮鋭化し、さらに色ずれの少なくとも一部を補正するフィルタである。色ずれの補正作用は、倍率色収差の平行移動成分もＰＴＦの一部として扱うことにより得られる。
【００８７】
次に、画像処理部１０４は、ステップＳ２３において、ステップＳ２２にて選択（又は作成）した画像回復フィルタを用いて撮影画像に対する画像回復処理を行い、回復画像を得る。前述した画像回復フィルタの特徴により、この回復画像では、収差の非対称性が補正され、かつ画像として鮮鋭化され、さらに倍率色収差による色ずれの少なくとも一部が補正されている。
【００８８】
図９（Ａ）は、撮影画像中のメリジオナル断面（画像中心から放射方向の断面）のエッジ部を模式的に示している。実線および破線は、撮影画像の２つの色成分を示している。ステップＳ１３での画像回復処理により、同図（Ｂ）に示すように非対称収差が補正され、かつ画像として鮮鋭化され、さらに色ずれもほぼ補正された回復画像（色ずれ補正回復画像）が得られる。ただし、製造ばらつきや光源分光の変動があった場合には、同図（ｃ）のように色ずれが残留する可能性がある。
【００８９】
そこで、画像処理部１０４は、ステップＳ２４において、回復画像から色ずれ量を検出する。すなわち、図９（Ｂ）または（Ｃ）に示す回復画像における２つの色成分間のずれ量を検出する。
【００９０】
次に、画像処理部１０４は、ステップＳ２５において、回復画像に対して、ステップＳ２４にて検出した色ずれ量を補正するための色ずれ補正処理を行い、色ずれ補正回復画像を生成する。図９（Ｂ）に示した回復画像では色ずれ量がほぼ０と検出されるため、実質的な色ずれ補正は行われないが、同図（Ｃ）に示す回復画像では色ずれ量が検出されて実質的な色ずれ補正が行われ、同図（Ｄ）に示す色ずれ補正回復画像が生成される。これらの色ずれ補正回復画像はいずれも、色成分ごとの非対称収差が補正され、かつ鮮鋭化され、さらに色ずれも補正された画像である。
【００９１】
このように、画像回復フィルタに色ずれ補正作用を含めたとしても、これを用いた画像回復処理だけでは、製造ばらつきや光源分光の変動といった画質劣化要因によって色ずれが残留する可能性がある。したがって、確実に色ずれも補正した出力画像を得るためには、画像回復処理の後に色ずれ量の検出とその補正処理を行うことが必要である。
次に、本実施例のさらに別の変形例を、図１０のフローチャートを用いて説明する。画像処理部１０４は、ステップＳ３１において、自ら生成した又は画像記録媒体１０９から読み込んだ撮影画像を入力画像として取得する。このとき、画像処理部１０４は、撮影画像に対応する撮像条件情報も取得する。
【００９２】
次に、画像処理部１０４は、ステップＳ３２において、撮影画像に対して第１段階の色ずれ補正処理である前色ずれ補正処理（入力画像色ずれ低減処理）を行って、撮影画像に含まれる色ずれ（第１の色ずれ）を補正する。この前色ずれ補正処理で用いられる色ずれ補正量は、撮像光学系１０１の設計上の倍率色収差に応じて予め作成されて記憶部１０８に記憶された色ずれ補正量のデータのうち撮像条件に対応した色ずれ補正量を選択して用いる。また、後述するステップＳ３５と同様に、撮影画像から色ずれ量を検出し、該検出結果に応じて色ずれ補正量を設定してもよい。
【００９３】
次に、画像処理部１０４は、ステップＳ３２において、撮像条件に対応した画像回復フィルタを選択する。記憶部１０８に撮像条件に正確に対応した画像回復フィルタが記憶されていない場合の処理については、図１におけるステップＳ１２と同じである。
【００９４】
本変形例で用いる画像回復フィルタは、ステップＳ３２において撮影画像の色ずれが概ね補正されているため、色ずれの補正作用（低減作用）が除去されたフィルタである。言い換えれば、本変形例の画像回復フィルタは、収差の非対称性を補正し、かつ画像を鮮鋭化するが、色ずれを補正しないフィルタである。
【００９５】
次に、画像処理部１０４は、ステップＳ３４において、ステップＳ３３にて選択（又は作成）した画像回復フィルタを用いて、前色ずれ補正処理がなされた撮影画像に対する画像回復処理を行い、回復画像を得る。この回復画像では、ステップＳ３２において色ずれが概ね補正され、さらに前述した画像回復フィルタの特徴により、収差の非対称性が補正され、かつ画像として鮮鋭化されている。
【００９６】
次に、画像処理部１０４は、ステップＳ３５において、回復画像における色ずれ量（第２の色ずれ）を検出する。すなわち、前色ずれ補正処理を行っても、製造ばらつきや光源分光の変動によって残留した色ずれ量を検出する。
【００９７】
そして、画像処理部１０４は、ステップＳ３６において、回復画像に対して、ステップＳ３５にて検出した色ずれ量を補正するための第２段階の色ずれ補正処理である後色ずれ補正処理（回復画像色ずれ低減処理）を行い、最終的な色ずれ補正回復画像を生成する。画像処理部１０４は、ステップＳ３７において、該色ずれ補正回復画像を出力する。
【００９８】
上記いずれの変形例においても、画像回復処理後のステップにおいて回復画像から色ずれ量を検出してこれを補正することで、色ずれが確実に補正された回復画像が得られる。
【実施例２】
【００９９】
図１１のフローチャートには、本発明の実施例２である画像処理方法に従う画像回復処理および色ずれ補正処理を含む画像処理を示している。この処理を実行する撮像装置の基本構成は実施例１にて説明した撮像装置と共通であり、本実施例の撮像装置において実施例１の撮像装置と共通する構成要素には、実施例１と同符号を付す。この処理は、コンピュータとしての画像処理部１０４が、コンピュータプログラムである画像処理プログラムに従って実行する。
【０１００】
画像処理部１０４は、ステップＳ４１において、自ら生成した又は画像記録媒体１０９から読み込んだ撮影画像を入力画像として取得する。このとき、画像処理部１０４は、撮影画像に対応する撮像条件情報も取得する。
【０１０１】
次に、画像処理部１０４は、ステップＳ４２において、撮影画像から倍率色収差に対応した色ずれ量を検出する。
【０１０２】
次に、画像処理部１０４は、ステップＳ４３において、記憶部１０８から、撮像条件情報により得られた撮像条件に対応した画像回復フィルタを選択する。記憶部１０８に撮像条件に正確に対応した画像回復フィルタが記憶されていない場合の処理については、図１におけるステップＳ１２と同じである。
【０１０３】
本実施例で用いる画像回復フィルタは、色ずれの補正作用（低減作用）が除去されたフィルタである。言い換えれば、本変形例の画像回復フィルタは、収差の非対称性を補正し、かつ画像を鮮鋭化するが、色ずれを補正しないフィルタである。
【０１０４】
次に、画像処理部１０４は、ステップＳ４４において、ステップＳ４１にて検出した色ずれ量に基づいて画像回復フィルタを補正する。この画像回復フィルタの補正の詳細については後述する。
【０１０５】
次に、画像処理部１０４は、ステップＳ４５において、ステップＳ４４にて補正された画像回復フィルタを用いて撮影画像に対する画像回復処理を行い、回復画像を得る。
【０１０６】
次に、画像処理部１０４は、ステップＳ４６において、回復画像から色ずれ量を検出する。
【０１０７】
そして、画像処理部１０４は、ステップＳ４７において、ステップＳ４６にて検出された色ずれ量に基づいて回復画像に対して色ずれ補正処理を行い、ステップＳ４８において色ずれ補正回復画像を出力する。
【０１０８】
ここで、ステップＳ４４で行われる画像回復フィルタの補正について具体的に説明する。この補正は、撮影画像から得られる色ずれの情報を利用して、撮像光学系１０１の製造ばらつきによる個体差を低減した画像回復処理を行うことを目的としている。
【０１０９】
実際に撮像装置を製造すると、撮像光学系１０１を構成するレンズの形状、保持機構、駆動機構等の製造誤差によって個体ばらつきが少なからず発生する。この個体ばらつきは、撮像光学系１０１の光学伝達関数（ＯＴＦ）に影響を与える。したがって、このような個体ばらつきに対応してより高精度な画像回復処理を行うには、個体ごとの収差の状態を推定して適正に補正された画像回復フィルタを用いることが望ましい。
【０１１０】
製造誤差として片ぼけを例に説明する。片ぼけとは、撮像装置（撮像光学系１０１）の製造誤差によってその構成要素である複数のレンズが互いに偏心することにより、撮像素子１０２上の被写体像の回転対称性が崩れ、撮像素子１０２上の位置によって結像性能が異なることを意味する。
【０１１１】
片ぼけの例を図１２に示す。製造誤差が無い場合の結像性能（ＭＴＦ）を基準としたとき、画像の左側はＭＴＦが低く鮮鋭度が低くなっており、右側はＭＴＦが高く鮮鋭度が高くなっている。
【０１１２】
次に、検出された色ずれ量から片ぼけ量を推定する方法について説明する。まず、上記の色ずれ量の検出方法を用いて画像全域に存在するエッジ部の色ずれ量を検出する。ここで、図１３には、製造ばらつきのある１００個の撮像光学系を調べた結果、該撮像光学系の倍率色収差量と片ぼけ量とに相関があることを示す。
【０１１３】
倍率色収差量から片ぼけ量を推定することができれば、色ずれの検出量から片ぼけ量を推定することができ、さらに推定された片ぼけ量からＯＴＦの変動を推定して、その推定結果に基づいて画像回復フィルタを補正することができる。
【０１１４】
図１３の縦軸は、画像中心に関して対称な像高での倍率色収差量の非対称性を定量的に評価したものである。具体的には、図１４（Ｂ）に示すように、画像中心に関して対称な右上と左下の２つの像高についてＢチャンネルとＧチャンネルとの間のＰＳＦの重心位置の差を色ずれ量として算出し、さらにこれら２つの像高間の色ずれ量の差を算出したものである。
【０１１５】
一方、図１３の横軸は、画像中心に関して対称な像高でのベストピント位置のずれ量の非対称性を定量的に評価したものである。具体的には、図１４（Ａ）に示すように、画像中心でピントを合わせたときの画像中心に関して対称な右上と左下の２つの像高について、それぞれのベストピント位置に対するずれ量を算出し、さらにこれら２つの像高間のピントずれ量の差を算出したものである。図中の曲線のグラフは、横軸が光軸方向（すなわち画像の奥行き方向）を表しており、縦軸はある評価周波数でのＭＴＦの値を表している。このため、横軸の原点位置にてＭＴＦが最大となっている状態が、ベストピント状態ということができる。
【０１１６】
図１３から倍率色収差の片ぼけ特性と像面（ピント位置）の片ぼけ特性との間に相関があることが分かる。したがって、図１３中に示した近似曲線を予め記憶部１０８に保持しておけば、撮影画像から色ずれ量を検出することで、像高ごとにピントがどれだけずれているかという片ぼけ量を推定することができる。相関特性のデータとしては、近似曲線に限らず、ルックアップテーブルでもよい。
【０１１７】
このように、本実施例では、色ずれ量と片ぼけ量に相関があることを見出し、検出された色ずれ量を用いて画像回復処理のパラメータに適用している。
【０１１８】
なお、ここでは、倍率色収差から像面特性を求める方法について記したが、像面特性以外の収差の非対称性を推定してもよい。例えば、歪曲収差をはじめとするザイデルの５収差を推定してもよいし、周辺光量の非対称性を推定してもよい。
【０１１９】
次に、このようにして推定された画像内での結像性能の設計値からのずれに基づいて画像回復フィルタを補正する方法を、図１５（Ａ），（Ｂ）を用いて説明する。図１５（Ａ）は補正前の画像回復フィルタを示し、図１５（Ｂ）は画像回復フィルタの補正に用いる補正フィルタを示している。各フィルタにおける係数値は省略している。
【０１２０】
補正フィルタは、ハイパスフィルタやローパスフィルタを用いることができる。画像回復フィルタは、光学伝達関数（ＯＴＦ）に基づいて生成されるため、１１×１１タップや５１×５１タップといった大きなタップ数を要する。これに対して、補正フィルタは、画像回復フィルタのゲインを増減する機能を有するに過ぎないので、３×３タップ等といった少ないタップ数（つまりはデータ量）で構成することができる。
【０１２１】
画像回復フィルタに対して補正フィルタをコンボリューション処理することにより、画像回復フィルタの特性を補正することができる。補正前後の画像回復フィルタの係数の変化を図１５（Ｃ），（Ｄ）に示す。図１５（Ｃ）は補正前の画像回復フィルタの１つの断面における係数値を示している。また、図１５（Ｄ）は補正後の画像回復フィルタの同じ断面における係数値を示している。
【０１２２】
図１５（Ｅ）には、補正フィルタによるＭＴＦの変化を示す。図１５（Ｅ）において、（ａ）は画像回復処理前のＭＴＦを、（ｂ）は画像回復フィルタを補正せずに画像回復処理を行った後のＭＴＦを示している。また、（ｃ）は画像回復フィルタをハイパスフィルタで補正した場合の画像回復処理後のＭＴＦを、（ｄ）は画像回復フィルタをローパスフィルタで補正した場合の画像回復処理後のＭＴＦを示している。
【０１２３】
このように、製造誤差による撮像光学系の個体ばらつきを反映した色ずれ量を検出し、その検出結果を用いて画像回復フィルタを補正することで、画像回復処理後のＭＴＦ性能を制御することができる。
【０１２４】
図１６（Ａ），（Ｂ）には、以上の画像回復フィルタの補正を、画像のそれぞれの位置に適用する画像回復フィルタに対して行った例を示している。を図１６（Ａ），（Ｂ）は、画像の位置に応じて離散的に用意された画像回復フィルタを示している。同じ番号を付された画像回復フィルタは、互いに同じ（ただし、向きは異なる）画像回復フィルタである。図１６（Ａ）では、撮像光学系が回転対称性を有するため、互いに同じ画像回復フィルタが同心円状に並んでいる。
【０１２５】
一方、図１６（Ｂ）では、図１６（Ａ）に示した画像回復フィルタを撮像光学系の個体ばらつきに応じて補正した後の画像回復フィルタを示している。図１６（Ｂ）には、画像中の位置ごとの製造誤差に応じて互いに異なるように補正された画像回復フィルタが示されている。
【０１２６】
ステップＳ４４での画像回復フィルタの補正の方法はこれに限らず、周波数空間で回復ゲインの増幅および抑制を行うこともできる。また、像高ごとに適正な回復ゲイン（回復度合い）の画像回復フィルタを改めて生成することもできる。
【０１２７】
次に、本実施例の変形例を、図１７のフローチャートを用いて説明する。画像処理部１０４は、ステップＳ５１において、自ら生成した又は画像記録媒体１０９から読み込んだ撮影画像を入力画像として取得する。このとき、画像処理部１０４は、撮影画像に対応する撮像条件情報も取得する。
【０１２８】
次に、画像処理部１０４は、ステップＳ５２において、撮影画像から色ずれ量を検出する。
【０１２９】
そして、画像処理部１０４は、ステップＳ５３において、記憶部１０８から、撮像条件情報により得られた撮像条件に対応した画像回復フィルタを選択する。記憶部１０８に撮像条件に正確に対応した画像回復フィルタが記憶されていない場合の処理については、図１におけるステップＳ１２と同じである。ここでの画像回復フィルタは、色ずれの補正作用も含んだフィルタである。
【０１３０】
次に、画像処理部１０４は、ステップＳ５４において、ステップＳ５１にて検出した色ずれ量に基づいて、ステップＳ５３にて選択又は生成した画像回復フィルタを補正する。補正方法は上述した通りである。
【０１３１】
次に、画像処理部１０４は、ステップＳ５５において、補正された画像回復フィルタを用いて、撮影画像に対して画像回復処理を行い、回復画像を得る。
【０１３２】
次に、画像処理部１０４は、ステップＳ５６において、回復画像から色ずれ量を検出する。
【０１３３】
そして、画像処理部１０４は、ステップＳ５７において、ステップＳ５６で検出した色ずれ量に基づいて回復画像に対して色ずれ補正処理を行い、ステップＳ５８にて色ずれ補正回復画像を出力する。
【実施例３】
【０１３４】
図１８には、上記各実施例にて説明した画像処理を、撮像装置以外の画像処理装置で行う場合のシステム構成例を示している。
【０１３５】
画像処理装置２０１は、上記各実施例にてフローチャートを用いて説明した画像処理プログラムを含む画像処理ソフトウェア２０６を搭載したコンピュータ機器である。画像処理ソフトウェア２０６は、必要に応じて画像データの現像機能やその他の画像処理機能を含む。
【０１３６】
撮像装置２０２は、カメラ、顕微鏡、内視鏡、スキャナ等、被写体像を撮像素子により光電変換して画像を生成する撮像系を備えた装置である。
【０１３７】
記憶媒体２０３は、半導体メモリ、ハードディスク、ネットワーク上のサーバー等、撮影画像を記憶する機能を有する。
【０１３８】
画像処理装置２０１は、撮像装置２０２または記憶媒体２０３から撮影画像のデータを有線又は無線の通信回線を通じて取得し、上記各実施例にて説明した画像処理を行って色ずれ補正回復画像のデータを生成する。そして、該色ずれ補正回復画像を、通信回線を投じて出力機器２０５、撮像装置２０２および記憶媒体２０３のうち少なくとも１つに出力する。
【０１３９】
また、画像処理装置２０１は、これに内蔵された記憶部に色ずれ補正回復画像のデータを保存しておくこともできる。
【０１４０】
出力機器２０５の例としては、プリンタが挙げられる。また、画像処理装置２０１には、モニタとしての表示機器２０４が接続されており、ユーザはこの表示機器２０４を通して画像処理に関する作業を行ったり、生成された色ずれ補正回復画像を評価したりすることができる。
【０１４１】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【０１４２】
倍率色収差成分が低減された回復画像を生成可能な画像処理装置を提供できる。
【符号の説明】
【０１４３】
１０１ 撮像光学系
１０４ 画像処理部
【技術分野】
【０００１】
本発明は、撮影により生成された画像の収差成分を低減する画像処理技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置により被写体を撮像して得られた画像には、撮像光学系（以下、単に光学系という）の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束のうち撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。
【０００３】
ここにいうぼけ成分は、光学的には、点像分布関数（ＰＳＦ：Point Spread Function）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。さらに、横方向の色ずれも光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれまたは位相ずれということができる。
【０００４】
ＰＳＦをフーリエ変換して得られる光学伝達関数（ＯＴＦ：Optical Transfer Function）は、収差の周波数成分の情報であり、複素数で表される。ＯＴＦの絶対値、すなわち振幅成分をＭＴＦ（Modulation Transfer Function）といい、位相成分をＰＴＦ（Phase Transfer Function）という。ＭＴＦおよびＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として、以下の式で表す。
【０００５】
ＰＴＦ＝ｔａｎ−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
ただし、Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれ、ＯＴＦの実部および虚部を示す。
【０００６】
このように、撮像光学系のＯＴＦは、画像の振幅成分と位相成分に劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。
【０００７】
また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じてＲＧＢ等の色成分として取得することで発生する。したがって、ＲＧＢ間で結像位置がずれることはもとより、各色成分内にも波長ごとの結像位置のずれ、つまりは位相ずれによる像の広がりが発生する。このため、正確には倍率色収差は単なる平行シフトの色ずれを生じさせるものではないが、本明細書では特に断りがない限り、倍率色収差によって色ずれが発生するものとして記載する。
【０００８】
振幅（ＭＴＦ）の劣化と位相（ＰＴＦ）の劣化を補正（低減）する方法として、撮像光学系のＯＴＦの情報を用いるものが知られている。この補正方法は、画像回復や画像復元と称され、以下の説明でも、光学系のＯＴＦの情報を用いて画像の劣化を補正（低減）する処理を、画像回復処理または単に画像回復と称する。画像回復処理の１つとして、ＯＴＦの逆特性を有する画像回復フィルタを入力画像に対して畳み込む（コンボリューションする）方法が知られている。
【０００９】
また、倍率色収差により発生した画像の色ずれのみを補正する方法として、画素信号値の座標に関する幾何変換処理と画素補間処理を用いる方法がある。例えば、特許文献１には、光学系の焦点距離に応じてＲＧＢごとに倍率色収差による色ずれ補正を行う方法が開示されている。
【００１０】
ただし、特許文献１にて開示された補正方法では、撮像光学系の製造ばらつきや撮影時の光源の分光特性の変動によって倍率色収差が変化した場合に、色ずれの補正不足や補正過剰によって、色ずれが残留してしまう。
【００１１】
この点、特許文献２にて開示された補正方法では、ＲＡＷデータに含まれる２種類の色成分について相関を算出して色ずれ幅を検出し、該色ずれ幅に基づいて撮像光学系の倍率色収差を求める。すなわち、実際の色ずれ量を検出して、該検出した色ずれ量を用いて色ずれ補正を行うことで、倍率色収差の変化に対応して色ずれを良好に補正することができる。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開平０６−１１３３０９号公報
【特許文献２】特開２００６−０２０２７５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、特許文献２にて開示された補正方法を用いても、色ずれ補正を十分に行えない場合がある。前述したように、倍率色収差は色成分間で結像位置がずれることはもとより、各色成分内にも波長ごとの結像位置のずれ、つまりは位相ずれによる像の広がりが発生する。例えば、ＲＧＢのうち１つの色成分であるＧチャンネルの画像は、Ｇのカラーフィルタの分光透過率特性の感度を持った波長帯域内での倍率色収差に対応する位相ずれが含まれている。このように、各色成分内に残留した波長ごとの倍率色収差の影響による像の広がりは、特許文献２の補正方法によって色成分間での色ずれを補正できたとしても、補正することができない。
【００１４】
言い換えれば、像倍率を補正することによる色ずれ補正は、局所的には画像を平行移動させることと等価であるため、ＰＴＦの周波数に対する直線成分を補正しているにすぎない。各色成分の像はコマ収差等の非対称収差を含んでいるため、ＰＴＦの周波数特性は非直線となっている。このため、各色成分の像を平行移動したとしても、この非対称性は補正されない。したがって、各色成分内に残留した波長ごとの倍率色収差の影響による色ずれを高精度に補正するためには、周波数に対して非直線であるＰＴＦをも補正する必要がある。
【００１５】
本発明は、各色成分内で発生する非対称収差と色成分間で発生する色ずれの双方を高精度に補正して高画質の回復画像を出力することが可能な画像処理方法、画像処理プログラム、画像処理装置および撮像装置を提供する。
【課題を解決するための手段】
【００１６】
本発明の一側面としての画像処理方法は、光学系を用いた撮影により生成された入力画像を取得するステップと、光学系の光学伝達関数に基づいて作成された画像回復フィルタを用いて入力画像に対して画像回復処理を行うことにより回復画像を生成する画像回復ステップと、回復画像に含まれる光学系の倍率色収差に対応した色ずれを検出する色ずれ検出ステップと、該回復画像に対して、色ずれ検出ステップにて検出された色ずれを低減する色ずれ低減処理を行う回復画像色ずれ低減ステップとを有することを特徴とする。
【００１７】
本発明の他の一側面としての画像処理プログラムは、コンピュータに、光学系を用いた撮影により生成された入力画像を取得するステップと、光学系の光学伝達関数に基づいて作成された画像回復フィルタを用いて入力画像に対して画像回復処理を行うことにより回復画像を生成する画像回復ステップと、回復画像に含まれる光学系の倍率色収差に対応した色ずれを検出する色ずれ検出ステップと、該回復画像に対して、色ずれ検出ステップにて検出された色ずれを低減する色ずれ低減処理を行う回復画像色ずれ低減ステップとを実行させることを特徴とする。
【００１８】
さらに、本発明の他の一側面としての画像処理装置は、光学系を用いた撮影により生成された入力画像を取得する画像取得手段と、光学系の光学伝達関数に基づいて作成された画像回復フィルタを用いて入力画像に対して画像回復処理を行うことにより回復画像を生成する画像回復手段と、回復画像に含まれる光学系の倍率色収差に対応した色ずれを検出する色ずれ検出手段と、該回復画像に対して、色ずれ検出ステップにて検出された色ずれを低減する色ずれ低減処理を行う回復画像色ずれ低減手段とを有することを特徴とする。
【００１９】
なお、光学系により形成された被写体像を光電変換して画像を生成する撮像系と、該画像を入力画像として処理する上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。
【発明の効果】
【００２０】
本発明では、画像回復処理によって色成分ごとの非対称収差が低減されて鮮鋭となった回復画像において、倍率色収差に対応する色ずれを検出し、これを低減する処理を行う。このため、高精度に色ずれを検出してこれを低減した高精細な回復画像を生成することができる。特に、画像回復の度合いによって回復画像中のエッジ部の鮮鋭度が色成分ごとに変化することで色ずれ量が変動しても、適切な色ずれ量の低減が可能となる。これにより、各色成分内で発生する非対称収差と色成分間で発生する色ずれの双方を高精度に補正して高画質の回復画像を出力することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施例である画像処理方法のシーケンスを示すフローチャート。
【図２】上記画像処理シーケンスで用いられる画像回復フィルタを説明する図。
【図３】（Ａ）点像の補正状態を説明する図、（Ｂ）振幅と位相を説明する図および（Ｃ），（Ｄ）倍率色収差を説明する図。
【図４】上記画像処理シーケンスにおける色ずれ補正処理のフローチャート。
【図５】上記画像処理シーケンスにおける色ずれ補正処理を説明する図。
【図６】本発明の実施例１である撮像装置の構成を示すブロック図。
【図７】実施例１の撮像装置における画像処理シーケンスの効果を説明する図。
【図８】実施例１で説明した画像処理シーケンスの変形例１のフローチャート。
【図９】上記変形例１の効果を説明する図。
【図１０】実施例１で説明した画像処理シーケンスの変形例２のフローチャート。
【図１１】本発明の実施例２の撮像装置における画像処理シーケンスのフローチャート。
【図１２】実施例２における製造誤差による性能変動を説明する図。
【図１３】実施例２における色ずれと片ぼけの相関を説明する図。
【図１４】実施例２における（Ａ）色ずれと（Ｂ）片ぼけの算出を説明する図。
【図１５】実施例２における（Ａ）〜（Ｄ）画像回復フィルタの補正と（Ｅ）ＭＴＦ補正とを説明する図。
【図１６】実施例２における画像回復フィルタの補正を説明する図。
【図１７】実施例２の撮像装置における画像処理シーケンスの変形例３のフローチャート。
【図１８】本発明の実施例３である画像処理装置を含むシステムの構成を示す図。
【発明を実施するための形態】
【００２２】
以下、本発明の実施例について図面を参照しながら説明する。
【００２３】
まず具体的な実施例の説明に先立って、各実施例で用いる用語の定義と各実施例で行う画像処理について説明する。
【００２４】
「入力画像」
入力画像は、撮像光学系により形成された被写体像（光学像）をＣＣＤセンサやＣＭＯＳセンサ等の撮像素子によって光電変換することで得られたデジタル画像である。被写体像は、撮像光学系を通った光により形成されるため、撮像光学系を構成するレンズや光学フィルタ等で発生する収差（光学伝達関数（ＯＴＦ））によって劣化している。撮像光学系には、レンズの他にも曲率を有するミラー（反射面）を用いることもできる。
【００２５】
なお、各実施例の画像処理は、撮像光学系を持たない画像生成装置にも応用することができる。例えば、被写体面に撮像素子を密着させて撮像を行うスキャナ（読み取り装置）やＸ線撮像装置はレンズのような撮像光学系を持たないが、撮像素子による画像サンプリングなどにより出力画像は少なからず劣化する。この劣化特性は撮像光学系によるものではないが、撮像システム伝達関数であるので、前記の光学伝達関数（ＯＴＦ）に相当するものであるとする。したがって、撮像光学系を持たずとも、伝達関数に基づいて画像回復フィルタを生成すれば、本発明の画像処理方法を用いることができる。説明の便宜上、光学伝達関数（ＯＴＦ）と表現するが、ＯＴＦはこの撮像システム全体の広義の伝達関数を含むものとする。
【００２６】
読み取り装置における伝達関数の例として、例えば撮像素子の受光部の開口形状による劣化、受光部に配置されたマイクロレンズの収差、カバーガラスによる収差などが挙げられる。受光部の有限サイズ開口形状は、例えばローパスフィルタのような伝達特性を有する。
【００２７】
また、入力画像の色成分は、ＲＧＢ等の複数の色成分の情報を有する。色成分は、ＲＧＢ以外にも、ＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号等、一般に用いられている色空間を選択して表現することができる。その他の色空間として、ＸＹＺ，Ｌａｂ，Ｙｕｖ，ＪＣｈを用いることも可能である。さらに、色温度を用いることも可能である。
【００２８】
また、入力画像や出力画像には、撮像光学系の焦点距離、絞り値、撮影距離等の撮影条件の情報や画像処理に必要な各種情報を付帯することができる。撮像装置から別の画像処理装置に画像を受け渡して画像処理を行う場合には、画像に撮影条件情報や画像処理に必要な情報を付帯することが好ましい。撮影条件情報や画像処理に必要な情報は、撮像装置と画像処理装置を直接的または間接的に接続して受け渡すこともできる。
【００２９】
「画像回復処理」
画像回復処理の概要を以下に説明する。劣化画像（入力画像）をｇ（ｘ，ｙ）とし、劣化していない元の画像をｆ（ｘ，ｙ）とする。また、光学伝達関数のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする。このとき、以下の式が成り立つ。ただし、＊はコンボリューション（畳み込み積分、積和）を示し、（ｘ，ｙ）は画像上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
また、上記式をフーリエ変換により２次元周波数面での表示形式に変換すると、以下の式のように、周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）をフーリエ変換したものであり、光学伝達関数（ＯＴＦ）である。Ｇ，Ｆはそれぞれ、ｇ，ｆをフーリエ変換したものである。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
劣化画像から元の画像を得るためには、以下のように、両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。
【００３０】
ここで、Ｈ−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）を、画像回復フィルタという。
【００３１】
画像が２次元画像であるとき、一般には画像回復フィルタも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、一般に、画像回復フィルタのタップ数（セルの数）が多いほど回復精度が向上するため、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数に設定して用いる。この画像回復におけるフィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）とは異なる。画像回復フィルタは光学伝達関数（ＯＴＦ）に基づいているため、振幅成分および位相成分の劣化をともに高精度に補正することができる。
【００３２】
また、実際の画像にはノイズ成分があるため、上記のように光学伝達関数（ＯＴＦ）の逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい、一般には良好な画像は得られない。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して光学系のＭＴＦ（振幅成分）を全周波数に渡って１に戻すようにＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合い（回復ゲイン）に応じてノイズが増幅されてしまう。
【００３３】
したがって、ノイズがある場合には良好な画像を得ることが難しい。これを式で示すと以下のようになる。Ｎはノイズ成分である。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）
この点については、例えば式１に示すウィナーフィルタ（Wiener filter）のように画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合いを制御する方法が知られている。Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜は光学伝達関数（ＯＴＦ）の絶対値（ＭＴＦ）である。
【００３４】
【数１】
【００３５】
この方法は、周波数ごとに、ＭＴＦが小さいほど回復ゲイン（回復度合い）を抑制し、ＭＴＦが大きいほど回復ゲインを強くするものである。一般に、撮像光学系のＭＴＦは低周波側が高く高周波側が低いため、実質的に画像の高周波側の回復ゲインを抑制する方法となっている。
【００３６】
画像回復フィルタを図２（Ａ）に模式的に示している。画像回復フィルタは、撮像光学系の収差特性や要求される回復精度に応じてタップ数を決めることができる。図２（Ａ）では、例として１１×１１タップの２次元フィルタである画像回復フィルタを示している。図２（Ａ）では、各タップ内の値（係数）を省略している。
【００３７】
この画像回復フィルタの１つの断面を図２（Ｂ）に示す。画像回復フィルタの各タップが持つ値（係数）の分布が、収差によって空間的に広がった信号値（ＰＳＦ）を理想的には元の１点に戻す役割を果たしている。
【００３８】
画像回復フィルタの各タップが劣化画像の各画素に対応しており、各タップの値が画像回復処理にて劣化画像に対してコンボリューション処理される。コンボリューション処理では、劣化画像中のある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、劣化画像と画像回復フィルタの対応画素ごとに画像の信号値とフィルタの係数との積をとり、その総和を中心画素の信号値として置き換える。
【００３９】
画像回復処理の実空間と周波数空間での特性を、図３を用いて説明する。図３（Ａ）の（ａ）は回復前のＰＳＦを、（ｂ）は回復後のＰＳＦをそれぞれ示している。また、図３（Ｂ）に示すＭＴＦのうち（ａ）は回復前のＭＴＦを、（ｂ）は回復後のＭＴＦを示している。さらに、図３（Ｂ）に示すＰＴＦのうち（ａ）は回復前のＰＴＦを、（ｂ）は回復後のＰＴＦをそれぞれ示している。
【００４０】
回復前のＰＳＦは非対称な広がりをもっており、この非対称性によりＰＴＦは周波数に対して非直線的な値を持っている。画像回復処理は、ＭＴＦを増幅し、ＰＴＦを零に向けて低減するため、画像回復後のＰＳＦは対称性を有し、かつ鮮鋭になる。
【００４１】
画像回復フィルタは、撮像光学系の光学伝達関数（ＯＴＦ）の逆関数に基づいて設計した関数を逆フーリエ変換して作成することができる。実施例で用いる画像回復フィルタは、適宜変更可能であり、例えばウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、式１を逆フーリエ変換することで実際に画像に畳み込む実空間の画像回復フィルタを作成することができる。
【００４２】
倍率色収差による色ずれについて説明する。図３（Ｃ）に示す（ｂ）は、（ａ）に示す結像位置を基準として平行移動した位置に同形状のＰＳＦとして結像した２つの色成分を表している。このときのＰＴＦを図３（Ｄ）に示す。図３（Ｄ）の（ａ），（ｂ）は図３（Ｃ）の（ａ），（ｂ）と対応している。図３（Ｄ）の（ｂ）に示すＰＴＦは、ある傾きを持った直線となっている。画像回復フィルタは、このような直線的なＰＴＦも図３（Ｂ）に示した非直線のＰＴＦ（ａ）も元となるＯＴＦに含まれているため、図３（Ｄ）の（ｂ）に示すように補正することができる。
【００４３】
また、予めＰＴＦから直線成分を除去したＯＴＦを元に画像回復フィルタを作成することで、倍率色収差の平行移動成分である色ずれを補正する作用を持たない画像回復フィルタを作成することもできる。言い換えれば、画像回復フィルタを、光学伝達関数の位相の周波数特性から、倍率色収差に対応した直線成分を除去した光学伝達関数に基づいて作成することができる。
【００４４】
一方、実空間で画像回復フィルタから色ずれの補正作用を除去する場合、まず図３（Ｃ）に示す（ｂ）を（ａ）の位置に平行移動したＰＳＦを生成する。言い換えれば、画像回復フィルタを、点像分布関数の色成分間の差異を相対的な平行移動によって低減した点像分布関数に基づいて作成する。その際、画素補間は適宜用いる。該ＰＳＦをフーリエ変換することで、倍率色収差の成分を除去したＯＴＦを生成することができる。実際には、（ａ）と（ｂ）のＰＳＦの形状は異なるため、位置合わせに関しては、例えば重心を一致させる方法や、（ａ）と（ｂ）の差分の二乗平均を最小化する方法がある。そして、このＯＴＦに基づいて画像回復フィルタを作成することで、色ずれを補正する作用を持たない画像回復フィルタを作成することができる。
【００４５】
このように、画像回復フィルタから倍率色収差による色ずれの補正作用を除去することで、色成分ごとの非対称収差の補正および鮮鋭化の処理（画像回復処理）と、倍率色収差による色ずれを補正する処理（色ずれ低減処理）とを分離することができる。このような処理の分離により、製造誤差等によって画像の鮮鋭度や色ずれ量が設計値通りでない場合でも、画像の鮮鋭度や色ずれ量を画像から検出し、その検出結果に基づいて適切な補正量を設定することができる。
【００４６】
また、光学伝達関数（ＯＴＦ）は、１つの撮影状態においても撮像光学系の像高（画像の位置）に応じて変化するので、画像回復フィルタは像高に応じて変更することが望ましい。
「色ずれ（倍率色収差）の検出と補正」
画像から倍率色収差による色ずれを検出して補正（低減）する色ずれ補正処理（色ずれ低減処理）のシーケンスについて、図４のフローチャートを用いて説明する。
【００４７】
まず、シーケンスは、画像取得ステップＳ０１にて、色ずれ補正処理の対象となる画像を取得する。後述する実施例では、色ずれ補正処理の処理画像は、本来の入力画像としての撮影画像に対して画像回復フィルタを用いた画像回復処理が行われることにより生成された回復画像であるが、ここでは便宜上、入力画像と称する。
【００４８】
次に、シーケンスは、エッジ検出ステップＳ０２にて、入力画像から倍率色収差による色ずれが顕著に現れるエッジ部を検出する。ここでは、複数のエッジ部を検出する。エッジ部の検出には、Ｙ（輝度）プレーンを使用する。検出する複数のエッジ部は、光学中心からの動径方向に大きく画素値の変化するエッジ部に限定する。これにより、精度の高い色ずれ量の取得が可能になる。
【００４９】
また、Ｙプレーンにおいて、倍率色収差による色ずれはにじみとなって現れるので、画素値の単調増加もしくは単調減少が複数画素、続くようなある程度幅のあるエッジ部を対象とするのがよい。
【００５０】
次に、シーケンスは、色ずれ量検出ステップＳ０３では、エッジ検出ステップＳ０２で検出した各エッジ部での色ずれ量を検出する。色ずれの方向は、光学中心と各エッジ部との位置関係によって、上下方向、左右方向、右斜め上−左斜め下方向および左斜め上−右斜め下方向のうちいずれかを選択することで、処理の簡略化を図るとよい。
【００５１】
各エッジ部における色ずれ量の検出には、色成分間の相関を用いる。例えば、色成分間の差分の絶対値の和を判定して色ずれ量を検出することができる。Ｇプレーンに対してＲプレーン（もしくはＢプレーン）を色ずれ方向に移動させながら、各エッジ部付近の画素において、色成分間の差分の絶対値の和が最小となる位置を探索する。ここで検出された差分絶対値和が最小となった位置から、Ｇプレーンに対するＲプレーン（もしくはＢプレーン）の色ずれ量を検出することができる。
【００５２】
色ずれ量取得ステップＳ０３での出力となる色ずれ量は、Ｇプレーンに対してＲプレーン（もしくはＢプレーン）が光学中心方向へずれている場合には負の値とする。また、Ｇプレーンに対してＲプレーン（もしくはＢプレーン）が光学中心とは逆方向へずれている場合には正の値とする。
【００５３】
次に、シーケンスは、補正データ作成ステップＳ０４では、エッジ検出ステップＳ０２で検出した複数のエッジ部の像高と、色ずれ量検出ステップＳ０３で検出した各エッジ部の色ずれ量とから、像高と色ずれ量との関係を求める。そして、該関係から色ずれ補正データを作成する。ここにいう像高とは、光学中心に相当する画素（以下の説明では、この画素を光学中心ともいう）からの距離である。
【００５４】
以下、色ずれ補正データの作成手順について具体的に説明する。
【００５５】
（１）シーケンスは、エッジ検出ステップＳ０２で検出したエッジ部の像高をＬとし、色ずれ量検出ステップＳ０３で検出した色ずれ量をＤとする場合、以下の式により像高に対する色ずれ率Ｍを求める。
Ｍ＝Ｌ／Ｄ
（２）シーケンスは、図５（Ａ）に示すように、入力画像を像高が異なる８つの領域ｈ１〜ｈ８に分割し、各エッジ部が属する領域を判定する。
【００５６】
（３）シーケンスは、入力画像内で検出された複数のエッジ部について上記（１）と（２）を行い、８つの領域のそれぞれで色ずれ率Ｍを集計する。そして、８つの領域のそれぞれで色ずれ率Ｍの平均値を求め、各領域の色ずれ率を決定する。ここでは、同心円状に領域を分割した場合について説明するが、さらに光学中心からの放射方向に領域を分割して色ずれ率を求める領域を細分化することで、例えば左右で色ずれ量が非対称な場合でも、それに対応した色ずれ補正データの作成が可能となる。
【００５７】
（４）図５（Ｂ）に示すように、像高と求めた色ずれ率とから、像高と色ずれ率との関係を近似する曲線を表す高次の多項近似式Ｆを算出し、これを色ずれ補正データとする。図５（Ｂ）に示す近似曲線は、三次の多項式により表される。
【００５８】
なお、エッジ部の検出と色ずれ量の検出は、入力画像内の全エッジ部に対して行ってもよいが、像高に応じて分割した８つの領域のそれぞれで所定数の色ずれ率が集計された段階で該検出を終了するとよい。これにより、信頼度を保ちながら処理の効率化を図ることができる。
【００５９】
また、像高に応じて分割した８つの領域のうち、該当するエッジ部が見つかった領域のみを高次の多項近似式の算出に使用することで、該当するエッジ部が見つからない領域があった場合でも色ずれ補正データの作成が可能となる。
【００６０】
次に、図４の補正ステップＳ０５では、シーケンスは、補正データ作成ステップＳ０４にて作成した色ずれ補正データを用いて色ずれを補正する処理を行う。具体的には、まず補正したいプレーン（ＲプレーンやＢプレーン）の画素（Ｘ，Ｙ）において、該画素（Ｘ，Ｙ）の像高Ｌから、以下の多項近似式Ｆを用いて色ずれ率Ｍを求める。なお、光学中心の座標を（０，０）とする。
Ｍ＝Ｆ(Ｌ)
次に、シーケンスは、色ずれ補正によって生成する画素の座標（Ｘ１，Ｙ１）を以下の式により求める。
Ｘ1＝Ｍ×Ｘ
Ｙ1＝Ｍ×Ｙ
そして、シーケンスは、補正したいプレーンにおいて、上記座標（Ｘ１，Ｙ１）に相当する画素値を、一般的な補間処理により生成し、画素（Ｘ，Ｙ）の画素値とする。これらの処理を入力画像の全画素について行うことで、色ずれ補正を行う。
【実施例１】
【００６１】
図６には、本発明の実施例１である画像処理方法に従う処理を実行する撮像装置の構成を示している。不図示の被写体からの光は、撮像光学系１０１を通り、被写体像を形成して撮像素子１０２に到達する。撮像素子１０２で被写体像が電気信号（アナログ信号）に変換され、該アナログ信号は、Ａ／Ｄコンバータ１０３によってデジタル撮像信号に変換されて画像処理装置としての画像処理部１０４に入力される。
【００６２】
画像処理部１０４は、該デジタル撮像信号に対して、入力画像としての撮影画像を生成するための各種処理を行う（すなわち、撮影画像を取得する）とともに、該撮影画像に対して前述した画像回復処理を行う。
【００６３】
まず、画像処理部１０４は、状態検知部１０７から、撮影画像の取得時（撮像時）における撮像装置の設定状況等の撮像条件を示す情報（以下、撮像条件情報という）を取得する。撮像条件情報には、撮像光学系１０１の焦点距離や絞り値、さらに被写体までの距離である撮影距離等が含まれる。状態検知部１０７は、システムコントローラ１１０から撮像条件情報を得てもよいし、撮像光学系１０１に関する撮像条件情報を撮像光学系制御部１０６から得てもよい。また、画像処理部１０４は、半導体メモリ等の画像記録媒体１０９に保存された撮影画像に対して処理を行う場合には、該撮影画像に付帯した撮像条件情報を読みとってもよい。
【００６４】
次に、画像処理部１０４は、予め様々な撮像条件に対応するように作成されて記憶部１０８に記憶された画像回復フィルタの中から、状態検知部１０７から得られた又は撮影画像に付帯した撮像条件情報に対応する画像回復フィルタを選択する。そして、画像処理部１０４は、撮影画像に対して選択した画像回復フィルタを用いた画像回復処理を行い、さらに該画像回復処理により生成された回復画像に対して色ずれ補正処理（回復画像色ずれ低減処理）を行う。これらの処理の詳細については後述する。
【００６５】
そして、画像処理部１０４は、画像回復処理および色ずれ補正処理を行った回復画像である出力画像を、画像記録媒体１０９に保存する。また、表示部１０５は、該出力画像を表示する。
【００６６】
画像処理部１０４は、画像取得手段、画像回復手段、色ずれ検出手段および回復画像色ずれ低減手段として機能するコンピュータにより構成されている。
【００６７】
以上説明したデジタル画像の生成から画像処理部１０４での画像回復処理および色ずれ補正処理は、システムコントローラ１１０によって制御される。また、撮像光学系１０１におけるズーム駆動やフォーカス駆動の制御は、システムコントローラ１１０からの指示を受けた撮像光学系制御部１０６が行う。
【００６８】
撮像光学系１０１において、絞り１０１ａは、その開口径（Ｆナンバー）を増減させて撮像素子１０２に到達する光量を調節する。また、フォーカスレンズ１０１ｂは、撮像光学系制御部１０６のオートフォーカス（ＡＦ）機能または不図示のマニュアルフォーカス機構によってその光軸方向位置が調節されて、被写体に対するピント合わせを行う。さらに、不図示のズームレンズは、撮像光学系制御部１０６のズーム機能または不図示のマニュアルズーム機構によってその光軸方向位置が調節されて、撮像光学系１０１の焦点距離を変化させる。
【００６９】
撮像光学系１０１には、ローパスフィルタや赤外線カットフィルタ等の光学素フィルタを設けてもよい。ただし、撮像光学系１０１の光学伝達関数（ＯＴＦ）に影響を与える光学フィルタを設ける場合には、画像回復フィルタの作成において該光学フィルタを考慮する必要が生じる場合がある。赤外カットフィルタについては、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢの各チャンネルのＰＳＦ（特にＲチャンネルのＰＳＦ）に影響するため、画像回復フィルタの作成における考慮が必要になる。
【００７０】
また、撮像光学系１０１は、撮像装置の一部として構成されていてもよいし、一眼レフカメラ等のように撮像装置に対して交換されるものであってもよい。
【００７１】
次に、上記撮像装置（画像処理部１０４）が実行する画像回復処理および色ずれ補正処理を含む画像処理について、図１のフローチャートを用いて説明する。この処理は、コンピュータとしての画像処理部１０４が、コンピュータプログラムである画像処理プログラムに従って実行する。
【００７２】
画像処理部１０４は、ステップＳ１１において、自ら生成した又は画像記録媒体１０９から読み込んだ撮影画像を入力画像として取得する。このとき、画像処理部１０４は、撮影画像に対応する撮像条件情報も取得する。
【００７３】
次に、画像処理部１０４は、ステップＳ１２において、記憶部１０８から、撮像条件情報により得られた撮像条件に対応した画像回復フィルタを選択する。なお、記憶部１０８に撮像条件に正確に対応した画像回復フィルタが記憶されていない場合には、その撮像条件に近い画像回復フィルタを選択し、これを撮像条件に応じて補正することで、該撮像条件に対応した画像回復フィルタを作成することもできる。
【００７４】
例えば、様々な撮像条件に対して離散的に記憶された複数の画像回復フィルタのうち、撮像条件情報により得られた撮像条件に近い撮像条件に対応した２つの画像回復フィルタを用いた補間処理を行って、補正された画像回復フィルタを作成する。補間処理としては、バイリニア補間（線形補間）やバイキュービック補間等を用いることができる。
【００７５】
また、記憶部１０８に、ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦおよび画像回復フィルタの周波数特性等の画像回復フィルタを作成するのに必要なデータを記憶しておき、これらのデータを用いて撮像条件に対応する画像回復フィルタを作成するようにしてもよい。
【００７６】
ここで、本実施例で用いる画像回復フィルタは、倍率色収差における色成分間の平行移動成分である色ずれの補正作用（低減作用）が除去されたフィルタである。言い換えれば、本実施例の画像回復フィルタは、収差の非対称性を補正し、かつ画像を鮮鋭化するが、色ずれを補正しないフィルタである。
【００７７】
次に、画像処理部１０４は、ステップＳ１３において、ステップＳ１２にて選択又は作成した画像回復フィルタを用いて撮影画像に対する画像回復処理を行い、回復画像を得る。前述した画像回復フィルタの特徴により、この回復画像では、収差の非対称性は補正され、かつ画像として鮮鋭化されているが、倍率色収差による色ずれは残留している。
【００７８】
図７（Ａ）には、撮影画像中のメリジオナル断面（画像中心から放射方向の断面）におけるエッジ部を模式的に示している。実線および破線は、撮影画像の２つの色成分を示している。ステップＳ１３での画像回復処理により、同図（Ｂ）に示すように非対称収差が補正され、画像して鮮鋭化されたが、色ずれは残留した回復画像が得られる。
【００７９】
次に、画像処理部１０４は、ステップＳ１４において、回復画像から色ずれ量を検出する。すなわち、図７（Ｂ）に示す回復画像における２つの色成分間のずれ量を検出する。
【００８０】
次に、画像処理部１０４は、ステップＳ１５において、回復画像に対して、ステップＳ１４にて検出した色ずれ量を補正するための色ずれ補正処理を行い、色ずれ補正回復画像を生成する。すなわち、図７（Ｂ）に示した回復画像に対して色ずれ補正処理を行うことで、同図（Ｃ）に示す色ずれ補正回復画像が生成される。この色ずれ補正回復画像は、ステップＳ１３での画像回復処理によって色成分ごとの非対称収差が補正され、かつ鮮鋭化された後、さらにステップＳ１５で残留していた色ずれが補正された画像である。
【００８１】
一方、本実施例とは異なり、図７（Ａ）の撮影画像に対してまず色ずれ量の検出を行い、色ずれ補正処理を行った場合には、同図（Ｄ）に示す画像が得られる。この画像は、収差成分の非対称性が残留して左右のエッジ部の収差状態が異なったまま、色ずれができるだけ目立たないように補正された画像である。そして、この収差成分の非対称性が残留した画像に対して画像回復処理を行って図７（Ｅ）に示す画像を得ると、そのエッジ部は色成分ごとには非対称収差が補正され、かつ鮮鋭化されているものの、色成分間の色ずれは残留している。
【００８２】
これは、同図（Ａ）に示した画像のように非対称性が残留したエッジ部に対して色ずれ量の検出を行っているために、最終的に画像回復処理が行われるエッジ部の状態に対して適正ではない色ずれ補正量が設定されてしまうためである。エッジ部が鮮鋭化された状態での色ずれは、（Ａ）の画像のようにぼけが残留している状態よりも目立ちやすい。このため、図７（Ａ）→（Ｄ）→（Ｅ）の順序の処理は、より高画質な画像を生成するには不適当である。
【００８３】
また、画像回復処理の回復ゲイン（回復度合い）は、画像回復フィルタの設計によって変更することが可能であるため、図７（Ｅ）に残留した色ずれは回復度合いでも変化してしまう。さらに、製造ばらつきや光源の分光の変動がある場合には、画像回復処理後にエッジ部の状態を予測することはさらに複雑で困難になる。以上のことから、本実施例のように、図７（Ａ）→（Ｂ）→（Ｃ）の順序で処理を行う方が、より高画質な画像を生成することができる。
【００８４】
次に、本実施例の変形例を、図８のフローチャートを用いて説明する。画像処理部１０４は、ステップＳ２１において、自ら生成した又は画像記録媒体１０９から読み込んだ撮影画像を入力画像として取得する。このとき、画像処理部１０４は、撮影画像に対応する撮像条件情報も取得する。
【００８５】
次に、画像処理部１０４は、ステップＳ２２において、記憶部１０８から、撮像条件情報により得られた撮像条件に対応した画像回復フィルタを選択する。記憶部１０８に撮像条件に正確に対応した画像回復フィルタが記憶されていない場合の処理については、図１におけるステップＳ１２と同じである。
【００８６】
本変形例における画像回復フィルタは、倍率色収差における色成分間の平行移動成分である色ずれの少なくとも一部を補正する作用を有するフィルタである。言い換えれば、本変形例の画像回復フィルタは、収差の非対称性を補正し、かつ画像を鮮鋭化し、さらに色ずれの少なくとも一部を補正するフィルタである。色ずれの補正作用は、倍率色収差の平行移動成分もＰＴＦの一部として扱うことにより得られる。
【００８７】
次に、画像処理部１０４は、ステップＳ２３において、ステップＳ２２にて選択（又は作成）した画像回復フィルタを用いて撮影画像に対する画像回復処理を行い、回復画像を得る。前述した画像回復フィルタの特徴により、この回復画像では、収差の非対称性が補正され、かつ画像として鮮鋭化され、さらに倍率色収差による色ずれの少なくとも一部が補正されている。
【００８８】
図９（Ａ）は、撮影画像中のメリジオナル断面（画像中心から放射方向の断面）のエッジ部を模式的に示している。実線および破線は、撮影画像の２つの色成分を示している。ステップＳ１３での画像回復処理により、同図（Ｂ）に示すように非対称収差が補正され、かつ画像として鮮鋭化され、さらに色ずれもほぼ補正された回復画像（色ずれ補正回復画像）が得られる。ただし、製造ばらつきや光源分光の変動があった場合には、同図（ｃ）のように色ずれが残留する可能性がある。
【００８９】
そこで、画像処理部１０４は、ステップＳ２４において、回復画像から色ずれ量を検出する。すなわち、図９（Ｂ）または（Ｃ）に示す回復画像における２つの色成分間のずれ量を検出する。
【００９０】
次に、画像処理部１０４は、ステップＳ２５において、回復画像に対して、ステップＳ２４にて検出した色ずれ量を補正するための色ずれ補正処理を行い、色ずれ補正回復画像を生成する。図９（Ｂ）に示した回復画像では色ずれ量がほぼ０と検出されるため、実質的な色ずれ補正は行われないが、同図（Ｃ）に示す回復画像では色ずれ量が検出されて実質的な色ずれ補正が行われ、同図（Ｄ）に示す色ずれ補正回復画像が生成される。これらの色ずれ補正回復画像はいずれも、色成分ごとの非対称収差が補正され、かつ鮮鋭化され、さらに色ずれも補正された画像である。
【００９１】
このように、画像回復フィルタに色ずれ補正作用を含めたとしても、これを用いた画像回復処理だけでは、製造ばらつきや光源分光の変動といった画質劣化要因によって色ずれが残留する可能性がある。したがって、確実に色ずれも補正した出力画像を得るためには、画像回復処理の後に色ずれ量の検出とその補正処理を行うことが必要である。
次に、本実施例のさらに別の変形例を、図１０のフローチャートを用いて説明する。画像処理部１０４は、ステップＳ３１において、自ら生成した又は画像記録媒体１０９から読み込んだ撮影画像を入力画像として取得する。このとき、画像処理部１０４は、撮影画像に対応する撮像条件情報も取得する。
【００９２】
次に、画像処理部１０４は、ステップＳ３２において、撮影画像に対して第１段階の色ずれ補正処理である前色ずれ補正処理（入力画像色ずれ低減処理）を行って、撮影画像に含まれる色ずれ（第１の色ずれ）を補正する。この前色ずれ補正処理で用いられる色ずれ補正量は、撮像光学系１０１の設計上の倍率色収差に応じて予め作成されて記憶部１０８に記憶された色ずれ補正量のデータのうち撮像条件に対応した色ずれ補正量を選択して用いる。また、後述するステップＳ３５と同様に、撮影画像から色ずれ量を検出し、該検出結果に応じて色ずれ補正量を設定してもよい。
【００９３】
次に、画像処理部１０４は、ステップＳ３２において、撮像条件に対応した画像回復フィルタを選択する。記憶部１０８に撮像条件に正確に対応した画像回復フィルタが記憶されていない場合の処理については、図１におけるステップＳ１２と同じである。
【００９４】
本変形例で用いる画像回復フィルタは、ステップＳ３２において撮影画像の色ずれが概ね補正されているため、色ずれの補正作用（低減作用）が除去されたフィルタである。言い換えれば、本変形例の画像回復フィルタは、収差の非対称性を補正し、かつ画像を鮮鋭化するが、色ずれを補正しないフィルタである。
【００９５】
次に、画像処理部１０４は、ステップＳ３４において、ステップＳ３３にて選択（又は作成）した画像回復フィルタを用いて、前色ずれ補正処理がなされた撮影画像に対する画像回復処理を行い、回復画像を得る。この回復画像では、ステップＳ３２において色ずれが概ね補正され、さらに前述した画像回復フィルタの特徴により、収差の非対称性が補正され、かつ画像として鮮鋭化されている。
【００９６】
次に、画像処理部１０４は、ステップＳ３５において、回復画像における色ずれ量（第２の色ずれ）を検出する。すなわち、前色ずれ補正処理を行っても、製造ばらつきや光源分光の変動によって残留した色ずれ量を検出する。
【００９７】
そして、画像処理部１０４は、ステップＳ３６において、回復画像に対して、ステップＳ３５にて検出した色ずれ量を補正するための第２段階の色ずれ補正処理である後色ずれ補正処理（回復画像色ずれ低減処理）を行い、最終的な色ずれ補正回復画像を生成する。画像処理部１０４は、ステップＳ３７において、該色ずれ補正回復画像を出力する。
【００９８】
上記いずれの変形例においても、画像回復処理後のステップにおいて回復画像から色ずれ量を検出してこれを補正することで、色ずれが確実に補正された回復画像が得られる。
【実施例２】
【００９９】
図１１のフローチャートには、本発明の実施例２である画像処理方法に従う画像回復処理および色ずれ補正処理を含む画像処理を示している。この処理を実行する撮像装置の基本構成は実施例１にて説明した撮像装置と共通であり、本実施例の撮像装置において実施例１の撮像装置と共通する構成要素には、実施例１と同符号を付す。この処理は、コンピュータとしての画像処理部１０４が、コンピュータプログラムである画像処理プログラムに従って実行する。
【０１００】
画像処理部１０４は、ステップＳ４１において、自ら生成した又は画像記録媒体１０９から読み込んだ撮影画像を入力画像として取得する。このとき、画像処理部１０４は、撮影画像に対応する撮像条件情報も取得する。
【０１０１】
次に、画像処理部１０４は、ステップＳ４２において、撮影画像から倍率色収差に対応した色ずれ量を検出する。
【０１０２】
次に、画像処理部１０４は、ステップＳ４３において、記憶部１０８から、撮像条件情報により得られた撮像条件に対応した画像回復フィルタを選択する。記憶部１０８に撮像条件に正確に対応した画像回復フィルタが記憶されていない場合の処理については、図１におけるステップＳ１２と同じである。
【０１０３】
本実施例で用いる画像回復フィルタは、色ずれの補正作用（低減作用）が除去されたフィルタである。言い換えれば、本変形例の画像回復フィルタは、収差の非対称性を補正し、かつ画像を鮮鋭化するが、色ずれを補正しないフィルタである。
【０１０４】
次に、画像処理部１０４は、ステップＳ４４において、ステップＳ４１にて検出した色ずれ量に基づいて画像回復フィルタを補正する。この画像回復フィルタの補正の詳細については後述する。
【０１０５】
次に、画像処理部１０４は、ステップＳ４５において、ステップＳ４４にて補正された画像回復フィルタを用いて撮影画像に対する画像回復処理を行い、回復画像を得る。
【０１０６】
次に、画像処理部１０４は、ステップＳ４６において、回復画像から色ずれ量を検出する。
【０１０７】
そして、画像処理部１０４は、ステップＳ４７において、ステップＳ４６にて検出された色ずれ量に基づいて回復画像に対して色ずれ補正処理を行い、ステップＳ４８において色ずれ補正回復画像を出力する。
【０１０８】
ここで、ステップＳ４４で行われる画像回復フィルタの補正について具体的に説明する。この補正は、撮影画像から得られる色ずれの情報を利用して、撮像光学系１０１の製造ばらつきによる個体差を低減した画像回復処理を行うことを目的としている。
【０１０９】
実際に撮像装置を製造すると、撮像光学系１０１を構成するレンズの形状、保持機構、駆動機構等の製造誤差によって個体ばらつきが少なからず発生する。この個体ばらつきは、撮像光学系１０１の光学伝達関数（ＯＴＦ）に影響を与える。したがって、このような個体ばらつきに対応してより高精度な画像回復処理を行うには、個体ごとの収差の状態を推定して適正に補正された画像回復フィルタを用いることが望ましい。
【０１１０】
製造誤差として片ぼけを例に説明する。片ぼけとは、撮像装置（撮像光学系１０１）の製造誤差によってその構成要素である複数のレンズが互いに偏心することにより、撮像素子１０２上の被写体像の回転対称性が崩れ、撮像素子１０２上の位置によって結像性能が異なることを意味する。
【０１１１】
片ぼけの例を図１２に示す。製造誤差が無い場合の結像性能（ＭＴＦ）を基準としたとき、画像の左側はＭＴＦが低く鮮鋭度が低くなっており、右側はＭＴＦが高く鮮鋭度が高くなっている。
【０１１２】
次に、検出された色ずれ量から片ぼけ量を推定する方法について説明する。まず、上記の色ずれ量の検出方法を用いて画像全域に存在するエッジ部の色ずれ量を検出する。ここで、図１３には、製造ばらつきのある１００個の撮像光学系を調べた結果、該撮像光学系の倍率色収差量と片ぼけ量とに相関があることを示す。
【０１１３】
倍率色収差量から片ぼけ量を推定することができれば、色ずれの検出量から片ぼけ量を推定することができ、さらに推定された片ぼけ量からＯＴＦの変動を推定して、その推定結果に基づいて画像回復フィルタを補正することができる。
【０１１４】
図１３の縦軸は、画像中心に関して対称な像高での倍率色収差量の非対称性を定量的に評価したものである。具体的には、図１４（Ｂ）に示すように、画像中心に関して対称な右上と左下の２つの像高についてＢチャンネルとＧチャンネルとの間のＰＳＦの重心位置の差を色ずれ量として算出し、さらにこれら２つの像高間の色ずれ量の差を算出したものである。
【０１１５】
一方、図１３の横軸は、画像中心に関して対称な像高でのベストピント位置のずれ量の非対称性を定量的に評価したものである。具体的には、図１４（Ａ）に示すように、画像中心でピントを合わせたときの画像中心に関して対称な右上と左下の２つの像高について、それぞれのベストピント位置に対するずれ量を算出し、さらにこれら２つの像高間のピントずれ量の差を算出したものである。図中の曲線のグラフは、横軸が光軸方向（すなわち画像の奥行き方向）を表しており、縦軸はある評価周波数でのＭＴＦの値を表している。このため、横軸の原点位置にてＭＴＦが最大となっている状態が、ベストピント状態ということができる。
【０１１６】
図１３から倍率色収差の片ぼけ特性と像面（ピント位置）の片ぼけ特性との間に相関があることが分かる。したがって、図１３中に示した近似曲線を予め記憶部１０８に保持しておけば、撮影画像から色ずれ量を検出することで、像高ごとにピントがどれだけずれているかという片ぼけ量を推定することができる。相関特性のデータとしては、近似曲線に限らず、ルックアップテーブルでもよい。
【０１１７】
このように、本実施例では、色ずれ量と片ぼけ量に相関があることを見出し、検出された色ずれ量を用いて画像回復処理のパラメータに適用している。
【０１１８】
なお、ここでは、倍率色収差から像面特性を求める方法について記したが、像面特性以外の収差の非対称性を推定してもよい。例えば、歪曲収差をはじめとするザイデルの５収差を推定してもよいし、周辺光量の非対称性を推定してもよい。
【０１１９】
次に、このようにして推定された画像内での結像性能の設計値からのずれに基づいて画像回復フィルタを補正する方法を、図１５（Ａ），（Ｂ）を用いて説明する。図１５（Ａ）は補正前の画像回復フィルタを示し、図１５（Ｂ）は画像回復フィルタの補正に用いる補正フィルタを示している。各フィルタにおける係数値は省略している。
【０１２０】
補正フィルタは、ハイパスフィルタやローパスフィルタを用いることができる。画像回復フィルタは、光学伝達関数（ＯＴＦ）に基づいて生成されるため、１１×１１タップや５１×５１タップといった大きなタップ数を要する。これに対して、補正フィルタは、画像回復フィルタのゲインを増減する機能を有するに過ぎないので、３×３タップ等といった少ないタップ数（つまりはデータ量）で構成することができる。
【０１２１】
画像回復フィルタに対して補正フィルタをコンボリューション処理することにより、画像回復フィルタの特性を補正することができる。補正前後の画像回復フィルタの係数の変化を図１５（Ｃ），（Ｄ）に示す。図１５（Ｃ）は補正前の画像回復フィルタの１つの断面における係数値を示している。また、図１５（Ｄ）は補正後の画像回復フィルタの同じ断面における係数値を示している。
【０１２２】
図１５（Ｅ）には、補正フィルタによるＭＴＦの変化を示す。図１５（Ｅ）において、（ａ）は画像回復処理前のＭＴＦを、（ｂ）は画像回復フィルタを補正せずに画像回復処理を行った後のＭＴＦを示している。また、（ｃ）は画像回復フィルタをハイパスフィルタで補正した場合の画像回復処理後のＭＴＦを、（ｄ）は画像回復フィルタをローパスフィルタで補正した場合の画像回復処理後のＭＴＦを示している。
【０１２３】
このように、製造誤差による撮像光学系の個体ばらつきを反映した色ずれ量を検出し、その検出結果を用いて画像回復フィルタを補正することで、画像回復処理後のＭＴＦ性能を制御することができる。
【０１２４】
図１６（Ａ），（Ｂ）には、以上の画像回復フィルタの補正を、画像のそれぞれの位置に適用する画像回復フィルタに対して行った例を示している。を図１６（Ａ），（Ｂ）は、画像の位置に応じて離散的に用意された画像回復フィルタを示している。同じ番号を付された画像回復フィルタは、互いに同じ（ただし、向きは異なる）画像回復フィルタである。図１６（Ａ）では、撮像光学系が回転対称性を有するため、互いに同じ画像回復フィルタが同心円状に並んでいる。
【０１２５】
一方、図１６（Ｂ）では、図１６（Ａ）に示した画像回復フィルタを撮像光学系の個体ばらつきに応じて補正した後の画像回復フィルタを示している。図１６（Ｂ）には、画像中の位置ごとの製造誤差に応じて互いに異なるように補正された画像回復フィルタが示されている。
【０１２６】
ステップＳ４４での画像回復フィルタの補正の方法はこれに限らず、周波数空間で回復ゲインの増幅および抑制を行うこともできる。また、像高ごとに適正な回復ゲイン（回復度合い）の画像回復フィルタを改めて生成することもできる。
【０１２７】
次に、本実施例の変形例を、図１７のフローチャートを用いて説明する。画像処理部１０４は、ステップＳ５１において、自ら生成した又は画像記録媒体１０９から読み込んだ撮影画像を入力画像として取得する。このとき、画像処理部１０４は、撮影画像に対応する撮像条件情報も取得する。
【０１２８】
次に、画像処理部１０４は、ステップＳ５２において、撮影画像から色ずれ量を検出する。
【０１２９】
そして、画像処理部１０４は、ステップＳ５３において、記憶部１０８から、撮像条件情報により得られた撮像条件に対応した画像回復フィルタを選択する。記憶部１０８に撮像条件に正確に対応した画像回復フィルタが記憶されていない場合の処理については、図１におけるステップＳ１２と同じである。ここでの画像回復フィルタは、色ずれの補正作用も含んだフィルタである。
【０１３０】
次に、画像処理部１０４は、ステップＳ５４において、ステップＳ５１にて検出した色ずれ量に基づいて、ステップＳ５３にて選択又は生成した画像回復フィルタを補正する。補正方法は上述した通りである。
【０１３１】
次に、画像処理部１０４は、ステップＳ５５において、補正された画像回復フィルタを用いて、撮影画像に対して画像回復処理を行い、回復画像を得る。
【０１３２】
次に、画像処理部１０４は、ステップＳ５６において、回復画像から色ずれ量を検出する。
【０１３３】
そして、画像処理部１０４は、ステップＳ５７において、ステップＳ５６で検出した色ずれ量に基づいて回復画像に対して色ずれ補正処理を行い、ステップＳ５８にて色ずれ補正回復画像を出力する。
【実施例３】
【０１３４】
図１８には、上記各実施例にて説明した画像処理を、撮像装置以外の画像処理装置で行う場合のシステム構成例を示している。
【０１３５】
画像処理装置２０１は、上記各実施例にてフローチャートを用いて説明した画像処理プログラムを含む画像処理ソフトウェア２０６を搭載したコンピュータ機器である。画像処理ソフトウェア２０６は、必要に応じて画像データの現像機能やその他の画像処理機能を含む。
【０１３６】
撮像装置２０２は、カメラ、顕微鏡、内視鏡、スキャナ等、被写体像を撮像素子により光電変換して画像を生成する撮像系を備えた装置である。
【０１３７】
記憶媒体２０３は、半導体メモリ、ハードディスク、ネットワーク上のサーバー等、撮影画像を記憶する機能を有する。
【０１３８】
画像処理装置２０１は、撮像装置２０２または記憶媒体２０３から撮影画像のデータを有線又は無線の通信回線を通じて取得し、上記各実施例にて説明した画像処理を行って色ずれ補正回復画像のデータを生成する。そして、該色ずれ補正回復画像を、通信回線を投じて出力機器２０５、撮像装置２０２および記憶媒体２０３のうち少なくとも１つに出力する。
【０１３９】
また、画像処理装置２０１は、これに内蔵された記憶部に色ずれ補正回復画像のデータを保存しておくこともできる。
【０１４０】
出力機器２０５の例としては、プリンタが挙げられる。また、画像処理装置２０１には、モニタとしての表示機器２０４が接続されており、ユーザはこの表示機器２０４を通して画像処理に関する作業を行ったり、生成された色ずれ補正回復画像を評価したりすることができる。
【０１４１】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【０１４２】
倍率色収差成分が低減された回復画像を生成可能な画像処理装置を提供できる。
【符号の説明】
【０１４３】
１０１ 撮像光学系
１０４ 画像処理部
【特許請求の範囲】
【請求項１】
光学系を用いた撮影により生成された入力画像を取得するステップと、
前記光学系の光学伝達関数に基づいて作成された画像回復フィルタを用いて前記入力画像に対して画像回復処理を行うことにより回復画像を生成する画像回復ステップと、
前記回復画像に含まれる前記光学系の倍率色収差に対応した色ずれを検出する色ずれ検出ステップと、
該回復画像に対して、前記色ずれ検出ステップにて検出された前記色ずれを低減する色ずれ低減処理を行う回復画像色ずれ低減ステップとを有することを特徴とする画像処理方法。
【請求項２】
前記画像回復フィルタとして、前記色ずれを低減する作用を有さないフィルタを用いることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記画像回復フィルタは、前記光学伝達関数の位相の周波数特性から、前記倍率色収差に対応した直線成分を除去した光学伝達関数に基づいて作成されることを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記画像回復フィルタは、点像分布関数の色成分間の差異を相対的な平行移動によって低減した点像分布関数に基づいて作成されることを特徴とする請求項２に記載の画像処理方法。
【請求項５】
前記画像回復フィルタは、前記色ずれの少なくとも一部を低減する作用を有するフィルタであることを特徴とする請求項１に記載の画像処理方法。
【請求項６】
前記入力画像に対して、該入力画像に含まれる前記倍率色収差に対応した第１の色ずれを低減する処理を行う入力画像色ずれ低減ステップをさらに有し、
前記画像回復ステップにおいて、前記画像回復処理を、前記第１の色ずれ低減処理が行われた前記入力画像に対して行って前記回復画像を生成し、
前記色ずれ検出ステップにおいて、前記回復画像に含まれる前記倍率色収差に対応した第２の色ずれを検出し、
前記回復画像色ずれ低減ステップにおいて、前記回復画像に対する前記色ずれ低減処理により、前記第２の色ずれを低減することを有することを特徴とする請求項１に記載の画像処理方法。
【請求項７】
前記画像回復ステップにおいて、前記入力画像に含まれる前記倍率色収差に対応した色ずれを検出して、該検出結果に基づいて前記画像回復フィルタを作成することを特徴とする請求項１に記載の画像処理方法。
【請求項８】
コンピュータに、
光学系を用いた撮影により生成された入力画像を取得するステップと、
前記光学系の光学伝達関数に基づいて作成された画像回復フィルタを用いて前記入力画像に対して画像回復処理を行うことにより回復画像を生成する画像回復ステップと、
前記回復画像に含まれる前記光学系の倍率色収差に対応した色ずれを検出する色ずれ検出ステップと、
該回復画像に対して、前記色ずれ検出ステップにて検出された前記色ずれを低減する色ずれ低減処理を行う回復画像色ずれ低減ステップとを実行させることを特徴とする画像処理プログラム。
【請求項９】
光学系を用いた撮影により生成された入力画像を取得する画像取得手段と、
前記光学系の光学伝達関数に基づいて作成された画像回復フィルタを用いて前記入力画像に対して画像回復処理を行うことにより回復画像を生成する画像回復手段と、
前記回復画像に含まれる前記光学系の倍率色収差に対応した色ずれを検出する色ずれ検出手段と、
該回復画像に対して、前記色ずれ検出手段にて検出された前記色ずれを低減する色ずれ低減処理を行う回復画像色ずれ低減手段とを有することを特徴とする画像処理装置。
【請求項１０】
光学系により形成された被写体像を光電変換して画像を生成する撮像系と、
該画像を前記入力画像として処理する請求項９に記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項１】
光学系を用いた撮影により生成された入力画像を取得するステップと、
前記光学系の光学伝達関数に基づいて作成された画像回復フィルタを用いて前記入力画像に対して画像回復処理を行うことにより回復画像を生成する画像回復ステップと、
前記回復画像に含まれる前記光学系の倍率色収差に対応した色ずれを検出する色ずれ検出ステップと、
該回復画像に対して、前記色ずれ検出ステップにて検出された前記色ずれを低減する色ずれ低減処理を行う回復画像色ずれ低減ステップとを有することを特徴とする画像処理方法。
【請求項２】
前記画像回復フィルタとして、前記色ずれを低減する作用を有さないフィルタを用いることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記画像回復フィルタは、前記光学伝達関数の位相の周波数特性から、前記倍率色収差に対応した直線成分を除去した光学伝達関数に基づいて作成されることを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記画像回復フィルタは、点像分布関数の色成分間の差異を相対的な平行移動によって低減した点像分布関数に基づいて作成されることを特徴とする請求項２に記載の画像処理方法。
【請求項５】
前記画像回復フィルタは、前記色ずれの少なくとも一部を低減する作用を有するフィルタであることを特徴とする請求項１に記載の画像処理方法。
【請求項６】
前記入力画像に対して、該入力画像に含まれる前記倍率色収差に対応した第１の色ずれを低減する処理を行う入力画像色ずれ低減ステップをさらに有し、
前記画像回復ステップにおいて、前記画像回復処理を、前記第１の色ずれ低減処理が行われた前記入力画像に対して行って前記回復画像を生成し、
前記色ずれ検出ステップにおいて、前記回復画像に含まれる前記倍率色収差に対応した第２の色ずれを検出し、
前記回復画像色ずれ低減ステップにおいて、前記回復画像に対する前記色ずれ低減処理により、前記第２の色ずれを低減することを有することを特徴とする請求項１に記載の画像処理方法。
【請求項７】
前記画像回復ステップにおいて、前記入力画像に含まれる前記倍率色収差に対応した色ずれを検出して、該検出結果に基づいて前記画像回復フィルタを作成することを特徴とする請求項１に記載の画像処理方法。
【請求項８】
コンピュータに、
光学系を用いた撮影により生成された入力画像を取得するステップと、
前記光学系の光学伝達関数に基づいて作成された画像回復フィルタを用いて前記入力画像に対して画像回復処理を行うことにより回復画像を生成する画像回復ステップと、
前記回復画像に含まれる前記光学系の倍率色収差に対応した色ずれを検出する色ずれ検出ステップと、
該回復画像に対して、前記色ずれ検出ステップにて検出された前記色ずれを低減する色ずれ低減処理を行う回復画像色ずれ低減ステップとを実行させることを特徴とする画像処理プログラム。
【請求項９】
光学系を用いた撮影により生成された入力画像を取得する画像取得手段と、
前記光学系の光学伝達関数に基づいて作成された画像回復フィルタを用いて前記入力画像に対して画像回復処理を行うことにより回復画像を生成する画像回復手段と、
前記回復画像に含まれる前記光学系の倍率色収差に対応した色ずれを検出する色ずれ検出手段と、
該回復画像に対して、前記色ずれ検出手段にて検出された前記色ずれを低減する色ずれ低減処理を行う回復画像色ずれ低減手段とを有することを特徴とする画像処理装置。
【請求項１０】
光学系により形成された被写体像を光電変換して画像を生成する撮像系と、
該画像を前記入力画像として処理する請求項９に記載の画像処理装置とを有することを特徴とする撮像装置。
【図２】
【図６】
【図１】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図６】
【図１】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−１２９９３２（Ｐ２０１２−１２９９３２Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２８１８４３（Ｐ２０１０−２８１８４３）
【出願日】平成２２年１２月１７日（２０１０．１２．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１７日（２０１０．１２．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]