画像処理装置、撮像装置および画像処理プログラム
【課題】画像回復を行ったときにデフォーカス領域で強調される色にじみを低減する。
【解決手段】画像処理装置は、光学系１０１を用いた、該光学系からの距離が互いに異なる複数の被写体を含むシーンの撮像により得られた入力画像に対して画像処理を行う。該装置は、入力画像のうちデフォーカス領域に含まれる色収差成分を低減するための色収差補正フィルタおよび該入力画像に含まれるぼけ成分を低減するための画像回復フィルタを取得するフィルタ取得手段４ｂと、入力画像に対して、色収差補正フィルタを用いた色収差補正処理および画像回復フィルタを用いた回復処理を行う処理手段４ｂとを有する。フィルタ取得手段は、光学系の色収差に関する情報と、撮像における光学系の合焦距離に関する情報および複数の被写体のそれぞれまでの距離に関する情報とを用いて色収差補正フィルタを取得する。
【解決手段】画像処理装置は、光学系１０１を用いた、該光学系からの距離が互いに異なる複数の被写体を含むシーンの撮像により得られた入力画像に対して画像処理を行う。該装置は、入力画像のうちデフォーカス領域に含まれる色収差成分を低減するための色収差補正フィルタおよび該入力画像に含まれるぼけ成分を低減するための画像回復フィルタを取得するフィルタ取得手段４ｂと、入力画像に対して、色収差補正フィルタを用いた色収差補正処理および画像回復フィルタを用いた回復処理を行う処理手段４ｂとを有する。フィルタ取得手段は、光学系の色収差に関する情報と、撮像における光学系の合焦距離に関する情報および複数の被写体のそれぞれまでの距離に関する情報とを用いて色収差補正フィルタを取得する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に含まれる色収差成分とぼけ成分を低減する画像処理技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置により被写体を撮像して得られた画像には、撮像光学系（以下、単に光学系という）の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。
【０００３】
ここにいうぼけ成分は、光学的には、点像分布関数（ＰＳＦ）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。
【０００４】
画像のぼけ成分を補正する方法として、光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正するものが知られている。この方法は、画像回復や画像復元と呼ばれており、以下、この光学系の光学伝達関数（ＯＴＦ）の情報を用いて画像のぼけ成分を補正（低減）する処理を画像回復処理と称する。
【０００５】
画像回復処理の概要は以下の通りである。ぼけ成分を含む劣化画像（入力画像）をｇ（ｘ，ｙ）とし、劣化していない元の画像をｆ（ｘ，ｙ）とする。また、光学伝達関数のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする。このとき、以下の式が成り立つ。ただし、＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） …（１）
また、上記式をフーリエ変換により２次元周波数面での表示形式に変換すると、以下の式のように、周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）をフーリエ変換したものであり、光学伝達関数（ＯＴＦ）である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） …（２）
劣化画像から元の画像を得るためには、以下のように、両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） …（３）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。
【０００６】
ここで、Ｈ−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） …（４）
このＲ（ｘ，ｙ）を、画像回復フィルタという。実際の画像にはノイズ成分があるため、上記のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい、一般には良好な画像は得られない。この点については、例えばウィーナーフィルタ（Wiener filter）のように画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する方法が知られている。画像の色にじみ成分の劣化は、例えば、上記のぼけ成分の補正により画像の色成分ごとのぼけ量が均一になれば補正されたことになる。
【０００７】
軸上色収差の色ずれを補正する方法が特許文献１にて開示されている。軸上色収差によって色成分ごとにＭＴＦのピーク位置が異なるため、色ごとにＭＴＦに差が生まれる。ＭＴＦの低い色成分の画像はＭＴＦの高い色成分の画像に対してにじみ、色にじみが生じる。そこで、特許文献１にて開示された方法では、ＭＴＦの高い色成分の画像を用いて、ＭＴＦの低い色成分の画像をＭＴＦ特性の色の間の差が無くなるように推定し、色ずれを低減する。
【０００８】
また、特許文献２には、以下のような色にじみの補正方法が開示されている。撮像素子と光学系の光軸方向に相対移動させて、それぞれの色成分のピーク波長の結像位置がセンサ上に位置したときに撮像を行い、複数の色画像を取り込む。そして、取り込んだ複数の色画像を１つの画像に合成して出力する。これにより、色成分間の結像特性の差がなくなり、合成画像における色にじみが低減される。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００７-０２８０４０号公報
【特許文献２】特開２００８-０８５７７３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
色にじみの補正に用いる補正フィルタは、通常は撮像装置の光学系が合焦している状態に対して最適化されている。このため、該フィルタを、画像中のデフォーカスした領域に補正フィルタを適用すると、合焦した領域とは異なった補正が行われる。例えば、被写体距離が合焦距離である合焦領域と該合焦距離とは異なる被写体距離のデフォーカス領域とでは色収差が異なる。特に軸上色収差が生じである場合は、光軸方向のＭＴＦ特性において、色成分のそれぞれが分離してＭＴＦピークが形成される。
【００１１】
図９（ａ）は、軸上色収差を持つ光学系から射出した白色光が、波長ごとに分離されている様子を示している。光学系２０１を通過した各波長光は、互いに異なる位置に結像し、この結果、図９（ｂ）に示すように、それぞれの波長光の結像位置を中心とした各波長（色）のＭＴＦピークが形成される。そして、撮像素子２０２によって取得される画像には、色成分間にてＭＴＦに差が生じる。
【００１２】
図１０（ａ）に示すＭＴＦ特性を持つ光学系を用いた撮像により得られた画像の合焦領域に適用され、ＭＴＦを図１０（ｂ）に示すように回復させるフィルタをデフォーカス領域に適用した場合、図１０（ｄ）に示すように、それぞれの色のＭＴＦがばらつく。これは、前述した式（３）中のＨ−１が合焦領域と同じ割合だけＭＴＦの値を上げるためである。合焦領域と非合焦領域（デフォーカス領域）では、ＯＴＦの形状やＯＴＦのＲＧＢ間の関係が異なることから、デフォーカス領域に対して合焦領域用の補正フィルタをそのまま適用すると、色成分間で不整合が起こってしまう。
【００１３】
図１０（ａ）と図１０（ｃ）とを比較すると、図１０（ｃ）は図１０（ａ）に対して、Ｇ成分とＢ成分のＭＴＦは低下しているが、Ｒ成分のＭＴＦは向上している。このことにより、デフォーカス領域に合焦領域と同じ補正フィルタを適用すると、Ｒ成分に加わる収差回復作用は必要以上に強く、Ｂ成分とＧ成分に加わる収差回復作用は弱くなり、図１０（ｄ）のように色成分間でのＭＴＦの乖離が大きくなる。
【００１４】
この場合、図１１（ａ）に示す画像中のエッジ部の輝度は、図１１（ｂ）に示すように、Ｒ成分の輝度に対してＧ成分とＢ成分の輝度が大きく異なり、色がにじんだようになってしまう。このとき、Ｒ成分のＭＴＦは高くなるが、Ｂ成分とＧ成分のＭＴＦは低いままである。これにより、ＢとＧがエッジ部で目立ち、回復前よりも色にじみが強調されてしまう。
【００１５】
特許文献１にて開示された方法では、ＭＴＦの高い色成分の画像をぼかしてＭＴＦの低い色成分の画像を推定するため、全体の解像度は低下する。
【００１６】
また、特許文献２にて開示された方法では、複数の色画像を取得するために複数回の撮像を順次行うので、色画像間にて時間差が生じ、色成分ごとに被写体の位置や大きさ等が異なる画像が撮像される可能性がある。この場合、これらの複数の色画像をそのまま合成すると、合成画像において色ずれが生じる。また、色成分間に倍率の差が生じ、特に周辺領域で倍率色収差による色ずれが生じる。
【００１７】
さらに、特許文献１，２にて開示されたいずれの方法も、合焦領域の色にじみに対して適用されるものであり、デフォーカス領域の色にじみについての適用は考慮されていない。このため、デフォーカス領域での収差回復後の色にじみに対応することができない。
【００１８】
本発明は、画像回復を行ったときにデフォーカス領域で強調される色にじみを出力画像上で低減することができる画像処理装置、撮像装置および画像処理プログラムを提供する。
【課題を解決するための手段】
【００１９】
本発明の一側面としての画像処理装置は、光学系を用いた、該光学系からの距離が互いに異なる複数の被写体を含むシーンの撮像により得られた入力画像に対して画像処理を行う。該画像処理装置は、入力画像のうちデフォーカス領域に含まれる色収差成分を低減するための色収差補正フィルタおよび該入力画像に含まれるぼけ成分を低減するための画像回復フィルタを取得するフィルタ取得手段と、入力画像に対して、色収差補正フィルタを用いた色収差補正処理および画像回復フィルタを用いた回復処理を行う処理手段とを有する。そして、フィルタ取得手段は、光学系の色収差に関する情報と、撮像における光学系の合焦距離に関する情報および複数の被写体のそれぞれまでの距離に関する情報とを用いて色収差補正フィルタを取得することを特徴とする。
【００２０】
なお、上記画像処理装置を有する撮像装置も、本発明の他の一側面を構成する。
【００２１】
また、本発明の他の一側面としての画像処理プログラムは、コンピュータに、光学系を用いて、該光学系からの距離が互いに異なる複数の被写体を含むシーンの撮像により得られた入力画像を取得するステップと、入力画像のうちデフォーカス領域に含まれる色収差成分を低減するための色収差補正フィルタおよび該入力画像に含まれるぼけ成分を低減するための画像回復フィルタを取得するフィルタ取得ステップと、入力画像に対して、色収差補正フィルタを用いた色収差補正処理および前記画像回復フィルタを用いた画像回復処理を行う処理ステップとを含む画像処理を実行させる。そして、フィルタ取得ステップにおいて、光学系の色収差に関する情報、撮像における光学系の合焦距離に関する情報および複数の被写体のそれぞれまでの距離に関する情報とを用いて色収差補正フィルタを取得することを特徴とする。
【発明の効果】
【００２２】
本発明によれば、入力画像中のデフォーカス領域においても色収差を良好に補正することができるため、回復処理を行った画像のデフォーカス領域での色にじみを低減することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施例１である撮像装置の構成を示したブロック図。
【図２】実施例１における画像処理手順を示したフローチャート。
【図３】実施例１におけるデフォーカス領域中のエッジ部の（ａ）色収差補正処理前、（ｂ）色収差補正処理後および（ｃ）画像回復処理後の輝度変化を示す図。
【図４】実施例１における被写体距離と色収差補正処理および画像回復処理を行う領域との関係を示す図。
【図５】本発明の実施例２である撮像装置における画像処理手順を示したフローチャート。
【図６】本発明の実施例３である撮像装置における画像処理手順を示したフローチャート。
【図７】本発明の実施例４である撮像装置における画像処理手順を示したフローチャート。
【図８】本発明の実施例５である撮像装置における画像処理手順を示したフローチャート。
【図９】光学系で生じる（ａ）軸上色収差と（ｂ）色ごとのＭＴＦとの関係を示す図。
【図１０】合焦領域に最適化したぼけ補正フィルタを合焦領域とデフォーカス領域に適用したときのＭＴＦの変化（（ａ）合焦領域適用前、（ｂ）合焦領域適用後、（ｃ）デフォーカス領域適用前および（ｄ）デフォーカス領域適用後）を示す図。
【図１１】合焦領域に最適化したぼけ補正フィルタをデフォーカス領域に適用したときの画像中のエッジ部の輝度変化（（ａ）適用前および（ｂ）適用後）を示す図。
【発明を実施するための形態】
【００２４】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００２５】
図１には、本発明の実施例１である画像処理装置を備えた（画像処理方法を使用する）デジタルカメラやビデオカメラ等の撮像装置の構成を示している。
【００２６】
不図示の被写体からの光束は、撮像光学系１０１を通って、ＣＣＤセンサやＣＭＯＳセンサ等により構成される撮像素子１０２上に結像する。撮像光学系１０１は、不図示の変倍レンズ（変倍時に移動する変倍レンズユニット）、絞り１０１ａおよびフォーカスレンズ（合焦時に移動するフォーカスレンズユニット）１０１ｂを含む。変倍レンズを光軸方向に移動させることで、撮像光学系１０１の焦点距離を変更するズームが可能である。また、絞り１０１ａは、絞り開口径を増減させて、撮像素子１０２に到達する光量を調節する。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために、撮像光学系制御部１０６によるオートフォーカス（ＡＦ）機能によって光軸方向での位置が制御される。
【００２７】
撮像素子１０２上に形成された被写体像は、該撮像素子１０２により電気信号に変換される。撮像素子１０２からのアナログ出力信号は、Ａ／Ｄコンバータ１０３によりデジタル撮像信号に変換され、画像処理部１０４に入力される。
【００２８】
状態検知部１０７は、撮像光学系１０１の状態（以下、撮像状態という）を検出する。撮像状態とは、例えば、撮像光学系１０１の焦点距離（ズーム位置）、絞り開口径（絞り値、Ｆナンバー）、フォーカスレンズ位置（後述する合焦距離）である。
【００２９】
画像処理部１０４は、入力されたデジタル撮像信号に対して各種処理を行うことでフルカラー入力画像を生成する画像生成部１０４ａと、色収差補正／回復処理部（フィルタ取得手段および処理手段）１０４ｂとを有する。撮像素子１０２から画像生成部１０４ａまでが撮像系に相当する。
【００３０】
色収差補正／回復処理部１０４ｂは、撮像系により生成された入力画像を取得する。また、色収差補正／回復処理部１０４ｂは、色収差補正フィルタを作成することで取得し、入力画像に対して該色収差補正フィルタを用いた色収差補正処理を行う。なお、使用する色収差補正フィルタを、予め後述する記憶部１０８等のメモリに記憶された複数の色収差補正フィルタから選択することで取得してもよい。
【００３１】
ここで、色収差補正処理と後述する画像回復処理は、撮像系により生成されたフルカラー入力画像に対して直接行われるのではなく、フルカラー入力画像からの変換により生成された補正対象色画像（後述するＲ，ＧおよびＢの色画像のうち２つ）に対して行われる。ただし、本発明および実施例では、フルカラー入力画像だけでなく補正対象画像も含めて「入力画像」と表現する。
【００３２】
さらに、色収差補正／回復処理部１０４ｂは、状態検知部１０７により検出された撮像状態に応じてぼけ補正フィルタ（画像回復フィルタ）を作成することで取得し、入力画像に対して該ぼけ補正フィルタを用いた画像回復処理を行う。なお、使用するぼけ補正フィルタを、予め後述する記憶部１０８等のメモリに記憶された複数のぼけ補正フィルタから選択することで取得してもよい。
色収差補正／回復処理部１０４ｂにより、撮像装置内で、入力画像に対して画像処理を行う画像処理装置が構成される。
【００３３】
記憶部１０８には、撮像光学系１０１の色収差に関する情報が撮影画面内での領域ごとに記憶されている。ここでいう色収差に関する情報とは、撮像光学系のズーム位置（焦点距離や変倍レンズの位置）、合焦位置（フォーカスレンズの位置）および絞り値（絞り開口径）等の各撮影状態で各被写体距離での撮影を行う際に発生する色収差の情報である。また、被写体距離（に関する情報）は、撮像光学系で合焦している被写体までの距離（合焦距離）や、その他の非合焦位置（合焦していない位置）の被写体までの距離である。この被写体距離（に関する情報）は、合焦しているか否かを検出する合焦検出装置での検出結果、つまり非合焦である旨の検出結果を示す信号や、合焦位置からどの程度ずれているか（デフォーカス量）を示す信号と置き換えても構わない。
【００３４】
図２には、画像生成部１０４ａおよび色収差補正／回復処理部１０４ｂでそれぞれ行われる撮像処理と色収差補正および画像回復に関する処理（画像処理方法）のフローチャートを示している。画像生成部１０４ａおよび色収差補正／回復処理部１０４ｂを、以下の説明ではまとめて画像処理部１０４という。画像処理部１０４は、画像処理用コンピュータにより構成され、コンピュータプログラムに従ってこれらの処理を実行する。
【００３５】
ステップＳ１１では、画像処理部１０４は、撮像処理として、撮像素子１０２からの出力信号に基づいて原画像としてのＲＧＢフルカラー入力画像を生成する。ここでは、互いに被写体距離が異なる複数の被写体を含むシーンの撮像が行われ、該複数の被写体の画像が入力画像に含まれている場合について説明する。
【００３６】
ステップＳ１２では、画像処理部１０４は、撮像時における撮像光学系１０１の合焦距離、すなわち撮像光学系１０１から該撮像光学系１０１のピントが合う位置までの距離に関する情報を取得する。また、画像処理部１０４は、撮像装置（撮像光学系１０１）から上記複数の被写体のそれぞれまでの距離（被写体距離）に関する情報も取得する。ここで、被写体距離に関する情報は、測距センサ１２０の投光部から各被写体に向けて補助光を照射し、その反射光を測距センサ１２０の受光部で受光して三角測量を行うことにより取得できる。ただし、被写体距離に関する情報を、これ以外の方法により取得してもよい。
【００３７】
また、ステップＳ１３では、画像処理部１０４は、入力画像を複数（ここでは３つ）の色画像としてのＲ画像、Ｇ画像およびＢ画像に変換する。なお、本実施例では、入力画像をＲＧＢ空間の色画像に変換する場合について説明するが、ＹＣＣ空間等、ＲＧＢ空間とは異なる色空間の色画像に変換してもよい。
【００３８】
次に、ステップＳ１４では、画像処理部１０４は、入力画像（撮影画面）における各被写体が存在する領域を検出するとともに、各被写体が存在する領域に応じた撮像光学系１０１の色収差に関する情報を、記憶部１０８から読み出す。
【００３９】
そして、画像処理部１０４は、該色収差に関する情報と、ステップＳ１２にて取得した合焦距離に関する情報および被写体距離に関する情報とを用いて、入力画像中のデフォーカス領域に含まれる色収差成分を低減（補正）するための色収差補正フィルタを作成する。色収差補正フィルタは、Ｒ、ＧおよびＢ画像のうち２つの色画像（以下、補正対象色画像という）に対してそれぞれ作成され、これらの色収差補正フィルタは互いに異なるフィルタとなる。
【００４０】
なお、デフォーカス（Ｏｕｔ ｆｏｃｕｓ）領域は、被写体距離と合焦距離との差が所定量を超える領域である。また、被写体距離と合焦距離との差が所定量以下である領域を、合焦（Ｉｎ ｆｏｃｕｓ）領域という。
【００４１】
さらに、画像処理部１０４は、撮像時の撮像状態に対応する画像回復フィルタを作成する。このぼけ補正フィルタは、入力画像中の合焦領域に適用され、該入力画像に含まれるぼけ成分を低減（補正）するために用いられるフィルタである。
【００４２】
そして、ステップＳ１５では、画像処理部１０４は、２つの補正対象色画像に対して、該色画像に対応する色収差補正フィルタを適用することで、デフォーカス領域のＲＧＢ間の色収差を補正するための色収差補正処理を行う。これにより、図３（ａ）に示すように色収差補正処理前において大きかったＲＧＢ間でのＰＳＦ形状の差を、図３（ｂ）のように低減させることができる。
【００４３】
色収差補正フィルタが作成される補正対象色画像としては、Ｒ、ＧおよびＢ画像のうちいずれの２つを選択してもよい。ただし、例えば、Ｒのように色収差補正処理前において最もＭＴＦが高い色を基準色とし、該基準色の色画像（基準色画像）以外の２つの色画像を選択することが好ましい。この場合、ぼけ補正フィルタは、基準色のＰＳＦより得られた合焦距離に最適化される。
【００４４】
ステップＳ１６では、ステップＳ１５での色収差補正処理によりＰＳＦ形状の差が低減されたＲ、ＧおよびＢ画像に対してぼけ補正フィルタを適用することで画像回復処理を行い、図３（ｃ）に示すようにぼけ成分を低減する。すなわち、色収差が低減されてＭＴＦの色成分間の差がほとんど無くなった各色画像に対して、共通のぼけ補正フィルタを適用する。これにより、いずれか１つの色画像のみに対して他の色画像に比べて画像回復作用が強く又は弱くならず、回復画像処理によって色にじみが強調されることを回避できる。しかも、合焦領域に最適化されたぼけ補正フィルタを用いることで、デフォーカス領域までが過度に回復されて、デフォーカス感（ぼけ味）が失われることを回避できる。
【００４５】
ステップＳ１７では、画像処理部１０４は、基準色画像と、色収差補正処理および画像回復処理がなされた補正対象色画像とを合成して補正画像を作成し、記録媒体１０９に記憶したり、撮像装置に設けられた表示部１０５に表示したりする。また、パーソナルコンピュータやプリンタ等の外部機器に出力してもよい。
【００４６】
以上のように、本実施例では、撮像時おいて入力画像に含まれる複数の被写体のそれぞれの被写体距離を取得する。そして、該被写体距離に応じた色収差に関する情報を用いて、画像回復処理によって強調される色にじみを低減する。
【００４７】
図４には、本実施例において、入力画像（色画像）中の被写体距離と色収差補正フィルタとぼけ補正フィルタを適用する領域との関係を示している。合焦距離を中心とした焦点深度の範囲が合焦領域に相当する。合焦領域から外れたデフォーカス領域において、被写体距離と合焦距離との差がある程度の範囲までの領域（つまりは、ぼけの程度が小さい領域）では色収差が目立つ。この領域を色にじみ強調領域という。さらに、被写体距離と合焦距離との差がより大きい領域では、ぼけが大きくなって色収差が目立たなくなる。この領域を、色にじみ不可視領域という。
【００４８】
このことから、色収差補正フィルタは、合焦領域と色にじみ不可視領域との間の色にじみ強調領域に適用する必要がある。このため、本実施例では、色にじみ強調領域に相当する被写体距離に対応する色収差補正フィルタを作成し、さらに画像全体に被写体距離にかかわらず合焦距離に最適化したぼけ補正フィルタを適用する。これにより、入力画像中のデフォーカス領域において色収差を良好に補正することができ、画像回復処理を行った補正画像のデフォーカス領域での色にじみを低減することができる。
【実施例２】
【００４９】
図５には、本発明の実施例２である撮像装置において画像処理部１０４にて行われる撮像処理と色収差補正および画像回復に関する処理（画像処理方法）のフローチャートを示している。なお、撮像装置の構成は実施例１と同じであり、共通する構成要素には実施例１と同符号を付す。
【００５０】
ステップＳ１１〜１３およびステップＳ１７については、実施例１と同じである。
【００５１】
ステップＳ２１において、画像処理部１０４は、入力画像における各被写体が存在する領域を検出するとともに、各被写体が存在する領域に応じた撮像光学系１０１の色収差に関する情報を、記憶部１０８から読み出す。そして、画像処理部１０４は、該色収差に関する情報と、合焦距離に関する情報および被写体距離に関する情報とを用いて、デフォーカス領域用の色収差補正機能と合焦距離に最適化したぼけ補正機能とを併せ持つ色収差／ぼけ補正フィルタを作成する。色収差／ぼけ補正フィルタは、Ｒ、ＧおよびＢ画像のそれぞれに対して作成され、これらの色収差／ぼけ補正フィルタは互いに異なるフィルタとなる。
【００５２】
ステップＳ２２では、画像処理部１０４は、色画像ごとに作成した色収差／ぼけ補正フィルタを各色画像に適用して、各色画像に対して１度のフィルタ適用によって色収差（色にじみ）成分とぼけ成分が低減された色画像を生成する。そして、ステップＳ１７にて補正画像を得る。
【実施例３】
【００５３】
図６には、本発明の実施例３である撮像装置において画像処理部１０４にて行われる撮像処理と色収差補正および画像回復に関する処理（画像処理方法）のフローチャートを示している。なお、撮像装置の構成は実施例１と同じであり、共通する構成要素には実施例１と同符号を付す。
【００５４】
ステップＳ１１〜Ｓ１４およびステップＳ１７については、実施例１と同じである。画像処理部１０４は、ステップＳ３１において、ステップＳ１３で入力画像から変換されたＲ、ＧおよびＢ画像に対し、ステップＳ１４で作成されたデフォーカス領域と合焦領域に共通であり、合焦領域に最適化したぼけ補正フィルタを適用して画像回復処理を行う。この画像回復処理により、デフォーカス領域に色収差があった場合には、色にじみが強調される。
【００５５】
このとき画像の色にじみは、撮像光学系１０１の色収差のみではなく、合焦距離に最適化されたぼけ補正フィルタにより強調された成分も含まれている。そこで、画像処理部１０４は、ステップＳ３２において、合焦距離に最適化したぼけ補正フィルタを用いて、ステップＳ１４にて作成されたデフォーカス領域用の色収差補正フィルタを補正する。
【００５６】
そして、ステップＳ３３にて、該補正された色収差補正フィルタを画像回復処理後の画像に適用して色収差補正処理を行う。こうして、ステップＳ１７にて補正画像を得る。これにより、ぼけ味を損なうことなく、色にじみを良好に低減させた補正画像を得ることができる。
【実施例４】
【００５７】
図７には、本発明の実施例４である撮像装置において画像処理部１０４にて行われる撮像処理と色収差補正および画像回復に関する処理（画像処理方法）のフローチャートを示している。なお、撮像装置の構成は実施例１と同じであり、共通する構成要素には実施例１と同符号を付す。
【００５８】
ステップＳ１１〜Ｓ１３については、実施例１と同じである。画像処理部１０４は、ステップＳ４１において、色収差に関する情報と、ステップＳ１２にて取得された合焦距離に関する情報および被写体距離に関する情報を用いてデフォーカス領域用の色収差補正フィルタを作成する。そして、ステップＳ１５にて、ステップＳ１３で入力画像から変換されたＲ、ＧおよびＢ画像に対して該色収差補正フィルタを適用して色収差補正処理を行う。
【００５９】
ステップＳ４２では、色収差補正処理後のＲ、ＧおよびＢ画像をＹＣＲＣＢ空間の画像に変換する。
【００６０】
また、画像処理部１０４は、前述したステップＳ４１において、ＹＣＲＣＢ空間にて合焦領域に最適化したぼけ補正フィルタを作成する。そして、ステップＳ１６で、ぼけ補正フィルタを用いた画像回復処理を行う。
【００６１】
ステップＳ４３では、画像回復処理後のＹＣＲＣＢ空間の画像をＲＧＢ空間の画像に再変換する。
【００６２】
本実施例によれば、ＲＧＢ空間の画像をＹＣＲＣＢ空間の画像に変換して色情報をカットしてから画像回復処理を行うので、画像回復処理による色にじみ量の増加を回避することができる。これにより、ステップＳ１７にて、色ずれがほとんど無い補正画像を得ることができる。
【実施例５】
【００６３】
図８には、本発明の実施例５である撮像装置において画像処理部１０４にて行われる撮像処理と色収差補正および画像回復に関する処理（画像処理方法）のフローチャートを示している。なお、撮像装置の構成は実施例１と同じであり、共通する構成要素には実施例１と同符号を付す。
【００６４】
ステップＳ１１〜Ｓ１３およびステップＳ１７については、実施例１と同じである。画像処理部１０４は、ステップＳ５１において、ステップＳ１３で入力画像から変換されたＲ、ＧおよびＢ画像を、ＹＣＲＣＢ空間の画像に変換する。
【００６５】
画像処理部１０４は、ステップＳ５２において、デフォーカス領域と合焦領域に共通のフィルタであって、ＹＣＲＣＢ空間にて合焦領域に最適化したぼけ補正フィルタを作成する。そして、ステップＳ５３において、画像処理部１０４は、ぼけ補正フィルタをＹＣＲＣＢ空間の画像に適用して画像回復処理を行う。画像回復処理を行った色空間がＹＣＲＣＢ空間であり、ＲＧＢ空間ではないので、ＲＧＢ空間にて生じていた色にじみの強調は低減されて残っている。
【００６６】
画像処理部１０４は、前述したステップＳ５２において、色収差に関する情報と、ステップＳ１２にて取得された合焦距離に関する情報および被写体距離に関する情報を用いてデフォーカス領域用の色収差補正フィルタを作成する。そして、画像処理部１０４は、ステップＳ５４において、ぼけ補正フィルタを用いて色収差補正フィルタを補正する。
【００６７】
ステップＳ５５では、該補正された色収差補正フィルタをステップＳ５３での画像回復処理後の画像に適用して色収差補正処理を行う。この後、ステップＳ５６では、画像処理部１０４は、色収差補正処理後のＹＣＲＣＢ空間の画像をＲＧＢ空間の画像に再変換する。こうして、ステップＳ１７にて、デフォーカス領域の色にじみが低減された補正画像を得ることができる。
【００６８】
実施例４，５において、Ｒ、ＧおよびＢ画像を変換する色空間はＹＣＲＣＢ空間以外の色空間であってもよい。
【００６９】
上記各実施例では、本発明の画像処理方法を使用する（画像処理装置を搭載した）撮像装置について説明したが、本発明の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが本発明の画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の画像（入力画像）を取得し、画像処理プログラムによって色収差補正処理および画像回復処理を行って、その結果得られた画像を出力する。
【００７０】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【００７１】
画像回復を行ったときにデフォーカス領域で生じる色にじみの強調を出力画像上で低減できる画像処理装置を提供できる。
【符号の説明】
【００７２】
１０１ 光学系
１０２ 光軸
１０３ 固体撮像素子
【技術分野】
【０００１】
本発明は、画像に含まれる色収差成分とぼけ成分を低減する画像処理技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置により被写体を撮像して得られた画像には、撮像光学系（以下、単に光学系という）の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。
【０００３】
ここにいうぼけ成分は、光学的には、点像分布関数（ＰＳＦ）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。
【０００４】
画像のぼけ成分を補正する方法として、光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正するものが知られている。この方法は、画像回復や画像復元と呼ばれており、以下、この光学系の光学伝達関数（ＯＴＦ）の情報を用いて画像のぼけ成分を補正（低減）する処理を画像回復処理と称する。
【０００５】
画像回復処理の概要は以下の通りである。ぼけ成分を含む劣化画像（入力画像）をｇ（ｘ，ｙ）とし、劣化していない元の画像をｆ（ｘ，ｙ）とする。また、光学伝達関数のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする。このとき、以下の式が成り立つ。ただし、＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） …（１）
また、上記式をフーリエ変換により２次元周波数面での表示形式に変換すると、以下の式のように、周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）をフーリエ変換したものであり、光学伝達関数（ＯＴＦ）である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） …（２）
劣化画像から元の画像を得るためには、以下のように、両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） …（３）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。
【０００６】
ここで、Ｈ−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） …（４）
このＲ（ｘ，ｙ）を、画像回復フィルタという。実際の画像にはノイズ成分があるため、上記のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい、一般には良好な画像は得られない。この点については、例えばウィーナーフィルタ（Wiener filter）のように画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する方法が知られている。画像の色にじみ成分の劣化は、例えば、上記のぼけ成分の補正により画像の色成分ごとのぼけ量が均一になれば補正されたことになる。
【０００７】
軸上色収差の色ずれを補正する方法が特許文献１にて開示されている。軸上色収差によって色成分ごとにＭＴＦのピーク位置が異なるため、色ごとにＭＴＦに差が生まれる。ＭＴＦの低い色成分の画像はＭＴＦの高い色成分の画像に対してにじみ、色にじみが生じる。そこで、特許文献１にて開示された方法では、ＭＴＦの高い色成分の画像を用いて、ＭＴＦの低い色成分の画像をＭＴＦ特性の色の間の差が無くなるように推定し、色ずれを低減する。
【０００８】
また、特許文献２には、以下のような色にじみの補正方法が開示されている。撮像素子と光学系の光軸方向に相対移動させて、それぞれの色成分のピーク波長の結像位置がセンサ上に位置したときに撮像を行い、複数の色画像を取り込む。そして、取り込んだ複数の色画像を１つの画像に合成して出力する。これにより、色成分間の結像特性の差がなくなり、合成画像における色にじみが低減される。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００７-０２８０４０号公報
【特許文献２】特開２００８-０８５７７３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
色にじみの補正に用いる補正フィルタは、通常は撮像装置の光学系が合焦している状態に対して最適化されている。このため、該フィルタを、画像中のデフォーカスした領域に補正フィルタを適用すると、合焦した領域とは異なった補正が行われる。例えば、被写体距離が合焦距離である合焦領域と該合焦距離とは異なる被写体距離のデフォーカス領域とでは色収差が異なる。特に軸上色収差が生じである場合は、光軸方向のＭＴＦ特性において、色成分のそれぞれが分離してＭＴＦピークが形成される。
【００１１】
図９（ａ）は、軸上色収差を持つ光学系から射出した白色光が、波長ごとに分離されている様子を示している。光学系２０１を通過した各波長光は、互いに異なる位置に結像し、この結果、図９（ｂ）に示すように、それぞれの波長光の結像位置を中心とした各波長（色）のＭＴＦピークが形成される。そして、撮像素子２０２によって取得される画像には、色成分間にてＭＴＦに差が生じる。
【００１２】
図１０（ａ）に示すＭＴＦ特性を持つ光学系を用いた撮像により得られた画像の合焦領域に適用され、ＭＴＦを図１０（ｂ）に示すように回復させるフィルタをデフォーカス領域に適用した場合、図１０（ｄ）に示すように、それぞれの色のＭＴＦがばらつく。これは、前述した式（３）中のＨ−１が合焦領域と同じ割合だけＭＴＦの値を上げるためである。合焦領域と非合焦領域（デフォーカス領域）では、ＯＴＦの形状やＯＴＦのＲＧＢ間の関係が異なることから、デフォーカス領域に対して合焦領域用の補正フィルタをそのまま適用すると、色成分間で不整合が起こってしまう。
【００１３】
図１０（ａ）と図１０（ｃ）とを比較すると、図１０（ｃ）は図１０（ａ）に対して、Ｇ成分とＢ成分のＭＴＦは低下しているが、Ｒ成分のＭＴＦは向上している。このことにより、デフォーカス領域に合焦領域と同じ補正フィルタを適用すると、Ｒ成分に加わる収差回復作用は必要以上に強く、Ｂ成分とＧ成分に加わる収差回復作用は弱くなり、図１０（ｄ）のように色成分間でのＭＴＦの乖離が大きくなる。
【００１４】
この場合、図１１（ａ）に示す画像中のエッジ部の輝度は、図１１（ｂ）に示すように、Ｒ成分の輝度に対してＧ成分とＢ成分の輝度が大きく異なり、色がにじんだようになってしまう。このとき、Ｒ成分のＭＴＦは高くなるが、Ｂ成分とＧ成分のＭＴＦは低いままである。これにより、ＢとＧがエッジ部で目立ち、回復前よりも色にじみが強調されてしまう。
【００１５】
特許文献１にて開示された方法では、ＭＴＦの高い色成分の画像をぼかしてＭＴＦの低い色成分の画像を推定するため、全体の解像度は低下する。
【００１６】
また、特許文献２にて開示された方法では、複数の色画像を取得するために複数回の撮像を順次行うので、色画像間にて時間差が生じ、色成分ごとに被写体の位置や大きさ等が異なる画像が撮像される可能性がある。この場合、これらの複数の色画像をそのまま合成すると、合成画像において色ずれが生じる。また、色成分間に倍率の差が生じ、特に周辺領域で倍率色収差による色ずれが生じる。
【００１７】
さらに、特許文献１，２にて開示されたいずれの方法も、合焦領域の色にじみに対して適用されるものであり、デフォーカス領域の色にじみについての適用は考慮されていない。このため、デフォーカス領域での収差回復後の色にじみに対応することができない。
【００１８】
本発明は、画像回復を行ったときにデフォーカス領域で強調される色にじみを出力画像上で低減することができる画像処理装置、撮像装置および画像処理プログラムを提供する。
【課題を解決するための手段】
【００１９】
本発明の一側面としての画像処理装置は、光学系を用いた、該光学系からの距離が互いに異なる複数の被写体を含むシーンの撮像により得られた入力画像に対して画像処理を行う。該画像処理装置は、入力画像のうちデフォーカス領域に含まれる色収差成分を低減するための色収差補正フィルタおよび該入力画像に含まれるぼけ成分を低減するための画像回復フィルタを取得するフィルタ取得手段と、入力画像に対して、色収差補正フィルタを用いた色収差補正処理および画像回復フィルタを用いた回復処理を行う処理手段とを有する。そして、フィルタ取得手段は、光学系の色収差に関する情報と、撮像における光学系の合焦距離に関する情報および複数の被写体のそれぞれまでの距離に関する情報とを用いて色収差補正フィルタを取得することを特徴とする。
【００２０】
なお、上記画像処理装置を有する撮像装置も、本発明の他の一側面を構成する。
【００２１】
また、本発明の他の一側面としての画像処理プログラムは、コンピュータに、光学系を用いて、該光学系からの距離が互いに異なる複数の被写体を含むシーンの撮像により得られた入力画像を取得するステップと、入力画像のうちデフォーカス領域に含まれる色収差成分を低減するための色収差補正フィルタおよび該入力画像に含まれるぼけ成分を低減するための画像回復フィルタを取得するフィルタ取得ステップと、入力画像に対して、色収差補正フィルタを用いた色収差補正処理および前記画像回復フィルタを用いた画像回復処理を行う処理ステップとを含む画像処理を実行させる。そして、フィルタ取得ステップにおいて、光学系の色収差に関する情報、撮像における光学系の合焦距離に関する情報および複数の被写体のそれぞれまでの距離に関する情報とを用いて色収差補正フィルタを取得することを特徴とする。
【発明の効果】
【００２２】
本発明によれば、入力画像中のデフォーカス領域においても色収差を良好に補正することができるため、回復処理を行った画像のデフォーカス領域での色にじみを低減することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施例１である撮像装置の構成を示したブロック図。
【図２】実施例１における画像処理手順を示したフローチャート。
【図３】実施例１におけるデフォーカス領域中のエッジ部の（ａ）色収差補正処理前、（ｂ）色収差補正処理後および（ｃ）画像回復処理後の輝度変化を示す図。
【図４】実施例１における被写体距離と色収差補正処理および画像回復処理を行う領域との関係を示す図。
【図５】本発明の実施例２である撮像装置における画像処理手順を示したフローチャート。
【図６】本発明の実施例３である撮像装置における画像処理手順を示したフローチャート。
【図７】本発明の実施例４である撮像装置における画像処理手順を示したフローチャート。
【図８】本発明の実施例５である撮像装置における画像処理手順を示したフローチャート。
【図９】光学系で生じる（ａ）軸上色収差と（ｂ）色ごとのＭＴＦとの関係を示す図。
【図１０】合焦領域に最適化したぼけ補正フィルタを合焦領域とデフォーカス領域に適用したときのＭＴＦの変化（（ａ）合焦領域適用前、（ｂ）合焦領域適用後、（ｃ）デフォーカス領域適用前および（ｄ）デフォーカス領域適用後）を示す図。
【図１１】合焦領域に最適化したぼけ補正フィルタをデフォーカス領域に適用したときの画像中のエッジ部の輝度変化（（ａ）適用前および（ｂ）適用後）を示す図。
【発明を実施するための形態】
【００２４】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００２５】
図１には、本発明の実施例１である画像処理装置を備えた（画像処理方法を使用する）デジタルカメラやビデオカメラ等の撮像装置の構成を示している。
【００２６】
不図示の被写体からの光束は、撮像光学系１０１を通って、ＣＣＤセンサやＣＭＯＳセンサ等により構成される撮像素子１０２上に結像する。撮像光学系１０１は、不図示の変倍レンズ（変倍時に移動する変倍レンズユニット）、絞り１０１ａおよびフォーカスレンズ（合焦時に移動するフォーカスレンズユニット）１０１ｂを含む。変倍レンズを光軸方向に移動させることで、撮像光学系１０１の焦点距離を変更するズームが可能である。また、絞り１０１ａは、絞り開口径を増減させて、撮像素子１０２に到達する光量を調節する。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために、撮像光学系制御部１０６によるオートフォーカス（ＡＦ）機能によって光軸方向での位置が制御される。
【００２７】
撮像素子１０２上に形成された被写体像は、該撮像素子１０２により電気信号に変換される。撮像素子１０２からのアナログ出力信号は、Ａ／Ｄコンバータ１０３によりデジタル撮像信号に変換され、画像処理部１０４に入力される。
【００２８】
状態検知部１０７は、撮像光学系１０１の状態（以下、撮像状態という）を検出する。撮像状態とは、例えば、撮像光学系１０１の焦点距離（ズーム位置）、絞り開口径（絞り値、Ｆナンバー）、フォーカスレンズ位置（後述する合焦距離）である。
【００２９】
画像処理部１０４は、入力されたデジタル撮像信号に対して各種処理を行うことでフルカラー入力画像を生成する画像生成部１０４ａと、色収差補正／回復処理部（フィルタ取得手段および処理手段）１０４ｂとを有する。撮像素子１０２から画像生成部１０４ａまでが撮像系に相当する。
【００３０】
色収差補正／回復処理部１０４ｂは、撮像系により生成された入力画像を取得する。また、色収差補正／回復処理部１０４ｂは、色収差補正フィルタを作成することで取得し、入力画像に対して該色収差補正フィルタを用いた色収差補正処理を行う。なお、使用する色収差補正フィルタを、予め後述する記憶部１０８等のメモリに記憶された複数の色収差補正フィルタから選択することで取得してもよい。
【００３１】
ここで、色収差補正処理と後述する画像回復処理は、撮像系により生成されたフルカラー入力画像に対して直接行われるのではなく、フルカラー入力画像からの変換により生成された補正対象色画像（後述するＲ，ＧおよびＢの色画像のうち２つ）に対して行われる。ただし、本発明および実施例では、フルカラー入力画像だけでなく補正対象画像も含めて「入力画像」と表現する。
【００３２】
さらに、色収差補正／回復処理部１０４ｂは、状態検知部１０７により検出された撮像状態に応じてぼけ補正フィルタ（画像回復フィルタ）を作成することで取得し、入力画像に対して該ぼけ補正フィルタを用いた画像回復処理を行う。なお、使用するぼけ補正フィルタを、予め後述する記憶部１０８等のメモリに記憶された複数のぼけ補正フィルタから選択することで取得してもよい。
色収差補正／回復処理部１０４ｂにより、撮像装置内で、入力画像に対して画像処理を行う画像処理装置が構成される。
【００３３】
記憶部１０８には、撮像光学系１０１の色収差に関する情報が撮影画面内での領域ごとに記憶されている。ここでいう色収差に関する情報とは、撮像光学系のズーム位置（焦点距離や変倍レンズの位置）、合焦位置（フォーカスレンズの位置）および絞り値（絞り開口径）等の各撮影状態で各被写体距離での撮影を行う際に発生する色収差の情報である。また、被写体距離（に関する情報）は、撮像光学系で合焦している被写体までの距離（合焦距離）や、その他の非合焦位置（合焦していない位置）の被写体までの距離である。この被写体距離（に関する情報）は、合焦しているか否かを検出する合焦検出装置での検出結果、つまり非合焦である旨の検出結果を示す信号や、合焦位置からどの程度ずれているか（デフォーカス量）を示す信号と置き換えても構わない。
【００３４】
図２には、画像生成部１０４ａおよび色収差補正／回復処理部１０４ｂでそれぞれ行われる撮像処理と色収差補正および画像回復に関する処理（画像処理方法）のフローチャートを示している。画像生成部１０４ａおよび色収差補正／回復処理部１０４ｂを、以下の説明ではまとめて画像処理部１０４という。画像処理部１０４は、画像処理用コンピュータにより構成され、コンピュータプログラムに従ってこれらの処理を実行する。
【００３５】
ステップＳ１１では、画像処理部１０４は、撮像処理として、撮像素子１０２からの出力信号に基づいて原画像としてのＲＧＢフルカラー入力画像を生成する。ここでは、互いに被写体距離が異なる複数の被写体を含むシーンの撮像が行われ、該複数の被写体の画像が入力画像に含まれている場合について説明する。
【００３６】
ステップＳ１２では、画像処理部１０４は、撮像時における撮像光学系１０１の合焦距離、すなわち撮像光学系１０１から該撮像光学系１０１のピントが合う位置までの距離に関する情報を取得する。また、画像処理部１０４は、撮像装置（撮像光学系１０１）から上記複数の被写体のそれぞれまでの距離（被写体距離）に関する情報も取得する。ここで、被写体距離に関する情報は、測距センサ１２０の投光部から各被写体に向けて補助光を照射し、その反射光を測距センサ１２０の受光部で受光して三角測量を行うことにより取得できる。ただし、被写体距離に関する情報を、これ以外の方法により取得してもよい。
【００３７】
また、ステップＳ１３では、画像処理部１０４は、入力画像を複数（ここでは３つ）の色画像としてのＲ画像、Ｇ画像およびＢ画像に変換する。なお、本実施例では、入力画像をＲＧＢ空間の色画像に変換する場合について説明するが、ＹＣＣ空間等、ＲＧＢ空間とは異なる色空間の色画像に変換してもよい。
【００３８】
次に、ステップＳ１４では、画像処理部１０４は、入力画像（撮影画面）における各被写体が存在する領域を検出するとともに、各被写体が存在する領域に応じた撮像光学系１０１の色収差に関する情報を、記憶部１０８から読み出す。
【００３９】
そして、画像処理部１０４は、該色収差に関する情報と、ステップＳ１２にて取得した合焦距離に関する情報および被写体距離に関する情報とを用いて、入力画像中のデフォーカス領域に含まれる色収差成分を低減（補正）するための色収差補正フィルタを作成する。色収差補正フィルタは、Ｒ、ＧおよびＢ画像のうち２つの色画像（以下、補正対象色画像という）に対してそれぞれ作成され、これらの色収差補正フィルタは互いに異なるフィルタとなる。
【００４０】
なお、デフォーカス（Ｏｕｔ ｆｏｃｕｓ）領域は、被写体距離と合焦距離との差が所定量を超える領域である。また、被写体距離と合焦距離との差が所定量以下である領域を、合焦（Ｉｎ ｆｏｃｕｓ）領域という。
【００４１】
さらに、画像処理部１０４は、撮像時の撮像状態に対応する画像回復フィルタを作成する。このぼけ補正フィルタは、入力画像中の合焦領域に適用され、該入力画像に含まれるぼけ成分を低減（補正）するために用いられるフィルタである。
【００４２】
そして、ステップＳ１５では、画像処理部１０４は、２つの補正対象色画像に対して、該色画像に対応する色収差補正フィルタを適用することで、デフォーカス領域のＲＧＢ間の色収差を補正するための色収差補正処理を行う。これにより、図３（ａ）に示すように色収差補正処理前において大きかったＲＧＢ間でのＰＳＦ形状の差を、図３（ｂ）のように低減させることができる。
【００４３】
色収差補正フィルタが作成される補正対象色画像としては、Ｒ、ＧおよびＢ画像のうちいずれの２つを選択してもよい。ただし、例えば、Ｒのように色収差補正処理前において最もＭＴＦが高い色を基準色とし、該基準色の色画像（基準色画像）以外の２つの色画像を選択することが好ましい。この場合、ぼけ補正フィルタは、基準色のＰＳＦより得られた合焦距離に最適化される。
【００４４】
ステップＳ１６では、ステップＳ１５での色収差補正処理によりＰＳＦ形状の差が低減されたＲ、ＧおよびＢ画像に対してぼけ補正フィルタを適用することで画像回復処理を行い、図３（ｃ）に示すようにぼけ成分を低減する。すなわち、色収差が低減されてＭＴＦの色成分間の差がほとんど無くなった各色画像に対して、共通のぼけ補正フィルタを適用する。これにより、いずれか１つの色画像のみに対して他の色画像に比べて画像回復作用が強く又は弱くならず、回復画像処理によって色にじみが強調されることを回避できる。しかも、合焦領域に最適化されたぼけ補正フィルタを用いることで、デフォーカス領域までが過度に回復されて、デフォーカス感（ぼけ味）が失われることを回避できる。
【００４５】
ステップＳ１７では、画像処理部１０４は、基準色画像と、色収差補正処理および画像回復処理がなされた補正対象色画像とを合成して補正画像を作成し、記録媒体１０９に記憶したり、撮像装置に設けられた表示部１０５に表示したりする。また、パーソナルコンピュータやプリンタ等の外部機器に出力してもよい。
【００４６】
以上のように、本実施例では、撮像時おいて入力画像に含まれる複数の被写体のそれぞれの被写体距離を取得する。そして、該被写体距離に応じた色収差に関する情報を用いて、画像回復処理によって強調される色にじみを低減する。
【００４７】
図４には、本実施例において、入力画像（色画像）中の被写体距離と色収差補正フィルタとぼけ補正フィルタを適用する領域との関係を示している。合焦距離を中心とした焦点深度の範囲が合焦領域に相当する。合焦領域から外れたデフォーカス領域において、被写体距離と合焦距離との差がある程度の範囲までの領域（つまりは、ぼけの程度が小さい領域）では色収差が目立つ。この領域を色にじみ強調領域という。さらに、被写体距離と合焦距離との差がより大きい領域では、ぼけが大きくなって色収差が目立たなくなる。この領域を、色にじみ不可視領域という。
【００４８】
このことから、色収差補正フィルタは、合焦領域と色にじみ不可視領域との間の色にじみ強調領域に適用する必要がある。このため、本実施例では、色にじみ強調領域に相当する被写体距離に対応する色収差補正フィルタを作成し、さらに画像全体に被写体距離にかかわらず合焦距離に最適化したぼけ補正フィルタを適用する。これにより、入力画像中のデフォーカス領域において色収差を良好に補正することができ、画像回復処理を行った補正画像のデフォーカス領域での色にじみを低減することができる。
【実施例２】
【００４９】
図５には、本発明の実施例２である撮像装置において画像処理部１０４にて行われる撮像処理と色収差補正および画像回復に関する処理（画像処理方法）のフローチャートを示している。なお、撮像装置の構成は実施例１と同じであり、共通する構成要素には実施例１と同符号を付す。
【００５０】
ステップＳ１１〜１３およびステップＳ１７については、実施例１と同じである。
【００５１】
ステップＳ２１において、画像処理部１０４は、入力画像における各被写体が存在する領域を検出するとともに、各被写体が存在する領域に応じた撮像光学系１０１の色収差に関する情報を、記憶部１０８から読み出す。そして、画像処理部１０４は、該色収差に関する情報と、合焦距離に関する情報および被写体距離に関する情報とを用いて、デフォーカス領域用の色収差補正機能と合焦距離に最適化したぼけ補正機能とを併せ持つ色収差／ぼけ補正フィルタを作成する。色収差／ぼけ補正フィルタは、Ｒ、ＧおよびＢ画像のそれぞれに対して作成され、これらの色収差／ぼけ補正フィルタは互いに異なるフィルタとなる。
【００５２】
ステップＳ２２では、画像処理部１０４は、色画像ごとに作成した色収差／ぼけ補正フィルタを各色画像に適用して、各色画像に対して１度のフィルタ適用によって色収差（色にじみ）成分とぼけ成分が低減された色画像を生成する。そして、ステップＳ１７にて補正画像を得る。
【実施例３】
【００５３】
図６には、本発明の実施例３である撮像装置において画像処理部１０４にて行われる撮像処理と色収差補正および画像回復に関する処理（画像処理方法）のフローチャートを示している。なお、撮像装置の構成は実施例１と同じであり、共通する構成要素には実施例１と同符号を付す。
【００５４】
ステップＳ１１〜Ｓ１４およびステップＳ１７については、実施例１と同じである。画像処理部１０４は、ステップＳ３１において、ステップＳ１３で入力画像から変換されたＲ、ＧおよびＢ画像に対し、ステップＳ１４で作成されたデフォーカス領域と合焦領域に共通であり、合焦領域に最適化したぼけ補正フィルタを適用して画像回復処理を行う。この画像回復処理により、デフォーカス領域に色収差があった場合には、色にじみが強調される。
【００５５】
このとき画像の色にじみは、撮像光学系１０１の色収差のみではなく、合焦距離に最適化されたぼけ補正フィルタにより強調された成分も含まれている。そこで、画像処理部１０４は、ステップＳ３２において、合焦距離に最適化したぼけ補正フィルタを用いて、ステップＳ１４にて作成されたデフォーカス領域用の色収差補正フィルタを補正する。
【００５６】
そして、ステップＳ３３にて、該補正された色収差補正フィルタを画像回復処理後の画像に適用して色収差補正処理を行う。こうして、ステップＳ１７にて補正画像を得る。これにより、ぼけ味を損なうことなく、色にじみを良好に低減させた補正画像を得ることができる。
【実施例４】
【００５７】
図７には、本発明の実施例４である撮像装置において画像処理部１０４にて行われる撮像処理と色収差補正および画像回復に関する処理（画像処理方法）のフローチャートを示している。なお、撮像装置の構成は実施例１と同じであり、共通する構成要素には実施例１と同符号を付す。
【００５８】
ステップＳ１１〜Ｓ１３については、実施例１と同じである。画像処理部１０４は、ステップＳ４１において、色収差に関する情報と、ステップＳ１２にて取得された合焦距離に関する情報および被写体距離に関する情報を用いてデフォーカス領域用の色収差補正フィルタを作成する。そして、ステップＳ１５にて、ステップＳ１３で入力画像から変換されたＲ、ＧおよびＢ画像に対して該色収差補正フィルタを適用して色収差補正処理を行う。
【００５９】
ステップＳ４２では、色収差補正処理後のＲ、ＧおよびＢ画像をＹＣＲＣＢ空間の画像に変換する。
【００６０】
また、画像処理部１０４は、前述したステップＳ４１において、ＹＣＲＣＢ空間にて合焦領域に最適化したぼけ補正フィルタを作成する。そして、ステップＳ１６で、ぼけ補正フィルタを用いた画像回復処理を行う。
【００６１】
ステップＳ４３では、画像回復処理後のＹＣＲＣＢ空間の画像をＲＧＢ空間の画像に再変換する。
【００６２】
本実施例によれば、ＲＧＢ空間の画像をＹＣＲＣＢ空間の画像に変換して色情報をカットしてから画像回復処理を行うので、画像回復処理による色にじみ量の増加を回避することができる。これにより、ステップＳ１７にて、色ずれがほとんど無い補正画像を得ることができる。
【実施例５】
【００６３】
図８には、本発明の実施例５である撮像装置において画像処理部１０４にて行われる撮像処理と色収差補正および画像回復に関する処理（画像処理方法）のフローチャートを示している。なお、撮像装置の構成は実施例１と同じであり、共通する構成要素には実施例１と同符号を付す。
【００６４】
ステップＳ１１〜Ｓ１３およびステップＳ１７については、実施例１と同じである。画像処理部１０４は、ステップＳ５１において、ステップＳ１３で入力画像から変換されたＲ、ＧおよびＢ画像を、ＹＣＲＣＢ空間の画像に変換する。
【００６５】
画像処理部１０４は、ステップＳ５２において、デフォーカス領域と合焦領域に共通のフィルタであって、ＹＣＲＣＢ空間にて合焦領域に最適化したぼけ補正フィルタを作成する。そして、ステップＳ５３において、画像処理部１０４は、ぼけ補正フィルタをＹＣＲＣＢ空間の画像に適用して画像回復処理を行う。画像回復処理を行った色空間がＹＣＲＣＢ空間であり、ＲＧＢ空間ではないので、ＲＧＢ空間にて生じていた色にじみの強調は低減されて残っている。
【００６６】
画像処理部１０４は、前述したステップＳ５２において、色収差に関する情報と、ステップＳ１２にて取得された合焦距離に関する情報および被写体距離に関する情報を用いてデフォーカス領域用の色収差補正フィルタを作成する。そして、画像処理部１０４は、ステップＳ５４において、ぼけ補正フィルタを用いて色収差補正フィルタを補正する。
【００６７】
ステップＳ５５では、該補正された色収差補正フィルタをステップＳ５３での画像回復処理後の画像に適用して色収差補正処理を行う。この後、ステップＳ５６では、画像処理部１０４は、色収差補正処理後のＹＣＲＣＢ空間の画像をＲＧＢ空間の画像に再変換する。こうして、ステップＳ１７にて、デフォーカス領域の色にじみが低減された補正画像を得ることができる。
【００６８】
実施例４，５において、Ｒ、ＧおよびＢ画像を変換する色空間はＹＣＲＣＢ空間以外の色空間であってもよい。
【００６９】
上記各実施例では、本発明の画像処理方法を使用する（画像処理装置を搭載した）撮像装置について説明したが、本発明の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが本発明の画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の画像（入力画像）を取得し、画像処理プログラムによって色収差補正処理および画像回復処理を行って、その結果得られた画像を出力する。
【００７０】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【００７１】
画像回復を行ったときにデフォーカス領域で生じる色にじみの強調を出力画像上で低減できる画像処理装置を提供できる。
【符号の説明】
【００７２】
１０１ 光学系
１０２ 光軸
１０３ 固体撮像素子
【特許請求の範囲】
【請求項１】
光学系を用いた、該光学系からの距離が互いに異なる複数の被写体を含むシーンの撮像により得られた入力画像に対して画像処理を行う画像処理装置であって、
前記入力画像のうちデフォーカス領域に含まれる色収差成分を低減するための色収差補正フィルタおよび該入力画像に含まれるぼけ成分を低減するための画像回復フィルタを取得するフィルタ取得手段と、
前記入力画像に対して、前記色収差補正フィルタを用いた色収差補正処理および前記画像回復フィルタを用いた画像回復処理を行う処理手段とを有し、
前記フィルタ取得手段は、前記光学系の色収差に関する情報と、前記撮像における前記光学系の合焦距離に関する情報および前記複数の被写体のそれぞれまでの距離に関する情報とを用いて前記色収差補正フィルタを取得することを特徴とする画像処理装置。
【請求項２】
前記処理手段は、前記色収差補正処理を、前記入力画像を構成する色空間とは異なる色空間で行うことを特徴とする請求項３に記載の画像処理装置。
【請求項３】
光学系を用いて撮像を行う撮像系と、
該撮像系を用いて得られた入力画像に対して画像処理を行う請求項１又は２に記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項４】
コンピュータに、
光学系を用いた、該光学系からの距離が互いに異なる複数の被写体を含むシーンの撮像により得られた入力画像を取得するステップと、
前記入力画像のうちデフォーカス領域に含まれる色収差成分を低減するための色収差補正フィルタおよび該入力画像に含まれるぼけ成分を低減するための画像回復フィルタを取得するフィルタ取得ステップと、
前記入力画像に対して、前記色収差補正フィルタを用いた色収差補正処理および前記画像回復フィルタを用いた画像回復処理を行う処理ステップとを含む画像処理を実行させる画像処理プログラムであって、
前記フィルタ取得ステップにおいて、前記光学系の色収差に関する情報と、前記撮像における前記光学系の合焦距離に関する情報および前記複数の被写体のそれぞれまでの距離に関する情報とを用いて前記色収差補正フィルタを取得することを特徴とする画像処理プログラム。
【請求項１】
光学系を用いた、該光学系からの距離が互いに異なる複数の被写体を含むシーンの撮像により得られた入力画像に対して画像処理を行う画像処理装置であって、
前記入力画像のうちデフォーカス領域に含まれる色収差成分を低減するための色収差補正フィルタおよび該入力画像に含まれるぼけ成分を低減するための画像回復フィルタを取得するフィルタ取得手段と、
前記入力画像に対して、前記色収差補正フィルタを用いた色収差補正処理および前記画像回復フィルタを用いた画像回復処理を行う処理手段とを有し、
前記フィルタ取得手段は、前記光学系の色収差に関する情報と、前記撮像における前記光学系の合焦距離に関する情報および前記複数の被写体のそれぞれまでの距離に関する情報とを用いて前記色収差補正フィルタを取得することを特徴とする画像処理装置。
【請求項２】
前記処理手段は、前記色収差補正処理を、前記入力画像を構成する色空間とは異なる色空間で行うことを特徴とする請求項３に記載の画像処理装置。
【請求項３】
光学系を用いて撮像を行う撮像系と、
該撮像系を用いて得られた入力画像に対して画像処理を行う請求項１又は２に記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項４】
コンピュータに、
光学系を用いた、該光学系からの距離が互いに異なる複数の被写体を含むシーンの撮像により得られた入力画像を取得するステップと、
前記入力画像のうちデフォーカス領域に含まれる色収差成分を低減するための色収差補正フィルタおよび該入力画像に含まれるぼけ成分を低減するための画像回復フィルタを取得するフィルタ取得ステップと、
前記入力画像に対して、前記色収差補正フィルタを用いた色収差補正処理および前記画像回復フィルタを用いた画像回復処理を行う処理ステップとを含む画像処理を実行させる画像処理プログラムであって、
前記フィルタ取得ステップにおいて、前記光学系の色収差に関する情報と、前記撮像における前記光学系の合焦距離に関する情報および前記複数の被写体のそれぞれまでの距離に関する情報とを用いて前記色収差補正フィルタを取得することを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−２１１６６９（Ｐ２０１１−２１１６６９Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７９９８９（Ｐ２０１０−７９９８９）
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]