画像処理方法、画像処理装置、撮像装置、及びプログラム
【課題】画像のぼけ成分と倍率色収差成分を高速に補正する。
【解決手段】画像処理方法は、光学系１０１を用いた撮像により得られた画像を処理する画像処理方法であって、画像を取得するステップと、光学系の収差情報に基づいて、フィルタ値が２次元分布を持つように作成された画像回復フィルタを用いて該画像に対する画像回復処理を行う画像回復ステップＳ２〜Ｓ７とを有する。画像回復ステップにおいて、画像回復フィルタとして、少なくとも２つの色において互いに異なるフィルタ値の２次元分布を有する複数の画像回復フィルタを用いる。複数の画像回復フィルタは、フィルタ値の絶対値が最大であるセルの位置と該画像回復フィルタの中心セルの位置とのずれ量が光学系の倍率色収差量に応じて互いに異なり、画像のぼけ成分とともに倍率色収差成分を低減するフィルタである。
【解決手段】画像処理方法は、光学系１０１を用いた撮像により得られた画像を処理する画像処理方法であって、画像を取得するステップと、光学系の収差情報に基づいて、フィルタ値が２次元分布を持つように作成された画像回復フィルタを用いて該画像に対する画像回復処理を行う画像回復ステップＳ２〜Ｓ７とを有する。画像回復ステップにおいて、画像回復フィルタとして、少なくとも２つの色において互いに異なるフィルタ値の２次元分布を有する複数の画像回復フィルタを用いる。複数の画像回復フィルタは、フィルタ値の絶対値が最大であるセルの位置と該画像回復フィルタの中心セルの位置とのずれ量が光学系の倍率色収差量に応じて互いに異なり、画像のぼけ成分とともに倍率色収差成分を低減するフィルタである。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に含まれるぼけ成分と倍率色収差成分を低減する画像処理技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置により被写体を撮像して得られた画像には、撮像光学系（以下、単に光学系という）の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。
【０００３】
ここにいうぼけ成分は、光学的には、点像分布関数（ＰＳＦ）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。
【０００４】
画像のぼけ成分を補正する方法として、光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正するものが知られている。この方法は、画像回復や画像復元と呼ばれており、以下、この光学系の光学伝達関数（ＯＴＦ）の情報を用いて画像のぼけ成分を補正（低減）する処理を画像回復処理と称する。
【０００５】
画像回復処理の概要は以下の通りである。ぼけ成分を含む劣化画像（入力画像）をｇ（ｘ，ｙ）とし、劣化していない元の画像をｆ（ｘ，ｙ）とする。また、光学伝達関数のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする。このとき、以下の式が成り立つ。ただし、＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
また、上記式をフーリエ変換により２次元周波数面での表示形式に変換すると、以下の式のように、周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）をフーリエ変換したものであり、光学伝達関数（ＯＴＦ）である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
劣化画像から元の画像を得るためには、以下のように、両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。
【０００６】
ここで、Ｈ−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）を、画像回復フィルタという。実際の画像にはノイズ成分があるため、上記のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい、一般には良好な画像は得られない。この点については、例えばウィーナーフィルタ（Wiener filter）のように画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する方法が知られている。画像の色にじみ成分の劣化は、例えば、上記のぼけ成分の補正により画像の色成分ごとのぼけ量が均一になれば補正されたことになる。
【０００７】
ここで、光学伝達関数（ＯＴＦ）は、光学系の焦点距離（ズーム状態）や絞り径等の光学系の撮像状態に応じて変動するため、画像回復処理に用いる画像回復フィルタも撮像状態に応じて変更する必要がある。
【０００８】
また、画像には、色ずれ成分（倍率色収差成分）が含まれる場合もある。色ずれ成分は、光学系の倍率色収差を原因として発生する。
【０００９】
特許文献１にて開示された画像処理方法では、撮像により得られた画像をＲ，Ｇ，Ｂの複数の色成分に分解し、Ｇ画像を基準とし、Ｒ及びＢ画像を拡大縮小してＧ画像に揃えることで、色成分間の倍率の相違である倍率色収差により発生する色ずれ成分を補正する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平０６−１１３３０９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
光学系の諸収差により劣化した画像を良好に補正して高画質な画像を得るためには、上述したぼけ成分と色ずれ成分を低減する処理を行う必要がある。しかしながら、これらの処理を行うソフトウェアやそれを実装した撮像装置では、ユーザーにストレスを感じさせないために処理速度を高速にしなければならない。
【００１２】
また、特許文献１にて開示された画像処理方法では、光学系の色による撮像倍率の相違により発生する倍率色収差をＲ，Ｇ，Ｂの色成分ごとに拡大縮小を行うことで、色ずれ成分のある程度の補正が可能とも考えられる。しかしながら、実際の画像における色ずれ成分の発生原因を光学的に考察すると、この方法では、以下のように十分な補正効果が得られない。
【００１３】
光学系は、被写体から入射した光をレンズにより屈折させて像面に結像させる。この際、色（波長）によってレンズの屈折率が異なるため、色ごとの焦点距離に差が生じる。光学系は、一般に、波長分散と形状を考慮した複数のレンズを用いて色収差を抑制するように設計されるが、光学系の小型化やコスト低減の要求により、色収差がある程度残留する。
【００１４】
一方、被写体像を光電変換する撮像素子を含む撮像系では、被写体像をカラーフィルタを通してＲ，Ｇ，Ｂ信号に分解し、これらＲ，Ｇ，Ｂ信号の混合によってカラー画像を生成する。したがって、Ｒ，Ｇ，Ｂの各チャンネルの信号値は、撮像面に到達した４００ｎｍ〜７００ｎｍの波長の光をカラーフィルタの分光透過率特性に応じて積分した強度情報となっている。このため、Ｇ信号の中でも、Ｇ用カラーフィルタの分光透過率特性に応じた透過波長帯域幅の間で焦点距離の異なった波長光が積分されている。このことは、Ｒ信号及びＢ信号でも同様である。すなわち、倍率色収差は、Ｒ，Ｇ，Ｂチャンネルごとに画像上の結像位置がずれるとともに、各チャンネルの像をぼかしてしまう。したがって、特許文献１の画像処理方法によってＲ，Ｇ，Ｂ信号の位置ずれを幾何変換により補正しても十分な色ずれ成分の補正はできない。また、特許文献１の画像処理方法では、色ずれ成分以外のぼけ成分（色にじみ成分を含む）の補正を行うことはできない。
【００１５】
特許文献１にて開示された色ずれ成分の補正方法と、従来の画像回復フィルタを用いた画像回復処理とを順次行うことで、色ずれ成分だけでなくぼけ成分を低減することは可能である。ただし、処理工程が増え、処理速度が低下する。
【００１６】
本発明は、画像のぼけ成分と倍率色収差成分を高速に補正することができるようにした画像処理方法、画像処理装置、撮像装置、及びプログラムを提供する。
【課題を解決するための手段】
【００１７】
本発明の一側面としての画像処理方法は、光学系を用いた撮像により得られた画像を処理する画像処理方法であって、画像を取得するステップと、光学系の収差情報に基づいて、フィルタ値が２次元分布を持つように作成された画像回復フィルタを用いて該画像に対する画像回復処理を行う画像回復ステップとを有する。画像回復ステップにおいて、画像回復フィルタとして、少なくとも２つの色において互いに異なるフィルタ値の２次元分布を有する複数の画像回復フィルタを用いる。そして、複数の画像回復フィルタは、フィルタ値の絶対値が最大であるセルの位置と該画像回復フィルタの中心セルの位置とのずれ量が光学系の倍率色収差量に応じて互いに異なり、画像のぼけ成分とともに倍率色収差成分を低減するフィルタであることを特徴とする。
【００１８】
また、本発明の他の一側面としての画像処理装置は、光学系を用いた撮像により得られた画像を処理する画像処理装置であって、光学系の収差情報に基づいて、フィルタ値が２次元分布を持つように作成された画像回復フィルタを記憶する記憶手段と、画像回復フィルタを用いて該画像に対する画像回復処理を行う画像回復手段とを有する。画像回復手段は、画像回復フィルタとして、少なくとも２つの色において互いに異なるフィルタ値の２次元分布を有する複数の画像回復フィルタを用いる。そして、複数の画像回復フィルタは、フィルタ値の絶対値が最大であるセルの位置と該画像回復フィルタの中心セルの位置とのずれ量が互いに異なり、画像のぼけ成分とともに倍率色収差成分を低減するフィルタであることを特徴とする。
【００１９】
また、本発明の他の一側面としてのプログラムは、光学系を用いた撮像により得られた画像を処理する画像処理装置に以下のステップを実行させるプログラムであって、画像を取得するステップと、光学系の収差情報に基づいて、フィルタ値が２次元分布を持つように作成された画像回復フィルタを用いて該画像に対する画像回復処理を行う画像回復ステップとを有する。画像回復ステップにおいて、画像回復フィルタとして、少なくとも２つの色において互いに異なるフィルタ値の２次元分布を有する複数の画像回復フィルタを用いる。そして、複数の画像回復フィルタは、フィルタ値の絶対値が最大であるセルの位置と該画像回復フィルタの中心セルの位置とのずれ量が光学系の倍率色収差量に応じて互いに異なり、画像のぼけ成分とともに倍率色収差成分を低減するフィルタであることを特徴とする。
【００２０】
なお、光学系により形成された被写体像を光電変換して画像を取得する撮像系と、該画像を処理する上記画像処理装置とを有する撮像装置も本発明の他の一側面を構成する。
【発明の効果】
【００２１】
本発明によれば、画像回復フィルタがぼけ成分とともに倍率色収差成分を低減するように作成されているので、画像回復処理によってぼけ成分と倍率色収差成分とを同時に低減することができる。したがって、ぼけ成分と倍率色収差成分とを高速な処理によって低減することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施例である撮像装置の構成を示すブロック図。
【図２】実施例の撮像装置で行われる処理を示すフローチャート。
【図３】実施例において記憶部に格納される画像回復フィルタが配置される撮像状態空間の模式図。
【図４】実施例の撮像装置で用いられる画像回復フィルタの説明図。
【図５】上記画像回復フィルタのセル値の基本的な分布を示す図。
【図６】実施例において用いられる色成分ごとの画像回復フィルタの説明図。
【図７】図６の画像回復フィルタにおけるセル値の分布を示す図。
【図８】実施例の画像回復処理の効果の説明図。
【発明を実施するための形態】
【００２３】
図１には、本発明の実施例である画像処理装置を備えた（画像処理方法を使用する）デジタルカメラやビデオカメラ等の撮像装置の構成を示している。
【００２４】
不図示の被写体からの光束は、撮像光学系１０１によって、ＣＣＤセンサやＣＭＯＳセンサ等により構成される撮像素子１０２上に結像する。
【００２５】
撮像光学系１０１は、不図示の変倍レンズ、絞り１０１ａ及びフォーカスレンズ１０１ｂを含む。変倍レンズを光軸方向に移動させることで、撮像光学系１０１の焦点距離を変更するズームが可能である。また、絞り１０１ａは、絞り開口径を増減させて、撮像素子１０２に到達する光量を調節する。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために、不図示のオートフォーカス（ＡＦ）機構やマニュアルフォーカス機構によって光軸方向の位置が制御される。
【００２６】
撮像素子１０２上に形成された被写体像は、該撮像素子１０２により電気信号に変換される。撮像素子１０２からのアナログ出力信号は、Ａ／Ｄコンバータ１０３によりデジタル撮像信号に変換され、画像処理部１０４に入力される。
【００２７】
画像処理部１０４は、入力されたデジタル撮像信号に対して各種処理を行うことで、カラー入力画像を生成する画像生成部１０４ａを有する。また、画像処理部１０４は、この入力画像に対して画像回復処理を行う画像回復処理部（画像回復手段）１０４ｂを有する。撮像素子１０２から画像生成部１０４ａまでが撮像系に相当する。
【００２８】
画像回復処理部１０４ｂは、状態検知部１０７から撮像光学系１０１の状態（以下、撮像状態という）の情報を得る。撮像状態とは、例えば、撮像光学系１０１の焦点距離（ズーム位置）、絞り開口径（絞り値、Ｆナンバー）、フォーカスレンズ位置（被写体距離）である。なお、状態検知部１０７は、システムコントローラ１１０から撮像状態の情報を得てもよいし、撮像光学系１０１を制御する撮像光学系制御部１０６から得てもよい。
【００２９】
そして、画像回復処理部１０４ｂは、撮像状態に応じた画像回復フィルタを記憶部（記憶手段）１０８から選択し、入力画像に対して画像回復処理を行う。状態検知部１０７、画像回復処理部１０４ｂ及び記憶部１０８により、撮像装置内で画像処理装置が構成される。
【００３０】
図２には、画像回復処理部１０４ｂ（以下の説明では、画像処理部１０４という）で行われる画像回復に関する処理（画像処理方法）のフローチャートを示している。画像処理部１０４は、画像処理用コンピュータにより構成され、コンピュータプログラムに従って該処理を実行する。
【００３１】
ステップＳ１では、画像処理部１０４は、撮像素子１０２からの出力信号に基づいて生成された画像（以下、入力画像という）を画像回復処理の対象として取得する。次に、ステップＳ２では、画像処理部１０４は、状態検知部１０７から撮像状態情報を取得する。ここでは、撮像状態を、ズーム位置、絞り開口径、及び被写体距離の３つとする。
【００３２】
次に、ステップＳ３では、画像処理部１０４は、記憶部１０８に記憶された画像回復フィルタの中から、ステップＳ２で取得した撮像状態に対応する画像回復フィルタを選択する。
【００３３】
ここで、記憶部１０８には、画像回復フィルタの数（データ数）を低減するために、離散的に選択された撮像状態に対する画像回復フィルタのみが記憶（格納）されている。このため、ステップＳ２で取得した撮像状態に対応する又は該撮像状態にきわめて近い撮像状態に対応する画像回復フィルタが記憶部１０８に格納されていない場合は、その撮像状態にできるだけ近い画像回復フィルタを選択する。そして、その画像回復フィルタを、以下のステップＳ４〜Ｓ６で、ステップＳ２で取得した撮像状態に最適化するように補正することで、実際に使用する画像回復フィルタを作成する。
【００３４】
図３には、記憶部１０８に記憶された、離散的に選択された撮像状態に対する画像回復フィルタを模式的に示す。記憶部１０８に記憶された画像回復フィルタは、前述したように、ズーム位置（状態Ａ）、絞り開口径（状態Ｂ）及び被写体距離（状態Ｃ）の３つの撮像状態を軸とした撮像状態空間中に離散的に配置されている。撮像状態空間中の各点（黒丸）の座標が、記憶部１０８に記憶されている画像回復フィルタを示す。
【００３５】
なお、図３では、画像回復フィルタを各撮像状態に対して直交した線上の格子点に配置しているが、画像回復フィルタを格子点から外して配置しても構わない。また、撮像状態の種類は、ズーム位置、絞り開口径及び被写体距離に限らず、その数も３つでなくてもよく、４つ以上の撮像状態による４次元以上の撮像状態空間を構成してその中に画像回復フィルタを離散的に配置してもよい。
【００３６】
このように離散的に配置された画像回復フィルタから、実際に使用する画像回復フィルタを作成する方法については後述する。
【００３７】
ここで、画像回復フィルタの例を図４に示す。画像回復フィルタでは、撮像光学系１０１の収差量に応じてセル（タップ）数、すなわちカーネルサイズが決められる。図４に示す画像回復フィルタは、１１×１１セルを有する２次元フィルタである。各セルが画像の１画素に対応する。
【００３８】
画像回復フィルタを、１００以上のセルに分割した２次元フィルタとすることで、撮像光学系１０１による球面収差、コマ収差、軸上色収差、軸外色フレア等の結像位置から大きく広がる収差に対しても良好な画像回復結果を得ることができる。また、このような実空間での画像回復フィルタを、入力画像に対してコンボリューション処理することで、フーリエ変換を行うことなく画像を回復することができる。
【００３９】
また、各セルは、撮像光学系１０１の球面収差、コマ収差、軸上色収差、軸外色フレア等の収差情報に応じて、図５に示すような値を有するように設定される。図５には、画像回復フィルタの１つの断面でのセル値（フィルタ値）を示している。画像回復フィルタは、フィルタ値が２次元分布を持つように作成されている。また、図５の例では、画像の中心から外れた位置での、コマ収差のような非対称性をもった収差を回復するフィルタとなっている。
【００４０】
画像回復フィルタは、撮像光学系１０１等の光学伝達関数（ＯＴＦ）を計算若しくは計測し、その逆関数を逆フーリエ変換することで作成される。一般的にはノイズの影響を考慮する必要があるため、ウィーナーフィルタや関連する回復フィルタの作成方法を選択して用いることができる。
【００４１】
また、ここにいう光学伝達関数は、撮像光学系１０１のみならず、撮像素子１０２の出力信号から画像処理部１０４にて入力画像が生成されるまでの、光学伝達関数を劣化させる要因を含めることが望ましい。すなわち、画像回復フィルタを、光が撮像光学系１０１に入射してから撮像素子１０２による撮像によって入力画像が取得されるまでの光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換することにより作成するようにするとよい。
【００４２】
撮像光学系１０１以外で光学伝達関数を劣化させる要因としては以下のようなものがある。例えば、撮像素子１０２の前面に配置されるローパスフィルタ（図示せず）は、光学伝達関数の周波数特性に対して高周波成分を抑制する。また、同様に撮像素子１０２の前面に配置される赤外線カットフィルタは、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響する。さらに、撮像素子１０２の画素開口の形状や開口率も周波数特性に影響する。他にも、被写体を照らす光源の分光特性や、各種波長フィルタの分光特性も光学伝達関数を劣化させる要因として挙げられる。したがって、これらを考慮した広義の光学伝達関数に基づいて画像回復フィルタを作成することが望ましい。
【００４３】
なお、撮像光学系１０１は、撮像装置の一部として設けられてもよいし、撮像装置に対して着脱可能な交換式のものであってもよい。
【００４４】
また、本実施例では、入力画像がＲＧＢ形式のカラー画像であるため、Ｒ，Ｇ，Ｂの複数の色成分に対応した複数（ここでは３つ）の画像回復フィルタを作成する。撮像光学系１０１には色収差があり、色成分ごとにぼけ方が異なるため、色成分ごとに最適な画像回復フィルタを得るためには、その特性を色収差に基づいて異ならせるべきだからである。つまり、図５に示したセル値の２次元分布が、色成分ごとに異なる３つの画像回復フィルタを作成する。
【００４５】
なお、図４には、１１×１１セルを有する画像回復フィルタを示したが、画像回復フィルタのセル数は、収差量に応じて任意に設定すればよい。例えば、収差量が大きい場合には、３０×３０セルや５０×５０セルのようにセル数を増加させてもよい。また、画像回復フィルタの縦横のセル数（セル配列）に関しては、図４に示すような正方配列である必要はなく、コンボリューション処理時にセル配列を考慮するようにすれば、任意に変更することができる。
【００４６】
画像回復フィルタの具体的な選択及び作成（補正）方法について説明する。図３において、大きな白丸で示した撮像状態が、ステップＳ２で取得した実際の撮像状態であるとする。実際の撮像状態又はそのきわめて近くに、記憶部１０８に記憶（格納）された画像回復フィルタ（以下、格納フィルタという）が存在する場合には、その格納フィルタを選択して画像回復処理に用いる。実際の撮像状態又はそのきわめて近くに、格納フィルタが存在しない場合には、以下の方法により画像回復フィルタを選択又は作成（補正）する。
【００４７】
まず、前述したステップＳ３において、画像処理部１０４は、実際の撮像状態と複数の格納フィルタに対応する撮像状態との間の撮像状態空間内での距離をそれぞれ算出する。そして、算出した距離のうち最も短い距離にある撮像状態に対応する格納フィルタを選択する。
【００４８】
このような格納フィルタを選択することで、実際の撮像状態と該格納フィルタに対応する撮像状態との相違量（以下、状態相違量という）が最も小さくなる。このため、該格納フィルタに対する補正量を少なくすることができ、実際の撮像状態に対応する画像回復フィルタにより近い画像回復フィルタを作成することができる。
【００４９】
図３において、小さな白丸で示した撮像状態に対応する格納フィルタが選択されたものとする。なお、図３には、撮像状態空間を概念的に示しているが、実際の各格納フィルタのデータには、座標値の情報が必要である。このため、格納フィルタ自体に座標値情報を持たせたり、予めアドレス（座標）が決まった多次元の配列空間に各格納フィルタのデータを配置したりすればよい。
【００５０】
次に、ステップＳ４では、画像処理部１０４は、ステップＳ３で選択した格納フィルタに対応する撮像状態と実際の撮像状態との状態相違量ΔＡ，ΔＢ，ΔＣを算出する。そして、ステップＳ５では、これらの状態相違量ΔＡ，ΔＢ，ΔＣに基づいて、状態補正係数を算出する。さらに、画像処理部１０４は、ステップＳ６において、該状態補正係数を用いて、ステップＳ３で選択した格納フィルタを補正する。これにより、実際の撮像状態に対応した画像回復フィルタを作成することができる。
【００５１】
次に、ステップＳ７では、画像処理部１０４は、選択又は作成された画像回復フィルタを用いて、ステップＳ１で取得した入力画像に対して画像回復処理を行う。すなわち、上記画像回復フィルタを用いて入力画像に対するコンボリューション処理を行うことで、撮像光学系１０１の収差に起因する画像のぼけ成分及び色にじみ成分を低減（又は除去）することができる。
【００５２】
なお、ステップＳ３〜ステップＳ７での処理は、撮像装置とは別の装置（パーソナルコンピュータ等）で行ってもよい。この場合、該別の装置で得られた画像回復フィルタを、撮像装置の記憶部１０８に格納（インストール）する処理を行えばよい。
【００５３】
図１において、画像処理部１０４で画像回復処理が行われた出力画像は、半導体メモリや光ディスク等の画像記録媒体１０９に所定のフォーマットで保存される。この出力画像は、画像回復処理によって鮮鋭化された高画質の画像である。
【００５４】
また、出力画像は、表示部１０５に表示されたり、撮像装置の外部（プリンタやデータベース）に出力されたりする。
【００５５】
上述した撮像素子１０２での光電変換、画像処理部１０４での画像処理、画像記録媒体１０９への記録、及び表示部１０５への画像表示といった一連の動作の制御は、システムコントローラ１１０によって行われる。また、撮像光学系１０１のズーム駆動やフォーカス駆動は、システムコントローラ１１０の指示により撮像光学系制御部１０６が制御する。
【００５６】
なお、撮像光学系１０１の中心像高の横倍率が最大像高の横倍率よりも１．２５倍以上大きくなるように撮像光学系１０１を設計するとよい。これにより、撮像光学系１０１のうち最も被写体側に位置する前玉レンズの径を小さくしたり、像面湾曲の補正を行ったりすることができる。
【００５７】
本実施例では、画像回復処理によって画像のぼけ成分と色にじみ成分だけでなく、色ずれ成分も低減（補正）する。このため、画像回復処理において、ぼけ成分と色にじみ成分と色ずれ成分を補正できるよう、Ｒ，Ｇ，Ｂの色成分ごとの複数（３つ）の画像回復フィルタを、前述したように撮像状態に応じて選択したり選択した画像回復フィルタを補正して作成したりする。
【００５８】
色成分ごとの画像回復フィルタの例を図６に示す。図６において（Ｒ），（Ｇ），（Ｂ）で示す画像回復フィルタは、それぞれＲ，Ｇ，Ｂ用の画像回復フィルタである。これらの画像回復フィルタは、ぼけ成分と色にじみ成分を補正するフィルタであるが、倍率色収差に対応する色ずれ成分の補正機能は有していない。
【００５９】
また、（Ｒ′），（Ｇ′），（Ｂ′）で示す画像回復フィルタも、それぞれＲ，Ｇ，Ｂ用の画像回復フィルタである。ただし、これらの画像回復フィルタは、ぼけ成分と色にじみ成分の補正機能に加えて、色ずれ成分の補正を行う機能も有する。具体的には、該３つの画像回復フィルタのうち少なくとも１つ（ここでは（Ｒ′）と（Ｂ′））において、セル値（フィルタ値）の絶対値が最大であるセル（以下、最大値セルという）の位置が、その画像回復フィルタの中心セルの位置からずれている。
【００６０】
各画像回復フィルタ内で黒いセルが最大値セルであり、×を付したセルが中心セルである。
【００６１】
（Ｒ），（Ｇ），（Ｂ）で示す画像回復フィルタは、色成分ごとに光学伝達関数（ＯＴＦ）が異なることからフィルタ特性は異なるが、最大値セルの位置は互いに同じ（中心セルの位置）である。
【００６２】
一方、（Ｒ′），（Ｇ′），（Ｂ′）で示す画像回復フィルタは、フィルタ特性が異なっているのに加えて、最大値セルの位置の中心セルに対するずれ量が互いに異なっている。これら画像回復フィルタ間での最大値セルの位置の相対ずれ量は、撮像光学系１０１の倍率色収差量に応じた量である。図７には、（Ｒ′）で示す画像回復フィルタの１つの断面でのセル値（フィルタ値）を示している。
【００６３】
（Ｒ′），（Ｇ′），（Ｂ′）で示す画像回復フィルタにおいて、フィルタ内のセル値の分布を色成分ごとに異ならせることで色ごとのぼけ成分及び色にじみ成分を補正できる。さらに、（Ｒ′），（Ｇ′），（Ｂ′）で示す画像回復フィルタにおいて、上記分布の位置をずらす（最大値セルの位置と中心セルの位置とのずれ量を異ならせる。ただし、本実施例では（Ｇ′）でのずれ量は０）ことで色ずれ成分も補正できる。
【００６４】
なお、図６では、１１×１１セルの画像回復フィルタを示したが、収差量が大きい場合には、３０×３０セルや５０×５０セルのように、収差量に応じてセル数を増加させてもよい。また、画像回復フィルタ内のセル値の分布を移動させたときに、元のセル領域から分布がはみ出してしまう場合には、画像回復フィルタのセル数を増加させることで対応すればよい。
【００６５】
次に、（Ｒ′），（Ｇ′），（Ｂ′）で示す画像回復フィルタの効果を、図８を用いて説明する。図８において、（ａ）は撮像光学系１０１の収差の影響がなければ矩形のプロファイルを持つはずの被写体像が撮像光学系１０１の収差によってぼけ像として劣化している入力画像を示している。
【００６６】
実線、破線及び一点鎖線はそれぞれ、Ｇ成分、Ｒ成分及びＢ成分を表しており、（ａ）では、Ｇ成分、Ｒ成分及びＢ成分でぼけの広がりが互いに異なる上に、ピーク位置が互いにずれている。各色成分でのプロファイルの劣化がぼけ成分であり、色成分間でのぼけ量の違いによる色づきが色にじみ成分であり、ピーク位置のずれが色ずれ成分である。
【００６７】
（ｂ）は、図７に（Ｒ），（Ｇ），（Ｂ）で示す画像回復フィルタを用いて、（ａ）に示す入力画像に対する画像回復処理を行った場合の回復画像を示している。この回復画像において、Ｒ，Ｇ，Ｂの被写体像が本来の矩形プロファイルを持つようにぼけ成分（色にじみ成分を含む）は補正されたが、色ずれ成分は補正されていない。さらに、色成分ごとに画像の倍率を拡大縮小して色ずれを補正する方法により、（ｃ）に示すような画像を得ることは可能である。
【００６８】
一方、（Ｒ′），（Ｇ′），（Ｂ′）で示す画像回復フィルタを用いて（ａ）に示す入力画像に対して画像回復処理を行うと、（ｃ′）に示すように、色成分ごとのぼけ成分（色にじみ成分を含む）が補正されるとともに、色ずれ成分も同時に補正される。
【００６９】
このように、本実施例によれば、従来では互いに別の処理として行う必要があったぼけ成分の補正処理（画像回復処理）と色ずれ成分の補正処理とを、１つ（一度）の画像回復処理の中で行うことができる。したがって、ぼけ成分と色ずれ成分（倍率色収差成分）とを高速な処理によって低減することができ、良好な出力画像を得ることができる。
【００７０】
前述した光学伝達関数（ＯＴＦ）は、同じ撮像状態であっても画角（像高）に応じて変化する。このため、画像回復処理は、画像における像高に応じて分割された領域ごとに画像回復フィルタを変更して行うことが望ましい。画像回復フィルタを画像上で走査しながらコンボリューション処理を行い、分割領域ごとに画像回復フィルタを順次変更すればよい。
【００７１】
また、画像回復処理の対象とする入力画像における画素の信号値に応じて画像回復フィルタを補正することで、入力画像の暗い領域で顕著となるノイズの増加を抑制することができる。入力画像の暗い領域では、明るい領域に比べて、画像信号に対してノイズ成分が相対的に大きいため、画像回復処理によってノイズを強調してしまうおそれがある。このため、暗い領域に対しては、画像回復フィルタの各セルの値を補正して画像回復効果を低下させることで、ノイズの増大を抑制することができる。信号値がある閾値以下の画素又は領域については画像回復処理を行わないようにしてもよい。
【００７２】
また、画像回復処理後の回復画像に補正誤差がある場合には、この補正誤差を補正するための別の画像処理を行ってもよい。これにより、実際の撮像状態と画像回復処理に用いた画像回復フィルタに対応する撮像状態との誤差に起因する回復画像における残留収差成分をさらに低減することができる。
【００７３】
また、入力画像内に飽和輝度領域が存在する場合に、その周辺部では収差成分が顕著に現れる。しかし、画像回復処理を行う際に、輝度値が飽和している画素については本来の輝度値が分からず、良好な補正が行えないおそれがある。この場合には、画像回復処理後の回復画像から残留している収差成分を検出して適応的に補正処理を行うことで、さらなる高画質化が達成できる。この適応的な補正処理は、本実施例での画像回復処理によってぼけ成分が低減された画像に最終的に残留した収差を補正するので、画像回復処理よりも後の段階で行うことが望ましい。
【００７４】
なお、本実施例では、画像がＲＧＢ形式の場合について説明したが、ＹＣＣ形式等、他の色形式の画像にも本発明を適用することができる。
【００７５】
また、本実施例では、本発明の画像処理方法を使用する（画像処理装置を搭載した）撮像装置について説明したが、本発明の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが本発明の画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の画像（入力画像）を取り込み（取得し）、画像処理プログラムによって画像回復処理を行って、その結果得られた画像を出力する。
【００７６】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【符号の説明】
【００７７】
１０１ 撮像光学系
１０１ａ 絞り
１０１ｂ フォーカスレンズ
１０２ 撮像素子
１０４ 画像処理部
１０５ 表示部
１０６ 撮像光学系制御部
１０７ 状態検知部
１０８ 記憶部
１１０ システムコントローラ
【技術分野】
【０００１】
本発明は、画像に含まれるぼけ成分と倍率色収差成分を低減する画像処理技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置により被写体を撮像して得られた画像には、撮像光学系（以下、単に光学系という）の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。
【０００３】
ここにいうぼけ成分は、光学的には、点像分布関数（ＰＳＦ）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。
【０００４】
画像のぼけ成分を補正する方法として、光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正するものが知られている。この方法は、画像回復や画像復元と呼ばれており、以下、この光学系の光学伝達関数（ＯＴＦ）の情報を用いて画像のぼけ成分を補正（低減）する処理を画像回復処理と称する。
【０００５】
画像回復処理の概要は以下の通りである。ぼけ成分を含む劣化画像（入力画像）をｇ（ｘ，ｙ）とし、劣化していない元の画像をｆ（ｘ，ｙ）とする。また、光学伝達関数のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする。このとき、以下の式が成り立つ。ただし、＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
また、上記式をフーリエ変換により２次元周波数面での表示形式に変換すると、以下の式のように、周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）をフーリエ変換したものであり、光学伝達関数（ＯＴＦ）である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
劣化画像から元の画像を得るためには、以下のように、両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。
【０００６】
ここで、Ｈ−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）を、画像回復フィルタという。実際の画像にはノイズ成分があるため、上記のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい、一般には良好な画像は得られない。この点については、例えばウィーナーフィルタ（Wiener filter）のように画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する方法が知られている。画像の色にじみ成分の劣化は、例えば、上記のぼけ成分の補正により画像の色成分ごとのぼけ量が均一になれば補正されたことになる。
【０００７】
ここで、光学伝達関数（ＯＴＦ）は、光学系の焦点距離（ズーム状態）や絞り径等の光学系の撮像状態に応じて変動するため、画像回復処理に用いる画像回復フィルタも撮像状態に応じて変更する必要がある。
【０００８】
また、画像には、色ずれ成分（倍率色収差成分）が含まれる場合もある。色ずれ成分は、光学系の倍率色収差を原因として発生する。
【０００９】
特許文献１にて開示された画像処理方法では、撮像により得られた画像をＲ，Ｇ，Ｂの複数の色成分に分解し、Ｇ画像を基準とし、Ｒ及びＢ画像を拡大縮小してＧ画像に揃えることで、色成分間の倍率の相違である倍率色収差により発生する色ずれ成分を補正する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平０６−１１３３０９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
光学系の諸収差により劣化した画像を良好に補正して高画質な画像を得るためには、上述したぼけ成分と色ずれ成分を低減する処理を行う必要がある。しかしながら、これらの処理を行うソフトウェアやそれを実装した撮像装置では、ユーザーにストレスを感じさせないために処理速度を高速にしなければならない。
【００１２】
また、特許文献１にて開示された画像処理方法では、光学系の色による撮像倍率の相違により発生する倍率色収差をＲ，Ｇ，Ｂの色成分ごとに拡大縮小を行うことで、色ずれ成分のある程度の補正が可能とも考えられる。しかしながら、実際の画像における色ずれ成分の発生原因を光学的に考察すると、この方法では、以下のように十分な補正効果が得られない。
【００１３】
光学系は、被写体から入射した光をレンズにより屈折させて像面に結像させる。この際、色（波長）によってレンズの屈折率が異なるため、色ごとの焦点距離に差が生じる。光学系は、一般に、波長分散と形状を考慮した複数のレンズを用いて色収差を抑制するように設計されるが、光学系の小型化やコスト低減の要求により、色収差がある程度残留する。
【００１４】
一方、被写体像を光電変換する撮像素子を含む撮像系では、被写体像をカラーフィルタを通してＲ，Ｇ，Ｂ信号に分解し、これらＲ，Ｇ，Ｂ信号の混合によってカラー画像を生成する。したがって、Ｒ，Ｇ，Ｂの各チャンネルの信号値は、撮像面に到達した４００ｎｍ〜７００ｎｍの波長の光をカラーフィルタの分光透過率特性に応じて積分した強度情報となっている。このため、Ｇ信号の中でも、Ｇ用カラーフィルタの分光透過率特性に応じた透過波長帯域幅の間で焦点距離の異なった波長光が積分されている。このことは、Ｒ信号及びＢ信号でも同様である。すなわち、倍率色収差は、Ｒ，Ｇ，Ｂチャンネルごとに画像上の結像位置がずれるとともに、各チャンネルの像をぼかしてしまう。したがって、特許文献１の画像処理方法によってＲ，Ｇ，Ｂ信号の位置ずれを幾何変換により補正しても十分な色ずれ成分の補正はできない。また、特許文献１の画像処理方法では、色ずれ成分以外のぼけ成分（色にじみ成分を含む）の補正を行うことはできない。
【００１５】
特許文献１にて開示された色ずれ成分の補正方法と、従来の画像回復フィルタを用いた画像回復処理とを順次行うことで、色ずれ成分だけでなくぼけ成分を低減することは可能である。ただし、処理工程が増え、処理速度が低下する。
【００１６】
本発明は、画像のぼけ成分と倍率色収差成分を高速に補正することができるようにした画像処理方法、画像処理装置、撮像装置、及びプログラムを提供する。
【課題を解決するための手段】
【００１７】
本発明の一側面としての画像処理方法は、光学系を用いた撮像により得られた画像を処理する画像処理方法であって、画像を取得するステップと、光学系の収差情報に基づいて、フィルタ値が２次元分布を持つように作成された画像回復フィルタを用いて該画像に対する画像回復処理を行う画像回復ステップとを有する。画像回復ステップにおいて、画像回復フィルタとして、少なくとも２つの色において互いに異なるフィルタ値の２次元分布を有する複数の画像回復フィルタを用いる。そして、複数の画像回復フィルタは、フィルタ値の絶対値が最大であるセルの位置と該画像回復フィルタの中心セルの位置とのずれ量が光学系の倍率色収差量に応じて互いに異なり、画像のぼけ成分とともに倍率色収差成分を低減するフィルタであることを特徴とする。
【００１８】
また、本発明の他の一側面としての画像処理装置は、光学系を用いた撮像により得られた画像を処理する画像処理装置であって、光学系の収差情報に基づいて、フィルタ値が２次元分布を持つように作成された画像回復フィルタを記憶する記憶手段と、画像回復フィルタを用いて該画像に対する画像回復処理を行う画像回復手段とを有する。画像回復手段は、画像回復フィルタとして、少なくとも２つの色において互いに異なるフィルタ値の２次元分布を有する複数の画像回復フィルタを用いる。そして、複数の画像回復フィルタは、フィルタ値の絶対値が最大であるセルの位置と該画像回復フィルタの中心セルの位置とのずれ量が互いに異なり、画像のぼけ成分とともに倍率色収差成分を低減するフィルタであることを特徴とする。
【００１９】
また、本発明の他の一側面としてのプログラムは、光学系を用いた撮像により得られた画像を処理する画像処理装置に以下のステップを実行させるプログラムであって、画像を取得するステップと、光学系の収差情報に基づいて、フィルタ値が２次元分布を持つように作成された画像回復フィルタを用いて該画像に対する画像回復処理を行う画像回復ステップとを有する。画像回復ステップにおいて、画像回復フィルタとして、少なくとも２つの色において互いに異なるフィルタ値の２次元分布を有する複数の画像回復フィルタを用いる。そして、複数の画像回復フィルタは、フィルタ値の絶対値が最大であるセルの位置と該画像回復フィルタの中心セルの位置とのずれ量が光学系の倍率色収差量に応じて互いに異なり、画像のぼけ成分とともに倍率色収差成分を低減するフィルタであることを特徴とする。
【００２０】
なお、光学系により形成された被写体像を光電変換して画像を取得する撮像系と、該画像を処理する上記画像処理装置とを有する撮像装置も本発明の他の一側面を構成する。
【発明の効果】
【００２１】
本発明によれば、画像回復フィルタがぼけ成分とともに倍率色収差成分を低減するように作成されているので、画像回復処理によってぼけ成分と倍率色収差成分とを同時に低減することができる。したがって、ぼけ成分と倍率色収差成分とを高速な処理によって低減することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施例である撮像装置の構成を示すブロック図。
【図２】実施例の撮像装置で行われる処理を示すフローチャート。
【図３】実施例において記憶部に格納される画像回復フィルタが配置される撮像状態空間の模式図。
【図４】実施例の撮像装置で用いられる画像回復フィルタの説明図。
【図５】上記画像回復フィルタのセル値の基本的な分布を示す図。
【図６】実施例において用いられる色成分ごとの画像回復フィルタの説明図。
【図７】図６の画像回復フィルタにおけるセル値の分布を示す図。
【図８】実施例の画像回復処理の効果の説明図。
【発明を実施するための形態】
【００２３】
図１には、本発明の実施例である画像処理装置を備えた（画像処理方法を使用する）デジタルカメラやビデオカメラ等の撮像装置の構成を示している。
【００２４】
不図示の被写体からの光束は、撮像光学系１０１によって、ＣＣＤセンサやＣＭＯＳセンサ等により構成される撮像素子１０２上に結像する。
【００２５】
撮像光学系１０１は、不図示の変倍レンズ、絞り１０１ａ及びフォーカスレンズ１０１ｂを含む。変倍レンズを光軸方向に移動させることで、撮像光学系１０１の焦点距離を変更するズームが可能である。また、絞り１０１ａは、絞り開口径を増減させて、撮像素子１０２に到達する光量を調節する。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために、不図示のオートフォーカス（ＡＦ）機構やマニュアルフォーカス機構によって光軸方向の位置が制御される。
【００２６】
撮像素子１０２上に形成された被写体像は、該撮像素子１０２により電気信号に変換される。撮像素子１０２からのアナログ出力信号は、Ａ／Ｄコンバータ１０３によりデジタル撮像信号に変換され、画像処理部１０４に入力される。
【００２７】
画像処理部１０４は、入力されたデジタル撮像信号に対して各種処理を行うことで、カラー入力画像を生成する画像生成部１０４ａを有する。また、画像処理部１０４は、この入力画像に対して画像回復処理を行う画像回復処理部（画像回復手段）１０４ｂを有する。撮像素子１０２から画像生成部１０４ａまでが撮像系に相当する。
【００２８】
画像回復処理部１０４ｂは、状態検知部１０７から撮像光学系１０１の状態（以下、撮像状態という）の情報を得る。撮像状態とは、例えば、撮像光学系１０１の焦点距離（ズーム位置）、絞り開口径（絞り値、Ｆナンバー）、フォーカスレンズ位置（被写体距離）である。なお、状態検知部１０７は、システムコントローラ１１０から撮像状態の情報を得てもよいし、撮像光学系１０１を制御する撮像光学系制御部１０６から得てもよい。
【００２９】
そして、画像回復処理部１０４ｂは、撮像状態に応じた画像回復フィルタを記憶部（記憶手段）１０８から選択し、入力画像に対して画像回復処理を行う。状態検知部１０７、画像回復処理部１０４ｂ及び記憶部１０８により、撮像装置内で画像処理装置が構成される。
【００３０】
図２には、画像回復処理部１０４ｂ（以下の説明では、画像処理部１０４という）で行われる画像回復に関する処理（画像処理方法）のフローチャートを示している。画像処理部１０４は、画像処理用コンピュータにより構成され、コンピュータプログラムに従って該処理を実行する。
【００３１】
ステップＳ１では、画像処理部１０４は、撮像素子１０２からの出力信号に基づいて生成された画像（以下、入力画像という）を画像回復処理の対象として取得する。次に、ステップＳ２では、画像処理部１０４は、状態検知部１０７から撮像状態情報を取得する。ここでは、撮像状態を、ズーム位置、絞り開口径、及び被写体距離の３つとする。
【００３２】
次に、ステップＳ３では、画像処理部１０４は、記憶部１０８に記憶された画像回復フィルタの中から、ステップＳ２で取得した撮像状態に対応する画像回復フィルタを選択する。
【００３３】
ここで、記憶部１０８には、画像回復フィルタの数（データ数）を低減するために、離散的に選択された撮像状態に対する画像回復フィルタのみが記憶（格納）されている。このため、ステップＳ２で取得した撮像状態に対応する又は該撮像状態にきわめて近い撮像状態に対応する画像回復フィルタが記憶部１０８に格納されていない場合は、その撮像状態にできるだけ近い画像回復フィルタを選択する。そして、その画像回復フィルタを、以下のステップＳ４〜Ｓ６で、ステップＳ２で取得した撮像状態に最適化するように補正することで、実際に使用する画像回復フィルタを作成する。
【００３４】
図３には、記憶部１０８に記憶された、離散的に選択された撮像状態に対する画像回復フィルタを模式的に示す。記憶部１０８に記憶された画像回復フィルタは、前述したように、ズーム位置（状態Ａ）、絞り開口径（状態Ｂ）及び被写体距離（状態Ｃ）の３つの撮像状態を軸とした撮像状態空間中に離散的に配置されている。撮像状態空間中の各点（黒丸）の座標が、記憶部１０８に記憶されている画像回復フィルタを示す。
【００３５】
なお、図３では、画像回復フィルタを各撮像状態に対して直交した線上の格子点に配置しているが、画像回復フィルタを格子点から外して配置しても構わない。また、撮像状態の種類は、ズーム位置、絞り開口径及び被写体距離に限らず、その数も３つでなくてもよく、４つ以上の撮像状態による４次元以上の撮像状態空間を構成してその中に画像回復フィルタを離散的に配置してもよい。
【００３６】
このように離散的に配置された画像回復フィルタから、実際に使用する画像回復フィルタを作成する方法については後述する。
【００３７】
ここで、画像回復フィルタの例を図４に示す。画像回復フィルタでは、撮像光学系１０１の収差量に応じてセル（タップ）数、すなわちカーネルサイズが決められる。図４に示す画像回復フィルタは、１１×１１セルを有する２次元フィルタである。各セルが画像の１画素に対応する。
【００３８】
画像回復フィルタを、１００以上のセルに分割した２次元フィルタとすることで、撮像光学系１０１による球面収差、コマ収差、軸上色収差、軸外色フレア等の結像位置から大きく広がる収差に対しても良好な画像回復結果を得ることができる。また、このような実空間での画像回復フィルタを、入力画像に対してコンボリューション処理することで、フーリエ変換を行うことなく画像を回復することができる。
【００３９】
また、各セルは、撮像光学系１０１の球面収差、コマ収差、軸上色収差、軸外色フレア等の収差情報に応じて、図５に示すような値を有するように設定される。図５には、画像回復フィルタの１つの断面でのセル値（フィルタ値）を示している。画像回復フィルタは、フィルタ値が２次元分布を持つように作成されている。また、図５の例では、画像の中心から外れた位置での、コマ収差のような非対称性をもった収差を回復するフィルタとなっている。
【００４０】
画像回復フィルタは、撮像光学系１０１等の光学伝達関数（ＯＴＦ）を計算若しくは計測し、その逆関数を逆フーリエ変換することで作成される。一般的にはノイズの影響を考慮する必要があるため、ウィーナーフィルタや関連する回復フィルタの作成方法を選択して用いることができる。
【００４１】
また、ここにいう光学伝達関数は、撮像光学系１０１のみならず、撮像素子１０２の出力信号から画像処理部１０４にて入力画像が生成されるまでの、光学伝達関数を劣化させる要因を含めることが望ましい。すなわち、画像回復フィルタを、光が撮像光学系１０１に入射してから撮像素子１０２による撮像によって入力画像が取得されるまでの光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換することにより作成するようにするとよい。
【００４２】
撮像光学系１０１以外で光学伝達関数を劣化させる要因としては以下のようなものがある。例えば、撮像素子１０２の前面に配置されるローパスフィルタ（図示せず）は、光学伝達関数の周波数特性に対して高周波成分を抑制する。また、同様に撮像素子１０２の前面に配置される赤外線カットフィルタは、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響する。さらに、撮像素子１０２の画素開口の形状や開口率も周波数特性に影響する。他にも、被写体を照らす光源の分光特性や、各種波長フィルタの分光特性も光学伝達関数を劣化させる要因として挙げられる。したがって、これらを考慮した広義の光学伝達関数に基づいて画像回復フィルタを作成することが望ましい。
【００４３】
なお、撮像光学系１０１は、撮像装置の一部として設けられてもよいし、撮像装置に対して着脱可能な交換式のものであってもよい。
【００４４】
また、本実施例では、入力画像がＲＧＢ形式のカラー画像であるため、Ｒ，Ｇ，Ｂの複数の色成分に対応した複数（ここでは３つ）の画像回復フィルタを作成する。撮像光学系１０１には色収差があり、色成分ごとにぼけ方が異なるため、色成分ごとに最適な画像回復フィルタを得るためには、その特性を色収差に基づいて異ならせるべきだからである。つまり、図５に示したセル値の２次元分布が、色成分ごとに異なる３つの画像回復フィルタを作成する。
【００４５】
なお、図４には、１１×１１セルを有する画像回復フィルタを示したが、画像回復フィルタのセル数は、収差量に応じて任意に設定すればよい。例えば、収差量が大きい場合には、３０×３０セルや５０×５０セルのようにセル数を増加させてもよい。また、画像回復フィルタの縦横のセル数（セル配列）に関しては、図４に示すような正方配列である必要はなく、コンボリューション処理時にセル配列を考慮するようにすれば、任意に変更することができる。
【００４６】
画像回復フィルタの具体的な選択及び作成（補正）方法について説明する。図３において、大きな白丸で示した撮像状態が、ステップＳ２で取得した実際の撮像状態であるとする。実際の撮像状態又はそのきわめて近くに、記憶部１０８に記憶（格納）された画像回復フィルタ（以下、格納フィルタという）が存在する場合には、その格納フィルタを選択して画像回復処理に用いる。実際の撮像状態又はそのきわめて近くに、格納フィルタが存在しない場合には、以下の方法により画像回復フィルタを選択又は作成（補正）する。
【００４７】
まず、前述したステップＳ３において、画像処理部１０４は、実際の撮像状態と複数の格納フィルタに対応する撮像状態との間の撮像状態空間内での距離をそれぞれ算出する。そして、算出した距離のうち最も短い距離にある撮像状態に対応する格納フィルタを選択する。
【００４８】
このような格納フィルタを選択することで、実際の撮像状態と該格納フィルタに対応する撮像状態との相違量（以下、状態相違量という）が最も小さくなる。このため、該格納フィルタに対する補正量を少なくすることができ、実際の撮像状態に対応する画像回復フィルタにより近い画像回復フィルタを作成することができる。
【００４９】
図３において、小さな白丸で示した撮像状態に対応する格納フィルタが選択されたものとする。なお、図３には、撮像状態空間を概念的に示しているが、実際の各格納フィルタのデータには、座標値の情報が必要である。このため、格納フィルタ自体に座標値情報を持たせたり、予めアドレス（座標）が決まった多次元の配列空間に各格納フィルタのデータを配置したりすればよい。
【００５０】
次に、ステップＳ４では、画像処理部１０４は、ステップＳ３で選択した格納フィルタに対応する撮像状態と実際の撮像状態との状態相違量ΔＡ，ΔＢ，ΔＣを算出する。そして、ステップＳ５では、これらの状態相違量ΔＡ，ΔＢ，ΔＣに基づいて、状態補正係数を算出する。さらに、画像処理部１０４は、ステップＳ６において、該状態補正係数を用いて、ステップＳ３で選択した格納フィルタを補正する。これにより、実際の撮像状態に対応した画像回復フィルタを作成することができる。
【００５１】
次に、ステップＳ７では、画像処理部１０４は、選択又は作成された画像回復フィルタを用いて、ステップＳ１で取得した入力画像に対して画像回復処理を行う。すなわち、上記画像回復フィルタを用いて入力画像に対するコンボリューション処理を行うことで、撮像光学系１０１の収差に起因する画像のぼけ成分及び色にじみ成分を低減（又は除去）することができる。
【００５２】
なお、ステップＳ３〜ステップＳ７での処理は、撮像装置とは別の装置（パーソナルコンピュータ等）で行ってもよい。この場合、該別の装置で得られた画像回復フィルタを、撮像装置の記憶部１０８に格納（インストール）する処理を行えばよい。
【００５３】
図１において、画像処理部１０４で画像回復処理が行われた出力画像は、半導体メモリや光ディスク等の画像記録媒体１０９に所定のフォーマットで保存される。この出力画像は、画像回復処理によって鮮鋭化された高画質の画像である。
【００５４】
また、出力画像は、表示部１０５に表示されたり、撮像装置の外部（プリンタやデータベース）に出力されたりする。
【００５５】
上述した撮像素子１０２での光電変換、画像処理部１０４での画像処理、画像記録媒体１０９への記録、及び表示部１０５への画像表示といった一連の動作の制御は、システムコントローラ１１０によって行われる。また、撮像光学系１０１のズーム駆動やフォーカス駆動は、システムコントローラ１１０の指示により撮像光学系制御部１０６が制御する。
【００５６】
なお、撮像光学系１０１の中心像高の横倍率が最大像高の横倍率よりも１．２５倍以上大きくなるように撮像光学系１０１を設計するとよい。これにより、撮像光学系１０１のうち最も被写体側に位置する前玉レンズの径を小さくしたり、像面湾曲の補正を行ったりすることができる。
【００５７】
本実施例では、画像回復処理によって画像のぼけ成分と色にじみ成分だけでなく、色ずれ成分も低減（補正）する。このため、画像回復処理において、ぼけ成分と色にじみ成分と色ずれ成分を補正できるよう、Ｒ，Ｇ，Ｂの色成分ごとの複数（３つ）の画像回復フィルタを、前述したように撮像状態に応じて選択したり選択した画像回復フィルタを補正して作成したりする。
【００５８】
色成分ごとの画像回復フィルタの例を図６に示す。図６において（Ｒ），（Ｇ），（Ｂ）で示す画像回復フィルタは、それぞれＲ，Ｇ，Ｂ用の画像回復フィルタである。これらの画像回復フィルタは、ぼけ成分と色にじみ成分を補正するフィルタであるが、倍率色収差に対応する色ずれ成分の補正機能は有していない。
【００５９】
また、（Ｒ′），（Ｇ′），（Ｂ′）で示す画像回復フィルタも、それぞれＲ，Ｇ，Ｂ用の画像回復フィルタである。ただし、これらの画像回復フィルタは、ぼけ成分と色にじみ成分の補正機能に加えて、色ずれ成分の補正を行う機能も有する。具体的には、該３つの画像回復フィルタのうち少なくとも１つ（ここでは（Ｒ′）と（Ｂ′））において、セル値（フィルタ値）の絶対値が最大であるセル（以下、最大値セルという）の位置が、その画像回復フィルタの中心セルの位置からずれている。
【００６０】
各画像回復フィルタ内で黒いセルが最大値セルであり、×を付したセルが中心セルである。
【００６１】
（Ｒ），（Ｇ），（Ｂ）で示す画像回復フィルタは、色成分ごとに光学伝達関数（ＯＴＦ）が異なることからフィルタ特性は異なるが、最大値セルの位置は互いに同じ（中心セルの位置）である。
【００６２】
一方、（Ｒ′），（Ｇ′），（Ｂ′）で示す画像回復フィルタは、フィルタ特性が異なっているのに加えて、最大値セルの位置の中心セルに対するずれ量が互いに異なっている。これら画像回復フィルタ間での最大値セルの位置の相対ずれ量は、撮像光学系１０１の倍率色収差量に応じた量である。図７には、（Ｒ′）で示す画像回復フィルタの１つの断面でのセル値（フィルタ値）を示している。
【００６３】
（Ｒ′），（Ｇ′），（Ｂ′）で示す画像回復フィルタにおいて、フィルタ内のセル値の分布を色成分ごとに異ならせることで色ごとのぼけ成分及び色にじみ成分を補正できる。さらに、（Ｒ′），（Ｇ′），（Ｂ′）で示す画像回復フィルタにおいて、上記分布の位置をずらす（最大値セルの位置と中心セルの位置とのずれ量を異ならせる。ただし、本実施例では（Ｇ′）でのずれ量は０）ことで色ずれ成分も補正できる。
【００６４】
なお、図６では、１１×１１セルの画像回復フィルタを示したが、収差量が大きい場合には、３０×３０セルや５０×５０セルのように、収差量に応じてセル数を増加させてもよい。また、画像回復フィルタ内のセル値の分布を移動させたときに、元のセル領域から分布がはみ出してしまう場合には、画像回復フィルタのセル数を増加させることで対応すればよい。
【００６５】
次に、（Ｒ′），（Ｇ′），（Ｂ′）で示す画像回復フィルタの効果を、図８を用いて説明する。図８において、（ａ）は撮像光学系１０１の収差の影響がなければ矩形のプロファイルを持つはずの被写体像が撮像光学系１０１の収差によってぼけ像として劣化している入力画像を示している。
【００６６】
実線、破線及び一点鎖線はそれぞれ、Ｇ成分、Ｒ成分及びＢ成分を表しており、（ａ）では、Ｇ成分、Ｒ成分及びＢ成分でぼけの広がりが互いに異なる上に、ピーク位置が互いにずれている。各色成分でのプロファイルの劣化がぼけ成分であり、色成分間でのぼけ量の違いによる色づきが色にじみ成分であり、ピーク位置のずれが色ずれ成分である。
【００６７】
（ｂ）は、図７に（Ｒ），（Ｇ），（Ｂ）で示す画像回復フィルタを用いて、（ａ）に示す入力画像に対する画像回復処理を行った場合の回復画像を示している。この回復画像において、Ｒ，Ｇ，Ｂの被写体像が本来の矩形プロファイルを持つようにぼけ成分（色にじみ成分を含む）は補正されたが、色ずれ成分は補正されていない。さらに、色成分ごとに画像の倍率を拡大縮小して色ずれを補正する方法により、（ｃ）に示すような画像を得ることは可能である。
【００６８】
一方、（Ｒ′），（Ｇ′），（Ｂ′）で示す画像回復フィルタを用いて（ａ）に示す入力画像に対して画像回復処理を行うと、（ｃ′）に示すように、色成分ごとのぼけ成分（色にじみ成分を含む）が補正されるとともに、色ずれ成分も同時に補正される。
【００６９】
このように、本実施例によれば、従来では互いに別の処理として行う必要があったぼけ成分の補正処理（画像回復処理）と色ずれ成分の補正処理とを、１つ（一度）の画像回復処理の中で行うことができる。したがって、ぼけ成分と色ずれ成分（倍率色収差成分）とを高速な処理によって低減することができ、良好な出力画像を得ることができる。
【００７０】
前述した光学伝達関数（ＯＴＦ）は、同じ撮像状態であっても画角（像高）に応じて変化する。このため、画像回復処理は、画像における像高に応じて分割された領域ごとに画像回復フィルタを変更して行うことが望ましい。画像回復フィルタを画像上で走査しながらコンボリューション処理を行い、分割領域ごとに画像回復フィルタを順次変更すればよい。
【００７１】
また、画像回復処理の対象とする入力画像における画素の信号値に応じて画像回復フィルタを補正することで、入力画像の暗い領域で顕著となるノイズの増加を抑制することができる。入力画像の暗い領域では、明るい領域に比べて、画像信号に対してノイズ成分が相対的に大きいため、画像回復処理によってノイズを強調してしまうおそれがある。このため、暗い領域に対しては、画像回復フィルタの各セルの値を補正して画像回復効果を低下させることで、ノイズの増大を抑制することができる。信号値がある閾値以下の画素又は領域については画像回復処理を行わないようにしてもよい。
【００７２】
また、画像回復処理後の回復画像に補正誤差がある場合には、この補正誤差を補正するための別の画像処理を行ってもよい。これにより、実際の撮像状態と画像回復処理に用いた画像回復フィルタに対応する撮像状態との誤差に起因する回復画像における残留収差成分をさらに低減することができる。
【００７３】
また、入力画像内に飽和輝度領域が存在する場合に、その周辺部では収差成分が顕著に現れる。しかし、画像回復処理を行う際に、輝度値が飽和している画素については本来の輝度値が分からず、良好な補正が行えないおそれがある。この場合には、画像回復処理後の回復画像から残留している収差成分を検出して適応的に補正処理を行うことで、さらなる高画質化が達成できる。この適応的な補正処理は、本実施例での画像回復処理によってぼけ成分が低減された画像に最終的に残留した収差を補正するので、画像回復処理よりも後の段階で行うことが望ましい。
【００７４】
なお、本実施例では、画像がＲＧＢ形式の場合について説明したが、ＹＣＣ形式等、他の色形式の画像にも本発明を適用することができる。
【００７５】
また、本実施例では、本発明の画像処理方法を使用する（画像処理装置を搭載した）撮像装置について説明したが、本発明の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが本発明の画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の画像（入力画像）を取り込み（取得し）、画像処理プログラムによって画像回復処理を行って、その結果得られた画像を出力する。
【００７６】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【符号の説明】
【００７７】
１０１ 撮像光学系
１０１ａ 絞り
１０１ｂ フォーカスレンズ
１０２ 撮像素子
１０４ 画像処理部
１０５ 表示部
１０６ 撮像光学系制御部
１０７ 状態検知部
１０８ 記憶部
１１０ システムコントローラ
【特許請求の範囲】
【請求項１】
光学系を用いた撮像により得られた画像を処理する画像処理方法であって、
画像を取得するステップと、
前記光学系の収差情報に基づいて、フィルタ値が２次元分布を持つように作成された画像回復フィルタを用いて前記画像に対する画像回復処理を行う画像回復ステップとを有し、
該画像回復ステップにおいて、前記画像回復フィルタとして、少なくとも２つの色において互いに異なる前記フィルタ値の２次元分布を有する複数の画像回復フィルタを用い、
前記複数の画像回復フィルタは、前記フィルタ値の絶対値が最大であるセルの位置と該画像回復フィルタの中心セルの位置とのずれ量が前記光学系の倍率色収差量に応じて互いに異なり、前記画像のぼけ成分とともに倍率色収差成分を低減するフィルタであることを特徴とする画像処理方法。
【請求項２】
前記画像回復フィルタは、光が前記光学系に入射してから前記撮像により入力画像が取得されるまでの光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換することにより作成されることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記画像回復ステップにおいて、前記撮像に際しての撮像状態を示す情報を取得し、該撮像状態情報に応じた前記画像回復フィルタを選択又は作成して用いることを特徴とする請求項１又は２に記載の画像処理方法。
【請求項４】
光学系を用いた撮像により得られた画像を処理する画像処理装置であって、
前記光学系の収差情報に基づいて、フィルタ値が２次元分布を持つように作成された画像回復フィルタを記憶する記憶手段と、
前記画像回復フィルタを用いて前記画像に対する画像回復処理を行う画像回復手段とを有し、
該画像回復手段は、前記画像回復フィルタとして、少なくとも２つの色において互いに異なる前記フィルタ値の２次元分布を有する複数の画像回復フィルタを用い、
前記複数の画像回復フィルタは、前記フィルタ値の絶対値が最大であるセルの位置と該画像回復フィルタの中心セルの位置とのずれ量が互いに異なり、前記画像のぼけ成分とともに倍率色収差成分を低減するフィルタであることを特徴とする画像処理装置。
【請求項５】
光学系により形成された被写体像を光電変換して画像を取得する撮像系と、
該画像を処理する請求項４に記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項６】
光学系を用いた撮像により得られた画像を処理する画像処理装置に以下のステップを実行させるプログラムであって、
画像を取得するステップと、
前記光学系の収差情報に基づいて、フィルタ値が２次元分布を持つように作成された画像回復フィルタを用いて前記画像に対する画像回復処理を行う画像回復ステップとを有し、
該画像回復ステップにおいて、前記画像回復フィルタとして、少なくとも２つの色において互いに異なる前記フィルタ値の２次元分布を有する複数の画像回復フィルタを用い、
前記複数の画像回復フィルタは、前記フィルタ値の絶対値が最大であるセルの位置と該画像回復フィルタの中心セルの位置とのずれ量が前記光学系の倍率色収差量に応じて互いに異なり、前記画像のぼけ成分とともに倍率色収差成分を低減するフィルタであることを特徴とするプログラム。
【請求項１】
光学系を用いた撮像により得られた画像を処理する画像処理方法であって、
画像を取得するステップと、
前記光学系の収差情報に基づいて、フィルタ値が２次元分布を持つように作成された画像回復フィルタを用いて前記画像に対する画像回復処理を行う画像回復ステップとを有し、
該画像回復ステップにおいて、前記画像回復フィルタとして、少なくとも２つの色において互いに異なる前記フィルタ値の２次元分布を有する複数の画像回復フィルタを用い、
前記複数の画像回復フィルタは、前記フィルタ値の絶対値が最大であるセルの位置と該画像回復フィルタの中心セルの位置とのずれ量が前記光学系の倍率色収差量に応じて互いに異なり、前記画像のぼけ成分とともに倍率色収差成分を低減するフィルタであることを特徴とする画像処理方法。
【請求項２】
前記画像回復フィルタは、光が前記光学系に入射してから前記撮像により入力画像が取得されるまでの光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換することにより作成されることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記画像回復ステップにおいて、前記撮像に際しての撮像状態を示す情報を取得し、該撮像状態情報に応じた前記画像回復フィルタを選択又は作成して用いることを特徴とする請求項１又は２に記載の画像処理方法。
【請求項４】
光学系を用いた撮像により得られた画像を処理する画像処理装置であって、
前記光学系の収差情報に基づいて、フィルタ値が２次元分布を持つように作成された画像回復フィルタを記憶する記憶手段と、
前記画像回復フィルタを用いて前記画像に対する画像回復処理を行う画像回復手段とを有し、
該画像回復手段は、前記画像回復フィルタとして、少なくとも２つの色において互いに異なる前記フィルタ値の２次元分布を有する複数の画像回復フィルタを用い、
前記複数の画像回復フィルタは、前記フィルタ値の絶対値が最大であるセルの位置と該画像回復フィルタの中心セルの位置とのずれ量が互いに異なり、前記画像のぼけ成分とともに倍率色収差成分を低減するフィルタであることを特徴とする画像処理装置。
【請求項５】
光学系により形成された被写体像を光電変換して画像を取得する撮像系と、
該画像を処理する請求項４に記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項６】
光学系を用いた撮像により得られた画像を処理する画像処理装置に以下のステップを実行させるプログラムであって、
画像を取得するステップと、
前記光学系の収差情報に基づいて、フィルタ値が２次元分布を持つように作成された画像回復フィルタを用いて前記画像に対する画像回復処理を行う画像回復ステップとを有し、
該画像回復ステップにおいて、前記画像回復フィルタとして、少なくとも２つの色において互いに異なる前記フィルタ値の２次元分布を有する複数の画像回復フィルタを用い、
前記複数の画像回復フィルタは、前記フィルタ値の絶対値が最大であるセルの位置と該画像回復フィルタの中心セルの位置とのずれ量が前記光学系の倍率色収差量に応じて互いに異なり、前記画像のぼけ成分とともに倍率色収差成分を低減するフィルタであることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−９０３１０（Ｐ２０１２−９０３１０Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１１−２６９６５１（Ｐ２０１１−２６９６５１）
【出願日】平成２３年１２月９日（２０１１．１２．９）
【分割の表示】特願２００８−２５２３２４（Ｐ２００８−２５２３２４）の分割
【原出願日】平成２０年９月３０日（２００８．９．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２３年１２月９日（２０１１．１２．９）
【分割の表示】特願２００８−２５２３２４（Ｐ２００８−２５２３２４）の分割
【原出願日】平成２０年９月３０日（２００８．９．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]