画像処理装置及び方法
【課題】 ＲＡＷ画像における画像回復処理で発生する偽色及び処理の負荷を低減させること。
【解決手段】 複数色のカラーフィルタのいずかにより各画素が覆われた撮像素子（１０２）により、撮像光学系を介して入射する被写体像を撮像して得られた画像データに対して、撮像光学系の収差による画像の劣化を回復する回復処理を行う画像処理装置であって、カラーフィルタの配列により他の色より空間周波数特性が高い色の画像データを、他の色と同じ空間周波数特性となるように複数の色の画像データに分離する信号分離部（１１０１）と、分離された各色の画像データそれぞれに対して、フィルタ処理による回復処理を行う複数の回復フィルタ適用部（１１１０〜１１１３）と、回復処理された画像データに対して、複数の色の画像データを同じ色の画像データとして用いて、各画素の色補間処理を行うその他画像処理部（１１２）とを有する。
。
【解決手段】 複数色のカラーフィルタのいずかにより各画素が覆われた撮像素子（１０２）により、撮像光学系を介して入射する被写体像を撮像して得られた画像データに対して、撮像光学系の収差による画像の劣化を回復する回復処理を行う画像処理装置であって、カラーフィルタの配列により他の色より空間周波数特性が高い色の画像データを、他の色と同じ空間周波数特性となるように複数の色の画像データに分離する信号分離部（１１０１）と、分離された各色の画像データそれぞれに対して、フィルタ処理による回復処理を行う複数の回復フィルタ適用部（１１１０〜１１１３）と、回復処理された画像データに対して、複数の色の画像データを同じ色の画像データとして用いて、各画素の色補間処理を行うその他画像処理部（１１２）とを有する。
。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び方法に関し、特に画像回復処理を用いた劣化画像を補正する画像処理装置及び方法に関する。
【背景技術】
【０００２】
情報のデジタル化に伴い、画像を信号値として扱えることで撮影画像に対する様々な補正処理方法が提案されている。デジタルカメラで被写体を撮像して画像化するとき、得られた画像は特に撮像光学系の収差によって少なからず劣化している。
【０００３】
画像のぼけ成分とは、光学系の球面収差、コマ収差、像面湾曲、非点収差等が原因である。これらの収差による画像のぼけ成分は、無収差で回折の影響もない場合に、本来、被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが広がりをもって像を結んでいるものを指している。光学的には点像分布関数（ＰＳＦ）と呼ぶものであるが、これを画像ではぼけ成分と呼ぶことにする。画像のぼけと言うと、例えばピントがずれた画像もぼけているが、ここでは特にピントが合っていても上記の光学系の収差の影響でぼけてしまうものを指すことにする。また、カラー画像での色にじみも光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長毎のぼけ方の相違ということができる。
【０００４】
点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（ＯＴＦ、Optical Transfer Function）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数（ＯＴＦ）の絶対値、即ち振幅成分をＭＴＦ（Modulation Transfer Function）と呼び、位相成分をＰＴＦ（Phase Transfer Function）と呼ぶ。よって、ＭＴＦ、ＰＴＦはそれぞれ収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式（１）で表す。なお、Ｒｅ（ＯＴＦ）、Ｉｍ（ＯＴＦ）は、それぞれＯＴＦの実部、虚部を表す。
ＰＴＦ＝ｔａｎ-1（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ）） …（１）
【０００５】
このように、撮像光学系の光学伝達関数（ＯＴＦ）は画像の振幅成分と位相成分に劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。
【０００６】
また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて、例えばＲＧＢの色成分として取得することで発生する。従って、ＲＧＢ間で結像位置がずれることはもとより、各色成分内にも波長ごとの結像位置のずれ、即ち位相ずれによる像の広がりが発生する。よって、正確には倍率色収差は単なる平行シフトの色ずれではないが、特に説明が無い限り色ずれを倍率色収差と同意義として記載することにする。
【０００７】
振幅（ＭＴＦ）の劣化と位相（ＰＴＦ）の劣化を補正する方法として、撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正するものが知られている。この方法は画像回復や画像復元という言葉で呼ばれており、以降この撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて画像の劣化を補正する処理を画像回復処理と記すことにする。
【０００８】
ここで、画像回復処理の概要を示す。劣化した画像をｇ（ｘ，ｙ）、元の画像をｆ（ｘ，ｙ）、光学伝達関数を逆フーリエ変換したものである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）としたとき、以下の式（２）が成り立つ。ただし、＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） …（２）
【０００９】
また、これをフーリエ変換して周波数面での表示形式に変換すると、以下の式（３）のように周波数毎の積の形式になる。Ｈは点像分布関数（ＰＳＦ）をフーリエ変換したものであるので光学伝達関数（ＯＴＦ）である。（ｕ，ｖ）は２次元周波数面での座標、即ち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） …（３）
【００１０】
すなわち、撮影された劣化画像から元の画像を得るためには、以下の式（４）ように両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） …（４）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで元の画像ｆ（ｘ，ｙ）が回復像として得られる。
ここで、上式の１／Ｈを逆フーリエ変換したものをＲとすると、以下の式（５）のように実面での画像に対するコンボリューション処理を行うことで同様に元の画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） …（５）
【００１１】
このＲ（ｘ，ｙ）を画像回復フィルタと呼ぶ。しかしながら、実際の画像にはノイズ成分があるため上記のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい一般には良好な画像は得られない。この点については、例えばウィーナーフィルターのように画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する方法が知られている。画像の色にじみ成分の劣化を補正する方法として、例えば、上記のぼけ成分の補正により画像の色成分毎のぼけ量が均一になれば補正されたことになる。
ここで、ズーム位置の状態や絞り径の状態等の撮影状態に応じて光学伝達関数（ＯＴＦ）が変動するため、画像回復処理に用いる画像回復フィルタもこれに応じて変更する必要がある。
【００１２】
例えば、特許文献１には、画像回復後のＰＳＦに微小な広がりを設定して画像回復処理を行う画像回復処理が開示されている。また、特許文献２では、生体内部を観察するための内視鏡において、撮像手段の合焦範囲外の範囲に対して、使用する蛍光波長に応じたＰＳＦを用いて像のぼけを解消する手法が開示されている。蛍光が微弱であるためにＦナンバーの小さい対物光学系が必要であるため、焦点深度が浅くなってしまうので、焦点の合わない範囲に対しては画像回復処理をして合焦像を得ようとしている。
【００１３】
上記の通り、撮像した入力画像に対して画像回復処理を施すことにより、諸収差を補正することで画質を向上することができる。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００６−２３８０３２号公報
【特許文献２】特許第０３５３２３６８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
画像回復処理には、各画素が、例えばＲＧＢのいずれか１色の色成分の信号を持つＲＡＷ画像に適用する方法と、各画素が、例えばＲＧＢの各色成分の信号をそれぞれ有するように補間をしてから、各色プレーンに適用する方法とがある。
【００１６】
各色プレーンに適用する方法は、ＲＡＷ画像に適用する方法に比べ、画像回復処理を適用する画素数と回復フィルタのタップ数が多くなるために画像回復処理の処理負荷が著しく増大する。
【００１７】
一方、ＲＡＷ画像を構成する各画素の色成分の配列としては、一般的に図２に示すようなベイヤー配列になっていることが多く、この場合、Ｇ成分の画素数はＲやＢ成分の画素数よりも多くなっている。そのためＲＡＷ画像におけるＧ成分の画素配列における周波数特性はＲやＢ成分の画素配列における周波数特性と異なっている。前述の通り画像回復処理は周波数特性の補正と等価であるため、Ｇ成分は回復される周波数帯域がＲやＢ成分とは異なり、この場合、Ｇ成分はＲやＢ成分よりも高周波帯域の回復が可能になる。ＲＧＢの中でＧ成分だけが高周波帯域まで回復されると、画像中の高周波成分を含む領域では画像回復処理により本来画像には存在しなかった偽色が発生することがある。これは画像の高周波帯域におけるＲＧＢの周波数特性の関係が、画像回復処理前と後で変わってしまったためである。このように、周波数帯域が異なる信号成分に対して画像回復処理を行うことは、偽色発生の原因になる。ここで言う偽色とはベイヤー配列の画像に対する画素補間によって発生する偽色とは異なり、撮像素子によって取得された画素データそのものが変化することで発生するものである。従って偽色発生を抑制するような画素補間アルゴリズムを適用しても、画像回復処理によって発生する偽色は抑制されない。
【００１８】
本発明は上記問題点を鑑みてなされたものであり、ＲＡＷ画像における画像回復処理で発生する偽色を低減させるとともに、画像回復処理にかかる負荷を低減することを目的とする。
【課題を解決するための手段】
【００１９】
上記目的を達成するために、複数色のカラーフィルタのいずかにより各画素が覆われた撮像素子により、撮像光学系を介して入射する被写体像を撮像して得られた画像データに対して、前記撮像光学系の収差による画像の劣化を回復する回復処理を行う本発明の画像処理装置は、前記複数色の画像データを、各色の画像データに分離する分離手段と、前記分離手段により分離された前記各色の画像データそれぞれに対して、フィルタ処理による回復処理を行う複数の画像処理手段と、前記回復処理が行われた画像データに対して、各画素の色補間処理を行う補間処理手段とを有し、前記分離手段は、前記複数色のカラーフィルタの配列により他の色に比較して空間周波数特性が高くなる色の画像データを、前記他の色と同じ空間周波数特性となるように複数の色の画像データに分離し、前記補間処理手段は、前記複数の色の画像データを同じ色の画像データとして用いて前記色補間処理を行う。
【発明の効果】
【００２０】
本発明によれば、ＲＡＷ画像における画像回復処理で発生する偽色を低減させるとともに、画像回復処理にかかる負荷を低減することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態に係る画像処理装置の一例としての撮像装置の構成図。
【図２】色成分配列の一例を示す図。
【図３】第１の実施形態に係る画像処理部の構成を示すブロック図。
【図４】第１の実施形態に係る色成分及び画像回復成分を示す図。
【図５】第１の実施形態に係る色成分別の周波数特性を示す図。
【図６】第１の実施形態に係る画像回復処理のフローチャート。
【図７】画像回復フィルタを説明するための模式図。
【図８】第１の実施形態に係る画像回復フィルタを説明するための模式図。
【図９】第１の実施形態に係る画像回復フィルタの回復ゲインと画像のＭＴＦの一例を示す図。
【図１０】第１の実施形態に係る色補間処理の例を示す図。
【図１１】第１の実施形態に係る他の撮像素子の画素配列の例を示す図。
【図１２】第１の実施形態に係る他の色成分及び画像回復成分を示す図
【図１３】第２の実施形態に係る画像処理部の構成を示すブロック図。
【図１４】第２の実施形態に係る画像回復処理のフローチャート。
【発明を実施するための形態】
【００２２】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００２３】
＜第１の実施形態＞
図１は、本発明の実施形態に係る撮像装置の基本構成の一例である。不図示の被写体像は、絞り１０１ａおよびフォーカスレンズ１０１ｂを含む撮像光学系１０１を介して撮像素子１０２に入射する。撮像素子１０２は、一例として、図２に示す所謂ベイヤー配列のカラーフィルタにより覆われ、撮像素子１０２を構成する各画素は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の内、覆われたフィルタの色に応じた色成分の信号を出力する。撮像素子１０２で結像光が電気信号に変換され、Ａ／Ｄコンバータ１０３でデジタル信号に変換されて、画像処理部１０４に入力される。画像処理部１０４は、画像回復処理部１１１と、所定の処理を行うその他画像処理部１１２とから構成され、その他画像処理部１１２は色補間処理を含んでいる。画像回復処理部１１１の出力画像は各画素がいずれか１つのフィルタの色に応じた色成分の信号のみを有する状態である。そのため、その他画像処理部１１２では回復された画像に対して、各画素に全てのフィルタの色に応じた色成分の信号を持たせるための色補間処理が行われる。
【００２４】
画像処理部１０４は、まず、状態検知部１０７から撮像装置の撮像状態の情報を得る。状態検知部１０７はシステムコントローラ１１０から直接撮像状態の情報を得ても良いし、例えば撮像光学系に関する撮像状態の情報は撮像光学系制御部１０６から得ることもできる。次に撮像状態に応じた画像回復フィルタを記憶部１０８から選択し、画像回復処理部１１１は画像処理部１０４に入力された画像に対して画像回復処理を行う。記憶部１０８で保持するデータは画像回復フィルタではなく、画像回復フィルタを生成するために必要な光学伝達関数（ＯＴＦ）に関する情報でもよい。この場合、画像回復処理部１１１は撮像状態に応じた光学伝達関数（ＯＴＦ）に関する情報を記憶部１０８から選択し、撮像状態に応じた画像回復フィルタを生成した後、画像処理部１０４に入力された画像に対して画像回復処理を行う。
【００２５】
画像処理部１０４で処理された出力画像を、画像記録媒体１０９に所定のフォーマットで保存する。また、表示部１０５には、画像回復処理後の画像に表示用の所定の処理を行った画像を表示しても良いし、画像回復処理を行わない、又は簡易的な回復処理を行った画像を表示しても良い。
【００２６】
一連の制御はシステムコントローラ１１０で行われ、撮像光学系の機械的な駆動はシステムコントローラ１１０の指示により撮像光学系制御部１０６で行う。
【００２７】
絞り１０１ａは、Ｆナンバーの撮影状態設定として開口径が制御される。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構によりレンズの位置が制御される。この撮像光学系にはローパスフィルタや赤外線カットフィルタ等の光学素子を入れても構わない。ただし、ローパスフィルタ等の光学伝達関数（ＯＴＦ）の特性に影響を与える素子を用いる場合には、画像回復フィルタを作成する時点でその光学素子による光学伝達関数（ＯＴＦ）の変化を考慮する。赤外カットフィルタにおいても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響する。そのため、画像回復フィルタを作成する時点で、赤外カットフィルタによる点像分布関数（ＰＳＦ）の変化を考慮する。
【００２８】
また、撮像光学系１０１は撮像装置の一部として構成されているが、一眼レフカメラにあるような交換式のものであっても良い。
【００２９】
本第１の実施形態における画像処理部１０４の構成を図３に示す。画像回復処理部１１１への入力画像は、上述したように、各画素が、例えば図２のベイヤー配列のＲ、Ｇ、Ｂいずれか１色の色成分を有するＲＡＷデータである。
【００３０】
本第１の実施形態では、画像回復処理部１１１内の信号分離部１１０１においてＧ成分をＧ１とＧ２に分離してＲ、Ｇ１、Ｇ２、Ｂの４つの画像回復成分とする。そして、この４つの画像回復成分に対して画像回復フィルタを適用するために、回復フィルタ適用部１１１０〜１１１３に入力される。
【００３１】
ＲＡＷデータにおける各色成分と各画像回復成分の例を図４に示す。図４（ａ）〜（ｃ）はＲＡＷデータにおける３つの色成分を示しており、（ａ）はＧ成分、（ｂ）はＲ成分、（ｃ）はＢ成分を示している。図中の白で示した画素がそれぞれの色成分を表している。本第１の実施形態では図４（ａ）に示したＧ成分を、図４（ｄ）、（ｅ）に示したＧ１とＧ２に分けて画像回復処理を適用する。Ｒ成分の信号を出力する画素の水平方向に隣接する画素から出力されるＧ成分の信号をＧ１成分の信号とし、Ｂ成分の信号を出力する画素の水平方向に隣接する画素から出力されるＧ成分の信号をＧ２成分の信号とする。つまり図４において、（ｂ）は画像回復成分Ｒ、（ｃ）は画像回復成分Ｂ、（ｄ）は画像回復成分Ｇ１、（ｅ）は画像回復成分Ｇ２となる。
【００３２】
図５は撮像素子における色成分別の画素配列の空間周波数特性を示した図である。図４（ａ）〜（ｅ）で示した各成分において光を感知できる画素（白で表した画素）を１、光を感知できない画素（黒で表した画素）を０とし、それぞれをｍ＿Ｇ（ｘ,ｙ）、ｍ＿Ｒ（ｘ,ｙ）、ｍ＿Ｂ（ｘ,ｙ）、ｍ＿Ｇ１（ｘ,ｙ）、ｍ＿Ｇ２（ｘ,ｙ）とおく。図５に示した空間周波数特性は、このｍ＿Ｇ（ｘ,ｙ）、ｍ＿Ｒ（ｘ,ｙ）、ｍ＿Ｂ（ｘ,ｙ）、ｍ＿Ｇ１（ｘ,ｙ）、ｍ＿Ｇ２（ｘ,ｙ）をフーリエ変換したものに相当する。
【００３３】
図５（ａ）はＧ成分、すなわち図４（ａ）の空間周波数特性を表したものであり、●の位置のみに１が存在する、くし型関数である。図４（ｂ）、（ｃ）に示したＲ、Ｂ成分の空間周波数特性を示したものが図５（ｂ）であり、Ｇ成分の空間周波数特性を示した図５（ａ）とは異なっている。また、Ｇ成分をＧ１、Ｇ２の画像回復成分に分離した場合の空間周波数特性はＲやＢ成分と同様に図５（ｂ）のようになる。
【００３４】
Ｒ、Ｇ、Ｂの３つの色成分に対してそのまま画像回復処理を行うと、図５に示したとおりＧ成分とＲ、Ｂ成分とで空間周波数特性が異なることから、前述したように画像の高周波成分を含む領域で本来画像には存在しなかった偽色が発生する原因になる。これに対し、Ｇ成分をＧ１、Ｇ２の画像回復成分に分離することで、４つの画像回復成分Ｒ、Ｇ１、Ｇ２、Ｂの画素配列は同じ空間周波数特性を示すようになる。そのため画像回復処理で対象となる周波数帯域が共通になることから、画像回復処理による偽色の発生を抑えることができる。
【００３５】
なお、Ｒ、Ｇ、Ｂの３つの色成分に対してそのまま画像回復を行う場合も、Ｇ成分に適用する画像回復フィルタの作り方によっては補正されるＧ成分の周波数帯域をＲやＢ成分に一致させることが可能である。しかし、その場合、回復される周波数帯域はＧ成分をＧ１、Ｇ２の画像回復成分に分離した場合と同等であるため、後述の通り画像回復フィルタのコンボリューション時の処理負荷の観点からＧ１、Ｇ２の画像回復成分に分離した方が有利である。
【００３６】
以下、図６のフローチャートを用いて、画像回復処理部１１１における第１の実施形態における画像回復処理の流れを詳細に説明する。
【００３７】
Ｓ１１では、前述のように状態検知部１０７から実際の撮像状態の情報を取得する。撮像状態とは、例えばズーム位置、絞り径、被写体距離等の撮影条件である。次に、Ｓ１２では、信号分離部１１０１において、Ｒ、Ｇ、Ｂから構成されるＲＡＷデータを、Ｒ、Ｇ１、Ｇ２、Ｂの４つの画像回復成分に分離する。具体的には対象の画像回復成分以外の色成分に対応する画素に該当する部分に０を設定した画像データをＲ、Ｇ１、Ｇ２、Ｂ成分別に４つ用意すればよい。あるいは、対象の画像回復成分以外の色成分に対応する画素に該当する部分を間引いた１／４サイズの画像データをＲ、Ｇ１、Ｇ２、Ｂ成分別に４つ用意してもよい。
【００３８】
次に、Ｓ１３では、取得した撮像状態に適し、且つ、Ｒ、Ｇ１、Ｇ２、Ｂの４つの画像回復成分に適した画像回復フィルタを記憶部１０８から選択する。このとき、選択された画像回復フィルタを必要に応じて補正しても構わない。これは、予め記憶部１０８に用意しておく画像回復フィルタのデータ数を低減するために、離散的な撮像状態のデータを用意しておいて、実際に画像回復処理を実行する際に画像回復フィルタを補正することである。また、記憶部１０８が、画像回復フィルタではなく、画像回復フィルタを生成するために必要な光学伝達関数（ＯＴＦ）に関する情報を保持している場合、選択した光学伝達関数（ＯＴＦ）に関する情報から撮像状態に応じた画像回復フィルタを生成する。
【００３９】
ここで、画像回復フィルタについて説明する。
【００４０】
図７は、各画素にＲ、Ｇ、Ｂの各色成分が揃った画像の各色プレーンに適用する画像回復フィルタの例を示す模式図である。画像回復フィルタは撮像光学系の収差量に応じてタップ数を決めることができ、この例では１１×１１タップの２次元フィルタとしている。フィルタの各タップが画像の１画素に対応して画像回復工程でコンボリューション処理される。図７（ａ）のように画像回復フィルタを１００以上に分割した２次元フィルタとすることで、撮像光学系による球面収差、コマ収差、軸上色収差、軸外色フレア等の結像位置から大きく広がる収差に対しても回復することができる。
【００４１】
図７（ａ）では各タップ内の値を省略しているが、このフィルタの１断面を図７（ｂ）に示す。この画像回復フィルタの作成法については上記のように撮像光学系の光学素子の光学伝達関数（ＯＴＦ）を計算若しくは計測し、その逆関数を逆フーリエ変換して得ることができる。一般的にはノイズの影響を考慮する必要があるためウィーナーフィルタや関連する回復フィルタの作成方法を選択して用いることができる。さらに、光学伝達関数（ＯＴＦ）は撮像光学系のみならず、入力される画像に対して、光学伝達関数（ＯＴＦ）を劣化させる要因を含めることができる。例えば、ローパスフィルタは光学伝達関数（ＯＴＦ）の周波数特性に対して高周波成分を抑制するものである。また、撮像素子の画素開口の形状や開口率も周波数特性に影響している。他にも光源の分光特性や各種波長フィルタの分光特性が挙げられる。これらを含めた広義の光学伝達関数（ＯＴＦ）に基づいて、画像回復フィルタを作成することが望ましい。
【００４２】
画像がＲ、Ｇ、Ｂ形式のカラー画像である場合は、Ｒ、Ｇ、Ｂの各色成分に対応した３つの画像回復フィルタを作成すれば良い。撮像光学系には色収差があり、色成分毎にぼけ方が異なるため、色成分毎の画像回復フィルタは特性が色収差に基づいて若干異なる。即ち、図７（ａ）の断面図が色成分毎に異なることに対応する。画像回復フィルタの縦横のタップ数に関しても正方配列である必要はなく、コンボリューション処理時に考慮するようにすれば任意に変更することができる。
【００４３】
上述した、各画素にＲＧＢの各色成分が揃った画像の各色プレーンに適用する画像回復フィルタに対し、本第１の実施形態で用いられる、各画素に１色の色成分を持つＲＡＷ画像に適用する画像回復フィルタの例を図８を参照して説明する。対象の色成分が存在する画素に対して係数を保持する画像回復フィルタであり、係数を保持している箇所を図中の白で表し、それ以外の０を保持する箇所を黒で表している。
【００４４】
Ｒ、Ｇ、Ｂの３つの色成分に対して、Ｇ成分を分離せずにそのまま画像回復処理を行う場合、Ｒ、Ｂ成分に適用する画像回復フィルタは図８（ａ）のようになり、Ｇ成分に適用する画像回復フィルタは図８（ｂ）のようになる。しかし、本第１の実施形態ではＧ成分をＧ１、Ｇ２の画像回復成分に分離して画像回復フィルタを適用するため、Ｒ、Ｇ１、Ｇ２、Ｂのいずれに対しても図８（ａ）のような画像回復フィルタを用いることができる。
【００４５】
図６に戻り、Ｓ１４において、回復フィルタ適用部１１１０〜１１１３は、Ｓ１３で選択された画像回復フィルタを用いて、撮像された入力画像の各画像回復成分Ｒ、Ｇ１、Ｇ２、Ｂの各画素に対してフィルタ処理によるコンボリューション処理を行う。これにより撮像光学系で発生した収差による画像のぼけ成分を除去若しくは低減することができる。前記したように色画像回復成分Ｒ、Ｇ１、Ｇ２、Ｂ毎に適した画像回復フィルタを用いることで色収差も補正することができる。
【００４６】
第１の実施形態におけるコンボリューション処理は、図４の（ｂ）〜（ｅ）で示した各画像回復成分Ｒ、Ｇ１、Ｇ２、Ｂと、図８（ａ）で示した画像回復フィルタを用いたフィルタ処理によるコンボリューション処理である。Ｓ１２で分離した各画像回復成分のデータの持たせ方に応じて画像回復フィルタの保持方法や適用方法は適宜変えればよい。例えば、対象の画像回復成分以外の部分に０を設定した画像データをＲ、Ｇ１、Ｇ２、Ｂ成分別に４つ用意した場合は、コンボリューション処理の対象にする画素を対象の画像回復成分に限定することで、余計な演算を省くことができる。また、対象の画像回復成分以外の部分を間引いた１／４サイズの画像データをＲ、Ｇ１、Ｇ２、Ｂ成分別に４つ用意した場合は、画像回復フィルタ自体も使用される係数以外を間引いた状態で保持する。そのようにすることで、１／４サイズの画像データにそのまま適用することができる。
【００４７】
いずれであっても、図７（ａ）に示した各画素にＲ、Ｇ、Ｂの各色成分が揃った画像に適用する画像回復フィルタや、図８（ｂ）で示した分離しないＧ成分に適用する画像回復フィルタに比べ、有効な係数の数が明らかに少なくなる。そのため、コンボリューション処理の負荷は低減される。
【００４８】
以上、画像の各画素に対して画像回復処理を行って、画像回復処理部１１１の処理は終了となる。なお、光学伝達関数（ＯＴＦ）は１つの撮影状態においても撮像光学系の画角（像高）に応じて変化するので、本発明の画像回復処理を像高に応じた画像の分割された領域毎に変更して行うことが望ましい。これには、画像回復フィルタを画像上にコンボリューション処理をしながら走査させ、領域毎にフィルタを順次変更すれば良い。すなわちＳ１３とＳ１４を各画像回復成分の各対象画素に対して実行する。
【００４９】
画像回復処理部１１１において画像回復処理が施された画像データは、その後、その他画像処理部１１２に入力される。画像回復処理が施された画像データはベイヤー配列のままであるので、その他画像処理部１１２では撮像素子が保持している３つの色成分毎に色補間処理が行われる。その他画像処理部１１２では色補間処理の他に、ガンマ補正やカラーバランス調整など、ＲＡＷデータに対する周知の現像処理を行い、ＪＰＥＧ等の画像ファイルを生成する。
【００５０】
ここで図９を用いて画像回復フィルタの回復ゲインと、画像回復処理の有／無による画像の周波数特性を説明する。なお、回復ゲインを画像回復処理によるＭＴＦの増減率と定義する。図９（ａ）に示すグラフは第１の実施形態における画像回復フィルタの回復ゲインの一例である。上述の画像回復成分の画素配列における空間周波数特性から、画像回復フィルタにより回復される周波数帯域は撮像素子のナイキスト周波数の２分の１までと考えることができる。これに対し、各画素にＲＧＢの各色成分が揃った画像の各色プレーンに画像回復処理を行う場合、画像回復成分の画素配列における空間周波数特性から、画像回復フィルタにより回復される周波数帯域は撮像素子のナイキスト周波数までと考えることができる。
【００５１】
しかし、第１の実施形態により画像回復処理が施されたＪＰＥＧ等の出力画像におけるＭＴＦの改善は、撮像素子のナイキスト周波数の２分の１までの帯域だけではない。本第１の実施形態による出力画像のある領域におけるＭＴＦの例を図９（ｂ）に示す。画像回復処理を行わない場合の出力画像に比べ、画像回復処理を行う場合は、撮像素子のナイキスト周波数以上の帯域もＭＴＦが改善していることが分かる。これは、その他画像処理部１１２で行われる色補間処理が影響する。ベイヤー配列のような撮像素子における色補間処理は従来から研究がなされ、様々な補間技術が開示されている。一般的に用いられている方法は周囲の他の色成分の画素情報を使って補間画素を生成する適応的な色補間処理である。これは、例えばある画素においてＲの画素値を補間処理により生成する場合、周囲の画素のＧやＢの情報を使ってＲの補間方法を決定する方法である。１つの色成分を単純に線形補間するような方法とは異なり、このような適応的な色補間処理は、補間処理による偽色の発生や先鋭度の低下を低減させることが可能である。
【００５２】
図１０に示したエッジ部における画素補間の例を使用して、適応的な色補間処理方法の一例を説明する。図１０（ａ）はあるエッジの断面図を示している。エッジが色の無いモノクロであって、撮像素子１０２の各画素でＲ、Ｇ、Ｂのそれぞれの値を取得した場合に、Ｒ、Ｇ、Ｂの各色成分がいずれも図１０（ｂ）に示したように画素値１００と２００から構成される画素配列であるものとする。実際にはベイヤー配列の撮像素子１０２で撮影されたＲＡＷ画像は各画素に１色の色成分を持っているため、色成分毎に値を抽出した場合、図１０（ｃ）〜（ｅ）に示す画素配列となる。（ｃ）〜（ｅ）に示す各色成分の画素配列において黒で示した画素が色補間処理が必要な画素である。この場合、色補間処理後の各色成分は図１０（ｂ）に示した画素値になることが理想であることは明らかである。以後、図１０（ｃ）〜（ｅ）の画素配列をＧ（ｘ，ｙ）、Ｒ（ｘ，ｙ）、Ｂ（ｘ，ｙ）と記述する。ここでｘは横方向の座標、ｙは縦方向の座標であり、いずれも図１０においては０〜４の範囲で値を持つ。
【００５３】
図１０（ｃ）〜（ｅ）の各色成分において、まず線形補間を行う場合の例を以下に示す。Ｇ成分に対する線形補間は隣接する４つの画素を使用して、式（６）の演算を行う。
Ｇ（ｘ，ｙ）＝（Ｇ（ｘ，ｙ−１）＋Ｇ（ｘ−１，ｙ）
＋Ｇ（ｘ＋１，ｙ）＋Ｇ（ｘ，ｙ＋１））／４ …（６）
【００５４】
Ｒ成分に対する線形補間は、補間する画素の場所によって異なり、下記３パターンの式（７）のいずれかにより行う。
隣接する左右画素に値がある場合（例えばＲ（２，０））：
Ｒ（ｘ，ｙ）＝（Ｒ（ｘ−１，ｙ）＋Ｒ（ｘ＋１，ｙ））／２
隣接する上下画素に値がある場合（例えばＲ（１，１））：
Ｒ（ｘ，ｙ）＝（Ｒ（ｘ，ｙ−１）＋Ｒ（ｘ，ｙ＋１））／２
隣接する斜め画素に値がある場合（例えばＲ（２，１））：
Ｒ（ｘ，ｙ）＝（Ｒ（ｘ−１，ｙ−１）＋Ｒ（ｘ＋１，ｙ−１）
＋Ｒ（ｘ−１，ｙ＋１）＋Ｒ（ｘ＋１，ｙ＋１））／４
…（７）
Ｂ成分に対する線形補間もＲ成分と同様に、補間する画素の場所に応じて上述した３パターンの式（７）のいずれかを適用することで行う。
【００５５】
上記で示した線形補間を適用した各色成分の例を図１０（ｆ）〜（ｈ）に示す。補間処理により１００、２００以外の画素値が生成されており、図１０（ｂ）に示した画素値と比較して、先鋭度は低下していることが分かる。
【００５６】
次に、周囲の他の色成分の画素情報を使って補間画素を生成する適応的な色補間処理を行う場合の例を以下に示す。以後、この適応的な色補間処理を適応補間と記述する。Ｇ成分に対する適応補間は下記のように行う。
Ｒ成分に値をもつ画素のＧ成分を生成する場合（例えばＧ（１，２））：
Ｈ＿ＤＩＦＦ＝（Ｒ（ｘ，ｙ）−Ｒ（ｘ−２，ｙ））
＋（Ｒ（ｘ，ｙ）−Ｒ（ｘ＋２，ｙ））
Ｖ＿ＤＩＦＦ＝（Ｒ（ｘ，ｙ）−Ｒ（ｘ，ｙ−２））
＋（Ｒ（ｘ，ｙ）−Ｒ（ｘ，ｙ＋２））
ＩＦ（｜Ｈ＿ＤＩＦＦ｜＞｜Ｖ＿ＤＩＦＦ｜）{
Ｇ（ｘ，ｙ）＝（Ｇ（ｘ，ｙ−１）＋Ｇ（ｘ，ｙ＋１））／２
｝
ＥＬＳＥ｛
Ｇ（ｘ，ｙ）＝（Ｇ（ｘ−１，ｙ）＋Ｇ（ｘ＋１，ｙ））／２
｝
【００５７】
このようにＲ成分から計算したＨ＿ＤＩＦＦ、Ｖ＿ＤＩＦＦにより補間する向きを判定することで、線形補間による先鋭度の低下を低減させることが可能である。上記はＲ成分に値をもつ画素のＧ成分を生成する場合であるが、Ｂ成分に値をもつ画素（例えばＧ（２、１））のＧ成分を補間する場合も同様に行うことができる。このように、補間を行う際にはＧ成分をＧ１成分とＧ２成分に分けずに一つの色成分として扱うため、Ｇ１成分とＧ２成分に分ける場合よりも、近くの画素の値を補間演算に用いることができ、高い周波数帯域におけるＭＴＦが改善されることになる。
【００５８】
Ｒ成分に対する適応補間は、下記の式（８）に示すように上記方法により補間されたＧ信号を使用して行う。
隣接する左右画素に値がある場合（例えばＲ（２，０））：
Ｃｒ＝（Ｒ（ｘ−１，ｙ）−Ｇ（ｘ−１，ｙ）
＋Ｒ（ｘ＋１，ｙ）−Ｇ（ｘ＋１，ｙ））／２
Ｒ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）＋Ｃｒ
隣接する上下画素に値がある場合（例えばＲ（１，１））：
Ｃｒ＝（Ｒ（ｘ，ｙ−１）−Ｇ（ｘ，ｙ−１）
＋Ｒ（ｘ，ｙ＋１）−Ｇ（ｘ，ｙ＋１））／２
Ｒ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）＋Ｃｒ
隣接する斜め画素に値がある場合（例えばＲ（２，１））：
Ｃｒ＝（Ｒ（ｘ−１、ｙ−１）−Ｇ（ｘ−１、ｙ−１）
＋Ｒ（ｘ＋１、ｙ−１）−Ｇ（ｘ＋１、ｙ−１）
＋Ｒ（ｘ−１、ｙ＋１）−Ｇ（ｘ−１、ｙ＋１）
＋Ｒ（ｘ＋１、ｙ＋１）−Ｇ（ｘ＋１、ｙ＋１））／４
Ｒ（ｘ、ｙ）＝Ｇ（ｘ、ｙ）＋Ｃｒ
…（８）
【００５９】
このように隣接する画素で取得した色差情報（Ｒ−Ｇ）を補間することで、適応補間を行う。
【００６０】
Ｂ成分に対する適応補間もＲ成分と同様に、補間する画素の場所に応じて上述した３パターンの式（８）のいずれかを適用し、隣接する画素で取得した色差情報（Ｂ−Ｇ）を補間することで行う。
【００６１】
上記で示した適応補間を適用した各色成分の例を図１０（ｉ）〜（ｋ）に示す。Ｒ、Ｇ、Ｂの画素値は一致しており、いずれも図１０（ｂ）に示した画素配列と一致している。周囲の他の色成分の画素情報を使って補間画素を生成する適応補間を行うことで、図１０（ｂ）に示した画素配列に対して先鋭度が低下していない画像を生成することが可能である。
【００６２】
上記の通り、周波数帯域を揃えた各画像回復成分に対して画像回復処理を適用した後、回復された各色成分に対し上記で示したような適応的な色補間処理を行うことで、各色成分の画素配列が持つ周波数帯域よりも高い周波数帯域でもＭＴＦの改善が実現される。なお、これは１つの補間方法に限定される効果ではなく、画像回復処理で補正されたＭＴＦは、画像回復処理後の色補間処理によって撮像素子のナイキスト周波数まで維持され、その量は画素補間方法の工夫により可変であることを意味している。
【００６３】
以上、本発明を適用した画像処理部１０４の構成及び処理について説明した。なお、第１の実施形態では一般的なＲ、Ｇ、Ｂから構成されるベイヤー配列を用いて説明したが、本発明における色成分はＲ、Ｇ、Ｂに限定されずＲ、Ｇ、Ｂ以外の複数色の色成分から構成される画素配列にも適用可能である。また、本発明は撮像素子における様々な画素配列に適用することができる。一般的なＲ、Ｇ、Ｂから構成されるベイヤー配列は、具体的な色を明記せずに画素配列のパターンで示した場合、図１１（ａ）のように表せる。Ｃ１、Ｃ２、Ｃ３はそれぞれ１つの色成分を意味している。
【００６４】
これに対し、例えば図１１（ｂ）のような色成分の配列を考える。これは４つの色成分Ｃ１、Ｃ２、Ｃ３、Ｃ４から構成されている撮像素子の画素配列である。この画素配列の各色成分と、本発明を適用した場合の画像回復成分の例を図１２に示す。Ｃ１成分は４つの画像回復成分に分離される。Ｃ２とＣ３成分はそのまま画像回復成分とする。Ｃ４は２つの画像回復成分に分離する。つまり、他の色成分に比較して空間周波数特性が高くなる色成分の画素を、他の色成分と同じ空間周波数特性となるように複数の色成分に分離する。このようにすることで各画像回復成分の画素配列の空間周波数特性を揃えてから画像回復処理を行うことができる。
【００６５】
このように本発明は一般的なＲ、Ｇ、Ｂから構成されるベイヤー配列に限定されず、様々な色成分の様々な画素配列に適用することができる。もちろん画素配列は格子状にも限定されず、撮像素子を構成する色成分を分離することで各画像回復成分の周波数特性を揃えることが可能な配列であれば本発明を適用することができる。
【００６６】
＜第２の実施形態＞
以下、本発明の第２の実施形態による画像回復処理について説明する。第２の実施形態における撮像装置の基本構成は第１の実施形態で示した図１と同様であるため、ここでは説明を省略する。
【００６７】
第２の実施形態における画像処理部１０４の構成を図１３に示す。画像回復処理部１１１への入力画像は、第１の実施形態と同様に、各画素が、例えば図２のベイヤー配列のＲ、Ｇ、Ｂいずれか１色の色成分を有するＲＡＷデータである。本第２の実施形態では、入力のＲＡＷデータを画像回復成分にデータ分割せず、ベイヤー配列である入力のＲＡＷデータのまま、それぞれに画像回復フィルタを適用する。４つの画像回復成分はそれぞれ、直列に配された回復フィルタ適用部１１１４〜１１１７において画像回復フィルタが適用される。
【００６８】
以下、図１４を用いて画像回復処理部１１１における第２の実施形態の画像回復処理の流れを詳細に説明する。Ｓ２１では、前述のように状態検知部１０７から実際の撮像状態の情報を取得する。撮像状態とは、例えばズーム位置、絞り径、被写体距離等の撮影条件である。
【００６９】
次に、Ｓ２２では、取得した撮像状態に適したＲ成分の画像回復フィルタを図１の記憶部１０８から選択する。このとき、選択された画像回復フィルタを必要に応じて補正しても構わない。これは、予め記憶部１０８に用意しておく画像回復フィルタのデータ数を低減するために、離散的な撮像状態のデータを用意しておいて、実際に画像回復処理を実行する際に画像回復フィルタを補正することである。
【００７０】
次に、Ｓ２３では、回復フィルタ適用部１１１４は、Ｓ２２で選択されたＲ成分の画像回復フィルタを用いて、撮像された入力画像のＲ成分の各画素に対してフィルタ処理によるコンボリューション処理を行う。これにより撮像光学系で発生した収差による画像のＲ成分のぼけ成分を除去若しくは低減することができる。前述したように色画像回復成分毎に適した画像回復フィルタを用いることで色収差も補正することができる。
【００７１】
次に続くＳ２４〜Ｓ２９ではＧ１（一方のＧ成分の画像データ）、Ｇ２（他方のＧ成分の画像データ）、Ｂの画像回復成分に対し画像回復処理が行われる。なお、ここで行われる画像回復処理は、対象となる色成分が異なるだけで処理内容はＳ２２、Ｓ２３と同じであるため説明は割愛する。
【００７２】
Ｓ２３、Ｓ２５、Ｓ２７、Ｓ２９における各画像回復成分のコンボリューション処理は、図４の（ｂ）〜（ｅ）で示した各画像回復成分と、図８（ａ）で示した画像回復フィルタを用いたフィルタ処理によるコンボリューション処理である。コンボリューション処理の対象にする画素を対象の画像回復成分に限定することで、余計な演算を省くことができる。この場合、図７（ａ）で示した各画素にＲ、Ｇ、Ｂの各色成分が揃った画像に適用する画像回復フィルタや、図８（ｂ）で示した分離しないＧ成分に適用する画像回復フィルタに比べ、有効な係数の数が明らかに少なくなる。そのため、コンボリューション処理の負荷は低減される。また、入力画像はベイヤー配列のＲＡＷデータのまま使用するので、信号分離部１１０１や新たなメモリを確保する必要がなく、消費メモリを抑えることができる。
【００７３】
以上、画像の各画素に対して画像回復処理を行って、画像回復処理部１１１の処理は終了となる。なお、光学伝達関数（ＯＴＦ）は１つの撮影状態においても撮像光学系の画角（像高）に応じて変化するので、本発明の画像回復処理を像高に応じた画像の分割された領域毎に変更して行うことが望ましい。これには、画像回復フィルタを画像にコンボリューション処理をしながら走査させ、領域毎にフィルタを順次変更すれば良い。すなわちＳ２２、Ｓ２３はＲ成分の各画素に対して実行し、Ｓ２４〜Ｓ２９も対象の画像回復成分において同様に実行する。
【００７４】
なお、上述した第１及び第２の実施形態では画像回復フィルタの適用を画像回復処理として扱ったが、例えば歪曲補正処理や周辺光量補正処理やノイズ低減処理等の別の処理を本発明のフローの前後や途中に組み合わせ、画像回復処理として扱うことも可能である。
【００７５】
以上、本発明の画像処理方法を用いた撮像装置に関する実施形態を示したが、本発明の画像処理方法は、その要旨の範囲内で種々の変形及び変更が可能であり、装置での使用に限るものではない。例えば、ＰＣ上で動作する画像処理ソフトのアルゴリズムとして用いることもできる。
【００７６】
その場合、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、画像処理装置及び方法に関し、特に画像回復処理を用いた劣化画像を補正する画像処理装置及び方法に関する。
【背景技術】
【０００２】
情報のデジタル化に伴い、画像を信号値として扱えることで撮影画像に対する様々な補正処理方法が提案されている。デジタルカメラで被写体を撮像して画像化するとき、得られた画像は特に撮像光学系の収差によって少なからず劣化している。
【０００３】
画像のぼけ成分とは、光学系の球面収差、コマ収差、像面湾曲、非点収差等が原因である。これらの収差による画像のぼけ成分は、無収差で回折の影響もない場合に、本来、被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが広がりをもって像を結んでいるものを指している。光学的には点像分布関数（ＰＳＦ）と呼ぶものであるが、これを画像ではぼけ成分と呼ぶことにする。画像のぼけと言うと、例えばピントがずれた画像もぼけているが、ここでは特にピントが合っていても上記の光学系の収差の影響でぼけてしまうものを指すことにする。また、カラー画像での色にじみも光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長毎のぼけ方の相違ということができる。
【０００４】
点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（ＯＴＦ、Optical Transfer Function）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数（ＯＴＦ）の絶対値、即ち振幅成分をＭＴＦ（Modulation Transfer Function）と呼び、位相成分をＰＴＦ（Phase Transfer Function）と呼ぶ。よって、ＭＴＦ、ＰＴＦはそれぞれ収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式（１）で表す。なお、Ｒｅ（ＯＴＦ）、Ｉｍ（ＯＴＦ）は、それぞれＯＴＦの実部、虚部を表す。
ＰＴＦ＝ｔａｎ-1（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ）） …（１）
【０００５】
このように、撮像光学系の光学伝達関数（ＯＴＦ）は画像の振幅成分と位相成分に劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。
【０００６】
また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて、例えばＲＧＢの色成分として取得することで発生する。従って、ＲＧＢ間で結像位置がずれることはもとより、各色成分内にも波長ごとの結像位置のずれ、即ち位相ずれによる像の広がりが発生する。よって、正確には倍率色収差は単なる平行シフトの色ずれではないが、特に説明が無い限り色ずれを倍率色収差と同意義として記載することにする。
【０００７】
振幅（ＭＴＦ）の劣化と位相（ＰＴＦ）の劣化を補正する方法として、撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正するものが知られている。この方法は画像回復や画像復元という言葉で呼ばれており、以降この撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて画像の劣化を補正する処理を画像回復処理と記すことにする。
【０００８】
ここで、画像回復処理の概要を示す。劣化した画像をｇ（ｘ，ｙ）、元の画像をｆ（ｘ，ｙ）、光学伝達関数を逆フーリエ変換したものである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）としたとき、以下の式（２）が成り立つ。ただし、＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） …（２）
【０００９】
また、これをフーリエ変換して周波数面での表示形式に変換すると、以下の式（３）のように周波数毎の積の形式になる。Ｈは点像分布関数（ＰＳＦ）をフーリエ変換したものであるので光学伝達関数（ＯＴＦ）である。（ｕ，ｖ）は２次元周波数面での座標、即ち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） …（３）
【００１０】
すなわち、撮影された劣化画像から元の画像を得るためには、以下の式（４）ように両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） …（４）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで元の画像ｆ（ｘ，ｙ）が回復像として得られる。
ここで、上式の１／Ｈを逆フーリエ変換したものをＲとすると、以下の式（５）のように実面での画像に対するコンボリューション処理を行うことで同様に元の画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） …（５）
【００１１】
このＲ（ｘ，ｙ）を画像回復フィルタと呼ぶ。しかしながら、実際の画像にはノイズ成分があるため上記のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい一般には良好な画像は得られない。この点については、例えばウィーナーフィルターのように画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する方法が知られている。画像の色にじみ成分の劣化を補正する方法として、例えば、上記のぼけ成分の補正により画像の色成分毎のぼけ量が均一になれば補正されたことになる。
ここで、ズーム位置の状態や絞り径の状態等の撮影状態に応じて光学伝達関数（ＯＴＦ）が変動するため、画像回復処理に用いる画像回復フィルタもこれに応じて変更する必要がある。
【００１２】
例えば、特許文献１には、画像回復後のＰＳＦに微小な広がりを設定して画像回復処理を行う画像回復処理が開示されている。また、特許文献２では、生体内部を観察するための内視鏡において、撮像手段の合焦範囲外の範囲に対して、使用する蛍光波長に応じたＰＳＦを用いて像のぼけを解消する手法が開示されている。蛍光が微弱であるためにＦナンバーの小さい対物光学系が必要であるため、焦点深度が浅くなってしまうので、焦点の合わない範囲に対しては画像回復処理をして合焦像を得ようとしている。
【００１３】
上記の通り、撮像した入力画像に対して画像回復処理を施すことにより、諸収差を補正することで画質を向上することができる。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００６−２３８０３２号公報
【特許文献２】特許第０３５３２３６８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
画像回復処理には、各画素が、例えばＲＧＢのいずれか１色の色成分の信号を持つＲＡＷ画像に適用する方法と、各画素が、例えばＲＧＢの各色成分の信号をそれぞれ有するように補間をしてから、各色プレーンに適用する方法とがある。
【００１６】
各色プレーンに適用する方法は、ＲＡＷ画像に適用する方法に比べ、画像回復処理を適用する画素数と回復フィルタのタップ数が多くなるために画像回復処理の処理負荷が著しく増大する。
【００１７】
一方、ＲＡＷ画像を構成する各画素の色成分の配列としては、一般的に図２に示すようなベイヤー配列になっていることが多く、この場合、Ｇ成分の画素数はＲやＢ成分の画素数よりも多くなっている。そのためＲＡＷ画像におけるＧ成分の画素配列における周波数特性はＲやＢ成分の画素配列における周波数特性と異なっている。前述の通り画像回復処理は周波数特性の補正と等価であるため、Ｇ成分は回復される周波数帯域がＲやＢ成分とは異なり、この場合、Ｇ成分はＲやＢ成分よりも高周波帯域の回復が可能になる。ＲＧＢの中でＧ成分だけが高周波帯域まで回復されると、画像中の高周波成分を含む領域では画像回復処理により本来画像には存在しなかった偽色が発生することがある。これは画像の高周波帯域におけるＲＧＢの周波数特性の関係が、画像回復処理前と後で変わってしまったためである。このように、周波数帯域が異なる信号成分に対して画像回復処理を行うことは、偽色発生の原因になる。ここで言う偽色とはベイヤー配列の画像に対する画素補間によって発生する偽色とは異なり、撮像素子によって取得された画素データそのものが変化することで発生するものである。従って偽色発生を抑制するような画素補間アルゴリズムを適用しても、画像回復処理によって発生する偽色は抑制されない。
【００１８】
本発明は上記問題点を鑑みてなされたものであり、ＲＡＷ画像における画像回復処理で発生する偽色を低減させるとともに、画像回復処理にかかる負荷を低減することを目的とする。
【課題を解決するための手段】
【００１９】
上記目的を達成するために、複数色のカラーフィルタのいずかにより各画素が覆われた撮像素子により、撮像光学系を介して入射する被写体像を撮像して得られた画像データに対して、前記撮像光学系の収差による画像の劣化を回復する回復処理を行う本発明の画像処理装置は、前記複数色の画像データを、各色の画像データに分離する分離手段と、前記分離手段により分離された前記各色の画像データそれぞれに対して、フィルタ処理による回復処理を行う複数の画像処理手段と、前記回復処理が行われた画像データに対して、各画素の色補間処理を行う補間処理手段とを有し、前記分離手段は、前記複数色のカラーフィルタの配列により他の色に比較して空間周波数特性が高くなる色の画像データを、前記他の色と同じ空間周波数特性となるように複数の色の画像データに分離し、前記補間処理手段は、前記複数の色の画像データを同じ色の画像データとして用いて前記色補間処理を行う。
【発明の効果】
【００２０】
本発明によれば、ＲＡＷ画像における画像回復処理で発生する偽色を低減させるとともに、画像回復処理にかかる負荷を低減することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態に係る画像処理装置の一例としての撮像装置の構成図。
【図２】色成分配列の一例を示す図。
【図３】第１の実施形態に係る画像処理部の構成を示すブロック図。
【図４】第１の実施形態に係る色成分及び画像回復成分を示す図。
【図５】第１の実施形態に係る色成分別の周波数特性を示す図。
【図６】第１の実施形態に係る画像回復処理のフローチャート。
【図７】画像回復フィルタを説明するための模式図。
【図８】第１の実施形態に係る画像回復フィルタを説明するための模式図。
【図９】第１の実施形態に係る画像回復フィルタの回復ゲインと画像のＭＴＦの一例を示す図。
【図１０】第１の実施形態に係る色補間処理の例を示す図。
【図１１】第１の実施形態に係る他の撮像素子の画素配列の例を示す図。
【図１２】第１の実施形態に係る他の色成分及び画像回復成分を示す図
【図１３】第２の実施形態に係る画像処理部の構成を示すブロック図。
【図１４】第２の実施形態に係る画像回復処理のフローチャート。
【発明を実施するための形態】
【００２２】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００２３】
＜第１の実施形態＞
図１は、本発明の実施形態に係る撮像装置の基本構成の一例である。不図示の被写体像は、絞り１０１ａおよびフォーカスレンズ１０１ｂを含む撮像光学系１０１を介して撮像素子１０２に入射する。撮像素子１０２は、一例として、図２に示す所謂ベイヤー配列のカラーフィルタにより覆われ、撮像素子１０２を構成する各画素は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の内、覆われたフィルタの色に応じた色成分の信号を出力する。撮像素子１０２で結像光が電気信号に変換され、Ａ／Ｄコンバータ１０３でデジタル信号に変換されて、画像処理部１０４に入力される。画像処理部１０４は、画像回復処理部１１１と、所定の処理を行うその他画像処理部１１２とから構成され、その他画像処理部１１２は色補間処理を含んでいる。画像回復処理部１１１の出力画像は各画素がいずれか１つのフィルタの色に応じた色成分の信号のみを有する状態である。そのため、その他画像処理部１１２では回復された画像に対して、各画素に全てのフィルタの色に応じた色成分の信号を持たせるための色補間処理が行われる。
【００２４】
画像処理部１０４は、まず、状態検知部１０７から撮像装置の撮像状態の情報を得る。状態検知部１０７はシステムコントローラ１１０から直接撮像状態の情報を得ても良いし、例えば撮像光学系に関する撮像状態の情報は撮像光学系制御部１０６から得ることもできる。次に撮像状態に応じた画像回復フィルタを記憶部１０８から選択し、画像回復処理部１１１は画像処理部１０４に入力された画像に対して画像回復処理を行う。記憶部１０８で保持するデータは画像回復フィルタではなく、画像回復フィルタを生成するために必要な光学伝達関数（ＯＴＦ）に関する情報でもよい。この場合、画像回復処理部１１１は撮像状態に応じた光学伝達関数（ＯＴＦ）に関する情報を記憶部１０８から選択し、撮像状態に応じた画像回復フィルタを生成した後、画像処理部１０４に入力された画像に対して画像回復処理を行う。
【００２５】
画像処理部１０４で処理された出力画像を、画像記録媒体１０９に所定のフォーマットで保存する。また、表示部１０５には、画像回復処理後の画像に表示用の所定の処理を行った画像を表示しても良いし、画像回復処理を行わない、又は簡易的な回復処理を行った画像を表示しても良い。
【００２６】
一連の制御はシステムコントローラ１１０で行われ、撮像光学系の機械的な駆動はシステムコントローラ１１０の指示により撮像光学系制御部１０６で行う。
【００２７】
絞り１０１ａは、Ｆナンバーの撮影状態設定として開口径が制御される。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構によりレンズの位置が制御される。この撮像光学系にはローパスフィルタや赤外線カットフィルタ等の光学素子を入れても構わない。ただし、ローパスフィルタ等の光学伝達関数（ＯＴＦ）の特性に影響を与える素子を用いる場合には、画像回復フィルタを作成する時点でその光学素子による光学伝達関数（ＯＴＦ）の変化を考慮する。赤外カットフィルタにおいても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響する。そのため、画像回復フィルタを作成する時点で、赤外カットフィルタによる点像分布関数（ＰＳＦ）の変化を考慮する。
【００２８】
また、撮像光学系１０１は撮像装置の一部として構成されているが、一眼レフカメラにあるような交換式のものであっても良い。
【００２９】
本第１の実施形態における画像処理部１０４の構成を図３に示す。画像回復処理部１１１への入力画像は、上述したように、各画素が、例えば図２のベイヤー配列のＲ、Ｇ、Ｂいずれか１色の色成分を有するＲＡＷデータである。
【００３０】
本第１の実施形態では、画像回復処理部１１１内の信号分離部１１０１においてＧ成分をＧ１とＧ２に分離してＲ、Ｇ１、Ｇ２、Ｂの４つの画像回復成分とする。そして、この４つの画像回復成分に対して画像回復フィルタを適用するために、回復フィルタ適用部１１１０〜１１１３に入力される。
【００３１】
ＲＡＷデータにおける各色成分と各画像回復成分の例を図４に示す。図４（ａ）〜（ｃ）はＲＡＷデータにおける３つの色成分を示しており、（ａ）はＧ成分、（ｂ）はＲ成分、（ｃ）はＢ成分を示している。図中の白で示した画素がそれぞれの色成分を表している。本第１の実施形態では図４（ａ）に示したＧ成分を、図４（ｄ）、（ｅ）に示したＧ１とＧ２に分けて画像回復処理を適用する。Ｒ成分の信号を出力する画素の水平方向に隣接する画素から出力されるＧ成分の信号をＧ１成分の信号とし、Ｂ成分の信号を出力する画素の水平方向に隣接する画素から出力されるＧ成分の信号をＧ２成分の信号とする。つまり図４において、（ｂ）は画像回復成分Ｒ、（ｃ）は画像回復成分Ｂ、（ｄ）は画像回復成分Ｇ１、（ｅ）は画像回復成分Ｇ２となる。
【００３２】
図５は撮像素子における色成分別の画素配列の空間周波数特性を示した図である。図４（ａ）〜（ｅ）で示した各成分において光を感知できる画素（白で表した画素）を１、光を感知できない画素（黒で表した画素）を０とし、それぞれをｍ＿Ｇ（ｘ,ｙ）、ｍ＿Ｒ（ｘ,ｙ）、ｍ＿Ｂ（ｘ,ｙ）、ｍ＿Ｇ１（ｘ,ｙ）、ｍ＿Ｇ２（ｘ,ｙ）とおく。図５に示した空間周波数特性は、このｍ＿Ｇ（ｘ,ｙ）、ｍ＿Ｒ（ｘ,ｙ）、ｍ＿Ｂ（ｘ,ｙ）、ｍ＿Ｇ１（ｘ,ｙ）、ｍ＿Ｇ２（ｘ,ｙ）をフーリエ変換したものに相当する。
【００３３】
図５（ａ）はＧ成分、すなわち図４（ａ）の空間周波数特性を表したものであり、●の位置のみに１が存在する、くし型関数である。図４（ｂ）、（ｃ）に示したＲ、Ｂ成分の空間周波数特性を示したものが図５（ｂ）であり、Ｇ成分の空間周波数特性を示した図５（ａ）とは異なっている。また、Ｇ成分をＧ１、Ｇ２の画像回復成分に分離した場合の空間周波数特性はＲやＢ成分と同様に図５（ｂ）のようになる。
【００３４】
Ｒ、Ｇ、Ｂの３つの色成分に対してそのまま画像回復処理を行うと、図５に示したとおりＧ成分とＲ、Ｂ成分とで空間周波数特性が異なることから、前述したように画像の高周波成分を含む領域で本来画像には存在しなかった偽色が発生する原因になる。これに対し、Ｇ成分をＧ１、Ｇ２の画像回復成分に分離することで、４つの画像回復成分Ｒ、Ｇ１、Ｇ２、Ｂの画素配列は同じ空間周波数特性を示すようになる。そのため画像回復処理で対象となる周波数帯域が共通になることから、画像回復処理による偽色の発生を抑えることができる。
【００３５】
なお、Ｒ、Ｇ、Ｂの３つの色成分に対してそのまま画像回復を行う場合も、Ｇ成分に適用する画像回復フィルタの作り方によっては補正されるＧ成分の周波数帯域をＲやＢ成分に一致させることが可能である。しかし、その場合、回復される周波数帯域はＧ成分をＧ１、Ｇ２の画像回復成分に分離した場合と同等であるため、後述の通り画像回復フィルタのコンボリューション時の処理負荷の観点からＧ１、Ｇ２の画像回復成分に分離した方が有利である。
【００３６】
以下、図６のフローチャートを用いて、画像回復処理部１１１における第１の実施形態における画像回復処理の流れを詳細に説明する。
【００３７】
Ｓ１１では、前述のように状態検知部１０７から実際の撮像状態の情報を取得する。撮像状態とは、例えばズーム位置、絞り径、被写体距離等の撮影条件である。次に、Ｓ１２では、信号分離部１１０１において、Ｒ、Ｇ、Ｂから構成されるＲＡＷデータを、Ｒ、Ｇ１、Ｇ２、Ｂの４つの画像回復成分に分離する。具体的には対象の画像回復成分以外の色成分に対応する画素に該当する部分に０を設定した画像データをＲ、Ｇ１、Ｇ２、Ｂ成分別に４つ用意すればよい。あるいは、対象の画像回復成分以外の色成分に対応する画素に該当する部分を間引いた１／４サイズの画像データをＲ、Ｇ１、Ｇ２、Ｂ成分別に４つ用意してもよい。
【００３８】
次に、Ｓ１３では、取得した撮像状態に適し、且つ、Ｒ、Ｇ１、Ｇ２、Ｂの４つの画像回復成分に適した画像回復フィルタを記憶部１０８から選択する。このとき、選択された画像回復フィルタを必要に応じて補正しても構わない。これは、予め記憶部１０８に用意しておく画像回復フィルタのデータ数を低減するために、離散的な撮像状態のデータを用意しておいて、実際に画像回復処理を実行する際に画像回復フィルタを補正することである。また、記憶部１０８が、画像回復フィルタではなく、画像回復フィルタを生成するために必要な光学伝達関数（ＯＴＦ）に関する情報を保持している場合、選択した光学伝達関数（ＯＴＦ）に関する情報から撮像状態に応じた画像回復フィルタを生成する。
【００３９】
ここで、画像回復フィルタについて説明する。
【００４０】
図７は、各画素にＲ、Ｇ、Ｂの各色成分が揃った画像の各色プレーンに適用する画像回復フィルタの例を示す模式図である。画像回復フィルタは撮像光学系の収差量に応じてタップ数を決めることができ、この例では１１×１１タップの２次元フィルタとしている。フィルタの各タップが画像の１画素に対応して画像回復工程でコンボリューション処理される。図７（ａ）のように画像回復フィルタを１００以上に分割した２次元フィルタとすることで、撮像光学系による球面収差、コマ収差、軸上色収差、軸外色フレア等の結像位置から大きく広がる収差に対しても回復することができる。
【００４１】
図７（ａ）では各タップ内の値を省略しているが、このフィルタの１断面を図７（ｂ）に示す。この画像回復フィルタの作成法については上記のように撮像光学系の光学素子の光学伝達関数（ＯＴＦ）を計算若しくは計測し、その逆関数を逆フーリエ変換して得ることができる。一般的にはノイズの影響を考慮する必要があるためウィーナーフィルタや関連する回復フィルタの作成方法を選択して用いることができる。さらに、光学伝達関数（ＯＴＦ）は撮像光学系のみならず、入力される画像に対して、光学伝達関数（ＯＴＦ）を劣化させる要因を含めることができる。例えば、ローパスフィルタは光学伝達関数（ＯＴＦ）の周波数特性に対して高周波成分を抑制するものである。また、撮像素子の画素開口の形状や開口率も周波数特性に影響している。他にも光源の分光特性や各種波長フィルタの分光特性が挙げられる。これらを含めた広義の光学伝達関数（ＯＴＦ）に基づいて、画像回復フィルタを作成することが望ましい。
【００４２】
画像がＲ、Ｇ、Ｂ形式のカラー画像である場合は、Ｒ、Ｇ、Ｂの各色成分に対応した３つの画像回復フィルタを作成すれば良い。撮像光学系には色収差があり、色成分毎にぼけ方が異なるため、色成分毎の画像回復フィルタは特性が色収差に基づいて若干異なる。即ち、図７（ａ）の断面図が色成分毎に異なることに対応する。画像回復フィルタの縦横のタップ数に関しても正方配列である必要はなく、コンボリューション処理時に考慮するようにすれば任意に変更することができる。
【００４３】
上述した、各画素にＲＧＢの各色成分が揃った画像の各色プレーンに適用する画像回復フィルタに対し、本第１の実施形態で用いられる、各画素に１色の色成分を持つＲＡＷ画像に適用する画像回復フィルタの例を図８を参照して説明する。対象の色成分が存在する画素に対して係数を保持する画像回復フィルタであり、係数を保持している箇所を図中の白で表し、それ以外の０を保持する箇所を黒で表している。
【００４４】
Ｒ、Ｇ、Ｂの３つの色成分に対して、Ｇ成分を分離せずにそのまま画像回復処理を行う場合、Ｒ、Ｂ成分に適用する画像回復フィルタは図８（ａ）のようになり、Ｇ成分に適用する画像回復フィルタは図８（ｂ）のようになる。しかし、本第１の実施形態ではＧ成分をＧ１、Ｇ２の画像回復成分に分離して画像回復フィルタを適用するため、Ｒ、Ｇ１、Ｇ２、Ｂのいずれに対しても図８（ａ）のような画像回復フィルタを用いることができる。
【００４５】
図６に戻り、Ｓ１４において、回復フィルタ適用部１１１０〜１１１３は、Ｓ１３で選択された画像回復フィルタを用いて、撮像された入力画像の各画像回復成分Ｒ、Ｇ１、Ｇ２、Ｂの各画素に対してフィルタ処理によるコンボリューション処理を行う。これにより撮像光学系で発生した収差による画像のぼけ成分を除去若しくは低減することができる。前記したように色画像回復成分Ｒ、Ｇ１、Ｇ２、Ｂ毎に適した画像回復フィルタを用いることで色収差も補正することができる。
【００４６】
第１の実施形態におけるコンボリューション処理は、図４の（ｂ）〜（ｅ）で示した各画像回復成分Ｒ、Ｇ１、Ｇ２、Ｂと、図８（ａ）で示した画像回復フィルタを用いたフィルタ処理によるコンボリューション処理である。Ｓ１２で分離した各画像回復成分のデータの持たせ方に応じて画像回復フィルタの保持方法や適用方法は適宜変えればよい。例えば、対象の画像回復成分以外の部分に０を設定した画像データをＲ、Ｇ１、Ｇ２、Ｂ成分別に４つ用意した場合は、コンボリューション処理の対象にする画素を対象の画像回復成分に限定することで、余計な演算を省くことができる。また、対象の画像回復成分以外の部分を間引いた１／４サイズの画像データをＲ、Ｇ１、Ｇ２、Ｂ成分別に４つ用意した場合は、画像回復フィルタ自体も使用される係数以外を間引いた状態で保持する。そのようにすることで、１／４サイズの画像データにそのまま適用することができる。
【００４７】
いずれであっても、図７（ａ）に示した各画素にＲ、Ｇ、Ｂの各色成分が揃った画像に適用する画像回復フィルタや、図８（ｂ）で示した分離しないＧ成分に適用する画像回復フィルタに比べ、有効な係数の数が明らかに少なくなる。そのため、コンボリューション処理の負荷は低減される。
【００４８】
以上、画像の各画素に対して画像回復処理を行って、画像回復処理部１１１の処理は終了となる。なお、光学伝達関数（ＯＴＦ）は１つの撮影状態においても撮像光学系の画角（像高）に応じて変化するので、本発明の画像回復処理を像高に応じた画像の分割された領域毎に変更して行うことが望ましい。これには、画像回復フィルタを画像上にコンボリューション処理をしながら走査させ、領域毎にフィルタを順次変更すれば良い。すなわちＳ１３とＳ１４を各画像回復成分の各対象画素に対して実行する。
【００４９】
画像回復処理部１１１において画像回復処理が施された画像データは、その後、その他画像処理部１１２に入力される。画像回復処理が施された画像データはベイヤー配列のままであるので、その他画像処理部１１２では撮像素子が保持している３つの色成分毎に色補間処理が行われる。その他画像処理部１１２では色補間処理の他に、ガンマ補正やカラーバランス調整など、ＲＡＷデータに対する周知の現像処理を行い、ＪＰＥＧ等の画像ファイルを生成する。
【００５０】
ここで図９を用いて画像回復フィルタの回復ゲインと、画像回復処理の有／無による画像の周波数特性を説明する。なお、回復ゲインを画像回復処理によるＭＴＦの増減率と定義する。図９（ａ）に示すグラフは第１の実施形態における画像回復フィルタの回復ゲインの一例である。上述の画像回復成分の画素配列における空間周波数特性から、画像回復フィルタにより回復される周波数帯域は撮像素子のナイキスト周波数の２分の１までと考えることができる。これに対し、各画素にＲＧＢの各色成分が揃った画像の各色プレーンに画像回復処理を行う場合、画像回復成分の画素配列における空間周波数特性から、画像回復フィルタにより回復される周波数帯域は撮像素子のナイキスト周波数までと考えることができる。
【００５１】
しかし、第１の実施形態により画像回復処理が施されたＪＰＥＧ等の出力画像におけるＭＴＦの改善は、撮像素子のナイキスト周波数の２分の１までの帯域だけではない。本第１の実施形態による出力画像のある領域におけるＭＴＦの例を図９（ｂ）に示す。画像回復処理を行わない場合の出力画像に比べ、画像回復処理を行う場合は、撮像素子のナイキスト周波数以上の帯域もＭＴＦが改善していることが分かる。これは、その他画像処理部１１２で行われる色補間処理が影響する。ベイヤー配列のような撮像素子における色補間処理は従来から研究がなされ、様々な補間技術が開示されている。一般的に用いられている方法は周囲の他の色成分の画素情報を使って補間画素を生成する適応的な色補間処理である。これは、例えばある画素においてＲの画素値を補間処理により生成する場合、周囲の画素のＧやＢの情報を使ってＲの補間方法を決定する方法である。１つの色成分を単純に線形補間するような方法とは異なり、このような適応的な色補間処理は、補間処理による偽色の発生や先鋭度の低下を低減させることが可能である。
【００５２】
図１０に示したエッジ部における画素補間の例を使用して、適応的な色補間処理方法の一例を説明する。図１０（ａ）はあるエッジの断面図を示している。エッジが色の無いモノクロであって、撮像素子１０２の各画素でＲ、Ｇ、Ｂのそれぞれの値を取得した場合に、Ｒ、Ｇ、Ｂの各色成分がいずれも図１０（ｂ）に示したように画素値１００と２００から構成される画素配列であるものとする。実際にはベイヤー配列の撮像素子１０２で撮影されたＲＡＷ画像は各画素に１色の色成分を持っているため、色成分毎に値を抽出した場合、図１０（ｃ）〜（ｅ）に示す画素配列となる。（ｃ）〜（ｅ）に示す各色成分の画素配列において黒で示した画素が色補間処理が必要な画素である。この場合、色補間処理後の各色成分は図１０（ｂ）に示した画素値になることが理想であることは明らかである。以後、図１０（ｃ）〜（ｅ）の画素配列をＧ（ｘ，ｙ）、Ｒ（ｘ，ｙ）、Ｂ（ｘ，ｙ）と記述する。ここでｘは横方向の座標、ｙは縦方向の座標であり、いずれも図１０においては０〜４の範囲で値を持つ。
【００５３】
図１０（ｃ）〜（ｅ）の各色成分において、まず線形補間を行う場合の例を以下に示す。Ｇ成分に対する線形補間は隣接する４つの画素を使用して、式（６）の演算を行う。
Ｇ（ｘ，ｙ）＝（Ｇ（ｘ，ｙ−１）＋Ｇ（ｘ−１，ｙ）
＋Ｇ（ｘ＋１，ｙ）＋Ｇ（ｘ，ｙ＋１））／４ …（６）
【００５４】
Ｒ成分に対する線形補間は、補間する画素の場所によって異なり、下記３パターンの式（７）のいずれかにより行う。
隣接する左右画素に値がある場合（例えばＲ（２，０））：
Ｒ（ｘ，ｙ）＝（Ｒ（ｘ−１，ｙ）＋Ｒ（ｘ＋１，ｙ））／２
隣接する上下画素に値がある場合（例えばＲ（１，１））：
Ｒ（ｘ，ｙ）＝（Ｒ（ｘ，ｙ−１）＋Ｒ（ｘ，ｙ＋１））／２
隣接する斜め画素に値がある場合（例えばＲ（２，１））：
Ｒ（ｘ，ｙ）＝（Ｒ（ｘ−１，ｙ−１）＋Ｒ（ｘ＋１，ｙ−１）
＋Ｒ（ｘ−１，ｙ＋１）＋Ｒ（ｘ＋１，ｙ＋１））／４
…（７）
Ｂ成分に対する線形補間もＲ成分と同様に、補間する画素の場所に応じて上述した３パターンの式（７）のいずれかを適用することで行う。
【００５５】
上記で示した線形補間を適用した各色成分の例を図１０（ｆ）〜（ｈ）に示す。補間処理により１００、２００以外の画素値が生成されており、図１０（ｂ）に示した画素値と比較して、先鋭度は低下していることが分かる。
【００５６】
次に、周囲の他の色成分の画素情報を使って補間画素を生成する適応的な色補間処理を行う場合の例を以下に示す。以後、この適応的な色補間処理を適応補間と記述する。Ｇ成分に対する適応補間は下記のように行う。
Ｒ成分に値をもつ画素のＧ成分を生成する場合（例えばＧ（１，２））：
Ｈ＿ＤＩＦＦ＝（Ｒ（ｘ，ｙ）−Ｒ（ｘ−２，ｙ））
＋（Ｒ（ｘ，ｙ）−Ｒ（ｘ＋２，ｙ））
Ｖ＿ＤＩＦＦ＝（Ｒ（ｘ，ｙ）−Ｒ（ｘ，ｙ−２））
＋（Ｒ（ｘ，ｙ）−Ｒ（ｘ，ｙ＋２））
ＩＦ（｜Ｈ＿ＤＩＦＦ｜＞｜Ｖ＿ＤＩＦＦ｜）{
Ｇ（ｘ，ｙ）＝（Ｇ（ｘ，ｙ−１）＋Ｇ（ｘ，ｙ＋１））／２
｝
ＥＬＳＥ｛
Ｇ（ｘ，ｙ）＝（Ｇ（ｘ−１，ｙ）＋Ｇ（ｘ＋１，ｙ））／２
｝
【００５７】
このようにＲ成分から計算したＨ＿ＤＩＦＦ、Ｖ＿ＤＩＦＦにより補間する向きを判定することで、線形補間による先鋭度の低下を低減させることが可能である。上記はＲ成分に値をもつ画素のＧ成分を生成する場合であるが、Ｂ成分に値をもつ画素（例えばＧ（２、１））のＧ成分を補間する場合も同様に行うことができる。このように、補間を行う際にはＧ成分をＧ１成分とＧ２成分に分けずに一つの色成分として扱うため、Ｇ１成分とＧ２成分に分ける場合よりも、近くの画素の値を補間演算に用いることができ、高い周波数帯域におけるＭＴＦが改善されることになる。
【００５８】
Ｒ成分に対する適応補間は、下記の式（８）に示すように上記方法により補間されたＧ信号を使用して行う。
隣接する左右画素に値がある場合（例えばＲ（２，０））：
Ｃｒ＝（Ｒ（ｘ−１，ｙ）−Ｇ（ｘ−１，ｙ）
＋Ｒ（ｘ＋１，ｙ）−Ｇ（ｘ＋１，ｙ））／２
Ｒ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）＋Ｃｒ
隣接する上下画素に値がある場合（例えばＲ（１，１））：
Ｃｒ＝（Ｒ（ｘ，ｙ−１）−Ｇ（ｘ，ｙ−１）
＋Ｒ（ｘ，ｙ＋１）−Ｇ（ｘ，ｙ＋１））／２
Ｒ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）＋Ｃｒ
隣接する斜め画素に値がある場合（例えばＲ（２，１））：
Ｃｒ＝（Ｒ（ｘ−１、ｙ−１）−Ｇ（ｘ−１、ｙ−１）
＋Ｒ（ｘ＋１、ｙ−１）−Ｇ（ｘ＋１、ｙ−１）
＋Ｒ（ｘ−１、ｙ＋１）−Ｇ（ｘ−１、ｙ＋１）
＋Ｒ（ｘ＋１、ｙ＋１）−Ｇ（ｘ＋１、ｙ＋１））／４
Ｒ（ｘ、ｙ）＝Ｇ（ｘ、ｙ）＋Ｃｒ
…（８）
【００５９】
このように隣接する画素で取得した色差情報（Ｒ−Ｇ）を補間することで、適応補間を行う。
【００６０】
Ｂ成分に対する適応補間もＲ成分と同様に、補間する画素の場所に応じて上述した３パターンの式（８）のいずれかを適用し、隣接する画素で取得した色差情報（Ｂ−Ｇ）を補間することで行う。
【００６１】
上記で示した適応補間を適用した各色成分の例を図１０（ｉ）〜（ｋ）に示す。Ｒ、Ｇ、Ｂの画素値は一致しており、いずれも図１０（ｂ）に示した画素配列と一致している。周囲の他の色成分の画素情報を使って補間画素を生成する適応補間を行うことで、図１０（ｂ）に示した画素配列に対して先鋭度が低下していない画像を生成することが可能である。
【００６２】
上記の通り、周波数帯域を揃えた各画像回復成分に対して画像回復処理を適用した後、回復された各色成分に対し上記で示したような適応的な色補間処理を行うことで、各色成分の画素配列が持つ周波数帯域よりも高い周波数帯域でもＭＴＦの改善が実現される。なお、これは１つの補間方法に限定される効果ではなく、画像回復処理で補正されたＭＴＦは、画像回復処理後の色補間処理によって撮像素子のナイキスト周波数まで維持され、その量は画素補間方法の工夫により可変であることを意味している。
【００６３】
以上、本発明を適用した画像処理部１０４の構成及び処理について説明した。なお、第１の実施形態では一般的なＲ、Ｇ、Ｂから構成されるベイヤー配列を用いて説明したが、本発明における色成分はＲ、Ｇ、Ｂに限定されずＲ、Ｇ、Ｂ以外の複数色の色成分から構成される画素配列にも適用可能である。また、本発明は撮像素子における様々な画素配列に適用することができる。一般的なＲ、Ｇ、Ｂから構成されるベイヤー配列は、具体的な色を明記せずに画素配列のパターンで示した場合、図１１（ａ）のように表せる。Ｃ１、Ｃ２、Ｃ３はそれぞれ１つの色成分を意味している。
【００６４】
これに対し、例えば図１１（ｂ）のような色成分の配列を考える。これは４つの色成分Ｃ１、Ｃ２、Ｃ３、Ｃ４から構成されている撮像素子の画素配列である。この画素配列の各色成分と、本発明を適用した場合の画像回復成分の例を図１２に示す。Ｃ１成分は４つの画像回復成分に分離される。Ｃ２とＣ３成分はそのまま画像回復成分とする。Ｃ４は２つの画像回復成分に分離する。つまり、他の色成分に比較して空間周波数特性が高くなる色成分の画素を、他の色成分と同じ空間周波数特性となるように複数の色成分に分離する。このようにすることで各画像回復成分の画素配列の空間周波数特性を揃えてから画像回復処理を行うことができる。
【００６５】
このように本発明は一般的なＲ、Ｇ、Ｂから構成されるベイヤー配列に限定されず、様々な色成分の様々な画素配列に適用することができる。もちろん画素配列は格子状にも限定されず、撮像素子を構成する色成分を分離することで各画像回復成分の周波数特性を揃えることが可能な配列であれば本発明を適用することができる。
【００６６】
＜第２の実施形態＞
以下、本発明の第２の実施形態による画像回復処理について説明する。第２の実施形態における撮像装置の基本構成は第１の実施形態で示した図１と同様であるため、ここでは説明を省略する。
【００６７】
第２の実施形態における画像処理部１０４の構成を図１３に示す。画像回復処理部１１１への入力画像は、第１の実施形態と同様に、各画素が、例えば図２のベイヤー配列のＲ、Ｇ、Ｂいずれか１色の色成分を有するＲＡＷデータである。本第２の実施形態では、入力のＲＡＷデータを画像回復成分にデータ分割せず、ベイヤー配列である入力のＲＡＷデータのまま、それぞれに画像回復フィルタを適用する。４つの画像回復成分はそれぞれ、直列に配された回復フィルタ適用部１１１４〜１１１７において画像回復フィルタが適用される。
【００６８】
以下、図１４を用いて画像回復処理部１１１における第２の実施形態の画像回復処理の流れを詳細に説明する。Ｓ２１では、前述のように状態検知部１０７から実際の撮像状態の情報を取得する。撮像状態とは、例えばズーム位置、絞り径、被写体距離等の撮影条件である。
【００６９】
次に、Ｓ２２では、取得した撮像状態に適したＲ成分の画像回復フィルタを図１の記憶部１０８から選択する。このとき、選択された画像回復フィルタを必要に応じて補正しても構わない。これは、予め記憶部１０８に用意しておく画像回復フィルタのデータ数を低減するために、離散的な撮像状態のデータを用意しておいて、実際に画像回復処理を実行する際に画像回復フィルタを補正することである。
【００７０】
次に、Ｓ２３では、回復フィルタ適用部１１１４は、Ｓ２２で選択されたＲ成分の画像回復フィルタを用いて、撮像された入力画像のＲ成分の各画素に対してフィルタ処理によるコンボリューション処理を行う。これにより撮像光学系で発生した収差による画像のＲ成分のぼけ成分を除去若しくは低減することができる。前述したように色画像回復成分毎に適した画像回復フィルタを用いることで色収差も補正することができる。
【００７１】
次に続くＳ２４〜Ｓ２９ではＧ１（一方のＧ成分の画像データ）、Ｇ２（他方のＧ成分の画像データ）、Ｂの画像回復成分に対し画像回復処理が行われる。なお、ここで行われる画像回復処理は、対象となる色成分が異なるだけで処理内容はＳ２２、Ｓ２３と同じであるため説明は割愛する。
【００７２】
Ｓ２３、Ｓ２５、Ｓ２７、Ｓ２９における各画像回復成分のコンボリューション処理は、図４の（ｂ）〜（ｅ）で示した各画像回復成分と、図８（ａ）で示した画像回復フィルタを用いたフィルタ処理によるコンボリューション処理である。コンボリューション処理の対象にする画素を対象の画像回復成分に限定することで、余計な演算を省くことができる。この場合、図７（ａ）で示した各画素にＲ、Ｇ、Ｂの各色成分が揃った画像に適用する画像回復フィルタや、図８（ｂ）で示した分離しないＧ成分に適用する画像回復フィルタに比べ、有効な係数の数が明らかに少なくなる。そのため、コンボリューション処理の負荷は低減される。また、入力画像はベイヤー配列のＲＡＷデータのまま使用するので、信号分離部１１０１や新たなメモリを確保する必要がなく、消費メモリを抑えることができる。
【００７３】
以上、画像の各画素に対して画像回復処理を行って、画像回復処理部１１１の処理は終了となる。なお、光学伝達関数（ＯＴＦ）は１つの撮影状態においても撮像光学系の画角（像高）に応じて変化するので、本発明の画像回復処理を像高に応じた画像の分割された領域毎に変更して行うことが望ましい。これには、画像回復フィルタを画像にコンボリューション処理をしながら走査させ、領域毎にフィルタを順次変更すれば良い。すなわちＳ２２、Ｓ２３はＲ成分の各画素に対して実行し、Ｓ２４〜Ｓ２９も対象の画像回復成分において同様に実行する。
【００７４】
なお、上述した第１及び第２の実施形態では画像回復フィルタの適用を画像回復処理として扱ったが、例えば歪曲補正処理や周辺光量補正処理やノイズ低減処理等の別の処理を本発明のフローの前後や途中に組み合わせ、画像回復処理として扱うことも可能である。
【００７５】
以上、本発明の画像処理方法を用いた撮像装置に関する実施形態を示したが、本発明の画像処理方法は、その要旨の範囲内で種々の変形及び変更が可能であり、装置での使用に限るものではない。例えば、ＰＣ上で動作する画像処理ソフトのアルゴリズムとして用いることもできる。
【００７６】
その場合、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
複数色のカラーフィルタのいずかにより各画素が覆われた撮像素子により、撮像光学系を介して入射する被写体像を撮像して得られた画像データに対して、前記撮像光学系の収差による画像の劣化を回復する回復処理を行う画像処理装置であって、
前記複数色の画像データを、各色の画像データに分離する分離手段と、
前記分離手段により分離された前記各色の画像データそれぞれに対して、フィルタ処理による回復処理を行う複数の画像処理手段と、
前記回復処理が行われた画像データに対して、各画素の色補間処理を行う補間処理手段とを有し、
前記分離手段は、前記複数色のカラーフィルタの配列により他の色に比較して空間周波数特性が高くなる色の画像データを、前記他の色と同じ空間周波数特性となるように複数の色の画像データに分離し、
前記補間処理手段は、前記複数の色の画像データを同じ色の画像データとして用いて前記色補間処理を行うことを特徴とする画像処理装置。
【請求項２】
前記複数色のカラーフィルタは、ベイヤー配列のカラーフィルタであり、
前記画像処理手段は、前記画像データのＧ成分を、Ｒ成分及びＢ成分の周波数特性と一致するように、２つのＧ成分の画像データに分離することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段により行われる前記フィルタ処理に用いられるフィルタは、前記撮像光学系の光学素子の光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換して得られる２次元のフィルタであり、
前記画像処理手段は、前記フィルタをコンボリューション処理することを特徴とする請求項１または２に記載の画像処理方法。
【請求項４】
複数色のカラーフィルタのいずかにより各画素が覆われた撮像素子により、撮像光学系を介して入射する被写体像を撮像して得られた画像データに対して、前記撮像光学系の収差による画像の劣化を回復する回復処理を行う画像処理装置であって、
前記複数色の画像データのうちの一部の画像データに対して、フィルタ処理による回復処理を行う、直列に配された複数の画像処理手段と、
前記回復処理が行われた画像データに対して、各画素の色補間処理を行う補間処理手段とを有し、
前記複数の画像処理手段それぞれは、前記回復処理が行われていない各色の画像データに対して前記回復処理を行うとともに、前記複数色のカラーフィルタの配列により他の色に比較して空間周波数特性が高くなる色の画像データを複数の色の画像データとして分けて扱うことで、前記複数の画像処理手段が処理する前記一部の画像データが、互いに同じ周波数特性を有し、
前記補間処理手段は、前記複数の色の画像データを同じ色の画像データとして用いて前記色補間処理を行うことを特徴とする画像処理装置。
【請求項５】
前記複数色のカラーフィルタは、ベイヤー配列のカラーフィルタであり、
前記複数の画像処理手段は、前記画像データのＧ成分を、Ｒ成分及びＢ成分の周波数特性と一致する２つのＧ成分として、一方のＧ成分の画像データを処理する画像処理手段と、他方のＧ成分の画像データを処理する画像処理手段と、Ｒ成分の画像データを処理する画像処理手段と、Ｂ成分の画像データを処理する画像処理手段から構成されることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記複数の画像処理手段により行われる前記フィルタ処理に用いられるフィルタは、前記撮像光学系の光学素子の光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換して得られる２次元のフィルタであり、
前記複数の画像処理手段は、前記フィルタをコンボリューション処理することを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
複数色のカラーフィルタのいずかにより各画素が覆われた撮像素子により、撮像光学系を介して入射する被写体像を撮像して得られた画像データに対して、前記撮像光学系の収差による画像の劣化を回復する回復処理を行う画像処理方法であって、
分離手段が、前記複数色の画像データを、各色の画像データに分離する分離工程と、
複数の画像処理手段が、前記分離工程により分離された前記各色の画像データそれぞれに対して、フィルタ処理による回復処理を行う画像処理工程と、
補間処理手段が、前記回復処理が行われた画像データに対して、各画素の色補間処理を行う補間処理工程とを有し、
前記分離工程では、前記複数色のカラーフィルタの配列により他の色に比較して空間周波数特性が高くなる色の画像データを、前記他の色と同じ空間周波数特性となるように複数の色の画像データに分離し、
前記補間処理工程では、前記複数の色の画像データを同じ色の画像データとして用いて前記色補間処理を行うことを特徴とする画像処理方法。
【請求項８】
複数色のカラーフィルタのいずかにより各画素が覆われた撮像素子により、撮像光学系を介して入射する被写体像を撮像して得られた画像データに対して、前記撮像光学系の収差による画像の劣化を回復する回復処理を行う画像処理工程であって、
直列に配された複数の画像処理手段が、前記複数色の画像データのうちの一部の画像データに対して、フィルタ処理による回復処理を順次、行う画像処理工程と、
補間処理手段が、前記回復処理が行われた画像データに対して、各画素の色補間処理を行う補間処理工程とを有し、
前記複数の画像処理手段それぞれは、前記回復処理が行われていない各色の画像データに対して前記回復処理を行うとともに、前記複数色のカラーフィルタの配列により他の色に比較して空間周波数特性が高くなる色の画像データを複数の色の画像データとして分けて扱うことで、前記複数の画像処理手段が処理する前記一部の画像データが、互いに同じ周波数特性を有し、
前記補間処理手段は、前記複数の色の画像データを同じ色の画像データとして用いて前記色補間処理を行うことを特徴とする画像処理方法。
【請求項９】
コンピュータを、請求項１乃至請求項６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【請求項１】
複数色のカラーフィルタのいずかにより各画素が覆われた撮像素子により、撮像光学系を介して入射する被写体像を撮像して得られた画像データに対して、前記撮像光学系の収差による画像の劣化を回復する回復処理を行う画像処理装置であって、
前記複数色の画像データを、各色の画像データに分離する分離手段と、
前記分離手段により分離された前記各色の画像データそれぞれに対して、フィルタ処理による回復処理を行う複数の画像処理手段と、
前記回復処理が行われた画像データに対して、各画素の色補間処理を行う補間処理手段とを有し、
前記分離手段は、前記複数色のカラーフィルタの配列により他の色に比較して空間周波数特性が高くなる色の画像データを、前記他の色と同じ空間周波数特性となるように複数の色の画像データに分離し、
前記補間処理手段は、前記複数の色の画像データを同じ色の画像データとして用いて前記色補間処理を行うことを特徴とする画像処理装置。
【請求項２】
前記複数色のカラーフィルタは、ベイヤー配列のカラーフィルタであり、
前記画像処理手段は、前記画像データのＧ成分を、Ｒ成分及びＢ成分の周波数特性と一致するように、２つのＧ成分の画像データに分離することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段により行われる前記フィルタ処理に用いられるフィルタは、前記撮像光学系の光学素子の光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換して得られる２次元のフィルタであり、
前記画像処理手段は、前記フィルタをコンボリューション処理することを特徴とする請求項１または２に記載の画像処理方法。
【請求項４】
複数色のカラーフィルタのいずかにより各画素が覆われた撮像素子により、撮像光学系を介して入射する被写体像を撮像して得られた画像データに対して、前記撮像光学系の収差による画像の劣化を回復する回復処理を行う画像処理装置であって、
前記複数色の画像データのうちの一部の画像データに対して、フィルタ処理による回復処理を行う、直列に配された複数の画像処理手段と、
前記回復処理が行われた画像データに対して、各画素の色補間処理を行う補間処理手段とを有し、
前記複数の画像処理手段それぞれは、前記回復処理が行われていない各色の画像データに対して前記回復処理を行うとともに、前記複数色のカラーフィルタの配列により他の色に比較して空間周波数特性が高くなる色の画像データを複数の色の画像データとして分けて扱うことで、前記複数の画像処理手段が処理する前記一部の画像データが、互いに同じ周波数特性を有し、
前記補間処理手段は、前記複数の色の画像データを同じ色の画像データとして用いて前記色補間処理を行うことを特徴とする画像処理装置。
【請求項５】
前記複数色のカラーフィルタは、ベイヤー配列のカラーフィルタであり、
前記複数の画像処理手段は、前記画像データのＧ成分を、Ｒ成分及びＢ成分の周波数特性と一致する２つのＧ成分として、一方のＧ成分の画像データを処理する画像処理手段と、他方のＧ成分の画像データを処理する画像処理手段と、Ｒ成分の画像データを処理する画像処理手段と、Ｂ成分の画像データを処理する画像処理手段から構成されることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記複数の画像処理手段により行われる前記フィルタ処理に用いられるフィルタは、前記撮像光学系の光学素子の光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換して得られる２次元のフィルタであり、
前記複数の画像処理手段は、前記フィルタをコンボリューション処理することを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
複数色のカラーフィルタのいずかにより各画素が覆われた撮像素子により、撮像光学系を介して入射する被写体像を撮像して得られた画像データに対して、前記撮像光学系の収差による画像の劣化を回復する回復処理を行う画像処理方法であって、
分離手段が、前記複数色の画像データを、各色の画像データに分離する分離工程と、
複数の画像処理手段が、前記分離工程により分離された前記各色の画像データそれぞれに対して、フィルタ処理による回復処理を行う画像処理工程と、
補間処理手段が、前記回復処理が行われた画像データに対して、各画素の色補間処理を行う補間処理工程とを有し、
前記分離工程では、前記複数色のカラーフィルタの配列により他の色に比較して空間周波数特性が高くなる色の画像データを、前記他の色と同じ空間周波数特性となるように複数の色の画像データに分離し、
前記補間処理工程では、前記複数の色の画像データを同じ色の画像データとして用いて前記色補間処理を行うことを特徴とする画像処理方法。
【請求項８】
複数色のカラーフィルタのいずかにより各画素が覆われた撮像素子により、撮像光学系を介して入射する被写体像を撮像して得られた画像データに対して、前記撮像光学系の収差による画像の劣化を回復する回復処理を行う画像処理工程であって、
直列に配された複数の画像処理手段が、前記複数色の画像データのうちの一部の画像データに対して、フィルタ処理による回復処理を順次、行う画像処理工程と、
補間処理手段が、前記回復処理が行われた画像データに対して、各画素の色補間処理を行う補間処理工程とを有し、
前記複数の画像処理手段それぞれは、前記回復処理が行われていない各色の画像データに対して前記回復処理を行うとともに、前記複数色のカラーフィルタの配列により他の色に比較して空間周波数特性が高くなる色の画像データを複数の色の画像データとして分けて扱うことで、前記複数の画像処理手段が処理する前記一部の画像データが、互いに同じ周波数特性を有し、
前記補間処理手段は、前記複数の色の画像データを同じ色の画像データとして用いて前記色補間処理を行うことを特徴とする画像処理方法。
【請求項９】
コンピュータを、請求項１乃至請求項６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１４】
【図４】
【図１２】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１４】
【図４】
【図１２】
【公開番号】特開２０１３−５１５２４（Ｐ２０１３−５１５２４Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８７８５６（Ｐ２０１１−１８７８５６）
【出願日】平成２３年８月３０日（２０１１．８．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３０日（２０１１．８．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]