画像処理装置及び方法
【課題】 画素飽和により、画像回復処理で飽和領域及びその周辺領域に発生するリンギングを低減させること。
【解決手段】 撮像素子により撮像光学系を介して入射する被写体像を撮像して得られた画像データに対して、撮像光学系の収差による画像の劣化を補正する回復処理を行う画像処理装置であって、撮像条件に応じて、回復処理に用いるフィルタを選択する画像回復フィルタ選択部（１００２）と、選択されたフィルタを用いて回復処理を行う回復フィルタ適用部（１００４）と、回復処理前後の画素値の差分に応じて求めた補正値を用いて、回復処理前の画素値を補正した画像データを得る補正手段（１００５〜１００７）とを有する。
【解決手段】 撮像素子により撮像光学系を介して入射する被写体像を撮像して得られた画像データに対して、撮像光学系の収差による画像の劣化を補正する回復処理を行う画像処理装置であって、撮像条件に応じて、回復処理に用いるフィルタを選択する画像回復フィルタ選択部（１００２）と、選択されたフィルタを用いて回復処理を行う回復フィルタ適用部（１００４）と、回復処理前後の画素値の差分に応じて求めた補正値を用いて、回復処理前の画素値を補正した画像データを得る補正手段（１００５〜１００７）とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び方法に関し、特に画像回復処理を用いた劣化画像を補正する画像処理装置及び方法に関する。
【背景技術】
【０００２】
情報のデジタル化に伴い、画像を信号値として扱えることで撮影画像に対する様々な補正処理方法が提案されている。デジタルカメラで被写体を撮像して画像化するとき、得られた画像は特に撮像光学系の収差によって少なからず劣化している。
【０００３】
画像のぼけ成分とは、光学系の球面収差、コマ収差、像面湾曲、非点収差等が原因である。これらの収差による画像のぼけ成分は、無収差で回折の影響もない場合に、本来、被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが広がりをもって像を結んでいるものを指している。光学的には点像分布関数（ＰＳＦ）と呼ぶものであるが、これを画像ではぼけ成分と呼ぶことにする。画像のぼけと言うと、例えばピントがずれた画像もぼけているが、ここでは特にピントが合っていても上記の光学系の収差の影響でぼけてしまうものを指すことにする。また、カラー画像での色にじみも光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長毎のぼけ方の相違ということができる。また、横方向の色ズレも光学系の倍率色収差が原因であるものに関しては、光の波長毎の撮像倍率の相違による位置ずれまたは位相ずれということができる。
【０００４】
ＰＳＦをフーリエ変換して得られる光学伝達関数（ＯＴＦ、Optical Transfer Function）は、収差の周波数成分情報であり、複素数で表される。ＯＴＦの絶対値、即ち振幅成分をＭＴＦ（Modulation Transfer Function）と呼び、位相成分をＰＴＦ（Phase Transfer Function）と呼ぶ。よって、ＭＴＦ、ＰＴＦはそれぞれ収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式（１）で表す。なお、Ｒｅ（ＯＴＦ）、Ｉｍ（ＯＴＦ）は、それぞれＯＴＦの実部、虚部を表す。
ＰＴＦ＝ｔａｎ-1（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ）） …（１）
【０００５】
このように、撮像光学系のＯＴＦは画像の振幅成分と位相成分に劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。
【０００６】
振幅（ＭＴＦ）の劣化と位相（ＰＴＦ）の劣化を補正する方法として、撮像光学系のＯＴＦの情報を用いて補正するものが知られている。この方法は画像回復や画像復元という言葉で呼ばれており、以降この撮像光学系のＯＴＦの情報を用いて画像の劣化を補正する処理を画像回復処理または回復処理と記すことにする。
【０００７】
ここで、画像回復処理の概要を示す。劣化した画像をｇ（ｘ，ｙ）、元の画像をｆ（ｘ，ｙ）、ＯＴＦを逆フーリエ変換したものであるＰＳＦをｈ（ｘ，ｙ）としたとき、以下の式（２）が成り立つ。ただし、＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） …（２）
【０００８】
また、これをフーリエ変換して周波数面での表示形式に変換すると、以下の式（３）のように周波数毎の積の形式になる。ＨはＰＳＦをフーリエ変換したものであるのでＯＴＦである。（ｕ，ｖ）は２次元周波数面での座標、即ち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） …（３）
【０００９】
すなわち、撮影された劣化画像から元の画像を得るためには、以下のように両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） …（４）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）が回復像として得られる。
ここで、上式の１／Ｈを逆フーリエ変換したものをＲとすると、以下の式（５）のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） …（５）
【００１０】
このＲ（ｘ，ｙ）を画像回復フィルタと呼ぶ。しかしながら、実際の画像にはノイズ成分があるため、上記のようにＯＴＦの完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい、一般には良好な画像は得られない。この点については、例えばウィーナーフィルターのように画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する方法が知られている。画像の色にじみ成分の劣化を補正する方法として、例えば、上記のぼけ成分の補正により画像の色成分毎のぼけ量が均一になれば補正されたことになる。
ここで、ズーム位置の状態や絞り径の状態等の撮影状態に応じてＯＴＦが変動するため、画像回復処理に用いる画像回復フィルタもこれに応じて変更する必要がある。
【００１１】
例えば、特許文献１には、生体内部を観察するための内視鏡において、撮像手段の合焦範囲外の範囲に対して、使用する蛍光波長に応じたＰＳＦを用いて像のぼけを解消する手法が開示されている。蛍光が微弱であるためにＦナンバーの小さい対物光学系が必要であるため、焦点深度が浅くなってしまうので、焦点の合わない範囲に対しては画像回復処理をして合焦像を得ようとしている。
【００１２】
上記の通り、撮像した入力画像に対して画像回復処理を施すことにより、諸収差を補正することで画質を向上することができる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特許第０３５３２３６８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、実際の撮像では、入力画像の撮像状態と、これを補正するための画像回復フィルタの状態が最適には一致しない場合がある。一例として、撮影した画像に飽和画素がある場合が挙げられる。飽和画素は本来の被写体情報を失っているため、入力画像と画像回復フィルタが対象にする劣化画像の状態が一致しない事態が発生する。
【００１５】
画像回復処理のように画像に周波数特性を補償するためのフィルタを適用する場合、画像の周波数特性とフィルタが対象にする周波数特性が異なると、画像にリンギングが発生する場合がある。飽和による被写体情報の喪失によって、撮影画像における飽和領域は被写体が本来示す周波数特性から大きく異なった周波数特性を持つ。特に飽和画素と非飽和画素の境界付近は画像回復フィルタが対象にする周波数特性と大きく異なるためリンギングが発生し易い領域である。
【００１６】
飽和領域の周辺で発生するリンギングの説明にあたり、まず、画像回復フィルタの模式図を示した図１５を用いて画像回復フィルタの例を説明する。画像回復フィルタは撮像光学系の収差特性や要求される回復精度に応じてタップ数を決めることができ、図１５（ａ）では例として１１×１１タップの２次元フィルタとしている。図１５（ａ）では各タップ内の値（係数）を省略しているが、この画像回復フィルタの１断面を図１５（ｂ）に示す。画像回復フィルタの各タップのもつ値（係数値）の分布が、収差によって空間的に広がったＰＳＦを、理想的には元の１点に戻す役割を果たしている。画像回復フィルタの適用時は、フィルタの各タップが画像の各画素に対応してコンボリューション処理（畳み込み積分、積和）される。コンボリューション処理では、ある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして画像と画像回復フィルタの対応画素毎に画像の信号値とフィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える処理をする。
【００１７】
図１６は画像回復フィルタの適用時に飽和部周辺で発生するリンギングの例を示している。図１６は撮影画像内のあるエッジ付近の画素値を示しており、横軸は画素位置であり、縦軸はある色成分の画素値を示している。図１６（ａ）は飽和画素が存在しない場合の画像回復フィルタ適用前の状態である。これに画像回復フィルタを適用すると図１６（ｂ）に示すようにエッジのぼけが補正された回復画像が生成される。一方、図１６（ｃ）はエッジの高輝度側が飽和している場合の画像回復フィルタ適用前の状態を示している。この状態で画像回復フィルタを適用しても飽和によって被写体情報が喪失されているため、エッジのぼけは適切に補正されずに図１６（ｄ）に示すようなリンギングが発生する場合がある。
【００１８】
しかしながら、上述の特許文献１に開示された従来技術では、画素飽和により発生するリンギングを低減させる技術は開示されていない。
【００１９】
本発明は上記問題点を鑑みてなされたものであり、画素飽和により、画像回復処理で飽和領域及びその周辺領域に発生するリンギングを低減させることを目的とする。
【課題を解決するための手段】
【００２０】
上記目的を達成するために、撮像素子により撮像光学系を介して入射する被写体像を撮影して得られた画像データに対して、前記撮像光学系の収差による画像の劣化を補正する回復処理を行う本発明の画像処理装置は、前記撮影時の撮影条件に応じて、前記回復処理に用いるフィルタを選択する選択手段と、前記画像データに対して、前記選択手段により選択されたフィルタを用いて前記回復処理を行う画像処理手段と、前記画像処理手段による回復処理前後の画素値の差分に応じて求めた補正値を用いて、前記画像処理手段による回復処理前の画素値を補正した画像データを得る補正手段とを有する。
【発明の効果】
【００２１】
本発明によれば、画素飽和により、画像回復処理で飽和領域及びその周辺領域に発生するリンギングを低減させることができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係る画像処理装置の一例としての撮像装置の構成を示すブロック図。
【図２】第１の実施形態に係る画像回復処理部の構成を示すブロック図。
【図３】第１の実施形態に係る画像回復処理のフローチャート。
【図４】ＲＡＷ画像の色成分配列の一例を示す図。
【図５】第１の実施形態に係るリンギング低減処理の説明図。
【図６】第１の実施形態に係る飽和領域・飽和部周辺領域設定処理のフローチャート。
【図７】第１の実施形態に係る飽和部周辺領域の説明図。
【図８】第１の実施形態に係る別の飽和部周辺領域の説明図。
【図９】変形例に係る飽和領域・飽和部周辺領域設定処理のフローチャート。
【図１０】変形例に係る飽和部周辺領域の説明図。
【図１１】第２の実施形態に係る画像回復処理部の構成を示すブロック図。
【図１２】第２の実施形態に係る画像回復処理のフローチャート。
【図１３】第２の実施形態に係る画像回復フィルタの説明図。
【図１４】第２の実施形態に係る飽和部周辺領域の説明図。
【図１５】画像回復フィルタを説明するための模式図。
【図１６】リンギングの説明図。
【発明を実施するための形態】
【００２３】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００２４】
＜第１の実施形態＞
図１は、本発明の実施形態に係る撮像装置の基本構成の一例を示すブロック図である。不図示の被写体像は、絞り１０１ａおよびフォーカスレンズ１０１ｂを含む撮像光学系１０１により撮像素子１０２に入射する。
【００２５】
撮像光学系１０１の機械的な駆動は、システムコントローラ１０９の指示により撮像光学系制御部１０６が行う。絞り１０１ａは、Ｆナンバーの撮影状態設定として開口径が制御される。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構によりレンズの位置が制御される。この撮像光学系にはローパスフィルタや赤外線カットフィルタ等の光学素子を入れても構わない。ただし、ローパスフィルタ等の光学伝達関数（ＯＴＦ）の特性に影響を与える素子を用いる場合には、画像回復フィルタを作成する時点でその光学素子によるＯＴＦの変化の考慮が必要になる場合がある。赤外カットフィルタについても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響する。そのため、画像回復フィルタを作成する時点で、赤外カットフィルタによるＰＳＦの変化の考慮が必要になる場合がある。
【００２６】
撮像素子１０２は、一例として、図４に示す所謂ベイヤー配列のカラーフィルタにより覆われ、撮像素子１０２を構成する各画素は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の内、覆われたフィルタの色に応じた色成分の信号を出力する。撮像素子１０２上に結像した被写体像は電気信号に変換され、Ａ／Ｄコンバータ１０３でデジタル信号に変換されて、画像処理部１０４に入力される。画像処理部１０４は画像回復処理部１１０と所定の処理を行うその他画像処理部１１１とから構成される。画像処理部１０４における一連の処理はシステムコントローラ１０９によって制御される。
【００２７】
画像処理部１０４は、撮像装置の撮像状態に応じた画像回復フィルタを記憶部１０７から選択し、画像回復処理部１１０は画像処理部１０４に入力された画像に対して選択された画像回復フィルタを適用する。ここでいう撮像状態とは、ズームレンズ位置や絞り径の状態等の画像回復フィルタの選択時に必要な情報のことである。また、記憶部１０７で保持するデータは画像回復フィルタではなく、画像回復フィルタを生成するために必要なＯＴＦに関する情報でもよい。この場合、画像回復処理部１１０は、撮像状態に応じたＯＴＦに関する情報を記憶部１０７から選択し、撮像状態に応じた画像回復フィルタを生成した後、画像処理部１０４に入力された画像に対して画像回復処理を行う。なお、画像回復処理部１１０における具体的な処理内容は後述する。その後、その他画像処理部１１１ではガンマ補正、カラーバランス調整処理、エッジ強調処理など、所定の画像処理を行い、ＪＰＥＧ等の画像ファイルを生成する。
【００２８】
システムコントローラ１０９は、画像処理部１０４で処理された出力画像を、画像記録媒体１０８に所定のフォーマットで保存する。また、表示部１０５には、画像回復処理後の画像に表示用の所定の処理を行った画像を表示する。なお、画像回復処理を行っていない、または簡易的な回復処理を行った画像を表示しても良い。
【００２９】
以上が本発明の実施形態に係る撮像装置の基本構成の一例である。ここでは撮像光学系１０１は撮像装置の一部として構成されているが、一眼レフカメラにあるような交換式のものであっても良い。
【００３０】
次に、画像回復処理部１１０の基本構成を示した図２と、処理フローを示した図３を参照して、本第１の実施形態における画像回復処理の詳細を説明する。なお、ここで説明する画像回復処理部１１０における処理は、前述の通り、システムコントローラ１０９によって制御される。
【００３１】
なお、画像に画像回復処理を適用することで、その画像の鮮鋭度が高まるとともに、色ごとの結像位置のずれに起因する色収差を補正することができる。ゆえに、すでにエッジ強調処理や色収差補正処理が施されている画像に対して画像回復処理を適用すると、エッジが不自然に強調されてしまったり、それぞれの色の結像位置がかえってずれてしまい、偽色が発生したりするという問題が生じてしまう。
【００３２】
そこで、本実施形態の撮像装置では、画像回復処理を適用しようとする画像にエッジ強調処理や色収差補正処理が施されていた場合には、エッジ強調処理や色収差補正処理が施される前の画像を読み出し、この読み出した画像に対して画像回復処理を適用する。エッジ強調処理や色収差補正処理が施される前の画像を読み出す代わりに、エッジ強調処理や色収差補正処理を解除するための画像処理を行ってもよい。あるいは、ユーザーに対してエッジ強調処理や色収差補正処理を解除するよう警告を表示し、これらの処理が解除されるのを待ってから、画像回復処理を画像に対して適用してもよい。
【００３３】
なお、画像回復処理を適用した画像は、すでに色ごとに結像位置のズレが補正されているため、画像処理部１０４は、この画像に対して色収差補正処理を施すことも禁止する。ゆえに、その他画像処理部１１１が色収差補正処理の機能を備えている場合は、その他画像処理部１１１は画像回復処理を適用していない画像に対してのみ色収差補正処理を実行することになる。なお、シャープネスを強調した画像を得たいというユーザーの要求に応えうるようにするため、その他画像処理部１１１は、画像回復処理を適用した画像に対してエッジ強調処理を適用することは可能である。
【００３４】
画像回復処理部１１０への入力は、上述したように、各画素に１色の色成分を持つ、図４に示すベイヤー配列のＲＡＷ画像である。そのため、画像回復処理部１１０はまず、画素補間部１００１において、各画素にすべてのフィルタの色に応じた色成分の信号を持たせるための画素補間処理を行うことでＲＧＢの３つの色プレーンを作成する（Ｓ１１）。
【００３５】
次に、画像回復フィルタ選択部１００２においてズーム位置や絞り径等の、撮影時の撮影条件に適した画像回復フィルタを選択する（Ｓ１２）。このとき、選択された画像回復フィルタを必要に応じて補正しても構わない。例えば、予め記憶部１０７に用意しておく画像回復フィルタのデータ数を低減するために離散的な撮像状態のデータを用意しておき、画像回復処理を実行する際に、そのときの撮像状態に適した画像回復フィルタとなるように補正してもよい。また、画像回復フィルタの選択ではなく、画像回復フィルタを生成するために必要なＯＴＦに関する情報から撮像状態に応じた画像回復フィルタを生成してもよい。
【００３６】
なお、本第１の実施形態で用いる画像回復フィルタとしては、例えば、図１５を参照して上述した画像回復フィルタを用いることができる。図１５に示すような画像回復フィルタでは、フィルタの各タップが画像の１画素に対応して画像回復工程でコンボリューション処理される。図１５（ａ）のように画像回復フィルタを１００以上に分割した２次元フィルタとすれば、撮像光学系による球面収差、コマ収差、軸上色収差、軸外色フレア等の結像位置から大きく広がる収差も補正することができる。
【００３７】
図１５に示す画像回復フィルタの作成法については、式（２）、（３）により上述したように撮像光学系の光学素子のＯＴＦを計算若しくは計測し、式（４）、（５）により上述したようにその逆関数を逆フーリエ変換して得ることができる。一般的にはノイズの影響を考慮する必要があるためウィーナーフィルタや関連する回復フィルタの作成方法を選択して用いることができる。さらに、ＯＴＦは撮像光学系のみならず、入力される画像に対して、ＯＴＦを劣化させる要因を含めることができる。例えば、ローパスフィルタはＯＴＦの周波数特性に対して高周波成分を抑制するものである。また、撮像素子の画素開口の形状や開口率も周波数特性に影響している。他にも光源の分光特性や各種波長フィルタの分光特性が挙げられる。これらを含めた広義のＯＴＦに基づいて、画像回復フィルタを作成することが望ましい。
【００３８】
次に、飽和部周辺領域検出部１００３ではＲＧＢの各色プレーンにおいて、飽和画素からなる飽和領域の設定と、その周辺の領域である飽和部周辺領域との設定を行う（Ｓ１３）。飽和画素の判定は、撮像素子１０２の特性から飽和レベルの閾値を予め設定しておき、その閾値よりも信号値が大きい画素を飽和画素とすることで行う。また、ここで設定する飽和部周辺領域は、飽和により、入力画像と画像回復フィルタが対象にする劣化画像の状態が一致しないためにリンギングの発生が懸念される領域である。より具体的には、飽和画素ではない画素であって、当該画素を画像回復処理するときに、画像回復フィルタによるコンボリューションで飽和画素が使われる画素からなる領域である。そのため、飽和部周辺領域は画像回復フィルタの特性に従って設定される。なお、飽和部周辺領域検出部１００３における飽和部周辺領域の設定方法の詳細は後述する。
【００３９】
次に、回復フィルタ適用部１００４では、Ｓ１２で選択された画像回復フィルタを用いて、撮像された画像の各色成分の各画素に対してコンボリューション処理を行う（Ｓ１４）。これにより撮像光学系で発生した収差の非対称性の補正や画像のぼけ成分を除去もしくは低減することができる。
【００４０】
ここで、画像回復フィルタ適用により飽和領域付近で発生するリンギングと、飽和領域と飽和部周辺領域との関係を図５に示す。図５（ａ）は画像内における飽和領域と飽和部周辺領域とのあるエッジにおいて、１つの色成分の画像回復フィルタ適用前の断面図であり、高輝度部が飽和している状態を示している。図５（ｂ）は画像回復フィルタ適用後の状態を示しており、飽和領域及び飽和部周辺領域でリンギングが発生していることが分かる。
【００４１】
このようなリンギングを補正するために、まず、回復フィルタ適用部１００４で画像回復フィルタが適用された後、回復成分生成部１００５で回復成分を生成する（Ｓ１５）。ここで回復成分とは以下に示す式（６）〜（８）のように画像回復フィルタ適用前と画像回復フィルタ適用後（回復処理前後）の画素値の差分と定義する。なお、式（６）〜（８）において、Ｒｄ（ｘ，ｙ）、Ｇｄ（ｘ，ｙ）、Ｂｄ（ｘ，ｙ）はそれぞれＲＧＢの回復成分、Ｒ０（ｘ，ｙ）、Ｇ０（ｘ，ｙ）、Ｂ０（ｘ，ｙ）はＲＧＢの画像回復処理前の画素値を表す。更に、Ｒ１（ｘ，ｙ）、Ｇ１（ｘ，ｙ）、Ｂ１（ｘ，ｙ）はＲＧＢの画像回復処理後の画素値を表している。また、ｘは横方向の座標、ｙは縦方向の座標である。
Ｒｄ（ｘ，ｙ）＝Ｒ１（ｘ，ｙ）−Ｒ０（ｘ，ｙ） …（６）
Ｇｄ（ｘ，ｙ）＝Ｇ１（ｘ，ｙ）−Ｇ０（ｘ，ｙ） …（７）
Ｂｄ（ｘ，ｙ）＝Ｂ１（ｘ，ｙ）−Ｂ０（ｘ，ｙ） …（８）
【００４２】
次に、ＬＰＦ適用部１００６では、取得した回復成分の内、飽和部周辺領域検出部１００３で設定した飽和領域と飽和部周辺領域の画素に対応する回復成分に対してローパスフィルタ（ＬＰＦ）を適用する（Ｓ１６）。すなわち、回復成分生成部１００５とＬＰＦ適用部１００６は、差分処理手段を形成する。なお、ＬＰＦ適用部１００６は、飽和領域と飽和部周辺領域以外の画素に対しては、ＬＰＦを適用しない。そして、回復成分合成部１００７では、画素補間部１００１から出力された画素値に対して、それぞれ回復成分（補正値）を合成する（Ｓ１７）。ここで、ＬＰＦ適用部１００６と回復成分合成部１００７で行う、飽和領域と飽和部周辺領域の画素に対するＬＰＦ適用例と回復成分合成の例を式（９）及び（１０）で示す。式（９）において、Ｒｄ´（ｘ，ｙ）はＬＰＦ適用後の回復成分であり、式（１０）において、Ｒ２（ｘ，ｙ）は回復成分合成後のＲの画素値を示している。
Ｒｄ´（ｘ，ｙ）＝｛
４×Ｒｄ（ｘ，ｙ）
＋２×（Ｒｄ（ｘ，ｙ−１）＋Ｒｄ（ｘ−１，ｙ）
＋Ｒｄ（ｘ＋１，ｙ）＋Ｒｄ（ｘ，ｙ＋１））
＋（Ｒｄ（ｘ−１，ｙ−１）＋Ｒｄ（ｘ＋１，ｙ−１）
＋Ｒｄ（ｘ−１，ｙ＋１）＋Ｒｄ（ｘ＋１，ｙ＋１））
｝／１６ …（９）
Ｒ２（ｘ，ｙ）＝Ｒ０（ｘ，ｙ）＋Ｒｄ´（ｘ，ｙ） …（１０）
【００４３】
なお、上記はＲ成分に対する例であるが、Ｇ成分とＢ成分についても同様の処理を適用することができる。
また、飽和領域と飽和部周辺領域以外の領域については、画像回復フィルタ適用前の各画素の画素値に、画像回復フィルタ適用前と画像回復フィルタ適用後の画素値の差分である回復成分を合成すれば、画像回復フィルタ適用後の画素値を得ることができる。すなわち、以下の式（１１）により画像回復フィルタ適用後の画素値を得ることができる。
Ｒ２（ｘ，ｙ）＝Ｒ０（ｘ，ｙ）＋Ｒｄ（ｘ，ｙ） …（１１）
【００４４】
このように、飽和領域と飽和部周辺領域の画素の回復成分に対してＬＰＦを適用して平滑化することで、リンギングの低減を図ることが可能である。図５（ａ）及び（ｂ）で示した画像回復フィルタ適用前後の飽和領域と飽和部周辺領域とのエッジにおける回復成分の例を図５（ｃ）に示す。また、この回復成分にＬＰＦを適用した例を図５（ｄ）に示す。そして回復成分にＬＰＦを適用してリンギング低減処理を行ったエッジの例を図５（ｅ）に示す。図５（ｅ）に示すように、図５（ｂ）で示したリンギングが発生している状態に比べるとリンギングが抑制され、また図５（ａ）で示した画像回復フィルタ適用前に比べるとエッジのぼけが低減していることが分かる。
【００４５】
以上、図３を参照して説明したように処理を行うことで、画像回復処理部１１０における画像回復処理は終了となる。なお、本第１の実施形態で説明した回復成分に適用するＬＰＦの特性は一例であり、画像回復フィルタの特性や画像の特性に応じて使用するＬＰＦを設定すればよい。
【００４６】
また、ＯＴＦは１つの撮影状態においても撮像光学系の画角（像高）に応じて変化するので、本発明の画像回復処理を像高に応じた画像の分割された領域毎に変更して行うことが望ましい。これには、画像回復フィルタを画像上でコンボリューション処理をしながら走査させ、領域毎にフィルタを順次変更すれば良い。すなわちＳ１２では各色成分の各画素毎に画像回復フィルタを選択もしくは生成し、Ｓ１４では各色成分の各画素毎に回復処理を実行する。また、画像回復フィルタの適用を画像回復処理として扱ったが、例えば歪曲補正処理や周辺光量補正処理やノイズ低減処理等の別の処理を本発明のフローの前後や途中に組み合わせ、画像回復処理として扱うことも可能である。
【００４７】
また、図２及び図３を参照した上記説明では、飽和領域及び飽和部周辺領域以外の画素についても回復成分を生成して、画像回復フィルタ適用前の画素値に合成する例について説明したが、本発明はこれに限るものではない。本発明は、飽和領域と飽和部周辺領域の画素について、ＬＰＦ処理した回復成分を画像回復フィルタ適用前の画素値に合成できればよく、飽和領域及び飽和部周辺領域以外の画素については、例えば、画像回復フィルタ適用後の画素値をそのまま出力しても良い。
【００４８】
次に、Ｓ１３における具体的な飽和領域の判定方法と飽和部周辺領域の設定方法とについて、図６を参照して詳細に説明する。Ｓ２１〜Ｓ２４は飽和領域の判定処理、Ｓ２５〜Ｓ２９は飽和部周辺領域の設定処理である。
【００４９】
飽和領域の画素か否かを判定する対象の画素の座標を決定する。判定は全画素に対して行うために、順次、判定対象画素を移動させていく（Ｓ２１）。そして、判定対象画素の画素値が、予め撮像素子１０２の特性に応じて決定した閾値より大きいか否かを判定する（Ｓ２２）。画素値が閾値よりも大きい場合はその画素を飽和画素と判定し（Ｓ２３）、画素値が閾値以下であれば、その画素は飽和画素ではないので、そのままＳ２４に進む。なお、飽和画素の座標情報は後で参照されるため、ここで飽和画素であると判定された画素の座標情報は後で利用できるように保持しておく。上記飽和領域判定を全画素に対して終了したか判断し（Ｓ２４）、全画素終了していなければＳ２１に戻って上記処理を繰り返し、全画素終了した場合は次の飽和部周辺領域の決定処理に進む。
【００５０】
次に、飽和部周辺領域の画素か否かを判定する対象の画素の座標を決定する（Ｓ２５）。判定は全画素に対して行うために、順次、判定対象画素を移動させていく。まず、判定対象画素が非飽和画素（飽和画素以外の画素）か判定を行う（Ｓ２６）。これは、Ｓ２３で保持しておいた飽和画素情報を参照することで、判定対象画素が非飽和画素であるかどうかを判別できる。飽和画素であった場合にはＳ２９に進む。一方、非飽和画素であった場合は、判定対象画素の回復処理時に、画像回復フィルタのコンボリューションで飽和画素を使用するか否かを判定する（Ｓ２７）。これは、Ｓ２３で設定した飽和画素情報と、対象画素に適用される画像回復フィルタを参照することで、画像回復フィルタによりコンボリューションする際に飽和画素が使用されるかどうかを判定できる。飽和画素を使用する場合は、判定対象画素を飽和部周辺領域の画素と設定する（Ｓ２８）。飽和部周辺領域の画素の座標情報は後で参照するため、ここで飽和部周辺領域の画素であると判定された画素の座標は後で利用できるように保持しておく。一方、飽和画素を使用しない場合にはＳ２９に進む。
【００５１】
上記飽和部周辺領域の判定を全画素に対して行うことで（Ｓ２９でＹＥＳ）、Ｓ１３における飽和領域の判定と飽和部周辺領域の設定処理は終了となる。
【００５２】
飽和部周辺領域の判定の具体的な例を、更に図７を用いて説明する。図７（ａ）は画像のある領域を示しており、図中の白部は飽和画素、それ以外の画素は飽和していない非飽和画素を示している。図７（ａ）において、画素Ａの回復信号を生成するための画像回復フィルタは、この場合、５×５タップのフィルタであり、画素Ａの周りの太枠で示した範囲の画素に対してコンボリューション処理が行われる。この画素Ａの場合、画像回復フィルタの適用時に飽和画素は使用されない。つまり、画素の飽和によるリンギングは発生しないため、画素Ａは飽和部周辺領域の画素としない。一方、画素Ｂの場合は、画像回復フィルタの適用時に一部飽和画素が使用される。従って画素Ｂは飽和部周辺領域の画素とする。このように各非飽和画素に対し上記判定を行うことで飽和部周辺領域を設定した例を図７（ｂ）に示す。
【００５３】
また、図７（ａ）に示した画像回復フィルタのタップ数のみを考慮して飽和部周辺領域を決定するのではなく、ファイルの係数値を考慮して飽和部周辺領域を決定してもよい。図８（ａ）に示した５×５の画像回復フィルタに対し、図８（ｂ）はフィルタ係数の絶対値が０と見なしても影響ない部分を黒で示している。０と見なしても影響ない部分とは、フィルタを構成する各係数の中で、絶対値が最大となる係数に比べて値が非常に小さく、０に置き換えてもフィルタ適用により生成される画素値への影響が無視できるレベルのものである。図８（ｃ）は、（ｂ）のフィルタの白で示した有効係数のみを考慮して飽和部周辺領域を設定する例であり、画素Ａは飽和部周辺領域の画素ではなく、画素Ｂは飽和部周辺領域の画素となる。このようにして飽和部周辺領域を設定することで、上述したリンギング低減処理を施す領域を最小限に抑えることが可能となる。
【００５４】
＜変形例＞
飽和部周辺領域の他の設定方法の処理フローを図９に示す。Ｓ２１〜Ｓ２４は図６で示した飽和領域の判定処理と同様であるため説明を省略し、Ｓ３５以降の飽和部周辺領域の設定処理について説明する。
【００５５】
まず、飽和部周辺領域の画素か否かを判定する対象の画素の座標を決定する（Ｓ３５）。判定は全画素に対して行うために、順次、判定対象画素を移動させていく。そして、判定対象画素が飽和画素か判定を行う（Ｓ３６）。これは、Ｓ２３で保持しておいた飽和画素情報を参照することで、判定対象画素が飽和画素であるかどうかを判別できる。
【００５６】
飽和画素であった場合、対象画素を回復処理する際に適用される画像回復フィルタを１８０度回転し、コンボリューションする際に使用される非飽和画素とフィルタ係数とから飽和部周辺領域を決定する（Ｓ３７）。図１０は、適用される画像回復フィルタが図８（ｂ）に示すような有効係数を含むフィルタであった場合に、画素Ａに適用される画像回復フィルタの有効係数部分を１８０度回転したものを太線で示している。そして、この範囲内の非飽和画素ｎを飽和部周辺領域の画素とする。このように、飽和画素に適用される画像回復フィルタを１８０度回転し、コンボリューションされる際に使用される非飽和画素を飽和部周辺領域の画素とすることで、図８（ｃ）に示した方法と同等の結果を得ることができる。
【００５７】
上記飽和部周辺領域の判定を全画素に対して行うことで（Ｓ３８でＹＥＳ）、Ｓ１３における飽和領域の判定と飽和部周辺領域の設定処理は終了とする。
【００５８】
このように飽和画素に適用される画像回復フィルタから飽和部周辺領域を決定することで、飽和部周辺領域設定のための処理であるＳ３７の実行を、飽和画素に限定することができる。さらに、Ｓ３６において、判定対象画素が飽和していても、隣接する画素がいずれも飽和している場合はＳ３７をスキップする判定を追加することで、隣接する画素のいずれかが非飽和画素である飽和画素に限ってＳ３７の処理を行うことが可能である。
【００５９】
一般的な画像では非飽和画素の画素数よりも、隣接する画素のいずれかが非飽和画素である飽和画素の画素数の方がはるかに少ない。そのため、非飽和画素の全画素に対して飽和部周辺領域の判定を行う図６で示した処理フローの方法に比べ、飽和画素に限って飽和部周辺領域の判定を行うこの方法は、低処理負荷を実現することができる。ＯＴＦは１つの撮影状態においても撮像光学系の画角（像高）に応じて変化するので、画像回復フィルタは画素によって異なる。そのため、ある飽和画素に適用される画像回復フィルタと、その周辺画素に適用される画像回復フィルタは厳密には一致しない。しかし、近傍の画素間ではＯＴＦは極めて近い特性を持つため、上記のように飽和画素に適用される画像回復フィルタを用いて飽和部周辺領域を決定することが可能である。
【００６０】
＜第２の実施形態＞
以下、本発明の第２の実施形態による画像回復処理について説明する。なお、本第２の実施形態に係る撮像装置の基本構成は、上述した第１の実施形態において図１を参照して説明したものと同様である。本第２の実施形態では、第１の実施形態と異なり、図４に示すようなベイヤー形式の画像データのまま、画素補間を行わずに画像回復処理を行う場合について説明する。
【００６１】
本第２の実施形態における画像回復処理部１１０の基本構成を示した図１１と、処理フローを示した図１２を参照して、本第２の実施形態における画像回復処理の詳細を説明する。なお、ここで説明する画像回復処理部１１０における処理は、システムコントローラ１０９によって制御される。画像回復処理部１１０への入力は、各画素に１色の色成分を持つ、図４に示すベイヤー形式のＲＡＷ画像である。
【００６２】
まず、画像回復フィルタ選択部１００２においてズーム位置や絞り径等の撮影時の撮影条件に適した画像回復フィルタを選択する（Ｓ４１）。このとき、選択された画像回復フィルタを必要に応じて補正しても構わない。例えば、予め記憶部１０７に用意しておく画像回復フィルタのデータ数を低減するために離散的な撮像状態のデータを用意しておき、画像回復処理を実行する際に、そのときの撮像状態に適した画像回復フィルタとなるように補正してもよい。また、画像回復フィルタの選択ではなく、画像回復フィルタを生成するために必要なＯＴＦに関する情報から撮像状態に応じた画像回復フィルタを生成してもよい。
【００６３】
本第２の実施形態におけるベイヤー配列のＲＡＷ画像に適用する画像回復フィルタの例を図１３に示す。対象の色成分が存在する画素に対し、いずれか１つのフィルタの色に応じた色成分の信号のみに対応する係数を保持する画像回復フィルタであり、係数を保持している箇所を図中、白で表し、それ以外の０を保持する箇所を黒で表している。Ｒ、Ｇ、Ｂ、の３つの色成分に対し画像回復を行う場合、Ｇ成分に適用する画像回復フィルタは図１３（ａ）のようになり、Ｒ、Ｂ成分に適用する画像回復フィルタは図１３（ｂ）のようになる。
【００６４】
次に、飽和部周辺領域検出部１００３ではＲＧＢからなるプレーンにおいて飽和画素からなる飽和領域の設定と、飽和部周辺領域の設定を行う（Ｓ４２）。基本的な決定方法としては第１の実施形態及び変形例で説明した図６や図９の処理フローを適用することができるが、扱うＲＡＷ画像はベイヤー配列であることを考慮する必要がある。
【００６５】
ＲＡＷ画像における飽和画素と使用される画像回復フィルタの例を示した図１４を参照して、飽和部周辺領域の設定方法を説明する。図１４はＲＡＷ画像のある領域におけるＲ成分の飽和画素と非飽和画素を示している。図中の画素Ａの回復信号を生成するための画像回復フィルタはこの場合５×５タップのフィルタであり、画素Ａの周りの太枠で示した範囲の画素に対してコンボリューション処理が行われる。この画像回復フィルタは前述の通りベイヤー配列のＲ成分のみに対応するように構成されているため、コンボリューション処理においてもＲ成分以外の画素は使用されない。また、使用されてもフィルタ係数は０であるので結果には影響しない。この画素Ａの場合、画像回復フィルタの適用時に飽和画素は使用されない。つまり、画素の飽和によるリンギングは発生しないため、画素Ａは飽和部周辺領域としない。一方、画素Ｂの場合は、画像回復フィルタの適用時に一部飽和画素が使用される。従って画素Ｂは飽和部周辺領域とする。このように各非飽和画素に対し上記判定を行うことで飽和部周辺領域を決定する。
【００６６】
このように、各画素に１つの色成分のみを持つＲＡＷ画像に対しても、対象となる色成分以外は扱わないことで、飽和部周辺領域を特定することができる。
【００６７】
次に、回復フィルタ適用部１００４では、Ｓ４１で選択された画像回復フィルタを用いて、撮像されたＲＡＷ画像の各色成分の各画素に対してコンボリューション処理を行う（Ｓ４３）。これにより撮像光学系で発生した収差の非対称性の補正や画像のぼけ成分を除去もしくは低減することができる。
【００６８】
そして、回復フィルタ適用部１００４で画像回復フィルタが適用された後、回復成分生成部１００５で、画像回復フィルタ適用前後（回復処理前後）の画素値の差分である回復成分を生成する（Ｓ４４）。本第２の実施形態における回復成分は第１の実施形態で説明したものと同様であるため、説明は割愛する。次にＬＰＦ適用部１００６では、取得した回復成分の内、飽和部周辺領域検出部１００３で検出した飽和領域と飽和部周辺領域の画素に対応する回復成分に対してＬＰＦを適用する（Ｓ４５）。ここでＬＰＦ適用部１００６は、飽和領域と飽和部周辺領域以外の画素に対しては、ＬＰＦを適用しない。そして、回復成分合成部１００７では、入力したＲＡＷ画像の画素値に対して、それぞれ回復成分を合成する（Ｓ４６）。ここで、ＬＰＦ適用部１００６と回復成分合成部１００７で行う、飽和領域と飽和部周辺領域の画素に対するＬＰＦ適用例と回復成分合成の例を式（１２）及び（１３）で示す。式（１２）において、Ｒｄ´（ｘ，ｙ）はＬＰＦ適用後の回復成分であり、Ｒ２（ｘ，ｙ）は回復成分合成後のＲの画素値を示している。
Ｒｄ´（ｘ，ｙ）＝｛
４×Ｒｄ（ｘ，ｙ）
＋２×（Ｒｄ（ｘ，ｙ−２）＋Ｒｄ（ｘ−２，ｙ）
＋Ｒｄ（ｘ＋２，ｙ）＋Ｒｄ（ｘ，ｙ＋２））
＋（Ｒｄ（ｘ−２，ｙ−２）＋Ｒｄ（ｘ＋２，ｙ−２）
＋Ｒｄ（ｘ−２，ｙ＋２）＋Ｒｄ（ｘ＋２，ｙ＋２））
｝／１６ …（１２）
Ｒ２（ｘ，ｙ）＝Ｒ０（ｘ，ｙ）＋Ｒｄ´（ｘ，ｙ） …（１３）
【００６９】
なお、上記はＲ成分に対する例であるが、Ｇ成分とＢ成分についても同じように対象の色成分が存在する画素のみを使用してＬＰＦ処理を適用することができる。
また、飽和領域と飽和部周辺領域以外の領域については、画像回復フィルタ適用前の各画素の画素値に、画像回復フィルタ適用前と画像回復フィルタ適用後の画素値の差分である回復成分を合成すれば、画像回復フィルタ適用後の画素値を得ることができる。
【００７０】
このように各画素に１つの色成分のみを持つＲＡＷ画像に対しても、対象となる色成分以外は扱わないことで、飽和領域と飽和部周辺領域の画素の回復成分にＬＰＦを適用しリンギングを低減させることが可能である。
【００７１】
画像回復フィルタが適用され、更にリンギングが低減されたＲＡＷ画像に対し、画素補間部１００１において、各画素にすべてのフィルタの色に応じた色成分の信号を持たせるための画素補間処理を行うことでＲＧＢの３つの色プレーンを作成する（Ｓ４７）。
【００７２】
以上、図１２を参照して説明したように処理を行うことで、画像回復処理部１１０における画像回復処理は終了となる。
【００７３】
また、ＯＴＦは１つの撮影状態においても撮像光学系の画角（像高）に応じて変化するので、本発明の画像回復処理を像高に応じた画像の分割された領域毎に変更して行うことが望ましい。これには、画像回復フィルタを画像上でコンボリューション処理をしながら走査させ、領域毎にフィルタを順次変更すれば良い。すなわちＳ４１では各色成分の各画素毎に画像回復フィルタを選択もしくは生成し、Ｓ４３は各色成分の各画素毎に回復処理を実行する。また、本第２の実施形態では画像回復フィルタの適用を画像回復処理として扱ったが、例えば歪曲補正処理や周辺光量補正処理やノイズ低減処理等の別の処理を本発明のフローの前後や途中に組み合わせ、画像回復処理として扱うことも可能である。
【００７４】
また、図１１及び図１２を参照した上記説明では、飽和領域及び飽和部周辺領域以外の画素についても回復成分を生成して、画像回復フィルタ適用前の画素値に合成する例について説明したが、本発明はこれに限るものではない。本発明は、飽和領域と飽和部周辺領域の画素について、ＬＰＦ処理した回復成分を画像回復フィルタ適用前の画素値に合成できればよく、飽和領域及び飽和部周辺領域以外の画素については、例えば、画像回復フィルタ適用後の画素値をそのまま出力しても良い。
【００７５】
また、上述した実施形態では、画像回復フィルタ適用前の画素値から飽和領域及び飽和部周辺領域を設定し、この飽和領域及び飽和部周辺領域の回復成分に対してのみＬＰＦ処理を適用する例をあげて説明を行ったが、本発明はこれに限られるものではない。飽和領域及び飽和部周辺領域だけでなく、その外側の領域の回復成分にもＬＰＦを適用し、この外側の領域では、画像回復フィルタ適用前の各画素の画素値に、ＬＰＦ適用前の回復成分とＬＰＦ適用後の回復成分を重み付け加算した値を合成するようにしてもよい。この際、飽和領域及び飽和部周辺領域からの距離が遠い領域ほど、ＬＰＦ適用前の回復成分の重み付けを大きくして、ＬＰＦ適用後の回復成分と重み付け加算をする。こうすることで、回復成分にＬＰＦ処理を適用する領域から、回復成分にＬＰＦ処理を適用しない領域へと、徐々に変化させることができるようになる。ただし、ＬＰＦ適用後の回復成分の重み付けが大きい領域ほど画像回復の効果が薄くなる。そのため、飽和領域及び飽和部周辺領域に比較的近い所定の距離の領域を限界領域とし、その限界領域でＬＰＦ適用後の回復成分の重み付けが０となるように重み付け係数を設定することが望ましい。
【００７６】
さらに、上述した実施形態では、回復成分にＬＰＦ処理を適用する特定の領域として、画像回復フィルタ適用前の画素値に基づいて設定した飽和領域及び飽和部周辺領域を対象としたが、別の方法で回復成分にＬＰＦ処理を適用する特定の領域を決定しても構わない。画像回復フィルタが適用されることでリンギングが生じた領域は、図５（ｃ）に示すように、回復成分が急激に増加する領域と回復成分が急激に減少する領域の両方を含み、回復成分の値が山形状あるいは谷形状となる。そこで、画像全域に画像回復フィルタを適用し、回復成分の傾きが閾値以上であり、傾きが逆となる領域が隣接あるいは近傍に存在し、かつ、それらに囲まれた領域の回復成分の最大値と最小値の差分が閾値以上となる領域をリンギング発生領域として設定する。このリンギング領域の端部に位置する画素を中心として画像回復フィルタを適用した場合に使用される画素をリンギング周辺領域の画素として設定し、リンギング領域及びリンギング周辺領域を特定の領域として、その回復成分にＬＰＦ処理を適用してもよい。さらに、リンギング発生領域において、その回復成分の傾きが緩やかなほど、あるいは、回復成分の最大値と最小値の差分が小さいほど、ＬＰＦ適用前の回復成分の重み付けを大きくして、ＬＰＦ適用後の回復成分と重み付け加算をするようにしてもよい。このような条件を満たす場合ほど、リンギングが発生したとしても目立ちにくいと考えられるためである。
【００７７】
また、上述した実施形態では一般的なＲ、Ｇ、Ｂから構成されるベイヤー配列を用いて説明したが、本発明における色成分はＲ、Ｇ、Ｂに限定されずＲ、Ｇ、Ｂ以外の複数色の色成分から構成される画素配列にも適用可能である。また、本発明は撮像素子における様々な画素配列に適用することができる。
【００７８】
以上、本発明の画像処理方法を用いた撮像装置に関する実施形態を示したが、本発明の画像処理方法は、その要旨の範囲内で種々の変形及び変更が可能であり、装置での使用に限るものではない。例えば、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、画像処理装置及び方法に関し、特に画像回復処理を用いた劣化画像を補正する画像処理装置及び方法に関する。
【背景技術】
【０００２】
情報のデジタル化に伴い、画像を信号値として扱えることで撮影画像に対する様々な補正処理方法が提案されている。デジタルカメラで被写体を撮像して画像化するとき、得られた画像は特に撮像光学系の収差によって少なからず劣化している。
【０００３】
画像のぼけ成分とは、光学系の球面収差、コマ収差、像面湾曲、非点収差等が原因である。これらの収差による画像のぼけ成分は、無収差で回折の影響もない場合に、本来、被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが広がりをもって像を結んでいるものを指している。光学的には点像分布関数（ＰＳＦ）と呼ぶものであるが、これを画像ではぼけ成分と呼ぶことにする。画像のぼけと言うと、例えばピントがずれた画像もぼけているが、ここでは特にピントが合っていても上記の光学系の収差の影響でぼけてしまうものを指すことにする。また、カラー画像での色にじみも光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長毎のぼけ方の相違ということができる。また、横方向の色ズレも光学系の倍率色収差が原因であるものに関しては、光の波長毎の撮像倍率の相違による位置ずれまたは位相ずれということができる。
【０００４】
ＰＳＦをフーリエ変換して得られる光学伝達関数（ＯＴＦ、Optical Transfer Function）は、収差の周波数成分情報であり、複素数で表される。ＯＴＦの絶対値、即ち振幅成分をＭＴＦ（Modulation Transfer Function）と呼び、位相成分をＰＴＦ（Phase Transfer Function）と呼ぶ。よって、ＭＴＦ、ＰＴＦはそれぞれ収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式（１）で表す。なお、Ｒｅ（ＯＴＦ）、Ｉｍ（ＯＴＦ）は、それぞれＯＴＦの実部、虚部を表す。
ＰＴＦ＝ｔａｎ-1（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ）） …（１）
【０００５】
このように、撮像光学系のＯＴＦは画像の振幅成分と位相成分に劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。
【０００６】
振幅（ＭＴＦ）の劣化と位相（ＰＴＦ）の劣化を補正する方法として、撮像光学系のＯＴＦの情報を用いて補正するものが知られている。この方法は画像回復や画像復元という言葉で呼ばれており、以降この撮像光学系のＯＴＦの情報を用いて画像の劣化を補正する処理を画像回復処理または回復処理と記すことにする。
【０００７】
ここで、画像回復処理の概要を示す。劣化した画像をｇ（ｘ，ｙ）、元の画像をｆ（ｘ，ｙ）、ＯＴＦを逆フーリエ変換したものであるＰＳＦをｈ（ｘ，ｙ）としたとき、以下の式（２）が成り立つ。ただし、＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） …（２）
【０００８】
また、これをフーリエ変換して周波数面での表示形式に変換すると、以下の式（３）のように周波数毎の積の形式になる。ＨはＰＳＦをフーリエ変換したものであるのでＯＴＦである。（ｕ，ｖ）は２次元周波数面での座標、即ち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） …（３）
【０００９】
すなわち、撮影された劣化画像から元の画像を得るためには、以下のように両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） …（４）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）が回復像として得られる。
ここで、上式の１／Ｈを逆フーリエ変換したものをＲとすると、以下の式（５）のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） …（５）
【００１０】
このＲ（ｘ，ｙ）を画像回復フィルタと呼ぶ。しかしながら、実際の画像にはノイズ成分があるため、上記のようにＯＴＦの完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい、一般には良好な画像は得られない。この点については、例えばウィーナーフィルターのように画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する方法が知られている。画像の色にじみ成分の劣化を補正する方法として、例えば、上記のぼけ成分の補正により画像の色成分毎のぼけ量が均一になれば補正されたことになる。
ここで、ズーム位置の状態や絞り径の状態等の撮影状態に応じてＯＴＦが変動するため、画像回復処理に用いる画像回復フィルタもこれに応じて変更する必要がある。
【００１１】
例えば、特許文献１には、生体内部を観察するための内視鏡において、撮像手段の合焦範囲外の範囲に対して、使用する蛍光波長に応じたＰＳＦを用いて像のぼけを解消する手法が開示されている。蛍光が微弱であるためにＦナンバーの小さい対物光学系が必要であるため、焦点深度が浅くなってしまうので、焦点の合わない範囲に対しては画像回復処理をして合焦像を得ようとしている。
【００１２】
上記の通り、撮像した入力画像に対して画像回復処理を施すことにより、諸収差を補正することで画質を向上することができる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特許第０３５３２３６８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、実際の撮像では、入力画像の撮像状態と、これを補正するための画像回復フィルタの状態が最適には一致しない場合がある。一例として、撮影した画像に飽和画素がある場合が挙げられる。飽和画素は本来の被写体情報を失っているため、入力画像と画像回復フィルタが対象にする劣化画像の状態が一致しない事態が発生する。
【００１５】
画像回復処理のように画像に周波数特性を補償するためのフィルタを適用する場合、画像の周波数特性とフィルタが対象にする周波数特性が異なると、画像にリンギングが発生する場合がある。飽和による被写体情報の喪失によって、撮影画像における飽和領域は被写体が本来示す周波数特性から大きく異なった周波数特性を持つ。特に飽和画素と非飽和画素の境界付近は画像回復フィルタが対象にする周波数特性と大きく異なるためリンギングが発生し易い領域である。
【００１６】
飽和領域の周辺で発生するリンギングの説明にあたり、まず、画像回復フィルタの模式図を示した図１５を用いて画像回復フィルタの例を説明する。画像回復フィルタは撮像光学系の収差特性や要求される回復精度に応じてタップ数を決めることができ、図１５（ａ）では例として１１×１１タップの２次元フィルタとしている。図１５（ａ）では各タップ内の値（係数）を省略しているが、この画像回復フィルタの１断面を図１５（ｂ）に示す。画像回復フィルタの各タップのもつ値（係数値）の分布が、収差によって空間的に広がったＰＳＦを、理想的には元の１点に戻す役割を果たしている。画像回復フィルタの適用時は、フィルタの各タップが画像の各画素に対応してコンボリューション処理（畳み込み積分、積和）される。コンボリューション処理では、ある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして画像と画像回復フィルタの対応画素毎に画像の信号値とフィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える処理をする。
【００１７】
図１６は画像回復フィルタの適用時に飽和部周辺で発生するリンギングの例を示している。図１６は撮影画像内のあるエッジ付近の画素値を示しており、横軸は画素位置であり、縦軸はある色成分の画素値を示している。図１６（ａ）は飽和画素が存在しない場合の画像回復フィルタ適用前の状態である。これに画像回復フィルタを適用すると図１６（ｂ）に示すようにエッジのぼけが補正された回復画像が生成される。一方、図１６（ｃ）はエッジの高輝度側が飽和している場合の画像回復フィルタ適用前の状態を示している。この状態で画像回復フィルタを適用しても飽和によって被写体情報が喪失されているため、エッジのぼけは適切に補正されずに図１６（ｄ）に示すようなリンギングが発生する場合がある。
【００１８】
しかしながら、上述の特許文献１に開示された従来技術では、画素飽和により発生するリンギングを低減させる技術は開示されていない。
【００１９】
本発明は上記問題点を鑑みてなされたものであり、画素飽和により、画像回復処理で飽和領域及びその周辺領域に発生するリンギングを低減させることを目的とする。
【課題を解決するための手段】
【００２０】
上記目的を達成するために、撮像素子により撮像光学系を介して入射する被写体像を撮影して得られた画像データに対して、前記撮像光学系の収差による画像の劣化を補正する回復処理を行う本発明の画像処理装置は、前記撮影時の撮影条件に応じて、前記回復処理に用いるフィルタを選択する選択手段と、前記画像データに対して、前記選択手段により選択されたフィルタを用いて前記回復処理を行う画像処理手段と、前記画像処理手段による回復処理前後の画素値の差分に応じて求めた補正値を用いて、前記画像処理手段による回復処理前の画素値を補正した画像データを得る補正手段とを有する。
【発明の効果】
【００２１】
本発明によれば、画素飽和により、画像回復処理で飽和領域及びその周辺領域に発生するリンギングを低減させることができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係る画像処理装置の一例としての撮像装置の構成を示すブロック図。
【図２】第１の実施形態に係る画像回復処理部の構成を示すブロック図。
【図３】第１の実施形態に係る画像回復処理のフローチャート。
【図４】ＲＡＷ画像の色成分配列の一例を示す図。
【図５】第１の実施形態に係るリンギング低減処理の説明図。
【図６】第１の実施形態に係る飽和領域・飽和部周辺領域設定処理のフローチャート。
【図７】第１の実施形態に係る飽和部周辺領域の説明図。
【図８】第１の実施形態に係る別の飽和部周辺領域の説明図。
【図９】変形例に係る飽和領域・飽和部周辺領域設定処理のフローチャート。
【図１０】変形例に係る飽和部周辺領域の説明図。
【図１１】第２の実施形態に係る画像回復処理部の構成を示すブロック図。
【図１２】第２の実施形態に係る画像回復処理のフローチャート。
【図１３】第２の実施形態に係る画像回復フィルタの説明図。
【図１４】第２の実施形態に係る飽和部周辺領域の説明図。
【図１５】画像回復フィルタを説明するための模式図。
【図１６】リンギングの説明図。
【発明を実施するための形態】
【００２３】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００２４】
＜第１の実施形態＞
図１は、本発明の実施形態に係る撮像装置の基本構成の一例を示すブロック図である。不図示の被写体像は、絞り１０１ａおよびフォーカスレンズ１０１ｂを含む撮像光学系１０１により撮像素子１０２に入射する。
【００２５】
撮像光学系１０１の機械的な駆動は、システムコントローラ１０９の指示により撮像光学系制御部１０６が行う。絞り１０１ａは、Ｆナンバーの撮影状態設定として開口径が制御される。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構によりレンズの位置が制御される。この撮像光学系にはローパスフィルタや赤外線カットフィルタ等の光学素子を入れても構わない。ただし、ローパスフィルタ等の光学伝達関数（ＯＴＦ）の特性に影響を与える素子を用いる場合には、画像回復フィルタを作成する時点でその光学素子によるＯＴＦの変化の考慮が必要になる場合がある。赤外カットフィルタについても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響する。そのため、画像回復フィルタを作成する時点で、赤外カットフィルタによるＰＳＦの変化の考慮が必要になる場合がある。
【００２６】
撮像素子１０２は、一例として、図４に示す所謂ベイヤー配列のカラーフィルタにより覆われ、撮像素子１０２を構成する各画素は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の内、覆われたフィルタの色に応じた色成分の信号を出力する。撮像素子１０２上に結像した被写体像は電気信号に変換され、Ａ／Ｄコンバータ１０３でデジタル信号に変換されて、画像処理部１０４に入力される。画像処理部１０４は画像回復処理部１１０と所定の処理を行うその他画像処理部１１１とから構成される。画像処理部１０４における一連の処理はシステムコントローラ１０９によって制御される。
【００２７】
画像処理部１０４は、撮像装置の撮像状態に応じた画像回復フィルタを記憶部１０７から選択し、画像回復処理部１１０は画像処理部１０４に入力された画像に対して選択された画像回復フィルタを適用する。ここでいう撮像状態とは、ズームレンズ位置や絞り径の状態等の画像回復フィルタの選択時に必要な情報のことである。また、記憶部１０７で保持するデータは画像回復フィルタではなく、画像回復フィルタを生成するために必要なＯＴＦに関する情報でもよい。この場合、画像回復処理部１１０は、撮像状態に応じたＯＴＦに関する情報を記憶部１０７から選択し、撮像状態に応じた画像回復フィルタを生成した後、画像処理部１０４に入力された画像に対して画像回復処理を行う。なお、画像回復処理部１１０における具体的な処理内容は後述する。その後、その他画像処理部１１１ではガンマ補正、カラーバランス調整処理、エッジ強調処理など、所定の画像処理を行い、ＪＰＥＧ等の画像ファイルを生成する。
【００２８】
システムコントローラ１０９は、画像処理部１０４で処理された出力画像を、画像記録媒体１０８に所定のフォーマットで保存する。また、表示部１０５には、画像回復処理後の画像に表示用の所定の処理を行った画像を表示する。なお、画像回復処理を行っていない、または簡易的な回復処理を行った画像を表示しても良い。
【００２９】
以上が本発明の実施形態に係る撮像装置の基本構成の一例である。ここでは撮像光学系１０１は撮像装置の一部として構成されているが、一眼レフカメラにあるような交換式のものであっても良い。
【００３０】
次に、画像回復処理部１１０の基本構成を示した図２と、処理フローを示した図３を参照して、本第１の実施形態における画像回復処理の詳細を説明する。なお、ここで説明する画像回復処理部１１０における処理は、前述の通り、システムコントローラ１０９によって制御される。
【００３１】
なお、画像に画像回復処理を適用することで、その画像の鮮鋭度が高まるとともに、色ごとの結像位置のずれに起因する色収差を補正することができる。ゆえに、すでにエッジ強調処理や色収差補正処理が施されている画像に対して画像回復処理を適用すると、エッジが不自然に強調されてしまったり、それぞれの色の結像位置がかえってずれてしまい、偽色が発生したりするという問題が生じてしまう。
【００３２】
そこで、本実施形態の撮像装置では、画像回復処理を適用しようとする画像にエッジ強調処理や色収差補正処理が施されていた場合には、エッジ強調処理や色収差補正処理が施される前の画像を読み出し、この読み出した画像に対して画像回復処理を適用する。エッジ強調処理や色収差補正処理が施される前の画像を読み出す代わりに、エッジ強調処理や色収差補正処理を解除するための画像処理を行ってもよい。あるいは、ユーザーに対してエッジ強調処理や色収差補正処理を解除するよう警告を表示し、これらの処理が解除されるのを待ってから、画像回復処理を画像に対して適用してもよい。
【００３３】
なお、画像回復処理を適用した画像は、すでに色ごとに結像位置のズレが補正されているため、画像処理部１０４は、この画像に対して色収差補正処理を施すことも禁止する。ゆえに、その他画像処理部１１１が色収差補正処理の機能を備えている場合は、その他画像処理部１１１は画像回復処理を適用していない画像に対してのみ色収差補正処理を実行することになる。なお、シャープネスを強調した画像を得たいというユーザーの要求に応えうるようにするため、その他画像処理部１１１は、画像回復処理を適用した画像に対してエッジ強調処理を適用することは可能である。
【００３４】
画像回復処理部１１０への入力は、上述したように、各画素に１色の色成分を持つ、図４に示すベイヤー配列のＲＡＷ画像である。そのため、画像回復処理部１１０はまず、画素補間部１００１において、各画素にすべてのフィルタの色に応じた色成分の信号を持たせるための画素補間処理を行うことでＲＧＢの３つの色プレーンを作成する（Ｓ１１）。
【００３５】
次に、画像回復フィルタ選択部１００２においてズーム位置や絞り径等の、撮影時の撮影条件に適した画像回復フィルタを選択する（Ｓ１２）。このとき、選択された画像回復フィルタを必要に応じて補正しても構わない。例えば、予め記憶部１０７に用意しておく画像回復フィルタのデータ数を低減するために離散的な撮像状態のデータを用意しておき、画像回復処理を実行する際に、そのときの撮像状態に適した画像回復フィルタとなるように補正してもよい。また、画像回復フィルタの選択ではなく、画像回復フィルタを生成するために必要なＯＴＦに関する情報から撮像状態に応じた画像回復フィルタを生成してもよい。
【００３６】
なお、本第１の実施形態で用いる画像回復フィルタとしては、例えば、図１５を参照して上述した画像回復フィルタを用いることができる。図１５に示すような画像回復フィルタでは、フィルタの各タップが画像の１画素に対応して画像回復工程でコンボリューション処理される。図１５（ａ）のように画像回復フィルタを１００以上に分割した２次元フィルタとすれば、撮像光学系による球面収差、コマ収差、軸上色収差、軸外色フレア等の結像位置から大きく広がる収差も補正することができる。
【００３７】
図１５に示す画像回復フィルタの作成法については、式（２）、（３）により上述したように撮像光学系の光学素子のＯＴＦを計算若しくは計測し、式（４）、（５）により上述したようにその逆関数を逆フーリエ変換して得ることができる。一般的にはノイズの影響を考慮する必要があるためウィーナーフィルタや関連する回復フィルタの作成方法を選択して用いることができる。さらに、ＯＴＦは撮像光学系のみならず、入力される画像に対して、ＯＴＦを劣化させる要因を含めることができる。例えば、ローパスフィルタはＯＴＦの周波数特性に対して高周波成分を抑制するものである。また、撮像素子の画素開口の形状や開口率も周波数特性に影響している。他にも光源の分光特性や各種波長フィルタの分光特性が挙げられる。これらを含めた広義のＯＴＦに基づいて、画像回復フィルタを作成することが望ましい。
【００３８】
次に、飽和部周辺領域検出部１００３ではＲＧＢの各色プレーンにおいて、飽和画素からなる飽和領域の設定と、その周辺の領域である飽和部周辺領域との設定を行う（Ｓ１３）。飽和画素の判定は、撮像素子１０２の特性から飽和レベルの閾値を予め設定しておき、その閾値よりも信号値が大きい画素を飽和画素とすることで行う。また、ここで設定する飽和部周辺領域は、飽和により、入力画像と画像回復フィルタが対象にする劣化画像の状態が一致しないためにリンギングの発生が懸念される領域である。より具体的には、飽和画素ではない画素であって、当該画素を画像回復処理するときに、画像回復フィルタによるコンボリューションで飽和画素が使われる画素からなる領域である。そのため、飽和部周辺領域は画像回復フィルタの特性に従って設定される。なお、飽和部周辺領域検出部１００３における飽和部周辺領域の設定方法の詳細は後述する。
【００３９】
次に、回復フィルタ適用部１００４では、Ｓ１２で選択された画像回復フィルタを用いて、撮像された画像の各色成分の各画素に対してコンボリューション処理を行う（Ｓ１４）。これにより撮像光学系で発生した収差の非対称性の補正や画像のぼけ成分を除去もしくは低減することができる。
【００４０】
ここで、画像回復フィルタ適用により飽和領域付近で発生するリンギングと、飽和領域と飽和部周辺領域との関係を図５に示す。図５（ａ）は画像内における飽和領域と飽和部周辺領域とのあるエッジにおいて、１つの色成分の画像回復フィルタ適用前の断面図であり、高輝度部が飽和している状態を示している。図５（ｂ）は画像回復フィルタ適用後の状態を示しており、飽和領域及び飽和部周辺領域でリンギングが発生していることが分かる。
【００４１】
このようなリンギングを補正するために、まず、回復フィルタ適用部１００４で画像回復フィルタが適用された後、回復成分生成部１００５で回復成分を生成する（Ｓ１５）。ここで回復成分とは以下に示す式（６）〜（８）のように画像回復フィルタ適用前と画像回復フィルタ適用後（回復処理前後）の画素値の差分と定義する。なお、式（６）〜（８）において、Ｒｄ（ｘ，ｙ）、Ｇｄ（ｘ，ｙ）、Ｂｄ（ｘ，ｙ）はそれぞれＲＧＢの回復成分、Ｒ０（ｘ，ｙ）、Ｇ０（ｘ，ｙ）、Ｂ０（ｘ，ｙ）はＲＧＢの画像回復処理前の画素値を表す。更に、Ｒ１（ｘ，ｙ）、Ｇ１（ｘ，ｙ）、Ｂ１（ｘ，ｙ）はＲＧＢの画像回復処理後の画素値を表している。また、ｘは横方向の座標、ｙは縦方向の座標である。
Ｒｄ（ｘ，ｙ）＝Ｒ１（ｘ，ｙ）−Ｒ０（ｘ，ｙ） …（６）
Ｇｄ（ｘ，ｙ）＝Ｇ１（ｘ，ｙ）−Ｇ０（ｘ，ｙ） …（７）
Ｂｄ（ｘ，ｙ）＝Ｂ１（ｘ，ｙ）−Ｂ０（ｘ，ｙ） …（８）
【００４２】
次に、ＬＰＦ適用部１００６では、取得した回復成分の内、飽和部周辺領域検出部１００３で設定した飽和領域と飽和部周辺領域の画素に対応する回復成分に対してローパスフィルタ（ＬＰＦ）を適用する（Ｓ１６）。すなわち、回復成分生成部１００５とＬＰＦ適用部１００６は、差分処理手段を形成する。なお、ＬＰＦ適用部１００６は、飽和領域と飽和部周辺領域以外の画素に対しては、ＬＰＦを適用しない。そして、回復成分合成部１００７では、画素補間部１００１から出力された画素値に対して、それぞれ回復成分（補正値）を合成する（Ｓ１７）。ここで、ＬＰＦ適用部１００６と回復成分合成部１００７で行う、飽和領域と飽和部周辺領域の画素に対するＬＰＦ適用例と回復成分合成の例を式（９）及び（１０）で示す。式（９）において、Ｒｄ´（ｘ，ｙ）はＬＰＦ適用後の回復成分であり、式（１０）において、Ｒ２（ｘ，ｙ）は回復成分合成後のＲの画素値を示している。
Ｒｄ´（ｘ，ｙ）＝｛
４×Ｒｄ（ｘ，ｙ）
＋２×（Ｒｄ（ｘ，ｙ−１）＋Ｒｄ（ｘ−１，ｙ）
＋Ｒｄ（ｘ＋１，ｙ）＋Ｒｄ（ｘ，ｙ＋１））
＋（Ｒｄ（ｘ−１，ｙ−１）＋Ｒｄ（ｘ＋１，ｙ−１）
＋Ｒｄ（ｘ−１，ｙ＋１）＋Ｒｄ（ｘ＋１，ｙ＋１））
｝／１６ …（９）
Ｒ２（ｘ，ｙ）＝Ｒ０（ｘ，ｙ）＋Ｒｄ´（ｘ，ｙ） …（１０）
【００４３】
なお、上記はＲ成分に対する例であるが、Ｇ成分とＢ成分についても同様の処理を適用することができる。
また、飽和領域と飽和部周辺領域以外の領域については、画像回復フィルタ適用前の各画素の画素値に、画像回復フィルタ適用前と画像回復フィルタ適用後の画素値の差分である回復成分を合成すれば、画像回復フィルタ適用後の画素値を得ることができる。すなわち、以下の式（１１）により画像回復フィルタ適用後の画素値を得ることができる。
Ｒ２（ｘ，ｙ）＝Ｒ０（ｘ，ｙ）＋Ｒｄ（ｘ，ｙ） …（１１）
【００４４】
このように、飽和領域と飽和部周辺領域の画素の回復成分に対してＬＰＦを適用して平滑化することで、リンギングの低減を図ることが可能である。図５（ａ）及び（ｂ）で示した画像回復フィルタ適用前後の飽和領域と飽和部周辺領域とのエッジにおける回復成分の例を図５（ｃ）に示す。また、この回復成分にＬＰＦを適用した例を図５（ｄ）に示す。そして回復成分にＬＰＦを適用してリンギング低減処理を行ったエッジの例を図５（ｅ）に示す。図５（ｅ）に示すように、図５（ｂ）で示したリンギングが発生している状態に比べるとリンギングが抑制され、また図５（ａ）で示した画像回復フィルタ適用前に比べるとエッジのぼけが低減していることが分かる。
【００４５】
以上、図３を参照して説明したように処理を行うことで、画像回復処理部１１０における画像回復処理は終了となる。なお、本第１の実施形態で説明した回復成分に適用するＬＰＦの特性は一例であり、画像回復フィルタの特性や画像の特性に応じて使用するＬＰＦを設定すればよい。
【００４６】
また、ＯＴＦは１つの撮影状態においても撮像光学系の画角（像高）に応じて変化するので、本発明の画像回復処理を像高に応じた画像の分割された領域毎に変更して行うことが望ましい。これには、画像回復フィルタを画像上でコンボリューション処理をしながら走査させ、領域毎にフィルタを順次変更すれば良い。すなわちＳ１２では各色成分の各画素毎に画像回復フィルタを選択もしくは生成し、Ｓ１４では各色成分の各画素毎に回復処理を実行する。また、画像回復フィルタの適用を画像回復処理として扱ったが、例えば歪曲補正処理や周辺光量補正処理やノイズ低減処理等の別の処理を本発明のフローの前後や途中に組み合わせ、画像回復処理として扱うことも可能である。
【００４７】
また、図２及び図３を参照した上記説明では、飽和領域及び飽和部周辺領域以外の画素についても回復成分を生成して、画像回復フィルタ適用前の画素値に合成する例について説明したが、本発明はこれに限るものではない。本発明は、飽和領域と飽和部周辺領域の画素について、ＬＰＦ処理した回復成分を画像回復フィルタ適用前の画素値に合成できればよく、飽和領域及び飽和部周辺領域以外の画素については、例えば、画像回復フィルタ適用後の画素値をそのまま出力しても良い。
【００４８】
次に、Ｓ１３における具体的な飽和領域の判定方法と飽和部周辺領域の設定方法とについて、図６を参照して詳細に説明する。Ｓ２１〜Ｓ２４は飽和領域の判定処理、Ｓ２５〜Ｓ２９は飽和部周辺領域の設定処理である。
【００４９】
飽和領域の画素か否かを判定する対象の画素の座標を決定する。判定は全画素に対して行うために、順次、判定対象画素を移動させていく（Ｓ２１）。そして、判定対象画素の画素値が、予め撮像素子１０２の特性に応じて決定した閾値より大きいか否かを判定する（Ｓ２２）。画素値が閾値よりも大きい場合はその画素を飽和画素と判定し（Ｓ２３）、画素値が閾値以下であれば、その画素は飽和画素ではないので、そのままＳ２４に進む。なお、飽和画素の座標情報は後で参照されるため、ここで飽和画素であると判定された画素の座標情報は後で利用できるように保持しておく。上記飽和領域判定を全画素に対して終了したか判断し（Ｓ２４）、全画素終了していなければＳ２１に戻って上記処理を繰り返し、全画素終了した場合は次の飽和部周辺領域の決定処理に進む。
【００５０】
次に、飽和部周辺領域の画素か否かを判定する対象の画素の座標を決定する（Ｓ２５）。判定は全画素に対して行うために、順次、判定対象画素を移動させていく。まず、判定対象画素が非飽和画素（飽和画素以外の画素）か判定を行う（Ｓ２６）。これは、Ｓ２３で保持しておいた飽和画素情報を参照することで、判定対象画素が非飽和画素であるかどうかを判別できる。飽和画素であった場合にはＳ２９に進む。一方、非飽和画素であった場合は、判定対象画素の回復処理時に、画像回復フィルタのコンボリューションで飽和画素を使用するか否かを判定する（Ｓ２７）。これは、Ｓ２３で設定した飽和画素情報と、対象画素に適用される画像回復フィルタを参照することで、画像回復フィルタによりコンボリューションする際に飽和画素が使用されるかどうかを判定できる。飽和画素を使用する場合は、判定対象画素を飽和部周辺領域の画素と設定する（Ｓ２８）。飽和部周辺領域の画素の座標情報は後で参照するため、ここで飽和部周辺領域の画素であると判定された画素の座標は後で利用できるように保持しておく。一方、飽和画素を使用しない場合にはＳ２９に進む。
【００５１】
上記飽和部周辺領域の判定を全画素に対して行うことで（Ｓ２９でＹＥＳ）、Ｓ１３における飽和領域の判定と飽和部周辺領域の設定処理は終了となる。
【００５２】
飽和部周辺領域の判定の具体的な例を、更に図７を用いて説明する。図７（ａ）は画像のある領域を示しており、図中の白部は飽和画素、それ以外の画素は飽和していない非飽和画素を示している。図７（ａ）において、画素Ａの回復信号を生成するための画像回復フィルタは、この場合、５×５タップのフィルタであり、画素Ａの周りの太枠で示した範囲の画素に対してコンボリューション処理が行われる。この画素Ａの場合、画像回復フィルタの適用時に飽和画素は使用されない。つまり、画素の飽和によるリンギングは発生しないため、画素Ａは飽和部周辺領域の画素としない。一方、画素Ｂの場合は、画像回復フィルタの適用時に一部飽和画素が使用される。従って画素Ｂは飽和部周辺領域の画素とする。このように各非飽和画素に対し上記判定を行うことで飽和部周辺領域を設定した例を図７（ｂ）に示す。
【００５３】
また、図７（ａ）に示した画像回復フィルタのタップ数のみを考慮して飽和部周辺領域を決定するのではなく、ファイルの係数値を考慮して飽和部周辺領域を決定してもよい。図８（ａ）に示した５×５の画像回復フィルタに対し、図８（ｂ）はフィルタ係数の絶対値が０と見なしても影響ない部分を黒で示している。０と見なしても影響ない部分とは、フィルタを構成する各係数の中で、絶対値が最大となる係数に比べて値が非常に小さく、０に置き換えてもフィルタ適用により生成される画素値への影響が無視できるレベルのものである。図８（ｃ）は、（ｂ）のフィルタの白で示した有効係数のみを考慮して飽和部周辺領域を設定する例であり、画素Ａは飽和部周辺領域の画素ではなく、画素Ｂは飽和部周辺領域の画素となる。このようにして飽和部周辺領域を設定することで、上述したリンギング低減処理を施す領域を最小限に抑えることが可能となる。
【００５４】
＜変形例＞
飽和部周辺領域の他の設定方法の処理フローを図９に示す。Ｓ２１〜Ｓ２４は図６で示した飽和領域の判定処理と同様であるため説明を省略し、Ｓ３５以降の飽和部周辺領域の設定処理について説明する。
【００５５】
まず、飽和部周辺領域の画素か否かを判定する対象の画素の座標を決定する（Ｓ３５）。判定は全画素に対して行うために、順次、判定対象画素を移動させていく。そして、判定対象画素が飽和画素か判定を行う（Ｓ３６）。これは、Ｓ２３で保持しておいた飽和画素情報を参照することで、判定対象画素が飽和画素であるかどうかを判別できる。
【００５６】
飽和画素であった場合、対象画素を回復処理する際に適用される画像回復フィルタを１８０度回転し、コンボリューションする際に使用される非飽和画素とフィルタ係数とから飽和部周辺領域を決定する（Ｓ３７）。図１０は、適用される画像回復フィルタが図８（ｂ）に示すような有効係数を含むフィルタであった場合に、画素Ａに適用される画像回復フィルタの有効係数部分を１８０度回転したものを太線で示している。そして、この範囲内の非飽和画素ｎを飽和部周辺領域の画素とする。このように、飽和画素に適用される画像回復フィルタを１８０度回転し、コンボリューションされる際に使用される非飽和画素を飽和部周辺領域の画素とすることで、図８（ｃ）に示した方法と同等の結果を得ることができる。
【００５７】
上記飽和部周辺領域の判定を全画素に対して行うことで（Ｓ３８でＹＥＳ）、Ｓ１３における飽和領域の判定と飽和部周辺領域の設定処理は終了とする。
【００５８】
このように飽和画素に適用される画像回復フィルタから飽和部周辺領域を決定することで、飽和部周辺領域設定のための処理であるＳ３７の実行を、飽和画素に限定することができる。さらに、Ｓ３６において、判定対象画素が飽和していても、隣接する画素がいずれも飽和している場合はＳ３７をスキップする判定を追加することで、隣接する画素のいずれかが非飽和画素である飽和画素に限ってＳ３７の処理を行うことが可能である。
【００５９】
一般的な画像では非飽和画素の画素数よりも、隣接する画素のいずれかが非飽和画素である飽和画素の画素数の方がはるかに少ない。そのため、非飽和画素の全画素に対して飽和部周辺領域の判定を行う図６で示した処理フローの方法に比べ、飽和画素に限って飽和部周辺領域の判定を行うこの方法は、低処理負荷を実現することができる。ＯＴＦは１つの撮影状態においても撮像光学系の画角（像高）に応じて変化するので、画像回復フィルタは画素によって異なる。そのため、ある飽和画素に適用される画像回復フィルタと、その周辺画素に適用される画像回復フィルタは厳密には一致しない。しかし、近傍の画素間ではＯＴＦは極めて近い特性を持つため、上記のように飽和画素に適用される画像回復フィルタを用いて飽和部周辺領域を決定することが可能である。
【００６０】
＜第２の実施形態＞
以下、本発明の第２の実施形態による画像回復処理について説明する。なお、本第２の実施形態に係る撮像装置の基本構成は、上述した第１の実施形態において図１を参照して説明したものと同様である。本第２の実施形態では、第１の実施形態と異なり、図４に示すようなベイヤー形式の画像データのまま、画素補間を行わずに画像回復処理を行う場合について説明する。
【００６１】
本第２の実施形態における画像回復処理部１１０の基本構成を示した図１１と、処理フローを示した図１２を参照して、本第２の実施形態における画像回復処理の詳細を説明する。なお、ここで説明する画像回復処理部１１０における処理は、システムコントローラ１０９によって制御される。画像回復処理部１１０への入力は、各画素に１色の色成分を持つ、図４に示すベイヤー形式のＲＡＷ画像である。
【００６２】
まず、画像回復フィルタ選択部１００２においてズーム位置や絞り径等の撮影時の撮影条件に適した画像回復フィルタを選択する（Ｓ４１）。このとき、選択された画像回復フィルタを必要に応じて補正しても構わない。例えば、予め記憶部１０７に用意しておく画像回復フィルタのデータ数を低減するために離散的な撮像状態のデータを用意しておき、画像回復処理を実行する際に、そのときの撮像状態に適した画像回復フィルタとなるように補正してもよい。また、画像回復フィルタの選択ではなく、画像回復フィルタを生成するために必要なＯＴＦに関する情報から撮像状態に応じた画像回復フィルタを生成してもよい。
【００６３】
本第２の実施形態におけるベイヤー配列のＲＡＷ画像に適用する画像回復フィルタの例を図１３に示す。対象の色成分が存在する画素に対し、いずれか１つのフィルタの色に応じた色成分の信号のみに対応する係数を保持する画像回復フィルタであり、係数を保持している箇所を図中、白で表し、それ以外の０を保持する箇所を黒で表している。Ｒ、Ｇ、Ｂ、の３つの色成分に対し画像回復を行う場合、Ｇ成分に適用する画像回復フィルタは図１３（ａ）のようになり、Ｒ、Ｂ成分に適用する画像回復フィルタは図１３（ｂ）のようになる。
【００６４】
次に、飽和部周辺領域検出部１００３ではＲＧＢからなるプレーンにおいて飽和画素からなる飽和領域の設定と、飽和部周辺領域の設定を行う（Ｓ４２）。基本的な決定方法としては第１の実施形態及び変形例で説明した図６や図９の処理フローを適用することができるが、扱うＲＡＷ画像はベイヤー配列であることを考慮する必要がある。
【００６５】
ＲＡＷ画像における飽和画素と使用される画像回復フィルタの例を示した図１４を参照して、飽和部周辺領域の設定方法を説明する。図１４はＲＡＷ画像のある領域におけるＲ成分の飽和画素と非飽和画素を示している。図中の画素Ａの回復信号を生成するための画像回復フィルタはこの場合５×５タップのフィルタであり、画素Ａの周りの太枠で示した範囲の画素に対してコンボリューション処理が行われる。この画像回復フィルタは前述の通りベイヤー配列のＲ成分のみに対応するように構成されているため、コンボリューション処理においてもＲ成分以外の画素は使用されない。また、使用されてもフィルタ係数は０であるので結果には影響しない。この画素Ａの場合、画像回復フィルタの適用時に飽和画素は使用されない。つまり、画素の飽和によるリンギングは発生しないため、画素Ａは飽和部周辺領域としない。一方、画素Ｂの場合は、画像回復フィルタの適用時に一部飽和画素が使用される。従って画素Ｂは飽和部周辺領域とする。このように各非飽和画素に対し上記判定を行うことで飽和部周辺領域を決定する。
【００６６】
このように、各画素に１つの色成分のみを持つＲＡＷ画像に対しても、対象となる色成分以外は扱わないことで、飽和部周辺領域を特定することができる。
【００６７】
次に、回復フィルタ適用部１００４では、Ｓ４１で選択された画像回復フィルタを用いて、撮像されたＲＡＷ画像の各色成分の各画素に対してコンボリューション処理を行う（Ｓ４３）。これにより撮像光学系で発生した収差の非対称性の補正や画像のぼけ成分を除去もしくは低減することができる。
【００６８】
そして、回復フィルタ適用部１００４で画像回復フィルタが適用された後、回復成分生成部１００５で、画像回復フィルタ適用前後（回復処理前後）の画素値の差分である回復成分を生成する（Ｓ４４）。本第２の実施形態における回復成分は第１の実施形態で説明したものと同様であるため、説明は割愛する。次にＬＰＦ適用部１００６では、取得した回復成分の内、飽和部周辺領域検出部１００３で検出した飽和領域と飽和部周辺領域の画素に対応する回復成分に対してＬＰＦを適用する（Ｓ４５）。ここでＬＰＦ適用部１００６は、飽和領域と飽和部周辺領域以外の画素に対しては、ＬＰＦを適用しない。そして、回復成分合成部１００７では、入力したＲＡＷ画像の画素値に対して、それぞれ回復成分を合成する（Ｓ４６）。ここで、ＬＰＦ適用部１００６と回復成分合成部１００７で行う、飽和領域と飽和部周辺領域の画素に対するＬＰＦ適用例と回復成分合成の例を式（１２）及び（１３）で示す。式（１２）において、Ｒｄ´（ｘ，ｙ）はＬＰＦ適用後の回復成分であり、Ｒ２（ｘ，ｙ）は回復成分合成後のＲの画素値を示している。
Ｒｄ´（ｘ，ｙ）＝｛
４×Ｒｄ（ｘ，ｙ）
＋２×（Ｒｄ（ｘ，ｙ−２）＋Ｒｄ（ｘ−２，ｙ）
＋Ｒｄ（ｘ＋２，ｙ）＋Ｒｄ（ｘ，ｙ＋２））
＋（Ｒｄ（ｘ−２，ｙ−２）＋Ｒｄ（ｘ＋２，ｙ−２）
＋Ｒｄ（ｘ−２，ｙ＋２）＋Ｒｄ（ｘ＋２，ｙ＋２））
｝／１６ …（１２）
Ｒ２（ｘ，ｙ）＝Ｒ０（ｘ，ｙ）＋Ｒｄ´（ｘ，ｙ） …（１３）
【００６９】
なお、上記はＲ成分に対する例であるが、Ｇ成分とＢ成分についても同じように対象の色成分が存在する画素のみを使用してＬＰＦ処理を適用することができる。
また、飽和領域と飽和部周辺領域以外の領域については、画像回復フィルタ適用前の各画素の画素値に、画像回復フィルタ適用前と画像回復フィルタ適用後の画素値の差分である回復成分を合成すれば、画像回復フィルタ適用後の画素値を得ることができる。
【００７０】
このように各画素に１つの色成分のみを持つＲＡＷ画像に対しても、対象となる色成分以外は扱わないことで、飽和領域と飽和部周辺領域の画素の回復成分にＬＰＦを適用しリンギングを低減させることが可能である。
【００７１】
画像回復フィルタが適用され、更にリンギングが低減されたＲＡＷ画像に対し、画素補間部１００１において、各画素にすべてのフィルタの色に応じた色成分の信号を持たせるための画素補間処理を行うことでＲＧＢの３つの色プレーンを作成する（Ｓ４７）。
【００７２】
以上、図１２を参照して説明したように処理を行うことで、画像回復処理部１１０における画像回復処理は終了となる。
【００７３】
また、ＯＴＦは１つの撮影状態においても撮像光学系の画角（像高）に応じて変化するので、本発明の画像回復処理を像高に応じた画像の分割された領域毎に変更して行うことが望ましい。これには、画像回復フィルタを画像上でコンボリューション処理をしながら走査させ、領域毎にフィルタを順次変更すれば良い。すなわちＳ４１では各色成分の各画素毎に画像回復フィルタを選択もしくは生成し、Ｓ４３は各色成分の各画素毎に回復処理を実行する。また、本第２の実施形態では画像回復フィルタの適用を画像回復処理として扱ったが、例えば歪曲補正処理や周辺光量補正処理やノイズ低減処理等の別の処理を本発明のフローの前後や途中に組み合わせ、画像回復処理として扱うことも可能である。
【００７４】
また、図１１及び図１２を参照した上記説明では、飽和領域及び飽和部周辺領域以外の画素についても回復成分を生成して、画像回復フィルタ適用前の画素値に合成する例について説明したが、本発明はこれに限るものではない。本発明は、飽和領域と飽和部周辺領域の画素について、ＬＰＦ処理した回復成分を画像回復フィルタ適用前の画素値に合成できればよく、飽和領域及び飽和部周辺領域以外の画素については、例えば、画像回復フィルタ適用後の画素値をそのまま出力しても良い。
【００７５】
また、上述した実施形態では、画像回復フィルタ適用前の画素値から飽和領域及び飽和部周辺領域を設定し、この飽和領域及び飽和部周辺領域の回復成分に対してのみＬＰＦ処理を適用する例をあげて説明を行ったが、本発明はこれに限られるものではない。飽和領域及び飽和部周辺領域だけでなく、その外側の領域の回復成分にもＬＰＦを適用し、この外側の領域では、画像回復フィルタ適用前の各画素の画素値に、ＬＰＦ適用前の回復成分とＬＰＦ適用後の回復成分を重み付け加算した値を合成するようにしてもよい。この際、飽和領域及び飽和部周辺領域からの距離が遠い領域ほど、ＬＰＦ適用前の回復成分の重み付けを大きくして、ＬＰＦ適用後の回復成分と重み付け加算をする。こうすることで、回復成分にＬＰＦ処理を適用する領域から、回復成分にＬＰＦ処理を適用しない領域へと、徐々に変化させることができるようになる。ただし、ＬＰＦ適用後の回復成分の重み付けが大きい領域ほど画像回復の効果が薄くなる。そのため、飽和領域及び飽和部周辺領域に比較的近い所定の距離の領域を限界領域とし、その限界領域でＬＰＦ適用後の回復成分の重み付けが０となるように重み付け係数を設定することが望ましい。
【００７６】
さらに、上述した実施形態では、回復成分にＬＰＦ処理を適用する特定の領域として、画像回復フィルタ適用前の画素値に基づいて設定した飽和領域及び飽和部周辺領域を対象としたが、別の方法で回復成分にＬＰＦ処理を適用する特定の領域を決定しても構わない。画像回復フィルタが適用されることでリンギングが生じた領域は、図５（ｃ）に示すように、回復成分が急激に増加する領域と回復成分が急激に減少する領域の両方を含み、回復成分の値が山形状あるいは谷形状となる。そこで、画像全域に画像回復フィルタを適用し、回復成分の傾きが閾値以上であり、傾きが逆となる領域が隣接あるいは近傍に存在し、かつ、それらに囲まれた領域の回復成分の最大値と最小値の差分が閾値以上となる領域をリンギング発生領域として設定する。このリンギング領域の端部に位置する画素を中心として画像回復フィルタを適用した場合に使用される画素をリンギング周辺領域の画素として設定し、リンギング領域及びリンギング周辺領域を特定の領域として、その回復成分にＬＰＦ処理を適用してもよい。さらに、リンギング発生領域において、その回復成分の傾きが緩やかなほど、あるいは、回復成分の最大値と最小値の差分が小さいほど、ＬＰＦ適用前の回復成分の重み付けを大きくして、ＬＰＦ適用後の回復成分と重み付け加算をするようにしてもよい。このような条件を満たす場合ほど、リンギングが発生したとしても目立ちにくいと考えられるためである。
【００７７】
また、上述した実施形態では一般的なＲ、Ｇ、Ｂから構成されるベイヤー配列を用いて説明したが、本発明における色成分はＲ、Ｇ、Ｂに限定されずＲ、Ｇ、Ｂ以外の複数色の色成分から構成される画素配列にも適用可能である。また、本発明は撮像素子における様々な画素配列に適用することができる。
【００７８】
以上、本発明の画像処理方法を用いた撮像装置に関する実施形態を示したが、本発明の画像処理方法は、その要旨の範囲内で種々の変形及び変更が可能であり、装置での使用に限るものではない。例えば、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
撮像素子により撮像光学系を介して入射する被写体像を撮影して得られた画像データに対して、前記撮像光学系の収差による画像の劣化を補正する回復処理を行う画像処理装置であって、
前記撮影時の撮影条件に応じて、前記回復処理に用いるフィルタを選択する選択手段と、
前記画像データに対して、前記選択手段により選択されたフィルタを用いて前記回復処理を行う画像処理手段と、
前記画像処理手段による回復処理前後の画素値の差分に応じて求めた補正値を用いて、前記画像処理手段による回復処理前の画素値を補正した画像データを得る補正手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記補正手段は、
前記画像処理手段による回復処理前後の画素値の差分を平滑化する差分処理手段と、
平滑化した前記差分を、前記画像処理手段による回復処理前の画素値に合成する合成手段と
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成手段は、特定の領域の画素について、前記平滑化した前記差分を、前記画像処理手段による回復処理前の画素値に合成した画素値を出力し、前記特定の領域以外の画素について、前記平滑化しない前記差分を、前記画像処理手段による回復処理前の画素値に合成した画素値を出力することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記合成手段は、特定の領域の画素について、前記平滑化した前記差分を、前記画像処理手段による回復処理前の画素値に合成した画素値を出力し、前記特定の領域以外の画素について、前記画像処理手段による回復処理後の画素値を出力することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記画像データのうち、飽和画素を判定して飽和領域を設定するとともに、該判定された飽和画素の位置と、前記選択手段により選択されたフィルタの特性とに基づいて、前記飽和領域の周辺領域を設定する設定手段を有し、
前記合成手段は、前記設定手段により設定された前記飽和領域及び前記周辺領域を、前記特定の領域とすることを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記設定手段は、前記飽和画素以外の画素に対する前記回復処理において、前記フィルタが前記飽和画素の画素値を用いて前記回復処理を行う場合に、前記フィルタが用いる当該飽和画素以外の画素を前記周辺領域の画素と判定することにより前記周辺領域を設定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記設定手段は、前記飽和画素に対する前記回復処理において、前記フィルタが前記飽和画素以外の画素の画素値を用いて前記回復処理を行う場合に、前記フィルタが用いる当該飽和画素以外の画素を前記周辺領域の画素と判定することにより前記周辺領域を設定することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記撮像素子は、複数色のカラーフィルタのいずかにより各画素が覆われており、前記画像処理装置は、
前記複数色の画像データに対して、各画素がそれぞれ前記複数色の画像データを有するように補間処理を行う画素補間手段を更に有し、
前記画像処理手段は、前記補間処理された画像データに対して、前記回復処理を行うことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記撮像素子は、複数色のカラーフィルタのいずかにより各画素が覆われており、前記画像処理装置は、
前記補正手段により補正された前記複数色の画像データに対して、各画素がそれぞれ前記複数色の画像データを有するように補間処理を行う画素補間手段を更に有することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項１０】
前記画像処理手段により用いられる前記フィルタは、前記撮像光学系の光学素子の光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換して得られる２次元のフィルタであり、
前記画像処理手段は、前記フィルタをコンボリューション処理することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
撮像素子により撮像光学系を介して入射する被写体像を撮影して得られた画像データに対して、前記撮像光学系の収差による画像の劣化を補正する回復処理を行う画像処理方法であって、
選択手段が、前記撮影時の撮影条件に応じて、前記回復処理に用いるフィルタを選択する選択工程と、
画像処理手段が、前記画像データに対して、前記選択工程で選択されたフィルタを用いて前記回復処理を行う画像処理工程と、
補正手段が、前記画像処理工程による回復処理前後の画素値の差分に応じて求めた補正値を用いて、前記画像処理工程による回復処理前の画素値を補正した画像データを得る補正工程と
を有することを特徴とする画像処理方法。
【請求項１２】
コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１３】
請求項１２に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【請求項１】
撮像素子により撮像光学系を介して入射する被写体像を撮影して得られた画像データに対して、前記撮像光学系の収差による画像の劣化を補正する回復処理を行う画像処理装置であって、
前記撮影時の撮影条件に応じて、前記回復処理に用いるフィルタを選択する選択手段と、
前記画像データに対して、前記選択手段により選択されたフィルタを用いて前記回復処理を行う画像処理手段と、
前記画像処理手段による回復処理前後の画素値の差分に応じて求めた補正値を用いて、前記画像処理手段による回復処理前の画素値を補正した画像データを得る補正手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記補正手段は、
前記画像処理手段による回復処理前後の画素値の差分を平滑化する差分処理手段と、
平滑化した前記差分を、前記画像処理手段による回復処理前の画素値に合成する合成手段と
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成手段は、特定の領域の画素について、前記平滑化した前記差分を、前記画像処理手段による回復処理前の画素値に合成した画素値を出力し、前記特定の領域以外の画素について、前記平滑化しない前記差分を、前記画像処理手段による回復処理前の画素値に合成した画素値を出力することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記合成手段は、特定の領域の画素について、前記平滑化した前記差分を、前記画像処理手段による回復処理前の画素値に合成した画素値を出力し、前記特定の領域以外の画素について、前記画像処理手段による回復処理後の画素値を出力することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記画像データのうち、飽和画素を判定して飽和領域を設定するとともに、該判定された飽和画素の位置と、前記選択手段により選択されたフィルタの特性とに基づいて、前記飽和領域の周辺領域を設定する設定手段を有し、
前記合成手段は、前記設定手段により設定された前記飽和領域及び前記周辺領域を、前記特定の領域とすることを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記設定手段は、前記飽和画素以外の画素に対する前記回復処理において、前記フィルタが前記飽和画素の画素値を用いて前記回復処理を行う場合に、前記フィルタが用いる当該飽和画素以外の画素を前記周辺領域の画素と判定することにより前記周辺領域を設定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記設定手段は、前記飽和画素に対する前記回復処理において、前記フィルタが前記飽和画素以外の画素の画素値を用いて前記回復処理を行う場合に、前記フィルタが用いる当該飽和画素以外の画素を前記周辺領域の画素と判定することにより前記周辺領域を設定することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記撮像素子は、複数色のカラーフィルタのいずかにより各画素が覆われており、前記画像処理装置は、
前記複数色の画像データに対して、各画素がそれぞれ前記複数色の画像データを有するように補間処理を行う画素補間手段を更に有し、
前記画像処理手段は、前記補間処理された画像データに対して、前記回復処理を行うことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記撮像素子は、複数色のカラーフィルタのいずかにより各画素が覆われており、前記画像処理装置は、
前記補正手段により補正された前記複数色の画像データに対して、各画素がそれぞれ前記複数色の画像データを有するように補間処理を行う画素補間手段を更に有することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項１０】
前記画像処理手段により用いられる前記フィルタは、前記撮像光学系の光学素子の光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換して得られる２次元のフィルタであり、
前記画像処理手段は、前記フィルタをコンボリューション処理することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
撮像素子により撮像光学系を介して入射する被写体像を撮影して得られた画像データに対して、前記撮像光学系の収差による画像の劣化を補正する回復処理を行う画像処理方法であって、
選択手段が、前記撮影時の撮影条件に応じて、前記回復処理に用いるフィルタを選択する選択工程と、
画像処理手段が、前記画像データに対して、前記選択工程で選択されたフィルタを用いて前記回復処理を行う画像処理工程と、
補正手段が、前記画像処理工程による回復処理前後の画素値の差分に応じて求めた補正値を用いて、前記画像処理工程による回復処理前の画素値を補正した画像データを得る補正工程と
を有することを特徴とする画像処理方法。
【請求項１２】
コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１３】
請求項１２に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１３−８４２４７（Ｐ２０１３−８４２４７Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１２−１９４２４４（Ｐ２０１２−１９４２４４）
【出願日】平成２４年９月４日（２０１２．９．４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２４年９月４日（２０１２．９．４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]