画像処理装置、撮像装置、画像処理方法および画像処理プログラム
【課題】色滲みを含むカラー画像において色滲み補正を行う範囲をより適切に特定する。
【解決手段】画像処理装置は、撮像系１１０〜１３０により生成されたカラー画像における画素ごとの強度傾斜を算出する傾斜算出手段１５０と、強度傾斜が第１の閾値を用いた色滲み条件を満足する画素を色滲み候補画素と判定する第１の色滲み判定手段１５０と、カラー画像における飽和画素を検出し、該飽和画素と色滲み候補画素との間の距離が第２の閾値以下である場合に、該色滲み候補画素を色滲み画素と判定する第２の色滲み判定手段１５０とを有する。第１および第２の色滲み判定手段はそれぞれ、第１および第２の閾値を、色滲み候補画素の輝度および彩度のうち少なくとも一方に応じて変更する。
【解決手段】画像処理装置は、撮像系１１０〜１３０により生成されたカラー画像における画素ごとの強度傾斜を算出する傾斜算出手段１５０と、強度傾斜が第１の閾値を用いた色滲み条件を満足する画素を色滲み候補画素と判定する第１の色滲み判定手段１５０と、カラー画像における飽和画素を検出し、該飽和画素と色滲み候補画素との間の距離が第２の閾値以下である場合に、該色滲み候補画素を色滲み画素と判定する第２の色滲み判定手段１５０とを有する。第１および第２の色滲み判定手段はそれぞれ、第１および第２の閾値を、色滲み候補画素の輝度および彩度のうち少なくとも一方に応じて変更する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラやデジタルスチルカメラ等の撮像系により生成されたカラー画像の色滲みを低減する画像処理技術に関する。
【背景技術】
【０００２】
上記のような撮像系により生成されたカラー画像のうち高輝度部分の周囲には、結像光学系（撮影光学系）の色収差に起因して、本来存在しない色が色滲みとして生じる場合がある。色滲みは、結像光学系の中心波長から離れた部分で発生しやすく、可視光カラー画像では、青色や赤色のアーティファクトもしくは双方が混ざった紫色のアーティファクト（パープルフリンジ）が滲み状に生ずる。
【０００３】
結像光学系の色収差は、異なる分散を持つレンズを複数組み合わせることにより、ある程度光学的に抑えることができる。ただし、撮像センサの高解像度化と光学系の小型化とに伴い、色収差を光学のみで十分に抑えることは困難となってきている。このため、画像処理による色滲みの低減が求められている。
【０００４】
色収差は、例えば可視光域の中心波長を担うＧプレーンで合焦した画像において、可視光域の端部となるＲプレーンやＢプレーンではピントがぼける現象である。その補正方法としては、特許文献１や特許文献２にて開示されているように、輝度飽和領域からの距離や強度傾斜（輝度傾斜）に基づいて色滲み補正範囲を特定する方法がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１４７９８０号公報
【特許文献２】特開２００８−１４７９８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、輝度飽和領域からの距離のみに基づいて色滲み補正範囲を特定する方法では、飽和画素周辺における設定距離範囲内のすべての画素を色滲み画素として補正する。この場合、該距離範囲が適切に設定されていない場合や被写体の性質によっては
良好な補正結果が得られないおそれがある。また、強度傾斜にのみ基づいて色滲み補正範囲を特定する方法では、設定した強度傾斜条件を満たす画素をすべて色滲み画素として補正する。この場合、強度傾斜条件のみでは区別が不可能な色分布を持つ被写体や、ノイズによって局所的に強度傾斜条件を満たさない色滲みについては適切な補正が行われないおそれがある。
【０００７】
本発明は、色滲みを含むカラー画像において色滲み補正を行う範囲をより適切に特定できるようにした画像処理装置、撮像装置、画像処理方法および画像処理プログラムを提供する。
【課題を解決するための手段】
【０００８】
本発明の一側面としての画像処理装置は、撮像系により生成されたカラー画像における画素ごとの強度傾斜を算出する傾斜算出手段と、強度傾斜が第１の閾値を用いた色滲み条件を満足する画素を色滲み候補画素と判定する第１の色滲み判定手段と、カラー画像における飽和画素を検出し、該飽和画素と色滲み候補画素との間の距離が第２の閾値以下である場合に、該色滲み候補画素を色滲み画素と判定する第２の色滲み判定手段とを有する。そして、第１および第２の色滲み判定手段はそれぞれ、第１および第２の閾値を、色滲み候補画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする。
【０００９】
また、本発明の他の一側面としての画像処理装置は、撮像系により生成されたカラー画像において飽和画素を検出し、該飽和画素からの距離が第１の閾値以下である飽和画素近傍領域に含まれる画素を色滲み画素と判定する色滲み判定手段と、飽和画素近傍領域のうち最も外側の境界画素から該飽和画素近傍領域の内側および外側に所定幅を有する境界近傍領域における画素ごとの強度傾斜を算出する傾斜算出手段とを有する。色滲み判定手段は、強度傾斜と第２の閾値とを比較した結果に応じて第１の閾値を変更し、かつ第２の閾値を、境界近傍領域に含まれる画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする。
【００１０】
なお、カラー画像を生成する撮像系と、上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。
【００１１】
また、本発明の他の一側面としての画像処理方法（画像処理プログラム）は、撮像系により生成されたカラー画像における画素ごとの強度傾斜を算出するステップと、強度傾斜が第１の閾値を用いた色滲み条件を満足する画素を色滲み候補画素と判定するステップと、カラー画像における飽和画素を検出し、該飽和画素と色滲み候補画素との間の距離が第２の閾値以下である場合に、該色滲み候補画素を色滲み画素と判定するステップとを有する。そして、第１および第２の閾値を、色滲み候補画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする。
【００１２】
さらに、本発明の他の一側面としての画像処理方法（画像処理プログラム）は、撮像系により生成されたカラー画像において飽和画素を検出し、該飽和画素からの距離が第１の閾値以下である飽和画素近傍領域に含まれる画素を色滲み画素と判定するステップと、飽和画素近傍領域のうち最も外側の境界画素から該飽和画素近傍領域の内側および外側に所定幅を有する境界近傍領域における画素ごとの強度傾斜を算出するステップとを有する。そして、強度傾斜と第２の閾値とを比較した結果に応じて第１の閾値を変更し、かつ第２の閾値を、境界近傍領域に含まれる画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、様々な色分布を持つ被写体を含む等、従来の色滲み補正方法では色滲み補正を行う範囲の特定が困難であったカラー画像に対しても、該範囲をより適切に特定することができ、この結果、より良好に色滲みが低減された画像を得ることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施例１である画像処理装置を搭載した撮像装置の構成を示すブロック図。
【図２】原色カラーフィルタの説明図。
【図３】カラーフィルタアレイの説明図。
【図４】実施例１における色滲み領域検出部の処理を示すフローチャート。
【図５】輝度差が大きい領域で青滲みが存在する場合のＧ，Ｂプレーンの値を説明する図。
【図６】輝度飽和領域からの距離を説明する図。
【図７】実施例１における色滲み強度推定部の構成を示すブロック図。
【図８】輝度差が大きい領域で赤滲みが存在する場合のＲ，Ｇプレーンの値を説明する図。
【図９】本発明の実施例２である画像処理装置の色滲み領域検出部の処理を示すフローチャート。
【図１０】画像強度傾斜が大きいときの参照領域を示す図。
【図１１】画像強度傾斜が小さいときの参照領域を示す図。
【図１２】青色滲みおよび各色プレーンでの輝度飽和画素までの距離を定義する図。
【図１３】本発明の実施例３である画像処理装置の色滲み領域検出部の処理を示すフローチャート。
【発明を実施するための形態】
【００１５】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１６】
図１には、本発明の実施例１である画像処理装置を搭載したカラー撮像装置１００の構成を示している。
【００１７】
撮像装置１００は、結像光学系（撮影光学系）１１０と、イメージセンサ１２０と、ＡＤ変換部１３０と、デモザイク部１４０とを有する。これら結像光学系１１０からデモザイク部１４０により撮像系が構成される。また、撮像装置１００は、色滲み領域検出部１５０と、色滲み強度推定部１６０と、色滲み除去部１７０とを有する。これら色滲み領域検出部１５０から色滲み除去部１７０により、画像処理装置が構成される。さらに、撮像装置１００は、視覚補正部１８０と、圧縮部１９０と、記録部２００とを有する。図１中に示した写野（被写体）ｆとＲ，Ｇ，Ｂの光線は撮像装置１００の構成要素ではないが、説明のために図１中に示している。
【００１８】
写野ｆからの光Ｒ，Ｇ，Ｂは、結像光学系１１０によってイメージセンサ１２０上に結像する。一般に、カラー撮像装置に装着される結像光学系は、一定の色収差補正が施されている。本実施例の結像光学系１１０は、ＲとＧの波長域の縦色収差が良好に補正され、Ｂの波長域の縦色収差が残存している。このようにＢの波長域の縦色収差の補正基準を下げることにより、その他の収差補正を改善したり、撮像装置を小型化したりすることが可能となる。
【００１９】
イメージセンサ１２０は、一般的な原色系カラーフィルタを備える単板カラーイメージセンサである。原色系カラーフィルタはそれぞれ、図２に示すように、６５０ｎｍ，５５０ｎｍ，４５０ｎｍの近傍に透過主波長帯を持つ３種類のカラーフィルタにより構成されており、それぞれＲ，Ｇ，Ｂの各バンドに対応する色プレーンを撮像する。
【００２０】
単板カラーイメージセンサでは、これらのカラーフィルタを図３に示すように画素毎に空間的に配列し、各画素に対しては単一の色プレーンにおける強度（輝度）を得ることしかできない。このためイメージセンサ１２０からは色モザイク画像が出力される。
【００２１】
なお、不図示の色分解プリズムを用いて入射光をＲ，Ｇ，Ｂの波長域に分け、それぞれの波長の光を別々のイメージセンサで撮像する３板式カラーイメージセンサを用いてもよい。この場合、デモザイク部１４０は不要となる。
【００２２】
ＡＤ変換部１３０は、イメージセンサ１２０からアナログ電圧として出力される色モザイク画像を、これ以降の画像処理に適したデジタルデータに変換する。
【００２３】
デモザイク部１４０は、色モザイク画像を補間することによって、全ての画素がＲＧＢの色情報を有する入力画像としてのカラー画像を生成する。補間手法には単純な線形補間から複雑な手法まで多くの方式が提案されているが、いずれの補間手法を用いてもよい。
【００２４】
ここで生成されたカラー画像は、複数（Ｒ，Ｇ，Ｂの３つ）の色プレーンを有するが、結像光学系１１０の色収差によって、ＲプレーンやＧプレーンに比べてＢプレーンの解像度が劣る画像となる。このため、明暗の境界部では青がぼやけ、明部の周囲に青い縁取りのようなアーティファクトが生じる。
【００２５】
なお、本実施例では、イメージセンサ１２０のカラーフィルタをＲ，Ｇ，Ｂからなる原色系とするが、補色系カラーフィルタとしてもよい。この場合、色変換処理によって、Ｒ，Ｇ，Ｂの色プレーンからなるカラー画像が得られる。
【００２６】
色滲み領域検出部１５０、色滲み強度推定部１６０および色滲み除去部１７０では、Ｂプレーンを色滲み検出（色滲み判定）および色滲み除去の対象プレーンとし、基準プレーンとしてＧプレーンを用いる。
【００２７】
色滲み領域検出部１５０は、各種空間演算を行うことで色滲み領域に含まれる画素、すなわち色滲み画素を検出する。この色滲み領域検出部１５０での処理については、後に詳しく説明する。また、色滲み領域検出部１５０は、傾斜算出手段、第１の色滲み判定手段および第２の色滲み判定手段に相当する。
【００２８】
また、色滲み強度推定部１６０は、色滲み領域検出部１５０にて検出された色滲み画素に対して空間的な演算を行い、色滲み強度の推定量（以下、色滲み推定量という）を算出する。色滲み強度は、色滲み量ということもできる。色滲み除去部１７０は、色滲み強度推定部１６０にて算出された色滲み推定量を入力画像であるカラー画像から減算等の色滲み低減処理（色滲み補正処理）によって低減する。色滲み強度推定部１６０および色滲み除去部１７０は、処理手段に相当する。
【００２９】
視覚補正部１８０は、色滲み除去部１７０から出力された色滲みが低減されたカラー画像に対して、主として画像の見栄えを改善するための処理、例えばトーンカーブ（ガンマ）補正、彩度強調、色相補正、エッジ強調等の補正処理を行う。
【００３０】
圧縮部１９０は、視覚補正部１８０を経たカラー画像を、ＪＰＥＧ等の圧縮方法で画像圧縮処理を行い、記録のためのデータサイズを小さくする。圧縮された画像データは、記録部２００にてフラッシュメモリ等の記録媒体に記録される。
【００３１】
イメージセンサ１２０から記録部２００までの各部は、実際にはそれぞれ別々のデバイスによって構成されてもよいし、単一のマイクロプロセッサ上に構成されてもよい。以下の説明では、少なくとも色滲み領域検出部１５０、色滲み強度推定部１６０および色滲み除去部１７０は、撮像装置１００に搭載された画像処理用コンピュータにより構成されるものとする。
【００３２】
次に、色滲み領域検出部１５０にて行われる処理（画像処理方法）を、図４のフローチャートを用いて説明する。この色滲み領域検出部１５０での処理（さらには色滲み強度推定部１６０および色滲み除去部１７０での処理）は、上述した画像処理用コンピュータが、コンピュータプログラム（画像処理プログラム）に従って実行する。このことは、後述する他の実施例でも同じである。
【００３３】
図４に示すように、色滲み領域検出部１５０の処理は、色滲み条件算出ステップＳ１５１、画像強度傾斜算出ステップＳ１５２および距離算出ステップＳ１５３により構成される。
【００３４】
図５には、高輝度被体に対するＢプレーンおよびＧプレーンの典型的なプロファイルを示す。図５において横軸は画像上の断面であり、縦軸はＢ，Ｇプレーンの強度（輝度）である。図５では、中心部に飽和輝度を超える高輝度被写体が存在する。そして本来明るくない高輝度被写体周囲も、収差やフレアにより高輝度被写体から滲んだ光によってプロファイルの裾が拡がる。この滲みの強さは、高輝度被写体の輝度に依存し、また高輝度被写体から離れるに従って指数的に弱くなる。Ｇプレーンであっても滲みは全くないわけではなく、ある程度の拡がりが存在するが、それはＢプレーンに比べると小さい。また、イメージセンサは一定の飽和レベル以上の強度を測定することはできないので、飽和レベル以上の強度を有する領域のイメージセンサ出力は平坦になる。このため、本来の高輝度被写体より一回り大きくＧもＢも飽和し、白く飽和した領域（図５中の飽和領域）が形成される。飽和領域から距離が離れるに従ってＧは減衰していくが、Ｂの飽和領域の半径（以下、飽和半径という）はさらに広いため、徐々にＧとＢの強度差は大きくなり、水色として青みを増していく（図５中の領域（１））。しかし、Ｂの飽和半径からさらに距離が離れるに従いＢも減衰していき、ＧとＢの強度差は小さくなっていく（図５中の領域（２））。そして、Ｇの裾の端に達すると、その先はＢプレーンのみが強度を持ち、真っ青の滲みとなる。
【００３５】
このようなプロファイルを考慮し、本実施例は、色滲み画素は比較的輝度と彩度が高く、飽和画素の近傍に位置し、またＢプレーン上での強度傾斜（輝度傾斜）∇ＢとＧプレーン上での強度傾斜（輝度傾斜）∇Ｇの比に特徴を持つことに着目して青滲みを検出する。
【００３６】
色滲み条件算出ステップＳ１５１には、前述した色滲み画素の特徴をふまえ、強度傾斜に関する色滲み条件と距離に関する色滲み条件とを設定し、これらの色滲み条件を用いて色滲み画素を検出する。その中で、色滲み条件算出ステップＳ１５１では、各色滲み条件における閾値を算出する。
【００３７】
強度傾斜に関する色滲み条件として、本実施例においては、∇Ｂと∇Ｇとの関係（比）が閾値（第１の閾値）α以上である場合に、その強度傾斜を有する注目画素を色滲み候補画素として検出（判定）する。例として、閾値αを、
【００３８】
【数１】
【００３９】
として計算する。ただし、Ｌ１は注目画素における輝度、Ｃ１は注目画素における彩度、α０は基準となる輝度における閾値、αＬ，αＣは係数である。
【００４０】
このように、従来手法での定数閾値に比べて、輝度および彩度が高いほど閾値αが小さな値となるように変更することで、輝度および彩度が高い画素ほど色滲み候補画素として検出されやすくなる。このため、色滲み候補画素がノイズによって色滲み条件から漏れることを回避し、これに加えて飽和画素から離れたグラデーションを持つ被写体画素が色滲み候補画素として検出されることも抑制することができる。
【００４１】
また、距離に関する色滲み条件は、色滲み候補画素のうち注目画素の近傍の飽和画素を探索する際の該注目画素からの距離範囲を指定する。具体的には、注目画素から閾値（第２の閾値）β以下の距離に飽和画素がある場合（すなわち飽和画素からの距離が第２の閾値以下の場合）に該注目画素を色滲み画素として検出（判定）する。例として閾値βは、
【００４２】
【数２】
【００４３】
として計算する。ただし、β０は基準となる輝度における閾値、βＬ，βＣは係数である。
【００４４】
このように従来手法での定数閾値に比べて、輝度および彩度が高いほど閾値βが小さな値となるように変更することで、色滲み画素は、該画素の輝度と彩度が高いほどより近傍に飽和画素が存在するという条件を与える。このため、飽和画素から離れた輝度および彩度の高い被写体色の検出を抑制するほか、輝度および彩度が高い画素ほど計算量が低減される効果を与える。また、色滲みプロファイルの端部における輝度および彩度が小さい色滲み画素の検出漏れを低減することにより、高精度な色滲み検出が可能になる。
【００４５】
なお、上述した閾値αと閾値βの算出方法は例に過ぎず、他の算出方法を用いてもよい。例えば、輝度および彩度はそれらの少なくとも一方を用いればよく、例えば以下のように輝度のみを用いて、
【００４６】
【数３】
【００４７】
と算出してもよい。
【００４８】
画像強度傾斜算出ステップＳ１５２では、Ｂプレーン上での強度傾斜マップおよびＧプレーン上での強度傾斜マップを計算する。強度傾斜∇Ｂ，∇Ｇは、
【００４９】
【数４】
【００５０】
として計算する。ただし、
Ｇ（ｘ＋１，ｙ）とＢ（ｘ＋１，ｙ）はそれぞれ、ＧおよびＢプレーンにおける注目画素の右隣の画素の画素値であり、
Ｇ（ｘ−１，ｙ）とＢ（ｘ−１，ｙ）はそれぞれ、ＧおよびＢプレーンにおける注目画素の左隣の画素の画素値である。
Ｇ（ｘ，ｙ＋１）とＢ（ｘ，ｙ＋１）はそれぞれ、ＧおよびＢプレーンにおける注目画素の下隣の画素の画素値であり、
Ｇ（ｘ，ｙ−１）とＢ（ｘ，ｙ−１）はそれぞれ、ＧおよびＢプレーンにおける注目画素の上隣の画素の画素値である。
【００５１】
なお、上記強度傾斜∇Ｂ，∇Ｇの計算方法は例に過ぎず、他の計算方法を用いてもよい。例えば、より大きな画素範囲での強度傾斜を計算してもよい。
【００５２】
そして、画像強度傾斜算出ステップＳ１５２では、Ｂプレーン上での強度傾斜マップとＧプレーン上での強度傾斜マップとを用いて、注目画素の強度傾斜が、強度傾斜に関する色滲み条件を満足するか否かを判定する。本実施例においては、強度傾斜に関する色滲み条件を、
【００５３】
【数５】
【００５４】
とする。すなわち、基準プレーン（Ｇプレーン）と対象プレーン（Ｂプレーン）における強度傾斜の比と閾値αとを比較する条件とする。
【００５５】
この判定を入力画像の全体にわたって（全画素のそれぞれを注目画素として）行い、強度傾斜に関する色滲み条件を満足する色滲み候補画素群を抽出する。すなわち、強度傾斜が閾値αを用いた色滲み条件を満足する注目画素を色滲み候補画素と判定する。
【００５６】
距離算出ステップＳ１５３では、基準となるＧプレーン上で強度が一定の閾値以上となる飽和画素領域を抽出（検出）する。そして、画像強度傾斜算出ステップＳ１５２にて抽出した色滲み候補画素ごとに、飽和画素領域のうち該色滲み候補画素に最も近い飽和画素（最近飽和画素）からの距離ｄを画素ピッチ単位で算出する。例えば、図６においてハッチングした画素領域を飽和画素領域とし、ハッチングしていない画素をそれぞれ色滲み候補画素とすると、距離ｄは各色滲み候補画素を示す枠内に記した数値となる。
【００５７】
さらに、距離算出ステップＳ１５３では、色滲み条件算出ステップＳ１５１にて算出された閾値βを用いた距離に関する色滲み条件を、
【００５８】
【数６】
【００５９】
とする。そして、算出した距離ｄがこの色滲み条件を満足する色滲み候補画素（群）を色滲み画素（群）として判定する。
【００６０】
なお、本実施例にいう飽和画素とは、ＧおよびＢのうちいずれか一方の色プレーンに対して強度がある閾値以上となる画素として定義する。また、画素間の距離としては、正確なユークリッド距離に限らず、準ユークリッド(quansi-Euclidean)距離や、チェスボード距離、シティブロック距離で代用してもよい。
【００６１】
飽和画素の有無を探索する方法として、色滲み条件算出ステップＳ１５１によって算出された閾値β以内に含まれる画素において飽和画素の有無を検出し、飽和画素が存在した場合に注目画素（色滲み候補画素）を色滲み画素として判定してもよい。この場合も、「飽和画素を検出し、該飽和画素と色滲み候補画素との間の距離が第２の閾値以下である場合」に相当する。
【００６２】
色滲み強度推定部１６０では、色滲み領域検出部１５０において抽出された色滲み画素（色滲み画素群）に対して色滲み強度を推定する。図７のフローチャートには、色滲み強度推定部１６０での処理を示す。色滲み強度推定部１６０での処理は、推定ステップＳ１６１および領域判定ステップＳ１６２により構成される。
【００６３】
推定ステップＳ１６１では、カラー画像の各画素に対して、Ｂプレーンの色滲み強度の推定量（前述した色滲み推定量）を算出する。ここでは、Ｂが飽和しているかいないかによって異なるが、双方の場合に備えて２種類の色滲み推定量Ｅ１，Ｅ２を計算する。推定量Ｅ１は、距離算出ステップＳ１５３で算出した飽和画素からの距離ｄを使用する。例えば、推定量Ｅ１を、
【００６４】
【数７】
【００６５】
として算出する。ただし、Ｒｂは図５に示した領域（１）と領域（２）の境界上での強度傾斜比
【００６６】
【数８】
【００６７】
である。また、ＤＧＢはＧプレーン上での飽和半径とＢプレーン上での飽和半径との差の絶対値である。ｋ１は正の値の係数である。
【００６８】
なお、Ｂが飽和している領域では輝度傾斜は０になってしまい、飽和前の輝度傾斜が得られない。そこで、このような領域に対する推定量Ｅ２を、Ｇの強度傾斜∇Ｇを用いて算出する。例えば、
【００６９】
【数９】
【００７０】
とする。
【００７１】
領域判定ステップＳ１６２では、まず、Ｂプレーンの強度に対する非線形変換を行い、飽和度Ｓを生成する。この非線形変換はＢが飽和しているかどうかを示すものであり、Ｂの強度が飽和している領域では１を、Ｂの強度が小さい場合は０となる。そして、この飽和度ＳによってステップＳ１６１で算出したＥ１又はＥ２を選択する。すなわち、新たな推定量Ｅを、
【００７２】
【数１０】
【００７３】
とする。
【００７４】
なお、距離算出ステップＳ１５３の結果を用いずに推定量Ｅを算出してもよく、
Ｅ１＝ｋ１｜∇Ｂ｜
Ｅ２＝ｋ２｜∇Ｇ｜
としてもよい。ｋ２は正の値の係数である。
【００７５】
このようにして算出した推定量Ｅは、色滲み除去部１７０に送られる。色滲み除去部１７０は、前述したように推定量Ｅを用いて色滲み低減処理を行い、色滲みが良好に補正された出力画像を生成する。
【００７６】
このように、本実施例によれば、被写体および青滲みの輝度や彩度といった特徴に応じて色滲み条件を変化させることにより、青滲みと被写体の青いグラデーションとを効果的に分離する。これにより、青滲みが低減された違和感のない出力画像（撮影画像）を得ることができる。また、結像光学系においてはＢバンドの縦色収差の制限を緩めることができ、その他の収差補正や、小型化、低コスト化をより高い水準で実現できる。
【実施例２】
【００７７】
次に、本発明の実施例２である画像処理装置について説明する。実施例２は、実施例１に対して、色滲み領域検出部１５０の処理と色滲み強度推定部１６０の処理が異なる。他の構成および処理については実施例１と同じであるので、本実施例では、実施例１と異なる点を中心として説明する。
【００７８】
本実施例では、図１に示した結像光学系１１０は被写体からの光Ｒ，Ｇ，Ｂをイメージセンサ１２０上に結像させるが、ＧとＢの波長域の縦色収差が良好に補正され、Ｒの波長域の縦色収差が残存しているものとする。
【００７９】
図８には、赤滲みの典型的な強度プロファイルを示す。図８において横軸は画像上の断面であり、縦軸は色滲み検出（色滲み判定）および色滲み除去の対象プレーンであるＲプレーンと基準プレーンであるＧプレーンの強度（輝度）である。図８では中心部に飽和輝度を超える高輝度被写体が存在する。そして、本来明るくない高輝度被写体周囲も、収差やフレアにより光源から滲んだ光によってプロファイルの裾が拡がる。この滲みの強さは、高輝度被写体の輝度に依存し、また高輝度被写体から離れるに従って指数的に弱くなる。Ｇプレーンであっても滲みは全くないわけではなく、ある程度の拡がりが存在するが、それはＲプレーンに比べると小さい。また、イメージセンサは一定の飽和レベル以上の強度を測定することはできないので、飽和レベル以上の強度を有する領域のイメージセンサ出力は平坦になる。このため、本来の高輝度被写体より一回り大きくＧもＲも飽和し、白く飽和した領域（図８中の飽和領域）が形成される。飽和領域から距離が離れるに従ってＧは減衰していくが、Ｒの飽和半径はさらに広いため、徐々にＧとＲの強度差は大きくなり、赤みを増していく（図８中の領域（１））。しかし、Ｒの飽和半径からさらに距離が離れるに従いＲも減衰していき、ＧとＲの強度差は小さくなっていく（図８中の領域（２））。そして、Ｇの裾の端に達すると、その先はＲプレーンのみが強度を持ち、赤滲みとなる。
【００８０】
このようなプロファイルを考慮し、本実施例は、色滲み画素は比較的輝度と彩度が高く、飽和画素の近傍に位置し、またＲプレーン上での強度傾斜（輝度傾斜）∇ＲとＧプレーン上での強度傾斜（輝度傾斜）∇Ｇに特徴を持つことに着目して赤滲みを検出する。
【００８１】
図９のフローチャートには、本実施例における色滲み領域検出部１５０の処理を示している。本実施例の色滲み領域検出部１５０の処理は、距離算出ステップＳ２５１、色滲み条件算出ステップＳ２５２および画像強度傾斜算出ステップＳ２５３により構成されている。ここで、色滲み条件算出ステップＳ２５２では、飽和画素からの距離に関する色滲み条件と、強度傾斜に関する色滲み条件とを設定する。
【００８２】
距離に関する色滲み条件では、例えば、検出した飽和画素（最近飽和画素）からの距離ｄが第１の閾値である閾値Δ以下である飽和画素近傍領域に含まれる注目画素を色滲み画素と判定する。飽和画素近傍領域は、閾値Δが適切に設定されれば、色滲み画素（群）が含まれた色滲み領域に相当し、色滲み低減処理（補正処理）の対象となる。
【００８３】
飽和画素からの距離ｄは各色プレーンによって異なるが、色滲み条件はどの色プレーン上で算出してもよい。閾値Δの初期設定値を初期閾値Δ０とし、輝度および強度傾斜を用いた条件により初期閾値Δ０からの変化量を算出して、これらから閾値Δを算出する。なお、本実施例では、初期閾値Δ０を定数として使用するが、飽和半径の大きさによってこれを変化させるようにしてもよい。また、輝度に関する条件の閾値をεとする。
【００８４】
一方、強度傾斜に関する色滲み条件は、強度傾斜と閾値（第２の閾値）γとの大小関係を比較した結果に応じて飽和画素近傍領域（つまりは閾値Δ）を適切に設定するための条件である。本実施例においては、閾値γを輝度および彩度を用いて、
【００８５】
【数１１】
【００８６】
として計算する。ただし、Ｌ１は注目画素における輝度、Ｃ１は注目画素における彩度、γ０，γＬ，γＣは係数である。
【００８７】
なお、上述した閾値γの算出方法は例に過ぎず、他の算出方法を用いてもよい。例えば、輝度および彩度はそれらの少なくとも一方を用いればよく、例えば以下のように輝度のみを用いて、
【００８８】
【数１２】
【００８９】
と算出してもよい。
【００９０】
本実施例は、閾値Δを輝度と強度傾斜に応じて変化させて、適切な閾値Δを設定する。
【００９１】
まず、距離算出ステップＳ２５１では、ＧとＲの双方の色プレーンに対して、強度が一定の閾値以上となる飽和画素領域を抽出（検出）する。そして、飽和画素近傍領域に含まれる各注目画素と飽和画素領域におけるその注目画素に対する最近飽和画素との間の距離ｄＧ，ｄＲを画素ピッチ単位で算出する。次に、距離ｄＧ，ｄＲが最も初期閾値Δ０に近い注目画素を検出し、これを参照画素とする。参照画素は、飽和画素近傍領域のうち最も外側の境界上に位置する境界画素に相当する。
【００９２】
次に、色滲み条件算出ステップＳ２５２のうち輝度に関する条件算出ステップＳ２５２ａでは、距離算出ステップＳ２５１で抽出された参照画素の輝度Ｌが、
Ｌ＞ε
なる条件を満足するか否かを判定する。つまり、その参照画素が、色滲み画素として有するはずの輝度を有しているか否かを判定する。この条件を満足しない場合には、
Δ＝Δ０
として、飽和画素近傍領域（つまりは、閾値Δ）を変化させない。また、該条件を満足する参照画素（群）を、画像強度傾斜算出ステップＳ２５３に渡す。
【００９３】
画像強度傾斜算出ステップＳ２５３では、条件算出ステップＳ２５２ａでの条件を満足した参照画素（群）に対して強度傾斜を算出する。強度傾斜を求める色プレーンは、閾値Δを算出した色プレーンと同じであることが望ましい。本実施例では、Ｒプレーン上の強度傾斜∇Ｒを算出し、強度傾斜に関する色滲み条件を、
∇Ｒ＞γ
とする。この条件を満足した場合には、条件算出ステップＳ２５２ｂに進み、該条件を満たさない場合には条件算出ステップＳ２５２ｃに進む。
条件算出ステップＳ２５２ｂでは、図１０にハッチングした領域として示すように、飽和画素から離れる方向に（つまりは飽和画素近傍領域の外側に向かって）距離（Δ０−１）内に含まれる領域を外側参照領域とする。そして、この外側参照領域における画素ごとの強度傾斜を算出し、強度傾斜∇Ｒが強度傾斜に関する色滲み条件である、
∇Ｒ＞γ
を満足する画素を検出する。参照画素から外側参照領域内の複数の画素のうち途中の画素まで連続して上記色滲み条件を満足する場合には、該色滲み条件を満足しなくなった画素の最近飽和画素からの距離ｄｍａｘを用いて、閾値Δを、
Δ＝ｄｍａｘ−１
と変更する。つまり、ΔをΔ０から（ｄｍａｘ−１）に増加させる。
【００９４】
一方、条件算出ステップＳ２５２ｃでは、図１１にハッチングした領域として示すように、飽和画素に近づく方向に（つまりは飽和画素近傍領域の内側に向かって）距離（Δ０−１）内に含まれる領域を内側参照領域とする。そして、この内側参照領域における画素ごとの強度傾斜を算出し、強度傾斜∇Ｒが強度傾斜に関する色滲み条件である、
∇Ｒ＞γ
を満足する画素を検出する。参照画素から内側参照領域内の複数の画素のうち途中の画素ではじめて上記色滲み条件を満足した場合には、該色滲み条件を満足した画素の最近飽和画素からの距離ｄｍｉｎを用いて、閾値Δを、
Δ＝ｄｍｉｎ
と変更する。つまり、ΔをΔ０からｄｍｉｎに減少させる。
【００９５】
このように条件算出ステップＳ２５２ｂ，Ｓ２５２ｃにおいて、飽和画素から距離の閾値Δ内（飽和輝度近傍領域内）にある画素（群）を色滲み画素（群）として判定し、これを示した色滲み画素マップを色滲み強度推定部１６０に送る。なお、本実施例においては外側参照領域および内側参照領域を決定する所定幅（Δ０−１）を同じとして説明したが、互いに異ならせてもよい。
【００９６】
色滲み強度推定部１６０は、本実施例は、色滲み推定量の計算方法において実施例１と異なる。ここでは、Ｒが飽和しているかいないかによって異なるが、双方の場合に備えて２種類の色滲み推定量Ｅ１，Ｅ２を計算する。例えば、
【００９７】
【数１３】
【００９８】
と算出する。ただし、ｋ０，ｋ１，ｋ２は定数であり、結像光学系やイメージセンサの画素ピッチによって異なるため、入力画像から滲み量を近似するのに好適な値に設定するのが望ましい。図１２には、高輝度被写体に対するＲ，Ｇプレーンの典型的なプロファイルと、各色プレーン上での飽和画素からの距離ｄＧ，ｄＲとの関係を示す。図１２において横軸は画像上の断面であり、縦軸はＲ，Ｇプレーンでの強度である。色滲み推定量Ｅ１，Ｅ２は、図８および図１２の領域（１）と領域（２）の境界線上ではＥ０＝（ｋ１ｄＧ＋ｋ０）と一致するためマッハバンドを生じない。
【００９９】
このようにして算出した推定量Ｅは、色滲み除去部１７０に送られる。色滲み除去部１７０は、前述したように推定量Ｅを用いて色滲み低減処理を行い、色滲みが良好に補正された出力画像を生成する。
【０１００】
この後、実施例１で説明した領域判定ステップＳ１６２と同様にして、色滲み推定量ＥがＥ１，Ｅ２から算出され、色滲み除去部Ｓ１７０に送られる。
【０１０１】
本実施例によれば、各飽和画素の特徴に応じて閾値Δを変化させることで、色滲み低減処理を行う飽和画素近傍領域（色滲み領域）が正確に特定され、色滲みが良好に補正された出力画像を生成することができる。
【実施例３】
【０１０２】
次に、本発明の実施例３である画像処理装置について説明する。実施例３は、実施例１に対して、色滲み領域検出部１５０の処理が異なる。他の構成および処理については実施例１と同じであるので、本実施例では、実施例１と異なる点を中心として説明する。
【０１０３】
本実施例では、飽和画素の周辺の複数の画素をクラスターとして扱い、クラスターごと色滲み判定を行う。言い換えれば、実施例１で説明した色滲み候補画素を、その判定対象領域である色滲み候補クラスターごとに抽出する。
【０１０４】
図１３のフローチャートには、本実施例における色滲み領域検出部１５０の処理を示す。色滲み領域検出部１５０の処理は、距離算出ステップＳ３５１と、色滲み条件算出ステップＳ３５２と、画像強度傾斜算出ステップＳ３５３とにより構成される。色滲み領域検出部１５０は、クラスター判定手段として機能する。
【０１０５】
距離算出ステップＳ３５１では、Ｇ，Ｂ双方の色プレーンに対して、強度が一定の閾値以上となる飽和画素を抽出し、各飽和画素の任意の色プレーン上における飽和半径を算出する。例えば、本実施例においては、Ｂプレーン上における飽和半径ｄＢを算出する。飽和半径に関しては、飽和画素からの方向によって異なるため、本実施例においては、最大飽和半径ｄＢｍａｘを飽和半径ｄＢとして用いる。ただし、飽和半径ｄＢはこれに限られず、複数の方向における飽和半径の平均値を飽和半径ｄＢとして用いてもよい。
【０１０６】
色滲み条件算出ステップＳ３５２では、強度傾斜に関する色滲み条件と飽和画素からの距離に関する色滲み条件と輝度に関する色滲み条件を予め設定する。距離算出ステップＳ３５１で算出された飽和半径ｄＢと輝度および彩度とを用いて各条件に対する閾値を算出する。距離に関する色滲み条件で用いる閾値Ｄは、飽和画素からの距離範囲を特定する閾値であり、色滲みクラスター（色滲み候補クラスター）とする範囲を各飽和画素に対して決定する。例えば、
【０１０７】
【数１４】
【０１０８】
と設定する。ただし、φ０，φ１は係数である。各飽和画素に対して算出された距離の閾値Ｄを用いて、飽和画素からの距離ｒが、
Ｄ＞ｒ
となる画素を該飽和画素の色滲み候補クラスターとする。
【０１０９】
次に、輝度に対する閾値κと彩度に対する閾値λとを用いて、
Ｌ１＜κ
Ｃ１＜λ
なる条件を満足する画素が、色滲み候補クラスター内に存在するか否かを判定する。閾値κ，λは、使用する撮像系での典型的な色滲みプロファイルから設定するのが望ましい。なお、色滲みクラスターの外縁部（その外側との境界部）のみを参照することにより、計算量を低減するようにしてもよい。上記条件を満足する画素が色滲み候補クラスター内に存在しない場合には、その色滲み候補クラスターは色滲みクラスターではないと判定する。
【０１１０】
一方、上記条件を満足する画素が色滲み候補クラスター内に存在する場合には、その色滲み候補クラスター内の各注目画素に対して、該注目画素の輝度および彩度から強度傾斜に関する色滲み条件に用いる閾値（第３の閾値）ηを算出する。例えば、
【０１１１】
【数１５】
【０１１２】
として算出する。ただし、Ｌ１は注目画素における輝度、Ｃ１は注目画素における彩度、η０，ηＬ，ηＣは係数である。
【０１１３】
なお、上述した閾値ηの算出方法は例に過ぎず、他の算出方法を用いてもよい。例えば、輝度および彩度はそれらの少なくとも一方を用いればよく、例えば以下のように輝度のみを用いて、
【０１１４】
【数１６】
【０１１５】
と算出してもよい。また、上述した２つの条件Ｌ１＜κ，Ｃ１＜λについても少なくとも一方を用いればよい。
【０１１６】
画像強度傾斜算出ステップＳ３５３では、色滲み条件算出ステップＳ３５２で算出された色滲み候補クラスターにおいて、ＧプレーンおよびＢプレーンでの強度傾斜を算出する。そして、算出した強度傾斜ｄＬが、強度傾斜に関する色滲み条件である、
ｄＬ＞η
を満足する場合に、その色滲み候補クラスターを最終的な色滲みクラスターと判定する。
【０１１７】
このようにして抽出された色滲みクラスターは、色滲み強度推定部１６０に送られ、実施例１と同様の処理が行われる。
【０１１８】
本実施例によれば、飽和画素を含む被写体色を色滲み低減処理の対象領域から除外できる。また、飽和画素の周囲を探索しているので、誤処理を低減できるとともに、複数の飽和画素が互いに近傍に存在する場合にも、良好に色滲みが低減された画像を生成することができる。
【０１１９】
上記各実施例では、本発明の画像処理方法を使用する（または画像処理装置を搭載した）撮像装置について説明したが、本発明の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが本発明の画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の画像（入力画像）を取り込み（取得し）、画像処理プログラムによって色滲み低減処理を行って、その結果得られた画像を出力する。
【０１２０】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【０１２１】
良好に色滲みが低減されたカラー画像を出力可能な画像処理装置や撮像装置を提供できる。
【符号の説明】
【０１２２】
１００ 撮像装置
１１０ 結像光学系
１２０ イメージセンサ
１５０ 色滲み領域検出部
１６０ 色滲み強度推定部
１７０ 色滲み除去部
【技術分野】
【０００１】
本発明は、ビデオカメラやデジタルスチルカメラ等の撮像系により生成されたカラー画像の色滲みを低減する画像処理技術に関する。
【背景技術】
【０００２】
上記のような撮像系により生成されたカラー画像のうち高輝度部分の周囲には、結像光学系（撮影光学系）の色収差に起因して、本来存在しない色が色滲みとして生じる場合がある。色滲みは、結像光学系の中心波長から離れた部分で発生しやすく、可視光カラー画像では、青色や赤色のアーティファクトもしくは双方が混ざった紫色のアーティファクト（パープルフリンジ）が滲み状に生ずる。
【０００３】
結像光学系の色収差は、異なる分散を持つレンズを複数組み合わせることにより、ある程度光学的に抑えることができる。ただし、撮像センサの高解像度化と光学系の小型化とに伴い、色収差を光学のみで十分に抑えることは困難となってきている。このため、画像処理による色滲みの低減が求められている。
【０００４】
色収差は、例えば可視光域の中心波長を担うＧプレーンで合焦した画像において、可視光域の端部となるＲプレーンやＢプレーンではピントがぼける現象である。その補正方法としては、特許文献１や特許文献２にて開示されているように、輝度飽和領域からの距離や強度傾斜（輝度傾斜）に基づいて色滲み補正範囲を特定する方法がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１４７９８０号公報
【特許文献２】特開２００８−１４７９８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、輝度飽和領域からの距離のみに基づいて色滲み補正範囲を特定する方法では、飽和画素周辺における設定距離範囲内のすべての画素を色滲み画素として補正する。この場合、該距離範囲が適切に設定されていない場合や被写体の性質によっては
良好な補正結果が得られないおそれがある。また、強度傾斜にのみ基づいて色滲み補正範囲を特定する方法では、設定した強度傾斜条件を満たす画素をすべて色滲み画素として補正する。この場合、強度傾斜条件のみでは区別が不可能な色分布を持つ被写体や、ノイズによって局所的に強度傾斜条件を満たさない色滲みについては適切な補正が行われないおそれがある。
【０００７】
本発明は、色滲みを含むカラー画像において色滲み補正を行う範囲をより適切に特定できるようにした画像処理装置、撮像装置、画像処理方法および画像処理プログラムを提供する。
【課題を解決するための手段】
【０００８】
本発明の一側面としての画像処理装置は、撮像系により生成されたカラー画像における画素ごとの強度傾斜を算出する傾斜算出手段と、強度傾斜が第１の閾値を用いた色滲み条件を満足する画素を色滲み候補画素と判定する第１の色滲み判定手段と、カラー画像における飽和画素を検出し、該飽和画素と色滲み候補画素との間の距離が第２の閾値以下である場合に、該色滲み候補画素を色滲み画素と判定する第２の色滲み判定手段とを有する。そして、第１および第２の色滲み判定手段はそれぞれ、第１および第２の閾値を、色滲み候補画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする。
【０００９】
また、本発明の他の一側面としての画像処理装置は、撮像系により生成されたカラー画像において飽和画素を検出し、該飽和画素からの距離が第１の閾値以下である飽和画素近傍領域に含まれる画素を色滲み画素と判定する色滲み判定手段と、飽和画素近傍領域のうち最も外側の境界画素から該飽和画素近傍領域の内側および外側に所定幅を有する境界近傍領域における画素ごとの強度傾斜を算出する傾斜算出手段とを有する。色滲み判定手段は、強度傾斜と第２の閾値とを比較した結果に応じて第１の閾値を変更し、かつ第２の閾値を、境界近傍領域に含まれる画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする。
【００１０】
なお、カラー画像を生成する撮像系と、上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。
【００１１】
また、本発明の他の一側面としての画像処理方法（画像処理プログラム）は、撮像系により生成されたカラー画像における画素ごとの強度傾斜を算出するステップと、強度傾斜が第１の閾値を用いた色滲み条件を満足する画素を色滲み候補画素と判定するステップと、カラー画像における飽和画素を検出し、該飽和画素と色滲み候補画素との間の距離が第２の閾値以下である場合に、該色滲み候補画素を色滲み画素と判定するステップとを有する。そして、第１および第２の閾値を、色滲み候補画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする。
【００１２】
さらに、本発明の他の一側面としての画像処理方法（画像処理プログラム）は、撮像系により生成されたカラー画像において飽和画素を検出し、該飽和画素からの距離が第１の閾値以下である飽和画素近傍領域に含まれる画素を色滲み画素と判定するステップと、飽和画素近傍領域のうち最も外側の境界画素から該飽和画素近傍領域の内側および外側に所定幅を有する境界近傍領域における画素ごとの強度傾斜を算出するステップとを有する。そして、強度傾斜と第２の閾値とを比較した結果に応じて第１の閾値を変更し、かつ第２の閾値を、境界近傍領域に含まれる画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、様々な色分布を持つ被写体を含む等、従来の色滲み補正方法では色滲み補正を行う範囲の特定が困難であったカラー画像に対しても、該範囲をより適切に特定することができ、この結果、より良好に色滲みが低減された画像を得ることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施例１である画像処理装置を搭載した撮像装置の構成を示すブロック図。
【図２】原色カラーフィルタの説明図。
【図３】カラーフィルタアレイの説明図。
【図４】実施例１における色滲み領域検出部の処理を示すフローチャート。
【図５】輝度差が大きい領域で青滲みが存在する場合のＧ，Ｂプレーンの値を説明する図。
【図６】輝度飽和領域からの距離を説明する図。
【図７】実施例１における色滲み強度推定部の構成を示すブロック図。
【図８】輝度差が大きい領域で赤滲みが存在する場合のＲ，Ｇプレーンの値を説明する図。
【図９】本発明の実施例２である画像処理装置の色滲み領域検出部の処理を示すフローチャート。
【図１０】画像強度傾斜が大きいときの参照領域を示す図。
【図１１】画像強度傾斜が小さいときの参照領域を示す図。
【図１２】青色滲みおよび各色プレーンでの輝度飽和画素までの距離を定義する図。
【図１３】本発明の実施例３である画像処理装置の色滲み領域検出部の処理を示すフローチャート。
【発明を実施するための形態】
【００１５】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１６】
図１には、本発明の実施例１である画像処理装置を搭載したカラー撮像装置１００の構成を示している。
【００１７】
撮像装置１００は、結像光学系（撮影光学系）１１０と、イメージセンサ１２０と、ＡＤ変換部１３０と、デモザイク部１４０とを有する。これら結像光学系１１０からデモザイク部１４０により撮像系が構成される。また、撮像装置１００は、色滲み領域検出部１５０と、色滲み強度推定部１６０と、色滲み除去部１７０とを有する。これら色滲み領域検出部１５０から色滲み除去部１７０により、画像処理装置が構成される。さらに、撮像装置１００は、視覚補正部１８０と、圧縮部１９０と、記録部２００とを有する。図１中に示した写野（被写体）ｆとＲ，Ｇ，Ｂの光線は撮像装置１００の構成要素ではないが、説明のために図１中に示している。
【００１８】
写野ｆからの光Ｒ，Ｇ，Ｂは、結像光学系１１０によってイメージセンサ１２０上に結像する。一般に、カラー撮像装置に装着される結像光学系は、一定の色収差補正が施されている。本実施例の結像光学系１１０は、ＲとＧの波長域の縦色収差が良好に補正され、Ｂの波長域の縦色収差が残存している。このようにＢの波長域の縦色収差の補正基準を下げることにより、その他の収差補正を改善したり、撮像装置を小型化したりすることが可能となる。
【００１９】
イメージセンサ１２０は、一般的な原色系カラーフィルタを備える単板カラーイメージセンサである。原色系カラーフィルタはそれぞれ、図２に示すように、６５０ｎｍ，５５０ｎｍ，４５０ｎｍの近傍に透過主波長帯を持つ３種類のカラーフィルタにより構成されており、それぞれＲ，Ｇ，Ｂの各バンドに対応する色プレーンを撮像する。
【００２０】
単板カラーイメージセンサでは、これらのカラーフィルタを図３に示すように画素毎に空間的に配列し、各画素に対しては単一の色プレーンにおける強度（輝度）を得ることしかできない。このためイメージセンサ１２０からは色モザイク画像が出力される。
【００２１】
なお、不図示の色分解プリズムを用いて入射光をＲ，Ｇ，Ｂの波長域に分け、それぞれの波長の光を別々のイメージセンサで撮像する３板式カラーイメージセンサを用いてもよい。この場合、デモザイク部１４０は不要となる。
【００２２】
ＡＤ変換部１３０は、イメージセンサ１２０からアナログ電圧として出力される色モザイク画像を、これ以降の画像処理に適したデジタルデータに変換する。
【００２３】
デモザイク部１４０は、色モザイク画像を補間することによって、全ての画素がＲＧＢの色情報を有する入力画像としてのカラー画像を生成する。補間手法には単純な線形補間から複雑な手法まで多くの方式が提案されているが、いずれの補間手法を用いてもよい。
【００２４】
ここで生成されたカラー画像は、複数（Ｒ，Ｇ，Ｂの３つ）の色プレーンを有するが、結像光学系１１０の色収差によって、ＲプレーンやＧプレーンに比べてＢプレーンの解像度が劣る画像となる。このため、明暗の境界部では青がぼやけ、明部の周囲に青い縁取りのようなアーティファクトが生じる。
【００２５】
なお、本実施例では、イメージセンサ１２０のカラーフィルタをＲ，Ｇ，Ｂからなる原色系とするが、補色系カラーフィルタとしてもよい。この場合、色変換処理によって、Ｒ，Ｇ，Ｂの色プレーンからなるカラー画像が得られる。
【００２６】
色滲み領域検出部１５０、色滲み強度推定部１６０および色滲み除去部１７０では、Ｂプレーンを色滲み検出（色滲み判定）および色滲み除去の対象プレーンとし、基準プレーンとしてＧプレーンを用いる。
【００２７】
色滲み領域検出部１５０は、各種空間演算を行うことで色滲み領域に含まれる画素、すなわち色滲み画素を検出する。この色滲み領域検出部１５０での処理については、後に詳しく説明する。また、色滲み領域検出部１５０は、傾斜算出手段、第１の色滲み判定手段および第２の色滲み判定手段に相当する。
【００２８】
また、色滲み強度推定部１６０は、色滲み領域検出部１５０にて検出された色滲み画素に対して空間的な演算を行い、色滲み強度の推定量（以下、色滲み推定量という）を算出する。色滲み強度は、色滲み量ということもできる。色滲み除去部１７０は、色滲み強度推定部１６０にて算出された色滲み推定量を入力画像であるカラー画像から減算等の色滲み低減処理（色滲み補正処理）によって低減する。色滲み強度推定部１６０および色滲み除去部１７０は、処理手段に相当する。
【００２９】
視覚補正部１８０は、色滲み除去部１７０から出力された色滲みが低減されたカラー画像に対して、主として画像の見栄えを改善するための処理、例えばトーンカーブ（ガンマ）補正、彩度強調、色相補正、エッジ強調等の補正処理を行う。
【００３０】
圧縮部１９０は、視覚補正部１８０を経たカラー画像を、ＪＰＥＧ等の圧縮方法で画像圧縮処理を行い、記録のためのデータサイズを小さくする。圧縮された画像データは、記録部２００にてフラッシュメモリ等の記録媒体に記録される。
【００３１】
イメージセンサ１２０から記録部２００までの各部は、実際にはそれぞれ別々のデバイスによって構成されてもよいし、単一のマイクロプロセッサ上に構成されてもよい。以下の説明では、少なくとも色滲み領域検出部１５０、色滲み強度推定部１６０および色滲み除去部１７０は、撮像装置１００に搭載された画像処理用コンピュータにより構成されるものとする。
【００３２】
次に、色滲み領域検出部１５０にて行われる処理（画像処理方法）を、図４のフローチャートを用いて説明する。この色滲み領域検出部１５０での処理（さらには色滲み強度推定部１６０および色滲み除去部１７０での処理）は、上述した画像処理用コンピュータが、コンピュータプログラム（画像処理プログラム）に従って実行する。このことは、後述する他の実施例でも同じである。
【００３３】
図４に示すように、色滲み領域検出部１５０の処理は、色滲み条件算出ステップＳ１５１、画像強度傾斜算出ステップＳ１５２および距離算出ステップＳ１５３により構成される。
【００３４】
図５には、高輝度被体に対するＢプレーンおよびＧプレーンの典型的なプロファイルを示す。図５において横軸は画像上の断面であり、縦軸はＢ，Ｇプレーンの強度（輝度）である。図５では、中心部に飽和輝度を超える高輝度被写体が存在する。そして本来明るくない高輝度被写体周囲も、収差やフレアにより高輝度被写体から滲んだ光によってプロファイルの裾が拡がる。この滲みの強さは、高輝度被写体の輝度に依存し、また高輝度被写体から離れるに従って指数的に弱くなる。Ｇプレーンであっても滲みは全くないわけではなく、ある程度の拡がりが存在するが、それはＢプレーンに比べると小さい。また、イメージセンサは一定の飽和レベル以上の強度を測定することはできないので、飽和レベル以上の強度を有する領域のイメージセンサ出力は平坦になる。このため、本来の高輝度被写体より一回り大きくＧもＢも飽和し、白く飽和した領域（図５中の飽和領域）が形成される。飽和領域から距離が離れるに従ってＧは減衰していくが、Ｂの飽和領域の半径（以下、飽和半径という）はさらに広いため、徐々にＧとＢの強度差は大きくなり、水色として青みを増していく（図５中の領域（１））。しかし、Ｂの飽和半径からさらに距離が離れるに従いＢも減衰していき、ＧとＢの強度差は小さくなっていく（図５中の領域（２））。そして、Ｇの裾の端に達すると、その先はＢプレーンのみが強度を持ち、真っ青の滲みとなる。
【００３５】
このようなプロファイルを考慮し、本実施例は、色滲み画素は比較的輝度と彩度が高く、飽和画素の近傍に位置し、またＢプレーン上での強度傾斜（輝度傾斜）∇ＢとＧプレーン上での強度傾斜（輝度傾斜）∇Ｇの比に特徴を持つことに着目して青滲みを検出する。
【００３６】
色滲み条件算出ステップＳ１５１には、前述した色滲み画素の特徴をふまえ、強度傾斜に関する色滲み条件と距離に関する色滲み条件とを設定し、これらの色滲み条件を用いて色滲み画素を検出する。その中で、色滲み条件算出ステップＳ１５１では、各色滲み条件における閾値を算出する。
【００３７】
強度傾斜に関する色滲み条件として、本実施例においては、∇Ｂと∇Ｇとの関係（比）が閾値（第１の閾値）α以上である場合に、その強度傾斜を有する注目画素を色滲み候補画素として検出（判定）する。例として、閾値αを、
【００３８】
【数１】
【００３９】
として計算する。ただし、Ｌ１は注目画素における輝度、Ｃ１は注目画素における彩度、α０は基準となる輝度における閾値、αＬ，αＣは係数である。
【００４０】
このように、従来手法での定数閾値に比べて、輝度および彩度が高いほど閾値αが小さな値となるように変更することで、輝度および彩度が高い画素ほど色滲み候補画素として検出されやすくなる。このため、色滲み候補画素がノイズによって色滲み条件から漏れることを回避し、これに加えて飽和画素から離れたグラデーションを持つ被写体画素が色滲み候補画素として検出されることも抑制することができる。
【００４１】
また、距離に関する色滲み条件は、色滲み候補画素のうち注目画素の近傍の飽和画素を探索する際の該注目画素からの距離範囲を指定する。具体的には、注目画素から閾値（第２の閾値）β以下の距離に飽和画素がある場合（すなわち飽和画素からの距離が第２の閾値以下の場合）に該注目画素を色滲み画素として検出（判定）する。例として閾値βは、
【００４２】
【数２】
【００４３】
として計算する。ただし、β０は基準となる輝度における閾値、βＬ，βＣは係数である。
【００４４】
このように従来手法での定数閾値に比べて、輝度および彩度が高いほど閾値βが小さな値となるように変更することで、色滲み画素は、該画素の輝度と彩度が高いほどより近傍に飽和画素が存在するという条件を与える。このため、飽和画素から離れた輝度および彩度の高い被写体色の検出を抑制するほか、輝度および彩度が高い画素ほど計算量が低減される効果を与える。また、色滲みプロファイルの端部における輝度および彩度が小さい色滲み画素の検出漏れを低減することにより、高精度な色滲み検出が可能になる。
【００４５】
なお、上述した閾値αと閾値βの算出方法は例に過ぎず、他の算出方法を用いてもよい。例えば、輝度および彩度はそれらの少なくとも一方を用いればよく、例えば以下のように輝度のみを用いて、
【００４６】
【数３】
【００４７】
と算出してもよい。
【００４８】
画像強度傾斜算出ステップＳ１５２では、Ｂプレーン上での強度傾斜マップおよびＧプレーン上での強度傾斜マップを計算する。強度傾斜∇Ｂ，∇Ｇは、
【００４９】
【数４】
【００５０】
として計算する。ただし、
Ｇ（ｘ＋１，ｙ）とＢ（ｘ＋１，ｙ）はそれぞれ、ＧおよびＢプレーンにおける注目画素の右隣の画素の画素値であり、
Ｇ（ｘ−１，ｙ）とＢ（ｘ−１，ｙ）はそれぞれ、ＧおよびＢプレーンにおける注目画素の左隣の画素の画素値である。
Ｇ（ｘ，ｙ＋１）とＢ（ｘ，ｙ＋１）はそれぞれ、ＧおよびＢプレーンにおける注目画素の下隣の画素の画素値であり、
Ｇ（ｘ，ｙ−１）とＢ（ｘ，ｙ−１）はそれぞれ、ＧおよびＢプレーンにおける注目画素の上隣の画素の画素値である。
【００５１】
なお、上記強度傾斜∇Ｂ，∇Ｇの計算方法は例に過ぎず、他の計算方法を用いてもよい。例えば、より大きな画素範囲での強度傾斜を計算してもよい。
【００５２】
そして、画像強度傾斜算出ステップＳ１５２では、Ｂプレーン上での強度傾斜マップとＧプレーン上での強度傾斜マップとを用いて、注目画素の強度傾斜が、強度傾斜に関する色滲み条件を満足するか否かを判定する。本実施例においては、強度傾斜に関する色滲み条件を、
【００５３】
【数５】
【００５４】
とする。すなわち、基準プレーン（Ｇプレーン）と対象プレーン（Ｂプレーン）における強度傾斜の比と閾値αとを比較する条件とする。
【００５５】
この判定を入力画像の全体にわたって（全画素のそれぞれを注目画素として）行い、強度傾斜に関する色滲み条件を満足する色滲み候補画素群を抽出する。すなわち、強度傾斜が閾値αを用いた色滲み条件を満足する注目画素を色滲み候補画素と判定する。
【００５６】
距離算出ステップＳ１５３では、基準となるＧプレーン上で強度が一定の閾値以上となる飽和画素領域を抽出（検出）する。そして、画像強度傾斜算出ステップＳ１５２にて抽出した色滲み候補画素ごとに、飽和画素領域のうち該色滲み候補画素に最も近い飽和画素（最近飽和画素）からの距離ｄを画素ピッチ単位で算出する。例えば、図６においてハッチングした画素領域を飽和画素領域とし、ハッチングしていない画素をそれぞれ色滲み候補画素とすると、距離ｄは各色滲み候補画素を示す枠内に記した数値となる。
【００５７】
さらに、距離算出ステップＳ１５３では、色滲み条件算出ステップＳ１５１にて算出された閾値βを用いた距離に関する色滲み条件を、
【００５８】
【数６】
【００５９】
とする。そして、算出した距離ｄがこの色滲み条件を満足する色滲み候補画素（群）を色滲み画素（群）として判定する。
【００６０】
なお、本実施例にいう飽和画素とは、ＧおよびＢのうちいずれか一方の色プレーンに対して強度がある閾値以上となる画素として定義する。また、画素間の距離としては、正確なユークリッド距離に限らず、準ユークリッド(quansi-Euclidean)距離や、チェスボード距離、シティブロック距離で代用してもよい。
【００６１】
飽和画素の有無を探索する方法として、色滲み条件算出ステップＳ１５１によって算出された閾値β以内に含まれる画素において飽和画素の有無を検出し、飽和画素が存在した場合に注目画素（色滲み候補画素）を色滲み画素として判定してもよい。この場合も、「飽和画素を検出し、該飽和画素と色滲み候補画素との間の距離が第２の閾値以下である場合」に相当する。
【００６２】
色滲み強度推定部１６０では、色滲み領域検出部１５０において抽出された色滲み画素（色滲み画素群）に対して色滲み強度を推定する。図７のフローチャートには、色滲み強度推定部１６０での処理を示す。色滲み強度推定部１６０での処理は、推定ステップＳ１６１および領域判定ステップＳ１６２により構成される。
【００６３】
推定ステップＳ１６１では、カラー画像の各画素に対して、Ｂプレーンの色滲み強度の推定量（前述した色滲み推定量）を算出する。ここでは、Ｂが飽和しているかいないかによって異なるが、双方の場合に備えて２種類の色滲み推定量Ｅ１，Ｅ２を計算する。推定量Ｅ１は、距離算出ステップＳ１５３で算出した飽和画素からの距離ｄを使用する。例えば、推定量Ｅ１を、
【００６４】
【数７】
【００６５】
として算出する。ただし、Ｒｂは図５に示した領域（１）と領域（２）の境界上での強度傾斜比
【００６６】
【数８】
【００６７】
である。また、ＤＧＢはＧプレーン上での飽和半径とＢプレーン上での飽和半径との差の絶対値である。ｋ１は正の値の係数である。
【００６８】
なお、Ｂが飽和している領域では輝度傾斜は０になってしまい、飽和前の輝度傾斜が得られない。そこで、このような領域に対する推定量Ｅ２を、Ｇの強度傾斜∇Ｇを用いて算出する。例えば、
【００６９】
【数９】
【００７０】
とする。
【００７１】
領域判定ステップＳ１６２では、まず、Ｂプレーンの強度に対する非線形変換を行い、飽和度Ｓを生成する。この非線形変換はＢが飽和しているかどうかを示すものであり、Ｂの強度が飽和している領域では１を、Ｂの強度が小さい場合は０となる。そして、この飽和度ＳによってステップＳ１６１で算出したＥ１又はＥ２を選択する。すなわち、新たな推定量Ｅを、
【００７２】
【数１０】
【００７３】
とする。
【００７４】
なお、距離算出ステップＳ１５３の結果を用いずに推定量Ｅを算出してもよく、
Ｅ１＝ｋ１｜∇Ｂ｜
Ｅ２＝ｋ２｜∇Ｇ｜
としてもよい。ｋ２は正の値の係数である。
【００７５】
このようにして算出した推定量Ｅは、色滲み除去部１７０に送られる。色滲み除去部１７０は、前述したように推定量Ｅを用いて色滲み低減処理を行い、色滲みが良好に補正された出力画像を生成する。
【００７６】
このように、本実施例によれば、被写体および青滲みの輝度や彩度といった特徴に応じて色滲み条件を変化させることにより、青滲みと被写体の青いグラデーションとを効果的に分離する。これにより、青滲みが低減された違和感のない出力画像（撮影画像）を得ることができる。また、結像光学系においてはＢバンドの縦色収差の制限を緩めることができ、その他の収差補正や、小型化、低コスト化をより高い水準で実現できる。
【実施例２】
【００７７】
次に、本発明の実施例２である画像処理装置について説明する。実施例２は、実施例１に対して、色滲み領域検出部１５０の処理と色滲み強度推定部１６０の処理が異なる。他の構成および処理については実施例１と同じであるので、本実施例では、実施例１と異なる点を中心として説明する。
【００７８】
本実施例では、図１に示した結像光学系１１０は被写体からの光Ｒ，Ｇ，Ｂをイメージセンサ１２０上に結像させるが、ＧとＢの波長域の縦色収差が良好に補正され、Ｒの波長域の縦色収差が残存しているものとする。
【００７９】
図８には、赤滲みの典型的な強度プロファイルを示す。図８において横軸は画像上の断面であり、縦軸は色滲み検出（色滲み判定）および色滲み除去の対象プレーンであるＲプレーンと基準プレーンであるＧプレーンの強度（輝度）である。図８では中心部に飽和輝度を超える高輝度被写体が存在する。そして、本来明るくない高輝度被写体周囲も、収差やフレアにより光源から滲んだ光によってプロファイルの裾が拡がる。この滲みの強さは、高輝度被写体の輝度に依存し、また高輝度被写体から離れるに従って指数的に弱くなる。Ｇプレーンであっても滲みは全くないわけではなく、ある程度の拡がりが存在するが、それはＲプレーンに比べると小さい。また、イメージセンサは一定の飽和レベル以上の強度を測定することはできないので、飽和レベル以上の強度を有する領域のイメージセンサ出力は平坦になる。このため、本来の高輝度被写体より一回り大きくＧもＲも飽和し、白く飽和した領域（図８中の飽和領域）が形成される。飽和領域から距離が離れるに従ってＧは減衰していくが、Ｒの飽和半径はさらに広いため、徐々にＧとＲの強度差は大きくなり、赤みを増していく（図８中の領域（１））。しかし、Ｒの飽和半径からさらに距離が離れるに従いＲも減衰していき、ＧとＲの強度差は小さくなっていく（図８中の領域（２））。そして、Ｇの裾の端に達すると、その先はＲプレーンのみが強度を持ち、赤滲みとなる。
【００８０】
このようなプロファイルを考慮し、本実施例は、色滲み画素は比較的輝度と彩度が高く、飽和画素の近傍に位置し、またＲプレーン上での強度傾斜（輝度傾斜）∇ＲとＧプレーン上での強度傾斜（輝度傾斜）∇Ｇに特徴を持つことに着目して赤滲みを検出する。
【００８１】
図９のフローチャートには、本実施例における色滲み領域検出部１５０の処理を示している。本実施例の色滲み領域検出部１５０の処理は、距離算出ステップＳ２５１、色滲み条件算出ステップＳ２５２および画像強度傾斜算出ステップＳ２５３により構成されている。ここで、色滲み条件算出ステップＳ２５２では、飽和画素からの距離に関する色滲み条件と、強度傾斜に関する色滲み条件とを設定する。
【００８２】
距離に関する色滲み条件では、例えば、検出した飽和画素（最近飽和画素）からの距離ｄが第１の閾値である閾値Δ以下である飽和画素近傍領域に含まれる注目画素を色滲み画素と判定する。飽和画素近傍領域は、閾値Δが適切に設定されれば、色滲み画素（群）が含まれた色滲み領域に相当し、色滲み低減処理（補正処理）の対象となる。
【００８３】
飽和画素からの距離ｄは各色プレーンによって異なるが、色滲み条件はどの色プレーン上で算出してもよい。閾値Δの初期設定値を初期閾値Δ０とし、輝度および強度傾斜を用いた条件により初期閾値Δ０からの変化量を算出して、これらから閾値Δを算出する。なお、本実施例では、初期閾値Δ０を定数として使用するが、飽和半径の大きさによってこれを変化させるようにしてもよい。また、輝度に関する条件の閾値をεとする。
【００８４】
一方、強度傾斜に関する色滲み条件は、強度傾斜と閾値（第２の閾値）γとの大小関係を比較した結果に応じて飽和画素近傍領域（つまりは閾値Δ）を適切に設定するための条件である。本実施例においては、閾値γを輝度および彩度を用いて、
【００８５】
【数１１】
【００８６】
として計算する。ただし、Ｌ１は注目画素における輝度、Ｃ１は注目画素における彩度、γ０，γＬ，γＣは係数である。
【００８７】
なお、上述した閾値γの算出方法は例に過ぎず、他の算出方法を用いてもよい。例えば、輝度および彩度はそれらの少なくとも一方を用いればよく、例えば以下のように輝度のみを用いて、
【００８８】
【数１２】
【００８９】
と算出してもよい。
【００９０】
本実施例は、閾値Δを輝度と強度傾斜に応じて変化させて、適切な閾値Δを設定する。
【００９１】
まず、距離算出ステップＳ２５１では、ＧとＲの双方の色プレーンに対して、強度が一定の閾値以上となる飽和画素領域を抽出（検出）する。そして、飽和画素近傍領域に含まれる各注目画素と飽和画素領域におけるその注目画素に対する最近飽和画素との間の距離ｄＧ，ｄＲを画素ピッチ単位で算出する。次に、距離ｄＧ，ｄＲが最も初期閾値Δ０に近い注目画素を検出し、これを参照画素とする。参照画素は、飽和画素近傍領域のうち最も外側の境界上に位置する境界画素に相当する。
【００９２】
次に、色滲み条件算出ステップＳ２５２のうち輝度に関する条件算出ステップＳ２５２ａでは、距離算出ステップＳ２５１で抽出された参照画素の輝度Ｌが、
Ｌ＞ε
なる条件を満足するか否かを判定する。つまり、その参照画素が、色滲み画素として有するはずの輝度を有しているか否かを判定する。この条件を満足しない場合には、
Δ＝Δ０
として、飽和画素近傍領域（つまりは、閾値Δ）を変化させない。また、該条件を満足する参照画素（群）を、画像強度傾斜算出ステップＳ２５３に渡す。
【００９３】
画像強度傾斜算出ステップＳ２５３では、条件算出ステップＳ２５２ａでの条件を満足した参照画素（群）に対して強度傾斜を算出する。強度傾斜を求める色プレーンは、閾値Δを算出した色プレーンと同じであることが望ましい。本実施例では、Ｒプレーン上の強度傾斜∇Ｒを算出し、強度傾斜に関する色滲み条件を、
∇Ｒ＞γ
とする。この条件を満足した場合には、条件算出ステップＳ２５２ｂに進み、該条件を満たさない場合には条件算出ステップＳ２５２ｃに進む。
条件算出ステップＳ２５２ｂでは、図１０にハッチングした領域として示すように、飽和画素から離れる方向に（つまりは飽和画素近傍領域の外側に向かって）距離（Δ０−１）内に含まれる領域を外側参照領域とする。そして、この外側参照領域における画素ごとの強度傾斜を算出し、強度傾斜∇Ｒが強度傾斜に関する色滲み条件である、
∇Ｒ＞γ
を満足する画素を検出する。参照画素から外側参照領域内の複数の画素のうち途中の画素まで連続して上記色滲み条件を満足する場合には、該色滲み条件を満足しなくなった画素の最近飽和画素からの距離ｄｍａｘを用いて、閾値Δを、
Δ＝ｄｍａｘ−１
と変更する。つまり、ΔをΔ０から（ｄｍａｘ−１）に増加させる。
【００９４】
一方、条件算出ステップＳ２５２ｃでは、図１１にハッチングした領域として示すように、飽和画素に近づく方向に（つまりは飽和画素近傍領域の内側に向かって）距離（Δ０−１）内に含まれる領域を内側参照領域とする。そして、この内側参照領域における画素ごとの強度傾斜を算出し、強度傾斜∇Ｒが強度傾斜に関する色滲み条件である、
∇Ｒ＞γ
を満足する画素を検出する。参照画素から内側参照領域内の複数の画素のうち途中の画素ではじめて上記色滲み条件を満足した場合には、該色滲み条件を満足した画素の最近飽和画素からの距離ｄｍｉｎを用いて、閾値Δを、
Δ＝ｄｍｉｎ
と変更する。つまり、ΔをΔ０からｄｍｉｎに減少させる。
【００９５】
このように条件算出ステップＳ２５２ｂ，Ｓ２５２ｃにおいて、飽和画素から距離の閾値Δ内（飽和輝度近傍領域内）にある画素（群）を色滲み画素（群）として判定し、これを示した色滲み画素マップを色滲み強度推定部１６０に送る。なお、本実施例においては外側参照領域および内側参照領域を決定する所定幅（Δ０−１）を同じとして説明したが、互いに異ならせてもよい。
【００９６】
色滲み強度推定部１６０は、本実施例は、色滲み推定量の計算方法において実施例１と異なる。ここでは、Ｒが飽和しているかいないかによって異なるが、双方の場合に備えて２種類の色滲み推定量Ｅ１，Ｅ２を計算する。例えば、
【００９７】
【数１３】
【００９８】
と算出する。ただし、ｋ０，ｋ１，ｋ２は定数であり、結像光学系やイメージセンサの画素ピッチによって異なるため、入力画像から滲み量を近似するのに好適な値に設定するのが望ましい。図１２には、高輝度被写体に対するＲ，Ｇプレーンの典型的なプロファイルと、各色プレーン上での飽和画素からの距離ｄＧ，ｄＲとの関係を示す。図１２において横軸は画像上の断面であり、縦軸はＲ，Ｇプレーンでの強度である。色滲み推定量Ｅ１，Ｅ２は、図８および図１２の領域（１）と領域（２）の境界線上ではＥ０＝（ｋ１ｄＧ＋ｋ０）と一致するためマッハバンドを生じない。
【００９９】
このようにして算出した推定量Ｅは、色滲み除去部１７０に送られる。色滲み除去部１７０は、前述したように推定量Ｅを用いて色滲み低減処理を行い、色滲みが良好に補正された出力画像を生成する。
【０１００】
この後、実施例１で説明した領域判定ステップＳ１６２と同様にして、色滲み推定量ＥがＥ１，Ｅ２から算出され、色滲み除去部Ｓ１７０に送られる。
【０１０１】
本実施例によれば、各飽和画素の特徴に応じて閾値Δを変化させることで、色滲み低減処理を行う飽和画素近傍領域（色滲み領域）が正確に特定され、色滲みが良好に補正された出力画像を生成することができる。
【実施例３】
【０１０２】
次に、本発明の実施例３である画像処理装置について説明する。実施例３は、実施例１に対して、色滲み領域検出部１５０の処理が異なる。他の構成および処理については実施例１と同じであるので、本実施例では、実施例１と異なる点を中心として説明する。
【０１０３】
本実施例では、飽和画素の周辺の複数の画素をクラスターとして扱い、クラスターごと色滲み判定を行う。言い換えれば、実施例１で説明した色滲み候補画素を、その判定対象領域である色滲み候補クラスターごとに抽出する。
【０１０４】
図１３のフローチャートには、本実施例における色滲み領域検出部１５０の処理を示す。色滲み領域検出部１５０の処理は、距離算出ステップＳ３５１と、色滲み条件算出ステップＳ３５２と、画像強度傾斜算出ステップＳ３５３とにより構成される。色滲み領域検出部１５０は、クラスター判定手段として機能する。
【０１０５】
距離算出ステップＳ３５１では、Ｇ，Ｂ双方の色プレーンに対して、強度が一定の閾値以上となる飽和画素を抽出し、各飽和画素の任意の色プレーン上における飽和半径を算出する。例えば、本実施例においては、Ｂプレーン上における飽和半径ｄＢを算出する。飽和半径に関しては、飽和画素からの方向によって異なるため、本実施例においては、最大飽和半径ｄＢｍａｘを飽和半径ｄＢとして用いる。ただし、飽和半径ｄＢはこれに限られず、複数の方向における飽和半径の平均値を飽和半径ｄＢとして用いてもよい。
【０１０６】
色滲み条件算出ステップＳ３５２では、強度傾斜に関する色滲み条件と飽和画素からの距離に関する色滲み条件と輝度に関する色滲み条件を予め設定する。距離算出ステップＳ３５１で算出された飽和半径ｄＢと輝度および彩度とを用いて各条件に対する閾値を算出する。距離に関する色滲み条件で用いる閾値Ｄは、飽和画素からの距離範囲を特定する閾値であり、色滲みクラスター（色滲み候補クラスター）とする範囲を各飽和画素に対して決定する。例えば、
【０１０７】
【数１４】
【０１０８】
と設定する。ただし、φ０，φ１は係数である。各飽和画素に対して算出された距離の閾値Ｄを用いて、飽和画素からの距離ｒが、
Ｄ＞ｒ
となる画素を該飽和画素の色滲み候補クラスターとする。
【０１０９】
次に、輝度に対する閾値κと彩度に対する閾値λとを用いて、
Ｌ１＜κ
Ｃ１＜λ
なる条件を満足する画素が、色滲み候補クラスター内に存在するか否かを判定する。閾値κ，λは、使用する撮像系での典型的な色滲みプロファイルから設定するのが望ましい。なお、色滲みクラスターの外縁部（その外側との境界部）のみを参照することにより、計算量を低減するようにしてもよい。上記条件を満足する画素が色滲み候補クラスター内に存在しない場合には、その色滲み候補クラスターは色滲みクラスターではないと判定する。
【０１１０】
一方、上記条件を満足する画素が色滲み候補クラスター内に存在する場合には、その色滲み候補クラスター内の各注目画素に対して、該注目画素の輝度および彩度から強度傾斜に関する色滲み条件に用いる閾値（第３の閾値）ηを算出する。例えば、
【０１１１】
【数１５】
【０１１２】
として算出する。ただし、Ｌ１は注目画素における輝度、Ｃ１は注目画素における彩度、η０，ηＬ，ηＣは係数である。
【０１１３】
なお、上述した閾値ηの算出方法は例に過ぎず、他の算出方法を用いてもよい。例えば、輝度および彩度はそれらの少なくとも一方を用いればよく、例えば以下のように輝度のみを用いて、
【０１１４】
【数１６】
【０１１５】
と算出してもよい。また、上述した２つの条件Ｌ１＜κ，Ｃ１＜λについても少なくとも一方を用いればよい。
【０１１６】
画像強度傾斜算出ステップＳ３５３では、色滲み条件算出ステップＳ３５２で算出された色滲み候補クラスターにおいて、ＧプレーンおよびＢプレーンでの強度傾斜を算出する。そして、算出した強度傾斜ｄＬが、強度傾斜に関する色滲み条件である、
ｄＬ＞η
を満足する場合に、その色滲み候補クラスターを最終的な色滲みクラスターと判定する。
【０１１７】
このようにして抽出された色滲みクラスターは、色滲み強度推定部１６０に送られ、実施例１と同様の処理が行われる。
【０１１８】
本実施例によれば、飽和画素を含む被写体色を色滲み低減処理の対象領域から除外できる。また、飽和画素の周囲を探索しているので、誤処理を低減できるとともに、複数の飽和画素が互いに近傍に存在する場合にも、良好に色滲みが低減された画像を生成することができる。
【０１１９】
上記各実施例では、本発明の画像処理方法を使用する（または画像処理装置を搭載した）撮像装置について説明したが、本発明の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが本発明の画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の画像（入力画像）を取り込み（取得し）、画像処理プログラムによって色滲み低減処理を行って、その結果得られた画像を出力する。
【０１２０】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【０１２１】
良好に色滲みが低減されたカラー画像を出力可能な画像処理装置や撮像装置を提供できる。
【符号の説明】
【０１２２】
１００ 撮像装置
１１０ 結像光学系
１２０ イメージセンサ
１５０ 色滲み領域検出部
１６０ 色滲み強度推定部
１７０ 色滲み除去部
【特許請求の範囲】
【請求項１】
撮像系により生成されたカラー画像における画素ごとの強度傾斜を算出する傾斜算出手段と、
前記強度傾斜が第１の閾値を用いた色滲み条件を満足する前記画素を色滲み候補画素と判定する第１の色滲み判定手段と、
前記カラー画像における飽和画素を検出し、該飽和画素と前記色滲み候補画素との間の距離が第２の閾値以下である場合に、該色滲み候補画素を色滲み画素と判定する第２の色滲み判定手段とを有し、
前記第１および第２の色滲み判定手段はそれぞれ、前記第１および第２の閾値を、前記色滲み候補画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする画像処理装置。
【請求項２】
前記第１の閾値を用いた色滲み条件は、前記カラー画像を構成する複数の色プレーンのうち基準プレーンと色滲み判定の対象プレーンにおける強度傾斜の比と前記第１の閾値とを比較する条件であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記色滲み候補画素の判定対象領域である色滲み候補クラスターを、前記色滲み候補クラスターで算出した前記輝度傾斜が第３の閾値を用いた色滲み条件を満足することにより判定するクラスター判定手段を有し、
該クラスター判定手段は、前記第３の閾値を、前記色滲み候補クラスター内の画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
撮像系により生成されたカラー画像において飽和画素を検出し、該飽和画素からの距離が第１の閾値以下である飽和画素近傍領域に含まれる画素を色滲み画素と判定する色滲み判定手段と、
前記飽和画素近傍領域のうち最も外側の境界画素から該飽和画素近傍領域の内側および外側に所定幅を有する境界近傍領域における画素ごとの強度傾斜を算出する傾斜算出手段とを有し、
前記色滲み判定手段は、前記強度傾斜と第２の閾値とを比較した結果に応じて前記第１の閾値を変更し、かつ前記第２の閾値を、前記境界近傍領域に含まれる画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする画像処理装置。
【請求項５】
前記色滲み画素における色滲み強度の推定量を算出し、該色滲み画素に対して前記推定量を用いた色滲み低減処理を行う処理手段を有することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
カラー画像を生成する撮像系と、
請求項１から５のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項７】
撮像系により生成されたカラー画像における画素ごとの強度傾斜を算出するステップと、
前記強度傾斜が第１の閾値を用いた色滲み条件を満足する前記画素を色滲み候補画素と判定するステップと、
前記カラー画像における飽和画素を検出し、該飽和画素と前記色滲み候補画素との間の距離が第２の閾値以下である場合に、該色滲み候補画素を色滲み画素と判定するステップとを有し、
前記第１および第２の閾値を、前記色滲み候補画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする画像処理方法。
【請求項８】
撮像系により生成されたカラー画像において飽和画素を検出し、該飽和画素からの距離が第１の閾値以下である飽和画素近傍領域に含まれる画素を色滲み画素と判定するステップと、
前記飽和画素近傍領域のうち最も外側の境界画素から該飽和画素近傍領域の内側および外側に所定幅を有する境界近傍領域における画素ごとの強度傾斜を算出するステップとを有し、
前記強度傾斜と第２の閾値とを比較した結果に応じて前記第１の閾値を変更し、かつ前記第２の閾値を、前記境界近傍領域に含まれる画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする画像処理方法。
【請求項９】
コンピュータに、
撮像系により生成されたカラー画像における画素ごとの強度傾斜を算出するステップと、
前記強度傾斜が第１の閾値を用いた色滲み条件を満足する前記画素を色滲み候補画素と判定するステップと、
前記カラー画像における飽和画素を検出し、該飽和画素と前記色滲み候補画素との間の距離が第２の閾値以下である場合に、該色滲み候補画素を色滲み画素と判定するステップとを含む画像処理を実行させるが画像処理プログラムであって、
前記第１および第２の閾値を、前記色滲み候補画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする画像処理プログラム。
【請求項１０】
コンピュータに、
撮像系により生成されたカラー画像において飽和画素を検出し、該飽和画素からの距離が第１の閾値以下である飽和画素近傍領域に含まれる画素を色滲み画素と判定するステップと、
前記飽和画素近傍領域のうち最も外側の境界画素から該飽和画素近傍領域の内側および外側に所定幅を有する境界近傍領域における画素ごとの強度傾斜を算出するステップとを含む画像処理を実行させる画像処理プログラムであって、
前記強度傾斜と第２の閾値とを比較した結果に応じて前記第１の閾値を変更し、かつ前記第２の閾値を、前記境界近傍領域に含まれる画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする画像処理プログラム。
【請求項１】
撮像系により生成されたカラー画像における画素ごとの強度傾斜を算出する傾斜算出手段と、
前記強度傾斜が第１の閾値を用いた色滲み条件を満足する前記画素を色滲み候補画素と判定する第１の色滲み判定手段と、
前記カラー画像における飽和画素を検出し、該飽和画素と前記色滲み候補画素との間の距離が第２の閾値以下である場合に、該色滲み候補画素を色滲み画素と判定する第２の色滲み判定手段とを有し、
前記第１および第２の色滲み判定手段はそれぞれ、前記第１および第２の閾値を、前記色滲み候補画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする画像処理装置。
【請求項２】
前記第１の閾値を用いた色滲み条件は、前記カラー画像を構成する複数の色プレーンのうち基準プレーンと色滲み判定の対象プレーンにおける強度傾斜の比と前記第１の閾値とを比較する条件であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記色滲み候補画素の判定対象領域である色滲み候補クラスターを、前記色滲み候補クラスターで算出した前記輝度傾斜が第３の閾値を用いた色滲み条件を満足することにより判定するクラスター判定手段を有し、
該クラスター判定手段は、前記第３の閾値を、前記色滲み候補クラスター内の画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
撮像系により生成されたカラー画像において飽和画素を検出し、該飽和画素からの距離が第１の閾値以下である飽和画素近傍領域に含まれる画素を色滲み画素と判定する色滲み判定手段と、
前記飽和画素近傍領域のうち最も外側の境界画素から該飽和画素近傍領域の内側および外側に所定幅を有する境界近傍領域における画素ごとの強度傾斜を算出する傾斜算出手段とを有し、
前記色滲み判定手段は、前記強度傾斜と第２の閾値とを比較した結果に応じて前記第１の閾値を変更し、かつ前記第２の閾値を、前記境界近傍領域に含まれる画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする画像処理装置。
【請求項５】
前記色滲み画素における色滲み強度の推定量を算出し、該色滲み画素に対して前記推定量を用いた色滲み低減処理を行う処理手段を有することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
カラー画像を生成する撮像系と、
請求項１から５のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項７】
撮像系により生成されたカラー画像における画素ごとの強度傾斜を算出するステップと、
前記強度傾斜が第１の閾値を用いた色滲み条件を満足する前記画素を色滲み候補画素と判定するステップと、
前記カラー画像における飽和画素を検出し、該飽和画素と前記色滲み候補画素との間の距離が第２の閾値以下である場合に、該色滲み候補画素を色滲み画素と判定するステップとを有し、
前記第１および第２の閾値を、前記色滲み候補画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする画像処理方法。
【請求項８】
撮像系により生成されたカラー画像において飽和画素を検出し、該飽和画素からの距離が第１の閾値以下である飽和画素近傍領域に含まれる画素を色滲み画素と判定するステップと、
前記飽和画素近傍領域のうち最も外側の境界画素から該飽和画素近傍領域の内側および外側に所定幅を有する境界近傍領域における画素ごとの強度傾斜を算出するステップとを有し、
前記強度傾斜と第２の閾値とを比較した結果に応じて前記第１の閾値を変更し、かつ前記第２の閾値を、前記境界近傍領域に含まれる画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする画像処理方法。
【請求項９】
コンピュータに、
撮像系により生成されたカラー画像における画素ごとの強度傾斜を算出するステップと、
前記強度傾斜が第１の閾値を用いた色滲み条件を満足する前記画素を色滲み候補画素と判定するステップと、
前記カラー画像における飽和画素を検出し、該飽和画素と前記色滲み候補画素との間の距離が第２の閾値以下である場合に、該色滲み候補画素を色滲み画素と判定するステップとを含む画像処理を実行させるが画像処理プログラムであって、
前記第１および第２の閾値を、前記色滲み候補画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする画像処理プログラム。
【請求項１０】
コンピュータに、
撮像系により生成されたカラー画像において飽和画素を検出し、該飽和画素からの距離が第１の閾値以下である飽和画素近傍領域に含まれる画素を色滲み画素と判定するステップと、
前記飽和画素近傍領域のうち最も外側の境界画素から該飽和画素近傍領域の内側および外側に所定幅を有する境界近傍領域における画素ごとの強度傾斜を算出するステップとを含む画像処理を実行させる画像処理プログラムであって、
前記強度傾斜と第２の閾値とを比較した結果に応じて前記第１の閾値を変更し、かつ前記第２の閾値を、前記境界近傍領域に含まれる画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−２６７５５（Ｐ２０１３−２６７５５Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１５８５１１（Ｐ２０１１−１５８５１１）
【出願日】平成２３年７月２０日（２０１１．７．２０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月２０日（２０１１．７．２０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]