画像処理装置、画像処理方法およびプログラム
【課題】色にじみが軽減された画像の色味が自然となるようにすることが可能な画像処理装置、画像処理方法およびプログラムを提供すること
【解決手段】画像処理装置は、色にじみが軽減される前のカラー画像の注目画素に対応する色度図における点Ｐ（ａ０，ｂ０）と、色にじみが軽減された後の前記カラー画像の注目画素に対応する前記色度図におけるＱ１（ａ１，ｂ１）の間の色相角度の差または色度変化の方向を制限する２つ以上の直線Ｃ//1およびＣ//2またはＬＢおよびＬＲによって色にじみ発生領域Ｆを制限することによって形成された制限領域Ｇ内に、各色成分の色にじみ推定量が収まるように推定手段１５１によって推定された各色成分の色にじみ推定量を補正する補正手段１５２と、補正手段で補正された各色成分の色にじみ推定量を色成分毎にカラー画像から減じて色にじみを軽減する軽減手段１５３と、を有する。
【解決手段】画像処理装置は、色にじみが軽減される前のカラー画像の注目画素に対応する色度図における点Ｐ（ａ０，ｂ０）と、色にじみが軽減された後の前記カラー画像の注目画素に対応する前記色度図におけるＱ１（ａ１，ｂ１）の間の色相角度の差または色度変化の方向を制限する２つ以上の直線Ｃ//1およびＣ//2またはＬＢおよびＬＲによって色にじみ発生領域Ｆを制限することによって形成された制限領域Ｇ内に、各色成分の色にじみ推定量が収まるように推定手段１５１によって推定された各色成分の色にじみ推定量を補正する補正手段１５２と、補正手段で補正された各色成分の色にじみ推定量を色成分毎にカラー画像から減じて色にじみを軽減する軽減手段１５３と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー画像に対して色にじみを軽減する画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
カラー撮像系では結像光学系の色収差により、画像上で明るい部分の周囲に本来存在しない色が色にじみとして生じる。色にじみは結像光学系の中心波長から離れた部分で起きやすく、可視光カラー撮像系では、青や赤、或いは双方が混じった紫色のアーティファクトがにじみ状に生じ、色にじみやパープルフリンジと呼ばれる。近年、アーティファクトを低減する画像処理方法が提案されている。
【０００３】
例えば、特許文献１、２は、色にじみの色成分ごとに空間演算を行うことで色にじみ領域および色にじみ強度を算出し、色成分ごとのにじみ推定量を入力カラー画像から減算することにより色にじみを軽減する画像処理方法を提案している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１４７９８０号公報
【特許文献２】特開２００８−１４７９８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１、２に記載されている画像処理方法では、色にじみ成分が２成分以上になると、異なる色のにじみに変化したり、色相反転が発生したりするなど、色味が不自然な画像となる。色にじみ成分毎に個別に色相反転が生じないように除去量を制限しているが、カラー画像として合成された際に除去量が合成されて過剰な除去となって色相反転は発生する。また、異なる色のにじみを防止するためには、補正対象となる色成分を切り換える必要があり、その情報がなければ補正できないという問題がある。特に、特許文献１に開示された色成分毎の隣接画素間の画像強度傾斜によって色にじみの補正量を推定する推定手段を使用する場合には推定精度が必ずしも高くないために、上記の問題が発生し易い。
【０００６】
本発明は、色にじみが軽減された画像の色味が自然となるようにすることが可能な画像処理装置、画像処理方法およびプログラムを提供することを例示的な目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、カラー画像に対して色にじみを軽減する処理を行う画像処理装置であって、２つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定する推定手段と、前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定手段によって推定された各色成分の色にじみ推定量を補正する補正手段と、前記補正手段で補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減する軽減手段と、を有し、前記制限領域は、前記色にじみ発生領域において、色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第１の点と前記色度図の原点を通る第１の直線に垂直で前記第１の点を通る第２の直線よりも原点側にある領域であって、かつ、前記第１の直線を挟み、前記第１の直線から前記原点と前記第１の点との距離の半分以下の距離だけ離れた前記第１の直線と平行な２つの第３の直線または前記原点を通り、前記第１の直線となす角度の絶対値が４５度以下である２つの第４の直線に挟まれた領域に挟まれた領域であることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、色にじみが軽減された画像の色味が自然となるようにすることが可能な画像処理装置、画像処理方法およびプログラムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の撮像装置のブロック図である。（実施例１）
【図２】図２（ａ）は、高輝度な被写体に対するＲ成分、Ｂ成分及びＧ成分の典型的なプロファイルを示す図であり、図２（ｂ）は非線形変換の特性を示す図である。（実施例１）
【図３】図１に示す色にじみ軽減部の全体の動作を説明するためのフローチャートである。（実施例１）
【図４】図１に示す推定手段の動作を説明するためのフローチャートである。（実施例１）
【図５】図１に示す補正手段の動作を説明するためのフローチャートである。（実施例１）
【図６】ａｂ色度図の図である。（実施例１）
【図７】ａｂ色度図における制限領域を示す図である。（実施例１）
【図８】Ｒ成分とＢ成分を同時に補正した場合の色度座標上の変化方向を示す図である。（実施例１）
【図９】色度座標において色相角度で制限する領域の算出を説明するための図である。（実施例２）
【図１０】色度座標において色相角度変化を制限角度内に抑える補正量算出ステップを説明する図である。（実施例３）
【図１１】本発明の撮像装置のブロック図である。（実施例４）
【図１２】図１１に示す推定手段の動作を説明するためのフローチャートである。（実施例４）
【図１３】飽和画素から周囲の各画素までの距離を示す図である。（実施例４）
【図１４】色度図の図である。（実施例４）
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明の実施例について説明する。
【実施例１】
【００１１】
図１は、カラー画像に対して色にじみを軽減する実施例１の画像処理装置を有する撮像装置１００のブロック図である。撮像装置１００は、結像光学系１１０、イメージセンサ（撮像素子）１２０、ＡＤ変換部１３０、デモザイク部１４０、色にじみ軽減部１５０、視覚補正部１６０、圧縮部１７０、記録部１８０を有する。
【００１２】
図１において、写野（被写体）ｆは、結像光学系１１０を経てイメージセンサ１２０上に結像する。本実施例の結像光学系１１０は全ての波長域においてある程度の色収差が補正されているが、特にＧ波長域での色収差が良好に補正されており、他波長ではＧ波長域より色収差が残存している。色収差の補正基準を下げることにより、その他の収差補正や、小型化、低コスト化をより高い水準で実現できる。
【００１３】
イメージセンサ１２０は、被写体像を光電変換し、一般的な原色カラーフィルタ系を備える単板カラーイメージセンサとする。原色カラーフィルタ系は、特許文献１の図４に示すように、各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の色フィルタからなり、各々Ｒ、Ｇ、Ｂの各バンドに対応する色成分を撮影する。単板カラーイメージセンサでは、この色フィルタは、特許文献１の図５に示すように、画素毎に空間的に配列し、各画素に対しては各々単一の色成分における強度を得ることしかできない。このためイメージセンサからは色モザイク画像が出力される。或いは、色分解プリズムを用いてＲ、Ｇ、Ｂの波長域に分け、それぞれ異なるイメージセンサで結像する３板式カラーイメージセンサを用いてもよい。この場合、デモザイク部１４０は不要となる。
【００１４】
ＡＤ変換部１３０では、イメージセンサからからアナログ電圧として出力される色モザイク画像を画像処理に適するデジタルデータへと変換する。
【００１５】
デモザイク部１４０では、色モザイク画像を補間することによって、全ての画素においてＲＧＢの色情報が揃ったカラー画像を生成する。なお、補間手法は限定されない。生成されたカラー画像は結像光学系１１０の色収差によって、Ｇ成分に比してＲやＢ成分の解像度が劣る画像となる。
【００１６】
このため明暗の境界部では、特許文献１の図６に示すように、赤や青がぼやけ、明部の周囲に赤や青、両者が混じった紫の縁取りのようなアーティファクトが生じる。ここで、結像光学系の特性及び画像中の光源の分光分布等によりＲ、Ｂのにじみの程度が異なる。なお、イメージセンサ１２０が補色系カラーフィルタの場合でも、色変換処理によって同様にＲ、Ｇ、Ｂの色成分からなるカラー画像が得られる。
【００１７】
色にじみ軽減部１５０は、後述するように、空間的な演算を行い色にじみ領域を抽出し、色にじみ量を推定して入力カラー画像から推定量を減算等の処理により軽減する画像処理装置を構成する。
【００１８】
次に、視覚補正部１６０により、主として画像の見栄えを改善するための処理（例えば、トーンカーブ（ガンマ）補正、彩度強調、色相補正、エッジ強調）がカラー画像に対して行われる。
【００１９】
次に、圧縮部１７０が、補正されたカラー画像をＪＰＥＧ等の方法で画像圧縮を行い、記録時のサイズを小さくする。
【００２０】
これらイメージセンサ１２０から記録部１８０は実際には別体のデバイスとは限らず、単一のマイクロプロセッサ（マイクロコンピュータ）が複数の部に係る処理を行うこともある。圧縮処理が行われたデジタル画像信号は、記録部１８０にてフラッシュメモリ等の記録媒体に記録される。
【００２１】
図２（ａ）は、高輝度な被写体に対するＲ、Ｇ及びＢ成分の典型的なプロファイルを示し、横軸は画像上の断面であり、縦軸はＲ、Ｇ及びＢ成分の強度である。図２（ａ）では中央部に飽和レベルを超える高輝度被写体が存在する。そして、本来明るくない高輝度被写体周囲も、収差やフレアにより高輝度被写体からにじんだ光によって、プロファイルの裾が拡がる。このにじみの強さは高輝度被写体の輝度に依存し、また高輝度被写体から離れるに従い、指数的に弱くなる。
【００２２】
特許文献１に説明されているように、撮影画像としては本来の高輝度被写体より一回り大きくＲ、Ｇ、Ｂ成分が飽和し、白く飽和した領域ができる。Ｒ成分とＢ成分はほぼ同じプロファイルとする。この先、Ｇ成分は減衰していくがＲ及びＢ成分の飽和半径は更に広いため、徐々にＧ成分とＲ及びＢ成分の画像強度差は大きくなり、マゼンタとなり色味を増していく。
【００２３】
しかし、飽和半径に達するとＲ、Ｂ成分も減衰を始め、この先ではＧ成分とＲ、Ｂ成分の画像強度差は小さくなっていき、紫のにじみとなっていく。あるところで、Ｇ成分の裾の端に達すると、その先はＲ、Ｂ成分のみが強度を持ち、より彩度の高い紫のにじみへと変化していく。
【００２４】
このマゼンタや紫のにじみ本来存在しない色にじみであり、輝度飽和領域周辺の色として不自然なものとなる。本実施例は、このようなＲ、Ｂ成分によって発生する、本来は存在しない紫のにじみ、あるいは赤にじみ、青にじみを軽減対象の色にじみとする。これらの不自然な色にじみを色にじみ軽減部１５０で軽減し自然な色味に補正する。
【００２５】
図３は、色にじみ軽減部１５０による画像処理のフローチャートであり、「Ｓ」はステップの略である。図３に示すフローチャートは、コンピュータを各ステップ（手段）として機能させるためのプログラムとして具現化可能であり、これは後述する他のフローチャートにも当てはまる。
【００２６】
色にじみ軽減部１５０は、推定手段１５１、補正手段１５２、軽減手段１５３を有し、Ｒ成分、Ｂ成分を軽減対象とし、基準成分としてＧ成分を用いる。
【００２７】
図３に示すように、色にじみ軽減部１５０は、入力画像においてある座標（ｘ，ｙ）＝（０，０）の画素を注目画素として画像処理を開始する（Ｓ２）。そして、その画素に対して、推定手段１５１による推定処理（Ｓ１０）、色にじみ判定（Ｓ４）、補正手段１５３による補正処理（Ｓ２０）、軽減手段１５３による軽減処理（Ｓ３０）が行われる。続いて、ｘ、ｙを最大値までインクリメントして（Ｓ６、ｓ８）出力画像を出力する。なお、以下の説明では色にじみ判定Ｓ４を補正処理Ｓ２０の一部（Ｓ２１）としているが、推定処理Ｓ１０の一部でもよいし、図３に示すように、両者から独立していてもよい。
【００２８】
図４は、色にじみ軽減部１５０の推定手段１５１の動作を説明するためのフローチャートであり、「Ｓ」はステップの略である。
【００２９】
図４を参照すると、推定手段１５１では、まず、注目画素（ｘ，ｙ）が色にじみ画素かどうか、具体的には、注目画素の色相（赤や黄などの色味の違い）を算出し、色相が色にじみと考えられる色相であるかどうかの簡易的な判定を行う（Ｓ１１）。
【００３０】
ここで、「色にじみと判定する色相」は、２つの色相角度ｈｍｉｎ、ｈｍａｘで指定する。注目画素の色相角度をｈとすると、次式を満足すれば色にじみと考えられる色相であると判定する。例えば、赤（０°）、黄（６０°）、緑（１２０°）、水色（１８０°）、青（２４０°）、紫（３００°）において、本来存在しない紫の色相角度にｈｍｉｎ、ｈｍａｘを設定する。
【００３１】
【数１】
【００３２】
更に、色にじみ画素の判定として、注目画素（ｘ，ｙ）において基準となるＧ成分の画像強度に注目し、飽和していると考えられる場合は色にじみ領域ではないと判定する。これは、高輝度被写体において基準となる色成分が飽和していれば、他の色成分も飽和している可能性が高いため色にじみが発生しないと考えられるためである。ここで飽和とは、画像強度を０〜１の値を持つとすると閾値を０．９程度にし、閾値以上の強度を持つ場合とする。
【００３３】
Ｓ１１で色にじみ画素でないと判定されれば、注目画素の色にじみ推定量ＥＲ、ＥＢを０として処理を終了して次の画素へと進む。
【００３４】
Ｓ１１で色にじみと判定された画素に対してＲＧＢ各色成分に対する信号強度の傾き（画像強度傾斜）を算出する（Ｓ１２）。飽和輝度周辺においては、画像の色成分毎に減衰に着目してみるとＧ成分の減衰が収束しているが、Ｒ、Ｂ成分の減衰が収束していないことでにじみが発生する。
【００３５】
減衰が収束している場合は強度傾斜が小さく、減衰が収束していない場合は強度傾斜が大きくなるため、減衰が収束しているかどうかは、色成分毎の画像強度傾斜でおおよそ判断することができる。このように、色にじみ領域の特定および色にじみ量の推定には画像強度および画像強度傾斜が有益であるため、推定手段１５１は隣接画素間の色成分毎の信号強度の傾き（勾配）を用いて色にじみ量を画素ごとに（領域ごとに）推定する。なお、従来技術に記載された他の方法を利用して推定してもよい。
【００３６】
各色成分の画像強度傾斜をそれぞれ∇Ｒ、∇Ｇ、∇Ｂとすると、∇Ｒ、∇Ｇ、∇Ｂは次式で与えられる。
【００３７】
【数２】
【００３８】
ここで、Ｒ（ｘ＋１，ｙ）、Ｇ（ｘ＋１，ｙ）、Ｂ（ｘ＋１，ｙ）は、Ｒ、Ｇ、Ｂ成分における注目画素右隣の画素値、Ｒ（ｘ−１，ｙ）、Ｇ（ｘ−１，ｙ）、Ｂ（ｘ−１，ｙ）は、ＲＧＢ成分における注目画素左隣の画素値とする。また、Ｒ（ｘ，ｙ＋１）、Ｇ（ｘ，ｙ＋１）、Ｂ（ｘ，ｙ＋１）は、Ｒ、Ｇ、Ｂ成分における注目画素下隣の画素値、Ｒ（ｘ，ｙ−１）、Ｇ（ｘ，ｙ−１）、Ｂ（ｘ，ｙ−１）は、Ｒ、Ｇ、Ｂ成分における注目画素上隣の画素値とする。また、画像強度傾斜の演算にあたって算出範囲をより大きくしたり、斜め画素も使うなど他の方法でも良いが、演算量の観点や効果の観点からも前述の画像強度傾斜の算出方法が好適である。
【００３９】
次に、ＲＧＢ成分の画像強度傾斜∇Ｒ、∇Ｇ、∇Ｂの絶対値に係数ｋＲ、ｋＧ、ｋＢを乗じて、次式に示すように、色にじみ推定量ＥＲ、ＥＧ、ＥＢを算出する（Ｓ１３）。
【００４０】
【数３】
【００４１】
ここで、係数ｋＲ、ｋＧ、ｋＢは正値であり、３前後が好適である。ＲＢ成分が飽和している領域では画像強度傾斜が０になり、飽和していない場合の画像強度傾斜を得ることができない。そこで、そのような領域に対する画像強度傾斜をＧ成分の画像強度傾斜により算出する。このため、数式３では色にじみ推定量ＥＧを算出している。この色にじみ推定量ＥＧは以降の補正手段１５２で使用する。
【００４２】
以上で色にじみ画素における色にじみ推定量ＥＲ、ＥＢが算出され、推定手段１５１の推定処理Ｓ１０が終了し補正手段１５２の処理へ移る。
【００４３】
図５は、色にじみ軽減部１５０の補正手段１５２の動作を説明するためのフローチャートであり、「Ｓ」はステップの略である。補正手段１５２は、推定手段１５１で算出された色にじみ推定量ＥＲおよびＥＢを用いて、色にじみ軽減後の色が自然な色になるように各色にじみ推定量の補正を行う。
【００４４】
図５を参照すると、補正手段１５２は、まず、色にじみ領域をＳ１１で算出した画像強度傾斜を用いて、基準色成分（Ｇ成分）と色にじみ色成分の画像強度傾斜の比を用いて色にじみ判定を行う（Ｓ２１）。
【００４５】
色にじみ判定では、色にじみ領域を信号強度の傾きで判断し、傾き量がある値以上の場合は色にじみであると判定する。この際にＲ、Ｂの信号強度の傾きのみではなく、基準成分であるＧの信号強度の傾きも算出して比較することにより、より正確に色にじみ領域を特定することができる。例えば、Ｇの信号強度の傾きに対してＲ、Ｂの信号強度の傾きが大きい場合、色にじみである可能性が高いと判断する。本実施例の推定方法は計算が単純であるものの誤差が生じやすいため、推定手段による推定量は後述するように補正する必要がある。
【００４６】
色にじみでないと判定された場合は、推定手段１５１で求めた色にじみ推定量を０とする。なお、色にじみの判定は推定手段１５１が行ってもよい。
【００４７】
Ｒ成分のＧ成分に対する画像強度傾斜の比の閾値をαＲＧとすると、補正された色にじみ推定量ＥＲ’は次式で表すことができる。
【００４８】
【数４】
【００４９】
Ｂ成分についても同様に次式で表すことができる。
【００５０】
【数５】
【００５１】
ここで、画像強度傾斜の比の閾値αＲＧ、αＢＧは結像光学系の特性などに依存するが、２前後が好適である。
【００５２】
次に、補正手段１５２はＲ成分の強度に対する非線形変換を行い、飽和度ＳＲを生成する（Ｓ２２）。この非線形変換はＲ成分が飽和しているかどうかを示すものであり、Ｒ成分の強度が飽和している領域では１を、Ｒ成分の強度が飽和していない場合は０となる。このように飽和度ＳＲは０／１の２値でもよいが、図２（ｂ）に示すように、０〜１にかけて連続的に変化する値としてもよい。この場合、飽和度ＳＲは次式で表すことができる。
【００５３】
【数６】
【００５４】
飽和度ＳＲによって算出した色にじみ推定量ＥＲ又はＥＧを選択する。すなわち、飽和度ＳＲが０／１の２値であれば新たな色にじみ推定量ＥＲ”を次式のように定義する。
【００５５】
【数７】
【００５６】
また、飽和度ＳＲが０〜１にかけて連続的に変化する値であれば、新たな推定量ＥＲ”を次式のように定義する。
【００５７】
【数８】
【００５８】
同様にＢ成分の色にじみ推定量ＥＢ”は、飽和度をＳＢとすると次式のように定義する。
【００５９】
【数９】
【００６０】
もしくは、ＳＢが０〜１にかけて連続的に変化する値であれば次式のように定義する。
【００６１】
【数１０】
【００６２】
これにより、Ｓ２１において色にじみと判定されてもＲＢ成分が飽和しており、色にじみと判定されなかった画素も補正対象とすることになる。
【００６３】
次に、補正手段１５２は注目画素（ｘ，ｙ）の色度およびＳ２２において補正された色にじみ推定量ＥＲ”、ＥＢ”を各色成分から減算した値による色度を計算する（Ｓ２３）。色度は色相と彩度を合わせた情報を有する。まず、色度算出はＲ、Ｇ、Ｂの各成分の強度に対し、特許文献２の数式１、２にあるように行う。
【００６４】
【数１１】
【００６５】
数式１１の係数は、ＲＧＢ座標をｘｙｚ表色系に変換するためのディスプレイ用の一般的な係数である。また、ｘｙｚ表色系から簡略化したＬａｂ表色系への変換には次式を用いる。ここでは計算コストを減らすために簡略化したＬａｂ表色系を用いているが、より人間の感覚と一致させるため簡略化しない本来のＬａｂ表色系でもよい。
【００６６】
【数１２】
【００６７】
ここで、このａｂ色度図およびａｂ色度図とＲ、Ｂ成分の対応を説明する。ａｂ色度図を図６（ａ）に示す。同図において、青色は第４象限にあり、第１象限に向かうに従って赤味を増して紫、マゼンタになっていく。第１象限は、第２象限に向かうに従って、マゼンタから赤そして黄色となる。
【００６８】
よって、ＲＢ成分の影響によって発生する色にじみは、ａｂ色度図上ではおおよそ図６（ａ）の斜線部Ｆで表される領域（色にじみ発生領域）の色味となる。この領域Ｆは、色にじみによって変化するもので、必ずしも斜線で表される領域に限定されるものではなく、例えば、第３象限の一部の色相に対しても青にじみとして捉えてもよい。
【００６９】
このａｂ色度図においてＢ成分から色にじみ推定量ＥＢ”を除去すると、図６（ｂ）に示す点線矢印のように左上方向へ移動する。矢印の始点が除去前の色度であり、先端が色にじみ推定量ＥＢ”を除去した後の色度である。同様に、Ｒ成分から色にじみ推定量ＥＲ”を除去すると、図６（ｂ）に示す実線矢印のように左下方向へ移動する。
【００７０】
次に、補正手段１５２は制限領域を算出する（Ｓ２４）。図７は、色度座標における制限領域を示す図である。まず、色にじみが軽減される前の入力カラー画像の注目画素がａｂ色度図上で対応する点（第１の点）をＰ（ａ０，ｂ０）とすると、点Ｐと原点Ｏを通る直線（第１の直線）をＣとする。直線Ｃは次式で表現される。
【００７１】
【数１３】
【００７２】
次に、点Ｐを通り直線Ｃと垂直に交わる直線（第２の直線）をＣ⊥とし、点Ｐから等距離ｄ離れた直線Ｃ⊥上の２点であるＱ１（ａ１，ｂ１）とＱ２（ａ２，ｂ２）を通り、直線Ｃと平行な２つの直線（第３の直線）をそれぞれＣ／／１、Ｃ／／２とする。直線Ｃ⊥は次式で表現される。
【００７３】
【数１４】
【００７４】
２つの直線Ｃ／／１、Ｃ／／２は、次式で表現されて直線Ｃから等距離にあり、直線Ｃは２つの平行な直線Ｃ／／１、Ｃ／／２に挟まれる。
【００７５】
【数１５】
【００７６】
また、ａｂ色度図において、Ｒ成分のみ除去した場合の色度変化の軌跡を表す直線（第５の直線）をＬＲ、同様にＢ成分のみ除去した場合の色度変化の軌跡を表す直線（第５の直線）をＬＢとする。Ｒ、Ｂ成分をそれぞれ独立に除去した場合の色度変化方向は一定であり、これら２つ以上の直線（第５の直線）の傾きは数式７、数式８より、
ＬＲの傾き＝０．３８
ＬＢの傾き＝−３．２
となる。直線ＬＲ、ＬＢは点Ｐを通るので、次式が成立する。
【００７７】
【数１６】
【００７８】
以上より、制限領域は、４つの直線であるＣ⊥、Ｃ／／１、Ｃ／／２、ＬＲ、ＬＢおよびＳ１０で用いた色にじみ発生領域Ｆを制限する直線で囲まれた領域（即ち、図７の斜線で囲まれた領域Ｇ）となる。
【００７９】
即ち、制限領域は、まず、色にじみ発生領域Ｆにおいて、直線Ｃ⊥よりも原点側にある領域であって、かつ、２つの直線Ｃ／／１、Ｃ／／２で挟まれた領域であり、本実施例では、更に２つの直線ＬＲ、ＬＢで挟まれた領域である。
【００８０】
ここで、領域Ｆを形成する直線は、図７ではａ＝０の直線と第１象限にある直線Ｌの２つの直線であり、一般的には色相角度ｈを用いて次式で表される。
【００８１】
【数１７】
【００８２】
距離ｄは大きくすると制限領域が広くなり大きな色相変化を許容することになる。反対に距離ｄを小さくすると最終的には制限領域は直線Ｃに一致し、彩度低減処理と同様になる。また、除去後の点が原点周辺であれば色相変化がある程度大きくとも彩度が低いため違和感が少ないが、原点から離れた点の場合は彩度が高いため色相変化が目立ち違和感が生じる。よって、距離ｄは大きな値では制限効果がなくなり好ましくない。また、彩度に応じて決定するのが好ましい。このため、距離ｄは０よりも大きく原点Ｏから点Ｐの距離の半分以下の値とするのが好適である。なお、本実施例では、点Ｐからの色相変化を等しくするために２つの直線Ｃ／／１、Ｃ／／２の直線Ｃからの距離を等しくしているが、数式１８を満足する限り等距離でなくてもよい。
【００８３】
【数１８】
【００８４】
次に、色にじみ推定量ＥＲ”、ＥＢ”が制限領域内に収まるように色にじみ推定量を補正する（Ｓ２５）。即ち、制限範囲を超えた色にじみ推定量は制限範囲の輪郭の値で置き換える。ここで、Ｓ２２までで算出された色にじみ推定量ＥＲ”、ＥＢ”を互いの関連を考慮せず別々に除去した場合を考える。この場合、個々には色にじみ推定量が大きくなりすぎないよう制限を行ったとしても、総合してみると色にじみ推定量を個別に除去した変化方向の合成方向への変化となって現れる。
【００８５】
よって、個々の合成により、図８に示すように色にじみと考えられる色相領域を超えるほど除去してしまう場合がある。このように色にじみとする色相領域を超えるような場合、色相が反転してしまい紫にじみが緑になるなど見た目に違和感のある画像となる。また、色にじみ色相領域内であっても青紫にじみが赤にじみに変化してしまうことも発生する。
【００８６】
このような変化を防ぐため、除去後の色度がＳ２４で算出した領域内に納まるように、色にじみ推定量ＥＲ”、ＥＢ”の同倍率だけ縮小するなどして補正をし、最終的な色にじみ推定量ＥＲ’’’、ＥＢ’’’を得る。以上で補正手段１５２の処理が終了する。
【００８７】
軽減手段１５３では、補正手段１５２で補正された色にじみ推定量ＥＲ’’’、ＥＢ’’’をそれぞれＲ、Ｂ成分の強度から差し引き、新たなＲ成分およびＢ成分の強度を次式のように定義する。
【００８８】
【数１９】
【００８９】
このように、ＲＢ成分を修正したカラー画像を色にじみ軽減部１５０の出力として視覚補正部１６０に渡す。
【００９０】
本実施例は結像光学系１１０から記録部１８０までを備えたカラー撮像装置について説明しているが、色にじみ軽減部１５０を除く一部或いは全部を別の装置として設け、本実施例を色にじみ軽減を行う画像処理装置を構成してもよい。この場合、本実施例と別体のカラー撮像装置で撮影され、半導体メモリ、磁気／光ディスクなとの記録媒体に格納されたカラー画像を画像処理装置で読み込み（入力）可能とするようにしてもよい。これは他の実施例にも当てはまる。
【００９１】
本実施例によれば、２つ以上の色成分からなる色にじみを色相反転などの違和感のある結果を生じることなしに補正することができる。また、色にじみの対象となる色成分を切り換えることなしに様々な色にじみに対応することが可能となる。更には、大きな色相変化が発生しないように制限をかけるため、自然な色にじみ軽減画像を得ることができる。
【実施例２】
【００９２】
実施例２の画像処理装置は、実施例１の画像処理装置と同様の構成をとるが、色にじみ軽減部が異なる。本実施例の色にじみ軽減部は、実施例１と同様に、ＲＢ成分を軽減対象とし、基準成分としてＧ成分を用いる。また、本実施例の色にじみ軽減部は、実施例１と同様に、推定手段、補正手段、軽減手段を有するが、補正手段１５２が行う領域算出（Ｓ２４）が実施例１と異なる。
【００９３】
本実施例の推定手段は、入力したカラー画像に対してＲ、Ｂ成分の色にじみ推定量ＥＲ、ＥＢを推定する。なお、色にじみ量の推定方法は、実施例１の画像強度傾斜、特許文献１、２に記載された他の推定方法など特に限定されないが、入力されたカラー画像の各色成分の色にじみ推定量を推定する。
【００９４】
本実施例の補正手段は、推定手段で算出された色にじみ推定量ＥＲおよびＥＢを用いて、色にじみ軽減後の色が違和感のない色になるように各色にじみ推定量の補正を行う。補正手段は、実施例１と同様に、図５に示す各ステップを実行するが、領域算出方法が異なる。本実施例の領域算出ステップでは、色にじみ推定量除去前後の色相変化がより少ないようにするために色相角度で領域を制限する。
【００９５】
まず、入力カラー画像の注目画素をａｂ色度図上で表した点Ｐ（ａ０，ｂ０）の色相角度ｈを算出する。色相角度ｈは次式で算出する。
【００９６】
【数２０】
【００９７】
色相制限角度をΔｈとすると、原点Ｏを通り色相角度ｈ±Δｈ上の直線をＣ＋Δｈ、Ｃ−Δｈとし、この２直線により色相を制限する。ここで直線Ｃ＋Δｈ、Ｃ−Δｈは次式で与えられ、直線Ｃを原点Ｏに関して等しい角度だけ回転することによって形成された直線（第４の直線）である。
【００９８】
【数２１】
【００９９】
最終的に制限領域は、図９に示すように、２つの直線Ｃ＋Δｈ、Ｃ−Δｈと実施例１で示した直線ＬＲ、ＬＢで囲まれた領域（図９において斜線で囲まれた領域Ｇ）となる。即ち、制限領域Ｇは、色にじみ発生領域Ｆにおいて、直線Ｃ⊥よりも原点側にある領域であって、かつ、２つの直線Ｃ＋Δｈ、Ｃ−Δｈに挟まれた領域であり、本実施例では更に２つの直線ＬＲ、ＬＢで挟まれた領域である。
【０１００】
ここで、２つの直線Ｃ＋Δｈ、Ｃ−Δｈと直線Ｃとがなす角の絶対値である色相制限角度Δｈは０〜１８０度までの値を用いることができ、色相変化の許容を表すパラメータとして設定する値であるが、大きすぎる値では色相制限の効果がなくなる。このため、実際は９０度よりも小さい角度、例えば、０度よりも大きく４５度以下とする。更に、色にじみ軽減後の違和感のない色相を考慮すると、２０〜３０度前後が好適である。なお、本実施例では、点Ｐからの色相変化を等しくするために２つの直線Ｃ＋Δｈ、Ｃ−Δｈの直線Ｃからの原点周りの角度を等しくしているが、上記角度を満足する限り等角度でなくてもよい。
【０１０１】
Ｓ２５に対応する補正量算出ステップでは、色にじみ推定量ＥＲ’、ＥＢ’が領域算出ステップで算出された領域内に納まるように補正を行う。
【０１０２】
軽減手段は、補正手段で補正された色にじみ推定量ＥＲ’、ＥＢ’をそれぞれＲ、Ｂ成分の強度から差し引き、このようにＲ、Ｂ成分を修正したカラー画像を視覚補正部に出力する。
【０１０３】
実施例２では、実施例１に比べより色相変化が少ないように制限領域を指定することで、色にじみの彩度を低下させることで自然な色にじみ軽減が可能となる。
【実施例３】
【０１０４】
実施例３の画像処理装置は、実施例１、２の画像処理装置と同様の構成をとるが、色にじみ軽減部が異なる。本実施例の色にじみ軽減部は、実施例１、２と同様に、ＲＢ成分を軽減対象とし、基準成分としてＧ成分を用いる。また、本実施例の色にじみ軽減部は、実施例２と同様に、推定手段、補正手段、軽減手段を有するが、補正手段１５２が行う領域算出（Ｓ２４）が実施例２と異なる。推定手段と軽減手段は実施例２の者と同様であるので説明を省略する。
【０１０５】
本実施例の補正手段は、推定手段で算出された色にじみ推定量ＥＲおよびＥＢによる除去結果を合成した上で、色にじみ軽減後の色が違和感のない色になるように各色にじみ推定量の補正を行う。補正手段は、実施例２と同様に、図５に示す各ステップを実行するが、領域算出（Ｓ２４）と補正量算出（Ｓ２５）の間に変化方向算出ステップを更に有し、補正量算出（Ｓ２５）の内容も実施例２と異なっている。
【０１０６】
まず、実施例２同様に、補正手段は、色度算出（Ｓ２３）で注目画素（ｘ，ｙ）の色度を計算し、領域算出（Ｓ２４）で色度座標上での制限領域を算出する。実施例２では、この領域内に限定した補正であれば良かったが、本実施例ではより厳しい制約を課している。
【０１０７】
即ち、補正手段は、推定手段で推定された色にじみ推定量ＥＲ、ＥＢの除去前後の変化方向を算出し、その方向を変えずに補正を行う。これは、色にじみ推定量ＥＲ、ＥＢは、推定手段において入力カラー画像の特性に基づいて算出されたものであるため、変化方向を保存することによって画像の特性を考慮した補正とするためである。
【０１０８】
図１０は、色相角度変化を制限角度内に抑えることを説明するための色度図である。同図に示すように、変化方向算出ステップにおいて、色にじみ推定量を除去する前の点Ｐ（ａ０，ｂ０）と除去後の点（第２の点）Ｑ１（ａ１，ｂ１）を結ぶ直線Ｃｋが算出される。
【０１０９】
次に、補正手段は、補正量算出（Ｓ２５）において、直線Ｃｋと、原点を通る制限色相角度を表す直線Ｃ−Δｈとの交点Ｑ２（ａ２，ｂ２）を算出する。ここで、原点Ｏを通る制限色相角度を表す直線は２つあるため交点も２つ存在するが（図１０では、直線Ｃｋと直線Ｃ＋Δｈの不図示の交点が存在する）色にじみを軽減する方向にある交点Ｑ２（ａ２，ｂ２）を選択する。
【０１１０】
次に、点Ｐ（ａ０，ｂ０）から点Ｑ１（ａ１，ｂ１）までの距離ｄ０と、点Ｐ（ａ０，ｂ０）から交点Ｑ２（ａ２，ｂ２）までの距離ｄ１の比ｒを算出する。この時、距離ｄ０が距離ｄ１より短い場合は色にじみ推定量を補正する必要がないため比ｒは次式のようにｄ１／ｄ０になる。
【０１１１】
【数２２】
【０１１２】
求めた比ｒを次式のように色にじみ推定量ＥＲ、ＥＢの値に乗じることにより、色相制限角度を超えない新たな色にじみ推定量ＥＲ’、ＥＢ’が算出される。
【０１１３】
【数２３】
【０１１４】
以上より、補正手段は、除去後の色度が制限領域内であった場合は補正を行わず、色度が制限領域外になる場合にのみ補正を行う。色度が制限領域を超える場合は、領域算出（Ｓ２４）で算出された領域を制限する直線との交点までしか色度が変化しないように補正量が制限されることになる。
【０１１５】
本実施例では、各色の色にじみ補正量を色にじみ軽減後の合成方向を表す直線上に制限することで、補正後の画像を入力カラー画像の特性により適合させている。また、画像中のノイズ等の影響による色にじみ補正量の推定エラーがあった場合でも、色相領域制限によりエラーを抑制し安定した色にじみ軽減結果が得られる。
【実施例４】
【０１１６】
図１１は、カラー画像に対して色にじみを軽減する実施例４の画像処理装置を有するカラー撮像装置４００のブロック図である。カラー撮像装置４００は、結像光学系４１０、色分解プリズム４１５、イメージセンサ４２０、ＡＤ変換部４３０、色にじみ軽減部４５０、視覚補正部４６０、圧縮部４７０、記録部４８０を有する。
【０１１７】
イメージセンサ４２０は実施例１と異なり３板式であり、それに伴い色分解プリズム４１５が追加され、実施例１に存在したデモザイク部１４０は不要となる。
【０１１８】
被写体からの光線は結像光学系４１０及び色分解プリズム４１５を経てイメージセンサ４２０上に結像する。色分解プリズムでは光の波長によって光線の進行方向が異なるためＲ、Ｇ、Ｂの波長域によって異なるイメージセンサ４２０に到達する。このため、イメージセンサ４２０はカラーフィルタを備えず、各々ＲＧＢの各色成分に対応する像を得る。
【０１１９】
結像光学系４１０は、実施例１と同様に、Ｇ波長域においてのみ色収差が良好に補正され、Ｒ波長域およびＢ波長域では色収差が残存するものとする。
【０１２０】
３板式では各イメージセンサの前後位置を調整することにより、色収差を補正することも可能であるが、光学系のズーム位置などによる収差量変動に対応できないため、本実施例ではそのような調整は考慮しない。このため、Ｇ成分に比してＲ、Ｂ成分の解像度が劣り、３つの色成分を合成したカラー画像においては実施例１と同様に紫の縁取りのようなアーティファクトが生じる。
【０１２１】
ＡＤ変換部４３０では三枚のイメージセンサからアナログ電圧として出力されるＲＧＢ各色成分の画像を、以降の画像処理に適するデジタルデータへと変換する。
【０１２２】
色変換部４３５では色表現をＲＧＢからＹＵＶに変換する。これにはマトリクス演算が用いられ、次式のように、Ｙ、Ｕ、Ｖの３つの成分が得られる。このＹ成分は輝度を、Ｕ成分は青みを、Ｖ成分は赤みを示す。
【０１２３】
【数２４】
【０１２４】
色にじみ軽減部４５０では画像処理により入力カラー画像よりこのアーティファクトを除去する。色にじみ軽減部４５０は、後述するように、推定手段４５１、補正手段４５２、軽減手段４５３を有し、Ｕ、Ｖ成分を除去対象とし、基準成分としてＹ成分を用いる。視覚補正部４６０、圧縮部４７０、記録部４８０は実施例１の視覚補正部１６０、圧縮部１７０、記録部１８０と同様である。
【０１２５】
図１２は、推定手段４５１の動作を説明するためのフローチャートであり、「Ｓ」はステップの略である。
【０１２６】
まず、推定手段４５１は、実施例１の色相判定１５１ａと同様の処理を行い（Ｓ１４）、
次に、飽和画素からの距離を算出する（Ｓ１５）。
【０１２７】
ここで、距離を算出する理由を説明する。色にじみは図２（ａ）の典型的なプロファイルに示したように、高輝度被写体周辺に発生する。このにじみの強さは高輝度被写体の輝度に依存し、また高輝度被写体から離れるに従い、指数的に弱くなる。つまり、高輝度被写体を探索し、そこからの距離に応じて色にじみ量を推定することができる。
【０１２８】
高輝度被写体の探索は輝度を表すＹ成分が飽和しているか否かで行うことができ、探索された飽和画素からの距離に応じてＵ、Ｖ成分のにじみ量を推定することが可能となる。従って、Ｓ１５では、Ｙ成分の強度が閾値（Ｙ≧０．８）以上となる飽和画素から色にじみ画素までの距離ｄＹを画素幅単位で算出する。
【０１２９】
例えば、図１３に示すように、左上の領域（斜線部分）が飽和画素だとすれば、距離は各画素に記した数値のようになる。ここで飽和画素内は距離０とする。
【０１３０】
Ｙ成分強度の閾値としては、ＡＤ変換部の出力値と入射光強度の関係が比例関係から外れる出力値とする。これ以上の出力値を持つ状態を飽和していると呼ぶ。距離の算出は一般に画像距離変換と呼ばれる。なお、この距離は正確なユークリッド距離に限らず、準ユークリッド（ｑｕａｎｓｉ−Ｅｕｃｌｉｄｅａｎ）距離や、チェスボード距離、シティブロック距離で代用してもよい。この画像距離変換により飽和画素は０、非飽和画素は正値となる。
【０１３１】
次に、推定手段４５１は、飽和画素からの距離が閾値以内の画素であるかの判定を行う（Ｓ１６）。ここで、閾値は色にじみの広がりによって決定されるもので、結像光学系やイメージセンサの画素ピッチ、または被写体の輝度によって左右される。このため、結像光学系やイメージセンサの特性に応じて決定してもよいし、様々な結像光学系やイメージセンサに対応できるよう閾値を大きい値に設定しておいてもよいし、隣接する飽和画素の面積に応じてその周囲の距離閾値を可変にするのもよい。
【０１３２】
次に、推定手段４５１は、Ｓ１６で色にじみと判定された画素に対して色にじみとなっている余分なＵ、Ｖ成分の強度を推定する（Ｓ１７）。前述のように、軽減すべきＵ、Ｖ成分の画像強度はＹ成分の飽和画素からの距離によって算出することができる。よって色にじみ推定量ＥＵ、ＥＶを次式のように算出し、補正手段４５２に渡す。
【０１３３】
【数２５】
【０１３４】
ｋＵ０、ｋＵ１、ｋＶ０、ｋＶ１は定数であり、結像光学系やイメージセンサの画素ピッチによって異なるため、撮影画像から色にじみ量を近似するのに好適な値を求めるのが望ましい。厳密には、結像光学系の特性はズーム位置、絞り値、フォーカス位置やはてまたレンズ交換といった状態や像高によって変化するため、これらに従い定数ｋＵ０、ｋＵ１、ｋＶ０、ｋＶ１を変えてもよい。或いは、後述の補正手段４５２の存在を考慮し、結像光学系の特性変化に対応できるように、過大な色にじみ量を推定する定数を設定してもよい。結果として、色にじみ量を近似するのに好適な値より過大な色にじみ量を推定する定数を設定するのが好適である。
【０１３５】
次に、補正手段４５２は、推定手段４５１で算出された色にじみ推定量ＥＵおよびＥＶに対して相互関係を考慮して補正を行い、Ｕ、Ｖ成分において実際に除去する色にじみ推定量ＥＵ’、ＥＶ’を決める。補正手段４５２は、ＵＶ色度図を使用する。
【０１３６】
図１４（ａ）は、ＵＶ色度図の一例を示している。青色はＵ＞０、赤色はＶ＞０の領域となる。Ｕ、Ｖ成分から色にじみ推定量ＥＵ、ＥＶを除去すると、点線矢印のように左方向から下方向の範囲で移動する。この向きは色にじみ推定量ＥＵ、ＥＶの比率で変化する。矢印の始点が除去前の色度であり、先端が色にじみ推定量ＥＵ、ＥＶ除去後の色度である。ここで、Ｕ≦０の画素では青味が少ないのでＥＵ’＝０とし、ＥＶによって赤味のみを除去する。
【０１３７】
このとき、ＥＶによってＶ成分が負の値になるのを防ぐため次式のように設定する。
【０１３８】
【数２６】
【０１３９】
同様に、Ｖ≦０の画素では赤味が少ないのでＥＶ’＝０とし、ＥＵは次式のように設定して青味のみを除去する。
【０１４０】
【数２７】
【０１４１】
Ｕ＞０かつＶ＞０の画素に対しては、色相角度ｈを算出し、色相角度によって色にじみ推定量ＥＵ、ＥＶの割合を変化させ、除去後の値が原点方向に向かうようにする。例えば、色相角度ｈがＵ＝０を基準としたとき４５度であれば、色にじみ推定量ＥＵ、ＥＶの割合は１：１になるように制限される。同様に、３０度であればＥＵ：ＥＶ＝√３：１の割合とする。よって補正後の色にじみ推定量ＥＵ’、ＥＶ’は０°＜ｈ＜４５°のときは次式のようになる。
【０１４２】
【数２８】
【０１４３】
また、４５°＜ｈ＜９０°のときは次式のようになる。
【０１４４】
【数２９】
【０１４５】
これにより、色相を変化させることなしに青味および赤味を軽減することができる。しかし、色にじみ推定量が大きいと除去後の値が第１象限から外れ、第３象限にいってしまい色相反転が発生する。
【０１４６】
そこで、Ｕ≧０かつＶ≧０に納まるような大きさにＥＵ’、ＥＶ’を補正する必要がある。制限方法としては実施例１、２と同様の色相角度および色相制限角度を用いるのが有効である。
【０１４７】
具体的には、図１４（ｂ）に示すように、色相角度ｈが０°＜ｈ＜４５°の時は、ｈ−Δｈの直線かＶ＝０の直線との交点のうち除去前の座標から近いほうの交点までの距離をＥＵとして式を計算し、色にじみ推定量ＥＵ’およびＥＶ’を算出する。
【０１４８】
同様に、色相角度ｈが４５°＜ｈ＜９０°の時は、ｈ＋Δｈの直線かＵ＝０の直線との交点のうち除去前の座標から近いほうの交点までの距離をＥＶとして式を計算し、色にじみ推定量ＥＵ’およびＥＶ’を算出する。
【０１４９】
これにより、除去前の値が第１象限にある画素の場合も、除去後にＵ≧０かつＶ≧０に納まる大きさの色にじみ推定量ＥＵ’、ＥＶ’を算出することができる。
【０１５０】
このＥＵ’、ＥＶ’の除去による色度変化は図１４（ａ）に実線矢印で記したように、各象限内で留まるようになる。第２象限ではＶのみが変化し、第４象限ではＵのみが変化、第３象限では無変化となる。これは、Ｒ、Ｂの強度が輝度Ｙを下回って減少することはなく、また、元々Ｙの下にあるＲ、Ｂは変化しないことを表している。
【０１５１】
以上のように補正された色にじみ推定量ＥＵ’、ＥＶ’を最終的な色にじみ推定量として軽減手段４５３に渡す。軽減手段４５３では、補正手段４５２で補正された色にじみ推定量ＥＵ’、ＥＶ’をＵ、Ｖ成分の強度から差し引き、新たなＵ、Ｖ成分の強度を設定する。
【０１５２】
【数３０】
【０１５３】
このようにＵ、Ｖ成分を修正したカラー画像を本色にじみ軽減部の出力として視覚補正部４６０に渡す。
【０１５４】
本実施例においては、Ｙ成分にＢ成分やＲ成分のにじみが混入するため、白く残るにじみの量はＧ成分を基準成分とした場合に比べやや大きくなるが、主な計算を高い精度が不要なＵ、Ｖ成分において行うことで処理装置のコストを抑えることができる。
【０１５５】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、本実施例ではＲ、Ｂ成分によって生じる色にじみを軽減しているがＧ成分によって生じる色にじみを更に軽減してもよい。
【産業上の利用可能性】
【０１５６】
画像処理装置は画像処理の用途に適用することができる。
【符号の説明】
【０１５７】
１５１、４５１…推定手段、１５２、４５２…補正手段、１５３、４５３…軽減手段
【技術分野】
【０００１】
本発明は、カラー画像に対して色にじみを軽減する画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
カラー撮像系では結像光学系の色収差により、画像上で明るい部分の周囲に本来存在しない色が色にじみとして生じる。色にじみは結像光学系の中心波長から離れた部分で起きやすく、可視光カラー撮像系では、青や赤、或いは双方が混じった紫色のアーティファクトがにじみ状に生じ、色にじみやパープルフリンジと呼ばれる。近年、アーティファクトを低減する画像処理方法が提案されている。
【０００３】
例えば、特許文献１、２は、色にじみの色成分ごとに空間演算を行うことで色にじみ領域および色にじみ強度を算出し、色成分ごとのにじみ推定量を入力カラー画像から減算することにより色にじみを軽減する画像処理方法を提案している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１４７９８０号公報
【特許文献２】特開２００８−１４７９８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１、２に記載されている画像処理方法では、色にじみ成分が２成分以上になると、異なる色のにじみに変化したり、色相反転が発生したりするなど、色味が不自然な画像となる。色にじみ成分毎に個別に色相反転が生じないように除去量を制限しているが、カラー画像として合成された際に除去量が合成されて過剰な除去となって色相反転は発生する。また、異なる色のにじみを防止するためには、補正対象となる色成分を切り換える必要があり、その情報がなければ補正できないという問題がある。特に、特許文献１に開示された色成分毎の隣接画素間の画像強度傾斜によって色にじみの補正量を推定する推定手段を使用する場合には推定精度が必ずしも高くないために、上記の問題が発生し易い。
【０００６】
本発明は、色にじみが軽減された画像の色味が自然となるようにすることが可能な画像処理装置、画像処理方法およびプログラムを提供することを例示的な目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、カラー画像に対して色にじみを軽減する処理を行う画像処理装置であって、２つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定する推定手段と、前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定手段によって推定された各色成分の色にじみ推定量を補正する補正手段と、前記補正手段で補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減する軽減手段と、を有し、前記制限領域は、前記色にじみ発生領域において、色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第１の点と前記色度図の原点を通る第１の直線に垂直で前記第１の点を通る第２の直線よりも原点側にある領域であって、かつ、前記第１の直線を挟み、前記第１の直線から前記原点と前記第１の点との距離の半分以下の距離だけ離れた前記第１の直線と平行な２つの第３の直線または前記原点を通り、前記第１の直線となす角度の絶対値が４５度以下である２つの第４の直線に挟まれた領域に挟まれた領域であることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、色にじみが軽減された画像の色味が自然となるようにすることが可能な画像処理装置、画像処理方法およびプログラムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の撮像装置のブロック図である。（実施例１）
【図２】図２（ａ）は、高輝度な被写体に対するＲ成分、Ｂ成分及びＧ成分の典型的なプロファイルを示す図であり、図２（ｂ）は非線形変換の特性を示す図である。（実施例１）
【図３】図１に示す色にじみ軽減部の全体の動作を説明するためのフローチャートである。（実施例１）
【図４】図１に示す推定手段の動作を説明するためのフローチャートである。（実施例１）
【図５】図１に示す補正手段の動作を説明するためのフローチャートである。（実施例１）
【図６】ａｂ色度図の図である。（実施例１）
【図７】ａｂ色度図における制限領域を示す図である。（実施例１）
【図８】Ｒ成分とＢ成分を同時に補正した場合の色度座標上の変化方向を示す図である。（実施例１）
【図９】色度座標において色相角度で制限する領域の算出を説明するための図である。（実施例２）
【図１０】色度座標において色相角度変化を制限角度内に抑える補正量算出ステップを説明する図である。（実施例３）
【図１１】本発明の撮像装置のブロック図である。（実施例４）
【図１２】図１１に示す推定手段の動作を説明するためのフローチャートである。（実施例４）
【図１３】飽和画素から周囲の各画素までの距離を示す図である。（実施例４）
【図１４】色度図の図である。（実施例４）
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明の実施例について説明する。
【実施例１】
【００１１】
図１は、カラー画像に対して色にじみを軽減する実施例１の画像処理装置を有する撮像装置１００のブロック図である。撮像装置１００は、結像光学系１１０、イメージセンサ（撮像素子）１２０、ＡＤ変換部１３０、デモザイク部１４０、色にじみ軽減部１５０、視覚補正部１６０、圧縮部１７０、記録部１８０を有する。
【００１２】
図１において、写野（被写体）ｆは、結像光学系１１０を経てイメージセンサ１２０上に結像する。本実施例の結像光学系１１０は全ての波長域においてある程度の色収差が補正されているが、特にＧ波長域での色収差が良好に補正されており、他波長ではＧ波長域より色収差が残存している。色収差の補正基準を下げることにより、その他の収差補正や、小型化、低コスト化をより高い水準で実現できる。
【００１３】
イメージセンサ１２０は、被写体像を光電変換し、一般的な原色カラーフィルタ系を備える単板カラーイメージセンサとする。原色カラーフィルタ系は、特許文献１の図４に示すように、各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の色フィルタからなり、各々Ｒ、Ｇ、Ｂの各バンドに対応する色成分を撮影する。単板カラーイメージセンサでは、この色フィルタは、特許文献１の図５に示すように、画素毎に空間的に配列し、各画素に対しては各々単一の色成分における強度を得ることしかできない。このためイメージセンサからは色モザイク画像が出力される。或いは、色分解プリズムを用いてＲ、Ｇ、Ｂの波長域に分け、それぞれ異なるイメージセンサで結像する３板式カラーイメージセンサを用いてもよい。この場合、デモザイク部１４０は不要となる。
【００１４】
ＡＤ変換部１３０では、イメージセンサからからアナログ電圧として出力される色モザイク画像を画像処理に適するデジタルデータへと変換する。
【００１５】
デモザイク部１４０では、色モザイク画像を補間することによって、全ての画素においてＲＧＢの色情報が揃ったカラー画像を生成する。なお、補間手法は限定されない。生成されたカラー画像は結像光学系１１０の色収差によって、Ｇ成分に比してＲやＢ成分の解像度が劣る画像となる。
【００１６】
このため明暗の境界部では、特許文献１の図６に示すように、赤や青がぼやけ、明部の周囲に赤や青、両者が混じった紫の縁取りのようなアーティファクトが生じる。ここで、結像光学系の特性及び画像中の光源の分光分布等によりＲ、Ｂのにじみの程度が異なる。なお、イメージセンサ１２０が補色系カラーフィルタの場合でも、色変換処理によって同様にＲ、Ｇ、Ｂの色成分からなるカラー画像が得られる。
【００１７】
色にじみ軽減部１５０は、後述するように、空間的な演算を行い色にじみ領域を抽出し、色にじみ量を推定して入力カラー画像から推定量を減算等の処理により軽減する画像処理装置を構成する。
【００１８】
次に、視覚補正部１６０により、主として画像の見栄えを改善するための処理（例えば、トーンカーブ（ガンマ）補正、彩度強調、色相補正、エッジ強調）がカラー画像に対して行われる。
【００１９】
次に、圧縮部１７０が、補正されたカラー画像をＪＰＥＧ等の方法で画像圧縮を行い、記録時のサイズを小さくする。
【００２０】
これらイメージセンサ１２０から記録部１８０は実際には別体のデバイスとは限らず、単一のマイクロプロセッサ（マイクロコンピュータ）が複数の部に係る処理を行うこともある。圧縮処理が行われたデジタル画像信号は、記録部１８０にてフラッシュメモリ等の記録媒体に記録される。
【００２１】
図２（ａ）は、高輝度な被写体に対するＲ、Ｇ及びＢ成分の典型的なプロファイルを示し、横軸は画像上の断面であり、縦軸はＲ、Ｇ及びＢ成分の強度である。図２（ａ）では中央部に飽和レベルを超える高輝度被写体が存在する。そして、本来明るくない高輝度被写体周囲も、収差やフレアにより高輝度被写体からにじんだ光によって、プロファイルの裾が拡がる。このにじみの強さは高輝度被写体の輝度に依存し、また高輝度被写体から離れるに従い、指数的に弱くなる。
【００２２】
特許文献１に説明されているように、撮影画像としては本来の高輝度被写体より一回り大きくＲ、Ｇ、Ｂ成分が飽和し、白く飽和した領域ができる。Ｒ成分とＢ成分はほぼ同じプロファイルとする。この先、Ｇ成分は減衰していくがＲ及びＢ成分の飽和半径は更に広いため、徐々にＧ成分とＲ及びＢ成分の画像強度差は大きくなり、マゼンタとなり色味を増していく。
【００２３】
しかし、飽和半径に達するとＲ、Ｂ成分も減衰を始め、この先ではＧ成分とＲ、Ｂ成分の画像強度差は小さくなっていき、紫のにじみとなっていく。あるところで、Ｇ成分の裾の端に達すると、その先はＲ、Ｂ成分のみが強度を持ち、より彩度の高い紫のにじみへと変化していく。
【００２４】
このマゼンタや紫のにじみ本来存在しない色にじみであり、輝度飽和領域周辺の色として不自然なものとなる。本実施例は、このようなＲ、Ｂ成分によって発生する、本来は存在しない紫のにじみ、あるいは赤にじみ、青にじみを軽減対象の色にじみとする。これらの不自然な色にじみを色にじみ軽減部１５０で軽減し自然な色味に補正する。
【００２５】
図３は、色にじみ軽減部１５０による画像処理のフローチャートであり、「Ｓ」はステップの略である。図３に示すフローチャートは、コンピュータを各ステップ（手段）として機能させるためのプログラムとして具現化可能であり、これは後述する他のフローチャートにも当てはまる。
【００２６】
色にじみ軽減部１５０は、推定手段１５１、補正手段１５２、軽減手段１５３を有し、Ｒ成分、Ｂ成分を軽減対象とし、基準成分としてＧ成分を用いる。
【００２７】
図３に示すように、色にじみ軽減部１５０は、入力画像においてある座標（ｘ，ｙ）＝（０，０）の画素を注目画素として画像処理を開始する（Ｓ２）。そして、その画素に対して、推定手段１５１による推定処理（Ｓ１０）、色にじみ判定（Ｓ４）、補正手段１５３による補正処理（Ｓ２０）、軽減手段１５３による軽減処理（Ｓ３０）が行われる。続いて、ｘ、ｙを最大値までインクリメントして（Ｓ６、ｓ８）出力画像を出力する。なお、以下の説明では色にじみ判定Ｓ４を補正処理Ｓ２０の一部（Ｓ２１）としているが、推定処理Ｓ１０の一部でもよいし、図３に示すように、両者から独立していてもよい。
【００２８】
図４は、色にじみ軽減部１５０の推定手段１５１の動作を説明するためのフローチャートであり、「Ｓ」はステップの略である。
【００２９】
図４を参照すると、推定手段１５１では、まず、注目画素（ｘ，ｙ）が色にじみ画素かどうか、具体的には、注目画素の色相（赤や黄などの色味の違い）を算出し、色相が色にじみと考えられる色相であるかどうかの簡易的な判定を行う（Ｓ１１）。
【００３０】
ここで、「色にじみと判定する色相」は、２つの色相角度ｈｍｉｎ、ｈｍａｘで指定する。注目画素の色相角度をｈとすると、次式を満足すれば色にじみと考えられる色相であると判定する。例えば、赤（０°）、黄（６０°）、緑（１２０°）、水色（１８０°）、青（２４０°）、紫（３００°）において、本来存在しない紫の色相角度にｈｍｉｎ、ｈｍａｘを設定する。
【００３１】
【数１】
【００３２】
更に、色にじみ画素の判定として、注目画素（ｘ，ｙ）において基準となるＧ成分の画像強度に注目し、飽和していると考えられる場合は色にじみ領域ではないと判定する。これは、高輝度被写体において基準となる色成分が飽和していれば、他の色成分も飽和している可能性が高いため色にじみが発生しないと考えられるためである。ここで飽和とは、画像強度を０〜１の値を持つとすると閾値を０．９程度にし、閾値以上の強度を持つ場合とする。
【００３３】
Ｓ１１で色にじみ画素でないと判定されれば、注目画素の色にじみ推定量ＥＲ、ＥＢを０として処理を終了して次の画素へと進む。
【００３４】
Ｓ１１で色にじみと判定された画素に対してＲＧＢ各色成分に対する信号強度の傾き（画像強度傾斜）を算出する（Ｓ１２）。飽和輝度周辺においては、画像の色成分毎に減衰に着目してみるとＧ成分の減衰が収束しているが、Ｒ、Ｂ成分の減衰が収束していないことでにじみが発生する。
【００３５】
減衰が収束している場合は強度傾斜が小さく、減衰が収束していない場合は強度傾斜が大きくなるため、減衰が収束しているかどうかは、色成分毎の画像強度傾斜でおおよそ判断することができる。このように、色にじみ領域の特定および色にじみ量の推定には画像強度および画像強度傾斜が有益であるため、推定手段１５１は隣接画素間の色成分毎の信号強度の傾き（勾配）を用いて色にじみ量を画素ごとに（領域ごとに）推定する。なお、従来技術に記載された他の方法を利用して推定してもよい。
【００３６】
各色成分の画像強度傾斜をそれぞれ∇Ｒ、∇Ｇ、∇Ｂとすると、∇Ｒ、∇Ｇ、∇Ｂは次式で与えられる。
【００３７】
【数２】
【００３８】
ここで、Ｒ（ｘ＋１，ｙ）、Ｇ（ｘ＋１，ｙ）、Ｂ（ｘ＋１，ｙ）は、Ｒ、Ｇ、Ｂ成分における注目画素右隣の画素値、Ｒ（ｘ−１，ｙ）、Ｇ（ｘ−１，ｙ）、Ｂ（ｘ−１，ｙ）は、ＲＧＢ成分における注目画素左隣の画素値とする。また、Ｒ（ｘ，ｙ＋１）、Ｇ（ｘ，ｙ＋１）、Ｂ（ｘ，ｙ＋１）は、Ｒ、Ｇ、Ｂ成分における注目画素下隣の画素値、Ｒ（ｘ，ｙ−１）、Ｇ（ｘ，ｙ−１）、Ｂ（ｘ，ｙ−１）は、Ｒ、Ｇ、Ｂ成分における注目画素上隣の画素値とする。また、画像強度傾斜の演算にあたって算出範囲をより大きくしたり、斜め画素も使うなど他の方法でも良いが、演算量の観点や効果の観点からも前述の画像強度傾斜の算出方法が好適である。
【００３９】
次に、ＲＧＢ成分の画像強度傾斜∇Ｒ、∇Ｇ、∇Ｂの絶対値に係数ｋＲ、ｋＧ、ｋＢを乗じて、次式に示すように、色にじみ推定量ＥＲ、ＥＧ、ＥＢを算出する（Ｓ１３）。
【００４０】
【数３】
【００４１】
ここで、係数ｋＲ、ｋＧ、ｋＢは正値であり、３前後が好適である。ＲＢ成分が飽和している領域では画像強度傾斜が０になり、飽和していない場合の画像強度傾斜を得ることができない。そこで、そのような領域に対する画像強度傾斜をＧ成分の画像強度傾斜により算出する。このため、数式３では色にじみ推定量ＥＧを算出している。この色にじみ推定量ＥＧは以降の補正手段１５２で使用する。
【００４２】
以上で色にじみ画素における色にじみ推定量ＥＲ、ＥＢが算出され、推定手段１５１の推定処理Ｓ１０が終了し補正手段１５２の処理へ移る。
【００４３】
図５は、色にじみ軽減部１５０の補正手段１５２の動作を説明するためのフローチャートであり、「Ｓ」はステップの略である。補正手段１５２は、推定手段１５１で算出された色にじみ推定量ＥＲおよびＥＢを用いて、色にじみ軽減後の色が自然な色になるように各色にじみ推定量の補正を行う。
【００４４】
図５を参照すると、補正手段１５２は、まず、色にじみ領域をＳ１１で算出した画像強度傾斜を用いて、基準色成分（Ｇ成分）と色にじみ色成分の画像強度傾斜の比を用いて色にじみ判定を行う（Ｓ２１）。
【００４５】
色にじみ判定では、色にじみ領域を信号強度の傾きで判断し、傾き量がある値以上の場合は色にじみであると判定する。この際にＲ、Ｂの信号強度の傾きのみではなく、基準成分であるＧの信号強度の傾きも算出して比較することにより、より正確に色にじみ領域を特定することができる。例えば、Ｇの信号強度の傾きに対してＲ、Ｂの信号強度の傾きが大きい場合、色にじみである可能性が高いと判断する。本実施例の推定方法は計算が単純であるものの誤差が生じやすいため、推定手段による推定量は後述するように補正する必要がある。
【００４６】
色にじみでないと判定された場合は、推定手段１５１で求めた色にじみ推定量を０とする。なお、色にじみの判定は推定手段１５１が行ってもよい。
【００４７】
Ｒ成分のＧ成分に対する画像強度傾斜の比の閾値をαＲＧとすると、補正された色にじみ推定量ＥＲ’は次式で表すことができる。
【００４８】
【数４】
【００４９】
Ｂ成分についても同様に次式で表すことができる。
【００５０】
【数５】
【００５１】
ここで、画像強度傾斜の比の閾値αＲＧ、αＢＧは結像光学系の特性などに依存するが、２前後が好適である。
【００５２】
次に、補正手段１５２はＲ成分の強度に対する非線形変換を行い、飽和度ＳＲを生成する（Ｓ２２）。この非線形変換はＲ成分が飽和しているかどうかを示すものであり、Ｒ成分の強度が飽和している領域では１を、Ｒ成分の強度が飽和していない場合は０となる。このように飽和度ＳＲは０／１の２値でもよいが、図２（ｂ）に示すように、０〜１にかけて連続的に変化する値としてもよい。この場合、飽和度ＳＲは次式で表すことができる。
【００５３】
【数６】
【００５４】
飽和度ＳＲによって算出した色にじみ推定量ＥＲ又はＥＧを選択する。すなわち、飽和度ＳＲが０／１の２値であれば新たな色にじみ推定量ＥＲ”を次式のように定義する。
【００５５】
【数７】
【００５６】
また、飽和度ＳＲが０〜１にかけて連続的に変化する値であれば、新たな推定量ＥＲ”を次式のように定義する。
【００５７】
【数８】
【００５８】
同様にＢ成分の色にじみ推定量ＥＢ”は、飽和度をＳＢとすると次式のように定義する。
【００５９】
【数９】
【００６０】
もしくは、ＳＢが０〜１にかけて連続的に変化する値であれば次式のように定義する。
【００６１】
【数１０】
【００６２】
これにより、Ｓ２１において色にじみと判定されてもＲＢ成分が飽和しており、色にじみと判定されなかった画素も補正対象とすることになる。
【００６３】
次に、補正手段１５２は注目画素（ｘ，ｙ）の色度およびＳ２２において補正された色にじみ推定量ＥＲ”、ＥＢ”を各色成分から減算した値による色度を計算する（Ｓ２３）。色度は色相と彩度を合わせた情報を有する。まず、色度算出はＲ、Ｇ、Ｂの各成分の強度に対し、特許文献２の数式１、２にあるように行う。
【００６４】
【数１１】
【００６５】
数式１１の係数は、ＲＧＢ座標をｘｙｚ表色系に変換するためのディスプレイ用の一般的な係数である。また、ｘｙｚ表色系から簡略化したＬａｂ表色系への変換には次式を用いる。ここでは計算コストを減らすために簡略化したＬａｂ表色系を用いているが、より人間の感覚と一致させるため簡略化しない本来のＬａｂ表色系でもよい。
【００６６】
【数１２】
【００６７】
ここで、このａｂ色度図およびａｂ色度図とＲ、Ｂ成分の対応を説明する。ａｂ色度図を図６（ａ）に示す。同図において、青色は第４象限にあり、第１象限に向かうに従って赤味を増して紫、マゼンタになっていく。第１象限は、第２象限に向かうに従って、マゼンタから赤そして黄色となる。
【００６８】
よって、ＲＢ成分の影響によって発生する色にじみは、ａｂ色度図上ではおおよそ図６（ａ）の斜線部Ｆで表される領域（色にじみ発生領域）の色味となる。この領域Ｆは、色にじみによって変化するもので、必ずしも斜線で表される領域に限定されるものではなく、例えば、第３象限の一部の色相に対しても青にじみとして捉えてもよい。
【００６９】
このａｂ色度図においてＢ成分から色にじみ推定量ＥＢ”を除去すると、図６（ｂ）に示す点線矢印のように左上方向へ移動する。矢印の始点が除去前の色度であり、先端が色にじみ推定量ＥＢ”を除去した後の色度である。同様に、Ｒ成分から色にじみ推定量ＥＲ”を除去すると、図６（ｂ）に示す実線矢印のように左下方向へ移動する。
【００７０】
次に、補正手段１５２は制限領域を算出する（Ｓ２４）。図７は、色度座標における制限領域を示す図である。まず、色にじみが軽減される前の入力カラー画像の注目画素がａｂ色度図上で対応する点（第１の点）をＰ（ａ０，ｂ０）とすると、点Ｐと原点Ｏを通る直線（第１の直線）をＣとする。直線Ｃは次式で表現される。
【００７１】
【数１３】
【００７２】
次に、点Ｐを通り直線Ｃと垂直に交わる直線（第２の直線）をＣ⊥とし、点Ｐから等距離ｄ離れた直線Ｃ⊥上の２点であるＱ１（ａ１，ｂ１）とＱ２（ａ２，ｂ２）を通り、直線Ｃと平行な２つの直線（第３の直線）をそれぞれＣ／／１、Ｃ／／２とする。直線Ｃ⊥は次式で表現される。
【００７３】
【数１４】
【００７４】
２つの直線Ｃ／／１、Ｃ／／２は、次式で表現されて直線Ｃから等距離にあり、直線Ｃは２つの平行な直線Ｃ／／１、Ｃ／／２に挟まれる。
【００７５】
【数１５】
【００７６】
また、ａｂ色度図において、Ｒ成分のみ除去した場合の色度変化の軌跡を表す直線（第５の直線）をＬＲ、同様にＢ成分のみ除去した場合の色度変化の軌跡を表す直線（第５の直線）をＬＢとする。Ｒ、Ｂ成分をそれぞれ独立に除去した場合の色度変化方向は一定であり、これら２つ以上の直線（第５の直線）の傾きは数式７、数式８より、
ＬＲの傾き＝０．３８
ＬＢの傾き＝−３．２
となる。直線ＬＲ、ＬＢは点Ｐを通るので、次式が成立する。
【００７７】
【数１６】
【００７８】
以上より、制限領域は、４つの直線であるＣ⊥、Ｃ／／１、Ｃ／／２、ＬＲ、ＬＢおよびＳ１０で用いた色にじみ発生領域Ｆを制限する直線で囲まれた領域（即ち、図７の斜線で囲まれた領域Ｇ）となる。
【００７９】
即ち、制限領域は、まず、色にじみ発生領域Ｆにおいて、直線Ｃ⊥よりも原点側にある領域であって、かつ、２つの直線Ｃ／／１、Ｃ／／２で挟まれた領域であり、本実施例では、更に２つの直線ＬＲ、ＬＢで挟まれた領域である。
【００８０】
ここで、領域Ｆを形成する直線は、図７ではａ＝０の直線と第１象限にある直線Ｌの２つの直線であり、一般的には色相角度ｈを用いて次式で表される。
【００８１】
【数１７】
【００８２】
距離ｄは大きくすると制限領域が広くなり大きな色相変化を許容することになる。反対に距離ｄを小さくすると最終的には制限領域は直線Ｃに一致し、彩度低減処理と同様になる。また、除去後の点が原点周辺であれば色相変化がある程度大きくとも彩度が低いため違和感が少ないが、原点から離れた点の場合は彩度が高いため色相変化が目立ち違和感が生じる。よって、距離ｄは大きな値では制限効果がなくなり好ましくない。また、彩度に応じて決定するのが好ましい。このため、距離ｄは０よりも大きく原点Ｏから点Ｐの距離の半分以下の値とするのが好適である。なお、本実施例では、点Ｐからの色相変化を等しくするために２つの直線Ｃ／／１、Ｃ／／２の直線Ｃからの距離を等しくしているが、数式１８を満足する限り等距離でなくてもよい。
【００８３】
【数１８】
【００８４】
次に、色にじみ推定量ＥＲ”、ＥＢ”が制限領域内に収まるように色にじみ推定量を補正する（Ｓ２５）。即ち、制限範囲を超えた色にじみ推定量は制限範囲の輪郭の値で置き換える。ここで、Ｓ２２までで算出された色にじみ推定量ＥＲ”、ＥＢ”を互いの関連を考慮せず別々に除去した場合を考える。この場合、個々には色にじみ推定量が大きくなりすぎないよう制限を行ったとしても、総合してみると色にじみ推定量を個別に除去した変化方向の合成方向への変化となって現れる。
【００８５】
よって、個々の合成により、図８に示すように色にじみと考えられる色相領域を超えるほど除去してしまう場合がある。このように色にじみとする色相領域を超えるような場合、色相が反転してしまい紫にじみが緑になるなど見た目に違和感のある画像となる。また、色にじみ色相領域内であっても青紫にじみが赤にじみに変化してしまうことも発生する。
【００８６】
このような変化を防ぐため、除去後の色度がＳ２４で算出した領域内に納まるように、色にじみ推定量ＥＲ”、ＥＢ”の同倍率だけ縮小するなどして補正をし、最終的な色にじみ推定量ＥＲ’’’、ＥＢ’’’を得る。以上で補正手段１５２の処理が終了する。
【００８７】
軽減手段１５３では、補正手段１５２で補正された色にじみ推定量ＥＲ’’’、ＥＢ’’’をそれぞれＲ、Ｂ成分の強度から差し引き、新たなＲ成分およびＢ成分の強度を次式のように定義する。
【００８８】
【数１９】
【００８９】
このように、ＲＢ成分を修正したカラー画像を色にじみ軽減部１５０の出力として視覚補正部１６０に渡す。
【００９０】
本実施例は結像光学系１１０から記録部１８０までを備えたカラー撮像装置について説明しているが、色にじみ軽減部１５０を除く一部或いは全部を別の装置として設け、本実施例を色にじみ軽減を行う画像処理装置を構成してもよい。この場合、本実施例と別体のカラー撮像装置で撮影され、半導体メモリ、磁気／光ディスクなとの記録媒体に格納されたカラー画像を画像処理装置で読み込み（入力）可能とするようにしてもよい。これは他の実施例にも当てはまる。
【００９１】
本実施例によれば、２つ以上の色成分からなる色にじみを色相反転などの違和感のある結果を生じることなしに補正することができる。また、色にじみの対象となる色成分を切り換えることなしに様々な色にじみに対応することが可能となる。更には、大きな色相変化が発生しないように制限をかけるため、自然な色にじみ軽減画像を得ることができる。
【実施例２】
【００９２】
実施例２の画像処理装置は、実施例１の画像処理装置と同様の構成をとるが、色にじみ軽減部が異なる。本実施例の色にじみ軽減部は、実施例１と同様に、ＲＢ成分を軽減対象とし、基準成分としてＧ成分を用いる。また、本実施例の色にじみ軽減部は、実施例１と同様に、推定手段、補正手段、軽減手段を有するが、補正手段１５２が行う領域算出（Ｓ２４）が実施例１と異なる。
【００９３】
本実施例の推定手段は、入力したカラー画像に対してＲ、Ｂ成分の色にじみ推定量ＥＲ、ＥＢを推定する。なお、色にじみ量の推定方法は、実施例１の画像強度傾斜、特許文献１、２に記載された他の推定方法など特に限定されないが、入力されたカラー画像の各色成分の色にじみ推定量を推定する。
【００９４】
本実施例の補正手段は、推定手段で算出された色にじみ推定量ＥＲおよびＥＢを用いて、色にじみ軽減後の色が違和感のない色になるように各色にじみ推定量の補正を行う。補正手段は、実施例１と同様に、図５に示す各ステップを実行するが、領域算出方法が異なる。本実施例の領域算出ステップでは、色にじみ推定量除去前後の色相変化がより少ないようにするために色相角度で領域を制限する。
【００９５】
まず、入力カラー画像の注目画素をａｂ色度図上で表した点Ｐ（ａ０，ｂ０）の色相角度ｈを算出する。色相角度ｈは次式で算出する。
【００９６】
【数２０】
【００９７】
色相制限角度をΔｈとすると、原点Ｏを通り色相角度ｈ±Δｈ上の直線をＣ＋Δｈ、Ｃ−Δｈとし、この２直線により色相を制限する。ここで直線Ｃ＋Δｈ、Ｃ−Δｈは次式で与えられ、直線Ｃを原点Ｏに関して等しい角度だけ回転することによって形成された直線（第４の直線）である。
【００９８】
【数２１】
【００９９】
最終的に制限領域は、図９に示すように、２つの直線Ｃ＋Δｈ、Ｃ−Δｈと実施例１で示した直線ＬＲ、ＬＢで囲まれた領域（図９において斜線で囲まれた領域Ｇ）となる。即ち、制限領域Ｇは、色にじみ発生領域Ｆにおいて、直線Ｃ⊥よりも原点側にある領域であって、かつ、２つの直線Ｃ＋Δｈ、Ｃ−Δｈに挟まれた領域であり、本実施例では更に２つの直線ＬＲ、ＬＢで挟まれた領域である。
【０１００】
ここで、２つの直線Ｃ＋Δｈ、Ｃ−Δｈと直線Ｃとがなす角の絶対値である色相制限角度Δｈは０〜１８０度までの値を用いることができ、色相変化の許容を表すパラメータとして設定する値であるが、大きすぎる値では色相制限の効果がなくなる。このため、実際は９０度よりも小さい角度、例えば、０度よりも大きく４５度以下とする。更に、色にじみ軽減後の違和感のない色相を考慮すると、２０〜３０度前後が好適である。なお、本実施例では、点Ｐからの色相変化を等しくするために２つの直線Ｃ＋Δｈ、Ｃ−Δｈの直線Ｃからの原点周りの角度を等しくしているが、上記角度を満足する限り等角度でなくてもよい。
【０１０１】
Ｓ２５に対応する補正量算出ステップでは、色にじみ推定量ＥＲ’、ＥＢ’が領域算出ステップで算出された領域内に納まるように補正を行う。
【０１０２】
軽減手段は、補正手段で補正された色にじみ推定量ＥＲ’、ＥＢ’をそれぞれＲ、Ｂ成分の強度から差し引き、このようにＲ、Ｂ成分を修正したカラー画像を視覚補正部に出力する。
【０１０３】
実施例２では、実施例１に比べより色相変化が少ないように制限領域を指定することで、色にじみの彩度を低下させることで自然な色にじみ軽減が可能となる。
【実施例３】
【０１０４】
実施例３の画像処理装置は、実施例１、２の画像処理装置と同様の構成をとるが、色にじみ軽減部が異なる。本実施例の色にじみ軽減部は、実施例１、２と同様に、ＲＢ成分を軽減対象とし、基準成分としてＧ成分を用いる。また、本実施例の色にじみ軽減部は、実施例２と同様に、推定手段、補正手段、軽減手段を有するが、補正手段１５２が行う領域算出（Ｓ２４）が実施例２と異なる。推定手段と軽減手段は実施例２の者と同様であるので説明を省略する。
【０１０５】
本実施例の補正手段は、推定手段で算出された色にじみ推定量ＥＲおよびＥＢによる除去結果を合成した上で、色にじみ軽減後の色が違和感のない色になるように各色にじみ推定量の補正を行う。補正手段は、実施例２と同様に、図５に示す各ステップを実行するが、領域算出（Ｓ２４）と補正量算出（Ｓ２５）の間に変化方向算出ステップを更に有し、補正量算出（Ｓ２５）の内容も実施例２と異なっている。
【０１０６】
まず、実施例２同様に、補正手段は、色度算出（Ｓ２３）で注目画素（ｘ，ｙ）の色度を計算し、領域算出（Ｓ２４）で色度座標上での制限領域を算出する。実施例２では、この領域内に限定した補正であれば良かったが、本実施例ではより厳しい制約を課している。
【０１０７】
即ち、補正手段は、推定手段で推定された色にじみ推定量ＥＲ、ＥＢの除去前後の変化方向を算出し、その方向を変えずに補正を行う。これは、色にじみ推定量ＥＲ、ＥＢは、推定手段において入力カラー画像の特性に基づいて算出されたものであるため、変化方向を保存することによって画像の特性を考慮した補正とするためである。
【０１０８】
図１０は、色相角度変化を制限角度内に抑えることを説明するための色度図である。同図に示すように、変化方向算出ステップにおいて、色にじみ推定量を除去する前の点Ｐ（ａ０，ｂ０）と除去後の点（第２の点）Ｑ１（ａ１，ｂ１）を結ぶ直線Ｃｋが算出される。
【０１０９】
次に、補正手段は、補正量算出（Ｓ２５）において、直線Ｃｋと、原点を通る制限色相角度を表す直線Ｃ−Δｈとの交点Ｑ２（ａ２，ｂ２）を算出する。ここで、原点Ｏを通る制限色相角度を表す直線は２つあるため交点も２つ存在するが（図１０では、直線Ｃｋと直線Ｃ＋Δｈの不図示の交点が存在する）色にじみを軽減する方向にある交点Ｑ２（ａ２，ｂ２）を選択する。
【０１１０】
次に、点Ｐ（ａ０，ｂ０）から点Ｑ１（ａ１，ｂ１）までの距離ｄ０と、点Ｐ（ａ０，ｂ０）から交点Ｑ２（ａ２，ｂ２）までの距離ｄ１の比ｒを算出する。この時、距離ｄ０が距離ｄ１より短い場合は色にじみ推定量を補正する必要がないため比ｒは次式のようにｄ１／ｄ０になる。
【０１１１】
【数２２】
【０１１２】
求めた比ｒを次式のように色にじみ推定量ＥＲ、ＥＢの値に乗じることにより、色相制限角度を超えない新たな色にじみ推定量ＥＲ’、ＥＢ’が算出される。
【０１１３】
【数２３】
【０１１４】
以上より、補正手段は、除去後の色度が制限領域内であった場合は補正を行わず、色度が制限領域外になる場合にのみ補正を行う。色度が制限領域を超える場合は、領域算出（Ｓ２４）で算出された領域を制限する直線との交点までしか色度が変化しないように補正量が制限されることになる。
【０１１５】
本実施例では、各色の色にじみ補正量を色にじみ軽減後の合成方向を表す直線上に制限することで、補正後の画像を入力カラー画像の特性により適合させている。また、画像中のノイズ等の影響による色にじみ補正量の推定エラーがあった場合でも、色相領域制限によりエラーを抑制し安定した色にじみ軽減結果が得られる。
【実施例４】
【０１１６】
図１１は、カラー画像に対して色にじみを軽減する実施例４の画像処理装置を有するカラー撮像装置４００のブロック図である。カラー撮像装置４００は、結像光学系４１０、色分解プリズム４１５、イメージセンサ４２０、ＡＤ変換部４３０、色にじみ軽減部４５０、視覚補正部４６０、圧縮部４７０、記録部４８０を有する。
【０１１７】
イメージセンサ４２０は実施例１と異なり３板式であり、それに伴い色分解プリズム４１５が追加され、実施例１に存在したデモザイク部１４０は不要となる。
【０１１８】
被写体からの光線は結像光学系４１０及び色分解プリズム４１５を経てイメージセンサ４２０上に結像する。色分解プリズムでは光の波長によって光線の進行方向が異なるためＲ、Ｇ、Ｂの波長域によって異なるイメージセンサ４２０に到達する。このため、イメージセンサ４２０はカラーフィルタを備えず、各々ＲＧＢの各色成分に対応する像を得る。
【０１１９】
結像光学系４１０は、実施例１と同様に、Ｇ波長域においてのみ色収差が良好に補正され、Ｒ波長域およびＢ波長域では色収差が残存するものとする。
【０１２０】
３板式では各イメージセンサの前後位置を調整することにより、色収差を補正することも可能であるが、光学系のズーム位置などによる収差量変動に対応できないため、本実施例ではそのような調整は考慮しない。このため、Ｇ成分に比してＲ、Ｂ成分の解像度が劣り、３つの色成分を合成したカラー画像においては実施例１と同様に紫の縁取りのようなアーティファクトが生じる。
【０１２１】
ＡＤ変換部４３０では三枚のイメージセンサからアナログ電圧として出力されるＲＧＢ各色成分の画像を、以降の画像処理に適するデジタルデータへと変換する。
【０１２２】
色変換部４３５では色表現をＲＧＢからＹＵＶに変換する。これにはマトリクス演算が用いられ、次式のように、Ｙ、Ｕ、Ｖの３つの成分が得られる。このＹ成分は輝度を、Ｕ成分は青みを、Ｖ成分は赤みを示す。
【０１２３】
【数２４】
【０１２４】
色にじみ軽減部４５０では画像処理により入力カラー画像よりこのアーティファクトを除去する。色にじみ軽減部４５０は、後述するように、推定手段４５１、補正手段４５２、軽減手段４５３を有し、Ｕ、Ｖ成分を除去対象とし、基準成分としてＹ成分を用いる。視覚補正部４６０、圧縮部４７０、記録部４８０は実施例１の視覚補正部１６０、圧縮部１７０、記録部１８０と同様である。
【０１２５】
図１２は、推定手段４５１の動作を説明するためのフローチャートであり、「Ｓ」はステップの略である。
【０１２６】
まず、推定手段４５１は、実施例１の色相判定１５１ａと同様の処理を行い（Ｓ１４）、
次に、飽和画素からの距離を算出する（Ｓ１５）。
【０１２７】
ここで、距離を算出する理由を説明する。色にじみは図２（ａ）の典型的なプロファイルに示したように、高輝度被写体周辺に発生する。このにじみの強さは高輝度被写体の輝度に依存し、また高輝度被写体から離れるに従い、指数的に弱くなる。つまり、高輝度被写体を探索し、そこからの距離に応じて色にじみ量を推定することができる。
【０１２８】
高輝度被写体の探索は輝度を表すＹ成分が飽和しているか否かで行うことができ、探索された飽和画素からの距離に応じてＵ、Ｖ成分のにじみ量を推定することが可能となる。従って、Ｓ１５では、Ｙ成分の強度が閾値（Ｙ≧０．８）以上となる飽和画素から色にじみ画素までの距離ｄＹを画素幅単位で算出する。
【０１２９】
例えば、図１３に示すように、左上の領域（斜線部分）が飽和画素だとすれば、距離は各画素に記した数値のようになる。ここで飽和画素内は距離０とする。
【０１３０】
Ｙ成分強度の閾値としては、ＡＤ変換部の出力値と入射光強度の関係が比例関係から外れる出力値とする。これ以上の出力値を持つ状態を飽和していると呼ぶ。距離の算出は一般に画像距離変換と呼ばれる。なお、この距離は正確なユークリッド距離に限らず、準ユークリッド（ｑｕａｎｓｉ−Ｅｕｃｌｉｄｅａｎ）距離や、チェスボード距離、シティブロック距離で代用してもよい。この画像距離変換により飽和画素は０、非飽和画素は正値となる。
【０１３１】
次に、推定手段４５１は、飽和画素からの距離が閾値以内の画素であるかの判定を行う（Ｓ１６）。ここで、閾値は色にじみの広がりによって決定されるもので、結像光学系やイメージセンサの画素ピッチ、または被写体の輝度によって左右される。このため、結像光学系やイメージセンサの特性に応じて決定してもよいし、様々な結像光学系やイメージセンサに対応できるよう閾値を大きい値に設定しておいてもよいし、隣接する飽和画素の面積に応じてその周囲の距離閾値を可変にするのもよい。
【０１３２】
次に、推定手段４５１は、Ｓ１６で色にじみと判定された画素に対して色にじみとなっている余分なＵ、Ｖ成分の強度を推定する（Ｓ１７）。前述のように、軽減すべきＵ、Ｖ成分の画像強度はＹ成分の飽和画素からの距離によって算出することができる。よって色にじみ推定量ＥＵ、ＥＶを次式のように算出し、補正手段４５２に渡す。
【０１３３】
【数２５】
【０１３４】
ｋＵ０、ｋＵ１、ｋＶ０、ｋＶ１は定数であり、結像光学系やイメージセンサの画素ピッチによって異なるため、撮影画像から色にじみ量を近似するのに好適な値を求めるのが望ましい。厳密には、結像光学系の特性はズーム位置、絞り値、フォーカス位置やはてまたレンズ交換といった状態や像高によって変化するため、これらに従い定数ｋＵ０、ｋＵ１、ｋＶ０、ｋＶ１を変えてもよい。或いは、後述の補正手段４５２の存在を考慮し、結像光学系の特性変化に対応できるように、過大な色にじみ量を推定する定数を設定してもよい。結果として、色にじみ量を近似するのに好適な値より過大な色にじみ量を推定する定数を設定するのが好適である。
【０１３５】
次に、補正手段４５２は、推定手段４５１で算出された色にじみ推定量ＥＵおよびＥＶに対して相互関係を考慮して補正を行い、Ｕ、Ｖ成分において実際に除去する色にじみ推定量ＥＵ’、ＥＶ’を決める。補正手段４５２は、ＵＶ色度図を使用する。
【０１３６】
図１４（ａ）は、ＵＶ色度図の一例を示している。青色はＵ＞０、赤色はＶ＞０の領域となる。Ｕ、Ｖ成分から色にじみ推定量ＥＵ、ＥＶを除去すると、点線矢印のように左方向から下方向の範囲で移動する。この向きは色にじみ推定量ＥＵ、ＥＶの比率で変化する。矢印の始点が除去前の色度であり、先端が色にじみ推定量ＥＵ、ＥＶ除去後の色度である。ここで、Ｕ≦０の画素では青味が少ないのでＥＵ’＝０とし、ＥＶによって赤味のみを除去する。
【０１３７】
このとき、ＥＶによってＶ成分が負の値になるのを防ぐため次式のように設定する。
【０１３８】
【数２６】
【０１３９】
同様に、Ｖ≦０の画素では赤味が少ないのでＥＶ’＝０とし、ＥＵは次式のように設定して青味のみを除去する。
【０１４０】
【数２７】
【０１４１】
Ｕ＞０かつＶ＞０の画素に対しては、色相角度ｈを算出し、色相角度によって色にじみ推定量ＥＵ、ＥＶの割合を変化させ、除去後の値が原点方向に向かうようにする。例えば、色相角度ｈがＵ＝０を基準としたとき４５度であれば、色にじみ推定量ＥＵ、ＥＶの割合は１：１になるように制限される。同様に、３０度であればＥＵ：ＥＶ＝√３：１の割合とする。よって補正後の色にじみ推定量ＥＵ’、ＥＶ’は０°＜ｈ＜４５°のときは次式のようになる。
【０１４２】
【数２８】
【０１４３】
また、４５°＜ｈ＜９０°のときは次式のようになる。
【０１４４】
【数２９】
【０１４５】
これにより、色相を変化させることなしに青味および赤味を軽減することができる。しかし、色にじみ推定量が大きいと除去後の値が第１象限から外れ、第３象限にいってしまい色相反転が発生する。
【０１４６】
そこで、Ｕ≧０かつＶ≧０に納まるような大きさにＥＵ’、ＥＶ’を補正する必要がある。制限方法としては実施例１、２と同様の色相角度および色相制限角度を用いるのが有効である。
【０１４７】
具体的には、図１４（ｂ）に示すように、色相角度ｈが０°＜ｈ＜４５°の時は、ｈ−Δｈの直線かＶ＝０の直線との交点のうち除去前の座標から近いほうの交点までの距離をＥＵとして式を計算し、色にじみ推定量ＥＵ’およびＥＶ’を算出する。
【０１４８】
同様に、色相角度ｈが４５°＜ｈ＜９０°の時は、ｈ＋Δｈの直線かＵ＝０の直線との交点のうち除去前の座標から近いほうの交点までの距離をＥＶとして式を計算し、色にじみ推定量ＥＵ’およびＥＶ’を算出する。
【０１４９】
これにより、除去前の値が第１象限にある画素の場合も、除去後にＵ≧０かつＶ≧０に納まる大きさの色にじみ推定量ＥＵ’、ＥＶ’を算出することができる。
【０１５０】
このＥＵ’、ＥＶ’の除去による色度変化は図１４（ａ）に実線矢印で記したように、各象限内で留まるようになる。第２象限ではＶのみが変化し、第４象限ではＵのみが変化、第３象限では無変化となる。これは、Ｒ、Ｂの強度が輝度Ｙを下回って減少することはなく、また、元々Ｙの下にあるＲ、Ｂは変化しないことを表している。
【０１５１】
以上のように補正された色にじみ推定量ＥＵ’、ＥＶ’を最終的な色にじみ推定量として軽減手段４５３に渡す。軽減手段４５３では、補正手段４５２で補正された色にじみ推定量ＥＵ’、ＥＶ’をＵ、Ｖ成分の強度から差し引き、新たなＵ、Ｖ成分の強度を設定する。
【０１５２】
【数３０】
【０１５３】
このようにＵ、Ｖ成分を修正したカラー画像を本色にじみ軽減部の出力として視覚補正部４６０に渡す。
【０１５４】
本実施例においては、Ｙ成分にＢ成分やＲ成分のにじみが混入するため、白く残るにじみの量はＧ成分を基準成分とした場合に比べやや大きくなるが、主な計算を高い精度が不要なＵ、Ｖ成分において行うことで処理装置のコストを抑えることができる。
【０１５５】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、本実施例ではＲ、Ｂ成分によって生じる色にじみを軽減しているがＧ成分によって生じる色にじみを更に軽減してもよい。
【産業上の利用可能性】
【０１５６】
画像処理装置は画像処理の用途に適用することができる。
【符号の説明】
【０１５７】
１５１、４５１…推定手段、１５２、４５２…補正手段、１５３、４５３…軽減手段
【特許請求の範囲】
【請求項１】
カラー画像に対して色にじみを軽減する処理を行う画像処理装置であって、
２つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定する推定手段と、
前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定手段によって推定された各色成分の色にじみ推定量を補正する補正手段と、
前記補正手段で補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減する軽減手段と、
を有し、
前記制限領域は、前記色にじみ発生領域において、
色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第１の点と前記色度図の原点を通る第１の直線に垂直で前記第１の点を通る第２の直線よりも原点側にある領域であって、かつ、前記第１の直線を挟み、前記第１の直線から前記原点と前記第１の点との距離の半分以下の距離だけ離れた前記第１の直線と平行な２つの第３の直線に挟まれた領域であることを特徴とする画像処理装置。
【請求項２】
カラー画像に対して色にじみを軽減する処理を行う画像処理装置であって、
２つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定する推定手段と、
前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定手段によって推定された各色成分の色にじみ推定量を補正する補正手段と、
前記補正手段で補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減する軽減手段と、
を有し、
前記制限領域は、前記色にじみ発生領域において、
色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第１の点と前記色度図の原点を通る第１の直線に垂直で前記第１の点を通る第２の直線よりも原点側にある領域であって、かつ、前記原点を通り、前記第１の直線となす角度の絶対値が４５度以下である２つの第４の直線に挟まれた領域であることを特徴とする画像処理装置。
【請求項３】
前記角度は２０〜３０度であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記制限領域は、前記第１の点から前記２つ以上の色成分のそれぞれを除去した場合の色度変化を表す２つ以上の第５の直線で更に挟まれた領域であることを特徴とする請求項１乃至３のうちいずれか１項に記載の画像処理装置。
【請求項５】
前記補正手段は、各色成分の色にじみ推定量を合成した色度が前記制限領域に更に収まるように前記推定手段によって推定された各色成分の色にじみ推定量を補正することを特徴とする請求項１乃至４のうちいずれか１項に記載の画像処理装置。
【請求項６】
前記補正手段は、前記第１の点から前記色にじみが軽減された後の前記カラー画像の注目画素に対応する前記色度図における第２の点までの距離ｄ０が、前記原点と前記第２の直線との間にある前記２つの第４の直線の一つと前記第１の点と前記第２の点を結ぶ直線との交点と前記第１の点までの距離ｄ１よりも大きい場合に、ｄ１／ｄ０で算出される比を前記推定手段によって推定された各色成分の色にじみ推定量に乗じることによって補正を行うことを特徴とする請求項２項に記載の画像処理装置。
【請求項７】
前記補正手段は、前記第１の点から前記色にじみが軽減された後の前記カラー画像の注目画素に対応する前記色度図における第２の点に向かう方向が前記原点を通るように補正を行うことを特徴とする請求項１または２に記載の画像処理装置。
【請求項８】
前記推定手段は、色成分毎の隣接画素間の信号強度の傾きを利用して前記色にじみの補正量を推定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項９】
カラー画像に対して色にじみを軽減する処理を行う画像処理方法であって、
２つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定するステップと、
前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定するステップによって推定された各色成分の色にじみ推定量を補正するステップと、
前記補正するステップで補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減するステップと、
を有し、
前記制限領域は、前記色にじみ発生領域において、
色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第１の点と前記色度図の原点を通る第１の直線に垂直な第２の直線よりも原点側にある領域であって、かつ、前記第１の直線を挟み、前記第１の直線と等距離にあって前記第１の直線と平行な２つの第３の直線に挟まれた領域であることを特徴とする画像処理方法。
【請求項１０】
カラー画像に対して色にじみを軽減する処理を行う画像処理方法であって、
２つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定するステップと、
前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定するステップによって推定された各色成分の色にじみ推定量を補正するステップと、
前記補正するステップで補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減するステップと、
を有し、
前記制限領域は、前記色にじみ発生領域において、
色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第１の点と前記色度図の原点を通る第１の直線に垂直な第２の直線よりも原点側にある領域であって、かつ、前記第１の直線を前記原点に関して等しい角度だけ回転することによって形成された２つの第４の直線に挟まれた領域であることを特徴とする画像処理方法。
【請求項１１】
カラー画像に対して色にじみを軽減する処理に使用され、コンピュータを、
２つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定する推定手段、
前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定手段によって推定された各色成分の色にじみ推定量を補正する補正手段、
前記補正手段で補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減する軽減手段、
として機能させるためのプログラムであって、
前記制限領域は、前記色にじみ発生領域において、色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第１の点と前記色度図の原点を通る第１の直線に垂直な第２の直線よりも原点側にある領域であって、かつ、前記第１の直線を挟み、前記第１の直線と等距離にあって前記第１の直線と平行な２つの第３の直線に挟まれた領域であることを特徴とするプログラム。
【請求項１２】
カラー画像に対して色にじみを軽減する処理に使用され、コンピュータを、
２つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定する推定手段、
前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定手段によって推定された各色成分の色にじみ推定量を補正する補正手段、
前記補正手段で補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減する軽減手段、
として機能させるためのプログラムであって、
前記制限領域は、前記色にじみ発生領域において、色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第１の点と前記色度図の原点を通る第１の直線に垂直な第２の直線よりも原点側にある領域であって、かつ、前記第１の直線を前記原点に関して等しい角度だけ回転することによって形成された２つの第４の直線に挟まれた領域であることを特徴とするプログラム。
【請求項１３】
請求項１乃至８のうちいずれか１項に記載の画像処理装置を有することを特徴とする撮像装置。
【請求項１】
カラー画像に対して色にじみを軽減する処理を行う画像処理装置であって、
２つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定する推定手段と、
前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定手段によって推定された各色成分の色にじみ推定量を補正する補正手段と、
前記補正手段で補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減する軽減手段と、
を有し、
前記制限領域は、前記色にじみ発生領域において、
色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第１の点と前記色度図の原点を通る第１の直線に垂直で前記第１の点を通る第２の直線よりも原点側にある領域であって、かつ、前記第１の直線を挟み、前記第１の直線から前記原点と前記第１の点との距離の半分以下の距離だけ離れた前記第１の直線と平行な２つの第３の直線に挟まれた領域であることを特徴とする画像処理装置。
【請求項２】
カラー画像に対して色にじみを軽減する処理を行う画像処理装置であって、
２つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定する推定手段と、
前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定手段によって推定された各色成分の色にじみ推定量を補正する補正手段と、
前記補正手段で補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減する軽減手段と、
を有し、
前記制限領域は、前記色にじみ発生領域において、
色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第１の点と前記色度図の原点を通る第１の直線に垂直で前記第１の点を通る第２の直線よりも原点側にある領域であって、かつ、前記原点を通り、前記第１の直線となす角度の絶対値が４５度以下である２つの第４の直線に挟まれた領域であることを特徴とする画像処理装置。
【請求項３】
前記角度は２０〜３０度であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記制限領域は、前記第１の点から前記２つ以上の色成分のそれぞれを除去した場合の色度変化を表す２つ以上の第５の直線で更に挟まれた領域であることを特徴とする請求項１乃至３のうちいずれか１項に記載の画像処理装置。
【請求項５】
前記補正手段は、各色成分の色にじみ推定量を合成した色度が前記制限領域に更に収まるように前記推定手段によって推定された各色成分の色にじみ推定量を補正することを特徴とする請求項１乃至４のうちいずれか１項に記載の画像処理装置。
【請求項６】
前記補正手段は、前記第１の点から前記色にじみが軽減された後の前記カラー画像の注目画素に対応する前記色度図における第２の点までの距離ｄ０が、前記原点と前記第２の直線との間にある前記２つの第４の直線の一つと前記第１の点と前記第２の点を結ぶ直線との交点と前記第１の点までの距離ｄ１よりも大きい場合に、ｄ１／ｄ０で算出される比を前記推定手段によって推定された各色成分の色にじみ推定量に乗じることによって補正を行うことを特徴とする請求項２項に記載の画像処理装置。
【請求項７】
前記補正手段は、前記第１の点から前記色にじみが軽減された後の前記カラー画像の注目画素に対応する前記色度図における第２の点に向かう方向が前記原点を通るように補正を行うことを特徴とする請求項１または２に記載の画像処理装置。
【請求項８】
前記推定手段は、色成分毎の隣接画素間の信号強度の傾きを利用して前記色にじみの補正量を推定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項９】
カラー画像に対して色にじみを軽減する処理を行う画像処理方法であって、
２つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定するステップと、
前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定するステップによって推定された各色成分の色にじみ推定量を補正するステップと、
前記補正するステップで補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減するステップと、
を有し、
前記制限領域は、前記色にじみ発生領域において、
色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第１の点と前記色度図の原点を通る第１の直線に垂直な第２の直線よりも原点側にある領域であって、かつ、前記第１の直線を挟み、前記第１の直線と等距離にあって前記第１の直線と平行な２つの第３の直線に挟まれた領域であることを特徴とする画像処理方法。
【請求項１０】
カラー画像に対して色にじみを軽減する処理を行う画像処理方法であって、
２つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定するステップと、
前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定するステップによって推定された各色成分の色にじみ推定量を補正するステップと、
前記補正するステップで補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減するステップと、
を有し、
前記制限領域は、前記色にじみ発生領域において、
色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第１の点と前記色度図の原点を通る第１の直線に垂直な第２の直線よりも原点側にある領域であって、かつ、前記第１の直線を前記原点に関して等しい角度だけ回転することによって形成された２つの第４の直線に挟まれた領域であることを特徴とする画像処理方法。
【請求項１１】
カラー画像に対して色にじみを軽減する処理に使用され、コンピュータを、
２つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定する推定手段、
前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定手段によって推定された各色成分の色にじみ推定量を補正する補正手段、
前記補正手段で補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減する軽減手段、
として機能させるためのプログラムであって、
前記制限領域は、前記色にじみ発生領域において、色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第１の点と前記色度図の原点を通る第１の直線に垂直な第２の直線よりも原点側にある領域であって、かつ、前記第１の直線を挟み、前記第１の直線と等距離にあって前記第１の直線と平行な２つの第３の直線に挟まれた領域であることを特徴とするプログラム。
【請求項１２】
カラー画像に対して色にじみを軽減する処理に使用され、コンピュータを、
２つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定する推定手段、
前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定手段によって推定された各色成分の色にじみ推定量を補正する補正手段、
前記補正手段で補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減する軽減手段、
として機能させるためのプログラムであって、
前記制限領域は、前記色にじみ発生領域において、色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第１の点と前記色度図の原点を通る第１の直線に垂直な第２の直線よりも原点側にある領域であって、かつ、前記第１の直線を前記原点に関して等しい角度だけ回転することによって形成された２つの第４の直線に挟まれた領域であることを特徴とするプログラム。
【請求項１３】
請求項１乃至８のうちいずれか１項に記載の画像処理装置を有することを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−４６３８０（Ｐ２０１３−４６３８０Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８５０６６（Ｐ２０１１−１８５０６６）
【出願日】平成２３年８月２６日（２０１１．８．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２６日（２０１１．８．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]