画像処理装置、撮像装置および画像処理方法
【課題】良好な色滲みの検出処理と低減処理を行うためのパラメータをユーザが容易に設定できるようにする。
【解決手段】画像処理装置は、撮影により生成されたカラー画像に含まれる色滲みを色滲み検出パラメータを用いて検出する色滲み検出手段１５０と、色滲みを低減するための補正量を色滲み補正パラメータを用いて算出し、該補正量を用いてカラー画像に対する色滲み低減処理を行う処理手段１５０とを有する。そして、該装置は、色滲み検出パラメータおよび色滲み補正パラメータのうち少なくとも一方のパラメータをユーザに設定させるためのユーザインターフェース手段１９０，２００を有する。
【解決手段】画像処理装置は、撮影により生成されたカラー画像に含まれる色滲みを色滲み検出パラメータを用いて検出する色滲み検出手段１５０と、色滲みを低減するための補正量を色滲み補正パラメータを用いて算出し、該補正量を用いてカラー画像に対する色滲み低減処理を行う処理手段１５０とを有する。そして、該装置は、色滲み検出パラメータおよび色滲み補正パラメータのうち少なくとも一方のパラメータをユーザに設定させるためのユーザインターフェース手段１９０，２００を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影により得られたカラー画像に対して、いわゆる色滲みを低減する処理を行う画像処理技術に関する。
【背景技術】
【０００２】
カラー撮像系では結像光学系の色収差により、画像上で明るい部分の周囲に本来存在しない色が色滲みとして生じる。色滲みは、結像光学系の中心波長から離れた部分で起きやすく、可視光カラー撮像系では、青や赤又はこれらが混ざった紫色のアーティファクトが滲み状に生ずる。このような色滲みは、パープルフリンジとも呼ばれる。
色収差は、異なる分散を持つレンズを複数組み合わせることにより、ある程度光学的に低減することができる。しかし、デジタルカメラの小型化が進行し、イメージセンサ（撮像素子）の高解像度化と共に光学系の小型化に対する要求も高まり、色収差を光学のみで十分に低減することが困難となってきている。このため、画像処理によるアーティファクトの低減が求められている。
色収差は、横色収差（倍率色収差）と縦色収差（軸上色収差）に大別される。横色収差は、図１に示すように、光源から発した光が結像光学系によって焦点面に結像するとき、波長４５０ｎｍ付近のＢ光線、波長５５０ｎｍ付近のＧ光線、波長６５０ｎｍのＲ光線の結像位置が像面方向にずれる現象である。縦色収差は、図２に示すように、光源から発した光が結像光学系によって焦点面に結像するとき、Ｂ光線、Ｇ光線、Ｒ光線の結像位置が光軸方向にずれる現象である。
【０００３】
横色収差に対しては、原色系のデジタル撮像系であれば、特許文献１にて開示されているように、ＲＧＢの各色プレーンに対して異なる歪曲を加える幾何変換によって補正される。
一方、縦色収差は、例えば可視光域の中心波長を担うＧプレーンで合焦した画像においては、可視光域の端部となるＲプレーンやＢプレーンにおいては非合焦画像となる現象である。これは、横色収差のような幾何補正では補正できないが、特許文献２にて開示されているように、色滲みが生じる領域での彩度を下げることにより目立たなくすることができる。具体的には、ＲＧＢの各色プレーンに対し、デコンボリューション（deconvolution）処理およびその近似的な処理である輪郭強調処理を行って色滲みを目立たなくする。
【０００４】
ただし、幾何変換やデコンボリューション処理を行うためには、正確な歪曲量やぼけ関数が分かっていなければ適切な結果が得られない。特に、カメラ撮影のように撮影条件が様々に変化する場合には、ズーム位置、絞り値およびフォーカス位置といった結像光学系の状態や被写体距離が刻々と変化するため、これらを反映した正確な歪曲量やぼけ関数を得ることは困難である。
これに対し、特許文献３や特許文献４にて開示された方法では、画像から、色滲みの検出に用いられる検出パラメータと色滲みの補正（低減）処理に用いられる補正パラメータを算出する。このため、画像さえあれば良好に色滲みを低減することが可能である。ただし、特許文献３にて開示されているように彩度を下げる処理は、輝度の強い画素に相応する色を他の色の輝度レベルまで落とす処理である。この処理は、色滲みの色を消して不自然さを減らす効果はあるが、場合によっては被写体の本来の色も影響を受け、色滲みの有無にかかわらず画像がグレーがかる。
また、特許文献４にて開示された方法では、画像内の白飛び領域の検出が必要である。しかも、白飛び領域の階調、白飛び領域の周辺の色滲み領域の大きさ（画素距離）および色滲みの色相範囲等、画像の内容に密接に関係する色滲みに関する物理量を指定する必要がある。このため、画像の内容が少しでも変わるとパラメータを流用することができないという問題がある。また、周辺画素による穴埋め処理で色滲みを解消するため、間違った周辺画素で穴埋めしてしまう可能性もある。
これに対し、特許文献５にて光学系の設計情報や収差量、撮影条件等が不明であっても、画像内の強度：傾斜を調べて色滲みを検出し、色滲みの輝度傾斜と色プレーン間の輝度差に基づいて色滲みを補正する方法（以下、輝度傾斜法という）が提案されている。この輝度傾斜法によれば、彩度低下や穴埋め補間を行う場合よりも自然な色滲み補正を行うことができる。
また、輝度傾斜法は、輝度傾斜および色プレーン間の輝度差といったより抽象的な量を基準とする。すなわち、白飛び領域の階調、白飛び領域を基準とした色滲み領域の範囲、色滲み領域の色相や彩度といった画像の内容に密接な物理量をパラメータとしない。このため、より多様な場面で撮影した画像に対しても、ロバストに色滲み補正を行えることが期待される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第６，７２４，７０２明細書
【特許文献２】特開２００３−０１８４０７号公報
【特許文献３】特開２００１−１４５１１７号公報
【特許文献４】特開２００６−３３６５６号公報
【特許文献５】特開２００８−２０１４７９８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、輝度傾斜法でも、撮影場面や撮影条件に応じて色滲み領域の検出に用いられる検出パラメータや色滲み補正に用いられる補正パラメータを変化させた方が、より良い結果が得られる。このため、検出パラメータや補正パラメータをいかに効率良く設定できるようにするかが課題となる。
補正パラメータを設定するユーザーインターフェース（ＵＩ）は、特許文献４にて開示されている。
しかしながら、特許文献４にて開示された色滲み補正方法では、前述したように、画像の内容に密接にかかわる物理量をパラメータとする。このため、ＵＩにおいても白飛び領域の輝度、白飛び領域周辺の色滲み領域の大きさ（画素距離）、色滲み領域の色相・彩度、補正後の色相・彩度といった画像処理に不慣れなユーザにはわかりにくい専門的なパラメータを複数設定する必要がある。
また、特許文献４にて開示された色滲み補正方法は、入力画像ごとにパラメータを決定することが前提となっている。さらに、輝度傾斜法は、他の従来の補正方法に比べて、パラメータ数が少なく、かつ抽象度の高いパラメータを用いる。このため、ユーザに分かりにくいパラメータの入力を課したり、パラメータのロバスト性を生かしていなかったりする。
そこで、本発明は、良好な色滲みの検出処理と低減処理を行うためのパラメータをユーザが容易に設定できるようにした画像処理装置および画像処理方法を提供する。
【課題を解決するための手段】
【０００７】
本発明の一側面としての画像処理装置は、撮影により生成されたカラー画像に含まれる色滲みを色滲み検出パラメータを用いて検出する色滲み検出手段と、色滲みを低減するための補正量を色滲み補正パラメータを用いて算出し、該補正量を用いてカラー画像に対する色滲み低減処理を行う処理手段とを有する。そして、該装置は、色滲み検出パラメータおよび色滲み補正パラメータのうち少なくとも一方のパラメータをユーザに設定させるためのユーザインターフェース手段を有することを特徴とする。
【０００８】
なお、撮影によりカラー画像を生成する撮像系と上記画像処理装置とを有する撮像装置も本発明の他の一側面を構成する。
また、本発明の他の一側面としての画像処理方法は、撮影により生成されたカラー画像に含まれる色滲みを色滲み検出パラメータを用いて検出する色滲み検出ステップと、色滲みを低減するための補正量を色滲み補正パラメータを用いて算出し、該補正量を用いてカラー画像に対する色滲み低減処理を行う処理ステップとを有する。そして、該方法は、検出パラメータおよび補正パラメータのうち少なくとも一方のパラメータを、ユーザインターフェースを通じてユーザに設定させるパラメータ設定ステップを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、色滲みの検出処理や低減処理のための適切なパラメータをユーザが容易に設定できる。したがって、色滲みが良好に低減された出力画像を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】横色収差の説明図。
【図２】縦色収差の説明図。
【図３】本発明の実施例１であるカラー撮像装置の構成を示すブロック図。
【図４】原色カラーフィルタの説明図。
【図５】カラーフィルタアレイの説明図。
【図６】明暗境界での色滲みの説明図。
【図７】実施例１の撮像装置に設けられた色滲み処理判定部の構成（処理手順）を示すフローチャート。
【図８】実施例１における画素値と飽和度との関係を示す図。
【図９】実施例１における過除去抑制処理を示す概念図。
【図１０】実施例１のカラー撮像装置の背面図。
【図１１】実施例１におけるユーザインターフェースの説明図。
【図１２】実施例１におけるユーザインターフェースの説明図。
【図１３】実施例１におけるユーザインターフェースの説明図。
【図１４】実施例１におけるモード選択ダイアログの説明図。
【図１５】実施例１における他のモード選択ダイアログの説明図。
【図１６】実施例１における領域判定パラメータの設定画面を示す図。
【図１７】本発明の実施例２におけるモード選択ダイアログの説明図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１２】
図３には、本発明の実施例１である画像処理装置を搭載した又は画像処理方法を使用するカラー撮像装置１００を示す。
カラー撮像装置１００は、結像光学系１１０と、イメージセンサ１２０と、ＡＤ変換部１３０と、デモザイク部１４０と、色滲み除去部１５０とを有する。また、撮像装置１００は、視覚補正部１６０と、圧縮部１７０と、記録部１８０と、表示部１９０と、操作部２００と、メモリ部２１０と、ズーム状態読取部２２０とを有する。
なお、図３中に示した写野（撮像領域，被写体）ｆやＲ（赤），Ｇ（緑），Ｂ（青）の光線は、カラー撮像装置１００の構成要素ではないが、説明のため図示している。
写野ｆからの光線は、結像光学系１１０によってイメージセンサ１２０上に結像する。一般に、カラー撮像装置に設けられる結像光学系は、一定の色収差補正が施されている。本実施例の結像光学系１１０は、全ての波長域においてある程度、縦色収差が補正されているが、特にＧ波長域での縦色収差が良好に補正されており、他波長ではＧ波長域よりも多くの縦色収差が残存している。このようにＢの波長域の縦色収差の補正基準を下げることにより、その他の収差補正を改善したり、撮像装置を小型化したりすることが可能となる。
イメージセンサ１２０は、一般的な原色カラーフィルタ系を備える単板カラーイメージセンサである。原色カラーフィルタ系は、図４に示すように、それぞれ６５０ｎｍ，５５０ｎｍ，４５０ｎｍの近傍に透過主波長帯を持つ３種類の色フィルタにより構成されており、それぞれＲ，Ｇ，Ｂの各バンドに対応する色プレーンを撮像する。単板カラーイメージセンサでは、これらの色フィルタを図５に示すように画素毎に空間的に配列し、各画素に対しては単一の色プレーンにおける強度を得ることしかできない。このためイメージセンサ１２０からは色モザイク画像が出力される。
なお、不図示の色分解プリズムを用いて入射光をＲ，Ｇ，Ｂの波長域に分け、それぞれの波長の光を別々のイメージセンサで撮像する３板式カラーイメージセンサを用いてもよい。この場合、デモザイク部１４０は不要となる。
ＡＤ変換部１３０は、イメージセンサ１２０からアナログ電圧として出力される色モザイク画像を、これ以降の画像処理に適したデジタルデータに変換する。
デモザイク部１４０は、色モザイク画像を補間することによって、全ての画素がＲＧＢの色情報を有するカラー画像を生成する。イメージセンサ１２０、ＡＤ変換部１３０およびデモザイク部１４０によって、撮影によりカラー画像を生成する撮像系が構成される。
デモザイク部１４０で生成されたカラー画像は、結像光学系１１０の色収差によって、ＲプレーンやＧプレーンに比べてＢプレーンの解像度が劣る画像となる。このため、明暗の境界部では、例えば図６に示すように、Ｂの色滲みが生じ、明部の周囲に青い縁取りのようなアーティファクトが生じる。
なお、本実施例では、イメージセンサ１２０の色フィルタをＲ，Ｇ，Ｂからなる原色系とするが、補色系カラーフィルタとしてもよい。この場合、色変換処理によって、Ｒ，Ｇ，Ｂの色プレーンからなるカラー画像が得られる。
色滲み除去部（処理手段）１５０は、画像処理によって、カラー画像（入力画像）からこの青色のアーチファクトを除去（低減）する。色滲み除去部１５０での色滲み除去処理（色滲み低減処理）については、後で詳しく説明する。
視覚補正部１６０は、主として画像の見栄えを改善するための処理をカラー画像に対して行う。例えば、トーンカーブ（ガンマ）補正、彩度強調、色相補正、エッジ強調といった画像補正が行われる。
圧縮部１７０は、視覚補正部１６０にて補正されたカラー画像をＪＰＥＧ等の画像圧縮方法で圧縮し、記録時のサイズを小さくする。圧縮処理が行われたカラー画像は、記録部１８０にて、ハードディスク、ＤＶＤ、磁気テープ、フラッシュメモリ等の記録媒体に記録される
これらイメージセンサ１２０から記録部１８０までの処理部は、実際にはそれぞれ別々のデバイスによって構成されてもよいし、単一のマイクロプロセッサ上に構成されてもよい。
表示部１９０および操作部２００は、ユーザインターフェースを構成する。表示部１９０は、液晶パネルや有機ＥＬパネル等の表示素子（表示素子）により構成されている。表示部１９０は、各種処理の前後の画像や各種パラメータをユーザに設定又は変更させるためのグラフィカルユーザインターフェース（ＧＵＩ）を表示する。
操作部２００には、ボタン、十字キー、スティック、ダイヤル等の操作部材を有する。ユーザが該操作部材を操作することにより、表示部１９０に表示されたメニュー項目を選択したり、各種パラメータを設定又は変更したりすることができる。
メモリ部２１０はフラッシュメモリ等により構成されており、ここには各種パラメータのプリセット値が記録されている。各種パラメータには、色滲み除去に関するパラメータとして、色滲み検出パラメータと色滲み補正パラメータが含まれている。色滲み検出パラメータは、カラー画像中の色滲み（色滲み領域）を検出する色滲み検出処理に用いられる。また、色滲み補正パラメータは、色滲みを除去（低減）する色滲み除去処理（色滲み低減処理）に用いられる。
ズーム状態読取部２２０は、結像光学系１１０のズーム状態を読み取るエンコーダにより構成されている。前述した色滲み検出パラメータおよび色滲み補正パラメータは、ズーム状態を変数とするテーブルデータとしてメモリ部２１０に記録されている。
色滲み除去部１５０は、ズーム状態読取部２２０によって読み取られたズーム状態に対応する色滲み検出パラメータおよび色滲み補正パラメータをメモリ部２１０内のテーブルデータから読み出す。
次に、色滲み除去部１５０での処理を図７のフローチャートを用いて説明する。色滲み除去部１５０での処理は、空間演算ステップＳ１５１と、色滲み推定ステップＳ１５３と、領域判定ステップＳ１５２と、過除去抑制ステップＳ１５４と、除去ステップＳ１５５とにより構成されている。なお、これら各ステップでの処理は、撮像装置１００内の不図示のメモリに格納されたコンピュータプログラムに従って実行される。このことは、後述する他の実施例でも同じである。
ここで、上記ステップＳ１５１〜Ｓ１５５は、色滲み除去部１５０の構成と考えることもできる。空間演算ステップＳ１５１および領域判定ステップＳ１５２により色滲み検出手段および色滲み検出ステップが構成される。また、推定ステップＳ１５３、過除去抑制ステップＳ１５４および除去ステップＳ１５５により処理手段又は処理ステップが構成される。
本実施例では、Ｒプレーンを色滲みを除去する対象の色プレーンとし、Ｇプレーンを色滲み除去において参照する基準プレーンとする。
空間演算ステップＳ１５１では、ＧプレーンおよびＢプレーンの輝度傾斜マップをそれぞれ∇Ｂ，∇Ｇとすると、∇Ｂ，∇Ｇを以下の式を用いた空間演算により計算する。
【００１３】
【数１】
【００１４】
ここで、
Ｂ（ｘ＋１，ｙ）とＧ（ｘ＋１，ｙ）はそれぞれ、ＢおよびＧプレーンにおける注目画素の右隣の画素の値である。
Ｂ（ｘ−１，ｙ）とＧ（ｘ−１，ｙ）はそれぞれ、ＢおよびＧプレーンにおける注目画素の左隣の画素の値である。
Ｂ（ｘ，ｙ＋１）とＧ（ｘ，ｙ＋１）はそれぞれ、ＢおよびＧプレーンにおける注目画素の下隣の画素の値である。
Ｂ（ｘ，ｙ−１）とＧ（ｘ，ｙ−１）はそれぞれ、ＢおよびＧプレーンにおける注目画素の上隣の画素の値である。
推定ステップＳ１５３ではカラー画像の各画素に対して、色滲みとなっている余計なＢプレーンの強度を推定する。推定手法はＢが飽和しているか、していないかによって異なるが、双方の場合に備えて推定ステップ１（Ｓ１５３ａ）および推定ステップ２（Ｓ１５３ｂ）により２種類の色滲み推定量Ｅ１，Ｅ２を計算する。
本実施例では、基本的にＢの輝度プロファイルの傾きによってＢの滲み量を推定する。そこで、推定ステップ１（Ｓ１５３ａ）では、以下の式で示すように、Ｂの輝度傾斜∇Ｂの絶対値に係数ｋ１を乗じて色滲み推定量Ｅ１とする。
【００１５】
【数２】
【００１６】
ここで、ｋ１は正の定数である。
一方、Ｂが飽和している水色飽和領域では、Ｂの輝度傾斜は０になってしまい、飽和前の輝度傾斜が得られない。このような領域の色滲み推定量Ｅ２を推定ステップ２（Ｓ１５３ｂ）により算出する。推定ステップ２（Ｓ１５３ｂ）では、以下の式で示すように、Ｇの輝度傾斜∇Ｇによって色滲み推定量Ｅ２を定める。
【００１７】
【数３】
【００１８】
ここで、ｋ２は正の定数である。
領域判定ステップＳ１５２では、まず、通常のグラデーションを色滲みと誤判定することを防止するため、∇Ｂ／∇Ｇを計算し、その値が閾値ｋ３よりも大きい場合には色滲み補正をしないこととして、色滲み領域を判定する。
次に、領域判定ステップＳ１５２では、Ｂプレーンの強度に対する非線形変換を行い、飽和度Ｓを生成する。この飽和度Ｓは、Ｂが飽和しているかどうかを示すものであり、Ｂの強度が飽和している領域では１になり、Ｂの強度が小さい領域では０となり、Ｂの強度が中程度である領域では０より大きく１より小さい値になる。
具体的には、図８に示すように、画素値Ｉとの関係で飽和度Ｓを生成する。εは画素値Ｉに対する閾値である。Ｉ≧Ｉｍａｘ−ε（Ｉｍａｘは画素値Ｉの最大値）であれば、Ｓ＝１とする。Ｉ＜εであれば、Ｓ＝０とする。また、Ｉｍａｘ−ε＞Ｉ≧εであれば、０＜Ｓ＜１となるように画素値Ｉに比例するように飽和度Ｓを生成する。
そして、領域判定ステップＳ１５２では、この飽和度Ｓを用いて推定ステップＳ１５３で算出したＥ１又はＥ２を新たな色滲み推定量Ｅとして選択する。飽和度Ｓが０又は１であれば、新たな色滲み推定量Ｅを、
【００１９】
【数４】
【００２０】
とする。
また、０＜Ｓ＜１であれば、新たな色滲み推定量Ｅを、
Ｅ＝（１−Ｓ）Ｅ１＋ＳＥ２
とする。
過除去抑制ステップＳ１５４では、新たな色滲み推定量Ｅを修正し、Ｂプレーンにおいて実際に除去する色滲み量としての色滲み除去量（色滲み補正量）Ｅ′を決める。ただし、除去による色相Ｈの変化が所定の角度δ以内となるように色滲み除去量Ｅ′を決める。
色相−彩度面を図９に示す。Ｂの強度から色滲みを除去すると、図中に点線矢印で示すように色相が下方に移動する。色相の変化を角度δ以内にするには、まず色滲み除去前の色相である、
Ｈｏｒｉ＝Ｈ（Ｒ，Ｇ，Ｂ）
を求め、色滲み除去の前後において角度δの変化を与えるＢの色滲み除去量Ｅｒ，Ｅｌを以下の式により計算する。
Ｈ（Ｒ，Ｇ，Ｂ−Ｅｒ）＝Ｈｏｒｉ−δ
Ｈ（Ｒ，Ｇ，Ｂ−Ｅｌ）＝Ｈｏｒｉ＋δ
δとしては、１０〜４５度程度にするのが好適である。
そして、これらのＥｒ，Ｅｌと色滲み推定量Ｅとを用いて色滲み除去量Ｅ′を求める。
Ｅ′＝ｍｉｎ（Ｅ，ｍａｘ（Ｅｒ，Ｅｌ，０））
図１０においてはＥ′＝Ｅｒとなる。
【００２１】
除去ステップＳ１５５では、過除去抑制ステップＳ１５４で求められた色滲み除去量Ｅ′をＢプレーンの強度から差し引き、新たなＢプレーン強度、
Ｂ＝Ｂ−Ｅ′
を求める。そして、この新たなＢプレーン強度を用いてＢプレーンを修正した出力画像としてのカラー画像を視覚補正部１６０に出力する。
【００２２】
次に、推定ステップＳ１５３にて用いられる係数ｋ１，ｋ２、領域判定ステップＳ１５２で用いられる係数ｋ３、および過除去抑制ステップＳ１５４にて用いられる角度（定数）δについて説明する。係数ｋ１，ｋ２および角度δは色滲み補正パラメータに相当し、色滲み除去量の決定において重要な役割を持つ。また、係数ｋ３は色滲み検出パラメータに相当し、色滲み（色滲み領域）の判定（検出）において重要な役割を持つ。さらに、係数ｋ１，ｋ２，ｋ３は輝度傾斜の係数として、また角度δは色相変化の閾値としていずれも抽象的な値であるため、撮影場面の変化に対してロバスト性の高い数値である。
しかし、係数ｋ１，ｋ２，ｋ３や角度δの厳密な適正値は結像光学系１１０の構成、イメージセンサ１２０の画素ピッチ、結像光学系１１０のズーム状態、絞り値、フォーカス状態、被写体距離、像高、色滲みを発生させる光源の明るさ等によって変化する。係数ｋ１，ｋ２，ｋ３や角度δが適正値から外れると、検出漏れや誤検出、補正不足や過剰補正を生じる。また、係数ｋ１，ｋ２，ｋ３や角度δは、画素の輝度値や色相とは直接的な関係を持たないため、ユーザがこれらパラメータの変更の効果を把握ににくい。このため、ユーザに、色滲み補正処理を行った出力画像等を見せながら該パラメータの設定変更（調節）を行わせるのが望ましい。
本実施例では、色滲み補正処理前のカラー画像と色滲み補正処理後の出力画像又は色滲み補正処理の対象領域を表す画像とを表示部１９０に表示して、ユーザにパラメータ調節の効果を確認させながらパラメータ調節を行わせる。
図１０〜図１３を参照して、本実施例におけるパラメータ設定方法（パラメータ設定ステップ）について説明する。図１０には、図３に示したカラー撮像装置１００に相当するコンパクトデジタルカメラを示している。１１０１はカメラ本体である。１１０２はカメラ本体１１０１の背面に取り付けられた表示部であり、図３中の表示部１９０に相当する。１１０３，１１０４，１１０５は操作部材であり、図３中の操作部２００に含まれる。表示部１１０２および操作部材１１０３，１１０４，１０５によりユーザインターフェースが構成される。
図１１、図１２および図１３には、図１０の表示部１１０２に表示される内容を示す。図１１は色滲み除去量（色滲み補正量）、つまりは係数ｋ１，ｋ２を調節するための表示である。ここでは説明を単純にするために、ｋ１′＝ｋ１＝ｋ２とする。表示部１１０２には、画像とスライダとが表示されている。
操作部材１１０４の操作によって、表示画像が色滲み補正処理前の画像（元のカラー画像）と色滲み補正処理後の画像との間で切り替わる。操作部材１１０３の操作によってスライダを移動させることにより、色滲み補正処理後の画像における色滲み除去効果が変化する。ユーザは、色滲み補正処理後の画像を見ながらスライダを移動させ、最も好ましい色滲み除去が行われた画像が表示されるスライダ位置で操作部材１１０５を操作する。これにより、係数ｋ１′が決定される。
図１２は過除去抑制（色反転防止）機能、つまりは角度δを調節するための表示である。表示部１１０２には、画像とスライダとが表示されている。
操作部材１１０４の操作によって、表示画像が色滲み補正処理前の画像（元のカラー画像）と色滲み補正処理後の画像との間で切り替わる。操作部材１１０３の操作によってスライダを移動させることにより、色滲み補正処理後の画像における色滲み除去効果が変化する。ユーザは、色滲み補正処理後の画像を見ながらスライダを移動させ、色相の反転が生じない程度に色滲み除去処理が行われた画像が表示されるスライダ位置で操作部材１１０５を操作する。これにより、角度δが決定される。
また、図１３は色滲み領域として判定される領域、つまりは係数ｋ３を調節するための表示である。
操作部材１１０４の操作によって、表示画像が色滲み領域の判定前の画像（元のカラー画像）と色滲み領域を明示した画像との間で切り替わる。色滲み領域の明示は、元のカラー画像に対して空間演算ステップＳ１５１および領域判定ステップＳ１５２での処理を行うことで該カラー画像中に係数ｋ３に対応する画素領域（画像領域）を特定し、その画素領域を他の画素領域と異なる色で表示することで行える。また、元のカラー画像上に色滲み領域を囲む枠を重畳表示してもよい。
操作部材１１０３の操作によってスライダを移動させることにより、色滲み領域が変化する。ユーザは、スライダを移動させて適切な色滲み領域が明示された画像が表示されるスライダ位置で操作部材１１０５を操作する。これにより、係数ｋ３が決定される。
本実施例では、上記のようなユーザインターフェースを備えることにより、ユーザが適切な色滲み検出パラメータおよび色滲み補正パラメータを容易に設定することが可能となる。これにより、色滲み領域の検出漏れや誤検出、色滲みの補正不足や過剰補正をほとんど生じることなく良好な色滲み補正画像を得ることができる。
なお、本実施例では、色滲み検出パラメータおよび色滲み補正パラメータの双方をユーザインターフェースを介してユーザが任意に設定可能とした場合について説明した。しかし、色滲み検出パラメータおよび色滲み補正パラメータのうち少なくとも一方のパラメータがユーザインターフェースを介して設定可能であればよい。
【実施例２】
【００２３】
次に、本発明の実施例２について説明する。本実施例では、撮影場面に応じて色滲み検出パラメータおよび色滲み補正パラメータ（これらのうち少なくとも一方であってもよい）を切り替える。
なお、本実施例におけるカラー撮像装置および画像処理装置の構成は実施例１と同様である。このため、カラー撮像装置の構成要素には、実施例１にて用いた符号と同符号を付している。また、本実施例における色滲み除去方法も実施例１と同じである。
図１４には、表示部１９０に表示される示されるモード選択ダイアログ（ユーザインターフェースの一部）を示している。ここにいうモードとは、夜景、昼間、室内等の撮影場面である。撮影場面と結像光学系１１０のズーム状態とに応じた適切な（標準的な）係数ｋ１，ｋ２，ｋ３および角度δが予めメモリ部２１０に記録されている。
ユーザが操作部２００の操作によってモード選択ダイアログ上において撮影場面を選択することにより、色滲み除去部１５０は、該選択された撮影場面とそのときのズーム状態とに応じた係数ｋ１，ｋ２，ｋ３および角度δをメモリ部２１０から読み出す。すなわち、本実施例では、ユーザによる撮影場面の選択を通じて色滲み検出パラメータおよび色滲み補正パラメータが変更設定されるようにユーザインターフェースが構成されている。
そして、色滲み除去部１５０は、該読み出した（設定された）係数ｋ１，ｋ２，ｋ３および角度δを用いて、図７に示した推定ステップＳ１５３、領域判定ステップＳ１５２および過除去抑制ステップＳ１５４での処理を行う。
これにより、色滲み補正の必要がない画素領域が誤って補正されたり色滲み補正の必要がある画素領域が補正されなかったり、過補正や補正不足の発生を回避することができる。
また、結像光学系１１０が交換レンズである場合には、係数ｋ１，ｋ２，ｋ３および角度δの適切な値も交換レンズの種類によって変化する。このため、図１５に示すようなモデル選択ダイアログを表示部１９０に表示し、ユーザが交換レンズのモデル名を選択することで、該選択されたモデルに対して適切な係数ｋ１，ｋ２，ｋ３および角度δが色滲み除去部１５０に設定されるようにしてもよい。
【実施例３】
【００２４】
次に、本発明の実施例３について説明する。本実施例では、撮影場面に応じた色滲み検出パラメータおよび色滲み補正パラメータ（これらのうち少なくとも一方であってもよい）をユーザが入力（登録）することができる。
なお、本実施例におけるカラー撮像装置および画像処理装置の構成は実施例１と同様である。このため、カラー撮像装置の構成要素には、実施例１にて用いた符号と同符号を付している。また、本実施例における色滲み除去方法も実施例１と同じである。
前述した実施例２のように、撮影場面に応じた色滲み検出パラメータおよび色滲み補正パラメータの標準値を予めメモリ部２１０に記録しておくことにより、ユーザが撮影ごとにパラメータを設定する必要がなくなる。しかし、予めメモリ部２１０にパラメータを記録しておく撮影場面のバリエーションには限りがあり、特殊な撮影場面に対して適切なパラメータが用意されていない場合もあり得る。また、夜景、昼間、室内等の一般的な撮影場面であっても、予めメモリ部２１０に用意されたパラメータでは十分に良好な色滲み補正画像が得られない場合もあり得る。
そこで、本実施例では、様々な撮影場面（一般的な撮影場面や特殊な撮影場面）と、該撮影場面に対する色滲み検出パラメータおよび色滲み補正パラメータをユーザが登録できるようにしている。
ユーザは、登録したい撮影場面ごとに色滲みを補正したい複数の画像を用意し、それぞれの画像に対する色滲み検出パラメータおよび色滲み補正パラメータを算出する。そして、該複数の画像のそれぞれに対して算出したパラメータの平均値等、統計的に信頼度の高い値をその撮影場面に対するユーザ登録パラメータとして記録する。
【００２５】
また、ユーザによるパラメータ登録を以下のように行ってもよい。図１６には、表示部１９０の中央に表示された基準画像に対して係数（色滲み検出パラメータ）ｋ３を段階的に増減させた複数の画像を一覧表示した様子を示している。この図では、左上の画像が係数ｋ３を最も大きくした場合の画像であり、右下の画像が係数ｋ３を最も小さくした場合の画像である。
ユーザは、操作部２００を操作して、これらの複数の画像の中から色滲み領域が適切に設定された画像を選択する。図１６中において丸で囲まれた画像が現在選択されている画像である。これにより、メモリ部２１０には、これら複数の画像の撮影場面とこれに対応する係数ｋ３が登録される。なお、同様にして、色滲み補正パラメータである係数ｋ１，ｋ２および角度δを登録することも可能である。
その後、撮影場面を選択するためのモード選択ダイアログには、図１７に示すように、ユーザが登録した撮影場面（ユーザ定義１，ユーザ定義２…）を選択可能とするように項目が追加される。
上記実施例１〜３では、画像処理装置を搭載したカラー撮像装置について説明したが、画像処理装置をパーソナルコンピュータ等のカラー撮像装置とは別の装置として構成してもよい。この場合、カラー撮像装置により生成されたカラー画像が記録媒体又は通信を介して画像処理装置に入力されるようにすればよい。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【００２６】
良好な色滲みの検出処理と低減処理を行うためのパラメータをユーザが容易に設定できる画像処理装置を実現する。
【符号の説明】
【００２７】
１１０ 結像光学系
１２０ イメージセンサ
１５０ 色滲み除去部
１９０ 表示部
２００ 操作部
２１０ メモリ部
【技術分野】
【０００１】
本発明は、撮影により得られたカラー画像に対して、いわゆる色滲みを低減する処理を行う画像処理技術に関する。
【背景技術】
【０００２】
カラー撮像系では結像光学系の色収差により、画像上で明るい部分の周囲に本来存在しない色が色滲みとして生じる。色滲みは、結像光学系の中心波長から離れた部分で起きやすく、可視光カラー撮像系では、青や赤又はこれらが混ざった紫色のアーティファクトが滲み状に生ずる。このような色滲みは、パープルフリンジとも呼ばれる。
色収差は、異なる分散を持つレンズを複数組み合わせることにより、ある程度光学的に低減することができる。しかし、デジタルカメラの小型化が進行し、イメージセンサ（撮像素子）の高解像度化と共に光学系の小型化に対する要求も高まり、色収差を光学のみで十分に低減することが困難となってきている。このため、画像処理によるアーティファクトの低減が求められている。
色収差は、横色収差（倍率色収差）と縦色収差（軸上色収差）に大別される。横色収差は、図１に示すように、光源から発した光が結像光学系によって焦点面に結像するとき、波長４５０ｎｍ付近のＢ光線、波長５５０ｎｍ付近のＧ光線、波長６５０ｎｍのＲ光線の結像位置が像面方向にずれる現象である。縦色収差は、図２に示すように、光源から発した光が結像光学系によって焦点面に結像するとき、Ｂ光線、Ｇ光線、Ｒ光線の結像位置が光軸方向にずれる現象である。
【０００３】
横色収差に対しては、原色系のデジタル撮像系であれば、特許文献１にて開示されているように、ＲＧＢの各色プレーンに対して異なる歪曲を加える幾何変換によって補正される。
一方、縦色収差は、例えば可視光域の中心波長を担うＧプレーンで合焦した画像においては、可視光域の端部となるＲプレーンやＢプレーンにおいては非合焦画像となる現象である。これは、横色収差のような幾何補正では補正できないが、特許文献２にて開示されているように、色滲みが生じる領域での彩度を下げることにより目立たなくすることができる。具体的には、ＲＧＢの各色プレーンに対し、デコンボリューション（deconvolution）処理およびその近似的な処理である輪郭強調処理を行って色滲みを目立たなくする。
【０００４】
ただし、幾何変換やデコンボリューション処理を行うためには、正確な歪曲量やぼけ関数が分かっていなければ適切な結果が得られない。特に、カメラ撮影のように撮影条件が様々に変化する場合には、ズーム位置、絞り値およびフォーカス位置といった結像光学系の状態や被写体距離が刻々と変化するため、これらを反映した正確な歪曲量やぼけ関数を得ることは困難である。
これに対し、特許文献３や特許文献４にて開示された方法では、画像から、色滲みの検出に用いられる検出パラメータと色滲みの補正（低減）処理に用いられる補正パラメータを算出する。このため、画像さえあれば良好に色滲みを低減することが可能である。ただし、特許文献３にて開示されているように彩度を下げる処理は、輝度の強い画素に相応する色を他の色の輝度レベルまで落とす処理である。この処理は、色滲みの色を消して不自然さを減らす効果はあるが、場合によっては被写体の本来の色も影響を受け、色滲みの有無にかかわらず画像がグレーがかる。
また、特許文献４にて開示された方法では、画像内の白飛び領域の検出が必要である。しかも、白飛び領域の階調、白飛び領域の周辺の色滲み領域の大きさ（画素距離）および色滲みの色相範囲等、画像の内容に密接に関係する色滲みに関する物理量を指定する必要がある。このため、画像の内容が少しでも変わるとパラメータを流用することができないという問題がある。また、周辺画素による穴埋め処理で色滲みを解消するため、間違った周辺画素で穴埋めしてしまう可能性もある。
これに対し、特許文献５にて光学系の設計情報や収差量、撮影条件等が不明であっても、画像内の強度：傾斜を調べて色滲みを検出し、色滲みの輝度傾斜と色プレーン間の輝度差に基づいて色滲みを補正する方法（以下、輝度傾斜法という）が提案されている。この輝度傾斜法によれば、彩度低下や穴埋め補間を行う場合よりも自然な色滲み補正を行うことができる。
また、輝度傾斜法は、輝度傾斜および色プレーン間の輝度差といったより抽象的な量を基準とする。すなわち、白飛び領域の階調、白飛び領域を基準とした色滲み領域の範囲、色滲み領域の色相や彩度といった画像の内容に密接な物理量をパラメータとしない。このため、より多様な場面で撮影した画像に対しても、ロバストに色滲み補正を行えることが期待される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第６，７２４，７０２明細書
【特許文献２】特開２００３−０１８４０７号公報
【特許文献３】特開２００１−１４５１１７号公報
【特許文献４】特開２００６−３３６５６号公報
【特許文献５】特開２００８−２０１４７９８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、輝度傾斜法でも、撮影場面や撮影条件に応じて色滲み領域の検出に用いられる検出パラメータや色滲み補正に用いられる補正パラメータを変化させた方が、より良い結果が得られる。このため、検出パラメータや補正パラメータをいかに効率良く設定できるようにするかが課題となる。
補正パラメータを設定するユーザーインターフェース（ＵＩ）は、特許文献４にて開示されている。
しかしながら、特許文献４にて開示された色滲み補正方法では、前述したように、画像の内容に密接にかかわる物理量をパラメータとする。このため、ＵＩにおいても白飛び領域の輝度、白飛び領域周辺の色滲み領域の大きさ（画素距離）、色滲み領域の色相・彩度、補正後の色相・彩度といった画像処理に不慣れなユーザにはわかりにくい専門的なパラメータを複数設定する必要がある。
また、特許文献４にて開示された色滲み補正方法は、入力画像ごとにパラメータを決定することが前提となっている。さらに、輝度傾斜法は、他の従来の補正方法に比べて、パラメータ数が少なく、かつ抽象度の高いパラメータを用いる。このため、ユーザに分かりにくいパラメータの入力を課したり、パラメータのロバスト性を生かしていなかったりする。
そこで、本発明は、良好な色滲みの検出処理と低減処理を行うためのパラメータをユーザが容易に設定できるようにした画像処理装置および画像処理方法を提供する。
【課題を解決するための手段】
【０００７】
本発明の一側面としての画像処理装置は、撮影により生成されたカラー画像に含まれる色滲みを色滲み検出パラメータを用いて検出する色滲み検出手段と、色滲みを低減するための補正量を色滲み補正パラメータを用いて算出し、該補正量を用いてカラー画像に対する色滲み低減処理を行う処理手段とを有する。そして、該装置は、色滲み検出パラメータおよび色滲み補正パラメータのうち少なくとも一方のパラメータをユーザに設定させるためのユーザインターフェース手段を有することを特徴とする。
【０００８】
なお、撮影によりカラー画像を生成する撮像系と上記画像処理装置とを有する撮像装置も本発明の他の一側面を構成する。
また、本発明の他の一側面としての画像処理方法は、撮影により生成されたカラー画像に含まれる色滲みを色滲み検出パラメータを用いて検出する色滲み検出ステップと、色滲みを低減するための補正量を色滲み補正パラメータを用いて算出し、該補正量を用いてカラー画像に対する色滲み低減処理を行う処理ステップとを有する。そして、該方法は、検出パラメータおよび補正パラメータのうち少なくとも一方のパラメータを、ユーザインターフェースを通じてユーザに設定させるパラメータ設定ステップを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、色滲みの検出処理や低減処理のための適切なパラメータをユーザが容易に設定できる。したがって、色滲みが良好に低減された出力画像を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】横色収差の説明図。
【図２】縦色収差の説明図。
【図３】本発明の実施例１であるカラー撮像装置の構成を示すブロック図。
【図４】原色カラーフィルタの説明図。
【図５】カラーフィルタアレイの説明図。
【図６】明暗境界での色滲みの説明図。
【図７】実施例１の撮像装置に設けられた色滲み処理判定部の構成（処理手順）を示すフローチャート。
【図８】実施例１における画素値と飽和度との関係を示す図。
【図９】実施例１における過除去抑制処理を示す概念図。
【図１０】実施例１のカラー撮像装置の背面図。
【図１１】実施例１におけるユーザインターフェースの説明図。
【図１２】実施例１におけるユーザインターフェースの説明図。
【図１３】実施例１におけるユーザインターフェースの説明図。
【図１４】実施例１におけるモード選択ダイアログの説明図。
【図１５】実施例１における他のモード選択ダイアログの説明図。
【図１６】実施例１における領域判定パラメータの設定画面を示す図。
【図１７】本発明の実施例２におけるモード選択ダイアログの説明図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１２】
図３には、本発明の実施例１である画像処理装置を搭載した又は画像処理方法を使用するカラー撮像装置１００を示す。
カラー撮像装置１００は、結像光学系１１０と、イメージセンサ１２０と、ＡＤ変換部１３０と、デモザイク部１４０と、色滲み除去部１５０とを有する。また、撮像装置１００は、視覚補正部１６０と、圧縮部１７０と、記録部１８０と、表示部１９０と、操作部２００と、メモリ部２１０と、ズーム状態読取部２２０とを有する。
なお、図３中に示した写野（撮像領域，被写体）ｆやＲ（赤），Ｇ（緑），Ｂ（青）の光線は、カラー撮像装置１００の構成要素ではないが、説明のため図示している。
写野ｆからの光線は、結像光学系１１０によってイメージセンサ１２０上に結像する。一般に、カラー撮像装置に設けられる結像光学系は、一定の色収差補正が施されている。本実施例の結像光学系１１０は、全ての波長域においてある程度、縦色収差が補正されているが、特にＧ波長域での縦色収差が良好に補正されており、他波長ではＧ波長域よりも多くの縦色収差が残存している。このようにＢの波長域の縦色収差の補正基準を下げることにより、その他の収差補正を改善したり、撮像装置を小型化したりすることが可能となる。
イメージセンサ１２０は、一般的な原色カラーフィルタ系を備える単板カラーイメージセンサである。原色カラーフィルタ系は、図４に示すように、それぞれ６５０ｎｍ，５５０ｎｍ，４５０ｎｍの近傍に透過主波長帯を持つ３種類の色フィルタにより構成されており、それぞれＲ，Ｇ，Ｂの各バンドに対応する色プレーンを撮像する。単板カラーイメージセンサでは、これらの色フィルタを図５に示すように画素毎に空間的に配列し、各画素に対しては単一の色プレーンにおける強度を得ることしかできない。このためイメージセンサ１２０からは色モザイク画像が出力される。
なお、不図示の色分解プリズムを用いて入射光をＲ，Ｇ，Ｂの波長域に分け、それぞれの波長の光を別々のイメージセンサで撮像する３板式カラーイメージセンサを用いてもよい。この場合、デモザイク部１４０は不要となる。
ＡＤ変換部１３０は、イメージセンサ１２０からアナログ電圧として出力される色モザイク画像を、これ以降の画像処理に適したデジタルデータに変換する。
デモザイク部１４０は、色モザイク画像を補間することによって、全ての画素がＲＧＢの色情報を有するカラー画像を生成する。イメージセンサ１２０、ＡＤ変換部１３０およびデモザイク部１４０によって、撮影によりカラー画像を生成する撮像系が構成される。
デモザイク部１４０で生成されたカラー画像は、結像光学系１１０の色収差によって、ＲプレーンやＧプレーンに比べてＢプレーンの解像度が劣る画像となる。このため、明暗の境界部では、例えば図６に示すように、Ｂの色滲みが生じ、明部の周囲に青い縁取りのようなアーティファクトが生じる。
なお、本実施例では、イメージセンサ１２０の色フィルタをＲ，Ｇ，Ｂからなる原色系とするが、補色系カラーフィルタとしてもよい。この場合、色変換処理によって、Ｒ，Ｇ，Ｂの色プレーンからなるカラー画像が得られる。
色滲み除去部（処理手段）１５０は、画像処理によって、カラー画像（入力画像）からこの青色のアーチファクトを除去（低減）する。色滲み除去部１５０での色滲み除去処理（色滲み低減処理）については、後で詳しく説明する。
視覚補正部１６０は、主として画像の見栄えを改善するための処理をカラー画像に対して行う。例えば、トーンカーブ（ガンマ）補正、彩度強調、色相補正、エッジ強調といった画像補正が行われる。
圧縮部１７０は、視覚補正部１６０にて補正されたカラー画像をＪＰＥＧ等の画像圧縮方法で圧縮し、記録時のサイズを小さくする。圧縮処理が行われたカラー画像は、記録部１８０にて、ハードディスク、ＤＶＤ、磁気テープ、フラッシュメモリ等の記録媒体に記録される
これらイメージセンサ１２０から記録部１８０までの処理部は、実際にはそれぞれ別々のデバイスによって構成されてもよいし、単一のマイクロプロセッサ上に構成されてもよい。
表示部１９０および操作部２００は、ユーザインターフェースを構成する。表示部１９０は、液晶パネルや有機ＥＬパネル等の表示素子（表示素子）により構成されている。表示部１９０は、各種処理の前後の画像や各種パラメータをユーザに設定又は変更させるためのグラフィカルユーザインターフェース（ＧＵＩ）を表示する。
操作部２００には、ボタン、十字キー、スティック、ダイヤル等の操作部材を有する。ユーザが該操作部材を操作することにより、表示部１９０に表示されたメニュー項目を選択したり、各種パラメータを設定又は変更したりすることができる。
メモリ部２１０はフラッシュメモリ等により構成されており、ここには各種パラメータのプリセット値が記録されている。各種パラメータには、色滲み除去に関するパラメータとして、色滲み検出パラメータと色滲み補正パラメータが含まれている。色滲み検出パラメータは、カラー画像中の色滲み（色滲み領域）を検出する色滲み検出処理に用いられる。また、色滲み補正パラメータは、色滲みを除去（低減）する色滲み除去処理（色滲み低減処理）に用いられる。
ズーム状態読取部２２０は、結像光学系１１０のズーム状態を読み取るエンコーダにより構成されている。前述した色滲み検出パラメータおよび色滲み補正パラメータは、ズーム状態を変数とするテーブルデータとしてメモリ部２１０に記録されている。
色滲み除去部１５０は、ズーム状態読取部２２０によって読み取られたズーム状態に対応する色滲み検出パラメータおよび色滲み補正パラメータをメモリ部２１０内のテーブルデータから読み出す。
次に、色滲み除去部１５０での処理を図７のフローチャートを用いて説明する。色滲み除去部１５０での処理は、空間演算ステップＳ１５１と、色滲み推定ステップＳ１５３と、領域判定ステップＳ１５２と、過除去抑制ステップＳ１５４と、除去ステップＳ１５５とにより構成されている。なお、これら各ステップでの処理は、撮像装置１００内の不図示のメモリに格納されたコンピュータプログラムに従って実行される。このことは、後述する他の実施例でも同じである。
ここで、上記ステップＳ１５１〜Ｓ１５５は、色滲み除去部１５０の構成と考えることもできる。空間演算ステップＳ１５１および領域判定ステップＳ１５２により色滲み検出手段および色滲み検出ステップが構成される。また、推定ステップＳ１５３、過除去抑制ステップＳ１５４および除去ステップＳ１５５により処理手段又は処理ステップが構成される。
本実施例では、Ｒプレーンを色滲みを除去する対象の色プレーンとし、Ｇプレーンを色滲み除去において参照する基準プレーンとする。
空間演算ステップＳ１５１では、ＧプレーンおよびＢプレーンの輝度傾斜マップをそれぞれ∇Ｂ，∇Ｇとすると、∇Ｂ，∇Ｇを以下の式を用いた空間演算により計算する。
【００１３】
【数１】
【００１４】
ここで、
Ｂ（ｘ＋１，ｙ）とＧ（ｘ＋１，ｙ）はそれぞれ、ＢおよびＧプレーンにおける注目画素の右隣の画素の値である。
Ｂ（ｘ−１，ｙ）とＧ（ｘ−１，ｙ）はそれぞれ、ＢおよびＧプレーンにおける注目画素の左隣の画素の値である。
Ｂ（ｘ，ｙ＋１）とＧ（ｘ，ｙ＋１）はそれぞれ、ＢおよびＧプレーンにおける注目画素の下隣の画素の値である。
Ｂ（ｘ，ｙ−１）とＧ（ｘ，ｙ−１）はそれぞれ、ＢおよびＧプレーンにおける注目画素の上隣の画素の値である。
推定ステップＳ１５３ではカラー画像の各画素に対して、色滲みとなっている余計なＢプレーンの強度を推定する。推定手法はＢが飽和しているか、していないかによって異なるが、双方の場合に備えて推定ステップ１（Ｓ１５３ａ）および推定ステップ２（Ｓ１５３ｂ）により２種類の色滲み推定量Ｅ１，Ｅ２を計算する。
本実施例では、基本的にＢの輝度プロファイルの傾きによってＢの滲み量を推定する。そこで、推定ステップ１（Ｓ１５３ａ）では、以下の式で示すように、Ｂの輝度傾斜∇Ｂの絶対値に係数ｋ１を乗じて色滲み推定量Ｅ１とする。
【００１５】
【数２】
【００１６】
ここで、ｋ１は正の定数である。
一方、Ｂが飽和している水色飽和領域では、Ｂの輝度傾斜は０になってしまい、飽和前の輝度傾斜が得られない。このような領域の色滲み推定量Ｅ２を推定ステップ２（Ｓ１５３ｂ）により算出する。推定ステップ２（Ｓ１５３ｂ）では、以下の式で示すように、Ｇの輝度傾斜∇Ｇによって色滲み推定量Ｅ２を定める。
【００１７】
【数３】
【００１８】
ここで、ｋ２は正の定数である。
領域判定ステップＳ１５２では、まず、通常のグラデーションを色滲みと誤判定することを防止するため、∇Ｂ／∇Ｇを計算し、その値が閾値ｋ３よりも大きい場合には色滲み補正をしないこととして、色滲み領域を判定する。
次に、領域判定ステップＳ１５２では、Ｂプレーンの強度に対する非線形変換を行い、飽和度Ｓを生成する。この飽和度Ｓは、Ｂが飽和しているかどうかを示すものであり、Ｂの強度が飽和している領域では１になり、Ｂの強度が小さい領域では０となり、Ｂの強度が中程度である領域では０より大きく１より小さい値になる。
具体的には、図８に示すように、画素値Ｉとの関係で飽和度Ｓを生成する。εは画素値Ｉに対する閾値である。Ｉ≧Ｉｍａｘ−ε（Ｉｍａｘは画素値Ｉの最大値）であれば、Ｓ＝１とする。Ｉ＜εであれば、Ｓ＝０とする。また、Ｉｍａｘ−ε＞Ｉ≧εであれば、０＜Ｓ＜１となるように画素値Ｉに比例するように飽和度Ｓを生成する。
そして、領域判定ステップＳ１５２では、この飽和度Ｓを用いて推定ステップＳ１５３で算出したＥ１又はＥ２を新たな色滲み推定量Ｅとして選択する。飽和度Ｓが０又は１であれば、新たな色滲み推定量Ｅを、
【００１９】
【数４】
【００２０】
とする。
また、０＜Ｓ＜１であれば、新たな色滲み推定量Ｅを、
Ｅ＝（１−Ｓ）Ｅ１＋ＳＥ２
とする。
過除去抑制ステップＳ１５４では、新たな色滲み推定量Ｅを修正し、Ｂプレーンにおいて実際に除去する色滲み量としての色滲み除去量（色滲み補正量）Ｅ′を決める。ただし、除去による色相Ｈの変化が所定の角度δ以内となるように色滲み除去量Ｅ′を決める。
色相−彩度面を図９に示す。Ｂの強度から色滲みを除去すると、図中に点線矢印で示すように色相が下方に移動する。色相の変化を角度δ以内にするには、まず色滲み除去前の色相である、
Ｈｏｒｉ＝Ｈ（Ｒ，Ｇ，Ｂ）
を求め、色滲み除去の前後において角度δの変化を与えるＢの色滲み除去量Ｅｒ，Ｅｌを以下の式により計算する。
Ｈ（Ｒ，Ｇ，Ｂ−Ｅｒ）＝Ｈｏｒｉ−δ
Ｈ（Ｒ，Ｇ，Ｂ−Ｅｌ）＝Ｈｏｒｉ＋δ
δとしては、１０〜４５度程度にするのが好適である。
そして、これらのＥｒ，Ｅｌと色滲み推定量Ｅとを用いて色滲み除去量Ｅ′を求める。
Ｅ′＝ｍｉｎ（Ｅ，ｍａｘ（Ｅｒ，Ｅｌ，０））
図１０においてはＥ′＝Ｅｒとなる。
【００２１】
除去ステップＳ１５５では、過除去抑制ステップＳ１５４で求められた色滲み除去量Ｅ′をＢプレーンの強度から差し引き、新たなＢプレーン強度、
Ｂ＝Ｂ−Ｅ′
を求める。そして、この新たなＢプレーン強度を用いてＢプレーンを修正した出力画像としてのカラー画像を視覚補正部１６０に出力する。
【００２２】
次に、推定ステップＳ１５３にて用いられる係数ｋ１，ｋ２、領域判定ステップＳ１５２で用いられる係数ｋ３、および過除去抑制ステップＳ１５４にて用いられる角度（定数）δについて説明する。係数ｋ１，ｋ２および角度δは色滲み補正パラメータに相当し、色滲み除去量の決定において重要な役割を持つ。また、係数ｋ３は色滲み検出パラメータに相当し、色滲み（色滲み領域）の判定（検出）において重要な役割を持つ。さらに、係数ｋ１，ｋ２，ｋ３は輝度傾斜の係数として、また角度δは色相変化の閾値としていずれも抽象的な値であるため、撮影場面の変化に対してロバスト性の高い数値である。
しかし、係数ｋ１，ｋ２，ｋ３や角度δの厳密な適正値は結像光学系１１０の構成、イメージセンサ１２０の画素ピッチ、結像光学系１１０のズーム状態、絞り値、フォーカス状態、被写体距離、像高、色滲みを発生させる光源の明るさ等によって変化する。係数ｋ１，ｋ２，ｋ３や角度δが適正値から外れると、検出漏れや誤検出、補正不足や過剰補正を生じる。また、係数ｋ１，ｋ２，ｋ３や角度δは、画素の輝度値や色相とは直接的な関係を持たないため、ユーザがこれらパラメータの変更の効果を把握ににくい。このため、ユーザに、色滲み補正処理を行った出力画像等を見せながら該パラメータの設定変更（調節）を行わせるのが望ましい。
本実施例では、色滲み補正処理前のカラー画像と色滲み補正処理後の出力画像又は色滲み補正処理の対象領域を表す画像とを表示部１９０に表示して、ユーザにパラメータ調節の効果を確認させながらパラメータ調節を行わせる。
図１０〜図１３を参照して、本実施例におけるパラメータ設定方法（パラメータ設定ステップ）について説明する。図１０には、図３に示したカラー撮像装置１００に相当するコンパクトデジタルカメラを示している。１１０１はカメラ本体である。１１０２はカメラ本体１１０１の背面に取り付けられた表示部であり、図３中の表示部１９０に相当する。１１０３，１１０４，１１０５は操作部材であり、図３中の操作部２００に含まれる。表示部１１０２および操作部材１１０３，１１０４，１０５によりユーザインターフェースが構成される。
図１１、図１２および図１３には、図１０の表示部１１０２に表示される内容を示す。図１１は色滲み除去量（色滲み補正量）、つまりは係数ｋ１，ｋ２を調節するための表示である。ここでは説明を単純にするために、ｋ１′＝ｋ１＝ｋ２とする。表示部１１０２には、画像とスライダとが表示されている。
操作部材１１０４の操作によって、表示画像が色滲み補正処理前の画像（元のカラー画像）と色滲み補正処理後の画像との間で切り替わる。操作部材１１０３の操作によってスライダを移動させることにより、色滲み補正処理後の画像における色滲み除去効果が変化する。ユーザは、色滲み補正処理後の画像を見ながらスライダを移動させ、最も好ましい色滲み除去が行われた画像が表示されるスライダ位置で操作部材１１０５を操作する。これにより、係数ｋ１′が決定される。
図１２は過除去抑制（色反転防止）機能、つまりは角度δを調節するための表示である。表示部１１０２には、画像とスライダとが表示されている。
操作部材１１０４の操作によって、表示画像が色滲み補正処理前の画像（元のカラー画像）と色滲み補正処理後の画像との間で切り替わる。操作部材１１０３の操作によってスライダを移動させることにより、色滲み補正処理後の画像における色滲み除去効果が変化する。ユーザは、色滲み補正処理後の画像を見ながらスライダを移動させ、色相の反転が生じない程度に色滲み除去処理が行われた画像が表示されるスライダ位置で操作部材１１０５を操作する。これにより、角度δが決定される。
また、図１３は色滲み領域として判定される領域、つまりは係数ｋ３を調節するための表示である。
操作部材１１０４の操作によって、表示画像が色滲み領域の判定前の画像（元のカラー画像）と色滲み領域を明示した画像との間で切り替わる。色滲み領域の明示は、元のカラー画像に対して空間演算ステップＳ１５１および領域判定ステップＳ１５２での処理を行うことで該カラー画像中に係数ｋ３に対応する画素領域（画像領域）を特定し、その画素領域を他の画素領域と異なる色で表示することで行える。また、元のカラー画像上に色滲み領域を囲む枠を重畳表示してもよい。
操作部材１１０３の操作によってスライダを移動させることにより、色滲み領域が変化する。ユーザは、スライダを移動させて適切な色滲み領域が明示された画像が表示されるスライダ位置で操作部材１１０５を操作する。これにより、係数ｋ３が決定される。
本実施例では、上記のようなユーザインターフェースを備えることにより、ユーザが適切な色滲み検出パラメータおよび色滲み補正パラメータを容易に設定することが可能となる。これにより、色滲み領域の検出漏れや誤検出、色滲みの補正不足や過剰補正をほとんど生じることなく良好な色滲み補正画像を得ることができる。
なお、本実施例では、色滲み検出パラメータおよび色滲み補正パラメータの双方をユーザインターフェースを介してユーザが任意に設定可能とした場合について説明した。しかし、色滲み検出パラメータおよび色滲み補正パラメータのうち少なくとも一方のパラメータがユーザインターフェースを介して設定可能であればよい。
【実施例２】
【００２３】
次に、本発明の実施例２について説明する。本実施例では、撮影場面に応じて色滲み検出パラメータおよび色滲み補正パラメータ（これらのうち少なくとも一方であってもよい）を切り替える。
なお、本実施例におけるカラー撮像装置および画像処理装置の構成は実施例１と同様である。このため、カラー撮像装置の構成要素には、実施例１にて用いた符号と同符号を付している。また、本実施例における色滲み除去方法も実施例１と同じである。
図１４には、表示部１９０に表示される示されるモード選択ダイアログ（ユーザインターフェースの一部）を示している。ここにいうモードとは、夜景、昼間、室内等の撮影場面である。撮影場面と結像光学系１１０のズーム状態とに応じた適切な（標準的な）係数ｋ１，ｋ２，ｋ３および角度δが予めメモリ部２１０に記録されている。
ユーザが操作部２００の操作によってモード選択ダイアログ上において撮影場面を選択することにより、色滲み除去部１５０は、該選択された撮影場面とそのときのズーム状態とに応じた係数ｋ１，ｋ２，ｋ３および角度δをメモリ部２１０から読み出す。すなわち、本実施例では、ユーザによる撮影場面の選択を通じて色滲み検出パラメータおよび色滲み補正パラメータが変更設定されるようにユーザインターフェースが構成されている。
そして、色滲み除去部１５０は、該読み出した（設定された）係数ｋ１，ｋ２，ｋ３および角度δを用いて、図７に示した推定ステップＳ１５３、領域判定ステップＳ１５２および過除去抑制ステップＳ１５４での処理を行う。
これにより、色滲み補正の必要がない画素領域が誤って補正されたり色滲み補正の必要がある画素領域が補正されなかったり、過補正や補正不足の発生を回避することができる。
また、結像光学系１１０が交換レンズである場合には、係数ｋ１，ｋ２，ｋ３および角度δの適切な値も交換レンズの種類によって変化する。このため、図１５に示すようなモデル選択ダイアログを表示部１９０に表示し、ユーザが交換レンズのモデル名を選択することで、該選択されたモデルに対して適切な係数ｋ１，ｋ２，ｋ３および角度δが色滲み除去部１５０に設定されるようにしてもよい。
【実施例３】
【００２４】
次に、本発明の実施例３について説明する。本実施例では、撮影場面に応じた色滲み検出パラメータおよび色滲み補正パラメータ（これらのうち少なくとも一方であってもよい）をユーザが入力（登録）することができる。
なお、本実施例におけるカラー撮像装置および画像処理装置の構成は実施例１と同様である。このため、カラー撮像装置の構成要素には、実施例１にて用いた符号と同符号を付している。また、本実施例における色滲み除去方法も実施例１と同じである。
前述した実施例２のように、撮影場面に応じた色滲み検出パラメータおよび色滲み補正パラメータの標準値を予めメモリ部２１０に記録しておくことにより、ユーザが撮影ごとにパラメータを設定する必要がなくなる。しかし、予めメモリ部２１０にパラメータを記録しておく撮影場面のバリエーションには限りがあり、特殊な撮影場面に対して適切なパラメータが用意されていない場合もあり得る。また、夜景、昼間、室内等の一般的な撮影場面であっても、予めメモリ部２１０に用意されたパラメータでは十分に良好な色滲み補正画像が得られない場合もあり得る。
そこで、本実施例では、様々な撮影場面（一般的な撮影場面や特殊な撮影場面）と、該撮影場面に対する色滲み検出パラメータおよび色滲み補正パラメータをユーザが登録できるようにしている。
ユーザは、登録したい撮影場面ごとに色滲みを補正したい複数の画像を用意し、それぞれの画像に対する色滲み検出パラメータおよび色滲み補正パラメータを算出する。そして、該複数の画像のそれぞれに対して算出したパラメータの平均値等、統計的に信頼度の高い値をその撮影場面に対するユーザ登録パラメータとして記録する。
【００２５】
また、ユーザによるパラメータ登録を以下のように行ってもよい。図１６には、表示部１９０の中央に表示された基準画像に対して係数（色滲み検出パラメータ）ｋ３を段階的に増減させた複数の画像を一覧表示した様子を示している。この図では、左上の画像が係数ｋ３を最も大きくした場合の画像であり、右下の画像が係数ｋ３を最も小さくした場合の画像である。
ユーザは、操作部２００を操作して、これらの複数の画像の中から色滲み領域が適切に設定された画像を選択する。図１６中において丸で囲まれた画像が現在選択されている画像である。これにより、メモリ部２１０には、これら複数の画像の撮影場面とこれに対応する係数ｋ３が登録される。なお、同様にして、色滲み補正パラメータである係数ｋ１，ｋ２および角度δを登録することも可能である。
その後、撮影場面を選択するためのモード選択ダイアログには、図１７に示すように、ユーザが登録した撮影場面（ユーザ定義１，ユーザ定義２…）を選択可能とするように項目が追加される。
上記実施例１〜３では、画像処理装置を搭載したカラー撮像装置について説明したが、画像処理装置をパーソナルコンピュータ等のカラー撮像装置とは別の装置として構成してもよい。この場合、カラー撮像装置により生成されたカラー画像が記録媒体又は通信を介して画像処理装置に入力されるようにすればよい。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【００２６】
良好な色滲みの検出処理と低減処理を行うためのパラメータをユーザが容易に設定できる画像処理装置を実現する。
【符号の説明】
【００２７】
１１０ 結像光学系
１２０ イメージセンサ
１５０ 色滲み除去部
１９０ 表示部
２００ 操作部
２１０ メモリ部
【特許請求の範囲】
【請求項１】
撮影により生成されたカラー画像に含まれる色滲みを色滲み検出パラメータを用いて検出する色滲み検出手段と、
前記色滲みを低減するための補正量を色滲み補正パラメータを用いて算出し、該補正量を用いて前記カラー画像に対する色滲み低減処理を行う処理手段と、
前記色滲み検出パラメータおよび前記色滲み補正パラメータのうち少なくとも一方のパラメータをユーザに設定させるためのユーザインターフェース手段とを有することを特徴とする画像処理装置。
【請求項２】
前記ユーザインターフェース手段は、ユーザによる撮影場面の選択を通じて前記少なくとも一方のパラメータが設定されるように構成されていることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ユーザインターフェース手段は、ユーザによる選択可能な撮影場面と該撮影場面に対する前記少なくとも一方のパラメータの登録が可能となるように構成されていることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記ユーザインターフェース手段を通じて設定された前記少なくとも一方のパラメータを用いて前記色滲み低減処理がなされた画像を表示手段に表示させることを特徴とする請求項１から３のうちいずれか１つに記載の画像処理装置。
【請求項５】
撮影によりカラー画像を生成する撮像系と、
請求項１から４のいずれか１つに記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項６】
撮影により生成されたカラー画像に含まれる色滲みを色滲み検出パラメータを用いて検出する色滲み検出ステップと、
前記色滲みを低減するための補正量を色滲み補正パラメータを用いて算出し、該補正量を用いて前記カラー画像に対する色滲み低減処理を行う処理ステップと、
前記色滲み検出パラメータおよび前記色滲み補正パラメータのうち少なくとも一方のパラメータを、ユーザインターフェースを通じてユーザに設定させるパラメータ設定ステップとを有することを特徴とする画像処理方法。
【請求項１】
撮影により生成されたカラー画像に含まれる色滲みを色滲み検出パラメータを用いて検出する色滲み検出手段と、
前記色滲みを低減するための補正量を色滲み補正パラメータを用いて算出し、該補正量を用いて前記カラー画像に対する色滲み低減処理を行う処理手段と、
前記色滲み検出パラメータおよび前記色滲み補正パラメータのうち少なくとも一方のパラメータをユーザに設定させるためのユーザインターフェース手段とを有することを特徴とする画像処理装置。
【請求項２】
前記ユーザインターフェース手段は、ユーザによる撮影場面の選択を通じて前記少なくとも一方のパラメータが設定されるように構成されていることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ユーザインターフェース手段は、ユーザによる選択可能な撮影場面と該撮影場面に対する前記少なくとも一方のパラメータの登録が可能となるように構成されていることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記ユーザインターフェース手段を通じて設定された前記少なくとも一方のパラメータを用いて前記色滲み低減処理がなされた画像を表示手段に表示させることを特徴とする請求項１から３のうちいずれか１つに記載の画像処理装置。
【請求項５】
撮影によりカラー画像を生成する撮像系と、
請求項１から４のいずれか１つに記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項６】
撮影により生成されたカラー画像に含まれる色滲みを色滲み検出パラメータを用いて検出する色滲み検出ステップと、
前記色滲みを低減するための補正量を色滲み補正パラメータを用いて算出し、該補正量を用いて前記カラー画像に対する色滲み低減処理を行う処理ステップと、
前記色滲み検出パラメータおよび前記色滲み補正パラメータのうち少なくとも一方のパラメータを、ユーザインターフェースを通じてユーザに設定させるパラメータ設定ステップとを有することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１１−４１０９４（Ｐ２０１１−４１０９４Ａ）
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願番号】特願２００９−１８７９０４（Ｐ２００９−１８７９０４）
【出願日】平成２１年８月１４日（２００９．８．１４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願日】平成２１年８月１４日（２００９．８．１４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]