画像処理装置、撮像装置および画像処理プログラム
【課題】変色や色抜けが生じることなく、軸上色収差を確度高く補正できる技術を提供する。
【解決手段】複数の色成分の画素値を有する対象画像を、異なる複数の平滑化の度合いで平滑化し、複数の平滑画像を生成する画像平滑手段と、対象画像の各画素位置において、対象画像の所定の色成分の画素値と平滑画像の所定の色成分とは異なる色成分の画素値との差分である色差を求め、平滑の度合いに応じた色差の分散を算出する演算手段と、色差の分散に基づいて、各画素位置が色境界か否かを判定する判定手段と、色境界の判定が偽と判定された画素位置の画素を対象画素として、色差の分散に基づいて各色成分の鮮鋭度を比較し、鮮鋭度が最も高い色成分を決定する決定手段と、鮮鋭度が最も高い色成分に基づいて、対象画素の少なくとも１つの色成分の鮮鋭度を調整する調整手段と、を備える。
【解決手段】複数の色成分の画素値を有する対象画像を、異なる複数の平滑化の度合いで平滑化し、複数の平滑画像を生成する画像平滑手段と、対象画像の各画素位置において、対象画像の所定の色成分の画素値と平滑画像の所定の色成分とは異なる色成分の画素値との差分である色差を求め、平滑の度合いに応じた色差の分散を算出する演算手段と、色差の分散に基づいて、各画素位置が色境界か否かを判定する判定手段と、色境界の判定が偽と判定された画素位置の画素を対象画素として、色差の分散に基づいて各色成分の鮮鋭度を比較し、鮮鋭度が最も高い色成分を決定する決定手段と、鮮鋭度が最も高い色成分に基づいて、対象画素の少なくとも１つの色成分の鮮鋭度を調整する調整手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、撮像レンズ等の光学系によって結像された被写体を撮像した画像は、その光学系による色収差、特に、軸上色収差の影響を受ける。
【０００３】
それを解決するために、例えば、基準となる色成分の色面を平滑化して他の色成分の色面との色差が最小となるように、各色成分間のＭＴＦ特性の不整合を調整して、軸上色収差を補正する技術が開発されている（特許文献１等参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２８０４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、基準となる色成分の色面の平滑化を、他の色成分の色面との色差が最小となるようにする際、平滑化の度合いが大きくなると色差が予測できない振る舞いをする場合がある。
【０００６】
また、軸上色収差による影響以外の画像の色構造部分に上記補正を適用すると、変色したりや彩度が小さくなって色抜けするという問題がある。
【０００７】
上記従来技術が有する問題を鑑み、本発明の目的は、変色や色抜けが生じることなく、軸上色収差を確度高く補正できる技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の画像処理装置は、複数の色成分の画素値を有する対象画像を、異なる複数の平滑化の度合いで平滑化し、複数の平滑画像を生成する画像平滑手段と、対象画像の各画素位置において、対象画像の所定の色成分の画素値と平滑画像の所定の色成分とは異なる色成分の画素値との差分である色差を求め、平滑の度合いに応じた色差の分散を算出する演算手段と、色差の分散に基づいて、各画素位置が色境界か否かを判定する判定手段と、色境界の判定が偽と判定された画素位置の画素を対象画素として、色差の分散に基づいて各色成分の鮮鋭度を比較し、鮮鋭度が最も高い色成分を決定する決定手段と、鮮鋭度が最も高い色成分に基づいて、対象画素の少なくとも１つの色成分の鮮鋭度を調整する調整手段と、を備える。
【０００９】
また、演算手段は、色差を差分の絶対値として求めてもよい。
【００１０】
また、判定手段は、各色成分の画素値の分布に基づいて、色境界が飽和領域周辺の濃度差による色にじみか否かを判定し、決定手段は、色境界が色にじみと判定された場合、色境界と判定された画素位置の画素を対象画素としてもよい。
【００１１】
また、鮮鋭度が調整された対象画素の画素値を、色差空間において、鮮鋭度の調整前の画素値の色差の向きと同じになるように補正する色差補正部を備えてもよい。
【００１２】
また、色差補正部は、色差空間において、鮮鋭度が調整された対象画素の画素値の色差成分の大きさが所定の大きさ以上の場合、鮮鋭度が調整された対象画素の画素値の色差成分の大きさを小さくしてもよい。
【００１３】
また、演算手段は、画素位置を中心とする領域にある、対象画像の所定の色成分の画素値と平滑画像の所定の色成分とは異なる色成分の画素値とを用い、色差の分散を算出してもよい。
【００１４】
また、決定手段は、対象画素において、色差ごとに最小の分散値を与える平滑画像の色成分を鮮鋭度が高い色成分と決定し、決定された色成分の鮮鋭度を比較して鮮鋭度が最も高い色成分を決定してもよい。
【００１５】
また、演算手段は、最小の分散値を内挿法に基づいて決定してもよい。
【００１６】
本発明の撮像装置は、被写体を撮像して、複数の色成分の画素値を有する対象画像を生成する撮像手段と、本発明の画像処理装置と、を備える。
【００１７】
本発明の画像処理プログラムは、複数の色成分の画素値を有する対象画像を読み込む入力手順、対象画像を、異なる複数の平滑化の度合いで平滑化し、複数の平滑画像を生成する画像平滑手順、対象画像の各画素位置において、対象画像の所定の色成分の画素値と平滑画像の所定の色成分とは異なる色成分の画素値との差分である色差を求め、平滑の度合いに応じた色差の分散を算出する演算手順、色差の分散に基づいて、各画素位置が色境界か否かを判定する判定手順、色境界の判定が偽と判定された画素位置の画素を対象画素として、色差の分散に基づいて各色成分の鮮鋭度を比較し、鮮鋭度が最も高い色成分を決定する決定手順、鮮鋭度が最も高い色成分に基づいて、対象画素の少なくとも１つの色成分の鮮鋭度を調整する調整手順、をコンピュータに実行させる。
【発明の効果】
【００１８】
本発明によれば、変色や色抜けが生じることなく、軸上色収差を確度高く補正できる。
【図面の簡単な説明】
【００１９】
【図１】一の実施形態に係る画像処理装置として動作させるコンピュータ１０の構成を示すブロック図
【図２】色構造について説明する図
【図３】一の実施形態に係るコンピュータ１０による画像処理の動作を示すフローチャート
【図４】注目画素と参照領域との関係を示す図
【図５】注目画素における標準偏差ＤＥＶｒ［ｋ’］の分布を示す図
【図６】他の実施形態に係るコンピュータ１０による画像処理の動作を示すフローチャート
【図７】本発明に係るデジタルカメラの構成の一例を示す図
【図８】補正後の色差成分の大きさに応じた補正出力率を示す図
【発明を実施するための形態】
【００２０】
《一の実施形態》
図１は、本発明の一の実施形態に係る画像処理装置として動作させるコンピュータ１０の構成を示すブロック図である。
【００２１】
図１（ａ）に示すコンピュータ１０は、ＣＰＵ１、記憶部２、入出力インタフェース（入出力Ｉ／Ｆ）３およびバス４から構成される。ＣＰＵ１、記憶部２および入出力Ｉ／Ｆ３は、バス４を介して情報伝達可能に接続される。また、コンピュータ１０には、入出力Ｉ／Ｆ３を介して、画像処理の途中経過や処理結果を表示する出力装置３０、ユーザからの入力を受け付ける入力装置４０がそれぞれ接続される。出力装置３０には、一般的な液晶モニタやプリンタ等を用いることができ、入力装置４０には、キーボードやマウス等をそれぞれ適宜選択して使用できる。
【００２２】
なお、コンピュータ１０によって処理される対象画像は、各画素において、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の色成分それぞれの画素値を有することを前提とする。すなわち、本実施形態の対象画像は、３板式カラーのデジタルカメラで撮像された、または、単板式カラーのデジタルカメラで撮像され色補間処理された画像であるとする。また、対象画像は、デジタルカメラ等による撮像の際、撮像レンズによる軸上色収差の影響を有し、色成分間の鮮鋭度が異なるものとする。
【００２３】
ＣＰＵ１は、コンピュータ１０の各部を統括的に制御するプロセッサである。例えば、ＣＰＵ１は、入力装置４０で受け付けたユーザからの指示に基づいて、記憶部２に記憶されている画像処理プログラムを読み込む。ＣＰＵ１は、その画像処理プログラムの実行により、画像平滑部２０、演算部２１、判定部２２、決定部２３、調整部２４、色差補正部２５として動作し（図１（ｂ））、対象画像の軸上色収差の補正処理を行う。ＣＰＵ１は、その画像に対する画像処理の結果を、出力装置３０に表示する。
【００２４】
画像平滑部２０は、平滑化の度合い（ぼかし指標）が相異なる、例えば、Ｎ個の公知のガウシアンフィルタを用い、各ガウシアンフィルタのぼかし指標に応じて対象画像を平滑化しＮ個の平滑画像を生成する（Ｎは２以上の自然数）。なお、本実施形態におけるぼかし指標とは、例えば、ぼかし半径の大きさを指す。
【００２５】
演算部２１は、後述するように、対象画像およびＮ個の平滑画像を用い、各画素の画素位置において、対象画像の色成分と平滑画像の対象画像の色成分とは異なる色成分との差分の絶対値から、ぼかし指標に応じた色差面（色差）およびその標準偏差（分散）の値を算出する。そして、演算部２１は、各画素の画素位置における、ぼかし指標に対する標準偏差の分布に公知の内挿法を適用して、その画素位置で最小の標準偏差を与えるぼかし指標を求める。
【００２６】
判定部２２は、それぞれのぼかし指標における色差面間の標準偏差の値に基づいて、画素位置の色構造が色境界か否かを判定する。ここで、図２（ａ）は、例えば、白地の背景に一本の黒線の被写体を撮像した対象画像で、黒線に直交する走査方向でＲ成分（点線）、Ｇ成分（実線）、Ｂ成分（破線）の画素値の分布を示す。一方、図２（ｂ）は、一例として、赤と白とからなる色境界を撮像した対象画像で、色境界に直交する走査方向でのＲ成分（点線）、Ｇ成分（実線）、Ｂ成分（破線）の画素値の分布を示す。なお、図２の対象画像を撮像したカメラの撮像レンズは、軸上色収差を有しＧ成分で合焦しているとする。
【００２７】
図２（ａ）に示すように、Ｇ成分は色構造をよく再現するのに対し、軸上色収差によりＲ成分やＢ成分は色構造がぼけてしまう。これにより、黒線の部分は緑またはマゼンダに滲んでしまう。しかしながら、この場合の各色成分の分布は、本来互いに一致することから、後述するように、演算部２１、決定部２３、調整部２４によるＲ成分およびＢ成分に対する軸上色収差の補正により、図２（ａ）に示す各色成分の分布を互いに一致させることができる。逆に言えば、本実施形態の軸上色収差の補正処理は、元の対象画素の各色成分の分布は、互いに一致していることを前提としている。
【００２８】
一方、図２（ｂ）に示すように、色境界では、各色成分の色構造が大きく異なり、上述した前提が成り立たない。したがって、調整部２４は、演算部２１が求めた最小の標準偏差を与えるぼかし指標で色境界でのＧ成分を平滑化したとしても、Ｒ成分やＢ成分の分布（または鮮鋭度）に一致させられず、軸上色収差を補正することができない。
【００２９】
ところで、図２（ｂ）に示すような色境界では、各色成分の色構造が大きく異なることから、各色成分間の色差の標準偏差の値も互いに大きく異なる。そこで、本実施形態の判定部２２は、算出したそれぞれのぼかし指標における各色成分間の色差の標準偏差の値が、閾値ε以上のギャップがあるか否かを判定することにより、各画素位置の色構造が色境界か否かを判定する。判定部２２が、その画素位置の色構造が色境界であると判定した場合、本実施形態では、その画素位置の画素に対する軸上色収差の補正を行わないようにする。これにより、色境界に対する軸上色収差の補正処理を施すことにより生じる変色を抑制することができる。
【００３０】
さらに、判定部２２は、色境界と判定された画素位置の色構造が、飽和領域周辺の濃度差による色にじみ、例えば、パープルフリンジであるか否かを、その画素位置およびその周辺における各色成分の画素値の分布に基づいて判定する。ここで、パープルフリンジとは、街灯等の光源の周囲や水面の照り返し等、光量が大きいために各色成分の画素値が飽和した高輝度領域（飽和領域）の周りに生じる紫色の色にじみのことである。図２（ｃ）は、パープルフリンジの一例として、明るい光源を撮像した対象画像で、光源の中心を通る走査方向でのＲ成分（点線）、Ｇ成分（実線）、Ｂ成分（破線）の画素値の分布を示す。図２（ｃ）に示すように、色成分ごとに飽和領域が異なり、光源から離れるに従ってＧ成分が最初に減少し、Ｒ成分が最も広い範囲まで分布する。このような分布により、紫色の色にじみとなって現れる。このような各色成分の分布は、図２（ａ）に示す軸上色収差の場合とも異なることから、判定部２２は、パープルフリンジを色境界と判定してしまう。しかしながら、上述したように、図２（ａ）に示す黒線の部分が軸上色収差により緑またはマゼンダに滲むという点は、パープルフリンジと似ている。そこで、本実施形態では、パープルフリンジの画素位置に対して、軸上色収差と同様の補正処理を施す。
【００３１】
そのために、判定部２２は、図２（ｃ）に示すように、画素位置を中心とする周辺領域、または対象画像全体における各色成分の画素値の分布を求め、その分布から各色成分の画素値の飽和領域を求める。判定部２２は、最も広く分布する色成分の飽和領域（図２（ｃ）の場合は、Ｒ成分）およびその飽和領域の端から幅β広げた領域をパープルフリンジ領域として抽出する。判定部２２は、画素位置が抽出したパープルフリンジ領域に含まれるか否かを判定し、画素位置の色構造がパープルフリンジであるか否か判定する。そして、パープルフリンジと判定された画素位置の画素は、対象画素として軸上色収差の補正処理が施される。
【００３２】
決定部２３は、判定部２２により色境界でないと判定された画素位置およびパープルフリンジと判定された画素位置の画素（対象画素）における、最小の標準偏差を与えるぼかし指標に基づいて、最も高い鮮鋭度の色成分を決定する。
【００３３】
調整部２４は、決定部２３によって決定された最も高い鮮鋭度の色成分に基づいて、対象画素の画素位置での色成分間の鮮鋭度を調整する。
【００３４】
色差補正部２５は、鮮鋭度が調整された画素の各色成分の画素値を、色差空間において、調整前の色差の向きと同じになるように補正し、軸上色収差の補正処理によって生じる変色を抑制する。
【００３５】
記憶部２は、対象画像とともに、対象画像における軸上色収差を補正するための画像処理プログラム等を記録する。記憶部２に記憶される画像やプログラム等は、バス４を介して、ＣＰＵ１から適宜参照することができる。記憶部２には、一般的なハードディスク装置、光磁気ディスク装置等の記憶装置を選択して用いることができる。なお、記憶部２は、コンピュータ１０に組み込まれるとしたが、外付けの記憶装置でもよい。この場合、記憶部２は、入出力Ｉ／Ｆ３を介してコンピュータ１０に接続される。
【００３６】
次に、本実施形態のコンピュータ１０による軸上色収差を補正する画像処理の動作について、図３に示すフローチャートを参照しつつ説明する。
【００３７】
ユーザは、入力装置４０を用いて、画像処理プログラムのコマンドを入力、または、出力装置３０に表示されたそのプログラムのアイコンをダブルクリック等することにより、画像処理プログラムの起動をＣＰＵ１に指示する。ＣＰＵ１は、その指示を入出力Ｉ／Ｆ３を介して受け付け、記憶部２に記憶されている画像処理プログラムを読み込み実行する。ＣＰＵ１は、図３のステップＳ１０からステップＳ２０の処理を開始する。
【００３８】
ステップＳ１０：ＣＰＵ１は、入力装置４０を介して、ユーザによって指定された補正対象の対象画像を読み込む。
【００３９】
ステップＳ１１：ＣＰＵ１の画像平滑部２０は、各ガウシアンフィルタのぼかし指標に応じ、読み込んだ対象画像を平滑化し、Ｎ個の平滑画像を生成する。なお、本実施形態では、対象画像自身も平滑画像の１つとし、本実施形態における平滑画像の総数は、（Ｎ＋１）個である。
【００４０】
ステップＳ１２：ＣＰＵ１の演算部２１は、Ｒ成分とＧ成分との色差面Ｃｒ、Ｂ成分とＧ成分との色差面Ｃｂ、およびＲ成分とＢ成分との色差面Ｃｒｂを対象画像と各平滑画像とを用いて算出する。
【００４１】
例えば、演算部２１は、対象画像の所定の色成分であるＧ成分の画素値Ｇ０（ｉ，ｊ）と、平滑画像の上記所定の色成分とは異なる色成分であるＲ成分の画素値Ｒｋ（ｉ，ｊ）との差分の絶対値を各画素位置において求め、次式（１）に示す色差面Ｃｒ［−ｋ］（ｉ，ｊ）を算出する。
Ｃｒ［−ｋ］（ｉ，ｊ）＝｜Ｒｋ（ｉ，ｊ）−Ｇ０（ｉ，ｊ）｜ …（１）
ここで、（ｉ，ｊ）は、各画素位置を注目画素としてその画素位置の座標を示す。ｋは、平滑画像のぼかし指標であり、０≦ｋ≦Ｎの整数である。なお、式（１）において、ぼかし指標ｋがマイナスであるのは、マイナス側にＲ面を順次ぼかした色差面Ｃｒであることを表す。また、ぼかし指標ｋ＝０は、対象画像自身、すなわち平滑化されていない画像を表す。
【００４２】
同様に、演算部２１は、対象画像の所定の色成分であるＲ成分の画素値Ｒ０（ｉ，ｊ）と、平滑画像の上記所定の色成分とは異なる色成分であるＧ成分の画素値Ｇｋ（ｉ，ｊ）との差分の絶対値を注目画素の画素位置（ｉ，ｊ）において求め、次式（２）の色差面Ｃｒ［ｋ］（ｉ，ｊ）を算出する。
Ｃｒ［ｋ］（ｉ，ｊ）＝｜Ｒ０（ｉ，ｊ）−Ｇｋ（ｉ，ｊ）｜ …（２）
なお、式（２）において、ぼかし指標ｋがプラスであるのは、プラス側にＧ面を順次ぼかした色差面Ｃｒであることを表す。
【００４３】
同様に、演算部２１は、式（３）−（６）に基づいて、Ｂ成分とＧ成分との色差面Ｃｂ、Ｒ成分とＢ成分との色差面Ｃｒｂそれぞれを注目画素の画素位置（ｉ，ｊ）において算出する。
Ｃｂ［−ｋ］（ｉ，ｊ）＝｜Ｂｋ（ｉ，ｊ）−Ｇ０（ｉ，ｊ）｜ …（３）
Ｃｂ［ｋ］（ｉ，ｊ）＝｜Ｂ０（ｉ，ｊ）−Ｇｋ（ｉ，ｊ）｜ …（４）
Ｃｒｂ［−ｋ］（ｉ，ｊ）＝｜Ｒｋ（ｉ，ｊ）−Ｂ０（ｉ，ｊ）｜ …（５）
Ｃｒｂ［ｋ］（ｉ，ｊ）＝｜Ｒ０（ｉ，ｊ）−Ｂｋ（ｉ，ｊ）｜ …（６）
ステップＳ１３：演算部２１は、ステップＳ１２で算出した色差面Ｃｒ、Ｃｂ、Ｃｒｂを用い、注目画素（ｉ，ｊ）における各色差面の標準偏差ＤＥＶｒ、ＤＥＶｂ、ＤＥＶｒｂを、ぼかし指標ごとに算出する。すなわち、演算部２１は、図４に示すように、斜線で示す注目画素（ｉ，ｊ）を中心とする１５ピクセル×１５ピクセルの大きさの参照領域ＡＲ１（第１領域）にある画素の各色差面Ｃｒ、Ｃｂ、Ｃｒｂの値を用い標準偏差を算出する。なお、本実施形態では、参照領域ＡＲ１の大きさを１５ピクセル×１５ピクセルとするが、ＣＰＵ１の処理能力や軸上色収差の補正の精度に応じて適宜決めることが好ましく、例えば、一辺を１０〜３０ピクセルの範囲に設定されるのが好ましい。
【００４４】
演算部２１は、次式（７）−（９）を用い各色差面の標準偏差ＤＥＶｒ、ＤＥＶｂ、ＤＥＶｒｂを算出する。
【００４５】
【数１】
【００４６】
【数２】
【００４７】
【数３】
ここで、ｋ’は、−Ｎ〜Ｎの整数のぼかし指標である。ｒは、参照領域ＡＲ１の一辺のピクセル数を示し、本実施形態ではｒ＝１５ピクセルである。また、（ｌ、ｍ）および（ｘ、ｙ）は、参照領域ＡＲ１内の画素位置をそれぞれ表す。
【００４８】
ステップＳ１４：演算部２１は、ステップＳ１３で算出された各色差面の標準偏差ＤＥＶｒ、ＤＥＶｂ、ＤＥＶｒｂを用い、注目画素（ｉ，ｊ）において、最小の標準偏差の値を与えるぼかし指標ｋ’を色差面ごとに求める。例えば、図５に示すように、演算部２１は、ぼかし指標に応じた色差面Ｃｒの標準偏差ＤＥＶｒ［ｋ’］の分布に基づいて、注目画素（ｉ，ｊ）において、その標準偏差が最小となるぼかし指標ｋ’＝αｒを求める。
【００４９】
演算部２１は、色差面Ｃｂおよび色差面Ｃｒｂの場合についても同様の処理を行い、最小の標準偏差ＤＥＶｂ、ＤＥＶｒｂを与えるぼかし指標ｋ’＝αｂおよびｋ’＝αｒｂを求める。
【００５０】
ステップＳ１５：ＣＰＵ１の判定部２２は、注目画素（ｉ，ｊ）において、それぞれのぼかし指標ｋ’における各色差面の標準偏差ＤＥＶｒ［ｋ’］、ＤＥＶｂ［ｋ’］、ＤＥＶｒｂ［ｋ’］の値に基づいて、注目画素（ｉ，ｊ）の色構造が色境界の色相を有するか否かを判定する。判定部２２は、それらの標準偏差の値のいずれか１つが閾値ε以上となるか否かを判定する。なお、本実施形態の閾値εは、例えば、対象画像が２５５階調の画像の場合、５０に設定されるものとする。ただし、閾値εの値は、対象画像の階調、注目画素の画素位置や参照領域ＡＲ１等に応じて決定されるのが好ましく、例えば、４０〜６０の範囲の値に設定されるのが好ましい。
【００５１】
判定部２２は、閾値ε以上となる標準偏差の値があった場合、注目画素（ｉ，ｊ）の色構造は色境界であると判定し、その注目画素の画素位置を不図示のワーキングメモリに記録し、ステップＳ１６（ＹＥＳ側）へ移行する。一方、判定部２２は、閾値ε以上となる標準偏差の値が無かった場合、注目画素（ｉ，ｊ）の色構造は色境界でないと判定し、注目画素を軸上色収差の補正処理の対象画素としてステップＳ１７（ＮＯ側）へ移行する。
【００５２】
ステップＳ１６：判定部２２は、ステップＳ１５において色境界と判定された注目画素（ｉ，ｊ）の色構造がパープルフリンジであるか否かを判定する。判定部２２は、図２に示すように、注目画素（ｉ，ｊ）およびその周辺画素、または対象画像全体の各色成分の画素値を用い、それらの分布を求める。判定部２２は、色成分ごとに画素値の分布から画素値が飽和した飽和領域（２５５階調の画像の場合、画素値が２５５）をそれぞれ求める。判定部２２は、各色成分の飽和領域の大きさのうち、最も領域が広い、例えば、Ｒ成分の飽和領域とその飽和領域の端から幅β広げた領域とを合わせた領域をパープルフリンジ領域とし、注目画素がそのパープルフリンジ領域内か否かを判定する。なお、本実施形態における幅βの値は、例えば、１０ピクセル程度である。ただし、幅βの大きさは、ＣＰＵ１の処理能力、軸上色収差の補正処理の精度や各色成分における飽和状態からの減少度合いに応じて決定されるのが好ましい。
【００５３】
判定部２２は、パープルフリンジ領域内の場合、注目画素の色構造はパープルフリンジと判定し、その注目画素の画素位置をワーキングメモリ（不図示）に記録する。判定部２２は、その注目画素を軸上色収差の補正処理の対象画素として、ステップＳ１７（ＹＥＳ側）へ移行する。一方、パープルフリンジ領域外の場合、注目画素の色構造は色境界と判定し、注目画素に対する軸上色収差の補正処理を行わず、ステップＳ２０（ＮＯ側）へ移行する。
【００５４】
ステップＳ１７：決定部２３は、ステップＳ１４において求めた各色差面のぼかし係数αｒ、αｂ、αｒｂに基づいて、注目画素（ｉ，ｊ）における鮮鋭度が最も高い色成分を決定する。決定部２３は、最小の標準偏差を与えるぼかし指標αｒが正の場合、注目画素（ｉ，ｊ）において鮮鋭度がより高いのはＧ成分であると決定する。一方、決定部２３は、最小の標準偏差を与えるぼかし指標αｒが負の場合、注目画素（ｉ，ｊ）において鮮鋭度がより高いのはＲ成分であると決定する。決定部２３は、ぼかし指標αｂおよびαｒｂに対しても、それらの符号に基づいて、鮮鋭度がより高い色成分をそれぞれ決定する。
【００５５】
上記結果に基づいて、決定部２３は、注目画素（ｉ，ｊ）において、最も鮮鋭度の高い色成分が決定できたか否かを判定する。すなわち、３つの色差面における結果のうち、２つで同一の色成分が決定された場合、決定部２３は、その色成分を、注目画素（ｉ，ｊ）において鮮鋭度が最も高い色成分として決定し、ステップＳ１８（ＹＥＳ側）へ移行する。
【００５６】
一方、例えば、各色差面のぼかし係数αｒ、αｂ、αｒｂそれぞれに基づいて、Ｒ成分、Ｇ成分、Ｂ成分がそれぞれ決定された場合、決定部２３は、注目画素（ｉ，ｊ）における最も鮮鋭度の高い色成分を１つに決定することができない。このような場合、決定部２３は、不定と判定し、注目画素に対する軸上色収差の補正処理を行わず、ステップＳ２０（ＮＯ側）へ移行する。なお、色差面ごとに決定された各色成分の鮮鋭度を比較し鮮鋭度が最も高い色成分を決定してもよい。
【００５７】
ステップＳ１８：ＣＰＵ１の調整部２４は、ステップＳ１７において、決定された色成分に基づいて、注目画素（ｉ，ｊ）の色成分間の鮮鋭度を調整し軸上色収差を補正する。
【００５８】
そのために、演算部２１は、例えば、図５に示す色差面Ｃｒの標準偏差ＤＥＶｒの分布に基づいて、注目画素（ｉ，ｊ）における真の意味での最小の標準偏差の値を与えるぼかし指標ｓを求める。すなわち、演算部２１がステップＳ１４で求められた標準偏差ＤＥＶｒを最小にするぼかし指標αｒは、図５の点線が示すように、必ずしも真に最小の標準偏差ＤＥＶｒを与えるぼかし指標ではない。そこで、演算部２１は、算出された標準偏差ＤＥＶｒが最小になるぼかし指標αｒと、隣接する両端のぼかし指標αｒ−１およびαｒ＋１との３点に対し内挿法を適用し、より正確なぼかし指標（内挿点）ｓを求める。
【００５９】
ここで、標準偏差ＤＥＶｒ［ｋ’］（ｉ，ｊ）の分布において、ＤＥＶｒ［αｒ−１］（ｉ，ｊ）＞ＤＥＶｒ［αｒ＋１］（ｉ，ｊ）の場合、ぼかし指標ｓは、次式（１０）のように表される。
ぼかし指標ｓ＝（（αｒ＋１）＋αｒ）／２＋（ＤＥＶｒ［αｒ＋１］（ｉ，ｊ）−ＤＥＶｒ［αｒ］（ｉ，ｊ））／２／ａ …（１０）
ここで、係数ａは傾きであり、（ＤＥＶｒ［αｒ−１］（ｉ，ｊ）−ＤＥＶｒ［αｒ］（ｉ，ｊ））／（（αｒ−１）−αｒ）となる。
【００６０】
一方、ＤＥＶｒ［αｒ−１］（ｉ，ｊ）＜ＤＥＶｒ［αｒ＋１］（ｉ，ｊ）の場合、ぼかし指標ｓは、次式（１１）のように表される。
ぼかし指標ｓ＝（（αｒ−１）＋αｒ）／２＋（ＤＥＶｒ［αｒ−１］（ｉ，ｊ）−ＤＥＶｒ［αｒ］（ｉ，ｊ））／２／ａ …（１１）
なお、傾きａは（ＤＥＶｒ［αｒ＋１］（ｉ，ｊ）−ＤＥＶｒ［αｒ］（ｉ，ｊ））／（（αｒ＋１）−αｒ）となる。
【００６１】
そして、演算部２１は、内挿点ｓとともに、ぼかし指標αｒ、αｒ＋１のＧαｒ（ｉ，ｊ）、Ｇ（αｒ＋１）（ｊ，ｊ）を用いた公知の重み付け加算により、補正値Ｇ’（ｉ，ｊ）を算出する。
【００６２】
以下は注目画素（ｉ，ｊ）で最も鮮鋭度が高いのがＧ面とした場合の例である。
【００６３】
調整部２４は、次式（１２）に基づいて、注目画素（ｉ，ｊ）におけるＲ成分の鮮鋭度を調整し軸上色収差を補正する。
Ｒ’（ｉ，ｊ）＝Ｒ０（ｉ，ｊ）＋（Ｇ０（ｉ，ｊ）−Ｇ’（ｉ，ｊ）） …（１２）
調整部２４は、同様にＢ成分についても、Ｂ成分とＧ成分との色差面Ｃｂの標準偏差ＤＥＶｂの分布に基づいて、補正値Ｇ”（ｉ，ｊ）を算出し、次式（１３）に基づいて、注目画素（ｉ，ｊ）におけるＢ成分の鮮鋭度を調整し軸上色収差を補正する。
Ｂ’（ｉ，ｊ）＝Ｂ０（ｉ，ｊ）＋（Ｇ０（ｉ，ｊ）−Ｇ”（ｉ，ｊ）） …（１３）
ステップＳ１９：ＣＰＵ１の色差補正部２５は、軸上色収差の補正処理が施された注目画素の各色成分の画素値に対して色差補正を行う。
【００６４】
すなわち、ステップＳ１８において、軸上色収差の補正処理が施された注目画素の各色成分の画素値は、補正前の画素値と比較した場合、特に、輝度色差の色空間における色差成分の向きが大きく変わる場合があるからである。そして、それにより注目画素（ｉ，ｊ）において変色が発生する。そこで、本実施形態では、その変色の発生を抑制するために、色差補正部２５は、注目画素における補正後の色差成分が、輝度色差の空間において、補正前の色差成分の向きと同じになるように補正する。
【００６５】
具体的には、色差補正部２５は、注目画素の補正前後の各色成分の画素値を、公知の変換処理を適用して、ＲＧＢの画素値（Ｒ’，Ｇ，Ｂ’）をＹＣｒＣｂの輝度成分と色差成分（Ｙ’，Ｃｒ’，Ｃｂ’）に変換する。ここで、補正前の輝度成分および色差成分を（Ｙ０，Ｃｒ０，Ｃｂ０）とする。そして、色差補正部２５は、次式（１４）により、注目画素の色差成分の向きを補正前の向きに補正する。なお、本実施形態において、輝度成分Ｙ’は補正しない。
【００６６】
【数４】
色差補正部２５は、再度、上述した公知の変換処理を適用して、注目画素の色差補正後の輝度成分および色差成分（Ｙ’，Ｃｒ”，Ｃｂ”）をＲＧＢの画素値（Ｒ１，Ｇ１，Ｂ１）に変換する。色差補正部２５は、画素値（Ｒ１，Ｇ１，Ｂ１）を注目画素（ｉ，ｊ）の画素値とする。
【００６７】
ステップＳ２０：ＣＰＵ１は、対象画像の全ての画素について処理が終了したか否かを判定する。ＣＰＵ１は、全ての画素について処理が終了していないと判定した場合、ステップＳ１２（ＮＯ側）へ移行し、次の画素を注目画素として、ステップＳ１２からステップＳ１９の処理を行う。一方、ＣＰＵ１は、全ての画素について処理が終了したと判定した場合、軸上色収差が補正された画像を、記憶部２に記録したり出力装置３０に表示したりする。そして、ＣＰＵ１は、一連の処理を終了する。
【００６８】
このように、本実施形態では、各色差面の標準偏差の値に基づいて、各画素位置における色構造を判定することにより、軸上色収差の補正を確度高く行うことができる。
【００６９】
また、色境界と判定された注目画素に対する軸上色収差の補正処理を行わないことにより、変色や色抜けの発生を抑制することができる。
【００７０】
さらに、注目画素の補正後の画素値に対して、色差空間において補正前の画素値が有した色差成分の向きに補正することにより、変色や色抜けを抑制しつつ軸上色収差の補正をより精度よく行うことができる。
《他の実施形態》
本発明の他の実施形態に係る画像処理装置は、図１に示す一の実施形態に係る画像処理装置と同一である。よって、図１に示すコンピュータ１０を本実施形態に係る画像処理装置とし、各構成要素について同一の符号を付し詳細な説明は省略する。
【００７１】
なお、本実施形態のコンピュータ１０と一の実施形態のものとの相違点は、（１）演算部２１が、対象画像およびＮ個の平滑画像を用い、各画素の画素位置において、対象画像の色成分と平滑画像の対象画像の色成分とは異なる色成分との差分から、ぼかし指標に応じた色差面（色差）およびその標準偏差（分散）の値を算出し、（２）判定部２２が、それぞれのぼかし指標における色差面間の標準偏差の値の差分を算出し、その絶対値に基づいて、画素位置の色構造が色境界か否かを判定することにある。
【００７２】
次に、本実施形態のコンピュータ１０による軸上色収差を補正する画像処理の動作について、図６に示すフローチャートを参照しつつ説明する。
【００７３】
ユーザは、入力装置４０を用いて、画像処理プログラムのコマンドを入力、または、出力装置３０に表示されたそのプログラムのアイコンをダブルクリック等することにより、画像処理プログラムの起動をＣＰＵ１に指示する。ＣＰＵ１は、その指示を入出力Ｉ／Ｆ３を介して受け付け、記憶部２に記憶されている画像処理プログラムを読み込み実行する。ＣＰＵ１は、図６のステップＳ３０からステップＳ４０の処理を開始する。
【００７４】
ステップＳ３０：ＣＰＵ１は、入力装置４０を介して、ユーザによって指定された補正対象の対象画像を読み込む。
【００７５】
ステップＳ３１：ＣＰＵ１の画像平滑部２０は、各ガウシアンフィルタのぼかし指標に応じ、読み込んだ対象画像を平滑化し、Ｎ個の平滑画像を生成する。なお、本実施形態では、対象画像自身も平滑画像の１つとし、本実施形態における平滑画像の総数は、（Ｎ＋１）個である。
【００７６】
ステップＳ３２：ＣＰＵ１の演算部２１は、Ｒ成分とＧ成分との色差面Ｃｒ、Ｂ成分とＧ成分との色差面Ｃｂ、およびＲ成分とＢ成分との色差面Ｃｒｂを対象画像と各平滑画像とを用いて算出する。
【００７７】
なお、本実施形態の演算部２１は、上述したように、例えば、対象画像の所定の色成分であるＧ成分の画素値Ｇ０（ｉ，ｊ）と、平滑画像の上記所定の色成分とは異なる色成分であるＲ成分の画素値Ｒｋ（ｉ，ｊ）との差分を各画素位置において求め、次式（１５）に示す色差面Ｃｒ［−ｋ］（ｉ，ｊ）を算出する。
Ｃｒ［−ｋ］（ｉ，ｊ）＝Ｒｋ（ｉ，ｊ）−Ｇ０（ｉ，ｊ） …（１５）
ここで、式（１）と同様に、（ｉ，ｊ）は、各画素位置を注目画素としてその画素位置の座標を示し、ｋは、平滑画像のぼかし指標を示す。
【００７８】
同様に、演算部２１は、対象画像の所定の色成分であるＲ成分の画素値Ｒ０（ｉ，ｊ）と、平滑画像の上記所定の色成分とは異なる色成分であるＧ成分の画素値Ｇｋ（ｉ，ｊ）との差分を注目画素の画素位置（ｉ，ｊ）において求め、次式（１６）の色差面Ｃｒ［ｋ］（ｉ，ｊ）を算出する。
Ｃｒ［ｋ］（ｉ，ｊ）＝Ｒ０（ｉ，ｊ）−Ｇｋ（ｉ，ｊ） …（１６）
さらに、演算部２１は、式（１７）−（２０）に基づいて、Ｂ成分とＧ成分との色差面Ｃｂ、Ｒ成分とＢ成分との色差面Ｃｒｂそれぞれを注目画素の画素位置（ｉ，ｊ）において算出する。
Ｃｂ［−ｋ］（ｉ，ｊ）＝Ｂｋ（ｉ，ｊ）−Ｇ０（ｉ，ｊ） …（１７）
Ｃｂ［ｋ］（ｉ，ｊ）＝Ｂ０（ｉ，ｊ）−Ｇｋ（ｉ，ｊ） …（１８）
Ｃｒｂ［−ｋ］（ｉ，ｊ）＝Ｒｋ（ｉ，ｊ）−Ｂ０（ｉ，ｊ） …（１９）
Ｃｒｂ［ｋ］（ｉ，ｊ）＝Ｒ０（ｉ，ｊ）−Ｂｋ（ｉ，ｊ） …（２０）
ステップＳ３３：演算部２１は、一の実施形態のステップＳ１３と同様に、ステップＳ３２で算出した色差面Ｃｒ、Ｃｂ、Ｃｒｂを用い、注目画素（ｉ，ｊ）における各色差面の標準偏差ＤＥＶｒ、ＤＥＶｂ、ＤＥＶｒｂを、ぼかし指標ごとに算出する。すなわち、演算部２１は、図４に示すように、斜線で示す注目画素（ｉ，ｊ）を中心とする１５ピクセル×１５ピクセルの大きさの参照領域ＡＲ１（第１領域）にある画素の各色差面Ｃｒ、Ｃｂ、Ｃｒｂの値を用い、式（７）−（９）に基づいて標準偏差を算出する。
【００７９】
ステップＳ３４：演算部２１は、一の実施形態のステップＳ１４と同様に、ステップＳ３３で算出された各色差面の標準偏差ＤＥＶｒ、ＤＥＶｂ、ＤＥＶｒｂを用い、注目画素（ｉ，ｊ）において、最小の標準偏差の値を与えるぼかし指標ｋ’（＝αｒ、αｂ、αｒｂ）を色差面ごとに求める。
【００８０】
ステップＳ３５：ＣＰＵ１の判定部２２は、注目画素（ｉ，ｊ）において、それぞれのぼかし指標ｋ’における各色差面の標準偏差の差分、ＤＥＶｒ［ｋ’］−ＤＥＶｂ［ｋ’］、ＤＥＶｂ［ｋ’］−ＤＥＶｒｂ［ｋ’］、ＤＥＶｒ［ｋ’］−ＤＥＶｒｂ［ｋ’］を求め、その差分の絶対値に基づいて、注目画素（ｉ，ｊ）の色構造が色境界の色相を有するか否かを判定する。判定部２２は、それらの標準偏差の差分の絶対値のいずれか１つが閾値ε以上となるか否かを判定する。なお、本実施形態の閾値εは、例えば、対象画像が２５５階調の画像の場合、５０に設定されるものとする。ただし、閾値εの値は、対象画像の階調、注目画素の画素位置や参照領域ＡＲ１等に応じて決定されるのが好ましく、例えば、４０〜６０の範囲の値に設定されるのが好ましい。
【００８１】
判定部２２は、閾値ε以上となる標準偏差の差分の絶対値があった場合、注目画素（ｉ，ｊ）の色構造は色境界であると判定し、その注目画素の画素位置を不図示のワーキングメモリに記録し、ステップＳ３６（ＹＥＳ側）へ移行する。一方、判定部２２は、閾値ε以上となる標準偏差の差分の絶対値が無かった場合、注目画素（ｉ，ｊ）の色構造は色境界でないと判定し、注目画素を軸上色収差の補正処理の対象画素としてステップＳ３７（ＮＯ側）へ移行する。
【００８２】
ステップＳ３６：判定部２２は、一の実施形態のステップＳ１６と同様に、ステップＳ３５において色境界と判定された注目画素（ｉ，ｊ）の色構造がパープルフリンジであるか否かを判定する。
【００８３】
判定部２２は、パープルフリンジ領域内の場合、注目画素の色構造はパープルフリンジと判定し、その注目画素の画素位置をワーキングメモリ（不図示）に記録する。判定部２２は、その注目画素を軸上色収差の補正処理の対象画素として、ステップＳ３７（ＹＥＳ側）へ移行する。一方、パープルフリンジ領域外の場合、注目画素の色構造は色境界と判定し、注目画素に対する軸上色収差の補正処理を行わず、ステップＳ４０（ＮＯ側）へ移行する。
【００８４】
ステップＳ３７：決定部２３は、一の実施形態のステップＳ１７と同様に、ステップＳ３４において求めた各色差面のぼかし係数αｒ、αｂ、αｒｂに基づいて、注目画素（ｉ，ｊ）における鮮鋭度が最も高い色成分を決定する。決定部２３は、注目画素（ｉ，ｊ）において、最も鮮鋭度の高い色成分が決定できた場合、ステップＳ３８（ＹＥＳ側）へ移行する。
【００８５】
一方、決定部２３は、注目画素（ｉ，ｊ）における最も鮮鋭度の高い色成分を１つに決定することができなかった場合、注目画素に対する軸上色収差の補正処理を行わず、ステップＳ４０（ＮＯ側）へ移行する。
【００８６】
ステップＳ３８：ＣＰＵ１の調整部２４は、一の実施形態のステップＳ１８と同様に、ステップＳ３７において、決定された色成分に基づいて、注目画素（ｉ，ｊ）の色成分間の鮮鋭度を調整し軸上色収差を補正する。
【００８７】
ステップＳ３９：ＣＰＵ１の色差補正部２５は、一の実施形態のステップＳ１９と同様に、式（１４）を用いて、軸上色収差の補正処理が施された注目画素の各色成分の画素値に対して色差補正を行う。
【００８８】
ステップＳ４０：ＣＰＵ１は、対象画像の全ての画素について処理が終了したか否かを判定する。ＣＰＵ１は、全ての画素について処理が終了していないと判定した場合、ステップＳ３２（ＮＯ側）へ移行し、次の画素を注目画素として、ステップＳ３２からステップＳ３９の処理を行う。一方、ＣＰＵ１は、全ての画素について処理が終了したと判定した場合、軸上色収差が補正された画像を、記憶部２に記録したり出力装置３０に表示したりする。そして、ＣＰＵ１は、一連の処理を終了する。
【００８９】
このように、本実施形態では、各色差面の標準偏差の差分に基づいて、各画素位置における色構造を判定することにより、軸上色収差の補正を確度高く行うことができる。
【００９０】
また、色境界と判定された注目画素に対する軸上色収差の補正処理を行わないことにより、変色や色抜けの発生を抑制することができる。
【００９１】
さらに、注目画素の補正後の画素値に対して、色差空間において補正前の画素値が有した色差成分の向きに補正することにより、変色や色抜けを抑制しつつ軸上色収差の補正をより精度よく行うことができる。
《実施形態の補足事項》
（１）本発明の画像処理装置は、画像処理プログラムをコンピュータ１０に実行させることで実現させたが、本発明はこれに限定されない。本発明に係る画像処理装置における処理をコンピュータ１０で実現するためのプログラムおよびそれを記録した媒体に対しても適用可能である。
【００９２】
また、本発明の画像処理プログラムを有した図７に示すようなデジタルカメラに対しても適用可能である。なお、図７に示すデジタルカメラにおいて、撮像素子１０２と、撮像素子１０２から入力される画像信号のＡ／Ｄ変換や、色補間処理等の信号処理を行うデジタルフロントエンド回路のＤＦＥ１０３とが、撮像部を構成することが好ましい。
【００９３】
また、デジタルカメラを本発明の画像処理装置として動作される場合、ＣＰＵ１０４は、画像平滑部２０、演算部２１、判定部２２、決定部２３、調整部２４、色差補正部２５の各処理をソフトウエア的に実現してもよいし、ＡＳＩＣを用いてこれらの各処理をハードウエア的に実現してもよい。
【００９４】
（２）上記実施形態では、画像平滑部２０が、複数のガウシアンフィルタを用いて、対象画像からＮ個の平滑画像を生成したが、本発明はこれに限定されない。例えば、図７に示すようなデジタルカメラの撮像レンズ１０１等の光学系の点広がり関数（ＰＳＦ）が得られる場合、画像平滑部２０は、ガウシアンフィルタを用いる代わりに、ＰＳＦを用いて平滑画像を生成してもよい。
【００９５】
（３）上記実施形態では、Ｒ成分とＧ成分との色差面Ｃｒ、Ｂ成分とＧ成分との色差面Ｃｂ、Ｒ成分とＢ成分との色差面Ｃｒｂに基づいて、対象画像の軸上色収差の補正を行ったが、本発明はこれに限定されない。例えば、３つの色差面のうち２つの色差面に基づいて、対象画像の軸上色収差の補正を行ってもよい。これにより、補正処理の高速化を図ることができる。
【００９６】
（４）上記実施形態では、対象画像は、各画素においてＲ成分、Ｇ成分、Ｂ成分の画素値を有するとしたが、本発明はこれに限定されない。例えば、対象画像の各画素において、２つまたは４つ以上の色成分を有してもよい。
【００９７】
また、図７に示すデジタルカメラの撮像素子１０２の受光面の各画素子に、Ｒ、Ｇ、Ｂのカラーフィルタが公知のベイヤ配列に従って配置されている場合、その撮像素子１０２によって撮像されたＲＡＷ画像に対しても、本発明は適用可能である。
【００９８】
（５）上記実施形態では、色差補正部２５は、軸上色収差の補正処理が施された注目画素全てに対して色差補正を行ったが、本発明これに限定されず、注目画素の補正後の色差成分の大きさＬ’の値が、補正前の色差成分の大きさＬの値より小さい場合、色差補正を行わないようにしてもよい。
【００９９】
また、色差補正部２５は、補正後の色差成分の大きさＬ’が、補正前の色差成分の大きさＬ（所定の大きさ）より大きい場合、図８および次式（２１）で定義される補正出力率φ（Ｌ’）を用いて、式（１４）を変形した次式（２２）に基づき補正後の色差成分の出力率を小さくしてもよい。
【０１００】
【数５】
これにより、変色の発生をより正確に抑制することが可能となる。なお、関数ｃｌｉｐ（Ｖ，Ｕ１，Ｕ２）は、パラメータＶの値が下限値Ｕ１と上限値Ｕ２との範囲外の値の場合、下限値Ｕ１または上限値Ｕ２にクリップする。なお、係数ＷＶは、補正出力率φ（Ｌ’）を上限値Ｕ２（＝１）から下限値Ｕ１（＝０）に変化させる幅を示し、本実施形態では、２５５階調の画像の場合、例えば、係数ＷＶ＝５〜１０の値とする。ただし、係数ＷＶの値は、要求される変色の抑制の度合い等に応じて適宜設定されることが好ましい。
【０１０１】
（６）上記実施形態では、注目画素（ｉ，ｊ）の色構造が色境界の場合、軸上色収差の補正処理を行わないとしたが、本発明はこれに限定されない。例えば、色境界に位置する注目画素（ｉ，ｊ）に対して、ステップＳ１７からステップＳ１９またはステップＳ３７からステップＳ３９の処理を行ってもよい。ただし、調整部２４は、ステップＳ１８またはステップＳ３８において、式（１２）および（１３）の代わりに次式（２３）および（２４）を用いて行うのが好ましい。この場合、ステップＳ１９またはステップＳ３９において、色差補正部２５は、色境界と判定された注目画素に対しても色差補正を行うのが好ましい。
Ｒ’（ｉ，ｊ）＝Ｒ０（ｉ，ｊ）＋γ×（Ｇ０（ｉ，ｊ）−Ｇ’（ｉ，ｊ））…（２３）
Ｂ’（ｉ，ｊ）＝Ｂ０（ｉ，ｊ）＋γ×（Ｇ０（ｉ，ｊ）−Ｇ”（ｉ，ｊ））…（２４）
ここで、係数γは、０．１〜０．２以下の値とし、色境界による影響をあまり受けないようにするのが好ましい。なお、係数γの値は、注目画素（ｉ，ｊ）でのそれぞれのぼかし指標における各色差面の標準偏差の値または標準偏差の差分の絶対値等に応じて決定されるのが好ましい。また、係数γは色成分ごとに設定されてもよい。
【０１０２】
これにより、特に、パープルフリンジ領域の境界付近における補正処理の方法の不連続性による影響を回避し、画像の階調の空間的な連続性を保つことができる。なお、調整部２４は、画像の階調の空間的な連続性を保つために、公知の平滑化処理を適用してもよい。
【０１０３】
（７）上記実施形態では、判定部２２が、注目画素（ｉ，ｊ）の色構造が色境界か否か判定を、１つの閾値εを用いて行ったが、本発明はこれに限定されない。例えば、判定部２２は、２つの閾値ε１およびε２（ε１＜ε２）を用いて行ってもよい。この場合、式（１２）および（１３）に代えて、式（２３）および（２４）を用いるのが好ましい。
【０１０４】
例えば、標準偏差の値または標準偏差の差分の絶対値が閾値ε１以下で、判定部２２により注目画素の色構造が色境界でないと判定された場合、調整部２４は、係数γ＝１と設定して、注目画素（ｉ，ｊ）に対する軸上色収差の補正処理を行う。一方、標準偏差の値または標準偏差の差分の絶対値が閾値ε２以上で、注目画素の色構造が色境界と判定された場合、調整部２４は、係数γ＝０または０．１〜０．２以下の小さな値に設定し、注目画素（ｉ，ｊ）に対する軸上色収差の補正処理を行う。標準偏差の値または標準偏差の差分の絶対値が閾値ε１から閾値ε２の間の場合、判定部２２は、注目画素の色構造を不定と判定し、調整部２４は、例えば、標準偏差の値または差分の絶対値の大きさと閾値ε１およびε２との大きさに応じて、係数γを１から０の間の値に設定し、注目画素に対する軸上色収差の補正処理を行う。なお、この場合、ステップＳ１９またはステップＳ３９において、色差補正部２５は、全ての注目画素に対して色差補正処理を行うのが好ましい。
【０１０５】
これにより、特に、パープルフリンジ領域の境界付近における補正処理の方法の不連続性による影響を回避し、画像の階調の空間的な連続性を保つことができる。なお、調整部２４は、画像の階調の空間的な連続性を保つために、公知の平滑化処理を適用してもよい。
【０１０６】
（８）上記実施形態では、判定部２２が、注目画素（ｉ，ｊ）およびその周辺画素の各色成分の画素値の分布に基づいてパープルフリンジ領域を求め、注目画素（ｉ，ｊ）の色構造がパープルフリンジであるか否かを判定したが、本発明はこれに限定されない。例えば、判定部２２は、パープルフリンジ領域を求めるにあたり、最初に、対象画像の輝度成分に基づいて、輝度成分が飽和している領域を飽和領域として求めてもよい。
【０１０７】
ただし、求められた飽和領域にはショットノイズ等による数画素程度の大きさの領域も含まれる。そこで、判定部２２は、例えば、公知の手法を用い、求められたそれぞれの飽和領域から１画素幅分程度の周辺領域を削除して飽和領域を縮小する。これにより、ショットノイズ等による数画素程度の大きさの飽和領域は除去される。そして、判定部２２は、縮小した飽和領域に、例えば、１画素幅分程度の周辺領域を付加して、縮小した飽和領域を拡張する。判定部２２は、最終的に飽和領域に幅β程度の領域が付加されるまで、この拡張処理を複数回行い、パープルフリンジ領域を求める。
【０１０８】
なお、判定部２２は、ショットノイズ等による数画素程度の大きさの飽和領域を除去するために、公知のノイズ除去処理を適用してもよい。
【０１０９】
（９）上記一の実施形態では、演算部２１が、式（１）−（６）を用いて、色差面Ｃｒ、Ｃｂ、Ｃｒｂを、異なる色成分の画素値の差分の絶対値として求めたが、本発明はこれに限定されず、色差面Ｃｒ、Ｃｂ、Ｃｒｂは、単に、異なる色成分の画素値の差分の値であってもよいし、その差分を２乗したものであってもよい。
【０１１０】
（１０）上記他の実施形態では、演算部２１が、式（１５）−（２０）を用いて、色差面Ｃｒ、Ｃｂ、Ｃｒｂを、異なる色成分の画素値の差分として求めたが、本発明はこれに限定されず、色差面Ｃｒ、Ｃｂ、Ｃｒｂは、異なる色成分の画素値の差分の絶対値であってもよいし、その差分を２乗したものであってもよい。
【０１１１】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【０１１２】
１ ＣＰＵ、２ 記憶部、３ 入出力Ｉ／Ｆ、４ バス、１０ コンピュータ、２０ 画像平滑部、２１ 演算部、２２ 判定部、２３ 決定部、２４ 調整部、２５ 色差補正部、３０ 出力装置、４０ 入力装置
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、撮像レンズ等の光学系によって結像された被写体を撮像した画像は、その光学系による色収差、特に、軸上色収差の影響を受ける。
【０００３】
それを解決するために、例えば、基準となる色成分の色面を平滑化して他の色成分の色面との色差が最小となるように、各色成分間のＭＴＦ特性の不整合を調整して、軸上色収差を補正する技術が開発されている（特許文献１等参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２８０４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、基準となる色成分の色面の平滑化を、他の色成分の色面との色差が最小となるようにする際、平滑化の度合いが大きくなると色差が予測できない振る舞いをする場合がある。
【０００６】
また、軸上色収差による影響以外の画像の色構造部分に上記補正を適用すると、変色したりや彩度が小さくなって色抜けするという問題がある。
【０００７】
上記従来技術が有する問題を鑑み、本発明の目的は、変色や色抜けが生じることなく、軸上色収差を確度高く補正できる技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の画像処理装置は、複数の色成分の画素値を有する対象画像を、異なる複数の平滑化の度合いで平滑化し、複数の平滑画像を生成する画像平滑手段と、対象画像の各画素位置において、対象画像の所定の色成分の画素値と平滑画像の所定の色成分とは異なる色成分の画素値との差分である色差を求め、平滑の度合いに応じた色差の分散を算出する演算手段と、色差の分散に基づいて、各画素位置が色境界か否かを判定する判定手段と、色境界の判定が偽と判定された画素位置の画素を対象画素として、色差の分散に基づいて各色成分の鮮鋭度を比較し、鮮鋭度が最も高い色成分を決定する決定手段と、鮮鋭度が最も高い色成分に基づいて、対象画素の少なくとも１つの色成分の鮮鋭度を調整する調整手段と、を備える。
【０００９】
また、演算手段は、色差を差分の絶対値として求めてもよい。
【００１０】
また、判定手段は、各色成分の画素値の分布に基づいて、色境界が飽和領域周辺の濃度差による色にじみか否かを判定し、決定手段は、色境界が色にじみと判定された場合、色境界と判定された画素位置の画素を対象画素としてもよい。
【００１１】
また、鮮鋭度が調整された対象画素の画素値を、色差空間において、鮮鋭度の調整前の画素値の色差の向きと同じになるように補正する色差補正部を備えてもよい。
【００１２】
また、色差補正部は、色差空間において、鮮鋭度が調整された対象画素の画素値の色差成分の大きさが所定の大きさ以上の場合、鮮鋭度が調整された対象画素の画素値の色差成分の大きさを小さくしてもよい。
【００１３】
また、演算手段は、画素位置を中心とする領域にある、対象画像の所定の色成分の画素値と平滑画像の所定の色成分とは異なる色成分の画素値とを用い、色差の分散を算出してもよい。
【００１４】
また、決定手段は、対象画素において、色差ごとに最小の分散値を与える平滑画像の色成分を鮮鋭度が高い色成分と決定し、決定された色成分の鮮鋭度を比較して鮮鋭度が最も高い色成分を決定してもよい。
【００１５】
また、演算手段は、最小の分散値を内挿法に基づいて決定してもよい。
【００１６】
本発明の撮像装置は、被写体を撮像して、複数の色成分の画素値を有する対象画像を生成する撮像手段と、本発明の画像処理装置と、を備える。
【００１７】
本発明の画像処理プログラムは、複数の色成分の画素値を有する対象画像を読み込む入力手順、対象画像を、異なる複数の平滑化の度合いで平滑化し、複数の平滑画像を生成する画像平滑手順、対象画像の各画素位置において、対象画像の所定の色成分の画素値と平滑画像の所定の色成分とは異なる色成分の画素値との差分である色差を求め、平滑の度合いに応じた色差の分散を算出する演算手順、色差の分散に基づいて、各画素位置が色境界か否かを判定する判定手順、色境界の判定が偽と判定された画素位置の画素を対象画素として、色差の分散に基づいて各色成分の鮮鋭度を比較し、鮮鋭度が最も高い色成分を決定する決定手順、鮮鋭度が最も高い色成分に基づいて、対象画素の少なくとも１つの色成分の鮮鋭度を調整する調整手順、をコンピュータに実行させる。
【発明の効果】
【００１８】
本発明によれば、変色や色抜けが生じることなく、軸上色収差を確度高く補正できる。
【図面の簡単な説明】
【００１９】
【図１】一の実施形態に係る画像処理装置として動作させるコンピュータ１０の構成を示すブロック図
【図２】色構造について説明する図
【図３】一の実施形態に係るコンピュータ１０による画像処理の動作を示すフローチャート
【図４】注目画素と参照領域との関係を示す図
【図５】注目画素における標準偏差ＤＥＶｒ［ｋ’］の分布を示す図
【図６】他の実施形態に係るコンピュータ１０による画像処理の動作を示すフローチャート
【図７】本発明に係るデジタルカメラの構成の一例を示す図
【図８】補正後の色差成分の大きさに応じた補正出力率を示す図
【発明を実施するための形態】
【００２０】
《一の実施形態》
図１は、本発明の一の実施形態に係る画像処理装置として動作させるコンピュータ１０の構成を示すブロック図である。
【００２１】
図１（ａ）に示すコンピュータ１０は、ＣＰＵ１、記憶部２、入出力インタフェース（入出力Ｉ／Ｆ）３およびバス４から構成される。ＣＰＵ１、記憶部２および入出力Ｉ／Ｆ３は、バス４を介して情報伝達可能に接続される。また、コンピュータ１０には、入出力Ｉ／Ｆ３を介して、画像処理の途中経過や処理結果を表示する出力装置３０、ユーザからの入力を受け付ける入力装置４０がそれぞれ接続される。出力装置３０には、一般的な液晶モニタやプリンタ等を用いることができ、入力装置４０には、キーボードやマウス等をそれぞれ適宜選択して使用できる。
【００２２】
なお、コンピュータ１０によって処理される対象画像は、各画素において、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の色成分それぞれの画素値を有することを前提とする。すなわち、本実施形態の対象画像は、３板式カラーのデジタルカメラで撮像された、または、単板式カラーのデジタルカメラで撮像され色補間処理された画像であるとする。また、対象画像は、デジタルカメラ等による撮像の際、撮像レンズによる軸上色収差の影響を有し、色成分間の鮮鋭度が異なるものとする。
【００２３】
ＣＰＵ１は、コンピュータ１０の各部を統括的に制御するプロセッサである。例えば、ＣＰＵ１は、入力装置４０で受け付けたユーザからの指示に基づいて、記憶部２に記憶されている画像処理プログラムを読み込む。ＣＰＵ１は、その画像処理プログラムの実行により、画像平滑部２０、演算部２１、判定部２２、決定部２３、調整部２４、色差補正部２５として動作し（図１（ｂ））、対象画像の軸上色収差の補正処理を行う。ＣＰＵ１は、その画像に対する画像処理の結果を、出力装置３０に表示する。
【００２４】
画像平滑部２０は、平滑化の度合い（ぼかし指標）が相異なる、例えば、Ｎ個の公知のガウシアンフィルタを用い、各ガウシアンフィルタのぼかし指標に応じて対象画像を平滑化しＮ個の平滑画像を生成する（Ｎは２以上の自然数）。なお、本実施形態におけるぼかし指標とは、例えば、ぼかし半径の大きさを指す。
【００２５】
演算部２１は、後述するように、対象画像およびＮ個の平滑画像を用い、各画素の画素位置において、対象画像の色成分と平滑画像の対象画像の色成分とは異なる色成分との差分の絶対値から、ぼかし指標に応じた色差面（色差）およびその標準偏差（分散）の値を算出する。そして、演算部２１は、各画素の画素位置における、ぼかし指標に対する標準偏差の分布に公知の内挿法を適用して、その画素位置で最小の標準偏差を与えるぼかし指標を求める。
【００２６】
判定部２２は、それぞれのぼかし指標における色差面間の標準偏差の値に基づいて、画素位置の色構造が色境界か否かを判定する。ここで、図２（ａ）は、例えば、白地の背景に一本の黒線の被写体を撮像した対象画像で、黒線に直交する走査方向でＲ成分（点線）、Ｇ成分（実線）、Ｂ成分（破線）の画素値の分布を示す。一方、図２（ｂ）は、一例として、赤と白とからなる色境界を撮像した対象画像で、色境界に直交する走査方向でのＲ成分（点線）、Ｇ成分（実線）、Ｂ成分（破線）の画素値の分布を示す。なお、図２の対象画像を撮像したカメラの撮像レンズは、軸上色収差を有しＧ成分で合焦しているとする。
【００２７】
図２（ａ）に示すように、Ｇ成分は色構造をよく再現するのに対し、軸上色収差によりＲ成分やＢ成分は色構造がぼけてしまう。これにより、黒線の部分は緑またはマゼンダに滲んでしまう。しかしながら、この場合の各色成分の分布は、本来互いに一致することから、後述するように、演算部２１、決定部２３、調整部２４によるＲ成分およびＢ成分に対する軸上色収差の補正により、図２（ａ）に示す各色成分の分布を互いに一致させることができる。逆に言えば、本実施形態の軸上色収差の補正処理は、元の対象画素の各色成分の分布は、互いに一致していることを前提としている。
【００２８】
一方、図２（ｂ）に示すように、色境界では、各色成分の色構造が大きく異なり、上述した前提が成り立たない。したがって、調整部２４は、演算部２１が求めた最小の標準偏差を与えるぼかし指標で色境界でのＧ成分を平滑化したとしても、Ｒ成分やＢ成分の分布（または鮮鋭度）に一致させられず、軸上色収差を補正することができない。
【００２９】
ところで、図２（ｂ）に示すような色境界では、各色成分の色構造が大きく異なることから、各色成分間の色差の標準偏差の値も互いに大きく異なる。そこで、本実施形態の判定部２２は、算出したそれぞれのぼかし指標における各色成分間の色差の標準偏差の値が、閾値ε以上のギャップがあるか否かを判定することにより、各画素位置の色構造が色境界か否かを判定する。判定部２２が、その画素位置の色構造が色境界であると判定した場合、本実施形態では、その画素位置の画素に対する軸上色収差の補正を行わないようにする。これにより、色境界に対する軸上色収差の補正処理を施すことにより生じる変色を抑制することができる。
【００３０】
さらに、判定部２２は、色境界と判定された画素位置の色構造が、飽和領域周辺の濃度差による色にじみ、例えば、パープルフリンジであるか否かを、その画素位置およびその周辺における各色成分の画素値の分布に基づいて判定する。ここで、パープルフリンジとは、街灯等の光源の周囲や水面の照り返し等、光量が大きいために各色成分の画素値が飽和した高輝度領域（飽和領域）の周りに生じる紫色の色にじみのことである。図２（ｃ）は、パープルフリンジの一例として、明るい光源を撮像した対象画像で、光源の中心を通る走査方向でのＲ成分（点線）、Ｇ成分（実線）、Ｂ成分（破線）の画素値の分布を示す。図２（ｃ）に示すように、色成分ごとに飽和領域が異なり、光源から離れるに従ってＧ成分が最初に減少し、Ｒ成分が最も広い範囲まで分布する。このような分布により、紫色の色にじみとなって現れる。このような各色成分の分布は、図２（ａ）に示す軸上色収差の場合とも異なることから、判定部２２は、パープルフリンジを色境界と判定してしまう。しかしながら、上述したように、図２（ａ）に示す黒線の部分が軸上色収差により緑またはマゼンダに滲むという点は、パープルフリンジと似ている。そこで、本実施形態では、パープルフリンジの画素位置に対して、軸上色収差と同様の補正処理を施す。
【００３１】
そのために、判定部２２は、図２（ｃ）に示すように、画素位置を中心とする周辺領域、または対象画像全体における各色成分の画素値の分布を求め、その分布から各色成分の画素値の飽和領域を求める。判定部２２は、最も広く分布する色成分の飽和領域（図２（ｃ）の場合は、Ｒ成分）およびその飽和領域の端から幅β広げた領域をパープルフリンジ領域として抽出する。判定部２２は、画素位置が抽出したパープルフリンジ領域に含まれるか否かを判定し、画素位置の色構造がパープルフリンジであるか否か判定する。そして、パープルフリンジと判定された画素位置の画素は、対象画素として軸上色収差の補正処理が施される。
【００３２】
決定部２３は、判定部２２により色境界でないと判定された画素位置およびパープルフリンジと判定された画素位置の画素（対象画素）における、最小の標準偏差を与えるぼかし指標に基づいて、最も高い鮮鋭度の色成分を決定する。
【００３３】
調整部２４は、決定部２３によって決定された最も高い鮮鋭度の色成分に基づいて、対象画素の画素位置での色成分間の鮮鋭度を調整する。
【００３４】
色差補正部２５は、鮮鋭度が調整された画素の各色成分の画素値を、色差空間において、調整前の色差の向きと同じになるように補正し、軸上色収差の補正処理によって生じる変色を抑制する。
【００３５】
記憶部２は、対象画像とともに、対象画像における軸上色収差を補正するための画像処理プログラム等を記録する。記憶部２に記憶される画像やプログラム等は、バス４を介して、ＣＰＵ１から適宜参照することができる。記憶部２には、一般的なハードディスク装置、光磁気ディスク装置等の記憶装置を選択して用いることができる。なお、記憶部２は、コンピュータ１０に組み込まれるとしたが、外付けの記憶装置でもよい。この場合、記憶部２は、入出力Ｉ／Ｆ３を介してコンピュータ１０に接続される。
【００３６】
次に、本実施形態のコンピュータ１０による軸上色収差を補正する画像処理の動作について、図３に示すフローチャートを参照しつつ説明する。
【００３７】
ユーザは、入力装置４０を用いて、画像処理プログラムのコマンドを入力、または、出力装置３０に表示されたそのプログラムのアイコンをダブルクリック等することにより、画像処理プログラムの起動をＣＰＵ１に指示する。ＣＰＵ１は、その指示を入出力Ｉ／Ｆ３を介して受け付け、記憶部２に記憶されている画像処理プログラムを読み込み実行する。ＣＰＵ１は、図３のステップＳ１０からステップＳ２０の処理を開始する。
【００３８】
ステップＳ１０：ＣＰＵ１は、入力装置４０を介して、ユーザによって指定された補正対象の対象画像を読み込む。
【００３９】
ステップＳ１１：ＣＰＵ１の画像平滑部２０は、各ガウシアンフィルタのぼかし指標に応じ、読み込んだ対象画像を平滑化し、Ｎ個の平滑画像を生成する。なお、本実施形態では、対象画像自身も平滑画像の１つとし、本実施形態における平滑画像の総数は、（Ｎ＋１）個である。
【００４０】
ステップＳ１２：ＣＰＵ１の演算部２１は、Ｒ成分とＧ成分との色差面Ｃｒ、Ｂ成分とＧ成分との色差面Ｃｂ、およびＲ成分とＢ成分との色差面Ｃｒｂを対象画像と各平滑画像とを用いて算出する。
【００４１】
例えば、演算部２１は、対象画像の所定の色成分であるＧ成分の画素値Ｇ０（ｉ，ｊ）と、平滑画像の上記所定の色成分とは異なる色成分であるＲ成分の画素値Ｒｋ（ｉ，ｊ）との差分の絶対値を各画素位置において求め、次式（１）に示す色差面Ｃｒ［−ｋ］（ｉ，ｊ）を算出する。
Ｃｒ［−ｋ］（ｉ，ｊ）＝｜Ｒｋ（ｉ，ｊ）−Ｇ０（ｉ，ｊ）｜ …（１）
ここで、（ｉ，ｊ）は、各画素位置を注目画素としてその画素位置の座標を示す。ｋは、平滑画像のぼかし指標であり、０≦ｋ≦Ｎの整数である。なお、式（１）において、ぼかし指標ｋがマイナスであるのは、マイナス側にＲ面を順次ぼかした色差面Ｃｒであることを表す。また、ぼかし指標ｋ＝０は、対象画像自身、すなわち平滑化されていない画像を表す。
【００４２】
同様に、演算部２１は、対象画像の所定の色成分であるＲ成分の画素値Ｒ０（ｉ，ｊ）と、平滑画像の上記所定の色成分とは異なる色成分であるＧ成分の画素値Ｇｋ（ｉ，ｊ）との差分の絶対値を注目画素の画素位置（ｉ，ｊ）において求め、次式（２）の色差面Ｃｒ［ｋ］（ｉ，ｊ）を算出する。
Ｃｒ［ｋ］（ｉ，ｊ）＝｜Ｒ０（ｉ，ｊ）−Ｇｋ（ｉ，ｊ）｜ …（２）
なお、式（２）において、ぼかし指標ｋがプラスであるのは、プラス側にＧ面を順次ぼかした色差面Ｃｒであることを表す。
【００４３】
同様に、演算部２１は、式（３）−（６）に基づいて、Ｂ成分とＧ成分との色差面Ｃｂ、Ｒ成分とＢ成分との色差面Ｃｒｂそれぞれを注目画素の画素位置（ｉ，ｊ）において算出する。
Ｃｂ［−ｋ］（ｉ，ｊ）＝｜Ｂｋ（ｉ，ｊ）−Ｇ０（ｉ，ｊ）｜ …（３）
Ｃｂ［ｋ］（ｉ，ｊ）＝｜Ｂ０（ｉ，ｊ）−Ｇｋ（ｉ，ｊ）｜ …（４）
Ｃｒｂ［−ｋ］（ｉ，ｊ）＝｜Ｒｋ（ｉ，ｊ）−Ｂ０（ｉ，ｊ）｜ …（５）
Ｃｒｂ［ｋ］（ｉ，ｊ）＝｜Ｒ０（ｉ，ｊ）−Ｂｋ（ｉ，ｊ）｜ …（６）
ステップＳ１３：演算部２１は、ステップＳ１２で算出した色差面Ｃｒ、Ｃｂ、Ｃｒｂを用い、注目画素（ｉ，ｊ）における各色差面の標準偏差ＤＥＶｒ、ＤＥＶｂ、ＤＥＶｒｂを、ぼかし指標ごとに算出する。すなわち、演算部２１は、図４に示すように、斜線で示す注目画素（ｉ，ｊ）を中心とする１５ピクセル×１５ピクセルの大きさの参照領域ＡＲ１（第１領域）にある画素の各色差面Ｃｒ、Ｃｂ、Ｃｒｂの値を用い標準偏差を算出する。なお、本実施形態では、参照領域ＡＲ１の大きさを１５ピクセル×１５ピクセルとするが、ＣＰＵ１の処理能力や軸上色収差の補正の精度に応じて適宜決めることが好ましく、例えば、一辺を１０〜３０ピクセルの範囲に設定されるのが好ましい。
【００４４】
演算部２１は、次式（７）−（９）を用い各色差面の標準偏差ＤＥＶｒ、ＤＥＶｂ、ＤＥＶｒｂを算出する。
【００４５】
【数１】
【００４６】
【数２】
【００４７】
【数３】
ここで、ｋ’は、−Ｎ〜Ｎの整数のぼかし指標である。ｒは、参照領域ＡＲ１の一辺のピクセル数を示し、本実施形態ではｒ＝１５ピクセルである。また、（ｌ、ｍ）および（ｘ、ｙ）は、参照領域ＡＲ１内の画素位置をそれぞれ表す。
【００４８】
ステップＳ１４：演算部２１は、ステップＳ１３で算出された各色差面の標準偏差ＤＥＶｒ、ＤＥＶｂ、ＤＥＶｒｂを用い、注目画素（ｉ，ｊ）において、最小の標準偏差の値を与えるぼかし指標ｋ’を色差面ごとに求める。例えば、図５に示すように、演算部２１は、ぼかし指標に応じた色差面Ｃｒの標準偏差ＤＥＶｒ［ｋ’］の分布に基づいて、注目画素（ｉ，ｊ）において、その標準偏差が最小となるぼかし指標ｋ’＝αｒを求める。
【００４９】
演算部２１は、色差面Ｃｂおよび色差面Ｃｒｂの場合についても同様の処理を行い、最小の標準偏差ＤＥＶｂ、ＤＥＶｒｂを与えるぼかし指標ｋ’＝αｂおよびｋ’＝αｒｂを求める。
【００５０】
ステップＳ１５：ＣＰＵ１の判定部２２は、注目画素（ｉ，ｊ）において、それぞれのぼかし指標ｋ’における各色差面の標準偏差ＤＥＶｒ［ｋ’］、ＤＥＶｂ［ｋ’］、ＤＥＶｒｂ［ｋ’］の値に基づいて、注目画素（ｉ，ｊ）の色構造が色境界の色相を有するか否かを判定する。判定部２２は、それらの標準偏差の値のいずれか１つが閾値ε以上となるか否かを判定する。なお、本実施形態の閾値εは、例えば、対象画像が２５５階調の画像の場合、５０に設定されるものとする。ただし、閾値εの値は、対象画像の階調、注目画素の画素位置や参照領域ＡＲ１等に応じて決定されるのが好ましく、例えば、４０〜６０の範囲の値に設定されるのが好ましい。
【００５１】
判定部２２は、閾値ε以上となる標準偏差の値があった場合、注目画素（ｉ，ｊ）の色構造は色境界であると判定し、その注目画素の画素位置を不図示のワーキングメモリに記録し、ステップＳ１６（ＹＥＳ側）へ移行する。一方、判定部２２は、閾値ε以上となる標準偏差の値が無かった場合、注目画素（ｉ，ｊ）の色構造は色境界でないと判定し、注目画素を軸上色収差の補正処理の対象画素としてステップＳ１７（ＮＯ側）へ移行する。
【００５２】
ステップＳ１６：判定部２２は、ステップＳ１５において色境界と判定された注目画素（ｉ，ｊ）の色構造がパープルフリンジであるか否かを判定する。判定部２２は、図２に示すように、注目画素（ｉ，ｊ）およびその周辺画素、または対象画像全体の各色成分の画素値を用い、それらの分布を求める。判定部２２は、色成分ごとに画素値の分布から画素値が飽和した飽和領域（２５５階調の画像の場合、画素値が２５５）をそれぞれ求める。判定部２２は、各色成分の飽和領域の大きさのうち、最も領域が広い、例えば、Ｒ成分の飽和領域とその飽和領域の端から幅β広げた領域とを合わせた領域をパープルフリンジ領域とし、注目画素がそのパープルフリンジ領域内か否かを判定する。なお、本実施形態における幅βの値は、例えば、１０ピクセル程度である。ただし、幅βの大きさは、ＣＰＵ１の処理能力、軸上色収差の補正処理の精度や各色成分における飽和状態からの減少度合いに応じて決定されるのが好ましい。
【００５３】
判定部２２は、パープルフリンジ領域内の場合、注目画素の色構造はパープルフリンジと判定し、その注目画素の画素位置をワーキングメモリ（不図示）に記録する。判定部２２は、その注目画素を軸上色収差の補正処理の対象画素として、ステップＳ１７（ＹＥＳ側）へ移行する。一方、パープルフリンジ領域外の場合、注目画素の色構造は色境界と判定し、注目画素に対する軸上色収差の補正処理を行わず、ステップＳ２０（ＮＯ側）へ移行する。
【００５４】
ステップＳ１７：決定部２３は、ステップＳ１４において求めた各色差面のぼかし係数αｒ、αｂ、αｒｂに基づいて、注目画素（ｉ，ｊ）における鮮鋭度が最も高い色成分を決定する。決定部２３は、最小の標準偏差を与えるぼかし指標αｒが正の場合、注目画素（ｉ，ｊ）において鮮鋭度がより高いのはＧ成分であると決定する。一方、決定部２３は、最小の標準偏差を与えるぼかし指標αｒが負の場合、注目画素（ｉ，ｊ）において鮮鋭度がより高いのはＲ成分であると決定する。決定部２３は、ぼかし指標αｂおよびαｒｂに対しても、それらの符号に基づいて、鮮鋭度がより高い色成分をそれぞれ決定する。
【００５５】
上記結果に基づいて、決定部２３は、注目画素（ｉ，ｊ）において、最も鮮鋭度の高い色成分が決定できたか否かを判定する。すなわち、３つの色差面における結果のうち、２つで同一の色成分が決定された場合、決定部２３は、その色成分を、注目画素（ｉ，ｊ）において鮮鋭度が最も高い色成分として決定し、ステップＳ１８（ＹＥＳ側）へ移行する。
【００５６】
一方、例えば、各色差面のぼかし係数αｒ、αｂ、αｒｂそれぞれに基づいて、Ｒ成分、Ｇ成分、Ｂ成分がそれぞれ決定された場合、決定部２３は、注目画素（ｉ，ｊ）における最も鮮鋭度の高い色成分を１つに決定することができない。このような場合、決定部２３は、不定と判定し、注目画素に対する軸上色収差の補正処理を行わず、ステップＳ２０（ＮＯ側）へ移行する。なお、色差面ごとに決定された各色成分の鮮鋭度を比較し鮮鋭度が最も高い色成分を決定してもよい。
【００５７】
ステップＳ１８：ＣＰＵ１の調整部２４は、ステップＳ１７において、決定された色成分に基づいて、注目画素（ｉ，ｊ）の色成分間の鮮鋭度を調整し軸上色収差を補正する。
【００５８】
そのために、演算部２１は、例えば、図５に示す色差面Ｃｒの標準偏差ＤＥＶｒの分布に基づいて、注目画素（ｉ，ｊ）における真の意味での最小の標準偏差の値を与えるぼかし指標ｓを求める。すなわち、演算部２１がステップＳ１４で求められた標準偏差ＤＥＶｒを最小にするぼかし指標αｒは、図５の点線が示すように、必ずしも真に最小の標準偏差ＤＥＶｒを与えるぼかし指標ではない。そこで、演算部２１は、算出された標準偏差ＤＥＶｒが最小になるぼかし指標αｒと、隣接する両端のぼかし指標αｒ−１およびαｒ＋１との３点に対し内挿法を適用し、より正確なぼかし指標（内挿点）ｓを求める。
【００５９】
ここで、標準偏差ＤＥＶｒ［ｋ’］（ｉ，ｊ）の分布において、ＤＥＶｒ［αｒ−１］（ｉ，ｊ）＞ＤＥＶｒ［αｒ＋１］（ｉ，ｊ）の場合、ぼかし指標ｓは、次式（１０）のように表される。
ぼかし指標ｓ＝（（αｒ＋１）＋αｒ）／２＋（ＤＥＶｒ［αｒ＋１］（ｉ，ｊ）−ＤＥＶｒ［αｒ］（ｉ，ｊ））／２／ａ …（１０）
ここで、係数ａは傾きであり、（ＤＥＶｒ［αｒ−１］（ｉ，ｊ）−ＤＥＶｒ［αｒ］（ｉ，ｊ））／（（αｒ−１）−αｒ）となる。
【００６０】
一方、ＤＥＶｒ［αｒ−１］（ｉ，ｊ）＜ＤＥＶｒ［αｒ＋１］（ｉ，ｊ）の場合、ぼかし指標ｓは、次式（１１）のように表される。
ぼかし指標ｓ＝（（αｒ−１）＋αｒ）／２＋（ＤＥＶｒ［αｒ−１］（ｉ，ｊ）−ＤＥＶｒ［αｒ］（ｉ，ｊ））／２／ａ …（１１）
なお、傾きａは（ＤＥＶｒ［αｒ＋１］（ｉ，ｊ）−ＤＥＶｒ［αｒ］（ｉ，ｊ））／（（αｒ＋１）−αｒ）となる。
【００６１】
そして、演算部２１は、内挿点ｓとともに、ぼかし指標αｒ、αｒ＋１のＧαｒ（ｉ，ｊ）、Ｇ（αｒ＋１）（ｊ，ｊ）を用いた公知の重み付け加算により、補正値Ｇ’（ｉ，ｊ）を算出する。
【００６２】
以下は注目画素（ｉ，ｊ）で最も鮮鋭度が高いのがＧ面とした場合の例である。
【００６３】
調整部２４は、次式（１２）に基づいて、注目画素（ｉ，ｊ）におけるＲ成分の鮮鋭度を調整し軸上色収差を補正する。
Ｒ’（ｉ，ｊ）＝Ｒ０（ｉ，ｊ）＋（Ｇ０（ｉ，ｊ）−Ｇ’（ｉ，ｊ）） …（１２）
調整部２４は、同様にＢ成分についても、Ｂ成分とＧ成分との色差面Ｃｂの標準偏差ＤＥＶｂの分布に基づいて、補正値Ｇ”（ｉ，ｊ）を算出し、次式（１３）に基づいて、注目画素（ｉ，ｊ）におけるＢ成分の鮮鋭度を調整し軸上色収差を補正する。
Ｂ’（ｉ，ｊ）＝Ｂ０（ｉ，ｊ）＋（Ｇ０（ｉ，ｊ）−Ｇ”（ｉ，ｊ）） …（１３）
ステップＳ１９：ＣＰＵ１の色差補正部２５は、軸上色収差の補正処理が施された注目画素の各色成分の画素値に対して色差補正を行う。
【００６４】
すなわち、ステップＳ１８において、軸上色収差の補正処理が施された注目画素の各色成分の画素値は、補正前の画素値と比較した場合、特に、輝度色差の色空間における色差成分の向きが大きく変わる場合があるからである。そして、それにより注目画素（ｉ，ｊ）において変色が発生する。そこで、本実施形態では、その変色の発生を抑制するために、色差補正部２５は、注目画素における補正後の色差成分が、輝度色差の空間において、補正前の色差成分の向きと同じになるように補正する。
【００６５】
具体的には、色差補正部２５は、注目画素の補正前後の各色成分の画素値を、公知の変換処理を適用して、ＲＧＢの画素値（Ｒ’，Ｇ，Ｂ’）をＹＣｒＣｂの輝度成分と色差成分（Ｙ’，Ｃｒ’，Ｃｂ’）に変換する。ここで、補正前の輝度成分および色差成分を（Ｙ０，Ｃｒ０，Ｃｂ０）とする。そして、色差補正部２５は、次式（１４）により、注目画素の色差成分の向きを補正前の向きに補正する。なお、本実施形態において、輝度成分Ｙ’は補正しない。
【００６６】
【数４】
色差補正部２５は、再度、上述した公知の変換処理を適用して、注目画素の色差補正後の輝度成分および色差成分（Ｙ’，Ｃｒ”，Ｃｂ”）をＲＧＢの画素値（Ｒ１，Ｇ１，Ｂ１）に変換する。色差補正部２５は、画素値（Ｒ１，Ｇ１，Ｂ１）を注目画素（ｉ，ｊ）の画素値とする。
【００６７】
ステップＳ２０：ＣＰＵ１は、対象画像の全ての画素について処理が終了したか否かを判定する。ＣＰＵ１は、全ての画素について処理が終了していないと判定した場合、ステップＳ１２（ＮＯ側）へ移行し、次の画素を注目画素として、ステップＳ１２からステップＳ１９の処理を行う。一方、ＣＰＵ１は、全ての画素について処理が終了したと判定した場合、軸上色収差が補正された画像を、記憶部２に記録したり出力装置３０に表示したりする。そして、ＣＰＵ１は、一連の処理を終了する。
【００６８】
このように、本実施形態では、各色差面の標準偏差の値に基づいて、各画素位置における色構造を判定することにより、軸上色収差の補正を確度高く行うことができる。
【００６９】
また、色境界と判定された注目画素に対する軸上色収差の補正処理を行わないことにより、変色や色抜けの発生を抑制することができる。
【００７０】
さらに、注目画素の補正後の画素値に対して、色差空間において補正前の画素値が有した色差成分の向きに補正することにより、変色や色抜けを抑制しつつ軸上色収差の補正をより精度よく行うことができる。
《他の実施形態》
本発明の他の実施形態に係る画像処理装置は、図１に示す一の実施形態に係る画像処理装置と同一である。よって、図１に示すコンピュータ１０を本実施形態に係る画像処理装置とし、各構成要素について同一の符号を付し詳細な説明は省略する。
【００７１】
なお、本実施形態のコンピュータ１０と一の実施形態のものとの相違点は、（１）演算部２１が、対象画像およびＮ個の平滑画像を用い、各画素の画素位置において、対象画像の色成分と平滑画像の対象画像の色成分とは異なる色成分との差分から、ぼかし指標に応じた色差面（色差）およびその標準偏差（分散）の値を算出し、（２）判定部２２が、それぞれのぼかし指標における色差面間の標準偏差の値の差分を算出し、その絶対値に基づいて、画素位置の色構造が色境界か否かを判定することにある。
【００７２】
次に、本実施形態のコンピュータ１０による軸上色収差を補正する画像処理の動作について、図６に示すフローチャートを参照しつつ説明する。
【００７３】
ユーザは、入力装置４０を用いて、画像処理プログラムのコマンドを入力、または、出力装置３０に表示されたそのプログラムのアイコンをダブルクリック等することにより、画像処理プログラムの起動をＣＰＵ１に指示する。ＣＰＵ１は、その指示を入出力Ｉ／Ｆ３を介して受け付け、記憶部２に記憶されている画像処理プログラムを読み込み実行する。ＣＰＵ１は、図６のステップＳ３０からステップＳ４０の処理を開始する。
【００７４】
ステップＳ３０：ＣＰＵ１は、入力装置４０を介して、ユーザによって指定された補正対象の対象画像を読み込む。
【００７５】
ステップＳ３１：ＣＰＵ１の画像平滑部２０は、各ガウシアンフィルタのぼかし指標に応じ、読み込んだ対象画像を平滑化し、Ｎ個の平滑画像を生成する。なお、本実施形態では、対象画像自身も平滑画像の１つとし、本実施形態における平滑画像の総数は、（Ｎ＋１）個である。
【００７６】
ステップＳ３２：ＣＰＵ１の演算部２１は、Ｒ成分とＧ成分との色差面Ｃｒ、Ｂ成分とＧ成分との色差面Ｃｂ、およびＲ成分とＢ成分との色差面Ｃｒｂを対象画像と各平滑画像とを用いて算出する。
【００７７】
なお、本実施形態の演算部２１は、上述したように、例えば、対象画像の所定の色成分であるＧ成分の画素値Ｇ０（ｉ，ｊ）と、平滑画像の上記所定の色成分とは異なる色成分であるＲ成分の画素値Ｒｋ（ｉ，ｊ）との差分を各画素位置において求め、次式（１５）に示す色差面Ｃｒ［−ｋ］（ｉ，ｊ）を算出する。
Ｃｒ［−ｋ］（ｉ，ｊ）＝Ｒｋ（ｉ，ｊ）−Ｇ０（ｉ，ｊ） …（１５）
ここで、式（１）と同様に、（ｉ，ｊ）は、各画素位置を注目画素としてその画素位置の座標を示し、ｋは、平滑画像のぼかし指標を示す。
【００７８】
同様に、演算部２１は、対象画像の所定の色成分であるＲ成分の画素値Ｒ０（ｉ，ｊ）と、平滑画像の上記所定の色成分とは異なる色成分であるＧ成分の画素値Ｇｋ（ｉ，ｊ）との差分を注目画素の画素位置（ｉ，ｊ）において求め、次式（１６）の色差面Ｃｒ［ｋ］（ｉ，ｊ）を算出する。
Ｃｒ［ｋ］（ｉ，ｊ）＝Ｒ０（ｉ，ｊ）−Ｇｋ（ｉ，ｊ） …（１６）
さらに、演算部２１は、式（１７）−（２０）に基づいて、Ｂ成分とＧ成分との色差面Ｃｂ、Ｒ成分とＢ成分との色差面Ｃｒｂそれぞれを注目画素の画素位置（ｉ，ｊ）において算出する。
Ｃｂ［−ｋ］（ｉ，ｊ）＝Ｂｋ（ｉ，ｊ）−Ｇ０（ｉ，ｊ） …（１７）
Ｃｂ［ｋ］（ｉ，ｊ）＝Ｂ０（ｉ，ｊ）−Ｇｋ（ｉ，ｊ） …（１８）
Ｃｒｂ［−ｋ］（ｉ，ｊ）＝Ｒｋ（ｉ，ｊ）−Ｂ０（ｉ，ｊ） …（１９）
Ｃｒｂ［ｋ］（ｉ，ｊ）＝Ｒ０（ｉ，ｊ）−Ｂｋ（ｉ，ｊ） …（２０）
ステップＳ３３：演算部２１は、一の実施形態のステップＳ１３と同様に、ステップＳ３２で算出した色差面Ｃｒ、Ｃｂ、Ｃｒｂを用い、注目画素（ｉ，ｊ）における各色差面の標準偏差ＤＥＶｒ、ＤＥＶｂ、ＤＥＶｒｂを、ぼかし指標ごとに算出する。すなわち、演算部２１は、図４に示すように、斜線で示す注目画素（ｉ，ｊ）を中心とする１５ピクセル×１５ピクセルの大きさの参照領域ＡＲ１（第１領域）にある画素の各色差面Ｃｒ、Ｃｂ、Ｃｒｂの値を用い、式（７）−（９）に基づいて標準偏差を算出する。
【００７９】
ステップＳ３４：演算部２１は、一の実施形態のステップＳ１４と同様に、ステップＳ３３で算出された各色差面の標準偏差ＤＥＶｒ、ＤＥＶｂ、ＤＥＶｒｂを用い、注目画素（ｉ，ｊ）において、最小の標準偏差の値を与えるぼかし指標ｋ’（＝αｒ、αｂ、αｒｂ）を色差面ごとに求める。
【００８０】
ステップＳ３５：ＣＰＵ１の判定部２２は、注目画素（ｉ，ｊ）において、それぞれのぼかし指標ｋ’における各色差面の標準偏差の差分、ＤＥＶｒ［ｋ’］−ＤＥＶｂ［ｋ’］、ＤＥＶｂ［ｋ’］−ＤＥＶｒｂ［ｋ’］、ＤＥＶｒ［ｋ’］−ＤＥＶｒｂ［ｋ’］を求め、その差分の絶対値に基づいて、注目画素（ｉ，ｊ）の色構造が色境界の色相を有するか否かを判定する。判定部２２は、それらの標準偏差の差分の絶対値のいずれか１つが閾値ε以上となるか否かを判定する。なお、本実施形態の閾値εは、例えば、対象画像が２５５階調の画像の場合、５０に設定されるものとする。ただし、閾値εの値は、対象画像の階調、注目画素の画素位置や参照領域ＡＲ１等に応じて決定されるのが好ましく、例えば、４０〜６０の範囲の値に設定されるのが好ましい。
【００８１】
判定部２２は、閾値ε以上となる標準偏差の差分の絶対値があった場合、注目画素（ｉ，ｊ）の色構造は色境界であると判定し、その注目画素の画素位置を不図示のワーキングメモリに記録し、ステップＳ３６（ＹＥＳ側）へ移行する。一方、判定部２２は、閾値ε以上となる標準偏差の差分の絶対値が無かった場合、注目画素（ｉ，ｊ）の色構造は色境界でないと判定し、注目画素を軸上色収差の補正処理の対象画素としてステップＳ３７（ＮＯ側）へ移行する。
【００８２】
ステップＳ３６：判定部２２は、一の実施形態のステップＳ１６と同様に、ステップＳ３５において色境界と判定された注目画素（ｉ，ｊ）の色構造がパープルフリンジであるか否かを判定する。
【００８３】
判定部２２は、パープルフリンジ領域内の場合、注目画素の色構造はパープルフリンジと判定し、その注目画素の画素位置をワーキングメモリ（不図示）に記録する。判定部２２は、その注目画素を軸上色収差の補正処理の対象画素として、ステップＳ３７（ＹＥＳ側）へ移行する。一方、パープルフリンジ領域外の場合、注目画素の色構造は色境界と判定し、注目画素に対する軸上色収差の補正処理を行わず、ステップＳ４０（ＮＯ側）へ移行する。
【００８４】
ステップＳ３７：決定部２３は、一の実施形態のステップＳ１７と同様に、ステップＳ３４において求めた各色差面のぼかし係数αｒ、αｂ、αｒｂに基づいて、注目画素（ｉ，ｊ）における鮮鋭度が最も高い色成分を決定する。決定部２３は、注目画素（ｉ，ｊ）において、最も鮮鋭度の高い色成分が決定できた場合、ステップＳ３８（ＹＥＳ側）へ移行する。
【００８５】
一方、決定部２３は、注目画素（ｉ，ｊ）における最も鮮鋭度の高い色成分を１つに決定することができなかった場合、注目画素に対する軸上色収差の補正処理を行わず、ステップＳ４０（ＮＯ側）へ移行する。
【００８６】
ステップＳ３８：ＣＰＵ１の調整部２４は、一の実施形態のステップＳ１８と同様に、ステップＳ３７において、決定された色成分に基づいて、注目画素（ｉ，ｊ）の色成分間の鮮鋭度を調整し軸上色収差を補正する。
【００８７】
ステップＳ３９：ＣＰＵ１の色差補正部２５は、一の実施形態のステップＳ１９と同様に、式（１４）を用いて、軸上色収差の補正処理が施された注目画素の各色成分の画素値に対して色差補正を行う。
【００８８】
ステップＳ４０：ＣＰＵ１は、対象画像の全ての画素について処理が終了したか否かを判定する。ＣＰＵ１は、全ての画素について処理が終了していないと判定した場合、ステップＳ３２（ＮＯ側）へ移行し、次の画素を注目画素として、ステップＳ３２からステップＳ３９の処理を行う。一方、ＣＰＵ１は、全ての画素について処理が終了したと判定した場合、軸上色収差が補正された画像を、記憶部２に記録したり出力装置３０に表示したりする。そして、ＣＰＵ１は、一連の処理を終了する。
【００８９】
このように、本実施形態では、各色差面の標準偏差の差分に基づいて、各画素位置における色構造を判定することにより、軸上色収差の補正を確度高く行うことができる。
【００９０】
また、色境界と判定された注目画素に対する軸上色収差の補正処理を行わないことにより、変色や色抜けの発生を抑制することができる。
【００９１】
さらに、注目画素の補正後の画素値に対して、色差空間において補正前の画素値が有した色差成分の向きに補正することにより、変色や色抜けを抑制しつつ軸上色収差の補正をより精度よく行うことができる。
《実施形態の補足事項》
（１）本発明の画像処理装置は、画像処理プログラムをコンピュータ１０に実行させることで実現させたが、本発明はこれに限定されない。本発明に係る画像処理装置における処理をコンピュータ１０で実現するためのプログラムおよびそれを記録した媒体に対しても適用可能である。
【００９２】
また、本発明の画像処理プログラムを有した図７に示すようなデジタルカメラに対しても適用可能である。なお、図７に示すデジタルカメラにおいて、撮像素子１０２と、撮像素子１０２から入力される画像信号のＡ／Ｄ変換や、色補間処理等の信号処理を行うデジタルフロントエンド回路のＤＦＥ１０３とが、撮像部を構成することが好ましい。
【００９３】
また、デジタルカメラを本発明の画像処理装置として動作される場合、ＣＰＵ１０４は、画像平滑部２０、演算部２１、判定部２２、決定部２３、調整部２４、色差補正部２５の各処理をソフトウエア的に実現してもよいし、ＡＳＩＣを用いてこれらの各処理をハードウエア的に実現してもよい。
【００９４】
（２）上記実施形態では、画像平滑部２０が、複数のガウシアンフィルタを用いて、対象画像からＮ個の平滑画像を生成したが、本発明はこれに限定されない。例えば、図７に示すようなデジタルカメラの撮像レンズ１０１等の光学系の点広がり関数（ＰＳＦ）が得られる場合、画像平滑部２０は、ガウシアンフィルタを用いる代わりに、ＰＳＦを用いて平滑画像を生成してもよい。
【００９５】
（３）上記実施形態では、Ｒ成分とＧ成分との色差面Ｃｒ、Ｂ成分とＧ成分との色差面Ｃｂ、Ｒ成分とＢ成分との色差面Ｃｒｂに基づいて、対象画像の軸上色収差の補正を行ったが、本発明はこれに限定されない。例えば、３つの色差面のうち２つの色差面に基づいて、対象画像の軸上色収差の補正を行ってもよい。これにより、補正処理の高速化を図ることができる。
【００９６】
（４）上記実施形態では、対象画像は、各画素においてＲ成分、Ｇ成分、Ｂ成分の画素値を有するとしたが、本発明はこれに限定されない。例えば、対象画像の各画素において、２つまたは４つ以上の色成分を有してもよい。
【００９７】
また、図７に示すデジタルカメラの撮像素子１０２の受光面の各画素子に、Ｒ、Ｇ、Ｂのカラーフィルタが公知のベイヤ配列に従って配置されている場合、その撮像素子１０２によって撮像されたＲＡＷ画像に対しても、本発明は適用可能である。
【００９８】
（５）上記実施形態では、色差補正部２５は、軸上色収差の補正処理が施された注目画素全てに対して色差補正を行ったが、本発明これに限定されず、注目画素の補正後の色差成分の大きさＬ’の値が、補正前の色差成分の大きさＬの値より小さい場合、色差補正を行わないようにしてもよい。
【００９９】
また、色差補正部２５は、補正後の色差成分の大きさＬ’が、補正前の色差成分の大きさＬ（所定の大きさ）より大きい場合、図８および次式（２１）で定義される補正出力率φ（Ｌ’）を用いて、式（１４）を変形した次式（２２）に基づき補正後の色差成分の出力率を小さくしてもよい。
【０１００】
【数５】
これにより、変色の発生をより正確に抑制することが可能となる。なお、関数ｃｌｉｐ（Ｖ，Ｕ１，Ｕ２）は、パラメータＶの値が下限値Ｕ１と上限値Ｕ２との範囲外の値の場合、下限値Ｕ１または上限値Ｕ２にクリップする。なお、係数ＷＶは、補正出力率φ（Ｌ’）を上限値Ｕ２（＝１）から下限値Ｕ１（＝０）に変化させる幅を示し、本実施形態では、２５５階調の画像の場合、例えば、係数ＷＶ＝５〜１０の値とする。ただし、係数ＷＶの値は、要求される変色の抑制の度合い等に応じて適宜設定されることが好ましい。
【０１０１】
（６）上記実施形態では、注目画素（ｉ，ｊ）の色構造が色境界の場合、軸上色収差の補正処理を行わないとしたが、本発明はこれに限定されない。例えば、色境界に位置する注目画素（ｉ，ｊ）に対して、ステップＳ１７からステップＳ１９またはステップＳ３７からステップＳ３９の処理を行ってもよい。ただし、調整部２４は、ステップＳ１８またはステップＳ３８において、式（１２）および（１３）の代わりに次式（２３）および（２４）を用いて行うのが好ましい。この場合、ステップＳ１９またはステップＳ３９において、色差補正部２５は、色境界と判定された注目画素に対しても色差補正を行うのが好ましい。
Ｒ’（ｉ，ｊ）＝Ｒ０（ｉ，ｊ）＋γ×（Ｇ０（ｉ，ｊ）−Ｇ’（ｉ，ｊ））…（２３）
Ｂ’（ｉ，ｊ）＝Ｂ０（ｉ，ｊ）＋γ×（Ｇ０（ｉ，ｊ）−Ｇ”（ｉ，ｊ））…（２４）
ここで、係数γは、０．１〜０．２以下の値とし、色境界による影響をあまり受けないようにするのが好ましい。なお、係数γの値は、注目画素（ｉ，ｊ）でのそれぞれのぼかし指標における各色差面の標準偏差の値または標準偏差の差分の絶対値等に応じて決定されるのが好ましい。また、係数γは色成分ごとに設定されてもよい。
【０１０２】
これにより、特に、パープルフリンジ領域の境界付近における補正処理の方法の不連続性による影響を回避し、画像の階調の空間的な連続性を保つことができる。なお、調整部２４は、画像の階調の空間的な連続性を保つために、公知の平滑化処理を適用してもよい。
【０１０３】
（７）上記実施形態では、判定部２２が、注目画素（ｉ，ｊ）の色構造が色境界か否か判定を、１つの閾値εを用いて行ったが、本発明はこれに限定されない。例えば、判定部２２は、２つの閾値ε１およびε２（ε１＜ε２）を用いて行ってもよい。この場合、式（１２）および（１３）に代えて、式（２３）および（２４）を用いるのが好ましい。
【０１０４】
例えば、標準偏差の値または標準偏差の差分の絶対値が閾値ε１以下で、判定部２２により注目画素の色構造が色境界でないと判定された場合、調整部２４は、係数γ＝１と設定して、注目画素（ｉ，ｊ）に対する軸上色収差の補正処理を行う。一方、標準偏差の値または標準偏差の差分の絶対値が閾値ε２以上で、注目画素の色構造が色境界と判定された場合、調整部２４は、係数γ＝０または０．１〜０．２以下の小さな値に設定し、注目画素（ｉ，ｊ）に対する軸上色収差の補正処理を行う。標準偏差の値または標準偏差の差分の絶対値が閾値ε１から閾値ε２の間の場合、判定部２２は、注目画素の色構造を不定と判定し、調整部２４は、例えば、標準偏差の値または差分の絶対値の大きさと閾値ε１およびε２との大きさに応じて、係数γを１から０の間の値に設定し、注目画素に対する軸上色収差の補正処理を行う。なお、この場合、ステップＳ１９またはステップＳ３９において、色差補正部２５は、全ての注目画素に対して色差補正処理を行うのが好ましい。
【０１０５】
これにより、特に、パープルフリンジ領域の境界付近における補正処理の方法の不連続性による影響を回避し、画像の階調の空間的な連続性を保つことができる。なお、調整部２４は、画像の階調の空間的な連続性を保つために、公知の平滑化処理を適用してもよい。
【０１０６】
（８）上記実施形態では、判定部２２が、注目画素（ｉ，ｊ）およびその周辺画素の各色成分の画素値の分布に基づいてパープルフリンジ領域を求め、注目画素（ｉ，ｊ）の色構造がパープルフリンジであるか否かを判定したが、本発明はこれに限定されない。例えば、判定部２２は、パープルフリンジ領域を求めるにあたり、最初に、対象画像の輝度成分に基づいて、輝度成分が飽和している領域を飽和領域として求めてもよい。
【０１０７】
ただし、求められた飽和領域にはショットノイズ等による数画素程度の大きさの領域も含まれる。そこで、判定部２２は、例えば、公知の手法を用い、求められたそれぞれの飽和領域から１画素幅分程度の周辺領域を削除して飽和領域を縮小する。これにより、ショットノイズ等による数画素程度の大きさの飽和領域は除去される。そして、判定部２２は、縮小した飽和領域に、例えば、１画素幅分程度の周辺領域を付加して、縮小した飽和領域を拡張する。判定部２２は、最終的に飽和領域に幅β程度の領域が付加されるまで、この拡張処理を複数回行い、パープルフリンジ領域を求める。
【０１０８】
なお、判定部２２は、ショットノイズ等による数画素程度の大きさの飽和領域を除去するために、公知のノイズ除去処理を適用してもよい。
【０１０９】
（９）上記一の実施形態では、演算部２１が、式（１）−（６）を用いて、色差面Ｃｒ、Ｃｂ、Ｃｒｂを、異なる色成分の画素値の差分の絶対値として求めたが、本発明はこれに限定されず、色差面Ｃｒ、Ｃｂ、Ｃｒｂは、単に、異なる色成分の画素値の差分の値であってもよいし、その差分を２乗したものであってもよい。
【０１１０】
（１０）上記他の実施形態では、演算部２１が、式（１５）−（２０）を用いて、色差面Ｃｒ、Ｃｂ、Ｃｒｂを、異なる色成分の画素値の差分として求めたが、本発明はこれに限定されず、色差面Ｃｒ、Ｃｂ、Ｃｒｂは、異なる色成分の画素値の差分の絶対値であってもよいし、その差分を２乗したものであってもよい。
【０１１１】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【０１１２】
１ ＣＰＵ、２ 記憶部、３ 入出力Ｉ／Ｆ、４ バス、１０ コンピュータ、２０ 画像平滑部、２１ 演算部、２２ 判定部、２３ 決定部、２４ 調整部、２５ 色差補正部、３０ 出力装置、４０ 入力装置
【特許請求の範囲】
【請求項１】
複数の色成分の画素値を有する対象画像を、異なる複数の平滑化の度合いで平滑化し、複数の平滑画像を生成する画像平滑手段と、
前記対象画像の各画素位置において、前記対象画像の所定の色成分の画素値と前記平滑画像の前記所定の色成分とは異なる色成分の画素値との差分である色差を求め、前記平滑の度合いに応じた前記色差の分散を算出する演算手段と、
前記色差の分散に基づいて、前記各画素位置が色境界か否かを判定する判定手段と、
前記色境界の判定が偽と判定された画素位置の画素を対象画素として、前記色差の分散に基づいて前記各色成分の鮮鋭度を比較し、前記鮮鋭度が最も高い色成分を決定する決定手段と、
前記鮮鋭度が最も高い色成分に基づいて、前記対象画素の少なくとも１つの前記色成分の鮮鋭度を調整する調整手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記演算手段は、前記色差を前記差分の絶対値として求めることを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置において、
前記判定手段は、前記各色成分の画素値の分布に基づいて、前記色境界が飽和領域周辺の濃度差による色にじみか否かを判定し、
前記決定手段は、前記色境界が前記色にじみと判定された場合、前記色境界と判定された画素位置の画素を前記対象画素とする
ことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記鮮鋭度が調整された前記対象画素の画素値を、色差空間において、前記鮮鋭度の調整前の画素値の色差の向きと同じになるように補正する色差補正部を備えることを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記色差補正部は、前記色差空間において、前記鮮鋭度が調整された対象画素の画素値の色差成分の大きさが所定の大きさ以上の場合、前記鮮鋭度が調整された対象画素の画素値の色差成分の大きさを小さくすることを特徴とする画像表示装置。
【請求項６】
請求項１ないし請求項５のいずれか１項に記載の画像処理装置において、
前記演算手段は、前記画素位置を中心とする領域にある、前記対象画像の所定の色成分の画素値と前記平滑画像の前記所定の色成分とは異なる色成分の画素値とを用い、前記色差の分散を算出する
ことを特徴とする画像処理装置。
【請求項７】
請求項１ないし請求項６のいずれか１項に記載の画像処理装置において、
前記決定手段は、前記対象画素において、前記色差ごとに最小の分散値を与える前記平滑画像の色成分を前記鮮鋭度が高い色成分と決定し、決定された前記色成分の鮮鋭度を比較して前記鮮鋭度が最も高い色成分を決定することを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記演算手段は、前記最小の分散値を内挿法に基づいて決定することを特徴とする画像処理装置。
【請求項９】
被写体を撮像して、複数の色成分の画素値を有する対象画像を生成する撮像手段と、
請求項１ないし請求項８のいずれか１項に記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【請求項１０】
複数の色成分の画素値を有する対象画像を読み込む入力手順、
前記対象画像を、異なる複数の平滑化の度合いで平滑化し、複数の平滑画像を生成する画像平滑手順、
前記対象画像の各画素位置において、前記対象画像の所定の色成分の画素値と前記平滑画像の前記所定の色成分とは異なる色成分の画素値との差分である色差を求め、前記平滑の度合いに応じた前記色差の分散を算出する演算手順、
前記色差の分散に基づいて、前記各画素位置が色境界か否かを判定する判定手順、
前記色境界の判定が偽と判定された画素位置の画素を対象画素として、前記色差の分散に基づいて前記各色成分の鮮鋭度を比較し、前記鮮鋭度が最も高い色成分を決定する決定手順、
前記鮮鋭度が最も高い色成分に基づいて、前記対象画素の少なくとも１つの前記色成分の鮮鋭度を調整する調整手順、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１】
複数の色成分の画素値を有する対象画像を、異なる複数の平滑化の度合いで平滑化し、複数の平滑画像を生成する画像平滑手段と、
前記対象画像の各画素位置において、前記対象画像の所定の色成分の画素値と前記平滑画像の前記所定の色成分とは異なる色成分の画素値との差分である色差を求め、前記平滑の度合いに応じた前記色差の分散を算出する演算手段と、
前記色差の分散に基づいて、前記各画素位置が色境界か否かを判定する判定手段と、
前記色境界の判定が偽と判定された画素位置の画素を対象画素として、前記色差の分散に基づいて前記各色成分の鮮鋭度を比較し、前記鮮鋭度が最も高い色成分を決定する決定手段と、
前記鮮鋭度が最も高い色成分に基づいて、前記対象画素の少なくとも１つの前記色成分の鮮鋭度を調整する調整手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記演算手段は、前記色差を前記差分の絶対値として求めることを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置において、
前記判定手段は、前記各色成分の画素値の分布に基づいて、前記色境界が飽和領域周辺の濃度差による色にじみか否かを判定し、
前記決定手段は、前記色境界が前記色にじみと判定された場合、前記色境界と判定された画素位置の画素を前記対象画素とする
ことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記鮮鋭度が調整された前記対象画素の画素値を、色差空間において、前記鮮鋭度の調整前の画素値の色差の向きと同じになるように補正する色差補正部を備えることを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記色差補正部は、前記色差空間において、前記鮮鋭度が調整された対象画素の画素値の色差成分の大きさが所定の大きさ以上の場合、前記鮮鋭度が調整された対象画素の画素値の色差成分の大きさを小さくすることを特徴とする画像表示装置。
【請求項６】
請求項１ないし請求項５のいずれか１項に記載の画像処理装置において、
前記演算手段は、前記画素位置を中心とする領域にある、前記対象画像の所定の色成分の画素値と前記平滑画像の前記所定の色成分とは異なる色成分の画素値とを用い、前記色差の分散を算出する
ことを特徴とする画像処理装置。
【請求項７】
請求項１ないし請求項６のいずれか１項に記載の画像処理装置において、
前記決定手段は、前記対象画素において、前記色差ごとに最小の分散値を与える前記平滑画像の色成分を前記鮮鋭度が高い色成分と決定し、決定された前記色成分の鮮鋭度を比較して前記鮮鋭度が最も高い色成分を決定することを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記演算手段は、前記最小の分散値を内挿法に基づいて決定することを特徴とする画像処理装置。
【請求項９】
被写体を撮像して、複数の色成分の画素値を有する対象画像を生成する撮像手段と、
請求項１ないし請求項８のいずれか１項に記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【請求項１０】
複数の色成分の画素値を有する対象画像を読み込む入力手順、
前記対象画像を、異なる複数の平滑化の度合いで平滑化し、複数の平滑画像を生成する画像平滑手順、
前記対象画像の各画素位置において、前記対象画像の所定の色成分の画素値と前記平滑画像の前記所定の色成分とは異なる色成分の画素値との差分である色差を求め、前記平滑の度合いに応じた前記色差の分散を算出する演算手順、
前記色差の分散に基づいて、前記各画素位置が色境界か否かを判定する判定手順、
前記色境界の判定が偽と判定された画素位置の画素を対象画素として、前記色差の分散に基づいて前記各色成分の鮮鋭度を比較し、前記鮮鋭度が最も高い色成分を決定する決定手順、
前記鮮鋭度が最も高い色成分に基づいて、前記対象画素の少なくとも１つの前記色成分の鮮鋭度を調整する調整手順、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１９９９００（Ｐ２０１２−１９９９００Ａ）
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願番号】特願２０１１−１４５９１９（Ｐ２０１１−１４５９１９）
【出願日】平成２３年６月３０日（２０１１．６．３０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願日】平成２３年６月３０日（２０１１．６．３０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]