画像処理装置、画像処理方法およびプログラム
【課題】 画像データを生成する際に用いた光学部材の駆動状態や画像データの像高に応じて、色滲みの生じやすさには差異がある。色滲み領域であると判定するための基準を厳しく設定すると、色滲み領域の残存が増加し、基準を緩く設定すると、誤補正による色抜けの原因となり、特に色滲みが生じやすい領域で目立ってしまう。
【解決手段】 画像データから求めた勾配値に基づいて抑圧係数を算出し、この抑圧係数に基づいて対象となる領域の色滲みを抑圧する画像処理を行う画像処理装置であって、勾配値が閾値を超えた場合に色滲みが抑圧されるように抑圧係数を算出する構成とし、この画像データを生成する際に用いた光学部材の光学情報から色滲み量の推定値を求め、この推定値が大きいほど、上記の閾値を小さな値に設定するものとする。
【解決手段】 画像データから求めた勾配値に基づいて抑圧係数を算出し、この抑圧係数に基づいて対象となる領域の色滲みを抑圧する画像処理を行う画像処理装置であって、勾配値が閾値を超えた場合に色滲みが抑圧されるように抑圧係数を算出する構成とし、この画像データを生成する際に用いた光学部材の光学情報から色滲み量の推定値を求め、この推定値が大きいほど、上記の閾値を小さな値に設定するものとする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および画像処理方法に関し、特に色滲みを抑圧するための画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年のデジタルビデオカメラ、デジタルカメラは、高画素数のイメージセンサを採用することにより、高画質な映像を得られるようになってきている。
【０００３】
反面、画素の微細化や小型レンズなどの要因により、光の波長毎に結像位置が異なることに起因する色収差の影響である色滲みが画像に現れやすくなっている。また、固体撮像素子の各画素に対応して設けられた複数色の色フィルタがモザイク状に配置されているために、補間時に偽の色信号を生成してしまうことで、色滲みが現れてしまっていた。
【０００４】
従来、撮像された画像における色滲みを抑圧する技術として、様々な方法が提案されている。
【０００５】
例えば、特許文献１には、画像を撮影するときに用いたレンズを識別し、収差情報を読み出して補正パラメータを生成し、この補正パラメータに従って補正対象となる色信号の座標を移動させる技術が提案されている。
【０００６】
だが、色滲み特性は、光軸中心から着目画素までの像高位置、ズームレンズ位置、フォーカスレンズ位置、アイリスの開口径により複雑に変動する。そのため、特許文献１に記載されるようなレンズの収差情報を読み出す構成では、像高位置、ズームレンズ位置、アイリスの開口径、フォーカスレンズ位置、および、レンズの種類別に収差情報を記憶しておく必要がある。したがって、これらの収差情報を記憶しておくために必要なメモリの容量が大きくなってしまう。
【０００７】
そこで、予め記憶されたレンズの収差情報を読み出すのではなく、画像から色滲みが生じていると思われる領域を抽出し、その領域に対して色滲みを抑圧する技術が提案されている。例えば、特許文献２には、画像から２つの色成分の変化度の差分を検出し、この差分が大きな領域を色滲みが生じている領域と判別し、色滲みを抑圧する技術が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０００−０７６４２８号公報
【特許文献２】特開２００３−１０２０２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、予め記憶されたレンズの収差情報を読み出すのではなく、画像から色滲みが生じている領域を判別しようとすると、誤判定を完全になくすことは難しい。例えば、特許文献２に記載されるような２つの色成分の変化度の差分を検出する構成では、被写体そのものがそのような条件を満たす模様を有するものであると、色滲みが生じてなくとも、色滲み領域であると判別されてしまうことがある。そのため、色滲みが生じていない領域であるにも関わらず、その領域の色の濃度が低下させられたり、周辺の画素で置き換えられたりすることになる。
【００１０】
これは、特許文献２に記載されるような構成に限らず、画像の輝度成分や色成分から色滲みの生じている領域やその程度を判別しようとする構成であれば、被写体によってその判別結果に影響が生じてしまうという課題は生じてしまう。
【００１１】
このような事態を回避するために、色滲み領域であると判別するための条件を厳しく設定することが考えられる。ところが、単純に色滲み領域であると判別するための条件を厳しく設定するだけでは、色滲みが生じている領域であるにも関わらず、そうとは判別されない領域が増えてしまい、画質の向上に十分には寄与しないことになってしまう。特に、色滲みが生じやすい像高の高い領域では、色滲みが生じにくい像高の低い領域に比較して、色滲み領域の残存が増えてしまう。あるいは、色滲みが生じやすい光学条件下で得た画像データでは、色滲みが生じにくい光学条件下で得た画像データに比較して、色滲み領域の残存が増えてしまう。
【００１２】
また、上述したように、色滲み特性は、光軸中心から着目画素までの像高位置、ズームレンズ位置、アイリスの開口径、フォーカスレンズ位置などにより複雑に変動する。そのため、色滲みが生じている領域の幅も、これらの要因によって変化する。
【００１３】
色滲み領域でないにも関わらず色の濃度が抑圧されてしまった領域は、色滲みが残存してしまった領域よりも、その不自然さにより目立ってしまうことが多い。特に、色滲み領域でないにも関わらず色の濃度が抑圧されてしまった領域は、色滲みと判定された領域の幅が広いほど、その不自然な領域が明瞭な状態で残り、目立ってしまうことが多い。
【００１４】
本発明はこのような従来技術の課題に鑑みなされたものであり、着目した領域における色滲みの生じやすさを考慮することで、好適な色滲み抑圧処理を可能とする画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記目的は、画像データから勾配値を求める勾配検出手段と、前記画像データを生成する際に用いた光学部材の光学情報から、色滲み量の推定値を求める推定手段と、前記勾配値および前記推定値に基づいて抑圧係数を算出する抑圧係数算出手段と、前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、前記抑圧係数算出手段は、前記勾配値が閾値を超えた場合に、前記対象となる領域の色滲みが抑圧されるように前記抑圧係数を算出するものであって、前記推定値が第１の値である場合の前記閾値よりも、前記推定値が前記第１の値よりも大きな第２の値である場合の前記閾値を小さな値に設定することを特徴とする画像処理装置によって達成される。
【発明の効果】
【００１６】
本発明によれば、着目した領域における色滲みの生じやすさを考慮することで、好適な色滲み抑圧処理を行うことが可能になる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態に係る画像処理装置の一例としての撮像装置のブロック図である。
【図２】勾配値と抑圧係数の関係を表す色滲み抑圧関数を示す図である。
【図３】抑圧処理回路の内部構成を示す図である。
【図４】色滲み量推定回路から受け取った色滲み量の推定値に応じて、閾値Ｔｈ１および閾値Ｔｈ２を変更する一例を説明するための、勾配値Ｓに対する抑圧係数Ｋの特性を示す図である。
【図５】色滲み量推定回路から受け取った色滲み量の推定値に応じて、閾値Ｔｈ１、閾値Ｔｈ２、および、抑圧係数Ｋの上限であるαを変更する一例を説明するための、勾配値Ｓに対する抑圧係数Ｋの特性を示す図である。
【図６】本発明の第２の実施形態に係る画像処理装置の一例としての撮像装置のブロック図を示す。
【発明を実施するための形態】
【００１８】
以下、添付図面を参照して、本発明の好適な実施形態を詳細に説明する。
【００１９】
（第１の実施形態）
図１に本発明の第１の実施形態に係る画像処理装置の一例としての撮像装置のブロック図を示す。この撮像装置の例としては、デジタルカメラやデジタルビデオカメラがあげられる。
【００２０】
図１において、光学部材１０はズームレンズやフォーカスレンズからなるレンズユニット、絞り機構、これらの駆動部材、および、各レンズの駆動位置や絞りの開口径をそれぞれ検出するセンサーを備えている。撮像素子１１はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの光電変換素子である。撮像素子１１は光学部材１０のレンズを透過して入射した被写体像を電気信換する。本実施形態では、撮像素子１１は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のそれぞれの色に対応した信号に変号を出力する３板のベイヤー配列のＣＭＯＳセンサで構成されている。
【００２１】
ＡＦＥ１２はアナログフロントエンド回路であり、撮像素子１１から出力されたＲＧＢのアナログ信号を、ＲＧＢのデジタル信号へと変換する。さらに、Ｒ、Ｇ、Ｂの各色ごとのデジタル信号へ分離し、全ての画素が各色の信号を有するよう同時化処理を行う。以後、このＡＦＥ１２にて出力されたデジタル信号を画像データという。
【００２２】
勾配検出回路１３１は、色滲み抑圧処理の対象とする着目画素ごとに、ＡＦＥ１２から出力されたＲのデジタル信号の出力値の傾斜を示す勾配値Ｓｒを求める。勾配検出回路１３２は、着目画素ごとに、ＡＦＥ１２から出力されたＧのデジタル信号の出力値の傾斜を示す勾配値Ｓｇを求める。勾配検出回路１３３は、着目画素ごとに、ＡＦＥ１２から出力されたＢのデジタル信号の出力値の傾斜を示す勾配値Ｓｂを求める。
【００２３】
抑圧係数算出回路１４は、勾配検出回路１３１〜１３３から出力される各色の勾配値（Ｓｒ、Ｓｇ、Ｓｂ）と、色滲み量推定回路２３から出力される色滲み量の推定値から、着目画素ごとに、画像データのＲＧＢの各色の抑圧係数（Ｋｒ、Ｋｇ、Ｋｂ）を求める。そして、この抑圧係数（Ｋｒ、Ｋｇ、Ｋｂ）を抑圧処理回路１５に出力する。
【００２４】
抑圧処理回路１５は、ＡＦＥ１２から出力された画像データより、輝度信号Ｙと色差信号Ｃｒ、Ｃｂを算出する。そして、抑圧係数算出回路１４から出力されるＲＧＢの抑圧係数（Ｋｒ、Ｋｇ、Ｋｂ）から、着目画素ごとに、色差信号Ｃｒ、Ｃｂのそれぞれに対する抑圧係数を算出し、色差信号Ｃｒ、Ｃｂに対して色滲み抑圧処理を実施する。そして、色滲み抑圧処理が施された色差信号Ｃｒ’、Ｃｂ’と輝度信号Ｙを色滲み抑圧後の画像データとして出力する。
【００２５】
制御回路１６は撮像装置全体の動作を制御するためのマイコンである。この制御回路１６は、光学部材１０より各レンズの駆動位置や絞りの開口径の検出結果を受け取り、色滲み量推定回路２３に送信する。
【００２６】
メモリ１７は抑圧処理回路１５から出力されたＹ、Ｃｒ’、Ｃｂ’で構成された画像データを一時的に記憶したり、記憶媒体２１から読み出されて符号化／復号化回路２０にて復号化された画像データを一時的に記憶するための一時メモリである。
【００２７】
画像変換回路１８はメモリ１７に記憶された画像データを読み出して、表示装置１９に適合した形態となるように画像データを変換する。表示装置は例えば液晶ディスプレイで構成され、画像変換回路１８で変換された画像データを用いて、画像を表示する。
【００２８】
符号化／復号化回路２０は、メモリ１７に記憶された画像データを符号化して記憶媒体２１に書き込んだり、記憶媒体２１に読み出した画像データを復号化してメモリ１７に書き込んだりする。記憶媒体２１はこの撮像装置で生成された画像データを記憶するだけでなく、外部装置にて書き込まれた画像データや、その画像データが撮影されたときの撮像素子の駆動情報を符号化された状態で記憶することができる。
【００２９】
像高算出回路２２は、ＡＦＥ１２から出力された画像データの各画素における像高を算出する。
【００３０】
色滲み量推定回路２３は、像高算出回路２２で算出された像高、および、制御回路１６から通知される各レンズの位置や絞りの開口径の光学情報をもとに、色滲み量の推定値をデータベース２４から読み出す。
【００３１】
データベース２４は、光学部材１０に含まれる各レンズの駆動位置や絞りの開口径などの光学情報、および、画像の像高に応じたおおよその色滲み量を離散的に保持している。
【００３２】
次に、本実施形態の撮像装置における色滲み抑圧処理の中身について説明する。
【００３３】
ＡＦＥ１２で同時化処理されたＲ、Ｇ、Ｂの各色の同時化処理された画像データは、勾配検出回路１３１〜１３３に入力される。この勾配検出回路１３１〜１３３では、画像データの勾配値を算出するため、画像データの一次微分値を算出する。本実施形態においては、ソーベル（Ｓｏｂｅｌ）フィルタを用いることで画像データの画素間の変化を算出し、着目画素における信号レベルの勾配値を求める。
【００３４】
抑圧係数算出回路１４は、勾配検出回路１３１〜１３３で算出されたＲの勾配値Ｓｒ、Ｇの勾配値Ｓｇ、および、Ｂの勾配値Ｓｂから、着目画素における各色の抑圧係数を決定する。図２は、勾配値と抑圧係数の関係を表す色滲み抑圧関数を示す図である。この図２に示すように、抑圧係数は０．０〜α（α≦１．０）の間で多段階に設定されており、抑圧係数が０．０であれば色滲みの抑圧処理が行われず、抑圧係数が増加するほど色滲みの抑圧の程度が大きくなる。勾配値には第１の閾値Ｔｈ１が設定されており、勾配値がこの閾値Ｔｈ１以下であれば、抑圧係数として０．０が設定される。勾配値が閾値Ｔｈ１を超えると、勾配値の増加に比例して抑圧係数が増加し、勾配値が第２の閾値Ｔｈ２に到達すると、それ以上勾配値が増加しても抑圧係数はαに維持される。この抑圧係数は、着目画素ごとにＲＧＢ別に求められ、勾配値Ｓｒから求めた抑圧係数がＫｒ、勾配値Ｓｇから求めた抑圧係数がＫｇ、勾配値Ｓｂから求めた抑圧係数がＫｂとして、抑圧処理回路１５に出力される。
【００３５】
この、抑圧係数Ｋは下記の式（１）〜（３）によって求めることができる。ただし、勾配値Ｓｒ、Ｓｇ、ＳｂをＳ、抑圧係数Ｋｒ、Ｋｇ、ＫｂをＫとする。
Ｓ＜Ｔｈ１の場合 Ｋ=０ ・・・（１）
【数１】
【００３６】
Ｔｈ２≦Ｓの場合 Ｋ=α ・・・（３）
詳細は後述するが、抑圧係数算出回路１４は、色滲み量推定回路２３の出力に応じて閾値Ｔｈ１、Ｔｈ２を変化させることで、色滲み抑圧の対象とする勾配値の範囲や、勾配値の変化に対する抑圧係数の変化の比率を変えることが可能である。また、抑圧係数αを変化させることで、色滲み抑圧の程度の上限を変化させることも可能である。
【００３７】
図３は、抑圧処理回路１５の内部構成を示す図である。
【００３８】
輝度変換部４１はＡＦＥ１２から出力されたＲＧＢのデジタル信号から輝度信号Ｙを生成する。Ｃｒ変換部４２、Ｃｂ変換部４３は、それぞれＲＧＢのデジタル信号から色差信号Ｃｒ、Ｃｂを生成する。ＲＧＢのデジタル信号から輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂを生成する方法は周知の技術であるため、詳細な説明は省略する。
【００３９】
Ｃｒ変換部４２は抑圧係数算出回路１４にて求められた抑圧係数ＫｒおよびＫｇから、下記の式（４）によって色差信号Ｃｒに対する抑圧係数Ｋｃｒを求める。
Ｋｃｒ＝１−（０．８×Ｋｒ＋０．２×Ｋｇ） ・・・（４）
Ｃｒ変換部４２はこの抑圧係数Ｋｃｒを色差信号Ｃｒに乗して得られた値を、色滲み抑圧処理後の色差信号Ｃｒ’として出力する。Ｒのデジタル信号の勾配値ＳｒとＧのデジタル信号の勾配値Ｓｇの値が十分に大きければ、図２に示す抑圧関数より、ＫｒもＫｇも１．０の値となるため、Ｋｃｒが０となり、色差信号Ｃｒ’の値は０となる。
【００４０】
反対に、勾配値Ｓｒと勾配値Ｓｇの値がいずれも十分に小さければ、図２に示す抑圧関数より、ＫｒもＫｇも０．０の値となるため、Ｋｃｒが１となり、色差信号Ｃｒ’として色差信号Ｃｒの値がそのまま出力される。また、勾配値Ｓｒが小さい場合には、勾配値Ｓｇの値に関わらず、色滲みが生じている可能性が低いため、Ｋｃｒが比較的１に近い値となり、色差信号Ｃｒの信号の値があまり低減されずに色差信号Ｃｒ’として出力される。このように、領域の勾配値によって、その領域が色滲みの抑圧対象となるか否かが判断されるだけでなく、色滲み抑圧処理の程度も判断される。
【００４１】
同様に、Ｃｂ変換部４３は抑圧係数算出回路１４にて求められた抑圧係数ＫｂおよびＫｇから、下記の式（５）によって色差信号Ｃｂに対する抑圧係数Ｋｃｂを求める。
Ｋｃｂ＝１−（０．８×Ｋｂ＋０．２×Ｋｇ） ・・・（５）
Ｃｂ変換部４３はこの抑圧係数Ｋｃｂを色差信号Ｃｂに乗して得られた値を、色滲み抑圧処理後の色差信号Ｃｂ’として出力する。
【００４２】
ここで、本実施形態の撮像装置の特徴である、図２の閾値Ｔｈ１、Ｔｈ２や、抑圧係数の上限値αの値を設定する構成について以下に説明する。像高算出回路２２は勾配検出回路１３１〜１３３と並列で動作するものであり、色滲み抑圧処理の対象画素の像高ｈｇｔを下記の式（６）によって算出する。
【数２】
【００４３】
ここで、ｘａは着目画素の水平方向の座標、ｙａは着目画素の垂直方向の座標、Ｈｃは光学部材１０の光軸の画像上での水平方向の座標、および、Ｖｃは光学部材１０の光軸の画像上での垂直方向の座標を示す。
【００４４】
像高算出回路２２は、算出した着目画素の像高ｈｇｔを色滲み量推定回路２３に出力する。また、制御回路１６がこの画像を生成したときの光学部材１０の各レンズの駆動位置、および、絞りの開口径を示す光学情報を色滲み量推定回路２３に出力する。
【００４５】
色滲み量推定回路２３は、データベース２４から、入力された像高ｈｇｔおよび光学情報に対応する色滲み量の推定値を、Ｒ、Ｇ、Ｂの色別に読み出して、抑圧係数算出回路１４へ出力する。データベース２４には、離散的な像高ｈｇｔおよび光学情報に応じた色滲み量の推定値として、予め実験により求めた値が格納されている。この色滲み量の推定値は、着目画素において、広い幅の色滲みが生じやすいのか、狭い幅の色滲みが生じやすいのかが判別できれば良いため、大まかな情報でよく、その情報の量も大幅に間引くことが可能である。そのため、特許文献１のように、データベースに記憶させた光学特性の補正情報をそのまま用いて色滲みを補正するような構成に比較して、データベース２４に記憶させる情報の量を大幅に低減させることができる。
【００４６】
抑圧係数算出回路１４は、色滲み量推定回路２３から受け取った色滲み量の推定値に応じて、図２における閾値Ｔｈ１、閾値Ｔｈ２、および、抑圧係数Ｋの上限であるαの少なくともいずれかの値を変更する。図４は、色滲み量推定回路２３から受け取った色滲み量の推定値に応じて、閾値Ｔｈ１および閾値Ｔｈ２を変更する一例を説明するための、勾配値Ｓに対する抑圧係数Ｋの特性を示す図である。
【００４７】
図４（ａ）は、色滲み量の推定値が小さい第１の値である場合の、勾配値Ｓに対する抑圧係数Ｋの特性を示す。着目画素の色滲み量の推定値が小さい場合には、その着目画素では色滲みが生じにくいと判断できるため、閾値Ｔｈ１を大きく設定することで、勾配値Ｓが十分に大きくならない限りは、色滲み抑圧処理が行われないようにする。ただし、勾配値Ｓが閾値Ｔｈ１を超えた場合には、色滲みが生じている可能性が高いと考えられるため、色滲み抑圧のレベルがすぐに高くなるよう、閾値Ｔｈ２が閾値Ｔｈ１に近い値に設定されている。つまり、色滲み量の推定値が小さい場合は、勾配値Ｓが閾値Ｔｈ１以上かつ閾値Ｔｈ２未満の範囲において、勾配値Ｓの変化に対する抑圧係数Ｋの変化の比率が大きく設定される。
【００４８】
反対に、図４（ｃ）は、色滲み量の推定値が大きい第２の値である場合の、勾配値Ｓに対する抑圧係数Ｋの特性を示す。着目画素の色滲み量の推定値が大きい場合には、その着目画素では色滲みが生じやすいと判断できるため、閾値Ｔｈ１を小さく設定することで、勾配値Ｓが小さくとも、色滲み抑圧処理が行われるようにする。ただし、閾値Ｔｈ１を小さくすることで、色滲みが生じていない画素に対して色滲み抑圧処理を行う可能性が高くなる。特に広い範囲にわたって誤って色滲み抑圧処理が行われてしまうと、不自然な色抜けが生じてしまうため、勾配値Ｓがあまり高くない場合には、色滲み抑圧のレベルが低くなるように、閾値Ｔｈ２が閾値Ｔｈ１から離れた値に設定されている。つまり、色滲み量の推定値が大きい場合は、勾配値Ｓが閾値Ｔｈ１以上かつ閾値Ｔｈ２未満の範囲において、勾配値Ｓの変化に対する抑圧係数Ｋの変化の比率が小さく設定される。
【００４９】
図４（ｂ）は、色滲み量の推定値が図４（ａ）と図４（ｃ）に対応する推定値の間の場合の、勾配値Ｓに対する抑圧係数Ｋの特性を示す。
【００５０】
このように、図４に示す例では、色滲み量の推定値が大きくなるほど、色滲みの抑圧処理の対象とする勾配値の範囲を広く設定するとともに、勾配値Ｓの変化に対する抑圧係数Ｋの変化の比率が小さくなるように設定している。
【００５１】
図５は、色滲み量推定回路２３から受け取った色滲み量の推定値に応じて、閾値Ｔｈ１、閾値Ｔｈ２、および、抑圧係数Ｋの上限であるαを変更する一例を説明するための、勾配値Ｓに対する抑圧係数Ｋの特性を示す図である。
【００５２】
図５（ａ）は色滲み量の推定値が小さい第１の値である場合の、図５（ｃ）は色滲み量の推定値が大きい第２の値である場合の、図５（ｂ）はその間の、勾配値Ｓに対する抑圧係数Ｋの特性を示す。図５に示す特性も、図４に示す特性と同様に、色滲み量の推定値が小さいほど、閾値Ｔｈ１の値が大きくなり、かつ、閾値Ｔｈ１と閾値Ｔｈ２の差が小さくなる。さらに、図５に示す例では、色滲み量の推定値が小さいほど、抑圧係数Ｋの上限値αを大きくし、色滲み量の推定値が大きくなるほど、抑圧係数Ｋの上限値αを小さく設定するようにしている。
【００５３】
図５でも、図４と同様、着目画素の色滲み量の推定値が大きい場合には、閾値Ｔｈ１を小さく設定している。そのため、勾配値Ｓが小さくとも色滲み抑圧処理が行われることになり、色滲みが生じていない画素に対して色滲み抑圧処理を行ってしまう可能性が高くなる。特に広い範囲にわたって誤って色滲み抑圧処理が行われてしまうと、不自然な色抜けが生じてしまうため、色滲み抑圧のレベルを低く抑えることで、誤って色滲み抑圧処理が行われても、色抜けが目立ちにくくなるようにしている。
【００５４】
以上説明したように、本実施形態によれば、色滲み量の推定値に応じて、色滲みの抑圧処理の対象とする勾配値の範囲を変化させている。さらに、色滲みの抑圧処理の対象とする勾配値の範囲を広くした場合には、色滲み抑圧のレベルを抑えることで、仮に誤補正が生じてしまった場合でもそれを目立たせることなく、効果的に色滲みを補正することが可能になる。
【００５５】
なお、像高算出回路２２の機能を抑圧係数算出回路１４に持たせて像高算出回路２２を省略し、色滲み量推定回路２３は、光学部材１０の光学情報のみに対応する色滲み量の推定値をデータベース２４から読み出すようにしてもよい。一般的に、像高が高い画素のほうが色滲みが生じやすいため、抑圧係数算出回路１４は、この色滲み量の推定値に対して像高に応じた係数を掛け、その結果得られた値から、抑圧係数Ｋを求めるようにしてもよい。
【００５６】
（第２の実施形態）
図６に本発明の第２の実施形態に係る画像処理装置の一例としての撮像装置のブロック図を示す。図１に示す撮像装置のブロック図と異なる点は、ＡＦＥ１２と勾配検出回路１３１〜１３３の間に帯域制限のためのバンドパスフィルタ（ＢＰＦ）２５１〜２５３が設けられていることである。また、色滲み量推定回路２３で求められた色滲み量の推定値は、抑圧係数算出回路１４だけでなく、このＢＰＦ２５１〜２５３にも入力されている。
【００５７】
ＢＰＦ２５１〜２５３は、それぞれＲ、Ｇ、Ｂの同時化処理された画像データの周波成分を制限するための回路であって、その通過帯域を色滲み量推定回路２３で求められた色滲み量の推定値によって変更することが可能である。
【００５８】
色滲み量の推定値が小さい場合には、色滲みが生じにくいため、勾配値Ｓが大きな値となる領域における色滲みは目立つが、勾配値Ｓが小さな値となる領域における色滲みは目立たない。反対に、色滲み量の推定値が大きい場合には、色滲みが生じやすいため、勾配値Ｓが小さな値となる領域であっても、その色滲みの幅が広いために色滲みが目立ってしまう。
【００５９】
そこで、本実施形態では、色滲み量の推定値が小さければ、勾配値Ｓの値が大きな値の領域のみを色滲み抑圧処理の対象とするため、勾配値Ｓの値が小さい場合に比較して、ＢＰＦ２５１〜２５３の通過帯域を高周波側に設定する。反対に、色滲み量の推定値が大きければ、勾配値Ｓの値が小さな値の領域も色滲み抑圧処理の対象とするため、勾配値Ｓの値が大きい場合よりも低い周波数帯域の信号が通過するように、ＢＰＦ２５１〜２５３の通過帯域を設定する。
【００６０】
以上説明したように、本実施形態によれば、色滲み量の推定値に応じて、勾配値を検出するための画像データの周波数帯域を変化させている。このようにすることで、第１の実施形態の効果に加え、色滲み量の推定値から、色滲みが生じる領域の幅に応じた抑圧処理を行うことが可能になる。
【００６１】
なお、上述した実施形態は、デジタルカメラやデジタルビデオカメラといった撮像装置を例にあげて説明を行ったが、これに限られるものではなく、撮像装置を独立したパーソナルコンピュータのような画像処理装置であってもよい。読み込んだ画像データに、その画像データを生成したときの撮像装置の各レンズの駆動位置や絞りの開口径といった光学情報が付与されていれば、予めこれらに応じた色滲み量の推定値をメモリに記憶させておくことで、同様の処理を行うことが可能である。
【００６２】
（他の実施形態）
上述の実施形態は、上述した撮像装置や画像再生装置に限らず、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。記憶媒体又は有線／無線通信により画像データを受け取り、この画像データに対して、色滲み抑圧処理を行う構成であっても構わない。
【００６３】
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【００６４】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。
【００６５】
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【００６６】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、コンピュータへのインストールを許可してもよい。
【００６７】
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【符号の説明】
【００６８】
１０ 光学部材
１１ 撮像素子
１４ 抑圧係数算出回路
１５ 抑圧処理回路
１６ 制御回路
２２ 像高算出回路
２３ 色滲み量推定回路
２４ データベース
１３１、１３２、１３３ 勾配検出回路
２５１、２５２、２５３ バンドパスフィルタ
【技術分野】
【０００１】
本発明は画像処理装置および画像処理方法に関し、特に色滲みを抑圧するための画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年のデジタルビデオカメラ、デジタルカメラは、高画素数のイメージセンサを採用することにより、高画質な映像を得られるようになってきている。
【０００３】
反面、画素の微細化や小型レンズなどの要因により、光の波長毎に結像位置が異なることに起因する色収差の影響である色滲みが画像に現れやすくなっている。また、固体撮像素子の各画素に対応して設けられた複数色の色フィルタがモザイク状に配置されているために、補間時に偽の色信号を生成してしまうことで、色滲みが現れてしまっていた。
【０００４】
従来、撮像された画像における色滲みを抑圧する技術として、様々な方法が提案されている。
【０００５】
例えば、特許文献１には、画像を撮影するときに用いたレンズを識別し、収差情報を読み出して補正パラメータを生成し、この補正パラメータに従って補正対象となる色信号の座標を移動させる技術が提案されている。
【０００６】
だが、色滲み特性は、光軸中心から着目画素までの像高位置、ズームレンズ位置、フォーカスレンズ位置、アイリスの開口径により複雑に変動する。そのため、特許文献１に記載されるようなレンズの収差情報を読み出す構成では、像高位置、ズームレンズ位置、アイリスの開口径、フォーカスレンズ位置、および、レンズの種類別に収差情報を記憶しておく必要がある。したがって、これらの収差情報を記憶しておくために必要なメモリの容量が大きくなってしまう。
【０００７】
そこで、予め記憶されたレンズの収差情報を読み出すのではなく、画像から色滲みが生じていると思われる領域を抽出し、その領域に対して色滲みを抑圧する技術が提案されている。例えば、特許文献２には、画像から２つの色成分の変化度の差分を検出し、この差分が大きな領域を色滲みが生じている領域と判別し、色滲みを抑圧する技術が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０００−０７６４２８号公報
【特許文献２】特開２００３−１０２０２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、予め記憶されたレンズの収差情報を読み出すのではなく、画像から色滲みが生じている領域を判別しようとすると、誤判定を完全になくすことは難しい。例えば、特許文献２に記載されるような２つの色成分の変化度の差分を検出する構成では、被写体そのものがそのような条件を満たす模様を有するものであると、色滲みが生じてなくとも、色滲み領域であると判別されてしまうことがある。そのため、色滲みが生じていない領域であるにも関わらず、その領域の色の濃度が低下させられたり、周辺の画素で置き換えられたりすることになる。
【００１０】
これは、特許文献２に記載されるような構成に限らず、画像の輝度成分や色成分から色滲みの生じている領域やその程度を判別しようとする構成であれば、被写体によってその判別結果に影響が生じてしまうという課題は生じてしまう。
【００１１】
このような事態を回避するために、色滲み領域であると判別するための条件を厳しく設定することが考えられる。ところが、単純に色滲み領域であると判別するための条件を厳しく設定するだけでは、色滲みが生じている領域であるにも関わらず、そうとは判別されない領域が増えてしまい、画質の向上に十分には寄与しないことになってしまう。特に、色滲みが生じやすい像高の高い領域では、色滲みが生じにくい像高の低い領域に比較して、色滲み領域の残存が増えてしまう。あるいは、色滲みが生じやすい光学条件下で得た画像データでは、色滲みが生じにくい光学条件下で得た画像データに比較して、色滲み領域の残存が増えてしまう。
【００１２】
また、上述したように、色滲み特性は、光軸中心から着目画素までの像高位置、ズームレンズ位置、アイリスの開口径、フォーカスレンズ位置などにより複雑に変動する。そのため、色滲みが生じている領域の幅も、これらの要因によって変化する。
【００１３】
色滲み領域でないにも関わらず色の濃度が抑圧されてしまった領域は、色滲みが残存してしまった領域よりも、その不自然さにより目立ってしまうことが多い。特に、色滲み領域でないにも関わらず色の濃度が抑圧されてしまった領域は、色滲みと判定された領域の幅が広いほど、その不自然な領域が明瞭な状態で残り、目立ってしまうことが多い。
【００１４】
本発明はこのような従来技術の課題に鑑みなされたものであり、着目した領域における色滲みの生じやすさを考慮することで、好適な色滲み抑圧処理を可能とする画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記目的は、画像データから勾配値を求める勾配検出手段と、前記画像データを生成する際に用いた光学部材の光学情報から、色滲み量の推定値を求める推定手段と、前記勾配値および前記推定値に基づいて抑圧係数を算出する抑圧係数算出手段と、前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、前記抑圧係数算出手段は、前記勾配値が閾値を超えた場合に、前記対象となる領域の色滲みが抑圧されるように前記抑圧係数を算出するものであって、前記推定値が第１の値である場合の前記閾値よりも、前記推定値が前記第１の値よりも大きな第２の値である場合の前記閾値を小さな値に設定することを特徴とする画像処理装置によって達成される。
【発明の効果】
【００１６】
本発明によれば、着目した領域における色滲みの生じやすさを考慮することで、好適な色滲み抑圧処理を行うことが可能になる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態に係る画像処理装置の一例としての撮像装置のブロック図である。
【図２】勾配値と抑圧係数の関係を表す色滲み抑圧関数を示す図である。
【図３】抑圧処理回路の内部構成を示す図である。
【図４】色滲み量推定回路から受け取った色滲み量の推定値に応じて、閾値Ｔｈ１および閾値Ｔｈ２を変更する一例を説明するための、勾配値Ｓに対する抑圧係数Ｋの特性を示す図である。
【図５】色滲み量推定回路から受け取った色滲み量の推定値に応じて、閾値Ｔｈ１、閾値Ｔｈ２、および、抑圧係数Ｋの上限であるαを変更する一例を説明するための、勾配値Ｓに対する抑圧係数Ｋの特性を示す図である。
【図６】本発明の第２の実施形態に係る画像処理装置の一例としての撮像装置のブロック図を示す。
【発明を実施するための形態】
【００１８】
以下、添付図面を参照して、本発明の好適な実施形態を詳細に説明する。
【００１９】
（第１の実施形態）
図１に本発明の第１の実施形態に係る画像処理装置の一例としての撮像装置のブロック図を示す。この撮像装置の例としては、デジタルカメラやデジタルビデオカメラがあげられる。
【００２０】
図１において、光学部材１０はズームレンズやフォーカスレンズからなるレンズユニット、絞り機構、これらの駆動部材、および、各レンズの駆動位置や絞りの開口径をそれぞれ検出するセンサーを備えている。撮像素子１１はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの光電変換素子である。撮像素子１１は光学部材１０のレンズを透過して入射した被写体像を電気信換する。本実施形態では、撮像素子１１は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のそれぞれの色に対応した信号に変号を出力する３板のベイヤー配列のＣＭＯＳセンサで構成されている。
【００２１】
ＡＦＥ１２はアナログフロントエンド回路であり、撮像素子１１から出力されたＲＧＢのアナログ信号を、ＲＧＢのデジタル信号へと変換する。さらに、Ｒ、Ｇ、Ｂの各色ごとのデジタル信号へ分離し、全ての画素が各色の信号を有するよう同時化処理を行う。以後、このＡＦＥ１２にて出力されたデジタル信号を画像データという。
【００２２】
勾配検出回路１３１は、色滲み抑圧処理の対象とする着目画素ごとに、ＡＦＥ１２から出力されたＲのデジタル信号の出力値の傾斜を示す勾配値Ｓｒを求める。勾配検出回路１３２は、着目画素ごとに、ＡＦＥ１２から出力されたＧのデジタル信号の出力値の傾斜を示す勾配値Ｓｇを求める。勾配検出回路１３３は、着目画素ごとに、ＡＦＥ１２から出力されたＢのデジタル信号の出力値の傾斜を示す勾配値Ｓｂを求める。
【００２３】
抑圧係数算出回路１４は、勾配検出回路１３１〜１３３から出力される各色の勾配値（Ｓｒ、Ｓｇ、Ｓｂ）と、色滲み量推定回路２３から出力される色滲み量の推定値から、着目画素ごとに、画像データのＲＧＢの各色の抑圧係数（Ｋｒ、Ｋｇ、Ｋｂ）を求める。そして、この抑圧係数（Ｋｒ、Ｋｇ、Ｋｂ）を抑圧処理回路１５に出力する。
【００２４】
抑圧処理回路１５は、ＡＦＥ１２から出力された画像データより、輝度信号Ｙと色差信号Ｃｒ、Ｃｂを算出する。そして、抑圧係数算出回路１４から出力されるＲＧＢの抑圧係数（Ｋｒ、Ｋｇ、Ｋｂ）から、着目画素ごとに、色差信号Ｃｒ、Ｃｂのそれぞれに対する抑圧係数を算出し、色差信号Ｃｒ、Ｃｂに対して色滲み抑圧処理を実施する。そして、色滲み抑圧処理が施された色差信号Ｃｒ’、Ｃｂ’と輝度信号Ｙを色滲み抑圧後の画像データとして出力する。
【００２５】
制御回路１６は撮像装置全体の動作を制御するためのマイコンである。この制御回路１６は、光学部材１０より各レンズの駆動位置や絞りの開口径の検出結果を受け取り、色滲み量推定回路２３に送信する。
【００２６】
メモリ１７は抑圧処理回路１５から出力されたＹ、Ｃｒ’、Ｃｂ’で構成された画像データを一時的に記憶したり、記憶媒体２１から読み出されて符号化／復号化回路２０にて復号化された画像データを一時的に記憶するための一時メモリである。
【００２７】
画像変換回路１８はメモリ１７に記憶された画像データを読み出して、表示装置１９に適合した形態となるように画像データを変換する。表示装置は例えば液晶ディスプレイで構成され、画像変換回路１８で変換された画像データを用いて、画像を表示する。
【００２８】
符号化／復号化回路２０は、メモリ１７に記憶された画像データを符号化して記憶媒体２１に書き込んだり、記憶媒体２１に読み出した画像データを復号化してメモリ１７に書き込んだりする。記憶媒体２１はこの撮像装置で生成された画像データを記憶するだけでなく、外部装置にて書き込まれた画像データや、その画像データが撮影されたときの撮像素子の駆動情報を符号化された状態で記憶することができる。
【００２９】
像高算出回路２２は、ＡＦＥ１２から出力された画像データの各画素における像高を算出する。
【００３０】
色滲み量推定回路２３は、像高算出回路２２で算出された像高、および、制御回路１６から通知される各レンズの位置や絞りの開口径の光学情報をもとに、色滲み量の推定値をデータベース２４から読み出す。
【００３１】
データベース２４は、光学部材１０に含まれる各レンズの駆動位置や絞りの開口径などの光学情報、および、画像の像高に応じたおおよその色滲み量を離散的に保持している。
【００３２】
次に、本実施形態の撮像装置における色滲み抑圧処理の中身について説明する。
【００３３】
ＡＦＥ１２で同時化処理されたＲ、Ｇ、Ｂの各色の同時化処理された画像データは、勾配検出回路１３１〜１３３に入力される。この勾配検出回路１３１〜１３３では、画像データの勾配値を算出するため、画像データの一次微分値を算出する。本実施形態においては、ソーベル（Ｓｏｂｅｌ）フィルタを用いることで画像データの画素間の変化を算出し、着目画素における信号レベルの勾配値を求める。
【００３４】
抑圧係数算出回路１４は、勾配検出回路１３１〜１３３で算出されたＲの勾配値Ｓｒ、Ｇの勾配値Ｓｇ、および、Ｂの勾配値Ｓｂから、着目画素における各色の抑圧係数を決定する。図２は、勾配値と抑圧係数の関係を表す色滲み抑圧関数を示す図である。この図２に示すように、抑圧係数は０．０〜α（α≦１．０）の間で多段階に設定されており、抑圧係数が０．０であれば色滲みの抑圧処理が行われず、抑圧係数が増加するほど色滲みの抑圧の程度が大きくなる。勾配値には第１の閾値Ｔｈ１が設定されており、勾配値がこの閾値Ｔｈ１以下であれば、抑圧係数として０．０が設定される。勾配値が閾値Ｔｈ１を超えると、勾配値の増加に比例して抑圧係数が増加し、勾配値が第２の閾値Ｔｈ２に到達すると、それ以上勾配値が増加しても抑圧係数はαに維持される。この抑圧係数は、着目画素ごとにＲＧＢ別に求められ、勾配値Ｓｒから求めた抑圧係数がＫｒ、勾配値Ｓｇから求めた抑圧係数がＫｇ、勾配値Ｓｂから求めた抑圧係数がＫｂとして、抑圧処理回路１５に出力される。
【００３５】
この、抑圧係数Ｋは下記の式（１）〜（３）によって求めることができる。ただし、勾配値Ｓｒ、Ｓｇ、ＳｂをＳ、抑圧係数Ｋｒ、Ｋｇ、ＫｂをＫとする。
Ｓ＜Ｔｈ１の場合 Ｋ=０ ・・・（１）
【数１】
【００３６】
Ｔｈ２≦Ｓの場合 Ｋ=α ・・・（３）
詳細は後述するが、抑圧係数算出回路１４は、色滲み量推定回路２３の出力に応じて閾値Ｔｈ１、Ｔｈ２を変化させることで、色滲み抑圧の対象とする勾配値の範囲や、勾配値の変化に対する抑圧係数の変化の比率を変えることが可能である。また、抑圧係数αを変化させることで、色滲み抑圧の程度の上限を変化させることも可能である。
【００３７】
図３は、抑圧処理回路１５の内部構成を示す図である。
【００３８】
輝度変換部４１はＡＦＥ１２から出力されたＲＧＢのデジタル信号から輝度信号Ｙを生成する。Ｃｒ変換部４２、Ｃｂ変換部４３は、それぞれＲＧＢのデジタル信号から色差信号Ｃｒ、Ｃｂを生成する。ＲＧＢのデジタル信号から輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂを生成する方法は周知の技術であるため、詳細な説明は省略する。
【００３９】
Ｃｒ変換部４２は抑圧係数算出回路１４にて求められた抑圧係数ＫｒおよびＫｇから、下記の式（４）によって色差信号Ｃｒに対する抑圧係数Ｋｃｒを求める。
Ｋｃｒ＝１−（０．８×Ｋｒ＋０．２×Ｋｇ） ・・・（４）
Ｃｒ変換部４２はこの抑圧係数Ｋｃｒを色差信号Ｃｒに乗して得られた値を、色滲み抑圧処理後の色差信号Ｃｒ’として出力する。Ｒのデジタル信号の勾配値ＳｒとＧのデジタル信号の勾配値Ｓｇの値が十分に大きければ、図２に示す抑圧関数より、ＫｒもＫｇも１．０の値となるため、Ｋｃｒが０となり、色差信号Ｃｒ’の値は０となる。
【００４０】
反対に、勾配値Ｓｒと勾配値Ｓｇの値がいずれも十分に小さければ、図２に示す抑圧関数より、ＫｒもＫｇも０．０の値となるため、Ｋｃｒが１となり、色差信号Ｃｒ’として色差信号Ｃｒの値がそのまま出力される。また、勾配値Ｓｒが小さい場合には、勾配値Ｓｇの値に関わらず、色滲みが生じている可能性が低いため、Ｋｃｒが比較的１に近い値となり、色差信号Ｃｒの信号の値があまり低減されずに色差信号Ｃｒ’として出力される。このように、領域の勾配値によって、その領域が色滲みの抑圧対象となるか否かが判断されるだけでなく、色滲み抑圧処理の程度も判断される。
【００４１】
同様に、Ｃｂ変換部４３は抑圧係数算出回路１４にて求められた抑圧係数ＫｂおよびＫｇから、下記の式（５）によって色差信号Ｃｂに対する抑圧係数Ｋｃｂを求める。
Ｋｃｂ＝１−（０．８×Ｋｂ＋０．２×Ｋｇ） ・・・（５）
Ｃｂ変換部４３はこの抑圧係数Ｋｃｂを色差信号Ｃｂに乗して得られた値を、色滲み抑圧処理後の色差信号Ｃｂ’として出力する。
【００４２】
ここで、本実施形態の撮像装置の特徴である、図２の閾値Ｔｈ１、Ｔｈ２や、抑圧係数の上限値αの値を設定する構成について以下に説明する。像高算出回路２２は勾配検出回路１３１〜１３３と並列で動作するものであり、色滲み抑圧処理の対象画素の像高ｈｇｔを下記の式（６）によって算出する。
【数２】
【００４３】
ここで、ｘａは着目画素の水平方向の座標、ｙａは着目画素の垂直方向の座標、Ｈｃは光学部材１０の光軸の画像上での水平方向の座標、および、Ｖｃは光学部材１０の光軸の画像上での垂直方向の座標を示す。
【００４４】
像高算出回路２２は、算出した着目画素の像高ｈｇｔを色滲み量推定回路２３に出力する。また、制御回路１６がこの画像を生成したときの光学部材１０の各レンズの駆動位置、および、絞りの開口径を示す光学情報を色滲み量推定回路２３に出力する。
【００４５】
色滲み量推定回路２３は、データベース２４から、入力された像高ｈｇｔおよび光学情報に対応する色滲み量の推定値を、Ｒ、Ｇ、Ｂの色別に読み出して、抑圧係数算出回路１４へ出力する。データベース２４には、離散的な像高ｈｇｔおよび光学情報に応じた色滲み量の推定値として、予め実験により求めた値が格納されている。この色滲み量の推定値は、着目画素において、広い幅の色滲みが生じやすいのか、狭い幅の色滲みが生じやすいのかが判別できれば良いため、大まかな情報でよく、その情報の量も大幅に間引くことが可能である。そのため、特許文献１のように、データベースに記憶させた光学特性の補正情報をそのまま用いて色滲みを補正するような構成に比較して、データベース２４に記憶させる情報の量を大幅に低減させることができる。
【００４６】
抑圧係数算出回路１４は、色滲み量推定回路２３から受け取った色滲み量の推定値に応じて、図２における閾値Ｔｈ１、閾値Ｔｈ２、および、抑圧係数Ｋの上限であるαの少なくともいずれかの値を変更する。図４は、色滲み量推定回路２３から受け取った色滲み量の推定値に応じて、閾値Ｔｈ１および閾値Ｔｈ２を変更する一例を説明するための、勾配値Ｓに対する抑圧係数Ｋの特性を示す図である。
【００４７】
図４（ａ）は、色滲み量の推定値が小さい第１の値である場合の、勾配値Ｓに対する抑圧係数Ｋの特性を示す。着目画素の色滲み量の推定値が小さい場合には、その着目画素では色滲みが生じにくいと判断できるため、閾値Ｔｈ１を大きく設定することで、勾配値Ｓが十分に大きくならない限りは、色滲み抑圧処理が行われないようにする。ただし、勾配値Ｓが閾値Ｔｈ１を超えた場合には、色滲みが生じている可能性が高いと考えられるため、色滲み抑圧のレベルがすぐに高くなるよう、閾値Ｔｈ２が閾値Ｔｈ１に近い値に設定されている。つまり、色滲み量の推定値が小さい場合は、勾配値Ｓが閾値Ｔｈ１以上かつ閾値Ｔｈ２未満の範囲において、勾配値Ｓの変化に対する抑圧係数Ｋの変化の比率が大きく設定される。
【００４８】
反対に、図４（ｃ）は、色滲み量の推定値が大きい第２の値である場合の、勾配値Ｓに対する抑圧係数Ｋの特性を示す。着目画素の色滲み量の推定値が大きい場合には、その着目画素では色滲みが生じやすいと判断できるため、閾値Ｔｈ１を小さく設定することで、勾配値Ｓが小さくとも、色滲み抑圧処理が行われるようにする。ただし、閾値Ｔｈ１を小さくすることで、色滲みが生じていない画素に対して色滲み抑圧処理を行う可能性が高くなる。特に広い範囲にわたって誤って色滲み抑圧処理が行われてしまうと、不自然な色抜けが生じてしまうため、勾配値Ｓがあまり高くない場合には、色滲み抑圧のレベルが低くなるように、閾値Ｔｈ２が閾値Ｔｈ１から離れた値に設定されている。つまり、色滲み量の推定値が大きい場合は、勾配値Ｓが閾値Ｔｈ１以上かつ閾値Ｔｈ２未満の範囲において、勾配値Ｓの変化に対する抑圧係数Ｋの変化の比率が小さく設定される。
【００４９】
図４（ｂ）は、色滲み量の推定値が図４（ａ）と図４（ｃ）に対応する推定値の間の場合の、勾配値Ｓに対する抑圧係数Ｋの特性を示す。
【００５０】
このように、図４に示す例では、色滲み量の推定値が大きくなるほど、色滲みの抑圧処理の対象とする勾配値の範囲を広く設定するとともに、勾配値Ｓの変化に対する抑圧係数Ｋの変化の比率が小さくなるように設定している。
【００５１】
図５は、色滲み量推定回路２３から受け取った色滲み量の推定値に応じて、閾値Ｔｈ１、閾値Ｔｈ２、および、抑圧係数Ｋの上限であるαを変更する一例を説明するための、勾配値Ｓに対する抑圧係数Ｋの特性を示す図である。
【００５２】
図５（ａ）は色滲み量の推定値が小さい第１の値である場合の、図５（ｃ）は色滲み量の推定値が大きい第２の値である場合の、図５（ｂ）はその間の、勾配値Ｓに対する抑圧係数Ｋの特性を示す。図５に示す特性も、図４に示す特性と同様に、色滲み量の推定値が小さいほど、閾値Ｔｈ１の値が大きくなり、かつ、閾値Ｔｈ１と閾値Ｔｈ２の差が小さくなる。さらに、図５に示す例では、色滲み量の推定値が小さいほど、抑圧係数Ｋの上限値αを大きくし、色滲み量の推定値が大きくなるほど、抑圧係数Ｋの上限値αを小さく設定するようにしている。
【００５３】
図５でも、図４と同様、着目画素の色滲み量の推定値が大きい場合には、閾値Ｔｈ１を小さく設定している。そのため、勾配値Ｓが小さくとも色滲み抑圧処理が行われることになり、色滲みが生じていない画素に対して色滲み抑圧処理を行ってしまう可能性が高くなる。特に広い範囲にわたって誤って色滲み抑圧処理が行われてしまうと、不自然な色抜けが生じてしまうため、色滲み抑圧のレベルを低く抑えることで、誤って色滲み抑圧処理が行われても、色抜けが目立ちにくくなるようにしている。
【００５４】
以上説明したように、本実施形態によれば、色滲み量の推定値に応じて、色滲みの抑圧処理の対象とする勾配値の範囲を変化させている。さらに、色滲みの抑圧処理の対象とする勾配値の範囲を広くした場合には、色滲み抑圧のレベルを抑えることで、仮に誤補正が生じてしまった場合でもそれを目立たせることなく、効果的に色滲みを補正することが可能になる。
【００５５】
なお、像高算出回路２２の機能を抑圧係数算出回路１４に持たせて像高算出回路２２を省略し、色滲み量推定回路２３は、光学部材１０の光学情報のみに対応する色滲み量の推定値をデータベース２４から読み出すようにしてもよい。一般的に、像高が高い画素のほうが色滲みが生じやすいため、抑圧係数算出回路１４は、この色滲み量の推定値に対して像高に応じた係数を掛け、その結果得られた値から、抑圧係数Ｋを求めるようにしてもよい。
【００５６】
（第２の実施形態）
図６に本発明の第２の実施形態に係る画像処理装置の一例としての撮像装置のブロック図を示す。図１に示す撮像装置のブロック図と異なる点は、ＡＦＥ１２と勾配検出回路１３１〜１３３の間に帯域制限のためのバンドパスフィルタ（ＢＰＦ）２５１〜２５３が設けられていることである。また、色滲み量推定回路２３で求められた色滲み量の推定値は、抑圧係数算出回路１４だけでなく、このＢＰＦ２５１〜２５３にも入力されている。
【００５７】
ＢＰＦ２５１〜２５３は、それぞれＲ、Ｇ、Ｂの同時化処理された画像データの周波成分を制限するための回路であって、その通過帯域を色滲み量推定回路２３で求められた色滲み量の推定値によって変更することが可能である。
【００５８】
色滲み量の推定値が小さい場合には、色滲みが生じにくいため、勾配値Ｓが大きな値となる領域における色滲みは目立つが、勾配値Ｓが小さな値となる領域における色滲みは目立たない。反対に、色滲み量の推定値が大きい場合には、色滲みが生じやすいため、勾配値Ｓが小さな値となる領域であっても、その色滲みの幅が広いために色滲みが目立ってしまう。
【００５９】
そこで、本実施形態では、色滲み量の推定値が小さければ、勾配値Ｓの値が大きな値の領域のみを色滲み抑圧処理の対象とするため、勾配値Ｓの値が小さい場合に比較して、ＢＰＦ２５１〜２５３の通過帯域を高周波側に設定する。反対に、色滲み量の推定値が大きければ、勾配値Ｓの値が小さな値の領域も色滲み抑圧処理の対象とするため、勾配値Ｓの値が大きい場合よりも低い周波数帯域の信号が通過するように、ＢＰＦ２５１〜２５３の通過帯域を設定する。
【００６０】
以上説明したように、本実施形態によれば、色滲み量の推定値に応じて、勾配値を検出するための画像データの周波数帯域を変化させている。このようにすることで、第１の実施形態の効果に加え、色滲み量の推定値から、色滲みが生じる領域の幅に応じた抑圧処理を行うことが可能になる。
【００６１】
なお、上述した実施形態は、デジタルカメラやデジタルビデオカメラといった撮像装置を例にあげて説明を行ったが、これに限られるものではなく、撮像装置を独立したパーソナルコンピュータのような画像処理装置であってもよい。読み込んだ画像データに、その画像データを生成したときの撮像装置の各レンズの駆動位置や絞りの開口径といった光学情報が付与されていれば、予めこれらに応じた色滲み量の推定値をメモリに記憶させておくことで、同様の処理を行うことが可能である。
【００６２】
（他の実施形態）
上述の実施形態は、上述した撮像装置や画像再生装置に限らず、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。記憶媒体又は有線／無線通信により画像データを受け取り、この画像データに対して、色滲み抑圧処理を行う構成であっても構わない。
【００６３】
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【００６４】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。
【００６５】
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【００６６】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、コンピュータへのインストールを許可してもよい。
【００６７】
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【符号の説明】
【００６８】
１０ 光学部材
１１ 撮像素子
１４ 抑圧係数算出回路
１５ 抑圧処理回路
１６ 制御回路
２２ 像高算出回路
２３ 色滲み量推定回路
２４ データベース
１３１、１３２、１３３ 勾配検出回路
２５１、２５２、２５３ バンドパスフィルタ
【特許請求の範囲】
【請求項１】
画像データから勾配値を求める勾配検出手段と、
前記画像データを生成する際に用いた光学部材の光学情報から、色滲み量の推定値を求める推定手段と、
前記勾配値および前記推定値に基づいて抑圧係数を算出する抑圧係数算出手段と、
前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、
前記抑圧係数算出手段は、前記勾配値が閾値を超えた場合に、前記対象となる領域の色滲みが抑圧されるように前記抑圧係数を算出するものであって、前記推定値が第１の値である場合の前記閾値よりも、前記推定値が前記第１の値よりも大きな第２の値である場合の前記閾値を小さな値に設定することを特徴とする画像処理装置。
【請求項２】
前記抑圧係数算出手段は、前記推定値が第１の値である場合よりも、前記推定値が前記第２の値である場合のほうが、前記勾配値の変化に対する前記抑圧係数の変化の比率を大きく設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記勾配検出手段が勾配値を求めるために用いる画像データに対して帯域制限をかけるフィルタ手段を有し、
前記フィルタ手段は、前記推定値が第１の値である場合よりも、前記推定値が前記第２の値である場合のほうが、周波数の低い帯域を通過させるように通過帯域を設定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
画像データから勾配値を求める勾配検出工程と、
前記画像データを生成する際に用いた光学部材の光学情報から、色滲み量の推定値を求める推定工程と、
前記勾配値および前記推定値に基づいて抑圧係数を算出する抑圧係数算出工程と、
前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧工程を有し、
前記抑圧係数算出工程は、前記勾配値が閾値を超えた場合に、前記対象となる領域の色滲みが抑圧されるように前記抑圧係数を算出するものであって、前記推定値が第１の値である場合の前記閾値よりも、前記推定値が前記第１の値よりも大きな第２の値である場合の前記閾値を小さな値に設定することを特徴とする画像処理方法。
【請求項５】
請求項４に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項１】
画像データから勾配値を求める勾配検出手段と、
前記画像データを生成する際に用いた光学部材の光学情報から、色滲み量の推定値を求める推定手段と、
前記勾配値および前記推定値に基づいて抑圧係数を算出する抑圧係数算出手段と、
前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、
前記抑圧係数算出手段は、前記勾配値が閾値を超えた場合に、前記対象となる領域の色滲みが抑圧されるように前記抑圧係数を算出するものであって、前記推定値が第１の値である場合の前記閾値よりも、前記推定値が前記第１の値よりも大きな第２の値である場合の前記閾値を小さな値に設定することを特徴とする画像処理装置。
【請求項２】
前記抑圧係数算出手段は、前記推定値が第１の値である場合よりも、前記推定値が前記第２の値である場合のほうが、前記勾配値の変化に対する前記抑圧係数の変化の比率を大きく設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記勾配検出手段が勾配値を求めるために用いる画像データに対して帯域制限をかけるフィルタ手段を有し、
前記フィルタ手段は、前記推定値が第１の値である場合よりも、前記推定値が前記第２の値である場合のほうが、周波数の低い帯域を通過させるように通過帯域を設定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
画像データから勾配値を求める勾配検出工程と、
前記画像データを生成する際に用いた光学部材の光学情報から、色滲み量の推定値を求める推定工程と、
前記勾配値および前記推定値に基づいて抑圧係数を算出する抑圧係数算出工程と、
前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧工程を有し、
前記抑圧係数算出工程は、前記勾配値が閾値を超えた場合に、前記対象となる領域の色滲みが抑圧されるように前記抑圧係数を算出するものであって、前記推定値が第１の値である場合の前記閾値よりも、前記推定値が前記第１の値よりも大きな第２の値である場合の前記閾値を小さな値に設定することを特徴とする画像処理方法。
【請求項５】
請求項４に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−１６０２０４（Ｐ２０１１−１６０２０４Ａ）
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願番号】特願２０１０−２０３６２（Ｐ２０１０−２０３６２）
【出願日】平成２２年２月１日（２０１０．２．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願日】平成２２年２月１日（２０１０．２．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]