画像処理装置、画像処理方法およびプログラム
【課題】 画像データのエッジ部の勾配の値に基づいて色滲みの抑圧量を求めようとすると、同じ被写体であるにも関わらず、非加算読み出しの駆動方式のときと加算読み出しの駆動方式のときとで、色滲みの抑圧の程度に差が生じてしまっていた。
【解決手段】 画像データから求めた勾配値に基づいて抑圧係数を算出し、この抑圧係数に基づいて対象となる領域の色滲みを抑圧する画像処理を行う画像処理装置であって、勾配値が閾値を超えた場合に色滲みが抑圧されるように抑圧係数を算出する構成とし、この画像データを生成したときの撮像素子の駆動方式が非加算読み出しである場合の色滲みが抑圧されるために要する勾配値の範囲よりも、加算読み出しである場合の色滲みが抑圧されるために要する勾配値の範囲のほうが広くなるように、閾値を設定するものとする。
【解決手段】 画像データから求めた勾配値に基づいて抑圧係数を算出し、この抑圧係数に基づいて対象となる領域の色滲みを抑圧する画像処理を行う画像処理装置であって、勾配値が閾値を超えた場合に色滲みが抑圧されるように抑圧係数を算出する構成とし、この画像データを生成したときの撮像素子の駆動方式が非加算読み出しである場合の色滲みが抑圧されるために要する勾配値の範囲よりも、加算読み出しである場合の色滲みが抑圧されるために要する勾配値の範囲のほうが広くなるように、閾値を設定するものとする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像処理装置および画像処理方法に関し、特に光学的な要因による色収差を補正し、色滲みを抑圧するための画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【0002】
近年のデジタルビデオカメラおよびデジタルカメラでは、高い画素数のイメージセンサを採用することにより、高画質な映像を得られるようになってきている。
【0003】
反面、画素の微細化や小型レンズなどの要因により、光の波長毎に結像位置が異なることに起因する色収差の影響である色滲みが画像に現れやすくなっている。
【0004】
この撮像された画像における色滲みを抑圧する技術として、様々な方法が提案されている。
【0005】
例えば、特許文献1には、画像を撮影するときに用いたレンズを識別し、収差情報を読み出して補正パラメータを生成し、この補正パラメータに従って補正対象となる色信号の座標を移動させる技術が提案されている。
【0006】
だが、色滲み特性は、光軸中心から着目画素までの像高位置、ズームレンズ位置、アイリスの開口径、フォーカスレンズ位置により複雑に変動する。そのため、特許文献1に記載されるようなレンズの収差情報を読み出す構成では、像高位置、ズームレンズ位置、アイリスの開口径、フォーカスレンズ位置、および、レンズの種類別に収差情報を記憶しておく必要がある。したがって、これらの収差情報を記憶しておくために必要なメモリの容量が大きくなってしまう。さらには、木漏れ日などの撮影状況によっては、色滲みが大きく広がることもある。
【0007】
そこで、予め記憶されたレンズの収差情報を読み出すのではなく、画像から色滲みが生じていると思われる領域を抽出し、その領域に対して色滲みを抑圧する技術が提案されている。例えば、特許文献2には、画像データのエッジ部の勾配の値に基づいて、画像データの色滲みを抑圧する技術が開示されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2000−076428号公報
【特許文献2】特開2007−195122号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、画像データのエッジ部の勾配の値に基づいて、画像データの色滲みを抑圧する場合は、色滲み抑圧処理部へ入力される画像データの周波数特性が変化することによって、色滲みの抑圧不足や抑圧過多による画質劣化が生じてしまうことがある。
【0010】
例えば、加算読み出しや非加算読み出しを切り替えるなどの複数の駆動方式を備えた撮像素子では、駆動方式を切り替えることによって、画像データの周波数特性が変化する。
【0011】
撮像素子を非加算読み出しの駆動方式から加算読み出しの駆動方式に変化させると、画素の出力信号が加算平均されることにより、画像データの高周波成分が低下する。つまり、同じ被写体であっても、非加算読み出しの駆動方式のときに比べて、加算読み出しの駆動方式のときのほうが、画像データの勾配の値が低下してしまうことがある。
【0012】
そのため、画像データのエッジ部の勾配の値に基づいて色滲みの抑圧量を求めようとすると、同じ被写体であるにも関わらず、非加算読み出しの駆動方式のときと加算読み出しの駆動方式のときとで、色滲みの抑圧の程度に差が生じてしまっていた。
【0013】
そこで、本願発明は、上記課題を解決するため、撮像素子の駆動方式が変化しても、好適な色滲み抑圧を施すことが可能な画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【0014】
上記課題を解決するため、画像データから勾配値を求める勾配検出手段と、前記勾配値に基づいて抑圧係数を算出する抑圧係数算出手段と、前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、前記抑圧係数算出手段は、前記勾配値が閾値を超えた場合に、前記対象となる領域の色滲みが抑圧されるように前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が非加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲よりも、加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲のほうが広くなるように、前記閾値を設定することを特徴とする画像処理装置を提供する。
【0015】
また、上記課題を解決するため、画像データから勾配値を求める勾配検出手段と、前記勾配値に基づいて抑圧係数を算出する抑圧係数算出手段と、前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、前記抑圧係数算出手段は、前記勾配値が閾値を超えた場合に、前記対象となる領域の色滲みが抑圧されるように前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が第1の数の画素だけ加算する加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲よりも、前記第1の数よりも大きな第2の数の画素だけ加算する加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲のほうが広くなるように、前記閾値を設定することを特徴とする画像処理装置を提供する。
【0016】
また、上記課題を解決するため、画像データに対して帯域制限をかけるフィルタ手段と、前記フィルタ手段にて帯域制限をかけられた画像データから勾配値を求める勾配検出手段と、前記勾配値に基づいて抑圧係数を算出する抑圧係数算出手段と、前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、前記抑圧係数算出手段は、前記勾配値に応じて前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が非加算読み出しである場合の前記フィルタ手段にて制限された帯域よりも、加算読み出しである場合の前記フィルタ手段にて制限された帯域のほうが狭くなるように、前記フィルタ手段にて制限する帯域を設定することを特徴とする画像処理装置を提供する。
【0017】
また、上記課題を解決するため、画像データに対して帯域制限をかけるフィルタ手段と、前記フィルタ手段にて帯域制限をかけられた画像データから勾配値を求める勾配検出手段と、前記勾配値に基づいて抑圧係数を算出する抑圧係数算出手段と、前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、前記抑圧係数算出手段は、前記勾配値に応じて前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が第1の数の画素だけ加算する加算読み出しである場合の前記フィルタ手段にて制限された帯域よりも、前記第1の数よりも大きな第2の数の画素だけ加算する加算読み出しである場合の前記フィルタ手段にて制限された帯域のほうが狭くなるように、前記フィルタ手段にて制限する帯域を設定することを特徴とする画像処理装置を提供する。
【発明の効果】
【0018】
撮像素子の駆動方式が変化しても、好適な色滲み抑圧を施すことが可能な画像処理技術を提供することが可能になる。
【図面の簡単な説明】
【0019】
【図1】本発明の第1の実施形態に係る画像処理装置の一例としての撮像装置のブロック図である。
【図2】三板のCMOSセンサからなる撮像素子11の画素位置と、出力される信号の位相の関係を示す図である。
【図3】勾配値と抑圧係数の関係を表す色滲み抑圧関数を示す図である。
【図4】図1の抑圧処理部15の内部構成を示す図である。
【図5】非加算読み出しにおけるサンプリング周波数fs1およびナイキスト周波数fn1と、垂直2画素の加算読み出しにおけるサンプリング周波数fs2およびナイキスト周波数fn2を示す図である。
【図6】非加算読み出しと垂直2画素の加算読み出しのそれぞれの場合の、垂直方向における画像データの出力値と、画像データの垂直方向における出力値の勾配を表す図である。
【図7】非加算読み出しと垂直2画素の加算読み出しで閾値31が異なる値に設定されることを説明するための図である。
【図8】非加算読み出しと垂直2画素の加算読み出しで閾値31および変化量32が異なる値に設定されることを説明するための図である。
【図9】三板のCMOSセンサからなる撮像素子11の画素位置と、垂直2画素の加算読み出しにて出力される信号の位相と、垂直3画素の加算読み出しにて出力される信号の位相の関係を示す図である。
【図10】垂直2画素の加算読み出しにおけるサンプリング周波数fs2およびナイキスト周波数fn2と、垂直3画素の加算読み出しにおけるサンプリング周波数fs3およびナイキスト周波数fn3を示す図である。
【図11】垂直2画素の加算読み出しと垂直3画素の加算読み出しのそれぞれの場合の、垂直方向における画像データの出力値と、画像データの垂直方向における出力値の勾配を表す図である。
【図12】本発明の第3の実施形態に係る画像処理装置の一例としての撮像装置のブロック図である。
【図13】画像データに帯域制限をかけることによる、画像データの出力と周波数特性の変化を説明するための図である。
【図14】非加算読み出しした画像データと、垂直2画素の加算読み出しした画像データのそれぞれに対して帯域制限をかけた例を説明するための図である。
【図15】本発明の第4の実施形態に係る画像処理装置の一例としての画像再生装置のブロック図である。
【図16】図15の抑圧処理部24の内部構成を示す図である。
【図17】本発明の第5の実施形態に係る画像処理装置の一例としての撮像装置のブロック図である。
【発明を実施するための形態】
【0020】
以下、添付図面を参照して、本発明の好適な実施形態を詳細に説明する。
【0021】
(第1の実施形態)
図1に本発明の第1の実施形態に係る画像処理装置の一例としての撮像装置のブロック図を示す。この撮像装置はデジタルカメラでもデジタルビデオカメラでも構わない。
【0022】
図1において、撮像素子11はCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)などの光電変換素子であり、入射した被写体像を電気信号に変換する。本実施形態では、撮像素子11は、R(赤)、G(緑)、B(青)のそれぞれの色に対応した信号を出力する3板のCMOSセンサで構成されている。
【0023】
AFE12はアナログフロントエンド回路であり、撮像素子11から出力されたRGBのアナログ信号を、RGBのデジタル信号へと変換する。以後、このAFE12にて出力されたデジタル信号を画像データという。
【0024】
勾配検出部131は、AFE12から出力されたRのデジタル信号の出力値の傾斜を示す勾配値Srを求める。勾配検出部132は、AFE12から出力されたGのデジタル信号の出力値の傾斜を示す勾配値Sgを求める。勾配検出部133は、AFE12から出力されたBのデジタル信号の出力値の傾斜を示す勾配値Sbを求める。
【0025】
抑圧係数算出部14は、勾配検出部131〜133から出力される各色の勾配値(Sr、Sg、Sb)と、後述する制御部16から出力される設定情報から、画像データのRGBの各色の抑圧係数(Kr、Kg、Kb)を求める。そして、この抑圧係数(Kr、Kg、Kb)を抑圧処理部15に出力する。
【0026】
抑圧処理部15は、AFE12から出力された画像データより、輝度信号Yと色差信号Cr、Cbを算出する。そして、抑圧係数算出部14から出力されるRGBの抑圧係数(Kr、Kg、Kb)から、色差信号Cr、Cbのそれぞれに対する抑圧係数を算出し、色差信号Cr、Cbに対して色滲み抑圧処理を実施する。そして、色滲み抑圧処理が施された色差信号Cr’、Cb’と輝度信号Yを色滲み抑圧後の画像データとして出力する。
【0027】
制御部16は撮像素子11の駆動方式を切り替えるマイコンである。本実施形態では、制御部16は撮像素子11に対し、垂直2画素の加算読み出しの駆動方式と非加算読み出しの駆動方式の切り替えを指示する。また、制御部16は撮像素子11に指示した駆動方式に応じて、抑圧係数算出部14へ設定情報を出力する。
【0028】
メモリ17は抑圧処理部15から出力されたY、Cr’、Cb’で構成された画像データを一時的に記憶したり、記憶媒体21から読み出されて符号化/復号化部20にて復号化された画像データを一時的に記憶するための一時メモリである。
【0029】
画像変換部18はメモリ17に記憶された画像データを読み出して、表示装置19に適合した形態となるように画像データを変換する。表示装置は例えば液晶ディスプレイで構成され、画像変換部18で変換された画像データを用いて、画像を表示する。
【0030】
符号化/復号化部20は、メモリ17に記憶された画像データを符号化して記憶媒体21に書き込んだり、記憶媒体21に読み出した画像データを復号化してメモリ17に書き込んだりする。記憶媒体21はこの撮像装置で生成された画像データを記憶するだけでなく、外部装置にて書き込まれた画像データや、その画像データが撮影されたときの撮像素子の駆動情報を符号化された状態で記憶することができる。
【0031】
図2は、三板のCMOSセンサからなる撮像素子11の画素位置と、出力される信号の位相の関係を示す図である。非加算読み出しで駆動する場合は、3板のそれぞれのセンサの画素信号が、そのまま画像データとして出力される。垂直2画素の加算読み出しで駆動する場合は、3板のそれぞれのセンサの画素信号が、垂直方向において2画素を加算平均したものが画像データとして出力される。
【0032】
勾配検出部131〜133では、画像データの勾配値を算出するため、画像データの一次微分値を算出する。本実施形態においては、ソーベル(Sobel)フィルタを用いることで、画像データの画素間の変化を求める。
【0033】
抑圧係数算出部14は、勾配検出部131〜133で算出された勾配値から、各色の抑圧係数を決定する。図3は、勾配値と抑圧係数の関係を表す色滲み抑圧関数を示す図である。
【0034】
この図3に示すように、抑圧係数は0.0〜1.0の間で多段階に設定されており、抑圧係数が0.0であれば色滲みの抑圧処理が行われないことを示し、抑圧係数が増加するほど色滲みの抑圧の程度が大きくなる。勾配値には閾値31が設定されており、勾配値がこの閾値31以下であれば、抑圧係数として0.0が設定される。勾配値が閾値31を超えると、勾配値の増加に比例して抑圧係数が増加し、抑圧係数が1.0に到達すると、それ以上勾配値が増加しても抑圧係数は1.0に維持される。この抑圧係数はRGB毎に求められ、勾配値Srから求めた抑圧係数がKr、勾配値Sgから求めた抑圧係数がKg、勾配値Sbから求めた抑圧係数がKbとして、抑圧処理部15に出力される。
【0035】
抑圧係数算出部14は、閾値31を変化させることで、色滲み抑圧の対象とする勾配値の範囲を変化させることが可能である。同様に、抑圧係数算出部14は、変化量32を変化させることで、勾配値に対する色滲み抑圧の強さを変化させることが可能である。
【0036】
なお、制御部16が抑圧係数算出部14に対して出力する設定情報とは、この閾値31と変化量32のことを示す。すなわち、制御部16は、色滲み抑圧の対象とする勾配値の範囲や、勾配値に対する色滲み抑圧の強さを制御することができる。
【0037】
図4は、抑圧処理部15の内部構成を示す図である。
【0038】
輝度変換部41はAFE12から出力されたRGBのデジタル信号から輝度信号Yを生成する。Cr変換部42、Cb変換部43は、それぞれRGBのデジタル信号から色差信号Cr、Cbを生成する。RGBのデジタル信号から輝度信号Yおよび色差信号Cr、Cbを生成する方法は周知の技術であるため、詳細な説明は省略する。
【0039】
Cr変換部42は抑圧係数算出部14にて求められた抑圧係数KrおよびKgから、下記の式(1)によって色差信号Crに対する抑圧係数Kcrを求める。
Kcr=1−(0.8×Kr+0.2×Kg) ・・・(1)
Cr変換部42はこの抑圧係数Kcrを色差信号Crに乗して得られた値を、色滲み抑圧処理後の色差信号Cr’として出力する。Rのデジタル信号の勾配値SrとGのデジタル信号の勾配値Sgの値が十分に大きければ、図3に示す抑圧関数より、KrもKgも1.0の値となるため、Kcrが0となり、色差信号Cr’の値は0となる。
【0040】
反対に、勾配値Srと勾配値Sgの値がいずれも十分に小さければ、図3に示す抑圧関数より、KrもKgも0.0の値となるため、Kcrが1となり、色差信号Cr’として色差信号Crの値がそのまま出力される。また、勾配値Srが小さい場合には、勾配値Sgの値に関わらず、色滲みが生じている可能性が低いため、Kcrが比較的1に近い値となり、色差信号Crの信号の値があまり低減されずに色差信号Cr’として出力される。このように、領域の勾配値によって、その領域が色滲みの抑圧対象となるか否かが判断されるだけでなく、色滲み抑圧処理の程度も判断される。
【0041】
同様に、Cb変換部43は抑圧係数算出部14にて求められた抑圧係数KbおよびKgから、下記の式(2)によって色差信号Cbに対する抑圧係数Kcbを求める。
Kcb=1−(0.8×Kb+0.2×Kg) ・・・(2)
Cb変換部43はこの抑圧係数Kcbを色差信号Cbに乗して得られた値を、色滲み抑圧処理後の色差信号Cb’として出力する。
【0042】
図5は、撮像素子11の非加算読み出しにおけるサンプリング周波数fs1およびナイキスト周波数fn1と、垂直2画素の加算読み出しにおけるサンプリング周波数fs2およびナイキスト周波数fn2を示す図である。ここで、図5で示すように、撮像素子11の駆動方式が垂直2画素の加算読み出しである場合のサンプリング周波数fs2は、非加算読み出しである場合のサンプリング周波数fs1の半分となる。
【0043】
図6は、撮像素子11の駆動方式が非加算読み出しの場合と垂直2画素の加算読み出しの場合の、(a)が垂直方向における画像データの出力値、(b)が(a)の画像データの垂直方向における出力値の変化の傾斜の大きさ(勾配)を表す図である。被写体は同一の被写体である。
【0044】
図6から明らかなように、垂直2画素の加算読み出しのときは、非加算読み出しのときよりも、画像データの勾配が低下した中で色滲みが発生している。そこで、垂直2画素の加算読み出しのときは、非加算読み出しのときよりも、色滲みの抑圧処理を施す対象とする勾配値の範囲を広げる必要がある。
【0045】
そこで、図7に示すように、制御部16は撮像素子11に駆動方式として非加算読み出しを指示した場合には、抑圧係数算出部14に対し、設定情報である閾値31として、初期設定値である第1の値を指示する。そして、制御部16は撮像素子11に駆動方式として垂直2画素の加算読み出しを指示した場合には、抑圧係数算出部14に対して、設定情報である閾値31として、第1の値よりも小さな値となる第2の値を指示する。
【0046】
この結果、垂直2画素の加算読み出しのときは、色滲みの抑圧処理を実施する勾配値の範囲が広がり、より低い勾配値に対しても色滲みの抑圧処理が実施されることになる。言い換えれば、垂直2画素の加算読み出しのときは、非加算読み出しのときに比較して、色滲みの抑圧処理が実施される勾配値の範囲が広く設定されることになる。
【0047】
また、図8に示すように、制御部16は、垂直2画素の加算読み出しを指示した場合には、非加算読み出しを指示した場合に比べて、抑圧係数算出部14に対して、より大きな値の変化量32を指示するようにしてもよい。こうすることにより、垂直2画素の加算読み出しのときは、色滲みの抑圧処理の程度が強くなり、勾配値の低い色滲みに対しても積極的な抑圧処理が施されることになる。
【0048】
以上説明したように、本実施形態によれば、撮像素子11の駆動方式が加算読み出しか非加算読み出しかに応じて、色滲みの抑圧処理の対象とする勾配値の範囲を変化させている。このようにすることで、撮像素子11の駆動方式が加算読み出しと非加算読み出しとで切り替わった場合であっても、いずれに対しても好適な色滲みの抑圧処理を実施することが可能となる。
【0049】
(第2の実施形態)
本実施形態に係る画像処理装置としての撮像装置の構成は、第1の実施形態で説明した図1に示すものと同じである。
【0050】
本実施形態では、制御部16の指示によって、撮像素子11の駆動方式が、非加算読み出しと垂直2画素の加算読み出しだけでなく、垂直3画素の加算読み出しにも切り替えられる構成となる点で、第1の実施形態と異なる。
【0051】
図9は三板のCMOSセンサからなる撮像素子11の画素位置と、垂直2画素の加算読み出しにて出力される信号の位相と、垂直3画素の加算読み出しにて出力される信号の位相の関係を示す図である。垂直3画素の加算読み出しで駆動する場合は、3板のそれぞれのセンサの画素信号が、垂直方向において3画素を加算平均したものが画像データとして出力される。
【0052】
図10は、垂直2画素の加算読み出しにおけるサンプリング周波数fs2およびナイキスト周波数fn2と、垂直3画素の加算読み出しにおけるサンプリング周波数fs3およびナイキスト周波数fn3を示す図である。この図10からわかるように、加算する画素数が増えるほどサンプリング周波数は低下する。
【0053】
図11は、撮像素子11の駆動方式が垂直2画素の加算読み出しの場合と垂直3画素の加算読み出しの場合の、(a)が垂直方向における画像データの出力値、(b)が(a)の画像データの垂直方向における勾配を表している。被写体は同一の被写体である。
【0054】
図11に示すように、垂直3画素の加算読み出しのときは、垂直2画素の加算読み出しのときよりも、画像データの勾配が低下した中で色滲みが発生している。このように、加算する画素数が増えるほど、色滲みの抑圧処理を施す対象とする勾配値の範囲を広げる必要がある。
【0055】
そのため、本実施形態では、制御部16は撮像素子11の加算読み出しにおける加算する画素数が増えるほど、設定情報である閾値31の値を小さく設定する。すなわち、制御部16は、垂直3画素の加算読み出しの場合は垂直2画素の加算読み出しの場合に比べて、閾値31を小さな値に変更する。また、制御部16は、撮像素子11の加算読み出しにおける加算する画素数が増えるほど、変化量32をより大きな値に変更するように指示するようにしても構わない。
【0056】
以上説明したように、本実施形態によれば、撮像素子11の加算読み出しにおける加算する画素数に応じて、色滲みの抑圧処理の対象とする勾配値の範囲を変化させている。具体的には、撮像素子11の加算読み出しにおける加算する画素数が第1の数からそれよりも大きな第2の数に変化することによって、色滲みの抑圧処理の対象となる勾配値の範囲を広く変化させている。このようにすることで、撮像素子11の加算読み出しにおける加算する画素数が切り替わった場合であっても、いずれに対しても好適な色滲みの抑圧処理を実施することが可能となる。
【0057】
(第3の実施形態)
図12に本発明の第3の実施形態に係る画像処理装置の一例としての、デジタルカメラやデジタルビデオカメラ等の撮像装置のブロック図を示す。
【0058】
本実施形態では、AFE12と勾配検出部131、132、133の間に、帯域制限部221、222、223を設けた点が、第1の実施形態における図1に示すブロック図と異なる。
【0059】
帯域制限部221〜223は、画像データから検出される勾配の範囲を変化させる機能を有する。そして、制御部16は、帯域制限部221〜223に対して、フィルタ係数を変化させるための指示を出力する。
【0060】
図13は、画像データに帯域制限をかけることによる、画像データの出力と周波数特性の変化を説明するための図である。図13(a)はAFE12から出力された垂直方向における画像データの値であり、図13(b)はこの画像データの周波数特性を示す。図13(c)は帯域制限部221〜223の透過帯域を示す。図13(d)は図13(a)の画像データが帯域制限部221〜223を通過したことによって得られた画像データであり、図13(e)は図13(d)の画像データの周波数帯域を示す。
【0061】
帯域制限部221〜223は、制御部16の指示に応じてフィルタ係数を変化させることで、図13(c)に示す透過帯域を変化させることが可能である。
【0062】
本実施形態では、撮像素子11は垂直2画素の加算読み出し駆動と、非加算読み出し駆動の2つ駆動方式を切り替えるものとする。図5に示すように、垂直2画素の加算読み出しのときのサンプリング周波数fs2は、非加算読み出しのときのサンプリング周波数fs1の半分となる。
【0063】
よって、第1の実施形態の図6で説明したように、垂直2画素の加算読み出しのときは、非加算読み出しのときよりも、画像データの勾配が低下した中で色滲みが発生する。そこで、垂直2画素の加算読み出しのときは非加算読み出しのときよりも画像データから勾配値が検出されやすくなるように、勾配が生じている見た目上の範囲を広げ、かつ、色滲みの抑圧処理の対象となる勾配値の範囲を広げる必要がある。
【0064】
そこで、制御部16は、撮像素子11が垂直2画素の加算読み出しをしているならば、非加算読み出しをしている場合に比較して、帯域制限部221〜223に対して、透過帯域が狭くなるようにフィルタ係数を指示する。
【0065】
図14は、非加算読み出しした画像データと、垂直2画素の加算読み出しした画像データのそれぞれに対して帯域制限をかけた例を説明するための図である。図14(a)が非加算読み出しのときの画像データの出力を示し、図14(b)が図14(a)の画像データに対する帯域制限フィルタの特性を示し、図14(c)が図14(a)の画像データの帯域制限された結果を示す。図14(d)が垂直2画素の加算読み出しのときの画像データの出力を示し、図14(e)が図14(d)の画像データに対する帯域制限フィルタの特性を示し、図14(f)が図14(d)の画像データの帯域制限された結果を示す。
【0066】
図14(d)に示す垂直2画素の加算読み出しによる画像データは、非加算読み出しのときと比較して狭帯域に設定された図14(e)に示すフィルタを通過させることで、図14(f)に示すように勾配が生じている部分の幅を広げた画像データが得られる。図14(d)に示すように、フィルタを通過させる前の画像データでは、勾配が生じている範囲の端部ではその出力値の傾斜が小さいため、色滲みの抑圧対象となりにくかった。しかしながら、図14(f)に示すように、フィルタを通過させることで、それまで勾配の範囲の端部であった位置でも傾斜を確保することができるようになり、その領域が色滲みの抑圧対象となりやすくなる。
【0067】
そして、制御部16は、抑圧係数算出部14に対して、図7で示すように、閾値31を非加算読み出しのときよりも小さな値に設定する。その結果、画像データ上の勾配が生じているとして検出される画素の範囲が広がり、かつ、抑圧処理の対象となる勾配値の範囲が広がる。そのため、非加算読み出しのときよりも、低い勾配で生じた色滲みに対しても抑圧処理を実施することが可能となる。
【0068】
同様に、図8に示すように、制御部16は、垂直2画素の加算読み出しを指示した場合には、非加算読み出しを指示した場合に比べて、抑圧係数算出部14に対して、より大きな値の変化量32を指示するようにしても構わない。
【0069】
また、第2の実施形態のように、加算読み出しの際の加算する画素数が変化する場合においても、帯域制限部221〜223のフィルタ係数を変化させても構わない。加算する画素数が増えるほど、画像データの勾配が低下するのであるから、加算する画素数が増加するほど、帯域制限部221〜223のフィルタ特性を狭帯域とすればよい。
【0070】
(第4の実施形態)
図15に本発明の第4の実施形態に係る画像処理装置の一例としての、フォトストレージ等の画像再生装置のブロック図を示す。
【0071】
本実施形態では、撮像素子11、AFE12および抑圧処理部15の代わりに、RGB変換部23、よび、抑圧処理部24設けた点が、第1の実施形態における図1に示す撮像装置と異なる。また、記憶媒体21から符号化/復号化部20を介してメモリ17に記憶された駆動情報が、制御部16に送信される点でも異なる。
【0072】
記憶媒体21には、画像データを符号化したもの、および、この画像データの撮影時の撮像素子の読み出し方法を示す情報を符号化したものが記憶されている。記憶媒体21から読み出されたデータは、符号化/復号化部20によって、Y、Cr、Cbからなる画像データに復号化されるとともに、撮像素子の読み出し方法を示す駆動情報に複合化され、メモリ17に書き込まれる。
【0073】
制御部16は、メモリ17に書き込まれた駆動情報を取得し、その駆動情報が示す撮像素子の読み出し方法に応じて、第1の実施形態と同様に、抑圧係数算出部14に対して設定情報を出力する。
【0074】
メモリ17に書き込まれたY、Cr、Cbからなる画像データは、RGB変換部23と抑圧処理部24に出力される。RGB変換部23はY、Cr、Cbからなる画像データを、公知の方法によってR、G、Bからなる画像データに変換する。輝度信号Yおよび色差信号Cr、CbからRGBのデジタル信号を生成する方法は周知の技術であるため、詳細な説明は省略する。
【0075】
RGBの画像データを得ると、勾配検出部131〜133にて求めた各色の勾配値(Sr、Sg、Sb)と、制御部16から出力される設定情報から、画像データのRGBの各色の抑圧係数(Kr、Kg、Kb)を求める。
【0076】
図16は、抑圧処理部24の内部構成を示す図である。Cr抑圧部52およびCb抑圧部53は、抑圧係数算出部14から出力されるRGBの抑圧係数(Kr、Kg、Kb)から、メモリ17から出力された色差信号Cr、Cbに対する抑圧係数を算出し、色差信号Cr、Cbに対して色滲み抑圧処理を実施する。色差信号Cr、Cbに対する抑圧係数Kcr、Kcbの算出方法、および、色差信号Cr、Cbに対しる色滲み抑圧処理は、第1の実施形態で説明したものと同様である。そして、色滲み抑圧処理が施された色差信号Cr’、Cb’と輝度信号Yを、色滲み抑圧後の画像データとして出力する。
【0077】
このY、Cr’、Cb’の各信号はメモリ17に記憶され、符号化/復号化部20によって符号化されて記憶媒体21に書き込まれる。
【0078】
以上説明したように、本実施形態によれば、撮像装置だけでなく、画像データを再生する装置であっても、上記の各実施形態と同様の効果を得ることが可能となることがわかる。
【0079】
(第5の実施形態)
図17に本発明の第5の実施形態に係る画像処理装置の一例としての、デジタルカメラやデジタルビデオカメラ等の撮像装置のブロック図を示す。この図17に示す撮像装置は、第1の実施形態において示した図1の構成と、第4の実施形態において示した図15の構成を合成したものである。
【0080】
この図15に示す撮像装置は、Y、Cr、Cbからなる画像データとR、G、Bからなる画像データを相互に変換可能なRGB/YCrCb変換部25を備えている。このRGB/YCrCb変換部25を設けることで、撮像素子11にて生成された画像データに対しても、記憶媒体21から読み出した画像データに対しても、撮影時の撮像素子の駆動方式に応じて、好適な色滲みの抑圧処理を実施することが可能となる。
【0081】
(他の実施形態)
上述の実施形態は、上述した撮像装置や画像再生装置に限らず、システム或は装置のコンピュータ(或いはCPU、MPU等)によりソフトウェア的に実現することも可能である。記憶媒体又は有線/無線通信により画像データを受け取り、この画像データに対して、色滲み抑圧処理を行う構成であっても構わない。
【0082】
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【0083】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線/無線通信によりコンピュータに供給される。有線/無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル(プログラムファイル)をサーバに記憶しておく。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。
【0084】
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【0085】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、コンピュータへのインストールを許可してもよい。
【0086】
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するOSの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるCPUで実行するようにしてもよい。
【符号の説明】
【0087】
11 撮像素子
12 AFE
131、132、133 勾配検出部
14 抑圧係数算出部
15、24 抑圧処理部
16 制御部
17 メモリ
18 画像変換部
19 表示装置
20 符号化/復号化部
21 記憶媒体
221、222、223 帯域制限部
23 RGB変換部
25 RGB/YCrCb変換部
【技術分野】
【0001】
本発明は画像処理装置および画像処理方法に関し、特に光学的な要因による色収差を補正し、色滲みを抑圧するための画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【0002】
近年のデジタルビデオカメラおよびデジタルカメラでは、高い画素数のイメージセンサを採用することにより、高画質な映像を得られるようになってきている。
【0003】
反面、画素の微細化や小型レンズなどの要因により、光の波長毎に結像位置が異なることに起因する色収差の影響である色滲みが画像に現れやすくなっている。
【0004】
この撮像された画像における色滲みを抑圧する技術として、様々な方法が提案されている。
【0005】
例えば、特許文献1には、画像を撮影するときに用いたレンズを識別し、収差情報を読み出して補正パラメータを生成し、この補正パラメータに従って補正対象となる色信号の座標を移動させる技術が提案されている。
【0006】
だが、色滲み特性は、光軸中心から着目画素までの像高位置、ズームレンズ位置、アイリスの開口径、フォーカスレンズ位置により複雑に変動する。そのため、特許文献1に記載されるようなレンズの収差情報を読み出す構成では、像高位置、ズームレンズ位置、アイリスの開口径、フォーカスレンズ位置、および、レンズの種類別に収差情報を記憶しておく必要がある。したがって、これらの収差情報を記憶しておくために必要なメモリの容量が大きくなってしまう。さらには、木漏れ日などの撮影状況によっては、色滲みが大きく広がることもある。
【0007】
そこで、予め記憶されたレンズの収差情報を読み出すのではなく、画像から色滲みが生じていると思われる領域を抽出し、その領域に対して色滲みを抑圧する技術が提案されている。例えば、特許文献2には、画像データのエッジ部の勾配の値に基づいて、画像データの色滲みを抑圧する技術が開示されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2000−076428号公報
【特許文献2】特開2007−195122号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、画像データのエッジ部の勾配の値に基づいて、画像データの色滲みを抑圧する場合は、色滲み抑圧処理部へ入力される画像データの周波数特性が変化することによって、色滲みの抑圧不足や抑圧過多による画質劣化が生じてしまうことがある。
【0010】
例えば、加算読み出しや非加算読み出しを切り替えるなどの複数の駆動方式を備えた撮像素子では、駆動方式を切り替えることによって、画像データの周波数特性が変化する。
【0011】
撮像素子を非加算読み出しの駆動方式から加算読み出しの駆動方式に変化させると、画素の出力信号が加算平均されることにより、画像データの高周波成分が低下する。つまり、同じ被写体であっても、非加算読み出しの駆動方式のときに比べて、加算読み出しの駆動方式のときのほうが、画像データの勾配の値が低下してしまうことがある。
【0012】
そのため、画像データのエッジ部の勾配の値に基づいて色滲みの抑圧量を求めようとすると、同じ被写体であるにも関わらず、非加算読み出しの駆動方式のときと加算読み出しの駆動方式のときとで、色滲みの抑圧の程度に差が生じてしまっていた。
【0013】
そこで、本願発明は、上記課題を解決するため、撮像素子の駆動方式が変化しても、好適な色滲み抑圧を施すことが可能な画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【0014】
上記課題を解決するため、画像データから勾配値を求める勾配検出手段と、前記勾配値に基づいて抑圧係数を算出する抑圧係数算出手段と、前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、前記抑圧係数算出手段は、前記勾配値が閾値を超えた場合に、前記対象となる領域の色滲みが抑圧されるように前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が非加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲よりも、加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲のほうが広くなるように、前記閾値を設定することを特徴とする画像処理装置を提供する。
【0015】
また、上記課題を解決するため、画像データから勾配値を求める勾配検出手段と、前記勾配値に基づいて抑圧係数を算出する抑圧係数算出手段と、前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、前記抑圧係数算出手段は、前記勾配値が閾値を超えた場合に、前記対象となる領域の色滲みが抑圧されるように前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が第1の数の画素だけ加算する加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲よりも、前記第1の数よりも大きな第2の数の画素だけ加算する加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲のほうが広くなるように、前記閾値を設定することを特徴とする画像処理装置を提供する。
【0016】
また、上記課題を解決するため、画像データに対して帯域制限をかけるフィルタ手段と、前記フィルタ手段にて帯域制限をかけられた画像データから勾配値を求める勾配検出手段と、前記勾配値に基づいて抑圧係数を算出する抑圧係数算出手段と、前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、前記抑圧係数算出手段は、前記勾配値に応じて前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が非加算読み出しである場合の前記フィルタ手段にて制限された帯域よりも、加算読み出しである場合の前記フィルタ手段にて制限された帯域のほうが狭くなるように、前記フィルタ手段にて制限する帯域を設定することを特徴とする画像処理装置を提供する。
【0017】
また、上記課題を解決するため、画像データに対して帯域制限をかけるフィルタ手段と、前記フィルタ手段にて帯域制限をかけられた画像データから勾配値を求める勾配検出手段と、前記勾配値に基づいて抑圧係数を算出する抑圧係数算出手段と、前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、前記抑圧係数算出手段は、前記勾配値に応じて前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が第1の数の画素だけ加算する加算読み出しである場合の前記フィルタ手段にて制限された帯域よりも、前記第1の数よりも大きな第2の数の画素だけ加算する加算読み出しである場合の前記フィルタ手段にて制限された帯域のほうが狭くなるように、前記フィルタ手段にて制限する帯域を設定することを特徴とする画像処理装置を提供する。
【発明の効果】
【0018】
撮像素子の駆動方式が変化しても、好適な色滲み抑圧を施すことが可能な画像処理技術を提供することが可能になる。
【図面の簡単な説明】
【0019】
【図1】本発明の第1の実施形態に係る画像処理装置の一例としての撮像装置のブロック図である。
【図2】三板のCMOSセンサからなる撮像素子11の画素位置と、出力される信号の位相の関係を示す図である。
【図3】勾配値と抑圧係数の関係を表す色滲み抑圧関数を示す図である。
【図4】図1の抑圧処理部15の内部構成を示す図である。
【図5】非加算読み出しにおけるサンプリング周波数fs1およびナイキスト周波数fn1と、垂直2画素の加算読み出しにおけるサンプリング周波数fs2およびナイキスト周波数fn2を示す図である。
【図6】非加算読み出しと垂直2画素の加算読み出しのそれぞれの場合の、垂直方向における画像データの出力値と、画像データの垂直方向における出力値の勾配を表す図である。
【図7】非加算読み出しと垂直2画素の加算読み出しで閾値31が異なる値に設定されることを説明するための図である。
【図8】非加算読み出しと垂直2画素の加算読み出しで閾値31および変化量32が異なる値に設定されることを説明するための図である。
【図9】三板のCMOSセンサからなる撮像素子11の画素位置と、垂直2画素の加算読み出しにて出力される信号の位相と、垂直3画素の加算読み出しにて出力される信号の位相の関係を示す図である。
【図10】垂直2画素の加算読み出しにおけるサンプリング周波数fs2およびナイキスト周波数fn2と、垂直3画素の加算読み出しにおけるサンプリング周波数fs3およびナイキスト周波数fn3を示す図である。
【図11】垂直2画素の加算読み出しと垂直3画素の加算読み出しのそれぞれの場合の、垂直方向における画像データの出力値と、画像データの垂直方向における出力値の勾配を表す図である。
【図12】本発明の第3の実施形態に係る画像処理装置の一例としての撮像装置のブロック図である。
【図13】画像データに帯域制限をかけることによる、画像データの出力と周波数特性の変化を説明するための図である。
【図14】非加算読み出しした画像データと、垂直2画素の加算読み出しした画像データのそれぞれに対して帯域制限をかけた例を説明するための図である。
【図15】本発明の第4の実施形態に係る画像処理装置の一例としての画像再生装置のブロック図である。
【図16】図15の抑圧処理部24の内部構成を示す図である。
【図17】本発明の第5の実施形態に係る画像処理装置の一例としての撮像装置のブロック図である。
【発明を実施するための形態】
【0020】
以下、添付図面を参照して、本発明の好適な実施形態を詳細に説明する。
【0021】
(第1の実施形態)
図1に本発明の第1の実施形態に係る画像処理装置の一例としての撮像装置のブロック図を示す。この撮像装置はデジタルカメラでもデジタルビデオカメラでも構わない。
【0022】
図1において、撮像素子11はCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)などの光電変換素子であり、入射した被写体像を電気信号に変換する。本実施形態では、撮像素子11は、R(赤)、G(緑)、B(青)のそれぞれの色に対応した信号を出力する3板のCMOSセンサで構成されている。
【0023】
AFE12はアナログフロントエンド回路であり、撮像素子11から出力されたRGBのアナログ信号を、RGBのデジタル信号へと変換する。以後、このAFE12にて出力されたデジタル信号を画像データという。
【0024】
勾配検出部131は、AFE12から出力されたRのデジタル信号の出力値の傾斜を示す勾配値Srを求める。勾配検出部132は、AFE12から出力されたGのデジタル信号の出力値の傾斜を示す勾配値Sgを求める。勾配検出部133は、AFE12から出力されたBのデジタル信号の出力値の傾斜を示す勾配値Sbを求める。
【0025】
抑圧係数算出部14は、勾配検出部131〜133から出力される各色の勾配値(Sr、Sg、Sb)と、後述する制御部16から出力される設定情報から、画像データのRGBの各色の抑圧係数(Kr、Kg、Kb)を求める。そして、この抑圧係数(Kr、Kg、Kb)を抑圧処理部15に出力する。
【0026】
抑圧処理部15は、AFE12から出力された画像データより、輝度信号Yと色差信号Cr、Cbを算出する。そして、抑圧係数算出部14から出力されるRGBの抑圧係数(Kr、Kg、Kb)から、色差信号Cr、Cbのそれぞれに対する抑圧係数を算出し、色差信号Cr、Cbに対して色滲み抑圧処理を実施する。そして、色滲み抑圧処理が施された色差信号Cr’、Cb’と輝度信号Yを色滲み抑圧後の画像データとして出力する。
【0027】
制御部16は撮像素子11の駆動方式を切り替えるマイコンである。本実施形態では、制御部16は撮像素子11に対し、垂直2画素の加算読み出しの駆動方式と非加算読み出しの駆動方式の切り替えを指示する。また、制御部16は撮像素子11に指示した駆動方式に応じて、抑圧係数算出部14へ設定情報を出力する。
【0028】
メモリ17は抑圧処理部15から出力されたY、Cr’、Cb’で構成された画像データを一時的に記憶したり、記憶媒体21から読み出されて符号化/復号化部20にて復号化された画像データを一時的に記憶するための一時メモリである。
【0029】
画像変換部18はメモリ17に記憶された画像データを読み出して、表示装置19に適合した形態となるように画像データを変換する。表示装置は例えば液晶ディスプレイで構成され、画像変換部18で変換された画像データを用いて、画像を表示する。
【0030】
符号化/復号化部20は、メモリ17に記憶された画像データを符号化して記憶媒体21に書き込んだり、記憶媒体21に読み出した画像データを復号化してメモリ17に書き込んだりする。記憶媒体21はこの撮像装置で生成された画像データを記憶するだけでなく、外部装置にて書き込まれた画像データや、その画像データが撮影されたときの撮像素子の駆動情報を符号化された状態で記憶することができる。
【0031】
図2は、三板のCMOSセンサからなる撮像素子11の画素位置と、出力される信号の位相の関係を示す図である。非加算読み出しで駆動する場合は、3板のそれぞれのセンサの画素信号が、そのまま画像データとして出力される。垂直2画素の加算読み出しで駆動する場合は、3板のそれぞれのセンサの画素信号が、垂直方向において2画素を加算平均したものが画像データとして出力される。
【0032】
勾配検出部131〜133では、画像データの勾配値を算出するため、画像データの一次微分値を算出する。本実施形態においては、ソーベル(Sobel)フィルタを用いることで、画像データの画素間の変化を求める。
【0033】
抑圧係数算出部14は、勾配検出部131〜133で算出された勾配値から、各色の抑圧係数を決定する。図3は、勾配値と抑圧係数の関係を表す色滲み抑圧関数を示す図である。
【0034】
この図3に示すように、抑圧係数は0.0〜1.0の間で多段階に設定されており、抑圧係数が0.0であれば色滲みの抑圧処理が行われないことを示し、抑圧係数が増加するほど色滲みの抑圧の程度が大きくなる。勾配値には閾値31が設定されており、勾配値がこの閾値31以下であれば、抑圧係数として0.0が設定される。勾配値が閾値31を超えると、勾配値の増加に比例して抑圧係数が増加し、抑圧係数が1.0に到達すると、それ以上勾配値が増加しても抑圧係数は1.0に維持される。この抑圧係数はRGB毎に求められ、勾配値Srから求めた抑圧係数がKr、勾配値Sgから求めた抑圧係数がKg、勾配値Sbから求めた抑圧係数がKbとして、抑圧処理部15に出力される。
【0035】
抑圧係数算出部14は、閾値31を変化させることで、色滲み抑圧の対象とする勾配値の範囲を変化させることが可能である。同様に、抑圧係数算出部14は、変化量32を変化させることで、勾配値に対する色滲み抑圧の強さを変化させることが可能である。
【0036】
なお、制御部16が抑圧係数算出部14に対して出力する設定情報とは、この閾値31と変化量32のことを示す。すなわち、制御部16は、色滲み抑圧の対象とする勾配値の範囲や、勾配値に対する色滲み抑圧の強さを制御することができる。
【0037】
図4は、抑圧処理部15の内部構成を示す図である。
【0038】
輝度変換部41はAFE12から出力されたRGBのデジタル信号から輝度信号Yを生成する。Cr変換部42、Cb変換部43は、それぞれRGBのデジタル信号から色差信号Cr、Cbを生成する。RGBのデジタル信号から輝度信号Yおよび色差信号Cr、Cbを生成する方法は周知の技術であるため、詳細な説明は省略する。
【0039】
Cr変換部42は抑圧係数算出部14にて求められた抑圧係数KrおよびKgから、下記の式(1)によって色差信号Crに対する抑圧係数Kcrを求める。
Kcr=1−(0.8×Kr+0.2×Kg) ・・・(1)
Cr変換部42はこの抑圧係数Kcrを色差信号Crに乗して得られた値を、色滲み抑圧処理後の色差信号Cr’として出力する。Rのデジタル信号の勾配値SrとGのデジタル信号の勾配値Sgの値が十分に大きければ、図3に示す抑圧関数より、KrもKgも1.0の値となるため、Kcrが0となり、色差信号Cr’の値は0となる。
【0040】
反対に、勾配値Srと勾配値Sgの値がいずれも十分に小さければ、図3に示す抑圧関数より、KrもKgも0.0の値となるため、Kcrが1となり、色差信号Cr’として色差信号Crの値がそのまま出力される。また、勾配値Srが小さい場合には、勾配値Sgの値に関わらず、色滲みが生じている可能性が低いため、Kcrが比較的1に近い値となり、色差信号Crの信号の値があまり低減されずに色差信号Cr’として出力される。このように、領域の勾配値によって、その領域が色滲みの抑圧対象となるか否かが判断されるだけでなく、色滲み抑圧処理の程度も判断される。
【0041】
同様に、Cb変換部43は抑圧係数算出部14にて求められた抑圧係数KbおよびKgから、下記の式(2)によって色差信号Cbに対する抑圧係数Kcbを求める。
Kcb=1−(0.8×Kb+0.2×Kg) ・・・(2)
Cb変換部43はこの抑圧係数Kcbを色差信号Cbに乗して得られた値を、色滲み抑圧処理後の色差信号Cb’として出力する。
【0042】
図5は、撮像素子11の非加算読み出しにおけるサンプリング周波数fs1およびナイキスト周波数fn1と、垂直2画素の加算読み出しにおけるサンプリング周波数fs2およびナイキスト周波数fn2を示す図である。ここで、図5で示すように、撮像素子11の駆動方式が垂直2画素の加算読み出しである場合のサンプリング周波数fs2は、非加算読み出しである場合のサンプリング周波数fs1の半分となる。
【0043】
図6は、撮像素子11の駆動方式が非加算読み出しの場合と垂直2画素の加算読み出しの場合の、(a)が垂直方向における画像データの出力値、(b)が(a)の画像データの垂直方向における出力値の変化の傾斜の大きさ(勾配)を表す図である。被写体は同一の被写体である。
【0044】
図6から明らかなように、垂直2画素の加算読み出しのときは、非加算読み出しのときよりも、画像データの勾配が低下した中で色滲みが発生している。そこで、垂直2画素の加算読み出しのときは、非加算読み出しのときよりも、色滲みの抑圧処理を施す対象とする勾配値の範囲を広げる必要がある。
【0045】
そこで、図7に示すように、制御部16は撮像素子11に駆動方式として非加算読み出しを指示した場合には、抑圧係数算出部14に対し、設定情報である閾値31として、初期設定値である第1の値を指示する。そして、制御部16は撮像素子11に駆動方式として垂直2画素の加算読み出しを指示した場合には、抑圧係数算出部14に対して、設定情報である閾値31として、第1の値よりも小さな値となる第2の値を指示する。
【0046】
この結果、垂直2画素の加算読み出しのときは、色滲みの抑圧処理を実施する勾配値の範囲が広がり、より低い勾配値に対しても色滲みの抑圧処理が実施されることになる。言い換えれば、垂直2画素の加算読み出しのときは、非加算読み出しのときに比較して、色滲みの抑圧処理が実施される勾配値の範囲が広く設定されることになる。
【0047】
また、図8に示すように、制御部16は、垂直2画素の加算読み出しを指示した場合には、非加算読み出しを指示した場合に比べて、抑圧係数算出部14に対して、より大きな値の変化量32を指示するようにしてもよい。こうすることにより、垂直2画素の加算読み出しのときは、色滲みの抑圧処理の程度が強くなり、勾配値の低い色滲みに対しても積極的な抑圧処理が施されることになる。
【0048】
以上説明したように、本実施形態によれば、撮像素子11の駆動方式が加算読み出しか非加算読み出しかに応じて、色滲みの抑圧処理の対象とする勾配値の範囲を変化させている。このようにすることで、撮像素子11の駆動方式が加算読み出しと非加算読み出しとで切り替わった場合であっても、いずれに対しても好適な色滲みの抑圧処理を実施することが可能となる。
【0049】
(第2の実施形態)
本実施形態に係る画像処理装置としての撮像装置の構成は、第1の実施形態で説明した図1に示すものと同じである。
【0050】
本実施形態では、制御部16の指示によって、撮像素子11の駆動方式が、非加算読み出しと垂直2画素の加算読み出しだけでなく、垂直3画素の加算読み出しにも切り替えられる構成となる点で、第1の実施形態と異なる。
【0051】
図9は三板のCMOSセンサからなる撮像素子11の画素位置と、垂直2画素の加算読み出しにて出力される信号の位相と、垂直3画素の加算読み出しにて出力される信号の位相の関係を示す図である。垂直3画素の加算読み出しで駆動する場合は、3板のそれぞれのセンサの画素信号が、垂直方向において3画素を加算平均したものが画像データとして出力される。
【0052】
図10は、垂直2画素の加算読み出しにおけるサンプリング周波数fs2およびナイキスト周波数fn2と、垂直3画素の加算読み出しにおけるサンプリング周波数fs3およびナイキスト周波数fn3を示す図である。この図10からわかるように、加算する画素数が増えるほどサンプリング周波数は低下する。
【0053】
図11は、撮像素子11の駆動方式が垂直2画素の加算読み出しの場合と垂直3画素の加算読み出しの場合の、(a)が垂直方向における画像データの出力値、(b)が(a)の画像データの垂直方向における勾配を表している。被写体は同一の被写体である。
【0054】
図11に示すように、垂直3画素の加算読み出しのときは、垂直2画素の加算読み出しのときよりも、画像データの勾配が低下した中で色滲みが発生している。このように、加算する画素数が増えるほど、色滲みの抑圧処理を施す対象とする勾配値の範囲を広げる必要がある。
【0055】
そのため、本実施形態では、制御部16は撮像素子11の加算読み出しにおける加算する画素数が増えるほど、設定情報である閾値31の値を小さく設定する。すなわち、制御部16は、垂直3画素の加算読み出しの場合は垂直2画素の加算読み出しの場合に比べて、閾値31を小さな値に変更する。また、制御部16は、撮像素子11の加算読み出しにおける加算する画素数が増えるほど、変化量32をより大きな値に変更するように指示するようにしても構わない。
【0056】
以上説明したように、本実施形態によれば、撮像素子11の加算読み出しにおける加算する画素数に応じて、色滲みの抑圧処理の対象とする勾配値の範囲を変化させている。具体的には、撮像素子11の加算読み出しにおける加算する画素数が第1の数からそれよりも大きな第2の数に変化することによって、色滲みの抑圧処理の対象となる勾配値の範囲を広く変化させている。このようにすることで、撮像素子11の加算読み出しにおける加算する画素数が切り替わった場合であっても、いずれに対しても好適な色滲みの抑圧処理を実施することが可能となる。
【0057】
(第3の実施形態)
図12に本発明の第3の実施形態に係る画像処理装置の一例としての、デジタルカメラやデジタルビデオカメラ等の撮像装置のブロック図を示す。
【0058】
本実施形態では、AFE12と勾配検出部131、132、133の間に、帯域制限部221、222、223を設けた点が、第1の実施形態における図1に示すブロック図と異なる。
【0059】
帯域制限部221〜223は、画像データから検出される勾配の範囲を変化させる機能を有する。そして、制御部16は、帯域制限部221〜223に対して、フィルタ係数を変化させるための指示を出力する。
【0060】
図13は、画像データに帯域制限をかけることによる、画像データの出力と周波数特性の変化を説明するための図である。図13(a)はAFE12から出力された垂直方向における画像データの値であり、図13(b)はこの画像データの周波数特性を示す。図13(c)は帯域制限部221〜223の透過帯域を示す。図13(d)は図13(a)の画像データが帯域制限部221〜223を通過したことによって得られた画像データであり、図13(e)は図13(d)の画像データの周波数帯域を示す。
【0061】
帯域制限部221〜223は、制御部16の指示に応じてフィルタ係数を変化させることで、図13(c)に示す透過帯域を変化させることが可能である。
【0062】
本実施形態では、撮像素子11は垂直2画素の加算読み出し駆動と、非加算読み出し駆動の2つ駆動方式を切り替えるものとする。図5に示すように、垂直2画素の加算読み出しのときのサンプリング周波数fs2は、非加算読み出しのときのサンプリング周波数fs1の半分となる。
【0063】
よって、第1の実施形態の図6で説明したように、垂直2画素の加算読み出しのときは、非加算読み出しのときよりも、画像データの勾配が低下した中で色滲みが発生する。そこで、垂直2画素の加算読み出しのときは非加算読み出しのときよりも画像データから勾配値が検出されやすくなるように、勾配が生じている見た目上の範囲を広げ、かつ、色滲みの抑圧処理の対象となる勾配値の範囲を広げる必要がある。
【0064】
そこで、制御部16は、撮像素子11が垂直2画素の加算読み出しをしているならば、非加算読み出しをしている場合に比較して、帯域制限部221〜223に対して、透過帯域が狭くなるようにフィルタ係数を指示する。
【0065】
図14は、非加算読み出しした画像データと、垂直2画素の加算読み出しした画像データのそれぞれに対して帯域制限をかけた例を説明するための図である。図14(a)が非加算読み出しのときの画像データの出力を示し、図14(b)が図14(a)の画像データに対する帯域制限フィルタの特性を示し、図14(c)が図14(a)の画像データの帯域制限された結果を示す。図14(d)が垂直2画素の加算読み出しのときの画像データの出力を示し、図14(e)が図14(d)の画像データに対する帯域制限フィルタの特性を示し、図14(f)が図14(d)の画像データの帯域制限された結果を示す。
【0066】
図14(d)に示す垂直2画素の加算読み出しによる画像データは、非加算読み出しのときと比較して狭帯域に設定された図14(e)に示すフィルタを通過させることで、図14(f)に示すように勾配が生じている部分の幅を広げた画像データが得られる。図14(d)に示すように、フィルタを通過させる前の画像データでは、勾配が生じている範囲の端部ではその出力値の傾斜が小さいため、色滲みの抑圧対象となりにくかった。しかしながら、図14(f)に示すように、フィルタを通過させることで、それまで勾配の範囲の端部であった位置でも傾斜を確保することができるようになり、その領域が色滲みの抑圧対象となりやすくなる。
【0067】
そして、制御部16は、抑圧係数算出部14に対して、図7で示すように、閾値31を非加算読み出しのときよりも小さな値に設定する。その結果、画像データ上の勾配が生じているとして検出される画素の範囲が広がり、かつ、抑圧処理の対象となる勾配値の範囲が広がる。そのため、非加算読み出しのときよりも、低い勾配で生じた色滲みに対しても抑圧処理を実施することが可能となる。
【0068】
同様に、図8に示すように、制御部16は、垂直2画素の加算読み出しを指示した場合には、非加算読み出しを指示した場合に比べて、抑圧係数算出部14に対して、より大きな値の変化量32を指示するようにしても構わない。
【0069】
また、第2の実施形態のように、加算読み出しの際の加算する画素数が変化する場合においても、帯域制限部221〜223のフィルタ係数を変化させても構わない。加算する画素数が増えるほど、画像データの勾配が低下するのであるから、加算する画素数が増加するほど、帯域制限部221〜223のフィルタ特性を狭帯域とすればよい。
【0070】
(第4の実施形態)
図15に本発明の第4の実施形態に係る画像処理装置の一例としての、フォトストレージ等の画像再生装置のブロック図を示す。
【0071】
本実施形態では、撮像素子11、AFE12および抑圧処理部15の代わりに、RGB変換部23、よび、抑圧処理部24設けた点が、第1の実施形態における図1に示す撮像装置と異なる。また、記憶媒体21から符号化/復号化部20を介してメモリ17に記憶された駆動情報が、制御部16に送信される点でも異なる。
【0072】
記憶媒体21には、画像データを符号化したもの、および、この画像データの撮影時の撮像素子の読み出し方法を示す情報を符号化したものが記憶されている。記憶媒体21から読み出されたデータは、符号化/復号化部20によって、Y、Cr、Cbからなる画像データに復号化されるとともに、撮像素子の読み出し方法を示す駆動情報に複合化され、メモリ17に書き込まれる。
【0073】
制御部16は、メモリ17に書き込まれた駆動情報を取得し、その駆動情報が示す撮像素子の読み出し方法に応じて、第1の実施形態と同様に、抑圧係数算出部14に対して設定情報を出力する。
【0074】
メモリ17に書き込まれたY、Cr、Cbからなる画像データは、RGB変換部23と抑圧処理部24に出力される。RGB変換部23はY、Cr、Cbからなる画像データを、公知の方法によってR、G、Bからなる画像データに変換する。輝度信号Yおよび色差信号Cr、CbからRGBのデジタル信号を生成する方法は周知の技術であるため、詳細な説明は省略する。
【0075】
RGBの画像データを得ると、勾配検出部131〜133にて求めた各色の勾配値(Sr、Sg、Sb)と、制御部16から出力される設定情報から、画像データのRGBの各色の抑圧係数(Kr、Kg、Kb)を求める。
【0076】
図16は、抑圧処理部24の内部構成を示す図である。Cr抑圧部52およびCb抑圧部53は、抑圧係数算出部14から出力されるRGBの抑圧係数(Kr、Kg、Kb)から、メモリ17から出力された色差信号Cr、Cbに対する抑圧係数を算出し、色差信号Cr、Cbに対して色滲み抑圧処理を実施する。色差信号Cr、Cbに対する抑圧係数Kcr、Kcbの算出方法、および、色差信号Cr、Cbに対しる色滲み抑圧処理は、第1の実施形態で説明したものと同様である。そして、色滲み抑圧処理が施された色差信号Cr’、Cb’と輝度信号Yを、色滲み抑圧後の画像データとして出力する。
【0077】
このY、Cr’、Cb’の各信号はメモリ17に記憶され、符号化/復号化部20によって符号化されて記憶媒体21に書き込まれる。
【0078】
以上説明したように、本実施形態によれば、撮像装置だけでなく、画像データを再生する装置であっても、上記の各実施形態と同様の効果を得ることが可能となることがわかる。
【0079】
(第5の実施形態)
図17に本発明の第5の実施形態に係る画像処理装置の一例としての、デジタルカメラやデジタルビデオカメラ等の撮像装置のブロック図を示す。この図17に示す撮像装置は、第1の実施形態において示した図1の構成と、第4の実施形態において示した図15の構成を合成したものである。
【0080】
この図15に示す撮像装置は、Y、Cr、Cbからなる画像データとR、G、Bからなる画像データを相互に変換可能なRGB/YCrCb変換部25を備えている。このRGB/YCrCb変換部25を設けることで、撮像素子11にて生成された画像データに対しても、記憶媒体21から読み出した画像データに対しても、撮影時の撮像素子の駆動方式に応じて、好適な色滲みの抑圧処理を実施することが可能となる。
【0081】
(他の実施形態)
上述の実施形態は、上述した撮像装置や画像再生装置に限らず、システム或は装置のコンピュータ(或いはCPU、MPU等)によりソフトウェア的に実現することも可能である。記憶媒体又は有線/無線通信により画像データを受け取り、この画像データに対して、色滲み抑圧処理を行う構成であっても構わない。
【0082】
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【0083】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線/無線通信によりコンピュータに供給される。有線/無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル(プログラムファイル)をサーバに記憶しておく。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。
【0084】
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【0085】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、コンピュータへのインストールを許可してもよい。
【0086】
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するOSの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるCPUで実行するようにしてもよい。
【符号の説明】
【0087】
11 撮像素子
12 AFE
131、132、133 勾配検出部
14 抑圧係数算出部
15、24 抑圧処理部
16 制御部
17 メモリ
18 画像変換部
19 表示装置
20 符号化/復号化部
21 記憶媒体
221、222、223 帯域制限部
23 RGB変換部
25 RGB/YCrCb変換部
【特許請求の範囲】
【請求項1】
画像データから勾配値を求める勾配検出手段と、
前記勾配値に基づいて抑圧係数を算出する抑圧係数算出手段と、
前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、
前記抑圧係数算出手段は、前記勾配値が閾値を超えた場合に、前記対象となる領域の色滲みが抑圧されるように前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が非加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲よりも、加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲のほうが広くなるように、前記閾値を設定することを特徴とする画像処理装置。
【請求項2】
前記抑圧係数算出手段は、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が非加算読み出しである場合の前記勾配値の範囲よりも、加算読み出しである場合の前記勾配値の範囲のほうが、色滲みの抑圧の程度が大きくなるように、前記抑圧係数を算出することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
画像データから勾配値を求める勾配検出手段と、
前記勾配値に基づいて抑圧係数を算出する抑圧係数算出手段と、
前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、
前記抑圧係数算出手段は、前記勾配値が閾値を超えた場合に、前記対象となる領域の色滲みが抑圧されるように前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が第1の数の画素だけ加算する加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲よりも、前記第1の数よりも大きな第2の数の画素だけ加算する加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲のほうが広くなるように、前記閾値を設定することを特徴とする画像処理装置。
【請求項4】
前記抑圧係数算出手段は、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が前記第1の数の画素だけ加算する加算読み出しである場合の前記勾配値の範囲よりも、前記第2の数の画素だけ加算する加算読み出しである場合の前記勾配値の範囲のほうが、色滲みの抑圧の程度が大きくなるように、前記抑圧係数を算出することを特徴とする請求項3に記載の画像処理装置。
【請求項5】
画像データに対して帯域制限をかけるフィルタ手段と、
前記フィルタ手段にて帯域制限をかけられた画像データから勾配値を求める勾配検出手段と、
前記勾配値に基づいて抑圧係数を算出する抑圧係数算出手段と、
前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、
前記抑圧係数算出手段は、前記勾配値に応じて前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が非加算読み出しである場合の前記フィルタ手段にて制限された帯域よりも、加算読み出しである場合の前記フィルタ手段にて制限された帯域のほうが狭くなるように、前記フィルタ手段にて制限する帯域を設定することを特徴とする画像処理装置。
【請求項6】
画像データに対して帯域制限をかけるフィルタ手段と、
前記フィルタ手段にて帯域制限をかけられた画像データから勾配値を求める勾配検出手段と、
前記勾配値に基づいて抑圧係数を算出する抑圧係数算出手段と、
前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、
前記抑圧係数算出手段は、前記勾配値に応じて前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が第1の数の画素だけ加算する加算読み出しである場合の前記フィルタ手段にて制限された帯域よりも、前記第1の数よりも大きな第2の数の画素だけ加算する加算読み出しである場合の前記フィルタ手段にて制限された帯域のほうが狭くなるように、前記フィルタ手段にて制限する帯域を設定することを特徴とする画像処理装置。
【請求項7】
画像データから勾配値を求める勾配検出工程と、
前記勾配値に基づいて抑圧係数を算出する抑圧係数算出工程と、
前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧工程を有し、
前記抑圧係数算出工程は、前記勾配値が閾値を超えた場合に、前記対象となる領域の色滲みが抑圧されるように前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が非加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲よりも、加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲のほうが広くなるように、前記閾値を設定することを特徴とする画像処理方法。
【請求項8】
画像データから勾配値を求める勾配検出工程と、
前記勾配値に基づいて抑圧係数を算出する抑圧係数算出工程と、
前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧工程を有し、
前記抑圧係数算出工程は、前記勾配値が閾値を超えた場合に、前記対象となる領域の色滲みが抑圧されるように前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が第1の数の画素だけ加算する加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲よりも、前記第1の数よりも大きな第2の数の画素だけ加算する加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲のほうが広くなるように、前記閾値を設定することを特徴とする画像処理方法。
【請求項9】
画像データに対して帯域制限をかけるフィルタ工程と、
前記フィルタ工程にて帯域制限をかけられた画像データから勾配値を求める勾配検出工程と、
前記勾配値に基づいて抑圧係数を算出する抑圧係数算出工程と、
前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧工程を有し、
前記抑圧係数算出工程は、前記勾配値に応じて前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が非加算読み出しである場合の前記フィルタ工程にて制限された帯域よりも、加算読み出しである場合の前記フィルタ工程にて制限された帯域のほうが狭くなるように、前記フィルタ工程にて制限する帯域を設定することを特徴とする画像処理方法。
【請求項10】
画像データに対して帯域制限をかけるフィルタ工程と、
前記フィルタ工程にて帯域制限をかけられた画像データから勾配値を求める勾配検出工程と、
前記勾配値に基づいて抑圧係数を算出する抑圧係数算出工程と、
前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧工程を有し、
前記抑圧係数算出工程は、前記勾配値に応じて前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が第1の数の画素だけ加算する加算読み出しである場合の前記フィルタ工程にて制限された帯域よりも、前記第1の数よりも大きな第2の数の画素だけ加算する加算読み出しである場合の前記フィルタ工程にて制限された帯域のほうが狭くなるように、前記フィルタ工程にて制限する帯域を設定することを特徴とする画像処理方法。
【請求項11】
請求項7乃至10のいずれかに記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項1】
画像データから勾配値を求める勾配検出手段と、
前記勾配値に基づいて抑圧係数を算出する抑圧係数算出手段と、
前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、
前記抑圧係数算出手段は、前記勾配値が閾値を超えた場合に、前記対象となる領域の色滲みが抑圧されるように前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が非加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲よりも、加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲のほうが広くなるように、前記閾値を設定することを特徴とする画像処理装置。
【請求項2】
前記抑圧係数算出手段は、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が非加算読み出しである場合の前記勾配値の範囲よりも、加算読み出しである場合の前記勾配値の範囲のほうが、色滲みの抑圧の程度が大きくなるように、前記抑圧係数を算出することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
画像データから勾配値を求める勾配検出手段と、
前記勾配値に基づいて抑圧係数を算出する抑圧係数算出手段と、
前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、
前記抑圧係数算出手段は、前記勾配値が閾値を超えた場合に、前記対象となる領域の色滲みが抑圧されるように前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が第1の数の画素だけ加算する加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲よりも、前記第1の数よりも大きな第2の数の画素だけ加算する加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲のほうが広くなるように、前記閾値を設定することを特徴とする画像処理装置。
【請求項4】
前記抑圧係数算出手段は、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が前記第1の数の画素だけ加算する加算読み出しである場合の前記勾配値の範囲よりも、前記第2の数の画素だけ加算する加算読み出しである場合の前記勾配値の範囲のほうが、色滲みの抑圧の程度が大きくなるように、前記抑圧係数を算出することを特徴とする請求項3に記載の画像処理装置。
【請求項5】
画像データに対して帯域制限をかけるフィルタ手段と、
前記フィルタ手段にて帯域制限をかけられた画像データから勾配値を求める勾配検出手段と、
前記勾配値に基づいて抑圧係数を算出する抑圧係数算出手段と、
前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、
前記抑圧係数算出手段は、前記勾配値に応じて前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が非加算読み出しである場合の前記フィルタ手段にて制限された帯域よりも、加算読み出しである場合の前記フィルタ手段にて制限された帯域のほうが狭くなるように、前記フィルタ手段にて制限する帯域を設定することを特徴とする画像処理装置。
【請求項6】
画像データに対して帯域制限をかけるフィルタ手段と、
前記フィルタ手段にて帯域制限をかけられた画像データから勾配値を求める勾配検出手段と、
前記勾配値に基づいて抑圧係数を算出する抑圧係数算出手段と、
前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、
前記抑圧係数算出手段は、前記勾配値に応じて前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が第1の数の画素だけ加算する加算読み出しである場合の前記フィルタ手段にて制限された帯域よりも、前記第1の数よりも大きな第2の数の画素だけ加算する加算読み出しである場合の前記フィルタ手段にて制限された帯域のほうが狭くなるように、前記フィルタ手段にて制限する帯域を設定することを特徴とする画像処理装置。
【請求項7】
画像データから勾配値を求める勾配検出工程と、
前記勾配値に基づいて抑圧係数を算出する抑圧係数算出工程と、
前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧工程を有し、
前記抑圧係数算出工程は、前記勾配値が閾値を超えた場合に、前記対象となる領域の色滲みが抑圧されるように前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が非加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲よりも、加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲のほうが広くなるように、前記閾値を設定することを特徴とする画像処理方法。
【請求項8】
画像データから勾配値を求める勾配検出工程と、
前記勾配値に基づいて抑圧係数を算出する抑圧係数算出工程と、
前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧工程を有し、
前記抑圧係数算出工程は、前記勾配値が閾値を超えた場合に、前記対象となる領域の色滲みが抑圧されるように前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が第1の数の画素だけ加算する加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲よりも、前記第1の数よりも大きな第2の数の画素だけ加算する加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲のほうが広くなるように、前記閾値を設定することを特徴とする画像処理方法。
【請求項9】
画像データに対して帯域制限をかけるフィルタ工程と、
前記フィルタ工程にて帯域制限をかけられた画像データから勾配値を求める勾配検出工程と、
前記勾配値に基づいて抑圧係数を算出する抑圧係数算出工程と、
前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧工程を有し、
前記抑圧係数算出工程は、前記勾配値に応じて前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が非加算読み出しである場合の前記フィルタ工程にて制限された帯域よりも、加算読み出しである場合の前記フィルタ工程にて制限された帯域のほうが狭くなるように、前記フィルタ工程にて制限する帯域を設定することを特徴とする画像処理方法。
【請求項10】
画像データに対して帯域制限をかけるフィルタ工程と、
前記フィルタ工程にて帯域制限をかけられた画像データから勾配値を求める勾配検出工程と、
前記勾配値に基づいて抑圧係数を算出する抑圧係数算出工程と、
前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧工程を有し、
前記抑圧係数算出工程は、前記勾配値に応じて前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が第1の数の画素だけ加算する加算読み出しである場合の前記フィルタ工程にて制限された帯域よりも、前記第1の数よりも大きな第2の数の画素だけ加算する加算読み出しである場合の前記フィルタ工程にて制限された帯域のほうが狭くなるように、前記フィルタ工程にて制限する帯域を設定することを特徴とする画像処理方法。
【請求項11】
請求項7乃至10のいずれかに記載の画像処理方法をコンピュータに実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2011−15386(P2011−15386A)
【公開日】平成23年1月20日(2011.1.20)
【国際特許分類】
【出願番号】特願2010−39068(P2010−39068)
【出願日】平成22年2月24日(2010.2.24)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成23年1月20日(2011.1.20)
【国際特許分類】
【出願日】平成22年2月24日(2010.2.24)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]