階調補正装置、階調補正方法、プログラム、撮像装置および画像処理装置
【課題】演算量の少ない単純な処理で逆光や暗い環境でも視認性の高い画像を得る。
【解決手段】画像生成部１５１は高成分輝度信号IH(x,y)を生成する。ＬＰＦ１５２は、強いＬＰＦ処理で平滑化輝度信号GH(x,y)を得る。画像生成部１５３は、低成分輝度信号IL(x,y)を生成する。ＬＰＦ１５４は、強いＬＰＦ処理で平滑化輝度信号GL(x,y)を得る。ＬＰＦ１５５は、入力輝度信号IY(x,y)に対して弱いＬＰＦ処理で平滑化輝度信号L(x,y)を得る。画像生成部１５６は、信号GH(x,y)、GL(x,y)のそれぞれの各画素の信号値に対し、信号L(x,y)の各画素の信号値に基づいた合成又は選択処理を施し、基準輝度信号G(x,y)を生成する。信号G(x,y)は、輪郭を保持しながら高周波成分を除去した輝度信号となる。信号処理部１５７は、入力輝度信号IY(x,y)に対して、画素毎に、基準輝度信号G(x,y)に応じたトーンカーブを用いた変換処理を行い、出力輝度信号OY(x,y)を得る。
【解決手段】画像生成部１５１は高成分輝度信号IH(x,y)を生成する。ＬＰＦ１５２は、強いＬＰＦ処理で平滑化輝度信号GH(x,y)を得る。画像生成部１５３は、低成分輝度信号IL(x,y)を生成する。ＬＰＦ１５４は、強いＬＰＦ処理で平滑化輝度信号GL(x,y)を得る。ＬＰＦ１５５は、入力輝度信号IY(x,y)に対して弱いＬＰＦ処理で平滑化輝度信号L(x,y)を得る。画像生成部１５６は、信号GH(x,y)、GL(x,y)のそれぞれの各画素の信号値に対し、信号L(x,y)の各画素の信号値に基づいた合成又は選択処理を施し、基準輝度信号G(x,y)を生成する。信号G(x,y)は、輪郭を保持しながら高周波成分を除去した輝度信号となる。信号処理部１５７は、入力輝度信号IY(x,y)に対して、画素毎に、基準輝度信号G(x,y)に応じたトーンカーブを用いた変換処理を行い、出力輝度信号OY(x,y)を得る。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、階調補正装置、階調補正方法、プログラム、撮像装置および画像処理装置に関する。詳しくは、この発明は、輪郭を保持しながら高周波成分を除去した基準画像信号を生成し、入力画像信号の各画素の信号値をこの基準画像信号の各画素の信号値に応じたトーンカーブを用いて変換して出力画像信号を得ることにより、演算量の少ない単純な処理で逆光や暗い環境でも視認性の高い画像を得ることができるようにした階調補正装置等に関する。
【背景技術】
【０００２】
近年、デジタルカメラなどのデジタル撮像機器が普及してきている。デジタルカメラで撮像する場合には、逆光環境下では、撮像画像において、周囲に比べて人物の顔が暗くなってしまうことがある。また、例えば、監視システムにおいて、夜間の暗い環境下で撮像した場合に、人物の顔が暗くなってしまうことがある。
【０００３】
従来、この種の問題を解決するために、トーンカーブ（階調変換カーブ）を用いて階調補正を行うことが知られている。トーンカーブは、例えば、周知のヒストグラム均等法により、ヒストグラムの分布が多い階調の画像のコントラストを強調するように求められる。
【０００４】
画像全体で一つのトーンカーブを用いて階調補正を行う場合、画像内に明るい領域と暗い領域が混在していると、明暗それぞれの領域にそれぞれ割り当てる階調が不足することから、黒つぶれや白飛びなどの細部が消失する現象が発生することがある。
【０００５】
そこで、従来、画像のオブジェクトを識別して領域分割し、それぞれ個別にトーンカーブを設定して階調補正を行うことが考えられている（例えば、特許文献１参照）。
【特許文献１】特開２００１−１１８０６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述したように画像のオブジェクトを識別して領域分割し、それぞれ個別にトーンカーブを設定して階調補正を行う場合には、画像内に明暗の領域が混在している場合であっても、黒つぶれや白飛びの発生を抑制でき、視認性の高い画像を得ることができる。しかし、画像のオブジェクトを識別して、オブジェクト毎に領域分割を行うことが必要であることから、複雑なアルゴリズムで高負荷な演算が必要となる。
【０００７】
この発明の目的は、演算量の少ない単純な処理で逆光や暗い環境でも視認性の高い画像を得ることにある。
【課題を解決するための手段】
【０００８】
この発明の概念は、
画像の各画素を順次着目画素とし、着目画素の信号値として、入力画像信号を構成する着目画素の信号値が基準値より大きいときは該入力画像信号の着目画素の信号値を配置し、上記入力画像信号を構成する着目画素の信号値が上記基準値以下のときは第１の値を配置し、高成分画像信号を生成する高成分画像生成部と、
上記高成分画像生成部で生成された高成分画像信号に対して第１のカットオフ周波数のローパスフィルタ処理を行って高成分平滑化画像信号を生成する高成分平滑化画像生成部と、
画像の各画素を順次着目画素とし、着目画素の信号値として、上記入力画像信号を構成する着目画素の信号値が上記基準値以下のときは該入力画像信号の着目画素の信号値を配置し、上記入力画像信号を構成する着目画素の信号値が上記基準値より大きいときは上記第１の値と同じあるいは異なる第２の値を配置し、低成分画像信号を生成する低成分画像生成部と、
上記低成分画像生成部で生成された低成分画像信号に対して上記第１のカットオフ周波数のローパスフィルタ処理を行って低成分平滑化画像信号を生成する低成分平滑化画像生成部と、
上記入力画像信号に対して、上記第１のカットオフ周波数より低い第２のカットオフ周波数のローパスフィルタ処理を行って入力平滑化画像信号を生成する入力平滑化画像生成部と、
各画素を順次着目画素として、着目画素の信号値を、上記高成分平滑化画像生成部で生成された高成分平滑化画像信号を構成する該着目画素の信号値および上記低成分平滑化画像生成部で生成された低成分平滑化画像信号を構成する該着目画素の信号値に対して、入力平滑化画像生成部で生成された入力平滑化画像信号を構成する該着目画素の信号値に基づいた合成処理または選択処理を行って求めて、基準画像信号を生成する基準画像生成部と、
画像の各画素を順次着目画素とし、着目画素の信号値を、上記基準画像生成部で生成された基準画像信号を構成する該着目画素の信号値に応じたトーンカーブを用いて、上記入力画像信号の該着目画素の信号値を変換して求めて、出力画像信号を得る信号処理部
を備える階調補正装置にある。
【０００９】
この発明において、高成分画像生成部により、高成分画像信号が生成される。この高成分画像信号を構成する各画素の信号値は、画像の各画素を順次着目画素として、入力画像信号に基づいて、以下のように決定される。すなわち、高成分画像信号の着目画素の信号値は、入力画像信号を構成する着目画素の信号値が基準値より大きいときは、当該入力画像信号の着目画素の信号値とされる。また、この高成分画像信号の着目画素の信号値は、入力画像信号を構成する着目画素の信号値が基準値以下のときは、第１の値とされる。
【００１０】
また、低成分画像生成部により、低成分画像信号が生成される。この低成分画像信号を構成する各画素の信号値は、画像の各画素を順次着目画素として、入力画像信号に基づいて、以下のように決定される。すなわち、低成分画像信号の着目画素の信号値は、入力画像信号を構成する着目画素の信号値が基準値以下のときは、当該入力画像信号の着目画素の信号値とされる。また、この低成分画像信号の着目画素の信号値は、入力画像信号を構成する着目画素の信号値が基準値より大きいときは、第２の値とされる。
【００１１】
例えば、基準値は入力画像信号のダイナミックレンジの中央値とされる。また、例えば、第１の値、第２の値は、基準値あるいはその前後の値とされる。第１の値と第２の値とは、同じ値でもよく、あるいは異なっていてもよい。
【００１２】
また、高成分平滑化画像生成部により、高成分画像生成部で生成された高成分画像信号に対して、第１のカットオフ周波数のローパスフィルタ処理が行われて、高成分平滑化画像信号が生成される。また、低成分平滑化画像生成部により、低成分画像生成部で生成された低成分画像信号に対して、第１のカットオフ周波数のローパスフィルタ処理が行われて、低成分平滑化画像信号が生成される。ここで、第１のカットオフ周波数のローパスフィルタ処理は、オブジェクトの輪郭も分からなくなる程度の強いローパスフィルタ処理とされる。
【００１３】
また、入力平滑化画像生成部により、入力画像信号に対して、第２のカットオフ周波数のローパスフィルタ処理が行われて、入力平滑化画像信号が生成される。ここで、第２のカットオフ周波数は上述の第１のカットオフ周波数より高くされる。この第２のカットオフ周波数のローパスフィルタ処理は、オブジェクトの輪郭が分かる程度の弱いローパスフィルタ処理とされる。
【００１４】
また、基準画像生成部により、輪郭を保持しながら高周波成分を除去した基準画像信号が生成される。この基準画像信号を構成する各画素の信号値は、画像の各画素を順次着目画素として、以下のように求められる。すなわち、基準画像信号の着目画素の信号値は、上述の高成分平滑化画像信号、低成分平滑化画像信号のそれぞれの着目画素の信号値に対して、上述の入力平滑化画像信号の着目画素の信号値に基づいた合成処理または選択処理が行われることで、求められる。
【００１５】
例えば、高成分平滑化画像信号の着目画素の信号値を第１の信号値とし、低成分平滑化画像信号の着目画素の信号値を第２の信号値とし、入力平滑化画像信号の着目画素の信号値を第３の信号値とするとき、第３の信号値が小さくなる程第２の信号値の割合が大きくなるように、合成処理が行われる。また、例えば、高成分平滑化画像信号の着目画素の信号値を第１の信号値とし、低成分平滑化画像信号の着目画素の信号値を第２の信号値とし、入力平滑化画像信号の着目画素の信号値を第３の信号値とするとき、第１の信号値および第２の信号値のうち第３の信号値に近い方の値を選択する、選択処理が行われる。
【００１６】
また、信号処理部により、入力画像信号に対して階調補正処理が行われて、出力画像信号が得られる。出力画像信号を構成する各画素の信号値は、画像の各画素を順次着目画素として、入力画像信号に基づいて、以下のように求められる。すなわち、出力画像信号の着目画素の信号値は、上述の基準画像信号の着目画素の信号値に応じたトーンカーブ（階調変換カーブ）を用いて、入力画像信号の着目画素の信号値が変換されて得られる。着目画素で使用されるトーンカーブは、例えば、基準画像信号の着目画素の信号値と同じ信号値が入力されるとき入力画像信号のダイナミックレンジの中央値と同じ信号値を出力するものとされる。
【００１７】
上述したように、この発明においては、輪郭を保持しながら高周波成分を除去した基準画像信号が生成される。そして、入力画像信号の各画素の信号値が、この基準画像信号の各画素の信号値に応じたトーンカーブを用いて変換されて、出力画像信号が得られる。そのため、出力画像は、入力画像の暗い領域は明るくなるように階調変換され、また、入力画像の明るい領域はコントラストが強くなるように階調変換されたものとなる。これにより、演算量の少ない単純な処理で逆光や暗い環境でも視認性の高い画像を得ることが可能となる。
【発明の効果】
【００１８】
この発明によれば、輪郭を保持しながら高周波成分を除去した基準画像信号を生成し、入力画像信号の各画素の信号値をこの基準画像信号の各画素の信号値に応じたトーンカーブを用いて変換して出力画像信号を得るものであり、演算量の少ない単純な処理で逆光や暗い環境でも視認性の高い画像を得ることができる。
【発明を実施するための最良の形態】
【００１９】
以下、発明を実施するための最良の形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００２０】
＜１．実施の形態＞
［撮像装置の構成例］
図１は、実施の形態としての撮像装置（デジタルカメラ）１００の構成例を示している。撮像装置１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read OnlyMemory）１０２、ＲＡＭ（Random Access Memory）１０３、入力デバイス（ユーザ操作部）１０４を有している。
【００２１】
また、撮像装置１００は、撮像レンズ１１１、アイリス１１２、撮像素子１１３、アイリス制御部１１４、ＣＤＳ(Correlated Double Sampling)回路１１５、Ａ／Ｄ(Analog/Digital)変換部１１６を有している。また、撮像装置１００は、デジタル信号処理部（ＤＳＰ：Digital Signal Processor）１１７、タイミングジェネレータ１１８、記録再生部１１９、表示部１２０を有している。
【００２２】
ＣＰＵ１０１は、撮像装置１００の各部を制御する。ＲＯＭ１０２は、ＣＰＵ１０１の制御プログラム等を記憶している。ＲＡＭ１０３は、ＣＰＵ１０１の制御処理に必要なデータの一時記憶等に用いられる。ＣＰＵ１０１は、ＲＯＭ１０２から読み出したプログラムやデータをＲＡＭ１０３上に展開してプログラムを起動し、撮像装置１００の各部を制御する。
【００２３】
入力デバイス（ユーザ操作部）１０４は、ユーザインタフェースを構成し、バス１０５を介してＣＰＵ１０１に接続されている。この入力デバイス１０４は、撮像装置１００の図示しない筐体面に配置されたキー、ボタン、ダイヤル等で構成される。ＣＰＵ１０１は、入力デバイス１０４からバス１０５を介して入力される情報の解析を行って、撮影者（ユーザ）の操作に対応した制御を行う。
【００２４】
被写体２００からの光は、光学系、つまり、撮像レンズ１１１およびアイリス１１２を通過して、撮像素子１１３に入射する。この場合、被写体２００からの光は撮像レンズ１１１により集光され、アイリス１１２により集光された光の一部だけが撮像素子１１３に到達する。アイリス１１２の絞りは、アイリス制御部１１４により制御される。撮像素子１１３は、例えば、ＣＣＤ(Charge Coupled Device)イメージセンサ、ＣＭＯＳ(ComplementaryMetal Oxide Semiconductor）イメージセンサ等で構成される。撮像素子１１３は、撮像面に被写体の光学像が結像された状態で撮像処理を行って、撮像画像信号を出力する。
【００２５】
ＣＤＳ回路１１５は、撮像素子１１３から供給される撮像画像信号を、相関二重サンプリングによりノイズ成分を除去した後、Ａ／Ｄ変換部１１６に供給する。Ａ／Ｄ変換部１１６は、ＣＤＳ回路１１５から供給される撮像画像信号をアナログ信号からデジタル信号に変換した後、デジタル信号処理部１１７に供給する。
【００２６】
デジタル信号処理部１１７は、Ａ／Ｄ変換部１１６から供給される撮像画像信号に対して画像処理を行う。ここでいう画像処理は、ホワイトバランス処理、ガンマ補正処理などである。これら処理は、全ての汎用デジタルカメラで行われる処理なので、その詳細を省略する。
【００２７】
この実施の形態において、デジタル信号処理部１１７は、さらに、階調補正処理を行う階調補正部１５０を備えている。この階調補正処理は、逆光や暗い環境においても視認性の高い画像を得ることを可能とする処理である。階調補正部１５０の詳細については、後述する。
【００２８】
デジタル信号処理部１１７は、処理後の画像データを、表示部１２０および記録再生部１１９に転送する。記録再生部１１９は、主にフラッシュメモリからなる着脱自在な記録媒体１２１に、ユーザのシャッター操作に対応した静止画像データを書き込み、あるいは、この記録媒体から静止画像データを読み出す。表示部１２０は、例えば、撮像装置１００の筐体背面等に設けられるＬＣＤ（Liquid Crystal Display）等の表示パネルで構成される。この表示部１２０は、撮影した画像、記録再生部１１９で記録媒体１２１から読み出した画像、さらには、ユーザに対する各種情報等を表示する。
【００２９】
次に、図１に示す撮像装置１００の動作について説明する。撮像装置１００は、記録モード時には、以下の動作をする。撮像素子１１３で撮像処理が行われて得られた撮像画像信号は、ＣＤＳ回路１１５およびＡ／Ｄ変換部１１６を介してデジタル信号処理部１１７に供給される。このデジタル信号処理部１１７で、ホワイトバランス処理、ガンマ補正処理、階調補正処理等が行われる。
【００３０】
デジタル信号処理部１１７で処理されて得られた画像データは、表示部１２０に転送される。これにより、表示部１２０には撮像画像が表示され、モニタリング状態となる。このモニタリング状態において、ユーザが入力デバイス１０４でシャッター操作を行うと、ＣＰＵ１０１によりデジタル信号処理部１１７および記録再生部１１９が制御され、記録媒体１２１にシャッター操作に対応した静止画像データが書き込まれる。
【００３１】
また、撮像装置１００は、再生モード時には、以下の動作をする。すなわち、記録再生部１１９では、記録媒体１２１から、ユーザの入力デバイス１０４の操作によって選択された静止画像データが読み出される。この静止画像データは、記録再生部１１９からデジタル信号処理部１１７を介して表示部１２０に供給される。これにより、表示部１２０には、再生画像が表示される。
【００３２】
［階調補正部の構成例］
次に、階調補正部１５０の詳細を説明する。図２は、階調補正部１５０の構成例を示している。この例は、輝度信号および色差信号に対して階調補正処理を行う例である。この階調補正部１５０は、高（High）成分画像生成部１５１と、ローパスフィルタ１５２，１５４，１５５と、低（Low）成分画像生成部１５３と、基準画像生成部１５６と、輝度信号処理部１５７と、色差信号処理部１５８を有している。
【００３３】
高成分画像生成部１５１は、入力輝度信号IY(x,y)から、高成分輝度信号IH(x,y)を生成する。この場合、高成分輝度信号IH(x,y)を構成する各画素の信号値は、画像の各画素を順次着目画素として、入力輝度信号IY(x,y)に基づき、以下のように決定される。すなわち、高成分輝度信号IH(x,y)の着目画素の信号値は、入力輝度信号IY(x,y)を構成する着目画素の信号値が基準値Ｔより大きいときは、当該入力輝度信号IY(x,y)の着目画素の信号値とされる。また、この高成分輝度信号IH(x,y)の着目画素の信号値は、入力輝度信号IY(x,y)を構成する着目画素の信号値が基準値Ｔ以下のときは、第１の値とされる。
【００３４】
ここで、基準値Ｔは、任意の値であり、例えば入力輝度信号IY(x,y)のダイナミックレンジの中央値とされる。例えば、入力輝度信号IY(x,y)が８ビットデータである場合、基準値Ｔは「１２８」とされる。また、第１の値は、例えば、基準値Ｔと同じ値とされる。しかし、この第１の値は、基準値Ｔと異なる値であってもよい。出力画像を明るくしたい場合には第１の値を低い値にすればよく、逆に出力画像を暗くしたい場合にはこの第１の値を高い値にすればよい。
【００３５】
低成分画像生成部１５３は、入力輝度信号IY(x,y)から、低成分輝度信号IL(x,y)を生成する。この場合、低成分輝度信号IL(x,y)を構成する各画素の信号値は、画像の各画素を順次着目画素として、入力輝度信号IY(x,y)に基づき、以下のように決定される。すなわち、低成分輝度信号IL(x,y)の着目画素の信号値は、入力輝度信号IY(x,y)を構成する着目画素の信号値が基準値Ｔ以下のときは、当該入力輝度信号IY(x,y)の着目画素の信号値とされる。また、この低成分輝度信号IL(x,y)の着目画素の信号値は、入力輝度信号IY(x,y)を構成する着目画素の信号値が基準値Ｔより大きいときは、第２の値とされる。
【００３６】
ここで、第２の値は、上述した第１の値と同様に、例えば、基準値Ｔと同じ値とされるが、基準値Ｔと異なる値であってもよい。出力画像を明るくしたい場合には第２の値を低い値にすればよく、逆に出力画像を暗くしたい場合にはこの第２の値を高い値にすればよい。また、この第２の値は、上述した第１の値と同じ値でなくてもよい。
【００３７】
図３は、入力輝度信号IY(x,y)、高成分輝度信号IH(x,y)、低成分輝度信号IL(x,y)の具体例を示している。この例は、基準値Ｔを「１２８」とし、さらに、第１の値および第２の値をそれぞれ基準値Ｔと同じ「１２８」とした場合の例である。
【００３８】
図３（ａ）に示すような入力輝度信号IY(x,y)に対し、図３（ｂ）に示すように高成分輝度信号IH(x,y)が生成される。この場合、入力輝度信号IY(x,y)における「２００」、「１９２」、「１８４」、「１３０」の画素信号値は、基準値Ｔ＝「１２８」より大きいので、そのまま、高成分輝度信号IH(x,y)の画素信号値となっている。一方、入力輝度信号IY(x,y)における「２００」、「１９２」、「１８４」、「１３０」以外の画素信号値は、基準値Ｔ＝「１２８」以下であるので、対応する高成分輝度信号IH(x,y)の画素信号値は「１２８」となっている。
【００３９】
また、図３（ａ）に示すような入力輝度信号IY(x,y)に対し、図３（ｃ）に示すように低成分輝度信号IL(x,y)が生成される。この場合、入力輝度信号IY(x,y)における「２００」、「１９２」、「１８４」、「１３０」の画素信号値は、基準値Ｔ＝「１２８」より大きいので、対応する低成分輝度信号IL(x,y)の画素信号値は「１２８」となっている。一方、入力輝度信号IY(x,y)における「２００」、「１９２」、「１８４」、「１３０」以外の画素信号値は、基準値Ｔ＝「１２８」以下であるので、そのまま、低成分輝度信号IL(x,y)の画素信号値となっている。
【００４０】
ローパスフィルタ１５２は、高成分画像生成部１５１で生成された高成分輝度信号IH(x,y)に対して、第１のカットオフ周波数のローパスフィルタ処理を行って、高成分平滑化輝度信号GH(x,y)を生成する。このローパスフィルタ１５２は、高成分平滑化画像生成部を構成している。
【００４１】
ここで、第１のカットオフ周波数のローパスフィルタ処理は、オブジェクトの輪郭も分からなくなる程度の強いローパスフィルタ処理とされる。ローパスフィルタ１５２は、高成分輝度信号IH(x,y)から、高成分平滑化輝度信号GH(x,y)を生成する。この場合、高成分平滑化輝度信号GH(x,y)を構成する各画素の信号値は、画像の各画素を順次着目画素として、高成分輝度信号IH(x,y)に基づき、例えば、以下のように決定される。
【００４２】
すなわち、高成分平滑化輝度信号GH(x,y)の着目画素の信号値は、高成分輝度信号IH(x,y)を構成する着目画素とこの着目画素の周辺の比較的広い範囲の画素の信号値がタップ入力とされ、それらが加算平均されて求められる。この場合、着目画素を含む比較的広い範囲は、例えば、１２８０×７２０［pels］の全体サイズにおいて、６４×４８［pels］とされる。
【００４３】
ローパスフィルタ１５４は、低成分画像生成部１５３で生成された低成分輝度信号IL(x,y)に対して、上述のローパスフィルタ１５２と同様に、第１のカットオフ周波数のローパスフィルタ処理を行って、低成分平滑化輝度信号GL(x,y)を生成する。このローパスフィルタ１５４は、低成分平滑化画像生成部を構成している。
【００４４】
ローパスフィルタ１５５は、入力輝度信号IY(x,y)に対して、第２のカットオフ周波数のローパスフィルタ処理を行って、入力平滑化輝度信号L(x,y)を生成する。ここで、第２のカットオフ周波数は、上述の第１のカットオフ周波数より高くされる。この第２のカットオフ周波数のローパスフィルタ処理は、オブジェクトの輪郭が分かる程度の弱いローパスフィルタ処理とされる。
【００４５】
ローパスフィルタ１５５は、入力輝度信号IY(x,y)から、入力平滑化輝度信号L(x,y)を生成する。このローパスフィルタ１５５は、入力平滑化画像生成部を構成している。この場合、入力平滑化輝度信号L(x,y))を構成する各画素の信号値は、画像の各画素を順次着目画素として、入力輝度信号IY(x,y)に基づき、例えば、以下のように決定される。
【００４６】
すなわち、入力平滑化輝度信号L(x,y))の着目画素の信号値は、入力輝度信号IY(x,y)を構成する着目画素とこの着目画素の周辺の比較的狭い範囲の画素の信号値がタップ入力とされ、それらが加算平均されて求められる。この場合、着目画素を含む比較的狭い範囲は、例えば、１２８０×７２０［pels］の全体サイズにおいて、５×５［pels］とされる。
【００４７】
基準画像生成部１５６は、ローパスフィルタ１５２，１５４，１５５でそれぞれ生成された高成分平滑化輝度信号GH(x,y)、低成分平滑化輝度信号GL(x,y)、入力平滑化輝度信号L(x,y)を用いて、基準輝度信号G(x,y)を生成する。この基準輝度信号G(x,y)は、輪郭を保持しながら高周波成分を除去した、つまり領域毎に高周波成分を除去した輝度信号となる。
【００４８】
この基準輝度信号G(x,y)を構成する各画素の信号値は、各画素を順次着目画素として、以下のように求められる。すなわち、基準輝度信号G(x,y)の着目画素の信号値は、輝度信号GH(x,y)、輝度信号GL(x,y)の着目画素の信号値に対し、輝度信号L(x,y)の着目画素の信号値に基づいた合成処理または選択処理で求められる。
【００４９】
例えば、高成分平滑化輝度信号GH(x,y)の着目画素の信号値を第１の信号値とし、低成分平滑化輝度信号GL(x,y)の着目画素の信号値を第２の信号値とし、入力平滑化輝度信号L(x,y)の着目画素の信号値を第３の信号値とする。このとき、第３の信号値が小さくなる程第２の信号値の割合が大きくなるように、第１の信号値および第２の信号値の合成処理が行われる。
【００５０】
この場合、基準輝度信号G(x,y)を着目画素の信号値をS(x,y)とし、第１の信号値をS1(x,y)とし、第２の信号値をS2(x,y)とし、第３の信号値をS3(x,y)とし、入力輝度信号IY(x,y)のダイナミックレンジをＤとする。このとき、例えば、（１）式が使用されて、合成処理が行われる。
【００５１】
S(x,y)
＝［S2(x,y)×｛Ｄ−S3(x,y)｝＋S1(x,y)×S3(x,y)］／Ｄ ・・（１）
【００５２】
また、例えば、高成分平滑化輝度信号GH(x,y)の着目画素の信号値を第１の信号値とし、低成分平滑化輝度信号GL(x,y)の着目画素の信号値を第２の信号値とし、入力平滑化輝度信号L(x,y)の着目画素の信号値を第３の信号値とする。このとき、第１の信号値および第２の信号値のうち第３の信号値に近い方の値を選択するように選択処理が行われる。
【００５３】
なお、上述の基準信号生成部１５６で使用される高成分平滑化輝度信号GH(x,y)、低成分平滑化輝度信号GL(x,y)、入力平滑化輝度信号L(x,y)は、基本的には、入力輝度信号IY(x,y)の同一フレームから生成されたものである。しかし、高成分平滑化輝度信号GH(x,y)、低成分平滑化輝度信号GL(x,y)を得るローパスフィルタ処理では広い範囲の画素信号値を使用することから、遅延が発生する。したがって、動画像データを処理する場合には、入力平滑化輝度信号L(x,y)に対して、高成分平滑化輝度信号GH(x,y)、低成分平滑化輝度信号GL(x,y)は前フレームの画像データを処理して得られたものであってもよい。
【００５４】
輝度信号処理部１５７は、入力輝度信号IY(x,y)に対して階調補正処理を行って、出力輝度信号OY(x,y)を生成する。この場合、出力輝度信号OY(x,y)を構成する各画素の信号値は、画像の各画素を順次着目画素として、入力輝度信号IY(x,y)に基づいて、以下のように求められる。
【００５５】
すなわち、出力輝度信号OY(x,y)の着目画素の信号値は、上述の基準輝度信号G(x,y)の着目画素の信号値に応じたトーンカーブ（階調変換カーブ）を用いて、入力輝度信号IY(x,y)の着目画素の信号値が変換されて得られる。基準輝度信号G(x,y)の着目画素の信号値は、当該着目画素が位置する領域の平均的な明るさを示す。
【００５６】
そのため、以下のようなトーンカーブが用いられる。すなわち、基準輝度信号G(x,y)の着目画素の信号値が低いとき、暗い領域が明るくなるようなトーンカーブが用いられる。一方、基準輝度信号G(x,y)の着目画素の信号値が高いとき、明るい領域のコントラストが強くなるようなトーンカーブが用いられる。
【００５７】
トーンカーブの生成方法には種々あるが、例えば、以下のような方法が挙げられる。
【００５８】
（１）トーンカーブのγを調整して生成する。
（２）トーンカーブの傾きを調整して生成する。
（３）トーンカーブの最大値、最小値を調整して生成する。
（４）上述の（１）〜（３）の組み合わせにより生成する。
【００５９】
基準輝度信号G(x,y)の着目画素の信号値に応じたトーンカーブは、例えば、基準輝度信号G(x,y)の着目画素の信号値と同じ信号値が入力されるとき入力輝度信号IY(x,y)のダイナミックレンジの中央値と同じ信号値を出力するものとされる。
【００６０】
図４は、トーンカーブの一例を示している。この図４に示すトーンカーブは、基準輝度信号G(x,y)の着目画素の信号値S(x,y)が「６７」である場合の例であり、信号値「６７」が入力されるとき、中央値「１２８」を出力する。この場合、基準輝度信号G(x,y)の着目画素の信号値S(x,y)が「６７」と低いので、暗い領域が明るくなるようなトーンカーブとなっている。
【００６１】
図５は、トーンカーブの他の例を示している。この図５に示すトーンカーブも、基準輝度信号G(x,y)の着目画素の信号値S(x,y)が「６７」である場合の例であり、信号値「６７」が入力されるとき、中央値「１２８」を出力する。この図５に示すトーンカーブは、図４に示すトーンカーブを、２本の直線で近似したものである。この場合も、基準輝度信号G(x,y)の着目画素の信号値S(x,y)が「６７」と低いので、暗い領域が明るくなるようなトーンカーブとなっている。
【００６２】
図６は、トーンカーブのさらに他の例を示している。この図６に示すトーンカーブは、基準輝度信号G(x,y)の着目画素の信号値S(x,y)が「１８８」である場合の例であり、信号値「１１８」が入力されるとき、中央値「１２８」を出力する。この場合、基準輝度信号G(x,y)の着目画素の信号値S(x,y)が「１８８」と高いので、明るい領域のコントラストが強くなるようなトーンカーブとなっている。
【００６３】
図７は、トーンカーブの別の例を示している。この図７に示すトーンカーブも、基準輝度信号G(x,y)の着目画素の信号値S(x,y)が「１８８」である場合の例であり、信号値「１８８」が入力されるとき、中央値「１２８」を出力する。この図７に示すトーンカーブは、図６に示すトーンカーブを、２本の直線で近似したものである。この場合も、基準輝度信号G(x,y)の着目画素の信号値S(x,y)が「１８８」と高いので、明るい領域のコントラストが強くなるようなトーンカーブとなっている。
【００６４】
図２に戻って、色差信号処理部１５８は、入力輝度信号IY(x,y)から出力輝度信号OY(x,y)を得たのに伴って、入力青色差信号ICb(x,y)から出力青色差信号OCb(x,y)を得る。また、色差信号処理部１５８は、入力輝度信号IY(x,y)から出力輝度信号OY(x,y)を得たのに伴って、入力赤色差信号ICr(x,y)から出力赤色差信号OCr(x,y)を得る。色差信号処理部１５８は、（２）、（３）式に示すように、色差信号ICb(x,y)，ICr(x,y)を、出力輝度信号OY(x,y)の入力輝度信号IY(x,y)に対する増減率と同率で増減して、色差信号OCb(x,y)，OCr(x,y)を得る。これにより、色が薄くなる、あるいは色が濃くなることを防止できる。
【００６５】
OCb(x,y)＝ICb(x,y)×（OY(x,y)／IY(x,y)） ・・・（２）
OCr(x,y)＝ICr(x,y)×（OY(x,y)／IY(x,y)） ・・・（３）
【００６６】
図２に示す階調補正部１５０の動作を説明する。入力輝度信号IY(x,y)は高（High）成分画像生成部１５１に供給される。この高成分画像生成部１５１では、入力輝度信号IY(x,y)に基づいて、高成分輝度信号IH(x,y)が生成される。この場合、高成分輝度信号IH(x,y)の各画素の信号値は、入力輝度信号IY(x,y)の各画素の信号値が基準値Ｔ（例えば、ダイナミックレンジの中央値）より大きいときは、当該入力輝度信号IY(x,y)の各画素の信号値とされる。また、この場合、この高成分輝度信号IH(x,y)の着目画素の信号値は、入力輝度信号IY(x,y)の各画素の信号値が基準値Ｔ以下のときは、第１の値（例えば、基準値Ｔ）とされる。
【００６７】
この高成分画像生成部１５１で生成された高成分輝度信号IH(x,y)はローパスフィルタ１５２に供給される。このローパスフィルタ１５２では、高成分輝度信号IH(x,y)に対して、第１のカットオフ周波数のローパスフィルタ処理が行われ、高成分平滑化輝度信号GH(x,y)が得られる。この高成分平滑化輝度信号GH(x,y)は、高成分輝度信号IH(x,y)に対してオブジェクトの輪郭も分からなくなる程度の強いローパスフィルタ処理が施されたものとなる。
【００６８】
また、入力輝度信号IY(x,y)は低（Low）成分画像生成部１５３に供給される。この低成分画像生成部１５３では、入力輝度信号IY(x,y)に基づいて、低成分輝度信号IL(x,y)が生成される。この場合、低成分輝度信号IL(x,y)の各画素の信号値は、入力輝度信号IY(x,y)の各画素の信号値が基準値Ｔ以下のときは、当該入力輝度信号IY(x,y)の各画素の信号値とされる。また、この場合、この低成分輝度信号IL(x,y)の着目画素の信号値は、入力輝度信号IY(x,y)の各画素の信号値が基準値Ｔより大きいときは、第２の値（例えば、基準値Ｔ）とされる。
【００６９】
この低成分画像生成部１５３で生成された低成分輝度信号IL(x,y)はローパスフィルタ１５４に供給される。このローパスフィルタ１５４では、低成分輝度信号IL(x,y)に対して、第１のカットオフ周波数のローパスフィルタ処理が行われ、低成分平滑化輝度信号GL(x,y)が得られる。この低成分平滑化輝度信号GL(x,y)は、低成分輝度信号IL(x,y)に対してオブジェクトの輪郭も分からなくなる程度の強いローパスフィルタ処理が施されたものとなる。
【００７０】
また、入力輝度信号IY(x,y)はローパスフィルタ１５５に供給される。このローパスフィルタ１５５では、入力輝度信号IY(x,y)に対して、第２のカットオフ周波数のローパスフィルタ処理が行われて、入力平滑化輝度信号L(x,y)が得られる。この入力平滑化輝度信号L(x,y)は、入力輝度信号IY(x,y)に対してオブジェクトの輪郭が分かる程度の弱いローパスフィルタ処理が施されたものとなる。
【００７１】
ローパスフィルタ１５２，１５４，１５５で得られた高成分平滑化輝度信号GH(x,y)、低成分平滑化輝度信号GL(x,y)、入力平滑化輝度信号L(x,y)は基準画像生成部１５６に供給される。この基準画像生成部１５６では、輝度信号GH(x,y)、輝度信号GL(x,y)のそれぞれの各画素の信号値に対し、輝度信号L(x,y)の各画素の信号値に基づいた合成処理または選択処理が施されて、基準輝度信号G(x,y)が生成される。この基準輝度信号G(x,y)は、輪郭を保持しながら高周波成分を除去した、つまり領域毎に高周波成分を除去した輝度信号となる。
【００７２】
また、入力輝度信号IY(x,y)は輝度信号処理部１５７に供給される。この輝度信号処理部１５７には、基準画像生成部１５６で得られた基準輝度信号G(x,y)も供給される。輝度信号処理部１５７では、入力輝度信号IY(x,y)に対して階調補正処理が行われて、出力輝度信号OY(x,y)が得られる。
【００７３】
この場合、出力輝度信号OY(x,y)の各画素の信号値は、基準輝度信号G(x,y)の各画素の信号値に応じたトーンカーブ（階調変換カーブ）により、入力輝度信号IY(x,y)の各画素の信号値が変換されて得られる。この出力輝度信号OY(x,y)は、暗い領域では明るくされ、また、明るい領域ではコントラストが強くされたものとなる。そのため、入力輝度信号IY(x,y)が逆光や暗い環境で撮像されたものであっても、出力輝度信号OY(x,y)による画像は視認性の高い画像となる。
【００７４】
また、入力青色差信号ICb(x,y)および入力赤色差信号ICr(x,y)は、色差信号処理部１５８に供給される。この色差信号処理部１５８には、さらに、輝度信号処理部１５７から、出力輝度信号OY(x,y)の入力輝度信号IY(x,y)に対する増減率を示す信号OY(x,y)／IY(x,y)が供給される。
【００７５】
この色差信号処理部１５８では、入力色差信号ICb(x,y)，ICr(x,y)が、出力輝度信号OY(x,y)の入力輝度信号IY(x,y)に対する増減率と同率で増減されて、出力色差信号OCb(x,y)，OCr(x,y)が生成される。これにより、入力輝度信号IY(x,y)が出力輝度信号OY(x,y)に変換されても、色が薄くなる、あるいは色が濃くなるということが防止される。
【００７６】
以上説明したように、図１に示す撮像装置１００のデジタル信号処理部１１７に備えられている階調補正部１５０においては、輪郭を保持しながら高周波成分を除去した、つまり領域毎に高周波成分を除去した基準輝度信号G(x,y)が生成される。そして、入力輝度信号IY(x,y)の各画素の信号値は、この基準画像信号G(x,y)の各画素の信号値に応じたトーンカーブを用いて変換されて、出力輝度信号OY(x,y)が得られる。そのため、出力画像は、入力画像の暗い領域は明るくなるように階調変換され、また、入力画像の明るい領域はコントラストが強くなるように階調変換されたものとなる。従って、演算量の少ない単純な処理で、逆光や暗い環境でも視認性の高い画像を得ることが可能となる。
【００７７】
図８は、入力輝度信号IY(x,y)、基準輝度信号G(x,y)および出力輝度信号OY(x,y)による画像の一例を示している。図８（ａ）は、入力輝度信号IY(x,y)による画像（入力画像）を示しており、被写体である「鳥」が暗くなっている。図８（ｂ）は、基準輝度信号G(x,y)による画像（基準画像）を示しており、「鳥」の輪郭は残っているが、「鳥」の内部の細かな模様はなくなっている。図８（ｃ）は、出力輝度信号OY(x,y)による画像（出力画像）を示しており、入力輝度信号IY(x,y)による画像では暗くなっていた「鳥」が明るくなり、視認性が高くなっている。
【００７８】
また、この階調補正部１５０においては、入力色差信号ICb(x,y)，ICr(x,y)が、出力輝度信号OY(x,y)の入力輝度信号IY(x,y)に対する増減率と同率で増減されて、出力色差信号OCb(x,y)，OCr(x,y)が生成される。従って、入力輝度信号IY(x,y)が出力輝度信号OY(x,y)に変換されても、色が薄くなる、あるいは色が濃くなるということが防止される。
【００７９】
＜２．変形例＞
［階調補正部の他の構成例］
なお、上述実施の形態において、図２に示す階調補正部１５０は輝度信号および色差信号に対して階調補正処理を行う例であるが、赤、緑、青の色信号に対して階調補正処理を行う例も考えられる。
【００８０】
図９は、赤、緑、青の色信号に対して階調補正処理を行う階調補正部１５０Ａの構成例を示している。この階調補正部１５０Ａは、赤色信号に対して階調補正処理を行う赤色階調補正部１５０ｒと、緑色信号に対して階調補正処理を行う緑色階調補正部１５０ｇと、青色信号に対して階調補正処理を行う青色階調補正部１５０ｂとを備えている。
【００８１】
赤色階調補正部１５０ｒは、高（High）成分画像生成部１５１ｒと、ローパスフィルタ１５２ｒ，１５４ｒ，１５５ｒと、低（Low）成分画像生成部１５３ｒと、基準画像生成部１５６ｒと、赤色信号処理部１５７ｒを有している。詳細説明は省略するが、これらは、図２の階調補正部１５０の高成分画像生成部１５１、ローパスフィルタ１５２，１５４，１５５、低成分画像生成部１５３、基準画像生成部１５６および輝度信号処理部１５７に相当している。
【００８２】
入力赤色信号IR(x,y)が処理されて、基準画像生成部１５６ｒからは、基準赤色信号G(x,y)が生成される。この基準赤色信号G(x,y)は、輪郭を保持しながら高周波成分を除去した、つまり領域毎に高周波成分を除去した赤色信号となる。そして、赤色信号処理部１５７ｒでは、入力赤色信号IR(x,y)に対して階調補正処理が行われて、出力赤色信号OR(x,y)が得られる。
【００８３】
この場合、出力赤色信号OR(x,y)の各画素の信号値は、基準赤色信号G(x,y)の各画素の信号値に応じたトーンカーブ（階調変換カーブ）により、入力赤色信号IR(x,y)の各画素の信号値が変換されて得られる。この出力赤色信号OR(x,y)は、上述の図２における出力輝度信号OY(x,y)と同様に、暗い領域では明るくされ、また、明るい領域ではコントラストが強くされたものとなる。そのため、入力赤色信号IR(x,y)が逆光や暗い環境で撮像されたものであっても、出力赤色信号OR(x,y)による画像は視認性の高い画像となる。
【００８４】
緑色階調補正部１５０ｇ、青色階調補正部１５０ｂは、上述の赤色階調補正部１５０ｒと同様に構成されている。補正部１５０ｇ，１５０ｂでは、入力緑色信号IG(x,y)、入力青色信号IB(x,y)に対して階調変換処理が施され、上述の出力赤色信号OR(x,y)と同様の、出力緑色信号OG(x,y)、出力青色信号OB(x,y)が得られる。
【００８５】
［コンピュータ装置による構成例］
また、上述の図２に示す階調補正部１５０は、ハードウェアで階調補正処理を行うものを示したが、同様の処理をソフトウェアで行うこともできる。図１０は、ソフトウェアで処理を行うコンピュータ装置１５０Ｂの構成例を示している。コンピュータ装置１５０Ｂは、ＣＰＵ１８１、ＲＯＭ１８２、ＲＡＭ１８３、データ入出力部（データＩ／Ｏ）１８４および画像メモリ１８５を有している。
【００８６】
ＲＯＭ１８２には、ＣＰＵ１８１の処理プログラムが格納されている。ＲＡＭ１８３は、ＣＰＵ１８１のワークエリアとして機能する。ＣＰＵ１８１は、ＲＯＭ１８２に格納されている処理プログラムを必要に応じて読み出し、読み出した処理プログラムをＲＡＭ１８３に転送して展開し、当該展開された処理プログラムを読み出して、階調補正処理を実行する。この処理プログラムは、コンピュータ装置１５０Ｂに、図２に示す階調補正部１５０の各部と同様の機能を持たせるためのプログラムである。
【００８７】
このコンピュータ装置１５０Ｂにおいては、入力輝度信号IY(x,Y)、入力色差信号ICb(x,y),ICr(x,y)は、データＩ／Ｏ１８４を介して入力され、画像メモリ１８５に蓄積される。この画像メモリ１８５に蓄積された各信号に対して、ＣＰＵ１８１により、階調補正処理が実行される。
【００８８】
そして、処理後に得られる出力輝度信号OY(x,Y)、出力色差信号OCb(x,y)，OCr(x,y)は、画像メモリ１８５からデータＩ／Ｏ１８４を介して外部に出力される。
【００８９】
図１１のフローチャートは、ＣＰＵ１８１による階調補正処理の処理手順を示している。なお、このフローチャートは、例えば、１画面の画像データの処理に対応しており、当該処理が各画面の画像データに対して順次行われる。
【００９０】
ＣＰＵ１８１は、まず、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、ＣＰＵ１８１は、データ入出力部１８４を通じて入力輝度信号IY(x,Y)、入力色差信号ICb(x,y),ICr(x,y)を入力し、画像メモリ１８５に蓄積する。
【００９１】
次に、ＣＰＵ１８１は、ステップＳＴ３において、入力輝度信号IY(x,y)に基づいて、高成分輝度信号IH(x,y)を生成する。このステップＳＴ３の処理は、図２の階調補正部１５０の高（High）成分画像生成部１５１の処理に相当する。ＣＰＵ１８１は、輝度信号IH(x,y)の各画素の信号値を、入力輝度信号IY(x,y)の各画素の信号値が基準値Ｔ（例えば、ダイナミックレンジの中央値）より大きいとき、当該入力輝度信号IY(x,y)の各画素の信号値とする。また、ＣＰＵ１８１は、輝度信号IH(x,y)の着目画素の信号値を、入力輝度信号IY(x,y)の各画素の信号値が基準値Ｔ以下のときは、第１の値（例えば、基準値Ｔ）とする。
【００９２】
次に、ＣＰＵ１８１は、ステップＳＴ４において、入力輝度信号IY(x,y)に基づいて、低成分輝度信号IL(x,y)を生成する。このステップＳＴ４の処理は、図２の階調補正部１５０の低（Low）成分画像生成部１５３の処理に相当する。この場合、ＣＰＵ１８１は、低成分輝度信号IL(x,y)の各画素の信号値を、入力輝度信号IY(x,y)の各画素の信号値が基準値Ｔ以下のときは、当該入力輝度信号IY(x,y)の各画素の信号値とする。また、この場合、ＣＰＵ１８１は、低成分輝度信号IL(x,y)の着目画素の信号値を、入力輝度信号IY(x,y)の各画素の信号値が基準値Ｔより大きいときは、第２の値（例えば、基準値Ｔ）とする。
【００９３】
次に、ＣＰＵ１８１は、ステップＳＴ５において、ステップＳＴ３で生成された高成分輝度信号IH(x,y)に基づいて、高成分平滑化輝度信号GH(x,y)を生成する。このステップＳＴ５の処理は、図２の階調補正部１５０のローパスフィルタ１５２の処理に相当する。この場合、ＣＰＵ１８１は、高成分輝度信号IH(x,y)に対して、第１のカットオフ周波数のローパスフィルタ処理、つまりオブジェクトの輪郭も分からなくなる程度の強いローパスフィルタ処理を施す。
【００９４】
次に、ＣＰＵ１８１は、ステップＳＴ６において、ステップＳＴ４で生成された低成分輝度信号IL(x,y)に基づいて、低成分平滑化輝度信号GL(x,y)を生成する。このステップＳＴ６の処理は、図２の階調補正部１５０のローパスフィルタ１５４の処理に相当する。この場合、ＣＰＵ１８１は、低成分輝度信号IL(x,y)に対して、第１のカットオフ周波数のローパスフィルタ処理、つまりオブジェクトの輪郭も分からなくなる程度の強いローパスフィルタ処理を施す。
【００９５】
次に、ＣＰＵ１８１は、ステップＳＴ７において、入力輝度信号IY(x,y)に基づいて、入力平滑化輝度信号L(x,y)を生成する。このステップＳＴ７の処理は、図２の階調補正部１５０のローパスフィルタ１５５の処理に相当する。この場合、ＣＰＵ１８１は、入力輝度信号IY(x,y)に対して、第２のカットオフ周波数のローパスフィルタ処理、つまりオブジェクトの輪郭が分かる程度の弱いローパスフィルタ処理を施す。
【００９６】
次に、ＣＰＵ１８１は、ステップＳＴ８において、ステップＳＴ５の高成分平滑化輝度信号GH(x,y)、ステップＳＴ６の低成分平滑化輝度信号GL(x,y)、ステップＳＴ７の入力平滑化輝度信号L(x,y)に基づき、基準輝度信号G(x,y)を生成する。このステップＳＴ８の処理は、図２の階調補正部１５０の基準画像生成部１５６の処理に相当する。
【００９７】
この場合、ＣＰＵ１８１は、輝度信号GH(x,y)、輝度信号GL(x,y)のそれぞれの各画素の信号値に対し、輝度信号L(x,y)の各画素の信号値に基づいた合成処理または選択処理を施して、基準輝度信号G(x,y)を生成する。この基準輝度信号G(x,y)は、輪郭を保持しながら高周波成分を除去した、つまり領域毎に高周波成分を除去した輝度信号となる。
【００９８】
次に、ＣＰＵ１８１は、ステップＳＴ９において、入力輝度信号IY(x,y)に対して、ステップＳＴ８で得られた基準輝度信号G(x,y)に基づいたトーンカーブ（階調変換カーブ）を用いた階調補正処理を行って、出力輝度信号OY(x,y)を得る。このステップＳＴ９の処理は、図２の階調補正部１５０の輝度信号処理部１５７の処理に相当する。
【００９９】
この場合、ＣＰＵ１８１は、出力輝度信号OY(x,y)の各画素の信号値を、基準輝度信号G(x,y)の各画素の信号値に応じたトーンカーブにより、入力輝度信号IY(x,y)の各画素の信号値を変換して得る。この出力輝度信号OY(x,y)は、暗い領域では明るくされ、また、明るい領域ではコントラストが強くされたものとなる。そのため、入力輝度信号IY(x,y)が逆光や暗い環境で撮像されたものであっても、出力輝度信号OY(x,y)による画像は視認性の高い画像となる。
【０１００】
また、ＣＰＵ１８１は、ステップＳＴ９において、入力色差信号ICb(x,y)，ICr(x,y)を、出力輝度信号OY(x,y)の入力輝度信号IY(x,y)に対する増減率と同率で増減して、出力色差信号OCb(x,y)，OCr(x,y)を得る。これにより、入力輝度信号IY(x,y)が出力輝度信号OY(x,y)に変換されても、色が薄くなる、あるいは色が濃くなるということが防止される。このステップＳＴ９の処理は、図２の階調補正部１５０の色差信号処理部１５８の処理に相当する。
【０１０１】
次に、ＣＰＵ１８１は、ステップＳＴ１０において、画像メモリ１８５に蓄積されている出力輝度信号OY(x,y)、色差信号OCb(x,y),OCr(x,y)を、データ入出力部１８４を通じて出力する。そして、ＣＰＵ１８１は、ステップＳＴ１０の処理の後、ステップＳＴ１１において、一連の処理を終了する。
【０１０２】
［その他］
また、上述実施の形態において、基準画像信号（基準輝度信号G(x,y)等）は、階調補正を行うために使用されているが、この基準画像信号を、特殊効果画像を得るための画像信号として用いることもできる。すなわち、図２の階調補正部１５０における高（High）成分画像生成部１５１、ローパスフィルタ１５２，１５４，１５５、低（Low）成分画像生成部１５３および基準画像生成部１５６を、特殊効果画像を得るための画像処理装置等として使用できる。
【０１０３】
また、上述実施の形態においては、階調補正部１５０，１５０Ａを備えた撮像装置１００を示したが、同様の階調補正部を、テレビ受信機等の画像表示装置に備えて、入力画像得信号の階調補正を行うこともできる。
【産業上の利用可能性】
【０１０４】
この発明は、演算量の少ない単純な処理で逆光や暗い環境でも視認性の高い画像を得ることができるものであり、撮像装置、画像表示装置等に適用できる。
【図面の簡単な説明】
【０１０５】
【図１】この発明の実施の形態としての撮像装置の構成例を示すブロック図である。
【図２】撮像装置のデジタル信号処理部が備える階調補正部の構成例を示すブロック図である。
【図３】入力輝度信号IY(x,y)、高成分輝度信号IH(x,y)、低成分輝度信号IL(x,y)の具体例を示す図である。
【図４】トーンカーブ（S(x,y)＝６７の場合）の一例を示す図である。
【図５】トーンカーブ（S(x,y)＝６７の場合）の他の例（直線近似）を示す図である。
【図６】トーンカーブ（S(x,y)＝１８８の場合）の一例を示す図である。
【図７】トーンカーブ（S(x,y)＝１８８の場合）の他の例（直線近似）を示す図である。
【図８】入力輝度信号IY(x,y)、基準輝度信号G(x,y)および出力輝度信号OY(x,y)による画像の一例を示す図である。
【図９】撮像装置のデジタル信号処理部が備える階調補正部の他の構成例を示すブロック図である。
【図１０】ソフトウェアで階調補正の処理を行うコンピュータ装置の構成例を示すブロック図である。
【図１１】コンピュータ装置を構成するＣＰＵによる階調補正処理の処理手順を示すフローチャートである。
【符号の説明】
【０１０６】
１００・・・撮像装置
１０１・・・ＣＰＵ
１０２・・・ＲＯＭ
１０３・・・ＲＡＭ
１０４・・・入力デバイス
１０５・・・バス
１１１・・・撮像レンズ
１１２・・・アイリス
１１３・・・撮像素子
１１４・・・アイリス制御部
１１５・・・ＣＤＳ回路
１１６・・・Ａ／Ｄ変換部
１１７・・・デジタル信号処理部
１１８・・・タイミングジェネレータ
１１９・・・記録再生部
１２０・・・表示部
１２１・・・記録媒体
１５０，１５０Ａ・・・階調補正部
１５０Ｂ・・・コンピュータ装置
１５０ｒ・・・赤色階調補正部
１５０ｇ・・・緑色階調補正部
１５０ｂ・・・青色階調補正部
１５１，１５１ｒ・・・高（Higｈ）成分画像生成部
１５２，１５２ｒ，１５４，１５４ｒ，１５５，１５５ｒ・・・ローパスフィルタ
１５３，１５３ｒ・・・低（Low）成分画像生成部
１５６，１５６ｒ・・・基準画像生成部
１５７・・・輝度信号処理部
１５７ｒ・・・赤色信号処理部
１５８・・・色差信号処理部
【技術分野】
【０００１】
この発明は、階調補正装置、階調補正方法、プログラム、撮像装置および画像処理装置に関する。詳しくは、この発明は、輪郭を保持しながら高周波成分を除去した基準画像信号を生成し、入力画像信号の各画素の信号値をこの基準画像信号の各画素の信号値に応じたトーンカーブを用いて変換して出力画像信号を得ることにより、演算量の少ない単純な処理で逆光や暗い環境でも視認性の高い画像を得ることができるようにした階調補正装置等に関する。
【背景技術】
【０００２】
近年、デジタルカメラなどのデジタル撮像機器が普及してきている。デジタルカメラで撮像する場合には、逆光環境下では、撮像画像において、周囲に比べて人物の顔が暗くなってしまうことがある。また、例えば、監視システムにおいて、夜間の暗い環境下で撮像した場合に、人物の顔が暗くなってしまうことがある。
【０００３】
従来、この種の問題を解決するために、トーンカーブ（階調変換カーブ）を用いて階調補正を行うことが知られている。トーンカーブは、例えば、周知のヒストグラム均等法により、ヒストグラムの分布が多い階調の画像のコントラストを強調するように求められる。
【０００４】
画像全体で一つのトーンカーブを用いて階調補正を行う場合、画像内に明るい領域と暗い領域が混在していると、明暗それぞれの領域にそれぞれ割り当てる階調が不足することから、黒つぶれや白飛びなどの細部が消失する現象が発生することがある。
【０００５】
そこで、従来、画像のオブジェクトを識別して領域分割し、それぞれ個別にトーンカーブを設定して階調補正を行うことが考えられている（例えば、特許文献１参照）。
【特許文献１】特開２００１−１１８０６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述したように画像のオブジェクトを識別して領域分割し、それぞれ個別にトーンカーブを設定して階調補正を行う場合には、画像内に明暗の領域が混在している場合であっても、黒つぶれや白飛びの発生を抑制でき、視認性の高い画像を得ることができる。しかし、画像のオブジェクトを識別して、オブジェクト毎に領域分割を行うことが必要であることから、複雑なアルゴリズムで高負荷な演算が必要となる。
【０００７】
この発明の目的は、演算量の少ない単純な処理で逆光や暗い環境でも視認性の高い画像を得ることにある。
【課題を解決するための手段】
【０００８】
この発明の概念は、
画像の各画素を順次着目画素とし、着目画素の信号値として、入力画像信号を構成する着目画素の信号値が基準値より大きいときは該入力画像信号の着目画素の信号値を配置し、上記入力画像信号を構成する着目画素の信号値が上記基準値以下のときは第１の値を配置し、高成分画像信号を生成する高成分画像生成部と、
上記高成分画像生成部で生成された高成分画像信号に対して第１のカットオフ周波数のローパスフィルタ処理を行って高成分平滑化画像信号を生成する高成分平滑化画像生成部と、
画像の各画素を順次着目画素とし、着目画素の信号値として、上記入力画像信号を構成する着目画素の信号値が上記基準値以下のときは該入力画像信号の着目画素の信号値を配置し、上記入力画像信号を構成する着目画素の信号値が上記基準値より大きいときは上記第１の値と同じあるいは異なる第２の値を配置し、低成分画像信号を生成する低成分画像生成部と、
上記低成分画像生成部で生成された低成分画像信号に対して上記第１のカットオフ周波数のローパスフィルタ処理を行って低成分平滑化画像信号を生成する低成分平滑化画像生成部と、
上記入力画像信号に対して、上記第１のカットオフ周波数より低い第２のカットオフ周波数のローパスフィルタ処理を行って入力平滑化画像信号を生成する入力平滑化画像生成部と、
各画素を順次着目画素として、着目画素の信号値を、上記高成分平滑化画像生成部で生成された高成分平滑化画像信号を構成する該着目画素の信号値および上記低成分平滑化画像生成部で生成された低成分平滑化画像信号を構成する該着目画素の信号値に対して、入力平滑化画像生成部で生成された入力平滑化画像信号を構成する該着目画素の信号値に基づいた合成処理または選択処理を行って求めて、基準画像信号を生成する基準画像生成部と、
画像の各画素を順次着目画素とし、着目画素の信号値を、上記基準画像生成部で生成された基準画像信号を構成する該着目画素の信号値に応じたトーンカーブを用いて、上記入力画像信号の該着目画素の信号値を変換して求めて、出力画像信号を得る信号処理部
を備える階調補正装置にある。
【０００９】
この発明において、高成分画像生成部により、高成分画像信号が生成される。この高成分画像信号を構成する各画素の信号値は、画像の各画素を順次着目画素として、入力画像信号に基づいて、以下のように決定される。すなわち、高成分画像信号の着目画素の信号値は、入力画像信号を構成する着目画素の信号値が基準値より大きいときは、当該入力画像信号の着目画素の信号値とされる。また、この高成分画像信号の着目画素の信号値は、入力画像信号を構成する着目画素の信号値が基準値以下のときは、第１の値とされる。
【００１０】
また、低成分画像生成部により、低成分画像信号が生成される。この低成分画像信号を構成する各画素の信号値は、画像の各画素を順次着目画素として、入力画像信号に基づいて、以下のように決定される。すなわち、低成分画像信号の着目画素の信号値は、入力画像信号を構成する着目画素の信号値が基準値以下のときは、当該入力画像信号の着目画素の信号値とされる。また、この低成分画像信号の着目画素の信号値は、入力画像信号を構成する着目画素の信号値が基準値より大きいときは、第２の値とされる。
【００１１】
例えば、基準値は入力画像信号のダイナミックレンジの中央値とされる。また、例えば、第１の値、第２の値は、基準値あるいはその前後の値とされる。第１の値と第２の値とは、同じ値でもよく、あるいは異なっていてもよい。
【００１２】
また、高成分平滑化画像生成部により、高成分画像生成部で生成された高成分画像信号に対して、第１のカットオフ周波数のローパスフィルタ処理が行われて、高成分平滑化画像信号が生成される。また、低成分平滑化画像生成部により、低成分画像生成部で生成された低成分画像信号に対して、第１のカットオフ周波数のローパスフィルタ処理が行われて、低成分平滑化画像信号が生成される。ここで、第１のカットオフ周波数のローパスフィルタ処理は、オブジェクトの輪郭も分からなくなる程度の強いローパスフィルタ処理とされる。
【００１３】
また、入力平滑化画像生成部により、入力画像信号に対して、第２のカットオフ周波数のローパスフィルタ処理が行われて、入力平滑化画像信号が生成される。ここで、第２のカットオフ周波数は上述の第１のカットオフ周波数より高くされる。この第２のカットオフ周波数のローパスフィルタ処理は、オブジェクトの輪郭が分かる程度の弱いローパスフィルタ処理とされる。
【００１４】
また、基準画像生成部により、輪郭を保持しながら高周波成分を除去した基準画像信号が生成される。この基準画像信号を構成する各画素の信号値は、画像の各画素を順次着目画素として、以下のように求められる。すなわち、基準画像信号の着目画素の信号値は、上述の高成分平滑化画像信号、低成分平滑化画像信号のそれぞれの着目画素の信号値に対して、上述の入力平滑化画像信号の着目画素の信号値に基づいた合成処理または選択処理が行われることで、求められる。
【００１５】
例えば、高成分平滑化画像信号の着目画素の信号値を第１の信号値とし、低成分平滑化画像信号の着目画素の信号値を第２の信号値とし、入力平滑化画像信号の着目画素の信号値を第３の信号値とするとき、第３の信号値が小さくなる程第２の信号値の割合が大きくなるように、合成処理が行われる。また、例えば、高成分平滑化画像信号の着目画素の信号値を第１の信号値とし、低成分平滑化画像信号の着目画素の信号値を第２の信号値とし、入力平滑化画像信号の着目画素の信号値を第３の信号値とするとき、第１の信号値および第２の信号値のうち第３の信号値に近い方の値を選択する、選択処理が行われる。
【００１６】
また、信号処理部により、入力画像信号に対して階調補正処理が行われて、出力画像信号が得られる。出力画像信号を構成する各画素の信号値は、画像の各画素を順次着目画素として、入力画像信号に基づいて、以下のように求められる。すなわち、出力画像信号の着目画素の信号値は、上述の基準画像信号の着目画素の信号値に応じたトーンカーブ（階調変換カーブ）を用いて、入力画像信号の着目画素の信号値が変換されて得られる。着目画素で使用されるトーンカーブは、例えば、基準画像信号の着目画素の信号値と同じ信号値が入力されるとき入力画像信号のダイナミックレンジの中央値と同じ信号値を出力するものとされる。
【００１７】
上述したように、この発明においては、輪郭を保持しながら高周波成分を除去した基準画像信号が生成される。そして、入力画像信号の各画素の信号値が、この基準画像信号の各画素の信号値に応じたトーンカーブを用いて変換されて、出力画像信号が得られる。そのため、出力画像は、入力画像の暗い領域は明るくなるように階調変換され、また、入力画像の明るい領域はコントラストが強くなるように階調変換されたものとなる。これにより、演算量の少ない単純な処理で逆光や暗い環境でも視認性の高い画像を得ることが可能となる。
【発明の効果】
【００１８】
この発明によれば、輪郭を保持しながら高周波成分を除去した基準画像信号を生成し、入力画像信号の各画素の信号値をこの基準画像信号の各画素の信号値に応じたトーンカーブを用いて変換して出力画像信号を得るものであり、演算量の少ない単純な処理で逆光や暗い環境でも視認性の高い画像を得ることができる。
【発明を実施するための最良の形態】
【００１９】
以下、発明を実施するための最良の形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００２０】
＜１．実施の形態＞
［撮像装置の構成例］
図１は、実施の形態としての撮像装置（デジタルカメラ）１００の構成例を示している。撮像装置１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read OnlyMemory）１０２、ＲＡＭ（Random Access Memory）１０３、入力デバイス（ユーザ操作部）１０４を有している。
【００２１】
また、撮像装置１００は、撮像レンズ１１１、アイリス１１２、撮像素子１１３、アイリス制御部１１４、ＣＤＳ(Correlated Double Sampling)回路１１５、Ａ／Ｄ(Analog/Digital)変換部１１６を有している。また、撮像装置１００は、デジタル信号処理部（ＤＳＰ：Digital Signal Processor）１１７、タイミングジェネレータ１１８、記録再生部１１９、表示部１２０を有している。
【００２２】
ＣＰＵ１０１は、撮像装置１００の各部を制御する。ＲＯＭ１０２は、ＣＰＵ１０１の制御プログラム等を記憶している。ＲＡＭ１０３は、ＣＰＵ１０１の制御処理に必要なデータの一時記憶等に用いられる。ＣＰＵ１０１は、ＲＯＭ１０２から読み出したプログラムやデータをＲＡＭ１０３上に展開してプログラムを起動し、撮像装置１００の各部を制御する。
【００２３】
入力デバイス（ユーザ操作部）１０４は、ユーザインタフェースを構成し、バス１０５を介してＣＰＵ１０１に接続されている。この入力デバイス１０４は、撮像装置１００の図示しない筐体面に配置されたキー、ボタン、ダイヤル等で構成される。ＣＰＵ１０１は、入力デバイス１０４からバス１０５を介して入力される情報の解析を行って、撮影者（ユーザ）の操作に対応した制御を行う。
【００２４】
被写体２００からの光は、光学系、つまり、撮像レンズ１１１およびアイリス１１２を通過して、撮像素子１１３に入射する。この場合、被写体２００からの光は撮像レンズ１１１により集光され、アイリス１１２により集光された光の一部だけが撮像素子１１３に到達する。アイリス１１２の絞りは、アイリス制御部１１４により制御される。撮像素子１１３は、例えば、ＣＣＤ(Charge Coupled Device)イメージセンサ、ＣＭＯＳ(ComplementaryMetal Oxide Semiconductor）イメージセンサ等で構成される。撮像素子１１３は、撮像面に被写体の光学像が結像された状態で撮像処理を行って、撮像画像信号を出力する。
【００２５】
ＣＤＳ回路１１５は、撮像素子１１３から供給される撮像画像信号を、相関二重サンプリングによりノイズ成分を除去した後、Ａ／Ｄ変換部１１６に供給する。Ａ／Ｄ変換部１１６は、ＣＤＳ回路１１５から供給される撮像画像信号をアナログ信号からデジタル信号に変換した後、デジタル信号処理部１１７に供給する。
【００２６】
デジタル信号処理部１１７は、Ａ／Ｄ変換部１１６から供給される撮像画像信号に対して画像処理を行う。ここでいう画像処理は、ホワイトバランス処理、ガンマ補正処理などである。これら処理は、全ての汎用デジタルカメラで行われる処理なので、その詳細を省略する。
【００２７】
この実施の形態において、デジタル信号処理部１１７は、さらに、階調補正処理を行う階調補正部１５０を備えている。この階調補正処理は、逆光や暗い環境においても視認性の高い画像を得ることを可能とする処理である。階調補正部１５０の詳細については、後述する。
【００２８】
デジタル信号処理部１１７は、処理後の画像データを、表示部１２０および記録再生部１１９に転送する。記録再生部１１９は、主にフラッシュメモリからなる着脱自在な記録媒体１２１に、ユーザのシャッター操作に対応した静止画像データを書き込み、あるいは、この記録媒体から静止画像データを読み出す。表示部１２０は、例えば、撮像装置１００の筐体背面等に設けられるＬＣＤ（Liquid Crystal Display）等の表示パネルで構成される。この表示部１２０は、撮影した画像、記録再生部１１９で記録媒体１２１から読み出した画像、さらには、ユーザに対する各種情報等を表示する。
【００２９】
次に、図１に示す撮像装置１００の動作について説明する。撮像装置１００は、記録モード時には、以下の動作をする。撮像素子１１３で撮像処理が行われて得られた撮像画像信号は、ＣＤＳ回路１１５およびＡ／Ｄ変換部１１６を介してデジタル信号処理部１１７に供給される。このデジタル信号処理部１１７で、ホワイトバランス処理、ガンマ補正処理、階調補正処理等が行われる。
【００３０】
デジタル信号処理部１１７で処理されて得られた画像データは、表示部１２０に転送される。これにより、表示部１２０には撮像画像が表示され、モニタリング状態となる。このモニタリング状態において、ユーザが入力デバイス１０４でシャッター操作を行うと、ＣＰＵ１０１によりデジタル信号処理部１１７および記録再生部１１９が制御され、記録媒体１２１にシャッター操作に対応した静止画像データが書き込まれる。
【００３１】
また、撮像装置１００は、再生モード時には、以下の動作をする。すなわち、記録再生部１１９では、記録媒体１２１から、ユーザの入力デバイス１０４の操作によって選択された静止画像データが読み出される。この静止画像データは、記録再生部１１９からデジタル信号処理部１１７を介して表示部１２０に供給される。これにより、表示部１２０には、再生画像が表示される。
【００３２】
［階調補正部の構成例］
次に、階調補正部１５０の詳細を説明する。図２は、階調補正部１５０の構成例を示している。この例は、輝度信号および色差信号に対して階調補正処理を行う例である。この階調補正部１５０は、高（High）成分画像生成部１５１と、ローパスフィルタ１５２，１５４，１５５と、低（Low）成分画像生成部１５３と、基準画像生成部１５６と、輝度信号処理部１５７と、色差信号処理部１５８を有している。
【００３３】
高成分画像生成部１５１は、入力輝度信号IY(x,y)から、高成分輝度信号IH(x,y)を生成する。この場合、高成分輝度信号IH(x,y)を構成する各画素の信号値は、画像の各画素を順次着目画素として、入力輝度信号IY(x,y)に基づき、以下のように決定される。すなわち、高成分輝度信号IH(x,y)の着目画素の信号値は、入力輝度信号IY(x,y)を構成する着目画素の信号値が基準値Ｔより大きいときは、当該入力輝度信号IY(x,y)の着目画素の信号値とされる。また、この高成分輝度信号IH(x,y)の着目画素の信号値は、入力輝度信号IY(x,y)を構成する着目画素の信号値が基準値Ｔ以下のときは、第１の値とされる。
【００３４】
ここで、基準値Ｔは、任意の値であり、例えば入力輝度信号IY(x,y)のダイナミックレンジの中央値とされる。例えば、入力輝度信号IY(x,y)が８ビットデータである場合、基準値Ｔは「１２８」とされる。また、第１の値は、例えば、基準値Ｔと同じ値とされる。しかし、この第１の値は、基準値Ｔと異なる値であってもよい。出力画像を明るくしたい場合には第１の値を低い値にすればよく、逆に出力画像を暗くしたい場合にはこの第１の値を高い値にすればよい。
【００３５】
低成分画像生成部１５３は、入力輝度信号IY(x,y)から、低成分輝度信号IL(x,y)を生成する。この場合、低成分輝度信号IL(x,y)を構成する各画素の信号値は、画像の各画素を順次着目画素として、入力輝度信号IY(x,y)に基づき、以下のように決定される。すなわち、低成分輝度信号IL(x,y)の着目画素の信号値は、入力輝度信号IY(x,y)を構成する着目画素の信号値が基準値Ｔ以下のときは、当該入力輝度信号IY(x,y)の着目画素の信号値とされる。また、この低成分輝度信号IL(x,y)の着目画素の信号値は、入力輝度信号IY(x,y)を構成する着目画素の信号値が基準値Ｔより大きいときは、第２の値とされる。
【００３６】
ここで、第２の値は、上述した第１の値と同様に、例えば、基準値Ｔと同じ値とされるが、基準値Ｔと異なる値であってもよい。出力画像を明るくしたい場合には第２の値を低い値にすればよく、逆に出力画像を暗くしたい場合にはこの第２の値を高い値にすればよい。また、この第２の値は、上述した第１の値と同じ値でなくてもよい。
【００３７】
図３は、入力輝度信号IY(x,y)、高成分輝度信号IH(x,y)、低成分輝度信号IL(x,y)の具体例を示している。この例は、基準値Ｔを「１２８」とし、さらに、第１の値および第２の値をそれぞれ基準値Ｔと同じ「１２８」とした場合の例である。
【００３８】
図３（ａ）に示すような入力輝度信号IY(x,y)に対し、図３（ｂ）に示すように高成分輝度信号IH(x,y)が生成される。この場合、入力輝度信号IY(x,y)における「２００」、「１９２」、「１８４」、「１３０」の画素信号値は、基準値Ｔ＝「１２８」より大きいので、そのまま、高成分輝度信号IH(x,y)の画素信号値となっている。一方、入力輝度信号IY(x,y)における「２００」、「１９２」、「１８４」、「１３０」以外の画素信号値は、基準値Ｔ＝「１２８」以下であるので、対応する高成分輝度信号IH(x,y)の画素信号値は「１２８」となっている。
【００３９】
また、図３（ａ）に示すような入力輝度信号IY(x,y)に対し、図３（ｃ）に示すように低成分輝度信号IL(x,y)が生成される。この場合、入力輝度信号IY(x,y)における「２００」、「１９２」、「１８４」、「１３０」の画素信号値は、基準値Ｔ＝「１２８」より大きいので、対応する低成分輝度信号IL(x,y)の画素信号値は「１２８」となっている。一方、入力輝度信号IY(x,y)における「２００」、「１９２」、「１８４」、「１３０」以外の画素信号値は、基準値Ｔ＝「１２８」以下であるので、そのまま、低成分輝度信号IL(x,y)の画素信号値となっている。
【００４０】
ローパスフィルタ１５２は、高成分画像生成部１５１で生成された高成分輝度信号IH(x,y)に対して、第１のカットオフ周波数のローパスフィルタ処理を行って、高成分平滑化輝度信号GH(x,y)を生成する。このローパスフィルタ１５２は、高成分平滑化画像生成部を構成している。
【００４１】
ここで、第１のカットオフ周波数のローパスフィルタ処理は、オブジェクトの輪郭も分からなくなる程度の強いローパスフィルタ処理とされる。ローパスフィルタ１５２は、高成分輝度信号IH(x,y)から、高成分平滑化輝度信号GH(x,y)を生成する。この場合、高成分平滑化輝度信号GH(x,y)を構成する各画素の信号値は、画像の各画素を順次着目画素として、高成分輝度信号IH(x,y)に基づき、例えば、以下のように決定される。
【００４２】
すなわち、高成分平滑化輝度信号GH(x,y)の着目画素の信号値は、高成分輝度信号IH(x,y)を構成する着目画素とこの着目画素の周辺の比較的広い範囲の画素の信号値がタップ入力とされ、それらが加算平均されて求められる。この場合、着目画素を含む比較的広い範囲は、例えば、１２８０×７２０［pels］の全体サイズにおいて、６４×４８［pels］とされる。
【００４３】
ローパスフィルタ１５４は、低成分画像生成部１５３で生成された低成分輝度信号IL(x,y)に対して、上述のローパスフィルタ１５２と同様に、第１のカットオフ周波数のローパスフィルタ処理を行って、低成分平滑化輝度信号GL(x,y)を生成する。このローパスフィルタ１５４は、低成分平滑化画像生成部を構成している。
【００４４】
ローパスフィルタ１５５は、入力輝度信号IY(x,y)に対して、第２のカットオフ周波数のローパスフィルタ処理を行って、入力平滑化輝度信号L(x,y)を生成する。ここで、第２のカットオフ周波数は、上述の第１のカットオフ周波数より高くされる。この第２のカットオフ周波数のローパスフィルタ処理は、オブジェクトの輪郭が分かる程度の弱いローパスフィルタ処理とされる。
【００４５】
ローパスフィルタ１５５は、入力輝度信号IY(x,y)から、入力平滑化輝度信号L(x,y)を生成する。このローパスフィルタ１５５は、入力平滑化画像生成部を構成している。この場合、入力平滑化輝度信号L(x,y))を構成する各画素の信号値は、画像の各画素を順次着目画素として、入力輝度信号IY(x,y)に基づき、例えば、以下のように決定される。
【００４６】
すなわち、入力平滑化輝度信号L(x,y))の着目画素の信号値は、入力輝度信号IY(x,y)を構成する着目画素とこの着目画素の周辺の比較的狭い範囲の画素の信号値がタップ入力とされ、それらが加算平均されて求められる。この場合、着目画素を含む比較的狭い範囲は、例えば、１２８０×７２０［pels］の全体サイズにおいて、５×５［pels］とされる。
【００４７】
基準画像生成部１５６は、ローパスフィルタ１５２，１５４，１５５でそれぞれ生成された高成分平滑化輝度信号GH(x,y)、低成分平滑化輝度信号GL(x,y)、入力平滑化輝度信号L(x,y)を用いて、基準輝度信号G(x,y)を生成する。この基準輝度信号G(x,y)は、輪郭を保持しながら高周波成分を除去した、つまり領域毎に高周波成分を除去した輝度信号となる。
【００４８】
この基準輝度信号G(x,y)を構成する各画素の信号値は、各画素を順次着目画素として、以下のように求められる。すなわち、基準輝度信号G(x,y)の着目画素の信号値は、輝度信号GH(x,y)、輝度信号GL(x,y)の着目画素の信号値に対し、輝度信号L(x,y)の着目画素の信号値に基づいた合成処理または選択処理で求められる。
【００４９】
例えば、高成分平滑化輝度信号GH(x,y)の着目画素の信号値を第１の信号値とし、低成分平滑化輝度信号GL(x,y)の着目画素の信号値を第２の信号値とし、入力平滑化輝度信号L(x,y)の着目画素の信号値を第３の信号値とする。このとき、第３の信号値が小さくなる程第２の信号値の割合が大きくなるように、第１の信号値および第２の信号値の合成処理が行われる。
【００５０】
この場合、基準輝度信号G(x,y)を着目画素の信号値をS(x,y)とし、第１の信号値をS1(x,y)とし、第２の信号値をS2(x,y)とし、第３の信号値をS3(x,y)とし、入力輝度信号IY(x,y)のダイナミックレンジをＤとする。このとき、例えば、（１）式が使用されて、合成処理が行われる。
【００５１】
S(x,y)
＝［S2(x,y)×｛Ｄ−S3(x,y)｝＋S1(x,y)×S3(x,y)］／Ｄ ・・（１）
【００５２】
また、例えば、高成分平滑化輝度信号GH(x,y)の着目画素の信号値を第１の信号値とし、低成分平滑化輝度信号GL(x,y)の着目画素の信号値を第２の信号値とし、入力平滑化輝度信号L(x,y)の着目画素の信号値を第３の信号値とする。このとき、第１の信号値および第２の信号値のうち第３の信号値に近い方の値を選択するように選択処理が行われる。
【００５３】
なお、上述の基準信号生成部１５６で使用される高成分平滑化輝度信号GH(x,y)、低成分平滑化輝度信号GL(x,y)、入力平滑化輝度信号L(x,y)は、基本的には、入力輝度信号IY(x,y)の同一フレームから生成されたものである。しかし、高成分平滑化輝度信号GH(x,y)、低成分平滑化輝度信号GL(x,y)を得るローパスフィルタ処理では広い範囲の画素信号値を使用することから、遅延が発生する。したがって、動画像データを処理する場合には、入力平滑化輝度信号L(x,y)に対して、高成分平滑化輝度信号GH(x,y)、低成分平滑化輝度信号GL(x,y)は前フレームの画像データを処理して得られたものであってもよい。
【００５４】
輝度信号処理部１５７は、入力輝度信号IY(x,y)に対して階調補正処理を行って、出力輝度信号OY(x,y)を生成する。この場合、出力輝度信号OY(x,y)を構成する各画素の信号値は、画像の各画素を順次着目画素として、入力輝度信号IY(x,y)に基づいて、以下のように求められる。
【００５５】
すなわち、出力輝度信号OY(x,y)の着目画素の信号値は、上述の基準輝度信号G(x,y)の着目画素の信号値に応じたトーンカーブ（階調変換カーブ）を用いて、入力輝度信号IY(x,y)の着目画素の信号値が変換されて得られる。基準輝度信号G(x,y)の着目画素の信号値は、当該着目画素が位置する領域の平均的な明るさを示す。
【００５６】
そのため、以下のようなトーンカーブが用いられる。すなわち、基準輝度信号G(x,y)の着目画素の信号値が低いとき、暗い領域が明るくなるようなトーンカーブが用いられる。一方、基準輝度信号G(x,y)の着目画素の信号値が高いとき、明るい領域のコントラストが強くなるようなトーンカーブが用いられる。
【００５７】
トーンカーブの生成方法には種々あるが、例えば、以下のような方法が挙げられる。
【００５８】
（１）トーンカーブのγを調整して生成する。
（２）トーンカーブの傾きを調整して生成する。
（３）トーンカーブの最大値、最小値を調整して生成する。
（４）上述の（１）〜（３）の組み合わせにより生成する。
【００５９】
基準輝度信号G(x,y)の着目画素の信号値に応じたトーンカーブは、例えば、基準輝度信号G(x,y)の着目画素の信号値と同じ信号値が入力されるとき入力輝度信号IY(x,y)のダイナミックレンジの中央値と同じ信号値を出力するものとされる。
【００６０】
図４は、トーンカーブの一例を示している。この図４に示すトーンカーブは、基準輝度信号G(x,y)の着目画素の信号値S(x,y)が「６７」である場合の例であり、信号値「６７」が入力されるとき、中央値「１２８」を出力する。この場合、基準輝度信号G(x,y)の着目画素の信号値S(x,y)が「６７」と低いので、暗い領域が明るくなるようなトーンカーブとなっている。
【００６１】
図５は、トーンカーブの他の例を示している。この図５に示すトーンカーブも、基準輝度信号G(x,y)の着目画素の信号値S(x,y)が「６７」である場合の例であり、信号値「６７」が入力されるとき、中央値「１２８」を出力する。この図５に示すトーンカーブは、図４に示すトーンカーブを、２本の直線で近似したものである。この場合も、基準輝度信号G(x,y)の着目画素の信号値S(x,y)が「６７」と低いので、暗い領域が明るくなるようなトーンカーブとなっている。
【００６２】
図６は、トーンカーブのさらに他の例を示している。この図６に示すトーンカーブは、基準輝度信号G(x,y)の着目画素の信号値S(x,y)が「１８８」である場合の例であり、信号値「１１８」が入力されるとき、中央値「１２８」を出力する。この場合、基準輝度信号G(x,y)の着目画素の信号値S(x,y)が「１８８」と高いので、明るい領域のコントラストが強くなるようなトーンカーブとなっている。
【００６３】
図７は、トーンカーブの別の例を示している。この図７に示すトーンカーブも、基準輝度信号G(x,y)の着目画素の信号値S(x,y)が「１８８」である場合の例であり、信号値「１８８」が入力されるとき、中央値「１２８」を出力する。この図７に示すトーンカーブは、図６に示すトーンカーブを、２本の直線で近似したものである。この場合も、基準輝度信号G(x,y)の着目画素の信号値S(x,y)が「１８８」と高いので、明るい領域のコントラストが強くなるようなトーンカーブとなっている。
【００６４】
図２に戻って、色差信号処理部１５８は、入力輝度信号IY(x,y)から出力輝度信号OY(x,y)を得たのに伴って、入力青色差信号ICb(x,y)から出力青色差信号OCb(x,y)を得る。また、色差信号処理部１５８は、入力輝度信号IY(x,y)から出力輝度信号OY(x,y)を得たのに伴って、入力赤色差信号ICr(x,y)から出力赤色差信号OCr(x,y)を得る。色差信号処理部１５８は、（２）、（３）式に示すように、色差信号ICb(x,y)，ICr(x,y)を、出力輝度信号OY(x,y)の入力輝度信号IY(x,y)に対する増減率と同率で増減して、色差信号OCb(x,y)，OCr(x,y)を得る。これにより、色が薄くなる、あるいは色が濃くなることを防止できる。
【００６５】
OCb(x,y)＝ICb(x,y)×（OY(x,y)／IY(x,y)） ・・・（２）
OCr(x,y)＝ICr(x,y)×（OY(x,y)／IY(x,y)） ・・・（３）
【００６６】
図２に示す階調補正部１５０の動作を説明する。入力輝度信号IY(x,y)は高（High）成分画像生成部１５１に供給される。この高成分画像生成部１５１では、入力輝度信号IY(x,y)に基づいて、高成分輝度信号IH(x,y)が生成される。この場合、高成分輝度信号IH(x,y)の各画素の信号値は、入力輝度信号IY(x,y)の各画素の信号値が基準値Ｔ（例えば、ダイナミックレンジの中央値）より大きいときは、当該入力輝度信号IY(x,y)の各画素の信号値とされる。また、この場合、この高成分輝度信号IH(x,y)の着目画素の信号値は、入力輝度信号IY(x,y)の各画素の信号値が基準値Ｔ以下のときは、第１の値（例えば、基準値Ｔ）とされる。
【００６７】
この高成分画像生成部１５１で生成された高成分輝度信号IH(x,y)はローパスフィルタ１５２に供給される。このローパスフィルタ１５２では、高成分輝度信号IH(x,y)に対して、第１のカットオフ周波数のローパスフィルタ処理が行われ、高成分平滑化輝度信号GH(x,y)が得られる。この高成分平滑化輝度信号GH(x,y)は、高成分輝度信号IH(x,y)に対してオブジェクトの輪郭も分からなくなる程度の強いローパスフィルタ処理が施されたものとなる。
【００６８】
また、入力輝度信号IY(x,y)は低（Low）成分画像生成部１５３に供給される。この低成分画像生成部１５３では、入力輝度信号IY(x,y)に基づいて、低成分輝度信号IL(x,y)が生成される。この場合、低成分輝度信号IL(x,y)の各画素の信号値は、入力輝度信号IY(x,y)の各画素の信号値が基準値Ｔ以下のときは、当該入力輝度信号IY(x,y)の各画素の信号値とされる。また、この場合、この低成分輝度信号IL(x,y)の着目画素の信号値は、入力輝度信号IY(x,y)の各画素の信号値が基準値Ｔより大きいときは、第２の値（例えば、基準値Ｔ）とされる。
【００６９】
この低成分画像生成部１５３で生成された低成分輝度信号IL(x,y)はローパスフィルタ１５４に供給される。このローパスフィルタ１５４では、低成分輝度信号IL(x,y)に対して、第１のカットオフ周波数のローパスフィルタ処理が行われ、低成分平滑化輝度信号GL(x,y)が得られる。この低成分平滑化輝度信号GL(x,y)は、低成分輝度信号IL(x,y)に対してオブジェクトの輪郭も分からなくなる程度の強いローパスフィルタ処理が施されたものとなる。
【００７０】
また、入力輝度信号IY(x,y)はローパスフィルタ１５５に供給される。このローパスフィルタ１５５では、入力輝度信号IY(x,y)に対して、第２のカットオフ周波数のローパスフィルタ処理が行われて、入力平滑化輝度信号L(x,y)が得られる。この入力平滑化輝度信号L(x,y)は、入力輝度信号IY(x,y)に対してオブジェクトの輪郭が分かる程度の弱いローパスフィルタ処理が施されたものとなる。
【００７１】
ローパスフィルタ１５２，１５４，１５５で得られた高成分平滑化輝度信号GH(x,y)、低成分平滑化輝度信号GL(x,y)、入力平滑化輝度信号L(x,y)は基準画像生成部１５６に供給される。この基準画像生成部１５６では、輝度信号GH(x,y)、輝度信号GL(x,y)のそれぞれの各画素の信号値に対し、輝度信号L(x,y)の各画素の信号値に基づいた合成処理または選択処理が施されて、基準輝度信号G(x,y)が生成される。この基準輝度信号G(x,y)は、輪郭を保持しながら高周波成分を除去した、つまり領域毎に高周波成分を除去した輝度信号となる。
【００７２】
また、入力輝度信号IY(x,y)は輝度信号処理部１５７に供給される。この輝度信号処理部１５７には、基準画像生成部１５６で得られた基準輝度信号G(x,y)も供給される。輝度信号処理部１５７では、入力輝度信号IY(x,y)に対して階調補正処理が行われて、出力輝度信号OY(x,y)が得られる。
【００７３】
この場合、出力輝度信号OY(x,y)の各画素の信号値は、基準輝度信号G(x,y)の各画素の信号値に応じたトーンカーブ（階調変換カーブ）により、入力輝度信号IY(x,y)の各画素の信号値が変換されて得られる。この出力輝度信号OY(x,y)は、暗い領域では明るくされ、また、明るい領域ではコントラストが強くされたものとなる。そのため、入力輝度信号IY(x,y)が逆光や暗い環境で撮像されたものであっても、出力輝度信号OY(x,y)による画像は視認性の高い画像となる。
【００７４】
また、入力青色差信号ICb(x,y)および入力赤色差信号ICr(x,y)は、色差信号処理部１５８に供給される。この色差信号処理部１５８には、さらに、輝度信号処理部１５７から、出力輝度信号OY(x,y)の入力輝度信号IY(x,y)に対する増減率を示す信号OY(x,y)／IY(x,y)が供給される。
【００７５】
この色差信号処理部１５８では、入力色差信号ICb(x,y)，ICr(x,y)が、出力輝度信号OY(x,y)の入力輝度信号IY(x,y)に対する増減率と同率で増減されて、出力色差信号OCb(x,y)，OCr(x,y)が生成される。これにより、入力輝度信号IY(x,y)が出力輝度信号OY(x,y)に変換されても、色が薄くなる、あるいは色が濃くなるということが防止される。
【００７６】
以上説明したように、図１に示す撮像装置１００のデジタル信号処理部１１７に備えられている階調補正部１５０においては、輪郭を保持しながら高周波成分を除去した、つまり領域毎に高周波成分を除去した基準輝度信号G(x,y)が生成される。そして、入力輝度信号IY(x,y)の各画素の信号値は、この基準画像信号G(x,y)の各画素の信号値に応じたトーンカーブを用いて変換されて、出力輝度信号OY(x,y)が得られる。そのため、出力画像は、入力画像の暗い領域は明るくなるように階調変換され、また、入力画像の明るい領域はコントラストが強くなるように階調変換されたものとなる。従って、演算量の少ない単純な処理で、逆光や暗い環境でも視認性の高い画像を得ることが可能となる。
【００７７】
図８は、入力輝度信号IY(x,y)、基準輝度信号G(x,y)および出力輝度信号OY(x,y)による画像の一例を示している。図８（ａ）は、入力輝度信号IY(x,y)による画像（入力画像）を示しており、被写体である「鳥」が暗くなっている。図８（ｂ）は、基準輝度信号G(x,y)による画像（基準画像）を示しており、「鳥」の輪郭は残っているが、「鳥」の内部の細かな模様はなくなっている。図８（ｃ）は、出力輝度信号OY(x,y)による画像（出力画像）を示しており、入力輝度信号IY(x,y)による画像では暗くなっていた「鳥」が明るくなり、視認性が高くなっている。
【００７８】
また、この階調補正部１５０においては、入力色差信号ICb(x,y)，ICr(x,y)が、出力輝度信号OY(x,y)の入力輝度信号IY(x,y)に対する増減率と同率で増減されて、出力色差信号OCb(x,y)，OCr(x,y)が生成される。従って、入力輝度信号IY(x,y)が出力輝度信号OY(x,y)に変換されても、色が薄くなる、あるいは色が濃くなるということが防止される。
【００７９】
＜２．変形例＞
［階調補正部の他の構成例］
なお、上述実施の形態において、図２に示す階調補正部１５０は輝度信号および色差信号に対して階調補正処理を行う例であるが、赤、緑、青の色信号に対して階調補正処理を行う例も考えられる。
【００８０】
図９は、赤、緑、青の色信号に対して階調補正処理を行う階調補正部１５０Ａの構成例を示している。この階調補正部１５０Ａは、赤色信号に対して階調補正処理を行う赤色階調補正部１５０ｒと、緑色信号に対して階調補正処理を行う緑色階調補正部１５０ｇと、青色信号に対して階調補正処理を行う青色階調補正部１５０ｂとを備えている。
【００８１】
赤色階調補正部１５０ｒは、高（High）成分画像生成部１５１ｒと、ローパスフィルタ１５２ｒ，１５４ｒ，１５５ｒと、低（Low）成分画像生成部１５３ｒと、基準画像生成部１５６ｒと、赤色信号処理部１５７ｒを有している。詳細説明は省略するが、これらは、図２の階調補正部１５０の高成分画像生成部１５１、ローパスフィルタ１５２，１５４，１５５、低成分画像生成部１５３、基準画像生成部１５６および輝度信号処理部１５７に相当している。
【００８２】
入力赤色信号IR(x,y)が処理されて、基準画像生成部１５６ｒからは、基準赤色信号G(x,y)が生成される。この基準赤色信号G(x,y)は、輪郭を保持しながら高周波成分を除去した、つまり領域毎に高周波成分を除去した赤色信号となる。そして、赤色信号処理部１５７ｒでは、入力赤色信号IR(x,y)に対して階調補正処理が行われて、出力赤色信号OR(x,y)が得られる。
【００８３】
この場合、出力赤色信号OR(x,y)の各画素の信号値は、基準赤色信号G(x,y)の各画素の信号値に応じたトーンカーブ（階調変換カーブ）により、入力赤色信号IR(x,y)の各画素の信号値が変換されて得られる。この出力赤色信号OR(x,y)は、上述の図２における出力輝度信号OY(x,y)と同様に、暗い領域では明るくされ、また、明るい領域ではコントラストが強くされたものとなる。そのため、入力赤色信号IR(x,y)が逆光や暗い環境で撮像されたものであっても、出力赤色信号OR(x,y)による画像は視認性の高い画像となる。
【００８４】
緑色階調補正部１５０ｇ、青色階調補正部１５０ｂは、上述の赤色階調補正部１５０ｒと同様に構成されている。補正部１５０ｇ，１５０ｂでは、入力緑色信号IG(x,y)、入力青色信号IB(x,y)に対して階調変換処理が施され、上述の出力赤色信号OR(x,y)と同様の、出力緑色信号OG(x,y)、出力青色信号OB(x,y)が得られる。
【００８５】
［コンピュータ装置による構成例］
また、上述の図２に示す階調補正部１５０は、ハードウェアで階調補正処理を行うものを示したが、同様の処理をソフトウェアで行うこともできる。図１０は、ソフトウェアで処理を行うコンピュータ装置１５０Ｂの構成例を示している。コンピュータ装置１５０Ｂは、ＣＰＵ１８１、ＲＯＭ１８２、ＲＡＭ１８３、データ入出力部（データＩ／Ｏ）１８４および画像メモリ１８５を有している。
【００８６】
ＲＯＭ１８２には、ＣＰＵ１８１の処理プログラムが格納されている。ＲＡＭ１８３は、ＣＰＵ１８１のワークエリアとして機能する。ＣＰＵ１８１は、ＲＯＭ１８２に格納されている処理プログラムを必要に応じて読み出し、読み出した処理プログラムをＲＡＭ１８３に転送して展開し、当該展開された処理プログラムを読み出して、階調補正処理を実行する。この処理プログラムは、コンピュータ装置１５０Ｂに、図２に示す階調補正部１５０の各部と同様の機能を持たせるためのプログラムである。
【００８７】
このコンピュータ装置１５０Ｂにおいては、入力輝度信号IY(x,Y)、入力色差信号ICb(x,y),ICr(x,y)は、データＩ／Ｏ１８４を介して入力され、画像メモリ１８５に蓄積される。この画像メモリ１８５に蓄積された各信号に対して、ＣＰＵ１８１により、階調補正処理が実行される。
【００８８】
そして、処理後に得られる出力輝度信号OY(x,Y)、出力色差信号OCb(x,y)，OCr(x,y)は、画像メモリ１８５からデータＩ／Ｏ１８４を介して外部に出力される。
【００８９】
図１１のフローチャートは、ＣＰＵ１８１による階調補正処理の処理手順を示している。なお、このフローチャートは、例えば、１画面の画像データの処理に対応しており、当該処理が各画面の画像データに対して順次行われる。
【００９０】
ＣＰＵ１８１は、まず、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、ＣＰＵ１８１は、データ入出力部１８４を通じて入力輝度信号IY(x,Y)、入力色差信号ICb(x,y),ICr(x,y)を入力し、画像メモリ１８５に蓄積する。
【００９１】
次に、ＣＰＵ１８１は、ステップＳＴ３において、入力輝度信号IY(x,y)に基づいて、高成分輝度信号IH(x,y)を生成する。このステップＳＴ３の処理は、図２の階調補正部１５０の高（High）成分画像生成部１５１の処理に相当する。ＣＰＵ１８１は、輝度信号IH(x,y)の各画素の信号値を、入力輝度信号IY(x,y)の各画素の信号値が基準値Ｔ（例えば、ダイナミックレンジの中央値）より大きいとき、当該入力輝度信号IY(x,y)の各画素の信号値とする。また、ＣＰＵ１８１は、輝度信号IH(x,y)の着目画素の信号値を、入力輝度信号IY(x,y)の各画素の信号値が基準値Ｔ以下のときは、第１の値（例えば、基準値Ｔ）とする。
【００９２】
次に、ＣＰＵ１８１は、ステップＳＴ４において、入力輝度信号IY(x,y)に基づいて、低成分輝度信号IL(x,y)を生成する。このステップＳＴ４の処理は、図２の階調補正部１５０の低（Low）成分画像生成部１５３の処理に相当する。この場合、ＣＰＵ１８１は、低成分輝度信号IL(x,y)の各画素の信号値を、入力輝度信号IY(x,y)の各画素の信号値が基準値Ｔ以下のときは、当該入力輝度信号IY(x,y)の各画素の信号値とする。また、この場合、ＣＰＵ１８１は、低成分輝度信号IL(x,y)の着目画素の信号値を、入力輝度信号IY(x,y)の各画素の信号値が基準値Ｔより大きいときは、第２の値（例えば、基準値Ｔ）とする。
【００９３】
次に、ＣＰＵ１８１は、ステップＳＴ５において、ステップＳＴ３で生成された高成分輝度信号IH(x,y)に基づいて、高成分平滑化輝度信号GH(x,y)を生成する。このステップＳＴ５の処理は、図２の階調補正部１５０のローパスフィルタ１５２の処理に相当する。この場合、ＣＰＵ１８１は、高成分輝度信号IH(x,y)に対して、第１のカットオフ周波数のローパスフィルタ処理、つまりオブジェクトの輪郭も分からなくなる程度の強いローパスフィルタ処理を施す。
【００９４】
次に、ＣＰＵ１８１は、ステップＳＴ６において、ステップＳＴ４で生成された低成分輝度信号IL(x,y)に基づいて、低成分平滑化輝度信号GL(x,y)を生成する。このステップＳＴ６の処理は、図２の階調補正部１５０のローパスフィルタ１５４の処理に相当する。この場合、ＣＰＵ１８１は、低成分輝度信号IL(x,y)に対して、第１のカットオフ周波数のローパスフィルタ処理、つまりオブジェクトの輪郭も分からなくなる程度の強いローパスフィルタ処理を施す。
【００９５】
次に、ＣＰＵ１８１は、ステップＳＴ７において、入力輝度信号IY(x,y)に基づいて、入力平滑化輝度信号L(x,y)を生成する。このステップＳＴ７の処理は、図２の階調補正部１５０のローパスフィルタ１５５の処理に相当する。この場合、ＣＰＵ１８１は、入力輝度信号IY(x,y)に対して、第２のカットオフ周波数のローパスフィルタ処理、つまりオブジェクトの輪郭が分かる程度の弱いローパスフィルタ処理を施す。
【００９６】
次に、ＣＰＵ１８１は、ステップＳＴ８において、ステップＳＴ５の高成分平滑化輝度信号GH(x,y)、ステップＳＴ６の低成分平滑化輝度信号GL(x,y)、ステップＳＴ７の入力平滑化輝度信号L(x,y)に基づき、基準輝度信号G(x,y)を生成する。このステップＳＴ８の処理は、図２の階調補正部１５０の基準画像生成部１５６の処理に相当する。
【００９７】
この場合、ＣＰＵ１８１は、輝度信号GH(x,y)、輝度信号GL(x,y)のそれぞれの各画素の信号値に対し、輝度信号L(x,y)の各画素の信号値に基づいた合成処理または選択処理を施して、基準輝度信号G(x,y)を生成する。この基準輝度信号G(x,y)は、輪郭を保持しながら高周波成分を除去した、つまり領域毎に高周波成分を除去した輝度信号となる。
【００９８】
次に、ＣＰＵ１８１は、ステップＳＴ９において、入力輝度信号IY(x,y)に対して、ステップＳＴ８で得られた基準輝度信号G(x,y)に基づいたトーンカーブ（階調変換カーブ）を用いた階調補正処理を行って、出力輝度信号OY(x,y)を得る。このステップＳＴ９の処理は、図２の階調補正部１５０の輝度信号処理部１５７の処理に相当する。
【００９９】
この場合、ＣＰＵ１８１は、出力輝度信号OY(x,y)の各画素の信号値を、基準輝度信号G(x,y)の各画素の信号値に応じたトーンカーブにより、入力輝度信号IY(x,y)の各画素の信号値を変換して得る。この出力輝度信号OY(x,y)は、暗い領域では明るくされ、また、明るい領域ではコントラストが強くされたものとなる。そのため、入力輝度信号IY(x,y)が逆光や暗い環境で撮像されたものであっても、出力輝度信号OY(x,y)による画像は視認性の高い画像となる。
【０１００】
また、ＣＰＵ１８１は、ステップＳＴ９において、入力色差信号ICb(x,y)，ICr(x,y)を、出力輝度信号OY(x,y)の入力輝度信号IY(x,y)に対する増減率と同率で増減して、出力色差信号OCb(x,y)，OCr(x,y)を得る。これにより、入力輝度信号IY(x,y)が出力輝度信号OY(x,y)に変換されても、色が薄くなる、あるいは色が濃くなるということが防止される。このステップＳＴ９の処理は、図２の階調補正部１５０の色差信号処理部１５８の処理に相当する。
【０１０１】
次に、ＣＰＵ１８１は、ステップＳＴ１０において、画像メモリ１８５に蓄積されている出力輝度信号OY(x,y)、色差信号OCb(x,y),OCr(x,y)を、データ入出力部１８４を通じて出力する。そして、ＣＰＵ１８１は、ステップＳＴ１０の処理の後、ステップＳＴ１１において、一連の処理を終了する。
【０１０２】
［その他］
また、上述実施の形態において、基準画像信号（基準輝度信号G(x,y)等）は、階調補正を行うために使用されているが、この基準画像信号を、特殊効果画像を得るための画像信号として用いることもできる。すなわち、図２の階調補正部１５０における高（High）成分画像生成部１５１、ローパスフィルタ１５２，１５４，１５５、低（Low）成分画像生成部１５３および基準画像生成部１５６を、特殊効果画像を得るための画像処理装置等として使用できる。
【０１０３】
また、上述実施の形態においては、階調補正部１５０，１５０Ａを備えた撮像装置１００を示したが、同様の階調補正部を、テレビ受信機等の画像表示装置に備えて、入力画像得信号の階調補正を行うこともできる。
【産業上の利用可能性】
【０１０４】
この発明は、演算量の少ない単純な処理で逆光や暗い環境でも視認性の高い画像を得ることができるものであり、撮像装置、画像表示装置等に適用できる。
【図面の簡単な説明】
【０１０５】
【図１】この発明の実施の形態としての撮像装置の構成例を示すブロック図である。
【図２】撮像装置のデジタル信号処理部が備える階調補正部の構成例を示すブロック図である。
【図３】入力輝度信号IY(x,y)、高成分輝度信号IH(x,y)、低成分輝度信号IL(x,y)の具体例を示す図である。
【図４】トーンカーブ（S(x,y)＝６７の場合）の一例を示す図である。
【図５】トーンカーブ（S(x,y)＝６７の場合）の他の例（直線近似）を示す図である。
【図６】トーンカーブ（S(x,y)＝１８８の場合）の一例を示す図である。
【図７】トーンカーブ（S(x,y)＝１８８の場合）の他の例（直線近似）を示す図である。
【図８】入力輝度信号IY(x,y)、基準輝度信号G(x,y)および出力輝度信号OY(x,y)による画像の一例を示す図である。
【図９】撮像装置のデジタル信号処理部が備える階調補正部の他の構成例を示すブロック図である。
【図１０】ソフトウェアで階調補正の処理を行うコンピュータ装置の構成例を示すブロック図である。
【図１１】コンピュータ装置を構成するＣＰＵによる階調補正処理の処理手順を示すフローチャートである。
【符号の説明】
【０１０６】
１００・・・撮像装置
１０１・・・ＣＰＵ
１０２・・・ＲＯＭ
１０３・・・ＲＡＭ
１０４・・・入力デバイス
１０５・・・バス
１１１・・・撮像レンズ
１１２・・・アイリス
１１３・・・撮像素子
１１４・・・アイリス制御部
１１５・・・ＣＤＳ回路
１１６・・・Ａ／Ｄ変換部
１１７・・・デジタル信号処理部
１１８・・・タイミングジェネレータ
１１９・・・記録再生部
１２０・・・表示部
１２１・・・記録媒体
１５０，１５０Ａ・・・階調補正部
１５０Ｂ・・・コンピュータ装置
１５０ｒ・・・赤色階調補正部
１５０ｇ・・・緑色階調補正部
１５０ｂ・・・青色階調補正部
１５１，１５１ｒ・・・高（Higｈ）成分画像生成部
１５２，１５２ｒ，１５４，１５４ｒ，１５５，１５５ｒ・・・ローパスフィルタ
１５３，１５３ｒ・・・低（Low）成分画像生成部
１５６，１５６ｒ・・・基準画像生成部
１５７・・・輝度信号処理部
１５７ｒ・・・赤色信号処理部
１５８・・・色差信号処理部
【特許請求の範囲】
【請求項１】
画像の各画素を順次着目画素とし、着目画素の信号値として、入力画像信号を構成する着目画素の信号値が基準値より大きいときは該入力画像信号の着目画素の信号値を配置し、上記入力画像信号を構成する着目画素の信号値が上記基準値以下のときは第１の値を配置し、高成分画像信号を生成する高成分画像生成部と、
上記高成分画像生成部で生成された高成分画像信号に対して第１のカットオフ周波数のローパスフィルタ処理を行って高成分平滑化画像信号を生成する高成分平滑化画像生成部と、
画像の各画素を順次着目画素とし、着目画素の信号値として、上記入力画像信号を構成する着目画素の信号値が上記基準値以下のときは該入力画像信号の着目画素の信号値を配置し、上記入力画像信号を構成する着目画素の信号値が上記基準値より大きいときは上記第１の値と同じあるいは異なる第２の値を配置し、低成分画像信号を生成する低成分画像生成部と、
上記低成分画像生成部で生成された低成分画像信号に対して上記第１のカットオフ周波数のローパスフィルタ処理を行って低成分平滑化画像信号を生成する低成分平滑化画像生成部と、
上記入力画像信号に対して、上記第１のカットオフ周波数より高い第２のカットオフ周波数のローパスフィルタ処理を行って入力平滑化画像信号を生成する入力平滑化画像生成部と、
各画素を順次着目画素として、着目画素の信号値を、上記高成分平滑化画像生成部で生成された高成分平滑化画像信号を構成する該着目画素の信号値および上記低成分平滑化画像生成部で生成された低成分平滑化画像信号を構成する該着目画素の信号値に対して、入力平滑化画像生成部で生成された入力平滑化画像信号を構成する該着目画素の信号値に基づいた合成処理または選択処理を行って求めて、基準画像信号を生成する基準画像生成部と、
画像の各画素を順次着目画素とし、着目画素の信号値を、上記基準画像生成部で生成された基準画像信号を構成する該着目画素の信号値に応じたトーンカーブを用いて、上記入力画像信号の該着目画素の信号値を変換して求めて、出力画像信号を得る信号処理部
を備える階調補正装置。
【請求項２】
上記基準画像生成部は、上記基準画像信号の上記着目画素の信号値を、
上記高成分平滑化画像生成部で生成された高成分平滑化画像信号を構成する該着目画素の信号値を第１の信号値とし、上記低成分平滑化画像生成部で生成された低成分平滑化画像信号を構成する該着目画素の信号値を第２の信号値とし、上記入力平滑化画像信号を構成する該着目画素の信号値を第３の信号値として、
上記第３の信号値が小さくなる程上記第２の信号値の割合が大きくなるように合成して求める
請求項１に記載の階調補正装置。
【請求項３】
上記基準画像生成部は、
上記基準画像信号の上記着目画素の信号値をS(x,y)とし、上記第１の信号値をS1(x,y）とし、上記第２の信号値をS2(x,y)とし、上記第３の信号値をS3(x,y）とし、上記入力画像信号のダイナミックレンジをＤとするとき、
S(x,y)＝［S2(x,y)×｛Ｄ−S3(x,y)｝＋S1(x,y)×S3(x,y)］／Ｄ
の式により、信号値S(x,y)を求める
請求項２に記載の階調補正装置。
【請求項４】
上記基準画像生成部は、上記基準画像信号の上記着目画素の信号値を、
上記高成分平滑化画像生成部で生成された高成分平滑化画像信号を構成する該着目画素の信号値を第１の信号値とし、上記低成分平滑化画像生成部で生成された低成分平滑化画像信号を構成する該着目画素の信号値を第２の信号値とし、上記入力平滑化画像信号を構成する該着目画素の信号値を第３の信号値として、
上記第１の信号値および上記第２の信号値のうち上記第３の信号値に近い方の値とする
請求項１に記載の階調補正装置。
【請求項５】
上記階調補正部は、
上記出力画像信号の上記着目画素の信号値を求める際のトーンカーブとして、上記基準画像生成部で生成された基準画像信号の該着目画素の信号値と同じ信号値が入力されるとき上記入力画像信号のダイナミックレンジの中央値と同じ信号値を出力するトーンカーブを用いる
請求項１に記載の階調補正装置。
【請求項６】
画像の各画素を順次着目画素とし、着目画素の信号値として、入力画像信号を構成する着目画素の信号値が基準値より大きいときは該入力画像信号の着目画素の信号値を配置し、上記入力画像信号を構成する着目画素の信号値が上記基準値以下のときは第１の値を配置し、高成分画像信号を生成する高成分画像生成ステップと、
上記高成分画像生成ステップで生成された高成分画像信号に対して第１のカットオフ周波数のローパスフィルタ処理を行って高成分平滑化画像信号を生成する高成分平滑化画像生成ステップと、
画像の各画素を順次着目画素とし、着目画素の信号値として、上記入力画像信号を構成する着目画素の信号値が上記基準値以下のときは該入力画像信号の着目画素の信号値を配置し、上記入力画像信号を構成する着目画素の信号値が上記基準値より大きいときは上記第１の値と同じあるいは異なる第２の値を配置し、低成分画像信号を生成する低成分画像生成ステップと、
上記低成分画像生成ステップで生成された低成分画像信号に対して上記第１のカットオフ周波数のローパスフィルタ処理を行って低成分平滑化画像信号を生成する低成分平滑化画像生成ステップと、
上記入力画像信号に対して、上記第１のカットオフ周波数より高い第２のカットオフ周波数のローパスフィルタ処理を行って入力平滑化画像信号を生成する入力平滑化画像生成ステップと、
各画素を順次着目画素として、着目画素の信号値を、上記高成分平滑化画像生成ステップで生成された高成分平滑化画像信号を構成する該着目画素の信号値および上記低成分平滑化画像生成ステップで生成された低成分平滑化画像信号を構成する該着目画素の信号値に対して、上記入力平滑化画像生成ステップで生成された入力平滑化画像信号を構成する該着目画素の信号値に基づいた合成処理または選択処理を行って求めて、基準画像信号を生成する基準画像生成ステップと、
画像の各画素を順次着目画素とし、着目画素の信号値を、上記基準画像生成ステップで生成された基準画像信号を構成する該着目画素の信号値に応じたトーンカーブを用いて、上記入力画像信号の該着目画素の信号値を変換して求めて、出力画像信号を得る信号処理ステップ
を備える階調補正方法。
【請求項７】
コンピュータを、
画像の各画素を順次着目画素とし、着目画素の信号値として、入力画像信号を構成する着目画素の信号値が基準値より大きいときは該入力画像信号の着目画素の信号値を配置し、上記入力画像信号を構成する着目画素の信号値が上記基準値以下のときは第１の値を配置し、高成分画像信号を生成する高成分画像生成手段と、
上記高成分画像生成手段で生成された高成分画像信号に対して第１のカットオフ周波数のローパスフィルタ処理を行って高成分平滑化画像信号を生成する高成分平滑化画像生成手段と、
画像の各画素を順次着目画素とし、着目画素の信号値として、上記入力画像信号を構成する着目画素の信号値が上記基準値以下のときは該入力画像信号の着目画素の信号値を配置し、上記入力画像信号を構成する着目画素の信号値が上記基準値より大きいときは上記第１の値と同じあるいは異なる第２の値を配置し、低成分画像信号を生成する低成分画像生成手段と、
上記低成分画像生成手段で生成された低成分画像信号に対して上記第１のカットオフ周波数のローパスフィルタ処理を行って低成分平滑化画像信号を生成する低成分平滑化画像生成手段と、
上記入力画像信号に対して、上記第１のカットオフ周波数より高い第２のカットオフ周波数のローパスフィルタ処理を行って入力平滑化画像信号を生成する入力平滑化画像生成手段と、
各画素を順次着目画素として、着目画素の信号値を、上記高成分平滑化画像生成手段で生成された高成分平滑化画像信号を構成する該着目画素の信号値および上記低成分平滑化画像生成手段で生成された低成分平滑化画像信号を構成する該着目画素の信号値に対して、上記入力平滑化画像生成手段で生成された入力平滑化画像信号を構成する該着目画素の信号値に基づいた合成処理または選択処理を行って求めて、基準画像信号を生成する基準画像生成手段と、
画像の各画素を順次着目画素とし、着目画素の信号値を、上記基準画像生成手段で生成された基準画像信号を構成する該着目画素の信号値に応じたトーンカーブを用いて、上記入力画像信号の該着目画素の信号値を変換して求めて、出力画像信号を得る信号処理手段
として機能させるプログラム。
【請求項８】
被写体を撮像して、該被写体に対応した画像信号を得る撮像部と、
上記撮像部で得られた画像信号に対して階調補正を行う階調補正部を備え、
上記階調補正部は、
画像の各画素を順次着目画素とし、着目画素の信号値として、入力画像信号を構成する着目画素の信号値が基準値より大きいときは該入力画像信号の着目画素の信号値を配置し、上記入力画像信号を構成する着目画素の信号値が上記基準値以下のときは第１の値を配置し、高成分画像信号を生成する高成分画像生成部と、
上記高成分画像生成部で生成された高成分画像信号に対して第１のカットオフ周波数のローパスフィルタ処理を行って高成分平滑化画像信号を生成する高成分平滑化画像生成部と、
画像の各画素を順次着目画素とし、着目画素の信号値として、上記入力画像信号を構成する着目画素の信号値が上記基準値以下のときは該入力画像信号の着目画素の信号値を配置し、上記入力画像信号を構成する着目画素の信号値が上記基準値より大きいときは上記第１の値と同じあるいは異なる第２の値を配置し、低成分画像信号を生成する低成分画像生成部と、
上記低成分画像生成部で生成された低成分画像信号に対して上記第１のカットオフ周波数のローパスフィルタ処理を行って低成分平滑化画像信号を生成する低成分平滑化画像生成部と、
上記入力画像信号に対して、上記第１のカットオフ周波数より高い第２のカットオフ周波数のローパスフィルタ処理を行って入力平滑化画像信号を生成する入力平滑化画像生成部と、
各画素を順次着目画素として、着目画素の信号値を、上記高成分平滑化画像生成部で生成された高成分平滑化画像信号を構成する該着目画素の信号値および上記低成分平滑化画像生成部で生成された低成分平滑化画像信号を構成する該着目画素の信号値に対して、入力平滑化画像生成部で生成された入力平滑化画像信号を構成する該着目画素の信号値に基づいた合成処理または選択処理を行って求めて、基準画像信号を生成する基準画像生成部と、
画像の各画素を順次着目画素とし、着目画素の信号値を、上記基準画像生成部で生成された基準画像信号を構成する該着目画素の信号値に応じたトーンカーブを用いて、上記入力画像信号の該着目画素の信号値を変換して求めて、出力画像信号を得る信号処理部を有する
撮像装置。
【請求項９】
輝度信号に階調補正処理を行う第１の階調補正部と、
色差信号に階調処理を行う第２の階調補正部を備え、
上記第１の階調補正部は、
画像の各画素を順次着目画素とし、着目画素の信号値として、入力輝度信号を構成する着目画素の信号値が基準値より大きいときは該入力輝度信号の着目画素の信号値を配置し、上記入力輝度信号を構成する着目画素の信号値が上記基準値以下のときは第１の値を配置し、高成分輝度信号を生成する高成分画像生成部と、
上記高成分画像生成部で生成された高成分輝度信号に対して第１のカットオフ周波数のローパスフィルタ処理を行って高成分平滑化輝度信号を生成する高成分平滑化画像生成部と、
画像の各画素を順次着目画素とし、着目画素の信号値として、上記入力輝度信号を構成する着目画素の信号値が上記基準値以下のときは該入力輝度信号の着目画素の信号値を配置し、上記入力輝度信号を構成する着目画素の信号値が上記基準値より大きいときは上記第１の値と同じあるいは異なる第２の値を配置し、低成分輝度信号を生成する低成分画像生成部と、
上記低成分画像生成部で生成された低成分輝度信号に対して上記第１のカットオフ周波数のローパスフィルタ処理を行って低成分平滑化輝度信号を生成する低成分平滑化画像生成部と、
上記入力輝度信号に対して、上記第１のカットオフ周波数より高い第２のカットオフ周波数のローパスフィルタ処理を行って入力平滑化輝度信号を生成する入力平滑化画像生成部と、
各画素を順次着目画素として、着目画素の信号値を、上記高成分平滑化画像生成部で生成された高成分平滑化輝度信号を構成する該着目画素の信号値および上記低成分平滑化画像生成部で生成された低成分平滑化輝度信号を構成する該着目画素の信号値に対して、入力平滑化画像生成部で生成された入力平滑化輝度信号を構成する該着目画素の信号値に基づいた合成処理または選択処理を行って求めて、基準輝度信号を生成する基準画像生成部と、
画像の各画素を順次着目画素とし、着目画素の信号値を、上記基準画像生成部で生成された基準輝度信号を構成する該着目画素の信号値に応じたトーンカーブを用いて、上記入力輝度信号の該着目画素の信号値を変換して求め、出力輝度信号を得る信号処理部を有し、
上記第２の階調補正部は、
画像の各画素を順次着目画素とし、着目画素の信号値を、上記出力輝度信号および上記入力輝度信号の該着目画素の信号値の比を入力色差信号に乗算して求めて、出力色差信号を得る
階調補正装置。
【請求項１０】
赤、緑、青の各色信号に対してそれぞれ階調補正処理を行う複数の階調補正部を備え、
上記階調補正部は、
画像の各画素を順次着目画素とし、着目画素の信号値として、入力色信号を構成する着目画素の信号値が基準値より大きいときは該入力色信号の着目画素の信号値を配置し、上記入力色信号を構成する着目画素の信号値が上記基準値以下のときは第１の値を配置し、高成分色信号を生成する高成分画像生成部と、
上記高成分画像生成部で生成された高成分色信号に対して第１のカットオフ周波数のローパスフィルタ処理を行って高成分平滑化色信号を生成する高成分平滑化画像生成部と、
画像の各画素を順次着目画素とし、着目画素の信号値として、上記入力色信号を構成する着目画素の信号値が上記基準値以下のときは該入力色信号の着目画素の信号値を配置し、上記入力色信号を構成する着目画素の信号値が上記基準値より大きいときは上記第１の値と同じあるいは異なる第２の値を配置し、低成分色信号を生成する低成分画像生成部と、
上記低成分画像生成部で生成された低成分色信号に対して上記第１のカットオフ周波数のローパスフィルタ処理を行って低成分平滑化色信号を生成する低成分平滑化画像生成部と、
上記入力色信号に対して、上記第１のカットオフ周波数より高い第２のカットオフ周波数のローパスフィルタ処理を行って入力平滑化色信号を生成する入力平滑化画像生成部と、
各画素を順次着目画素として、着目画素の信号値を、上記高成分平滑化画像生成部で生成された高成分平滑化色信号を構成する該着目画素の信号値および上記低成分平滑化画像生成部で生成された低成分平滑化色信号を構成する該着目画素の信号値に対して、入力平滑化画像生成部で生成された入力平滑化色信号を構成する該着目画素の信号値に基づいた合成処理または選択処理を行って求めて、基準色信号を生成する基準画像生成部と、
画像の各画素を順次着目画素とし、着目画素の信号値を、上記基準画像生成部で生成された基準色信号を構成する該着目画素の信号値に応じたトーンカーブを用いて、上記入力色信号の該着目画素の信号値を変換して求め、出力色信号を得る信号処理部を有する
階調補正装置。
【請求項１１】
画像の各画素を順次着目画素とし、着目画素の信号値として、入力画像信号を構成する着目画素の信号値が基準値より大きいときは該入力画像信号の着目画素の信号値を配置し、上記入力画像信号を構成する着目画素の信号値が上記基準値以下のときは第１の値を配置し、高成分画像信号を生成する高成分画像生成部と、
上記高成分画像生成部で生成された高成分画像信号に対して第１のカットオフ周波数のローパスフィルタ処理を行って高成分平滑化画像信号を生成する高成分平滑化画像生成部と、
画像の各画素を順次着目画素とし、着目画素の信号値として、上記入力画像信号を構成する着目画素の信号値が上記基準値以下のときは該入力画像信号の着目画素の信号値を配置し、上記入力画像信号を構成する着目画素の信号値が上記基準値より大きいときは上記第１の値と同じあるいは異なる第２の値を配置し、低成分画像信号を生成する低成分画像生成部と、
上記低成分画像生成部で生成された低成分画像信号に対して上記第１のカットオフ周波数のローパスフィルタ処理を行って低成分平滑化画像信号を生成する低成分平滑化画像生成部と、
上記入力画像信号に対して、上記第１のカットオフ周波数より高い第２のカットオフ周波数のローパスフィルタ処理を行って入力平滑化画像信号を生成する入力平滑化画像生成部と、
各画素を順次着目画素として、着目画素の信号値を、上記高成分平滑化画像生成部で生成された高成分平滑化画像信号を構成する該着目画素の信号値および上記低成分平滑化画像生成部で生成された低成分平滑化画像信号を構成する該着目画素の信号値に対して、入力平滑化画像生成部で生成された入力平滑化画像信号を構成する該着目画素の信号値に基づいた合成処理または選択処理を行って求めて、出力画像信号を生成する出力画像生成部と
を備える画像処理装置。
【請求項１】
画像の各画素を順次着目画素とし、着目画素の信号値として、入力画像信号を構成する着目画素の信号値が基準値より大きいときは該入力画像信号の着目画素の信号値を配置し、上記入力画像信号を構成する着目画素の信号値が上記基準値以下のときは第１の値を配置し、高成分画像信号を生成する高成分画像生成部と、
上記高成分画像生成部で生成された高成分画像信号に対して第１のカットオフ周波数のローパスフィルタ処理を行って高成分平滑化画像信号を生成する高成分平滑化画像生成部と、
画像の各画素を順次着目画素とし、着目画素の信号値として、上記入力画像信号を構成する着目画素の信号値が上記基準値以下のときは該入力画像信号の着目画素の信号値を配置し、上記入力画像信号を構成する着目画素の信号値が上記基準値より大きいときは上記第１の値と同じあるいは異なる第２の値を配置し、低成分画像信号を生成する低成分画像生成部と、
上記低成分画像生成部で生成された低成分画像信号に対して上記第１のカットオフ周波数のローパスフィルタ処理を行って低成分平滑化画像信号を生成する低成分平滑化画像生成部と、
上記入力画像信号に対して、上記第１のカットオフ周波数より高い第２のカットオフ周波数のローパスフィルタ処理を行って入力平滑化画像信号を生成する入力平滑化画像生成部と、
各画素を順次着目画素として、着目画素の信号値を、上記高成分平滑化画像生成部で生成された高成分平滑化画像信号を構成する該着目画素の信号値および上記低成分平滑化画像生成部で生成された低成分平滑化画像信号を構成する該着目画素の信号値に対して、入力平滑化画像生成部で生成された入力平滑化画像信号を構成する該着目画素の信号値に基づいた合成処理または選択処理を行って求めて、基準画像信号を生成する基準画像生成部と、
画像の各画素を順次着目画素とし、着目画素の信号値を、上記基準画像生成部で生成された基準画像信号を構成する該着目画素の信号値に応じたトーンカーブを用いて、上記入力画像信号の該着目画素の信号値を変換して求めて、出力画像信号を得る信号処理部
を備える階調補正装置。
【請求項２】
上記基準画像生成部は、上記基準画像信号の上記着目画素の信号値を、
上記高成分平滑化画像生成部で生成された高成分平滑化画像信号を構成する該着目画素の信号値を第１の信号値とし、上記低成分平滑化画像生成部で生成された低成分平滑化画像信号を構成する該着目画素の信号値を第２の信号値とし、上記入力平滑化画像信号を構成する該着目画素の信号値を第３の信号値として、
上記第３の信号値が小さくなる程上記第２の信号値の割合が大きくなるように合成して求める
請求項１に記載の階調補正装置。
【請求項３】
上記基準画像生成部は、
上記基準画像信号の上記着目画素の信号値をS(x,y)とし、上記第１の信号値をS1(x,y）とし、上記第２の信号値をS2(x,y)とし、上記第３の信号値をS3(x,y）とし、上記入力画像信号のダイナミックレンジをＤとするとき、
S(x,y)＝［S2(x,y)×｛Ｄ−S3(x,y)｝＋S1(x,y)×S3(x,y)］／Ｄ
の式により、信号値S(x,y)を求める
請求項２に記載の階調補正装置。
【請求項４】
上記基準画像生成部は、上記基準画像信号の上記着目画素の信号値を、
上記高成分平滑化画像生成部で生成された高成分平滑化画像信号を構成する該着目画素の信号値を第１の信号値とし、上記低成分平滑化画像生成部で生成された低成分平滑化画像信号を構成する該着目画素の信号値を第２の信号値とし、上記入力平滑化画像信号を構成する該着目画素の信号値を第３の信号値として、
上記第１の信号値および上記第２の信号値のうち上記第３の信号値に近い方の値とする
請求項１に記載の階調補正装置。
【請求項５】
上記階調補正部は、
上記出力画像信号の上記着目画素の信号値を求める際のトーンカーブとして、上記基準画像生成部で生成された基準画像信号の該着目画素の信号値と同じ信号値が入力されるとき上記入力画像信号のダイナミックレンジの中央値と同じ信号値を出力するトーンカーブを用いる
請求項１に記載の階調補正装置。
【請求項６】
画像の各画素を順次着目画素とし、着目画素の信号値として、入力画像信号を構成する着目画素の信号値が基準値より大きいときは該入力画像信号の着目画素の信号値を配置し、上記入力画像信号を構成する着目画素の信号値が上記基準値以下のときは第１の値を配置し、高成分画像信号を生成する高成分画像生成ステップと、
上記高成分画像生成ステップで生成された高成分画像信号に対して第１のカットオフ周波数のローパスフィルタ処理を行って高成分平滑化画像信号を生成する高成分平滑化画像生成ステップと、
画像の各画素を順次着目画素とし、着目画素の信号値として、上記入力画像信号を構成する着目画素の信号値が上記基準値以下のときは該入力画像信号の着目画素の信号値を配置し、上記入力画像信号を構成する着目画素の信号値が上記基準値より大きいときは上記第１の値と同じあるいは異なる第２の値を配置し、低成分画像信号を生成する低成分画像生成ステップと、
上記低成分画像生成ステップで生成された低成分画像信号に対して上記第１のカットオフ周波数のローパスフィルタ処理を行って低成分平滑化画像信号を生成する低成分平滑化画像生成ステップと、
上記入力画像信号に対して、上記第１のカットオフ周波数より高い第２のカットオフ周波数のローパスフィルタ処理を行って入力平滑化画像信号を生成する入力平滑化画像生成ステップと、
各画素を順次着目画素として、着目画素の信号値を、上記高成分平滑化画像生成ステップで生成された高成分平滑化画像信号を構成する該着目画素の信号値および上記低成分平滑化画像生成ステップで生成された低成分平滑化画像信号を構成する該着目画素の信号値に対して、上記入力平滑化画像生成ステップで生成された入力平滑化画像信号を構成する該着目画素の信号値に基づいた合成処理または選択処理を行って求めて、基準画像信号を生成する基準画像生成ステップと、
画像の各画素を順次着目画素とし、着目画素の信号値を、上記基準画像生成ステップで生成された基準画像信号を構成する該着目画素の信号値に応じたトーンカーブを用いて、上記入力画像信号の該着目画素の信号値を変換して求めて、出力画像信号を得る信号処理ステップ
を備える階調補正方法。
【請求項７】
コンピュータを、
画像の各画素を順次着目画素とし、着目画素の信号値として、入力画像信号を構成する着目画素の信号値が基準値より大きいときは該入力画像信号の着目画素の信号値を配置し、上記入力画像信号を構成する着目画素の信号値が上記基準値以下のときは第１の値を配置し、高成分画像信号を生成する高成分画像生成手段と、
上記高成分画像生成手段で生成された高成分画像信号に対して第１のカットオフ周波数のローパスフィルタ処理を行って高成分平滑化画像信号を生成する高成分平滑化画像生成手段と、
画像の各画素を順次着目画素とし、着目画素の信号値として、上記入力画像信号を構成する着目画素の信号値が上記基準値以下のときは該入力画像信号の着目画素の信号値を配置し、上記入力画像信号を構成する着目画素の信号値が上記基準値より大きいときは上記第１の値と同じあるいは異なる第２の値を配置し、低成分画像信号を生成する低成分画像生成手段と、
上記低成分画像生成手段で生成された低成分画像信号に対して上記第１のカットオフ周波数のローパスフィルタ処理を行って低成分平滑化画像信号を生成する低成分平滑化画像生成手段と、
上記入力画像信号に対して、上記第１のカットオフ周波数より高い第２のカットオフ周波数のローパスフィルタ処理を行って入力平滑化画像信号を生成する入力平滑化画像生成手段と、
各画素を順次着目画素として、着目画素の信号値を、上記高成分平滑化画像生成手段で生成された高成分平滑化画像信号を構成する該着目画素の信号値および上記低成分平滑化画像生成手段で生成された低成分平滑化画像信号を構成する該着目画素の信号値に対して、上記入力平滑化画像生成手段で生成された入力平滑化画像信号を構成する該着目画素の信号値に基づいた合成処理または選択処理を行って求めて、基準画像信号を生成する基準画像生成手段と、
画像の各画素を順次着目画素とし、着目画素の信号値を、上記基準画像生成手段で生成された基準画像信号を構成する該着目画素の信号値に応じたトーンカーブを用いて、上記入力画像信号の該着目画素の信号値を変換して求めて、出力画像信号を得る信号処理手段
として機能させるプログラム。
【請求項８】
被写体を撮像して、該被写体に対応した画像信号を得る撮像部と、
上記撮像部で得られた画像信号に対して階調補正を行う階調補正部を備え、
上記階調補正部は、
画像の各画素を順次着目画素とし、着目画素の信号値として、入力画像信号を構成する着目画素の信号値が基準値より大きいときは該入力画像信号の着目画素の信号値を配置し、上記入力画像信号を構成する着目画素の信号値が上記基準値以下のときは第１の値を配置し、高成分画像信号を生成する高成分画像生成部と、
上記高成分画像生成部で生成された高成分画像信号に対して第１のカットオフ周波数のローパスフィルタ処理を行って高成分平滑化画像信号を生成する高成分平滑化画像生成部と、
画像の各画素を順次着目画素とし、着目画素の信号値として、上記入力画像信号を構成する着目画素の信号値が上記基準値以下のときは該入力画像信号の着目画素の信号値を配置し、上記入力画像信号を構成する着目画素の信号値が上記基準値より大きいときは上記第１の値と同じあるいは異なる第２の値を配置し、低成分画像信号を生成する低成分画像生成部と、
上記低成分画像生成部で生成された低成分画像信号に対して上記第１のカットオフ周波数のローパスフィルタ処理を行って低成分平滑化画像信号を生成する低成分平滑化画像生成部と、
上記入力画像信号に対して、上記第１のカットオフ周波数より高い第２のカットオフ周波数のローパスフィルタ処理を行って入力平滑化画像信号を生成する入力平滑化画像生成部と、
各画素を順次着目画素として、着目画素の信号値を、上記高成分平滑化画像生成部で生成された高成分平滑化画像信号を構成する該着目画素の信号値および上記低成分平滑化画像生成部で生成された低成分平滑化画像信号を構成する該着目画素の信号値に対して、入力平滑化画像生成部で生成された入力平滑化画像信号を構成する該着目画素の信号値に基づいた合成処理または選択処理を行って求めて、基準画像信号を生成する基準画像生成部と、
画像の各画素を順次着目画素とし、着目画素の信号値を、上記基準画像生成部で生成された基準画像信号を構成する該着目画素の信号値に応じたトーンカーブを用いて、上記入力画像信号の該着目画素の信号値を変換して求めて、出力画像信号を得る信号処理部を有する
撮像装置。
【請求項９】
輝度信号に階調補正処理を行う第１の階調補正部と、
色差信号に階調処理を行う第２の階調補正部を備え、
上記第１の階調補正部は、
画像の各画素を順次着目画素とし、着目画素の信号値として、入力輝度信号を構成する着目画素の信号値が基準値より大きいときは該入力輝度信号の着目画素の信号値を配置し、上記入力輝度信号を構成する着目画素の信号値が上記基準値以下のときは第１の値を配置し、高成分輝度信号を生成する高成分画像生成部と、
上記高成分画像生成部で生成された高成分輝度信号に対して第１のカットオフ周波数のローパスフィルタ処理を行って高成分平滑化輝度信号を生成する高成分平滑化画像生成部と、
画像の各画素を順次着目画素とし、着目画素の信号値として、上記入力輝度信号を構成する着目画素の信号値が上記基準値以下のときは該入力輝度信号の着目画素の信号値を配置し、上記入力輝度信号を構成する着目画素の信号値が上記基準値より大きいときは上記第１の値と同じあるいは異なる第２の値を配置し、低成分輝度信号を生成する低成分画像生成部と、
上記低成分画像生成部で生成された低成分輝度信号に対して上記第１のカットオフ周波数のローパスフィルタ処理を行って低成分平滑化輝度信号を生成する低成分平滑化画像生成部と、
上記入力輝度信号に対して、上記第１のカットオフ周波数より高い第２のカットオフ周波数のローパスフィルタ処理を行って入力平滑化輝度信号を生成する入力平滑化画像生成部と、
各画素を順次着目画素として、着目画素の信号値を、上記高成分平滑化画像生成部で生成された高成分平滑化輝度信号を構成する該着目画素の信号値および上記低成分平滑化画像生成部で生成された低成分平滑化輝度信号を構成する該着目画素の信号値に対して、入力平滑化画像生成部で生成された入力平滑化輝度信号を構成する該着目画素の信号値に基づいた合成処理または選択処理を行って求めて、基準輝度信号を生成する基準画像生成部と、
画像の各画素を順次着目画素とし、着目画素の信号値を、上記基準画像生成部で生成された基準輝度信号を構成する該着目画素の信号値に応じたトーンカーブを用いて、上記入力輝度信号の該着目画素の信号値を変換して求め、出力輝度信号を得る信号処理部を有し、
上記第２の階調補正部は、
画像の各画素を順次着目画素とし、着目画素の信号値を、上記出力輝度信号および上記入力輝度信号の該着目画素の信号値の比を入力色差信号に乗算して求めて、出力色差信号を得る
階調補正装置。
【請求項１０】
赤、緑、青の各色信号に対してそれぞれ階調補正処理を行う複数の階調補正部を備え、
上記階調補正部は、
画像の各画素を順次着目画素とし、着目画素の信号値として、入力色信号を構成する着目画素の信号値が基準値より大きいときは該入力色信号の着目画素の信号値を配置し、上記入力色信号を構成する着目画素の信号値が上記基準値以下のときは第１の値を配置し、高成分色信号を生成する高成分画像生成部と、
上記高成分画像生成部で生成された高成分色信号に対して第１のカットオフ周波数のローパスフィルタ処理を行って高成分平滑化色信号を生成する高成分平滑化画像生成部と、
画像の各画素を順次着目画素とし、着目画素の信号値として、上記入力色信号を構成する着目画素の信号値が上記基準値以下のときは該入力色信号の着目画素の信号値を配置し、上記入力色信号を構成する着目画素の信号値が上記基準値より大きいときは上記第１の値と同じあるいは異なる第２の値を配置し、低成分色信号を生成する低成分画像生成部と、
上記低成分画像生成部で生成された低成分色信号に対して上記第１のカットオフ周波数のローパスフィルタ処理を行って低成分平滑化色信号を生成する低成分平滑化画像生成部と、
上記入力色信号に対して、上記第１のカットオフ周波数より高い第２のカットオフ周波数のローパスフィルタ処理を行って入力平滑化色信号を生成する入力平滑化画像生成部と、
各画素を順次着目画素として、着目画素の信号値を、上記高成分平滑化画像生成部で生成された高成分平滑化色信号を構成する該着目画素の信号値および上記低成分平滑化画像生成部で生成された低成分平滑化色信号を構成する該着目画素の信号値に対して、入力平滑化画像生成部で生成された入力平滑化色信号を構成する該着目画素の信号値に基づいた合成処理または選択処理を行って求めて、基準色信号を生成する基準画像生成部と、
画像の各画素を順次着目画素とし、着目画素の信号値を、上記基準画像生成部で生成された基準色信号を構成する該着目画素の信号値に応じたトーンカーブを用いて、上記入力色信号の該着目画素の信号値を変換して求め、出力色信号を得る信号処理部を有する
階調補正装置。
【請求項１１】
画像の各画素を順次着目画素とし、着目画素の信号値として、入力画像信号を構成する着目画素の信号値が基準値より大きいときは該入力画像信号の着目画素の信号値を配置し、上記入力画像信号を構成する着目画素の信号値が上記基準値以下のときは第１の値を配置し、高成分画像信号を生成する高成分画像生成部と、
上記高成分画像生成部で生成された高成分画像信号に対して第１のカットオフ周波数のローパスフィルタ処理を行って高成分平滑化画像信号を生成する高成分平滑化画像生成部と、
画像の各画素を順次着目画素とし、着目画素の信号値として、上記入力画像信号を構成する着目画素の信号値が上記基準値以下のときは該入力画像信号の着目画素の信号値を配置し、上記入力画像信号を構成する着目画素の信号値が上記基準値より大きいときは上記第１の値と同じあるいは異なる第２の値を配置し、低成分画像信号を生成する低成分画像生成部と、
上記低成分画像生成部で生成された低成分画像信号に対して上記第１のカットオフ周波数のローパスフィルタ処理を行って低成分平滑化画像信号を生成する低成分平滑化画像生成部と、
上記入力画像信号に対して、上記第１のカットオフ周波数より高い第２のカットオフ周波数のローパスフィルタ処理を行って入力平滑化画像信号を生成する入力平滑化画像生成部と、
各画素を順次着目画素として、着目画素の信号値を、上記高成分平滑化画像生成部で生成された高成分平滑化画像信号を構成する該着目画素の信号値および上記低成分平滑化画像生成部で生成された低成分平滑化画像信号を構成する該着目画素の信号値に対して、入力平滑化画像生成部で生成された入力平滑化画像信号を構成する該着目画素の信号値に基づいた合成処理または選択処理を行って求めて、出力画像信号を生成する出力画像生成部と
を備える画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図８】
【公開番号】特開２０１０−９８５５３（Ｐ２０１０−９８５５３Ａ）
【公開日】平成２２年４月３０日（２０１０．４．３０）
【国際特許分類】
【出願番号】特願２００８−２６８０７７（Ｐ２００８−２６８０７７）
【出願日】平成２０年１０月１７日（２００８．１０．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年４月３０日（２０１０．４．３０）
【国際特許分類】
【出願日】平成２０年１０月１７日（２００８．１０．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]