撮像装置
【課題】画面全体における被写体の輝度レベルの分布を広げることにより、コントラストの拡張した画像を得る。
【解決手段】撮像した画像信号をDC成分とAC成分に分離するフィルタ307と、前記撮像した画像信号の明るさの度数分布を測定するヒストグラム検波器203と、該ヒストグラム検波器により取得した度数分布に応じて前記画像信号のコントラストを補正する範囲および補正する度合いを制御する制御パラメータを生成するコントラスト制御回路204と、前記制御パラメータにしたがって、分離された前記DC成分および前記AC成分に対する入出力特性を決定し、決定された入出力特性にしたがって前記DC成分および前記AC成分に対してコントラストを拡張補正するコントラスト拡張回路202とを備える。
【解決手段】撮像した画像信号をDC成分とAC成分に分離するフィルタ307と、前記撮像した画像信号の明るさの度数分布を測定するヒストグラム検波器203と、該ヒストグラム検波器により取得した度数分布に応じて前記画像信号のコントラストを補正する範囲および補正する度合いを制御する制御パラメータを生成するコントラスト制御回路204と、前記制御パラメータにしたがって、分離された前記DC成分および前記AC成分に対する入出力特性を決定し、決定された入出力特性にしたがって前記DC成分および前記AC成分に対してコントラストを拡張補正するコントラスト拡張回路202とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に係り、特に、良好なコントラストを得ることのできる撮像装置に関する。
【背景技術】
【0002】
特許文献1には、被写体の特定部分のコントラストを検出し、前記特定部分のコントラストが一定値を超えた場合にはガンマ補正量を変更することにより、コントラストが良好な画像を得ることが示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−211217号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の技術では、例えば、逆光あるいは過順光などの高コントラストでの条件で撮影すると、撮影画像に黒つぶれあるいは白とびが発生することがある。また、反射率差の少ない被写体の場合は、通常、カメラ信号処理回路において自動露光制御(AE)が働き、画面全体が中間輝度となるように露光調整される結果、十分な明るさが得られず、また、被写体のエッジ付近の輝度差も小さくなることから、精細感の乏しい画像となることがある。
【0005】
このような場合、通常は露光制御やエンハンサ制御などによる画質の改善が試みられるが、これらは画面内一律の制御であるため、画像内のすべての被写体について良好な画質を得ることは困難である。
【0006】
前記特許文献1では、被写体の特定部分のコントラストを検出し、前記特定部分のガンマ補正値を最適化することにより、前記問題を解決し、コントラストが良好な被写体の画像を得ることができる。
【0007】
しかし、ガンマ補正の特性を調整するだけでは補正の自由度が足りず、補正は不十分である。また、白飛びと黒つぶれが共存するような画像では、ガンマ補正だけでは十分な補正を施すことはできない。
【0008】
そこで、本発明は、信号処理によりコントラストの拡張あるいは補正を施すに際して、画面全体における被写体の輝度レベルの分布(以下ヒストグラム分布)を広げることにより、コントラストの拡張した画像を得ることのできる撮像装置を提供するものである。
【課題を解決するための手段】
【0009】
本発明は上記課題を解決するため、次のような手段を採用した。
【0010】
撮像した画像信号をDC成分とAC成分に分離するフィルタと、前記撮像した画像信号の明るさの度数分布を測定するヒストグラム検波器と、該ヒストグラム検波器により取得した度数分布に応じて前記画像信号のコントラストを補正する範囲および補正する度合いを制御する制御パラメータを生成するコントラスト制御回路と、前記制御パラメータにしたがって、分離された前記DC成分および前記AC成分に対する入出力特性を決定し、決定された入出力特性にしたがって前記DC成分および前記AC成分に対してコントラストを拡張補正するコントラスト拡張回路とを備え、前記コントラスト制御回路は、前記ヒストグラム検波器の出力を用いて前記制御パラメータを生成し、前記コントラスト拡張回路は、画素毎あるいは画面より小さい画像領域において、前記制御パラメータにしたがって前記DC成分および前記AC成分の信号量を変化させる。
【発明の効果】
【0011】
本発明は、以上の構成を備えるため、被写体の明るさの度数分布を広げることができ、コントラストの拡張した画像を得ることができる。
【図面の簡単な説明】
【0012】
【図1】第1の実施形態にかかる撮像装置を説明する図である。
【図2】コントラスト補正回路の詳細を説明する図である。
【図3】コントラスト拡張回路の詳細を説明する図である。
【図4】コントラスト制御回路204の動作を説明するフローチャートである。
【図5】コントラストの拡張および補正による効果の例を説明する図である。
【図6】コントラストの拡張および補正による効果の例を説明する図である。
【図7】第2の実施形態で用いるコントラスト補正回路(図1に示すコントラスト補正回路104の他の例)を示す図である。
【図8】理想的なヒストグラム特性の例を示す図である。
【図9】テンプレートを説明する図である。
【図10】DC成分の補正について説明する図である。
【図11】制御部の処理を説明する図である。
【図12】第3の実施形態で用いるコントラスト補正回路(図1に示すコントラスト補正回路104の更に他の例)を示す図である。
【図13】撮像装置の構成例について説明する図である。
【図14】ヒストグラムの生成と、補正対象画像の出力タイミングを合わせる構成を説明する図である。
【図15】DC/AC分離部の詳細を説明する図である。
【図16】AC部分に対する補正ゲインを説明する図である。
【発明を実施するための形態】
【0013】
〔実施形態1〕
図1ないし図6は、本発明の第1の実施形態を説明する図である。図1は撮像装置を説明する図であり、図1において、撮像レンズ101を介して被写体から入射された光は撮像素子102に照射され、被写体像が結像される。撮像素子102は被写体像を撮像し、電気信号を発生する。この電気信号はA/D変換回路103でデジタル信号に変換され、信号処理回路105でノイズ除去、ガンマ補正などの各種カメラ信号処理が施される。その後、コントラスト補正回路104で被写体の明るさ(輝度)の度数分布を検出し、被写体の明るさの度数分布が所望の特性となるように画面全体にコントラストの拡張あるいは補正の処理を施し、出力回路106においてTV信号などの信号に変換した後、出力される。
【0014】
ここで、前記コントラスト補正回路104は、被写体の明るさの度数の分布を測定し拡張範囲と補正値を決定する。
【0015】
すなわち、本実施形態においては、画像信号に対し、信号処理回路105においてノイズ除去、ガンマ補正が施され、コントラスト補正回路104において、被写体の明るさの度数分布を検出し、前記度数分布が所望の特性となるように画面全体におけるコントラストの拡張あるいは補正の処理を施すので、画面全体を対象とするヒストグラムの分布に偏りのない、視認性の高い画像を得ることができる。
【0016】
図2は、コントラスト補正回路104の詳細を説明する図である。信号処理回路105からの出力信号はコントラスト補正回路104のヒストグラム検波器203に供給される。ヒストグラム検波器203は、画像信号の1フィールド内の明るさの度数分布を、予め定めた明るさの幅毎に検波し、検波結果をコントラスト制御回路204に出力する。
【0017】
コントラスト制御回路204は、ヒストグラムの検波結果にしたがって、コントラストの拡張範囲と補正量を決定し、これらの信号をコントラスト拡張回路202に制御信号として供給する。コントラスト拡張回路202は、コントラスト制御回路204からの制御信号によってコントラストの拡張および補正を行った後、出力する。
【0018】
図3は、コントラスト拡張回路202の詳細を説明する図である。図3において、コントラスト拡張回路202は、入力信号を、直流を含む低周波を多く含む成分(以下DC成分)と高周波を多く含む成分(以下AC成分)に分離するDC/AC分離部307、DC成分から減算値302を減じる減算器301、減算器301による減算結果を制限(例えば0以下の値を0に制限)する下限値リミッタ303、下限値リミッタ303の出力に係数305の値を乗じる乗算器304、乗算器304の出力を制限(例えば1023以上の値を1023に制限)する上限値リミッタ306、分離された前記AC成分に対して補正を施すAC補正部308、および補正後のDC成分とAC成分を加算する加算器309を備える。
【0019】
ここで、コントラスト制御回路204は、ヒストグラム検波器203からのヒストグラムの検波結果にしたがってコントラストの拡張範囲および補正量に相当する減算値302と係数305の値、およびAC補正部308のゲインを決定する。
【0020】
次に、DC/AC分離部307の動作について説明する。DC/AC分離部307は、例えば図15に示すように、ローパスフィルタ801および減算器802を備え、入力信号をローパスフィルタ801に供給して、補正対象画素および周辺画素に対してフィルタ演算を行うことでDC成分を生成する。なお、前記ローパスフィルタはガウシアンフィルタのようなフィルタでもよいし、単純に平均値演算を行う演算器でもよい。また、これら以外のローパス特性をもつ任意のフィルタでもよい。なお、減算器802により前記入力信号とDC成分の差分を取ることによりAC成分を生成することができる。
【0021】
このようにして、補正対象画素ごとにDC成分およびAC成分を生成することができる。また、同様の考え方で、画像をいくつかの小領域に区切り、その領域毎にDC成分を生成することもできる。この場合は、画像内に領域境界が見えてしまう可能性があるが、DC成分を求めるためのフィルタ演算の計算量を大幅に削減できるメリットがある。
【0022】
次に、DC成分の補正について述べる。DC成分について補正を施すためのパラメータ(減算値302および係数305)は、例えば以下のように決定する。
【0023】
ヒストグラム検波器203で作成したヒストグラム(図5(a))における度数をSx、画面の総画素数をGtotalとすると
Gtotal = ΣSx
となる、一方、輝度出力の最大値をYmax、ヒストグラム作成の際の幅をΔx、ヒストグラムxにおける傾きをKx、とすると、
Ymax = ΣKx*Δx
となるため、Sxに比例して傾きを配分する場合には、
Kx = (Ymax/Δx)*(Sx/Gtotal)
と設定すると良い。
【0024】
また、入出力特性の連続を保つために、減算値Dxは、傾き=Kxで点(x,Σki*Δx)を通る直線のY切片であるから、
Dx = Σki*Δx − Kx*x
とすると良く、前記減算値Dxを減算値302に、傾きKxを係数305に設定する。
【0025】
図4は、前記コントラスト制御回路204の動作を説明するフローチャートである。なお、図において、STEP1〜STEP3は垂直帰線期間内に実行し、入力信号の範囲に対する減算値Dxと傾きKxを格納した参照テーブルを作成する。
【0026】
STEP4,STEP5,STEP6では、各画素値を入力する毎に、入力画素の信号レベルに応じて入力信号の範囲を判定し、対応する参照テーブルの減算値Dxを減算値302に設定し、傾きKxを係数305に設定する。
【0027】
STEP7,STEP8では1フィールド分の入力が終了したか否かを判定し、終了していない場合は次の画素位置のデータを入力しSTEP5に戻る。
【0028】
このように、DC/AC分離部307で画素毎あるいは領域毎に生成したDC成分を、上述の方式で求めた入出力特性にしたがって補正することにより、画像の領域毎の特性に応じた補正を行うことが可能となる。
【0029】
次に、AC成分の補正について述べる。AC成分について補正を施すためのパラメータ(補正ゲイン)については、たとえば、DC成分が補正によってどの程度変化したかの比率に応じてAC成分の補正ゲインを決定すればよい。補正前のDC成分をyとし、補正後のDC成分をf(y)とする。この場合のAC成分の補正ゲインをGとすると、
G = f(y)/y (f(y)> yの場合)
G = y/f(y) (f(y)≦yの場合)
のように決定すればよい。
【0030】
図16は、このようにして求めたAC補正ゲインを示す図である。前記DC/AC分離部307において画素毎に求めたAC成分に対してAC補正ゲインを乗算することにより、AC成分に対しても画像の領域毎の特性に応じた補正を画素毎に行うことが可能となる。
【0031】
図5,6は、コントラストの拡張および補正による効果の例を説明する図である。図5は、高コントラスト条件で撮影した場合におけるヒストグラムの例である。図5(a)のように低コントラスト部と高コントラスト部に分かれていた分布は、図5(b)のような入出力特性に設定したコントラスト拡張回路により拡張・補正されて、図5(c)のように、度数分布が連続し、黒つぶれや白とびが抑制される。
【0032】
図6は、被写体の反射率差が少ない場合におけるヒストグラムの例である。図6(a)に示すように中間部分に集中していた分布は、図6(b)のような入出力特性に設定したコントラスト拡張回路で拡張・補正されて、図6(c)のように連続的な度数分布で十分な明るさを持つ画像を得ることができる。
【0033】
以上説明したように、画像内の小領域毎、あるいは画素毎に最適な入出力特性を実現することが可能となり、その結果として小領域毎、あるいは画素毎に最適な補正を施すことが可能となる。
【0034】
また、以上の例では、ヒストグラムの度数に応じてコントラスト制御回路における係数と減算値を決める例について説明したが、前記例とは異なる方式で、ヒストグラムを用いてコントラスト制御回路の係数と減算値、およびAC補正ゲインを決定することもできる。なお、撮像装置としては、民生用のビデオカメラを用いることができ、逆光や過順光などの高コントラストの条件下での撮影あるいは反射率差の少ない被写体の撮影時に特に有効である。また、図示されていないユーザインタフェースやCPUなどにより、補正の強さが指定され、その強さに応じて係数、減算値、AC補正ゲインを調整する構成とすることもできる。
【0035】
〔実施形態2〕
図7ないし図11は、本発明の第2の実施形態を説明する図であり、図7は、本実施形態で用いるコントラスト補正回路(図1に示すコントラスト補正回路104の他の例)を示す図である。
【0036】
図7において、ヒストグラム検波器401では1フィールド画像内の明るさの度数分布を、定めた明るさの幅毎に検波し、検波結果を制御部403に供給する。
【0037】
制御部403では、予め定めてある例えば図8のようなヒストグラム特性に近くなるように、重み係数405,407,409をそれぞれROM404,406,408に設定しておく。また、入力信号はDC/AC分離部307においてDC成分とAC成分に分離する。なお、DC/AC分離部307は前記第1の実施形態におけるDC/AC分離部と同様である。
【0038】
ROM404、ROM406、ROM408には、DC成分に対する補正特性がそれぞれ(つまり合計(N+1)種類)格納されている。ROM404、ROM406、ROM408は、入力された信号に応じて、格納されている補正値をそれぞれ出力する。
【0039】
図10は、DC成分の補正について説明する図である。乗算器405、乗算器407、乗算器409は、制御部403から設定された重み係数C0,C1,C2,CNと、前記ROMの出力値を乗算して、それぞれ加算器410に出力する。
【0040】
加算器410では、DC成分(図10(a))と、乗算器405〜乗算器409の合計(図10(b))を加算し、この加算値を補正回路出力(図10(c))とする。なお、図10(b)あるいは図10(c)の入出力特性は、ROM404、ROM406、ROM408に格納される補正値、あるいは乗算器405、乗算器、乗算器409に設定する重み係数によって適宜変更可能である。
【0041】
ここで、図9および図11を参照して、乗算器405、乗算器407、乗算器409に設定する重み係数の決定方法について説明する。
【0042】
まず、補正の結果としてあるべきヒストグラム分布(以下、理想ヒストグラム分布)を定める。理想ヒストグラム分布は図9(c)に示すようななだらかな山型でもよいし、一様分布でもよい。次に、ある入力が図9(a)に示すようなヒストグラム分布を持っていて、それがあるROMデータ(例えばROM404)により形成される図9(b)に示す入出力特性の回路を通された結果、出力のヒストグラムが理想ヒストグラム分布になる場合に、図9(a)の分布をROM404のテンプレートと称する。同様にして、ROM406〜ROM408のテンプレートを生成する。
【0043】
図11は、制御部403の処理を説明するフローチャートである。制御部403は、ROM404、ROM406、ROM408のテンプレート値を把握しており、これらのROMに対応するテンプレートとヒストグラム検波器401の検波結果とを比較して(STEP1)、入力のヒストグラムとテンプレートの相関が高いROMから順に大きな重み係数(Ci)を割り当てる(STEP2)。
【0044】
ここで、最終的な補正特性(図10(c))は入力DC成分に対して単調増加な特性にする必要があるため、STEP3に示す判定をおこない、単調増加でない場合には単調増加になるまでSTEP4で重み係数(Ci)を補正し、単調増加となる重み係数(Ci)を設定する(STEP5)。これらの演算と設定は垂直帰線期間内で実行する。
【0045】
なお、STEP3の式において、iはROMあるいは乗算器の番号(0〜N)である。また、Kは入力信号のレベルであり、入力信号の最大レベルをYin_maxとすると入力信号のレベルは0〜Yin_maxである。Ri(k)は、ROM(i)にkのレベルの入力を与えた場合の出力であり、Ciは乗算器(i)に設定する重み係数である。
【0046】
なお、図7において、DC/AC分離部307は、図3におけるDC/AC分離部307と同じものである。また、DC/AC分離部307は、第1の実施形態において説明したように、DC成分およびAC成分を画素毎あるいは領域毎に求めることができる。このようにROMを用いてDC成分を補正することにより、画像の領域毎の特性に応じた補正を画素毎に行うことが可能となる。
【0047】
以上説明したように、本実施形態によれば理想的なヒストグラム特性に近い輝度分布を得ることができ、図5や図6において説明したのと同様な効果を得ることができる。これによって、高コントラストの条件下での撮影において、黒つぶれや白とびを抑制することができ、また、反射率差の少ない被写体の撮影においても十分なコントラストを得ることができる。
【0048】
以上説明したように、画像内の小領域毎、あるいは画素毎に最適な入出力特性を実現することが可能となり、小領域毎、あるいは画素毎に最適な補正を施すことが可能となる。なお、本実施形態における制御部はソフトウエアで構成されることを前提に説明したがハードウェアによって構成しても同様の効果を得ることができる。
【0049】
また、ヒストグラムの度数に応じて各ROMへの重み係数、およびAC補正ゲインを決定することができる。また、図示されていないユーザインタフェースやCPUなどにより、補正の強さを指定し、指定した強さに応じて重み係数、AC補正ゲインを調整する構成とすることもできる。
【0050】
〔実施形態3〕
図12ないし図14はコントラスト補正回路104のさらに他の例を説明する図である。なお、図において、図7に示される部分と同一部分については同一符号を付してその説明を省略する。前記第2の実施形態との相違は制御部503にある。制御部503は、前記制御部403が行う動作の外に、前段信号処理に対してディザリング、ノイズリダクション、エンハンサなど画質にかかる各種パラメータを設定する画質制御信号も出力する点で異なる。
【0051】
制御部503は、コントラストの拡張や補正の度合い応じてあらかじめ定めてある画質にかかる各種パラメータを設定する。これにより、コントラストの拡張・補正によるノイズ感や解像度感の変化を抑制することができる。
【0052】
図13は、本実施形態に係る撮像装置の構成例について説明する図である。なお、図において図1に示される部分と同一部分については同一符号を付してその説明を省略する。信号処理回路605および信号処理回路606は、信号処理回路105の動作の他、コントラスト補正回路604から与えられディザリング、ノイズリダクション、エンハンサなど画質にかかわる各種パラメータを設定する画質制御信号に応じて、各種画質の設定をおこなう。これにより、コントラストの拡張・補正によるノイズ感や解像度感の変化を抑制した撮像装置を提供することができる。
【0053】
なお、以上の説明では、フィールドメモリやフレームメモリを省略した例を用いて説明したが、例えば図14に示すようにフィールドメモリを用いることにより、ヒストグラムの生成と、補正対象画像の出力タイミングを厳密に合わせる構成としてもよい。フィールドメモリを用いることにより、たとえばシーンチェンジが発生した場合やカメラの直前を物体が横切った場合などにおいて、一瞬だけ誤った補正を行うのを防止することができる。また、フィールドメモリの代わりにフレームメモリを用いても同様な効果が得られる。また、前期実施形態を組み合わせることもできる。
【0054】
なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0055】
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プログラムで作動するプロセッサで構成されても良い。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【0056】
以上説明したように、本実施形態によれば、ヒストグラム分布を検出し、被写体のヒストグラム分布が特定の輝度レベルに偏ることのないように画面全体のコントラストを拡張し、コントラストに補正を施す。これにより、逆光や過順光などの高コントラスト条件下での撮影において、黒つぶれや白とびの発生しない、また、反射率差の少ない被写体の撮影時においても十分なコントラストの画像を得ることのできる撮像装置を提供することができる。また、これらの制御を画像内の小領域、あるいは画素ごとに行うことにより、画像内のどの領域においても良好な補正を行うことができる。
【符号の説明】
【0057】
101 撮像レンズ
102 撮像素子
103 A/D変換回路
104 コントラスト補正回路
105 信号処理回路
106 出力回路
202 コントラスト拡張回路
203 ヒストグラム検波器
204 コントラスト制御回路
301 減算器
302 減算値
303 下限値リミッタ
304 乗算器
305 係数
306 上限値リミッタ
307 DC/AC分離部
308 AC補正部
309,410 加算器
401 ヒストグラム検波器
402 テンプレートデータ
403,503 制御部
404,406,408 ROMテーブル
405,407,409 乗算器
604 コントラスト補正回路
605,606 信号処理回路
701 フィールドメモリ
【技術分野】
【0001】
本発明は、撮像装置に係り、特に、良好なコントラストを得ることのできる撮像装置に関する。
【背景技術】
【0002】
特許文献1には、被写体の特定部分のコントラストを検出し、前記特定部分のコントラストが一定値を超えた場合にはガンマ補正量を変更することにより、コントラストが良好な画像を得ることが示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−211217号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の技術では、例えば、逆光あるいは過順光などの高コントラストでの条件で撮影すると、撮影画像に黒つぶれあるいは白とびが発生することがある。また、反射率差の少ない被写体の場合は、通常、カメラ信号処理回路において自動露光制御(AE)が働き、画面全体が中間輝度となるように露光調整される結果、十分な明るさが得られず、また、被写体のエッジ付近の輝度差も小さくなることから、精細感の乏しい画像となることがある。
【0005】
このような場合、通常は露光制御やエンハンサ制御などによる画質の改善が試みられるが、これらは画面内一律の制御であるため、画像内のすべての被写体について良好な画質を得ることは困難である。
【0006】
前記特許文献1では、被写体の特定部分のコントラストを検出し、前記特定部分のガンマ補正値を最適化することにより、前記問題を解決し、コントラストが良好な被写体の画像を得ることができる。
【0007】
しかし、ガンマ補正の特性を調整するだけでは補正の自由度が足りず、補正は不十分である。また、白飛びと黒つぶれが共存するような画像では、ガンマ補正だけでは十分な補正を施すことはできない。
【0008】
そこで、本発明は、信号処理によりコントラストの拡張あるいは補正を施すに際して、画面全体における被写体の輝度レベルの分布(以下ヒストグラム分布)を広げることにより、コントラストの拡張した画像を得ることのできる撮像装置を提供するものである。
【課題を解決するための手段】
【0009】
本発明は上記課題を解決するため、次のような手段を採用した。
【0010】
撮像した画像信号をDC成分とAC成分に分離するフィルタと、前記撮像した画像信号の明るさの度数分布を測定するヒストグラム検波器と、該ヒストグラム検波器により取得した度数分布に応じて前記画像信号のコントラストを補正する範囲および補正する度合いを制御する制御パラメータを生成するコントラスト制御回路と、前記制御パラメータにしたがって、分離された前記DC成分および前記AC成分に対する入出力特性を決定し、決定された入出力特性にしたがって前記DC成分および前記AC成分に対してコントラストを拡張補正するコントラスト拡張回路とを備え、前記コントラスト制御回路は、前記ヒストグラム検波器の出力を用いて前記制御パラメータを生成し、前記コントラスト拡張回路は、画素毎あるいは画面より小さい画像領域において、前記制御パラメータにしたがって前記DC成分および前記AC成分の信号量を変化させる。
【発明の効果】
【0011】
本発明は、以上の構成を備えるため、被写体の明るさの度数分布を広げることができ、コントラストの拡張した画像を得ることができる。
【図面の簡単な説明】
【0012】
【図1】第1の実施形態にかかる撮像装置を説明する図である。
【図2】コントラスト補正回路の詳細を説明する図である。
【図3】コントラスト拡張回路の詳細を説明する図である。
【図4】コントラスト制御回路204の動作を説明するフローチャートである。
【図5】コントラストの拡張および補正による効果の例を説明する図である。
【図6】コントラストの拡張および補正による効果の例を説明する図である。
【図7】第2の実施形態で用いるコントラスト補正回路(図1に示すコントラスト補正回路104の他の例)を示す図である。
【図8】理想的なヒストグラム特性の例を示す図である。
【図9】テンプレートを説明する図である。
【図10】DC成分の補正について説明する図である。
【図11】制御部の処理を説明する図である。
【図12】第3の実施形態で用いるコントラスト補正回路(図1に示すコントラスト補正回路104の更に他の例)を示す図である。
【図13】撮像装置の構成例について説明する図である。
【図14】ヒストグラムの生成と、補正対象画像の出力タイミングを合わせる構成を説明する図である。
【図15】DC/AC分離部の詳細を説明する図である。
【図16】AC部分に対する補正ゲインを説明する図である。
【発明を実施するための形態】
【0013】
〔実施形態1〕
図1ないし図6は、本発明の第1の実施形態を説明する図である。図1は撮像装置を説明する図であり、図1において、撮像レンズ101を介して被写体から入射された光は撮像素子102に照射され、被写体像が結像される。撮像素子102は被写体像を撮像し、電気信号を発生する。この電気信号はA/D変換回路103でデジタル信号に変換され、信号処理回路105でノイズ除去、ガンマ補正などの各種カメラ信号処理が施される。その後、コントラスト補正回路104で被写体の明るさ(輝度)の度数分布を検出し、被写体の明るさの度数分布が所望の特性となるように画面全体にコントラストの拡張あるいは補正の処理を施し、出力回路106においてTV信号などの信号に変換した後、出力される。
【0014】
ここで、前記コントラスト補正回路104は、被写体の明るさの度数の分布を測定し拡張範囲と補正値を決定する。
【0015】
すなわち、本実施形態においては、画像信号に対し、信号処理回路105においてノイズ除去、ガンマ補正が施され、コントラスト補正回路104において、被写体の明るさの度数分布を検出し、前記度数分布が所望の特性となるように画面全体におけるコントラストの拡張あるいは補正の処理を施すので、画面全体を対象とするヒストグラムの分布に偏りのない、視認性の高い画像を得ることができる。
【0016】
図2は、コントラスト補正回路104の詳細を説明する図である。信号処理回路105からの出力信号はコントラスト補正回路104のヒストグラム検波器203に供給される。ヒストグラム検波器203は、画像信号の1フィールド内の明るさの度数分布を、予め定めた明るさの幅毎に検波し、検波結果をコントラスト制御回路204に出力する。
【0017】
コントラスト制御回路204は、ヒストグラムの検波結果にしたがって、コントラストの拡張範囲と補正量を決定し、これらの信号をコントラスト拡張回路202に制御信号として供給する。コントラスト拡張回路202は、コントラスト制御回路204からの制御信号によってコントラストの拡張および補正を行った後、出力する。
【0018】
図3は、コントラスト拡張回路202の詳細を説明する図である。図3において、コントラスト拡張回路202は、入力信号を、直流を含む低周波を多く含む成分(以下DC成分)と高周波を多く含む成分(以下AC成分)に分離するDC/AC分離部307、DC成分から減算値302を減じる減算器301、減算器301による減算結果を制限(例えば0以下の値を0に制限)する下限値リミッタ303、下限値リミッタ303の出力に係数305の値を乗じる乗算器304、乗算器304の出力を制限(例えば1023以上の値を1023に制限)する上限値リミッタ306、分離された前記AC成分に対して補正を施すAC補正部308、および補正後のDC成分とAC成分を加算する加算器309を備える。
【0019】
ここで、コントラスト制御回路204は、ヒストグラム検波器203からのヒストグラムの検波結果にしたがってコントラストの拡張範囲および補正量に相当する減算値302と係数305の値、およびAC補正部308のゲインを決定する。
【0020】
次に、DC/AC分離部307の動作について説明する。DC/AC分離部307は、例えば図15に示すように、ローパスフィルタ801および減算器802を備え、入力信号をローパスフィルタ801に供給して、補正対象画素および周辺画素に対してフィルタ演算を行うことでDC成分を生成する。なお、前記ローパスフィルタはガウシアンフィルタのようなフィルタでもよいし、単純に平均値演算を行う演算器でもよい。また、これら以外のローパス特性をもつ任意のフィルタでもよい。なお、減算器802により前記入力信号とDC成分の差分を取ることによりAC成分を生成することができる。
【0021】
このようにして、補正対象画素ごとにDC成分およびAC成分を生成することができる。また、同様の考え方で、画像をいくつかの小領域に区切り、その領域毎にDC成分を生成することもできる。この場合は、画像内に領域境界が見えてしまう可能性があるが、DC成分を求めるためのフィルタ演算の計算量を大幅に削減できるメリットがある。
【0022】
次に、DC成分の補正について述べる。DC成分について補正を施すためのパラメータ(減算値302および係数305)は、例えば以下のように決定する。
【0023】
ヒストグラム検波器203で作成したヒストグラム(図5(a))における度数をSx、画面の総画素数をGtotalとすると
Gtotal = ΣSx
となる、一方、輝度出力の最大値をYmax、ヒストグラム作成の際の幅をΔx、ヒストグラムxにおける傾きをKx、とすると、
Ymax = ΣKx*Δx
となるため、Sxに比例して傾きを配分する場合には、
Kx = (Ymax/Δx)*(Sx/Gtotal)
と設定すると良い。
【0024】
また、入出力特性の連続を保つために、減算値Dxは、傾き=Kxで点(x,Σki*Δx)を通る直線のY切片であるから、
Dx = Σki*Δx − Kx*x
とすると良く、前記減算値Dxを減算値302に、傾きKxを係数305に設定する。
【0025】
図4は、前記コントラスト制御回路204の動作を説明するフローチャートである。なお、図において、STEP1〜STEP3は垂直帰線期間内に実行し、入力信号の範囲に対する減算値Dxと傾きKxを格納した参照テーブルを作成する。
【0026】
STEP4,STEP5,STEP6では、各画素値を入力する毎に、入力画素の信号レベルに応じて入力信号の範囲を判定し、対応する参照テーブルの減算値Dxを減算値302に設定し、傾きKxを係数305に設定する。
【0027】
STEP7,STEP8では1フィールド分の入力が終了したか否かを判定し、終了していない場合は次の画素位置のデータを入力しSTEP5に戻る。
【0028】
このように、DC/AC分離部307で画素毎あるいは領域毎に生成したDC成分を、上述の方式で求めた入出力特性にしたがって補正することにより、画像の領域毎の特性に応じた補正を行うことが可能となる。
【0029】
次に、AC成分の補正について述べる。AC成分について補正を施すためのパラメータ(補正ゲイン)については、たとえば、DC成分が補正によってどの程度変化したかの比率に応じてAC成分の補正ゲインを決定すればよい。補正前のDC成分をyとし、補正後のDC成分をf(y)とする。この場合のAC成分の補正ゲインをGとすると、
G = f(y)/y (f(y)> yの場合)
G = y/f(y) (f(y)≦yの場合)
のように決定すればよい。
【0030】
図16は、このようにして求めたAC補正ゲインを示す図である。前記DC/AC分離部307において画素毎に求めたAC成分に対してAC補正ゲインを乗算することにより、AC成分に対しても画像の領域毎の特性に応じた補正を画素毎に行うことが可能となる。
【0031】
図5,6は、コントラストの拡張および補正による効果の例を説明する図である。図5は、高コントラスト条件で撮影した場合におけるヒストグラムの例である。図5(a)のように低コントラスト部と高コントラスト部に分かれていた分布は、図5(b)のような入出力特性に設定したコントラスト拡張回路により拡張・補正されて、図5(c)のように、度数分布が連続し、黒つぶれや白とびが抑制される。
【0032】
図6は、被写体の反射率差が少ない場合におけるヒストグラムの例である。図6(a)に示すように中間部分に集中していた分布は、図6(b)のような入出力特性に設定したコントラスト拡張回路で拡張・補正されて、図6(c)のように連続的な度数分布で十分な明るさを持つ画像を得ることができる。
【0033】
以上説明したように、画像内の小領域毎、あるいは画素毎に最適な入出力特性を実現することが可能となり、その結果として小領域毎、あるいは画素毎に最適な補正を施すことが可能となる。
【0034】
また、以上の例では、ヒストグラムの度数に応じてコントラスト制御回路における係数と減算値を決める例について説明したが、前記例とは異なる方式で、ヒストグラムを用いてコントラスト制御回路の係数と減算値、およびAC補正ゲインを決定することもできる。なお、撮像装置としては、民生用のビデオカメラを用いることができ、逆光や過順光などの高コントラストの条件下での撮影あるいは反射率差の少ない被写体の撮影時に特に有効である。また、図示されていないユーザインタフェースやCPUなどにより、補正の強さが指定され、その強さに応じて係数、減算値、AC補正ゲインを調整する構成とすることもできる。
【0035】
〔実施形態2〕
図7ないし図11は、本発明の第2の実施形態を説明する図であり、図7は、本実施形態で用いるコントラスト補正回路(図1に示すコントラスト補正回路104の他の例)を示す図である。
【0036】
図7において、ヒストグラム検波器401では1フィールド画像内の明るさの度数分布を、定めた明るさの幅毎に検波し、検波結果を制御部403に供給する。
【0037】
制御部403では、予め定めてある例えば図8のようなヒストグラム特性に近くなるように、重み係数405,407,409をそれぞれROM404,406,408に設定しておく。また、入力信号はDC/AC分離部307においてDC成分とAC成分に分離する。なお、DC/AC分離部307は前記第1の実施形態におけるDC/AC分離部と同様である。
【0038】
ROM404、ROM406、ROM408には、DC成分に対する補正特性がそれぞれ(つまり合計(N+1)種類)格納されている。ROM404、ROM406、ROM408は、入力された信号に応じて、格納されている補正値をそれぞれ出力する。
【0039】
図10は、DC成分の補正について説明する図である。乗算器405、乗算器407、乗算器409は、制御部403から設定された重み係数C0,C1,C2,CNと、前記ROMの出力値を乗算して、それぞれ加算器410に出力する。
【0040】
加算器410では、DC成分(図10(a))と、乗算器405〜乗算器409の合計(図10(b))を加算し、この加算値を補正回路出力(図10(c))とする。なお、図10(b)あるいは図10(c)の入出力特性は、ROM404、ROM406、ROM408に格納される補正値、あるいは乗算器405、乗算器、乗算器409に設定する重み係数によって適宜変更可能である。
【0041】
ここで、図9および図11を参照して、乗算器405、乗算器407、乗算器409に設定する重み係数の決定方法について説明する。
【0042】
まず、補正の結果としてあるべきヒストグラム分布(以下、理想ヒストグラム分布)を定める。理想ヒストグラム分布は図9(c)に示すようななだらかな山型でもよいし、一様分布でもよい。次に、ある入力が図9(a)に示すようなヒストグラム分布を持っていて、それがあるROMデータ(例えばROM404)により形成される図9(b)に示す入出力特性の回路を通された結果、出力のヒストグラムが理想ヒストグラム分布になる場合に、図9(a)の分布をROM404のテンプレートと称する。同様にして、ROM406〜ROM408のテンプレートを生成する。
【0043】
図11は、制御部403の処理を説明するフローチャートである。制御部403は、ROM404、ROM406、ROM408のテンプレート値を把握しており、これらのROMに対応するテンプレートとヒストグラム検波器401の検波結果とを比較して(STEP1)、入力のヒストグラムとテンプレートの相関が高いROMから順に大きな重み係数(Ci)を割り当てる(STEP2)。
【0044】
ここで、最終的な補正特性(図10(c))は入力DC成分に対して単調増加な特性にする必要があるため、STEP3に示す判定をおこない、単調増加でない場合には単調増加になるまでSTEP4で重み係数(Ci)を補正し、単調増加となる重み係数(Ci)を設定する(STEP5)。これらの演算と設定は垂直帰線期間内で実行する。
【0045】
なお、STEP3の式において、iはROMあるいは乗算器の番号(0〜N)である。また、Kは入力信号のレベルであり、入力信号の最大レベルをYin_maxとすると入力信号のレベルは0〜Yin_maxである。Ri(k)は、ROM(i)にkのレベルの入力を与えた場合の出力であり、Ciは乗算器(i)に設定する重み係数である。
【0046】
なお、図7において、DC/AC分離部307は、図3におけるDC/AC分離部307と同じものである。また、DC/AC分離部307は、第1の実施形態において説明したように、DC成分およびAC成分を画素毎あるいは領域毎に求めることができる。このようにROMを用いてDC成分を補正することにより、画像の領域毎の特性に応じた補正を画素毎に行うことが可能となる。
【0047】
以上説明したように、本実施形態によれば理想的なヒストグラム特性に近い輝度分布を得ることができ、図5や図6において説明したのと同様な効果を得ることができる。これによって、高コントラストの条件下での撮影において、黒つぶれや白とびを抑制することができ、また、反射率差の少ない被写体の撮影においても十分なコントラストを得ることができる。
【0048】
以上説明したように、画像内の小領域毎、あるいは画素毎に最適な入出力特性を実現することが可能となり、小領域毎、あるいは画素毎に最適な補正を施すことが可能となる。なお、本実施形態における制御部はソフトウエアで構成されることを前提に説明したがハードウェアによって構成しても同様の効果を得ることができる。
【0049】
また、ヒストグラムの度数に応じて各ROMへの重み係数、およびAC補正ゲインを決定することができる。また、図示されていないユーザインタフェースやCPUなどにより、補正の強さを指定し、指定した強さに応じて重み係数、AC補正ゲインを調整する構成とすることもできる。
【0050】
〔実施形態3〕
図12ないし図14はコントラスト補正回路104のさらに他の例を説明する図である。なお、図において、図7に示される部分と同一部分については同一符号を付してその説明を省略する。前記第2の実施形態との相違は制御部503にある。制御部503は、前記制御部403が行う動作の外に、前段信号処理に対してディザリング、ノイズリダクション、エンハンサなど画質にかかる各種パラメータを設定する画質制御信号も出力する点で異なる。
【0051】
制御部503は、コントラストの拡張や補正の度合い応じてあらかじめ定めてある画質にかかる各種パラメータを設定する。これにより、コントラストの拡張・補正によるノイズ感や解像度感の変化を抑制することができる。
【0052】
図13は、本実施形態に係る撮像装置の構成例について説明する図である。なお、図において図1に示される部分と同一部分については同一符号を付してその説明を省略する。信号処理回路605および信号処理回路606は、信号処理回路105の動作の他、コントラスト補正回路604から与えられディザリング、ノイズリダクション、エンハンサなど画質にかかわる各種パラメータを設定する画質制御信号に応じて、各種画質の設定をおこなう。これにより、コントラストの拡張・補正によるノイズ感や解像度感の変化を抑制した撮像装置を提供することができる。
【0053】
なお、以上の説明では、フィールドメモリやフレームメモリを省略した例を用いて説明したが、例えば図14に示すようにフィールドメモリを用いることにより、ヒストグラムの生成と、補正対象画像の出力タイミングを厳密に合わせる構成としてもよい。フィールドメモリを用いることにより、たとえばシーンチェンジが発生した場合やカメラの直前を物体が横切った場合などにおいて、一瞬だけ誤った補正を行うのを防止することができる。また、フィールドメモリの代わりにフレームメモリを用いても同様な効果が得られる。また、前期実施形態を組み合わせることもできる。
【0054】
なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0055】
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プログラムで作動するプロセッサで構成されても良い。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【0056】
以上説明したように、本実施形態によれば、ヒストグラム分布を検出し、被写体のヒストグラム分布が特定の輝度レベルに偏ることのないように画面全体のコントラストを拡張し、コントラストに補正を施す。これにより、逆光や過順光などの高コントラスト条件下での撮影において、黒つぶれや白とびの発生しない、また、反射率差の少ない被写体の撮影時においても十分なコントラストの画像を得ることのできる撮像装置を提供することができる。また、これらの制御を画像内の小領域、あるいは画素ごとに行うことにより、画像内のどの領域においても良好な補正を行うことができる。
【符号の説明】
【0057】
101 撮像レンズ
102 撮像素子
103 A/D変換回路
104 コントラスト補正回路
105 信号処理回路
106 出力回路
202 コントラスト拡張回路
203 ヒストグラム検波器
204 コントラスト制御回路
301 減算器
302 減算値
303 下限値リミッタ
304 乗算器
305 係数
306 上限値リミッタ
307 DC/AC分離部
308 AC補正部
309,410 加算器
401 ヒストグラム検波器
402 テンプレートデータ
403,503 制御部
404,406,408 ROMテーブル
405,407,409 乗算器
604 コントラスト補正回路
605,606 信号処理回路
701 フィールドメモリ
【特許請求の範囲】
【請求項1】
撮像した画像信号をDC成分とAC成分に分離するフィルタと、
前記撮像した画像信号の明るさの度数分布を測定するヒストグラム検波器と、
該ヒストグラム検波器により取得した度数分布に応じて前記画像信号のコントラストを補正する範囲および補正する度合いを制御する制御パラメータを生成するコントラスト制御回路と、
前記制御パラメータにしたがって、分離された前記DC成分および前記AC成分に対する入出力特性を決定し、決定された入出力特性にしたがって前記DC成分および前記AC成分に対してコントラストを拡張補正するコントラスト拡張回路とを備え、
前記コントラスト制御回路は、前記ヒストグラム検波器の出力を用いて前記制御パラメータを生成し、
前記コントラスト拡張回路は、画素毎あるいは画面より小さい画像領域において、前記制御パラメータにしたがって前記DC成分および前記AC成分の信号量を変化させることを特徴とする撮像装置。
【請求項2】
請求項1記載の撮像装置において
前記コントラスト拡張回路は、画素毎あるいは画面より小さい画像領域において、前記制御パラメータにしたがって前記DC成分を予め設定した上下限値の間に伸張し、前記AC成分の信号量を前記DC成分の変化にしたがって変化させることを特徴とする撮像装置。
【請求項3】
請求項1記載の撮像装置において、
前記コントラスト拡張回路は前記制御パラメータに応じて前記DC成分と前記AC成分をそれぞれ独立して補正することを特徴とした撮像装置。
【請求項1】
撮像した画像信号をDC成分とAC成分に分離するフィルタと、
前記撮像した画像信号の明るさの度数分布を測定するヒストグラム検波器と、
該ヒストグラム検波器により取得した度数分布に応じて前記画像信号のコントラストを補正する範囲および補正する度合いを制御する制御パラメータを生成するコントラスト制御回路と、
前記制御パラメータにしたがって、分離された前記DC成分および前記AC成分に対する入出力特性を決定し、決定された入出力特性にしたがって前記DC成分および前記AC成分に対してコントラストを拡張補正するコントラスト拡張回路とを備え、
前記コントラスト制御回路は、前記ヒストグラム検波器の出力を用いて前記制御パラメータを生成し、
前記コントラスト拡張回路は、画素毎あるいは画面より小さい画像領域において、前記制御パラメータにしたがって前記DC成分および前記AC成分の信号量を変化させることを特徴とする撮像装置。
【請求項2】
請求項1記載の撮像装置において
前記コントラスト拡張回路は、画素毎あるいは画面より小さい画像領域において、前記制御パラメータにしたがって前記DC成分を予め設定した上下限値の間に伸張し、前記AC成分の信号量を前記DC成分の変化にしたがって変化させることを特徴とする撮像装置。
【請求項3】
請求項1記載の撮像装置において、
前記コントラスト拡張回路は前記制御パラメータに応じて前記DC成分と前記AC成分をそれぞれ独立して補正することを特徴とした撮像装置。
【図1】
【図2】
【図3】
【図4】
【図7】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図5】
【図6】
【図8】
【図9】
【図2】
【図3】
【図4】
【図7】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図5】
【図6】
【図8】
【図9】
【公開番号】特開2013−55552(P2013−55552A)
【公開日】平成25年3月21日(2013.3.21)
【国際特許分類】
【出願番号】特願2011−193115(P2011−193115)
【出願日】平成23年9月5日(2011.9.5)
【出願人】(509189444)日立コンシューマエレクトロニクス株式会社 (998)
【Fターム(参考)】
【公開日】平成25年3月21日(2013.3.21)
【国際特許分類】
【出願日】平成23年9月5日(2011.9.5)
【出願人】(509189444)日立コンシューマエレクトロニクス株式会社 (998)
【Fターム(参考)】
[ Back to top ]