カメラ装置
【課題】入出力信号特性を補正した際のノイズの増幅を抑制する。
【解決手段】画像を撮像する撮像手段１０１と、撮像時の露光を制御する露光制御手段１０２と、入力信号と出力信号の特性が所定の入出力関係になるよう補正する第１の補正手段１０５と、前記第１の補正手段により補正された後の雑音特性を記憶する補正後雑音特性記憶手段１０６と、前記補正後雑音特性記憶手段により記憶された雑音特性を補正する第２の補正手段１０７と、を備える。
【解決手段】画像を撮像する撮像手段１０１と、撮像時の露光を制御する露光制御手段１０２と、入力信号と出力信号の特性が所定の入出力関係になるよう補正する第１の補正手段１０５と、前記第１の補正手段により補正された後の雑音特性を記憶する補正後雑音特性記憶手段１０６と、前記補正後雑音特性記憶手段により記憶された雑音特性を補正する第２の補正手段１０７と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ装置に関するものである。
【背景技術】
【０００２】
ビデオカメラで撮像した映像信号をテレビ用モニタとパーソナルコンピュータ用モニタの両方で適切な表示になるように補正するものが知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−３４１５７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の技術では、テレビ用モニタとパーソナルコンピュータ用モニタの両方で適切な表示ができるように、非線形の入力−出力特性に補正のゲインを乗算し、これにより入力−出力特性を線形にするため、大きなゲインを乗算した領域ではノイズも一緒に増幅されてしまうという問題がある。
【０００５】
本発明は、入出力信号特性を補正した際のノイズの増幅を抑制することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、補正後の入出力信号特性のうちの雑音特性をさらに補正することによって上記目的を達成する。
【発明の効果】
【０００７】
本発明によれば、補正後の入出力信号特性のうちの雑音特性が減少するように補正できるので、入出力信号特性を補正した際の雑音特性の増幅を抑制することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施の形態に係るカメラ装置の構成を示すブロック図である。
【図２】図１のカメラ装置における撮像部の撮像範囲と投光部の照射範囲の一例を示す図である。
【図３】図１のカメラ装置における露光タイミングと照射タイミングとの関係の一例を示すタイミングチャートである。
【図４】図１のカメラ装置における照射・非照射フレームパターンの一例を示すタイミングチャートである。
【図５】図１のカメラ装置で撮影した投光時の画像例と非投光時の画像例を示す図である。
【図６】図１の照射光抽出部で処理された照射光抽出画像の一例を示す図である。
【図７】図１の第１の補正部における処理の一例を示すグラフである。
【図８】図１の第１の補正部における処理後の雑音特性の一例を示すグラフである。
【図９】図１の第２の補正部における輝度範囲の決め方の一例を示す図及びグラフである。
【図１０】図１の第２の補正部における第１の補正後の雑音量の決め方の一例を示すグラフである。
【図１１】図１の第２の補正部における第１の補正後の雑音量の決め方の一例を示すグラフである（図１０の続き）。
【図１２】図１のカメラ装置の処理手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明の一実施の形態に係るカメラ装置の構成を示すブロック図であり、カメラ装置１０は、画像を撮像する撮像部１０１と、撮像部１０１の撮像時の露光を制御する露光制御部１０２と、露光制御部１０２で制御された撮像部１０１が撮像するタイミングに同期して撮像部１０１の撮像範囲に光を照射する投光部１０３と、撮像部１０１で撮像した画像から、照射した光成分のみを抽出した画像を生成する照射光抽出部１０４と、撮像部１０１で撮像された画像の入出力の非線形特性を補正するための第１の補正部１０５と、撮像部１０１の入力−雑音特性と、第１の補正部１０３で施す補正の補正量情報とから、補正後の入力-雑音特性の情報を計算し、保持しておく補正後雑音特性記憶部１０６と、撮像部１０１で撮像した入力画像情報と、補正後雑音特性記憶部１０６に記憶され補正後雑音情報とから、補正後の雑音が小さくなる露光情報を露光制御部１０２に出力する第２の補正部１０７と、照射光抽出部１０４で抽出した照射光の画像を画像情報として出力する画像出力部１０８と、で構成される。
【００１０】
撮像部１０１は、例えばＣＣＤやＣＭＯＳなどの撮像素子で構成され、撮像した画像情報を照射光抽出部１０４、第１の補正部１０５及び第２の補正部１０７へ出力する。
【００１１】
露光制御部１０２は、例えばＣＣＤ、ＣＭＯＳ撮像素子の電子シャッタや、レンズの絞りなどを制御するものであり、また、露光を開始する信号および終了する信号を撮像部１０１及び投光部１０３へ出力する。
【００１２】
投光部１０３は、例えばＬＥＤとＬＥＤ制御回路で構成されたもので、露光制御部１０２が出力する露光の開始信号および終了信号に同期して光を照射する。ここで、投光部１０３は、図２に示すように、撮像部１０１の撮像範囲に照射光範囲が入るよう配置することが望ましい。また、図３に示すように、投光部１０３が光を照射するタイミングは、露光制御部１０２が露光開始信号を出してから露光終了信号を出すまでの間に行うことが望ましい。
【００１３】
さらに、投光部１０３は、照射光抽出部１０４で照射光を抽出するために、ある決まったフレームにおいて投光を行い、照射光抽出部１０４へ投光を行ったかどうかを示すフラグをフレームごとに出力する。照射を行うフレームは例えば、図４に示すように、奇数フレームのときのみ照射し、偶数フレームは照射を行わないパターンでもよいし、３フレーム続けて照射し１フレームだけ照射を行わないなど、照射のＯＮ-ＯＦＦのフレーム数を変えてもよい。また、照射光の強度をフレームごとに変えて照射してもよい。
【００１４】
照射光抽出部１０４は、撮像部１０１で撮像した画像と、投光部１０３から出力された投光フラグを基に照射した光だけの画像を抽出する。例えば、図４に示すように奇数フレームに対して照射を行った場合に、照射光抽出部１０４は、少なくとも画像２枚分撮像した画像を記録しておく。すなわち、図５のＡ図に示すように、投光部１０３が照射を行ったフレームの画像と、図５のＢ図に示すように、照射を行わなかったときのフレームの画像を記録する。このとき、照射光抽出部１０４はどのフレームで照射が行われたかを、投光部１０３から出力される投光フラグ（例えば、投光していればフラグＯＮ、投光していなければフラグＯＦＦ）に基づいて判断する。
【００１５】
次に照射光抽出部１０４は、記録した画像とフラグの情報とを基に照射した光のみの画像を抽出する。例えば、図５のＡの画像と、図５のＢの画像の差分画像を生成することで、図６に示すような照射した光の成分のみの画像を抽出することができる。照射した光のみの画像にすることで、太陽光など照射した光以外の影響を打ち消すことができる。例えば図５のＡ及びＢに存在した先行車の影は、図６の照射光抽出画像では消失する。
【００１６】
なお、照射光を抽出する方法は、投光フレームのパターンに応じて変えてよい。例えば、投光部１０３で照射光の強度をある周期の変調を乗じてフレームごとに照射し、照射光抽出部１０４では、投光部１０３で乗じた変調周期成分のみを検波するようにしてもよい。
【００１７】
第１の補正部１０５では、撮像部１０１の入力-出力の非線形特性を、線形になるように補正することで、出力画像を適切な表示にする。一般に撮像部１０１の特性は、入力（例えば、撮像部１０１に入力される輝度）と出力（例えば、出力輝度値）とは非線形な特性になる。つまり、照射光抽出画像の入力-出力特性は、照射光がＯＮのときの画像とＯＦＦのときの画像との差分画像であるため、図７のＡ図に示すような撮像部入力輝度−照射光抽出出力の非線形特性になる。こうした非線形特性では、撮像部１０１へ入る輝度によって照射光抽出出力が変わるため、第１の補正部１０５では、図７のＣ図に示すように撮像部入力輝度によらず照射光抽出出力が一定（線形特性）になるように補正する。
【００１８】
すなわち、図７のＣ図に示す補正後入力−出力の線形特性にするために、図７のＢ図のような補正量を、照射光抽出部１０４で抽出した、照射した光のみの画像に乗算する。例えば、補正前の入力（ｘとする）−出力（ｙとする）特性がある関数ｙ＝ｆ（ｘ），ｆ（ｘ）≠０で表された場合、第１の補正量ｇ(ｘ)をｇ（ｘ）＝１／ｆ（ｘ）として求める。そして、第１の補正量を補正前の照射光抽出画像に乗算することで、図７のＣ図に示すような第１の補正後入力−出力特性を持った画像を得ることができる。つまり、撮像部入力輝度によらず照射光出力が一定になる画像を得ることができる。なお、第１の補正量の決め方は、例えば、ｇ（ｘ）＝ａ／ｆ（ｘ）のようにｆ（ｘ）の逆数を定数倍したものでもよい。
【００１９】
補正後雑音特性記憶部１０６は、撮像部１０１の入力−雑音特性と、第１の補正部１０５の第１の補正量とから、第１の補正後の雑音の特性を算出し、記憶しておく。一般に撮像部１０１は、図８のＡ図に示すように、入力に応じて雑音の大きさが変化する撮像部入力輝度−雑音量特性を持っている。しかし、この雑音は、第１の補正部１０５によって第１の補正量を乗算されることで、図８のＢ図に示すように、その雑音の特性も変化してしまう。補正後雑音特性記憶部１０６は、撮像部１０１の入力−雑音特性と、第１の補正量とから、第１の補正後の雑音特性を予め計算しておき、例えば図８のＢ図に示すような特性をデータとして記憶しておく。
【００２０】
第２の補正部１０７は、撮像部１０１で撮像した第１の補正前の撮像画像と、補正後雑音特性記憶部１０６で記憶した第１の補正後の雑音特性とから、照射光抽出部１０４で抽出した照射した光のみの画像で、雑音が小さくなるように露光時間を定め、露光制御部１０２へ露光時間を出力する。例えば、第２の補正部１０７では、撮像部１０１で撮像した、投光部１０３から照射をしていない、図９のＡ図に示すような第１の補正前の撮像画像において、図９のＢ図に示すような輝度値と画素数のヒストグラムを生成し、その８０パーセンタイルの輝度範囲を求める。
【００２１】
なお、範囲の決め方は撮像した画像の輝度値範囲内で決めればよく、輝度値の最大・最小値でも、輝度値の標準偏差σを求め、σに基づいて決めても、また範囲でなくても、全画素輝度値の平均値といった値でもよい。
【００２２】
次に第２の補正部１０７は、求めた輝度範囲に対応した補正後の雑音の大きさを、補正後雑音特性記憶部１０６から読み取る。例えば、図１０に示すように補正後雑音特性記憶部１０６に記憶してある、撮像部入力輝度−第１の補正後雑音の特性のデータから、撮像画像の８０パーセンタイルの入力輝度範囲における第１の補正後雑音量を読み出し、その平均値Ｎａを求める。すなわち、図１１に示すように、入力輝度値の８０パーセンタイルの上限をｘｕ、加減をｘｄ、第１の補正後雑音をＮ（ｘ）とすると、平均値Ｎａは、
【数１】
で求められる。なお、輝度範囲に対応した第１の補正後雑音の大きさは、求めた輝度範囲に対して一意に決まればよく、例えば、輝度範囲における第１の補正後雑音の最大値としてもよい。
【００２３】
さらに、第２の補正部１０７は、求めた入力輝度範囲における第１の補正後雑音の大きさと、予め決めておいた閾値Ｎｔｈとを比較し、求めた第１の補正後雑音の大きさが閾値Ｎｔｈよりも小さくなるように露光時間を決定する。例えば、図１１に示すように閾値Ｎｔｈになるような輝度範囲の上限時ｘｔｈ、求めた入力輝度の８０パーセンタイル上限値ｘｕ、現在の露光時間をＴｅとすると、出力する露光時間Ｔｏは、Ｔｏ＝Ｔｅ（ｘｔｈ／ｘｕ）として求められる。なお、露光時間は最終的に撮像輝度範囲が第１の補正後雑音が閾値以下になるように決められればよく、例えば、露光時間を一定値で閾値以下の輝度範囲に収まるまで逐次小さくしていってもよい。
【００２４】
画像出力部１０８は、第１の補正を行った後の画像を画像情報として出力する。例えば、第１の補正を行った後の画像データをＮＴＳＣ規格やＰＡＬ規格等に準拠した画像信号として変換して出力する。なお、画像出力部１０８は画像を画像信号として出力できればよく、信号の形式は例えばデジタル値で出力してもよい。また、画像出力を行う前の画像に対してフィルタなどの信号処理を加えることで、ノイズを低減してもよい。さらに、第２の補正部１０７から補正後の雑音を低減するための最適なパラメータを入力し、補正後の雑音の大きさに応じて、最適となるフィルタなどの信号処理のパラメータを設定してもよい。
【００２５】
次に本例の処理手順を説明する。図１２に示すように、本例の処理はカメラ装置１０の電源がオンされると実行が開始する。
【００２６】
まずステップＳ１０１では、撮像部１０１が露光制御部１０２の露光開始信号を受けて露光を開始する。この後に、フローはステップＳ１０２へ移行する。ステップＳ１０２では、投光部１０３が、このフレームは光を照射するフレームかどうかを判断する。このフレームが光を照射するフレームである場合（ＹＥＳ）は、ステップＳ１０３へ移行し、光を照射するフレームではない場合（ＮＯ）にはステップＳ１０３をジャンプしてＳ１０４へ移行する。
【００２７】
ステップＳ１０３にて、投光部１０３は、投光範囲へ光の照射を開始し、露光が終了する前に照射を終了する（図３参照）。この後に、フローはステップＳ１０４へ移行する。ステップＳ１０４では、露光制御部１０２が設定した露光時間露光をしたかをカウントし、設定された露光時間が経過した場合（ＹＥＳ）はステップＳ１０５へ移行し、露光時間が経過していない場合（ＮＯ）にはステップＳ１０４を繰り返す。
【００２８】
ステップＳ１０５にて、露光制御部１０２は、撮像部１０１に露光終了信号を出力し、撮像部１０１は露光を終了する。この後、フローはステップＳ１０６へ移行する。ステップＳ１０６では、照射光抽出部１０４は、撮像部１０１が撮像した画像を記憶する。その後、フローはステップＳ１０７へ移行する。
【００２９】
ステップＳ１０７では、照射光抽出部１０４は、投光部１０３から照射光が照射されたフレームの画像（ＯＮ画像，図５のＡ）と、照射されていないフレームの画像（ＯＦＦ画像，図５のＢ）がそれぞれ少なくとも１枚ずつは記憶されているかを判断する。ＯＮ画像とＯＦＦ画像がそれぞれ少なくとも１枚ずつ記憶されている場合（ＹＥＳ）にはステップＳ１０８へ移行し、記憶されていない場合（ＮＯ）にはステップＳ１０１へ戻りステップＳ１０１〜Ｓ１０７を再度実行する。
【００３０】
ステップＳ１０８では、照射光抽出部１０４は、記憶しておいた照射光が照射されているフレーム（ＯＮ画像）と、照射されていないフレームの画像（ＯＦＦ画像）の差分画像を生成し、照射した光の画像を生成する（図６参照）。その後、フローはステップＳ１０９へ移行する。
【００３１】
ステップＳ１０９では、第１の補正部１０５は、撮像部１０１で撮像された、照射光を照射していないフレームの画像を基に、照射光抽出部１０４で生成した差分画像に対して第１の補正を行う。その後、フローはステップＳ１１０へ移行する。ステップＳ１１０にて、第２の補正部１０７は、撮像部１０１で撮像された、照射光を照射していないフレームの画像と、補正後雑音特性記憶部１０６で記憶されている第１の補正後の雑音特性とから、撮像した画像の入力輝度範囲における第１の補正後の雑音量を読み出す。その後、フローはステップＳ１１１へ移行する。
【００３２】
ステップＳ１１１では、第２の補正部１０７は、ステップＳ１１０で読み出した第１の補正後の雑音量を基に、新しい露光時間を露光制御部１０２へ出力し、設定する。その後、フローは、ステップＳ１１２へ移行する。ステップＳ１１２では、画像出力部１０８は、第１の補正部１０５から出力された、第１の補正を施された差分画像を、画像信号として出力する。その後、フローは、ステップＳ１１３へ移行する。ステップＳ１１３では、カメラ装置１０の電源がＯＮになっているかを判断し、電源ＯＮの場合（ＹＥＳ）にはステップＳ１０１へ戻って再度処理を実行し、電源ＯＦＦの場合（ＮＯ）には処理を終了する。
【００３３】
以上説明した本例のカメラ装置１０によれば、以下の作用効果を奏する。すなわち、第１の補正部１０５により補正された後の雑音特性を記憶する補正後雑音特性記憶部１０６と、補正後雑音特性記憶部１０６に記憶された雑音特性を補正する第２の補正部１０７とを備えるので、第２の補正部１０７が、補正後雑音特性記憶部１０６に記憶している補正後雑音特性に基づき、補正後の雑音特性が減少するように露光制御部１０２に補正指令を出力することができる。
【００３４】
なお、撮像部１０１は露光制御部１０２で制御したタイミングで画像を撮像することができ、また、投光部１０３は露光制御部１０２の露光タイミングに同期して光を照射することができる。さらに、照射光抽出部１０４は照射光を照射したフレームの画像と、照射していないフレームの画像の差分を取ることで、照射した光のみを抽出することができる。また、第１の補正部１０５は、照射光抽出部１０４で抽出した照射した光のみの画像に対して第１の補正を行うことができ、補正後雑音特性記憶部１０６は、第１の補正後の差分画像における入力−雑音特性を記憶することができる。また、画像出力部１０８は第１の補正部１０５から出力された画像を画像信号として出力することができる。
【００３５】
また、本例のカメラ装置１０によれば、補正後雑音特性記憶部１０６は、撮像部１０１の入力信号−雑音特性と、第１の補正部１０５によって施した信号処理とから、補正後雑音特性を計算し、記憶することができる。
【００３６】
また、本例のカメラ装置１０によれば、第２の補正部１０７は、補正後雑音特性記憶部１０６が記憶している補正後雑音特性に基づき、露光制御部１０２に補正後の雑音が低減できる露光制御情報を出力するので、第２の補正部１０７は、撮像部１０１で撮像する画像の露光領域を、第１の補正後の雑音が小さくなる露光領域に制御することができる。
【００３７】
また、本例のカメラ装置１０によれば、撮像部１０１で撮像した画像から照射した光のみを抽出する照射光抽出部１０４を備えるので、第２の補正部１０７が、補正後雑音特性記憶部１０６に記憶している補正後雑音特性に基づき、照射光抽出部１０４が抽出した光の画像において、補正後の雑音特性が減少するように露光制御部１０２に補正指令を出力することができる。
【００３８】
また、本例のカメラ装置１０によれば、画像信号処理を行う画像出力部１０８を備えるので、画像出力を行う前の画像に対してフィルタなどの信号処理を加えることで、ノイズの低減を行うことができる。
【００３９】
また、本例のカメラ装置１０によれば、第２の補正部１０７は、補正後雑音特性記憶部１０６が記憶している補正後雑音特性に基づき、画像出力部１０８に補正後の雑音を低減するための最適なパラメータを出力するので、補正後の雑音の大きさに応じて、最適となるフィルタなどの信号処理のパラメータを画像出力部１０８に対して出力することができる。
【００４０】
上記撮像部１０１が本発明に係る撮像手段に相当し、上記露光制御部１０２が本発明に係る露光制御手段に相当し、上記投光部１０３が本発明に係る投光手段に相当し、上記照射光抽出部１０４が本発明に係る照射光抽出手段に相当し、上記第１の補正部１０５が本発明に係る第１の補正手段に相当し、上記補正後雑音特性記憶部１０６が本発明に係る補正後雑音特性記憶手段に相当し、上記第２の補正部１０７が本発明に係る第２の補正手段に相当し、上記画像出力部１０８が本発明に係る画像出力手段に相当する。
【符号の説明】
【００４１】
１０…カメラ装置
１０１…撮像部
１０２…露光制御部
１０３…投光部
１０４…照射光抽出部
１０５…第１の補正部
１０６…補正後雑音特性記憶部
１０７…第２の補正部
１０８…画像出力部
【技術分野】
【０００１】
本発明は、カメラ装置に関するものである。
【背景技術】
【０００２】
ビデオカメラで撮像した映像信号をテレビ用モニタとパーソナルコンピュータ用モニタの両方で適切な表示になるように補正するものが知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−３４１５７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の技術では、テレビ用モニタとパーソナルコンピュータ用モニタの両方で適切な表示ができるように、非線形の入力−出力特性に補正のゲインを乗算し、これにより入力−出力特性を線形にするため、大きなゲインを乗算した領域ではノイズも一緒に増幅されてしまうという問題がある。
【０００５】
本発明は、入出力信号特性を補正した際のノイズの増幅を抑制することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、補正後の入出力信号特性のうちの雑音特性をさらに補正することによって上記目的を達成する。
【発明の効果】
【０００７】
本発明によれば、補正後の入出力信号特性のうちの雑音特性が減少するように補正できるので、入出力信号特性を補正した際の雑音特性の増幅を抑制することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施の形態に係るカメラ装置の構成を示すブロック図である。
【図２】図１のカメラ装置における撮像部の撮像範囲と投光部の照射範囲の一例を示す図である。
【図３】図１のカメラ装置における露光タイミングと照射タイミングとの関係の一例を示すタイミングチャートである。
【図４】図１のカメラ装置における照射・非照射フレームパターンの一例を示すタイミングチャートである。
【図５】図１のカメラ装置で撮影した投光時の画像例と非投光時の画像例を示す図である。
【図６】図１の照射光抽出部で処理された照射光抽出画像の一例を示す図である。
【図７】図１の第１の補正部における処理の一例を示すグラフである。
【図８】図１の第１の補正部における処理後の雑音特性の一例を示すグラフである。
【図９】図１の第２の補正部における輝度範囲の決め方の一例を示す図及びグラフである。
【図１０】図１の第２の補正部における第１の補正後の雑音量の決め方の一例を示すグラフである。
【図１１】図１の第２の補正部における第１の補正後の雑音量の決め方の一例を示すグラフである（図１０の続き）。
【図１２】図１のカメラ装置の処理手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明の一実施の形態に係るカメラ装置の構成を示すブロック図であり、カメラ装置１０は、画像を撮像する撮像部１０１と、撮像部１０１の撮像時の露光を制御する露光制御部１０２と、露光制御部１０２で制御された撮像部１０１が撮像するタイミングに同期して撮像部１０１の撮像範囲に光を照射する投光部１０３と、撮像部１０１で撮像した画像から、照射した光成分のみを抽出した画像を生成する照射光抽出部１０４と、撮像部１０１で撮像された画像の入出力の非線形特性を補正するための第１の補正部１０５と、撮像部１０１の入力−雑音特性と、第１の補正部１０３で施す補正の補正量情報とから、補正後の入力-雑音特性の情報を計算し、保持しておく補正後雑音特性記憶部１０６と、撮像部１０１で撮像した入力画像情報と、補正後雑音特性記憶部１０６に記憶され補正後雑音情報とから、補正後の雑音が小さくなる露光情報を露光制御部１０２に出力する第２の補正部１０７と、照射光抽出部１０４で抽出した照射光の画像を画像情報として出力する画像出力部１０８と、で構成される。
【００１０】
撮像部１０１は、例えばＣＣＤやＣＭＯＳなどの撮像素子で構成され、撮像した画像情報を照射光抽出部１０４、第１の補正部１０５及び第２の補正部１０７へ出力する。
【００１１】
露光制御部１０２は、例えばＣＣＤ、ＣＭＯＳ撮像素子の電子シャッタや、レンズの絞りなどを制御するものであり、また、露光を開始する信号および終了する信号を撮像部１０１及び投光部１０３へ出力する。
【００１２】
投光部１０３は、例えばＬＥＤとＬＥＤ制御回路で構成されたもので、露光制御部１０２が出力する露光の開始信号および終了信号に同期して光を照射する。ここで、投光部１０３は、図２に示すように、撮像部１０１の撮像範囲に照射光範囲が入るよう配置することが望ましい。また、図３に示すように、投光部１０３が光を照射するタイミングは、露光制御部１０２が露光開始信号を出してから露光終了信号を出すまでの間に行うことが望ましい。
【００１３】
さらに、投光部１０３は、照射光抽出部１０４で照射光を抽出するために、ある決まったフレームにおいて投光を行い、照射光抽出部１０４へ投光を行ったかどうかを示すフラグをフレームごとに出力する。照射を行うフレームは例えば、図４に示すように、奇数フレームのときのみ照射し、偶数フレームは照射を行わないパターンでもよいし、３フレーム続けて照射し１フレームだけ照射を行わないなど、照射のＯＮ-ＯＦＦのフレーム数を変えてもよい。また、照射光の強度をフレームごとに変えて照射してもよい。
【００１４】
照射光抽出部１０４は、撮像部１０１で撮像した画像と、投光部１０３から出力された投光フラグを基に照射した光だけの画像を抽出する。例えば、図４に示すように奇数フレームに対して照射を行った場合に、照射光抽出部１０４は、少なくとも画像２枚分撮像した画像を記録しておく。すなわち、図５のＡ図に示すように、投光部１０３が照射を行ったフレームの画像と、図５のＢ図に示すように、照射を行わなかったときのフレームの画像を記録する。このとき、照射光抽出部１０４はどのフレームで照射が行われたかを、投光部１０３から出力される投光フラグ（例えば、投光していればフラグＯＮ、投光していなければフラグＯＦＦ）に基づいて判断する。
【００１５】
次に照射光抽出部１０４は、記録した画像とフラグの情報とを基に照射した光のみの画像を抽出する。例えば、図５のＡの画像と、図５のＢの画像の差分画像を生成することで、図６に示すような照射した光の成分のみの画像を抽出することができる。照射した光のみの画像にすることで、太陽光など照射した光以外の影響を打ち消すことができる。例えば図５のＡ及びＢに存在した先行車の影は、図６の照射光抽出画像では消失する。
【００１６】
なお、照射光を抽出する方法は、投光フレームのパターンに応じて変えてよい。例えば、投光部１０３で照射光の強度をある周期の変調を乗じてフレームごとに照射し、照射光抽出部１０４では、投光部１０３で乗じた変調周期成分のみを検波するようにしてもよい。
【００１７】
第１の補正部１０５では、撮像部１０１の入力-出力の非線形特性を、線形になるように補正することで、出力画像を適切な表示にする。一般に撮像部１０１の特性は、入力（例えば、撮像部１０１に入力される輝度）と出力（例えば、出力輝度値）とは非線形な特性になる。つまり、照射光抽出画像の入力-出力特性は、照射光がＯＮのときの画像とＯＦＦのときの画像との差分画像であるため、図７のＡ図に示すような撮像部入力輝度−照射光抽出出力の非線形特性になる。こうした非線形特性では、撮像部１０１へ入る輝度によって照射光抽出出力が変わるため、第１の補正部１０５では、図７のＣ図に示すように撮像部入力輝度によらず照射光抽出出力が一定（線形特性）になるように補正する。
【００１８】
すなわち、図７のＣ図に示す補正後入力−出力の線形特性にするために、図７のＢ図のような補正量を、照射光抽出部１０４で抽出した、照射した光のみの画像に乗算する。例えば、補正前の入力（ｘとする）−出力（ｙとする）特性がある関数ｙ＝ｆ（ｘ），ｆ（ｘ）≠０で表された場合、第１の補正量ｇ(ｘ)をｇ（ｘ）＝１／ｆ（ｘ）として求める。そして、第１の補正量を補正前の照射光抽出画像に乗算することで、図７のＣ図に示すような第１の補正後入力−出力特性を持った画像を得ることができる。つまり、撮像部入力輝度によらず照射光出力が一定になる画像を得ることができる。なお、第１の補正量の決め方は、例えば、ｇ（ｘ）＝ａ／ｆ（ｘ）のようにｆ（ｘ）の逆数を定数倍したものでもよい。
【００１９】
補正後雑音特性記憶部１０６は、撮像部１０１の入力−雑音特性と、第１の補正部１０５の第１の補正量とから、第１の補正後の雑音の特性を算出し、記憶しておく。一般に撮像部１０１は、図８のＡ図に示すように、入力に応じて雑音の大きさが変化する撮像部入力輝度−雑音量特性を持っている。しかし、この雑音は、第１の補正部１０５によって第１の補正量を乗算されることで、図８のＢ図に示すように、その雑音の特性も変化してしまう。補正後雑音特性記憶部１０６は、撮像部１０１の入力−雑音特性と、第１の補正量とから、第１の補正後の雑音特性を予め計算しておき、例えば図８のＢ図に示すような特性をデータとして記憶しておく。
【００２０】
第２の補正部１０７は、撮像部１０１で撮像した第１の補正前の撮像画像と、補正後雑音特性記憶部１０６で記憶した第１の補正後の雑音特性とから、照射光抽出部１０４で抽出した照射した光のみの画像で、雑音が小さくなるように露光時間を定め、露光制御部１０２へ露光時間を出力する。例えば、第２の補正部１０７では、撮像部１０１で撮像した、投光部１０３から照射をしていない、図９のＡ図に示すような第１の補正前の撮像画像において、図９のＢ図に示すような輝度値と画素数のヒストグラムを生成し、その８０パーセンタイルの輝度範囲を求める。
【００２１】
なお、範囲の決め方は撮像した画像の輝度値範囲内で決めればよく、輝度値の最大・最小値でも、輝度値の標準偏差σを求め、σに基づいて決めても、また範囲でなくても、全画素輝度値の平均値といった値でもよい。
【００２２】
次に第２の補正部１０７は、求めた輝度範囲に対応した補正後の雑音の大きさを、補正後雑音特性記憶部１０６から読み取る。例えば、図１０に示すように補正後雑音特性記憶部１０６に記憶してある、撮像部入力輝度−第１の補正後雑音の特性のデータから、撮像画像の８０パーセンタイルの入力輝度範囲における第１の補正後雑音量を読み出し、その平均値Ｎａを求める。すなわち、図１１に示すように、入力輝度値の８０パーセンタイルの上限をｘｕ、加減をｘｄ、第１の補正後雑音をＮ（ｘ）とすると、平均値Ｎａは、
【数１】
で求められる。なお、輝度範囲に対応した第１の補正後雑音の大きさは、求めた輝度範囲に対して一意に決まればよく、例えば、輝度範囲における第１の補正後雑音の最大値としてもよい。
【００２３】
さらに、第２の補正部１０７は、求めた入力輝度範囲における第１の補正後雑音の大きさと、予め決めておいた閾値Ｎｔｈとを比較し、求めた第１の補正後雑音の大きさが閾値Ｎｔｈよりも小さくなるように露光時間を決定する。例えば、図１１に示すように閾値Ｎｔｈになるような輝度範囲の上限時ｘｔｈ、求めた入力輝度の８０パーセンタイル上限値ｘｕ、現在の露光時間をＴｅとすると、出力する露光時間Ｔｏは、Ｔｏ＝Ｔｅ（ｘｔｈ／ｘｕ）として求められる。なお、露光時間は最終的に撮像輝度範囲が第１の補正後雑音が閾値以下になるように決められればよく、例えば、露光時間を一定値で閾値以下の輝度範囲に収まるまで逐次小さくしていってもよい。
【００２４】
画像出力部１０８は、第１の補正を行った後の画像を画像情報として出力する。例えば、第１の補正を行った後の画像データをＮＴＳＣ規格やＰＡＬ規格等に準拠した画像信号として変換して出力する。なお、画像出力部１０８は画像を画像信号として出力できればよく、信号の形式は例えばデジタル値で出力してもよい。また、画像出力を行う前の画像に対してフィルタなどの信号処理を加えることで、ノイズを低減してもよい。さらに、第２の補正部１０７から補正後の雑音を低減するための最適なパラメータを入力し、補正後の雑音の大きさに応じて、最適となるフィルタなどの信号処理のパラメータを設定してもよい。
【００２５】
次に本例の処理手順を説明する。図１２に示すように、本例の処理はカメラ装置１０の電源がオンされると実行が開始する。
【００２６】
まずステップＳ１０１では、撮像部１０１が露光制御部１０２の露光開始信号を受けて露光を開始する。この後に、フローはステップＳ１０２へ移行する。ステップＳ１０２では、投光部１０３が、このフレームは光を照射するフレームかどうかを判断する。このフレームが光を照射するフレームである場合（ＹＥＳ）は、ステップＳ１０３へ移行し、光を照射するフレームではない場合（ＮＯ）にはステップＳ１０３をジャンプしてＳ１０４へ移行する。
【００２７】
ステップＳ１０３にて、投光部１０３は、投光範囲へ光の照射を開始し、露光が終了する前に照射を終了する（図３参照）。この後に、フローはステップＳ１０４へ移行する。ステップＳ１０４では、露光制御部１０２が設定した露光時間露光をしたかをカウントし、設定された露光時間が経過した場合（ＹＥＳ）はステップＳ１０５へ移行し、露光時間が経過していない場合（ＮＯ）にはステップＳ１０４を繰り返す。
【００２８】
ステップＳ１０５にて、露光制御部１０２は、撮像部１０１に露光終了信号を出力し、撮像部１０１は露光を終了する。この後、フローはステップＳ１０６へ移行する。ステップＳ１０６では、照射光抽出部１０４は、撮像部１０１が撮像した画像を記憶する。その後、フローはステップＳ１０７へ移行する。
【００２９】
ステップＳ１０７では、照射光抽出部１０４は、投光部１０３から照射光が照射されたフレームの画像（ＯＮ画像，図５のＡ）と、照射されていないフレームの画像（ＯＦＦ画像，図５のＢ）がそれぞれ少なくとも１枚ずつは記憶されているかを判断する。ＯＮ画像とＯＦＦ画像がそれぞれ少なくとも１枚ずつ記憶されている場合（ＹＥＳ）にはステップＳ１０８へ移行し、記憶されていない場合（ＮＯ）にはステップＳ１０１へ戻りステップＳ１０１〜Ｓ１０７を再度実行する。
【００３０】
ステップＳ１０８では、照射光抽出部１０４は、記憶しておいた照射光が照射されているフレーム（ＯＮ画像）と、照射されていないフレームの画像（ＯＦＦ画像）の差分画像を生成し、照射した光の画像を生成する（図６参照）。その後、フローはステップＳ１０９へ移行する。
【００３１】
ステップＳ１０９では、第１の補正部１０５は、撮像部１０１で撮像された、照射光を照射していないフレームの画像を基に、照射光抽出部１０４で生成した差分画像に対して第１の補正を行う。その後、フローはステップＳ１１０へ移行する。ステップＳ１１０にて、第２の補正部１０７は、撮像部１０１で撮像された、照射光を照射していないフレームの画像と、補正後雑音特性記憶部１０６で記憶されている第１の補正後の雑音特性とから、撮像した画像の入力輝度範囲における第１の補正後の雑音量を読み出す。その後、フローはステップＳ１１１へ移行する。
【００３２】
ステップＳ１１１では、第２の補正部１０７は、ステップＳ１１０で読み出した第１の補正後の雑音量を基に、新しい露光時間を露光制御部１０２へ出力し、設定する。その後、フローは、ステップＳ１１２へ移行する。ステップＳ１１２では、画像出力部１０８は、第１の補正部１０５から出力された、第１の補正を施された差分画像を、画像信号として出力する。その後、フローは、ステップＳ１１３へ移行する。ステップＳ１１３では、カメラ装置１０の電源がＯＮになっているかを判断し、電源ＯＮの場合（ＹＥＳ）にはステップＳ１０１へ戻って再度処理を実行し、電源ＯＦＦの場合（ＮＯ）には処理を終了する。
【００３３】
以上説明した本例のカメラ装置１０によれば、以下の作用効果を奏する。すなわち、第１の補正部１０５により補正された後の雑音特性を記憶する補正後雑音特性記憶部１０６と、補正後雑音特性記憶部１０６に記憶された雑音特性を補正する第２の補正部１０７とを備えるので、第２の補正部１０７が、補正後雑音特性記憶部１０６に記憶している補正後雑音特性に基づき、補正後の雑音特性が減少するように露光制御部１０２に補正指令を出力することができる。
【００３４】
なお、撮像部１０１は露光制御部１０２で制御したタイミングで画像を撮像することができ、また、投光部１０３は露光制御部１０２の露光タイミングに同期して光を照射することができる。さらに、照射光抽出部１０４は照射光を照射したフレームの画像と、照射していないフレームの画像の差分を取ることで、照射した光のみを抽出することができる。また、第１の補正部１０５は、照射光抽出部１０４で抽出した照射した光のみの画像に対して第１の補正を行うことができ、補正後雑音特性記憶部１０６は、第１の補正後の差分画像における入力−雑音特性を記憶することができる。また、画像出力部１０８は第１の補正部１０５から出力された画像を画像信号として出力することができる。
【００３５】
また、本例のカメラ装置１０によれば、補正後雑音特性記憶部１０６は、撮像部１０１の入力信号−雑音特性と、第１の補正部１０５によって施した信号処理とから、補正後雑音特性を計算し、記憶することができる。
【００３６】
また、本例のカメラ装置１０によれば、第２の補正部１０７は、補正後雑音特性記憶部１０６が記憶している補正後雑音特性に基づき、露光制御部１０２に補正後の雑音が低減できる露光制御情報を出力するので、第２の補正部１０７は、撮像部１０１で撮像する画像の露光領域を、第１の補正後の雑音が小さくなる露光領域に制御することができる。
【００３７】
また、本例のカメラ装置１０によれば、撮像部１０１で撮像した画像から照射した光のみを抽出する照射光抽出部１０４を備えるので、第２の補正部１０７が、補正後雑音特性記憶部１０６に記憶している補正後雑音特性に基づき、照射光抽出部１０４が抽出した光の画像において、補正後の雑音特性が減少するように露光制御部１０２に補正指令を出力することができる。
【００３８】
また、本例のカメラ装置１０によれば、画像信号処理を行う画像出力部１０８を備えるので、画像出力を行う前の画像に対してフィルタなどの信号処理を加えることで、ノイズの低減を行うことができる。
【００３９】
また、本例のカメラ装置１０によれば、第２の補正部１０７は、補正後雑音特性記憶部１０６が記憶している補正後雑音特性に基づき、画像出力部１０８に補正後の雑音を低減するための最適なパラメータを出力するので、補正後の雑音の大きさに応じて、最適となるフィルタなどの信号処理のパラメータを画像出力部１０８に対して出力することができる。
【００４０】
上記撮像部１０１が本発明に係る撮像手段に相当し、上記露光制御部１０２が本発明に係る露光制御手段に相当し、上記投光部１０３が本発明に係る投光手段に相当し、上記照射光抽出部１０４が本発明に係る照射光抽出手段に相当し、上記第１の補正部１０５が本発明に係る第１の補正手段に相当し、上記補正後雑音特性記憶部１０６が本発明に係る補正後雑音特性記憶手段に相当し、上記第２の補正部１０７が本発明に係る第２の補正手段に相当し、上記画像出力部１０８が本発明に係る画像出力手段に相当する。
【符号の説明】
【００４１】
１０…カメラ装置
１０１…撮像部
１０２…露光制御部
１０３…投光部
１０４…照射光抽出部
１０５…第１の補正部
１０６…補正後雑音特性記憶部
１０７…第２の補正部
１０８…画像出力部
【特許請求の範囲】
【請求項１】
画像を撮像する撮像手段と、
撮像時の露光を制御する露光制御手段と、
入力信号と出力信号の特性が所定の入出力関係になるよう補正する第１の補正手段と、
前記第１の補正手段により補正された後の雑音特性を記憶する補正後雑音特性記憶手段と、
前記補正後雑音特性記憶手段により記憶された雑音特性を補正する第２の補正手段と、を備えることを特徴とするカメラ装置。
【請求項２】
請求項１に記載のカメラ装置において、
前記補正後雑音特性記憶手段は、前記撮像手段の入力信号−雑音特性と、前記第１の補正手段によって補正した補正信号とから、補正後雑音特性を計算し、記憶することを特徴とするカメラ装置。
【請求項３】
請求項１又は２に記載のカメラ装置において、
前記第２の補正手段は、前記補正後雑音特性記憶手段が記憶している補正後雑音特性に基づき、前記露光制御手段に、補正後の雑音が低減できる露光制御情報を出力することを特徴とするカメラ装置。
【請求項４】
請求項１〜３のいずれか一項に記載のカメラ装置において、
前記撮像手段の画像撮像範囲に光を照射する投光手段と、
前記撮像手段で撮像した画像から、照射した光のみを抽出する照射光抽出手段と、を備えることを特徴とするカメラ装置。
【請求項５】
請求項１〜４のいずれか一項に記載のカメラ装置において、
画像信号を出力する画像出力手段を備えることを特徴とするカメラ装置。
【請求項６】
請求項５に記載のカメラ装置において、
前記第２の補正手段は、前記補正後雑音特性記憶手段が記憶している補正後雑音特性に基づき、前記画像出力手段に、補正後の雑音を低減するための最適なパラメータを出力することを特徴とするカメラ装置。
【請求項１】
画像を撮像する撮像手段と、
撮像時の露光を制御する露光制御手段と、
入力信号と出力信号の特性が所定の入出力関係になるよう補正する第１の補正手段と、
前記第１の補正手段により補正された後の雑音特性を記憶する補正後雑音特性記憶手段と、
前記補正後雑音特性記憶手段により記憶された雑音特性を補正する第２の補正手段と、を備えることを特徴とするカメラ装置。
【請求項２】
請求項１に記載のカメラ装置において、
前記補正後雑音特性記憶手段は、前記撮像手段の入力信号−雑音特性と、前記第１の補正手段によって補正した補正信号とから、補正後雑音特性を計算し、記憶することを特徴とするカメラ装置。
【請求項３】
請求項１又は２に記載のカメラ装置において、
前記第２の補正手段は、前記補正後雑音特性記憶手段が記憶している補正後雑音特性に基づき、前記露光制御手段に、補正後の雑音が低減できる露光制御情報を出力することを特徴とするカメラ装置。
【請求項４】
請求項１〜３のいずれか一項に記載のカメラ装置において、
前記撮像手段の画像撮像範囲に光を照射する投光手段と、
前記撮像手段で撮像した画像から、照射した光のみを抽出する照射光抽出手段と、を備えることを特徴とするカメラ装置。
【請求項５】
請求項１〜４のいずれか一項に記載のカメラ装置において、
画像信号を出力する画像出力手段を備えることを特徴とするカメラ装置。
【請求項６】
請求項５に記載のカメラ装置において、
前記第２の補正手段は、前記補正後雑音特性記憶手段が記憶している補正後雑音特性に基づき、前記画像出力手段に、補正後の雑音を低減するための最適なパラメータを出力することを特徴とするカメラ装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１６１０３６（Ｐ２０１２−１６１０３６Ａ）
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願番号】特願２０１１−２１０２０（Ｐ２０１１−２１０２０）
【出願日】平成２３年２月２日（２０１１．２．２）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願日】平成２３年２月２日（２０１１．２．２）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]