カメラシステムおよび画像生成方法
【課題】被検物が撮像画像上を移動した場合でも、良好な検波処理画像を得ることができるカメラシステムを提供する。
【解決手段】パルス光を被検物に照射する投光手段３０と、前記パルス光が照射される領域を含む領域を繰り返し撮像する撮像手段２０と、前記撮像手段で撮像された画像の画像信号を記憶する記憶手段４０と、前記記憶手段に記憶された画像信号に対して、同期検波処理を行なって、前記投光手段から照射される前記パルス光の点灯消灯のタイミングに同期した検波処理画像を生成する同期検波処理手段と、前記被検物の移動速度を算出する移動速度算出手段と、前記移動速度算出手段により算出された前記被検物の移動速度に基づいて、前記被検物が撮像画像上を移動することにより前記検波処理画像内に発生するノイズ成分を低減するための補正を行なう補正手段と、を備える。
【解決手段】パルス光を被検物に照射する投光手段３０と、前記パルス光が照射される領域を含む領域を繰り返し撮像する撮像手段２０と、前記撮像手段で撮像された画像の画像信号を記憶する記憶手段４０と、前記記憶手段に記憶された画像信号に対して、同期検波処理を行なって、前記投光手段から照射される前記パルス光の点灯消灯のタイミングに同期した検波処理画像を生成する同期検波処理手段と、前記被検物の移動速度を算出する移動速度算出手段と、前記移動速度算出手段により算出された前記被検物の移動速度に基づいて、前記被検物が撮像画像上を移動することにより前記検波処理画像内に発生するノイズ成分を低減するための補正を行なう補正手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラシステムおよび画像生成方法に関するものである。
【背景技術】
【０００２】
従来、被検物に対して光を所定の周期で照射し、光が照射される領域を含む領域をカメラにより繰り返し撮像し、カメラにより撮像された画像を用いて、照射した光の同期検波処理を行なう方法が知られている（たとえば、特許文献１参照）。この従来技術においては、カメラに備えられた撮像素子の各画素で検出された輝度値に基づいて、画素単位で照射した光の同期検波処理を行なっている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Y. Oike, M. Ikeda, K. Asada, "Smart Image Sensor with High-Speed and High-Sensitivity ID Beacon Detection for Augmented Reality System", Journal of Image Information and Television Engineers, Vol. 58, No. 6, pp. 835 - 841
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術は、カメラに備えられた撮像素子の各画素で検出された輝度値に基づいて、画素単位で照射した光の同期検波処理を行なうものであるため、被検物が撮像画像上を移動した場合に、同期検波処理を行なう撮像画像間において、同じ画素で異なる部位からの輝度値が検出されてしまい、異なる部位からの輝度値に基づいて、同期検波処理が行なわれてしまう場合があった。そして、このような場合においては、照射する光の有無に起因する輝度変化と、異なる部位からの輝度値を用いることに起因する輝度変化とが区別できなくなり、得られる検波処理画像にノイズ成分が生じてしまうという課題があった。
【０００５】
本発明が解決しようとする課題は、被検物が撮像画像上を移動した場合でも、良好な検波処理画像を得ることができるカメラシステムおよび画像生成方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明は、所定周期で点灯消灯するパルス光を被検物に照射し、前記パルス光が照射される領域を含む領域を繰り返し撮像し、撮像された画像の画像信号に対して、画素ごとに同期検波処理を行なって、照射される前記パルス光の点灯消灯のタイミングに同期した検波処理画像を生成する際において、撮像画像上における前記被検物の移動速度に基づいて、前記被検物が撮像画像上を移動することにより前記検波処理画像内に発生するノイズ成分を低減するための補正を行なうことで、上記課題を解決する。
【発明の効果】
【０００７】
本発明によれば、被検物が撮像画像上を移動することにより前記検波処理画像内に発生するノイズ成分を低減することができ、これにより、被検物が撮像画像上を移動した場合でも、良好な検波処理画像を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、本実施形態に係るカメラシステム１のブロック構成図である。
【図２】図２は、カメラ２０の撮像範囲と、投光装置３０による光の照射範囲との関係を示す図である。
【図３】図３は、カメラ２０による露光のタイミング、および投光装置３０による光の照射タイミングの一例を示す図である。
【図４】図４は、投光装置３０による光の照射パターンの一例を示す図である。
【図５】図５（Ａ）は、カメラ２０により撮像された画像の一例を示す図、図５（Ｂ）は、図５（Ａ）に続くフレームにて、カメラ２０により撮像された画像の一例を示す図である。
【図６】図６は、撮像画像上における撮像対象の移動速度の一例を示す図である。
【図７】図７（Ａ）および図７（Ｂ）は、光照射時画像においてカメラ２０の撮像画素で撮像される撮像対象と、非照射時画像においてカメラ２０の撮像画素で撮像される撮像対象との関係を示す図である。
【図８】図８は、本実施形態に係る照射光の光量と、撮像対象の反射率と、カメラ２０で撮像される反射光との関係を示すモデル図である。
【図９】図９（Ａ）は、光照射時画像を撮像した際における撮像対象と、各撮像画素との関係を示すモデル図、図９（Ｂ）は、図９（Ａ）に続くフレームにおいて非照射時画像を撮像した際における撮像対象と、各撮像画素との関係を示すモデル図である。
【図１０】図１０（Ａ）、図１０（Ｂ）は、撮像画素の信号出力の合成方法を説明するための図である。
【図１１】図１１（Ａ）は、光照射時画像の一例を示す図、図１１（Ｂ）は、非照射時画像の一例を示す図、図１１（Ｃ）は、図１１（Ａ）に示す光照射時画像および図１１（Ｂ）に示す非照射時画像に基づいて生成される検波処理画像の一例を示す図である。
【図１２】図１２は、第１実施形態に係る同期検波処理を示すフローチャートである。
【図１３】図１３は、第２実施形態に係る同期検波処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、図面に基づいて、本発明の実施形態について説明する。
【００１０】
《第１実施形態》
図１は、本実施形態に係るカメラシステム１のブロック構成図である。図１に示すように、本実施形態に係るカメラシステム１は、制御装置１０、投光装置２０、カメラ３０およびメモリ４０を備えている。これらの各装置はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行うことができるようになっている。なお、本実施形態のカメラシステム１は、たとえば、車両に備えられ、車両用の撮影システムとして用いられる。以下においては、本実施形態のカメラシステム１が車両用の撮影システムとして用いられる場合を例示して説明する。ただし、本実施形態のカメラシステム１は、車両用の撮影システムに特に限定されるものではない。
【００１１】
カメラ２０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの撮像素子を備え、撮像素子により撮像された画像の画像信号を、制御装置１０に出力する。
【００１２】
投光装置３０は、たとえば、ＬＥＤとＬＥＤ制御回路とで構成され、制御装置１０からの指令に基づいて、周期的に光の照射を行なう。図２は、カメラ２０の撮像範囲と、投光装置３０による光の照射範囲との関係を示す図である。図２に示すように、投光装置３０による光の照射範囲は、カメラ２０の撮像範囲内となるように配置される。言い換えると、カメラ２０の撮像範囲は、投光装置３０による光の照射範囲を含む所定の範囲に設定される。
【００１３】
また、制御装置１０は、図１に示すように、各種プログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えている。
【００１４】
そして、制御装置１０は、投光装置３０に周期的に光の照射を行わせながら、カメラ２０に繰り返し撮像を行なわせて、これにより得られた撮像画像について同期検波処理を行なうことで、投光装置３０による光の照射タイミングに同期した検波処理画像を得るために、露光・投光制御機能と、画像信号記憶機能と、撮像対象移動速度算出機能と、読出画素位置変更機能と、信号出力合成機能と、同期検波処理機能とを備えている。制御装置１０は、上記各機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行することができる。
【００１５】
以下に、カメラシステム１の制御装置１０が実現する各機能についてそれぞれ説明する。
【００１６】
まず、制御装置１０の露光・投光制御機能について説明する。本実施形態の制御装置１０は、カメラ２０による露光動作および投光装置３０による光の照射動作を制御する。具体的には、制御装置１０は、カメラ２０に備えられた撮像素子の電子シャッタまたは機械シャッタを制御し、所定の間隔でカメラ２０に露光動作を実行させる。また、制御装置１０は、カメラ２０による撮像のタイミングに応じて、投光装置３０を制御し、投光装置３０に所定の検波周期に応じたタイミングで光を照射させる。図３に、カメラ２０による露光のタイミング、および投光装置３０による光の照射タイミングの一例を示す。図３に示すように、本実施形態では、投光装置３０により光を照射するタイミングは、カメラ２０の露光が開始された時点ｔ１から露光が終了するまでの時点ｔ４の間に行なわれる。なお、図３においては、次のような場面を例示して示している。すなわち、まず、時間ｔ１にて、制御装置１０からカメラ２０に露光開始信号が送出され、これによりカメラ２０により露光が開始された後、時間ｔ２にて、制御装置１０から投光装置３０に照射開始信号が送出され、これにより投光装置３０により光の照射が開始される。そして、時間ｔ３において、制御装置１０から投光装置３０に照射終了信号が送出され、これにより投光装置３０による光の照射が終了された後、時間ｔ４にて、制御装置１０からカメラ２０に露光終了信号が送出され、これによりカメラ２０による露光が終了する。
【００１７】
本実施形態では、後述する同期検波処理により、投光装置３０からの照射光に対する撮像対象からの反射光を抽出するために、図４に示すように、カメラ２０により繰り返し撮像を行なう際に、特定の撮像フレームの画像のみに、照射光が含まれるように、所定の照射パターンにより照射光の照射を行なわせる。具体的には、図４に示すように、１フレームおきに照射／非照射が切り替わるように、投光装置３０による照射光の照射パターンを制御する。すなわち、２フレームを１周期とし、１フレーム目に照射光の照射を行い、２フレーム目に照射光の照射を行なわないという照射パターンにて、投光装置３０による光の照射を繰り返し実行させる。そして、図４に示すように、第１フレームおよび第３フレームの露光時には、投光装置３０による光の照射が行なわれ、そのため、第１フレームおよび第３フレームにおいては、光が照射された状態における画像が得られ、一方、第２フレームおよび第４フレームの露光時には、投光装置３０による光の照射が行なわれず、そのため、第２フレームおよび第４フレームにおいては、光が照射されていない状態における画像が得られることとなる。すなわち、本実施形態では、光が照射された状態における画像、および光が照射されていない状態における画像が交互に得られることとなる。
【００１８】
なお、本実施形態では、図４に示すように、１フレームおきに照射／非照射が切り替わるように、投光装置３０による照射光の照射パターンを制御する例を示したが、投光装置３０による照射光の照射／非照射の切り替えパターンは、このような態様に特に限定されず、たとえば、４フレームを１周期とし、１フレーム目〜３フレーム目にて連続して光の照射を行い、４フレーム目に光の照射を行なわないという照射パターンを採用してもよい。また、１フレーム目〜３フレーム目にて連続して光の照射を行なう等複数のフレームにおいて連続して光の照射を行なう場合には、照射する光の強度をフレームごとに変化させるような態様としてもよい。
【００１９】
次に、制御装置１０の画像信号記憶機能について説明する。本実施形態の制御装置１０は、カメラ２０による露光動作の結果、得られた撮像画像の画像信号を取得し、取得した画像信号を、投光装置３０の光の照射パターンの情報とともに、メモリ４０に記憶させる。また、制御装置１０は、カメラ２０から画像信号を取得した際に、取得した画像信号に対応する画像が、投光装置３０によって光が照射された状態で撮像された画像である場合には、光照射フラグｆとともに画像信号をメモリ４０に記憶させる。たとえば、図４に示す例においては、第１フレームで得られた撮像画像の画像信号は、照射パターンが２フレームで１周期であるとの情報、および該周期における１フレーム目の画像であるとの情報（照射パターンの情報）および光照射フラグｆとともにメモリ４０に記憶される。また、第２フレームで得られた撮像画像の画像信号は、照射パターンが２フレームで１周期であるとの情報、および該周期における２フレーム目の画像であるとの情報（照射パターンの情報）とともにメモリ４０に記憶される。
【００２０】
なお、取得した画像信号に対応する画像が、投光装置３０によって光が照射された状態で撮像された画像であるか否かは、たとえば、投光装置３０から、光の照射を実行した旨の信号を受信することにより判定することができる。あるいは、取得した画像信号に対応する画像の輝度平均値などの画像情報に基づいて、投光装置３０によって光が照射された状態で撮像された画像であるか否かの判断を行なうような構成としてもよい。また、メモリ４０としては、たとえば、ＲＡＭ（Randam Access Memory）や、ＦｌａｓｈＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）など各種記憶装置、記憶媒体を用いることができる。
【００２１】
次に、制御装置１０の撮像対象移動速度算出機能について説明する。本実施形態の制御装置１０は、カメラ２０で撮像され、メモリ４０に記憶された画像信号を読出し、読み出した画像信号から、撮像画像上における撮像対象の移動速度を算出する。ここで、図５（Ａ）に、カメラ２０により撮像された画像の一例を、図５（Ｂ）に、図５（Ａ）に続くフレームにて、カメラ２０により撮像された画像の一例を示す。制御装置１０は、撮像画像上における撮像対象の移動速度を算出するために、まず、図５（Ａ）に示す画像中における特定領域を選定し、選定した特定領域における輝度情報の配置を輝度プロファイルとして記憶する。なお、特定領域の選定方法としては特に限定されないが、たとえば、投光装置３０の光の照射領域の中央付近に存在する被写体の領域を、特定領域として選定するような構成としてもよいし、あるいは、投光装置３０の光の照射領域において最も輝度の高い被写体の領域を特定領域としても選定するような構成としてもよいし、さらには、予め定められた特定の被写体（たとえば、先行車両等）の領域を特定領域として選定するような構成としてもよい。図５（Ａ）においては、先行車両が存在する領域が特定領域として選定された場面を例示している。
【００２２】
そして、制御装置１０は、図５（Ａ）に続くフレームにて撮像された画像、すなわち、図５（Ｂ）に示す画像中において、図５（Ａ）に示す画像中において選定された特定領域の輝度プロファイルに対して最も相関値の高い画像領域を探索する処理を行なう。具体的には、図５（Ｂ）に示す画像中において、特定領域と同じ大きさを有する領域を、一画素ずつずらしながら、特定領域の輝度プロファイルに対する相関値を算出し、相関値の最も高い画像領域（特定領域の輝度プロファイルに最も近い輝度プロファイルを有する画像領域）を検出する。そして、図５（Ａ）に示す画像中において選定された特定領域の位置と、図５（Ｂ）に示す画像中において検出された最も相関値の高い画像領域の位置とに基づいて、撮像画像上における撮像対象の移動速度の算出を行なう。
【００２３】
具体的には、たとえば、Ｘ方向のみの移動速度について着目した場合において、図５（Ａ）に示す画像中において選定された特定領域の画像位置（特定領域の中心位置）をＸ’０とし、図５（Ｂ）に示す画像中において検出された最も相関値の高い画像領域の画像位置（最も相関値の高い画像領域の中心位置）をＸ０とし、画像位置Ｘ０における特定領域の輝度プロファイルに対する相関値をＣ０とする。また、最も相関値の高い画像領域からＸ方向負方向に１画素分ずれた領域の画像位置をＸ０−１、画像位置Ｘ０−１における特定領域の輝度プロファイルに対する相関値をＣ−１、最も相関値の高い画像領域からＸ方向正方向に１画素分ずれた領域の画像位置をＸ０＋１、画像位置Ｘ０＋１における特定領域の輝度プロファイルに対する相関値をＣ＋１とする。そして、撮像対象の画像上の移動速度Ｖ０（単位：画素／フレーム）は、Ｘ’０、Ｘ０、Ｃ０、Ｃ−１、およびＣ＋１を用いて、下記式（１）にしたがって算出することができる。
Ｖ０＝Ｘ０−Ｘ’０＋（Ｃ＋１−Ｃ−１）／２（２Ｃ０−Ｃ＋１−Ｃ−１） ・・・（１）
【００２４】
そして、上記方法にしたがい、図５（Ａ）、図５（Ｂ）に示す場面例においては、図６に示すように、撮像対象としての先行車両の撮像画像上のＸ方向の移動速度を、たとえば、５．４画素／フレームと算出することができる。すなわち、図５（Ａ）、図５（Ｂ）に示す場面例においては、図５（Ａ）に示す画像中の撮像対象としての先行車両は、これに続く図５（Ｂ）に示す画像中において、５．４画素だけＸ方向正方向に移動したと算出することができる。また、上記方法では、Ｘ方向のみの移動速度について着目して説明したが、Ｙ方向についても同様に移動速度を算出し、本実施形態では、Ｘ方向およびＹ方向の移動速度を、撮像対象の移動速度として検出する。
【００２５】
あるいは、撮像画像上における撮像対象の移動速度は、たとえば、輝度勾配法などの公知の画像速度算出法を用いて算出してもよいし、カメラシステム１が搭載される車両の移動速度を用いて算出してもよい。
【００２６】
次に、制御装置１０の読出画素位置変更機能について説明する。制御装置１０は、後述する同期検波処理により、投光装置３０からの照射光に対する撮像対象からの反射光を抽出するために、メモリ４０に記憶された画像信号の読出しを行なう。具体的には、制御装置１０は、後述する同期検波処理を行なうために、投光装置３０によって光が照射された状態で撮像された画像（以下、適宜、「光照射時画像」とする。）の画像信号と、該画像に続いて、投光装置３０によって光が照射されない状態で撮像された画像（以下、適宜、「非照射時画像」とする。）の画像信号とを読み出す。たとえば、図４に示す第３フレームの画像の画像信号と、これに続く第４フレームの画像の画像信号を読み出す。なお、メモリ４０に記憶された画像信号が、光照射時画像の画像信号であるか否かは、画像信号とともに記憶された光照射フラグｆに基づいて、判断することができる。
【００２７】
ここで、光照射時画像と、これに続くフレームにおいて撮像された非照射時画像とにおいて、ある撮像対象に着目すると、撮像対象の移動速度が１画素／フレーム以上である場合には、この撮像対象の画像中における位置は、光照射時画像と、これに続くフレームにおいて撮像された非照射時画像とで１画素以上ずれた位置となってしまうこととなる。たとえば、撮像対象のＸ方向の移動速度が、５画素／フレームである場合には、図７（Ａ）に示すように、光照射時画像においてカメラ２０の撮像素子の画素２０ａ〜２０ｄにより撮像された撮像対象は、図７（Ｂ）に示すように、続くフレームにおいて撮像された非照射時画像においては、画素２０ｆ〜２０ｉでそれぞれ撮像されることとなる。すなわち、このような場合においては、同じ画素同士（たとえば、画素２０ａ同士）の出力を比較しても、撮像対象が異なってしまうため、後述する同期検波処理を良好に行なうことができなくなってしまう。
【００２８】
これに対して、本実施形態では、撮像対象の移動速度の演算を行なった結果、撮像対象の移動速度が、１画素／フレーム以上である場合には、撮像対象の移動速度に応じて、画像信号を読み出す際に画素位置を変更して読み出しを行なう。具体的には、撮像対象のＸ方向の移動速度が５画素／フレームである場合には、光照射時画像の画像信号はそのまま読み出す一方で、続くフレームにおいて撮像された非照射時画像の画像信号を、Ｘ方向に５画素ずらして読み出す。同様に、撮像対象のＸ方向の移動速度が１０画素／フレームである場合には、非照射時画像の画像信号を、Ｘ方向に１０画素ずらして読み出す。
【００２９】
ただし、図５（Ａ）、図５（Ｂ）に示す場面例のように、撮像対象のＸ方向の移動速度が５．４画素／フレームである場合には（図６参照）、非照射時画像の画像信号を、Ｘ方向に５画素ずらして読み出す。すなわち、本実施形態では、画像信号を読み出す際に画素ずらしを行なう際の画素のずらし数は、小数点以下を切り捨てたものとする。あるいは、画素のずらし数を、小数点以下を切り捨てたものとする代わりに、最も近い整数を選択するような態様としてもよい。すなわち、撮像対象のＸ方向の移動速度が５．４画素／フレームである場合には、画素のずらし数を５とし、撮像対象のＸ方向の移動速度が５．６画素／フレームである場合には、画素のずらし数を６としてもよい。なお、この場合においては、撮像対象の移動速度が１画素／フレーム未満である場合でも、撮像対象の移動速度の値が、０よりも１に近いような場合には、画素のずらし数を１とし、画素位置を変更して読み出す処理を行なってもよい。
【００３０】
また、本実施形態では、このような画素位置を変更して読み出す処理は、Ｘ方向だけでなく、同様にしてＹ方向についても行うものとする。
【００３１】
次いで、制御装置１０の信号出力合成機能について説明する。本実施形態の制御装置１０は、上述した画素位置を変更して読み出す処理に加えて、撮像対象の小数点以下の移動量（単位画素未満の移動量）を補正するために、画素位置を変更して読み出した非照射時画像の画像信号に対して、信号出力を合成する処理を行なう。ここで、図５（Ａ）、図５（Ｂ）に示す場面例のように、撮像対象のＸ方向の移動速度が５．４画素／フレームである場合には（図６参照）、画素位置を変更して読み出す処理により、５画素分の移動量に対する補正が可能となるものの、小数点以下の移動量である０．４画素分の補正については行なうことはできず、そのため、このような小数点以下の移動量の影響により、後述する同期検波処理を良好に行なうことができなくなってしまう。
【００３２】
これに対し、本実施形態では、このような小数点以下の移動量を補正するために、画素位置を変更して読み出した非照射時画像の画像信号に対して、信号出力を補正する処理を行なう。以下、図８、図９（Ａ）、図９（Ｂ）、図１０（Ａ）、図１０（Ｂ）を参照して、このような信号出力を合成する処理について説明する。図８は、本実施形態に係る照射光の光量と、撮像対象の反射率と、カメラ２０で撮像される反射光との関係を示すモデル図である。図８に示すように、本実施形態においては、投光装置３０および投光装置３０以外の光源から光量ｉの光が、撮像対象に照射され、撮像対象により反射された反射光をカメラ２０で撮像することにより、撮像画像を得るものである。なお、図８に示すように、撮像対象の反射率をｒとすると、カメラ２０で撮像される反射光の光量はｉ・ｒとなる。
【００３３】
ここで、図９（Ａ）に、光照射時画像を撮像した際における撮像対象と、各撮像画素との関係を示すモデル図を、図９（Ｂ）に、続くフレームにおいて非照射時画像を撮像した際における撮像対象と、各撮像画素との関係を示すモデル図を示す。
【００３４】
図９（Ａ）に示すように、光照射時画像を撮像した際における撮像対象に照射された光（主として、投光装置３０からの光）の光量をｉとすると、カメラ２０の撮像画素Ｐ０は、撮像対象Ｓ０（反射率ｒ０）からの反射光ｉ・ｒ０を受光し、撮像画素Ｐ０により得られる輝度値（出力値）Ｉ０は、Ｉ０＝ｉ・ｒ０となる。また、同様に、撮像画素Ｐ１は、撮像対象Ｓ１（反射率ｒ１）からの反射光ｉ・ｒ１を受光し、撮像画素Ｐ１により得られる輝度値Ｉ１は、Ｉ１＝ｉ・ｒ１となり、さらに、撮像画素Ｐ２は、撮像対象Ｓ２（反射率ｒ２）からの反射光ｉ・ｒ２を受光し、撮像画素Ｐ２により得られる輝度値Ｉ２は、Ｉ２＝ｉ・ｒ２となり、同様に、撮像画素Ｐ３は、撮像対象Ｓ３（反射率ｒ３）からの反射光ｉ・ｒ３を受光し、撮像画素Ｐ３により得られる輝度値Ｉ３は、Ｉ３＝ｉ・ｒ３となる。
【００３５】
その一方で、図９（Ｂ）に示すように、図９（Ａ）に続くフレームにおいて非照射時画像を撮像した際においては、撮像対象に照射された光（主として、投光装置３０以外からの光）の光量をｉ’とした場合に、カメラ２０の撮像画素Ｐ２に着目すると、小数点以下の移動量Δの影響により、撮像対象Ｓ２からの反射光ｉ’・ｒ２の一部に加えて、撮像対象Ｓ１からの反射光ｉ’・ｒ１の一部が入射してしまうこととなる。すなわち、撮像画素Ｐ２で得られる輝度値Ｉ’２は、撮像対象Ｓ２からの反射光ｉ’・ｒ２の一部および撮像対象Ｓ１からの反射光ｉ’・ｒ１の一部に基づくものとなり、図９（Ａ）に示す光照射時画像を撮像したときから比較して、撮像対象がずれてしまうこととなる。具体的には、「撮像対象Ｓ１からの反射光ｉ’・ｒ１」：「撮像対象Ｓ２からの反射光ｉ’・ｒ２」＝Δ：１−Δの比率で、撮像画素Ｐ２に反射光が入射することとなる。たとえば、図５（Ａ）、図５（Ｂ）に示す場面例においては、撮像対象のＸ方向の移動速度が５．４画素／フレームであり（図６参照）、小数点以下の値は０．４であるため、「撮像対象Ｓ１からの反射光ｉ’・ｒ１」：「撮像対象Ｓ２からの反射光ｉ’・ｒ２」＝０．４：０．６の比率で、撮像画素Ｐ２に反射光が入射することとなる。そして、撮像画素Ｐ０，Ｐ１，Ｐ３についても、撮像画素Ｐ２と同様に、小数点以下の移動量Δの影響を受けることとなる。なお、図９（Ｂ）中においては、撮像画素Ｐ０で得られる輝度値をＩ’０とし、撮像画素Ｐ１で得られる輝度値をＩ’１とし、撮像画素Ｐ３で得られる輝度値をＩ’３とした。また、非照射時画像を読み出す際に、上述したように、画像信号を読み出す際に画素位置を変更して読み出す処理を行なった場合には、図９（Ｂ）における撮像画素Ｐ０〜Ｐ３は、図９（Ａ）における撮像画素Ｐ０〜Ｐ３に対応する（画素ずらしを行なった後の）撮像画素である。すなわち、画素のずらし数を５とした場合には、図９（Ｂ）における撮像画素Ｐ０〜Ｐ３は、図９（Ａ）における撮像画素Ｐ０〜Ｐ３よりも、それぞれ５画素ずれた位置にある撮像画素となる。
【００３６】
これに対し、本実施形態では、以下の方法により、このような小数点以下の移動量Δの影響を補正する。すなわち、本実施形態では、図１０（Ａ）、図１０（Ｂ）に示すように、光照射時画像の画像信号の信号出力について、隣り合う２つの画素の輝度値の平均値を算出し、算出した平均値をこれら２つの画素の合成輝度値（合成出力値）とすることにより、少数点以下の移動量Δの影響を補正する。具体的には、図１０（Ａ）に示すように、撮像画素Ｐ０，Ｐ１について、これらの輝度値の平均値（Ｉ０＋Ｉ１）／２を算出し、これを撮像画素Ｐ０，Ｐ１の合成輝度値とし、同様に、撮像画素Ｐ２，Ｐ３について、これらの輝度値の平均値（Ｉ２＋Ｉ３）／２を算出し、これを撮像画素Ｐ２，Ｐ３の合成輝度値とする。さらに、図１０（Ｂ）に示すように、撮像画素Ｐ０，Ｐ１について、これらの輝度値の平均値（Ｉ’０＋Ｉ’１）／２を算出し、これを撮像画素Ｐ０，Ｐ１の合成輝度値とし、同様に、撮像画素Ｐ２，Ｐ３について、これらの輝度値の平均値（Ｉ’２＋Ｉ’３）／２を算出し、これを撮像画素Ｐ２，Ｐ３の合成輝度値とする。
【００３７】
たとえば、撮像画素Ｐ２，Ｐ３に着目すると、図９（Ｂ）に示すように、撮像画素Ｐ２については、対応する撮像対象Ｓ２からの反射光ｉ’・ｒ２に加えて、撮像対象Ｓ２以外の撮像対象Ｓ１からの反射光ｉ’・ｒ１がΔ／１の割合で含まれてしまう。また、同様に、撮像画素Ｐ３についても、対応する撮像対象Ｓ３からの反射光ｉ’・ｒ３に加えて、撮像対象Ｓ３以外の撮像対象Ｓ２からの反射光ｉ’・ｒ２がΔ／１の割合で含まれてしまうこととなる。たとえば、図５（Ａ）、図５（Ｂ）に示す場面例においては、撮像対象のＸ方向の移動速度が５．４画素／フレームであり（図６参照）、小数点以下の値は０．４であるため、撮像画素Ｐ２については、対応する撮像対象Ｓ２以外の撮像対象Ｓ１からの反射光ｉ’・ｒ１が０．４／１の割合で含まれてしまい、同様に、撮像画素Ｐ３についても、対応する撮像対象Ｓ３以外の撮像対象Ｓ２からの反射光ｉ’・ｒ２が０．４／１の割合で含まれてしまうこととなる。
【００３８】
これに対して、上述したように、隣り合う２つの画素の輝度値の平均値をこれら２つの画素の合成輝度値とすることにより、図１０（Ｂ）に示すように、撮像画素Ｐ２，Ｐ３については、対応する撮像対象Ｓ２および撮像対象Ｓ３以外の撮像対象Ｓ１からの反射光ｉ’・ｒ１の割合を、Δ／２に低減することができる。たとえば、図５（Ａ）、図５（Ｂ）に示す場面例においては、撮像対象のＸ方向の移動速度が５．４画素／フレームであり（図６参照）、小数点以下の値は０．４であるため、撮像画素Ｐ２，Ｐ３については、対応する撮像対象Ｓ２および撮像対象Ｓ３以外の撮像対象Ｓ１からの反射光ｉ’・ｒ１の割合を、０．４／２に低減することができる。すなわち、図１０（Ａ）に示す光照射時画像においては、撮像画素Ｐ２，Ｐ３は、対応する撮像対象Ｓ２および撮像対象Ｓ３のみから反射光を受光するものであり、そのため、対応する撮像対象Ｓ２および撮像対象Ｓ３以外の撮像対象Ｓ１からの反射光ｉ’・ｒ１の割合を低減し、これにより小数点以下の移動量Δの影響を低減することができるものである。
【００３９】
そのため、本実施形態では、このように隣り合う２つの画素の輝度値の平均値を算出し、算出した平均値をこれら２つの画素の合成輝度値とすることにより、少数点以下の移動量Δの影響を低減するものである。
【００４０】
なお、図９（Ａ）、図９（Ｂ）、図１０（Ａ）、図１０（Ｂ）および上述した説明では、Ｘ方向における小数点以下の移動量Δを補正する方法について説明したが、本実施形態では、Ｙ方向における小数点以下の移動量についても、同様に補正を行なう。
【００４１】
また、画像信号を読み出す際に画素ずらしを行なう際の画素のずらし数を、小数点以下を切り捨てたものとする代わりに、最も近い整数を選択するような態様とし、たとえば、撮像対象のＸ方向の移動速度が５．６画素／フレームである場合に、画素のずらし数を６とした場合には、小数点以下の移動量Δを０．４として、小数点以下の移動量Δを補正することができる。
【００４２】
次に、制御装置１０の同期検波処理機能について説明する。本実施形態の制御装置１０は、メモリ４０から読み出された光照射時画像の画像信号と、これに続くフレームで撮像された非照射時画像の画像信号とに基づいて、投光装置３０の照射タイミングに同期した同期検波処理を行ない、投光装置３０からの照射光に対する撮像対象からの反射光を抽出する処理を行なう。具体的には、制御装置１０は、光照射時画像の各撮像画素の信号出力と、これに続くフレームで撮像された光照射時画像の各撮像画素の信号出力との差分を、対応する画素ごとに算出し、これにより、投光装置３０からの照射光に対する撮像対象からの反射光を抽出することで、投光装置３０からの照射光に対する撮像対象からの反射光からなる検波処理画像を生成する。これにより、たとえば、図１１（Ａ）に示すような光照射時画像と、図１１（Ｂ）に示すような非照射時画像とから、図１１（Ｃ）に示すような検波処理画像を生成することができる。図１１（Ａ）、図１１（Ｂ）、図１１（Ｃ）に示すように、本実施形態で生成する検波処理画像は、投光装置３０からの照射光に対する撮像対象からの反射光成分を抽出したものであるため、先行車両などの被写体の陰など、太陽光などの投光装置３０からの照射光以外の光の影響を除去したものとすることができる。
【００４３】
なお、本実施形態においては、同期検波処理を行なう際において、上述した制御装置１０の読出画素位置変更機能により、画像信号を読み出す際に画素位置を変更して読み出す処理が行なわれている場合には、画素位置が変更された画像信号を用い、さらに、上述した制御装置１０の信号出力合成機能により、小数点以下の移動量Δの影響を除去するために、信号出力の合成が行なわれている場合には、補正後の信号出力を用いて、同期検波処理を行なう。
【００４４】
そして、このようにして得られた検波処理画像は、たとえば、ＮＴＳＣ方式に準拠した画像信号に変換され、車両に備えられたディスプレイなどに表示されたり、あるいは、対象物までの距離を計測するための距離計測装置などに出力され、距離計測やその他の用途に用いられる。
【００４５】
次いで、本実施形態の動作について、説明する。図１２は、本実施形態に係る同期検波処理を示すフローチャートである。以下に説明する動作は、カメラシステム１の電源がＯＮとされることによって開始される。なお、以下に説明する動作は、制御装置１０により実行される。また、以下においては、図４に示すように、投光装置３０による光の照射パターンを、１フレームおきに照射／非照射を切り替えるパターンとする場合を例示して説明する。
【００４６】
まず、ステップＳ１では、制御装置１０からカメラ２０に露光開始信号が送出され、これによりカメラ２０により露光が開始される。
【００４７】
次いで、ステップＳ２では、制御装置１０により、今回処理時において撮像するフレームが、投光装置３０によって光の照射を行なうフレームであるか否かの判断が行なわれ、投光装置３０によって光の照射を行なうフレームである場合には、ステップＳ３に進む。一方、投光装置３０によって光の照射を行なうフレームでない場合には、ステップＳ６に進む。たとえば、図４に示す例において、今回処理時において撮像するフレームが第１フレームに該当する場合には、ステップＳ３に進み、一方、第２フレームに該当する場合には、ステップＳ６に進む。
【００４８】
ステップＳ３では、制御装置１０から投光装置３０に照射開始信号が送出され、これにより投光装置３０により光の照射が開始され、予め定められた所定の照射時間が経過した後（ステップＳ４＝Ｙｅｓ）、ステップＳ５に進み、制御装置１０から投光装置３０に照射終了信号が送出され、投光装置３０による光の照射が終了する。
【００４９】
次いで、ステップＳ６では、制御装置１０により、ステップＳ１でカメラ２０により露光が開始されてから予め定められた所定の露光時間が経過したか否かの判定が行なわれ、所定の露光時間がしたと判断されると、ステップＳ７に進み、制御装置１０からカメラ２０に露光終了信号が送出され、カメラ２０による露光を終了する。
【００５０】
カメラ２０による露光を終了した後、ステップＳ８に進み、ステップＳ８では、カメラ２０により露光を行なった結果、得られた撮像画像の画像信号を、投光装置３０の光の照射パターンの情報とともに、メモリ４０に記憶させる処理が行なわれる。なお、この際において、ステップＳ３にて投光装置３０により光の照射を行なった場合には、画像信号とともに、光照射フラグｆが併せてメモリ４０に記憶されることとなる。
【００５１】
ステップＳ９では、今回処理時において、上述したステップＳ１〜Ｓ７にて撮像された撮像画像が、投光装置３０により光の照射を行なった光照射時画像であるか、あるいは、投光装置３０により光の照射を行なわなかった非照射時画像であるか否かの判断が行なわれる。光照射時画像であると判断された場合には、ステップＳ１７に進み、一方、非照射時画像であると判断された場合には、ステップＳ１０に進む。
【００５２】
ステップＳ９において、今回処理時において撮像された撮像画像が非照射時画像であると判断された場合には、ステップＳ１０に進み、今回処理時において撮像された非照射時画像と、前回処理時において撮像された光照射時画像とに基づいて、上述した方法にしたがい、撮像対象の画像上の移動速度の算出が行なわれる。
【００５３】
次いで、ステップＳ１１では、上述したステップＳ１０で算出された撮像対象の画像上の移動速度に基づいて、上述した方法にしたがって、今回処理時において撮像された非照射時画像の画像信号を読み出す際における画素のずらし数を算出する処理が行なわれる。たとえば、図６に示すように、撮像対象のＸ方向の移動速度が５．４画素／フレームである場合には、Ｘ方向の画素のずらし数は５とされる。また、Ｙ方向についても同様に画素のずらし数の算出が行なわれる。
【００５４】
次いで、ステップＳ１２では、今回処理時において撮像された非照射時画像の画像信号、および前回処理時において撮像された光照射時画像の画像信号を読み出す処理が行なわれる。なお、ステップＳ１１にて、今回処理時において撮像された非照射時画像の画像信号を読み出す際における画素のずらし数が算出されている場合には、非照射時画像の画像信号を読み出す際には、算出された画素のずらし数に基づいて、画素位置を変更して読み出しを行なう。
【００５５】
ステップＳ１３では、上述したステップＳ１０で算出された撮像対象の画像上の移動速度に基づいて、上述した方法にしたがって、今回処理時において撮像された非照射時画像の画像信号について、小数点以下の移動量Δの影響を除去するために、隣り合う２つの画素の輝度値の平均値を求め、これを合成輝度値として算出することで、信号出力を合成する処理が行なわれる。たとえば、図６に示すように、撮像対象のＸ方向の移動速度が５．４画素／フレームである場合には、０．４画素分の移動量の影響を除去するために信号出力の補正が行なわれる。また、Ｙ方向についても同様に信号出力の補正が行なわれる。
【００５６】
ステップＳ１４では、ステップＳ１２においてメモリ４０から読み出された今回処理時において撮像された非照射時画像の画像信号、および前回処理時において撮像された光照射時画像の画像信号に基づいて、投光装置３０の照射タイミングに同期した同期検波処理を行なうために、同期検波処理の対象とする画素を選択する処理が行なわれる。そして、ステップＳ１５に進み、選択された画素の画像信号に対して、投光装置３０の照射タイミングに同期した同期検波処理を行ない、画素ごとに検波出力の算出を行なう。なお、上述したステップＳ１２において、今回処理時において撮像された非照射時画像の画像信号を読み出す際に画素位置を変更して読み出す処理が行なわれている場合には、非照射時画像として、画素位置が変更された画像信号を用いて、同期検波処理が行なわれる。さらに、上述したステップＳ１３において、小数点以下の移動量Δの影響を除去するために、信号出力を合成する処理が行なわれている場合には、合成処理がされた信号出力を用いて、同期検波処理が行なわれる。
【００５７】
ステップＳ１６では、ステップＳ１５において、全ての画素について、同期検波処理が行なわれたか否かの判定が行なわれる。全ての画素について、同期検波処理が終了していない場合には、ステップＳ１４に戻る。一方、全ての画素について、同期検波処理が終了した場合には、ステップＳ１７に進み、ステップＳ１５にて算出された各画素の検波出力に基づいて、検波処理画像を生成する処理が行なわれる。そして、生成された検波処理画像は、ＮＴＳＣ方式に準拠した画像信号に変換され、車両に備えられたディスプレイなどに表示されたり、あるいは、対象物までの距離を計測するための距離計測装置などに出力される。
【００５８】
そして、ステップＳ１８に進み、制御装置１０により、カメラシステム１の電源をオフとする指令を受信しているか否かの判定が行なわれ、カメラシステム１の電源をオフとする指令を受信していない場合には、ステップＳ１に戻り、ステップＳ１〜Ｓ１７の処理を繰り返し行ない、一方、カメラシステム１の電源をオフとする指令を受信した場合には、カメラシステム１の電源をオフとする処理を行ない、本処理を終了する。
【００５９】
本実施形態においては、光照射時画像の画像信号と、これに続くフレームにおいて撮像された非照射時画像の画像信号とを読み出し、読み出した光照射時画像の画像信号と、これに続くフレームにおいて撮像された非照射時画像の画像信号とに基づいて、同期検波処理を行なって、検波処理画像を生成する際に、撮像対象が撮像画像中を移動することにより検波処理画像中に生じるノイズを、撮像対象の移動速度に応じた補正を行なうものであり、これにより、良好な検波処理画像を得ることができるものである。
【００６０】
特に、本実施形態によれば、撮像対象の移動速度の演算を行なった結果、撮像対象の移動速度が１画素／フレーム以上である場合には、撮像対象の移動速度に応じて、非照射時画像の画像信号を読み出す際における画素位置を変更して読み出すことにより、撮像対象の１画素以上の移動量を補正することができるものである。加えて、本実施形態によれば、撮像対象の移動速度から、撮像対象の小数点以下の移動量（単位画素未満の移動量）を検出し、検出した小数点以下の移動量の影響を補正するために、検出した小数点以下の移動量に応じて、非照射時画像の画像信号の信号出力を補正するものである。具体的には、隣り合う２つの画素の輝度値の平均値を算出し、算出した平均値をこれら２つの画素の合成輝度値とすることにより、少数点以下の移動量Δの影響を補正するものである。そのため、本実施形態によれば、撮像対象の１画素以上の移動量に加えて、小数点以下の移動量、すなわち、１画素未満の移動量を補正することができるものである。そして、本実施形態によれば、撮像対象が撮像画像中を移動することにより検波処理画像中に生じるノイズを有効に低減することができ、これにより、良好な検波処理画像を得ることができるものである。特に、本実施形態によれば、隣り合う２つの画素の輝度値の平均値を算出するという比較的演算負荷の低い方法により、１画素未満の移動量を補正することができ、これにより、良好な検波処理画像を得ることができるものである。
【００６１】
《第２実施形態》
次いで、本発明の第２実施形態について説明する。
第２実施形態に係るカメラシステム１は、図１に示す制御装置１０が、特定画素検出機能をさらに有する以外は、上述の第１実施形態と同様の構成を有し、同様の作用を奏するものである。
【００６２】
まず、制御装置１０の特定画素検出機能について説明する。第２実施形態の制御装置１０は、メモリ４０から読み出された光照射時画像の画像信号と、これに続くフレームで撮像された非照射時画像の画像信号とのそれぞれについて、同期検波処理を行なう前に、輝度値（出力値）の変化の大きい画素を特定画素として検出する。具体的には、制御装置１０は、メモリ４０から読み出された光照射時画像の画像信号と、これに続くフレームで撮像された非照射時画像の画像信号とのそれぞれについて、画素ごとに、該画素の輝度値と、これと隣り合う画素の輝度値との差分を算出し、差分が予め定められた所定値Ｔｈ以上であるか否かの判断を行ない、所定値Ｔｈ以上である画素を特定画素として検出する。
【００６３】
そして、制御装置１０は、特定画素として検出された画素については、同期検波処理を行なわずに、代わりに最も近接する場所に位置する画素に対して実行された同期検波処理により算出された検波出力を用いるものである。あるいは、特定画素として検出された画素については、同期検波処理を行なわずに、近接する画素のうち、同期検波処理が実行された画素で算出された検波出力の平均値を用いるように構成することもできる。
【００６４】
次いで、第２実施形態の動作について説明する。図１３は、第２実施形態に係る同期検波処理を示すフローチャートである。なお、第２実施形態では、図１３に示すステップＳ１０１〜Ｓ１１３においては、上述した第１実施形態のステップＳ１〜Ｓ１３と同様に動作する一方で、ステップＳ１１４以降の動作が上述した第１実施形態と異なるため、以下においては、ステップＳ１１４以降の動作について説明する。
【００６５】
図１３に示すステップＳ１１４では、ステップＳ１１２においてメモリ４０から読み出された今回処理時において撮像された非照射時画像の画像信号、および前回処理時において撮像された光照射時画像の画像信号に基づいて、投光装置３０の照射タイミングに同期した同期検波処理を行なうために、同期検波処理の対象とする画素を選択する処理が行なわれる。そして、ステップＳ１１５に進み、選択された画素の輝度値と、これと隣り合う画素の輝度値との差分を算出し、差分が予め定められた所定値Ｔｈ以上であるか否かの判断を行ない、所定値Ｔｈ以上である画素を特定画素として検出する処理が行われる。その結果、ステップＳ１１４において選択された画素が特定画素に該当しない場合には、ステップＳ１１６に進み、一方、特定画素に該当する場合には、ステップＳ１１７に進む。なお、本実施形態では、今回処理時において撮像された非照射時画像中における選択された画素の輝度値の差分、および前回処理時において撮像された光照射時画像中における選択された画素の輝度値の差分の少なくとも一方が、所定値Ｔｈ以上であった場合に、選択された画素を特定画素として検出する。
【００６６】
ステップＳ１１５において、選択された画素が特定画素に該当しないと判断された場合には、ステップＳ１１６に進み、ステップＳ１１６では、選択された画素の画像信号に対して、投光装置３０の照射タイミングに同期した同期検波処理が行なわれる。なお、ステップＳ１１２において、今回処理時において撮像された非照射時画像の画像信号を読み出す際に画素位置を変更して読み出す処理が行なわれている場合には、非照射時画像として、画素位置が変更された画像信号を用いて、同期検波処理が行なわれる。さらに、ステップＳ１１３において、小数点以下の移動量Δの影響を除去するために、信号出力を合成する処理が行なわれている場合には、合成処理がされた信号出力を用いて、同期検波処理が行なわれる。
【００６７】
一方、ステップＳ１１５において、選択された画素が特定画素に該当しないと判断された場合には、ステップＳ１１７に進み、ステップＳ１１７では、選択された画素については、同期検波処理を行なわずに、代わりに最も近接する場所に位置する画素に対して実行された同期検波処理により算出された検波出力を入力するために、選択された画素が特定画素として記憶させる処理が行なわれる。
【００６８】
ステップＳ１１８では、全ての画素について、特定画素であるか否かの判断（ステップＳ１１５）および同期検波処理の実行（ステップＳ１１６）または特定画素として記憶する処理（ステップＳ１１７）が行なわれたか否かの判定が行なわれる。全ての画素について、これらの処理が終了していない場合には、ステップＳ１１４に戻る。一方、全ての画素について、これらの処理が終了した場合には、ステップＳ１１９に進み、特定画素として検出され、ステップＳ１１７において、記憶された画素について、最も近接する場所に位置する画素に対して実行された同期検波処理により算出された検波出力を入力するための処理を行なった後に、各画素の検波出力に基づいて、検波処理画像を生成する処理が行なわれる。そして、生成された検波処理画像は、ＮＴＳＣ方式に準拠した画像信号に変換され、車両に備えられたディスプレイなどに表示されたり、あるいは、対象物までの距離を計測するための距離計測装置などに出力される。
【００６９】
そして、ステップＳ１２０に進み、制御装置１０により、カメラシステム１の電源をオフとする指令を受信しているか否かの判定が行なわれ、カメラシステム１の電源をオフとする指令を受信していない場合には、ステップＳ１０１に戻り、ステップＳ１０１〜Ｓ１１９の処理を繰り返し行ない、一方、カメラシステム１の電源をオフとする指令を受信した場合には、カメラシステム１の電源をオフとする処理を行ない、本処理を終了する。
【００７０】
第２実施形態によれば、上述した第１実施形態の効果に加えて、次の効果を奏する。
すなわち、第２実施形態によれば、隣り合う画素に対する輝度値の差分が所定値Ｔｈ以上である画素を特定画素として検出し、検出された特定画素については、同期検波処理を行なわないため、たとえば、撮像対象に影等が差し込むことによって、急激に画素出力が変化した場合でも、このような画素出力が変化した画素において、同期検波処理を実行することにより、得られる検波処理画像に大きなノイズが入力されてしまうことを有効に防止することができる。
【００７１】
なお、上述した実施形態において、投光装置３０は本発明の投光手段に、カメラ２０は本発明の撮像手段に、メモリ４０は本発明の記憶手段に、制御装置１０の同期検波処理機能は本発明の同期検波処理手段に、制御装置１０の撮像対象移動速度算出機能は本発明の移動速度算出手段に、制御装置１０の読出画素位置変更機能は本発明の補正手段および読出画素位置変更手段に、制御装置１０の信号出力合成機能は本発明の補正手段および信号出力合成手段に、制御装置１０の特定画素検出機能は本発明の特定画素検出手段に、それぞれ相当する。
【００７２】
以上、本発明の実施形態について説明したが、これらの実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【００７３】
たとえば、上述した実施形態では、制御装置１０の信号出力合成機能により信号出力の合成を行なう際に、２つの画素の合成輝度値を算出し、信号出力を合成する画素の数を２とする例を示したが、隣り合う３つ以上の画素の輝度値の平均値を算出し、算出した平均値をこれら３つ以上の画素の合成輝度値を算出し、信号出力を合成する画素の数を３以上としてもよい。あるいは、少数点以下の移動量Δに応じて、信号出力を合成する画素の数を変更するような構成としてもよく、この場合には、少数点以下の移動量Δが比較的小さい場合には、信号出力を合成する画素の数を２とし、少数点以下の移動量Δが大きくなるほど、信号出力を合成する画素の数を多くしていくような構成とすることができる。
【符号の説明】
【００７４】
１…カメラシステム
１０…制御装置
２０…カメラ
３０…投光装置
４０…メモリ
【技術分野】
【０００１】
本発明は、カメラシステムおよび画像生成方法に関するものである。
【背景技術】
【０００２】
従来、被検物に対して光を所定の周期で照射し、光が照射される領域を含む領域をカメラにより繰り返し撮像し、カメラにより撮像された画像を用いて、照射した光の同期検波処理を行なう方法が知られている（たとえば、特許文献１参照）。この従来技術においては、カメラに備えられた撮像素子の各画素で検出された輝度値に基づいて、画素単位で照射した光の同期検波処理を行なっている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Y. Oike, M. Ikeda, K. Asada, "Smart Image Sensor with High-Speed and High-Sensitivity ID Beacon Detection for Augmented Reality System", Journal of Image Information and Television Engineers, Vol. 58, No. 6, pp. 835 - 841
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術は、カメラに備えられた撮像素子の各画素で検出された輝度値に基づいて、画素単位で照射した光の同期検波処理を行なうものであるため、被検物が撮像画像上を移動した場合に、同期検波処理を行なう撮像画像間において、同じ画素で異なる部位からの輝度値が検出されてしまい、異なる部位からの輝度値に基づいて、同期検波処理が行なわれてしまう場合があった。そして、このような場合においては、照射する光の有無に起因する輝度変化と、異なる部位からの輝度値を用いることに起因する輝度変化とが区別できなくなり、得られる検波処理画像にノイズ成分が生じてしまうという課題があった。
【０００５】
本発明が解決しようとする課題は、被検物が撮像画像上を移動した場合でも、良好な検波処理画像を得ることができるカメラシステムおよび画像生成方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明は、所定周期で点灯消灯するパルス光を被検物に照射し、前記パルス光が照射される領域を含む領域を繰り返し撮像し、撮像された画像の画像信号に対して、画素ごとに同期検波処理を行なって、照射される前記パルス光の点灯消灯のタイミングに同期した検波処理画像を生成する際において、撮像画像上における前記被検物の移動速度に基づいて、前記被検物が撮像画像上を移動することにより前記検波処理画像内に発生するノイズ成分を低減するための補正を行なうことで、上記課題を解決する。
【発明の効果】
【０００７】
本発明によれば、被検物が撮像画像上を移動することにより前記検波処理画像内に発生するノイズ成分を低減することができ、これにより、被検物が撮像画像上を移動した場合でも、良好な検波処理画像を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、本実施形態に係るカメラシステム１のブロック構成図である。
【図２】図２は、カメラ２０の撮像範囲と、投光装置３０による光の照射範囲との関係を示す図である。
【図３】図３は、カメラ２０による露光のタイミング、および投光装置３０による光の照射タイミングの一例を示す図である。
【図４】図４は、投光装置３０による光の照射パターンの一例を示す図である。
【図５】図５（Ａ）は、カメラ２０により撮像された画像の一例を示す図、図５（Ｂ）は、図５（Ａ）に続くフレームにて、カメラ２０により撮像された画像の一例を示す図である。
【図６】図６は、撮像画像上における撮像対象の移動速度の一例を示す図である。
【図７】図７（Ａ）および図７（Ｂ）は、光照射時画像においてカメラ２０の撮像画素で撮像される撮像対象と、非照射時画像においてカメラ２０の撮像画素で撮像される撮像対象との関係を示す図である。
【図８】図８は、本実施形態に係る照射光の光量と、撮像対象の反射率と、カメラ２０で撮像される反射光との関係を示すモデル図である。
【図９】図９（Ａ）は、光照射時画像を撮像した際における撮像対象と、各撮像画素との関係を示すモデル図、図９（Ｂ）は、図９（Ａ）に続くフレームにおいて非照射時画像を撮像した際における撮像対象と、各撮像画素との関係を示すモデル図である。
【図１０】図１０（Ａ）、図１０（Ｂ）は、撮像画素の信号出力の合成方法を説明するための図である。
【図１１】図１１（Ａ）は、光照射時画像の一例を示す図、図１１（Ｂ）は、非照射時画像の一例を示す図、図１１（Ｃ）は、図１１（Ａ）に示す光照射時画像および図１１（Ｂ）に示す非照射時画像に基づいて生成される検波処理画像の一例を示す図である。
【図１２】図１２は、第１実施形態に係る同期検波処理を示すフローチャートである。
【図１３】図１３は、第２実施形態に係る同期検波処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、図面に基づいて、本発明の実施形態について説明する。
【００１０】
《第１実施形態》
図１は、本実施形態に係るカメラシステム１のブロック構成図である。図１に示すように、本実施形態に係るカメラシステム１は、制御装置１０、投光装置２０、カメラ３０およびメモリ４０を備えている。これらの各装置はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行うことができるようになっている。なお、本実施形態のカメラシステム１は、たとえば、車両に備えられ、車両用の撮影システムとして用いられる。以下においては、本実施形態のカメラシステム１が車両用の撮影システムとして用いられる場合を例示して説明する。ただし、本実施形態のカメラシステム１は、車両用の撮影システムに特に限定されるものではない。
【００１１】
カメラ２０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの撮像素子を備え、撮像素子により撮像された画像の画像信号を、制御装置１０に出力する。
【００１２】
投光装置３０は、たとえば、ＬＥＤとＬＥＤ制御回路とで構成され、制御装置１０からの指令に基づいて、周期的に光の照射を行なう。図２は、カメラ２０の撮像範囲と、投光装置３０による光の照射範囲との関係を示す図である。図２に示すように、投光装置３０による光の照射範囲は、カメラ２０の撮像範囲内となるように配置される。言い換えると、カメラ２０の撮像範囲は、投光装置３０による光の照射範囲を含む所定の範囲に設定される。
【００１３】
また、制御装置１０は、図１に示すように、各種プログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えている。
【００１４】
そして、制御装置１０は、投光装置３０に周期的に光の照射を行わせながら、カメラ２０に繰り返し撮像を行なわせて、これにより得られた撮像画像について同期検波処理を行なうことで、投光装置３０による光の照射タイミングに同期した検波処理画像を得るために、露光・投光制御機能と、画像信号記憶機能と、撮像対象移動速度算出機能と、読出画素位置変更機能と、信号出力合成機能と、同期検波処理機能とを備えている。制御装置１０は、上記各機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行することができる。
【００１５】
以下に、カメラシステム１の制御装置１０が実現する各機能についてそれぞれ説明する。
【００１６】
まず、制御装置１０の露光・投光制御機能について説明する。本実施形態の制御装置１０は、カメラ２０による露光動作および投光装置３０による光の照射動作を制御する。具体的には、制御装置１０は、カメラ２０に備えられた撮像素子の電子シャッタまたは機械シャッタを制御し、所定の間隔でカメラ２０に露光動作を実行させる。また、制御装置１０は、カメラ２０による撮像のタイミングに応じて、投光装置３０を制御し、投光装置３０に所定の検波周期に応じたタイミングで光を照射させる。図３に、カメラ２０による露光のタイミング、および投光装置３０による光の照射タイミングの一例を示す。図３に示すように、本実施形態では、投光装置３０により光を照射するタイミングは、カメラ２０の露光が開始された時点ｔ１から露光が終了するまでの時点ｔ４の間に行なわれる。なお、図３においては、次のような場面を例示して示している。すなわち、まず、時間ｔ１にて、制御装置１０からカメラ２０に露光開始信号が送出され、これによりカメラ２０により露光が開始された後、時間ｔ２にて、制御装置１０から投光装置３０に照射開始信号が送出され、これにより投光装置３０により光の照射が開始される。そして、時間ｔ３において、制御装置１０から投光装置３０に照射終了信号が送出され、これにより投光装置３０による光の照射が終了された後、時間ｔ４にて、制御装置１０からカメラ２０に露光終了信号が送出され、これによりカメラ２０による露光が終了する。
【００１７】
本実施形態では、後述する同期検波処理により、投光装置３０からの照射光に対する撮像対象からの反射光を抽出するために、図４に示すように、カメラ２０により繰り返し撮像を行なう際に、特定の撮像フレームの画像のみに、照射光が含まれるように、所定の照射パターンにより照射光の照射を行なわせる。具体的には、図４に示すように、１フレームおきに照射／非照射が切り替わるように、投光装置３０による照射光の照射パターンを制御する。すなわち、２フレームを１周期とし、１フレーム目に照射光の照射を行い、２フレーム目に照射光の照射を行なわないという照射パターンにて、投光装置３０による光の照射を繰り返し実行させる。そして、図４に示すように、第１フレームおよび第３フレームの露光時には、投光装置３０による光の照射が行なわれ、そのため、第１フレームおよび第３フレームにおいては、光が照射された状態における画像が得られ、一方、第２フレームおよび第４フレームの露光時には、投光装置３０による光の照射が行なわれず、そのため、第２フレームおよび第４フレームにおいては、光が照射されていない状態における画像が得られることとなる。すなわち、本実施形態では、光が照射された状態における画像、および光が照射されていない状態における画像が交互に得られることとなる。
【００１８】
なお、本実施形態では、図４に示すように、１フレームおきに照射／非照射が切り替わるように、投光装置３０による照射光の照射パターンを制御する例を示したが、投光装置３０による照射光の照射／非照射の切り替えパターンは、このような態様に特に限定されず、たとえば、４フレームを１周期とし、１フレーム目〜３フレーム目にて連続して光の照射を行い、４フレーム目に光の照射を行なわないという照射パターンを採用してもよい。また、１フレーム目〜３フレーム目にて連続して光の照射を行なう等複数のフレームにおいて連続して光の照射を行なう場合には、照射する光の強度をフレームごとに変化させるような態様としてもよい。
【００１９】
次に、制御装置１０の画像信号記憶機能について説明する。本実施形態の制御装置１０は、カメラ２０による露光動作の結果、得られた撮像画像の画像信号を取得し、取得した画像信号を、投光装置３０の光の照射パターンの情報とともに、メモリ４０に記憶させる。また、制御装置１０は、カメラ２０から画像信号を取得した際に、取得した画像信号に対応する画像が、投光装置３０によって光が照射された状態で撮像された画像である場合には、光照射フラグｆとともに画像信号をメモリ４０に記憶させる。たとえば、図４に示す例においては、第１フレームで得られた撮像画像の画像信号は、照射パターンが２フレームで１周期であるとの情報、および該周期における１フレーム目の画像であるとの情報（照射パターンの情報）および光照射フラグｆとともにメモリ４０に記憶される。また、第２フレームで得られた撮像画像の画像信号は、照射パターンが２フレームで１周期であるとの情報、および該周期における２フレーム目の画像であるとの情報（照射パターンの情報）とともにメモリ４０に記憶される。
【００２０】
なお、取得した画像信号に対応する画像が、投光装置３０によって光が照射された状態で撮像された画像であるか否かは、たとえば、投光装置３０から、光の照射を実行した旨の信号を受信することにより判定することができる。あるいは、取得した画像信号に対応する画像の輝度平均値などの画像情報に基づいて、投光装置３０によって光が照射された状態で撮像された画像であるか否かの判断を行なうような構成としてもよい。また、メモリ４０としては、たとえば、ＲＡＭ（Randam Access Memory）や、ＦｌａｓｈＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）など各種記憶装置、記憶媒体を用いることができる。
【００２１】
次に、制御装置１０の撮像対象移動速度算出機能について説明する。本実施形態の制御装置１０は、カメラ２０で撮像され、メモリ４０に記憶された画像信号を読出し、読み出した画像信号から、撮像画像上における撮像対象の移動速度を算出する。ここで、図５（Ａ）に、カメラ２０により撮像された画像の一例を、図５（Ｂ）に、図５（Ａ）に続くフレームにて、カメラ２０により撮像された画像の一例を示す。制御装置１０は、撮像画像上における撮像対象の移動速度を算出するために、まず、図５（Ａ）に示す画像中における特定領域を選定し、選定した特定領域における輝度情報の配置を輝度プロファイルとして記憶する。なお、特定領域の選定方法としては特に限定されないが、たとえば、投光装置３０の光の照射領域の中央付近に存在する被写体の領域を、特定領域として選定するような構成としてもよいし、あるいは、投光装置３０の光の照射領域において最も輝度の高い被写体の領域を特定領域としても選定するような構成としてもよいし、さらには、予め定められた特定の被写体（たとえば、先行車両等）の領域を特定領域として選定するような構成としてもよい。図５（Ａ）においては、先行車両が存在する領域が特定領域として選定された場面を例示している。
【００２２】
そして、制御装置１０は、図５（Ａ）に続くフレームにて撮像された画像、すなわち、図５（Ｂ）に示す画像中において、図５（Ａ）に示す画像中において選定された特定領域の輝度プロファイルに対して最も相関値の高い画像領域を探索する処理を行なう。具体的には、図５（Ｂ）に示す画像中において、特定領域と同じ大きさを有する領域を、一画素ずつずらしながら、特定領域の輝度プロファイルに対する相関値を算出し、相関値の最も高い画像領域（特定領域の輝度プロファイルに最も近い輝度プロファイルを有する画像領域）を検出する。そして、図５（Ａ）に示す画像中において選定された特定領域の位置と、図５（Ｂ）に示す画像中において検出された最も相関値の高い画像領域の位置とに基づいて、撮像画像上における撮像対象の移動速度の算出を行なう。
【００２３】
具体的には、たとえば、Ｘ方向のみの移動速度について着目した場合において、図５（Ａ）に示す画像中において選定された特定領域の画像位置（特定領域の中心位置）をＸ’０とし、図５（Ｂ）に示す画像中において検出された最も相関値の高い画像領域の画像位置（最も相関値の高い画像領域の中心位置）をＸ０とし、画像位置Ｘ０における特定領域の輝度プロファイルに対する相関値をＣ０とする。また、最も相関値の高い画像領域からＸ方向負方向に１画素分ずれた領域の画像位置をＸ０−１、画像位置Ｘ０−１における特定領域の輝度プロファイルに対する相関値をＣ−１、最も相関値の高い画像領域からＸ方向正方向に１画素分ずれた領域の画像位置をＸ０＋１、画像位置Ｘ０＋１における特定領域の輝度プロファイルに対する相関値をＣ＋１とする。そして、撮像対象の画像上の移動速度Ｖ０（単位：画素／フレーム）は、Ｘ’０、Ｘ０、Ｃ０、Ｃ−１、およびＣ＋１を用いて、下記式（１）にしたがって算出することができる。
Ｖ０＝Ｘ０−Ｘ’０＋（Ｃ＋１−Ｃ−１）／２（２Ｃ０−Ｃ＋１−Ｃ−１） ・・・（１）
【００２４】
そして、上記方法にしたがい、図５（Ａ）、図５（Ｂ）に示す場面例においては、図６に示すように、撮像対象としての先行車両の撮像画像上のＸ方向の移動速度を、たとえば、５．４画素／フレームと算出することができる。すなわち、図５（Ａ）、図５（Ｂ）に示す場面例においては、図５（Ａ）に示す画像中の撮像対象としての先行車両は、これに続く図５（Ｂ）に示す画像中において、５．４画素だけＸ方向正方向に移動したと算出することができる。また、上記方法では、Ｘ方向のみの移動速度について着目して説明したが、Ｙ方向についても同様に移動速度を算出し、本実施形態では、Ｘ方向およびＹ方向の移動速度を、撮像対象の移動速度として検出する。
【００２５】
あるいは、撮像画像上における撮像対象の移動速度は、たとえば、輝度勾配法などの公知の画像速度算出法を用いて算出してもよいし、カメラシステム１が搭載される車両の移動速度を用いて算出してもよい。
【００２６】
次に、制御装置１０の読出画素位置変更機能について説明する。制御装置１０は、後述する同期検波処理により、投光装置３０からの照射光に対する撮像対象からの反射光を抽出するために、メモリ４０に記憶された画像信号の読出しを行なう。具体的には、制御装置１０は、後述する同期検波処理を行なうために、投光装置３０によって光が照射された状態で撮像された画像（以下、適宜、「光照射時画像」とする。）の画像信号と、該画像に続いて、投光装置３０によって光が照射されない状態で撮像された画像（以下、適宜、「非照射時画像」とする。）の画像信号とを読み出す。たとえば、図４に示す第３フレームの画像の画像信号と、これに続く第４フレームの画像の画像信号を読み出す。なお、メモリ４０に記憶された画像信号が、光照射時画像の画像信号であるか否かは、画像信号とともに記憶された光照射フラグｆに基づいて、判断することができる。
【００２７】
ここで、光照射時画像と、これに続くフレームにおいて撮像された非照射時画像とにおいて、ある撮像対象に着目すると、撮像対象の移動速度が１画素／フレーム以上である場合には、この撮像対象の画像中における位置は、光照射時画像と、これに続くフレームにおいて撮像された非照射時画像とで１画素以上ずれた位置となってしまうこととなる。たとえば、撮像対象のＸ方向の移動速度が、５画素／フレームである場合には、図７（Ａ）に示すように、光照射時画像においてカメラ２０の撮像素子の画素２０ａ〜２０ｄにより撮像された撮像対象は、図７（Ｂ）に示すように、続くフレームにおいて撮像された非照射時画像においては、画素２０ｆ〜２０ｉでそれぞれ撮像されることとなる。すなわち、このような場合においては、同じ画素同士（たとえば、画素２０ａ同士）の出力を比較しても、撮像対象が異なってしまうため、後述する同期検波処理を良好に行なうことができなくなってしまう。
【００２８】
これに対して、本実施形態では、撮像対象の移動速度の演算を行なった結果、撮像対象の移動速度が、１画素／フレーム以上である場合には、撮像対象の移動速度に応じて、画像信号を読み出す際に画素位置を変更して読み出しを行なう。具体的には、撮像対象のＸ方向の移動速度が５画素／フレームである場合には、光照射時画像の画像信号はそのまま読み出す一方で、続くフレームにおいて撮像された非照射時画像の画像信号を、Ｘ方向に５画素ずらして読み出す。同様に、撮像対象のＸ方向の移動速度が１０画素／フレームである場合には、非照射時画像の画像信号を、Ｘ方向に１０画素ずらして読み出す。
【００２９】
ただし、図５（Ａ）、図５（Ｂ）に示す場面例のように、撮像対象のＸ方向の移動速度が５．４画素／フレームである場合には（図６参照）、非照射時画像の画像信号を、Ｘ方向に５画素ずらして読み出す。すなわち、本実施形態では、画像信号を読み出す際に画素ずらしを行なう際の画素のずらし数は、小数点以下を切り捨てたものとする。あるいは、画素のずらし数を、小数点以下を切り捨てたものとする代わりに、最も近い整数を選択するような態様としてもよい。すなわち、撮像対象のＸ方向の移動速度が５．４画素／フレームである場合には、画素のずらし数を５とし、撮像対象のＸ方向の移動速度が５．６画素／フレームである場合には、画素のずらし数を６としてもよい。なお、この場合においては、撮像対象の移動速度が１画素／フレーム未満である場合でも、撮像対象の移動速度の値が、０よりも１に近いような場合には、画素のずらし数を１とし、画素位置を変更して読み出す処理を行なってもよい。
【００３０】
また、本実施形態では、このような画素位置を変更して読み出す処理は、Ｘ方向だけでなく、同様にしてＹ方向についても行うものとする。
【００３１】
次いで、制御装置１０の信号出力合成機能について説明する。本実施形態の制御装置１０は、上述した画素位置を変更して読み出す処理に加えて、撮像対象の小数点以下の移動量（単位画素未満の移動量）を補正するために、画素位置を変更して読み出した非照射時画像の画像信号に対して、信号出力を合成する処理を行なう。ここで、図５（Ａ）、図５（Ｂ）に示す場面例のように、撮像対象のＸ方向の移動速度が５．４画素／フレームである場合には（図６参照）、画素位置を変更して読み出す処理により、５画素分の移動量に対する補正が可能となるものの、小数点以下の移動量である０．４画素分の補正については行なうことはできず、そのため、このような小数点以下の移動量の影響により、後述する同期検波処理を良好に行なうことができなくなってしまう。
【００３２】
これに対し、本実施形態では、このような小数点以下の移動量を補正するために、画素位置を変更して読み出した非照射時画像の画像信号に対して、信号出力を補正する処理を行なう。以下、図８、図９（Ａ）、図９（Ｂ）、図１０（Ａ）、図１０（Ｂ）を参照して、このような信号出力を合成する処理について説明する。図８は、本実施形態に係る照射光の光量と、撮像対象の反射率と、カメラ２０で撮像される反射光との関係を示すモデル図である。図８に示すように、本実施形態においては、投光装置３０および投光装置３０以外の光源から光量ｉの光が、撮像対象に照射され、撮像対象により反射された反射光をカメラ２０で撮像することにより、撮像画像を得るものである。なお、図８に示すように、撮像対象の反射率をｒとすると、カメラ２０で撮像される反射光の光量はｉ・ｒとなる。
【００３３】
ここで、図９（Ａ）に、光照射時画像を撮像した際における撮像対象と、各撮像画素との関係を示すモデル図を、図９（Ｂ）に、続くフレームにおいて非照射時画像を撮像した際における撮像対象と、各撮像画素との関係を示すモデル図を示す。
【００３４】
図９（Ａ）に示すように、光照射時画像を撮像した際における撮像対象に照射された光（主として、投光装置３０からの光）の光量をｉとすると、カメラ２０の撮像画素Ｐ０は、撮像対象Ｓ０（反射率ｒ０）からの反射光ｉ・ｒ０を受光し、撮像画素Ｐ０により得られる輝度値（出力値）Ｉ０は、Ｉ０＝ｉ・ｒ０となる。また、同様に、撮像画素Ｐ１は、撮像対象Ｓ１（反射率ｒ１）からの反射光ｉ・ｒ１を受光し、撮像画素Ｐ１により得られる輝度値Ｉ１は、Ｉ１＝ｉ・ｒ１となり、さらに、撮像画素Ｐ２は、撮像対象Ｓ２（反射率ｒ２）からの反射光ｉ・ｒ２を受光し、撮像画素Ｐ２により得られる輝度値Ｉ２は、Ｉ２＝ｉ・ｒ２となり、同様に、撮像画素Ｐ３は、撮像対象Ｓ３（反射率ｒ３）からの反射光ｉ・ｒ３を受光し、撮像画素Ｐ３により得られる輝度値Ｉ３は、Ｉ３＝ｉ・ｒ３となる。
【００３５】
その一方で、図９（Ｂ）に示すように、図９（Ａ）に続くフレームにおいて非照射時画像を撮像した際においては、撮像対象に照射された光（主として、投光装置３０以外からの光）の光量をｉ’とした場合に、カメラ２０の撮像画素Ｐ２に着目すると、小数点以下の移動量Δの影響により、撮像対象Ｓ２からの反射光ｉ’・ｒ２の一部に加えて、撮像対象Ｓ１からの反射光ｉ’・ｒ１の一部が入射してしまうこととなる。すなわち、撮像画素Ｐ２で得られる輝度値Ｉ’２は、撮像対象Ｓ２からの反射光ｉ’・ｒ２の一部および撮像対象Ｓ１からの反射光ｉ’・ｒ１の一部に基づくものとなり、図９（Ａ）に示す光照射時画像を撮像したときから比較して、撮像対象がずれてしまうこととなる。具体的には、「撮像対象Ｓ１からの反射光ｉ’・ｒ１」：「撮像対象Ｓ２からの反射光ｉ’・ｒ２」＝Δ：１−Δの比率で、撮像画素Ｐ２に反射光が入射することとなる。たとえば、図５（Ａ）、図５（Ｂ）に示す場面例においては、撮像対象のＸ方向の移動速度が５．４画素／フレームであり（図６参照）、小数点以下の値は０．４であるため、「撮像対象Ｓ１からの反射光ｉ’・ｒ１」：「撮像対象Ｓ２からの反射光ｉ’・ｒ２」＝０．４：０．６の比率で、撮像画素Ｐ２に反射光が入射することとなる。そして、撮像画素Ｐ０，Ｐ１，Ｐ３についても、撮像画素Ｐ２と同様に、小数点以下の移動量Δの影響を受けることとなる。なお、図９（Ｂ）中においては、撮像画素Ｐ０で得られる輝度値をＩ’０とし、撮像画素Ｐ１で得られる輝度値をＩ’１とし、撮像画素Ｐ３で得られる輝度値をＩ’３とした。また、非照射時画像を読み出す際に、上述したように、画像信号を読み出す際に画素位置を変更して読み出す処理を行なった場合には、図９（Ｂ）における撮像画素Ｐ０〜Ｐ３は、図９（Ａ）における撮像画素Ｐ０〜Ｐ３に対応する（画素ずらしを行なった後の）撮像画素である。すなわち、画素のずらし数を５とした場合には、図９（Ｂ）における撮像画素Ｐ０〜Ｐ３は、図９（Ａ）における撮像画素Ｐ０〜Ｐ３よりも、それぞれ５画素ずれた位置にある撮像画素となる。
【００３６】
これに対し、本実施形態では、以下の方法により、このような小数点以下の移動量Δの影響を補正する。すなわち、本実施形態では、図１０（Ａ）、図１０（Ｂ）に示すように、光照射時画像の画像信号の信号出力について、隣り合う２つの画素の輝度値の平均値を算出し、算出した平均値をこれら２つの画素の合成輝度値（合成出力値）とすることにより、少数点以下の移動量Δの影響を補正する。具体的には、図１０（Ａ）に示すように、撮像画素Ｐ０，Ｐ１について、これらの輝度値の平均値（Ｉ０＋Ｉ１）／２を算出し、これを撮像画素Ｐ０，Ｐ１の合成輝度値とし、同様に、撮像画素Ｐ２，Ｐ３について、これらの輝度値の平均値（Ｉ２＋Ｉ３）／２を算出し、これを撮像画素Ｐ２，Ｐ３の合成輝度値とする。さらに、図１０（Ｂ）に示すように、撮像画素Ｐ０，Ｐ１について、これらの輝度値の平均値（Ｉ’０＋Ｉ’１）／２を算出し、これを撮像画素Ｐ０，Ｐ１の合成輝度値とし、同様に、撮像画素Ｐ２，Ｐ３について、これらの輝度値の平均値（Ｉ’２＋Ｉ’３）／２を算出し、これを撮像画素Ｐ２，Ｐ３の合成輝度値とする。
【００３７】
たとえば、撮像画素Ｐ２，Ｐ３に着目すると、図９（Ｂ）に示すように、撮像画素Ｐ２については、対応する撮像対象Ｓ２からの反射光ｉ’・ｒ２に加えて、撮像対象Ｓ２以外の撮像対象Ｓ１からの反射光ｉ’・ｒ１がΔ／１の割合で含まれてしまう。また、同様に、撮像画素Ｐ３についても、対応する撮像対象Ｓ３からの反射光ｉ’・ｒ３に加えて、撮像対象Ｓ３以外の撮像対象Ｓ２からの反射光ｉ’・ｒ２がΔ／１の割合で含まれてしまうこととなる。たとえば、図５（Ａ）、図５（Ｂ）に示す場面例においては、撮像対象のＸ方向の移動速度が５．４画素／フレームであり（図６参照）、小数点以下の値は０．４であるため、撮像画素Ｐ２については、対応する撮像対象Ｓ２以外の撮像対象Ｓ１からの反射光ｉ’・ｒ１が０．４／１の割合で含まれてしまい、同様に、撮像画素Ｐ３についても、対応する撮像対象Ｓ３以外の撮像対象Ｓ２からの反射光ｉ’・ｒ２が０．４／１の割合で含まれてしまうこととなる。
【００３８】
これに対して、上述したように、隣り合う２つの画素の輝度値の平均値をこれら２つの画素の合成輝度値とすることにより、図１０（Ｂ）に示すように、撮像画素Ｐ２，Ｐ３については、対応する撮像対象Ｓ２および撮像対象Ｓ３以外の撮像対象Ｓ１からの反射光ｉ’・ｒ１の割合を、Δ／２に低減することができる。たとえば、図５（Ａ）、図５（Ｂ）に示す場面例においては、撮像対象のＸ方向の移動速度が５．４画素／フレームであり（図６参照）、小数点以下の値は０．４であるため、撮像画素Ｐ２，Ｐ３については、対応する撮像対象Ｓ２および撮像対象Ｓ３以外の撮像対象Ｓ１からの反射光ｉ’・ｒ１の割合を、０．４／２に低減することができる。すなわち、図１０（Ａ）に示す光照射時画像においては、撮像画素Ｐ２，Ｐ３は、対応する撮像対象Ｓ２および撮像対象Ｓ３のみから反射光を受光するものであり、そのため、対応する撮像対象Ｓ２および撮像対象Ｓ３以外の撮像対象Ｓ１からの反射光ｉ’・ｒ１の割合を低減し、これにより小数点以下の移動量Δの影響を低減することができるものである。
【００３９】
そのため、本実施形態では、このように隣り合う２つの画素の輝度値の平均値を算出し、算出した平均値をこれら２つの画素の合成輝度値とすることにより、少数点以下の移動量Δの影響を低減するものである。
【００４０】
なお、図９（Ａ）、図９（Ｂ）、図１０（Ａ）、図１０（Ｂ）および上述した説明では、Ｘ方向における小数点以下の移動量Δを補正する方法について説明したが、本実施形態では、Ｙ方向における小数点以下の移動量についても、同様に補正を行なう。
【００４１】
また、画像信号を読み出す際に画素ずらしを行なう際の画素のずらし数を、小数点以下を切り捨てたものとする代わりに、最も近い整数を選択するような態様とし、たとえば、撮像対象のＸ方向の移動速度が５．６画素／フレームである場合に、画素のずらし数を６とした場合には、小数点以下の移動量Δを０．４として、小数点以下の移動量Δを補正することができる。
【００４２】
次に、制御装置１０の同期検波処理機能について説明する。本実施形態の制御装置１０は、メモリ４０から読み出された光照射時画像の画像信号と、これに続くフレームで撮像された非照射時画像の画像信号とに基づいて、投光装置３０の照射タイミングに同期した同期検波処理を行ない、投光装置３０からの照射光に対する撮像対象からの反射光を抽出する処理を行なう。具体的には、制御装置１０は、光照射時画像の各撮像画素の信号出力と、これに続くフレームで撮像された光照射時画像の各撮像画素の信号出力との差分を、対応する画素ごとに算出し、これにより、投光装置３０からの照射光に対する撮像対象からの反射光を抽出することで、投光装置３０からの照射光に対する撮像対象からの反射光からなる検波処理画像を生成する。これにより、たとえば、図１１（Ａ）に示すような光照射時画像と、図１１（Ｂ）に示すような非照射時画像とから、図１１（Ｃ）に示すような検波処理画像を生成することができる。図１１（Ａ）、図１１（Ｂ）、図１１（Ｃ）に示すように、本実施形態で生成する検波処理画像は、投光装置３０からの照射光に対する撮像対象からの反射光成分を抽出したものであるため、先行車両などの被写体の陰など、太陽光などの投光装置３０からの照射光以外の光の影響を除去したものとすることができる。
【００４３】
なお、本実施形態においては、同期検波処理を行なう際において、上述した制御装置１０の読出画素位置変更機能により、画像信号を読み出す際に画素位置を変更して読み出す処理が行なわれている場合には、画素位置が変更された画像信号を用い、さらに、上述した制御装置１０の信号出力合成機能により、小数点以下の移動量Δの影響を除去するために、信号出力の合成が行なわれている場合には、補正後の信号出力を用いて、同期検波処理を行なう。
【００４４】
そして、このようにして得られた検波処理画像は、たとえば、ＮＴＳＣ方式に準拠した画像信号に変換され、車両に備えられたディスプレイなどに表示されたり、あるいは、対象物までの距離を計測するための距離計測装置などに出力され、距離計測やその他の用途に用いられる。
【００４５】
次いで、本実施形態の動作について、説明する。図１２は、本実施形態に係る同期検波処理を示すフローチャートである。以下に説明する動作は、カメラシステム１の電源がＯＮとされることによって開始される。なお、以下に説明する動作は、制御装置１０により実行される。また、以下においては、図４に示すように、投光装置３０による光の照射パターンを、１フレームおきに照射／非照射を切り替えるパターンとする場合を例示して説明する。
【００４６】
まず、ステップＳ１では、制御装置１０からカメラ２０に露光開始信号が送出され、これによりカメラ２０により露光が開始される。
【００４７】
次いで、ステップＳ２では、制御装置１０により、今回処理時において撮像するフレームが、投光装置３０によって光の照射を行なうフレームであるか否かの判断が行なわれ、投光装置３０によって光の照射を行なうフレームである場合には、ステップＳ３に進む。一方、投光装置３０によって光の照射を行なうフレームでない場合には、ステップＳ６に進む。たとえば、図４に示す例において、今回処理時において撮像するフレームが第１フレームに該当する場合には、ステップＳ３に進み、一方、第２フレームに該当する場合には、ステップＳ６に進む。
【００４８】
ステップＳ３では、制御装置１０から投光装置３０に照射開始信号が送出され、これにより投光装置３０により光の照射が開始され、予め定められた所定の照射時間が経過した後（ステップＳ４＝Ｙｅｓ）、ステップＳ５に進み、制御装置１０から投光装置３０に照射終了信号が送出され、投光装置３０による光の照射が終了する。
【００４９】
次いで、ステップＳ６では、制御装置１０により、ステップＳ１でカメラ２０により露光が開始されてから予め定められた所定の露光時間が経過したか否かの判定が行なわれ、所定の露光時間がしたと判断されると、ステップＳ７に進み、制御装置１０からカメラ２０に露光終了信号が送出され、カメラ２０による露光を終了する。
【００５０】
カメラ２０による露光を終了した後、ステップＳ８に進み、ステップＳ８では、カメラ２０により露光を行なった結果、得られた撮像画像の画像信号を、投光装置３０の光の照射パターンの情報とともに、メモリ４０に記憶させる処理が行なわれる。なお、この際において、ステップＳ３にて投光装置３０により光の照射を行なった場合には、画像信号とともに、光照射フラグｆが併せてメモリ４０に記憶されることとなる。
【００５１】
ステップＳ９では、今回処理時において、上述したステップＳ１〜Ｓ７にて撮像された撮像画像が、投光装置３０により光の照射を行なった光照射時画像であるか、あるいは、投光装置３０により光の照射を行なわなかった非照射時画像であるか否かの判断が行なわれる。光照射時画像であると判断された場合には、ステップＳ１７に進み、一方、非照射時画像であると判断された場合には、ステップＳ１０に進む。
【００５２】
ステップＳ９において、今回処理時において撮像された撮像画像が非照射時画像であると判断された場合には、ステップＳ１０に進み、今回処理時において撮像された非照射時画像と、前回処理時において撮像された光照射時画像とに基づいて、上述した方法にしたがい、撮像対象の画像上の移動速度の算出が行なわれる。
【００５３】
次いで、ステップＳ１１では、上述したステップＳ１０で算出された撮像対象の画像上の移動速度に基づいて、上述した方法にしたがって、今回処理時において撮像された非照射時画像の画像信号を読み出す際における画素のずらし数を算出する処理が行なわれる。たとえば、図６に示すように、撮像対象のＸ方向の移動速度が５．４画素／フレームである場合には、Ｘ方向の画素のずらし数は５とされる。また、Ｙ方向についても同様に画素のずらし数の算出が行なわれる。
【００５４】
次いで、ステップＳ１２では、今回処理時において撮像された非照射時画像の画像信号、および前回処理時において撮像された光照射時画像の画像信号を読み出す処理が行なわれる。なお、ステップＳ１１にて、今回処理時において撮像された非照射時画像の画像信号を読み出す際における画素のずらし数が算出されている場合には、非照射時画像の画像信号を読み出す際には、算出された画素のずらし数に基づいて、画素位置を変更して読み出しを行なう。
【００５５】
ステップＳ１３では、上述したステップＳ１０で算出された撮像対象の画像上の移動速度に基づいて、上述した方法にしたがって、今回処理時において撮像された非照射時画像の画像信号について、小数点以下の移動量Δの影響を除去するために、隣り合う２つの画素の輝度値の平均値を求め、これを合成輝度値として算出することで、信号出力を合成する処理が行なわれる。たとえば、図６に示すように、撮像対象のＸ方向の移動速度が５．４画素／フレームである場合には、０．４画素分の移動量の影響を除去するために信号出力の補正が行なわれる。また、Ｙ方向についても同様に信号出力の補正が行なわれる。
【００５６】
ステップＳ１４では、ステップＳ１２においてメモリ４０から読み出された今回処理時において撮像された非照射時画像の画像信号、および前回処理時において撮像された光照射時画像の画像信号に基づいて、投光装置３０の照射タイミングに同期した同期検波処理を行なうために、同期検波処理の対象とする画素を選択する処理が行なわれる。そして、ステップＳ１５に進み、選択された画素の画像信号に対して、投光装置３０の照射タイミングに同期した同期検波処理を行ない、画素ごとに検波出力の算出を行なう。なお、上述したステップＳ１２において、今回処理時において撮像された非照射時画像の画像信号を読み出す際に画素位置を変更して読み出す処理が行なわれている場合には、非照射時画像として、画素位置が変更された画像信号を用いて、同期検波処理が行なわれる。さらに、上述したステップＳ１３において、小数点以下の移動量Δの影響を除去するために、信号出力を合成する処理が行なわれている場合には、合成処理がされた信号出力を用いて、同期検波処理が行なわれる。
【００５７】
ステップＳ１６では、ステップＳ１５において、全ての画素について、同期検波処理が行なわれたか否かの判定が行なわれる。全ての画素について、同期検波処理が終了していない場合には、ステップＳ１４に戻る。一方、全ての画素について、同期検波処理が終了した場合には、ステップＳ１７に進み、ステップＳ１５にて算出された各画素の検波出力に基づいて、検波処理画像を生成する処理が行なわれる。そして、生成された検波処理画像は、ＮＴＳＣ方式に準拠した画像信号に変換され、車両に備えられたディスプレイなどに表示されたり、あるいは、対象物までの距離を計測するための距離計測装置などに出力される。
【００５８】
そして、ステップＳ１８に進み、制御装置１０により、カメラシステム１の電源をオフとする指令を受信しているか否かの判定が行なわれ、カメラシステム１の電源をオフとする指令を受信していない場合には、ステップＳ１に戻り、ステップＳ１〜Ｓ１７の処理を繰り返し行ない、一方、カメラシステム１の電源をオフとする指令を受信した場合には、カメラシステム１の電源をオフとする処理を行ない、本処理を終了する。
【００５９】
本実施形態においては、光照射時画像の画像信号と、これに続くフレームにおいて撮像された非照射時画像の画像信号とを読み出し、読み出した光照射時画像の画像信号と、これに続くフレームにおいて撮像された非照射時画像の画像信号とに基づいて、同期検波処理を行なって、検波処理画像を生成する際に、撮像対象が撮像画像中を移動することにより検波処理画像中に生じるノイズを、撮像対象の移動速度に応じた補正を行なうものであり、これにより、良好な検波処理画像を得ることができるものである。
【００６０】
特に、本実施形態によれば、撮像対象の移動速度の演算を行なった結果、撮像対象の移動速度が１画素／フレーム以上である場合には、撮像対象の移動速度に応じて、非照射時画像の画像信号を読み出す際における画素位置を変更して読み出すことにより、撮像対象の１画素以上の移動量を補正することができるものである。加えて、本実施形態によれば、撮像対象の移動速度から、撮像対象の小数点以下の移動量（単位画素未満の移動量）を検出し、検出した小数点以下の移動量の影響を補正するために、検出した小数点以下の移動量に応じて、非照射時画像の画像信号の信号出力を補正するものである。具体的には、隣り合う２つの画素の輝度値の平均値を算出し、算出した平均値をこれら２つの画素の合成輝度値とすることにより、少数点以下の移動量Δの影響を補正するものである。そのため、本実施形態によれば、撮像対象の１画素以上の移動量に加えて、小数点以下の移動量、すなわち、１画素未満の移動量を補正することができるものである。そして、本実施形態によれば、撮像対象が撮像画像中を移動することにより検波処理画像中に生じるノイズを有効に低減することができ、これにより、良好な検波処理画像を得ることができるものである。特に、本実施形態によれば、隣り合う２つの画素の輝度値の平均値を算出するという比較的演算負荷の低い方法により、１画素未満の移動量を補正することができ、これにより、良好な検波処理画像を得ることができるものである。
【００６１】
《第２実施形態》
次いで、本発明の第２実施形態について説明する。
第２実施形態に係るカメラシステム１は、図１に示す制御装置１０が、特定画素検出機能をさらに有する以外は、上述の第１実施形態と同様の構成を有し、同様の作用を奏するものである。
【００６２】
まず、制御装置１０の特定画素検出機能について説明する。第２実施形態の制御装置１０は、メモリ４０から読み出された光照射時画像の画像信号と、これに続くフレームで撮像された非照射時画像の画像信号とのそれぞれについて、同期検波処理を行なう前に、輝度値（出力値）の変化の大きい画素を特定画素として検出する。具体的には、制御装置１０は、メモリ４０から読み出された光照射時画像の画像信号と、これに続くフレームで撮像された非照射時画像の画像信号とのそれぞれについて、画素ごとに、該画素の輝度値と、これと隣り合う画素の輝度値との差分を算出し、差分が予め定められた所定値Ｔｈ以上であるか否かの判断を行ない、所定値Ｔｈ以上である画素を特定画素として検出する。
【００６３】
そして、制御装置１０は、特定画素として検出された画素については、同期検波処理を行なわずに、代わりに最も近接する場所に位置する画素に対して実行された同期検波処理により算出された検波出力を用いるものである。あるいは、特定画素として検出された画素については、同期検波処理を行なわずに、近接する画素のうち、同期検波処理が実行された画素で算出された検波出力の平均値を用いるように構成することもできる。
【００６４】
次いで、第２実施形態の動作について説明する。図１３は、第２実施形態に係る同期検波処理を示すフローチャートである。なお、第２実施形態では、図１３に示すステップＳ１０１〜Ｓ１１３においては、上述した第１実施形態のステップＳ１〜Ｓ１３と同様に動作する一方で、ステップＳ１１４以降の動作が上述した第１実施形態と異なるため、以下においては、ステップＳ１１４以降の動作について説明する。
【００６５】
図１３に示すステップＳ１１４では、ステップＳ１１２においてメモリ４０から読み出された今回処理時において撮像された非照射時画像の画像信号、および前回処理時において撮像された光照射時画像の画像信号に基づいて、投光装置３０の照射タイミングに同期した同期検波処理を行なうために、同期検波処理の対象とする画素を選択する処理が行なわれる。そして、ステップＳ１１５に進み、選択された画素の輝度値と、これと隣り合う画素の輝度値との差分を算出し、差分が予め定められた所定値Ｔｈ以上であるか否かの判断を行ない、所定値Ｔｈ以上である画素を特定画素として検出する処理が行われる。その結果、ステップＳ１１４において選択された画素が特定画素に該当しない場合には、ステップＳ１１６に進み、一方、特定画素に該当する場合には、ステップＳ１１７に進む。なお、本実施形態では、今回処理時において撮像された非照射時画像中における選択された画素の輝度値の差分、および前回処理時において撮像された光照射時画像中における選択された画素の輝度値の差分の少なくとも一方が、所定値Ｔｈ以上であった場合に、選択された画素を特定画素として検出する。
【００６６】
ステップＳ１１５において、選択された画素が特定画素に該当しないと判断された場合には、ステップＳ１１６に進み、ステップＳ１１６では、選択された画素の画像信号に対して、投光装置３０の照射タイミングに同期した同期検波処理が行なわれる。なお、ステップＳ１１２において、今回処理時において撮像された非照射時画像の画像信号を読み出す際に画素位置を変更して読み出す処理が行なわれている場合には、非照射時画像として、画素位置が変更された画像信号を用いて、同期検波処理が行なわれる。さらに、ステップＳ１１３において、小数点以下の移動量Δの影響を除去するために、信号出力を合成する処理が行なわれている場合には、合成処理がされた信号出力を用いて、同期検波処理が行なわれる。
【００６７】
一方、ステップＳ１１５において、選択された画素が特定画素に該当しないと判断された場合には、ステップＳ１１７に進み、ステップＳ１１７では、選択された画素については、同期検波処理を行なわずに、代わりに最も近接する場所に位置する画素に対して実行された同期検波処理により算出された検波出力を入力するために、選択された画素が特定画素として記憶させる処理が行なわれる。
【００６８】
ステップＳ１１８では、全ての画素について、特定画素であるか否かの判断（ステップＳ１１５）および同期検波処理の実行（ステップＳ１１６）または特定画素として記憶する処理（ステップＳ１１７）が行なわれたか否かの判定が行なわれる。全ての画素について、これらの処理が終了していない場合には、ステップＳ１１４に戻る。一方、全ての画素について、これらの処理が終了した場合には、ステップＳ１１９に進み、特定画素として検出され、ステップＳ１１７において、記憶された画素について、最も近接する場所に位置する画素に対して実行された同期検波処理により算出された検波出力を入力するための処理を行なった後に、各画素の検波出力に基づいて、検波処理画像を生成する処理が行なわれる。そして、生成された検波処理画像は、ＮＴＳＣ方式に準拠した画像信号に変換され、車両に備えられたディスプレイなどに表示されたり、あるいは、対象物までの距離を計測するための距離計測装置などに出力される。
【００６９】
そして、ステップＳ１２０に進み、制御装置１０により、カメラシステム１の電源をオフとする指令を受信しているか否かの判定が行なわれ、カメラシステム１の電源をオフとする指令を受信していない場合には、ステップＳ１０１に戻り、ステップＳ１０１〜Ｓ１１９の処理を繰り返し行ない、一方、カメラシステム１の電源をオフとする指令を受信した場合には、カメラシステム１の電源をオフとする処理を行ない、本処理を終了する。
【００７０】
第２実施形態によれば、上述した第１実施形態の効果に加えて、次の効果を奏する。
すなわち、第２実施形態によれば、隣り合う画素に対する輝度値の差分が所定値Ｔｈ以上である画素を特定画素として検出し、検出された特定画素については、同期検波処理を行なわないため、たとえば、撮像対象に影等が差し込むことによって、急激に画素出力が変化した場合でも、このような画素出力が変化した画素において、同期検波処理を実行することにより、得られる検波処理画像に大きなノイズが入力されてしまうことを有効に防止することができる。
【００７１】
なお、上述した実施形態において、投光装置３０は本発明の投光手段に、カメラ２０は本発明の撮像手段に、メモリ４０は本発明の記憶手段に、制御装置１０の同期検波処理機能は本発明の同期検波処理手段に、制御装置１０の撮像対象移動速度算出機能は本発明の移動速度算出手段に、制御装置１０の読出画素位置変更機能は本発明の補正手段および読出画素位置変更手段に、制御装置１０の信号出力合成機能は本発明の補正手段および信号出力合成手段に、制御装置１０の特定画素検出機能は本発明の特定画素検出手段に、それぞれ相当する。
【００７２】
以上、本発明の実施形態について説明したが、これらの実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【００７３】
たとえば、上述した実施形態では、制御装置１０の信号出力合成機能により信号出力の合成を行なう際に、２つの画素の合成輝度値を算出し、信号出力を合成する画素の数を２とする例を示したが、隣り合う３つ以上の画素の輝度値の平均値を算出し、算出した平均値をこれら３つ以上の画素の合成輝度値を算出し、信号出力を合成する画素の数を３以上としてもよい。あるいは、少数点以下の移動量Δに応じて、信号出力を合成する画素の数を変更するような構成としてもよく、この場合には、少数点以下の移動量Δが比較的小さい場合には、信号出力を合成する画素の数を２とし、少数点以下の移動量Δが大きくなるほど、信号出力を合成する画素の数を多くしていくような構成とすることができる。
【符号の説明】
【００７４】
１…カメラシステム
１０…制御装置
２０…カメラ
３０…投光装置
４０…メモリ
【特許請求の範囲】
【請求項１】
所定周期で点灯消灯するパルス光を被検物に照射する投光手段と、
前記パルス光が照射される領域を含む領域を繰り返し撮像する撮像手段と、
前記撮像手段で撮像された画像の画像信号を記憶する記憶手段と、
前記記憶手段に記憶された画像信号を読み出して、読み出した画像信号に対して、画素ごとに同期検波処理を行なって、前記投光手段から照射される前記パルス光の点灯消灯のタイミングに同期した検波処理画像を生成する同期検波処理手段と、
前記撮像手段により撮像される撮像画像上における前記被検物の移動速度を算出する移動速度算出手段と、
前記同期検波処理手段により同期検波処理を行ない、前記検波処理画像を生成する際に、前記移動速度算出手段により算出された前記被検物の移動速度に基づいて、前記被検物が撮像画像上を移動することにより前記検波処理画像内に発生するノイズ成分を低減するための補正を行なう補正手段と、を備えることを特徴とするカメラシステム。
【請求項２】
請求項１に記載のカメラシステムにおいて、
前記補正手段は、
前記移動速度算出手段により算出された前記被検物の移動速度に基づいて、前記同期検波処理手段により同期検波処理を行なうために前記記憶手段に記憶された画像信号を読み出す際における、画像信号の読出し画素位置を変更する読出画素位置変更手段と、
前記移動速度算出手段により算出された前記被検物の移動速度に基づいて、前記被検物の前記撮像画像上における単位画素未満の移動量を検出し、単位画素未満の移動量が検出された場合に、前記同期検波処理手段により同期検波処理を行なうために前記記憶手段から読み出された画像信号について、隣接する２以上の画素からの出力を合成することで、該画像信号の信号出力を補正する画素出力合成手段と、を備えることを特徴とするカメラシステム。
【請求項３】
請求項２に記載のカメラシステムにおいて、
前記読出画素位置変更手段は、前記移動速度算出手段により検出された前記被検物の移動速度に基づいて、前記被検物の前記撮影画面上における単位画素以上の移動量を検出し、検出した単位画素以上の移動量に基づいて、画像信号の読出し画素位置を変更することを特徴とするカメラシステム。
【請求項４】
請求項２または３に記載のカメラシステムにおいて、
前記画素出力合成手段は、隣接する２以上の画素の出力の平均値を算出することで、前記画像信号の信号出力を補正することを特徴とするカメラシステム。
【請求項５】
請求項１〜４のいずれかに記載のカメラシステムにおいて、
前記撮像手段で撮像された画像の画像信号について、画素ごとに、該画素の出力値と、隣接する画素の出力値との差分の検出を行い、前記差分が予め定められた所定値以上である画素を特定画素として検出する特定画素検出手段をさらに備え、
前記同期検波処理手段は、前記特定画素検出手段により、前記特定画素として検出された画素については、同期検波処理を行なわないことを特徴とするカメラシステム。
【請求項６】
所定周期で点灯消灯するパルス光を被検物に照射し、前記パルス光が照射される領域を含む領域を繰り返し撮像し、
撮像された画像の画像信号に対して、画素ごとに同期検波処理を行なって、照射される前記パルス光の点灯消灯のタイミングに同期した検波処理画像を生成する画像生成方法において、
同期検波処理を行ない、前記検波処理画像を生成する際に、撮像画像上における前記被検物の移動速度に基づいて、前記被検物が撮像画像上を移動することにより前記検波処理画像内に発生するノイズ成分を低減するための補正を行なうことを特徴とする画像生成方法。
【請求項１】
所定周期で点灯消灯するパルス光を被検物に照射する投光手段と、
前記パルス光が照射される領域を含む領域を繰り返し撮像する撮像手段と、
前記撮像手段で撮像された画像の画像信号を記憶する記憶手段と、
前記記憶手段に記憶された画像信号を読み出して、読み出した画像信号に対して、画素ごとに同期検波処理を行なって、前記投光手段から照射される前記パルス光の点灯消灯のタイミングに同期した検波処理画像を生成する同期検波処理手段と、
前記撮像手段により撮像される撮像画像上における前記被検物の移動速度を算出する移動速度算出手段と、
前記同期検波処理手段により同期検波処理を行ない、前記検波処理画像を生成する際に、前記移動速度算出手段により算出された前記被検物の移動速度に基づいて、前記被検物が撮像画像上を移動することにより前記検波処理画像内に発生するノイズ成分を低減するための補正を行なう補正手段と、を備えることを特徴とするカメラシステム。
【請求項２】
請求項１に記載のカメラシステムにおいて、
前記補正手段は、
前記移動速度算出手段により算出された前記被検物の移動速度に基づいて、前記同期検波処理手段により同期検波処理を行なうために前記記憶手段に記憶された画像信号を読み出す際における、画像信号の読出し画素位置を変更する読出画素位置変更手段と、
前記移動速度算出手段により算出された前記被検物の移動速度に基づいて、前記被検物の前記撮像画像上における単位画素未満の移動量を検出し、単位画素未満の移動量が検出された場合に、前記同期検波処理手段により同期検波処理を行なうために前記記憶手段から読み出された画像信号について、隣接する２以上の画素からの出力を合成することで、該画像信号の信号出力を補正する画素出力合成手段と、を備えることを特徴とするカメラシステム。
【請求項３】
請求項２に記載のカメラシステムにおいて、
前記読出画素位置変更手段は、前記移動速度算出手段により検出された前記被検物の移動速度に基づいて、前記被検物の前記撮影画面上における単位画素以上の移動量を検出し、検出した単位画素以上の移動量に基づいて、画像信号の読出し画素位置を変更することを特徴とするカメラシステム。
【請求項４】
請求項２または３に記載のカメラシステムにおいて、
前記画素出力合成手段は、隣接する２以上の画素の出力の平均値を算出することで、前記画像信号の信号出力を補正することを特徴とするカメラシステム。
【請求項５】
請求項１〜４のいずれかに記載のカメラシステムにおいて、
前記撮像手段で撮像された画像の画像信号について、画素ごとに、該画素の出力値と、隣接する画素の出力値との差分の検出を行い、前記差分が予め定められた所定値以上である画素を特定画素として検出する特定画素検出手段をさらに備え、
前記同期検波処理手段は、前記特定画素検出手段により、前記特定画素として検出された画素については、同期検波処理を行なわないことを特徴とするカメラシステム。
【請求項６】
所定周期で点灯消灯するパルス光を被検物に照射し、前記パルス光が照射される領域を含む領域を繰り返し撮像し、
撮像された画像の画像信号に対して、画素ごとに同期検波処理を行なって、照射される前記パルス光の点灯消灯のタイミングに同期した検波処理画像を生成する画像生成方法において、
同期検波処理を行ない、前記検波処理画像を生成する際に、撮像画像上における前記被検物の移動速度に基づいて、前記被検物が撮像画像上を移動することにより前記検波処理画像内に発生するノイズ成分を低減するための補正を行なうことを特徴とする画像生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−２５３７０５（Ｐ２０１２−２５３７０５Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２６９３１（Ｐ２０１１−１２６９３１）
【出願日】平成２３年６月７日（２０１１．６．７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２０年度、独立行政法人新エネルギー・産業技術総合開発機構、エネルギーＩＴＳ推進事業／協調走行（自動運転）に向けた研究開発委託事業、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月７日（２０１１．６．７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２０年度、独立行政法人新エネルギー・産業技術総合開発機構、エネルギーＩＴＳ推進事業／協調走行（自動運転）に向けた研究開発委託事業、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]