車両用画像処理装置
【課題】画像のダイナミックレンジが大きく、白線等の道路設置物や灯火を確実に検出可能な車両用画像処理装置を提供すること。
【解決手段】第１の撮像手段３と、第２の撮像手段５と、前記第１の撮像手段３及び前記第２の撮像手段５の露出制御を、道路設置物・灯火認識用露出制御と、立体物認識用露出制御との間で切り替える切り替え手段７と、前記第１の撮像手段３及び前記第２の撮像手段５により撮像された画像から前記道路設置物、灯火又は前記立体物を検出する検出手段７と、を備え、前記道路設置物・灯火認識用露出制御において、前記第１の撮像手段３の露出と、前記第２の撮像手段５の露出とが異なることを特徴とする車両用画像処理装置１。
【解決手段】第１の撮像手段３と、第２の撮像手段５と、前記第１の撮像手段３及び前記第２の撮像手段５の露出制御を、道路設置物・灯火認識用露出制御と、立体物認識用露出制御との間で切り替える切り替え手段７と、前記第１の撮像手段３及び前記第２の撮像手段５により撮像された画像から前記道路設置物、灯火又は前記立体物を検出する検出手段７と、を備え、前記道路設置物・灯火認識用露出制御において、前記第１の撮像手段３の露出と、前記第２の撮像手段５の露出とが異なることを特徴とする車両用画像処理装置１。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像を処理して立体物や道路設置物、灯火を検出する車両用画像処理装置に関する。
【背景技術】
【０００２】
カメラにより撮像された車両周囲の画像から立体物や道路設置物（例えばレーン、標識）や灯火（例えば車両のヘッドライト、テールライト）を検出して運転者の車両操作を支援する車両用画像処理装置が知られている（特許文献１参照）。この特許文献１記載の車両用画像処理装置は、ステレオカメラを構成する２つのカメラの露出制御を立体物用露出制御として、立体物を検出するとともに、２つのカメラのうちの一方の露出制御を、白線検出用露出制御として、白線を検出しようとする。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３０６２７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１記載の車両用画像処理装置では、トンネルの出入り口等、明暗の変化が大きい場所では、一方のカメラで撮像した画像から白線をしようとしても、画像のダイナミックレンジが不足し、白線を検出できないことがある。
【０００５】
本発明は以上の点に鑑みなされたものであり、画像のダイナミックレンジが大きく、白線等の道路設置物や灯火を確実に検出可能な車両用画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の車両用画像処理装置は、第１の撮像手段と、第２の撮像手段と、前記第１の撮像手段及び前記第２の撮像手段の露出制御を、道路設置物・灯火認識用露出制御と、立体物認識用露出制御との間で切り替える切り替え手段と、前記第１の撮像手段及び前記第２の撮像手段により撮像された画像から前記道路設置物、灯火又は前記立体物を検出する検出手段と、を備え、前記道路設置物・灯火認識用露出制御において、前記第１の撮像手段の露出と、前記第２の撮像手段の露出とが異なることを特徴とする。
【０００７】
本発明の車両用画像処理装置は、道路設置物や灯火を検出するときは、第１の撮像手段と第２の撮像手段との両方の露出制御を道路設置物・灯火認識用露出制御として、そのときの第１の撮像手段の露出と、第２の撮像手段の露出とが異なる。そのため、第１の撮像手段で撮像した画像と、第２の撮像手段で撮像した画像とは、全体として、一方のみの撮像手段で撮像した画像よりもダイナミックレンジが大きい。
【０００８】
よって、第１の撮像手段で撮像した画像と第２の撮像手段で撮像した画像とを用いて道路設置物や灯火を検出することにより、画像のダイナミックレンジの不足により、道路設置物や灯火を検出できないということが起こり難い。
【０００９】
本発明の車両用画像処理装置が道路設置物・灯火認識用露出制御を実行しているとき、第１の撮像手段と、第２の撮像手段とは、同時に撮像を行うことが好ましい。そうすることにより、撮像するタイミングの違いによって、第１の撮像手段で撮像した画像と、第２の撮像手段で撮像した画像が異なってしまうようなことがない。その結果、道路設置物や灯火を一層精度よく検出できる。
【００１０】
前記道路設置物・灯火認識用露出制御において、第１の撮像手段のダイナミックレンジと、第２の撮像手段のダイナミックレンジとは、少なくとも一部が重複することが好ましい。そうすることにより、中間に検出できない明るさの範囲が生じてしまうようなことがない。
【００１１】
例えば、第１の撮像手段のダイナミックレンジの上限と、第２の撮像手段のダイナミックレンジの下限とを一致させることができる。また、逆に、第１の撮像手段のダイナミックレンジの下限と、第２の撮像手段のダイナミックレンジの上限とを一致させることができる。また、第１の撮像手段のダイナミックレンジと、第２の撮像手段のダイナミックレンジとが一部重複していてもよい。
【００１２】
前記検出手段は、道路設置物・灯火認識用露出制御が実行されているときに第１の撮像手段及び第２の撮像手段で撮像された画像を合成し、その合成された画像から道路設置物や灯火を検出することができる。合成された画像のダイナミックレンジは、合成前の画像（第１の撮像手段又は第２の撮像手段で撮像された画像）のダイナミックレンジより大きいため、この合成された画像を用いることにより、ダイナミックレンジの不足により、道路設置物や灯火を検出できないということが起こり難い。
【００１３】
前記検出手段は、道路設置物・灯火認識用露出制御が実行されているときに第１の撮像手段で撮像された画像と、道路設置物・灯火認識用露出制御が実行されているときに第２の撮像手段で撮像された画像の中から、コントラストが高い画像を選択し、その選択された画像から道路設置物や灯火を検出することができる。こうすることにより、画像のダイナミックレンジの不足により、道路設置物や灯火を検出できないということが起こり難い。
【００１４】
前記道路設置物・灯火認識用露出制御には、露出の条件が異なる２種以上が存在してもよい。道路設置物・灯火認識用露出制御としては、例えば、レーン（白線）検出用、標識検出用、信号検出用、灯火検出用等の露出制御が挙げられる。
【図面の簡単な説明】
【００１５】
【図１】ステレオ画像センサ１の構成を表すブロック図である。
【図２】ステレオ画像センサ１が実行する処理（全体）を表すフローチャートである。
【図３】右カメラ３の露出制御を表すフローチャートである。
【図４】左カメラ５の露出制御を表すフローチャートである。
【図５】露出制御の種類と、右カメラ３、左カメラ５の明るさの推移を表す説明図である。
【図６】ステレオ画像センサ１が実行する処理（全体）を表すフローチャートである。
【図７】ステレオ画像センサ１が実行する処理（全体）を表すフローチャートである。
【図８】右カメラ３の露出制御を表すフローチャートである。
【図９】左カメラ５の露出制御を表すフローチャートである。
【図１０】ステレオ画像センサ１が実行する処理（全体）を表すフローチャートである。
【発明を実施するための形態】
【００１６】
本発明の実施形態を図面に基づいて説明する。
＜第１の実施形態＞
１．ステレオ画像センサ１の構成
ステレオ画像センサ（車両用画像処理装置）１の構成を、図１のブロック図に基づいて説明する。
【００１７】
ステレオ画像センサ１は、車両に搭載される車載装置であって、右カメラ（第１の撮像手段）３、左カメラ（第２の撮像手段）５、及びＣＰＵ（切り替え手段、検出手段）７を備える。右カメラ３、左カメラ５は、それぞれ、ＣＣＤ、ＣＭＯＳ等の光電変換素子（図示略）を備えており、車両前方を撮像することができる。また、右カメラ３、左カメラ５は、露出時間、又は光電変換素子の出力信号におけるゲインを変えることにより、露出を制御することができる。右カメラ３、左カメラ５で撮像した画像は８ｂｉｔデータである。
【００１８】
ＣＰＵ７は、右カメラ３、左カメラ５に対する制御（露出制御を含む）を行う。また、ＣＰＵ７は、右カメラ３、及び左カメラ５で撮像した画像を取得し、その画像から、立体物、道路設置物、灯火を検出する。なお、ＣＰＵ７が実行する処理については後述する。
【００１９】
ＣＰＵ７は、立体物、道路設置物や灯火の検出結果を、ＣＡＮ（車内通信システム）を通じて、車両制御装置９及び警報装置１１に出力する。車両制御装置９は、その出力に基づき、衝突回避、車線維持等の公知の処理を実行する。また、警報装置１１は、ステレオ画像センサ１からの出力に基づき、衝突や車線逸脱の警報を発する。
【００２０】
２．ステレオ画像センサ１が実行する処理
ステレオ画像センサ１（特にＣＰＵ７）が実行する処理を、図２〜図４のフローチャート及び図５の説明図に基づいて説明する。
【００２１】
ステレオ画像センサ１は、図２のフローチャートに示す処理を、３３ｍｓｅｃ毎に繰り返し実行する。
ステップ１０では、右カメラ３、左カメラ５の露出制御を行う。まず、左カメラ５の露出制御を図３のフローチャートに基づいて説明する。ステップ１１０では、最も直近に撮像した画像のフレームＮ０を取得し、そのフレームＮ０を３で割ったときの余り（０、１、２のうちのいずれか）であるＸを算出する。ここで、フレームＮ０とは、左カメラ５が撮像した画像（フレーム）に付される番号である。フレームＮＯは１から始まり、１ずつ増加する。例えば、左カメラ５がｎ回撮像した場合、そのｎ個の画像（フレーム）に付されるフレームＮ０は、１、２、３、４、５・・・ｎとなる。上記Ｘの値は、例えば、最も直近に撮像した画像のフレームＮＯが１、４、７、・・・の場合は１となり、最も直近に撮像した画像のフレームＮＯが２、５、８、・・・の場合は２となり、最も直近に撮像した画像のフレームＮＯが３、６、９、・・・の場合は０となる。
【００２２】
Ｘの値が０の場合はステップ１２０に進み、左カメラ５に対し、立体物用露出制御を設定する。この立体物用露出制御とは、後述する立体物検出処理に適した露出制御である。
一方、Ｘの値が１の場合はステップ１３０に進み、左カメラ５に対し、単眼用露出制御（道路設置物・灯火認識用露出制御の１種）Ａを設定する。この単眼用露出制御Ａは、左カメラ５の露出を、道路上のレーン（白線）を認識するために適した露出とする制御である。また、単眼用露出制御Ａは、その制御における画像の明るさがα×２0で表される。
【００２３】
また、Ｘの値が２の場合はステップ１４０に進み、左カメラ５に対し、単眼用露出制御（道路設置物・灯火認識用露出制御の１種）Ｂを設定する。この単眼用露出制御Ｂは、左カメラ５の露出を、標識を認識するために適した露出とする制御である。また、単眼用露出制御Ｂは、その制御における画像の明るさがβ×２0で表される。このβは、αとは異なる値である。
【００２４】
次に、右カメラ３の露出制御を図４のフローチャートに示す。
ステップ２１０では、最も直近に撮像した画像のフレームＮ０を取得し、そのフレームＮ０を３で割ったときの余り（０、１、２のうちのいずれか）であるＸを算出する。なお、右カメラ３と左カメラ５は常に同時に撮像を行うので、右カメラ３で最も直近に撮像した画像のフレームＮ０と、左カメラ５で最も直近に撮像した画像のフレームＮ０とは同じである。
【００２５】
Ｘの値が０の場合はステップ２２０に進み、右カメラ３に対し、立体物用露出制御を設定する。この立体物用露出制御とは、後述する立体物検出処理に適した露出制御である。
一方、Ｘの値が１の場合はステップ２３０に進み、右カメラ３に対し、単眼用露出制御（道路設置物・灯火認識用露出制御の１種）Ｃを設定する。この単眼用露出制御Ｃは、右カメラ３の露出を、道路上のレーン（白線）を認識するために適した露出とする制御である。また、単眼用露出制御Ｃは、その制御における画像の明るさがα×２8で表され、単眼用露出制御Ａにおける明るさ（α×２0）の２５６倍である。
【００２６】
また、Ｘの値が２の場合はステップ２４０に進み、右カメラ３に対し、単眼用露出制御（道路設置物・灯火認識用露出制御の１種）Ｄを設定する。この単眼用露出制御Ｄは、右カメラ３の露出を、標識を認識するために適した露出とする制御である。また、単眼用露出制御Ｄは、その制御における画像の明るさがβ×２8で表され、単眼用露出制御Ｂにおける明るさ（β×２0）の２５６倍である。
【００２７】
図２に戻り、ステップ２０では、右カメラ３、左カメラ５により車両前方を撮像し、その画像を取得する。なお、右カメラ３、左カメラ５は、同時に撮像を行う。
ステップ３０では、直前の前記ステップ１１０、２１０で算出したＸが、０、１、２のいずれであるかを判断する。Ｘが０である場合はステップ４０に進み、立体物検出処理を実行する。なお、Ｘが０である場合とは、前記ステップ１２０、２２０において、右カメラ３、左カメラ５の露出制御をそれぞれ立体物用露出制御に設定し、その条件で撮像を行った場合である。
【００２８】
立体物検出処理は、ステレオ視の技術によって撮像した画像から立体物を検出する画像処理プログラムによる公知の処理である。立体物検出処理は、左右に配置された右カメラ３、左カメラ５により撮像された一対の画像に相関を求め、同一物体に対する視差に基づいて三角測量の要領でその物体までの距離を算出する。具体的には、右カメラ３、左カメラ５により撮像された一組のステレオ画像から、ＣＰＵ７は、同一の撮像対象物が映っている部分を抽出し、一組のステレオ画像同士でその撮像対象物の同一点を対応づけ、対応づけられた点（対応点）のずれ量（視差）を求めることにより撮像対象物までの距離を算出する。撮像対象物が前方にある場合、右カメラ３による画像と、左カメラ５による画像とを重ね合わせると、撮像対象物が左右横方向にずれる。そして、一方の画像を１画素ずつシフトしながら最も重なり合う位置を求める。このときシフトした画素数をｎとする。レンズの焦点距離をｆ、光軸間処理をｍ、画素ピッチをｄとすると、撮像対象物までの距離Ｌは、Ｌ＝（ｆ・ｍ）／（ｎ・ｄ）という関係式が成立する。この（ｎ・ｄ）が視差である。
【００２９】
ステップ５０では、フレームＮｏを１だけ増加させる。
一方、前記ステップ３０でＸが１であると判断した場合はステップ６０に進む。なお、Ｘが１である場合とは、前記ステップ１３０、２３０において、右カメラ３、左カメラ５の露出制御を単眼用露出制御Ｃ、Ａに設定し、その条件で撮像を行った場合である。
【００３０】
ステップ６０では、右カメラ３で撮像した画像（単眼用露出制御Ｃにおいて撮像した画像）と、左カメラ５で撮像した画像（単眼用露出制御Ａにおいて撮像した画像）とを合成し、合成画像Ｐを作成する。合成画像Ｐは、右カメラ３で撮像した画像における各画素の画素値と、左カメラ５で撮像した画像における各画素の画素値とを、各画素ごとに合計したものである。すなわち、合成画像Ｐの各画素における画素値は、右カメラ３で撮像した画像における、対応する画素の画素値と、左カメラ５で撮像した画像における、対応する画素の画素値との合計値である。
【００３１】
ここで、右カメラ３で撮像した画像と、左カメラ５で撮像した画像とは、それぞれ、８ｂｉｔデータである。そして、右カメラ３で撮像した画像の明るさは、左カメラ５で撮像した画像の明るさの２５６倍である。よって、よって、右カメラ３で撮像した画像の各画素値は、２５６倍した上で合計するものとする。その結果、上記のように合成した合成画像Ｐは１６ｂｉｔデータとなり、そのダイナミックレンジの大きさは、右カメラ３で撮像した画像、又は左カメラ５で撮像した画像に比べて、２５６倍である。
【００３２】
なお、右カメラ３の位置と左カメラ５の位置とは少しずれているので、右カメラ３で撮像した画像と、左カメラ５で撮像した画像との合成は、一方又は両方の画像を補正した上で行う。立体物検出処理（ステレオ処理）により、左右の画像の対応付けがなされているので、ステレオ処理の結果に基づいて補正することができる。この補正は、後述するステップ８０において画像を合成する際にも同様に行われる。
【００３３】
ステップ７０では、前記ステップ６０で合成した合成画像Ｐから、レーン（白線）を検出する処理を実行する。具体的には、合成画像Ｐにおいて、輝度の変化量が所定値以上の点（エッジ点）を検索し、エッジ点の画像（エッジ画像）を作成する。そして、エッジ画像において、エッジ点により形成される領域の形状から、周知のマッチング等の手法により、レーン（白線）を検出する。なお、図２のステップ７０における「単眼アプリ１」は、レーン検出用アプリケーションを意味する。
【００３４】
ステップ７０の終了後、ステップ５０に進み、フレームＮｏを１だけ増加させる。
一方、前記ステップ３０でＸが２であると判断した場合はステップ８０に進む。なお、Ｘが２である場合とは、前記ステップ１４０、２４０において、右カメラ３、左カメラ５の露出制御を単眼用露出制御Ｄ、Ｂに設定し、その条件で撮像を行った場合である。
【００３５】
ステップ８０では、右カメラ３で撮像した画像（単眼用露出制御Ｄにおいて撮像した画像）と、左カメラ５で撮像した画像（単眼用露出制御Ｂにおいて撮像した画像）とを合成し、合成画像Ｑを作成する。合成画像Ｑは、右カメラ３で撮像した画像における各画素の画素値と、左カメラ５で撮像した画像における各画素の画素値とを、各画素ごとに合計したものである。すなわち、合成画像Ｑの各画素における画素値は、右カメラ３で撮像した画像における、対応する画素の画素値と、左カメラ５で撮像した画像における、対応する画素の画素値との合計値である。
【００３６】
ここで、右カメラ３で撮像した画像と、左カメラ５で撮像した画像は、それぞれ、８ｂｉｔデータである。そして、右カメラ３で撮像した画像の明るさは、左カメラ５で撮像した画像の明るさの２５６倍である。よって、右カメラ３で撮像した画像の各画素値は、２５６倍した上で合計するものとする。その結果、上記のように合成した合成画像Ｑは１６ｂｉｔデータとなり、そのダイナミックレンジの大きさは、右カメラ３で撮像した画像、又は左カメラ５で撮像した画像に比べて、２５６倍である。
【００３７】
ステップ９０では、前記ステップ８０で合成した合成画像Ｐから、標識を検出する処理を実行する。具体的には、合成画像Ｑにおいて、輝度の変化量が所定値以上の点（エッジ点）を検索し、エッジ点の画像（エッジ画像）を作成する。そして、エッジ画像において、エッジ点により形成される領域の形状から、周知のマッチング等の手法により、標識を検出する。なお、図２のステップ９０における「単眼アプリ２」は、標識検出用アプリケーションを意味する。
【００３８】
ステップ９０の終了後、ステップ５０に進み、フレームＮｏを１だけ増加させる。
図５に、フレームＮｏが増加するにつれて、露出制御の種類と、右カメラ３、左カメラ５の明るさとが、どのように推移するかを示す。図５において、「明１」、「明２」、「暗１」、「暗２」とは、それぞれ、α×２8、β×２8、α×２0、β×２0である。
【００３９】
３．ステレオ画像センサ１が奏する効果
（１）ステレオ画像センサ１は、右カメラ３で撮像した画像と、左カメラ５で撮像した画像とを合成して、ダイナミックレンジが大きい合成画像Ｐ、合成画像Ｑを作成し、その合成画像Ｐ、合成画像Ｑから、道路設置物（例えばレーン、標識）や灯火（例えば車両のヘッドライト、テールライト等）を検出する。そのため、画像のダイナミックレンジの不足により、道路設置物や灯火を検出できないということが起こり難い。
【００４０】
（２）合成画像Ｐ、合成画像Ｑの合成に用いられる２つの画像は、同時に撮像されたものである。そのため、撮像するタイミングの違いによって、２つの画像が異なってしまうようなことがない。そのことにより、道路設置物や灯火を一層精度よく検出できる。
＜第２の実施形態＞
１．ステレオ画像センサ１の構成
ステレオ画像センサ１の構成は前記第１の実施形態と同様である。
【００４１】
２．ステレオ画像センサ１が実行する処理
ステレオ画像センサ１が実行する処理を、図６のフローチャートに基づいて説明する。
ステレオ画像センサ１は、図６のフローチャートに示す処理を、３３ｍｓｅｃ毎に繰り返し実行する。
【００４２】
ステップ３１０では、右カメラ３、左カメラ５の露出制御を行う。その露出制御は、前記第１の実施形態と同様である。
ステップ３２０では、右カメラ３、左カメラ５により車両前方を撮像し、その画像を取得する。なお、右カメラ３、左カメラ５は、同時に撮像を行う。
【００４３】
ステップ３３０では、最も直近に撮像した画像のフレームＮｏを取得し、そのフレームＮｏを３で割ったときの余りであるＸが、０、１、２のいずれであるかを判断する。Ｘが０である場合はステップ３４０に進み、立体物検出処理を実行する。なお、Ｘが０である場合とは、右カメラ３、左カメラ５の露出制御を立体物用露出制御に設定し、その条件で撮像を行った場合である。立体物検出処理の内容は、前記第１の実施形態と同様である。
【００４４】
ステップ３５０では、フレームＮｏを１だけ増加させる。
一方、前記ステップ３３０でＸが１であると判断した場合はステップ３６０に進む。なお、Ｘが１である場合とは、右カメラ３、左カメラ５の露出制御を、それぞれ、単眼用露出制御Ｃ、Ａに設定し、その条件で撮像を行った場合である。
【００４５】
ステップ３６０では、右カメラ３で撮像した画像（単眼用露出制御Ｃにおいて撮像した画像）と、左カメラ５で撮像した画像（単眼用露出制御Ａにおいて撮像した画像）の中から、よりコントラストが高い画像を選択する。具体的には、以下のように行う。右カメラ３で撮像した画像、及び左カメラ５で撮像した画像のそれぞれにおいて、輝度の変化量が所定値以上の点（エッジ点）を検索し、エッジ点の画像（エッジ画像）を作成する。そして、右カメラ３で撮像した画像のエッジ画像と、左カメラ５で撮像した画像のエッジ画像とを対比し、どちらのエッジ画像にエッジ点が多いかを判断する。右カメラ３で撮像した画像、及び左カメラ５で撮像した画像のうち、エッジ点が多い方を、よりコントラストが高い画像とする。
【００４６】
ステップ３７０では、前記ステップ３６０で選択した画像から、レーン（白線）を検出する処理を実行する。具体的には、選択した画像のエッジ画像において、エッジ点により形成される領域の形状から、周知のマッチング等の手法により、レーン（白線）を検出する。
【００４７】
ステップ３７０の終了後、ステップ３５０に進み、フレームＮｏを１だけ増加させる。
一方、前記ステップ３３０でＸが２であると判断した場合はステップ３８０に進む。なお、Ｘが２である場合とは、右カメラ３、左カメラ５の露出制御を、それぞれ、単眼用露出制御Ｄ、Ｂに設定し、その条件で撮像を行った場合である。
【００４８】
ステップ３８０では、右カメラ３で撮像した画像（単眼用露出制御Ｄにおいて撮像した画像）と、左カメラ５で撮像した画像（単眼用露出制御Ｂにおいて撮像した画像）の中から、よりコントラストが高い画像を選択する。具体的には、以下のように行う。右カメラ３で撮像した画像、及び左カメラ５で撮像した画像のそれぞれにおいて、輝度の変化量が所定値以上の点（エッジ点）を検索し、エッジ点の画像（エッジ画像）を作成する。そして、右カメラ３で撮像した画像のエッジ画像と、左カメラ５で撮像した画像のエッジ画像とを対比し、どちらのエッジ画像にエッジ点が多いかを判断する。右カメラ３で撮像した画像、及び左カメラ５で撮像した画像のうち、エッジ点が多い方を、よりコントラストが高い画像とする。
【００４９】
ステップ３９０では、前記ステップ３８０で選択した画像から、標識を検出する処理を実行する。具体的には、選択した画像のエッジ画像において、エッジ点により形成される領域の形状から、周知のマッチング等の手法により、標識を検出する。
【００５０】
ステップ３９０の終了後、ステップ３５０に進み、フレームＮｏを１だけ増加させる。
３．ステレオ画像センサ１が奏する効果
ステレオ画像センサ１は、右カメラ３で撮像した画像と、左カメラ５で撮像した画像とのうち、よりコントラストが大きい画像（いわゆる白飛びや黒飛びをしていない画像）を選択し、その選択した画像から、道路設置物や灯火を検出する。そのため、画像のダイナミックレンジの不足により、道路設置物や灯火を検出できないということが起こり難い。
＜第３の実施形態＞
１．ステレオ画像センサ１の構成
ステレオ画像センサ１の構成は前記第１の実施形態と同様である。
【００５１】
２．ステレオ画像センサ１が実行する処理
ステレオ画像センサ１が実行する処理を、図７〜図９のフローチャートに基づいて説明する。
【００５２】
ステレオ画像センサ１は、図７のフローチャートに示す処理を、３３ｍｓｅｃ毎に繰り返し実行する。
ステップ４１０では、右カメラ３、左カメラ５の露出制御を行う。まず、左カメラ５の露出制御を図８のフローチャートに基づいて説明する。
【００５３】
ステップ５１０では、最も直近に撮像した画像のフレームＮ０を取得し、そのフレームＮ０を３で割ったときの余り（０、１、２のうちのいずれか）であるＸを算出する。ここで、フレームＮ０の意味は前記第１の実施形態と同様である。
【００５４】
Ｘの値が０の場合はステップ５２０に進み、左カメラ５に対し、立体物用露出制御を設定する。この立体物用露出制御とは、立体物検出処理に適した露出制御である。
一方、Ｘの値が１の場合はステップ５３０に進み、左カメラ５に対し、単眼用露出制御（道路設置物・灯火認識用露出制御の１種）Ｅを設定する。この単眼用露出制御Ｅは、左カメラ５の露出を、道路上のレーン（白線）を認識するために適した露出とする制御である。また、単眼用露出制御Ｅは、その制御における画像の明るさがα×２0で表される。
【００５５】
また、Ｘの値が２の場合はステップ５４０に進み、左カメラ５に対し、単眼用露出制御（道路設置物・灯火認識用露出制御の１種）Ｆを設定する。この単眼用露出制御Ｆは、左カメラ５の露出を、道路上のレーン（白線）を認識するために適した露出とする制御である。また、単眼用露出制御Ｆは、その制御における画像の明るさがα×２16で表され、単眼用露出制御Ｅにおける明るさ（α×２0）の２16倍である。
【００５６】
次に、右カメラ３の露出制御を図９のフローチャートに基づいて説明する。
ステップ６１０では、最も直近に撮像した画像のフレームＮ０を取得し、そのフレームＮ０を３で割ったときの余り（０、１、２のうちのいずれか）であるＸを算出する。なお、右カメラ３と左カメラ５は常に同時に撮像を行うので、右カメラ３で最も直近に撮像した画像のフレームＮ０と、左カメラ５で最も直近に撮像した画像のフレームＮ０とは同じである。
【００５７】
Ｘの値が０の場合はステップ６２０に進み、右カメラ３に対し、立体物用露出制御を設定する。この立体物用露出制御とは、立体物検出処理に適した露出制御である。
一方、Ｘの値が１の場合はステップ６３０に進み、右カメラ３に対し、単眼用露出制御（道路設置物・灯火認識用露出制御の１種）Ｇを設定する。この単眼用露出制御Ｇは、右カメラ３の露出を、道路上のレーン（白線）を認識するために適した露出とする制御である。また、単眼用露出制御Ｇは、その制御における画像の明るさがα×２8で表され、単眼用露出制御Ｅにおける明るさ（α×２0）の２8倍である。
【００５８】
また、Ｘの値が２の場合はステップ６４０に進み、右カメラ３に対し、単眼用露出制御（道路設置物・灯火認識用露出制御の１種）Ｈを設定する。この単眼用露出制御Ｈは、右カメラ３の露出を、道路上のレーン（白線）を認識するために適した露出とする制御である。また、単眼用露出制御Ｈは、その制御における画像の明るさがα×２24で表され、単眼用露出制御Ｅにおける明るさ（α×２0）の２24倍である。
【００５９】
図７に戻り、ステップ４２０では、右カメラ３、左カメラ５により車両前方を撮像し、その画像を取得する。なお、右カメラ３、左カメラ５は、同時に撮像を行う。
ステップ４３０では、直前の前記ステップ５１０、６１０で算出したＸが、０、１、２のいずれであるかを判断する。Ｘが０である場合はステップ４４０に進み、立体物検出処理を実行する。なお、Ｘが０である場合とは、前記ステップ５２０、６２０において、右カメラ３、左カメラ５の露出制御を立体物用露出制御に設定し、その条件で撮像を行った場合である。立体物検出処理の内容は、前記第１の実施形態と同様である。
【００６０】
ステップ４５０では、フレームＮｏを１だけ増加させる。
一方、前記ステップ４３０でＸが１であると判断した場合はステップ４５０に進み、フレームＮｏを１だけ増加させる。
【００６１】
一方、前記ステップ４３０でＸが２であると判断した場合はステップ４６０に進む。なお、Ｘが２である場合とは、前記ステップ５４０、６４０において、右カメラ３、左カメラ５の露出制御を、それぞれ、単眼用露出制御Ｈ、Ｆに設定し、その条件で撮像を行った場合である。
【００６２】
ステップ４６０では、以下の４つの画像を合成し、合成画像Ｒを作成する。
・Ｘが直近に１であったときに、右カメラ３で撮像した画像（単眼用露出制御Ｇにおいて撮像した画像）
・Ｘが直近に１であったときに、左カメラ５で撮像した画像（単眼用露出制御Ｅにおいて撮像した画像）
・Ｘが２であるとき（直前のステップ４２０）に、右カメラ３で撮像した画像（単眼用露出制御Ｈにおいて撮像した画像）
・Ｘが２であるとき（直前のステップ４２０）に、左カメラ５で撮像した画像（単眼用露出制御Ｆにおいて撮像した画像）
合成画像Ｒは、上記４つの画像における各画素の画素値を、各画素ごとに合計したものである。すなわち、合成画像Ｒの各画素における画素値は、上記４つの画像における、対応する各画素の画素値の合計値である。
【００６３】
ここで、上記４つの画像はそれぞれ、８ｂｉｔデータである。そして、単眼用露出制御Ｅにおいて撮像した画像に対し、単眼用露出制御Ｇにおいて撮像した画像の明るさは２8倍であり、単眼用露出制御Ｆにおいて撮像した画像の明るさは２16倍であり、単眼用露出制御Ｈにおいて撮像した画像の明るさは２24倍である。よって、各画素の画素値を合計する際には、それぞれ２8倍、２16倍、２24倍した上で画素値を合計する。また、その結果、合成画像Ｒは３２ｂｉｔのデータとなり、そのダイナミックレンジは、右カメラ３で撮像した画像、又は左カメラ５で撮像した画像に比べて、２24倍である。
【００６４】
ステップ４７０では、前記ステップ４６０で合成した合成画像Ｒから、レーン（白線）を検出する処理を実行する。具体的には、合成画像Ｒにおいて、輝度の変化量が所定値以上の点（エッジ点）を検索し、エッジ点の画像（エッジ画像）を作成する。そして、エッジ画像において、エッジ点により形成される領域の形状から、周知のマッチング等の手法により、レーン（白線）を検出する。
【００６５】
ステップ４７０の終了後、ステップ４５０に進み、フレームＮｏを１だけ増加させる。
３．ステレオ画像センサ１が奏する効果
ステレオ画像センサ１は、右カメラ３で撮像した２つの画像と、左カメラ５で撮像した２つの画像とを合成して、ダイナミックレンジが大きい合成画像Ｒを作成し、その合成画像Ｒから、道路設置物や灯火を検出する。そのため、画像のダイナミックレンジの不足により、道路設置物や灯火を検出できないということが起こり難い。
＜第４の実施形態＞
１．ステレオ画像センサ１の構成
ステレオ画像センサ１の構成は前記第１の実施形態と同様である。
【００６６】
２．ステレオ画像センサ１が実行する処理
ステレオ画像センサ１が実行する処理を、図１０のフローチャートに基づいて説明する。
【００６７】
ステレオ画像センサ１は、図１０のフローチャートに示す処理を、３３ｍｓｅｃ毎に繰り返し実行する。
ステップ７１０では、右カメラ３、左カメラ５の露出制御を行う。その露出制御は前記第３の実施形態と同様である。
【００６８】
ステップ７２０では、右カメラ３、左カメラ５により車両前方を撮像し、その画像を取得する。なお、右カメラ３、左カメラ５は、同時に撮像を行う。
ステップ７３０では、最も直近に撮像した画像のフレームＮｏを取得し、そのフレームＮｏを３で割ったときの余りであるＸが、０、１、２のいずれであるかを判断する。Ｘが０である場合はステップ７４０に進み、立体物検出処理を実行する。立体物検出処理の内容は、前記第１の実施形態と同様である。
【００６９】
ステップ７５０では、フレームＮｏを１だけ増加させる。
一方、前記ステップ７３０でＸが１であると判断した場合はステップ７５０に進み、フレームＮｏを１だけ増加させる。なお、Ｘが１である場合とは、右カメラ３、左カメラ５の露出制御を、それぞれ、単眼用露出制御Ｇ、Ｅに設定し、その条件で撮像を行った場合である。
【００７０】
一方、前記ステップ７３０でＸが２であると判断した場合はステップ７６０に進む。なお、Ｘが２である場合とは、右カメラ３、左カメラ５の露出制御を、それぞれ、単眼用露出制御Ｈ、Ｆに設定し、その条件で撮像を行った場合である。
【００７１】
ステップ７６０では、以下の４つの画像の中から、最もコントラストが高い画像を選択する。
・Ｘが直近に１であったときに、右カメラ３で撮像した画像（単眼用露出制御Ｇにおいて撮像した画像）
・Ｘが直近に１であったときに、左カメラ５で撮像した画像（単眼用露出制御Ｅにおいて撮像した画像）
・Ｘが２であるとき（直前のステップ４２０）に、右カメラ３で撮像した画像（単眼用露出制御Ｈにおいて撮像した画像）
・Ｘが２であるとき（直前のステップ４２０）に、左カメラ５で撮像した画像（単眼用露出制御Ｆにおいて撮像した画像）
最もコントラストが高い画像の選択は、具体的には、以下のように行う。上記４つの画像のそれぞれにおいて、輝度の変化量が所定値以上の点（エッジ点）を検索し、エッジ点の画像（エッジ画像）を作成する。そして、上記４つの画像のエッジ画像を対比し、どのエッジ画像にエッジ点が最も多いかを判断する。上記４つの画像のうち、最もエッジ点が多い画像を、最もコントラストが高い画像として選択する。
【００７２】
ここで、上記４つの画像はそれぞれ、８ｂｉｔデータである。そして、単眼用露出制御Ｅにおいて撮像した画像に対し、単眼用露出制御Ｇにおいて撮像した画像の明るさは２8倍であり、単眼用露出制御Ｆにおいて撮像した画像の明るさは２16倍であり、単眼用露出制御Ｈにおいて撮像した画像の明るさは２24倍である。その結果、上記４つの画像の組み合わせは、右カメラ３で撮像した画像、又は左カメラ５で撮像した画像に比べて、２24倍の大きさのダイナミックレンジをカバーしている。
【００７３】
ステップ７７０では、前記ステップ７６０で選択した画像から、レーン（白線）を検出する処理を実行する。具体的には、前記ステップ７６０で選択した画像において、輝度の変化量が所定値以上の点（エッジ点）を検索し、エッジ点の画像（エッジ画像）を作成する。そして、エッジ画像において、エッジ点により形成される領域の形状から、周知のマッチング等の手法により、レーン（白線）を検出する。
【００７４】
ステップ７７０の終了後、ステップ７５０に進み、フレームＮｏを１だけ増加させる。
３．ステレオ画像センサ１が奏する効果
ステレオ画像センサ１は、右カメラ３で撮像した２つの画像と、左カメラ５で撮像した２つの画像のうち、コントラストが最も大きい画像を選択し、その選択した画像から、道路設置物や灯火を検出する。そのため、画像のダイナミックレンジの不足により、道路設置物や灯火を検出できないということが起こり難い。
【００７５】
尚、本発明は前記実施形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
例えば、前記第２の実施形態における前記ステップ３６０、３７０の処理の代わりに、右カメラ３で撮像した画像（単眼用露出制御Ｃにおいて撮像した画像）から、第１の道路設置物、灯火を検出するとともに、左カメラ５で撮像した画像（単眼用露出制御Ａにおいて撮像した画像）から、第２の道路設置物、灯火を検出してもよい。さらに、前記第２の実施形態における前記ステップ３８０、３９０の処理の代わりに、右カメラ３で撮像した画像（単眼用露出制御Ｄにおいて撮像した画像）から、第３の道路設置物、灯火を検出するとともに、左カメラ５で撮像した画像（単眼用露出制御Ｂにおいて撮像した画像）から、第４の道路設置物、灯火を検出してもよい。第１〜第４の道路設置物、灯火としては、例えば、白線、標識、信号、他の車両の灯火等から任意に設定できる。
【００７６】
前記第１、第３の実施形態において、合成する画像の数は２、４には限定されず、任意の数（例えば、３、５、６、７、８・・・）とすることができる。
前記第２、第４の実施形態において、画像の選択は、２、４以外の数（例えば、３、５、６、７、８・・・）の画像から行うようにしてもよい。
【符号の説明】
【００７７】
１・・・ステレオ画像センサ、３・・・右カメラ、５・・・左カメラ、７・・・ＣＰＵ、
９・・・車両制御装置、１１・・・警報装置
【技術分野】
【０００１】
本発明は、撮像された画像を処理して立体物や道路設置物、灯火を検出する車両用画像処理装置に関する。
【背景技術】
【０００２】
カメラにより撮像された車両周囲の画像から立体物や道路設置物（例えばレーン、標識）や灯火（例えば車両のヘッドライト、テールライト）を検出して運転者の車両操作を支援する車両用画像処理装置が知られている（特許文献１参照）。この特許文献１記載の車両用画像処理装置は、ステレオカメラを構成する２つのカメラの露出制御を立体物用露出制御として、立体物を検出するとともに、２つのカメラのうちの一方の露出制御を、白線検出用露出制御として、白線を検出しようとする。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３０６２７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１記載の車両用画像処理装置では、トンネルの出入り口等、明暗の変化が大きい場所では、一方のカメラで撮像した画像から白線をしようとしても、画像のダイナミックレンジが不足し、白線を検出できないことがある。
【０００５】
本発明は以上の点に鑑みなされたものであり、画像のダイナミックレンジが大きく、白線等の道路設置物や灯火を確実に検出可能な車両用画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の車両用画像処理装置は、第１の撮像手段と、第２の撮像手段と、前記第１の撮像手段及び前記第２の撮像手段の露出制御を、道路設置物・灯火認識用露出制御と、立体物認識用露出制御との間で切り替える切り替え手段と、前記第１の撮像手段及び前記第２の撮像手段により撮像された画像から前記道路設置物、灯火又は前記立体物を検出する検出手段と、を備え、前記道路設置物・灯火認識用露出制御において、前記第１の撮像手段の露出と、前記第２の撮像手段の露出とが異なることを特徴とする。
【０００７】
本発明の車両用画像処理装置は、道路設置物や灯火を検出するときは、第１の撮像手段と第２の撮像手段との両方の露出制御を道路設置物・灯火認識用露出制御として、そのときの第１の撮像手段の露出と、第２の撮像手段の露出とが異なる。そのため、第１の撮像手段で撮像した画像と、第２の撮像手段で撮像した画像とは、全体として、一方のみの撮像手段で撮像した画像よりもダイナミックレンジが大きい。
【０００８】
よって、第１の撮像手段で撮像した画像と第２の撮像手段で撮像した画像とを用いて道路設置物や灯火を検出することにより、画像のダイナミックレンジの不足により、道路設置物や灯火を検出できないということが起こり難い。
【０００９】
本発明の車両用画像処理装置が道路設置物・灯火認識用露出制御を実行しているとき、第１の撮像手段と、第２の撮像手段とは、同時に撮像を行うことが好ましい。そうすることにより、撮像するタイミングの違いによって、第１の撮像手段で撮像した画像と、第２の撮像手段で撮像した画像が異なってしまうようなことがない。その結果、道路設置物や灯火を一層精度よく検出できる。
【００１０】
前記道路設置物・灯火認識用露出制御において、第１の撮像手段のダイナミックレンジと、第２の撮像手段のダイナミックレンジとは、少なくとも一部が重複することが好ましい。そうすることにより、中間に検出できない明るさの範囲が生じてしまうようなことがない。
【００１１】
例えば、第１の撮像手段のダイナミックレンジの上限と、第２の撮像手段のダイナミックレンジの下限とを一致させることができる。また、逆に、第１の撮像手段のダイナミックレンジの下限と、第２の撮像手段のダイナミックレンジの上限とを一致させることができる。また、第１の撮像手段のダイナミックレンジと、第２の撮像手段のダイナミックレンジとが一部重複していてもよい。
【００１２】
前記検出手段は、道路設置物・灯火認識用露出制御が実行されているときに第１の撮像手段及び第２の撮像手段で撮像された画像を合成し、その合成された画像から道路設置物や灯火を検出することができる。合成された画像のダイナミックレンジは、合成前の画像（第１の撮像手段又は第２の撮像手段で撮像された画像）のダイナミックレンジより大きいため、この合成された画像を用いることにより、ダイナミックレンジの不足により、道路設置物や灯火を検出できないということが起こり難い。
【００１３】
前記検出手段は、道路設置物・灯火認識用露出制御が実行されているときに第１の撮像手段で撮像された画像と、道路設置物・灯火認識用露出制御が実行されているときに第２の撮像手段で撮像された画像の中から、コントラストが高い画像を選択し、その選択された画像から道路設置物や灯火を検出することができる。こうすることにより、画像のダイナミックレンジの不足により、道路設置物や灯火を検出できないということが起こり難い。
【００１４】
前記道路設置物・灯火認識用露出制御には、露出の条件が異なる２種以上が存在してもよい。道路設置物・灯火認識用露出制御としては、例えば、レーン（白線）検出用、標識検出用、信号検出用、灯火検出用等の露出制御が挙げられる。
【図面の簡単な説明】
【００１５】
【図１】ステレオ画像センサ１の構成を表すブロック図である。
【図２】ステレオ画像センサ１が実行する処理（全体）を表すフローチャートである。
【図３】右カメラ３の露出制御を表すフローチャートである。
【図４】左カメラ５の露出制御を表すフローチャートである。
【図５】露出制御の種類と、右カメラ３、左カメラ５の明るさの推移を表す説明図である。
【図６】ステレオ画像センサ１が実行する処理（全体）を表すフローチャートである。
【図７】ステレオ画像センサ１が実行する処理（全体）を表すフローチャートである。
【図８】右カメラ３の露出制御を表すフローチャートである。
【図９】左カメラ５の露出制御を表すフローチャートである。
【図１０】ステレオ画像センサ１が実行する処理（全体）を表すフローチャートである。
【発明を実施するための形態】
【００１６】
本発明の実施形態を図面に基づいて説明する。
＜第１の実施形態＞
１．ステレオ画像センサ１の構成
ステレオ画像センサ（車両用画像処理装置）１の構成を、図１のブロック図に基づいて説明する。
【００１７】
ステレオ画像センサ１は、車両に搭載される車載装置であって、右カメラ（第１の撮像手段）３、左カメラ（第２の撮像手段）５、及びＣＰＵ（切り替え手段、検出手段）７を備える。右カメラ３、左カメラ５は、それぞれ、ＣＣＤ、ＣＭＯＳ等の光電変換素子（図示略）を備えており、車両前方を撮像することができる。また、右カメラ３、左カメラ５は、露出時間、又は光電変換素子の出力信号におけるゲインを変えることにより、露出を制御することができる。右カメラ３、左カメラ５で撮像した画像は８ｂｉｔデータである。
【００１８】
ＣＰＵ７は、右カメラ３、左カメラ５に対する制御（露出制御を含む）を行う。また、ＣＰＵ７は、右カメラ３、及び左カメラ５で撮像した画像を取得し、その画像から、立体物、道路設置物、灯火を検出する。なお、ＣＰＵ７が実行する処理については後述する。
【００１９】
ＣＰＵ７は、立体物、道路設置物や灯火の検出結果を、ＣＡＮ（車内通信システム）を通じて、車両制御装置９及び警報装置１１に出力する。車両制御装置９は、その出力に基づき、衝突回避、車線維持等の公知の処理を実行する。また、警報装置１１は、ステレオ画像センサ１からの出力に基づき、衝突や車線逸脱の警報を発する。
【００２０】
２．ステレオ画像センサ１が実行する処理
ステレオ画像センサ１（特にＣＰＵ７）が実行する処理を、図２〜図４のフローチャート及び図５の説明図に基づいて説明する。
【００２１】
ステレオ画像センサ１は、図２のフローチャートに示す処理を、３３ｍｓｅｃ毎に繰り返し実行する。
ステップ１０では、右カメラ３、左カメラ５の露出制御を行う。まず、左カメラ５の露出制御を図３のフローチャートに基づいて説明する。ステップ１１０では、最も直近に撮像した画像のフレームＮ０を取得し、そのフレームＮ０を３で割ったときの余り（０、１、２のうちのいずれか）であるＸを算出する。ここで、フレームＮ０とは、左カメラ５が撮像した画像（フレーム）に付される番号である。フレームＮＯは１から始まり、１ずつ増加する。例えば、左カメラ５がｎ回撮像した場合、そのｎ個の画像（フレーム）に付されるフレームＮ０は、１、２、３、４、５・・・ｎとなる。上記Ｘの値は、例えば、最も直近に撮像した画像のフレームＮＯが１、４、７、・・・の場合は１となり、最も直近に撮像した画像のフレームＮＯが２、５、８、・・・の場合は２となり、最も直近に撮像した画像のフレームＮＯが３、６、９、・・・の場合は０となる。
【００２２】
Ｘの値が０の場合はステップ１２０に進み、左カメラ５に対し、立体物用露出制御を設定する。この立体物用露出制御とは、後述する立体物検出処理に適した露出制御である。
一方、Ｘの値が１の場合はステップ１３０に進み、左カメラ５に対し、単眼用露出制御（道路設置物・灯火認識用露出制御の１種）Ａを設定する。この単眼用露出制御Ａは、左カメラ５の露出を、道路上のレーン（白線）を認識するために適した露出とする制御である。また、単眼用露出制御Ａは、その制御における画像の明るさがα×２0で表される。
【００２３】
また、Ｘの値が２の場合はステップ１４０に進み、左カメラ５に対し、単眼用露出制御（道路設置物・灯火認識用露出制御の１種）Ｂを設定する。この単眼用露出制御Ｂは、左カメラ５の露出を、標識を認識するために適した露出とする制御である。また、単眼用露出制御Ｂは、その制御における画像の明るさがβ×２0で表される。このβは、αとは異なる値である。
【００２４】
次に、右カメラ３の露出制御を図４のフローチャートに示す。
ステップ２１０では、最も直近に撮像した画像のフレームＮ０を取得し、そのフレームＮ０を３で割ったときの余り（０、１、２のうちのいずれか）であるＸを算出する。なお、右カメラ３と左カメラ５は常に同時に撮像を行うので、右カメラ３で最も直近に撮像した画像のフレームＮ０と、左カメラ５で最も直近に撮像した画像のフレームＮ０とは同じである。
【００２５】
Ｘの値が０の場合はステップ２２０に進み、右カメラ３に対し、立体物用露出制御を設定する。この立体物用露出制御とは、後述する立体物検出処理に適した露出制御である。
一方、Ｘの値が１の場合はステップ２３０に進み、右カメラ３に対し、単眼用露出制御（道路設置物・灯火認識用露出制御の１種）Ｃを設定する。この単眼用露出制御Ｃは、右カメラ３の露出を、道路上のレーン（白線）を認識するために適した露出とする制御である。また、単眼用露出制御Ｃは、その制御における画像の明るさがα×２8で表され、単眼用露出制御Ａにおける明るさ（α×２0）の２５６倍である。
【００２６】
また、Ｘの値が２の場合はステップ２４０に進み、右カメラ３に対し、単眼用露出制御（道路設置物・灯火認識用露出制御の１種）Ｄを設定する。この単眼用露出制御Ｄは、右カメラ３の露出を、標識を認識するために適した露出とする制御である。また、単眼用露出制御Ｄは、その制御における画像の明るさがβ×２8で表され、単眼用露出制御Ｂにおける明るさ（β×２0）の２５６倍である。
【００２７】
図２に戻り、ステップ２０では、右カメラ３、左カメラ５により車両前方を撮像し、その画像を取得する。なお、右カメラ３、左カメラ５は、同時に撮像を行う。
ステップ３０では、直前の前記ステップ１１０、２１０で算出したＸが、０、１、２のいずれであるかを判断する。Ｘが０である場合はステップ４０に進み、立体物検出処理を実行する。なお、Ｘが０である場合とは、前記ステップ１２０、２２０において、右カメラ３、左カメラ５の露出制御をそれぞれ立体物用露出制御に設定し、その条件で撮像を行った場合である。
【００２８】
立体物検出処理は、ステレオ視の技術によって撮像した画像から立体物を検出する画像処理プログラムによる公知の処理である。立体物検出処理は、左右に配置された右カメラ３、左カメラ５により撮像された一対の画像に相関を求め、同一物体に対する視差に基づいて三角測量の要領でその物体までの距離を算出する。具体的には、右カメラ３、左カメラ５により撮像された一組のステレオ画像から、ＣＰＵ７は、同一の撮像対象物が映っている部分を抽出し、一組のステレオ画像同士でその撮像対象物の同一点を対応づけ、対応づけられた点（対応点）のずれ量（視差）を求めることにより撮像対象物までの距離を算出する。撮像対象物が前方にある場合、右カメラ３による画像と、左カメラ５による画像とを重ね合わせると、撮像対象物が左右横方向にずれる。そして、一方の画像を１画素ずつシフトしながら最も重なり合う位置を求める。このときシフトした画素数をｎとする。レンズの焦点距離をｆ、光軸間処理をｍ、画素ピッチをｄとすると、撮像対象物までの距離Ｌは、Ｌ＝（ｆ・ｍ）／（ｎ・ｄ）という関係式が成立する。この（ｎ・ｄ）が視差である。
【００２９】
ステップ５０では、フレームＮｏを１だけ増加させる。
一方、前記ステップ３０でＸが１であると判断した場合はステップ６０に進む。なお、Ｘが１である場合とは、前記ステップ１３０、２３０において、右カメラ３、左カメラ５の露出制御を単眼用露出制御Ｃ、Ａに設定し、その条件で撮像を行った場合である。
【００３０】
ステップ６０では、右カメラ３で撮像した画像（単眼用露出制御Ｃにおいて撮像した画像）と、左カメラ５で撮像した画像（単眼用露出制御Ａにおいて撮像した画像）とを合成し、合成画像Ｐを作成する。合成画像Ｐは、右カメラ３で撮像した画像における各画素の画素値と、左カメラ５で撮像した画像における各画素の画素値とを、各画素ごとに合計したものである。すなわち、合成画像Ｐの各画素における画素値は、右カメラ３で撮像した画像における、対応する画素の画素値と、左カメラ５で撮像した画像における、対応する画素の画素値との合計値である。
【００３１】
ここで、右カメラ３で撮像した画像と、左カメラ５で撮像した画像とは、それぞれ、８ｂｉｔデータである。そして、右カメラ３で撮像した画像の明るさは、左カメラ５で撮像した画像の明るさの２５６倍である。よって、よって、右カメラ３で撮像した画像の各画素値は、２５６倍した上で合計するものとする。その結果、上記のように合成した合成画像Ｐは１６ｂｉｔデータとなり、そのダイナミックレンジの大きさは、右カメラ３で撮像した画像、又は左カメラ５で撮像した画像に比べて、２５６倍である。
【００３２】
なお、右カメラ３の位置と左カメラ５の位置とは少しずれているので、右カメラ３で撮像した画像と、左カメラ５で撮像した画像との合成は、一方又は両方の画像を補正した上で行う。立体物検出処理（ステレオ処理）により、左右の画像の対応付けがなされているので、ステレオ処理の結果に基づいて補正することができる。この補正は、後述するステップ８０において画像を合成する際にも同様に行われる。
【００３３】
ステップ７０では、前記ステップ６０で合成した合成画像Ｐから、レーン（白線）を検出する処理を実行する。具体的には、合成画像Ｐにおいて、輝度の変化量が所定値以上の点（エッジ点）を検索し、エッジ点の画像（エッジ画像）を作成する。そして、エッジ画像において、エッジ点により形成される領域の形状から、周知のマッチング等の手法により、レーン（白線）を検出する。なお、図２のステップ７０における「単眼アプリ１」は、レーン検出用アプリケーションを意味する。
【００３４】
ステップ７０の終了後、ステップ５０に進み、フレームＮｏを１だけ増加させる。
一方、前記ステップ３０でＸが２であると判断した場合はステップ８０に進む。なお、Ｘが２である場合とは、前記ステップ１４０、２４０において、右カメラ３、左カメラ５の露出制御を単眼用露出制御Ｄ、Ｂに設定し、その条件で撮像を行った場合である。
【００３５】
ステップ８０では、右カメラ３で撮像した画像（単眼用露出制御Ｄにおいて撮像した画像）と、左カメラ５で撮像した画像（単眼用露出制御Ｂにおいて撮像した画像）とを合成し、合成画像Ｑを作成する。合成画像Ｑは、右カメラ３で撮像した画像における各画素の画素値と、左カメラ５で撮像した画像における各画素の画素値とを、各画素ごとに合計したものである。すなわち、合成画像Ｑの各画素における画素値は、右カメラ３で撮像した画像における、対応する画素の画素値と、左カメラ５で撮像した画像における、対応する画素の画素値との合計値である。
【００３６】
ここで、右カメラ３で撮像した画像と、左カメラ５で撮像した画像は、それぞれ、８ｂｉｔデータである。そして、右カメラ３で撮像した画像の明るさは、左カメラ５で撮像した画像の明るさの２５６倍である。よって、右カメラ３で撮像した画像の各画素値は、２５６倍した上で合計するものとする。その結果、上記のように合成した合成画像Ｑは１６ｂｉｔデータとなり、そのダイナミックレンジの大きさは、右カメラ３で撮像した画像、又は左カメラ５で撮像した画像に比べて、２５６倍である。
【００３７】
ステップ９０では、前記ステップ８０で合成した合成画像Ｐから、標識を検出する処理を実行する。具体的には、合成画像Ｑにおいて、輝度の変化量が所定値以上の点（エッジ点）を検索し、エッジ点の画像（エッジ画像）を作成する。そして、エッジ画像において、エッジ点により形成される領域の形状から、周知のマッチング等の手法により、標識を検出する。なお、図２のステップ９０における「単眼アプリ２」は、標識検出用アプリケーションを意味する。
【００３８】
ステップ９０の終了後、ステップ５０に進み、フレームＮｏを１だけ増加させる。
図５に、フレームＮｏが増加するにつれて、露出制御の種類と、右カメラ３、左カメラ５の明るさとが、どのように推移するかを示す。図５において、「明１」、「明２」、「暗１」、「暗２」とは、それぞれ、α×２8、β×２8、α×２0、β×２0である。
【００３９】
３．ステレオ画像センサ１が奏する効果
（１）ステレオ画像センサ１は、右カメラ３で撮像した画像と、左カメラ５で撮像した画像とを合成して、ダイナミックレンジが大きい合成画像Ｐ、合成画像Ｑを作成し、その合成画像Ｐ、合成画像Ｑから、道路設置物（例えばレーン、標識）や灯火（例えば車両のヘッドライト、テールライト等）を検出する。そのため、画像のダイナミックレンジの不足により、道路設置物や灯火を検出できないということが起こり難い。
【００４０】
（２）合成画像Ｐ、合成画像Ｑの合成に用いられる２つの画像は、同時に撮像されたものである。そのため、撮像するタイミングの違いによって、２つの画像が異なってしまうようなことがない。そのことにより、道路設置物や灯火を一層精度よく検出できる。
＜第２の実施形態＞
１．ステレオ画像センサ１の構成
ステレオ画像センサ１の構成は前記第１の実施形態と同様である。
【００４１】
２．ステレオ画像センサ１が実行する処理
ステレオ画像センサ１が実行する処理を、図６のフローチャートに基づいて説明する。
ステレオ画像センサ１は、図６のフローチャートに示す処理を、３３ｍｓｅｃ毎に繰り返し実行する。
【００４２】
ステップ３１０では、右カメラ３、左カメラ５の露出制御を行う。その露出制御は、前記第１の実施形態と同様である。
ステップ３２０では、右カメラ３、左カメラ５により車両前方を撮像し、その画像を取得する。なお、右カメラ３、左カメラ５は、同時に撮像を行う。
【００４３】
ステップ３３０では、最も直近に撮像した画像のフレームＮｏを取得し、そのフレームＮｏを３で割ったときの余りであるＸが、０、１、２のいずれであるかを判断する。Ｘが０である場合はステップ３４０に進み、立体物検出処理を実行する。なお、Ｘが０である場合とは、右カメラ３、左カメラ５の露出制御を立体物用露出制御に設定し、その条件で撮像を行った場合である。立体物検出処理の内容は、前記第１の実施形態と同様である。
【００４４】
ステップ３５０では、フレームＮｏを１だけ増加させる。
一方、前記ステップ３３０でＸが１であると判断した場合はステップ３６０に進む。なお、Ｘが１である場合とは、右カメラ３、左カメラ５の露出制御を、それぞれ、単眼用露出制御Ｃ、Ａに設定し、その条件で撮像を行った場合である。
【００４５】
ステップ３６０では、右カメラ３で撮像した画像（単眼用露出制御Ｃにおいて撮像した画像）と、左カメラ５で撮像した画像（単眼用露出制御Ａにおいて撮像した画像）の中から、よりコントラストが高い画像を選択する。具体的には、以下のように行う。右カメラ３で撮像した画像、及び左カメラ５で撮像した画像のそれぞれにおいて、輝度の変化量が所定値以上の点（エッジ点）を検索し、エッジ点の画像（エッジ画像）を作成する。そして、右カメラ３で撮像した画像のエッジ画像と、左カメラ５で撮像した画像のエッジ画像とを対比し、どちらのエッジ画像にエッジ点が多いかを判断する。右カメラ３で撮像した画像、及び左カメラ５で撮像した画像のうち、エッジ点が多い方を、よりコントラストが高い画像とする。
【００４６】
ステップ３７０では、前記ステップ３６０で選択した画像から、レーン（白線）を検出する処理を実行する。具体的には、選択した画像のエッジ画像において、エッジ点により形成される領域の形状から、周知のマッチング等の手法により、レーン（白線）を検出する。
【００４７】
ステップ３７０の終了後、ステップ３５０に進み、フレームＮｏを１だけ増加させる。
一方、前記ステップ３３０でＸが２であると判断した場合はステップ３８０に進む。なお、Ｘが２である場合とは、右カメラ３、左カメラ５の露出制御を、それぞれ、単眼用露出制御Ｄ、Ｂに設定し、その条件で撮像を行った場合である。
【００４８】
ステップ３８０では、右カメラ３で撮像した画像（単眼用露出制御Ｄにおいて撮像した画像）と、左カメラ５で撮像した画像（単眼用露出制御Ｂにおいて撮像した画像）の中から、よりコントラストが高い画像を選択する。具体的には、以下のように行う。右カメラ３で撮像した画像、及び左カメラ５で撮像した画像のそれぞれにおいて、輝度の変化量が所定値以上の点（エッジ点）を検索し、エッジ点の画像（エッジ画像）を作成する。そして、右カメラ３で撮像した画像のエッジ画像と、左カメラ５で撮像した画像のエッジ画像とを対比し、どちらのエッジ画像にエッジ点が多いかを判断する。右カメラ３で撮像した画像、及び左カメラ５で撮像した画像のうち、エッジ点が多い方を、よりコントラストが高い画像とする。
【００４９】
ステップ３９０では、前記ステップ３８０で選択した画像から、標識を検出する処理を実行する。具体的には、選択した画像のエッジ画像において、エッジ点により形成される領域の形状から、周知のマッチング等の手法により、標識を検出する。
【００５０】
ステップ３９０の終了後、ステップ３５０に進み、フレームＮｏを１だけ増加させる。
３．ステレオ画像センサ１が奏する効果
ステレオ画像センサ１は、右カメラ３で撮像した画像と、左カメラ５で撮像した画像とのうち、よりコントラストが大きい画像（いわゆる白飛びや黒飛びをしていない画像）を選択し、その選択した画像から、道路設置物や灯火を検出する。そのため、画像のダイナミックレンジの不足により、道路設置物や灯火を検出できないということが起こり難い。
＜第３の実施形態＞
１．ステレオ画像センサ１の構成
ステレオ画像センサ１の構成は前記第１の実施形態と同様である。
【００５１】
２．ステレオ画像センサ１が実行する処理
ステレオ画像センサ１が実行する処理を、図７〜図９のフローチャートに基づいて説明する。
【００５２】
ステレオ画像センサ１は、図７のフローチャートに示す処理を、３３ｍｓｅｃ毎に繰り返し実行する。
ステップ４１０では、右カメラ３、左カメラ５の露出制御を行う。まず、左カメラ５の露出制御を図８のフローチャートに基づいて説明する。
【００５３】
ステップ５１０では、最も直近に撮像した画像のフレームＮ０を取得し、そのフレームＮ０を３で割ったときの余り（０、１、２のうちのいずれか）であるＸを算出する。ここで、フレームＮ０の意味は前記第１の実施形態と同様である。
【００５４】
Ｘの値が０の場合はステップ５２０に進み、左カメラ５に対し、立体物用露出制御を設定する。この立体物用露出制御とは、立体物検出処理に適した露出制御である。
一方、Ｘの値が１の場合はステップ５３０に進み、左カメラ５に対し、単眼用露出制御（道路設置物・灯火認識用露出制御の１種）Ｅを設定する。この単眼用露出制御Ｅは、左カメラ５の露出を、道路上のレーン（白線）を認識するために適した露出とする制御である。また、単眼用露出制御Ｅは、その制御における画像の明るさがα×２0で表される。
【００５５】
また、Ｘの値が２の場合はステップ５４０に進み、左カメラ５に対し、単眼用露出制御（道路設置物・灯火認識用露出制御の１種）Ｆを設定する。この単眼用露出制御Ｆは、左カメラ５の露出を、道路上のレーン（白線）を認識するために適した露出とする制御である。また、単眼用露出制御Ｆは、その制御における画像の明るさがα×２16で表され、単眼用露出制御Ｅにおける明るさ（α×２0）の２16倍である。
【００５６】
次に、右カメラ３の露出制御を図９のフローチャートに基づいて説明する。
ステップ６１０では、最も直近に撮像した画像のフレームＮ０を取得し、そのフレームＮ０を３で割ったときの余り（０、１、２のうちのいずれか）であるＸを算出する。なお、右カメラ３と左カメラ５は常に同時に撮像を行うので、右カメラ３で最も直近に撮像した画像のフレームＮ０と、左カメラ５で最も直近に撮像した画像のフレームＮ０とは同じである。
【００５７】
Ｘの値が０の場合はステップ６２０に進み、右カメラ３に対し、立体物用露出制御を設定する。この立体物用露出制御とは、立体物検出処理に適した露出制御である。
一方、Ｘの値が１の場合はステップ６３０に進み、右カメラ３に対し、単眼用露出制御（道路設置物・灯火認識用露出制御の１種）Ｇを設定する。この単眼用露出制御Ｇは、右カメラ３の露出を、道路上のレーン（白線）を認識するために適した露出とする制御である。また、単眼用露出制御Ｇは、その制御における画像の明るさがα×２8で表され、単眼用露出制御Ｅにおける明るさ（α×２0）の２8倍である。
【００５８】
また、Ｘの値が２の場合はステップ６４０に進み、右カメラ３に対し、単眼用露出制御（道路設置物・灯火認識用露出制御の１種）Ｈを設定する。この単眼用露出制御Ｈは、右カメラ３の露出を、道路上のレーン（白線）を認識するために適した露出とする制御である。また、単眼用露出制御Ｈは、その制御における画像の明るさがα×２24で表され、単眼用露出制御Ｅにおける明るさ（α×２0）の２24倍である。
【００５９】
図７に戻り、ステップ４２０では、右カメラ３、左カメラ５により車両前方を撮像し、その画像を取得する。なお、右カメラ３、左カメラ５は、同時に撮像を行う。
ステップ４３０では、直前の前記ステップ５１０、６１０で算出したＸが、０、１、２のいずれであるかを判断する。Ｘが０である場合はステップ４４０に進み、立体物検出処理を実行する。なお、Ｘが０である場合とは、前記ステップ５２０、６２０において、右カメラ３、左カメラ５の露出制御を立体物用露出制御に設定し、その条件で撮像を行った場合である。立体物検出処理の内容は、前記第１の実施形態と同様である。
【００６０】
ステップ４５０では、フレームＮｏを１だけ増加させる。
一方、前記ステップ４３０でＸが１であると判断した場合はステップ４５０に進み、フレームＮｏを１だけ増加させる。
【００６１】
一方、前記ステップ４３０でＸが２であると判断した場合はステップ４６０に進む。なお、Ｘが２である場合とは、前記ステップ５４０、６４０において、右カメラ３、左カメラ５の露出制御を、それぞれ、単眼用露出制御Ｈ、Ｆに設定し、その条件で撮像を行った場合である。
【００６２】
ステップ４６０では、以下の４つの画像を合成し、合成画像Ｒを作成する。
・Ｘが直近に１であったときに、右カメラ３で撮像した画像（単眼用露出制御Ｇにおいて撮像した画像）
・Ｘが直近に１であったときに、左カメラ５で撮像した画像（単眼用露出制御Ｅにおいて撮像した画像）
・Ｘが２であるとき（直前のステップ４２０）に、右カメラ３で撮像した画像（単眼用露出制御Ｈにおいて撮像した画像）
・Ｘが２であるとき（直前のステップ４２０）に、左カメラ５で撮像した画像（単眼用露出制御Ｆにおいて撮像した画像）
合成画像Ｒは、上記４つの画像における各画素の画素値を、各画素ごとに合計したものである。すなわち、合成画像Ｒの各画素における画素値は、上記４つの画像における、対応する各画素の画素値の合計値である。
【００６３】
ここで、上記４つの画像はそれぞれ、８ｂｉｔデータである。そして、単眼用露出制御Ｅにおいて撮像した画像に対し、単眼用露出制御Ｇにおいて撮像した画像の明るさは２8倍であり、単眼用露出制御Ｆにおいて撮像した画像の明るさは２16倍であり、単眼用露出制御Ｈにおいて撮像した画像の明るさは２24倍である。よって、各画素の画素値を合計する際には、それぞれ２8倍、２16倍、２24倍した上で画素値を合計する。また、その結果、合成画像Ｒは３２ｂｉｔのデータとなり、そのダイナミックレンジは、右カメラ３で撮像した画像、又は左カメラ５で撮像した画像に比べて、２24倍である。
【００６４】
ステップ４７０では、前記ステップ４６０で合成した合成画像Ｒから、レーン（白線）を検出する処理を実行する。具体的には、合成画像Ｒにおいて、輝度の変化量が所定値以上の点（エッジ点）を検索し、エッジ点の画像（エッジ画像）を作成する。そして、エッジ画像において、エッジ点により形成される領域の形状から、周知のマッチング等の手法により、レーン（白線）を検出する。
【００６５】
ステップ４７０の終了後、ステップ４５０に進み、フレームＮｏを１だけ増加させる。
３．ステレオ画像センサ１が奏する効果
ステレオ画像センサ１は、右カメラ３で撮像した２つの画像と、左カメラ５で撮像した２つの画像とを合成して、ダイナミックレンジが大きい合成画像Ｒを作成し、その合成画像Ｒから、道路設置物や灯火を検出する。そのため、画像のダイナミックレンジの不足により、道路設置物や灯火を検出できないということが起こり難い。
＜第４の実施形態＞
１．ステレオ画像センサ１の構成
ステレオ画像センサ１の構成は前記第１の実施形態と同様である。
【００６６】
２．ステレオ画像センサ１が実行する処理
ステレオ画像センサ１が実行する処理を、図１０のフローチャートに基づいて説明する。
【００６７】
ステレオ画像センサ１は、図１０のフローチャートに示す処理を、３３ｍｓｅｃ毎に繰り返し実行する。
ステップ７１０では、右カメラ３、左カメラ５の露出制御を行う。その露出制御は前記第３の実施形態と同様である。
【００６８】
ステップ７２０では、右カメラ３、左カメラ５により車両前方を撮像し、その画像を取得する。なお、右カメラ３、左カメラ５は、同時に撮像を行う。
ステップ７３０では、最も直近に撮像した画像のフレームＮｏを取得し、そのフレームＮｏを３で割ったときの余りであるＸが、０、１、２のいずれであるかを判断する。Ｘが０である場合はステップ７４０に進み、立体物検出処理を実行する。立体物検出処理の内容は、前記第１の実施形態と同様である。
【００６９】
ステップ７５０では、フレームＮｏを１だけ増加させる。
一方、前記ステップ７３０でＸが１であると判断した場合はステップ７５０に進み、フレームＮｏを１だけ増加させる。なお、Ｘが１である場合とは、右カメラ３、左カメラ５の露出制御を、それぞれ、単眼用露出制御Ｇ、Ｅに設定し、その条件で撮像を行った場合である。
【００７０】
一方、前記ステップ７３０でＸが２であると判断した場合はステップ７６０に進む。なお、Ｘが２である場合とは、右カメラ３、左カメラ５の露出制御を、それぞれ、単眼用露出制御Ｈ、Ｆに設定し、その条件で撮像を行った場合である。
【００７１】
ステップ７６０では、以下の４つの画像の中から、最もコントラストが高い画像を選択する。
・Ｘが直近に１であったときに、右カメラ３で撮像した画像（単眼用露出制御Ｇにおいて撮像した画像）
・Ｘが直近に１であったときに、左カメラ５で撮像した画像（単眼用露出制御Ｅにおいて撮像した画像）
・Ｘが２であるとき（直前のステップ４２０）に、右カメラ３で撮像した画像（単眼用露出制御Ｈにおいて撮像した画像）
・Ｘが２であるとき（直前のステップ４２０）に、左カメラ５で撮像した画像（単眼用露出制御Ｆにおいて撮像した画像）
最もコントラストが高い画像の選択は、具体的には、以下のように行う。上記４つの画像のそれぞれにおいて、輝度の変化量が所定値以上の点（エッジ点）を検索し、エッジ点の画像（エッジ画像）を作成する。そして、上記４つの画像のエッジ画像を対比し、どのエッジ画像にエッジ点が最も多いかを判断する。上記４つの画像のうち、最もエッジ点が多い画像を、最もコントラストが高い画像として選択する。
【００７２】
ここで、上記４つの画像はそれぞれ、８ｂｉｔデータである。そして、単眼用露出制御Ｅにおいて撮像した画像に対し、単眼用露出制御Ｇにおいて撮像した画像の明るさは２8倍であり、単眼用露出制御Ｆにおいて撮像した画像の明るさは２16倍であり、単眼用露出制御Ｈにおいて撮像した画像の明るさは２24倍である。その結果、上記４つの画像の組み合わせは、右カメラ３で撮像した画像、又は左カメラ５で撮像した画像に比べて、２24倍の大きさのダイナミックレンジをカバーしている。
【００７３】
ステップ７７０では、前記ステップ７６０で選択した画像から、レーン（白線）を検出する処理を実行する。具体的には、前記ステップ７６０で選択した画像において、輝度の変化量が所定値以上の点（エッジ点）を検索し、エッジ点の画像（エッジ画像）を作成する。そして、エッジ画像において、エッジ点により形成される領域の形状から、周知のマッチング等の手法により、レーン（白線）を検出する。
【００７４】
ステップ７７０の終了後、ステップ７５０に進み、フレームＮｏを１だけ増加させる。
３．ステレオ画像センサ１が奏する効果
ステレオ画像センサ１は、右カメラ３で撮像した２つの画像と、左カメラ５で撮像した２つの画像のうち、コントラストが最も大きい画像を選択し、その選択した画像から、道路設置物や灯火を検出する。そのため、画像のダイナミックレンジの不足により、道路設置物や灯火を検出できないということが起こり難い。
【００７５】
尚、本発明は前記実施形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
例えば、前記第２の実施形態における前記ステップ３６０、３７０の処理の代わりに、右カメラ３で撮像した画像（単眼用露出制御Ｃにおいて撮像した画像）から、第１の道路設置物、灯火を検出するとともに、左カメラ５で撮像した画像（単眼用露出制御Ａにおいて撮像した画像）から、第２の道路設置物、灯火を検出してもよい。さらに、前記第２の実施形態における前記ステップ３８０、３９０の処理の代わりに、右カメラ３で撮像した画像（単眼用露出制御Ｄにおいて撮像した画像）から、第３の道路設置物、灯火を検出するとともに、左カメラ５で撮像した画像（単眼用露出制御Ｂにおいて撮像した画像）から、第４の道路設置物、灯火を検出してもよい。第１〜第４の道路設置物、灯火としては、例えば、白線、標識、信号、他の車両の灯火等から任意に設定できる。
【００７６】
前記第１、第３の実施形態において、合成する画像の数は２、４には限定されず、任意の数（例えば、３、５、６、７、８・・・）とすることができる。
前記第２、第４の実施形態において、画像の選択は、２、４以外の数（例えば、３、５、６、７、８・・・）の画像から行うようにしてもよい。
【符号の説明】
【００７７】
１・・・ステレオ画像センサ、３・・・右カメラ、５・・・左カメラ、７・・・ＣＰＵ、
９・・・車両制御装置、１１・・・警報装置
【特許請求の範囲】
【請求項１】
第１の撮像手段と、
第２の撮像手段と、
前記第１の撮像手段及び前記第２の撮像手段の露出制御を、道路設置物・灯火認識用露出制御と、立体物認識用露出制御との間で切り替える切り替え手段と、
前記第１の撮像手段及び前記第２の撮像手段により撮像された画像から前記道路設置物、灯火又は前記立体物を検出する検出手段と、
を備え、
前記道路設置物・灯火認識用露出制御において、前記第１の撮像手段の露出と、前記第２の撮像手段の露出とが異なることを特徴とする車両用画像処理装置。
【請求項２】
前記道路設置物・灯火認識用露出制御が実行されているとき、前記第１の撮像手段と、前記第２の撮像手段とは、同時に撮像を行うことを特徴とする請求項１記載の車両用画像処理装置。
【請求項３】
前記道路設置物・灯火認識用露出制御における、前記第１の撮像手段のダイナミックレンジと、前記第２の撮像手段のダイナミックレンジとは、少なくとも一部が重複することを特徴とする請求項１又は２記載の車両用画像処理装置。
【請求項４】
前記検出手段は、前記道路設置物・灯火認識用露出制御が実行されているときに前記第１の撮像手段及び前記第２の撮像手段で撮像された画像を合成し、その合成された画像から前記道路設置物、又は灯火を検出することを特徴とする請求項１〜３のいずれか１項記載の車両用画像処理装置。
【請求項５】
前記検出手段は、前記道路設置物・灯火認識用露出制御が実行されているときに前記第１の撮像手段で撮像された画像と、前記道路設置物・灯火認識用露出制御が実行されているときに前記第２の撮像手段で撮像された画像の中から、よりコントラストが高い画像を選択し、その選択された画像から前記道路設置物、又は灯火を検出することを特徴とする請求項１〜３のいずれか１項記載の車両用画像処理装置。
【請求項６】
前記道路設置物・灯火認識用露出制御には、露出の条件が異なる２種以上が存在することを特徴とする請求項１〜５のいずれか１項記載の車両用画像処理装置。
【請求項１】
第１の撮像手段と、
第２の撮像手段と、
前記第１の撮像手段及び前記第２の撮像手段の露出制御を、道路設置物・灯火認識用露出制御と、立体物認識用露出制御との間で切り替える切り替え手段と、
前記第１の撮像手段及び前記第２の撮像手段により撮像された画像から前記道路設置物、灯火又は前記立体物を検出する検出手段と、
を備え、
前記道路設置物・灯火認識用露出制御において、前記第１の撮像手段の露出と、前記第２の撮像手段の露出とが異なることを特徴とする車両用画像処理装置。
【請求項２】
前記道路設置物・灯火認識用露出制御が実行されているとき、前記第１の撮像手段と、前記第２の撮像手段とは、同時に撮像を行うことを特徴とする請求項１記載の車両用画像処理装置。
【請求項３】
前記道路設置物・灯火認識用露出制御における、前記第１の撮像手段のダイナミックレンジと、前記第２の撮像手段のダイナミックレンジとは、少なくとも一部が重複することを特徴とする請求項１又は２記載の車両用画像処理装置。
【請求項４】
前記検出手段は、前記道路設置物・灯火認識用露出制御が実行されているときに前記第１の撮像手段及び前記第２の撮像手段で撮像された画像を合成し、その合成された画像から前記道路設置物、又は灯火を検出することを特徴とする請求項１〜３のいずれか１項記載の車両用画像処理装置。
【請求項５】
前記検出手段は、前記道路設置物・灯火認識用露出制御が実行されているときに前記第１の撮像手段で撮像された画像と、前記道路設置物・灯火認識用露出制御が実行されているときに前記第２の撮像手段で撮像された画像の中から、よりコントラストが高い画像を選択し、その選択された画像から前記道路設置物、又は灯火を検出することを特徴とする請求項１〜３のいずれか１項記載の車両用画像処理装置。
【請求項６】
前記道路設置物・灯火認識用露出制御には、露出の条件が異なる２種以上が存在することを特徴とする請求項１〜５のいずれか１項記載の車両用画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−２２１１０３（Ｐ２０１２−２２１１０３Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８４５６５（Ｐ２０１１−８４５６５）
【出願日】平成２３年４月６日（２０１１．４．６）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月６日（２０１１．４．６）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]