車外環境認識装置および車外環境認識方法
【課題】発光源が点灯したときの絶対的な輝度を利用して、発光源の点灯有無を高精度に判断する。
【解決手段】車外環境認識装置は、車外環境の明るさに応じた第１露光態様で第１画像を取得すると共に、発光源が自発光しているか否かを判別可能な、露光時間が第１露光態様と異なる第２露光態様で第２画像を取得し、第１画像に基づき検出領域内で先行する車両が占有する車両領域を特定し、第２画像の輝度に基づいて発光源の位置を特定し、車両領域と発光源の位置とを対応付ける（Ｓ３１６）。
【解決手段】車外環境認識装置は、車外環境の明るさに応じた第１露光態様で第１画像を取得すると共に、発光源が自発光しているか否かを判別可能な、露光時間が第１露光態様と異なる第２露光態様で第２画像を取得し、第１画像に基づき検出領域内で先行する車両が占有する車両領域を特定し、第２画像の輝度に基づいて発光源の位置を特定し、車両領域と発光源の位置とを対応付ける（Ｓ３１６）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両外の環境を認識する車外環境認識装置および車外環境認識方法に関する。
【背景技術】
【０００２】
従来、自車両の前方に位置する車両や障害物等の対象物を特定し、特定した対象物との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。こうした技術の多くは、先行車両を追跡して位置情報を更新し、先行車両の移動速度等を計算するように構成されており、この結果が例えばブレーキ（制動）コントロールやクルーズコントロールなどに用いられる。
【０００３】
しかしながら、先行車両の挙動を単に計算するだけではクルーズコントロールを円滑に遂行することは難しい。そこで、例えば、人間のように、先行車両のブレーキランプの点灯有無等を視認し、先行車両の減速動作を推測するといった処理を組み込むことで、より円滑なクルーズコントロールが可能となる。
【０００４】
このような先行車両のブレーキランプの点灯有無を検出する技術として、先行車両の加減速に基づきブレーキランプとテールランプとを区別する技術がある（例えば、特許文献２）。また、テールランプ検出領域の輝度変化または面積変化に基づいてブレーキランプの点灯を検出し、先行車両の減速状態を判断する技術（例えば、特許文献３）や、赤色領域における明度のヒストグラム分布を用い、標準偏差等を通じてブレーキランプの点灯を判断する技術（例えば、特許文献４）も開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３３４９０６０号
【特許文献２】特開２００５−１４２５号公報
【特許文献３】特許第３８７２１７９号
【特許文献４】特開平９−２６７６８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した特許文献２の技術では、先行車両の加減速に基づいてブレーキランプを区別しているが、減速の原因が必ずしもブレーキ動作にあるとは限らない。また、ブレーキ動作を行ってから車両が実際に減速するまでには時間を要するので、ブレーキ動作の判定が実際のブレーキランプの点灯時点より遅れる結果を招いていた。また、特許文献３の技術では、夜間でなければテールランプが点灯していないので、テールランプとブレーキランプとの面積差を常に取得できるとは限らなかった。さらに、特許文献４では、日差しが強い場合に明度（輝度）が上限に達し、ヒストグラム分布の変化が生じないといったように、車外環境によってブレーキランプの検出処理が不安定になる問題があった。
【０００７】
本発明は、このような課題に鑑み、発光源の点灯有無を高精度に判断可能な、車外環境認識装置および車外環境認識方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の車外環境認識装置は、車外環境の明るさに応じた第１露光態様で第１画像を取得すると共に、発光源が自発光しているか否かを判別可能な、露光時間が第１露光態様と異なる第２露光態様で第２画像を取得する画像取得部と、第１画像に基づき検出領域内で先行する車両が占有する車両領域を特定する車両特定部と、第２画像の輝度に基づいて発光源の位置を特定する発光源特定部と、車両領域と発光源の位置とを対応付ける位置対応付け部と、を備えることを特徴とする。
【０００９】
発光源特定部は、発光源の候補とされた画素同士の相対距離に基づいて複数の画素を１の発光源候補としてグルーピングし、１の発光源候補の大きさが予め定められた第１閾値以上の場合にのみ、１の発光源候補を発光源として特定してもよい。
【００１０】
第１閾値は、車外環境の明るさに応じて段階的に複数設けられていてもよい。
【００１１】
車外環境認識装置は、位置対応付け部によって対応付けられた車両領域と発光源の位置との相対配置が適切な配置か否かを判定する配置判定部をさらに備えてもよい。
【００１２】
発光源は、少なくとも、ブレーキランプ、ハイマウントストップランプ、テールランプ、ウィンカーのいずれかである。
【００１３】
発光源は、ブレーキランプとテールランプとを含み、車外環境認識装置は、テールランプの位置と、ブレーキランプとテールランプとの輝度の関係とに基づいてブレーキランプの位置を特定するブレーキランプ特定部をさらに備えてもよい。
【００１４】
上記課題を解決するために、本発明の車外環境認識方法は、車外環境の明るさに応じた第１露光態様で第１画像を取得すると共に、発光源が自発光しているか否かを判別可能な、露光時間が第１露光態様と異なる第２露光態様で第２画像を取得し、第１画像に基づき検出領域内で先行する車両が占有する車両領域を特定し、第２画像の輝度に基づいて発光源の位置を特定し、車両領域と発光源の位置とを対応付けることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、発光源が点灯したときの絶対的な輝度を利用して、発光源の点灯有無を高精度に判断することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】環境認識システムの接続関係を示したブロック図である。
【図２】輝度画像と距離画像を説明するための説明図である。
【図３】車外環境認識装置の概略的な機能を示した機能ブロック図である。
【図４】特定物テーブルを説明するための説明図である。
【図５】位置情報取得部による三次元の位置情報への変換を説明するための説明図である。
【図６】分割領域と代表距離とを説明するための説明図である。
【図７】分割領域群を説明するための説明図である。
【図８】第１露光態様による撮像と第２露光態様による撮像との違いを説明するための説明図である。
【図９】第１露光態様による撮像と第２露光態様による撮像との違いを説明するための説明図である。
【図１０】車外環境認識方法の処理の大まかな流れを示したフローチャートである。
【図１１】位置情報取得処理の流れを示したフローチャートである。
【図１２】代表距離導出処理の流れを示したフローチャートである。
【図１３】分割領域群生成処理の流れを示したフローチャートである。
【図１４】グループ化・特定物決定処理の流れを示したフローチャートである。
【図１５】発光源特定処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１８】
（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、車両１内に設けられた、複数（本実施形態では２つ）の撮像装置１１０と、画像処理装置１２０と、車外環境認識装置１３０と、車両制御装置１４０とを含んで構成される。
【００１９】
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、カラー画像、即ち、画素単位で３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））の輝度を取得することができる。ここでは、撮像装置１１０で撮像されたカラーの画像を輝度画像と呼び、後述する距離画像と区別する。
【００２０】
また、撮像装置１１０は、車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒毎（６０ｆｐｓ）に連続して生成する。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。
【００２１】
さらに、本実施形態において、撮像装置１１０は、車外環境の明るさに応じた露光時間や絞りを示す第１露光態様で検出領域を撮像し第１画像を取得する。また、撮像装置１１０は、ブレーキランプ等、特定の発光源が自発光しているか否かを判別可能な、露光時間が第１露光態様と異なる第２露光態様で検出領域を撮像し第２画像を取得する。例えば、昼間であれば、明るい車外環境に応じた第１露光態様の露光時間より第２露光態様の露光時間を短く、または、絞りを強くして第２画像を取得する。本実施形態において、第１画像および第２画像はそれぞれ輝度画像および距離画像として用いられる。また、上記第１露光態様と第２露光態様とは、以下のようにして実現される。
【００２２】
例えば、撮像装置１１０の周期的な撮像タイミングを時分割し、第１露光態様による撮像と第２露光態様による撮像とを交互に行うことで、第１画像と第２画像とを順次取得することができる。また、画素毎に２つのキャパシタが設けられ、その２つのキャパシタに並行して電荷をチャージできる撮像素子において、一度の露光でチャージする時間を異ならせて露光態様の異なる２つの画像を並行して取得することもできる。さらに、１つのキャパシタの電荷のチャージ中に、時間を異ならせて２回読み出し、露光態様の異なる２つの画像を並行して取得したりすることでも上記の目的を達成できる。また、撮像装置１１０を、露光態様を異ならせて予め２セット準備しておき（ここでは、２つの撮像装置１１０×２セット）、２セットの撮像装置１１０からそれぞれ画像を取得したりすることも可能である。露光態様を支配する露光時間は、例えば１〜６０ｍｓｅｃの範囲で適切に制御される。
【００２３】
ここで、対象物は、車両、信号機、道路、ガードレールといった独立して存在する立体物のみならず、ブレーキランプ（テールランプ）やウィンカー、信号機の各点灯部分等、立体物の部分として特定できる物も含む。本実施形態では、特に、車両後部に位置するブレーキランプ（位置はテールランプに等しい）、ハイマウントストップランプ、テールランプ、ウィンカーについて説明する。
【００２４】
画像処理装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、２つの画像データに基づいて、画像中の任意のブロック（所定数の画素を集めたもの）の視差、および、任意のブロックの画面内の位置を示す画面位置を含む視差情報を導出する。画像処理装置１２０は、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、ブロックの説明に用いられた「水平」は、撮像した画像の画面横方向を示し、実空間上の水平方向に相当する。また、「垂直」は、撮像した画像の画面縦方向を示し、実空間上の鉛直方向に相当する。
【００２５】
このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度値（Ｙ色差信号）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。
【００２６】
ただし、画像処理装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する相対距離に相当）を画像データに対応付けた画像を距離画像という。
【００２７】
図２は、輝度画像１２４と距離画像１２６を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２２について図２（ａ）のような輝度画像（画像データ）１２４が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２４の一方のみを模式的に示している。画像処理装置１２０は、このような輝度画像１２４からブロック毎の視差を求め、図２（ｂ）のような距離画像１２６を形成する。距離画像１２６における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。
【００２８】
視差は、画像のエッジ部分（隣り合う画素間で明暗の差分が大きい部分）で特定され易いので、距離画像１２６において黒のドットが付されている、視差が導出されたブロックは、輝度画像１２４においてもエッジとなっていることが多い。したがって、図２（ａ）に示す輝度画像１２４と図２（ｂ）に示す距離画像１２６とは各対象物の輪郭について似たものとなる。本実施形態では、このような輝度画像１２４と距離画像１２６とを第１画像および第２画像それぞれに基づいて生成している。したがって、本実施形態では、第１画像に基づく輝度画像１２４、第１画像に基づく距離画像１２６、第２画像に基づく輝度画像１２４、第２画像に基づく距離画像１２６の画像が用いられる。
【００２９】
車外環境認識装置１３０は、画像処理装置１２０から第１画像および第２画像に基づく輝度画像１２４と距離画像１２６とを取得し、距離画像１２６から導き出した自車両からの相対距離や、輝度画像１２４における輝度から、検出領域における対象物がいずれの特定物に対応するかを特定する。例えば、相対距離等によって先行車両を特定し、さらに、輝度によってその先行車両のブレーキランプを特定することで、ブレーキランプを有する車両をより正確に把握することができる。そうすることで、ブレーキランプによる当該車両の減速を迅速に把握し、衝突回避制御やクルーズコントロールに利用することが可能となる。
【００３０】
尚、上記相対距離は、距離画像１２６におけるブロック毎の視差情報を、所謂ステレオ法を用いて三次元の位置情報に変換することで求められる。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。かかる車外環境認識装置１３０の処理に関しては、後ほど詳述する。
【００３１】
車両制御装置１４０は、車外環境認識装置１３０で特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１４０は、操舵の角度を検出する舵角センサ１４２や、車両１の速度を検出する車速センサ１４４等を通じて現在の車両１の走行状態を取得し、アクチュエータ１４６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１４６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１４０は、対象物との衝突が想定される場合、運転者の前方に設置されたディスプレイ１４８にその旨警告表示（報知）を行うと共に、アクチュエータ１４６を制御して車両１を自動的に制動する。かかる車両制御装置１４０は、車外環境認識装置１３０と一体的に形成することもできる。
【００３２】
（車外環境認識装置１３０）
図３は、車外環境認識装置１３０の概略的な機能を示した機能ブロック図である。図３に示すように、車外環境認識装置１３０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。
【００３３】
Ｉ／Ｆ部１５０は、画像処理装置１２０や車両制御装置１４０との双方向の情報交換を行うためのインターフェースである。かかるＩ／Ｆ部１５０は画像取得部として機能する。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、特定物テーブル（対応付け）や、以下に示す各機能部の処理に必要な様々な情報を保持し、また、画像処理装置１２０から受信した第１画像および第２画像に基づく輝度画像１２４、距離画像１２６を一時的に保持する。ここで、特定物テーブルは、以下のように利用される。
【００３４】
図４は、特定物テーブル２００を説明するための説明図である。特定物テーブル２００では、複数の特定物に対して、輝度の範囲を示す輝度範囲２０２と、道路表面からの高さの範囲を示す高さ範囲２０４と、特定物の水平距離の幅範囲２０６と、特定物の垂直距離の幅範囲２０８と、同一特定物との水平距離の差分２１０と、同一特定物との垂直距離の差分２１２と、同一特定物との面積比２１４とが対応付けられている。ここで、特定物としては、「ブレーキランプ（赤）」、「ハイマウントストップランプ（赤）」、「テールランプ（赤）」、「ウィンカー（橙）」等、車両を特定する際に要する様々な物が想定されている。特定物は図４に記載された物に限定されないのは言うまでもない。特定物のうち、例えば、特定物「ブレーキランプ（赤）」には、輝度範囲（Ｒ）「２００以上」、輝度範囲（Ｇ）「５０以下」、輝度範囲（Ｂ）「５０以下」、高さ範囲「０．３〜２．０ｍ」、水平距離の幅範囲「０．０５〜０．２ｍ」、垂直距離の幅範囲「０．０５〜０．２ｍ」、水平距離の差分「１．４〜１．９ｍ」、垂直距離の差分「０．３ｍ以下」、面積比「５０〜２００％」が対応付けられている。
【００３５】
中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０やデータ保持部１５２を制御する。また、本実施形態において、中央制御部１５４は、位置情報取得部１６０、代表距離導出部１６２、分割領域群生成部１６４、グループ化部１６６、特定物決定部１６８、輝度取得部１７０、発光源特定部１７２、位置対応付け部１７４、配置判定部１７６、ブレーキランプ特定部１７８としても機能する。
【００３６】
また、位置情報取得部１６０、代表距離導出部１６２、分割領域群生成部１６４、グループ化部１６６、および、特定物決定部１６８は、第１画像に基づき検出領域内で先行する車両が占有する車両領域を特定する車両特定部として機能する。
【００３７】
位置情報取得部１６０は、第１画像に基づく距離画像１２６における検出領域１２２内のブロック毎の視差情報を、上述したステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む三次元の位置情報に変換する。ここで、視差情報が、距離画像１２６における各ブロックの視差を示すのに対し、三次元の位置情報は、実空間における各ブロックの相対距離の情報を示す。また、視差情報が画素単位ではなくブロック単位、即ち複数の画素単位で導出されている場合、その視差情報はブロックに属する全ての画素の視差情報とみなして、画素単位の計算を実行することができる。
【００３８】
図５は、位置情報取得部１６０による三次元の位置情報への変換を説明するための説明図である。位置情報取得部１６０は、まず、距離画像１２６を図５の如く画素単位の座標系として認識する。ここでは、図５中、左下隅を原点（０，０）とし、横方向をｉ座標軸、縦方向をｊ座標軸とする。したがって、視差ｄｐを有する画素は、画素位置ｉ、ｊと視差ｄｐによって（ｉ，ｊ，ｄｐ）のように表すことができる。
【００３９】
本実施形態における実空間上の三次元座標系を、車両１を中心とした相対座標系で考える。ここでは、車両１の進行方向右側方をＸ軸の正方向、車両１の上方をＹ軸の正方向、車両１の進行方向（前方）をＺ軸の正方向、２つの撮像装置１１０の中央を通る鉛直線と道路表面との交点を原点（０，０，０）とする。このとき、道路を平面と仮定すると、道路表面がＸ−Ｚ平面（ｙ＝０）と一致することとなる。位置情報取得部１６０は、以下の（数式１）〜（数式３）によって距離画像１２６上のブロック（ｉ，ｊ，ｄｐ）を、実空間上の三次元の点（ｘ，ｙ，ｚ）に座標変換する。
ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …（数式１）
ｙ＝ＣＨ＋ｚ・ＰＷ・（ｊ−ＪＶ） …（数式２）
ｚ＝ＫＳ／ｄｐ …（数式３）
ここで、ＣＤは撮像装置１１０同士の間隔（基線長）であり、ＰＷは１画素当たりの視野角であり、ＣＨは撮像装置１１０の道路表面からの配置高さであり、ＩＶ、ＪＶは車両１の真正面における無限遠点の画像上の座標（画素）であり、ＫＳは距離係数（ＫＳ＝ＣＤ／ＰＷ）である。
【００４０】
したがって、位置情報取得部１６０は、ブロックの相対距離と、ブロックと同相対距離にある道路表面上の点とブロックとの距離画像１２６上の検出距離（例えば画素数）とに基づいて、道路表面からの高さを導出していることとなる。
【００４１】
代表距離導出部１６２は、まず、距離画像１２６の検出領域１２２を、水平方向に対して複数の分割領域２１６に分割する。続いて、代表距離導出部１６２は、道路表面より上方に位置するブロックを対象に、位置情報に基づいて分割領域毎に、複数に区分した所定距離それぞれに含まれる相対距離を積算してヒストグラムを生成する。そして、代表距離導出部１６２は、積算した距離分布のピークに相当する代表距離を導出する。ここで、ピークに相当するとは、ピーク値またはピーク近傍で任意の条件を満たす値をいう。
【００４２】
図６は、分割領域２１６と代表距離２２０とを説明するための説明図である。図５に示したように、距離画像１２６を水平方向に複数分割すると、分割領域２１６は図６（ａ）のような短冊形状になる。このような短冊形状の分割領域２１６は、本来、例えば、水平幅４画素のものが１５０列配列して成るが、ここでは、説明の便宜上、検出領域１２２を１６等分したもので説明する。
【００４３】
続いて、代表距離導出部１６２は、各分割領域２１６において、全てのブロックの相対距離を参照し、ヒストグラム（図６（ｂ）中、横長の四角（バー）で示す）を作成すると、図６（ｂ）のような距離分布２１８が得られる。ここで、縦方向は、区分した所定距離を、横方向は、区分した所定距離それぞれに相対距離が含まれるブロックの個数を示している。ただし、図６（ｂ）は計算を行う上での仮想的な画面であり、実際には視覚的な画面の生成を伴わない。そして、代表距離導出部１６２は、このようにして導出された距離分布２１８を参照し、ピークに相当する相対距離である代表距離（図６（ｂ）中、黒で塗りつぶした四角で示す）２２０を特定する。
【００４４】
分割領域群生成部１６４は、隣接する分割領域２１６同士の代表距離２２０を順次比較し、代表距離２２０が近接する（例えば、１ｍ以下に位置する）分割領域２１６をグループ化して１または複数の分割領域群を生成する。このとき、３以上の分割領域２１６で代表距離２２０が近接していた場合にも、連続する全ての分割領域２１６を分割領域群として纏める。
【００４５】
図７は、分割領域群２２２を説明するための説明図である。分割領域群生成部１６４は、分割領域２１６同士を比較し、図７に示すように代表距離２２０をグループ化する（グループ化後の仮想的なグループ２２４）。かかるグループ化によって、分割領域群生成部１６４は、道路表面より上方に位置する立体物を特定することができる。また、分割領域群生成部１６４は、そのグループ化された分割領域群２２２中における水平方向および鉛直方向の相対距離の推移に基づいて、先行車両の後部、側部、またはガードレール等の道路に沿った構造物等のいずれであるかを認識することが可能となる。
【００４６】
グループ化部１６６は、分割領域群２２２内における、相対距離ｚが代表距離２２０に相当するブロックを基点として、そのブロックと、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲（例えば０．１ｍ）内にあるブロックとを、同一の特定物に対応すると仮定してグループ化する。上記の範囲は実空間上の距離で表され、製造者や搭乗者によって任意の値に設定することができる。また、グループ化部１６６は、グループ化により新たに追加されたブロックに関しても、そのブロックを基点として、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が所定範囲内にあるブロックをさらにグループ化する。結果的に、同一の特定物と仮定可能なブロック全てがグループ化されることとなる。
【００４７】
また、ここでは、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分をそれぞれ独立して判定し、全てが所定範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の二乗平均√（（水平距離ｘの差分）２＋（高さｙの差分）２＋（相対距離ｚの差分）２）が所定範囲に含まれる場合に同一のグループとしてもよい。かかる計算により、ブロック同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。
【００４８】
特定物決定部１６８は、グループ化部１６６がグループ化したブロック群が予め定められた所定の条件を満たしていれば、その対象物を特定物として決定する。例えば、特定物決定部１６８は、グループ化されたブロック群が道路上に位置する場合、そのブロック群全体の大きさが、特定物「車両」の大きさに相当するか否か判定し、特定物「車両」の大きさに相当すると判定されれば、そのブロック群を特定物「車両」と特定する。ここでは、特定物「車両」と特定されたブロック群が画面上占有する領域を特に車両領域と呼ぶ。
【００４９】
こうして、車外環境認識装置１３０では、第１画像としての距離画像１２６から、１または複数のブロック群を、特定物として抽出することができ、その情報を様々な制御に用いることが可能となる。例えば、検出領域内の任意のブロック群が車両であると特定されると、特定した車両（先行車両）との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御することができる。以下では、このような先行車両の特定や先行車両の挙動をさらに迅速に把握するための第２画像を用いた処理を説明する。
【００５０】
輝度取得部１７０は、後述する発光源特定部１７２の制御指令に従って、第２画像に基づく輝度画像１２４から、画素単位で輝度（画素単位で３つの色相（Ｒ、Ｇ、Ｂ）の輝度）を取得する。このとき、検出領域が例えば雨天や曇天であった場合、輝度取得部１７０は、本来の輝度を取得できるようにホワイトバランスを調整してから取得してもよい。
【００５１】
発光源特定部１７２は、データ保持部１５２に保持された特定物テーブル２００と、第２画像に基づく輝度画像１２４の各画素の輝度とによって、所定の発光源の位置を特定する。具体的に、発光源特定部１７２は、まず、第２画像に基づく輝度画像１２４における任意の画素の輝度を、輝度取得部１７０に取得させる。続いて、発光源特定部１７２は、特定物テーブル２００に登録されている特定物から、第２露光態様に対応付けられた特定の発光源（ここでは「ブレーキランプ」）を選択し、取得した１の画素の輝度が、選択した特定物の輝度範囲２０２に含まれるか否か判定する。そして、対象となる輝度範囲２０２に含まれれば、その画素を当該特定物と仮定する。
【００５２】
上記第２画像は、上述したように特定の発光源、例えば、「ブレーキランプ」が自発光しているか否かを判別可能な第２露光態様で撮像した画像である。「ブレーキランプ」のように自発光するものは、太陽や街灯の明るさに拘わらず、高い輝度を取得することができる。特に、「ブレーキランプ」の明るさは法規で概ね規定されているので、所定の明るさしか露光できない露光態様（例えば、短時間の露光）で撮像することで、「ブレーキランプ」に相当する画素のみを容易に抽出することが可能である。
【００５３】
図８および図９は、第１露光態様による撮像と第２露光態様による撮像との違いを説明するための説明図である。図８は、第１露光態様による第１画像を示し、特に、図８（ａ）ではテールランプが点灯しており、図８（ｂ）ではブレーキランプが点灯している。図８（ａ）と図８（ｂ）を比較して理解できるように、車外環境の明るさに応じた第１露光態様では、テールランプ点灯時（即ちブレーキランプ非点灯時）のテールランプ位置２３０の輝度と、ブレーキランプ点灯時のブレーキランプ位置２３２とで輝度の差がほとんど生じない。これは、露光時間の長い第１露光態様では、テールランプもブレーキランプもＲＧＢ成分全ての輝度がサチレーションしてしまうことに起因する。
【００５４】
図９は、第２露光態様による第２画像を示し、特に、図９（ａ）ではテールランプが点灯しており、図９（ｂ）ではブレーキランプが点灯している。第２露光態様は、ブレーキランプが点灯しているときの輝度のみを取得可能に設定されている。したがって、図９（ａ）と図９（ｂ）を比較して理解できるように、テールランプ点灯時（即ちブレーキランプ非点灯時）のテールランプ位置２３０では、その明るさに準じる輝度をほとんど取得できず、ブレーキランプ点灯時のブレーキランプ位置２３２では、明確に高い輝度を取得できている。
【００５５】
かかる第２露光態様では、ブレーキランプの輝度が撮像素子において、Ｒ成分がサチレーションするかしないか程度の露光時間に設定することが好ましい。撮像装置１１０は、通常、ダイナミックレンジが人間より大幅に狭いので、夕方くらいの明度の低さで第１露光態様により撮像すると、車外環境に対して相対的にブレーキランプの輝度が高くなる。すると、Ｒ成分のみならず、Ｒ成分とオーバーラップしてＧ成分やＢ成分も最大輝度（例えば輝度２５５）にサチレーションし、画素が白くなってしまう。そこで、第２露光態様を、ブレーキランプ点灯時にＲ成分がサチレーションするかしないか程度の露光時間とすることで、外部の環境に拘わらず、Ｇ成分やＢ成分の輝度を抑制しつつ、Ｒ成分のみを最大輝度で抽出する。こうして、例えば、テールランプとの輝度差を最大限確保することが可能となる。
【００５６】
具体的に、夜間の走行時に先行車両が存在する場合に、テールランプが点灯している程度、例えば、輝度範囲（Ｒ）「５０」、輝度範囲（Ｇ）「５０」、輝度範囲（Ｂ）「５０」程度では第２画像に表示されない。これに対して、ブレーキランプが点灯していると、図４の特定物テーブル２００に示すように、輝度範囲２０２が、輝範囲度（Ｒ）「２００以上」、輝度範囲（Ｇ）「５０以下」、輝度範囲（Ｂ）「５０以下」となり、第２露光態様で撮像したとしても、その位置が把握できる程度に第２画像に表示される。こうして発光源特定部１７２は、第２画像を通じて、ブレーキランプ等、所定の発光源のみを特定することが可能となる。また、ここでは、第２露光態様による露光時間を固定しているが、車外環境に応じて自発的にまたは搭乗者の操作に応じて調整されるとしてもよい。
【００５７】
また、発光源特定部１７２は、発光源候補とされた画素同士の水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が所定範囲内にある場合、その複数の画素を１の発光源候補としてグループ化する。こうして、ブレーキランプを構成する画素が複数に跨がっていても、また、車両１の左右のブレーキランプがそれぞれ複数のランプで構成されている場合であっても、それを左右に区別されるブレーキランプの一方として認識することが可能となる。
【００５８】
また、発光源特定部１７２は、この１の発光源候補の大きさが予め定められた第１閾値（例えば、水平および垂直の幅０．０５ｍ）以上の場合にのみ、１の発光源候補を発光源として特定する。尚、発光源特定部１７２は、大きさに加えて、その発光源候補の形も条件としてよい。例えば、ブレーキランプが車両後部の左右端部に鉛直方向に延伸する形状である場合、その大きさのみならず、ブレーキランプとみなせる形状であることを判定する。こうして、本来、所定の発光源としてみなすべきではないノイズに相当する発光源を排除し、ブレーキランプ等、所望する発光源を抽出することができるので、特定物を高精度に特定することが可能となる。
【００５９】
さらに、上記第１閾値を、車外環境の明るさに応じて、予め、段階的に複数設けてもよい。例えば、車外環境の明るさが、第２閾値（例えば、輝度２００）未満の場合、第１閾値として０．０５ｍを参照し、第２閾値以上の場合、第１閾値として、０．０５ｍより大きい０．１ｍを参照する。したがって、発光源特定部１７２は、照度計等を通じて取得した車外環境の明るさが予め定められた第２閾値未満の場合、１の発光源候補の大きさが第１閾値（０．０５ｍ）以上の場合にのみ発光源として特定し、また、車外環境の明るさが第２閾値以上の場合、１の発光源候補の大きさが第１閾値（０．１ｍ）以上の場合にのみ発光源として特定する。太陽光等により車外環境の明るさが非常に強い場合、例えば、ブレーキランプが非点灯であっても、そのブレーキランプの赤色のカバーに太陽光が反射するだけで、ブレーキランプと同等の輝度が部分的に検出される場合がある。この場合、第２露光態様によっても、非点灯のブレーキランプを点灯しているブレーキランプとして誤認識する可能性があるので、発光源特定部１７２は、車外環境の明るさが予め定められた第２閾値以上である場合、例えば、大きさの条件を０．０５ｍから０．１ｍと厳しくすることで、本来ブレーキランプと認識すべきではない候補が抽出されても、それを除外する。
【００６０】
ただし、発光源特定部１７２は、上記ブレーキランプの他にハイマウントストップランプを検出することができる。ハイマウントストップランプは、ブレーキランプより高い位置に設けられたランプであるが、ブレーキランプと異なりテールランプとしては機能しない。したがって、ハイマウントストップランプを検出することで、ブレーキランプの検出精度を高めることができる。このとき、発光源特定部１７２は、発光源候補の大きさが予め定められた第３閾値（例えば、０．１ｍ）以上の場合にのみ、発光源候補をハイマウントストップランプとして特定してもよい。かかるハイマウントストップランプについては後ほど詳述する。
【００６１】
このように、発光源特定部１７２によって、ブレーキランプやハイマウントストップランプのみを高精度に抽出することができる。しかし、第２露光態様による第２画像のみでは、夜間などに検出領域１２２全体の輝度が低く（暗く）なってしまい、ブレーキランプ以外は何も把握できなくなってしまう。そこで、上述した第１露光態様による第１画像を併用して特定物としての「車両」を特定させ、当該ブレーキランプの位置と連携させる。
【００６２】
位置対応付け部１７４は、特定物決定部１６８が特定物「車両」としてグループ化した車両領域と発光源であるブレーキランプやハイマウントストップランプの位置とを対応付ける。こうして、先行する車両の外縁と車両のブレーキランプやハイマウントストップランプとの位置関係が明確になる。
【００６３】
配置判定部１７６は、同一の先行車両に存在すると仮定される２対のブレーキランプの組み合わせを特定し、図４に示した特定物テーブル２００に基づいて、位置対応付け部１７４によって対応付けられた車両領域と発光源であるブレーキランプの位置との相対配置が適切な配置か否かを判定する。配置判定部１７６は、例えば、ブレーキランプが、それ単体で高さ範囲「０．３〜２．０ｍ」、水平距離の幅範囲「０．０５〜０．２ｍ」、垂直距離の幅範囲「０．０５〜０．２ｍ」の条件を満たすか判定する。さらに、配置判定部１７６は、２対のブレーキランプの組み合わせが、水平距離の差分「１．４〜１．９ｍ」、垂直距離の差分「０．３ｍ以下」、面積比「５０〜２００％」の条件を満たすか否かを判定する。かかる条件を満たすことで、先行車両のブレーキランプが点灯していると特定されることとなる。このように、ブレーキランプと仮定された発光源が車両の適切な位置に対応している場合にのみブレーキランプとして正式に特定する構成により、リアフォグランプなど、同等の明るさで一灯だけで点灯している発光源を誤認識するのを防止することができる。
【００６４】
ただし、発光源特定部１７２がハイマウントストップランプを検出した場合、配置判定部１７６は、先行車両がハイマウントストップランプを有する車両であると認識し、以後、ハイマウントストップランプの相対配置も考慮してブレーキランプの点灯有無を判定する。例えば、２対のブレーキランプより上方に位置し、かつ、２対のブレーキランプとの距離が等しい場合に、ハイマウントストップランプもブレーキランプと同等に扱う。ブレーキランプが非点灯であってもテールランプが点灯している場合、その位置にはある程度の輝度が認識される。しかし、ハイマウントストップランプは、ブレーキ動作時にしか点灯しないので、ブレーキランプより確実にブレーキ動作の有無を判断することができる。したがって、配置判定部１７６は、一旦ハイマウントストップランプを有すると判定した車両に関し、ハイマウントストップランプが検出されない場合にはブレーキランプが点灯していないと判定する。こうして、ブレーキランプの点灯有無をより高い信頼度で特定することが可能となる。
【００６５】
ブレーキランプ特定部１７８は、上記発光源特定部１７２によってブレーキランプが特定できなかった場合、第１画像に基づく輝度画像１２４を用い、テールランプの位置と、ブレーキランプとテールランプとの輝度の関係とによってブレーキランプの位置を特定する。具体的に、ブレーキランプ特定部１７８は、まず、第１画像による輝度画像１２４の車両領域のうち、Ｒ成分が比較的高く、高輝度の部位を特定することでテールランプの位置を検出する。そして、ブレーキランプ特定部１７８は、そのテールランプの位置情報を用いて、第２画像に基づく輝度画像１２４における上記テールランプの位置の輝度値が増加した場合にのみ、ブレーキランプが点灯していると判定する。かかる構成により、ブレーキランプ特定部１７８は、例えば、ブレーキランプの組み合わせの一方が故障し、ブレーキランプの画像が一方しか取得できなかったり、自動二輪等、そもそもブレーキランプが一灯しかない場合にもブレーキランプの点灯を適切に判定することができる。
【００６６】
この場合、ブレーキランプ非点灯時にもテールランプの位置を予め特定しておく必要があり、昼間では車両のうちＲ成分が比較的高い部位を、夜間では輝度がＲＧＢとも最大値にサチレーションしている部位をブレーキランプ候補として特定しておく。そして、ブレーキランプ特定部１７８は、第２画像のテールランプの位置を常に監視し、複数のフレーム間における輝度の変化、例えば、Ｒの輝度５０（テールランプ）から２００（ブレーキランプ）を検出する。ただし、昼間における赤色の先行車両には対応が困難である等、その機能を十分に発揮できない場合があるので、補完的なロジックとして利用するのがよい。
【００６７】
（車外環境認識方法）
以下、車外環境認識装置１３０の具体的な処理を図１０〜図１５のフローチャートに基づいて説明する。図１０は、画像処理装置１２０から第１画像または第２画像が送信された場合の割込処理に関する全体的な流れを示し、図１１〜図１５は、その中の個別のサブルーチンを示している。また、ここでは、処理の対象部位としてブロックまたは画素を挙げており、輝度画像１２４や距離画像１２６の左下隅を原点とし、ブロックでは、画像水平方向に１〜１５０ブロック、垂直方向に１〜５０ブロックの範囲で、画素では、画像水平方向に１〜６００画素、垂直方向に１〜２００画素の範囲で当該車外環境認識方法による処理を遂行する。
【００６８】
図１０に示すように、当該車外環境認識方法による割込が発生すると、第１画像フラグがＯＮしているか否か判定される（Ｓ３００）。ただし、電源投入時は第１画像フラグは予めＯＮに設定されているとする。かかる第１画像フラグは、第１露光態様によって撮像するか第２露光態様によって撮像するかを切り換えるためのフラグである。そして、第１画像フラグがＯＮしていれば（Ｓ３００におけるＹＥＳ）、検出領域１２２内のブロック毎の視差情報が三次元の位置情報に変換され（Ｓ３０２）、分割領域２１６毎の代表距離２２０が導出される（Ｓ３０４）。続いて、分割領域２１６がグループ化されて分割領域群２２２が生成され（Ｓ３０６）、その分割領域群２２２内でブロックのグループ化が図られる（Ｓ３０８）。続いて、第１画像フラグがＯＦＦされ、次回の撮像のために、露光態様が第２露光態様に設定される（Ｓ３１０）。
【００６９】
第１画像フラグがＯＦＦであれば（Ｓ３００におけるＮＯ）、第２画像から発光源が特定されると共に（Ｓ３１２）、第１画像フラグがＯＮされ、次回の撮像のために、露光態様が第１露光態様に設定される（Ｓ３１４）。
【００７０】
ここでは、ステップＳ３０２〜Ｓ３１０に示す車両領域の特定処理と、ステップＳ３１２、Ｓ３１４に示す発光源の特定処理とを交互に実行させ、発光源の位置によって車両領域の特定精度を向上させ、また、車両領域の位置によって発光源の特定精度を向上させる。このように、車両領域と発光源との対応付けを相互に行うことで、より適切にブレーキランプを検出することが可能となる。
【００７１】
そして、位置対応付け部１７４は、特定物決定部１６８が特定物「車両」としてグループ化した車両領域と、発光源であるブレーキランプおよびハイマウントストップランプの位置とを対応付ける（Ｓ３１６）。
【００７２】
また、配置判定部１７６は、同一の先行車両に存在すると仮定される２対のブレーキランプやハイマウントストップランプの組み合わせを特定し、車両領域と２対のブレーキランプやハイマウントストップランプとの相対配置が適切な配置か否かを判定する（Ｓ３１８）。以上の処理によってもブレーキランプやハイマウントストップランプが特定できなかった場合は、第１画像に基づく輝度画像１２４を用い、テールランプの位置と、ブレーキランプとテールランプとの輝度の関係とによってブレーキランプの位置を特定する。以下、上記の処理を具体的に説明する。
【００７３】
（位置情報取得処理Ｓ３０２）
図１１を参照すると、位置情報取得部１６０は、ブロックを特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ４００）。続いて、位置情報取得部１６０は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ４０２）。次に、位置情報取得部１６０は、水平変数ｉに「１」を加算する（Ｓ４０４）。
【００７４】
位置情報取得部１６０は、第１画像に基づく距離画像１２６のブロック（ｉ，ｊ，ｄｐ）から視差情報ｄｐを取得する（Ｓ４０６）。そして、位置情報取得部１６０は、視差情報ｄｐを含むブロック（ｉ，ｊ，ｄｐ）を、上記数式１〜３を用い、実空間上の点（ｘ，ｙ，ｚ）に座標変換して、ブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）とする（Ｓ４０８）。
【００７５】
続いて、位置情報取得部１６０は、水平変数ｉが水平ブロックの最大値である１５０を超えたか否か判定し（Ｓ４１０）、水平変数ｉが最大値を超えていなければ（Ｓ４１０におけるＮＯ）、ステップＳ４０４の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ４１０にけるＹＥＳ）、位置情報取得部１６０は、垂直変数ｊが垂直ブロックの最大値である５０を超えたか否か判定する（Ｓ４１２）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ４１２におけるＮＯ）、ステップＳ４０２の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ４１２におけるＹＥＳ）、当該位置情報取得処理Ｓ３０２を終了する。こうして、距離画像１２６の視差情報ｄｐが三次元の位置情報に変換される。
【００７６】
（代表距離導出処理Ｓ３０４）
図１２を参照すると、代表距離導出部１６２は、道路形状パラメータを読み込み（Ｓ４５０）、検出領域１２２を、水平方向に対して例えば４画素単位で１５０個の分割領域２１６に分割する（Ｓ４５２）。次に、代表距離導出部１６２は、分割した１５０個の分割領域２１６から１の分割領域２１６を、例えば水平方向左側から順次抽出して、その分割領域２１６内に存在する任意のブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）を設定する（Ｓ４５４）。
【００７７】
代表距離導出部１６２は、ブロックの実空間上の座標ｚにおける道路表面の高さｙｒを算出し（Ｓ４５６）、ブロックの実空間上の座標ｙが道路表面の高さｙｒ以上となるブロックであれば、所定距離間隔で区分したヒストグラムにその相対距離を積算（投票）する（Ｓ４５８）。ここで、ブロックの実空間上の座標ｙが道路表面の高さｙｒ以上であったとしても、道路表面から高さ０．１ｍ以下のブロックは、道路上の白線や汚れ、影等であるとみなして処理対象から除外する。また、自己の車両１の高さより上方に位置するブロックも、歩道橋や標識等であるとみなして処理対象から除外する。
【００７８】
代表距離導出部１６２は、抽出された１の分割領域２１６内のブロック全てに関し、当該ヒストグラムへの積算処理を遂行したか判定する（Ｓ４６０）。ここで、ブロック全てが完了していなければ（Ｓ４６０におけるＮＯ）、ヒストグラムへの積算処理を遂行していないブロックに関して設定処理Ｓ４５４からを繰り返す。
【００７９】
ブロック全てが完了していれば（Ｓ４６０におけるＹＥＳ）、代表距離導出部１６２は、このようにして生成されたヒストグラムを参照し、ヒストグラムの度数（相対距離の個数）が所定の閾値（適宜設定される）以上となる区間が存在したら当該分割領域２１６には立体物が存在すると判定する。そして、代表距離導出部１６２は、ピークに相当する相対距離を代表距離２２０とする（Ｓ４６２）。
【００８０】
そして、代表距離導出部１６２は、複数の分割領域２１６全てに関して、当該代表距離２２０の導出処理を遂行したか判定する（Ｓ４６４）。ここで、分割領域２１６全てが完了していると判定されなければ（Ｓ４６４におけるＮＯ）、新たな分割領域２１６を設定し（Ｓ４６６）、新たな分割領域２１６に関してブロックの設定処理Ｓ４５４からを繰り返す。一方、代表距離２２０の導出処理が全て完了していれば（Ｓ４６４におけるＹＥＳ）、当該代表距離導出処理Ｓ３０４を終了する。
【００８１】
（分割領域群生成処理Ｓ３０６）
図１３を参照すると、分割領域群生成部１６４は、複数の分割領域２１６から任意の分割領域２１６を、例えば水平方向左側から順次特定し、その任意の分割領域２１６の水平方向右側に隣接する分割領域２１６も特定する（Ｓ５００）。そして、分割領域群生成部１６４は、両分割領域２１６に代表距離２２０が存在するか否か判定する（Ｓ５０２）。ここで、両分割領域２１６に代表距離２２０が存在していなければ（Ｓ５０２におけるＮＯ）、分割領域の完了判定ステップＳ５０８に処理を移す。一方、両分割領域２１６に代表距離２２０が存在していれば（Ｓ５０２におけるＹＥＳ）、両分割領域２１６の代表距離２２０同士を比較する（Ｓ５０４）。
【００８２】
ここで、両代表距離２２０の差分が予め定められた閾値（同一の立体物とみなせる値）以下であれば、両代表距離２２０は近接しているとみなされ、分割領域群生成部１６４は、分割領域２１６同士をグループ化して分割領域群２２２とする（Ｓ５０６）。このとき、一方の分割領域２１６が既に分割領域群２２２として設定されている場合、他方の分割領域２１６は、その分割領域群２２２に統合される。
【００８３】
そして、分割領域群生成部１６４は、複数の分割領域２１６全てに関して、当該分割領域群２２２の生成処理Ｓ５０２、Ｓ５０４、Ｓ５０６を遂行したか判定する（Ｓ５０８）。ここで、全てが完了していなければ（Ｓ５０８におけるＮＯ）、新たな分割領域２１６を設定し（Ｓ５１０）、新たな分割領域２１６に関して特定処理Ｓ５００からを繰り返す。一方、分割領域群２２２の生成処理が全て完了していれば（Ｓ５０８におけるＹＥＳ）、当該分割領域群生成処理Ｓ３０６を終了する。
【００８４】
（グループ化・特定物決定処理Ｓ３０８）
図１４を参照すると、グループ化部１６６は、グループ化された複数の分割領域群２２２から１の分割領域群２２２を、例えば水平方向左側から順次抽出して、その分割領域群２２２内に存在する任意のブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）を設定する（Ｓ５５０）。
【００８５】
グループ化部１６６は、設定されたブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）と、分割領域群２２２内における、相対距離ｚが代表距離２２０に相当するブロックとを比較し、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲（例えば０．１ｍ）内にあるか否か判定する（Ｓ５５２）。予め定められた範囲内にある場合（Ｓ５５２におけるＹＥＳ）、そのブロックを、同一の特定物に対応すると仮定してグループ化する（Ｓ５５４）。予め定められた範囲内にない場合（Ｓ５５２におけるＮＯ）、ブロックの完了判定ステップＳ５５６に処理を移す。
【００８６】
グループ化部１６６は、抽出された１の分割領域群２２２内のブロック全てに関し、当該グループ化処理を遂行したか判定する（Ｓ５５６）。ここで、ブロック全てのグループ化処理が完了していなければ（Ｓ５５６におけるＮＯ）、グループ化処理を遂行していないブロックに関して設定処理Ｓ５５０からを繰り返す。
【００８７】
ブロック全てのグループ化処理が完了していれば（Ｓ５５６におけるＹＥＳ）、特定物決定部１６８は、このようにしてグループ化されたブロック群全体の大きさが、特定物「車両」の大きさに相当するか否か判定する（Ｓ５５８）。特定物「車両」の大きさに相当すると判定されれば（Ｓ５５８におけるＹＥＳ）、そのブロック群を特定物「車両」と特定する（Ｓ５６０）。特定物「車両」の大きさに相当すると判定されなければ（Ｓ５５８におけるＮＯ）、分割領域群２２２の完了判定ステップＳ５６２に処理を移す。
【００８８】
そして、グループ化部１６６は、複数の分割領域群２２２全てに関して、当該特定物決定判定Ｓ５５８、Ｓ５６０を遂行したか判定する（Ｓ５６２）。ここで、分割領域群２２２全てが完了していると判定されなければ（Ｓ５６２におけるＮＯ）、新たな分割領域群２２２を設定し（Ｓ５６４）、新たな分割領域群２２２に関してブロックの設定処理Ｓ５５０からを繰り返す。一方、特定物決定判定Ｓ５５８が全て完了していれば（Ｓ５６２におけるＹＥＳ）、当該グループ化・特定物決定処理Ｓ３０８を終了する。
【００８９】
上記グループ化においては、さらに、複数のグループに対して相互の位置関係が判定される。例えば、同種類の立体物のグループ間で、端点の位置が接近し、かつ、立体物中における水平方向および鉛直方向の相対距離の推移がほぼ等しい（連続する）場合には、同一立体物の同一の面であると判断されて、それらのグループが一つのグループに統合される。このとき立体物中における水平方向および鉛直方向の相対距離の推移は、ハフ変換あるいは最小二乗法による近似直線によって特定することができる。また、先行車両であれば、ｚ座標に対する相対移動速度が等しいことによっても複数のグループを一つのグループに統合することができる。
【００９０】
また、ここまでの処理がブロック単位で行われている場合、そのブロック内全ての画素に同一の情報を設定することで画素単位に変更する。
【００９１】
（発光源特定処理Ｓ３１２）
図１５を参照すると、発光源特定部１７２は、画素を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ６００）。続いて、発光源特定部１７２は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ６０２）。次に、発光源特定部１７２は、水平変数ｉに「１」を加算する（Ｓ６０４）。
【００９２】
発光源特定部１７２は、第２画像に基づく輝度画像１２４の画素（ｉ，ｊ，ｂｒ）から輝度ｂｒを取得する（Ｓ６０６）。そして、発光源特定部１７２は、特定物「ブレーキランプ」の輝度範囲２０２と、取得した１の画素の輝度とを比較し、取得した１の画素の輝度が特定物「ブレーキランプ」の輝度範囲２０２に含まれるか否か判定する（Ｓ６０８）。輝度範囲２０２に含まれていなければ（Ｓ６０８におけるＮＯ）、水平ブロック判定処理Ｓ６１６に処理を移す。輝度範囲２０２に含まれていれば（Ｓ６０８におけるＹＥＳ）、発光源特定部１７２は、その画素を特定物「ブレーキランプ」と仮定する（Ｓ６１０）。
【００９３】
そして、発光源特定部１７２は、特定物「ブレーキランプ」と仮定された他の画素との水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が所定範囲内にあるか否か判定する（Ｓ６１２）。所定範囲内にあれば（Ｓ６１２におけるＹＥＳ）、両画素を１の特定物「ブレーキランプ」としてグループ化する（Ｓ６１４）。所定範囲内になければ（Ｓ６１２におけるＮＯ）、水平ブロック判定処理Ｓ６１６に処理を移す。
【００９４】
続いて、発光源特定部１７２は、水平変数ｉが水平ブロックの最大値である６００を超えたか否か判定し（Ｓ６１６）、水平変数ｉが最大値を超えていなければ（Ｓ６１６におけるＮＯ）、ステップＳ６０４の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ６１６にけるＹＥＳ）、発光源特定部１７２は、垂直変数ｊが垂直ブロックの最大値である２００を超えたか否か判定する（Ｓ６１８）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ６１８におけるＮＯ）、ステップＳ６０２の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ６１８におけるＹＥＳ）、明度判定処理Ｓ６２０に処理を移す。こうして、特定物「ブレーキランプ」と仮定された複数の画素群が生成される。
【００９５】
次に、発光源特定部１７２は、照度計等を通じて取得した車外環境の明るさが予め定められた第２閾値未満か否か判定する（Ｓ６２０）。車外環境の明るさが第２閾値未満であれば（Ｓ６２０におけるＹＥＳ）、第１閾値として低い（緩い）値（例えば０．０５ｍ）を設定し、第２閾値以上であれば（Ｓ６２０におけるＮＯ）、第１閾値として高い（厳しい）値（例えば０．１ｍ）を設定する。
【００９６】
続いて、発光源特定部１７２は、特定物「ブレーキランプ」と仮定され、グループ化された複数の画素群から１の画素群を順次設定する（Ｓ６２６）。
【００９７】
続いて、発光源特定部１７２は、設定された画素群の大きさが、ハイマウントストップランプの大きさを示す第３閾値以上か否か判定する（Ｓ６２８）。画素群の大きさが第３閾値以上であれば（Ｓ６２８におけるＹＥＳ）、その画素群をハイマウントストップランプと特定して、画素群完了判定ステップＳ６３６に処理を移す（Ｓ６３０）。また、画素群の大きさが第３閾値未満であれば（Ｓ６２８におけるＮＯ）、発光源特定部１７２は、設定された画素群の大きさが、ブレーキランプの大きさを示す第１閾値以上か否か判定する（Ｓ６３２）。画素群の大きさが第１閾値以上であれば（Ｓ６３２におけるＹＥＳ）、その画素群をブレーキランプと特定して、画素群完了判定ステップＳ６３６に処理を移す（Ｓ６３４）。画素群の大きさが第１閾値未満であれば（Ｓ６３２におけるＮＯ）、画素群完了判定ステップＳ６３６に処理を移す。
【００９８】
発光源特定部１７２は、画素群全てに関し、当該画素群の大きさ判定処理を遂行したか判定する（Ｓ６３６）。ここで、画素群全てが完了していなければ（Ｓ６３６におけるＮＯ）、グループ化処理を遂行していない画素群の設定処理Ｓ６２６からを繰り返す。一方、画素群全てが完了していれば（Ｓ６３６におけるＹＥＳ）、当該発光源特定処理Ｓ３１２を終了する。
【００９９】
以上、説明した、車外環境認識装置１３０や車外環境認識方法によれば、発光源が点灯したときの絶対的な輝度を利用して、発光源の点灯有無を高精度に判断することが可能となる。したがって、例えばブレーキランプの点灯を的確に把握することが可能となり、先行車両の減速動作を迅速かつ的確に推測することができる。
【０１００】
また、コンピュータを、車外環境認識装置１３０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【０１０１】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１０２】
上述した実施形態においては、特にブレーキランプとハイマウントストップランプを例に挙げて説明したが、かかる場合に限らず、露光態様を異ならせることで把握可能な発光源として、テールランプやウィンカー等を上げることもできる。ここでは、テールランプを検出することで、先行車両の夜間の定常走行を把握することができ、また、ウィンカーを検出することで、左折や右折のための減速を迅速に把握することができる。
【０１０３】
また、上述した実施形態においては、対象物の三次元位置を複数の撮像装置１１０を用い画像データ間の視差に基づいて導出しているが、かかる場合に限られず、例えば、レーザレーダ測距装置等、既知の様々な距離測定装置を用いることができる。ここで、レーザレーダ測距装置は、検出領域１２２にレーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、この所要時間から物体までの距離を測定するものである。
【０１０４】
また、上述した実施形態においては、距離画像１２６を用いて、ブロックの相対距離を求めているが、対象物の画面上の配置や大きさにより、特定物をある程度特定できる場合、単眼の撮像装置１１０によって本実施形態を実現することも可能である。また、オプティカルフローにより、動きベクトルを導出することでも特定物を特定することができる。
【０１０５】
また、上述した実施形態においては、撮像装置１１０がカラー画像を取得することを前提としているが、かかる場合に限られず、モノクロ画像を取得することでも本実施形態を遂行することができる。
【０１０６】
また、上述した実施形態では、位置情報取得部１６０が、画像処理装置１２０から距離画像（視差情報）１２６を受けて三次元の位置情報を生成している例を挙げている。しかし、かかる場合に限られず、画像処理装置１２０において予め三次元の位置情報を生成し、位置情報取得部１６０は、その生成された三次元の位置情報を取得するとしてもよい。このように、機能分散を図ることで、車外環境認識装置１３０の処理負荷を軽減することが可能となる。
【０１０７】
また、上述した実施形態においては、位置情報取得部１６０、代表距離導出部１６２、分割領域群生成部１６４、グループ化部１６６、特定物決定部１６８、輝度取得部１７０、発光源特定部１７２、位置対応付け部１７４、配置判定部１７６、ブレーキランプ特定部１７８は中央制御部１５４によってソフトウェアで動作するように構成している。しかし、上記の機能部をハードウェアによって構成することも可能である。
【０１０８】
なお、本明細書の車外環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【０１０９】
本発明は、自車両外の環境を認識する車外環境認識装置および車外環境認識方法に利用することができる。
【符号の説明】
【０１１０】
１ …車両
１１０ …撮像装置
１２２ …検出領域
１２４ …輝度画像
１２６ …距離画像
１３０ …車外環境認識装置
１６０ …位置情報取得部
１６２ …代表距離導出部
１６４ …分割領域群生成部
１６６ …グループ化部
１６８ …特定物決定部
１７０ …輝度取得部
１７２ …発光源特定部
１７４ …位置対応付け部
１７６ …配置判定部
１７８ …ブレーキランプ特定部
【技術分野】
【０００１】
本発明は、自車両外の環境を認識する車外環境認識装置および車外環境認識方法に関する。
【背景技術】
【０００２】
従来、自車両の前方に位置する車両や障害物等の対象物を特定し、特定した対象物との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。こうした技術の多くは、先行車両を追跡して位置情報を更新し、先行車両の移動速度等を計算するように構成されており、この結果が例えばブレーキ（制動）コントロールやクルーズコントロールなどに用いられる。
【０００３】
しかしながら、先行車両の挙動を単に計算するだけではクルーズコントロールを円滑に遂行することは難しい。そこで、例えば、人間のように、先行車両のブレーキランプの点灯有無等を視認し、先行車両の減速動作を推測するといった処理を組み込むことで、より円滑なクルーズコントロールが可能となる。
【０００４】
このような先行車両のブレーキランプの点灯有無を検出する技術として、先行車両の加減速に基づきブレーキランプとテールランプとを区別する技術がある（例えば、特許文献２）。また、テールランプ検出領域の輝度変化または面積変化に基づいてブレーキランプの点灯を検出し、先行車両の減速状態を判断する技術（例えば、特許文献３）や、赤色領域における明度のヒストグラム分布を用い、標準偏差等を通じてブレーキランプの点灯を判断する技術（例えば、特許文献４）も開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３３４９０６０号
【特許文献２】特開２００５−１４２５号公報
【特許文献３】特許第３８７２１７９号
【特許文献４】特開平９−２６７６８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した特許文献２の技術では、先行車両の加減速に基づいてブレーキランプを区別しているが、減速の原因が必ずしもブレーキ動作にあるとは限らない。また、ブレーキ動作を行ってから車両が実際に減速するまでには時間を要するので、ブレーキ動作の判定が実際のブレーキランプの点灯時点より遅れる結果を招いていた。また、特許文献３の技術では、夜間でなければテールランプが点灯していないので、テールランプとブレーキランプとの面積差を常に取得できるとは限らなかった。さらに、特許文献４では、日差しが強い場合に明度（輝度）が上限に達し、ヒストグラム分布の変化が生じないといったように、車外環境によってブレーキランプの検出処理が不安定になる問題があった。
【０００７】
本発明は、このような課題に鑑み、発光源の点灯有無を高精度に判断可能な、車外環境認識装置および車外環境認識方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の車外環境認識装置は、車外環境の明るさに応じた第１露光態様で第１画像を取得すると共に、発光源が自発光しているか否かを判別可能な、露光時間が第１露光態様と異なる第２露光態様で第２画像を取得する画像取得部と、第１画像に基づき検出領域内で先行する車両が占有する車両領域を特定する車両特定部と、第２画像の輝度に基づいて発光源の位置を特定する発光源特定部と、車両領域と発光源の位置とを対応付ける位置対応付け部と、を備えることを特徴とする。
【０００９】
発光源特定部は、発光源の候補とされた画素同士の相対距離に基づいて複数の画素を１の発光源候補としてグルーピングし、１の発光源候補の大きさが予め定められた第１閾値以上の場合にのみ、１の発光源候補を発光源として特定してもよい。
【００１０】
第１閾値は、車外環境の明るさに応じて段階的に複数設けられていてもよい。
【００１１】
車外環境認識装置は、位置対応付け部によって対応付けられた車両領域と発光源の位置との相対配置が適切な配置か否かを判定する配置判定部をさらに備えてもよい。
【００１２】
発光源は、少なくとも、ブレーキランプ、ハイマウントストップランプ、テールランプ、ウィンカーのいずれかである。
【００１３】
発光源は、ブレーキランプとテールランプとを含み、車外環境認識装置は、テールランプの位置と、ブレーキランプとテールランプとの輝度の関係とに基づいてブレーキランプの位置を特定するブレーキランプ特定部をさらに備えてもよい。
【００１４】
上記課題を解決するために、本発明の車外環境認識方法は、車外環境の明るさに応じた第１露光態様で第１画像を取得すると共に、発光源が自発光しているか否かを判別可能な、露光時間が第１露光態様と異なる第２露光態様で第２画像を取得し、第１画像に基づき検出領域内で先行する車両が占有する車両領域を特定し、第２画像の輝度に基づいて発光源の位置を特定し、車両領域と発光源の位置とを対応付けることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、発光源が点灯したときの絶対的な輝度を利用して、発光源の点灯有無を高精度に判断することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】環境認識システムの接続関係を示したブロック図である。
【図２】輝度画像と距離画像を説明するための説明図である。
【図３】車外環境認識装置の概略的な機能を示した機能ブロック図である。
【図４】特定物テーブルを説明するための説明図である。
【図５】位置情報取得部による三次元の位置情報への変換を説明するための説明図である。
【図６】分割領域と代表距離とを説明するための説明図である。
【図７】分割領域群を説明するための説明図である。
【図８】第１露光態様による撮像と第２露光態様による撮像との違いを説明するための説明図である。
【図９】第１露光態様による撮像と第２露光態様による撮像との違いを説明するための説明図である。
【図１０】車外環境認識方法の処理の大まかな流れを示したフローチャートである。
【図１１】位置情報取得処理の流れを示したフローチャートである。
【図１２】代表距離導出処理の流れを示したフローチャートである。
【図１３】分割領域群生成処理の流れを示したフローチャートである。
【図１４】グループ化・特定物決定処理の流れを示したフローチャートである。
【図１５】発光源特定処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１８】
（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、車両１内に設けられた、複数（本実施形態では２つ）の撮像装置１１０と、画像処理装置１２０と、車外環境認識装置１３０と、車両制御装置１４０とを含んで構成される。
【００１９】
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、カラー画像、即ち、画素単位で３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））の輝度を取得することができる。ここでは、撮像装置１１０で撮像されたカラーの画像を輝度画像と呼び、後述する距離画像と区別する。
【００２０】
また、撮像装置１１０は、車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒毎（６０ｆｐｓ）に連続して生成する。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。
【００２１】
さらに、本実施形態において、撮像装置１１０は、車外環境の明るさに応じた露光時間や絞りを示す第１露光態様で検出領域を撮像し第１画像を取得する。また、撮像装置１１０は、ブレーキランプ等、特定の発光源が自発光しているか否かを判別可能な、露光時間が第１露光態様と異なる第２露光態様で検出領域を撮像し第２画像を取得する。例えば、昼間であれば、明るい車外環境に応じた第１露光態様の露光時間より第２露光態様の露光時間を短く、または、絞りを強くして第２画像を取得する。本実施形態において、第１画像および第２画像はそれぞれ輝度画像および距離画像として用いられる。また、上記第１露光態様と第２露光態様とは、以下のようにして実現される。
【００２２】
例えば、撮像装置１１０の周期的な撮像タイミングを時分割し、第１露光態様による撮像と第２露光態様による撮像とを交互に行うことで、第１画像と第２画像とを順次取得することができる。また、画素毎に２つのキャパシタが設けられ、その２つのキャパシタに並行して電荷をチャージできる撮像素子において、一度の露光でチャージする時間を異ならせて露光態様の異なる２つの画像を並行して取得することもできる。さらに、１つのキャパシタの電荷のチャージ中に、時間を異ならせて２回読み出し、露光態様の異なる２つの画像を並行して取得したりすることでも上記の目的を達成できる。また、撮像装置１１０を、露光態様を異ならせて予め２セット準備しておき（ここでは、２つの撮像装置１１０×２セット）、２セットの撮像装置１１０からそれぞれ画像を取得したりすることも可能である。露光態様を支配する露光時間は、例えば１〜６０ｍｓｅｃの範囲で適切に制御される。
【００２３】
ここで、対象物は、車両、信号機、道路、ガードレールといった独立して存在する立体物のみならず、ブレーキランプ（テールランプ）やウィンカー、信号機の各点灯部分等、立体物の部分として特定できる物も含む。本実施形態では、特に、車両後部に位置するブレーキランプ（位置はテールランプに等しい）、ハイマウントストップランプ、テールランプ、ウィンカーについて説明する。
【００２４】
画像処理装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、２つの画像データに基づいて、画像中の任意のブロック（所定数の画素を集めたもの）の視差、および、任意のブロックの画面内の位置を示す画面位置を含む視差情報を導出する。画像処理装置１２０は、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、ブロックの説明に用いられた「水平」は、撮像した画像の画面横方向を示し、実空間上の水平方向に相当する。また、「垂直」は、撮像した画像の画面縦方向を示し、実空間上の鉛直方向に相当する。
【００２５】
このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度値（Ｙ色差信号）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。
【００２６】
ただし、画像処理装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する相対距離に相当）を画像データに対応付けた画像を距離画像という。
【００２７】
図２は、輝度画像１２４と距離画像１２６を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２２について図２（ａ）のような輝度画像（画像データ）１２４が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２４の一方のみを模式的に示している。画像処理装置１２０は、このような輝度画像１２４からブロック毎の視差を求め、図２（ｂ）のような距離画像１２６を形成する。距離画像１２６における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。
【００２８】
視差は、画像のエッジ部分（隣り合う画素間で明暗の差分が大きい部分）で特定され易いので、距離画像１２６において黒のドットが付されている、視差が導出されたブロックは、輝度画像１２４においてもエッジとなっていることが多い。したがって、図２（ａ）に示す輝度画像１２４と図２（ｂ）に示す距離画像１２６とは各対象物の輪郭について似たものとなる。本実施形態では、このような輝度画像１２４と距離画像１２６とを第１画像および第２画像それぞれに基づいて生成している。したがって、本実施形態では、第１画像に基づく輝度画像１２４、第１画像に基づく距離画像１２６、第２画像に基づく輝度画像１２４、第２画像に基づく距離画像１２６の画像が用いられる。
【００２９】
車外環境認識装置１３０は、画像処理装置１２０から第１画像および第２画像に基づく輝度画像１２４と距離画像１２６とを取得し、距離画像１２６から導き出した自車両からの相対距離や、輝度画像１２４における輝度から、検出領域における対象物がいずれの特定物に対応するかを特定する。例えば、相対距離等によって先行車両を特定し、さらに、輝度によってその先行車両のブレーキランプを特定することで、ブレーキランプを有する車両をより正確に把握することができる。そうすることで、ブレーキランプによる当該車両の減速を迅速に把握し、衝突回避制御やクルーズコントロールに利用することが可能となる。
【００３０】
尚、上記相対距離は、距離画像１２６におけるブロック毎の視差情報を、所謂ステレオ法を用いて三次元の位置情報に変換することで求められる。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。かかる車外環境認識装置１３０の処理に関しては、後ほど詳述する。
【００３１】
車両制御装置１４０は、車外環境認識装置１３０で特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１４０は、操舵の角度を検出する舵角センサ１４２や、車両１の速度を検出する車速センサ１４４等を通じて現在の車両１の走行状態を取得し、アクチュエータ１４６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１４６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１４０は、対象物との衝突が想定される場合、運転者の前方に設置されたディスプレイ１４８にその旨警告表示（報知）を行うと共に、アクチュエータ１４６を制御して車両１を自動的に制動する。かかる車両制御装置１４０は、車外環境認識装置１３０と一体的に形成することもできる。
【００３２】
（車外環境認識装置１３０）
図３は、車外環境認識装置１３０の概略的な機能を示した機能ブロック図である。図３に示すように、車外環境認識装置１３０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。
【００３３】
Ｉ／Ｆ部１５０は、画像処理装置１２０や車両制御装置１４０との双方向の情報交換を行うためのインターフェースである。かかるＩ／Ｆ部１５０は画像取得部として機能する。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、特定物テーブル（対応付け）や、以下に示す各機能部の処理に必要な様々な情報を保持し、また、画像処理装置１２０から受信した第１画像および第２画像に基づく輝度画像１２４、距離画像１２６を一時的に保持する。ここで、特定物テーブルは、以下のように利用される。
【００３４】
図４は、特定物テーブル２００を説明するための説明図である。特定物テーブル２００では、複数の特定物に対して、輝度の範囲を示す輝度範囲２０２と、道路表面からの高さの範囲を示す高さ範囲２０４と、特定物の水平距離の幅範囲２０６と、特定物の垂直距離の幅範囲２０８と、同一特定物との水平距離の差分２１０と、同一特定物との垂直距離の差分２１２と、同一特定物との面積比２１４とが対応付けられている。ここで、特定物としては、「ブレーキランプ（赤）」、「ハイマウントストップランプ（赤）」、「テールランプ（赤）」、「ウィンカー（橙）」等、車両を特定する際に要する様々な物が想定されている。特定物は図４に記載された物に限定されないのは言うまでもない。特定物のうち、例えば、特定物「ブレーキランプ（赤）」には、輝度範囲（Ｒ）「２００以上」、輝度範囲（Ｇ）「５０以下」、輝度範囲（Ｂ）「５０以下」、高さ範囲「０．３〜２．０ｍ」、水平距離の幅範囲「０．０５〜０．２ｍ」、垂直距離の幅範囲「０．０５〜０．２ｍ」、水平距離の差分「１．４〜１．９ｍ」、垂直距離の差分「０．３ｍ以下」、面積比「５０〜２００％」が対応付けられている。
【００３５】
中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０やデータ保持部１５２を制御する。また、本実施形態において、中央制御部１５４は、位置情報取得部１６０、代表距離導出部１６２、分割領域群生成部１６４、グループ化部１６６、特定物決定部１６８、輝度取得部１７０、発光源特定部１７２、位置対応付け部１７４、配置判定部１７６、ブレーキランプ特定部１７８としても機能する。
【００３６】
また、位置情報取得部１６０、代表距離導出部１６２、分割領域群生成部１６４、グループ化部１６６、および、特定物決定部１６８は、第１画像に基づき検出領域内で先行する車両が占有する車両領域を特定する車両特定部として機能する。
【００３７】
位置情報取得部１６０は、第１画像に基づく距離画像１２６における検出領域１２２内のブロック毎の視差情報を、上述したステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む三次元の位置情報に変換する。ここで、視差情報が、距離画像１２６における各ブロックの視差を示すのに対し、三次元の位置情報は、実空間における各ブロックの相対距離の情報を示す。また、視差情報が画素単位ではなくブロック単位、即ち複数の画素単位で導出されている場合、その視差情報はブロックに属する全ての画素の視差情報とみなして、画素単位の計算を実行することができる。
【００３８】
図５は、位置情報取得部１６０による三次元の位置情報への変換を説明するための説明図である。位置情報取得部１６０は、まず、距離画像１２６を図５の如く画素単位の座標系として認識する。ここでは、図５中、左下隅を原点（０，０）とし、横方向をｉ座標軸、縦方向をｊ座標軸とする。したがって、視差ｄｐを有する画素は、画素位置ｉ、ｊと視差ｄｐによって（ｉ，ｊ，ｄｐ）のように表すことができる。
【００３９】
本実施形態における実空間上の三次元座標系を、車両１を中心とした相対座標系で考える。ここでは、車両１の進行方向右側方をＸ軸の正方向、車両１の上方をＹ軸の正方向、車両１の進行方向（前方）をＺ軸の正方向、２つの撮像装置１１０の中央を通る鉛直線と道路表面との交点を原点（０，０，０）とする。このとき、道路を平面と仮定すると、道路表面がＸ−Ｚ平面（ｙ＝０）と一致することとなる。位置情報取得部１６０は、以下の（数式１）〜（数式３）によって距離画像１２６上のブロック（ｉ，ｊ，ｄｐ）を、実空間上の三次元の点（ｘ，ｙ，ｚ）に座標変換する。
ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …（数式１）
ｙ＝ＣＨ＋ｚ・ＰＷ・（ｊ−ＪＶ） …（数式２）
ｚ＝ＫＳ／ｄｐ …（数式３）
ここで、ＣＤは撮像装置１１０同士の間隔（基線長）であり、ＰＷは１画素当たりの視野角であり、ＣＨは撮像装置１１０の道路表面からの配置高さであり、ＩＶ、ＪＶは車両１の真正面における無限遠点の画像上の座標（画素）であり、ＫＳは距離係数（ＫＳ＝ＣＤ／ＰＷ）である。
【００４０】
したがって、位置情報取得部１６０は、ブロックの相対距離と、ブロックと同相対距離にある道路表面上の点とブロックとの距離画像１２６上の検出距離（例えば画素数）とに基づいて、道路表面からの高さを導出していることとなる。
【００４１】
代表距離導出部１６２は、まず、距離画像１２６の検出領域１２２を、水平方向に対して複数の分割領域２１６に分割する。続いて、代表距離導出部１６２は、道路表面より上方に位置するブロックを対象に、位置情報に基づいて分割領域毎に、複数に区分した所定距離それぞれに含まれる相対距離を積算してヒストグラムを生成する。そして、代表距離導出部１６２は、積算した距離分布のピークに相当する代表距離を導出する。ここで、ピークに相当するとは、ピーク値またはピーク近傍で任意の条件を満たす値をいう。
【００４２】
図６は、分割領域２１６と代表距離２２０とを説明するための説明図である。図５に示したように、距離画像１２６を水平方向に複数分割すると、分割領域２１６は図６（ａ）のような短冊形状になる。このような短冊形状の分割領域２１６は、本来、例えば、水平幅４画素のものが１５０列配列して成るが、ここでは、説明の便宜上、検出領域１２２を１６等分したもので説明する。
【００４３】
続いて、代表距離導出部１６２は、各分割領域２１６において、全てのブロックの相対距離を参照し、ヒストグラム（図６（ｂ）中、横長の四角（バー）で示す）を作成すると、図６（ｂ）のような距離分布２１８が得られる。ここで、縦方向は、区分した所定距離を、横方向は、区分した所定距離それぞれに相対距離が含まれるブロックの個数を示している。ただし、図６（ｂ）は計算を行う上での仮想的な画面であり、実際には視覚的な画面の生成を伴わない。そして、代表距離導出部１６２は、このようにして導出された距離分布２１８を参照し、ピークに相当する相対距離である代表距離（図６（ｂ）中、黒で塗りつぶした四角で示す）２２０を特定する。
【００４４】
分割領域群生成部１６４は、隣接する分割領域２１６同士の代表距離２２０を順次比較し、代表距離２２０が近接する（例えば、１ｍ以下に位置する）分割領域２１６をグループ化して１または複数の分割領域群を生成する。このとき、３以上の分割領域２１６で代表距離２２０が近接していた場合にも、連続する全ての分割領域２１６を分割領域群として纏める。
【００４５】
図７は、分割領域群２２２を説明するための説明図である。分割領域群生成部１６４は、分割領域２１６同士を比較し、図７に示すように代表距離２２０をグループ化する（グループ化後の仮想的なグループ２２４）。かかるグループ化によって、分割領域群生成部１６４は、道路表面より上方に位置する立体物を特定することができる。また、分割領域群生成部１６４は、そのグループ化された分割領域群２２２中における水平方向および鉛直方向の相対距離の推移に基づいて、先行車両の後部、側部、またはガードレール等の道路に沿った構造物等のいずれであるかを認識することが可能となる。
【００４６】
グループ化部１６６は、分割領域群２２２内における、相対距離ｚが代表距離２２０に相当するブロックを基点として、そのブロックと、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲（例えば０．１ｍ）内にあるブロックとを、同一の特定物に対応すると仮定してグループ化する。上記の範囲は実空間上の距離で表され、製造者や搭乗者によって任意の値に設定することができる。また、グループ化部１６６は、グループ化により新たに追加されたブロックに関しても、そのブロックを基点として、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が所定範囲内にあるブロックをさらにグループ化する。結果的に、同一の特定物と仮定可能なブロック全てがグループ化されることとなる。
【００４７】
また、ここでは、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分をそれぞれ独立して判定し、全てが所定範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の二乗平均√（（水平距離ｘの差分）２＋（高さｙの差分）２＋（相対距離ｚの差分）２）が所定範囲に含まれる場合に同一のグループとしてもよい。かかる計算により、ブロック同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。
【００４８】
特定物決定部１６８は、グループ化部１６６がグループ化したブロック群が予め定められた所定の条件を満たしていれば、その対象物を特定物として決定する。例えば、特定物決定部１６８は、グループ化されたブロック群が道路上に位置する場合、そのブロック群全体の大きさが、特定物「車両」の大きさに相当するか否か判定し、特定物「車両」の大きさに相当すると判定されれば、そのブロック群を特定物「車両」と特定する。ここでは、特定物「車両」と特定されたブロック群が画面上占有する領域を特に車両領域と呼ぶ。
【００４９】
こうして、車外環境認識装置１３０では、第１画像としての距離画像１２６から、１または複数のブロック群を、特定物として抽出することができ、その情報を様々な制御に用いることが可能となる。例えば、検出領域内の任意のブロック群が車両であると特定されると、特定した車両（先行車両）との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御することができる。以下では、このような先行車両の特定や先行車両の挙動をさらに迅速に把握するための第２画像を用いた処理を説明する。
【００５０】
輝度取得部１７０は、後述する発光源特定部１７２の制御指令に従って、第２画像に基づく輝度画像１２４から、画素単位で輝度（画素単位で３つの色相（Ｒ、Ｇ、Ｂ）の輝度）を取得する。このとき、検出領域が例えば雨天や曇天であった場合、輝度取得部１７０は、本来の輝度を取得できるようにホワイトバランスを調整してから取得してもよい。
【００５１】
発光源特定部１７２は、データ保持部１５２に保持された特定物テーブル２００と、第２画像に基づく輝度画像１２４の各画素の輝度とによって、所定の発光源の位置を特定する。具体的に、発光源特定部１７２は、まず、第２画像に基づく輝度画像１２４における任意の画素の輝度を、輝度取得部１７０に取得させる。続いて、発光源特定部１７２は、特定物テーブル２００に登録されている特定物から、第２露光態様に対応付けられた特定の発光源（ここでは「ブレーキランプ」）を選択し、取得した１の画素の輝度が、選択した特定物の輝度範囲２０２に含まれるか否か判定する。そして、対象となる輝度範囲２０２に含まれれば、その画素を当該特定物と仮定する。
【００５２】
上記第２画像は、上述したように特定の発光源、例えば、「ブレーキランプ」が自発光しているか否かを判別可能な第２露光態様で撮像した画像である。「ブレーキランプ」のように自発光するものは、太陽や街灯の明るさに拘わらず、高い輝度を取得することができる。特に、「ブレーキランプ」の明るさは法規で概ね規定されているので、所定の明るさしか露光できない露光態様（例えば、短時間の露光）で撮像することで、「ブレーキランプ」に相当する画素のみを容易に抽出することが可能である。
【００５３】
図８および図９は、第１露光態様による撮像と第２露光態様による撮像との違いを説明するための説明図である。図８は、第１露光態様による第１画像を示し、特に、図８（ａ）ではテールランプが点灯しており、図８（ｂ）ではブレーキランプが点灯している。図８（ａ）と図８（ｂ）を比較して理解できるように、車外環境の明るさに応じた第１露光態様では、テールランプ点灯時（即ちブレーキランプ非点灯時）のテールランプ位置２３０の輝度と、ブレーキランプ点灯時のブレーキランプ位置２３２とで輝度の差がほとんど生じない。これは、露光時間の長い第１露光態様では、テールランプもブレーキランプもＲＧＢ成分全ての輝度がサチレーションしてしまうことに起因する。
【００５４】
図９は、第２露光態様による第２画像を示し、特に、図９（ａ）ではテールランプが点灯しており、図９（ｂ）ではブレーキランプが点灯している。第２露光態様は、ブレーキランプが点灯しているときの輝度のみを取得可能に設定されている。したがって、図９（ａ）と図９（ｂ）を比較して理解できるように、テールランプ点灯時（即ちブレーキランプ非点灯時）のテールランプ位置２３０では、その明るさに準じる輝度をほとんど取得できず、ブレーキランプ点灯時のブレーキランプ位置２３２では、明確に高い輝度を取得できている。
【００５５】
かかる第２露光態様では、ブレーキランプの輝度が撮像素子において、Ｒ成分がサチレーションするかしないか程度の露光時間に設定することが好ましい。撮像装置１１０は、通常、ダイナミックレンジが人間より大幅に狭いので、夕方くらいの明度の低さで第１露光態様により撮像すると、車外環境に対して相対的にブレーキランプの輝度が高くなる。すると、Ｒ成分のみならず、Ｒ成分とオーバーラップしてＧ成分やＢ成分も最大輝度（例えば輝度２５５）にサチレーションし、画素が白くなってしまう。そこで、第２露光態様を、ブレーキランプ点灯時にＲ成分がサチレーションするかしないか程度の露光時間とすることで、外部の環境に拘わらず、Ｇ成分やＢ成分の輝度を抑制しつつ、Ｒ成分のみを最大輝度で抽出する。こうして、例えば、テールランプとの輝度差を最大限確保することが可能となる。
【００５６】
具体的に、夜間の走行時に先行車両が存在する場合に、テールランプが点灯している程度、例えば、輝度範囲（Ｒ）「５０」、輝度範囲（Ｇ）「５０」、輝度範囲（Ｂ）「５０」程度では第２画像に表示されない。これに対して、ブレーキランプが点灯していると、図４の特定物テーブル２００に示すように、輝度範囲２０２が、輝範囲度（Ｒ）「２００以上」、輝度範囲（Ｇ）「５０以下」、輝度範囲（Ｂ）「５０以下」となり、第２露光態様で撮像したとしても、その位置が把握できる程度に第２画像に表示される。こうして発光源特定部１７２は、第２画像を通じて、ブレーキランプ等、所定の発光源のみを特定することが可能となる。また、ここでは、第２露光態様による露光時間を固定しているが、車外環境に応じて自発的にまたは搭乗者の操作に応じて調整されるとしてもよい。
【００５７】
また、発光源特定部１７２は、発光源候補とされた画素同士の水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が所定範囲内にある場合、その複数の画素を１の発光源候補としてグループ化する。こうして、ブレーキランプを構成する画素が複数に跨がっていても、また、車両１の左右のブレーキランプがそれぞれ複数のランプで構成されている場合であっても、それを左右に区別されるブレーキランプの一方として認識することが可能となる。
【００５８】
また、発光源特定部１７２は、この１の発光源候補の大きさが予め定められた第１閾値（例えば、水平および垂直の幅０．０５ｍ）以上の場合にのみ、１の発光源候補を発光源として特定する。尚、発光源特定部１７２は、大きさに加えて、その発光源候補の形も条件としてよい。例えば、ブレーキランプが車両後部の左右端部に鉛直方向に延伸する形状である場合、その大きさのみならず、ブレーキランプとみなせる形状であることを判定する。こうして、本来、所定の発光源としてみなすべきではないノイズに相当する発光源を排除し、ブレーキランプ等、所望する発光源を抽出することができるので、特定物を高精度に特定することが可能となる。
【００５９】
さらに、上記第１閾値を、車外環境の明るさに応じて、予め、段階的に複数設けてもよい。例えば、車外環境の明るさが、第２閾値（例えば、輝度２００）未満の場合、第１閾値として０．０５ｍを参照し、第２閾値以上の場合、第１閾値として、０．０５ｍより大きい０．１ｍを参照する。したがって、発光源特定部１７２は、照度計等を通じて取得した車外環境の明るさが予め定められた第２閾値未満の場合、１の発光源候補の大きさが第１閾値（０．０５ｍ）以上の場合にのみ発光源として特定し、また、車外環境の明るさが第２閾値以上の場合、１の発光源候補の大きさが第１閾値（０．１ｍ）以上の場合にのみ発光源として特定する。太陽光等により車外環境の明るさが非常に強い場合、例えば、ブレーキランプが非点灯であっても、そのブレーキランプの赤色のカバーに太陽光が反射するだけで、ブレーキランプと同等の輝度が部分的に検出される場合がある。この場合、第２露光態様によっても、非点灯のブレーキランプを点灯しているブレーキランプとして誤認識する可能性があるので、発光源特定部１７２は、車外環境の明るさが予め定められた第２閾値以上である場合、例えば、大きさの条件を０．０５ｍから０．１ｍと厳しくすることで、本来ブレーキランプと認識すべきではない候補が抽出されても、それを除外する。
【００６０】
ただし、発光源特定部１７２は、上記ブレーキランプの他にハイマウントストップランプを検出することができる。ハイマウントストップランプは、ブレーキランプより高い位置に設けられたランプであるが、ブレーキランプと異なりテールランプとしては機能しない。したがって、ハイマウントストップランプを検出することで、ブレーキランプの検出精度を高めることができる。このとき、発光源特定部１７２は、発光源候補の大きさが予め定められた第３閾値（例えば、０．１ｍ）以上の場合にのみ、発光源候補をハイマウントストップランプとして特定してもよい。かかるハイマウントストップランプについては後ほど詳述する。
【００６１】
このように、発光源特定部１７２によって、ブレーキランプやハイマウントストップランプのみを高精度に抽出することができる。しかし、第２露光態様による第２画像のみでは、夜間などに検出領域１２２全体の輝度が低く（暗く）なってしまい、ブレーキランプ以外は何も把握できなくなってしまう。そこで、上述した第１露光態様による第１画像を併用して特定物としての「車両」を特定させ、当該ブレーキランプの位置と連携させる。
【００６２】
位置対応付け部１７４は、特定物決定部１６８が特定物「車両」としてグループ化した車両領域と発光源であるブレーキランプやハイマウントストップランプの位置とを対応付ける。こうして、先行する車両の外縁と車両のブレーキランプやハイマウントストップランプとの位置関係が明確になる。
【００６３】
配置判定部１７６は、同一の先行車両に存在すると仮定される２対のブレーキランプの組み合わせを特定し、図４に示した特定物テーブル２００に基づいて、位置対応付け部１７４によって対応付けられた車両領域と発光源であるブレーキランプの位置との相対配置が適切な配置か否かを判定する。配置判定部１７６は、例えば、ブレーキランプが、それ単体で高さ範囲「０．３〜２．０ｍ」、水平距離の幅範囲「０．０５〜０．２ｍ」、垂直距離の幅範囲「０．０５〜０．２ｍ」の条件を満たすか判定する。さらに、配置判定部１７６は、２対のブレーキランプの組み合わせが、水平距離の差分「１．４〜１．９ｍ」、垂直距離の差分「０．３ｍ以下」、面積比「５０〜２００％」の条件を満たすか否かを判定する。かかる条件を満たすことで、先行車両のブレーキランプが点灯していると特定されることとなる。このように、ブレーキランプと仮定された発光源が車両の適切な位置に対応している場合にのみブレーキランプとして正式に特定する構成により、リアフォグランプなど、同等の明るさで一灯だけで点灯している発光源を誤認識するのを防止することができる。
【００６４】
ただし、発光源特定部１７２がハイマウントストップランプを検出した場合、配置判定部１７６は、先行車両がハイマウントストップランプを有する車両であると認識し、以後、ハイマウントストップランプの相対配置も考慮してブレーキランプの点灯有無を判定する。例えば、２対のブレーキランプより上方に位置し、かつ、２対のブレーキランプとの距離が等しい場合に、ハイマウントストップランプもブレーキランプと同等に扱う。ブレーキランプが非点灯であってもテールランプが点灯している場合、その位置にはある程度の輝度が認識される。しかし、ハイマウントストップランプは、ブレーキ動作時にしか点灯しないので、ブレーキランプより確実にブレーキ動作の有無を判断することができる。したがって、配置判定部１７６は、一旦ハイマウントストップランプを有すると判定した車両に関し、ハイマウントストップランプが検出されない場合にはブレーキランプが点灯していないと判定する。こうして、ブレーキランプの点灯有無をより高い信頼度で特定することが可能となる。
【００６５】
ブレーキランプ特定部１７８は、上記発光源特定部１７２によってブレーキランプが特定できなかった場合、第１画像に基づく輝度画像１２４を用い、テールランプの位置と、ブレーキランプとテールランプとの輝度の関係とによってブレーキランプの位置を特定する。具体的に、ブレーキランプ特定部１７８は、まず、第１画像による輝度画像１２４の車両領域のうち、Ｒ成分が比較的高く、高輝度の部位を特定することでテールランプの位置を検出する。そして、ブレーキランプ特定部１７８は、そのテールランプの位置情報を用いて、第２画像に基づく輝度画像１２４における上記テールランプの位置の輝度値が増加した場合にのみ、ブレーキランプが点灯していると判定する。かかる構成により、ブレーキランプ特定部１７８は、例えば、ブレーキランプの組み合わせの一方が故障し、ブレーキランプの画像が一方しか取得できなかったり、自動二輪等、そもそもブレーキランプが一灯しかない場合にもブレーキランプの点灯を適切に判定することができる。
【００６６】
この場合、ブレーキランプ非点灯時にもテールランプの位置を予め特定しておく必要があり、昼間では車両のうちＲ成分が比較的高い部位を、夜間では輝度がＲＧＢとも最大値にサチレーションしている部位をブレーキランプ候補として特定しておく。そして、ブレーキランプ特定部１７８は、第２画像のテールランプの位置を常に監視し、複数のフレーム間における輝度の変化、例えば、Ｒの輝度５０（テールランプ）から２００（ブレーキランプ）を検出する。ただし、昼間における赤色の先行車両には対応が困難である等、その機能を十分に発揮できない場合があるので、補完的なロジックとして利用するのがよい。
【００６７】
（車外環境認識方法）
以下、車外環境認識装置１３０の具体的な処理を図１０〜図１５のフローチャートに基づいて説明する。図１０は、画像処理装置１２０から第１画像または第２画像が送信された場合の割込処理に関する全体的な流れを示し、図１１〜図１５は、その中の個別のサブルーチンを示している。また、ここでは、処理の対象部位としてブロックまたは画素を挙げており、輝度画像１２４や距離画像１２６の左下隅を原点とし、ブロックでは、画像水平方向に１〜１５０ブロック、垂直方向に１〜５０ブロックの範囲で、画素では、画像水平方向に１〜６００画素、垂直方向に１〜２００画素の範囲で当該車外環境認識方法による処理を遂行する。
【００６８】
図１０に示すように、当該車外環境認識方法による割込が発生すると、第１画像フラグがＯＮしているか否か判定される（Ｓ３００）。ただし、電源投入時は第１画像フラグは予めＯＮに設定されているとする。かかる第１画像フラグは、第１露光態様によって撮像するか第２露光態様によって撮像するかを切り換えるためのフラグである。そして、第１画像フラグがＯＮしていれば（Ｓ３００におけるＹＥＳ）、検出領域１２２内のブロック毎の視差情報が三次元の位置情報に変換され（Ｓ３０２）、分割領域２１６毎の代表距離２２０が導出される（Ｓ３０４）。続いて、分割領域２１６がグループ化されて分割領域群２２２が生成され（Ｓ３０６）、その分割領域群２２２内でブロックのグループ化が図られる（Ｓ３０８）。続いて、第１画像フラグがＯＦＦされ、次回の撮像のために、露光態様が第２露光態様に設定される（Ｓ３１０）。
【００６９】
第１画像フラグがＯＦＦであれば（Ｓ３００におけるＮＯ）、第２画像から発光源が特定されると共に（Ｓ３１２）、第１画像フラグがＯＮされ、次回の撮像のために、露光態様が第１露光態様に設定される（Ｓ３１４）。
【００７０】
ここでは、ステップＳ３０２〜Ｓ３１０に示す車両領域の特定処理と、ステップＳ３１２、Ｓ３１４に示す発光源の特定処理とを交互に実行させ、発光源の位置によって車両領域の特定精度を向上させ、また、車両領域の位置によって発光源の特定精度を向上させる。このように、車両領域と発光源との対応付けを相互に行うことで、より適切にブレーキランプを検出することが可能となる。
【００７１】
そして、位置対応付け部１７４は、特定物決定部１６８が特定物「車両」としてグループ化した車両領域と、発光源であるブレーキランプおよびハイマウントストップランプの位置とを対応付ける（Ｓ３１６）。
【００７２】
また、配置判定部１７６は、同一の先行車両に存在すると仮定される２対のブレーキランプやハイマウントストップランプの組み合わせを特定し、車両領域と２対のブレーキランプやハイマウントストップランプとの相対配置が適切な配置か否かを判定する（Ｓ３１８）。以上の処理によってもブレーキランプやハイマウントストップランプが特定できなかった場合は、第１画像に基づく輝度画像１２４を用い、テールランプの位置と、ブレーキランプとテールランプとの輝度の関係とによってブレーキランプの位置を特定する。以下、上記の処理を具体的に説明する。
【００７３】
（位置情報取得処理Ｓ３０２）
図１１を参照すると、位置情報取得部１６０は、ブロックを特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ４００）。続いて、位置情報取得部１６０は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ４０２）。次に、位置情報取得部１６０は、水平変数ｉに「１」を加算する（Ｓ４０４）。
【００７４】
位置情報取得部１６０は、第１画像に基づく距離画像１２６のブロック（ｉ，ｊ，ｄｐ）から視差情報ｄｐを取得する（Ｓ４０６）。そして、位置情報取得部１６０は、視差情報ｄｐを含むブロック（ｉ，ｊ，ｄｐ）を、上記数式１〜３を用い、実空間上の点（ｘ，ｙ，ｚ）に座標変換して、ブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）とする（Ｓ４０８）。
【００７５】
続いて、位置情報取得部１６０は、水平変数ｉが水平ブロックの最大値である１５０を超えたか否か判定し（Ｓ４１０）、水平変数ｉが最大値を超えていなければ（Ｓ４１０におけるＮＯ）、ステップＳ４０４の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ４１０にけるＹＥＳ）、位置情報取得部１６０は、垂直変数ｊが垂直ブロックの最大値である５０を超えたか否か判定する（Ｓ４１２）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ４１２におけるＮＯ）、ステップＳ４０２の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ４１２におけるＹＥＳ）、当該位置情報取得処理Ｓ３０２を終了する。こうして、距離画像１２６の視差情報ｄｐが三次元の位置情報に変換される。
【００７６】
（代表距離導出処理Ｓ３０４）
図１２を参照すると、代表距離導出部１６２は、道路形状パラメータを読み込み（Ｓ４５０）、検出領域１２２を、水平方向に対して例えば４画素単位で１５０個の分割領域２１６に分割する（Ｓ４５２）。次に、代表距離導出部１６２は、分割した１５０個の分割領域２１６から１の分割領域２１６を、例えば水平方向左側から順次抽出して、その分割領域２１６内に存在する任意のブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）を設定する（Ｓ４５４）。
【００７７】
代表距離導出部１６２は、ブロックの実空間上の座標ｚにおける道路表面の高さｙｒを算出し（Ｓ４５６）、ブロックの実空間上の座標ｙが道路表面の高さｙｒ以上となるブロックであれば、所定距離間隔で区分したヒストグラムにその相対距離を積算（投票）する（Ｓ４５８）。ここで、ブロックの実空間上の座標ｙが道路表面の高さｙｒ以上であったとしても、道路表面から高さ０．１ｍ以下のブロックは、道路上の白線や汚れ、影等であるとみなして処理対象から除外する。また、自己の車両１の高さより上方に位置するブロックも、歩道橋や標識等であるとみなして処理対象から除外する。
【００７８】
代表距離導出部１６２は、抽出された１の分割領域２１６内のブロック全てに関し、当該ヒストグラムへの積算処理を遂行したか判定する（Ｓ４６０）。ここで、ブロック全てが完了していなければ（Ｓ４６０におけるＮＯ）、ヒストグラムへの積算処理を遂行していないブロックに関して設定処理Ｓ４５４からを繰り返す。
【００７９】
ブロック全てが完了していれば（Ｓ４６０におけるＹＥＳ）、代表距離導出部１６２は、このようにして生成されたヒストグラムを参照し、ヒストグラムの度数（相対距離の個数）が所定の閾値（適宜設定される）以上となる区間が存在したら当該分割領域２１６には立体物が存在すると判定する。そして、代表距離導出部１６２は、ピークに相当する相対距離を代表距離２２０とする（Ｓ４６２）。
【００８０】
そして、代表距離導出部１６２は、複数の分割領域２１６全てに関して、当該代表距離２２０の導出処理を遂行したか判定する（Ｓ４６４）。ここで、分割領域２１６全てが完了していると判定されなければ（Ｓ４６４におけるＮＯ）、新たな分割領域２１６を設定し（Ｓ４６６）、新たな分割領域２１６に関してブロックの設定処理Ｓ４５４からを繰り返す。一方、代表距離２２０の導出処理が全て完了していれば（Ｓ４６４におけるＹＥＳ）、当該代表距離導出処理Ｓ３０４を終了する。
【００８１】
（分割領域群生成処理Ｓ３０６）
図１３を参照すると、分割領域群生成部１６４は、複数の分割領域２１６から任意の分割領域２１６を、例えば水平方向左側から順次特定し、その任意の分割領域２１６の水平方向右側に隣接する分割領域２１６も特定する（Ｓ５００）。そして、分割領域群生成部１６４は、両分割領域２１６に代表距離２２０が存在するか否か判定する（Ｓ５０２）。ここで、両分割領域２１６に代表距離２２０が存在していなければ（Ｓ５０２におけるＮＯ）、分割領域の完了判定ステップＳ５０８に処理を移す。一方、両分割領域２１６に代表距離２２０が存在していれば（Ｓ５０２におけるＹＥＳ）、両分割領域２１６の代表距離２２０同士を比較する（Ｓ５０４）。
【００８２】
ここで、両代表距離２２０の差分が予め定められた閾値（同一の立体物とみなせる値）以下であれば、両代表距離２２０は近接しているとみなされ、分割領域群生成部１６４は、分割領域２１６同士をグループ化して分割領域群２２２とする（Ｓ５０６）。このとき、一方の分割領域２１６が既に分割領域群２２２として設定されている場合、他方の分割領域２１６は、その分割領域群２２２に統合される。
【００８３】
そして、分割領域群生成部１６４は、複数の分割領域２１６全てに関して、当該分割領域群２２２の生成処理Ｓ５０２、Ｓ５０４、Ｓ５０６を遂行したか判定する（Ｓ５０８）。ここで、全てが完了していなければ（Ｓ５０８におけるＮＯ）、新たな分割領域２１６を設定し（Ｓ５１０）、新たな分割領域２１６に関して特定処理Ｓ５００からを繰り返す。一方、分割領域群２２２の生成処理が全て完了していれば（Ｓ５０８におけるＹＥＳ）、当該分割領域群生成処理Ｓ３０６を終了する。
【００８４】
（グループ化・特定物決定処理Ｓ３０８）
図１４を参照すると、グループ化部１６６は、グループ化された複数の分割領域群２２２から１の分割領域群２２２を、例えば水平方向左側から順次抽出して、その分割領域群２２２内に存在する任意のブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）を設定する（Ｓ５５０）。
【００８５】
グループ化部１６６は、設定されたブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）と、分割領域群２２２内における、相対距離ｚが代表距離２２０に相当するブロックとを比較し、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲（例えば０．１ｍ）内にあるか否か判定する（Ｓ５５２）。予め定められた範囲内にある場合（Ｓ５５２におけるＹＥＳ）、そのブロックを、同一の特定物に対応すると仮定してグループ化する（Ｓ５５４）。予め定められた範囲内にない場合（Ｓ５５２におけるＮＯ）、ブロックの完了判定ステップＳ５５６に処理を移す。
【００８６】
グループ化部１６６は、抽出された１の分割領域群２２２内のブロック全てに関し、当該グループ化処理を遂行したか判定する（Ｓ５５６）。ここで、ブロック全てのグループ化処理が完了していなければ（Ｓ５５６におけるＮＯ）、グループ化処理を遂行していないブロックに関して設定処理Ｓ５５０からを繰り返す。
【００８７】
ブロック全てのグループ化処理が完了していれば（Ｓ５５６におけるＹＥＳ）、特定物決定部１６８は、このようにしてグループ化されたブロック群全体の大きさが、特定物「車両」の大きさに相当するか否か判定する（Ｓ５５８）。特定物「車両」の大きさに相当すると判定されれば（Ｓ５５８におけるＹＥＳ）、そのブロック群を特定物「車両」と特定する（Ｓ５６０）。特定物「車両」の大きさに相当すると判定されなければ（Ｓ５５８におけるＮＯ）、分割領域群２２２の完了判定ステップＳ５６２に処理を移す。
【００８８】
そして、グループ化部１６６は、複数の分割領域群２２２全てに関して、当該特定物決定判定Ｓ５５８、Ｓ５６０を遂行したか判定する（Ｓ５６２）。ここで、分割領域群２２２全てが完了していると判定されなければ（Ｓ５６２におけるＮＯ）、新たな分割領域群２２２を設定し（Ｓ５６４）、新たな分割領域群２２２に関してブロックの設定処理Ｓ５５０からを繰り返す。一方、特定物決定判定Ｓ５５８が全て完了していれば（Ｓ５６２におけるＹＥＳ）、当該グループ化・特定物決定処理Ｓ３０８を終了する。
【００８９】
上記グループ化においては、さらに、複数のグループに対して相互の位置関係が判定される。例えば、同種類の立体物のグループ間で、端点の位置が接近し、かつ、立体物中における水平方向および鉛直方向の相対距離の推移がほぼ等しい（連続する）場合には、同一立体物の同一の面であると判断されて、それらのグループが一つのグループに統合される。このとき立体物中における水平方向および鉛直方向の相対距離の推移は、ハフ変換あるいは最小二乗法による近似直線によって特定することができる。また、先行車両であれば、ｚ座標に対する相対移動速度が等しいことによっても複数のグループを一つのグループに統合することができる。
【００９０】
また、ここまでの処理がブロック単位で行われている場合、そのブロック内全ての画素に同一の情報を設定することで画素単位に変更する。
【００９１】
（発光源特定処理Ｓ３１２）
図１５を参照すると、発光源特定部１７２は、画素を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ６００）。続いて、発光源特定部１７２は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ６０２）。次に、発光源特定部１７２は、水平変数ｉに「１」を加算する（Ｓ６０４）。
【００９２】
発光源特定部１７２は、第２画像に基づく輝度画像１２４の画素（ｉ，ｊ，ｂｒ）から輝度ｂｒを取得する（Ｓ６０６）。そして、発光源特定部１７２は、特定物「ブレーキランプ」の輝度範囲２０２と、取得した１の画素の輝度とを比較し、取得した１の画素の輝度が特定物「ブレーキランプ」の輝度範囲２０２に含まれるか否か判定する（Ｓ６０８）。輝度範囲２０２に含まれていなければ（Ｓ６０８におけるＮＯ）、水平ブロック判定処理Ｓ６１６に処理を移す。輝度範囲２０２に含まれていれば（Ｓ６０８におけるＹＥＳ）、発光源特定部１７２は、その画素を特定物「ブレーキランプ」と仮定する（Ｓ６１０）。
【００９３】
そして、発光源特定部１７２は、特定物「ブレーキランプ」と仮定された他の画素との水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が所定範囲内にあるか否か判定する（Ｓ６１２）。所定範囲内にあれば（Ｓ６１２におけるＹＥＳ）、両画素を１の特定物「ブレーキランプ」としてグループ化する（Ｓ６１４）。所定範囲内になければ（Ｓ６１２におけるＮＯ）、水平ブロック判定処理Ｓ６１６に処理を移す。
【００９４】
続いて、発光源特定部１７２は、水平変数ｉが水平ブロックの最大値である６００を超えたか否か判定し（Ｓ６１６）、水平変数ｉが最大値を超えていなければ（Ｓ６１６におけるＮＯ）、ステップＳ６０４の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ６１６にけるＹＥＳ）、発光源特定部１７２は、垂直変数ｊが垂直ブロックの最大値である２００を超えたか否か判定する（Ｓ６１８）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ６１８におけるＮＯ）、ステップＳ６０２の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ６１８におけるＹＥＳ）、明度判定処理Ｓ６２０に処理を移す。こうして、特定物「ブレーキランプ」と仮定された複数の画素群が生成される。
【００９５】
次に、発光源特定部１７２は、照度計等を通じて取得した車外環境の明るさが予め定められた第２閾値未満か否か判定する（Ｓ６２０）。車外環境の明るさが第２閾値未満であれば（Ｓ６２０におけるＹＥＳ）、第１閾値として低い（緩い）値（例えば０．０５ｍ）を設定し、第２閾値以上であれば（Ｓ６２０におけるＮＯ）、第１閾値として高い（厳しい）値（例えば０．１ｍ）を設定する。
【００９６】
続いて、発光源特定部１７２は、特定物「ブレーキランプ」と仮定され、グループ化された複数の画素群から１の画素群を順次設定する（Ｓ６２６）。
【００９７】
続いて、発光源特定部１７２は、設定された画素群の大きさが、ハイマウントストップランプの大きさを示す第３閾値以上か否か判定する（Ｓ６２８）。画素群の大きさが第３閾値以上であれば（Ｓ６２８におけるＹＥＳ）、その画素群をハイマウントストップランプと特定して、画素群完了判定ステップＳ６３６に処理を移す（Ｓ６３０）。また、画素群の大きさが第３閾値未満であれば（Ｓ６２８におけるＮＯ）、発光源特定部１７２は、設定された画素群の大きさが、ブレーキランプの大きさを示す第１閾値以上か否か判定する（Ｓ６３２）。画素群の大きさが第１閾値以上であれば（Ｓ６３２におけるＹＥＳ）、その画素群をブレーキランプと特定して、画素群完了判定ステップＳ６３６に処理を移す（Ｓ６３４）。画素群の大きさが第１閾値未満であれば（Ｓ６３２におけるＮＯ）、画素群完了判定ステップＳ６３６に処理を移す。
【００９８】
発光源特定部１７２は、画素群全てに関し、当該画素群の大きさ判定処理を遂行したか判定する（Ｓ６３６）。ここで、画素群全てが完了していなければ（Ｓ６３６におけるＮＯ）、グループ化処理を遂行していない画素群の設定処理Ｓ６２６からを繰り返す。一方、画素群全てが完了していれば（Ｓ６３６におけるＹＥＳ）、当該発光源特定処理Ｓ３１２を終了する。
【００９９】
以上、説明した、車外環境認識装置１３０や車外環境認識方法によれば、発光源が点灯したときの絶対的な輝度を利用して、発光源の点灯有無を高精度に判断することが可能となる。したがって、例えばブレーキランプの点灯を的確に把握することが可能となり、先行車両の減速動作を迅速かつ的確に推測することができる。
【０１００】
また、コンピュータを、車外環境認識装置１３０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【０１０１】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１０２】
上述した実施形態においては、特にブレーキランプとハイマウントストップランプを例に挙げて説明したが、かかる場合に限らず、露光態様を異ならせることで把握可能な発光源として、テールランプやウィンカー等を上げることもできる。ここでは、テールランプを検出することで、先行車両の夜間の定常走行を把握することができ、また、ウィンカーを検出することで、左折や右折のための減速を迅速に把握することができる。
【０１０３】
また、上述した実施形態においては、対象物の三次元位置を複数の撮像装置１１０を用い画像データ間の視差に基づいて導出しているが、かかる場合に限られず、例えば、レーザレーダ測距装置等、既知の様々な距離測定装置を用いることができる。ここで、レーザレーダ測距装置は、検出領域１２２にレーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、この所要時間から物体までの距離を測定するものである。
【０１０４】
また、上述した実施形態においては、距離画像１２６を用いて、ブロックの相対距離を求めているが、対象物の画面上の配置や大きさにより、特定物をある程度特定できる場合、単眼の撮像装置１１０によって本実施形態を実現することも可能である。また、オプティカルフローにより、動きベクトルを導出することでも特定物を特定することができる。
【０１０５】
また、上述した実施形態においては、撮像装置１１０がカラー画像を取得することを前提としているが、かかる場合に限られず、モノクロ画像を取得することでも本実施形態を遂行することができる。
【０１０６】
また、上述した実施形態では、位置情報取得部１６０が、画像処理装置１２０から距離画像（視差情報）１２６を受けて三次元の位置情報を生成している例を挙げている。しかし、かかる場合に限られず、画像処理装置１２０において予め三次元の位置情報を生成し、位置情報取得部１６０は、その生成された三次元の位置情報を取得するとしてもよい。このように、機能分散を図ることで、車外環境認識装置１３０の処理負荷を軽減することが可能となる。
【０１０７】
また、上述した実施形態においては、位置情報取得部１６０、代表距離導出部１６２、分割領域群生成部１６４、グループ化部１６６、特定物決定部１６８、輝度取得部１７０、発光源特定部１７２、位置対応付け部１７４、配置判定部１７６、ブレーキランプ特定部１７８は中央制御部１５４によってソフトウェアで動作するように構成している。しかし、上記の機能部をハードウェアによって構成することも可能である。
【０１０８】
なお、本明細書の車外環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【０１０９】
本発明は、自車両外の環境を認識する車外環境認識装置および車外環境認識方法に利用することができる。
【符号の説明】
【０１１０】
１ …車両
１１０ …撮像装置
１２２ …検出領域
１２４ …輝度画像
１２６ …距離画像
１３０ …車外環境認識装置
１６０ …位置情報取得部
１６２ …代表距離導出部
１６４ …分割領域群生成部
１６６ …グループ化部
１６８ …特定物決定部
１７０ …輝度取得部
１７２ …発光源特定部
１７４ …位置対応付け部
１７６ …配置判定部
１７８ …ブレーキランプ特定部
【特許請求の範囲】
【請求項１】
車外環境の明るさに応じた第１露光態様で第１画像を取得すると共に、発光源が自発光しているか否かを判別可能な、露光時間が第１露光態様と異なる第２露光態様で第２画像を取得する画像取得部と、
前記第１画像に基づき検出領域内で先行する車両が占有する車両領域を特定する車両特定部と、
前記第２画像の輝度に基づいて前記発光源の位置を特定する発光源特定部と、
前記車両領域と前記発光源の位置とを対応付ける位置対応付け部と、
を備えることを特徴とする車外環境認識装置。
【請求項２】
前記発光源特定部は、発光源の候補とされた画素同士の相対距離に基づいて複数の画素を１の発光源候補としてグルーピングし、該１の発光源候補の大きさが予め定められた第１閾値以上の場合にのみ、該１の発光源候補を発光源として特定することを特徴とする請求項１に記載の車外環境認識装置。
【請求項３】
前記第１閾値は、前記車外環境の明るさに応じて段階的に複数設けられていることを特徴とする請求項２に記載の車外環境認識装置。
【請求項４】
前記位置対応付け部によって対応付けられた前記車両領域と前記発光源の位置との相対配置が適切な配置か否かを判定する配置判定部をさらに備えることを特徴とする請求項１から３のいずれか１項に記載の車外環境認識装置。
【請求項５】
前記発光源は、少なくとも、ブレーキランプ、ハイマウントストップランプ、テールランプ、ウィンカーのいずれかであることを特徴とする請求項１から４のいずれか１項に記載の車外環境認識装置。
【請求項６】
前記発光源は、ブレーキランプとテールランプとを含み、
前記テールランプの位置と、前記ブレーキランプと該テールランプとの輝度の関係とに基づいて該ブレーキランプの位置を特定するブレーキランプ特定部をさらに備えることを特徴とする請求項１から５のいずれか１項に記載の車外環境認識装置。
【請求項７】
車外環境の明るさに応じた第１露光態様で第１画像を取得すると共に、発光源が自発光しているか否かを判別可能な、露光時間が第１露光態様と異なる第２露光態様で第２画像を取得し、
前記第１画像に基づき検出領域内で先行する車両が占有する車両領域を特定し、
前記第２画像の輝度に基づいて前記発光源の位置を特定し、
前記車両領域と前記発光源の位置とを対応付けることを特徴とする車外環境認識方法。
【請求項１】
車外環境の明るさに応じた第１露光態様で第１画像を取得すると共に、発光源が自発光しているか否かを判別可能な、露光時間が第１露光態様と異なる第２露光態様で第２画像を取得する画像取得部と、
前記第１画像に基づき検出領域内で先行する車両が占有する車両領域を特定する車両特定部と、
前記第２画像の輝度に基づいて前記発光源の位置を特定する発光源特定部と、
前記車両領域と前記発光源の位置とを対応付ける位置対応付け部と、
を備えることを特徴とする車外環境認識装置。
【請求項２】
前記発光源特定部は、発光源の候補とされた画素同士の相対距離に基づいて複数の画素を１の発光源候補としてグルーピングし、該１の発光源候補の大きさが予め定められた第１閾値以上の場合にのみ、該１の発光源候補を発光源として特定することを特徴とする請求項１に記載の車外環境認識装置。
【請求項３】
前記第１閾値は、前記車外環境の明るさに応じて段階的に複数設けられていることを特徴とする請求項２に記載の車外環境認識装置。
【請求項４】
前記位置対応付け部によって対応付けられた前記車両領域と前記発光源の位置との相対配置が適切な配置か否かを判定する配置判定部をさらに備えることを特徴とする請求項１から３のいずれか１項に記載の車外環境認識装置。
【請求項５】
前記発光源は、少なくとも、ブレーキランプ、ハイマウントストップランプ、テールランプ、ウィンカーのいずれかであることを特徴とする請求項１から４のいずれか１項に記載の車外環境認識装置。
【請求項６】
前記発光源は、ブレーキランプとテールランプとを含み、
前記テールランプの位置と、前記ブレーキランプと該テールランプとの輝度の関係とに基づいて該ブレーキランプの位置を特定するブレーキランプ特定部をさらに備えることを特徴とする請求項１から５のいずれか１項に記載の車外環境認識装置。
【請求項７】
車外環境の明るさに応じた第１露光態様で第１画像を取得すると共に、発光源が自発光しているか否かを判別可能な、露光時間が第１露光態様と異なる第２露光態様で第２画像を取得し、
前記第１画像に基づき検出領域内で先行する車両が占有する車両領域を特定し、
前記第２画像の輝度に基づいて前記発光源の位置を特定し、
前記車両領域と前記発光源の位置とを対応付けることを特徴とする車外環境認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図８】
【図９】
【公開番号】特開２０１３−１０９３９１（Ｐ２０１３−１０９３９１Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５１５８８（Ｐ２０１１−２５１５８８）
【出願日】平成２３年１１月１７日（２０１１．１１．１７）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月１７日（２０１１．１１．１７）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]