車外環境認識装置および車外環境認識方法
【課題】対象物の特定精度を向上する。
【解決手段】
車外環境認識装置１３０は、複数の色識別子と輝度範囲とを対応付けて保持しておき、車外環境を撮像した画像を取得し、自車両との相対的な位置関係に応じて画像の検出領域を複数の特定領域に分割し（Ｓ３０６）、特定領域毎に色識別子に対応付けられた輝度範囲を再設定し（Ｓ３０８）、検出領域内の複数の対象部位の輝度と対象部位が位置する特定領域に再設定された輝度範囲とに基づいて、対象部位に色識別子を設定し（Ｓ３１０）、水平距離の差分および高さの差分が所定範囲内にある１または複数の対象部位をグループ化する（Ｓ３１２）。
【解決手段】
車外環境認識装置１３０は、複数の色識別子と輝度範囲とを対応付けて保持しておき、車外環境を撮像した画像を取得し、自車両との相対的な位置関係に応じて画像の検出領域を複数の特定領域に分割し（Ｓ３０６）、特定領域毎に色識別子に対応付けられた輝度範囲を再設定し（Ｓ３０８）、検出領域内の複数の対象部位の輝度と対象部位が位置する特定領域に再設定された輝度範囲とに基づいて、対象部位に色識別子を設定し（Ｓ３１０）、水平距離の差分および高さの差分が所定範囲内にある１または複数の対象部位をグループ化する（Ｓ３１２）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両外の環境を認識する車外環境認識装置および車外環境認識方法に関する。
【背景技術】
【０００２】
従来、自車両の前方に位置する車両や障害物等の対象物を検出し、検出した対象物との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。
【０００３】
こうした技術の多くは、先行車両を追跡して位置情報を更新し、先行車両の移動速度等を計算するように構成されており、この結果が、例えば衝突回避制御やクルーズコントロールなどに用いられる。また、このような制御を円滑に遂行すべく、先行車両以外の車外環境、例えば、信号機や道路標識といった対象物を認識して自車両の走行をサポートしたり、先行車両のブレーキランプを認識して先行車両の急な減速に備えたりしている。
【０００４】
上述した対象物は、自車両前方の車外環境を撮像した画像に基づいて特定される。このような車外環境を認識する技術として、例えば、車外のカラー画像を撮像し、同一の輝度（色）を有する、隣接する画素同士をグループ化し、信号機の赤色灯等の光源を対象物として認識する技術が知られている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３３４９０６０号
【特許文献２】特開２０１０−２２４９２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した衝突回避制御やクルーズコントロールを円滑に遂行するためには、例えば、ブレーキランプやウィンカー等の認識を通じて、先行車両の挙動をより詳細に把握する必要がある。また、信号機の赤色・黄色・青色灯等の車外環境を通じて、車両を走行する上で必要な交通情報をより正確に取得する必要もある。
【０００７】
例えば、上記ブレーキランプと信号機の赤色灯とは赤色の発光源として輝度が近似しているので、同一の基準（輝度範囲）を用いて抽出している。これは、検出対象を細分化しすぎると、以後の計算負荷が徒に増え、反応時間が遅れる結果を招き、ひいては円滑な衝突回避制御やクルーズコントロールに悪影響を及ぼしかねないからである。
【０００８】
しかし、同一の基準により、例えばブレーキランプと信号機の赤色灯とをいずれも抽出するとなると、その判定基準となる輝度範囲を広くとらなくてはならず、本来ブレーキランプや信号機の赤色灯と判定すべきではない対象物を誤判定してしまう可能性が生じる。このような誤判定を回避すべく輝度範囲を狭めると、今度は、抽出すべき複数種類の対象物のうち、抽出できない対象物が生じることとなる。
【０００９】
本発明は、このような課題に鑑み、検出対象の無駄な細分化を回避しつつ、輝度が近似する複数種類の対象物を精度良く識別することが可能な、車外環境認識装置および車外環境認識方法を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の車外環境認識装置は、複数の色識別子と輝度範囲とを対応付けて保持するデータ保持部と、車外環境を撮像した画像を取得する画像取得部と、自車両との相対的な位置関係に応じて画像の検出領域を複数の特定領域に分割する特定領域分割部と、特定領域毎に色識別子に対応付けられた輝度範囲を再設定する輝度範囲再設定部と、検出領域内の複数の対象部位の輝度と対象部位が位置する特定領域に再設定された輝度範囲とに基づいて、対象部位に色識別子を設定する色識別子設定部と、水平距離の差分および高さの差分が所定範囲内にある１または複数の対象部位をグループ化するグループ化部と、を備える。
【００１１】
輝度範囲再設定部は、撮像状態または車外環境に応じて色識別子の輝度範囲を補正してもよい。
【００１２】
特定領域は、車両、路面、道路標識、歩行者、移動している立体物、予め定められた高さ範囲、予め定められた相対距離範囲、予め定められた水平距離範囲、画像の水平方向または垂直方向に対して分割した分割範囲の群から選択された１または複数の特定物が占有する領域であってもよい。
【００１３】
上記課題を解決するために、本発明の車外環境認識方法は、複数の色識別子と輝度範囲とを対応付けて保持しておき、車外環境を撮像した画像を取得し、自車両との相対的な位置関係に応じて画像の検出領域を複数の特定領域に分割し、特定領域毎に色識別子に対応付けられた輝度範囲を再設定し、検出領域内の複数の対象部位の輝度と対象部位が位置する特定領域に再設定された輝度範囲とに基づいて、対象部位に色識別子を設定し、水平距離の差分および高さの差分が所定範囲内にある１または複数の対象部位をグループ化することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、検出対象の無駄な細分化を回避して処理負荷の無駄な増大を防止しつつ、輝度が近似する複数種類の対象物を精度良く識別することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】環境認識システムの接続関係を示したブロック図である。
【図２】輝度画像と距離画像を説明するための説明図である。
【図３】車外環境認識装置の概略的な機能を示した機能ブロック図である。
【図４】色識別子テーブルを説明するための説明図である。
【図５】位置情報取得部による三次元の位置情報への変換を説明するための説明図である。
【図６】分割領域と代表距離とを説明するための説明図である。
【図７】分割領域群を説明するための説明図である。
【図８】輝度範囲の補正を説明するための説明図である。
【図９】色識別子マップを説明するための説明図である。
【図１０】車外環境認識方法の処理の大まかな流れを示したフローチャートである。
【図１１】位置情報取得処理の流れを示したフローチャートである。
【図１２】代表距離導出処理の流れを示したフローチャートである。
【図１３】分割領域群生成処理の流れを示したフローチャートである。
【図１４】特定領域分割処理の流れを示したフローチャートである。
【図１５】輝度範囲再設定処理の流れを示したフローチャートである。
【図１６】色識別子設定処理の流れを示したフローチャートである。
【図１７】グループ化処理の流れを示したフローチャートである。
【図１８】特定物決定処理の流れを示したフローチャートである。
【図１９】効果を説明するための説明図である。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１７】
（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、複数（本実施形態では２つ）の撮像装置１１０と、画像処理装置１２０と、車外環境認識装置１３０と、車両制御装置１４０とを含んで構成される。
【００１８】
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、カラー画像、即ち、画素単位で３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））の輝度を取得することができる。本実施形態においては、色と輝度とを同等に扱い、同一の文章に両文言が含まれる場合、互いを、色を構成する輝度、または、輝度を有する色と読み替えることができる。ここでは、撮像装置１１０で撮像されたカラーの画像を輝度画像と呼び、後述する距離画像と区別する。
【００１９】
また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒毎（６０ｆｐｓ）に連続して生成する。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。ここで、対象物は、車両、信号機、道路、ガードレールといった独立して存在する立体物のみならず、ブレーキランプ（テールランプ）やウィンカー、信号機の各点灯部分等、立体物の部分として特定できる物も含む。
【００２０】
画像処理装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、２つの画像データに基づいて、画像中の任意のブロック（所定数の画素を集めたもの）の視差、および、任意のブロックの画面中の位置を示す画面位置を含む視差情報を導出する。画像処理装置１２０は、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、ブロックの説明に用いられた「水平」は、撮像した画像の画面横方向を示し、実空間上の水平方向に相当する。また、「垂直」は、撮像した画像の画面縦方向を示し、実空間上の鉛直方向に相当する。
【００２１】
このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度値（Ｙ色差信号）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。
【００２２】
ただし、画像処理装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する相対距離に相当）を画像データに対応付けた画像を距離画像という。
【００２３】
図２は、輝度画像１２４と距離画像１２６を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２２について図２（ａ）のような輝度画像（画像データ）１２４が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２４の一方のみを模式的に示している。画像処理装置１２０は、このような輝度画像１２４からブロック毎の視差を求め、図２（ｂ）のような距離画像１２６を形成する。距離画像１２６における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。
【００２４】
視差は、画像のエッジ部分（隣り合う画素間で明暗の差分が大きい部分）で特定され易いので、距離画像１２６において黒のドットが付されている、視差が導出されたブロックは、輝度画像１２４においてもエッジとなっていることが多い。したがって、図２（ａ）に示す輝度画像１２４と図２（ｂ）に示す距離画像１２６とは各対象物の輪郭について似たものとなる。
【００２５】
車外環境認識装置１３０は、画像処理装置１２０から輝度画像１２４と距離画像１２６とを取得し、輝度画像１２４に基づく輝度と、距離画像１２６に基づく自車両１との相対距離を用いて検出領域１２２における対象物がいずれの特定物に対応するかを特定する。例えば、相対距離等によって先行車両を特定し、さらに、輝度によってその先行車両のブレーキランプを特定することで、ブレーキランプが点灯した車両をより正確に把握することができる。そうすることで、ブレーキランプによる当該車両の減速を迅速に把握し、衝突回避制御やクルーズコントロールに利用することが可能となる。
【００２６】
尚、上記相対距離は、距離画像１２６におけるブロック毎の視差情報を、所謂ステレオ法を用いて三次元の位置情報に変換することで求められる。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。かかる車外環境認識装置１３０の処理に関しては、後ほど詳述する。
【００２７】
車両制御装置１４０は、車外環境認識装置１３０で特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１４０は、操舵の角度を検出する舵角センサ１４２や自車両１の速度を検出する車速センサ１４４等を通じて現在の自車両１の走行状態を取得し、アクチュエータ１４６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１４６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１４０は、対象物との衝突が想定される場合、運転者の前方に設置されたディスプレイ１４８にその旨警告表示（報知）を行うと共に、アクチュエータ１４６を制御して自車両１を自動的に制動する。かかる車両制御装置１４０は、車外環境認識装置１３０と一体的に形成することもできる。
【００２８】
本実施形態では、上記環境認識システム１００を通じて、車両が占有する特定領域（特定物に準じる、検出領域中の一部の領域）を特定し、その特定領域を利用することで、特定物「ブレーキランプ」と特定物「信号機の赤色灯」とを区別する例を挙げる。ただし、本実施形態における「ブレーキランプ」は、ブレーキランプの点灯状態を意図している。上記特定領域や特定物が車両やブレーキランプ、信号機の赤色灯に限定されないのは言うまでもない。
【００２９】
（車外環境認識装置１３０）
図３は、車外環境認識装置１３０の概略的な機能を示した機能ブロック図である。図３に示すように、車外環境認識装置１３０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。
【００３０】
Ｉ／Ｆ部１５０は、画像処理装置１２０や車両制御装置１４０との双方向の情報交換を行うためのインターフェースである。かかるＩ／Ｆ部１５０は画像取得部として機能する。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、色識別子テーブル（対応付け）や、以下に示す各機能部の処理に必要な様々な情報を保持し、また、画像処理装置１２０から受信した輝度画像１２４、距離画像１２６を一時的に保持する。ここで、色識別子テーブルは、以下のように利用される。
【００３１】
図４は、色識別子テーブル２００を説明するための説明図である。色識別子テーブル２００では、予め定められた所定数の色を表す輝度範囲２０２が色識別子２０４に対応付けられている。例えば、色識別子「１」には、赤色の特定物に相当する輝度範囲、例えば、輝度範囲（Ｒ）「８０以上」、輝度範囲（Ｇ）「４０以下」、輝度範囲（Ｂ）「４０以下」が対応付けられている。同様に、色識別子「２」、「３」、「４」、「５」、「６」、「７」、「８」には、黄色、青緑色、マゼンタ色、橙色、朱色、青色、緑色の特定物に相当する輝度範囲が対応付けられている。ただし、輝度範囲は図４に記載された輝度範囲に限定されず、また、その数も限定されないのは言うまでもない。
【００３２】
また、図示はしていないが、色識別子テーブル２００における各色識別子には、１または複数の特定物が対応付けられている。例えば、色識別子「１」には赤色の特定物「ブレーキランプ」と特定物「信号機の赤色灯」とが対応付けられる。これは、輝度が近似している特定物同士を同一の基準（輝度範囲）で抽出することで、計算負荷の増加を回避するためである。
【００３３】
中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０やデータ保持部１５２を制御する。また、本実施形態において、中央制御部１５４は、位置情報取得部１６０、代表距離導出部１６２、分割領域群生成部１６４、特定領域分割部１６６、輝度範囲再設定部１６８、色識別子設定部１７０、グループ化部１７２、特定物決定部１７４としても機能する。
【００３４】
位置情報取得部１６０は、Ｉ／Ｆ部１５０を介して取得した距離画像１２６における検出領域１２２内のブロック毎の視差情報を、上述したステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む三次元の位置情報に変換する。ここで、視差情報が、距離画像１２６における各ブロックの視差を示すのに対し、三次元の位置情報は、実空間における各ブロックの相対距離の情報を示す。また、視差情報が画素単位ではなくブロック単位、即ち複数の画素単位で導出されている場合、その視差情報はブロックに属する全ての画素の視差情報とみなして、画素単位の計算を実行することができる。
【００３５】
図５は、位置情報取得部１６０による三次元の位置情報への変換を説明するための説明図である。位置情報取得部１６０は、まず、距離画像１２６を図５の如く画素単位の座標系として認識する。ここでは、図５中、左下隅を原点（０，０）とし、横方向をｉ座標軸、縦方向をｊ座標軸とする。したがって、視差ｄｐを有する画素は、画素位置ｉ、ｊと視差ｄｐによって（ｉ，ｊ，ｄｐ）のように表すことができる。
【００３６】
本実施形態における実空間上の三次元座標系を、自車両１を中心とした相対座標系で考える。ここでは、自車両１の進行方向右側方をＸ軸の正方向、自車両１の上方をＹ軸の正方向、自車両１の進行方向（前方）をＺ軸の正方向、２つの撮像装置１１０の中央を通る鉛直線と道路表面との交点を原点（０，０，０）とする。このとき、道路を平面と仮定すると、道路表面がＸ−Ｚ平面（ｙ＝０）と一致することとなる。位置情報取得部１６０は、以下の（数式１）〜（数式３）によって距離画像１２６上のブロック（ｉ，ｊ，ｄｐ）を、実空間上の三次元の点（ｘ，ｙ，ｚ）に座標変換する。
ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …（数式１）
ｙ＝ＣＨ＋ｚ・ＰＷ・（ｊ−ＪＶ） …（数式２）
ｚ＝ＫＳ／ｄｐ …（数式３）
ここで、ＣＤは撮像装置１１０同士の間隔（基線長）であり、ＰＷは１画素当たりの視野角であり、ＣＨは撮像装置１１０の道路表面からの配置高さであり、ＩＶ、ＪＶは自車両１の真正面における無限遠点の画像上の座標（画素）であり、ＫＳは距離係数（ＫＳ＝ＣＤ／ＰＷ）である。
【００３７】
したがって、位置情報取得部１６０は、ブロックの相対距離と、ブロックと同相対距離にある道路表面上の点とブロックとの距離画像１２６上の検出距離（例えば画素数）とに基づいて、道路表面からの高さを導出していることとなる。
【００３８】
代表距離導出部１６２は、まず、距離画像１２６の検出領域１２２を、水平方向に対して複数の分割領域２１６に分割する。続いて、代表距離導出部１６２は、道路表面より上方に位置するブロックを対象に、位置情報に基づいて分割領域毎に、複数に区分した所定距離それぞれに含まれる相対距離を積算してヒストグラムを生成する。そして、代表距離導出部１６２は、積算した距離分布のピークに相当する代表距離を導出する。ここで、ピークに相当するとは、ピーク値またはピーク近傍で任意の条件を満たす値をいう。
【００３９】
図６は、分割領域２１６と代表距離２２０とを説明するための説明図である。図５に示したように、距離画像１２６を水平方向に複数分割すると、分割領域２１６は図６（ａ）のような短冊形状になる。このような短冊形状の分割領域２１６は、本来、例えば、水平幅４画素のものが１５０列配列して成るが、ここでは、説明の便宜上、検出領域１２２を１６等分したもので説明する。
【００４０】
続いて、代表距離導出部１６２は、各分割領域２１６において、全てのブロックの相対距離を参照し、ヒストグラム（図６（ｂ）中、横長の四角（バー）で示す）を作成すると、図６（ｂ）のような距離分布２１８が得られる。ここで、縦方向は、区分した所定距離を、横方向は、区分した所定距離それぞれに相対距離が含まれるブロックの個数を示している。ただし、図６（ｂ）は計算を行う上での仮想的な画面であり、実際には視覚的な画面の生成を伴わない。そして、代表距離導出部１６２は、このようにして導出された距離分布２１８を参照し、ピークに相当する相対距離である代表距離（図６（ｂ）中、黒で塗りつぶした四角で示す）２２０を特定する。
【００４１】
分割領域群生成部１６４は、隣接する分割領域２１６同士の代表距離２２０を順次比較し、代表距離２２０が近接する（例えば、１ｍ以下に位置する）分割領域２１６をグループ化して１または複数の分割領域群を生成する。このとき、３以上の分割領域２１６で代表距離２２０が近接していた場合にも、連続する全ての分割領域２１６を分割領域群として纏める。
【００４２】
図７は、分割領域群２２２を説明するための説明図である。分割領域群生成部１６４は、分割領域２１６同士を比較し、図７に示すように代表距離２２０をグループ化する（グループ化後の仮想的なグループ２２４）。かかるグループ化によって、分割領域群生成部１６４は、道路表面より上方に位置する立体物を特定することができる。また、分割領域群生成部１６４は、そのグループ化された分割領域群２２２中における水平方向および鉛直方向の相対距離の推移に基づいて、先行車両の後部、側部、またはガードレール等の道路に沿った構造物等のいずれであるかを認識することが可能となる。
【００４３】
特定領域分割部１６６は、自車両１との相対的な位置関係に応じて先行車両等の特定物を特定し、その特定物の外縁に従って、画像の検出領域を１または複数の特定領域に分割する。特定領域は、外縁を収容する予め定められた様々な形状で表すことができるが、ここでは四角形の枠で表すこととする。具体的に、まず、特定領域分割部１６６は、分割領域群生成部１６４が生成した分割領域群２２２内における、相対距離ｚが代表距離２２０に相当するブロックを基点として、そのブロックと、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲（例えば０．１ｍ）内にあるブロックとを、同一の特定物に対応すると仮定してグループ化する。上記の範囲は実空間上の距離で表され、製造者や搭乗者によって任意の値に設定することができる。また、特定領域分割部１６６は、グループ化により新たに追加されたブロックに関しても、そのブロックを基点として、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が所定範囲内にあるブロックをさらにグループ化する。結果的に、同一の特定物と仮定可能なブロック全てがグループ化されることとなる。
【００４４】
また、ここでは、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分をそれぞれ独立して判定し、全てが所定範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の二乗平均√（（水平距離ｘの差分）２＋（高さｙの差分）２＋（相対距離ｚの差分）２）が所定範囲に含まれる場合に同一のグループとしてもよい。かかる計算により、ブロック同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。
【００４５】
続いて、特定領域分割部１６６は、グループ化したブロック群が予め定められた所定の条件を満たしていれば、その対象物を特定物として決定する。例えば、特定領域分割部１６６は、グループ化されたブロック群が道路上に位置する場合、そのブロック群全体の大きさが、特定物「車両」の大きさに相当するか否か判定し、特定物「車両」の大きさに相当すると判定されれば、そのブロック群を特定物「車両」と特定する。そして、特定領域分割部１６６は、特定物「車両」と特定されたブロック群が画面上占有する領域を車両の特定領域として、他の検出領域１２２と区別する。
【００４６】
こうして、車外環境認識装置１３０では、検出領域１２２を、例えば車両が占有する特定領域に分割することができ、その情報を様々な処理に用いることが可能となる。例えば、ブレーキランプ、テールランプ、ウィンカー等の対象物は、車両にのみ付属しているので、それらの検出範囲を特定領域にのみ絞り込むことができる。以下では、この特定領域毎に輝度を判定することで、特定物「ブレーキランプ」と特定物「信号機の赤色灯」とを区別する処理を説明する。
【００４７】
輝度範囲再設定部１６８は、特定領域毎に、色識別子テーブル２００において色識別子に対応付けられた輝度範囲２０２を再設定する。ただし、設定を変更する必要のない、即ち、再設定を行わない輝度範囲２０２についても、ここでは、そのままの値を再設定したとして扱う。
【００４８】
例えば、色識別子「１」には、輝度範囲（Ｒ）「８０以上」、輝度範囲（Ｇ）「４０以下」、輝度範囲（Ｂ）「４０以下」が対応付けられている。かかる輝度範囲２０２を用いることで、特定物「ブレーキランプ」および特定物「信号機の赤色灯」のいずれも一度に抽出することができる。しかし、かかる輝度範囲２０２を単純に用いてしまうと、ブレーキランプが消灯しているときの赤色のランプカバーや、車体が赤色の車両も色識別子「１」の対象物として抽出されるおそれがある。そこで、車両が占有する特定領域に関しては、色識別子テーブル２００で対応付けられた色識別子２０４の輝度範囲２０２を再設定した後、輝度を判定する。
【００４９】
例えば、特定物「ブレーキランプ」の明るさは法規で概ね規定され、輝度範囲（Ｒ）を高くとることができる。したがって、輝度範囲再設定部１６８は、車両が占有する特定領域に関し、色識別子「１」の輝度範囲２０２を、例えば、輝度範囲（Ｒ）「１６０以上」、輝度範囲（Ｇ）「８０以下」、輝度範囲（Ｂ）「８０以下」に再設定する。そうすると、ブレーキランプが消灯しているときの赤色のランプカバーや、車体の赤色は色識別子「１」の対象から排除され、特定物「ブレーキランプ」のみを適切に抽出することができる。
【００５０】
また、輝度範囲再設定部１６８は、撮像状態や車外環境に応じて各色識別子の輝度範囲２０２を補正してもよい。ここで、撮像状態は、露光態様や対象物との相対距離を含み、車外環境は、車外周辺の輝度や検出領域１２２内を照らす照明の色温度（カラーバランス）を含む。
【００５１】
上記露光態様は、撮像装置１１０の露光時間や絞りを示し、輝度範囲再設定部１６８は、例えば、露光時間が短くなれば、その短くなった比率を輝度範囲２０２に乗じて輝度範囲２０２を下げる。同様に、露光時間が長くなれば、その比率を輝度範囲２０２に乗じて輝度範囲２０２を上げる。また、輝度範囲再設定部１６８は、例えば、相対距離が短くなれば、その短くなった比率を輝度範囲２０２から除して輝度範囲２０２を上げ、相対距離が長くなれば、その比率を輝度範囲２０２から除して輝度範囲２０２を下げる。
【００５２】
図８は、輝度範囲２０２の補正を説明するための説明図である。対象物の輝度は、車外周辺の輝度や検出領域１２２内を照らす照明の色温度の影響を受ける。例えば、図８（ａ）のように、日陰は日なたに比べると輝度が低くなり、それに伴って対象物の輝度も低くなる。そこで、輝度範囲再設定部１６８は、例えば、車外周辺（例えば、道路面）の輝度が低くなれば、その低くなった分輝度範囲２０２を下げ、車外周辺の輝度が高くなれば、その分輝度範囲２０２を上げる。また、対象物のカラーバランスは、検出領域１２２内を照らす照明の影響を受ける。例えば、図８（ｂ）のように、ナトリウムランプやハロゲンランプの光を受けると色温度が比較的高くなり、曇り空だと色温度が比較的低くなる。そこで、輝度範囲再設定部１６８は、例えば、照明の色温度が低くなれば、その低くなった分輝度範囲２０２を下げ、照明の色温度が高くなれば、その分輝度範囲２０２を上げる。
【００５３】
ここでは、輝度範囲再設定部１６８による輝度範囲の補正を個別に説明したが、露光時間、相対距離、車外周辺の輝度、色温度の群から選択される１または複数のパラメータに基づいて重ねて補正を行うことも可能である。こうして、輝度範囲再設定部１６８は、判定基準である輝度範囲を、対象物の輝度の変化に追従させることができるので、本来の輝度に応じて対象物を特定物に特定することが可能となる。
【００５４】
色識別子設定部１７０は、検出領域内の複数の画素（対象部位）の輝度と画素が位置する特定領域に再設定された輝度範囲とに基づいて、各画素に色識別子を設定する。
【００５５】
まず、色識別子設定部１７０は、Ｉ／Ｆ部１５０を介して取得した輝度画像１２４から、画素単位で輝度（画素単位で３つの色相（Ｒ、Ｇ、Ｂ）の輝度）を取得する。
【００５６】
そして、色識別子設定部１７０は、色識別子テーブル２００に登録されている色識別子２０４を順次選択し、取得した１の画素の輝度が、順次選択した色識別子２０４の輝度範囲２０２に含まれるか否か判定する。そして、対象部位の輝度が、いずれかの色識別子２０４の輝度範囲２０２に含まれれば、その画素に当該色識別子２０４を設定して、色識別子マップを作成する。
【００５７】
ただし、本実施形態においては、色識別子テーブル２００に登録されている色識別子２０４の輝度範囲２０２をそのまま用いない場合がある。色識別子設定部１７０は、画素の位置（特定領域に含まれるか否か、また、いずれの特定領域であるか）や撮像状態、車外環境に応じ、輝度範囲再設定部１６８によって輝度範囲２０２が再設定されている場合、その再設定された輝度範囲２０２に基づいて画素の輝度を判定する。
【００５８】
色識別子設定部１７０は、このような対象部位それぞれの輝度と色識別子テーブル２００に登録されている複数の色識別子２０４の輝度範囲２０２との一連の比較を、複数の画素毎に順次実行する。ここで、色識別子２０４の選択順は「１」、「２」…といったように昇順である。このような選択順に従って比較した結果、画素の輝度が序数の低い色識別子２０４の輝度範囲２０２に含まれていると判定された場合、それより序数の高い色識別子２０４に関する比較処理は最早行われない。したがって、１の画素に関して２以上の色識別子２０４が付されることはない。これは、複数の特定物が空間上で重なり合うことはないので、色識別子設定部１７０によって一旦任意の色識別子２０４が設定された対象物は、最早、他の色識別子２０４であるか否かを判定する必要がないという理由に基づく。このように画素を排他的に取り扱うことによって、既に色識別子２０４が設定された画素の重複した設定処理を回避することができ、処理負荷を軽減することが可能となる。
【００５９】
図９は、色識別子マップ２１０を説明するための説明図である。色識別子マップ２１０は、輝度画像１２４に色識別子２０４を重ねたものである。したがって、特定物に相当する対象物の位置に、色識別子２０４が纏まって設定される。
【００６０】
色識別子マップ２１０中の部分マップ２１０ａに着目する。かかる部分マップ２１０ａの位置は、車両の特定領域２１４には含まれていない。したがって、部分マップ２１０ａ内の画素の輝度が、色識別子テーブル２００における色識別子「１」の輝度範囲２０２と比較され、信号機の赤色灯に相当する複数の画素群２１２に色識別子「１」が対応付けられる。
【００６１】
続いて、色識別子マップ２１０中の部分マップ２１０ｂに着目する。かかる部分マップ２１０ｂの位置は、車両の特定領域２１４に含まれている。したがって、部分マップ２１０ｂ内の画素の輝度が、特定領域２１４に基づいて再設定された輝度範囲２０２と比較され、車両のブレーキランプに相当する複数の画素群２１２に色識別子「１」が対応付けられる。
【００６２】
次に、色識別子マップ２１０中の部分マップ２１０ｃに着目する。かかる部分マップ２１０ｃの位置も部分マップ２１０ｂ同様、車両の特定領域２１４に含まれている。ただし、部分マップ２１０ｃでは、部分マップ２１０ｂと異なり、車両のブレーキランプが点灯していないとする。ここでも、部分マップ２１０ｃ内の画素が、特定領域２１４に基づいて再設定された輝度範囲２０２と比較される。しかし、再設定された輝度範囲２０２は、色識別子テーブル２００に登録された輝度範囲２０２より輝度が高いので、部分マップ２１０ｃ内の画素がその輝度範囲２０２に含まれると判定されることはない。車両のブレーキランプに相当する複数の画素群２１２には、色識別子「１」ではなく、例えば、朱色の特定物に相当する色識別子「６」が対応付けられる。図９では、輝度画像１２４の複数の画素に色識別子が付された図を提示しているが、かかる表現は理解を容易にするための概念的なものであり、実際には対象部位にデータとして色識別子２０４が登録されている。
【００６３】
グループ化部１７２は、任意の画素（対象部位）を基点として、その画素と、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲（例えば０．１ｍ）内にある画素とを、同一の特定物に対応すると仮定してグループ化する。上記の範囲は実空間上の距離で表され、製造者や搭乗者によって任意の値に設定することができる。また、グループ化部１７２は、グループ化により新たに追加された画素に関しても、その画素を基点として、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が所定範囲内にある画素をさらにグループ化する。結果的に、同一の特定物と仮定可能な画素全てがグループ化されることとなる。
【００６４】
また、ここでも、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分をそれぞれ独立して判定し、全てが所定範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の二乗平均√（（水平距離ｘの差分）２＋（高さｙの差分）２＋（相対距離ｚの差分）２）が所定範囲に含まれる場合に同一のグループとしてもよい。
【００６５】
特定物決定部１７４は、グループ化部１７２がグループ化した対象物（画素群）が予め定められた条件を満たしていれば、その対象物を特定物として決定する。例えば、特定物決定部１７４は、対象物の大きさ（対象物の水平距離ｘの幅および高さｙの幅のいずれも）が、特定物に対応付けられた幅範囲に含まれていれば、その対象物を対象となる特定物として決定することとする。また、対象物の水平距離ｘの幅および高さｙの幅それぞれについて幅範囲を設定してもよい。ここでは、対象物が、特定物とみなすのに妥当な大きさであることを確認している。したがって、幅範囲に含まれない場合、当該環境認識処理に不要な情報として除外することができる。例えば、図９の部分マップ２１０ｂにおける対象物（画素群２１２）の大きさは、特定物「ブレーキランプ」の幅範囲、例えば「０．０５〜０．２ｍ」に含まれるため、適切に特定物「ブレーキランプ」と特定される。
【００６６】
こうして、車外環境認識装置１３０では、輝度画像１２４から、１または複数の対象物を、特定物として抽出することができ、その情報を様々な制御に用いることが可能となる。例えば、特定物「ブレーキランプ」を抽出することで、そこに自車両１と共に走行している先行車両があり、かつ、その先行車両が減速していることを把握することができる。また、特定物「信号機の赤色灯」を抽出することで、その対象物が、移動を伴わない固定された物であることが把握されると共に、その対象物が自車線に関する信号機であれば、自車両１は、停止または減速すべきであることを把握することができる。
【００６７】
（車外環境認識方法）
以下、車外環境認識装置１３０の具体的な処理を図１０〜図１８のフローチャートに基づいて説明する。図１０は、画像処理装置１２０から輝度画像１２４および距離画像１２６が送信されたときの割込処理に関する全体的な流れを示し、図１１〜図１８は、その中の個別のサブルーチンを示している。また、ここでは、処理の対象部位としてブロックまたは画素を挙げており、輝度画像１２４や距離画像１２６の左下隅を原点とし、ブロックでは、画像水平方向に１〜１５０ブロック、垂直方向に１〜５０ブロックの範囲で、画素では、画像水平方向に１〜６００画素、垂直方向に１〜２００画素の範囲で当該車外環境認識方法による処理を遂行する。また、ここでは、対象となる色識別子２０４を８つと仮定する。
【００６８】
図１０に示すように、当該車外環境認識方法による割込が発生すると、検出領域１２２内のブロック毎の視差情報が三次元の位置情報として取得され（Ｓ３００）、分割領域２１６毎の代表距離２２０が導出される（Ｓ３０２）。続いて、分割領域２１６がグループ化されて分割領域群２２２が生成され（Ｓ３０４）、その分割領域群２２２内でブロックのグループ化が図られ、グループ化した特定物に従い検出領域が特定領域に分割される（Ｓ３０６）。このように分割された特定領域に関して輝度範囲が再設定され（Ｓ３０８）、再設定された輝度範囲に基づいて、輝度画像１２４の画素に色識別子が設定される（Ｓ３１０）。そして、色識別子がグループ化され（Ｓ３１２）、グループ化された対象物が予め定められた条件を満たすと特定物として特定される（Ｓ３１４）。以下、上記の処理を具体的に説明する。
【００６９】
（位置情報取得処理Ｓ３００）
図１１を参照すると、位置情報取得部１６０は、ブロックを特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ４００）。続いて、位置情報取得部１６０は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ４０２）。次に、位置情報取得部１６０は、水平変数ｉに「１」を加算する（Ｓ４０４）。
【００７０】
位置情報取得部１６０は、距離画像１２６のブロック（ｉ，ｊ，ｄｐ）から視差情報ｄｐを取得する（Ｓ４０６）。そして、位置情報取得部１６０は、視差情報ｄｐを含むブロック（ｉ，ｊ，ｄｐ）を、上記数式１〜３を用い、実空間上の点（ｘ，ｙ，ｚ）に座標変換して、ブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）とする（Ｓ４０８）。
【００７１】
続いて、位置情報取得部１６０は、水平変数ｉが水平ブロックの最大値である１５０を超えたか否か判定し（Ｓ４１０）、水平変数ｉが最大値を超えていなければ（Ｓ４１０におけるＮＯ）、ステップＳ４０４の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ４１０にけるＹＥＳ）、位置情報取得部１６０は、垂直変数ｊが垂直ブロックの最大値である５０を超えたか否か判定する（Ｓ４１２）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ４１２におけるＮＯ）、ステップＳ４０２の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ４１２におけるＹＥＳ）、当該位置情報取得処理Ｓ３００を終了する。こうして、距離画像１２６の視差情報ｄｐが三次元の位置情報に変換される。
【００７２】
（代表距離導出処理Ｓ３０２）
図１２を参照すると、代表距離導出部１６２は、道路形状パラメータを読み込み（Ｓ４５０）、検出領域１２２を、水平方向に対して例えば４画素単位で１５０個の分割領域２１６に分割する（Ｓ４５２）。次に、代表距離導出部１６２は、分割した１５０個の分割領域２１６から１の分割領域２１６を、例えば水平方向左側から順次抽出して、その分割領域２１６内に存在する任意のブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）を設定する（Ｓ４５４）。
【００７３】
代表距離導出部１６２は、ブロックの実空間上の座標ｚにおける道路表面の高さｙｒを算出し（Ｓ４５６）、ブロックの実空間上の座標ｙが道路表面の高さｙｒ以上となるブロックであれば、所定距離間隔で区分したヒストグラムにその相対距離を積算（投票）する（Ｓ４５８）。ここで、ブロックの実空間上の座標ｙが道路表面の高さｙｒ以上であったとしても、道路表面から高さ０．１ｍ以下のブロックは、道路上の白線や汚れ、影等であるとみなして処理対象から除外する。また、自車両１の高さより上方に位置するブロックも、歩道橋や標識等であるとみなして処理対象から除外する。
【００７４】
代表距離導出部１６２は、抽出された１の分割領域２１６内のブロック全てに関し、当該ヒストグラムへの積算処理を遂行したか判定する（Ｓ４６０）。ここで、ブロック全てが完了していなければ（Ｓ４６０におけるＮＯ）、ヒストグラムへの積算処理を遂行していないブロックに関して設定処理Ｓ４５４からを繰り返す。
【００７５】
ブロック全てが完了していれば（Ｓ４６０におけるＹＥＳ）、代表距離導出部１６２は、このようにして生成されたヒストグラムを参照し、ヒストグラムの度数（相対距離の個数）が所定の閾値（適宜設定される）以上となる区間が存在したら当該分割領域２１６には立体物が存在すると判定する。そして、代表距離導出部１６２は、ピークに相当する相対距離を代表距離２２０とする（Ｓ４６２）。
【００７６】
そして、代表距離導出部１６２は、複数の分割領域２１６全てに関して、当該代表距離２２０の導出処理を遂行したか判定する（Ｓ４６４）。ここで、分割領域２１６全てが完了していると判定されなければ（Ｓ４６４におけるＮＯ）、新たな分割領域２１６を設定し（Ｓ４６６）、新たな分割領域２１６に関してブロックの設定処理Ｓ４５４からを繰り返す。一方、代表距離２２０の導出処理が全て完了していれば（Ｓ４６４におけるＹＥＳ）、当該代表距離導出処理Ｓ３０２を終了する。
【００７７】
（分割領域群生成処理Ｓ３０４）
図１３を参照すると、分割領域群生成部１６４は、複数の分割領域２１６から任意の分割領域２１６を、例えば水平方向左側から順次特定し、その任意の分割領域２１６の水平方向右側に隣接する分割領域２１６も特定する（Ｓ５００）。そして、分割領域群生成部１６４は、両分割領域２１６に代表距離２２０が存在するか否か判定する（Ｓ５０２）。ここで、両分割領域２１６に代表距離２２０が存在していなければ（Ｓ５０２におけるＮＯ）、分割領域の完了判定ステップＳ５０８に処理を移す。一方、両分割領域２１６に代表距離２２０が存在していれば（Ｓ５０２におけるＹＥＳ）、両分割領域２１６の代表距離２２０同士を比較する（Ｓ５０４）。
【００７８】
ここで、両代表距離２２０の差分が予め定められた閾値（同一の立体物とみなせる値）以下であれば、両代表距離２２０は近接しているとみなされ、分割領域群生成部１６４は、分割領域２１６同士をグループ化して分割領域群２２２とする（Ｓ５０６）。このとき、一方の分割領域２１６が既に分割領域群２２２として設定されている場合、他方の分割領域２１６は、その分割領域群２２２に統合される。
【００７９】
そして、分割領域群生成部１６４は、複数の分割領域２１６全てに関して、当該分割領域群２２２の生成処理Ｓ５０２、Ｓ５０４、Ｓ５０６を遂行したか判定する（Ｓ５０８）。ここで、全てが完了していなければ（Ｓ５０８におけるＮＯ）、新たな分割領域２１６を設定し（Ｓ５１０）、新たな分割領域２１６に関して特定処理Ｓ５００からを繰り返す。一方、分割領域群２２２の生成処理が全て完了していれば（Ｓ５０８におけるＹＥＳ）、当該分割領域群生成処理Ｓ３０４を終了する。
【００８０】
（特定領域分割処理Ｓ３０６）
図１４を参照すると、特定領域分割部１６６は、グループ化された複数の分割領域群２２２から１の分割領域群２２２を、例えば水平方向左側から順次抽出して、その分割領域群２２２内に存在する任意のブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）を設定する（Ｓ５５０）。
【００８１】
特定領域分割部１６６は、設定されたブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）と、分割領域群２２２内における、相対距離ｚが代表距離２２０に相当するブロックとを比較し、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲（例えば０．１ｍ）内にあるか否か判定する（Ｓ５５２）。予め定められた範囲内にある場合（Ｓ５５２におけるＹＥＳ）、そのブロックを、同一の特定物に対応すると仮定してグループ化する（Ｓ５５４）。予め定められた範囲内にない場合（Ｓ５５２におけるＮＯ）、ブロックの完了判定ステップＳ５５６に処理を移す。
【００８２】
特定領域分割部１６６は、抽出された１の分割領域群２２２内のブロック全てに関し、当該グループ化処理を遂行したか判定する（Ｓ５５６）。ここで、ブロック全てのグループ化処理が完了していなければ（Ｓ５５６におけるＮＯ）、グループ化処理を遂行していないブロックに関して設定処理Ｓ５５０からを繰り返す。
【００８３】
ブロック全てのグループ化処理が完了していれば（Ｓ５５６におけるＹＥＳ）、特定物決定部１７４は、このようにしてグループ化されたブロック群全体の大きさが、特定物「車両」の大きさに相当するか否か判定する（Ｓ５５８）。特定物「車両」の大きさに相当すると判定されれば（Ｓ５５８におけるＹＥＳ）、そのブロック群を特定物「車両」と特定する（Ｓ５６０）。特定物「車両」の大きさに相当すると判定されなければ（Ｓ５５８におけるＮＯ）、分割領域群２２２の完了判定ステップＳ５６２に処理を移す。
【００８４】
そして、特定領域分割部１６６は、複数の分割領域群２２２全てに関して、当該特定物決定判定Ｓ５５８、Ｓ５６０を遂行したか判定する（Ｓ５６２）。ここで、分割領域群２２２全てが完了していると判定されなければ（Ｓ５６２におけるＮＯ）、新たな分割領域群２２２を設定し（Ｓ５６４）、新たな分割領域群２２２に関してブロックの設定処理Ｓ５５０からを繰り返す。一方、特定物決定判定Ｓ５５８、Ｓ５６０が全て完了していれば（Ｓ５６２におけるＹＥＳ）、当該特定領域分割処理Ｓ３０６を終了する。
【００８５】
上記グループ化においては、さらに、複数のグループに対して相互の位置関係が判定される。例えば、同種類の立体物のグループ間で、端点の位置が接近し、かつ、立体物中における水平方向および鉛直方向の相対距離の推移がほぼ等しい（連続する）場合には、同一立体物の同一の面であると判断されて、それらのグループが一つのグループに統合される。このとき立体物中における水平方向および鉛直方向の相対距離の推移は、ハフ変換あるいは最小二乗法による近似直線によって特定することができる。また、先行車両であれば、ｚ座標に対する相対移動速度が等しいことによっても複数のグループを一つのグループに統合することができる。
【００８６】
また、ここまでの処理がブロック単位で行われている場合、そのブロック内全ての画素に同一の情報を設定することで画素単位に変更する。
【００８７】
（輝度範囲再設定処理Ｓ３０８）
図１５を参照すると、輝度範囲再設定部１６８は、検出領域１２２内に特定領域が含まれるか否か判定する（Ｓ６００）。特定領域が含まれていれば（Ｓ６００におけるＹＥＳ）、輝度範囲再設定部１６８は、特定領域が示す特定物に基づいて輝度範囲２０２を再設定する（Ｓ６０２）。そして、輝度範囲再設定部１６８は、特定領域全てに関して、当該再設定処理Ｓ６０２を遂行したか判定する（Ｓ６０４）。ここで、特定領域全てが完了していると判定されなければ（Ｓ６０４におけるＮＯ）、新たな特定領域を設定し（Ｓ６０６）、新たな特定領域に関して再設定処理Ｓ６０２からを繰り返す。一方、特定領域が全て完了していれば（Ｓ６０４におけるＹＥＳ）、露光時間判定ステップＳ６０８に処理を移す。また、検出領域１２２内に特定領域が含まれていない場合も（Ｓ６００におけるＮＯ）、露光時間判定ステップＳ６０８に処理を移す。
【００８８】
続いて、輝度範囲再設定部１６８は、撮像装置１１０の露光時間が変更されたか否か判定する（Ｓ６０８）。露光時間が変更されていれば（Ｓ６０８におけるＹＥＳ）、その比率に基づいて輝度範囲２０２を補正し（Ｓ６１０）、露光時間が変更されていなければ（Ｓ６０８におけるＮＯ）、相対距離判定ステップＳ６１２に処理を移す。
【００８９】
次に、輝度範囲再設定部１６８は、対象物の相対距離が変更されたか否か判定する（Ｓ６１２）。相対距離が変更されていれば（Ｓ６１２におけるＹＥＳ）、その比率に基づいて輝度範囲２０２を補正し（Ｓ６１４）、相対距離が変更されていなければ（Ｓ６１２におけるＮＯ）、周辺輝度判定ステップＳ６１６に処理を移す。
【００９０】
続いて、輝度範囲再設定部１６８は、車外周辺の輝度が変わったか否か判定する（Ｓ６１６）。輝度が変わっていれば（Ｓ６１６におけるＹＥＳ）、変化後の輝度に基づいて輝度範囲２０２を補正し（Ｓ６１８）、輝度が変わっていなければ（Ｓ６１６におけるＮＯ）、照明色温度判定ステップＳ６２０に処理を移す。
【００９１】
次に、輝度範囲再設定部１６８は、照明の色温度が変わったか否か判定する（Ｓ６２０）。色温度が変わっていれば（Ｓ６２０におけるＹＥＳ）、変化後の色温度に基づいて輝度範囲２０２を補正し（Ｓ６２２）、色温度が変わっていなければ（Ｓ６２０におけるＮＯ）、当該輝度範囲再設定処理Ｓ３０８を終了する。
【００９２】
（色識別子設定処理Ｓ３１０）
図１６を参照すると、色識別子設定部１７０は、画素を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ６５０）。続いて、色識別子設定部１７０は、垂直変数ｊに「１」を加算（インクリメント）すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ６５２）。次に、色識別子設定部１７０は、水平変数ｉに「１」を加算し、色識別子変数ｍを初期化（「０」を代入）する（Ｓ６５４）。ここで、水平変数ｉや垂直変数ｊを設けているのは、６００×２００の画素全てに対して当該識別子設定成処理を実行するためであり、色識別子変数ｍを設けているのは、画素毎に８つの色識別子２０４を順次比較するためである。
【００９３】
色識別子設定部１７０は、輝度画像１２４から対象部位としての画素（ｉ，ｊ，ｂｒ）の輝度ｂｒを取得し（Ｓ６５６）、色識別子変数ｍに「１」を加算し（Ｓ６５８）、画素（ｉ，ｊ，ｂｒ）の位置に応じて、色識別子（ｍ）の輝度範囲２０２、または、再設定された輝度範囲２０２を取得し（Ｓ６６０）、画素（ｉ，ｊ，ｂｒ）の輝度ｂｒが色識別子（ｍ）の輝度範囲２０２に含まれるか否か判定する（Ｓ６６２）。
【００９４】
画素の輝度ｂｒが色識別子（ｍ）の輝度範囲２０２に含まれていれば（Ｓ６６２におけるＹＥＳ）、色識別子設定部１７０は、その画素に色識別子（ｍ）を示す識別番号ｐを対応付けて、画素（ｉ，ｊ，ｂｒ，ｐ）とする（Ｓ６６４）。こうして、輝度画像１２４中の各画素に識別番号が付された色識別子マップ２１０が生成される。また、画素（ｉ，ｊ，ｂｒ）の輝度ｂｒが色識別子（ｍ）の輝度範囲２０２に含まれていなければ（Ｓ６６２におけるＮＯ）、色識別子変数ｍが最大数である８を超えたか否か判定する（Ｓ６６６）。ここで、色識別子変数ｍが最大値を超えていなければ（Ｓ６６６におけるＮＯ）、ステップＳ６５８の色識別子変数ｍのインクリメント処理からを繰り返す。また、色識別子変数ｍが最大値を超えていれば（Ｓ６６６におけるＹＥＳ）、当該画素（ｉ，ｊ，ｂｒ）に対応する色識別子２０４は存在しないとして、水平画素判定ステップＳ６６８に処理が移される。
【００９５】
続いて、色識別子設定部１７０は、水平変数ｉが水平画素の最大値である６００を超えたか否か判定し（Ｓ６６８）、水平変数ｉが最大値を超えていなければ（Ｓ６６８におけるＮＯ）、ステップＳ６５４の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ６６８におけるＹＥＳ）、色識別子設定部１７０は、垂直変数ｊが垂直画素の最大値である２００を超えたか否か判定する（Ｓ６７０）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ６７０におけるＮＯ）、ステップＳ６５２の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ６７０におけるＹＥＳ）、当該色識別子設定処理Ｓ３１０を終了する。
【００９６】
（グループ化処理Ｓ３１２）
図１７を参照すると、グループ化部１７２は、画素をグループ化するための所定範囲（例えば０．１ｍ）を参照し（Ｓ７００）、画素を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ７０２）。続いて、グループ化部１７２は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ７０４）。次に、グループ化部１７２は、水平変数ｉに「１」を加算する（Ｓ７０６）。
【００９７】
グループ化部１７２は、輝度画像１２４から視差情報ｄｐを含む画素（ｉ，ｊ，ｂｒ，ｐ，ｄｐ）を取得し、視差情報ｄｐを含む画素（ｉ，ｊ，ｂｒ，ｐ，ｄｐ）を実空間上の点（ｘ，ｙ，ｚ）に座標変換して、画素（ｉ，ｊ，ｂｒ，ｐ，ｄｐ，ｘ，ｙ，ｚ）とする（Ｓ７０８）。そして、その画素（ｉ，ｊ，ｂｒ，ｐ，ｄｐ，ｘ，ｙ，ｚ）に有効な（０ではない）色識別子ｐが存在し、かつ、グループ番号ｇがまだ付されていないか否か判定する（Ｓ７１０）。ここで、有効な色識別子ｐが存在し、かつ、グループ番号ｇがまだ付されていなければ（Ｓ７１０におけるＹＥＳ）、グループ化部１７２は、その画素の実空間上の座標（ｘ，ｙ，ｚ）から所定範囲内に、その色識別子ｐが設定された他の１または複数の画素が存在し、かつ、その画素にグループ番号ｇがまだ付されていないか否か判定する（Ｓ７１２）。
【００９８】
色識別子ｐが設定された１または複数の他の画素（ｉ，ｊ，ｂｒ，ｐ，ｄｐ，ｘ，ｙ，ｚ）が存在し、その画素にグループ番号ｇがまだ付されていなければ（Ｓ７１２におけるＹＥＳ）、グループ番号としてまだ利用されていない番号のうち最も小さい値を、自己を含む所定範囲内の全ての画素に新規に付与する（Ｓ７１４）。ここでは、既に他の対象物としてグループ化されている画素については、グループ化処理の対象外とし、グループ化を実行しない。
【００９９】
このように、所定範囲内に色識別子が等しい画素が複数存在する場合、１のグループ番号ｇを付すことによってグループ化を行う。このとき、グループ番号としてまだ利用されていない番号のうち最も小さい値を採用しているのは、グループの採番において可能な限り欠番を出さないようにするためである。こうすることで、グループ番号ｇの最大値が無用に大きくなることがなくなり、処理負荷を軽減することが可能となる。
【０１００】
色識別子ｐが有効な値ではない（０である）、もしくは、有効な値ではあるがグループ番号ｇが既に付与されている場合（Ｓ７１０におけるＮＯ）、色識別子の等しい他の画素が存在しない、もしくは、存在するがその画素全てにグループ番号ｇが既に付与されている場合（Ｓ７１２におけるＮＯ）、水平変数判定ステップＳ７１６に処理が移される。
【０１０１】
続いて、グループ化部１７２は、水平変数ｉが水平画素の最大値である６００を超えたか否か判定し（Ｓ７１６）、水平変数ｉが最大値を超えていなければ（Ｓ７１６におけるＮＯ）、ステップＳ７０６の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ７１６におけるＹＥＳ）、グループ化部１７２は、垂直変数ｊが垂直画素の最大値である２００を超えたか否か判定する（Ｓ７１８）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ７１８におけるＮＯ）、ステップＳ７０４の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ７１８におけるＹＥＳ）、当該グループ化処理Ｓ３１２を終了する。
【０１０２】
（特定物決定処理Ｓ３１４）
図１８を参照すると、特定物決定部１７４は、グループを特定するためのグループ変数ｋを初期化（「０」を代入）する（Ｓ７５２）。続いて、特定物決定部１７４は、グループ変数ｋに「１」を加算する（Ｓ７５４）。
【０１０３】
特定物決定部１７４は、輝度画像１２４からグループ番号ｇがグループ変数ｋである対象物が存在するか否か判定し（Ｓ７５６）、存在すれば（Ｓ７５６におけるＹＥＳ）、そのグループ番号ｇが付された対象物の大きさを計算する（Ｓ７５８）。このとき対象物の大きさは、対象物の画面左端に位置する画素と画面右端に位置する画素間の水平距離（差分）である水平方向成分および対象物の画面上端に位置する画素と画面下端に位置する画素間の高さ（差分）である垂直方向成分によって特定される。そして、計算した大きさが、グループ番号ｇがグループ変数ｋである対象物に対応付けられた色識別子ｐで示される特定物の幅範囲に含まれるか否か判定する（Ｓ７６０）。例えば、対象物の大きさの水平方向成分が、色識別子ｐで示される特定物の幅範囲以内であり、かつ、対象物の大きさの垂直方向成分が、色識別子ｐで示される特定物の幅範囲以内であれば、対象物は、色識別子ｐで示される特定物の幅範囲に含まれると判定できる。
【０１０４】
大きさが色識別子ｐで示される特定物の幅範囲に含まれていれば（Ｓ７６０におけるＹＥＳ）、特定物決定部１７４は、その対象物を特定物として決定する（Ｓ７６２）。大きさが色識別子ｐで示される特定物の幅範囲に含まれていない（Ｓ７６０におけるＮＯ）、または、グループ番号ｇがグループ変数ｋである対象物が存在しない場合（Ｓ７５６におけるＮＯ）、グループ変数判定ステップＳ７６４に処理が移される。
【０１０５】
続いて、特定物決定部１７４は、グループ変数ｋが、グループ化処理において設定されたグループ番号の最大値を超えたか否か判定する（Ｓ７６４）。そして、グループ変数ｋが最大値を超えていなければ（Ｓ７６４におけるＮＯ）、ステップＳ７５４のグループ変数ｋのインクリメント処理からを繰り返す。また、グループ変数ｋが最大値を超えていれば（Ｓ７６４におけるＹＥＳ）、当該特定物決定処理Ｓ３１４を終了する。こうして、グループ化された対象物が正式に特定物として決定される。
【０１０６】
以上、説明したような、車外環境認識装置１３０や車外環境認識方法によれば、検出対象の無駄な細分化を回避して処理負荷の徒な増大を防止しつつ、輝度が近似する複数種類の対象物を精度良く識別することが可能となる。
【０１０７】
また、コンピュータを、車外環境認識装置１３０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【０１０８】
（本実施形態の効果）
図１９は、本実施形態の効果を説明するための説明図である。ここでは、図１９に従って、上述した車外環境認識装置１３０や車外環境認識方法による効果を確認する。自車両１の走行中に図１９（ａ）のような輝度画像１２４を取得したとする。ここで、本実施形態を適用していない状態で、特定物「ブレーキランプ」と特定物「信号機の赤色灯」とを特定しようと試みたところ、図１９（ｂ）のように、色識別子「１」の輝度範囲２０２を満たす画素が抽出された。しかし、かかる図１９（ｂ）では、特定物「ブレーキランプ」や特定物「信号機の赤色灯」の発光源２３０の他に、ブレーキランプは点灯していないが赤色を有するランプカバー２３２も誤って抽出されてしまう。
【０１０９】
このとき、露光時間を一律に短くすると、点灯していないブレーキランプのランプカバー２３２の輝度が色識別子「１」の輝度範囲２０２を満たさなくなるので、点灯していないブレーキランプのランプカバー２３２を排除可能となるが、同時に、信号機の赤色灯も排除することになる。これは、信号機の赤色灯が遠くに位置しているので輝度が低くなり、点灯していないブレーキランプと区別がつかなくなっていることに起因している。
【０１１０】
しかし、図１９（ｃ）に示した車両として抽出した特定領域２３４上では、ブレーキランプの点灯と非点灯を明確に区別することができるので、本実施形態では、特定領域２３４に対して所定の判定基準を設け、点灯しているブレーキランプとその他を明確に区別する。すると、図１９（ｄ）の如く、色識別子「１」の輝度範囲２０２を満たす特定物が発光源２３０に絞られ、ブレーキランプや信号機の赤色灯が衝突回避制御やクルーズコントロールに適切に用いられることとなる。
【０１１１】
（変形例）
上述した実施形態では、先行車両が占有する領域を特定領域として設定した。したがって、上述したブレーキランプの他、車両に付属するテールランプ、ウィンカー、ナンバープレート等に関しても再設定した輝度範囲を通じて、通常と異なる判定を実現することができる。
【０１１２】
また、特定領域は車両が占有する領域に限らず、車両同様、下記の領域も特定領域として設定することができ、その特定領域に存在する下記（１）〜（９）の特定物の判定を行うことができる。
（１）特定領域：道路との輝度変化から抽出された車線の三次元座標に基づいて特定されたＸ−Ｚ（ｙ＝０）平面（路面）が占有する領域、特定物：路面上の白線、横断歩道、道路標示。
（２）特定領域：道路標識が占有する領域、特定物：道路標識における、文字、数値、マーク、その他の指標。
（３）特定領域：歩行者（人）が占有する領域、特定物：歩行者が装着している対象物。
（４）特定領域：移動している立体物が占有する領域、特定物：移動している立体物に設けられていることが予め把握されている対象物。
（５）特定領域：実空間上で予め定められた道路表面からの高さ範囲が占有する領域、特定物：信号機、道路標識、歩道橋。
（６）特定領域：実空間上で予め定められた相対距離範囲が占有する領域、特定物：先行車両。
（７）特定領域：実空間上で予め定められた水平距離範囲が占有する領域、特定物：道路標識、ガードレール、障害物。
（８）特定領域：画像上の無限遠点（消失点）を基準とした、画像の水平方向または垂直方向に対して分割した分割範囲（例えば、画像上、無限遠点より上方の領域や下方の領域）、特定物：無限遠点より上方であれば信号機、道路標識、歩道橋、無限遠点より下方であれば、先行車両、道路標識、ガードレール、障害物。
（９）特定領域：上述したような特定物を画像処理を通じて追尾しているときに、当該特定物をロストした場合において、そのロストした画像上の位置を基準とした、画像の水平方向または垂直方向に対して分割した分割範囲（基準を中心とした範囲もしくは基準より上下左右の範囲）が占有する領域、特定物：追尾においてロストした特定物。
【０１１３】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１１４】
例えば、上述した実施形態においては、対象物の三次元位置を複数の撮像装置１１０を用い画像データ間の視差に基づいて導出しているが、かかる場合に限られず、例えば、レーザレーダ測距装置等、既知の様々な距離測定装置を用いることができる。ここで、レーザレーダ測距装置は、検出領域１２２にレーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、この所要時間から物体までの距離を測定するものである。
【０１１５】
また、上述した実施形態においては、距離画像１２６を用いて、ブロックの相対距離を求めているが、対象物の画面上の配置や大きさにより、特定物をある程度特定できる場合、単眼の撮像装置１１０によって本実施形態を実現することも可能である。また、オプティカルフローにより、動きベクトルを導出することでも特定物を特定することができる。
【０１１６】
また、上述した実施形態においては、撮像装置１１０がカラー画像を取得することを前提としているが、かかる場合に限られず、モノクロ画像を取得することでも本実施形態を遂行することができる。この場合、色識別子テーブル２００が単色の輝度で定義されることとなる。
【０１１７】
また、上述した実施形態では、位置情報取得部１６０が、画像処理装置１２０から距離画像（視差情報）１２６を受けて三次元の位置情報を生成している例を挙げている。しかし、かかる場合に限られず、画像処理装置１２０において予め三次元の位置情報を生成し、位置情報取得部１６０は、その生成された三次元の位置情報を取得するとしてもよい。このように、機能分散を図ることで、車外環境認識装置１３０の処理負荷を軽減することが可能となる。
【０１１８】
また、上述した実施形態においては、位置情報取得部１６０、代表距離導出部１６２、分割領域群生成部１６４、特定領域分割部１６６、輝度範囲再設定部１６８、色識別子設定部１７０、グループ化部１７２、特定物決定部１７４は中央制御部１５４によってソフトウェアで動作するように構成している。しかし、上記の機能部をハードウェアによって構成することも可能である。
【０１１９】
なお、本明細書の車外環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【０１２０】
本発明は、自車両外の環境を認識する車外環境認識装置および車外環境認識方法に利用することができる。
【符号の説明】
【０１２１】
１ …自車両
１１０ …撮像装置
１２２ …検出領域
１２４ …輝度画像
１２６ …距離画像
１３０ …車外環境認識装置
１６０ …位置情報取得部
１６２ …代表距離導出部
１６４ …分割領域群生成部
１６６ …特定領域分割部
１６８ …輝度範囲再設定部
１７０ …色識別子設定部
１７２ …グループ化部
１７４ …特定物決定部
【技術分野】
【０００１】
本発明は、自車両外の環境を認識する車外環境認識装置および車外環境認識方法に関する。
【背景技術】
【０００２】
従来、自車両の前方に位置する車両や障害物等の対象物を検出し、検出した対象物との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。
【０００３】
こうした技術の多くは、先行車両を追跡して位置情報を更新し、先行車両の移動速度等を計算するように構成されており、この結果が、例えば衝突回避制御やクルーズコントロールなどに用いられる。また、このような制御を円滑に遂行すべく、先行車両以外の車外環境、例えば、信号機や道路標識といった対象物を認識して自車両の走行をサポートしたり、先行車両のブレーキランプを認識して先行車両の急な減速に備えたりしている。
【０００４】
上述した対象物は、自車両前方の車外環境を撮像した画像に基づいて特定される。このような車外環境を認識する技術として、例えば、車外のカラー画像を撮像し、同一の輝度（色）を有する、隣接する画素同士をグループ化し、信号機の赤色灯等の光源を対象物として認識する技術が知られている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３３４９０６０号
【特許文献２】特開２０１０−２２４９２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した衝突回避制御やクルーズコントロールを円滑に遂行するためには、例えば、ブレーキランプやウィンカー等の認識を通じて、先行車両の挙動をより詳細に把握する必要がある。また、信号機の赤色・黄色・青色灯等の車外環境を通じて、車両を走行する上で必要な交通情報をより正確に取得する必要もある。
【０００７】
例えば、上記ブレーキランプと信号機の赤色灯とは赤色の発光源として輝度が近似しているので、同一の基準（輝度範囲）を用いて抽出している。これは、検出対象を細分化しすぎると、以後の計算負荷が徒に増え、反応時間が遅れる結果を招き、ひいては円滑な衝突回避制御やクルーズコントロールに悪影響を及ぼしかねないからである。
【０００８】
しかし、同一の基準により、例えばブレーキランプと信号機の赤色灯とをいずれも抽出するとなると、その判定基準となる輝度範囲を広くとらなくてはならず、本来ブレーキランプや信号機の赤色灯と判定すべきではない対象物を誤判定してしまう可能性が生じる。このような誤判定を回避すべく輝度範囲を狭めると、今度は、抽出すべき複数種類の対象物のうち、抽出できない対象物が生じることとなる。
【０００９】
本発明は、このような課題に鑑み、検出対象の無駄な細分化を回避しつつ、輝度が近似する複数種類の対象物を精度良く識別することが可能な、車外環境認識装置および車外環境認識方法を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の車外環境認識装置は、複数の色識別子と輝度範囲とを対応付けて保持するデータ保持部と、車外環境を撮像した画像を取得する画像取得部と、自車両との相対的な位置関係に応じて画像の検出領域を複数の特定領域に分割する特定領域分割部と、特定領域毎に色識別子に対応付けられた輝度範囲を再設定する輝度範囲再設定部と、検出領域内の複数の対象部位の輝度と対象部位が位置する特定領域に再設定された輝度範囲とに基づいて、対象部位に色識別子を設定する色識別子設定部と、水平距離の差分および高さの差分が所定範囲内にある１または複数の対象部位をグループ化するグループ化部と、を備える。
【００１１】
輝度範囲再設定部は、撮像状態または車外環境に応じて色識別子の輝度範囲を補正してもよい。
【００１２】
特定領域は、車両、路面、道路標識、歩行者、移動している立体物、予め定められた高さ範囲、予め定められた相対距離範囲、予め定められた水平距離範囲、画像の水平方向または垂直方向に対して分割した分割範囲の群から選択された１または複数の特定物が占有する領域であってもよい。
【００１３】
上記課題を解決するために、本発明の車外環境認識方法は、複数の色識別子と輝度範囲とを対応付けて保持しておき、車外環境を撮像した画像を取得し、自車両との相対的な位置関係に応じて画像の検出領域を複数の特定領域に分割し、特定領域毎に色識別子に対応付けられた輝度範囲を再設定し、検出領域内の複数の対象部位の輝度と対象部位が位置する特定領域に再設定された輝度範囲とに基づいて、対象部位に色識別子を設定し、水平距離の差分および高さの差分が所定範囲内にある１または複数の対象部位をグループ化することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、検出対象の無駄な細分化を回避して処理負荷の無駄な増大を防止しつつ、輝度が近似する複数種類の対象物を精度良く識別することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】環境認識システムの接続関係を示したブロック図である。
【図２】輝度画像と距離画像を説明するための説明図である。
【図３】車外環境認識装置の概略的な機能を示した機能ブロック図である。
【図４】色識別子テーブルを説明するための説明図である。
【図５】位置情報取得部による三次元の位置情報への変換を説明するための説明図である。
【図６】分割領域と代表距離とを説明するための説明図である。
【図７】分割領域群を説明するための説明図である。
【図８】輝度範囲の補正を説明するための説明図である。
【図９】色識別子マップを説明するための説明図である。
【図１０】車外環境認識方法の処理の大まかな流れを示したフローチャートである。
【図１１】位置情報取得処理の流れを示したフローチャートである。
【図１２】代表距離導出処理の流れを示したフローチャートである。
【図１３】分割領域群生成処理の流れを示したフローチャートである。
【図１４】特定領域分割処理の流れを示したフローチャートである。
【図１５】輝度範囲再設定処理の流れを示したフローチャートである。
【図１６】色識別子設定処理の流れを示したフローチャートである。
【図１７】グループ化処理の流れを示したフローチャートである。
【図１８】特定物決定処理の流れを示したフローチャートである。
【図１９】効果を説明するための説明図である。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１７】
（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、複数（本実施形態では２つ）の撮像装置１１０と、画像処理装置１２０と、車外環境認識装置１３０と、車両制御装置１４０とを含んで構成される。
【００１８】
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、カラー画像、即ち、画素単位で３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））の輝度を取得することができる。本実施形態においては、色と輝度とを同等に扱い、同一の文章に両文言が含まれる場合、互いを、色を構成する輝度、または、輝度を有する色と読み替えることができる。ここでは、撮像装置１１０で撮像されたカラーの画像を輝度画像と呼び、後述する距離画像と区別する。
【００１９】
また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒毎（６０ｆｐｓ）に連続して生成する。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。ここで、対象物は、車両、信号機、道路、ガードレールといった独立して存在する立体物のみならず、ブレーキランプ（テールランプ）やウィンカー、信号機の各点灯部分等、立体物の部分として特定できる物も含む。
【００２０】
画像処理装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、２つの画像データに基づいて、画像中の任意のブロック（所定数の画素を集めたもの）の視差、および、任意のブロックの画面中の位置を示す画面位置を含む視差情報を導出する。画像処理装置１２０は、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、ブロックの説明に用いられた「水平」は、撮像した画像の画面横方向を示し、実空間上の水平方向に相当する。また、「垂直」は、撮像した画像の画面縦方向を示し、実空間上の鉛直方向に相当する。
【００２１】
このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度値（Ｙ色差信号）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。
【００２２】
ただし、画像処理装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する相対距離に相当）を画像データに対応付けた画像を距離画像という。
【００２３】
図２は、輝度画像１２４と距離画像１２６を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２２について図２（ａ）のような輝度画像（画像データ）１２４が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２４の一方のみを模式的に示している。画像処理装置１２０は、このような輝度画像１２４からブロック毎の視差を求め、図２（ｂ）のような距離画像１２６を形成する。距離画像１２６における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。
【００２４】
視差は、画像のエッジ部分（隣り合う画素間で明暗の差分が大きい部分）で特定され易いので、距離画像１２６において黒のドットが付されている、視差が導出されたブロックは、輝度画像１２４においてもエッジとなっていることが多い。したがって、図２（ａ）に示す輝度画像１２４と図２（ｂ）に示す距離画像１２６とは各対象物の輪郭について似たものとなる。
【００２５】
車外環境認識装置１３０は、画像処理装置１２０から輝度画像１２４と距離画像１２６とを取得し、輝度画像１２４に基づく輝度と、距離画像１２６に基づく自車両１との相対距離を用いて検出領域１２２における対象物がいずれの特定物に対応するかを特定する。例えば、相対距離等によって先行車両を特定し、さらに、輝度によってその先行車両のブレーキランプを特定することで、ブレーキランプが点灯した車両をより正確に把握することができる。そうすることで、ブレーキランプによる当該車両の減速を迅速に把握し、衝突回避制御やクルーズコントロールに利用することが可能となる。
【００２６】
尚、上記相対距離は、距離画像１２６におけるブロック毎の視差情報を、所謂ステレオ法を用いて三次元の位置情報に変換することで求められる。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。かかる車外環境認識装置１３０の処理に関しては、後ほど詳述する。
【００２７】
車両制御装置１４０は、車外環境認識装置１３０で特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１４０は、操舵の角度を検出する舵角センサ１４２や自車両１の速度を検出する車速センサ１４４等を通じて現在の自車両１の走行状態を取得し、アクチュエータ１４６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１４６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１４０は、対象物との衝突が想定される場合、運転者の前方に設置されたディスプレイ１４８にその旨警告表示（報知）を行うと共に、アクチュエータ１４６を制御して自車両１を自動的に制動する。かかる車両制御装置１４０は、車外環境認識装置１３０と一体的に形成することもできる。
【００２８】
本実施形態では、上記環境認識システム１００を通じて、車両が占有する特定領域（特定物に準じる、検出領域中の一部の領域）を特定し、その特定領域を利用することで、特定物「ブレーキランプ」と特定物「信号機の赤色灯」とを区別する例を挙げる。ただし、本実施形態における「ブレーキランプ」は、ブレーキランプの点灯状態を意図している。上記特定領域や特定物が車両やブレーキランプ、信号機の赤色灯に限定されないのは言うまでもない。
【００２９】
（車外環境認識装置１３０）
図３は、車外環境認識装置１３０の概略的な機能を示した機能ブロック図である。図３に示すように、車外環境認識装置１３０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。
【００３０】
Ｉ／Ｆ部１５０は、画像処理装置１２０や車両制御装置１４０との双方向の情報交換を行うためのインターフェースである。かかるＩ／Ｆ部１５０は画像取得部として機能する。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、色識別子テーブル（対応付け）や、以下に示す各機能部の処理に必要な様々な情報を保持し、また、画像処理装置１２０から受信した輝度画像１２４、距離画像１２６を一時的に保持する。ここで、色識別子テーブルは、以下のように利用される。
【００３１】
図４は、色識別子テーブル２００を説明するための説明図である。色識別子テーブル２００では、予め定められた所定数の色を表す輝度範囲２０２が色識別子２０４に対応付けられている。例えば、色識別子「１」には、赤色の特定物に相当する輝度範囲、例えば、輝度範囲（Ｒ）「８０以上」、輝度範囲（Ｇ）「４０以下」、輝度範囲（Ｂ）「４０以下」が対応付けられている。同様に、色識別子「２」、「３」、「４」、「５」、「６」、「７」、「８」には、黄色、青緑色、マゼンタ色、橙色、朱色、青色、緑色の特定物に相当する輝度範囲が対応付けられている。ただし、輝度範囲は図４に記載された輝度範囲に限定されず、また、その数も限定されないのは言うまでもない。
【００３２】
また、図示はしていないが、色識別子テーブル２００における各色識別子には、１または複数の特定物が対応付けられている。例えば、色識別子「１」には赤色の特定物「ブレーキランプ」と特定物「信号機の赤色灯」とが対応付けられる。これは、輝度が近似している特定物同士を同一の基準（輝度範囲）で抽出することで、計算負荷の増加を回避するためである。
【００３３】
中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０やデータ保持部１５２を制御する。また、本実施形態において、中央制御部１５４は、位置情報取得部１６０、代表距離導出部１６２、分割領域群生成部１６４、特定領域分割部１６６、輝度範囲再設定部１６８、色識別子設定部１７０、グループ化部１７２、特定物決定部１７４としても機能する。
【００３４】
位置情報取得部１６０は、Ｉ／Ｆ部１５０を介して取得した距離画像１２６における検出領域１２２内のブロック毎の視差情報を、上述したステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む三次元の位置情報に変換する。ここで、視差情報が、距離画像１２６における各ブロックの視差を示すのに対し、三次元の位置情報は、実空間における各ブロックの相対距離の情報を示す。また、視差情報が画素単位ではなくブロック単位、即ち複数の画素単位で導出されている場合、その視差情報はブロックに属する全ての画素の視差情報とみなして、画素単位の計算を実行することができる。
【００３５】
図５は、位置情報取得部１６０による三次元の位置情報への変換を説明するための説明図である。位置情報取得部１６０は、まず、距離画像１２６を図５の如く画素単位の座標系として認識する。ここでは、図５中、左下隅を原点（０，０）とし、横方向をｉ座標軸、縦方向をｊ座標軸とする。したがって、視差ｄｐを有する画素は、画素位置ｉ、ｊと視差ｄｐによって（ｉ，ｊ，ｄｐ）のように表すことができる。
【００３６】
本実施形態における実空間上の三次元座標系を、自車両１を中心とした相対座標系で考える。ここでは、自車両１の進行方向右側方をＸ軸の正方向、自車両１の上方をＹ軸の正方向、自車両１の進行方向（前方）をＺ軸の正方向、２つの撮像装置１１０の中央を通る鉛直線と道路表面との交点を原点（０，０，０）とする。このとき、道路を平面と仮定すると、道路表面がＸ−Ｚ平面（ｙ＝０）と一致することとなる。位置情報取得部１６０は、以下の（数式１）〜（数式３）によって距離画像１２６上のブロック（ｉ，ｊ，ｄｐ）を、実空間上の三次元の点（ｘ，ｙ，ｚ）に座標変換する。
ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …（数式１）
ｙ＝ＣＨ＋ｚ・ＰＷ・（ｊ−ＪＶ） …（数式２）
ｚ＝ＫＳ／ｄｐ …（数式３）
ここで、ＣＤは撮像装置１１０同士の間隔（基線長）であり、ＰＷは１画素当たりの視野角であり、ＣＨは撮像装置１１０の道路表面からの配置高さであり、ＩＶ、ＪＶは自車両１の真正面における無限遠点の画像上の座標（画素）であり、ＫＳは距離係数（ＫＳ＝ＣＤ／ＰＷ）である。
【００３７】
したがって、位置情報取得部１６０は、ブロックの相対距離と、ブロックと同相対距離にある道路表面上の点とブロックとの距離画像１２６上の検出距離（例えば画素数）とに基づいて、道路表面からの高さを導出していることとなる。
【００３８】
代表距離導出部１６２は、まず、距離画像１２６の検出領域１２２を、水平方向に対して複数の分割領域２１６に分割する。続いて、代表距離導出部１６２は、道路表面より上方に位置するブロックを対象に、位置情報に基づいて分割領域毎に、複数に区分した所定距離それぞれに含まれる相対距離を積算してヒストグラムを生成する。そして、代表距離導出部１６２は、積算した距離分布のピークに相当する代表距離を導出する。ここで、ピークに相当するとは、ピーク値またはピーク近傍で任意の条件を満たす値をいう。
【００３９】
図６は、分割領域２１６と代表距離２２０とを説明するための説明図である。図５に示したように、距離画像１２６を水平方向に複数分割すると、分割領域２１６は図６（ａ）のような短冊形状になる。このような短冊形状の分割領域２１６は、本来、例えば、水平幅４画素のものが１５０列配列して成るが、ここでは、説明の便宜上、検出領域１２２を１６等分したもので説明する。
【００４０】
続いて、代表距離導出部１６２は、各分割領域２１６において、全てのブロックの相対距離を参照し、ヒストグラム（図６（ｂ）中、横長の四角（バー）で示す）を作成すると、図６（ｂ）のような距離分布２１８が得られる。ここで、縦方向は、区分した所定距離を、横方向は、区分した所定距離それぞれに相対距離が含まれるブロックの個数を示している。ただし、図６（ｂ）は計算を行う上での仮想的な画面であり、実際には視覚的な画面の生成を伴わない。そして、代表距離導出部１６２は、このようにして導出された距離分布２１８を参照し、ピークに相当する相対距離である代表距離（図６（ｂ）中、黒で塗りつぶした四角で示す）２２０を特定する。
【００４１】
分割領域群生成部１６４は、隣接する分割領域２１６同士の代表距離２２０を順次比較し、代表距離２２０が近接する（例えば、１ｍ以下に位置する）分割領域２１６をグループ化して１または複数の分割領域群を生成する。このとき、３以上の分割領域２１６で代表距離２２０が近接していた場合にも、連続する全ての分割領域２１６を分割領域群として纏める。
【００４２】
図７は、分割領域群２２２を説明するための説明図である。分割領域群生成部１６４は、分割領域２１６同士を比較し、図７に示すように代表距離２２０をグループ化する（グループ化後の仮想的なグループ２２４）。かかるグループ化によって、分割領域群生成部１６４は、道路表面より上方に位置する立体物を特定することができる。また、分割領域群生成部１６４は、そのグループ化された分割領域群２２２中における水平方向および鉛直方向の相対距離の推移に基づいて、先行車両の後部、側部、またはガードレール等の道路に沿った構造物等のいずれであるかを認識することが可能となる。
【００４３】
特定領域分割部１６６は、自車両１との相対的な位置関係に応じて先行車両等の特定物を特定し、その特定物の外縁に従って、画像の検出領域を１または複数の特定領域に分割する。特定領域は、外縁を収容する予め定められた様々な形状で表すことができるが、ここでは四角形の枠で表すこととする。具体的に、まず、特定領域分割部１６６は、分割領域群生成部１６４が生成した分割領域群２２２内における、相対距離ｚが代表距離２２０に相当するブロックを基点として、そのブロックと、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲（例えば０．１ｍ）内にあるブロックとを、同一の特定物に対応すると仮定してグループ化する。上記の範囲は実空間上の距離で表され、製造者や搭乗者によって任意の値に設定することができる。また、特定領域分割部１６６は、グループ化により新たに追加されたブロックに関しても、そのブロックを基点として、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が所定範囲内にあるブロックをさらにグループ化する。結果的に、同一の特定物と仮定可能なブロック全てがグループ化されることとなる。
【００４４】
また、ここでは、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分をそれぞれ独立して判定し、全てが所定範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の二乗平均√（（水平距離ｘの差分）２＋（高さｙの差分）２＋（相対距離ｚの差分）２）が所定範囲に含まれる場合に同一のグループとしてもよい。かかる計算により、ブロック同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。
【００４５】
続いて、特定領域分割部１６６は、グループ化したブロック群が予め定められた所定の条件を満たしていれば、その対象物を特定物として決定する。例えば、特定領域分割部１６６は、グループ化されたブロック群が道路上に位置する場合、そのブロック群全体の大きさが、特定物「車両」の大きさに相当するか否か判定し、特定物「車両」の大きさに相当すると判定されれば、そのブロック群を特定物「車両」と特定する。そして、特定領域分割部１６６は、特定物「車両」と特定されたブロック群が画面上占有する領域を車両の特定領域として、他の検出領域１２２と区別する。
【００４６】
こうして、車外環境認識装置１３０では、検出領域１２２を、例えば車両が占有する特定領域に分割することができ、その情報を様々な処理に用いることが可能となる。例えば、ブレーキランプ、テールランプ、ウィンカー等の対象物は、車両にのみ付属しているので、それらの検出範囲を特定領域にのみ絞り込むことができる。以下では、この特定領域毎に輝度を判定することで、特定物「ブレーキランプ」と特定物「信号機の赤色灯」とを区別する処理を説明する。
【００４７】
輝度範囲再設定部１６８は、特定領域毎に、色識別子テーブル２００において色識別子に対応付けられた輝度範囲２０２を再設定する。ただし、設定を変更する必要のない、即ち、再設定を行わない輝度範囲２０２についても、ここでは、そのままの値を再設定したとして扱う。
【００４８】
例えば、色識別子「１」には、輝度範囲（Ｒ）「８０以上」、輝度範囲（Ｇ）「４０以下」、輝度範囲（Ｂ）「４０以下」が対応付けられている。かかる輝度範囲２０２を用いることで、特定物「ブレーキランプ」および特定物「信号機の赤色灯」のいずれも一度に抽出することができる。しかし、かかる輝度範囲２０２を単純に用いてしまうと、ブレーキランプが消灯しているときの赤色のランプカバーや、車体が赤色の車両も色識別子「１」の対象物として抽出されるおそれがある。そこで、車両が占有する特定領域に関しては、色識別子テーブル２００で対応付けられた色識別子２０４の輝度範囲２０２を再設定した後、輝度を判定する。
【００４９】
例えば、特定物「ブレーキランプ」の明るさは法規で概ね規定され、輝度範囲（Ｒ）を高くとることができる。したがって、輝度範囲再設定部１６８は、車両が占有する特定領域に関し、色識別子「１」の輝度範囲２０２を、例えば、輝度範囲（Ｒ）「１６０以上」、輝度範囲（Ｇ）「８０以下」、輝度範囲（Ｂ）「８０以下」に再設定する。そうすると、ブレーキランプが消灯しているときの赤色のランプカバーや、車体の赤色は色識別子「１」の対象から排除され、特定物「ブレーキランプ」のみを適切に抽出することができる。
【００５０】
また、輝度範囲再設定部１６８は、撮像状態や車外環境に応じて各色識別子の輝度範囲２０２を補正してもよい。ここで、撮像状態は、露光態様や対象物との相対距離を含み、車外環境は、車外周辺の輝度や検出領域１２２内を照らす照明の色温度（カラーバランス）を含む。
【００５１】
上記露光態様は、撮像装置１１０の露光時間や絞りを示し、輝度範囲再設定部１６８は、例えば、露光時間が短くなれば、その短くなった比率を輝度範囲２０２に乗じて輝度範囲２０２を下げる。同様に、露光時間が長くなれば、その比率を輝度範囲２０２に乗じて輝度範囲２０２を上げる。また、輝度範囲再設定部１６８は、例えば、相対距離が短くなれば、その短くなった比率を輝度範囲２０２から除して輝度範囲２０２を上げ、相対距離が長くなれば、その比率を輝度範囲２０２から除して輝度範囲２０２を下げる。
【００５２】
図８は、輝度範囲２０２の補正を説明するための説明図である。対象物の輝度は、車外周辺の輝度や検出領域１２２内を照らす照明の色温度の影響を受ける。例えば、図８（ａ）のように、日陰は日なたに比べると輝度が低くなり、それに伴って対象物の輝度も低くなる。そこで、輝度範囲再設定部１６８は、例えば、車外周辺（例えば、道路面）の輝度が低くなれば、その低くなった分輝度範囲２０２を下げ、車外周辺の輝度が高くなれば、その分輝度範囲２０２を上げる。また、対象物のカラーバランスは、検出領域１２２内を照らす照明の影響を受ける。例えば、図８（ｂ）のように、ナトリウムランプやハロゲンランプの光を受けると色温度が比較的高くなり、曇り空だと色温度が比較的低くなる。そこで、輝度範囲再設定部１６８は、例えば、照明の色温度が低くなれば、その低くなった分輝度範囲２０２を下げ、照明の色温度が高くなれば、その分輝度範囲２０２を上げる。
【００５３】
ここでは、輝度範囲再設定部１６８による輝度範囲の補正を個別に説明したが、露光時間、相対距離、車外周辺の輝度、色温度の群から選択される１または複数のパラメータに基づいて重ねて補正を行うことも可能である。こうして、輝度範囲再設定部１６８は、判定基準である輝度範囲を、対象物の輝度の変化に追従させることができるので、本来の輝度に応じて対象物を特定物に特定することが可能となる。
【００５４】
色識別子設定部１７０は、検出領域内の複数の画素（対象部位）の輝度と画素が位置する特定領域に再設定された輝度範囲とに基づいて、各画素に色識別子を設定する。
【００５５】
まず、色識別子設定部１７０は、Ｉ／Ｆ部１５０を介して取得した輝度画像１２４から、画素単位で輝度（画素単位で３つの色相（Ｒ、Ｇ、Ｂ）の輝度）を取得する。
【００５６】
そして、色識別子設定部１７０は、色識別子テーブル２００に登録されている色識別子２０４を順次選択し、取得した１の画素の輝度が、順次選択した色識別子２０４の輝度範囲２０２に含まれるか否か判定する。そして、対象部位の輝度が、いずれかの色識別子２０４の輝度範囲２０２に含まれれば、その画素に当該色識別子２０４を設定して、色識別子マップを作成する。
【００５７】
ただし、本実施形態においては、色識別子テーブル２００に登録されている色識別子２０４の輝度範囲２０２をそのまま用いない場合がある。色識別子設定部１７０は、画素の位置（特定領域に含まれるか否か、また、いずれの特定領域であるか）や撮像状態、車外環境に応じ、輝度範囲再設定部１６８によって輝度範囲２０２が再設定されている場合、その再設定された輝度範囲２０２に基づいて画素の輝度を判定する。
【００５８】
色識別子設定部１７０は、このような対象部位それぞれの輝度と色識別子テーブル２００に登録されている複数の色識別子２０４の輝度範囲２０２との一連の比較を、複数の画素毎に順次実行する。ここで、色識別子２０４の選択順は「１」、「２」…といったように昇順である。このような選択順に従って比較した結果、画素の輝度が序数の低い色識別子２０４の輝度範囲２０２に含まれていると判定された場合、それより序数の高い色識別子２０４に関する比較処理は最早行われない。したがって、１の画素に関して２以上の色識別子２０４が付されることはない。これは、複数の特定物が空間上で重なり合うことはないので、色識別子設定部１７０によって一旦任意の色識別子２０４が設定された対象物は、最早、他の色識別子２０４であるか否かを判定する必要がないという理由に基づく。このように画素を排他的に取り扱うことによって、既に色識別子２０４が設定された画素の重複した設定処理を回避することができ、処理負荷を軽減することが可能となる。
【００５９】
図９は、色識別子マップ２１０を説明するための説明図である。色識別子マップ２１０は、輝度画像１２４に色識別子２０４を重ねたものである。したがって、特定物に相当する対象物の位置に、色識別子２０４が纏まって設定される。
【００６０】
色識別子マップ２１０中の部分マップ２１０ａに着目する。かかる部分マップ２１０ａの位置は、車両の特定領域２１４には含まれていない。したがって、部分マップ２１０ａ内の画素の輝度が、色識別子テーブル２００における色識別子「１」の輝度範囲２０２と比較され、信号機の赤色灯に相当する複数の画素群２１２に色識別子「１」が対応付けられる。
【００６１】
続いて、色識別子マップ２１０中の部分マップ２１０ｂに着目する。かかる部分マップ２１０ｂの位置は、車両の特定領域２１４に含まれている。したがって、部分マップ２１０ｂ内の画素の輝度が、特定領域２１４に基づいて再設定された輝度範囲２０２と比較され、車両のブレーキランプに相当する複数の画素群２１２に色識別子「１」が対応付けられる。
【００６２】
次に、色識別子マップ２１０中の部分マップ２１０ｃに着目する。かかる部分マップ２１０ｃの位置も部分マップ２１０ｂ同様、車両の特定領域２１４に含まれている。ただし、部分マップ２１０ｃでは、部分マップ２１０ｂと異なり、車両のブレーキランプが点灯していないとする。ここでも、部分マップ２１０ｃ内の画素が、特定領域２１４に基づいて再設定された輝度範囲２０２と比較される。しかし、再設定された輝度範囲２０２は、色識別子テーブル２００に登録された輝度範囲２０２より輝度が高いので、部分マップ２１０ｃ内の画素がその輝度範囲２０２に含まれると判定されることはない。車両のブレーキランプに相当する複数の画素群２１２には、色識別子「１」ではなく、例えば、朱色の特定物に相当する色識別子「６」が対応付けられる。図９では、輝度画像１２４の複数の画素に色識別子が付された図を提示しているが、かかる表現は理解を容易にするための概念的なものであり、実際には対象部位にデータとして色識別子２０４が登録されている。
【００６３】
グループ化部１７２は、任意の画素（対象部位）を基点として、その画素と、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲（例えば０．１ｍ）内にある画素とを、同一の特定物に対応すると仮定してグループ化する。上記の範囲は実空間上の距離で表され、製造者や搭乗者によって任意の値に設定することができる。また、グループ化部１７２は、グループ化により新たに追加された画素に関しても、その画素を基点として、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が所定範囲内にある画素をさらにグループ化する。結果的に、同一の特定物と仮定可能な画素全てがグループ化されることとなる。
【００６４】
また、ここでも、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分をそれぞれ独立して判定し、全てが所定範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の二乗平均√（（水平距離ｘの差分）２＋（高さｙの差分）２＋（相対距離ｚの差分）２）が所定範囲に含まれる場合に同一のグループとしてもよい。
【００６５】
特定物決定部１７４は、グループ化部１７２がグループ化した対象物（画素群）が予め定められた条件を満たしていれば、その対象物を特定物として決定する。例えば、特定物決定部１７４は、対象物の大きさ（対象物の水平距離ｘの幅および高さｙの幅のいずれも）が、特定物に対応付けられた幅範囲に含まれていれば、その対象物を対象となる特定物として決定することとする。また、対象物の水平距離ｘの幅および高さｙの幅それぞれについて幅範囲を設定してもよい。ここでは、対象物が、特定物とみなすのに妥当な大きさであることを確認している。したがって、幅範囲に含まれない場合、当該環境認識処理に不要な情報として除外することができる。例えば、図９の部分マップ２１０ｂにおける対象物（画素群２１２）の大きさは、特定物「ブレーキランプ」の幅範囲、例えば「０．０５〜０．２ｍ」に含まれるため、適切に特定物「ブレーキランプ」と特定される。
【００６６】
こうして、車外環境認識装置１３０では、輝度画像１２４から、１または複数の対象物を、特定物として抽出することができ、その情報を様々な制御に用いることが可能となる。例えば、特定物「ブレーキランプ」を抽出することで、そこに自車両１と共に走行している先行車両があり、かつ、その先行車両が減速していることを把握することができる。また、特定物「信号機の赤色灯」を抽出することで、その対象物が、移動を伴わない固定された物であることが把握されると共に、その対象物が自車線に関する信号機であれば、自車両１は、停止または減速すべきであることを把握することができる。
【００６７】
（車外環境認識方法）
以下、車外環境認識装置１３０の具体的な処理を図１０〜図１８のフローチャートに基づいて説明する。図１０は、画像処理装置１２０から輝度画像１２４および距離画像１２６が送信されたときの割込処理に関する全体的な流れを示し、図１１〜図１８は、その中の個別のサブルーチンを示している。また、ここでは、処理の対象部位としてブロックまたは画素を挙げており、輝度画像１２４や距離画像１２６の左下隅を原点とし、ブロックでは、画像水平方向に１〜１５０ブロック、垂直方向に１〜５０ブロックの範囲で、画素では、画像水平方向に１〜６００画素、垂直方向に１〜２００画素の範囲で当該車外環境認識方法による処理を遂行する。また、ここでは、対象となる色識別子２０４を８つと仮定する。
【００６８】
図１０に示すように、当該車外環境認識方法による割込が発生すると、検出領域１２２内のブロック毎の視差情報が三次元の位置情報として取得され（Ｓ３００）、分割領域２１６毎の代表距離２２０が導出される（Ｓ３０２）。続いて、分割領域２１６がグループ化されて分割領域群２２２が生成され（Ｓ３０４）、その分割領域群２２２内でブロックのグループ化が図られ、グループ化した特定物に従い検出領域が特定領域に分割される（Ｓ３０６）。このように分割された特定領域に関して輝度範囲が再設定され（Ｓ３０８）、再設定された輝度範囲に基づいて、輝度画像１２４の画素に色識別子が設定される（Ｓ３１０）。そして、色識別子がグループ化され（Ｓ３１２）、グループ化された対象物が予め定められた条件を満たすと特定物として特定される（Ｓ３１４）。以下、上記の処理を具体的に説明する。
【００６９】
（位置情報取得処理Ｓ３００）
図１１を参照すると、位置情報取得部１６０は、ブロックを特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ４００）。続いて、位置情報取得部１６０は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ４０２）。次に、位置情報取得部１６０は、水平変数ｉに「１」を加算する（Ｓ４０４）。
【００７０】
位置情報取得部１６０は、距離画像１２６のブロック（ｉ，ｊ，ｄｐ）から視差情報ｄｐを取得する（Ｓ４０６）。そして、位置情報取得部１６０は、視差情報ｄｐを含むブロック（ｉ，ｊ，ｄｐ）を、上記数式１〜３を用い、実空間上の点（ｘ，ｙ，ｚ）に座標変換して、ブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）とする（Ｓ４０８）。
【００７１】
続いて、位置情報取得部１６０は、水平変数ｉが水平ブロックの最大値である１５０を超えたか否か判定し（Ｓ４１０）、水平変数ｉが最大値を超えていなければ（Ｓ４１０におけるＮＯ）、ステップＳ４０４の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ４１０にけるＹＥＳ）、位置情報取得部１６０は、垂直変数ｊが垂直ブロックの最大値である５０を超えたか否か判定する（Ｓ４１２）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ４１２におけるＮＯ）、ステップＳ４０２の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ４１２におけるＹＥＳ）、当該位置情報取得処理Ｓ３００を終了する。こうして、距離画像１２６の視差情報ｄｐが三次元の位置情報に変換される。
【００７２】
（代表距離導出処理Ｓ３０２）
図１２を参照すると、代表距離導出部１６２は、道路形状パラメータを読み込み（Ｓ４５０）、検出領域１２２を、水平方向に対して例えば４画素単位で１５０個の分割領域２１６に分割する（Ｓ４５２）。次に、代表距離導出部１６２は、分割した１５０個の分割領域２１６から１の分割領域２１６を、例えば水平方向左側から順次抽出して、その分割領域２１６内に存在する任意のブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）を設定する（Ｓ４５４）。
【００７３】
代表距離導出部１６２は、ブロックの実空間上の座標ｚにおける道路表面の高さｙｒを算出し（Ｓ４５６）、ブロックの実空間上の座標ｙが道路表面の高さｙｒ以上となるブロックであれば、所定距離間隔で区分したヒストグラムにその相対距離を積算（投票）する（Ｓ４５８）。ここで、ブロックの実空間上の座標ｙが道路表面の高さｙｒ以上であったとしても、道路表面から高さ０．１ｍ以下のブロックは、道路上の白線や汚れ、影等であるとみなして処理対象から除外する。また、自車両１の高さより上方に位置するブロックも、歩道橋や標識等であるとみなして処理対象から除外する。
【００７４】
代表距離導出部１６２は、抽出された１の分割領域２１６内のブロック全てに関し、当該ヒストグラムへの積算処理を遂行したか判定する（Ｓ４６０）。ここで、ブロック全てが完了していなければ（Ｓ４６０におけるＮＯ）、ヒストグラムへの積算処理を遂行していないブロックに関して設定処理Ｓ４５４からを繰り返す。
【００７５】
ブロック全てが完了していれば（Ｓ４６０におけるＹＥＳ）、代表距離導出部１６２は、このようにして生成されたヒストグラムを参照し、ヒストグラムの度数（相対距離の個数）が所定の閾値（適宜設定される）以上となる区間が存在したら当該分割領域２１６には立体物が存在すると判定する。そして、代表距離導出部１６２は、ピークに相当する相対距離を代表距離２２０とする（Ｓ４６２）。
【００７６】
そして、代表距離導出部１６２は、複数の分割領域２１６全てに関して、当該代表距離２２０の導出処理を遂行したか判定する（Ｓ４６４）。ここで、分割領域２１６全てが完了していると判定されなければ（Ｓ４６４におけるＮＯ）、新たな分割領域２１６を設定し（Ｓ４６６）、新たな分割領域２１６に関してブロックの設定処理Ｓ４５４からを繰り返す。一方、代表距離２２０の導出処理が全て完了していれば（Ｓ４６４におけるＹＥＳ）、当該代表距離導出処理Ｓ３０２を終了する。
【００７７】
（分割領域群生成処理Ｓ３０４）
図１３を参照すると、分割領域群生成部１６４は、複数の分割領域２１６から任意の分割領域２１６を、例えば水平方向左側から順次特定し、その任意の分割領域２１６の水平方向右側に隣接する分割領域２１６も特定する（Ｓ５００）。そして、分割領域群生成部１６４は、両分割領域２１６に代表距離２２０が存在するか否か判定する（Ｓ５０２）。ここで、両分割領域２１６に代表距離２２０が存在していなければ（Ｓ５０２におけるＮＯ）、分割領域の完了判定ステップＳ５０８に処理を移す。一方、両分割領域２１６に代表距離２２０が存在していれば（Ｓ５０２におけるＹＥＳ）、両分割領域２１６の代表距離２２０同士を比較する（Ｓ５０４）。
【００７８】
ここで、両代表距離２２０の差分が予め定められた閾値（同一の立体物とみなせる値）以下であれば、両代表距離２２０は近接しているとみなされ、分割領域群生成部１６４は、分割領域２１６同士をグループ化して分割領域群２２２とする（Ｓ５０６）。このとき、一方の分割領域２１６が既に分割領域群２２２として設定されている場合、他方の分割領域２１６は、その分割領域群２２２に統合される。
【００７９】
そして、分割領域群生成部１６４は、複数の分割領域２１６全てに関して、当該分割領域群２２２の生成処理Ｓ５０２、Ｓ５０４、Ｓ５０６を遂行したか判定する（Ｓ５０８）。ここで、全てが完了していなければ（Ｓ５０８におけるＮＯ）、新たな分割領域２１６を設定し（Ｓ５１０）、新たな分割領域２１６に関して特定処理Ｓ５００からを繰り返す。一方、分割領域群２２２の生成処理が全て完了していれば（Ｓ５０８におけるＹＥＳ）、当該分割領域群生成処理Ｓ３０４を終了する。
【００８０】
（特定領域分割処理Ｓ３０６）
図１４を参照すると、特定領域分割部１６６は、グループ化された複数の分割領域群２２２から１の分割領域群２２２を、例えば水平方向左側から順次抽出して、その分割領域群２２２内に存在する任意のブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）を設定する（Ｓ５５０）。
【００８１】
特定領域分割部１６６は、設定されたブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）と、分割領域群２２２内における、相対距離ｚが代表距離２２０に相当するブロックとを比較し、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲（例えば０．１ｍ）内にあるか否か判定する（Ｓ５５２）。予め定められた範囲内にある場合（Ｓ５５２におけるＹＥＳ）、そのブロックを、同一の特定物に対応すると仮定してグループ化する（Ｓ５５４）。予め定められた範囲内にない場合（Ｓ５５２におけるＮＯ）、ブロックの完了判定ステップＳ５５６に処理を移す。
【００８２】
特定領域分割部１６６は、抽出された１の分割領域群２２２内のブロック全てに関し、当該グループ化処理を遂行したか判定する（Ｓ５５６）。ここで、ブロック全てのグループ化処理が完了していなければ（Ｓ５５６におけるＮＯ）、グループ化処理を遂行していないブロックに関して設定処理Ｓ５５０からを繰り返す。
【００８３】
ブロック全てのグループ化処理が完了していれば（Ｓ５５６におけるＹＥＳ）、特定物決定部１７４は、このようにしてグループ化されたブロック群全体の大きさが、特定物「車両」の大きさに相当するか否か判定する（Ｓ５５８）。特定物「車両」の大きさに相当すると判定されれば（Ｓ５５８におけるＹＥＳ）、そのブロック群を特定物「車両」と特定する（Ｓ５６０）。特定物「車両」の大きさに相当すると判定されなければ（Ｓ５５８におけるＮＯ）、分割領域群２２２の完了判定ステップＳ５６２に処理を移す。
【００８４】
そして、特定領域分割部１６６は、複数の分割領域群２２２全てに関して、当該特定物決定判定Ｓ５５８、Ｓ５６０を遂行したか判定する（Ｓ５６２）。ここで、分割領域群２２２全てが完了していると判定されなければ（Ｓ５６２におけるＮＯ）、新たな分割領域群２２２を設定し（Ｓ５６４）、新たな分割領域群２２２に関してブロックの設定処理Ｓ５５０からを繰り返す。一方、特定物決定判定Ｓ５５８、Ｓ５６０が全て完了していれば（Ｓ５６２におけるＹＥＳ）、当該特定領域分割処理Ｓ３０６を終了する。
【００８５】
上記グループ化においては、さらに、複数のグループに対して相互の位置関係が判定される。例えば、同種類の立体物のグループ間で、端点の位置が接近し、かつ、立体物中における水平方向および鉛直方向の相対距離の推移がほぼ等しい（連続する）場合には、同一立体物の同一の面であると判断されて、それらのグループが一つのグループに統合される。このとき立体物中における水平方向および鉛直方向の相対距離の推移は、ハフ変換あるいは最小二乗法による近似直線によって特定することができる。また、先行車両であれば、ｚ座標に対する相対移動速度が等しいことによっても複数のグループを一つのグループに統合することができる。
【００８６】
また、ここまでの処理がブロック単位で行われている場合、そのブロック内全ての画素に同一の情報を設定することで画素単位に変更する。
【００８７】
（輝度範囲再設定処理Ｓ３０８）
図１５を参照すると、輝度範囲再設定部１６８は、検出領域１２２内に特定領域が含まれるか否か判定する（Ｓ６００）。特定領域が含まれていれば（Ｓ６００におけるＹＥＳ）、輝度範囲再設定部１６８は、特定領域が示す特定物に基づいて輝度範囲２０２を再設定する（Ｓ６０２）。そして、輝度範囲再設定部１６８は、特定領域全てに関して、当該再設定処理Ｓ６０２を遂行したか判定する（Ｓ６０４）。ここで、特定領域全てが完了していると判定されなければ（Ｓ６０４におけるＮＯ）、新たな特定領域を設定し（Ｓ６０６）、新たな特定領域に関して再設定処理Ｓ６０２からを繰り返す。一方、特定領域が全て完了していれば（Ｓ６０４におけるＹＥＳ）、露光時間判定ステップＳ６０８に処理を移す。また、検出領域１２２内に特定領域が含まれていない場合も（Ｓ６００におけるＮＯ）、露光時間判定ステップＳ６０８に処理を移す。
【００８８】
続いて、輝度範囲再設定部１６８は、撮像装置１１０の露光時間が変更されたか否か判定する（Ｓ６０８）。露光時間が変更されていれば（Ｓ６０８におけるＹＥＳ）、その比率に基づいて輝度範囲２０２を補正し（Ｓ６１０）、露光時間が変更されていなければ（Ｓ６０８におけるＮＯ）、相対距離判定ステップＳ６１２に処理を移す。
【００８９】
次に、輝度範囲再設定部１６８は、対象物の相対距離が変更されたか否か判定する（Ｓ６１２）。相対距離が変更されていれば（Ｓ６１２におけるＹＥＳ）、その比率に基づいて輝度範囲２０２を補正し（Ｓ６１４）、相対距離が変更されていなければ（Ｓ６１２におけるＮＯ）、周辺輝度判定ステップＳ６１６に処理を移す。
【００９０】
続いて、輝度範囲再設定部１６８は、車外周辺の輝度が変わったか否か判定する（Ｓ６１６）。輝度が変わっていれば（Ｓ６１６におけるＹＥＳ）、変化後の輝度に基づいて輝度範囲２０２を補正し（Ｓ６１８）、輝度が変わっていなければ（Ｓ６１６におけるＮＯ）、照明色温度判定ステップＳ６２０に処理を移す。
【００９１】
次に、輝度範囲再設定部１６８は、照明の色温度が変わったか否か判定する（Ｓ６２０）。色温度が変わっていれば（Ｓ６２０におけるＹＥＳ）、変化後の色温度に基づいて輝度範囲２０２を補正し（Ｓ６２２）、色温度が変わっていなければ（Ｓ６２０におけるＮＯ）、当該輝度範囲再設定処理Ｓ３０８を終了する。
【００９２】
（色識別子設定処理Ｓ３１０）
図１６を参照すると、色識別子設定部１７０は、画素を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ６５０）。続いて、色識別子設定部１７０は、垂直変数ｊに「１」を加算（インクリメント）すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ６５２）。次に、色識別子設定部１７０は、水平変数ｉに「１」を加算し、色識別子変数ｍを初期化（「０」を代入）する（Ｓ６５４）。ここで、水平変数ｉや垂直変数ｊを設けているのは、６００×２００の画素全てに対して当該識別子設定成処理を実行するためであり、色識別子変数ｍを設けているのは、画素毎に８つの色識別子２０４を順次比較するためである。
【００９３】
色識別子設定部１７０は、輝度画像１２４から対象部位としての画素（ｉ，ｊ，ｂｒ）の輝度ｂｒを取得し（Ｓ６５６）、色識別子変数ｍに「１」を加算し（Ｓ６５８）、画素（ｉ，ｊ，ｂｒ）の位置に応じて、色識別子（ｍ）の輝度範囲２０２、または、再設定された輝度範囲２０２を取得し（Ｓ６６０）、画素（ｉ，ｊ，ｂｒ）の輝度ｂｒが色識別子（ｍ）の輝度範囲２０２に含まれるか否か判定する（Ｓ６６２）。
【００９４】
画素の輝度ｂｒが色識別子（ｍ）の輝度範囲２０２に含まれていれば（Ｓ６６２におけるＹＥＳ）、色識別子設定部１７０は、その画素に色識別子（ｍ）を示す識別番号ｐを対応付けて、画素（ｉ，ｊ，ｂｒ，ｐ）とする（Ｓ６６４）。こうして、輝度画像１２４中の各画素に識別番号が付された色識別子マップ２１０が生成される。また、画素（ｉ，ｊ，ｂｒ）の輝度ｂｒが色識別子（ｍ）の輝度範囲２０２に含まれていなければ（Ｓ６６２におけるＮＯ）、色識別子変数ｍが最大数である８を超えたか否か判定する（Ｓ６６６）。ここで、色識別子変数ｍが最大値を超えていなければ（Ｓ６６６におけるＮＯ）、ステップＳ６５８の色識別子変数ｍのインクリメント処理からを繰り返す。また、色識別子変数ｍが最大値を超えていれば（Ｓ６６６におけるＹＥＳ）、当該画素（ｉ，ｊ，ｂｒ）に対応する色識別子２０４は存在しないとして、水平画素判定ステップＳ６６８に処理が移される。
【００９５】
続いて、色識別子設定部１７０は、水平変数ｉが水平画素の最大値である６００を超えたか否か判定し（Ｓ６６８）、水平変数ｉが最大値を超えていなければ（Ｓ６６８におけるＮＯ）、ステップＳ６５４の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ６６８におけるＹＥＳ）、色識別子設定部１７０は、垂直変数ｊが垂直画素の最大値である２００を超えたか否か判定する（Ｓ６７０）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ６７０におけるＮＯ）、ステップＳ６５２の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ６７０におけるＹＥＳ）、当該色識別子設定処理Ｓ３１０を終了する。
【００９６】
（グループ化処理Ｓ３１２）
図１７を参照すると、グループ化部１７２は、画素をグループ化するための所定範囲（例えば０．１ｍ）を参照し（Ｓ７００）、画素を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ７０２）。続いて、グループ化部１７２は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ７０４）。次に、グループ化部１７２は、水平変数ｉに「１」を加算する（Ｓ７０６）。
【００９７】
グループ化部１７２は、輝度画像１２４から視差情報ｄｐを含む画素（ｉ，ｊ，ｂｒ，ｐ，ｄｐ）を取得し、視差情報ｄｐを含む画素（ｉ，ｊ，ｂｒ，ｐ，ｄｐ）を実空間上の点（ｘ，ｙ，ｚ）に座標変換して、画素（ｉ，ｊ，ｂｒ，ｐ，ｄｐ，ｘ，ｙ，ｚ）とする（Ｓ７０８）。そして、その画素（ｉ，ｊ，ｂｒ，ｐ，ｄｐ，ｘ，ｙ，ｚ）に有効な（０ではない）色識別子ｐが存在し、かつ、グループ番号ｇがまだ付されていないか否か判定する（Ｓ７１０）。ここで、有効な色識別子ｐが存在し、かつ、グループ番号ｇがまだ付されていなければ（Ｓ７１０におけるＹＥＳ）、グループ化部１７２は、その画素の実空間上の座標（ｘ，ｙ，ｚ）から所定範囲内に、その色識別子ｐが設定された他の１または複数の画素が存在し、かつ、その画素にグループ番号ｇがまだ付されていないか否か判定する（Ｓ７１２）。
【００９８】
色識別子ｐが設定された１または複数の他の画素（ｉ，ｊ，ｂｒ，ｐ，ｄｐ，ｘ，ｙ，ｚ）が存在し、その画素にグループ番号ｇがまだ付されていなければ（Ｓ７１２におけるＹＥＳ）、グループ番号としてまだ利用されていない番号のうち最も小さい値を、自己を含む所定範囲内の全ての画素に新規に付与する（Ｓ７１４）。ここでは、既に他の対象物としてグループ化されている画素については、グループ化処理の対象外とし、グループ化を実行しない。
【００９９】
このように、所定範囲内に色識別子が等しい画素が複数存在する場合、１のグループ番号ｇを付すことによってグループ化を行う。このとき、グループ番号としてまだ利用されていない番号のうち最も小さい値を採用しているのは、グループの採番において可能な限り欠番を出さないようにするためである。こうすることで、グループ番号ｇの最大値が無用に大きくなることがなくなり、処理負荷を軽減することが可能となる。
【０１００】
色識別子ｐが有効な値ではない（０である）、もしくは、有効な値ではあるがグループ番号ｇが既に付与されている場合（Ｓ７１０におけるＮＯ）、色識別子の等しい他の画素が存在しない、もしくは、存在するがその画素全てにグループ番号ｇが既に付与されている場合（Ｓ７１２におけるＮＯ）、水平変数判定ステップＳ７１６に処理が移される。
【０１０１】
続いて、グループ化部１７２は、水平変数ｉが水平画素の最大値である６００を超えたか否か判定し（Ｓ７１６）、水平変数ｉが最大値を超えていなければ（Ｓ７１６におけるＮＯ）、ステップＳ７０６の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ７１６におけるＹＥＳ）、グループ化部１７２は、垂直変数ｊが垂直画素の最大値である２００を超えたか否か判定する（Ｓ７１８）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ７１８におけるＮＯ）、ステップＳ７０４の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ７１８におけるＹＥＳ）、当該グループ化処理Ｓ３１２を終了する。
【０１０２】
（特定物決定処理Ｓ３１４）
図１８を参照すると、特定物決定部１７４は、グループを特定するためのグループ変数ｋを初期化（「０」を代入）する（Ｓ７５２）。続いて、特定物決定部１７４は、グループ変数ｋに「１」を加算する（Ｓ７５４）。
【０１０３】
特定物決定部１７４は、輝度画像１２４からグループ番号ｇがグループ変数ｋである対象物が存在するか否か判定し（Ｓ７５６）、存在すれば（Ｓ７５６におけるＹＥＳ）、そのグループ番号ｇが付された対象物の大きさを計算する（Ｓ７５８）。このとき対象物の大きさは、対象物の画面左端に位置する画素と画面右端に位置する画素間の水平距離（差分）である水平方向成分および対象物の画面上端に位置する画素と画面下端に位置する画素間の高さ（差分）である垂直方向成分によって特定される。そして、計算した大きさが、グループ番号ｇがグループ変数ｋである対象物に対応付けられた色識別子ｐで示される特定物の幅範囲に含まれるか否か判定する（Ｓ７６０）。例えば、対象物の大きさの水平方向成分が、色識別子ｐで示される特定物の幅範囲以内であり、かつ、対象物の大きさの垂直方向成分が、色識別子ｐで示される特定物の幅範囲以内であれば、対象物は、色識別子ｐで示される特定物の幅範囲に含まれると判定できる。
【０１０４】
大きさが色識別子ｐで示される特定物の幅範囲に含まれていれば（Ｓ７６０におけるＹＥＳ）、特定物決定部１７４は、その対象物を特定物として決定する（Ｓ７６２）。大きさが色識別子ｐで示される特定物の幅範囲に含まれていない（Ｓ７６０におけるＮＯ）、または、グループ番号ｇがグループ変数ｋである対象物が存在しない場合（Ｓ７５６におけるＮＯ）、グループ変数判定ステップＳ７６４に処理が移される。
【０１０５】
続いて、特定物決定部１７４は、グループ変数ｋが、グループ化処理において設定されたグループ番号の最大値を超えたか否か判定する（Ｓ７６４）。そして、グループ変数ｋが最大値を超えていなければ（Ｓ７６４におけるＮＯ）、ステップＳ７５４のグループ変数ｋのインクリメント処理からを繰り返す。また、グループ変数ｋが最大値を超えていれば（Ｓ７６４におけるＹＥＳ）、当該特定物決定処理Ｓ３１４を終了する。こうして、グループ化された対象物が正式に特定物として決定される。
【０１０６】
以上、説明したような、車外環境認識装置１３０や車外環境認識方法によれば、検出対象の無駄な細分化を回避して処理負荷の徒な増大を防止しつつ、輝度が近似する複数種類の対象物を精度良く識別することが可能となる。
【０１０７】
また、コンピュータを、車外環境認識装置１３０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【０１０８】
（本実施形態の効果）
図１９は、本実施形態の効果を説明するための説明図である。ここでは、図１９に従って、上述した車外環境認識装置１３０や車外環境認識方法による効果を確認する。自車両１の走行中に図１９（ａ）のような輝度画像１２４を取得したとする。ここで、本実施形態を適用していない状態で、特定物「ブレーキランプ」と特定物「信号機の赤色灯」とを特定しようと試みたところ、図１９（ｂ）のように、色識別子「１」の輝度範囲２０２を満たす画素が抽出された。しかし、かかる図１９（ｂ）では、特定物「ブレーキランプ」や特定物「信号機の赤色灯」の発光源２３０の他に、ブレーキランプは点灯していないが赤色を有するランプカバー２３２も誤って抽出されてしまう。
【０１０９】
このとき、露光時間を一律に短くすると、点灯していないブレーキランプのランプカバー２３２の輝度が色識別子「１」の輝度範囲２０２を満たさなくなるので、点灯していないブレーキランプのランプカバー２３２を排除可能となるが、同時に、信号機の赤色灯も排除することになる。これは、信号機の赤色灯が遠くに位置しているので輝度が低くなり、点灯していないブレーキランプと区別がつかなくなっていることに起因している。
【０１１０】
しかし、図１９（ｃ）に示した車両として抽出した特定領域２３４上では、ブレーキランプの点灯と非点灯を明確に区別することができるので、本実施形態では、特定領域２３４に対して所定の判定基準を設け、点灯しているブレーキランプとその他を明確に区別する。すると、図１９（ｄ）の如く、色識別子「１」の輝度範囲２０２を満たす特定物が発光源２３０に絞られ、ブレーキランプや信号機の赤色灯が衝突回避制御やクルーズコントロールに適切に用いられることとなる。
【０１１１】
（変形例）
上述した実施形態では、先行車両が占有する領域を特定領域として設定した。したがって、上述したブレーキランプの他、車両に付属するテールランプ、ウィンカー、ナンバープレート等に関しても再設定した輝度範囲を通じて、通常と異なる判定を実現することができる。
【０１１２】
また、特定領域は車両が占有する領域に限らず、車両同様、下記の領域も特定領域として設定することができ、その特定領域に存在する下記（１）〜（９）の特定物の判定を行うことができる。
（１）特定領域：道路との輝度変化から抽出された車線の三次元座標に基づいて特定されたＸ−Ｚ（ｙ＝０）平面（路面）が占有する領域、特定物：路面上の白線、横断歩道、道路標示。
（２）特定領域：道路標識が占有する領域、特定物：道路標識における、文字、数値、マーク、その他の指標。
（３）特定領域：歩行者（人）が占有する領域、特定物：歩行者が装着している対象物。
（４）特定領域：移動している立体物が占有する領域、特定物：移動している立体物に設けられていることが予め把握されている対象物。
（５）特定領域：実空間上で予め定められた道路表面からの高さ範囲が占有する領域、特定物：信号機、道路標識、歩道橋。
（６）特定領域：実空間上で予め定められた相対距離範囲が占有する領域、特定物：先行車両。
（７）特定領域：実空間上で予め定められた水平距離範囲が占有する領域、特定物：道路標識、ガードレール、障害物。
（８）特定領域：画像上の無限遠点（消失点）を基準とした、画像の水平方向または垂直方向に対して分割した分割範囲（例えば、画像上、無限遠点より上方の領域や下方の領域）、特定物：無限遠点より上方であれば信号機、道路標識、歩道橋、無限遠点より下方であれば、先行車両、道路標識、ガードレール、障害物。
（９）特定領域：上述したような特定物を画像処理を通じて追尾しているときに、当該特定物をロストした場合において、そのロストした画像上の位置を基準とした、画像の水平方向または垂直方向に対して分割した分割範囲（基準を中心とした範囲もしくは基準より上下左右の範囲）が占有する領域、特定物：追尾においてロストした特定物。
【０１１３】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１１４】
例えば、上述した実施形態においては、対象物の三次元位置を複数の撮像装置１１０を用い画像データ間の視差に基づいて導出しているが、かかる場合に限られず、例えば、レーザレーダ測距装置等、既知の様々な距離測定装置を用いることができる。ここで、レーザレーダ測距装置は、検出領域１２２にレーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、この所要時間から物体までの距離を測定するものである。
【０１１５】
また、上述した実施形態においては、距離画像１２６を用いて、ブロックの相対距離を求めているが、対象物の画面上の配置や大きさにより、特定物をある程度特定できる場合、単眼の撮像装置１１０によって本実施形態を実現することも可能である。また、オプティカルフローにより、動きベクトルを導出することでも特定物を特定することができる。
【０１１６】
また、上述した実施形態においては、撮像装置１１０がカラー画像を取得することを前提としているが、かかる場合に限られず、モノクロ画像を取得することでも本実施形態を遂行することができる。この場合、色識別子テーブル２００が単色の輝度で定義されることとなる。
【０１１７】
また、上述した実施形態では、位置情報取得部１６０が、画像処理装置１２０から距離画像（視差情報）１２６を受けて三次元の位置情報を生成している例を挙げている。しかし、かかる場合に限られず、画像処理装置１２０において予め三次元の位置情報を生成し、位置情報取得部１６０は、その生成された三次元の位置情報を取得するとしてもよい。このように、機能分散を図ることで、車外環境認識装置１３０の処理負荷を軽減することが可能となる。
【０１１８】
また、上述した実施形態においては、位置情報取得部１６０、代表距離導出部１６２、分割領域群生成部１６４、特定領域分割部１６６、輝度範囲再設定部１６８、色識別子設定部１７０、グループ化部１７２、特定物決定部１７４は中央制御部１５４によってソフトウェアで動作するように構成している。しかし、上記の機能部をハードウェアによって構成することも可能である。
【０１１９】
なお、本明細書の車外環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【０１２０】
本発明は、自車両外の環境を認識する車外環境認識装置および車外環境認識方法に利用することができる。
【符号の説明】
【０１２１】
１ …自車両
１１０ …撮像装置
１２２ …検出領域
１２４ …輝度画像
１２６ …距離画像
１３０ …車外環境認識装置
１６０ …位置情報取得部
１６２ …代表距離導出部
１６４ …分割領域群生成部
１６６ …特定領域分割部
１６８ …輝度範囲再設定部
１７０ …色識別子設定部
１７２ …グループ化部
１７４ …特定物決定部
【特許請求の範囲】
【請求項１】
複数の色識別子と輝度範囲とを対応付けて保持するデータ保持部と、
車外環境を撮像した画像を取得する画像取得部と、
自車両との相対的な位置関係に応じて前記画像の検出領域を複数の特定領域に分割する特定領域分割部と、
前記特定領域毎に前記色識別子に対応付けられた輝度範囲を再設定する輝度範囲再設定部と、
前記検出領域内の複数の対象部位の輝度と該対象部位が位置する特定領域に再設定された輝度範囲とに基づいて、該対象部位に前記色識別子を設定する色識別子設定部と、
水平距離の差分および高さの差分が所定範囲内にある１または複数の対象部位をグループ化するグループ化部と、
を備えることを特徴とする車外環境認識装置。
【請求項２】
前記輝度範囲再設定部は、撮像状態または車外環境に応じて前記色識別子の輝度範囲を補正することを特徴とする請求項１に記載の車外環境認識装置。
【請求項３】
前記特定領域は、車両、路面、道路標識、歩行者、移動している立体物、予め定められた高さ範囲、予め定められた相対距離範囲、予め定められた水平距離範囲、画像の水平方向または垂直方向に対して分割した分割範囲の群から選択された１または複数の特定物が占有する領域であることを特徴とする請求項１または２に記載の車外環境認識装置。
【請求項４】
複数の色識別子と輝度範囲とを対応付けて保持しておき、
車外環境を撮像した画像を取得し、
自車両との相対的な位置関係に応じて前記画像の検出領域を複数の特定領域に分割し、
前記特定領域毎に前記色識別子に対応付けられた輝度範囲を再設定し、
前記検出領域内の複数の対象部位の輝度と該対象部位が位置する特定領域に再設定された輝度範囲とに基づいて、該対象部位に前記色識別子を設定し、
水平距離の差分および高さの差分が所定範囲内にある１または複数の対象部位をグループ化することを特徴とする車外環境認識方法。
【請求項１】
複数の色識別子と輝度範囲とを対応付けて保持するデータ保持部と、
車外環境を撮像した画像を取得する画像取得部と、
自車両との相対的な位置関係に応じて前記画像の検出領域を複数の特定領域に分割する特定領域分割部と、
前記特定領域毎に前記色識別子に対応付けられた輝度範囲を再設定する輝度範囲再設定部と、
前記検出領域内の複数の対象部位の輝度と該対象部位が位置する特定領域に再設定された輝度範囲とに基づいて、該対象部位に前記色識別子を設定する色識別子設定部と、
水平距離の差分および高さの差分が所定範囲内にある１または複数の対象部位をグループ化するグループ化部と、
を備えることを特徴とする車外環境認識装置。
【請求項２】
前記輝度範囲再設定部は、撮像状態または車外環境に応じて前記色識別子の輝度範囲を補正することを特徴とする請求項１に記載の車外環境認識装置。
【請求項３】
前記特定領域は、車両、路面、道路標識、歩行者、移動している立体物、予め定められた高さ範囲、予め定められた相対距離範囲、予め定められた水平距離範囲、画像の水平方向または垂直方向に対して分割した分割範囲の群から選択された１または複数の特定物が占有する領域であることを特徴とする請求項１または２に記載の車外環境認識装置。
【請求項４】
複数の色識別子と輝度範囲とを対応付けて保持しておき、
車外環境を撮像した画像を取得し、
自車両との相対的な位置関係に応じて前記画像の検出領域を複数の特定領域に分割し、
前記特定領域毎に前記色識別子に対応付けられた輝度範囲を再設定し、
前記検出領域内の複数の対象部位の輝度と該対象部位が位置する特定領域に再設定された輝度範囲とに基づいて、該対象部位に前記色識別子を設定し、
水平距離の差分および高さの差分が所定範囲内にある１または複数の対象部位をグループ化することを特徴とする車外環境認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図８】
【図９】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図８】
【図９】
【図１９】
【公開番号】特開２０１３−１０９４５７（Ｐ２０１３−１０９４５７Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５２４２７（Ｐ２０１１−２５２４２７）
【出願日】平成２３年１１月１８日（２０１１．１１．１８）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月１８日（２０１１．１１．１８）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]