環境認識装置および環境認識方法
【課題】画像が環境光の影響を受ける場合であっても、対象物の特定精度を維持する。
【解決手段】環境認識装置１３０は、検出領域内に存在する対象部位の輝度を取得し、対象部位の高さを取得し、取得された輝度にホワイトバランスを施す場合のホワイトバランス補正値を導出し、ホワイトバランス補正値と、環境光の影響度合いを示す色補正強度とに基づく色補正値を、取得された輝度から減算して補正輝度を導出し、データ保持部１５４に保持された、輝度の範囲と特定物との対応付けに基づいて、対象部位の補正輝度とから、対象部位に対応する特定物を仮決定する。
【解決手段】環境認識装置１３０は、検出領域内に存在する対象部位の輝度を取得し、対象部位の高さを取得し、取得された輝度にホワイトバランスを施す場合のホワイトバランス補正値を導出し、ホワイトバランス補正値と、環境光の影響度合いを示す色補正強度とに基づく色補正値を、取得された輝度から減算して補正輝度を導出し、データ保持部１５４に保持された、輝度の範囲と特定物との対応付けに基づいて、対象部位の補正輝度とから、対象部位に対応する特定物を仮決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する環境認識装置および環境認識方法に関する。
【背景技術】
【０００２】
従来、自車両の前方に位置する車両や信号機等の障害物といった対象物を検出し、検出した対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御する技術が知られている（例えば、特許文献１、２）。
【０００３】
また、このような技術では、対象物を一律に物として特定するのみならず、さらに高精度な制御を行うため、対象物が自車両と同速度で走行している先行車両であるのか、移動を伴わない固定された物であるのか等を判定する技術も存在する。ここで、対象物を、検出領域の撮像を通じて検出する場合、対象物が何であるかを特定する前に、撮像された画像から対象物自体を抽出（切り出し）しなければならない。
【０００４】
例えば、撮像された画像がカラー画像の場合、同一の輝度（色）を有する画素をグループ化し、信号機等の光源を対象物として認識する技術が知られている（例えば、特許文献３）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３３４９０６０号
【特許文献２】特開平１０−２８３４６１号公報
【特許文献３】特開２０１０−２２４９２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、対象物を撮像する撮像装置がフロントガラス等を通じて対象物を認識する場合、フロントガラスが曇った状態で太陽光（逆光）等の強い環境光が撮像方向から照射されると、撮像された画像全体に環境光が影響して全体的に白っぽい画像となる。したがって、信号機等の光源の色相が変化する場合も生じ、対象物の特定精度が低下するといった問題があった。
【０００７】
本発明は、このような課題に鑑み、画像が環境光の影響を受ける場合であっても、対象物の特定精度を維持することが可能な、環境認識装置および環境認識方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の環境認識装置は、輝度の範囲と特定物とを対応付けて保持するデータ保持部と、検出領域内に存在する対象部位の輝度を取得する輝度取得部と、取得された輝度にホワイトバランスを施す場合のホワイトバランス補正値を導出するホワイトバランス導出部と、ホワイトバランス補正値と、環境光の影響度合いを示す色補正強度とに基づく色補正値を、取得された輝度から減算して補正輝度を導出する補正輝度導出部と、データ保持部に保持された対応付けに基づいて、対象部位の補正輝度から、対象部位に対応する特定物を仮決定する特定物仮決定部と、を備えることを特徴とする。
【０００９】
補正輝度導出部は、色補正強度が所定閾値以上であれば、取得された輝度から色補正値を減算してもよい。
【００１０】
色補正値は、色補正強度をホワイトバランス補正値で除算した値であってもよい。
【００１１】
色補正強度は、環境光の強度と撮像軸の透過度に基づいて算出されてもよい。
【００１２】
水平距離の差分および高さの差分が所定範囲内にある、同一の特定物に対応すると仮決定された対象部位をグループ化して対象物とするグループ化部と、対象物を特定物として決定する特定物決定部と、をさらに備えてもよい。
【００１３】
上記課題を解決するために、本発明の環境認識方法は、検出領域内に存在する対象部位の輝度を取得し、取得した輝度にホワイトバランスを施す場合のホワイトバランス補正値を導出し、ホワイトバランス補正値と、環境光の影響度合いを示す色補正強度とに基づく色補正値を、取得した輝度から減算して補正輝度を導出し、データ保持部に保持された、輝度の範囲と特定物との対応付けに基づいて、対象部位の補正輝度とから、対象部位に対応する特定物を仮決定することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、画像が環境光の影響を受ける場合であっても、対象物の輝度を適切に抽出することで、対象物の特定精度を維持することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】環境認識システムの接続関係を示したブロック図である。
【図２】輝度画像と距離画像を説明するための説明図である。
【図３】環境認識装置の概略的な機能を示した機能ブロック図である。
【図４】特定物テーブルを説明するための説明図である。
【図５】補正輝度導出部の処理を説明するための説明図である。
【図６】補正輝度導出部の処理を説明するための説明図である。
【図７】位置情報取得部による三次元の位置情報への変換を説明するための説明図である。
【図８】特定物マップを説明するための説明図である。
【図９】環境認識方法の全体的な流れを示したフローチャートである。
【図１０】輝度加工、特定物マップ生成処理の流れを示したフローチャートである。
【図１１】グループ化処理の流れを示したフローチャートである。
【図１２】特定物決定処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１７】
（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、車両１内に設けられた、複数（本実施形態では２つ）の撮像装置１１０と、画像処理装置１２０と、環境認識装置１３０と、車両制御装置１４０とを含んで構成される。
【００１８】
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、カラー画像、即ち、画素単位で３つの色相（赤、緑、青）の輝度を取得することができる。本実施形態においては、色と輝度とを同等に扱い、同一の文章に両文言が含まれる場合、互いを、色を構成する輝度、または、輝度を有する色と読み替えることができる。ここでは、撮像装置１１０で撮像されたカラーの画像を輝度画像と呼び、後述する距離画像と区別する。また、撮像装置１１０は、車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒毎（６０ｆｐｓ）に連続して生成する。ここで、対象物は、車両、信号機、道路、ガードレールといった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の部分として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。
【００１９】
画像処理装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、２つの画像データに基づいて、画像中の任意のブロック（所定数の画素を集めたもの）の視差、および、任意のブロックの画面中の位置を示す画面位置を含む視差情報を導出する。画像処理装置１２０は、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、水平は、撮像した画像の画面横方向を示し、実空間上の水平に相当する。また、垂直は、撮像した画像の画面縦方向を示し、実空間上の鉛直方向に相当する。
【００２０】
このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度値（Ｙ色差信号）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。
【００２１】
ただし、画像処理装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する相対距離に相当）を画像データに対応付けた画像を距離画像という。
【００２２】
図２は、輝度画像１２４と距離画像１２６を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２２について図２（ａ）のような輝度画像（画像データ）１２４が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２４の一方のみを模式的に示している。本実施形態において、画像処理装置１２０は、このような輝度画像１２４からブロック毎の視差を求め、図２（ｂ）のような距離画像１２６を形成する。距離画像１２６における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。
【００２３】
視差は、画像のエッジ部分（隣り合う画素間で明暗の差分が大きい部分）で特定され易いので、距離画像１２６において黒のドットが付されている、視差が導出されたブロックは、輝度画像１２４においてもエッジとなっていることが多い。したがって、図２（ａ）に示す輝度画像１２４と図２（ｂ）に示す距離画像１２６とは各対象物の輪郭について似たものとなる。
【００２４】
環境認識装置１３０は、画像処理装置１２０から輝度画像１２４と距離画像１２６とを取得し、輝度画像１２４に基づく輝度を用いて検出領域１２２における対象物がいずれの特定物に対応するかを特定する。本実施形態においては、輝度画像１２４における輝度を加工することで、対象物の特定精度の向上を図る。また、対象物を特定するために距離画像１２６に基づく車両１との相対距離も用いている。このとき、環境認識装置１３０は、距離画像１２６における、検出領域１２２内のブロック毎の視差情報を、所謂ステレオ法を用いて、相対距離を含む三次元の位置情報に変換している。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。かかる環境認識装置１３０に関しては、後ほど詳述する。
【００２５】
車両制御装置１４０は、環境認識装置１３０で特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１４０は、操舵の角度を検出する舵角センサ１４２や車両１の速度を検出する車速センサ１４４等を通じて現在の車両１の走行状態を取得し、アクチュエータ１４６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１４６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１４０は、対象物との衝突が想定される場合、運転者の前方に設置されたディスプレイ１４８にその旨警告表示（報知）を行うと共に、アクチュエータ１４６を制御して車両１を自動的に制動する。かかる車両制御装置１４０は、環境認識装置１３０と一体的に形成することもできる。
【００２６】
（環境認識装置１３０）
図３は、環境認識装置１３０の概略的な機能を示した機能ブロック図である。図３に示すように、環境認識装置１３０は、Ｉ／Ｆ部１５０と、照射検出部１５２と、データ保持部１５４と、中央制御部１５６とを含んで構成される。
【００２７】
Ｉ／Ｆ部１５０は、画像処理装置１２０や車両制御装置１４０との双方向の情報交換を行うためのインターフェースである。照射検出部１５２は、車両１外における太陽光や照明光といった環境光の強度を検出する。データ保持部１５４は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、特定物テーブル（対応付け）や、以下に示す各機能部の処理に必要な様々な情報を保持し、また、画像処理装置１２０から受信した輝度画像１２４、距離画像１２６を一時的に保持する。ここで、特定物テーブルは、以下のように利用される。
【００２８】
図４は、特定物テーブル２００を説明するための説明図である。特定物テーブル２００では、複数の特定物に対して、輝度の範囲を示す輝度範囲２０２と、特定物の大きさの範囲を示す幅範囲２０４とが対応付けられている。ここで、特定物としては、「信号機（赤）」、「信号機（黄）」、「信号機（青）」、「テールランプ（赤）」、「ウィンカー（橙）」、「道路標識（赤）」、「道路標識（青）」、「道路標識（緑）」等、道路を走行する上で視認を要する様々な物が想定されている。特定物は図４に記載された物に限定されないのは言うまでもない。また、特定物テーブル２００では、特定物の特定に優先順位が定められており、当該環境認識処理はその優先順に従って、特定物テーブル２００における複数の特定物から順次選択された１の特定物毎に行われる。特定物のうち、例えば、特定物「信号機（赤）」には、輝度（赤）「２００以上」、輝度（緑）「５０以下」、輝度（青）「５０以下」、幅範囲「０．１〜０．３ｍ」が対応付けられている。
【００２９】
本実施形態では、特定物テーブル２００に基づいて、輝度画像１２４内の任意の対象部位のうち、任意の特定物に関する輝度範囲２０２の条件を満たした対象部位が特定物の候補となる。例えば、対象部位の輝度が特定物「信号機（赤）」の輝度範囲２０２に含まれていれば、その対象部位を特定物「信号機（赤）」の候補とする。そして、対象部位をグループ化した対象物が、特定物らしい態様で抽出されれば、例えば、グループ化した対象物の大きさが「信号機（赤）」の幅範囲「０．１〜０．３ｍ」に含まれれば特定物と判定される。特定物と判定された対象部位は、特定物固有の識別番号によってラベリングされている。ここで、対象部位は、画素や画素を集めたブロックを想定しているが、本実施形態では、説明の便宜上、画素を用いることとする。
【００３０】
中央制御部１５６は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５８を通じて、Ｉ／Ｆ部１５０、照射検出部１５２、データ保持部１５４等を制御する。また、本実施形態において、中央制御部１５６は、輝度取得部１６０、透過度導出部１６２、ホワイトバランス導出部１６４、補正輝度導出部１６６、位置情報取得部１６８、特定物仮決定部１７０、グループ化部１７２、特定物決定部１７４、パターンマッチング部１７６としても機能する。
【００３１】
輝度取得部１６０は、後述する補正輝度導出部１６６や特定物仮決定部１７０の制御指令に従って、受信した輝度画像１２４から、対象部位（画素）単位で輝度（画素単位で３つの色相（赤（Ｒ）、緑（Ｇ）、青（Ｂ））の輝度）を取得する。また、後述する補正輝度導出部１６６が補正輝度を導出した後は、その導出された補正輝度を取得する。
【００３２】
透過度導出部１６２は、撮像装置１１０の撮像軸を横切る、例えば車両１のフロントガラスの透過度を導出する。具体的に、透過度導出部１６２は、例えば、輝度画像１２４のエッジ強度が所定の範囲内に収まっていれば透過度が低く、エッジ強度が所定の範囲より低いと透過度が高いといった具合に、エッジ強度に基づいて導出することができる。ここで、透過度は、フロントガラスの温度と車両１内の湿度の関係によるフロントガラス内面の曇りのみならず、フロントガラス内外面の汚れ等が原因となり変化する。
【００３３】
ホワイトバランス導出部１６４は、輝度取得部１６０が取得した輝度に仮にホワイトバランスを施した場合のホワイトバランス補正値を導出する。例えば、撮像装置１１０で撮像された輝度画像１２４中の物体は環境光に応じて不自然な色（輝度）となることがある。このとき、輝度画像１２４内の白色の物体を正確に白く映し出すように補正する、所謂ホワイトバランス補正が行われる。本実施形態では、実際にホワイトバランス補正を行うか否かに拘わらず、後述する補正輝度導出部１６６のために、少なくとも、ホワイトバランス補正を施した場合のホワイトバランス補正値を導出している。
【００３４】
このようなホワイトバランス補正は、特定の対象物が本来あるべき輝度になっていない場合に、本来あるべき輝度となるように、例えば、色相単位で輝度（Ｒ、Ｇ、Ｂ）にホワイトバランス補正値（ｒ、ｇ、ｂ）を乗じることで（ｒ×Ｒ、ｇ×Ｇ、ｂ×Ｂ）実行される。したがって、ホワイトバランス補正のために参照される対象物は、画像上において比較的占有面積が大きく、その輝度値をある程度推定できるものであるのが望ましい。
【００３５】
例えば、ホワイトバランス導出部１６４は、検出領域１２２内における道路面を灰色にするようにホワイトバランス補正値を導出する。当該環境認識システム１００は、車両１に適用されているので、自ずと、走行路である灰色の道路面が検出領域１２２を占有することが多くなる。このように道路面を参照することで、適切なホワイトバランス補正値を安定して導出することが可能となる。
【００３６】
また、ホワイトバランス導出部１６４は、検出領域１２２全体の平均輝度を灰色にするようにホワイトバランス補正値を導出してもよい。上述したように、走行路である灰色の道路面が検出領域１２２を占有することが多いので、検出領域１２２も全体的に灰色となることが多くなる。ここでも道路面を参照することで、適切なホワイトバランス補正値を安定して導出することが可能となる。
【００３７】
また、ホワイトバランス導出部１６４は、検出領域１２２内における横断歩道や道路面上の走行路を制限する線（中央線、停止線、路側帯）を白色にするようにホワイトバランス補正値を導出してもよい。ホワイトバランス補正は、バランスをとる色が白色に近似するほど、その精度が高くなる。ここでは、道路面において、比較的容易に抽出しやすい横断歩道や走行路を制限する線を参照することで、適切なホワイトバランス補正値を安定して導出することが可能となる。
【００３８】
ホワイトバランス導出部１６４は、例えば、ホワイトバランス補正値を以下のように導出する。中央線の本来の輝度を（ＢＲ、ＢＧ、ＢＢ）とし、環境光の影響を（Ｐ×Ａ×（１／ｒ）、Ｐ×Ａ×（１／ｇ）、Ｐ×Ａ×（１／ｂ））とすと、取得された輝度（Ｒ、Ｇ、Ｂ）＝（ＢＲ＋Ｐ×Ａ×（１／ｒ）、ＢＧ＋Ｐ×Ａ×（１／ｇ）、ＢＢ＋Ｐ×Ａ×（１／ｂ））で表すことができる。ここで、Ｐはフロントガラスの反射率を、Ａは環境光の輝度成分を、１／ｒ、１／ｇ、１／ｂは環境光の色味成分を示す（ｒ、ｇ、ｂはホワイトバランス値）。このとき、本来の輝度（ＢＲ、ＢＧ、ＢＢ）が予め定められていれば、反射率Ｐ、輝度成分Ａによって、ホワイトバランス補正値（ｒ、ｇ、ｂ）＝（ＰＡ／（Ｒ−ＢＲ）、ＰＡ／（Ｇ−ＢＧ）、（ＰＡ／（Ｂ−ＢＢ））を導出することが可能となる。本実施形態では、かかる計算によりホワイトバランス補正値（ｒ、ｇ、ｂ）＝（１．６４、１．００、１．３０）を得たとする。
【００３９】
本実施形態では、このようにして導出されたホワイトバランス補正値（ｒ、ｇ、ｂ）を利用して、輝度（Ｒ、Ｇ、Ｂ）を加工する。ここでは、輝度を加工する各機能部を説明する前に、その前提となる技術を簡単に説明する。
【００４０】
撮像装置１１０で検出領域１２２を撮像した場合、上述したように、環境光に応じて対象物の本来の色が変化してしまうので、ホワイトバランス補正が行われる。ここで、対象物が光源（自発光）であった場合、太陽光下やトンネル内等、環境光が異なる場合であっても、その色自体が変化することがない。したがって、ホワイトバランス補正を行う必要がなくなる。そうすると、例えば、「信号機（赤）」や「テールランプ（赤）」といった光源に相当する特定物を特定する際には、ホワイトバランス補正を施す前段階の輝度画像１２４を用いた方がより高い特定精度が得られる。
【００４１】
しかし、車両１のフロントガラスにおける、撮像装置１１０の撮像軸上を横切る部分が曇っていたり汚れていたりして透過度が低くなり、かつ、環境光が強い場合に、対象となる光源の色が環境光に影響され、輝度画像１２４が全体的に白色っぽくなる現象が生じ得る。ここで、対象物が光源でなければ、環境光の影響（透過度の影響も含む）を受けた輝度にホワイトバランス補正を施すことで、自然な色を再現できるが、光源に関しては、ホワイトバランス補正が本来の値から離れる方向に働く場合がある。そこで、本実施形態では、対象物が光源である場合、ホワイトバランス補正を施す前段階の輝度画像１２４から環境光の影響を排除して、光源の本来の輝度を抽出する。
【００４２】
ここで、排除する環境光の影響を推定するのだが、本実施形態では、ホワイトバランス補正値を導出し、そのホワイトバランス補正値を用いて環境光の影響を推定することとする。ただし、ホワイトバランス補正に相当する値を、元となる輝度画像１２４に乗算することも考えられるが、輝度の上限値を超える場合が生じるので、ここでは、ホワイトバランス補正に相当する値を元となる輝度画像１２４から減算することで求めることとする。以下、かかる処理を実現するための補正輝度導出部１６６を説明する。
【００４３】
補正輝度導出部１６６は、まず、照射検出部１５２が導出した環境光の強度、透過度導出部１６２が導出した透過度やシャッタ値等に基づいて、環境光の影響度合いを示す色補正強度を導出する。色補正強度は、反射率Ｐ×環境光の輝度成分Ａに相当する。したがって、色補正強度は、環境光の強度が高いほど、また、透過度が低いほど高くなる。続いて、補正輝度導出部１６６は、環境光の影響が高ければ（例えば、導出した色補正強度が所定閾値以上であれば）、色補正強度を、ホワイトバランス導出部１６４が導出したホワイトバランス補正値で除算して色補正値（ＰＡ／ｒ、ＰＡ／ｇ、ＰＡ／ｂ）を導出する。次に、補正輝度導出部１６６は、取得された輝度から色補正値を減算して（Ｒ−ＰＡ／ｒ、Ｇ−ＰＡ／ｇ、Ｂ−ＰＡ／ｂ）、補正輝度を導出する。また、環境光の影響が低ければ（導出した色補正強度が所定閾値未満であれば）、補正輝度導出部１６６は、取得された輝度をそのまま補正輝度として用いる。
【００４４】
図５および図６は、補正輝度導出部１６６の処理を説明するための説明図である。例えば、輝度画像１２４が環境光の影響を受けている場合に、仮に、ホワイトバランス補正を行うと、輝度画像１２４は、図５（ａ）に示すように、空に相当する領域２１０が白色に近くなり、自然に近い色を再現することができる。しかし、テールランプに相当する領域２１２は、赤色に発光しているので、本来輝度も高いはずであるが、白色がかった色で表現されてしまう。
【００４５】
そこで、補正輝度導出部１６６は、例えば、色補正強度ＰＡが６４で固定されている場合（各色相の輝度範囲が例えば０〜２５５）に、その色補正強度を、ホワイトバランス導出部１６４が導出したホワイトバランス補正値で除算する。例えば、Ｒのホワイトバランス補正値ｒが１．６４であれば、色補正値（ＰＡ／ｒ）は、６４／１．６４＝３９となる。同様に、Ｇのホワイトバランス補正値ｇが１．００であれば、色補正値（ＰＡ／ｇ）は、６４／１．００＝６４となる。Ｂのホワイトバランス補正値ｂが１．３０であれば、色補正値（ＰＡ／ｂ）は、６４／１．３０＝４９となる。
【００４６】
そして、フロントガラスの透過度が低く、進行方向前方から強い光を受けると、補正輝度導出部１６６は、取得された輝度から色補正値を減算する。例えば、ホワイトバランス補正を施す前段階の輝度画像１２４の任意の画素の色相が（Ｒ，Ｇ，Ｂ）＝（１３０，１１０，１２３）であれば、色補正値（３９，６４，４９）を減算して、補正輝度（Ｒ’，Ｇ’，Ｂ’）＝（９１，４６，７４）を導出する。このような色補正値の減算を輝度画像１２４全体に対して実行すると、図５（ｂ）に示すように、全体的に赤色がかる。したがって、光源ではない対象物は、本来より赤色がかった色となっている。しかし、光源に関しては、本来の色に非常に近い色に再現される。
【００４７】
また、他の例では、仮に、ホワイトバランス補正を行うと、輝度画像１２４中の信号機（赤）に相当する領域２１４は、図６（ａ）に示すように赤色に点灯している部分が白色がかった色で表現される。しかし、補正輝度導出部１６６によって補正輝度を導出すると、図６（ｂ）のように、光源以外の色は本来の色から離れるものの、信号機（赤）の本来の色が再現される。
【００４８】
位置情報取得部１６８は、後述する特定物仮決定部１７０の制御指令に従い、距離画像１２６における検出領域１２２内のブロック毎の視差情報を、ステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む三次元の位置情報に変換する。ここで、視差情報が、距離画像１２６における各対象部位の視差を示すのに対し、三次元の位置情報は、実空間における各対象部位の相対距離の情報を示す。したがって、相対距離や高さといった文言を用いる場合、実空間上の距離を指し、検出距離といった文言を用いる場合、距離画像１２６上の距離を指す。また、視差情報が画素単位ではなくブロック単位、即ち複数の画素単位で導出されている場合、その視差情報はブロックに属する全ての画素の視差情報とみなして、画素単位の計算を実行することができる。
【００４９】
図７は、位置情報取得部１６８による三次元の位置情報への変換を説明するための説明図である。位置情報取得部１６８は、まず、距離画像１２６を図７の如く画素単位の座標系として認識する。ここでは、図７中、左下隅を原点（０，０）とし、横方向をｉ座標軸、縦方向をｊ座標軸とする。したがって、視差ｄｐを有する画素は、画素位置ｉ、ｊと視差ｄｐによって（ｉ，ｊ，ｄｐ）のように表すことができる。
【００５０】
本実施形態における実空間上の三次元座標系を、車両１を中心とした相対座標系で考える。ここでは、車両１の進行方向右側方をＸ軸の正方向、車両１の上方をＹ軸の正方向、車両１の進行方向（前方）をＺ軸の正方向、２つの撮像装置１１０の中央を通る鉛直線と道路表面との交点を原点（０，０，０）とする。このとき、道路を平面と仮定すると、道路表面がＸ−Ｚ平面（ｙ＝０）と一致することとなる。位置情報取得部１６８は、以下の（数式１）〜（数式３）によって距離画像１２６上のブロック（ｉ，ｊ，ｄｐ）を、実空間上の三次元の点（ｘ，ｙ，ｚ）に座標変換する。
ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …（数式１）
ｙ＝ＣＨ＋ｚ・ＰＷ・（ｊ−ＪＶ） …（数式２）
ｚ＝ＫＳ／ｄｐ …（数式３）
ここで、ＣＤは撮像装置１１０同士の間隔（基線長）であり、ＰＷは１画素当たりの視野角であり、ＣＨは撮像装置１１０の道路表面からの配置高さであり、ＩＶ、ＪＶは車両１の真正面における無限遠点の画像上の座標（画素）であり、ＫＳは距離係数（ＫＳ＝ＣＤ／ＰＷ）である。
【００５１】
したがって、位置情報取得部１６８は、対象部位の相対距離と、対象部位と同相対距離にある道路表面上の点と対象部位との距離画像１２６上の検出距離とに基づいて、道路表面からの高さを導出していることとなる。
【００５２】
特定物仮決定部１７０は、データ保持部１５４に保持された特定物テーブル２００に基づいて、補正輝度導出部１６６が導出した対象物の補正輝度から、対象物に対応する特定物を仮決定する。
【００５３】
具体的に、特定物仮決定部１７０は、まず、輝度画像１２４における任意の対象部位の補正輝度を、輝度取得部１６０に取得させる。続いて、特定物仮決定部１７０は、特定物テーブル２００に登録されている特定物から任意の特定物を順次選択し、取得した１の対象部位の補正輝度が、順次選択した特定物の輝度範囲２０２に含まれるか否か判定する。そして、対象となる輝度範囲２０２に含まれれば、その対象部位に当該特定物を示す識別番号を付して、特定物マップを作成する。
【００５４】
特定物仮決定部１７０は、このような対象部位それぞれの補正輝度と特定物テーブル２００に登録されている複数の特定物の輝度範囲２０２との一連の比較を、複数の対象部位毎に順次実行する。ここで、特定物の選択順は、上述したように特定物テーブル２００に示された優先順位に従っている。即ち、図４の特定物テーブル２００の例では、「信号機（赤）」、「信号機（黄）」、「信号機（青）」、「テールランプ（赤）」、「ウィンカー（橙）」、「道路標識（赤）」、「道路標識（青）」、「道路標識（緑）」の順に比較処理が実行される。
【００５５】
また、上記優先順位に従って比較した結果、対象部位の補正輝度が優先順位の高い特定物の輝度範囲２０２に含まれていると判定された場合、それより優先順位が低い特定物に関する比較処理は最早行われない。したがって、１の対象部位に関して多くとも１の特定物を示す識別番号しか付されることはない。これは、複数の特定物が空間上で重なり合うことはないので、特定物仮決定部１７０によって一旦任意の特定物と判定された対象物は、最早、他の特定物であるか否かを判定する必要がないという理由に基づく。このように対象部位を排他的に取り扱うことによって、既に特定物が仮決定された対象部位の重複した特定処理を回避することができ、処理負荷を軽減することが可能となる。
【００５６】
図８は、特定物マップ２２０を説明するための説明図である。特定物マップ２２０は、輝度画像１２４に特定物の識別番号を重ねたものであり、特定物と仮決定された対象部位に相当する位置に、その特定物の識別番号が対応付けられる。
【００５７】
例えば、特定物マップ２２０中の部分マップ２２０ａでは、先行車両のテールランプに相当する複数の対象部位２２２の補正輝度が、特定物「信号機（赤）」、「信号機（黄）」、「信号機（青）」といった順に輝度範囲２０２と比較され、最終的に特定物「テールランプ（赤）」の識別番号「４」が対応付けられる。また、特定物マップ２２０中の部分マップ２２０ｂでは、信号機の右側点灯部分に相当する複数の対象部位２２４の補正輝度が特定物「信号機（赤）」の輝度範囲２０２に含まれているので、特定物「信号機（赤）」の識別番号「１」が対応付けられる。さらに、特定物マップ２２０中の部分マップ２２０ｃでは、先行車両の背面ランプ部に相当する複数の対象部位２２６の補正輝度が、特定物「信号機（赤）」、「信号機（黄）」、「信号機（青）」といった順に輝度範囲２０２と比較され、最終的に、特定物「テールランプ（赤）」の識別番号「４」および「ウィンカー（橙）」の識別番号「５」が対応付けられる。図８では、輝度画像１２４の複数の対象部位に識別番号が付された図を提示しているが、かかる表現は理解を容易にするための概念的なものであり、実際には対象部位にデータとして識別番号が登録されている。
【００５８】
グループ化部１７２は、仮決定された任意の対象部位を基点として、その対象部位と、水平距離ｘの差分および高さｙの差分が所定範囲内にある、同一の特定物に対応すると仮決定された（同一の識別番号が付された）対象部位をグループ化し、対象物とする。ここで、所定範囲は実空間上の距離で表され、任意の値（例えば、１．０ｍ等）に設定することができる。また、グループ化部１７２は、グループ化により新たに追加された対象部位に関しても、その対象部位を基点として、水平距離ｘの差分および高さｙの差分が所定範囲内にある、特定物が等しい対象部位をグループ化する。結果的に、同一の特定物として仮決定された対象部位同士の距離が所定範囲内であれば、それら全てがグループ化されることとなる。
【００５９】
ここで、グループ化部１７２は、実空間上の水平距離や高さを用いて判定しているが、輝度画像１２４上や距離画像１２６上の検出距離で判定する場合に、グループ化のための所定範囲の閾値は、対象部位の相対距離に応じて変更される。図２等に示したように、輝度画像１２４や距離画像１２６では、遠近の物体が平面上に表されているため、本体遠方に位置する物体は小さく（短く）表され、近傍に位置する物体は大きく（長く）表される。したがって、輝度画像１２４や距離画像１２６における所定範囲の閾値は、例えば、遠方に位置する対象部位については短く、近傍に位置する対象部位については長く設定されることとなる。こうして、遠方と近傍とで検出距離が異なる場合であっても安定したグループ化が望める。
【００６０】
また、グループ化部１７２は、上述した水平距離ｘの差分や高さｙの差分に加えて、相対距離ｚの差分が所定範囲内にある、同一の特定物に対応すると仮決定された対象部位をグループ化してもよい。実空間では、水平距離ｘや高さｙが近似していたとしても、相対距離ｚが離れている場合、別体の対象物であることが想定される。したがって、水平距離ｘ、高さｙおよび相対距離ｚのいずれかが離れている場合、その対象部位のグループは独立した対象物とみなすこととする。こうして、高精度なグループ化を図ることができる。
【００６１】
また、ここでは、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分をそれぞれ独立して判定し、全てが所定範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の二乗平均√（（水平距離ｘの差分）２＋（高さｙの差分）２＋（相対距離ｚの差分）２）が所定範囲に含まれる場合に同一のグループとしてもよい。かかる計算により、対象部位同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。
【００６２】
特定物決定部１７４は、グループ化部１７２がグループ化した対象物が所定の条件を満たしていれば、その対象物を特定物として決定する。例えば、図４に示したように、特定物テーブル２００に幅範囲２０４が対応付けられている場合、特定物決定部１７４は、特定物テーブル２００に基づき、対象物の大きさ（対象物の水平距離ｘの幅および高さｙの幅のいずれも）が、対象物について仮決定された特定物の幅範囲２０４に含まれていれば、その対象物を対象となる特定物として決定することとする。また、対象物の水平距離ｘの幅および高さｙの幅それぞれについて幅範囲２０４を設定してもよい。ここでは、対象物が、特定物とみなすのに妥当な大きさであることを確認している。したがって、幅範囲２０４に含まれない場合、当該環境認識処理に不要な情報として除外することができる。
【００６３】
こうして、環境認識装置１３０では、輝度画像１２４から、１または複数の対象物を、特定物として抽出することができ、その情報を様々な制御に用いることが可能となる。例えば、特定物「信号機（赤）」を抽出することで、その対象物が、移動を伴わない固定された物であることが把握されると共に、その対象物が自車線に関する信号機であれば、車両１は、停止または減速すべきであることを把握することができる。また、特定物「テールランプ（赤）」を抽出することで、そこに車両１と共に走行している先行車両があり、かつ、その先行車両の背面が、特定物「テールランプ（赤）」の相対距離にあることを把握することができる。
【００６４】
パターンマッチング部１７６は、特定物決定部１７４が決定した特定物が例えば「標識」であり、その中には制限速度が表記されていることが想定される場合、さらに、表記されている数値についてパターンマッチングを実行し、その数値を特定する。こうして、環境認識装置１３０は、自車線の制限速度等を認識することができる。
【００６５】
本実施形態においては、まず、特定物決定部１７４によって複数に制限された特定物を抽出し、その抽出された特定物とのパターンマッチングのみ行えばよい。したがって、従来のように、輝度画像１２４全面に対してパターンマッチングを行うのに比べ処理負荷が格段に少なくなる。
【００６６】
（環境認識方法）
以下、環境認識装置１３０の具体的な処理を図９〜図１２のフローチャートに基づいて説明する。図９は、画像処理装置１２０から距離画像（視差情報）１２６が送信された場合の割込処理に関する全体的な流れを示し、図１０〜図１２は、その中の個別のサブルーチンを示している。また、ここでは、対象部位として画素を挙げており、輝度画像１２４や距離画像１２６の左下隅を原点とし、画像水平方向に１〜６００画素、垂直方向に１〜２００画素の範囲で当該環境認識方法による処理を遂行する。また、ここでは、対象となる特定物の数を８つと仮定する。
【００６７】
図９に示すように、距離画像１２６の受信を契機に当該環境認識方法による割込が発生すると、画像処理装置１２０から取得した輝度画像１２４が参照され、環境光の影響に応じて輝度が加工されて、特定物マップ２２０が生成される（Ｓ３００）。
【００６８】
続いて、仮決定された特定物がグループ化され（Ｓ３０２）、グループ化された対象物が特定物として決定される（Ｓ３０４）。決定された特定物からさらに情報を得る必要があれば、パターンマッチング部１７６によって、特定物のパターンマッチングが実行される（Ｓ３０６）。以下、上記の処理を具体的に説明する。
【００６９】
（輝度加工、特定物マップ生成処理Ｓ３００）
図１０を参照すると、ホワイトバランス導出部１６４は、輝度取得部１６０が取得した輝度に仮にホワイトバランスを施した場合のホワイトバランス補正値を導出する（Ｓ４００）。特定物仮決定部１７０は、対象部位（画素）を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ４０２）。続いて、特定物仮決定部１７０は、垂直変数ｊに「１」を加算（インクリメント）すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ４０４）。次に、特定物仮決定部１７０は、水平変数ｉに「１」を加算し、特定物変数ｍを初期化（「０」を代入）する（Ｓ４０６）。ここで、水平変数ｉや垂直変数ｊを設けているのは、６００×２００の画素全てに対して当該特定物マップ生成処理を実行するためであり、特定物変数ｍを設けているのは、画素毎に８つの特定物を順次比較するためである。
【００７０】
続いて、環境光の影響が高いか否か判定される（Ｓ４０８）。ここで、環境光の影響が高いと判定されると（Ｓ４０８におけるＹＥＳ）、補正輝度導出部１６６は、色補正強度ＰＡをホワイトバランス補正値（ｒ、ｇ、ｂ）で除算して（ＰＡ／ｒ、ＰＡ／ｇ、ＰＡ／ｂ）色補正値を導出し、取得された輝度から色補正値を減算して（Ｒ−ＰＡ／ｒ、Ｇ−ＰＡ／ｇ、Ｂ−ＰＡ／ｂ）補正輝度を導出する（Ｓ４１０）。また、環境光の影響が高くなければ（Ｓ４０８におけるＮＯ）、補正輝度導出部１６６は、取得された輝度をそのまま補正輝度として用いる（Ｓ４１２）。
【００７１】
特定物仮決定部１７０は、輝度画像１２４から対象部位としての画素（ｉ，ｊ）の補正輝度を輝度取得部１６０に取得させ（Ｓ４１４）、特定物変数ｍに「１」を加算し（Ｓ４１６）、特定物（ｍ）の輝度範囲２０２を取得し（Ｓ４１８）、画素（ｉ，ｊ）の補正輝度が特定物（ｍ）の輝度範囲２０２に含まれるか否か判定する（Ｓ４２０）。
【００７２】
画素（ｉ，ｊ）の補正輝度が特定物（ｍ）の輝度範囲２０２に含まれていれば（Ｓ４２０におけるＹＥＳ）、特定物仮決定部１７０は、その画素に特定物（ｍ）を示す識別番号ｐを対応付けて、画素（ｉ，ｊ，ｐ）とする（Ｓ４２２）。こうして、輝度画像１２４中の各画素に識別番号が付された特定物マップ２２０が生成される。また、画素（ｉ，ｊ）の補正輝度が特定物（ｍ）の輝度範囲２０２に含まれていなければ（Ｓ４２０におけるＮＯ）、特定物変数ｍが特定物の最大数である８を超えたか否か判定する（Ｓ４２４）。ここで、特定物変数ｍが最大値を超えていなければ（Ｓ４２４におけるＮＯ）、ステップＳ４１６の特定物変数ｍのインクリメント処理からを繰り返す。また、特定物変数ｍが最大値を超えていれば（Ｓ４２４におけるＹＥＳ）、当該画素（ｉ，ｊ）に対応する特定物は存在しないとして、次のステップＳ４２６に処理が移される。
【００７３】
続いて、特定物仮決定部１７０は、水平変数ｉが水平画素の最大値である６００を超えたか否か判定し（Ｓ４２６）、水平変数ｉが最大値を超えていなければ（Ｓ４２６におけるＮＯ）、ステップＳ４０６の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ４２６におけるＹＥＳ）、特定物仮決定部１７０は、垂直変数ｊが垂直画素の最大値である２００を超えたか否か判定する（Ｓ４２８）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ４２８におけるＮＯ）、ステップＳ４０４の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ４２８におけるＹＥＳ）、当該特定物マップ生成処理を終了する。こうして、各画素に対応する特定物が仮決定される。
【００７４】
（グループ化処理Ｓ３０２）
図１１を参照すると、グループ化部１７２は、対象部位をグループ化するための所定範囲を参照し（Ｓ４５０）、対象部位（画素）を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ４５２）。続いて、グループ化部１７２は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ４５４）。次に、グループ化部１７２は、水平変数ｉに「１」を加算する（Ｓ４５６）。
【００７５】
グループ化部１７２は、輝度画像１２４から対象部位としての画素（ｉ，ｊ，ｐ，ｄｐ，ｘ，ｙ，ｚ）を取得する（Ｓ４５８）。そして、その画素（ｉ，ｊ，ｐ，ｄｐ，ｘ，ｙ，ｚ）に、特定物の識別番号ｐが対応付けられているか否か判定する（Ｓ４６０）。ここで、識別番号ｐが対応付けられていれば（Ｓ４６０におけるＹＥＳ）、グループ化部１７２は、その画素（ｉ，ｊ，ｐ，ｄｐ，ｘ，ｙ，ｚ）の実空間上の座標（ｘ，ｙ，ｚ）から所定範囲内に、等しい識別番号ｐが対応付けられている他の画素（ｉ，ｊ，ｐ，ｄｐ，ｘ，ｙ，ｚ）が存在するか否か判定する（Ｓ４６２）。
【００７６】
識別番号の等しい他の画素（ｉ，ｊ，ｐ，ｄｐ，ｘ，ｙ，ｚ）が存在すれば（Ｓ４６２におけるＹＥＳ）、グループ化部１７２は、自己を含む所定範囲内の全ての画素のいずれかにグループ番号ｇが付されているか否か判定する（Ｓ４６４）。いずれかにグループ番号ｇが付されていたら（Ｓ４６４におけるＹＥＳ）、グループ化部１７２は、所定範囲に含まれる全ての画素および同一のグループ番号ｇが付されている全ての画素に、その付されているグループ番号のうち最も小さいグループ番号ｇ、および、グループ番号としてまだ利用されていない番号のうち最も小さい値のいずれか小さい方を付与して、画素（ｉ，ｊ，ｐ，ｄｐ，ｘ，ｙ，ｚ，ｇ）とする（Ｓ４６６）。また、いずれにもグループ番号ｇが付されていない場合（Ｓ４６４におけるＮＯ）、グループ番号としてまだ利用されていない番号のうち最も小さい値を、自己を含む所定範囲内の全ての画素に新規に付与する（Ｓ４６８）。
【００７７】
このように、所定範囲内に識別番号が等しい対象部位が複数存在する場合、１のグループ番号ｇを付すことによってグループ化を行う。このとき、複数の対象部位のいずれにも未だグループ番号ｇが付されていない場合、新規のグループ番号ｇを付すこととし、いずれかに既にグループ番号ｇが付されている場合、それと同一のグループ番号ｇを付すこととなる。ただし、複数の対象部位に複数のグループ番号ｇが存在する場合、１つのグループとみなすべきなので、その対象部位全てのグループ番号ｇを１のグループ番号ｇに置換することとする。
【００７８】
このとき、所定範囲に含まれる全ての画素のみならず、同一のグループ番号ｇが付されている全ての画素のグループ番号ｇを一度に変更しているのは、グループ番号ｇの変更により、すでに統一化されたグループを分離しないためである。また、最も小さいグループ番号ｇまたはグループ番号としてまだ利用されていない番号のうち最も小さい値のいずれか小さい方を採用しているのは、グループの採番において可能な限り欠番を出さないようにするためである。こうすることで、グループ番号ｇの最大値が無用に大きくなることがなくなり、処理負荷を軽減することが可能となる。
【００７９】
識別番号ｐが対応付けられていない場合（Ｓ４６０におけるＮＯ）、または、識別番号ｐの等しい他の画素が存在しない場合（Ｓ４６２におけるＮＯ）、次のステップＳ４７０に処理が移される。
【００８０】
続いて、グループ化部１７２は、水平変数ｉが水平画素の最大値である６００を超えたか否か判定し（Ｓ４７０）、水平変数ｉが最大値を超えていなければ（Ｓ４７０におけるＮＯ）、ステップＳ４５６の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ４７０におけるＹＥＳ）、グループ化部１７２は、垂直変数ｊが垂直画素の最大値である２００を超えたか否か判定する（Ｓ４７２）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ４７２におけるＮＯ）、ステップＳ４５４の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ４７２におけるＹＥＳ）、当該グループ化処理を終了する。
【００８１】
（特定物決定処理Ｓ３０４）
図１２を参照すると、特定物決定部１７４は、グループを特定するためのグループ変数ｋを初期化（「０」を代入）する（Ｓ５００）。続いて、特定物決定部１７４は、グループ変数ｋに「１」を加算する（Ｓ５０２）。
【００８２】
特定物決定部１７４は、輝度画像１２４からグループ番号ｇがグループ変数ｋである対象物が存在するか否か判定し（Ｓ５０４）、存在すれば（Ｓ５０４におけるＹＥＳ）、そのグループ番号ｇが付された対象物の大きさを計算する（Ｓ５０６）。そして、計算した大きさが、グループ番号ｇがグループ変数ｋである対象物に対応付けられた識別番号ｐで示される特定物の幅範囲２０４に含まれるか否か判定する（Ｓ５０８）。
【００８３】
大きさが識別番号ｐで示される特定物の幅範囲２０４に含まれていれば（Ｓ５０８におけるＹＥＳ）、特定物決定部１７４は、その対象物を特定物として決定する（Ｓ５１０）。大きさが識別番号ｐで示される特定物の幅範囲２０４に含まれていない場合（Ｓ５０８におけるＮＯ）、または、グループ番号ｇがグループ変数ｋである対象物が存在しない場合（Ｓ５０４におけるＮＯ）、次のステップＳ５１２に処理が移される。
【００８４】
続いて、特定物決定部１７４は、グループ変数ｋが、グループ化処理において設定されたグループ番号の最大値を超えたか否か判定する（Ｓ５１２）。そして、グループ変数ｋが最大値を超えていなければ（Ｓ５１２におけるＮＯ）、ステップＳ５０２のグループ変数ｋのインクリメント処理からを繰り返す。また、グループ変数ｋが最大値を超えていれば（Ｓ５１２におけるＹＥＳ）、当該特定物決定処理を終了する。こうして、グループ化された対象物が正式に特定物として決定される。
【００８５】
以上、説明したように、環境認識装置１３０によれば、画像が環境光の影響を受ける場合であっても、対象物の輝度を適切に抽出することで、対象物の特定精度を維持することが可能となる。
【００８６】
また、コンピュータを、環境認識装置１３０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００８７】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００８８】
上述した実施形態においては、まず、対象部位の補正輝度をいずれかの特定物に排他的に対応付け、対象部位をグループ化した対象物の大きさがその特定物として妥当であるか判定する例を挙げた。しかし、このような場合に限らず、特定物、補正輝度、大きさのいずれを基準にして判定してもよく、また、その判定順も任意に決定することが可能である。
【００８９】
また、上述した実施形態においては、対象物の三次元位置を複数の撮像装置１１０を用い画像データ間の視差に基づいて導出しているが、かかる場合に限られず、例えば、レーザレーダ測距装置等、既知の様々な距離測定装置を用いることができる。ここで、レーザレーダ測距装置は、検出領域１２２にレーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、この所要時間から物体までの距離を測定するものである。
【００９０】
また、上述した実施形態においては、撮像装置１１０がカラー画像を取得することを前提としているが、かかる場合に限られず、モノクロ画像を取得することでも本実施形態を遂行することができる。この場合、特定物テーブル２００が単色の輝度で定義されることとなる。
【００９１】
また、上述した実施形態では、位置情報取得部１６８が、画像処理装置１２０から距離画像（視差情報）１２６を受けて三次元の位置情報を生成している例を挙げている。しかし、かかる場合に限られず、画像処理装置１２０において予め三次元の位置情報を生成し、位置情報取得部１６８は、その生成された三次元の位置情報を取得するとしてもよい。このようにして、機能分散を図り、環境認識装置１３０の処理負荷を軽減することが可能となる。
【００９２】
また、上述した実施形態においては、輝度取得部１６０、透過度導出部１６２、ホワイトバランス導出部１６４、補正輝度導出部１６６、位置情報取得部１６８、特定物仮決定部１７０、グループ化部１７２、特定物決定部１７４、パターンマッチング部１７６は中央制御部１５６によってソフトウェアで動作するように構成している。しかし、上記の機能部をハードウェアによって構成することも可能である。
【００９３】
また、特定物決定部１７４は、例えば対象物の大きさが特定物の幅範囲２０４に含まれることをもって特定物と決定しているが、かかる場合に限らず、さらに、他の様々な条件を満たしている場合に特定物として決定してもよい。例えば、対象物中における水平方向および鉛直方向の相対距離の推移がほぼ等しい（連続する）場合や、ｚ座標に対する相対移動速度が等しい場合に特定物とする。このとき対象物中における水平方向および鉛直方向の相対距離の推移は、ハフ変換あるいは最小二乗法による近似直線によって特定することができる。
【００９４】
なお、本明細書の環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００９５】
本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する環境認識装置および環境認識方法に利用することができる。
【符号の説明】
【００９６】
１ …車両
１２２ …検出領域
１２４ …輝度画像
１２６ …距離画像
１３０ …環境認識装置
１５４ …データ保持部
１６０ …輝度取得部
１６２ …透過度導出部
１６４ …ホワイトバランス導出部
１６６ …補正輝度導出部
１６８ …位置情報取得部
１７０ …特定物仮決定部
１７２ …グループ化部
１７４ …特定物決定部
１７６ …パターンマッチング部
２００ …特定物テーブル
２０２ …輝度範囲
２２０ …特定物マップ
【技術分野】
【０００１】
本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する環境認識装置および環境認識方法に関する。
【背景技術】
【０００２】
従来、自車両の前方に位置する車両や信号機等の障害物といった対象物を検出し、検出した対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御する技術が知られている（例えば、特許文献１、２）。
【０００３】
また、このような技術では、対象物を一律に物として特定するのみならず、さらに高精度な制御を行うため、対象物が自車両と同速度で走行している先行車両であるのか、移動を伴わない固定された物であるのか等を判定する技術も存在する。ここで、対象物を、検出領域の撮像を通じて検出する場合、対象物が何であるかを特定する前に、撮像された画像から対象物自体を抽出（切り出し）しなければならない。
【０００４】
例えば、撮像された画像がカラー画像の場合、同一の輝度（色）を有する画素をグループ化し、信号機等の光源を対象物として認識する技術が知られている（例えば、特許文献３）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３３４９０６０号
【特許文献２】特開平１０−２８３４６１号公報
【特許文献３】特開２０１０−２２４９２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、対象物を撮像する撮像装置がフロントガラス等を通じて対象物を認識する場合、フロントガラスが曇った状態で太陽光（逆光）等の強い環境光が撮像方向から照射されると、撮像された画像全体に環境光が影響して全体的に白っぽい画像となる。したがって、信号機等の光源の色相が変化する場合も生じ、対象物の特定精度が低下するといった問題があった。
【０００７】
本発明は、このような課題に鑑み、画像が環境光の影響を受ける場合であっても、対象物の特定精度を維持することが可能な、環境認識装置および環境認識方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の環境認識装置は、輝度の範囲と特定物とを対応付けて保持するデータ保持部と、検出領域内に存在する対象部位の輝度を取得する輝度取得部と、取得された輝度にホワイトバランスを施す場合のホワイトバランス補正値を導出するホワイトバランス導出部と、ホワイトバランス補正値と、環境光の影響度合いを示す色補正強度とに基づく色補正値を、取得された輝度から減算して補正輝度を導出する補正輝度導出部と、データ保持部に保持された対応付けに基づいて、対象部位の補正輝度から、対象部位に対応する特定物を仮決定する特定物仮決定部と、を備えることを特徴とする。
【０００９】
補正輝度導出部は、色補正強度が所定閾値以上であれば、取得された輝度から色補正値を減算してもよい。
【００１０】
色補正値は、色補正強度をホワイトバランス補正値で除算した値であってもよい。
【００１１】
色補正強度は、環境光の強度と撮像軸の透過度に基づいて算出されてもよい。
【００１２】
水平距離の差分および高さの差分が所定範囲内にある、同一の特定物に対応すると仮決定された対象部位をグループ化して対象物とするグループ化部と、対象物を特定物として決定する特定物決定部と、をさらに備えてもよい。
【００１３】
上記課題を解決するために、本発明の環境認識方法は、検出領域内に存在する対象部位の輝度を取得し、取得した輝度にホワイトバランスを施す場合のホワイトバランス補正値を導出し、ホワイトバランス補正値と、環境光の影響度合いを示す色補正強度とに基づく色補正値を、取得した輝度から減算して補正輝度を導出し、データ保持部に保持された、輝度の範囲と特定物との対応付けに基づいて、対象部位の補正輝度とから、対象部位に対応する特定物を仮決定することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、画像が環境光の影響を受ける場合であっても、対象物の輝度を適切に抽出することで、対象物の特定精度を維持することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】環境認識システムの接続関係を示したブロック図である。
【図２】輝度画像と距離画像を説明するための説明図である。
【図３】環境認識装置の概略的な機能を示した機能ブロック図である。
【図４】特定物テーブルを説明するための説明図である。
【図５】補正輝度導出部の処理を説明するための説明図である。
【図６】補正輝度導出部の処理を説明するための説明図である。
【図７】位置情報取得部による三次元の位置情報への変換を説明するための説明図である。
【図８】特定物マップを説明するための説明図である。
【図９】環境認識方法の全体的な流れを示したフローチャートである。
【図１０】輝度加工、特定物マップ生成処理の流れを示したフローチャートである。
【図１１】グループ化処理の流れを示したフローチャートである。
【図１２】特定物決定処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１７】
（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、車両１内に設けられた、複数（本実施形態では２つ）の撮像装置１１０と、画像処理装置１２０と、環境認識装置１３０と、車両制御装置１４０とを含んで構成される。
【００１８】
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、カラー画像、即ち、画素単位で３つの色相（赤、緑、青）の輝度を取得することができる。本実施形態においては、色と輝度とを同等に扱い、同一の文章に両文言が含まれる場合、互いを、色を構成する輝度、または、輝度を有する色と読み替えることができる。ここでは、撮像装置１１０で撮像されたカラーの画像を輝度画像と呼び、後述する距離画像と区別する。また、撮像装置１１０は、車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒毎（６０ｆｐｓ）に連続して生成する。ここで、対象物は、車両、信号機、道路、ガードレールといった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の部分として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。
【００１９】
画像処理装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、２つの画像データに基づいて、画像中の任意のブロック（所定数の画素を集めたもの）の視差、および、任意のブロックの画面中の位置を示す画面位置を含む視差情報を導出する。画像処理装置１２０は、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、水平は、撮像した画像の画面横方向を示し、実空間上の水平に相当する。また、垂直は、撮像した画像の画面縦方向を示し、実空間上の鉛直方向に相当する。
【００２０】
このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度値（Ｙ色差信号）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。
【００２１】
ただし、画像処理装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する相対距離に相当）を画像データに対応付けた画像を距離画像という。
【００２２】
図２は、輝度画像１２４と距離画像１２６を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２２について図２（ａ）のような輝度画像（画像データ）１２４が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２４の一方のみを模式的に示している。本実施形態において、画像処理装置１２０は、このような輝度画像１２４からブロック毎の視差を求め、図２（ｂ）のような距離画像１２６を形成する。距離画像１２６における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。
【００２３】
視差は、画像のエッジ部分（隣り合う画素間で明暗の差分が大きい部分）で特定され易いので、距離画像１２６において黒のドットが付されている、視差が導出されたブロックは、輝度画像１２４においてもエッジとなっていることが多い。したがって、図２（ａ）に示す輝度画像１２４と図２（ｂ）に示す距離画像１２６とは各対象物の輪郭について似たものとなる。
【００２４】
環境認識装置１３０は、画像処理装置１２０から輝度画像１２４と距離画像１２６とを取得し、輝度画像１２４に基づく輝度を用いて検出領域１２２における対象物がいずれの特定物に対応するかを特定する。本実施形態においては、輝度画像１２４における輝度を加工することで、対象物の特定精度の向上を図る。また、対象物を特定するために距離画像１２６に基づく車両１との相対距離も用いている。このとき、環境認識装置１３０は、距離画像１２６における、検出領域１２２内のブロック毎の視差情報を、所謂ステレオ法を用いて、相対距離を含む三次元の位置情報に変換している。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。かかる環境認識装置１３０に関しては、後ほど詳述する。
【００２５】
車両制御装置１４０は、環境認識装置１３０で特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１４０は、操舵の角度を検出する舵角センサ１４２や車両１の速度を検出する車速センサ１４４等を通じて現在の車両１の走行状態を取得し、アクチュエータ１４６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１４６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１４０は、対象物との衝突が想定される場合、運転者の前方に設置されたディスプレイ１４８にその旨警告表示（報知）を行うと共に、アクチュエータ１４６を制御して車両１を自動的に制動する。かかる車両制御装置１４０は、環境認識装置１３０と一体的に形成することもできる。
【００２６】
（環境認識装置１３０）
図３は、環境認識装置１３０の概略的な機能を示した機能ブロック図である。図３に示すように、環境認識装置１３０は、Ｉ／Ｆ部１５０と、照射検出部１５２と、データ保持部１５４と、中央制御部１５６とを含んで構成される。
【００２７】
Ｉ／Ｆ部１５０は、画像処理装置１２０や車両制御装置１４０との双方向の情報交換を行うためのインターフェースである。照射検出部１５２は、車両１外における太陽光や照明光といった環境光の強度を検出する。データ保持部１５４は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、特定物テーブル（対応付け）や、以下に示す各機能部の処理に必要な様々な情報を保持し、また、画像処理装置１２０から受信した輝度画像１２４、距離画像１２６を一時的に保持する。ここで、特定物テーブルは、以下のように利用される。
【００２８】
図４は、特定物テーブル２００を説明するための説明図である。特定物テーブル２００では、複数の特定物に対して、輝度の範囲を示す輝度範囲２０２と、特定物の大きさの範囲を示す幅範囲２０４とが対応付けられている。ここで、特定物としては、「信号機（赤）」、「信号機（黄）」、「信号機（青）」、「テールランプ（赤）」、「ウィンカー（橙）」、「道路標識（赤）」、「道路標識（青）」、「道路標識（緑）」等、道路を走行する上で視認を要する様々な物が想定されている。特定物は図４に記載された物に限定されないのは言うまでもない。また、特定物テーブル２００では、特定物の特定に優先順位が定められており、当該環境認識処理はその優先順に従って、特定物テーブル２００における複数の特定物から順次選択された１の特定物毎に行われる。特定物のうち、例えば、特定物「信号機（赤）」には、輝度（赤）「２００以上」、輝度（緑）「５０以下」、輝度（青）「５０以下」、幅範囲「０．１〜０．３ｍ」が対応付けられている。
【００２９】
本実施形態では、特定物テーブル２００に基づいて、輝度画像１２４内の任意の対象部位のうち、任意の特定物に関する輝度範囲２０２の条件を満たした対象部位が特定物の候補となる。例えば、対象部位の輝度が特定物「信号機（赤）」の輝度範囲２０２に含まれていれば、その対象部位を特定物「信号機（赤）」の候補とする。そして、対象部位をグループ化した対象物が、特定物らしい態様で抽出されれば、例えば、グループ化した対象物の大きさが「信号機（赤）」の幅範囲「０．１〜０．３ｍ」に含まれれば特定物と判定される。特定物と判定された対象部位は、特定物固有の識別番号によってラベリングされている。ここで、対象部位は、画素や画素を集めたブロックを想定しているが、本実施形態では、説明の便宜上、画素を用いることとする。
【００３０】
中央制御部１５６は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５８を通じて、Ｉ／Ｆ部１５０、照射検出部１５２、データ保持部１５４等を制御する。また、本実施形態において、中央制御部１５６は、輝度取得部１６０、透過度導出部１６２、ホワイトバランス導出部１６４、補正輝度導出部１６６、位置情報取得部１６８、特定物仮決定部１７０、グループ化部１７２、特定物決定部１７４、パターンマッチング部１７６としても機能する。
【００３１】
輝度取得部１６０は、後述する補正輝度導出部１６６や特定物仮決定部１７０の制御指令に従って、受信した輝度画像１２４から、対象部位（画素）単位で輝度（画素単位で３つの色相（赤（Ｒ）、緑（Ｇ）、青（Ｂ））の輝度）を取得する。また、後述する補正輝度導出部１６６が補正輝度を導出した後は、その導出された補正輝度を取得する。
【００３２】
透過度導出部１６２は、撮像装置１１０の撮像軸を横切る、例えば車両１のフロントガラスの透過度を導出する。具体的に、透過度導出部１６２は、例えば、輝度画像１２４のエッジ強度が所定の範囲内に収まっていれば透過度が低く、エッジ強度が所定の範囲より低いと透過度が高いといった具合に、エッジ強度に基づいて導出することができる。ここで、透過度は、フロントガラスの温度と車両１内の湿度の関係によるフロントガラス内面の曇りのみならず、フロントガラス内外面の汚れ等が原因となり変化する。
【００３３】
ホワイトバランス導出部１６４は、輝度取得部１６０が取得した輝度に仮にホワイトバランスを施した場合のホワイトバランス補正値を導出する。例えば、撮像装置１１０で撮像された輝度画像１２４中の物体は環境光に応じて不自然な色（輝度）となることがある。このとき、輝度画像１２４内の白色の物体を正確に白く映し出すように補正する、所謂ホワイトバランス補正が行われる。本実施形態では、実際にホワイトバランス補正を行うか否かに拘わらず、後述する補正輝度導出部１６６のために、少なくとも、ホワイトバランス補正を施した場合のホワイトバランス補正値を導出している。
【００３４】
このようなホワイトバランス補正は、特定の対象物が本来あるべき輝度になっていない場合に、本来あるべき輝度となるように、例えば、色相単位で輝度（Ｒ、Ｇ、Ｂ）にホワイトバランス補正値（ｒ、ｇ、ｂ）を乗じることで（ｒ×Ｒ、ｇ×Ｇ、ｂ×Ｂ）実行される。したがって、ホワイトバランス補正のために参照される対象物は、画像上において比較的占有面積が大きく、その輝度値をある程度推定できるものであるのが望ましい。
【００３５】
例えば、ホワイトバランス導出部１６４は、検出領域１２２内における道路面を灰色にするようにホワイトバランス補正値を導出する。当該環境認識システム１００は、車両１に適用されているので、自ずと、走行路である灰色の道路面が検出領域１２２を占有することが多くなる。このように道路面を参照することで、適切なホワイトバランス補正値を安定して導出することが可能となる。
【００３６】
また、ホワイトバランス導出部１６４は、検出領域１２２全体の平均輝度を灰色にするようにホワイトバランス補正値を導出してもよい。上述したように、走行路である灰色の道路面が検出領域１２２を占有することが多いので、検出領域１２２も全体的に灰色となることが多くなる。ここでも道路面を参照することで、適切なホワイトバランス補正値を安定して導出することが可能となる。
【００３７】
また、ホワイトバランス導出部１６４は、検出領域１２２内における横断歩道や道路面上の走行路を制限する線（中央線、停止線、路側帯）を白色にするようにホワイトバランス補正値を導出してもよい。ホワイトバランス補正は、バランスをとる色が白色に近似するほど、その精度が高くなる。ここでは、道路面において、比較的容易に抽出しやすい横断歩道や走行路を制限する線を参照することで、適切なホワイトバランス補正値を安定して導出することが可能となる。
【００３８】
ホワイトバランス導出部１６４は、例えば、ホワイトバランス補正値を以下のように導出する。中央線の本来の輝度を（ＢＲ、ＢＧ、ＢＢ）とし、環境光の影響を（Ｐ×Ａ×（１／ｒ）、Ｐ×Ａ×（１／ｇ）、Ｐ×Ａ×（１／ｂ））とすと、取得された輝度（Ｒ、Ｇ、Ｂ）＝（ＢＲ＋Ｐ×Ａ×（１／ｒ）、ＢＧ＋Ｐ×Ａ×（１／ｇ）、ＢＢ＋Ｐ×Ａ×（１／ｂ））で表すことができる。ここで、Ｐはフロントガラスの反射率を、Ａは環境光の輝度成分を、１／ｒ、１／ｇ、１／ｂは環境光の色味成分を示す（ｒ、ｇ、ｂはホワイトバランス値）。このとき、本来の輝度（ＢＲ、ＢＧ、ＢＢ）が予め定められていれば、反射率Ｐ、輝度成分Ａによって、ホワイトバランス補正値（ｒ、ｇ、ｂ）＝（ＰＡ／（Ｒ−ＢＲ）、ＰＡ／（Ｇ−ＢＧ）、（ＰＡ／（Ｂ−ＢＢ））を導出することが可能となる。本実施形態では、かかる計算によりホワイトバランス補正値（ｒ、ｇ、ｂ）＝（１．６４、１．００、１．３０）を得たとする。
【００３９】
本実施形態では、このようにして導出されたホワイトバランス補正値（ｒ、ｇ、ｂ）を利用して、輝度（Ｒ、Ｇ、Ｂ）を加工する。ここでは、輝度を加工する各機能部を説明する前に、その前提となる技術を簡単に説明する。
【００４０】
撮像装置１１０で検出領域１２２を撮像した場合、上述したように、環境光に応じて対象物の本来の色が変化してしまうので、ホワイトバランス補正が行われる。ここで、対象物が光源（自発光）であった場合、太陽光下やトンネル内等、環境光が異なる場合であっても、その色自体が変化することがない。したがって、ホワイトバランス補正を行う必要がなくなる。そうすると、例えば、「信号機（赤）」や「テールランプ（赤）」といった光源に相当する特定物を特定する際には、ホワイトバランス補正を施す前段階の輝度画像１２４を用いた方がより高い特定精度が得られる。
【００４１】
しかし、車両１のフロントガラスにおける、撮像装置１１０の撮像軸上を横切る部分が曇っていたり汚れていたりして透過度が低くなり、かつ、環境光が強い場合に、対象となる光源の色が環境光に影響され、輝度画像１２４が全体的に白色っぽくなる現象が生じ得る。ここで、対象物が光源でなければ、環境光の影響（透過度の影響も含む）を受けた輝度にホワイトバランス補正を施すことで、自然な色を再現できるが、光源に関しては、ホワイトバランス補正が本来の値から離れる方向に働く場合がある。そこで、本実施形態では、対象物が光源である場合、ホワイトバランス補正を施す前段階の輝度画像１２４から環境光の影響を排除して、光源の本来の輝度を抽出する。
【００４２】
ここで、排除する環境光の影響を推定するのだが、本実施形態では、ホワイトバランス補正値を導出し、そのホワイトバランス補正値を用いて環境光の影響を推定することとする。ただし、ホワイトバランス補正に相当する値を、元となる輝度画像１２４に乗算することも考えられるが、輝度の上限値を超える場合が生じるので、ここでは、ホワイトバランス補正に相当する値を元となる輝度画像１２４から減算することで求めることとする。以下、かかる処理を実現するための補正輝度導出部１６６を説明する。
【００４３】
補正輝度導出部１６６は、まず、照射検出部１５２が導出した環境光の強度、透過度導出部１６２が導出した透過度やシャッタ値等に基づいて、環境光の影響度合いを示す色補正強度を導出する。色補正強度は、反射率Ｐ×環境光の輝度成分Ａに相当する。したがって、色補正強度は、環境光の強度が高いほど、また、透過度が低いほど高くなる。続いて、補正輝度導出部１６６は、環境光の影響が高ければ（例えば、導出した色補正強度が所定閾値以上であれば）、色補正強度を、ホワイトバランス導出部１６４が導出したホワイトバランス補正値で除算して色補正値（ＰＡ／ｒ、ＰＡ／ｇ、ＰＡ／ｂ）を導出する。次に、補正輝度導出部１６６は、取得された輝度から色補正値を減算して（Ｒ−ＰＡ／ｒ、Ｇ−ＰＡ／ｇ、Ｂ−ＰＡ／ｂ）、補正輝度を導出する。また、環境光の影響が低ければ（導出した色補正強度が所定閾値未満であれば）、補正輝度導出部１６６は、取得された輝度をそのまま補正輝度として用いる。
【００４４】
図５および図６は、補正輝度導出部１６６の処理を説明するための説明図である。例えば、輝度画像１２４が環境光の影響を受けている場合に、仮に、ホワイトバランス補正を行うと、輝度画像１２４は、図５（ａ）に示すように、空に相当する領域２１０が白色に近くなり、自然に近い色を再現することができる。しかし、テールランプに相当する領域２１２は、赤色に発光しているので、本来輝度も高いはずであるが、白色がかった色で表現されてしまう。
【００４５】
そこで、補正輝度導出部１６６は、例えば、色補正強度ＰＡが６４で固定されている場合（各色相の輝度範囲が例えば０〜２５５）に、その色補正強度を、ホワイトバランス導出部１６４が導出したホワイトバランス補正値で除算する。例えば、Ｒのホワイトバランス補正値ｒが１．６４であれば、色補正値（ＰＡ／ｒ）は、６４／１．６４＝３９となる。同様に、Ｇのホワイトバランス補正値ｇが１．００であれば、色補正値（ＰＡ／ｇ）は、６４／１．００＝６４となる。Ｂのホワイトバランス補正値ｂが１．３０であれば、色補正値（ＰＡ／ｂ）は、６４／１．３０＝４９となる。
【００４６】
そして、フロントガラスの透過度が低く、進行方向前方から強い光を受けると、補正輝度導出部１６６は、取得された輝度から色補正値を減算する。例えば、ホワイトバランス補正を施す前段階の輝度画像１２４の任意の画素の色相が（Ｒ，Ｇ，Ｂ）＝（１３０，１１０，１２３）であれば、色補正値（３９，６４，４９）を減算して、補正輝度（Ｒ’，Ｇ’，Ｂ’）＝（９１，４６，７４）を導出する。このような色補正値の減算を輝度画像１２４全体に対して実行すると、図５（ｂ）に示すように、全体的に赤色がかる。したがって、光源ではない対象物は、本来より赤色がかった色となっている。しかし、光源に関しては、本来の色に非常に近い色に再現される。
【００４７】
また、他の例では、仮に、ホワイトバランス補正を行うと、輝度画像１２４中の信号機（赤）に相当する領域２１４は、図６（ａ）に示すように赤色に点灯している部分が白色がかった色で表現される。しかし、補正輝度導出部１６６によって補正輝度を導出すると、図６（ｂ）のように、光源以外の色は本来の色から離れるものの、信号機（赤）の本来の色が再現される。
【００４８】
位置情報取得部１６８は、後述する特定物仮決定部１７０の制御指令に従い、距離画像１２６における検出領域１２２内のブロック毎の視差情報を、ステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む三次元の位置情報に変換する。ここで、視差情報が、距離画像１２６における各対象部位の視差を示すのに対し、三次元の位置情報は、実空間における各対象部位の相対距離の情報を示す。したがって、相対距離や高さといった文言を用いる場合、実空間上の距離を指し、検出距離といった文言を用いる場合、距離画像１２６上の距離を指す。また、視差情報が画素単位ではなくブロック単位、即ち複数の画素単位で導出されている場合、その視差情報はブロックに属する全ての画素の視差情報とみなして、画素単位の計算を実行することができる。
【００４９】
図７は、位置情報取得部１６８による三次元の位置情報への変換を説明するための説明図である。位置情報取得部１６８は、まず、距離画像１２６を図７の如く画素単位の座標系として認識する。ここでは、図７中、左下隅を原点（０，０）とし、横方向をｉ座標軸、縦方向をｊ座標軸とする。したがって、視差ｄｐを有する画素は、画素位置ｉ、ｊと視差ｄｐによって（ｉ，ｊ，ｄｐ）のように表すことができる。
【００５０】
本実施形態における実空間上の三次元座標系を、車両１を中心とした相対座標系で考える。ここでは、車両１の進行方向右側方をＸ軸の正方向、車両１の上方をＹ軸の正方向、車両１の進行方向（前方）をＺ軸の正方向、２つの撮像装置１１０の中央を通る鉛直線と道路表面との交点を原点（０，０，０）とする。このとき、道路を平面と仮定すると、道路表面がＸ−Ｚ平面（ｙ＝０）と一致することとなる。位置情報取得部１６８は、以下の（数式１）〜（数式３）によって距離画像１２６上のブロック（ｉ，ｊ，ｄｐ）を、実空間上の三次元の点（ｘ，ｙ，ｚ）に座標変換する。
ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …（数式１）
ｙ＝ＣＨ＋ｚ・ＰＷ・（ｊ−ＪＶ） …（数式２）
ｚ＝ＫＳ／ｄｐ …（数式３）
ここで、ＣＤは撮像装置１１０同士の間隔（基線長）であり、ＰＷは１画素当たりの視野角であり、ＣＨは撮像装置１１０の道路表面からの配置高さであり、ＩＶ、ＪＶは車両１の真正面における無限遠点の画像上の座標（画素）であり、ＫＳは距離係数（ＫＳ＝ＣＤ／ＰＷ）である。
【００５１】
したがって、位置情報取得部１６８は、対象部位の相対距離と、対象部位と同相対距離にある道路表面上の点と対象部位との距離画像１２６上の検出距離とに基づいて、道路表面からの高さを導出していることとなる。
【００５２】
特定物仮決定部１７０は、データ保持部１５４に保持された特定物テーブル２００に基づいて、補正輝度導出部１６６が導出した対象物の補正輝度から、対象物に対応する特定物を仮決定する。
【００５３】
具体的に、特定物仮決定部１７０は、まず、輝度画像１２４における任意の対象部位の補正輝度を、輝度取得部１６０に取得させる。続いて、特定物仮決定部１７０は、特定物テーブル２００に登録されている特定物から任意の特定物を順次選択し、取得した１の対象部位の補正輝度が、順次選択した特定物の輝度範囲２０２に含まれるか否か判定する。そして、対象となる輝度範囲２０２に含まれれば、その対象部位に当該特定物を示す識別番号を付して、特定物マップを作成する。
【００５４】
特定物仮決定部１７０は、このような対象部位それぞれの補正輝度と特定物テーブル２００に登録されている複数の特定物の輝度範囲２０２との一連の比較を、複数の対象部位毎に順次実行する。ここで、特定物の選択順は、上述したように特定物テーブル２００に示された優先順位に従っている。即ち、図４の特定物テーブル２００の例では、「信号機（赤）」、「信号機（黄）」、「信号機（青）」、「テールランプ（赤）」、「ウィンカー（橙）」、「道路標識（赤）」、「道路標識（青）」、「道路標識（緑）」の順に比較処理が実行される。
【００５５】
また、上記優先順位に従って比較した結果、対象部位の補正輝度が優先順位の高い特定物の輝度範囲２０２に含まれていると判定された場合、それより優先順位が低い特定物に関する比較処理は最早行われない。したがって、１の対象部位に関して多くとも１の特定物を示す識別番号しか付されることはない。これは、複数の特定物が空間上で重なり合うことはないので、特定物仮決定部１７０によって一旦任意の特定物と判定された対象物は、最早、他の特定物であるか否かを判定する必要がないという理由に基づく。このように対象部位を排他的に取り扱うことによって、既に特定物が仮決定された対象部位の重複した特定処理を回避することができ、処理負荷を軽減することが可能となる。
【００５６】
図８は、特定物マップ２２０を説明するための説明図である。特定物マップ２２０は、輝度画像１２４に特定物の識別番号を重ねたものであり、特定物と仮決定された対象部位に相当する位置に、その特定物の識別番号が対応付けられる。
【００５７】
例えば、特定物マップ２２０中の部分マップ２２０ａでは、先行車両のテールランプに相当する複数の対象部位２２２の補正輝度が、特定物「信号機（赤）」、「信号機（黄）」、「信号機（青）」といった順に輝度範囲２０２と比較され、最終的に特定物「テールランプ（赤）」の識別番号「４」が対応付けられる。また、特定物マップ２２０中の部分マップ２２０ｂでは、信号機の右側点灯部分に相当する複数の対象部位２２４の補正輝度が特定物「信号機（赤）」の輝度範囲２０２に含まれているので、特定物「信号機（赤）」の識別番号「１」が対応付けられる。さらに、特定物マップ２２０中の部分マップ２２０ｃでは、先行車両の背面ランプ部に相当する複数の対象部位２２６の補正輝度が、特定物「信号機（赤）」、「信号機（黄）」、「信号機（青）」といった順に輝度範囲２０２と比較され、最終的に、特定物「テールランプ（赤）」の識別番号「４」および「ウィンカー（橙）」の識別番号「５」が対応付けられる。図８では、輝度画像１２４の複数の対象部位に識別番号が付された図を提示しているが、かかる表現は理解を容易にするための概念的なものであり、実際には対象部位にデータとして識別番号が登録されている。
【００５８】
グループ化部１７２は、仮決定された任意の対象部位を基点として、その対象部位と、水平距離ｘの差分および高さｙの差分が所定範囲内にある、同一の特定物に対応すると仮決定された（同一の識別番号が付された）対象部位をグループ化し、対象物とする。ここで、所定範囲は実空間上の距離で表され、任意の値（例えば、１．０ｍ等）に設定することができる。また、グループ化部１７２は、グループ化により新たに追加された対象部位に関しても、その対象部位を基点として、水平距離ｘの差分および高さｙの差分が所定範囲内にある、特定物が等しい対象部位をグループ化する。結果的に、同一の特定物として仮決定された対象部位同士の距離が所定範囲内であれば、それら全てがグループ化されることとなる。
【００５９】
ここで、グループ化部１７２は、実空間上の水平距離や高さを用いて判定しているが、輝度画像１２４上や距離画像１２６上の検出距離で判定する場合に、グループ化のための所定範囲の閾値は、対象部位の相対距離に応じて変更される。図２等に示したように、輝度画像１２４や距離画像１２６では、遠近の物体が平面上に表されているため、本体遠方に位置する物体は小さく（短く）表され、近傍に位置する物体は大きく（長く）表される。したがって、輝度画像１２４や距離画像１２６における所定範囲の閾値は、例えば、遠方に位置する対象部位については短く、近傍に位置する対象部位については長く設定されることとなる。こうして、遠方と近傍とで検出距離が異なる場合であっても安定したグループ化が望める。
【００６０】
また、グループ化部１７２は、上述した水平距離ｘの差分や高さｙの差分に加えて、相対距離ｚの差分が所定範囲内にある、同一の特定物に対応すると仮決定された対象部位をグループ化してもよい。実空間では、水平距離ｘや高さｙが近似していたとしても、相対距離ｚが離れている場合、別体の対象物であることが想定される。したがって、水平距離ｘ、高さｙおよび相対距離ｚのいずれかが離れている場合、その対象部位のグループは独立した対象物とみなすこととする。こうして、高精度なグループ化を図ることができる。
【００６１】
また、ここでは、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分をそれぞれ独立して判定し、全てが所定範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の二乗平均√（（水平距離ｘの差分）２＋（高さｙの差分）２＋（相対距離ｚの差分）２）が所定範囲に含まれる場合に同一のグループとしてもよい。かかる計算により、対象部位同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。
【００６２】
特定物決定部１７４は、グループ化部１７２がグループ化した対象物が所定の条件を満たしていれば、その対象物を特定物として決定する。例えば、図４に示したように、特定物テーブル２００に幅範囲２０４が対応付けられている場合、特定物決定部１７４は、特定物テーブル２００に基づき、対象物の大きさ（対象物の水平距離ｘの幅および高さｙの幅のいずれも）が、対象物について仮決定された特定物の幅範囲２０４に含まれていれば、その対象物を対象となる特定物として決定することとする。また、対象物の水平距離ｘの幅および高さｙの幅それぞれについて幅範囲２０４を設定してもよい。ここでは、対象物が、特定物とみなすのに妥当な大きさであることを確認している。したがって、幅範囲２０４に含まれない場合、当該環境認識処理に不要な情報として除外することができる。
【００６３】
こうして、環境認識装置１３０では、輝度画像１２４から、１または複数の対象物を、特定物として抽出することができ、その情報を様々な制御に用いることが可能となる。例えば、特定物「信号機（赤）」を抽出することで、その対象物が、移動を伴わない固定された物であることが把握されると共に、その対象物が自車線に関する信号機であれば、車両１は、停止または減速すべきであることを把握することができる。また、特定物「テールランプ（赤）」を抽出することで、そこに車両１と共に走行している先行車両があり、かつ、その先行車両の背面が、特定物「テールランプ（赤）」の相対距離にあることを把握することができる。
【００６４】
パターンマッチング部１７６は、特定物決定部１７４が決定した特定物が例えば「標識」であり、その中には制限速度が表記されていることが想定される場合、さらに、表記されている数値についてパターンマッチングを実行し、その数値を特定する。こうして、環境認識装置１３０は、自車線の制限速度等を認識することができる。
【００６５】
本実施形態においては、まず、特定物決定部１７４によって複数に制限された特定物を抽出し、その抽出された特定物とのパターンマッチングのみ行えばよい。したがって、従来のように、輝度画像１２４全面に対してパターンマッチングを行うのに比べ処理負荷が格段に少なくなる。
【００６６】
（環境認識方法）
以下、環境認識装置１３０の具体的な処理を図９〜図１２のフローチャートに基づいて説明する。図９は、画像処理装置１２０から距離画像（視差情報）１２６が送信された場合の割込処理に関する全体的な流れを示し、図１０〜図１２は、その中の個別のサブルーチンを示している。また、ここでは、対象部位として画素を挙げており、輝度画像１２４や距離画像１２６の左下隅を原点とし、画像水平方向に１〜６００画素、垂直方向に１〜２００画素の範囲で当該環境認識方法による処理を遂行する。また、ここでは、対象となる特定物の数を８つと仮定する。
【００６７】
図９に示すように、距離画像１２６の受信を契機に当該環境認識方法による割込が発生すると、画像処理装置１２０から取得した輝度画像１２４が参照され、環境光の影響に応じて輝度が加工されて、特定物マップ２２０が生成される（Ｓ３００）。
【００６８】
続いて、仮決定された特定物がグループ化され（Ｓ３０２）、グループ化された対象物が特定物として決定される（Ｓ３０４）。決定された特定物からさらに情報を得る必要があれば、パターンマッチング部１７６によって、特定物のパターンマッチングが実行される（Ｓ３０６）。以下、上記の処理を具体的に説明する。
【００６９】
（輝度加工、特定物マップ生成処理Ｓ３００）
図１０を参照すると、ホワイトバランス導出部１６４は、輝度取得部１６０が取得した輝度に仮にホワイトバランスを施した場合のホワイトバランス補正値を導出する（Ｓ４００）。特定物仮決定部１７０は、対象部位（画素）を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ４０２）。続いて、特定物仮決定部１７０は、垂直変数ｊに「１」を加算（インクリメント）すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ４０４）。次に、特定物仮決定部１７０は、水平変数ｉに「１」を加算し、特定物変数ｍを初期化（「０」を代入）する（Ｓ４０６）。ここで、水平変数ｉや垂直変数ｊを設けているのは、６００×２００の画素全てに対して当該特定物マップ生成処理を実行するためであり、特定物変数ｍを設けているのは、画素毎に８つの特定物を順次比較するためである。
【００７０】
続いて、環境光の影響が高いか否か判定される（Ｓ４０８）。ここで、環境光の影響が高いと判定されると（Ｓ４０８におけるＹＥＳ）、補正輝度導出部１６６は、色補正強度ＰＡをホワイトバランス補正値（ｒ、ｇ、ｂ）で除算して（ＰＡ／ｒ、ＰＡ／ｇ、ＰＡ／ｂ）色補正値を導出し、取得された輝度から色補正値を減算して（Ｒ−ＰＡ／ｒ、Ｇ−ＰＡ／ｇ、Ｂ−ＰＡ／ｂ）補正輝度を導出する（Ｓ４１０）。また、環境光の影響が高くなければ（Ｓ４０８におけるＮＯ）、補正輝度導出部１６６は、取得された輝度をそのまま補正輝度として用いる（Ｓ４１２）。
【００７１】
特定物仮決定部１７０は、輝度画像１２４から対象部位としての画素（ｉ，ｊ）の補正輝度を輝度取得部１６０に取得させ（Ｓ４１４）、特定物変数ｍに「１」を加算し（Ｓ４１６）、特定物（ｍ）の輝度範囲２０２を取得し（Ｓ４１８）、画素（ｉ，ｊ）の補正輝度が特定物（ｍ）の輝度範囲２０２に含まれるか否か判定する（Ｓ４２０）。
【００７２】
画素（ｉ，ｊ）の補正輝度が特定物（ｍ）の輝度範囲２０２に含まれていれば（Ｓ４２０におけるＹＥＳ）、特定物仮決定部１７０は、その画素に特定物（ｍ）を示す識別番号ｐを対応付けて、画素（ｉ，ｊ，ｐ）とする（Ｓ４２２）。こうして、輝度画像１２４中の各画素に識別番号が付された特定物マップ２２０が生成される。また、画素（ｉ，ｊ）の補正輝度が特定物（ｍ）の輝度範囲２０２に含まれていなければ（Ｓ４２０におけるＮＯ）、特定物変数ｍが特定物の最大数である８を超えたか否か判定する（Ｓ４２４）。ここで、特定物変数ｍが最大値を超えていなければ（Ｓ４２４におけるＮＯ）、ステップＳ４１６の特定物変数ｍのインクリメント処理からを繰り返す。また、特定物変数ｍが最大値を超えていれば（Ｓ４２４におけるＹＥＳ）、当該画素（ｉ，ｊ）に対応する特定物は存在しないとして、次のステップＳ４２６に処理が移される。
【００７３】
続いて、特定物仮決定部１７０は、水平変数ｉが水平画素の最大値である６００を超えたか否か判定し（Ｓ４２６）、水平変数ｉが最大値を超えていなければ（Ｓ４２６におけるＮＯ）、ステップＳ４０６の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ４２６におけるＹＥＳ）、特定物仮決定部１７０は、垂直変数ｊが垂直画素の最大値である２００を超えたか否か判定する（Ｓ４２８）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ４２８におけるＮＯ）、ステップＳ４０４の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ４２８におけるＹＥＳ）、当該特定物マップ生成処理を終了する。こうして、各画素に対応する特定物が仮決定される。
【００７４】
（グループ化処理Ｓ３０２）
図１１を参照すると、グループ化部１７２は、対象部位をグループ化するための所定範囲を参照し（Ｓ４５０）、対象部位（画素）を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ４５２）。続いて、グループ化部１７２は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ４５４）。次に、グループ化部１７２は、水平変数ｉに「１」を加算する（Ｓ４５６）。
【００７５】
グループ化部１７２は、輝度画像１２４から対象部位としての画素（ｉ，ｊ，ｐ，ｄｐ，ｘ，ｙ，ｚ）を取得する（Ｓ４５８）。そして、その画素（ｉ，ｊ，ｐ，ｄｐ，ｘ，ｙ，ｚ）に、特定物の識別番号ｐが対応付けられているか否か判定する（Ｓ４６０）。ここで、識別番号ｐが対応付けられていれば（Ｓ４６０におけるＹＥＳ）、グループ化部１７２は、その画素（ｉ，ｊ，ｐ，ｄｐ，ｘ，ｙ，ｚ）の実空間上の座標（ｘ，ｙ，ｚ）から所定範囲内に、等しい識別番号ｐが対応付けられている他の画素（ｉ，ｊ，ｐ，ｄｐ，ｘ，ｙ，ｚ）が存在するか否か判定する（Ｓ４６２）。
【００７６】
識別番号の等しい他の画素（ｉ，ｊ，ｐ，ｄｐ，ｘ，ｙ，ｚ）が存在すれば（Ｓ４６２におけるＹＥＳ）、グループ化部１７２は、自己を含む所定範囲内の全ての画素のいずれかにグループ番号ｇが付されているか否か判定する（Ｓ４６４）。いずれかにグループ番号ｇが付されていたら（Ｓ４６４におけるＹＥＳ）、グループ化部１７２は、所定範囲に含まれる全ての画素および同一のグループ番号ｇが付されている全ての画素に、その付されているグループ番号のうち最も小さいグループ番号ｇ、および、グループ番号としてまだ利用されていない番号のうち最も小さい値のいずれか小さい方を付与して、画素（ｉ，ｊ，ｐ，ｄｐ，ｘ，ｙ，ｚ，ｇ）とする（Ｓ４６６）。また、いずれにもグループ番号ｇが付されていない場合（Ｓ４６４におけるＮＯ）、グループ番号としてまだ利用されていない番号のうち最も小さい値を、自己を含む所定範囲内の全ての画素に新規に付与する（Ｓ４６８）。
【００７７】
このように、所定範囲内に識別番号が等しい対象部位が複数存在する場合、１のグループ番号ｇを付すことによってグループ化を行う。このとき、複数の対象部位のいずれにも未だグループ番号ｇが付されていない場合、新規のグループ番号ｇを付すこととし、いずれかに既にグループ番号ｇが付されている場合、それと同一のグループ番号ｇを付すこととなる。ただし、複数の対象部位に複数のグループ番号ｇが存在する場合、１つのグループとみなすべきなので、その対象部位全てのグループ番号ｇを１のグループ番号ｇに置換することとする。
【００７８】
このとき、所定範囲に含まれる全ての画素のみならず、同一のグループ番号ｇが付されている全ての画素のグループ番号ｇを一度に変更しているのは、グループ番号ｇの変更により、すでに統一化されたグループを分離しないためである。また、最も小さいグループ番号ｇまたはグループ番号としてまだ利用されていない番号のうち最も小さい値のいずれか小さい方を採用しているのは、グループの採番において可能な限り欠番を出さないようにするためである。こうすることで、グループ番号ｇの最大値が無用に大きくなることがなくなり、処理負荷を軽減することが可能となる。
【００７９】
識別番号ｐが対応付けられていない場合（Ｓ４６０におけるＮＯ）、または、識別番号ｐの等しい他の画素が存在しない場合（Ｓ４６２におけるＮＯ）、次のステップＳ４７０に処理が移される。
【００８０】
続いて、グループ化部１７２は、水平変数ｉが水平画素の最大値である６００を超えたか否か判定し（Ｓ４７０）、水平変数ｉが最大値を超えていなければ（Ｓ４７０におけるＮＯ）、ステップＳ４５６の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ４７０におけるＹＥＳ）、グループ化部１７２は、垂直変数ｊが垂直画素の最大値である２００を超えたか否か判定する（Ｓ４７２）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ４７２におけるＮＯ）、ステップＳ４５４の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ４７２におけるＹＥＳ）、当該グループ化処理を終了する。
【００８１】
（特定物決定処理Ｓ３０４）
図１２を参照すると、特定物決定部１７４は、グループを特定するためのグループ変数ｋを初期化（「０」を代入）する（Ｓ５００）。続いて、特定物決定部１７４は、グループ変数ｋに「１」を加算する（Ｓ５０２）。
【００８２】
特定物決定部１７４は、輝度画像１２４からグループ番号ｇがグループ変数ｋである対象物が存在するか否か判定し（Ｓ５０４）、存在すれば（Ｓ５０４におけるＹＥＳ）、そのグループ番号ｇが付された対象物の大きさを計算する（Ｓ５０６）。そして、計算した大きさが、グループ番号ｇがグループ変数ｋである対象物に対応付けられた識別番号ｐで示される特定物の幅範囲２０４に含まれるか否か判定する（Ｓ５０８）。
【００８３】
大きさが識別番号ｐで示される特定物の幅範囲２０４に含まれていれば（Ｓ５０８におけるＹＥＳ）、特定物決定部１７４は、その対象物を特定物として決定する（Ｓ５１０）。大きさが識別番号ｐで示される特定物の幅範囲２０４に含まれていない場合（Ｓ５０８におけるＮＯ）、または、グループ番号ｇがグループ変数ｋである対象物が存在しない場合（Ｓ５０４におけるＮＯ）、次のステップＳ５１２に処理が移される。
【００８４】
続いて、特定物決定部１７４は、グループ変数ｋが、グループ化処理において設定されたグループ番号の最大値を超えたか否か判定する（Ｓ５１２）。そして、グループ変数ｋが最大値を超えていなければ（Ｓ５１２におけるＮＯ）、ステップＳ５０２のグループ変数ｋのインクリメント処理からを繰り返す。また、グループ変数ｋが最大値を超えていれば（Ｓ５１２におけるＹＥＳ）、当該特定物決定処理を終了する。こうして、グループ化された対象物が正式に特定物として決定される。
【００８５】
以上、説明したように、環境認識装置１３０によれば、画像が環境光の影響を受ける場合であっても、対象物の輝度を適切に抽出することで、対象物の特定精度を維持することが可能となる。
【００８６】
また、コンピュータを、環境認識装置１３０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００８７】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００８８】
上述した実施形態においては、まず、対象部位の補正輝度をいずれかの特定物に排他的に対応付け、対象部位をグループ化した対象物の大きさがその特定物として妥当であるか判定する例を挙げた。しかし、このような場合に限らず、特定物、補正輝度、大きさのいずれを基準にして判定してもよく、また、その判定順も任意に決定することが可能である。
【００８９】
また、上述した実施形態においては、対象物の三次元位置を複数の撮像装置１１０を用い画像データ間の視差に基づいて導出しているが、かかる場合に限られず、例えば、レーザレーダ測距装置等、既知の様々な距離測定装置を用いることができる。ここで、レーザレーダ測距装置は、検出領域１２２にレーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、この所要時間から物体までの距離を測定するものである。
【００９０】
また、上述した実施形態においては、撮像装置１１０がカラー画像を取得することを前提としているが、かかる場合に限られず、モノクロ画像を取得することでも本実施形態を遂行することができる。この場合、特定物テーブル２００が単色の輝度で定義されることとなる。
【００９１】
また、上述した実施形態では、位置情報取得部１６８が、画像処理装置１２０から距離画像（視差情報）１２６を受けて三次元の位置情報を生成している例を挙げている。しかし、かかる場合に限られず、画像処理装置１２０において予め三次元の位置情報を生成し、位置情報取得部１６８は、その生成された三次元の位置情報を取得するとしてもよい。このようにして、機能分散を図り、環境認識装置１３０の処理負荷を軽減することが可能となる。
【００９２】
また、上述した実施形態においては、輝度取得部１６０、透過度導出部１６２、ホワイトバランス導出部１６４、補正輝度導出部１６６、位置情報取得部１６８、特定物仮決定部１７０、グループ化部１７２、特定物決定部１７４、パターンマッチング部１７６は中央制御部１５６によってソフトウェアで動作するように構成している。しかし、上記の機能部をハードウェアによって構成することも可能である。
【００９３】
また、特定物決定部１７４は、例えば対象物の大きさが特定物の幅範囲２０４に含まれることをもって特定物と決定しているが、かかる場合に限らず、さらに、他の様々な条件を満たしている場合に特定物として決定してもよい。例えば、対象物中における水平方向および鉛直方向の相対距離の推移がほぼ等しい（連続する）場合や、ｚ座標に対する相対移動速度が等しい場合に特定物とする。このとき対象物中における水平方向および鉛直方向の相対距離の推移は、ハフ変換あるいは最小二乗法による近似直線によって特定することができる。
【００９４】
なお、本明細書の環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００９５】
本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する環境認識装置および環境認識方法に利用することができる。
【符号の説明】
【００９６】
１ …車両
１２２ …検出領域
１２４ …輝度画像
１２６ …距離画像
１３０ …環境認識装置
１５４ …データ保持部
１６０ …輝度取得部
１６２ …透過度導出部
１６４ …ホワイトバランス導出部
１６６ …補正輝度導出部
１６８ …位置情報取得部
１７０ …特定物仮決定部
１７２ …グループ化部
１７４ …特定物決定部
１７６ …パターンマッチング部
２００ …特定物テーブル
２０２ …輝度範囲
２２０ …特定物マップ
【特許請求の範囲】
【請求項１】
輝度の範囲と特定物とを対応付けて保持するデータ保持部と、
検出領域内に存在する対象部位の輝度を取得する輝度取得部と、
取得された前記輝度にホワイトバランスを施す場合のホワイトバランス補正値を導出するホワイトバランス導出部と、
前記ホワイトバランス補正値と、環境光の影響度合いを示す色補正強度とに基づく色補正値を、取得された前記輝度から減算して補正輝度を導出する補正輝度導出部と、
前記データ保持部に保持された対応付けに基づいて、前記対象部位の補正輝度から、該対象部位に対応する特定物を仮決定する特定物仮決定部と、
を備えることを特徴とする環境認識装置。
【請求項２】
前記補正輝度導出部は、前記色補正強度が所定閾値以上であれば、取得された前記輝度から前記色補正値を減算することを特徴とする請求項１に記載の環境認識装置。
【請求項３】
前記色補正値は、前記色補正強度を前記ホワイトバランス補正値で除算した値であることを特徴とする請求項１または２に記載の環境認識装置。
【請求項４】
前記色補正強度は、環境光の強度と撮像軸の透過度に基づいて算出されることを特徴とする請求項１から３のいずれか１項に記載の環境認識装置。
【請求項５】
水平距離の差分および高さの差分が所定範囲内にある、同一の特定物に対応すると仮決定された対象部位をグループ化して対象物とするグループ化部と、
前記対象物を前記特定物として決定する特定物決定部と、
をさらに備えることを特徴とする請求項１から４のいずれか１項に記載の環境認識装置。
【請求項６】
検出領域内に存在する対象部位の輝度を取得し、
取得した前記輝度にホワイトバランスを施す場合のホワイトバランス補正値を導出し、
前記ホワイトバランス補正値と、環境光の影響度合いを示す色補正強度とに基づく色補正値を、取得した前記輝度から減算して補正輝度を導出し、
データ保持部に保持された、輝度の範囲と特定物との対応付けに基づいて、前記対象部位の補正輝度とから、該対象部位に対応する特定物を仮決定することを特徴とする環境認識方法。
【請求項１】
輝度の範囲と特定物とを対応付けて保持するデータ保持部と、
検出領域内に存在する対象部位の輝度を取得する輝度取得部と、
取得された前記輝度にホワイトバランスを施す場合のホワイトバランス補正値を導出するホワイトバランス導出部と、
前記ホワイトバランス補正値と、環境光の影響度合いを示す色補正強度とに基づく色補正値を、取得された前記輝度から減算して補正輝度を導出する補正輝度導出部と、
前記データ保持部に保持された対応付けに基づいて、前記対象部位の補正輝度から、該対象部位に対応する特定物を仮決定する特定物仮決定部と、
を備えることを特徴とする環境認識装置。
【請求項２】
前記補正輝度導出部は、前記色補正強度が所定閾値以上であれば、取得された前記輝度から前記色補正値を減算することを特徴とする請求項１に記載の環境認識装置。
【請求項３】
前記色補正値は、前記色補正強度を前記ホワイトバランス補正値で除算した値であることを特徴とする請求項１または２に記載の環境認識装置。
【請求項４】
前記色補正強度は、環境光の強度と撮像軸の透過度に基づいて算出されることを特徴とする請求項１から３のいずれか１項に記載の環境認識装置。
【請求項５】
水平距離の差分および高さの差分が所定範囲内にある、同一の特定物に対応すると仮決定された対象部位をグループ化して対象物とするグループ化部と、
前記対象物を前記特定物として決定する特定物決定部と、
をさらに備えることを特徴とする請求項１から４のいずれか１項に記載の環境認識装置。
【請求項６】
検出領域内に存在する対象部位の輝度を取得し、
取得した前記輝度にホワイトバランスを施す場合のホワイトバランス補正値を導出し、
前記ホワイトバランス補正値と、環境光の影響度合いを示す色補正強度とに基づく色補正値を、取得した前記輝度から減算して補正輝度を導出し、
データ保持部に保持された、輝度の範囲と特定物との対応付けに基づいて、前記対象部位の補正輝度とから、該対象部位に対応する特定物を仮決定することを特徴とする環境認識方法。
【図１】
【図２】
【図３】
【図４】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図５】
【図６】
【図８】
【図２】
【図３】
【図４】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図５】
【図６】
【図８】
【公開番号】特開２０１２−２３８２４１（Ｐ２０１２−２３８２４１Ａ）
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願番号】特願２０１１−１０７６９０（Ｐ２０１１−１０７６９０）
【出願日】平成２３年５月１２日（２０１１．５．１２）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願日】平成２３年５月１２日（２０１１．５．１２）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]