環境認識装置および環境認識方法
【課題】雨天時等、光が拡散し易い環境において、対象物の特定精度を向上し、誤認識を回避する。
【解決手段】
環境認識装置１３０は、検出領域内に存在する対象部位の輝度を取得し、データ保持部１５２に保持された色識別子と輝度範囲との対応付けに基づき、対象部位の輝度に応じて対象部位に色識別子を設定し（Ｓ３００）、データ保持部に保持された特定物と色識別子との対応付けに基づき、水平距離の差分および高さの差分が所定範囲内にある、同一の特定物に対応する１または複数の色識別子が設定された対象部位をグループ化して対象物とし（Ｓ３０２）、対象物のうち、光が拡散する環境か否かに応じて選択した色識別子が設定された対象部位で特定される外縁を、対象物の外縁とする（Ｓ３０４）。
【解決手段】
環境認識装置１３０は、検出領域内に存在する対象部位の輝度を取得し、データ保持部１５２に保持された色識別子と輝度範囲との対応付けに基づき、対象部位の輝度に応じて対象部位に色識別子を設定し（Ｓ３００）、データ保持部に保持された特定物と色識別子との対応付けに基づき、水平距離の差分および高さの差分が所定範囲内にある、同一の特定物に対応する１または複数の色識別子が設定された対象部位をグループ化して対象物とし（Ｓ３０２）、対象物のうち、光が拡散する環境か否かに応じて選択した色識別子が設定された対象部位で特定される外縁を、対象物の外縁とする（Ｓ３０４）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する環境認識装置および環境認識方法に関する。
【背景技術】
【０００２】
従来、自車両の前方に位置する車両や信号機等の障害物といった対象物を検出し、検出した対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御する技術が知られている（例えば、特許文献１、２）。
【０００３】
また、このような技術では、対象物を一律に物として特定するのみならず、さらに高精度な制御を行うため、対象物が自車両と同速度で走行している先行車両であるのか、移動を伴わない固定された物であるのか等を判定する技術も存在する。ここで、対象物を、検出領域の撮像を通じて検出する場合、対象物が何であるかを特定する前に、撮像された画像から対象物自体を抽出（切り出し）しなければならない。
【０００４】
例えば、撮像された画像がカラー画像の場合、似通った輝度（色）を有する画素をグループ化し対象物として抽出する方法が考えられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３３４９０６０号
【特許文献２】特開平１０−２８３４６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、雨や雪が降っている場合、フロントガラスに付着した水滴やこの水滴を払拭しようとしてできた水のスジ等によって、撮像された画像は、信号機等の対象物の光が拡散したものとなってしまう。そのため、単に、同じような色特性を有する複数の画素同士をグループ化すると、このように光が拡散した対象物は、実際の対象物よりも大きく認識されてしまうおそれがあった。
【０００７】
本発明は、このような課題に鑑み、雨天時等、光が拡散し易い環境において、対象物の特定精度を向上し、誤認識を回避することが可能な、環境認識装置および環境認識方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の環境認識装置は、予め定められた所定数の色識別子と輝度範囲とを対応付け、複数の特定物それぞれに対して、複数の色識別子を対応付けると共に、検出領域において光が拡散する環境か否かの検出結果それぞれに、複数の色識別子から選択された１または複数の色識別子の組み合わせを対応付けて保持するデータ保持部と、検出領域内に存在する対象部位の輝度を取得する輝度取得部と、データ保持部に保持された色識別子と輝度範囲との対応付けに基づき、対象部位の輝度に応じて対象部位に色識別子を設定する色識別子設定部と、データ保持部に保持された特定物と色識別子との対応付けに基づき、水平距離の差分および高さの差分が所定範囲内にある、同一の特定物に対応する１または複数の色識別子が設定された対象部位をグループ化して対象物とするグループ化部と、検出領域において光が拡散する環境か否かを判定する環境判定部と、光が拡散する環境か否かに応じて組み合わせを選択し、対象物のうち、選択した組み合わせの色識別子が設定された対象部位で特定される外縁を、対象物の外縁とする外縁決定部と、を備えることを特徴とする。
【０００９】
降雨を検出する雨検出部をさらに備え、環境判定部は、雨検出部が降雨を検出すると、光が拡散する環境であると判定してもよい。
【００１０】
降雪を検出する雪検出部をさらに備え、環境判定部は、雪検出部が降雪を検出すると、光が拡散する環境であると判定してもよい。
【００１１】
データ保持部は、光の拡散状況の段階それぞれに、複数の色識別子から選択された１または複数の色識別子の組み合わせを対応付けて保持し、環境判定部は、光の拡散状況を段階的に判断し、外縁決定部は、光の拡散状況に応じて組み合わせを選択し、対象物のうち、選択した組み合わせの色識別子が設定された対象部位で特定される外縁を、対象物の外縁としてもよい。
【００１２】
上記課題を解決するために、本発明の環境認識方法は、検出領域内に存在する対象部位の輝度を取得し、データ保持部に保持された色識別子と輝度範囲との対応付けに基づき、対象部位の輝度に応じて対象部位に色識別子を設定し、データ保持部に保持された特定物と色識別子との対応付けに基づき、水平距離の差分および高さの差分が所定範囲内にある、同一の特定物に対応する１または複数の色識別子が設定された対象部位をグループ化して対象物とし、検出領域において光が拡散する環境か否かを判定し、データ保持部に保持された、検出領域において光が拡散する環境か否かの検出結果それぞれに対する複数の色識別子から選択された１または複数の色識別子の組み合わせの対応付けに基づき、光が拡散する環境か否かに応じて組み合わせを選択し、対象物のうち、選択した組み合わせの色識別子が設定された対象部位で特定される外縁を、対象物の外縁とすることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、雨天時等、光が拡散し易い環境において、対象物の特定精度を向上することができるので、誤認識を回避することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】環境認識システムの接続関係を示したブロック図である。
【図２】輝度画像と距離画像を説明するための説明図である。
【図３】環境認識装置の概略的な機能を示した機能ブロック図である。
【図４】色テーブルを説明するための説明図である。
【図５】特定物テーブルを説明するための説明図である。
【図６】位置情報取得部による三次元の位置情報への変換を説明するための説明図である。
【図７】色識別子マップを説明するための説明図である。
【図８】グループ化部の処理を説明するための説明図である。
【図９】外縁決定部の処理を説明するための説明図である。
【図１０】環境認識方法の全体的な流れを示したフローチャートである。
【図１１】色識別子マップ生成処理の流れを示したフローチャートである。
【図１２】グループ化処理の流れを示したフローチャートである。
【図１３】外縁決定処理の流れを示したフローチャートである。
【図１４】特定物決定処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１６】
（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、車両１内に設けられた、複数（本実施形態では２つ）の撮像装置１１０と、画像処理装置１２０と、環境認識装置１３０と、車両制御装置１４０とを含んで構成される。
【００１７】
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、フロントガラス越しに、カラー画像、即ち、画素単位で３つの色相（赤、緑、青）の輝度を取得することができる。本実施形態においては、色と輝度とを同等に扱い、同一の文章に両文言が含まれる場合、互いを、色を構成する輝度、または、輝度を有する色と読み替えることができる。ここでは、撮像装置１１０で撮像されたカラーの画像を輝度画像と呼び、後述する距離画像と区別する。また、撮像装置１１０は、車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒毎（６０ｆｐｓ）に連続して生成する。ここで、対象物は、車両、信号機、道路、ガードレールといった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の部分として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。
【００１８】
画像処理装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、２つの画像データに基づいて、画像中の任意のブロック（所定数の画素を集めたもの）の視差、および、任意のブロックの画面中の位置を示す画面位置を含む視差情報を導出する。画像処理装置１２０は、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、水平は、撮像した画像の画面横方向を示し、実空間上の水平に相当する。また、垂直は、撮像した画像の画面縦方向を示し、実空間上の鉛直方向に相当する。
【００１９】
このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度値（Ｙ色差信号）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。
【００２０】
ただし、画像処理装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する相対距離に相当）を画像データに対応付けた画像を距離画像という。
【００２１】
図２は、輝度画像１２４と距離画像１２６を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２２について図２（ａ）のような輝度画像（画像データ）１２４が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２４の一方のみを模式的に示している。本実施形態において、画像処理装置１２０は、このような輝度画像１２４からブロック毎の視差を求め、図２（ｂ）のような距離画像１２６を形成する。距離画像１２６における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。
【００２２】
視差は、画像のエッジ部分（隣り合う画素間で明暗の差分が大きい部分）で特定され易いので、距離画像１２６において黒のドットが付されている、視差が導出されたブロックは、輝度画像１２４においてもエッジとなっていることが多い。したがって、図２（ａ）に示す輝度画像１２４と図２（ｂ）に示す距離画像１２６とは各対象物の輪郭について似たものとなる。
【００２３】
環境認識装置１３０は、画像処理装置１２０から輝度画像１２４と距離画像１２６とを取得し、輝度画像１２４に基づく輝度と、距離画像１２６に基づく自車両１との相対距離を用いて検出領域１２２における対象物がいずれの特定物に対応するかを特定する。このとき、環境認識装置１３０は、距離画像１２６における、検出領域１２２内のブロック毎の視差情報を、所謂ステレオ法を用いて、相対距離を含む三次元の位置情報に変換している。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。かかる環境認識装置１３０に関しては、後ほど詳述する。
【００２４】
車両制御装置１４０は、環境認識装置１３０で特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１４０は、操舵の角度を検出する舵角センサ１４２や車両１の速度を検出する車速センサ１４４等を通じて現在の車両１の走行状態を取得し、アクチュエータ１４６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１４６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１４０は、対象物との衝突が想定される場合、運転者の前方に設置されたディスプレイ１４８にその旨警告表示（報知）を行うと共に、アクチュエータ１４６を制御して車両１を自動的に制動する。かかる車両制御装置１４０は、環境認識装置１３０と一体的に形成することもできる。
【００２５】
（環境認識装置１３０）
図３は、環境認識装置１３０の概略的な機能を示した機能ブロック図である。図３に示すように、環境認識装置１３０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、環境検出部１５４と、中央制御部１５６とを含んで構成される。
【００２６】
Ｉ／Ｆ部１５０は、画像処理装置１２０や車両制御装置１４０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、色テーブル（対応付け）および特定物テーブル（対応付け）や、以下に示す各機能部の処理に必要な様々な情報を保持し、また、画像処理装置１２０から受信した輝度画像１２４、距離画像１２６を一時的に保持する。ここで、特定物テーブルは、以下のように利用される。
【００２７】
図４は、色テーブル１９０を説明するための説明図である。色テーブル１９０では、予め定められた所定数の色を表す輝度範囲１９２が色識別子１９４に対応付けられている。例えば、色識別子「１」には、明るい赤色に相当する輝度範囲１９２が、色識別子「２」には、黄色に相当する輝度範囲１９２が、色識別子「３」には、明るい青緑色に相当する輝度範囲１９２が、色識別子「４」には、色識別子「１」に対して比較的暗い赤色に相当する輝度範囲１９２が、色識別子「５」には、色識別子「４」に対して比較的暗い赤色に相当する輝度範囲１９２が、色識別子「６」には、色識別子「２」に対して比較的暗い黄色に相当する輝度範囲１９２が、色識別子「７」には、色識別子「３」に対して比較的暗い青緑色に相当する輝度範囲１９２が、色識別子「８」には、色識別子「７」に対して比較的暗い青緑色に相当する輝度範囲１９２が対応付けられている。ただし、輝度範囲は図４に記載された範囲に限定されず、また、その数も限定されないのは言うまでもない。
【００２８】
図５は、特定物テーブル２００を説明するための説明図である。特定物テーブル２００では、複数の特定物に対して、特定物自体の輝度範囲に対応する代表色識別子１９４ａと、特定物の輝度に近似した範囲も含む１または複数の色識別子１９４（本実施形態においてサブ色識別子１９４ｂ）と、特定物の大きさの範囲を示す幅範囲２０２とが対応付けられている。ここで、特定物としては、「信号機（赤）」、「信号機（黄）」、「信号機（青）」、「テールランプ（赤）」、「ウィンカー（橙）」、「道路標識（黄）」、「道路標識（青）」、「道路標識（緑）」等、道路を走行する上で視認を要する様々な物が想定されている。特定物は図５に記載された物に限定されないのは言うまでもない。また、特定物テーブル２００では、特定物の特定に優先順位が定められており、当該環境認識処理はその優先順に従って、特定物テーブル２００における複数の特定物から順次選択された１の特定物毎に行われる。特定物のうち、例えば、特定物「信号機（赤）」には、特定物「信号機（赤）」を特定するための１または複数の色識別子「１」、「４」が対応付けられている。
【００２９】
代表色識別子１９４ａは、かかる１または複数の色識別子１９４のいずれかであり、特定物を特定するのに最も適した輝度に対応する色識別子１９４が定められる。また、サブ色識別子１９４ｂは、雨、雪、雹、霧等、光が拡散する環境において、特定物から発せられた光が拡散した部分の対象部位を特定するのに適した輝度に対応する色識別子１９４が定められる。
【００３０】
そして、後述する環境判定部１６８による、検出領域において光が拡散する環境であるとの検出結果に対して、代表色識別子１９４ａが対応付けられ、検出領域において光が拡散する環境でないとの検出結果に対して、代表色識別子１９４ａおよびサブ色識別子１９４ｂが対応付けられている。ここで、代表色識別子１９４ａに対してサブ色識別子１９４ｂは、低い輝度の範囲が設定されている。これは、特定物を特定するのに、代表色識別子１９４ａのみでは、その範囲を適切に検出できない可能性があるからである。
【００３１】
本実施形態では、特定物テーブル２００に基づいて、輝度画像１２４内の任意の対象部位のうち、任意の特定物に関する複数の色識別子１９４（輝度範囲１９２）の条件を満たした対象部位が特定物の候補となる。例えば、対象部位の輝度が特定物「信号機（赤）」における複数の色識別子１９４に基づく輝度範囲１９２に含まれていれば、その対象部位を特定物「信号機（赤）」の候補とする。そして、対象部位をグループ化した対象物が、特定物らしい態様で抽出されれば、例えば、グループ化した対象物の大きさが「信号機（赤）」の幅範囲「０．２〜０．４ｍ」に含まれれば特定物として判定される。特定物として判定された対象部位は、特定物固有の色識別子（識別番号）によってラベリングされている。ここで、対象部位は、画素や画素を集めたブロックを想定しているが、本実施形態では、説明の便宜上、画素を用いることとする。
【００３２】
環境検出部１５４は、例えば、降雨を検出する雨検出部と、降雪を検出する雪検出部とで構成され、降雨や降雪を検出すると、降雨を検出したこと、または降雪を検出したことを示す検出情報を環境判定部１６８に出力する。また、環境検出部１５４は、検出情報として、降雨や降雪の有無に加えて、降雨や降雪の量を環境判定部１６８に出力してもよい。さらに、環境検出部１５４は、降雨や降雪に限らず、撮像装置１１０の撮像が逆光となる等、撮像した画像における信号機等の対象物の光が拡散する環境を検出するとしてもよい。
【００３３】
雨検出部は、例えば、赤外線を発光する発光素子と、赤外線をフロントガラスに導くプリズムと、フロントガラスで反射した赤外線を受光強度に応じた出力値として出力する受光素子とで構成される。フロントガラスに水滴が付いている場合、その水滴が付いている箇所に当たった赤外線は受光素子に向かって反射せず、受光素子の出力値が低下する。雨検出部は、この出力値が所定閾値以下の場合、降雨として検出する。雨検出部は、その他、既存の様々な技術を用いて実現できる。雪検出部も、既存の様々な技術を用いて実現できるので、ここではその構成等、詳細な説明を省略する。
【００３４】
中央制御部１５６は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５８を通じて、Ｉ／Ｆ部１５０やデータ保持部１５２および環境検出部１５４を制御する。また、本実施形態において、中央制御部１５６は、輝度取得部１６０、位置情報取得部１６２、色識別子設定部１６４、グループ化部１６６、環境判定部１６８、外縁決定部１７０、特定物決定部１７２、パターンマッチング部１７４としても機能する。
【００３５】
輝度取得部１６０は、後述する色識別子設定部１６４の制御指令に従って、受信した輝度画像１２４から、対象部位（画素）単位で輝度（画素単位で３つの色相（赤、緑、青）の輝度）を取得する。このとき、検出領域１２２が例えば雨天や曇天であった場合、輝度取得部１６０は、本来の輝度を取得できるようにホワイトバランスを調整してから取得してもよい。
【００３６】
位置情報取得部１６２は、後述するグループ化部１６６の制御指令に従い、距離画像１２６における検出領域１２２内のブロック毎の視差情報を、ステレオ法を用いて、水平距離ｘ、道路表面からの高さｙ、および、自車両１からの相対距離ｚを含む三次元の位置情報に変換する。ここで、視差情報が、距離画像１２６における各対象部位の視差を示すのに対し、三次元の位置情報は、実空間における各対象部位の相対距離の情報を示す。したがって、水平距離、高さ、相対距離といった文言を用いる場合、実空間上の距離を指し、検出距離といった文言を用いる場合、距離画像１２６上の距離を指す。また、視差情報が画素単位ではなくブロック単位、即ち複数の画素単位で導出されている場合、その視差情報はブロックに属する全ての画素の視差情報とみなして、画素単位の計算を実行することができる。
【００３７】
図６は、位置情報取得部１６２による三次元の位置情報への変換を説明するための説明図である。位置情報取得部１６２は、まず、距離画像１２６を図６の如く画素単位の座標系として認識する。ここでは、図６中、左下隅を原点（０，０）とし、横方向をｉ座標軸、縦方向をｊ座標軸とする。したがって、視差ｄｐを有する画素は、画素位置ｉ、ｊと視差ｄｐによって（ｉ，ｊ，ｄｐ）のように表すことができる。
【００３８】
本実施形態における実空間上の三次元座標系を、車両１を中心とした相対座標系で考える。ここでは、車両１の進行方向右側方をＸ軸の正方向、車両１の上方をＹ軸の正方向、車両１の進行方向（前方）をＺ軸の正方向、２つの撮像装置１１０の中央を通る鉛直線と道路表面との交点を原点（０，０，０）とする。このとき、道路を平面と仮定すると、道路表面がＸ−Ｚ平面（ｙ＝０）と一致することとなる。位置情報取得部１６２は、以下の（数式１）〜（数式３）によって距離画像１２６上のブロック（ｉ，ｊ，ｄｐ）を、実空間上の三次元の点（ｘ，ｙ，ｚ）に座標変換する。
ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …（数式１）
ｙ＝ＣＨ＋ｚ・ＰＷ・（ｊ−ＪＶ） …（数式２）
ｚ＝ＫＳ／ｄｐ …（数式３）
ここで、ＣＤは撮像装置１１０同士の間隔（基線長）であり、ＰＷは１画素当たりの視野角であり、ＣＨは撮像装置１１０の道路表面からの配置高さであり、ＩＶ、ＪＶは車両１の真正面における無限遠点の画像上の座標（画素）であり、ＫＳは距離係数（ＫＳ＝ＣＤ／ＰＷ）である。
【００３９】
色識別子設定部１６４は、データ保持部１５２に保持された特定物テーブル２００に基づき、対象部位の輝度に応じて対象部位の色識別子を設定する。
【００４０】
具体的に、色識別子設定部１６４は、輝度画像１２４における任意の対象部位の輝度を、輝度取得部１６０に取得させる。続いて、色識別子設定部１６４は、色テーブル１９０に登録されている色識別子１９４を順次選択し、取得した１の対象部位の輝度が、順次選択した色識別子１９４の輝度範囲１９２に含まれるか否か判定する。そして、対象部位の輝度が対象となる輝度範囲１９２に含まれれば、その対象部位に当該色識別子１９４を設定付して、色識別子マップを作成する。
【００４１】
色識別子設定部１６４は、このような対象部位それぞれの輝度と色テーブル１９０に登録されている複数の色識別子１９４の輝度範囲１９２との一連の比較を、複数の対象部位毎に順次実行する。ここで、色識別子１９４の選択順は、上述したように色テーブル１９０に示された優先順位に従っている。即ち、図４の色テーブル１９０の例では、「明るい赤」、「黄」、「明るい青緑」、「赤」、「暗い赤」、「暗い黄」、「青緑」、「暗い青緑」の順に比較処理が実行される。
【００４２】
また、上記優先順位に従って比較した結果、対象部位の輝度が優先順位の高い色識別子１９４の輝度範囲１９２に含まれていると判定された場合、それより優先順位が低い色識別子１９４に関する比較処理は最早行われない。したがって、１の対象部位に関して多くとも１の色識別子１９４しか付されることはない。これは、複数の特定物が空間上で重なり合うことはないので、色識別子設定部１６４によって一旦任意の色識別子１９４が設定された対象物は、最早、他の色識別子１９４であるか否かを判定する必要がないという理由に基づく。このように対象部位を排他的に取り扱うことによって、既に色識別子１９４が設定された対象部位の重複した設定処理を回避することができ、処理負荷を軽減することが可能となる。
【００４３】
図７は、色識別子マップ２１０を説明するための説明図である。色識別子マップ２１０は、輝度画像１２４に色識別子１９４を重ねたものである。したがって、色識別子１９４に対応する輝度範囲１９２の輝度を有することが想定される特定物に相当する位置に、色識別子１９４が纏まって設定される。
【００４４】
例えば、色識別子マップ２１０中の部分マップ２１０ａでは、先行車両のテールランプに相当する複数の対象部位２１２の輝度が、色識別子「１」、色識別子「２」、色識別子「３」、色識別子「４」といった順に輝度範囲１９２と比較される。その結果、色識別子「４」の輝度範囲１９２に含まれているので、特定物「テールランプ（赤）」の代表色識別子「４」が対応付けられている。また、色識別子マップ２１０中の部分マップ２１０ｂでは、信号機の右側点灯部分に相当する複数の対象部位２１４の輝度が色識別子「１」の輝度範囲１９２に含まれているので、特定物「信号機（赤）」の代表色識別子「１」が対応付けられている。さらに、色識別子マップ２１０中の部分マップ２１０ｃでは、先行車両の背面ランプ部に相当する複数の対象部位２１６の輝度が、色識別子「１」、色識別子「２」、色識別子「３」といった順に輝度範囲１９２と比較され、最終的に、特定物「テールランプ（赤）」の代表色識別子「４」および特定物「ウィンカー（橙）」の代表色識別子「５」が対応付けられている。図７では、輝度画像１２４の複数の対象部位に色識別子１９４が付された図を提示しているが、かかる表現は理解を容易にするための概念的なものであり、実際には対象部位にデータとして色識別子１９４が登録されている。
【００４５】
グループ化部１６６は、任意の対象部位を基点として、その対象部位と、水平距離ｘの差分および高さｙの差分が所定範囲（例えば、１．０ｍ等）内にある、同一の特定物に対応する対象部位をグループ化し、対象物とする。ここで、所定範囲は実空間上の距離で表わされ、任意の値に設定することができる。
【００４６】
具体的に、グループ化部１６６は、まず、輝度画像１２４における任意の対象部位の色識別子１９４を順次取得する。そして、グループ化部１６６は、その対象部位を基点として、その対象部位と、水平距離ｘの差分および高さｙの差分が所定範囲内にある、条件を満たす対象部位をグループ化し、対象物とする。ここで、条件は、基点とする対象部位の色識別子１９４を代表色識別子２０２とする特定物に対応する１または複数の色識別子１９４（本実施形態においては、代表色識別子１９４ａおよびサブ色識別子１９４ｂ）が設定された対象部位であることとする。
【００４７】
ここで、グループ化部１６６は、グループ化により新たに追加された対象部位に関しても、その対象部位を基点として、水平距離ｘの差分および高さｙの差分が所定範囲内にある、同一の特定物に対応する代表色識別子１９４ａおよびサブ色識別子１９４ｂが設定された対象部位をグループ化する。結果的に、同一の特定物に対応する代表色識別子１９４ａおよびサブ色識別子１９４ｂが設定された対象部位同士の距離が所定範囲内であれば、それら全てがグループ化されることとなる。
【００４８】
ここで、グループ化部１６６は、実空間上の水平距離ｘや高さｙを用いて判定しているが、輝度画像１２４上や距離画像１２６上の検出距離で判定する場合、グループ化のための所定範囲の閾値は、対象部位の相対距離ｚに応じて変更される。図２等に示したように、輝度画像１２４や距離画像１２６では、本来遠近の物体が平面上に表されているため、本体遠方に位置する物体は小さく（短く）表され、近傍に位置する物体は大きく（長く）表される。したがって、輝度画像１２４や距離画像１２６における所定範囲の閾値は、例えば、遠方に位置する対象部位については短く、近傍に位置する対象部位については長く設定されることとなる。こうして、遠方と近傍とで検出距離が異なる場合であっても安定したグループ化が望める。
【００４９】
また、ここでは、水平距離ｘの差分および高さｙの差分をそれぞれ独立して判定し、全てが所定範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離ｘの差分および高さｙの差分の二乗平均√（（水平距離ｘの差分）２＋（高さｙの差分）２）が所定範囲に含まれる場合に同一のグループとしてもよい。かかる計算により、対象部位同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。
【００５０】
図８は、グループ化部１６６の処理を説明するための説明図である。ここでは、理解を容易にするために、色識別子１９４の図示を省略する。グループ化部１６６は、図８（ａ）に示すような色識別子マップ２１０に対して、所定範囲内にある、例えば、特定物「信号機（赤）」に対応する代表色識別子１９４ａおよびサブ色識別子１９４ｂが設定された全ての対象部位をグループ化し、図８（ｂ）に示すように、対象物２１８とする。こうして特定物「信号機（赤）」が抽出される。
【００５１】
環境判定部１６８は、検出領域１２２において光が拡散する環境か否かを判定する。ここで、光が拡散する環境は、例えば、降雨や降雪等によってフロントガラスに水滴やこの水滴を払拭しようとしてできた水のスジ等が付くことで生じる。環境判定部１６８は、環境検出部１５４から出力された検出情報が降雨や降雪があることを示す場合、検出領域１２２において光が拡散する環境であると判定する。
【００５２】
図９は、外縁決定部１７０の処理を説明するための説明図である。ここでも、理解を容易にするために、色識別子１９４の図示を省略する。グループ化部１６６によって、対象部位がグループ化され対象物となった後、データ処理を容易とするため、対象物は、その外縁を例えば矩形形状に定められる。具体的に、対象物を構成する対象部位のうち、水平距離ｘが最左（ｘｌ）の対象部位および最右（ｘｒ）の対象部位、ならびに、高さｙが最小（ｙｍｉｎ）の対象部位および最大（ｙｍａｘ）の対象部位を抽出する。そして、ｘ＝ｘｌ、ｘ＝ｘｒ、ｙ＝ｙｍｉｎ、ｙ＝ｙｍａｘ、の４直線で囲まれる四角形をこの対象物の外縁とする。
【００５３】
しかし、図９（ａ）に示すように、雨天時に撮像された信号機の色識別子マップ２１０では、信号機の光源の光は任意の方向に伸びて（にじんで）拡散してしまう。この場合、白抜きの枠線で示す四角形の矩形領域が対象物の外縁として設定されると、実際の光源よりも大きな範囲が対象物の外縁と判断されてしまう。
【００５４】
このように、拡散した光に対応する対象部位は、特定物の特定の精度を落とすため、対象物から除外されることが望ましい。しかし、この拡散した光に相当する輝度範囲は、晴天時には信号機の輪郭を特定するために有効に利用されている。そのため、一律に拡散した光の輝度範囲に属する対象部位を除外すると、晴天時の特定物の特定の精度を落としかねない。
【００５５】
そこで、外縁決定部１７０は、光が拡散する環境か否かに応じて、色識別子１９４を選択し、対象物のうち、選択した色識別子１９４が設定された対象部位で特定される外縁を、対象物の外縁とする。ただし、本実施形態において、代表色識別子１９４ａまたはサブ色識別子１９４ｂとするが、複数の色識別子の組み合わせでもよい。
【００５６】
図９（ｂ）に、対象物を構成する対象部位２３０ａ、２３０ｂを模式的に例示する。ここでは、対象部位２３０ａは、代表色識別子１９４ａが対応付けられており、対象部位２３０ｂは、サブ色識別子１９４ｂが対応付けられている。
【００５７】
外縁決定部１７０は、代表色識別子１９４ａが対応付けられた対象部位２３０ａについて、水平距離ｘが最左（ｘｌ）の対象部位および最右（ｘｒ）の対象部位、ならびに、高さｙが最小（ｙｍｉｎ）の対象部位および最大（ｙｍａｘ）の対象部位を抽出する。そして、その座標をデータ保持部１５２に保持しておく。
【００５８】
また、外縁決定部１７０は、サブ色識別子１９４ｂが対応付けられた対象部位２３０ｂについて、水平距離ｘが最左（ｘｌ）の対象部位および最右（ｘｒ）の対象部位、ならびに、高さｙが最小（ｙｍｉｎ）の対象部位および最大（ｙｍａｘ）の対象部位を抽出する。そして、その座標をデータ保持部１５２に保持しておく。
【００５９】
続いて、外縁決定部１７０は、環境判定部１６８が光が拡散する環境であると判定した場合、代表色識別子１９４ａが対応付けられた対象部位２３０ａの座標を用い、ｘ＝ｘｌ、ｘ＝ｘｒ、ｙ＝ｙｍｉｎ、ｙ＝ｙｍａｘ、の４直線で囲まれる四角形の矩形領域で、その複数の対象部位を包含する。すると、図９（ｂ）の例では、サブ色識別子１９４ｂが対応付けられた最下段の４の対象部位２３０ｂが対象物から除外され、残りの１２の対象部位２３０ａ、２３０ｂを包含するように、外縁が決定される。
【００６０】
上述したように、代表色識別子１９４ａに対してサブ色識別子１９４ｂは、低い輝度の範囲が設定される。そのため、外縁判定部１７０は、図９（ｃ）に白抜きの枠線で示すように、輝度の比較的低い、斜めに伸びて拡散してしまった光の影響を除外し、図９（ｃ）に白抜きの枠線で示すように、比較的輝度の高い対象部位に基づいて外縁を決定することとなる。
【００６１】
このように、本実施形態の環境認識装置１３０は、予め、拡散によらない光源部分を特定するための代表色識別子１９４ａを、特定物に対応付けている。そのため、雨天時等、信号機等の光源の光が拡散してしまう場合であっても、外縁決定部１７０は、代表色識別子１９４ａに基づいて、拡散した光の影響を除外して、光源を適切に含むように、対象物の外縁を決定できる。そして、パターンマッチング等の後段の処理の精度を向上することが可能となる。
【００６２】
また、環境判定部１６８が光が拡散する環境であると判定した場合に、始めから代表色識別子１９４ａのみでグループ化して対象物とする構成も考えられる。しかし、例えば、雨天時、フロントガラスに均等に水滴が付着するわけではなく、またワイパーで払拭しようとしてできる水滴の分散度合いも様々であるため、光の拡散の程度は状況によって異なる。そのため、始めから代表色識別子１９４ａのみでグループ化しようとすると、例えば、信号機に対応する対象部位を１つの対象物としてグループ化できなかったりするおそれがある。本実施形態では、一旦、グループ化部１６６が代表色識別子１９４ａとサブ色識別子１９４ｂとで対象部位をグループ化した後、外縁決定部１７０が外縁を決定することで、このような事態を回避できる。
【００６３】
ここでは、光が拡散する環境であるか否か検出した結果に、代表色識別子１９４ａ、サブ色識別子１９４ｂが対応付けられる例を挙げて説明した。しかし、例えば、環境判定部１６８は、降雨や降雪の量を示す検出情報を取得し、その検出情報に基づいて光の拡散状況を段階的に判断してもよい。その場合、データ保持部１５２は、光の拡散状況の段階それぞれに、複数の色識別子１９４から選択された１または複数の色識別子１９４の組み合わせを対応付けて保持する。そして、外縁決定部１７０は、光の拡散状況に応じて組み合わせを選択する。
【００６４】
具体的には、降雨の場合、降雨を大雨、普通、小雨等、降雨量によって段階的に分類したとする。また、例えば、降雨の分類に対応付けて、上述した雨検出部の受光素子からの出力値（検出情報）の範囲が予め設定されたとする。環境判定部１６８は、出力値に対応する降雨の分類を特定し、外縁決定部１７０に出力する。ここでは、降雨量が多い程、光の拡散も激しいものとして取り扱う。外縁決定部１７０は、光の拡散状況（大雨、普通、小雨）に応じて段階的に定められた色識別子１９４の組み合わせを選択し、選択した色識別子１９４の組み合わせに基づいて外縁を決定する。
【００６５】
このように、外縁決定部１７０は、段階的に設けられた光の拡散状況に応じて、色識別子１９４の複数の組み合わせを使い分けることで、降雨量や降雪量等の環境により適した輝度範囲１９２を用いて、対象物の外縁を決定できる。
【００６６】
上述したように、輝度画像１２４の光の拡散は、降雨や降雪によって引き起こされるため、環境認識装置１３０は、降雨検出部や降雪検出部を備える構成により、降雨や降雪に基づいて、確実に光の拡散状況を把握し、対象物の外縁を適切な大きさで決定することが可能となる。
【００６７】
こうして、環境認識装置１３０では、輝度画像１２４から、１または複数の対象物を、特定物として抽出することができ、その情報を様々な制御に用いることが可能となる。例えば、特定物「信号機（赤）」を抽出することで、その対象物が、移動を伴わない固定された物であることが把握されると共に、その対象物が自車線に関する信号機であれば、自車両１は、停止または減速すべきであることを把握することができる。また、特定物「テールランプ（赤）」を抽出することで、そこに自車両１と共に走行している先行車両があり、かつ、その先行車両の背面が、特定物「テールランプ（赤）」の相対距離ｚにあることを把握することができる。
【００６８】
特定物決定部１７２は、グループ化部１６６がグループ化した対象物が所定の条件を満たしていれば、その対象物を特定物として決定する。例えば、図５に示したように、特定物テーブル２００に幅範囲２０２が対応付けられている場合、特定物決定部１７２は、特定物テーブル２００に基づき、対象物の大きさ（対象物の水平距離ｘの幅および高さｙの幅のいずれも）が、特定物の代表色識別子２０２の幅範囲２０２に含まれていれば、その対象物を対象となる特定物として決定することとする。また、対象物の水平距離ｘの幅および高さｙの幅それぞれについて幅範囲２０２を設定してもよい。ここでは、対象物が、特定物とみなすのに妥当な大きさであることを確認している。したがって、幅範囲２０２に含まれない場合、当該環境認識処理に不要な情報として除外することができる。例えば、図８を用いた例では、図８（ｂ）の対象物２１８の大きさは、特定物「信号機（赤）」の幅範囲「０．２〜０．４ｍ」に含まれるため、適切に特定物「信号機（赤）」と特定される。
【００６９】
こうして、環境認識装置１３０では、輝度画像１２４から、１または複数の対象物を、特定物として抽出することができ、その情報を様々な制御に用いることが可能となる。例えば、特定物「信号機（赤）」を抽出することで、その対象物が、移動を伴わない固定された物であることが把握されると共に、その対象物が自車線に関する信号機であれば、自車両１は、停止または減速すべきであることを把握することができる。また、特定物「テールランプ（赤）」を抽出することで、そこに自車両１と共に走行している先行車両があり、かつ、その先行車両の背面が、特定物「テールランプ（赤）」の相対距離ｚにあることを把握することができる。
【００７０】
ところで、複数の特定物が空間上で重なり合うことはないので、特定物決定部１７２によって一旦特定物と決定された対象物は、最早、他の特定物であるか否かを判定する必要がなくなる。そこで、上述したグループ化部１６６は、特定物決定部１７２によって特定物として決定された対象物を構成する対象部位を除外して、グループ化処理を行うこととする。即ち、選択された１の特定物に関する特定物決定処理において一旦特定物と決定された対象部位は、他の特定物に関するグループ化処理においては、最早、グループ化処理の対象として扱わない。このように対象部位を排他的に取り扱うことによって、既に特定物が決定された対象部位の重複したグループ化処理を回避することができ、処理負荷を軽減することが可能となる。
【００７１】
パターンマッチング部１７４は、特定物決定部１７２が決定した特定物が例えば「標識」であり、その中には制限速度が表記されていることが想定される場合、さらに、表記されている数値についてパターンマッチングを実行し、その数値を特定する。こうして、環境認識装置１３０は、自車線の制限速度等を認識することができる。
【００７２】
本実施形態においては、まず、特定物決定部１７２によって複数に制限された特定物を抽出し、その抽出された特定物とのパターンマッチングのみ行えばよい。したがって、従来のように、輝度画像１２４全面に対してパターンマッチングを行うのに比べ処理負荷が格段に少なくなる。
【００７３】
（環境認識方法）
以下、環境認識装置１３０の具体的な処理を図１０〜図１４のフローチャートに基づいて説明する。図１０は、画像処理装置１２０から距離画像（視差情報）１２６が送信された場合の割込処理に関する全体的な流れを示し、図１１〜図１４は、その中の個別のサブルーチンを示している。また、ここでは、対象部位として画素を挙げており、輝度画像１２４や距離画像１２６の左下隅を原点とし、画像水平方向に１〜６００画素、垂直方向に１〜２００画素の範囲で当該環境認識方法による処理を遂行する。また、ここでは、対象となる色識別子１９４および特定物の数を８つと仮定する。
【００７４】
図１０に示すように、距離画像１２６の受信を契機に当該環境認識方法による割込が発生すると、画像処理装置１２０から取得した輝度画像１２４が参照されて対象部位に色識別子１９４が設定され、色識別子マップ２１０が生成される（Ｓ３００）。
【００７５】
続いて、色識別子マップ２１０中で距離が近似し設定された色識別子が条件を満たす対象部位がグループ化され対象物となり（Ｓ３０２）、対象物に対して外縁決定処理が施される（Ｓ３０４）。そして、対象物が特定物として決定される（Ｓ３０６）。決定された特定物からさらに情報を得る必要があれば、パターンマッチング部１７４によって、特定物のパターンマッチングが実行される（Ｓ３０８）。そして当該割込処理を完了する。
【００７６】
（色識別子マップ生成処理Ｓ３００）
図１１を参照すると、色識別子設定部１６４は、対象部位（画素）を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ３５０）。続いて、色識別子設定部１６４は、垂直変数ｊに「１」を加算（インクリメント）すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ３５２）。次に、色識別子設定部１６４は、水平変数ｉに「１」を加算し、特定物変数ｍを初期化する（Ｓ３５４）。ここで、水平変数ｉや垂直変数ｊを設けているのは、６００×２００の画素全てに対して当該色識別子マップ生成処理を実行するためであり、特定物変数ｍを設けているのは、画素毎に８つの色識別子を順次比較するためである。
【００７７】
色識別子設定部１６４は、輝度画像１２４から対象部位としての画素（ｉ，ｊ）の輝度を輝度取得部１６０に取得させ（Ｓ３５６）、特定物変数ｍに「１」を加算し（Ｓ３５８）、特定物（ｍ）の代表色識別子の輝度範囲１９２を取得し（Ｓ３６０）、画素（ｉ，ｊ）の輝度が、特定物（ｍ）の代表色識別子の輝度範囲１９２に含まれるか否か判定する（Ｓ３６２）。
【００７８】
画素（ｉ，ｊ）の輝度が特定物（ｍ）の代表色識別子の輝度範囲１９２に含まれていれば（Ｓ３６２におけるＹＥＳ）、色識別子設定部１６４は、その対象部位に色識別子ｐを設定して、画素（ｉ，ｊ，ｐ）とする（Ｓ３６４）。また、画素（ｉ，ｊ）の輝度が特定物（ｍ）の代表色識別子の輝度範囲１９２に含まれていなければ（Ｓ３６２におけるＮＯ）、特定物変数ｍが特定物の最大数である８を超えたか否かを判定する（Ｓ３６６）。ここで、特定物変数ｍが最大数を超えていなければ（Ｓ３６６におけるＮＯ）、ステップＳ３５８の特定物変数ｍのインクリメント処理からを繰り返す。また、特定物変数ｍが最大数を超えていれば（Ｓ３６６におけるＹＥＳ）、当該画素（ｉ，ｊ）に対応する特定物は存在しないとして、次のステップＳ３６８に処理が移される。
【００７９】
続いて、色識別子設定部１６４は、水平変数ｉが水平画素の最大値である６００を超えたか否か判定し（Ｓ３６８）、水平変数ｉが最大値を超えていなければ（Ｓ３６８におけるＮＯ）、ステップＳ３５４の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ３６８におけるＹＥＳ）、色識別子設定部１６４は、垂直変数ｊが垂直画素の最大値である２００を超えたか否か判定する（Ｓ３７０）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ３７０におけるＮＯ）、ステップＳ３５２の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ３７０におけるＹＥＳ）、当該色識別子マップ生成処理を終了する。
【００８０】
（グループ化処理Ｓ３０２）
図１２を参照すると、グループ化部１６６は、対象部位をグループ化するための所定範囲を参照し（Ｓ４００）、対象部位（画素）を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ４０２）。続いて、グループ化部１６６は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ４０４）。次に、グループ化部１６６は、水平変数ｉに「１」を加算する（Ｓ４０６）。
【００８１】
グループ化部１６６は、輝度画像１２４から対象部位としての視差情報ｄｐを含む画素（ｉ，ｊ，ｐ，ｄｐ）を取得し、視差情報ｄｐを含む画素（ｉ,ｊ,ｐ，ｄｐ）を実空間上の点（ｘ,ｙ、ｚ）に座標変換して、画素（ｉ,ｊ, ｐ，ｄｐ，ｘ，ｙ，ｚ）とする（Ｓ４０８）。そして、その画素（ｉ，ｊ，ｐ，ｄｐ，ｘ，ｙ，ｚ）に有効な（０でない）色識別子ｐが存在し、かつ、グループ番号ｇがまだ付されていないか否か判定する（Ｓ４１０）。ここで、有効な色識別子ｐが存在し、かつ、グループ番号ｇがまだ付されていない場合（Ｓ４１０におけるＹＥＳ）、グループ化部１６６は、その画素の実空間上の座標（ｘ，ｙ，ｚ）から所定範囲内に、その色識別子ｐを代表色識別子１９４ａとする特定物に対応する代表色識別子１９４ａ、サブ色識別子１９４ｂが設定された他の１または複数の画素が存在し、かつ、その画素にグループ番号ｇがまだ付されていないか否か判定する（Ｓ４１２）。
【００８２】
代表色識別子１９４ａ、サブ色識別子１９４ｂが設定された他の画素（ｉ，ｊ，ｐ，ｄｐ，ｘ，ｙ，ｚ）が存在し、その画素にグループ番号ｇがまだ付されていなければ（Ｓ４１２におけるＹＥＳ）、グループ化部１６６は、グループ番号としてまだ利用されていない番号のうち最も小さい値を、自己を含む所定範囲内の全ての画素に新規に付与する（Ｓ４１４）。
【００８３】
このように、所定範囲内に色識別子が等しい対象部位が複数存在する場合、１のグループ番号ｇを付すことによってグループ化を行う。このとき、グループ番号としてまだ利用されていない番号のうち最も小さい値のいずれか小さい方を採用しているのは、グループの採番において可能な限り欠番を出さないようにするためである。こうすることで、グループ番号ｇの最大値が無用に大きくなることがなくなり、処理負荷を軽減することが可能となる。
【００８４】
色識別子ｐが有効な値ではない（０でない）、もしくは、有効な値ではあるがグループ番号ｇがすでに付されている場合（Ｓ４１０におけるＮＯ）、色識別子１９４の等しい他の画素が存在しない、もしくは、存在するがその画素すべてにグループ番号ｇがすでに付されている場合（Ｓ４１２におけるＮＯ）、次のステップＳ４１６に処理が移される。
【００８５】
続いて、グループ化部１６６は、水平変数ｉが水平画素の最大値である６００を超えたか否か判定し（Ｓ４１６）、水平変数ｉが最大値を超えていなければ（Ｓ４１６におけるＮＯ）、ステップＳ４０６の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ４１６におけるＹＥＳ）、グループ化部１６６は、垂直変数ｊが垂直画素の最大値である２００を超えたか否か判定する（Ｓ４１８）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ４１８におけるＮＯ）、ステップＳ４０４の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ４１８におけるＹＥＳ）、当該グループ化処理を終了する。
【００８６】
（外縁決定処理Ｓ３０４）
図１３を参照すると、グループ化部１６６は、グループを特定するためのグループ変数ｋを初期化（「０」を代入）する（Ｓ４５０）。続いて、グループ化部１６６は、グループ変数ｋに「１」を加算する（Ｓ４５２）。
【００８７】
グループ化部１６６は、輝度画像１２４からグループ番号ｇがグループ変数ｋである対象部位が存在するか否か判定する（Ｓ４５４）。存在すれば（Ｓ４５４におけるＹＥＳ）、そのグループ番号ｇが付された複数の対象部位のうち、代表色識別子１９４ａが付された対象部位と、サブ色識別子１９４ｂが付された対象部位とをそれぞれ抽出する。そして、代表色識別子１９４ａとサブ色識別子１９４ｂとのそれぞれについて、水平距離ｘが最左（ｘｌ）の対象部位および最右（ｘｒ）の対象部位、ならびに、高さｙが最小（ｙｍｉｎ）の対象部位および最大（ｙｍａｘ）の対象部位を抽出する（Ｓ４５６）。続いて、その座標をグループ番号ｇに対応付けてデータ保持部１５２に保持する（Ｓ４５８）。
【００８８】
環境判定部１６８は、検出情報に基づいて、降雨や降雪等によって検出領域１２２における光が拡散する環境か否かを判定する（Ｓ４６０）。光が拡散する環境である場合（Ｓ４６０におけるＹＥＳ）、外縁決定部１７０は、データ保持部１５２に保持した代表色識別子１９４ａの座標に基づいて、外縁を決定する（Ｓ４６２）。光が拡散する環境でない場合（Ｓ４６０におけるＮＯ）、外縁決定部１７０は、データ保持部１５２に保持したサブ色識別子１９４ｂの座標に基づいて、外縁を決定する（Ｓ４６４）。ただし、代表色識別子１９４ａに対応する対象部位がサブ識別子１９４に対応する対象部位に包含されていない場合、代表色識別子１９４ａおよびサブ識別子１９４ｂの座標に基づいて、外縁を決定するとよい。
【００８９】
続いて、グループ化部１６６は、グループ変数ｋが、対象部位グループ化処理において設定されたグループ番号の最大値を超えたか否か判定する（Ｓ４６６）。そして、グループ変数ｋが最大値を超えていなければ（Ｓ４６８におけるＮＯ）、ステップＳ４５２のグループ変数ｋのインクリメント処理からを繰り返す。また、グループ変数ｋが最大値を超えていれば（Ｓ４６８におけるＹＥＳ）、当該外縁決定処理を終了する。
【００９０】
（特定物決定処理Ｓ３０６）
図１４を参照すると、特定物決定部１７２は、特定物テーブル２００の各特定物の幅範囲２０２を参照し（Ｓ５００）、グループを特定するためのグループ変数ｋを初期化（「０」を代入）する（Ｓ５０２）。続いて、特定物決定部１７２は、グループ変数ｋに「１」を加算する（Ｓ５０４）。
【００９１】
特定物決定部１７２は、輝度画像１２４からグループ番号ｇがグループ変数ｋである対象物が存在するか否か判定し（Ｓ５０６）、存在すれば（Ｓ５０６におけるＹＥＳ）、そのグループ番号ｇが付された対象物の大きさを、外縁決定処理で決定された外縁に基づいて計算する（Ｓ５０８）。そして、計算した大きさが、グループ番号ｇがグループ変数ｋである対象物に対応付けられた代表色識別子ｐで示される特定物の幅範囲２０２に含まれるか否か判定する（Ｓ５１０）。例えば、対象物の大きさの水平方向成分が、代表色識別子ｐで示される特定物の幅範囲２０２以内であり、かつ、対象物の大きさの垂直方向成分が、代表色識別子ｐで示される特定物の幅範囲２０２以内であれば、対象物は、代表色識別子ｐで示される特定物の幅範囲２０２に含まれると判定できる。
【００９２】
大きさが代表色識別子ｐで示される特定物の幅範囲２０２に含まれていれば（Ｓ５１０におけるＹＥＳ）、特定物決定部１７２は、その対象物を代表色識別子ｐで示される特定物として決定する（Ｓ５１２）。大きさが代表色識別子ｐで示される特定物の幅範囲２０２に含まれていない（Ｓ５１０におけるＮＯ）、または、グループ番号ｇがグループ変数ｋである対象物が存在しない場合（Ｓ５０６におけるＮＯ）、次のステップＳ５１４に処理が移される。
【００９３】
続いて、特定物決定部１７２は、グループ変数ｋが、グループ化処理において設定されたグループ番号の最大値を超えたか否か判定する（Ｓ５１４）。そして、グループ変数ｋが最大値を超えていなければ（Ｓ５１４におけるＮＯ）、ステップＳ５０４のグループ変数ｋのインクリメント処理からを繰り返す。また、グループ変数ｋが最大値を超えていれば（Ｓ５１４におけるＹＥＳ）、当該特定物決定処理を終了する。こうして、グループ化された対象物が正式に特定物として決定される。
【００９４】
以上、説明したように、環境認識装置１３０によれば、雨天時等、光が拡散し易い環境において、対象物の特定精度を向上し、誤認識を回避することが可能となる。
【００９５】
また、特定物テーブル２００で対応付けられた１または複数の色識別子１９４を、予め定められた色テーブル１９０の色識別子１９４のみを用いることで、無用に多くの輝度範囲を判定することなく、所定数の輝度範囲１９２さえ判定すれば済むので、処理負荷の大幅な軽減を図ることができる。
【００９６】
また、コンピュータを、環境認識装置１３０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００９７】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００９８】
例えば、上述した実施形態の特定物テーブル２００においては、特定物に、予め色テーブル１９０に定められた色識別子１９４のみを対応付けているが、特定物それぞれに、任意の輝度範囲を複数対応付けてもよい。
【００９９】
また、上述した実施形態においては、対象物の三次元位置を複数の撮像装置１１０を用い画像データ間の視差に基づいて導出しているが、かかる場合に限られず、例えば、レーザレーダ測距装置等、既知の様々な距離測定装置を用いることができる。ここで、レーザレーダ測距装置は、検出領域１２２にレーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、この所要時間から物体までの距離を測定するものである。
【０１００】
また、上述した実施形態では、位置情報取得部１６２が、画像処理装置１２０から距離画像（視差情報）１２６を受けて三次元の位置情報を生成している例を挙げている。しかし、かかる場合に限られず、画像処理装置１２０において予め三次元の位置情報を生成し、位置情報取得部１６２は、その生成された三次元の位置情報を取得するとしてもよい。このようにして、機能分散を図り、環境認識装置１３０の処理負荷を軽減することが可能となる。
【０１０１】
また、上述した実施形態においては、撮像装置１１０がカラー画像を取得することを前提としているが、かかる場合に限られず、モノクロ画像を取得することでも本実施形態を遂行することができる。この場合、色テーブル１９０が単色の輝度で定義されることとなる。
【０１０２】
また、上述した実施形態においては、輝度取得部１６０、位置情報取得部１６２、色識別子設定部１６４、グループ化部１６６、環境判定部１６８、外縁決定部１７０、特定物決定部１７２、パターンマッチング部１７４は中央制御部１５６によってソフトウェアで動作するように構成している。しかし、上記の機能部をハードウェアによって構成することも可能である。
【０１０３】
また、特定物決定部１７２は、例えば対象物の大きさが特定物の幅範囲２０２に含まれることをもって特定物と決定しているが、かかる場合に限らず、さらに、他の様々な条件を満たしている場合に特定物として決定してもよい。例えば、対象物中における水平方向および鉛直方向の相対距離ｚの推移がほぼ等しい（連続する）場合や、ｚ座標に対する相対移動速度が等しい場合に特定物とする。このとき対象物中における水平方向および鉛直方向の相対距離ｚの推移は、ハフ変換あるいは最小二乗法による近似直線によって特定することができる。
【０１０４】
なお、本明細書の環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【０１０５】
本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する環境認識装置および環境認識方法に利用することができる。
【符号の説明】
【０１０６】
１ …車両
１２２ …検出領域
１２４ …輝度画像
１２６ …距離画像
１３０ …環境認識装置
１５２ …データ保持部
１６０ …輝度取得部
１６２ …位置情報取得部
１６４ …色識別子設定部
１６６ …グループ化部
１６８ …環境判定部
１７０ …外縁決定部
１７２ …特定物決定部
１９４ …色識別子
２００ …特定物テーブル
２０２ …幅範囲
２１０ …色識別子マップ
【技術分野】
【０００１】
本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する環境認識装置および環境認識方法に関する。
【背景技術】
【０００２】
従来、自車両の前方に位置する車両や信号機等の障害物といった対象物を検出し、検出した対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御する技術が知られている（例えば、特許文献１、２）。
【０００３】
また、このような技術では、対象物を一律に物として特定するのみならず、さらに高精度な制御を行うため、対象物が自車両と同速度で走行している先行車両であるのか、移動を伴わない固定された物であるのか等を判定する技術も存在する。ここで、対象物を、検出領域の撮像を通じて検出する場合、対象物が何であるかを特定する前に、撮像された画像から対象物自体を抽出（切り出し）しなければならない。
【０００４】
例えば、撮像された画像がカラー画像の場合、似通った輝度（色）を有する画素をグループ化し対象物として抽出する方法が考えられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３３４９０６０号
【特許文献２】特開平１０−２８３４６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、雨や雪が降っている場合、フロントガラスに付着した水滴やこの水滴を払拭しようとしてできた水のスジ等によって、撮像された画像は、信号機等の対象物の光が拡散したものとなってしまう。そのため、単に、同じような色特性を有する複数の画素同士をグループ化すると、このように光が拡散した対象物は、実際の対象物よりも大きく認識されてしまうおそれがあった。
【０００７】
本発明は、このような課題に鑑み、雨天時等、光が拡散し易い環境において、対象物の特定精度を向上し、誤認識を回避することが可能な、環境認識装置および環境認識方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の環境認識装置は、予め定められた所定数の色識別子と輝度範囲とを対応付け、複数の特定物それぞれに対して、複数の色識別子を対応付けると共に、検出領域において光が拡散する環境か否かの検出結果それぞれに、複数の色識別子から選択された１または複数の色識別子の組み合わせを対応付けて保持するデータ保持部と、検出領域内に存在する対象部位の輝度を取得する輝度取得部と、データ保持部に保持された色識別子と輝度範囲との対応付けに基づき、対象部位の輝度に応じて対象部位に色識別子を設定する色識別子設定部と、データ保持部に保持された特定物と色識別子との対応付けに基づき、水平距離の差分および高さの差分が所定範囲内にある、同一の特定物に対応する１または複数の色識別子が設定された対象部位をグループ化して対象物とするグループ化部と、検出領域において光が拡散する環境か否かを判定する環境判定部と、光が拡散する環境か否かに応じて組み合わせを選択し、対象物のうち、選択した組み合わせの色識別子が設定された対象部位で特定される外縁を、対象物の外縁とする外縁決定部と、を備えることを特徴とする。
【０００９】
降雨を検出する雨検出部をさらに備え、環境判定部は、雨検出部が降雨を検出すると、光が拡散する環境であると判定してもよい。
【００１０】
降雪を検出する雪検出部をさらに備え、環境判定部は、雪検出部が降雪を検出すると、光が拡散する環境であると判定してもよい。
【００１１】
データ保持部は、光の拡散状況の段階それぞれに、複数の色識別子から選択された１または複数の色識別子の組み合わせを対応付けて保持し、環境判定部は、光の拡散状況を段階的に判断し、外縁決定部は、光の拡散状況に応じて組み合わせを選択し、対象物のうち、選択した組み合わせの色識別子が設定された対象部位で特定される外縁を、対象物の外縁としてもよい。
【００１２】
上記課題を解決するために、本発明の環境認識方法は、検出領域内に存在する対象部位の輝度を取得し、データ保持部に保持された色識別子と輝度範囲との対応付けに基づき、対象部位の輝度に応じて対象部位に色識別子を設定し、データ保持部に保持された特定物と色識別子との対応付けに基づき、水平距離の差分および高さの差分が所定範囲内にある、同一の特定物に対応する１または複数の色識別子が設定された対象部位をグループ化して対象物とし、検出領域において光が拡散する環境か否かを判定し、データ保持部に保持された、検出領域において光が拡散する環境か否かの検出結果それぞれに対する複数の色識別子から選択された１または複数の色識別子の組み合わせの対応付けに基づき、光が拡散する環境か否かに応じて組み合わせを選択し、対象物のうち、選択した組み合わせの色識別子が設定された対象部位で特定される外縁を、対象物の外縁とすることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、雨天時等、光が拡散し易い環境において、対象物の特定精度を向上することができるので、誤認識を回避することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】環境認識システムの接続関係を示したブロック図である。
【図２】輝度画像と距離画像を説明するための説明図である。
【図３】環境認識装置の概略的な機能を示した機能ブロック図である。
【図４】色テーブルを説明するための説明図である。
【図５】特定物テーブルを説明するための説明図である。
【図６】位置情報取得部による三次元の位置情報への変換を説明するための説明図である。
【図７】色識別子マップを説明するための説明図である。
【図８】グループ化部の処理を説明するための説明図である。
【図９】外縁決定部の処理を説明するための説明図である。
【図１０】環境認識方法の全体的な流れを示したフローチャートである。
【図１１】色識別子マップ生成処理の流れを示したフローチャートである。
【図１２】グループ化処理の流れを示したフローチャートである。
【図１３】外縁決定処理の流れを示したフローチャートである。
【図１４】特定物決定処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１６】
（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、車両１内に設けられた、複数（本実施形態では２つ）の撮像装置１１０と、画像処理装置１２０と、環境認識装置１３０と、車両制御装置１４０とを含んで構成される。
【００１７】
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、フロントガラス越しに、カラー画像、即ち、画素単位で３つの色相（赤、緑、青）の輝度を取得することができる。本実施形態においては、色と輝度とを同等に扱い、同一の文章に両文言が含まれる場合、互いを、色を構成する輝度、または、輝度を有する色と読み替えることができる。ここでは、撮像装置１１０で撮像されたカラーの画像を輝度画像と呼び、後述する距離画像と区別する。また、撮像装置１１０は、車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒毎（６０ｆｐｓ）に連続して生成する。ここで、対象物は、車両、信号機、道路、ガードレールといった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の部分として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。
【００１８】
画像処理装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、２つの画像データに基づいて、画像中の任意のブロック（所定数の画素を集めたもの）の視差、および、任意のブロックの画面中の位置を示す画面位置を含む視差情報を導出する。画像処理装置１２０は、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、水平は、撮像した画像の画面横方向を示し、実空間上の水平に相当する。また、垂直は、撮像した画像の画面縦方向を示し、実空間上の鉛直方向に相当する。
【００１９】
このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度値（Ｙ色差信号）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。
【００２０】
ただし、画像処理装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する相対距離に相当）を画像データに対応付けた画像を距離画像という。
【００２１】
図２は、輝度画像１２４と距離画像１２６を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２２について図２（ａ）のような輝度画像（画像データ）１２４が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２４の一方のみを模式的に示している。本実施形態において、画像処理装置１２０は、このような輝度画像１２４からブロック毎の視差を求め、図２（ｂ）のような距離画像１２６を形成する。距離画像１２６における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。
【００２２】
視差は、画像のエッジ部分（隣り合う画素間で明暗の差分が大きい部分）で特定され易いので、距離画像１２６において黒のドットが付されている、視差が導出されたブロックは、輝度画像１２４においてもエッジとなっていることが多い。したがって、図２（ａ）に示す輝度画像１２４と図２（ｂ）に示す距離画像１２６とは各対象物の輪郭について似たものとなる。
【００２３】
環境認識装置１３０は、画像処理装置１２０から輝度画像１２４と距離画像１２６とを取得し、輝度画像１２４に基づく輝度と、距離画像１２６に基づく自車両１との相対距離を用いて検出領域１２２における対象物がいずれの特定物に対応するかを特定する。このとき、環境認識装置１３０は、距離画像１２６における、検出領域１２２内のブロック毎の視差情報を、所謂ステレオ法を用いて、相対距離を含む三次元の位置情報に変換している。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。かかる環境認識装置１３０に関しては、後ほど詳述する。
【００２４】
車両制御装置１４０は、環境認識装置１３０で特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１４０は、操舵の角度を検出する舵角センサ１４２や車両１の速度を検出する車速センサ１４４等を通じて現在の車両１の走行状態を取得し、アクチュエータ１４６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１４６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１４０は、対象物との衝突が想定される場合、運転者の前方に設置されたディスプレイ１４８にその旨警告表示（報知）を行うと共に、アクチュエータ１４６を制御して車両１を自動的に制動する。かかる車両制御装置１４０は、環境認識装置１３０と一体的に形成することもできる。
【００２５】
（環境認識装置１３０）
図３は、環境認識装置１３０の概略的な機能を示した機能ブロック図である。図３に示すように、環境認識装置１３０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、環境検出部１５４と、中央制御部１５６とを含んで構成される。
【００２６】
Ｉ／Ｆ部１５０は、画像処理装置１２０や車両制御装置１４０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、色テーブル（対応付け）および特定物テーブル（対応付け）や、以下に示す各機能部の処理に必要な様々な情報を保持し、また、画像処理装置１２０から受信した輝度画像１２４、距離画像１２６を一時的に保持する。ここで、特定物テーブルは、以下のように利用される。
【００２７】
図４は、色テーブル１９０を説明するための説明図である。色テーブル１９０では、予め定められた所定数の色を表す輝度範囲１９２が色識別子１９４に対応付けられている。例えば、色識別子「１」には、明るい赤色に相当する輝度範囲１９２が、色識別子「２」には、黄色に相当する輝度範囲１９２が、色識別子「３」には、明るい青緑色に相当する輝度範囲１９２が、色識別子「４」には、色識別子「１」に対して比較的暗い赤色に相当する輝度範囲１９２が、色識別子「５」には、色識別子「４」に対して比較的暗い赤色に相当する輝度範囲１９２が、色識別子「６」には、色識別子「２」に対して比較的暗い黄色に相当する輝度範囲１９２が、色識別子「７」には、色識別子「３」に対して比較的暗い青緑色に相当する輝度範囲１９２が、色識別子「８」には、色識別子「７」に対して比較的暗い青緑色に相当する輝度範囲１９２が対応付けられている。ただし、輝度範囲は図４に記載された範囲に限定されず、また、その数も限定されないのは言うまでもない。
【００２８】
図５は、特定物テーブル２００を説明するための説明図である。特定物テーブル２００では、複数の特定物に対して、特定物自体の輝度範囲に対応する代表色識別子１９４ａと、特定物の輝度に近似した範囲も含む１または複数の色識別子１９４（本実施形態においてサブ色識別子１９４ｂ）と、特定物の大きさの範囲を示す幅範囲２０２とが対応付けられている。ここで、特定物としては、「信号機（赤）」、「信号機（黄）」、「信号機（青）」、「テールランプ（赤）」、「ウィンカー（橙）」、「道路標識（黄）」、「道路標識（青）」、「道路標識（緑）」等、道路を走行する上で視認を要する様々な物が想定されている。特定物は図５に記載された物に限定されないのは言うまでもない。また、特定物テーブル２００では、特定物の特定に優先順位が定められており、当該環境認識処理はその優先順に従って、特定物テーブル２００における複数の特定物から順次選択された１の特定物毎に行われる。特定物のうち、例えば、特定物「信号機（赤）」には、特定物「信号機（赤）」を特定するための１または複数の色識別子「１」、「４」が対応付けられている。
【００２９】
代表色識別子１９４ａは、かかる１または複数の色識別子１９４のいずれかであり、特定物を特定するのに最も適した輝度に対応する色識別子１９４が定められる。また、サブ色識別子１９４ｂは、雨、雪、雹、霧等、光が拡散する環境において、特定物から発せられた光が拡散した部分の対象部位を特定するのに適した輝度に対応する色識別子１９４が定められる。
【００３０】
そして、後述する環境判定部１６８による、検出領域において光が拡散する環境であるとの検出結果に対して、代表色識別子１９４ａが対応付けられ、検出領域において光が拡散する環境でないとの検出結果に対して、代表色識別子１９４ａおよびサブ色識別子１９４ｂが対応付けられている。ここで、代表色識別子１９４ａに対してサブ色識別子１９４ｂは、低い輝度の範囲が設定されている。これは、特定物を特定するのに、代表色識別子１９４ａのみでは、その範囲を適切に検出できない可能性があるからである。
【００３１】
本実施形態では、特定物テーブル２００に基づいて、輝度画像１２４内の任意の対象部位のうち、任意の特定物に関する複数の色識別子１９４（輝度範囲１９２）の条件を満たした対象部位が特定物の候補となる。例えば、対象部位の輝度が特定物「信号機（赤）」における複数の色識別子１９４に基づく輝度範囲１９２に含まれていれば、その対象部位を特定物「信号機（赤）」の候補とする。そして、対象部位をグループ化した対象物が、特定物らしい態様で抽出されれば、例えば、グループ化した対象物の大きさが「信号機（赤）」の幅範囲「０．２〜０．４ｍ」に含まれれば特定物として判定される。特定物として判定された対象部位は、特定物固有の色識別子（識別番号）によってラベリングされている。ここで、対象部位は、画素や画素を集めたブロックを想定しているが、本実施形態では、説明の便宜上、画素を用いることとする。
【００３２】
環境検出部１５４は、例えば、降雨を検出する雨検出部と、降雪を検出する雪検出部とで構成され、降雨や降雪を検出すると、降雨を検出したこと、または降雪を検出したことを示す検出情報を環境判定部１６８に出力する。また、環境検出部１５４は、検出情報として、降雨や降雪の有無に加えて、降雨や降雪の量を環境判定部１６８に出力してもよい。さらに、環境検出部１５４は、降雨や降雪に限らず、撮像装置１１０の撮像が逆光となる等、撮像した画像における信号機等の対象物の光が拡散する環境を検出するとしてもよい。
【００３３】
雨検出部は、例えば、赤外線を発光する発光素子と、赤外線をフロントガラスに導くプリズムと、フロントガラスで反射した赤外線を受光強度に応じた出力値として出力する受光素子とで構成される。フロントガラスに水滴が付いている場合、その水滴が付いている箇所に当たった赤外線は受光素子に向かって反射せず、受光素子の出力値が低下する。雨検出部は、この出力値が所定閾値以下の場合、降雨として検出する。雨検出部は、その他、既存の様々な技術を用いて実現できる。雪検出部も、既存の様々な技術を用いて実現できるので、ここではその構成等、詳細な説明を省略する。
【００３４】
中央制御部１５６は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５８を通じて、Ｉ／Ｆ部１５０やデータ保持部１５２および環境検出部１５４を制御する。また、本実施形態において、中央制御部１５６は、輝度取得部１６０、位置情報取得部１６２、色識別子設定部１６４、グループ化部１６６、環境判定部１６８、外縁決定部１７０、特定物決定部１７２、パターンマッチング部１７４としても機能する。
【００３５】
輝度取得部１６０は、後述する色識別子設定部１６４の制御指令に従って、受信した輝度画像１２４から、対象部位（画素）単位で輝度（画素単位で３つの色相（赤、緑、青）の輝度）を取得する。このとき、検出領域１２２が例えば雨天や曇天であった場合、輝度取得部１６０は、本来の輝度を取得できるようにホワイトバランスを調整してから取得してもよい。
【００３６】
位置情報取得部１６２は、後述するグループ化部１６６の制御指令に従い、距離画像１２６における検出領域１２２内のブロック毎の視差情報を、ステレオ法を用いて、水平距離ｘ、道路表面からの高さｙ、および、自車両１からの相対距離ｚを含む三次元の位置情報に変換する。ここで、視差情報が、距離画像１２６における各対象部位の視差を示すのに対し、三次元の位置情報は、実空間における各対象部位の相対距離の情報を示す。したがって、水平距離、高さ、相対距離といった文言を用いる場合、実空間上の距離を指し、検出距離といった文言を用いる場合、距離画像１２６上の距離を指す。また、視差情報が画素単位ではなくブロック単位、即ち複数の画素単位で導出されている場合、その視差情報はブロックに属する全ての画素の視差情報とみなして、画素単位の計算を実行することができる。
【００３７】
図６は、位置情報取得部１６２による三次元の位置情報への変換を説明するための説明図である。位置情報取得部１６２は、まず、距離画像１２６を図６の如く画素単位の座標系として認識する。ここでは、図６中、左下隅を原点（０，０）とし、横方向をｉ座標軸、縦方向をｊ座標軸とする。したがって、視差ｄｐを有する画素は、画素位置ｉ、ｊと視差ｄｐによって（ｉ，ｊ，ｄｐ）のように表すことができる。
【００３８】
本実施形態における実空間上の三次元座標系を、車両１を中心とした相対座標系で考える。ここでは、車両１の進行方向右側方をＸ軸の正方向、車両１の上方をＹ軸の正方向、車両１の進行方向（前方）をＺ軸の正方向、２つの撮像装置１１０の中央を通る鉛直線と道路表面との交点を原点（０，０，０）とする。このとき、道路を平面と仮定すると、道路表面がＸ−Ｚ平面（ｙ＝０）と一致することとなる。位置情報取得部１６２は、以下の（数式１）〜（数式３）によって距離画像１２６上のブロック（ｉ，ｊ，ｄｐ）を、実空間上の三次元の点（ｘ，ｙ，ｚ）に座標変換する。
ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …（数式１）
ｙ＝ＣＨ＋ｚ・ＰＷ・（ｊ−ＪＶ） …（数式２）
ｚ＝ＫＳ／ｄｐ …（数式３）
ここで、ＣＤは撮像装置１１０同士の間隔（基線長）であり、ＰＷは１画素当たりの視野角であり、ＣＨは撮像装置１１０の道路表面からの配置高さであり、ＩＶ、ＪＶは車両１の真正面における無限遠点の画像上の座標（画素）であり、ＫＳは距離係数（ＫＳ＝ＣＤ／ＰＷ）である。
【００３９】
色識別子設定部１６４は、データ保持部１５２に保持された特定物テーブル２００に基づき、対象部位の輝度に応じて対象部位の色識別子を設定する。
【００４０】
具体的に、色識別子設定部１６４は、輝度画像１２４における任意の対象部位の輝度を、輝度取得部１６０に取得させる。続いて、色識別子設定部１６４は、色テーブル１９０に登録されている色識別子１９４を順次選択し、取得した１の対象部位の輝度が、順次選択した色識別子１９４の輝度範囲１９２に含まれるか否か判定する。そして、対象部位の輝度が対象となる輝度範囲１９２に含まれれば、その対象部位に当該色識別子１９４を設定付して、色識別子マップを作成する。
【００４１】
色識別子設定部１６４は、このような対象部位それぞれの輝度と色テーブル１９０に登録されている複数の色識別子１９４の輝度範囲１９２との一連の比較を、複数の対象部位毎に順次実行する。ここで、色識別子１９４の選択順は、上述したように色テーブル１９０に示された優先順位に従っている。即ち、図４の色テーブル１９０の例では、「明るい赤」、「黄」、「明るい青緑」、「赤」、「暗い赤」、「暗い黄」、「青緑」、「暗い青緑」の順に比較処理が実行される。
【００４２】
また、上記優先順位に従って比較した結果、対象部位の輝度が優先順位の高い色識別子１９４の輝度範囲１９２に含まれていると判定された場合、それより優先順位が低い色識別子１９４に関する比較処理は最早行われない。したがって、１の対象部位に関して多くとも１の色識別子１９４しか付されることはない。これは、複数の特定物が空間上で重なり合うことはないので、色識別子設定部１６４によって一旦任意の色識別子１９４が設定された対象物は、最早、他の色識別子１９４であるか否かを判定する必要がないという理由に基づく。このように対象部位を排他的に取り扱うことによって、既に色識別子１９４が設定された対象部位の重複した設定処理を回避することができ、処理負荷を軽減することが可能となる。
【００４３】
図７は、色識別子マップ２１０を説明するための説明図である。色識別子マップ２１０は、輝度画像１２４に色識別子１９４を重ねたものである。したがって、色識別子１９４に対応する輝度範囲１９２の輝度を有することが想定される特定物に相当する位置に、色識別子１９４が纏まって設定される。
【００４４】
例えば、色識別子マップ２１０中の部分マップ２１０ａでは、先行車両のテールランプに相当する複数の対象部位２１２の輝度が、色識別子「１」、色識別子「２」、色識別子「３」、色識別子「４」といった順に輝度範囲１９２と比較される。その結果、色識別子「４」の輝度範囲１９２に含まれているので、特定物「テールランプ（赤）」の代表色識別子「４」が対応付けられている。また、色識別子マップ２１０中の部分マップ２１０ｂでは、信号機の右側点灯部分に相当する複数の対象部位２１４の輝度が色識別子「１」の輝度範囲１９２に含まれているので、特定物「信号機（赤）」の代表色識別子「１」が対応付けられている。さらに、色識別子マップ２１０中の部分マップ２１０ｃでは、先行車両の背面ランプ部に相当する複数の対象部位２１６の輝度が、色識別子「１」、色識別子「２」、色識別子「３」といった順に輝度範囲１９２と比較され、最終的に、特定物「テールランプ（赤）」の代表色識別子「４」および特定物「ウィンカー（橙）」の代表色識別子「５」が対応付けられている。図７では、輝度画像１２４の複数の対象部位に色識別子１９４が付された図を提示しているが、かかる表現は理解を容易にするための概念的なものであり、実際には対象部位にデータとして色識別子１９４が登録されている。
【００４５】
グループ化部１６６は、任意の対象部位を基点として、その対象部位と、水平距離ｘの差分および高さｙの差分が所定範囲（例えば、１．０ｍ等）内にある、同一の特定物に対応する対象部位をグループ化し、対象物とする。ここで、所定範囲は実空間上の距離で表わされ、任意の値に設定することができる。
【００４６】
具体的に、グループ化部１６６は、まず、輝度画像１２４における任意の対象部位の色識別子１９４を順次取得する。そして、グループ化部１６６は、その対象部位を基点として、その対象部位と、水平距離ｘの差分および高さｙの差分が所定範囲内にある、条件を満たす対象部位をグループ化し、対象物とする。ここで、条件は、基点とする対象部位の色識別子１９４を代表色識別子２０２とする特定物に対応する１または複数の色識別子１９４（本実施形態においては、代表色識別子１９４ａおよびサブ色識別子１９４ｂ）が設定された対象部位であることとする。
【００４７】
ここで、グループ化部１６６は、グループ化により新たに追加された対象部位に関しても、その対象部位を基点として、水平距離ｘの差分および高さｙの差分が所定範囲内にある、同一の特定物に対応する代表色識別子１９４ａおよびサブ色識別子１９４ｂが設定された対象部位をグループ化する。結果的に、同一の特定物に対応する代表色識別子１９４ａおよびサブ色識別子１９４ｂが設定された対象部位同士の距離が所定範囲内であれば、それら全てがグループ化されることとなる。
【００４８】
ここで、グループ化部１６６は、実空間上の水平距離ｘや高さｙを用いて判定しているが、輝度画像１２４上や距離画像１２６上の検出距離で判定する場合、グループ化のための所定範囲の閾値は、対象部位の相対距離ｚに応じて変更される。図２等に示したように、輝度画像１２４や距離画像１２６では、本来遠近の物体が平面上に表されているため、本体遠方に位置する物体は小さく（短く）表され、近傍に位置する物体は大きく（長く）表される。したがって、輝度画像１２４や距離画像１２６における所定範囲の閾値は、例えば、遠方に位置する対象部位については短く、近傍に位置する対象部位については長く設定されることとなる。こうして、遠方と近傍とで検出距離が異なる場合であっても安定したグループ化が望める。
【００４９】
また、ここでは、水平距離ｘの差分および高さｙの差分をそれぞれ独立して判定し、全てが所定範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離ｘの差分および高さｙの差分の二乗平均√（（水平距離ｘの差分）２＋（高さｙの差分）２）が所定範囲に含まれる場合に同一のグループとしてもよい。かかる計算により、対象部位同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。
【００５０】
図８は、グループ化部１６６の処理を説明するための説明図である。ここでは、理解を容易にするために、色識別子１９４の図示を省略する。グループ化部１６６は、図８（ａ）に示すような色識別子マップ２１０に対して、所定範囲内にある、例えば、特定物「信号機（赤）」に対応する代表色識別子１９４ａおよびサブ色識別子１９４ｂが設定された全ての対象部位をグループ化し、図８（ｂ）に示すように、対象物２１８とする。こうして特定物「信号機（赤）」が抽出される。
【００５１】
環境判定部１６８は、検出領域１２２において光が拡散する環境か否かを判定する。ここで、光が拡散する環境は、例えば、降雨や降雪等によってフロントガラスに水滴やこの水滴を払拭しようとしてできた水のスジ等が付くことで生じる。環境判定部１６８は、環境検出部１５４から出力された検出情報が降雨や降雪があることを示す場合、検出領域１２２において光が拡散する環境であると判定する。
【００５２】
図９は、外縁決定部１７０の処理を説明するための説明図である。ここでも、理解を容易にするために、色識別子１９４の図示を省略する。グループ化部１６６によって、対象部位がグループ化され対象物となった後、データ処理を容易とするため、対象物は、その外縁を例えば矩形形状に定められる。具体的に、対象物を構成する対象部位のうち、水平距離ｘが最左（ｘｌ）の対象部位および最右（ｘｒ）の対象部位、ならびに、高さｙが最小（ｙｍｉｎ）の対象部位および最大（ｙｍａｘ）の対象部位を抽出する。そして、ｘ＝ｘｌ、ｘ＝ｘｒ、ｙ＝ｙｍｉｎ、ｙ＝ｙｍａｘ、の４直線で囲まれる四角形をこの対象物の外縁とする。
【００５３】
しかし、図９（ａ）に示すように、雨天時に撮像された信号機の色識別子マップ２１０では、信号機の光源の光は任意の方向に伸びて（にじんで）拡散してしまう。この場合、白抜きの枠線で示す四角形の矩形領域が対象物の外縁として設定されると、実際の光源よりも大きな範囲が対象物の外縁と判断されてしまう。
【００５４】
このように、拡散した光に対応する対象部位は、特定物の特定の精度を落とすため、対象物から除外されることが望ましい。しかし、この拡散した光に相当する輝度範囲は、晴天時には信号機の輪郭を特定するために有効に利用されている。そのため、一律に拡散した光の輝度範囲に属する対象部位を除外すると、晴天時の特定物の特定の精度を落としかねない。
【００５５】
そこで、外縁決定部１７０は、光が拡散する環境か否かに応じて、色識別子１９４を選択し、対象物のうち、選択した色識別子１９４が設定された対象部位で特定される外縁を、対象物の外縁とする。ただし、本実施形態において、代表色識別子１９４ａまたはサブ色識別子１９４ｂとするが、複数の色識別子の組み合わせでもよい。
【００５６】
図９（ｂ）に、対象物を構成する対象部位２３０ａ、２３０ｂを模式的に例示する。ここでは、対象部位２３０ａは、代表色識別子１９４ａが対応付けられており、対象部位２３０ｂは、サブ色識別子１９４ｂが対応付けられている。
【００５７】
外縁決定部１７０は、代表色識別子１９４ａが対応付けられた対象部位２３０ａについて、水平距離ｘが最左（ｘｌ）の対象部位および最右（ｘｒ）の対象部位、ならびに、高さｙが最小（ｙｍｉｎ）の対象部位および最大（ｙｍａｘ）の対象部位を抽出する。そして、その座標をデータ保持部１５２に保持しておく。
【００５８】
また、外縁決定部１７０は、サブ色識別子１９４ｂが対応付けられた対象部位２３０ｂについて、水平距離ｘが最左（ｘｌ）の対象部位および最右（ｘｒ）の対象部位、ならびに、高さｙが最小（ｙｍｉｎ）の対象部位および最大（ｙｍａｘ）の対象部位を抽出する。そして、その座標をデータ保持部１５２に保持しておく。
【００５９】
続いて、外縁決定部１７０は、環境判定部１６８が光が拡散する環境であると判定した場合、代表色識別子１９４ａが対応付けられた対象部位２３０ａの座標を用い、ｘ＝ｘｌ、ｘ＝ｘｒ、ｙ＝ｙｍｉｎ、ｙ＝ｙｍａｘ、の４直線で囲まれる四角形の矩形領域で、その複数の対象部位を包含する。すると、図９（ｂ）の例では、サブ色識別子１９４ｂが対応付けられた最下段の４の対象部位２３０ｂが対象物から除外され、残りの１２の対象部位２３０ａ、２３０ｂを包含するように、外縁が決定される。
【００６０】
上述したように、代表色識別子１９４ａに対してサブ色識別子１９４ｂは、低い輝度の範囲が設定される。そのため、外縁判定部１７０は、図９（ｃ）に白抜きの枠線で示すように、輝度の比較的低い、斜めに伸びて拡散してしまった光の影響を除外し、図９（ｃ）に白抜きの枠線で示すように、比較的輝度の高い対象部位に基づいて外縁を決定することとなる。
【００６１】
このように、本実施形態の環境認識装置１３０は、予め、拡散によらない光源部分を特定するための代表色識別子１９４ａを、特定物に対応付けている。そのため、雨天時等、信号機等の光源の光が拡散してしまう場合であっても、外縁決定部１７０は、代表色識別子１９４ａに基づいて、拡散した光の影響を除外して、光源を適切に含むように、対象物の外縁を決定できる。そして、パターンマッチング等の後段の処理の精度を向上することが可能となる。
【００６２】
また、環境判定部１６８が光が拡散する環境であると判定した場合に、始めから代表色識別子１９４ａのみでグループ化して対象物とする構成も考えられる。しかし、例えば、雨天時、フロントガラスに均等に水滴が付着するわけではなく、またワイパーで払拭しようとしてできる水滴の分散度合いも様々であるため、光の拡散の程度は状況によって異なる。そのため、始めから代表色識別子１９４ａのみでグループ化しようとすると、例えば、信号機に対応する対象部位を１つの対象物としてグループ化できなかったりするおそれがある。本実施形態では、一旦、グループ化部１６６が代表色識別子１９４ａとサブ色識別子１９４ｂとで対象部位をグループ化した後、外縁決定部１７０が外縁を決定することで、このような事態を回避できる。
【００６３】
ここでは、光が拡散する環境であるか否か検出した結果に、代表色識別子１９４ａ、サブ色識別子１９４ｂが対応付けられる例を挙げて説明した。しかし、例えば、環境判定部１６８は、降雨や降雪の量を示す検出情報を取得し、その検出情報に基づいて光の拡散状況を段階的に判断してもよい。その場合、データ保持部１５２は、光の拡散状況の段階それぞれに、複数の色識別子１９４から選択された１または複数の色識別子１９４の組み合わせを対応付けて保持する。そして、外縁決定部１７０は、光の拡散状況に応じて組み合わせを選択する。
【００６４】
具体的には、降雨の場合、降雨を大雨、普通、小雨等、降雨量によって段階的に分類したとする。また、例えば、降雨の分類に対応付けて、上述した雨検出部の受光素子からの出力値（検出情報）の範囲が予め設定されたとする。環境判定部１６８は、出力値に対応する降雨の分類を特定し、外縁決定部１７０に出力する。ここでは、降雨量が多い程、光の拡散も激しいものとして取り扱う。外縁決定部１７０は、光の拡散状況（大雨、普通、小雨）に応じて段階的に定められた色識別子１９４の組み合わせを選択し、選択した色識別子１９４の組み合わせに基づいて外縁を決定する。
【００６５】
このように、外縁決定部１７０は、段階的に設けられた光の拡散状況に応じて、色識別子１９４の複数の組み合わせを使い分けることで、降雨量や降雪量等の環境により適した輝度範囲１９２を用いて、対象物の外縁を決定できる。
【００６６】
上述したように、輝度画像１２４の光の拡散は、降雨や降雪によって引き起こされるため、環境認識装置１３０は、降雨検出部や降雪検出部を備える構成により、降雨や降雪に基づいて、確実に光の拡散状況を把握し、対象物の外縁を適切な大きさで決定することが可能となる。
【００６７】
こうして、環境認識装置１３０では、輝度画像１２４から、１または複数の対象物を、特定物として抽出することができ、その情報を様々な制御に用いることが可能となる。例えば、特定物「信号機（赤）」を抽出することで、その対象物が、移動を伴わない固定された物であることが把握されると共に、その対象物が自車線に関する信号機であれば、自車両１は、停止または減速すべきであることを把握することができる。また、特定物「テールランプ（赤）」を抽出することで、そこに自車両１と共に走行している先行車両があり、かつ、その先行車両の背面が、特定物「テールランプ（赤）」の相対距離ｚにあることを把握することができる。
【００６８】
特定物決定部１７２は、グループ化部１６６がグループ化した対象物が所定の条件を満たしていれば、その対象物を特定物として決定する。例えば、図５に示したように、特定物テーブル２００に幅範囲２０２が対応付けられている場合、特定物決定部１７２は、特定物テーブル２００に基づき、対象物の大きさ（対象物の水平距離ｘの幅および高さｙの幅のいずれも）が、特定物の代表色識別子２０２の幅範囲２０２に含まれていれば、その対象物を対象となる特定物として決定することとする。また、対象物の水平距離ｘの幅および高さｙの幅それぞれについて幅範囲２０２を設定してもよい。ここでは、対象物が、特定物とみなすのに妥当な大きさであることを確認している。したがって、幅範囲２０２に含まれない場合、当該環境認識処理に不要な情報として除外することができる。例えば、図８を用いた例では、図８（ｂ）の対象物２１８の大きさは、特定物「信号機（赤）」の幅範囲「０．２〜０．４ｍ」に含まれるため、適切に特定物「信号機（赤）」と特定される。
【００６９】
こうして、環境認識装置１３０では、輝度画像１２４から、１または複数の対象物を、特定物として抽出することができ、その情報を様々な制御に用いることが可能となる。例えば、特定物「信号機（赤）」を抽出することで、その対象物が、移動を伴わない固定された物であることが把握されると共に、その対象物が自車線に関する信号機であれば、自車両１は、停止または減速すべきであることを把握することができる。また、特定物「テールランプ（赤）」を抽出することで、そこに自車両１と共に走行している先行車両があり、かつ、その先行車両の背面が、特定物「テールランプ（赤）」の相対距離ｚにあることを把握することができる。
【００７０】
ところで、複数の特定物が空間上で重なり合うことはないので、特定物決定部１７２によって一旦特定物と決定された対象物は、最早、他の特定物であるか否かを判定する必要がなくなる。そこで、上述したグループ化部１６６は、特定物決定部１７２によって特定物として決定された対象物を構成する対象部位を除外して、グループ化処理を行うこととする。即ち、選択された１の特定物に関する特定物決定処理において一旦特定物と決定された対象部位は、他の特定物に関するグループ化処理においては、最早、グループ化処理の対象として扱わない。このように対象部位を排他的に取り扱うことによって、既に特定物が決定された対象部位の重複したグループ化処理を回避することができ、処理負荷を軽減することが可能となる。
【００７１】
パターンマッチング部１７４は、特定物決定部１７２が決定した特定物が例えば「標識」であり、その中には制限速度が表記されていることが想定される場合、さらに、表記されている数値についてパターンマッチングを実行し、その数値を特定する。こうして、環境認識装置１３０は、自車線の制限速度等を認識することができる。
【００７２】
本実施形態においては、まず、特定物決定部１７２によって複数に制限された特定物を抽出し、その抽出された特定物とのパターンマッチングのみ行えばよい。したがって、従来のように、輝度画像１２４全面に対してパターンマッチングを行うのに比べ処理負荷が格段に少なくなる。
【００７３】
（環境認識方法）
以下、環境認識装置１３０の具体的な処理を図１０〜図１４のフローチャートに基づいて説明する。図１０は、画像処理装置１２０から距離画像（視差情報）１２６が送信された場合の割込処理に関する全体的な流れを示し、図１１〜図１４は、その中の個別のサブルーチンを示している。また、ここでは、対象部位として画素を挙げており、輝度画像１２４や距離画像１２６の左下隅を原点とし、画像水平方向に１〜６００画素、垂直方向に１〜２００画素の範囲で当該環境認識方法による処理を遂行する。また、ここでは、対象となる色識別子１９４および特定物の数を８つと仮定する。
【００７４】
図１０に示すように、距離画像１２６の受信を契機に当該環境認識方法による割込が発生すると、画像処理装置１２０から取得した輝度画像１２４が参照されて対象部位に色識別子１９４が設定され、色識別子マップ２１０が生成される（Ｓ３００）。
【００７５】
続いて、色識別子マップ２１０中で距離が近似し設定された色識別子が条件を満たす対象部位がグループ化され対象物となり（Ｓ３０２）、対象物に対して外縁決定処理が施される（Ｓ３０４）。そして、対象物が特定物として決定される（Ｓ３０６）。決定された特定物からさらに情報を得る必要があれば、パターンマッチング部１７４によって、特定物のパターンマッチングが実行される（Ｓ３０８）。そして当該割込処理を完了する。
【００７６】
（色識別子マップ生成処理Ｓ３００）
図１１を参照すると、色識別子設定部１６４は、対象部位（画素）を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ３５０）。続いて、色識別子設定部１６４は、垂直変数ｊに「１」を加算（インクリメント）すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ３５２）。次に、色識別子設定部１６４は、水平変数ｉに「１」を加算し、特定物変数ｍを初期化する（Ｓ３５４）。ここで、水平変数ｉや垂直変数ｊを設けているのは、６００×２００の画素全てに対して当該色識別子マップ生成処理を実行するためであり、特定物変数ｍを設けているのは、画素毎に８つの色識別子を順次比較するためである。
【００７７】
色識別子設定部１６４は、輝度画像１２４から対象部位としての画素（ｉ，ｊ）の輝度を輝度取得部１６０に取得させ（Ｓ３５６）、特定物変数ｍに「１」を加算し（Ｓ３５８）、特定物（ｍ）の代表色識別子の輝度範囲１９２を取得し（Ｓ３６０）、画素（ｉ，ｊ）の輝度が、特定物（ｍ）の代表色識別子の輝度範囲１９２に含まれるか否か判定する（Ｓ３６２）。
【００７８】
画素（ｉ，ｊ）の輝度が特定物（ｍ）の代表色識別子の輝度範囲１９２に含まれていれば（Ｓ３６２におけるＹＥＳ）、色識別子設定部１６４は、その対象部位に色識別子ｐを設定して、画素（ｉ，ｊ，ｐ）とする（Ｓ３６４）。また、画素（ｉ，ｊ）の輝度が特定物（ｍ）の代表色識別子の輝度範囲１９２に含まれていなければ（Ｓ３６２におけるＮＯ）、特定物変数ｍが特定物の最大数である８を超えたか否かを判定する（Ｓ３６６）。ここで、特定物変数ｍが最大数を超えていなければ（Ｓ３６６におけるＮＯ）、ステップＳ３５８の特定物変数ｍのインクリメント処理からを繰り返す。また、特定物変数ｍが最大数を超えていれば（Ｓ３６６におけるＹＥＳ）、当該画素（ｉ，ｊ）に対応する特定物は存在しないとして、次のステップＳ３６８に処理が移される。
【００７９】
続いて、色識別子設定部１６４は、水平変数ｉが水平画素の最大値である６００を超えたか否か判定し（Ｓ３６８）、水平変数ｉが最大値を超えていなければ（Ｓ３６８におけるＮＯ）、ステップＳ３５４の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ３６８におけるＹＥＳ）、色識別子設定部１６４は、垂直変数ｊが垂直画素の最大値である２００を超えたか否か判定する（Ｓ３７０）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ３７０におけるＮＯ）、ステップＳ３５２の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ３７０におけるＹＥＳ）、当該色識別子マップ生成処理を終了する。
【００８０】
（グループ化処理Ｓ３０２）
図１２を参照すると、グループ化部１６６は、対象部位をグループ化するための所定範囲を参照し（Ｓ４００）、対象部位（画素）を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ４０２）。続いて、グループ化部１６６は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ４０４）。次に、グループ化部１６６は、水平変数ｉに「１」を加算する（Ｓ４０６）。
【００８１】
グループ化部１６６は、輝度画像１２４から対象部位としての視差情報ｄｐを含む画素（ｉ，ｊ，ｐ，ｄｐ）を取得し、視差情報ｄｐを含む画素（ｉ,ｊ,ｐ，ｄｐ）を実空間上の点（ｘ,ｙ、ｚ）に座標変換して、画素（ｉ,ｊ, ｐ，ｄｐ，ｘ，ｙ，ｚ）とする（Ｓ４０８）。そして、その画素（ｉ，ｊ，ｐ，ｄｐ，ｘ，ｙ，ｚ）に有効な（０でない）色識別子ｐが存在し、かつ、グループ番号ｇがまだ付されていないか否か判定する（Ｓ４１０）。ここで、有効な色識別子ｐが存在し、かつ、グループ番号ｇがまだ付されていない場合（Ｓ４１０におけるＹＥＳ）、グループ化部１６６は、その画素の実空間上の座標（ｘ，ｙ，ｚ）から所定範囲内に、その色識別子ｐを代表色識別子１９４ａとする特定物に対応する代表色識別子１９４ａ、サブ色識別子１９４ｂが設定された他の１または複数の画素が存在し、かつ、その画素にグループ番号ｇがまだ付されていないか否か判定する（Ｓ４１２）。
【００８２】
代表色識別子１９４ａ、サブ色識別子１９４ｂが設定された他の画素（ｉ，ｊ，ｐ，ｄｐ，ｘ，ｙ，ｚ）が存在し、その画素にグループ番号ｇがまだ付されていなければ（Ｓ４１２におけるＹＥＳ）、グループ化部１６６は、グループ番号としてまだ利用されていない番号のうち最も小さい値を、自己を含む所定範囲内の全ての画素に新規に付与する（Ｓ４１４）。
【００８３】
このように、所定範囲内に色識別子が等しい対象部位が複数存在する場合、１のグループ番号ｇを付すことによってグループ化を行う。このとき、グループ番号としてまだ利用されていない番号のうち最も小さい値のいずれか小さい方を採用しているのは、グループの採番において可能な限り欠番を出さないようにするためである。こうすることで、グループ番号ｇの最大値が無用に大きくなることがなくなり、処理負荷を軽減することが可能となる。
【００８４】
色識別子ｐが有効な値ではない（０でない）、もしくは、有効な値ではあるがグループ番号ｇがすでに付されている場合（Ｓ４１０におけるＮＯ）、色識別子１９４の等しい他の画素が存在しない、もしくは、存在するがその画素すべてにグループ番号ｇがすでに付されている場合（Ｓ４１２におけるＮＯ）、次のステップＳ４１６に処理が移される。
【００８５】
続いて、グループ化部１６６は、水平変数ｉが水平画素の最大値である６００を超えたか否か判定し（Ｓ４１６）、水平変数ｉが最大値を超えていなければ（Ｓ４１６におけるＮＯ）、ステップＳ４０６の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ４１６におけるＹＥＳ）、グループ化部１６６は、垂直変数ｊが垂直画素の最大値である２００を超えたか否か判定する（Ｓ４１８）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ４１８におけるＮＯ）、ステップＳ４０４の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ４１８におけるＹＥＳ）、当該グループ化処理を終了する。
【００８６】
（外縁決定処理Ｓ３０４）
図１３を参照すると、グループ化部１６６は、グループを特定するためのグループ変数ｋを初期化（「０」を代入）する（Ｓ４５０）。続いて、グループ化部１６６は、グループ変数ｋに「１」を加算する（Ｓ４５２）。
【００８７】
グループ化部１６６は、輝度画像１２４からグループ番号ｇがグループ変数ｋである対象部位が存在するか否か判定する（Ｓ４５４）。存在すれば（Ｓ４５４におけるＹＥＳ）、そのグループ番号ｇが付された複数の対象部位のうち、代表色識別子１９４ａが付された対象部位と、サブ色識別子１９４ｂが付された対象部位とをそれぞれ抽出する。そして、代表色識別子１９４ａとサブ色識別子１９４ｂとのそれぞれについて、水平距離ｘが最左（ｘｌ）の対象部位および最右（ｘｒ）の対象部位、ならびに、高さｙが最小（ｙｍｉｎ）の対象部位および最大（ｙｍａｘ）の対象部位を抽出する（Ｓ４５６）。続いて、その座標をグループ番号ｇに対応付けてデータ保持部１５２に保持する（Ｓ４５８）。
【００８８】
環境判定部１６８は、検出情報に基づいて、降雨や降雪等によって検出領域１２２における光が拡散する環境か否かを判定する（Ｓ４６０）。光が拡散する環境である場合（Ｓ４６０におけるＹＥＳ）、外縁決定部１７０は、データ保持部１５２に保持した代表色識別子１９４ａの座標に基づいて、外縁を決定する（Ｓ４６２）。光が拡散する環境でない場合（Ｓ４６０におけるＮＯ）、外縁決定部１７０は、データ保持部１５２に保持したサブ色識別子１９４ｂの座標に基づいて、外縁を決定する（Ｓ４６４）。ただし、代表色識別子１９４ａに対応する対象部位がサブ識別子１９４に対応する対象部位に包含されていない場合、代表色識別子１９４ａおよびサブ識別子１９４ｂの座標に基づいて、外縁を決定するとよい。
【００８９】
続いて、グループ化部１６６は、グループ変数ｋが、対象部位グループ化処理において設定されたグループ番号の最大値を超えたか否か判定する（Ｓ４６６）。そして、グループ変数ｋが最大値を超えていなければ（Ｓ４６８におけるＮＯ）、ステップＳ４５２のグループ変数ｋのインクリメント処理からを繰り返す。また、グループ変数ｋが最大値を超えていれば（Ｓ４６８におけるＹＥＳ）、当該外縁決定処理を終了する。
【００９０】
（特定物決定処理Ｓ３０６）
図１４を参照すると、特定物決定部１７２は、特定物テーブル２００の各特定物の幅範囲２０２を参照し（Ｓ５００）、グループを特定するためのグループ変数ｋを初期化（「０」を代入）する（Ｓ５０２）。続いて、特定物決定部１７２は、グループ変数ｋに「１」を加算する（Ｓ５０４）。
【００９１】
特定物決定部１７２は、輝度画像１２４からグループ番号ｇがグループ変数ｋである対象物が存在するか否か判定し（Ｓ５０６）、存在すれば（Ｓ５０６におけるＹＥＳ）、そのグループ番号ｇが付された対象物の大きさを、外縁決定処理で決定された外縁に基づいて計算する（Ｓ５０８）。そして、計算した大きさが、グループ番号ｇがグループ変数ｋである対象物に対応付けられた代表色識別子ｐで示される特定物の幅範囲２０２に含まれるか否か判定する（Ｓ５１０）。例えば、対象物の大きさの水平方向成分が、代表色識別子ｐで示される特定物の幅範囲２０２以内であり、かつ、対象物の大きさの垂直方向成分が、代表色識別子ｐで示される特定物の幅範囲２０２以内であれば、対象物は、代表色識別子ｐで示される特定物の幅範囲２０２に含まれると判定できる。
【００９２】
大きさが代表色識別子ｐで示される特定物の幅範囲２０２に含まれていれば（Ｓ５１０におけるＹＥＳ）、特定物決定部１７２は、その対象物を代表色識別子ｐで示される特定物として決定する（Ｓ５１２）。大きさが代表色識別子ｐで示される特定物の幅範囲２０２に含まれていない（Ｓ５１０におけるＮＯ）、または、グループ番号ｇがグループ変数ｋである対象物が存在しない場合（Ｓ５０６におけるＮＯ）、次のステップＳ５１４に処理が移される。
【００９３】
続いて、特定物決定部１７２は、グループ変数ｋが、グループ化処理において設定されたグループ番号の最大値を超えたか否か判定する（Ｓ５１４）。そして、グループ変数ｋが最大値を超えていなければ（Ｓ５１４におけるＮＯ）、ステップＳ５０４のグループ変数ｋのインクリメント処理からを繰り返す。また、グループ変数ｋが最大値を超えていれば（Ｓ５１４におけるＹＥＳ）、当該特定物決定処理を終了する。こうして、グループ化された対象物が正式に特定物として決定される。
【００９４】
以上、説明したように、環境認識装置１３０によれば、雨天時等、光が拡散し易い環境において、対象物の特定精度を向上し、誤認識を回避することが可能となる。
【００９５】
また、特定物テーブル２００で対応付けられた１または複数の色識別子１９４を、予め定められた色テーブル１９０の色識別子１９４のみを用いることで、無用に多くの輝度範囲を判定することなく、所定数の輝度範囲１９２さえ判定すれば済むので、処理負荷の大幅な軽減を図ることができる。
【００９６】
また、コンピュータを、環境認識装置１３０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００９７】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００９８】
例えば、上述した実施形態の特定物テーブル２００においては、特定物に、予め色テーブル１９０に定められた色識別子１９４のみを対応付けているが、特定物それぞれに、任意の輝度範囲を複数対応付けてもよい。
【００９９】
また、上述した実施形態においては、対象物の三次元位置を複数の撮像装置１１０を用い画像データ間の視差に基づいて導出しているが、かかる場合に限られず、例えば、レーザレーダ測距装置等、既知の様々な距離測定装置を用いることができる。ここで、レーザレーダ測距装置は、検出領域１２２にレーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、この所要時間から物体までの距離を測定するものである。
【０１００】
また、上述した実施形態では、位置情報取得部１６２が、画像処理装置１２０から距離画像（視差情報）１２６を受けて三次元の位置情報を生成している例を挙げている。しかし、かかる場合に限られず、画像処理装置１２０において予め三次元の位置情報を生成し、位置情報取得部１６２は、その生成された三次元の位置情報を取得するとしてもよい。このようにして、機能分散を図り、環境認識装置１３０の処理負荷を軽減することが可能となる。
【０１０１】
また、上述した実施形態においては、撮像装置１１０がカラー画像を取得することを前提としているが、かかる場合に限られず、モノクロ画像を取得することでも本実施形態を遂行することができる。この場合、色テーブル１９０が単色の輝度で定義されることとなる。
【０１０２】
また、上述した実施形態においては、輝度取得部１６０、位置情報取得部１６２、色識別子設定部１６４、グループ化部１６６、環境判定部１６８、外縁決定部１７０、特定物決定部１７２、パターンマッチング部１７４は中央制御部１５６によってソフトウェアで動作するように構成している。しかし、上記の機能部をハードウェアによって構成することも可能である。
【０１０３】
また、特定物決定部１７２は、例えば対象物の大きさが特定物の幅範囲２０２に含まれることをもって特定物と決定しているが、かかる場合に限らず、さらに、他の様々な条件を満たしている場合に特定物として決定してもよい。例えば、対象物中における水平方向および鉛直方向の相対距離ｚの推移がほぼ等しい（連続する）場合や、ｚ座標に対する相対移動速度が等しい場合に特定物とする。このとき対象物中における水平方向および鉛直方向の相対距離ｚの推移は、ハフ変換あるいは最小二乗法による近似直線によって特定することができる。
【０１０４】
なお、本明細書の環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【０１０５】
本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する環境認識装置および環境認識方法に利用することができる。
【符号の説明】
【０１０６】
１ …車両
１２２ …検出領域
１２４ …輝度画像
１２６ …距離画像
１３０ …環境認識装置
１５２ …データ保持部
１６０ …輝度取得部
１６２ …位置情報取得部
１６４ …色識別子設定部
１６６ …グループ化部
１６８ …環境判定部
１７０ …外縁決定部
１７２ …特定物決定部
１９４ …色識別子
２００ …特定物テーブル
２０２ …幅範囲
２１０ …色識別子マップ
【特許請求の範囲】
【請求項１】
予め定められた所定数の色識別子と輝度範囲とを対応付け、複数の特定物それぞれに対して、複数の該色識別子を対応付けると共に、検出領域において光が拡散する環境か否かの検出結果それぞれに、該複数の色識別子から選択された１または複数の色識別子の組み合わせを対応付けて保持するデータ保持部と、
前記検出領域内に存在する対象部位の輝度を取得する輝度取得部と、
前記データ保持部に保持された色識別子と輝度範囲との対応付けに基づき、前記対象部位の輝度に応じて該対象部位に色識別子を設定する色識別子設定部と、
前記データ保持部に保持された特定物と色識別子との対応付けに基づき、水平距離の差分および高さの差分が所定範囲内にある、同一の特定物に対応する１または複数の色識別子が設定された対象部位をグループ化して対象物とするグループ化部と、
前記検出領域において光が拡散する環境か否かを判定する環境判定部と、
光が拡散する環境か否かに応じて前記組み合わせを選択し、前記対象物のうち、選択した該組み合わせの色識別子が設定された前記対象部位で特定される外縁を、該対象物の外縁とする外縁決定部と、
を備えることを特徴とする環境認識装置。
【請求項２】
降雨を検出する雨検出部をさらに備え、
前記環境判定部は、前記雨検出部が降雨を検出すると、前記光が拡散する環境であると判定することを特徴とする請求項１に記載の環境認識装置。
【請求項３】
降雪を検出する雪検出部をさらに備え、
前記環境判定部は、前記雪検出部が降雪を検出すると、前記光が拡散する環境であると判定することを特徴とする請求項１または２のいずれかに記載の環境認識装置。
【請求項４】
データ保持部は、前記光の拡散状況の段階それぞれに、前記複数の色識別子から選択された１または複数の色識別子の組み合わせを対応付けて保持し、
前記環境判定部は、前記光の拡散状況を段階的に判断し、
前記外縁決定部は、前記光の拡散状況に応じて前記組み合わせを選択し、前記対象物のうち、選択した該組み合わせの色識別子が設定された前記対象部位で特定される外縁を、該対象物の外縁とすることを特徴とする請求項１から３のいずれか１項に記載の環境認識装置。
【請求項５】
検出領域内に存在する対象部位の輝度を取得し、
データ保持部に保持された色識別子と輝度範囲との対応付けに基づき、前記対象部位の輝度に応じて該対象部位に色識別子を設定し、
前記データ保持部に保持された特定物と色識別子との対応付けに基づき、水平距離の差分および高さの差分が所定範囲内にある、同一の特定物に対応する１または複数の色識別子が設定された対象部位をグループ化して対象物とし、
前記検出領域において光が拡散する環境か否かを判定し、
前記データ保持部に保持された、前記検出領域において光が拡散する環境か否かの検出結果それぞれに対する前記複数の色識別子から選択された１または複数の色識別子の組み合わせの対応付けに基づき、光が拡散する環境か否かに応じて前記組み合わせを選択し、
前記対象物のうち、選択した前記組み合わせの色識別子が設定された前記対象部位で特定される外縁を、該対象物の外縁とすることを特徴とする環境認識方法。
【請求項１】
予め定められた所定数の色識別子と輝度範囲とを対応付け、複数の特定物それぞれに対して、複数の該色識別子を対応付けると共に、検出領域において光が拡散する環境か否かの検出結果それぞれに、該複数の色識別子から選択された１または複数の色識別子の組み合わせを対応付けて保持するデータ保持部と、
前記検出領域内に存在する対象部位の輝度を取得する輝度取得部と、
前記データ保持部に保持された色識別子と輝度範囲との対応付けに基づき、前記対象部位の輝度に応じて該対象部位に色識別子を設定する色識別子設定部と、
前記データ保持部に保持された特定物と色識別子との対応付けに基づき、水平距離の差分および高さの差分が所定範囲内にある、同一の特定物に対応する１または複数の色識別子が設定された対象部位をグループ化して対象物とするグループ化部と、
前記検出領域において光が拡散する環境か否かを判定する環境判定部と、
光が拡散する環境か否かに応じて前記組み合わせを選択し、前記対象物のうち、選択した該組み合わせの色識別子が設定された前記対象部位で特定される外縁を、該対象物の外縁とする外縁決定部と、
を備えることを特徴とする環境認識装置。
【請求項２】
降雨を検出する雨検出部をさらに備え、
前記環境判定部は、前記雨検出部が降雨を検出すると、前記光が拡散する環境であると判定することを特徴とする請求項１に記載の環境認識装置。
【請求項３】
降雪を検出する雪検出部をさらに備え、
前記環境判定部は、前記雪検出部が降雪を検出すると、前記光が拡散する環境であると判定することを特徴とする請求項１または２のいずれかに記載の環境認識装置。
【請求項４】
データ保持部は、前記光の拡散状況の段階それぞれに、前記複数の色識別子から選択された１または複数の色識別子の組み合わせを対応付けて保持し、
前記環境判定部は、前記光の拡散状況を段階的に判断し、
前記外縁決定部は、前記光の拡散状況に応じて前記組み合わせを選択し、前記対象物のうち、選択した該組み合わせの色識別子が設定された前記対象部位で特定される外縁を、該対象物の外縁とすることを特徴とする請求項１から３のいずれか１項に記載の環境認識装置。
【請求項５】
検出領域内に存在する対象部位の輝度を取得し、
データ保持部に保持された色識別子と輝度範囲との対応付けに基づき、前記対象部位の輝度に応じて該対象部位に色識別子を設定し、
前記データ保持部に保持された特定物と色識別子との対応付けに基づき、水平距離の差分および高さの差分が所定範囲内にある、同一の特定物に対応する１または複数の色識別子が設定された対象部位をグループ化して対象物とし、
前記検出領域において光が拡散する環境か否かを判定し、
前記データ保持部に保持された、前記検出領域において光が拡散する環境か否かの検出結果それぞれに対する前記複数の色識別子から選択された１または複数の色識別子の組み合わせの対応付けに基づき、光が拡散する環境か否かに応じて前記組み合わせを選択し、
前記対象物のうち、選択した前記組み合わせの色識別子が設定された前記対象部位で特定される外縁を、該対象物の外縁とすることを特徴とする環境認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−２３８２４５（Ｐ２０１２−２３８２４５Ａ）
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願番号】特願２０１１−１０７６９４（Ｐ２０１１−１０７６９４）
【出願日】平成２３年５月１２日（２０１１．５．１２）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願日】平成２３年５月１２日（２０１１．５．１２）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]