環境認識装置および環境認識方法
【課題】夜間や雨等、光源が拡散し易い環境において、壁でないものを壁と誤判断することを抑制する。
【解決手段】環境認識装置１３０は、検出領域内に存在する対象部位の、自車両に対する相対距離を含む位置情報を取得する位置情報取得部１６０と、自車両の進行方向に垂直な水平距離の差分および自車両の進行方向に平行な相対距離の差分が第１所定距離内に連なる複数の対象部位をグループ化して対象物とするグループ化部１６２と、対象物を構成する複数の対象部位が、自車両の進行方向に垂直な面に対して所定角度以上に傾斜する傾斜面を形成すると、壁の候補である壁候補と判断する候補判断部１６４と、自車両の進行方向に垂直な水平距離の差分および自車両の進行方向に平行な相対距離の差分が、第１所定距離より長い第２所定距離内に連なる複数の壁候補を、壁であると判断する壁判断部１６６と、を備える。
【解決手段】環境認識装置１３０は、検出領域内に存在する対象部位の、自車両に対する相対距離を含む位置情報を取得する位置情報取得部１６０と、自車両の進行方向に垂直な水平距離の差分および自車両の進行方向に平行な相対距離の差分が第１所定距離内に連なる複数の対象部位をグループ化して対象物とするグループ化部１６２と、対象物を構成する複数の対象部位が、自車両の進行方向に垂直な面に対して所定角度以上に傾斜する傾斜面を形成すると、壁の候補である壁候補と判断する候補判断部１６４と、自車両の進行方向に垂直な水平距離の差分および自車両の進行方向に平行な相対距離の差分が、第１所定距離より長い第２所定距離内に連なる複数の壁候補を、壁であると判断する壁判断部１６６と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する環境認識装置および環境認識方法に関する。
【背景技術】
【０００２】
従来、自車両の前方に位置する車両や信号機等の障害物といった対象物を検出し、検出した対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御する技術が知られている。
【０００３】
このような技術では、例えば、２台のカメラで自車両の前方を撮像した画像に対して、ステレオマッチング処理を施し、所定数の画素のブロック毎の視差を導出する。そして、この視差に基づいて、実空間上の位置を導出している。
【０００４】
さらに、位置を導出した対象物を一律に物として特定するのみならず、さらに高精度な制御を行うため、対象物が自車両と同速度で走行している先行車両であるのか、移動を伴わない固定された物であるのか等を判断する技術も存在する。
【０００５】
例えば、自車両の進行方向に対して所定角度傾いて検出された各点をガードレール等の壁として判断し、自車両の進行方向に対して垂直な面の水平方向に沿って検出された各点を、先行車両の背面側等と判断する技術が提案されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−５９３２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、例えば、夜間や雨等でテールランプの光が拡散すると、ステレオマッチング処理において、テールランプを示さないブロックが、テールランプを示すブロックと誤ってマッチングしてしまうことがある。この場合、その誤ったマッチングから導出されるテールランプの実空間上の位置が、自車両の進行方向に対して所定角度傾いているように認識される。すると、上述した特許文献１の技術では、本来、先行車両の背面側として判断されるべきところが、壁と判断されてしまう可能性がある。進行方向に壁と認識される物体が検出されると、本来不要な、回避動作を行う自動制御が行われかねない。
【０００８】
本発明は、このような課題に鑑み、夜間や雨等、光源が拡散し易い環境において、壁でないものを壁と誤判断することを抑制可能な、環境認識装置および環境認識方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の環境認識装置は、検出領域内に存在する対象部位の、自車両に対する相対距離を含む位置情報を取得する位置情報取得部と、自車両の進行方向に垂直な水平距離の差分および自車両の進行方向に平行な相対距離の差分が第１所定距離内で連なる複数の対象部位をグループ化して対象物とするグループ化部と、対象物を構成する複数の対象部位が、自車両の進行方向に垂直な面に対して所定角度以上に傾斜する傾斜面を形成すると、対象物を壁の候補である壁候補と判断する候補判断部と、自車両の進行方向に垂直な水平距離の差分および自車両の進行方向に平行な相対距離の差分が、第１所定距離より長い第２所定距離内で連なる複数の壁候補を、壁であると判断する壁判断部と、を備えることを特徴とする。
【００１０】
グループ化部は、自車両の進行方向に垂直な水平距離の差分および自車両の進行方向に平行な相対距離の差分に加えて、道路表面からの高さの差分に基づいて、グループ化の判断を行い、壁判断部は、自車両の進行方向に垂直な水平距離の差分および自車両の進行方向に平行な相対距離の差分に加えて、道路表面からの高さの差分に基づいて、壁の判断を行ってもよい。
【００１１】
検出領域において光が拡散する環境か否かを判断する環境判断部をさらに備え、壁判断部は、環境判断部が、光が拡散する環境であると判断すると、壁候補をすべて壁と判断してもよい。
【００１２】
対象物の画像の水平方向に並んだ対象部位群毎の、自車両に対する進行方向に平行な相対距離の平均値を導出する距離導出部と、画像の垂直方向の位置の順に並べられた、平均値のデータ列の軌跡の微分値が所定閾値を超えると、所定閾値を超えた対象部位群を跨いでグループ化された対象物を、対象部位群を境界として分割するグループ分割部と、をさらに備えてもよい。
【００１３】
グループ分割部は、対象物を構成する対象部位全体の相対距離の平均値に基づいて、所定閾値を決定してもよい。
【００１４】
上記課題を解決するために、本発明の環境認識方法は、検出領域内に存在する対象部位の、自車両に対する相対距離を含む位置情報を取得し、自車両の進行方向に垂直な水平距離の差分および自車両の進行方向に平行な相対距離の差分が第１所定距離内で連なる複数の対象部位をグループ化して対象物とし、対象物を構成する複数の対象部位が、自車両の進行方向に垂直な面に対して所定角度以上に傾斜する傾斜面を形成すると、対象物を壁の候補である壁候補と判断し、自車両の進行方向に垂直な水平距離の差分および自車両の進行方向に平行な相対距離の差分が、第１所定距離より長い第２所定距離内で連なる複数の壁候補を、壁であると判断することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、夜間や雨等、光源が拡散し易い環境において、壁でないものを壁と誤判断することを抑制できるので、壁と誤判断されたものに対する不要な回避動作の発生を抑えることが可能となる。
【図面の簡単な説明】
【００１６】
【図１】環境認識システムの接続関係を示したブロック図である。
【図２】輝度画像と距離画像を説明するための説明図である。
【図３】環境認識装置の概略的な機能を示した機能ブロック図である。
【図４】位置情報取得部による三次元の位置情報への変換を説明するための説明図である。
【図５】グループ化部の処理を説明するための説明図である。
【図６】夜間の輝度画像の一例を示す説明図である。
【図７】壁判断処理を説明するための説明図である。
【図８】グループ分割処理を説明するための説明図である。
【図９】グループ分割処理を説明するための説明図である。
【図１０】グループ分割処理を説明するための説明図である。
【図１１】環境認識方法の全体的な流れを示したフローチャートである。
【図１２】グループ化処理の流れを示したフローチャートである。
【図１３】壁判断処理の流れを示したフローチャートである。
【図１４】グループ分割処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１８】
（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、複数（本実施形態では２つ）の撮像装置１１０と、画像処理装置１２０と、環境認識装置１３０と、車両制御装置１４０とを含んで構成される。
【００１９】
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、カラー画像、即ち、画素単位で３つの色相（赤、緑、青）の輝度を取得することができる。本実施形態においては、色と輝度とを同等に扱い、同一の文章に両文言が含まれる場合、互いを、色を構成する輝度、または、輝度を有する色と読み替えることができる。ここでは、撮像装置１１０で撮像されたカラーの画像を輝度画像と呼び、後述する距離画像と区別する。また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒毎（６０ｆｐｓ）に連続して生成する。ここで、対象物は、車両、信号機、道路、ガードレールといった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の部分として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。
【００２０】
画像処理装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、２つの画像データに基づいて、画像中の任意のブロック（所定数の画素を集めたもの）の視差、および、任意のブロックの画面中の位置を示す画面位置を含む視差情報を導出する。画像処理装置１２０は、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、水平は、撮像した画像の画面横方向を示し、実空間上の水平に相当する。また、垂直は、撮像した画像の画面縦方向を示し、実空間上の鉛直方向に相当する。
【００２１】
このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度値（Ｙ色差信号）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。
【００２２】
ただし、画像処理装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する相対距離に相当）を画像データに対応付けた画像を距離画像という。
【００２３】
図２は、輝度画像１２４と距離画像１２６を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２２について図２（ａ）のような輝度画像（画像データ）１２４が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２４の一方のみを模式的に示している。画像処理装置１２０は、このような輝度画像１２４からブロック毎の視差を求め、図２（ｂ）のような距離画像１２６を形成する。距離画像１２６における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。
【００２４】
視差は、画像のエッジ部分（隣り合う画素間で明暗の差分が大きい部分）で特定され易いので、距離画像１２６において黒のドットが付されている、視差が導出されたブロックは、輝度画像１２４においてもエッジとなっていることが多い。したがって、図２（ａ）に示す輝度画像１２４と図２（ｂ）に示す距離画像１２６とは各対象物の輪郭について似たものとなる。
【００２５】
環境認識装置１３０は、画像処理装置１２０で導出された、検出領域１２２内のブロック毎の視差情報（距離画像１２６）を、所謂ステレオ法を用いて、相対距離を含む三次元の位置情報に変換し、自車両１の外の道路形状や立体物を特定する。ここで、ステレオ法は、三角測量法を用いることで、立体物の視差からその立体物の撮像装置１１０に対する相対距離を導出する方法である。かかる環境認識装置１３０に関しては、後ほど詳述する。
【００２６】
車両制御装置１４０は、環境認識装置１３０で特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１４０は、操舵の角度を検出する舵角センサ１４２や自車両１の速度を検出する車速センサ１４４等を通じて現在の自車両１の走行状態を取得し、アクチュエータ１４６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１４６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１４０は、対象物との衝突が想定される場合、運転者の前方に設置されたディスプレイ１４８にその旨警告表示（報知）を行うと共に、アクチュエータ１４６を制御して自車両１を自動的に制動する。かかる車両制御装置１４０は、環境認識装置１３０と一体的に形成することもできる。
【００２７】
（環境認識装置１３０）
図３は、環境認識装置１３０の概略的な機能を示した機能ブロック図である。図３に示すように、環境認識装置１３０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、環境検出部１５４と、中央制御部１５６とを含んで構成される。
【００２８】
Ｉ／Ｆ部１５０は、画像処理装置１２０や車両制御装置１４０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、画像処理装置１２０から受信した輝度画像１２４、距離画像１２６を一時的に保持する。
【００２９】
環境検出部１５４は、例えば、夜間であることを検出する夜間検出部と降雨を検出する雨検出部とで構成され、夜間や降雨を検出すると、夜間や降雨を検出したことを示す検出情報を後述する環境判断部１６８に出力する。また、環境検出部１５４は、夜間や降雨に限らず、撮像装置１１０の撮像が逆光となる等、撮像した画像における光源の光が拡散する環境を検出するとしてもよい。夜間検出部は、例えば自車両１の夜間ライトの点灯を以って夜間として検出してもよい。夜間検出部や雨検出部は、既存の様々な技術を用いて実現できるので、ここではその構成等、詳細な説明を省略する。
【００３０】
中央制御部１５６は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５８を通じて、Ｉ／Ｆ部１５０、データ保持部１５２および環境検出部１５４を制御する。また、本実施形態において、中央制御部１５６は、位置情報取得部１６０、グループ化部１６２、候補判断部１６４、壁判断部１６６、環境判断部１６８、距離導出部１７０、グループ分割部１７２、パターンマッチング部１７４としても機能する。
【００３１】
位置情報取得部１６０は、画像処理装置１２０で導出された、検出領域１２２内のブロック毎の視差情報を、ステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む三次元の位置情報に変換する。ここで、対象部位は、画素や画素を集めたブロックを想定しており、本実施形態では、画像処理装置１２０で用いられたブロックと同等の大きさを有する。
【００３２】
画像処理装置１２０で導出された視差情報が、距離画像１２６における各対象部位の視差を示すのに対し、三次元の位置情報は、実空間における各対象部位の相対距離の情報を示す。したがって、相対距離や高さといった文言を用いる場合、実空間上の距離を指し、検出距離といった文言を用いる場合、距離画像１２６上の距離を指す。
【００３３】
図４は、位置情報取得部１６０による三次元の位置情報への変換を説明するための説明図である。位置情報取得部１６０は、まず、距離画像１２６を図４の如く画素単位の座標系として認識する。ここでは、図４中、左下隅を原点（０，０）とし、横方向をｉ座標軸、縦方向をｊ座標軸とする。したがって、視差ｄｐを有する画素は、画素位置ｉ、ｊと視差ｄｐによって（ｉ，ｊ，ｄｐ）のように表すことができる。
【００３４】
本実施形態における実空間上の三次元座標系を、自車両１を中心とした相対座標系で考える。ここでは、自車両１の進行方向右側方をＸ軸の正方向、自車両１の上方をＹ軸の正方向、自車両１の進行方向（前方）をＺ軸の正方向、２つの撮像装置１１０の中央を通る鉛直線と道路表面との交点を原点（０，０，０）とする。このとき、道路を平面と仮定すると、道路表面がＸ−Ｚ平面（ｙ＝０）と一致することとなる。位置情報取得部１６０は、以下の（数式１）〜（数式３）によって距離画像１２６上のブロック（ｉ，ｊ，ｄｐ）を、実空間上の三次元の点（ｘ，ｙ，ｚ）に座標変換する。
ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …（数式１）
ｙ＝ＣＨ＋ｚ・ＰＷ・（ｊ−ＪＶ） …（数式２）
ｚ＝ＫＳ／ｄｐ …（数式３）
ここで、ＣＤは撮像装置１１０同士の間隔（基線長）であり、ＰＷは１画素当たりの視野角であり、ＣＨは撮像装置１１０の道路表面からの配置高さであり、ＩＶ、ＪＶは自車両１の真正面における無限遠点の画像上の座標（画素）であり、ＫＳは距離係数（ＫＳ＝ＣＤ／ＰＷ）である。
【００３５】
グループ化部１６２は、自車両１の進行方向に垂直な水平距離ｘの差分および自車両１の進行方向に平行な相対距離ｚの差分が第１所定距離内に連なる複数の対象部位をグループ化して対象物とする。具体的に、グループ化部１６２は、実空間上の位置を導出した任意の対象部位を基点として、その対象部位と、水平距離ｘの差分および相対距離ｚの差分が第１所定距離内にある対象部位をグループ化し、対象物とする。ここで、第１所定距離は実空間上の距離で表され、任意の値（例えば、１．０ｍ等）に設定することができる。また、ここでは、複数の対象部位が連なるとは、複数の対象部位が１次以上の次数の同じ曲線上に位置することをいう。
【００３６】
また、グループ化部１６２は、グループ化により新たに追加された対象部位に関しても、その対象部位を基点として、水平距離ｘの差分および相対距離ｚの差分が第１所定距離内にある、特定物が等しい対象部位をグループ化する。結果的に、対象部位同士の距離が第１所定距離内であれば、それら全てがグループ化されることとなる。
【００３７】
図５は、先行車両２００の対象部位２０２のグループ化を説明するための説明図である。図５（ａ）に示すような輝度画像１２４が生成されたとする。この輝度画像１２４における走行路２０４上の先行車両２００を実空間上の鉛直上方から見た平面図を図５（ｂ）、（ｃ）、（ｄ）に示す。
【００３８】
図５（ｂ）に示す先行車両２００の背面側の対象部位２０２が図５（ｃ）に示すように検出された場合、グループ化部１６２は、これらの対象部位２０２をグループ化して、図５（ｄ）に示すように対象物２０６とする。
【００３９】
このように、先行車両２００の背面側の対象部位２０２は、Ｘ軸方向に大凡平行に検出される。一方、ガードレール等の壁の対象部位は、Ｘ軸方向に対して所定角度（例えば、４５度）以上傾いている任意の傾斜面を形成する。このことから、壁を検出する場合、Ｘ軸方向に対して所定角度以上傾いている任意の傾斜面を形成する対象部位で構成される対象物を探索する処理が考えられる。ところが、この場合、夜間や雨等において壁の誤検出が生じ得る。
【００４０】
図６は、夜間の輝度画像１２４の一例を示す説明図である。図６に示すように、先行車両２００の背面側にはテールランプ２０８が灯っている。しかし、夜間であるため、テールランプ２０８の光が拡散してぼやけている。この場合、画像処理装置１２０が導出する視差情報には誤差が生じることがある。
【００４１】
図７は、壁判断処理を説明するための説明図である。図７（ａ）に、図５（ｃ）と同様に、先行車両２００の背面側の対象部位２０２の検出を行った結果、夜間で視差情報に誤差が生じている場合の例を示す。
【００４２】
図７（ａ）のように、夜間等で視差情報に誤差があると、本来、Ｘ軸方向に対して平行な対象部位２０２として検出されるべきはずが、Ｘ軸方向に対して所定角度以上傾いている傾斜面を形成する対象部位２０２として検出されることがある。すると、その対象部位２０２をグループ化した対象物２０６ａは、壁として誤検出されてしまうこととなる。
【００４３】
本実施形態では、候補判断部１６４、壁判断部１６６、および環境判断部１６８がこのような壁の誤検出を回避するために機能する。以下、候補判断部１６４、壁判断部１６６、環境判断部１６８による壁判断処理について詳述する。
【００４４】
（壁判断処理）
候補判断部１６４は、高さｙが０以上となる（道路表面より上に位置する）対象物２０６としてグループ化された複数の対象部位２０２が、自車両１の進行方向に垂直な面に対して所定角度以上に傾斜する傾斜面を形成するか否かを判断する。すなわち、対象部位２０２が、Ｘ軸方向に対して所定角度以上傾いている任意の傾斜面を形成するか否かが判断される。本実施形態において候補判断部１６４は、壁の検出精度を向上するため、少なくとも３つ以上の対象部位２０２で構成される対象物を判断の対象とする。
【００４５】
傾斜面上に位置する場合、候補判断部１６４は、それだけではその対象部位がグループ化された対象物を壁と判断せず、一旦、壁の候補である壁候補と判断する。図７（ａ）の場合、対象物２０６ａが壁候補と判断される。
【００４６】
壁判断部１６６は、対象物２０６ａの中心位置を中心として、Ｘ軸方向の第２所定距離の範囲内（例えば、図７（ｂ）に示すＡＢの範囲内、５．０ｍ以内）かつ、Ｚ軸方向の第２所定距離の範囲内に、他の壁候補があるか否かを判断する。第２所定距離は、上述した第１所定距離よりも長い。
【００４７】
図７（ｂ）に示す例では、対象物２０６ａ、２０６ｂは、先行車両２００の背面側から検出されたものであるため、対象物２０６ａの近傍に他の壁候補はない。このように、他の壁候補が検出されない場合、壁判断部１６６は、その壁候補が壁ではないと判断する。
【００４８】
また、図７（ｂ）に示す例で、対象物２０６ｂもその配列に応じて壁候補と判断されてしまった場合、対象物２０６ａ、２０６ｂが壁であると判断されてしまうおそれがある。
【００４９】
ガードレール等の壁は、Ｘ軸方向に対して所定角度以上傾いている傾斜面を有する。そのため、壁から検出された複数の壁候補は、同一の傾斜面に対象部位がまとまり易い。一方、先行車両２００の背面側等から複数の壁候補が誤検出される場合、その対象部位は、同一の傾斜面にまとまる可能性が低い。
【００５０】
そこで、壁判断部１６６は、壁候補となった対象物について、その対象物としてグループ化された対象部位を繋ぐ線の延長線上から、所定の距離内に他の壁候補が位置すると、それらの壁候補を壁と判断する。また、対象部位を繋ぐ線に限らず、例えば、対象部位の位置をサンプルとして導出される近似曲線を用いてもよい。かかる構成により、壁判断部１６６は、精度よく壁の判断を行うことが可能となる。
【００５１】
この場合、壁判断部１６６は、壁でないと判断した壁候補（対象物２０６ａ）と、その壁候補から、例えば、Ｘ軸方向およびＺ軸方向に第３所定距離の範囲内（例えば、図７（ｃ）に示すＣＤの範囲内、３．０ｍ以内）にある、壁候補ではない対象物２０６ｂとをまとめて、図７（ｄ）に示すように、一つの対象物２０６ｃとする。
【００５２】
このように、壁でないと判断された壁候補を他の対象物とまとめることで、後述するパターンマッチング部１７４は、まとめられた対象物２０６ｃが、例えば、先行車両２００の背面側であると高精度に判断できる。
【００５３】
図７（ｅ）に、カーブにおけるガードレールから検出された対象物２０６ｄ、２０６ｅ、２０６ｆ、２０６ｇ、２０６ｈを示す。この場合、壁判断部１６６は、対象物２０６ｄの中心位置を中心に、Ｘ軸方向およびＺ軸方向に第２所定距離の範囲内に近接する対象物２０６ｅを検出する。同様に、壁判断部１６６は、対象物２０６ｅに近接する対象物２０６ｆ、対象物２０６ｆに近接する対象物２０６ｇと順次、対象物２０６ｄ〜２０６ｈまでを検出する。
【００５４】
そして、図７（ｆ）に示すように、壁判断部１６６は、これらの第２所定距離内に近接して連なる複数の壁候補を、壁２１０であると判断する。
【００５５】
テールランプ等の光源は、壁と比較してＸ−Ｚ平面方向の大きさが小さい。本実施形態の壁判断部１６６は、壁候補が複数連なっていると壁と判断し、壁候補が単独で検出されても壁とは判断しない。そのため、壁判断部１６６は、テールランプ等が光の拡散によって壁のように傾斜面を形成しているように誤検出されても、テールランプ等を壁と判断することはなく、壁の誤検出を抑制できる。
【００５６】
環境判断部１６８は、検出領域１２２において光が拡散する環境か否かを判断する。ここで、光が拡散する環境は、例えば、夜間や、降雨等でフロントガラスに水滴やこの水滴を払拭しようとしてできた水のスジ等が付いた状況等が挙げられる。環境判断部１６８は、環境検出部１５４から出力された検出情報が夜間や降雨を示す場合、検出領域１２２において光が拡散する環境であると判断する。
【００５７】
そして、壁判断部１６６は、環境判断部１６８が、光が拡散する環境でないと判断すると、壁候補をすべて壁と判断する。図６に示すような光が拡散する環境でなければ、視差情報に誤差が生じる可能性が低いためである。かかる構成により、壁判断部１６６は、光が拡散する環境でない場合に、壁判断処理の処理負荷を低減することが可能となる。
【００５８】
（グループ分割処理）
続いて、壁と判断されなかった対象物について、誤って１つにまとめてグループ化されてしまった対象物を、個別の対象物に分割するグループ分割処理について詳述する。
【００５９】
図８、図９は、グループ分割処理を説明するための説明図である。図８（ａ）は実際の輝度画像１２４の一例であり、輝度画像１２４に対応する距離画像１２６を図８（ｂ）に示す。ただし、グループ分割処理の説明に不要な要素については距離画像１２６から省略する。図８（ａ）、（ｂ）に示すように、自車両１の走行路２２０をバス２２２と乗用車２２４とが進行方向に前後に並んで走行しており相対距離ｚが比較的近い値であったとする。この場合、図８（ｃ）に示すように、バス２２２と乗用車２２４といった前後に並んだ２台の車両が１つのまとまった対象物２２６として誤検出されてしまう場合がある。
【００６０】
そこで、距離導出部１７０は、図８（ｄ）に矢印で示す、対象物２２６の距離画像１２６の水平方向に並んだ対象部位群毎の、相対距離ｚの平均値を導出する。
【００６１】
バス２２２と乗用車２２４とをＸ軸方向から見た場合、図９（ａ）に示すように並んでいるとする。自車両１から見て、手前に位置する乗用車２２４の方は背面側がすべて映るが、バス２２２の背面側の一部は、乗用車２２４の陰となって輝度画像１２４には映らない。そのため、水平方向に並んだ対象部位群毎の相対距離ｚの平均値を、距離画像１２６のｊ座標軸とＺ軸との座標上にプロットして軌跡を描くと、例えば、図９（ｂ）に示すようになる。
【００６２】
図９（ｃ）は、図９（ｂ）の座標軸を９０度傾けて左右を反転させたものである。図９（ｃ）において、破線２２８の部分では、ｊ座標値の変化に対して相対距離ｚが大きく変化している。この垂直位置ｃは、輝度画像１２４において、バス２２２と乗用車２２４との境界部分に対応する。
【００６３】
グループ分割部１７２は、まず、ｊ座標値の順に並べられた、相対距離ｚの平均値のデータ列の軌跡の微分値を導出し、所定閾値と比較して、所定閾値を超えた対象部位群の垂直位置ｃを特定する。
【００６４】
図１０は、グループ分割処理を説明するための説明図である。グループ分割部１７２は、垂直位置ｃを特定すると、図１０（ａ）に示す垂直位置ｃを跨いでグループ化された対象物２２６を、図１０（ｂ）に示すように、その垂直位置ｃを境界として分割し、新たに２つの対象物２２６ａ、２２６ｂとする。
【００６５】
このように、グループ分割部１７２は、本来、異なるグループとしてグループ化されるべきところ、１つのグループとしてまとめられてしまった対象物２２６を、正しく別々の対象物２２６ａ、２２６ｂに分割する。そのため、環境認識装置１３０は、後段のパターンマッチング処理等の精度を向上できる。
【００６６】
また、グループ分割部１７２は、対象物２２６を構成する対象部位全体の相対距離ｚの平均値に基づいて、所定閾値を決定する。
【００６７】
位置情報取得部１６０が導出する位置は、相対距離ｚが離れている程、距離分解能が低くなる。そのため、グループ分割部１７２は、距離分解能以下の値は無視するように、相対距離ｚに応じて所定閾値を調整する。かかる構成により、グループ分割部１７２は、距離分解能以下の誤差の影響によって、対象物２２６が誤って分割されてしまう事態を回避できる。
【００６８】
パターンマッチング部１７４は、予めデータ保持部１５２に保持された立体物のモデルデータとのパターンマッチングを実行する。そして、対象物が、いずれかの立体物に該当するか否かを判断する。こうして、環境認識装置１３０は、壁の他、壁以外の立体物についても認識することができる。
【００６９】
（環境認識方法）
以下、環境認識装置１３０の具体的な処理を図１１〜図１４のフローチャートに基づいて説明する。図１１は、画像処理装置１２０から距離画像（視差情報）１２６が送信された場合の割込処理に関する全体的な流れを示し、図１２〜図１４は、その中の個別のサブルーチンを示している。
【００７０】
図１１に示すように、距離画像１２６の受信を契機に当該環境認識方法による割込が発生すると、画像処理装置１２０で導出された、検出領域１２２内のブロック毎の視差情報に基づき、対象部位毎の実空間上の位置を示す位置情報が導出される（Ｓ３００）。そして、対象部位に対してグループ化処理が施される（Ｓ３０２）。
【００７１】
続いて、グループ化された対象物に対して壁判断処理が施され（Ｓ３０４）、さらに、壁と判断されなかった対象物に対して、グループ分割処理が施される（Ｓ３０６）。そして、パターンマッチング部１７４によって、対象物に対する立体物のパターンマッチングが実行される（Ｓ３０８）。以下、上記の処理を具体的に説明する。
【００７２】
（グループ化処理Ｓ３０２）
図１２を参照すると、グループ化部１６２は、輝度画像１２４のまだ選択していない１つの対象部位を選択する（Ｓ３５０）。そして、グループ化部１６２は、選択した対象部位から、水平距離ｘの差分および相対距離ｚの差分が第１所定距離内に位置する対象部位があるか否かを判断する（Ｓ３５２）。第１所定距離内に対象部位がある場合（Ｓ３５２におけるＹＥＳ）、グループ化部１６２は、第１所定距離内にあったすべての対象部位をまとめてグループ化し対象物とする（Ｓ３５４）。
【００７３】
このとき、第１所定距離内にあった対象部位が、すでに対象物としてグループ化されていた場合、その対象物もまとめてグループ化して１つの対象物とする。こうして、グループ化部１６２は、近接して連なる複数の対象部位をグループ化して対象物とする。
【００７４】
第１所定距離内に対象部位がなかった場合（Ｓ３５２におけるＮＯ）、および、対象物設定Ｓ３５４の後、グループ化部１６２は、輝度画像１２４に、まだ選択していない対象部位があるか否かを判断する（Ｓ３５６）。対象部位がある場合（Ｓ３５６におけるＹＥＳ）、対象部位選択Ｓ３５０に戻る。まだ選択していない対象部位がない場合（Ｓ３５６におけるＮＯ）、当該グループ化処理Ｓ３０２を終了する。
【００７５】
（壁判断処理Ｓ３０４）
図１３を参照すると、候補判断部１６４は、まだ選択していない１つの対象物を選択する（Ｓ４００）。そして、候補判断部１６４は、その対象物の中心の高さｙが０以上である（道路表面より上に位置する）か否かを判断する（Ｓ４０２）。高さｙが０以上でない場合（Ｓ４０２におけるＮＯ）、未選択対象物判断Ｓ４０８に処理を移す。
【００７６】
高さｙが０以上である場合（Ｓ４０２におけるＹＥＳ）、候補判断部１６４は、対象物としてグループ化された対象部位が、自車両１の進行方向に垂直な面に対して所定角度以上に傾斜する傾斜面を形成するか否かを判断する（Ｓ４０４）。傾斜面を形成しない場合（Ｓ４０４におけるＮＯ）、未選択対象物判断Ｓ４０８に処理を移す。
【００７７】
対象部位が傾斜面を形成する場合（Ｓ４０４におけるＹＥＳ）、候補判断部１６４は、その対象部位をグループ化した対象物を壁の候補である壁候補と判断する（Ｓ４０６）。そして、未選択対象物判断Ｓ４０８に処理を移す。
【００７８】
続いて、候補判断部１６４は、まだ選択していない対象物があるか否かを判断する（Ｓ４０８）。まだ選択していない対象物があれば（Ｓ４０８におけるＹＥＳ）、対象物選択Ｓ４００に戻る。
【００７９】
すべての対象物に対して、壁候補判断処理を施されると（Ｓ４０８におけるＮＯ）、環境判断部１６８は、夜間や降雨等、光が拡散する環境であるか否かを判断する（Ｓ４１０）。光が拡散する環境でない場合（Ｓ４１０におけるＮＯ）、壁判断部１６８は、すべての壁候補を壁と判断する（Ｓ４１２）。光が拡散する環境である場合（Ｓ４１０におけるＹＥＳ）、壁判断部１６６は、まだ選択していない壁候補があるか否かを判断する（Ｓ４１４）。壁候補がある場合（Ｓ４１４におけるＹＥＳ）、壁判断部１６６は、まだ選択していない１つの壁候補を選択する（Ｓ４１６）。そして、壁判断部１６６は、選択した壁候補の中心位置を中心として、Ｘ軸方向の第２所定距離の範囲内かつ、Ｚ軸方向の第２所定距離の範囲内に、他の壁候補があるか否かを判断する（Ｓ４１８）。
【００８０】
このとき、壁判断部１６６は、選択した壁候補となった対象物について、その対象物としてグループ化された対象部位を繋ぐ線の延長線上から、所定の距離内に他の壁候補が位置するか否かも併せて判断する。
【００８１】
対象部位を繋ぐ線の延長線上から所定の距離内に位置する、他の壁候補がある場合（Ｓ４１８におけるＹＥＳ）、壁判断部１６６は、そのすべての壁候補を壁と判断する（Ｓ４２０）。そして、未選択壁候補判断Ｓ４１４に戻る。こうして、壁判断部１６６は、第２所定距離内に近接して連なる複数の壁候補を壁であると判断する。
【００８２】
他の壁候補がない場合（Ｓ４１８におけるＮＯ）、その壁候補は壁ではないと判断する（Ｓ４２２）。そして、壁判断部１６６は、壁でないと判断した壁候補から、Ｘ軸方向およびＺ軸方向に第３所定距離の範囲内に、壁候補以外の対象物があるか否かを判断する（Ｓ４２４）。壁候補以外の対象物がない場合（Ｓ４２４におけるＮＯ）、未選択壁候補判断Ｓ４１４に戻る。
【００８３】
壁候補以外の対象物がある場合（Ｓ４２４におけるＹＥＳ）、壁判断部１６６は、壁でないと判断した壁候補と、壁候補以外の対象物とをまとめて、一つの対象物とする（Ｓ４２６）。そして、未選択壁候補判断Ｓ４１４に戻る。
【００８４】
未選択壁候補判断Ｓ４１４において、まだ選択していない壁候補がない場合（Ｓ４１４におけるＮＯ）、当該壁判断処理Ｓ３０４を終了する。
【００８５】
（グループ分割処理Ｓ３０６）
図１４を参照すると、距離導出部１７０は、当該グループ分割処理Ｓ３０６においてまだ選択していない１つの対象物を選択する（Ｓ４５０）。そして、距離導出部１７０は、選択した対象物の輝度画像１２４の水平方向に並んだ対象部位群毎の、相対距離ｚの平均値を導出する（Ｓ４５２）。そして、距離導出部１７０は、導出した相対距離ｚの平均値を、輝度画像１２４の垂直方向の位置の順に並べたデータ列を生成する（Ｓ４５４）。
【００８６】
続いて、グループ分割部１７２は、選択した対象物を構成する対象部位全体の相対距離ｚの平均値を導出し、導出した平均値に基づいて、所定閾値を決定する（Ｓ４５６）。そして、グループ分割部１７２は、生成された相対距離ｚの平均値のデータ列の微分値を導出し（Ｓ４５８）、導出した微分値が所定閾値を超えるか否かを判断する（Ｓ４６０）。所定閾値を超えない場合（Ｓ４６０におけるＮＯ）、未選択対象物判断Ｓ４６６に処理を移す。
【００８７】
微分値が所定閾値を超える場合（Ｓ４６０におけるＹＥＳ）、グループ分割部１７２は、所定閾値を超えた微分値に対応する対象部位の垂直位置ｃを特定する（Ｓ４６２）。そして、グループ分割部１７２は、垂直位置ｃを跨いでグループ化された対象物を、その垂直位置ｃを境界として分割する（Ｓ４６４）。そして、未選択対象物判断Ｓ４６６に処理を移す。
【００８８】
続いて、距離導出部１７０は、当該グループ分割処理Ｓ３０６においてまだ選択していない対象物があるか否かを判断する（Ｓ４６６）。まだ選択していない対象物があれば（Ｓ４６６におけるＹＥＳ）、対象物選択Ｓ４５０に戻る。まだ選択していない対象物がなければ（Ｓ４６６におけるＮＯ）、当該グループ分割処理Ｓ３０６を終了する。
【００８９】
以上、説明したように、環境認識装置１３０によれば、夜間や雨等、光源が拡散し易い環境において、壁でないものを壁と誤判断することを抑制することが可能となる。
【００９０】
また、コンピュータを、環境認識装置１３０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００９１】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００９２】
上述した実施形態では、グループ化部１６２および壁判断部１６６は、実空間上の水平距離ｘや相対距離ｚを用いて判断しているが、輝度画像１２４上や距離画像１２６上の検出距離で判断してもよい。この場合、第１所定距離および第２所定距離は、対象部位の相対距離に応じて変更される。図２等に示したように、輝度画像１２４や距離画像１２６では、遠近の物体が平面上に表されているため、本体遠方に位置する物体は小さく（短く）表され、近傍に位置する物体は大きく（長く）表される。したがって、輝度画像１２４や距離画像１２６における第１所定距離および第２所定距離は、例えば、遠方に位置する対象部位については短く、近傍に位置する対象部位については長く設定されることとなる。こうして、遠方と近傍とで検出距離が異なる場合であっても安定したグループ化処理および壁判断処理が望める。
【００９３】
また、グループ化部１６２は、上述した水平距離ｘの差分や相対距離ｚの差分に加えて、高さｙの差分が第１所定距離内にある対象部位をグループ化してもよい。この場合、水平距離ｘ、高さｙおよび相対距離ｚのいずれかが離れていると、その対象部位のグループは独立した対象物とみなすこととする。こうして、高精度なグループ化を図ることができる。
【００９４】
同様に、壁判断部１６６は、水平距離ｘの差分および相対距離ｚの差分に加えて、道路表面からの高さｙの差分に基づいて、壁の判断を行ってもよい。このように、高さｙの差分も含めて、壁の判断を行う構成により、壁判断部１６６は、壁の検出精度を高めることが可能となる。
【００９５】
また、グループ化部１６２は、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分をそれぞれ独立して判断し、全てが第１所定距離に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の二乗平均√（（水平距離ｘの差分）２＋（高さｙの差分）２＋（相対距離ｚの差分）２）が第１所定距離に含まれる場合に同一のグループとしてもよい。かかる計算により、対象部位同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。
【００９６】
同様に、壁判断部１６６は、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分をそれぞれ独立して判断し、第２所定距離に含まれる場合のみ壁と判断しているが、他の計算によることもできる。例えば、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の二乗平均√（（水平距離ｘの差分）２＋（高さｙの差分）２＋（相対距離ｚの差分）２）が第２所定距離に含まれる場合、壁と判断としてもよい。かかる計算により、壁候補同士の実空間上の正確な距離を導出することができるので、壁の判断の精度を高めることができる。
【００９７】
また、上述した実施形態においては、対象物の三次元位置を複数の撮像装置１１０を用い画像データ間の視差に基づいて導出しているが、かかる場合に限られず、例えば、レーザレーダ測距装置等、既知の様々な距離測定装置を用いることができる。ここで、レーザレーダ測距装置は、検出領域１２２にレーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、この所要時間から物体までの距離を測定するものである。
【００９８】
また、上述した実施形態では、位置情報取得部１６０が、画像処理装置１２０から距離画像（視差情報）１２６を受けて三次元の位置情報を生成している例を挙げている。しかし、かかる場合に限られず、画像処理装置１２０において予め三次元の位置情報を生成し、位置情報取得部１６０は、その生成された三次元の位置情報を取得するとしてもよい。このようにして、機能分散を図り、環境認識装置１３０の処理負荷を軽減することが可能となる。
【００９９】
また、上述した実施形態においては、位置情報取得部１６０、グループ化部１６２、候補判断部１６４、壁判断部１６６、環境判断部１６８、距離導出部１７０、グループ分割部１７２、パターンマッチング部１７４は中央制御部１５６によってソフトウェアで動作するように構成している。しかし、上記の機能部をハードウェアによって構成することも可能である。
【０１００】
なお、本明細書の環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【０１０１】
本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する環境認識装置および環境認識方法に利用することができる。
【符号の説明】
【０１０２】
１ …自車両
１３０ …環境認識装置
１６０ …位置情報取得部
１６２ …グループ化部
１６４ …候補判断部
１６６ …壁判断部
１６８ …環境判断部
１７０ …距離導出部
１７２ …グループ分割部
１７４ …パターンマッチング部
【技術分野】
【０００１】
本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する環境認識装置および環境認識方法に関する。
【背景技術】
【０００２】
従来、自車両の前方に位置する車両や信号機等の障害物といった対象物を検出し、検出した対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御する技術が知られている。
【０００３】
このような技術では、例えば、２台のカメラで自車両の前方を撮像した画像に対して、ステレオマッチング処理を施し、所定数の画素のブロック毎の視差を導出する。そして、この視差に基づいて、実空間上の位置を導出している。
【０００４】
さらに、位置を導出した対象物を一律に物として特定するのみならず、さらに高精度な制御を行うため、対象物が自車両と同速度で走行している先行車両であるのか、移動を伴わない固定された物であるのか等を判断する技術も存在する。
【０００５】
例えば、自車両の進行方向に対して所定角度傾いて検出された各点をガードレール等の壁として判断し、自車両の進行方向に対して垂直な面の水平方向に沿って検出された各点を、先行車両の背面側等と判断する技術が提案されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−５９３２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、例えば、夜間や雨等でテールランプの光が拡散すると、ステレオマッチング処理において、テールランプを示さないブロックが、テールランプを示すブロックと誤ってマッチングしてしまうことがある。この場合、その誤ったマッチングから導出されるテールランプの実空間上の位置が、自車両の進行方向に対して所定角度傾いているように認識される。すると、上述した特許文献１の技術では、本来、先行車両の背面側として判断されるべきところが、壁と判断されてしまう可能性がある。進行方向に壁と認識される物体が検出されると、本来不要な、回避動作を行う自動制御が行われかねない。
【０００８】
本発明は、このような課題に鑑み、夜間や雨等、光源が拡散し易い環境において、壁でないものを壁と誤判断することを抑制可能な、環境認識装置および環境認識方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の環境認識装置は、検出領域内に存在する対象部位の、自車両に対する相対距離を含む位置情報を取得する位置情報取得部と、自車両の進行方向に垂直な水平距離の差分および自車両の進行方向に平行な相対距離の差分が第１所定距離内で連なる複数の対象部位をグループ化して対象物とするグループ化部と、対象物を構成する複数の対象部位が、自車両の進行方向に垂直な面に対して所定角度以上に傾斜する傾斜面を形成すると、対象物を壁の候補である壁候補と判断する候補判断部と、自車両の進行方向に垂直な水平距離の差分および自車両の進行方向に平行な相対距離の差分が、第１所定距離より長い第２所定距離内で連なる複数の壁候補を、壁であると判断する壁判断部と、を備えることを特徴とする。
【００１０】
グループ化部は、自車両の進行方向に垂直な水平距離の差分および自車両の進行方向に平行な相対距離の差分に加えて、道路表面からの高さの差分に基づいて、グループ化の判断を行い、壁判断部は、自車両の進行方向に垂直な水平距離の差分および自車両の進行方向に平行な相対距離の差分に加えて、道路表面からの高さの差分に基づいて、壁の判断を行ってもよい。
【００１１】
検出領域において光が拡散する環境か否かを判断する環境判断部をさらに備え、壁判断部は、環境判断部が、光が拡散する環境であると判断すると、壁候補をすべて壁と判断してもよい。
【００１２】
対象物の画像の水平方向に並んだ対象部位群毎の、自車両に対する進行方向に平行な相対距離の平均値を導出する距離導出部と、画像の垂直方向の位置の順に並べられた、平均値のデータ列の軌跡の微分値が所定閾値を超えると、所定閾値を超えた対象部位群を跨いでグループ化された対象物を、対象部位群を境界として分割するグループ分割部と、をさらに備えてもよい。
【００１３】
グループ分割部は、対象物を構成する対象部位全体の相対距離の平均値に基づいて、所定閾値を決定してもよい。
【００１４】
上記課題を解決するために、本発明の環境認識方法は、検出領域内に存在する対象部位の、自車両に対する相対距離を含む位置情報を取得し、自車両の進行方向に垂直な水平距離の差分および自車両の進行方向に平行な相対距離の差分が第１所定距離内で連なる複数の対象部位をグループ化して対象物とし、対象物を構成する複数の対象部位が、自車両の進行方向に垂直な面に対して所定角度以上に傾斜する傾斜面を形成すると、対象物を壁の候補である壁候補と判断し、自車両の進行方向に垂直な水平距離の差分および自車両の進行方向に平行な相対距離の差分が、第１所定距離より長い第２所定距離内で連なる複数の壁候補を、壁であると判断することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、夜間や雨等、光源が拡散し易い環境において、壁でないものを壁と誤判断することを抑制できるので、壁と誤判断されたものに対する不要な回避動作の発生を抑えることが可能となる。
【図面の簡単な説明】
【００１６】
【図１】環境認識システムの接続関係を示したブロック図である。
【図２】輝度画像と距離画像を説明するための説明図である。
【図３】環境認識装置の概略的な機能を示した機能ブロック図である。
【図４】位置情報取得部による三次元の位置情報への変換を説明するための説明図である。
【図５】グループ化部の処理を説明するための説明図である。
【図６】夜間の輝度画像の一例を示す説明図である。
【図７】壁判断処理を説明するための説明図である。
【図８】グループ分割処理を説明するための説明図である。
【図９】グループ分割処理を説明するための説明図である。
【図１０】グループ分割処理を説明するための説明図である。
【図１１】環境認識方法の全体的な流れを示したフローチャートである。
【図１２】グループ化処理の流れを示したフローチャートである。
【図１３】壁判断処理の流れを示したフローチャートである。
【図１４】グループ分割処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１８】
（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、複数（本実施形態では２つ）の撮像装置１１０と、画像処理装置１２０と、環境認識装置１３０と、車両制御装置１４０とを含んで構成される。
【００１９】
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、カラー画像、即ち、画素単位で３つの色相（赤、緑、青）の輝度を取得することができる。本実施形態においては、色と輝度とを同等に扱い、同一の文章に両文言が含まれる場合、互いを、色を構成する輝度、または、輝度を有する色と読み替えることができる。ここでは、撮像装置１１０で撮像されたカラーの画像を輝度画像と呼び、後述する距離画像と区別する。また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒毎（６０ｆｐｓ）に連続して生成する。ここで、対象物は、車両、信号機、道路、ガードレールといった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の部分として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。
【００２０】
画像処理装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、２つの画像データに基づいて、画像中の任意のブロック（所定数の画素を集めたもの）の視差、および、任意のブロックの画面中の位置を示す画面位置を含む視差情報を導出する。画像処理装置１２０は、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、水平は、撮像した画像の画面横方向を示し、実空間上の水平に相当する。また、垂直は、撮像した画像の画面縦方向を示し、実空間上の鉛直方向に相当する。
【００２１】
このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度値（Ｙ色差信号）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。
【００２２】
ただし、画像処理装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する相対距離に相当）を画像データに対応付けた画像を距離画像という。
【００２３】
図２は、輝度画像１２４と距離画像１２６を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２２について図２（ａ）のような輝度画像（画像データ）１２４が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２４の一方のみを模式的に示している。画像処理装置１２０は、このような輝度画像１２４からブロック毎の視差を求め、図２（ｂ）のような距離画像１２６を形成する。距離画像１２６における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。
【００２４】
視差は、画像のエッジ部分（隣り合う画素間で明暗の差分が大きい部分）で特定され易いので、距離画像１２６において黒のドットが付されている、視差が導出されたブロックは、輝度画像１２４においてもエッジとなっていることが多い。したがって、図２（ａ）に示す輝度画像１２４と図２（ｂ）に示す距離画像１２６とは各対象物の輪郭について似たものとなる。
【００２５】
環境認識装置１３０は、画像処理装置１２０で導出された、検出領域１２２内のブロック毎の視差情報（距離画像１２６）を、所謂ステレオ法を用いて、相対距離を含む三次元の位置情報に変換し、自車両１の外の道路形状や立体物を特定する。ここで、ステレオ法は、三角測量法を用いることで、立体物の視差からその立体物の撮像装置１１０に対する相対距離を導出する方法である。かかる環境認識装置１３０に関しては、後ほど詳述する。
【００２６】
車両制御装置１４０は、環境認識装置１３０で特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１４０は、操舵の角度を検出する舵角センサ１４２や自車両１の速度を検出する車速センサ１４４等を通じて現在の自車両１の走行状態を取得し、アクチュエータ１４６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１４６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１４０は、対象物との衝突が想定される場合、運転者の前方に設置されたディスプレイ１４８にその旨警告表示（報知）を行うと共に、アクチュエータ１４６を制御して自車両１を自動的に制動する。かかる車両制御装置１４０は、環境認識装置１３０と一体的に形成することもできる。
【００２７】
（環境認識装置１３０）
図３は、環境認識装置１３０の概略的な機能を示した機能ブロック図である。図３に示すように、環境認識装置１３０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、環境検出部１５４と、中央制御部１５６とを含んで構成される。
【００２８】
Ｉ／Ｆ部１５０は、画像処理装置１２０や車両制御装置１４０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、画像処理装置１２０から受信した輝度画像１２４、距離画像１２６を一時的に保持する。
【００２９】
環境検出部１５４は、例えば、夜間であることを検出する夜間検出部と降雨を検出する雨検出部とで構成され、夜間や降雨を検出すると、夜間や降雨を検出したことを示す検出情報を後述する環境判断部１６８に出力する。また、環境検出部１５４は、夜間や降雨に限らず、撮像装置１１０の撮像が逆光となる等、撮像した画像における光源の光が拡散する環境を検出するとしてもよい。夜間検出部は、例えば自車両１の夜間ライトの点灯を以って夜間として検出してもよい。夜間検出部や雨検出部は、既存の様々な技術を用いて実現できるので、ここではその構成等、詳細な説明を省略する。
【００３０】
中央制御部１５６は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５８を通じて、Ｉ／Ｆ部１５０、データ保持部１５２および環境検出部１５４を制御する。また、本実施形態において、中央制御部１５６は、位置情報取得部１６０、グループ化部１６２、候補判断部１６４、壁判断部１６６、環境判断部１６８、距離導出部１７０、グループ分割部１７２、パターンマッチング部１７４としても機能する。
【００３１】
位置情報取得部１６０は、画像処理装置１２０で導出された、検出領域１２２内のブロック毎の視差情報を、ステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む三次元の位置情報に変換する。ここで、対象部位は、画素や画素を集めたブロックを想定しており、本実施形態では、画像処理装置１２０で用いられたブロックと同等の大きさを有する。
【００３２】
画像処理装置１２０で導出された視差情報が、距離画像１２６における各対象部位の視差を示すのに対し、三次元の位置情報は、実空間における各対象部位の相対距離の情報を示す。したがって、相対距離や高さといった文言を用いる場合、実空間上の距離を指し、検出距離といった文言を用いる場合、距離画像１２６上の距離を指す。
【００３３】
図４は、位置情報取得部１６０による三次元の位置情報への変換を説明するための説明図である。位置情報取得部１６０は、まず、距離画像１２６を図４の如く画素単位の座標系として認識する。ここでは、図４中、左下隅を原点（０，０）とし、横方向をｉ座標軸、縦方向をｊ座標軸とする。したがって、視差ｄｐを有する画素は、画素位置ｉ、ｊと視差ｄｐによって（ｉ，ｊ，ｄｐ）のように表すことができる。
【００３４】
本実施形態における実空間上の三次元座標系を、自車両１を中心とした相対座標系で考える。ここでは、自車両１の進行方向右側方をＸ軸の正方向、自車両１の上方をＹ軸の正方向、自車両１の進行方向（前方）をＺ軸の正方向、２つの撮像装置１１０の中央を通る鉛直線と道路表面との交点を原点（０，０，０）とする。このとき、道路を平面と仮定すると、道路表面がＸ−Ｚ平面（ｙ＝０）と一致することとなる。位置情報取得部１６０は、以下の（数式１）〜（数式３）によって距離画像１２６上のブロック（ｉ，ｊ，ｄｐ）を、実空間上の三次元の点（ｘ，ｙ，ｚ）に座標変換する。
ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …（数式１）
ｙ＝ＣＨ＋ｚ・ＰＷ・（ｊ−ＪＶ） …（数式２）
ｚ＝ＫＳ／ｄｐ …（数式３）
ここで、ＣＤは撮像装置１１０同士の間隔（基線長）であり、ＰＷは１画素当たりの視野角であり、ＣＨは撮像装置１１０の道路表面からの配置高さであり、ＩＶ、ＪＶは自車両１の真正面における無限遠点の画像上の座標（画素）であり、ＫＳは距離係数（ＫＳ＝ＣＤ／ＰＷ）である。
【００３５】
グループ化部１６２は、自車両１の進行方向に垂直な水平距離ｘの差分および自車両１の進行方向に平行な相対距離ｚの差分が第１所定距離内に連なる複数の対象部位をグループ化して対象物とする。具体的に、グループ化部１６２は、実空間上の位置を導出した任意の対象部位を基点として、その対象部位と、水平距離ｘの差分および相対距離ｚの差分が第１所定距離内にある対象部位をグループ化し、対象物とする。ここで、第１所定距離は実空間上の距離で表され、任意の値（例えば、１．０ｍ等）に設定することができる。また、ここでは、複数の対象部位が連なるとは、複数の対象部位が１次以上の次数の同じ曲線上に位置することをいう。
【００３６】
また、グループ化部１６２は、グループ化により新たに追加された対象部位に関しても、その対象部位を基点として、水平距離ｘの差分および相対距離ｚの差分が第１所定距離内にある、特定物が等しい対象部位をグループ化する。結果的に、対象部位同士の距離が第１所定距離内であれば、それら全てがグループ化されることとなる。
【００３７】
図５は、先行車両２００の対象部位２０２のグループ化を説明するための説明図である。図５（ａ）に示すような輝度画像１２４が生成されたとする。この輝度画像１２４における走行路２０４上の先行車両２００を実空間上の鉛直上方から見た平面図を図５（ｂ）、（ｃ）、（ｄ）に示す。
【００３８】
図５（ｂ）に示す先行車両２００の背面側の対象部位２０２が図５（ｃ）に示すように検出された場合、グループ化部１６２は、これらの対象部位２０２をグループ化して、図５（ｄ）に示すように対象物２０６とする。
【００３９】
このように、先行車両２００の背面側の対象部位２０２は、Ｘ軸方向に大凡平行に検出される。一方、ガードレール等の壁の対象部位は、Ｘ軸方向に対して所定角度（例えば、４５度）以上傾いている任意の傾斜面を形成する。このことから、壁を検出する場合、Ｘ軸方向に対して所定角度以上傾いている任意の傾斜面を形成する対象部位で構成される対象物を探索する処理が考えられる。ところが、この場合、夜間や雨等において壁の誤検出が生じ得る。
【００４０】
図６は、夜間の輝度画像１２４の一例を示す説明図である。図６に示すように、先行車両２００の背面側にはテールランプ２０８が灯っている。しかし、夜間であるため、テールランプ２０８の光が拡散してぼやけている。この場合、画像処理装置１２０が導出する視差情報には誤差が生じることがある。
【００４１】
図７は、壁判断処理を説明するための説明図である。図７（ａ）に、図５（ｃ）と同様に、先行車両２００の背面側の対象部位２０２の検出を行った結果、夜間で視差情報に誤差が生じている場合の例を示す。
【００４２】
図７（ａ）のように、夜間等で視差情報に誤差があると、本来、Ｘ軸方向に対して平行な対象部位２０２として検出されるべきはずが、Ｘ軸方向に対して所定角度以上傾いている傾斜面を形成する対象部位２０２として検出されることがある。すると、その対象部位２０２をグループ化した対象物２０６ａは、壁として誤検出されてしまうこととなる。
【００４３】
本実施形態では、候補判断部１６４、壁判断部１６６、および環境判断部１６８がこのような壁の誤検出を回避するために機能する。以下、候補判断部１６４、壁判断部１６６、環境判断部１６８による壁判断処理について詳述する。
【００４４】
（壁判断処理）
候補判断部１６４は、高さｙが０以上となる（道路表面より上に位置する）対象物２０６としてグループ化された複数の対象部位２０２が、自車両１の進行方向に垂直な面に対して所定角度以上に傾斜する傾斜面を形成するか否かを判断する。すなわち、対象部位２０２が、Ｘ軸方向に対して所定角度以上傾いている任意の傾斜面を形成するか否かが判断される。本実施形態において候補判断部１６４は、壁の検出精度を向上するため、少なくとも３つ以上の対象部位２０２で構成される対象物を判断の対象とする。
【００４５】
傾斜面上に位置する場合、候補判断部１６４は、それだけではその対象部位がグループ化された対象物を壁と判断せず、一旦、壁の候補である壁候補と判断する。図７（ａ）の場合、対象物２０６ａが壁候補と判断される。
【００４６】
壁判断部１６６は、対象物２０６ａの中心位置を中心として、Ｘ軸方向の第２所定距離の範囲内（例えば、図７（ｂ）に示すＡＢの範囲内、５．０ｍ以内）かつ、Ｚ軸方向の第２所定距離の範囲内に、他の壁候補があるか否かを判断する。第２所定距離は、上述した第１所定距離よりも長い。
【００４７】
図７（ｂ）に示す例では、対象物２０６ａ、２０６ｂは、先行車両２００の背面側から検出されたものであるため、対象物２０６ａの近傍に他の壁候補はない。このように、他の壁候補が検出されない場合、壁判断部１６６は、その壁候補が壁ではないと判断する。
【００４８】
また、図７（ｂ）に示す例で、対象物２０６ｂもその配列に応じて壁候補と判断されてしまった場合、対象物２０６ａ、２０６ｂが壁であると判断されてしまうおそれがある。
【００４９】
ガードレール等の壁は、Ｘ軸方向に対して所定角度以上傾いている傾斜面を有する。そのため、壁から検出された複数の壁候補は、同一の傾斜面に対象部位がまとまり易い。一方、先行車両２００の背面側等から複数の壁候補が誤検出される場合、その対象部位は、同一の傾斜面にまとまる可能性が低い。
【００５０】
そこで、壁判断部１６６は、壁候補となった対象物について、その対象物としてグループ化された対象部位を繋ぐ線の延長線上から、所定の距離内に他の壁候補が位置すると、それらの壁候補を壁と判断する。また、対象部位を繋ぐ線に限らず、例えば、対象部位の位置をサンプルとして導出される近似曲線を用いてもよい。かかる構成により、壁判断部１６６は、精度よく壁の判断を行うことが可能となる。
【００５１】
この場合、壁判断部１６６は、壁でないと判断した壁候補（対象物２０６ａ）と、その壁候補から、例えば、Ｘ軸方向およびＺ軸方向に第３所定距離の範囲内（例えば、図７（ｃ）に示すＣＤの範囲内、３．０ｍ以内）にある、壁候補ではない対象物２０６ｂとをまとめて、図７（ｄ）に示すように、一つの対象物２０６ｃとする。
【００５２】
このように、壁でないと判断された壁候補を他の対象物とまとめることで、後述するパターンマッチング部１７４は、まとめられた対象物２０６ｃが、例えば、先行車両２００の背面側であると高精度に判断できる。
【００５３】
図７（ｅ）に、カーブにおけるガードレールから検出された対象物２０６ｄ、２０６ｅ、２０６ｆ、２０６ｇ、２０６ｈを示す。この場合、壁判断部１６６は、対象物２０６ｄの中心位置を中心に、Ｘ軸方向およびＺ軸方向に第２所定距離の範囲内に近接する対象物２０６ｅを検出する。同様に、壁判断部１６６は、対象物２０６ｅに近接する対象物２０６ｆ、対象物２０６ｆに近接する対象物２０６ｇと順次、対象物２０６ｄ〜２０６ｈまでを検出する。
【００５４】
そして、図７（ｆ）に示すように、壁判断部１６６は、これらの第２所定距離内に近接して連なる複数の壁候補を、壁２１０であると判断する。
【００５５】
テールランプ等の光源は、壁と比較してＸ−Ｚ平面方向の大きさが小さい。本実施形態の壁判断部１６６は、壁候補が複数連なっていると壁と判断し、壁候補が単独で検出されても壁とは判断しない。そのため、壁判断部１６６は、テールランプ等が光の拡散によって壁のように傾斜面を形成しているように誤検出されても、テールランプ等を壁と判断することはなく、壁の誤検出を抑制できる。
【００５６】
環境判断部１６８は、検出領域１２２において光が拡散する環境か否かを判断する。ここで、光が拡散する環境は、例えば、夜間や、降雨等でフロントガラスに水滴やこの水滴を払拭しようとしてできた水のスジ等が付いた状況等が挙げられる。環境判断部１６８は、環境検出部１５４から出力された検出情報が夜間や降雨を示す場合、検出領域１２２において光が拡散する環境であると判断する。
【００５７】
そして、壁判断部１６６は、環境判断部１６８が、光が拡散する環境でないと判断すると、壁候補をすべて壁と判断する。図６に示すような光が拡散する環境でなければ、視差情報に誤差が生じる可能性が低いためである。かかる構成により、壁判断部１６６は、光が拡散する環境でない場合に、壁判断処理の処理負荷を低減することが可能となる。
【００５８】
（グループ分割処理）
続いて、壁と判断されなかった対象物について、誤って１つにまとめてグループ化されてしまった対象物を、個別の対象物に分割するグループ分割処理について詳述する。
【００５９】
図８、図９は、グループ分割処理を説明するための説明図である。図８（ａ）は実際の輝度画像１２４の一例であり、輝度画像１２４に対応する距離画像１２６を図８（ｂ）に示す。ただし、グループ分割処理の説明に不要な要素については距離画像１２６から省略する。図８（ａ）、（ｂ）に示すように、自車両１の走行路２２０をバス２２２と乗用車２２４とが進行方向に前後に並んで走行しており相対距離ｚが比較的近い値であったとする。この場合、図８（ｃ）に示すように、バス２２２と乗用車２２４といった前後に並んだ２台の車両が１つのまとまった対象物２２６として誤検出されてしまう場合がある。
【００６０】
そこで、距離導出部１７０は、図８（ｄ）に矢印で示す、対象物２２６の距離画像１２６の水平方向に並んだ対象部位群毎の、相対距離ｚの平均値を導出する。
【００６１】
バス２２２と乗用車２２４とをＸ軸方向から見た場合、図９（ａ）に示すように並んでいるとする。自車両１から見て、手前に位置する乗用車２２４の方は背面側がすべて映るが、バス２２２の背面側の一部は、乗用車２２４の陰となって輝度画像１２４には映らない。そのため、水平方向に並んだ対象部位群毎の相対距離ｚの平均値を、距離画像１２６のｊ座標軸とＺ軸との座標上にプロットして軌跡を描くと、例えば、図９（ｂ）に示すようになる。
【００６２】
図９（ｃ）は、図９（ｂ）の座標軸を９０度傾けて左右を反転させたものである。図９（ｃ）において、破線２２８の部分では、ｊ座標値の変化に対して相対距離ｚが大きく変化している。この垂直位置ｃは、輝度画像１２４において、バス２２２と乗用車２２４との境界部分に対応する。
【００６３】
グループ分割部１７２は、まず、ｊ座標値の順に並べられた、相対距離ｚの平均値のデータ列の軌跡の微分値を導出し、所定閾値と比較して、所定閾値を超えた対象部位群の垂直位置ｃを特定する。
【００６４】
図１０は、グループ分割処理を説明するための説明図である。グループ分割部１７２は、垂直位置ｃを特定すると、図１０（ａ）に示す垂直位置ｃを跨いでグループ化された対象物２２６を、図１０（ｂ）に示すように、その垂直位置ｃを境界として分割し、新たに２つの対象物２２６ａ、２２６ｂとする。
【００６５】
このように、グループ分割部１７２は、本来、異なるグループとしてグループ化されるべきところ、１つのグループとしてまとめられてしまった対象物２２６を、正しく別々の対象物２２６ａ、２２６ｂに分割する。そのため、環境認識装置１３０は、後段のパターンマッチング処理等の精度を向上できる。
【００６６】
また、グループ分割部１７２は、対象物２２６を構成する対象部位全体の相対距離ｚの平均値に基づいて、所定閾値を決定する。
【００６７】
位置情報取得部１６０が導出する位置は、相対距離ｚが離れている程、距離分解能が低くなる。そのため、グループ分割部１７２は、距離分解能以下の値は無視するように、相対距離ｚに応じて所定閾値を調整する。かかる構成により、グループ分割部１７２は、距離分解能以下の誤差の影響によって、対象物２２６が誤って分割されてしまう事態を回避できる。
【００６８】
パターンマッチング部１７４は、予めデータ保持部１５２に保持された立体物のモデルデータとのパターンマッチングを実行する。そして、対象物が、いずれかの立体物に該当するか否かを判断する。こうして、環境認識装置１３０は、壁の他、壁以外の立体物についても認識することができる。
【００６９】
（環境認識方法）
以下、環境認識装置１３０の具体的な処理を図１１〜図１４のフローチャートに基づいて説明する。図１１は、画像処理装置１２０から距離画像（視差情報）１２６が送信された場合の割込処理に関する全体的な流れを示し、図１２〜図１４は、その中の個別のサブルーチンを示している。
【００７０】
図１１に示すように、距離画像１２６の受信を契機に当該環境認識方法による割込が発生すると、画像処理装置１２０で導出された、検出領域１２２内のブロック毎の視差情報に基づき、対象部位毎の実空間上の位置を示す位置情報が導出される（Ｓ３００）。そして、対象部位に対してグループ化処理が施される（Ｓ３０２）。
【００７１】
続いて、グループ化された対象物に対して壁判断処理が施され（Ｓ３０４）、さらに、壁と判断されなかった対象物に対して、グループ分割処理が施される（Ｓ３０６）。そして、パターンマッチング部１７４によって、対象物に対する立体物のパターンマッチングが実行される（Ｓ３０８）。以下、上記の処理を具体的に説明する。
【００７２】
（グループ化処理Ｓ３０２）
図１２を参照すると、グループ化部１６２は、輝度画像１２４のまだ選択していない１つの対象部位を選択する（Ｓ３５０）。そして、グループ化部１６２は、選択した対象部位から、水平距離ｘの差分および相対距離ｚの差分が第１所定距離内に位置する対象部位があるか否かを判断する（Ｓ３５２）。第１所定距離内に対象部位がある場合（Ｓ３５２におけるＹＥＳ）、グループ化部１６２は、第１所定距離内にあったすべての対象部位をまとめてグループ化し対象物とする（Ｓ３５４）。
【００７３】
このとき、第１所定距離内にあった対象部位が、すでに対象物としてグループ化されていた場合、その対象物もまとめてグループ化して１つの対象物とする。こうして、グループ化部１６２は、近接して連なる複数の対象部位をグループ化して対象物とする。
【００７４】
第１所定距離内に対象部位がなかった場合（Ｓ３５２におけるＮＯ）、および、対象物設定Ｓ３５４の後、グループ化部１６２は、輝度画像１２４に、まだ選択していない対象部位があるか否かを判断する（Ｓ３５６）。対象部位がある場合（Ｓ３５６におけるＹＥＳ）、対象部位選択Ｓ３５０に戻る。まだ選択していない対象部位がない場合（Ｓ３５６におけるＮＯ）、当該グループ化処理Ｓ３０２を終了する。
【００７５】
（壁判断処理Ｓ３０４）
図１３を参照すると、候補判断部１６４は、まだ選択していない１つの対象物を選択する（Ｓ４００）。そして、候補判断部１６４は、その対象物の中心の高さｙが０以上である（道路表面より上に位置する）か否かを判断する（Ｓ４０２）。高さｙが０以上でない場合（Ｓ４０２におけるＮＯ）、未選択対象物判断Ｓ４０８に処理を移す。
【００７６】
高さｙが０以上である場合（Ｓ４０２におけるＹＥＳ）、候補判断部１６４は、対象物としてグループ化された対象部位が、自車両１の進行方向に垂直な面に対して所定角度以上に傾斜する傾斜面を形成するか否かを判断する（Ｓ４０４）。傾斜面を形成しない場合（Ｓ４０４におけるＮＯ）、未選択対象物判断Ｓ４０８に処理を移す。
【００７７】
対象部位が傾斜面を形成する場合（Ｓ４０４におけるＹＥＳ）、候補判断部１６４は、その対象部位をグループ化した対象物を壁の候補である壁候補と判断する（Ｓ４０６）。そして、未選択対象物判断Ｓ４０８に処理を移す。
【００７８】
続いて、候補判断部１６４は、まだ選択していない対象物があるか否かを判断する（Ｓ４０８）。まだ選択していない対象物があれば（Ｓ４０８におけるＹＥＳ）、対象物選択Ｓ４００に戻る。
【００７９】
すべての対象物に対して、壁候補判断処理を施されると（Ｓ４０８におけるＮＯ）、環境判断部１６８は、夜間や降雨等、光が拡散する環境であるか否かを判断する（Ｓ４１０）。光が拡散する環境でない場合（Ｓ４１０におけるＮＯ）、壁判断部１６８は、すべての壁候補を壁と判断する（Ｓ４１２）。光が拡散する環境である場合（Ｓ４１０におけるＹＥＳ）、壁判断部１６６は、まだ選択していない壁候補があるか否かを判断する（Ｓ４１４）。壁候補がある場合（Ｓ４１４におけるＹＥＳ）、壁判断部１６６は、まだ選択していない１つの壁候補を選択する（Ｓ４１６）。そして、壁判断部１６６は、選択した壁候補の中心位置を中心として、Ｘ軸方向の第２所定距離の範囲内かつ、Ｚ軸方向の第２所定距離の範囲内に、他の壁候補があるか否かを判断する（Ｓ４１８）。
【００８０】
このとき、壁判断部１６６は、選択した壁候補となった対象物について、その対象物としてグループ化された対象部位を繋ぐ線の延長線上から、所定の距離内に他の壁候補が位置するか否かも併せて判断する。
【００８１】
対象部位を繋ぐ線の延長線上から所定の距離内に位置する、他の壁候補がある場合（Ｓ４１８におけるＹＥＳ）、壁判断部１６６は、そのすべての壁候補を壁と判断する（Ｓ４２０）。そして、未選択壁候補判断Ｓ４１４に戻る。こうして、壁判断部１６６は、第２所定距離内に近接して連なる複数の壁候補を壁であると判断する。
【００８２】
他の壁候補がない場合（Ｓ４１８におけるＮＯ）、その壁候補は壁ではないと判断する（Ｓ４２２）。そして、壁判断部１６６は、壁でないと判断した壁候補から、Ｘ軸方向およびＺ軸方向に第３所定距離の範囲内に、壁候補以外の対象物があるか否かを判断する（Ｓ４２４）。壁候補以外の対象物がない場合（Ｓ４２４におけるＮＯ）、未選択壁候補判断Ｓ４１４に戻る。
【００８３】
壁候補以外の対象物がある場合（Ｓ４２４におけるＹＥＳ）、壁判断部１６６は、壁でないと判断した壁候補と、壁候補以外の対象物とをまとめて、一つの対象物とする（Ｓ４２６）。そして、未選択壁候補判断Ｓ４１４に戻る。
【００８４】
未選択壁候補判断Ｓ４１４において、まだ選択していない壁候補がない場合（Ｓ４１４におけるＮＯ）、当該壁判断処理Ｓ３０４を終了する。
【００８５】
（グループ分割処理Ｓ３０６）
図１４を参照すると、距離導出部１７０は、当該グループ分割処理Ｓ３０６においてまだ選択していない１つの対象物を選択する（Ｓ４５０）。そして、距離導出部１７０は、選択した対象物の輝度画像１２４の水平方向に並んだ対象部位群毎の、相対距離ｚの平均値を導出する（Ｓ４５２）。そして、距離導出部１７０は、導出した相対距離ｚの平均値を、輝度画像１２４の垂直方向の位置の順に並べたデータ列を生成する（Ｓ４５４）。
【００８６】
続いて、グループ分割部１７２は、選択した対象物を構成する対象部位全体の相対距離ｚの平均値を導出し、導出した平均値に基づいて、所定閾値を決定する（Ｓ４５６）。そして、グループ分割部１７２は、生成された相対距離ｚの平均値のデータ列の微分値を導出し（Ｓ４５８）、導出した微分値が所定閾値を超えるか否かを判断する（Ｓ４６０）。所定閾値を超えない場合（Ｓ４６０におけるＮＯ）、未選択対象物判断Ｓ４６６に処理を移す。
【００８７】
微分値が所定閾値を超える場合（Ｓ４６０におけるＹＥＳ）、グループ分割部１７２は、所定閾値を超えた微分値に対応する対象部位の垂直位置ｃを特定する（Ｓ４６２）。そして、グループ分割部１７２は、垂直位置ｃを跨いでグループ化された対象物を、その垂直位置ｃを境界として分割する（Ｓ４６４）。そして、未選択対象物判断Ｓ４６６に処理を移す。
【００８８】
続いて、距離導出部１７０は、当該グループ分割処理Ｓ３０６においてまだ選択していない対象物があるか否かを判断する（Ｓ４６６）。まだ選択していない対象物があれば（Ｓ４６６におけるＹＥＳ）、対象物選択Ｓ４５０に戻る。まだ選択していない対象物がなければ（Ｓ４６６におけるＮＯ）、当該グループ分割処理Ｓ３０６を終了する。
【００８９】
以上、説明したように、環境認識装置１３０によれば、夜間や雨等、光源が拡散し易い環境において、壁でないものを壁と誤判断することを抑制することが可能となる。
【００９０】
また、コンピュータを、環境認識装置１３０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００９１】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００９２】
上述した実施形態では、グループ化部１６２および壁判断部１６６は、実空間上の水平距離ｘや相対距離ｚを用いて判断しているが、輝度画像１２４上や距離画像１２６上の検出距離で判断してもよい。この場合、第１所定距離および第２所定距離は、対象部位の相対距離に応じて変更される。図２等に示したように、輝度画像１２４や距離画像１２６では、遠近の物体が平面上に表されているため、本体遠方に位置する物体は小さく（短く）表され、近傍に位置する物体は大きく（長く）表される。したがって、輝度画像１２４や距離画像１２６における第１所定距離および第２所定距離は、例えば、遠方に位置する対象部位については短く、近傍に位置する対象部位については長く設定されることとなる。こうして、遠方と近傍とで検出距離が異なる場合であっても安定したグループ化処理および壁判断処理が望める。
【００９３】
また、グループ化部１６２は、上述した水平距離ｘの差分や相対距離ｚの差分に加えて、高さｙの差分が第１所定距離内にある対象部位をグループ化してもよい。この場合、水平距離ｘ、高さｙおよび相対距離ｚのいずれかが離れていると、その対象部位のグループは独立した対象物とみなすこととする。こうして、高精度なグループ化を図ることができる。
【００９４】
同様に、壁判断部１６６は、水平距離ｘの差分および相対距離ｚの差分に加えて、道路表面からの高さｙの差分に基づいて、壁の判断を行ってもよい。このように、高さｙの差分も含めて、壁の判断を行う構成により、壁判断部１６６は、壁の検出精度を高めることが可能となる。
【００９５】
また、グループ化部１６２は、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分をそれぞれ独立して判断し、全てが第１所定距離に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の二乗平均√（（水平距離ｘの差分）２＋（高さｙの差分）２＋（相対距離ｚの差分）２）が第１所定距離に含まれる場合に同一のグループとしてもよい。かかる計算により、対象部位同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。
【００９６】
同様に、壁判断部１６６は、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分をそれぞれ独立して判断し、第２所定距離に含まれる場合のみ壁と判断しているが、他の計算によることもできる。例えば、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の二乗平均√（（水平距離ｘの差分）２＋（高さｙの差分）２＋（相対距離ｚの差分）２）が第２所定距離に含まれる場合、壁と判断としてもよい。かかる計算により、壁候補同士の実空間上の正確な距離を導出することができるので、壁の判断の精度を高めることができる。
【００９７】
また、上述した実施形態においては、対象物の三次元位置を複数の撮像装置１１０を用い画像データ間の視差に基づいて導出しているが、かかる場合に限られず、例えば、レーザレーダ測距装置等、既知の様々な距離測定装置を用いることができる。ここで、レーザレーダ測距装置は、検出領域１２２にレーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、この所要時間から物体までの距離を測定するものである。
【００９８】
また、上述した実施形態では、位置情報取得部１６０が、画像処理装置１２０から距離画像（視差情報）１２６を受けて三次元の位置情報を生成している例を挙げている。しかし、かかる場合に限られず、画像処理装置１２０において予め三次元の位置情報を生成し、位置情報取得部１６０は、その生成された三次元の位置情報を取得するとしてもよい。このようにして、機能分散を図り、環境認識装置１３０の処理負荷を軽減することが可能となる。
【００９９】
また、上述した実施形態においては、位置情報取得部１６０、グループ化部１６２、候補判断部１６４、壁判断部１６６、環境判断部１６８、距離導出部１７０、グループ分割部１７２、パターンマッチング部１７４は中央制御部１５６によってソフトウェアで動作するように構成している。しかし、上記の機能部をハードウェアによって構成することも可能である。
【０１００】
なお、本明細書の環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【０１０１】
本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する環境認識装置および環境認識方法に利用することができる。
【符号の説明】
【０１０２】
１ …自車両
１３０ …環境認識装置
１６０ …位置情報取得部
１６２ …グループ化部
１６４ …候補判断部
１６６ …壁判断部
１６８ …環境判断部
１７０ …距離導出部
１７２ …グループ分割部
１７４ …パターンマッチング部
【特許請求の範囲】
【請求項１】
検出領域内に存在する対象部位の、自車両に対する相対距離を含む位置情報を取得する位置情報取得部と、
前記自車両の進行方向に垂直な水平距離の差分および該自車両の進行方向に平行な相対距離の差分が第１所定距離内で連なる複数の前記対象部位をグループ化して対象物とするグループ化部と、
前記対象物を構成する複数の対象部位が、前記自車両の進行方向に垂直な面に対して所定角度以上に傾斜する傾斜面を形成すると、前記対象物を壁の候補である壁候補と判断する候補判断部と、
前記自車両の進行方向に垂直な水平距離の差分および該自車両の進行方向に平行な相対距離の差分が、前記第１所定距離より長い第２所定距離内で連なる複数の前記壁候補を、壁であると判断する壁判断部と、
を備えることを特徴とする環境認識装置。
【請求項２】
前記グループ化部は、前記自車両の進行方向に垂直な水平距離の差分および該自車両の進行方向に平行な相対距離の差分に加えて、道路表面からの高さの差分に基づいて、グループ化の判断を行い、
前記壁判断部は、前記自車両の進行方向に垂直な水平距離の差分および該自車両の進行方向に平行な相対距離の差分に加えて、道路表面からの高さの差分に基づいて、壁の判断を行うことを特徴とする請求項１に記載の環境認識装置。
【請求項３】
前記検出領域において光が拡散する環境か否かを判断する環境判断部をさらに備え、
前記壁判断部は、前記環境判断部が、光が拡散する環境でないと判断すると、前記壁候補をすべて壁と判断することを特徴とする請求項１または２のいずれかに記載の環境認識装置。
【請求項４】
前記対象物の画像の水平方向に並んだ対象部位群毎の、前記自車両に対する進行方向に平行な相対距離の平均値を導出する距離導出部と、
前記画像の垂直方向の位置の順に並べられた、前記平均値のデータ列の軌跡の微分値が所定閾値を超えると、該所定閾値を超えた前記対象部位群を跨いでグループ化された前記対象物を、該対象部位群を境界として分割するグループ分割部と、
をさらに備えることを特徴とする請求項１から３のいずれか１項に記載の環境認識装置。
【請求項５】
前記グループ分割部は、前記対象物を構成する前記対象部位全体の前記相対距離の平均値に基づいて、前記所定閾値を決定することを特徴とする請求項４に記載の環境認識装置。
【請求項６】
検出領域内に存在する対象部位の、自車両に対する相対距離を含む位置情報を取得し、
前記自車両の進行方向に垂直な水平距離の差分および該自車両の進行方向に平行な相対距離の差分が第１所定距離内で連なる複数の前記対象部位をグループ化して対象物とし、
前記対象物を構成する複数の対象部位が、前記自車両の進行方向に垂直な面に対して所定角度以上に傾斜する傾斜面を形成すると、前記対象物を壁の候補である壁候補と判断し、
前記自車両の進行方向に垂直な水平距離の差分および該自車両の進行方向に平行な相対距離の差分が、前記第１所定距離より長い第２所定距離内で連なる複数の前記壁候補を、壁であると判断することを特徴とする環境認識方法。
【請求項１】
検出領域内に存在する対象部位の、自車両に対する相対距離を含む位置情報を取得する位置情報取得部と、
前記自車両の進行方向に垂直な水平距離の差分および該自車両の進行方向に平行な相対距離の差分が第１所定距離内で連なる複数の前記対象部位をグループ化して対象物とするグループ化部と、
前記対象物を構成する複数の対象部位が、前記自車両の進行方向に垂直な面に対して所定角度以上に傾斜する傾斜面を形成すると、前記対象物を壁の候補である壁候補と判断する候補判断部と、
前記自車両の進行方向に垂直な水平距離の差分および該自車両の進行方向に平行な相対距離の差分が、前記第１所定距離より長い第２所定距離内で連なる複数の前記壁候補を、壁であると判断する壁判断部と、
を備えることを特徴とする環境認識装置。
【請求項２】
前記グループ化部は、前記自車両の進行方向に垂直な水平距離の差分および該自車両の進行方向に平行な相対距離の差分に加えて、道路表面からの高さの差分に基づいて、グループ化の判断を行い、
前記壁判断部は、前記自車両の進行方向に垂直な水平距離の差分および該自車両の進行方向に平行な相対距離の差分に加えて、道路表面からの高さの差分に基づいて、壁の判断を行うことを特徴とする請求項１に記載の環境認識装置。
【請求項３】
前記検出領域において光が拡散する環境か否かを判断する環境判断部をさらに備え、
前記壁判断部は、前記環境判断部が、光が拡散する環境でないと判断すると、前記壁候補をすべて壁と判断することを特徴とする請求項１または２のいずれかに記載の環境認識装置。
【請求項４】
前記対象物の画像の水平方向に並んだ対象部位群毎の、前記自車両に対する進行方向に平行な相対距離の平均値を導出する距離導出部と、
前記画像の垂直方向の位置の順に並べられた、前記平均値のデータ列の軌跡の微分値が所定閾値を超えると、該所定閾値を超えた前記対象部位群を跨いでグループ化された前記対象物を、該対象部位群を境界として分割するグループ分割部と、
をさらに備えることを特徴とする請求項１から３のいずれか１項に記載の環境認識装置。
【請求項５】
前記グループ分割部は、前記対象物を構成する前記対象部位全体の前記相対距離の平均値に基づいて、前記所定閾値を決定することを特徴とする請求項４に記載の環境認識装置。
【請求項６】
検出領域内に存在する対象部位の、自車両に対する相対距離を含む位置情報を取得し、
前記自車両の進行方向に垂直な水平距離の差分および該自車両の進行方向に平行な相対距離の差分が第１所定距離内で連なる複数の前記対象部位をグループ化して対象物とし、
前記対象物を構成する複数の対象部位が、前記自車両の進行方向に垂直な面に対して所定角度以上に傾斜する傾斜面を形成すると、前記対象物を壁の候補である壁候補と判断し、
前記自車両の進行方向に垂直な水平距離の差分および該自車両の進行方向に平行な相対距離の差分が、前記第１所定距離より長い第２所定距離内で連なる複数の前記壁候補を、壁であると判断することを特徴とする環境認識方法。
【図１】
【図２】
【図３】
【図４】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−２４３０５０（Ｐ２０１２−２４３０５０Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１２００５（Ｐ２０１１−１１２００５）
【出願日】平成２３年５月１９日（２０１１．５．１９）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月１９日（２０１１．５．１９）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]