環境認識装置および環境認識方法
【課題】水蒸気や排気ガス等の浮遊物を精度よく検出する。
【解決手段】環境認識装置１３０は、検出領域１２２内に存在する対象部位の、自車両１に対する相対距離を含む位置情報を取得する位置情報取得部１６０と、位置情報に基づき、複数の対象部位をグループ化して対象物とするグループ化部１６２と、対象物の画像における輝度を取得する輝度取得部１６４と、対象物の画像における輝度のヒストグラムを生成する輝度分布生成部１６６と、ヒストグラムに対する統計解析により、対象物が浮遊物か否かを判断する浮遊物判断部１６８と、を備える。
【解決手段】環境認識装置１３０は、検出領域１２２内に存在する対象部位の、自車両１に対する相対距離を含む位置情報を取得する位置情報取得部１６０と、位置情報に基づき、複数の対象部位をグループ化して対象物とするグループ化部１６２と、対象物の画像における輝度を取得する輝度取得部１６４と、対象物の画像における輝度のヒストグラムを生成する輝度分布生成部１６６と、ヒストグラムに対する統計解析により、対象物が浮遊物か否かを判断する浮遊物判断部１６８と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する環境認識装置および環境認識方法に関する。
【背景技術】
【０００２】
従来、自車両の前方に位置する車両や信号機等の障害物といった対象物を検出し、検出した対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御する技術が知られている（例えば特許文献１、２）。
【０００３】
ところで、特に寒冷地や標高が高い場所等では、道路上方に水蒸気が浮遊していたり、先行車両の排気管から白い排気ガスが排出され、すぐには拡散せずに滞留することがある。上述したような制御技術では、水蒸気や排気ガス等の浮遊物を壁等の固定物と誤判断し、これらを回避するための停止や減速の制御が作動してしまうおそれがあり、ドライバに違和感を覚えさせてしまう。
【０００４】
そこで、検出した物体の各部分の距離の平均値に対するばらつき（分散）量を算出し、ばらつき量が閾値を超えると、その検出した物体は、水蒸気や排気ガス等接触してもよい浮遊物であると判断する技術が公開されている（例えば、特許文献３）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−４３４９６号公報
【特許文献２】特開平６−２９８０２２号公報
【特許文献３】特開２００９−１１０１６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば、無風状態等のおいては、水蒸気や排気ガス等の浮遊物がその場で滞留（停滞）する場合がある。この場合、浮遊物の各部分の距離のばらつきは小さく、浮遊物と固定物との判別は難しい。また、浮遊物が取り得る距離の分布のパターンは多岐に渡るため、ばらつきだけでは、浮遊物に特徴的な距離の分布を的確に捉えることができず、浮遊物の検出精度が低かった。
【０００７】
本発明は、このような課題に鑑み、水蒸気や排気ガス等の浮遊物を精度よく検出することが可能な、環境認識装置および環境認識方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の環境認識装置は、検出領域内に存在する対象部位の、自車両に対する相対距離を含む位置情報を取得する位置情報取得部と、位置情報に基づき、複数の対象部位をグループ化して対象物とするグループ化部と、対象物の画像における輝度を取得する輝度取得部と、対象物の画像における輝度のヒストグラムを生成する輝度分布生成部と、ヒストグラムに対する統計解析により、対象物が浮遊物か否かを判断する浮遊物判断部と、を備えることを特徴とする。
【０００９】
浮遊物判断部は、ヒストグラムから算出される、輝度の平均値、分散値、歪度、または尖度のいずれか１または複数の特徴量に基づいて、対象物が浮遊物か否かを判断してもよい。
【００１０】
浮遊物判断部は、特徴量それぞれに対応する所定範囲内に特徴量が含まれる数に基づいて、対象物が浮遊物か否かを判断してもよい。
【００１１】
浮遊物判断部は、予め設定された浮遊物の輝度のヒストグラムのモデルと、輝度分布生成部が生成したヒストグラムとの差分に基づいて、対象物が浮遊物か否かを判断してもよい。
【００１２】
浮遊物判断部は、予め設定された浮遊物の輝度のヒストグラムのモデルと輝度分布生成部が生成したヒストグラムとの差分と、所定範囲内に含まれる特徴量の数とを、それぞれ点数化し、点数を所定数のフレーム分加算した合算値が所定閾値を超えていると、対象物が浮遊物であると判断してもよい。
【００１３】
輝度分布生成部は、輝度のヒストグラムを生成する対象となる対象物を、路面より上方に位置するものに限定してもよい。
【００１４】
上記課題を解決するために、本発明の環境認識方法は、検出領域内に存在する対象部位の、自車両に対する相対距離を含む位置情報を取得し、位置情報に基づき、複数の対象部位をグループ化して対象物とし、対象物の画像における輝度を取得し、対象物の画像における輝度のヒストグラムを生成し、ヒストグラムに対する統計解析により、対象物が浮遊物か否かを判断することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、水蒸気や排気ガス等の浮遊物を精度よく検出するので、浮遊物に対する不要な回避動作の発生を抑えることが可能となる。
【図面の簡単な説明】
【００１６】
【図１】第１の実施形態における環境認識システムの接続関係を示したブロック図である。
【図２】輝度画像と距離画像を説明するための説明図である。
【図３】第１の実施形態における環境認識装置の概略的な機能を示した機能ブロック図である。
【図４】位置情報取得部による三次元の位置情報への変換を説明するための説明図である。
【図５】分割領域と代表距離とを説明するための説明図である。である。
【図６】グループ化処理を説明するための説明図である。
【図７】歪度および尖度を説明するための説明図である。
【図８】第１の実施形態における環境認識方法の全体的な流れを示したフローチャートである。
【図９】第１の実施形態における対象物特定処理の流れを示したフローチャートである。
【図１０】第１の実施形態における浮遊物判断処理の流れを示したフローチャートである。
【図１１】第２の実施形態における環境認識装置の概略的な機能を示した機能ブロック図である。
【図１２】第２の実施形態における環境認識方法の全体的な流れを示したフローチャートである。
【図１３】第２の実施形態における浮遊物判断処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１８】
（第１の実施形態：環境認識システム１００）
図１は、第１の実施形態における環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、車両１内に設けられた、複数（本実施形態では２つ）の撮像装置１１０と、画像処理装置１２０と、環境認識装置１３０と、車両制御装置１４０とを含んで構成される。
【００１９】
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、モノクロ画像、即ち、画素単位でモノクロの輝度を取得することができる。ここでは、撮像装置１１０で撮像された画像を輝度画像と呼び、後述する距離画像と区別する。また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒毎（６０ｆｐｓ）に連続して生成する。ここで、対象物は、車両、信号機、道路、ガードレールといった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の部分として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。
【００２０】
画像処理装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、２つの画像データに基づいて、画像中の任意のブロック（所定数の画素を集めたもの）の視差、および、任意のブロックの画面中の位置を示す画面位置を含む視差情報を導出する。画像処理装置１２０は、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、水平は、撮像した画像の画面横方向を示し、実空間上の水平に相当する。また、垂直は、撮像した画像の画面縦方向を示し、実空間上の鉛直方向に相当する。
【００２１】
このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度値（Ｙ色差信号）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。
【００２２】
ただし、画像処理装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する相対距離に相当）を画像データに対応付けた画像を距離画像という。
【００２３】
図２は、輝度画像１２４と距離画像１２６を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２２について図２（ａ）のような輝度画像（画像データ）１２４が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２４の一方のみを模式的に示している。画像処理装置１２０は、このような輝度画像１２４からブロック毎の視差を求め、図２（ｂ）のような距離画像１２６を形成する。距離画像１２６における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。
【００２４】
視差は、画像のエッジ部分（隣り合う画素間で明暗の差分が大きい部分）で特定され易いので、距離画像１２６において黒のドットが付されている、視差が導出されたブロックは、輝度画像１２４においてもエッジとなっていることが多い。したがって、図２（ａ）に示す輝度画像１２４と図２（ｂ）に示す距離画像１２６とは各対象物の輪郭について似たものとなる。
【００２５】
環境認識装置１３０は、画像処理装置１２０で導出された、検出領域１２２内のブロック毎の視差情報（距離画像１２６）を、所謂ステレオ法を用いて、相対距離を含む三次元の位置情報に変換し、自車両１の外の道路形状や立体物を特定する。ここで、ステレオ法は、三角測量法を用いることで、立体物の視差からその立体物の撮像装置１１０に対する相対距離を導出する方法である。かかる環境認識装置１３０に関しては、後ほど詳述する。
【００２６】
車両制御装置１４０は、環境認識装置１３０で特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１４０は、操舵の角度を検出する舵角センサ１４２や自車両１の速度を検出する車速センサ１４４等を通じて現在の自車両１の走行状態を取得し、アクチュエータ１４６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１４６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１４０は、対象物との衝突が想定される場合、運転者の前方に設置されたディスプレイ１４８にその旨警告表示（報知）を行うと共に、アクチュエータ１４６を制御して自車両１を自動的に制動する。かかる車両制御装置１４０は、環境認識装置１３０と一体的に形成することもできる。
【００２７】
（環境認識装置１３０）
図３は、第１の実施形態における環境認識装置１３０の概略的な機能を示した機能ブロック図である。図３に示すように、環境認識装置１３０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。
【００２８】
Ｉ／Ｆ部１５０は、画像処理装置１２０や車両制御装置１４０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、画像処理装置１２０から受信した輝度画像１２４、距離画像１２６を一時的に保持する。
【００２９】
中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２を制御する。また、本実施形態において、中央制御部１５４は、位置情報取得部１６０、グループ化部１６２、輝度取得部１６４、輝度分布生成部１６６、浮遊物判断部１６８、パターンマッチング部１７０としても機能する。
【００３０】
位置情報取得部１６０は、画像処理装置１２０で導出された、検出領域１２２内のブロック毎の視差情報を、ステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む三次元の位置情報に変換する。ここで、対象部位は、画素や画素を集めたブロックを想定しており、本実施形態では、画像処理装置１２０で用いられたブロックと同等の大きさを有する。
【００３１】
画像処理装置１２０で導出された視差情報が、距離画像１２６における各対象部位の視差を示すのに対し、三次元の位置情報は、実空間における各対象部位の相対距離の情報を示す。したがって、相対距離や高さといった文言を用いる場合、実空間上の距離を指し、検出距離といった文言を用いる場合、距離画像１２６上の距離を指す。
【００３２】
図４は、位置情報取得部１６０による三次元の位置情報への変換を説明するための説明図である。位置情報取得部１６０は、まず、距離画像１２６を図４の如く画素単位の座標系として認識する。ここでは、図４中、左下隅を原点（０，０）とし、横方向をｉ座標軸、縦方向をｊ座標軸とする。したがって、視差ｄｐを有する画素は、画素位置ｉ、ｊと視差ｄｐによって（ｉ，ｊ，ｄｐ）のように表すことができる。
【００３３】
本実施形態における実空間上の三次元座標系を、自車両１を中心とした相対座標系で考える。ここでは、自車両１の進行方向右側方をＸ軸の正方向、自車両１の上方をＹ軸の正方向、自車両１の進行方向（前方）をＺ軸の正方向、２つの撮像装置１１０の中央を通る鉛直線と道路表面との交点を原点（０，０，０）とする。このとき、道路を平面と仮定すると、道路表面がＸ−Ｚ平面（ｙ＝０）と一致することとなる。位置情報取得部１６０は、以下の数式１〜数式３によって距離画像１２６上のブロック（ｉ，ｊ，ｄｐ）を、実空間上の三次元の点（ｘ，ｙ，ｚ）に座標変換する。
ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …（数式１）
ｙ＝ＣＨ＋ｚ・ＰＷ・（ｊ−ＪＶ） …（数式２）
ｚ＝ＫＳ／ｄｐ …（数式３）
ここで、ＣＤは撮像装置１１０同士の間隔（基線長）であり、ＰＷは１画素当たりの視野角であり、ＣＨは撮像装置１１０の道路表面からの配置高さであり、ＩＶ、ＪＶは自車両１の真正面における無限遠点の画像上の座標（画素）であり、ＫＳは距離係数（ＫＳ＝ＣＤ／ＰＷ）である。
【００３４】
グループ化部１６２は、まず、検出領域１２２を、水平方向に対して複数の分割領域に分割する。続いて、グループ化部１６２は、分割領域毎に、道路表面より上に位置するブロックを対象にして、複数区分した所定距離それぞれに含まれる相対距離を積算してヒストグラムを生成する。そして、グループ化部１６２は、積算した距離分布のピークに相当する代表距離を導出する。ここで、ピークに相当するとは、ピーク値またはピーク近傍で任意の条件を満たす値をいう。
【００３５】
図５は、分割領域２１０と代表距離とを説明するための説明図である。図２（ｂ）に示したような、距離画像１２６を水平方向に複数分割すると、分割領域２１０は図５（ａ）のような短冊形状になる。このような短冊形状の分割領域２１０は、本来、例えば、水平幅４画素のものが１５０個配列して成るが、ここでは、説明の便宜上、検出領域１２２を２０等分している。
【００３６】
続いて、グループ化部１６２は、各分割領域２１０において、ブロック毎の相対距離を参照し、ヒストグラム（図５（ｂ）中、横長の四角（バー）で示す）を作成すると、図５（ｂ）のような距離分布２１２が得られる。ここで、縦方向は、自車両１に対する相対距離ｚを、横方向は区分した所定距離それぞれに含まれる相対距離ｚの個数を示している。ただし、図５（ｂ）は計算を行う上での仮想的な画面であり、実際には視覚的な画面の生成を伴わない。そして、グループ化部１６２は、このようにして導出された距離分布２１２を参照し、ピークに相当する相対距離ｚである代表距離（図５（ｂ）、黒で塗りつぶした四角で示す）２１４を特定する。
【００３７】
図６は、グループ化処理を説明するための説明図である。図６では、白線２２０で区切られた３車線を走行する先行車両２２２および自車両１の俯瞰図を示す。グループ化部１６２は、分割領域２１０毎に得られた相対距離ｚを、図６に示すように実空間のＸ−Ｚ平面上にプロットする。図６では、ガードレール２２４、植込み２２６、先行車両２２２の背面や側面等にプロットされる。
【００３８】
そして、グループ化部１６２は、このプロットした各点（図６中、黒丸で示す）の間の距離や各点の並びの向きに基づいて、各点それぞれに対応する、輝度画像１２４上の複数の対象部位をグループ化して対象物とする。
【００３９】
輝度取得部１６４は、対象物それぞれについて、輝度画像１２４上の対象物の画像を特定する。本実施形態において、対象物の画像は、例えば、対象物としてグループ化された対象部位を包囲する矩形領域の画像とする。そして、輝度取得部１６４は、対象物の画像における輝度を取得する。
【００４０】
輝度分布生成部１６６は、対象物の画像における横方向および縦方向に、それぞれ少なくとも１列（行）分の画素の輝度のヒストグラム（輝度を横軸とした度数分布）を生成する。本実施形態において、輝度分布生成部１６６は、対象物の画像に含まれるすべての画素を対象として輝度のヒストグラムを生成する。
【００４１】
このとき、輝度分布生成部１６６は、輝度のヒストグラムを生成する対象となる対象物を、路面より上方に位置するものに限定する。
【００４２】
車両制御装置１４０は、路面より上方に位置する対象物を対象として回避動作をする可能性がある。そのため、浮遊物か否かの判断を路面より上方に位置する対象物に限定しても支障はない。浮遊物の判断の対象を路面より上方に位置する対象物に限定することで、輝度分布生成部１６６は、不要な回避動作の発生を抑えつつ処理負荷を低減できる。
【００４３】
浮遊物判断部１６８は、ヒストグラムに対する統計解析により、対象物が浮遊物か否かを判断する。具体的に、浮遊物判断部１６８は、ヒストグラムから算出される、輝度の平均値、分散値、歪度、または尖度のいずれか１または複数の特徴量、本実施形態においては、４つすべての特徴量およびヒストグラムのモデルとの近似度に基づいて、対象物が浮遊物か否かを判断する。
【００４４】
輝度の平均値Ａは、以下の数式４で導出される。以下、ｆ（ｎ）は、対象物の画像に含まれる輝度ｎの画素数と、輝度ｎとの積とし、輝度の最小値を最小値ｍｉｎ、輝度の最大値を最大値ｍａｘとする。また、対象物の画像に含まれる画素の総数を総数Ｎとする。
【数４】
…（数式４）
輝度の分散値Ｖは、以下の数式５で導出される。以下、対象物の画像に含まれる画素に１からｎまでの番号を排他的に割り当てたとき、ｉ番の画素の輝度を輝度Ｘｉとする。
【数５】
…（数式５）
輝度の歪度ＳＫＷは、以下の数式６で導出される。
【数６】
…（数式６）
また、輝度の尖度ＫＲＴは、以下の数式７で導出される。
【数７】
…（数式７）
【００４５】
図７は、歪度ＳＫＷおよび尖度ＫＲＴを説明するための説明図である。図７（ａ）に示すように、歪度ＳＫＷが高いヒストグラム２３０は、歪度ＳＫＷが低いヒストグラム２３２に比べて、平均値Ａを中心に左右の対称性が高い。
【００４６】
また、図７（ｂ）に示すように、尖度ＫＲＴが高いヒストグラム２３４は、尖度ＫＲＴが低いヒストグラム２３６に対して、ピーク付近の傾斜が大きく、それ以外の部分（裾）の傾斜が緩やかに分布する。
【００４７】
浮遊物の画像の画素は、輝度が一様に明るく白色に近いものが多い。つまり、輝度の平均値Ａは比較的高く、分散値Ｖは比較的正規分布に近い値となり、歪度ＳＫＷは、比較的対称性が高いことを示す値となり、尖度ＫＲＴは、正規分布に比べて裾部分が太くなるように比較的高い値となる。
【００４８】
浮遊物判断部１６８は、データ保持部１５２に保持された、特徴量それぞれに対応する所定範囲内に、各特徴量が含まれるか否かを判断する。そして、浮遊物判断部１６８は、所定範囲内に含まれると、含まれた特徴量の数に応じて、対象物毎に点数を加算する。
【００４９】
この点数は、例えば、平均値Ａが所定範囲内に含まれると３点、分散値Ｖが所定範囲内に含まれると５点等、特徴量毎に重み付けがされている。
【００５０】
特徴量毎に予め設定された所定範囲は、例えば、予め、複数の異なる条件下で水蒸気や白い排気ガス等を撮像した画像からそれぞれ輝度のヒストグラム（サンプル）を生成し、そのヒストグラムから導出した各特徴量の最大値を上限、最小値を下限としたものである。
【００５１】
また、浮遊物判断部１６８は、データ保持部１５２に保持された、浮遊物の輝度のヒストグラムのモデルと輝度分布生成部１６６が生成したヒストグラムとの差分を導出する。そして、浮遊物判断部１６８は、このヒストグラムの差分について、例えば、二乗平均等を取って、ヒストグラムのモデルと、輝度分布生成部１６６が生成したヒストグラムとの近似度とする。浮遊物判断部１６８は、その近似度を所定倍することで重み付けして点数化し、対象物毎に点数を加算する。
【００５２】
浮遊物の輝度のヒストグラムのモデルには、例えば、予め、複数の異なる条件下で水蒸気や白い排気ガス等を撮像した画像からそれぞれ輝度のヒストグラムを生成し、そのうち、平均的なヒストグラムを選択したり、平均値を取って用いたりする。
【００５３】
浮遊物判断部１６８は、所定数のフレーム（例えば、１０フレーム）分、対象物毎に点数を加算し、合算値を導出する。このとき、加算する点数は、例えば、最新のフレームに関し、点数をそのまま加算し、フレームが過去に遡る毎に点数を０．８倍して加算する等、フレーム毎に重み付けがされている。
【００５４】
そして、浮遊物判断部１６８は、点数の合算値が所定閾値を超えていると、その点数が付けられた対象物が浮遊物であると判断する。
【００５５】
このように、対象物毎に所定数のフレーム分、点数を加算し、その合算値に基づいて浮遊物を判断する構成により、フレーム毎の誤差の影響を排除し、浮遊物を精度よく検出することが可能となる。
【００５６】
上述したように、浮遊物判断部１６８は、予め設定された浮遊物の輝度のヒストグラムのモデルと、輝度分布生成部１６６が生成したヒストグラムとの差分に基づいて、対象物が浮遊物か否かを判断する。
【００５７】
このように、浮遊物のヒストグラムのモデルを用いることで、浮遊物判断部１６８は、対象物が典型的な浮遊物のヒストグラムである程、対象物を確実に浮遊物として認識できる。
【００５８】
また、浮遊物判断部１６８は、上述したように、特徴量それぞれに対応する所定範囲内に特徴量が含まれる数にも基づいて、対象物が浮遊物か否かを判断する。
【００５９】
このように、所定範囲を設けることで、浮遊物判断部１６８は、条件によって浮遊物の特徴量の傾向に大きな変化があっても、様々な条件下の浮遊物を認識できる。
【００６０】
パターンマッチング部１７０は、浮遊物と判断されなかった対象物について、予めデータ保持部１５２に保持された立体物のモデルデータとのパターンマッチングを実行し、対象物が、いずれかの立体物に該当するか否かを判断する。
【００６１】
上述したように、本実施形態の浮遊物判断部１６８は、対象物の画像の画素のヒストグラムから導出される特徴量に基づいて、対象物が浮遊物か否かを判断する。そのため、浮遊物判断部１６８は、水蒸気や排気ガス等の浮遊物が無風状態等ですぐには拡散せずに滞留していても、浮遊物を壁等の固定物と誤判断することなく、正確に浮遊物と判断することが可能となる。そして、車両制御装置１４０による、浮遊物に対する不要な回避動作の発生を抑えることができる。
【００６２】
（環境認識方法）
以下、環境認識装置１３０の具体的な処理を図８〜図１０のフローチャートに基づいて説明する。図８は、画像処理装置１２０から距離画像（視差情報）１２６が送信された場合の割込処理に関する全体的な流れを示し、図９、図１０は、その中の個別のサブルーチンを示している。
【００６３】
図８に示すように、距離画像１２６の受信を契機に当該環境認識方法による割込が発生すると、画像処理装置１２０で導出された、検出領域１２２内のブロック毎の視差情報に基づき、対象物の特定処理が遂行される（Ｓ３００）。
【００６４】
続いて、特定された各対象物が浮遊物であるか否かの判断処理が遂行される（Ｓ３０２）。その後、パターンマッチング部１７０は、浮遊物ではないと判断された対象物について、対象物に対する立体物のパターンマッチングを実行する（Ｓ３０４）。以下、上記の処理を具体的に説明する。
【００６５】
（対象物特定処理Ｓ３００）
図９を参照すると、位置情報取得部１６０は、画像処理装置１２０で導出された、検出領域１２２内のブロック毎の視差情報を、ステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む三次元の位置情報に変換する（Ｓ３５０）。
【００６６】
グループ化部１６２は、まず、検出領域１２２を、水平方向に対して複数の分割領域に分割する（Ｓ３５２）。続いて、グループ化部１６２は、道路表面より上に位置するブロックを対象に、位置情報に基づいて分割領域毎に、複数区分した所定距離それぞれに含まれる相対距離を積算してヒストグラムを生成する（Ｓ３５４）。そして、グループ化部１６２は、積算した距離分布のピークに相当する代表距離を導出する（Ｓ３５６）。
【００６７】
そして、グループ化部１６２は、分割領域２１０毎に得られた相対距離ｚを実空間のＸ−Ｚ平面上にプロットする（Ｓ３５８）。グループ化部１６２は、このプロットした各点の間の距離や各点の並びの向きに基づいて、各点それぞれに対応する、輝度画像１２４上の複数の対象部位をグループ化して対象物とする（Ｓ３６０）。
【００６８】
（浮遊物判断処理Ｓ３０２）
図１０を参照すると、輝度取得部１６４は、対象物特定処理Ｓ３００で特定された対象物が１以上あって、当該浮遊物判断処理Ｓ３０２において、まだ選択していない対象物があるか否かを判断する（Ｓ３６２）。まだ選択していない対象物があれば（Ｓ３６２におけるＹＥＳ）、輝度取得部１６４は、まだ選択していない対象物を１つ選択する（Ｓ３６４）。
【００６９】
そして、輝度取得部１６４は、選択した対象物が路面より上方に位置するものか否かを判断する（Ｓ３６６）。路面より上方に位置する場合（Ｓ３６６におけるＹＥＳ）、輝度取得部１６４は、輝度画像１２４上の選択した対象物の画像を特定する（Ｓ３６８）。
【００７０】
続いて、輝度取得部１６４は、対象物の画像におけるすべての画素の輝度を取得する（Ｓ３７０）。輝度分布生成部１６６は、対象物の画像に含まれるすべての画素を対象として輝度のヒストグラムを生成する（Ｓ３７２）。
【００７１】
浮遊物判断部１６８は、ヒストグラムから、輝度の平均値、分散値、歪度、および尖度の４つの特徴量を導出する（Ｓ３７４）。そして、浮遊物判断部１６８は、特徴量が、特徴量毎に予め設定された、特徴量それぞれに対応する所定範囲内に含まれると、含まれた特徴量の数に応じて点数を加算する（Ｓ３７６）。
【００７２】
そして、浮遊物判断部１６８は、予め設定された浮遊物の輝度のヒストグラムのモデルと輝度分布生成部１６６が生成したヒストグラムとの差分を導出する（Ｓ３７８）。そして、浮遊物判断部１６８はその差分の二乗平均を取って近似度とし、近似度を所定倍することで重み付けして点数化し、点数を加算する（Ｓ３８０）。
【００７３】
浮遊物判断部１６８は、その点数を対象物の位置情報とフレーム番号に関連付けてデータ保持部１５２に保持する（Ｓ３８２）。
【００７４】
そして、浮遊物判断部１６８は、選択した対象物に対応する対象物が、所定数前までのフレームで検出されていたか否かを、例えば、対象物の位置情報に基づいて判断する（Ｓ３８４）。検出されていない場合（Ｓ３８４におけるＮＯ）、対象物有無判断処理Ｓ３６２に戻る。検出されていた場合（Ｓ３８４におけるＹＥＳ）、浮遊物判断部１６８は、データ保持部１５２に保持された所定数のフレーム分の点数を、フレーム毎に重み付けをして加算し、合算値を導出する（Ｓ３８６）。
【００７５】
そして、浮遊物判断部１６８は、点数の合算値が所定閾値を超えているか否かを判断する（Ｓ３８８図１３）。所定閾値を超えていると（Ｓ３８８におけるＹＥＳ）、浮遊物判断部１６８は、その点数が付けられた対象物が浮遊物であると判断し、その対象物に、例えば、浮遊物であることを示すフラグを付す（Ｓ３９０）。点数の合算値が所定閾値を超えていないと（Ｓ３８８におけるＮＯ）、対象物が浮遊物ではないと判断し、その対象物に、例えば、浮遊物ではないことを示すフラグを付す（Ｓ３９２）。パターンマッチング部１７０は、パターンマッチング処理Ｓ３０４において、このフラグに応じて対象物に対してパターンマッチングを実行するか否かを決定する。そして、対象物有無判断処理Ｓ３６２に戻る。
【００７６】
対象物有無判断処理Ｓ３６２において、まだ選択していない対象物がなくなると（Ｓ３６２におけるＮＯ）、当該浮遊物判断処理Ｓ３０２を終了する。
【００７７】
以上、上述したように、本実施形態の環境認識方法によれば、水蒸気や排気ガス等の浮遊物を精度よく検出することができる。
【００７８】
（第２の実施形態）
第１の実施形態では、撮像装置１１０がモノクロ画像の画像データを取得し、モノクロ画像の画像データに基づいて、浮遊物の判断処理を行う環境認識装置１３０の構成について説明した。第２の実施形態では、カラー画像の画像データに基づいて、浮遊物の判断処理を行う環境認識装置４３０について詳述する。
【００７９】
（環境認識装置４３０）
図１１は、第２の実施形態における環境認識装置４３０の概略的な機能を示した機能ブロック図である。図１１に示すように、環境認識装置４３０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成され、中央制御部１５４は、位置情報取得部１６０、グループ化部１６２、輝度取得部４６４、輝度分布生成部４６６、浮遊物判断部４６８、パターンマッチング部１７０としても機能する。第１の実施形態における構成要素として既に述べたＩ／Ｆ部１５０、データ保持部１５２、中央制御部１５４、位置情報取得部１６０、グループ化部１６２、パターンマッチング部１７０は、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する輝度取得部４６４、輝度分布生成部４６６、浮遊物判断部４６８を主に説明する。
【００８０】
輝度取得部４６４は、モノクロ画像ではなくカラー画像、即ち、画素単位で３つの色相（赤（Ｒ）、緑（Ｇ）、青（Ｂ））の輝度を取得する。輝度分布生成部４６６は、１つの対象物の画像について、３つの色相それぞれについて、輝度のヒストグラムを生成する。
【００８１】
浮遊物判断部４６８は、３つの色相の輝度に対応する３つのヒストグラムに対する統計解析により、対象物が浮遊物か否かを判断する。具体的に、浮遊物判断部４６８は、３つの色相の輝度のヒストグラムそれぞれについて、４つの特徴量を導出する。
【００８２】
そして、浮遊物判断部４６８は、特徴量毎に設定する設定範囲内に、各特徴量が含まれるか否かを判断する。この設定範囲は、第１の実施形態の所定範囲と異なり、予め設定された範囲ではなく、対象物の画像の輝度に応じて設定される。
【００８３】
具体的に、浮遊物判断部４６８は、対象物の画像の３つの色相の輝度について、輝度の平均Ａを導出すると、輝度の平均Ａの３つの色相の平均値を導出する。そして、浮遊物判断部４６８は、導出した３つの色相の平均値を中心とする予め設定された所定幅の範囲を設定範囲とする。
【００８４】
浮遊物判断部４６８は、この設定範囲内に、３つの色相それぞれの輝度の平均Ａが含まれるか否かを判断する。そして、浮遊物判断部１６８は、平均Ａが設定範囲内に含まれると点数を加算する。
【００８５】
また、浮遊物判断部４６８は、同様の処理を他の特徴量、すなわち、分散値Ｖ、歪度ＳＫＷ、尖度ＫＲＴについても行い、それぞれ点数を加算する。
【００８６】
さらに、浮遊物判断部４６８は、予め設定された浮遊物の３つの色相の輝度のヒストグラムの３つのモデルそれぞれと、輝度分布生成部４６６が生成したヒストグラムとの差分を導出する。そして、浮遊物判断部４６８はそれぞれの色相のヒストグラムの差分について、二乗平均を取って近似度とし、近似度を所定倍することで重み付けして点数化し、対象物毎に点数を加算する。
【００８７】
そして、浮遊物判断部４６８は、第１の実施形態と同様、対象物毎に、所定数のフレーム分、対象物毎に点数を加算し、合算値を導出し、点数の合算値が所定閾値を超えていると、その点数が付けられた対象物が浮遊物であると判断する。
【００８８】
以上、説明したように、環境認識装置４３０によれば、水蒸気や排気ガス等の浮遊物を精度よく検出することが可能となる。
【００８９】
（環境認識方法）
以下、環境認識装置４３０の具体的な処理を図１２〜図１３のフローチャートに基づいて説明する。図１２は、画像処理装置１２０から距離画像１２６が送信された場合の割込処理に関する全体的な流れを示し、図１３は、その中の個別のサブルーチンを示している。
【００９０】
図１２に示すように、距離画像１２６の受信を契機に当該環境認識方法による割込が発生すると、画像処理装置１２０で導出された、検出領域１２２内のブロック毎の視差情報に基づき、対象物の特定処理が遂行される（Ｓ３００）。
【００９１】
続いて、特定された各対象物が浮遊物であるか否かの判断処理が遂行される（Ｓ５０２）。その後、パターンマッチング部１７０は、浮遊物ではないと判断された対象物について、対象物に対する立体物のパターンマッチングを実行する（Ｓ３０４）。以下、上記の処理を具体的に説明する。ただし、対象物特定処理Ｓ３００については、第１の実施形態で上述した処理と実質的に処理が同一なので重複説明を省略する。
【００９２】
（浮遊物判断処理Ｓ５０２）
図１３を参照して浮遊物判断処理Ｓ５０２を説明するが、対象物有無判断処理Ｓ３６２から画像特定処理Ｓ３６８までは、第１の実施形態で上述した処理と実質的に処理が同一なので重複説明を省略する。
【００９３】
輝度取得部４６４は、対象物の画像におけるすべての画素の３つの色相の輝度を取得する（Ｓ５７０）。輝度分布生成部４６６は、対象物の画像に含まれるすべての画素を対象として３つの色相の輝度のヒストグラムを生成する（Ｓ５７２）。
【００９４】
浮遊物判断部４６８は、３つの色相のヒストグラムそれぞれについて、４つの特徴量を導出する（Ｓ５７４）。そして、浮遊物判断部４６８は、特徴量毎に、３つの色相の平均値を導出する（Ｓ５７６）。浮遊物判断部４６８は、導出した３つの色相の平均値を中心とする予め設定された所定幅の範囲を設定範囲として設定する（Ｓ５７８）。浮遊物判断部４６８は、各特徴量が、特徴量それぞれに対応する設定範囲内に含まれると、含まれた特徴量の数に応じて点数を加算する（Ｓ５８０）。
【００９５】
そして、浮遊物判断部４６８は、予め設定された浮遊物の３つの色相の輝度のヒストグラムの３つのモデルそれぞれと、輝度分布生成部４６６が生成したヒストグラムとの差分を導出する（Ｓ５８２）。そして、浮遊物判断部４６８はその差分の二乗平均を取って近似度とし、近似度を所定倍することで重み付けして点数化し、点数を加算する（Ｓ５８４）。
【００９６】
以下、点数保持処理Ｓ３８２から浮遊物否定判断処理Ｓ３９２までは、第１の実施形態で上述した処理と実質的に処理が同一なので重複説明を省略する。
【００９７】
上述したように、本実施形態の環境認識方法によれば、水蒸気や排気ガス等の浮遊物を精度よく検出することができる。
【００９８】
また、コンピュータを、環境認識装置１３０、４３０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００９９】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１００】
また、上述した実施形態においては、対象物の三次元位置を複数の撮像装置１１０を用い画像データ間の視差に基づいて導出しているが、かかる場合に限られず、例えば、レーザレーダ測距装置等、既知の様々な距離測定装置を用いることができる。ここで、レーザレーダ測距装置は、検出領域１２２にレーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、この所要時間から物体までの距離を測定するものである。
【０１０１】
また、上述した実施形態では、位置情報取得部１６０が、画像処理装置１２０から距離画像（視差情報）１２６を受けて三次元の位置情報を生成している例を挙げている。しかし、かかる場合に限られず、画像処理装置１２０において予め三次元の位置情報を生成し、位置情報取得部１６０は、その生成された三次元の位置情報を取得するとしてもよい。このようにして、機能分散を図り、環境認識装置１３０、４３０の処理負荷を軽減することが可能となる。
【０１０２】
また、上述した実施形態においては、位置情報取得部１６０、グループ化部１６２、輝度取得部１６４、４６４、輝度分布生成部１６６、４６６、浮遊物判断部１６８、４６８、パターンマッチング部１７０は中央制御部１５４によってソフトウェアで動作するように構成している。しかし、上記の機能部をハードウェアによって構成することも可能である。
【０１０３】
なお、本明細書の環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【０１０４】
本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する環境認識装置および環境認識方法に利用することができる。
【符号の説明】
【０１０５】
１ …車両
１２２ …検出領域
１２４ …輝度画像
１２６ …距離画像
１３０、４３０ …環境認識装置
１５２ …データ保持部
１６０ …位置情報取得部
１６２ …グループ化部
１６４、４６４ …輝度取得部
１６６、４６６ …輝度分布生成部
１６８、４６８ …浮遊物判断部
１７０ …パターンマッチング部
【技術分野】
【０００１】
本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する環境認識装置および環境認識方法に関する。
【背景技術】
【０００２】
従来、自車両の前方に位置する車両や信号機等の障害物といった対象物を検出し、検出した対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御する技術が知られている（例えば特許文献１、２）。
【０００３】
ところで、特に寒冷地や標高が高い場所等では、道路上方に水蒸気が浮遊していたり、先行車両の排気管から白い排気ガスが排出され、すぐには拡散せずに滞留することがある。上述したような制御技術では、水蒸気や排気ガス等の浮遊物を壁等の固定物と誤判断し、これらを回避するための停止や減速の制御が作動してしまうおそれがあり、ドライバに違和感を覚えさせてしまう。
【０００４】
そこで、検出した物体の各部分の距離の平均値に対するばらつき（分散）量を算出し、ばらつき量が閾値を超えると、その検出した物体は、水蒸気や排気ガス等接触してもよい浮遊物であると判断する技術が公開されている（例えば、特許文献３）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−４３４９６号公報
【特許文献２】特開平６−２９８０２２号公報
【特許文献３】特開２００９−１１０１６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば、無風状態等のおいては、水蒸気や排気ガス等の浮遊物がその場で滞留（停滞）する場合がある。この場合、浮遊物の各部分の距離のばらつきは小さく、浮遊物と固定物との判別は難しい。また、浮遊物が取り得る距離の分布のパターンは多岐に渡るため、ばらつきだけでは、浮遊物に特徴的な距離の分布を的確に捉えることができず、浮遊物の検出精度が低かった。
【０００７】
本発明は、このような課題に鑑み、水蒸気や排気ガス等の浮遊物を精度よく検出することが可能な、環境認識装置および環境認識方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の環境認識装置は、検出領域内に存在する対象部位の、自車両に対する相対距離を含む位置情報を取得する位置情報取得部と、位置情報に基づき、複数の対象部位をグループ化して対象物とするグループ化部と、対象物の画像における輝度を取得する輝度取得部と、対象物の画像における輝度のヒストグラムを生成する輝度分布生成部と、ヒストグラムに対する統計解析により、対象物が浮遊物か否かを判断する浮遊物判断部と、を備えることを特徴とする。
【０００９】
浮遊物判断部は、ヒストグラムから算出される、輝度の平均値、分散値、歪度、または尖度のいずれか１または複数の特徴量に基づいて、対象物が浮遊物か否かを判断してもよい。
【００１０】
浮遊物判断部は、特徴量それぞれに対応する所定範囲内に特徴量が含まれる数に基づいて、対象物が浮遊物か否かを判断してもよい。
【００１１】
浮遊物判断部は、予め設定された浮遊物の輝度のヒストグラムのモデルと、輝度分布生成部が生成したヒストグラムとの差分に基づいて、対象物が浮遊物か否かを判断してもよい。
【００１２】
浮遊物判断部は、予め設定された浮遊物の輝度のヒストグラムのモデルと輝度分布生成部が生成したヒストグラムとの差分と、所定範囲内に含まれる特徴量の数とを、それぞれ点数化し、点数を所定数のフレーム分加算した合算値が所定閾値を超えていると、対象物が浮遊物であると判断してもよい。
【００１３】
輝度分布生成部は、輝度のヒストグラムを生成する対象となる対象物を、路面より上方に位置するものに限定してもよい。
【００１４】
上記課題を解決するために、本発明の環境認識方法は、検出領域内に存在する対象部位の、自車両に対する相対距離を含む位置情報を取得し、位置情報に基づき、複数の対象部位をグループ化して対象物とし、対象物の画像における輝度を取得し、対象物の画像における輝度のヒストグラムを生成し、ヒストグラムに対する統計解析により、対象物が浮遊物か否かを判断することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、水蒸気や排気ガス等の浮遊物を精度よく検出するので、浮遊物に対する不要な回避動作の発生を抑えることが可能となる。
【図面の簡単な説明】
【００１６】
【図１】第１の実施形態における環境認識システムの接続関係を示したブロック図である。
【図２】輝度画像と距離画像を説明するための説明図である。
【図３】第１の実施形態における環境認識装置の概略的な機能を示した機能ブロック図である。
【図４】位置情報取得部による三次元の位置情報への変換を説明するための説明図である。
【図５】分割領域と代表距離とを説明するための説明図である。である。
【図６】グループ化処理を説明するための説明図である。
【図７】歪度および尖度を説明するための説明図である。
【図８】第１の実施形態における環境認識方法の全体的な流れを示したフローチャートである。
【図９】第１の実施形態における対象物特定処理の流れを示したフローチャートである。
【図１０】第１の実施形態における浮遊物判断処理の流れを示したフローチャートである。
【図１１】第２の実施形態における環境認識装置の概略的な機能を示した機能ブロック図である。
【図１２】第２の実施形態における環境認識方法の全体的な流れを示したフローチャートである。
【図１３】第２の実施形態における浮遊物判断処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１８】
（第１の実施形態：環境認識システム１００）
図１は、第１の実施形態における環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、車両１内に設けられた、複数（本実施形態では２つ）の撮像装置１１０と、画像処理装置１２０と、環境認識装置１３０と、車両制御装置１４０とを含んで構成される。
【００１９】
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、モノクロ画像、即ち、画素単位でモノクロの輝度を取得することができる。ここでは、撮像装置１１０で撮像された画像を輝度画像と呼び、後述する距離画像と区別する。また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒毎（６０ｆｐｓ）に連続して生成する。ここで、対象物は、車両、信号機、道路、ガードレールといった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の部分として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。
【００２０】
画像処理装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、２つの画像データに基づいて、画像中の任意のブロック（所定数の画素を集めたもの）の視差、および、任意のブロックの画面中の位置を示す画面位置を含む視差情報を導出する。画像処理装置１２０は、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、水平は、撮像した画像の画面横方向を示し、実空間上の水平に相当する。また、垂直は、撮像した画像の画面縦方向を示し、実空間上の鉛直方向に相当する。
【００２１】
このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度値（Ｙ色差信号）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。
【００２２】
ただし、画像処理装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する相対距離に相当）を画像データに対応付けた画像を距離画像という。
【００２３】
図２は、輝度画像１２４と距離画像１２６を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２２について図２（ａ）のような輝度画像（画像データ）１２４が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２４の一方のみを模式的に示している。画像処理装置１２０は、このような輝度画像１２４からブロック毎の視差を求め、図２（ｂ）のような距離画像１２６を形成する。距離画像１２６における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。
【００２４】
視差は、画像のエッジ部分（隣り合う画素間で明暗の差分が大きい部分）で特定され易いので、距離画像１２６において黒のドットが付されている、視差が導出されたブロックは、輝度画像１２４においてもエッジとなっていることが多い。したがって、図２（ａ）に示す輝度画像１２４と図２（ｂ）に示す距離画像１２６とは各対象物の輪郭について似たものとなる。
【００２５】
環境認識装置１３０は、画像処理装置１２０で導出された、検出領域１２２内のブロック毎の視差情報（距離画像１２６）を、所謂ステレオ法を用いて、相対距離を含む三次元の位置情報に変換し、自車両１の外の道路形状や立体物を特定する。ここで、ステレオ法は、三角測量法を用いることで、立体物の視差からその立体物の撮像装置１１０に対する相対距離を導出する方法である。かかる環境認識装置１３０に関しては、後ほど詳述する。
【００２６】
車両制御装置１４０は、環境認識装置１３０で特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１４０は、操舵の角度を検出する舵角センサ１４２や自車両１の速度を検出する車速センサ１４４等を通じて現在の自車両１の走行状態を取得し、アクチュエータ１４６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１４６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１４０は、対象物との衝突が想定される場合、運転者の前方に設置されたディスプレイ１４８にその旨警告表示（報知）を行うと共に、アクチュエータ１４６を制御して自車両１を自動的に制動する。かかる車両制御装置１４０は、環境認識装置１３０と一体的に形成することもできる。
【００２７】
（環境認識装置１３０）
図３は、第１の実施形態における環境認識装置１３０の概略的な機能を示した機能ブロック図である。図３に示すように、環境認識装置１３０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。
【００２８】
Ｉ／Ｆ部１５０は、画像処理装置１２０や車両制御装置１４０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、画像処理装置１２０から受信した輝度画像１２４、距離画像１２６を一時的に保持する。
【００２９】
中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２を制御する。また、本実施形態において、中央制御部１５４は、位置情報取得部１６０、グループ化部１６２、輝度取得部１６４、輝度分布生成部１６６、浮遊物判断部１６８、パターンマッチング部１７０としても機能する。
【００３０】
位置情報取得部１６０は、画像処理装置１２０で導出された、検出領域１２２内のブロック毎の視差情報を、ステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む三次元の位置情報に変換する。ここで、対象部位は、画素や画素を集めたブロックを想定しており、本実施形態では、画像処理装置１２０で用いられたブロックと同等の大きさを有する。
【００３１】
画像処理装置１２０で導出された視差情報が、距離画像１２６における各対象部位の視差を示すのに対し、三次元の位置情報は、実空間における各対象部位の相対距離の情報を示す。したがって、相対距離や高さといった文言を用いる場合、実空間上の距離を指し、検出距離といった文言を用いる場合、距離画像１２６上の距離を指す。
【００３２】
図４は、位置情報取得部１６０による三次元の位置情報への変換を説明するための説明図である。位置情報取得部１６０は、まず、距離画像１２６を図４の如く画素単位の座標系として認識する。ここでは、図４中、左下隅を原点（０，０）とし、横方向をｉ座標軸、縦方向をｊ座標軸とする。したがって、視差ｄｐを有する画素は、画素位置ｉ、ｊと視差ｄｐによって（ｉ，ｊ，ｄｐ）のように表すことができる。
【００３３】
本実施形態における実空間上の三次元座標系を、自車両１を中心とした相対座標系で考える。ここでは、自車両１の進行方向右側方をＸ軸の正方向、自車両１の上方をＹ軸の正方向、自車両１の進行方向（前方）をＺ軸の正方向、２つの撮像装置１１０の中央を通る鉛直線と道路表面との交点を原点（０，０，０）とする。このとき、道路を平面と仮定すると、道路表面がＸ−Ｚ平面（ｙ＝０）と一致することとなる。位置情報取得部１６０は、以下の数式１〜数式３によって距離画像１２６上のブロック（ｉ，ｊ，ｄｐ）を、実空間上の三次元の点（ｘ，ｙ，ｚ）に座標変換する。
ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …（数式１）
ｙ＝ＣＨ＋ｚ・ＰＷ・（ｊ−ＪＶ） …（数式２）
ｚ＝ＫＳ／ｄｐ …（数式３）
ここで、ＣＤは撮像装置１１０同士の間隔（基線長）であり、ＰＷは１画素当たりの視野角であり、ＣＨは撮像装置１１０の道路表面からの配置高さであり、ＩＶ、ＪＶは自車両１の真正面における無限遠点の画像上の座標（画素）であり、ＫＳは距離係数（ＫＳ＝ＣＤ／ＰＷ）である。
【００３４】
グループ化部１６２は、まず、検出領域１２２を、水平方向に対して複数の分割領域に分割する。続いて、グループ化部１６２は、分割領域毎に、道路表面より上に位置するブロックを対象にして、複数区分した所定距離それぞれに含まれる相対距離を積算してヒストグラムを生成する。そして、グループ化部１６２は、積算した距離分布のピークに相当する代表距離を導出する。ここで、ピークに相当するとは、ピーク値またはピーク近傍で任意の条件を満たす値をいう。
【００３５】
図５は、分割領域２１０と代表距離とを説明するための説明図である。図２（ｂ）に示したような、距離画像１２６を水平方向に複数分割すると、分割領域２１０は図５（ａ）のような短冊形状になる。このような短冊形状の分割領域２１０は、本来、例えば、水平幅４画素のものが１５０個配列して成るが、ここでは、説明の便宜上、検出領域１２２を２０等分している。
【００３６】
続いて、グループ化部１６２は、各分割領域２１０において、ブロック毎の相対距離を参照し、ヒストグラム（図５（ｂ）中、横長の四角（バー）で示す）を作成すると、図５（ｂ）のような距離分布２１２が得られる。ここで、縦方向は、自車両１に対する相対距離ｚを、横方向は区分した所定距離それぞれに含まれる相対距離ｚの個数を示している。ただし、図５（ｂ）は計算を行う上での仮想的な画面であり、実際には視覚的な画面の生成を伴わない。そして、グループ化部１６２は、このようにして導出された距離分布２１２を参照し、ピークに相当する相対距離ｚである代表距離（図５（ｂ）、黒で塗りつぶした四角で示す）２１４を特定する。
【００３７】
図６は、グループ化処理を説明するための説明図である。図６では、白線２２０で区切られた３車線を走行する先行車両２２２および自車両１の俯瞰図を示す。グループ化部１６２は、分割領域２１０毎に得られた相対距離ｚを、図６に示すように実空間のＸ−Ｚ平面上にプロットする。図６では、ガードレール２２４、植込み２２６、先行車両２２２の背面や側面等にプロットされる。
【００３８】
そして、グループ化部１６２は、このプロットした各点（図６中、黒丸で示す）の間の距離や各点の並びの向きに基づいて、各点それぞれに対応する、輝度画像１２４上の複数の対象部位をグループ化して対象物とする。
【００３９】
輝度取得部１６４は、対象物それぞれについて、輝度画像１２４上の対象物の画像を特定する。本実施形態において、対象物の画像は、例えば、対象物としてグループ化された対象部位を包囲する矩形領域の画像とする。そして、輝度取得部１６４は、対象物の画像における輝度を取得する。
【００４０】
輝度分布生成部１６６は、対象物の画像における横方向および縦方向に、それぞれ少なくとも１列（行）分の画素の輝度のヒストグラム（輝度を横軸とした度数分布）を生成する。本実施形態において、輝度分布生成部１６６は、対象物の画像に含まれるすべての画素を対象として輝度のヒストグラムを生成する。
【００４１】
このとき、輝度分布生成部１６６は、輝度のヒストグラムを生成する対象となる対象物を、路面より上方に位置するものに限定する。
【００４２】
車両制御装置１４０は、路面より上方に位置する対象物を対象として回避動作をする可能性がある。そのため、浮遊物か否かの判断を路面より上方に位置する対象物に限定しても支障はない。浮遊物の判断の対象を路面より上方に位置する対象物に限定することで、輝度分布生成部１６６は、不要な回避動作の発生を抑えつつ処理負荷を低減できる。
【００４３】
浮遊物判断部１６８は、ヒストグラムに対する統計解析により、対象物が浮遊物か否かを判断する。具体的に、浮遊物判断部１６８は、ヒストグラムから算出される、輝度の平均値、分散値、歪度、または尖度のいずれか１または複数の特徴量、本実施形態においては、４つすべての特徴量およびヒストグラムのモデルとの近似度に基づいて、対象物が浮遊物か否かを判断する。
【００４４】
輝度の平均値Ａは、以下の数式４で導出される。以下、ｆ（ｎ）は、対象物の画像に含まれる輝度ｎの画素数と、輝度ｎとの積とし、輝度の最小値を最小値ｍｉｎ、輝度の最大値を最大値ｍａｘとする。また、対象物の画像に含まれる画素の総数を総数Ｎとする。
【数４】
…（数式４）
輝度の分散値Ｖは、以下の数式５で導出される。以下、対象物の画像に含まれる画素に１からｎまでの番号を排他的に割り当てたとき、ｉ番の画素の輝度を輝度Ｘｉとする。
【数５】
…（数式５）
輝度の歪度ＳＫＷは、以下の数式６で導出される。
【数６】
…（数式６）
また、輝度の尖度ＫＲＴは、以下の数式７で導出される。
【数７】
…（数式７）
【００４５】
図７は、歪度ＳＫＷおよび尖度ＫＲＴを説明するための説明図である。図７（ａ）に示すように、歪度ＳＫＷが高いヒストグラム２３０は、歪度ＳＫＷが低いヒストグラム２３２に比べて、平均値Ａを中心に左右の対称性が高い。
【００４６】
また、図７（ｂ）に示すように、尖度ＫＲＴが高いヒストグラム２３４は、尖度ＫＲＴが低いヒストグラム２３６に対して、ピーク付近の傾斜が大きく、それ以外の部分（裾）の傾斜が緩やかに分布する。
【００４７】
浮遊物の画像の画素は、輝度が一様に明るく白色に近いものが多い。つまり、輝度の平均値Ａは比較的高く、分散値Ｖは比較的正規分布に近い値となり、歪度ＳＫＷは、比較的対称性が高いことを示す値となり、尖度ＫＲＴは、正規分布に比べて裾部分が太くなるように比較的高い値となる。
【００４８】
浮遊物判断部１６８は、データ保持部１５２に保持された、特徴量それぞれに対応する所定範囲内に、各特徴量が含まれるか否かを判断する。そして、浮遊物判断部１６８は、所定範囲内に含まれると、含まれた特徴量の数に応じて、対象物毎に点数を加算する。
【００４９】
この点数は、例えば、平均値Ａが所定範囲内に含まれると３点、分散値Ｖが所定範囲内に含まれると５点等、特徴量毎に重み付けがされている。
【００５０】
特徴量毎に予め設定された所定範囲は、例えば、予め、複数の異なる条件下で水蒸気や白い排気ガス等を撮像した画像からそれぞれ輝度のヒストグラム（サンプル）を生成し、そのヒストグラムから導出した各特徴量の最大値を上限、最小値を下限としたものである。
【００５１】
また、浮遊物判断部１６８は、データ保持部１５２に保持された、浮遊物の輝度のヒストグラムのモデルと輝度分布生成部１６６が生成したヒストグラムとの差分を導出する。そして、浮遊物判断部１６８は、このヒストグラムの差分について、例えば、二乗平均等を取って、ヒストグラムのモデルと、輝度分布生成部１６６が生成したヒストグラムとの近似度とする。浮遊物判断部１６８は、その近似度を所定倍することで重み付けして点数化し、対象物毎に点数を加算する。
【００５２】
浮遊物の輝度のヒストグラムのモデルには、例えば、予め、複数の異なる条件下で水蒸気や白い排気ガス等を撮像した画像からそれぞれ輝度のヒストグラムを生成し、そのうち、平均的なヒストグラムを選択したり、平均値を取って用いたりする。
【００５３】
浮遊物判断部１６８は、所定数のフレーム（例えば、１０フレーム）分、対象物毎に点数を加算し、合算値を導出する。このとき、加算する点数は、例えば、最新のフレームに関し、点数をそのまま加算し、フレームが過去に遡る毎に点数を０．８倍して加算する等、フレーム毎に重み付けがされている。
【００５４】
そして、浮遊物判断部１６８は、点数の合算値が所定閾値を超えていると、その点数が付けられた対象物が浮遊物であると判断する。
【００５５】
このように、対象物毎に所定数のフレーム分、点数を加算し、その合算値に基づいて浮遊物を判断する構成により、フレーム毎の誤差の影響を排除し、浮遊物を精度よく検出することが可能となる。
【００５６】
上述したように、浮遊物判断部１６８は、予め設定された浮遊物の輝度のヒストグラムのモデルと、輝度分布生成部１６６が生成したヒストグラムとの差分に基づいて、対象物が浮遊物か否かを判断する。
【００５７】
このように、浮遊物のヒストグラムのモデルを用いることで、浮遊物判断部１６８は、対象物が典型的な浮遊物のヒストグラムである程、対象物を確実に浮遊物として認識できる。
【００５８】
また、浮遊物判断部１６８は、上述したように、特徴量それぞれに対応する所定範囲内に特徴量が含まれる数にも基づいて、対象物が浮遊物か否かを判断する。
【００５９】
このように、所定範囲を設けることで、浮遊物判断部１６８は、条件によって浮遊物の特徴量の傾向に大きな変化があっても、様々な条件下の浮遊物を認識できる。
【００６０】
パターンマッチング部１７０は、浮遊物と判断されなかった対象物について、予めデータ保持部１５２に保持された立体物のモデルデータとのパターンマッチングを実行し、対象物が、いずれかの立体物に該当するか否かを判断する。
【００６１】
上述したように、本実施形態の浮遊物判断部１６８は、対象物の画像の画素のヒストグラムから導出される特徴量に基づいて、対象物が浮遊物か否かを判断する。そのため、浮遊物判断部１６８は、水蒸気や排気ガス等の浮遊物が無風状態等ですぐには拡散せずに滞留していても、浮遊物を壁等の固定物と誤判断することなく、正確に浮遊物と判断することが可能となる。そして、車両制御装置１４０による、浮遊物に対する不要な回避動作の発生を抑えることができる。
【００６２】
（環境認識方法）
以下、環境認識装置１３０の具体的な処理を図８〜図１０のフローチャートに基づいて説明する。図８は、画像処理装置１２０から距離画像（視差情報）１２６が送信された場合の割込処理に関する全体的な流れを示し、図９、図１０は、その中の個別のサブルーチンを示している。
【００６３】
図８に示すように、距離画像１２６の受信を契機に当該環境認識方法による割込が発生すると、画像処理装置１２０で導出された、検出領域１２２内のブロック毎の視差情報に基づき、対象物の特定処理が遂行される（Ｓ３００）。
【００６４】
続いて、特定された各対象物が浮遊物であるか否かの判断処理が遂行される（Ｓ３０２）。その後、パターンマッチング部１７０は、浮遊物ではないと判断された対象物について、対象物に対する立体物のパターンマッチングを実行する（Ｓ３０４）。以下、上記の処理を具体的に説明する。
【００６５】
（対象物特定処理Ｓ３００）
図９を参照すると、位置情報取得部１６０は、画像処理装置１２０で導出された、検出領域１２２内のブロック毎の視差情報を、ステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む三次元の位置情報に変換する（Ｓ３５０）。
【００６６】
グループ化部１６２は、まず、検出領域１２２を、水平方向に対して複数の分割領域に分割する（Ｓ３５２）。続いて、グループ化部１６２は、道路表面より上に位置するブロックを対象に、位置情報に基づいて分割領域毎に、複数区分した所定距離それぞれに含まれる相対距離を積算してヒストグラムを生成する（Ｓ３５４）。そして、グループ化部１６２は、積算した距離分布のピークに相当する代表距離を導出する（Ｓ３５６）。
【００６７】
そして、グループ化部１６２は、分割領域２１０毎に得られた相対距離ｚを実空間のＸ−Ｚ平面上にプロットする（Ｓ３５８）。グループ化部１６２は、このプロットした各点の間の距離や各点の並びの向きに基づいて、各点それぞれに対応する、輝度画像１２４上の複数の対象部位をグループ化して対象物とする（Ｓ３６０）。
【００６８】
（浮遊物判断処理Ｓ３０２）
図１０を参照すると、輝度取得部１６４は、対象物特定処理Ｓ３００で特定された対象物が１以上あって、当該浮遊物判断処理Ｓ３０２において、まだ選択していない対象物があるか否かを判断する（Ｓ３６２）。まだ選択していない対象物があれば（Ｓ３６２におけるＹＥＳ）、輝度取得部１６４は、まだ選択していない対象物を１つ選択する（Ｓ３６４）。
【００６９】
そして、輝度取得部１６４は、選択した対象物が路面より上方に位置するものか否かを判断する（Ｓ３６６）。路面より上方に位置する場合（Ｓ３６６におけるＹＥＳ）、輝度取得部１６４は、輝度画像１２４上の選択した対象物の画像を特定する（Ｓ３６８）。
【００７０】
続いて、輝度取得部１６４は、対象物の画像におけるすべての画素の輝度を取得する（Ｓ３７０）。輝度分布生成部１６６は、対象物の画像に含まれるすべての画素を対象として輝度のヒストグラムを生成する（Ｓ３７２）。
【００７１】
浮遊物判断部１６８は、ヒストグラムから、輝度の平均値、分散値、歪度、および尖度の４つの特徴量を導出する（Ｓ３７４）。そして、浮遊物判断部１６８は、特徴量が、特徴量毎に予め設定された、特徴量それぞれに対応する所定範囲内に含まれると、含まれた特徴量の数に応じて点数を加算する（Ｓ３７６）。
【００７２】
そして、浮遊物判断部１６８は、予め設定された浮遊物の輝度のヒストグラムのモデルと輝度分布生成部１６６が生成したヒストグラムとの差分を導出する（Ｓ３７８）。そして、浮遊物判断部１６８はその差分の二乗平均を取って近似度とし、近似度を所定倍することで重み付けして点数化し、点数を加算する（Ｓ３８０）。
【００７３】
浮遊物判断部１６８は、その点数を対象物の位置情報とフレーム番号に関連付けてデータ保持部１５２に保持する（Ｓ３８２）。
【００７４】
そして、浮遊物判断部１６８は、選択した対象物に対応する対象物が、所定数前までのフレームで検出されていたか否かを、例えば、対象物の位置情報に基づいて判断する（Ｓ３８４）。検出されていない場合（Ｓ３８４におけるＮＯ）、対象物有無判断処理Ｓ３６２に戻る。検出されていた場合（Ｓ３８４におけるＹＥＳ）、浮遊物判断部１６８は、データ保持部１５２に保持された所定数のフレーム分の点数を、フレーム毎に重み付けをして加算し、合算値を導出する（Ｓ３８６）。
【００７５】
そして、浮遊物判断部１６８は、点数の合算値が所定閾値を超えているか否かを判断する（Ｓ３８８図１３）。所定閾値を超えていると（Ｓ３８８におけるＹＥＳ）、浮遊物判断部１６８は、その点数が付けられた対象物が浮遊物であると判断し、その対象物に、例えば、浮遊物であることを示すフラグを付す（Ｓ３９０）。点数の合算値が所定閾値を超えていないと（Ｓ３８８におけるＮＯ）、対象物が浮遊物ではないと判断し、その対象物に、例えば、浮遊物ではないことを示すフラグを付す（Ｓ３９２）。パターンマッチング部１７０は、パターンマッチング処理Ｓ３０４において、このフラグに応じて対象物に対してパターンマッチングを実行するか否かを決定する。そして、対象物有無判断処理Ｓ３６２に戻る。
【００７６】
対象物有無判断処理Ｓ３６２において、まだ選択していない対象物がなくなると（Ｓ３６２におけるＮＯ）、当該浮遊物判断処理Ｓ３０２を終了する。
【００７７】
以上、上述したように、本実施形態の環境認識方法によれば、水蒸気や排気ガス等の浮遊物を精度よく検出することができる。
【００７８】
（第２の実施形態）
第１の実施形態では、撮像装置１１０がモノクロ画像の画像データを取得し、モノクロ画像の画像データに基づいて、浮遊物の判断処理を行う環境認識装置１３０の構成について説明した。第２の実施形態では、カラー画像の画像データに基づいて、浮遊物の判断処理を行う環境認識装置４３０について詳述する。
【００７９】
（環境認識装置４３０）
図１１は、第２の実施形態における環境認識装置４３０の概略的な機能を示した機能ブロック図である。図１１に示すように、環境認識装置４３０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成され、中央制御部１５４は、位置情報取得部１６０、グループ化部１６２、輝度取得部４６４、輝度分布生成部４６６、浮遊物判断部４６８、パターンマッチング部１７０としても機能する。第１の実施形態における構成要素として既に述べたＩ／Ｆ部１５０、データ保持部１５２、中央制御部１５４、位置情報取得部１６０、グループ化部１６２、パターンマッチング部１７０は、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する輝度取得部４６４、輝度分布生成部４６６、浮遊物判断部４６８を主に説明する。
【００８０】
輝度取得部４６４は、モノクロ画像ではなくカラー画像、即ち、画素単位で３つの色相（赤（Ｒ）、緑（Ｇ）、青（Ｂ））の輝度を取得する。輝度分布生成部４６６は、１つの対象物の画像について、３つの色相それぞれについて、輝度のヒストグラムを生成する。
【００８１】
浮遊物判断部４６８は、３つの色相の輝度に対応する３つのヒストグラムに対する統計解析により、対象物が浮遊物か否かを判断する。具体的に、浮遊物判断部４６８は、３つの色相の輝度のヒストグラムそれぞれについて、４つの特徴量を導出する。
【００８２】
そして、浮遊物判断部４６８は、特徴量毎に設定する設定範囲内に、各特徴量が含まれるか否かを判断する。この設定範囲は、第１の実施形態の所定範囲と異なり、予め設定された範囲ではなく、対象物の画像の輝度に応じて設定される。
【００８３】
具体的に、浮遊物判断部４６８は、対象物の画像の３つの色相の輝度について、輝度の平均Ａを導出すると、輝度の平均Ａの３つの色相の平均値を導出する。そして、浮遊物判断部４６８は、導出した３つの色相の平均値を中心とする予め設定された所定幅の範囲を設定範囲とする。
【００８４】
浮遊物判断部４６８は、この設定範囲内に、３つの色相それぞれの輝度の平均Ａが含まれるか否かを判断する。そして、浮遊物判断部１６８は、平均Ａが設定範囲内に含まれると点数を加算する。
【００８５】
また、浮遊物判断部４６８は、同様の処理を他の特徴量、すなわち、分散値Ｖ、歪度ＳＫＷ、尖度ＫＲＴについても行い、それぞれ点数を加算する。
【００８６】
さらに、浮遊物判断部４６８は、予め設定された浮遊物の３つの色相の輝度のヒストグラムの３つのモデルそれぞれと、輝度分布生成部４６６が生成したヒストグラムとの差分を導出する。そして、浮遊物判断部４６８はそれぞれの色相のヒストグラムの差分について、二乗平均を取って近似度とし、近似度を所定倍することで重み付けして点数化し、対象物毎に点数を加算する。
【００８７】
そして、浮遊物判断部４６８は、第１の実施形態と同様、対象物毎に、所定数のフレーム分、対象物毎に点数を加算し、合算値を導出し、点数の合算値が所定閾値を超えていると、その点数が付けられた対象物が浮遊物であると判断する。
【００８８】
以上、説明したように、環境認識装置４３０によれば、水蒸気や排気ガス等の浮遊物を精度よく検出することが可能となる。
【００８９】
（環境認識方法）
以下、環境認識装置４３０の具体的な処理を図１２〜図１３のフローチャートに基づいて説明する。図１２は、画像処理装置１２０から距離画像１２６が送信された場合の割込処理に関する全体的な流れを示し、図１３は、その中の個別のサブルーチンを示している。
【００９０】
図１２に示すように、距離画像１２６の受信を契機に当該環境認識方法による割込が発生すると、画像処理装置１２０で導出された、検出領域１２２内のブロック毎の視差情報に基づき、対象物の特定処理が遂行される（Ｓ３００）。
【００９１】
続いて、特定された各対象物が浮遊物であるか否かの判断処理が遂行される（Ｓ５０２）。その後、パターンマッチング部１７０は、浮遊物ではないと判断された対象物について、対象物に対する立体物のパターンマッチングを実行する（Ｓ３０４）。以下、上記の処理を具体的に説明する。ただし、対象物特定処理Ｓ３００については、第１の実施形態で上述した処理と実質的に処理が同一なので重複説明を省略する。
【００９２】
（浮遊物判断処理Ｓ５０２）
図１３を参照して浮遊物判断処理Ｓ５０２を説明するが、対象物有無判断処理Ｓ３６２から画像特定処理Ｓ３６８までは、第１の実施形態で上述した処理と実質的に処理が同一なので重複説明を省略する。
【００９３】
輝度取得部４６４は、対象物の画像におけるすべての画素の３つの色相の輝度を取得する（Ｓ５７０）。輝度分布生成部４６６は、対象物の画像に含まれるすべての画素を対象として３つの色相の輝度のヒストグラムを生成する（Ｓ５７２）。
【００９４】
浮遊物判断部４６８は、３つの色相のヒストグラムそれぞれについて、４つの特徴量を導出する（Ｓ５７４）。そして、浮遊物判断部４６８は、特徴量毎に、３つの色相の平均値を導出する（Ｓ５７６）。浮遊物判断部４６８は、導出した３つの色相の平均値を中心とする予め設定された所定幅の範囲を設定範囲として設定する（Ｓ５７８）。浮遊物判断部４６８は、各特徴量が、特徴量それぞれに対応する設定範囲内に含まれると、含まれた特徴量の数に応じて点数を加算する（Ｓ５８０）。
【００９５】
そして、浮遊物判断部４６８は、予め設定された浮遊物の３つの色相の輝度のヒストグラムの３つのモデルそれぞれと、輝度分布生成部４６６が生成したヒストグラムとの差分を導出する（Ｓ５８２）。そして、浮遊物判断部４６８はその差分の二乗平均を取って近似度とし、近似度を所定倍することで重み付けして点数化し、点数を加算する（Ｓ５８４）。
【００９６】
以下、点数保持処理Ｓ３８２から浮遊物否定判断処理Ｓ３９２までは、第１の実施形態で上述した処理と実質的に処理が同一なので重複説明を省略する。
【００９７】
上述したように、本実施形態の環境認識方法によれば、水蒸気や排気ガス等の浮遊物を精度よく検出することができる。
【００９８】
また、コンピュータを、環境認識装置１３０、４３０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００９９】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１００】
また、上述した実施形態においては、対象物の三次元位置を複数の撮像装置１１０を用い画像データ間の視差に基づいて導出しているが、かかる場合に限られず、例えば、レーザレーダ測距装置等、既知の様々な距離測定装置を用いることができる。ここで、レーザレーダ測距装置は、検出領域１２２にレーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、この所要時間から物体までの距離を測定するものである。
【０１０１】
また、上述した実施形態では、位置情報取得部１６０が、画像処理装置１２０から距離画像（視差情報）１２６を受けて三次元の位置情報を生成している例を挙げている。しかし、かかる場合に限られず、画像処理装置１２０において予め三次元の位置情報を生成し、位置情報取得部１６０は、その生成された三次元の位置情報を取得するとしてもよい。このようにして、機能分散を図り、環境認識装置１３０、４３０の処理負荷を軽減することが可能となる。
【０１０２】
また、上述した実施形態においては、位置情報取得部１６０、グループ化部１６２、輝度取得部１６４、４６４、輝度分布生成部１６６、４６６、浮遊物判断部１６８、４６８、パターンマッチング部１７０は中央制御部１５４によってソフトウェアで動作するように構成している。しかし、上記の機能部をハードウェアによって構成することも可能である。
【０１０３】
なお、本明細書の環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【０１０４】
本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する環境認識装置および環境認識方法に利用することができる。
【符号の説明】
【０１０５】
１ …車両
１２２ …検出領域
１２４ …輝度画像
１２６ …距離画像
１３０、４３０ …環境認識装置
１５２ …データ保持部
１６０ …位置情報取得部
１６２ …グループ化部
１６４、４６４ …輝度取得部
１６６、４６６ …輝度分布生成部
１６８、４６８ …浮遊物判断部
１７０ …パターンマッチング部
【特許請求の範囲】
【請求項１】
検出領域内に存在する対象部位の、自車両に対する相対距離を含む位置情報を取得する位置情報取得部と、
前記位置情報に基づき、複数の前記対象部位をグループ化して対象物とするグループ化部と、
前記対象物の画像における輝度を取得する輝度取得部と、
前記対象物の画像における輝度のヒストグラムを生成する輝度分布生成部と、
前記ヒストグラムに対する統計解析により、前記対象物が浮遊物か否かを判断する浮遊物判断部と、
を備えることを特徴とする環境認識装置。
【請求項２】
前記浮遊物判断部は、前記ヒストグラムから算出される、輝度の平均値、分散値、歪度、または尖度のいずれか１または複数の特徴量に基づいて、前記対象物が浮遊物か否かを判断することを特徴とする請求項１に記載の環境認識装置。
【請求項３】
前記浮遊物判断部は、前記特徴量それぞれに対応する所定範囲内に該特徴量が含まれる数に基づいて、前記対象物が浮遊物か否かを判断することを特徴とする請求項２に記載の環境認識装置。
【請求項４】
前記浮遊物判断部は、予め設定された浮遊物の輝度のヒストグラムのモデルと、前記輝度分布生成部が生成したヒストグラムとの差分に基づいて、前記対象物が浮遊物か否かを判断することを特徴とする請求項１から３のいずれか１項に記載の環境認識装置。
【請求項５】
前記浮遊物判断部は、予め設定された浮遊物の輝度のヒストグラムのモデルと前記輝度分布生成部が生成したヒストグラムとの差分と、所定範囲内に含まれる前記特徴量の数とを、それぞれ点数化し、該点数を所定数のフレーム分加算した合算値が所定閾値を超えていると、前記対象物が浮遊物であると判断することを特徴とする請求項２に記載の環境認識装置。
【請求項６】
前記輝度分布生成部は、輝度のヒストグラムを生成する対象となる対象物を、路面より上方に位置するものに限定することを特徴とする請求項１から５のいずれか１項に記載の環境認識装置。
【請求項７】
検出領域内に存在する対象部位の、自車両に対する相対距離を含む位置情報を取得し、
前記位置情報に基づき、複数の前記対象部位をグループ化して対象物とし、
前記対象物の画像における輝度を取得し、
前記対象物の画像における輝度のヒストグラムを生成し、
前記ヒストグラムに対する統計解析により、前記対象物が浮遊物か否かを判断することを特徴とする環境認識方法。
【請求項１】
検出領域内に存在する対象部位の、自車両に対する相対距離を含む位置情報を取得する位置情報取得部と、
前記位置情報に基づき、複数の前記対象部位をグループ化して対象物とするグループ化部と、
前記対象物の画像における輝度を取得する輝度取得部と、
前記対象物の画像における輝度のヒストグラムを生成する輝度分布生成部と、
前記ヒストグラムに対する統計解析により、前記対象物が浮遊物か否かを判断する浮遊物判断部と、
を備えることを特徴とする環境認識装置。
【請求項２】
前記浮遊物判断部は、前記ヒストグラムから算出される、輝度の平均値、分散値、歪度、または尖度のいずれか１または複数の特徴量に基づいて、前記対象物が浮遊物か否かを判断することを特徴とする請求項１に記載の環境認識装置。
【請求項３】
前記浮遊物判断部は、前記特徴量それぞれに対応する所定範囲内に該特徴量が含まれる数に基づいて、前記対象物が浮遊物か否かを判断することを特徴とする請求項２に記載の環境認識装置。
【請求項４】
前記浮遊物判断部は、予め設定された浮遊物の輝度のヒストグラムのモデルと、前記輝度分布生成部が生成したヒストグラムとの差分に基づいて、前記対象物が浮遊物か否かを判断することを特徴とする請求項１から３のいずれか１項に記載の環境認識装置。
【請求項５】
前記浮遊物判断部は、予め設定された浮遊物の輝度のヒストグラムのモデルと前記輝度分布生成部が生成したヒストグラムとの差分と、所定範囲内に含まれる前記特徴量の数とを、それぞれ点数化し、該点数を所定数のフレーム分加算した合算値が所定閾値を超えていると、前記対象物が浮遊物であると判断することを特徴とする請求項２に記載の環境認識装置。
【請求項６】
前記輝度分布生成部は、輝度のヒストグラムを生成する対象となる対象物を、路面より上方に位置するものに限定することを特徴とする請求項１から５のいずれか１項に記載の環境認識装置。
【請求項７】
検出領域内に存在する対象部位の、自車両に対する相対距離を含む位置情報を取得し、
前記位置情報に基づき、複数の前記対象部位をグループ化して対象物とし、
前記対象物の画像における輝度を取得し、
前記対象物の画像における輝度のヒストグラムを生成し、
前記ヒストグラムに対する統計解析により、前記対象物が浮遊物か否かを判断することを特徴とする環境認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図６】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図６】
【公開番号】特開２０１２−２４３０４９（Ｐ２０１２−２４３０４９Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１２００４（Ｐ２０１１−１１２００４）
【出願日】平成２３年５月１９日（２０１１．５．１９）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月１９日（２０１１．５．１９）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]