車外環境認識装置および車外環境認識方法
【課題】人の下部領域（下半身）を通じて人を直接特定することで、人の特定効率および特定精度の向上を図る。
【解決手段】車外環境認識装置１３０は、検出領域内の画像を取得し、取得した画像において道路表面に相当する平面から予め定められた高さまでの領域にある複数のブロックを、ブロック同士の第１の相対関係に基づいてグループ化し、ブロック群を生成し、ブロック群を画像の水平方向に対して２分割し、２分割したブロック群同士の第２の相対関係に基づいて、ブロック群が人の候補である第１人候補であるか否か判定する。
【解決手段】車外環境認識装置１３０は、検出領域内の画像を取得し、取得した画像において道路表面に相当する平面から予め定められた高さまでの領域にある複数のブロックを、ブロック同士の第１の相対関係に基づいてグループ化し、ブロック群を生成し、ブロック群を画像の水平方向に対して２分割し、２分割したブロック群同士の第２の相対関係に基づいて、ブロック群が人の候補である第１人候補であるか否か判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両外の環境を認識する車外環境認識装置および車外環境認識方法に関する。
【背景技術】
【０００２】
従来、自車両の前方に位置する車両や人、障害物等の対象物を特定し、特定した対象物との衝突を回避したり（ブレーキコントロール）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。こうした技術の多くは、対象物を追跡して位置情報を更新し、先行車両や人の移動速度等を計算するように構成されており、この結果が、例えばブレーキコントロールやクルーズコントロールなどに反映される。
【０００３】
このような対象物の中でも、特に歩行者等の人は、先行車両と比べて移動方向や移動速度に関する自由度が高く、絶対的な体積も小さいので、その挙動を把握し追跡することが難しく、ブレーキコントロールやクルーズコントロールへの適用は困難であった。
【０００４】
そこで、自車両で取得した画像内のうち、動きが揃った領域を上部領域と仮定し、その下部において特徴点の動きが不揃いであるか否か判定し、不揃いであれば下部領域とし、その組み合わせを歩行者の全身領域として特定する技術が知られている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３３４９０６０号
【特許文献２】特開２００９−１５７５８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の技術を用いることで、昼間に人の全身を特定することが可能になった。しかし、夜間等ヘッドライトの点灯を要する状況では、歩行者の全身領域のうち、自車両のヘッドライトの光が当たる比較的低い位置（下半身の領域）しか有意な画像を得られないため、上半身の領域に相当する、動きが揃った領域を特定することができなくなる。したがって、例えば、自車両の前を横断する歩行者の全身領域を特定できず、ブレーキコントロールやクルーズコントロールの円滑な動作に支障を与えるおそれがあった。
【０００７】
本発明は、このような課題に鑑み、人の下部領域（下半身）を通じて人を直接特定することで、人の特定効率および特定精度の向上を図ることが可能な、車外環境認識装置および車外環境認識方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の車外環境認識装置は、検出領域内の画像を取得する画像取得部と、取得された画像において道路表面に相当する平面から予め定められた高さまでの領域にある複数の部位を、部位同士の第１の相対関係に基づいてグループ化し、部位群を生成するグループ化部と、部位群を画像の水平方向に対して２分割し、２分割した部位群同士の第２の相対関係に基づいて、部位群が人の候補である第１人候補であるか否か判定する人候補判定部と、を備えることを特徴とする。
【０００９】
第１の相対関係は、相対的位置関係、輝度の差分、または、エッジ方向の連続性のいずれかであってもよい。
【００１０】
第２の相対関係は、形状、面積、対称性、輝度の群から選択された１または複数であってもよい。
【００１１】
第２の相対関係は、２分割した部位群それぞれの中心線と垂直線とが成す角である中心線角それぞれが予め定められた第１角度範囲に含まれるか否かであってもよい。
【００１２】
グループ化部は、画像において道路表面に相当する平面から予め定められた高さまでの領域を、高さ方向に対してさらに複数の領域に分割し、その分割された領域毎に複数の部位をグループ化し、人候補判定部は、２分割した部位群同士の第２の相対関係に加え、グループ化された高さ方向に隣接する部位群の中心線同士が成す差分角が予め定められた第２角度範囲に含まれれば第１人候補と判定してもよい。
【００１３】
人候補判定部は、高さ方向のいずれかの領域同士が成す差分角が予め定められた第２角度範囲に含まれなければ、残りの領域に関する第１人候補の判定を実行しないとしてもよい。
【００１４】
人候補判定部は、車両と部位群との距離に応じて第１角度範囲を変更してもよい。
【００１５】
車外環境認識装置は、人候補判定部が第１人候補と判定した部位群を追跡する人候補追跡部と、人候補追跡部が追跡している部位群に関し、人候補判定部が第１人候補と判定したときと、第１人候補と判定しなかったときとの反転回数を測定する反転測定部と、反転回数が予め定められた回数範囲に含まれていれば、第１人候補を第２人候補として特定する人候補特定部と、をさらに備えてもよい。
【００１６】
車外環境認識装置は、人候補判定部が第１人候補と判定した部位群を追跡する人候補追跡部と、人候補追跡部が追跡している部位群に関し、人候補判定部が第１人候補と判定したときと、第１人候補と判定しなかったときとの反転周期を測定する反転測定部と、反転周期が予め定められた周期範囲に含まれていれば、第１人候補が移動中であると判定する人候補特定部と、をさらに備えてもよい。
【００１７】
上記課題を解決するために、本発明の車外環境認識方法は、検出領域内の画像を取得し、取得した画像において道路表面に相当する平面から予め定められた高さまでの領域にある複数の部位を、部位同士の第１の相対関係に基づいてグループ化し、部位群を生成し、部位群を画像の水平方向に対して２分割し、２分割した部位群同士の第２の相対関係に基づいて、部位群が人の候補である第１人候補であるか否か判定することを特徴とする。
【発明の効果】
【００１８】
本発明によれば、人の下部領域（下半身）を通じて人を直接特定することで、人の特定効率および特定精度の向上を図ることが可能となる。
【図面の簡単な説明】
【００１９】
【図１】環境認識システムの接続関係を示したブロック図である。
【図２】輝度画像を説明するための説明図である。
【図３】車外環境認識装置の概略的な機能を示した機能ブロック図である。
【図４】位置情報取得部による三次元の位置情報への変換を説明するための説明図である。
【図５】グループ化部による領域制限を説明するための説明図である。
【図６】人候補判定部の処理を説明するための説明図である。
【図７】人候補判定部の処理を説明するための説明図である。
【図８】グループ化部による細分化を説明するための説明図である。
【図９】反転測定部の処理を説明するための説明図である。
【図１０】車外環境認識方法の全体的な流れを示したフローチャートである。
【図１１】位置情報取得処理の流れを示したフローチャートである。
【図１２】グループ化・人候補判定処理の流れを示したフローチャートである。
【図１３】グループ化・人候補判定処理の流れを示したフローチャートである。
【図１４】グループ化・人候補判定処理の流れを示したフローチャートである。
【図１５】グループ化・人候補判定処理の流れを示したフローチャートである。
【図１６】人候補追跡処理の流れを示したフローチャートである。
【図１７】反転測定処理の流れを示したフローチャートである。
【図１８】人候補特定処理の流れを示したフローチャートである。
【図１９】エッジ方向の連続性を説明するための説明図である。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００２１】
（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、車両１内に設けられた、複数（本実施形態では２つ）の撮像装置１１０と、画像処理装置１２０と、車外環境認識装置１３０と、車両制御装置１４０とを含んで構成される。
【００２２】
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、カラー画像、即ち、画素単位で３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））の輝度を取得することができる。ここでは、撮像装置１１０で撮像されたカラーの画像を輝度画像と呼び、後述する距離画像と区別する。
【００２３】
また、撮像装置１１０は、車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、車両１の前方の検出領域に存在する特定物を撮像した画像データを、例えば１／６０秒毎（６０ｆｐｓ）に連続して生成する。ここで、特定物は、人（人間）、車両、信号機、道路、ガードレールといった独立して存在する立体物のみならず、ブレーキランプ（テールランプ）やウィンカー、信号機の各点灯部分等、立体物の部分として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。
【００２４】
画像処理装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、２つの画像データに基づいて、部位としての画像中の任意のブロック（所定数の画素を集めたもの）の視差、および、任意のブロックの画面中の位置を示す画面位置を含む視差情報を導出する。画像処理装置１２０は、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、ブロックの説明に用いられた「水平」は、撮像した画像の画面横方向を示し、実空間上の水平方向に相当する。また、「垂直」は、撮像した画像の画面縦方向を示し、実空間上の鉛直方向に相当する。
【００２５】
このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度値（Ｙ色差信号）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。
【００２６】
ただし、画像処理装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する相対距離に相当）を画像データに対応付けた画像を距離画像という。
【００２７】
図２は、輝度画像１２４と距離画像１２６を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２２について図２（ａ）のような輝度画像（画像データ）１２４が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２４の一方のみを模式的に示している。画像処理装置１２０は、このような輝度画像１２４からブロック毎の視差を求め、図２（ｂ）のような距離画像１２６を形成する。距離画像１２６における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。
【００２８】
視差は、画像のエッジ部分（隣り合う画素間で明暗の差分が大きい部分）で特定され易いので、距離画像１２６において黒のドットが付されている、視差が導出されたブロックは、輝度画像１２４においてもエッジとなっていることが多い。したがって、図２（ａ）に示す輝度画像１２４と図２（ｂ）に示す距離画像１２６とは各対象物の輪郭について似たものとなる。
【００２９】
車外環境認識装置１３０は、画像処理装置１２０から距離画像１２６や輝度画像１２４を取得し、距離画像１２６から導き出した自車両からの相対距離や、輝度画像１２４における輝度に基づき、検出領域１２２における対象物がいずれの特定物に対応するかを特定する。例えば、自車両の前を横断する歩行者（特定物）を特定することで、歩行者の存在とその挙動を迅速に把握し、ブレーキコントロールやクルーズコントロールに反映することが可能となる。
【００３０】
尚、上記相対距離は、距離画像１２６におけるブロック毎の視差情報を、所謂ステレオ法を用いて三次元の位置情報に変換することで求められる。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。かかる車外環境認識装置１３０の処理に関しては、後ほど詳述する。
【００３１】
車両制御装置１４０は、車外環境認識装置１３０で特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１４０は、操舵の角度を検出する舵角センサ１４２や車両１の速度を検出する車速センサ１４４等を通じて現在の車両１の走行状態を取得し、アクチュエータ１４６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１４６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１４０は、対象物との衝突が想定される場合、運転者の前方に設置されたディスプレイ１４８にその旨警告表示（報知）を行うと共に、アクチュエータ１４６を制御して車両１を自動的に制動する。かかる車両制御装置１４０は、車外環境認識装置１３０と一体的に形成することもできる。
【００３２】
（車外環境認識装置１３０）
図３は、車外環境認識装置１３０の概略的な機能を示した機能ブロック図である。図３に示すように、車外環境認識装置１３０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、照度計１５４と、中央制御部１５６とを含んで構成される。
【００３３】
Ｉ／Ｆ部１５０は、画像処理装置１２０や車両制御装置１４０との双方向の情報交換を行うためのインターフェースである。かかるＩ／Ｆ部１５０は画像取得部として機能する。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、画像処理装置１２０から受信した輝度画像１２４や距離画像１２６を一時的に保持する。照度計１５４は、車外環境を把握するため車外の照度を計測する。
【００３４】
中央制御部１５６は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５８を通じて、Ｉ／Ｆ部１５０、データ保持部１５２、照度計１５４を制御する。また、本実施形態において、中央制御部１５６は、位置情報取得部１６０、グループ化部１６２、人候補判定部１６４、人候補追跡部１６６、反転測定部１６８、人候補特定部１７０としても機能する。このような中央制御部１５６の各機能部によって、車外環境認識装置１３０は、検出領域内の対象物を特定物として特定する。特定物の代表例としては先行車両や人（歩行者）が挙げられるが、本実施形態では、夜間等ヘッドライトの点灯を要する状況（説明の便宜上、以下では単に「夜間」とする。）において車両１の前方に位置する人を特定する例を説明する。
【００３５】
位置情報取得部１６０は、距離画像１２６における検出領域１２２内のブロック毎の視差情報を、上述したステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む三次元の位置情報に変換する。ここで、視差情報が、距離画像１２６における各ブロックの視差を示すのに対し、三次元の位置情報は、実空間における各ブロックの相対距離の情報を示す。また、視差情報が画素単位ではなくブロック単位、即ち複数の画素単位で導出されている場合、その視差情報はブロックに属する全ての画素の視差情報とみなして、画素単位の計算を実行することができる。
【００３６】
図４は、位置情報取得部１６０による三次元の位置情報への変換を説明するための説明図である。位置情報取得部１６０は、まず、距離画像１２６を図４の如く画素単位の座標系として認識する。ここでは、図４中、左下隅を原点（０，０）とし、横方向をｉ座標軸、縦方向をｊ座標軸とする。したがって、視差ｄｐを有する画素は、画素位置ｉ、ｊと視差ｄｐによって（ｉ，ｊ，ｄｐ）のように表すことができる。
【００３７】
本実施形態における実空間上の三次元座標系を、車両１を中心とした相対座標系で考える。ここでは、車両１の進行方向右側方をＸ軸の正方向、車両１の上方をＹ軸の正方向、車両１の進行方向（前方）をＺ軸の正方向、２つの撮像装置１１０の中央を通る鉛直線と道路表面との交点を原点（０，０，０）とする。このとき、道路を平面と仮定すると、道路表面がＸ−Ｚ平面（ｙ＝０）と一致することとなる。位置情報取得部１６０は、以下の（数式１）〜（数式３）によって距離画像１２６上のブロック（ｉ，ｊ，ｄｐ）を、実空間上の三次元の点（ｘ，ｙ，ｚ）に座標変換する。
ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …（数式１）
ｙ＝ＣＨ＋ｚ・ＰＷ・（ｊ−ＪＶ） …（数式２）
ｚ＝ＫＳ／ｄｐ …（数式３）
ここで、ＣＤは撮像装置１１０同士の間隔（基線長）であり、ＰＷは１画素当たりの視野角であり、ＣＨは撮像装置１１０の道路表面からの配置高さであり、ＩＶ、ＪＶは車両１の真正面における無限遠点の画像上の座標（画素）であり、ＫＳは距離係数（ＫＳ＝ＣＤ／ＰＷ）である。
【００３８】
したがって、位置情報取得部１６０は、当該ブロックと同相対距離にある道路表面上の点と該当ブロックとの距離画像１２６上の検出距離（例えば画素数）に基づいて、道路表面からの高さを導出していることとなる。なお、道路表面に相当するＸ−Ｚ平面（ｙ＝０）は、道路上の車線（道路を区画する線）の三次元座標に基づき導出することができ、車線は、道路との輝度変化から抽出することができる。かかる道路表面の三次元位置は、既存の様々な技術を用いて導出することができるので、ここでは、その詳細な説明を省略する。
【００３９】
グループ化部１６２は、距離画像１２６における複数のブロックを、位置情報取得部１６０によって導出された、第１の相対関係としての相対的位置関係に基づいてグループ化し、部位群としてのブロック群を生成する。例えば、グループ化部１６２は、任意のブロックを基点として、そのブロックと隣接するブロックを取り出し、２つのブロック同士の水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲（例えば０．５ｍ）内にあるブロックを、同一の対象物に対応すると仮定してグループ化する。上記の範囲は実空間上の距離で表され、製造者や搭乗者によって任意の値に設定することができる。
【００４０】
また、グループ化部１６２は、グループ化により新たに追加されたブロックに関しても、そのブロックを基点として、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が所定範囲内にあるブロックをさらにグループ化する。結果的に、同一の特定物と仮定することが可能なブロック全てがグループ化されることとなる。
【００４１】
また、ここでは、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分をそれぞれ独立して判定し、全てが所定範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の二乗平均√（（水平距離ｘの差分）２＋（高さｙの差分）２＋（相対距離ｚの差分）２）が所定範囲に含まれる場合に同一のグループとしてもよい。かかる計算により、ブロック同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。
【００４２】
また、ここでは、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の３つのパラメータを用いているが、かかる場合に限らず、水平距離ｘの差分および高さｙの差分、水平距離ｘの差分および相対距離ｚの差分、もしくは、高さｙの差分および相対距離ｚの差分といったように、いずれか２つの差分のみを用いてグループ化することもできる。さらに、１の特定物においては、輝度が全体的に近似していたり、輝度が変化する傾向が規則的であったりするので、グループ化部１６２は、その輝度特性を利用し、輝度が近いことを条件に加えてグループ化してもよい。
【００４３】
また、本実施形態において、グループ化部１６２は、照度計１５４によって車外環境が夜間と判断できる場合、または、ヘッドライトが点灯していると判断できる場合、検出対象を、検出領域１２２の一部に制限する。具体的に、グループ化部１６２は、道路表面に相当する平面から予め定められた高さ（例えば、１．０ｍ）までの領域に制限し、その領域に存在するブロックのみをグループ化する。
【００４４】
図５は、グループ化部１６２による領域制限を説明するための説明図である。ここでは説明の便宜上、輝度画像１２４を用いて説明する。本実施形態では、主として夜間に車両１の前方に位置する人を特定することを目的としている。この場合、車両１は、ヘッドライトを通じて前方を照射することとなるが、通常のロービームでは、図５（ａ）において四角に囲まれた範囲で示すように、人の足下にのみ光が当たることとなる。したがって、夜間における輝度画像１２４には主として人の足下程度の高さの対象物が映し出され、それに伴って、距離画像１２６でも人の足下程度の高さのブロックに関して相対距離ｚが導出される。グループ化部１６２は、このような夜間に対応すべく、図５（ｂ）において斜線で示した、道路表面より上方であり、かつ、１ｍ以内の立体的な帯状の領域２００に絞ってブロックをグループ化する。
【００４５】
このように、夜間において、検出対象を道路表面から１ｍの範囲に絞ることで、道路表面から１ｍ以上における対象物を検出してしまうといった誤検出を回避でき、確実に人の足を検出できると共に、検出領域１２２全体を対象とする処理に比べ、処理負荷を格段に軽減することが可能となる。
【００４６】
また、グループ化部１６２は、道路表面に相当する平面から予め定められた高さ（例えば、１．０ｍ）までの領域に加え、図５（ｂ）に示したように、ガードレールや路側帯の外側の領域を除くとしてもよい。こうして、さらなる負荷の軽減を果たすことができる。
【００４７】
ここでは、照度計１５４の計測結果やヘッドライトの点灯状態に応じて夜間であると判断し、検出対象を道路表面から１ｍの範囲に制限する例を挙げたが、車外環境が明るい、例えば、昼間等においては、検出対象を検出領域１２２全体とし、また、下半身のみならず、上半身も含んだ人の全身をグループ化するとしてもよい。
【００４８】
人候補判定部１６４は、グループ化部１６２がグループ化したブロック群のうち、人の足として認めることが可能な予め定められた面積以上のブロック群を、画像の水平方向に対して２分割し、２分割したブロック群同士の第２の相対関係に基づいて、ブロック群が第１人候補であるか否か判定する。第２の相対関係は、様々な関係を用いることができるが、ここでは、その典型例として、２分割したブロック群それぞれの全体的な傾きを挙げる。具体的に、人候補判定部１６４は、第２相対関係として、２分割したブロック群それぞれの中心線と垂直線との角度である中心線角それぞれが予め定められた第１角度範囲（例えば、３０±１５度内）に含まれるか否かを判定する。なお、第１人候補は、人候補の確からしさ（レベル）を示し、後述する第２人候補と区別される。
【００４９】
図６は、人候補判定部１６４の処理を説明するための説明図である。夜間の走行において、画像処理装置１２０から図６（ａ）に示すような輝度画像１２４を取得したとする。図６（ａ）では、人２０８に関し、有意な画像は腰より下の部分のみであることが理解できる。このとき、グループ化部１６２が、図６（ａ）の輝度画像１２４に基づく図６（ｂ）の距離画像１２６の、道路表面に相当する平面から予め定められた高さ（例えば、１．０ｍ）までの領域において、相対的位置が近い複数のブロックをグループ化して、ブロック群２１０を抽出したとする。人候補判定部１６４は、ブロック群２１０の外縁を水平および垂直に延長した四角で囲み、仮想的な枠２１２を生成する。そして、枠２１２を水平方向に対して２分割し、図６（ｃ）のように、部分ブロック群２１４ａ、２１４ｂを生成する。
【００５０】
続いて、人候補判定部１６４は、図６（ｃ）の部分ブロック群２１４ａおよび部分ブロック群２１４ｂのそれぞれの全ブロックを参照し、最小二乗法を用いて一点鎖線で示した中心線２１６ａ、２１６ｂを生成する。最小二乗法による近似直線（曲線）の求め方は既知の技術なので、ここでは、その詳細な説明を省略する。また、ここでは、中心線２１６ａ、２１６ｂとして一次元モデルを採用したが、複数次の曲線を用いてもよい。
【００５１】
人候補判定部１６４は、生成した中心線２１６ａ、２１６ｂと、画面垂直方向（鉛直方向）に延長した垂直線２１８との角度である中心線角α、βそれぞれが予め定められた第１角度範囲（例えば、３０±１５度内）に含まれるか否かを判定する。中心線角α、βがいずれも第１角度範囲に含まれていれば、人候補判定部１６４は、その部分ブロック群２１４ａ、２１４ｂを人の２本の足とみなし、ブロック群２１０を第１人候補とする。
【００５２】
ここで用いられる第１角度範囲は、上記のように所定角度に固定してもよいが、車両１とブロック群２１０との距離に応じて変更してもよい。一旦、輝度画像１２４や距離画像１２６として車外環境認識装置１３０に取り込まれた画像は、３次元座標に拘わらず同一の大きさの画素で表される。換言すれば、車両１に近い（近距離の）ブロック群２１０は、画素に比べその面積が大きいので詳細に表現できるが、車両１から遠い（遠距離の）ブロック群２１０は、画素に比べ面積が小さいので、荒くなってしまう。そうすると、遠方のブロック群２１０の分解能は劣化し、中心線２１６ａ、２１６ｂと垂直線２１８との中心線角を正確に検出できない場合が生じ得る。
【００５３】
そこで、人候補判定部１６４は、車両１との相対距離ｚに応じ、遠方に位置するブロック群２１０に対応する第１角度範囲は、近くに位置するブロック群２１０に対応する第１角度範囲より狭めて（厳しくして）、遠方のブロック群２１０を人の足と誤検出するのを回避する。これによって、遠方に実際に人が存在した場合でも検出し難くなるが、遠方の人は環境認識システム１００への影響がほとんどないので、問題とならない。
【００５４】
このようにして、人候補判定部１６４は、グループ化部１６２がグループ化したブロック群２１０を第１人候補としてみなすことができる。しかし、２分割したブロック群２１０（部分ブロック群２１４ａ、２１４ｂ）全体の中心線２１６ａ、２１６ｂのみによって第１人候補を抽出した場合、人と異なる特定物を第１人候補とみなしてしまう場合がある。
【００５５】
図７は、人候補判定部１６４の処理を説明するための説明図である。図７に示すような複数の支柱２３０によって支持されている看板２３２があるとする。ここで、複数の支柱２３０の中心線２１６ａ、２１６ｂと垂直線２１８との中心線角α、βが、第１角度範囲（例えば、３０±１５度内）に含まれていた場合、人候補判定部１６４は、かかる支柱２３０を第１人候補であると判定してしまう。そこで、本実施形態では、人候補判定部１６４が、一旦、第１人候補と判定しても、さらに、ブロック群を細分化して、第１人候補である確からしさを高めた上で、再度、第１人候補を特定する。
【００５６】
具体的に、グループ化部１６２は、画像において道路表面に相当する平面から予め定められた高さまでの領域を、高さ方向に対してさらに複数の領域に分割し、その分割された領域毎にブロック同士をグループ化する。そして、人候補判定部１６４は、高さ方向に隣接する（連続する）、グループ化されたブロック群の中心線同士が成す差分角（関節の曲げ）が予め定められた第２角度範囲（例えば絶対値が５度以上）に含まれれば、そのブロック群２１０を正式に第１人候補と判定する。
【００５７】
図８は、グループ化部１６２による細分化を説明するための説明図である。例えば、グループ化部１６２が、図６（ｂ）に示した距離画像１２６に基づき、道路表面に相当する平面から予め定められた高さ（例えば、１．０ｍ）までの領域をさらに分割した複数の領域において、相対的位置が近い複数のブロックをグループ化し、図８のような部分ブロック群２１４ｃ、２１４ｄ、２１４ｅ、２１４ｆ、２１４ｇ、２１４ｈを抽出したとする。このときの分割比率は、例えば、全領域１ｍに対して道路表面から順に３０ｃｍ、５０ｃｍ、２０ｃｍとする。かかる分割比率は、道路表面上に人の足の爪先と脹ら脛の部分が位置し（３０ｃｍ）、その鉛直上方に太腿が位置し（５０ｃｍ）、その鉛直上方に腰が位置する（２０ｃｍ）という想定から決定される。
【００５８】
続いて、人候補判定部１６４は、高さ方向に隣接する部分ブロック群、例えば、部分ブロック群２１４ｄと部分ブロック群２１４ｅとの中心線２１６ｄ、２１６ｅ同士が成す差分角が、予め定められた第２角度範囲（例えば、絶対値が５度以上）に含まれるか否か判定し、含まれていれば、再度、第１人候補と判定する。このように、人特有の関節の曲げに言及することで、図７に示したような、傾いてはいるものの、単純な直線で示される支柱２３０を第１人候補から排除することができ、より高精度に第１人候補を抽出することが可能となる。
【００５９】
ここでは、典型的な日本人の足と関節との関係から、１．０ｍという全長、３０ｃｍ、５０ｃｍ、２０ｃｍという分割比率を設定したが、全長や分割比率は、任意に設定することができる。例えば、国、地域、環境によって個々に設定することも可能である。
【００６０】
また、このような分割比率を設けた第１人候補の抽出処理において、人候補判定部１６４は、高さ方向のいずれかの領域同士が成す差分角が、予め定められた第２角度範囲に含まれなければ、残りの領域に関する第１人候補の判定を実行しない。これは、第１人候補として判定できない部分を一部でも有する場合、そのブロック群２１０が第１人候補である蓋然性を損なうので、それ以後の処理を省略するものである。こうして、処理負荷の軽減を図ることが可能となる。
【００６１】
このとき、人候補判定部１６４は、第１人候補としての判定を、鉛直下方、即ち、脹ら脛と太腿、太腿と腰の順に行うとしてもよい。これは、太腿と腰の差分角より、脹ら脛と太腿の差分角が大きいことが多く、第１人候補としての判定が正確にできるからである。人候補判定部１６４は、まず、脹ら脛と太腿の差分角を導出し、その値が第２角度範囲に含まれていなければ、以後の太腿と腰の差分角は導出せず、脹ら脛と太腿の差分角が第２角度範囲に含まれている場合にのみ太腿と腰の差分角を導出する。
【００６２】
このように何重もの条件を満たした場合にのみ第１人候補とすることで、第１人候補として抽出されるブロック群２１０が制限される可能性があるが、本来検出すべきではないブロック群２１０を第１人候補として誤検出するより利点がある。これは、ブレーキコントロールやクルーズコントロールにおいて、誤検出により、意図せず頻繁に車両１が減速してしまうと、運転時の快適性が損なわれる可能性があるからである。したがって、本実施形態では、十分に確信がもてるブロック群２１０のみを第１人候補として抽出する。
【００６３】
人候補追跡部１６６は、人候補判定部１６４が第１人候補として抽出したブロック群２１０を画像処理によって追跡する。かかる追跡は、例えば、１／６０秒毎に連続して生成される画像データに基づく画像を用いて、以下のようにして実行される。人候補追跡部１６６は、前回の画像において第１人候補として抽出されたブロック群２１０の位置に対応する今回の画像における位置およびその近傍から、前回の画像のブロック群２１０と輝度の傾向が類似しているブロック群２１０を抽出する。ブロック群２１０の類似は、前回の画像のブロック群２１０を細分化したブロック毎に、今回の画像から、前回のブロックとのパターンマッチングで相関性ありと判断されたブロックを抽出することで判断される。このような類似判定を含め追跡処理に関しては様々な既存の技術を用いることができるので、ここではその詳細な説明を省略する。
【００６４】
反転測定部１６８は、人候補追跡部１６６が追跡しているブロック群２１０に関し、人候補判定部１６４が第１人候補と判定したときと、第１人候補と判定しなかったときとの反転における反転回数および反転周期を測定する。
【００６５】
人は、左右の足を交互に前に出すことによって前進する。したがって、歩行している人を側面から観察すると、両足が前後に開いた状態から両足が閉じた状態を経由して、また両足が前後に開いた状態になる。即ち、人が歩行している場合には、両足が開いた状態（人候補判定部１６４が第１人候補と判定した状態）と閉じた状態（人候補判定部１６４が第１人候補と判定していない状態）とが繰り返されることとなる。そこで、本実施形態では、人候補判定部１６４が第１人候補として抽出したブロック群２１０の挙動を踏まえ、そのブロック群２１０がさらに人として確からしい第２人候補であるか否か、また、第１人候補が移動中であるか否かを判定する。第１人候補と第２人候補は人としての確からしさが異なるのみで、いずれも人の候補に変わりなく、後段の制御において、どこまで人としての確からしさが必要になるかに応じて使い分けている。
【００６６】
図９は、反転測定部１６８の処理を説明するための説明図である。人が歩行しているとき、例えば、右足を前に出している期間ｔ１では、右足の中心線角も左足の中心線角も第１角度範囲に含まれているので、人候補判定部１６４は、そのブロック群２１０を第１人候補とする。しかし、左足を前に出している途中の期間ｔ２では、両足が重なり、両足の中心線角が第１角度範囲から一旦外れてしまう。そして、左足が前に出た期間ｔ３では、再び、両足の中心線角が第１角度範囲に含まれることとなる。このように、人候補追跡部１６６に追跡されているブロック群２１０に関し、人候補判定部１６４に第１人候補であると判定された状態（第１人候補判定）と、第１人候補ではないと判定された状態（第１人候補非判定）とを図９のようなタイミングチャートで表すと、その挙動が周期的であることが理解できる。反転測定部１６８は、このような反転回数と反転周期を測定する。
【００６７】
人候補特定部１７０は、反転測定部１６８が測定した反転回数を観察し、反転回数が予め定められた回数範囲（例えば、４回以上）に含まれていれば、図９に矢印で示すように、第１人候補を、第１人候補より人の確からしさが高い第２人候補に変更する。
【００６８】
こうして、車外環境認識装置１３０では、距離画像１２６から、１または複数のブロック群を、第２人候補として抽出することができ、その情報を様々な制御に用いることが可能となる。例えば、検出領域内の任意のブロック群が人（第２人候補）であると特定されると、特定した人との衝突を回避したり、人との距離を安全な距離に保つように制御することができる。
【００６９】
また、人候補特定部１７０は、反転測定部１６８が測定した反転周期が予め定められた周期範囲（例えば、０．５Ｈｚ以上）に含まれていれば、第１人候補が移動中であると判定し、その周期範囲に含まれていなければ（例えば、０．５Ｈｚ未満）、第１人候補が停止中であると判定する。
【００７０】
こうして、車外環境認識装置１３０では、第１人候補または第２人候補として抽出したブロック群２１０が移動していることを判定でき、判定された人との衝突を回避したり、人との距離を安全な距離に保つように制御することができる。
【００７１】
（車外環境認識方法）
以下、車外環境認識装置１３０の具体的な処理を図１０〜図１８のフローチャートに基づいて説明する。図１０は、画像処理装置１２０から距離画像１２６が送信された場合の割込処理に関する全体的な流れを示し、図１１〜図１８は、その中の個別のサブルーチンを示している。また、ここでは、処理の対象としてブロックまたは画素を挙げており、輝度画像１２４や距離画像１２６の左下隅を原点とし、ブロックでは、画像水平方向に１〜１５０ブロック、垂直方向に１〜５０ブロックの範囲で当該車外環境認識方法による処理を遂行する。ここでは、説明の便宜上、夜間の走行を前提として説明する。
【００７２】
図１０に示すように、距離画像１２６の受信を契機に当該車外環境認識方法による割込が発生すると、画像処理装置１２０から取得した距離画像１２６が参照されて、位置情報取得部１６０は、距離画像１２６における検出領域１２２内のブロック毎の視差情報を三次元の位置情報に変換する（Ｓ３００）。そして、グループ化部１６２および人候補判定部１６４は、道路表面に相当する平面から予め定められた高さまでの領域にある複数のブロックをグループ化し、グループ化したブロック群が第１人候補であるか否か判定する（Ｓ３０２）。
【００７３】
次に、人候補追跡部１６６は、人候補判定部１６４が第１人候補として抽出したブロック群２１０全てを画像処理によって追跡する（Ｓ３０４）。反転測定部１６８は、人候補追跡部１６６が追跡しているブロック群２１０全てに関し、人候補判定部１６４が第１人候補と判定したときと、第１人候補と判定しなかったときとの反転回数および反転周期を並行して測定する（Ｓ３０６）。続いて、人候補特定部１７０は、反転測定部１６８の結果に基づいて、第２人候補を特定、または、第１人候補が移動中であるか否かを判定する（Ｓ３０８）。以下、上記の処理を具体的に説明する。
【００７４】
（位置情報取得処理Ｓ３００）
図１１を参照すると、位置情報取得部１６０は、ブロックを特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ４００）。続いて、位置情報取得部１６０は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ４０２）。次に、位置情報取得部１６０は、水平変数ｉに「１」を加算する（Ｓ４０４）。
【００７５】
位置情報取得部１６０は、距離画像１２６のブロック（ｉ，ｊ，ｄｐ）から視差情報ｄｐを取得する（Ｓ４０６）。そして、位置情報取得部１６０は、視差情報ｄｐを含むブロック（ｉ，ｊ，ｄｐ）を、上記数式１〜３を用い、実空間上の点（ｘ，ｙ，ｚ）に座標変換して、ブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）とする（Ｓ４０８）。
【００７６】
続いて、位置情報取得部１６０は、水平変数ｉが水平ブロックの最大値である１５０を超えたか否か判定し（Ｓ４１０）、水平変数ｉが最大値を超えていなければ（Ｓ４１０におけるＮＯ）、ステップＳ４０４の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ４１０にけるＹＥＳ）、位置情報取得部１６０は、垂直変数ｊが垂直ブロックの最大値である５０を超えたか否か判定する（Ｓ４１２）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ４１２におけるＮＯ）、ステップＳ４０２の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ４１２におけるＹＥＳ）、当該位置情報取得処理Ｓ３００を終了する。こうして、距離画像１２６の視差情報ｄｐが三次元の位置情報に変換される。
【００７７】
（グループ化・人候補判定処理Ｓ３０２）
図１２を参照すると、グループ化部１６２は、ブロックをグループ化するための所定範囲（例えば、０．５ｍ）を参照し（Ｓ４５０）、ブロックを特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ４５２）。続いて、グループ化部１６２は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ４５４）。次に、グループ化部１６２は、水平変数ｉに「１」を加算する（Ｓ４５６）。
【００７８】
グループ化部１６２は、距離画像１２６からブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）を取得する（Ｓ４５８）。そして、そのブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）の高さｙが制限範囲、即ち、道路表面に相当する平面から予め定められた高さ（例えば、１．０ｍ）まで含まれるか否か判定する（Ｓ４６０）。ここで、高さｙが制限範囲内であれば（Ｓ４６０におけるＹＥＳ）、グループ化部１６２は、そのブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）の実空間上の座標（ｘ，ｙ，ｚ）に基づいて、上記の所定範囲内であり、かつ、上記の制限範囲内に他のブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）が存在するか否か判定する（Ｓ４６２）。
【００７９】
他のブロックが存在すれば（Ｓ４６２におけるＹＥＳ）、グループ化部１６２は、自己を含む所定範囲内の全てのブロックのいずれかに第１グループ番号ｇが付されているか否か判定する（Ｓ４６４）。いずれかに第１グループ番号ｇが付されていたら（Ｓ４６４におけるＹＥＳ）、グループ化部１６２は、所定範囲に含まれる全てのブロックおよび同一の第１グループ番号ｇが付されている全てのブロックに、その付されている第１グループ番号のうち最も小さい第１グループ番号ｇ、および、第１グループ番号としてまだ利用されていない番号のうち最も小さい値のいずれか小さい方を付与して、ブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ，ｇ）とする（Ｓ４６６）。また、いずれにも第１グループ番号ｇが付されていない場合（Ｓ４６４におけるＮＯ）、第１グループ番号としてまだ利用されていない番号のうち最も小さい値を、自己を含む所定範囲内の全てのブロックに新規に付与する（Ｓ４６８）。
【００８０】
このように、所定範囲内にブロックが複数存在する場合、１の第１グループ番号ｇを付すことによってグループ化を行う。このとき、複数のブロックのいずれにも未だ第１グループ番号ｇが付されていない場合、新規の第１グループ番号ｇを付すこととし、いずれかに既に第１グループ番号ｇが付されている場合、それと同一の第１グループ番号ｇを付すこととなる。ただし、複数のブロックに複数の第１グループ番号ｇが存在する場合、１つのグループとみなすべきなので、そのブロック全ての第１グループ番号ｇを１の第１グループ番号ｇに置換することとする。
【００８１】
このとき、所定範囲に含まれる全てのブロックのみならず、同一の第１グループ番号ｇが付されている全てのブロックの第１グループ番号ｇを一度に変更しているのは、第１グループ番号ｇの変更により、すでに統一化されたグループを分離しないためである。また、最も小さい第１グループ番号ｇまたは第１グループ番号としてまだ利用されていない番号のうち最も小さい値のいずれか小さい方を採用しているのは、グループの採番において可能な限り欠番を出さないようにするためである。こうすることで、第１グループ番号ｇの最大値が無用に大きくなることがなくなり、処理負荷を軽減することが可能となる。
【００８２】
図１２に戻って、高さｙが制限範囲外の場合（Ｓ４６０におけるＮＯ）、または、所定範囲内に他のブロックが存在しない場合（Ｓ４６２におけるＮＯ）、次のステップＳ４７０に処理が移される。
【００８３】
続いて、グループ化部１６２は、水平変数ｉが水平画素の最大値である１５０を超えたか否か判定し（Ｓ４７０）、水平変数ｉが最大値を超えていなければ（Ｓ４７０におけるＮＯ）、ステップＳ４５６の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ４７０におけるＹＥＳ）、グループ化部１６２は、垂直変数ｊが垂直画素の最大値である５０を超えたか否か判定する（Ｓ４７２）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ４７２におけるＮＯ）、ステップＳ４５４の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ４７２におけるＹＥＳ）、次のステップに移行する。
【００８４】
図１３を参照すると、人候補判定部１６４は、最も小さい第１グループ番号ｇを参照し、その第１グループ番号ｇが付されたブロック群（第１グループ番号ｇが付された全てのブロック）を設定する（Ｓ５００）。次に、人候補判定部１６４は、設定したブロック群の面積が、人の足として認めることが可能な予め定められた所定面積以上であるか否か判定する（Ｓ５０２）。ここで、条件を満たせば（Ｓ５０２におけるＹＥＳ）、ブロック群を、画像の水平方向に対して２分割し（Ｓ５０４）、２分割した部分ブロック群それぞれの中心線を導出する（Ｓ５０６）。
【００８５】
続いて、人候補判定部１６４は、２分割したブロック群それぞれの中心線の中心線角が予め定められた第１角度範囲（例えば、３０±１５度内）に含まれるか否かを判定する（Ｓ５０８）。中心線角が第１角度範囲に含まれていれば（Ｓ５０８におけるＹＥＳ）、当該ブロック群が、一応、第１人候補であると判定して、ブロックに人候補フラグｆ＝「１」を付与する（Ｓ５１０）。かかる第１角度範囲は、車両１とブロック群との距離に応じて変更してもよい。
【００８６】
ブロック群の面積が条件を満たしていない場合（Ｓ５０２におけるＮＯ）、または、中心線角が第１角度範囲に含まれていない場合（Ｓ５０８におけるＮＯ）、人候補判定部１６４は、ブロックに人候補フラグｆ＝「０」を付与して（Ｓ５１２）、次のステップＳ５１４に処理を移す。
【００８７】
そして、人候補判定部１６４は、複数のブロック群全てに関して、ステップＳ５０２〜ステップＳ５１２の処理を遂行したか判定する（Ｓ５１４）。ここで、ブロック群全てが完了していると判定されなければ（Ｓ５１４におけるＮＯ）、第１グループ番号ｇを更新して新たなブロック群を設定し（Ｓ５１６）、新たなブロック群に関してステップＳ５０２からを繰り返す。一方、ブロック群全てが完了していれば（Ｓ５１４におけるＹＥＳ）、次のステップに移行する。
【００８８】
図１４を参照すると、グループ化部１６２は、ブロックをグループ化するための所定範囲（例えば、０．５ｍ）と高さ方向に分割する複数の領域の分割比率とを参照し（Ｓ５５０）、ブロックを特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ５５２）。続いて、グループ化部１６２は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ５５４）。次に、グループ化部１６２は、水平変数ｉに「１」を加算する（Ｓ５５６）。
【００８９】
グループ化部１６２は、距離画像１２６からブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ，ｇ，ｆ）を取得する（Ｓ５５８）。そして、そのブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ，ｇ，ｆ）の人候補フラグｆが「１」であるか否か判定する（Ｓ５６０）。ここで、人候補フラグｆが「１」であれば（Ｓ５６０におけるＹＥＳ）、グループ化部１６２は、分割比率を参照し、高さ方向に分割する複数の領域のち、ブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ，ｇ，ｆ）がいずれの領域に属するかを導出し、その領域の高さ範囲を求める（Ｓ５６２）。
【００９０】
続いて、グループ化部１６２は、ブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ，ｇ，ｆ）の実空間上の座標（ｘ，ｙ，ｚ）に基づいて、上記の所定範囲内であり、かつ、ブロックの高さｙが上記の高さ範囲に含まれる他のブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ，ｇ，ｆ）が存在するか否か判定する（Ｓ５６４）。
【００９１】
他のブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ，ｇ，ｆ）が存在すれば（Ｓ５６４におけるＹＥＳ）、グループ化部１６２は、自己を含む所定範囲内の全てのブロックのいずれかに第２グループ番号ｇｇが付されているか否か判定する（Ｓ５６６）。いずれかに第２グループ番号ｇｇが付されていたら（Ｓ５６６におけるＹＥＳ）、グループ化部１６２は、所定範囲に含まれる全てのブロックおよび同一の第２グループ番号ｇｇが付されている全てのブロックに、その付されている第２グループ番号のうち最も小さい第２グループ番号ｇｇ、および、第２グループ番号としてまだ利用されていない番号のうち最も小さい値のいずれか小さい方を付与して、ブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ，ｇ，ｆ，ｇｇ）とする（Ｓ５６８）。また、いずれにも第２グループ番号ｇｇが付されていない場合（Ｓ５６６におけるＮＯ）、第２グループ番号としてまだ利用されていない番号のうち最も小さい値を、自己を含む所定範囲内の全てのブロックに新規に付与する（Ｓ５７０）。
【００９２】
このように、第１グループ番号ｇ同様、所定範囲内にブロックが複数存在する場合、１の第２グループ番号ｇｇを付すことによってグループ化を行う。このとき、複数のブロックのいずれにも未だ第２グループ番号ｇｇが付されていない場合、新規の第２グループ番号ｇｇを付すこととし、いずれかに既に第２グループ番号ｇｇが付されている場合、それと同一の第２グループ番号ｇｇを付すこととなる。ただし、複数のブロックに複数の第２グループ番号ｇｇが存在する場合、１つのグループとみなすべきなので、そのブロック全ての第２グループ番号ｇｇを１の第２グループ番号ｇｇに置換することとする。
【００９３】
人候補フラグｆが「１」ではない場合（Ｓ５６０におけるＮＯ）、または、所定範囲内に他のブロックが存在しない場合（Ｓ５６４におけるＮＯ）、次のステップＳ５７２に処理が移される。
【００９４】
続いて、グループ化部１６２は、水平変数ｉが水平画素の最大値である１５０を超えたか否か判定し（Ｓ５７２）、水平変数ｉが最大値を超えていなければ（Ｓ５７２におけるＮＯ）、ステップＳ５５６の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ５７２におけるＹＥＳ）、グループ化部１６２は、垂直変数ｊが垂直画素の最大値である５０を超えたか否か判定する（Ｓ５７４）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ５７４におけるＮＯ）、ステップＳ５５４の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ５７４におけるＹＥＳ）、次のステップに移行する。
【００９５】
図１５を参照すると、人候補判定部１６４は、最も小さい第１グループ番号ｇを参照し、その第１グループ番号ｇが付されたブロック群を設定する（Ｓ６００）。次に、人候補判定部１６４は、ブロック群中のブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ，ｇ，ｆ，ｇｇ）の人候補フラグｆが「１」であるか否か判定する（Ｓ６０２）。ここで、人候補フラグｆが「１」であれば（Ｓ６０２におけるＹＥＳ）、設定されたブロック群に属する全ての部分ブロック群（第１グループ番号ｇが等しく、第２グループ番号ｇｇが異なる部分ブロック群）を呼び出し、画像の水平方向に対して２分割する（Ｓ６０４）。そして、人候補判定部１６４は、２分割した部分ブロック群全ての中心線を導出する（Ｓ６０６）。
【００９６】
続いて、人候補判定部１６４は、複数の（ここでは６つの）部分ブロック群から高さ方向に隣接する部分ブロック群の組み合わせを抽出し、抽出した部分ブロック群の組み合わせの中心線同士が成す差分角が、予め定められた第２角度範囲（例えば、絶対値が５度以上）に含まれるか否かを判定する（Ｓ６０８）。差分角が第２角度範囲に含まれていれば（Ｓ６０８におけるＹＥＳ）、当該ブロック群が、第１人候補であると判定して、ブロック中の人候補フラグｆ＝「１」を維持する（Ｓ６１０）。
【００９７】
そして、人候補判定部１６４は、部分ブロック群の組み合わせ全てに関して、ステップＳ６０８、６１０の処理を遂行したか判定する（Ｓ６１２）。ここで、部分ブロック群の組み合わせ全てが完了していると判定されなければ（Ｓ６１２におけるＮＯ）、第２グループ番号ｇｇを更新して隣接する新たな部分ブロック群の組み合わせを設定し（Ｓ６１４）、新たな部分ブロック群の組み合わせに関してステップＳ６０８からを繰り返す。一方、部分ブロック群の組み合わせ全てが完了していれば（Ｓ６１２におけるＹＥＳ）、ステップＳ６１８に移行する。
【００９８】
差分角が第２角度範囲に含まれていない場合（Ｓ６０８におけるＮＯ）、人候補判定部１６４は、ブロックの人候補フラグｆ＝「０」に置換し（Ｓ６１６）、当該ブロック群に関する処理を停止し、ステップＳ６１８に処理を移す。また、人候補フラグｆが「１」ではない場合も（Ｓ６０２におけるＮＯ）、ステップＳ６１８に処理を移す。
【００９９】
人候補判定部１６４は、複数のブロック群全てに関して、ステップＳ６０２〜ステップＳ６１６の処理を遂行したか判定する（Ｓ６１８）。ここで、ブロック群全てが完了していると判定されなければ（Ｓ６１８におけるＮＯ）、第１グループ番号ｇを更新して新たなブロック群を設定し（Ｓ６２０）、新たなブロック群に関してステップＳ６０２からを繰り返す。一方、ブロック群全てが完了していれば（Ｓ６１８におけるＹＥＳ）、当該グループ化・人候補判定処理Ｓ３０２を終了する。こうして、人として認識すべき第１人候補を高精度に抽出することができる。
【０１００】
（人候補追跡処理Ｓ３０４）
図１６を参照すると、人候補追跡部１６６は、登録済みのブロック群を設定し（Ｓ６５０）、設定したブロック群の前回の位置に対応する、今回の画像における位置およびその近傍から、ブロック群の前回の画像の輝度と傾向が類似しているブロック群があるか否か判定する（Ｓ６５２）。ここで、条件を満たすブロック群があれば（Ｓ６５２におけるＹＥＳ）、そのブロック群の追跡を継続すべく、今回の画像のブロック群を前回の画像として更新する（Ｓ６５４）。条件を満たすブロック群が無ければ（Ｓ６５２におけるＮＯ）、そのブロック群の追跡に失敗したこととなるので、追跡中のブロック群の登録を抹消する（Ｓ６５６）。
【０１０１】
続いて、人候補追跡部１６６は、登録済みの複数のブロック群全てに関して、ステップＳ６５２〜ステップＳ６５６の処理を遂行したか判定する（Ｓ６５８）。ここで、登録済みのブロック群全てが完了していると判定されなければ（Ｓ６５８におけるＮＯ）、登録済みの新たなブロック群を設定し（Ｓ６６０）、新たなブロック群に関してステップＳ６５２からを繰り返す。一方、ブロック群全てが完了していれば（Ｓ６５８におけるＹＥＳ）、ステップＳ６６２に処理を移す。
【０１０２】
次に、人候補追跡部１６６は、人候補判定部１６４によって新たに第１人候補と判定されたブロック群があるか否か判定し（Ｓ６６２）、ブロック群があれば（Ｓ６６２におけるＹＥＳ）、そのブロック群を追跡対象として新たに登録する（Ｓ６６４）。このとき、後段の反転測定処理Ｓ３０６に用いる変数として、反転回数Ｎ＝「１」、反転フラグ＝「１」をブロック群に関連付けて設定し、そのブロック群専用の反転時間カウンタを設けて０にリセットする。ここで、反転時間カウンタは、リセットされた時点からの時間を計る手段である。そして、当該人候補追跡処理Ｓ３０４を終了する。こうして、一度でも第１人候補と判定されたブロック群を、そのブロック群の移動に拘わらず、画像中に存在する間、追跡することが可能となる。
【０１０３】
（反転測定処理Ｓ３０６）
図１７を参照すると、反転測定部１６８は、登録済みのブロック群を設定し（Ｓ７００）、そのブロック群に関して、人候補判定部１６４が第１人候補と判定し、かつ、反転フラグが０であるかを判定する（Ｓ７０２）。これは、第１人候補と判定していない状態から第１人候補と判定した状態に反転したことを示す。
【０１０４】
人候補判定部１６４が第１人候補と判定し、かつ、反転フラグが０であれば（Ｓ７０２におけるＹＥＳ）、反転測定部１６８は、反転回数Ｎに１を加えてインクリメントし（Ｓ７０４）、反転時間カウンタから時刻を読み出す（Ｓ７０６）。そして、反転測定部１６８は、反転時間カウンタから読み出した時刻の逆数を反転周期とし、反転時間カウンタをリセットする（Ｓ７０８）。こうして、人候補判定部１６４が第１人候補と判定していない状態から第１人候補と判定した状態に反転したことを契機に、反転回数と反転周期を導出することができる。ここでは、反転周期を１回の反転に基づいて導出しているが、複数回の反転に基づいて平均値を導出してもよい。
【０１０５】
次に、反転測定部１６８は、人候補判定部１６４が第１人候補と判定したか否かの結果を反転フラグに反映する（Ｓ７１０）。具体的に、反転測定部１６８は、人候補判定部１６４が第１人候補と判定していれば、反転フラグを「１」に設定し、人候補判定部１６４が第１人候補と判定していなければ、反転フラグを「０」に設定する。かかる反転フラグは、次回の反転測定処理Ｓ３０６における、第１人候補と判定したか否かの前回値として利用される。
【０１０６】
続いて、反転測定部１６８は、登録済みの複数のブロック群全てに関して、ステップＳ７０２〜ステップＳ７１０の処理を遂行したか判定する（Ｓ７１２）。ここで、登録済みのブロック群全てが完了していると判定されなければ（Ｓ７１２におけるＮＯ）、登録済みの新たなブロック群を設定し（Ｓ７１４）、新たなブロック群に関してステップＳ７０２からを繰り返す。一方、ブロック群全てが完了していれば（Ｓ７１２におけるＹＥＳ）、当該反転測定処理Ｓ３０６を終了する。
【０１０７】
（人候補特定処理Ｓ３０８）
図１８を参照すると、人候補特定部１７０は、登録済みのブロック群を設定し（Ｓ７５０）、そのブロック群に関して、反転回数が予め定められた回数範囲（例えば、４回以上）に含まれているか否か判定する（Ｓ７５２）。反転回数が回数範囲に含まれていれば（Ｓ７５２におけるＹＥＳ）、ブロック群を形成する全てのブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ，ｇ，ｆ，ｇｇ）の人候補フラグｆの「１」を「２」に置換する（Ｓ７５４）。こうして、ブロック群を第１人候補より人の確からしさが高い第２人候補として特定することができる。
【０１０８】
続いて、人候補特定部１７０は、反転周期が予め定められた周期範囲（例えば、０．５Ｈｚ以上）に含まれているか否か判定する（Ｓ７５６）。反転周期が周期範囲に含まれていれば（Ｓ７５６におけるＹＥＳ）、そのブロック群が移動中であると判定し（Ｓ７５８）、その周期範囲に含まれていなければ（Ｓ７５６におけるＮＯ）、ブロック群が停止中であると判定する（Ｓ７６０）。
【０１０９】
続いて、人候補特定部１７０は、登録済みの複数のブロック群全てに関して、ステップＳ７５２〜ステップＳ７６０の処理を遂行したか判定する（Ｓ７６２）。ここで、登録済みのブロック群全てが完了していると判定されなければ（Ｓ７６２におけるＮＯ）、登録済みの新たなブロック群を設定し（Ｓ７６４）、新たなブロック群に関してステップＳ７５２からを繰り返す。一方、ブロック群全てが完了していれば（Ｓ７６２におけるＹＥＳ）、当該人候補特定処理Ｓ３０８を終了する。こうして、第２人候補を抽出すると共に、ブロック群が移動中であるか否かを判定することが可能となる。
【０１１０】
以上、説明したように、車外環境認識装置１３０および車外環境認識方法によれば、人の下部領域（下半身）を通じて人を直接特定することで、人の特定効率および特定精度の向上を図ることが可能となる。
【０１１１】
また、コンピュータを、車外環境認識装置１３０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【０１１２】
（変形例）
上述した実施形態では、グループ化部１６２がグループ化するためのブロック同士の第１の相対関係として、相対的位置関係を用いている。しかし、第１の相対関係は、かかる場合にかぎらず、例えば、輝度の差分やエッジ方向の連続性を用いることもできる。以下、輝度の差分とエッジ方向の連続性について簡単に説明する。
【０１１３】
（輝度の差分）
グループ化部１６２は、距離画像１２６の代わりに輝度画像１２４を用い、輝度画像１２４における複数のブロックを、輝度の差分に基づいてグループ化し、部位群としてのブロック群を生成することができる。例えば、グループ化部１６２は、任意のブロックを基点として、そのブロックと隣接するブロックを取り出し、２つのブロック同士の輝度の差分を導出して、輝度の差分が予め定められた範囲（例えば、ＲＧＢそれぞれの差分がフルスケールの１／１０）内にあるブロックとを、同一の対象物に対応すると仮定してグループ化する。
【０１１４】
（エッジ方向の連続性）
図１９は、エッジ方向の連続性を説明するための説明図であり、そのうち、図１９（ａ）は、夜間に撮像した輝度画像１２４における人２０８の下半身の映像を簡略化したものである。図１９（ａ）における任意のブロック２４０ａを拡大すると、図１９（ｂ）のような輝度分布になり、他の任意のブロック２４０ｂを拡大すると、図１９（ｃ）のような輝度分布になっていたとする。また、輝度の範囲を０〜２５５とし、図１９（ｂ）中、仮に、白色の塗りつぶしを輝度「２００」、黒色の塗りつぶしを輝度「０」とする。ここでは、仮に、ブロックの図中左上画素の輝度をＡ、右上画素の輝度をＢ、左下画素の輝度をＣ、右下画素の輝度をＤとし、エッジ方向の水平方向成分を（Ａ＋Ｂ）−（Ｃ＋Ｄ）、エッジ方向の垂直方向成分を（Ａ＋Ｃ）−（Ｂ＋Ｄ）と定義する。
【０１１５】
すると、図１９（ｂ）に示すブロック２４０ａのエッジ方向の水平方向成分は、（Ａ＋Ｂ）−（Ｃ＋Ｄ）＝（２００＋０）―（２００＋０）＝０となり、エッジ方向の垂直方向成分は、（Ａ＋Ｃ）−（Ｂ＋Ｄ）＝（２００＋２００）−（０＋０）＝＋４００となる。したがって、水平方向成分「０」、垂直方向成分「＋４００」となり、エッジ方向は、図１９（ｄ）の如く垂直方向上向きの矢印で示される。ただし、図１９（ｆ）のように、水平成分は画面右方向を正、垂直成分は画面上方向を正としている。
【０１１６】
同様に、図１９（ｃ）に示すブロック２４０ｂのエッジ方向の水平方向成分は、（Ａ＋Ｂ）−（Ｃ＋Ｄ）＝（０＋０）―（２００＋２００）＝−４００となり、エッジ方向の垂直方向成分は、（Ａ＋Ｃ）−（Ｂ＋Ｄ）＝（０＋２００）−（０＋２００）＝０となる。したがって、水平方向成分「−４００」、垂直方向成分「０」となり、エッジ方向は、図１９（ｅ）の如く水平方向左向きの矢印で示される。
【０１１７】
このように、ブロック内の半分の領域から他の半分の領域を減算する構成により、ブロック内全体に含まれる輝度のオフセットやノイズを取り除くことができ、エッジを適切に抽出することが可能となる。また、加減算のみの単純計算でエッジ方向を導出できるので、計算負荷が軽い。
【０１１８】
エッジ方向の連続性に関しては、このように導出されたエッジ方向の隣接するブロック同士の同一性を判定して、そのブロック同士を関連付けることを目的としている。そこで、当該変形例では、水平方向成分および垂直方向成分のいずれも単位長さで定義し、エッジ方向のバリエーションを単純化する。即ち、水平方向成分および垂直方向成分のいずれも−１、０、＋１のいずれかとみなすこととする。そうすると、エッジ方向は、図１９（ｇ）のようにそれぞれ４５度ずつの角度をなす８つの方向と、水平方向成分および垂直方向成分がいずれも０となる方向無しの９つの状態に限定することができる。こうすることで、グループ化部１６２の計算負荷を大幅に軽減することが可能となる。
【０１１９】
当該変形例において、グループ化部１６２は、人の下半身が表示された画像のブロック毎にエッジ方向を導出し、エッジ方向が等しい隣接するブロック同士を関連付け、連続したエッジ軌跡を生成する。こうして、相対的位置関係や輝度の差分同様に、人の下半身の形状を特定することが可能となる。
【０１２０】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１２１】
例えば、上述した実施形態においては、第１人候補を判定するための第２の相対関係として、２分割したグループ群それぞれの中心線と垂直線とが成す角（中心線角）を用いているが、かかる場合に限らず、形状、面積、対称性、輝度の群から選択された１または複数の関係を用いてもよい。例えば、形状の類似性、面積の差分が所定範囲以内、水平方向に対する対称性が高い、輝度の配分または総量の差分が所定範囲以内である等によって第１人候補を判定する。
【０１２２】
また、上述した実施形態においては、対象物の三次元位置を複数の撮像装置１１０を用い画像データ間の視差に基づいて導出しているが、かかる場合に限られず、例えば、レーザレーダ測距装置等、既知の様々な距離測定装置を用いることができる。ここで、レーザレーダ測距装置は、検出領域１２２にレーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、この所要時間から物体までの距離を測定するものである。
【０１２３】
また、上述した実施形態では、位置情報取得部１６０が、画像処理装置１２０から距離画像（視差情報）１２６を受けて三次元の位置情報を生成している例を挙げている。しかし、かかる場合に限られず、画像処理装置１２０において予め三次元の位置情報を生成し、位置情報取得部１６０は、その生成された三次元の位置情報を取得するとしてもよい。このようにして、機能分散を図り、車外環境認識装置１３０の処理負荷を軽減することが可能となる。
【０１２４】
また、上述した実施形態においては、位置情報取得部１６０、グループ化部１６２、人候補判定部１６４、人候補追跡部１６６、反転測定部１６８、人候補特定部１７０は中央制御部１５６によってソフトウェアで動作するように構成している。しかし、上記の機能部をハードウェアによって構成することも可能である。
【０１２５】
なお、本明細書の車外環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【０１２６】
本発明は、自車両外の環境を認識する車外環境認識装置および車外環境認識方法に利用することができる。
【符号の説明】
【０１２７】
１ …車両
１００ …環境認識システム
１１０ …撮像装置
１２０ …画像処理装置
１３０ …車外環境認識装置
１４０ …車両制御装置
１５０ …Ｉ／Ｆ部（画像取得部）
１６０ …位置情報取得部
１６２ …グループ化部
１６４ …人候補判定部
１６６ …人候補追跡部
１６８ …反転測定部
１７０ …人候補特定部
【技術分野】
【０００１】
本発明は、自車両外の環境を認識する車外環境認識装置および車外環境認識方法に関する。
【背景技術】
【０００２】
従来、自車両の前方に位置する車両や人、障害物等の対象物を特定し、特定した対象物との衝突を回避したり（ブレーキコントロール）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。こうした技術の多くは、対象物を追跡して位置情報を更新し、先行車両や人の移動速度等を計算するように構成されており、この結果が、例えばブレーキコントロールやクルーズコントロールなどに反映される。
【０００３】
このような対象物の中でも、特に歩行者等の人は、先行車両と比べて移動方向や移動速度に関する自由度が高く、絶対的な体積も小さいので、その挙動を把握し追跡することが難しく、ブレーキコントロールやクルーズコントロールへの適用は困難であった。
【０００４】
そこで、自車両で取得した画像内のうち、動きが揃った領域を上部領域と仮定し、その下部において特徴点の動きが不揃いであるか否か判定し、不揃いであれば下部領域とし、その組み合わせを歩行者の全身領域として特定する技術が知られている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３３４９０６０号
【特許文献２】特開２００９−１５７５８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の技術を用いることで、昼間に人の全身を特定することが可能になった。しかし、夜間等ヘッドライトの点灯を要する状況では、歩行者の全身領域のうち、自車両のヘッドライトの光が当たる比較的低い位置（下半身の領域）しか有意な画像を得られないため、上半身の領域に相当する、動きが揃った領域を特定することができなくなる。したがって、例えば、自車両の前を横断する歩行者の全身領域を特定できず、ブレーキコントロールやクルーズコントロールの円滑な動作に支障を与えるおそれがあった。
【０００７】
本発明は、このような課題に鑑み、人の下部領域（下半身）を通じて人を直接特定することで、人の特定効率および特定精度の向上を図ることが可能な、車外環境認識装置および車外環境認識方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の車外環境認識装置は、検出領域内の画像を取得する画像取得部と、取得された画像において道路表面に相当する平面から予め定められた高さまでの領域にある複数の部位を、部位同士の第１の相対関係に基づいてグループ化し、部位群を生成するグループ化部と、部位群を画像の水平方向に対して２分割し、２分割した部位群同士の第２の相対関係に基づいて、部位群が人の候補である第１人候補であるか否か判定する人候補判定部と、を備えることを特徴とする。
【０００９】
第１の相対関係は、相対的位置関係、輝度の差分、または、エッジ方向の連続性のいずれかであってもよい。
【００１０】
第２の相対関係は、形状、面積、対称性、輝度の群から選択された１または複数であってもよい。
【００１１】
第２の相対関係は、２分割した部位群それぞれの中心線と垂直線とが成す角である中心線角それぞれが予め定められた第１角度範囲に含まれるか否かであってもよい。
【００１２】
グループ化部は、画像において道路表面に相当する平面から予め定められた高さまでの領域を、高さ方向に対してさらに複数の領域に分割し、その分割された領域毎に複数の部位をグループ化し、人候補判定部は、２分割した部位群同士の第２の相対関係に加え、グループ化された高さ方向に隣接する部位群の中心線同士が成す差分角が予め定められた第２角度範囲に含まれれば第１人候補と判定してもよい。
【００１３】
人候補判定部は、高さ方向のいずれかの領域同士が成す差分角が予め定められた第２角度範囲に含まれなければ、残りの領域に関する第１人候補の判定を実行しないとしてもよい。
【００１４】
人候補判定部は、車両と部位群との距離に応じて第１角度範囲を変更してもよい。
【００１５】
車外環境認識装置は、人候補判定部が第１人候補と判定した部位群を追跡する人候補追跡部と、人候補追跡部が追跡している部位群に関し、人候補判定部が第１人候補と判定したときと、第１人候補と判定しなかったときとの反転回数を測定する反転測定部と、反転回数が予め定められた回数範囲に含まれていれば、第１人候補を第２人候補として特定する人候補特定部と、をさらに備えてもよい。
【００１６】
車外環境認識装置は、人候補判定部が第１人候補と判定した部位群を追跡する人候補追跡部と、人候補追跡部が追跡している部位群に関し、人候補判定部が第１人候補と判定したときと、第１人候補と判定しなかったときとの反転周期を測定する反転測定部と、反転周期が予め定められた周期範囲に含まれていれば、第１人候補が移動中であると判定する人候補特定部と、をさらに備えてもよい。
【００１７】
上記課題を解決するために、本発明の車外環境認識方法は、検出領域内の画像を取得し、取得した画像において道路表面に相当する平面から予め定められた高さまでの領域にある複数の部位を、部位同士の第１の相対関係に基づいてグループ化し、部位群を生成し、部位群を画像の水平方向に対して２分割し、２分割した部位群同士の第２の相対関係に基づいて、部位群が人の候補である第１人候補であるか否か判定することを特徴とする。
【発明の効果】
【００１８】
本発明によれば、人の下部領域（下半身）を通じて人を直接特定することで、人の特定効率および特定精度の向上を図ることが可能となる。
【図面の簡単な説明】
【００１９】
【図１】環境認識システムの接続関係を示したブロック図である。
【図２】輝度画像を説明するための説明図である。
【図３】車外環境認識装置の概略的な機能を示した機能ブロック図である。
【図４】位置情報取得部による三次元の位置情報への変換を説明するための説明図である。
【図５】グループ化部による領域制限を説明するための説明図である。
【図６】人候補判定部の処理を説明するための説明図である。
【図７】人候補判定部の処理を説明するための説明図である。
【図８】グループ化部による細分化を説明するための説明図である。
【図９】反転測定部の処理を説明するための説明図である。
【図１０】車外環境認識方法の全体的な流れを示したフローチャートである。
【図１１】位置情報取得処理の流れを示したフローチャートである。
【図１２】グループ化・人候補判定処理の流れを示したフローチャートである。
【図１３】グループ化・人候補判定処理の流れを示したフローチャートである。
【図１４】グループ化・人候補判定処理の流れを示したフローチャートである。
【図１５】グループ化・人候補判定処理の流れを示したフローチャートである。
【図１６】人候補追跡処理の流れを示したフローチャートである。
【図１７】反転測定処理の流れを示したフローチャートである。
【図１８】人候補特定処理の流れを示したフローチャートである。
【図１９】エッジ方向の連続性を説明するための説明図である。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００２１】
（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、車両１内に設けられた、複数（本実施形態では２つ）の撮像装置１１０と、画像処理装置１２０と、車外環境認識装置１３０と、車両制御装置１４０とを含んで構成される。
【００２２】
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、カラー画像、即ち、画素単位で３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））の輝度を取得することができる。ここでは、撮像装置１１０で撮像されたカラーの画像を輝度画像と呼び、後述する距離画像と区別する。
【００２３】
また、撮像装置１１０は、車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、車両１の前方の検出領域に存在する特定物を撮像した画像データを、例えば１／６０秒毎（６０ｆｐｓ）に連続して生成する。ここで、特定物は、人（人間）、車両、信号機、道路、ガードレールといった独立して存在する立体物のみならず、ブレーキランプ（テールランプ）やウィンカー、信号機の各点灯部分等、立体物の部分として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。
【００２４】
画像処理装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、２つの画像データに基づいて、部位としての画像中の任意のブロック（所定数の画素を集めたもの）の視差、および、任意のブロックの画面中の位置を示す画面位置を含む視差情報を導出する。画像処理装置１２０は、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、ブロックの説明に用いられた「水平」は、撮像した画像の画面横方向を示し、実空間上の水平方向に相当する。また、「垂直」は、撮像した画像の画面縦方向を示し、実空間上の鉛直方向に相当する。
【００２５】
このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度値（Ｙ色差信号）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。
【００２６】
ただし、画像処理装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する相対距離に相当）を画像データに対応付けた画像を距離画像という。
【００２７】
図２は、輝度画像１２４と距離画像１２６を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２２について図２（ａ）のような輝度画像（画像データ）１２４が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２４の一方のみを模式的に示している。画像処理装置１２０は、このような輝度画像１２４からブロック毎の視差を求め、図２（ｂ）のような距離画像１２６を形成する。距離画像１２６における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。
【００２８】
視差は、画像のエッジ部分（隣り合う画素間で明暗の差分が大きい部分）で特定され易いので、距離画像１２６において黒のドットが付されている、視差が導出されたブロックは、輝度画像１２４においてもエッジとなっていることが多い。したがって、図２（ａ）に示す輝度画像１２４と図２（ｂ）に示す距離画像１２６とは各対象物の輪郭について似たものとなる。
【００２９】
車外環境認識装置１３０は、画像処理装置１２０から距離画像１２６や輝度画像１２４を取得し、距離画像１２６から導き出した自車両からの相対距離や、輝度画像１２４における輝度に基づき、検出領域１２２における対象物がいずれの特定物に対応するかを特定する。例えば、自車両の前を横断する歩行者（特定物）を特定することで、歩行者の存在とその挙動を迅速に把握し、ブレーキコントロールやクルーズコントロールに反映することが可能となる。
【００３０】
尚、上記相対距離は、距離画像１２６におけるブロック毎の視差情報を、所謂ステレオ法を用いて三次元の位置情報に変換することで求められる。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。かかる車外環境認識装置１３０の処理に関しては、後ほど詳述する。
【００３１】
車両制御装置１４０は、車外環境認識装置１３０で特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１４０は、操舵の角度を検出する舵角センサ１４２や車両１の速度を検出する車速センサ１４４等を通じて現在の車両１の走行状態を取得し、アクチュエータ１４６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１４６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１４０は、対象物との衝突が想定される場合、運転者の前方に設置されたディスプレイ１４８にその旨警告表示（報知）を行うと共に、アクチュエータ１４６を制御して車両１を自動的に制動する。かかる車両制御装置１４０は、車外環境認識装置１３０と一体的に形成することもできる。
【００３２】
（車外環境認識装置１３０）
図３は、車外環境認識装置１３０の概略的な機能を示した機能ブロック図である。図３に示すように、車外環境認識装置１３０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、照度計１５４と、中央制御部１５６とを含んで構成される。
【００３３】
Ｉ／Ｆ部１５０は、画像処理装置１２０や車両制御装置１４０との双方向の情報交換を行うためのインターフェースである。かかるＩ／Ｆ部１５０は画像取得部として機能する。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、画像処理装置１２０から受信した輝度画像１２４や距離画像１２６を一時的に保持する。照度計１５４は、車外環境を把握するため車外の照度を計測する。
【００３４】
中央制御部１５６は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５８を通じて、Ｉ／Ｆ部１５０、データ保持部１５２、照度計１５４を制御する。また、本実施形態において、中央制御部１５６は、位置情報取得部１６０、グループ化部１６２、人候補判定部１６４、人候補追跡部１６６、反転測定部１６８、人候補特定部１７０としても機能する。このような中央制御部１５６の各機能部によって、車外環境認識装置１３０は、検出領域内の対象物を特定物として特定する。特定物の代表例としては先行車両や人（歩行者）が挙げられるが、本実施形態では、夜間等ヘッドライトの点灯を要する状況（説明の便宜上、以下では単に「夜間」とする。）において車両１の前方に位置する人を特定する例を説明する。
【００３５】
位置情報取得部１６０は、距離画像１２６における検出領域１２２内のブロック毎の視差情報を、上述したステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む三次元の位置情報に変換する。ここで、視差情報が、距離画像１２６における各ブロックの視差を示すのに対し、三次元の位置情報は、実空間における各ブロックの相対距離の情報を示す。また、視差情報が画素単位ではなくブロック単位、即ち複数の画素単位で導出されている場合、その視差情報はブロックに属する全ての画素の視差情報とみなして、画素単位の計算を実行することができる。
【００３６】
図４は、位置情報取得部１６０による三次元の位置情報への変換を説明するための説明図である。位置情報取得部１６０は、まず、距離画像１２６を図４の如く画素単位の座標系として認識する。ここでは、図４中、左下隅を原点（０，０）とし、横方向をｉ座標軸、縦方向をｊ座標軸とする。したがって、視差ｄｐを有する画素は、画素位置ｉ、ｊと視差ｄｐによって（ｉ，ｊ，ｄｐ）のように表すことができる。
【００３７】
本実施形態における実空間上の三次元座標系を、車両１を中心とした相対座標系で考える。ここでは、車両１の進行方向右側方をＸ軸の正方向、車両１の上方をＹ軸の正方向、車両１の進行方向（前方）をＺ軸の正方向、２つの撮像装置１１０の中央を通る鉛直線と道路表面との交点を原点（０，０，０）とする。このとき、道路を平面と仮定すると、道路表面がＸ−Ｚ平面（ｙ＝０）と一致することとなる。位置情報取得部１６０は、以下の（数式１）〜（数式３）によって距離画像１２６上のブロック（ｉ，ｊ，ｄｐ）を、実空間上の三次元の点（ｘ，ｙ，ｚ）に座標変換する。
ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …（数式１）
ｙ＝ＣＨ＋ｚ・ＰＷ・（ｊ−ＪＶ） …（数式２）
ｚ＝ＫＳ／ｄｐ …（数式３）
ここで、ＣＤは撮像装置１１０同士の間隔（基線長）であり、ＰＷは１画素当たりの視野角であり、ＣＨは撮像装置１１０の道路表面からの配置高さであり、ＩＶ、ＪＶは車両１の真正面における無限遠点の画像上の座標（画素）であり、ＫＳは距離係数（ＫＳ＝ＣＤ／ＰＷ）である。
【００３８】
したがって、位置情報取得部１６０は、当該ブロックと同相対距離にある道路表面上の点と該当ブロックとの距離画像１２６上の検出距離（例えば画素数）に基づいて、道路表面からの高さを導出していることとなる。なお、道路表面に相当するＸ−Ｚ平面（ｙ＝０）は、道路上の車線（道路を区画する線）の三次元座標に基づき導出することができ、車線は、道路との輝度変化から抽出することができる。かかる道路表面の三次元位置は、既存の様々な技術を用いて導出することができるので、ここでは、その詳細な説明を省略する。
【００３９】
グループ化部１６２は、距離画像１２６における複数のブロックを、位置情報取得部１６０によって導出された、第１の相対関係としての相対的位置関係に基づいてグループ化し、部位群としてのブロック群を生成する。例えば、グループ化部１６２は、任意のブロックを基点として、そのブロックと隣接するブロックを取り出し、２つのブロック同士の水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲（例えば０．５ｍ）内にあるブロックを、同一の対象物に対応すると仮定してグループ化する。上記の範囲は実空間上の距離で表され、製造者や搭乗者によって任意の値に設定することができる。
【００４０】
また、グループ化部１６２は、グループ化により新たに追加されたブロックに関しても、そのブロックを基点として、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が所定範囲内にあるブロックをさらにグループ化する。結果的に、同一の特定物と仮定することが可能なブロック全てがグループ化されることとなる。
【００４１】
また、ここでは、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分をそれぞれ独立して判定し、全てが所定範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の二乗平均√（（水平距離ｘの差分）２＋（高さｙの差分）２＋（相対距離ｚの差分）２）が所定範囲に含まれる場合に同一のグループとしてもよい。かかる計算により、ブロック同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。
【００４２】
また、ここでは、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の３つのパラメータを用いているが、かかる場合に限らず、水平距離ｘの差分および高さｙの差分、水平距離ｘの差分および相対距離ｚの差分、もしくは、高さｙの差分および相対距離ｚの差分といったように、いずれか２つの差分のみを用いてグループ化することもできる。さらに、１の特定物においては、輝度が全体的に近似していたり、輝度が変化する傾向が規則的であったりするので、グループ化部１６２は、その輝度特性を利用し、輝度が近いことを条件に加えてグループ化してもよい。
【００４３】
また、本実施形態において、グループ化部１６２は、照度計１５４によって車外環境が夜間と判断できる場合、または、ヘッドライトが点灯していると判断できる場合、検出対象を、検出領域１２２の一部に制限する。具体的に、グループ化部１６２は、道路表面に相当する平面から予め定められた高さ（例えば、１．０ｍ）までの領域に制限し、その領域に存在するブロックのみをグループ化する。
【００４４】
図５は、グループ化部１６２による領域制限を説明するための説明図である。ここでは説明の便宜上、輝度画像１２４を用いて説明する。本実施形態では、主として夜間に車両１の前方に位置する人を特定することを目的としている。この場合、車両１は、ヘッドライトを通じて前方を照射することとなるが、通常のロービームでは、図５（ａ）において四角に囲まれた範囲で示すように、人の足下にのみ光が当たることとなる。したがって、夜間における輝度画像１２４には主として人の足下程度の高さの対象物が映し出され、それに伴って、距離画像１２６でも人の足下程度の高さのブロックに関して相対距離ｚが導出される。グループ化部１６２は、このような夜間に対応すべく、図５（ｂ）において斜線で示した、道路表面より上方であり、かつ、１ｍ以内の立体的な帯状の領域２００に絞ってブロックをグループ化する。
【００４５】
このように、夜間において、検出対象を道路表面から１ｍの範囲に絞ることで、道路表面から１ｍ以上における対象物を検出してしまうといった誤検出を回避でき、確実に人の足を検出できると共に、検出領域１２２全体を対象とする処理に比べ、処理負荷を格段に軽減することが可能となる。
【００４６】
また、グループ化部１６２は、道路表面に相当する平面から予め定められた高さ（例えば、１．０ｍ）までの領域に加え、図５（ｂ）に示したように、ガードレールや路側帯の外側の領域を除くとしてもよい。こうして、さらなる負荷の軽減を果たすことができる。
【００４７】
ここでは、照度計１５４の計測結果やヘッドライトの点灯状態に応じて夜間であると判断し、検出対象を道路表面から１ｍの範囲に制限する例を挙げたが、車外環境が明るい、例えば、昼間等においては、検出対象を検出領域１２２全体とし、また、下半身のみならず、上半身も含んだ人の全身をグループ化するとしてもよい。
【００４８】
人候補判定部１６４は、グループ化部１６２がグループ化したブロック群のうち、人の足として認めることが可能な予め定められた面積以上のブロック群を、画像の水平方向に対して２分割し、２分割したブロック群同士の第２の相対関係に基づいて、ブロック群が第１人候補であるか否か判定する。第２の相対関係は、様々な関係を用いることができるが、ここでは、その典型例として、２分割したブロック群それぞれの全体的な傾きを挙げる。具体的に、人候補判定部１６４は、第２相対関係として、２分割したブロック群それぞれの中心線と垂直線との角度である中心線角それぞれが予め定められた第１角度範囲（例えば、３０±１５度内）に含まれるか否かを判定する。なお、第１人候補は、人候補の確からしさ（レベル）を示し、後述する第２人候補と区別される。
【００４９】
図６は、人候補判定部１６４の処理を説明するための説明図である。夜間の走行において、画像処理装置１２０から図６（ａ）に示すような輝度画像１２４を取得したとする。図６（ａ）では、人２０８に関し、有意な画像は腰より下の部分のみであることが理解できる。このとき、グループ化部１６２が、図６（ａ）の輝度画像１２４に基づく図６（ｂ）の距離画像１２６の、道路表面に相当する平面から予め定められた高さ（例えば、１．０ｍ）までの領域において、相対的位置が近い複数のブロックをグループ化して、ブロック群２１０を抽出したとする。人候補判定部１６４は、ブロック群２１０の外縁を水平および垂直に延長した四角で囲み、仮想的な枠２１２を生成する。そして、枠２１２を水平方向に対して２分割し、図６（ｃ）のように、部分ブロック群２１４ａ、２１４ｂを生成する。
【００５０】
続いて、人候補判定部１６４は、図６（ｃ）の部分ブロック群２１４ａおよび部分ブロック群２１４ｂのそれぞれの全ブロックを参照し、最小二乗法を用いて一点鎖線で示した中心線２１６ａ、２１６ｂを生成する。最小二乗法による近似直線（曲線）の求め方は既知の技術なので、ここでは、その詳細な説明を省略する。また、ここでは、中心線２１６ａ、２１６ｂとして一次元モデルを採用したが、複数次の曲線を用いてもよい。
【００５１】
人候補判定部１６４は、生成した中心線２１６ａ、２１６ｂと、画面垂直方向（鉛直方向）に延長した垂直線２１８との角度である中心線角α、βそれぞれが予め定められた第１角度範囲（例えば、３０±１５度内）に含まれるか否かを判定する。中心線角α、βがいずれも第１角度範囲に含まれていれば、人候補判定部１６４は、その部分ブロック群２１４ａ、２１４ｂを人の２本の足とみなし、ブロック群２１０を第１人候補とする。
【００５２】
ここで用いられる第１角度範囲は、上記のように所定角度に固定してもよいが、車両１とブロック群２１０との距離に応じて変更してもよい。一旦、輝度画像１２４や距離画像１２６として車外環境認識装置１３０に取り込まれた画像は、３次元座標に拘わらず同一の大きさの画素で表される。換言すれば、車両１に近い（近距離の）ブロック群２１０は、画素に比べその面積が大きいので詳細に表現できるが、車両１から遠い（遠距離の）ブロック群２１０は、画素に比べ面積が小さいので、荒くなってしまう。そうすると、遠方のブロック群２１０の分解能は劣化し、中心線２１６ａ、２１６ｂと垂直線２１８との中心線角を正確に検出できない場合が生じ得る。
【００５３】
そこで、人候補判定部１６４は、車両１との相対距離ｚに応じ、遠方に位置するブロック群２１０に対応する第１角度範囲は、近くに位置するブロック群２１０に対応する第１角度範囲より狭めて（厳しくして）、遠方のブロック群２１０を人の足と誤検出するのを回避する。これによって、遠方に実際に人が存在した場合でも検出し難くなるが、遠方の人は環境認識システム１００への影響がほとんどないので、問題とならない。
【００５４】
このようにして、人候補判定部１６４は、グループ化部１６２がグループ化したブロック群２１０を第１人候補としてみなすことができる。しかし、２分割したブロック群２１０（部分ブロック群２１４ａ、２１４ｂ）全体の中心線２１６ａ、２１６ｂのみによって第１人候補を抽出した場合、人と異なる特定物を第１人候補とみなしてしまう場合がある。
【００５５】
図７は、人候補判定部１６４の処理を説明するための説明図である。図７に示すような複数の支柱２３０によって支持されている看板２３２があるとする。ここで、複数の支柱２３０の中心線２１６ａ、２１６ｂと垂直線２１８との中心線角α、βが、第１角度範囲（例えば、３０±１５度内）に含まれていた場合、人候補判定部１６４は、かかる支柱２３０を第１人候補であると判定してしまう。そこで、本実施形態では、人候補判定部１６４が、一旦、第１人候補と判定しても、さらに、ブロック群を細分化して、第１人候補である確からしさを高めた上で、再度、第１人候補を特定する。
【００５６】
具体的に、グループ化部１６２は、画像において道路表面に相当する平面から予め定められた高さまでの領域を、高さ方向に対してさらに複数の領域に分割し、その分割された領域毎にブロック同士をグループ化する。そして、人候補判定部１６４は、高さ方向に隣接する（連続する）、グループ化されたブロック群の中心線同士が成す差分角（関節の曲げ）が予め定められた第２角度範囲（例えば絶対値が５度以上）に含まれれば、そのブロック群２１０を正式に第１人候補と判定する。
【００５７】
図８は、グループ化部１６２による細分化を説明するための説明図である。例えば、グループ化部１６２が、図６（ｂ）に示した距離画像１２６に基づき、道路表面に相当する平面から予め定められた高さ（例えば、１．０ｍ）までの領域をさらに分割した複数の領域において、相対的位置が近い複数のブロックをグループ化し、図８のような部分ブロック群２１４ｃ、２１４ｄ、２１４ｅ、２１４ｆ、２１４ｇ、２１４ｈを抽出したとする。このときの分割比率は、例えば、全領域１ｍに対して道路表面から順に３０ｃｍ、５０ｃｍ、２０ｃｍとする。かかる分割比率は、道路表面上に人の足の爪先と脹ら脛の部分が位置し（３０ｃｍ）、その鉛直上方に太腿が位置し（５０ｃｍ）、その鉛直上方に腰が位置する（２０ｃｍ）という想定から決定される。
【００５８】
続いて、人候補判定部１６４は、高さ方向に隣接する部分ブロック群、例えば、部分ブロック群２１４ｄと部分ブロック群２１４ｅとの中心線２１６ｄ、２１６ｅ同士が成す差分角が、予め定められた第２角度範囲（例えば、絶対値が５度以上）に含まれるか否か判定し、含まれていれば、再度、第１人候補と判定する。このように、人特有の関節の曲げに言及することで、図７に示したような、傾いてはいるものの、単純な直線で示される支柱２３０を第１人候補から排除することができ、より高精度に第１人候補を抽出することが可能となる。
【００５９】
ここでは、典型的な日本人の足と関節との関係から、１．０ｍという全長、３０ｃｍ、５０ｃｍ、２０ｃｍという分割比率を設定したが、全長や分割比率は、任意に設定することができる。例えば、国、地域、環境によって個々に設定することも可能である。
【００６０】
また、このような分割比率を設けた第１人候補の抽出処理において、人候補判定部１６４は、高さ方向のいずれかの領域同士が成す差分角が、予め定められた第２角度範囲に含まれなければ、残りの領域に関する第１人候補の判定を実行しない。これは、第１人候補として判定できない部分を一部でも有する場合、そのブロック群２１０が第１人候補である蓋然性を損なうので、それ以後の処理を省略するものである。こうして、処理負荷の軽減を図ることが可能となる。
【００６１】
このとき、人候補判定部１６４は、第１人候補としての判定を、鉛直下方、即ち、脹ら脛と太腿、太腿と腰の順に行うとしてもよい。これは、太腿と腰の差分角より、脹ら脛と太腿の差分角が大きいことが多く、第１人候補としての判定が正確にできるからである。人候補判定部１６４は、まず、脹ら脛と太腿の差分角を導出し、その値が第２角度範囲に含まれていなければ、以後の太腿と腰の差分角は導出せず、脹ら脛と太腿の差分角が第２角度範囲に含まれている場合にのみ太腿と腰の差分角を導出する。
【００６２】
このように何重もの条件を満たした場合にのみ第１人候補とすることで、第１人候補として抽出されるブロック群２１０が制限される可能性があるが、本来検出すべきではないブロック群２１０を第１人候補として誤検出するより利点がある。これは、ブレーキコントロールやクルーズコントロールにおいて、誤検出により、意図せず頻繁に車両１が減速してしまうと、運転時の快適性が損なわれる可能性があるからである。したがって、本実施形態では、十分に確信がもてるブロック群２１０のみを第１人候補として抽出する。
【００６３】
人候補追跡部１６６は、人候補判定部１６４が第１人候補として抽出したブロック群２１０を画像処理によって追跡する。かかる追跡は、例えば、１／６０秒毎に連続して生成される画像データに基づく画像を用いて、以下のようにして実行される。人候補追跡部１６６は、前回の画像において第１人候補として抽出されたブロック群２１０の位置に対応する今回の画像における位置およびその近傍から、前回の画像のブロック群２１０と輝度の傾向が類似しているブロック群２１０を抽出する。ブロック群２１０の類似は、前回の画像のブロック群２１０を細分化したブロック毎に、今回の画像から、前回のブロックとのパターンマッチングで相関性ありと判断されたブロックを抽出することで判断される。このような類似判定を含め追跡処理に関しては様々な既存の技術を用いることができるので、ここではその詳細な説明を省略する。
【００６４】
反転測定部１６８は、人候補追跡部１６６が追跡しているブロック群２１０に関し、人候補判定部１６４が第１人候補と判定したときと、第１人候補と判定しなかったときとの反転における反転回数および反転周期を測定する。
【００６５】
人は、左右の足を交互に前に出すことによって前進する。したがって、歩行している人を側面から観察すると、両足が前後に開いた状態から両足が閉じた状態を経由して、また両足が前後に開いた状態になる。即ち、人が歩行している場合には、両足が開いた状態（人候補判定部１６４が第１人候補と判定した状態）と閉じた状態（人候補判定部１６４が第１人候補と判定していない状態）とが繰り返されることとなる。そこで、本実施形態では、人候補判定部１６４が第１人候補として抽出したブロック群２１０の挙動を踏まえ、そのブロック群２１０がさらに人として確からしい第２人候補であるか否か、また、第１人候補が移動中であるか否かを判定する。第１人候補と第２人候補は人としての確からしさが異なるのみで、いずれも人の候補に変わりなく、後段の制御において、どこまで人としての確からしさが必要になるかに応じて使い分けている。
【００６６】
図９は、反転測定部１６８の処理を説明するための説明図である。人が歩行しているとき、例えば、右足を前に出している期間ｔ１では、右足の中心線角も左足の中心線角も第１角度範囲に含まれているので、人候補判定部１６４は、そのブロック群２１０を第１人候補とする。しかし、左足を前に出している途中の期間ｔ２では、両足が重なり、両足の中心線角が第１角度範囲から一旦外れてしまう。そして、左足が前に出た期間ｔ３では、再び、両足の中心線角が第１角度範囲に含まれることとなる。このように、人候補追跡部１６６に追跡されているブロック群２１０に関し、人候補判定部１６４に第１人候補であると判定された状態（第１人候補判定）と、第１人候補ではないと判定された状態（第１人候補非判定）とを図９のようなタイミングチャートで表すと、その挙動が周期的であることが理解できる。反転測定部１６８は、このような反転回数と反転周期を測定する。
【００６７】
人候補特定部１７０は、反転測定部１６８が測定した反転回数を観察し、反転回数が予め定められた回数範囲（例えば、４回以上）に含まれていれば、図９に矢印で示すように、第１人候補を、第１人候補より人の確からしさが高い第２人候補に変更する。
【００６８】
こうして、車外環境認識装置１３０では、距離画像１２６から、１または複数のブロック群を、第２人候補として抽出することができ、その情報を様々な制御に用いることが可能となる。例えば、検出領域内の任意のブロック群が人（第２人候補）であると特定されると、特定した人との衝突を回避したり、人との距離を安全な距離に保つように制御することができる。
【００６９】
また、人候補特定部１７０は、反転測定部１６８が測定した反転周期が予め定められた周期範囲（例えば、０．５Ｈｚ以上）に含まれていれば、第１人候補が移動中であると判定し、その周期範囲に含まれていなければ（例えば、０．５Ｈｚ未満）、第１人候補が停止中であると判定する。
【００７０】
こうして、車外環境認識装置１３０では、第１人候補または第２人候補として抽出したブロック群２１０が移動していることを判定でき、判定された人との衝突を回避したり、人との距離を安全な距離に保つように制御することができる。
【００７１】
（車外環境認識方法）
以下、車外環境認識装置１３０の具体的な処理を図１０〜図１８のフローチャートに基づいて説明する。図１０は、画像処理装置１２０から距離画像１２６が送信された場合の割込処理に関する全体的な流れを示し、図１１〜図１８は、その中の個別のサブルーチンを示している。また、ここでは、処理の対象としてブロックまたは画素を挙げており、輝度画像１２４や距離画像１２６の左下隅を原点とし、ブロックでは、画像水平方向に１〜１５０ブロック、垂直方向に１〜５０ブロックの範囲で当該車外環境認識方法による処理を遂行する。ここでは、説明の便宜上、夜間の走行を前提として説明する。
【００７２】
図１０に示すように、距離画像１２６の受信を契機に当該車外環境認識方法による割込が発生すると、画像処理装置１２０から取得した距離画像１２６が参照されて、位置情報取得部１６０は、距離画像１２６における検出領域１２２内のブロック毎の視差情報を三次元の位置情報に変換する（Ｓ３００）。そして、グループ化部１６２および人候補判定部１６４は、道路表面に相当する平面から予め定められた高さまでの領域にある複数のブロックをグループ化し、グループ化したブロック群が第１人候補であるか否か判定する（Ｓ３０２）。
【００７３】
次に、人候補追跡部１６６は、人候補判定部１６４が第１人候補として抽出したブロック群２１０全てを画像処理によって追跡する（Ｓ３０４）。反転測定部１６８は、人候補追跡部１６６が追跡しているブロック群２１０全てに関し、人候補判定部１６４が第１人候補と判定したときと、第１人候補と判定しなかったときとの反転回数および反転周期を並行して測定する（Ｓ３０６）。続いて、人候補特定部１７０は、反転測定部１６８の結果に基づいて、第２人候補を特定、または、第１人候補が移動中であるか否かを判定する（Ｓ３０８）。以下、上記の処理を具体的に説明する。
【００７４】
（位置情報取得処理Ｓ３００）
図１１を参照すると、位置情報取得部１６０は、ブロックを特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ４００）。続いて、位置情報取得部１６０は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ４０２）。次に、位置情報取得部１６０は、水平変数ｉに「１」を加算する（Ｓ４０４）。
【００７５】
位置情報取得部１６０は、距離画像１２６のブロック（ｉ，ｊ，ｄｐ）から視差情報ｄｐを取得する（Ｓ４０６）。そして、位置情報取得部１６０は、視差情報ｄｐを含むブロック（ｉ，ｊ，ｄｐ）を、上記数式１〜３を用い、実空間上の点（ｘ，ｙ，ｚ）に座標変換して、ブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）とする（Ｓ４０８）。
【００７６】
続いて、位置情報取得部１６０は、水平変数ｉが水平ブロックの最大値である１５０を超えたか否か判定し（Ｓ４１０）、水平変数ｉが最大値を超えていなければ（Ｓ４１０におけるＮＯ）、ステップＳ４０４の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ４１０にけるＹＥＳ）、位置情報取得部１６０は、垂直変数ｊが垂直ブロックの最大値である５０を超えたか否か判定する（Ｓ４１２）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ４１２におけるＮＯ）、ステップＳ４０２の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ４１２におけるＹＥＳ）、当該位置情報取得処理Ｓ３００を終了する。こうして、距離画像１２６の視差情報ｄｐが三次元の位置情報に変換される。
【００７７】
（グループ化・人候補判定処理Ｓ３０２）
図１２を参照すると、グループ化部１６２は、ブロックをグループ化するための所定範囲（例えば、０．５ｍ）を参照し（Ｓ４５０）、ブロックを特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ４５２）。続いて、グループ化部１６２は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ４５４）。次に、グループ化部１６２は、水平変数ｉに「１」を加算する（Ｓ４５６）。
【００７８】
グループ化部１６２は、距離画像１２６からブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）を取得する（Ｓ４５８）。そして、そのブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）の高さｙが制限範囲、即ち、道路表面に相当する平面から予め定められた高さ（例えば、１．０ｍ）まで含まれるか否か判定する（Ｓ４６０）。ここで、高さｙが制限範囲内であれば（Ｓ４６０におけるＹＥＳ）、グループ化部１６２は、そのブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）の実空間上の座標（ｘ，ｙ，ｚ）に基づいて、上記の所定範囲内であり、かつ、上記の制限範囲内に他のブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）が存在するか否か判定する（Ｓ４６２）。
【００７９】
他のブロックが存在すれば（Ｓ４６２におけるＹＥＳ）、グループ化部１６２は、自己を含む所定範囲内の全てのブロックのいずれかに第１グループ番号ｇが付されているか否か判定する（Ｓ４６４）。いずれかに第１グループ番号ｇが付されていたら（Ｓ４６４におけるＹＥＳ）、グループ化部１６２は、所定範囲に含まれる全てのブロックおよび同一の第１グループ番号ｇが付されている全てのブロックに、その付されている第１グループ番号のうち最も小さい第１グループ番号ｇ、および、第１グループ番号としてまだ利用されていない番号のうち最も小さい値のいずれか小さい方を付与して、ブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ，ｇ）とする（Ｓ４６６）。また、いずれにも第１グループ番号ｇが付されていない場合（Ｓ４６４におけるＮＯ）、第１グループ番号としてまだ利用されていない番号のうち最も小さい値を、自己を含む所定範囲内の全てのブロックに新規に付与する（Ｓ４６８）。
【００８０】
このように、所定範囲内にブロックが複数存在する場合、１の第１グループ番号ｇを付すことによってグループ化を行う。このとき、複数のブロックのいずれにも未だ第１グループ番号ｇが付されていない場合、新規の第１グループ番号ｇを付すこととし、いずれかに既に第１グループ番号ｇが付されている場合、それと同一の第１グループ番号ｇを付すこととなる。ただし、複数のブロックに複数の第１グループ番号ｇが存在する場合、１つのグループとみなすべきなので、そのブロック全ての第１グループ番号ｇを１の第１グループ番号ｇに置換することとする。
【００８１】
このとき、所定範囲に含まれる全てのブロックのみならず、同一の第１グループ番号ｇが付されている全てのブロックの第１グループ番号ｇを一度に変更しているのは、第１グループ番号ｇの変更により、すでに統一化されたグループを分離しないためである。また、最も小さい第１グループ番号ｇまたは第１グループ番号としてまだ利用されていない番号のうち最も小さい値のいずれか小さい方を採用しているのは、グループの採番において可能な限り欠番を出さないようにするためである。こうすることで、第１グループ番号ｇの最大値が無用に大きくなることがなくなり、処理負荷を軽減することが可能となる。
【００８２】
図１２に戻って、高さｙが制限範囲外の場合（Ｓ４６０におけるＮＯ）、または、所定範囲内に他のブロックが存在しない場合（Ｓ４６２におけるＮＯ）、次のステップＳ４７０に処理が移される。
【００８３】
続いて、グループ化部１６２は、水平変数ｉが水平画素の最大値である１５０を超えたか否か判定し（Ｓ４７０）、水平変数ｉが最大値を超えていなければ（Ｓ４７０におけるＮＯ）、ステップＳ４５６の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ４７０におけるＹＥＳ）、グループ化部１６２は、垂直変数ｊが垂直画素の最大値である５０を超えたか否か判定する（Ｓ４７２）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ４７２におけるＮＯ）、ステップＳ４５４の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ４７２におけるＹＥＳ）、次のステップに移行する。
【００８４】
図１３を参照すると、人候補判定部１６４は、最も小さい第１グループ番号ｇを参照し、その第１グループ番号ｇが付されたブロック群（第１グループ番号ｇが付された全てのブロック）を設定する（Ｓ５００）。次に、人候補判定部１６４は、設定したブロック群の面積が、人の足として認めることが可能な予め定められた所定面積以上であるか否か判定する（Ｓ５０２）。ここで、条件を満たせば（Ｓ５０２におけるＹＥＳ）、ブロック群を、画像の水平方向に対して２分割し（Ｓ５０４）、２分割した部分ブロック群それぞれの中心線を導出する（Ｓ５０６）。
【００８５】
続いて、人候補判定部１６４は、２分割したブロック群それぞれの中心線の中心線角が予め定められた第１角度範囲（例えば、３０±１５度内）に含まれるか否かを判定する（Ｓ５０８）。中心線角が第１角度範囲に含まれていれば（Ｓ５０８におけるＹＥＳ）、当該ブロック群が、一応、第１人候補であると判定して、ブロックに人候補フラグｆ＝「１」を付与する（Ｓ５１０）。かかる第１角度範囲は、車両１とブロック群との距離に応じて変更してもよい。
【００８６】
ブロック群の面積が条件を満たしていない場合（Ｓ５０２におけるＮＯ）、または、中心線角が第１角度範囲に含まれていない場合（Ｓ５０８におけるＮＯ）、人候補判定部１６４は、ブロックに人候補フラグｆ＝「０」を付与して（Ｓ５１２）、次のステップＳ５１４に処理を移す。
【００８７】
そして、人候補判定部１６４は、複数のブロック群全てに関して、ステップＳ５０２〜ステップＳ５１２の処理を遂行したか判定する（Ｓ５１４）。ここで、ブロック群全てが完了していると判定されなければ（Ｓ５１４におけるＮＯ）、第１グループ番号ｇを更新して新たなブロック群を設定し（Ｓ５１６）、新たなブロック群に関してステップＳ５０２からを繰り返す。一方、ブロック群全てが完了していれば（Ｓ５１４におけるＹＥＳ）、次のステップに移行する。
【００８８】
図１４を参照すると、グループ化部１６２は、ブロックをグループ化するための所定範囲（例えば、０．５ｍ）と高さ方向に分割する複数の領域の分割比率とを参照し（Ｓ５５０）、ブロックを特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ５５２）。続いて、グループ化部１６２は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ５５４）。次に、グループ化部１６２は、水平変数ｉに「１」を加算する（Ｓ５５６）。
【００８９】
グループ化部１６２は、距離画像１２６からブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ，ｇ，ｆ）を取得する（Ｓ５５８）。そして、そのブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ，ｇ，ｆ）の人候補フラグｆが「１」であるか否か判定する（Ｓ５６０）。ここで、人候補フラグｆが「１」であれば（Ｓ５６０におけるＹＥＳ）、グループ化部１６２は、分割比率を参照し、高さ方向に分割する複数の領域のち、ブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ，ｇ，ｆ）がいずれの領域に属するかを導出し、その領域の高さ範囲を求める（Ｓ５６２）。
【００９０】
続いて、グループ化部１６２は、ブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ，ｇ，ｆ）の実空間上の座標（ｘ，ｙ，ｚ）に基づいて、上記の所定範囲内であり、かつ、ブロックの高さｙが上記の高さ範囲に含まれる他のブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ，ｇ，ｆ）が存在するか否か判定する（Ｓ５６４）。
【００９１】
他のブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ，ｇ，ｆ）が存在すれば（Ｓ５６４におけるＹＥＳ）、グループ化部１６２は、自己を含む所定範囲内の全てのブロックのいずれかに第２グループ番号ｇｇが付されているか否か判定する（Ｓ５６６）。いずれかに第２グループ番号ｇｇが付されていたら（Ｓ５６６におけるＹＥＳ）、グループ化部１６２は、所定範囲に含まれる全てのブロックおよび同一の第２グループ番号ｇｇが付されている全てのブロックに、その付されている第２グループ番号のうち最も小さい第２グループ番号ｇｇ、および、第２グループ番号としてまだ利用されていない番号のうち最も小さい値のいずれか小さい方を付与して、ブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ，ｇ，ｆ，ｇｇ）とする（Ｓ５６８）。また、いずれにも第２グループ番号ｇｇが付されていない場合（Ｓ５６６におけるＮＯ）、第２グループ番号としてまだ利用されていない番号のうち最も小さい値を、自己を含む所定範囲内の全てのブロックに新規に付与する（Ｓ５７０）。
【００９２】
このように、第１グループ番号ｇ同様、所定範囲内にブロックが複数存在する場合、１の第２グループ番号ｇｇを付すことによってグループ化を行う。このとき、複数のブロックのいずれにも未だ第２グループ番号ｇｇが付されていない場合、新規の第２グループ番号ｇｇを付すこととし、いずれかに既に第２グループ番号ｇｇが付されている場合、それと同一の第２グループ番号ｇｇを付すこととなる。ただし、複数のブロックに複数の第２グループ番号ｇｇが存在する場合、１つのグループとみなすべきなので、そのブロック全ての第２グループ番号ｇｇを１の第２グループ番号ｇｇに置換することとする。
【００９３】
人候補フラグｆが「１」ではない場合（Ｓ５６０におけるＮＯ）、または、所定範囲内に他のブロックが存在しない場合（Ｓ５６４におけるＮＯ）、次のステップＳ５７２に処理が移される。
【００９４】
続いて、グループ化部１６２は、水平変数ｉが水平画素の最大値である１５０を超えたか否か判定し（Ｓ５７２）、水平変数ｉが最大値を超えていなければ（Ｓ５７２におけるＮＯ）、ステップＳ５５６の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ５７２におけるＹＥＳ）、グループ化部１６２は、垂直変数ｊが垂直画素の最大値である５０を超えたか否か判定する（Ｓ５７４）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ５７４におけるＮＯ）、ステップＳ５５４の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ５７４におけるＹＥＳ）、次のステップに移行する。
【００９５】
図１５を参照すると、人候補判定部１６４は、最も小さい第１グループ番号ｇを参照し、その第１グループ番号ｇが付されたブロック群を設定する（Ｓ６００）。次に、人候補判定部１６４は、ブロック群中のブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ，ｇ，ｆ，ｇｇ）の人候補フラグｆが「１」であるか否か判定する（Ｓ６０２）。ここで、人候補フラグｆが「１」であれば（Ｓ６０２におけるＹＥＳ）、設定されたブロック群に属する全ての部分ブロック群（第１グループ番号ｇが等しく、第２グループ番号ｇｇが異なる部分ブロック群）を呼び出し、画像の水平方向に対して２分割する（Ｓ６０４）。そして、人候補判定部１６４は、２分割した部分ブロック群全ての中心線を導出する（Ｓ６０６）。
【００９６】
続いて、人候補判定部１６４は、複数の（ここでは６つの）部分ブロック群から高さ方向に隣接する部分ブロック群の組み合わせを抽出し、抽出した部分ブロック群の組み合わせの中心線同士が成す差分角が、予め定められた第２角度範囲（例えば、絶対値が５度以上）に含まれるか否かを判定する（Ｓ６０８）。差分角が第２角度範囲に含まれていれば（Ｓ６０８におけるＹＥＳ）、当該ブロック群が、第１人候補であると判定して、ブロック中の人候補フラグｆ＝「１」を維持する（Ｓ６１０）。
【００９７】
そして、人候補判定部１６４は、部分ブロック群の組み合わせ全てに関して、ステップＳ６０８、６１０の処理を遂行したか判定する（Ｓ６１２）。ここで、部分ブロック群の組み合わせ全てが完了していると判定されなければ（Ｓ６１２におけるＮＯ）、第２グループ番号ｇｇを更新して隣接する新たな部分ブロック群の組み合わせを設定し（Ｓ６１４）、新たな部分ブロック群の組み合わせに関してステップＳ６０８からを繰り返す。一方、部分ブロック群の組み合わせ全てが完了していれば（Ｓ６１２におけるＹＥＳ）、ステップＳ６１８に移行する。
【００９８】
差分角が第２角度範囲に含まれていない場合（Ｓ６０８におけるＮＯ）、人候補判定部１６４は、ブロックの人候補フラグｆ＝「０」に置換し（Ｓ６１６）、当該ブロック群に関する処理を停止し、ステップＳ６１８に処理を移す。また、人候補フラグｆが「１」ではない場合も（Ｓ６０２におけるＮＯ）、ステップＳ６１８に処理を移す。
【００９９】
人候補判定部１６４は、複数のブロック群全てに関して、ステップＳ６０２〜ステップＳ６１６の処理を遂行したか判定する（Ｓ６１８）。ここで、ブロック群全てが完了していると判定されなければ（Ｓ６１８におけるＮＯ）、第１グループ番号ｇを更新して新たなブロック群を設定し（Ｓ６２０）、新たなブロック群に関してステップＳ６０２からを繰り返す。一方、ブロック群全てが完了していれば（Ｓ６１８におけるＹＥＳ）、当該グループ化・人候補判定処理Ｓ３０２を終了する。こうして、人として認識すべき第１人候補を高精度に抽出することができる。
【０１００】
（人候補追跡処理Ｓ３０４）
図１６を参照すると、人候補追跡部１６６は、登録済みのブロック群を設定し（Ｓ６５０）、設定したブロック群の前回の位置に対応する、今回の画像における位置およびその近傍から、ブロック群の前回の画像の輝度と傾向が類似しているブロック群があるか否か判定する（Ｓ６５２）。ここで、条件を満たすブロック群があれば（Ｓ６５２におけるＹＥＳ）、そのブロック群の追跡を継続すべく、今回の画像のブロック群を前回の画像として更新する（Ｓ６５４）。条件を満たすブロック群が無ければ（Ｓ６５２におけるＮＯ）、そのブロック群の追跡に失敗したこととなるので、追跡中のブロック群の登録を抹消する（Ｓ６５６）。
【０１０１】
続いて、人候補追跡部１６６は、登録済みの複数のブロック群全てに関して、ステップＳ６５２〜ステップＳ６５６の処理を遂行したか判定する（Ｓ６５８）。ここで、登録済みのブロック群全てが完了していると判定されなければ（Ｓ６５８におけるＮＯ）、登録済みの新たなブロック群を設定し（Ｓ６６０）、新たなブロック群に関してステップＳ６５２からを繰り返す。一方、ブロック群全てが完了していれば（Ｓ６５８におけるＹＥＳ）、ステップＳ６６２に処理を移す。
【０１０２】
次に、人候補追跡部１６６は、人候補判定部１６４によって新たに第１人候補と判定されたブロック群があるか否か判定し（Ｓ６６２）、ブロック群があれば（Ｓ６６２におけるＹＥＳ）、そのブロック群を追跡対象として新たに登録する（Ｓ６６４）。このとき、後段の反転測定処理Ｓ３０６に用いる変数として、反転回数Ｎ＝「１」、反転フラグ＝「１」をブロック群に関連付けて設定し、そのブロック群専用の反転時間カウンタを設けて０にリセットする。ここで、反転時間カウンタは、リセットされた時点からの時間を計る手段である。そして、当該人候補追跡処理Ｓ３０４を終了する。こうして、一度でも第１人候補と判定されたブロック群を、そのブロック群の移動に拘わらず、画像中に存在する間、追跡することが可能となる。
【０１０３】
（反転測定処理Ｓ３０６）
図１７を参照すると、反転測定部１６８は、登録済みのブロック群を設定し（Ｓ７００）、そのブロック群に関して、人候補判定部１６４が第１人候補と判定し、かつ、反転フラグが０であるかを判定する（Ｓ７０２）。これは、第１人候補と判定していない状態から第１人候補と判定した状態に反転したことを示す。
【０１０４】
人候補判定部１６４が第１人候補と判定し、かつ、反転フラグが０であれば（Ｓ７０２におけるＹＥＳ）、反転測定部１６８は、反転回数Ｎに１を加えてインクリメントし（Ｓ７０４）、反転時間カウンタから時刻を読み出す（Ｓ７０６）。そして、反転測定部１６８は、反転時間カウンタから読み出した時刻の逆数を反転周期とし、反転時間カウンタをリセットする（Ｓ７０８）。こうして、人候補判定部１６４が第１人候補と判定していない状態から第１人候補と判定した状態に反転したことを契機に、反転回数と反転周期を導出することができる。ここでは、反転周期を１回の反転に基づいて導出しているが、複数回の反転に基づいて平均値を導出してもよい。
【０１０５】
次に、反転測定部１６８は、人候補判定部１６４が第１人候補と判定したか否かの結果を反転フラグに反映する（Ｓ７１０）。具体的に、反転測定部１６８は、人候補判定部１６４が第１人候補と判定していれば、反転フラグを「１」に設定し、人候補判定部１６４が第１人候補と判定していなければ、反転フラグを「０」に設定する。かかる反転フラグは、次回の反転測定処理Ｓ３０６における、第１人候補と判定したか否かの前回値として利用される。
【０１０６】
続いて、反転測定部１６８は、登録済みの複数のブロック群全てに関して、ステップＳ７０２〜ステップＳ７１０の処理を遂行したか判定する（Ｓ７１２）。ここで、登録済みのブロック群全てが完了していると判定されなければ（Ｓ７１２におけるＮＯ）、登録済みの新たなブロック群を設定し（Ｓ７１４）、新たなブロック群に関してステップＳ７０２からを繰り返す。一方、ブロック群全てが完了していれば（Ｓ７１２におけるＹＥＳ）、当該反転測定処理Ｓ３０６を終了する。
【０１０７】
（人候補特定処理Ｓ３０８）
図１８を参照すると、人候補特定部１７０は、登録済みのブロック群を設定し（Ｓ７５０）、そのブロック群に関して、反転回数が予め定められた回数範囲（例えば、４回以上）に含まれているか否か判定する（Ｓ７５２）。反転回数が回数範囲に含まれていれば（Ｓ７５２におけるＹＥＳ）、ブロック群を形成する全てのブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ，ｇ，ｆ，ｇｇ）の人候補フラグｆの「１」を「２」に置換する（Ｓ７５４）。こうして、ブロック群を第１人候補より人の確からしさが高い第２人候補として特定することができる。
【０１０８】
続いて、人候補特定部１７０は、反転周期が予め定められた周期範囲（例えば、０．５Ｈｚ以上）に含まれているか否か判定する（Ｓ７５６）。反転周期が周期範囲に含まれていれば（Ｓ７５６におけるＹＥＳ）、そのブロック群が移動中であると判定し（Ｓ７５８）、その周期範囲に含まれていなければ（Ｓ７５６におけるＮＯ）、ブロック群が停止中であると判定する（Ｓ７６０）。
【０１０９】
続いて、人候補特定部１７０は、登録済みの複数のブロック群全てに関して、ステップＳ７５２〜ステップＳ７６０の処理を遂行したか判定する（Ｓ７６２）。ここで、登録済みのブロック群全てが完了していると判定されなければ（Ｓ７６２におけるＮＯ）、登録済みの新たなブロック群を設定し（Ｓ７６４）、新たなブロック群に関してステップＳ７５２からを繰り返す。一方、ブロック群全てが完了していれば（Ｓ７６２におけるＹＥＳ）、当該人候補特定処理Ｓ３０８を終了する。こうして、第２人候補を抽出すると共に、ブロック群が移動中であるか否かを判定することが可能となる。
【０１１０】
以上、説明したように、車外環境認識装置１３０および車外環境認識方法によれば、人の下部領域（下半身）を通じて人を直接特定することで、人の特定効率および特定精度の向上を図ることが可能となる。
【０１１１】
また、コンピュータを、車外環境認識装置１３０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【０１１２】
（変形例）
上述した実施形態では、グループ化部１６２がグループ化するためのブロック同士の第１の相対関係として、相対的位置関係を用いている。しかし、第１の相対関係は、かかる場合にかぎらず、例えば、輝度の差分やエッジ方向の連続性を用いることもできる。以下、輝度の差分とエッジ方向の連続性について簡単に説明する。
【０１１３】
（輝度の差分）
グループ化部１６２は、距離画像１２６の代わりに輝度画像１２４を用い、輝度画像１２４における複数のブロックを、輝度の差分に基づいてグループ化し、部位群としてのブロック群を生成することができる。例えば、グループ化部１６２は、任意のブロックを基点として、そのブロックと隣接するブロックを取り出し、２つのブロック同士の輝度の差分を導出して、輝度の差分が予め定められた範囲（例えば、ＲＧＢそれぞれの差分がフルスケールの１／１０）内にあるブロックとを、同一の対象物に対応すると仮定してグループ化する。
【０１１４】
（エッジ方向の連続性）
図１９は、エッジ方向の連続性を説明するための説明図であり、そのうち、図１９（ａ）は、夜間に撮像した輝度画像１２４における人２０８の下半身の映像を簡略化したものである。図１９（ａ）における任意のブロック２４０ａを拡大すると、図１９（ｂ）のような輝度分布になり、他の任意のブロック２４０ｂを拡大すると、図１９（ｃ）のような輝度分布になっていたとする。また、輝度の範囲を０〜２５５とし、図１９（ｂ）中、仮に、白色の塗りつぶしを輝度「２００」、黒色の塗りつぶしを輝度「０」とする。ここでは、仮に、ブロックの図中左上画素の輝度をＡ、右上画素の輝度をＢ、左下画素の輝度をＣ、右下画素の輝度をＤとし、エッジ方向の水平方向成分を（Ａ＋Ｂ）−（Ｃ＋Ｄ）、エッジ方向の垂直方向成分を（Ａ＋Ｃ）−（Ｂ＋Ｄ）と定義する。
【０１１５】
すると、図１９（ｂ）に示すブロック２４０ａのエッジ方向の水平方向成分は、（Ａ＋Ｂ）−（Ｃ＋Ｄ）＝（２００＋０）―（２００＋０）＝０となり、エッジ方向の垂直方向成分は、（Ａ＋Ｃ）−（Ｂ＋Ｄ）＝（２００＋２００）−（０＋０）＝＋４００となる。したがって、水平方向成分「０」、垂直方向成分「＋４００」となり、エッジ方向は、図１９（ｄ）の如く垂直方向上向きの矢印で示される。ただし、図１９（ｆ）のように、水平成分は画面右方向を正、垂直成分は画面上方向を正としている。
【０１１６】
同様に、図１９（ｃ）に示すブロック２４０ｂのエッジ方向の水平方向成分は、（Ａ＋Ｂ）−（Ｃ＋Ｄ）＝（０＋０）―（２００＋２００）＝−４００となり、エッジ方向の垂直方向成分は、（Ａ＋Ｃ）−（Ｂ＋Ｄ）＝（０＋２００）−（０＋２００）＝０となる。したがって、水平方向成分「−４００」、垂直方向成分「０」となり、エッジ方向は、図１９（ｅ）の如く水平方向左向きの矢印で示される。
【０１１７】
このように、ブロック内の半分の領域から他の半分の領域を減算する構成により、ブロック内全体に含まれる輝度のオフセットやノイズを取り除くことができ、エッジを適切に抽出することが可能となる。また、加減算のみの単純計算でエッジ方向を導出できるので、計算負荷が軽い。
【０１１８】
エッジ方向の連続性に関しては、このように導出されたエッジ方向の隣接するブロック同士の同一性を判定して、そのブロック同士を関連付けることを目的としている。そこで、当該変形例では、水平方向成分および垂直方向成分のいずれも単位長さで定義し、エッジ方向のバリエーションを単純化する。即ち、水平方向成分および垂直方向成分のいずれも−１、０、＋１のいずれかとみなすこととする。そうすると、エッジ方向は、図１９（ｇ）のようにそれぞれ４５度ずつの角度をなす８つの方向と、水平方向成分および垂直方向成分がいずれも０となる方向無しの９つの状態に限定することができる。こうすることで、グループ化部１６２の計算負荷を大幅に軽減することが可能となる。
【０１１９】
当該変形例において、グループ化部１６２は、人の下半身が表示された画像のブロック毎にエッジ方向を導出し、エッジ方向が等しい隣接するブロック同士を関連付け、連続したエッジ軌跡を生成する。こうして、相対的位置関係や輝度の差分同様に、人の下半身の形状を特定することが可能となる。
【０１２０】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１２１】
例えば、上述した実施形態においては、第１人候補を判定するための第２の相対関係として、２分割したグループ群それぞれの中心線と垂直線とが成す角（中心線角）を用いているが、かかる場合に限らず、形状、面積、対称性、輝度の群から選択された１または複数の関係を用いてもよい。例えば、形状の類似性、面積の差分が所定範囲以内、水平方向に対する対称性が高い、輝度の配分または総量の差分が所定範囲以内である等によって第１人候補を判定する。
【０１２２】
また、上述した実施形態においては、対象物の三次元位置を複数の撮像装置１１０を用い画像データ間の視差に基づいて導出しているが、かかる場合に限られず、例えば、レーザレーダ測距装置等、既知の様々な距離測定装置を用いることができる。ここで、レーザレーダ測距装置は、検出領域１２２にレーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、この所要時間から物体までの距離を測定するものである。
【０１２３】
また、上述した実施形態では、位置情報取得部１６０が、画像処理装置１２０から距離画像（視差情報）１２６を受けて三次元の位置情報を生成している例を挙げている。しかし、かかる場合に限られず、画像処理装置１２０において予め三次元の位置情報を生成し、位置情報取得部１６０は、その生成された三次元の位置情報を取得するとしてもよい。このようにして、機能分散を図り、車外環境認識装置１３０の処理負荷を軽減することが可能となる。
【０１２４】
また、上述した実施形態においては、位置情報取得部１６０、グループ化部１６２、人候補判定部１６４、人候補追跡部１６６、反転測定部１６８、人候補特定部１７０は中央制御部１５６によってソフトウェアで動作するように構成している。しかし、上記の機能部をハードウェアによって構成することも可能である。
【０１２５】
なお、本明細書の車外環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【０１２６】
本発明は、自車両外の環境を認識する車外環境認識装置および車外環境認識方法に利用することができる。
【符号の説明】
【０１２７】
１ …車両
１００ …環境認識システム
１１０ …撮像装置
１２０ …画像処理装置
１３０ …車外環境認識装置
１４０ …車両制御装置
１５０ …Ｉ／Ｆ部（画像取得部）
１６０ …位置情報取得部
１６２ …グループ化部
１６４ …人候補判定部
１６６ …人候補追跡部
１６８ …反転測定部
１７０ …人候補特定部
【特許請求の範囲】
【請求項１】
検出領域内の画像を取得する画像取得部と、
取得された前記画像において道路表面に相当する平面から予め定められた高さまでの領域にある複数の部位を、部位同士の第１の相対関係に基づいてグループ化し、部位群を生成するグループ化部と、
前記部位群を前記画像の水平方向に対して２分割し、２分割した部位群同士の第２の相対関係に基づいて、該部位群が人の候補である第１人候補であるか否か判定する人候補判定部と、
を備えることを特徴とする車外環境認識装置。
【請求項２】
前記第１の相対関係は、相対的位置関係、輝度の差分、または、エッジ方向の連続性のいずれかであることを特徴とする請求項１に記載の車外環境認識装置。
【請求項３】
前記第２の相対関係は、形状、面積、対称性、輝度の群から選択された１または複数であることを特徴とする請求項１または２に記載の車外環境認識装置。
【請求項４】
前記第２の相対関係は、前記２分割した部位群それぞれの中心線と垂直線とが成す角である中心線角それぞれが予め定められた第１角度範囲に含まれるか否かであることを特徴とする請求項１または２に記載の車外環境認識装置。
【請求項５】
前記グループ化部は、前記画像において道路表面に相当する平面から予め定められた高さまでの領域を、高さ方向に対してさらに複数の領域に分割し、その分割された領域毎に複数の部位をグループ化し、
前記人候補判定部は、前記２分割した部位群同士の第２の相対関係に加え、グループ化された高さ方向に隣接する部位群の中心線同士が成す差分角が予め定められた第２角度範囲に含まれれば第１人候補と判定することを特徴とする請求項１から４のいずれか１項に記載の車外環境認識装置。
【請求項６】
前記人候補判定部は、前記高さ方向のいずれかの領域同士が成す差分角が予め定められた第２角度範囲に含まれなければ、残りの領域に関する第１人候補の判定を実行しないことを特徴とする請求項５に記載の車外環境認識装置。
【請求項７】
前記人候補判定部は、車両と前記部位群との距離に応じて前記第１角度範囲を変更することを特徴とする請求項４から６のいずれか１項に記載の車外環境認識装置。
【請求項８】
前記人候補判定部が第１人候補と判定した部位群を追跡する人候補追跡部と、
前記人候補追跡部が追跡している部位群に関し、前記人候補判定部が第１人候補と判定したときと、第１人候補と判定しなかったときとの反転回数を測定する反転測定部と、
前記反転回数が予め定められた回数範囲に含まれていれば、前記第１人候補を第２人候補として特定する人候補特定部と、
をさらに備えることを特徴とする請求項１から７のいずれか１項に記載の車外環境認識装置。
【請求項９】
前記人候補判定部が第１人候補と判定した部位群を追跡する人候補追跡部と、
前記人候補追跡部が追跡している部位群に関し、前記人候補判定部が第１人候補と判定したときと、第１人候補と判定しなかったときとの反転周期を測定する反転測定部と、
前記反転周期が予め定められた周期範囲に含まれていれば、前記第１人候補が移動中であると判定する人候補特定部と、
をさらに備えることを特徴とする請求項１から７のいずれか１項に記載の車外環境認識装置。
【請求項１０】
検出領域内の画像を取得し、
取得した前記画像において道路表面に相当する平面から予め定められた高さまでの領域にある複数の部位を、部位同士の第１の相対関係に基づいてグループ化し、部位群を生成し、
前記部位群を前記画像の水平方向に対して２分割し、２分割した部位群同士の第２の相対関係に基づいて、該部位群が人の候補である第１人候補であるか否か判定することを特徴とする車外環境認識方法。
【請求項１】
検出領域内の画像を取得する画像取得部と、
取得された前記画像において道路表面に相当する平面から予め定められた高さまでの領域にある複数の部位を、部位同士の第１の相対関係に基づいてグループ化し、部位群を生成するグループ化部と、
前記部位群を前記画像の水平方向に対して２分割し、２分割した部位群同士の第２の相対関係に基づいて、該部位群が人の候補である第１人候補であるか否か判定する人候補判定部と、
を備えることを特徴とする車外環境認識装置。
【請求項２】
前記第１の相対関係は、相対的位置関係、輝度の差分、または、エッジ方向の連続性のいずれかであることを特徴とする請求項１に記載の車外環境認識装置。
【請求項３】
前記第２の相対関係は、形状、面積、対称性、輝度の群から選択された１または複数であることを特徴とする請求項１または２に記載の車外環境認識装置。
【請求項４】
前記第２の相対関係は、前記２分割した部位群それぞれの中心線と垂直線とが成す角である中心線角それぞれが予め定められた第１角度範囲に含まれるか否かであることを特徴とする請求項１または２に記載の車外環境認識装置。
【請求項５】
前記グループ化部は、前記画像において道路表面に相当する平面から予め定められた高さまでの領域を、高さ方向に対してさらに複数の領域に分割し、その分割された領域毎に複数の部位をグループ化し、
前記人候補判定部は、前記２分割した部位群同士の第２の相対関係に加え、グループ化された高さ方向に隣接する部位群の中心線同士が成す差分角が予め定められた第２角度範囲に含まれれば第１人候補と判定することを特徴とする請求項１から４のいずれか１項に記載の車外環境認識装置。
【請求項６】
前記人候補判定部は、前記高さ方向のいずれかの領域同士が成す差分角が予め定められた第２角度範囲に含まれなければ、残りの領域に関する第１人候補の判定を実行しないことを特徴とする請求項５に記載の車外環境認識装置。
【請求項７】
前記人候補判定部は、車両と前記部位群との距離に応じて前記第１角度範囲を変更することを特徴とする請求項４から６のいずれか１項に記載の車外環境認識装置。
【請求項８】
前記人候補判定部が第１人候補と判定した部位群を追跡する人候補追跡部と、
前記人候補追跡部が追跡している部位群に関し、前記人候補判定部が第１人候補と判定したときと、第１人候補と判定しなかったときとの反転回数を測定する反転測定部と、
前記反転回数が予め定められた回数範囲に含まれていれば、前記第１人候補を第２人候補として特定する人候補特定部と、
をさらに備えることを特徴とする請求項１から７のいずれか１項に記載の車外環境認識装置。
【請求項９】
前記人候補判定部が第１人候補と判定した部位群を追跡する人候補追跡部と、
前記人候補追跡部が追跡している部位群に関し、前記人候補判定部が第１人候補と判定したときと、第１人候補と判定しなかったときとの反転周期を測定する反転測定部と、
前記反転周期が予め定められた周期範囲に含まれていれば、前記第１人候補が移動中であると判定する人候補特定部と、
をさらに備えることを特徴とする請求項１から７のいずれか１項に記載の車外環境認識装置。
【請求項１０】
検出領域内の画像を取得し、
取得した前記画像において道路表面に相当する平面から予め定められた高さまでの領域にある複数の部位を、部位同士の第１の相対関係に基づいてグループ化し、部位群を生成し、
前記部位群を前記画像の水平方向に対して２分割し、２分割した部位群同士の第２の相対関係に基づいて、該部位群が人の候補である第１人候補であるか否か判定することを特徴とする車外環境認識方法。
【図１】
【図２】
【図３】
【図４】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図５】
【図６】
【図８】
【図２】
【図３】
【図４】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図５】
【図６】
【図８】
【公開番号】特開２０１３−１０９７２０（Ｐ２０１３−１０９７２０Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５６４２７（Ｐ２０１１−２５６４２７）
【出願日】平成２３年１１月２４日（２０１１．１１．２４）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月２４日（２０１１．１１．２４）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]