歩行者検出装置および歩行者検出方法
【課題】カメラで撮像した画像を画像処理して移動体を検出し、検出した移動体の移動速度の変化から歩行者に特有の変化を検出することで、歩行者を高い精度で検出することができる。
【解決手段】撮像部１０１で撮像した自車両前方の画像から特徴点を抽出する特徴点抽出部１０３と、特徴点を表す画素の画像上の移動速度を算出する移動情報算出部１０４と、画像を複数の短冊領域に分割し、各短冊領域内で速度が所定範囲内の画素を同一グループとするグループ化部１０５と、グループ内の特定の画素の座標を所定の範囲の俯瞰座標における座標に変換する座標変換部１０６と、変換後の画素の座標および移動情報に基づいて特徴点を平面物、立体物、移動体と判定する物体属性判定部１０７と、特徴点が移動体の場合は移動速度の変化に基づいて歩行者か否かを判定する歩行者判定部１０８とを備える制御部１００を有する。
【解決手段】撮像部１０１で撮像した自車両前方の画像から特徴点を抽出する特徴点抽出部１０３と、特徴点を表す画素の画像上の移動速度を算出する移動情報算出部１０４と、画像を複数の短冊領域に分割し、各短冊領域内で速度が所定範囲内の画素を同一グループとするグループ化部１０５と、グループ内の特定の画素の座標を所定の範囲の俯瞰座標における座標に変換する座標変換部１０６と、変換後の画素の座標および移動情報に基づいて特徴点を平面物、立体物、移動体と判定する物体属性判定部１０７と、特徴点が移動体の場合は移動速度の変化に基づいて歩行者か否かを判定する歩行者判定部１０８とを備える制御部１００を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歩行者検出装置および歩行者検出方法に関するものである。
【背景技術】
【０００２】
一般に、車載カメラの撮像画像からオプティカルフロー（画像速度情報）を利用して歩行者や車両等の移動体を検出する移動体検出装置と移動検出方法が多数提案されている。例えば、撮像画像のオプティカルフローを求め、移動体の動きに基づいて抽出した撮像画像の背景のオプティカルフローと撮像画像全体のオプティカルフローとの比較により、移動体を検出する移動体検出方法が提案されている（特許文献１）。
【特許文献１】特開２００４−５６７６３号
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このような移動体検出装置または移動体検出方法では、移動体を検出するために背景のオプティカルフローを算出する必要がある。ここで、背景のオプティカルフローは、自車両前方の空間モデルを推定し、この空間モデルと自車両の動きに基づいて算出しているが、微小時間ではこの推定の精度が低くなってオプティカルフローの検出精度も低下し、移動体を高い精度で検出することが難しいという問題が生じていた。特に、歩行者は移動速度が遅く不規則な動きを示すことが多いため、歩行者を高い精度で検出することが難しいという問題があった。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の歩行者検出装置は、自車両前方の画像を撮像する撮像部および、前記撮像部で撮像した画像から特徴点を抽出する特徴点抽出部と、前記特徴点を表す画素の前記画像上の移動速度および移動方向を移動情報として算出する移動情報算出部と、前記画素の前記画像上の座標を前記自車両前方の俯瞰図における座標に変換する座標変換部と、前記画素の前記俯瞰図における前記座標および前記画素の前記移動情報に基づいて前記特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定する物体属性判定部と、前記特徴点が移動体であると判定された際に、前記移動体の前記画像上における速度変化に基づいて前記移動体が歩行者であるか否かを判定する歩行者判定部とを有する制御部と、を備えることを特徴としている。
【発明の効果】
【０００５】
上記構成によれば、カメラで撮像した画像を画像処理して移動体を検出し、検出した移動体の移動速度の変化から歩行者に特有の変化を検出することで、歩行者を高い精度で検出することができる。
【発明を実施するための最良の形態】
【０００６】
以下、この発明の実施形態を図面に基づいて説明する。
図１は、本発明の実施形態における移動体検出装置の構成例を示すブロック図である。
【０００７】
歩行者検出装置１０は車両に搭載され、車両前方を撮像する撮像部であるカメラ１０１および、カメラ１０１で撮像した画像を一時的に記録する画像一時記録部１０２と、画像一時記録部１０２に記憶された画像を画像処理することで特徴点を抽出する特徴点抽出部１０３と、特徴点抽出部１０３により抽出された特徴点を表す画素の画像上における移動速度および移動方向を移動情報として算出する移動情報算出部１０４と、移動情報算出部１０４により算出された画素の速度を指標として特徴点を表す画素のグループ化を行うグループ化部１０５と、グループ化部１０５によりグループ化された画素のうち特定の画素の座標を自車両前方の俯瞰図における座標に変換する座標変換部１０６と、座標変換部１０６により変換された画素の座標および移動情報算出部１０４により算出された特徴点の移動情報に基づいて特徴点が平面物であるか立体物であるかを判定するとともに、特徴点が立体物である場合には移動体であるかどうかを判定する物体属性判定部１０７と、特徴点が移動体である場合に、移動体の移動速度の変化に基づいて移動体が歩行者であるか否かを判定する歩行者判定部１０８と、を有する制御部１００を備えている。
【０００８】
カメラ１０１は、例えばＣＣＤやＣＭＯＳなどの撮像素子を有したカメラであり、車両前方を連続的に撮像してフレーム毎に撮像した画像を画像一時記録部１０２に出力する。カメラ１０１で撮像された画像は、画像一時記録部１０２に一時的に記録される。ここで、図２に示すように、カメラ１０１は車両の室内上部前方（例えばルームミラー部等）に設置され、その光軸ＬＳは車両前方正面方向（Ｚ方向）に向き、撮像面の水平軸Ｘ（図示省略）は路面と平行となるように、また撮像面の垂直軸Ｙ（図示省略）は路面と垂直になるように設定されている。
【０００９】
カメラ１０１で撮像した画像（自車両前方の画像）の例を図３に示す。カメラ１０１により撮像された画像は、画像左上を原点として左から右へx軸、上から下へy軸とするｘｙ座標系によって表される。なお、図３においては、左右の走路脇に設置された縁石、白線、外壁などの走路の境界線と、左から右へ移動する歩行者、自車両前方を走行中の先行車が撮像画像に含まれている。
【００１０】
特徴点抽出部１０３は、カメラ１０１で撮像された画像を画像一時記録部１０２から読み込み、読み込んだ撮像画像を所定の閾値を用いて２値化することによって、画像内に存在する物体のエッジを抽出する。図４（ａ）に、抽出した垂直方向のエッジ例を示す。次に、抽出した各エッジに対して、細線化処理を行ってエッジ幅を絞り、エッジの垂直方向の中心を正確に設定する（図４（ｂ）参照）。さらに、細線化されたエッジのエッジ幅が一定の幅となるように、例えば３画素分の幅となるように、エッジを水平方向に拡張する（図４（ｃ）参照）。この操作により、抽出したエッジが正規化され、各エッジが均一の幅を持つエッジ画像を得ることができる。
【００１１】
移動情報算出部１０４は、エッジに該当する画素の画素カウンタのカウンタ値を更新する。ここで、画素カウンタとは、各画素毎に設定されたカウンタであり、画素がエッジに該当する場合に画素カウンタのカウンタ値が＋１加算され、画素がエッジに該当しない場合は画素カウンタのカウンタ値が０となって初期化されるカウンタである。このカウンタ値の更新処理を、カメラ１０１で連続的に撮像されるフレーム毎に行う。この操作により、エッジに該当する時間が長い画素は画素カウンタのカウンタ値が大きくなり、エッジに該当する時間が短い画素は画素カウンタのカウンタ値が小さくなる。この画素カウンタのカウンタ値の変化は、エッジの移動方向と移動量を表していることになるため、このカウンタ値から、撮像画像上におけるエッジの移動方向と移動速度とを算出することができる。
【００１２】
次に、撮像された画像上に存在するエッジの速度成分を所定の階級値に分類して表した速度画像を生成する。本実施形態における速度画像は、図５に示すように、速度が検出されたエッジの画素を丸型の点で表し、移動速度が速い画素ほど点を大きく示す。また、右へ向かう速度を黒点で表し、左へ向かう速度を白点で表すことによって移動方向を表している。図５においては、自車両の走行路右側の縁石および白線からは画像の右側へ向かう速度が検出されており、走行路左側の外壁からは画像の左側へ向かう速度が検出されている。また、走行路左側から右へ移動する歩行者では、画像の右側へ向かう速度が検出されている。さらに、自車両前方を自車両より速く走行する先行車では、先行車の左端に画像の右側へ向かう速度が検出され、先行車の右端に画像の左側へ向かう速度が検出されている。
【００１３】
グループ化部１０５は、算出した速度画像から立体物を抽出するために、速度画像を分割する領域を設定する。すなわち、図６に示すように、速度画像上に短冊状の複数の領域を設定し、速度画像を複数の領域（以降、短冊領域と呼ぶ）で分割する。
【００１４】
次に、各短冊領域毎に、速度が所定範囲内にあるとともに垂直方向に隣接する画素を同一のグループとしてグループ化する。すなわち、画像の下部から上部に向かって各短冊領域を走査し、短冊領域内に速度を持った画素が存在する場合、その画素の上方に隣接する速度を持った画素との速度差を比較し、速度差が閾値ΔＶＧ以下である場合には、車両に対して同じ速度で移動する物体であると推定できることから、同じ物体であると判定してグループ化を行う。そして、グループ化された画素の上端位置（請求項における最上部）と下端位置（請求項における最下部）を検出する。この処理により、図６における下端ＢＬ１〜ＢＬ１３及び上端ＴＬ１〜ＴＬ１３が検出される。
【００１５】
座標変換部１０６は、ｘｙ平面上で抽出した下端ＢＬ１〜ＢＬ１３及び上端ＴＬ１〜ＴＬ１３のｘ軸方向の中心位置を座標とする下端点ＢＰ１〜ＢＰ１３（図７参照）および上端点ＴＰ１〜ＴＰ１３（図７参照）の位置を、規定の面積を備えたＺＸ平面上の点として俯瞰変換する。
【００１６】
ここで、ｘｙ平面上の各点の位置を表す座標を（ｘ、ｙ）とし、カメラの路面からの高さをＣｈ（ｍ）、カメラの俯角をＴｒ（ｒａｄ）、画像の縦サイズをＩｈ、画像の横サイズをＩｗ、高さ方向の１画素あたりの角度分解能をＰＹｒ（ｒａｄ）、横方向の１画素あたりの角度分解能をＰＸｒ（ｒａｄ）とすると、ｘｙ平面上の点ＴＰ１〜ＴＰ１３及びＢＰ１〜ＢＰ１３は、次式に従ってＺＸ平面の座標（Ｚ、Ｘ）に変換される。
【００１７】
Ｚ＝(Ｃｈ)／(ＴＡＮ(Ｔｒ＋(ｙ−Ｉｈ／２)×ＰＹｒ))（数式１）
Ｘ＝（ｘ）×ＴＡＮ((Ｚ-Ｉｗ／２)×ＰＸｒ) （数式２）
ここで、上端点ＴＰ１〜ＴＰ１３、下端点ＢＰ１〜ＢＰ１３の変換後の点を、上端点の座標変換点ＲＴ１〜ＲＴ１３、下端点の座標変換点ＲＢ１〜ＲＢ１３とする。
【００１８】
物体属性判定部１０７は、上端点の座標変換点ＲＴ１〜ＲＴ１３、下端点の座標変換点ＲＢ１〜ＲＢ１３が、規定のＺＸ平面を分割して設定した領域のうちどの領域に位置するかの判定を行う（図７参照）。ここで、車両の上下動に伴いカメラ１０１の撮像映像も上下に動き、座標変換点が位置する領域も変動してしまう可能性がある。この影響を避けるため、ＺＸ平面を分割して設定する領域はメーターオーダーで設定することが望ましい。本実施例では、Ｘ軸方向は、−５．２５ｍ＞Ｘ、−５．２５≦Ｘ＜−３．５ｍ、−３．５ｍ≦Ｘ＜−１．７５ｍ、−１．７５ｍ≦Ｘ＜０ｍ、０ｍ≦Ｘ＜１．７５ｍ、１．７５ｍ≦Ｘ＜３．５ｍ、３．５ｍ≦Ｘ＜５．２５ｍ、５．２５ｍ≦Ｘ、として８分割し、Ｚ軸方向は、０ｍ≦Ｚ＜１０ｍ、１０ｍ≦Ｚ＜２０ｍ、２０ｍ≦Ｚ＜３０ｍ、３０ｍ≦Ｚ＜４０ｍ、４０ｍ≦Ｚ＜５０ｍとして５分割して、領域１１〜領域１５、領域２１〜領域２５、領域３１〜領域３５、領域４１〜領域４５、領域５１〜領域５５、領域６１〜領域６５、領域７１〜領域７５、領域８１〜領域８５を設定している。また、領域１１〜領域１５を領域１０とし、領域２１〜領域２５を領域２０とし、領域３１〜領域３５を領域３０とし、領域４１〜領域４５を領域４０とし、領域５１〜領域５５を領域５０とし、領域６１〜領域６５を領域６０とし、領域７１〜領域７５を領域７０とし、領域８１〜領域８５を領域８０としている。
【００１９】
そして、ｘｙ平面の短冊領域における上端点の座標変換点と上端点と同一のグループの下端点の座標変換点がＺＸ平面の同一の領域に位置すれば、上端点と下端点が路面上にある、すなわち路面上の平面物であると判定する。
【００２０】
一方、同一のグループに属する上端点と下端点のそれぞれの座標変換点がＺＸ平面の同一の領域に位置しない場合、または同一のグループに属する上端点と下端点のうち下端点のみがＺＸ平面に位置する場合は、下端点のみ路面上にある、すなわち立体物であると判定する。
【００２１】
ここで、走路境界を検出するために、ＺＸ平面の各領域に設定したカウンタのうち下端点の座標変換点が位置する領域のカウンタのカウンタ値を＋１加算し、下端点の位置分布情報を算出する。
【００２２】
例えば、本実施例では、上端点ＴＰ１〜ＴＰ７の座標変換点ＲＴ１〜ＲＴ７は図７に示すＺＸ平面外に投影されるため、上端点ＴＰ１〜ＴＰ７を含むグループは立体物であると判定され、上端点ＴＰ１〜ＴＰ７を含むエッジはｘｙ平面上で立体物ＯＢ１〜ＯＢ７として判定される。また上端点ＴＰ８〜ＴＰ１３の座標変換点ＲＴ８〜ＲＴ１３は下端点ＢＰ８〜ＢＰ１３の座標変換点ＲＢ８〜ＲＢ１３と同じ領域に位置するため、すなわち、上端点の座標変換点ＲＴ８と下端点の座標変換点ＲＢ８は同じ領域５３に位置し、上端点の座標変換点ＲＴ９と下端点の座標変換点ＲＢ９は同じ領域５５に位置し、上端点の座標変換点ＲＴ１０と下端点の座標変換点ＲＢ１０は同じ領域８１に位置し、上端点の座標変換点ＲＴ１１と下端点の座標変換点ＲＢ１１は同じ領域８２に位置し、上端点の座標変換点ＲＴ１２と下端点の座標変換点ＲＢ１２は同じ領域８３に位置し、上端点の座標変換点ＲＴ１３と下端点の座標変換点ＲＢ１３は同じ領域８４に位置し、上端点ＴＰ８〜ＴＰ１３をそれぞれ含む各グループは路面上に位置する物であると判定される。ここで、走路境界を検出するために、下端点の座標変換点ＲＢ１〜ＲＢ１３が位置する領域のカウンタのカウンタ値を＋１加算する。
【００２３】
そして、図８に示すように、得られた下端点の座標変換点の位置分布から、走路境界線が存在する可能性が高い領域を抽出する。すなわち、得られた下端点の座標変換点の位置分布において、同じＸ軸領域で複数のＺ軸領域にカウンタ値が存在すれば、自車両前方に走路境界が車両に沿って直線状に存在すると推定できるため、カウンタ値がある領域を走路境界領域として抽出する。例えば、図８では、ｘ軸が同じ範囲の領域３０において、複数のＺ軸領域（下端点ＲＢ１、ＲＢ２、ＲＢ３、ＲＢ４、ＲＢ６が位置する領域）にカウンタ値が存在するため、これらの領域を走路境界領域として抽出する。領域５０、領域８０についても同様である。
【００２４】
そして、抽出した領域に走路境界を示す直線が存在するかどうかの判定を行う（図９参照）。すなわち、抽出した領域に存在する下端点の座標変換点に基づいて、ｘｙ座標系での回帰分析を行い、同じ移動方向の下端点を結ぶ直線の傾きを算出する。例えば、本実施例の領域３０では、領域３０に存在し左方向に移動する下端点の座標変換点ＲＢ１、ＲＢ４、ＲＢ６に対応するｘｙ座標における下端点ＢＰ１、ＢＰ４、ＢＰ６の座標位置からｘｙ座標系での回帰分析を行い、下端点ＢＰ１、ＢＰ４、ＢＰ６を結ぶ直線の傾きａ３を算出する。同様に、領域５０に存在する下端点の座標変換点ＲＢ８、ＲＢ９に対応するｘｙ座標における下端点ＢＰ８、ＢＰ９の座標位置からｘｙ座標系での回帰分析を行い、下端点ＢＰ８、ＢＰ９を結ぶ直線の傾きａ５を算出する。同様に、領域８０に存在する下端点の座標変換点ＲＢ１０、ＲＢ１１、ＲＢ１２、ＲＢ１３に対応するｘｙ座標における下端点ＢＰ１０、ＢＰ１１、ＢＰ１２、ＢＰ１３の座標位置からｘｙ座標系での回帰分析を行い、下端点ＢＰ１０、ＢＰ１１、ＢＰ１２、ＢＰ１３を結ぶ直線の傾きａ８を算出する。そして、算出した直線の傾きが所定の範囲内に入っていれば、抽出した領域内に走路境界を示す直線が存在すると判定する。すなわち、下端点の座標変換点が位置するＸ軸領域の左端座標と各Ｚ軸領域の代表座標（例えば中心座標）を座標とする点（例えば図８のＰＬ１〜ＰＬ５）をｘｙ座標系に変換して回帰分析して算出した直線の傾きＴｎ０ａ１と、下端点の座標変換点が位置するＸ軸領域の右端座標と各Ｚ軸領域の代表座標（例えば中心座標）を座標とする点（例えば図８のＰＲ１〜ＰＲ５）をｘｙ座標系に変換して回帰分析して算出した直線の傾きＴｎ０ａ２とで規定される傾きの範囲内に、下端点に基づき算出された直線の傾きａｎが入っている場合には、抽出した領域内に走路境界を示す直線Ｌｎが存在するとの判定を行う。
【００２５】
例えば、本実施例の領域３０においては、座標（ｘ、ｚ）＝（−３．５、５）の点ＰＬ１、座標（ｘ、ｚ）＝（−３．５、１５）の点ＰＬ２、座標（ｘ、ｚ）＝（−３．５、２５）の点ＰＬ３、座標（ｘ、ｚ）＝（−３．５、３５）の点ＰＬ４、座標（ｘ、ｚ）＝（−３．５、４５）の点ＰＬ５をｘｙ座標に変換して回帰分析を行い算出した各点を結ぶ直線の傾きＴ３０ａ１と、座標（ｘ、ｚ）＝（−１．７５、５）の点ＰＲ１、座標（ｘ、ｚ）＝（−１．７５、１５）の点ＰＲ２、座標（ｘ、ｚ）＝（−１．７５、２５）の点ＰＲ３、座標（ｘ、ｚ）＝（−１．７５、３５）の点ＰＲ４、座標（ｘ、ｚ）＝（−１．７５、４５）の点ＰＲ５をｘｙ座標に変換して回帰分析を行い算出した各点を結ぶ直線の傾きＴ３０ａ２に対し、下端点の投影点ＲＢ１、ＲＢ４、ＲＢ６に対応するｘｙ平面上の下端点ＢＰ１、ＢＰ４、ＢＰ６を結ぶ直線の傾きａ３が、Ｔ３０ａ１とＴ３０ａ２で規定される範囲内に存在するため、下端点ＢＰ１、ＢＰ４、ＢＰ６を結ぶ直線は走路境界を示す直線Ｌ３であると判定される（図８、９参照）。
【００２６】
同様にして、領域５０では、下端点の投影点ＲＢ８、ＲＢ９に対応するｘｙ平面上の下端点ＢＰ８、ＢＰ９を結ぶ直線は走路境界を示す直線Ｌ５であると判定され、領域８０では、下端点の投影点ＲＢ１０〜ＲＢ１３に対応するｘｙ平面上の下端点ＢＰ１０〜ＢＰ１３を結ぶ直線は走路境界を示す直線Ｌ８であると判定される。
【００２７】
そして、図９下図に示すように、走路境界で区切られた各領域において、検出された立体物の下端点の画像の水平方向位置と速度の関係を示すグラフを算出する。このグラフでは、画像中央より左側に位置する立体物、例えば外壁のような背景は、画像を左向きに移動し、画像の左側に位置するほど自車よりも遠い位置にあるため、画素の速度は速くなる。つまり、縦軸に速度（左に移動する速度をプラス、右に移動する速度をマイナス）、横軸に画像のｘ座標（画像左端を原点）に設定すると、画像の右半分においては、背景や静止物であれば、速度とｘ座標の関係は、右下がりの直線となる。一方、画像の右半分において右下がりの直線関係とならない座標がある場合は、背景や静止物でないもの、すなわち移動体が存在する可能性がある。この場合、図９に示すように、背景の速度（左向きの速度）とは逆向きの速度（右向きの速度）を有する座標が検出された場合は、背景とは逆方向に移動する移動体が存在すると判定する。また、背景よりも速い速度を有する座標が検出されれば、移動体が存在すると判定する。
【００２８】
例えば、本実施例では、領域３０、領域５０、領域８０で検出された走路境界に基づいて、走路境界Ｌ３の左側、すなわち、領域１０、領域２０、領域３０の左側の一部を区画ａと設定し、走路境界Ｌ３と走路境界Ｌ５との間、すなわち、領域３０の右側の一部、領域４０、領域５０の左側の一部を区画ｂと設定し、走路境界Ｌ５と走路境界Ｌ８との間、すなわち、領域５０の右側の一部、領域６０、領域７０、領域８０の左側の一部を区画ｃと設定し、走路境界Ｌ８の右側、すなわち、領域８０の右側の一部を区画ｄと設定し、区画ｂに存在する立体物ＯＢ１〜ＯＢ６の水平方向位置と速度の関係から、ＯＢ１、ＯＢ４、ＯＢ６を静止している立体物（ここでは外壁）と判定し、右へ移動するＯＢ２、ＯＢ３、ＯＢ５を移動体と判定する。
【００２９】
また、画像右側に存在する立体物においても、左側と同様な方法で、速度（右に移動する速度をプラス、左に移動する速度をマイナス）と画像のｘ座標（画像右端を原点）の関係を求め、右上がりの直線関係とならない場合には、領域内に立体物が存在する可能性が高いと判断し、背景の速度と逆向きの速度が検出されれば、背景とは逆方向に移動する移動体の検出を行うことができる。図９では、区画ｃに存在するＯＢ７を移動体と判定する。
【００３０】
さらに、車両挙動（車両の進行方向）を利用することにより、上述したように撮像画像の左右において別々に移動物体の検出が必要か、あるいは撮像画像全体で移動物体の検出が可能かを判断することも可能となる。例えば、車両を右へ操舵している場合には、前方画像の背景に該当する領域は、左側へ移動する速度のみが検出されるため、上述したように撮影画像左右でそれぞれ移動体の検出を行わずに撮像画像全体で一括して移動体の検出を行うことができる。車両を左へ操舵している場合も同様である。
【００３１】
ここで、前述したように、移動体の判定は、背景となる立体物と移動体の水平方向位置と速度を比較して行うため、例えば歩行者に該当する立体物しか検出できず、背景に該当する外壁等の立体物が抽出できない場合は、移動体の判定を行うことができない。この場合は、次回の検出で再度立体物と判定された際に、その速度変化から移動体であるか否かの判定を行う（後述）。
【００３２】
なお、複数の移動体の座標の差が所定値以内であって、それらの移動体の速度の比が所定の範囲内である場合に、複数の移動体を一つの移動体としてグループ化を行う。例えば、図９において、ＯＢ２とＯＢ３は一つの移動体としてグループ化される。
【００３３】
歩行者判定部１０８は、走路境界で区切られた領域において、図１０に示すように、検出した移動体の速度変化を指標とすることにより、移動体が歩行者であるか否かを識別する。
【００３４】
歩行者の移動速度を詳細に観察した場合、歩行者が一定速度で歩行していると仮定すると、図１０、図１１に示すように、腕と脚は歩行により速度の増減が観察される。歩行開始からの脚の速度変化を見ると、まず例えば右脚が進行方向に踏み出してスタートし、その速度が徐々に速くなって最高速度に達した後に今度は速度が徐々に低下して地面に着地するという速度変化が観察される。右脚が地面に着地すると同時に今度は左脚が進行方向に踏み出して、右脚と同様の速度変化が観察される。
【００３５】
また、歩行開始からの腕の速度変化を見てみると、脚とは逆向きの速度変化が観察される。
【００３６】
このように、歩行者においては、歩行により速度変化が観察される、と言う特徴がある。
【００３７】
したがって、この特徴を利用することにより、移動体が歩行者であるか否かを識別することが可能となる。
【００３８】
すなわち、例えば、移動体の速度の分散値をΔＶとし、ΔＶが所定値ΔＶＰ以上であるか否か、すなわち、ΔＶ≧ΔＶＰの条件を満たすか否かによって、移動体が歩行者であるか否かを識別することが可能となる。
【００３９】
図１１は、本実施形態における歩行者検出装置１０の処理を示すフローチャートである。この処理はイグニションスイッチ（図示省略）がオンされると起動されるプログラムとして実行される。
【００４０】
ステップＳ１０１では、カメラ１０１で撮像され画像一時記録部１０２に記録された自車両前方の画像が所定の周期で特徴点抽出部１０３に出力される。この後に、フローはステップＳ１０２へ移行する。
【００４１】
ステップＳ１０２では、特徴点抽出部１０３が画像に対してエッジ抽出処理を行い、撮像画像内に存在する物体の輪郭をエッジ画像として抽出するとともにエッジ画像の正規化を行う。この後に、フローはステップＳ１０３へ移行する。
【００４２】
ステップＳ１０３では、移動情報算出部１０４がエッジの速度と方向を算出し、算出した速度を所定の階級で表した速度画像を算出する。この後に、フローはステップＳ１０４へ移行する。
【００４３】
ステップＳ１０４では、グループ化部１０５が算出した速度画像上に短冊領域を設定する。この後に、フローはステップＳ１０５へ移行する。
【００４４】
ステップＳ１０５では、グループ化部１０５が各短冊領域内に速度を持った画素があるかどうかを下から上に向かって調べる。速度を持った画素が複数ある場合、その速度差が所定値ΔＶＧ未満である場合は、グループ化部１０５がそれらの画素は同一の物体を表しているものとして同一のグループにグループ化を行う。この後に、フローはステップＳ１０６へ移行する。
【００４５】
ステップＳ１０６では、各短冊領域内におけるグループ毎において、最も上に位置する画素の中心座標を上端点に、最も下に位置する画素の中心座標を下端点に設定する。この後に、フローはステップＳ１０７へ移行する。
【００４６】
ステップＳ１０７では、座標変換部１０６が、前述した（式１）、（式２）を用いて、検出した上端点と下端点の座標をＺＸ平面へ座標変換する。この後に、フローはステップＳ１０８へ移行する。
【００４７】
ステップＳ１０８では、物体属性判定部１０７が、上端点の座標変換点と上端点と同じグループの下端点の座標変換点の位置がＸ軸範囲とＺ軸範囲を規定したＺＸ平面のどの領域に位置するかを判断し、上端点の座標変換点と上端点と同じグループの下端点の座標変換点の双方がＺＸ平面の同一の領域に位置する場合は、上端点、下端点を含む物体を平面物であると判定する。一方、上端点の座標変換点と、上端点と同じグループの下端点の座標変換点とがＺＸ平面の同一の領域に位置しない場合、または上端点と同じグループの下端点の座標変換点のみがＺＸ平面に位置する場合は、上端点、下端点を含む物体を立体物であると判定する。ここで、下端点が位置する領域のカウンタのカウンタ値を＋１加算する。この後に、フローはステップＳ１０９に進む。
【００４８】
ステップＳ１０９では、物体属性判定部１０７により、検出した全ての上端点、下端点について、上端点、下端点を含む物体が平面物であるか立体物であるかの判定（以下、物体の属性判定と呼ぶ）が行われたかどうかの判定が行われる。検出した全ての上端点、下端点について物体の属性判定が行われた場合は、ステップＳ１１０に進む。一方、検出した全ての上端点、下端点について物体の属性判定が行われていない場合は、ステップＳ１０５に戻り、物体の属性判定が継続される。
【００４９】
ステップＳ１１０では、物体属性判定部１０７により、ＺＸ平面における下端点の座標変換点の位置分布から、同じＸ軸領域において、複数のＺ軸領域にカウンタ値が存在する領域が、走路境界線が存在する可能性が高い領域（以下、走路境界領域と呼ぶ）として抽出される。この後に、フローはステップＳ１１１へ進む。
【００５０】
ステップＳ１１１では、物体属性判定部１０７により、抽出された走路境界領域内に存在する下端点の座標変換点に対応するｘｙ平面の下端点についてｘｙ座標系での回帰分析が行われ、同じ移動方向の下端点を結ぶ直線の傾きが算出される。この後に、フローはステップＳ１１２へ進む。
【００５１】
ステップＳ１１２では、物体属性判定部１０７により、ステップＳ１１１で算出した直線の傾きが、下端点が位置する領域において、Ｘ軸領域の左端座標と各Ｚ軸領域の代表座標を座標とする点（例えば図８のＰＬ１〜ＰＬ５）を結ぶ直線およびＸ軸領域の右端座標と各Ｚ軸領域の代表座標を座標とする点（例えば図８のＰＲ１〜ＰＲ５）を結ぶ直線のｘｙ座標系における傾きの範囲にあれば、抽出した領域に走路境界を示す直線が存在すると判定され、ステップＳ１１１で算出した直線は走路境界を示す直線として検出される。この後に、フローはステップＳ１１３へ進む。
【００５２】
ステップＳ１１３では、物体属性判定部１０７において、抽出された走路境界領域において、全ての走路境界を示す直線が検出されたか否かの判定を行う。全ての走路境界を示す直線が検出された場合は、ステップＳ１１４へ進む。一方、全ての走路境界を示す直線が検出されていない場合は、ステップＳ１１０に戻り、走路境界を示す直線の検出が継続される。
【００５３】
ステップＳ１１４では、物体属性判定部１０７において、走路境界で区切られた各区画に対し、各区画内に存在する立体物（外壁、歩行者等）の速度とｘ座標の関係を算出し、背景と逆方向の速度が検出された立体物がある場合には、自車両に近づく移動体が存在すると判定し、フローはステップＳ１１５に進む。一方、背景と逆方向の速度が検出された物体がない場合には、移動体候補が存在する可能性があると判定し、ステップＳ１１７に進む。
【００５４】
ステップＳ１１５では、複数の移動体の座標の差が所定値以内であって、それらの移動体の速度の比が所定値以内である場合に、複数の移動体を一つの移動体としてグループ化を行う。例えば、ある移動体Ａの速度をＶＡ、他の移動体Ｂの速度をＶＢとし、ＶＡ≧ＶＢの場合に、１≦（ＶＡ／ＶＢ）≦ＲＶ（所定値）を満たす場合は、移動体Ａと移動体Ｂを一つの移動体としてグループ化を行う。この後に、フローはステップＳ１１６へ移行する。
【００５５】
ステップＳ１１６では、歩行者の移動速度の変化に基づいて、後述する歩行者の判定が行われる。この後に、フローはステップＳ１１８へ移行する。
【００５６】
ステップＳ１１７では、物体属性判定部１０７において、移動体候補が移動体であるかどうかの判定（移動体候補検証）を行う。移動体候補が存在すると判断された区画に、前回も移動体候補が存在すれば、前回と今回の速度を比較する。移動体候補が静止物である場合は、自車両の前進に従い移動体候補が自車両に接近し、移動体候補に対応する画素の移動速度が速くなる。このため、前回よりも下端点の座標変換点の速度が速くなっている場合には、移動体は存在しないと判定し、フローはステップＳ１１８に進む。前回よりも下端点の座標変換点の速度が速くなっていない場合には、移動体が存在すると判定し、フローはステップＳ１１５に進む。
【００５７】
ステップＳ１１８では、走路境界で区切られたすべての区画において、歩行者の検出が終了したか否かの判断を行う走路境界で区切られたすべての区画において、歩行者の検出が終了した場合には、フローはステップＳ１１９へ進む。一方、走路境界で区切られたすべての区画において、歩行者の検出が終了していない場合は、フローはステップＳ１１４に戻り、歩行者の検出が継続される。
【００５８】
ステップＳ１１９では、自車両のイグニションスイッチがオフされたか否かの判定が行われる。イグニションスイッチがオフされていない場合には、ステップＳ１０１へ戻って処理を繰り返す。一方、イグニションスイッチがオフされた場合には、フローはステップＳ１２０へ移行して処理を終了する。
【００５９】
次に、ステップＳ１１６の歩行者判定の動作フローを、図１２のフローチャートを用いて説明する。この動作フローは、歩行者判定部１０８により実行される。
【００６０】
ステップＳ１１６１では、移動体を表す画素の速度から、移動体の速度の分散値ΔＶが算出される。この後に、フローはステップＳ１１６２へ移行する。
【００６１】
ステップＳ１１６２では、ステップＳ１１６２で算出された移動体の速度の分散値ΔＶが、ΔＶ≧ΔＶＰの条件を満たしているか否かが判定される。ここで、ΔＶＰは事前に設定される所定値である。条件を満たしている場合は、移動体に所定値以上の速度の分散が観察され、移動体が歩行者であると判定できるため、フローはステップＳ１１６３へ移行する。一方、条件を満たしていない場合は、移動体に所定値以上の速度の分散が観察されず、移動体の速度の分散値だけでは移動体が歩行者であると判定できないため、フローはステップＳ１１６４へ移行する。
【００６２】
ステップＳ１１６３では、移動体は歩行者であるとの判定が行われる。この後に、フローはステップＳ１１８へ移行する。
ステップＳ１１６４では、今回移動体を検出した座標近傍に前回も移動体を検出していたか否かの判定が行われる。今回移動体を検出した座標近傍に前回も移動体を検出していた場合は、フローはステップＳ１１６５へ移行する。一方、今回移動体を検出した座標近傍に前回移動体を検出していない場合は、移動体は速い速度を有する移動体であると推定し、フローはステップＳ１１６７へ移行する。
【００６３】
ステップＳ１１６５では、前回と今回の移動体の座標変化が垂直方向および水平方向で所定値以下であるか否かが判定される。前回と今回の移動体の座標変化が垂直方向および水平方向で所定値以下である場合、すなわち、移動体の移動距離が所定値以下である場合は、移動体は移動速度が遅い物体、すなわち歩行者である可能性があり、フローはステップＳ１１６６へ移行する。一方、前回と今回の移動体の座標変化が垂直方向および水平方向で所定値を越える場合、すなわち、移動体の移動距離が所定値を越える場合は、移動体は移動速度が速い物体であり歩行者である可能性は少ないと推定し、フローはステップＳ１１６７へ移行する。
【００６４】
ステップＳ１１６６では、前回と今回の移動体の速度の差が所定値以上であるか否かが判定される。前回と今回の移動体の速度の差が所定値以上である場合は、移動体は座標変化が少なく、かつ速度の変化を有するものとなり、歩行者であると推定できるため、フローはステップＳ１１６３へ移行する。一方、前回と今回の移動体の速度の差が所定値未満である場合は、移動体は速度の遅い自転車等、均一でかつ遅い速度を有する移動体であると推定し、フローはステップＳ１１６７へ移行する。
【００６５】
ステップＳ１１６７では、移動体は歩行者以外の物体であるとの判定を行う。この後に、フローはステップＳ１１８へ移行する。
【実施例１】
【００６６】
本実施例は、図１１に示すフローチャートのステップＳ１１６における歩行者判定の内容が前述した実施形態と異なるものであり、その他の構成や動作は実施形態と同一であるため、以下ステップＳ１１６の内容についてのみ説明を行う。
【００６７】
歩行者が歩行する際は、一般的に脚の前後運動とともに腕の前後運動が伴うが、場合によっては腕の前後運動をともなわずに歩行する状況もあり得る。このような際は、脚の速度の分散のみに着目して歩行者の判定を行うことが可能となる。
【００６８】
ステップＳ１１６の歩行者判定の動作フローを、図１３のフローチャートを用いて説明する。この動作フローは、歩行者判定部１０８により実行される。
【００６９】
ステップＳ１１６Ａでは、ステップＳ１１４、ステップＳ１１７で検出した移動体を上部と下部に分割する。上部と下部の分割については、検出した移動体を単純に上下２分割とする、または所定の割合で分割する等により行う。この後に、フローはステップＳ１１６Ｂへ移行する。
【００７０】
ステップＳ１１６Ｂでは、ステップＳ１１６Ａで分割した移動体の下部に属する画素の移動速度の分散値ΔＶＢを算出する。この後に、フローはステップＳ１１６Ｃへ移行する。
【００７１】
ステップＳ１１６Ｃでは、ステップＳ１１６２で算出した移動体の下部の速度の分散値ΔＶＢが、ΔＶＢ≧ΔＶＰの条件を満たしているか否かが判定される。ここで、ΔＶＰは事前に設定される所定値である。条件を満たしている場合は、移動体の下部に所定値以上の速度の分散が観察され、移動体が歩行者であると判定できるため、フローはステップＳ１１６Ｄへ移行する。一方、条件を満たしていない場合は、移動体の下部に所定値以上の速度の分散が観察されず、移動体の下部の速度の分散値だけでは移動体が歩行者であると判定できないため、フローはステップＳ１１６Ｅへ移行する。
【００７２】
ステップＳ１１６Ｅ〜ステップＳ１１６Ｈは図１２のステップＳ１１６４〜ステップＳ１１６７と同等の処理であり、説明は省略する。
【実施例２】
【００７３】
本実施例は、図１１に示すフローチャートのステップＳ１１６における歩行者判定の内容が前述した実施形態と異なるものであり、その他の構成や動作は実施形態と同一であるため、以下ステップＳ１１６の内容についてのみ説明を行う。
【００７４】
歩行者が歩行する際は、図１４に示すように、一般的に歩行中の頭部の速度変化は少なく、足の速度変化は大きい。したがって、頭部と足の速度の最大値の比を指標として、歩行者の判定を行うことが可能となる。
【００７５】
ステップＳ１１６の歩行者判定の動作フローを、図１５のフローチャートを用いて説明する。この動作フローは、歩行者判定部１０８により実行される。
【００７６】
ステップＳ１１６Iでは、ステップＳ１１４、ステップＳ１１７で検出した移動体において、頭部に該当する上端と足に該当する下端を検出する。この後に、フローはステップＳ１１６Ｊへ移行する。
【００７７】
ステップＳ１１６Ｊでは、ステップＳ１１６Ｉで検出した移動体の上端と下端に属する画素の移動速度の最大値ＶＴＭ、ＶＢＭを算出する。この後に、フローはステップＳ１１６Ｋへ移行する。
【００７８】
ステップＳ１１６Ｋでは、ステップＳ１１６Ｊで算出した移動体の上端に属する画素の速度の最大値ＶＴＭと移動体の下端に属する画素の速度の最大値ＶＢＭとが、｜ＶＢＭ｜／｜ＶＴＭ｜≧ＲＰの条件を満たしているか否かが判定される。ここで、ＲＰは事前に設定される所定値で、１≦ＲＰ＜ＲＶを満たす。条件を満たしている場合は、移動体の上端と下端に速度差が観察され、移動体が歩行者であると判定できるため、フローはステップＳ１１６Ｌへ移行する。一方、条件を満たしていない場合は、移動体の上端と下端に速度の差が観察されず、移動体の上端と下端の速度の差だけでは移動体が歩行者であると判定できないため、フローはステップＳ１１６Ｍへ移行する。
【００７９】
ステップＳ１１６Ｍ〜ステップＳ１１６Ｐは図１２のステップＳ１１６４〜ステップＳ１１６７と同等の処理であり、説明は省略する。
【実施例３】
【００８０】
本実施例は、例えばエッジ検出の結果に起因して、同じ立体物や移動体が速度情報を基に同一のグループにグループ化できない場合でも、平面物と立体物の検出が可能な実施例である。
【００８１】
ここでは、図１６に示すように、外壁上に検出されたＰ１１〜Ｐ１１３の内、Ｐ１１〜Ｐ１３とＰ１４〜Ｐ１１３が別々にグループ化され、Ｐ２１〜Ｐ２１５の内、Ｐ２１〜Ｐ２３とＰ２４〜Ｐ２１５が別々にグループ化され、Ｐ３１〜Ｐ３１５の内、Ｐ３１〜Ｐ３３とＰ３４〜Ｐ３１５が別々にグループ化され、Ｐ４１〜Ｐ４１２の内、Ｐ４１、Ｐ４２とＰ４３〜Ｐ４１２が別々にグループ化された場合について、説明を行う。
【００８２】
なお、図１に示したブロック図、図２に示した車両へのカメラ１０１の設置例を示す図、図３に示したカメラ１０１による前方の撮像画像を説明する図、図４に示したエッジの正規化の例を示す図、および図５に示した速度画像を説明する図については、前述した実施形態と同様のため説明を省略する。また、図８〜図９で説明した、下端点を基に走路境界を検出し、検出した走路境界で区切られた各区画毎に立体物の水平方向位置と速度の関係から、移動体を検出する方法については、前述した実施形態における処理と同様のため説明を省略する。
【００８３】
まず、算出した速度画像に物体を検出するための領域を設定する。すなわち、図１６に示すように、速度画像上に短冊状の複数の領域（以降、短冊領域と呼ぶ）を設定し、速度画像を分割する。本実施例では、各短冊領域毎に画像下端から上端に速度を持った画素を順に走査して検出し、検出した画素を前述の（数式１）、（数式２）に基づいてＺＸ平面へ座標変換し、座標変換の結果が図７に示すＺＸ平面内に位置するか否かを判定する。座標変換の結果がＺＸ平面内に位置すれば、平面物の候補点と判定する。一方、ＺＸ平面内に位置しなければ、立体物の候補点として判定する。なお、ＺＸ平面には前述した実施形態で説明した領域と同じ領域が設定されるものとし、領域の設定方法については説明を省略する。
【００８４】
例えば本実施例では、Ｐ１１〜Ｐ１３はＺＸ平面内の同一の領域に位置して平面物の候補点と判定され、Ｐ１４〜Ｐ１１３はＺＸ平面内に位置しないため、立体物候補点と判定される。同様に、Ｐ２１〜Ｐ２３、Ｐ３１〜Ｐ３３、Ｐ４１、Ｐ４２、Ｐ８１〜Ｐ８３、Ｐ９１〜Ｐ９４、Ｐ１０１、Ｐ１０２、Ｐ１１１〜Ｐ１１３、Ｐ１２１、Ｐ１２２、Ｐ１３１〜Ｐ１３３は平面物候補点と判定され、Ｐ２４〜Ｐ２１５、Ｐ３４〜Ｐ３１５、Ｐ４３〜Ｐ４１２、Ｐ５１〜Ｐ５４、Ｐ６１〜Ｐ６１０、Ｐ７１〜Ｐ７４は立体物候補点と判定される。
【００８５】
次に平面物候補点と立体物候補点の判定結果に基づき、立体物の判定を行う。すなわち、平面物候補点であると判定された点と立体物候補点であると判定された点が、縦方向に連続して存在する場合は、立体物の内、路面近くに存在する部分が誤って平面物候補点であると判定されたものと推定できるため、平面物候補点と立体物候補点が縦方向に連続して存在する物体を立体物として判定する。例えば、本実施例では、平面物候補点Ｐ１１〜Ｐ１３と立体物候補点Ｐ１４〜Ｐ１１３が縦方向に連続しているため、Ｐ１１〜Ｐ１１３を立体物ＯＢ１として判定する。同様に、Ｐ２１〜Ｐ２１５を立体物ＯＢ２、Ｐ３１〜Ｐ３１５を立体物ＯＢ３、Ｐ４１〜Ｐ４１２を立体物ＯＢ４として判定する（図１７参照）。
【００８６】
さらに、平面物および立体物と判定された点の内、下端点を抽出し、第１の実施例と同様に下端点のＺＸ平面への座標変換点が位置するＺＸ平面の領域のカウンタのカウンタ値を＋１加算して、下端点の位置分布を算出する。例えば、本実施例では、Ｐ１１、Ｐ２１、Ｐ３１、Ｐ４１、Ｐ５１、Ｐ６１、Ｐ７１、Ｐ８１、Ｐ９１、Ｐ１０１、Ｐ１１１、Ｐ１２１、Ｐ１３１を下端点として検出し、図８に示す各下端点Ｐ１１〜Ｐ１３１の座標変換点ＲＢ１〜ＲＢ１３が位置する領域のカウンタのカウンタ値を＋１加算する。以下、前述した実施形態と同様の操作を行うことで、走路境界と立体物、立体物中の移動体の検出を行うことができる。
【００８７】
移動体を検出した後は、前述した実施形態と同様の操作を行うことで、歩行者の検出を行うことができる。
【００８８】
図１８は、本実施例における歩行者検出装置１０の処理を示すフローチャートである。図１８に示す処理はイグニションスイッチがオンされると、起動されるプログラムとして実行される。図１８においては、図１１に示す本発明の実施形態における処理のフローチャートと同一の処理内容については、同じステップ番号を付与し、以下相違点を中心に説明する。
【００８９】
ステップＳ１２１では、ステップＳ１０４にて設定した物体検出用の短冊領域内において画像下端から上端に向かって走査を行い、速度を持つ画素の座標を（数式１）、（数式２）を用いてＺＸ平面上へ座標変換する。この後に、フローはステップＳ１２２へ移行する。
【００９０】
ステップＳ１２２では、画素の座標変換点がＺＸ平面内に位置すれば、平面物候補点と判定し、画素の座標変換点がＺＸ平面内に位置しなければ、立体物候補点と判定する。この後に、フローはステップＳ１２３に進む。
【００９１】
ステップＳ１２３では、速度が算出された画素の全てがＺＸ平面上へ座標変換されて、平面物候補点および立体物候補点の検出が終了したかどうかが判定される。平面物候補点および立体物候補点の検出が終了した場合には、フローはステップＳ１２４に進む。一方、平面物候補点および立体物候補点の検出が終了していない場合は、フローはステップＳ１２１に戻り、平面物候補点および立体物候補点の検出が継続される。
【００９２】
ステップＳ１２４では、各短冊領域内において、平面物候補点および立体物候補点が縦方向に連続して存在する場合には、平面物候補点および立体物候補点を含む物体を一つの立体物として判定する。この後に、フローはステップＳ１２５に進む。
【００９３】
ステップＳ１２５では、各領域において、平面物候補点のうち、一番下にある点を下端点として検出し、検出した下端点のＺＸ平面上の座標変換点が位置する領域のカウンタのカウンタ値を＋１加算する。この後に、フローはステップＳ１２６に進む。
【００９４】
ステップＳ１２６では、各領域において、カウンタ値に基づき各領域の下端点の位置分布情報の算出が終了したかどうかの判定が行われる。各領域の下端点の位置分布情報の算出が終了した場合には、フローはステップＳ１１０へ進む。一方、各領域の下端点の位置分布情報の算出が終了していない場合には、フローはステップＳ１２４へ戻り、下端点の位置分布情報の算出が継続される。
【００９５】
以降、前述した実施形態と同様の処理により、歩行者を検出する。
【００９６】
以上説明した本発明の実施形態の歩行者検出装置によれば、以下のような作用効果を得ることができる。
【００９７】
請求項１の発明によれば、自車両前方の画像を撮像する撮像部および、前記撮像部で撮像した画像から特徴点を抽出する特徴点抽出部と、前記特徴点を表す画素の前記画像上の移動速度および移動方向を移動情報として算出する移動情報算出部と、前記画素の前記画像上の座標を前記自車両前方の俯瞰図における座標に変換する座標変換部と、前記画素の前記俯瞰図における前記座標および前記画素の前記移動情報に基づいて前記特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定する物体属性判定部と、前記特徴点が移動体であると判定された際に、前記移動体の前記画像上における前記移動速度の変化に基づいて前記移動体が歩行者であるか否かを判定する歩行者判定部とを有する制御部と、を備えることを特徴としている。
【００９８】
この装置によれば、カメラ１０１で撮像した画像から抽出した特徴点の移動情報と位置に基づいて、特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定し、特徴点が移動体と判定された場合は、移動体の移動速度の変化に基づいて移動体が歩行者であるかどうかを判定することができ、精度高く歩行者の識別を行うことができる。
【００９９】
また、請求項２に記載の発明によれば、請求項１に記載の歩行者検出装置において、前記画像の垂直方向に隣接するとともに前記移動速度が所定の範囲にある前記画素を同一のグループにグループ化するグループ化部を備え、前記物体属性判定部は、前記グループ化部によりグループ化された前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記俯瞰図における座標に基づいて前記特徴点を平面物または立体物と判定することを特徴としている。
【０１００】
この装置によれば、撮像画像上で同等の速度を有する隣接した画素をグループ化してその最上部と最下部に位置する画素を求め、該画素の俯瞰変換後の座標により平面物、立体物、移動体の判定を行うことができ、一つのカメラの撮像画像から該判定を簡単に行うことができる。
【０１０１】
また、請求項３に記載の発明によれば、請求項２に記載の歩行者検出装置において、前記物体属性判定部は、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合に前記特徴点を平面物と判定し、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記複数の領域のうちそれぞれ異なる領域に位置する場合、または前記最上部に位置する前記画素が前記俯瞰図の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に、前記特徴点を立体物と判定することを特徴としている。
【０１０２】
この装置によれば、撮像画像上で同等の速度を有する隣接した画素をグループ化してその最上部と最下部に位置する画素を求め、該画素の俯瞰変換後の座標により平面物、立体物、移動体の判定を行うことができ、一つのカメラの撮像画像から該判定を簡単に行うことができる。
【０１０３】
また、請求項４に記載の発明によれば、請求項２に記載の歩行者検出装置において、前記物体属性判定部は、前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記俯瞰図の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することを特徴としている。
【０１０４】
この装置によれば、特徴点を表す画素の前記画像上の移動速度を算出した際に、同じ物体を構成する画素でありながら何らかの影響で同等の移動速度が算出されない場合でも、高精度で立体物の識別が可能となる。
【０１０５】
また、請求項５に記載の発明によれば、請求項１〜４のいずれか１項に記載の歩行者検出装置において、前記物体属性判定部は、複数の前記立体物における前記画素の前記移動情報と前記画素の前記画像上における前記座標とに基づいて前記立体物が移動体であるか否かを判定する移動体判定を行うことを特徴としている。
【０１０６】
この装置によれば、自車両の動きの推定や物体までの距離を算出することなく、検出した立体物の速度と位置関係に基づいて移動体の検出を簡単に行うことが可能となる。
【０１０７】
また、請求項６に記載の発明によれば、請求項５に記載の歩行者検出装置において、前記物体属性判定部は、前記画素のうち前記画像の垂直方向において最下部に位置する前記画素の前記俯瞰図における前記座標に基づいて前記自車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に前記移動体判定を行うことを特徴としている。
【０１０８】
この装置によれば、検出した走路境界で区切られた区画毎に移動体の検出を行うため、複雑な背景下においても、簡単に移動体の検出を行うことが可能となる。
【０１０９】
また、請求項７に記載の発明によれば、請求項１〜６のいずれか１項に記載の歩行者検出装置において、前記歩行者検出部は、複数の前記移動体の前記画像上の前記移動方向が同一で前記移動速度の比が所定の範囲内であって、該複数の前記移動体の前記画像上の前記座標の差が所定値以下である場合に、該複数の移動体を一つの移動体であると判定することを特徴としている。
【０１１０】
この装置によれば、一つの移動体において複数のエッジが検出された場合でも、一つの移動体であるとの判定を行うことが可能となる。
【０１１１】
また、請求項８に記載の発明によれば、請求項１〜７のいずれか１項に記載の歩行者検出装置において、前記歩行者検出部は、前記移動体の前記移動速度の分散値を算出し、該分散値が所定値以上の場合に、前記移動体を歩行者と判定することを特徴としている。
【０１１２】
この装置によれば、検出した移動体の移動速度の分散値を指標として、簡単に歩行者の検出を行うことが可能となる。
【０１１３】
また、請求項９に記載の発明によれば、請求項８に記載の歩行者検出装置において、前記歩行者検出部は、前記移動体の前記移動速度の前記分散値が所定値未満の場合に、所定の時間間隔における前記移動体の前記画像上の前記座標の変化が所定値以下であるとともに、前記移動速度の変化が所定値以上である場合に、前記移動体を歩行者と判定することを特徴としている。
【０１１４】
この装置によれば、移動速度が遅い歩行者でも、簡単に検出を行うことが可能となる。
【０１１５】
また、請求項１０に記載の発明によれば、請求項１〜７のいずれか１項に記載の歩行者検出装置において、前記歩行者検出部は、前記移動体を前記画像上において上部と下部とに分割して該下部における前記移動速度の分散値を算出し、該分散値が所定値以上の場合に、前記移動体を歩行者と判定することを特徴としている。
【０１１６】
この装置によれば、検出した移動体の下部における移動速度の分散値を指標として、簡単に歩行者の検出を行うことが可能となる。
【０１１７】
また、請求項１１に記載の発明によれば、請求項１０に記載の歩行者検出装置において、前記歩行者検出部は、前記移動体の前記下部における前記移動速度の前記分散値が所定値未満の場合に、所定の時間間隔における前記移動体の前記画像上の前記座標の変化が所定値以下であるとともに、前記移動速度の変化が所定値以上である場合に、前記移動体を歩行者と判定することを特徴としている。
【０１１８】
この装置によれば、移動速度が遅い歩行者でも、簡単に検出を行うことが可能となる。
【０１１９】
また、請求項１２に記載の発明によれば、請求項１〜７のいずれか１項に記載の歩行者検出装置において、前記歩行者検出部は、前記移動体の上端と下端を検出して該上端と該下端それぞれにおける前記移動速度の最大値を算出し、該上端と該下端における該最大値の比が所定の範囲外の場合に、前記移動体を歩行者と判定することを特徴としている。
【０１２０】
この装置によれば、検出した移動体の上端と下端の移動速度の最大値の比を指標として、簡単に歩行者の検出を行うことが可能となる。
【０１２１】
また、請求項１３に記載の発明によれば、請求項１２に記載の歩行者検出装置において、前記歩行者検出部は、前記移動体の前記上端と前記下端における前記移動速度の前記最大値の比が所定の範囲内の場合に、所定の時間間隔における前記移動体の前記画像上の前記座標の変化が所定値以下であるとともに、前記移動速度の変化が所定値以上である場合に、前記移動体を歩行者と判定することを特徴としている。
【０１２２】
この装置によれば、移動速度が遅い歩行者でも、簡単に検出を行うことが可能となる。
【０１２３】
さらに、請求項１４に記載の発明によれば、請求項１〜１３のいずれか１項に記載の歩行者検出装置において、前記特徴点が物体のエッジであることを特徴としている。
【０１２４】
この装置によれば、撮像画像上において物体のエッジを検出することで、簡単に歩行者を検出することができる。
【０１２５】
また、以上説明した本発明の実施形態の歩行者検出方法によれば、以下のような作用効果を得ることができる。
【０１２６】
請求項１５に記載の発明によれば、自車両前方の画像を撮像するステップと、撮像した画像から特徴点を抽出するステップと、前記特徴点を表す画素の前記画像上の移動速度および移動方向を移動情報として算出するステップと、前記画素の前記画像上の座標を前記自車両前方の俯瞰図における座標に変換するステップと、前記画素の前記俯瞰図における前記座標および前記画素の前記移動情報に基づいて前記特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定するステップと、前記特徴点が移動体であると判定された際に、前記移動体の前記画像上における前記移動速度の変化に基づいて前記移動体が歩行者であるか否かを判定するステップと、を備えることを特徴としている。
【０１２７】
この方法によれば、撮像した画像から抽出した特徴点の移動情報と位置に基づいて、特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定し、特徴点が移動体と判定された場合は、移動体の移動速度の変化に基づいて移動体が歩行者であるかどうかを判定することができ、精度高く歩行者の識別を行うことができる。
【０１２８】
また、請求項１６に記載の発明によれば、請求項１５に記載の歩行者検出方法において、前記画像の垂直方向に隣接するとともに前記移動速度が所定の範囲にある前記画素を同一のグループにグループ化するステップを備え、同一のグループにグループ化された前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記俯瞰図における座標に基づいて前記特徴点を平面物または立体物と判定することを特徴としている。
【０１２９】
この方法によれば、撮像画像上で同等の速度を有する隣接した画素をグループ化してその最上部と最下部に位置する画素を求め、該画素の俯瞰変換後の座標により平面物、立体物、移動体の判定を行うことができ、一つのカメラの撮像画像から該判定を簡単に行うことができる。
【０１３０】
また、請求項１７に記載の発明によれば、請求項１６に記載の歩行者検出方法において、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合に前記特徴点を平面物と判定し、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記複数の領域のうちそれぞれ異なる領域に位置する場合、または前記最上部に位置する前記画素が前記俯瞰図の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に、前記特徴点を立体物と判定することを特徴としている。
【０１３１】
この方法によれば、撮像画像上で同等の速度を有する隣接した画素をグループ化してその最上部と最下部に位置する画素を求め、該画素の俯瞰変換後の座標により平面物、立体物、移動体の判定を行うことができ、一つのカメラの撮像画像から該判定を簡単に行うことができる。
【０１３２】
また、請求項１８に記載の発明によれば、請求項１６に記載の歩行者検出方法において、前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記俯瞰図の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することを特徴としている。
【０１３３】
この方法によれば、特徴点を表す画素の前記画像上の移動速度を算出した際に、同じ物体を構成する画素でありながら何らかの影響で同等の移動速度が算出されない場合でも、高精度で立体物の識別が可能となる。
【０１３４】
また、請求項１９に記載の発明によれば、請求項１５〜１８のいずれか１項に記載の歩行者検出方法において、複数の前記立体物における前記画素の前記移動情報と前記画素の前記画像上における前記座標とに基づいて前記立体物が移動体であるか否かを判定する移動体判定を行うことを特徴としている。
【０１３５】
この方法によれば、自車両の動きの推定や物体までの距離を算出することなく、検出した立体物の速度と位置関係に基づいて移動体の検出を簡単に行うことが可能となる。
【０１３６】
また、請求項２０に記載の発明によれば、請求項１９に記載の歩行者検出方法において、前記画素のうち前記画像の垂直方向において最下部に位置する前記画素の前記俯瞰図における前記座標に基づいて前記自車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に前記移動体判定を行うことを特徴としている。
【０１３７】
この方法によれば、検出した走路境界で区切られた区画毎に移動体の検出を行うため、複雑な背景下においても、簡単に移動体の検出を行うことが可能となる。
【０１３８】
また、請求項２１に記載の発明によれば、請求項１５〜２０のいずれか１項に記載の歩行者検出方法において、複数の前記移動体の前記画像上の前記移動方向が同一で前記移動速度の比が所定の範囲内であって、該複数の前記移動体の前記画像上の前記座標の差が所定値以下である場合に、該複数の移動体を一つの移動体であると判定することを特徴としている。
【０１３９】
この方法によれば、一つの移動体において複数のエッジが検出された場合でも、一つの移動体であるとの判定を行うことが可能となる。
【０１４０】
また、請求項２２に記載の発明によれば、請求項１５〜２１のいずれか１項に記載の歩行者検出方法において、前記移動体の前記移動速度の分散値を算出し、該分散値が所定値以上の場合に、前記移動体を歩行者と判定することを特徴としている。
【０１４１】
この方法によれば、検出した移動体の移動速度の分散値を指標として、簡単に歩行者の検出を行うことが可能となる。
【０１４２】
また、請求項２３に記載の発明によれば、請求項２２に記載の歩行者検出方法において、前記移動体の前記移動速度の前記分散値が所定値未満の場合に、所定の時間間隔における前記移動体の前記画像上の前記座標の変化が所定値以下であるとともに、前記移動速度の変化が所定値以上である場合に、前記移動体を歩行者と判定することを特徴としている。
【０１４３】
この方法によれば、移動速度が遅い歩行者でも、簡単に検出を行うことが可能となる。
【０１４４】
また、請求項２４に記載の発明によれば、請求項１５〜２１のいずれか１項に記載の歩行者検出方法において、前記移動体を前記画像上において上部と下部とに分割して該下部における前記移動速度の分散値を算出し、該分散値が所定値以上の場合に、前記移動体を歩行者と判定することを特徴としている。
【０１４５】
この方法によれば、検出した移動体の下部における移動速度の分散値を指標として、簡単に歩行者の検出を行うことが可能となる。
【０１４６】
また、請求項２５に記載の発明によれば、請求項２４に記載の歩行者検出方法において、前記移動体の前記下部における前記移動速度の前記分散値が所定値未満の場合に、所定の時間間隔における前記移動体の前記画像上の前記座標の変化が所定値以下であるとともに、前記移動速度の変化が所定値以上である場合に、前記移動体を歩行者と判定することを特徴としている。
【０１４７】
この方法によれば、移動速度が遅い歩行者でも、簡単に検出を行うことが可能となる。
【０１４８】
また、請求項２６に記載の発明によれば、請求項１５〜２１のいずれか１項に記載の歩行者検出方法において、前記移動体の上端と下端を検出して該上端と該下端それぞれにおける前記移動速度の最大値を算出し、該上端と該下端における該最大値の比が所定の範囲外の場合に、前記移動体を歩行者と判定することを特徴としている。
【０１４９】
この方法によれば、検出した移動体の上端と下端の移動速度の最大値の比を指標として、簡単に歩行者の検出を行うことが可能となる。
【０１５０】
また、請求項２７に記載の発明によれば、請求項２６に記載の歩行者検出方法において、前記移動体の前記上端と前記下端における前記移動速度の前記最大値の比が所定の範囲内の場合に、所定の時間間隔における前記移動体の前記画像上の前記座標の変化が所定値以下であるとともに、前記移動速度の変化が所定値以上である場合に、前記移動体を歩行者と判定することを特徴としている。
【０１５１】
この方法によれば、移動速度が遅い歩行者でも、簡単に検出を行うことが可能となる。
【０１５２】
さらに、請求項２８に記載の発明によれば、請求項１５〜２７のいずれか１項に記載の歩行者検出方法において、前記特徴点が物体のエッジであることを特徴としている。
【０１５３】
この方法によれば、撮像画像上において物体のエッジを検出することで、簡単に歩行者を検出することができる。
【０１５４】
以上、本発明の実施形態を図面により詳述したが、実施形態は本発明の例示にしか過ぎず、本発明は実施形態の構成にのみ限定されるものではない。したがって本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれることはもちろんである。
例えば、ブロック図は上記実施例に示すものに限定されるものではなく、同等の機能を備えた構成であれば良い。
【０１５５】
また、カメラの取り付け位置は実施形態で述べた位置に限定されるものではなく、カメラの光軸が車両前方正面方向（Ｚ方向）に向き、撮像面の水平軸および垂直軸がそれぞれ路面と平行および垂直となるように設定されていれば良い。
【０１５６】
また、検出したエッジの幅の正規化を行うにあたっては、エッジ幅は３画素に限定されるものではなく、任意の画素数を設定することができる。この場合、その後の処理でエッジの中央部の画素を利用するため、エッジ幅の画素数は奇数個であることが望ましい。
【０１５７】
また、ｘｙ平面を分割して設定する短冊領域の数は上記実施形態に示すものに限定されるものではなく、任意の数に分割して設定することができる。
【０１５８】
また、ＺＸ平面を分割して設定する領域の数は上記実施形態に示すものに限定されるものではなく、任意の数に分割して設定することができる。
【０１５９】
また、ＺＸ平面の縦方向および横方向の範囲は、任意の値に設定することができる。
【０１６０】
また、上記実施形態では道路を走行する車両に歩行者検出装置１０を搭載する例について説明したが、他の移動体に搭載してもよい。
【０１６１】
さらに、上記実施形態では、検出する走路境界として、縁石、白線、外壁と路面との接点の例について説明したが、これに限定されず、例えば、ガードレール、駐車車両と路面との境界、路面と路面以外の領域（田、畑など）との境界を検出してもよい。
【図面の簡単な説明】
【０１６２】
【図１】本発明の実施形態の構成例を示すブロック図である。
【図２】カメラの車両への設置例を示す図である。
【図３】カメラで撮像した画像の例を示す図である。
【図４】抽出したエッジを正規化して、エッジ画像を得るために行う各処理の例を示す図である。
【図５】速度画像の例を示す図である。
【図６】速度画像上に短冊領域を設定し、各短冊領域において速度が所定範囲内の画素を同一グループにグループ化し、グループの下端点と上端点を検出した例を示す図である。
【図７】速度画像上で検出した上端点と下端点をＺＸ平面上に座標変換し、物体が平面物か立体物かの判定を行う例を示す図である。
【図８】下端点の座標変換点のＺＸ平面上の位置分布より走路境界線を検出する例を示す図である。
【図９】検出した走路境界で区切られた区画内で検出した立体物の画像の水平方向位置と速度の関係から移動物体を検出する場合の具体例を示す図である。
【図１０】歩行者の脚および腕の移動速度の変化を示すグラフである。
【図１１】本発明の実施形態のフローチャートである。
【図１２】本発明の実施形態の歩行者判定のフローチャートである。
【図１３】本発明の実施例１の歩行者判定のフローチャートである。
【図１４】歩行者の頭と脚の速度の関係を示す図である。
【図１５】本発明の実施例２の歩行者判定のフローチャートである。
【図１６】速度画像上に短冊領域を設定し、各短冊領域において速度が検出された画素をＺＸ平面上へ座標変換することで、平面物候補点か立体物候補点かを判定する例を示す図である。
【図１７】検出した平面物候補点と立体物候補点の配置から立体物の判定を行う例を示す図である。
【図１８】本発明の実施例３のフローチャートである。
【符号の説明】
【０１６３】
１０ 歩行者検出装置
１００ 制御部
１０１ カメラ（撮像部）
１０２ 画像一時記録部
１０３ 特徴点抽出部
１０４ 移動情報算出部
１０５ グループ化
１０６ 座標変換部
１０７ 物体属性判定部
１０８ 歩行者判定部
【技術分野】
【０００１】
本発明は、歩行者検出装置および歩行者検出方法に関するものである。
【背景技術】
【０００２】
一般に、車載カメラの撮像画像からオプティカルフロー（画像速度情報）を利用して歩行者や車両等の移動体を検出する移動体検出装置と移動検出方法が多数提案されている。例えば、撮像画像のオプティカルフローを求め、移動体の動きに基づいて抽出した撮像画像の背景のオプティカルフローと撮像画像全体のオプティカルフローとの比較により、移動体を検出する移動体検出方法が提案されている（特許文献１）。
【特許文献１】特開２００４−５６７６３号
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このような移動体検出装置または移動体検出方法では、移動体を検出するために背景のオプティカルフローを算出する必要がある。ここで、背景のオプティカルフローは、自車両前方の空間モデルを推定し、この空間モデルと自車両の動きに基づいて算出しているが、微小時間ではこの推定の精度が低くなってオプティカルフローの検出精度も低下し、移動体を高い精度で検出することが難しいという問題が生じていた。特に、歩行者は移動速度が遅く不規則な動きを示すことが多いため、歩行者を高い精度で検出することが難しいという問題があった。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の歩行者検出装置は、自車両前方の画像を撮像する撮像部および、前記撮像部で撮像した画像から特徴点を抽出する特徴点抽出部と、前記特徴点を表す画素の前記画像上の移動速度および移動方向を移動情報として算出する移動情報算出部と、前記画素の前記画像上の座標を前記自車両前方の俯瞰図における座標に変換する座標変換部と、前記画素の前記俯瞰図における前記座標および前記画素の前記移動情報に基づいて前記特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定する物体属性判定部と、前記特徴点が移動体であると判定された際に、前記移動体の前記画像上における速度変化に基づいて前記移動体が歩行者であるか否かを判定する歩行者判定部とを有する制御部と、を備えることを特徴としている。
【発明の効果】
【０００５】
上記構成によれば、カメラで撮像した画像を画像処理して移動体を検出し、検出した移動体の移動速度の変化から歩行者に特有の変化を検出することで、歩行者を高い精度で検出することができる。
【発明を実施するための最良の形態】
【０００６】
以下、この発明の実施形態を図面に基づいて説明する。
図１は、本発明の実施形態における移動体検出装置の構成例を示すブロック図である。
【０００７】
歩行者検出装置１０は車両に搭載され、車両前方を撮像する撮像部であるカメラ１０１および、カメラ１０１で撮像した画像を一時的に記録する画像一時記録部１０２と、画像一時記録部１０２に記憶された画像を画像処理することで特徴点を抽出する特徴点抽出部１０３と、特徴点抽出部１０３により抽出された特徴点を表す画素の画像上における移動速度および移動方向を移動情報として算出する移動情報算出部１０４と、移動情報算出部１０４により算出された画素の速度を指標として特徴点を表す画素のグループ化を行うグループ化部１０５と、グループ化部１０５によりグループ化された画素のうち特定の画素の座標を自車両前方の俯瞰図における座標に変換する座標変換部１０６と、座標変換部１０６により変換された画素の座標および移動情報算出部１０４により算出された特徴点の移動情報に基づいて特徴点が平面物であるか立体物であるかを判定するとともに、特徴点が立体物である場合には移動体であるかどうかを判定する物体属性判定部１０７と、特徴点が移動体である場合に、移動体の移動速度の変化に基づいて移動体が歩行者であるか否かを判定する歩行者判定部１０８と、を有する制御部１００を備えている。
【０００８】
カメラ１０１は、例えばＣＣＤやＣＭＯＳなどの撮像素子を有したカメラであり、車両前方を連続的に撮像してフレーム毎に撮像した画像を画像一時記録部１０２に出力する。カメラ１０１で撮像された画像は、画像一時記録部１０２に一時的に記録される。ここで、図２に示すように、カメラ１０１は車両の室内上部前方（例えばルームミラー部等）に設置され、その光軸ＬＳは車両前方正面方向（Ｚ方向）に向き、撮像面の水平軸Ｘ（図示省略）は路面と平行となるように、また撮像面の垂直軸Ｙ（図示省略）は路面と垂直になるように設定されている。
【０００９】
カメラ１０１で撮像した画像（自車両前方の画像）の例を図３に示す。カメラ１０１により撮像された画像は、画像左上を原点として左から右へx軸、上から下へy軸とするｘｙ座標系によって表される。なお、図３においては、左右の走路脇に設置された縁石、白線、外壁などの走路の境界線と、左から右へ移動する歩行者、自車両前方を走行中の先行車が撮像画像に含まれている。
【００１０】
特徴点抽出部１０３は、カメラ１０１で撮像された画像を画像一時記録部１０２から読み込み、読み込んだ撮像画像を所定の閾値を用いて２値化することによって、画像内に存在する物体のエッジを抽出する。図４（ａ）に、抽出した垂直方向のエッジ例を示す。次に、抽出した各エッジに対して、細線化処理を行ってエッジ幅を絞り、エッジの垂直方向の中心を正確に設定する（図４（ｂ）参照）。さらに、細線化されたエッジのエッジ幅が一定の幅となるように、例えば３画素分の幅となるように、エッジを水平方向に拡張する（図４（ｃ）参照）。この操作により、抽出したエッジが正規化され、各エッジが均一の幅を持つエッジ画像を得ることができる。
【００１１】
移動情報算出部１０４は、エッジに該当する画素の画素カウンタのカウンタ値を更新する。ここで、画素カウンタとは、各画素毎に設定されたカウンタであり、画素がエッジに該当する場合に画素カウンタのカウンタ値が＋１加算され、画素がエッジに該当しない場合は画素カウンタのカウンタ値が０となって初期化されるカウンタである。このカウンタ値の更新処理を、カメラ１０１で連続的に撮像されるフレーム毎に行う。この操作により、エッジに該当する時間が長い画素は画素カウンタのカウンタ値が大きくなり、エッジに該当する時間が短い画素は画素カウンタのカウンタ値が小さくなる。この画素カウンタのカウンタ値の変化は、エッジの移動方向と移動量を表していることになるため、このカウンタ値から、撮像画像上におけるエッジの移動方向と移動速度とを算出することができる。
【００１２】
次に、撮像された画像上に存在するエッジの速度成分を所定の階級値に分類して表した速度画像を生成する。本実施形態における速度画像は、図５に示すように、速度が検出されたエッジの画素を丸型の点で表し、移動速度が速い画素ほど点を大きく示す。また、右へ向かう速度を黒点で表し、左へ向かう速度を白点で表すことによって移動方向を表している。図５においては、自車両の走行路右側の縁石および白線からは画像の右側へ向かう速度が検出されており、走行路左側の外壁からは画像の左側へ向かう速度が検出されている。また、走行路左側から右へ移動する歩行者では、画像の右側へ向かう速度が検出されている。さらに、自車両前方を自車両より速く走行する先行車では、先行車の左端に画像の右側へ向かう速度が検出され、先行車の右端に画像の左側へ向かう速度が検出されている。
【００１３】
グループ化部１０５は、算出した速度画像から立体物を抽出するために、速度画像を分割する領域を設定する。すなわち、図６に示すように、速度画像上に短冊状の複数の領域を設定し、速度画像を複数の領域（以降、短冊領域と呼ぶ）で分割する。
【００１４】
次に、各短冊領域毎に、速度が所定範囲内にあるとともに垂直方向に隣接する画素を同一のグループとしてグループ化する。すなわち、画像の下部から上部に向かって各短冊領域を走査し、短冊領域内に速度を持った画素が存在する場合、その画素の上方に隣接する速度を持った画素との速度差を比較し、速度差が閾値ΔＶＧ以下である場合には、車両に対して同じ速度で移動する物体であると推定できることから、同じ物体であると判定してグループ化を行う。そして、グループ化された画素の上端位置（請求項における最上部）と下端位置（請求項における最下部）を検出する。この処理により、図６における下端ＢＬ１〜ＢＬ１３及び上端ＴＬ１〜ＴＬ１３が検出される。
【００１５】
座標変換部１０６は、ｘｙ平面上で抽出した下端ＢＬ１〜ＢＬ１３及び上端ＴＬ１〜ＴＬ１３のｘ軸方向の中心位置を座標とする下端点ＢＰ１〜ＢＰ１３（図７参照）および上端点ＴＰ１〜ＴＰ１３（図７参照）の位置を、規定の面積を備えたＺＸ平面上の点として俯瞰変換する。
【００１６】
ここで、ｘｙ平面上の各点の位置を表す座標を（ｘ、ｙ）とし、カメラの路面からの高さをＣｈ（ｍ）、カメラの俯角をＴｒ（ｒａｄ）、画像の縦サイズをＩｈ、画像の横サイズをＩｗ、高さ方向の１画素あたりの角度分解能をＰＹｒ（ｒａｄ）、横方向の１画素あたりの角度分解能をＰＸｒ（ｒａｄ）とすると、ｘｙ平面上の点ＴＰ１〜ＴＰ１３及びＢＰ１〜ＢＰ１３は、次式に従ってＺＸ平面の座標（Ｚ、Ｘ）に変換される。
【００１７】
Ｚ＝(Ｃｈ)／(ＴＡＮ(Ｔｒ＋(ｙ−Ｉｈ／２)×ＰＹｒ))（数式１）
Ｘ＝（ｘ）×ＴＡＮ((Ｚ-Ｉｗ／２)×ＰＸｒ) （数式２）
ここで、上端点ＴＰ１〜ＴＰ１３、下端点ＢＰ１〜ＢＰ１３の変換後の点を、上端点の座標変換点ＲＴ１〜ＲＴ１３、下端点の座標変換点ＲＢ１〜ＲＢ１３とする。
【００１８】
物体属性判定部１０７は、上端点の座標変換点ＲＴ１〜ＲＴ１３、下端点の座標変換点ＲＢ１〜ＲＢ１３が、規定のＺＸ平面を分割して設定した領域のうちどの領域に位置するかの判定を行う（図７参照）。ここで、車両の上下動に伴いカメラ１０１の撮像映像も上下に動き、座標変換点が位置する領域も変動してしまう可能性がある。この影響を避けるため、ＺＸ平面を分割して設定する領域はメーターオーダーで設定することが望ましい。本実施例では、Ｘ軸方向は、−５．２５ｍ＞Ｘ、−５．２５≦Ｘ＜−３．５ｍ、−３．５ｍ≦Ｘ＜−１．７５ｍ、−１．７５ｍ≦Ｘ＜０ｍ、０ｍ≦Ｘ＜１．７５ｍ、１．７５ｍ≦Ｘ＜３．５ｍ、３．５ｍ≦Ｘ＜５．２５ｍ、５．２５ｍ≦Ｘ、として８分割し、Ｚ軸方向は、０ｍ≦Ｚ＜１０ｍ、１０ｍ≦Ｚ＜２０ｍ、２０ｍ≦Ｚ＜３０ｍ、３０ｍ≦Ｚ＜４０ｍ、４０ｍ≦Ｚ＜５０ｍとして５分割して、領域１１〜領域１５、領域２１〜領域２５、領域３１〜領域３５、領域４１〜領域４５、領域５１〜領域５５、領域６１〜領域６５、領域７１〜領域７５、領域８１〜領域８５を設定している。また、領域１１〜領域１５を領域１０とし、領域２１〜領域２５を領域２０とし、領域３１〜領域３５を領域３０とし、領域４１〜領域４５を領域４０とし、領域５１〜領域５５を領域５０とし、領域６１〜領域６５を領域６０とし、領域７１〜領域７５を領域７０とし、領域８１〜領域８５を領域８０としている。
【００１９】
そして、ｘｙ平面の短冊領域における上端点の座標変換点と上端点と同一のグループの下端点の座標変換点がＺＸ平面の同一の領域に位置すれば、上端点と下端点が路面上にある、すなわち路面上の平面物であると判定する。
【００２０】
一方、同一のグループに属する上端点と下端点のそれぞれの座標変換点がＺＸ平面の同一の領域に位置しない場合、または同一のグループに属する上端点と下端点のうち下端点のみがＺＸ平面に位置する場合は、下端点のみ路面上にある、すなわち立体物であると判定する。
【００２１】
ここで、走路境界を検出するために、ＺＸ平面の各領域に設定したカウンタのうち下端点の座標変換点が位置する領域のカウンタのカウンタ値を＋１加算し、下端点の位置分布情報を算出する。
【００２２】
例えば、本実施例では、上端点ＴＰ１〜ＴＰ７の座標変換点ＲＴ１〜ＲＴ７は図７に示すＺＸ平面外に投影されるため、上端点ＴＰ１〜ＴＰ７を含むグループは立体物であると判定され、上端点ＴＰ１〜ＴＰ７を含むエッジはｘｙ平面上で立体物ＯＢ１〜ＯＢ７として判定される。また上端点ＴＰ８〜ＴＰ１３の座標変換点ＲＴ８〜ＲＴ１３は下端点ＢＰ８〜ＢＰ１３の座標変換点ＲＢ８〜ＲＢ１３と同じ領域に位置するため、すなわち、上端点の座標変換点ＲＴ８と下端点の座標変換点ＲＢ８は同じ領域５３に位置し、上端点の座標変換点ＲＴ９と下端点の座標変換点ＲＢ９は同じ領域５５に位置し、上端点の座標変換点ＲＴ１０と下端点の座標変換点ＲＢ１０は同じ領域８１に位置し、上端点の座標変換点ＲＴ１１と下端点の座標変換点ＲＢ１１は同じ領域８２に位置し、上端点の座標変換点ＲＴ１２と下端点の座標変換点ＲＢ１２は同じ領域８３に位置し、上端点の座標変換点ＲＴ１３と下端点の座標変換点ＲＢ１３は同じ領域８４に位置し、上端点ＴＰ８〜ＴＰ１３をそれぞれ含む各グループは路面上に位置する物であると判定される。ここで、走路境界を検出するために、下端点の座標変換点ＲＢ１〜ＲＢ１３が位置する領域のカウンタのカウンタ値を＋１加算する。
【００２３】
そして、図８に示すように、得られた下端点の座標変換点の位置分布から、走路境界線が存在する可能性が高い領域を抽出する。すなわち、得られた下端点の座標変換点の位置分布において、同じＸ軸領域で複数のＺ軸領域にカウンタ値が存在すれば、自車両前方に走路境界が車両に沿って直線状に存在すると推定できるため、カウンタ値がある領域を走路境界領域として抽出する。例えば、図８では、ｘ軸が同じ範囲の領域３０において、複数のＺ軸領域（下端点ＲＢ１、ＲＢ２、ＲＢ３、ＲＢ４、ＲＢ６が位置する領域）にカウンタ値が存在するため、これらの領域を走路境界領域として抽出する。領域５０、領域８０についても同様である。
【００２４】
そして、抽出した領域に走路境界を示す直線が存在するかどうかの判定を行う（図９参照）。すなわち、抽出した領域に存在する下端点の座標変換点に基づいて、ｘｙ座標系での回帰分析を行い、同じ移動方向の下端点を結ぶ直線の傾きを算出する。例えば、本実施例の領域３０では、領域３０に存在し左方向に移動する下端点の座標変換点ＲＢ１、ＲＢ４、ＲＢ６に対応するｘｙ座標における下端点ＢＰ１、ＢＰ４、ＢＰ６の座標位置からｘｙ座標系での回帰分析を行い、下端点ＢＰ１、ＢＰ４、ＢＰ６を結ぶ直線の傾きａ３を算出する。同様に、領域５０に存在する下端点の座標変換点ＲＢ８、ＲＢ９に対応するｘｙ座標における下端点ＢＰ８、ＢＰ９の座標位置からｘｙ座標系での回帰分析を行い、下端点ＢＰ８、ＢＰ９を結ぶ直線の傾きａ５を算出する。同様に、領域８０に存在する下端点の座標変換点ＲＢ１０、ＲＢ１１、ＲＢ１２、ＲＢ１３に対応するｘｙ座標における下端点ＢＰ１０、ＢＰ１１、ＢＰ１２、ＢＰ１３の座標位置からｘｙ座標系での回帰分析を行い、下端点ＢＰ１０、ＢＰ１１、ＢＰ１２、ＢＰ１３を結ぶ直線の傾きａ８を算出する。そして、算出した直線の傾きが所定の範囲内に入っていれば、抽出した領域内に走路境界を示す直線が存在すると判定する。すなわち、下端点の座標変換点が位置するＸ軸領域の左端座標と各Ｚ軸領域の代表座標（例えば中心座標）を座標とする点（例えば図８のＰＬ１〜ＰＬ５）をｘｙ座標系に変換して回帰分析して算出した直線の傾きＴｎ０ａ１と、下端点の座標変換点が位置するＸ軸領域の右端座標と各Ｚ軸領域の代表座標（例えば中心座標）を座標とする点（例えば図８のＰＲ１〜ＰＲ５）をｘｙ座標系に変換して回帰分析して算出した直線の傾きＴｎ０ａ２とで規定される傾きの範囲内に、下端点に基づき算出された直線の傾きａｎが入っている場合には、抽出した領域内に走路境界を示す直線Ｌｎが存在するとの判定を行う。
【００２５】
例えば、本実施例の領域３０においては、座標（ｘ、ｚ）＝（−３．５、５）の点ＰＬ１、座標（ｘ、ｚ）＝（−３．５、１５）の点ＰＬ２、座標（ｘ、ｚ）＝（−３．５、２５）の点ＰＬ３、座標（ｘ、ｚ）＝（−３．５、３５）の点ＰＬ４、座標（ｘ、ｚ）＝（−３．５、４５）の点ＰＬ５をｘｙ座標に変換して回帰分析を行い算出した各点を結ぶ直線の傾きＴ３０ａ１と、座標（ｘ、ｚ）＝（−１．７５、５）の点ＰＲ１、座標（ｘ、ｚ）＝（−１．７５、１５）の点ＰＲ２、座標（ｘ、ｚ）＝（−１．７５、２５）の点ＰＲ３、座標（ｘ、ｚ）＝（−１．７５、３５）の点ＰＲ４、座標（ｘ、ｚ）＝（−１．７５、４５）の点ＰＲ５をｘｙ座標に変換して回帰分析を行い算出した各点を結ぶ直線の傾きＴ３０ａ２に対し、下端点の投影点ＲＢ１、ＲＢ４、ＲＢ６に対応するｘｙ平面上の下端点ＢＰ１、ＢＰ４、ＢＰ６を結ぶ直線の傾きａ３が、Ｔ３０ａ１とＴ３０ａ２で規定される範囲内に存在するため、下端点ＢＰ１、ＢＰ４、ＢＰ６を結ぶ直線は走路境界を示す直線Ｌ３であると判定される（図８、９参照）。
【００２６】
同様にして、領域５０では、下端点の投影点ＲＢ８、ＲＢ９に対応するｘｙ平面上の下端点ＢＰ８、ＢＰ９を結ぶ直線は走路境界を示す直線Ｌ５であると判定され、領域８０では、下端点の投影点ＲＢ１０〜ＲＢ１３に対応するｘｙ平面上の下端点ＢＰ１０〜ＢＰ１３を結ぶ直線は走路境界を示す直線Ｌ８であると判定される。
【００２７】
そして、図９下図に示すように、走路境界で区切られた各領域において、検出された立体物の下端点の画像の水平方向位置と速度の関係を示すグラフを算出する。このグラフでは、画像中央より左側に位置する立体物、例えば外壁のような背景は、画像を左向きに移動し、画像の左側に位置するほど自車よりも遠い位置にあるため、画素の速度は速くなる。つまり、縦軸に速度（左に移動する速度をプラス、右に移動する速度をマイナス）、横軸に画像のｘ座標（画像左端を原点）に設定すると、画像の右半分においては、背景や静止物であれば、速度とｘ座標の関係は、右下がりの直線となる。一方、画像の右半分において右下がりの直線関係とならない座標がある場合は、背景や静止物でないもの、すなわち移動体が存在する可能性がある。この場合、図９に示すように、背景の速度（左向きの速度）とは逆向きの速度（右向きの速度）を有する座標が検出された場合は、背景とは逆方向に移動する移動体が存在すると判定する。また、背景よりも速い速度を有する座標が検出されれば、移動体が存在すると判定する。
【００２８】
例えば、本実施例では、領域３０、領域５０、領域８０で検出された走路境界に基づいて、走路境界Ｌ３の左側、すなわち、領域１０、領域２０、領域３０の左側の一部を区画ａと設定し、走路境界Ｌ３と走路境界Ｌ５との間、すなわち、領域３０の右側の一部、領域４０、領域５０の左側の一部を区画ｂと設定し、走路境界Ｌ５と走路境界Ｌ８との間、すなわち、領域５０の右側の一部、領域６０、領域７０、領域８０の左側の一部を区画ｃと設定し、走路境界Ｌ８の右側、すなわち、領域８０の右側の一部を区画ｄと設定し、区画ｂに存在する立体物ＯＢ１〜ＯＢ６の水平方向位置と速度の関係から、ＯＢ１、ＯＢ４、ＯＢ６を静止している立体物（ここでは外壁）と判定し、右へ移動するＯＢ２、ＯＢ３、ＯＢ５を移動体と判定する。
【００２９】
また、画像右側に存在する立体物においても、左側と同様な方法で、速度（右に移動する速度をプラス、左に移動する速度をマイナス）と画像のｘ座標（画像右端を原点）の関係を求め、右上がりの直線関係とならない場合には、領域内に立体物が存在する可能性が高いと判断し、背景の速度と逆向きの速度が検出されれば、背景とは逆方向に移動する移動体の検出を行うことができる。図９では、区画ｃに存在するＯＢ７を移動体と判定する。
【００３０】
さらに、車両挙動（車両の進行方向）を利用することにより、上述したように撮像画像の左右において別々に移動物体の検出が必要か、あるいは撮像画像全体で移動物体の検出が可能かを判断することも可能となる。例えば、車両を右へ操舵している場合には、前方画像の背景に該当する領域は、左側へ移動する速度のみが検出されるため、上述したように撮影画像左右でそれぞれ移動体の検出を行わずに撮像画像全体で一括して移動体の検出を行うことができる。車両を左へ操舵している場合も同様である。
【００３１】
ここで、前述したように、移動体の判定は、背景となる立体物と移動体の水平方向位置と速度を比較して行うため、例えば歩行者に該当する立体物しか検出できず、背景に該当する外壁等の立体物が抽出できない場合は、移動体の判定を行うことができない。この場合は、次回の検出で再度立体物と判定された際に、その速度変化から移動体であるか否かの判定を行う（後述）。
【００３２】
なお、複数の移動体の座標の差が所定値以内であって、それらの移動体の速度の比が所定の範囲内である場合に、複数の移動体を一つの移動体としてグループ化を行う。例えば、図９において、ＯＢ２とＯＢ３は一つの移動体としてグループ化される。
【００３３】
歩行者判定部１０８は、走路境界で区切られた領域において、図１０に示すように、検出した移動体の速度変化を指標とすることにより、移動体が歩行者であるか否かを識別する。
【００３４】
歩行者の移動速度を詳細に観察した場合、歩行者が一定速度で歩行していると仮定すると、図１０、図１１に示すように、腕と脚は歩行により速度の増減が観察される。歩行開始からの脚の速度変化を見ると、まず例えば右脚が進行方向に踏み出してスタートし、その速度が徐々に速くなって最高速度に達した後に今度は速度が徐々に低下して地面に着地するという速度変化が観察される。右脚が地面に着地すると同時に今度は左脚が進行方向に踏み出して、右脚と同様の速度変化が観察される。
【００３５】
また、歩行開始からの腕の速度変化を見てみると、脚とは逆向きの速度変化が観察される。
【００３６】
このように、歩行者においては、歩行により速度変化が観察される、と言う特徴がある。
【００３７】
したがって、この特徴を利用することにより、移動体が歩行者であるか否かを識別することが可能となる。
【００３８】
すなわち、例えば、移動体の速度の分散値をΔＶとし、ΔＶが所定値ΔＶＰ以上であるか否か、すなわち、ΔＶ≧ΔＶＰの条件を満たすか否かによって、移動体が歩行者であるか否かを識別することが可能となる。
【００３９】
図１１は、本実施形態における歩行者検出装置１０の処理を示すフローチャートである。この処理はイグニションスイッチ（図示省略）がオンされると起動されるプログラムとして実行される。
【００４０】
ステップＳ１０１では、カメラ１０１で撮像され画像一時記録部１０２に記録された自車両前方の画像が所定の周期で特徴点抽出部１０３に出力される。この後に、フローはステップＳ１０２へ移行する。
【００４１】
ステップＳ１０２では、特徴点抽出部１０３が画像に対してエッジ抽出処理を行い、撮像画像内に存在する物体の輪郭をエッジ画像として抽出するとともにエッジ画像の正規化を行う。この後に、フローはステップＳ１０３へ移行する。
【００４２】
ステップＳ１０３では、移動情報算出部１０４がエッジの速度と方向を算出し、算出した速度を所定の階級で表した速度画像を算出する。この後に、フローはステップＳ１０４へ移行する。
【００４３】
ステップＳ１０４では、グループ化部１０５が算出した速度画像上に短冊領域を設定する。この後に、フローはステップＳ１０５へ移行する。
【００４４】
ステップＳ１０５では、グループ化部１０５が各短冊領域内に速度を持った画素があるかどうかを下から上に向かって調べる。速度を持った画素が複数ある場合、その速度差が所定値ΔＶＧ未満である場合は、グループ化部１０５がそれらの画素は同一の物体を表しているものとして同一のグループにグループ化を行う。この後に、フローはステップＳ１０６へ移行する。
【００４５】
ステップＳ１０６では、各短冊領域内におけるグループ毎において、最も上に位置する画素の中心座標を上端点に、最も下に位置する画素の中心座標を下端点に設定する。この後に、フローはステップＳ１０７へ移行する。
【００４６】
ステップＳ１０７では、座標変換部１０６が、前述した（式１）、（式２）を用いて、検出した上端点と下端点の座標をＺＸ平面へ座標変換する。この後に、フローはステップＳ１０８へ移行する。
【００４７】
ステップＳ１０８では、物体属性判定部１０７が、上端点の座標変換点と上端点と同じグループの下端点の座標変換点の位置がＸ軸範囲とＺ軸範囲を規定したＺＸ平面のどの領域に位置するかを判断し、上端点の座標変換点と上端点と同じグループの下端点の座標変換点の双方がＺＸ平面の同一の領域に位置する場合は、上端点、下端点を含む物体を平面物であると判定する。一方、上端点の座標変換点と、上端点と同じグループの下端点の座標変換点とがＺＸ平面の同一の領域に位置しない場合、または上端点と同じグループの下端点の座標変換点のみがＺＸ平面に位置する場合は、上端点、下端点を含む物体を立体物であると判定する。ここで、下端点が位置する領域のカウンタのカウンタ値を＋１加算する。この後に、フローはステップＳ１０９に進む。
【００４８】
ステップＳ１０９では、物体属性判定部１０７により、検出した全ての上端点、下端点について、上端点、下端点を含む物体が平面物であるか立体物であるかの判定（以下、物体の属性判定と呼ぶ）が行われたかどうかの判定が行われる。検出した全ての上端点、下端点について物体の属性判定が行われた場合は、ステップＳ１１０に進む。一方、検出した全ての上端点、下端点について物体の属性判定が行われていない場合は、ステップＳ１０５に戻り、物体の属性判定が継続される。
【００４９】
ステップＳ１１０では、物体属性判定部１０７により、ＺＸ平面における下端点の座標変換点の位置分布から、同じＸ軸領域において、複数のＺ軸領域にカウンタ値が存在する領域が、走路境界線が存在する可能性が高い領域（以下、走路境界領域と呼ぶ）として抽出される。この後に、フローはステップＳ１１１へ進む。
【００５０】
ステップＳ１１１では、物体属性判定部１０７により、抽出された走路境界領域内に存在する下端点の座標変換点に対応するｘｙ平面の下端点についてｘｙ座標系での回帰分析が行われ、同じ移動方向の下端点を結ぶ直線の傾きが算出される。この後に、フローはステップＳ１１２へ進む。
【００５１】
ステップＳ１１２では、物体属性判定部１０７により、ステップＳ１１１で算出した直線の傾きが、下端点が位置する領域において、Ｘ軸領域の左端座標と各Ｚ軸領域の代表座標を座標とする点（例えば図８のＰＬ１〜ＰＬ５）を結ぶ直線およびＸ軸領域の右端座標と各Ｚ軸領域の代表座標を座標とする点（例えば図８のＰＲ１〜ＰＲ５）を結ぶ直線のｘｙ座標系における傾きの範囲にあれば、抽出した領域に走路境界を示す直線が存在すると判定され、ステップＳ１１１で算出した直線は走路境界を示す直線として検出される。この後に、フローはステップＳ１１３へ進む。
【００５２】
ステップＳ１１３では、物体属性判定部１０７において、抽出された走路境界領域において、全ての走路境界を示す直線が検出されたか否かの判定を行う。全ての走路境界を示す直線が検出された場合は、ステップＳ１１４へ進む。一方、全ての走路境界を示す直線が検出されていない場合は、ステップＳ１１０に戻り、走路境界を示す直線の検出が継続される。
【００５３】
ステップＳ１１４では、物体属性判定部１０７において、走路境界で区切られた各区画に対し、各区画内に存在する立体物（外壁、歩行者等）の速度とｘ座標の関係を算出し、背景と逆方向の速度が検出された立体物がある場合には、自車両に近づく移動体が存在すると判定し、フローはステップＳ１１５に進む。一方、背景と逆方向の速度が検出された物体がない場合には、移動体候補が存在する可能性があると判定し、ステップＳ１１７に進む。
【００５４】
ステップＳ１１５では、複数の移動体の座標の差が所定値以内であって、それらの移動体の速度の比が所定値以内である場合に、複数の移動体を一つの移動体としてグループ化を行う。例えば、ある移動体Ａの速度をＶＡ、他の移動体Ｂの速度をＶＢとし、ＶＡ≧ＶＢの場合に、１≦（ＶＡ／ＶＢ）≦ＲＶ（所定値）を満たす場合は、移動体Ａと移動体Ｂを一つの移動体としてグループ化を行う。この後に、フローはステップＳ１１６へ移行する。
【００５５】
ステップＳ１１６では、歩行者の移動速度の変化に基づいて、後述する歩行者の判定が行われる。この後に、フローはステップＳ１１８へ移行する。
【００５６】
ステップＳ１１７では、物体属性判定部１０７において、移動体候補が移動体であるかどうかの判定（移動体候補検証）を行う。移動体候補が存在すると判断された区画に、前回も移動体候補が存在すれば、前回と今回の速度を比較する。移動体候補が静止物である場合は、自車両の前進に従い移動体候補が自車両に接近し、移動体候補に対応する画素の移動速度が速くなる。このため、前回よりも下端点の座標変換点の速度が速くなっている場合には、移動体は存在しないと判定し、フローはステップＳ１１８に進む。前回よりも下端点の座標変換点の速度が速くなっていない場合には、移動体が存在すると判定し、フローはステップＳ１１５に進む。
【００５７】
ステップＳ１１８では、走路境界で区切られたすべての区画において、歩行者の検出が終了したか否かの判断を行う走路境界で区切られたすべての区画において、歩行者の検出が終了した場合には、フローはステップＳ１１９へ進む。一方、走路境界で区切られたすべての区画において、歩行者の検出が終了していない場合は、フローはステップＳ１１４に戻り、歩行者の検出が継続される。
【００５８】
ステップＳ１１９では、自車両のイグニションスイッチがオフされたか否かの判定が行われる。イグニションスイッチがオフされていない場合には、ステップＳ１０１へ戻って処理を繰り返す。一方、イグニションスイッチがオフされた場合には、フローはステップＳ１２０へ移行して処理を終了する。
【００５９】
次に、ステップＳ１１６の歩行者判定の動作フローを、図１２のフローチャートを用いて説明する。この動作フローは、歩行者判定部１０８により実行される。
【００６０】
ステップＳ１１６１では、移動体を表す画素の速度から、移動体の速度の分散値ΔＶが算出される。この後に、フローはステップＳ１１６２へ移行する。
【００６１】
ステップＳ１１６２では、ステップＳ１１６２で算出された移動体の速度の分散値ΔＶが、ΔＶ≧ΔＶＰの条件を満たしているか否かが判定される。ここで、ΔＶＰは事前に設定される所定値である。条件を満たしている場合は、移動体に所定値以上の速度の分散が観察され、移動体が歩行者であると判定できるため、フローはステップＳ１１６３へ移行する。一方、条件を満たしていない場合は、移動体に所定値以上の速度の分散が観察されず、移動体の速度の分散値だけでは移動体が歩行者であると判定できないため、フローはステップＳ１１６４へ移行する。
【００６２】
ステップＳ１１６３では、移動体は歩行者であるとの判定が行われる。この後に、フローはステップＳ１１８へ移行する。
ステップＳ１１６４では、今回移動体を検出した座標近傍に前回も移動体を検出していたか否かの判定が行われる。今回移動体を検出した座標近傍に前回も移動体を検出していた場合は、フローはステップＳ１１６５へ移行する。一方、今回移動体を検出した座標近傍に前回移動体を検出していない場合は、移動体は速い速度を有する移動体であると推定し、フローはステップＳ１１６７へ移行する。
【００６３】
ステップＳ１１６５では、前回と今回の移動体の座標変化が垂直方向および水平方向で所定値以下であるか否かが判定される。前回と今回の移動体の座標変化が垂直方向および水平方向で所定値以下である場合、すなわち、移動体の移動距離が所定値以下である場合は、移動体は移動速度が遅い物体、すなわち歩行者である可能性があり、フローはステップＳ１１６６へ移行する。一方、前回と今回の移動体の座標変化が垂直方向および水平方向で所定値を越える場合、すなわち、移動体の移動距離が所定値を越える場合は、移動体は移動速度が速い物体であり歩行者である可能性は少ないと推定し、フローはステップＳ１１６７へ移行する。
【００６４】
ステップＳ１１６６では、前回と今回の移動体の速度の差が所定値以上であるか否かが判定される。前回と今回の移動体の速度の差が所定値以上である場合は、移動体は座標変化が少なく、かつ速度の変化を有するものとなり、歩行者であると推定できるため、フローはステップＳ１１６３へ移行する。一方、前回と今回の移動体の速度の差が所定値未満である場合は、移動体は速度の遅い自転車等、均一でかつ遅い速度を有する移動体であると推定し、フローはステップＳ１１６７へ移行する。
【００６５】
ステップＳ１１６７では、移動体は歩行者以外の物体であるとの判定を行う。この後に、フローはステップＳ１１８へ移行する。
【実施例１】
【００６６】
本実施例は、図１１に示すフローチャートのステップＳ１１６における歩行者判定の内容が前述した実施形態と異なるものであり、その他の構成や動作は実施形態と同一であるため、以下ステップＳ１１６の内容についてのみ説明を行う。
【００６７】
歩行者が歩行する際は、一般的に脚の前後運動とともに腕の前後運動が伴うが、場合によっては腕の前後運動をともなわずに歩行する状況もあり得る。このような際は、脚の速度の分散のみに着目して歩行者の判定を行うことが可能となる。
【００６８】
ステップＳ１１６の歩行者判定の動作フローを、図１３のフローチャートを用いて説明する。この動作フローは、歩行者判定部１０８により実行される。
【００６９】
ステップＳ１１６Ａでは、ステップＳ１１４、ステップＳ１１７で検出した移動体を上部と下部に分割する。上部と下部の分割については、検出した移動体を単純に上下２分割とする、または所定の割合で分割する等により行う。この後に、フローはステップＳ１１６Ｂへ移行する。
【００７０】
ステップＳ１１６Ｂでは、ステップＳ１１６Ａで分割した移動体の下部に属する画素の移動速度の分散値ΔＶＢを算出する。この後に、フローはステップＳ１１６Ｃへ移行する。
【００７１】
ステップＳ１１６Ｃでは、ステップＳ１１６２で算出した移動体の下部の速度の分散値ΔＶＢが、ΔＶＢ≧ΔＶＰの条件を満たしているか否かが判定される。ここで、ΔＶＰは事前に設定される所定値である。条件を満たしている場合は、移動体の下部に所定値以上の速度の分散が観察され、移動体が歩行者であると判定できるため、フローはステップＳ１１６Ｄへ移行する。一方、条件を満たしていない場合は、移動体の下部に所定値以上の速度の分散が観察されず、移動体の下部の速度の分散値だけでは移動体が歩行者であると判定できないため、フローはステップＳ１１６Ｅへ移行する。
【００７２】
ステップＳ１１６Ｅ〜ステップＳ１１６Ｈは図１２のステップＳ１１６４〜ステップＳ１１６７と同等の処理であり、説明は省略する。
【実施例２】
【００７３】
本実施例は、図１１に示すフローチャートのステップＳ１１６における歩行者判定の内容が前述した実施形態と異なるものであり、その他の構成や動作は実施形態と同一であるため、以下ステップＳ１１６の内容についてのみ説明を行う。
【００７４】
歩行者が歩行する際は、図１４に示すように、一般的に歩行中の頭部の速度変化は少なく、足の速度変化は大きい。したがって、頭部と足の速度の最大値の比を指標として、歩行者の判定を行うことが可能となる。
【００７５】
ステップＳ１１６の歩行者判定の動作フローを、図１５のフローチャートを用いて説明する。この動作フローは、歩行者判定部１０８により実行される。
【００７６】
ステップＳ１１６Iでは、ステップＳ１１４、ステップＳ１１７で検出した移動体において、頭部に該当する上端と足に該当する下端を検出する。この後に、フローはステップＳ１１６Ｊへ移行する。
【００７７】
ステップＳ１１６Ｊでは、ステップＳ１１６Ｉで検出した移動体の上端と下端に属する画素の移動速度の最大値ＶＴＭ、ＶＢＭを算出する。この後に、フローはステップＳ１１６Ｋへ移行する。
【００７８】
ステップＳ１１６Ｋでは、ステップＳ１１６Ｊで算出した移動体の上端に属する画素の速度の最大値ＶＴＭと移動体の下端に属する画素の速度の最大値ＶＢＭとが、｜ＶＢＭ｜／｜ＶＴＭ｜≧ＲＰの条件を満たしているか否かが判定される。ここで、ＲＰは事前に設定される所定値で、１≦ＲＰ＜ＲＶを満たす。条件を満たしている場合は、移動体の上端と下端に速度差が観察され、移動体が歩行者であると判定できるため、フローはステップＳ１１６Ｌへ移行する。一方、条件を満たしていない場合は、移動体の上端と下端に速度の差が観察されず、移動体の上端と下端の速度の差だけでは移動体が歩行者であると判定できないため、フローはステップＳ１１６Ｍへ移行する。
【００７９】
ステップＳ１１６Ｍ〜ステップＳ１１６Ｐは図１２のステップＳ１１６４〜ステップＳ１１６７と同等の処理であり、説明は省略する。
【実施例３】
【００８０】
本実施例は、例えばエッジ検出の結果に起因して、同じ立体物や移動体が速度情報を基に同一のグループにグループ化できない場合でも、平面物と立体物の検出が可能な実施例である。
【００８１】
ここでは、図１６に示すように、外壁上に検出されたＰ１１〜Ｐ１１３の内、Ｐ１１〜Ｐ１３とＰ１４〜Ｐ１１３が別々にグループ化され、Ｐ２１〜Ｐ２１５の内、Ｐ２１〜Ｐ２３とＰ２４〜Ｐ２１５が別々にグループ化され、Ｐ３１〜Ｐ３１５の内、Ｐ３１〜Ｐ３３とＰ３４〜Ｐ３１５が別々にグループ化され、Ｐ４１〜Ｐ４１２の内、Ｐ４１、Ｐ４２とＰ４３〜Ｐ４１２が別々にグループ化された場合について、説明を行う。
【００８２】
なお、図１に示したブロック図、図２に示した車両へのカメラ１０１の設置例を示す図、図３に示したカメラ１０１による前方の撮像画像を説明する図、図４に示したエッジの正規化の例を示す図、および図５に示した速度画像を説明する図については、前述した実施形態と同様のため説明を省略する。また、図８〜図９で説明した、下端点を基に走路境界を検出し、検出した走路境界で区切られた各区画毎に立体物の水平方向位置と速度の関係から、移動体を検出する方法については、前述した実施形態における処理と同様のため説明を省略する。
【００８３】
まず、算出した速度画像に物体を検出するための領域を設定する。すなわち、図１６に示すように、速度画像上に短冊状の複数の領域（以降、短冊領域と呼ぶ）を設定し、速度画像を分割する。本実施例では、各短冊領域毎に画像下端から上端に速度を持った画素を順に走査して検出し、検出した画素を前述の（数式１）、（数式２）に基づいてＺＸ平面へ座標変換し、座標変換の結果が図７に示すＺＸ平面内に位置するか否かを判定する。座標変換の結果がＺＸ平面内に位置すれば、平面物の候補点と判定する。一方、ＺＸ平面内に位置しなければ、立体物の候補点として判定する。なお、ＺＸ平面には前述した実施形態で説明した領域と同じ領域が設定されるものとし、領域の設定方法については説明を省略する。
【００８４】
例えば本実施例では、Ｐ１１〜Ｐ１３はＺＸ平面内の同一の領域に位置して平面物の候補点と判定され、Ｐ１４〜Ｐ１１３はＺＸ平面内に位置しないため、立体物候補点と判定される。同様に、Ｐ２１〜Ｐ２３、Ｐ３１〜Ｐ３３、Ｐ４１、Ｐ４２、Ｐ８１〜Ｐ８３、Ｐ９１〜Ｐ９４、Ｐ１０１、Ｐ１０２、Ｐ１１１〜Ｐ１１３、Ｐ１２１、Ｐ１２２、Ｐ１３１〜Ｐ１３３は平面物候補点と判定され、Ｐ２４〜Ｐ２１５、Ｐ３４〜Ｐ３１５、Ｐ４３〜Ｐ４１２、Ｐ５１〜Ｐ５４、Ｐ６１〜Ｐ６１０、Ｐ７１〜Ｐ７４は立体物候補点と判定される。
【００８５】
次に平面物候補点と立体物候補点の判定結果に基づき、立体物の判定を行う。すなわち、平面物候補点であると判定された点と立体物候補点であると判定された点が、縦方向に連続して存在する場合は、立体物の内、路面近くに存在する部分が誤って平面物候補点であると判定されたものと推定できるため、平面物候補点と立体物候補点が縦方向に連続して存在する物体を立体物として判定する。例えば、本実施例では、平面物候補点Ｐ１１〜Ｐ１３と立体物候補点Ｐ１４〜Ｐ１１３が縦方向に連続しているため、Ｐ１１〜Ｐ１１３を立体物ＯＢ１として判定する。同様に、Ｐ２１〜Ｐ２１５を立体物ＯＢ２、Ｐ３１〜Ｐ３１５を立体物ＯＢ３、Ｐ４１〜Ｐ４１２を立体物ＯＢ４として判定する（図１７参照）。
【００８６】
さらに、平面物および立体物と判定された点の内、下端点を抽出し、第１の実施例と同様に下端点のＺＸ平面への座標変換点が位置するＺＸ平面の領域のカウンタのカウンタ値を＋１加算して、下端点の位置分布を算出する。例えば、本実施例では、Ｐ１１、Ｐ２１、Ｐ３１、Ｐ４１、Ｐ５１、Ｐ６１、Ｐ７１、Ｐ８１、Ｐ９１、Ｐ１０１、Ｐ１１１、Ｐ１２１、Ｐ１３１を下端点として検出し、図８に示す各下端点Ｐ１１〜Ｐ１３１の座標変換点ＲＢ１〜ＲＢ１３が位置する領域のカウンタのカウンタ値を＋１加算する。以下、前述した実施形態と同様の操作を行うことで、走路境界と立体物、立体物中の移動体の検出を行うことができる。
【００８７】
移動体を検出した後は、前述した実施形態と同様の操作を行うことで、歩行者の検出を行うことができる。
【００８８】
図１８は、本実施例における歩行者検出装置１０の処理を示すフローチャートである。図１８に示す処理はイグニションスイッチがオンされると、起動されるプログラムとして実行される。図１８においては、図１１に示す本発明の実施形態における処理のフローチャートと同一の処理内容については、同じステップ番号を付与し、以下相違点を中心に説明する。
【００８９】
ステップＳ１２１では、ステップＳ１０４にて設定した物体検出用の短冊領域内において画像下端から上端に向かって走査を行い、速度を持つ画素の座標を（数式１）、（数式２）を用いてＺＸ平面上へ座標変換する。この後に、フローはステップＳ１２２へ移行する。
【００９０】
ステップＳ１２２では、画素の座標変換点がＺＸ平面内に位置すれば、平面物候補点と判定し、画素の座標変換点がＺＸ平面内に位置しなければ、立体物候補点と判定する。この後に、フローはステップＳ１２３に進む。
【００９１】
ステップＳ１２３では、速度が算出された画素の全てがＺＸ平面上へ座標変換されて、平面物候補点および立体物候補点の検出が終了したかどうかが判定される。平面物候補点および立体物候補点の検出が終了した場合には、フローはステップＳ１２４に進む。一方、平面物候補点および立体物候補点の検出が終了していない場合は、フローはステップＳ１２１に戻り、平面物候補点および立体物候補点の検出が継続される。
【００９２】
ステップＳ１２４では、各短冊領域内において、平面物候補点および立体物候補点が縦方向に連続して存在する場合には、平面物候補点および立体物候補点を含む物体を一つの立体物として判定する。この後に、フローはステップＳ１２５に進む。
【００９３】
ステップＳ１２５では、各領域において、平面物候補点のうち、一番下にある点を下端点として検出し、検出した下端点のＺＸ平面上の座標変換点が位置する領域のカウンタのカウンタ値を＋１加算する。この後に、フローはステップＳ１２６に進む。
【００９４】
ステップＳ１２６では、各領域において、カウンタ値に基づき各領域の下端点の位置分布情報の算出が終了したかどうかの判定が行われる。各領域の下端点の位置分布情報の算出が終了した場合には、フローはステップＳ１１０へ進む。一方、各領域の下端点の位置分布情報の算出が終了していない場合には、フローはステップＳ１２４へ戻り、下端点の位置分布情報の算出が継続される。
【００９５】
以降、前述した実施形態と同様の処理により、歩行者を検出する。
【００９６】
以上説明した本発明の実施形態の歩行者検出装置によれば、以下のような作用効果を得ることができる。
【００９７】
請求項１の発明によれば、自車両前方の画像を撮像する撮像部および、前記撮像部で撮像した画像から特徴点を抽出する特徴点抽出部と、前記特徴点を表す画素の前記画像上の移動速度および移動方向を移動情報として算出する移動情報算出部と、前記画素の前記画像上の座標を前記自車両前方の俯瞰図における座標に変換する座標変換部と、前記画素の前記俯瞰図における前記座標および前記画素の前記移動情報に基づいて前記特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定する物体属性判定部と、前記特徴点が移動体であると判定された際に、前記移動体の前記画像上における前記移動速度の変化に基づいて前記移動体が歩行者であるか否かを判定する歩行者判定部とを有する制御部と、を備えることを特徴としている。
【００９８】
この装置によれば、カメラ１０１で撮像した画像から抽出した特徴点の移動情報と位置に基づいて、特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定し、特徴点が移動体と判定された場合は、移動体の移動速度の変化に基づいて移動体が歩行者であるかどうかを判定することができ、精度高く歩行者の識別を行うことができる。
【００９９】
また、請求項２に記載の発明によれば、請求項１に記載の歩行者検出装置において、前記画像の垂直方向に隣接するとともに前記移動速度が所定の範囲にある前記画素を同一のグループにグループ化するグループ化部を備え、前記物体属性判定部は、前記グループ化部によりグループ化された前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記俯瞰図における座標に基づいて前記特徴点を平面物または立体物と判定することを特徴としている。
【０１００】
この装置によれば、撮像画像上で同等の速度を有する隣接した画素をグループ化してその最上部と最下部に位置する画素を求め、該画素の俯瞰変換後の座標により平面物、立体物、移動体の判定を行うことができ、一つのカメラの撮像画像から該判定を簡単に行うことができる。
【０１０１】
また、請求項３に記載の発明によれば、請求項２に記載の歩行者検出装置において、前記物体属性判定部は、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合に前記特徴点を平面物と判定し、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記複数の領域のうちそれぞれ異なる領域に位置する場合、または前記最上部に位置する前記画素が前記俯瞰図の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に、前記特徴点を立体物と判定することを特徴としている。
【０１０２】
この装置によれば、撮像画像上で同等の速度を有する隣接した画素をグループ化してその最上部と最下部に位置する画素を求め、該画素の俯瞰変換後の座標により平面物、立体物、移動体の判定を行うことができ、一つのカメラの撮像画像から該判定を簡単に行うことができる。
【０１０３】
また、請求項４に記載の発明によれば、請求項２に記載の歩行者検出装置において、前記物体属性判定部は、前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記俯瞰図の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することを特徴としている。
【０１０４】
この装置によれば、特徴点を表す画素の前記画像上の移動速度を算出した際に、同じ物体を構成する画素でありながら何らかの影響で同等の移動速度が算出されない場合でも、高精度で立体物の識別が可能となる。
【０１０５】
また、請求項５に記載の発明によれば、請求項１〜４のいずれか１項に記載の歩行者検出装置において、前記物体属性判定部は、複数の前記立体物における前記画素の前記移動情報と前記画素の前記画像上における前記座標とに基づいて前記立体物が移動体であるか否かを判定する移動体判定を行うことを特徴としている。
【０１０６】
この装置によれば、自車両の動きの推定や物体までの距離を算出することなく、検出した立体物の速度と位置関係に基づいて移動体の検出を簡単に行うことが可能となる。
【０１０７】
また、請求項６に記載の発明によれば、請求項５に記載の歩行者検出装置において、前記物体属性判定部は、前記画素のうち前記画像の垂直方向において最下部に位置する前記画素の前記俯瞰図における前記座標に基づいて前記自車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に前記移動体判定を行うことを特徴としている。
【０１０８】
この装置によれば、検出した走路境界で区切られた区画毎に移動体の検出を行うため、複雑な背景下においても、簡単に移動体の検出を行うことが可能となる。
【０１０９】
また、請求項７に記載の発明によれば、請求項１〜６のいずれか１項に記載の歩行者検出装置において、前記歩行者検出部は、複数の前記移動体の前記画像上の前記移動方向が同一で前記移動速度の比が所定の範囲内であって、該複数の前記移動体の前記画像上の前記座標の差が所定値以下である場合に、該複数の移動体を一つの移動体であると判定することを特徴としている。
【０１１０】
この装置によれば、一つの移動体において複数のエッジが検出された場合でも、一つの移動体であるとの判定を行うことが可能となる。
【０１１１】
また、請求項８に記載の発明によれば、請求項１〜７のいずれか１項に記載の歩行者検出装置において、前記歩行者検出部は、前記移動体の前記移動速度の分散値を算出し、該分散値が所定値以上の場合に、前記移動体を歩行者と判定することを特徴としている。
【０１１２】
この装置によれば、検出した移動体の移動速度の分散値を指標として、簡単に歩行者の検出を行うことが可能となる。
【０１１３】
また、請求項９に記載の発明によれば、請求項８に記載の歩行者検出装置において、前記歩行者検出部は、前記移動体の前記移動速度の前記分散値が所定値未満の場合に、所定の時間間隔における前記移動体の前記画像上の前記座標の変化が所定値以下であるとともに、前記移動速度の変化が所定値以上である場合に、前記移動体を歩行者と判定することを特徴としている。
【０１１４】
この装置によれば、移動速度が遅い歩行者でも、簡単に検出を行うことが可能となる。
【０１１５】
また、請求項１０に記載の発明によれば、請求項１〜７のいずれか１項に記載の歩行者検出装置において、前記歩行者検出部は、前記移動体を前記画像上において上部と下部とに分割して該下部における前記移動速度の分散値を算出し、該分散値が所定値以上の場合に、前記移動体を歩行者と判定することを特徴としている。
【０１１６】
この装置によれば、検出した移動体の下部における移動速度の分散値を指標として、簡単に歩行者の検出を行うことが可能となる。
【０１１７】
また、請求項１１に記載の発明によれば、請求項１０に記載の歩行者検出装置において、前記歩行者検出部は、前記移動体の前記下部における前記移動速度の前記分散値が所定値未満の場合に、所定の時間間隔における前記移動体の前記画像上の前記座標の変化が所定値以下であるとともに、前記移動速度の変化が所定値以上である場合に、前記移動体を歩行者と判定することを特徴としている。
【０１１８】
この装置によれば、移動速度が遅い歩行者でも、簡単に検出を行うことが可能となる。
【０１１９】
また、請求項１２に記載の発明によれば、請求項１〜７のいずれか１項に記載の歩行者検出装置において、前記歩行者検出部は、前記移動体の上端と下端を検出して該上端と該下端それぞれにおける前記移動速度の最大値を算出し、該上端と該下端における該最大値の比が所定の範囲外の場合に、前記移動体を歩行者と判定することを特徴としている。
【０１２０】
この装置によれば、検出した移動体の上端と下端の移動速度の最大値の比を指標として、簡単に歩行者の検出を行うことが可能となる。
【０１２１】
また、請求項１３に記載の発明によれば、請求項１２に記載の歩行者検出装置において、前記歩行者検出部は、前記移動体の前記上端と前記下端における前記移動速度の前記最大値の比が所定の範囲内の場合に、所定の時間間隔における前記移動体の前記画像上の前記座標の変化が所定値以下であるとともに、前記移動速度の変化が所定値以上である場合に、前記移動体を歩行者と判定することを特徴としている。
【０１２２】
この装置によれば、移動速度が遅い歩行者でも、簡単に検出を行うことが可能となる。
【０１２３】
さらに、請求項１４に記載の発明によれば、請求項１〜１３のいずれか１項に記載の歩行者検出装置において、前記特徴点が物体のエッジであることを特徴としている。
【０１２４】
この装置によれば、撮像画像上において物体のエッジを検出することで、簡単に歩行者を検出することができる。
【０１２５】
また、以上説明した本発明の実施形態の歩行者検出方法によれば、以下のような作用効果を得ることができる。
【０１２６】
請求項１５に記載の発明によれば、自車両前方の画像を撮像するステップと、撮像した画像から特徴点を抽出するステップと、前記特徴点を表す画素の前記画像上の移動速度および移動方向を移動情報として算出するステップと、前記画素の前記画像上の座標を前記自車両前方の俯瞰図における座標に変換するステップと、前記画素の前記俯瞰図における前記座標および前記画素の前記移動情報に基づいて前記特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定するステップと、前記特徴点が移動体であると判定された際に、前記移動体の前記画像上における前記移動速度の変化に基づいて前記移動体が歩行者であるか否かを判定するステップと、を備えることを特徴としている。
【０１２７】
この方法によれば、撮像した画像から抽出した特徴点の移動情報と位置に基づいて、特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定し、特徴点が移動体と判定された場合は、移動体の移動速度の変化に基づいて移動体が歩行者であるかどうかを判定することができ、精度高く歩行者の識別を行うことができる。
【０１２８】
また、請求項１６に記載の発明によれば、請求項１５に記載の歩行者検出方法において、前記画像の垂直方向に隣接するとともに前記移動速度が所定の範囲にある前記画素を同一のグループにグループ化するステップを備え、同一のグループにグループ化された前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記俯瞰図における座標に基づいて前記特徴点を平面物または立体物と判定することを特徴としている。
【０１２９】
この方法によれば、撮像画像上で同等の速度を有する隣接した画素をグループ化してその最上部と最下部に位置する画素を求め、該画素の俯瞰変換後の座標により平面物、立体物、移動体の判定を行うことができ、一つのカメラの撮像画像から該判定を簡単に行うことができる。
【０１３０】
また、請求項１７に記載の発明によれば、請求項１６に記載の歩行者検出方法において、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合に前記特徴点を平面物と判定し、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記複数の領域のうちそれぞれ異なる領域に位置する場合、または前記最上部に位置する前記画素が前記俯瞰図の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に、前記特徴点を立体物と判定することを特徴としている。
【０１３１】
この方法によれば、撮像画像上で同等の速度を有する隣接した画素をグループ化してその最上部と最下部に位置する画素を求め、該画素の俯瞰変換後の座標により平面物、立体物、移動体の判定を行うことができ、一つのカメラの撮像画像から該判定を簡単に行うことができる。
【０１３２】
また、請求項１８に記載の発明によれば、請求項１６に記載の歩行者検出方法において、前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記俯瞰図の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することを特徴としている。
【０１３３】
この方法によれば、特徴点を表す画素の前記画像上の移動速度を算出した際に、同じ物体を構成する画素でありながら何らかの影響で同等の移動速度が算出されない場合でも、高精度で立体物の識別が可能となる。
【０１３４】
また、請求項１９に記載の発明によれば、請求項１５〜１８のいずれか１項に記載の歩行者検出方法において、複数の前記立体物における前記画素の前記移動情報と前記画素の前記画像上における前記座標とに基づいて前記立体物が移動体であるか否かを判定する移動体判定を行うことを特徴としている。
【０１３５】
この方法によれば、自車両の動きの推定や物体までの距離を算出することなく、検出した立体物の速度と位置関係に基づいて移動体の検出を簡単に行うことが可能となる。
【０１３６】
また、請求項２０に記載の発明によれば、請求項１９に記載の歩行者検出方法において、前記画素のうち前記画像の垂直方向において最下部に位置する前記画素の前記俯瞰図における前記座標に基づいて前記自車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に前記移動体判定を行うことを特徴としている。
【０１３７】
この方法によれば、検出した走路境界で区切られた区画毎に移動体の検出を行うため、複雑な背景下においても、簡単に移動体の検出を行うことが可能となる。
【０１３８】
また、請求項２１に記載の発明によれば、請求項１５〜２０のいずれか１項に記載の歩行者検出方法において、複数の前記移動体の前記画像上の前記移動方向が同一で前記移動速度の比が所定の範囲内であって、該複数の前記移動体の前記画像上の前記座標の差が所定値以下である場合に、該複数の移動体を一つの移動体であると判定することを特徴としている。
【０１３９】
この方法によれば、一つの移動体において複数のエッジが検出された場合でも、一つの移動体であるとの判定を行うことが可能となる。
【０１４０】
また、請求項２２に記載の発明によれば、請求項１５〜２１のいずれか１項に記載の歩行者検出方法において、前記移動体の前記移動速度の分散値を算出し、該分散値が所定値以上の場合に、前記移動体を歩行者と判定することを特徴としている。
【０１４１】
この方法によれば、検出した移動体の移動速度の分散値を指標として、簡単に歩行者の検出を行うことが可能となる。
【０１４２】
また、請求項２３に記載の発明によれば、請求項２２に記載の歩行者検出方法において、前記移動体の前記移動速度の前記分散値が所定値未満の場合に、所定の時間間隔における前記移動体の前記画像上の前記座標の変化が所定値以下であるとともに、前記移動速度の変化が所定値以上である場合に、前記移動体を歩行者と判定することを特徴としている。
【０１４３】
この方法によれば、移動速度が遅い歩行者でも、簡単に検出を行うことが可能となる。
【０１４４】
また、請求項２４に記載の発明によれば、請求項１５〜２１のいずれか１項に記載の歩行者検出方法において、前記移動体を前記画像上において上部と下部とに分割して該下部における前記移動速度の分散値を算出し、該分散値が所定値以上の場合に、前記移動体を歩行者と判定することを特徴としている。
【０１４５】
この方法によれば、検出した移動体の下部における移動速度の分散値を指標として、簡単に歩行者の検出を行うことが可能となる。
【０１４６】
また、請求項２５に記載の発明によれば、請求項２４に記載の歩行者検出方法において、前記移動体の前記下部における前記移動速度の前記分散値が所定値未満の場合に、所定の時間間隔における前記移動体の前記画像上の前記座標の変化が所定値以下であるとともに、前記移動速度の変化が所定値以上である場合に、前記移動体を歩行者と判定することを特徴としている。
【０１４７】
この方法によれば、移動速度が遅い歩行者でも、簡単に検出を行うことが可能となる。
【０１４８】
また、請求項２６に記載の発明によれば、請求項１５〜２１のいずれか１項に記載の歩行者検出方法において、前記移動体の上端と下端を検出して該上端と該下端それぞれにおける前記移動速度の最大値を算出し、該上端と該下端における該最大値の比が所定の範囲外の場合に、前記移動体を歩行者と判定することを特徴としている。
【０１４９】
この方法によれば、検出した移動体の上端と下端の移動速度の最大値の比を指標として、簡単に歩行者の検出を行うことが可能となる。
【０１５０】
また、請求項２７に記載の発明によれば、請求項２６に記載の歩行者検出方法において、前記移動体の前記上端と前記下端における前記移動速度の前記最大値の比が所定の範囲内の場合に、所定の時間間隔における前記移動体の前記画像上の前記座標の変化が所定値以下であるとともに、前記移動速度の変化が所定値以上である場合に、前記移動体を歩行者と判定することを特徴としている。
【０１５１】
この方法によれば、移動速度が遅い歩行者でも、簡単に検出を行うことが可能となる。
【０１５２】
さらに、請求項２８に記載の発明によれば、請求項１５〜２７のいずれか１項に記載の歩行者検出方法において、前記特徴点が物体のエッジであることを特徴としている。
【０１５３】
この方法によれば、撮像画像上において物体のエッジを検出することで、簡単に歩行者を検出することができる。
【０１５４】
以上、本発明の実施形態を図面により詳述したが、実施形態は本発明の例示にしか過ぎず、本発明は実施形態の構成にのみ限定されるものではない。したがって本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれることはもちろんである。
例えば、ブロック図は上記実施例に示すものに限定されるものではなく、同等の機能を備えた構成であれば良い。
【０１５５】
また、カメラの取り付け位置は実施形態で述べた位置に限定されるものではなく、カメラの光軸が車両前方正面方向（Ｚ方向）に向き、撮像面の水平軸および垂直軸がそれぞれ路面と平行および垂直となるように設定されていれば良い。
【０１５６】
また、検出したエッジの幅の正規化を行うにあたっては、エッジ幅は３画素に限定されるものではなく、任意の画素数を設定することができる。この場合、その後の処理でエッジの中央部の画素を利用するため、エッジ幅の画素数は奇数個であることが望ましい。
【０１５７】
また、ｘｙ平面を分割して設定する短冊領域の数は上記実施形態に示すものに限定されるものではなく、任意の数に分割して設定することができる。
【０１５８】
また、ＺＸ平面を分割して設定する領域の数は上記実施形態に示すものに限定されるものではなく、任意の数に分割して設定することができる。
【０１５９】
また、ＺＸ平面の縦方向および横方向の範囲は、任意の値に設定することができる。
【０１６０】
また、上記実施形態では道路を走行する車両に歩行者検出装置１０を搭載する例について説明したが、他の移動体に搭載してもよい。
【０１６１】
さらに、上記実施形態では、検出する走路境界として、縁石、白線、外壁と路面との接点の例について説明したが、これに限定されず、例えば、ガードレール、駐車車両と路面との境界、路面と路面以外の領域（田、畑など）との境界を検出してもよい。
【図面の簡単な説明】
【０１６２】
【図１】本発明の実施形態の構成例を示すブロック図である。
【図２】カメラの車両への設置例を示す図である。
【図３】カメラで撮像した画像の例を示す図である。
【図４】抽出したエッジを正規化して、エッジ画像を得るために行う各処理の例を示す図である。
【図５】速度画像の例を示す図である。
【図６】速度画像上に短冊領域を設定し、各短冊領域において速度が所定範囲内の画素を同一グループにグループ化し、グループの下端点と上端点を検出した例を示す図である。
【図７】速度画像上で検出した上端点と下端点をＺＸ平面上に座標変換し、物体が平面物か立体物かの判定を行う例を示す図である。
【図８】下端点の座標変換点のＺＸ平面上の位置分布より走路境界線を検出する例を示す図である。
【図９】検出した走路境界で区切られた区画内で検出した立体物の画像の水平方向位置と速度の関係から移動物体を検出する場合の具体例を示す図である。
【図１０】歩行者の脚および腕の移動速度の変化を示すグラフである。
【図１１】本発明の実施形態のフローチャートである。
【図１２】本発明の実施形態の歩行者判定のフローチャートである。
【図１３】本発明の実施例１の歩行者判定のフローチャートである。
【図１４】歩行者の頭と脚の速度の関係を示す図である。
【図１５】本発明の実施例２の歩行者判定のフローチャートである。
【図１６】速度画像上に短冊領域を設定し、各短冊領域において速度が検出された画素をＺＸ平面上へ座標変換することで、平面物候補点か立体物候補点かを判定する例を示す図である。
【図１７】検出した平面物候補点と立体物候補点の配置から立体物の判定を行う例を示す図である。
【図１８】本発明の実施例３のフローチャートである。
【符号の説明】
【０１６３】
１０ 歩行者検出装置
１００ 制御部
１０１ カメラ（撮像部）
１０２ 画像一時記録部
１０３ 特徴点抽出部
１０４ 移動情報算出部
１０５ グループ化
１０６ 座標変換部
１０７ 物体属性判定部
１０８ 歩行者判定部
【特許請求の範囲】
【請求項１】
自車両前方の画像を撮像する撮像部と、
前記撮像部で撮像した画像から特徴点を抽出する特徴点抽出部と、前記特徴点を表す画素の前記画像上の移動速度および移動方向を移動情報として算出する移動情報算出部と、前記画素の前記画像上の座標を前記自車両前方の俯瞰図における座標に変換する座標変換部と、前記画素の前記俯瞰図における前記座標および前記画素の前記移動情報に基づいて前記特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定する物体属性判定部と、前記特徴点が移動体であると判定された際に、前記移動体の前記画像上における前記移動速度の変化に基づいて前記移動体が歩行者であるか否かを判定する歩行者判定部とを有する制御部と、
を備えることを特徴とする歩行者検出装置。
【請求項２】
前記画像の垂直方向に隣接するとともに前記移動速度が所定の範囲にある前記画素を同一のグループにグループ化するグループ化部を備え、
前記物体属性判定部は、前記グループ化部によりグループ化された前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記俯瞰図における座標に基づいて前記特徴点を平面物または立体物と判定することを特徴とする請求項１に記載の歩行者検出装置。
【請求項３】
前記物体属性判定部は、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合に前記特徴点を平面物と判定し、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記複数の領域のうちそれぞれ異なる領域に位置する場合、または前記最上部に位置する前記画素が前記俯瞰図の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に、前記特徴点を立体物と判定することを特徴とする請求項２に記載の歩行者検出装置。
【請求項４】
前記物体属性判定部は、前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記俯瞰図の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することを特徴とする請求項２に記載の歩行者検出装置。
【請求項５】
前記物体属性判定部は、複数の前記立体物における前記画素の前記移動情報と前記画素の前記画像上における前記座標とに基づいて前記立体物が移動体であるか否かを判定する移動体判定を行うことを特徴とする請求項１〜４のいずれか１項に記載の歩行者検出装置。
【請求項６】
前記物体属性判定部は、前記画素のうち前記画像の垂直方向において最下部に位置する前記画素の前記俯瞰図における前記座標に基づいて前記自車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に前記移動体判定を行うことを特徴とする請求項５に記載の歩行者検出装置。
【請求項７】
前記物体属性判定部は、複数の前記移動体の前記画像上の前記移動方向が同一で前記移動速度の比が所定の範囲内であって、該複数の前記移動体の前記画像上の前記座標の差が所定値以下である場合に、該複数の移動体を一つの移動体であると判定することを特徴とする請求項１〜６のいずれか１項に記載の歩行者検出装置。
【請求項８】
前記歩行者検出部は、前記移動体の前記移動速度の分散値を算出し、該分散値が所定値以上の場合に、前記移動体を歩行者と判定することを特徴とする請求項１〜７のいずれか１項に記載の歩行者検出装置。
【請求項９】
前記歩行者検出部は、前記移動体の前記移動速度の前記分散値が所定値未満の場合に、所定の時間間隔における前記移動体の前記画像上の前記座標の変化が所定値以下であるとともに、前記移動速度の変化が所定値以上である場合に、前記移動体を歩行者と判定することを特徴とする請求項８に記載の歩行者検出装置。
【請求項１０】
前記歩行者検出部は、前記移動体を前記画像上において上部と下部とに分割して該下部における前記移動速度の分散値を算出し、該分散値が所定値以上の場合に、前記移動体を歩行者と判定することを特徴とする請求項１〜７のいずれか１項に記載の歩行者検出装置。
【請求項１１】
前記歩行者検出部は、前記移動体の前記下部における前記移動速度の前記分散値が所定値未満の場合に、所定の時間間隔における前記移動体の前記画像上の前記座標の変化が所定値以下であるとともに、前記移動速度の変化が所定値以上である場合に、前記移動体を歩行者と判定することを特徴とする請求項１０に記載の歩行者検出装置。
【請求項１２】
前記歩行者検出部は、前記移動体の上端と下端を検出して該上端と該下端それぞれにおける前記移動速度の最大値を算出し、該上端と該下端における該最大値の比が所定の範囲外の場合に、前記移動体を歩行者と判定することを特徴とする請求項１〜７のいずれか１項に記載の歩行者検出装置。
【請求項１３】
前記歩行者検出部は、前記移動体の前記上端と前記下端における前記移動速度の前記最大値の比が所定の範囲内の場合に、所定の時間間隔における前記移動体の前記画像上の前記座標の変化が所定値以下であるとともに、前記移動速度の変化が所定値以上である場合に、前記移動体を歩行者と判定することを特徴とする請求項１２に記載の歩行者検出装置。
【請求項１４】
前記特徴点が物体のエッジであることを特徴とする請求項１〜１３のいずれか１項に記載の歩行者検出装置。
【請求項１５】
自車両前方の画像を撮像するステップと、
撮像した画像から特徴点を抽出するステップと、
前記特徴点を表す画素の前記画像上の移動速度および移動方向を移動情報として算出するステップと、
前記画素の前記画像上の座標を前記自車両前方の俯瞰図における座標に変換するステップと、
前記画素の前記俯瞰図における前記座標および前記画素の前記移動情報に基づいて前記特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定するステップと、
前記特徴点が移動体であると判定された際に、前記移動体の前記画像上における前記移動速度の変化に基づいて前記移動体が歩行者であるか否かを判定するステップと、
を備えることを特徴とする歩行者検出方法。
【請求項１６】
前記画像の垂直方向に隣接するとともに前記移動速度が所定の範囲にある前記画素を同一のグループにグループ化するステップを備え、
同一のグループにグループ化された前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記俯瞰図における座標に基づいて前記特徴点を平面物または立体物と判定することを特徴とする請求項１５に記載の歩行者検出方法。
【請求項１７】
前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合に前記特徴点を平面物と判定し、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記複数の領域のうちそれぞれ異なる領域に位置する場合、または前記最上部に位置する前記画素が前記俯瞰図の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に、前記特徴点を立体物と判定することを特徴とする請求項１６に記載の歩行者検出方法。
【請求項１８】
前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記俯瞰図の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することを特徴とする請求項１６に記載の歩行者検出方法。
【請求項１９】
複数の前記立体物における前記画素の前記移動情報と前記画素の前記画像上における前記座標とに基づいて前記立体物が移動体であるか否かを判定する移動体判定を行うことを特徴とする請求項１５〜１８のいずれか１項に記載の歩行者検出方法。
【請求項２０】
前記画素のうち前記画像の垂直方向において最下部に位置する前記画素の前記俯瞰図における前記座標に基づいて前記自車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に前記移動体判定を行うことを特徴とする請求項１９に記載の歩行者検出方法。
【請求項２１】
複数の前記移動体の前記画像上の前記移動方向が同一で前記移動速度の比が所定の範囲内であって、該複数の前記移動体の前記画像上の前記座標の差が所定値以下である場合に、該複数の移動体を一つの移動体であると判定することを特徴とする請求項１５〜２０のいずれか１項に記載の歩行者検出方法。
【請求項２２】
前記移動体の前記移動速度の分散値を算出し、該分散値が所定値以上の場合に、前記移動体を歩行者と判定することを特徴とする請求項１５〜２１のいずれか１項に記載の歩行者検出方法。
【請求項２３】
前記移動体の前記移動速度の前記分散値が所定値未満の場合に、所定の時間間隔における前記移動体の前記画像上の前記座標の変化が所定値以下であるとともに、前記移動速度の変化が所定値以上である場合に、前記移動体を歩行者と判定することを特徴とする請求項２２に記載の歩行者検出方法。
【請求項２４】
前記移動体を前記画像上において上部と下部とに分割して該下部における前記移動速度の分散値を算出し、該分散値が所定値以上の場合に、前記移動体を歩行者と判定することを特徴とする請求項１５〜２１のいずれか１項に記載の歩行者検出方法。
【請求項２５】
前記移動体の前記下部における前記移動速度の前記分散値が所定値未満の場合に、所定の時間間隔における前記移動体の前記画像上の前記座標の変化が所定値以下であるとともに、前記移動速度の変化が所定値以上である場合に、前記移動体を歩行者と判定することを特徴とする請求項２４に記載の歩行者検出方法。
【請求項２６】
前記移動体の上端と下端を検出して該上端と該下端それぞれにおける前記移動速度の最大値を算出し、該上端と該下端における該最大値の比が所定の範囲外の場合に、前記移動体を歩行者と判定することを特徴とする請求項１５〜２１のいずれか１項に記載の歩行者検出方法。
【請求項２７】
前記移動体の前記上端と前記下端における前記移動速度の前記最大値の比が所定の範囲内の場合に、所定の時間間隔における前記移動体の前記画像上の前記座標の変化が所定値以下であるとともに、前記移動速度の変化が所定値以上である場合に、前記移動体を歩行者と判定することを特徴とする請求項２６に記載の歩行者検出方法。
【請求項２８】
前記特徴点が物体のエッジであることを特徴とする請求項１５〜２７のいずれか１項に記載の歩行者検出方法。
【請求項１】
自車両前方の画像を撮像する撮像部と、
前記撮像部で撮像した画像から特徴点を抽出する特徴点抽出部と、前記特徴点を表す画素の前記画像上の移動速度および移動方向を移動情報として算出する移動情報算出部と、前記画素の前記画像上の座標を前記自車両前方の俯瞰図における座標に変換する座標変換部と、前記画素の前記俯瞰図における前記座標および前記画素の前記移動情報に基づいて前記特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定する物体属性判定部と、前記特徴点が移動体であると判定された際に、前記移動体の前記画像上における前記移動速度の変化に基づいて前記移動体が歩行者であるか否かを判定する歩行者判定部とを有する制御部と、
を備えることを特徴とする歩行者検出装置。
【請求項２】
前記画像の垂直方向に隣接するとともに前記移動速度が所定の範囲にある前記画素を同一のグループにグループ化するグループ化部を備え、
前記物体属性判定部は、前記グループ化部によりグループ化された前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記俯瞰図における座標に基づいて前記特徴点を平面物または立体物と判定することを特徴とする請求項１に記載の歩行者検出装置。
【請求項３】
前記物体属性判定部は、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合に前記特徴点を平面物と判定し、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記複数の領域のうちそれぞれ異なる領域に位置する場合、または前記最上部に位置する前記画素が前記俯瞰図の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に、前記特徴点を立体物と判定することを特徴とする請求項２に記載の歩行者検出装置。
【請求項４】
前記物体属性判定部は、前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記俯瞰図の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することを特徴とする請求項２に記載の歩行者検出装置。
【請求項５】
前記物体属性判定部は、複数の前記立体物における前記画素の前記移動情報と前記画素の前記画像上における前記座標とに基づいて前記立体物が移動体であるか否かを判定する移動体判定を行うことを特徴とする請求項１〜４のいずれか１項に記載の歩行者検出装置。
【請求項６】
前記物体属性判定部は、前記画素のうち前記画像の垂直方向において最下部に位置する前記画素の前記俯瞰図における前記座標に基づいて前記自車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に前記移動体判定を行うことを特徴とする請求項５に記載の歩行者検出装置。
【請求項７】
前記物体属性判定部は、複数の前記移動体の前記画像上の前記移動方向が同一で前記移動速度の比が所定の範囲内であって、該複数の前記移動体の前記画像上の前記座標の差が所定値以下である場合に、該複数の移動体を一つの移動体であると判定することを特徴とする請求項１〜６のいずれか１項に記載の歩行者検出装置。
【請求項８】
前記歩行者検出部は、前記移動体の前記移動速度の分散値を算出し、該分散値が所定値以上の場合に、前記移動体を歩行者と判定することを特徴とする請求項１〜７のいずれか１項に記載の歩行者検出装置。
【請求項９】
前記歩行者検出部は、前記移動体の前記移動速度の前記分散値が所定値未満の場合に、所定の時間間隔における前記移動体の前記画像上の前記座標の変化が所定値以下であるとともに、前記移動速度の変化が所定値以上である場合に、前記移動体を歩行者と判定することを特徴とする請求項８に記載の歩行者検出装置。
【請求項１０】
前記歩行者検出部は、前記移動体を前記画像上において上部と下部とに分割して該下部における前記移動速度の分散値を算出し、該分散値が所定値以上の場合に、前記移動体を歩行者と判定することを特徴とする請求項１〜７のいずれか１項に記載の歩行者検出装置。
【請求項１１】
前記歩行者検出部は、前記移動体の前記下部における前記移動速度の前記分散値が所定値未満の場合に、所定の時間間隔における前記移動体の前記画像上の前記座標の変化が所定値以下であるとともに、前記移動速度の変化が所定値以上である場合に、前記移動体を歩行者と判定することを特徴とする請求項１０に記載の歩行者検出装置。
【請求項１２】
前記歩行者検出部は、前記移動体の上端と下端を検出して該上端と該下端それぞれにおける前記移動速度の最大値を算出し、該上端と該下端における該最大値の比が所定の範囲外の場合に、前記移動体を歩行者と判定することを特徴とする請求項１〜７のいずれか１項に記載の歩行者検出装置。
【請求項１３】
前記歩行者検出部は、前記移動体の前記上端と前記下端における前記移動速度の前記最大値の比が所定の範囲内の場合に、所定の時間間隔における前記移動体の前記画像上の前記座標の変化が所定値以下であるとともに、前記移動速度の変化が所定値以上である場合に、前記移動体を歩行者と判定することを特徴とする請求項１２に記載の歩行者検出装置。
【請求項１４】
前記特徴点が物体のエッジであることを特徴とする請求項１〜１３のいずれか１項に記載の歩行者検出装置。
【請求項１５】
自車両前方の画像を撮像するステップと、
撮像した画像から特徴点を抽出するステップと、
前記特徴点を表す画素の前記画像上の移動速度および移動方向を移動情報として算出するステップと、
前記画素の前記画像上の座標を前記自車両前方の俯瞰図における座標に変換するステップと、
前記画素の前記俯瞰図における前記座標および前記画素の前記移動情報に基づいて前記特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定するステップと、
前記特徴点が移動体であると判定された際に、前記移動体の前記画像上における前記移動速度の変化に基づいて前記移動体が歩行者であるか否かを判定するステップと、
を備えることを特徴とする歩行者検出方法。
【請求項１６】
前記画像の垂直方向に隣接するとともに前記移動速度が所定の範囲にある前記画素を同一のグループにグループ化するステップを備え、
同一のグループにグループ化された前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記俯瞰図における座標に基づいて前記特徴点を平面物または立体物と判定することを特徴とする請求項１５に記載の歩行者検出方法。
【請求項１７】
前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合に前記特徴点を平面物と判定し、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記複数の領域のうちそれぞれ異なる領域に位置する場合、または前記最上部に位置する前記画素が前記俯瞰図の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に、前記特徴点を立体物と判定することを特徴とする請求項１６に記載の歩行者検出方法。
【請求項１８】
前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記俯瞰図の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することを特徴とする請求項１６に記載の歩行者検出方法。
【請求項１９】
複数の前記立体物における前記画素の前記移動情報と前記画素の前記画像上における前記座標とに基づいて前記立体物が移動体であるか否かを判定する移動体判定を行うことを特徴とする請求項１５〜１８のいずれか１項に記載の歩行者検出方法。
【請求項２０】
前記画素のうち前記画像の垂直方向において最下部に位置する前記画素の前記俯瞰図における前記座標に基づいて前記自車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に前記移動体判定を行うことを特徴とする請求項１９に記載の歩行者検出方法。
【請求項２１】
複数の前記移動体の前記画像上の前記移動方向が同一で前記移動速度の比が所定の範囲内であって、該複数の前記移動体の前記画像上の前記座標の差が所定値以下である場合に、該複数の移動体を一つの移動体であると判定することを特徴とする請求項１５〜２０のいずれか１項に記載の歩行者検出方法。
【請求項２２】
前記移動体の前記移動速度の分散値を算出し、該分散値が所定値以上の場合に、前記移動体を歩行者と判定することを特徴とする請求項１５〜２１のいずれか１項に記載の歩行者検出方法。
【請求項２３】
前記移動体の前記移動速度の前記分散値が所定値未満の場合に、所定の時間間隔における前記移動体の前記画像上の前記座標の変化が所定値以下であるとともに、前記移動速度の変化が所定値以上である場合に、前記移動体を歩行者と判定することを特徴とする請求項２２に記載の歩行者検出方法。
【請求項２４】
前記移動体を前記画像上において上部と下部とに分割して該下部における前記移動速度の分散値を算出し、該分散値が所定値以上の場合に、前記移動体を歩行者と判定することを特徴とする請求項１５〜２１のいずれか１項に記載の歩行者検出方法。
【請求項２５】
前記移動体の前記下部における前記移動速度の前記分散値が所定値未満の場合に、所定の時間間隔における前記移動体の前記画像上の前記座標の変化が所定値以下であるとともに、前記移動速度の変化が所定値以上である場合に、前記移動体を歩行者と判定することを特徴とする請求項２４に記載の歩行者検出方法。
【請求項２６】
前記移動体の上端と下端を検出して該上端と該下端それぞれにおける前記移動速度の最大値を算出し、該上端と該下端における該最大値の比が所定の範囲外の場合に、前記移動体を歩行者と判定することを特徴とする請求項１５〜２１のいずれか１項に記載の歩行者検出方法。
【請求項２７】
前記移動体の前記上端と前記下端における前記移動速度の前記最大値の比が所定の範囲内の場合に、所定の時間間隔における前記移動体の前記画像上の前記座標の変化が所定値以下であるとともに、前記移動速度の変化が所定値以上である場合に、前記移動体を歩行者と判定することを特徴とする請求項２６に記載の歩行者検出方法。
【請求項２８】
前記特徴点が物体のエッジであることを特徴とする請求項１５〜２７のいずれか１項に記載の歩行者検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００７−３１６７９０（Ｐ２００７−３１６７９０Ａ）
【公開日】平成１９年１２月６日（２００７．１２．６）
【国際特許分類】
【出願番号】特願２００６−１４３６１２（Ｐ２００６−１４３６１２）
【出願日】平成１８年５月２４日（２００６．５．２４）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成１９年１２月６日（２００７．１２．６）
【国際特許分類】
【出願日】平成１８年５月２４日（２００６．５．２４）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]