移動体検出装置および移動体検出方法
【課題】自車両前方の画像を処理して特徴点を抽出し、抽出した特徴点を示す画素の移動情報および位置に基づいて移動体を検出するとともに、移動体の幅および他の移動体との位置関係に基づいて移動体の中から歩行者を検出する移動体検出装置および移動体検出方法を提案する。
【解決手段】撮像部101で撮像した自車両前方の画像から特徴点を抽出する特徴点抽出部103と、特徴点を表す画素の画像上の移動速度および移動方向を移動情報として算出する移動情報算出部105と、画素の位置を所定の範囲の俯瞰座標における位置に変換する座標変換部104と、変換後の画素の位置および移動情報に基づいて特徴点を平面物、立体物、移動体と判定する物体属性判定部107と、移動体の場合は特徴点の幅および他の移動体との位置関係に基づいて歩行者かどうかを判定する移動体識別部108とを備える制御部100を備える。
【解決手段】撮像部101で撮像した自車両前方の画像から特徴点を抽出する特徴点抽出部103と、特徴点を表す画素の画像上の移動速度および移動方向を移動情報として算出する移動情報算出部105と、画素の位置を所定の範囲の俯瞰座標における位置に変換する座標変換部104と、変換後の画素の位置および移動情報に基づいて特徴点を平面物、立体物、移動体と判定する物体属性判定部107と、移動体の場合は特徴点の幅および他の移動体との位置関係に基づいて歩行者かどうかを判定する移動体識別部108とを備える制御部100を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動体検出装置および移動体検出方法に関するものである。
【背景技術】
【0002】
一般に、車載カメラの撮像画像からオプティカルフロー(画像速度情報)を利用して歩行者や車両等の移動体を検出する移動体検出装置と移動検出方法が多数提案されている。例えば、撮像画像のオプティカルフローを求め、自車両の動きに基づいて抽出した撮像画像の背景のオプティカルフローと撮像画像全体のオプティカルフローとの比較により、移動体を検出する移動体検出方法が提案されている(特許文献1)。
【特許文献1】特開2004−56763号
【発明の開示】
【発明が解決しようとする課題】
【0003】
このような移動体検出装置または移動体検出方法では、移動体を検出するために背景のオプティカルフローを算出する必要がある。ここで、背景のオプティカルフローは、自車両前方の空間モデルを推定し、この空間モデルと自車両の動きに基づいて算出しているが、微小時間ではこの推定の精度が低くなってオプティカルフローの検出精度も低下し、移動体を高い精度で検出することが難しいという問題が生じていた。
【課題を解決するための手段】
【0004】
上記課題を解決するために、本発明の移動体検出装置は、自車両前方の画像を撮像する撮像部および、前記撮像部で撮像した画像から特徴点を抽出する特徴点抽出部と、前記特徴点を表す画素の前記画像上の移動速度および移動方向を移動情報として算出する移動情報算出部と、前記画素の前記画像上の位置を前記自車両前方の俯瞰図における位置に変換する座標変換部と、前記画素の前記俯瞰図における前記位置および前記画素の前記移動情報に基づいて前記特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定する物体属性判定部と、前記特徴点が移動体であると判定された際に、前記画像上における前記移動体の幅および前記移動体と他の立体物との位置の関係に基づいて前記移動体が歩行者であるかどうかを判定する移動体識別部とを有する制御部とを備えることを特徴としている。
【発明の効果】
【0005】
上記構成によれば、カメラで撮像した画像を画像処理することで、カメラの撮像範囲内における平面物と立体物を識別するとともに、立体物が移動体であるかどうかを識別し、さらに検出した立体物の中から歩行者を識別することができ、高精度で歩行者の検出が可能である。
【発明を実施するための最良の形態】
【0006】
以下、この発明の実施の形態を図面に基づいて説明する。
【実施例1】
【0007】
図1は、第1の実施例における移動体検出装置の構成例を示すブロック図である。
【0008】
移動体検出装置10は車両に搭載され、車両前方を撮像する撮像部であるカメラ101および、カメラ101で撮像した画像を一時的に記録する画像一時記録部102と、画像一時記録部102に記憶された画像を画像処理することで特徴点を抽出する特徴点抽出部103と、特徴点抽出部103により抽出された特徴点の位置を俯瞰画像上の位置に変換する座標変換部104と、特徴点抽出部103により抽出された特徴点の画像上における速度および方向を移動情報として算出する移動情報算出部105と、移動情報算出部105により算出された特徴点の速度値に基づいて特徴点のグループ化を行うグループ化部106と、座標変換部104により変換された俯瞰座標の情報および移動情報算出部105により算出された特徴点の移動情報およびグループ化部106によりグループ化された特徴点のグループ化情報に基づいて特徴点が平面物であるか立体物であるかを判定するとともに、特徴点が立体物である場合には移動体であるかどうかを判定する物体属性判定部107と、特徴点が移動体である場合に、移動体の幅および前記移動体と他の立体物との位置の関係に基づいて特徴点が歩行者であるかどうかを判定する移動体識別部108とを有する制御部100を備えている。
【0009】
カメラ101は、例えばCCDやCMOSなどの撮像素子を有したカメラであり、連続的に車両前方を撮像してフレーム毎に撮像した画像を画像一時記録部102に出力する。カメラ101で撮像された画像は、画像一時記録部102に一時的に記録される。ここで、図2に示すように、カメラ101は車両の室内上部前方に設置され、その光軸LSは車両前方正面方向(Z方向)に向き、撮像面の水平軸X(図示省略)は路面と平行となるように、また撮像面の垂直軸Y(図示省略)は路面と垂直になるように設定されている。
【0010】
カメラ101で撮像した画像(自車両前方の画像)の例を図3に示す。カメラ101による撮像画像は、画像左上を原点として左から右へx軸、上から下へy軸とするxy座標系によって表される。なお、図3においては、左右の走路脇に設置された縁石、白線、外壁などの走路の境界線と、左から右へ移動する歩行者が撮像画像に含まれている。
【0011】
特徴点抽出部103は、カメラ101で撮像された画像を画像一時記録部102から読み込み、読み込んだ撮像画像を所定の閾値を用いて2値化することによって、画像内に存在する物体のエッジを抽出する。図4(a)に、抽出した垂直方向のエッジ例を示す。次に、抽出した各エッジに対して、細線化処理を行ってエッジ幅を絞り、エッジの中心を正確に設定する(図4(b)参照)。さらに、細線化されたエッジのエッジ幅が一定の幅となるように、例えば3画素分の幅となるように、エッジを水平方向に拡張する(図4(c)参照)。この操作により、抽出したエッジが正規化され、各エッジが均一の幅を持つエッジ画像を得ることができる。
【0012】
移動情報算出部105は、エッジに該当する画素の画素カウンタのカウンタ値を更新する。ここで、画素カウンタとは、各画素毎に設定されたカウンタであり、画素がエッジに該当する場合に画素カウンタのカウンタ値が+1加算され、画素がエッジに該当しない場合は画素カウンタのカウンタ値が0となって初期化されるカウンタである。このカウンタ値の更新処理を、カメラ101で連続的に撮像されるフレーム毎に行う。この操作により、エッジに該当する時間が長い画素は画素カウンタのカウンタ値が大きくなり、エッジに該当する時間が短い画素は画素カウンタのカウンタ値が小さくなる。
【0013】
この画素カウンタのカウンタ値の変化は、エッジの移動方向と移動量を表していることになるため、このカウンタ値から、撮像画像上におけるエッジの移動方向と移動速度とを算出することができる。
【0014】
次に、撮像画像上に存在するエッジの速度成分を所定の階級値に分類して表した速度画像を生成する。本実施例における速度画像は、図5に示すように、速度が検出されたエッジの画素を丸型の点で表し、移動速度が速い画素ほど点を大きく示す。また、右へ向かう速度を黒点で表し、左へ向かう速度を白点で表すことによって移動方向を表している。図5においては、自車両の走行路右側の縁石および白線からは画像の右側へ向かう速度が検出されており、走行路左側の外壁からは画像の左側へ向かう速度が検出されている。また、走行路左側から右へ移動する歩行者では、画像の右側へ向かう速度が検出されている。
【0015】
グループ化部106は、算出した速度画像から立体物を抽出するために、速度画像を分割する領域を設定する。すなわち、図6に示すように、速度画像上に短冊状の複数の領域を設定し、速度画像を複数の領域で分割する。
【0016】
次に、各領域毎に、画像の縦方向において同じ速度で連続する画素をグループ化することにより、立体物を検出する。すなわち、画像の下部から上部に向かって各領域を走査し、領域内に速度を持った画素が存在する場合、その画素の上方に隣接する速度を持った画素との速度差を比較し、速度差が閾値T1以下である場合には、車両に対して同じ速度で移動する物体であると推定できることから、同じ物体であると判定してグループ化を行う。そして、同じ速度でグループ化された画素の上端位置(請求項における最上部)と下端位置(請求項における最下部)を検出する。この処理により、図6における下端BL1〜BL13及び上端TL1〜TL13が検出される。
【0017】
座標変換部104は、xy平面上で抽出した下端BL1〜BL13及び上端TL1〜TL13の中心位置を座標とする下端点BP1〜BP13(図示省略)および上端点TP1〜TP13(図示省略)の位置を、規定の面積を備えたZX平面(以下、規定のZX平面と呼ぶ)上の点として俯瞰変換する。
【0018】
ここで、各点の位置を表す座標を(x、y)とし、カメラの路面からの高さをCh(m)、カメラの俯角をTr(rad)、画像の縦サイズをIh、画像の横サイズをIw、高さ方向の1画素あたりの角度分解能をPYr(rad)、横方向の1画素あたりの角度分解能をPXr(rad)とすると、xy平面上の点TP1〜TP11及びBP1〜BP11は、次式に従ってZX平面の座標(Z、X)に変換される。
【0019】
(式1)Z=(Ch)/(TAN(Tr+(y−Ih/2)×PYr))
(式2)X=x×TAN((Z-Iw/2)×PXr)
ここで、上端点TP1〜TP13、下端点BP1〜BP13の変換後の点を、上端点の座標変換点RT1〜RT13、下端点の座標変換点RB1〜RB13とする。
【0020】
物体属性判定部107は、上端点の座標変換点RT1〜RT13、下端点の座標変換点RB1〜RB13が、規定のZX平面を分割して設定した領域のうちどの領域に位置するかの判定を行う(図7参照)。ここで、車両の上下動に伴いカメラ101の撮像映像も上下に動き、座標変換点が位置する領域も変動してしまう可能性がある。この影響を避けるため、ZX平面を分割して設定する領域はメーターオーダーで設定することが望ましい。本実施例では、x軸方向は、−5.25m>x、−5.25≦x<−3.5m、−3.5m≦x<−1.75m、−1.75m≦x<0m、0m≦x<1.75m、1.75m≦x<3.5m、3.5m≦x<5.25m、5.25m≦x、として8分割し、z軸方向は、0m≦z<10m、10m≦z<20m、20m≦z<30m、30m≦z<40m、40m≦z<50mとして5分割して、領域11〜領域15、領域21〜領域25、領域31〜領域35、領域41〜領域45、領域51〜領域55、領域61〜領域65、領域71〜領域75、領域81〜領域85を設定している。また、領域11〜領域15を領域10とし、領域21〜領域25を領域20とし、領域31〜領域35を領域30とし、領域41〜領域45を領域40とし、領域51〜領域55を領域50とし、領域61〜領域65を領域60とし、領域71〜領域75を領域70とし、領域81〜領域85を領域80としている。
【0021】
そして、xy平面の同一の縦方向領域における上端点の座標変換点と上端点と同一のグループの下端点の座標変換点が規定のZX平面の同一の領域に位置すれば、上端点と下端点が路面上にある、すなわち路面上の平面物体であると判定する。また、上端点の座標変換点が規定のZX平面外に位置し、上端点と同一のグループの下端点の座標変換点が規定のZX平面の領域に位置すれば、下端点のみ路面上にある、すなわち立体物であると判定する。ここで、走路境界を検出するために、各領域に設定したカウンタのうち下端点の座標変換点が位置する領域のカウンタのカウンタ値を+1加算し、下端点の位置情報分布を算出する。
【0022】
例えば、本実施例では、上端点TP1〜TP7の座標変換点RT1〜RT7は図7に示す規定のZX平面外に投影されるため、上端点TP1〜TP7を含むグループは立体物であると判定され、上端点TP1〜TP7を含むエッジはxy平面上で立体物OB1〜OB7として判定される。また上端点TP8〜TP13の座標変換点RT8〜RT13は下端点BP8〜BP13の座標変換点RB8〜RB13と同じ領域に位置するため、上端点TP8〜TP13を含むグループは路面上に位置する物であると判定される。ここで、走路境界を検出するために、下端点の座標変換点RB1〜RB13が位置する領域のカウンタのカウンタ値を+1加算する。
【0023】
そして、図8に示すように、得られた下端点の座標変換点の位置分布から、走路境界線が存在する可能性が高い領域を抽出する。すなわち、得られた下端点の座標変換点の位置分布において、同じx軸領域で複数のz軸領域にカウンタ値が存在すれば、自車両前方に走路境界が車両に沿って直線状に存在すると推定できるため、カウンタ値がある領域を走路境界領域として抽出する。例えば、図8では、x軸が同じ範囲の領域30において、複数のz軸領域(下端点RB1、RB4、RB6が位置する領域)にカウンタ値が存在するため、これらの領域を走路境界領域として抽出する。領域50、領域80についても同様である。
【0024】
そして、抽出した領域に走路境界を示す直線が存在するかどうかの判定を行う(図8参照)。すなわち、抽出した領域に存在する下端点の座標変換点に基づいて、xy座標系での回帰分析を行い、下端点を通る直線の傾きを算出する。例えば、本実施例の領域30では、領域30に存在する下端点の座標変換点RB1、RB4、RB6に対応するxy座標における下端点BP1、BP4、BP6の座標位置からxy座標系での回帰分析を行い、下端点BP1、BP4、BP6を通る直線の傾きa3を算出する。同様に、領域50、領域80に位置する下端点の投影点に対応した直線の傾きa5、a8を算出する。そして、算出した直線の傾きが所定の範囲内に入っていれば、抽出した領域内に走路境界を示す直線が存在すると判定する。すなわち、下端点の座標変換点が位置するx軸領域の左端座標と各Z軸領域の代表座標(例えば中心座標)を座標とする点(例えば図8のPL1〜PL5)をxy座標系に変換して回帰分析して算出した直線の傾きTn0a1と、下端点の座標変換点が位置するx軸領域の右端座標と各Z軸領域の代表座標(例えば中心座標)を座標とする点(例えば図8のPR1〜PR5)をxy座標系に変換して回帰分析して算出した直線の傾きTn0a2とで規定される傾きの範囲内に、下端点に基づき算出された直線の傾きanが入っている場合には、抽出した領域内に走路境界を示す直線Lnが存在するとの判定を行う。
【0025】
例えば、本実施例の領域30においては、座標(x、z)=(−3.5、5)の点PL1、座標(x、z)=(−3.5、15)の点PL2、座標(x、z)=(−3.5、25)の点PL3、座標(x、z)=(−3.5、35)の点PL4、座標(x、z)=(−3.5、45)の点PL5をxy座標に変換して回帰分析を行い算出した各点を結ぶ直線の傾きT30a1と、座標(x、z)=(−1.75、5)の点PR1、座標(x、z)=(−1.75、15)の点PR2、座標(x、z)=(−1.75、25)の点PR3、座標(x、z)=(−1.75、35)の点PR4、座標(x、z)=(−1.75、45)の点PR5をxy座標に変換して回帰分析を行い算出した各点を結ぶ直線の傾きT30a2に対し、下端点の投影点RB1、RB4、RB6に対応するxy平面上の下端点BP1、BP4、BP6を結ぶ直線の傾きa3が、T30a1とT30a2で規定される範囲内に存在するため、下端点BP1、BP4、BP6を結ぶ直線は走路境界を示す直線L3であると判定される(図9参照)。同様にして、領域50では、下端点の投影点RB8、RB9に対応するxy平面上の下端点BP8とBP9を結ぶ直線は走路境界を示す直線L5であると判定され、領域80では、下端点の投影点RB11〜RB13に対応するxy平面上の下端点BP10〜BP13を結ぶ直線は走路境界を示す直線L8であると判定される。
【0026】
そして、図9に示すように、走路境界で区切られた各領域において、検出された立体物の画像の水平方向位置と速度の関係を示すグラフを算出する。このグラフでは、画像中央より左側に位置する立体物、例えば外壁のような背景は、画像の右側に位置するほど自車よりも遠い位置にあるため、画素の速度は遅くなる。つまり、縦軸に速度(左に移動する速度をプラス、右に移動する速度をマイナス)、横軸に画像のx座標(画像左端を原点)に設定すると、背景のような静止物であれば、画像の右半分においては、速度とx座標の関係は、右下がりの直線となる。一方、右下がりの直線関係とならない座標がある場合は、領域内に静止物でないもの、すなわち移動体が存在する可能性がある。この場合、図9に示すように、背景の速度(左向きの速度)とは逆向きの速度(右向きの速度)を有する座標が検出された場合は、背景とは逆方向に移動する移動体が存在すると判定する。また、背景よりも速い速度を有する座標が検出されれば、移動体が存在すると判定する。
【0027】
例えば、本実施例では、領域30、領域50、領域80で検出された走路境界に基づいて、走路境界L3の左側、すなわち、領域10、領域20、領域30の左側の一部を区画aと設定し、走路境界L3と走路境界L5との間、すなわち、領域30の右側の一部、領域40、領域50の左側の一部を区画bと設定し、走路境界L5と走路境界L8との間、すなわち、領域50の右側の一部、領域60、領域70、領域80の左側の一部を区画cと設定し、走路境界L8の右側、すなわち、領域80の右側の一部を区画dと設定し、区画bに存在する立体物OB1〜OB6の水平方向位置と速度の関係から、OB1、OB4、OB6を静止している立体物(ここでは外壁)と判定し、右へ移動するOB2、OB3、OB5を移動体と判定する。
【0028】
また、画像右側に存在する立体物においても、左側と同様な方法で、速度(左に移動する速度をプラス、右に移動する速度をマイナス)と画像のx座標(画像右端を原点)の関係を求め、右上がりの直線関係とならない場合には、領域内に立体物が存在する可能性が高いと判断し、背景の速度と逆向きの速度が検出されれば、背景とは逆方向に移動する移動体の検出を行うことができる。図9では、区画cに存在するOB7を移動体と判定する。
【0029】
さらに、車両挙動(車両の進行方向)を利用することにより、上述したように撮像画像の左右において別々に移動物体の検出が必要か、あるいは撮像画像全体で移動物体の検出が可能かを判断することも可能となる。例えば、車両を右へ操舵している場合には、前方画像の背景に該当する領域は、左側へ移動する速度のみが検出されるため、上述したように撮影画像左右でそれぞれ移動体の検出を行わずに撮像画像全体で一括して移動体の検出を行うことができる。車両を左へ操舵している場合も同様である。
【0030】
ここで、前述したように移動体の判定は、背景に該当する立体物と移動体の水平方向位置と速度を比較して行うため、例えば歩行者に該当する立体物しか検出できず、背景に該当する外壁等の立体物が抽出できない場合は、移動体の判定を行うことができない。この場合は、次回の検出で再度立体物と判定された際に、その速度変化から移動体であるか否かの判定を行う(後述)。
【0031】
移動体識別部108は、図10に示すように、走路境界で区切られた領域において、同じ速度を有する複数の移動体が画像上において所定距離以下で存在する場合には、同じ速度を有する複数の移動体を一つの移動体としてグルーピングを行う。例えば本実施例では、立体物OB2、OB3を一つの移動体Mo1とする。一方、立体物OB5は、近接する立体物(OB2、OB3)との速度が異なるため、移動体Mo1とは異なる移動物体Mo2として検出する。さらに、歩行者の場合は歩行者の近傍の車両に比べて画像上の幅が狭いと言う特徴を用いて、検出した移動体の幅が所定値以下であれば、歩行者の可能性があるため、検出された移動体と該移動体の近傍の所定範囲に存在する立体物との距離と座標位置の関係を示すグラフを算出し、歩行者か否かの判定を行う。すなわち、検出された移動体が歩行者であれば、移動体(歩行者)の右側の所定範囲において、自車両から移動体(歩行者)までの距離と等距離の位置には他の立体物が検出されないことになる。一方、検出された移動体が先行車であれば、移動体(先行車)の右側の所定範囲(普通車両幅相当)において、移動体(先行車)と等距離の位置に他の立体物、すなわち先行車の右側端部が検出されることになる。例えば本実施の形態では、図10に示すように、移動体Mo1の右側の所定範囲内(図10下図の破線楕円AA)において自車両から移動体Mo1までの距離と等距離の位置に他の立体物が検出されていないため、移動体Mo1を歩行者と判定する。また、移動物体Mo2の左側の所定範囲内(図10下図の破線楕円AB)において、自車両から移動体Mo2までの距離と等距離の位置に他の立体物OB7(車両の右側端部)が存在するため、移動体Mo2は歩行者以外の移動体と判定する。
【0032】
ここで、立体物OB5、OB7が同じ速度で検出された場合には、立体物OB5、OB7を一つの移動体Mo2してグループ化する。この場合、グループ化後の移動体Mo2の物体幅が所定値以上であれば、車両の候補と判定することができる。
【0033】
図11は、本実施例における移動体検出装置10の処理を示すフローチャートである。この処理はイグニションスイッチ(図示省略)がオンされると起動されるプログラムとして実行される。
【0034】
ステップS101では、カメラ101で撮像され画像一時記録部102に記録された自車両前方の画像が所定の周期で特徴点抽出部103に出力される。この後に、フローはステップS102へ移行する。
【0035】
ステップS102では、特徴点抽出部103が画像に対してエッジ抽出処理を行い、撮像画像内に存在する物体の輪郭をエッジ画像として抽出するとともにエッジ画像の正規化を行う。この後に、フローはステップS103へ移行する。
【0036】
ステップS103では、移動情報算出部105がエッジの速度を算出し、算出した速度を所定の階調で表した速度画像を算出する。この後に、フローはステップS104へ移行する。
【0037】
ステップS104では、グループ化部106が算出した速度画像上に物体検出用の短冊領域を設定する。この後に、フローはステップS105へ移行する。
【0038】
ステップS105では、グループ化部106が各短冊領域内に速度を持った画素があるかどうかを下から上に向かって調べる。速度を持った画素がある場合、グループ化部106がそれらの画素は同一の物体を表しているものとしてグループ化を行う。この後に、フローはステップS106へ移行する。
【0039】
ステップS106では、各短冊領域内におけるグループ毎において、最も上に位置する画素の中心座標を上端点に、最も下に位置する画素の中心座標を下端点に設定する。この後に、フローはステップS107へ移行する。
【0040】
ステップS107では、座標変換部104が、(式1)、(式2)を用いて、検出した上端点と下端点の座標をZX平面へ座標変換する。この後に、フローはステップS108へ移行する。
【0041】
ステップS108では、物体属性判定部107が、上端点の座標変換点と上端点と同じグループの下端点の座標変換点の位置がx軸範囲とz軸範囲を規定した規定のZX平面のどの領域に該当するかを判断し、上端点の座標変換点と上端点と同じグループの下端点の座標変換点の双方が規定のZX平面の同一の領域に位置する場合は、上端点、下端点を含む物体を平面物であると判定し、上端点と同じグループの下端点の座標変換点のみが規定のZX平面に位置する場合は、上端点、下端点を含む物体を立体物であると判定する。また、下端点が位置する領域のカウンタのカウンタ値を+1加算する。この後に、フローはステップS109に進む。
【0042】
ステップS109では、物体属性判定部107により、検出した全ての上端点、下端点について、上端点、下端点を含む物体が平面物であるか立体物であるかの判定(以下、物体の属性判定と呼ぶ)が行われたかどうかの判定が行われる。検出した全ての上端点、下端点について物体の属性判定が行われた場合は、ステップS110に進む。一方、検出した全ての上端点、下端点について物体の属性判定が行われていない場合は、ステップS105に戻る。
【0043】
ステップS110では、物体属性判定部107により、ZX平面における下端点の座標変換点の位置分布から、同じx軸領域において、複数のz軸領域にカウンタ値が存在する領域を、走路境界線が存在する可能性が高い領域として抽出される。この後に、フローはステップS111へ進む。
【0044】
ステップS111では、物体属性判定部107により、抽出された領域内に存在する下端点の座標変換点に対応するxy平面の下端点についてxy座標系での回帰分析が行われ、下端点を結ぶ直線の傾きが算出される。この後に、フローはステップS112へ進む。
【0045】
ステップS112では、物体属性判定部107により、ステップS111で算出した直線の傾きが、下端点が位置する領域において、x軸領域の左端座標と各z軸領域の代表座標を座標とする点(例えば図8のPL1〜PL5)を結ぶ直線およびx軸領域の右端座標と各z軸領域の代表座標を座標とする点(例えば図8のPR1〜PR5)を結ぶ直線のxy座標系における傾きの範囲にあれば、抽出した領域に走路境界を示す直線が存在すると判定され、ステップS111で算出した直線は走路境界を示す直線として検出される。この後に、フローはステップS113へ進む。
【0046】
ステップS113では、物体属性判定部107において、抽出された領域において、全ての走路境界を示す直線が検出されたか否かの判定を行う。全ての走路境界を示す直線が検出された場合は、ステップS114へ進む。一方、全ての走路境界を示す直線が検出されていない場合は、ステップS110に戻る。
【0047】
ステップS114では、物体属性判定部107において、走路境界で区切られた各区画に対し、各区画内に存在する立体物(外壁、歩行者)間の速度とx座標の関係を算出し、背景と逆方向の速度が検出された立体物がある場合には、自車両に近づく移動体が存在すると判定し、フローはステップS116に進む。一方、背景と逆方向の速度が検出された物体がない場合には、移動体候補が存在する可能性があると判定し、ステップS115に進む。
【0048】
ステップS115では、物体属性判定部107において、移動体候補が移動体であるかどうかの判定を行う。移動体候補が存在すると判断された区画に、前回も移動体候補が存在すれば、前回と今回の速度を比較する。移動体候補が静止物である場合は、自車両の前進に従い移動体候補が自車両に接近し、移動体候補に対応する画素の移動速度が速くなる。このため、前回よりも下端点の座標変換点の速度が速くなっている場合には、移動体は存在しないと判定し、前回よりも下端点の座標変換点の速度が速くなっていない場合には、移動体が存在すると判定する。この後に、フローはステップS116に進む。
【0049】
ステップS116では、自車両から等しい距離において、同じ速度で存在する移動体が複数検出され、それらの移動体が画像上の横方向位置において所定値以下の距離にある場合には、複数の移動体を一つの移動体としてグループ化を行う。この後に、フローはステップS117へ移行する。
【0050】
ステップS117では、検出した移動体の物体幅と、検出した移動体の近傍に他の立体物があるかどうかの判定結果に基づいて、移動体が歩行者であるかどうかの判定を行う(後述)。この後に、フローはステップS118へ移行する。
【0051】
ステップS118では、走路境界で区切られたすべての区画において、移動体が検出されたか否かの判断を行う。全ての移動体が検出された場合には、フローはステップS119へ進む。一方、全ての移動体が検出されていない場合は、フローはステップS114に戻る。
【0052】
ステップS119では、自車両のイグニションスイッチがオフされたか否かの判定が行われる。イグニションスイッチがオフされていない場合には、ステップS101へ戻って処理を繰り返す。一方、イグニションスイッチがオフされた場合には、フローはステップS120へ移行して処理を終了する。
【0053】
次に、ステップS117の歩行者判定の動作フローを、図12のフローチャートを用いて説明する。
【0054】
ステップS1171では、検出した移動物体の物体幅が所定値以下であるかどうかの判定を行う。検出した移動物体の物体幅が所定値以下(例えば人体の標準的な幅)であれば、移動体が歩行者である可能性があり、フローはステップS1172へ移行する。一方、検出した移動物体の物体幅が所定値を越える場合は、移動体が歩行者である可能性はなく、フローはステップS1174へ移行する。
【0055】
ステップS1172では、検出された移動体近傍の所定範囲内(図10の破線楕円AA、ABに相当)において、自車両から移動体までの距離と等距離の位置に、他の移動体が検出されているかどうかの判定が行われる。検出された移動体近傍の所定範囲内において、自車両から移動体までの距離と等距離の位置に、他の移動体が検出されていない場合は、移動体はその位置に単独で存在することになり、フローはステップS1173へ移行する。一方、検出された移動体近傍の所定範囲内において、自車両から移動体までの距離と等距離の位置に、他の移動体が検出されている場合は、移動体はその位置で他の移動体と共に存在する、すなわち、移動体と他の移動体は同一の物体である可能性が高く、フローはステップS1174へ移行する。
【0056】
ステップS1173では、移動体を歩行者と判定する。この後に、フローはステップS118へ移行する。
【0057】
ステップS1174では、移動体を歩行者以外の物体と判定する。この後に、フローはステップS118へ移行する。
【0058】
なお、上記フローチャートのステップS101が請求項の第一のステップにあたる。また、ステップS102が請求項の第二のステップにあたる。また、ステップS103が請求項の第三のステップにあたる。また、ステップS107が請求項における第四のステップにあたる。また、ステップS108〜ステップS115、ステップS118が請求項における第五のステップにあたる。また、ステップS116、ステップS117(ステップS1171〜ステップS1174)が請求項における第六のステップにあたる。さらに、ステップS104〜S106が請求項における第七のステップにあたる。
【0059】
以上説明した本発明の実施の形態の移動体検出装置によれば、以下のような作用効果を得ることができる。
【0060】
自車両前方の画像を撮像するカメラ101(撮像部)および、前記カメラ101で撮像した画像から特徴点を抽出する特徴点抽出部103と、前記特徴点を表す画素の前記画像上の移動速度および移動方向を移動情報として算出する移動情報算出部105と、前記画素の前記画像上の位置を前記自車両前方の俯瞰図における位置に変換する座標変換部104と、前記画素の前記俯瞰図における前記位置および前記画素の前記移動情報に基づいて前記特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定する物体属性判定部107と、前記特徴点が移動体であると判定された際に、前記画像上における前記移動体の幅および前記移動体と他の立体物との位置の関係に基づいて前記移動体が歩行者であるかどうかを判定する移動体識別部108とを有する制御部100とを備えることとした。
【0061】
この構成によれば、カメラ101で撮像した画像から抽出した特徴点の移動情報と位置に基づいて、特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定し、特徴点が移動体と判定された場合は、画像上における移動体の幅および移動体と他の立体物との位置関係に基づいて移動体が歩行者であるかどうかを判定することができ、高精度で該判定を行うことができる。
【0062】
また、本発明の実施の形態の移動体検出装置によれば、前記画像の垂直方向に隣接するとともに移動速度が所定の範囲にある前記画素をグループ化するグループ化部106を備え、前記物体属性判定部107は、前記グループ化部106によりグループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記俯瞰図における位置に基づいて前記判定を行うこととした。
【0063】
この構成によれば、カメラ101で撮像した画像に基づいて算出した速度画像上に物体検出領域を設定し、各領域において、画像の垂直方向に隣接するとともに移動速度が所定の範囲にある点をグループ化し、その最上部(上端)および最下部(下端)を検出する。この最上部および最下部に位置する画素をZX平面に座標変換し、その位置に基づいて平面物、立体物、移動体の判定を行うことで、該判定を効率的に行うことができる。
【0064】
また、本発明の実施の形態の移動体検出装置によれば、前記物体属性判定部107は、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合に前記特徴点を平面物と判定し、前記最上部に位置する前記画素が前記俯瞰図の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に前記特徴点を立体物と判定することとした。
【0065】
この構成によれば、最上部に位置する画素(上端点)と最下部に位置する画素(下端点)の位置を、カメラパラメータを用いてZX平面へ座標変換する。路面上に存在する白線や路面マーカーのような平面物は、上端点と下端点ともに路面上に存在するため、ZX平面上へ座標変換された場合、上端点と下端点は規定のZX平面に投影される。これに対して、立体物の下端点は路面上に存在し、上端点は路面上に存在しないため、下端点のみ規定のZX平面に投影され、上端点は規定のZX平面から大きく外れることになる。したがって、単眼カメラの構成であっても、グループ化した領域の上端点と下端点の座標変換結果から、平面物と立体物の判定を行うことができる。
【0066】
また、本発明の実施の形態の移動体検出装置によれば、前記物体属性判定部107は、複数の立体物における前記画素の前記速度情報と前記画素の前記画像上における前記位置とに基づいて前記立体物が移動体であるか否かを判定する移動体判定を行うこととした。
【0067】
この構成によれば、検出した立体物の画像上の水平方向位置と速度の関係から、移動体の識別を行う。背景となる立体物は自車両から遠ざかるにつれて画像上では横方向に移動し、また画像上の速度は遅くなることから、画像の水平方向位置と速度は比例(直線)関係にある。一方、背景となる立体物の前に存在する物体では、画像の水平方向位置と速度に比例関係はない。したがって、自車両の動きの推定や物体までの距離を算出することなく背景の動きを推定し、背景と異なる動きをするものを移動体として背景から分離することができるため、簡単な処理により移動体の検出を高速で行うことができる。
【0068】
また、本発明の実施の形態の移動体検出装置によれば、前記物体属性判定部107は、前記画素のうち前記画像の垂直方向において最下部に位置する前記画素の前記俯瞰図における前記位置に基づいて前記自車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に前記移動体判定を行うこととした。
【0069】
この構成によれば、下端点の座標変換点の位置から走路境界の検出が可能であり、検出した走路境界で区切られた区画毎に移動体の検出を行うため、複雑な背景下においても、効率的に移動体の検出を行うことができる。
【0070】
また、本発明の実施の形態の移動体検出装置によれば、前記移動体識別部108は、複数の前記移動体の前記画像上の前記移動方向が同一で前記移動速度の差が所定値以下であって、該複数の前記移動体の前記画像上の水平方向および垂直方向の前記位置の差がそれぞれ所定値以下である場合に、該複数の移動体を一つの移動体であると判定することとした。
【0071】
この構成によれば、一つの移動体において複数のエッジが検出された場合でも、一つの移動体であるとの判定を行うことができる。
【0072】
また、本発明の実施の形態の移動体検出装置によれば、前記移動体識別部108は、前記移動体の前記画像上における幅が所定値以下であるとともに、該移動体の周囲の所定範囲内に他の移動体が検出されない場合に、該移動体を歩行者であると判定することとした。
【0073】
この構成によれば、検出した移動体の幅と、移動体の近傍で検出された移動体との位置関係に基づいて、簡単に歩行者の検出を行うことができる。
【0074】
さらに、本発明の実施の形態の移動体検出装置によれば、前記特徴点が物体のエッジであることとした。
【0075】
この構成によれば、カメラ101で撮像した画像から特徴点抽出部103により物体のエッジを検出すれば良く、簡単な画像処理で上記判定を行うことができる。
【0076】
また、以上説明した本発明の実施の形態の移動体検出方法によれば、以下のような作用効果を得ることができる。
【0077】
自車両前方の画像を撮像する第一のステップと、前記第一のステップで撮像した画像から特徴点を抽出する第二のステップと、前記特徴点を表す画素の移動速度および移動方向を移動情報として算出する第三のステップと、前記画素の前記画像における位置を前記自車両前方の俯瞰図における位置に変換する第四のステップと、前記画素の前記俯瞰図における前記位置および前記画素の前記移動情報に基づいて、前記特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定する第五のステップと、前記特徴点が移動体であると判定された際に、前記画像上における前記移動体の幅および前記移動体と他の立体物との位置の関係に基づいて前記移動体が歩行者であるかどうかを判定する第六のステップとを備えることとした。
【0078】
この方法によれば、第一のステップで撮像した画像から抽出した特徴点の移動情報と位置に基づいて、特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定し、特徴点が移動体と判定された場合は、画像上における移動体の幅および移動体と他の立体物との位置関係に基づいて移動体が歩行者であるかどうかを判定することができ、高精度で該判定を行うことができる。
【0079】
また、本発明の実施の形態の移動体検出方法によれば、前記画像の垂直方向に隣接するとともに移動速度が所定の範囲にある前記画素をグループ化する第七のステップを備え、前記第五のステップは、前記第七のステップによりグループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記俯瞰図における位置に基づいて前記判定を行うこととした。
【0080】
この方法によれば、第一のステップで撮像した画像に基づいて算出した速度画像上に物体検出領域を設定し、各領域において、画像の垂直方向に隣接するとともに移動速度が所定の範囲にある点をグループ化し、その最上部(上端)および最下部(下端)を検出する。この最上部および最下部に位置する画素をZX平面に座標変換し、その位置に基づいて平面物、立体物、移動体の判定を行うことで、該判定を効率的に行うことができる。
【0081】
また、本発明の実施の形態の移動体検出方法によれば、前記第五のステップは、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合に前記特徴点を平面物と判定し、前記最上部に位置する前記画素が前記俯瞰図の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に前記特徴点を立体物と判定することとした。
【0082】
この方法によれば、最上部に位置する画素(上端点)と最下部に位置する画素(下端点)の位置を、カメラパラメータを用いてZX平面へ座標変換する。路面上に存在する白線や路面マーカーのような平面物は、上端点と下端点ともに路面上に存在するため、ZX平面上へ座標変換された場合、上端点と下端点は規定のZX平面に投影される。これに対して、立体物の下端点は路面上に存在し、上端点は路面上に存在しないため、下端点のみ規定のZX平面に投影され、上端点は規定のZX平面から大きく外れることになる。したがって、単眼カメラの構成であっても、グループ化した領域の上端点と下端点の座標変換結果から、平面物と立体物の判定を行うことができる。
【0083】
また、本発明の実施の形態の移動体検出方法によれば、前記第五のステップは、複数の立体物における前記画素の前記速度情報と前記画素の前記画像上における前記位置とに基づいて前記立体物が移動体であるか否かを判定する移動体判定を行うこととした。
【0084】
この方法によれば、検出した立体物の画像上の水平方向位置と速度の関係から、移動体の識別を行う。背景となる立体物は自車両から遠ざかるにつれて画像上では横方向に移動し、また画像上の速度は遅くなることから、画像上の水平方向位置と速度は比例(直線)関係にある。一方、背景となる立体物の前に存在する物体では、画像上の水平方向位置と速度に比例関係はない。したがって、自車の動きの推定や物体までの距離を算出することなく背景の動きを推定し、背景と異なる動きをするものを移動体として背景から分離することができるため、簡単な処理により移動体の検出を高速で行うことができる。
【0085】
また、本発明の実施の形態の移動体検出方法によれば、前記第五のステップは、前記画素のうち前記画像の垂直方向において最下部に位置する画素の前記俯瞰図における位置に基づいて前記車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に前記移動体判定を行うこととした。
【0086】
この方法によれば、下端点の座標変換点の位置から走路境界の検出が可能であり、検出した走路境界で区切られた区画毎に移動体の検出を行うため、複雑な背景下においても、効率的に移動体の検出を行うことができる。
【0087】
また、本発明の実施の形態の移動体検出方法によれば、前記第六のステップは、複数の前記移動体の前記画像上の前記移動方向が同一で前記移動速度の差が所定値以下であって、該複数の前記移動体の前記画像上の水平方向および垂直方向の前記位置の差がそれぞれ所定値以下である場合に、該複数の移動体を一つの移動体であると判定することとした。
【0088】
この方法によれば、一つの移動体において複数のエッジが検出された場合でも、一つの移動体であるとの判定を行うことができる。
【0089】
また、本発明の実施の形態の移動体検出方法によれば、前記第六のステップは、前記移動体の前記画像上における幅が所定値以下であるとともに、該移動体の周囲の所定範囲内に他の移動体が検出されない場合に、該移動体を歩行者であると判定することとした。
【0090】
この方法によれば、検出した移動体の幅と、移動体の近傍で検出された移動体との位置関係に基づいて、簡単に歩行者の検出を行うことができる。
【0091】
さらに、本発明の実施の形態の移動体検出方法によれば、前記特徴点が物体のエッジであることとした。
【0092】
この方法によれば、前記第一のステップで撮像した画像から前記第二のステップにより物体のエッジを検出すれば良く、簡単な画像処理で上記判定を行うことができる。
【実施例2】
【0093】
本実施例では、例えばエッジ検出の結果に起因して同じ立体物や移動体が速度情報を基に同じ速度でグループ化できない場合でも、平面物と立体物の検出を行う。
【0094】
ここでは、図13に示すように、外壁上に検出されたP11〜P113の内、P11〜P13とP14〜P113が別々にグループ化され、P21〜P213の内、P21〜P23とP24〜P213が別々にグループ化され、P31〜P313の内、P31〜P33とP34〜P313が別々にグループ化され、P41〜P412の内、P41、P42とP43〜P412が別々にグループ化された場合について、説明を行う。
【0095】
なお、図1に示したブロック図、図2に示した車両へのカメラ101の設置例を示す図、図3に示したカメラ101による前方の撮像画像を説明する図、図4に示したエッジの正規化の例を示す図、および図5に示した速度画像を説明する図については、第1の実施例と同様のため説明を省略する。また、図8〜図9で説明した、下端点を基に走路境界を検出し、検出した走路境界で区切られた各領域毎に立体物の水平方向位置と速度の関係から、移動体を検出する方法については、第1の実施例における処理と同様のため説明を省略する。
【0096】
まず、算出した速度画像に物体を検出するための領域を設定する。すなわち、図13に示すように、速度画像上に短冊状の複数の領域を設定し、速度画像を分割する。本実施例では、各領域毎に画像下端から上端に速度を持った画素を順に走査して検出し、検出した画素を前述の(式1)、(式2)に基づいてZX平面へ座標変換し、座標変換の結果が図7に示す規定のZX平面内に位置するか否かを判定する。座標変換の結果が規定のZX平面内に位置すれば、平面物の候補点と判定する。一方、規定のZX平面内に位置しなければ、立体物の候補点として判定する。なお、規定のZX平面は第1の実施例で説明した領域と同じ領域とし、領域の設定方法については説明を省略する。
【0097】
例えば本実施例では、P11〜P13は規定のZX平面内の同一の領域に位置して平面物の候補点と判定され、P14〜P113は規定のZX平面内に位置しないため、立体物候補点と判定される。同様に、P21〜P23、P31〜P33、P41、P42、P81〜P83、P91〜P94、P101、P102、P111〜P113、P121、P122、P131〜P133は平面物候補点と判定され、P24〜P213、P34〜P313、P43〜P412、P51〜P54、P61〜P65、P71〜P74は立体物候補点と判定される。
【0098】
次に平面物候補点と立体物候補点の判定結果に基づき、立体物の判定を行う。すなわち、平面物候補点であると判定された点と立体物候補点であると判定された点が、縦方向に連続して存在する場合は、立体物の内、路面近くに存在する部分が誤って平面物候補点であると判定されたものと推定できるため、図14に示すように、平面物候補点と立体物候補点が縦方向に連続して存在する物体を立体物として判定する。例えば、本実施例では、平面物候補点P11〜P13と立体物候補点P14〜P113が縦方向に連続しているため、P11〜P113を立体物OB1として判定する。同様に、P21〜P213を立体物OB2、P31〜P313を立体物OB3、P41〜P412を立体物OB4として判定する。
【0099】
さらに、平面物および立体物と判定された点の内、下端点を抽出し、第1の実施例と同様に下端点のZX平面への座標変換点が位置するZX平面の領域のカウンタのカウンタ値を+1加算して、下端点の位置分布を算出する。例えば、本実施例では、P11、P21、P31、P41、P51、P61、P71、P81、P91、P101、P111、P121、P131を下端点として検出し、図8に示す各下端点P11〜P131の座標変換点RB1〜RB13が位置する領域のカウンタのカウンタ値を+1加算する。以下、第1の実施例と同様の操作を行うことで、走路境界と立体物、立体物中の移動体の検出を行うことができる。
【0100】
図15は、本実施例における移動体検出装置10の処理を示すフローチャートである。図13に示す処理はイグニションスイッチがオンされると、起動されるプログラムとして実行される。図13においては、図10に示す第1の実施例における処理と同一の処理内容については、同じステップ番号を付与し、以下相違点を中心に説明する。
【0101】
ステップS121では、ステップS104にて設定した物体検出用の短冊領域内において画像下端から上端に向かって走査を行い、速度を持つ画素の座標を(式1)、(式2)を用いてZX平面上へ座標変換する。この後に、フローはステップS119へ移行する。
【0102】
ステップS122では、画素の座標変換点が規定のZX平面内に位置すれば、平面物候補点と判定し、画素の座標変換点が規定のZX平面内に位置しなければ、立体物候補点と判定する。この後に、フローはステップS123に進む。
【0103】
ステップS123では、速度が算出された画素の全てがZX平面上へ座標変換されて、平面物候補点および立体物候補点の検出が終了したかどうかが判定される。平面物候補点および立体物候補点の検出が終了した場合には、フローはステップS124に進む。一方、平面物候補点および立体物候補点の検出が終了していない場合は、フローはステップS121に戻る。
【0104】
ステップS124では、各領域内において、平面物候補点および立体物候補点が縦方向に連続して存在する場合には、平面物候補点および立体物候補点を含む物体を一つの立体物として判定する。この後に、フローはステップS125に進む。
【0105】
ステップS125では、各領域において、平面物候補点のうち、一番下にある点を下端点として検出し、検出した下端点のZX平面上の座標変換点が位置する領域のカウンタのカウンタ値を+1加算する。この後に、フローはステップS126に進む。
【0106】
ステップS126では、各領域において、カウンタ値に基づき各領域の下端点の位置分布情報の算出が終了したかどうかの判定が行われる。各領域の下端点の位置分布情報の算出が終了した場合には、フローはステップS110へ進む。一方、各領域の下端点の位置分布情報の算出が終了していない場合には、フローはステップS124へ戻る。
【0107】
以降、第1の実施例と同様の処理により、走路境界、立体物、移動体を検出する。
【0108】
以上説明した本発明の実施の形態の移動体検出装置によれば、第1の実施例の作用効果に加え、以下のような作用効果を得ることができる。
【0109】
前記物体属性判定部107は、前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記俯瞰図の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することとした。
【0110】
この構成によれば、カメラ101で撮像した画像に基づいて算出した速度画像上に物体検出領域を設定し、速度を有する各画素をZX平面へ座標変換した後に、ZX平面における座標変換点の位置に基づいて、各画素が平面物候補点か立体物候補点かの判定を行う。ここで、平面物候補点と立体物候補点が画像上の垂直方向に連続して存在する場合には、平面物候補点と立体物候補点を持つ物体を一つの立体物と判定する。この操作により、同じ物体を構成する画素でありながら何らかの影響で同じ速度が算出されない場合でも、高精度で立体物の判定が可能となる。
【0111】
また、以上説明した本発明の実施の形態の移動体検出方法によれば、第1の実施例の作用効果に加え、以下のような作用効果を得ることができる。
【0112】
前記第五のステップは、前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記俯瞰図の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することとした。
【0113】
この方法によれば、第一のステップで撮像した画像に基づいて算出した速度画像上に物体検出領域を設定し、速度を有する各画素をZX平面へ座標変換した後に、ZX平面における座標変換点の位置に基づいて、各画素が平面物候補点か立体物候補点かの判定を行う。ここで、平面物候補点と立体物候補点が画像上の垂直方向に連続して存在する場合には、平面物候補点と立体物候補点を持つ物体を一つの立体物と判定する。この操作により、同じ物体を構成する画素でありながら何らかの影響で同じ速度が算出されない場合でも、高精度で立体物の判定が可能となる。
【0114】
以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎず、本発明は実施例の構成にのみ限定されるものではない。したがって本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれることはもちろんである。
【0115】
例えば、ブロック図は上記実施例に示すものに限定されるものではなく、同等の機能を備えた構成であれば良い。
【0116】
また、カメラの取り付け位置は実施例で述べた位置に限定されるものではなく、カメラの光軸が車両前方正面方向(Z方向)に向き、撮像面の水平軸および垂直軸がそれぞれ路面と平行および垂直となるように設定されていれば良い。
【0117】
また、検出したエッジの幅の正規化を行うにあたっては、エッジ幅は3画素に限定されるものではなく、任意の画素数を設定することができる。この場合、その後の処理でエッジの中央部の画素を利用するため、エッジ幅の画素数は奇数個であることが望ましい。
【0118】
また、ZX平面を分割して設定する領域の数は上記実施例に示すものに限定されるものではなく、任意の数に分割して設定することができる。
【0119】
また、ZX平面の縦方向および横方向の範囲は、任意の値に設定することができる。
【0120】
また、上記実施例では道路を走行する車両に移動体検出装置10を搭載する例について説明したが、他の移動体に搭載してもよい。
【0121】
さらに、上記実施例では、走路境界として、縁石、白線、外壁と路面との接点の例について説明したが、これに限定されず、例えば、ガードレール、駐車車両と路面との境界、路面と路面以外の領域(田、畑など)との境界を検出してもよい。
【図面の簡単な説明】
【0122】
【図1】移動体検出装置の一実施の形態の構成例を示すブロック図である。
【図2】カメラ101の車両への設置例を示す図である。
【図3】カメラ101で撮像した画像の例を示す図である。
【図4】抽出したエッジを正規化して、エッジ画像を得るために行う各処理の例を示す図である。
【図5】速度画像の例を示す図である。
【図6】速度画像上に物体検出用領域を設定し、各物体検出用領域において下端点と同じ速度を持つ画素をグループ化し、グループ化した領域の上端点の位置を検出した例を示す図である。
【図7】速度画像上で検出した上端点と下端点をZX平面上に座標変換し、物体が平面物か立体物かの判定を行う例を示す図である。
【図8】下端点の座標変換点のZX平面上の位置分布より走路境界線を検出する例を示す図である。
【図9】検出した走路境界で区切られた領域内で検出した立体物の画像の水平方向位置と速度の関係から移動物体を検出する場合の具体例を示す図である。
【図10】検出した移動体の幅および位置関係から歩行者を検出する場合の具体例を示す図である。
【図11】移動体検出装置10の第1の実施例の処理を示すフローチャートである。
【図12】図11のフローチャートのうち、ステップS117の詳細フローを示すフローチャートである。
【図13】速度画像上に物体検出用領域を設定し、各物体検出用領域において速度を持った画素をZX平面上へ座標変換することで、平面物候補点か立体物候補点かを判定する例を示す図である。
【図14】検出した平面物候補点と立体物候補点の並び方から立体物の判定を行う例を示す図である。
【図15】移動体検出装置10の第2の実施例の処理を示すフローチャートである。
【符号の説明】
【0123】
10 移動体検出装置
100 制御部
101 カメラ(撮像部)
102 画像一時記録部
103 特徴点抽出部
104 座標変換部
105 移動情報算出部
106 グループ化部
107 物体属性判定部
108 移動体識別部
【技術分野】
【0001】
本発明は、移動体検出装置および移動体検出方法に関するものである。
【背景技術】
【0002】
一般に、車載カメラの撮像画像からオプティカルフロー(画像速度情報)を利用して歩行者や車両等の移動体を検出する移動体検出装置と移動検出方法が多数提案されている。例えば、撮像画像のオプティカルフローを求め、自車両の動きに基づいて抽出した撮像画像の背景のオプティカルフローと撮像画像全体のオプティカルフローとの比較により、移動体を検出する移動体検出方法が提案されている(特許文献1)。
【特許文献1】特開2004−56763号
【発明の開示】
【発明が解決しようとする課題】
【0003】
このような移動体検出装置または移動体検出方法では、移動体を検出するために背景のオプティカルフローを算出する必要がある。ここで、背景のオプティカルフローは、自車両前方の空間モデルを推定し、この空間モデルと自車両の動きに基づいて算出しているが、微小時間ではこの推定の精度が低くなってオプティカルフローの検出精度も低下し、移動体を高い精度で検出することが難しいという問題が生じていた。
【課題を解決するための手段】
【0004】
上記課題を解決するために、本発明の移動体検出装置は、自車両前方の画像を撮像する撮像部および、前記撮像部で撮像した画像から特徴点を抽出する特徴点抽出部と、前記特徴点を表す画素の前記画像上の移動速度および移動方向を移動情報として算出する移動情報算出部と、前記画素の前記画像上の位置を前記自車両前方の俯瞰図における位置に変換する座標変換部と、前記画素の前記俯瞰図における前記位置および前記画素の前記移動情報に基づいて前記特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定する物体属性判定部と、前記特徴点が移動体であると判定された際に、前記画像上における前記移動体の幅および前記移動体と他の立体物との位置の関係に基づいて前記移動体が歩行者であるかどうかを判定する移動体識別部とを有する制御部とを備えることを特徴としている。
【発明の効果】
【0005】
上記構成によれば、カメラで撮像した画像を画像処理することで、カメラの撮像範囲内における平面物と立体物を識別するとともに、立体物が移動体であるかどうかを識別し、さらに検出した立体物の中から歩行者を識別することができ、高精度で歩行者の検出が可能である。
【発明を実施するための最良の形態】
【0006】
以下、この発明の実施の形態を図面に基づいて説明する。
【実施例1】
【0007】
図1は、第1の実施例における移動体検出装置の構成例を示すブロック図である。
【0008】
移動体検出装置10は車両に搭載され、車両前方を撮像する撮像部であるカメラ101および、カメラ101で撮像した画像を一時的に記録する画像一時記録部102と、画像一時記録部102に記憶された画像を画像処理することで特徴点を抽出する特徴点抽出部103と、特徴点抽出部103により抽出された特徴点の位置を俯瞰画像上の位置に変換する座標変換部104と、特徴点抽出部103により抽出された特徴点の画像上における速度および方向を移動情報として算出する移動情報算出部105と、移動情報算出部105により算出された特徴点の速度値に基づいて特徴点のグループ化を行うグループ化部106と、座標変換部104により変換された俯瞰座標の情報および移動情報算出部105により算出された特徴点の移動情報およびグループ化部106によりグループ化された特徴点のグループ化情報に基づいて特徴点が平面物であるか立体物であるかを判定するとともに、特徴点が立体物である場合には移動体であるかどうかを判定する物体属性判定部107と、特徴点が移動体である場合に、移動体の幅および前記移動体と他の立体物との位置の関係に基づいて特徴点が歩行者であるかどうかを判定する移動体識別部108とを有する制御部100を備えている。
【0009】
カメラ101は、例えばCCDやCMOSなどの撮像素子を有したカメラであり、連続的に車両前方を撮像してフレーム毎に撮像した画像を画像一時記録部102に出力する。カメラ101で撮像された画像は、画像一時記録部102に一時的に記録される。ここで、図2に示すように、カメラ101は車両の室内上部前方に設置され、その光軸LSは車両前方正面方向(Z方向)に向き、撮像面の水平軸X(図示省略)は路面と平行となるように、また撮像面の垂直軸Y(図示省略)は路面と垂直になるように設定されている。
【0010】
カメラ101で撮像した画像(自車両前方の画像)の例を図3に示す。カメラ101による撮像画像は、画像左上を原点として左から右へx軸、上から下へy軸とするxy座標系によって表される。なお、図3においては、左右の走路脇に設置された縁石、白線、外壁などの走路の境界線と、左から右へ移動する歩行者が撮像画像に含まれている。
【0011】
特徴点抽出部103は、カメラ101で撮像された画像を画像一時記録部102から読み込み、読み込んだ撮像画像を所定の閾値を用いて2値化することによって、画像内に存在する物体のエッジを抽出する。図4(a)に、抽出した垂直方向のエッジ例を示す。次に、抽出した各エッジに対して、細線化処理を行ってエッジ幅を絞り、エッジの中心を正確に設定する(図4(b)参照)。さらに、細線化されたエッジのエッジ幅が一定の幅となるように、例えば3画素分の幅となるように、エッジを水平方向に拡張する(図4(c)参照)。この操作により、抽出したエッジが正規化され、各エッジが均一の幅を持つエッジ画像を得ることができる。
【0012】
移動情報算出部105は、エッジに該当する画素の画素カウンタのカウンタ値を更新する。ここで、画素カウンタとは、各画素毎に設定されたカウンタであり、画素がエッジに該当する場合に画素カウンタのカウンタ値が+1加算され、画素がエッジに該当しない場合は画素カウンタのカウンタ値が0となって初期化されるカウンタである。このカウンタ値の更新処理を、カメラ101で連続的に撮像されるフレーム毎に行う。この操作により、エッジに該当する時間が長い画素は画素カウンタのカウンタ値が大きくなり、エッジに該当する時間が短い画素は画素カウンタのカウンタ値が小さくなる。
【0013】
この画素カウンタのカウンタ値の変化は、エッジの移動方向と移動量を表していることになるため、このカウンタ値から、撮像画像上におけるエッジの移動方向と移動速度とを算出することができる。
【0014】
次に、撮像画像上に存在するエッジの速度成分を所定の階級値に分類して表した速度画像を生成する。本実施例における速度画像は、図5に示すように、速度が検出されたエッジの画素を丸型の点で表し、移動速度が速い画素ほど点を大きく示す。また、右へ向かう速度を黒点で表し、左へ向かう速度を白点で表すことによって移動方向を表している。図5においては、自車両の走行路右側の縁石および白線からは画像の右側へ向かう速度が検出されており、走行路左側の外壁からは画像の左側へ向かう速度が検出されている。また、走行路左側から右へ移動する歩行者では、画像の右側へ向かう速度が検出されている。
【0015】
グループ化部106は、算出した速度画像から立体物を抽出するために、速度画像を分割する領域を設定する。すなわち、図6に示すように、速度画像上に短冊状の複数の領域を設定し、速度画像を複数の領域で分割する。
【0016】
次に、各領域毎に、画像の縦方向において同じ速度で連続する画素をグループ化することにより、立体物を検出する。すなわち、画像の下部から上部に向かって各領域を走査し、領域内に速度を持った画素が存在する場合、その画素の上方に隣接する速度を持った画素との速度差を比較し、速度差が閾値T1以下である場合には、車両に対して同じ速度で移動する物体であると推定できることから、同じ物体であると判定してグループ化を行う。そして、同じ速度でグループ化された画素の上端位置(請求項における最上部)と下端位置(請求項における最下部)を検出する。この処理により、図6における下端BL1〜BL13及び上端TL1〜TL13が検出される。
【0017】
座標変換部104は、xy平面上で抽出した下端BL1〜BL13及び上端TL1〜TL13の中心位置を座標とする下端点BP1〜BP13(図示省略)および上端点TP1〜TP13(図示省略)の位置を、規定の面積を備えたZX平面(以下、規定のZX平面と呼ぶ)上の点として俯瞰変換する。
【0018】
ここで、各点の位置を表す座標を(x、y)とし、カメラの路面からの高さをCh(m)、カメラの俯角をTr(rad)、画像の縦サイズをIh、画像の横サイズをIw、高さ方向の1画素あたりの角度分解能をPYr(rad)、横方向の1画素あたりの角度分解能をPXr(rad)とすると、xy平面上の点TP1〜TP11及びBP1〜BP11は、次式に従ってZX平面の座標(Z、X)に変換される。
【0019】
(式1)Z=(Ch)/(TAN(Tr+(y−Ih/2)×PYr))
(式2)X=x×TAN((Z-Iw/2)×PXr)
ここで、上端点TP1〜TP13、下端点BP1〜BP13の変換後の点を、上端点の座標変換点RT1〜RT13、下端点の座標変換点RB1〜RB13とする。
【0020】
物体属性判定部107は、上端点の座標変換点RT1〜RT13、下端点の座標変換点RB1〜RB13が、規定のZX平面を分割して設定した領域のうちどの領域に位置するかの判定を行う(図7参照)。ここで、車両の上下動に伴いカメラ101の撮像映像も上下に動き、座標変換点が位置する領域も変動してしまう可能性がある。この影響を避けるため、ZX平面を分割して設定する領域はメーターオーダーで設定することが望ましい。本実施例では、x軸方向は、−5.25m>x、−5.25≦x<−3.5m、−3.5m≦x<−1.75m、−1.75m≦x<0m、0m≦x<1.75m、1.75m≦x<3.5m、3.5m≦x<5.25m、5.25m≦x、として8分割し、z軸方向は、0m≦z<10m、10m≦z<20m、20m≦z<30m、30m≦z<40m、40m≦z<50mとして5分割して、領域11〜領域15、領域21〜領域25、領域31〜領域35、領域41〜領域45、領域51〜領域55、領域61〜領域65、領域71〜領域75、領域81〜領域85を設定している。また、領域11〜領域15を領域10とし、領域21〜領域25を領域20とし、領域31〜領域35を領域30とし、領域41〜領域45を領域40とし、領域51〜領域55を領域50とし、領域61〜領域65を領域60とし、領域71〜領域75を領域70とし、領域81〜領域85を領域80としている。
【0021】
そして、xy平面の同一の縦方向領域における上端点の座標変換点と上端点と同一のグループの下端点の座標変換点が規定のZX平面の同一の領域に位置すれば、上端点と下端点が路面上にある、すなわち路面上の平面物体であると判定する。また、上端点の座標変換点が規定のZX平面外に位置し、上端点と同一のグループの下端点の座標変換点が規定のZX平面の領域に位置すれば、下端点のみ路面上にある、すなわち立体物であると判定する。ここで、走路境界を検出するために、各領域に設定したカウンタのうち下端点の座標変換点が位置する領域のカウンタのカウンタ値を+1加算し、下端点の位置情報分布を算出する。
【0022】
例えば、本実施例では、上端点TP1〜TP7の座標変換点RT1〜RT7は図7に示す規定のZX平面外に投影されるため、上端点TP1〜TP7を含むグループは立体物であると判定され、上端点TP1〜TP7を含むエッジはxy平面上で立体物OB1〜OB7として判定される。また上端点TP8〜TP13の座標変換点RT8〜RT13は下端点BP8〜BP13の座標変換点RB8〜RB13と同じ領域に位置するため、上端点TP8〜TP13を含むグループは路面上に位置する物であると判定される。ここで、走路境界を検出するために、下端点の座標変換点RB1〜RB13が位置する領域のカウンタのカウンタ値を+1加算する。
【0023】
そして、図8に示すように、得られた下端点の座標変換点の位置分布から、走路境界線が存在する可能性が高い領域を抽出する。すなわち、得られた下端点の座標変換点の位置分布において、同じx軸領域で複数のz軸領域にカウンタ値が存在すれば、自車両前方に走路境界が車両に沿って直線状に存在すると推定できるため、カウンタ値がある領域を走路境界領域として抽出する。例えば、図8では、x軸が同じ範囲の領域30において、複数のz軸領域(下端点RB1、RB4、RB6が位置する領域)にカウンタ値が存在するため、これらの領域を走路境界領域として抽出する。領域50、領域80についても同様である。
【0024】
そして、抽出した領域に走路境界を示す直線が存在するかどうかの判定を行う(図8参照)。すなわち、抽出した領域に存在する下端点の座標変換点に基づいて、xy座標系での回帰分析を行い、下端点を通る直線の傾きを算出する。例えば、本実施例の領域30では、領域30に存在する下端点の座標変換点RB1、RB4、RB6に対応するxy座標における下端点BP1、BP4、BP6の座標位置からxy座標系での回帰分析を行い、下端点BP1、BP4、BP6を通る直線の傾きa3を算出する。同様に、領域50、領域80に位置する下端点の投影点に対応した直線の傾きa5、a8を算出する。そして、算出した直線の傾きが所定の範囲内に入っていれば、抽出した領域内に走路境界を示す直線が存在すると判定する。すなわち、下端点の座標変換点が位置するx軸領域の左端座標と各Z軸領域の代表座標(例えば中心座標)を座標とする点(例えば図8のPL1〜PL5)をxy座標系に変換して回帰分析して算出した直線の傾きTn0a1と、下端点の座標変換点が位置するx軸領域の右端座標と各Z軸領域の代表座標(例えば中心座標)を座標とする点(例えば図8のPR1〜PR5)をxy座標系に変換して回帰分析して算出した直線の傾きTn0a2とで規定される傾きの範囲内に、下端点に基づき算出された直線の傾きanが入っている場合には、抽出した領域内に走路境界を示す直線Lnが存在するとの判定を行う。
【0025】
例えば、本実施例の領域30においては、座標(x、z)=(−3.5、5)の点PL1、座標(x、z)=(−3.5、15)の点PL2、座標(x、z)=(−3.5、25)の点PL3、座標(x、z)=(−3.5、35)の点PL4、座標(x、z)=(−3.5、45)の点PL5をxy座標に変換して回帰分析を行い算出した各点を結ぶ直線の傾きT30a1と、座標(x、z)=(−1.75、5)の点PR1、座標(x、z)=(−1.75、15)の点PR2、座標(x、z)=(−1.75、25)の点PR3、座標(x、z)=(−1.75、35)の点PR4、座標(x、z)=(−1.75、45)の点PR5をxy座標に変換して回帰分析を行い算出した各点を結ぶ直線の傾きT30a2に対し、下端点の投影点RB1、RB4、RB6に対応するxy平面上の下端点BP1、BP4、BP6を結ぶ直線の傾きa3が、T30a1とT30a2で規定される範囲内に存在するため、下端点BP1、BP4、BP6を結ぶ直線は走路境界を示す直線L3であると判定される(図9参照)。同様にして、領域50では、下端点の投影点RB8、RB9に対応するxy平面上の下端点BP8とBP9を結ぶ直線は走路境界を示す直線L5であると判定され、領域80では、下端点の投影点RB11〜RB13に対応するxy平面上の下端点BP10〜BP13を結ぶ直線は走路境界を示す直線L8であると判定される。
【0026】
そして、図9に示すように、走路境界で区切られた各領域において、検出された立体物の画像の水平方向位置と速度の関係を示すグラフを算出する。このグラフでは、画像中央より左側に位置する立体物、例えば外壁のような背景は、画像の右側に位置するほど自車よりも遠い位置にあるため、画素の速度は遅くなる。つまり、縦軸に速度(左に移動する速度をプラス、右に移動する速度をマイナス)、横軸に画像のx座標(画像左端を原点)に設定すると、背景のような静止物であれば、画像の右半分においては、速度とx座標の関係は、右下がりの直線となる。一方、右下がりの直線関係とならない座標がある場合は、領域内に静止物でないもの、すなわち移動体が存在する可能性がある。この場合、図9に示すように、背景の速度(左向きの速度)とは逆向きの速度(右向きの速度)を有する座標が検出された場合は、背景とは逆方向に移動する移動体が存在すると判定する。また、背景よりも速い速度を有する座標が検出されれば、移動体が存在すると判定する。
【0027】
例えば、本実施例では、領域30、領域50、領域80で検出された走路境界に基づいて、走路境界L3の左側、すなわち、領域10、領域20、領域30の左側の一部を区画aと設定し、走路境界L3と走路境界L5との間、すなわち、領域30の右側の一部、領域40、領域50の左側の一部を区画bと設定し、走路境界L5と走路境界L8との間、すなわち、領域50の右側の一部、領域60、領域70、領域80の左側の一部を区画cと設定し、走路境界L8の右側、すなわち、領域80の右側の一部を区画dと設定し、区画bに存在する立体物OB1〜OB6の水平方向位置と速度の関係から、OB1、OB4、OB6を静止している立体物(ここでは外壁)と判定し、右へ移動するOB2、OB3、OB5を移動体と判定する。
【0028】
また、画像右側に存在する立体物においても、左側と同様な方法で、速度(左に移動する速度をプラス、右に移動する速度をマイナス)と画像のx座標(画像右端を原点)の関係を求め、右上がりの直線関係とならない場合には、領域内に立体物が存在する可能性が高いと判断し、背景の速度と逆向きの速度が検出されれば、背景とは逆方向に移動する移動体の検出を行うことができる。図9では、区画cに存在するOB7を移動体と判定する。
【0029】
さらに、車両挙動(車両の進行方向)を利用することにより、上述したように撮像画像の左右において別々に移動物体の検出が必要か、あるいは撮像画像全体で移動物体の検出が可能かを判断することも可能となる。例えば、車両を右へ操舵している場合には、前方画像の背景に該当する領域は、左側へ移動する速度のみが検出されるため、上述したように撮影画像左右でそれぞれ移動体の検出を行わずに撮像画像全体で一括して移動体の検出を行うことができる。車両を左へ操舵している場合も同様である。
【0030】
ここで、前述したように移動体の判定は、背景に該当する立体物と移動体の水平方向位置と速度を比較して行うため、例えば歩行者に該当する立体物しか検出できず、背景に該当する外壁等の立体物が抽出できない場合は、移動体の判定を行うことができない。この場合は、次回の検出で再度立体物と判定された際に、その速度変化から移動体であるか否かの判定を行う(後述)。
【0031】
移動体識別部108は、図10に示すように、走路境界で区切られた領域において、同じ速度を有する複数の移動体が画像上において所定距離以下で存在する場合には、同じ速度を有する複数の移動体を一つの移動体としてグルーピングを行う。例えば本実施例では、立体物OB2、OB3を一つの移動体Mo1とする。一方、立体物OB5は、近接する立体物(OB2、OB3)との速度が異なるため、移動体Mo1とは異なる移動物体Mo2として検出する。さらに、歩行者の場合は歩行者の近傍の車両に比べて画像上の幅が狭いと言う特徴を用いて、検出した移動体の幅が所定値以下であれば、歩行者の可能性があるため、検出された移動体と該移動体の近傍の所定範囲に存在する立体物との距離と座標位置の関係を示すグラフを算出し、歩行者か否かの判定を行う。すなわち、検出された移動体が歩行者であれば、移動体(歩行者)の右側の所定範囲において、自車両から移動体(歩行者)までの距離と等距離の位置には他の立体物が検出されないことになる。一方、検出された移動体が先行車であれば、移動体(先行車)の右側の所定範囲(普通車両幅相当)において、移動体(先行車)と等距離の位置に他の立体物、すなわち先行車の右側端部が検出されることになる。例えば本実施の形態では、図10に示すように、移動体Mo1の右側の所定範囲内(図10下図の破線楕円AA)において自車両から移動体Mo1までの距離と等距離の位置に他の立体物が検出されていないため、移動体Mo1を歩行者と判定する。また、移動物体Mo2の左側の所定範囲内(図10下図の破線楕円AB)において、自車両から移動体Mo2までの距離と等距離の位置に他の立体物OB7(車両の右側端部)が存在するため、移動体Mo2は歩行者以外の移動体と判定する。
【0032】
ここで、立体物OB5、OB7が同じ速度で検出された場合には、立体物OB5、OB7を一つの移動体Mo2してグループ化する。この場合、グループ化後の移動体Mo2の物体幅が所定値以上であれば、車両の候補と判定することができる。
【0033】
図11は、本実施例における移動体検出装置10の処理を示すフローチャートである。この処理はイグニションスイッチ(図示省略)がオンされると起動されるプログラムとして実行される。
【0034】
ステップS101では、カメラ101で撮像され画像一時記録部102に記録された自車両前方の画像が所定の周期で特徴点抽出部103に出力される。この後に、フローはステップS102へ移行する。
【0035】
ステップS102では、特徴点抽出部103が画像に対してエッジ抽出処理を行い、撮像画像内に存在する物体の輪郭をエッジ画像として抽出するとともにエッジ画像の正規化を行う。この後に、フローはステップS103へ移行する。
【0036】
ステップS103では、移動情報算出部105がエッジの速度を算出し、算出した速度を所定の階調で表した速度画像を算出する。この後に、フローはステップS104へ移行する。
【0037】
ステップS104では、グループ化部106が算出した速度画像上に物体検出用の短冊領域を設定する。この後に、フローはステップS105へ移行する。
【0038】
ステップS105では、グループ化部106が各短冊領域内に速度を持った画素があるかどうかを下から上に向かって調べる。速度を持った画素がある場合、グループ化部106がそれらの画素は同一の物体を表しているものとしてグループ化を行う。この後に、フローはステップS106へ移行する。
【0039】
ステップS106では、各短冊領域内におけるグループ毎において、最も上に位置する画素の中心座標を上端点に、最も下に位置する画素の中心座標を下端点に設定する。この後に、フローはステップS107へ移行する。
【0040】
ステップS107では、座標変換部104が、(式1)、(式2)を用いて、検出した上端点と下端点の座標をZX平面へ座標変換する。この後に、フローはステップS108へ移行する。
【0041】
ステップS108では、物体属性判定部107が、上端点の座標変換点と上端点と同じグループの下端点の座標変換点の位置がx軸範囲とz軸範囲を規定した規定のZX平面のどの領域に該当するかを判断し、上端点の座標変換点と上端点と同じグループの下端点の座標変換点の双方が規定のZX平面の同一の領域に位置する場合は、上端点、下端点を含む物体を平面物であると判定し、上端点と同じグループの下端点の座標変換点のみが規定のZX平面に位置する場合は、上端点、下端点を含む物体を立体物であると判定する。また、下端点が位置する領域のカウンタのカウンタ値を+1加算する。この後に、フローはステップS109に進む。
【0042】
ステップS109では、物体属性判定部107により、検出した全ての上端点、下端点について、上端点、下端点を含む物体が平面物であるか立体物であるかの判定(以下、物体の属性判定と呼ぶ)が行われたかどうかの判定が行われる。検出した全ての上端点、下端点について物体の属性判定が行われた場合は、ステップS110に進む。一方、検出した全ての上端点、下端点について物体の属性判定が行われていない場合は、ステップS105に戻る。
【0043】
ステップS110では、物体属性判定部107により、ZX平面における下端点の座標変換点の位置分布から、同じx軸領域において、複数のz軸領域にカウンタ値が存在する領域を、走路境界線が存在する可能性が高い領域として抽出される。この後に、フローはステップS111へ進む。
【0044】
ステップS111では、物体属性判定部107により、抽出された領域内に存在する下端点の座標変換点に対応するxy平面の下端点についてxy座標系での回帰分析が行われ、下端点を結ぶ直線の傾きが算出される。この後に、フローはステップS112へ進む。
【0045】
ステップS112では、物体属性判定部107により、ステップS111で算出した直線の傾きが、下端点が位置する領域において、x軸領域の左端座標と各z軸領域の代表座標を座標とする点(例えば図8のPL1〜PL5)を結ぶ直線およびx軸領域の右端座標と各z軸領域の代表座標を座標とする点(例えば図8のPR1〜PR5)を結ぶ直線のxy座標系における傾きの範囲にあれば、抽出した領域に走路境界を示す直線が存在すると判定され、ステップS111で算出した直線は走路境界を示す直線として検出される。この後に、フローはステップS113へ進む。
【0046】
ステップS113では、物体属性判定部107において、抽出された領域において、全ての走路境界を示す直線が検出されたか否かの判定を行う。全ての走路境界を示す直線が検出された場合は、ステップS114へ進む。一方、全ての走路境界を示す直線が検出されていない場合は、ステップS110に戻る。
【0047】
ステップS114では、物体属性判定部107において、走路境界で区切られた各区画に対し、各区画内に存在する立体物(外壁、歩行者)間の速度とx座標の関係を算出し、背景と逆方向の速度が検出された立体物がある場合には、自車両に近づく移動体が存在すると判定し、フローはステップS116に進む。一方、背景と逆方向の速度が検出された物体がない場合には、移動体候補が存在する可能性があると判定し、ステップS115に進む。
【0048】
ステップS115では、物体属性判定部107において、移動体候補が移動体であるかどうかの判定を行う。移動体候補が存在すると判断された区画に、前回も移動体候補が存在すれば、前回と今回の速度を比較する。移動体候補が静止物である場合は、自車両の前進に従い移動体候補が自車両に接近し、移動体候補に対応する画素の移動速度が速くなる。このため、前回よりも下端点の座標変換点の速度が速くなっている場合には、移動体は存在しないと判定し、前回よりも下端点の座標変換点の速度が速くなっていない場合には、移動体が存在すると判定する。この後に、フローはステップS116に進む。
【0049】
ステップS116では、自車両から等しい距離において、同じ速度で存在する移動体が複数検出され、それらの移動体が画像上の横方向位置において所定値以下の距離にある場合には、複数の移動体を一つの移動体としてグループ化を行う。この後に、フローはステップS117へ移行する。
【0050】
ステップS117では、検出した移動体の物体幅と、検出した移動体の近傍に他の立体物があるかどうかの判定結果に基づいて、移動体が歩行者であるかどうかの判定を行う(後述)。この後に、フローはステップS118へ移行する。
【0051】
ステップS118では、走路境界で区切られたすべての区画において、移動体が検出されたか否かの判断を行う。全ての移動体が検出された場合には、フローはステップS119へ進む。一方、全ての移動体が検出されていない場合は、フローはステップS114に戻る。
【0052】
ステップS119では、自車両のイグニションスイッチがオフされたか否かの判定が行われる。イグニションスイッチがオフされていない場合には、ステップS101へ戻って処理を繰り返す。一方、イグニションスイッチがオフされた場合には、フローはステップS120へ移行して処理を終了する。
【0053】
次に、ステップS117の歩行者判定の動作フローを、図12のフローチャートを用いて説明する。
【0054】
ステップS1171では、検出した移動物体の物体幅が所定値以下であるかどうかの判定を行う。検出した移動物体の物体幅が所定値以下(例えば人体の標準的な幅)であれば、移動体が歩行者である可能性があり、フローはステップS1172へ移行する。一方、検出した移動物体の物体幅が所定値を越える場合は、移動体が歩行者である可能性はなく、フローはステップS1174へ移行する。
【0055】
ステップS1172では、検出された移動体近傍の所定範囲内(図10の破線楕円AA、ABに相当)において、自車両から移動体までの距離と等距離の位置に、他の移動体が検出されているかどうかの判定が行われる。検出された移動体近傍の所定範囲内において、自車両から移動体までの距離と等距離の位置に、他の移動体が検出されていない場合は、移動体はその位置に単独で存在することになり、フローはステップS1173へ移行する。一方、検出された移動体近傍の所定範囲内において、自車両から移動体までの距離と等距離の位置に、他の移動体が検出されている場合は、移動体はその位置で他の移動体と共に存在する、すなわち、移動体と他の移動体は同一の物体である可能性が高く、フローはステップS1174へ移行する。
【0056】
ステップS1173では、移動体を歩行者と判定する。この後に、フローはステップS118へ移行する。
【0057】
ステップS1174では、移動体を歩行者以外の物体と判定する。この後に、フローはステップS118へ移行する。
【0058】
なお、上記フローチャートのステップS101が請求項の第一のステップにあたる。また、ステップS102が請求項の第二のステップにあたる。また、ステップS103が請求項の第三のステップにあたる。また、ステップS107が請求項における第四のステップにあたる。また、ステップS108〜ステップS115、ステップS118が請求項における第五のステップにあたる。また、ステップS116、ステップS117(ステップS1171〜ステップS1174)が請求項における第六のステップにあたる。さらに、ステップS104〜S106が請求項における第七のステップにあたる。
【0059】
以上説明した本発明の実施の形態の移動体検出装置によれば、以下のような作用効果を得ることができる。
【0060】
自車両前方の画像を撮像するカメラ101(撮像部)および、前記カメラ101で撮像した画像から特徴点を抽出する特徴点抽出部103と、前記特徴点を表す画素の前記画像上の移動速度および移動方向を移動情報として算出する移動情報算出部105と、前記画素の前記画像上の位置を前記自車両前方の俯瞰図における位置に変換する座標変換部104と、前記画素の前記俯瞰図における前記位置および前記画素の前記移動情報に基づいて前記特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定する物体属性判定部107と、前記特徴点が移動体であると判定された際に、前記画像上における前記移動体の幅および前記移動体と他の立体物との位置の関係に基づいて前記移動体が歩行者であるかどうかを判定する移動体識別部108とを有する制御部100とを備えることとした。
【0061】
この構成によれば、カメラ101で撮像した画像から抽出した特徴点の移動情報と位置に基づいて、特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定し、特徴点が移動体と判定された場合は、画像上における移動体の幅および移動体と他の立体物との位置関係に基づいて移動体が歩行者であるかどうかを判定することができ、高精度で該判定を行うことができる。
【0062】
また、本発明の実施の形態の移動体検出装置によれば、前記画像の垂直方向に隣接するとともに移動速度が所定の範囲にある前記画素をグループ化するグループ化部106を備え、前記物体属性判定部107は、前記グループ化部106によりグループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記俯瞰図における位置に基づいて前記判定を行うこととした。
【0063】
この構成によれば、カメラ101で撮像した画像に基づいて算出した速度画像上に物体検出領域を設定し、各領域において、画像の垂直方向に隣接するとともに移動速度が所定の範囲にある点をグループ化し、その最上部(上端)および最下部(下端)を検出する。この最上部および最下部に位置する画素をZX平面に座標変換し、その位置に基づいて平面物、立体物、移動体の判定を行うことで、該判定を効率的に行うことができる。
【0064】
また、本発明の実施の形態の移動体検出装置によれば、前記物体属性判定部107は、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合に前記特徴点を平面物と判定し、前記最上部に位置する前記画素が前記俯瞰図の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に前記特徴点を立体物と判定することとした。
【0065】
この構成によれば、最上部に位置する画素(上端点)と最下部に位置する画素(下端点)の位置を、カメラパラメータを用いてZX平面へ座標変換する。路面上に存在する白線や路面マーカーのような平面物は、上端点と下端点ともに路面上に存在するため、ZX平面上へ座標変換された場合、上端点と下端点は規定のZX平面に投影される。これに対して、立体物の下端点は路面上に存在し、上端点は路面上に存在しないため、下端点のみ規定のZX平面に投影され、上端点は規定のZX平面から大きく外れることになる。したがって、単眼カメラの構成であっても、グループ化した領域の上端点と下端点の座標変換結果から、平面物と立体物の判定を行うことができる。
【0066】
また、本発明の実施の形態の移動体検出装置によれば、前記物体属性判定部107は、複数の立体物における前記画素の前記速度情報と前記画素の前記画像上における前記位置とに基づいて前記立体物が移動体であるか否かを判定する移動体判定を行うこととした。
【0067】
この構成によれば、検出した立体物の画像上の水平方向位置と速度の関係から、移動体の識別を行う。背景となる立体物は自車両から遠ざかるにつれて画像上では横方向に移動し、また画像上の速度は遅くなることから、画像の水平方向位置と速度は比例(直線)関係にある。一方、背景となる立体物の前に存在する物体では、画像の水平方向位置と速度に比例関係はない。したがって、自車両の動きの推定や物体までの距離を算出することなく背景の動きを推定し、背景と異なる動きをするものを移動体として背景から分離することができるため、簡単な処理により移動体の検出を高速で行うことができる。
【0068】
また、本発明の実施の形態の移動体検出装置によれば、前記物体属性判定部107は、前記画素のうち前記画像の垂直方向において最下部に位置する前記画素の前記俯瞰図における前記位置に基づいて前記自車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に前記移動体判定を行うこととした。
【0069】
この構成によれば、下端点の座標変換点の位置から走路境界の検出が可能であり、検出した走路境界で区切られた区画毎に移動体の検出を行うため、複雑な背景下においても、効率的に移動体の検出を行うことができる。
【0070】
また、本発明の実施の形態の移動体検出装置によれば、前記移動体識別部108は、複数の前記移動体の前記画像上の前記移動方向が同一で前記移動速度の差が所定値以下であって、該複数の前記移動体の前記画像上の水平方向および垂直方向の前記位置の差がそれぞれ所定値以下である場合に、該複数の移動体を一つの移動体であると判定することとした。
【0071】
この構成によれば、一つの移動体において複数のエッジが検出された場合でも、一つの移動体であるとの判定を行うことができる。
【0072】
また、本発明の実施の形態の移動体検出装置によれば、前記移動体識別部108は、前記移動体の前記画像上における幅が所定値以下であるとともに、該移動体の周囲の所定範囲内に他の移動体が検出されない場合に、該移動体を歩行者であると判定することとした。
【0073】
この構成によれば、検出した移動体の幅と、移動体の近傍で検出された移動体との位置関係に基づいて、簡単に歩行者の検出を行うことができる。
【0074】
さらに、本発明の実施の形態の移動体検出装置によれば、前記特徴点が物体のエッジであることとした。
【0075】
この構成によれば、カメラ101で撮像した画像から特徴点抽出部103により物体のエッジを検出すれば良く、簡単な画像処理で上記判定を行うことができる。
【0076】
また、以上説明した本発明の実施の形態の移動体検出方法によれば、以下のような作用効果を得ることができる。
【0077】
自車両前方の画像を撮像する第一のステップと、前記第一のステップで撮像した画像から特徴点を抽出する第二のステップと、前記特徴点を表す画素の移動速度および移動方向を移動情報として算出する第三のステップと、前記画素の前記画像における位置を前記自車両前方の俯瞰図における位置に変換する第四のステップと、前記画素の前記俯瞰図における前記位置および前記画素の前記移動情報に基づいて、前記特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定する第五のステップと、前記特徴点が移動体であると判定された際に、前記画像上における前記移動体の幅および前記移動体と他の立体物との位置の関係に基づいて前記移動体が歩行者であるかどうかを判定する第六のステップとを備えることとした。
【0078】
この方法によれば、第一のステップで撮像した画像から抽出した特徴点の移動情報と位置に基づいて、特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定し、特徴点が移動体と判定された場合は、画像上における移動体の幅および移動体と他の立体物との位置関係に基づいて移動体が歩行者であるかどうかを判定することができ、高精度で該判定を行うことができる。
【0079】
また、本発明の実施の形態の移動体検出方法によれば、前記画像の垂直方向に隣接するとともに移動速度が所定の範囲にある前記画素をグループ化する第七のステップを備え、前記第五のステップは、前記第七のステップによりグループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記俯瞰図における位置に基づいて前記判定を行うこととした。
【0080】
この方法によれば、第一のステップで撮像した画像に基づいて算出した速度画像上に物体検出領域を設定し、各領域において、画像の垂直方向に隣接するとともに移動速度が所定の範囲にある点をグループ化し、その最上部(上端)および最下部(下端)を検出する。この最上部および最下部に位置する画素をZX平面に座標変換し、その位置に基づいて平面物、立体物、移動体の判定を行うことで、該判定を効率的に行うことができる。
【0081】
また、本発明の実施の形態の移動体検出方法によれば、前記第五のステップは、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合に前記特徴点を平面物と判定し、前記最上部に位置する前記画素が前記俯瞰図の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に前記特徴点を立体物と判定することとした。
【0082】
この方法によれば、最上部に位置する画素(上端点)と最下部に位置する画素(下端点)の位置を、カメラパラメータを用いてZX平面へ座標変換する。路面上に存在する白線や路面マーカーのような平面物は、上端点と下端点ともに路面上に存在するため、ZX平面上へ座標変換された場合、上端点と下端点は規定のZX平面に投影される。これに対して、立体物の下端点は路面上に存在し、上端点は路面上に存在しないため、下端点のみ規定のZX平面に投影され、上端点は規定のZX平面から大きく外れることになる。したがって、単眼カメラの構成であっても、グループ化した領域の上端点と下端点の座標変換結果から、平面物と立体物の判定を行うことができる。
【0083】
また、本発明の実施の形態の移動体検出方法によれば、前記第五のステップは、複数の立体物における前記画素の前記速度情報と前記画素の前記画像上における前記位置とに基づいて前記立体物が移動体であるか否かを判定する移動体判定を行うこととした。
【0084】
この方法によれば、検出した立体物の画像上の水平方向位置と速度の関係から、移動体の識別を行う。背景となる立体物は自車両から遠ざかるにつれて画像上では横方向に移動し、また画像上の速度は遅くなることから、画像上の水平方向位置と速度は比例(直線)関係にある。一方、背景となる立体物の前に存在する物体では、画像上の水平方向位置と速度に比例関係はない。したがって、自車の動きの推定や物体までの距離を算出することなく背景の動きを推定し、背景と異なる動きをするものを移動体として背景から分離することができるため、簡単な処理により移動体の検出を高速で行うことができる。
【0085】
また、本発明の実施の形態の移動体検出方法によれば、前記第五のステップは、前記画素のうち前記画像の垂直方向において最下部に位置する画素の前記俯瞰図における位置に基づいて前記車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に前記移動体判定を行うこととした。
【0086】
この方法によれば、下端点の座標変換点の位置から走路境界の検出が可能であり、検出した走路境界で区切られた区画毎に移動体の検出を行うため、複雑な背景下においても、効率的に移動体の検出を行うことができる。
【0087】
また、本発明の実施の形態の移動体検出方法によれば、前記第六のステップは、複数の前記移動体の前記画像上の前記移動方向が同一で前記移動速度の差が所定値以下であって、該複数の前記移動体の前記画像上の水平方向および垂直方向の前記位置の差がそれぞれ所定値以下である場合に、該複数の移動体を一つの移動体であると判定することとした。
【0088】
この方法によれば、一つの移動体において複数のエッジが検出された場合でも、一つの移動体であるとの判定を行うことができる。
【0089】
また、本発明の実施の形態の移動体検出方法によれば、前記第六のステップは、前記移動体の前記画像上における幅が所定値以下であるとともに、該移動体の周囲の所定範囲内に他の移動体が検出されない場合に、該移動体を歩行者であると判定することとした。
【0090】
この方法によれば、検出した移動体の幅と、移動体の近傍で検出された移動体との位置関係に基づいて、簡単に歩行者の検出を行うことができる。
【0091】
さらに、本発明の実施の形態の移動体検出方法によれば、前記特徴点が物体のエッジであることとした。
【0092】
この方法によれば、前記第一のステップで撮像した画像から前記第二のステップにより物体のエッジを検出すれば良く、簡単な画像処理で上記判定を行うことができる。
【実施例2】
【0093】
本実施例では、例えばエッジ検出の結果に起因して同じ立体物や移動体が速度情報を基に同じ速度でグループ化できない場合でも、平面物と立体物の検出を行う。
【0094】
ここでは、図13に示すように、外壁上に検出されたP11〜P113の内、P11〜P13とP14〜P113が別々にグループ化され、P21〜P213の内、P21〜P23とP24〜P213が別々にグループ化され、P31〜P313の内、P31〜P33とP34〜P313が別々にグループ化され、P41〜P412の内、P41、P42とP43〜P412が別々にグループ化された場合について、説明を行う。
【0095】
なお、図1に示したブロック図、図2に示した車両へのカメラ101の設置例を示す図、図3に示したカメラ101による前方の撮像画像を説明する図、図4に示したエッジの正規化の例を示す図、および図5に示した速度画像を説明する図については、第1の実施例と同様のため説明を省略する。また、図8〜図9で説明した、下端点を基に走路境界を検出し、検出した走路境界で区切られた各領域毎に立体物の水平方向位置と速度の関係から、移動体を検出する方法については、第1の実施例における処理と同様のため説明を省略する。
【0096】
まず、算出した速度画像に物体を検出するための領域を設定する。すなわち、図13に示すように、速度画像上に短冊状の複数の領域を設定し、速度画像を分割する。本実施例では、各領域毎に画像下端から上端に速度を持った画素を順に走査して検出し、検出した画素を前述の(式1)、(式2)に基づいてZX平面へ座標変換し、座標変換の結果が図7に示す規定のZX平面内に位置するか否かを判定する。座標変換の結果が規定のZX平面内に位置すれば、平面物の候補点と判定する。一方、規定のZX平面内に位置しなければ、立体物の候補点として判定する。なお、規定のZX平面は第1の実施例で説明した領域と同じ領域とし、領域の設定方法については説明を省略する。
【0097】
例えば本実施例では、P11〜P13は規定のZX平面内の同一の領域に位置して平面物の候補点と判定され、P14〜P113は規定のZX平面内に位置しないため、立体物候補点と判定される。同様に、P21〜P23、P31〜P33、P41、P42、P81〜P83、P91〜P94、P101、P102、P111〜P113、P121、P122、P131〜P133は平面物候補点と判定され、P24〜P213、P34〜P313、P43〜P412、P51〜P54、P61〜P65、P71〜P74は立体物候補点と判定される。
【0098】
次に平面物候補点と立体物候補点の判定結果に基づき、立体物の判定を行う。すなわち、平面物候補点であると判定された点と立体物候補点であると判定された点が、縦方向に連続して存在する場合は、立体物の内、路面近くに存在する部分が誤って平面物候補点であると判定されたものと推定できるため、図14に示すように、平面物候補点と立体物候補点が縦方向に連続して存在する物体を立体物として判定する。例えば、本実施例では、平面物候補点P11〜P13と立体物候補点P14〜P113が縦方向に連続しているため、P11〜P113を立体物OB1として判定する。同様に、P21〜P213を立体物OB2、P31〜P313を立体物OB3、P41〜P412を立体物OB4として判定する。
【0099】
さらに、平面物および立体物と判定された点の内、下端点を抽出し、第1の実施例と同様に下端点のZX平面への座標変換点が位置するZX平面の領域のカウンタのカウンタ値を+1加算して、下端点の位置分布を算出する。例えば、本実施例では、P11、P21、P31、P41、P51、P61、P71、P81、P91、P101、P111、P121、P131を下端点として検出し、図8に示す各下端点P11〜P131の座標変換点RB1〜RB13が位置する領域のカウンタのカウンタ値を+1加算する。以下、第1の実施例と同様の操作を行うことで、走路境界と立体物、立体物中の移動体の検出を行うことができる。
【0100】
図15は、本実施例における移動体検出装置10の処理を示すフローチャートである。図13に示す処理はイグニションスイッチがオンされると、起動されるプログラムとして実行される。図13においては、図10に示す第1の実施例における処理と同一の処理内容については、同じステップ番号を付与し、以下相違点を中心に説明する。
【0101】
ステップS121では、ステップS104にて設定した物体検出用の短冊領域内において画像下端から上端に向かって走査を行い、速度を持つ画素の座標を(式1)、(式2)を用いてZX平面上へ座標変換する。この後に、フローはステップS119へ移行する。
【0102】
ステップS122では、画素の座標変換点が規定のZX平面内に位置すれば、平面物候補点と判定し、画素の座標変換点が規定のZX平面内に位置しなければ、立体物候補点と判定する。この後に、フローはステップS123に進む。
【0103】
ステップS123では、速度が算出された画素の全てがZX平面上へ座標変換されて、平面物候補点および立体物候補点の検出が終了したかどうかが判定される。平面物候補点および立体物候補点の検出が終了した場合には、フローはステップS124に進む。一方、平面物候補点および立体物候補点の検出が終了していない場合は、フローはステップS121に戻る。
【0104】
ステップS124では、各領域内において、平面物候補点および立体物候補点が縦方向に連続して存在する場合には、平面物候補点および立体物候補点を含む物体を一つの立体物として判定する。この後に、フローはステップS125に進む。
【0105】
ステップS125では、各領域において、平面物候補点のうち、一番下にある点を下端点として検出し、検出した下端点のZX平面上の座標変換点が位置する領域のカウンタのカウンタ値を+1加算する。この後に、フローはステップS126に進む。
【0106】
ステップS126では、各領域において、カウンタ値に基づき各領域の下端点の位置分布情報の算出が終了したかどうかの判定が行われる。各領域の下端点の位置分布情報の算出が終了した場合には、フローはステップS110へ進む。一方、各領域の下端点の位置分布情報の算出が終了していない場合には、フローはステップS124へ戻る。
【0107】
以降、第1の実施例と同様の処理により、走路境界、立体物、移動体を検出する。
【0108】
以上説明した本発明の実施の形態の移動体検出装置によれば、第1の実施例の作用効果に加え、以下のような作用効果を得ることができる。
【0109】
前記物体属性判定部107は、前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記俯瞰図の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することとした。
【0110】
この構成によれば、カメラ101で撮像した画像に基づいて算出した速度画像上に物体検出領域を設定し、速度を有する各画素をZX平面へ座標変換した後に、ZX平面における座標変換点の位置に基づいて、各画素が平面物候補点か立体物候補点かの判定を行う。ここで、平面物候補点と立体物候補点が画像上の垂直方向に連続して存在する場合には、平面物候補点と立体物候補点を持つ物体を一つの立体物と判定する。この操作により、同じ物体を構成する画素でありながら何らかの影響で同じ速度が算出されない場合でも、高精度で立体物の判定が可能となる。
【0111】
また、以上説明した本発明の実施の形態の移動体検出方法によれば、第1の実施例の作用効果に加え、以下のような作用効果を得ることができる。
【0112】
前記第五のステップは、前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記俯瞰図の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することとした。
【0113】
この方法によれば、第一のステップで撮像した画像に基づいて算出した速度画像上に物体検出領域を設定し、速度を有する各画素をZX平面へ座標変換した後に、ZX平面における座標変換点の位置に基づいて、各画素が平面物候補点か立体物候補点かの判定を行う。ここで、平面物候補点と立体物候補点が画像上の垂直方向に連続して存在する場合には、平面物候補点と立体物候補点を持つ物体を一つの立体物と判定する。この操作により、同じ物体を構成する画素でありながら何らかの影響で同じ速度が算出されない場合でも、高精度で立体物の判定が可能となる。
【0114】
以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎず、本発明は実施例の構成にのみ限定されるものではない。したがって本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれることはもちろんである。
【0115】
例えば、ブロック図は上記実施例に示すものに限定されるものではなく、同等の機能を備えた構成であれば良い。
【0116】
また、カメラの取り付け位置は実施例で述べた位置に限定されるものではなく、カメラの光軸が車両前方正面方向(Z方向)に向き、撮像面の水平軸および垂直軸がそれぞれ路面と平行および垂直となるように設定されていれば良い。
【0117】
また、検出したエッジの幅の正規化を行うにあたっては、エッジ幅は3画素に限定されるものではなく、任意の画素数を設定することができる。この場合、その後の処理でエッジの中央部の画素を利用するため、エッジ幅の画素数は奇数個であることが望ましい。
【0118】
また、ZX平面を分割して設定する領域の数は上記実施例に示すものに限定されるものではなく、任意の数に分割して設定することができる。
【0119】
また、ZX平面の縦方向および横方向の範囲は、任意の値に設定することができる。
【0120】
また、上記実施例では道路を走行する車両に移動体検出装置10を搭載する例について説明したが、他の移動体に搭載してもよい。
【0121】
さらに、上記実施例では、走路境界として、縁石、白線、外壁と路面との接点の例について説明したが、これに限定されず、例えば、ガードレール、駐車車両と路面との境界、路面と路面以外の領域(田、畑など)との境界を検出してもよい。
【図面の簡単な説明】
【0122】
【図1】移動体検出装置の一実施の形態の構成例を示すブロック図である。
【図2】カメラ101の車両への設置例を示す図である。
【図3】カメラ101で撮像した画像の例を示す図である。
【図4】抽出したエッジを正規化して、エッジ画像を得るために行う各処理の例を示す図である。
【図5】速度画像の例を示す図である。
【図6】速度画像上に物体検出用領域を設定し、各物体検出用領域において下端点と同じ速度を持つ画素をグループ化し、グループ化した領域の上端点の位置を検出した例を示す図である。
【図7】速度画像上で検出した上端点と下端点をZX平面上に座標変換し、物体が平面物か立体物かの判定を行う例を示す図である。
【図8】下端点の座標変換点のZX平面上の位置分布より走路境界線を検出する例を示す図である。
【図9】検出した走路境界で区切られた領域内で検出した立体物の画像の水平方向位置と速度の関係から移動物体を検出する場合の具体例を示す図である。
【図10】検出した移動体の幅および位置関係から歩行者を検出する場合の具体例を示す図である。
【図11】移動体検出装置10の第1の実施例の処理を示すフローチャートである。
【図12】図11のフローチャートのうち、ステップS117の詳細フローを示すフローチャートである。
【図13】速度画像上に物体検出用領域を設定し、各物体検出用領域において速度を持った画素をZX平面上へ座標変換することで、平面物候補点か立体物候補点かを判定する例を示す図である。
【図14】検出した平面物候補点と立体物候補点の並び方から立体物の判定を行う例を示す図である。
【図15】移動体検出装置10の第2の実施例の処理を示すフローチャートである。
【符号の説明】
【0123】
10 移動体検出装置
100 制御部
101 カメラ(撮像部)
102 画像一時記録部
103 特徴点抽出部
104 座標変換部
105 移動情報算出部
106 グループ化部
107 物体属性判定部
108 移動体識別部
【特許請求の範囲】
【請求項1】
自車両前方の画像を撮像する撮像部と、
前記撮像部で撮像した画像から特徴点を抽出する特徴点抽出部と、前記特徴点を表す画素の前記画像上の移動速度および移動方向を移動情報として算出する移動情報算出部と、前記画素の前記画像上の位置を前記自車両前方の俯瞰図における位置に変換する座標変換部と、前記画素の前記俯瞰図における前記位置および前記画素の前記移動情報に基づいて前記特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定する物体属性判定部と、前記特徴点が移動体であると判定された際に、前記画像上における前記移動体の幅および前記移動体と他の立体物との位置の関係に基づいて前記移動体が歩行者であるかどうかを判定する移動体識別部とを有する制御部とを備えることを特徴とする移動体検出装置。
【請求項2】
前記画像の垂直方向に隣接するとともに移動速度が所定の範囲にある前記画素をグループ化するグループ化部を備え、
前記物体属性判定部は、前記グループ化部によりグループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記俯瞰図における位置に基づいて前記判定を行うことを特徴とする請求項1に記載の移動体検出装置。
【請求項3】
前記物体属性判定部は、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合に前記特徴点を平面物と判定し、前記最上部に位置する前記画素が前記俯瞰図の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に前記特徴点を立体物と判定することを特徴とする請求項1または2に記載の移動体検出装置。
【請求項4】
前記物体属性判定部は、前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記俯瞰図の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することを特徴とする請求項1から3のいずれか1項に記載の移動体検出装置。
【請求項5】
前記物体属性判定部は、複数の立体物における前記画素の前記速度情報と前記画素の前記画像上における前記位置とに基づいて前記立体物が移動体であるか否かを判定する移動体判定を行うことを特徴とする請求項1から4のいずれか1項に記載の移動体検出装置。
【請求項6】
前記物体属性判定部は、前記画素のうち前記画像の垂直方向において最下部に位置する前記画素の前記俯瞰図における前記位置に基づいて前記自車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に前記移動体判定を行うことを特徴とする請求項5に記載の移動体検出装置。
【請求項7】
前記移動体識別部は、複数の前記移動体の前記画像上の前記移動方向が同一で前記移動速度の差が所定値以下であって、該複数の前記移動体の前記画像上の水平方向および垂直方向の前記位置の差がそれぞれ所定値以下である場合に、該複数の移動体を一つの移動体であると判定することを特徴とする請求項1から6のいずれか1項に記載の移動体検出装置。
【請求項8】
前記移動体識別部は、前記移動体の前記画像上における幅が所定値以下であるとともに、該移動体の周囲の所定範囲内に他の移動体が検出されない場合に、該移動体を歩行者であると判定することを特徴とする請求項1から7のいずれか1項に記載の移動体検出装置。
【請求項9】
前記特徴点が物体のエッジであることを特徴とする請求項1から8のいずれか1項に記載の移動体検出装置。
【請求項10】
自車両前方の画像を撮像する第一のステップと、
前記撮像部で撮像した画像から特徴点を抽出する第二のステップと、
前記特徴点を表す画素の移動速度および移動方向を移動情報として算出する第三のステップと、
前記画素の前記画像における位置を前記自車両前方の俯瞰図における位置に変換する第四のステップと、
前記画素の前記俯瞰図における前記位置および前記画素の前記移動情報に基づいて、前記特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定する第五のステップと、前記特徴点が移動体であると判定された際に、前記画像上における前記移動体の幅および前記移動体と他の立体物との位置の関係に基づいて前記移動体が歩行者であるかどうかを判定する第六のステップとを備えることを特徴とする移動体検出方法。
【請求項11】
前記画像の垂直方向に隣接するとともに移動速度が所定の範囲にある前記画素をグループ化する第七のステップを備え、
前記第五のステップは、前記第七のステップによりグループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記俯瞰図における位置に基づいて前記判定を行うことを特徴とする請求項10に記載の移動体検出方法。
【請求項12】
前記第五のステップは、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合に前記特徴点を平面物と判定し、前記最上部に位置する前記画素が前記俯瞰図の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に前記特徴点を立体物と判定することを特徴とする請求項10または11に記載の移動体検出方法。
【請求項13】
前記第五のステップは、前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記俯瞰図の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することを特徴とする請求項10から12のいずれか1項に記載の移動体検出方法。
【請求項14】
前記第五のステップは、複数の立体物における前記画素の前記速度情報と前記画素の前記画像上における前記位置とに基づいて前記立体物が移動体であるか否かを判定する移動体判定を行うことを特徴とする請求項10から13のいずれか1項に記載の移動体検出方法。
【請求項15】
前記第五のステップは、前記画素のうち前記画像の垂直方向において最下部に位置する前記画素の前記俯瞰図における前記位置に基づいて前記自車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に前記移動体判定を行うことを特徴とする請求項14に記載の移動体検出方法。
【請求項16】
前記第六のステップは、複数の前記移動体の前記画像上の前記移動方向が同一で前記移動速度の差が所定値以下であって、該複数の前記移動体の前記画像上の水平方向および垂直方向の前記位置の差がそれぞれ所定値以下である場合に、該複数の移動体を一つの移動体であると判定することを特徴とする請求項10から15のいずれか1項に記載の移動体検出方法。
【請求項17】
前記第六のステップは、前記移動体の前記画像上における幅が所定値以下であるとともに、該移動体の周囲の所定範囲内に他の移動体が検出されない場合に、該移動体を歩行者であると判定することを特徴とする請求項10から16のいずれか1項に記載の移動体検出方法。
【請求項18】
前記特徴点が物体のエッジであることを特徴とする請求項10から17のいずれか1項に記載の移動体検出方法。
【請求項1】
自車両前方の画像を撮像する撮像部と、
前記撮像部で撮像した画像から特徴点を抽出する特徴点抽出部と、前記特徴点を表す画素の前記画像上の移動速度および移動方向を移動情報として算出する移動情報算出部と、前記画素の前記画像上の位置を前記自車両前方の俯瞰図における位置に変換する座標変換部と、前記画素の前記俯瞰図における前記位置および前記画素の前記移動情報に基づいて前記特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定する物体属性判定部と、前記特徴点が移動体であると判定された際に、前記画像上における前記移動体の幅および前記移動体と他の立体物との位置の関係に基づいて前記移動体が歩行者であるかどうかを判定する移動体識別部とを有する制御部とを備えることを特徴とする移動体検出装置。
【請求項2】
前記画像の垂直方向に隣接するとともに移動速度が所定の範囲にある前記画素をグループ化するグループ化部を備え、
前記物体属性判定部は、前記グループ化部によりグループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記俯瞰図における位置に基づいて前記判定を行うことを特徴とする請求項1に記載の移動体検出装置。
【請求項3】
前記物体属性判定部は、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合に前記特徴点を平面物と判定し、前記最上部に位置する前記画素が前記俯瞰図の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に前記特徴点を立体物と判定することを特徴とする請求項1または2に記載の移動体検出装置。
【請求項4】
前記物体属性判定部は、前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記俯瞰図の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することを特徴とする請求項1から3のいずれか1項に記載の移動体検出装置。
【請求項5】
前記物体属性判定部は、複数の立体物における前記画素の前記速度情報と前記画素の前記画像上における前記位置とに基づいて前記立体物が移動体であるか否かを判定する移動体判定を行うことを特徴とする請求項1から4のいずれか1項に記載の移動体検出装置。
【請求項6】
前記物体属性判定部は、前記画素のうち前記画像の垂直方向において最下部に位置する前記画素の前記俯瞰図における前記位置に基づいて前記自車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に前記移動体判定を行うことを特徴とする請求項5に記載の移動体検出装置。
【請求項7】
前記移動体識別部は、複数の前記移動体の前記画像上の前記移動方向が同一で前記移動速度の差が所定値以下であって、該複数の前記移動体の前記画像上の水平方向および垂直方向の前記位置の差がそれぞれ所定値以下である場合に、該複数の移動体を一つの移動体であると判定することを特徴とする請求項1から6のいずれか1項に記載の移動体検出装置。
【請求項8】
前記移動体識別部は、前記移動体の前記画像上における幅が所定値以下であるとともに、該移動体の周囲の所定範囲内に他の移動体が検出されない場合に、該移動体を歩行者であると判定することを特徴とする請求項1から7のいずれか1項に記載の移動体検出装置。
【請求項9】
前記特徴点が物体のエッジであることを特徴とする請求項1から8のいずれか1項に記載の移動体検出装置。
【請求項10】
自車両前方の画像を撮像する第一のステップと、
前記撮像部で撮像した画像から特徴点を抽出する第二のステップと、
前記特徴点を表す画素の移動速度および移動方向を移動情報として算出する第三のステップと、
前記画素の前記画像における位置を前記自車両前方の俯瞰図における位置に変換する第四のステップと、
前記画素の前記俯瞰図における前記位置および前記画素の前記移動情報に基づいて、前記特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定する第五のステップと、前記特徴点が移動体であると判定された際に、前記画像上における前記移動体の幅および前記移動体と他の立体物との位置の関係に基づいて前記移動体が歩行者であるかどうかを判定する第六のステップとを備えることを特徴とする移動体検出方法。
【請求項11】
前記画像の垂直方向に隣接するとともに移動速度が所定の範囲にある前記画素をグループ化する第七のステップを備え、
前記第五のステップは、前記第七のステップによりグループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記俯瞰図における位置に基づいて前記判定を行うことを特徴とする請求項10に記載の移動体検出方法。
【請求項12】
前記第五のステップは、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合に前記特徴点を平面物と判定し、前記最上部に位置する前記画素が前記俯瞰図の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に前記特徴点を立体物と判定することを特徴とする請求項10または11に記載の移動体検出方法。
【請求項13】
前記第五のステップは、前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記俯瞰図の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することを特徴とする請求項10から12のいずれか1項に記載の移動体検出方法。
【請求項14】
前記第五のステップは、複数の立体物における前記画素の前記速度情報と前記画素の前記画像上における前記位置とに基づいて前記立体物が移動体であるか否かを判定する移動体判定を行うことを特徴とする請求項10から13のいずれか1項に記載の移動体検出方法。
【請求項15】
前記第五のステップは、前記画素のうち前記画像の垂直方向において最下部に位置する前記画素の前記俯瞰図における前記位置に基づいて前記自車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に前記移動体判定を行うことを特徴とする請求項14に記載の移動体検出方法。
【請求項16】
前記第六のステップは、複数の前記移動体の前記画像上の前記移動方向が同一で前記移動速度の差が所定値以下であって、該複数の前記移動体の前記画像上の水平方向および垂直方向の前記位置の差がそれぞれ所定値以下である場合に、該複数の移動体を一つの移動体であると判定することを特徴とする請求項10から15のいずれか1項に記載の移動体検出方法。
【請求項17】
前記第六のステップは、前記移動体の前記画像上における幅が所定値以下であるとともに、該移動体の周囲の所定範囲内に他の移動体が検出されない場合に、該移動体を歩行者であると判定することを特徴とする請求項10から16のいずれか1項に記載の移動体検出方法。
【請求項18】
前記特徴点が物体のエッジであることを特徴とする請求項10から17のいずれか1項に記載の移動体検出方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2007−249257(P2007−249257A)
【公開日】平成19年9月27日(2007.9.27)
【国際特許分類】
【出願番号】特願2006−67575(P2006−67575)
【出願日】平成18年3月13日(2006.3.13)
【出願人】(000003997)日産自動車株式会社 (16,386)
【Fターム(参考)】
【公開日】平成19年9月27日(2007.9.27)
【国際特許分類】
【出願日】平成18年3月13日(2006.3.13)
【出願人】(000003997)日産自動車株式会社 (16,386)
【Fターム(参考)】
[ Back to top ]