物体検出装置および物体検出方法
【課題】撮像手段で撮像した自車両前方の画像を画像処理し、抽出した特徴点を表す各画素の画像上における速度情報を算出するとともに、各画素の位置座標を３次元における位置座標に変換し、変換後の各画素の位置座標と速度情報に基づいて移動体を検出する物体検出装置および物体検出方法を提供する。
【解決手段】自車両前方の映像を撮像する撮像部１０１で撮像した画像から特徴点を抽出する特徴点抽出部１０３と、特徴点を表す画素の速度情報を算出する移動情報算出部１０５と、特徴点を表す画素の位置座標を所定の範囲の３次元座標における位置座標に変換する座標変換部１０４と、３次元座標における画素の位置座標および移動情報算出部１０５で算出した画素の速度情報に基づいて、特徴点が移動体であることを判定する物体属性判定部１０７とを備える。
【解決手段】自車両前方の映像を撮像する撮像部１０１で撮像した画像から特徴点を抽出する特徴点抽出部１０３と、特徴点を表す画素の速度情報を算出する移動情報算出部１０５と、特徴点を表す画素の位置座標を所定の範囲の３次元座標における位置座標に変換する座標変換部１０４と、３次元座標における画素の位置座標および移動情報算出部１０５で算出した画素の速度情報に基づいて、特徴点が移動体であることを判定する物体属性判定部１０７とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検出装置および物体検出方法に関するものである。
【背景技術】
【０００２】
従来の物体検出装置は例えば下記特許文献１に記載されている。
下記従来技術では、移動体を検出するために、車載カメラの撮像画像からオプティカルフロー(画像上における動きを示すベクトル)を算出する。また車両の車輪の回転速度とハンドルの舵角から車両の動きを推定する。さらに、自車両前方に存在する物体までの距離を算出して自車両前方の空間をモデル化した空間モデルを生成する。そして、算出したオプティカルフローと車両の動き、空間モデルとに基づいて、撮像画像から移動体を検出している。
【特許文献１】特開２００４−５６７６３号
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記従来技術では、自車両前方の空間モデルを生成し、この空間モデルと自車両の動きに基づいて撮像画像から移動体を検出している。このため自車両の動き推定や物体までの距離を算出するための処理時間を要するため、移動体を高速に検出することが難しいという問題が生じていた。
【課題を解決するための手段】
【０００４】
本発明は、撮像手段で撮像した自車両前方の画像から特徴点を抽出し、抽出した特徴点を表す各画素の速度情報を算出するとともに、算出した各画素の位置座標を３次元位置における位置座標に変換し、変換後の各画素の位置座標と速度情報に基づいて移動体であることを判定する。
【発明の効果】
【０００５】
本発明によれば、撮像した画像の特徴点を表す画素の速度情報と、各画素の３次元位置に変換した位置座標から移動体を判定するようにしたので、自車両の動き推定や物体までの距離を算出することなく移動体を高速に検出することができる。
【発明を実施するための最良の形態】
【０００６】
以下、この発明の実施の形態を図面に基づいて説明する。
【実施例１】
【０００７】
図１は、第１の実施例における物体検出装置の構成例を示すブロック図である。
【０００８】
物体検出装置１０は車両に搭載され、車両前方を撮像する撮像部であるカメラ１０１および、カメラ１０１で撮像した画像を一時的に記録する画像一時記録部１０２と、画像一時記録部１０２に記憶された画像を画像処理することで特徴点を抽出する特徴点抽出部１０３と、特徴点抽出部１０３により抽出された特徴点の位置座標を３次元画像上の位置座標に変換する座標変換部１０４と、特徴点抽出部１０３により抽出された特徴点の画像上における速度および方向を移動情報として算出する移動情報算出部１０５と、移動情報算出部１０５により算出された特徴点の速度値に基づいて特徴点のグループ化を行うグループ化部１０６と、座標変換部１０４により変換された３次元座標の情報および移動情報算出部１０５により算出された特徴点の移動情報およびグループ化部１０６によりグループ化された特徴点のグループ化情報に基づいて特徴点が平面物であるか立体物であるかを判定するとともに、特徴点が立体物である場合には移動体であるかどうかを判定する物体属性判定部１０７とを有する制御部１００を備えている。
【０００９】
カメラ１０１は、例えばＣＣＤやＣＭＯＳなどの撮像素子を有したカメラであり、連続的に車両前方を撮像してフレーム毎に撮像した画像を画像一時記録部１０２に出力する。カメラ１０１で撮像された画像は、画像一時記録部１０２に一時的に記録される。ここで、図２に示すように、カメラ１０１は車両の室内上部前方に設置され、その光軸ＬＳは車両前方正面方向（Ｚ方向）に向き、撮像面の水平軸Ｘ（図示省略）は路面と平行となるように、また撮像面の垂直軸Ｙ（図示省略）は路面と垂直になるように設定されている。
【００１０】
カメラ１０１で撮像した画像（自車両前方の画像）の例を図３に示す。カメラ１０１による撮像画像は、画像左上を原点として左から右へx軸、上から下へy軸とするｘｙ座標系によって表される。なお、図３においては、左右の走路脇に設置された縁石、白線、外壁などの走路の境界線と、左から右へ移動する歩行者が撮像画像に含まれている。
【００１１】
特徴点抽出部１０３は、カメラ１０１で撮像された画像を画像一時記録部１０２から読み込み、読み込んだ撮像画像を所定の閾値を用いて２値化することによって、画像内に存在する物体のエッジを抽出する。図４（ａ）に、抽出した垂直方向のエッジ例を示す。次に、抽出した各エッジに対して、細線化処理を行ってエッジ幅を絞り、エッジの中心を正確に設定する（図４（ｂ）参照）。さらに、細線化されたエッジのエッジ幅が一定の幅となるように、例えば３画素分の幅となるように、エッジを水平方向に拡張する（図４（ｃ）参照）。この操作により、抽出したエッジが正規化され、各エッジが均一の幅を持つエッジ画像を得ることができる。
【００１２】
移動情報算出部１０５は、エッジに該当する画素の画素カウンタのカウンタ値を更新する。ここで、画素カウンタとは、各画素毎に設定されたカウンタであり、画素がエッジに該当する場合に画素カウンタのカウンタ値が＋１加算され、画素がエッジに該当しない場合は画素カウンタのカウンタ値が０となって初期化されるカウンタである。このカウンタ値の更新処理を、カメラ１０１で連続的に撮像されるフレーム毎に行う。この操作により、エッジに該当する時間が長い画素は画素カウンタのカウンタ値が大きくなり、エッジに該当する時間が短い画素は画素カウンタのカウンタ値が小さくなる。
【００１３】
この画素カウンタのカウンタ値の変化は、エッジの移動方向と移動量を表していることになるため、このカウンタ値から、撮像画像上におけるエッジの移動方向と移動速度とを算出することができる。以下、詳細に説明する。
【００１４】
図４は、上述した抽出したエッジを正規化して、エッジ画像を得るために行う処理の具体例を示す図である。
【００１５】
まず、エッジ画像に対して２値化処理を行う。２値化処理とはエッジの検出された位置の画素を１とし、エッジの検出されなかった位置の画素を０とする処理である。２値化処理によって図４（ａ）に示すような２値化画像を生成する。
【００１６】
次に、生成された２値化画像に対して、細線化処理を行う。細線化処理とは、検出されたエッジのエッジ幅を所定画素幅になるまで縮小する処理である。図４（ｂ）では所定画素幅として１画素になるまでエッジのエッジ幅を細線化している。そして、このようにエッジを所定の画素幅になるまで細線化することによって、エッジの中心となる中心位置を設定している。ここでは一例として１画素に細線化する場合について説明しているが、その他の画素数に細線化してもよい。
【００１７】
次に、細線化されたエッジのエッジ幅を膨張させる膨張処理を行う。膨張処理とは、細線化によって設定された中心位置からエッジの移動方向に向かってエッジ幅を膨張させるとともに、中心位置からエッジの移動方向と反対方向にもエッジ幅を膨張させる処理である。例えば、図４（ｃ）では、エッジの中心位置ｘ０からエッジの移動方向（ｘ軸の正方向）に１画素膨張させるとともに、エッジの中心位置ｘ０からエッジの移動方向と反対方向（ｘ軸の負方向）に１画素膨張させて、エッジ幅を３画素に膨張させている。
【００１８】
このように細線化処理と膨張処理とを行うことによって、抽出したエッジ画像のエッジ幅を、エッジの移動方向に向かって所定の幅に統一して規格化している。
【００１９】
次に、エッジ幅の規格化されたエッジに対してカウントアップ処理を行う。カウントアップ処理とは、エッジが検出された位置のメモリアドレスの値をカウントアップし、エッジが検出されなかった位置のメモリアドレスの値を初期化する処理である。
【００２０】
以下、図４(c)〜(f)に基づいてエッジのカウントアップ処理について説明する。ここでは簡単のためにエッジはｘ軸の正方向に移動するものとして説明する。なお、エッジはｘ軸の負方向やｙ軸方向、あるいは２次元的に移動する場合も同様に説明することができる。
【００２１】
図４（ｃ）に示すように、エッジはあるフレームにおいて位置ｘ０にエッジの中心位置があり、その中心位置からエッジの移動方向に１画素の位置ｘ０＋１と、中心位置からエッジの移動方向と反対方向に１画素の位置ｘ０−１に膨張されている。
【００２２】
このような場合にエッジが検出された位置ｘ０−１、ｘ０、ｘ０＋１のカウント値が１ずつカウントアップされ、エッジが検出されなかった位置のカウント値がリセットされる。 例えば、図４（ｄ）では、時刻ｔにおいて位置ｘ０−１、ｘ０、ｘ０＋１にエッジが検出されているので、それぞれの位置で１ずつカウントアップされて、位置ｘ０＋１のカウント値が１、位置ｘ０のカウント値が３、位置ｘ０−１のカウント値が５になっている。
【００２３】
そして、図４（e）に示すように時刻ｔ＋１でもエッジが移動していないので、位置ｘ０−１、ｘ０、ｘ０＋１の各位置でエッジが検出され、位置ｘ０−１、ｘ０、ｘ０＋１のカウント値をさらに１ずつカウントアップして、位置ｘ０−１のカウント値を２、位置ｘ０のカウント値を４、位置ｘ０＋１のカウント値を６としている。
【００２４】
さらに、図４(f)に示すように時刻ｔ＋２では、エッジがｘ軸の正方向に１画素シフトして位置ｘ０、ｘ０＋１、ｘ０＋２の位置でエッジが検出されている。
したがって、エッジが検出された位置ｘ０、ｘ０＋１、ｘ０＋２のカウント値がカウントアップされ、エッジが検出されなかった位置ｘ０−１のカウント値がリセットされる。
【００２５】
この結果、図４（ｆ）に示すように位置ｘ０＋２のカウント値が１、位置ｘ０＋１のカウント値が３、位置ｘ０のカウント値が５となっている。さらに、エッジが検出されなかった位置ｘ０−１のカウント値はリセットされて０になっている。
【００２６】
このようにして、エッジが検出された位置のカウント値をカウントアップし、エッジの検出されなかった位置のカウント値をリセットしている。
【００２７】
図４では、カウント値を検出する位置として、エッジの中心位置（ｘ０）と、この中心位置からエッジの移動方向へ１画素の位置（ｘ０＋１）と、中心位置からエッジの移動方向と反対方向に１画素の位置（ｘ０−１）の３箇所でカウント値を検出していたが、後述するカウント値の傾きが求められれば、エッジの移動方向に対して２箇所以上であれば何箇所のカウント値を検出してもよい。
【００２８】
また、エッジが移動する速度に比べて、フレームレートが十分に高く設定されていれば、連続するフレーム間において、エッジは同じ位置で複数回検出される。
【００２９】
例えば、図４の例では、位置ｘ０において時刻ｔと時刻ｔ＋１の２回エッジが検出されている。したがって、エッジが検出された位置のカウント値をカウントアップしていくと、そのカウント値はその位置においてエッジが検出されている時間（フレーム数）と等しくなる。特にエッジのカウント値の中で最小のカウント値ｈは、エッジが移動してから何フレームの間、同じ位置にあるかということを表している。
【００３０】
次に、エッジの移動速度、移動方向および位置を算出する。
【００３１】
まずカウント値の移動方向への傾きを算出し、この傾きに基づいて、エッジの移動方向、移動速度および位置を算出する。
【００３２】
例えば、図４（ｅ）の場合では、位置ｘ０−１、ｘ０、ｘ０＋１のカウント値がそれぞれ６、４、２となっている。
【００３３】
したがって、位置ｘ０−１のカウント値６からｘ０＋１のカウント値２を引くことによって、カウント値の傾きをＨ＝（６−２）／２＝２として算出することができる。
【００３４】
これは、
Ｈ＝｛（エッジが位置ｘ０−１に移動してから現在までの時間）−（エッジが位置ｘ０＋１に移動してしまった後の時間）｝／（２画素）
を意味するので、これによりエッジが位置ｘ０のある１画素を通過するのに要した時間（フレーム数）を算出したことになる。
【００３５】
したがって、カウント値の傾きＨはエッジが１画素移動するために何フレームを要したかを求めることになり、このカウント値の傾きＨに基づいてエッジの移動速度１／Ｈを算出することができる。
【００３６】
図４（ｅ）では１画素移動するのに２フレームを要したことになるので、エッジの移動速度は１／２（画素／フレーム）と算出することができる。
【００３７】
同様に、図１１（ｆ）でもＨ＝（５−１）／２＝２となるので、エッジの移動速度は１／２（画素／フレーム）になる。
【００３８】
また、エッジの移動方向は、カウント値の大小によって判断することができる。エッジが移動して新たにエッジが検出された位置のカウント値は１であり、各位置のカウント値の中では最も小さな値となる。
【００３９】
したがって、エッジが移動する方向のカウント値は小さく、エッジが移動する方向と反対方向のカウント値は大きくなるので、これによってエッジの移動方向を判断することができる。
【００４０】
さらに、エッジが移動する速度に比べてフレームレートが十分に高く設定されていれば、検出対象物は等速移動をしていると仮定することができる。また、現在の位置におけるカウント値の中で最小のカウント値ｈは、エッジがその位置で検出されている時間、すなわちエッジが移動してから何フレームの間、同じ位置にあるかということを表している。
これらのことにより、エッジの位置は、エッジの中心位置をｘ０とすると
エッジの位置＝ｘ０＋ｈ／Ｈ
により求めることができる。
【００４１】
例えば図４（ｆ）では、エッジの速度は１／２（画素／フレーム）で、時刻ｔ＋２の時点では1フレーム連続して同じ位置でエッジが検出されているので、時刻ｔ＋２のエッジの位置は
１（フレーム）×｛１／２（画素／フレーム）｝＝０．５画素
だけ位置ｘ０から移動していると算出することができる。
【００４２】
以上から、エッジが検出された位置のカウント値をカウントアップし、カウントアップされたカウント値の傾きに基づいてエッジの移動速度及び移動方向を算出するができる。
【００４３】
次に、撮像画像上に存在するエッジの速度成分を所定の階級値に分類して表した速度画像を生成する。本実施例における速度画像は、図５に示すように、速度が検出されたエッジの画素を丸型の点で表し、移動速度が速い画素ほど点を大きく示す。また、右へ向かう速度を黒点で表し、左へ向かう速度を白点で表すことによって移動方向を表している。図５においては、自車両の走行路右側の縁石および白線からは画像の右側へ向かう速度が検出されており、走行路左側の外壁からは画像の左側へ向かう速度が検出されている。また、走行路左側から右へ移動する歩行者では、画像の右側へ向かう速度が検出されている。
【００４４】
グループ化部１０６は、算出した速度画像から立体物を抽出するために、速度画像を分割する領域を設定する。すなわち、図６に示すように、速度画像上に短冊状の複数の領域を設定し、速度画像を複数の領域で分割する。
【００４５】
次に、各領域毎に、画像の縦方向において同じ速度で連続する画素をグループ化することにより、立体物を検出する。すなわち、画像の下部から上部に向かって各領域を走査し、領域内に速度を持った画素が存在する場合、その画素の上方に隣接する速度を持った画素との速度差を比較し、速度差が閾値Ｔ１以下である場合には、車両に対して同じ速度で移動する物体であると推定できることから、同じ物体であると判定してグループ化を行う。そして、同じ速度でグループ化された画素の上端位置（請求項における最上部）と下端位置（請求項における最下部）を検出する。この処理により、図６における下端ＢＬ１〜ＢＬ１１及び上端ＴＬ１〜ＴＬ１１が検出される。
【００４６】
座標変換部１０４は、ｘｙ平面上で抽出した下端ＢＬ１〜ＢＬ１１および上端ＴＬ１〜ＴＬ１１の中心位置を座標とする下端点ＢＰ１〜ＢＰ１１（図示省略）および上端点ＴＰ１〜ＴＰ１１（図示省略）の位置座標を、規定の面積を備えたＺＸ平面（以下、規定のＺＸ平面と呼ぶ）上の点として３次元の位置座標（実空間上の３次元における位置座標）に変換する。
【００４７】
ここで、各点の座標を（ｘ、ｙ）とし、カメラの路面からの高さをＣｈ（ｍ）、カメラの俯角をＴｒ（ｒａｄ）、画像の縦サイズをＩｈ、画像の横サイズをＩｗ、高さ方向の１画素あたりの角度分解能をＰＹｒ（ｒａｄ）、横方向の１画素あたりの角度分解能をＰＸｒ（ｒａｄ）とすると、ｘｙ平面上の点ＴＰ１〜ＴＰ１１及びＢＰ１〜ＢＰ１１は、次式に従ってＺＸ平面の座標（Ｚ、Ｘ）に変換される。
【００４８】
（式１）Ｚ＝(Ｃｈ)／(ＴＡＮ(Ｔｒ＋(ｙ−Ｉｈ／２)×ＰＹｒ))
（式２）Ｘ＝ｘ×ＴＡＮ((Ｚ-Ｉｗ／２)×ＰＸｒ)
上端点ＴＰ１〜ＴＰ１１、下端点ＢＰ１〜ＢＰ１１の変換後の点を、上端点の座標変換点ＲＴ１〜ＲＴ１１、下端点の座標変換点ＲＢ１〜ＲＢ１１とする。
【００４９】
物体属性判定部１０７は、上端点の座標変換点ＲＴ１〜ＲＴ１１、下端点の座標変換点ＲＢ１〜ＲＢ１１が、規定のＺＸ平面を分割して設定した領域のうちどの領域に位置するかの判定を行う（図７参照）。ここで、車両の上下動に伴いカメラ１０１の撮像映像も上下に動き、座標変換点が位置する領域も変動してしまう可能性がある。この影響を避けるため、ＺＸ平面を分割して設定する領域はメーターオーダーで設定することが望ましい。本実施例では、ｘ軸方向は、−５．２５ｍ＞ｘ、−５．２５≦ｘ＜−３．５ｍ、−３．５ｍ≦ｘ＜−１．７５ｍ、−１．７５ｍ≦ｘ＜０ｍ、０ｍ≦ｘ＜１．７５ｍ、１．７５ｍ≦ｘ＜３．５ｍ、３．５ｍ≦ｘ＜５．２５ｍ、５．２５ｍ≦ｘ、として８分割し、ｚ軸方向は、０≦ｚ＜１０ｍ、１０ｍ≦ｚ＜２０ｍ、２０ｍ≦ｚ＜３０ｍ、３０ｍ≦ｚ＜４０ｍ、４０ｍ≦ｚ＜５０ｍとして５分割して、領域１１〜領域１５、領域２１〜領域２５、領域３１〜領域３５、領域４１〜領域４５、領域５１〜領域５５、領域６１〜領域６５、領域７１〜領域７５、領域８１〜領域８５を設定している。また、領域１１〜領域１５を領域１０とし、領域２１〜領域２５を領域２０とし、領域３１〜領域３５を領域３０とし、領域４１〜領域４５を領域４０とし、領域５１〜領域５５を領域５０とし、領域６１〜領域６５を領域６０とし、領域７１〜領域７５を領域７０とし、領域８１〜領域８５を領域８０としている。
【００５０】
そして、ｘｙ平面の同一の縦方向領域における上端点の座標変換点と上端点と同一のグループの下端点の座標変換点が規定のＺＸ平面の同一の領域に位置すれば、上端点と下端点が路面上にある、すなわち路面上の平面物であると判定する。また、上端点の座標変換点が規定のＺＸ平面外に位置し、上端点と同一のグループの下端点の座標変換点が規定のＺＸ平面の領域に位置すれば、下端点のみ路面上にある、すなわち立体物であると判定する。ここで、走路境界を検出するために、各領域に設定したカウンタのうち下端点の座標変換点が位置する領域のカウンタのカウンタ値を＋１加算し、下端点の位置情報分布を算出する。
【００５１】
例えば、本実施例では、上端点ＴＰ１〜ＴＰ５の座標変換点ＲＴ１〜ＲＴ５は図７に示す規定のＺＸ平面外に投影されるため、上端点ＴＰ１〜ＴＰ５を含むグループは立体物であると判定され、上端点ＴＰ１〜ＴＰ５を含むエッジはｘｙ平面上で立体物ＯＢ１〜ＯＢ５として判定される。また上端点ＴＰ６〜ＴＰ１１の座標変換点ＲＴ６〜ＲＴ１１は下端点ＢＰ６〜ＢＰ１１の座標変換点ＲＢ６〜ＲＢ１１と同じ領域に位置するため、上端点ＴＰ６〜ＴＰ１１を含むグループは路面上に位置する物であると判定される。ここで、走路境界を検出するために、下端点の座標変換点ＲＢ１〜ＲＢ１１が位置する領域のカウンタのカウンタ値を＋１加算する。
【００５２】
そして、図８に示すように、得られた下端点の座標変換点の位置分布から、走路境界線が存在する可能性が高い領域を抽出する。すなわち、得られた下端点の座標変換点の位置分布において、同じｘ軸領域で複数のｚ軸領域にカウンタ値が存在すれば、自車両前方に走路境界が車両に沿って直線状に存在すると推定できるため、カウンタ値がある領域を走路境界領域として抽出する。例えば、図８では、ｘ軸が同じ範囲の領域３０において、複数のｚ軸領域（下端点ＲＢ１、ＲＢ４、ＲＢ５が位置する領域）にカウンタ値が存在するため、これらの領域を走路境界領域として抽出する。領域５０、領域８０についても同様である。
【００５３】
そして、抽出した領域に走路境界を示す直線が存在するかどうかの判定を行う（図８参照）。すなわち、抽出した領域に存在する下端点の座標変換点に基づいて、ｘｙ座標系での回帰分析を行い、下端点を通る直線の傾きを算出する。例えば、本実施例の領域３０では、領域３０に存在する下端点の座標変換点ＲＢ１、ＲＢ４、ＲＢ５に対応するｘｙ座標における下端点ＢＰ１、ＢＰ４、ＢＰ５の座標位置からｘｙ座標系での回帰分析を行い、下端点ＢＰ１、ＢＰ４、ＢＰ５を通る直線の傾きａ３を算出する。同様に、領域５０、領域８０に位置する下端点の座標変換点に対応した直線の傾きａ５、ａ８を算出する。そして、算出した直線の傾きが所定の範囲内に入っていれば、抽出した領域内に走路境界を示す直線が存在すると判定する。すなわち、下端点の座標変換点が位置するｘ軸領域の左端座標と各Ｚ軸領域の代表座標（例えば中心座標）を座標とする点（例えば図８のＰＬ１〜ＰＬ５）をｘｙ座標系に変換して回帰分析して算出した直線の傾きＴｎ０ａ１と、下端点の座標変換点が位置するｘ軸領域の右端座標と各Ｚ軸領域の代表座標（例えば中心座標）を座標とする点（例えば図８のＰＲ１〜ＰＲ５）をｘｙ座標系に変換して回帰分析して算出した直線の傾きＴｎ０ａ２とで規定される傾きの範囲内に、下端点に基づき算出された直線の傾きａｎが入っている場合には、抽出した領域内に走路境界を示す直線Ｌｎが存在するとの判定を行う。
【００５４】
例えば、本実施例の領域３０においては、座標（ｘ、ｚ）＝（−３．５、５）の点ＰＬ１、座標（ｘ、ｚ）＝（−３．５、１５）の点ＰＬ２、座標（ｘ、ｚ）＝（−３．５、２５）の点ＰＬ３、座標（ｘ、ｚ）＝（−３．５、３５）の点ＰＬ４、座標（ｘ、ｚ）＝（−３．５、４５）の点ＰＬ５をｘｙ座標に変換して回帰分析を行い算出した各点を結ぶ直線の傾きＴ３０ａ１と、座標（ｘ、ｚ）＝（−１．７５、５）の点ＰＲ１、座標（ｘ、ｚ）＝（−１．７５、１５）の点ＰＲ２、座標（ｘ、ｚ）＝（−１．７５、２５）の点ＰＲ３、座標（ｘ、ｚ）＝（−１．７５、３５）の点ＰＲ４、座標（ｘ、ｚ）＝（−１．７５、４５）の点ＰＲ５をｘｙ座標に変換して回帰分析を行い算出した各点を結ぶ直線の傾きＴ３０ａ２に対し、下端点の座標変換点ＲＢ１、ＲＢ４、ＲＢ５に対応するｘｙ平面上の下端点ＢＰ１、ＢＰ４、ＢＰ５を結ぶ直線の傾きａ３が、Ｔ３０ａ１とＴ３０ａ２で規定される範囲内に存在するため、下端点ＢＰ１、ＢＰ４、ＢＰ５を結ぶ直線は走路境界を示す直線Ｌ３であると判定される(図９参照)。同様にして、領域５０では、下端点の座標変換点ＲＢ６、ＲＢ７に対応するｘｙ平面上の下端点ＢＰ６とＢＰ７を結ぶ直線は走路境界を示す直線Ｌ５であると判定され、領域８０では、下端点の座標変換点ＲＢ８〜ＲＢ１１に対応するｘｙ平面上の下端点ＢＰ８〜ＢＰ１１を結ぶ直線は走路境界を示す直線Ｌ８であると判定される。
【００５５】
そして、図９に示すように、走路境界で区切られた各領域において、検出された立体物の画像の水平方向位置と速度の関係を示すグラフを算出する。このグラフでは、画像中央より左側に位置する立体物、例えば外壁のような背景は、画像の右側に位置するほど自車よりも遠い位置にあるため、画素の速度は遅くなる。つまり、縦軸に速度（左に移動する速度をプラス、右に移動する速度をマイナス）、横軸に画像のｘ座標（画像左端を原点）に設定すると、背景のような静止物であれば、画像の左半分においては、速度とｘ座標の関係は、右下がりの直線となる。一方、右下がりの直線関係とならない座標がある場合は、領域内に静止物でないもの、すなわち移動体が存在する可能性がある。この場合、図９に示すように、背景の速度（左向きの速度）とは逆向きの速度（右向きの速度）を有する座標が検出された場合は、背景とは逆方向に移動する移動体が存在すると判定する。また、背景よりも速い速度を有する座標が検出されれば、移動体が存在すると判定する。
【００５６】
例えば、本実施例では、領域３０、領域５０、領域８０で検出された走路境界に基づいて、走路境界Ｌ３の左側、すなわち、領域１０、領域２０、領域３０の左側の一部を区画ａと設定し、走路境界Ｌ３と走路境界Ｌ５との間、すなわち、領域３０の右側の一部、領域４０、領域５０の左側の一部を区画ｂと設定し、走路境界Ｌ５と走路境界Ｌ８との間、すなわち、領域５０の右側の一部、領域６０、領域７０、領域８０の左側の一部を区画ｃと設定し、走路境界Ｌ８の右側、すなわち、領域８０の右側の一部を区画ｄと設定し、区画ｂに存在する立体物ＯＢ１〜ＯＢ５の水平方向位置と速度の関係から、ＯＢ１、ＯＢ４、ＯＢ５を静止している立体物（ここでは外壁）と判定し、右へ移動するＯＢ２、ＯＢ３を移動体（ここでは歩行者）と判定する。
【００５７】
また、画像右側に存在する立体物においても、左側と同様な方法で、速度（左に移動する速度をプラス、右に移動する速度をマイナス）と画像のｘ座標（画像右端を原点）の関係を求め、右上がりの直線関係とならない場合には、領域内に立体物が存在する可能性が高いと判断し、背景の速度と逆向きの速度が検出されれば、背景とは逆方向に移動する移動体、例えば、画像右側から左側に移動する歩行者の検出を行うことができる。
【００５８】
さらに、車両挙動（車両の進行方向）を利用することにより、上述したように撮像画像の左右において別々に移動体の検出が必要か、あるいは撮像画像全体で移動体の検出が可能かを判断することも可能となる。例えば、車両を右へ操舵している場合には、前方画像の背景に該当する領域は、左側へ移動する速度のみが検出されるため、上述したように撮影画像左右でそれぞれ移動体の検出を行わずに撮像画像全体で一括して移動体の検出を行うことができる。車両を左へ操舵している場合も同様である。
【００５９】
ここで、前述したように移動体の判定は、背景に該当する立体物と移動体の水平方向位置と速度を比較して行うため、例えば歩行者に該当する立体物しか検出できず、背景に該当する外壁等の立体物が抽出できない場合は、移動体の判定を行うことができない。この場合は、次回の検出で再度立体物と判定された際に、その速度変化から移動体であるか否かの判定を行う（後述）。
【００６０】
図１０は、本実施例における物体検出装置１０の処理を示すフローチャートである。
この処理はイグニションスイッチ（図示省略）がオンされると起動されるプログラムとして実行される。
【００６１】
ステップＳ１０１では、カメラ１０１で撮像され画像一時記録部１０２に記録された自車両前方の画像が所定の周期で特徴点抽出部１０３に出力される。この後に、フローはステップＳ１０２へ移行する。
【００６２】
ステップＳ１０２では、特徴点抽出部１０３が画像に対してエッジ抽出処理を行い、撮像画像内に存在する物体の輪郭をエッジ画像として抽出するとともにエッジ画像の正規化を行う。この後に、フローはステップＳ１０３へ移行する。
【００６３】
ステップＳ１０３では、移動情報算出部１０５がエッジの速度を算出し、算出した速度を所定の階調で表した速度画像を算出する。この後に、フローはステップＳ１０４へ移行する。
【００６４】
ステップＳ１０４では、グループ化部１０６が算出した速度画像上に物体検出用の短冊領域を設定する。この後に、フローはステップＳ１０５へ移行する。
【００６５】
ステップＳ１０５では、グループ化部１０６が各短冊領域内に速度を持った画素があるかどうかを下から上に向かって調べる。速度を持った画素がある場合、グループ化部１０６がそれらの画素は同一の物体を表しているものとしてグループ化を行う。この後に、フローはステップＳ１０６へ移行する。
【００６６】
ステップＳ１０６では、各短冊領域内におけるグループ毎において、最も上に位置する画素の中心座標を上端点に、最も下に位置する画素の中心座標を下端点に設定する。この後に、フローはステップＳ１０７へ移行する。
【００６７】
ステップＳ１０７では、座標変換部１０４が、（式１）、（式２）を用いて、検出した上端点と下端点の座標をＺＸ平面へ座標変換する。この後に、フローはステップＳ１０８へ移行する。
【００６８】
ステップＳ１０８では、物体属性判定部１０７が、上端点の座標変換点と上端点と同じグループの下端点の座標変換点の位置がｘ軸範囲とｚ軸範囲を規定した規定のＺＸ平面のどの領域に該当するかを判断し、上端点の座標変換点と上端点と同じグループの下端点の座標変換点の双方が規定のＺＸ平面の同一の領域に位置する場合は、上端点、下端点を含む物体を平面物であると判定し、上端点と同じグループの下端点の座標変換点のみが規定のＺＸ平面に位置する場合は、上端点、下端点を含む物体を立体物であると判定する。また、下端点が位置する領域のカウンタのカウンタ値を＋１加算する。この後に、フローはステップＳ１０９に進む。
【００６９】
ステップＳ１０９では、物体属性判定部１０７により、検出した全ての上端点、下端点について、上端点、下端点を含む物体が平面物であるか立体物であるかの判定（以下、物体の属性判定と呼ぶ）が行われたかどうかの判定が行われる。検出した全ての上端点、下端点について物体の属性判定が行われた場合は、ステップＳ１１０に進む。一方、検出した全ての上端点、下端点について物体の属性判定が行われていない場合は、ステップＳ１０５に戻る。
【００７０】
ステップＳ１１０では、物体属性判定部１０７により、ＺＸ平面における下端点の座標変換点の位置分布から、同じｘ軸領域において、複数のｚ軸領域にカウンタ値が存在する領域が、走路境界線が存在する可能性が高い領域として抽出される。この後に、フローはステップＳ１１１へ進む。
【００７１】
ステップＳ１１１では、物体属性判定部１０７により、抽出された領域内に存在する下端点の座標変換点に対応するｘｙ平面の下端点についてｘｙ座標系での回帰分析が行われ、下端点を結ぶ直線の傾きが算出される。この後に、フローはステップＳ１１２へ進む。
【００７２】
ステップＳ１１２では、物体属性判定部１０７により、ステップＳ１１１で算出した直線の傾きが、下端点が位置する領域において、ｘ軸領域の左端座標と各ｚ軸領域の代表座標を座標とする点（図８のＰＬ１〜ＰＬ５）を結ぶ直線およびｘ軸領域の右端座標と各ｚ軸領域の代表座標を座標とする点（図８のＰＲ１〜ＰＲ５）を結ぶ直線のｘｙ座標系における傾きの範囲にあれば、抽出した領域に走路境界を示す直線が存在すると判定され、ステップＳ１１１で算出した直線は走路境界を示す直線として検出される。この後に、フローはステップＳ１１３へ進む。
【００７３】
ステップＳ１１３では、物体属性判定部１０７において、抽出された領域において、全ての走路境界を示す直線が検出されたか否かの判定を行う。全ての走路境界を示す直線が検出された場合は、ステップＳ１１４へ進む。一方、全ての走路境界を示す直線が検出されていない場合は、ステップＳ１１０に戻る。
【００７４】
ステップＳ１１４では、物体属性判定部１０７において、走路境界で区切られた各区画に対し、各区画内に存在する立体物（外壁、歩行者）間の速度とｘ座標の関係を算出し、背景と逆方向の速度が検出された立体物がある場合には、自車両に近づく移動体が存在すると判定し、フローはステップＳ１１６に進む。一方、背景と逆方向の速度が検出された物体がない場合には、移動体候補が存在する可能性があると判定し、ステップＳ１１５に進む。
【００７５】
ステップＳ１１５では、物体属性判定部１０７において、移動体候補が移動体であるかどうかの判定を行う。移動体候補が存在すると判断された区画に、前回も移動体候補が存在すれば、前回と今回の速度を比較する。移動体候補が静止物である場合は、自車両の前進に従い移動体候補が自車両に接近し、移動体候補に対応する画素の移動速度が速くなる。このため、前回よりも下端点の座標変換点の速度が速くなっている場合には、移動体は存在しないと判定し、前回よりも下端点の座標変換点の速度が速くなっていない場合には、移動体が存在すると判定する。この後に、フローはステップＳ１１６に進む。
【００７６】
ステップＳ１１６では、走路境界で区切られたすべての区画において、移動体が検出されたか否かの判断を行う。全ての移動体が検出された場合には、フローはステップＳ１１７へ進む。一方、全ての移動体が検出されていない場合は、フローはステップＳ１１４に戻る。
【００７７】
ステップＳ１１７では、自車両のイグニションスイッチがオフされたか否かの判定が行われる。イグニションスイッチがオフされていない場合には、ステップＳ１０１へ戻って処理を繰り返す。一方、イグニションスイッチがオフされた場合には、フローはステップＳ１１８へ移行して処理を終了する。
【００７８】
以上説明した本発明の実施の形態の物体検出装置によれば、以下のような作用効果を得ることができる。
【００７９】
自車両前方の画像を撮像するカメラ１０１（撮像部）および、前記カメラ１０１で撮像した画像から特徴点を抽出する特徴点抽出部１０３と、前記特徴点を表す画素の速度情報を算出する移動情報算出部１０５と、前記画素の位置座標を実空間上の３次元における位置座標に変換する座標変換部１０４と、前記画素の前記３次元における前記位置座標および前記画素の前記速度情報に基づいて前記特徴点が移動体であることを判定する物体属性判定部１０７とを備えることとした。
【００８０】
この構成によれば、カメラ１０１で撮像した画像から抽出した特徴点の画像上の移動速度および位置座標に基づいて、特徴点が移動体であることを判定することができる。
【００８１】
また、本発明の実施の形態の物体検出装置によれば、前記物体属性判定部１０７は、前記画素の前記３次元における水平方向の位置座標と前記画素の速度情報との関係において前記画素の速度情報とは異なる速度情報を有する座標がある場合に、前記特徴点が移動体であると判定することとした。
【００８２】
この構成によれば、検出した立体物の画像上の水平方向位置と速度の関係から、移動体の識別を行う。背景となる立体物は自車両から遠ざかるにつれて画像上では横方向に移動し、また画像上の速度は遅くなることから、画像上の水平方向位置と速度は比例（直線）関係にある。一方、背景となる立体物の前に存在する物体では、画像上の水平方向位置と速度に比例関係はない。したがって、自車両の動きの推定や物体までの距離を算出することなく背景の動きを推定し、背景と異なる動きをするものを移動体として背景から分離することができるため、簡単な処理により移動体の検出を高速で行うことができる。
【００８３】
また、本発明の実施の形態の物体検出装置によれば、前記画像の垂直方向に隣接するとともに速度情報が所定の範囲にある前記画素をグループ化するグループ化部１０６を備え、前記物体属性判定部１０７は、前記グループ化部１０６によりグループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記３次元における位置座標に基づいて前記判定を行うこととした。
【００８４】
この構成によれば、カメラ１０１で撮像した画像に基づいて算出した速度画像上に物体検出領域を設定し、各領域において、画像の垂直方向に隣接するとともに移動速度が所定範囲にある点をグループ化し、その最上部（上端）および最下部（下端）を検出する。この最上部および最下部に位置する画素をＺＸ平面に座標変換し、その位置座標に基づいて移動体の判定を行うことで、該判定を効率的に行うことができる。
【００８５】
また、本発明の実施の形態の物体検出装置によれば、前記物体属性判定部１０７は、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記３次元の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合には前記移動体を平面物と判定し、前記最上部に位置する前記画素が前記３次元の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記３次元の前記複数の領域のうちいずれかの領域に位置する場合に前記移動体を立体物と判定することとした。
【００８６】
この構成によれば、最上部に位置する画素（上端点）と最下部に位置する画素（下端点）の位置を、カメラパラメータを用いてＺＸ平面へ座標変換する。路面上に存在する白線や路面マーカーのような平面物は、上端点と下端点ともに路面上に存在するため、ＺＸ平面上へ座標変換された場合、上端点と下端点は規定のＺＸ平面に投影される。これに対して、立体物の下端点は路面上に存在し、上端点は路面上に存在しないため、下端点のみ規定のＺＸ平面に投影され、上端点は規定のＺＸ平面から大きく外れることになる。したがって、単眼カメラの構成であっても、グループ化した領域の上端点と下端点の座標変換結果から、平面物と立体物の判定を行うことができる。
【００８７】
また、本発明の実施の形態の物体検出装置によれば、前記物体属性判定部１０７は、前記画素のうち前記画像の垂直方向において最下部に位置する前記画素の前記３次元における前記位置座標に基づいて前記自車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に前記移動体判定を行うこととした。
【００８８】
この構成によれば、下端点の座標変換点の位置から走路境界の検出が可能であり、検出した走路境界で区切られた区画毎に移動体の検出を行うため、複雑な背景下においても、効率的に移動体の検出を行うことができる。
【００８９】
さらに、本発明の実施の形態の物体検出装置によれば、前記特徴点が物体のエッジであることとした。
【００９０】
この構成によれば、カメラ１０１で撮像した画像から特徴点抽出部１０３により物体のエッジを検出すれば良く、簡単な画像処理で上記判定を行うことができる。
【００９１】
また、以上説明した本発明の実施の形態の物体検出方法によれば、以下のような作用効果を得ることができる。
【００９２】
自車両前方の画像を撮像し、撮像した画像から特徴点を抽出し、抽出した特徴点を表す画素の速度情報を算出し、前記画素の位置座標を実空間上の３次元における位置座標に変換し、前記画素の前記３次元における前記位置座標および前記画素の前記速度情報に基づいて、前記特徴点が移動体であることを判定することとした。
【００９３】
この方法によれば、撮像した画像から抽出した特徴点の画像上の速度情報および位置座標に基づいて、特徴点が移動体であることを判定することができる。
【００９４】
また、本発明の実施の形態の物体検出方法によれば、前記移動体であることの判定は、前記画素の前記３次元における水平方向の位置座標と前記画素の速度情報との関係において前記画素の速度情報とは異なる速度情報を有する座標がある場合に、前記特徴点が移動体であると判定することとした。
【００９５】
この方法によれば、検出した立体物の画像上の水平方向位置と速度の関係から、移動体の識別を行う。背景となる立体物は自車両から遠ざかるにつれて画像上では横方向に移動し、また画像上の速度は遅くなることから、画像上の水平方向位置と速度は比例（直線）関係にある。一方、背景となる立体物の前に存在する物体では、画像上の水平方向位置と速度に比例関係はない。したがって、自車両の動きの推定や物体までの距離を算出することなく背景の動きを推定し、背景と異なる動きをするものを移動体として背景から分離することができるため、簡単な処理により移動体の検出を高速で行うことができる。
【００９６】
また、本発明の実施の形態の物体検出方法によれば、前記画像の垂直方向に隣接するとともに速度情報が所定の範囲にある前記画素をグループ化し、前記移動体であることの判定は、グループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記３次元における位置座標に基づいて行うこととした。
【００９７】
この方法によれば、撮像した画像に基づいて算出した速度画像上に物体検出領域を設定し、各領域において、画像の垂直方向に隣接するとともに移動速度が所定範囲にある点をグループ化し、その最上部（上端）および最下部（下端）を検出する。この最上部および最下部に位置する画素をＺＸ平面に座標変換し、その位置座標に基づいて移動体の判定を行うことで、該判定を効率的に行うことができる。
【００９８】
また、本発明の実施の形態の物体検出方法によれば、前記移動体であることの判定は、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記３次元の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合には前記移動体を平面物と判定し、前記最上部に位置する前記画素が前記３次元の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記３次元の前記複数の領域のうちいずれかの領域に位置する場合に前記移動体を立体物と判定することを含むこととした。
【００９９】
この方法によれば、最上部に位置する画素（上端点）と最下部に位置する画素（下端点）の位置を、カメラパラメータを用いてＺＸ平面へ座標変換する。路面上に存在する白線や路面マーカーのような平面物は、上端点と下端点ともに路面上に存在するため、ＺＸ平面上へ座標変換された場合、上端点と下端点は規定のＺＸ平面に投影される。これに対して、立体物の下端点は路面上に存在し、上端点は路面上に存在しないため、下端点のみ規定のＺＸ平面に投影され、上端点は規定のＺＸ平面から大きく外れることになる。したがって、単眼カメラの構成であっても、グループ化した領域の上端点と下端点の座標変換結果から、平面物と立体物の判定を行うことができる。
【０１００】
また、本発明の実施の形態の物体検出方法によれば、前記移動体であることの判定は、前記画素のうち前記画像の垂直方向において最下部に位置する画素の前記３次元における位置座標に基づいて前記車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に行うこととした。
【０１０１】
この方法によれば、下端点の座標変換点の位置から走路境界の検出が可能であり、検出した走路境界で区切られた区画毎に移動体の検出を行うため、複雑な背景下においても、効率的に移動体の検出を行うことができる。
【０１０２】
さらに、本発明の実施の形態の物体検出方法によれば、前記特徴点が物体のエッジであることとした。
【０１０３】
この方法によれば、撮像した画像から物体のエッジを検出すれば良く、簡単な画像処理で上記判定を行うことができる。
【実施例２】
【０１０４】
本実施例では、例えばエッジ検出の結果に起因して同じ立体物や移動体が速度情報を基に同じ速度でグループ化できない場合でも、平面物と立体物の検出を行う。
【０１０５】
ここでは、図１１に示すように、外壁上に検出されたＰ１１〜Ｐ１１３の内、Ｐ１１〜Ｐ１３とＰ１４〜Ｐ１１３が別々にグループ化され、Ｐ２１〜Ｐ２１３の内、Ｐ２１〜Ｐ２３とＰ２４〜Ｐ２１３が別々にグループ化され、Ｐ３１〜Ｐ３１３の内、Ｐ３１〜Ｐ３３とＰ３４〜Ｐ３１３が別々にグループ化され、Ｐ４１〜Ｐ４１２の内、Ｐ４１、Ｐ４２とＰ４３〜Ｐ４１２が別々にグループ化され、Ｐ５１〜Ｐ５１０の内、Ｐ５１、Ｐ５２とＰ５３〜Ｐ５１０が別々にグループ化された場合について、説明を行う。
【０１０６】
なお、図１に示したブロック図、図２に示した車両へのカメラ１０１の設置例を示す図、図３に示したカメラ１０１による前方の撮像画像を説明する図、図４に示したエッジの正規化の例を示す図、および図５に示した速度画像を説明する図については、第１の実施例と同様のため説明を省略する。また、図８〜図９で説明した、下端点を基に走路境界を検出し、検出した走路境界で区切られた各領域毎に立体物の水平方向位置と速度の関係から、移動体を検出する方法については、第１の実施例における処理と同様のため説明を省略する。
【０１０７】
まず、算出した速度画像に物体を検出するための領域を設定する。すなわち、図１１に示すように、速度画像上に短冊状の複数の領域を設定し、速度画像を分割する。本実施例では、各領域毎に画像下端から上端に速度を持った画素を順に走査して検出し、検出した画素を前述の（式１）、（式２）に基づいてＺＸ平面へ座標変換し、座標変換の結果が図７に示す規定のＺＸ平面内に位置するか否かを判定する。座標変換の結果が規定のＺＸ平面内に位置すれば、平面物の候補点と判定する。一方、規定のＺＸ平面内に位置しなければ、立体物の候補点として判定する。なお、規定のＺＸ平面は第１の実施例で説明した領域と同じ領域とし、領域の設定方法については説明を省略する。例えば本実施例では、Ｐ１１〜Ｐ１３は規定のＺＸ平面内の同一の領域に位置して平面物の候補点と判定され、Ｐ１４〜Ｐ１１３は規定のＺＸ平面内に位置しないため、立体物候補点と判定される。同様に、Ｐ２１〜Ｐ２３、Ｐ３１〜Ｐ３３、Ｐ４１、Ｐ４２、Ｐ５１、Ｐ５２、Ｐ６１〜Ｐ６４、Ｐ７１〜Ｐ７４、Ｐ８１、Ｐ８２、Ｐ９１〜Ｐ９３、Ｐ１０１、Ｐ１０２、Ｐ１１１〜Ｐ１１３は平面物候補点と判定され、Ｐ２４〜Ｐ２１３、Ｐ３４〜Ｐ３１３、Ｐ４３〜Ｐ４１２、Ｐ５３〜Ｐ５１０は立体物候補点と判定される。
【０１０８】
次に平面物候補点と立体物候補点の判定結果に基づき、立体物の判定を行う。すなわち、平面物候補点であると判定された点と立体物候補点であると判定された点が、縦方向に連続して存在する場合は、立体物の内、路面近くに存在する部分が誤って平面物候補点であると判定されたものと推定できるため、図１２に示すように、平面物候補点と立体物候補点が縦方向に連続して存在する物体を立体物として判定する。例えば、本実施例では、平面物候補点Ｐ１１〜Ｐ１３と立体物候補点Ｐ１４〜Ｐ１１３が縦方向に連続しているため、Ｐ１１〜Ｐ１１３を立体物ＯＢ１として判定する。同様に、Ｐ２１〜Ｐ２１３を立体物ＯＢ２、Ｐ３１〜Ｐ３１３を立体物ＯＢ３、Ｐ４１〜Ｐ４１２を立体物ＯＢ４、Ｐ５１〜Ｐ５１０を立体物ＯＢ５として判定する。
【０１０９】
さらに、図１２に示すように、平面物および立体物と判定された点のうち、下端点を抽出し、第１の実施例と同様に下端点のＺＸ平面への座標変換点が位置するＺＸ平面の領域のカウンタのカウンタ値を＋１加算して、下端点の位置分布を算出する。例えば、本実施例では、Ｐ１１、Ｐ２１、Ｐ３１、Ｐ４１、Ｐ５１、Ｐ６１、Ｐ７１、Ｐ８１、Ｐ９１、Ｐ１０１、Ｐ１１１を下端点として検出し、図８に示す各下端点の座標変換点ＲＢ１〜ＲＢ１１が位置する領域のカウンタのカウンタ値を＋１加算する。以下、第１の実施例と同様の操作を行うことで、走路境界と立体物、立体物中の移動体の検出を行うことができる。
【０１１０】
図１３は、本実施例における物体検出装置１０の処理を示すフローチャートである。図１３に示す処理はイグニションスイッチがオンされると、起動されるプログラムとして実行される。図１３においては、図１０に示す第１の実施例における処理と同一の処理内容については、同じステップ番号を付与し、以下相違点を中心に説明する。
【０１１１】
ステップＳ１１８では、ステップＳ１０４にて設定した物体検出用の短冊領域内において画像下端から上端に向かって走査を行い、速度を持つ画素の座標を（式１）、（式２）を用いてＺＸ平面上へ座標変換する。この後に、フローはステップＳ１１９へ移行する。
【０１１２】
ステップＳ１１９では、画素の座標変換点が規定のＺＸ平面内に位置すれば、平面物候補点と判定し、画素の座標変換点が規定のＺＸ平面内に位置しなければ、立体物候補点と判定する。この後に、フローはステップＳ１２０に進む。
【０１１３】
ステップＳ１２０では、速度が算出された画素の全てがＺＸ平面上へ座標変換されて、平面物候補点および立体物候補点の検出が終了したかどうかが判定される。平面物候補点および立体物候補点の検出が終了した場合には、フローはステップＳ１２１に進む。一方、平面物候補点および立体物候補点の検出が終了していない場合は、フローはステップＳ１１８に戻る。
【０１１４】
ステップＳ１２１では、各領域内において、平面物候補点および立体物候補点が縦方向に連続して存在する場合には、平面物候補点および立体物候補点を含む物体を一つの立体物として判定する。この後に、フローはステップＳ１２２に進む。
【０１１５】
ステップＳ１２２では、各領域において、平面物および立体物と判定された点のうち、一番下にある点を下端点として検出し、検出した下端点のＺＸ平面上の座標変換点が位置する領域のカウンタのカウンタ値を＋１加算する。この後に、フローはステップＳ１２３に進む。
【０１１６】
ステップＳ１２３では、各領域において、カウンタ値に基づき各領域の下端点の位置分布情報の算出が終了したかどうかの判定が行われる。各領域の下端点の位置分布情報の算出が終了した場合には、フローはステップＳ１１０へ進む。一方、各領域の下端点の位置分布情報の算出が終了していない場合には、フローはステップＳ１２１へ戻る。
【０１１７】
以降、第１の実施例と同様の処理により、走路境界、立体物、移動体を検出する。
【０１１８】
以上説明した本発明の実施の形態の物体検出装置によれば、第１の実施例の作用効果に加え、以下のような作用効果を得ることができる。
【０１１９】
前記物体属性判定部１０７は、前記画素が前記３次元の前記複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記３次元の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することとした。
【０１２０】
この構成によれば、カメラ１０１で撮像した画像に基づいて算出した速度画像上に物体検出領域を設定し、速度を有する各画素をＺＸ平面へ座標変換した後に、ＺＸ平面における座標変換点の位置座標に基づいて、各画素が平面物候補点か立体物候補点かの判定を行う。ここで、平面物候補点と立体物候補点が画像上の垂直方向に連続して存在する場合には、平面物候補点と立体物候補点を持つ物体を一つの立体物と判定する。この操作により、同じ物体を構成する画素でありながら何らかの影響で同じ速度が算出されない場合でも正確に立体物の判定が可能となる。
【０１２１】
また、以上説明した本発明の実施の形態の物体検出方法によれば、第１の実施例の作用効果に加え、以下のような作用効果を得ることができる。
【０１２２】
前記特徴点が移動体であることの判定は、前記画素が前記３次元の前記複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記３次元の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することを含むこととした。
【０１２３】
この方法によれば、撮像した画像に基づいて算出した速度画像上に物体検出領域を設定し、速度を有する各画素をＺＸ平面へ座標変換した後に、ＺＸ平面における座標変換点の位置座標に基づいて、各画素が平面物候補点か立体物候補点かの判定を行う。ここで、平面物候補点と立体物候補点が画像上の垂直方向に連続して存在する場合には、平面物候補点と立体物候補点を持つ物体を一つの立体物と判定する。この操作により、同じ物体を構成する画素でありながら何らかの影響で同じ速度が算出されない場合でも、正確に立体物の判定が可能となる。
【実施例３】
【０１２４】
本実施例では、走路境界で区切られた区画おいて、立体物の水平方向位置と速度の関係が算出されない場合においても、移動体の検出を行う。
【０１２５】
ここでは、図１４に示すように、外壁と歩行者との間に白線及び駐車車両が存在する場合について、説明を行う。
【０１２６】
なお、図１に示したブロック図、図２に示した車両へのカメラ１０１の設置例を示す図、図４に示したエッジの正規化の例を示す図については、第１の実施例と同様のため説明を省略する。
【０１２７】
まず、撮像画像上に存在するエッジの速度成分を所定の階級値に分類して表した速度画像を生成する。本実施例における速度画像は、図１５に示すように、速度が検出されたエッジの画素を丸型の点で表し、移動速度が速い画素ほど点を大きく示す。また、右へ向かう速度を黒点で表し、左へ向かう速度を白点で表すことによって移動方向を表している。
【０１２８】
図１５においては、自車両の走行路右側の外壁からは画像の右側へ向かう速度が検出され、走行路左側の外壁からは画像の左側へ向かう速度が検出されている。また、走行路左側から右へ移動する歩行者では、画像の右側へ向かう速度が検出され、走行路左側に駐車中の車両からは左側へ向かう速度が検出されている。さらに、自車両の挙動により、走行走路右側の白線からは画像の左側へ向かう速度が検出され、走行走路左側の白線からは画像の右側へ向かう速度が検出されているものとする。
【０１２９】
次に、速度画像に基づき、物体検出を行う。物体を検出するための領域の設定および同一物体と判定するための画素のグループ化方法については実施例１と同様のため、説明は省略する。本実施例では、図１６に示すように、図１５に示す撮像画像において、上端ＴＬ１〜ＴＬ１５および下端ＢＬ１〜ＢＬ１５が検出される。
【０１３０】
次に、ｘｙ平面上で抽出した下端ＢＬ１〜ＢＬ１５および上端ＴＬ１〜ＴＬ１５の中心位置を座標とする下端点ＢＰ１〜ＢＰ１５（図示省略）および上端点ＴＰ１〜ＴＰ１５（図示省略）の位置座標を、規定の面積を備えたＺＸ平面（以下、規定のＺＸ平面と呼ぶ）上の点として３次元の位置座標（実空間上の３次元における位置座標）に変換する。この変換方法は、実施例1と同様のため、説明を省略する。本実施例では、上端点ＴＰ１〜ＴＰ１５、下端点ＢＰ１〜ＢＰ１５の変換後の点を、上端点の座標変換点ＲＴ１〜ＲＴ１５、下端点の座標変換点ＲＢ１〜ＲＢ１５とする。
【０１３１】
次に、上端点及び下端点の座標変換点が規定のＺＸ平面を分割して設定した領域のどの領域に位置するかに基づいて、平面物、立体物の判定を行う。また、走路境界を検出するために、各領域に設定したカウンタのうち、下端点の座標変換点が位置する領域のカウンタ値を加算し、下端点の位置情報分布を算出する。このＺＸ平面の分割方法、平面物と立体部の判定方法、下端点の位置情報分布の算出方法は、実施例1と同様のため、説明は省略する。
【０１３２】
本実施例では、図１７に示すように、上端点ＴＰ１、ＴＰ４、ＴＰ６〜ＴＰ９、Ｔ１３〜ＴＰ１５の座標変換点ＲＴ１、ＲＴ４、ＲＴ６〜ＲＴ９、ＲＴ１３〜ＲＴ１５は、図１７に示す規定のＺＸ平面外に投影されるため、上端点ＴＰ１、ＴＰ４、ＴＰ６〜ＴＰ９、Ｔ１３〜ＴＰ１５を含むグループは立体物であると判定され、上端点ＴＰ１、ＴＰ４、ＴＰ６〜ＴＰ９、Ｔ１３〜ＴＰ１５を含むエッジはｘｙ平面上で立体物ＯＢ１〜ＯＢ９として判定される。また上端点ＴＰ２、ＴＰ３、ＴＰ５、ＴＰ１０〜ＴＰ１２の座標変換点ＲＴ２、ＲＴ３、ＲＴ５、ＲＴ１０〜ＲＴ１２は、下端点ＢＰ２、ＢＰ３、ＢＰ５、ＢＰ１０〜ＢＰ１２の座標変換点ＲＢ２、ＲＢ３、ＲＢ５、ＲＢ１０〜ＲＢ１２と同じ領域に位置するため、上端点ＴＰ２、ＴＰ３、ＴＰ５、ＴＰ１０〜ＴＰ１２を含むグループは路面上に位置する物体であると判定される。ここで、走路境界を検出するために、下端点の座標変換点ＲＢ１〜ＲＢ１５が位置する領域のカウンタのカウンタ値を＋１加算する。
【０１３３】
そして、図１８に示すように、得られた下端点の座標変換点の位置分布から、走路境界線が存在する可能性が高い領域を抽出し、抽出した走路境界を示す直線が存在するかどうかの判定を行う。抽出方法及び直線の存在判定方法は実施例１と同様のため、説明は省略する。本実施例では、領域１０では、下端点の座標変換点ＲＢ１、ＲＢ４、ＲＢ８に対応するｘｙ平面上の下端点ＢＰ１、ＢＰ４、ＢＰ８を結ぶ直線は走路境界を示す直線Ｌ１であると判定され、領域３０では、下端点の座標変換点ＲＢ２、ＲＢ３、ＲＢ５に対応するｘｙ平面上の下端点ＢＰ２、ＢＰ３、ＢＰ５を結ぶ直線は走路境界を示す直線Ｌ３であると判定され、領域６０では、下端点の座標変換点ＲＢ１０、ＲＢ１１、ＲＢ１２に対応するｘｙ平面上の下端点ＢＰ１０、ＢＰ１１、ＢＰ１２を結ぶ直線は走路境界を示す直線Ｌ６であると判定され、領域８０では、下端点ｎ座標変換点ＲＢ１３、ＲＢ１４、ＲＢ１５に対応するｘｙ平面上の下端点ＢＰ１３、ＢＰ１４、ＢＰ１５を結ぶ直線は走路境界を示す直線Ｌ８であると判定される。
【０１３４】
次に、図１９に示すように、走路境界を示す直線のうち、自車両の近傍から遠方に連続して存在する立体物で構成される直線を背景として検出する。一般に、背景は、静止した立体物が自車両近傍から遠方に直線的に並んでおり、近傍の速度が速く、遠方に行くに従い速度が遅くなる、という特徴を備える。したがって、このような特徴を示す走路境界を背景として抽出する。ここで、立体物で構成される走路境界が複数存在する場合には、自車両からより遠方に位置する走路境界を選択する。本実施例では、外壁と路面の交点である走路境界線Ｌ１とＬ８を背景として検出する。
【０１３５】
次に、図１９に示すように、検出した背景の画像位置と速度の関係から、画像上の任意の位置における静止物体の速度を算出する予測式を算出する。背景となる立体物は静止物であるため、背景となる立体物の速度は、画像の各位置における静止物の速度を表している。例えば、立体物ＯＢ１、ＯＢ２、ＯＢ５の速度は、それぞれの画像位置における静止物の速度を表している。したがって、複数の立体物間の画像位置と速度の関係を示す予測式を算出することで、画像上の任意の位置の静止物の速度を求めることができる。本実施例では、画像左側の物体に対しては、立体物ＯＢ１、ＯＢ２、ＯＢ５の画像上のｘｙ座標を説明変数、速度を目的変数として、回帰分析を行い、静止物体の速度の予測式を算出する。同様に、画像右側の物体に対しては、立体物ＯＢ７、ＯＢ８、ＯＢ９の画像上のｘｙ座標を説明変数、速度を目的変数として、回帰分析を行い、静止物体の速度の予測式を算出する。
【０１３６】
次に、図１９に示すように、画像処理により検出された立体物の下端位置での速度情報（速度の値、方向）と、算出した予測式から得られる立体物の下端位置における静止物の速度情報とを比較して速度情報が異なる場合に立体物を移動体として検出する。
【０１３７】
本発明の場合、自車両に向かって来る移動体が移動体としての検出対象となるため、立体物の速度の方向が予測式から算出した静止物体の速度と同じ方向であり、立体物の速度の値と予測式から算出した静止物の速度の値との差が所定値以下であれば、その立体物は自車両に向かって来る移動体ではない静止物であると判定する。
【０１３８】
また、移動体であれば、路面上に存在する可能性が高く背景よりも手前に存在するため、画像上では、立体物の下端は背景の下端よりも下方に存在し、立体物の上端は一般に背景の下端よりも高い位置に存在する。さらに、自車両の方向に向かって来る移動体のうち、立体物の下端位置での速度成分が予測式から算出した静止物と反対方向の速度成分を持つ場合には、確実に自車両の進路方向に向かって来る移動体であるといえる。
【０１３９】
したがって、予測式から算出した速度とは反対向きの速度を持ち、背景の下端位置よりも上端位置が高い立体物という判定条件を加えることによって、移動体であるかどうかの判定だけでなく自車の進路路方向に進む移動体であることを簡易的に判定することができる。
【０１４０】
本実施例では、立体物ＯＢ３、ＯＢ４は、予測式から算出した静止物の速度情報と同等の速度情報を有するため、静止物であると判定する。また、立体物ＯＢ６は、予測式から算出した静止物とは反対向きの速度の方向を持ち、その上端位置が背景（走路境界Ｌ１）の下端位置よりも高い位置にあるため、自車両の進路方向に進む移動体であると判定する。
【０１４１】
図２０は、本実施例における物体検出装置１０の処理を示すフローチャートであり、前述の移動体判定方法のうち、自車両の方向に確実に向かってくる移動体を簡易的に判定するためのものである。図２０に示す処理はイグニションスイッチがオンされると、起動されるプログラムとして実行される。図２０においては、図１０に示す第１の実施例における処理と同一の処理内容については、同じステップ番号を付与し、以下相違点を中心に説明する。
【０１４２】
ステップＳ１３１では、ステップＳ１１２で検出した走路境界直線のうち、車両の近傍から遠方に連続して存在する立体物で構成される直線を背景となる走路境界として検出する。この後に，フローはステップＳ１３２へ移行する。
【０１４３】
ステップＳ１３２では、ステップＳ１３１で検出した背景となる走路境界を構成する立体物の速度情報を目的変数とし、下端点における画像ｘｙ座標を説明変数として、重回帰分析を行うことで、画像上の任意の位置での静止物の速度の予測式を算出する。この後に、フローはステップ１３３に移行する。
【０１４４】
ステップＳ１３３では、ステップＳ１３１で検出した背景となる走路境界の位置と立体物の上端位置とを比較し、画像上において、走路境界の位置よりも立体物の上端位置が上方に存在する場合には、その立体物を移動体候補として検出する。この後に、フローはステップＳ１３４に移行する。
【０１４５】
ステップＳ１３４では、ステップＳ１３３で検出した移動体候補の速度情報と移動体候補位置において予測式から得られる静止物の速度情報とを比較し、速度差の絶対値が所定の範囲内にある場合は、その移動体候補を静止物と判定し、フローはステップＳ１１６に移行する。一方、速度差の絶対値が所定の範囲外である場合ば、その移動体候補を移動体と判定し、フローはステップＳ１３５に移行する。
【０１４６】
ステップＳ１３５では、移動体と判定された立体物の速度の向きと予測式から得られた静止物体の速度の向きが反対であれば、その移動体を自車の進路中心に向かう移動体と判定する。この後に、フローはステップＳ１１６に移行する。
【０１４７】
以降、第１の実施例と同様の処理により、全ての移動体の検出処理を行い、処理を終了する。
【０１４８】
以上説明した本実施の形態の物体検出装置によれば、以下のような作用効果を得ることができる。
【０１４９】
前記物体属性判定部１０７は、前記３次元における前記位置座標と前記画素の速度情報とに基づいて、基準となる静止物および移動体としての判定対象となる立体物を検出し、前記基準となる静止物を構成する前記画素の前記速度情報と、前記移動体としての判定対象となる立体物を構成する前記速度情報とに基づいて、前記移動体としての判定対象となる立体物が移動体であることを判定することとした。
【０１５０】
また、本実施の形態の物体検出装置によれば、前記基準となる静止物は、背景となる立体物であることとした。
【０１５１】
また、本実施の形態の物体検出装置によれば、前記画像の垂直方向に隣接するとともに速度情報が所定の範囲にある前記画素をグループ化するグループ化部１０６を備え、前記物体属性判定部１０７は、前記グループ化部１０６によりグループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記３次元における位置座標を検出し、検出した前記最上部に位置する前記画素が前記３次元の所定の範囲を所定の数に分割して設定した複数の領域外に位置するとともに検出した前記最下部に位置する前記画素が前記３次元の前記複数の領域のうちいずれかの領域に位置する場合にはグループ化した前記画素を立体物と判定し、検出した複数の前記立体物の最下部に位置する前記画素が前記実空間上の３次元における位置座標において直線上に並ぶとともに、複数の前記立体物の前記最下部に位置する前記画素の速度情報が前記直線方向において一定の割合で変化する場合に、前記立体物を背景となる静止物と判定することとした。
【０１５２】
また、本実施の形態の物体検出装置によれば、前記物体属性判定部１０７は、前記背景となる静止物である複数の前記立体物の前記最下部に位置する前記画素の位置座標と速度とに基づいて、前記移動体としての判定対象となる立体物の位置座標における静止物の速度を算出し、算出した該静止物と前記移動体としての判定対象となる立体物との速度情報が異なる場合に、前記移動体としての判定対象となる立体物を移動体と判定することとした。
【０１５３】
この構成によれば、自車の近傍から遠方に連続して存在する静止している立体物は背景であることから、検出した立体物の中から容易に背景を検出することができる。また、静止物である背景は、自車の近傍における速度は大きく、遠方になるに従い速度が小さくなるという特徴を備えるため、検出した背景の画像位置と速度の関係を表す予測式を算出することにより、画像上の任意の位置での静止物の速度情報を予測することができる。したがって、検出した立体物の速度情報と、その立体物の位置で予測式により算出した背景（静止物）の速度情報とを比較することで、立体物が移動体であるか否かを簡単に判定することができる。
【０１５４】
また、この構成によれば、背景と立体物との速度情報の比較に基づいて移動体の検出を行うため、複数の立体物が存在しなくても移動物体の検出が可能になり、より複雑な背景下においても画像を分割することなく一括して移動体の検出を行うことができる。
【０１５５】
また、本実施の形態の物体検出装置によれば、前記物体属性判定部１０７は、前記背景となる静止物である前記立体物とは反対方向の速度を持つとともに、前記背景となる静止物である前記立体物の下端位置よりも高い位置に上端位置がある立体物を移動体と判定することとした。
【０１５６】
この構成によれば、立体物の速度の方向と上端の位置とに基づいて、移動体の検出を簡単に行うことができる。
【０１５７】
また、以上説明した本実施の形態の物体検出方法によれば、以下のような作用効果を得ることができる。
【０１５８】
前記３次元における前記位置座標と前記画素の速度情報とに基づいて、基準となる静止物および移動体としての判定対象となる立体物を検出し、前記基準となる静止物を構成する前記画素の前記速度情報と、前記移動体としての判定対象となる立体物を構成する前記速度情報とに基づいて、前記移動体としての判定対象となる立体物が移動体であることを判定することとした。
【０１５９】
また、本実施の形態の物体検出方法によれば、前記基準となる静止物は、背景となる立体物であることとした。
【０１６０】
また、本実施の形態の物体検出方法によれば、前記画像の垂直方向に隣接するとともに速度情報が所定の範囲にある前記画素をグループ化し、グループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記３次元における位置座標を検出し、検出した前記最上部に位置する前記画素が前記３次元の所定の範囲を所定の数に分割して設定した複数の領域外に位置するとともに検出した前記最下部に位置する前記画素が前記３次元の前記複数の領域のうちいずれかの領域に位置する場合にはグループ化した前記画素を立体物と判定し、検出した複数の前記立体物の最下部に位置する前記画素が前記実空間上の３次元における位置座標において直線上に並ぶとともに、複数の前記立体物の前記最下部に位置する前記画素の速度情報が前記直線方向において一定の割合で変化する場合に、前記立体物を背景となる静止物と判定することとした。
【０１６１】
また、本実施の形態の物体検出方法によれば、前記背景となる静止物である複数の前記立体物の前記最下部に位置する前記画素の位置座標と速度とに基づいて、前記移動体としての判定対象となる立体物の位置座標における静止物の速度を算出し、算出した該静止物と前記移動体としての判定対象となる立体物との速度情報が異なる場合に、前記移動体としての判定対象となる立体物を移動体と判定することとした。
【０１６２】
この方法によれば、自車の近傍から遠方に連続して存在する静止している立体物は背景であることから、検出した立体物の中から容易に背景を検出することができる。また、静止物である背景は、自車の近傍における速度は大きく、遠方になるに従い速度が小さくなるという特徴を備えるため、検出した背景の画像位置と速度の関係を表す予測式を算出することにより、画像上の任意の位置での静止物の速度情報を予測することができる。したがって、検出した立体物の速度情報と、その立体物の位置で予測式により算出した背景（静止物）の速度情報とを比較することで、立体物が移動体であるか否かを簡単に判定することができる。
【０１６３】
また、この方法によれば、背景と立体物との速度情報の比較に基づいて移動体の検出を行うため、複数の立体物が存在しなくても移動物体の検出が可能になり、より複雑な背景下においても画像を分割することなく一括して移動体の検出を行うことができる。
【０１６４】
また、本実施の形態の物体検出方法によれば、前記背景となる静止物である前記立体物とは反対方向の速度を持つとともに、前記背景となる静止物である前記立体物の下端位置よりも高い位置に上端位置がある立体物を移動体と判定することとした。
【０１６５】
この方法によれば、立体物の速度の方向と上端の位置とに基づいて、移動体の検出を簡単に行うことができる。
【実施例４】
【０１６６】
本実施例では、走路境界で区切られた区画おいて、立体物の水平方向位置と速度の関係が算出されない場合においても、移動体の検出を行い、移動物体の進路の方向を判定する。
【０１６７】
ここでは、図２１に示すように、外壁と歩行者との間に白線及び駐車車両が存在する場合について、説明を行う。ここで、走行路左側から右へ移動する歩行者の移動速度が自車両の走行に伴う画面の移動速度より遅く、画面上では左側へ向かう速度が検出されているものとして説明を行う。
【０１６８】
なお、図１に示したブロック図、図２に示した車両へのカメラ１０１の設置例を示す図、図４に示したエッジの正規化の例を示す図については、第１の実施例と同様のため説明を省略する。また、図１６〜図１９の各説明図については、実施例３と同様のため、説明を省略する。
【０１６９】
本実施例では、予測式から得られる静止物の速度情報と検出した立体物の速度情報とを比較することにより移動物体を検出し、移動物体の移動方向を判定する。ここで、予測式からから得られる静止物の速度情報と検出した立体物の速度情報が異なり、立体物が反対向きの速度情報を持つ場合については、実施例３で説明したため、説明は省略する。
【０１７０】
図２２に、自車両と自車両周囲の移動体の移動方向の関係を、図２３に、移動体の実空間上での移動方向と画面上での移動方向の関係を示す。ここで、自車両が時刻ｔから時刻ｔ＋１走行する間に画面上の背景が左方向に移動する速度をＶｂとする。
【０１７１】
自車両が走行中に、自車両の進路に直角に速度Ｖｐで近づく移動体Ｐ１の画面上の動きを考える。速度Ｖｐの画面上における速度をＶｍとすると、移動体Ｐ１は、Ｖｍ＞Ｖｂで自車両の進路に近づけば、画面上では右方向に移動するように見え、Ｖｍ＝Ｖｂで自車両の進路に近づけば、画面上では静止しているように見え、Ｖｍ＜Ｖｂで自車両の進路に近づけば、実空間上では右方向に移動しているにもかかわらず画面上では左方向に移動するように見える（図２３の区間Ｄ１）。
【０１７２】
次に、自車両が走行中に、自車両の進行方向に速度Ｖｐで遠ざかる(図２３、２４では背面移動と記載)移動体Ｐ２１の画面上の動きを考える。時刻ｔにおける移動体Ｐ２１の画面上の水平方向位置をｘ（ｔ）、時刻ｔ＋１における移動体Ｐ２１の画面上の水平方向位置をｘ（ｔ＋１）とすると、ｘ（ｔ＋１）−ｘ（ｔ）＞０となる場合は、画面上では右方向に移動するように見え、ｘ（ｔ＋１）−ｘ（ｔ）＝０となる場合は、画面上では静止しているように見え、ｘ（ｔ＋１）−ｘ（ｔ）＜０となる場合は、画面上では左方向に移動するように見える。ここで、移動体Ｐ２１は自車両の進行方向に遠ざかるように移動しているので、画面上の位置変化は通常背景の位置変化より小さくなり、自車両の進行方向に遠ざかる移動体Ｐ２１は、画面上では左方向に移動するように見える（図２３の区間Ｄ２１）。
【０１７３】
次に、自車両が走行中に、停止している立体物Ｐ２の画面上の動きを考える。立体物Ｐ２は、背景と同等の速度を有する。したがって、停止している立体物Ｐ２は画面上では速度Ｖｂで左方向に移動するように見える（図２３の区間Ｄ２）。なお、ここでは実空間上で速度が±Ｖｓ以下である移動体を停止しているものと仮定している。
【０１７４】
次に、自車両が走行中に、自車両の進行方向に速度Ｖｐで近づく移動体Ｐ２２の画面上の動きを考える。時刻ｔにおける移動体Ｐ２２の画面上の水平方向位置をｘ（ｔ）、時刻ｔ＋１における移動体Ｐ２２の画面上の水平方向位置をｘ（ｔ＋１）とすると、ｘ（ｔ＋１）−ｘ（ｔ）＞０となる場合は、画面上では右方向に移動するように見え、ｘ（ｔ＋１）−ｘ（ｔ）＝０となる場合は、画面上では静止しているように見え、ｘ（ｔ＋１）−ｘ（ｔ）＜０となる場合は、画面上では左方向に移動するように見える。ここで、移動体Ｐ１１は自車両の進行方向に近づくように移動しているので、画面上の位置変化は通常背景の位置変化より大きくなり、自車両の進行方向に遠ざかる移動体Ｐ２２は、画面上では左方向に移動するように見える（図２３の区間Ｄ２２）。
【０１７５】
次に、自車両が走行中に、自車両の進路に直角に速度Ｖｐで遠ざかる移動体Ｐ３の画面上の動きを考える。速度Ｖｐの画面上における速度をＶｍとすると、移動体Ｐ３は、画面上では速度Ｖｍ＋Ｖｂで左方向に移動するように見える（図２３の区間Ｄ３）。
【０１７６】
図２４は、本実施例における物体検出装置１０の処理を示すフローチャートである。図２４に示す処理はイグニションスイッチがオンされると、起動されるプログラムとして実行される。図２４においては、図２３に示す実施例１および実施例３における処理と同一の処理内容については、同じステップ番号を付与し、以下相違点を中心に説明する。
【０１７７】
ステップＳ１４１では、ステップＳ１３４で検出した移動体に対して、移動体と判定された立体物の速度情報と予測式から得られた静止物の速度情報とを比較することにより、前述した移動体の移動方向の判定が行われる。
【０１７８】
ステップＳ１４１の詳細を示すフローチャートを図２５に示す。
【０１７９】
ステップＳ１４１１では、検出した移動体の速度Ｖｍの絶対値と予測式から得られた静止物の速度Ｖｂの絶対値との差ｄＶ＝｜Ｖｍ｜−｜Ｖｂ｜に基づいて、フローの分岐が行われる。ｄＶ＞０の場合は、フローはステップＳ１４１２へ移行する。一方、ｄＶ≦０の場合は、フローはステップＳ１４１５へ移行する。
【０１８０】
ステップＳ１４１２では、｜ｄＶ｜が所定値以上であるか否かの判定が行われる。｜ｄＶ｜が所定値以上である場合は、フローはステップＳ１４１３へ移行する。一方、｜ｄＶ｜が所定値未満の場合は、フローはステップＳ１４１４へ移行する。
【０１８１】
ステップＳ１４１３では、移動体は図２３の区間Ｄ３の条件に該当し、移動体は自車両の進路中心から遠ざかると判定される。
【０１８２】
ステップＳ１４１４では、移動体は図２３の区間Ｄ２２の条件に該当し、移動体は自車両の進行方向に近づくと判定される。
【０１８３】
ステップＳ１４１５では、｜ｄＶ｜が所定値以上であるか否かの判定が行われる。｜ｄＶ｜が所定値以上である場合は、フローはステップＳ１４１６へ移行する。一方、｜ｄＶ｜が所定値未満の場合は、フローはステップＳ１４１６へ移行する。
【０１８４】
ステップＳ１４１６では、移動体は図２３の区間Ｄ１の条件に該当し、移動体は自車両の進路中心に徐々に近づくと判定される。
【０１８５】
ステップＳ１４１７では、移動体は図２３の区間Ｄ２１の条件に該当し、移動体は自車両の進行方向に遠ざかると判定される。
【０１８６】
以降，第１の実施例と同様の処理により、全ての移動物体検出処理を行い処理を終了する。
【０１８７】
以上説明した本実施の形態の物体検出装置によれば、以下のような作用効果を得ることができる。
【０１８８】
前記物体属性判定部１０７は、前記背景となる静止物である前記立体物と同じ方向の速度を持つ立体物の実空間上における移動方向を判定することとした。
【０１８９】
この構成によれば、予測式で算出された静止物の速度と検出した移動体の速度差とに基づいて、自車両の進路中心に近づく移動体以外の移動体の移動方向の判定が可能となる。
【０１９０】
また、以上説明した本実施の形態の物体検出方法によれば、以下のような作用効果を得ることができる。
【０１９１】
前記背景となる静止物である前記立体物と同じ方向の速度を持つ立体物の実空間上における移動方向を判定することとした。
【０１９２】
この方法によれば、予測式で算出された静止物の速度と検出した移動体の速度差とに基づいて、自車両の進路中心に近づく移動体以外の移動体の移動方向の判定が可能となる。
【０１９３】
以上のように、本発明によれば、撮像面の水平軸と垂直軸をそれぞれ地表面と平行および垂直に設定したカメラで撮像した画像から平面物と立体物を識別するとともに立体物が移動体であるかどうかの識別も可能であり、簡単なセンサ構成で移動体を検出することができる。
【０１９４】
また、画像の特徴点（エッジ）の画像上における速度と位置座表とに基づいて平面物と立体物の識別を行うため、簡単なアルゴリズムで高速に移動体の検出ができる。
【０１９５】
また、検出した複数の立体物の水平方向位置と速度の関係から移動体を検出するため、車両の動きの推定や物体までの距離を算出する必要がなく、簡単なアルゴリズムで高速に移動体の検出ができる。
【０１９６】
また、座標変換点の位置座標から走路境界を検出し、走路境界で区切られた各区画毎において複数の立体物の水平方向位置と速度の関係を求めることにより、複雑な背景下においても効率的に移動体の検出ができる。
【０１９７】
また、速度の検出精度が不足し、同じ物体を表す特徴点の画素の速度にばらつきがある場合でも、平面物と立体物の検出を精度よく行うことができる。
【０１９８】
また、検出した立体物の速度情報と、その立体物の位置で予測式により算出した背景（静止物）の速度情報とを比較することで、立体物が移動体であるか否かを簡単に判定することができる。
【０１９９】
また、検出した立体物の速度の方向と上端の位置に基づいて、移動体の検出を簡単に行うことができる。
【０２００】
さらに、予測式で算出された静止物の速度と検出した移動体の速度差に基づいて、自車両の進路中心に近づく移動体以外の移動体の移動方向の判定が可能となる。
【０２０１】
以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎず、本発明は実施例の構成にのみ限定されるものではない。したがって本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれることはもちろんである。
【０２０２】
例えば、ブロック図は上記実施例に示すものに限定されるものではなく、同等の機能を備えた構成であれば良い。
【０２０３】
また、カメラの取り付け位置は実施例で述べた位置に限定されるものではなく、カメラの光軸が車両前方正面方向（Ｚ方向）に向き、撮像面の水平軸および垂直軸がそれぞれ路面と平行および垂直となるように設定されていれば良い。
【０２０４】
また、検出したエッジの幅の正規化を行うにあたっては、エッジ幅は３画素に限定されるものではなく、任意の画素数を設定することができる。この場合、その後の処理でエッジの中央部の画素を利用するため、エッジ幅の画素数は奇数個であることが望ましい。
【０２０５】
また、ＺＸ平面を分割して設定する領域の数は上記実施例に示すものに限定されるものではなく、任意の数に分割して設定することができる。
【０２０６】
また、ＺＸ平面の縦方向および横方向の範囲は、任意の値に設定することができる。
【０２０７】
また、上記実施例では道路を走行する車両に物体検出装置１０を搭載する例について説明したが、他の移動体に搭載してもよい。
【０２０８】
さらに、上記実施例では、走路境界として、縁石、白線、外壁と路面との接点の例について説明したが、これに限定されず、例えば、ガードレール、駐車車両と路面との境界、路面と路面以外の領域（田、畑など）との境界を検出してもよい。
【図面の簡単な説明】
【０２０９】
【図１】物体検出装置の一実施の形態の構成例を示すブロック図である。
【図２】カメラ１０１の車両への設置例を示す図である。
【図３】カメラ１０１で撮像した画像の例を示す図である。
【図４】抽出したエッジを正規化して、エッジ画像を得るために行う各処理の例を示す図である。
【図５】速度画像の例を示す図である。
【図６】速度画像上に物体検出用領域を設定し、各物体検出用領域において下端点と同じ速度を持つ画素をグループ化し、グループ化した領域の上端点の位置を検出した例を示す図である。
【図７】速度画像上で検出した上端点と下端点をＺＸ平面上に座標変換し、物体が平面物か立体物かの判定を行う例を示す図である。
【図８】下端点の座標変換点のＺＸ平面上の位置分布より走路境界線を検出する例を示す図である。
【図９】検出した走路境界で区切られた領域内で検出した立体物の画像の水平方向位置と速度の関係から移動体を検出する場合の具体例を示す図である。
【図１０】物体検出装置１０の第１の実施例の処理を示すフローチャートである。
【図１１】速度画像上に物体検出用領域を設定し、各物体検出用領域において速度を持った画素をＺＸ平面上へ座標変換することで、平面物候補点か立体物候補点かを判定する例を示す図である。
【図１２】検出した平面物候補点と立体物候補点の並び方から立体物の判定を行う例を示す図である。
【図１３】物体検出装置１０の第２の実施例の処理を示すフローチャートである。
【図１４】実施例３において、カメラ１０１で撮像した画像の例を示す図である。
【図１５】速度画像の例を示す図である。
【図１６】速度画像上に物体検出用領域を設定し、各物体検出用領域において下端点と同じ速度を持つ画素をグループ化し、グループ化した領域の上端点の位置を検出した例を示す図である。
【図１７】速度画像上で検出した上端点と下端点をＺＸ平面上に座標変換し、物体が平面物か立体物かの判定を行う例を示す図である。
【図１８】下端点の座標変換点のＺＸ平面上の位置分布より走路境界線を検出する例を示す図である。
【図１９】検出した走路境界から背景を検出し、背景となる立体物の位置座標と速度との関係から画像上の任意の位置における静止物の速度を算出する予測式を決定し、この予測式による速度情報と検出した立体物の速度情報とを比較することにより移動体の検出を行う説明図である。
【図２０】実施例３の処理のフローチャートである。
【図２１】速度画像の例を示す図である。
【図２２】自車両と自車両周囲の移動体の移動方向の関係を示す図である。
【図２３】移動体の実空間上での移動方向と画面上での移動方向の関係を示す図である．
【図２４】実施例４における処理のフローチャートである。
【図２５】実施例４における移動体の移動方向の判定の処理のフローチャートである。
【符号の説明】
【０２１０】
１０ 物体検出装置
１００ 制御部
１０１ カメラ（撮像部）
１０２ 画像一時記録部
１０３ 特徴点抽出部
１０４ 座標変換部
１０５ 移動情報算出部
１０６ グループ化部
１０７ 物体属性判定部
【技術分野】
【０００１】
本発明は、物体検出装置および物体検出方法に関するものである。
【背景技術】
【０００２】
従来の物体検出装置は例えば下記特許文献１に記載されている。
下記従来技術では、移動体を検出するために、車載カメラの撮像画像からオプティカルフロー(画像上における動きを示すベクトル)を算出する。また車両の車輪の回転速度とハンドルの舵角から車両の動きを推定する。さらに、自車両前方に存在する物体までの距離を算出して自車両前方の空間をモデル化した空間モデルを生成する。そして、算出したオプティカルフローと車両の動き、空間モデルとに基づいて、撮像画像から移動体を検出している。
【特許文献１】特開２００４−５６７６３号
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記従来技術では、自車両前方の空間モデルを生成し、この空間モデルと自車両の動きに基づいて撮像画像から移動体を検出している。このため自車両の動き推定や物体までの距離を算出するための処理時間を要するため、移動体を高速に検出することが難しいという問題が生じていた。
【課題を解決するための手段】
【０００４】
本発明は、撮像手段で撮像した自車両前方の画像から特徴点を抽出し、抽出した特徴点を表す各画素の速度情報を算出するとともに、算出した各画素の位置座標を３次元位置における位置座標に変換し、変換後の各画素の位置座標と速度情報に基づいて移動体であることを判定する。
【発明の効果】
【０００５】
本発明によれば、撮像した画像の特徴点を表す画素の速度情報と、各画素の３次元位置に変換した位置座標から移動体を判定するようにしたので、自車両の動き推定や物体までの距離を算出することなく移動体を高速に検出することができる。
【発明を実施するための最良の形態】
【０００６】
以下、この発明の実施の形態を図面に基づいて説明する。
【実施例１】
【０００７】
図１は、第１の実施例における物体検出装置の構成例を示すブロック図である。
【０００８】
物体検出装置１０は車両に搭載され、車両前方を撮像する撮像部であるカメラ１０１および、カメラ１０１で撮像した画像を一時的に記録する画像一時記録部１０２と、画像一時記録部１０２に記憶された画像を画像処理することで特徴点を抽出する特徴点抽出部１０３と、特徴点抽出部１０３により抽出された特徴点の位置座標を３次元画像上の位置座標に変換する座標変換部１０４と、特徴点抽出部１０３により抽出された特徴点の画像上における速度および方向を移動情報として算出する移動情報算出部１０５と、移動情報算出部１０５により算出された特徴点の速度値に基づいて特徴点のグループ化を行うグループ化部１０６と、座標変換部１０４により変換された３次元座標の情報および移動情報算出部１０５により算出された特徴点の移動情報およびグループ化部１０６によりグループ化された特徴点のグループ化情報に基づいて特徴点が平面物であるか立体物であるかを判定するとともに、特徴点が立体物である場合には移動体であるかどうかを判定する物体属性判定部１０７とを有する制御部１００を備えている。
【０００９】
カメラ１０１は、例えばＣＣＤやＣＭＯＳなどの撮像素子を有したカメラであり、連続的に車両前方を撮像してフレーム毎に撮像した画像を画像一時記録部１０２に出力する。カメラ１０１で撮像された画像は、画像一時記録部１０２に一時的に記録される。ここで、図２に示すように、カメラ１０１は車両の室内上部前方に設置され、その光軸ＬＳは車両前方正面方向（Ｚ方向）に向き、撮像面の水平軸Ｘ（図示省略）は路面と平行となるように、また撮像面の垂直軸Ｙ（図示省略）は路面と垂直になるように設定されている。
【００１０】
カメラ１０１で撮像した画像（自車両前方の画像）の例を図３に示す。カメラ１０１による撮像画像は、画像左上を原点として左から右へx軸、上から下へy軸とするｘｙ座標系によって表される。なお、図３においては、左右の走路脇に設置された縁石、白線、外壁などの走路の境界線と、左から右へ移動する歩行者が撮像画像に含まれている。
【００１１】
特徴点抽出部１０３は、カメラ１０１で撮像された画像を画像一時記録部１０２から読み込み、読み込んだ撮像画像を所定の閾値を用いて２値化することによって、画像内に存在する物体のエッジを抽出する。図４（ａ）に、抽出した垂直方向のエッジ例を示す。次に、抽出した各エッジに対して、細線化処理を行ってエッジ幅を絞り、エッジの中心を正確に設定する（図４（ｂ）参照）。さらに、細線化されたエッジのエッジ幅が一定の幅となるように、例えば３画素分の幅となるように、エッジを水平方向に拡張する（図４（ｃ）参照）。この操作により、抽出したエッジが正規化され、各エッジが均一の幅を持つエッジ画像を得ることができる。
【００１２】
移動情報算出部１０５は、エッジに該当する画素の画素カウンタのカウンタ値を更新する。ここで、画素カウンタとは、各画素毎に設定されたカウンタであり、画素がエッジに該当する場合に画素カウンタのカウンタ値が＋１加算され、画素がエッジに該当しない場合は画素カウンタのカウンタ値が０となって初期化されるカウンタである。このカウンタ値の更新処理を、カメラ１０１で連続的に撮像されるフレーム毎に行う。この操作により、エッジに該当する時間が長い画素は画素カウンタのカウンタ値が大きくなり、エッジに該当する時間が短い画素は画素カウンタのカウンタ値が小さくなる。
【００１３】
この画素カウンタのカウンタ値の変化は、エッジの移動方向と移動量を表していることになるため、このカウンタ値から、撮像画像上におけるエッジの移動方向と移動速度とを算出することができる。以下、詳細に説明する。
【００１４】
図４は、上述した抽出したエッジを正規化して、エッジ画像を得るために行う処理の具体例を示す図である。
【００１５】
まず、エッジ画像に対して２値化処理を行う。２値化処理とはエッジの検出された位置の画素を１とし、エッジの検出されなかった位置の画素を０とする処理である。２値化処理によって図４（ａ）に示すような２値化画像を生成する。
【００１６】
次に、生成された２値化画像に対して、細線化処理を行う。細線化処理とは、検出されたエッジのエッジ幅を所定画素幅になるまで縮小する処理である。図４（ｂ）では所定画素幅として１画素になるまでエッジのエッジ幅を細線化している。そして、このようにエッジを所定の画素幅になるまで細線化することによって、エッジの中心となる中心位置を設定している。ここでは一例として１画素に細線化する場合について説明しているが、その他の画素数に細線化してもよい。
【００１７】
次に、細線化されたエッジのエッジ幅を膨張させる膨張処理を行う。膨張処理とは、細線化によって設定された中心位置からエッジの移動方向に向かってエッジ幅を膨張させるとともに、中心位置からエッジの移動方向と反対方向にもエッジ幅を膨張させる処理である。例えば、図４（ｃ）では、エッジの中心位置ｘ０からエッジの移動方向（ｘ軸の正方向）に１画素膨張させるとともに、エッジの中心位置ｘ０からエッジの移動方向と反対方向（ｘ軸の負方向）に１画素膨張させて、エッジ幅を３画素に膨張させている。
【００１８】
このように細線化処理と膨張処理とを行うことによって、抽出したエッジ画像のエッジ幅を、エッジの移動方向に向かって所定の幅に統一して規格化している。
【００１９】
次に、エッジ幅の規格化されたエッジに対してカウントアップ処理を行う。カウントアップ処理とは、エッジが検出された位置のメモリアドレスの値をカウントアップし、エッジが検出されなかった位置のメモリアドレスの値を初期化する処理である。
【００２０】
以下、図４(c)〜(f)に基づいてエッジのカウントアップ処理について説明する。ここでは簡単のためにエッジはｘ軸の正方向に移動するものとして説明する。なお、エッジはｘ軸の負方向やｙ軸方向、あるいは２次元的に移動する場合も同様に説明することができる。
【００２１】
図４（ｃ）に示すように、エッジはあるフレームにおいて位置ｘ０にエッジの中心位置があり、その中心位置からエッジの移動方向に１画素の位置ｘ０＋１と、中心位置からエッジの移動方向と反対方向に１画素の位置ｘ０−１に膨張されている。
【００２２】
このような場合にエッジが検出された位置ｘ０−１、ｘ０、ｘ０＋１のカウント値が１ずつカウントアップされ、エッジが検出されなかった位置のカウント値がリセットされる。 例えば、図４（ｄ）では、時刻ｔにおいて位置ｘ０−１、ｘ０、ｘ０＋１にエッジが検出されているので、それぞれの位置で１ずつカウントアップされて、位置ｘ０＋１のカウント値が１、位置ｘ０のカウント値が３、位置ｘ０−１のカウント値が５になっている。
【００２３】
そして、図４（e）に示すように時刻ｔ＋１でもエッジが移動していないので、位置ｘ０−１、ｘ０、ｘ０＋１の各位置でエッジが検出され、位置ｘ０−１、ｘ０、ｘ０＋１のカウント値をさらに１ずつカウントアップして、位置ｘ０−１のカウント値を２、位置ｘ０のカウント値を４、位置ｘ０＋１のカウント値を６としている。
【００２４】
さらに、図４(f)に示すように時刻ｔ＋２では、エッジがｘ軸の正方向に１画素シフトして位置ｘ０、ｘ０＋１、ｘ０＋２の位置でエッジが検出されている。
したがって、エッジが検出された位置ｘ０、ｘ０＋１、ｘ０＋２のカウント値がカウントアップされ、エッジが検出されなかった位置ｘ０−１のカウント値がリセットされる。
【００２５】
この結果、図４（ｆ）に示すように位置ｘ０＋２のカウント値が１、位置ｘ０＋１のカウント値が３、位置ｘ０のカウント値が５となっている。さらに、エッジが検出されなかった位置ｘ０−１のカウント値はリセットされて０になっている。
【００２６】
このようにして、エッジが検出された位置のカウント値をカウントアップし、エッジの検出されなかった位置のカウント値をリセットしている。
【００２７】
図４では、カウント値を検出する位置として、エッジの中心位置（ｘ０）と、この中心位置からエッジの移動方向へ１画素の位置（ｘ０＋１）と、中心位置からエッジの移動方向と反対方向に１画素の位置（ｘ０−１）の３箇所でカウント値を検出していたが、後述するカウント値の傾きが求められれば、エッジの移動方向に対して２箇所以上であれば何箇所のカウント値を検出してもよい。
【００２８】
また、エッジが移動する速度に比べて、フレームレートが十分に高く設定されていれば、連続するフレーム間において、エッジは同じ位置で複数回検出される。
【００２９】
例えば、図４の例では、位置ｘ０において時刻ｔと時刻ｔ＋１の２回エッジが検出されている。したがって、エッジが検出された位置のカウント値をカウントアップしていくと、そのカウント値はその位置においてエッジが検出されている時間（フレーム数）と等しくなる。特にエッジのカウント値の中で最小のカウント値ｈは、エッジが移動してから何フレームの間、同じ位置にあるかということを表している。
【００３０】
次に、エッジの移動速度、移動方向および位置を算出する。
【００３１】
まずカウント値の移動方向への傾きを算出し、この傾きに基づいて、エッジの移動方向、移動速度および位置を算出する。
【００３２】
例えば、図４（ｅ）の場合では、位置ｘ０−１、ｘ０、ｘ０＋１のカウント値がそれぞれ６、４、２となっている。
【００３３】
したがって、位置ｘ０−１のカウント値６からｘ０＋１のカウント値２を引くことによって、カウント値の傾きをＨ＝（６−２）／２＝２として算出することができる。
【００３４】
これは、
Ｈ＝｛（エッジが位置ｘ０−１に移動してから現在までの時間）−（エッジが位置ｘ０＋１に移動してしまった後の時間）｝／（２画素）
を意味するので、これによりエッジが位置ｘ０のある１画素を通過するのに要した時間（フレーム数）を算出したことになる。
【００３５】
したがって、カウント値の傾きＨはエッジが１画素移動するために何フレームを要したかを求めることになり、このカウント値の傾きＨに基づいてエッジの移動速度１／Ｈを算出することができる。
【００３６】
図４（ｅ）では１画素移動するのに２フレームを要したことになるので、エッジの移動速度は１／２（画素／フレーム）と算出することができる。
【００３７】
同様に、図１１（ｆ）でもＨ＝（５−１）／２＝２となるので、エッジの移動速度は１／２（画素／フレーム）になる。
【００３８】
また、エッジの移動方向は、カウント値の大小によって判断することができる。エッジが移動して新たにエッジが検出された位置のカウント値は１であり、各位置のカウント値の中では最も小さな値となる。
【００３９】
したがって、エッジが移動する方向のカウント値は小さく、エッジが移動する方向と反対方向のカウント値は大きくなるので、これによってエッジの移動方向を判断することができる。
【００４０】
さらに、エッジが移動する速度に比べてフレームレートが十分に高く設定されていれば、検出対象物は等速移動をしていると仮定することができる。また、現在の位置におけるカウント値の中で最小のカウント値ｈは、エッジがその位置で検出されている時間、すなわちエッジが移動してから何フレームの間、同じ位置にあるかということを表している。
これらのことにより、エッジの位置は、エッジの中心位置をｘ０とすると
エッジの位置＝ｘ０＋ｈ／Ｈ
により求めることができる。
【００４１】
例えば図４（ｆ）では、エッジの速度は１／２（画素／フレーム）で、時刻ｔ＋２の時点では1フレーム連続して同じ位置でエッジが検出されているので、時刻ｔ＋２のエッジの位置は
１（フレーム）×｛１／２（画素／フレーム）｝＝０．５画素
だけ位置ｘ０から移動していると算出することができる。
【００４２】
以上から、エッジが検出された位置のカウント値をカウントアップし、カウントアップされたカウント値の傾きに基づいてエッジの移動速度及び移動方向を算出するができる。
【００４３】
次に、撮像画像上に存在するエッジの速度成分を所定の階級値に分類して表した速度画像を生成する。本実施例における速度画像は、図５に示すように、速度が検出されたエッジの画素を丸型の点で表し、移動速度が速い画素ほど点を大きく示す。また、右へ向かう速度を黒点で表し、左へ向かう速度を白点で表すことによって移動方向を表している。図５においては、自車両の走行路右側の縁石および白線からは画像の右側へ向かう速度が検出されており、走行路左側の外壁からは画像の左側へ向かう速度が検出されている。また、走行路左側から右へ移動する歩行者では、画像の右側へ向かう速度が検出されている。
【００４４】
グループ化部１０６は、算出した速度画像から立体物を抽出するために、速度画像を分割する領域を設定する。すなわち、図６に示すように、速度画像上に短冊状の複数の領域を設定し、速度画像を複数の領域で分割する。
【００４５】
次に、各領域毎に、画像の縦方向において同じ速度で連続する画素をグループ化することにより、立体物を検出する。すなわち、画像の下部から上部に向かって各領域を走査し、領域内に速度を持った画素が存在する場合、その画素の上方に隣接する速度を持った画素との速度差を比較し、速度差が閾値Ｔ１以下である場合には、車両に対して同じ速度で移動する物体であると推定できることから、同じ物体であると判定してグループ化を行う。そして、同じ速度でグループ化された画素の上端位置（請求項における最上部）と下端位置（請求項における最下部）を検出する。この処理により、図６における下端ＢＬ１〜ＢＬ１１及び上端ＴＬ１〜ＴＬ１１が検出される。
【００４６】
座標変換部１０４は、ｘｙ平面上で抽出した下端ＢＬ１〜ＢＬ１１および上端ＴＬ１〜ＴＬ１１の中心位置を座標とする下端点ＢＰ１〜ＢＰ１１（図示省略）および上端点ＴＰ１〜ＴＰ１１（図示省略）の位置座標を、規定の面積を備えたＺＸ平面（以下、規定のＺＸ平面と呼ぶ）上の点として３次元の位置座標（実空間上の３次元における位置座標）に変換する。
【００４７】
ここで、各点の座標を（ｘ、ｙ）とし、カメラの路面からの高さをＣｈ（ｍ）、カメラの俯角をＴｒ（ｒａｄ）、画像の縦サイズをＩｈ、画像の横サイズをＩｗ、高さ方向の１画素あたりの角度分解能をＰＹｒ（ｒａｄ）、横方向の１画素あたりの角度分解能をＰＸｒ（ｒａｄ）とすると、ｘｙ平面上の点ＴＰ１〜ＴＰ１１及びＢＰ１〜ＢＰ１１は、次式に従ってＺＸ平面の座標（Ｚ、Ｘ）に変換される。
【００４８】
（式１）Ｚ＝(Ｃｈ)／(ＴＡＮ(Ｔｒ＋(ｙ−Ｉｈ／２)×ＰＹｒ))
（式２）Ｘ＝ｘ×ＴＡＮ((Ｚ-Ｉｗ／２)×ＰＸｒ)
上端点ＴＰ１〜ＴＰ１１、下端点ＢＰ１〜ＢＰ１１の変換後の点を、上端点の座標変換点ＲＴ１〜ＲＴ１１、下端点の座標変換点ＲＢ１〜ＲＢ１１とする。
【００４９】
物体属性判定部１０７は、上端点の座標変換点ＲＴ１〜ＲＴ１１、下端点の座標変換点ＲＢ１〜ＲＢ１１が、規定のＺＸ平面を分割して設定した領域のうちどの領域に位置するかの判定を行う（図７参照）。ここで、車両の上下動に伴いカメラ１０１の撮像映像も上下に動き、座標変換点が位置する領域も変動してしまう可能性がある。この影響を避けるため、ＺＸ平面を分割して設定する領域はメーターオーダーで設定することが望ましい。本実施例では、ｘ軸方向は、−５．２５ｍ＞ｘ、−５．２５≦ｘ＜−３．５ｍ、−３．５ｍ≦ｘ＜−１．７５ｍ、−１．７５ｍ≦ｘ＜０ｍ、０ｍ≦ｘ＜１．７５ｍ、１．７５ｍ≦ｘ＜３．５ｍ、３．５ｍ≦ｘ＜５．２５ｍ、５．２５ｍ≦ｘ、として８分割し、ｚ軸方向は、０≦ｚ＜１０ｍ、１０ｍ≦ｚ＜２０ｍ、２０ｍ≦ｚ＜３０ｍ、３０ｍ≦ｚ＜４０ｍ、４０ｍ≦ｚ＜５０ｍとして５分割して、領域１１〜領域１５、領域２１〜領域２５、領域３１〜領域３５、領域４１〜領域４５、領域５１〜領域５５、領域６１〜領域６５、領域７１〜領域７５、領域８１〜領域８５を設定している。また、領域１１〜領域１５を領域１０とし、領域２１〜領域２５を領域２０とし、領域３１〜領域３５を領域３０とし、領域４１〜領域４５を領域４０とし、領域５１〜領域５５を領域５０とし、領域６１〜領域６５を領域６０とし、領域７１〜領域７５を領域７０とし、領域８１〜領域８５を領域８０としている。
【００５０】
そして、ｘｙ平面の同一の縦方向領域における上端点の座標変換点と上端点と同一のグループの下端点の座標変換点が規定のＺＸ平面の同一の領域に位置すれば、上端点と下端点が路面上にある、すなわち路面上の平面物であると判定する。また、上端点の座標変換点が規定のＺＸ平面外に位置し、上端点と同一のグループの下端点の座標変換点が規定のＺＸ平面の領域に位置すれば、下端点のみ路面上にある、すなわち立体物であると判定する。ここで、走路境界を検出するために、各領域に設定したカウンタのうち下端点の座標変換点が位置する領域のカウンタのカウンタ値を＋１加算し、下端点の位置情報分布を算出する。
【００５１】
例えば、本実施例では、上端点ＴＰ１〜ＴＰ５の座標変換点ＲＴ１〜ＲＴ５は図７に示す規定のＺＸ平面外に投影されるため、上端点ＴＰ１〜ＴＰ５を含むグループは立体物であると判定され、上端点ＴＰ１〜ＴＰ５を含むエッジはｘｙ平面上で立体物ＯＢ１〜ＯＢ５として判定される。また上端点ＴＰ６〜ＴＰ１１の座標変換点ＲＴ６〜ＲＴ１１は下端点ＢＰ６〜ＢＰ１１の座標変換点ＲＢ６〜ＲＢ１１と同じ領域に位置するため、上端点ＴＰ６〜ＴＰ１１を含むグループは路面上に位置する物であると判定される。ここで、走路境界を検出するために、下端点の座標変換点ＲＢ１〜ＲＢ１１が位置する領域のカウンタのカウンタ値を＋１加算する。
【００５２】
そして、図８に示すように、得られた下端点の座標変換点の位置分布から、走路境界線が存在する可能性が高い領域を抽出する。すなわち、得られた下端点の座標変換点の位置分布において、同じｘ軸領域で複数のｚ軸領域にカウンタ値が存在すれば、自車両前方に走路境界が車両に沿って直線状に存在すると推定できるため、カウンタ値がある領域を走路境界領域として抽出する。例えば、図８では、ｘ軸が同じ範囲の領域３０において、複数のｚ軸領域（下端点ＲＢ１、ＲＢ４、ＲＢ５が位置する領域）にカウンタ値が存在するため、これらの領域を走路境界領域として抽出する。領域５０、領域８０についても同様である。
【００５３】
そして、抽出した領域に走路境界を示す直線が存在するかどうかの判定を行う（図８参照）。すなわち、抽出した領域に存在する下端点の座標変換点に基づいて、ｘｙ座標系での回帰分析を行い、下端点を通る直線の傾きを算出する。例えば、本実施例の領域３０では、領域３０に存在する下端点の座標変換点ＲＢ１、ＲＢ４、ＲＢ５に対応するｘｙ座標における下端点ＢＰ１、ＢＰ４、ＢＰ５の座標位置からｘｙ座標系での回帰分析を行い、下端点ＢＰ１、ＢＰ４、ＢＰ５を通る直線の傾きａ３を算出する。同様に、領域５０、領域８０に位置する下端点の座標変換点に対応した直線の傾きａ５、ａ８を算出する。そして、算出した直線の傾きが所定の範囲内に入っていれば、抽出した領域内に走路境界を示す直線が存在すると判定する。すなわち、下端点の座標変換点が位置するｘ軸領域の左端座標と各Ｚ軸領域の代表座標（例えば中心座標）を座標とする点（例えば図８のＰＬ１〜ＰＬ５）をｘｙ座標系に変換して回帰分析して算出した直線の傾きＴｎ０ａ１と、下端点の座標変換点が位置するｘ軸領域の右端座標と各Ｚ軸領域の代表座標（例えば中心座標）を座標とする点（例えば図８のＰＲ１〜ＰＲ５）をｘｙ座標系に変換して回帰分析して算出した直線の傾きＴｎ０ａ２とで規定される傾きの範囲内に、下端点に基づき算出された直線の傾きａｎが入っている場合には、抽出した領域内に走路境界を示す直線Ｌｎが存在するとの判定を行う。
【００５４】
例えば、本実施例の領域３０においては、座標（ｘ、ｚ）＝（−３．５、５）の点ＰＬ１、座標（ｘ、ｚ）＝（−３．５、１５）の点ＰＬ２、座標（ｘ、ｚ）＝（−３．５、２５）の点ＰＬ３、座標（ｘ、ｚ）＝（−３．５、３５）の点ＰＬ４、座標（ｘ、ｚ）＝（−３．５、４５）の点ＰＬ５をｘｙ座標に変換して回帰分析を行い算出した各点を結ぶ直線の傾きＴ３０ａ１と、座標（ｘ、ｚ）＝（−１．７５、５）の点ＰＲ１、座標（ｘ、ｚ）＝（−１．７５、１５）の点ＰＲ２、座標（ｘ、ｚ）＝（−１．７５、２５）の点ＰＲ３、座標（ｘ、ｚ）＝（−１．７５、３５）の点ＰＲ４、座標（ｘ、ｚ）＝（−１．７５、４５）の点ＰＲ５をｘｙ座標に変換して回帰分析を行い算出した各点を結ぶ直線の傾きＴ３０ａ２に対し、下端点の座標変換点ＲＢ１、ＲＢ４、ＲＢ５に対応するｘｙ平面上の下端点ＢＰ１、ＢＰ４、ＢＰ５を結ぶ直線の傾きａ３が、Ｔ３０ａ１とＴ３０ａ２で規定される範囲内に存在するため、下端点ＢＰ１、ＢＰ４、ＢＰ５を結ぶ直線は走路境界を示す直線Ｌ３であると判定される(図９参照)。同様にして、領域５０では、下端点の座標変換点ＲＢ６、ＲＢ７に対応するｘｙ平面上の下端点ＢＰ６とＢＰ７を結ぶ直線は走路境界を示す直線Ｌ５であると判定され、領域８０では、下端点の座標変換点ＲＢ８〜ＲＢ１１に対応するｘｙ平面上の下端点ＢＰ８〜ＢＰ１１を結ぶ直線は走路境界を示す直線Ｌ８であると判定される。
【００５５】
そして、図９に示すように、走路境界で区切られた各領域において、検出された立体物の画像の水平方向位置と速度の関係を示すグラフを算出する。このグラフでは、画像中央より左側に位置する立体物、例えば外壁のような背景は、画像の右側に位置するほど自車よりも遠い位置にあるため、画素の速度は遅くなる。つまり、縦軸に速度（左に移動する速度をプラス、右に移動する速度をマイナス）、横軸に画像のｘ座標（画像左端を原点）に設定すると、背景のような静止物であれば、画像の左半分においては、速度とｘ座標の関係は、右下がりの直線となる。一方、右下がりの直線関係とならない座標がある場合は、領域内に静止物でないもの、すなわち移動体が存在する可能性がある。この場合、図９に示すように、背景の速度（左向きの速度）とは逆向きの速度（右向きの速度）を有する座標が検出された場合は、背景とは逆方向に移動する移動体が存在すると判定する。また、背景よりも速い速度を有する座標が検出されれば、移動体が存在すると判定する。
【００５６】
例えば、本実施例では、領域３０、領域５０、領域８０で検出された走路境界に基づいて、走路境界Ｌ３の左側、すなわち、領域１０、領域２０、領域３０の左側の一部を区画ａと設定し、走路境界Ｌ３と走路境界Ｌ５との間、すなわち、領域３０の右側の一部、領域４０、領域５０の左側の一部を区画ｂと設定し、走路境界Ｌ５と走路境界Ｌ８との間、すなわち、領域５０の右側の一部、領域６０、領域７０、領域８０の左側の一部を区画ｃと設定し、走路境界Ｌ８の右側、すなわち、領域８０の右側の一部を区画ｄと設定し、区画ｂに存在する立体物ＯＢ１〜ＯＢ５の水平方向位置と速度の関係から、ＯＢ１、ＯＢ４、ＯＢ５を静止している立体物（ここでは外壁）と判定し、右へ移動するＯＢ２、ＯＢ３を移動体（ここでは歩行者）と判定する。
【００５７】
また、画像右側に存在する立体物においても、左側と同様な方法で、速度（左に移動する速度をプラス、右に移動する速度をマイナス）と画像のｘ座標（画像右端を原点）の関係を求め、右上がりの直線関係とならない場合には、領域内に立体物が存在する可能性が高いと判断し、背景の速度と逆向きの速度が検出されれば、背景とは逆方向に移動する移動体、例えば、画像右側から左側に移動する歩行者の検出を行うことができる。
【００５８】
さらに、車両挙動（車両の進行方向）を利用することにより、上述したように撮像画像の左右において別々に移動体の検出が必要か、あるいは撮像画像全体で移動体の検出が可能かを判断することも可能となる。例えば、車両を右へ操舵している場合には、前方画像の背景に該当する領域は、左側へ移動する速度のみが検出されるため、上述したように撮影画像左右でそれぞれ移動体の検出を行わずに撮像画像全体で一括して移動体の検出を行うことができる。車両を左へ操舵している場合も同様である。
【００５９】
ここで、前述したように移動体の判定は、背景に該当する立体物と移動体の水平方向位置と速度を比較して行うため、例えば歩行者に該当する立体物しか検出できず、背景に該当する外壁等の立体物が抽出できない場合は、移動体の判定を行うことができない。この場合は、次回の検出で再度立体物と判定された際に、その速度変化から移動体であるか否かの判定を行う（後述）。
【００６０】
図１０は、本実施例における物体検出装置１０の処理を示すフローチャートである。
この処理はイグニションスイッチ（図示省略）がオンされると起動されるプログラムとして実行される。
【００６１】
ステップＳ１０１では、カメラ１０１で撮像され画像一時記録部１０２に記録された自車両前方の画像が所定の周期で特徴点抽出部１０３に出力される。この後に、フローはステップＳ１０２へ移行する。
【００６２】
ステップＳ１０２では、特徴点抽出部１０３が画像に対してエッジ抽出処理を行い、撮像画像内に存在する物体の輪郭をエッジ画像として抽出するとともにエッジ画像の正規化を行う。この後に、フローはステップＳ１０３へ移行する。
【００６３】
ステップＳ１０３では、移動情報算出部１０５がエッジの速度を算出し、算出した速度を所定の階調で表した速度画像を算出する。この後に、フローはステップＳ１０４へ移行する。
【００６４】
ステップＳ１０４では、グループ化部１０６が算出した速度画像上に物体検出用の短冊領域を設定する。この後に、フローはステップＳ１０５へ移行する。
【００６５】
ステップＳ１０５では、グループ化部１０６が各短冊領域内に速度を持った画素があるかどうかを下から上に向かって調べる。速度を持った画素がある場合、グループ化部１０６がそれらの画素は同一の物体を表しているものとしてグループ化を行う。この後に、フローはステップＳ１０６へ移行する。
【００６６】
ステップＳ１０６では、各短冊領域内におけるグループ毎において、最も上に位置する画素の中心座標を上端点に、最も下に位置する画素の中心座標を下端点に設定する。この後に、フローはステップＳ１０７へ移行する。
【００６７】
ステップＳ１０７では、座標変換部１０４が、（式１）、（式２）を用いて、検出した上端点と下端点の座標をＺＸ平面へ座標変換する。この後に、フローはステップＳ１０８へ移行する。
【００６８】
ステップＳ１０８では、物体属性判定部１０７が、上端点の座標変換点と上端点と同じグループの下端点の座標変換点の位置がｘ軸範囲とｚ軸範囲を規定した規定のＺＸ平面のどの領域に該当するかを判断し、上端点の座標変換点と上端点と同じグループの下端点の座標変換点の双方が規定のＺＸ平面の同一の領域に位置する場合は、上端点、下端点を含む物体を平面物であると判定し、上端点と同じグループの下端点の座標変換点のみが規定のＺＸ平面に位置する場合は、上端点、下端点を含む物体を立体物であると判定する。また、下端点が位置する領域のカウンタのカウンタ値を＋１加算する。この後に、フローはステップＳ１０９に進む。
【００６９】
ステップＳ１０９では、物体属性判定部１０７により、検出した全ての上端点、下端点について、上端点、下端点を含む物体が平面物であるか立体物であるかの判定（以下、物体の属性判定と呼ぶ）が行われたかどうかの判定が行われる。検出した全ての上端点、下端点について物体の属性判定が行われた場合は、ステップＳ１１０に進む。一方、検出した全ての上端点、下端点について物体の属性判定が行われていない場合は、ステップＳ１０５に戻る。
【００７０】
ステップＳ１１０では、物体属性判定部１０７により、ＺＸ平面における下端点の座標変換点の位置分布から、同じｘ軸領域において、複数のｚ軸領域にカウンタ値が存在する領域が、走路境界線が存在する可能性が高い領域として抽出される。この後に、フローはステップＳ１１１へ進む。
【００７１】
ステップＳ１１１では、物体属性判定部１０７により、抽出された領域内に存在する下端点の座標変換点に対応するｘｙ平面の下端点についてｘｙ座標系での回帰分析が行われ、下端点を結ぶ直線の傾きが算出される。この後に、フローはステップＳ１１２へ進む。
【００７２】
ステップＳ１１２では、物体属性判定部１０７により、ステップＳ１１１で算出した直線の傾きが、下端点が位置する領域において、ｘ軸領域の左端座標と各ｚ軸領域の代表座標を座標とする点（図８のＰＬ１〜ＰＬ５）を結ぶ直線およびｘ軸領域の右端座標と各ｚ軸領域の代表座標を座標とする点（図８のＰＲ１〜ＰＲ５）を結ぶ直線のｘｙ座標系における傾きの範囲にあれば、抽出した領域に走路境界を示す直線が存在すると判定され、ステップＳ１１１で算出した直線は走路境界を示す直線として検出される。この後に、フローはステップＳ１１３へ進む。
【００７３】
ステップＳ１１３では、物体属性判定部１０７において、抽出された領域において、全ての走路境界を示す直線が検出されたか否かの判定を行う。全ての走路境界を示す直線が検出された場合は、ステップＳ１１４へ進む。一方、全ての走路境界を示す直線が検出されていない場合は、ステップＳ１１０に戻る。
【００７４】
ステップＳ１１４では、物体属性判定部１０７において、走路境界で区切られた各区画に対し、各区画内に存在する立体物（外壁、歩行者）間の速度とｘ座標の関係を算出し、背景と逆方向の速度が検出された立体物がある場合には、自車両に近づく移動体が存在すると判定し、フローはステップＳ１１６に進む。一方、背景と逆方向の速度が検出された物体がない場合には、移動体候補が存在する可能性があると判定し、ステップＳ１１５に進む。
【００７５】
ステップＳ１１５では、物体属性判定部１０７において、移動体候補が移動体であるかどうかの判定を行う。移動体候補が存在すると判断された区画に、前回も移動体候補が存在すれば、前回と今回の速度を比較する。移動体候補が静止物である場合は、自車両の前進に従い移動体候補が自車両に接近し、移動体候補に対応する画素の移動速度が速くなる。このため、前回よりも下端点の座標変換点の速度が速くなっている場合には、移動体は存在しないと判定し、前回よりも下端点の座標変換点の速度が速くなっていない場合には、移動体が存在すると判定する。この後に、フローはステップＳ１１６に進む。
【００７６】
ステップＳ１１６では、走路境界で区切られたすべての区画において、移動体が検出されたか否かの判断を行う。全ての移動体が検出された場合には、フローはステップＳ１１７へ進む。一方、全ての移動体が検出されていない場合は、フローはステップＳ１１４に戻る。
【００７７】
ステップＳ１１７では、自車両のイグニションスイッチがオフされたか否かの判定が行われる。イグニションスイッチがオフされていない場合には、ステップＳ１０１へ戻って処理を繰り返す。一方、イグニションスイッチがオフされた場合には、フローはステップＳ１１８へ移行して処理を終了する。
【００７８】
以上説明した本発明の実施の形態の物体検出装置によれば、以下のような作用効果を得ることができる。
【００７９】
自車両前方の画像を撮像するカメラ１０１（撮像部）および、前記カメラ１０１で撮像した画像から特徴点を抽出する特徴点抽出部１０３と、前記特徴点を表す画素の速度情報を算出する移動情報算出部１０５と、前記画素の位置座標を実空間上の３次元における位置座標に変換する座標変換部１０４と、前記画素の前記３次元における前記位置座標および前記画素の前記速度情報に基づいて前記特徴点が移動体であることを判定する物体属性判定部１０７とを備えることとした。
【００８０】
この構成によれば、カメラ１０１で撮像した画像から抽出した特徴点の画像上の移動速度および位置座標に基づいて、特徴点が移動体であることを判定することができる。
【００８１】
また、本発明の実施の形態の物体検出装置によれば、前記物体属性判定部１０７は、前記画素の前記３次元における水平方向の位置座標と前記画素の速度情報との関係において前記画素の速度情報とは異なる速度情報を有する座標がある場合に、前記特徴点が移動体であると判定することとした。
【００８２】
この構成によれば、検出した立体物の画像上の水平方向位置と速度の関係から、移動体の識別を行う。背景となる立体物は自車両から遠ざかるにつれて画像上では横方向に移動し、また画像上の速度は遅くなることから、画像上の水平方向位置と速度は比例（直線）関係にある。一方、背景となる立体物の前に存在する物体では、画像上の水平方向位置と速度に比例関係はない。したがって、自車両の動きの推定や物体までの距離を算出することなく背景の動きを推定し、背景と異なる動きをするものを移動体として背景から分離することができるため、簡単な処理により移動体の検出を高速で行うことができる。
【００８３】
また、本発明の実施の形態の物体検出装置によれば、前記画像の垂直方向に隣接するとともに速度情報が所定の範囲にある前記画素をグループ化するグループ化部１０６を備え、前記物体属性判定部１０７は、前記グループ化部１０６によりグループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記３次元における位置座標に基づいて前記判定を行うこととした。
【００８４】
この構成によれば、カメラ１０１で撮像した画像に基づいて算出した速度画像上に物体検出領域を設定し、各領域において、画像の垂直方向に隣接するとともに移動速度が所定範囲にある点をグループ化し、その最上部（上端）および最下部（下端）を検出する。この最上部および最下部に位置する画素をＺＸ平面に座標変換し、その位置座標に基づいて移動体の判定を行うことで、該判定を効率的に行うことができる。
【００８５】
また、本発明の実施の形態の物体検出装置によれば、前記物体属性判定部１０７は、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記３次元の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合には前記移動体を平面物と判定し、前記最上部に位置する前記画素が前記３次元の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記３次元の前記複数の領域のうちいずれかの領域に位置する場合に前記移動体を立体物と判定することとした。
【００８６】
この構成によれば、最上部に位置する画素（上端点）と最下部に位置する画素（下端点）の位置を、カメラパラメータを用いてＺＸ平面へ座標変換する。路面上に存在する白線や路面マーカーのような平面物は、上端点と下端点ともに路面上に存在するため、ＺＸ平面上へ座標変換された場合、上端点と下端点は規定のＺＸ平面に投影される。これに対して、立体物の下端点は路面上に存在し、上端点は路面上に存在しないため、下端点のみ規定のＺＸ平面に投影され、上端点は規定のＺＸ平面から大きく外れることになる。したがって、単眼カメラの構成であっても、グループ化した領域の上端点と下端点の座標変換結果から、平面物と立体物の判定を行うことができる。
【００８７】
また、本発明の実施の形態の物体検出装置によれば、前記物体属性判定部１０７は、前記画素のうち前記画像の垂直方向において最下部に位置する前記画素の前記３次元における前記位置座標に基づいて前記自車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に前記移動体判定を行うこととした。
【００８８】
この構成によれば、下端点の座標変換点の位置から走路境界の検出が可能であり、検出した走路境界で区切られた区画毎に移動体の検出を行うため、複雑な背景下においても、効率的に移動体の検出を行うことができる。
【００８９】
さらに、本発明の実施の形態の物体検出装置によれば、前記特徴点が物体のエッジであることとした。
【００９０】
この構成によれば、カメラ１０１で撮像した画像から特徴点抽出部１０３により物体のエッジを検出すれば良く、簡単な画像処理で上記判定を行うことができる。
【００９１】
また、以上説明した本発明の実施の形態の物体検出方法によれば、以下のような作用効果を得ることができる。
【００９２】
自車両前方の画像を撮像し、撮像した画像から特徴点を抽出し、抽出した特徴点を表す画素の速度情報を算出し、前記画素の位置座標を実空間上の３次元における位置座標に変換し、前記画素の前記３次元における前記位置座標および前記画素の前記速度情報に基づいて、前記特徴点が移動体であることを判定することとした。
【００９３】
この方法によれば、撮像した画像から抽出した特徴点の画像上の速度情報および位置座標に基づいて、特徴点が移動体であることを判定することができる。
【００９４】
また、本発明の実施の形態の物体検出方法によれば、前記移動体であることの判定は、前記画素の前記３次元における水平方向の位置座標と前記画素の速度情報との関係において前記画素の速度情報とは異なる速度情報を有する座標がある場合に、前記特徴点が移動体であると判定することとした。
【００９５】
この方法によれば、検出した立体物の画像上の水平方向位置と速度の関係から、移動体の識別を行う。背景となる立体物は自車両から遠ざかるにつれて画像上では横方向に移動し、また画像上の速度は遅くなることから、画像上の水平方向位置と速度は比例（直線）関係にある。一方、背景となる立体物の前に存在する物体では、画像上の水平方向位置と速度に比例関係はない。したがって、自車両の動きの推定や物体までの距離を算出することなく背景の動きを推定し、背景と異なる動きをするものを移動体として背景から分離することができるため、簡単な処理により移動体の検出を高速で行うことができる。
【００９６】
また、本発明の実施の形態の物体検出方法によれば、前記画像の垂直方向に隣接するとともに速度情報が所定の範囲にある前記画素をグループ化し、前記移動体であることの判定は、グループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記３次元における位置座標に基づいて行うこととした。
【００９７】
この方法によれば、撮像した画像に基づいて算出した速度画像上に物体検出領域を設定し、各領域において、画像の垂直方向に隣接するとともに移動速度が所定範囲にある点をグループ化し、その最上部（上端）および最下部（下端）を検出する。この最上部および最下部に位置する画素をＺＸ平面に座標変換し、その位置座標に基づいて移動体の判定を行うことで、該判定を効率的に行うことができる。
【００９８】
また、本発明の実施の形態の物体検出方法によれば、前記移動体であることの判定は、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記３次元の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合には前記移動体を平面物と判定し、前記最上部に位置する前記画素が前記３次元の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記３次元の前記複数の領域のうちいずれかの領域に位置する場合に前記移動体を立体物と判定することを含むこととした。
【００９９】
この方法によれば、最上部に位置する画素（上端点）と最下部に位置する画素（下端点）の位置を、カメラパラメータを用いてＺＸ平面へ座標変換する。路面上に存在する白線や路面マーカーのような平面物は、上端点と下端点ともに路面上に存在するため、ＺＸ平面上へ座標変換された場合、上端点と下端点は規定のＺＸ平面に投影される。これに対して、立体物の下端点は路面上に存在し、上端点は路面上に存在しないため、下端点のみ規定のＺＸ平面に投影され、上端点は規定のＺＸ平面から大きく外れることになる。したがって、単眼カメラの構成であっても、グループ化した領域の上端点と下端点の座標変換結果から、平面物と立体物の判定を行うことができる。
【０１００】
また、本発明の実施の形態の物体検出方法によれば、前記移動体であることの判定は、前記画素のうち前記画像の垂直方向において最下部に位置する画素の前記３次元における位置座標に基づいて前記車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に行うこととした。
【０１０１】
この方法によれば、下端点の座標変換点の位置から走路境界の検出が可能であり、検出した走路境界で区切られた区画毎に移動体の検出を行うため、複雑な背景下においても、効率的に移動体の検出を行うことができる。
【０１０２】
さらに、本発明の実施の形態の物体検出方法によれば、前記特徴点が物体のエッジであることとした。
【０１０３】
この方法によれば、撮像した画像から物体のエッジを検出すれば良く、簡単な画像処理で上記判定を行うことができる。
【実施例２】
【０１０４】
本実施例では、例えばエッジ検出の結果に起因して同じ立体物や移動体が速度情報を基に同じ速度でグループ化できない場合でも、平面物と立体物の検出を行う。
【０１０５】
ここでは、図１１に示すように、外壁上に検出されたＰ１１〜Ｐ１１３の内、Ｐ１１〜Ｐ１３とＰ１４〜Ｐ１１３が別々にグループ化され、Ｐ２１〜Ｐ２１３の内、Ｐ２１〜Ｐ２３とＰ２４〜Ｐ２１３が別々にグループ化され、Ｐ３１〜Ｐ３１３の内、Ｐ３１〜Ｐ３３とＰ３４〜Ｐ３１３が別々にグループ化され、Ｐ４１〜Ｐ４１２の内、Ｐ４１、Ｐ４２とＰ４３〜Ｐ４１２が別々にグループ化され、Ｐ５１〜Ｐ５１０の内、Ｐ５１、Ｐ５２とＰ５３〜Ｐ５１０が別々にグループ化された場合について、説明を行う。
【０１０６】
なお、図１に示したブロック図、図２に示した車両へのカメラ１０１の設置例を示す図、図３に示したカメラ１０１による前方の撮像画像を説明する図、図４に示したエッジの正規化の例を示す図、および図５に示した速度画像を説明する図については、第１の実施例と同様のため説明を省略する。また、図８〜図９で説明した、下端点を基に走路境界を検出し、検出した走路境界で区切られた各領域毎に立体物の水平方向位置と速度の関係から、移動体を検出する方法については、第１の実施例における処理と同様のため説明を省略する。
【０１０７】
まず、算出した速度画像に物体を検出するための領域を設定する。すなわち、図１１に示すように、速度画像上に短冊状の複数の領域を設定し、速度画像を分割する。本実施例では、各領域毎に画像下端から上端に速度を持った画素を順に走査して検出し、検出した画素を前述の（式１）、（式２）に基づいてＺＸ平面へ座標変換し、座標変換の結果が図７に示す規定のＺＸ平面内に位置するか否かを判定する。座標変換の結果が規定のＺＸ平面内に位置すれば、平面物の候補点と判定する。一方、規定のＺＸ平面内に位置しなければ、立体物の候補点として判定する。なお、規定のＺＸ平面は第１の実施例で説明した領域と同じ領域とし、領域の設定方法については説明を省略する。例えば本実施例では、Ｐ１１〜Ｐ１３は規定のＺＸ平面内の同一の領域に位置して平面物の候補点と判定され、Ｐ１４〜Ｐ１１３は規定のＺＸ平面内に位置しないため、立体物候補点と判定される。同様に、Ｐ２１〜Ｐ２３、Ｐ３１〜Ｐ３３、Ｐ４１、Ｐ４２、Ｐ５１、Ｐ５２、Ｐ６１〜Ｐ６４、Ｐ７１〜Ｐ７４、Ｐ８１、Ｐ８２、Ｐ９１〜Ｐ９３、Ｐ１０１、Ｐ１０２、Ｐ１１１〜Ｐ１１３は平面物候補点と判定され、Ｐ２４〜Ｐ２１３、Ｐ３４〜Ｐ３１３、Ｐ４３〜Ｐ４１２、Ｐ５３〜Ｐ５１０は立体物候補点と判定される。
【０１０８】
次に平面物候補点と立体物候補点の判定結果に基づき、立体物の判定を行う。すなわち、平面物候補点であると判定された点と立体物候補点であると判定された点が、縦方向に連続して存在する場合は、立体物の内、路面近くに存在する部分が誤って平面物候補点であると判定されたものと推定できるため、図１２に示すように、平面物候補点と立体物候補点が縦方向に連続して存在する物体を立体物として判定する。例えば、本実施例では、平面物候補点Ｐ１１〜Ｐ１３と立体物候補点Ｐ１４〜Ｐ１１３が縦方向に連続しているため、Ｐ１１〜Ｐ１１３を立体物ＯＢ１として判定する。同様に、Ｐ２１〜Ｐ２１３を立体物ＯＢ２、Ｐ３１〜Ｐ３１３を立体物ＯＢ３、Ｐ４１〜Ｐ４１２を立体物ＯＢ４、Ｐ５１〜Ｐ５１０を立体物ＯＢ５として判定する。
【０１０９】
さらに、図１２に示すように、平面物および立体物と判定された点のうち、下端点を抽出し、第１の実施例と同様に下端点のＺＸ平面への座標変換点が位置するＺＸ平面の領域のカウンタのカウンタ値を＋１加算して、下端点の位置分布を算出する。例えば、本実施例では、Ｐ１１、Ｐ２１、Ｐ３１、Ｐ４１、Ｐ５１、Ｐ６１、Ｐ７１、Ｐ８１、Ｐ９１、Ｐ１０１、Ｐ１１１を下端点として検出し、図８に示す各下端点の座標変換点ＲＢ１〜ＲＢ１１が位置する領域のカウンタのカウンタ値を＋１加算する。以下、第１の実施例と同様の操作を行うことで、走路境界と立体物、立体物中の移動体の検出を行うことができる。
【０１１０】
図１３は、本実施例における物体検出装置１０の処理を示すフローチャートである。図１３に示す処理はイグニションスイッチがオンされると、起動されるプログラムとして実行される。図１３においては、図１０に示す第１の実施例における処理と同一の処理内容については、同じステップ番号を付与し、以下相違点を中心に説明する。
【０１１１】
ステップＳ１１８では、ステップＳ１０４にて設定した物体検出用の短冊領域内において画像下端から上端に向かって走査を行い、速度を持つ画素の座標を（式１）、（式２）を用いてＺＸ平面上へ座標変換する。この後に、フローはステップＳ１１９へ移行する。
【０１１２】
ステップＳ１１９では、画素の座標変換点が規定のＺＸ平面内に位置すれば、平面物候補点と判定し、画素の座標変換点が規定のＺＸ平面内に位置しなければ、立体物候補点と判定する。この後に、フローはステップＳ１２０に進む。
【０１１３】
ステップＳ１２０では、速度が算出された画素の全てがＺＸ平面上へ座標変換されて、平面物候補点および立体物候補点の検出が終了したかどうかが判定される。平面物候補点および立体物候補点の検出が終了した場合には、フローはステップＳ１２１に進む。一方、平面物候補点および立体物候補点の検出が終了していない場合は、フローはステップＳ１１８に戻る。
【０１１４】
ステップＳ１２１では、各領域内において、平面物候補点および立体物候補点が縦方向に連続して存在する場合には、平面物候補点および立体物候補点を含む物体を一つの立体物として判定する。この後に、フローはステップＳ１２２に進む。
【０１１５】
ステップＳ１２２では、各領域において、平面物および立体物と判定された点のうち、一番下にある点を下端点として検出し、検出した下端点のＺＸ平面上の座標変換点が位置する領域のカウンタのカウンタ値を＋１加算する。この後に、フローはステップＳ１２３に進む。
【０１１６】
ステップＳ１２３では、各領域において、カウンタ値に基づき各領域の下端点の位置分布情報の算出が終了したかどうかの判定が行われる。各領域の下端点の位置分布情報の算出が終了した場合には、フローはステップＳ１１０へ進む。一方、各領域の下端点の位置分布情報の算出が終了していない場合には、フローはステップＳ１２１へ戻る。
【０１１７】
以降、第１の実施例と同様の処理により、走路境界、立体物、移動体を検出する。
【０１１８】
以上説明した本発明の実施の形態の物体検出装置によれば、第１の実施例の作用効果に加え、以下のような作用効果を得ることができる。
【０１１９】
前記物体属性判定部１０７は、前記画素が前記３次元の前記複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記３次元の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することとした。
【０１２０】
この構成によれば、カメラ１０１で撮像した画像に基づいて算出した速度画像上に物体検出領域を設定し、速度を有する各画素をＺＸ平面へ座標変換した後に、ＺＸ平面における座標変換点の位置座標に基づいて、各画素が平面物候補点か立体物候補点かの判定を行う。ここで、平面物候補点と立体物候補点が画像上の垂直方向に連続して存在する場合には、平面物候補点と立体物候補点を持つ物体を一つの立体物と判定する。この操作により、同じ物体を構成する画素でありながら何らかの影響で同じ速度が算出されない場合でも正確に立体物の判定が可能となる。
【０１２１】
また、以上説明した本発明の実施の形態の物体検出方法によれば、第１の実施例の作用効果に加え、以下のような作用効果を得ることができる。
【０１２２】
前記特徴点が移動体であることの判定は、前記画素が前記３次元の前記複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記３次元の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することを含むこととした。
【０１２３】
この方法によれば、撮像した画像に基づいて算出した速度画像上に物体検出領域を設定し、速度を有する各画素をＺＸ平面へ座標変換した後に、ＺＸ平面における座標変換点の位置座標に基づいて、各画素が平面物候補点か立体物候補点かの判定を行う。ここで、平面物候補点と立体物候補点が画像上の垂直方向に連続して存在する場合には、平面物候補点と立体物候補点を持つ物体を一つの立体物と判定する。この操作により、同じ物体を構成する画素でありながら何らかの影響で同じ速度が算出されない場合でも、正確に立体物の判定が可能となる。
【実施例３】
【０１２４】
本実施例では、走路境界で区切られた区画おいて、立体物の水平方向位置と速度の関係が算出されない場合においても、移動体の検出を行う。
【０１２５】
ここでは、図１４に示すように、外壁と歩行者との間に白線及び駐車車両が存在する場合について、説明を行う。
【０１２６】
なお、図１に示したブロック図、図２に示した車両へのカメラ１０１の設置例を示す図、図４に示したエッジの正規化の例を示す図については、第１の実施例と同様のため説明を省略する。
【０１２７】
まず、撮像画像上に存在するエッジの速度成分を所定の階級値に分類して表した速度画像を生成する。本実施例における速度画像は、図１５に示すように、速度が検出されたエッジの画素を丸型の点で表し、移動速度が速い画素ほど点を大きく示す。また、右へ向かう速度を黒点で表し、左へ向かう速度を白点で表すことによって移動方向を表している。
【０１２８】
図１５においては、自車両の走行路右側の外壁からは画像の右側へ向かう速度が検出され、走行路左側の外壁からは画像の左側へ向かう速度が検出されている。また、走行路左側から右へ移動する歩行者では、画像の右側へ向かう速度が検出され、走行路左側に駐車中の車両からは左側へ向かう速度が検出されている。さらに、自車両の挙動により、走行走路右側の白線からは画像の左側へ向かう速度が検出され、走行走路左側の白線からは画像の右側へ向かう速度が検出されているものとする。
【０１２９】
次に、速度画像に基づき、物体検出を行う。物体を検出するための領域の設定および同一物体と判定するための画素のグループ化方法については実施例１と同様のため、説明は省略する。本実施例では、図１６に示すように、図１５に示す撮像画像において、上端ＴＬ１〜ＴＬ１５および下端ＢＬ１〜ＢＬ１５が検出される。
【０１３０】
次に、ｘｙ平面上で抽出した下端ＢＬ１〜ＢＬ１５および上端ＴＬ１〜ＴＬ１５の中心位置を座標とする下端点ＢＰ１〜ＢＰ１５（図示省略）および上端点ＴＰ１〜ＴＰ１５（図示省略）の位置座標を、規定の面積を備えたＺＸ平面（以下、規定のＺＸ平面と呼ぶ）上の点として３次元の位置座標（実空間上の３次元における位置座標）に変換する。この変換方法は、実施例1と同様のため、説明を省略する。本実施例では、上端点ＴＰ１〜ＴＰ１５、下端点ＢＰ１〜ＢＰ１５の変換後の点を、上端点の座標変換点ＲＴ１〜ＲＴ１５、下端点の座標変換点ＲＢ１〜ＲＢ１５とする。
【０１３１】
次に、上端点及び下端点の座標変換点が規定のＺＸ平面を分割して設定した領域のどの領域に位置するかに基づいて、平面物、立体物の判定を行う。また、走路境界を検出するために、各領域に設定したカウンタのうち、下端点の座標変換点が位置する領域のカウンタ値を加算し、下端点の位置情報分布を算出する。このＺＸ平面の分割方法、平面物と立体部の判定方法、下端点の位置情報分布の算出方法は、実施例1と同様のため、説明は省略する。
【０１３２】
本実施例では、図１７に示すように、上端点ＴＰ１、ＴＰ４、ＴＰ６〜ＴＰ９、Ｔ１３〜ＴＰ１５の座標変換点ＲＴ１、ＲＴ４、ＲＴ６〜ＲＴ９、ＲＴ１３〜ＲＴ１５は、図１７に示す規定のＺＸ平面外に投影されるため、上端点ＴＰ１、ＴＰ４、ＴＰ６〜ＴＰ９、Ｔ１３〜ＴＰ１５を含むグループは立体物であると判定され、上端点ＴＰ１、ＴＰ４、ＴＰ６〜ＴＰ９、Ｔ１３〜ＴＰ１５を含むエッジはｘｙ平面上で立体物ＯＢ１〜ＯＢ９として判定される。また上端点ＴＰ２、ＴＰ３、ＴＰ５、ＴＰ１０〜ＴＰ１２の座標変換点ＲＴ２、ＲＴ３、ＲＴ５、ＲＴ１０〜ＲＴ１２は、下端点ＢＰ２、ＢＰ３、ＢＰ５、ＢＰ１０〜ＢＰ１２の座標変換点ＲＢ２、ＲＢ３、ＲＢ５、ＲＢ１０〜ＲＢ１２と同じ領域に位置するため、上端点ＴＰ２、ＴＰ３、ＴＰ５、ＴＰ１０〜ＴＰ１２を含むグループは路面上に位置する物体であると判定される。ここで、走路境界を検出するために、下端点の座標変換点ＲＢ１〜ＲＢ１５が位置する領域のカウンタのカウンタ値を＋１加算する。
【０１３３】
そして、図１８に示すように、得られた下端点の座標変換点の位置分布から、走路境界線が存在する可能性が高い領域を抽出し、抽出した走路境界を示す直線が存在するかどうかの判定を行う。抽出方法及び直線の存在判定方法は実施例１と同様のため、説明は省略する。本実施例では、領域１０では、下端点の座標変換点ＲＢ１、ＲＢ４、ＲＢ８に対応するｘｙ平面上の下端点ＢＰ１、ＢＰ４、ＢＰ８を結ぶ直線は走路境界を示す直線Ｌ１であると判定され、領域３０では、下端点の座標変換点ＲＢ２、ＲＢ３、ＲＢ５に対応するｘｙ平面上の下端点ＢＰ２、ＢＰ３、ＢＰ５を結ぶ直線は走路境界を示す直線Ｌ３であると判定され、領域６０では、下端点の座標変換点ＲＢ１０、ＲＢ１１、ＲＢ１２に対応するｘｙ平面上の下端点ＢＰ１０、ＢＰ１１、ＢＰ１２を結ぶ直線は走路境界を示す直線Ｌ６であると判定され、領域８０では、下端点ｎ座標変換点ＲＢ１３、ＲＢ１４、ＲＢ１５に対応するｘｙ平面上の下端点ＢＰ１３、ＢＰ１４、ＢＰ１５を結ぶ直線は走路境界を示す直線Ｌ８であると判定される。
【０１３４】
次に、図１９に示すように、走路境界を示す直線のうち、自車両の近傍から遠方に連続して存在する立体物で構成される直線を背景として検出する。一般に、背景は、静止した立体物が自車両近傍から遠方に直線的に並んでおり、近傍の速度が速く、遠方に行くに従い速度が遅くなる、という特徴を備える。したがって、このような特徴を示す走路境界を背景として抽出する。ここで、立体物で構成される走路境界が複数存在する場合には、自車両からより遠方に位置する走路境界を選択する。本実施例では、外壁と路面の交点である走路境界線Ｌ１とＬ８を背景として検出する。
【０１３５】
次に、図１９に示すように、検出した背景の画像位置と速度の関係から、画像上の任意の位置における静止物体の速度を算出する予測式を算出する。背景となる立体物は静止物であるため、背景となる立体物の速度は、画像の各位置における静止物の速度を表している。例えば、立体物ＯＢ１、ＯＢ２、ＯＢ５の速度は、それぞれの画像位置における静止物の速度を表している。したがって、複数の立体物間の画像位置と速度の関係を示す予測式を算出することで、画像上の任意の位置の静止物の速度を求めることができる。本実施例では、画像左側の物体に対しては、立体物ＯＢ１、ＯＢ２、ＯＢ５の画像上のｘｙ座標を説明変数、速度を目的変数として、回帰分析を行い、静止物体の速度の予測式を算出する。同様に、画像右側の物体に対しては、立体物ＯＢ７、ＯＢ８、ＯＢ９の画像上のｘｙ座標を説明変数、速度を目的変数として、回帰分析を行い、静止物体の速度の予測式を算出する。
【０１３６】
次に、図１９に示すように、画像処理により検出された立体物の下端位置での速度情報（速度の値、方向）と、算出した予測式から得られる立体物の下端位置における静止物の速度情報とを比較して速度情報が異なる場合に立体物を移動体として検出する。
【０１３７】
本発明の場合、自車両に向かって来る移動体が移動体としての検出対象となるため、立体物の速度の方向が予測式から算出した静止物体の速度と同じ方向であり、立体物の速度の値と予測式から算出した静止物の速度の値との差が所定値以下であれば、その立体物は自車両に向かって来る移動体ではない静止物であると判定する。
【０１３８】
また、移動体であれば、路面上に存在する可能性が高く背景よりも手前に存在するため、画像上では、立体物の下端は背景の下端よりも下方に存在し、立体物の上端は一般に背景の下端よりも高い位置に存在する。さらに、自車両の方向に向かって来る移動体のうち、立体物の下端位置での速度成分が予測式から算出した静止物と反対方向の速度成分を持つ場合には、確実に自車両の進路方向に向かって来る移動体であるといえる。
【０１３９】
したがって、予測式から算出した速度とは反対向きの速度を持ち、背景の下端位置よりも上端位置が高い立体物という判定条件を加えることによって、移動体であるかどうかの判定だけでなく自車の進路路方向に進む移動体であることを簡易的に判定することができる。
【０１４０】
本実施例では、立体物ＯＢ３、ＯＢ４は、予測式から算出した静止物の速度情報と同等の速度情報を有するため、静止物であると判定する。また、立体物ＯＢ６は、予測式から算出した静止物とは反対向きの速度の方向を持ち、その上端位置が背景（走路境界Ｌ１）の下端位置よりも高い位置にあるため、自車両の進路方向に進む移動体であると判定する。
【０１４１】
図２０は、本実施例における物体検出装置１０の処理を示すフローチャートであり、前述の移動体判定方法のうち、自車両の方向に確実に向かってくる移動体を簡易的に判定するためのものである。図２０に示す処理はイグニションスイッチがオンされると、起動されるプログラムとして実行される。図２０においては、図１０に示す第１の実施例における処理と同一の処理内容については、同じステップ番号を付与し、以下相違点を中心に説明する。
【０１４２】
ステップＳ１３１では、ステップＳ１１２で検出した走路境界直線のうち、車両の近傍から遠方に連続して存在する立体物で構成される直線を背景となる走路境界として検出する。この後に，フローはステップＳ１３２へ移行する。
【０１４３】
ステップＳ１３２では、ステップＳ１３１で検出した背景となる走路境界を構成する立体物の速度情報を目的変数とし、下端点における画像ｘｙ座標を説明変数として、重回帰分析を行うことで、画像上の任意の位置での静止物の速度の予測式を算出する。この後に、フローはステップ１３３に移行する。
【０１４４】
ステップＳ１３３では、ステップＳ１３１で検出した背景となる走路境界の位置と立体物の上端位置とを比較し、画像上において、走路境界の位置よりも立体物の上端位置が上方に存在する場合には、その立体物を移動体候補として検出する。この後に、フローはステップＳ１３４に移行する。
【０１４５】
ステップＳ１３４では、ステップＳ１３３で検出した移動体候補の速度情報と移動体候補位置において予測式から得られる静止物の速度情報とを比較し、速度差の絶対値が所定の範囲内にある場合は、その移動体候補を静止物と判定し、フローはステップＳ１１６に移行する。一方、速度差の絶対値が所定の範囲外である場合ば、その移動体候補を移動体と判定し、フローはステップＳ１３５に移行する。
【０１４６】
ステップＳ１３５では、移動体と判定された立体物の速度の向きと予測式から得られた静止物体の速度の向きが反対であれば、その移動体を自車の進路中心に向かう移動体と判定する。この後に、フローはステップＳ１１６に移行する。
【０１４７】
以降、第１の実施例と同様の処理により、全ての移動体の検出処理を行い、処理を終了する。
【０１４８】
以上説明した本実施の形態の物体検出装置によれば、以下のような作用効果を得ることができる。
【０１４９】
前記物体属性判定部１０７は、前記３次元における前記位置座標と前記画素の速度情報とに基づいて、基準となる静止物および移動体としての判定対象となる立体物を検出し、前記基準となる静止物を構成する前記画素の前記速度情報と、前記移動体としての判定対象となる立体物を構成する前記速度情報とに基づいて、前記移動体としての判定対象となる立体物が移動体であることを判定することとした。
【０１５０】
また、本実施の形態の物体検出装置によれば、前記基準となる静止物は、背景となる立体物であることとした。
【０１５１】
また、本実施の形態の物体検出装置によれば、前記画像の垂直方向に隣接するとともに速度情報が所定の範囲にある前記画素をグループ化するグループ化部１０６を備え、前記物体属性判定部１０７は、前記グループ化部１０６によりグループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記３次元における位置座標を検出し、検出した前記最上部に位置する前記画素が前記３次元の所定の範囲を所定の数に分割して設定した複数の領域外に位置するとともに検出した前記最下部に位置する前記画素が前記３次元の前記複数の領域のうちいずれかの領域に位置する場合にはグループ化した前記画素を立体物と判定し、検出した複数の前記立体物の最下部に位置する前記画素が前記実空間上の３次元における位置座標において直線上に並ぶとともに、複数の前記立体物の前記最下部に位置する前記画素の速度情報が前記直線方向において一定の割合で変化する場合に、前記立体物を背景となる静止物と判定することとした。
【０１５２】
また、本実施の形態の物体検出装置によれば、前記物体属性判定部１０７は、前記背景となる静止物である複数の前記立体物の前記最下部に位置する前記画素の位置座標と速度とに基づいて、前記移動体としての判定対象となる立体物の位置座標における静止物の速度を算出し、算出した該静止物と前記移動体としての判定対象となる立体物との速度情報が異なる場合に、前記移動体としての判定対象となる立体物を移動体と判定することとした。
【０１５３】
この構成によれば、自車の近傍から遠方に連続して存在する静止している立体物は背景であることから、検出した立体物の中から容易に背景を検出することができる。また、静止物である背景は、自車の近傍における速度は大きく、遠方になるに従い速度が小さくなるという特徴を備えるため、検出した背景の画像位置と速度の関係を表す予測式を算出することにより、画像上の任意の位置での静止物の速度情報を予測することができる。したがって、検出した立体物の速度情報と、その立体物の位置で予測式により算出した背景（静止物）の速度情報とを比較することで、立体物が移動体であるか否かを簡単に判定することができる。
【０１５４】
また、この構成によれば、背景と立体物との速度情報の比較に基づいて移動体の検出を行うため、複数の立体物が存在しなくても移動物体の検出が可能になり、より複雑な背景下においても画像を分割することなく一括して移動体の検出を行うことができる。
【０１５５】
また、本実施の形態の物体検出装置によれば、前記物体属性判定部１０７は、前記背景となる静止物である前記立体物とは反対方向の速度を持つとともに、前記背景となる静止物である前記立体物の下端位置よりも高い位置に上端位置がある立体物を移動体と判定することとした。
【０１５６】
この構成によれば、立体物の速度の方向と上端の位置とに基づいて、移動体の検出を簡単に行うことができる。
【０１５７】
また、以上説明した本実施の形態の物体検出方法によれば、以下のような作用効果を得ることができる。
【０１５８】
前記３次元における前記位置座標と前記画素の速度情報とに基づいて、基準となる静止物および移動体としての判定対象となる立体物を検出し、前記基準となる静止物を構成する前記画素の前記速度情報と、前記移動体としての判定対象となる立体物を構成する前記速度情報とに基づいて、前記移動体としての判定対象となる立体物が移動体であることを判定することとした。
【０１５９】
また、本実施の形態の物体検出方法によれば、前記基準となる静止物は、背景となる立体物であることとした。
【０１６０】
また、本実施の形態の物体検出方法によれば、前記画像の垂直方向に隣接するとともに速度情報が所定の範囲にある前記画素をグループ化し、グループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記３次元における位置座標を検出し、検出した前記最上部に位置する前記画素が前記３次元の所定の範囲を所定の数に分割して設定した複数の領域外に位置するとともに検出した前記最下部に位置する前記画素が前記３次元の前記複数の領域のうちいずれかの領域に位置する場合にはグループ化した前記画素を立体物と判定し、検出した複数の前記立体物の最下部に位置する前記画素が前記実空間上の３次元における位置座標において直線上に並ぶとともに、複数の前記立体物の前記最下部に位置する前記画素の速度情報が前記直線方向において一定の割合で変化する場合に、前記立体物を背景となる静止物と判定することとした。
【０１６１】
また、本実施の形態の物体検出方法によれば、前記背景となる静止物である複数の前記立体物の前記最下部に位置する前記画素の位置座標と速度とに基づいて、前記移動体としての判定対象となる立体物の位置座標における静止物の速度を算出し、算出した該静止物と前記移動体としての判定対象となる立体物との速度情報が異なる場合に、前記移動体としての判定対象となる立体物を移動体と判定することとした。
【０１６２】
この方法によれば、自車の近傍から遠方に連続して存在する静止している立体物は背景であることから、検出した立体物の中から容易に背景を検出することができる。また、静止物である背景は、自車の近傍における速度は大きく、遠方になるに従い速度が小さくなるという特徴を備えるため、検出した背景の画像位置と速度の関係を表す予測式を算出することにより、画像上の任意の位置での静止物の速度情報を予測することができる。したがって、検出した立体物の速度情報と、その立体物の位置で予測式により算出した背景（静止物）の速度情報とを比較することで、立体物が移動体であるか否かを簡単に判定することができる。
【０１６３】
また、この方法によれば、背景と立体物との速度情報の比較に基づいて移動体の検出を行うため、複数の立体物が存在しなくても移動物体の検出が可能になり、より複雑な背景下においても画像を分割することなく一括して移動体の検出を行うことができる。
【０１６４】
また、本実施の形態の物体検出方法によれば、前記背景となる静止物である前記立体物とは反対方向の速度を持つとともに、前記背景となる静止物である前記立体物の下端位置よりも高い位置に上端位置がある立体物を移動体と判定することとした。
【０１６５】
この方法によれば、立体物の速度の方向と上端の位置とに基づいて、移動体の検出を簡単に行うことができる。
【実施例４】
【０１６６】
本実施例では、走路境界で区切られた区画おいて、立体物の水平方向位置と速度の関係が算出されない場合においても、移動体の検出を行い、移動物体の進路の方向を判定する。
【０１６７】
ここでは、図２１に示すように、外壁と歩行者との間に白線及び駐車車両が存在する場合について、説明を行う。ここで、走行路左側から右へ移動する歩行者の移動速度が自車両の走行に伴う画面の移動速度より遅く、画面上では左側へ向かう速度が検出されているものとして説明を行う。
【０１６８】
なお、図１に示したブロック図、図２に示した車両へのカメラ１０１の設置例を示す図、図４に示したエッジの正規化の例を示す図については、第１の実施例と同様のため説明を省略する。また、図１６〜図１９の各説明図については、実施例３と同様のため、説明を省略する。
【０１６９】
本実施例では、予測式から得られる静止物の速度情報と検出した立体物の速度情報とを比較することにより移動物体を検出し、移動物体の移動方向を判定する。ここで、予測式からから得られる静止物の速度情報と検出した立体物の速度情報が異なり、立体物が反対向きの速度情報を持つ場合については、実施例３で説明したため、説明は省略する。
【０１７０】
図２２に、自車両と自車両周囲の移動体の移動方向の関係を、図２３に、移動体の実空間上での移動方向と画面上での移動方向の関係を示す。ここで、自車両が時刻ｔから時刻ｔ＋１走行する間に画面上の背景が左方向に移動する速度をＶｂとする。
【０１７１】
自車両が走行中に、自車両の進路に直角に速度Ｖｐで近づく移動体Ｐ１の画面上の動きを考える。速度Ｖｐの画面上における速度をＶｍとすると、移動体Ｐ１は、Ｖｍ＞Ｖｂで自車両の進路に近づけば、画面上では右方向に移動するように見え、Ｖｍ＝Ｖｂで自車両の進路に近づけば、画面上では静止しているように見え、Ｖｍ＜Ｖｂで自車両の進路に近づけば、実空間上では右方向に移動しているにもかかわらず画面上では左方向に移動するように見える（図２３の区間Ｄ１）。
【０１７２】
次に、自車両が走行中に、自車両の進行方向に速度Ｖｐで遠ざかる(図２３、２４では背面移動と記載)移動体Ｐ２１の画面上の動きを考える。時刻ｔにおける移動体Ｐ２１の画面上の水平方向位置をｘ（ｔ）、時刻ｔ＋１における移動体Ｐ２１の画面上の水平方向位置をｘ（ｔ＋１）とすると、ｘ（ｔ＋１）−ｘ（ｔ）＞０となる場合は、画面上では右方向に移動するように見え、ｘ（ｔ＋１）−ｘ（ｔ）＝０となる場合は、画面上では静止しているように見え、ｘ（ｔ＋１）−ｘ（ｔ）＜０となる場合は、画面上では左方向に移動するように見える。ここで、移動体Ｐ２１は自車両の進行方向に遠ざかるように移動しているので、画面上の位置変化は通常背景の位置変化より小さくなり、自車両の進行方向に遠ざかる移動体Ｐ２１は、画面上では左方向に移動するように見える（図２３の区間Ｄ２１）。
【０１７３】
次に、自車両が走行中に、停止している立体物Ｐ２の画面上の動きを考える。立体物Ｐ２は、背景と同等の速度を有する。したがって、停止している立体物Ｐ２は画面上では速度Ｖｂで左方向に移動するように見える（図２３の区間Ｄ２）。なお、ここでは実空間上で速度が±Ｖｓ以下である移動体を停止しているものと仮定している。
【０１７４】
次に、自車両が走行中に、自車両の進行方向に速度Ｖｐで近づく移動体Ｐ２２の画面上の動きを考える。時刻ｔにおける移動体Ｐ２２の画面上の水平方向位置をｘ（ｔ）、時刻ｔ＋１における移動体Ｐ２２の画面上の水平方向位置をｘ（ｔ＋１）とすると、ｘ（ｔ＋１）−ｘ（ｔ）＞０となる場合は、画面上では右方向に移動するように見え、ｘ（ｔ＋１）−ｘ（ｔ）＝０となる場合は、画面上では静止しているように見え、ｘ（ｔ＋１）−ｘ（ｔ）＜０となる場合は、画面上では左方向に移動するように見える。ここで、移動体Ｐ１１は自車両の進行方向に近づくように移動しているので、画面上の位置変化は通常背景の位置変化より大きくなり、自車両の進行方向に遠ざかる移動体Ｐ２２は、画面上では左方向に移動するように見える（図２３の区間Ｄ２２）。
【０１７５】
次に、自車両が走行中に、自車両の進路に直角に速度Ｖｐで遠ざかる移動体Ｐ３の画面上の動きを考える。速度Ｖｐの画面上における速度をＶｍとすると、移動体Ｐ３は、画面上では速度Ｖｍ＋Ｖｂで左方向に移動するように見える（図２３の区間Ｄ３）。
【０１７６】
図２４は、本実施例における物体検出装置１０の処理を示すフローチャートである。図２４に示す処理はイグニションスイッチがオンされると、起動されるプログラムとして実行される。図２４においては、図２３に示す実施例１および実施例３における処理と同一の処理内容については、同じステップ番号を付与し、以下相違点を中心に説明する。
【０１７７】
ステップＳ１４１では、ステップＳ１３４で検出した移動体に対して、移動体と判定された立体物の速度情報と予測式から得られた静止物の速度情報とを比較することにより、前述した移動体の移動方向の判定が行われる。
【０１７８】
ステップＳ１４１の詳細を示すフローチャートを図２５に示す。
【０１７９】
ステップＳ１４１１では、検出した移動体の速度Ｖｍの絶対値と予測式から得られた静止物の速度Ｖｂの絶対値との差ｄＶ＝｜Ｖｍ｜−｜Ｖｂ｜に基づいて、フローの分岐が行われる。ｄＶ＞０の場合は、フローはステップＳ１４１２へ移行する。一方、ｄＶ≦０の場合は、フローはステップＳ１４１５へ移行する。
【０１８０】
ステップＳ１４１２では、｜ｄＶ｜が所定値以上であるか否かの判定が行われる。｜ｄＶ｜が所定値以上である場合は、フローはステップＳ１４１３へ移行する。一方、｜ｄＶ｜が所定値未満の場合は、フローはステップＳ１４１４へ移行する。
【０１８１】
ステップＳ１４１３では、移動体は図２３の区間Ｄ３の条件に該当し、移動体は自車両の進路中心から遠ざかると判定される。
【０１８２】
ステップＳ１４１４では、移動体は図２３の区間Ｄ２２の条件に該当し、移動体は自車両の進行方向に近づくと判定される。
【０１８３】
ステップＳ１４１５では、｜ｄＶ｜が所定値以上であるか否かの判定が行われる。｜ｄＶ｜が所定値以上である場合は、フローはステップＳ１４１６へ移行する。一方、｜ｄＶ｜が所定値未満の場合は、フローはステップＳ１４１６へ移行する。
【０１８４】
ステップＳ１４１６では、移動体は図２３の区間Ｄ１の条件に該当し、移動体は自車両の進路中心に徐々に近づくと判定される。
【０１８５】
ステップＳ１４１７では、移動体は図２３の区間Ｄ２１の条件に該当し、移動体は自車両の進行方向に遠ざかると判定される。
【０１８６】
以降，第１の実施例と同様の処理により、全ての移動物体検出処理を行い処理を終了する。
【０１８７】
以上説明した本実施の形態の物体検出装置によれば、以下のような作用効果を得ることができる。
【０１８８】
前記物体属性判定部１０７は、前記背景となる静止物である前記立体物と同じ方向の速度を持つ立体物の実空間上における移動方向を判定することとした。
【０１８９】
この構成によれば、予測式で算出された静止物の速度と検出した移動体の速度差とに基づいて、自車両の進路中心に近づく移動体以外の移動体の移動方向の判定が可能となる。
【０１９０】
また、以上説明した本実施の形態の物体検出方法によれば、以下のような作用効果を得ることができる。
【０１９１】
前記背景となる静止物である前記立体物と同じ方向の速度を持つ立体物の実空間上における移動方向を判定することとした。
【０１９２】
この方法によれば、予測式で算出された静止物の速度と検出した移動体の速度差とに基づいて、自車両の進路中心に近づく移動体以外の移動体の移動方向の判定が可能となる。
【０１９３】
以上のように、本発明によれば、撮像面の水平軸と垂直軸をそれぞれ地表面と平行および垂直に設定したカメラで撮像した画像から平面物と立体物を識別するとともに立体物が移動体であるかどうかの識別も可能であり、簡単なセンサ構成で移動体を検出することができる。
【０１９４】
また、画像の特徴点（エッジ）の画像上における速度と位置座表とに基づいて平面物と立体物の識別を行うため、簡単なアルゴリズムで高速に移動体の検出ができる。
【０１９５】
また、検出した複数の立体物の水平方向位置と速度の関係から移動体を検出するため、車両の動きの推定や物体までの距離を算出する必要がなく、簡単なアルゴリズムで高速に移動体の検出ができる。
【０１９６】
また、座標変換点の位置座標から走路境界を検出し、走路境界で区切られた各区画毎において複数の立体物の水平方向位置と速度の関係を求めることにより、複雑な背景下においても効率的に移動体の検出ができる。
【０１９７】
また、速度の検出精度が不足し、同じ物体を表す特徴点の画素の速度にばらつきがある場合でも、平面物と立体物の検出を精度よく行うことができる。
【０１９８】
また、検出した立体物の速度情報と、その立体物の位置で予測式により算出した背景（静止物）の速度情報とを比較することで、立体物が移動体であるか否かを簡単に判定することができる。
【０１９９】
また、検出した立体物の速度の方向と上端の位置に基づいて、移動体の検出を簡単に行うことができる。
【０２００】
さらに、予測式で算出された静止物の速度と検出した移動体の速度差に基づいて、自車両の進路中心に近づく移動体以外の移動体の移動方向の判定が可能となる。
【０２０１】
以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎず、本発明は実施例の構成にのみ限定されるものではない。したがって本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれることはもちろんである。
【０２０２】
例えば、ブロック図は上記実施例に示すものに限定されるものではなく、同等の機能を備えた構成であれば良い。
【０２０３】
また、カメラの取り付け位置は実施例で述べた位置に限定されるものではなく、カメラの光軸が車両前方正面方向（Ｚ方向）に向き、撮像面の水平軸および垂直軸がそれぞれ路面と平行および垂直となるように設定されていれば良い。
【０２０４】
また、検出したエッジの幅の正規化を行うにあたっては、エッジ幅は３画素に限定されるものではなく、任意の画素数を設定することができる。この場合、その後の処理でエッジの中央部の画素を利用するため、エッジ幅の画素数は奇数個であることが望ましい。
【０２０５】
また、ＺＸ平面を分割して設定する領域の数は上記実施例に示すものに限定されるものではなく、任意の数に分割して設定することができる。
【０２０６】
また、ＺＸ平面の縦方向および横方向の範囲は、任意の値に設定することができる。
【０２０７】
また、上記実施例では道路を走行する車両に物体検出装置１０を搭載する例について説明したが、他の移動体に搭載してもよい。
【０２０８】
さらに、上記実施例では、走路境界として、縁石、白線、外壁と路面との接点の例について説明したが、これに限定されず、例えば、ガードレール、駐車車両と路面との境界、路面と路面以外の領域（田、畑など）との境界を検出してもよい。
【図面の簡単な説明】
【０２０９】
【図１】物体検出装置の一実施の形態の構成例を示すブロック図である。
【図２】カメラ１０１の車両への設置例を示す図である。
【図３】カメラ１０１で撮像した画像の例を示す図である。
【図４】抽出したエッジを正規化して、エッジ画像を得るために行う各処理の例を示す図である。
【図５】速度画像の例を示す図である。
【図６】速度画像上に物体検出用領域を設定し、各物体検出用領域において下端点と同じ速度を持つ画素をグループ化し、グループ化した領域の上端点の位置を検出した例を示す図である。
【図７】速度画像上で検出した上端点と下端点をＺＸ平面上に座標変換し、物体が平面物か立体物かの判定を行う例を示す図である。
【図８】下端点の座標変換点のＺＸ平面上の位置分布より走路境界線を検出する例を示す図である。
【図９】検出した走路境界で区切られた領域内で検出した立体物の画像の水平方向位置と速度の関係から移動体を検出する場合の具体例を示す図である。
【図１０】物体検出装置１０の第１の実施例の処理を示すフローチャートである。
【図１１】速度画像上に物体検出用領域を設定し、各物体検出用領域において速度を持った画素をＺＸ平面上へ座標変換することで、平面物候補点か立体物候補点かを判定する例を示す図である。
【図１２】検出した平面物候補点と立体物候補点の並び方から立体物の判定を行う例を示す図である。
【図１３】物体検出装置１０の第２の実施例の処理を示すフローチャートである。
【図１４】実施例３において、カメラ１０１で撮像した画像の例を示す図である。
【図１５】速度画像の例を示す図である。
【図１６】速度画像上に物体検出用領域を設定し、各物体検出用領域において下端点と同じ速度を持つ画素をグループ化し、グループ化した領域の上端点の位置を検出した例を示す図である。
【図１７】速度画像上で検出した上端点と下端点をＺＸ平面上に座標変換し、物体が平面物か立体物かの判定を行う例を示す図である。
【図１８】下端点の座標変換点のＺＸ平面上の位置分布より走路境界線を検出する例を示す図である。
【図１９】検出した走路境界から背景を検出し、背景となる立体物の位置座標と速度との関係から画像上の任意の位置における静止物の速度を算出する予測式を決定し、この予測式による速度情報と検出した立体物の速度情報とを比較することにより移動体の検出を行う説明図である。
【図２０】実施例３の処理のフローチャートである。
【図２１】速度画像の例を示す図である。
【図２２】自車両と自車両周囲の移動体の移動方向の関係を示す図である。
【図２３】移動体の実空間上での移動方向と画面上での移動方向の関係を示す図である．
【図２４】実施例４における処理のフローチャートである。
【図２５】実施例４における移動体の移動方向の判定の処理のフローチャートである。
【符号の説明】
【０２１０】
１０ 物体検出装置
１００ 制御部
１０１ カメラ（撮像部）
１０２ 画像一時記録部
１０３ 特徴点抽出部
１０４ 座標変換部
１０５ 移動情報算出部
１０６ グループ化部
１０７ 物体属性判定部
【特許請求の範囲】
【請求項１】
自車両前方の画像を撮像する撮像部と、
前記撮像部で撮像した画像から特徴点を抽出する特徴点抽出部と、前記特徴点を表す画素の速度情報を算出する移動情報算出部と、前記画素の位置座標を実空間上の３次元における位置座標に変換する座標変換部と、前記画素の前記３次元における前記位置座標および前記画素の前記速度情報に基づいて前記特徴点が移動体であることを判定する物体属性判定部とを備えることを特徴とする物体検出装置。
【請求項２】
前記物体属性判定部は、前記画素の前記３次元における水平方向の位置座標と前記画素の速度情報との関係において前記画素の速度情報とは異なる速度情報を有する座標がある場合に、前記特徴点が移動体であると判定することを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記画像の垂直方向に隣接するとともに速度情報が所定の範囲にある前記画素をグループ化するグループ化部を備え、
前記物体属性判定部は、前記グループ化部によりグループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記３次元における位置座標に基づいて前記判定を行うことを特徴とする請求項１または２に記載の物体検出装置。
【請求項４】
前記物体属性判定部は、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記３次元の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合には前記移動体を平面物と判定し、前記最上部に位置する前記画素が前記３次元の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記３次元の前記複数の領域のうちいずれかの領域に位置する場合には前記移動体を立体物と判定することを特徴とする請求項１から３のいずれか１項に記載の物体検出装置。
【請求項５】
前記物体属性判定部は、前記画素が前記３次元の前記複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記３次元の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することを特徴とする請求項１から４のいずれか1項に記載の物体検出装置。
【請求項６】
前記物体属性判定部は、前記画素のうち前記画像の垂直方向において最下部に位置する前記画素の前記３次元における前記位置座標に基づいて前記自車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に前記移動体判定を行うことを特長とする請求項１から５のいずれか１項に記載の物体検出装置。
【請求項７】
前記特徴点が物体のエッジであることを特徴とする請求項１から６のいずれか１項に記載の物体検出装置。
【請求項８】
自車両前方の画像を撮像し、
撮像した画像から特徴点を抽出し、
抽出した特徴点を表す画素の速度情報を算出し、
前記画素の位置座標を実空間上の３次元における位置座標に変換し、
前記画素の前記３次元における前記位置座標および前記画素の前記速度情報に基づいて、
前記特徴点が移動体であることを判定することを特徴とする物体検出方法。
【請求項９】
前記移動体であることの判定は、前記画素の前記３次元における水平方向の位置座標と前記画素の速度情報との関係において前記画素の速度情報とは異なる速度情報を有する座標がある場合に、前記特徴点が移動体であると判定することを特徴とする請求項８に記載の物体検出方法。
【請求項１０】
前記画像の垂直方向に隣接するとともに速度情報が所定の範囲にある前記画素をグループ化し、
前記移動体であることの判定は、グループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記３次元における位置座標に基づいて行うことを特徴とする請求項８または９に記載の物体検出方法。
【請求項１１】
前記移動体であることの判定は、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記３次元の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合には前記移動体を平面物と判定し、前記最上部に位置する前記画素が前記３次元位の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記３次元の前記複数の領域のうちいずれかの領域に位置する場合には前記移動体を立体物と判定することを含むことを特徴とする請求項８から１０のいずれかに記載の物体検出方法。
【請求項１２】
前記移動体であることの判定は、前記画素が前記３次元の前記複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記３次元の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することを含むことを特徴とする請求項８から１１のいずれか1項に記載の物体検出方法。
【請求項１３】
前記移動体であることの判定は、前記画素のうち前記画像の垂直方向において最下部に位置する前記画素の前記３次元における前記位置座標に基づいて前記自車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に行うことを特徴とする請求項８から１２のいずれか１項に記載の物体検出方法。
【請求項１４】
前記特徴点が物体のエッジであることを特徴とする請求項８から１３のいずれか１項に記載の物体検出方法。
【請求項１５】
前記物体属性判定部は、前記３次元における前記位置座標と前記画素の速度情報とに基づいて、基準となる静止物および移動体としての判定対象となる立体物を検出し、前記基準となる静止物を構成する前記画素の前記速度情報と、前記移動体としての判定対象となる立体物を構成する前記速度情報とに基づいて、前記移動体としての判定対象となる立体物が移動体であることを判定することを特徴とする請求項１に記載の物体検出装置。
【請求項１６】
前記基準となる静止物は、背景となる立体物であることを特徴とする請求項１５に記載の物体検出装置。
【請求項１７】
前記画像の垂直方向に隣接するとともに速度情報が所定の範囲にある前記画素をグループ化するグループ化部を備え、
前記物体属性判定部は、前記グループ化部によりグループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記３次元における位置座標を検出し、検出した前記最上部に位置する前記画素が前記３次元の所定の範囲を所定の数に分割して設定した複数の領域外に位置するとともに検出した前記最下部に位置する前記画素が前記３次元の前記複数の領域のうちいずれかの領域に位置する場合にはグループ化した前記画素を立体物と判定し、
検出した複数の前記立体物の最下部に位置する前記画素が前記実空間上の３次元における位置座標において直線上に並ぶとともに、複数の前記立体物の前記最下部に位置する前記画素の速度情報が前記直線方向において一定の割合で変化する場合に、前記立体物を背景となる静止物と判定することを特徴とする請求項１５に記載の物体検出装置。
【請求項１８】
前記物体属性判定部は、前記背景となる静止物である複数の前記立体物の前記最下部に位置する前記画素の位置座標と速度とに基づいて、前記移動体としての判定対象となる立体物の位置座標における静止物の速度を算出し、算出した該静止物と前記移動体としての判定対象となる立体物との速度情報が異なる場合に、前記移動体としての判定対象となる立体物を移動体と判定することを特徴とする請求項１７に記載の物体検出装置。
【請求項１９】
前記物体属性判定部は、前記背景となる静止物である前記立体物とは反対方向の速度を持つとともに、前記背景となる静止物である前記立体物の下端位置よりも高い位置に上端位置がある立体物を移動体と判定することを特徴とする請求項１８に記載の物体検出装置。
【請求項２０】
前記物体属性判定部は、前記背景となる静止物である前記立体物と同じ方向の速度を持つ立体物の実空間上における移動方向を判定することを特徴とする請求項１８または１９に記載の物体検出装置。
【請求項２１】
前記３次元における前記位置座標と前記画素の速度情報とに基づいて、基準となる静止物および移動体としての判定対象となる立体物を検出し、前記基準となる静止物を構成する前記画素の前記速度情報と、前記移動体としての判定対象となる立体物を構成する前記速度情報とに基づいて、前記移動体としての判定対象となる立体物が移動体であることを判定することを特徴とする請求項８に記載の物体検出方法。
【請求項２２】
前記基準となる静止物は、背景となる立体物であることを特徴とする請求項２１に記載の物体検出方法。
【請求項２３】
前記画像の垂直方向に隣接するとともに速度情報が所定の範囲にある前記画素をグループ化し、グループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記３次元における位置座標を検出し、検出した前記最上部に位置する前記画素が前記３次元の所定の範囲を所定の数に分割して設定した複数の領域外に位置するとともに検出した前記最下部に位置する前記画素が前記３次元の前記複数の領域のうちいずれかの領域に位置する場合にはグループ化した前記画素を立体物と判定し、検出した複数の前記立体物の最下部に位置する前記画素が前記実空間上の３次元における位置座標において直線上に並ぶとともに、複数の前記立体物の前記最下部に位置する前記画素の速度情報が前記直線方向において一定の割合で変化する場合に、前記立体物を背景となる静止物と判定することを特徴とする請求項２１に記載の物体検出方法。
【請求項２４】
前記背景となる静止物である複数の前記立体物の前記最下部に位置する前記画素の位置座標と速度とに基づいて、前記移動体としての判定対象となる立体物の位置座標における静止物の速度を算出し、算出した該静止物と前記移動体としての判定対象となる立体物との速度情報が異なる場合に、前記移動体としての判定対象となる立体物を移動体と判定することを特徴とする請求項２３に記載の物体検出方法。
【請求項２５】
前記背景となる静止物である前記立体物とは反対方向の速度を持つとともに、前記背景となる静止物である前記立体物の下端位置よりも高い位置に上端位置がある立体物を移動体と判定することを特徴とする請求項２４に記載の物体検出方法。
【請求項２６】
前記背景となる静止物である前記立体物と同じ方向の速度を持つ立体物の実空間上における移動方向を判定することを特徴とする請求項２４または２５に記載の物体検出方法。
【請求項１】
自車両前方の画像を撮像する撮像部と、
前記撮像部で撮像した画像から特徴点を抽出する特徴点抽出部と、前記特徴点を表す画素の速度情報を算出する移動情報算出部と、前記画素の位置座標を実空間上の３次元における位置座標に変換する座標変換部と、前記画素の前記３次元における前記位置座標および前記画素の前記速度情報に基づいて前記特徴点が移動体であることを判定する物体属性判定部とを備えることを特徴とする物体検出装置。
【請求項２】
前記物体属性判定部は、前記画素の前記３次元における水平方向の位置座標と前記画素の速度情報との関係において前記画素の速度情報とは異なる速度情報を有する座標がある場合に、前記特徴点が移動体であると判定することを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記画像の垂直方向に隣接するとともに速度情報が所定の範囲にある前記画素をグループ化するグループ化部を備え、
前記物体属性判定部は、前記グループ化部によりグループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記３次元における位置座標に基づいて前記判定を行うことを特徴とする請求項１または２に記載の物体検出装置。
【請求項４】
前記物体属性判定部は、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記３次元の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合には前記移動体を平面物と判定し、前記最上部に位置する前記画素が前記３次元の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記３次元の前記複数の領域のうちいずれかの領域に位置する場合には前記移動体を立体物と判定することを特徴とする請求項１から３のいずれか１項に記載の物体検出装置。
【請求項５】
前記物体属性判定部は、前記画素が前記３次元の前記複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記３次元の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することを特徴とする請求項１から４のいずれか1項に記載の物体検出装置。
【請求項６】
前記物体属性判定部は、前記画素のうち前記画像の垂直方向において最下部に位置する前記画素の前記３次元における前記位置座標に基づいて前記自車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に前記移動体判定を行うことを特長とする請求項１から５のいずれか１項に記載の物体検出装置。
【請求項７】
前記特徴点が物体のエッジであることを特徴とする請求項１から６のいずれか１項に記載の物体検出装置。
【請求項８】
自車両前方の画像を撮像し、
撮像した画像から特徴点を抽出し、
抽出した特徴点を表す画素の速度情報を算出し、
前記画素の位置座標を実空間上の３次元における位置座標に変換し、
前記画素の前記３次元における前記位置座標および前記画素の前記速度情報に基づいて、
前記特徴点が移動体であることを判定することを特徴とする物体検出方法。
【請求項９】
前記移動体であることの判定は、前記画素の前記３次元における水平方向の位置座標と前記画素の速度情報との関係において前記画素の速度情報とは異なる速度情報を有する座標がある場合に、前記特徴点が移動体であると判定することを特徴とする請求項８に記載の物体検出方法。
【請求項１０】
前記画像の垂直方向に隣接するとともに速度情報が所定の範囲にある前記画素をグループ化し、
前記移動体であることの判定は、グループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記３次元における位置座標に基づいて行うことを特徴とする請求項８または９に記載の物体検出方法。
【請求項１１】
前記移動体であることの判定は、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記３次元の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合には前記移動体を平面物と判定し、前記最上部に位置する前記画素が前記３次元位の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記３次元の前記複数の領域のうちいずれかの領域に位置する場合には前記移動体を立体物と判定することを含むことを特徴とする請求項８から１０のいずれかに記載の物体検出方法。
【請求項１２】
前記移動体であることの判定は、前記画素が前記３次元の前記複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記３次元の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することを含むことを特徴とする請求項８から１１のいずれか1項に記載の物体検出方法。
【請求項１３】
前記移動体であることの判定は、前記画素のうち前記画像の垂直方向において最下部に位置する前記画素の前記３次元における前記位置座標に基づいて前記自車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に行うことを特徴とする請求項８から１２のいずれか１項に記載の物体検出方法。
【請求項１４】
前記特徴点が物体のエッジであることを特徴とする請求項８から１３のいずれか１項に記載の物体検出方法。
【請求項１５】
前記物体属性判定部は、前記３次元における前記位置座標と前記画素の速度情報とに基づいて、基準となる静止物および移動体としての判定対象となる立体物を検出し、前記基準となる静止物を構成する前記画素の前記速度情報と、前記移動体としての判定対象となる立体物を構成する前記速度情報とに基づいて、前記移動体としての判定対象となる立体物が移動体であることを判定することを特徴とする請求項１に記載の物体検出装置。
【請求項１６】
前記基準となる静止物は、背景となる立体物であることを特徴とする請求項１５に記載の物体検出装置。
【請求項１７】
前記画像の垂直方向に隣接するとともに速度情報が所定の範囲にある前記画素をグループ化するグループ化部を備え、
前記物体属性判定部は、前記グループ化部によりグループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記３次元における位置座標を検出し、検出した前記最上部に位置する前記画素が前記３次元の所定の範囲を所定の数に分割して設定した複数の領域外に位置するとともに検出した前記最下部に位置する前記画素が前記３次元の前記複数の領域のうちいずれかの領域に位置する場合にはグループ化した前記画素を立体物と判定し、
検出した複数の前記立体物の最下部に位置する前記画素が前記実空間上の３次元における位置座標において直線上に並ぶとともに、複数の前記立体物の前記最下部に位置する前記画素の速度情報が前記直線方向において一定の割合で変化する場合に、前記立体物を背景となる静止物と判定することを特徴とする請求項１５に記載の物体検出装置。
【請求項１８】
前記物体属性判定部は、前記背景となる静止物である複数の前記立体物の前記最下部に位置する前記画素の位置座標と速度とに基づいて、前記移動体としての判定対象となる立体物の位置座標における静止物の速度を算出し、算出した該静止物と前記移動体としての判定対象となる立体物との速度情報が異なる場合に、前記移動体としての判定対象となる立体物を移動体と判定することを特徴とする請求項１７に記載の物体検出装置。
【請求項１９】
前記物体属性判定部は、前記背景となる静止物である前記立体物とは反対方向の速度を持つとともに、前記背景となる静止物である前記立体物の下端位置よりも高い位置に上端位置がある立体物を移動体と判定することを特徴とする請求項１８に記載の物体検出装置。
【請求項２０】
前記物体属性判定部は、前記背景となる静止物である前記立体物と同じ方向の速度を持つ立体物の実空間上における移動方向を判定することを特徴とする請求項１８または１９に記載の物体検出装置。
【請求項２１】
前記３次元における前記位置座標と前記画素の速度情報とに基づいて、基準となる静止物および移動体としての判定対象となる立体物を検出し、前記基準となる静止物を構成する前記画素の前記速度情報と、前記移動体としての判定対象となる立体物を構成する前記速度情報とに基づいて、前記移動体としての判定対象となる立体物が移動体であることを判定することを特徴とする請求項８に記載の物体検出方法。
【請求項２２】
前記基準となる静止物は、背景となる立体物であることを特徴とする請求項２１に記載の物体検出方法。
【請求項２３】
前記画像の垂直方向に隣接するとともに速度情報が所定の範囲にある前記画素をグループ化し、グループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記３次元における位置座標を検出し、検出した前記最上部に位置する前記画素が前記３次元の所定の範囲を所定の数に分割して設定した複数の領域外に位置するとともに検出した前記最下部に位置する前記画素が前記３次元の前記複数の領域のうちいずれかの領域に位置する場合にはグループ化した前記画素を立体物と判定し、検出した複数の前記立体物の最下部に位置する前記画素が前記実空間上の３次元における位置座標において直線上に並ぶとともに、複数の前記立体物の前記最下部に位置する前記画素の速度情報が前記直線方向において一定の割合で変化する場合に、前記立体物を背景となる静止物と判定することを特徴とする請求項２１に記載の物体検出方法。
【請求項２４】
前記背景となる静止物である複数の前記立体物の前記最下部に位置する前記画素の位置座標と速度とに基づいて、前記移動体としての判定対象となる立体物の位置座標における静止物の速度を算出し、算出した該静止物と前記移動体としての判定対象となる立体物との速度情報が異なる場合に、前記移動体としての判定対象となる立体物を移動体と判定することを特徴とする請求項２３に記載の物体検出方法。
【請求項２５】
前記背景となる静止物である前記立体物とは反対方向の速度を持つとともに、前記背景となる静止物である前記立体物の下端位置よりも高い位置に上端位置がある立体物を移動体と判定することを特徴とする請求項２４に記載の物体検出方法。
【請求項２６】
前記背景となる静止物である前記立体物と同じ方向の速度を持つ立体物の実空間上における移動方向を判定することを特徴とする請求項２４または２５に記載の物体検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２００８−７７６２４（Ｐ２００８−７７６２４Ａ）
【公開日】平成２０年４月３日（２００８．４．３）
【国際特許分類】
【出願番号】特願２００６−３２４１５５（Ｐ２００６−３２４１５５）
【出願日】平成１８年１１月３０日（２００６．１１．３０）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成２０年４月３日（２００８．４．３）
【国際特許分類】
【出願日】平成１８年１１月３０日（２００６．１１．３０）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]