物体検出装置、および方法
【課題】 自車両前方を撮像した画像内に存在する道路上の境界線を簡易に検出すること。
【解決手段】 制御装置１０３は、カメラ１０１で撮像した自車両前方の画像を画像処理して、各画素の画像の速度情報を算出し、算出した各画素の画像の速度情報に基づいて、速度情報を有する画素を抽出し、抽出した画素によって構成される斜線を検出し、検出した斜線に基づいて道路上の境界線を検出する。
【解決手段】 制御装置１０３は、カメラ１０１で撮像した自車両前方の画像を画像処理して、各画素の画像の速度情報を算出し、算出した各画素の画像の速度情報に基づいて、速度情報を有する画素を抽出し、抽出した画素によって構成される斜線を検出し、検出した斜線に基づいて道路上の境界線を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両前方に存在する移動物体を検出する物体検出装置、および方法に関する。
【背景技術】
【０００２】
次のような自動車用の走行制御装置が特許文献１によって知られている。画像からエッジを検出し、最も直線上に並んでいるエッジ列をハフ変換して走路端を検出する。
【０００３】
【特許文献１】特開平１０−２１４３２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置では、走路端を検出するためにハフ変換を行っていたが、ハフ変換は、走路端を構成する点を検出するごとにパラメータ空間に曲線を描き、曲線上の点の累積値を加算する必要があり、この処理を走路端を構成する全ての点に対して行わなければならないため、処理が重くなるという問題が生じていた。
【課題を解決するための手段】
【０００５】
本発明は、撮像手段で撮像した自車両前方の画像を画像処理して、各画素の画像の速度情報を算出し、算出した各画素の画像の速度情報に基づいて、速度情報を有する画素を抽出し、抽出した速度成分を有する画素によって構成される斜線を検出し、検出した斜線に基づいて、自車両前方の画像内に存在する道路上の境界線を検出することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、各画素の画像の速度情報に基づいて検出した斜線に基づいて、走路端などの自車両前方の画像内に存在する道路上の境界線を検出することができるため、ハフ変換のような複雑な処理を行う必要がなく、処理を軽くすることができる。
【発明を実施するための最良の形態】
【０００７】
―第１の実施の形態―
図１は、第１の実施の形態における物体検出装置の一実施の形態の構成例を示すブロック図である。物体検出装置１００は車両に搭載され、車両前方を撮像するカメラ１０１と、カメラ１０１で撮像した画像を格納する画像メモリ１０２と、カメラ１０１で撮像されて画像メモリ１０２に記憶した画像に対して画像処理を実行する制御装置１０３と、後述する画素カウンタのカウント値を記憶するカウンタメモリ１０４と、音声を出力するスピーカー１０５と、車両の自動ブレーキを制御する自動ブレーキ装置１０６と、自車両の車速を検出する車速センサ１０７とを備えている。
【０００８】
カメラ１０１は、例えばＣＣＤやＣＭＯＳなどの撮像素子を有した高速カメラであり、連続的に車両前方を撮像し、各フレームごとに画像メモリ１０２に出力する。なお、カメラ１０１は、図２に示すように車両の室内上部前方に設置される。その視軸向きＺは車両前方正面方向に向き、撮像面の水平軸Ｘは地表面と平行となるように、また撮像面の垂直軸Ｙは地表面と垂直になるように設定されている。カメラ１０１で撮像した連続画像は、画像メモリ１０２に出力されて格納される。
【０００９】
カメラ１０１で撮像した画像（自車両前方の画像）の具体例を図３に示す。カメラ１０１による撮像画像３ａは、画像左上を原点として左から右へx軸、上から下へy軸とするｘｙ座標系（カメラ座標）によって表される。なお、図３においては、左右の走路脇に設置された縁石、白線、またはガードレールなどの走路端Ａ、およびＢ、すなわち道路上の境界線と、車両前方に存在する歩行者Ｃとが撮像画像３ａ内に含まれている。
【００１０】
制御装置１０３は、後述するように画像メモリ１０２に記憶された撮像画像３ａを画像処理して、自車両前方に存在する物体の検出を行い、自車両が自車両前方に存在する物体に衝突する危険性がある場合には、スピーカー１０５を介して運転者に警報（警告音）を出力したり、自動ブレーキ装置１０６を制御して自車両を自動的に減速、または停止させる。自車両前方に存在する物体の検出を行うに当たっては、まず撮像画像３ａ内に存在する物体の画像内における横方向（水平方向）の移動速度を検出して、撮像画像３ａ内における物体の横方向の移動方向と移動速度とを階級値で表した速度画像を生成する。
【００１１】
すなわち、カメラ１０１で撮像された画像を画像メモリ１０２から読み込み、読み込んだ撮像画像３ａに対して所定の閾値を用いて２値化することによって、画像内に存在する物体のエッジを抽出する。そして、抽出した画像内の各エッジに対して、細線化処理を行ってエッジの中心を正確に求める。そして、細線化されたエッジを、エッジ幅が一定の幅、例えば３画素分の幅になるように膨張させる。このように抽出したエッジを正規化することによって、各エッジが均一な幅を持ったエッジ画像を得ることができる。
【００１２】
図４は、上述した抽出したエッジを正規化して、エッジ画像を得るために行う各処理の具体例を示す図である。すなわち、図４（ａ）に示す２値化して得たエッジに対して、細線化処理を行って図４（ｂ）に示す細線化後のエッジを得る。そして、細線化したエッジを膨張させ、図４（ｃ）に示すようにエッジに一定の幅を持たせる。
【００１３】
その後、カウンタメモリ１０４に保存された画素カウンタの内、現在エッジ画像内にエッジが存在している画素に対応した画素カウンタのカウント値を更新する。画素カウンタとは、エッジ画像の各画素に対応したカウンタであり、エッジが存在する画素に対応する画素カウンタのカウント値に１を加算し、エッジが存在しない画素に対応する画素カウンタのカウント値は０で初期化する。このカウンタ値の更新処理を、カメラ１０１で連続的に撮像される毎フレームごとに行うことで、エッジ存在時間が長い画素はカウント値が大きく、エッジ存在時間が短い画素はカウント値が小さくなる。
【００１４】
そして、エッジ画像において、横方向に隣接するそれぞれの画素に対応する画素カウンタのカウント値の差分を取ることで各画素におけるエッジ存在時間の差を算出して、当該エッジが１画素移動するのに要する時間を得る。そして、この値の逆数を得ることで、各画素における画像空間内の横方向の速度を算出することができる。この各画素における画像空間内の横方向の速度は、各画素に含まれるエッジの横方向の移動速度に相当する。これによって、画像上の各画素におけるエッジの速度成分、すなわちエッジの移動方向と移動速度とを算出することができる。
【００１５】
以上の処理によって算出した撮像画像３ａ上に存在する物体の速度成分を所定の階級値で表した速度画像を生成する。第１の実施の形態における速度画像では、図５に示す速度画像５ａのように、速度成分の階級値として、速度が検出された画素を丸型の点で表し、移動速度が速い画素ほど点を大きく示す。また、右へ向かう速度を黒点で表し、左へ向かう速度を白点で表すことによって移動方向を表している。すなわち、図５においては、走行路右側の走路端Ｂからは画像の左側へ向かう速度が検出されており、走行路左側の走路端Ａ、および歩行者Ｃからは画像の右側へ向かう速度が検出されている。また、点の大きさから、走路端ＡおよびＢから検出された移動速度よりも歩行者Ｃから検出された移動速度の方が速いことが判断できる。
【００１６】
次に、算出した速度画像５ａに走路端などの道路上の境界線を検出するための境界線検出用領域を設定する。境界線検出用領域は、自車両が車線内を走行しながら前方の画像を撮像した場合に、速度画像５ａ上で道路上の境界線としての走路端が存在する位置をあらかじめ予測しておき、その位置に所定の大きさの領域を設定する。例えば、図６に示すように速度画像５ａ上で左右に存在する走路端を検出できるように、左右対称となる境界線検出用領域６ａ〜６ｈを設定する。そして、設定した境界線検出用領域６ａ〜６ｈの中に速度成分を有する斜線が存在するか否かを判定する。すなわち、境界線検出用領域６ａ〜６ｈの各領域内において、速度成分を有する画素が斜線を構成するように斜めに並んでいるか否かを判断する。
【００１７】
そして、左右対称に設定された境界線検出用領域６ａ〜６ｈにおいて、それぞれ左右に対となる境界線検出用領域、例えば境界線検出用領域６ｄおよび６ｈで斜線が検出された場合に、それぞれで検出された斜線が異なる方向の速度成分を有している場合には、その左右に対となる境界線検出用領域内で検出した斜線は走路端であると判定する。すなわち、境界線検出用領域６ｄと境界線検出用領域６ｈ内で検出された斜線が異なる方向の速度成分を有している場合には、境界線検出用領域６ｄ、および境界線検出用領域６ｈ内で検出した斜線は走路端であると判定する。
【００１８】
走路端として検出した各境界線検出用領域内の斜線において、その始点や終点などを代表点として抽出する。例えば境界線検出用領域６ａからは代表点６ｉを抽出し、境界線検出用領域６ｅからは左代表点６ｊを抽出する。抽出した各代表点に基づいて、重回帰分析を行い、ｘｙ座標系におけるそれぞれの斜線の式を算出することによって次式（１）によって表される２次元道路モデル、すなわち画像道路モデルを算出する。
ｘ＝ａ１・ｙ２＋ｂ１・ｙ＋ｃ１ ・・・（１）
そして、図７に示すように、自車両の推定進行経路に相当する２次元道路モデルの中心７ａを算出する。
【００１９】
次に、後述するように２次元道路モデルの中心７ａに向かう速度成分を持つ画素を抽出する。そして、抽出した画素の内、同じ速度成分を持つ画素をグルーピングして個別の物体として検出する。まず、図７に示すように速度画像上に所定の範囲を含む領域、例えば縦１画素、横３画素の大きさの領域を下端検出用小領域７ｂとして設定し、下端検出用小領域７ｂを速度画像のｙ軸方向の下から上に走査する。そして、下端検出用小領域７ｂ内に所定以上、例えば２以上の２次元道路モデルの中心７ａに向かう同じ速度成分を持つ画素が存在（分布）する点を検出し、そのときに下端検出用小領域７ｂの下端に位置する画素を物体下端位置７ｃとして検出する。
【００２０】
そして、物体下端位置７ｃからy軸方向に速度画像のヒストグラムを算出する。すなわち、物体下端位置７ｃからy軸方向に存在する２次元道路モデルの中心７ａに向かう同じ速度成分を持つ画素のｘ軸方向の度数分布を表すヒストグラムを算出する。そして、このときの物体下端位置７ｃの座標値をｙｄ、各ｙ座標値における２次元道路モデルの中心７ａに向かう同じ速度成分を持つ画素の度数をＶ（ｙｉ）としたときの、あらかじめ設定された歩行者Ｃの基準高さｙｍの範囲における度数の和を次式（２）により算出する。
【数１】
【００２１】
式（２）で算出した度数の和が、所定値Ｔ１以上であれば、当該２次元道路モデルの中心７ａに向かう速度成分を持つ画素が分布している範囲内に２次元道路モデルの中心７ａに向かう移動物体が存在すると判定する。そして、移動物体が存在すると判定した場合には、あらかじめ設定された歩行者Ｃの基準高さｙｍ以上となる位置で、かつｙ座標値における２次元道路モデルの中心７ａに向かう速度成分を持つ画素の度数Ｖ（ｙｉ）が所定値Ｔ２未満となる直前の位置、例えば図８に符号８ａで示す位置を移動物体が存在する上端位置、すなわち物体上端位置８ａとして検出する。
【００２２】
さらに、物体下端位置７ｃと物体上端位置８ａとの間の範囲に対して、ｘ軸方向に連続して存在する２次元道路モデルの中心７ａに向かう同じ速度成分を持つ画素の最も外側の画素を通るｙ軸と平行な直線を引き、当該ｙ軸に平行な直線と、物体下端位置７ｃおよび物体上端位置８ａとで囲まれる範囲を移動物体が存在する範囲（物体存在範囲）８ｂとして特定する。これによって、速度画像５ａ上において、２次元道路モデルの中心７ａに向かう同じ速度成分を持つ画素をグルーピングして、側方から２次元道路モデルの中心７ａに向かって移動している歩行者Ｃを含む物体存在範囲８ｂ検出することができる。
【００２３】
上述した処理で検出した速度画像５ａ上の走路端Ａ、Ｂ、および物体存在範囲８ｂの位置を、実空間上の位置に変換する。このとき、本実施の形態では、自車両の走行中に発生するピッチングを考慮に入れて、以下に説明するように実空間上の位置に変換する。
【００２４】
例えば、自車両がピッチングによって沈み込む方向、すなわち下方向に移動している間は、カメラ１０１の視軸向きは図２に示した路面に水平な状態よりも下向きになる。よってこの場合は、図９に示すように速度画像５ａ上の時刻ｔにおける走路端ＡおよびＢの位置から時刻ｔ＋１における走路端ＡおよびＢの位置へ上方向に移動する。これによって、走路端Ａを示す斜線は速度画像５ａ上で右方向へ移動するように速度成分が検出され、走路端Ｂを示す斜線は速度画像５ａ上で左方向へ移動するように速度成分が検出される。
【００２５】
一方、自車両がピッチングによって浮き上がる方向、すなわち上方向に移動している間は、カメラ１０１の視軸向きは図２に示した路面に水平な状態よりも上向きになることから、ピッチングに伴って速度画像５ａ上の走路端ＡおよびＢの位置は下方向に移動する。これによって、走路端Ａを示す斜線は速度画像５ａ上で左方向へ移動するように速度成分が検出され、走路端Ｂを示す斜線は速度画像５ａ上で右方向へ移動するように速度成分が検出される。
【００２６】
以上の点を考慮して、走路端ＡおよびＢを示す斜線の画像上における速度の方向が変化する点をピッチングの平衡点、すなわちカメラ１０１の視軸向きが路面と水平な点であると判断する。そして、このピッチングの平衡点における速度画像５ａにおいては、上述したようにカメラ１０１の視軸向きが路面と水平であることから、走路端ＡおよびＢ上に任意に設定した代表点の座標値とカメラ１０１のカメラパラメータとに基づいて、三角測量により代表点の３次元座標値を算出することが可能となる。
【００２７】
よって、図１０に示すように速度画像５ａ上の走路端ＡおよびＢに任意の代表点１０ａおよび１０ｂを設定し、この代表点の座標値とカメラ１０１のカメラパラメータとに基づいて、三角測量により代表点の３次元座標値を算出する。そして、この代表点の３次元座標値に基づいて、走路端ＡおよびＢを示す斜線の位置を実空間上の位置に変換して、３次元道路モデル、すなわち実空間道路モデルを算出する。これによって、２次元道路モデルで表した走路端ＡおよびＢの位置を実空間上の３次元道路モデルに変換することができる。
【００２８】
また、速度画像５ａ上における物体存在範囲８ｂ上に設定した物体中心点１０ｃの座標値と、カメラ１０１のカメラパラメータとに基づいて、物体存在範囲８ｂに含まれる歩行者Ｃの実空間上における位置を算出する。これによって、速度画像５ａ上の歩行者Ｃの位置を実空間上の位置に変換することができる。そして、実空間上における走路端Ａ、Ｂ、および歩行者Ｃの位置関係に基づいて、自車両から歩行者Ｃまでの距離、および歩行者Ｃから走路端までの距離を算出する。なお、自車両から歩行者Ｃまでの距離は、自車両から歩行者Ｃまでの直線距離ではなく、自車両から歩行者Ｃの存在位置に相当する車線上の位置である。
【００２９】
一方、ピッチングの平衡点ではない速度画像５ａにおいては、上述したようにカメラ１０１の視軸向きが路面と水平でないことから、ピッチングの平衡点における速度画像５ａにおいて変換した走路端Ａ、Ｂ、および歩行者Ｃの実空間上の位置と、ピッチングの平衡点における速度画像５ａと現在の速度画像５ａとの撮像時間間隔とに基づいて、それぞれの実空間上における位置を推定する。そして、推定した実空間上における走路端Ａ、Ｂ、および歩行者Ｃの位置関係に基づいて、自車両から歩行者Ｃまでの距離、および歩行者Ｃから走路端までの距離を推定する。
【００３０】
そして、走路端ＡおよびＢと、歩行者Ｃとの実空間上における位置関係に基づいて、自車両と歩行者Ｃとの接触危険度を以下の（１）〜（３）の３段階のレベルで判定する。
（１）レベル３
走路端と歩行者Ｃとの実空間上における位置関係から、自車両と歩行者Ｃとの衝突危険度が最も高いと判定される場合に、接触危険度はレベル３であると判定する。すなわち、図１１に示すように、歩行者Ｃが符号１１ａに示す左右両側に存在する走路端の内側、すなわち自車両１１ｄが走行中の車線内を移動しているときは、自車両１１ｄと歩行者Ｃとの衝突危険度はレベル３であると判定する。
【００３１】
（２）レベル２
走路端と歩行者Ｃとの実空間上における位置関係から、自車両と歩行者Ｃとの衝突危険度がレベル３ほどは高くないが、なお衝突の可能性があると判定される場合に、接触危険度はレベル２であると判定する。具体的には、歩行者Ｃが符号１１ｂに示す範囲、すなわち走路端の外側、かつ走路端から歩行者Ｃまでの距離がｘ０（ｍ）以内の範囲を走路端に向かって移動しているときは、自車両１１ｄと歩行者Ｃとの衝突危険度はレベル２であると判定する。なお、上述した距離ｘ０（ｍ）は、上述した処理で検出した歩行者Ｃの移動速度、および自車両１１ｄから歩行者Ｃまでの距離と、車速センサ１０７で検出した自車両の車速とに基づいて算出される。
【００３２】
（３）レベル１
走路端と歩行者Ｃとの実空間上における位置関係から、自車両と歩行者Ｃとが衝突する危険がないと判定される場合に、接触危険度はレベル１であると判定する。具体的には、歩行者Ｃが符号１１ｃに示す範囲、すなわち走路端からｘ０（ｍ）より外側の範囲を移動しているときは、自車両１１ｄと歩行者Ｃとの衝突危険度はレベル１であると判定する。なお、衝突危険度の判定結果がレベル１である場合には、自車両と歩行者Ｃとは衝突の危険がないことから、後述する衝突を回避するための車両制御は行わない。
【００３３】
また、衝突の危険度は、自車両から歩行者Ｃまでの距離によっても変化するため、自車両から歩行者Ｃまでの距離を次式（３）〜（５）で算出される距離で分類し、この分類結果に基づいて、後述するように自車両と歩行者Ｃとの衝突を回避するための車両制御を行う。なお、次式（３）〜（５）において、Ｖは自車両１１ｄの車速、ｇは重力加速度、ｚ０は歩行者Ｃの存在位置に相当する車線上の位置から目標停止ラインまでの距離１１ｅである。
ｚ３＝（１／２）＊（Ｖ２＊０．５ｇ）＋Ｖ＊２＋ｚ０ ・・・（３）
ｚ２＝（１／２）＊（Ｖ２＊０．５ｇ）＋Ｖ＊１＋ｚ０ ・・・（４）
ｚ１＝（１／２）＊（Ｖ２＊０．６ｇ）＋ｚ０ ・・・（５）
【００３４】
上述した処理で判定した衝突危険度と、式（３）〜（５）により分類した自車両から歩行者Ｃまでの距離とに基づいて、以下の（Ａ）〜（Ｃ）の３つの制御モードによって歩行者Ｃとの衝突を回避するための車両制御を行う。
【００３５】
（Ａ）注意
衝突危険度がレベル３であり、かつ自車両から歩行者Ｃまでの距離がｚ２より長くｚ３以下である場合に制御モードを「注意」とする。制御モードが「注意」の場合は、スピーカー１０５を介して注意音を出力することによって、運転者に対して自車両前方に衝突の危険がある移動物体が存在することを報知する。
【００３６】
（Ｂ）警告
衝突危険度がレベル２の場合、および衝突危険度がレベル３であり、かつ自車両から歩行者Ｃまでの距離がｚ２以下である場合に制御モードを「警告」とする。制御モードが「警告」の場合は、ピーカー１０５を介して警告音を出力することによって、運転者に対して自車両前方に衝突の危険性が高い移動物体が存在することを警告する。なお、警告音は、（Ａ）で上述した「注意」における注意音と運転者が識別可能なように、例えば注意音よりも警告音の音量を大きくしたり、注意音と警告音のリズムを変更したりする。
【００３７】
（Ｃ）自動ブレーキ
衝突危険度はレベル３であり、かつ自車両から歩行者Ｃまでの距離がｚ１以下である場合に、制御モードを「自動ブレーキ」とする。制御モードが「自動ブレーキ」の場合は、自動ブレーキ装置１０６を制御して、自車両を強制的に制動する。すなわち、歩行者Ｃとの衝突危険視が極めて高い場合には、運転者が上述した注意音や警告音を認知してから制動動作に入っても間に合わない可能性がある。よって、このような場合には、自動ブレーキ装置１０６を制御して自車両を強制的に停止させる。なお、制御モードを「自動ブレーキ」としたときは、同時に「警告」も行う。
【００３８】
図１２は、第１の実施の形態における物体検出装置１００の処理を示すフローチャートである。図１２に示す処理は車両のイグニションスイッチがオンされて、物体検出装置１００の電源がオンされると、制御装置１０３によって起動されるプログラムとして実行される。ステップＳ１において、カメラ１０１で撮像された自車両前方の画像３ａを画像メモリ１０２から取り込む。その後、ステップＳ２へ進み、画像３ａに対してエッジ抽出処理を行って、撮像画像３ａ内に存在する物体の輪郭を抽出したエッジ画像を生成し、ステップＳ３へ進む。ステップＳ３では、上述したように各画素に含まれるエッジの速度情報を算出し、算出した速度情報を所定の階調値に変換した速度画像を算出する。その後、ステップＳ４へ進む。
【００３９】
ステップＳ４では、算出した速度画像上に境界線検出用領域を設定して、ステップＳ５へ進む。ステップＳ５では、境界線検出用領域内に速度成分を有する画素が斜線を構成するように斜めに並んでいるか否かを判断して斜線を検出する。その後、ステップＳ６へ進み、左右に対となる境界線検出用領域で検出された斜線が異なる方向の速度成分を有しているか否かを判定して、検出した斜線が走路端であるか否かを判定する。検出した斜線が走路端でないと判断した場合には、後述するステップＳ２２へ進む。一方、検出した斜線が走路端であると判断した場合には、ステップＳ７へ進む。
【００４０】
ステップＳ７では、上述したように２次元道路モデル、すなわち画像道路モデルを算出して、ステップＳ８へ進む。ステップＳ８では、２次元道路モデルの中心に向かう速度成分を持つ画素を抽出する。その後、ステップＳ９へ進み、抽出した画素の内、同じ速度成分を持つ画素をグルーピングして個別の物体として検出して、ステップＳ１０へ進む。ステップＳ１０では、抽出した画素のグルーピングが完了し、速度画像上に存在する全ての物体が検出されたか否かを判断する。速度画像上に存在する全ての物体が検出されたと判断した場合には、ステップＳ１１へ進む。
【００４１】
ステップＳ１１では、走路端を示す斜線の画像上における速度方向の変化を検出してピッチングの平衡点であるか否かを判断する。ピッチングの平衡点であると判断した場合には、ステップＳ１２へ進む。ステップＳ１２では、走路端を示す斜線の位置を実空間上の位置に変換して、３次元道路モデルを算出する。その後、ステップＳ１４に進み、実空間上における走路端と検出物体との相対的な位置関係、すなわち走路端と検出物体との距離、および自車両と検出物体との距離を算出して、後述するステップＳ１６へ進む。
【００４２】
一方、ピッチングの平衡点でないと判断した場合には、ステップＳ１３へ進む。ステップＳ１３では、上述したように、ピッチングの平衡点における速度画像と現在の速度画像との撮像時間間隔とに基づいて３次元道路モデルを推定し、ステップＳ１５へ進む。ステップＳ１５では、実空間上における走路端と検出物体との相対的な位置関係、すなわち走路端と検出物体との距離、および自車両と検出物体との距離を推定して、ステップＳ１６へ進む。
【００４３】
ステップＳ１６では、走路端と、検出物体との実空間上における位置関係に基づいて、自車両と検出物体との接触危険度が上述したレベル１〜レベル３のいずれであるかを判定する。接触危険度がレベル１であると判定した場合には、自車両と検出物体とは衝突の危険がないことから、衝突を回避するための車両制御は行わず、後述するステップＳ２２へ進む。これに対して、接触危険度がレベル２または３であると判定した場合には、ステップＳ１７へ進む。ステップＳ１７では、自車両から検出物体までの距離に基づいて、衝突を回避するための車両制御のモードを判定する。
【００４４】
制御モードが上述した「注意」である場合には、ステップＳ１９へ進み、スピーカー１０５を介して注意音を出力して、後述するステップＳ２２へ進む。これに対して、制御モードが「警告」、または「自動ブレーキ」である場合には、ステップＳ１８へ進み、スピーカー１０５を介して警告音を出力して、ステップＳ２０へ進む。ステップＳ２０では、制御モードが「自動ブレーキ」であるか否かを判定する。制御モードが「自動ブレーキ」でない場合には、後述するステップＳ２２へ進む。一方、制御モードが「自動ブレーキ」である場合には、ステップＳ２１へ進む。
【００４５】
ステップＳ２１では、自動ブレーキ装置１０６を制御して、自車両を強制的に制動する。その後、ステップＳ２２へ進む。ステップＳ２２では、自車両のイグニションスイッチがオフされたか否かを判断し、オフされないと判断した場合には、ステップＳ１へ戻って処理を繰り返す。これに対して、自車両のイグニションスイッチがオフされたと判断した場合には、処理を終了する。
【００４６】
以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）カメラ１０１で撮像した画像に基づいて算出した速度画像上に境界線検出用領域を設定し、それぞれ左右に対となる境界線検出用領域で検出された斜線が異なる方向の速度成分を有している場合には、その左右に対となる境界線検出用領域内で検出した斜線は道路上の境界線、すなわち走路端であると判定することとした。これによって、カメラ１０１で撮像した画像に含まれる走路端は光軸と平行な直線成分のため、画像上では必ず斜線として撮像され、さらに斜線は速度が発生しやすいことを加味して、精度高く走路端を検出することができる。
【００４７】
（２）走路端ＡおよびＢを示す斜線の画像上における速度の方向が変化する点をピッチングの平衡点と判断するようにした。これによって、画像上における斜線の速度方向を計測するだけで，容易にピッチングの平衡点が検出できる。
【００４８】
（３）ピッチングの平衡点における走路端ＡおよびＢにおける代表点の座標値とカメラ１０１のカメラパラメータとに基づいて、三角測量により代表点の３次元座標値を算出するようにした。これによって、ピッチング平衡点ではカメラパラメータは取付時の初期状態とほぼ一致するため三角測量の測距の精度が高いことを加味して、精度高く３次元座標値を算出することができる。
【００４９】
（４）走路端ＡおよびＢと、歩行者Ｃとの実空間上における相対的な位置関係に基づいて、自車両と歩行者Ｃとの接触危険度を判定し、さらに自車両と歩行者Ｃとの距離を加味して歩行者Ｃとの衝突を回避するための車両制御を行うようにした。これによって、危険度を正確に判定することができ、さらに自車両と歩行者Ｃとの衝突を防止することができる。
【００５０】
―第２の実施の形態―
第２の実施の形態では、第１の実施の形態で検出した自車両の両側に対で存在する走路端だけではなく、例えば複数車線道路における隣接する複数の車線の境界線や道路と建物の境界線などといった種々の道路上の境界線を検出する。
【００５１】
なお、図１に示したブロック図、図２に示した車両へのカメラ１０１の設置例を示す図、および図４に示したエッジの正規化の例を示す図については、第１の実施の形態と同様のため説明を省略する。また、図７〜１１で説明した、検出した走路端に基づいて２次元道路モデルの算出処理、および２次元道路モデルの中心に向かう物体を含む物体存在範囲の検出処理、３次元道路モデル上に変換した道路上の境界線と物体との位置関係に基づく危険度判定処理、および危険度判定結果に基づく車両制御または警告処理については、第１の実施の形態における処理と同様のため説明を省略する。
【００５２】
図１３は、第２の実施の形態におけるカメラ１０１で撮像した撮像画像の具体例を示す図である。撮像画像１３ａは、第１の実施の形態と同様に、画像左上を原点として左から右へｘ軸、上から下へy軸とするｘｙ座標系（カメラ座標）によって表される。なお、図１３に示す例では、撮像画像１３ａには、道路上の境界線として、走路脇に設置された縁石、白線、ガードレールなどの走路端ＤおよびＥと、隣接する車線との境界線Ｆと、車両前方に存在する歩行者Ｇとが含まれている。
【００５３】
この図１３に示す撮像画像１３ａを第１の実施の形態と同様に画像処理して、図１４に示すような速度画像１４ａを生成する。そして、この速度画像１４ａ内の所定範囲を分割して得られる複数の境界線検出用領域を設定する。すなわち、図１５に示すように、自車両前方の所定範囲、例えば、実空間上における自車両からの距離が２０ｍ〜６０ｍの範囲を、画像の縦方向（ｙ軸方向）に所定の高さを有する複数領域に６分割する。そして、この縦方向に分割した各領域を画像の横方向に等間隔に分割することによって、画像上の自車両前方の所定範囲に相当する範囲内に複数の境界線検出用領域１５ａを設定することができる。
【００５４】
このように設定したそれぞれの境界線検出領域１５ａを、さらに所定の大きさを有する小領域に分割する。本実施の形態では、例えば、各境界線検出領域１５ａ内を６４等分した小領域に分割する。これによって、各境界線検出領域１５ａは、８×８の小領域によって構成されるようになる。そして、分割して得られる各小領域ごとに、速度画像１４ａ内に存在する道路上の境界線の候補を検出する。
【００５５】
ここで、走路端などの道路上の境界線は、第１の実施の形態と同様に、速度画像１４ａ上では斜線として検出されることを加味して、各小領域内で斜線を構成するように斜めに並んでいる速度成分を有する画素を検出することによって、各小領域内における斜線の候補、すなわち道路上の境界線の候補を検出する。
【００５６】
まず、各小領域内に存在する任意の画素を注目画素として、その注目画素が、斜め方向に隣接する近傍画素と斜線を構成するか否かを判定する。よって、注目画素と斜めに直線を構成する近傍画素が、それぞれ速度成分を有しているかを判定するために、着目画素に対して、例えば、図１６（ｂ）に示す斜線候補検出用の空間フィルタを適用する。このとき、空間フィルタの中心１６ａが着目画素と一致するように、空間フィルタを適用する。
【００５７】
なお、速度画像１４ａ内においては、一般的に自車両の右側に存在する道路上の境界線は、走路端Ｅや隣接する車線との境界線Ｆのように左上がりの斜線として撮像され、自車両の左側に存在する道路上の境界線は、走路端Ｄのように右上がりの斜線として撮像される。よって、速度画像１４ａの右側半分の範囲内に存在する着目画素に対しては左上がりの斜線を検出するための空間フィルタ、すなわち図１６（ｂ）に示す空間フィルタを適用し、速度画像１４ａの左側半分の範囲内に存在する着目画素に対しては、右上がりの斜線を検出するための空間フィルタ、すなわち図１６（ｂ）に示す空間フィルタを左右に反転させたもの適用する。
【００５８】
このように、着目画素に対して空間フィルタを適用した結果、着目画素と、その斜め上方の画素、および斜め下方の画素の少なくともいずれか一方とが、それぞれ速度成分を有していると判定した場合には、当該着目画素を斜線を構成する点の候補、すなわち候補点として検出する。この処理を小領域内の全ての画素に対して行い、小領域内から全ての候補点を検出する。そして、小領域内で、３点以上の候補点が小領域内で斜線を構成するように斜めに並んでおり、かつこれらの候補点を結んだ直線が、次に説明する傾き条件を満たしている場合には、これらの候補点を結んだ直線、すなわち斜線を道路上の境界線の候補（境界線候補）として検出する。
【００５９】
ここで、境界線候補を検出するための傾き条件について説明する。一般的に、速度画像１４ａ内の自車両から見た左右のいずれか片方の方向、すなわち右側、または左側に、複数の道路上の境界線が存在する場合には、それぞれの境界線の傾きは、自車両に近い境界線の傾きの方が、自車両から遠い境界線の傾きよりも大きくなる。換言すれば、自車両に近い境界線の方が、自車両から遠い境界線よりもｘ軸とのなす角が大きくなる。例えば、図１４に示す例では、自車両の右側に存在する走路端Ｅの傾きは、隣接する車線との境界線Ｆの傾きよりも大きくなる。
【００６０】
よって、このことを加味して、上述した処理で検出した候補点を結んだ直線が境界線候補であるか否かを次のように判断する。例えば、図１６（ａ）に示すように、小領域１６ｂ内から候補点を結んだ直線が検出された場合には、自車両から見た同じ側で、かつ同じ高さ位置に存在する他の小領域内から候補点を結んだ直線が検出されているか否かを判定する。その結果、もし小領域１６ｂと自車両から見た同じ側で、かつ同じ高さ位置に存在する他の小領域内から候補点を結んだ直線が検出されていないと判定した場合には、小領域１６ｂに存在する候補点を結んだ直線を境界線候補として検出する。
【００６１】
これに対して、小領域１６ｂと自車両から見た同じ側で、かつ同じ高さ位置に存在する他の小領域、例えば小領域１６ｃから候補点を結んだ直線が検出されている場合には、それぞれの小領域内で検出された候補点を結んだ直線の傾きを比較して、自車両に近い直線の傾きの方が、自車両から遠い方の直線の傾きよりも大きいか否かを判定する。そして、自車両に近い方の直線の傾きの方が、自車両から遠い直線の傾きよりも大きいと判定した場合には、いずれも道路の境界線の一部を構成する境界線候補として検出する。一方、自車両に近い方の直線の傾きの方が、自車両から遠い方の直線の傾きよりも小さいと判定した場合には、いずれも境界線候補から除外する。
【００６２】
このように検出したそれぞれの境界線候補の、速度画像１４ａ上における縦方向、すなわち上下方向の斜線としての連続性を判定し、複数の境界線候補で連続性が確認された場合には、それらの境界線候補を結んだ直線を、道路上の境界線として検出する。これによって、図１７に示すように、速度画像１４ａ内から、道路上の境界線Ｄ、Ｅ、およびＦを検出することができる。
【００６３】
図１８は、第２の実施の形態における物体検出装置１００の処理を示すフローチャートである。図１８に示す処理は、車両のイグニションスイッチがオンされて、物体検出装置１００の電源がオンされると、制御装置１０３によって起動されるプログラムとして実行される。なお、図１８においては、図１２に示す第１の実施の形態における処理と同一の処理内容については、同じステップ番号を付与し、相違点を中心に説明する。
【００６４】
ステップＳ４−２において、上述したように速度画像１４ａ上に複数の境界線検出用領域１５ａを設定して、それぞれの境界線検出領域１５ａを、さらに所定の大きさを有する小領域に分割する。その後、ステップＳ５−２へ進む。ステップＳ５−２では、各小領域内の着目画素に図１６（ｂ）で上述した空間フィルタを適用して候補点を検出した後、検出した３点以上の候補点が小領域内で斜線を構成するように斜めに並んでおり、かつこれらの候補点を結んだ直線が上述した傾き条件を満たしている場合には、これらの候補点を結んだ直線を境界線候補として検出する。
【００６５】
その後、ステップＳ６−２へ進み、速度画像１４ａ上で検出したそれぞれの境界線候補の、速度画像１４ａ上における縦方向、すなわち上下方向の斜線としての連続性を判定した結果、それらの境界線候補を結んだ直線が道路上の境界線として検出されたか否かを判定する。そして、道路上の境界線が検出されたと判断した場合にはステップＳ７へ進み、検出されないと判断した場合にはステップＳ２２へ進む。
【００６６】
以上説明した第２の実施の形態によれば、速度画像１４ａ内の所定範囲内、例えば実空間上における自車両からの距離が２０ｍ〜６０ｍの範囲内に複数の境界線検出用領域を設定して、それぞれの境界線検出用領域ごとに斜線の候補を検出して、道路上の境界線を検出するようにした。このため、第１の実施の形態による効果に加えて、自車両の両側に対で存在する走路端だけではなく、例えば複数車線道路における隣接する複数の車線の境界線や道路と建物の境界線などといった種々の境界線を道路上の境界線として検出することができる。
【００６７】
上述した実施の形態における物体検出装置１００は、以下のように変形することもできる。
（１）上述した第１および第２の実施の形態では、撮像画像に対してエッジ抽出処理を行ってエッジ画像を得た後、エッジが存在する画素の画素カウンタを更新していき、当該画素カウンタのカウント値に基づいて画像上の各画素におけるエッジの速度成分を算出する例について説明した。しかし、これに限定されず、例えば一般的な手法である勾配法やブロックマッチングを用いてオプティカルフローを算出してもよい。
【００６８】
（２）上述した第１および第２の実施の形態では、図５に示す階級値を使用して速度画像５ａを算出する例について説明した。しかし、これに限定されず、その他の階級値によって表される速度画像を算出してもよい。
【００６９】
（３）上述した第１および第２の実施の形態では、本発明による物体検出装置１００を車両に搭載する例について説明したが、これに限定されず、その他の移動体に搭載してもよい。
【００７０】
（４）上述した第２の実施の形態では、速度画像１４ａ内の所定範囲内、例えば実空間上における自車両からの距離が２０ｍ〜６０ｍの範囲内に複数の境界線検出用領域を設定する例について説明した。しかしこれに限定されず、速度画像１４ａ全体に境界線検出用領域を設定してもよく、あるいは道路上の境界が存在する可能性が高い範囲、例えば速度画像１４ａの左右の所定範囲内にのみ境界線検出用領域を設定してもよい。
【００７１】
また、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
【００７２】
特許請求の範囲の構成要素と実施の形態との対応関係について説明する。カメラ１０１は撮像手段に、スピーカー１０５、および自動ブレーキ装置１０６は危険回避手段に相当する。制御装置１０３は速度情報算出手段、画素抽出手段、斜線検出手段、境界線検出手段、平衡点判定手段、物体検出手段、変換手段、および衝突危険度判定手段に相当する。なお、この対応は一例であり、実施の形態の構成によって対応関係は異なるものである。
【図面の簡単な説明】
【００７３】
【図１】物体検出装置の一実施の形態の構成例を示すブロック図である。
【図２】カメラ１０１の車両への設置例を示す図である。
【図３】カメラ１０１で撮像した画像の具体例を示す図である。
【図４】抽出したエッジを正規化して、エッジ画像を得るために行う各処理の具体例を示す図である。
【図５】第１の実施の形態における速度画像の具体例を示す図である。
【図６】第１の実施の形態において、速度画像上に境界線検出用領域を設定した場合の具体例を示す図である。
【図７】２次元道路モデルの中心７ａに向かう速度成分を持つ画素を抽出する場合の具体例を示す図である。
【図８】速度画像上において、２次元道路モデルの中心７ａに向かう同じ速度成分を持つ画素をグルーピングして、２次元道路モデルの中心７ａに向かって移動している歩行者Ｃを含む物体存在範囲８ｂ検出する具体例を示す図である。
【図９】ピッチング発生時の速度画像上における斜線の移動方向を示す図である。
【図１０】２次元道路モデルから３次元道路モデルへの変換を示す図である。
【図１１】実空間上における自車両、走路端、検出物体の位置関係を示す図である。
【図１２】第１の実施の形態における物体検出装置１００の処理を示すフローチャート図である。
【図１３】第２の実施の形態におけるカメラ１０１で撮像した撮像画像の具体例を示す図である。
【図１４】第２の実施の形態における速度画像の具体例を示す図である。
【図１５】第２の実施の形態において、速度画像上に境界線検出用領域を設定した場合の具体例を示す図である。
【図１６】第２の実施の形態における斜線の候補の検出例、および空間フィルタの具体例を示す図である。
【図１７】第２の実施の形態における道路上の境界線の検出例を示す図である。
【図１８】第２の実施の形態における物体検出装置１００の処理を示すフローチャート図である。
【符号の説明】
【００７４】
１００ 物体検出装置
１０１ カメラ
１０２ 画像メモリ
１０３ 制御装置
１０４ カウンタメモリ
１０５ スピーカー
１０６ 自動ブレーキ装置
１０７ 車速センサ
【技術分野】
【０００１】
本発明は、車両前方に存在する移動物体を検出する物体検出装置、および方法に関する。
【背景技術】
【０００２】
次のような自動車用の走行制御装置が特許文献１によって知られている。画像からエッジを検出し、最も直線上に並んでいるエッジ列をハフ変換して走路端を検出する。
【０００３】
【特許文献１】特開平１０−２１４３２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置では、走路端を検出するためにハフ変換を行っていたが、ハフ変換は、走路端を構成する点を検出するごとにパラメータ空間に曲線を描き、曲線上の点の累積値を加算する必要があり、この処理を走路端を構成する全ての点に対して行わなければならないため、処理が重くなるという問題が生じていた。
【課題を解決するための手段】
【０００５】
本発明は、撮像手段で撮像した自車両前方の画像を画像処理して、各画素の画像の速度情報を算出し、算出した各画素の画像の速度情報に基づいて、速度情報を有する画素を抽出し、抽出した速度成分を有する画素によって構成される斜線を検出し、検出した斜線に基づいて、自車両前方の画像内に存在する道路上の境界線を検出することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、各画素の画像の速度情報に基づいて検出した斜線に基づいて、走路端などの自車両前方の画像内に存在する道路上の境界線を検出することができるため、ハフ変換のような複雑な処理を行う必要がなく、処理を軽くすることができる。
【発明を実施するための最良の形態】
【０００７】
―第１の実施の形態―
図１は、第１の実施の形態における物体検出装置の一実施の形態の構成例を示すブロック図である。物体検出装置１００は車両に搭載され、車両前方を撮像するカメラ１０１と、カメラ１０１で撮像した画像を格納する画像メモリ１０２と、カメラ１０１で撮像されて画像メモリ１０２に記憶した画像に対して画像処理を実行する制御装置１０３と、後述する画素カウンタのカウント値を記憶するカウンタメモリ１０４と、音声を出力するスピーカー１０５と、車両の自動ブレーキを制御する自動ブレーキ装置１０６と、自車両の車速を検出する車速センサ１０７とを備えている。
【０００８】
カメラ１０１は、例えばＣＣＤやＣＭＯＳなどの撮像素子を有した高速カメラであり、連続的に車両前方を撮像し、各フレームごとに画像メモリ１０２に出力する。なお、カメラ１０１は、図２に示すように車両の室内上部前方に設置される。その視軸向きＺは車両前方正面方向に向き、撮像面の水平軸Ｘは地表面と平行となるように、また撮像面の垂直軸Ｙは地表面と垂直になるように設定されている。カメラ１０１で撮像した連続画像は、画像メモリ１０２に出力されて格納される。
【０００９】
カメラ１０１で撮像した画像（自車両前方の画像）の具体例を図３に示す。カメラ１０１による撮像画像３ａは、画像左上を原点として左から右へx軸、上から下へy軸とするｘｙ座標系（カメラ座標）によって表される。なお、図３においては、左右の走路脇に設置された縁石、白線、またはガードレールなどの走路端Ａ、およびＢ、すなわち道路上の境界線と、車両前方に存在する歩行者Ｃとが撮像画像３ａ内に含まれている。
【００１０】
制御装置１０３は、後述するように画像メモリ１０２に記憶された撮像画像３ａを画像処理して、自車両前方に存在する物体の検出を行い、自車両が自車両前方に存在する物体に衝突する危険性がある場合には、スピーカー１０５を介して運転者に警報（警告音）を出力したり、自動ブレーキ装置１０６を制御して自車両を自動的に減速、または停止させる。自車両前方に存在する物体の検出を行うに当たっては、まず撮像画像３ａ内に存在する物体の画像内における横方向（水平方向）の移動速度を検出して、撮像画像３ａ内における物体の横方向の移動方向と移動速度とを階級値で表した速度画像を生成する。
【００１１】
すなわち、カメラ１０１で撮像された画像を画像メモリ１０２から読み込み、読み込んだ撮像画像３ａに対して所定の閾値を用いて２値化することによって、画像内に存在する物体のエッジを抽出する。そして、抽出した画像内の各エッジに対して、細線化処理を行ってエッジの中心を正確に求める。そして、細線化されたエッジを、エッジ幅が一定の幅、例えば３画素分の幅になるように膨張させる。このように抽出したエッジを正規化することによって、各エッジが均一な幅を持ったエッジ画像を得ることができる。
【００１２】
図４は、上述した抽出したエッジを正規化して、エッジ画像を得るために行う各処理の具体例を示す図である。すなわち、図４（ａ）に示す２値化して得たエッジに対して、細線化処理を行って図４（ｂ）に示す細線化後のエッジを得る。そして、細線化したエッジを膨張させ、図４（ｃ）に示すようにエッジに一定の幅を持たせる。
【００１３】
その後、カウンタメモリ１０４に保存された画素カウンタの内、現在エッジ画像内にエッジが存在している画素に対応した画素カウンタのカウント値を更新する。画素カウンタとは、エッジ画像の各画素に対応したカウンタであり、エッジが存在する画素に対応する画素カウンタのカウント値に１を加算し、エッジが存在しない画素に対応する画素カウンタのカウント値は０で初期化する。このカウンタ値の更新処理を、カメラ１０１で連続的に撮像される毎フレームごとに行うことで、エッジ存在時間が長い画素はカウント値が大きく、エッジ存在時間が短い画素はカウント値が小さくなる。
【００１４】
そして、エッジ画像において、横方向に隣接するそれぞれの画素に対応する画素カウンタのカウント値の差分を取ることで各画素におけるエッジ存在時間の差を算出して、当該エッジが１画素移動するのに要する時間を得る。そして、この値の逆数を得ることで、各画素における画像空間内の横方向の速度を算出することができる。この各画素における画像空間内の横方向の速度は、各画素に含まれるエッジの横方向の移動速度に相当する。これによって、画像上の各画素におけるエッジの速度成分、すなわちエッジの移動方向と移動速度とを算出することができる。
【００１５】
以上の処理によって算出した撮像画像３ａ上に存在する物体の速度成分を所定の階級値で表した速度画像を生成する。第１の実施の形態における速度画像では、図５に示す速度画像５ａのように、速度成分の階級値として、速度が検出された画素を丸型の点で表し、移動速度が速い画素ほど点を大きく示す。また、右へ向かう速度を黒点で表し、左へ向かう速度を白点で表すことによって移動方向を表している。すなわち、図５においては、走行路右側の走路端Ｂからは画像の左側へ向かう速度が検出されており、走行路左側の走路端Ａ、および歩行者Ｃからは画像の右側へ向かう速度が検出されている。また、点の大きさから、走路端ＡおよびＢから検出された移動速度よりも歩行者Ｃから検出された移動速度の方が速いことが判断できる。
【００１６】
次に、算出した速度画像５ａに走路端などの道路上の境界線を検出するための境界線検出用領域を設定する。境界線検出用領域は、自車両が車線内を走行しながら前方の画像を撮像した場合に、速度画像５ａ上で道路上の境界線としての走路端が存在する位置をあらかじめ予測しておき、その位置に所定の大きさの領域を設定する。例えば、図６に示すように速度画像５ａ上で左右に存在する走路端を検出できるように、左右対称となる境界線検出用領域６ａ〜６ｈを設定する。そして、設定した境界線検出用領域６ａ〜６ｈの中に速度成分を有する斜線が存在するか否かを判定する。すなわち、境界線検出用領域６ａ〜６ｈの各領域内において、速度成分を有する画素が斜線を構成するように斜めに並んでいるか否かを判断する。
【００１７】
そして、左右対称に設定された境界線検出用領域６ａ〜６ｈにおいて、それぞれ左右に対となる境界線検出用領域、例えば境界線検出用領域６ｄおよび６ｈで斜線が検出された場合に、それぞれで検出された斜線が異なる方向の速度成分を有している場合には、その左右に対となる境界線検出用領域内で検出した斜線は走路端であると判定する。すなわち、境界線検出用領域６ｄと境界線検出用領域６ｈ内で検出された斜線が異なる方向の速度成分を有している場合には、境界線検出用領域６ｄ、および境界線検出用領域６ｈ内で検出した斜線は走路端であると判定する。
【００１８】
走路端として検出した各境界線検出用領域内の斜線において、その始点や終点などを代表点として抽出する。例えば境界線検出用領域６ａからは代表点６ｉを抽出し、境界線検出用領域６ｅからは左代表点６ｊを抽出する。抽出した各代表点に基づいて、重回帰分析を行い、ｘｙ座標系におけるそれぞれの斜線の式を算出することによって次式（１）によって表される２次元道路モデル、すなわち画像道路モデルを算出する。
ｘ＝ａ１・ｙ２＋ｂ１・ｙ＋ｃ１ ・・・（１）
そして、図７に示すように、自車両の推定進行経路に相当する２次元道路モデルの中心７ａを算出する。
【００１９】
次に、後述するように２次元道路モデルの中心７ａに向かう速度成分を持つ画素を抽出する。そして、抽出した画素の内、同じ速度成分を持つ画素をグルーピングして個別の物体として検出する。まず、図７に示すように速度画像上に所定の範囲を含む領域、例えば縦１画素、横３画素の大きさの領域を下端検出用小領域７ｂとして設定し、下端検出用小領域７ｂを速度画像のｙ軸方向の下から上に走査する。そして、下端検出用小領域７ｂ内に所定以上、例えば２以上の２次元道路モデルの中心７ａに向かう同じ速度成分を持つ画素が存在（分布）する点を検出し、そのときに下端検出用小領域７ｂの下端に位置する画素を物体下端位置７ｃとして検出する。
【００２０】
そして、物体下端位置７ｃからy軸方向に速度画像のヒストグラムを算出する。すなわち、物体下端位置７ｃからy軸方向に存在する２次元道路モデルの中心７ａに向かう同じ速度成分を持つ画素のｘ軸方向の度数分布を表すヒストグラムを算出する。そして、このときの物体下端位置７ｃの座標値をｙｄ、各ｙ座標値における２次元道路モデルの中心７ａに向かう同じ速度成分を持つ画素の度数をＶ（ｙｉ）としたときの、あらかじめ設定された歩行者Ｃの基準高さｙｍの範囲における度数の和を次式（２）により算出する。
【数１】
【００２１】
式（２）で算出した度数の和が、所定値Ｔ１以上であれば、当該２次元道路モデルの中心７ａに向かう速度成分を持つ画素が分布している範囲内に２次元道路モデルの中心７ａに向かう移動物体が存在すると判定する。そして、移動物体が存在すると判定した場合には、あらかじめ設定された歩行者Ｃの基準高さｙｍ以上となる位置で、かつｙ座標値における２次元道路モデルの中心７ａに向かう速度成分を持つ画素の度数Ｖ（ｙｉ）が所定値Ｔ２未満となる直前の位置、例えば図８に符号８ａで示す位置を移動物体が存在する上端位置、すなわち物体上端位置８ａとして検出する。
【００２２】
さらに、物体下端位置７ｃと物体上端位置８ａとの間の範囲に対して、ｘ軸方向に連続して存在する２次元道路モデルの中心７ａに向かう同じ速度成分を持つ画素の最も外側の画素を通るｙ軸と平行な直線を引き、当該ｙ軸に平行な直線と、物体下端位置７ｃおよび物体上端位置８ａとで囲まれる範囲を移動物体が存在する範囲（物体存在範囲）８ｂとして特定する。これによって、速度画像５ａ上において、２次元道路モデルの中心７ａに向かう同じ速度成分を持つ画素をグルーピングして、側方から２次元道路モデルの中心７ａに向かって移動している歩行者Ｃを含む物体存在範囲８ｂ検出することができる。
【００２３】
上述した処理で検出した速度画像５ａ上の走路端Ａ、Ｂ、および物体存在範囲８ｂの位置を、実空間上の位置に変換する。このとき、本実施の形態では、自車両の走行中に発生するピッチングを考慮に入れて、以下に説明するように実空間上の位置に変換する。
【００２４】
例えば、自車両がピッチングによって沈み込む方向、すなわち下方向に移動している間は、カメラ１０１の視軸向きは図２に示した路面に水平な状態よりも下向きになる。よってこの場合は、図９に示すように速度画像５ａ上の時刻ｔにおける走路端ＡおよびＢの位置から時刻ｔ＋１における走路端ＡおよびＢの位置へ上方向に移動する。これによって、走路端Ａを示す斜線は速度画像５ａ上で右方向へ移動するように速度成分が検出され、走路端Ｂを示す斜線は速度画像５ａ上で左方向へ移動するように速度成分が検出される。
【００２５】
一方、自車両がピッチングによって浮き上がる方向、すなわち上方向に移動している間は、カメラ１０１の視軸向きは図２に示した路面に水平な状態よりも上向きになることから、ピッチングに伴って速度画像５ａ上の走路端ＡおよびＢの位置は下方向に移動する。これによって、走路端Ａを示す斜線は速度画像５ａ上で左方向へ移動するように速度成分が検出され、走路端Ｂを示す斜線は速度画像５ａ上で右方向へ移動するように速度成分が検出される。
【００２６】
以上の点を考慮して、走路端ＡおよびＢを示す斜線の画像上における速度の方向が変化する点をピッチングの平衡点、すなわちカメラ１０１の視軸向きが路面と水平な点であると判断する。そして、このピッチングの平衡点における速度画像５ａにおいては、上述したようにカメラ１０１の視軸向きが路面と水平であることから、走路端ＡおよびＢ上に任意に設定した代表点の座標値とカメラ１０１のカメラパラメータとに基づいて、三角測量により代表点の３次元座標値を算出することが可能となる。
【００２７】
よって、図１０に示すように速度画像５ａ上の走路端ＡおよびＢに任意の代表点１０ａおよび１０ｂを設定し、この代表点の座標値とカメラ１０１のカメラパラメータとに基づいて、三角測量により代表点の３次元座標値を算出する。そして、この代表点の３次元座標値に基づいて、走路端ＡおよびＢを示す斜線の位置を実空間上の位置に変換して、３次元道路モデル、すなわち実空間道路モデルを算出する。これによって、２次元道路モデルで表した走路端ＡおよびＢの位置を実空間上の３次元道路モデルに変換することができる。
【００２８】
また、速度画像５ａ上における物体存在範囲８ｂ上に設定した物体中心点１０ｃの座標値と、カメラ１０１のカメラパラメータとに基づいて、物体存在範囲８ｂに含まれる歩行者Ｃの実空間上における位置を算出する。これによって、速度画像５ａ上の歩行者Ｃの位置を実空間上の位置に変換することができる。そして、実空間上における走路端Ａ、Ｂ、および歩行者Ｃの位置関係に基づいて、自車両から歩行者Ｃまでの距離、および歩行者Ｃから走路端までの距離を算出する。なお、自車両から歩行者Ｃまでの距離は、自車両から歩行者Ｃまでの直線距離ではなく、自車両から歩行者Ｃの存在位置に相当する車線上の位置である。
【００２９】
一方、ピッチングの平衡点ではない速度画像５ａにおいては、上述したようにカメラ１０１の視軸向きが路面と水平でないことから、ピッチングの平衡点における速度画像５ａにおいて変換した走路端Ａ、Ｂ、および歩行者Ｃの実空間上の位置と、ピッチングの平衡点における速度画像５ａと現在の速度画像５ａとの撮像時間間隔とに基づいて、それぞれの実空間上における位置を推定する。そして、推定した実空間上における走路端Ａ、Ｂ、および歩行者Ｃの位置関係に基づいて、自車両から歩行者Ｃまでの距離、および歩行者Ｃから走路端までの距離を推定する。
【００３０】
そして、走路端ＡおよびＢと、歩行者Ｃとの実空間上における位置関係に基づいて、自車両と歩行者Ｃとの接触危険度を以下の（１）〜（３）の３段階のレベルで判定する。
（１）レベル３
走路端と歩行者Ｃとの実空間上における位置関係から、自車両と歩行者Ｃとの衝突危険度が最も高いと判定される場合に、接触危険度はレベル３であると判定する。すなわち、図１１に示すように、歩行者Ｃが符号１１ａに示す左右両側に存在する走路端の内側、すなわち自車両１１ｄが走行中の車線内を移動しているときは、自車両１１ｄと歩行者Ｃとの衝突危険度はレベル３であると判定する。
【００３１】
（２）レベル２
走路端と歩行者Ｃとの実空間上における位置関係から、自車両と歩行者Ｃとの衝突危険度がレベル３ほどは高くないが、なお衝突の可能性があると判定される場合に、接触危険度はレベル２であると判定する。具体的には、歩行者Ｃが符号１１ｂに示す範囲、すなわち走路端の外側、かつ走路端から歩行者Ｃまでの距離がｘ０（ｍ）以内の範囲を走路端に向かって移動しているときは、自車両１１ｄと歩行者Ｃとの衝突危険度はレベル２であると判定する。なお、上述した距離ｘ０（ｍ）は、上述した処理で検出した歩行者Ｃの移動速度、および自車両１１ｄから歩行者Ｃまでの距離と、車速センサ１０７で検出した自車両の車速とに基づいて算出される。
【００３２】
（３）レベル１
走路端と歩行者Ｃとの実空間上における位置関係から、自車両と歩行者Ｃとが衝突する危険がないと判定される場合に、接触危険度はレベル１であると判定する。具体的には、歩行者Ｃが符号１１ｃに示す範囲、すなわち走路端からｘ０（ｍ）より外側の範囲を移動しているときは、自車両１１ｄと歩行者Ｃとの衝突危険度はレベル１であると判定する。なお、衝突危険度の判定結果がレベル１である場合には、自車両と歩行者Ｃとは衝突の危険がないことから、後述する衝突を回避するための車両制御は行わない。
【００３３】
また、衝突の危険度は、自車両から歩行者Ｃまでの距離によっても変化するため、自車両から歩行者Ｃまでの距離を次式（３）〜（５）で算出される距離で分類し、この分類結果に基づいて、後述するように自車両と歩行者Ｃとの衝突を回避するための車両制御を行う。なお、次式（３）〜（５）において、Ｖは自車両１１ｄの車速、ｇは重力加速度、ｚ０は歩行者Ｃの存在位置に相当する車線上の位置から目標停止ラインまでの距離１１ｅである。
ｚ３＝（１／２）＊（Ｖ２＊０．５ｇ）＋Ｖ＊２＋ｚ０ ・・・（３）
ｚ２＝（１／２）＊（Ｖ２＊０．５ｇ）＋Ｖ＊１＋ｚ０ ・・・（４）
ｚ１＝（１／２）＊（Ｖ２＊０．６ｇ）＋ｚ０ ・・・（５）
【００３４】
上述した処理で判定した衝突危険度と、式（３）〜（５）により分類した自車両から歩行者Ｃまでの距離とに基づいて、以下の（Ａ）〜（Ｃ）の３つの制御モードによって歩行者Ｃとの衝突を回避するための車両制御を行う。
【００３５】
（Ａ）注意
衝突危険度がレベル３であり、かつ自車両から歩行者Ｃまでの距離がｚ２より長くｚ３以下である場合に制御モードを「注意」とする。制御モードが「注意」の場合は、スピーカー１０５を介して注意音を出力することによって、運転者に対して自車両前方に衝突の危険がある移動物体が存在することを報知する。
【００３６】
（Ｂ）警告
衝突危険度がレベル２の場合、および衝突危険度がレベル３であり、かつ自車両から歩行者Ｃまでの距離がｚ２以下である場合に制御モードを「警告」とする。制御モードが「警告」の場合は、ピーカー１０５を介して警告音を出力することによって、運転者に対して自車両前方に衝突の危険性が高い移動物体が存在することを警告する。なお、警告音は、（Ａ）で上述した「注意」における注意音と運転者が識別可能なように、例えば注意音よりも警告音の音量を大きくしたり、注意音と警告音のリズムを変更したりする。
【００３７】
（Ｃ）自動ブレーキ
衝突危険度はレベル３であり、かつ自車両から歩行者Ｃまでの距離がｚ１以下である場合に、制御モードを「自動ブレーキ」とする。制御モードが「自動ブレーキ」の場合は、自動ブレーキ装置１０６を制御して、自車両を強制的に制動する。すなわち、歩行者Ｃとの衝突危険視が極めて高い場合には、運転者が上述した注意音や警告音を認知してから制動動作に入っても間に合わない可能性がある。よって、このような場合には、自動ブレーキ装置１０６を制御して自車両を強制的に停止させる。なお、制御モードを「自動ブレーキ」としたときは、同時に「警告」も行う。
【００３８】
図１２は、第１の実施の形態における物体検出装置１００の処理を示すフローチャートである。図１２に示す処理は車両のイグニションスイッチがオンされて、物体検出装置１００の電源がオンされると、制御装置１０３によって起動されるプログラムとして実行される。ステップＳ１において、カメラ１０１で撮像された自車両前方の画像３ａを画像メモリ１０２から取り込む。その後、ステップＳ２へ進み、画像３ａに対してエッジ抽出処理を行って、撮像画像３ａ内に存在する物体の輪郭を抽出したエッジ画像を生成し、ステップＳ３へ進む。ステップＳ３では、上述したように各画素に含まれるエッジの速度情報を算出し、算出した速度情報を所定の階調値に変換した速度画像を算出する。その後、ステップＳ４へ進む。
【００３９】
ステップＳ４では、算出した速度画像上に境界線検出用領域を設定して、ステップＳ５へ進む。ステップＳ５では、境界線検出用領域内に速度成分を有する画素が斜線を構成するように斜めに並んでいるか否かを判断して斜線を検出する。その後、ステップＳ６へ進み、左右に対となる境界線検出用領域で検出された斜線が異なる方向の速度成分を有しているか否かを判定して、検出した斜線が走路端であるか否かを判定する。検出した斜線が走路端でないと判断した場合には、後述するステップＳ２２へ進む。一方、検出した斜線が走路端であると判断した場合には、ステップＳ７へ進む。
【００４０】
ステップＳ７では、上述したように２次元道路モデル、すなわち画像道路モデルを算出して、ステップＳ８へ進む。ステップＳ８では、２次元道路モデルの中心に向かう速度成分を持つ画素を抽出する。その後、ステップＳ９へ進み、抽出した画素の内、同じ速度成分を持つ画素をグルーピングして個別の物体として検出して、ステップＳ１０へ進む。ステップＳ１０では、抽出した画素のグルーピングが完了し、速度画像上に存在する全ての物体が検出されたか否かを判断する。速度画像上に存在する全ての物体が検出されたと判断した場合には、ステップＳ１１へ進む。
【００４１】
ステップＳ１１では、走路端を示す斜線の画像上における速度方向の変化を検出してピッチングの平衡点であるか否かを判断する。ピッチングの平衡点であると判断した場合には、ステップＳ１２へ進む。ステップＳ１２では、走路端を示す斜線の位置を実空間上の位置に変換して、３次元道路モデルを算出する。その後、ステップＳ１４に進み、実空間上における走路端と検出物体との相対的な位置関係、すなわち走路端と検出物体との距離、および自車両と検出物体との距離を算出して、後述するステップＳ１６へ進む。
【００４２】
一方、ピッチングの平衡点でないと判断した場合には、ステップＳ１３へ進む。ステップＳ１３では、上述したように、ピッチングの平衡点における速度画像と現在の速度画像との撮像時間間隔とに基づいて３次元道路モデルを推定し、ステップＳ１５へ進む。ステップＳ１５では、実空間上における走路端と検出物体との相対的な位置関係、すなわち走路端と検出物体との距離、および自車両と検出物体との距離を推定して、ステップＳ１６へ進む。
【００４３】
ステップＳ１６では、走路端と、検出物体との実空間上における位置関係に基づいて、自車両と検出物体との接触危険度が上述したレベル１〜レベル３のいずれであるかを判定する。接触危険度がレベル１であると判定した場合には、自車両と検出物体とは衝突の危険がないことから、衝突を回避するための車両制御は行わず、後述するステップＳ２２へ進む。これに対して、接触危険度がレベル２または３であると判定した場合には、ステップＳ１７へ進む。ステップＳ１７では、自車両から検出物体までの距離に基づいて、衝突を回避するための車両制御のモードを判定する。
【００４４】
制御モードが上述した「注意」である場合には、ステップＳ１９へ進み、スピーカー１０５を介して注意音を出力して、後述するステップＳ２２へ進む。これに対して、制御モードが「警告」、または「自動ブレーキ」である場合には、ステップＳ１８へ進み、スピーカー１０５を介して警告音を出力して、ステップＳ２０へ進む。ステップＳ２０では、制御モードが「自動ブレーキ」であるか否かを判定する。制御モードが「自動ブレーキ」でない場合には、後述するステップＳ２２へ進む。一方、制御モードが「自動ブレーキ」である場合には、ステップＳ２１へ進む。
【００４５】
ステップＳ２１では、自動ブレーキ装置１０６を制御して、自車両を強制的に制動する。その後、ステップＳ２２へ進む。ステップＳ２２では、自車両のイグニションスイッチがオフされたか否かを判断し、オフされないと判断した場合には、ステップＳ１へ戻って処理を繰り返す。これに対して、自車両のイグニションスイッチがオフされたと判断した場合には、処理を終了する。
【００４６】
以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）カメラ１０１で撮像した画像に基づいて算出した速度画像上に境界線検出用領域を設定し、それぞれ左右に対となる境界線検出用領域で検出された斜線が異なる方向の速度成分を有している場合には、その左右に対となる境界線検出用領域内で検出した斜線は道路上の境界線、すなわち走路端であると判定することとした。これによって、カメラ１０１で撮像した画像に含まれる走路端は光軸と平行な直線成分のため、画像上では必ず斜線として撮像され、さらに斜線は速度が発生しやすいことを加味して、精度高く走路端を検出することができる。
【００４７】
（２）走路端ＡおよびＢを示す斜線の画像上における速度の方向が変化する点をピッチングの平衡点と判断するようにした。これによって、画像上における斜線の速度方向を計測するだけで，容易にピッチングの平衡点が検出できる。
【００４８】
（３）ピッチングの平衡点における走路端ＡおよびＢにおける代表点の座標値とカメラ１０１のカメラパラメータとに基づいて、三角測量により代表点の３次元座標値を算出するようにした。これによって、ピッチング平衡点ではカメラパラメータは取付時の初期状態とほぼ一致するため三角測量の測距の精度が高いことを加味して、精度高く３次元座標値を算出することができる。
【００４９】
（４）走路端ＡおよびＢと、歩行者Ｃとの実空間上における相対的な位置関係に基づいて、自車両と歩行者Ｃとの接触危険度を判定し、さらに自車両と歩行者Ｃとの距離を加味して歩行者Ｃとの衝突を回避するための車両制御を行うようにした。これによって、危険度を正確に判定することができ、さらに自車両と歩行者Ｃとの衝突を防止することができる。
【００５０】
―第２の実施の形態―
第２の実施の形態では、第１の実施の形態で検出した自車両の両側に対で存在する走路端だけではなく、例えば複数車線道路における隣接する複数の車線の境界線や道路と建物の境界線などといった種々の道路上の境界線を検出する。
【００５１】
なお、図１に示したブロック図、図２に示した車両へのカメラ１０１の設置例を示す図、および図４に示したエッジの正規化の例を示す図については、第１の実施の形態と同様のため説明を省略する。また、図７〜１１で説明した、検出した走路端に基づいて２次元道路モデルの算出処理、および２次元道路モデルの中心に向かう物体を含む物体存在範囲の検出処理、３次元道路モデル上に変換した道路上の境界線と物体との位置関係に基づく危険度判定処理、および危険度判定結果に基づく車両制御または警告処理については、第１の実施の形態における処理と同様のため説明を省略する。
【００５２】
図１３は、第２の実施の形態におけるカメラ１０１で撮像した撮像画像の具体例を示す図である。撮像画像１３ａは、第１の実施の形態と同様に、画像左上を原点として左から右へｘ軸、上から下へy軸とするｘｙ座標系（カメラ座標）によって表される。なお、図１３に示す例では、撮像画像１３ａには、道路上の境界線として、走路脇に設置された縁石、白線、ガードレールなどの走路端ＤおよびＥと、隣接する車線との境界線Ｆと、車両前方に存在する歩行者Ｇとが含まれている。
【００５３】
この図１３に示す撮像画像１３ａを第１の実施の形態と同様に画像処理して、図１４に示すような速度画像１４ａを生成する。そして、この速度画像１４ａ内の所定範囲を分割して得られる複数の境界線検出用領域を設定する。すなわち、図１５に示すように、自車両前方の所定範囲、例えば、実空間上における自車両からの距離が２０ｍ〜６０ｍの範囲を、画像の縦方向（ｙ軸方向）に所定の高さを有する複数領域に６分割する。そして、この縦方向に分割した各領域を画像の横方向に等間隔に分割することによって、画像上の自車両前方の所定範囲に相当する範囲内に複数の境界線検出用領域１５ａを設定することができる。
【００５４】
このように設定したそれぞれの境界線検出領域１５ａを、さらに所定の大きさを有する小領域に分割する。本実施の形態では、例えば、各境界線検出領域１５ａ内を６４等分した小領域に分割する。これによって、各境界線検出領域１５ａは、８×８の小領域によって構成されるようになる。そして、分割して得られる各小領域ごとに、速度画像１４ａ内に存在する道路上の境界線の候補を検出する。
【００５５】
ここで、走路端などの道路上の境界線は、第１の実施の形態と同様に、速度画像１４ａ上では斜線として検出されることを加味して、各小領域内で斜線を構成するように斜めに並んでいる速度成分を有する画素を検出することによって、各小領域内における斜線の候補、すなわち道路上の境界線の候補を検出する。
【００５６】
まず、各小領域内に存在する任意の画素を注目画素として、その注目画素が、斜め方向に隣接する近傍画素と斜線を構成するか否かを判定する。よって、注目画素と斜めに直線を構成する近傍画素が、それぞれ速度成分を有しているかを判定するために、着目画素に対して、例えば、図１６（ｂ）に示す斜線候補検出用の空間フィルタを適用する。このとき、空間フィルタの中心１６ａが着目画素と一致するように、空間フィルタを適用する。
【００５７】
なお、速度画像１４ａ内においては、一般的に自車両の右側に存在する道路上の境界線は、走路端Ｅや隣接する車線との境界線Ｆのように左上がりの斜線として撮像され、自車両の左側に存在する道路上の境界線は、走路端Ｄのように右上がりの斜線として撮像される。よって、速度画像１４ａの右側半分の範囲内に存在する着目画素に対しては左上がりの斜線を検出するための空間フィルタ、すなわち図１６（ｂ）に示す空間フィルタを適用し、速度画像１４ａの左側半分の範囲内に存在する着目画素に対しては、右上がりの斜線を検出するための空間フィルタ、すなわち図１６（ｂ）に示す空間フィルタを左右に反転させたもの適用する。
【００５８】
このように、着目画素に対して空間フィルタを適用した結果、着目画素と、その斜め上方の画素、および斜め下方の画素の少なくともいずれか一方とが、それぞれ速度成分を有していると判定した場合には、当該着目画素を斜線を構成する点の候補、すなわち候補点として検出する。この処理を小領域内の全ての画素に対して行い、小領域内から全ての候補点を検出する。そして、小領域内で、３点以上の候補点が小領域内で斜線を構成するように斜めに並んでおり、かつこれらの候補点を結んだ直線が、次に説明する傾き条件を満たしている場合には、これらの候補点を結んだ直線、すなわち斜線を道路上の境界線の候補（境界線候補）として検出する。
【００５９】
ここで、境界線候補を検出するための傾き条件について説明する。一般的に、速度画像１４ａ内の自車両から見た左右のいずれか片方の方向、すなわち右側、または左側に、複数の道路上の境界線が存在する場合には、それぞれの境界線の傾きは、自車両に近い境界線の傾きの方が、自車両から遠い境界線の傾きよりも大きくなる。換言すれば、自車両に近い境界線の方が、自車両から遠い境界線よりもｘ軸とのなす角が大きくなる。例えば、図１４に示す例では、自車両の右側に存在する走路端Ｅの傾きは、隣接する車線との境界線Ｆの傾きよりも大きくなる。
【００６０】
よって、このことを加味して、上述した処理で検出した候補点を結んだ直線が境界線候補であるか否かを次のように判断する。例えば、図１６（ａ）に示すように、小領域１６ｂ内から候補点を結んだ直線が検出された場合には、自車両から見た同じ側で、かつ同じ高さ位置に存在する他の小領域内から候補点を結んだ直線が検出されているか否かを判定する。その結果、もし小領域１６ｂと自車両から見た同じ側で、かつ同じ高さ位置に存在する他の小領域内から候補点を結んだ直線が検出されていないと判定した場合には、小領域１６ｂに存在する候補点を結んだ直線を境界線候補として検出する。
【００６１】
これに対して、小領域１６ｂと自車両から見た同じ側で、かつ同じ高さ位置に存在する他の小領域、例えば小領域１６ｃから候補点を結んだ直線が検出されている場合には、それぞれの小領域内で検出された候補点を結んだ直線の傾きを比較して、自車両に近い直線の傾きの方が、自車両から遠い方の直線の傾きよりも大きいか否かを判定する。そして、自車両に近い方の直線の傾きの方が、自車両から遠い直線の傾きよりも大きいと判定した場合には、いずれも道路の境界線の一部を構成する境界線候補として検出する。一方、自車両に近い方の直線の傾きの方が、自車両から遠い方の直線の傾きよりも小さいと判定した場合には、いずれも境界線候補から除外する。
【００６２】
このように検出したそれぞれの境界線候補の、速度画像１４ａ上における縦方向、すなわち上下方向の斜線としての連続性を判定し、複数の境界線候補で連続性が確認された場合には、それらの境界線候補を結んだ直線を、道路上の境界線として検出する。これによって、図１７に示すように、速度画像１４ａ内から、道路上の境界線Ｄ、Ｅ、およびＦを検出することができる。
【００６３】
図１８は、第２の実施の形態における物体検出装置１００の処理を示すフローチャートである。図１８に示す処理は、車両のイグニションスイッチがオンされて、物体検出装置１００の電源がオンされると、制御装置１０３によって起動されるプログラムとして実行される。なお、図１８においては、図１２に示す第１の実施の形態における処理と同一の処理内容については、同じステップ番号を付与し、相違点を中心に説明する。
【００６４】
ステップＳ４−２において、上述したように速度画像１４ａ上に複数の境界線検出用領域１５ａを設定して、それぞれの境界線検出領域１５ａを、さらに所定の大きさを有する小領域に分割する。その後、ステップＳ５−２へ進む。ステップＳ５−２では、各小領域内の着目画素に図１６（ｂ）で上述した空間フィルタを適用して候補点を検出した後、検出した３点以上の候補点が小領域内で斜線を構成するように斜めに並んでおり、かつこれらの候補点を結んだ直線が上述した傾き条件を満たしている場合には、これらの候補点を結んだ直線を境界線候補として検出する。
【００６５】
その後、ステップＳ６−２へ進み、速度画像１４ａ上で検出したそれぞれの境界線候補の、速度画像１４ａ上における縦方向、すなわち上下方向の斜線としての連続性を判定した結果、それらの境界線候補を結んだ直線が道路上の境界線として検出されたか否かを判定する。そして、道路上の境界線が検出されたと判断した場合にはステップＳ７へ進み、検出されないと判断した場合にはステップＳ２２へ進む。
【００６６】
以上説明した第２の実施の形態によれば、速度画像１４ａ内の所定範囲内、例えば実空間上における自車両からの距離が２０ｍ〜６０ｍの範囲内に複数の境界線検出用領域を設定して、それぞれの境界線検出用領域ごとに斜線の候補を検出して、道路上の境界線を検出するようにした。このため、第１の実施の形態による効果に加えて、自車両の両側に対で存在する走路端だけではなく、例えば複数車線道路における隣接する複数の車線の境界線や道路と建物の境界線などといった種々の境界線を道路上の境界線として検出することができる。
【００６７】
上述した実施の形態における物体検出装置１００は、以下のように変形することもできる。
（１）上述した第１および第２の実施の形態では、撮像画像に対してエッジ抽出処理を行ってエッジ画像を得た後、エッジが存在する画素の画素カウンタを更新していき、当該画素カウンタのカウント値に基づいて画像上の各画素におけるエッジの速度成分を算出する例について説明した。しかし、これに限定されず、例えば一般的な手法である勾配法やブロックマッチングを用いてオプティカルフローを算出してもよい。
【００６８】
（２）上述した第１および第２の実施の形態では、図５に示す階級値を使用して速度画像５ａを算出する例について説明した。しかし、これに限定されず、その他の階級値によって表される速度画像を算出してもよい。
【００６９】
（３）上述した第１および第２の実施の形態では、本発明による物体検出装置１００を車両に搭載する例について説明したが、これに限定されず、その他の移動体に搭載してもよい。
【００７０】
（４）上述した第２の実施の形態では、速度画像１４ａ内の所定範囲内、例えば実空間上における自車両からの距離が２０ｍ〜６０ｍの範囲内に複数の境界線検出用領域を設定する例について説明した。しかしこれに限定されず、速度画像１４ａ全体に境界線検出用領域を設定してもよく、あるいは道路上の境界が存在する可能性が高い範囲、例えば速度画像１４ａの左右の所定範囲内にのみ境界線検出用領域を設定してもよい。
【００７１】
また、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
【００７２】
特許請求の範囲の構成要素と実施の形態との対応関係について説明する。カメラ１０１は撮像手段に、スピーカー１０５、および自動ブレーキ装置１０６は危険回避手段に相当する。制御装置１０３は速度情報算出手段、画素抽出手段、斜線検出手段、境界線検出手段、平衡点判定手段、物体検出手段、変換手段、および衝突危険度判定手段に相当する。なお、この対応は一例であり、実施の形態の構成によって対応関係は異なるものである。
【図面の簡単な説明】
【００７３】
【図１】物体検出装置の一実施の形態の構成例を示すブロック図である。
【図２】カメラ１０１の車両への設置例を示す図である。
【図３】カメラ１０１で撮像した画像の具体例を示す図である。
【図４】抽出したエッジを正規化して、エッジ画像を得るために行う各処理の具体例を示す図である。
【図５】第１の実施の形態における速度画像の具体例を示す図である。
【図６】第１の実施の形態において、速度画像上に境界線検出用領域を設定した場合の具体例を示す図である。
【図７】２次元道路モデルの中心７ａに向かう速度成分を持つ画素を抽出する場合の具体例を示す図である。
【図８】速度画像上において、２次元道路モデルの中心７ａに向かう同じ速度成分を持つ画素をグルーピングして、２次元道路モデルの中心７ａに向かって移動している歩行者Ｃを含む物体存在範囲８ｂ検出する具体例を示す図である。
【図９】ピッチング発生時の速度画像上における斜線の移動方向を示す図である。
【図１０】２次元道路モデルから３次元道路モデルへの変換を示す図である。
【図１１】実空間上における自車両、走路端、検出物体の位置関係を示す図である。
【図１２】第１の実施の形態における物体検出装置１００の処理を示すフローチャート図である。
【図１３】第２の実施の形態におけるカメラ１０１で撮像した撮像画像の具体例を示す図である。
【図１４】第２の実施の形態における速度画像の具体例を示す図である。
【図１５】第２の実施の形態において、速度画像上に境界線検出用領域を設定した場合の具体例を示す図である。
【図１６】第２の実施の形態における斜線の候補の検出例、および空間フィルタの具体例を示す図である。
【図１７】第２の実施の形態における道路上の境界線の検出例を示す図である。
【図１８】第２の実施の形態における物体検出装置１００の処理を示すフローチャート図である。
【符号の説明】
【００７４】
１００ 物体検出装置
１０１ カメラ
１０２ 画像メモリ
１０３ 制御装置
１０４ カウンタメモリ
１０５ スピーカー
１０６ 自動ブレーキ装置
１０７ 車速センサ
【特許請求の範囲】
【請求項１】
撮像手段で撮像した自車両前方の画像を画像処理して、各画素の画像の速度情報を算出する速度情報算出手段と、
前記速度情報算出手段で算出した各画素の画像の速度情報に基づいて、速度成分を有する画素を抽出する画素抽出手段と、
前記画素抽出手段で抽出した速度成分を有する画素によって構成される斜線を検出する斜線検出手段と、
前記斜線検出手段で検出した斜線に基づいて、前記自車両前方の画像内に存在する道路上の境界線を検出する境界線検出手段とを備えることを特徴とする物体検出装置。
【請求項２】
請求項１に記載の物体検出装置において、
前記境界線検出手段は、前記斜線検出手段で検出した斜線が自車両前方の画像上で左右対称に位置し、それぞれの速度方向が異なる場合には、これらの斜線は自車両が走行中の走路の走路端であると判定することを特徴とする物体検出装置。
【請求項３】
請求項１に記載の物体検出装置において、
前記境界線検出手段は、前記斜線検出手段によって複数の斜線が検出された場合には、前記自車両前方の画像の中心から外側にいくにつれて斜線の傾きが小さくなる場合に、これらの斜線を前記道路上の境界線として検出することを特徴とする物体検出装置。
【請求項４】
請求項１〜３のいずれか一項に記載の物体検出装置において、
前記斜線検出手段で検出した斜線の速度方向が変化する変化点を検出して、当該変化点を自車両の走行中に発生したピッチングの平衡点であると判定する平衡点判定手段をさらに備えることを特徴とする物体検出装置。
【請求項５】
請求項４に記載の物体検出装置において、
前記画素抽出手段で抽出した画素のうち、自車両の推定進行経路に側方から向かう速度情報を有する画素をグルーピングして、前記自車両の推定進行先に接近してくる移動物体を検出する物体検出手段と、
前記平衡点判定手段でピッチングの平衡点であると判定された自車両前方の画像において、前記境界線検出手段で前記道路上の境界線であると判定された斜線、および前記物体検出手段で検出された前記移動物体を実空間道路モデル上に変換して配置する変換手段と、
前記変換手段で実空間道路モデル上に配置した前記道路上の境界線および前記移動物体と、自車両との位置関係に基づいて、自車両と前記移動物体との衝突危険度を判定する衝突危険度判定手段とをさらに備えることを特徴とする物体検出装置。
【請求項６】
請求項５に記載の物体検出装置において、
前記衝突危険度判定手段は、自車両と前記移動物体との衝突危険度をその危険度の高さに応じた複数の危険度レベルに分類して判定し、
前記衝突危険度判定手段で判定された危険度レベルに応じて、自車両と前記移動物体との衝突を回避するように車両を制御する危険回避手段をさらに備えることを特徴とする物体検出装置。
【請求項７】
撮像手段で撮像した自車両前方の画像を画像処理して、各画素の画像の速度情報を算出し、
算出した各画素の画像の速度情報に基づいて、速度成分を有する画素を抽出し、
抽出した速度成分を有する画素によって構成される斜線を検出し、
検出した斜線に基づいて、前記自車両前方の画像内に存在する道路上の境界線を検出することを特徴とする物体検出装方法。
【請求項１】
撮像手段で撮像した自車両前方の画像を画像処理して、各画素の画像の速度情報を算出する速度情報算出手段と、
前記速度情報算出手段で算出した各画素の画像の速度情報に基づいて、速度成分を有する画素を抽出する画素抽出手段と、
前記画素抽出手段で抽出した速度成分を有する画素によって構成される斜線を検出する斜線検出手段と、
前記斜線検出手段で検出した斜線に基づいて、前記自車両前方の画像内に存在する道路上の境界線を検出する境界線検出手段とを備えることを特徴とする物体検出装置。
【請求項２】
請求項１に記載の物体検出装置において、
前記境界線検出手段は、前記斜線検出手段で検出した斜線が自車両前方の画像上で左右対称に位置し、それぞれの速度方向が異なる場合には、これらの斜線は自車両が走行中の走路の走路端であると判定することを特徴とする物体検出装置。
【請求項３】
請求項１に記載の物体検出装置において、
前記境界線検出手段は、前記斜線検出手段によって複数の斜線が検出された場合には、前記自車両前方の画像の中心から外側にいくにつれて斜線の傾きが小さくなる場合に、これらの斜線を前記道路上の境界線として検出することを特徴とする物体検出装置。
【請求項４】
請求項１〜３のいずれか一項に記載の物体検出装置において、
前記斜線検出手段で検出した斜線の速度方向が変化する変化点を検出して、当該変化点を自車両の走行中に発生したピッチングの平衡点であると判定する平衡点判定手段をさらに備えることを特徴とする物体検出装置。
【請求項５】
請求項４に記載の物体検出装置において、
前記画素抽出手段で抽出した画素のうち、自車両の推定進行経路に側方から向かう速度情報を有する画素をグルーピングして、前記自車両の推定進行先に接近してくる移動物体を検出する物体検出手段と、
前記平衡点判定手段でピッチングの平衡点であると判定された自車両前方の画像において、前記境界線検出手段で前記道路上の境界線であると判定された斜線、および前記物体検出手段で検出された前記移動物体を実空間道路モデル上に変換して配置する変換手段と、
前記変換手段で実空間道路モデル上に配置した前記道路上の境界線および前記移動物体と、自車両との位置関係に基づいて、自車両と前記移動物体との衝突危険度を判定する衝突危険度判定手段とをさらに備えることを特徴とする物体検出装置。
【請求項６】
請求項５に記載の物体検出装置において、
前記衝突危険度判定手段は、自車両と前記移動物体との衝突危険度をその危険度の高さに応じた複数の危険度レベルに分類して判定し、
前記衝突危険度判定手段で判定された危険度レベルに応じて、自車両と前記移動物体との衝突を回避するように車両を制御する危険回避手段をさらに備えることを特徴とする物体検出装置。
【請求項７】
撮像手段で撮像した自車両前方の画像を画像処理して、各画素の画像の速度情報を算出し、
算出した各画素の画像の速度情報に基づいて、速度成分を有する画素を抽出し、
抽出した速度成分を有する画素によって構成される斜線を検出し、
検出した斜線に基づいて、前記自車両前方の画像内に存在する道路上の境界線を検出することを特徴とする物体検出装方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００６−１８５４０６（Ｐ２００６−１８５４０６Ａ）
【公開日】平成１８年７月１３日（２００６．７．１３）
【国際特許分類】
【出願番号】特願２００５−１２３４９４（Ｐ２００５−１２３４９４）
【出願日】平成１７年４月２１日（２００５．４．２１）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成１８年７月１３日（２００６．７．１３）
【国際特許分類】
【出願日】平成１７年４月２１日（２００５．４．２１）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]