走路推定装置及びプログラム
【課題】片側車線しか検出されない場合でも、俯角を固定することなく、走路に対する撮像装置の姿勢角を含むソロパラメータを推定する。
【解決手段】特徴点抽出部２０により撮像装置１２で撮像された撮像画像を取得して、撮像画像から特徴点を抽出し、車線境界点選択部２２により、抽出された特徴点から車線を示す車線境界点を選択し、車線境界点記憶部２４に一旦記憶する。走路パラメータ推定部２６により、二時刻間でヨー角及び曲率が変化しないとの仮定の下で、二時刻間の横位置の変化を速度Ｖ及びヨー角を用いて表すことで、二時刻間の走路パラメータを関係付け、二時刻の各々で選択された車線境界点群と、走路パラメータにより定まる車線境界線との最適化により、走路パラメータを推定する。
【解決手段】特徴点抽出部２０により撮像装置１２で撮像された撮像画像を取得して、撮像画像から特徴点を抽出し、車線境界点選択部２２により、抽出された特徴点から車線を示す車線境界点を選択し、車線境界点記憶部２４に一旦記憶する。走路パラメータ推定部２６により、二時刻間でヨー角及び曲率が変化しないとの仮定の下で、二時刻間の横位置の変化を速度Ｖ及びヨー角を用いて表すことで、二時刻間の走路パラメータを関係付け、二時刻の各々で選択された車線境界点群と、走路パラメータにより定まる車線境界線との最適化により、走路パラメータを推定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、走路推定装置及びプログラムに係り、特に、車両に搭載された撮像装置により撮像された画像に基づいて、走路パラメータを推定する走路推定装置及びプログラムに関する。
【背景技術】
【０００２】
従来、カメラで撮像された画像から道路上の白線等の平行線が検出された場合には、平行線の交点から消失点位置を算出し、この消失点位置に基づいてカメラの俯角を算出する俯角算出装置が提案されている（例えば、特許文献１参照）。特許文献１に記載の俯角算出装置では、画像から平行線が検出できない場合には、画像中の物体位置を異なる時間に撮像した画像間で比較し、そのずれ量から俯角の変動量を推定し、現時刻の俯角を算出している。
【０００３】
また、１次元カメラで撮像された過去複数枚の撮像データに基づいて、白線位置を検出し、検出した白線位置と車両姿勢挙動とに基づいて、道路曲率、ヨー角、及び偏位を求める道路形状及び自車両姿勢の計測装置が提案されている（例えば、特許文献２参照）。
【０００４】
また、車速と所定の逸脱予測時間とを掛け算して前方注視点位置を算出し、ヨー角及び前方注視点位置に基づいて、前方注視点位置での前方注視点横変位を算出し、自車両が車線逸脱傾向になるか否かを判定する車線逸脱警報装置が提案されている（例えば、特許文献３参照）。特許文献３に記載の車線逸脱警報装置では、片方の車線しか検出できない場合には、前方注視点横変位の算出においてヨー角が及ぼす影響が小さくなるように予測逸脱時間を変更している。
【０００５】
また、ＣＣＤカメラにて撮像された映像から仕切線候補線を検出し、仕切線候補線上にて設定される代表点の画像座標を算出し、各代表点における仕切線候補線の傾きを求め、道路パラメータを含む方程式、各代表点の画像座標、及び仕切線候補線の傾きに基づいて、道路パラメータを推定する道路の仕切線認識装置が提案されている（例えば、特許文献４参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２４０４２２号公報
【特許文献２】特開平７−１９８３４９号公報
【特許文献３】特開２００４−２６８８４５号公報
【特許文献４】特開２００２−２３６９１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の技術のように、単眼移動ステレオ視など異なる時刻に撮像した画像を用いてカメラ姿勢の変化を推定して現時刻の路面に対する絶対的なカメラの姿勢を推定する手法は、ある時刻に両側白線など平行線を用いてカメラ姿勢の絶対的な値を算出する必要があるため、全く両側白線が存在しない場合には、絶対的なカメラ姿勢を推定することができない、という問題がある。
【０００８】
また、特許文献２の技術では、カメラレンズ中心からカメラ光軸とＸＺ平面との交点までの距離及びカメラ高さを既知としていることから、カメラの光軸と路面平面（ＸＺ平面）とのなす角である俯角は既知パラメータとなっており、俯角の変動が考慮されていないため、精度良くカメラの姿勢角を推定することができない、という問題がある。
【０００９】
また、片側車線しか検出されていない場合に、俯角を固定するとヨー角に誤差が生じ、逸脱判断の精度が低下する。特許文献３の技術では、逸脱予測時間が長いほどヨー角誤差が逸脱判断に与える影響が大きくなることを考慮して、ヨー角が低下するシーンでは、逸脱予測時間を短く設定して、煩わしさを低減しているが、俯角やヨー角の推定精度を改善するものではない。
【００１０】
また、特許文献４の技術では、白線候補点群からウインドウ内の白線候補線を検出し、「候補線は真の白線に平行であるとみなして良い」という仮定を用いてパラメータを推定しているが、これは本質的に両側白線を検出する場合と同様、ある時刻に撮像した画像中の平行線群から、俯角を含むパラメータを推定するものである。
【００１１】
本発明は、上記の問題点を解決するためになされたもので、片側車線しか検出されない場合でも、俯角を固定することなく、走路に対する撮像手段の姿勢角を含む走路パラメータを推定することができる走路推定装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明の走路推定装置は、自車両周辺を撮像する該自車両に搭載された撮像手段と、前記自車両の速度を検出する検出手段と、前記撮像手段の撮像により得られた撮像画像から、車線を示す特徴点を抽出する抽出手段と、前記抽出手段により抽出された特徴点に基づいて、前記自車両が走行する走路の形状を表す値、前記走路に対する前記撮像手段の俯角、ヨー角、及び横位置を含み、かつ前記撮像画像上での車線位置を定める走路パラメータを推定する際に、前記形状を表す値及び前記ヨー角が、異なる二時刻間で変化しないとの仮定の下で、前記二時刻間の前記横位置の変化量を前記検出手段により検出された速度及び前記ヨー角で表して、前記二時刻の各々で抽出された特徴点と前記走路パラメータにより定まる車線位置との最適化により、該走路パラメータを推定する二時刻推定手段と、を含んで構成されている。
【００１３】
本発明の走路推定装置によれば、自車両に搭載された撮像手段が、自車両周辺を撮像し、検出手段が、自車両の速度を検出する。そして、抽出手段が、撮像手段の撮像により得られた撮像画像から、車線を示す特徴点を抽出する。そして、二時刻推定手段が、抽出手段により抽出された異なる二時刻の特徴点を用いて、走路パラメータを推定する。走路パラメータは、自車両が走行する走路の形状を表す値、走路に対する撮像手段の俯角、ヨー角、及び横位置を含み、かつ撮像画像上での車線位置を定めるものである。この走路パラメータは、走路の形状を表す値及びヨー角が、異なる二時刻間で変化しないとの仮定の下で、二時刻間の横位置の変化量を検出手段により検出された速度及びヨー角で表して、二時刻の各々で抽出された特徴点と走路パラメータにより定まる車線位置との最適化により推定される。
【００１４】
このように、所定の条件で二時刻間の走路パラメータを関係付けて、異なる二時刻で抽出された車線を示す特徴点を用いることにより、片側車線しか検出されない場合でも、俯角を固定することなく、車両に搭載された撮像装置の姿勢角を推定することができる。
【００１５】
また、本発明の走路推定装置は、前記抽出手段により抽出された一時刻における左右の車線を示す特徴点と、前記走路パラメータにより定まる車線位置との最適化により、前記走路パラメータを推定する一時刻推定手段と、前記一時刻推定手段の推定結果、及び前記二時刻推定手段の推定結果の少なくとも一方を用いて最終的な走路パラメータを推定する最終推定手段と、を含んで構成することもできる。これにより、状況に応じて最適な走路パラメータを推定することができる。
【００１６】
その場合、前記二時刻推定手段は、前記特徴点として、左の車線の特徴点及び右の車線の特徴点の各々を用いて、前記走路パラメータを推定し、前記最終推定手段は、前記二時刻推定手段による左の車線の特徴点に基づく推定結果と右の車線の特徴点に基づく推定結果との差が所定範囲内であり、かつ前記二時刻推定手段による推定結果のいずれか一方と前記一時刻推定手段による推定結果との差が所定値以上の場合には、前記二時刻推定手段による推定結果の少なくとも一方を用いて、前記最終的な走路パラメータを推定するようにすることができる。これにより、増加走路などのように左右の車線の平行性が失われているような場合でも、安定して走路パラメータを推定することができる。
【００１７】
また、前記走路の形状を表す値を、前記走路の曲率、または前記走路の曲率及び曲率の変化率とすることができる。
【００１８】
また、本発明の走路推定プログラムは、コンピュータを、自車両周辺を撮像する該自車両に搭載された撮像手段により得られた撮像画像、及び前記自車両の速度を検出する検出手段により検出された該自車両の速度を取得する取得手段、前記取得手段により取得された撮像画像から、車線を示す特徴点を抽出する抽出手段、及び前記抽出手段により抽出された特徴点に基づいて、前記自車両が走行する走路の形状を表す値、前記走路に対する前記撮像手段の俯角、ヨー角、及び横位置を含み、かつ前記撮像画像上での車線位置を定める走路パラメータを推定する際に、前記形状を表す値及び前記ヨー角が、異なる二時刻間で変化しないとの仮定の下で、前記二時刻間の前記横位置の変化量を前記取得手段により取得された速度及び前記ヨー角で表して、前記二時刻の各々で抽出された特徴点と前記走路パラメータにより定まる車線位置との最適推定により、該走路パラメータを推定する二時刻推定手段として機能させるためのプログラムである。
【発明の効果】
【００１９】
以上説明したように、本発明の走路推定装置及びプログラムによれば、所定の条件で二時刻間の走路パラメータを関係付けて、異なる二時刻で抽出された車線を示す特徴点を用いることにより、片側車線しか検出されない場合でも、俯角を固定することなく、走路に対する撮像手段の姿勢角を含む走路パラメータを推定することができる、という効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】第１の実施の形態に係る走路推定装置の機能的な構成を示すブロック図である。
【図２】特徴点の抽出を説明するための図である。
【図３】車線境界点の選択を説明するための図である。
【図４】推定する走路パラメータを模式的に示した図である。
【図５】一時刻の片側車線境界線とヨー角との関係を示す図である。
【図６】ヨー角の相違による二時刻間の横位置の変化を説明するための図である。
【図７】第１の実施の形態に係る走路推定装置における走路推定処理ルーチンの内容を示すフローチャートである。
【図８】第２の実施の形態に係る走路推定装置の機能的な構成を示すブロック図である。
【図９】第２の実施の形態に係る走路推定装置における走路推定処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２２】
図１に示すように、第１の実施の形態の走路推定装置１０は、車両に搭載され、車両前方領域を連続的に撮像する撮像装置１２と、車両の速度を検出する車速センサ１４と、走路パラメータを推定する処理を実行するコンピュータ１６と、を備えている。
【００２３】
撮像装置１２は、車両前方の対象領域を撮影し、画像信号を生成する撮像部（図示省略）、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）、及びＡ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）を備えている。
【００２４】
コンピュータ１６は、ＣＰＵ、後述する走路推定処理ルーチンを実行するためのプログラム等各種プログラム及び各種データを記憶したＲＯＭ、データ等を一時的に記憶するＲＡＭ、各種情報が記憶されたメモリ、及びこれらを接続するバスを含んで構成されている。
【００２５】
このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置１２で撮像された撮像画像を取得して、撮像画像から特徴点を抽出する特徴点抽出部２０と、抽出された特徴点から車線を示す車線境界点を選択する車線境界点選択部２２と、車線境界点選択部２２で選択された車線境界点が記憶される車線境界点記憶部２４と、異なる二時刻の車線境界点に基づいて、走路パラメータを推定する走路パラメータ推定部２６と、を含んだ構成で表すことができる。
【００２６】
なお、特徴点抽出部２０及び車線境界点選択部２２が、本発明の抽出手段の一例であり、走路パラメータ推定部２６が、本発明の二時刻推定手段の一例である。
【００２７】
特徴点抽出部２０は、例えば、図２（ａ）に示すような撮像画像に対して、同図（ｂ）に示すように、水平方向に走査して画素毎の輝度の変化点であるエッジ点を特徴点として抽出する。同図（ｃ）に、抽出された特徴点を模式的に表した一例を示す。
【００２８】
車線境界点選択部２２は、特徴点抽出部２０で抽出された特徴点から、連続的に並ぶエッジ点の形状や幅、色などを判別することにより、車線を示す車線境界点を選択する。車線が複数存在する場合には、最も内側の左右１対の車線を示す車線境界点を選択する。図３に、選択された車線境界点を模式的に表した一例を示す。車線境界点選択部２２は、選択した車線境界点を車線境界点記憶部２４に記憶すると共に、走路パラメータ推定部２６へ出力する。
【００２９】
走路パラメータ推定部２６は、走路パラメータとして、自車両が走行する走路の曲率ρ、走路に対する撮像装置１２の俯角φ、ヨー角Ψ、及び横位置ｅを、車線境界点に基づいて推定する。図４に、走路パラメータの各々を模式的に示す。より具体的には、時刻ｔにおける走路パラメータｘｔ＝（φｔ，ρｔ，ｅｔ，Ψｔ）に対応する撮像画像上の車線境界点の座標をＰｔｉ（ｕｔｉ，ｖｔｉ）（ｉ＝１，２，・・・Ｎ、Ｎは選択された車線境界点の総数）とすると、ｕｔｉはｘｔ及びｖｔｉを用いて、ｕｔｉ＝ｈ（ｘｔ，ｖｔｉ）として算出することができる。ｈ（ｘｔ，ｖｔｉ）は、既知の走路パラメータ、及び車線境界点の画像上の垂直位置から、画像上の水平位置を算出する関数である。走路パラメータの推定は、関数ｈ及び複数の車線境界点群の座標からｘｔを推定する問題である。
【００３０】
ここで、走路の両側の白線が検出できる場合には、左の車線境界に対する撮像装置の横位置をｅｔｌ、右の車線境界線に対する横位置をｅｔｒとして、従来既知の技術により、一時刻の画像上の車線境界点を用いて走路パラメータｘ’ｔ＝（φｔ，ρｔ，ｅｔｌ，ｅｔｒ，Ψｔ）を推定することができる。しかし、片側車線しか検出できない場合には、図５（ａ）に示すように、ヨー角Ψｔ＝０の場合、及び同図（ｂ）に示すように、ヨー角Ψｔ≠０の場合のように、ヨー角が異なる場合であっても、撮像画像上での車線境界線の位置が同位置となる場合がある。このように、片側車線しか検出できない場合、従来の一時刻の車線境界線の特徴点を用いた走路パラメータの推定では、ヨー角及び俯角が不定性を有するため、走路パラメータを一意に決定することができない。
【００３１】
そこで、走路パラメータ推定部２６では、下記の原理に基づいて、二時刻における車線境界点群を用いて走路パラメータを推定する。
【００３２】
図６を参照して、右側の車線境界線のみが検出された場合について説明する。ｔ＝ｔ０及びｔ＝ｔ１（ｔ１＞ｔ０）におけるヨー角Ψが０の場合、時刻ｔ０における横位置ｅｔ０と時刻ｔ１における横位置ｅｔ１との間には変化がなく、撮像画像上も同じ位置に車線境界線が現れる。一方、ｔ＝ｔ０及びｔ＝ｔ１におけるヨー角ΨがΨ＞０の場合、ｅｔ０＜ｅｔ１となり、撮像画像上の車線境界線は、二時刻間（ｔ０〜ｔ１）で回転した状態（左回り）で表れる。同様に、Ψ＜０の場合はｅｔ０＞ｅｔ１となり、撮像画像上の車線境界線は、二時刻間（ｔ０〜ｔ１）で回転した状態（右回り）で表れる。さらに、二時刻間でピッチ変動が生じた場合には、車線境界線は撮像画像の上下方向に移動した状態で表れる。
【００３３】
このことから、二時刻間の走路パラメータを関係付けることにより、二時刻の各々で選択された車線境界点群を用いて、走路パラメータを一意に推定することができる。
【００３４】
より具体的には、時刻ｔ０における走路パラメータｘｔ０＝（φｔ０，ρｔ０，ｅｔ０，Ψｔ０）、及び時刻ｔ１における走路パラメータｘｔ１＝（φｔ１，ρｔ１，ｅｔ１，Ψｔ１）について、二時刻間で曲率ρ及びヨー角Ψの変化が小さいと仮定すると、近似的に下記（１）式の関係が成立する。ここで、Ｖは、車速センサ１４で検出された自車両の速度である。
【００３５】
【数１】
【００３６】
これにより、推定すべきパラメータは、俯角φｔ０、φｔ１、曲率ρｔ１、横位置ｅｔ１、ヨー角Ψｔ１の５つとなり、（１）式の条件の下、走路パラメータｘｔ０により定まる車線境界線と車線境界点の座標Ｐｔ０ｉ、及び走路パラメータｘｔ１により定まる車線境界線と車線境界点の座標Ｐｔ１ｉとについて、最小二乗法等の従来既知の手法により最適化して、走路パラメータを推定することができる。
【００３７】
なお、二時刻の間隔（ｔ１−ｔ０）は、上記条件の成立が維持される時間間隔であって、二時刻間の観測値の変化を把握できるだけの長さを有する時間間隔を適切に定める。
【００３８】
次に、図７を参照して、本実施の形態に係る走路推定装置１０のコンピュータ１６において実行される走路推定処理ルーチンについて説明する。ここでは、ｔ＝ｔ１における処理について説明するものとし、車線境界点記憶部２４には、ｔ＝ｔ０における処理で選択された車線境界点が記憶されているものとする。
【００３９】
ステップ１００で、撮像装置１２で撮像された撮像画像を取得し、次に、ステップ１０２で、撮像画像の画素毎の輝度の変化点であるエッジ点を特徴点として抽出する。
【００４０】
次に、ステップ１０４で、上記ステップ１０２で抽出された特徴点から、連続的に並ぶエッジ点の形状や幅、色などを判別することにより、車線を示す車線境界点を選択する。選択された車線境界点の座標Ｐｔ１ｉ（ｕｔ１ｉ，ｖｔ１ｉ）を車線境界点記憶部２４へ記憶する。
【００４１】
次に、ステップ１０６で、車線境界点記憶部２４から、ｔ＝ｔ０の処理において記憶された車線境界点の座標Ｐｔ０ｉ（ｕｔ０ｉ，ｖｔ０ｉ）を読み出す。次に、ステップ１０８で、車速センサ１４で検出された自車両の速度Ｖを取得する。
【００４２】
次に、ステップ１１０で、上記（１）式の関係、及び上記ステップ１０８で取得した速度Ｖを用いて、走路パラメータｘｔ０により定まる車線境界線と上記ステップ１０６で読み出した車線境界点の座標Ｐｔ０ｉ、及び走路パラメータｘｔ１により定まる車線境界線と上記ステップ１０４で選択した車線境界点の座標Ｐｔ１ｉとについて、最小二乗法等の従来既知の手法により最適化することにより、走路パラメータを推定し、推定結果を出力して、処理を終了する。
【００４３】
以上説明したように、第１の実施の形態の走路推定装置によれば、横位置及び俯角の異なりによる撮像画像上の車線境界点の異なる二時刻間での変化に基づいて、二時刻間の走路パラメータを関係付けて、異なる二時刻で抽出された車線境界点群を用いることにより、片側車線しか検出されない場合でも、俯角を固定することなく、走路に対する撮像装置の姿勢角を含む走路パラメータを推定することができる。
【００４４】
次に、第２の実施の形態について説明する。第２の実施の形態では、左車線、右車線、及び両側車線の各々に基づいて走路パラメータを推定する場合について説明する。なお、第１の実施の形態の走路推定装置１０と同様の構成については、同一または対応する符号を付して、詳細な説明は省略する。
【００４５】
図８に示すように、第２の実施の形態の走路推定装置２１０のコンピュータ２１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、特徴点抽出部２０と、抽出された特徴点から左車線を示す車線境界点を選択する左車線境界点選択部２２Ｌと、抽出された特徴点から右車線を示す車線境界点を選択する右車線境界点選択部２２Ｒと、左車線境界点選択部２２Ｌで選択された車線境界点が記憶される左車線境界点記憶部２４Ｌと、右車線境界点選択部２２Ｒで選択された車線境界点が記憶される右車線境界点記憶部２４Ｒと、異なる二時刻の左車線境界点に基づいて、走路パラメータを推定する左側走路パラメータ推定部２６Ｌと、異なる二時刻の右車線境界点に基づいて、走路パラメータを推定する右側走路パラメータ推定部２６Ｒと、一時刻の左車線境界点及び右車線境界点に基づいて、走路パラメータを推定する左右走路パラメータ推定部２８と、最終的な推定結果を出力する最終推定部３０と、を含んだ構成で表すことができる。
【００４６】
なお、左側走路パラメータ推定部２６Ｌ及び右側走路パラメータ推定部２６Ｒの各々が、本発明の二時刻推定手段の一例であり、左右走路パラメータ推定部２８が、本発明の一時刻推定手段の一例である。
【００４７】
左車線境界点選択部２２Ｌは、特徴点抽出部２０で抽出された特徴点から、第１の実施の形態の車線境界点選択部２２と同様の処理により車線境界点を選択し、さらに、選択された車線境界点の座標や車線境界点群が示す車線境界線の傾き等に基づいて、左側の車線を示す左車線境界点を選択する。左車線境界点選択部２２Ｌは、選択した左車線境界点を左車線境界点記憶部２４Ｌに記憶すると共に、左側走路パラメータ推定部２６Ｌへ出力する。
【００４８】
右車線境界点選択部２２Ｒも、左車線境界点選択部２２Ｌと同様の処理により、右側の車線を示す右車線境界点を選択し、選択した左車線境界点を右車線境界点記憶部２４Ｒに記憶すると共に、右側走路パラメータ推定部２６Ｒへ出力する。
【００４９】
左側走路パラメータ推定部２６Ｌ及び右側走路パラメータ推定部２６Ｒは、第１の実施の形態の走路パラメータ推定部２６と同様に、異なる二時刻において選択された車線境界点を用いて、走路パラメータを推定する。上述したように、本実施の形態では、片側車線しか検出されない場合でも、走路パラメータを推定することができるため、左側走路パラメータ推定部２６Ｌ及び右側走路パラメータ推定部２６Ｒの各々において、走路パラメータを推定することができる。
【００５０】
左右走路パラメータ推定部２８は、従来技術と同様に、一時刻における左車線境界点及び右車線境界点の双方に基づいて、両車線の平行性を利用して、走路パラメータを推定する。
【００５１】
最終推定部３０は、左側走路パラメータ推定部２６Ｌ、右側走路パラメータ推定部２６Ｒ、及び左右走路パラメータ推定部２８各々の推定結果に基づいて、最終的な走路パラメータを推定して出力する。例えば、３つの推定結果の平均や重み付き平均により、最終的な走路パラメータを算出することができる。また、予め定めた条件に従って、いずれか１つの推定結果を最終的な推定結果として選択するようにしてもよい。
【００５２】
また、左側走路パラメータ推定部２６Ｌの推定結果と右側走路パラメータ推定部２６Ｒの推定結果との差が所定範囲内（推定結果が略一致）であり、かつ左側走路パラメータ推定部２６Ｌの推定結果及び右側走路パラメータ推定部２６Ｒの推定結果のいずれかと、左右走路パラメータ推定部２８の推定結果とが所定値以上の（推定結果が大きく異なる）場合には、左側走路パラメータ推定部２６Ｌ及び右側走路パラメータ推定部２６Ｒの推定結果の少なくとも一方を用い、左右走路パラメータ推定部２８の推定結果は用いないで最終的な推定結果を算出するようにするとよい。このような場合には、例えば、増加走路などのように、左右両側の車線は検出されているが、左右の車線の平行性が失われているような場面が想定される。従って、左右の車線の平行性に影響を受けることなく走路パラメータを推定することが可能な左側走路パラメータ推定部２６Ｌ及び右側走路パラメータ推定部２６Ｒの推定結果を用い、左右の車線の平行性に影響を受ける左右走路パラメータ推定部２８の推定結果は用いないようにすることで、適切に走路パラメータを推定することができる。
【００５３】
次に、図９を参照して、本実施の形態に係る走路推定装置２１０のコンピュータ２１６において実行される走路推定処理ルーチンについて説明する。ここでは、ｔ＝ｔ１における処理について説明するものとし、左車線境界点記憶部２４Ｌ及び右車線境界点記憶部２４Ｒには、ｔ＝ｔ０における処理で選択された左車線境界点及び右車線境界点が記憶されているものとする。なお、第１の実施の形態の走路推定処理ルーチンと同一の処理については、同一の符号を付して詳細な説明は省略する。
【００５４】
ステップ１００で、撮像画像を取得し、次に、ステップ１０２で、撮像画像から特徴点を抽出する。
【００５５】
次に、ステップ２００で、上記ステップ１０２で抽出された特徴点から、連続的に並ぶエッジ点の形状や幅、色などを判別することにより、車線を示す車線境界点を選択し、さらに、選択された車線境界点の座標や車線点群が示す車線境界線の傾き等に基づいて、左側の車線を示す左車線境界点を選択する。選択された左車線境界点の座標Ｐｔ１Ｌｉ（ｕｔ１Ｌｉ，ｖｔ１Ｌｉ）を車線境界点記憶部２４へ記憶する。
【００５６】
次に、ステップ２０２で、左車線境界点記憶部２４Ｌから、ｔ＝ｔ０の処理において記憶された左車線境界点の座標Ｐｔ０Ｌｉ（ｕｔ０Ｌｉ，ｖｔ０Ｌｉ）を読み出す。次に、ステップ１０８で、車速センサ１４で検出された自車両の速度Ｖを取得する。
【００５７】
次に、ステップ２０４で、上記（１）式の関係、及び上記ステップ１０８で取得した速度Ｖを用いて、走路パラメータｘｔ０により定まる車線境界線と上記ステップ２０２で読み出した左車線境界点の座標Ｐｔ０Ｌｉ、及び走路パラメータｘｔ１により定まる車線境界線と上記ステップ２００で選択した車線境界点の座標Ｐｔ１Ｌｉとについて、最小二乗法等の従来既知の手法により最適化して、左側走路パラメータを推定する。
【００５８】
次に、ステップ２０６〜２０９で、上記ステップ２００〜２０４と同様に、右車線境界点の座標Ｐｔ０Ｒｉに基づく右側走路パラメータを推定する。
【００５９】
次に、ステップ２１２で、一時刻における左車線境界点及び右車線境界点の双方を用いて、左右走路パラメータを推定する。
【００６０】
次に、ステップ２１４で、上記ステップ２０４で推定された左側走路パラメータ、上記ステップ２０９で推定された右側走路パラメータ、及び上記ステップ２１２で推定された左右走路パラメータに基づいて、最終的な走路パラメータを推定し、推定結果を出力して、処理を終了する。
【００６１】
なお、上記ステップ２００〜２０４の左側走路パラメータの推定処理、ステップ２０６〜２０９の右側走路パラメータの推定処理、及びステップ２１２の左右走路パラメータの推定処理は、上記の順番で処理する場合に限らず、いずれを先に実行してもよいし、３つの処理を並行して実行してもよい。
【００６２】
以上説明したように、第２の実施の形態の走路推定装置によれば、従来の一時刻における車線境界点を用いた走路パラメータの推定もあわせて用いることで、状況に応じて適切な走路パラメータを推定することができる。
【００６３】
なお、上記実施の形態では、走路パラメータの１つとして、走路の曲率ρを用いる場合について説明したが、このパラメータは、走路の形状を示すパラメータであればよく、例えばクロソイド曲線などの形状を表す曲率の変化率ρ’をあわせて用いてもよい。この場合、上記（１）式の第１式は、ρ’ｔ１＝ρ’ｔ０＋Ｖ（ｔ１−ｔ０）として、二時刻間の走路パラメータを関係付けるとよい。
【００６４】
また、本発明のプログラムは、記録媒体に格納して提供したり、有線または無線による通信手段を介して提供したりする形態としてもよい。また、ソフトウエア構成による実現に限られるものではなく、ハードウエア構成や、ハードウエア構成とソフトウエア構成の組み合わせによって実現してもよい。
【符号の説明】
【００６５】
１０、２１０ 走路推定装置
１２ 撮像装置
１４ 車速センサ
１６、２１６ コンピュータ
２０ 特徴点抽出部
２２ 車線境界点選択部
２２Ｒ 右車線境界点選択部
２２Ｌ 左車線境界点選択部
２４ 車線境界点記憶部
２４Ｌ 左車線境界点記憶部
２４Ｒ 右車線境界点記憶部
２６ 走路パラメータ推定部
２６Ｌ 左側走路パラメータ推定部
２６Ｒ 右側走路パラメータ推定部
２８ 左右走路パラメータ推定部
３０ 最終推定部
【技術分野】
【０００１】
本発明は、走路推定装置及びプログラムに係り、特に、車両に搭載された撮像装置により撮像された画像に基づいて、走路パラメータを推定する走路推定装置及びプログラムに関する。
【背景技術】
【０００２】
従来、カメラで撮像された画像から道路上の白線等の平行線が検出された場合には、平行線の交点から消失点位置を算出し、この消失点位置に基づいてカメラの俯角を算出する俯角算出装置が提案されている（例えば、特許文献１参照）。特許文献１に記載の俯角算出装置では、画像から平行線が検出できない場合には、画像中の物体位置を異なる時間に撮像した画像間で比較し、そのずれ量から俯角の変動量を推定し、現時刻の俯角を算出している。
【０００３】
また、１次元カメラで撮像された過去複数枚の撮像データに基づいて、白線位置を検出し、検出した白線位置と車両姿勢挙動とに基づいて、道路曲率、ヨー角、及び偏位を求める道路形状及び自車両姿勢の計測装置が提案されている（例えば、特許文献２参照）。
【０００４】
また、車速と所定の逸脱予測時間とを掛け算して前方注視点位置を算出し、ヨー角及び前方注視点位置に基づいて、前方注視点位置での前方注視点横変位を算出し、自車両が車線逸脱傾向になるか否かを判定する車線逸脱警報装置が提案されている（例えば、特許文献３参照）。特許文献３に記載の車線逸脱警報装置では、片方の車線しか検出できない場合には、前方注視点横変位の算出においてヨー角が及ぼす影響が小さくなるように予測逸脱時間を変更している。
【０００５】
また、ＣＣＤカメラにて撮像された映像から仕切線候補線を検出し、仕切線候補線上にて設定される代表点の画像座標を算出し、各代表点における仕切線候補線の傾きを求め、道路パラメータを含む方程式、各代表点の画像座標、及び仕切線候補線の傾きに基づいて、道路パラメータを推定する道路の仕切線認識装置が提案されている（例えば、特許文献４参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２４０４２２号公報
【特許文献２】特開平７−１９８３４９号公報
【特許文献３】特開２００４−２６８８４５号公報
【特許文献４】特開２００２−２３６９１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の技術のように、単眼移動ステレオ視など異なる時刻に撮像した画像を用いてカメラ姿勢の変化を推定して現時刻の路面に対する絶対的なカメラの姿勢を推定する手法は、ある時刻に両側白線など平行線を用いてカメラ姿勢の絶対的な値を算出する必要があるため、全く両側白線が存在しない場合には、絶対的なカメラ姿勢を推定することができない、という問題がある。
【０００８】
また、特許文献２の技術では、カメラレンズ中心からカメラ光軸とＸＺ平面との交点までの距離及びカメラ高さを既知としていることから、カメラの光軸と路面平面（ＸＺ平面）とのなす角である俯角は既知パラメータとなっており、俯角の変動が考慮されていないため、精度良くカメラの姿勢角を推定することができない、という問題がある。
【０００９】
また、片側車線しか検出されていない場合に、俯角を固定するとヨー角に誤差が生じ、逸脱判断の精度が低下する。特許文献３の技術では、逸脱予測時間が長いほどヨー角誤差が逸脱判断に与える影響が大きくなることを考慮して、ヨー角が低下するシーンでは、逸脱予測時間を短く設定して、煩わしさを低減しているが、俯角やヨー角の推定精度を改善するものではない。
【００１０】
また、特許文献４の技術では、白線候補点群からウインドウ内の白線候補線を検出し、「候補線は真の白線に平行であるとみなして良い」という仮定を用いてパラメータを推定しているが、これは本質的に両側白線を検出する場合と同様、ある時刻に撮像した画像中の平行線群から、俯角を含むパラメータを推定するものである。
【００１１】
本発明は、上記の問題点を解決するためになされたもので、片側車線しか検出されない場合でも、俯角を固定することなく、走路に対する撮像手段の姿勢角を含む走路パラメータを推定することができる走路推定装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明の走路推定装置は、自車両周辺を撮像する該自車両に搭載された撮像手段と、前記自車両の速度を検出する検出手段と、前記撮像手段の撮像により得られた撮像画像から、車線を示す特徴点を抽出する抽出手段と、前記抽出手段により抽出された特徴点に基づいて、前記自車両が走行する走路の形状を表す値、前記走路に対する前記撮像手段の俯角、ヨー角、及び横位置を含み、かつ前記撮像画像上での車線位置を定める走路パラメータを推定する際に、前記形状を表す値及び前記ヨー角が、異なる二時刻間で変化しないとの仮定の下で、前記二時刻間の前記横位置の変化量を前記検出手段により検出された速度及び前記ヨー角で表して、前記二時刻の各々で抽出された特徴点と前記走路パラメータにより定まる車線位置との最適化により、該走路パラメータを推定する二時刻推定手段と、を含んで構成されている。
【００１３】
本発明の走路推定装置によれば、自車両に搭載された撮像手段が、自車両周辺を撮像し、検出手段が、自車両の速度を検出する。そして、抽出手段が、撮像手段の撮像により得られた撮像画像から、車線を示す特徴点を抽出する。そして、二時刻推定手段が、抽出手段により抽出された異なる二時刻の特徴点を用いて、走路パラメータを推定する。走路パラメータは、自車両が走行する走路の形状を表す値、走路に対する撮像手段の俯角、ヨー角、及び横位置を含み、かつ撮像画像上での車線位置を定めるものである。この走路パラメータは、走路の形状を表す値及びヨー角が、異なる二時刻間で変化しないとの仮定の下で、二時刻間の横位置の変化量を検出手段により検出された速度及びヨー角で表して、二時刻の各々で抽出された特徴点と走路パラメータにより定まる車線位置との最適化により推定される。
【００１４】
このように、所定の条件で二時刻間の走路パラメータを関係付けて、異なる二時刻で抽出された車線を示す特徴点を用いることにより、片側車線しか検出されない場合でも、俯角を固定することなく、車両に搭載された撮像装置の姿勢角を推定することができる。
【００１５】
また、本発明の走路推定装置は、前記抽出手段により抽出された一時刻における左右の車線を示す特徴点と、前記走路パラメータにより定まる車線位置との最適化により、前記走路パラメータを推定する一時刻推定手段と、前記一時刻推定手段の推定結果、及び前記二時刻推定手段の推定結果の少なくとも一方を用いて最終的な走路パラメータを推定する最終推定手段と、を含んで構成することもできる。これにより、状況に応じて最適な走路パラメータを推定することができる。
【００１６】
その場合、前記二時刻推定手段は、前記特徴点として、左の車線の特徴点及び右の車線の特徴点の各々を用いて、前記走路パラメータを推定し、前記最終推定手段は、前記二時刻推定手段による左の車線の特徴点に基づく推定結果と右の車線の特徴点に基づく推定結果との差が所定範囲内であり、かつ前記二時刻推定手段による推定結果のいずれか一方と前記一時刻推定手段による推定結果との差が所定値以上の場合には、前記二時刻推定手段による推定結果の少なくとも一方を用いて、前記最終的な走路パラメータを推定するようにすることができる。これにより、増加走路などのように左右の車線の平行性が失われているような場合でも、安定して走路パラメータを推定することができる。
【００１７】
また、前記走路の形状を表す値を、前記走路の曲率、または前記走路の曲率及び曲率の変化率とすることができる。
【００１８】
また、本発明の走路推定プログラムは、コンピュータを、自車両周辺を撮像する該自車両に搭載された撮像手段により得られた撮像画像、及び前記自車両の速度を検出する検出手段により検出された該自車両の速度を取得する取得手段、前記取得手段により取得された撮像画像から、車線を示す特徴点を抽出する抽出手段、及び前記抽出手段により抽出された特徴点に基づいて、前記自車両が走行する走路の形状を表す値、前記走路に対する前記撮像手段の俯角、ヨー角、及び横位置を含み、かつ前記撮像画像上での車線位置を定める走路パラメータを推定する際に、前記形状を表す値及び前記ヨー角が、異なる二時刻間で変化しないとの仮定の下で、前記二時刻間の前記横位置の変化量を前記取得手段により取得された速度及び前記ヨー角で表して、前記二時刻の各々で抽出された特徴点と前記走路パラメータにより定まる車線位置との最適推定により、該走路パラメータを推定する二時刻推定手段として機能させるためのプログラムである。
【発明の効果】
【００１９】
以上説明したように、本発明の走路推定装置及びプログラムによれば、所定の条件で二時刻間の走路パラメータを関係付けて、異なる二時刻で抽出された車線を示す特徴点を用いることにより、片側車線しか検出されない場合でも、俯角を固定することなく、走路に対する撮像手段の姿勢角を含む走路パラメータを推定することができる、という効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】第１の実施の形態に係る走路推定装置の機能的な構成を示すブロック図である。
【図２】特徴点の抽出を説明するための図である。
【図３】車線境界点の選択を説明するための図である。
【図４】推定する走路パラメータを模式的に示した図である。
【図５】一時刻の片側車線境界線とヨー角との関係を示す図である。
【図６】ヨー角の相違による二時刻間の横位置の変化を説明するための図である。
【図７】第１の実施の形態に係る走路推定装置における走路推定処理ルーチンの内容を示すフローチャートである。
【図８】第２の実施の形態に係る走路推定装置の機能的な構成を示すブロック図である。
【図９】第２の実施の形態に係る走路推定装置における走路推定処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２２】
図１に示すように、第１の実施の形態の走路推定装置１０は、車両に搭載され、車両前方領域を連続的に撮像する撮像装置１２と、車両の速度を検出する車速センサ１４と、走路パラメータを推定する処理を実行するコンピュータ１６と、を備えている。
【００２３】
撮像装置１２は、車両前方の対象領域を撮影し、画像信号を生成する撮像部（図示省略）、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）、及びＡ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）を備えている。
【００２４】
コンピュータ１６は、ＣＰＵ、後述する走路推定処理ルーチンを実行するためのプログラム等各種プログラム及び各種データを記憶したＲＯＭ、データ等を一時的に記憶するＲＡＭ、各種情報が記憶されたメモリ、及びこれらを接続するバスを含んで構成されている。
【００２５】
このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置１２で撮像された撮像画像を取得して、撮像画像から特徴点を抽出する特徴点抽出部２０と、抽出された特徴点から車線を示す車線境界点を選択する車線境界点選択部２２と、車線境界点選択部２２で選択された車線境界点が記憶される車線境界点記憶部２４と、異なる二時刻の車線境界点に基づいて、走路パラメータを推定する走路パラメータ推定部２６と、を含んだ構成で表すことができる。
【００２６】
なお、特徴点抽出部２０及び車線境界点選択部２２が、本発明の抽出手段の一例であり、走路パラメータ推定部２６が、本発明の二時刻推定手段の一例である。
【００２７】
特徴点抽出部２０は、例えば、図２（ａ）に示すような撮像画像に対して、同図（ｂ）に示すように、水平方向に走査して画素毎の輝度の変化点であるエッジ点を特徴点として抽出する。同図（ｃ）に、抽出された特徴点を模式的に表した一例を示す。
【００２８】
車線境界点選択部２２は、特徴点抽出部２０で抽出された特徴点から、連続的に並ぶエッジ点の形状や幅、色などを判別することにより、車線を示す車線境界点を選択する。車線が複数存在する場合には、最も内側の左右１対の車線を示す車線境界点を選択する。図３に、選択された車線境界点を模式的に表した一例を示す。車線境界点選択部２２は、選択した車線境界点を車線境界点記憶部２４に記憶すると共に、走路パラメータ推定部２６へ出力する。
【００２９】
走路パラメータ推定部２６は、走路パラメータとして、自車両が走行する走路の曲率ρ、走路に対する撮像装置１２の俯角φ、ヨー角Ψ、及び横位置ｅを、車線境界点に基づいて推定する。図４に、走路パラメータの各々を模式的に示す。より具体的には、時刻ｔにおける走路パラメータｘｔ＝（φｔ，ρｔ，ｅｔ，Ψｔ）に対応する撮像画像上の車線境界点の座標をＰｔｉ（ｕｔｉ，ｖｔｉ）（ｉ＝１，２，・・・Ｎ、Ｎは選択された車線境界点の総数）とすると、ｕｔｉはｘｔ及びｖｔｉを用いて、ｕｔｉ＝ｈ（ｘｔ，ｖｔｉ）として算出することができる。ｈ（ｘｔ，ｖｔｉ）は、既知の走路パラメータ、及び車線境界点の画像上の垂直位置から、画像上の水平位置を算出する関数である。走路パラメータの推定は、関数ｈ及び複数の車線境界点群の座標からｘｔを推定する問題である。
【００３０】
ここで、走路の両側の白線が検出できる場合には、左の車線境界に対する撮像装置の横位置をｅｔｌ、右の車線境界線に対する横位置をｅｔｒとして、従来既知の技術により、一時刻の画像上の車線境界点を用いて走路パラメータｘ’ｔ＝（φｔ，ρｔ，ｅｔｌ，ｅｔｒ，Ψｔ）を推定することができる。しかし、片側車線しか検出できない場合には、図５（ａ）に示すように、ヨー角Ψｔ＝０の場合、及び同図（ｂ）に示すように、ヨー角Ψｔ≠０の場合のように、ヨー角が異なる場合であっても、撮像画像上での車線境界線の位置が同位置となる場合がある。このように、片側車線しか検出できない場合、従来の一時刻の車線境界線の特徴点を用いた走路パラメータの推定では、ヨー角及び俯角が不定性を有するため、走路パラメータを一意に決定することができない。
【００３１】
そこで、走路パラメータ推定部２６では、下記の原理に基づいて、二時刻における車線境界点群を用いて走路パラメータを推定する。
【００３２】
図６を参照して、右側の車線境界線のみが検出された場合について説明する。ｔ＝ｔ０及びｔ＝ｔ１（ｔ１＞ｔ０）におけるヨー角Ψが０の場合、時刻ｔ０における横位置ｅｔ０と時刻ｔ１における横位置ｅｔ１との間には変化がなく、撮像画像上も同じ位置に車線境界線が現れる。一方、ｔ＝ｔ０及びｔ＝ｔ１におけるヨー角ΨがΨ＞０の場合、ｅｔ０＜ｅｔ１となり、撮像画像上の車線境界線は、二時刻間（ｔ０〜ｔ１）で回転した状態（左回り）で表れる。同様に、Ψ＜０の場合はｅｔ０＞ｅｔ１となり、撮像画像上の車線境界線は、二時刻間（ｔ０〜ｔ１）で回転した状態（右回り）で表れる。さらに、二時刻間でピッチ変動が生じた場合には、車線境界線は撮像画像の上下方向に移動した状態で表れる。
【００３３】
このことから、二時刻間の走路パラメータを関係付けることにより、二時刻の各々で選択された車線境界点群を用いて、走路パラメータを一意に推定することができる。
【００３４】
より具体的には、時刻ｔ０における走路パラメータｘｔ０＝（φｔ０，ρｔ０，ｅｔ０，Ψｔ０）、及び時刻ｔ１における走路パラメータｘｔ１＝（φｔ１，ρｔ１，ｅｔ１，Ψｔ１）について、二時刻間で曲率ρ及びヨー角Ψの変化が小さいと仮定すると、近似的に下記（１）式の関係が成立する。ここで、Ｖは、車速センサ１４で検出された自車両の速度である。
【００３５】
【数１】
【００３６】
これにより、推定すべきパラメータは、俯角φｔ０、φｔ１、曲率ρｔ１、横位置ｅｔ１、ヨー角Ψｔ１の５つとなり、（１）式の条件の下、走路パラメータｘｔ０により定まる車線境界線と車線境界点の座標Ｐｔ０ｉ、及び走路パラメータｘｔ１により定まる車線境界線と車線境界点の座標Ｐｔ１ｉとについて、最小二乗法等の従来既知の手法により最適化して、走路パラメータを推定することができる。
【００３７】
なお、二時刻の間隔（ｔ１−ｔ０）は、上記条件の成立が維持される時間間隔であって、二時刻間の観測値の変化を把握できるだけの長さを有する時間間隔を適切に定める。
【００３８】
次に、図７を参照して、本実施の形態に係る走路推定装置１０のコンピュータ１６において実行される走路推定処理ルーチンについて説明する。ここでは、ｔ＝ｔ１における処理について説明するものとし、車線境界点記憶部２４には、ｔ＝ｔ０における処理で選択された車線境界点が記憶されているものとする。
【００３９】
ステップ１００で、撮像装置１２で撮像された撮像画像を取得し、次に、ステップ１０２で、撮像画像の画素毎の輝度の変化点であるエッジ点を特徴点として抽出する。
【００４０】
次に、ステップ１０４で、上記ステップ１０２で抽出された特徴点から、連続的に並ぶエッジ点の形状や幅、色などを判別することにより、車線を示す車線境界点を選択する。選択された車線境界点の座標Ｐｔ１ｉ（ｕｔ１ｉ，ｖｔ１ｉ）を車線境界点記憶部２４へ記憶する。
【００４１】
次に、ステップ１０６で、車線境界点記憶部２４から、ｔ＝ｔ０の処理において記憶された車線境界点の座標Ｐｔ０ｉ（ｕｔ０ｉ，ｖｔ０ｉ）を読み出す。次に、ステップ１０８で、車速センサ１４で検出された自車両の速度Ｖを取得する。
【００４２】
次に、ステップ１１０で、上記（１）式の関係、及び上記ステップ１０８で取得した速度Ｖを用いて、走路パラメータｘｔ０により定まる車線境界線と上記ステップ１０６で読み出した車線境界点の座標Ｐｔ０ｉ、及び走路パラメータｘｔ１により定まる車線境界線と上記ステップ１０４で選択した車線境界点の座標Ｐｔ１ｉとについて、最小二乗法等の従来既知の手法により最適化することにより、走路パラメータを推定し、推定結果を出力して、処理を終了する。
【００４３】
以上説明したように、第１の実施の形態の走路推定装置によれば、横位置及び俯角の異なりによる撮像画像上の車線境界点の異なる二時刻間での変化に基づいて、二時刻間の走路パラメータを関係付けて、異なる二時刻で抽出された車線境界点群を用いることにより、片側車線しか検出されない場合でも、俯角を固定することなく、走路に対する撮像装置の姿勢角を含む走路パラメータを推定することができる。
【００４４】
次に、第２の実施の形態について説明する。第２の実施の形態では、左車線、右車線、及び両側車線の各々に基づいて走路パラメータを推定する場合について説明する。なお、第１の実施の形態の走路推定装置１０と同様の構成については、同一または対応する符号を付して、詳細な説明は省略する。
【００４５】
図８に示すように、第２の実施の形態の走路推定装置２１０のコンピュータ２１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、特徴点抽出部２０と、抽出された特徴点から左車線を示す車線境界点を選択する左車線境界点選択部２２Ｌと、抽出された特徴点から右車線を示す車線境界点を選択する右車線境界点選択部２２Ｒと、左車線境界点選択部２２Ｌで選択された車線境界点が記憶される左車線境界点記憶部２４Ｌと、右車線境界点選択部２２Ｒで選択された車線境界点が記憶される右車線境界点記憶部２４Ｒと、異なる二時刻の左車線境界点に基づいて、走路パラメータを推定する左側走路パラメータ推定部２６Ｌと、異なる二時刻の右車線境界点に基づいて、走路パラメータを推定する右側走路パラメータ推定部２６Ｒと、一時刻の左車線境界点及び右車線境界点に基づいて、走路パラメータを推定する左右走路パラメータ推定部２８と、最終的な推定結果を出力する最終推定部３０と、を含んだ構成で表すことができる。
【００４６】
なお、左側走路パラメータ推定部２６Ｌ及び右側走路パラメータ推定部２６Ｒの各々が、本発明の二時刻推定手段の一例であり、左右走路パラメータ推定部２８が、本発明の一時刻推定手段の一例である。
【００４７】
左車線境界点選択部２２Ｌは、特徴点抽出部２０で抽出された特徴点から、第１の実施の形態の車線境界点選択部２２と同様の処理により車線境界点を選択し、さらに、選択された車線境界点の座標や車線境界点群が示す車線境界線の傾き等に基づいて、左側の車線を示す左車線境界点を選択する。左車線境界点選択部２２Ｌは、選択した左車線境界点を左車線境界点記憶部２４Ｌに記憶すると共に、左側走路パラメータ推定部２６Ｌへ出力する。
【００４８】
右車線境界点選択部２２Ｒも、左車線境界点選択部２２Ｌと同様の処理により、右側の車線を示す右車線境界点を選択し、選択した左車線境界点を右車線境界点記憶部２４Ｒに記憶すると共に、右側走路パラメータ推定部２６Ｒへ出力する。
【００４９】
左側走路パラメータ推定部２６Ｌ及び右側走路パラメータ推定部２６Ｒは、第１の実施の形態の走路パラメータ推定部２６と同様に、異なる二時刻において選択された車線境界点を用いて、走路パラメータを推定する。上述したように、本実施の形態では、片側車線しか検出されない場合でも、走路パラメータを推定することができるため、左側走路パラメータ推定部２６Ｌ及び右側走路パラメータ推定部２６Ｒの各々において、走路パラメータを推定することができる。
【００５０】
左右走路パラメータ推定部２８は、従来技術と同様に、一時刻における左車線境界点及び右車線境界点の双方に基づいて、両車線の平行性を利用して、走路パラメータを推定する。
【００５１】
最終推定部３０は、左側走路パラメータ推定部２６Ｌ、右側走路パラメータ推定部２６Ｒ、及び左右走路パラメータ推定部２８各々の推定結果に基づいて、最終的な走路パラメータを推定して出力する。例えば、３つの推定結果の平均や重み付き平均により、最終的な走路パラメータを算出することができる。また、予め定めた条件に従って、いずれか１つの推定結果を最終的な推定結果として選択するようにしてもよい。
【００５２】
また、左側走路パラメータ推定部２６Ｌの推定結果と右側走路パラメータ推定部２６Ｒの推定結果との差が所定範囲内（推定結果が略一致）であり、かつ左側走路パラメータ推定部２６Ｌの推定結果及び右側走路パラメータ推定部２６Ｒの推定結果のいずれかと、左右走路パラメータ推定部２８の推定結果とが所定値以上の（推定結果が大きく異なる）場合には、左側走路パラメータ推定部２６Ｌ及び右側走路パラメータ推定部２６Ｒの推定結果の少なくとも一方を用い、左右走路パラメータ推定部２８の推定結果は用いないで最終的な推定結果を算出するようにするとよい。このような場合には、例えば、増加走路などのように、左右両側の車線は検出されているが、左右の車線の平行性が失われているような場面が想定される。従って、左右の車線の平行性に影響を受けることなく走路パラメータを推定することが可能な左側走路パラメータ推定部２６Ｌ及び右側走路パラメータ推定部２６Ｒの推定結果を用い、左右の車線の平行性に影響を受ける左右走路パラメータ推定部２８の推定結果は用いないようにすることで、適切に走路パラメータを推定することができる。
【００５３】
次に、図９を参照して、本実施の形態に係る走路推定装置２１０のコンピュータ２１６において実行される走路推定処理ルーチンについて説明する。ここでは、ｔ＝ｔ１における処理について説明するものとし、左車線境界点記憶部２４Ｌ及び右車線境界点記憶部２４Ｒには、ｔ＝ｔ０における処理で選択された左車線境界点及び右車線境界点が記憶されているものとする。なお、第１の実施の形態の走路推定処理ルーチンと同一の処理については、同一の符号を付して詳細な説明は省略する。
【００５４】
ステップ１００で、撮像画像を取得し、次に、ステップ１０２で、撮像画像から特徴点を抽出する。
【００５５】
次に、ステップ２００で、上記ステップ１０２で抽出された特徴点から、連続的に並ぶエッジ点の形状や幅、色などを判別することにより、車線を示す車線境界点を選択し、さらに、選択された車線境界点の座標や車線点群が示す車線境界線の傾き等に基づいて、左側の車線を示す左車線境界点を選択する。選択された左車線境界点の座標Ｐｔ１Ｌｉ（ｕｔ１Ｌｉ，ｖｔ１Ｌｉ）を車線境界点記憶部２４へ記憶する。
【００５６】
次に、ステップ２０２で、左車線境界点記憶部２４Ｌから、ｔ＝ｔ０の処理において記憶された左車線境界点の座標Ｐｔ０Ｌｉ（ｕｔ０Ｌｉ，ｖｔ０Ｌｉ）を読み出す。次に、ステップ１０８で、車速センサ１４で検出された自車両の速度Ｖを取得する。
【００５７】
次に、ステップ２０４で、上記（１）式の関係、及び上記ステップ１０８で取得した速度Ｖを用いて、走路パラメータｘｔ０により定まる車線境界線と上記ステップ２０２で読み出した左車線境界点の座標Ｐｔ０Ｌｉ、及び走路パラメータｘｔ１により定まる車線境界線と上記ステップ２００で選択した車線境界点の座標Ｐｔ１Ｌｉとについて、最小二乗法等の従来既知の手法により最適化して、左側走路パラメータを推定する。
【００５８】
次に、ステップ２０６〜２０９で、上記ステップ２００〜２０４と同様に、右車線境界点の座標Ｐｔ０Ｒｉに基づく右側走路パラメータを推定する。
【００５９】
次に、ステップ２１２で、一時刻における左車線境界点及び右車線境界点の双方を用いて、左右走路パラメータを推定する。
【００６０】
次に、ステップ２１４で、上記ステップ２０４で推定された左側走路パラメータ、上記ステップ２０９で推定された右側走路パラメータ、及び上記ステップ２１２で推定された左右走路パラメータに基づいて、最終的な走路パラメータを推定し、推定結果を出力して、処理を終了する。
【００６１】
なお、上記ステップ２００〜２０４の左側走路パラメータの推定処理、ステップ２０６〜２０９の右側走路パラメータの推定処理、及びステップ２１２の左右走路パラメータの推定処理は、上記の順番で処理する場合に限らず、いずれを先に実行してもよいし、３つの処理を並行して実行してもよい。
【００６２】
以上説明したように、第２の実施の形態の走路推定装置によれば、従来の一時刻における車線境界点を用いた走路パラメータの推定もあわせて用いることで、状況に応じて適切な走路パラメータを推定することができる。
【００６３】
なお、上記実施の形態では、走路パラメータの１つとして、走路の曲率ρを用いる場合について説明したが、このパラメータは、走路の形状を示すパラメータであればよく、例えばクロソイド曲線などの形状を表す曲率の変化率ρ’をあわせて用いてもよい。この場合、上記（１）式の第１式は、ρ’ｔ１＝ρ’ｔ０＋Ｖ（ｔ１−ｔ０）として、二時刻間の走路パラメータを関係付けるとよい。
【００６４】
また、本発明のプログラムは、記録媒体に格納して提供したり、有線または無線による通信手段を介して提供したりする形態としてもよい。また、ソフトウエア構成による実現に限られるものではなく、ハードウエア構成や、ハードウエア構成とソフトウエア構成の組み合わせによって実現してもよい。
【符号の説明】
【００６５】
１０、２１０ 走路推定装置
１２ 撮像装置
１４ 車速センサ
１６、２１６ コンピュータ
２０ 特徴点抽出部
２２ 車線境界点選択部
２２Ｒ 右車線境界点選択部
２２Ｌ 左車線境界点選択部
２４ 車線境界点記憶部
２４Ｌ 左車線境界点記憶部
２４Ｒ 右車線境界点記憶部
２６ 走路パラメータ推定部
２６Ｌ 左側走路パラメータ推定部
２６Ｒ 右側走路パラメータ推定部
２８ 左右走路パラメータ推定部
３０ 最終推定部
【特許請求の範囲】
【請求項１】
自車両周辺を撮像する該自車両に搭載された撮像手段と、
前記自車両の速度を検出する検出手段と、
前記撮像手段の撮像により得られた撮像画像から、車線を示す特徴点を抽出する抽出手段と、
前記抽出手段により抽出された特徴点に基づいて、前記自車両が走行する走路の形状を表す値、前記走路に対する前記撮像手段の俯角、ヨー角、及び横位置を含み、かつ前記撮像画像上での車線位置を定める走路パラメータを推定する際に、前記形状を表す値及び前記ヨー角が、異なる二時刻間で変化しないとの仮定の下で、前記二時刻間の前記横位置の変化量を前記検出手段により検出された速度及び前記ヨー角で表して、前記二時刻の各々で抽出された特徴点と前記走路パラメータにより定まる車線位置との最適化により、該走路パラメータを推定する二時刻推定手段と、
を含む走路推定装置。
【請求項２】
前記抽出手段により抽出された一時刻における左右の車線を示す特徴点と、前記走路パラメータにより定まる車線位置との最適化により、前記走路パラメータを推定する一時刻推定手段と、
前記一時刻推定手段の推定結果、及び前記二時刻推定手段の推定結果の少なくとも一方を用いて最終的な走路パラメータを推定する最終推定手段と、
を含む請求項１記載の走路推定装置。
【請求項３】
前記二時刻推定手段は、前記特徴点として、左の車線の特徴点及び右の車線の特徴点の各々を用いて、前記走路パラメータを推定し、
前記最終推定手段は、前記二時刻推定手段による左の車線の特徴点に基づく推定結果と右の車線の特徴点に基づく推定結果との差が所定範囲内であり、かつ前記二時刻推定手段による推定結果のいずれか一方と前記一時刻推定手段による推定結果との差が所定値以上の場合には、前記二時刻推定手段による推定結果の少なくとも一方を用いて、前記最終的な走路パラメータを推定する
請求項２記載の走路推定装置。
【請求項４】
前記走路の形状を表す値を、前記走路の曲率、または前記走路の曲率及び曲率の変化率とした請求項１〜請求項３のいずれか１項記載の走路推定装置。
【請求項５】
コンピュータを、
自車両周辺を撮像する該自車両に搭載された撮像手段により得られた撮像画像、及び前記自車両の速度を検出する検出手段により検出された該自車両の速度を取得する取得手段、
前記取得手段により取得された撮像画像から、車線を示す特徴点を抽出する抽出手段、及び
前記抽出手段により抽出された特徴点に基づいて、前記自車両が走行する走路の形状を表す値、前記走路に対する前記撮像手段の俯角、ヨー角、及び横位置を含み、かつ前記撮像画像上での車線位置を定める走路パラメータを推定する際に、前記形状を表す値及び前記ヨー角が、異なる二時刻間で変化しないとの仮定の下で、前記二時刻間の前記横位置の変化量を前記取得手段により取得された速度及び前記ヨー角で表して、前記二時刻の各々で抽出された特徴点と前記走路パラメータにより定まる車線位置との最適推定により、該走路パラメータを推定する二時刻推定手段
として機能させるための走路推定プログラム。
【請求項６】
コンピュータを、請求項１〜請求項請求項４のいずれか１項記載の走路推定装置を構成する各手段として機能させるための走路推定プログラム。
【請求項１】
自車両周辺を撮像する該自車両に搭載された撮像手段と、
前記自車両の速度を検出する検出手段と、
前記撮像手段の撮像により得られた撮像画像から、車線を示す特徴点を抽出する抽出手段と、
前記抽出手段により抽出された特徴点に基づいて、前記自車両が走行する走路の形状を表す値、前記走路に対する前記撮像手段の俯角、ヨー角、及び横位置を含み、かつ前記撮像画像上での車線位置を定める走路パラメータを推定する際に、前記形状を表す値及び前記ヨー角が、異なる二時刻間で変化しないとの仮定の下で、前記二時刻間の前記横位置の変化量を前記検出手段により検出された速度及び前記ヨー角で表して、前記二時刻の各々で抽出された特徴点と前記走路パラメータにより定まる車線位置との最適化により、該走路パラメータを推定する二時刻推定手段と、
を含む走路推定装置。
【請求項２】
前記抽出手段により抽出された一時刻における左右の車線を示す特徴点と、前記走路パラメータにより定まる車線位置との最適化により、前記走路パラメータを推定する一時刻推定手段と、
前記一時刻推定手段の推定結果、及び前記二時刻推定手段の推定結果の少なくとも一方を用いて最終的な走路パラメータを推定する最終推定手段と、
を含む請求項１記載の走路推定装置。
【請求項３】
前記二時刻推定手段は、前記特徴点として、左の車線の特徴点及び右の車線の特徴点の各々を用いて、前記走路パラメータを推定し、
前記最終推定手段は、前記二時刻推定手段による左の車線の特徴点に基づく推定結果と右の車線の特徴点に基づく推定結果との差が所定範囲内であり、かつ前記二時刻推定手段による推定結果のいずれか一方と前記一時刻推定手段による推定結果との差が所定値以上の場合には、前記二時刻推定手段による推定結果の少なくとも一方を用いて、前記最終的な走路パラメータを推定する
請求項２記載の走路推定装置。
【請求項４】
前記走路の形状を表す値を、前記走路の曲率、または前記走路の曲率及び曲率の変化率とした請求項１〜請求項３のいずれか１項記載の走路推定装置。
【請求項５】
コンピュータを、
自車両周辺を撮像する該自車両に搭載された撮像手段により得られた撮像画像、及び前記自車両の速度を検出する検出手段により検出された該自車両の速度を取得する取得手段、
前記取得手段により取得された撮像画像から、車線を示す特徴点を抽出する抽出手段、及び
前記抽出手段により抽出された特徴点に基づいて、前記自車両が走行する走路の形状を表す値、前記走路に対する前記撮像手段の俯角、ヨー角、及び横位置を含み、かつ前記撮像画像上での車線位置を定める走路パラメータを推定する際に、前記形状を表す値及び前記ヨー角が、異なる二時刻間で変化しないとの仮定の下で、前記二時刻間の前記横位置の変化量を前記取得手段により取得された速度及び前記ヨー角で表して、前記二時刻の各々で抽出された特徴点と前記走路パラメータにより定まる車線位置との最適推定により、該走路パラメータを推定する二時刻推定手段
として機能させるための走路推定プログラム。
【請求項６】
コンピュータを、請求項１〜請求項請求項４のいずれか１項記載の走路推定装置を構成する各手段として機能させるための走路推定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１８５１３４（Ｐ２０１２−１８５１３４Ａ）
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願番号】特願２０１１−５０２５３（Ｐ２０１１−５０２５３）
【出願日】平成２３年３月８日（２０１１．３．８）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願日】平成２３年３月８日（２０１１．３．８）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
[ Back to top ]