道路形状認識装置
【課題】車両の進行方向前方に存在する道路の道路形状を正確に認識することができる道路形状認識装置を提供する。
【解決手段】道路形状認識装置１は、車両の進行方向前側を撮像した画像に基づいて道路の道路領域を検出し、その道路領域に基づいて道路の形状を推定する。これにより、道路形状を近傍から遠方まで正確に認識することができる。
【解決手段】道路形状認識装置１は、車両の進行方向前側を撮像した画像に基づいて道路の道路領域を検出し、その道路領域に基づいて道路の形状を推定する。これにより、道路形状を近傍から遠方まで正確に認識することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路形状認識装置に係り、特に、自車の進行方向前側に存在する道路の形状を認識する道路形状認識装置に関する。
【背景技術】
【０００２】
レーダ等を用いて先行車の車速に合わせて自車の車速を制御するアダプティブ・クルーズ・コントロール（ＡＣＣ）が製品化されている。さらに近年では、ナビゲーションシステムを用いて自車前方のカーブを検知し、カーブで自動的に減速するＡＣＣの技術が提案されている。
【０００３】
このように自車の走行状態だけでなく、道路形状等の情報に基づいて車両を制御したり、運転者に警報を発するシステムでは、道路形状の検知誤差や工事による道路形状の変更、自車からカーブ等の所定箇所までの距離の算出誤差などの影響により、制御・警報タイミングにずれが発生するなどの問題がある。このため、道路形状をリアルタイムかつ高精度に計測する技術が重要となってくる。
【０００４】
従来、このような目的のために開発された技術として、特許文献１に記載されたものが知られている。特許文献１に記載の従来の技術は、ミリ波レーダを用いて車両前方の静止物を検出し、該検出した静止物の中から前回の処理結果や、車両のヨーレートセンサや操舵角センサを用いて、道路形状の推定に有効な静止物のみを選択して、カーブ等の道路形状を推定するものである。また、前回の処理結果を用いる代わりに、複数道路形状を仮定して有効な静止物を道路形状毎に選択して、選択された静止物が最も多かったものを道路形状の推定に有効な静止物として選択するというものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７―６６０４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１の手法では、前回の処理結果の道路形状に基づいて立体物を選択するのみであるため、道路形状が不連続である場合や、前回の処理で道路形状を誤って推定してしまった場合などに精度良く道路形状を推定することが難しくなる。
【０００７】
また、前回の道路形状に基づいて静止物を選択する代わりに、複数の道路形状に対して静止物を選択する処理を行い、最も選択された静止物が多かった場合の静止物を有効とするため、複数の道路形状分だけ立体物選択処理を行う必要があり、道路形状に沿った立体物以外に多数の立体物を含む走行環境では誤った静止物を選択してしまうなどの問題がある。
【０００８】
また、ヨーレートセンサや操舵角センサを用いて道路形状の推定に有効な静止物のみを選択して、カーブを推定する場合については、カーブ進入前にハンドルは操作せず、横加速度も発生しないので、カーブ進入前にカーブを検出することができないといった問題があった。そして、道路周辺に立体物が存在しない道路では、原理的にカーブを検出することが不可能であった。
【０００９】
カーブなどの道路形状に応じた速度調整や道路の逸脱防止、警報処理などにおいて、運転者にとって違和感のない車両制御や警報処理等を行うためには、道路形状を高精度に認識する必要がある。
【００１０】
本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、車両の進行方向前方に存在する道路の道路形状を正確に認識することができる道路形状認識装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決する本発明の道路形状認識装置は、車両の進行方向前側に存在する道路の道路形状を認識する道路形状認識装置であって、車両の進行方向前側を撮像し、その撮像した画像に基づき道路の道路領域を検出し、その検出した道路領域に基づき道路の道路形状を推定する。
【発明の効果】
【００１２】
本発明の道路形状認識装置によれば、撮像画像から道路の道路領域を検出して、その検出した道路領域から道路の道路形状を推定するので、撮像画像において、道路の道路領域を大きな面積で得ることができ、道路形状を近傍から遠方まで正確に認識することができる。したがって、従来のように白線や縁石等の物体を検出することが困難な遠方の道路形状や、白線や縁石等の物体が存在しない道路の道路形状の場合、あるいは、白線が存在する道路であっても遠方でカーブしており、白線の検知が困難な道路の道路形状の場合であっても、正確に認識することができる。
【図面の簡単な説明】
【００１３】
【図１】第１実施の形態における道路形状認識装置の機能ブロック図。
【図２】第１実施の形態の道路形状認識装置が適用される車載システムの構成図。
【図３】ステレオカメラの原理を示す図。
【図４】第１実施の形態における道路形状認識処理方法を示すフローチャート。
【図５】物体の三次元位置の座標系を示す図。
【図６】道路領域検出方法の一例を説明する図であり、（ａ）は左右のカメラにより撮像した左右の画像を示す図、（ｂ）は相関値の系列の一例を示す図。
【図７】道路領域検出方法の一例を示す図であり、（ａ）は右カメラにより撮像した右画像、（ｂ）は道路領域を示す図、（ｃ）は道路領域の輝度分布と輝度範囲を示す図。
【図８】道路領域検出結果を示す図であり、（ａ）は遠方で右にカーブしている道路を撮像した画像を示す図、（ｂ）は（ａ）の画像に基づいて道路領域を検出した例を示す図。
【図９】道路領域検出結果を示す図であり、（ａ）は遠方に上り坂がある道路を撮像した画像を示す図、（ｂ）は（ａ）の画像に基づいて道路領域を検出した例を示す図。
【図１０】道路形状を推定する際に用いるカーブの道路形状モデルの一例を示す図。
【図１１】道路形状を推定する際に用いるカーブの道路形状モデルの一例を示す図。
【図１２】道路形状を推定する際に用いる坂道の道路形状モデルの一例を示す図。
【図１３】道路形状推定方法を説明する図であり、（ａ）は道路形状モデルの候補を示す図、（ｂ）は道路形状モデルによって道路形状が推定された状態を示す図。
【図１４】車両の進行方向前側に存在する三次元データの中からカーブの道路境界に存在する三次元データを選択する方法を説明する図。
【図１５】車両の進行方向前側に存在する三次元データの中から坂道の道路境界に存在する三次元データを選択する方法を説明する図。
【図１６】道路境界点に基づいてカーブの道路形状の推定結果を補正する道路形状算出方法を説明する図。
【図１７】道路境界点に基づいて坂道の道路形状の推定結果を補正する道路形状算出方法を説明する図。
【図１８】道路形状算出部が補正後の道路形状に基づき、カーブに接する円と、車両からカーブまでの距離を算出した結果の一例を示す図。
【図１９】道路形状算出部が補正後の道路形状に基づき、カーブの角度と、車両からカーブまでの距離を算出した結果の一例を示す図。
【図２０】道路形状算出部が補正後の道路形状に基づき、カーブの道路端の位置情報を算出した結果の一例を示す図。
【図２１】道路形状算出部が補正後の道路形状に基づき、坂道の道路勾配の角度と坂道までの距離を算出した結果の一例を示す図。
【図２２】コントロールユニットの処理を説明するフローチャート。
【図２３】第２実施の形態における道路形状認識装置の機能ブロック図。
【図２４】第３実施の形態における道路形状認識装置の機能ブロック図。
【発明を実施するための形態】
【００１４】
［第１実施の形態］
次に、本発明の第１実施の形態について、図面を参照して詳細に説明する。
道路形状認識装置１は、図１に示す計測部（撮像部）３０が、複数台のカメラ４により構成され、図２に示すような車載システム３に適用される。本実施の形態では、図２に示すように、カメラ４Ｒ（右カメラ）とカメラ４Ｌ（左カメラ）によって、車両周囲の環境を認識する機能を実現する。なお、カメラ４の台数は２台に限定されるものではなく、３台以上を備えていてもよい。また、カメラ４とは別体のコントロールユニット２や図示しない画像処理ユニットなどがカメラ４から画像を取り込んで処理する構成としてもよい。
【００１５】
道路形状認識装置１は、図３に示すように、カメラ４Ｒ、４Ｌで同一の計測点Ｐ０を撮像した際に、生じる見え方の違い（以降、視差）を用いて、三角測量の原理で距離を求めることができる構成となっている。
【００１６】
例えば、カメラ４Ｒ、４Ｌのレンズ５から計測点Ｐ０までの距離をＺ、カメラ４Ｒ、４Ｌの間の距離をＢ、各カメラ４Ｒ、４Ｌのレンズ５ａから撮像面５ｂまでの焦点距離をf、視差をδとすると、距離Ｚは下記の式（１）で求めることができる。ただし、単位は例えばすべてミリメートルとする。
【００１７】
【００１８】
道路形状認識装置１は、図２に示す車載システム３に適用される。車載システム３は、車両ｖに搭載され、道路形状認識装置１によって車両（以下、自車という。）ｖの進行方向前側に存在する道路の道路形状を検出し、コントロールユニット２に検出結果を送信し、検出結果に基づいてコントロールユニット２が車両を制御し、あるいは乗員に危険を報知するように構成されている。
【００１９】
道路形状認識装置１は、図２に示すように、カメラ４Ｒおよびカメラ４Ｌに加え、ＣＰＵ６、ＲＡＭ９、プログラムＲＯＭ１０、データＲＯＭ７を備えている。そして、コントロールユニット２は、ＣＰＵ１２、ＲＡＭ１１、プログラムＲＯＭ１４、データＲＯＭ１３を備えている。
【００２０】
車載システム３は、道路形状認識装置１とコントロールユニット２とが互いに接続されており、さらに車室内に設置されて各種画像および各種情報を表示するためのディスプレイ１５と、自車ｖがカーブ等に進入する際に速度超過などの危険性があるときなどに警告音声を発生するスピーカ１９と、自車ｖのエンジンを始動する際にＯＮとなるイグニッションスイッチ２０と車載システム３を起動する起動スイッチ２１が接続されており、ディスプレイ１５の表示制御をはじめとして当該車載システム３全体の動作をコントロールユニット２が制御する構成となっている。
【００２１】
道路形状認識装置１は、例えば車室内のルームミラー部に取り付けられており、自車ｖの進行方向前側である自車両前方の様子を、所定の俯角および取り付け位置で撮像するようになっている。
【００２２】
カメラ４Ｒおよびカメラ４Ｌにより撮像された自車両前方の画像（以下、撮像画像という）は、道路形状認識装置１内部のＲＡＭ９に取り込まれ、自車両前方の道路の道路領域を検出するのに用いられる。道路形状認識装置１は、カメラ４Ｒ、４Ｌの画像に基づいて道路領域を検出し、道路領域に基づいて道路形状を算出する。
【００２３】
道路形状認識装置１は、道路形状として、例えばカーブの曲率半径とカーブ入り口までの距離を算出し、ディスプレイ１５に表示画像として検出結果を描画するか、自車が推定した道路形状に対して自車の速度が超過しており、道路の逸脱の危険性があるとコントロールユニット２が判断した場合などには、コントロールユニット２の制御の基でディスプレイ１５とスピーカ１９、またはディスプレイ１５あるいはスピーカ１９のいずれかにより運転者に報知する。また、危険を回避、軽減するように自動制動をかけるなど、車両をコントロールユニット２により制御してもよい。
【００２４】
ディスプレイ１５は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示機器よりなり、コントロールユニット２による表示制御のもとで、例えば図示しないカーナビゲーションシステムによる走行経路案内の画像や、道路形状認識装置１の画像等の各種画像を表示する。また、ディスプレイ１５は、道路形状認識装置１により急カーブ等を認識したときに、コントロールユニット２による制御のもとで、急カーブなどが存在する旨を報知するメッセージを表示する。
【００２５】
コントロールユニット２は、ＣＰＵ１２、ＲＡＭ１１、データＲＯＭ１３やプログラムＲＯＭ１４がバスを介して接続された構成を有しており、ＣＰＵ１２がプログラムＲＯＭ１４に格納された各種制御プログラムを実行することで、システム全体の動作を制御するようになっている。
【００２６】
道路形状認識装置１は、自車前方の車線や立体物等の物体を検知するとともに道路形状を算出する道路形状認識プログラムがプログラムＲＯＭ１０に格納されており、エンジンを始動するとＣＰＵ６がこれらのプログラムを実行することで、道路形状認識機能が実現され、図１の機能ブロック図のように、道路領域検出部３１、道路形状推定部３２、道路境界点抽出部３３、道路形状算出部３４として機能するようになっている。なお、車線や立体物等を検出する技術は、公知の技術であるので特に図示はしない。
【００２７】
道路領域検出部３１は、カメラ４Ｒとカメラ４Ｌの撮像画像の少なくともいずれか１つを処理して、アスファルト等からなる道路の道路領域を検出する機能を有する。道路形状推定部３２は、道路領域検出部３１で検出した道路領域を基に道路の道路形状を推定する機能を有する。道路境界点抽出部３３は、道路と道路外との道路境界点を抽出する機能を有する。道路形状算出部３４は、道路境界点抽出部３３により抽出した道路境界点の三次元位置に基づいて、道路形状推定部３２により推定した道路形状を補正して、より正確な道路形状を算出する機能を有する。
【００２８】
以上のように構成される道路形状認識装置１は、上述したように、ＣＰＵ６が道路形状認識プログラムを実行することで、例えば車線や縁石等の道路形状を認識可能な物体が見えない遠方においても、また、そのような物体が存在しない道路においても、アスファルト等からなる道路領域を検出することで、道路形状を正確に認識することができる。
【００２９】
そして、認識結果を入力画像に重畳した画像等をディスプレイ１５に出力するとともに、認識結果をコントロールユニット２に送信し、コントロールユニット２の制御のもとで危険があると判断した場合は、減速する制御を行うか、あるいは警報音を発生させて、車両の乗員に報知するようにしている。
【００３０】
この減速する制御を行う際に、エンジンブレーキや回生ブレーキを用い、また走行路が上り坂または走行路の先が上り坂の場合は減速制御を行わないこと等により燃費を向上することができる。また、出力された道路形状に対して自車が逸脱する危険がある場合には、ステアリングやブレーキにより旋回制御やブレーキ制御を行うか、警報音を発生させて、車両の乗員に報知するようにしてもよい。
【００３１】
ここで、以上のような道路形状認識装置１において、画像を撮像し道路形状を算出して結果を出力するまでの一連の処理の流れについて、フローチャートおよび図面を参照しながら説明する。
【００３２】
図４は、本実施の形態における道路形状認識処理方法を示すフローチャートである。図４のフローチャートに示す一連の処理は、イグニッションスイッチ２０（図２を参照）がオンとなったときにスタートし、イグニッションスイッチ２０がオフとなるまで繰り返し行われる。
【００３３】
そして、自車ｖが走行中であるか停止中であるか、また、ディスプレイ１５に表示されている画像がカーナビゲーションシステム（図示せず）の走行経路案内画像であるか、その他の映像であるかに拘わらず実施される。ただし、自車ｖが走行中であるか停止中であるか、また、ディスプレイ１５に表示されている画像がカーナビゲーションシステムの走行経路案内画像かその他の映像であるかに応じて、処理の実施を決定する構成としてもよい。
【００３４】
まず、イグニッションスイッチ２０がオンとなると、道路形状認識装置１により道路形状認識プログラムが実行され、初期化フラグがＯＮに設定される（ステップＳ１０１）。次に、車載システム３の起動スイッチ２１がＯＮか否かを判定する（ステップＳ１０２）。そして、車載システム３の起動スイッチ２１がＯＮの場合は、初期化フラグがＯＮか否かを判定する（ステップＳ１０３）。
【００３５】
そして、初期化フラグがＯＮのときは過去の道路形状認識結果をリセットするなどの初期化処理を実施して（ステップＳ１０４）、初期化フラグをＯＦＦに設定する（ステップＳ１０５）。そして、ステップＳ１０３で初期化フラグがＯＦＦのとき、あるいはステップＳ１０５で初期化フラグをＯＦＦに設定した後に、道路形状を算出すべく、ステップＳ１０６以降に移行する。
【００３６】
ステップＳ１０６では、アスファルト等からなる道路の道路領域を検出するとともに、カメラ４Ｒとカメラ４Ｌの見え方の違いから、自車ｖの進行方向前側に存在する物体の三次元位置を検出する処理が行われる。ただし、このときの三次元座標系は、例えば図５に示すようにカメラ４Ｒとカメラ４Ｌの中間点を原点Ｏとし、自車進行方向をＺ軸、水平方向（車幅方向）をＸ軸、垂直方向をＹ軸とする直交座標系で表すものとする。
【００３７】
例えば、自車ｖの進行方向前側に存在する車線や立体物等の物体は、カメラ４Ｒ、４Ｌの撮像画像を処理することで得られる３次元データを解析し、垂直構造物を立体物、水平かつ連続に存在する白線を車線として検出することができる。
【００３８】
２台以上のカメラ（以下、ステレオカメラ）を用いることにより、分解能の高い３次元データを得ることができ、自車ｖの近傍に位置する車線や縁石等の小さい物体を高精度に検出することができる。
【００３９】
また、ステレオカメラでは、三次元計測性能がレーダ装置等のように、対象物の反射特性に依存しないので、草木や建物などの多種多様な物体の三次元データを計測でき、道路形状に沿った三次元データについても、より多くの対象を検出することができる。
【００４０】
道路領域検出部３１は、例えば撮像画像を処理して物体の三次元位置を検出する際に得られる右カメラ４Ｒの画像（以下、右画像）と左カメラ４Ｌの画像（以下、左画像）間の相関値の系列（図６（ｂ））を用いて道路領域を検出する。
【００４１】
以下、図６を用いて、相関値の系列の算出から道路領域を検出する一例について説明する。図６は、道路領域検出方法の一例を説明する図であり、（ａ）は左右のカメラにより撮像した左右の画像を示す図、（ｂ）は相関値の系列の一例を示す図である。
【００４２】
図６（ａ）に示すように、右画像６１Ｒに視差算出用のウィンドウ６５Ｒを設定し、そのウィンドウ６５Ｒと同サイズのウィンドウ６５Ｌを左画像６１Ｌの水平方向に操作して、右画像６１Ｒのウィンドウ６５Ｒと左画像６１Ｌのウィンドウ６５Ｌ内の画像が、どの程度類似しているかを表す相関値を計算していく（視差探索）。
【００４３】
相関値は、下記の式（２）の差分絶対値和（SAD：Sub of Absolute Difference）などによって計算することができる。ただし、Nは視差算出対象ウィンドウの縦サイズ、Mは横サイズであり、I(i, j)は、右画像６１Ｒの輝度値、T(i,j)は、左画像６１Ｌの輝度値である。
【００４４】
【００４５】
そして、視差の探索範囲Sm分だけ、左画像６１Ｌのウィンドウ６５Ｌをシフトしていき、相関値を計算することで相関値の系列を得る（図６（ｂ））。そして、Sm個の相関値の中から最小値Siを求め、Siが視差となる。
【００４６】
ここで、Siの左隣の相関値Si-1と右隣の相関値Si+1を比較し、その差が所定値以下（類似していれば）であれば、右画像６１Ｒの視差算出対象ウィンドウ６５Ｒ内の画素は道路領域６２Ｒであると判断し、当該画素に道路領域ラベルを付与する。
【００４７】
例えば、道路領域６２Ｒと判定された画素位置には、道路領域ラベルとして１を代入し、道路領域でないと判定された画素位置（例えば上空領域６４Ｒ、道路外領域６３Ｒ）には０を代入する。そして、右画像６１Ｒの視差算出対象ウィンドウ６５Ｒをシフトさせて、右画像６１Ｒ全体の視差と道路領域ラベルを得る。
【００４８】
道路領域ラベルを付与した道路領域検出結果の例を図８、図９に示す。図８は、道路領域検出結果を示す図であり、図８（ａ）は遠方で右にカーブしている道路８２をカメラ４で撮像した画像８１を示す図、図８（ｂ）は図８（ａ）の画像８１に基づいて道路領域検出部３１で道路領域を検出した結果例を示す図である。
【００４９】
図８（ａ）の画像８１には、道路８２と、道路外８３と、上空８４が撮像されている。画像８１内の道路８２は、遠方に移行するにしたがって消失点に接近し、漸次小さくなるように撮像される。したがって、遠方でカーブしている部分を含む領域８５は、近傍位置と比較して相対的に解像度が低く、道路８２に白線や縁石等が存在している場合には、ほとんど認識できない。したがって、従来の白線や縁石等によって道路形状を認識する方法では、遠方の道路形状を認識することは困難であった。
【００５０】
これに対して、本発明の道路形状認識装置１は、道路領域検出部３１によって道路の道路領域を検出する。図８（ｂ）に示されるハッチング部分は、画素に道路領域ラベル１が付与された道路候補点からなり、ハッチング以外の部分は、画素に道路領域ラベル０が付与された非候補点からなる。なお、図８（ｂ）に示される島状部分８７はノイズが表されたものである。道路領域８６は、図８（ｂ）に示されるように、道路形状全体を認識することができ、道路が遠方で右側にカーブしていることが認識できる。
【００５１】
図９は、道路領域検出結果を示す図であり、図９（ａ）は遠方に上り坂がある道路をカメラ４で撮像した画像を示す図、図９（ｂ）は図９（ａ）の画像に基づいて道路領域検出部で道路領域を検出した例を示す図である。
【００５２】
図９（ａ）の画像９１には、道路９２と、道路外９３と、上空９４が撮像されている。道路９２は、画像９１内において遠方に移行するにしたがって消失点に接近し、漸次小さくなるように撮像される。
【００５３】
したがって、遠方の上り坂部分を含む領域９５は、近傍位置と比較して相対的に解像度が低く、道路９２に白線や縁石等が存在している場合には、ほとんど認識できない。したがって、従来の白線や縁石等によって道路形状を認識する方法では、遠方の道路形状を認識することは困難であった。
【００５４】
これに対して、本発明の道路形状認識装置１は、道路領域検出部３１によって道路領域を検出する。図９（ｂ）に示されるハッチング部分は、画素に道路領域ラベル１が付与された道路候補点からなり、ハッチング以外の部分は、画素に道路領域ラベル０が付与された非候補点からなる。なお、図９（ｂ）に示される島状部分９７はノイズが表されたものである。道路領域９６は、図９（ｂ）に示されるように、道路形状全体を認識することができ、道路が遠方にまっすぐに延びて、その途中位置で、道路端の傾斜角度が立つ方向に変化していることから、道路途中で勾配が変化して上り坂となっていることが認識できる。
【００５５】
このように、視差算出時に求める相関値の系列を用いて道路領域を検出することで、処理時間を短縮することができ、装置としての応答性を良好なものにすることができる。
【００５６】
また、道路領域検出方法として、過去に検出した道路領域から輝度値、色の分布を取得して、道路領域７５を検出してもよい。図７は、道路領域検出方法の他の一例を示す図であり、（ａ）は右カメラにより撮像した右画像、（ｂ）はその右画像から輝度に基づいて検出した道路領域を示す図、（ｃ）は道路領域の輝度分布と輝度範囲を示す図である。
【００５７】
図７（ａ）に示す右画像７１には、道路７２と、道路外７３と、上空７４が撮像されている。例えば、図７（ａ）に示す右画像７１から過去の道路領域中に存在する画素の輝度の情報を収集し、輝度の分布の平均値Bmと標準偏差σ等を求める。そして、図７（ｃ）に示すように、輝度の分布の平均値Bmから標準偏差σあるいは２σの範囲に入る輝度を道路領域の輝度範囲７６として求め、右画像７１の輝度のうち、道路領域７２の輝度範囲７６に入る画素に道路領域ラベルを付与する。これにより、図７（ｂ）に示されるように、道路領域７５を検出することができ、道路形状全体を認識することができる。
【００５８】
このとき、過去の道路領域の代わりに自車の車速や操舵角等を用いて道路形状を予測して、車線幅ｗを定義することで得られる道路領域を用いて輝度値や色等の分布を取得してもよく、また、前記相関値系列から求める道路領域と輝度や色の分布から求める道路領域を組み合わせてもよい。
【００５９】
さらに、レーザレーダやミリ波レーダ（レーダ装置）等の図示しない立体物検出手段により、駐車車両や先行車両等の道路上の障害物を検出し、その障害物の領域の全部あるいは一部を道路領域とすることで、道路上の障害物により道路領域が遮蔽される影響を除去してもよい。
【００６０】
また、道路領域がアスファルトと、横断歩道などの路面ペイント等の複数の輝度、色から構成される場合は、道路領域の輝度分布、色の分布を複数求めることで、アスファルトと路面ペイント等の領域を道路領域として検出してもよい。
【００６１】
また、車載システム３が、図２に図示しないカーナビゲーションシステムを具備している場合には、カーナビゲーションシステムが有する地図データベースから、走行中の道路の形状等を取得して、道路領域の輝度、色情報を取得することもできる。
【００６２】
例えば、地図データベースの情報を基にカーナビゲーションシステムがカーブ半径を求め、道路形状認識装置１に送信する。道路形状認識装置１のナビゲーション情報取得部では、カーナビゲーションシステムから得たカーブ半径に加え、道路幅、道路に対する自車の位置を定義することで画像上での道路領域を予測して、予測した道路領域内の輝度、色情報を取得することができる。
【００６３】
また、カーナビゲーションシステムが地図データベースから、横断歩道等の路面ペイントの有無等の情報を取得し、道路形状認識装置１のナビゲーション情報取得部に送信すれば、道路形状認識装置１がカーナビゲーションシステムの情報を基に、道路領域がいくつの輝度、色から構成されるかを判定して複数の輝度や色の分布を求めてもよい。
【００６４】
そして、ステップＳ１０７では、ステップＳ１０６で検出した道路領域に対して、図１０、図１１、図１２のような曲線、直線等の組み合わせで表現される道路形状モデル１０１等を当てはめることで、道路形状を推定する処理が行われる。
【００６５】
図１０と図１１は、道路形状を推定する際に用いるカーブの道路形状モデルの一例をそれぞれ示す図であり、図１２は、道路形状を推定する際に用いる坂道の道路形状モデルの一例を示す図である。
【００６６】
図１０に示す道路形状モデル１０１は、Ｘ−Ｚ平面において所定の曲率半径で右カーブする道路形状モデル（Ｘ＝ａＺ３＋ｂＺ＋ｃ）であり、道路幅ｗを有して互いに対向するように左右の道路端１０１Ｌ、１０１Ｒが規定される。
【００６７】
図１１に示す道路形状モデル１１０は、Ｘ−Ｚ平面において自車ｖから進行方向前側に距離Ｚｊだけ離間した接続点Ｐ１１で右に折れ曲がる道路形状モデルであり、自車ｖから接続点Ｐ１１までＺ軸に沿って延在する道路形状１１１（Ｘ＝ｅＺ＋ｆ）と、接続点Ｐ１１から進行方向に向かってＺ軸に対して一定の傾斜角度で延在する道路形状１１２（Ｘ＝ｇＺ＋ｈ）とを組み合わせたものである。道路形状モデル１１０は、道路幅ｗを有して互いに対向するように左右の道路端１１１Ｌ、１１２Ｌ、１１１Ｒ、１１２Ｒが規定される。
【００６８】
図１２に示す道路形状モデル１２１は、Ｙ−Ｚ平面において所定の上り勾配を有する上り坂の道路形状モデル（Ｙ＝ａＺ３＋ｂＺ＋ｃ）である。
【００６９】
図１３は、道路形状推定方法を説明する図であり、図１３（ａ）は道路形状モデルの複数の候補を示す図、図１３（ｂ）は道路形状モデルによって道路形状が推定された状態を示す図である。
【００７０】
例えば、図１３（ａ）のように、道路形状モデル１３０の候補をＮｃ個生成し、各候補１〜Ｎｃを画像座標系に変換して、画像１３１上の道路領域１３２とそれぞれ重ね合わせる（図１３（ｂ））。そして、重ね合わせた際に、最も類似度が高かった道路形状モデル１３０を道路形状の推定結果として採用する。類似度は、例えば道路形状内に道路領域１３２と判定された画素を多く含む場合に高くなるように判断される。
【００７１】
このように、Ｘ−Ｚ平面の道路形状モデル１３０を用いて道路形状を推定することにより、実空間での道路形状を得ることができる。これにより、例えば図１３（ｂ）に示すように、道路領域検出結果にはノイズ１３４が発生するが、道路領域１３２全体と道路形状モデル１３０とを比較することで、このようなノイズの影響を軽減できる。
【００７２】
このとき、計測部３０としてステレオカメラを用いれば道路面の高さ等が分かるため、他のセンサを用いるより精度のよい推定ができる。また、図１２に示すように、Ｙ−Ｚ平面の道路形状モデル１２１を用いれば、同様にして坂道の道路形状を推定することができる。
【００７３】
また、車載システム３が図２に図示しないカーナビゲーションシステムを具備している場合には、地図データベースから走行中の道路の形状等を取得して、道路形状モデル１３０の候補を生成することもできる。
【００７４】
例えば、カーナビゲーションシステムが地図データベースから、カーブ半径を取得し、道路形状認識装置１に送信する。道路形状認識装置１では、カーナビゲーションシステムから得たカーブ半径付近の道路形状候補のみを生成することで効率よく、かつ精度良く道路形状の推定を行うことができる。また、一般道か高速道路のいずれを走行中であるかの情報を取得できれば、高速道路では、カーブ半径が大きい道路形状モデルの候補のみを生成する構成にしてもよい。
【００７５】
さらに、道路形状を推定する際に、近距離については白線や、縁石等の道路端を検出して、道路幅や３次関数の係数等を求め、遠くについては道路領域を用いて道路形状を推定するか、白線や縁石等の道路端等と、道路領域とを用いて道路形状を推定する構成としてもよい。
【００７６】
また、ステップＳ１０８の道路境界点抽出処理では、図１４、図１５のようにステップＳ１０６で推定した道路形状１４１、１５１をもとに、ステレオカメラで計測した三次元データ群の中から、道路と道路外の境界に存在する三次元データを選択し、その選択した三次元データを道路境界点として抽出する処理が行われる。
【００７７】
図１４に示す例では、左道路端１４１Ｌと右道路端１４１Ｒのうち、左道路端１４１Ｌの情報を用いて道路境界点を抽出している。右カーブでは、右道路端１４１Ｒが立体物等により遮蔽されることがあるため、左道路端１４１Ｌを用いることで安定した結果を得ることができる。
【００７８】
図１４に示す例の場合、ステップＳ１０７の道路形状推定処理により推定した道路形状１４１の左道路端１４１Ｌに対して、三次元データ抽出領域１４２を設定し、自車ｖの進行方向前側で検出した三次元データ１４３ａ〜１４３ｎの中から、三次元データ抽出領域１４２内の三次元データ１４３ａ〜１４３ｅを、道路境界に存在する三次元データとして選択している。そして、その選択した三次元データ１４３ａ〜１４３ｅを道路境界点として抽出している。
【００７９】
また、図１５に示す例の場合、ステップＳ１０７の道路形状推定処理により推定した道路形状１５１に対して、三次元データ抽出領域１５２を設定し、自車ｖの進行方向前側で検出した三次元データ１５３ａ〜１５３ｈの中から、三次元データ抽出領域１５２内の三次元データ１５３ａ〜１５３ｃを、道路境界に存在する三次元データとして選択している。そして、その選択した三次元データ１５３ａ〜１５３ｃを道路境界点として抽出している。
【００８０】
例えば、道路境界に存在する三次元データを選択する場合に、単に三次元データ抽出領域１４２、１５２内の三次元データ１４３ａ〜１４３ｅ、１５３ａ〜１５３ｃを選択するだけでなく、連続性等を考慮して選択することでさらに精度のよい道路境界点が抽出できる。
【００８１】
さらに、レーザレーダやミリ波レーダ等の図示しない立体物検出手段により、駐車車両や先行車両等の道路上の立体物を検出し、その立体物の領域の全部あるいは一部の三次元データを抽出しない構成としてもよい。駐車車両や先行車両等の道路上の立体物を除外することで、立体物が存在しないときと同じ道路形状を求めることができるようになる。
【００８２】
また、車載システム３が図２に図示しないカーナビゲーションシステムを具備している場合には、地図データベースから走行中の道路の形状等を取得して、地図データベースの道路形状を考慮して道路境界点を抽出することもできる。
【００８３】
例えば、カーナビゲーションシステムが地図データベースから、カーブ半径を取得し、道路形状認識装置１に送信する。道路形状認識装置１では、カーナビゲーションシステムから得たカーブ半径に沿うように三次元データ抽出領域１４２、１５２を設定することで、効率良く、かつ精度良く道路境界点を抽出することができる。
【００８４】
そして、ステップＳ１０９では、ステップＳ１０７で推定された道路形状を補正して、補正後の道路形状を算出する処理が行われる。道路形状算出部３４は、図１６、図１７のようにステップＳ１０８で抽出した道路境界点の三次元位置を用いて道路形状のずれを補正する。例えばカーブの道路形状の場合は、道路形状モデルを３次関数Ｘ＝ａＺ３＋ｂＺ＋ｃとし、係数ｃは道路幅ｗから求めると、ａとｂのみを算出すればよい。
【００８５】
これは、下記の式（３）で表される最小二乗法などにより求めることができる。最小二乗法の入力データとしては、例えば道路形状推定部３２で推定した道路形状を所定の間隔でサンプリングした道路形状の座標列と、道路境界点抽出部３３により抽出した三次元位置の座標列である。これらの座標列を（Xi, Zi）とする。ただし、i=1,2,・・・Lであり、Lは、サンプリングした道路形状の座標列と、三次元位置の座標列の総数である。
【００８６】
【００８７】
また、道路形状算出部３４は、ステップＳ１０９で道路形状を補正した結果、もしくは、ステップＳ１０７の道路形状推定部３２の結果のいずれかに基づいて、カーブの曲率半径Ｒとカーブまでの距離Ｄｃを算出する（図１８）。道路形状モデルに３次関数Ｘ＝ａＺ３＋ｂＺ＋ｃを用いた場合には、下記の式（４）により曲率半径Ｒを算出することができる。
【００８８】
【００８９】
上記した式（４）では、距離Ｚが決まれば曲率半径Ｒが一意に求まる。したがって、図１８のように、カーブの曲率半径Ｒを求める注視点Ｐ１８（Ｘｆ、Ｚｆ）を定義する。注視点Ｐ１８（Ｘｆ、Ｚｆ）は、例えばＺ軸と道路形状１８１のカーブ外側の道路端（図１８では左道路端１８１Ｌ）との交点として定義できる。
【００９０】
そして、図１８に示すように、曲率半径Ｒが注視点Ｐ１８（Ｘｆ、Ｚｆ）に接するように円１８２の中心１８２ａ（Ｃｘ、Ｃｚ）を求めると、自車ｖからカーブまでの距離Ｄｃを円１８２の中心のＺ座標であるＣｚとすることができる。このとき、道路形状を直線と３次関数など複数のモデルで近似することにより実際の道路形状に近い結果を得ることができる。
【００９１】
また、カーブの曲率半径の変わりに、注視点Ｐ１９（Ｘｆ、Ｚｆ）でＺ軸と道路形状１９１のなす角度をカーブの角度θとして求めてもよい（図１９）。さらに、道路端の位置情報として、３次関数等で求めた道路形状そのものを出力してもよく、図２０のように所定の距離間隔で道路２０１の道路形状をサンプリングし、右道路端２０１Ｒの位置の系列ＰiR、左道路端２０１Ｌの位置の系列ＰiLを算出して出力してもよい。ただし、ｉは道路形状をＮ個のセグメントに分割した際のセグメント番号であり、１からＮの値を取る。
【００９２】
坂道の場合は、図２１に示すように、勾配変化点を注視点Ｐ２１（Ｙｆ、Ｚｆ）として設定する。そして、補正後の道路２１１の道路形状から、その接線２１２とＺ軸の成す角度を道路２１１の勾配角度θ’として求め、また、自車ｖから注視点Ｐ２１までの距離Ｄｓを求める（図２１）。坂道についても、カーブと同様に３次関数等の道路形状モデルの係数や、サンプリングした道路形状のデータを求め、出力してもよい。
【００９３】
そして、車載システム３が図２に図示しないカーナビゲーションシステムを具備している場合には、ナビゲーション情報取得部が自車位置検出部からの検出信号に基づき地図データベースから走行中の道路の形状等を取得することにより、道路形状を精度良く算出することもできる。
【００９４】
ステップＳ１１０では、ステップＳ１０９までに求めた道路形状のうち少なくとも一つの結果を送信する。コントロールユニット２は、道路形状認識装置１により求めた道路形状算出結果に基づいて、制御・警報内容を決定し、自車ｖを制御するか乗員に警報を発する、あるいは自車ｖを制御し、かつ乗員に警報を発する処理を行う。
【００９５】
その処理について図２２のフローチャートに沿って説明する。本実施の形態では、道路形状に応じて適正車速を求め、減速、警報処理を実施する例について説明するが、道路形状に応じて自動的に旋回する等の処理を行ってもよい。
【００９６】
図２２に示す一連の処理は、イグニッションスイッチ２０がオンとなったときにスタートし、イグニッションスイッチ２０がオフとなるまで繰り返し行われる。自車ｖが走行中であるか停止中であるか、また、ディスプレイ１５に表示されている画像がカーナビゲーションシステムの走行経路案内画像か、その他の映像であるかに拘わらず、実施される。ただし、自車ｖが走行中であるか停止中であるか、また、ディスプレイ１５に表示されている画像がナビゲーションシステムの走行経路案内画像か、その他の映像であるかに応じて、処理の実施を決定する構成としてもよい。
【００９７】
まず、イグニッションスイッチ２０がオンとなると、コントロールユニット２により運転支援プログラムが実行され、初期化処理を実行する（ステップＳ２０１）。このとき、カーナビゲーションプログラム等の各種プログラムが同時に実行されていてもよい。次に、システムの起動スイッチ２１がＯＮか否かを判定する（ステップＳ２０２）。そして、システムの起動スイッチ２１がＯＮとなったときは、道路形状算出結果受信処理を実行し道路形状の情報をＲＡＭ１１に格納する（ステップＳ２０３）。
【００９８】
次に、ステップＳ２０４により道路形状に応じた適性速度を算出する。例えば、カーブの場合であればカーブの曲率半径とカーブまでの距離に応じて予め適性車速を設定しておくことで、道路形状にあった適性車速を得ることができる。
【００９９】
前述の道路形状認識装置１によって、道路領域を利用して遠方までの道路形状を算出することができ、道路形状に応じた目標車速をリアルタイムで求めることができる。さらに、ステレオカメラ４では、画像上での形状に加えて各画素の三次元位置が求まっているため、道路境界に存在する三次元データのみを適切に選択すれば、精度良く道路形状を算出することができ、乗員に対して違和感の小さい車両制御、警報が可能となる。
【０１００】
そして、ステップＳ２０５では、ステップＳ２０４により求めた適性車速と自車ｖの車速とを比較し、自車ｖの車速の方が大きければブレーキ、エンジンブレーキ、回生ブレーキのいずれか少なくとも１つで減速制御するか、あるいは運転者に速度超過を警告するメッセージや音声、警告を発する。このとき、減速制御と警告を同時に行ってもよい。
【０１０１】
また、警報は、ディスプレイ１５かスピーカ１９のいずれか、あるいはディスプレイ１５とスピーカ１９の両方を用いて乗員に警報を発する。ここで、警報にはディスプレイ１５、スピーカ１９の他にシートベルトや、アクセル、ブレーキペダル、ステアリング、シート等を振動させるなどによって警報を発してもよい。
【０１０２】
本発明を適用した道路形状認識装置１は、すべての処理をＣＰＵ６により実行する構成となっているが、画像処理専用ＬＳＩなどで画像処理の一部、あるいは全てを処理するようにしてもよい。
【０１０３】
以上説明したように、本発明を適用した道路形状認識装置１によれば、計測部３０のカメラ４Ｒ、４Ｌで撮像した各画像を処理して、アスファルト等からなる道路領域を検出し、その検出した道路領域に基づいて道路形状を推定するので、道路領域は白線や縁石に比べ面積が広く検出でき、白線や縁石などが存在しない道路や、白線や縁石などが見えない遠方の道路においても、精度良く道路形状を算出することができる。
【０１０４】
特に、ステレオカメラを用いると、画像上での道路形状を求めるだけでなく、物体の三次元位置を利用することができ、カーブの曲率半径等を高精度に求めることができる。さらに、道路境界点抽出部３３と道路形状算出部３４を具備すれば、道路形状推定部３２で推定した道路形状に基づき、ステレオカメラで算出した三次元データ群から道路境界を検出することができ、さらに精度のよい道路形状を算出することができる利点がある。
【０１０５】
また、本実施の形態の構成に加えて、カーナビゲーションシステムを具備すれば、カーナビゲーションシステムの自車位置検出部から得られる自車位置の情報と、カーナビゲーションシステムの地図データベースから得られる地図データとから、走行中の道路が高速道路か一般道かなどの道路種別を判定し、道路種別などに基づいて道路形状の係数の取り得る値の範囲を決定することができる。
【０１０６】
また、道路形状認識装置１における一連の処理または一部の処理を、コントロールユニット２内あるいは図示しない別の処理装置で処理される構成としてもよく、また、コントロールユニット２の処理が道路形状認識装置１内で処理される構成としてもよい。
【０１０７】
以上説明した本実施の形態では、計測部３０として２つのカメラ４Ｒ、４Ｌを用いる例を示したが、カメラを１つのみと、レーザレーダ、ミリ波レーダなどのレーダ装置とを用いた構成でもよく、またはカメラ、レーザレーダ、ミリ波レーダなどを組み合わせた構成であってもよい。
【０１０８】
例えば、単眼カメラとレーダ装置とを組み合わせて、単眼カメラで道路領域を検出し、レーダ装置で物体の三次元位置を検出することで、上記した本実施の形態と同様の処理を実現できる。なお、単眼カメラとレーダ装置等の複数のセンサを組み合わせる場合は、カメラとレーダ装置の取り付け位置、取り付け角度を予め求めておき、座標系を合わせておくことが必要である。また、単眼カメラのみで構成した場合も、ステレオカメラ、単眼カメラとレーダ装置の組み合わせ等よりも精度は落ちるものの、道路形状を算出することができる。
【０１０９】
さらに、Ｘ−Ｚ平面やＹ−Ｚ平面などの２次元平面上での道路形状の当てはめだけでなく、Ｘ−Ｙ−Ｚ空間で平面や曲面の当てはめを行うことでカーブや勾配に加えバンク等の道路形状も推定することができる。
【０１１０】
道路形状認識装置１が出力する、カーブまでの距離Ｄｃとカーブの曲率半径Ｒ、カーブ接線角度θ、坂までの距離Ｄｓ、勾配θ’のすくなくとも１つから検出した道路形状を走行する適正速度を算出することで、道路形状に応じた車両制御や警報処理が可能となる。
【０１１１】
［第２実施の形態］
図２３は、第２実施の形態における道路形状認識装置の機能ブロック図である。
本実施の形態における道路形状認識装置１’は、図２３に示すように、選択部４０と、第１認識部４１と、第２認識部４２を備えている。選択部４０は、道路周辺の立体物の有無や見通しなどがよい場合には第１認識部４１を選択し、道路周辺の立体物により見通しが悪く、前方の道路形状の一部が死角となっている場合には第２認識部４２を選択する。
【０１１２】
第１認識部４１は、道路領域に基づいて道路形状を認識するものであり、その処理の内容は、上述の第１実施の形態と同様であるのでその詳細な説明は省略する。第２認識部４２は、進行方向前側に存在する物体を検出して、その物体の三次元位置に基づいて道路形状を認識するものであり、物体検知部５１、道路形状予測部５２、物体選択部５３、道路形状推定部５４を有している。
【０１１３】
物体検知部５１は、計測部３０であるカメラ４Ｒ、４Ｌの撮像画像を処理して物体を検出する機能を有する。物体には、車線などの路面標示と、縁石や樹木、建物といった立体物が含まれる。ここでは、物体を検出するとともに、その三次元位置も計測される。
【０１１４】
道路形状予測部５２は、物体検知部５１で検出した車線を基に遠方の道路形状を予測する機能を有するものである。この予測は、車線だけでなく、ガードレールや縁石などの道路を構成する立体物で予測してもよく、車線でなければならないといった制約はない。
【０１１５】
物体選択部５３は、道路形状予測部５２により予測した道路形状付近の立体物を選択する機能を有する。道路形状推定部５４は、物体選択部５３により選択した立体物の三次元位置情報と道路形状予測部５２で道路形状を予測する際に用いた車線情報とを用いて道路形状を再度求める機能を有する。
【０１１６】
上記構成を有する第２認識部４２は、カメラ４Ｒ、４Ｌで撮像した画像を処理し、車線や縁石といった道路を構成する物体から道路形状を予測し、道路形状を構成する車線等により予測した結果を基に道路に沿って存在する建物、樹木等を含む立体物を正しく選択することで、白線や縁石などに加えその他の立体物の位置情報を利用でき、高精度な道路形状の推定が実現できる。
【０１１７】
特に、ステレオカメラ４を用いると、車線や縁石を検出できるだけでなく、その三次元位置を取得できるので、道路形状を精度よく予測できるとともに、草木を含む多種多様な立体物を検出でき、多くの立体物の位置情報を利用することができる。
【０１１８】
また、第２認識部４２の道路形状推定部５４は、車線などの道路を構成する物体と建物などの道路に沿って存在する物体の距離を算出し、道路形状の推定に用いる立体物の位置情報を補正することで、車線等の道路形状を構成する物体と、建物等の道路に沿って存在する物体の位置誤差を吸収でき、より精度の高い道路形状の推定が可能となる。また、車線などの道路を構成する物体と建物などの道路に沿って存在する物体の距離を算出する代わりに、自車走行車線の左側に存在する車線数、右側に存在する車線数を求め、車線数に応じて道路形状の推定に用いる立体物の位置情報を補正する構成としてもよい。
【０１１９】
上記構成を有する道路形状認識装置１’によれば、立体物により見通しが悪く、前方の道路形状の一部が死角になっている場合は、選択部４０が第２認識部４２を選択することにより、見通しの悪い道路においても、精度を下げることなく、道路形状を算出することができる。
【０１２０】
［第３実施の形態］
図２４は、第３実施の形態における道路形状認識装置の機能ブロック図である。
本実施の形態における道路形状認識装置１”は、図２４に示すように、第１認識部４１と、第２認識部４２と、道路形状統合部４３を備えている。第１認識部４１と第２認識部４２は、上述の各実施の形態と同様であるのでその詳細な説明を省略する。
【０１２１】
道路形状認識装置１”によれば、第１認識部４１で道路領域に基づいて道路形状を算出する処理と、第２認識部４２で立体物を用いて道路形状を算出する処理の両方を行い、道路形状統合部４３が立体物の有無などからいずれかの道路形状を選択するか、又は、両方の平均をとるなどにより統合して１つの道路形状を出力するので、見通しが悪い道路などにおいても、精度を下げることなく、道路形状を算出することができる。
【０１２２】
本実施の形態における道路形状認識装置１”が正常に動作しているか否かは、見通しが良く車線のある道路、見通しが良く車線のない道路、見通しが悪く車線がある道路、見通しが悪く車線のない道路等において、道路形状を算出できるかどうか、道路形状の検出率、道路形状の検出距離、道路形状の算出精度を比較することで確認できる。
【０１２３】
本発明は、上述の各実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。
【符号の説明】
【０１２４】
１、１’、１” 道路形状認識装置
２ コントロールユニット
３ 車載システム
４Ｒ カメラ
４Ｌ カメラ
６ ＣＰＵ
７ データＲＯＭ
９ ＲＡＭ
１０ プログラムＲＯＭ
１１ ＲＡＭ
１２ ＣＰＵ
１３ データＲＯＭ
１４ プログラムＲＯＭ
１５ ディスプレイ
１９ スピーカ
２０ イグニッションスイッチ
２１ 起動スイッチ
３０ 計測部（撮像部）
３１ 道路領域検出部
３２ 道路形状推定部
３３ 道路境界点抽出部
３４ 道路形状算出部
４０ 選択部
４１ 第１認識部
４２ 第２認識部
４３ 道路形状統合部
５１ 物体検知部
５２ 道路形状予測部
５３ 物体選択部
５４ 道路形状推定部
【技術分野】
【０００１】
本発明は、道路形状認識装置に係り、特に、自車の進行方向前側に存在する道路の形状を認識する道路形状認識装置に関する。
【背景技術】
【０００２】
レーダ等を用いて先行車の車速に合わせて自車の車速を制御するアダプティブ・クルーズ・コントロール（ＡＣＣ）が製品化されている。さらに近年では、ナビゲーションシステムを用いて自車前方のカーブを検知し、カーブで自動的に減速するＡＣＣの技術が提案されている。
【０００３】
このように自車の走行状態だけでなく、道路形状等の情報に基づいて車両を制御したり、運転者に警報を発するシステムでは、道路形状の検知誤差や工事による道路形状の変更、自車からカーブ等の所定箇所までの距離の算出誤差などの影響により、制御・警報タイミングにずれが発生するなどの問題がある。このため、道路形状をリアルタイムかつ高精度に計測する技術が重要となってくる。
【０００４】
従来、このような目的のために開発された技術として、特許文献１に記載されたものが知られている。特許文献１に記載の従来の技術は、ミリ波レーダを用いて車両前方の静止物を検出し、該検出した静止物の中から前回の処理結果や、車両のヨーレートセンサや操舵角センサを用いて、道路形状の推定に有効な静止物のみを選択して、カーブ等の道路形状を推定するものである。また、前回の処理結果を用いる代わりに、複数道路形状を仮定して有効な静止物を道路形状毎に選択して、選択された静止物が最も多かったものを道路形状の推定に有効な静止物として選択するというものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７―６６０４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１の手法では、前回の処理結果の道路形状に基づいて立体物を選択するのみであるため、道路形状が不連続である場合や、前回の処理で道路形状を誤って推定してしまった場合などに精度良く道路形状を推定することが難しくなる。
【０００７】
また、前回の道路形状に基づいて静止物を選択する代わりに、複数の道路形状に対して静止物を選択する処理を行い、最も選択された静止物が多かった場合の静止物を有効とするため、複数の道路形状分だけ立体物選択処理を行う必要があり、道路形状に沿った立体物以外に多数の立体物を含む走行環境では誤った静止物を選択してしまうなどの問題がある。
【０００８】
また、ヨーレートセンサや操舵角センサを用いて道路形状の推定に有効な静止物のみを選択して、カーブを推定する場合については、カーブ進入前にハンドルは操作せず、横加速度も発生しないので、カーブ進入前にカーブを検出することができないといった問題があった。そして、道路周辺に立体物が存在しない道路では、原理的にカーブを検出することが不可能であった。
【０００９】
カーブなどの道路形状に応じた速度調整や道路の逸脱防止、警報処理などにおいて、運転者にとって違和感のない車両制御や警報処理等を行うためには、道路形状を高精度に認識する必要がある。
【００１０】
本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、車両の進行方向前方に存在する道路の道路形状を正確に認識することができる道路形状認識装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決する本発明の道路形状認識装置は、車両の進行方向前側に存在する道路の道路形状を認識する道路形状認識装置であって、車両の進行方向前側を撮像し、その撮像した画像に基づき道路の道路領域を検出し、その検出した道路領域に基づき道路の道路形状を推定する。
【発明の効果】
【００１２】
本発明の道路形状認識装置によれば、撮像画像から道路の道路領域を検出して、その検出した道路領域から道路の道路形状を推定するので、撮像画像において、道路の道路領域を大きな面積で得ることができ、道路形状を近傍から遠方まで正確に認識することができる。したがって、従来のように白線や縁石等の物体を検出することが困難な遠方の道路形状や、白線や縁石等の物体が存在しない道路の道路形状の場合、あるいは、白線が存在する道路であっても遠方でカーブしており、白線の検知が困難な道路の道路形状の場合であっても、正確に認識することができる。
【図面の簡単な説明】
【００１３】
【図１】第１実施の形態における道路形状認識装置の機能ブロック図。
【図２】第１実施の形態の道路形状認識装置が適用される車載システムの構成図。
【図３】ステレオカメラの原理を示す図。
【図４】第１実施の形態における道路形状認識処理方法を示すフローチャート。
【図５】物体の三次元位置の座標系を示す図。
【図６】道路領域検出方法の一例を説明する図であり、（ａ）は左右のカメラにより撮像した左右の画像を示す図、（ｂ）は相関値の系列の一例を示す図。
【図７】道路領域検出方法の一例を示す図であり、（ａ）は右カメラにより撮像した右画像、（ｂ）は道路領域を示す図、（ｃ）は道路領域の輝度分布と輝度範囲を示す図。
【図８】道路領域検出結果を示す図であり、（ａ）は遠方で右にカーブしている道路を撮像した画像を示す図、（ｂ）は（ａ）の画像に基づいて道路領域を検出した例を示す図。
【図９】道路領域検出結果を示す図であり、（ａ）は遠方に上り坂がある道路を撮像した画像を示す図、（ｂ）は（ａ）の画像に基づいて道路領域を検出した例を示す図。
【図１０】道路形状を推定する際に用いるカーブの道路形状モデルの一例を示す図。
【図１１】道路形状を推定する際に用いるカーブの道路形状モデルの一例を示す図。
【図１２】道路形状を推定する際に用いる坂道の道路形状モデルの一例を示す図。
【図１３】道路形状推定方法を説明する図であり、（ａ）は道路形状モデルの候補を示す図、（ｂ）は道路形状モデルによって道路形状が推定された状態を示す図。
【図１４】車両の進行方向前側に存在する三次元データの中からカーブの道路境界に存在する三次元データを選択する方法を説明する図。
【図１５】車両の進行方向前側に存在する三次元データの中から坂道の道路境界に存在する三次元データを選択する方法を説明する図。
【図１６】道路境界点に基づいてカーブの道路形状の推定結果を補正する道路形状算出方法を説明する図。
【図１７】道路境界点に基づいて坂道の道路形状の推定結果を補正する道路形状算出方法を説明する図。
【図１８】道路形状算出部が補正後の道路形状に基づき、カーブに接する円と、車両からカーブまでの距離を算出した結果の一例を示す図。
【図１９】道路形状算出部が補正後の道路形状に基づき、カーブの角度と、車両からカーブまでの距離を算出した結果の一例を示す図。
【図２０】道路形状算出部が補正後の道路形状に基づき、カーブの道路端の位置情報を算出した結果の一例を示す図。
【図２１】道路形状算出部が補正後の道路形状に基づき、坂道の道路勾配の角度と坂道までの距離を算出した結果の一例を示す図。
【図２２】コントロールユニットの処理を説明するフローチャート。
【図２３】第２実施の形態における道路形状認識装置の機能ブロック図。
【図２４】第３実施の形態における道路形状認識装置の機能ブロック図。
【発明を実施するための形態】
【００１４】
［第１実施の形態］
次に、本発明の第１実施の形態について、図面を参照して詳細に説明する。
道路形状認識装置１は、図１に示す計測部（撮像部）３０が、複数台のカメラ４により構成され、図２に示すような車載システム３に適用される。本実施の形態では、図２に示すように、カメラ４Ｒ（右カメラ）とカメラ４Ｌ（左カメラ）によって、車両周囲の環境を認識する機能を実現する。なお、カメラ４の台数は２台に限定されるものではなく、３台以上を備えていてもよい。また、カメラ４とは別体のコントロールユニット２や図示しない画像処理ユニットなどがカメラ４から画像を取り込んで処理する構成としてもよい。
【００１５】
道路形状認識装置１は、図３に示すように、カメラ４Ｒ、４Ｌで同一の計測点Ｐ０を撮像した際に、生じる見え方の違い（以降、視差）を用いて、三角測量の原理で距離を求めることができる構成となっている。
【００１６】
例えば、カメラ４Ｒ、４Ｌのレンズ５から計測点Ｐ０までの距離をＺ、カメラ４Ｒ、４Ｌの間の距離をＢ、各カメラ４Ｒ、４Ｌのレンズ５ａから撮像面５ｂまでの焦点距離をf、視差をδとすると、距離Ｚは下記の式（１）で求めることができる。ただし、単位は例えばすべてミリメートルとする。
【００１７】
【００１８】
道路形状認識装置１は、図２に示す車載システム３に適用される。車載システム３は、車両ｖに搭載され、道路形状認識装置１によって車両（以下、自車という。）ｖの進行方向前側に存在する道路の道路形状を検出し、コントロールユニット２に検出結果を送信し、検出結果に基づいてコントロールユニット２が車両を制御し、あるいは乗員に危険を報知するように構成されている。
【００１９】
道路形状認識装置１は、図２に示すように、カメラ４Ｒおよびカメラ４Ｌに加え、ＣＰＵ６、ＲＡＭ９、プログラムＲＯＭ１０、データＲＯＭ７を備えている。そして、コントロールユニット２は、ＣＰＵ１２、ＲＡＭ１１、プログラムＲＯＭ１４、データＲＯＭ１３を備えている。
【００２０】
車載システム３は、道路形状認識装置１とコントロールユニット２とが互いに接続されており、さらに車室内に設置されて各種画像および各種情報を表示するためのディスプレイ１５と、自車ｖがカーブ等に進入する際に速度超過などの危険性があるときなどに警告音声を発生するスピーカ１９と、自車ｖのエンジンを始動する際にＯＮとなるイグニッションスイッチ２０と車載システム３を起動する起動スイッチ２１が接続されており、ディスプレイ１５の表示制御をはじめとして当該車載システム３全体の動作をコントロールユニット２が制御する構成となっている。
【００２１】
道路形状認識装置１は、例えば車室内のルームミラー部に取り付けられており、自車ｖの進行方向前側である自車両前方の様子を、所定の俯角および取り付け位置で撮像するようになっている。
【００２２】
カメラ４Ｒおよびカメラ４Ｌにより撮像された自車両前方の画像（以下、撮像画像という）は、道路形状認識装置１内部のＲＡＭ９に取り込まれ、自車両前方の道路の道路領域を検出するのに用いられる。道路形状認識装置１は、カメラ４Ｒ、４Ｌの画像に基づいて道路領域を検出し、道路領域に基づいて道路形状を算出する。
【００２３】
道路形状認識装置１は、道路形状として、例えばカーブの曲率半径とカーブ入り口までの距離を算出し、ディスプレイ１５に表示画像として検出結果を描画するか、自車が推定した道路形状に対して自車の速度が超過しており、道路の逸脱の危険性があるとコントロールユニット２が判断した場合などには、コントロールユニット２の制御の基でディスプレイ１５とスピーカ１９、またはディスプレイ１５あるいはスピーカ１９のいずれかにより運転者に報知する。また、危険を回避、軽減するように自動制動をかけるなど、車両をコントロールユニット２により制御してもよい。
【００２４】
ディスプレイ１５は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示機器よりなり、コントロールユニット２による表示制御のもとで、例えば図示しないカーナビゲーションシステムによる走行経路案内の画像や、道路形状認識装置１の画像等の各種画像を表示する。また、ディスプレイ１５は、道路形状認識装置１により急カーブ等を認識したときに、コントロールユニット２による制御のもとで、急カーブなどが存在する旨を報知するメッセージを表示する。
【００２５】
コントロールユニット２は、ＣＰＵ１２、ＲＡＭ１１、データＲＯＭ１３やプログラムＲＯＭ１４がバスを介して接続された構成を有しており、ＣＰＵ１２がプログラムＲＯＭ１４に格納された各種制御プログラムを実行することで、システム全体の動作を制御するようになっている。
【００２６】
道路形状認識装置１は、自車前方の車線や立体物等の物体を検知するとともに道路形状を算出する道路形状認識プログラムがプログラムＲＯＭ１０に格納されており、エンジンを始動するとＣＰＵ６がこれらのプログラムを実行することで、道路形状認識機能が実現され、図１の機能ブロック図のように、道路領域検出部３１、道路形状推定部３２、道路境界点抽出部３３、道路形状算出部３４として機能するようになっている。なお、車線や立体物等を検出する技術は、公知の技術であるので特に図示はしない。
【００２７】
道路領域検出部３１は、カメラ４Ｒとカメラ４Ｌの撮像画像の少なくともいずれか１つを処理して、アスファルト等からなる道路の道路領域を検出する機能を有する。道路形状推定部３２は、道路領域検出部３１で検出した道路領域を基に道路の道路形状を推定する機能を有する。道路境界点抽出部３３は、道路と道路外との道路境界点を抽出する機能を有する。道路形状算出部３４は、道路境界点抽出部３３により抽出した道路境界点の三次元位置に基づいて、道路形状推定部３２により推定した道路形状を補正して、より正確な道路形状を算出する機能を有する。
【００２８】
以上のように構成される道路形状認識装置１は、上述したように、ＣＰＵ６が道路形状認識プログラムを実行することで、例えば車線や縁石等の道路形状を認識可能な物体が見えない遠方においても、また、そのような物体が存在しない道路においても、アスファルト等からなる道路領域を検出することで、道路形状を正確に認識することができる。
【００２９】
そして、認識結果を入力画像に重畳した画像等をディスプレイ１５に出力するとともに、認識結果をコントロールユニット２に送信し、コントロールユニット２の制御のもとで危険があると判断した場合は、減速する制御を行うか、あるいは警報音を発生させて、車両の乗員に報知するようにしている。
【００３０】
この減速する制御を行う際に、エンジンブレーキや回生ブレーキを用い、また走行路が上り坂または走行路の先が上り坂の場合は減速制御を行わないこと等により燃費を向上することができる。また、出力された道路形状に対して自車が逸脱する危険がある場合には、ステアリングやブレーキにより旋回制御やブレーキ制御を行うか、警報音を発生させて、車両の乗員に報知するようにしてもよい。
【００３１】
ここで、以上のような道路形状認識装置１において、画像を撮像し道路形状を算出して結果を出力するまでの一連の処理の流れについて、フローチャートおよび図面を参照しながら説明する。
【００３２】
図４は、本実施の形態における道路形状認識処理方法を示すフローチャートである。図４のフローチャートに示す一連の処理は、イグニッションスイッチ２０（図２を参照）がオンとなったときにスタートし、イグニッションスイッチ２０がオフとなるまで繰り返し行われる。
【００３３】
そして、自車ｖが走行中であるか停止中であるか、また、ディスプレイ１５に表示されている画像がカーナビゲーションシステム（図示せず）の走行経路案内画像であるか、その他の映像であるかに拘わらず実施される。ただし、自車ｖが走行中であるか停止中であるか、また、ディスプレイ１５に表示されている画像がカーナビゲーションシステムの走行経路案内画像かその他の映像であるかに応じて、処理の実施を決定する構成としてもよい。
【００３４】
まず、イグニッションスイッチ２０がオンとなると、道路形状認識装置１により道路形状認識プログラムが実行され、初期化フラグがＯＮに設定される（ステップＳ１０１）。次に、車載システム３の起動スイッチ２１がＯＮか否かを判定する（ステップＳ１０２）。そして、車載システム３の起動スイッチ２１がＯＮの場合は、初期化フラグがＯＮか否かを判定する（ステップＳ１０３）。
【００３５】
そして、初期化フラグがＯＮのときは過去の道路形状認識結果をリセットするなどの初期化処理を実施して（ステップＳ１０４）、初期化フラグをＯＦＦに設定する（ステップＳ１０５）。そして、ステップＳ１０３で初期化フラグがＯＦＦのとき、あるいはステップＳ１０５で初期化フラグをＯＦＦに設定した後に、道路形状を算出すべく、ステップＳ１０６以降に移行する。
【００３６】
ステップＳ１０６では、アスファルト等からなる道路の道路領域を検出するとともに、カメラ４Ｒとカメラ４Ｌの見え方の違いから、自車ｖの進行方向前側に存在する物体の三次元位置を検出する処理が行われる。ただし、このときの三次元座標系は、例えば図５に示すようにカメラ４Ｒとカメラ４Ｌの中間点を原点Ｏとし、自車進行方向をＺ軸、水平方向（車幅方向）をＸ軸、垂直方向をＹ軸とする直交座標系で表すものとする。
【００３７】
例えば、自車ｖの進行方向前側に存在する車線や立体物等の物体は、カメラ４Ｒ、４Ｌの撮像画像を処理することで得られる３次元データを解析し、垂直構造物を立体物、水平かつ連続に存在する白線を車線として検出することができる。
【００３８】
２台以上のカメラ（以下、ステレオカメラ）を用いることにより、分解能の高い３次元データを得ることができ、自車ｖの近傍に位置する車線や縁石等の小さい物体を高精度に検出することができる。
【００３９】
また、ステレオカメラでは、三次元計測性能がレーダ装置等のように、対象物の反射特性に依存しないので、草木や建物などの多種多様な物体の三次元データを計測でき、道路形状に沿った三次元データについても、より多くの対象を検出することができる。
【００４０】
道路領域検出部３１は、例えば撮像画像を処理して物体の三次元位置を検出する際に得られる右カメラ４Ｒの画像（以下、右画像）と左カメラ４Ｌの画像（以下、左画像）間の相関値の系列（図６（ｂ））を用いて道路領域を検出する。
【００４１】
以下、図６を用いて、相関値の系列の算出から道路領域を検出する一例について説明する。図６は、道路領域検出方法の一例を説明する図であり、（ａ）は左右のカメラにより撮像した左右の画像を示す図、（ｂ）は相関値の系列の一例を示す図である。
【００４２】
図６（ａ）に示すように、右画像６１Ｒに視差算出用のウィンドウ６５Ｒを設定し、そのウィンドウ６５Ｒと同サイズのウィンドウ６５Ｌを左画像６１Ｌの水平方向に操作して、右画像６１Ｒのウィンドウ６５Ｒと左画像６１Ｌのウィンドウ６５Ｌ内の画像が、どの程度類似しているかを表す相関値を計算していく（視差探索）。
【００４３】
相関値は、下記の式（２）の差分絶対値和（SAD：Sub of Absolute Difference）などによって計算することができる。ただし、Nは視差算出対象ウィンドウの縦サイズ、Mは横サイズであり、I(i, j)は、右画像６１Ｒの輝度値、T(i,j)は、左画像６１Ｌの輝度値である。
【００４４】
【００４５】
そして、視差の探索範囲Sm分だけ、左画像６１Ｌのウィンドウ６５Ｌをシフトしていき、相関値を計算することで相関値の系列を得る（図６（ｂ））。そして、Sm個の相関値の中から最小値Siを求め、Siが視差となる。
【００４６】
ここで、Siの左隣の相関値Si-1と右隣の相関値Si+1を比較し、その差が所定値以下（類似していれば）であれば、右画像６１Ｒの視差算出対象ウィンドウ６５Ｒ内の画素は道路領域６２Ｒであると判断し、当該画素に道路領域ラベルを付与する。
【００４７】
例えば、道路領域６２Ｒと判定された画素位置には、道路領域ラベルとして１を代入し、道路領域でないと判定された画素位置（例えば上空領域６４Ｒ、道路外領域６３Ｒ）には０を代入する。そして、右画像６１Ｒの視差算出対象ウィンドウ６５Ｒをシフトさせて、右画像６１Ｒ全体の視差と道路領域ラベルを得る。
【００４８】
道路領域ラベルを付与した道路領域検出結果の例を図８、図９に示す。図８は、道路領域検出結果を示す図であり、図８（ａ）は遠方で右にカーブしている道路８２をカメラ４で撮像した画像８１を示す図、図８（ｂ）は図８（ａ）の画像８１に基づいて道路領域検出部３１で道路領域を検出した結果例を示す図である。
【００４９】
図８（ａ）の画像８１には、道路８２と、道路外８３と、上空８４が撮像されている。画像８１内の道路８２は、遠方に移行するにしたがって消失点に接近し、漸次小さくなるように撮像される。したがって、遠方でカーブしている部分を含む領域８５は、近傍位置と比較して相対的に解像度が低く、道路８２に白線や縁石等が存在している場合には、ほとんど認識できない。したがって、従来の白線や縁石等によって道路形状を認識する方法では、遠方の道路形状を認識することは困難であった。
【００５０】
これに対して、本発明の道路形状認識装置１は、道路領域検出部３１によって道路の道路領域を検出する。図８（ｂ）に示されるハッチング部分は、画素に道路領域ラベル１が付与された道路候補点からなり、ハッチング以外の部分は、画素に道路領域ラベル０が付与された非候補点からなる。なお、図８（ｂ）に示される島状部分８７はノイズが表されたものである。道路領域８６は、図８（ｂ）に示されるように、道路形状全体を認識することができ、道路が遠方で右側にカーブしていることが認識できる。
【００５１】
図９は、道路領域検出結果を示す図であり、図９（ａ）は遠方に上り坂がある道路をカメラ４で撮像した画像を示す図、図９（ｂ）は図９（ａ）の画像に基づいて道路領域検出部で道路領域を検出した例を示す図である。
【００５２】
図９（ａ）の画像９１には、道路９２と、道路外９３と、上空９４が撮像されている。道路９２は、画像９１内において遠方に移行するにしたがって消失点に接近し、漸次小さくなるように撮像される。
【００５３】
したがって、遠方の上り坂部分を含む領域９５は、近傍位置と比較して相対的に解像度が低く、道路９２に白線や縁石等が存在している場合には、ほとんど認識できない。したがって、従来の白線や縁石等によって道路形状を認識する方法では、遠方の道路形状を認識することは困難であった。
【００５４】
これに対して、本発明の道路形状認識装置１は、道路領域検出部３１によって道路領域を検出する。図９（ｂ）に示されるハッチング部分は、画素に道路領域ラベル１が付与された道路候補点からなり、ハッチング以外の部分は、画素に道路領域ラベル０が付与された非候補点からなる。なお、図９（ｂ）に示される島状部分９７はノイズが表されたものである。道路領域９６は、図９（ｂ）に示されるように、道路形状全体を認識することができ、道路が遠方にまっすぐに延びて、その途中位置で、道路端の傾斜角度が立つ方向に変化していることから、道路途中で勾配が変化して上り坂となっていることが認識できる。
【００５５】
このように、視差算出時に求める相関値の系列を用いて道路領域を検出することで、処理時間を短縮することができ、装置としての応答性を良好なものにすることができる。
【００５６】
また、道路領域検出方法として、過去に検出した道路領域から輝度値、色の分布を取得して、道路領域７５を検出してもよい。図７は、道路領域検出方法の他の一例を示す図であり、（ａ）は右カメラにより撮像した右画像、（ｂ）はその右画像から輝度に基づいて検出した道路領域を示す図、（ｃ）は道路領域の輝度分布と輝度範囲を示す図である。
【００５７】
図７（ａ）に示す右画像７１には、道路７２と、道路外７３と、上空７４が撮像されている。例えば、図７（ａ）に示す右画像７１から過去の道路領域中に存在する画素の輝度の情報を収集し、輝度の分布の平均値Bmと標準偏差σ等を求める。そして、図７（ｃ）に示すように、輝度の分布の平均値Bmから標準偏差σあるいは２σの範囲に入る輝度を道路領域の輝度範囲７６として求め、右画像７１の輝度のうち、道路領域７２の輝度範囲７６に入る画素に道路領域ラベルを付与する。これにより、図７（ｂ）に示されるように、道路領域７５を検出することができ、道路形状全体を認識することができる。
【００５８】
このとき、過去の道路領域の代わりに自車の車速や操舵角等を用いて道路形状を予測して、車線幅ｗを定義することで得られる道路領域を用いて輝度値や色等の分布を取得してもよく、また、前記相関値系列から求める道路領域と輝度や色の分布から求める道路領域を組み合わせてもよい。
【００５９】
さらに、レーザレーダやミリ波レーダ（レーダ装置）等の図示しない立体物検出手段により、駐車車両や先行車両等の道路上の障害物を検出し、その障害物の領域の全部あるいは一部を道路領域とすることで、道路上の障害物により道路領域が遮蔽される影響を除去してもよい。
【００６０】
また、道路領域がアスファルトと、横断歩道などの路面ペイント等の複数の輝度、色から構成される場合は、道路領域の輝度分布、色の分布を複数求めることで、アスファルトと路面ペイント等の領域を道路領域として検出してもよい。
【００６１】
また、車載システム３が、図２に図示しないカーナビゲーションシステムを具備している場合には、カーナビゲーションシステムが有する地図データベースから、走行中の道路の形状等を取得して、道路領域の輝度、色情報を取得することもできる。
【００６２】
例えば、地図データベースの情報を基にカーナビゲーションシステムがカーブ半径を求め、道路形状認識装置１に送信する。道路形状認識装置１のナビゲーション情報取得部では、カーナビゲーションシステムから得たカーブ半径に加え、道路幅、道路に対する自車の位置を定義することで画像上での道路領域を予測して、予測した道路領域内の輝度、色情報を取得することができる。
【００６３】
また、カーナビゲーションシステムが地図データベースから、横断歩道等の路面ペイントの有無等の情報を取得し、道路形状認識装置１のナビゲーション情報取得部に送信すれば、道路形状認識装置１がカーナビゲーションシステムの情報を基に、道路領域がいくつの輝度、色から構成されるかを判定して複数の輝度や色の分布を求めてもよい。
【００６４】
そして、ステップＳ１０７では、ステップＳ１０６で検出した道路領域に対して、図１０、図１１、図１２のような曲線、直線等の組み合わせで表現される道路形状モデル１０１等を当てはめることで、道路形状を推定する処理が行われる。
【００６５】
図１０と図１１は、道路形状を推定する際に用いるカーブの道路形状モデルの一例をそれぞれ示す図であり、図１２は、道路形状を推定する際に用いる坂道の道路形状モデルの一例を示す図である。
【００６６】
図１０に示す道路形状モデル１０１は、Ｘ−Ｚ平面において所定の曲率半径で右カーブする道路形状モデル（Ｘ＝ａＺ３＋ｂＺ＋ｃ）であり、道路幅ｗを有して互いに対向するように左右の道路端１０１Ｌ、１０１Ｒが規定される。
【００６７】
図１１に示す道路形状モデル１１０は、Ｘ−Ｚ平面において自車ｖから進行方向前側に距離Ｚｊだけ離間した接続点Ｐ１１で右に折れ曲がる道路形状モデルであり、自車ｖから接続点Ｐ１１までＺ軸に沿って延在する道路形状１１１（Ｘ＝ｅＺ＋ｆ）と、接続点Ｐ１１から進行方向に向かってＺ軸に対して一定の傾斜角度で延在する道路形状１１２（Ｘ＝ｇＺ＋ｈ）とを組み合わせたものである。道路形状モデル１１０は、道路幅ｗを有して互いに対向するように左右の道路端１１１Ｌ、１１２Ｌ、１１１Ｒ、１１２Ｒが規定される。
【００６８】
図１２に示す道路形状モデル１２１は、Ｙ−Ｚ平面において所定の上り勾配を有する上り坂の道路形状モデル（Ｙ＝ａＺ３＋ｂＺ＋ｃ）である。
【００６９】
図１３は、道路形状推定方法を説明する図であり、図１３（ａ）は道路形状モデルの複数の候補を示す図、図１３（ｂ）は道路形状モデルによって道路形状が推定された状態を示す図である。
【００７０】
例えば、図１３（ａ）のように、道路形状モデル１３０の候補をＮｃ個生成し、各候補１〜Ｎｃを画像座標系に変換して、画像１３１上の道路領域１３２とそれぞれ重ね合わせる（図１３（ｂ））。そして、重ね合わせた際に、最も類似度が高かった道路形状モデル１３０を道路形状の推定結果として採用する。類似度は、例えば道路形状内に道路領域１３２と判定された画素を多く含む場合に高くなるように判断される。
【００７１】
このように、Ｘ−Ｚ平面の道路形状モデル１３０を用いて道路形状を推定することにより、実空間での道路形状を得ることができる。これにより、例えば図１３（ｂ）に示すように、道路領域検出結果にはノイズ１３４が発生するが、道路領域１３２全体と道路形状モデル１３０とを比較することで、このようなノイズの影響を軽減できる。
【００７２】
このとき、計測部３０としてステレオカメラを用いれば道路面の高さ等が分かるため、他のセンサを用いるより精度のよい推定ができる。また、図１２に示すように、Ｙ−Ｚ平面の道路形状モデル１２１を用いれば、同様にして坂道の道路形状を推定することができる。
【００７３】
また、車載システム３が図２に図示しないカーナビゲーションシステムを具備している場合には、地図データベースから走行中の道路の形状等を取得して、道路形状モデル１３０の候補を生成することもできる。
【００７４】
例えば、カーナビゲーションシステムが地図データベースから、カーブ半径を取得し、道路形状認識装置１に送信する。道路形状認識装置１では、カーナビゲーションシステムから得たカーブ半径付近の道路形状候補のみを生成することで効率よく、かつ精度良く道路形状の推定を行うことができる。また、一般道か高速道路のいずれを走行中であるかの情報を取得できれば、高速道路では、カーブ半径が大きい道路形状モデルの候補のみを生成する構成にしてもよい。
【００７５】
さらに、道路形状を推定する際に、近距離については白線や、縁石等の道路端を検出して、道路幅や３次関数の係数等を求め、遠くについては道路領域を用いて道路形状を推定するか、白線や縁石等の道路端等と、道路領域とを用いて道路形状を推定する構成としてもよい。
【００７６】
また、ステップＳ１０８の道路境界点抽出処理では、図１４、図１５のようにステップＳ１０６で推定した道路形状１４１、１５１をもとに、ステレオカメラで計測した三次元データ群の中から、道路と道路外の境界に存在する三次元データを選択し、その選択した三次元データを道路境界点として抽出する処理が行われる。
【００７７】
図１４に示す例では、左道路端１４１Ｌと右道路端１４１Ｒのうち、左道路端１４１Ｌの情報を用いて道路境界点を抽出している。右カーブでは、右道路端１４１Ｒが立体物等により遮蔽されることがあるため、左道路端１４１Ｌを用いることで安定した結果を得ることができる。
【００７８】
図１４に示す例の場合、ステップＳ１０７の道路形状推定処理により推定した道路形状１４１の左道路端１４１Ｌに対して、三次元データ抽出領域１４２を設定し、自車ｖの進行方向前側で検出した三次元データ１４３ａ〜１４３ｎの中から、三次元データ抽出領域１４２内の三次元データ１４３ａ〜１４３ｅを、道路境界に存在する三次元データとして選択している。そして、その選択した三次元データ１４３ａ〜１４３ｅを道路境界点として抽出している。
【００７９】
また、図１５に示す例の場合、ステップＳ１０７の道路形状推定処理により推定した道路形状１５１に対して、三次元データ抽出領域１５２を設定し、自車ｖの進行方向前側で検出した三次元データ１５３ａ〜１５３ｈの中から、三次元データ抽出領域１５２内の三次元データ１５３ａ〜１５３ｃを、道路境界に存在する三次元データとして選択している。そして、その選択した三次元データ１５３ａ〜１５３ｃを道路境界点として抽出している。
【００８０】
例えば、道路境界に存在する三次元データを選択する場合に、単に三次元データ抽出領域１４２、１５２内の三次元データ１４３ａ〜１４３ｅ、１５３ａ〜１５３ｃを選択するだけでなく、連続性等を考慮して選択することでさらに精度のよい道路境界点が抽出できる。
【００８１】
さらに、レーザレーダやミリ波レーダ等の図示しない立体物検出手段により、駐車車両や先行車両等の道路上の立体物を検出し、その立体物の領域の全部あるいは一部の三次元データを抽出しない構成としてもよい。駐車車両や先行車両等の道路上の立体物を除外することで、立体物が存在しないときと同じ道路形状を求めることができるようになる。
【００８２】
また、車載システム３が図２に図示しないカーナビゲーションシステムを具備している場合には、地図データベースから走行中の道路の形状等を取得して、地図データベースの道路形状を考慮して道路境界点を抽出することもできる。
【００８３】
例えば、カーナビゲーションシステムが地図データベースから、カーブ半径を取得し、道路形状認識装置１に送信する。道路形状認識装置１では、カーナビゲーションシステムから得たカーブ半径に沿うように三次元データ抽出領域１４２、１５２を設定することで、効率良く、かつ精度良く道路境界点を抽出することができる。
【００８４】
そして、ステップＳ１０９では、ステップＳ１０７で推定された道路形状を補正して、補正後の道路形状を算出する処理が行われる。道路形状算出部３４は、図１６、図１７のようにステップＳ１０８で抽出した道路境界点の三次元位置を用いて道路形状のずれを補正する。例えばカーブの道路形状の場合は、道路形状モデルを３次関数Ｘ＝ａＺ３＋ｂＺ＋ｃとし、係数ｃは道路幅ｗから求めると、ａとｂのみを算出すればよい。
【００８５】
これは、下記の式（３）で表される最小二乗法などにより求めることができる。最小二乗法の入力データとしては、例えば道路形状推定部３２で推定した道路形状を所定の間隔でサンプリングした道路形状の座標列と、道路境界点抽出部３３により抽出した三次元位置の座標列である。これらの座標列を（Xi, Zi）とする。ただし、i=1,2,・・・Lであり、Lは、サンプリングした道路形状の座標列と、三次元位置の座標列の総数である。
【００８６】
【００８７】
また、道路形状算出部３４は、ステップＳ１０９で道路形状を補正した結果、もしくは、ステップＳ１０７の道路形状推定部３２の結果のいずれかに基づいて、カーブの曲率半径Ｒとカーブまでの距離Ｄｃを算出する（図１８）。道路形状モデルに３次関数Ｘ＝ａＺ３＋ｂＺ＋ｃを用いた場合には、下記の式（４）により曲率半径Ｒを算出することができる。
【００８８】
【００８９】
上記した式（４）では、距離Ｚが決まれば曲率半径Ｒが一意に求まる。したがって、図１８のように、カーブの曲率半径Ｒを求める注視点Ｐ１８（Ｘｆ、Ｚｆ）を定義する。注視点Ｐ１８（Ｘｆ、Ｚｆ）は、例えばＺ軸と道路形状１８１のカーブ外側の道路端（図１８では左道路端１８１Ｌ）との交点として定義できる。
【００９０】
そして、図１８に示すように、曲率半径Ｒが注視点Ｐ１８（Ｘｆ、Ｚｆ）に接するように円１８２の中心１８２ａ（Ｃｘ、Ｃｚ）を求めると、自車ｖからカーブまでの距離Ｄｃを円１８２の中心のＺ座標であるＣｚとすることができる。このとき、道路形状を直線と３次関数など複数のモデルで近似することにより実際の道路形状に近い結果を得ることができる。
【００９１】
また、カーブの曲率半径の変わりに、注視点Ｐ１９（Ｘｆ、Ｚｆ）でＺ軸と道路形状１９１のなす角度をカーブの角度θとして求めてもよい（図１９）。さらに、道路端の位置情報として、３次関数等で求めた道路形状そのものを出力してもよく、図２０のように所定の距離間隔で道路２０１の道路形状をサンプリングし、右道路端２０１Ｒの位置の系列ＰiR、左道路端２０１Ｌの位置の系列ＰiLを算出して出力してもよい。ただし、ｉは道路形状をＮ個のセグメントに分割した際のセグメント番号であり、１からＮの値を取る。
【００９２】
坂道の場合は、図２１に示すように、勾配変化点を注視点Ｐ２１（Ｙｆ、Ｚｆ）として設定する。そして、補正後の道路２１１の道路形状から、その接線２１２とＺ軸の成す角度を道路２１１の勾配角度θ’として求め、また、自車ｖから注視点Ｐ２１までの距離Ｄｓを求める（図２１）。坂道についても、カーブと同様に３次関数等の道路形状モデルの係数や、サンプリングした道路形状のデータを求め、出力してもよい。
【００９３】
そして、車載システム３が図２に図示しないカーナビゲーションシステムを具備している場合には、ナビゲーション情報取得部が自車位置検出部からの検出信号に基づき地図データベースから走行中の道路の形状等を取得することにより、道路形状を精度良く算出することもできる。
【００９４】
ステップＳ１１０では、ステップＳ１０９までに求めた道路形状のうち少なくとも一つの結果を送信する。コントロールユニット２は、道路形状認識装置１により求めた道路形状算出結果に基づいて、制御・警報内容を決定し、自車ｖを制御するか乗員に警報を発する、あるいは自車ｖを制御し、かつ乗員に警報を発する処理を行う。
【００９５】
その処理について図２２のフローチャートに沿って説明する。本実施の形態では、道路形状に応じて適正車速を求め、減速、警報処理を実施する例について説明するが、道路形状に応じて自動的に旋回する等の処理を行ってもよい。
【００９６】
図２２に示す一連の処理は、イグニッションスイッチ２０がオンとなったときにスタートし、イグニッションスイッチ２０がオフとなるまで繰り返し行われる。自車ｖが走行中であるか停止中であるか、また、ディスプレイ１５に表示されている画像がカーナビゲーションシステムの走行経路案内画像か、その他の映像であるかに拘わらず、実施される。ただし、自車ｖが走行中であるか停止中であるか、また、ディスプレイ１５に表示されている画像がナビゲーションシステムの走行経路案内画像か、その他の映像であるかに応じて、処理の実施を決定する構成としてもよい。
【００９７】
まず、イグニッションスイッチ２０がオンとなると、コントロールユニット２により運転支援プログラムが実行され、初期化処理を実行する（ステップＳ２０１）。このとき、カーナビゲーションプログラム等の各種プログラムが同時に実行されていてもよい。次に、システムの起動スイッチ２１がＯＮか否かを判定する（ステップＳ２０２）。そして、システムの起動スイッチ２１がＯＮとなったときは、道路形状算出結果受信処理を実行し道路形状の情報をＲＡＭ１１に格納する（ステップＳ２０３）。
【００９８】
次に、ステップＳ２０４により道路形状に応じた適性速度を算出する。例えば、カーブの場合であればカーブの曲率半径とカーブまでの距離に応じて予め適性車速を設定しておくことで、道路形状にあった適性車速を得ることができる。
【００９９】
前述の道路形状認識装置１によって、道路領域を利用して遠方までの道路形状を算出することができ、道路形状に応じた目標車速をリアルタイムで求めることができる。さらに、ステレオカメラ４では、画像上での形状に加えて各画素の三次元位置が求まっているため、道路境界に存在する三次元データのみを適切に選択すれば、精度良く道路形状を算出することができ、乗員に対して違和感の小さい車両制御、警報が可能となる。
【０１００】
そして、ステップＳ２０５では、ステップＳ２０４により求めた適性車速と自車ｖの車速とを比較し、自車ｖの車速の方が大きければブレーキ、エンジンブレーキ、回生ブレーキのいずれか少なくとも１つで減速制御するか、あるいは運転者に速度超過を警告するメッセージや音声、警告を発する。このとき、減速制御と警告を同時に行ってもよい。
【０１０１】
また、警報は、ディスプレイ１５かスピーカ１９のいずれか、あるいはディスプレイ１５とスピーカ１９の両方を用いて乗員に警報を発する。ここで、警報にはディスプレイ１５、スピーカ１９の他にシートベルトや、アクセル、ブレーキペダル、ステアリング、シート等を振動させるなどによって警報を発してもよい。
【０１０２】
本発明を適用した道路形状認識装置１は、すべての処理をＣＰＵ６により実行する構成となっているが、画像処理専用ＬＳＩなどで画像処理の一部、あるいは全てを処理するようにしてもよい。
【０１０３】
以上説明したように、本発明を適用した道路形状認識装置１によれば、計測部３０のカメラ４Ｒ、４Ｌで撮像した各画像を処理して、アスファルト等からなる道路領域を検出し、その検出した道路領域に基づいて道路形状を推定するので、道路領域は白線や縁石に比べ面積が広く検出でき、白線や縁石などが存在しない道路や、白線や縁石などが見えない遠方の道路においても、精度良く道路形状を算出することができる。
【０１０４】
特に、ステレオカメラを用いると、画像上での道路形状を求めるだけでなく、物体の三次元位置を利用することができ、カーブの曲率半径等を高精度に求めることができる。さらに、道路境界点抽出部３３と道路形状算出部３４を具備すれば、道路形状推定部３２で推定した道路形状に基づき、ステレオカメラで算出した三次元データ群から道路境界を検出することができ、さらに精度のよい道路形状を算出することができる利点がある。
【０１０５】
また、本実施の形態の構成に加えて、カーナビゲーションシステムを具備すれば、カーナビゲーションシステムの自車位置検出部から得られる自車位置の情報と、カーナビゲーションシステムの地図データベースから得られる地図データとから、走行中の道路が高速道路か一般道かなどの道路種別を判定し、道路種別などに基づいて道路形状の係数の取り得る値の範囲を決定することができる。
【０１０６】
また、道路形状認識装置１における一連の処理または一部の処理を、コントロールユニット２内あるいは図示しない別の処理装置で処理される構成としてもよく、また、コントロールユニット２の処理が道路形状認識装置１内で処理される構成としてもよい。
【０１０７】
以上説明した本実施の形態では、計測部３０として２つのカメラ４Ｒ、４Ｌを用いる例を示したが、カメラを１つのみと、レーザレーダ、ミリ波レーダなどのレーダ装置とを用いた構成でもよく、またはカメラ、レーザレーダ、ミリ波レーダなどを組み合わせた構成であってもよい。
【０１０８】
例えば、単眼カメラとレーダ装置とを組み合わせて、単眼カメラで道路領域を検出し、レーダ装置で物体の三次元位置を検出することで、上記した本実施の形態と同様の処理を実現できる。なお、単眼カメラとレーダ装置等の複数のセンサを組み合わせる場合は、カメラとレーダ装置の取り付け位置、取り付け角度を予め求めておき、座標系を合わせておくことが必要である。また、単眼カメラのみで構成した場合も、ステレオカメラ、単眼カメラとレーダ装置の組み合わせ等よりも精度は落ちるものの、道路形状を算出することができる。
【０１０９】
さらに、Ｘ−Ｚ平面やＹ−Ｚ平面などの２次元平面上での道路形状の当てはめだけでなく、Ｘ−Ｙ−Ｚ空間で平面や曲面の当てはめを行うことでカーブや勾配に加えバンク等の道路形状も推定することができる。
【０１１０】
道路形状認識装置１が出力する、カーブまでの距離Ｄｃとカーブの曲率半径Ｒ、カーブ接線角度θ、坂までの距離Ｄｓ、勾配θ’のすくなくとも１つから検出した道路形状を走行する適正速度を算出することで、道路形状に応じた車両制御や警報処理が可能となる。
【０１１１】
［第２実施の形態］
図２３は、第２実施の形態における道路形状認識装置の機能ブロック図である。
本実施の形態における道路形状認識装置１’は、図２３に示すように、選択部４０と、第１認識部４１と、第２認識部４２を備えている。選択部４０は、道路周辺の立体物の有無や見通しなどがよい場合には第１認識部４１を選択し、道路周辺の立体物により見通しが悪く、前方の道路形状の一部が死角となっている場合には第２認識部４２を選択する。
【０１１２】
第１認識部４１は、道路領域に基づいて道路形状を認識するものであり、その処理の内容は、上述の第１実施の形態と同様であるのでその詳細な説明は省略する。第２認識部４２は、進行方向前側に存在する物体を検出して、その物体の三次元位置に基づいて道路形状を認識するものであり、物体検知部５１、道路形状予測部５２、物体選択部５３、道路形状推定部５４を有している。
【０１１３】
物体検知部５１は、計測部３０であるカメラ４Ｒ、４Ｌの撮像画像を処理して物体を検出する機能を有する。物体には、車線などの路面標示と、縁石や樹木、建物といった立体物が含まれる。ここでは、物体を検出するとともに、その三次元位置も計測される。
【０１１４】
道路形状予測部５２は、物体検知部５１で検出した車線を基に遠方の道路形状を予測する機能を有するものである。この予測は、車線だけでなく、ガードレールや縁石などの道路を構成する立体物で予測してもよく、車線でなければならないといった制約はない。
【０１１５】
物体選択部５３は、道路形状予測部５２により予測した道路形状付近の立体物を選択する機能を有する。道路形状推定部５４は、物体選択部５３により選択した立体物の三次元位置情報と道路形状予測部５２で道路形状を予測する際に用いた車線情報とを用いて道路形状を再度求める機能を有する。
【０１１６】
上記構成を有する第２認識部４２は、カメラ４Ｒ、４Ｌで撮像した画像を処理し、車線や縁石といった道路を構成する物体から道路形状を予測し、道路形状を構成する車線等により予測した結果を基に道路に沿って存在する建物、樹木等を含む立体物を正しく選択することで、白線や縁石などに加えその他の立体物の位置情報を利用でき、高精度な道路形状の推定が実現できる。
【０１１７】
特に、ステレオカメラ４を用いると、車線や縁石を検出できるだけでなく、その三次元位置を取得できるので、道路形状を精度よく予測できるとともに、草木を含む多種多様な立体物を検出でき、多くの立体物の位置情報を利用することができる。
【０１１８】
また、第２認識部４２の道路形状推定部５４は、車線などの道路を構成する物体と建物などの道路に沿って存在する物体の距離を算出し、道路形状の推定に用いる立体物の位置情報を補正することで、車線等の道路形状を構成する物体と、建物等の道路に沿って存在する物体の位置誤差を吸収でき、より精度の高い道路形状の推定が可能となる。また、車線などの道路を構成する物体と建物などの道路に沿って存在する物体の距離を算出する代わりに、自車走行車線の左側に存在する車線数、右側に存在する車線数を求め、車線数に応じて道路形状の推定に用いる立体物の位置情報を補正する構成としてもよい。
【０１１９】
上記構成を有する道路形状認識装置１’によれば、立体物により見通しが悪く、前方の道路形状の一部が死角になっている場合は、選択部４０が第２認識部４２を選択することにより、見通しの悪い道路においても、精度を下げることなく、道路形状を算出することができる。
【０１２０】
［第３実施の形態］
図２４は、第３実施の形態における道路形状認識装置の機能ブロック図である。
本実施の形態における道路形状認識装置１”は、図２４に示すように、第１認識部４１と、第２認識部４２と、道路形状統合部４３を備えている。第１認識部４１と第２認識部４２は、上述の各実施の形態と同様であるのでその詳細な説明を省略する。
【０１２１】
道路形状認識装置１”によれば、第１認識部４１で道路領域に基づいて道路形状を算出する処理と、第２認識部４２で立体物を用いて道路形状を算出する処理の両方を行い、道路形状統合部４３が立体物の有無などからいずれかの道路形状を選択するか、又は、両方の平均をとるなどにより統合して１つの道路形状を出力するので、見通しが悪い道路などにおいても、精度を下げることなく、道路形状を算出することができる。
【０１２２】
本実施の形態における道路形状認識装置１”が正常に動作しているか否かは、見通しが良く車線のある道路、見通しが良く車線のない道路、見通しが悪く車線がある道路、見通しが悪く車線のない道路等において、道路形状を算出できるかどうか、道路形状の検出率、道路形状の検出距離、道路形状の算出精度を比較することで確認できる。
【０１２３】
本発明は、上述の各実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。
【符号の説明】
【０１２４】
１、１’、１” 道路形状認識装置
２ コントロールユニット
３ 車載システム
４Ｒ カメラ
４Ｌ カメラ
６ ＣＰＵ
７ データＲＯＭ
９ ＲＡＭ
１０ プログラムＲＯＭ
１１ ＲＡＭ
１２ ＣＰＵ
１３ データＲＯＭ
１４ プログラムＲＯＭ
１５ ディスプレイ
１９ スピーカ
２０ イグニッションスイッチ
２１ 起動スイッチ
３０ 計測部（撮像部）
３１ 道路領域検出部
３２ 道路形状推定部
３３ 道路境界点抽出部
３４ 道路形状算出部
４０ 選択部
４１ 第１認識部
４２ 第２認識部
４３ 道路形状統合部
５１ 物体検知部
５２ 道路形状予測部
５３ 物体選択部
５４ 道路形状推定部
【特許請求の範囲】
【請求項１】
車両の進行方向前側に存在する道路の道路形状を認識する道路形状認識装置であって、
前記車両の進行方向前側を撮像する撮像部と、
該撮像部により撮像した画像に基づき前記道路の道路領域を検出する道路領域検出部と、
該道路領域検出部により検出した道路領域に基づき前記道路の道路形状を推定する道路形状推定部と、を有することを特徴とする道路形状認識装置。
【請求項２】
前記道路領域検出部は、前記撮像装置により撮像した画像の輝度情報と色情報の少なくとも一方に基づいて前記道路領域を検出することを特徴とする請求項１に記載の道路形状認識装置。
【請求項３】
前記道路領域検出部は、該道路領域検出部によって過去に道路領域を検出した過去画像から前記道路領域の輝度または色の分布の少なくとも一方の情報を取得し、該取得した情報に基づいて前記画像から前記道路の道路領域を検出することを特徴とする請求項２に記載の道路形状認識装置。
【請求項４】
自車位置周辺の地図データを地図データベースから取得するナビゲーション情報取得部を有し、
前記道路領域検出部は、前記地図データベースから得られる道路領域の輝度又は色の分布の少なくとも一方の情報に基づいて前記画像から前記道路の道路形状を検出することを特徴とする請求項２に記載の道路形状認識装置。
【請求項５】
前記道路領域検出部は、前記撮像部によって撮像された前記道路上の障害物の全部又はその一部を道路領域として検出することを特徴とする請求項２に記載の道路形状認識装置。
【請求項６】
前記撮像部は、複数のカメラを備え、
前記道路領域検出部は、前記複数のカメラにより撮像した各画像を処理して前記車両の進行方向前側に存在する物体の三次元位置を検出し、該物体の三次元位置を検出する際に前記複数のカメラから得られる画像間の相関値の系列に基づいて前記道路領域を検出することを特徴とする請求項１に記載の道路形状認識装置。
【請求項７】
前記道路形状推定部は、前記道路領域検出部により検出した道路領域と予め設定された複数の道路形状モデルとの形状の類似度をそれぞれ判定し、該類似度が最も高い道路形状モデルを前記道路の道路形状として採用することを特徴とする請求項１から請求項６のいずれか一項に記載の道路形状認識装置。
【請求項８】
前記道路形状推定部は、前記道路領域検出部により検出した道路領域に基づいて、複数の道路形状モデルを生成することを特徴とする請求項７に記載の道路形状認識装置。
【請求項９】
自車位置周辺の地図データを地図データベースから取得するナビゲーション情報取得部を有し、
前記道路形状推定部は、前記地図データベースから得られる道路形状の情報に基づいて前記道路形状モデルの候補を生成することを特徴とする請求項７に記載の道路形状認識装置。
【請求項１０】
前記道路形状推定部は、前記道路のカーブの曲率半径、前記カーブまでの距離、前記カーブの接線角度、前記道路の坂の勾配、前記坂までの距離、前記車両と前記カーブ又は前記車両と前記坂との相対位置、前記道路の道路形状を道路形状モデルで近似した道路形状モデル係数の少なくともいずれか１つを道路形状として推定することを特徴とする請求項７に記載の道路形状認識装置。
【請求項１１】
前記道路と道路外との道路境界点を抽出する道路境界点抽出部と、
該道路境界点抽出部により抽出した道路境界点に基づいて前記道路形状推定部により推定した道路形状を補正する道路形状算出部と、を有することを特徴とする請求項１から請求項１０のいずれか一項に記載の道路形状認識装置。
【請求項１２】
前記道路境界点抽出部は、前記道路形状推定部により推定した道路形状に基づいて、前記車両の進行方向前側に存在する三次元データのうち、前記道路と道路外との境界に存在する三次元データを選択し、該選択した三次元データを前記道路境界点として抽出することを特徴とする請求項１１に記載の道路形状認識装置。
【請求項１３】
前記車両の進行方向前側に存在する物体の三次元データを検出するレーダ装置を有し、
前記道路境界点抽出部は、該レーダ装置の検出結果から前記境界に存在する三次元データを抽出することを特徴とする請求項１２に記載の道路形状認識装置。
【請求項１４】
前記道路境界点抽出部は、前記道路上に存在する駐車車両や先行車両等の障害物の三次元データを前記境界に存在する三次元データから除外することを特徴とする請求項１２に記載の道路形状認識装置。
【請求項１５】
自車位置周辺の地図データを地図データベースから取得するナビゲーション情報取得部を有し、
前記道路境界点抽出部は、前記地図データベースから得られる道路形状の情報に基づいて前記道路境界点を抽出することを特徴とする請求項１１に記載の道路形状認識装置。
【請求項１６】
前記道路形状算出部は、前記道路のカーブの曲率半径、前記カーブまでの距離、前記カーブの接線角度、前記道路の坂の勾配、前記坂までの距離、前記車両と前記カーブ又は前記車両と前記坂との相対位置、前記道路の道路形状を道路形状モデルで近似した道路形状モデル係数の少なくともいずれか１つを道路形状として算出することを特徴とする請求項１１に記載の道路形状認識装置。
【請求項１７】
自車位置周辺の地図データを地図データベースから取得するナビゲーション情報取得部を有し、
前記道路形状算出部は、前記地図データベースから得られる道路形状の情報に基づいて前記道路形状を補正することを特徴とする請求項１１に記載の道路形状認識装置。
【請求項１８】
車両の進行方向前側に存在する道路の道路形状を認識する道路形状認識装置であって、
前記車両の進行方向前側を撮像した画像に基づき前記道路の道路領域を検出し、該検出した道路領域に基づいて前記道路の道路形状を算出する第１認識部と、
前記車両の進行方向前側を撮像した画像に基づき前記車両の進行方向前側に存在する物体の三次元位置を検出し、該検出した物体の三次元位置に基づいて前記道路の道路形状を算出する第２認識部と、
前記道路の道路周辺に立体物が存在するか否か、もしくは見通し条件に基づいて前記第１認識部と前記第２認識部のいずれか一方を選択し、該選択した方に道路形状の算出を行わせる選択部と、を有することを特徴とする道路形状認識装置。
【請求項１９】
車両の進行方向前側に存在する道路の道路形状を認識する道路形状認識装置であって、
前記車両の進行方向前側を撮像した画像に基づき前記道路の道路領域を検出し、該検出した道路領域に基づいて前記道路の道路形状を算出する第１認識部と、
前記車両の進行方向前側を撮像した画像に基づき前記車両の進行方向前側に存在する物体の三次元位置を検出し、該検出した物体の三次元位置に基づいて前記道路の道路形状を算出する第２認識部と、
前記第１認識部により算出された前記道路の道路形状と、前記第２認識部により算出された前記道路の道路形状とを統合して一つの道路形状を出力する道路形状統合部と、を有することを特徴とする道路形状認識装置。
【請求項２０】
前記第１認識部は、前記車両の進行方向前側を撮像する撮像部と、該撮像部により撮像した画像に基づき前記道路の道路領域を検出する道路領域検出部と、該道路領域検出部により検出した道路領域に基づき前記道路の道路形状を推定する道路形状推定部とを有し、
前記第２認識部は、前記車両の前方に存在する物体の三次元位置を検出する検出部と、該検出部で検出した物体の三次元位置に基づき遠方の道路形状を推定する道路形状予測部と、該道路形状予測部により予測した道路形状付近の立体物を選択する立体物選択手段と、該立体物選択手段により選択された立体物の三次元位置情報と、前記道路形状予測部で前記道路形状を予測する際に用いた車線や縁石等の道路を構成する物体の情報とを用いて道路形状を再度求める道路形状算出部を有することを特徴とする請求項１８又は１９に記載の道路形状認識装置。
【請求項２１】
前記請求項１から請求項２０のいずれか一項に記載の道路形状認識装置と、
該道路形状認識装置から出力される道路形状に基づいて、該道路形状を有する道路を走行する適正速度を算出し、前記車両の走行速度を制御するコントロールユニットと、を有することを特徴とする車載システム。
【請求項１】
車両の進行方向前側に存在する道路の道路形状を認識する道路形状認識装置であって、
前記車両の進行方向前側を撮像する撮像部と、
該撮像部により撮像した画像に基づき前記道路の道路領域を検出する道路領域検出部と、
該道路領域検出部により検出した道路領域に基づき前記道路の道路形状を推定する道路形状推定部と、を有することを特徴とする道路形状認識装置。
【請求項２】
前記道路領域検出部は、前記撮像装置により撮像した画像の輝度情報と色情報の少なくとも一方に基づいて前記道路領域を検出することを特徴とする請求項１に記載の道路形状認識装置。
【請求項３】
前記道路領域検出部は、該道路領域検出部によって過去に道路領域を検出した過去画像から前記道路領域の輝度または色の分布の少なくとも一方の情報を取得し、該取得した情報に基づいて前記画像から前記道路の道路領域を検出することを特徴とする請求項２に記載の道路形状認識装置。
【請求項４】
自車位置周辺の地図データを地図データベースから取得するナビゲーション情報取得部を有し、
前記道路領域検出部は、前記地図データベースから得られる道路領域の輝度又は色の分布の少なくとも一方の情報に基づいて前記画像から前記道路の道路形状を検出することを特徴とする請求項２に記載の道路形状認識装置。
【請求項５】
前記道路領域検出部は、前記撮像部によって撮像された前記道路上の障害物の全部又はその一部を道路領域として検出することを特徴とする請求項２に記載の道路形状認識装置。
【請求項６】
前記撮像部は、複数のカメラを備え、
前記道路領域検出部は、前記複数のカメラにより撮像した各画像を処理して前記車両の進行方向前側に存在する物体の三次元位置を検出し、該物体の三次元位置を検出する際に前記複数のカメラから得られる画像間の相関値の系列に基づいて前記道路領域を検出することを特徴とする請求項１に記載の道路形状認識装置。
【請求項７】
前記道路形状推定部は、前記道路領域検出部により検出した道路領域と予め設定された複数の道路形状モデルとの形状の類似度をそれぞれ判定し、該類似度が最も高い道路形状モデルを前記道路の道路形状として採用することを特徴とする請求項１から請求項６のいずれか一項に記載の道路形状認識装置。
【請求項８】
前記道路形状推定部は、前記道路領域検出部により検出した道路領域に基づいて、複数の道路形状モデルを生成することを特徴とする請求項７に記載の道路形状認識装置。
【請求項９】
自車位置周辺の地図データを地図データベースから取得するナビゲーション情報取得部を有し、
前記道路形状推定部は、前記地図データベースから得られる道路形状の情報に基づいて前記道路形状モデルの候補を生成することを特徴とする請求項７に記載の道路形状認識装置。
【請求項１０】
前記道路形状推定部は、前記道路のカーブの曲率半径、前記カーブまでの距離、前記カーブの接線角度、前記道路の坂の勾配、前記坂までの距離、前記車両と前記カーブ又は前記車両と前記坂との相対位置、前記道路の道路形状を道路形状モデルで近似した道路形状モデル係数の少なくともいずれか１つを道路形状として推定することを特徴とする請求項７に記載の道路形状認識装置。
【請求項１１】
前記道路と道路外との道路境界点を抽出する道路境界点抽出部と、
該道路境界点抽出部により抽出した道路境界点に基づいて前記道路形状推定部により推定した道路形状を補正する道路形状算出部と、を有することを特徴とする請求項１から請求項１０のいずれか一項に記載の道路形状認識装置。
【請求項１２】
前記道路境界点抽出部は、前記道路形状推定部により推定した道路形状に基づいて、前記車両の進行方向前側に存在する三次元データのうち、前記道路と道路外との境界に存在する三次元データを選択し、該選択した三次元データを前記道路境界点として抽出することを特徴とする請求項１１に記載の道路形状認識装置。
【請求項１３】
前記車両の進行方向前側に存在する物体の三次元データを検出するレーダ装置を有し、
前記道路境界点抽出部は、該レーダ装置の検出結果から前記境界に存在する三次元データを抽出することを特徴とする請求項１２に記載の道路形状認識装置。
【請求項１４】
前記道路境界点抽出部は、前記道路上に存在する駐車車両や先行車両等の障害物の三次元データを前記境界に存在する三次元データから除外することを特徴とする請求項１２に記載の道路形状認識装置。
【請求項１５】
自車位置周辺の地図データを地図データベースから取得するナビゲーション情報取得部を有し、
前記道路境界点抽出部は、前記地図データベースから得られる道路形状の情報に基づいて前記道路境界点を抽出することを特徴とする請求項１１に記載の道路形状認識装置。
【請求項１６】
前記道路形状算出部は、前記道路のカーブの曲率半径、前記カーブまでの距離、前記カーブの接線角度、前記道路の坂の勾配、前記坂までの距離、前記車両と前記カーブ又は前記車両と前記坂との相対位置、前記道路の道路形状を道路形状モデルで近似した道路形状モデル係数の少なくともいずれか１つを道路形状として算出することを特徴とする請求項１１に記載の道路形状認識装置。
【請求項１７】
自車位置周辺の地図データを地図データベースから取得するナビゲーション情報取得部を有し、
前記道路形状算出部は、前記地図データベースから得られる道路形状の情報に基づいて前記道路形状を補正することを特徴とする請求項１１に記載の道路形状認識装置。
【請求項１８】
車両の進行方向前側に存在する道路の道路形状を認識する道路形状認識装置であって、
前記車両の進行方向前側を撮像した画像に基づき前記道路の道路領域を検出し、該検出した道路領域に基づいて前記道路の道路形状を算出する第１認識部と、
前記車両の進行方向前側を撮像した画像に基づき前記車両の進行方向前側に存在する物体の三次元位置を検出し、該検出した物体の三次元位置に基づいて前記道路の道路形状を算出する第２認識部と、
前記道路の道路周辺に立体物が存在するか否か、もしくは見通し条件に基づいて前記第１認識部と前記第２認識部のいずれか一方を選択し、該選択した方に道路形状の算出を行わせる選択部と、を有することを特徴とする道路形状認識装置。
【請求項１９】
車両の進行方向前側に存在する道路の道路形状を認識する道路形状認識装置であって、
前記車両の進行方向前側を撮像した画像に基づき前記道路の道路領域を検出し、該検出した道路領域に基づいて前記道路の道路形状を算出する第１認識部と、
前記車両の進行方向前側を撮像した画像に基づき前記車両の進行方向前側に存在する物体の三次元位置を検出し、該検出した物体の三次元位置に基づいて前記道路の道路形状を算出する第２認識部と、
前記第１認識部により算出された前記道路の道路形状と、前記第２認識部により算出された前記道路の道路形状とを統合して一つの道路形状を出力する道路形状統合部と、を有することを特徴とする道路形状認識装置。
【請求項２０】
前記第１認識部は、前記車両の進行方向前側を撮像する撮像部と、該撮像部により撮像した画像に基づき前記道路の道路領域を検出する道路領域検出部と、該道路領域検出部により検出した道路領域に基づき前記道路の道路形状を推定する道路形状推定部とを有し、
前記第２認識部は、前記車両の前方に存在する物体の三次元位置を検出する検出部と、該検出部で検出した物体の三次元位置に基づき遠方の道路形状を推定する道路形状予測部と、該道路形状予測部により予測した道路形状付近の立体物を選択する立体物選択手段と、該立体物選択手段により選択された立体物の三次元位置情報と、前記道路形状予測部で前記道路形状を予測する際に用いた車線や縁石等の道路を構成する物体の情報とを用いて道路形状を再度求める道路形状算出部を有することを特徴とする請求項１８又は１９に記載の道路形状認識装置。
【請求項２１】
前記請求項１から請求項２０のいずれか一項に記載の道路形状認識装置と、
該道路形状認識装置から出力される道路形状に基づいて、該道路形状を有する道路を走行する適正速度を算出し、前記車両の走行速度を制御するコントロールユニットと、を有することを特徴とする車載システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１１−２８６５９（Ｐ２０１１−２８６５９Ａ）
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願番号】特願２００９−１７６０１５（Ｐ２００９−１７６０１５）
【出願日】平成２１年７月２９日（２００９．７．２９）
【出願人】（５０９１８６５７９）日立オートモティブシステムズ株式会社 (2,205)
【Ｆターム（参考）】
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願日】平成２１年７月２９日（２００９．７．２９）
【出願人】（５０９１８６５７９）日立オートモティブシステムズ株式会社 (2,205)
【Ｆターム（参考）】
[ Back to top ]