路肩検出装置及び路肩検出装置を用いた車両
【課題】走行路面と路外との境界である路肩に白線やガードレール等の立体物がなくても、画像情報から路肩を検出する路肩検出装置を提供する。
【解決手段】入力された車外環境の三次元画像情報から対象物の有無及び自車両から対象物までの距離を算出する距離情報算出部と、算出された距離に基づく距離画像から自車両が走行する走行路面を検出する走行路面検出部と、検出された走行路面と路外との高低差を測定する高低差算出部と、測定された高低差に基づいて、走行路面と路外との境界である路肩が、走行路面より低い路外がある場合の路肩か否か判定する路肩判定部と、を有する路肩検出装置。
【解決手段】入力された車外環境の三次元画像情報から対象物の有無及び自車両から対象物までの距離を算出する距離情報算出部と、算出された距離に基づく距離画像から自車両が走行する走行路面を検出する走行路面検出部と、検出された走行路面と路外との高低差を測定する高低差算出部と、測定された高低差に基づいて、走行路面と路外との境界である路肩が、走行路面より低い路外がある場合の路肩か否か判定する路肩判定部と、を有する路肩検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車外の画像情報から路肩を検出する路肩検出装置及びそれを用いた車両に関する。
【背景技術】
【０００２】
車両の安全な走行を実現するために、車両の周囲の危険な事象を検出して、検出した危険な事象を回避するために、車両の操舵，アクセル，ブレーキを自動制御する装置に関して研究開発が行われており、一部の車両には既に搭載されている。その中でも、車両に搭載したセンサで白線や路肩を検出して、車両が車線外や路外に逸脱する危険がある場合に、ドライバに警報を発信するシステムや、自動ブレーキ制御や自動ステアリング制御で車両の速度や進行方向を制御するシステムは、路外逸脱の事故を防止する上で有効である。
【０００３】
車線逸脱を防止するには、車両に搭載した単眼カメラやステレオカメラを用いて白線を検出し、検出した白線と車両との位置関係から、車両が車線外に逸脱している場合にドライバに警報を発信するシステムが実用化されている。また、同じく、白線を車両に搭載したカメラで検出し、検出した白線と車両との位置関係から、車両が車線外に逸脱しそうな場合に車両のステアリング制御を行うシステムに関しては、多数特許文献がある。
【０００４】
また、ガードレール等の路肩の立体物をステレオカメラで検出する装置が特許文献１に示されている。このシステムを利用することで、白線がない場合でも路肩の立体物に衝突しそうな場合に、ドライバへの警報やステアリング制御を行うことができる。
【０００５】
さらには、特許文献２には、車両に搭載した単眼カメラを用いて路肩の側溝を検出する装置が記載されている。ここでは、単眼カメラの画像の輝度情報を用いて、路面よりも低い位置にある部分と、路面上の動きが異なることを利用して、側溝を検出している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−５９３２号公報
【特許文献２】特開２００９−５３８１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
車両に搭載したセンサで車両前方の走行路の路肩を検出して、車線逸脱警報や車線逸脱防止制御を行う場合、白線を検出するシステムの場合は、道路に白線がない場合に路外に逸脱する事故を防止することができない。
【０００８】
また特許文献１のシステムの場合、白線がない場合でも、路肩にガードレール等の立体物があれば路外へ逸脱する事故に対応できるが、路肩に白線も立体物もない場合は対応できない。
【０００９】
また、特許文献２の場合、路肩に白線や立体物がなく、路面より低い部分によって路肩が形成されている場合にも対応できるが、単眼カメラの輝度情報を利用しているため、照明変動がる実環境においては適用が難しい。
【００１０】
本発明の目的は、走行路面と路外との境界である路肩に白線やガードレール等の立体物がなくても、画像情報から路肩を検出する路肩検出装置を提供することである。
【課題を解決するための手段】
【００１１】
上記目的を達成するために本発明は、入力された車外環境の三次元画像情報から対象物の有無及び自車両から対象物までの距離を算出する距離情報算出部と、算出された距離に基づく距離画像から自車両が走行する走行路面を検出する走行路面検出部と、検出された走行路面と路外との高低差を測定する高低差算出部と、測定された高低差に基づいて、走行路面と路外との境界である路肩が、走行路面より低い路外がある場合の路肩か否か判定する路肩判定部と、を有する構成とする。
【００１２】
また、入力された車外環境の三次元画像情報から対象物の有無及び自車両から対象物までの距離を算出する距離情報算出部と、算出された距離に基づく距離画像を複数の画像領域に分離し、複数の画像領域の各々の画像領域間の距離が予め定めた閾値以上か否かを算出し、予め定めた閾値以上の場合を不連続であるとして路肩と判定する不連続性算出部と、算出された路肩に基づいて、走行路面と路外との境界である路肩が、走行路面より低い路外がある場合の路肩か否か判定する路肩判定部と、を有する構成とする。
【発明の効果】
【００１３】
走行路面と路外との境界である路肩に白線やガードレール等の立体物がなくても、車外の画像情報から路肩を検出する路肩検出装置を提供できることである。
【図面の簡単な説明】
【００１４】
【図１】本発明に係る路肩検出装置の概要を説明する図である。
【図２】本発明の距離情報算出部の処理フローを示す図である。
【図３】本発明の走行路面算出部の処理フローを示す図である。
【図４】ステレオカメラで３次元位置を求める方法を説明する図である。
【図５】ステレオカメラで３次元位置を求める方法を説明する図である。
【図６】ステレオカメラで走行路面を求める方法を説明する図である。
【図７】走行路面よりも低い路外を検出する方法を説明する図である。
【図８】路外が走行路面より低い場合の路肩を検出する方法を説明する図である。
【図９】ステレオカメラにおける左右画像の対応点に関して説明する図である。
【図１０】左右画像の対応点の求め方を説明する図である。
【図１１】ステレオカメラにおいて視差の算出の仕方を説明する図である。
【図１２】路外が走行路面よりも低い場合の路肩を検出する方法を説明する図である。
【図１３】路外が走行路面よりも低い場合の路肩を検出する方法を説明する図である。
【図１４】ステレオカメラで３次元位置を求める方法を説明する図である。
【図１５】ステレオカメラで３次元位置を求める方法を説明する図である。
【発明を実施するための形態】
【００１５】
以下図面を用いて各実施例を説明する。
【実施例１】
【００１６】
ここでは、本発明を、車両に搭載されたステレオカメラの映像を用いて、車両前方の走行路の路肩（以下、自動車が走行できる部分と走行できない部分の境界を「路肩」とする）を検出し、車両が路外（以下、自動車が走行できない領域を「路外」とする）に逸脱する可能性がある場合に、ドライバへの警報や逸脱を防止する制御を行うシステムに適用した場合の実施の形態を説明する。なお、本発明では車外の環境情報を取得する手段としてステレオカメラを用いたが、３次元情報を計測することができるものであれば、何でも良い。例えば、単眼カメラ（撮像素子）を複数用いても適用できる。
【００１７】
まず図１を用いて本発明の路肩検出装置の概要を説明する。
【００１８】
図１において、車両１０３に搭載されたステレオカメラ装置１０４を設け、車両１０３の前方を撮像範囲とし、車両１０３前方の立体物の３次元情報を計測することができる。ステレオカメラ装置１０４の詳細は後述する。
【００１９】
ステレオカメラ装置１０４は、車両１０３が走行路１０１を走行している際に、車両前方の道路の路肩１１３と車両との位置関係、および、走行路面（以下、自動車が走行できる部分の路面を「走行路面」とする）と路外１１４の高低差や、自車が走行している面との不連続性を測定し、車両が路外に逸脱する危険があるかどうかと、路外が走行路面よりも低いかどうかを判定する。ここで、路外が走行路面よりも低い場合や、路面の不連続性がある場合の路肩を「路外が走行路面より低い路肩」と以下呼ぶこととする。
【００２０】
そして、ドライバへの路外逸脱の危険性に関する警報発信や、自動ブレーキ制御，自動ステアリング制御が必要かどうかの判定情報および路肩と車両の位置関係を、車両１０３に搭載されたＨＭＩ（ヒューマンマシンインタフェースHuman Machine Interface）や車両制御装置に伝達する。
【００２１】
ＨＭＩは、ドライバに危険事象を伝達することができる画面やスピーカ，振動装置等を持ち、路外への逸脱の危険を警告する必要がある場合は、画面，音声，ステアリングや座席の振動といった手段でドライバに警報を発信する。
【００２２】
また、車両制御装置は、ステレオカメラ装置１０４から受信した自動ブレーキ制御，自動ステアリング制御が必要かどうかの判定情報および路肩と車両の位置関係の情報に基づき、自動ブレーキ制御や自動ステアリング制御を行い、車両１０３が安全に走行できるように車両１０３の速度や進行方向を制御する。
【００２３】
次に、図１を用いて、車両１０３に搭載されたステレオカメラ装置１０４の詳細について説明する。
【００２４】
ステレオカメラ装置１０４は、左の撮像部１０５と右の撮像部１０６で撮像した車外環境（車両前方）の左右の画像情報に基づく３次元画像情報から車両１０６前方の対象物（立体物）の有無と車両１０３から対象物までの距離を算出する距離情報算出部１０７と、その対象物の有無と距離情報に基づいて車両前方の走行路面が左右の撮像部１０５，１０６で撮像した画面上のどの部分に相当するかを計算し、走行路面を検出する走行路面検出部１０８と、走行路面検出部１０８で求めた走行路面と路外との高低差を測定する高低差算出部１０９と、測定された高低差に基づいて走行路面と路外の境界である路肩が、路外が走行路面より低い位置にある場合の路肩か否かを判定する路肩判定部１１０と、その判定結果と、自車両の状態情報（自車速度，操舵角など）に基づいて、車両が路外へ逸脱する危険があるか否かを判定する車両逸脱判定部１１６と、を備える。
【００２５】
このステレオカメラ装置１０４を搭載した車両１０３は、車両逸脱判定部１１６の判定結果に基づき、ドライバに対して路外逸脱の危険の警報を発信するかどうかを判定する警報要否判定部１１２と、車両逸脱判定部１１６の判定結果に基づき、車両１０３の自動ブレーキ制御，自動ステアリング制御が必要かどうかを判定する自動制御判定部１１１と、を備える。
【００２６】
これらそれぞれの部分の詳細について、以下説明する。
【００２７】
左の撮像部１０５と右の撮像部１０６は、車両１０３の前方を撮像範囲とし、走行路１０１及び車両前方の対象物（立体物）を撮像対象とすることができるように設置する。左の撮像部１０５と右の撮像部１０６は、いずれもレンズとＣＣＤ（またはＣＭＯＳ撮像素子）から構成されており、上記撮像範囲をカバーできる仕様の部品を使用する。左の撮像部１０５と右の撮像部１０６とを結ぶ線は、走行路面に平行でかつ、車両の進行方向に垂直とする。左の撮像部１０５と右の撮像部１０６の間の距離ｄは、車両からどの程度の距離までを検知範囲とするかにより決定する。
【００２８】
次に、ステレオカメラ装置１０４の距離情報算出部１０７の機能の詳細に関して、図２のフローチャートを用いて説明する。
【００２９】
図２のフローチャートにおいて、まず、左画像入力処理２０１において、左の撮像部１０５で撮像した画像データを受信する。次に右画像入力処理２０２において、右の撮像部１０６で撮像した画像データを受信する。ここで、左画像入力処理２０１と右画像入力処理２０２を並列処理として同時に行っても良い。
【００３０】
次に対応点算出処理２０３において、左画像入力処理２０１と右画像入力処理２０２で取得した左右２枚の画像を比較して、同一物体を撮像している部分を特定する。すなわち、図９に示したように、走行路１０１上にある対象物である物体９０１をステレオカメラ装置１０４で撮像すると、左の撮像部１０５と右の撮像部１０６で撮像された画像は、それぞれ左画像９０２，右画像９０３のようになる。ここで、同一の物体９０１は、左画像９０２では９０４の位置に撮像され、右画像９０３では９０５の位置に撮像され、画像の横方向にｄ1のずれが発生するため、左画像９０２の９０４に撮像されている物体が、右画像９０３のどこに撮像されているかを特定する必要がある。
【００３１】
左画像９０２に撮像されている特定の物体が、右画像９０３のどこに撮像されているかを特定する方法を図１０を用いて説明する。
【００３２】
図１０において、左画像，右画像の座標系に関して、横方向をｕ軸１００１、縦方向をｖ軸１００２とする。まず、左画像９０２において、ｕｖ座標系で、（ｕ1，ｖ1），（ｕ1，ｖ2），（ｕ2，ｖ1），（ｕ2，ｖ2）で囲まれた矩形領域１００３を設定する。
【００３３】
次に右画像９０３において、（Ｕ，ｖ1），（Ｕ，ｖ2），（Ｕ＋（ｕ2−ｕ1），ｖ1），（Ｕ＋（ｕ2−ｕ1），ｖ2）で囲まれた領域を、Ｕの値をｕ＝０からｕ＝ｕ3まで増加させ、画像の右方向へこの矩形領域１００４まで走査させる。走査させる際、矩形領域１００３内の画像と、矩形領域１００４内の画像の相関値を比較して、左画像９０２の矩形領域１００３と相関性が最も高い右画像９０３の矩形領域１００５の位置（ｕ4，ｖ1），（ｕ4，ｖ2），（ｕ4＋（ｕ2−ｕ1），ｖ1），（ｕ4＋（ｕ2−ｕ1），ｖ2）に、矩形領域１００４に撮像されている物体と同一物体が撮像されているとする。ここで、矩形領域１００３内の各画素と、矩形領域１００５内の各画素が対応しているとする。ここで、右画像９０３の矩形領域１００４を走査した際、相関値がある一定以上の値になる矩形がない場合は、左画像９０２の矩形領域１００３に対応する右画像９０３内の対応点は無しとする。
【００３４】
次に、左画像９０２の矩形領域を１００６の位置にずらし、同様の処理を行う。このように左画像９０２の矩形領域を左画像９０２内全体に走査して、左画像９０２の全画素に対して、右画像９０３内の対応点を求める。対応点が見つからない場合は、対応点無しとする。
【００３５】
次に図２のフローチャートにおいて、距離算出処理２０４を行う。
【００３６】
距離算出処理２０４では、前述の対応点算出処理２０３で求めた、同一物体を撮像している左画像９０２と右画像９０３の対応点に関して、各対応点がステレオカメラ装置１０４からどの程度の距離の位置にあるかを算出する。
【００３７】
まず、図１１を用いて、左画像９０２と右画像９０３の対応点１１０１のカメラからの距離を算出する方法を説明する。
【００３８】
図１１において、左の撮像部１０５は、レンズ１１０２と撮像面１１０３から成る焦点距離ｆ，光軸１１０８のカメラであり、右撮像部１０６は、レンズ１１０４と撮像面１１０５から成る焦点距離ｆ，光軸１１０９のカメラである。カメラ前方にある点１１０１は、左の撮像部１０５の撮像面１１０３の点１１０６（光軸１１０８からｄ2の距離）へ撮像され、左画像９０２では点１１０６（光軸１１０８からｄ4画素の位置）となる。同様に、カメラ前方にある点１１０１は、右の撮像部１０６の撮像面１１０５の点１１０７（光軸１１０９からｄ3の距離）に撮像され、右画像９０３では点１１０７（光軸１１０９からｄ5画素の位置）となる。
【００３９】
このように同一の物体の点１１０１が、左画像９０２では光軸１１０８から左へｄ4画素の位置、右画像９０３では光軸１１０９から右へｄ5の位置に撮像され、ｄ4＋ｄ5画素の視差が発生する。このため、左の撮像部１０５の光軸１１０８と点１１０１との距離をｘとすると、以下の式により、ステレオカメラ装置１０４から点１１０１までの距離Ｄを求めることができる。
点１１０１と左の撮像部１０５との関係からｄ2：ｆ＝ｘ：Ｄ
点１１０１と右の撮像部１０６との関係からｄ3：ｆ＝（ｄ−ｘ）：Ｄ
【００４０】
従って、Ｄ＝ｆ×ｄ／（ｄ2＋ｄ3）＝ｆ×ｄ／｛（ｄ4＋ｄ5）×ａ｝となる。ここで、ａは撮像面１１０３，１１０５の撮像素子のサイズである。
【００４１】
以上述べた距離算出を、前述の対応点算出処理２０３で算出した対応点全てに関して実施する。その結果、カメラから対象物までの距離を表現した距離画像を求めることができる。
【００４２】
そして、図２のフローチャートの距離情報出力処理２０５では、この距離画像を出力して保存する。
【００４３】
最後に、図２のフローチャートの分岐２０６において、左の撮像部１０５及び右の撮像部１０６から画像入力信号がある場合は、処理２０１に戻る。分岐２０６において、左の撮像部１０５及び右の撮像部１０６から画像入力信号がない場合は、画像入力信号が距離情報算出部１０７に入力されるまで待機する。
【００４４】
次に図３のフローチャートを用いて、図１のステレオカメラ装置１０４の走行路面検出部１０８に関して、その処理の詳細を説明する。
【００４５】
図３のフローチャートにおいて、まず距離情報算出結果読込処理３０１において、距離情報算出部１０７の距離情報出力処理２０５で出力した距離画像を読み込む。
【００４６】
次に、３次元情報算出処理３０２において、距離情報算出結果読込処理３０１で読み込んだ距離画像を用いて、画面の各画素の３次元位置を求める。距離画像は図４に示すように、左の撮像部１０５で撮像した左画像９０２の各画素Ｐｋ（ｋ＝１〜Ｎ、Ｎは左画像９０２の画素数）４０２を撮像している対象４０３のステレオカメラ装置１０４からの距離ｄｋを、左画像９０２の全画素について算出したものである。この距離ｄｋを用いて、撮像する対象４０３の３次元座標値（ｘｋ，ｙｋ，ｚｋ）を計算する。ここで３次元座標は図５に示すように、車両１０３を上から見て、車両の進行方向をｚ軸５０１、ｚ軸５０１に垂直で車両の左右方向の軸をｘ軸５０２、ｚ軸に垂直で車両の上下方向の軸をｙ軸とする。
【００４７】
まず、図５において、撮像する対象４０３のｘ座標値であるｘｋの算出方法を説明する。図１４において、左の撮像部１０５は、レンズ１１０２と撮像面１１０３から成っている、焦点距離ｆ、光軸がｚ′軸１６０３のカメラであり、図５のｚ軸５０１と図１４のｚ′軸１６０３は図５のｘｚ平面と垂直な平面と同じ平面上にあり、ｚ軸５０１とｚ′軸１６０３の成す角度は、ステレオカメラ装置１０４の設置俯角αと一致する。
【００４８】
また、図１４の撮像面１１０３を含み、ｚ′軸１６０３に垂直な軸をｘ′軸１６０４とすると、図１４のｘ′軸１６０４と図５のｘ軸５０２とが一致する。ここで、図５の撮像する対象４０３が図１４の点１６０１とすると、点１６０１が撮像面１６０２の光軸１６０３からＸ2の位置に撮像されるとする。すなわち、撮像面１１０３において撮像素子サイズのｘ′軸１６０４方向のサイズをａとすると、点１６０１は、左画像９０２の光軸１６０３からＸ3＝Ｘ2／ａの画素の位置１６０５に撮像される。ここで、点１６０１のカメラからの距離をｄｋとすると、
Ｘ2：ｆ＝Ｘ1：Ｄ1
ここで、Ｄ1＝ｄｋ×cosθさらに、ここでθは、tanθ＝Ｘ2／ｆ
従って、Ｘ1＝Ｄ1×Ｘ2／ｆ＝Ｄ1×Ｘ3×ａ／ｆ
となる。ここで、Ｘ3は図４の４０３に相当する画素数になる。図４において、光軸位置に相当する画面中心線を４０４とした時、対象としている画素Ｐｋ４０２の画面中心線４０３からの画素数がＸ3に相当する。また、Ｘ2が図５のｘｋと同じである。
【００４９】
次に図５において、撮像する対象４０３のｙ座標値であるｙｋの算出方法を説明する。
【００５０】
図１５において、左の撮像部１０５のレンズ１１０２と、撮像面１１０３とを有し、焦点距離をｆ、光軸をｚ′軸１６０３とする。図１５のｚ軸５０１は、図５のｚ軸５０１と同じであり、ｚ軸５０１とｚ′軸１６０３の成す角度は、ステレオカメラ装置１０４の設置俯角αと一致する。また、図１５の撮像面１１０３を含み、ｚ′軸１６０３に垂直な軸をｙ′軸１７０２とする。ここで、図５の撮像する対象４０３が図１４の点１６０１とすると、点１６０１が撮像面１１０３の光軸１６０３からＹ2の位置に撮像されるとする。すなわち、撮像面１１０３において撮像素子サイズのｙ′軸１７０２方向のサイズをｂとすると、点１６０１は、左画像９０２の画面中央１７０１からＹ3＝Ｙ2／ａの画素の位置１６０５に撮像される。ここで、点１６０１のカメラからの距離をｄｋとすると、
Ｙｋ＝ｄｋ＊sin（θ＋α）（ここでθは、tanθ＝Ｙ2／ｆ）
最後に図５において、撮像する対象４０３のｚ座標値であるｚｋの算出方法を説明する。
【００５１】
図１５において、
ｚｋ＝ｄｋ＊cos（θ＋α）（ここでθは、tanθ＝Ｙ2／ｆ）
となる。
【００５２】
以上のように、図４の左画像９０２の全画素について、画素Ｐｋの３次元座標（ｘｋ，ｙｋ，ｚｋ）を計算する。
【００５３】
次に図３のフローチャートにおいて、走行路面式当てはめ処理３０３を行う。
【００５４】
走行路面式当てはめ処理３０３では、前処理である３次元情報算出処理３０２で求めた左画像９０２の各画素のうち、走行路面である可能性が高い画素を抽出する。
【００５５】
図６において、左画像９０２が左の撮像部１０５で撮像した画像であり、走行路１０１が左撮像に撮像されている道路である。また図６における物体６０１は、車両の前方を走行する先行車等の走行路面を隠している物体であり、物体６０１のような物体が存在する可能性が低い、車両に近い部分である６０２の点線で示した部分を、走行路面式当てはめに使用する画素として抽出する。
【００５６】
ここで、図５で示した座標系において、走行路面式をａｘ＋ｂｙ＋ｃｚ＋ｄ＝０、上記で抽出した画素の３次元座標を、Ｐｉ（ｘｉ，ｙｉ，ｚｉ）（ｉ＝０〜Ｊ、Ｊは抽出した画素の個数）とすると、Ｐｉを満たすパラメータａ，ｂ，ｃを算出することにより、走行路面式を求めることができる。
【００５７】
次に図１のステレオカメラ装置１０４の高低差算出部１０９にて行われる処理について説明する。
【００５８】
高低差算出部１０９では、走行路面検出部１０８の図３の処理フローの中で算出した左画像９０２の各画素の３次元位置と走行路面式を比較して、走行路面よりも低い部分にある画素を抽出する。
【００５９】
図７は、図５で定めた座標系を立体的に見た図であり、図７の走行路面７０１が路面式ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０で表現した走行路面である。ここで、左画像９０２のある画素Ｐｋの３次元座標を（ｘｋ，ｙｋ，ｚｋ）とした時、走行路面式ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０にｘｋ、ｚｋを代入した時のｚの値ｚｋ′を求める。そして、ｚｋ′とｚｋを比較し、ｚｋ＞ｚｋ′の時、Ｐｋは走行路面式より高い位置にある（物体７０３の位置）と判定し、反対にｚｋ＜ｚｋ′の時、Ｐｋは走行路面式より低い位置にある（物体７０２の位置）と判定する。
【００６０】
そして、走行路面式よりも低い位置にあると判定されたＰｋ群をPlowとする。Plowの各画素に左画像上の座標値（ｕｋ，ｖｋ）とPlowの３次元位置（ｘｋ，ｙｋ，ｚｋ）を付与して、Plowを高低差算出部１０９の出力とする。ここで、左画像上の座標値（ｕｋ，ｙｋ）は、図１０に示す座標系であり、３次元位置（ｘｋ，ｙｋ，ｚｋ）は図７に示す座標系である。
【００６１】
次に図１のステレオカメラ装置１０４の路肩判定部１１０にて行われる処理について説明する。
【００６２】
路肩判定部１１０では、高低差算出部１０９にて抽出した走行路面式よりも低い位置にあると判定されたＰｋ群Plowのクラスタリングを行う。ここでクラスタリングとは、各Plowが持っている３次元位置（ｘｋ，ｙｋ，ｚｋ）を比較し、各ｘｋ，ｙｋ，ｚｋの値が近い物どうしをグルーピングし、グループの要素がある数Ｎを越えたグループを走行路面よりも低い路外群Plowgroupとして抽出する。図８は、左画像９０２上で走行路面よりも低い路外群Plowgroupとして抽出された画素のグループを示しており、点線で囲った部分８０１が１つのグループである。
【００６３】
次に、Plowgroupとして抽出された画素のグループに関して、左画像９０２上でその輪郭線８０２を求める。輪郭線を求める際には、Plowgroupの各画素が持つ座標値（ｕｋ，ｖｋ）を利用する。まず、同じｖｋの値を持つ画素を抽出して、その抽出した画素群の中で最小のｕｋと最大のｕｋを持つ画素を輪郭要素として抽出する。そして、ｖｋの値を走査してPlowgroup内の全て画素に関して、輪郭要素を抽出し、抽出した輪郭要素群をPlowgroupの輪郭線８０２とする。
【００６４】
次に求めた輪郭線８０２の中から、路外が走行路面より低い場合の路肩候補となる部分を抽出する。
【００６５】
図１２において、輪郭線８０２が左画像９０２で抽出した輪郭である。まず、輪郭線８０２が左画像９０２の左半分に存在する場合、輪郭として抽出した画素で同じｖｋの値を持つ画素がある場合、ｕｋの値が大きい方の画素を路外が走行路面より低い路肩候補の画素として抽出する。図１２の点線で囲った部分の画素１２０１がそれに相当する。一方、輪郭線８０２が左画像９０２の右半分に存在する場合、輪郭として抽出した画素で同じｖｋの値を持つ画素がある場合、ｕｋの値が小さい方の画素を路外が走行路面より低い場合の路肩候補の画素として抽出する。
【００６６】
また図１に示したように、路外が走行路面より低い場合の路肩は不連続性算出部１１５において行われる処理においても検出可能である。ここで不連続性とは、自車の周辺の路面を複数の多角形で近似した際に、それぞれの多角形の連続性を判定した場合に、ある一定閾値以上に不連続な場合を指す。
【００６７】
図１３に示すように距離算出部１０７で算出された距離画像に対して、自車周辺のデータに関して、複数の多角形の領域で近似する（複数の画像領域に分割する）。
【００６８】
図１３において、領域１３０１〜１３０４が走行路面１０１の部分に対して、４つの四角形パッチで近似、領域１３０５〜１３０８が路外１１４の部分に対して、４つの四角形パッチで近似したことを示している。四角形パッチは、三角形パッチでも構わない。
【００６９】
ここで、領域１３０１〜１３０８の全ての四角形に関して、隣接する四角形との連続性を判定する。連続性を判定するには、隣り合う四角形について、お互いに最も近い辺どうしの距離を算出し、算出した距離がある一定閾値以内の場合連続と判定し、逆にある一定閾値以上の場合に不連続と判定する。
【００７０】
図１３の例の場合、四角形の領域１３０２の左側の辺と、四角形の領域１３０７の右側の辺との距離を算出した場合に不連続と判定され、１１３で示した部分が路肩と判定できる。この際、四角形パッチの上下関係により、路外１１４が走行路１０１面より高い場合と、路外１１４が走行路１０１面より低い場合がある。本発明においては、路外が走行路面より低いと判定された場合に、路肩判定部１１０において、路外が走行路面より低い場合の路肩が存在すると判定する。
【００７１】
次に、車両１０６に搭載された車両逸脱判定部１１６で行われる処理について説明する。
【００７２】
車両逸脱判定部１１６では、ステレオカメラ装置１０４の路肩判定部１１０から判定結果を受信する。受信する判定結果の内容は、車両前方の走行路１０１の左右に路外１１４が走行路１０１面より低い場合の路肩１１３があるかどうかの判定と、路外１１４が走行路面より低い場合の路肩１１３がある場合の路肩１１３と車両１０３との相対位置である。
【００７３】
車両逸脱判定部１１６では、受信した路外１１４が走行路面より低い場合の路肩１１３との相対位置と自車速度、自車進行方向（操舵角）を考慮して、路外逸脱の危険があるかどうかを判定し、結果を、自動制御判定部１１１へ送る。
【００７４】
自動制御判定部１１１では、路外逸脱を防止するための自動操舵制御や、自動ブレーキ制御が必要であるか否かと、必要な場合、制御を行う度合いを判定し、車両制御装置に制御の指令を送り、操舵制御、ブレーキ制御を実施する。
【００７５】
また、ステレオカメラ装置１０４は、路外１１４が走行路面より低い場合の路肩１１３のみではなく、路肩１１３の白線やガードレール等を検出する機能も有しており、特許文献１等の手法により実現可能であり、検出した情報に基づき同様に車両逸脱を防止する自動制御が可能である。この際、本発明の路外が走行路面より低い場合の路肩を検出した場合は、白線やガードレールを検出した場合よりも、逸脱防止のための操舵制御、ブレーキ制御を強くする。
【００７６】
また、警報要否判定部１１２では、車両逸脱判定部１１６から受信した判定結果に基づき、路外１１４が走行路面より低い場合の路肩１１３との相対位置と自車速度、自車進行方向（操舵角）を考慮して、ドライバへ路外逸脱に関する警告をしたほうが良いか否かを判定し、ＨＭＩ（ヒューマンマシンインタフェース）にドライバに警告を発報するための指令を送る。この際同様に、本発明の路外が走行路面より低い場合の路肩を検出した場合は、白線やガードレールを検出した場合よりも、逸脱防止の警告の度合いを強くする。
【００７７】
また本発明は、図１のステレオカメラ装置１０４をレーザレンジファイダに置き換えることが可能である。レーザレンジファインダは、周囲の三次元位置情報を取得することが可能であり、距離情報算出部１０７と同様の出力を得ることができ、路外が走行路面より低い路肩を検出することが可能である。
【符号の説明】
【００７８】
１０１ 走行路
１０３ 車両
１０４ ステレオカメラ装置
１０５，１０６ 撮像部
１０８ 走行路面検出部
１０９ 高低差算出部
１１０ 路肩判定部
１１１ 自動制御判定部
１１２ 警報要否判定部
１１３ 路肩
１１４ 路外
１１５ 不連続性算出部
１１６ 車両逸脱判定部
【技術分野】
【０００１】
本発明は、車外の画像情報から路肩を検出する路肩検出装置及びそれを用いた車両に関する。
【背景技術】
【０００２】
車両の安全な走行を実現するために、車両の周囲の危険な事象を検出して、検出した危険な事象を回避するために、車両の操舵，アクセル，ブレーキを自動制御する装置に関して研究開発が行われており、一部の車両には既に搭載されている。その中でも、車両に搭載したセンサで白線や路肩を検出して、車両が車線外や路外に逸脱する危険がある場合に、ドライバに警報を発信するシステムや、自動ブレーキ制御や自動ステアリング制御で車両の速度や進行方向を制御するシステムは、路外逸脱の事故を防止する上で有効である。
【０００３】
車線逸脱を防止するには、車両に搭載した単眼カメラやステレオカメラを用いて白線を検出し、検出した白線と車両との位置関係から、車両が車線外に逸脱している場合にドライバに警報を発信するシステムが実用化されている。また、同じく、白線を車両に搭載したカメラで検出し、検出した白線と車両との位置関係から、車両が車線外に逸脱しそうな場合に車両のステアリング制御を行うシステムに関しては、多数特許文献がある。
【０００４】
また、ガードレール等の路肩の立体物をステレオカメラで検出する装置が特許文献１に示されている。このシステムを利用することで、白線がない場合でも路肩の立体物に衝突しそうな場合に、ドライバへの警報やステアリング制御を行うことができる。
【０００５】
さらには、特許文献２には、車両に搭載した単眼カメラを用いて路肩の側溝を検出する装置が記載されている。ここでは、単眼カメラの画像の輝度情報を用いて、路面よりも低い位置にある部分と、路面上の動きが異なることを利用して、側溝を検出している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−５９３２号公報
【特許文献２】特開２００９−５３８１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
車両に搭載したセンサで車両前方の走行路の路肩を検出して、車線逸脱警報や車線逸脱防止制御を行う場合、白線を検出するシステムの場合は、道路に白線がない場合に路外に逸脱する事故を防止することができない。
【０００８】
また特許文献１のシステムの場合、白線がない場合でも、路肩にガードレール等の立体物があれば路外へ逸脱する事故に対応できるが、路肩に白線も立体物もない場合は対応できない。
【０００９】
また、特許文献２の場合、路肩に白線や立体物がなく、路面より低い部分によって路肩が形成されている場合にも対応できるが、単眼カメラの輝度情報を利用しているため、照明変動がる実環境においては適用が難しい。
【００１０】
本発明の目的は、走行路面と路外との境界である路肩に白線やガードレール等の立体物がなくても、画像情報から路肩を検出する路肩検出装置を提供することである。
【課題を解決するための手段】
【００１１】
上記目的を達成するために本発明は、入力された車外環境の三次元画像情報から対象物の有無及び自車両から対象物までの距離を算出する距離情報算出部と、算出された距離に基づく距離画像から自車両が走行する走行路面を検出する走行路面検出部と、検出された走行路面と路外との高低差を測定する高低差算出部と、測定された高低差に基づいて、走行路面と路外との境界である路肩が、走行路面より低い路外がある場合の路肩か否か判定する路肩判定部と、を有する構成とする。
【００１２】
また、入力された車外環境の三次元画像情報から対象物の有無及び自車両から対象物までの距離を算出する距離情報算出部と、算出された距離に基づく距離画像を複数の画像領域に分離し、複数の画像領域の各々の画像領域間の距離が予め定めた閾値以上か否かを算出し、予め定めた閾値以上の場合を不連続であるとして路肩と判定する不連続性算出部と、算出された路肩に基づいて、走行路面と路外との境界である路肩が、走行路面より低い路外がある場合の路肩か否か判定する路肩判定部と、を有する構成とする。
【発明の効果】
【００１３】
走行路面と路外との境界である路肩に白線やガードレール等の立体物がなくても、車外の画像情報から路肩を検出する路肩検出装置を提供できることである。
【図面の簡単な説明】
【００１４】
【図１】本発明に係る路肩検出装置の概要を説明する図である。
【図２】本発明の距離情報算出部の処理フローを示す図である。
【図３】本発明の走行路面算出部の処理フローを示す図である。
【図４】ステレオカメラで３次元位置を求める方法を説明する図である。
【図５】ステレオカメラで３次元位置を求める方法を説明する図である。
【図６】ステレオカメラで走行路面を求める方法を説明する図である。
【図７】走行路面よりも低い路外を検出する方法を説明する図である。
【図８】路外が走行路面より低い場合の路肩を検出する方法を説明する図である。
【図９】ステレオカメラにおける左右画像の対応点に関して説明する図である。
【図１０】左右画像の対応点の求め方を説明する図である。
【図１１】ステレオカメラにおいて視差の算出の仕方を説明する図である。
【図１２】路外が走行路面よりも低い場合の路肩を検出する方法を説明する図である。
【図１３】路外が走行路面よりも低い場合の路肩を検出する方法を説明する図である。
【図１４】ステレオカメラで３次元位置を求める方法を説明する図である。
【図１５】ステレオカメラで３次元位置を求める方法を説明する図である。
【発明を実施するための形態】
【００１５】
以下図面を用いて各実施例を説明する。
【実施例１】
【００１６】
ここでは、本発明を、車両に搭載されたステレオカメラの映像を用いて、車両前方の走行路の路肩（以下、自動車が走行できる部分と走行できない部分の境界を「路肩」とする）を検出し、車両が路外（以下、自動車が走行できない領域を「路外」とする）に逸脱する可能性がある場合に、ドライバへの警報や逸脱を防止する制御を行うシステムに適用した場合の実施の形態を説明する。なお、本発明では車外の環境情報を取得する手段としてステレオカメラを用いたが、３次元情報を計測することができるものであれば、何でも良い。例えば、単眼カメラ（撮像素子）を複数用いても適用できる。
【００１７】
まず図１を用いて本発明の路肩検出装置の概要を説明する。
【００１８】
図１において、車両１０３に搭載されたステレオカメラ装置１０４を設け、車両１０３の前方を撮像範囲とし、車両１０３前方の立体物の３次元情報を計測することができる。ステレオカメラ装置１０４の詳細は後述する。
【００１９】
ステレオカメラ装置１０４は、車両１０３が走行路１０１を走行している際に、車両前方の道路の路肩１１３と車両との位置関係、および、走行路面（以下、自動車が走行できる部分の路面を「走行路面」とする）と路外１１４の高低差や、自車が走行している面との不連続性を測定し、車両が路外に逸脱する危険があるかどうかと、路外が走行路面よりも低いかどうかを判定する。ここで、路外が走行路面よりも低い場合や、路面の不連続性がある場合の路肩を「路外が走行路面より低い路肩」と以下呼ぶこととする。
【００２０】
そして、ドライバへの路外逸脱の危険性に関する警報発信や、自動ブレーキ制御，自動ステアリング制御が必要かどうかの判定情報および路肩と車両の位置関係を、車両１０３に搭載されたＨＭＩ（ヒューマンマシンインタフェースHuman Machine Interface）や車両制御装置に伝達する。
【００２１】
ＨＭＩは、ドライバに危険事象を伝達することができる画面やスピーカ，振動装置等を持ち、路外への逸脱の危険を警告する必要がある場合は、画面，音声，ステアリングや座席の振動といった手段でドライバに警報を発信する。
【００２２】
また、車両制御装置は、ステレオカメラ装置１０４から受信した自動ブレーキ制御，自動ステアリング制御が必要かどうかの判定情報および路肩と車両の位置関係の情報に基づき、自動ブレーキ制御や自動ステアリング制御を行い、車両１０３が安全に走行できるように車両１０３の速度や進行方向を制御する。
【００２３】
次に、図１を用いて、車両１０３に搭載されたステレオカメラ装置１０４の詳細について説明する。
【００２４】
ステレオカメラ装置１０４は、左の撮像部１０５と右の撮像部１０６で撮像した車外環境（車両前方）の左右の画像情報に基づく３次元画像情報から車両１０６前方の対象物（立体物）の有無と車両１０３から対象物までの距離を算出する距離情報算出部１０７と、その対象物の有無と距離情報に基づいて車両前方の走行路面が左右の撮像部１０５，１０６で撮像した画面上のどの部分に相当するかを計算し、走行路面を検出する走行路面検出部１０８と、走行路面検出部１０８で求めた走行路面と路外との高低差を測定する高低差算出部１０９と、測定された高低差に基づいて走行路面と路外の境界である路肩が、路外が走行路面より低い位置にある場合の路肩か否かを判定する路肩判定部１１０と、その判定結果と、自車両の状態情報（自車速度，操舵角など）に基づいて、車両が路外へ逸脱する危険があるか否かを判定する車両逸脱判定部１１６と、を備える。
【００２５】
このステレオカメラ装置１０４を搭載した車両１０３は、車両逸脱判定部１１６の判定結果に基づき、ドライバに対して路外逸脱の危険の警報を発信するかどうかを判定する警報要否判定部１１２と、車両逸脱判定部１１６の判定結果に基づき、車両１０３の自動ブレーキ制御，自動ステアリング制御が必要かどうかを判定する自動制御判定部１１１と、を備える。
【００２６】
これらそれぞれの部分の詳細について、以下説明する。
【００２７】
左の撮像部１０５と右の撮像部１０６は、車両１０３の前方を撮像範囲とし、走行路１０１及び車両前方の対象物（立体物）を撮像対象とすることができるように設置する。左の撮像部１０５と右の撮像部１０６は、いずれもレンズとＣＣＤ（またはＣＭＯＳ撮像素子）から構成されており、上記撮像範囲をカバーできる仕様の部品を使用する。左の撮像部１０５と右の撮像部１０６とを結ぶ線は、走行路面に平行でかつ、車両の進行方向に垂直とする。左の撮像部１０５と右の撮像部１０６の間の距離ｄは、車両からどの程度の距離までを検知範囲とするかにより決定する。
【００２８】
次に、ステレオカメラ装置１０４の距離情報算出部１０７の機能の詳細に関して、図２のフローチャートを用いて説明する。
【００２９】
図２のフローチャートにおいて、まず、左画像入力処理２０１において、左の撮像部１０５で撮像した画像データを受信する。次に右画像入力処理２０２において、右の撮像部１０６で撮像した画像データを受信する。ここで、左画像入力処理２０１と右画像入力処理２０２を並列処理として同時に行っても良い。
【００３０】
次に対応点算出処理２０３において、左画像入力処理２０１と右画像入力処理２０２で取得した左右２枚の画像を比較して、同一物体を撮像している部分を特定する。すなわち、図９に示したように、走行路１０１上にある対象物である物体９０１をステレオカメラ装置１０４で撮像すると、左の撮像部１０５と右の撮像部１０６で撮像された画像は、それぞれ左画像９０２，右画像９０３のようになる。ここで、同一の物体９０１は、左画像９０２では９０４の位置に撮像され、右画像９０３では９０５の位置に撮像され、画像の横方向にｄ1のずれが発生するため、左画像９０２の９０４に撮像されている物体が、右画像９０３のどこに撮像されているかを特定する必要がある。
【００３１】
左画像９０２に撮像されている特定の物体が、右画像９０３のどこに撮像されているかを特定する方法を図１０を用いて説明する。
【００３２】
図１０において、左画像，右画像の座標系に関して、横方向をｕ軸１００１、縦方向をｖ軸１００２とする。まず、左画像９０２において、ｕｖ座標系で、（ｕ1，ｖ1），（ｕ1，ｖ2），（ｕ2，ｖ1），（ｕ2，ｖ2）で囲まれた矩形領域１００３を設定する。
【００３３】
次に右画像９０３において、（Ｕ，ｖ1），（Ｕ，ｖ2），（Ｕ＋（ｕ2−ｕ1），ｖ1），（Ｕ＋（ｕ2−ｕ1），ｖ2）で囲まれた領域を、Ｕの値をｕ＝０からｕ＝ｕ3まで増加させ、画像の右方向へこの矩形領域１００４まで走査させる。走査させる際、矩形領域１００３内の画像と、矩形領域１００４内の画像の相関値を比較して、左画像９０２の矩形領域１００３と相関性が最も高い右画像９０３の矩形領域１００５の位置（ｕ4，ｖ1），（ｕ4，ｖ2），（ｕ4＋（ｕ2−ｕ1），ｖ1），（ｕ4＋（ｕ2−ｕ1），ｖ2）に、矩形領域１００４に撮像されている物体と同一物体が撮像されているとする。ここで、矩形領域１００３内の各画素と、矩形領域１００５内の各画素が対応しているとする。ここで、右画像９０３の矩形領域１００４を走査した際、相関値がある一定以上の値になる矩形がない場合は、左画像９０２の矩形領域１００３に対応する右画像９０３内の対応点は無しとする。
【００３４】
次に、左画像９０２の矩形領域を１００６の位置にずらし、同様の処理を行う。このように左画像９０２の矩形領域を左画像９０２内全体に走査して、左画像９０２の全画素に対して、右画像９０３内の対応点を求める。対応点が見つからない場合は、対応点無しとする。
【００３５】
次に図２のフローチャートにおいて、距離算出処理２０４を行う。
【００３６】
距離算出処理２０４では、前述の対応点算出処理２０３で求めた、同一物体を撮像している左画像９０２と右画像９０３の対応点に関して、各対応点がステレオカメラ装置１０４からどの程度の距離の位置にあるかを算出する。
【００３７】
まず、図１１を用いて、左画像９０２と右画像９０３の対応点１１０１のカメラからの距離を算出する方法を説明する。
【００３８】
図１１において、左の撮像部１０５は、レンズ１１０２と撮像面１１０３から成る焦点距離ｆ，光軸１１０８のカメラであり、右撮像部１０６は、レンズ１１０４と撮像面１１０５から成る焦点距離ｆ，光軸１１０９のカメラである。カメラ前方にある点１１０１は、左の撮像部１０５の撮像面１１０３の点１１０６（光軸１１０８からｄ2の距離）へ撮像され、左画像９０２では点１１０６（光軸１１０８からｄ4画素の位置）となる。同様に、カメラ前方にある点１１０１は、右の撮像部１０６の撮像面１１０５の点１１０７（光軸１１０９からｄ3の距離）に撮像され、右画像９０３では点１１０７（光軸１１０９からｄ5画素の位置）となる。
【００３９】
このように同一の物体の点１１０１が、左画像９０２では光軸１１０８から左へｄ4画素の位置、右画像９０３では光軸１１０９から右へｄ5の位置に撮像され、ｄ4＋ｄ5画素の視差が発生する。このため、左の撮像部１０５の光軸１１０８と点１１０１との距離をｘとすると、以下の式により、ステレオカメラ装置１０４から点１１０１までの距離Ｄを求めることができる。
点１１０１と左の撮像部１０５との関係からｄ2：ｆ＝ｘ：Ｄ
点１１０１と右の撮像部１０６との関係からｄ3：ｆ＝（ｄ−ｘ）：Ｄ
【００４０】
従って、Ｄ＝ｆ×ｄ／（ｄ2＋ｄ3）＝ｆ×ｄ／｛（ｄ4＋ｄ5）×ａ｝となる。ここで、ａは撮像面１１０３，１１０５の撮像素子のサイズである。
【００４１】
以上述べた距離算出を、前述の対応点算出処理２０３で算出した対応点全てに関して実施する。その結果、カメラから対象物までの距離を表現した距離画像を求めることができる。
【００４２】
そして、図２のフローチャートの距離情報出力処理２０５では、この距離画像を出力して保存する。
【００４３】
最後に、図２のフローチャートの分岐２０６において、左の撮像部１０５及び右の撮像部１０６から画像入力信号がある場合は、処理２０１に戻る。分岐２０６において、左の撮像部１０５及び右の撮像部１０６から画像入力信号がない場合は、画像入力信号が距離情報算出部１０７に入力されるまで待機する。
【００４４】
次に図３のフローチャートを用いて、図１のステレオカメラ装置１０４の走行路面検出部１０８に関して、その処理の詳細を説明する。
【００４５】
図３のフローチャートにおいて、まず距離情報算出結果読込処理３０１において、距離情報算出部１０７の距離情報出力処理２０５で出力した距離画像を読み込む。
【００４６】
次に、３次元情報算出処理３０２において、距離情報算出結果読込処理３０１で読み込んだ距離画像を用いて、画面の各画素の３次元位置を求める。距離画像は図４に示すように、左の撮像部１０５で撮像した左画像９０２の各画素Ｐｋ（ｋ＝１〜Ｎ、Ｎは左画像９０２の画素数）４０２を撮像している対象４０３のステレオカメラ装置１０４からの距離ｄｋを、左画像９０２の全画素について算出したものである。この距離ｄｋを用いて、撮像する対象４０３の３次元座標値（ｘｋ，ｙｋ，ｚｋ）を計算する。ここで３次元座標は図５に示すように、車両１０３を上から見て、車両の進行方向をｚ軸５０１、ｚ軸５０１に垂直で車両の左右方向の軸をｘ軸５０２、ｚ軸に垂直で車両の上下方向の軸をｙ軸とする。
【００４７】
まず、図５において、撮像する対象４０３のｘ座標値であるｘｋの算出方法を説明する。図１４において、左の撮像部１０５は、レンズ１１０２と撮像面１１０３から成っている、焦点距離ｆ、光軸がｚ′軸１６０３のカメラであり、図５のｚ軸５０１と図１４のｚ′軸１６０３は図５のｘｚ平面と垂直な平面と同じ平面上にあり、ｚ軸５０１とｚ′軸１６０３の成す角度は、ステレオカメラ装置１０４の設置俯角αと一致する。
【００４８】
また、図１４の撮像面１１０３を含み、ｚ′軸１６０３に垂直な軸をｘ′軸１６０４とすると、図１４のｘ′軸１６０４と図５のｘ軸５０２とが一致する。ここで、図５の撮像する対象４０３が図１４の点１６０１とすると、点１６０１が撮像面１６０２の光軸１６０３からＸ2の位置に撮像されるとする。すなわち、撮像面１１０３において撮像素子サイズのｘ′軸１６０４方向のサイズをａとすると、点１６０１は、左画像９０２の光軸１６０３からＸ3＝Ｘ2／ａの画素の位置１６０５に撮像される。ここで、点１６０１のカメラからの距離をｄｋとすると、
Ｘ2：ｆ＝Ｘ1：Ｄ1
ここで、Ｄ1＝ｄｋ×cosθさらに、ここでθは、tanθ＝Ｘ2／ｆ
従って、Ｘ1＝Ｄ1×Ｘ2／ｆ＝Ｄ1×Ｘ3×ａ／ｆ
となる。ここで、Ｘ3は図４の４０３に相当する画素数になる。図４において、光軸位置に相当する画面中心線を４０４とした時、対象としている画素Ｐｋ４０２の画面中心線４０３からの画素数がＸ3に相当する。また、Ｘ2が図５のｘｋと同じである。
【００４９】
次に図５において、撮像する対象４０３のｙ座標値であるｙｋの算出方法を説明する。
【００５０】
図１５において、左の撮像部１０５のレンズ１１０２と、撮像面１１０３とを有し、焦点距離をｆ、光軸をｚ′軸１６０３とする。図１５のｚ軸５０１は、図５のｚ軸５０１と同じであり、ｚ軸５０１とｚ′軸１６０３の成す角度は、ステレオカメラ装置１０４の設置俯角αと一致する。また、図１５の撮像面１１０３を含み、ｚ′軸１６０３に垂直な軸をｙ′軸１７０２とする。ここで、図５の撮像する対象４０３が図１４の点１６０１とすると、点１６０１が撮像面１１０３の光軸１６０３からＹ2の位置に撮像されるとする。すなわち、撮像面１１０３において撮像素子サイズのｙ′軸１７０２方向のサイズをｂとすると、点１６０１は、左画像９０２の画面中央１７０１からＹ3＝Ｙ2／ａの画素の位置１６０５に撮像される。ここで、点１６０１のカメラからの距離をｄｋとすると、
Ｙｋ＝ｄｋ＊sin（θ＋α）（ここでθは、tanθ＝Ｙ2／ｆ）
最後に図５において、撮像する対象４０３のｚ座標値であるｚｋの算出方法を説明する。
【００５１】
図１５において、
ｚｋ＝ｄｋ＊cos（θ＋α）（ここでθは、tanθ＝Ｙ2／ｆ）
となる。
【００５２】
以上のように、図４の左画像９０２の全画素について、画素Ｐｋの３次元座標（ｘｋ，ｙｋ，ｚｋ）を計算する。
【００５３】
次に図３のフローチャートにおいて、走行路面式当てはめ処理３０３を行う。
【００５４】
走行路面式当てはめ処理３０３では、前処理である３次元情報算出処理３０２で求めた左画像９０２の各画素のうち、走行路面である可能性が高い画素を抽出する。
【００５５】
図６において、左画像９０２が左の撮像部１０５で撮像した画像であり、走行路１０１が左撮像に撮像されている道路である。また図６における物体６０１は、車両の前方を走行する先行車等の走行路面を隠している物体であり、物体６０１のような物体が存在する可能性が低い、車両に近い部分である６０２の点線で示した部分を、走行路面式当てはめに使用する画素として抽出する。
【００５６】
ここで、図５で示した座標系において、走行路面式をａｘ＋ｂｙ＋ｃｚ＋ｄ＝０、上記で抽出した画素の３次元座標を、Ｐｉ（ｘｉ，ｙｉ，ｚｉ）（ｉ＝０〜Ｊ、Ｊは抽出した画素の個数）とすると、Ｐｉを満たすパラメータａ，ｂ，ｃを算出することにより、走行路面式を求めることができる。
【００５７】
次に図１のステレオカメラ装置１０４の高低差算出部１０９にて行われる処理について説明する。
【００５８】
高低差算出部１０９では、走行路面検出部１０８の図３の処理フローの中で算出した左画像９０２の各画素の３次元位置と走行路面式を比較して、走行路面よりも低い部分にある画素を抽出する。
【００５９】
図７は、図５で定めた座標系を立体的に見た図であり、図７の走行路面７０１が路面式ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０で表現した走行路面である。ここで、左画像９０２のある画素Ｐｋの３次元座標を（ｘｋ，ｙｋ，ｚｋ）とした時、走行路面式ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０にｘｋ、ｚｋを代入した時のｚの値ｚｋ′を求める。そして、ｚｋ′とｚｋを比較し、ｚｋ＞ｚｋ′の時、Ｐｋは走行路面式より高い位置にある（物体７０３の位置）と判定し、反対にｚｋ＜ｚｋ′の時、Ｐｋは走行路面式より低い位置にある（物体７０２の位置）と判定する。
【００６０】
そして、走行路面式よりも低い位置にあると判定されたＰｋ群をPlowとする。Plowの各画素に左画像上の座標値（ｕｋ，ｖｋ）とPlowの３次元位置（ｘｋ，ｙｋ，ｚｋ）を付与して、Plowを高低差算出部１０９の出力とする。ここで、左画像上の座標値（ｕｋ，ｙｋ）は、図１０に示す座標系であり、３次元位置（ｘｋ，ｙｋ，ｚｋ）は図７に示す座標系である。
【００６１】
次に図１のステレオカメラ装置１０４の路肩判定部１１０にて行われる処理について説明する。
【００６２】
路肩判定部１１０では、高低差算出部１０９にて抽出した走行路面式よりも低い位置にあると判定されたＰｋ群Plowのクラスタリングを行う。ここでクラスタリングとは、各Plowが持っている３次元位置（ｘｋ，ｙｋ，ｚｋ）を比較し、各ｘｋ，ｙｋ，ｚｋの値が近い物どうしをグルーピングし、グループの要素がある数Ｎを越えたグループを走行路面よりも低い路外群Plowgroupとして抽出する。図８は、左画像９０２上で走行路面よりも低い路外群Plowgroupとして抽出された画素のグループを示しており、点線で囲った部分８０１が１つのグループである。
【００６３】
次に、Plowgroupとして抽出された画素のグループに関して、左画像９０２上でその輪郭線８０２を求める。輪郭線を求める際には、Plowgroupの各画素が持つ座標値（ｕｋ，ｖｋ）を利用する。まず、同じｖｋの値を持つ画素を抽出して、その抽出した画素群の中で最小のｕｋと最大のｕｋを持つ画素を輪郭要素として抽出する。そして、ｖｋの値を走査してPlowgroup内の全て画素に関して、輪郭要素を抽出し、抽出した輪郭要素群をPlowgroupの輪郭線８０２とする。
【００６４】
次に求めた輪郭線８０２の中から、路外が走行路面より低い場合の路肩候補となる部分を抽出する。
【００６５】
図１２において、輪郭線８０２が左画像９０２で抽出した輪郭である。まず、輪郭線８０２が左画像９０２の左半分に存在する場合、輪郭として抽出した画素で同じｖｋの値を持つ画素がある場合、ｕｋの値が大きい方の画素を路外が走行路面より低い路肩候補の画素として抽出する。図１２の点線で囲った部分の画素１２０１がそれに相当する。一方、輪郭線８０２が左画像９０２の右半分に存在する場合、輪郭として抽出した画素で同じｖｋの値を持つ画素がある場合、ｕｋの値が小さい方の画素を路外が走行路面より低い場合の路肩候補の画素として抽出する。
【００６６】
また図１に示したように、路外が走行路面より低い場合の路肩は不連続性算出部１１５において行われる処理においても検出可能である。ここで不連続性とは、自車の周辺の路面を複数の多角形で近似した際に、それぞれの多角形の連続性を判定した場合に、ある一定閾値以上に不連続な場合を指す。
【００６７】
図１３に示すように距離算出部１０７で算出された距離画像に対して、自車周辺のデータに関して、複数の多角形の領域で近似する（複数の画像領域に分割する）。
【００６８】
図１３において、領域１３０１〜１３０４が走行路面１０１の部分に対して、４つの四角形パッチで近似、領域１３０５〜１３０８が路外１１４の部分に対して、４つの四角形パッチで近似したことを示している。四角形パッチは、三角形パッチでも構わない。
【００６９】
ここで、領域１３０１〜１３０８の全ての四角形に関して、隣接する四角形との連続性を判定する。連続性を判定するには、隣り合う四角形について、お互いに最も近い辺どうしの距離を算出し、算出した距離がある一定閾値以内の場合連続と判定し、逆にある一定閾値以上の場合に不連続と判定する。
【００７０】
図１３の例の場合、四角形の領域１３０２の左側の辺と、四角形の領域１３０７の右側の辺との距離を算出した場合に不連続と判定され、１１３で示した部分が路肩と判定できる。この際、四角形パッチの上下関係により、路外１１４が走行路１０１面より高い場合と、路外１１４が走行路１０１面より低い場合がある。本発明においては、路外が走行路面より低いと判定された場合に、路肩判定部１１０において、路外が走行路面より低い場合の路肩が存在すると判定する。
【００７１】
次に、車両１０６に搭載された車両逸脱判定部１１６で行われる処理について説明する。
【００７２】
車両逸脱判定部１１６では、ステレオカメラ装置１０４の路肩判定部１１０から判定結果を受信する。受信する判定結果の内容は、車両前方の走行路１０１の左右に路外１１４が走行路１０１面より低い場合の路肩１１３があるかどうかの判定と、路外１１４が走行路面より低い場合の路肩１１３がある場合の路肩１１３と車両１０３との相対位置である。
【００７３】
車両逸脱判定部１１６では、受信した路外１１４が走行路面より低い場合の路肩１１３との相対位置と自車速度、自車進行方向（操舵角）を考慮して、路外逸脱の危険があるかどうかを判定し、結果を、自動制御判定部１１１へ送る。
【００７４】
自動制御判定部１１１では、路外逸脱を防止するための自動操舵制御や、自動ブレーキ制御が必要であるか否かと、必要な場合、制御を行う度合いを判定し、車両制御装置に制御の指令を送り、操舵制御、ブレーキ制御を実施する。
【００７５】
また、ステレオカメラ装置１０４は、路外１１４が走行路面より低い場合の路肩１１３のみではなく、路肩１１３の白線やガードレール等を検出する機能も有しており、特許文献１等の手法により実現可能であり、検出した情報に基づき同様に車両逸脱を防止する自動制御が可能である。この際、本発明の路外が走行路面より低い場合の路肩を検出した場合は、白線やガードレールを検出した場合よりも、逸脱防止のための操舵制御、ブレーキ制御を強くする。
【００７６】
また、警報要否判定部１１２では、車両逸脱判定部１１６から受信した判定結果に基づき、路外１１４が走行路面より低い場合の路肩１１３との相対位置と自車速度、自車進行方向（操舵角）を考慮して、ドライバへ路外逸脱に関する警告をしたほうが良いか否かを判定し、ＨＭＩ（ヒューマンマシンインタフェース）にドライバに警告を発報するための指令を送る。この際同様に、本発明の路外が走行路面より低い場合の路肩を検出した場合は、白線やガードレールを検出した場合よりも、逸脱防止の警告の度合いを強くする。
【００７７】
また本発明は、図１のステレオカメラ装置１０４をレーザレンジファイダに置き換えることが可能である。レーザレンジファインダは、周囲の三次元位置情報を取得することが可能であり、距離情報算出部１０７と同様の出力を得ることができ、路外が走行路面より低い路肩を検出することが可能である。
【符号の説明】
【００７８】
１０１ 走行路
１０３ 車両
１０４ ステレオカメラ装置
１０５，１０６ 撮像部
１０８ 走行路面検出部
１０９ 高低差算出部
１１０ 路肩判定部
１１１ 自動制御判定部
１１２ 警報要否判定部
１１３ 路肩
１１４ 路外
１１５ 不連続性算出部
１１６ 車両逸脱判定部
【特許請求の範囲】
【請求項１】
入力された車外環境の三次元画像情報から対象物の有無及び自車両から対象物までの距離を算出する距離情報算出部と、
算出された距離に基づく距離画像から自車両が走行する走行路面を検出する走行路面検出部と、
検出された前記走行路面と路外との高低差を測定する高低差算出部と、
前記高低差算出部で測定された高低差に基づいて、前記走行路面と前記路外との境界である路肩が、走行路面より低い路外がある場合の路肩か否か判定する路肩判定部と、を有する路肩検出装置。
【請求項２】
入力された車外環境の三次元画像情報から対象物の有無及び自車両から対象物までの距離を算出する距離情報算出部と、
算出された距離に基づく距離画像を複数の画像領域に分離し、前記複数の画像領域の各々の画像領域間の距離が予め定めた閾値以上か否かを算出し、予め定めた閾値以上の場合を不連続であるとして路肩と判定する不連続性算出部と、
前記不連続性算出部で算出された路肩に基づいて、前記走行路面と前記路外との境界である路肩が、走行路面より低い路外がある場合の路肩か否か判定する路肩判定部と、を有する路肩検出装置。
【請求項３】
請求項１又は２記載の路肩検出装置において、
前記路肩判定部で判定された結果と、検出された自車速度及び操舵角に基づいて、自車両が路外へ逸脱するか否かを判定する車両逸脱判定部を有する路肩検出装置。
【請求項４】
請求項１又は２記載の路肩検出装置において、
前記距離情報算出部は、車外環境の左の画像情報と、右の画像情報と、が入力され、入力された左右の画像情報に基づく三次元画像情報から対象物の有無及び自車両から対象物までの距離を算出する路肩検出装置。
【請求項５】
請求項４記載の路肩検出装置において、
前記距離情報算出部は、入力された左右の画像情報を比較して、同一物体を撮像している部分を特定する対応点算出処理部と、画像情報を取得する撮像素子から特定された前記同一物体までの距離を算出する距離算出部と、算出された距離に基づく距離画像を生成し、出力する距離情報出力処理部と、を有する路肩検出装置。
【請求項６】
請求項１記載の路肩検出装置において、
前記走行路面検出部は、前記距離情報算出部で算出された距離に基づく距離画像から各画素の３次元位置を算出する３次元情報算出処理部と、算出された３次元位置に基づいて走行路面である可能性が高い画素を抽出して走行路面を検出する走行路式当てはめ処理部と、を有する路肩検出装置。
【請求項７】
請求項６記載の路肩検出装置において、
前記高低差算出部は、前記３次元情報算出処理部で算出された前記３次元位置と、前記走行路式当てはめ処理部で検出された走行路面と、に基づいて、前記走行路面と路外との高低差を測定する路肩検出装置。
【請求項８】
請求項１記載の路肩検出装置において、
前記路肩判定部は、前記高低差に基づいて前記走行路面よりも低い路外群を抽出し、抽出した路外群内の全て画素に関して、輪郭要素を抽出し、抽出した輪郭要素群を路外群の輪郭線とし、前記輪郭線から、路外が走行路面より低い場合の路肩を判定する路肩検出装置。
【請求項９】
請求項３記載の路肩検出装置を有する車両において、
前記車両逸脱判定部の判定結果に基づいて、ドライバへ路外逸脱に関する警報発信の要否を判定する警告要否判定部を有する車両。
【請求項１０】
請求項３記載の路肩検出装置を有する車両において、
前記車両逸脱判定部の判定結果に基づいて、路外逸脱を防止するための自動操舵制御、又は自動ブレーキ制御が必要であるか否かを判定する自動制御判定部を有する車両。
【請求項１】
入力された車外環境の三次元画像情報から対象物の有無及び自車両から対象物までの距離を算出する距離情報算出部と、
算出された距離に基づく距離画像から自車両が走行する走行路面を検出する走行路面検出部と、
検出された前記走行路面と路外との高低差を測定する高低差算出部と、
前記高低差算出部で測定された高低差に基づいて、前記走行路面と前記路外との境界である路肩が、走行路面より低い路外がある場合の路肩か否か判定する路肩判定部と、を有する路肩検出装置。
【請求項２】
入力された車外環境の三次元画像情報から対象物の有無及び自車両から対象物までの距離を算出する距離情報算出部と、
算出された距離に基づく距離画像を複数の画像領域に分離し、前記複数の画像領域の各々の画像領域間の距離が予め定めた閾値以上か否かを算出し、予め定めた閾値以上の場合を不連続であるとして路肩と判定する不連続性算出部と、
前記不連続性算出部で算出された路肩に基づいて、前記走行路面と前記路外との境界である路肩が、走行路面より低い路外がある場合の路肩か否か判定する路肩判定部と、を有する路肩検出装置。
【請求項３】
請求項１又は２記載の路肩検出装置において、
前記路肩判定部で判定された結果と、検出された自車速度及び操舵角に基づいて、自車両が路外へ逸脱するか否かを判定する車両逸脱判定部を有する路肩検出装置。
【請求項４】
請求項１又は２記載の路肩検出装置において、
前記距離情報算出部は、車外環境の左の画像情報と、右の画像情報と、が入力され、入力された左右の画像情報に基づく三次元画像情報から対象物の有無及び自車両から対象物までの距離を算出する路肩検出装置。
【請求項５】
請求項４記載の路肩検出装置において、
前記距離情報算出部は、入力された左右の画像情報を比較して、同一物体を撮像している部分を特定する対応点算出処理部と、画像情報を取得する撮像素子から特定された前記同一物体までの距離を算出する距離算出部と、算出された距離に基づく距離画像を生成し、出力する距離情報出力処理部と、を有する路肩検出装置。
【請求項６】
請求項１記載の路肩検出装置において、
前記走行路面検出部は、前記距離情報算出部で算出された距離に基づく距離画像から各画素の３次元位置を算出する３次元情報算出処理部と、算出された３次元位置に基づいて走行路面である可能性が高い画素を抽出して走行路面を検出する走行路式当てはめ処理部と、を有する路肩検出装置。
【請求項７】
請求項６記載の路肩検出装置において、
前記高低差算出部は、前記３次元情報算出処理部で算出された前記３次元位置と、前記走行路式当てはめ処理部で検出された走行路面と、に基づいて、前記走行路面と路外との高低差を測定する路肩検出装置。
【請求項８】
請求項１記載の路肩検出装置において、
前記路肩判定部は、前記高低差に基づいて前記走行路面よりも低い路外群を抽出し、抽出した路外群内の全て画素に関して、輪郭要素を抽出し、抽出した輪郭要素群を路外群の輪郭線とし、前記輪郭線から、路外が走行路面より低い場合の路肩を判定する路肩検出装置。
【請求項９】
請求項３記載の路肩検出装置を有する車両において、
前記車両逸脱判定部の判定結果に基づいて、ドライバへ路外逸脱に関する警報発信の要否を判定する警告要否判定部を有する車両。
【請求項１０】
請求項３記載の路肩検出装置を有する車両において、
前記車両逸脱判定部の判定結果に基づいて、路外逸脱を防止するための自動操舵制御、又は自動ブレーキ制御が必要であるか否かを判定する自動制御判定部を有する車両。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１１−１３８２４４（Ｐ２０１１−１３８２４４Ａ）
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願番号】特願２００９−２９６６７０（Ｐ２００９−２９６６７０）
【出願日】平成２１年１２月２８日（２００９．１２．２８）
【出願人】（５０９１８６５７９）日立オートモティブシステムズ株式会社 (2,205)
【Ｆターム（参考）】
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願日】平成２１年１２月２８日（２００９．１２．２８）
【出願人】（５０９１８６５７９）日立オートモティブシステムズ株式会社 (2,205)
【Ｆターム（参考）】
[ Back to top ]