走行路推定装置及びプログラム
【課題】高さ情報を用いて道路と道路外領域の境界を高精度に検出し、路面マーカーが存在しない道路における走行路推定を可能にする。
【解決手段】ステレオ画像における一方の画像中の全点が道路平面上に存在すると仮定してもう一方の画像における見え方に変換した変換画像と実際に入力した画像との間の類似性を調べることで、道路面とは高さが異なる路肩候補点を検出し、得られた路肩境界候補点を道路面へ逆投影した逆投影路肩候補点画像中で路肩候補点を中心として探索原点と路肩候補点とを結ぶ直線上に設けられた２つの領域内における路肩候補点数の関係から真の路肩点を選択して走行路を推定する。
【解決手段】ステレオ画像における一方の画像中の全点が道路平面上に存在すると仮定してもう一方の画像における見え方に変換した変換画像と実際に入力した画像との間の類似性を調べることで、道路面とは高さが異なる路肩候補点を検出し、得られた路肩境界候補点を道路面へ逆投影した逆投影路肩候補点画像中で路肩候補点を中心として探索原点と路肩候補点とを結ぶ直線上に設けられた２つの領域内における路肩候補点数の関係から真の路肩点を選択して走行路を推定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体に搭載され且つ該移動体の移動方向前方を撮像するＴＶカメラを用いて、道路と道路外領域との境界を検出することで走行路を推定する走行路推定装置及びプログラムに関するものである。
【背景技術】
【０００２】
車の安全性を向上させるため、車載カメラの画像から自車両の走行路を推定する技術の開発が行われている。走行路推定技術としては、路面に描かれた白線などの路面マーカーを、画像中の輝度分布などから抽出し、追跡する手法が数多く考案されている（例えば、特許文献１、特許文献２、特許文献３参照）。道路端のエッジを検出して走行路を推定する手法（例えば、非特許文献１）や、色の情報を用いて道路領域を検出する手法（例えば、非特許文献２）なども考案されている。また、ステレオ視で獲得した高さ情報から走行路脇の壁面を検出し走行路との境界を推定する手法（例えば、特許文献４参照）、ステレオ画像中で検出した消失点方向に向かう直線を道路面上に投影し、投影画像上で直線同士の対応付けを行い、歩道の段差、ガードレール、駐車車両の側面などを検出する手法（例えば、特許文献５参照）、ステレオ画像を道路面上に逆投影し道路面の領域を検出する手法（例えば、特許文献６）なども考案されている。
【特許文献１】特許第３９３０３６６号公報
【特許文献２】特開２００３−３０６２６号公報
【特許文献３】特開平６−１１９５９４号公報
【特許文献４】特開２００３−２０４５４号公報
【特許文献５】特開２００３−２８１５５２号公報
【特許文献６】特許第２９８９７４４号公報
【非特許文献１】A.M.Waxman,J.J.Lemoigne and L.S.Davis,“A Visual Navigation Systemfor Autonomous Land Vehicles,"IEEE Journal of Robotics and Automation,vol.RA-3,No.2,pp.124-141,1987.
【非特許文献２】C.Thorpe,M.H.Herbert and T.Kanade,“Vision and Navigation for the Carnegie-Mellon Navlab,"IEEE Trans on PAMI,vol.10,No.3,pp.389-392,1988.
【発明の開示】
【発明が解決しようとする課題】
【０００３】
白線などの路面マーカーを画像から検出し、走行路を推定する手法は、路面マーカーが存在しない道路、路面マーカーが薄れて消えかけている道路、駐車車両などで路面マーカーが隠ぺいされている道路などには適用できない。これらの状況において走行路を推定するためには、路面マーカー以外の特徴から走行路を検出する必要があるが、道路端のエッジを検出する手法や色により道路領域を判別する手法など単眼カメラで道路領域を推定する手法は、状況によって様々な輝度やテクスチャーを持つ道路領域を安定に検出することが難しい。ステレオ視により獲得した３次元情報から壁面やガードレールなどを検出し、走行路を推定する手法は、ステレオ画像間の対応点探索に多大な計算コストを要し、リアルタイムで動作させるには専用の画像処理ハードウェアが必要となる。ステレオ画像中で検出した消失点方向に向かう直線を道路面上に投影し、投影画像上で直線同士の対応付けを行い、歩道の段差、ガードレール、駐車車両の側面などを検出する手法は、直線部分においてのみ対応探索を行い高さ情報を得るため、計算コストは低いが直線状の路肩が存在する場所でしか走行路が推定できない。ステレオ画像を道路面上に逆投影し道路面の領域を検出する手法は、計算コストが低い反面、濡れた路面上での反射や映り込みを誤検出する欠点がある。また、画像変換パラメータの誤差により、白線、横断歩道、路面標識などの路面マーカーや影などの輪郭部分が誤検出される場合がある。
【０００４】
本発明は、上記に鑑みてなされたものであって、路面マーカーやガードレール、壁面などの直線状の路肩が存在しない道路においても路面テクスチャーの影響を受けず走行路が推定できる走行路推定装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した課題を解決し、目的を達成するために、本発明では、走行路推定装置を対象とし、車両に設置され、該車両前方を撮像する第一及び第二ＴＶカメラと、上記第一ＴＶカメラにより撮像された画像を蓄積する第一画像メモリ、及び、上記第二ＴＶカメラより撮像された画像を蓄積する第二画像メモリと、上記第一画像メモリに蓄積された画像を、初期変換パラメータを用いて変換する変換画像作成部と、上記変換画像作成部で作成した変換画像と第二画像メモリに蓄積された画像とを基に、道路面と高さが異なる路肩候補点を検出する道路外領域検出部と、上記道路外領域検出部に検出された路肩候補点を道路面へ逆投影した画像を作成する逆投影路肩候補点画像作成部と、上記逆投影路肩候補点画像作成部で作成した逆投影路肩候補点画像中で道路領域と道路外領域の境界点を路肩点として選択し走行路を推定する走行路推定部とを具備するものとした。
【０００６】
また、別の本発明では、プログラムを対象とし、コンピュータを、車両に設置された第一及び第二ＴＶカメラで撮影した画像を入力する画像入力手段と、初期変換パラメータを用いて上記第一ＴＶカメラより入力した画像を変換する変換画像作成手段と、該変換画像作成手段で作成した変換画像と上記第二ＴＶカメラより入力した画像から道路面と高さが異なる路肩候補点を検出する道路外領域検出手段と、該道路外領域検出手段で検出した路肩候補点を道路面へ逆投影した画像を作成する逆投影路肩候補点画像作成手段と、該逆投影路肩候補点画像作成手段で作成した逆投影路肩候補点画像中の路肩候補点の中から、路肩候補点を中心として探索原点と路肩候補点とを結ぶ直線上に設けられた２つの領域内における路肩候補点数の関係から真の路肩点を選択して、走行路を推定する走行路推定手段、として機能させるものとした。
【０００７】
このことで、ステレオ画像における一方の画像中の全点が道路平面上に存在すると仮定してもう一方の画像における見え方に変換した変換画像と実際に入力した画像との間の類似性を調べることで、道路面とは高さが異なる路肩候補点を検出し、得られた路肩境界候補点を道路面へ逆投影した逆投影路肩候補点画像中で路肩候補点を中心として探索原点と路肩候補点とを結ぶ直線上に設けられた２つの領域内における路肩候補点数の関係から真の路肩点を選択して走行路を推定することができる。よって、路面マーカーやガードレール、壁面などの直線状の路肩が存在しない道路においても路面テクスチャーの影響を受けずに走行路を推定することが可能となる。
【発明の効果】
【０００８】
以上説明したように、本発明によると、路面マーカーやガードレール、壁面などの直線状の路肩が存在しない道路においても路面テクスチャーの影響を受けずに走行路を推定することができる。
【発明を実施するための最良の形態】
【０００９】
以下に添付図面を参照して、この発明に係る走行路推定装置及びプログラムの好適な実施形態を詳細に説明する。
【００１０】
（実施形態）
図１は、本発明の一実施形態に係る走行路推定装置１００の機能構成を示すブロック図である。同図に示すように、この走行路推定装置１００は、２台のＴＶカメラ（第一及び第二ＴＶカメラ）１，２と、該両ＴＶカメラ１，２から入力される画像をそれぞれ格納する第一及び第二画像メモリ３，４と、変換画像作成部５と、初期変換パラメータ格納部と、道路外領域検出部６と、逆投影路肩候補点画像作成部７と、走行路推定部８とを備える。
【００１１】
上記両ＴＶカメラ１，２は、移動体としての自動車の当該走行路追跡装置が搭載される車両の前方を撮影し、撮影された画像はそれぞれ第一及び第二画像メモリ３，４へ格納される。
【００１２】
変換画像作成部５は、第一画像メモリ３に格納された画像中の全点が道路平面上に存在すると仮定して第二画像メモリ４に格納された画像における見え方に変換した画像を作成する。
【００１３】
図２を用いて、変換画像の作成方法を説明する。まず、第一ＴＶカメラ１の画像I1を道路平面上へ逆投影する。次いで、逆投影された平面領域を第二ＴＶカメラ２で撮像した際の画像ITに変換する。第一ＴＶカメラ１のカメラ座標系はO-XYZ、第二ＴＶカメラ２のカメラ座標系はO´-X´Y´Z´、焦点距離は共にFであるとする。I1中の点(x,y)が道路平面上の点Pへ逆投影され、PがカメラC2の画像面I2中の点(x´,y´)へ投影される場合を考える。第一ＴＶカメラ１及び第二ＴＶカメラ２の光軸がほぼ平行であり、かつ道路のようにZ軸方向の計測範囲がX軸方向に比べて格段に広い場合、(x,y)と(x´,y´)の間には、以下の関係式が成り立つ。
【００１４】
【数１】
【００１５】
ここで、bは定数、Vyは消失点のｙ座標であり、I1，I2において、道路平面上に存在する点の対応する画像座標(x,y),(x´,y´)の組を式(1)に与え、最小二乗法により求めることができる。このため、第一ＴＶカメラ１及び第二ＴＶカメラ２を車両に設置した後、道路平面上の特徴点(横断歩道やセンターライン等の輪郭に含まれる角点等)を対話的に対応付け、算出したbとVyを初期変換パラメータ格納部に格納しておく。
【００１６】
I1の各点(x,y)の変換後の画像座標(x´,y´)を式(1)より求め、I1の変換画像ITを作成する。式(1)により得られる変換後のx´またはy´の値が、第二ＴＶカメラ２の画像座標の範囲内(例えば、幅Ｗ、高さＨの画像の場合、0≦x´<W,0≦y´<Hの範囲)に含まれるI1中の(x,y)のみを用いて変換画像ITを作成する。
【００１７】
式(1)は、初期変換パラメータ格納部におけるbとVyを固定値として用いるため、車体の揺れによる変換誤差が発生する。舗装路の場合、ロール方向の揺れは小さいが、段差などによる車体のピッチングの影響は無視できない。ピッチングが発生すると、図３に示すように、変換左画像と右画像の間には、水平方向にズレが生じる。ズレは、図３の矢印のように画像の縦の座標に比例して大きくなる。変換左画像と右画像との間で、走査線毎に1画素ずつずらしながら相互相関値を求めた結果を図４(a)に示す。相関値の高い点を明るく示している。図４(a)の画像に対してHough変換による直線検出を行うと、ズレ量は図４(b)に示すような投票数最大の直線で表される。この直線式を、
ｅ（ｙ）＝βｙ＋γ ・・・・・・(2)
とすると、この式から求まるβ,γを用いて、変換パラメータの誤差を補正することができる。式(1)に、ピッチング補正を施した変換式を式(3)に示す。
【００１８】
【数２】
【００１９】
第一画像メモリ３に入力された画像に対し、式(1)により変換画像を作成し、走査線毎に１画素ずつずらしながら第二画像メモリ４の画像との相互相関値を求める。次いで、Hough変換により、投票数が最大となる直線式(2)を求め、変換パラメータの補正量β,γを得る。そして、式(3)により、第一画像メモリ３に入力された画像の変換画像を再度求める。以上の処理により、ピッチングにより発生する第一画像メモリ３の変換画像と第二画像メモリ４の画像との間のズレを抑えることができる。
【００２０】
道路外領域検出部６は、第一画像メモリ３の画像の変換画像と第二画像メモリ４の画像との間で各画素毎の輝度の類似度を調べ、道路面と異なる高さを持つ領域を道路外領域として検出する。類似度としては、絞りや感度の違いなどから生じるステレオ画像間の明度差を考慮し、正規化輝度差分とエッジ方向差分を用いる。
正規化輝度差分による類似度CorN(x,y)は、式(4)を用いて算出する。
【００２１】
【数３】
【００２２】
lx,lyは、類似度を算出する際のウィンドウサイズである。
【００２３】
IT,I2の各点においてCorN(x,y)を算出し、予め設定しておいた閾値TNによる２値画像Ibn(x,y)(Ibn(x,y)=255 if CorN(x,y)>TN， Ibn(x,y)=0 if CorN(x,y)≦TN)を求める。
【００２４】
エッジ方向差分による類似度CorD(x,y)は、式(8)によりを算出する。DT,D2は、ソーベルオペレータにより求めたIT,I2のエッジ方向画像である。
【００２５】
【数４】
【００２６】
lx,lyは、正規化輝度差分の場合と同様、類似度を算出する際のウィンドウサイズである。
【００２７】
DT,D2の各点においてCorD(x,y)を算出し、予め設定しておいた閾値TDによる２値画像Ibd(x,y)(Ibd(x,y)=255 if CorD(x,y)>TD，Ibd(x,y)=0 if CorD(x,y)≦TD)を求める。
【００２８】
道路外領域検出部６は、得られた正規化輝度差分画像Ibnとエッジ方向差分画像Ibdとの間の論理和画像Iorを求め、Ior中の白画素領域を路肩候補点（車両などの障害物領域も含む）とする。
【００２９】
逆投影路肩候補点画像作成部７は、道路外領域検出部６において検出した路肩候補点を道路面に逆投影し、道路面を上空から俯瞰したバードビュー画像（逆投影路肩候補点画像）BV(図６参照）を作成する。画像中の点(x,y)が道路面の点(u,v)に逆投影されたとすると、(x,y)と(u,v)の間には、以下の関係式が成り立つ。
【００３０】
【数５】
【００３１】
ここで、RXはX方向の圧縮（伸長）率、RYはY方向の圧縮（伸長）率、Ylimitは画像中の下限値である。また、画像中の座標(x,y)は、消失点位置を原点としている。
【００３２】
走行路推定部８は、逆投影路肩候補点画像作成部７で作成された逆投影路肩候補点画像BV中で、路肩の探索を行う。擦れた横断歩道などにおいては、路肩領域が逆投影路肩候補点画像BV中で水平方向に密集して表れる。この密集領域内で路肩を探索するのは困難なため、図６に示すように、逆投影路肩候補点画像BVを水平方向に投影し、投影値が小さい領域を路肩点を探索する探索領域とする。図７では、A,Bの範囲が探索領域となる。
【００３３】
図５に示すように、逆投影路肩候補点画像BVにおいて道路面と高さが異なる障害物領域は放射状に倒れ込んだ形状を示す。このため、路肩位置は逆投影路肩候補点画像BVを放射状に探索した際、路肩領域が後方に連続して現れる位置となる（図８の丸印）。逆投影画像上で放射状探索の方向（図８の矢印の方向）を決めるための探索原点（図８の原点O）は、逆投影画像において、視野外領域の境界線（図８における直線L)と画像中心線の交点から算出する。この探索原点は、車両に第一ＴＶカメラ１及び第二ＴＶカメラ２を設置した際に入力した画像から手動で算出する。
【００３４】
複数の探索領域が設定されている場合、縦幅がある程度大きく、かつ最も車両に近い探索領域、つまり逆投影画像の下端に近い領域を選択し、その内部で路肩探索の開始位置を求める。図７では、探索領域Aが選ばれる。左側の路肩を探索するため、逆投影路肩候補点画像BVの左半分のみを対象としている。探索領域の縦幅が広すぎると、曲がっている路肩の開始点がずれるため、縦幅が一定画素以上の場合は、探索領域の底辺から一定の高さまでの領域を探索領域とする。選択された探索領域内において、図９に示す平行四辺形の探索ウィンドウTを走査し、式(14)より各点の路肩度BDを算出する。探索ウィンドウTは、路肩候補点と探索原点を結ぶ直線に平行な平行線と走査線方向の平行線からなる平行四辺形である。このため、探索ウィンドウTは探索領域内の各点において異なる形状を持つ。NWはTの上部領域W内における白点（路肩点）の個数、NBはTの下部領域B内における黒点（道路面上の点）の個数、NTはT内の画素の総数である。
【００３５】
【数６】
【００３６】
BDは、路肩点が放射状後方に連続して出現する境界において高い値を示す。このため、探索領域内でTを走査し、各点において得られたBDの値を垂直方向に投影し、投影値が最大となる位置Pを路肩探索の開始点とする（図９)。
【００３７】
図１０に示すように、各探索領域Aiを垂直方向に固定幅で分割し、各分割ラインLij上で路肩位置の探索を行う。最下端の分割ライン上の探索開始点位置を路肩探索の起点とし、上方の分割ライン上の路肩位置を順に探索していく。図１０の例においては、分割ラインL11上の路肩開始点位置が探索の始点となり、直上の分割ラインL12上の路肩位置を路肩探索の開始点を求めた手法と同様の手法で探索する。L11上の路肩検出位置（路肩開始点位置）を中心に、左右一定間隔の範囲でL12上を走査し（図１０においては、各分割ライン上の双方向矢印の範囲）、路肩度BDを求める。そして、最大の路肩度が得られる位置をL12における路肩位置とする。同様の処理を、上方の分割ラインに対して順次施し、各ライン上の路肩位置を得る。非探索領域に関しては、その下辺の路肩位置を上辺の路肩位置探索の始点に用いる。各分割ライン上で得られた路肩点を結ぶ折れ線を、走行路として出力する。
（変形例）
なお、本発明は、上記実施形態に限定されるものではなく、以下に例示するような種々の変形が可能である。
（変形例１）
上記実施形態では、道路外領域検出部６は、得られた路肩候補点をそのまま逆投影路肩候補点画像作成部７へ出力しているが、得られた路肩候補点に含まれる第二画像メモリ４の画像I2の各点において、図１２(b)に示すように上下に２つのウィンドウを設定し、上部ウィンドウ内において第一画像メモリ３の画像（図１２(a)）と第二画像メモリ４の画像（図１２(b)）との間の輝度相関CT、及び下部ウィンドウ内において第二画像メモリ４の画像（図１２(b)）と第一画像メモリ３の画像の変換画像（図１２(c)）との間の輝度相関CBを求め、CTとCBが一定以上大きな値を示す点を路肩候補点として逆投影路肩候補点画像作成部７へ出力しもよい。輝度相関は、ウィンドウ内の輝度平均と分散で正規化した相互相関係数を用いる。路外工作物や車両などの障害物領域においては、輝度相関CTの値が高くなり、輝度相関CBの値が低くなる。一方、道路面においては、輝度相関CBの値が高くなり、輝度相関CTの値が低くなる。障害物領域と道路面との間の境界点においてのみ、CTとCBは共に高い値を示すため、変形例１では路肩候補点の数を減らすことができる。
（変形例２）
また、上記実施形態では、逆投影路肩候補点画像作成部７は、道路外領域検出部６より入力した路肩候補点をそのまま道路面へ逆投影しているが、輝度のコントラストが低い場合、路肩候補点は途切れ々々の点列として検出されるため、画像を格子ブロックに分け、一定個数以上の路肩候補点が含まれる格子ブロック内の全点を路肩点とするなどの補間処理を行った後に、道路面へ逆投影してもよい。
（変形例３）
また、上記実施形態では、走行路探索部は路肩探索の開始点を１つのみ検出していたが、手前の段差や白線などの後方には、壁面などの路肩が更に存在する可能性が高いため、各探索領域を複数の領域に分け、それぞれの領域内で路肩点を求め、それらを結ぶ複数本の折れ線を走行路として出力するようにしてもよい。例えば、図１１に示すようにSinとSoutといった２つの領域に分け、各領域内で投影値が最大となる位置PiとPoを求める。そして、Piの投影値が予め設定された閾値以上の場合、Piを路肩探索の開始点とする。また、Poの投影値が閾値以上であり、かつPiの位置から一定以上離れている場合には、Poも路肩探索の開始点とする。そして、PiとPoをともに路肩探索の開始点として、各分割ライン上で路肩点を探索し、路肩点を結ぶ２本の折れ線を走行路として出力してもよい。
（変形例４）
また、上記実施形態では、走行路探索部は自車両に近い位置から遠方に向かって各分割ライン上の路肩点を探索し、走行路を推定しているが、逆投影路肩候補点画像BV中の路肩候補点で得られた路肩度を逆投影路肩候補点画像BVと同サイズのメモリに蓄積し、Snakesなどの動的輪郭抽出手法を用いて走行路を推定してもよい。
（変形例５）
また、上記実施形態では、本発明を自動車に搭載される走行路推定装置１００に適用された場合について説明したが、本発明はこれに限定されるものではなく、屋内通路端などを検出することにより、移動ロボット（移動体）などの走行路推定装置１００にも適用することができる。
（変形例６）
また、上記実施形態における走行路推定装置１００は、図１に示すような各部の機能を有するハードウェア回路によって構成するようにしてもよいが、ＣＰＵ等のコンピュータにプログラムを実行させることで上述した各処理を行うように構成してもよい。また、このような処理をコンピュータに実行させるためのプログラムをインターネット等のネットワークを介してユーザに提供するようにしてもよいし、ＣＤ-ＲＯＭ等の記録媒体に記録させてユーザに提供するようにしてもよい。
（変形例７）
また、上記実施形態では、２台のＴＶカメラ（第一及び第二ＴＶカメラ１，２）を設けるようにしているが、これに限ったものではなく、３台以上設けるようにしてもい。
【産業上の利用可能性】
【００３８】
本発明は、移動体に搭載され且つ該移動体の移動方向前方を撮像するＴＶカメラを用いて、道路と道路外領域との境界を検出することで走行路を推定する走行路推定装置及びプログラムに有用であり、特に、車両の走行路推定に適用する場合に有用である。
【図面の簡単な説明】
【００３９】
【図１】本発明の実施形態に係る走行路推定装置の機能構成を示すブロック図である。
【図２】走行路推定装置の変換画像作成部によって行われる画像変換を説明するための図である。
【図３】走行路推定装置の変換画像作成部において、車体のピッチングが画像変換に及ぼす影響を説明するための図である。
【図４】走行路推定装置の変換画像作成部によって行われるピッチングによるパラメータの補正を説明するための図である。
【図５】走行路推定装置の逆投影路肩候補点画像作成部によって作成される逆投影路肩候補点画像の性質を説明するための図である。
【図６】走行路推定装置の走行路推定部において、路肩候補点を水平方向に投影し、路肩点を探索する領域を求める手法を説明するための図である。
【図７】走行路推定装置の走行路推定部において、路肩点を探索する領域の一例を示す図である。
【図８】走行路推定装置の走行路推定部において、逆投影路肩候補点画像中で路肩点を探索する手法を説明するため図である。
【図９】走行路推定装置の走行路推定部において、路肩度を算出するための領域及び路肩点の選択手法を説明する手法を説明するため図である。
【図１０】走行路推定装置の走行路推定部において、探索開始点から路肩点を順次探索していく手法を説明するため図である。
【図１１】走行路推定装置の走行路推定部において、複数の走行路を検出する際の路肩点の選択手法を説明するため図である。
【図１２】走行路推定装置の変形例１における上下２つのウィンドウの一例を示す図である。
【符号の説明】
【００４０】
Ａi 探索領域
Ｂ 直線上に設けられた領域
ＢＤ 路肩度
Ｗ 直線上に設けられた領域
Ｌij 複数の水平線
１ 第一ＴＶカメラ
２ 第二ＴＶカメラ
３ 第一画像メモリ
４ 第二画像メモリ
５ 変換画像作成部
６ 道路外領域検出部
７ 逆投影路肩候補点画像作成部
８ 走行路推定部
１００ 走行路推定装置
【技術分野】
【０００１】
本発明は、移動体に搭載され且つ該移動体の移動方向前方を撮像するＴＶカメラを用いて、道路と道路外領域との境界を検出することで走行路を推定する走行路推定装置及びプログラムに関するものである。
【背景技術】
【０００２】
車の安全性を向上させるため、車載カメラの画像から自車両の走行路を推定する技術の開発が行われている。走行路推定技術としては、路面に描かれた白線などの路面マーカーを、画像中の輝度分布などから抽出し、追跡する手法が数多く考案されている（例えば、特許文献１、特許文献２、特許文献３参照）。道路端のエッジを検出して走行路を推定する手法（例えば、非特許文献１）や、色の情報を用いて道路領域を検出する手法（例えば、非特許文献２）なども考案されている。また、ステレオ視で獲得した高さ情報から走行路脇の壁面を検出し走行路との境界を推定する手法（例えば、特許文献４参照）、ステレオ画像中で検出した消失点方向に向かう直線を道路面上に投影し、投影画像上で直線同士の対応付けを行い、歩道の段差、ガードレール、駐車車両の側面などを検出する手法（例えば、特許文献５参照）、ステレオ画像を道路面上に逆投影し道路面の領域を検出する手法（例えば、特許文献６）なども考案されている。
【特許文献１】特許第３９３０３６６号公報
【特許文献２】特開２００３−３０６２６号公報
【特許文献３】特開平６−１１９５９４号公報
【特許文献４】特開２００３−２０４５４号公報
【特許文献５】特開２００３−２８１５５２号公報
【特許文献６】特許第２９８９７４４号公報
【非特許文献１】A.M.Waxman,J.J.Lemoigne and L.S.Davis,“A Visual Navigation Systemfor Autonomous Land Vehicles,"IEEE Journal of Robotics and Automation,vol.RA-3,No.2,pp.124-141,1987.
【非特許文献２】C.Thorpe,M.H.Herbert and T.Kanade,“Vision and Navigation for the Carnegie-Mellon Navlab,"IEEE Trans on PAMI,vol.10,No.3,pp.389-392,1988.
【発明の開示】
【発明が解決しようとする課題】
【０００３】
白線などの路面マーカーを画像から検出し、走行路を推定する手法は、路面マーカーが存在しない道路、路面マーカーが薄れて消えかけている道路、駐車車両などで路面マーカーが隠ぺいされている道路などには適用できない。これらの状況において走行路を推定するためには、路面マーカー以外の特徴から走行路を検出する必要があるが、道路端のエッジを検出する手法や色により道路領域を判別する手法など単眼カメラで道路領域を推定する手法は、状況によって様々な輝度やテクスチャーを持つ道路領域を安定に検出することが難しい。ステレオ視により獲得した３次元情報から壁面やガードレールなどを検出し、走行路を推定する手法は、ステレオ画像間の対応点探索に多大な計算コストを要し、リアルタイムで動作させるには専用の画像処理ハードウェアが必要となる。ステレオ画像中で検出した消失点方向に向かう直線を道路面上に投影し、投影画像上で直線同士の対応付けを行い、歩道の段差、ガードレール、駐車車両の側面などを検出する手法は、直線部分においてのみ対応探索を行い高さ情報を得るため、計算コストは低いが直線状の路肩が存在する場所でしか走行路が推定できない。ステレオ画像を道路面上に逆投影し道路面の領域を検出する手法は、計算コストが低い反面、濡れた路面上での反射や映り込みを誤検出する欠点がある。また、画像変換パラメータの誤差により、白線、横断歩道、路面標識などの路面マーカーや影などの輪郭部分が誤検出される場合がある。
【０００４】
本発明は、上記に鑑みてなされたものであって、路面マーカーやガードレール、壁面などの直線状の路肩が存在しない道路においても路面テクスチャーの影響を受けず走行路が推定できる走行路推定装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した課題を解決し、目的を達成するために、本発明では、走行路推定装置を対象とし、車両に設置され、該車両前方を撮像する第一及び第二ＴＶカメラと、上記第一ＴＶカメラにより撮像された画像を蓄積する第一画像メモリ、及び、上記第二ＴＶカメラより撮像された画像を蓄積する第二画像メモリと、上記第一画像メモリに蓄積された画像を、初期変換パラメータを用いて変換する変換画像作成部と、上記変換画像作成部で作成した変換画像と第二画像メモリに蓄積された画像とを基に、道路面と高さが異なる路肩候補点を検出する道路外領域検出部と、上記道路外領域検出部に検出された路肩候補点を道路面へ逆投影した画像を作成する逆投影路肩候補点画像作成部と、上記逆投影路肩候補点画像作成部で作成した逆投影路肩候補点画像中で道路領域と道路外領域の境界点を路肩点として選択し走行路を推定する走行路推定部とを具備するものとした。
【０００６】
また、別の本発明では、プログラムを対象とし、コンピュータを、車両に設置された第一及び第二ＴＶカメラで撮影した画像を入力する画像入力手段と、初期変換パラメータを用いて上記第一ＴＶカメラより入力した画像を変換する変換画像作成手段と、該変換画像作成手段で作成した変換画像と上記第二ＴＶカメラより入力した画像から道路面と高さが異なる路肩候補点を検出する道路外領域検出手段と、該道路外領域検出手段で検出した路肩候補点を道路面へ逆投影した画像を作成する逆投影路肩候補点画像作成手段と、該逆投影路肩候補点画像作成手段で作成した逆投影路肩候補点画像中の路肩候補点の中から、路肩候補点を中心として探索原点と路肩候補点とを結ぶ直線上に設けられた２つの領域内における路肩候補点数の関係から真の路肩点を選択して、走行路を推定する走行路推定手段、として機能させるものとした。
【０００７】
このことで、ステレオ画像における一方の画像中の全点が道路平面上に存在すると仮定してもう一方の画像における見え方に変換した変換画像と実際に入力した画像との間の類似性を調べることで、道路面とは高さが異なる路肩候補点を検出し、得られた路肩境界候補点を道路面へ逆投影した逆投影路肩候補点画像中で路肩候補点を中心として探索原点と路肩候補点とを結ぶ直線上に設けられた２つの領域内における路肩候補点数の関係から真の路肩点を選択して走行路を推定することができる。よって、路面マーカーやガードレール、壁面などの直線状の路肩が存在しない道路においても路面テクスチャーの影響を受けずに走行路を推定することが可能となる。
【発明の効果】
【０００８】
以上説明したように、本発明によると、路面マーカーやガードレール、壁面などの直線状の路肩が存在しない道路においても路面テクスチャーの影響を受けずに走行路を推定することができる。
【発明を実施するための最良の形態】
【０００９】
以下に添付図面を参照して、この発明に係る走行路推定装置及びプログラムの好適な実施形態を詳細に説明する。
【００１０】
（実施形態）
図１は、本発明の一実施形態に係る走行路推定装置１００の機能構成を示すブロック図である。同図に示すように、この走行路推定装置１００は、２台のＴＶカメラ（第一及び第二ＴＶカメラ）１，２と、該両ＴＶカメラ１，２から入力される画像をそれぞれ格納する第一及び第二画像メモリ３，４と、変換画像作成部５と、初期変換パラメータ格納部と、道路外領域検出部６と、逆投影路肩候補点画像作成部７と、走行路推定部８とを備える。
【００１１】
上記両ＴＶカメラ１，２は、移動体としての自動車の当該走行路追跡装置が搭載される車両の前方を撮影し、撮影された画像はそれぞれ第一及び第二画像メモリ３，４へ格納される。
【００１２】
変換画像作成部５は、第一画像メモリ３に格納された画像中の全点が道路平面上に存在すると仮定して第二画像メモリ４に格納された画像における見え方に変換した画像を作成する。
【００１３】
図２を用いて、変換画像の作成方法を説明する。まず、第一ＴＶカメラ１の画像I1を道路平面上へ逆投影する。次いで、逆投影された平面領域を第二ＴＶカメラ２で撮像した際の画像ITに変換する。第一ＴＶカメラ１のカメラ座標系はO-XYZ、第二ＴＶカメラ２のカメラ座標系はO´-X´Y´Z´、焦点距離は共にFであるとする。I1中の点(x,y)が道路平面上の点Pへ逆投影され、PがカメラC2の画像面I2中の点(x´,y´)へ投影される場合を考える。第一ＴＶカメラ１及び第二ＴＶカメラ２の光軸がほぼ平行であり、かつ道路のようにZ軸方向の計測範囲がX軸方向に比べて格段に広い場合、(x,y)と(x´,y´)の間には、以下の関係式が成り立つ。
【００１４】
【数１】
【００１５】
ここで、bは定数、Vyは消失点のｙ座標であり、I1，I2において、道路平面上に存在する点の対応する画像座標(x,y),(x´,y´)の組を式(1)に与え、最小二乗法により求めることができる。このため、第一ＴＶカメラ１及び第二ＴＶカメラ２を車両に設置した後、道路平面上の特徴点(横断歩道やセンターライン等の輪郭に含まれる角点等)を対話的に対応付け、算出したbとVyを初期変換パラメータ格納部に格納しておく。
【００１６】
I1の各点(x,y)の変換後の画像座標(x´,y´)を式(1)より求め、I1の変換画像ITを作成する。式(1)により得られる変換後のx´またはy´の値が、第二ＴＶカメラ２の画像座標の範囲内(例えば、幅Ｗ、高さＨの画像の場合、0≦x´<W,0≦y´<Hの範囲)に含まれるI1中の(x,y)のみを用いて変換画像ITを作成する。
【００１７】
式(1)は、初期変換パラメータ格納部におけるbとVyを固定値として用いるため、車体の揺れによる変換誤差が発生する。舗装路の場合、ロール方向の揺れは小さいが、段差などによる車体のピッチングの影響は無視できない。ピッチングが発生すると、図３に示すように、変換左画像と右画像の間には、水平方向にズレが生じる。ズレは、図３の矢印のように画像の縦の座標に比例して大きくなる。変換左画像と右画像との間で、走査線毎に1画素ずつずらしながら相互相関値を求めた結果を図４(a)に示す。相関値の高い点を明るく示している。図４(a)の画像に対してHough変換による直線検出を行うと、ズレ量は図４(b)に示すような投票数最大の直線で表される。この直線式を、
ｅ（ｙ）＝βｙ＋γ ・・・・・・(2)
とすると、この式から求まるβ,γを用いて、変換パラメータの誤差を補正することができる。式(1)に、ピッチング補正を施した変換式を式(3)に示す。
【００１８】
【数２】
【００１９】
第一画像メモリ３に入力された画像に対し、式(1)により変換画像を作成し、走査線毎に１画素ずつずらしながら第二画像メモリ４の画像との相互相関値を求める。次いで、Hough変換により、投票数が最大となる直線式(2)を求め、変換パラメータの補正量β,γを得る。そして、式(3)により、第一画像メモリ３に入力された画像の変換画像を再度求める。以上の処理により、ピッチングにより発生する第一画像メモリ３の変換画像と第二画像メモリ４の画像との間のズレを抑えることができる。
【００２０】
道路外領域検出部６は、第一画像メモリ３の画像の変換画像と第二画像メモリ４の画像との間で各画素毎の輝度の類似度を調べ、道路面と異なる高さを持つ領域を道路外領域として検出する。類似度としては、絞りや感度の違いなどから生じるステレオ画像間の明度差を考慮し、正規化輝度差分とエッジ方向差分を用いる。
正規化輝度差分による類似度CorN(x,y)は、式(4)を用いて算出する。
【００２１】
【数３】
【００２２】
lx,lyは、類似度を算出する際のウィンドウサイズである。
【００２３】
IT,I2の各点においてCorN(x,y)を算出し、予め設定しておいた閾値TNによる２値画像Ibn(x,y)(Ibn(x,y)=255 if CorN(x,y)>TN， Ibn(x,y)=0 if CorN(x,y)≦TN)を求める。
【００２４】
エッジ方向差分による類似度CorD(x,y)は、式(8)によりを算出する。DT,D2は、ソーベルオペレータにより求めたIT,I2のエッジ方向画像である。
【００２５】
【数４】
【００２６】
lx,lyは、正規化輝度差分の場合と同様、類似度を算出する際のウィンドウサイズである。
【００２７】
DT,D2の各点においてCorD(x,y)を算出し、予め設定しておいた閾値TDによる２値画像Ibd(x,y)(Ibd(x,y)=255 if CorD(x,y)>TD，Ibd(x,y)=0 if CorD(x,y)≦TD)を求める。
【００２８】
道路外領域検出部６は、得られた正規化輝度差分画像Ibnとエッジ方向差分画像Ibdとの間の論理和画像Iorを求め、Ior中の白画素領域を路肩候補点（車両などの障害物領域も含む）とする。
【００２９】
逆投影路肩候補点画像作成部７は、道路外領域検出部６において検出した路肩候補点を道路面に逆投影し、道路面を上空から俯瞰したバードビュー画像（逆投影路肩候補点画像）BV(図６参照）を作成する。画像中の点(x,y)が道路面の点(u,v)に逆投影されたとすると、(x,y)と(u,v)の間には、以下の関係式が成り立つ。
【００３０】
【数５】
【００３１】
ここで、RXはX方向の圧縮（伸長）率、RYはY方向の圧縮（伸長）率、Ylimitは画像中の下限値である。また、画像中の座標(x,y)は、消失点位置を原点としている。
【００３２】
走行路推定部８は、逆投影路肩候補点画像作成部７で作成された逆投影路肩候補点画像BV中で、路肩の探索を行う。擦れた横断歩道などにおいては、路肩領域が逆投影路肩候補点画像BV中で水平方向に密集して表れる。この密集領域内で路肩を探索するのは困難なため、図６に示すように、逆投影路肩候補点画像BVを水平方向に投影し、投影値が小さい領域を路肩点を探索する探索領域とする。図７では、A,Bの範囲が探索領域となる。
【００３３】
図５に示すように、逆投影路肩候補点画像BVにおいて道路面と高さが異なる障害物領域は放射状に倒れ込んだ形状を示す。このため、路肩位置は逆投影路肩候補点画像BVを放射状に探索した際、路肩領域が後方に連続して現れる位置となる（図８の丸印）。逆投影画像上で放射状探索の方向（図８の矢印の方向）を決めるための探索原点（図８の原点O）は、逆投影画像において、視野外領域の境界線（図８における直線L)と画像中心線の交点から算出する。この探索原点は、車両に第一ＴＶカメラ１及び第二ＴＶカメラ２を設置した際に入力した画像から手動で算出する。
【００３４】
複数の探索領域が設定されている場合、縦幅がある程度大きく、かつ最も車両に近い探索領域、つまり逆投影画像の下端に近い領域を選択し、その内部で路肩探索の開始位置を求める。図７では、探索領域Aが選ばれる。左側の路肩を探索するため、逆投影路肩候補点画像BVの左半分のみを対象としている。探索領域の縦幅が広すぎると、曲がっている路肩の開始点がずれるため、縦幅が一定画素以上の場合は、探索領域の底辺から一定の高さまでの領域を探索領域とする。選択された探索領域内において、図９に示す平行四辺形の探索ウィンドウTを走査し、式(14)より各点の路肩度BDを算出する。探索ウィンドウTは、路肩候補点と探索原点を結ぶ直線に平行な平行線と走査線方向の平行線からなる平行四辺形である。このため、探索ウィンドウTは探索領域内の各点において異なる形状を持つ。NWはTの上部領域W内における白点（路肩点）の個数、NBはTの下部領域B内における黒点（道路面上の点）の個数、NTはT内の画素の総数である。
【００３５】
【数６】
【００３６】
BDは、路肩点が放射状後方に連続して出現する境界において高い値を示す。このため、探索領域内でTを走査し、各点において得られたBDの値を垂直方向に投影し、投影値が最大となる位置Pを路肩探索の開始点とする（図９)。
【００３７】
図１０に示すように、各探索領域Aiを垂直方向に固定幅で分割し、各分割ラインLij上で路肩位置の探索を行う。最下端の分割ライン上の探索開始点位置を路肩探索の起点とし、上方の分割ライン上の路肩位置を順に探索していく。図１０の例においては、分割ラインL11上の路肩開始点位置が探索の始点となり、直上の分割ラインL12上の路肩位置を路肩探索の開始点を求めた手法と同様の手法で探索する。L11上の路肩検出位置（路肩開始点位置）を中心に、左右一定間隔の範囲でL12上を走査し（図１０においては、各分割ライン上の双方向矢印の範囲）、路肩度BDを求める。そして、最大の路肩度が得られる位置をL12における路肩位置とする。同様の処理を、上方の分割ラインに対して順次施し、各ライン上の路肩位置を得る。非探索領域に関しては、その下辺の路肩位置を上辺の路肩位置探索の始点に用いる。各分割ライン上で得られた路肩点を結ぶ折れ線を、走行路として出力する。
（変形例）
なお、本発明は、上記実施形態に限定されるものではなく、以下に例示するような種々の変形が可能である。
（変形例１）
上記実施形態では、道路外領域検出部６は、得られた路肩候補点をそのまま逆投影路肩候補点画像作成部７へ出力しているが、得られた路肩候補点に含まれる第二画像メモリ４の画像I2の各点において、図１２(b)に示すように上下に２つのウィンドウを設定し、上部ウィンドウ内において第一画像メモリ３の画像（図１２(a)）と第二画像メモリ４の画像（図１２(b)）との間の輝度相関CT、及び下部ウィンドウ内において第二画像メモリ４の画像（図１２(b)）と第一画像メモリ３の画像の変換画像（図１２(c)）との間の輝度相関CBを求め、CTとCBが一定以上大きな値を示す点を路肩候補点として逆投影路肩候補点画像作成部７へ出力しもよい。輝度相関は、ウィンドウ内の輝度平均と分散で正規化した相互相関係数を用いる。路外工作物や車両などの障害物領域においては、輝度相関CTの値が高くなり、輝度相関CBの値が低くなる。一方、道路面においては、輝度相関CBの値が高くなり、輝度相関CTの値が低くなる。障害物領域と道路面との間の境界点においてのみ、CTとCBは共に高い値を示すため、変形例１では路肩候補点の数を減らすことができる。
（変形例２）
また、上記実施形態では、逆投影路肩候補点画像作成部７は、道路外領域検出部６より入力した路肩候補点をそのまま道路面へ逆投影しているが、輝度のコントラストが低い場合、路肩候補点は途切れ々々の点列として検出されるため、画像を格子ブロックに分け、一定個数以上の路肩候補点が含まれる格子ブロック内の全点を路肩点とするなどの補間処理を行った後に、道路面へ逆投影してもよい。
（変形例３）
また、上記実施形態では、走行路探索部は路肩探索の開始点を１つのみ検出していたが、手前の段差や白線などの後方には、壁面などの路肩が更に存在する可能性が高いため、各探索領域を複数の領域に分け、それぞれの領域内で路肩点を求め、それらを結ぶ複数本の折れ線を走行路として出力するようにしてもよい。例えば、図１１に示すようにSinとSoutといった２つの領域に分け、各領域内で投影値が最大となる位置PiとPoを求める。そして、Piの投影値が予め設定された閾値以上の場合、Piを路肩探索の開始点とする。また、Poの投影値が閾値以上であり、かつPiの位置から一定以上離れている場合には、Poも路肩探索の開始点とする。そして、PiとPoをともに路肩探索の開始点として、各分割ライン上で路肩点を探索し、路肩点を結ぶ２本の折れ線を走行路として出力してもよい。
（変形例４）
また、上記実施形態では、走行路探索部は自車両に近い位置から遠方に向かって各分割ライン上の路肩点を探索し、走行路を推定しているが、逆投影路肩候補点画像BV中の路肩候補点で得られた路肩度を逆投影路肩候補点画像BVと同サイズのメモリに蓄積し、Snakesなどの動的輪郭抽出手法を用いて走行路を推定してもよい。
（変形例５）
また、上記実施形態では、本発明を自動車に搭載される走行路推定装置１００に適用された場合について説明したが、本発明はこれに限定されるものではなく、屋内通路端などを検出することにより、移動ロボット（移動体）などの走行路推定装置１００にも適用することができる。
（変形例６）
また、上記実施形態における走行路推定装置１００は、図１に示すような各部の機能を有するハードウェア回路によって構成するようにしてもよいが、ＣＰＵ等のコンピュータにプログラムを実行させることで上述した各処理を行うように構成してもよい。また、このような処理をコンピュータに実行させるためのプログラムをインターネット等のネットワークを介してユーザに提供するようにしてもよいし、ＣＤ-ＲＯＭ等の記録媒体に記録させてユーザに提供するようにしてもよい。
（変形例７）
また、上記実施形態では、２台のＴＶカメラ（第一及び第二ＴＶカメラ１，２）を設けるようにしているが、これに限ったものではなく、３台以上設けるようにしてもい。
【産業上の利用可能性】
【００３８】
本発明は、移動体に搭載され且つ該移動体の移動方向前方を撮像するＴＶカメラを用いて、道路と道路外領域との境界を検出することで走行路を推定する走行路推定装置及びプログラムに有用であり、特に、車両の走行路推定に適用する場合に有用である。
【図面の簡単な説明】
【００３９】
【図１】本発明の実施形態に係る走行路推定装置の機能構成を示すブロック図である。
【図２】走行路推定装置の変換画像作成部によって行われる画像変換を説明するための図である。
【図３】走行路推定装置の変換画像作成部において、車体のピッチングが画像変換に及ぼす影響を説明するための図である。
【図４】走行路推定装置の変換画像作成部によって行われるピッチングによるパラメータの補正を説明するための図である。
【図５】走行路推定装置の逆投影路肩候補点画像作成部によって作成される逆投影路肩候補点画像の性質を説明するための図である。
【図６】走行路推定装置の走行路推定部において、路肩候補点を水平方向に投影し、路肩点を探索する領域を求める手法を説明するための図である。
【図７】走行路推定装置の走行路推定部において、路肩点を探索する領域の一例を示す図である。
【図８】走行路推定装置の走行路推定部において、逆投影路肩候補点画像中で路肩点を探索する手法を説明するため図である。
【図９】走行路推定装置の走行路推定部において、路肩度を算出するための領域及び路肩点の選択手法を説明する手法を説明するため図である。
【図１０】走行路推定装置の走行路推定部において、探索開始点から路肩点を順次探索していく手法を説明するため図である。
【図１１】走行路推定装置の走行路推定部において、複数の走行路を検出する際の路肩点の選択手法を説明するため図である。
【図１２】走行路推定装置の変形例１における上下２つのウィンドウの一例を示す図である。
【符号の説明】
【００４０】
Ａi 探索領域
Ｂ 直線上に設けられた領域
ＢＤ 路肩度
Ｗ 直線上に設けられた領域
Ｌij 複数の水平線
１ 第一ＴＶカメラ
２ 第二ＴＶカメラ
３ 第一画像メモリ
４ 第二画像メモリ
５ 変換画像作成部
６ 道路外領域検出部
７ 逆投影路肩候補点画像作成部
８ 走行路推定部
１００ 走行路推定装置
【特許請求の範囲】
【請求項１】
移動体に搭載され、該移動体の移動方向前方を撮像する第一及び第二ＴＶカメラと、
上記第一ＴＶカメラにより撮像された画像を蓄積する第一画像メモリ、及び、上記第二ＴＶカメラより撮像された画像を蓄積する第二画像メモリと、
上記第一画像メモリに蓄積された画像を、初期変換パラメータを用いて変換する変換画像作成部と、
上記変換画像作成部で作成した変換画像と上記第二画像メモリに蓄積された画像とを基に、道路面と高さが異なる路肩候補点を検出する道路外領域検出部と、
上記道路外領域検出部に検出された路肩候補点を道路面へ逆投影した画像を作成する逆投影路肩候補点画像作成部と、
上記逆投影路肩候補点画像作成部で作成した逆投影路肩候補点画像中で道路領域と道路外領域の境界点として路肩点を選択して走行路を推定する走行路推定部とを具備したことを特徴とする走行路推定装置。
【請求項２】
上記走行路推定部は、上記逆投影路肩候補点画像中の路肩候補点において、路肩候補点を中心として探索原点と当該路肩候補点とを結ぶ直線上に設けられた２つの領域内における路肩候補点数の関係から得られた路肩度を基に、路肩点を選択して、走行路を推定するように構成されていることを特徴とする請求項１記載の走行路推定装置。
【請求項３】
上記走行路推定部は、上記逆投影路肩候補点画像において路肩点を探索する探索領域を設定するとともに、該設定した探索領域内の路肩候補点において、路肩候補点を中心として探索原点と該路肩候補点とを結ぶ直線上に設けられた２つの領域内における路肩候補点数の関係から得られた路肩度を基に、路肩点を選択して、走行路を推定するように構成されていることを特徴とする請求項１記載の走行路推定装置。
【請求項４】
上記走行路推定部は、上記逆投影路肩候補点画像において路肩点を探索する探索領域を設定し且つ該設定した探索領域を複数の水平線で分割して複数の分割領域を設定し、さらに、該各分割領域内で路肩候補点を中心として探索原点と路肩候補点とを結ぶ直線上に設けられた２つの領域内における路肩候補点数の関係から得られた路肩度を垂直方向に投影し、該投影値が大きい位置を分割領域内における路肩の水平位置として走行路を推定するように構成されていることを特徴とする請求項１記載の走行路推定装置。
【請求項５】
上記走行路推定部は、上記逆投影路肩候補点画像において上記車両に近い位置から遠方へ向かって順番に路肩点を選択していくように構成されていることを特徴とする請求項４記載の走行路推定装置。
【請求項６】
上記走行路推定部は、上記逆投影路肩候補点画像中の路肩候補点において、路肩候補点を中心として探索原点と該路肩候補点とを結ぶ直線上に設けられた２つの領域内における路肩候補点数の関係から得られた路肩度を蓄積するとともに、該路肩度が大きい点を結ぶことで走行路を推定するように構成されていることを特徴とする請求項１記載の走行路推定装置。
【請求項７】
上記道路外領域検出部は、道路面と高さが異なる路肩候補点を補間するように構成されていることを特徴とする請求項１乃至６のいずれか一項に記載の走行路推定装置。
【請求項８】
コンピュータを、車両に設置された第一及び第二ＴＶカメラで撮影した画像を入力する画像入力手段と、初期変換パラメータを用いて上記第一ＴＶカメラより入力した画像を変換する変換画像作成手段と、該変換画像作成手段で作成した変換画像と上記第二ＴＶカメラより入力した画像から道路面と高さが異なる路肩候補点を検出する道路外領域検出手段と、該道路外領域検出手段で検出した路肩候補点を道路面へ逆投影した画像を作成する逆投影路肩候補点画像作成手段と、該逆投影路肩候補点画像作成手段で作成した逆投影路肩候補点画像中の路肩候補点の中から、路肩候補点を中心として探索原点と路肩候補点とを結ぶ直線上に設けられた２つの領域内における路肩候補点数の関係から真の路肩点を選択して、走行路を推定する走行路推定手段、として機能させることを特徴とするプログラム。
【請求項１】
移動体に搭載され、該移動体の移動方向前方を撮像する第一及び第二ＴＶカメラと、
上記第一ＴＶカメラにより撮像された画像を蓄積する第一画像メモリ、及び、上記第二ＴＶカメラより撮像された画像を蓄積する第二画像メモリと、
上記第一画像メモリに蓄積された画像を、初期変換パラメータを用いて変換する変換画像作成部と、
上記変換画像作成部で作成した変換画像と上記第二画像メモリに蓄積された画像とを基に、道路面と高さが異なる路肩候補点を検出する道路外領域検出部と、
上記道路外領域検出部に検出された路肩候補点を道路面へ逆投影した画像を作成する逆投影路肩候補点画像作成部と、
上記逆投影路肩候補点画像作成部で作成した逆投影路肩候補点画像中で道路領域と道路外領域の境界点として路肩点を選択して走行路を推定する走行路推定部とを具備したことを特徴とする走行路推定装置。
【請求項２】
上記走行路推定部は、上記逆投影路肩候補点画像中の路肩候補点において、路肩候補点を中心として探索原点と当該路肩候補点とを結ぶ直線上に設けられた２つの領域内における路肩候補点数の関係から得られた路肩度を基に、路肩点を選択して、走行路を推定するように構成されていることを特徴とする請求項１記載の走行路推定装置。
【請求項３】
上記走行路推定部は、上記逆投影路肩候補点画像において路肩点を探索する探索領域を設定するとともに、該設定した探索領域内の路肩候補点において、路肩候補点を中心として探索原点と該路肩候補点とを結ぶ直線上に設けられた２つの領域内における路肩候補点数の関係から得られた路肩度を基に、路肩点を選択して、走行路を推定するように構成されていることを特徴とする請求項１記載の走行路推定装置。
【請求項４】
上記走行路推定部は、上記逆投影路肩候補点画像において路肩点を探索する探索領域を設定し且つ該設定した探索領域を複数の水平線で分割して複数の分割領域を設定し、さらに、該各分割領域内で路肩候補点を中心として探索原点と路肩候補点とを結ぶ直線上に設けられた２つの領域内における路肩候補点数の関係から得られた路肩度を垂直方向に投影し、該投影値が大きい位置を分割領域内における路肩の水平位置として走行路を推定するように構成されていることを特徴とする請求項１記載の走行路推定装置。
【請求項５】
上記走行路推定部は、上記逆投影路肩候補点画像において上記車両に近い位置から遠方へ向かって順番に路肩点を選択していくように構成されていることを特徴とする請求項４記載の走行路推定装置。
【請求項６】
上記走行路推定部は、上記逆投影路肩候補点画像中の路肩候補点において、路肩候補点を中心として探索原点と該路肩候補点とを結ぶ直線上に設けられた２つの領域内における路肩候補点数の関係から得られた路肩度を蓄積するとともに、該路肩度が大きい点を結ぶことで走行路を推定するように構成されていることを特徴とする請求項１記載の走行路推定装置。
【請求項７】
上記道路外領域検出部は、道路面と高さが異なる路肩候補点を補間するように構成されていることを特徴とする請求項１乃至６のいずれか一項に記載の走行路推定装置。
【請求項８】
コンピュータを、車両に設置された第一及び第二ＴＶカメラで撮影した画像を入力する画像入力手段と、初期変換パラメータを用いて上記第一ＴＶカメラより入力した画像を変換する変換画像作成手段と、該変換画像作成手段で作成した変換画像と上記第二ＴＶカメラより入力した画像から道路面と高さが異なる路肩候補点を検出する道路外領域検出手段と、該道路外領域検出手段で検出した路肩候補点を道路面へ逆投影した画像を作成する逆投影路肩候補点画像作成手段と、該逆投影路肩候補点画像作成手段で作成した逆投影路肩候補点画像中の路肩候補点の中から、路肩候補点を中心として探索原点と路肩候補点とを結ぶ直線上に設けられた２つの領域内における路肩候補点数の関係から真の路肩点を選択して、走行路を推定する走行路推定手段、として機能させることを特徴とするプログラム。
【図１】
【図２】
【図１２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図１２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−５５３４０（Ｐ２０１０−５５３４０Ａ）
【公開日】平成２２年３月１１日（２０１０．３．１１）
【国際特許分類】
【出願番号】特願２００８−２１９０８８（Ｐ２００８−２１９０８８）
【出願日】平成２０年８月２８日（２００８．８．２８）
【出願人】（５０４２２９２８４）国立大学法人弘前大学 (162)
【出願人】（０００００３１３７）マツダ株式会社 (6,115)
【Ｆターム（参考）】
【公開日】平成２２年３月１１日（２０１０．３．１１）
【国際特許分類】
【出願日】平成２０年８月２８日（２００８．８．２８）
【出願人】（５０４２２９２８４）国立大学法人弘前大学 (162)
【出願人】（０００００３１３７）マツダ株式会社 (6,115)
【Ｆターム（参考）】
[ Back to top ]