障害物検出装置、及び障害物検出方法
【課題】道路遠方の障害物の検出ができ、障害物を検出する処理で必要とされる記憶領域の容量を抑えて処理負荷の軽減を図ることが可能な技術を提供する。
【解決手段】車両から撮影された画像から、該車両が走行する道路の領域としての画像領域を抽出し、抽出された画像領域における遠方領域を拡大して拡大画像を生成し、生成された拡大画像を記憶し、記憶された時間的に前後する拡大画像を比較するため、車両の速度に関する速度情報に基づいて車両の移動距離を算出し、時間的に前の拡大画像を該移動距離に応じた変換拡大画像に変換し、拡大画像と変換された変換拡大画像とを比較して両画像の異なる点を障害物として検出し、検出した検出結果を出力する。
【解決手段】車両から撮影された画像から、該車両が走行する道路の領域としての画像領域を抽出し、抽出された画像領域における遠方領域を拡大して拡大画像を生成し、生成された拡大画像を記憶し、記憶された時間的に前後する拡大画像を比較するため、車両の速度に関する速度情報に基づいて車両の移動距離を算出し、時間的に前の拡大画像を該移動距離に応じた変換拡大画像に変換し、拡大画像と変換された変換拡大画像とを比較して両画像の異なる点を障害物として検出し、検出した検出結果を出力する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、障害物検出装置、及び障害物検出方法の技術に関する。
【背景技術】
【0002】
車両に搭載したカメラによって例えば車両の前方を撮影し、車両前方の障害物を検出する装置が知られている。例えば、特許文献1では、車両に搭載したカメラにより車両の前方を撮影し、前後する2時刻の撮影画像について射影変換を施した後に差分をとり、その差分から時間ずれが生じた特徴点を検出し、これらの特徴点から動きベクトルのオプティカルフローを検出して車両前方の障害物を検出する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第3463858号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
センサー、レーダ、GPSを用い、車両が障害物に接近すると、アラームやモニタを通じて運転者に危険を知らせる技術が知られている。また、これらの技術と比較して、使用機器数を低減して低価格にて提供可能な技術とするため、単眼モノクロカメラ(以下、単にカメラとも称する)を車両に搭載し、搭載されたカメラによって撮影された画像列を解析することで、障害物を検出する技術が開発されている。
【0005】
カメラによって撮影された画像列を解析することで、障害物を検出する従来技術では、まず、道路平面画像(俯瞰図)を作成する。そして、作成された四角形の道路平面画像のうち、前後する2時刻の道路平面画像の差分をとり、差分から時間ずれが生じた特徴点を検出し、これらの特徴点を障害物として検出する。
【0006】
ここで、上記従来技術では、遠くの障害物の有無の判定は、道路平面画像の大きさを大きくすること、すなわち、道路平面画像における車両の前方方向の長さを長くすることで可能となる。つまり、上記従来技術では、作成される道路平面画像を大きくすればするほど、より遠くまで障害物の有無の判定を行うことが可能となる。
【0007】
しかしながら、作成される道路平面画像を大きくすることで、より遠の障害物の検出が可能となるものの、道路平面画像を大きくすればするほど、道路平面画像を作成する際に必要となる記憶領域の容量が大きくなり、処理装置の処理負荷が大きくなる。なお、道路平面画像を小さくすることで、当然、道路平面画像を作成する際に必要となる記憶領域の容量を小さくし、処理装置の処理負担を小さくすることができる。しかし、遠くの障害物の検出ができなくなり、障害物が存在することを運転者に知らせるタイミングが遅くなることが懸念される。
【0008】
本発明では、道路遠方の障害物の検出ができ、障害物を検出する処理で必要とされる記憶領域の容量を抑えて処理負荷の軽減を図ることが可能な技術を提供することを課題とする。
【課題を解決するための手段】
【0009】
本発明では、上述した課題を解決するため、車両から撮影した画像を道路平面画像に変換せず、車両から撮影した画像における道路遠方領域を拡大し、時間的に前の画像と比較
することで、道路遠方の障害物を検出することとした。
【0010】
より詳細には、本発明は、車両の周囲における少なくとも一方向を撮影し、撮影された画像から前記一方向に存在する障害物を検出する障害物検出装置であって、前記画像から、該車両が走行する道路の領域としての画像領域を抽出する抽出部と、前記抽出部で抽出される画像領域における遠方領域を拡大して拡大画像を生成する拡大画像生成部と、前記拡大画像生成部で生成される拡大画像を記憶する記憶部と、前記記憶部に記憶される、時間的に前後する拡大画像を比較するため、車両の速度に関する速度情報に基づいて車両の移動距離を算出し、時間的に前の拡大画像を該移動距離に応じた変換拡大画像に変換する拡大画像変換部と、前記拡大画像と前記拡大画像変換部によって変換された変換拡大画像とを比較して両画像の異なる点を障害物として検出する障害物検出部と、前記障害物検出部が検出した検出結果を出力する出力部と、を備える。
【0011】
上述したように、道路平面画像を用いて障害物を検出する従来の技術では、道路上の遠方の障害物を検出するためには、作成する道路平面画像を大きく、極端に言えば無限大まで拡大する必要があった。これに対し本発明に係る障害物検出装置では、道路平面画像を作成することなく障害物の検出が可能であることから、従来の道路平面画像を作成する技術に比べて使用する記憶領域を低減でき、処理負荷の軽減を実現できる。
【0012】
撮影される方向は、車両の周囲であればよく、特に限定されるものではないが、車両の前方や後方、特には前方が好ましい。撮影は、車両の周囲を連続的に撮影可能な撮影手段によって行うことができる。最も簡易な撮影手段として、単眼モノクロカメラが例示されるが、撮影手段は、カラーに対応したカメラでもよい。本発明における障害物とは、車両が走行する道路上の障害物であり、道路面上から上方に突出しているもの、特に道路に対して相対的に移動するもの、換言すると、障害物検出装置が搭載される車両の速度に依存せずに移動するものを意味する。具体的には、障害物には、他の車両や歩行者が例示される。
【0013】
抽出部は、画像から道路の領域を含む画像領域を抽出する。道路には、自車両の走行車線の他、隣接する車線や、路側帯、歩道も含めることができる。道路の領域は、上記のように特定される道路と隣接する他の領域との境界によって形成される。例えば、道路が自車両の走行車線である場合、自車両の走行車線と隣接する車線、路側帯、歩道との境界に挟まれた領域が道路の領域に相当する。なお、例えば、画像が車両の前方の画像である場合、画像には、道路の領域の幅が、車両に近いほど広く、車両から離れるにつれて狭く写る。
【0014】
拡大画像生成部は、抽出される画像領域における遠方領域を拡大して拡大画像を生成する。遠方領域とは、車両から離れた領域であり、例えば、画像が車両の前方の画像である場合、道路幅が車両に近い部分と比較して狭く写る領域であり、車両から10m以上離れた領域を遠方領域とすることができる。遠方領域を拡大することで、遠方領域に障害物が存在する場合、遠方領域に存在する障害物も拡大されることになる。その結果、障害物の特定が容易となり、遠方領域に存在する障害物検出の精度が向上される。
【0015】
記憶部は、拡大画像を記憶する。具体的には、記憶部は、撮影された画像であって、拡大画像生成部によって拡大された拡大画像を順次記憶する。すなわち、記憶部には、時間的に前後する拡大画像が複数記憶されることになる。なお、本発明では、道路平面画像を作成することなく障害物の検出が可能であることから、記憶部の記憶領域の容量を従来よりも低減することができる。
【0016】
拡大画像変換部は、拡大画像を移動距離に応じた変換拡大画像に変換する。変換拡大画
像に変換されるのは、比較する拡大画像のうち、時間的に前の拡大画像、すなわちより古い拡大画像である。時間的に前の拡大画像は、車両の移動を踏まえて時系列的に変化させると、本来、時間的に後の拡大画像と一致することになる。そこで、本発明では、移動距離に応じて、時間的に前の拡大画像を変換拡大画像に変換する。速度情報は、車両から得ることができる。
【0017】
障害物検出部は、拡大画像と拡大画像変換部によって変換された変換拡大画像とを比較して両画像の異なる点を障害物として検出する。変換拡大画像は、移動距離に応じた画像であり、時系列的に変化させた画像であるが、この時系列的な変化とは、あくまで車両の速度に依存した変化である。換言すると、車両の速度に依存しない変化は、含まれない。従って、拡大画像と拡大画像変換部によって変換された変換拡大画像とを比較することで両画像の異なる点を抽出することが可能となる。異なる点は、車両の速度に依存しない変化として現れるものであり障害物に相当する。
【0018】
出力部は、検出結果を出力する。出力結果は、障害物検出装置の使用者、例えば車両の運転者や搭乗者が認識可能な態様で出力することができる。出力結果は、例えば、映像により視覚を通じて出力してもよく、また、音により聴覚を通じて出力してもよい。
【0019】
ここで、本発明において、前記抽出部は、前記画像に含まれる、道路の境界に関する境界情報を抽出し、該境界情報から前記画像の消失点を算出し、該消失点を頂点とする、前記道路の領域としての三角形の画像領域を抽出し、前記拡大画像生成部は、前記抽出部で抽出される画像領域における消失点近傍を拡大して四角形の拡大画像を生成するようにしてもよい。
【0020】
抽出部は、境界情報から画像の消失点を算出し、三角形の画像領域を抽出する。境界情報とは、車両が走行する道路と他の領域とを区別するために用いられる情報であり、道路に沿って延びる車線、車道と歩道との境界に設けられる境界線、道路の脇に設けられる縁石や側溝などに関する情報が含まれる。ここで、消失点とは、二つの直線が交わる交点であり、本発明では、境界情報に基づいて算出される。従って、境界情報には、少なくとも二つの直線を特定するための情報が含まれる。三角形の画像領域は、消失点からなる頂点と、頂点から伸びる二つの直線を有する。二つの直線(斜辺)は、消失点を算出するために用いられる線であり、換言すると車両が走行する道路と道路に隣接する他の領域とを区別する線である。なお、三角形の画像領域を形成する底辺の位置によって、障害物の検出可能領域、特に車両に近い領域においてどの程度まで障害物を検出するか否かが特定される。
【0021】
拡大画像生成部は、消失点近傍を拡大して拡大画像を生成する。消失点近傍を拡大するとは、消失点近傍の画像を撮影の方向と直交する水平方向へ引き伸ばすことを意味する。これにより、三角形の画像領域が四角形の拡大画像に変換される。また、消失点は、車両から最も離れた位置に対応する。従って、消失点近傍を拡大することで、消失点近傍に障害物が存在する場合、消失点近傍に存在する障害物も拡大されることになる。その結果、障害物の特定が容易となり、障害物検出の精度が向上される。
【0022】
なお、本発明は、上述した障害物検出装置に加えて、車両の周囲を撮影する撮影手段と、障害物検出が検出した検出結果を表示する表示手段とのうち、少なくともいずれか一方を含む障害物検出システムとして構成してもよい。
【0023】
また、本発明は、上述した障害物検出装置で実行される処理を実現させる障害物検出方法として特定することもできる。具体的には、本発明は、車両の周囲における少なくとも一方向を撮影し、撮影された画像から前記一方向に存在する障害物を検出する障害物検出
方法であって、前記画像から、該車両が走行する道路の領域を含む画像領域を抽出する抽出ステップと、前記抽出ステップで抽出される画像領域における遠方領域を拡大して拡大画像を生成する拡大画像生成ステップと、前記拡大画像生成ステップで生成される拡大画像を記憶する記憶ステップと、前記記憶ステップで記憶される、時間的に前後する拡大画像を比較するため、車両の速度に関する速度情報に基づいて車両の移動距離を算出し、時間的に前の拡大画像を該移動距離に応じた変換拡大画像に変換する拡大画像変換ステップと、前記拡大画像と前記拡大画像変換ステップによって変換された変換拡大画像とを比較して両画像の異なる点を障害物として検出する障害物検出ステップと、前記障害物検出ステップで検出される検出結果を出力する出力ステップと、をコンピュータが実行する障害物検出方法である。
【0024】
また、本発明に係る障害物検出方法において、前記抽出ステップでは、前記画像に含まれる、道路の境界に関する境界情報を抽出し、該境界情報から前記画像の消失点を算出し、該消失点を頂点とする、前記道路の領域としての三角形の画像領域を抽出し、前記拡大画像生成ステップでは、前記抽出ステップで抽出される画像領域における消失点近傍を拡大して四角形の拡大画像を生成するようにしてもよい。
【0025】
なお、本発明は、上述した障害物検出装置で実行される処理を実現させるプログラムであってもよい。更に、本発明は、そのようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この場合、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行することにより、その機能を提供させることができる。なお、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、又は化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。
【発明の効果】
【0026】
本発明によれば、道路遠方の障害物の検出ができ、障害物を検出する処理で必要とされる記憶領域の容量を抑えて処理負荷の軽減を図ることが可能な技術を提供することができる。
【図面の簡単な説明】
【0027】
【図1】実施形態に係る障害物検出装置の概略構成を示す。
【図2】カメラの設置状況を示す。
【図3】遠方障害物検出処理フローを示す。
【図4】ヘッセの標準系による直線の表示を示す。
【図5】画像の左右から直線を検出した様子を示す。
【図6A】カメラで撮影された画像の一例を示す。
【図6B】図6Aに対応する画像から作成したエッジ画像を示す。
【図6C】図6Aに対応する、直線の存在を表す配列HL、HRを示す。
【図6D】ハフ変換で得られた2直線を画像に当てはめた画像を示す。
【図6E】三角形の画像領域が抽出された画像を示す。
【図6F】消失点の近傍が拡大された四角形の拡大画像を示す。
【図6G】移動距離に応じた時間的に前の変換拡大画像を示す。
【図6H】拡大画像と拡大画像変換部によって変換された変換拡大画像との差分から生成される差分画像を示す。
【図7】途切れた白線の片側の一方の境界と、別の白線の反対側の境界をなすエッジ点が選ばれることを示す。
【図8】白線や路側帯とは別の、同一直線上に検出されたエッジ点を通るものが選ばれることを示す。
【図9】次フレーム(時間的に後の拡大画像)の変形拡大画像の作成方法を示す。
【図10】カメラ座標系と車両座標系を示す。
【図11】射影処理において視点Oから出て画像上の点(x,y)を通る視線と道路面X=−hとの交点(X,Y,Z)の画素値が、画像上の(x,y)へと写る様子を示す。
【図12】道路上に突起した物体の障害物検出原理を示す。
【図13】道路面の障害物の検出の原理を示す。
【図14】実施例における、全750フレームのビデオ画像列の一部を示す。
【図15】実施例における、ハフ変換により画像の左右から1本ずつ直線を検出し、その交点(消失点)に黒丸印をつけた画像列の一部を示す。
【図16】実施例における、消失点付近を左右に拡大した遠方領域拡大画像列の一部を示す。
【図17】俯瞰図を用いた処理による障害物検出結果と遠方障害物検出処理による障害物検出結果を並べて表示させたものを示す。
【発明を実施するための形態】
【0028】
次に、本発明の障害物検出装置の実施形態について図面に基づいて説明する。以下では、カメラ2、障害物検出装置3、表示装置4を含む障障害物検出システム6として説明する。障害物検出装置3は、車両1に搭載され、カメラ2で撮影された画像を解析して、車両1の前方における道路上の障害物20を検出する。以下、図面では、障害物としての他の車両には、符号21を付し、障害物としての歩行者には、符号22を付すものとする。特に、区別する必要がない場合には、単に障害物20と称する。検出結果は、表示装置4に表示される他、車両1に搭載されたスピーカ(図示せず)を通じて音声として出力される。以下に説明する実施形態は例示にすぎず、本発明は、以下に説明する実施形態に限定されるものではない。例えば、検出結果は、車両1の記憶装置やECU(Electrical Control Unit)等に対して出力し、PCS(Pre-crash Safety System)などの車両制御に用いるようにしてもよい。
【0029】
[構成]
実施形態に係る障障害物検出システム6は、カメラ2、障害物検出装置3、表示装置4を備える。カメラ2、障害物検出装置3、表示装置4は、何れも車両1に搭載され、互いに電気的に接続されている。
【0030】
カメラ2は、本実施形態では、図2に示すように、車両1の前方を撮影するため、バックミラー11の非鏡面側に設けられている。本実施形態では、カメラ2として単眼モノクロカメラが用いられており、車両1の前方を連続的に撮影する。撮影された画像には、障害物20を含む車両1の前方の状況に関する情報が含まれる。本実施形態における障害物20とは、車両が走行する道路上の障害物であり、他の車両21や歩行者22(道路の横断者を含む)が例示される。なお、カメラ2は、カラーに対応したカメラでもよい。
【0031】
障害物検出装置3は、カメラ2で撮影された画像を解析して、車両1の前方における道路上の障害物20を検出する。具体的には、制御部5を備え、障害物検出装置3が備える各構成を制御する。制御部5は、CPU(Central Processing Unit)50、メモリ51
等を含むコンピュータとコンピュータ上で実行されるプログラムによって実現することができる。メモリ51は、揮発性のRAM(Random Access Memory)と、不揮発性のROM(Read Only Memory)を含む。ROMには、フラッシュメモリ、EPROM(Erasable Programmable Read-Only Memory)、EEPROM(Electrically Erasable Programmable
Read-Only Memory)のような書き換え可能な半導体メモリを含む。CPU50は、RO
Mに格納されている、障害物検出装置3を制御するための各種プログラムをRAMのワークエリアに展開し、制御部5に入力される各種データに応じて、各種プログラムに従った処理を実行する。制御部5が有する各構成は、CPU50上で実行されるコンピュータプ
ログラムとして構成することができる。また、各構成は、専用のプロセッサとして構成してもよい。制御部5が有する各構成には、抽出部52、拡大画像生成部53、記憶部54、拡大画像変換部55、障害物検出部56、出力部57が含まれる。
【0032】
抽出部52は、カメラ2で撮影された画像から、道路の境界11、12に関する境界情報を抽出し、該境界情報から画像の消失点13を算出し、消失点13を頂点とする、道路の領域としての三角形の画像領域16を抽出する(図6E参照)。
【0033】
拡大画像生成部53は、抽出部52で抽出される画像領域16における消失点13近傍を拡大して四角形の拡大画像を生成する(図6F参照)。
【0034】
記憶部54は、撮影された画像であって、拡大画像生成部53によって拡大された拡大画像をメモリ51内の所定の記憶領域に順次記憶させる。メモリ51には、時間的に前後する拡大画像が複数記憶される。
【0035】
拡大画像変換部55は、時間的に前の拡大画像を移動距離に応じた変換拡大画像に変換する。移動距離は、速度情報に基づいて算出される。速度情報は、車両1内から適宜取得することができる。
【0036】
障害物検出部56は、拡大画像と拡大画像変換部53によって変換された変換拡大画像とを比較して、両画像の異なる点を障害物として検出する。本実施形態では、障害物検出部56は、拡大画像と拡大画像変換部53によって変換された変換拡大画像との差分画像を生成し、適当な閾値による2値化を行うことで障害物を検出する(図6H参照)。
【0037】
[処理フロー]
次に上述した実施形態に係る障害物検出装置3で実行される処理(以下、遠方障害物検出処理ともいう)について説明する。ここで、図3は、道路遠方の障害物を検出する遠方障害物検出処理フローを示す。以下で説明する遠方障害物検出処理の順序は、一例にすぎず、実施の形態に応じて適宜入れ替えてもよい。以下の説明では、所定の速度で走行中の車両1に搭載されたカメラ2によって車両1の前方を撮影し(図2参照)、前方の障害物20、特に遠方に出現する障害物20を検出する場合を一例として説明する。ここで、遠方障害物検出処理では、車両1に搭載されたカメラ2から撮影した道路ビデオ画像(本発明の画像に相当する。以下、単に画像という)を道路面に射影するのではなく、道路遠方部分を左右に引き伸ばし、後フレーム(本発明の時間的に後の画像に対応する変換拡大画像に相当する。)と前フレーム(本発明の時間的に前の画像に対応する変換拡大画像に相当する。)との差分を取ることにより、差分画像を生成し、これに基づいて道路遠方の障害物を検出する。従って、遠方障害物検出処理は、道路遠方の障害物20の検出に特に適している。一方で、車両1から近い領域に存在する障害物20については、画像を道路面に射影する既存の技術(以下、俯瞰図を用いた処理ともいう。)によっても検出可能であり、遠方障害物検出処理と俯瞰図を用いた処理は併用して用いることもできる。そこで、俯瞰図を用いた処理についても、遠方障害物検出処理の説明後に説明する。
【0038】
(三角形の画像領域を抽出)
ステップS01では、抽出部52は、カメラ2で撮影された画像から、三角形の画像領域16を抽出する。本実施形態では、白線又は路側帯の境界を道路の境界11、12(以下、道路の境界を特に区別する必要がない場合には、単に道路の境界11という。)に関する境界情報として抽出し、道路の境界11によって算出される2直線14、15(以下、直線を特に区別する必要ながない場合には、直線14という。)の交点から消失点13を算出し、消失点13を頂点とする、道路の領域としての三角形の画像領域16を抽出する。ここで、図6Aは、カメラ2で撮影された画像の一例であり、図6Bは、図6Aに対
応する画像から作成したエッジ画像である。図6Cは、図6Aに対応する、直線の存在を表す配列HL、HRを示す。また、図6Dは、ハフ変換で得られた2直線を画像に当てはめた画像を示す。更に、図6Eは、三角形の画像領域が抽出された画像を示す。
【0039】
(ハフ変換における直線の投票と検出)
ここで、抽出部52による三角形の画像領域16の抽出は、ハフ変換によって行うことができる。そこで、まず、ハフ変換について説明する。ハフ変換とは、画像の特徴点を最も多く通る直線を決定する手法である。換言すると、ハフ変換とは、画像に最もよく合う直線を決定することであり、画像処理において幅広く用いられている手法である。この手法を用いるに際し、直線14を数1に示すへッセ(Hesse)の標準型で表す。図4は、ヘ
ッセの標準系による直線の表示を示す。また、図5は、画像の左右から直線を検出した様子を示す。
【0040】
【数1】
【0041】
数1は、原点からの距離がhであり、その単位法線べクトルnがx軸から角度θをなす
直線14を表す。すなわち、ヘッセの標準系によれば、直線14を原点Oからの距離hと角度θによって一意的に表すことができる。本実施形態では画像の中心を座標原点Oとし、x軸を上方に、y軸を右方にとる。画像の左右から路側帯若しくは白線からなる道路の境界11が検出されるが、x軸と直線との成す角度の範囲は30°、距離の範囲は100画素とし、左側の直線の向きθLと距離hL、および右側の直線の向きθRと距離hRの範囲は例えば数2のように設定される。設定範囲は、下記に限定されるものではなく、画像に写りこむ白線や路側帯からなる直線14の形状に関する過去のデータや実験データに基づいて設定することができる。
【0042】
【数2】
【0043】
設定範囲を設定したら、左右の直線14、15候補に対応する31×101の整数型配列HL(i,j),HR(i,j)を用意する。そしてエッジ画像(図6B参照)の左半分と右半分からエッジ画素(x,y)を取り出し、各画素ごとにi=0、1,・・・,30に対して以下の計算を行う。
【0044】
まず、画像の左半分及び右半分について、左側の直線15の向きθL及び右側の直線14の向きθRを夫々求める(数3参照)。
【0045】
【数3】
【0046】
次に、画像の左半分及び右半分について、原点Oから左側の直線15までの距離hL及び原点Oから右側の直線14までの距離hRを夫々求める(数4参照)。
【0047】
【数4】
【0048】
そして、画像の左半分及び右半分について、配列HL、HRの値を数5のように更新する。なお、配列の31×101の範囲をはみ出すものは無視するものとする。
【0049】
【数5】
【0050】
このようにして得られた配列HL、HRの要素(i,j)の値は、その(i,j)に対応する直線{hR,θR}、{hL,θL}の近傍の重みつき画素数である。そこでHL、HRの最大要素をそれぞれHL(iL,jL)、HR(iR,jR)とすると、それぞれが表す直線14、15は数6のようになる。
【0051】
【数6】
【0052】
なお、図6Cは、図6Aに対応する、直線の存在を表す配列HL、HRを示す。また、図6Dは、ハフ変換で得られた2直線14、15を画像に当てはめた画像を示す。
【0053】
(消失点の計算)
次に、消失点13の計算について説明する。消失点13は、数6で示される2直線14、15の交点として算出される。具体的には、消失点13の座標は、次のようにして求められる。まず、数6から得られたθL,hL,θR,hRを用いてべクトルnL,nRを定義する(数7参照)。
【0054】
【数7】
【0055】
次に、上記二つのベクトルnL,nRのベクトル積uを求める(数8参照)。
【0056】
【数8】
【0057】
その結果、2直線14、15の交点(xv,yv)が得られる(数9参照)。
【0058】
【数9】
【0059】
ここで、上述したように、ハフ変換は同一直線上に並んだエッジ点をなるべく多く通る直線を検出するものであるが、そのエッジ点が直線上に並んでいても、それが同じ直線の境界線となっているとは限らない。例えば、道路遠方の景色は原画像上において写りこむ範囲が小さいことから、エッジを検出する際に精度よくエッジ点を検出できるとは限らない。従って、途切れた白線の一方の境界ともうーつの白線の反対側の境界をつないだ直線14aが当てはまることも想定される。図7は、途切れた白線の片側の一方の境界と、別の白線の反対側の境界をなすエッジ点が選ばれることを示す。また、建物7と空の境界と道路上のエッジ点が数多く検出された領域(「とまれ」や「バス専用」等の文字が書き込まれている領域など)とをつなぐ直線15aを検出してしまった場合も存在する。図8は、白線や路側帯とは別の、同一直線上に検出されたエッジ点を通るものが選ばれることを示す。
【0060】
上記のような課題を解決するため、各エッジ点に「方向」をつけるようにしてもよい。具体的には、以下の手順による。エッジ検出は画像の輝度値の微分を利用しているので、各エッジ点では揮度値Iが最も増力する方向が計算される(数10参照)。
【0061】
【数10】
【0062】
但し、Ix,Iyは、それぞれ輝度値Iのx軸方向、y軸方向の微分である。そこで、数10において、▽Iの方向角をφとすると、cosφ及びsinφは、数11のようになる。
【0063】
【数11】
【0064】
ここで、この方向の単位ベクトル(数12参照)と直線14の単位法線ベクトル(数13参照)の内積は、数14のようになる。
【0065】
【数12】
【0066】
【数13】
【0067】
【数14】
【0068】
数14で計算される内積cは、輝度値が直線の法線べクトルn方向に増加していると正
、直線の方向に沿って増加していると0、直線の法線べクトルnと反対方向に増加してい
ると負となる。従って、ハフ変換の行列Hに整数ではなく実数cを投票することによって、例えば白線14を横断するように当てはまっていた直線14では、異なる部分のエッジ点のcの符号が反対となり、投票された値がより0に近くなり選ばれにくくなる。具体的には上記数5を数15のように更新する。
【0069】
【数15】
【0070】
そしてHL、HRの絶対値が最大の要素をそれぞれHL(iL,jL)、HR(iR,jR)とし、上記計算を繰り返す。その結果、白線や路側帯からなる道路の境界11、12を、より厳密に検出することが可能となる。
【0071】
道路の境界11を検出したら、次に、画像の左右の端における道路面との境界のx座標をxaとする。道路面は、道路面とみなせる面でもよい。これにより、画像中の道路領域は、前述したようにハフ変換による白線検出から推定した消失点16(xv,yv)を頂点とし、2点(xa1+(M−1)/2)、(xa1−(M−1)/2)を結ぶ水平線を底辺とする三角形の画像領域16となる。Mは画像の横幅である。
【0072】
以上により、ステップ01における三角形の画像領域16の抽出が完了する。三角形の画像領域16の抽出が完了すると、ステップS02へ進む。
【0073】
(拡大画像の生成)
ステップS02では、拡大画像生成部53は、抽出部52で抽出される三角形の画像領域16における消失点13の近傍を拡大して四角形の拡大画像を生成する(図6F参照)。具体的には、以下の手順で行われる。上述したように、画像中の三角形の画像領域16は、前述したようにハフ変換による道路の境界11から生成される直線14から推定した消失点(xv,yv)を頂点とし、2点(xa1+(M−1)/2)、(xa1−(M−1)/2)を結ぶ水平線を底辺とする三角形の画像領域16となる。道路上の遠方領域は、この三角形の頂点(xv,yv)、すなわち消失点13付近に圧縮されているため、このままでは精度が足りず、解析が困難である。そこで、この三角形の画像領域16の頂点のーつである消失点13(xv,yv)を左右に引き伸ばし、長方形領域へと変換する(数16参照)。
【0074】
【数16】
【0075】
数16において、それぞれx,yについて解くと数17で表される。
【0076】
【数17】
【0077】
そして、メモリ51内に、三角形の画像領域16を拡大した画像を保存する記憶領域を
予め用意しておき、その画像領域16の各点(x´,y´)に対して、数17によって(x,y)を計算し、画像上のその点を(x´,y´)へコピーする。なお、x=xv(消失点を通る水平線)上は特異点となるため計算しない方がよい。これにより、数16において零除算の発生を抑えることができる。すなわち、処理負荷の軽減を図ることができる。
【0078】
以上により、ステップ02における拡大画像の生成が完了する。拡大画像の生成が完了すると、ステップS03へ進む。
【0079】
(変換拡大画像への変換)
ステップS03では、拡大画像変換部55は、時間的に前の拡大画像を移動距離に応じた変換拡大画像に変換する(図G参照)。ここで、上述したように消失点13の近傍を拡大しても直線y´=0の位置は画像上と同じ位置にある。従って、その直線上の点を道路面上に写像すると、数18のようなZ軸上の点となる。
【0080】
【数18】
【0081】
また、車両1が速度V(画素/フレーム)で移動しているとすれば、1フレーム前(時
間的に前)における直線y´=0のZ軸上の位置は、数19のようになる。
【0082】
【数19】
【0083】
この点を画像上に逆写像した位置のx´座標は、数20のようになる。
【0084】
【数20】
【0085】
従って、変形拡大画像と時間的に1時刻前の変形拡大画像とを合わせるためには、図9のように処理する必要がある。図9は、次フレーム(時間的に後の拡大画像)の変形拡大画像の作成方法を示す。具体的には、まず、変形拡大画像の各点(x´,y´)に対して、数18を計算し、直線上の点を道路面上に写像しZ軸上の点を求める。次に、車両が速度V(画素/フレーム)で移動しているとして、時間的に前の変形拡大画像のZ軸上の位
置を、数19より求める。次に、Z軸上の位置を画像上に逆写像した位置のx´座標を、数20から求める。そして、時間的に前の変形拡大画像の点(x´−1,y´)の輝度値を点(x´,y´)へコピーする。
【0086】
以上により、変換拡大画像への変換が完了する。変換拡大画像への変換が完了すると、ステップS04へ進む。
【0087】
(障害物の検出)
ステップS04では、拡大画像と拡大画像変換部55によって変換された変換拡大画像との差画像を生成し、適当な閾値による2値化を行うことで障害物20を検出する(図6
H参照)。その後、出力部57により、検出結果を表示装置4へ出力する。表示装置4に出力するに際しては、検出された障害物の周囲を点滅させたり、障害物を着色するなどして、より識別しやすい態様にすることが好ましい。なお、表示装置4に表示すると共に、スピーカを通じて音声により障害物を存在することを報知するようにしてもよい。
【0088】
(俯瞰図を用いた処理)
上述した遠方障害物検出処理は、上述したように、俯瞰図を用いた処理と併用して用いることもできる。そこで、カメラ2で撮影された画像を道路面に射影する、俯瞰図を用いた処理について以下に説明する。なお、遠方障害物検出処理と俯瞰図を用いた処理とを併用する場合には、例えば車両1から10m以上離れた障害物20の検出については、遠方障害物検出処理を用い、車両1から10mより近い領域に存在する障害物20の検出については、俯瞰図を用いた処理を用いることができる。なお、以下に説明する処理は、制御部5のCPU50によって行うことができる。
【0089】
ここで、図10は、俯瞰図を用いた処理におけるカメラ座標系と車両座標系を示し、図11は、俯瞰図を用いた処理において視点Oから出て画像上の点(x,y)を通る視線と道路面X=−hとの交点(X,Y,Z)の画素値が、画像上の(x,y)へと写る様子を示す。
【0090】
俯瞰図を用いた処理では、カメラ2により撮影された画像を道路上方から撮影したかのような道路平面画像(俯瞰図)を作成し、現在の道路平面画像と時間的に前の道路平面画像(前フレームの道路平面画像)の差分から障害物を検出する。
【0091】
まず、車両画像系とカメラ画像系について説明する。車両画像系とは、カメラ2の視点(レンズ中心)を原点にとり、鉛直上方をX軸、水平横方向をY軸、水平前方をZ軸とするものである。カメラ座標系とは、カメラの光軸方向(斜め下方)にZ軸をとり、水平横方向にY軸(車両画像系のY軸と一致)をとり、Y軸に直交するようにX軸を斜め上方とするものである。このとき、カメラ2が、角度αだけ下方に傾いているとすると、車両画像系(数21の左辺)とカメラ画像系(数21の右辺)は、数21で表される。
【0092】
【数21】
【0093】
道路面は、車両画像系に対して−hとすると、画像面上の点(x,y)に見える道路面上の点(X,Y,Z)は、数22のようになる。hとは、道路面からカメラ2までの垂直高さである。
【0094】
【数22】
【0095】
更に、上記道路面上の点(X,Y,Z)について、カメラ画像系に変換すると数23のようになる。
【0096】
【数23】
【0097】
次に、道路平面画像の作成について説明する。まず、数23の関係を用いて、カメラ画像系における道路面上の点(x,y)を車両画像系における道路面上の点に写像する。この際、カメラ2の高さhで割った座標系は、数24に示され、数24で示される座標系が道路面上の座標系と考える。
【0098】
【数24】
【0099】
ここで、画像の縦(x方向)の幅をN、画像の横(y方向)の幅をMとし、画像の左右の縁における道路面あるいは水平な地面と垂直物(建物など)との境界面の位置を(xa1±(M−1)/2)とすると、カメラ画像系における道路面上の点(x,y)は、数25に示す点に写像される。
【0100】
【数25】
【0101】
また、画像上の左右の縁における車両のボンネットの部分が写る境界を(xb1±(M−1)/2)とすると、カメラ画像系における道路面上の点(x,y)は、数26に示す点に写像される。
【0102】
【数26】
【0103】
ここで、道路面上の、数27に示される長方形領域を考える。
【0104】
【数27】
【0105】
点Zの最大値は、どこまで前方を表示するかによって決定される。従って、前方を全て表示する場合には、点Zの最大値は、無限となる。また、数27に示される長方形領域を正方形にするならば、点Zの最大値は、数28のようになる。
【0106】
【数28】
【0107】
ここで、数27において、点Zの最大値は、大きいほど作成する平面画像が大きくなり、より遠くまで障害物の有無の判定を行うことが可能となる。しかし、それと同時に道路平面画像を作成する際に必要となる記憶装置の記憶領域の容量が大きくなり、処理装置の処理負担が大きくなる。更に、車両から障害物までの距離が遠ければ遠いほど、撮影した画像上に映る範囲は当然小さくなり、その領域を拡大して書き込むため、判定精度の低下は避けられない。なお、点Zの最大値を小さくすることで道路平面画像を作成する際に必要となる記憶装置の容量を小さくし、処理装置の処理負担を小さくすることができる。しかし、障害物が存在することを運転者に知らせるタイミングが遅くなることが懸念される。従って、上記を踏まえて数7で示される長方形領域、換言すると表示領域の最小値及び最大値を決定する必要がある。そこで、本実施形態では、遠方における障害物20の検出については、上述した遠方障害物検出処理を用いる。
【0108】
数27で示される長方形領域、換言すると表示領域の最小値及び最大値が決定されると、表示領域に相当する記憶装置の記憶領域(画像バッファ)を定め、画像を写像する。具体的には、範囲が決定された表示領域の各画素に相当する画像面上の画素(x,y)を計算し、その画素の輝度値を数24、25、26で示される座標系の各点にコピーする。これを表示領域の全ての画素に対して行うことで、数29に示す逆写像が得られる。
【0109】
【数29】
【0110】
ここで、算出された逆写像(x,y)は、必ずしも整数値ではないので、周辺の画素の双一次補間によって決定する。
【0111】
次に双一次補間について説明する。双一次補間は、まず、サイズM×Nの画像Iから実数(i,j)の位置の輝度値を得るために行われものであり、次のように行われる。以下、k,l,ε,ηは実数、K,Lは整数とする。
【0112】
まず、k<0、または、k≧M、L<0、または、l≧Nの場合、フレームからはみ出た領域を0として処理する。これにより、(k,l)は、無限の範囲をとり得る。
【0113】
次に、k<0、または、k≧M、L<0、または、l≧Nでない場合、整数部分K,Lと小数部分ε,ηを数30のように計算する。なお、数30における一番左の式の右辺は、kの整数部分(切捨て)を表す床関数(floor)である。
【0114】
【数30】
【0115】
次に、I(I,J)とI(I,J+1)をη:1−ηに内分し、I(I+1,J)とI(I,J+1)をη:1−ηに内分し、それらをε:1−εに内分する(数31参照)。
【0116】
【数31】
【0117】
次に障害物20の検出について説明する。まず、車両1からみた前方の画像を上述のように道路面に写像する。道路面は、水平であると仮定し、その上を車両1が速度V/フレームで直進するとする。その時、道路上の物体は、相対的に速度−V/フレームで車両に近づいてきていると解釈することができる。すなわち、道路面上の点は、フレーム間でV/hだけ鉛直下方向へ平行移動すると解釈することができる。従って、前フレームの道路平面画像をV/hだけ鉛直下方向へ平行移動すれば、現フレームに一致することになる。但し、道路面上に突起した物体、すなわち歩行者22や車両21などの障害物20と考えられるものが存在すれば、道路面と映り方が異なり平行移動しない。具体的には、道路面からより離れている、すなわちより高さのあるほど道路面より速い速度で鉛直下方向へ移動する。このように、道路面上の水平でない部分は、道路面とは違った動きをする。そこで、平行移動によって時間差による位置ずれを取り除いた前フレームと現フレームの差画像を計算し、適当な閾値による2値化を行うことで、道路面上の水平でない部分を検出することが可能となる。
【0118】
具体的にには、以下の手順によって、障害物画像Etを作成する。まず、第0画像I0を画像とし、道路平面画像I0´を作成する。次に、第一画像I1を画像とし、同と面画像I1´を作成する。次に、道路平面画像I0´を鉛直下方に平行移動し、I1´と重ねて差をとり、2値化した差画像D1を作成する。そして、第2画像を画像とし、以下上記処理を繰り返す。
【0119】
ここで、図12は、道路上に突起した物体の障害物検出原理を示す。道路面に垂直な線分ABは次の時刻には車両に相対的にA´B´へ移動する。このとき、上部のAの道路面上への写像A´は、車両の移動速度Vよりも速い速度でA´へと移動する。
【0120】
図13は、道路面の障害物の検出の原理を示す。高さのある物体は、道路面から離れるに従って、道路平面上での移動距離が大きくなり、フレーム間差分をとった際に差が生じる。一方、道路標識等、道路面上に存在するものは高さがないため、フレーム間差分をとっても差は生じない。
【0121】
以上により、障害物の検出、特に車両1との距離が近い障害物の検出が可能となる。但し、俯瞰図を用いた処理では、障害物の検出状況が俯瞰図として表示される。そこで、運転者が障害物を確認し易くするため、前方を撮影した画像に障害物画像Etを写像する。具体的には、画像フレームの表示領域に相当する記憶領域をメモリ52内に用意し、その各画素(x,y)に対応する道路平面画像の位置を障害物として検出する。例えば、最大輝度値となっていれば、バッファ領域中の画素(x,y)をカラー表示する。具体的には、以下の手順で行う。
【0122】
各時刻tごとに、原画像It´の各画素(x,y)を操作し、数32に示す道路面上の位置を計算する。
【0123】
【数32】
【0124】
数32で示される位置に対応する障害物画像Etの画素が黒画素であるか、またはフレームの外であれば何もしない。一方、数12で示される位置に対応する障害物画像Etの画素が白画素であれば、原画像It´の各画素(x,y)のR値を最大諧調に、G値とB値を0に書き換える。
【0125】
(作用効果)
以上説明した実施形態に係る障害物検出装置によれば、道路の遠方の障害物の検出においては、道路平面画像を作成することなく障害物の検出が可能であることから、俯瞰図を用いた処理によって道路の遠方の障害物を検出する場合にくらべて使用する記憶領域を低減でき、処理負荷の軽減を実現できる。
【0126】
(実施例)
上述したハフ変換による直線14、15の検出と、ハフ変換により当てはめた直線14、15から推定した消失点13付近を拡大し、差画像をとることによりどの程度遠方の障害物20を検出できるかを実験した。カメラ2の設定パラメータは、表1の通りである。また、道路遠方の障害物判定の判定領域は、数33のようにした。なお、数33において、xvは、消失点13のx座標である。
【0127】
【表1】
【0128】
【数33】
【0129】
前述の実験により、ハフ変換を用いることによって、画像中の白線と道路の境界に直線14、15を精度よく、かつ自動的に当てはめることができることが確認された。この当てはめた2直線14、15の交わる点が消失点13であり、この付近を拡大することで遠方の障害物20を検出した。画像は全750フレームのビデオ画像列を用いた(図14参照)。なお、図14から図17では、全750フレームのうち、40フレーム、180フレーム、430フレームを例示する。ビデオ画像列は、見通しの良い2車線直線道路を直進しており、車両1の前方を頻繁に歩行者22が横断している。また、路上に駐車している車両を避けるために対向車が中央線をはみ出して走行したり、車両1の前方で別の車両21が車庫から出発するなど、車両1に対して危険だと考えられる要因が多数存在する設定である。この入力ビデオ画像列に対して道路遠方の障害物解析を行い、俯瞰図を用いた処理とどのような違いがあるかを確認した。ハフ変換により画像の左右から1本ずつ直線を検出し、その交点(消失点13)に黒丸印をつけた画像は図15となる。
【0130】
さらに、消失点13付近を左右に拡大した遠方領域拡大画像は図16となる。最後に、
俯瞰図を用いた処理による障害物検出結果と遠方障害物検出処理による障害物検出結果を並べて表示させたものが図17となる。画像中でドットで囲まれた領域が障害物を判定した領域である。図17を見れば分かるように、俯瞰図を用いた処理では、障害物20の判定領域が車両1の直前に広く取っているが、記憶領域の容量及び処理負荷を考慮すると、検出範囲はせいぜい車両の前方10メートル程度しか取ることができなかった。また、10メートル程離れた位置にいる歩行者22は、その足元に僅かに障害物判定が存在している程度である一方、今回の遠方障害物検出処理では、車両1からある程度距離が離れている領域で障害物判定を行うことを可能にしている。図17では俯瞰図を用いた処理では僅かに障害物20として検出することができた歩行者22も、遠方障害物検出処理によって歩行者22の全身を取り囲むように障害物検出をすることができた。また、俯瞰図を用いた処理では検出範囲外であった図17の歩行者22も障害物20として判定することができた(図17の400フレーム参照)。
【0131】
以上、本発明の好適な実施形態を説明したが、本発明に係る障害物検出装置はこれらに限らず、可能な限りこれらの組合せを含むことができる。
【符号の説明】
【0132】
1・・・車両
2・・・カメラ
3・・・障害物検出装置
4・・・表示装置
5・・・制御部
6・・・障害物検出システム
11、12・・・境界
13・・・消失点
14、15・・・直線
16・・・三角形の画像領域
20・・・障害物
21・・・他の車両
22・・・歩行者
50・・・CPU
51・・・メモリ
52・・・抽出部
53・・・拡大画像生成部
54・・・記憶部
55・・・拡大画像変換部
56・・・障害物検出部
57・・・出力部
【技術分野】
【0001】
本発明は、障害物検出装置、及び障害物検出方法の技術に関する。
【背景技術】
【0002】
車両に搭載したカメラによって例えば車両の前方を撮影し、車両前方の障害物を検出する装置が知られている。例えば、特許文献1では、車両に搭載したカメラにより車両の前方を撮影し、前後する2時刻の撮影画像について射影変換を施した後に差分をとり、その差分から時間ずれが生じた特徴点を検出し、これらの特徴点から動きベクトルのオプティカルフローを検出して車両前方の障害物を検出する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第3463858号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
センサー、レーダ、GPSを用い、車両が障害物に接近すると、アラームやモニタを通じて運転者に危険を知らせる技術が知られている。また、これらの技術と比較して、使用機器数を低減して低価格にて提供可能な技術とするため、単眼モノクロカメラ(以下、単にカメラとも称する)を車両に搭載し、搭載されたカメラによって撮影された画像列を解析することで、障害物を検出する技術が開発されている。
【0005】
カメラによって撮影された画像列を解析することで、障害物を検出する従来技術では、まず、道路平面画像(俯瞰図)を作成する。そして、作成された四角形の道路平面画像のうち、前後する2時刻の道路平面画像の差分をとり、差分から時間ずれが生じた特徴点を検出し、これらの特徴点を障害物として検出する。
【0006】
ここで、上記従来技術では、遠くの障害物の有無の判定は、道路平面画像の大きさを大きくすること、すなわち、道路平面画像における車両の前方方向の長さを長くすることで可能となる。つまり、上記従来技術では、作成される道路平面画像を大きくすればするほど、より遠くまで障害物の有無の判定を行うことが可能となる。
【0007】
しかしながら、作成される道路平面画像を大きくすることで、より遠の障害物の検出が可能となるものの、道路平面画像を大きくすればするほど、道路平面画像を作成する際に必要となる記憶領域の容量が大きくなり、処理装置の処理負荷が大きくなる。なお、道路平面画像を小さくすることで、当然、道路平面画像を作成する際に必要となる記憶領域の容量を小さくし、処理装置の処理負担を小さくすることができる。しかし、遠くの障害物の検出ができなくなり、障害物が存在することを運転者に知らせるタイミングが遅くなることが懸念される。
【0008】
本発明では、道路遠方の障害物の検出ができ、障害物を検出する処理で必要とされる記憶領域の容量を抑えて処理負荷の軽減を図ることが可能な技術を提供することを課題とする。
【課題を解決するための手段】
【0009】
本発明では、上述した課題を解決するため、車両から撮影した画像を道路平面画像に変換せず、車両から撮影した画像における道路遠方領域を拡大し、時間的に前の画像と比較
することで、道路遠方の障害物を検出することとした。
【0010】
より詳細には、本発明は、車両の周囲における少なくとも一方向を撮影し、撮影された画像から前記一方向に存在する障害物を検出する障害物検出装置であって、前記画像から、該車両が走行する道路の領域としての画像領域を抽出する抽出部と、前記抽出部で抽出される画像領域における遠方領域を拡大して拡大画像を生成する拡大画像生成部と、前記拡大画像生成部で生成される拡大画像を記憶する記憶部と、前記記憶部に記憶される、時間的に前後する拡大画像を比較するため、車両の速度に関する速度情報に基づいて車両の移動距離を算出し、時間的に前の拡大画像を該移動距離に応じた変換拡大画像に変換する拡大画像変換部と、前記拡大画像と前記拡大画像変換部によって変換された変換拡大画像とを比較して両画像の異なる点を障害物として検出する障害物検出部と、前記障害物検出部が検出した検出結果を出力する出力部と、を備える。
【0011】
上述したように、道路平面画像を用いて障害物を検出する従来の技術では、道路上の遠方の障害物を検出するためには、作成する道路平面画像を大きく、極端に言えば無限大まで拡大する必要があった。これに対し本発明に係る障害物検出装置では、道路平面画像を作成することなく障害物の検出が可能であることから、従来の道路平面画像を作成する技術に比べて使用する記憶領域を低減でき、処理負荷の軽減を実現できる。
【0012】
撮影される方向は、車両の周囲であればよく、特に限定されるものではないが、車両の前方や後方、特には前方が好ましい。撮影は、車両の周囲を連続的に撮影可能な撮影手段によって行うことができる。最も簡易な撮影手段として、単眼モノクロカメラが例示されるが、撮影手段は、カラーに対応したカメラでもよい。本発明における障害物とは、車両が走行する道路上の障害物であり、道路面上から上方に突出しているもの、特に道路に対して相対的に移動するもの、換言すると、障害物検出装置が搭載される車両の速度に依存せずに移動するものを意味する。具体的には、障害物には、他の車両や歩行者が例示される。
【0013】
抽出部は、画像から道路の領域を含む画像領域を抽出する。道路には、自車両の走行車線の他、隣接する車線や、路側帯、歩道も含めることができる。道路の領域は、上記のように特定される道路と隣接する他の領域との境界によって形成される。例えば、道路が自車両の走行車線である場合、自車両の走行車線と隣接する車線、路側帯、歩道との境界に挟まれた領域が道路の領域に相当する。なお、例えば、画像が車両の前方の画像である場合、画像には、道路の領域の幅が、車両に近いほど広く、車両から離れるにつれて狭く写る。
【0014】
拡大画像生成部は、抽出される画像領域における遠方領域を拡大して拡大画像を生成する。遠方領域とは、車両から離れた領域であり、例えば、画像が車両の前方の画像である場合、道路幅が車両に近い部分と比較して狭く写る領域であり、車両から10m以上離れた領域を遠方領域とすることができる。遠方領域を拡大することで、遠方領域に障害物が存在する場合、遠方領域に存在する障害物も拡大されることになる。その結果、障害物の特定が容易となり、遠方領域に存在する障害物検出の精度が向上される。
【0015】
記憶部は、拡大画像を記憶する。具体的には、記憶部は、撮影された画像であって、拡大画像生成部によって拡大された拡大画像を順次記憶する。すなわち、記憶部には、時間的に前後する拡大画像が複数記憶されることになる。なお、本発明では、道路平面画像を作成することなく障害物の検出が可能であることから、記憶部の記憶領域の容量を従来よりも低減することができる。
【0016】
拡大画像変換部は、拡大画像を移動距離に応じた変換拡大画像に変換する。変換拡大画
像に変換されるのは、比較する拡大画像のうち、時間的に前の拡大画像、すなわちより古い拡大画像である。時間的に前の拡大画像は、車両の移動を踏まえて時系列的に変化させると、本来、時間的に後の拡大画像と一致することになる。そこで、本発明では、移動距離に応じて、時間的に前の拡大画像を変換拡大画像に変換する。速度情報は、車両から得ることができる。
【0017】
障害物検出部は、拡大画像と拡大画像変換部によって変換された変換拡大画像とを比較して両画像の異なる点を障害物として検出する。変換拡大画像は、移動距離に応じた画像であり、時系列的に変化させた画像であるが、この時系列的な変化とは、あくまで車両の速度に依存した変化である。換言すると、車両の速度に依存しない変化は、含まれない。従って、拡大画像と拡大画像変換部によって変換された変換拡大画像とを比較することで両画像の異なる点を抽出することが可能となる。異なる点は、車両の速度に依存しない変化として現れるものであり障害物に相当する。
【0018】
出力部は、検出結果を出力する。出力結果は、障害物検出装置の使用者、例えば車両の運転者や搭乗者が認識可能な態様で出力することができる。出力結果は、例えば、映像により視覚を通じて出力してもよく、また、音により聴覚を通じて出力してもよい。
【0019】
ここで、本発明において、前記抽出部は、前記画像に含まれる、道路の境界に関する境界情報を抽出し、該境界情報から前記画像の消失点を算出し、該消失点を頂点とする、前記道路の領域としての三角形の画像領域を抽出し、前記拡大画像生成部は、前記抽出部で抽出される画像領域における消失点近傍を拡大して四角形の拡大画像を生成するようにしてもよい。
【0020】
抽出部は、境界情報から画像の消失点を算出し、三角形の画像領域を抽出する。境界情報とは、車両が走行する道路と他の領域とを区別するために用いられる情報であり、道路に沿って延びる車線、車道と歩道との境界に設けられる境界線、道路の脇に設けられる縁石や側溝などに関する情報が含まれる。ここで、消失点とは、二つの直線が交わる交点であり、本発明では、境界情報に基づいて算出される。従って、境界情報には、少なくとも二つの直線を特定するための情報が含まれる。三角形の画像領域は、消失点からなる頂点と、頂点から伸びる二つの直線を有する。二つの直線(斜辺)は、消失点を算出するために用いられる線であり、換言すると車両が走行する道路と道路に隣接する他の領域とを区別する線である。なお、三角形の画像領域を形成する底辺の位置によって、障害物の検出可能領域、特に車両に近い領域においてどの程度まで障害物を検出するか否かが特定される。
【0021】
拡大画像生成部は、消失点近傍を拡大して拡大画像を生成する。消失点近傍を拡大するとは、消失点近傍の画像を撮影の方向と直交する水平方向へ引き伸ばすことを意味する。これにより、三角形の画像領域が四角形の拡大画像に変換される。また、消失点は、車両から最も離れた位置に対応する。従って、消失点近傍を拡大することで、消失点近傍に障害物が存在する場合、消失点近傍に存在する障害物も拡大されることになる。その結果、障害物の特定が容易となり、障害物検出の精度が向上される。
【0022】
なお、本発明は、上述した障害物検出装置に加えて、車両の周囲を撮影する撮影手段と、障害物検出が検出した検出結果を表示する表示手段とのうち、少なくともいずれか一方を含む障害物検出システムとして構成してもよい。
【0023】
また、本発明は、上述した障害物検出装置で実行される処理を実現させる障害物検出方法として特定することもできる。具体的には、本発明は、車両の周囲における少なくとも一方向を撮影し、撮影された画像から前記一方向に存在する障害物を検出する障害物検出
方法であって、前記画像から、該車両が走行する道路の領域を含む画像領域を抽出する抽出ステップと、前記抽出ステップで抽出される画像領域における遠方領域を拡大して拡大画像を生成する拡大画像生成ステップと、前記拡大画像生成ステップで生成される拡大画像を記憶する記憶ステップと、前記記憶ステップで記憶される、時間的に前後する拡大画像を比較するため、車両の速度に関する速度情報に基づいて車両の移動距離を算出し、時間的に前の拡大画像を該移動距離に応じた変換拡大画像に変換する拡大画像変換ステップと、前記拡大画像と前記拡大画像変換ステップによって変換された変換拡大画像とを比較して両画像の異なる点を障害物として検出する障害物検出ステップと、前記障害物検出ステップで検出される検出結果を出力する出力ステップと、をコンピュータが実行する障害物検出方法である。
【0024】
また、本発明に係る障害物検出方法において、前記抽出ステップでは、前記画像に含まれる、道路の境界に関する境界情報を抽出し、該境界情報から前記画像の消失点を算出し、該消失点を頂点とする、前記道路の領域としての三角形の画像領域を抽出し、前記拡大画像生成ステップでは、前記抽出ステップで抽出される画像領域における消失点近傍を拡大して四角形の拡大画像を生成するようにしてもよい。
【0025】
なお、本発明は、上述した障害物検出装置で実行される処理を実現させるプログラムであってもよい。更に、本発明は、そのようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この場合、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行することにより、その機能を提供させることができる。なお、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、又は化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。
【発明の効果】
【0026】
本発明によれば、道路遠方の障害物の検出ができ、障害物を検出する処理で必要とされる記憶領域の容量を抑えて処理負荷の軽減を図ることが可能な技術を提供することができる。
【図面の簡単な説明】
【0027】
【図1】実施形態に係る障害物検出装置の概略構成を示す。
【図2】カメラの設置状況を示す。
【図3】遠方障害物検出処理フローを示す。
【図4】ヘッセの標準系による直線の表示を示す。
【図5】画像の左右から直線を検出した様子を示す。
【図6A】カメラで撮影された画像の一例を示す。
【図6B】図6Aに対応する画像から作成したエッジ画像を示す。
【図6C】図6Aに対応する、直線の存在を表す配列HL、HRを示す。
【図6D】ハフ変換で得られた2直線を画像に当てはめた画像を示す。
【図6E】三角形の画像領域が抽出された画像を示す。
【図6F】消失点の近傍が拡大された四角形の拡大画像を示す。
【図6G】移動距離に応じた時間的に前の変換拡大画像を示す。
【図6H】拡大画像と拡大画像変換部によって変換された変換拡大画像との差分から生成される差分画像を示す。
【図7】途切れた白線の片側の一方の境界と、別の白線の反対側の境界をなすエッジ点が選ばれることを示す。
【図8】白線や路側帯とは別の、同一直線上に検出されたエッジ点を通るものが選ばれることを示す。
【図9】次フレーム(時間的に後の拡大画像)の変形拡大画像の作成方法を示す。
【図10】カメラ座標系と車両座標系を示す。
【図11】射影処理において視点Oから出て画像上の点(x,y)を通る視線と道路面X=−hとの交点(X,Y,Z)の画素値が、画像上の(x,y)へと写る様子を示す。
【図12】道路上に突起した物体の障害物検出原理を示す。
【図13】道路面の障害物の検出の原理を示す。
【図14】実施例における、全750フレームのビデオ画像列の一部を示す。
【図15】実施例における、ハフ変換により画像の左右から1本ずつ直線を検出し、その交点(消失点)に黒丸印をつけた画像列の一部を示す。
【図16】実施例における、消失点付近を左右に拡大した遠方領域拡大画像列の一部を示す。
【図17】俯瞰図を用いた処理による障害物検出結果と遠方障害物検出処理による障害物検出結果を並べて表示させたものを示す。
【発明を実施するための形態】
【0028】
次に、本発明の障害物検出装置の実施形態について図面に基づいて説明する。以下では、カメラ2、障害物検出装置3、表示装置4を含む障障害物検出システム6として説明する。障害物検出装置3は、車両1に搭載され、カメラ2で撮影された画像を解析して、車両1の前方における道路上の障害物20を検出する。以下、図面では、障害物としての他の車両には、符号21を付し、障害物としての歩行者には、符号22を付すものとする。特に、区別する必要がない場合には、単に障害物20と称する。検出結果は、表示装置4に表示される他、車両1に搭載されたスピーカ(図示せず)を通じて音声として出力される。以下に説明する実施形態は例示にすぎず、本発明は、以下に説明する実施形態に限定されるものではない。例えば、検出結果は、車両1の記憶装置やECU(Electrical Control Unit)等に対して出力し、PCS(Pre-crash Safety System)などの車両制御に用いるようにしてもよい。
【0029】
[構成]
実施形態に係る障障害物検出システム6は、カメラ2、障害物検出装置3、表示装置4を備える。カメラ2、障害物検出装置3、表示装置4は、何れも車両1に搭載され、互いに電気的に接続されている。
【0030】
カメラ2は、本実施形態では、図2に示すように、車両1の前方を撮影するため、バックミラー11の非鏡面側に設けられている。本実施形態では、カメラ2として単眼モノクロカメラが用いられており、車両1の前方を連続的に撮影する。撮影された画像には、障害物20を含む車両1の前方の状況に関する情報が含まれる。本実施形態における障害物20とは、車両が走行する道路上の障害物であり、他の車両21や歩行者22(道路の横断者を含む)が例示される。なお、カメラ2は、カラーに対応したカメラでもよい。
【0031】
障害物検出装置3は、カメラ2で撮影された画像を解析して、車両1の前方における道路上の障害物20を検出する。具体的には、制御部5を備え、障害物検出装置3が備える各構成を制御する。制御部5は、CPU(Central Processing Unit)50、メモリ51
等を含むコンピュータとコンピュータ上で実行されるプログラムによって実現することができる。メモリ51は、揮発性のRAM(Random Access Memory)と、不揮発性のROM(Read Only Memory)を含む。ROMには、フラッシュメモリ、EPROM(Erasable Programmable Read-Only Memory)、EEPROM(Electrically Erasable Programmable
Read-Only Memory)のような書き換え可能な半導体メモリを含む。CPU50は、RO
Mに格納されている、障害物検出装置3を制御するための各種プログラムをRAMのワークエリアに展開し、制御部5に入力される各種データに応じて、各種プログラムに従った処理を実行する。制御部5が有する各構成は、CPU50上で実行されるコンピュータプ
ログラムとして構成することができる。また、各構成は、専用のプロセッサとして構成してもよい。制御部5が有する各構成には、抽出部52、拡大画像生成部53、記憶部54、拡大画像変換部55、障害物検出部56、出力部57が含まれる。
【0032】
抽出部52は、カメラ2で撮影された画像から、道路の境界11、12に関する境界情報を抽出し、該境界情報から画像の消失点13を算出し、消失点13を頂点とする、道路の領域としての三角形の画像領域16を抽出する(図6E参照)。
【0033】
拡大画像生成部53は、抽出部52で抽出される画像領域16における消失点13近傍を拡大して四角形の拡大画像を生成する(図6F参照)。
【0034】
記憶部54は、撮影された画像であって、拡大画像生成部53によって拡大された拡大画像をメモリ51内の所定の記憶領域に順次記憶させる。メモリ51には、時間的に前後する拡大画像が複数記憶される。
【0035】
拡大画像変換部55は、時間的に前の拡大画像を移動距離に応じた変換拡大画像に変換する。移動距離は、速度情報に基づいて算出される。速度情報は、車両1内から適宜取得することができる。
【0036】
障害物検出部56は、拡大画像と拡大画像変換部53によって変換された変換拡大画像とを比較して、両画像の異なる点を障害物として検出する。本実施形態では、障害物検出部56は、拡大画像と拡大画像変換部53によって変換された変換拡大画像との差分画像を生成し、適当な閾値による2値化を行うことで障害物を検出する(図6H参照)。
【0037】
[処理フロー]
次に上述した実施形態に係る障害物検出装置3で実行される処理(以下、遠方障害物検出処理ともいう)について説明する。ここで、図3は、道路遠方の障害物を検出する遠方障害物検出処理フローを示す。以下で説明する遠方障害物検出処理の順序は、一例にすぎず、実施の形態に応じて適宜入れ替えてもよい。以下の説明では、所定の速度で走行中の車両1に搭載されたカメラ2によって車両1の前方を撮影し(図2参照)、前方の障害物20、特に遠方に出現する障害物20を検出する場合を一例として説明する。ここで、遠方障害物検出処理では、車両1に搭載されたカメラ2から撮影した道路ビデオ画像(本発明の画像に相当する。以下、単に画像という)を道路面に射影するのではなく、道路遠方部分を左右に引き伸ばし、後フレーム(本発明の時間的に後の画像に対応する変換拡大画像に相当する。)と前フレーム(本発明の時間的に前の画像に対応する変換拡大画像に相当する。)との差分を取ることにより、差分画像を生成し、これに基づいて道路遠方の障害物を検出する。従って、遠方障害物検出処理は、道路遠方の障害物20の検出に特に適している。一方で、車両1から近い領域に存在する障害物20については、画像を道路面に射影する既存の技術(以下、俯瞰図を用いた処理ともいう。)によっても検出可能であり、遠方障害物検出処理と俯瞰図を用いた処理は併用して用いることもできる。そこで、俯瞰図を用いた処理についても、遠方障害物検出処理の説明後に説明する。
【0038】
(三角形の画像領域を抽出)
ステップS01では、抽出部52は、カメラ2で撮影された画像から、三角形の画像領域16を抽出する。本実施形態では、白線又は路側帯の境界を道路の境界11、12(以下、道路の境界を特に区別する必要がない場合には、単に道路の境界11という。)に関する境界情報として抽出し、道路の境界11によって算出される2直線14、15(以下、直線を特に区別する必要ながない場合には、直線14という。)の交点から消失点13を算出し、消失点13を頂点とする、道路の領域としての三角形の画像領域16を抽出する。ここで、図6Aは、カメラ2で撮影された画像の一例であり、図6Bは、図6Aに対
応する画像から作成したエッジ画像である。図6Cは、図6Aに対応する、直線の存在を表す配列HL、HRを示す。また、図6Dは、ハフ変換で得られた2直線を画像に当てはめた画像を示す。更に、図6Eは、三角形の画像領域が抽出された画像を示す。
【0039】
(ハフ変換における直線の投票と検出)
ここで、抽出部52による三角形の画像領域16の抽出は、ハフ変換によって行うことができる。そこで、まず、ハフ変換について説明する。ハフ変換とは、画像の特徴点を最も多く通る直線を決定する手法である。換言すると、ハフ変換とは、画像に最もよく合う直線を決定することであり、画像処理において幅広く用いられている手法である。この手法を用いるに際し、直線14を数1に示すへッセ(Hesse)の標準型で表す。図4は、ヘ
ッセの標準系による直線の表示を示す。また、図5は、画像の左右から直線を検出した様子を示す。
【0040】
【数1】
【0041】
数1は、原点からの距離がhであり、その単位法線べクトルnがx軸から角度θをなす
直線14を表す。すなわち、ヘッセの標準系によれば、直線14を原点Oからの距離hと角度θによって一意的に表すことができる。本実施形態では画像の中心を座標原点Oとし、x軸を上方に、y軸を右方にとる。画像の左右から路側帯若しくは白線からなる道路の境界11が検出されるが、x軸と直線との成す角度の範囲は30°、距離の範囲は100画素とし、左側の直線の向きθLと距離hL、および右側の直線の向きθRと距離hRの範囲は例えば数2のように設定される。設定範囲は、下記に限定されるものではなく、画像に写りこむ白線や路側帯からなる直線14の形状に関する過去のデータや実験データに基づいて設定することができる。
【0042】
【数2】
【0043】
設定範囲を設定したら、左右の直線14、15候補に対応する31×101の整数型配列HL(i,j),HR(i,j)を用意する。そしてエッジ画像(図6B参照)の左半分と右半分からエッジ画素(x,y)を取り出し、各画素ごとにi=0、1,・・・,30に対して以下の計算を行う。
【0044】
まず、画像の左半分及び右半分について、左側の直線15の向きθL及び右側の直線14の向きθRを夫々求める(数3参照)。
【0045】
【数3】
【0046】
次に、画像の左半分及び右半分について、原点Oから左側の直線15までの距離hL及び原点Oから右側の直線14までの距離hRを夫々求める(数4参照)。
【0047】
【数4】
【0048】
そして、画像の左半分及び右半分について、配列HL、HRの値を数5のように更新する。なお、配列の31×101の範囲をはみ出すものは無視するものとする。
【0049】
【数5】
【0050】
このようにして得られた配列HL、HRの要素(i,j)の値は、その(i,j)に対応する直線{hR,θR}、{hL,θL}の近傍の重みつき画素数である。そこでHL、HRの最大要素をそれぞれHL(iL,jL)、HR(iR,jR)とすると、それぞれが表す直線14、15は数6のようになる。
【0051】
【数6】
【0052】
なお、図6Cは、図6Aに対応する、直線の存在を表す配列HL、HRを示す。また、図6Dは、ハフ変換で得られた2直線14、15を画像に当てはめた画像を示す。
【0053】
(消失点の計算)
次に、消失点13の計算について説明する。消失点13は、数6で示される2直線14、15の交点として算出される。具体的には、消失点13の座標は、次のようにして求められる。まず、数6から得られたθL,hL,θR,hRを用いてべクトルnL,nRを定義する(数7参照)。
【0054】
【数7】
【0055】
次に、上記二つのベクトルnL,nRのベクトル積uを求める(数8参照)。
【0056】
【数8】
【0057】
その結果、2直線14、15の交点(xv,yv)が得られる(数9参照)。
【0058】
【数9】
【0059】
ここで、上述したように、ハフ変換は同一直線上に並んだエッジ点をなるべく多く通る直線を検出するものであるが、そのエッジ点が直線上に並んでいても、それが同じ直線の境界線となっているとは限らない。例えば、道路遠方の景色は原画像上において写りこむ範囲が小さいことから、エッジを検出する際に精度よくエッジ点を検出できるとは限らない。従って、途切れた白線の一方の境界ともうーつの白線の反対側の境界をつないだ直線14aが当てはまることも想定される。図7は、途切れた白線の片側の一方の境界と、別の白線の反対側の境界をなすエッジ点が選ばれることを示す。また、建物7と空の境界と道路上のエッジ点が数多く検出された領域(「とまれ」や「バス専用」等の文字が書き込まれている領域など)とをつなぐ直線15aを検出してしまった場合も存在する。図8は、白線や路側帯とは別の、同一直線上に検出されたエッジ点を通るものが選ばれることを示す。
【0060】
上記のような課題を解決するため、各エッジ点に「方向」をつけるようにしてもよい。具体的には、以下の手順による。エッジ検出は画像の輝度値の微分を利用しているので、各エッジ点では揮度値Iが最も増力する方向が計算される(数10参照)。
【0061】
【数10】
【0062】
但し、Ix,Iyは、それぞれ輝度値Iのx軸方向、y軸方向の微分である。そこで、数10において、▽Iの方向角をφとすると、cosφ及びsinφは、数11のようになる。
【0063】
【数11】
【0064】
ここで、この方向の単位ベクトル(数12参照)と直線14の単位法線ベクトル(数13参照)の内積は、数14のようになる。
【0065】
【数12】
【0066】
【数13】
【0067】
【数14】
【0068】
数14で計算される内積cは、輝度値が直線の法線べクトルn方向に増加していると正
、直線の方向に沿って増加していると0、直線の法線べクトルnと反対方向に増加してい
ると負となる。従って、ハフ変換の行列Hに整数ではなく実数cを投票することによって、例えば白線14を横断するように当てはまっていた直線14では、異なる部分のエッジ点のcの符号が反対となり、投票された値がより0に近くなり選ばれにくくなる。具体的には上記数5を数15のように更新する。
【0069】
【数15】
【0070】
そしてHL、HRの絶対値が最大の要素をそれぞれHL(iL,jL)、HR(iR,jR)とし、上記計算を繰り返す。その結果、白線や路側帯からなる道路の境界11、12を、より厳密に検出することが可能となる。
【0071】
道路の境界11を検出したら、次に、画像の左右の端における道路面との境界のx座標をxaとする。道路面は、道路面とみなせる面でもよい。これにより、画像中の道路領域は、前述したようにハフ変換による白線検出から推定した消失点16(xv,yv)を頂点とし、2点(xa1+(M−1)/2)、(xa1−(M−1)/2)を結ぶ水平線を底辺とする三角形の画像領域16となる。Mは画像の横幅である。
【0072】
以上により、ステップ01における三角形の画像領域16の抽出が完了する。三角形の画像領域16の抽出が完了すると、ステップS02へ進む。
【0073】
(拡大画像の生成)
ステップS02では、拡大画像生成部53は、抽出部52で抽出される三角形の画像領域16における消失点13の近傍を拡大して四角形の拡大画像を生成する(図6F参照)。具体的には、以下の手順で行われる。上述したように、画像中の三角形の画像領域16は、前述したようにハフ変換による道路の境界11から生成される直線14から推定した消失点(xv,yv)を頂点とし、2点(xa1+(M−1)/2)、(xa1−(M−1)/2)を結ぶ水平線を底辺とする三角形の画像領域16となる。道路上の遠方領域は、この三角形の頂点(xv,yv)、すなわち消失点13付近に圧縮されているため、このままでは精度が足りず、解析が困難である。そこで、この三角形の画像領域16の頂点のーつである消失点13(xv,yv)を左右に引き伸ばし、長方形領域へと変換する(数16参照)。
【0074】
【数16】
【0075】
数16において、それぞれx,yについて解くと数17で表される。
【0076】
【数17】
【0077】
そして、メモリ51内に、三角形の画像領域16を拡大した画像を保存する記憶領域を
予め用意しておき、その画像領域16の各点(x´,y´)に対して、数17によって(x,y)を計算し、画像上のその点を(x´,y´)へコピーする。なお、x=xv(消失点を通る水平線)上は特異点となるため計算しない方がよい。これにより、数16において零除算の発生を抑えることができる。すなわち、処理負荷の軽減を図ることができる。
【0078】
以上により、ステップ02における拡大画像の生成が完了する。拡大画像の生成が完了すると、ステップS03へ進む。
【0079】
(変換拡大画像への変換)
ステップS03では、拡大画像変換部55は、時間的に前の拡大画像を移動距離に応じた変換拡大画像に変換する(図G参照)。ここで、上述したように消失点13の近傍を拡大しても直線y´=0の位置は画像上と同じ位置にある。従って、その直線上の点を道路面上に写像すると、数18のようなZ軸上の点となる。
【0080】
【数18】
【0081】
また、車両1が速度V(画素/フレーム)で移動しているとすれば、1フレーム前(時
間的に前)における直線y´=0のZ軸上の位置は、数19のようになる。
【0082】
【数19】
【0083】
この点を画像上に逆写像した位置のx´座標は、数20のようになる。
【0084】
【数20】
【0085】
従って、変形拡大画像と時間的に1時刻前の変形拡大画像とを合わせるためには、図9のように処理する必要がある。図9は、次フレーム(時間的に後の拡大画像)の変形拡大画像の作成方法を示す。具体的には、まず、変形拡大画像の各点(x´,y´)に対して、数18を計算し、直線上の点を道路面上に写像しZ軸上の点を求める。次に、車両が速度V(画素/フレーム)で移動しているとして、時間的に前の変形拡大画像のZ軸上の位
置を、数19より求める。次に、Z軸上の位置を画像上に逆写像した位置のx´座標を、数20から求める。そして、時間的に前の変形拡大画像の点(x´−1,y´)の輝度値を点(x´,y´)へコピーする。
【0086】
以上により、変換拡大画像への変換が完了する。変換拡大画像への変換が完了すると、ステップS04へ進む。
【0087】
(障害物の検出)
ステップS04では、拡大画像と拡大画像変換部55によって変換された変換拡大画像との差画像を生成し、適当な閾値による2値化を行うことで障害物20を検出する(図6
H参照)。その後、出力部57により、検出結果を表示装置4へ出力する。表示装置4に出力するに際しては、検出された障害物の周囲を点滅させたり、障害物を着色するなどして、より識別しやすい態様にすることが好ましい。なお、表示装置4に表示すると共に、スピーカを通じて音声により障害物を存在することを報知するようにしてもよい。
【0088】
(俯瞰図を用いた処理)
上述した遠方障害物検出処理は、上述したように、俯瞰図を用いた処理と併用して用いることもできる。そこで、カメラ2で撮影された画像を道路面に射影する、俯瞰図を用いた処理について以下に説明する。なお、遠方障害物検出処理と俯瞰図を用いた処理とを併用する場合には、例えば車両1から10m以上離れた障害物20の検出については、遠方障害物検出処理を用い、車両1から10mより近い領域に存在する障害物20の検出については、俯瞰図を用いた処理を用いることができる。なお、以下に説明する処理は、制御部5のCPU50によって行うことができる。
【0089】
ここで、図10は、俯瞰図を用いた処理におけるカメラ座標系と車両座標系を示し、図11は、俯瞰図を用いた処理において視点Oから出て画像上の点(x,y)を通る視線と道路面X=−hとの交点(X,Y,Z)の画素値が、画像上の(x,y)へと写る様子を示す。
【0090】
俯瞰図を用いた処理では、カメラ2により撮影された画像を道路上方から撮影したかのような道路平面画像(俯瞰図)を作成し、現在の道路平面画像と時間的に前の道路平面画像(前フレームの道路平面画像)の差分から障害物を検出する。
【0091】
まず、車両画像系とカメラ画像系について説明する。車両画像系とは、カメラ2の視点(レンズ中心)を原点にとり、鉛直上方をX軸、水平横方向をY軸、水平前方をZ軸とするものである。カメラ座標系とは、カメラの光軸方向(斜め下方)にZ軸をとり、水平横方向にY軸(車両画像系のY軸と一致)をとり、Y軸に直交するようにX軸を斜め上方とするものである。このとき、カメラ2が、角度αだけ下方に傾いているとすると、車両画像系(数21の左辺)とカメラ画像系(数21の右辺)は、数21で表される。
【0092】
【数21】
【0093】
道路面は、車両画像系に対して−hとすると、画像面上の点(x,y)に見える道路面上の点(X,Y,Z)は、数22のようになる。hとは、道路面からカメラ2までの垂直高さである。
【0094】
【数22】
【0095】
更に、上記道路面上の点(X,Y,Z)について、カメラ画像系に変換すると数23のようになる。
【0096】
【数23】
【0097】
次に、道路平面画像の作成について説明する。まず、数23の関係を用いて、カメラ画像系における道路面上の点(x,y)を車両画像系における道路面上の点に写像する。この際、カメラ2の高さhで割った座標系は、数24に示され、数24で示される座標系が道路面上の座標系と考える。
【0098】
【数24】
【0099】
ここで、画像の縦(x方向)の幅をN、画像の横(y方向)の幅をMとし、画像の左右の縁における道路面あるいは水平な地面と垂直物(建物など)との境界面の位置を(xa1±(M−1)/2)とすると、カメラ画像系における道路面上の点(x,y)は、数25に示す点に写像される。
【0100】
【数25】
【0101】
また、画像上の左右の縁における車両のボンネットの部分が写る境界を(xb1±(M−1)/2)とすると、カメラ画像系における道路面上の点(x,y)は、数26に示す点に写像される。
【0102】
【数26】
【0103】
ここで、道路面上の、数27に示される長方形領域を考える。
【0104】
【数27】
【0105】
点Zの最大値は、どこまで前方を表示するかによって決定される。従って、前方を全て表示する場合には、点Zの最大値は、無限となる。また、数27に示される長方形領域を正方形にするならば、点Zの最大値は、数28のようになる。
【0106】
【数28】
【0107】
ここで、数27において、点Zの最大値は、大きいほど作成する平面画像が大きくなり、より遠くまで障害物の有無の判定を行うことが可能となる。しかし、それと同時に道路平面画像を作成する際に必要となる記憶装置の記憶領域の容量が大きくなり、処理装置の処理負担が大きくなる。更に、車両から障害物までの距離が遠ければ遠いほど、撮影した画像上に映る範囲は当然小さくなり、その領域を拡大して書き込むため、判定精度の低下は避けられない。なお、点Zの最大値を小さくすることで道路平面画像を作成する際に必要となる記憶装置の容量を小さくし、処理装置の処理負担を小さくすることができる。しかし、障害物が存在することを運転者に知らせるタイミングが遅くなることが懸念される。従って、上記を踏まえて数7で示される長方形領域、換言すると表示領域の最小値及び最大値を決定する必要がある。そこで、本実施形態では、遠方における障害物20の検出については、上述した遠方障害物検出処理を用いる。
【0108】
数27で示される長方形領域、換言すると表示領域の最小値及び最大値が決定されると、表示領域に相当する記憶装置の記憶領域(画像バッファ)を定め、画像を写像する。具体的には、範囲が決定された表示領域の各画素に相当する画像面上の画素(x,y)を計算し、その画素の輝度値を数24、25、26で示される座標系の各点にコピーする。これを表示領域の全ての画素に対して行うことで、数29に示す逆写像が得られる。
【0109】
【数29】
【0110】
ここで、算出された逆写像(x,y)は、必ずしも整数値ではないので、周辺の画素の双一次補間によって決定する。
【0111】
次に双一次補間について説明する。双一次補間は、まず、サイズM×Nの画像Iから実数(i,j)の位置の輝度値を得るために行われものであり、次のように行われる。以下、k,l,ε,ηは実数、K,Lは整数とする。
【0112】
まず、k<0、または、k≧M、L<0、または、l≧Nの場合、フレームからはみ出た領域を0として処理する。これにより、(k,l)は、無限の範囲をとり得る。
【0113】
次に、k<0、または、k≧M、L<0、または、l≧Nでない場合、整数部分K,Lと小数部分ε,ηを数30のように計算する。なお、数30における一番左の式の右辺は、kの整数部分(切捨て)を表す床関数(floor)である。
【0114】
【数30】
【0115】
次に、I(I,J)とI(I,J+1)をη:1−ηに内分し、I(I+1,J)とI(I,J+1)をη:1−ηに内分し、それらをε:1−εに内分する(数31参照)。
【0116】
【数31】
【0117】
次に障害物20の検出について説明する。まず、車両1からみた前方の画像を上述のように道路面に写像する。道路面は、水平であると仮定し、その上を車両1が速度V/フレームで直進するとする。その時、道路上の物体は、相対的に速度−V/フレームで車両に近づいてきていると解釈することができる。すなわち、道路面上の点は、フレーム間でV/hだけ鉛直下方向へ平行移動すると解釈することができる。従って、前フレームの道路平面画像をV/hだけ鉛直下方向へ平行移動すれば、現フレームに一致することになる。但し、道路面上に突起した物体、すなわち歩行者22や車両21などの障害物20と考えられるものが存在すれば、道路面と映り方が異なり平行移動しない。具体的には、道路面からより離れている、すなわちより高さのあるほど道路面より速い速度で鉛直下方向へ移動する。このように、道路面上の水平でない部分は、道路面とは違った動きをする。そこで、平行移動によって時間差による位置ずれを取り除いた前フレームと現フレームの差画像を計算し、適当な閾値による2値化を行うことで、道路面上の水平でない部分を検出することが可能となる。
【0118】
具体的にには、以下の手順によって、障害物画像Etを作成する。まず、第0画像I0を画像とし、道路平面画像I0´を作成する。次に、第一画像I1を画像とし、同と面画像I1´を作成する。次に、道路平面画像I0´を鉛直下方に平行移動し、I1´と重ねて差をとり、2値化した差画像D1を作成する。そして、第2画像を画像とし、以下上記処理を繰り返す。
【0119】
ここで、図12は、道路上に突起した物体の障害物検出原理を示す。道路面に垂直な線分ABは次の時刻には車両に相対的にA´B´へ移動する。このとき、上部のAの道路面上への写像A´は、車両の移動速度Vよりも速い速度でA´へと移動する。
【0120】
図13は、道路面の障害物の検出の原理を示す。高さのある物体は、道路面から離れるに従って、道路平面上での移動距離が大きくなり、フレーム間差分をとった際に差が生じる。一方、道路標識等、道路面上に存在するものは高さがないため、フレーム間差分をとっても差は生じない。
【0121】
以上により、障害物の検出、特に車両1との距離が近い障害物の検出が可能となる。但し、俯瞰図を用いた処理では、障害物の検出状況が俯瞰図として表示される。そこで、運転者が障害物を確認し易くするため、前方を撮影した画像に障害物画像Etを写像する。具体的には、画像フレームの表示領域に相当する記憶領域をメモリ52内に用意し、その各画素(x,y)に対応する道路平面画像の位置を障害物として検出する。例えば、最大輝度値となっていれば、バッファ領域中の画素(x,y)をカラー表示する。具体的には、以下の手順で行う。
【0122】
各時刻tごとに、原画像It´の各画素(x,y)を操作し、数32に示す道路面上の位置を計算する。
【0123】
【数32】
【0124】
数32で示される位置に対応する障害物画像Etの画素が黒画素であるか、またはフレームの外であれば何もしない。一方、数12で示される位置に対応する障害物画像Etの画素が白画素であれば、原画像It´の各画素(x,y)のR値を最大諧調に、G値とB値を0に書き換える。
【0125】
(作用効果)
以上説明した実施形態に係る障害物検出装置によれば、道路の遠方の障害物の検出においては、道路平面画像を作成することなく障害物の検出が可能であることから、俯瞰図を用いた処理によって道路の遠方の障害物を検出する場合にくらべて使用する記憶領域を低減でき、処理負荷の軽減を実現できる。
【0126】
(実施例)
上述したハフ変換による直線14、15の検出と、ハフ変換により当てはめた直線14、15から推定した消失点13付近を拡大し、差画像をとることによりどの程度遠方の障害物20を検出できるかを実験した。カメラ2の設定パラメータは、表1の通りである。また、道路遠方の障害物判定の判定領域は、数33のようにした。なお、数33において、xvは、消失点13のx座標である。
【0127】
【表1】
【0128】
【数33】
【0129】
前述の実験により、ハフ変換を用いることによって、画像中の白線と道路の境界に直線14、15を精度よく、かつ自動的に当てはめることができることが確認された。この当てはめた2直線14、15の交わる点が消失点13であり、この付近を拡大することで遠方の障害物20を検出した。画像は全750フレームのビデオ画像列を用いた(図14参照)。なお、図14から図17では、全750フレームのうち、40フレーム、180フレーム、430フレームを例示する。ビデオ画像列は、見通しの良い2車線直線道路を直進しており、車両1の前方を頻繁に歩行者22が横断している。また、路上に駐車している車両を避けるために対向車が中央線をはみ出して走行したり、車両1の前方で別の車両21が車庫から出発するなど、車両1に対して危険だと考えられる要因が多数存在する設定である。この入力ビデオ画像列に対して道路遠方の障害物解析を行い、俯瞰図を用いた処理とどのような違いがあるかを確認した。ハフ変換により画像の左右から1本ずつ直線を検出し、その交点(消失点13)に黒丸印をつけた画像は図15となる。
【0130】
さらに、消失点13付近を左右に拡大した遠方領域拡大画像は図16となる。最後に、
俯瞰図を用いた処理による障害物検出結果と遠方障害物検出処理による障害物検出結果を並べて表示させたものが図17となる。画像中でドットで囲まれた領域が障害物を判定した領域である。図17を見れば分かるように、俯瞰図を用いた処理では、障害物20の判定領域が車両1の直前に広く取っているが、記憶領域の容量及び処理負荷を考慮すると、検出範囲はせいぜい車両の前方10メートル程度しか取ることができなかった。また、10メートル程離れた位置にいる歩行者22は、その足元に僅かに障害物判定が存在している程度である一方、今回の遠方障害物検出処理では、車両1からある程度距離が離れている領域で障害物判定を行うことを可能にしている。図17では俯瞰図を用いた処理では僅かに障害物20として検出することができた歩行者22も、遠方障害物検出処理によって歩行者22の全身を取り囲むように障害物検出をすることができた。また、俯瞰図を用いた処理では検出範囲外であった図17の歩行者22も障害物20として判定することができた(図17の400フレーム参照)。
【0131】
以上、本発明の好適な実施形態を説明したが、本発明に係る障害物検出装置はこれらに限らず、可能な限りこれらの組合せを含むことができる。
【符号の説明】
【0132】
1・・・車両
2・・・カメラ
3・・・障害物検出装置
4・・・表示装置
5・・・制御部
6・・・障害物検出システム
11、12・・・境界
13・・・消失点
14、15・・・直線
16・・・三角形の画像領域
20・・・障害物
21・・・他の車両
22・・・歩行者
50・・・CPU
51・・・メモリ
52・・・抽出部
53・・・拡大画像生成部
54・・・記憶部
55・・・拡大画像変換部
56・・・障害物検出部
57・・・出力部
【特許請求の範囲】
【請求項1】
車両の周囲における少なくとも一方向を撮影し、撮影された画像から前記一方向に存在する障害物を検出する障害物検出装置であって、
前記画像から、該車両が走行する道路の領域を含む画像領域を抽出する抽出部と、
前記抽出部で抽出される画像領域における遠方領域を拡大して拡大画像を生成する拡大画像生成部と、
前記拡大画像生成部で生成される拡大画像を記憶する記憶部と、
前記記憶部に記憶される、時間的に前後する拡大画像を比較するため、車両の速度に関する速度情報に基づいて車両の移動距離を算出し、時間的に前の拡大画像を該移動距離に応じた変換拡大画像に変換する拡大画像変換部と、
前記拡大画像と前記拡大画像変換部によって変換された変換拡大画像とを比較して両画像の異なる点を障害物として検出する障害物検出部と、
前記障害物検出部が検出した検出結果を出力する出力部と、
を備える障害物検出装置。
【請求項2】
前記抽出部は、前記画像に含まれる、道路の境界に関する境界情報を抽出し、該境界情報から前記画像の消失点を算出し、該消失点を頂点とする、前記道路の領域としての三角形の画像領域を抽出し、
前記拡大画像生成部は、前記抽出部で抽出される画像領域における消失点近傍を拡大して四角形の拡大画像を生成する、
請求項1に記載の障害物検出装置。
【請求項3】
車両の周囲における少なくとも一方向を撮影し、撮影された画像から前記一方向に存在する障害物を検出する障害物検出方法であって、
前記画像から、該車両が走行する道路の領域を含む画像領域を抽出する抽出ステップと、
前記抽出ステップで抽出される画像領域における遠方領域を拡大して拡大画像を生成する拡大画像生成ステップと、
前記拡大画像生成ステップで生成される拡大画像を記憶する記憶ステップと、
前記記憶ステップで記憶される、時間的に前後する拡大画像を比較するため、車両の速度に関する速度情報に基づいて車両の移動距離を算出し、時間的に前の拡大画像を該移動距離に応じた変換拡大画像に変換する拡大画像変換ステップと、
前記拡大画像と前記拡大画像変換ステップによって変換された変換拡大画像とを比較して両画像の異なる点を障害物として検出する障害物検出ステップと、
前記障害物検出ステップで検出される検出結果を出力する出力ステップと、をコンピュータが実行する障害物検出方法。
【請求項4】
前記抽出ステップでは、前記画像に含まれる、道路の境界に関する境界情報を抽出し、該境界情報から前記画像の消失点を算出し、該消失点を頂点とする、前記道路の領域としての三角形の画像領域を抽出し、
前記拡大画像生成ステップでは、前記抽出ステップで抽出される画像領域における消失点近傍を拡大して四角形の拡大画像を生成する、
請求項3に記載の障害物検出方法。
【請求項1】
車両の周囲における少なくとも一方向を撮影し、撮影された画像から前記一方向に存在する障害物を検出する障害物検出装置であって、
前記画像から、該車両が走行する道路の領域を含む画像領域を抽出する抽出部と、
前記抽出部で抽出される画像領域における遠方領域を拡大して拡大画像を生成する拡大画像生成部と、
前記拡大画像生成部で生成される拡大画像を記憶する記憶部と、
前記記憶部に記憶される、時間的に前後する拡大画像を比較するため、車両の速度に関する速度情報に基づいて車両の移動距離を算出し、時間的に前の拡大画像を該移動距離に応じた変換拡大画像に変換する拡大画像変換部と、
前記拡大画像と前記拡大画像変換部によって変換された変換拡大画像とを比較して両画像の異なる点を障害物として検出する障害物検出部と、
前記障害物検出部が検出した検出結果を出力する出力部と、
を備える障害物検出装置。
【請求項2】
前記抽出部は、前記画像に含まれる、道路の境界に関する境界情報を抽出し、該境界情報から前記画像の消失点を算出し、該消失点を頂点とする、前記道路の領域としての三角形の画像領域を抽出し、
前記拡大画像生成部は、前記抽出部で抽出される画像領域における消失点近傍を拡大して四角形の拡大画像を生成する、
請求項1に記載の障害物検出装置。
【請求項3】
車両の周囲における少なくとも一方向を撮影し、撮影された画像から前記一方向に存在する障害物を検出する障害物検出方法であって、
前記画像から、該車両が走行する道路の領域を含む画像領域を抽出する抽出ステップと、
前記抽出ステップで抽出される画像領域における遠方領域を拡大して拡大画像を生成する拡大画像生成ステップと、
前記拡大画像生成ステップで生成される拡大画像を記憶する記憶ステップと、
前記記憶ステップで記憶される、時間的に前後する拡大画像を比較するため、車両の速度に関する速度情報に基づいて車両の移動距離を算出し、時間的に前の拡大画像を該移動距離に応じた変換拡大画像に変換する拡大画像変換ステップと、
前記拡大画像と前記拡大画像変換ステップによって変換された変換拡大画像とを比較して両画像の異なる点を障害物として検出する障害物検出ステップと、
前記障害物検出ステップで検出される検出結果を出力する出力ステップと、をコンピュータが実行する障害物検出方法。
【請求項4】
前記抽出ステップでは、前記画像に含まれる、道路の境界に関する境界情報を抽出し、該境界情報から前記画像の消失点を算出し、該消失点を頂点とする、前記道路の領域としての三角形の画像領域を抽出し、
前記拡大画像生成ステップでは、前記抽出ステップで抽出される画像領域における消失点近傍を拡大して四角形の拡大画像を生成する、
請求項3に記載の障害物検出方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図6E】
【図6F】
【図6G】
【図6H】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図6E】
【図6F】
【図6G】
【図6H】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2011−170568(P2011−170568A)
【公開日】平成23年9月1日(2011.9.1)
【国際特許分類】
【出願番号】特願2010−33010(P2010−33010)
【出願日】平成22年2月17日(2010.2.17)
【出願人】(000237592)富士通テン株式会社 (3,383)
【出願人】(504147243)国立大学法人 岡山大学 (444)
【Fターム(参考)】
【公開日】平成23年9月1日(2011.9.1)
【国際特許分類】
【出願日】平成22年2月17日(2010.2.17)
【出願人】(000237592)富士通テン株式会社 (3,383)
【出願人】(504147243)国立大学法人 岡山大学 (444)
【Fターム(参考)】
[ Back to top ]