障害物検出装置、及び障害物検出方法
【課題】道路遠方の障害物の検出ができ、障害物を検出する処理で必要とされる記憶領域の容量を抑えて処理負荷の軽減を図ることが可能な技術を提供する。
【解決手段】車両から撮影された画像から、該車両が走行する道路の領域としての画像領域を抽出し、抽出された画像領域における遠方領域を拡大して拡大画像を生成し、生成された拡大画像を記憶し、記憶された時間的に前後する拡大画像を比較するため、車両の速度に関する速度情報に基づいて車両の移動距離を算出し、時間的に前の拡大画像を該移動距離に応じた変換拡大画像に変換し、拡大画像と変換された変換拡大画像とを比較して両画像の異なる点を障害物として検出し、検出した検出結果を出力する。
【解決手段】車両から撮影された画像から、該車両が走行する道路の領域としての画像領域を抽出し、抽出された画像領域における遠方領域を拡大して拡大画像を生成し、生成された拡大画像を記憶し、記憶された時間的に前後する拡大画像を比較するため、車両の速度に関する速度情報に基づいて車両の移動距離を算出し、時間的に前の拡大画像を該移動距離に応じた変換拡大画像に変換し、拡大画像と変換された変換拡大画像とを比較して両画像の異なる点を障害物として検出し、検出した検出結果を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、障害物検出装置、及び障害物検出方法の技術に関する。
【背景技術】
【０００２】
車両に搭載したカメラによって例えば車両の前方を撮影し、車両前方の障害物を検出する装置が知られている。例えば、特許文献１では、車両に搭載したカメラにより車両の前方を撮影し、前後する２時刻の撮影画像について射影変換を施した後に差分をとり、その差分から時間ずれが生じた特徴点を検出し、これらの特徴点から動きベクトルのオプティカルフローを検出して車両前方の障害物を検出する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３４６３８５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
センサー、レーダ、ＧＰＳを用い、車両が障害物に接近すると、アラームやモニタを通じて運転者に危険を知らせる技術が知られている。また、これらの技術と比較して、使用機器数を低減して低価格にて提供可能な技術とするため、単眼モノクロカメラ（以下、単にカメラとも称する）を車両に搭載し、搭載されたカメラによって撮影された画像列を解析することで、障害物を検出する技術が開発されている。
【０００５】
カメラによって撮影された画像列を解析することで、障害物を検出する従来技術では、まず、道路平面画像（俯瞰図）を作成する。そして、作成された四角形の道路平面画像のうち、前後する２時刻の道路平面画像の差分をとり、差分から時間ずれが生じた特徴点を検出し、これらの特徴点を障害物として検出する。
【０００６】
ここで、上記従来技術では、遠くの障害物の有無の判定は、道路平面画像の大きさを大きくすること、すなわち、道路平面画像における車両の前方方向の長さを長くすることで可能となる。つまり、上記従来技術では、作成される道路平面画像を大きくすればするほど、より遠くまで障害物の有無の判定を行うことが可能となる。
【０００７】
しかしながら、作成される道路平面画像を大きくすることで、より遠の障害物の検出が可能となるものの、道路平面画像を大きくすればするほど、道路平面画像を作成する際に必要となる記憶領域の容量が大きくなり、処理装置の処理負荷が大きくなる。なお、道路平面画像を小さくすることで、当然、道路平面画像を作成する際に必要となる記憶領域の容量を小さくし、処理装置の処理負担を小さくすることができる。しかし、遠くの障害物の検出ができなくなり、障害物が存在することを運転者に知らせるタイミングが遅くなることが懸念される。
【０００８】
本発明では、道路遠方の障害物の検出ができ、障害物を検出する処理で必要とされる記憶領域の容量を抑えて処理負荷の軽減を図ることが可能な技術を提供することを課題とする。
【課題を解決するための手段】
【０００９】
本発明では、上述した課題を解決するため、車両から撮影した画像を道路平面画像に変換せず、車両から撮影した画像における道路遠方領域を拡大し、時間的に前の画像と比較
することで、道路遠方の障害物を検出することとした。
【００１０】
より詳細には、本発明は、車両の周囲における少なくとも一方向を撮影し、撮影された画像から前記一方向に存在する障害物を検出する障害物検出装置であって、前記画像から、該車両が走行する道路の領域としての画像領域を抽出する抽出部と、前記抽出部で抽出される画像領域における遠方領域を拡大して拡大画像を生成する拡大画像生成部と、前記拡大画像生成部で生成される拡大画像を記憶する記憶部と、前記記憶部に記憶される、時間的に前後する拡大画像を比較するため、車両の速度に関する速度情報に基づいて車両の移動距離を算出し、時間的に前の拡大画像を該移動距離に応じた変換拡大画像に変換する拡大画像変換部と、前記拡大画像と前記拡大画像変換部によって変換された変換拡大画像とを比較して両画像の異なる点を障害物として検出する障害物検出部と、前記障害物検出部が検出した検出結果を出力する出力部と、を備える。
【００１１】
上述したように、道路平面画像を用いて障害物を検出する従来の技術では、道路上の遠方の障害物を検出するためには、作成する道路平面画像を大きく、極端に言えば無限大まで拡大する必要があった。これに対し本発明に係る障害物検出装置では、道路平面画像を作成することなく障害物の検出が可能であることから、従来の道路平面画像を作成する技術に比べて使用する記憶領域を低減でき、処理負荷の軽減を実現できる。
【００１２】
撮影される方向は、車両の周囲であればよく、特に限定されるものではないが、車両の前方や後方、特には前方が好ましい。撮影は、車両の周囲を連続的に撮影可能な撮影手段によって行うことができる。最も簡易な撮影手段として、単眼モノクロカメラが例示されるが、撮影手段は、カラーに対応したカメラでもよい。本発明における障害物とは、車両が走行する道路上の障害物であり、道路面上から上方に突出しているもの、特に道路に対して相対的に移動するもの、換言すると、障害物検出装置が搭載される車両の速度に依存せずに移動するものを意味する。具体的には、障害物には、他の車両や歩行者が例示される。
【００１３】
抽出部は、画像から道路の領域を含む画像領域を抽出する。道路には、自車両の走行車線の他、隣接する車線や、路側帯、歩道も含めることができる。道路の領域は、上記のように特定される道路と隣接する他の領域との境界によって形成される。例えば、道路が自車両の走行車線である場合、自車両の走行車線と隣接する車線、路側帯、歩道との境界に挟まれた領域が道路の領域に相当する。なお、例えば、画像が車両の前方の画像である場合、画像には、道路の領域の幅が、車両に近いほど広く、車両から離れるにつれて狭く写る。
【００１４】
拡大画像生成部は、抽出される画像領域における遠方領域を拡大して拡大画像を生成する。遠方領域とは、車両から離れた領域であり、例えば、画像が車両の前方の画像である場合、道路幅が車両に近い部分と比較して狭く写る領域であり、車両から１０ｍ以上離れた領域を遠方領域とすることができる。遠方領域を拡大することで、遠方領域に障害物が存在する場合、遠方領域に存在する障害物も拡大されることになる。その結果、障害物の特定が容易となり、遠方領域に存在する障害物検出の精度が向上される。
【００１５】
記憶部は、拡大画像を記憶する。具体的には、記憶部は、撮影された画像であって、拡大画像生成部によって拡大された拡大画像を順次記憶する。すなわち、記憶部には、時間的に前後する拡大画像が複数記憶されることになる。なお、本発明では、道路平面画像を作成することなく障害物の検出が可能であることから、記憶部の記憶領域の容量を従来よりも低減することができる。
【００１６】
拡大画像変換部は、拡大画像を移動距離に応じた変換拡大画像に変換する。変換拡大画
像に変換されるのは、比較する拡大画像のうち、時間的に前の拡大画像、すなわちより古い拡大画像である。時間的に前の拡大画像は、車両の移動を踏まえて時系列的に変化させると、本来、時間的に後の拡大画像と一致することになる。そこで、本発明では、移動距離に応じて、時間的に前の拡大画像を変換拡大画像に変換する。速度情報は、車両から得ることができる。
【００１７】
障害物検出部は、拡大画像と拡大画像変換部によって変換された変換拡大画像とを比較して両画像の異なる点を障害物として検出する。変換拡大画像は、移動距離に応じた画像であり、時系列的に変化させた画像であるが、この時系列的な変化とは、あくまで車両の速度に依存した変化である。換言すると、車両の速度に依存しない変化は、含まれない。従って、拡大画像と拡大画像変換部によって変換された変換拡大画像とを比較することで両画像の異なる点を抽出することが可能となる。異なる点は、車両の速度に依存しない変化として現れるものであり障害物に相当する。
【００１８】
出力部は、検出結果を出力する。出力結果は、障害物検出装置の使用者、例えば車両の運転者や搭乗者が認識可能な態様で出力することができる。出力結果は、例えば、映像により視覚を通じて出力してもよく、また、音により聴覚を通じて出力してもよい。
【００１９】
ここで、本発明において、前記抽出部は、前記画像に含まれる、道路の境界に関する境界情報を抽出し、該境界情報から前記画像の消失点を算出し、該消失点を頂点とする、前記道路の領域としての三角形の画像領域を抽出し、前記拡大画像生成部は、前記抽出部で抽出される画像領域における消失点近傍を拡大して四角形の拡大画像を生成するようにしてもよい。
【００２０】
抽出部は、境界情報から画像の消失点を算出し、三角形の画像領域を抽出する。境界情報とは、車両が走行する道路と他の領域とを区別するために用いられる情報であり、道路に沿って延びる車線、車道と歩道との境界に設けられる境界線、道路の脇に設けられる縁石や側溝などに関する情報が含まれる。ここで、消失点とは、二つの直線が交わる交点であり、本発明では、境界情報に基づいて算出される。従って、境界情報には、少なくとも二つの直線を特定するための情報が含まれる。三角形の画像領域は、消失点からなる頂点と、頂点から伸びる二つの直線を有する。二つの直線（斜辺）は、消失点を算出するために用いられる線であり、換言すると車両が走行する道路と道路に隣接する他の領域とを区別する線である。なお、三角形の画像領域を形成する底辺の位置によって、障害物の検出可能領域、特に車両に近い領域においてどの程度まで障害物を検出するか否かが特定される。
【００２１】
拡大画像生成部は、消失点近傍を拡大して拡大画像を生成する。消失点近傍を拡大するとは、消失点近傍の画像を撮影の方向と直交する水平方向へ引き伸ばすことを意味する。これにより、三角形の画像領域が四角形の拡大画像に変換される。また、消失点は、車両から最も離れた位置に対応する。従って、消失点近傍を拡大することで、消失点近傍に障害物が存在する場合、消失点近傍に存在する障害物も拡大されることになる。その結果、障害物の特定が容易となり、障害物検出の精度が向上される。
【００２２】
なお、本発明は、上述した障害物検出装置に加えて、車両の周囲を撮影する撮影手段と、障害物検出が検出した検出結果を表示する表示手段とのうち、少なくともいずれか一方を含む障害物検出システムとして構成してもよい。
【００２３】
また、本発明は、上述した障害物検出装置で実行される処理を実現させる障害物検出方法として特定することもできる。具体的には、本発明は、車両の周囲における少なくとも一方向を撮影し、撮影された画像から前記一方向に存在する障害物を検出する障害物検出
方法であって、前記画像から、該車両が走行する道路の領域を含む画像領域を抽出する抽出ステップと、前記抽出ステップで抽出される画像領域における遠方領域を拡大して拡大画像を生成する拡大画像生成ステップと、前記拡大画像生成ステップで生成される拡大画像を記憶する記憶ステップと、前記記憶ステップで記憶される、時間的に前後する拡大画像を比較するため、車両の速度に関する速度情報に基づいて車両の移動距離を算出し、時間的に前の拡大画像を該移動距離に応じた変換拡大画像に変換する拡大画像変換ステップと、前記拡大画像と前記拡大画像変換ステップによって変換された変換拡大画像とを比較して両画像の異なる点を障害物として検出する障害物検出ステップと、前記障害物検出ステップで検出される検出結果を出力する出力ステップと、をコンピュータが実行する障害物検出方法である。
【００２４】
また、本発明に係る障害物検出方法において、前記抽出ステップでは、前記画像に含まれる、道路の境界に関する境界情報を抽出し、該境界情報から前記画像の消失点を算出し、該消失点を頂点とする、前記道路の領域としての三角形の画像領域を抽出し、前記拡大画像生成ステップでは、前記抽出ステップで抽出される画像領域における消失点近傍を拡大して四角形の拡大画像を生成するようにしてもよい。
【００２５】
なお、本発明は、上述した障害物検出装置で実行される処理を実現させるプログラムであってもよい。更に、本発明は、そのようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この場合、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行することにより、その機能を提供させることができる。なお、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、又は化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。
【発明の効果】
【００２６】
本発明によれば、道路遠方の障害物の検出ができ、障害物を検出する処理で必要とされる記憶領域の容量を抑えて処理負荷の軽減を図ることが可能な技術を提供することができる。
【図面の簡単な説明】
【００２７】
【図１】実施形態に係る障害物検出装置の概略構成を示す。
【図２】カメラの設置状況を示す。
【図３】遠方障害物検出処理フローを示す。
【図４】ヘッセの標準系による直線の表示を示す。
【図５】画像の左右から直線を検出した様子を示す。
【図６Ａ】カメラで撮影された画像の一例を示す。
【図６Ｂ】図６Ａに対応する画像から作成したエッジ画像を示す。
【図６Ｃ】図６Ａに対応する、直線の存在を表す配列ＨＬ、ＨＲを示す。
【図６Ｄ】ハフ変換で得られた２直線を画像に当てはめた画像を示す。
【図６Ｅ】三角形の画像領域が抽出された画像を示す。
【図６Ｆ】消失点の近傍が拡大された四角形の拡大画像を示す。
【図６Ｇ】移動距離に応じた時間的に前の変換拡大画像を示す。
【図６Ｈ】拡大画像と拡大画像変換部によって変換された変換拡大画像との差分から生成される差分画像を示す。
【図７】途切れた白線の片側の一方の境界と、別の白線の反対側の境界をなすエッジ点が選ばれることを示す。
【図８】白線や路側帯とは別の、同一直線上に検出されたエッジ点を通るものが選ばれることを示す。
【図９】次フレーム（時間的に後の拡大画像）の変形拡大画像の作成方法を示す。
【図１０】カメラ座標系と車両座標系を示す。
【図１１】射影処理において視点Ｏから出て画像上の点（ｘ，ｙ）を通る視線と道路面Ｘ＝−ｈとの交点（Ｘ，Ｙ，Ｚ）の画素値が、画像上の（ｘ，ｙ）へと写る様子を示す。
【図１２】道路上に突起した物体の障害物検出原理を示す。
【図１３】道路面の障害物の検出の原理を示す。
【図１４】実施例における、全７５０フレームのビデオ画像列の一部を示す。
【図１５】実施例における、ハフ変換により画像の左右から１本ずつ直線を検出し、その交点（消失点）に黒丸印をつけた画像列の一部を示す。
【図１６】実施例における、消失点付近を左右に拡大した遠方領域拡大画像列の一部を示す。
【図１７】俯瞰図を用いた処理による障害物検出結果と遠方障害物検出処理による障害物検出結果を並べて表示させたものを示す。
【発明を実施するための形態】
【００２８】
次に、本発明の障害物検出装置の実施形態について図面に基づいて説明する。以下では、カメラ２、障害物検出装置３、表示装置４を含む障障害物検出システム６として説明する。障害物検出装置３は、車両１に搭載され、カメラ２で撮影された画像を解析して、車両１の前方における道路上の障害物２０を検出する。以下、図面では、障害物としての他の車両には、符号２１を付し、障害物としての歩行者には、符号２２を付すものとする。特に、区別する必要がない場合には、単に障害物２０と称する。検出結果は、表示装置４に表示される他、車両１に搭載されたスピーカ（図示せず）を通じて音声として出力される。以下に説明する実施形態は例示にすぎず、本発明は、以下に説明する実施形態に限定されるものではない。例えば、検出結果は、車両１の記憶装置やＥＣＵ（Electrical Control Unit）等に対して出力し、ＰＣＳ（Pre-crash Safety System）などの車両制御に用いるようにしてもよい。
【００２９】
[構成]
実施形態に係る障障害物検出システム６は、カメラ２、障害物検出装置３、表示装置４を備える。カメラ２、障害物検出装置３、表示装置４は、何れも車両１に搭載され、互いに電気的に接続されている。
【００３０】
カメラ２は、本実施形態では、図２に示すように、車両１の前方を撮影するため、バックミラー１１の非鏡面側に設けられている。本実施形態では、カメラ２として単眼モノクロカメラが用いられており、車両１の前方を連続的に撮影する。撮影された画像には、障害物２０を含む車両１の前方の状況に関する情報が含まれる。本実施形態における障害物２０とは、車両が走行する道路上の障害物であり、他の車両２１や歩行者２２（道路の横断者を含む）が例示される。なお、カメラ２は、カラーに対応したカメラでもよい。
【００３１】
障害物検出装置３は、カメラ２で撮影された画像を解析して、車両１の前方における道路上の障害物２０を検出する。具体的には、制御部５を備え、障害物検出装置３が備える各構成を制御する。制御部５は、ＣＰＵ（Central Processing Unit）５０、メモリ５１
等を含むコンピュータとコンピュータ上で実行されるプログラムによって実現することができる。メモリ５１は、揮発性のＲＡＭ（Random Access Memory）と、不揮発性のＲＯＭ（Read Only Memory）を含む。ＲＯＭには、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable
Read-Only Memory）のような書き換え可能な半導体メモリを含む。ＣＰＵ５０は、ＲＯ
Ｍに格納されている、障害物検出装置３を制御するための各種プログラムをＲＡＭのワークエリアに展開し、制御部５に入力される各種データに応じて、各種プログラムに従った処理を実行する。制御部５が有する各構成は、ＣＰＵ５０上で実行されるコンピュータプ
ログラムとして構成することができる。また、各構成は、専用のプロセッサとして構成してもよい。制御部５が有する各構成には、抽出部５２、拡大画像生成部５３、記憶部５４、拡大画像変換部５５、障害物検出部５６、出力部５７が含まれる。
【００３２】
抽出部５２は、カメラ２で撮影された画像から、道路の境界１１、１２に関する境界情報を抽出し、該境界情報から画像の消失点１３を算出し、消失点１３を頂点とする、道路の領域としての三角形の画像領域１６を抽出する（図６Ｅ参照）。
【００３３】
拡大画像生成部５３は、抽出部５２で抽出される画像領域１６における消失点１３近傍を拡大して四角形の拡大画像を生成する（図６Ｆ参照）。
【００３４】
記憶部５４は、撮影された画像であって、拡大画像生成部５３によって拡大された拡大画像をメモリ５１内の所定の記憶領域に順次記憶させる。メモリ５１には、時間的に前後する拡大画像が複数記憶される。
【００３５】
拡大画像変換部５５は、時間的に前の拡大画像を移動距離に応じた変換拡大画像に変換する。移動距離は、速度情報に基づいて算出される。速度情報は、車両１内から適宜取得することができる。
【００３６】
障害物検出部５６は、拡大画像と拡大画像変換部５３によって変換された変換拡大画像とを比較して、両画像の異なる点を障害物として検出する。本実施形態では、障害物検出部５６は、拡大画像と拡大画像変換部５３によって変換された変換拡大画像との差分画像を生成し、適当な閾値による２値化を行うことで障害物を検出する（図６Ｈ参照）。
【００３７】
[処理フロー]
次に上述した実施形態に係る障害物検出装置３で実行される処理（以下、遠方障害物検出処理ともいう）について説明する。ここで、図３は、道路遠方の障害物を検出する遠方障害物検出処理フローを示す。以下で説明する遠方障害物検出処理の順序は、一例にすぎず、実施の形態に応じて適宜入れ替えてもよい。以下の説明では、所定の速度で走行中の車両１に搭載されたカメラ２によって車両１の前方を撮影し（図２参照）、前方の障害物２０、特に遠方に出現する障害物２０を検出する場合を一例として説明する。ここで、遠方障害物検出処理では、車両１に搭載されたカメラ２から撮影した道路ビデオ画像（本発明の画像に相当する。以下、単に画像という）を道路面に射影するのではなく、道路遠方部分を左右に引き伸ばし、後フレーム（本発明の時間的に後の画像に対応する変換拡大画像に相当する。）と前フレーム（本発明の時間的に前の画像に対応する変換拡大画像に相当する。）との差分を取ることにより、差分画像を生成し、これに基づいて道路遠方の障害物を検出する。従って、遠方障害物検出処理は、道路遠方の障害物２０の検出に特に適している。一方で、車両１から近い領域に存在する障害物２０については、画像を道路面に射影する既存の技術（以下、俯瞰図を用いた処理ともいう。）によっても検出可能であり、遠方障害物検出処理と俯瞰図を用いた処理は併用して用いることもできる。そこで、俯瞰図を用いた処理についても、遠方障害物検出処理の説明後に説明する。
【００３８】
（三角形の画像領域を抽出）
ステップＳ０１では、抽出部５２は、カメラ２で撮影された画像から、三角形の画像領域１６を抽出する。本実施形態では、白線又は路側帯の境界を道路の境界１１、１２（以下、道路の境界を特に区別する必要がない場合には、単に道路の境界１１という。）に関する境界情報として抽出し、道路の境界１１によって算出される２直線１４、１５（以下、直線を特に区別する必要ながない場合には、直線１４という。）の交点から消失点１３を算出し、消失点１３を頂点とする、道路の領域としての三角形の画像領域１６を抽出する。ここで、図６Ａは、カメラ２で撮影された画像の一例であり、図６Ｂは、図６Ａに対
応する画像から作成したエッジ画像である。図６Ｃは、図６Ａに対応する、直線の存在を表す配列ＨＬ、ＨＲを示す。また、図６Ｄは、ハフ変換で得られた２直線を画像に当てはめた画像を示す。更に、図６Ｅは、三角形の画像領域が抽出された画像を示す。
【００３９】
（ハフ変換における直線の投票と検出）
ここで、抽出部５２による三角形の画像領域１６の抽出は、ハフ変換によって行うことができる。そこで、まず、ハフ変換について説明する。ハフ変換とは、画像の特徴点を最も多く通る直線を決定する手法である。換言すると、ハフ変換とは、画像に最もよく合う直線を決定することであり、画像処理において幅広く用いられている手法である。この手法を用いるに際し、直線１４を数１に示すへッセ（Hesse）の標準型で表す。図４は、ヘ
ッセの標準系による直線の表示を示す。また、図５は、画像の左右から直線を検出した様子を示す。
【００４０】
【数１】
【００４１】
数１は、原点からの距離がｈであり、その単位法線べクトルnがｘ軸から角度θをなす
直線１４を表す。すなわち、ヘッセの標準系によれば、直線１４を原点Ｏからの距離ｈと角度θによって一意的に表すことができる。本実施形態では画像の中心を座標原点Ｏとし、ｘ軸を上方に、ｙ軸を右方にとる。画像の左右から路側帯若しくは白線からなる道路の境界１１が検出されるが、ｘ軸と直線との成す角度の範囲は３０°、距離の範囲は１００画素とし、左側の直線の向きθＬと距離ｈＬ、および右側の直線の向きθＲと距離ｈＲの範囲は例えば数２のように設定される。設定範囲は、下記に限定されるものではなく、画像に写りこむ白線や路側帯からなる直線１４の形状に関する過去のデータや実験データに基づいて設定することができる。
【００４２】
【数２】
【００４３】
設定範囲を設定したら、左右の直線１４、１５候補に対応する３１×１０１の整数型配列ＨＬ（ｉ，ｊ），ＨＲ（ｉ，ｊ）を用意する。そしてエッジ画像（図６Ｂ参照）の左半分と右半分からエッジ画素(ｘ，ｙ)を取り出し、各画素ごとにｉ＝０、１，・・・，３０に対して以下の計算を行う。
【００４４】
まず、画像の左半分及び右半分について、左側の直線１５の向きθＬ及び右側の直線１４の向きθＲを夫々求める（数３参照）。
【００４５】
【数３】
【００４６】
次に、画像の左半分及び右半分について、原点Ｏから左側の直線１５までの距離ｈＬ及び原点Ｏから右側の直線１４までの距離ｈＲを夫々求める（数４参照）。
【００４７】
【数４】
【００４８】
そして、画像の左半分及び右半分について、配列ＨＬ、ＨＲの値を数５のように更新する。なお、配列の３１×１０１の範囲をはみ出すものは無視するものとする。
【００４９】
【数５】
【００５０】
このようにして得られた配列ＨＬ、ＨＲの要素（ｉ，ｊ）の値は、その（ｉ，ｊ）に対応する直線｛ｈＲ，θＲ｝、{ｈＬ，θＬ}の近傍の重みつき画素数である。そこでＨＬ、ＨＲの最大要素をそれぞれHＬ（ｉＬ，ｊＬ）、HＲ（ｉＲ，ｊＲ）とすると、それぞれが表す直線１４、１５は数６のようになる。
【００５１】
【数６】
【００５２】
なお、図６Ｃは、図６Ａに対応する、直線の存在を表す配列ＨＬ、ＨＲを示す。また、図６Ｄは、ハフ変換で得られた２直線１４、１５を画像に当てはめた画像を示す。
【００５３】
（消失点の計算）
次に、消失点１３の計算について説明する。消失点１３は、数６で示される２直線１４、１５の交点として算出される。具体的には、消失点１３の座標は、次のようにして求められる。まず、数６から得られたθＬ，ｈＬ，θＲ，ｈＲを用いてべクトルｎＬ，ｎＲを定義する（数７参照）。
【００５４】
【数７】
【００５５】
次に、上記二つのベクトルｎＬ，ｎＲのベクトル積ｕを求める（数８参照）。
【００５６】
【数８】
【００５７】
その結果、２直線１４、１５の交点（ｘｖ，ｙｖ）が得られる（数９参照）。
【００５８】
【数９】
【００５９】
ここで、上述したように、ハフ変換は同一直線上に並んだエッジ点をなるべく多く通る直線を検出するものであるが、そのエッジ点が直線上に並んでいても、それが同じ直線の境界線となっているとは限らない。例えば、道路遠方の景色は原画像上において写りこむ範囲が小さいことから、エッジを検出する際に精度よくエッジ点を検出できるとは限らない。従って、途切れた白線の一方の境界ともうーつの白線の反対側の境界をつないだ直線１４ａが当てはまることも想定される。図７は、途切れた白線の片側の一方の境界と、別の白線の反対側の境界をなすエッジ点が選ばれることを示す。また、建物７と空の境界と道路上のエッジ点が数多く検出された領域（「とまれ」や「バス専用」等の文字が書き込まれている領域など）とをつなぐ直線１５ａを検出してしまった場合も存在する。図８は、白線や路側帯とは別の、同一直線上に検出されたエッジ点を通るものが選ばれることを示す。
【００６０】
上記のような課題を解決するため、各エッジ点に「方向」をつけるようにしてもよい。具体的には、以下の手順による。エッジ検出は画像の輝度値の微分を利用しているので、各エッジ点では揮度値Ｉが最も増力する方向が計算される（数１０参照）。
【００６１】
【数１０】
【００６２】
但し、Ｉｘ，Ｉｙは、それぞれ輝度値Ｉのｘ軸方向、ｙ軸方向の微分である。そこで、数１０において、▽Ｉの方向角をφとすると、ｃｏｓφ及びｓｉｎφは、数１１のようになる。
【００６３】
【数１１】
【００６４】
ここで、この方向の単位ベクトル（数１２参照）と直線１４の単位法線ベクトル（数１３参照）の内積は、数１４のようになる。
【００６５】
【数１２】
【００６６】
【数１３】
【００６７】
【数１４】
【００６８】
数１４で計算される内積ｃは、輝度値が直線の法線べクトルn方向に増加していると正
、直線の方向に沿って増加していると０、直線の法線べクトルnと反対方向に増加してい
ると負となる。従って、ハフ変換の行列Ｈに整数ではなく実数ｃを投票することによって、例えば白線１４を横断するように当てはまっていた直線１４では、異なる部分のエッジ点のｃの符号が反対となり、投票された値がより０に近くなり選ばれにくくなる。具体的には上記数５を数１５のように更新する。
【００６９】
【数１５】
【００７０】
そしてＨＬ、ＨＲの絶対値が最大の要素をそれぞれHＬ（ｉＬ，ｊＬ）、HＲ（ｉＲ，ｊＲ）とし、上記計算を繰り返す。その結果、白線や路側帯からなる道路の境界１１、１２を、より厳密に検出することが可能となる。
【００７１】
道路の境界１１を検出したら、次に、画像の左右の端における道路面との境界のｘ座標をｘａとする。道路面は、道路面とみなせる面でもよい。これにより、画像中の道路領域は、前述したようにハフ変換による白線検出から推定した消失点１６（ｘｖ，ｙｖ）を頂点とし、２点（ｘａ１＋（Ｍ−１）／２）、（ｘａ１−（Ｍ−１）／２）を結ぶ水平線を底辺とする三角形の画像領域１６となる。Ｍは画像の横幅である。
【００７２】
以上により、ステップ０１における三角形の画像領域１６の抽出が完了する。三角形の画像領域１６の抽出が完了すると、ステップＳ０２へ進む。
【００７３】
（拡大画像の生成）
ステップＳ０２では、拡大画像生成部５３は、抽出部５２で抽出される三角形の画像領域１６における消失点１３の近傍を拡大して四角形の拡大画像を生成する（図６Ｆ参照）。具体的には、以下の手順で行われる。上述したように、画像中の三角形の画像領域１６は、前述したようにハフ変換による道路の境界１１から生成される直線１４から推定した消失点（ｘｖ，ｙｖ）を頂点とし、２点（ｘａ１＋（Ｍ−１）／２）、（ｘａ１−（Ｍ−１）／２）を結ぶ水平線を底辺とする三角形の画像領域１６となる。道路上の遠方領域は、この三角形の頂点（ｘｖ，ｙｖ）、すなわち消失点１３付近に圧縮されているため、このままでは精度が足りず、解析が困難である。そこで、この三角形の画像領域１６の頂点のーつである消失点１３（ｘｖ，ｙｖ）を左右に引き伸ばし、長方形領域へと変換する（数１６参照）。
【００７４】
【数１６】
【００７５】
数１６において、それぞれｘ，ｙについて解くと数１７で表される。
【００７６】
【数１７】
【００７７】
そして、メモリ５１内に、三角形の画像領域１６を拡大した画像を保存する記憶領域を
予め用意しておき、その画像領域１６の各点（ｘ´，ｙ´）に対して、数１７によって（ｘ，ｙ）を計算し、画像上のその点を（ｘ´，ｙ´）へコピーする。なお、ｘ＝ｘｖ（消失点を通る水平線）上は特異点となるため計算しない方がよい。これにより、数１６において零除算の発生を抑えることができる。すなわち、処理負荷の軽減を図ることができる。
【００７８】
以上により、ステップ０２における拡大画像の生成が完了する。拡大画像の生成が完了すると、ステップＳ０３へ進む。
【００７９】
（変換拡大画像への変換）
ステップＳ０３では、拡大画像変換部５５は、時間的に前の拡大画像を移動距離に応じた変換拡大画像に変換する（図Ｇ参照）。ここで、上述したように消失点１３の近傍を拡大しても直線ｙ´＝０の位置は画像上と同じ位置にある。従って、その直線上の点を道路面上に写像すると、数１８のようなＺ軸上の点となる。
【００８０】
【数１８】
【００８１】
また、車両１が速度V（画素／フレーム）で移動しているとすれば、１フレーム前（時
間的に前）における直線ｙ´＝０のＺ軸上の位置は、数１９のようになる。
【００８２】
【数１９】
【００８３】
この点を画像上に逆写像した位置のｘ´座標は、数２０のようになる。
【００８４】
【数２０】
【００８５】
従って、変形拡大画像と時間的に１時刻前の変形拡大画像とを合わせるためには、図９のように処理する必要がある。図９は、次フレーム（時間的に後の拡大画像）の変形拡大画像の作成方法を示す。具体的には、まず、変形拡大画像の各点（ｘ´，ｙ´）に対して、数１８を計算し、直線上の点を道路面上に写像しＺ軸上の点を求める。次に、車両が速度V（画素／フレーム）で移動しているとして、時間的に前の変形拡大画像のＺ軸上の位
置を、数１９より求める。次に、Ｚ軸上の位置を画像上に逆写像した位置のｘ´座標を、数２０から求める。そして、時間的に前の変形拡大画像の点（ｘ´−１，ｙ´）の輝度値を点（ｘ´，ｙ´）へコピーする。
【００８６】
以上により、変換拡大画像への変換が完了する。変換拡大画像への変換が完了すると、ステップＳ０４へ進む。
【００８７】
（障害物の検出）
ステップＳ０４では、拡大画像と拡大画像変換部５５によって変換された変換拡大画像との差画像を生成し、適当な閾値による２値化を行うことで障害物２０を検出する（図６
Ｈ参照）。その後、出力部５７により、検出結果を表示装置４へ出力する。表示装置４に出力するに際しては、検出された障害物の周囲を点滅させたり、障害物を着色するなどして、より識別しやすい態様にすることが好ましい。なお、表示装置４に表示すると共に、スピーカを通じて音声により障害物を存在することを報知するようにしてもよい。
【００８８】
（俯瞰図を用いた処理）
上述した遠方障害物検出処理は、上述したように、俯瞰図を用いた処理と併用して用いることもできる。そこで、カメラ２で撮影された画像を道路面に射影する、俯瞰図を用いた処理について以下に説明する。なお、遠方障害物検出処理と俯瞰図を用いた処理とを併用する場合には、例えば車両１から１０ｍ以上離れた障害物２０の検出については、遠方障害物検出処理を用い、車両１から１０ｍより近い領域に存在する障害物２０の検出については、俯瞰図を用いた処理を用いることができる。なお、以下に説明する処理は、制御部５のＣＰＵ５０によって行うことができる。
【００８９】
ここで、図１０は、俯瞰図を用いた処理におけるカメラ座標系と車両座標系を示し、図１１は、俯瞰図を用いた処理において視点Ｏから出て画像上の点（ｘ，ｙ）を通る視線と道路面Ｘ＝−ｈとの交点（Ｘ，Ｙ，Ｚ）の画素値が、画像上の（ｘ，ｙ）へと写る様子を示す。
【００９０】
俯瞰図を用いた処理では、カメラ２により撮影された画像を道路上方から撮影したかのような道路平面画像（俯瞰図）を作成し、現在の道路平面画像と時間的に前の道路平面画像（前フレームの道路平面画像）の差分から障害物を検出する。
【００９１】
まず、車両画像系とカメラ画像系について説明する。車両画像系とは、カメラ２の視点（レンズ中心）を原点にとり、鉛直上方をＸ軸、水平横方向をＹ軸、水平前方をＺ軸とするものである。カメラ座標系とは、カメラの光軸方向（斜め下方）にＺ軸をとり、水平横方向にＹ軸（車両画像系のＹ軸と一致）をとり、Ｙ軸に直交するようにＸ軸を斜め上方とするものである。このとき、カメラ２が、角度αだけ下方に傾いているとすると、車両画像系（数２１の左辺）とカメラ画像系（数２１の右辺）は、数２１で表される。
【００９２】
【数２１】
【００９３】
道路面は、車両画像系に対して−ｈとすると、画像面上の点（ｘ，ｙ）に見える道路面上の点（Ｘ，Ｙ，Ｚ）は、数２２のようになる。ｈとは、道路面からカメラ２までの垂直高さである。
【００９４】
【数２２】
【００９５】
更に、上記道路面上の点（Ｘ，Ｙ，Ｚ）について、カメラ画像系に変換すると数２３のようになる。
【００９６】
【数２３】
【００９７】
次に、道路平面画像の作成について説明する。まず、数２３の関係を用いて、カメラ画像系における道路面上の点（ｘ，ｙ）を車両画像系における道路面上の点に写像する。この際、カメラ２の高さｈで割った座標系は、数２４に示され、数２４で示される座標系が道路面上の座標系と考える。
【００９８】
【数２４】
【００９９】
ここで、画像の縦（ｘ方向）の幅をＮ、画像の横（ｙ方向）の幅をＭとし、画像の左右の縁における道路面あるいは水平な地面と垂直物（建物など）との境界面の位置を（ｘａ１±（Ｍ−１）／２）とすると、カメラ画像系における道路面上の点（ｘ，ｙ）は、数２５に示す点に写像される。
【０１００】
【数２５】
【０１０１】
また、画像上の左右の縁における車両のボンネットの部分が写る境界を（ｘｂ１±（Ｍ−１）／２）とすると、カメラ画像系における道路面上の点（ｘ，ｙ）は、数２６に示す点に写像される。
【０１０２】
【数２６】
【０１０３】
ここで、道路面上の、数２７に示される長方形領域を考える。
【０１０４】
【数２７】
【０１０５】
点Ｚの最大値は、どこまで前方を表示するかによって決定される。従って、前方を全て表示する場合には、点Ｚの最大値は、無限となる。また、数２７に示される長方形領域を正方形にするならば、点Ｚの最大値は、数２８のようになる。
【０１０６】
【数２８】
【０１０７】
ここで、数２７において、点Ｚの最大値は、大きいほど作成する平面画像が大きくなり、より遠くまで障害物の有無の判定を行うことが可能となる。しかし、それと同時に道路平面画像を作成する際に必要となる記憶装置の記憶領域の容量が大きくなり、処理装置の処理負担が大きくなる。更に、車両から障害物までの距離が遠ければ遠いほど、撮影した画像上に映る範囲は当然小さくなり、その領域を拡大して書き込むため、判定精度の低下は避けられない。なお、点Ｚの最大値を小さくすることで道路平面画像を作成する際に必要となる記憶装置の容量を小さくし、処理装置の処理負担を小さくすることができる。しかし、障害物が存在することを運転者に知らせるタイミングが遅くなることが懸念される。従って、上記を踏まえて数７で示される長方形領域、換言すると表示領域の最小値及び最大値を決定する必要がある。そこで、本実施形態では、遠方における障害物２０の検出については、上述した遠方障害物検出処理を用いる。
【０１０８】
数２７で示される長方形領域、換言すると表示領域の最小値及び最大値が決定されると、表示領域に相当する記憶装置の記憶領域（画像バッファ）を定め、画像を写像する。具体的には、範囲が決定された表示領域の各画素に相当する画像面上の画素（ｘ，ｙ）を計算し、その画素の輝度値を数２４、２５、２６で示される座標系の各点にコピーする。これを表示領域の全ての画素に対して行うことで、数２９に示す逆写像が得られる。
【０１０９】
【数２９】
【０１１０】
ここで、算出された逆写像（ｘ，ｙ）は、必ずしも整数値ではないので、周辺の画素の双一次補間によって決定する。
【０１１１】
次に双一次補間について説明する。双一次補間は、まず、サイズＭ×Ｎの画像Ｉから実数（ｉ，ｊ）の位置の輝度値を得るために行われものであり、次のように行われる。以下、ｋ，ｌ，ε，ηは実数、Ｋ，Ｌは整数とする。
【０１１２】
まず、ｋ＜０、または、ｋ≧Ｍ、Ｌ＜０、または、ｌ≧Ｎの場合、フレームからはみ出た領域を０として処理する。これにより、（ｋ，ｌ）は、無限の範囲をとり得る。
【０１１３】
次に、ｋ＜０、または、ｋ≧Ｍ、Ｌ＜０、または、ｌ≧Ｎでない場合、整数部分Ｋ，Ｌと小数部分ε，ηを数３０のように計算する。なお、数３０における一番左の式の右辺は、ｋの整数部分（切捨て）を表す床関数（floor）である。
【０１１４】
【数３０】
【０１１５】
次に、Ｉ（Ｉ，Ｊ）とＩ（Ｉ，Ｊ＋１）をη：１−ηに内分し、Ｉ（Ｉ＋１，Ｊ）とＩ（Ｉ，Ｊ＋１）をη：１−ηに内分し、それらをε：１−εに内分する（数３１参照）。
【０１１６】
【数３１】
【０１１７】
次に障害物２０の検出について説明する。まず、車両１からみた前方の画像を上述のように道路面に写像する。道路面は、水平であると仮定し、その上を車両１が速度Ｖ／フレームで直進するとする。その時、道路上の物体は、相対的に速度−Ｖ／フレームで車両に近づいてきていると解釈することができる。すなわち、道路面上の点は、フレーム間でＶ／ｈだけ鉛直下方向へ平行移動すると解釈することができる。従って、前フレームの道路平面画像をＶ／ｈだけ鉛直下方向へ平行移動すれば、現フレームに一致することになる。但し、道路面上に突起した物体、すなわち歩行者２２や車両２１などの障害物２０と考えられるものが存在すれば、道路面と映り方が異なり平行移動しない。具体的には、道路面からより離れている、すなわちより高さのあるほど道路面より速い速度で鉛直下方向へ移動する。このように、道路面上の水平でない部分は、道路面とは違った動きをする。そこで、平行移動によって時間差による位置ずれを取り除いた前フレームと現フレームの差画像を計算し、適当な閾値による２値化を行うことで、道路面上の水平でない部分を検出することが可能となる。
【０１１８】
具体的にには、以下の手順によって、障害物画像Ｅｔを作成する。まず、第０画像Ｉ０を画像とし、道路平面画像Ｉ０´を作成する。次に、第一画像Ｉ１を画像とし、同と面画像Ｉ１´を作成する。次に、道路平面画像Ｉ０´を鉛直下方に平行移動し、Ｉ１´と重ねて差をとり、２値化した差画像Ｄ１を作成する。そして、第２画像を画像とし、以下上記処理を繰り返す。
【０１１９】
ここで、図１２は、道路上に突起した物体の障害物検出原理を示す。道路面に垂直な線分ＡＢは次の時刻には車両に相対的にＡ´Ｂ´へ移動する。このとき、上部のＡの道路面上への写像Ａ´は、車両の移動速度Ｖよりも速い速度でＡ´へと移動する。
【０１２０】
図１３は、道路面の障害物の検出の原理を示す。高さのある物体は、道路面から離れるに従って、道路平面上での移動距離が大きくなり、フレーム間差分をとった際に差が生じる。一方、道路標識等、道路面上に存在するものは高さがないため、フレーム間差分をとっても差は生じない。
【０１２１】
以上により、障害物の検出、特に車両１との距離が近い障害物の検出が可能となる。但し、俯瞰図を用いた処理では、障害物の検出状況が俯瞰図として表示される。そこで、運転者が障害物を確認し易くするため、前方を撮影した画像に障害物画像Ｅｔを写像する。具体的には、画像フレームの表示領域に相当する記憶領域をメモリ５２内に用意し、その各画素（ｘ，ｙ）に対応する道路平面画像の位置を障害物として検出する。例えば、最大輝度値となっていれば、バッファ領域中の画素（ｘ，ｙ）をカラー表示する。具体的には、以下の手順で行う。
【０１２２】
各時刻ｔごとに、原画像Ｉｔ´の各画素（ｘ，ｙ）を操作し、数３２に示す道路面上の位置を計算する。
【０１２３】
【数３２】
【０１２４】
数３２で示される位置に対応する障害物画像Ｅｔの画素が黒画素であるか、またはフレームの外であれば何もしない。一方、数１２で示される位置に対応する障害物画像Ｅｔの画素が白画素であれば、原画像Ｉｔ´の各画素（ｘ，ｙ）のＲ値を最大諧調に、Ｇ値とＢ値を０に書き換える。
【０１２５】
（作用効果）
以上説明した実施形態に係る障害物検出装置によれば、道路の遠方の障害物の検出においては、道路平面画像を作成することなく障害物の検出が可能であることから、俯瞰図を用いた処理によって道路の遠方の障害物を検出する場合にくらべて使用する記憶領域を低減でき、処理負荷の軽減を実現できる。
【０１２６】
（実施例）
上述したハフ変換による直線１４、１５の検出と、ハフ変換により当てはめた直線１４、１５から推定した消失点１３付近を拡大し、差画像をとることによりどの程度遠方の障害物２０を検出できるかを実験した。カメラ２の設定パラメータは、表１の通りである。また、道路遠方の障害物判定の判定領域は、数３３のようにした。なお、数３３において、ｘｖは、消失点１３のｘ座標である。
【０１２７】
【表１】
【０１２８】
【数３３】
【０１２９】
前述の実験により、ハフ変換を用いることによって、画像中の白線と道路の境界に直線１４、１５を精度よく、かつ自動的に当てはめることができることが確認された。この当てはめた２直線１４、１５の交わる点が消失点１３であり、この付近を拡大することで遠方の障害物２０を検出した。画像は全７５０フレームのビデオ画像列を用いた（図１４参照）。なお、図１４から図１７では、全７５０フレームのうち、４０フレーム、１８０フレーム、４３０フレームを例示する。ビデオ画像列は、見通しの良い２車線直線道路を直進しており、車両１の前方を頻繁に歩行者２２が横断している。また、路上に駐車している車両を避けるために対向車が中央線をはみ出して走行したり、車両１の前方で別の車両２１が車庫から出発するなど、車両１に対して危険だと考えられる要因が多数存在する設定である。この入力ビデオ画像列に対して道路遠方の障害物解析を行い、俯瞰図を用いた処理とどのような違いがあるかを確認した。ハフ変換により画像の左右から１本ずつ直線を検出し、その交点（消失点１３）に黒丸印をつけた画像は図１５となる。
【０１３０】
さらに、消失点１３付近を左右に拡大した遠方領域拡大画像は図１６となる。最後に、
俯瞰図を用いた処理による障害物検出結果と遠方障害物検出処理による障害物検出結果を並べて表示させたものが図１７となる。画像中でドットで囲まれた領域が障害物を判定した領域である。図１７を見れば分かるように、俯瞰図を用いた処理では、障害物２０の判定領域が車両１の直前に広く取っているが、記憶領域の容量及び処理負荷を考慮すると、検出範囲はせいぜい車両の前方１０メートル程度しか取ることができなかった。また、１０メートル程離れた位置にいる歩行者２２は、その足元に僅かに障害物判定が存在している程度である一方、今回の遠方障害物検出処理では、車両１からある程度距離が離れている領域で障害物判定を行うことを可能にしている。図１７では俯瞰図を用いた処理では僅かに障害物２０として検出することができた歩行者２２も、遠方障害物検出処理によって歩行者２２の全身を取り囲むように障害物検出をすることができた。また、俯瞰図を用いた処理では検出範囲外であった図１７の歩行者２２も障害物２０として判定することができた（図１７の４００フレーム参照）。
【０１３１】
以上、本発明の好適な実施形態を説明したが、本発明に係る障害物検出装置はこれらに限らず、可能な限りこれらの組合せを含むことができる。
【符号の説明】
【０１３２】
１・・・車両
２・・・カメラ
３・・・障害物検出装置
４・・・表示装置
５・・・制御部
６・・・障害物検出システム
１１、１２・・・境界
１３・・・消失点
１４、１５・・・直線
１６・・・三角形の画像領域
２０・・・障害物
２１・・・他の車両
２２・・・歩行者
５０・・・ＣＰＵ
５１・・・メモリ
５２・・・抽出部
５３・・・拡大画像生成部
５４・・・記憶部
５５・・・拡大画像変換部
５６・・・障害物検出部
５７・・・出力部
【技術分野】
【０００１】
本発明は、障害物検出装置、及び障害物検出方法の技術に関する。
【背景技術】
【０００２】
車両に搭載したカメラによって例えば車両の前方を撮影し、車両前方の障害物を検出する装置が知られている。例えば、特許文献１では、車両に搭載したカメラにより車両の前方を撮影し、前後する２時刻の撮影画像について射影変換を施した後に差分をとり、その差分から時間ずれが生じた特徴点を検出し、これらの特徴点から動きベクトルのオプティカルフローを検出して車両前方の障害物を検出する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３４６３８５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
センサー、レーダ、ＧＰＳを用い、車両が障害物に接近すると、アラームやモニタを通じて運転者に危険を知らせる技術が知られている。また、これらの技術と比較して、使用機器数を低減して低価格にて提供可能な技術とするため、単眼モノクロカメラ（以下、単にカメラとも称する）を車両に搭載し、搭載されたカメラによって撮影された画像列を解析することで、障害物を検出する技術が開発されている。
【０００５】
カメラによって撮影された画像列を解析することで、障害物を検出する従来技術では、まず、道路平面画像（俯瞰図）を作成する。そして、作成された四角形の道路平面画像のうち、前後する２時刻の道路平面画像の差分をとり、差分から時間ずれが生じた特徴点を検出し、これらの特徴点を障害物として検出する。
【０００６】
ここで、上記従来技術では、遠くの障害物の有無の判定は、道路平面画像の大きさを大きくすること、すなわち、道路平面画像における車両の前方方向の長さを長くすることで可能となる。つまり、上記従来技術では、作成される道路平面画像を大きくすればするほど、より遠くまで障害物の有無の判定を行うことが可能となる。
【０００７】
しかしながら、作成される道路平面画像を大きくすることで、より遠の障害物の検出が可能となるものの、道路平面画像を大きくすればするほど、道路平面画像を作成する際に必要となる記憶領域の容量が大きくなり、処理装置の処理負荷が大きくなる。なお、道路平面画像を小さくすることで、当然、道路平面画像を作成する際に必要となる記憶領域の容量を小さくし、処理装置の処理負担を小さくすることができる。しかし、遠くの障害物の検出ができなくなり、障害物が存在することを運転者に知らせるタイミングが遅くなることが懸念される。
【０００８】
本発明では、道路遠方の障害物の検出ができ、障害物を検出する処理で必要とされる記憶領域の容量を抑えて処理負荷の軽減を図ることが可能な技術を提供することを課題とする。
【課題を解決するための手段】
【０００９】
本発明では、上述した課題を解決するため、車両から撮影した画像を道路平面画像に変換せず、車両から撮影した画像における道路遠方領域を拡大し、時間的に前の画像と比較
することで、道路遠方の障害物を検出することとした。
【００１０】
より詳細には、本発明は、車両の周囲における少なくとも一方向を撮影し、撮影された画像から前記一方向に存在する障害物を検出する障害物検出装置であって、前記画像から、該車両が走行する道路の領域としての画像領域を抽出する抽出部と、前記抽出部で抽出される画像領域における遠方領域を拡大して拡大画像を生成する拡大画像生成部と、前記拡大画像生成部で生成される拡大画像を記憶する記憶部と、前記記憶部に記憶される、時間的に前後する拡大画像を比較するため、車両の速度に関する速度情報に基づいて車両の移動距離を算出し、時間的に前の拡大画像を該移動距離に応じた変換拡大画像に変換する拡大画像変換部と、前記拡大画像と前記拡大画像変換部によって変換された変換拡大画像とを比較して両画像の異なる点を障害物として検出する障害物検出部と、前記障害物検出部が検出した検出結果を出力する出力部と、を備える。
【００１１】
上述したように、道路平面画像を用いて障害物を検出する従来の技術では、道路上の遠方の障害物を検出するためには、作成する道路平面画像を大きく、極端に言えば無限大まで拡大する必要があった。これに対し本発明に係る障害物検出装置では、道路平面画像を作成することなく障害物の検出が可能であることから、従来の道路平面画像を作成する技術に比べて使用する記憶領域を低減でき、処理負荷の軽減を実現できる。
【００１２】
撮影される方向は、車両の周囲であればよく、特に限定されるものではないが、車両の前方や後方、特には前方が好ましい。撮影は、車両の周囲を連続的に撮影可能な撮影手段によって行うことができる。最も簡易な撮影手段として、単眼モノクロカメラが例示されるが、撮影手段は、カラーに対応したカメラでもよい。本発明における障害物とは、車両が走行する道路上の障害物であり、道路面上から上方に突出しているもの、特に道路に対して相対的に移動するもの、換言すると、障害物検出装置が搭載される車両の速度に依存せずに移動するものを意味する。具体的には、障害物には、他の車両や歩行者が例示される。
【００１３】
抽出部は、画像から道路の領域を含む画像領域を抽出する。道路には、自車両の走行車線の他、隣接する車線や、路側帯、歩道も含めることができる。道路の領域は、上記のように特定される道路と隣接する他の領域との境界によって形成される。例えば、道路が自車両の走行車線である場合、自車両の走行車線と隣接する車線、路側帯、歩道との境界に挟まれた領域が道路の領域に相当する。なお、例えば、画像が車両の前方の画像である場合、画像には、道路の領域の幅が、車両に近いほど広く、車両から離れるにつれて狭く写る。
【００１４】
拡大画像生成部は、抽出される画像領域における遠方領域を拡大して拡大画像を生成する。遠方領域とは、車両から離れた領域であり、例えば、画像が車両の前方の画像である場合、道路幅が車両に近い部分と比較して狭く写る領域であり、車両から１０ｍ以上離れた領域を遠方領域とすることができる。遠方領域を拡大することで、遠方領域に障害物が存在する場合、遠方領域に存在する障害物も拡大されることになる。その結果、障害物の特定が容易となり、遠方領域に存在する障害物検出の精度が向上される。
【００１５】
記憶部は、拡大画像を記憶する。具体的には、記憶部は、撮影された画像であって、拡大画像生成部によって拡大された拡大画像を順次記憶する。すなわち、記憶部には、時間的に前後する拡大画像が複数記憶されることになる。なお、本発明では、道路平面画像を作成することなく障害物の検出が可能であることから、記憶部の記憶領域の容量を従来よりも低減することができる。
【００１６】
拡大画像変換部は、拡大画像を移動距離に応じた変換拡大画像に変換する。変換拡大画
像に変換されるのは、比較する拡大画像のうち、時間的に前の拡大画像、すなわちより古い拡大画像である。時間的に前の拡大画像は、車両の移動を踏まえて時系列的に変化させると、本来、時間的に後の拡大画像と一致することになる。そこで、本発明では、移動距離に応じて、時間的に前の拡大画像を変換拡大画像に変換する。速度情報は、車両から得ることができる。
【００１７】
障害物検出部は、拡大画像と拡大画像変換部によって変換された変換拡大画像とを比較して両画像の異なる点を障害物として検出する。変換拡大画像は、移動距離に応じた画像であり、時系列的に変化させた画像であるが、この時系列的な変化とは、あくまで車両の速度に依存した変化である。換言すると、車両の速度に依存しない変化は、含まれない。従って、拡大画像と拡大画像変換部によって変換された変換拡大画像とを比較することで両画像の異なる点を抽出することが可能となる。異なる点は、車両の速度に依存しない変化として現れるものであり障害物に相当する。
【００１８】
出力部は、検出結果を出力する。出力結果は、障害物検出装置の使用者、例えば車両の運転者や搭乗者が認識可能な態様で出力することができる。出力結果は、例えば、映像により視覚を通じて出力してもよく、また、音により聴覚を通じて出力してもよい。
【００１９】
ここで、本発明において、前記抽出部は、前記画像に含まれる、道路の境界に関する境界情報を抽出し、該境界情報から前記画像の消失点を算出し、該消失点を頂点とする、前記道路の領域としての三角形の画像領域を抽出し、前記拡大画像生成部は、前記抽出部で抽出される画像領域における消失点近傍を拡大して四角形の拡大画像を生成するようにしてもよい。
【００２０】
抽出部は、境界情報から画像の消失点を算出し、三角形の画像領域を抽出する。境界情報とは、車両が走行する道路と他の領域とを区別するために用いられる情報であり、道路に沿って延びる車線、車道と歩道との境界に設けられる境界線、道路の脇に設けられる縁石や側溝などに関する情報が含まれる。ここで、消失点とは、二つの直線が交わる交点であり、本発明では、境界情報に基づいて算出される。従って、境界情報には、少なくとも二つの直線を特定するための情報が含まれる。三角形の画像領域は、消失点からなる頂点と、頂点から伸びる二つの直線を有する。二つの直線（斜辺）は、消失点を算出するために用いられる線であり、換言すると車両が走行する道路と道路に隣接する他の領域とを区別する線である。なお、三角形の画像領域を形成する底辺の位置によって、障害物の検出可能領域、特に車両に近い領域においてどの程度まで障害物を検出するか否かが特定される。
【００２１】
拡大画像生成部は、消失点近傍を拡大して拡大画像を生成する。消失点近傍を拡大するとは、消失点近傍の画像を撮影の方向と直交する水平方向へ引き伸ばすことを意味する。これにより、三角形の画像領域が四角形の拡大画像に変換される。また、消失点は、車両から最も離れた位置に対応する。従って、消失点近傍を拡大することで、消失点近傍に障害物が存在する場合、消失点近傍に存在する障害物も拡大されることになる。その結果、障害物の特定が容易となり、障害物検出の精度が向上される。
【００２２】
なお、本発明は、上述した障害物検出装置に加えて、車両の周囲を撮影する撮影手段と、障害物検出が検出した検出結果を表示する表示手段とのうち、少なくともいずれか一方を含む障害物検出システムとして構成してもよい。
【００２３】
また、本発明は、上述した障害物検出装置で実行される処理を実現させる障害物検出方法として特定することもできる。具体的には、本発明は、車両の周囲における少なくとも一方向を撮影し、撮影された画像から前記一方向に存在する障害物を検出する障害物検出
方法であって、前記画像から、該車両が走行する道路の領域を含む画像領域を抽出する抽出ステップと、前記抽出ステップで抽出される画像領域における遠方領域を拡大して拡大画像を生成する拡大画像生成ステップと、前記拡大画像生成ステップで生成される拡大画像を記憶する記憶ステップと、前記記憶ステップで記憶される、時間的に前後する拡大画像を比較するため、車両の速度に関する速度情報に基づいて車両の移動距離を算出し、時間的に前の拡大画像を該移動距離に応じた変換拡大画像に変換する拡大画像変換ステップと、前記拡大画像と前記拡大画像変換ステップによって変換された変換拡大画像とを比較して両画像の異なる点を障害物として検出する障害物検出ステップと、前記障害物検出ステップで検出される検出結果を出力する出力ステップと、をコンピュータが実行する障害物検出方法である。
【００２４】
また、本発明に係る障害物検出方法において、前記抽出ステップでは、前記画像に含まれる、道路の境界に関する境界情報を抽出し、該境界情報から前記画像の消失点を算出し、該消失点を頂点とする、前記道路の領域としての三角形の画像領域を抽出し、前記拡大画像生成ステップでは、前記抽出ステップで抽出される画像領域における消失点近傍を拡大して四角形の拡大画像を生成するようにしてもよい。
【００２５】
なお、本発明は、上述した障害物検出装置で実行される処理を実現させるプログラムであってもよい。更に、本発明は、そのようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この場合、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行することにより、その機能を提供させることができる。なお、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、又は化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。
【発明の効果】
【００２６】
本発明によれば、道路遠方の障害物の検出ができ、障害物を検出する処理で必要とされる記憶領域の容量を抑えて処理負荷の軽減を図ることが可能な技術を提供することができる。
【図面の簡単な説明】
【００２７】
【図１】実施形態に係る障害物検出装置の概略構成を示す。
【図２】カメラの設置状況を示す。
【図３】遠方障害物検出処理フローを示す。
【図４】ヘッセの標準系による直線の表示を示す。
【図５】画像の左右から直線を検出した様子を示す。
【図６Ａ】カメラで撮影された画像の一例を示す。
【図６Ｂ】図６Ａに対応する画像から作成したエッジ画像を示す。
【図６Ｃ】図６Ａに対応する、直線の存在を表す配列ＨＬ、ＨＲを示す。
【図６Ｄ】ハフ変換で得られた２直線を画像に当てはめた画像を示す。
【図６Ｅ】三角形の画像領域が抽出された画像を示す。
【図６Ｆ】消失点の近傍が拡大された四角形の拡大画像を示す。
【図６Ｇ】移動距離に応じた時間的に前の変換拡大画像を示す。
【図６Ｈ】拡大画像と拡大画像変換部によって変換された変換拡大画像との差分から生成される差分画像を示す。
【図７】途切れた白線の片側の一方の境界と、別の白線の反対側の境界をなすエッジ点が選ばれることを示す。
【図８】白線や路側帯とは別の、同一直線上に検出されたエッジ点を通るものが選ばれることを示す。
【図９】次フレーム（時間的に後の拡大画像）の変形拡大画像の作成方法を示す。
【図１０】カメラ座標系と車両座標系を示す。
【図１１】射影処理において視点Ｏから出て画像上の点（ｘ，ｙ）を通る視線と道路面Ｘ＝−ｈとの交点（Ｘ，Ｙ，Ｚ）の画素値が、画像上の（ｘ，ｙ）へと写る様子を示す。
【図１２】道路上に突起した物体の障害物検出原理を示す。
【図１３】道路面の障害物の検出の原理を示す。
【図１４】実施例における、全７５０フレームのビデオ画像列の一部を示す。
【図１５】実施例における、ハフ変換により画像の左右から１本ずつ直線を検出し、その交点（消失点）に黒丸印をつけた画像列の一部を示す。
【図１６】実施例における、消失点付近を左右に拡大した遠方領域拡大画像列の一部を示す。
【図１７】俯瞰図を用いた処理による障害物検出結果と遠方障害物検出処理による障害物検出結果を並べて表示させたものを示す。
【発明を実施するための形態】
【００２８】
次に、本発明の障害物検出装置の実施形態について図面に基づいて説明する。以下では、カメラ２、障害物検出装置３、表示装置４を含む障障害物検出システム６として説明する。障害物検出装置３は、車両１に搭載され、カメラ２で撮影された画像を解析して、車両１の前方における道路上の障害物２０を検出する。以下、図面では、障害物としての他の車両には、符号２１を付し、障害物としての歩行者には、符号２２を付すものとする。特に、区別する必要がない場合には、単に障害物２０と称する。検出結果は、表示装置４に表示される他、車両１に搭載されたスピーカ（図示せず）を通じて音声として出力される。以下に説明する実施形態は例示にすぎず、本発明は、以下に説明する実施形態に限定されるものではない。例えば、検出結果は、車両１の記憶装置やＥＣＵ（Electrical Control Unit）等に対して出力し、ＰＣＳ（Pre-crash Safety System）などの車両制御に用いるようにしてもよい。
【００２９】
[構成]
実施形態に係る障障害物検出システム６は、カメラ２、障害物検出装置３、表示装置４を備える。カメラ２、障害物検出装置３、表示装置４は、何れも車両１に搭載され、互いに電気的に接続されている。
【００３０】
カメラ２は、本実施形態では、図２に示すように、車両１の前方を撮影するため、バックミラー１１の非鏡面側に設けられている。本実施形態では、カメラ２として単眼モノクロカメラが用いられており、車両１の前方を連続的に撮影する。撮影された画像には、障害物２０を含む車両１の前方の状況に関する情報が含まれる。本実施形態における障害物２０とは、車両が走行する道路上の障害物であり、他の車両２１や歩行者２２（道路の横断者を含む）が例示される。なお、カメラ２は、カラーに対応したカメラでもよい。
【００３１】
障害物検出装置３は、カメラ２で撮影された画像を解析して、車両１の前方における道路上の障害物２０を検出する。具体的には、制御部５を備え、障害物検出装置３が備える各構成を制御する。制御部５は、ＣＰＵ（Central Processing Unit）５０、メモリ５１
等を含むコンピュータとコンピュータ上で実行されるプログラムによって実現することができる。メモリ５１は、揮発性のＲＡＭ（Random Access Memory）と、不揮発性のＲＯＭ（Read Only Memory）を含む。ＲＯＭには、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable
Read-Only Memory）のような書き換え可能な半導体メモリを含む。ＣＰＵ５０は、ＲＯ
Ｍに格納されている、障害物検出装置３を制御するための各種プログラムをＲＡＭのワークエリアに展開し、制御部５に入力される各種データに応じて、各種プログラムに従った処理を実行する。制御部５が有する各構成は、ＣＰＵ５０上で実行されるコンピュータプ
ログラムとして構成することができる。また、各構成は、専用のプロセッサとして構成してもよい。制御部５が有する各構成には、抽出部５２、拡大画像生成部５３、記憶部５４、拡大画像変換部５５、障害物検出部５６、出力部５７が含まれる。
【００３２】
抽出部５２は、カメラ２で撮影された画像から、道路の境界１１、１２に関する境界情報を抽出し、該境界情報から画像の消失点１３を算出し、消失点１３を頂点とする、道路の領域としての三角形の画像領域１６を抽出する（図６Ｅ参照）。
【００３３】
拡大画像生成部５３は、抽出部５２で抽出される画像領域１６における消失点１３近傍を拡大して四角形の拡大画像を生成する（図６Ｆ参照）。
【００３４】
記憶部５４は、撮影された画像であって、拡大画像生成部５３によって拡大された拡大画像をメモリ５１内の所定の記憶領域に順次記憶させる。メモリ５１には、時間的に前後する拡大画像が複数記憶される。
【００３５】
拡大画像変換部５５は、時間的に前の拡大画像を移動距離に応じた変換拡大画像に変換する。移動距離は、速度情報に基づいて算出される。速度情報は、車両１内から適宜取得することができる。
【００３６】
障害物検出部５６は、拡大画像と拡大画像変換部５３によって変換された変換拡大画像とを比較して、両画像の異なる点を障害物として検出する。本実施形態では、障害物検出部５６は、拡大画像と拡大画像変換部５３によって変換された変換拡大画像との差分画像を生成し、適当な閾値による２値化を行うことで障害物を検出する（図６Ｈ参照）。
【００３７】
[処理フロー]
次に上述した実施形態に係る障害物検出装置３で実行される処理（以下、遠方障害物検出処理ともいう）について説明する。ここで、図３は、道路遠方の障害物を検出する遠方障害物検出処理フローを示す。以下で説明する遠方障害物検出処理の順序は、一例にすぎず、実施の形態に応じて適宜入れ替えてもよい。以下の説明では、所定の速度で走行中の車両１に搭載されたカメラ２によって車両１の前方を撮影し（図２参照）、前方の障害物２０、特に遠方に出現する障害物２０を検出する場合を一例として説明する。ここで、遠方障害物検出処理では、車両１に搭載されたカメラ２から撮影した道路ビデオ画像（本発明の画像に相当する。以下、単に画像という）を道路面に射影するのではなく、道路遠方部分を左右に引き伸ばし、後フレーム（本発明の時間的に後の画像に対応する変換拡大画像に相当する。）と前フレーム（本発明の時間的に前の画像に対応する変換拡大画像に相当する。）との差分を取ることにより、差分画像を生成し、これに基づいて道路遠方の障害物を検出する。従って、遠方障害物検出処理は、道路遠方の障害物２０の検出に特に適している。一方で、車両１から近い領域に存在する障害物２０については、画像を道路面に射影する既存の技術（以下、俯瞰図を用いた処理ともいう。）によっても検出可能であり、遠方障害物検出処理と俯瞰図を用いた処理は併用して用いることもできる。そこで、俯瞰図を用いた処理についても、遠方障害物検出処理の説明後に説明する。
【００３８】
（三角形の画像領域を抽出）
ステップＳ０１では、抽出部５２は、カメラ２で撮影された画像から、三角形の画像領域１６を抽出する。本実施形態では、白線又は路側帯の境界を道路の境界１１、１２（以下、道路の境界を特に区別する必要がない場合には、単に道路の境界１１という。）に関する境界情報として抽出し、道路の境界１１によって算出される２直線１４、１５（以下、直線を特に区別する必要ながない場合には、直線１４という。）の交点から消失点１３を算出し、消失点１３を頂点とする、道路の領域としての三角形の画像領域１６を抽出する。ここで、図６Ａは、カメラ２で撮影された画像の一例であり、図６Ｂは、図６Ａに対
応する画像から作成したエッジ画像である。図６Ｃは、図６Ａに対応する、直線の存在を表す配列ＨＬ、ＨＲを示す。また、図６Ｄは、ハフ変換で得られた２直線を画像に当てはめた画像を示す。更に、図６Ｅは、三角形の画像領域が抽出された画像を示す。
【００３９】
（ハフ変換における直線の投票と検出）
ここで、抽出部５２による三角形の画像領域１６の抽出は、ハフ変換によって行うことができる。そこで、まず、ハフ変換について説明する。ハフ変換とは、画像の特徴点を最も多く通る直線を決定する手法である。換言すると、ハフ変換とは、画像に最もよく合う直線を決定することであり、画像処理において幅広く用いられている手法である。この手法を用いるに際し、直線１４を数１に示すへッセ（Hesse）の標準型で表す。図４は、ヘ
ッセの標準系による直線の表示を示す。また、図５は、画像の左右から直線を検出した様子を示す。
【００４０】
【数１】
【００４１】
数１は、原点からの距離がｈであり、その単位法線べクトルnがｘ軸から角度θをなす
直線１４を表す。すなわち、ヘッセの標準系によれば、直線１４を原点Ｏからの距離ｈと角度θによって一意的に表すことができる。本実施形態では画像の中心を座標原点Ｏとし、ｘ軸を上方に、ｙ軸を右方にとる。画像の左右から路側帯若しくは白線からなる道路の境界１１が検出されるが、ｘ軸と直線との成す角度の範囲は３０°、距離の範囲は１００画素とし、左側の直線の向きθＬと距離ｈＬ、および右側の直線の向きθＲと距離ｈＲの範囲は例えば数２のように設定される。設定範囲は、下記に限定されるものではなく、画像に写りこむ白線や路側帯からなる直線１４の形状に関する過去のデータや実験データに基づいて設定することができる。
【００４２】
【数２】
【００４３】
設定範囲を設定したら、左右の直線１４、１５候補に対応する３１×１０１の整数型配列ＨＬ（ｉ，ｊ），ＨＲ（ｉ，ｊ）を用意する。そしてエッジ画像（図６Ｂ参照）の左半分と右半分からエッジ画素(ｘ，ｙ)を取り出し、各画素ごとにｉ＝０、１，・・・，３０に対して以下の計算を行う。
【００４４】
まず、画像の左半分及び右半分について、左側の直線１５の向きθＬ及び右側の直線１４の向きθＲを夫々求める（数３参照）。
【００４５】
【数３】
【００４６】
次に、画像の左半分及び右半分について、原点Ｏから左側の直線１５までの距離ｈＬ及び原点Ｏから右側の直線１４までの距離ｈＲを夫々求める（数４参照）。
【００４７】
【数４】
【００４８】
そして、画像の左半分及び右半分について、配列ＨＬ、ＨＲの値を数５のように更新する。なお、配列の３１×１０１の範囲をはみ出すものは無視するものとする。
【００４９】
【数５】
【００５０】
このようにして得られた配列ＨＬ、ＨＲの要素（ｉ，ｊ）の値は、その（ｉ，ｊ）に対応する直線｛ｈＲ，θＲ｝、{ｈＬ，θＬ}の近傍の重みつき画素数である。そこでＨＬ、ＨＲの最大要素をそれぞれHＬ（ｉＬ，ｊＬ）、HＲ（ｉＲ，ｊＲ）とすると、それぞれが表す直線１４、１５は数６のようになる。
【００５１】
【数６】
【００５２】
なお、図６Ｃは、図６Ａに対応する、直線の存在を表す配列ＨＬ、ＨＲを示す。また、図６Ｄは、ハフ変換で得られた２直線１４、１５を画像に当てはめた画像を示す。
【００５３】
（消失点の計算）
次に、消失点１３の計算について説明する。消失点１３は、数６で示される２直線１４、１５の交点として算出される。具体的には、消失点１３の座標は、次のようにして求められる。まず、数６から得られたθＬ，ｈＬ，θＲ，ｈＲを用いてべクトルｎＬ，ｎＲを定義する（数７参照）。
【００５４】
【数７】
【００５５】
次に、上記二つのベクトルｎＬ，ｎＲのベクトル積ｕを求める（数８参照）。
【００５６】
【数８】
【００５７】
その結果、２直線１４、１５の交点（ｘｖ，ｙｖ）が得られる（数９参照）。
【００５８】
【数９】
【００５９】
ここで、上述したように、ハフ変換は同一直線上に並んだエッジ点をなるべく多く通る直線を検出するものであるが、そのエッジ点が直線上に並んでいても、それが同じ直線の境界線となっているとは限らない。例えば、道路遠方の景色は原画像上において写りこむ範囲が小さいことから、エッジを検出する際に精度よくエッジ点を検出できるとは限らない。従って、途切れた白線の一方の境界ともうーつの白線の反対側の境界をつないだ直線１４ａが当てはまることも想定される。図７は、途切れた白線の片側の一方の境界と、別の白線の反対側の境界をなすエッジ点が選ばれることを示す。また、建物７と空の境界と道路上のエッジ点が数多く検出された領域（「とまれ」や「バス専用」等の文字が書き込まれている領域など）とをつなぐ直線１５ａを検出してしまった場合も存在する。図８は、白線や路側帯とは別の、同一直線上に検出されたエッジ点を通るものが選ばれることを示す。
【００６０】
上記のような課題を解決するため、各エッジ点に「方向」をつけるようにしてもよい。具体的には、以下の手順による。エッジ検出は画像の輝度値の微分を利用しているので、各エッジ点では揮度値Ｉが最も増力する方向が計算される（数１０参照）。
【００６１】
【数１０】
【００６２】
但し、Ｉｘ，Ｉｙは、それぞれ輝度値Ｉのｘ軸方向、ｙ軸方向の微分である。そこで、数１０において、▽Ｉの方向角をφとすると、ｃｏｓφ及びｓｉｎφは、数１１のようになる。
【００６３】
【数１１】
【００６４】
ここで、この方向の単位ベクトル（数１２参照）と直線１４の単位法線ベクトル（数１３参照）の内積は、数１４のようになる。
【００６５】
【数１２】
【００６６】
【数１３】
【００６７】
【数１４】
【００６８】
数１４で計算される内積ｃは、輝度値が直線の法線べクトルn方向に増加していると正
、直線の方向に沿って増加していると０、直線の法線べクトルnと反対方向に増加してい
ると負となる。従って、ハフ変換の行列Ｈに整数ではなく実数ｃを投票することによって、例えば白線１４を横断するように当てはまっていた直線１４では、異なる部分のエッジ点のｃの符号が反対となり、投票された値がより０に近くなり選ばれにくくなる。具体的には上記数５を数１５のように更新する。
【００６９】
【数１５】
【００７０】
そしてＨＬ、ＨＲの絶対値が最大の要素をそれぞれHＬ（ｉＬ，ｊＬ）、HＲ（ｉＲ，ｊＲ）とし、上記計算を繰り返す。その結果、白線や路側帯からなる道路の境界１１、１２を、より厳密に検出することが可能となる。
【００７１】
道路の境界１１を検出したら、次に、画像の左右の端における道路面との境界のｘ座標をｘａとする。道路面は、道路面とみなせる面でもよい。これにより、画像中の道路領域は、前述したようにハフ変換による白線検出から推定した消失点１６（ｘｖ，ｙｖ）を頂点とし、２点（ｘａ１＋（Ｍ−１）／２）、（ｘａ１−（Ｍ−１）／２）を結ぶ水平線を底辺とする三角形の画像領域１６となる。Ｍは画像の横幅である。
【００７２】
以上により、ステップ０１における三角形の画像領域１６の抽出が完了する。三角形の画像領域１６の抽出が完了すると、ステップＳ０２へ進む。
【００７３】
（拡大画像の生成）
ステップＳ０２では、拡大画像生成部５３は、抽出部５２で抽出される三角形の画像領域１６における消失点１３の近傍を拡大して四角形の拡大画像を生成する（図６Ｆ参照）。具体的には、以下の手順で行われる。上述したように、画像中の三角形の画像領域１６は、前述したようにハフ変換による道路の境界１１から生成される直線１４から推定した消失点（ｘｖ，ｙｖ）を頂点とし、２点（ｘａ１＋（Ｍ−１）／２）、（ｘａ１−（Ｍ−１）／２）を結ぶ水平線を底辺とする三角形の画像領域１６となる。道路上の遠方領域は、この三角形の頂点（ｘｖ，ｙｖ）、すなわち消失点１３付近に圧縮されているため、このままでは精度が足りず、解析が困難である。そこで、この三角形の画像領域１６の頂点のーつである消失点１３（ｘｖ，ｙｖ）を左右に引き伸ばし、長方形領域へと変換する（数１６参照）。
【００７４】
【数１６】
【００７５】
数１６において、それぞれｘ，ｙについて解くと数１７で表される。
【００７６】
【数１７】
【００７７】
そして、メモリ５１内に、三角形の画像領域１６を拡大した画像を保存する記憶領域を
予め用意しておき、その画像領域１６の各点（ｘ´，ｙ´）に対して、数１７によって（ｘ，ｙ）を計算し、画像上のその点を（ｘ´，ｙ´）へコピーする。なお、ｘ＝ｘｖ（消失点を通る水平線）上は特異点となるため計算しない方がよい。これにより、数１６において零除算の発生を抑えることができる。すなわち、処理負荷の軽減を図ることができる。
【００７８】
以上により、ステップ０２における拡大画像の生成が完了する。拡大画像の生成が完了すると、ステップＳ０３へ進む。
【００７９】
（変換拡大画像への変換）
ステップＳ０３では、拡大画像変換部５５は、時間的に前の拡大画像を移動距離に応じた変換拡大画像に変換する（図Ｇ参照）。ここで、上述したように消失点１３の近傍を拡大しても直線ｙ´＝０の位置は画像上と同じ位置にある。従って、その直線上の点を道路面上に写像すると、数１８のようなＺ軸上の点となる。
【００８０】
【数１８】
【００８１】
また、車両１が速度V（画素／フレーム）で移動しているとすれば、１フレーム前（時
間的に前）における直線ｙ´＝０のＺ軸上の位置は、数１９のようになる。
【００８２】
【数１９】
【００８３】
この点を画像上に逆写像した位置のｘ´座標は、数２０のようになる。
【００８４】
【数２０】
【００８５】
従って、変形拡大画像と時間的に１時刻前の変形拡大画像とを合わせるためには、図９のように処理する必要がある。図９は、次フレーム（時間的に後の拡大画像）の変形拡大画像の作成方法を示す。具体的には、まず、変形拡大画像の各点（ｘ´，ｙ´）に対して、数１８を計算し、直線上の点を道路面上に写像しＺ軸上の点を求める。次に、車両が速度V（画素／フレーム）で移動しているとして、時間的に前の変形拡大画像のＺ軸上の位
置を、数１９より求める。次に、Ｚ軸上の位置を画像上に逆写像した位置のｘ´座標を、数２０から求める。そして、時間的に前の変形拡大画像の点（ｘ´−１，ｙ´）の輝度値を点（ｘ´，ｙ´）へコピーする。
【００８６】
以上により、変換拡大画像への変換が完了する。変換拡大画像への変換が完了すると、ステップＳ０４へ進む。
【００８７】
（障害物の検出）
ステップＳ０４では、拡大画像と拡大画像変換部５５によって変換された変換拡大画像との差画像を生成し、適当な閾値による２値化を行うことで障害物２０を検出する（図６
Ｈ参照）。その後、出力部５７により、検出結果を表示装置４へ出力する。表示装置４に出力するに際しては、検出された障害物の周囲を点滅させたり、障害物を着色するなどして、より識別しやすい態様にすることが好ましい。なお、表示装置４に表示すると共に、スピーカを通じて音声により障害物を存在することを報知するようにしてもよい。
【００８８】
（俯瞰図を用いた処理）
上述した遠方障害物検出処理は、上述したように、俯瞰図を用いた処理と併用して用いることもできる。そこで、カメラ２で撮影された画像を道路面に射影する、俯瞰図を用いた処理について以下に説明する。なお、遠方障害物検出処理と俯瞰図を用いた処理とを併用する場合には、例えば車両１から１０ｍ以上離れた障害物２０の検出については、遠方障害物検出処理を用い、車両１から１０ｍより近い領域に存在する障害物２０の検出については、俯瞰図を用いた処理を用いることができる。なお、以下に説明する処理は、制御部５のＣＰＵ５０によって行うことができる。
【００８９】
ここで、図１０は、俯瞰図を用いた処理におけるカメラ座標系と車両座標系を示し、図１１は、俯瞰図を用いた処理において視点Ｏから出て画像上の点（ｘ，ｙ）を通る視線と道路面Ｘ＝−ｈとの交点（Ｘ，Ｙ，Ｚ）の画素値が、画像上の（ｘ，ｙ）へと写る様子を示す。
【００９０】
俯瞰図を用いた処理では、カメラ２により撮影された画像を道路上方から撮影したかのような道路平面画像（俯瞰図）を作成し、現在の道路平面画像と時間的に前の道路平面画像（前フレームの道路平面画像）の差分から障害物を検出する。
【００９１】
まず、車両画像系とカメラ画像系について説明する。車両画像系とは、カメラ２の視点（レンズ中心）を原点にとり、鉛直上方をＸ軸、水平横方向をＹ軸、水平前方をＺ軸とするものである。カメラ座標系とは、カメラの光軸方向（斜め下方）にＺ軸をとり、水平横方向にＹ軸（車両画像系のＹ軸と一致）をとり、Ｙ軸に直交するようにＸ軸を斜め上方とするものである。このとき、カメラ２が、角度αだけ下方に傾いているとすると、車両画像系（数２１の左辺）とカメラ画像系（数２１の右辺）は、数２１で表される。
【００９２】
【数２１】
【００９３】
道路面は、車両画像系に対して−ｈとすると、画像面上の点（ｘ，ｙ）に見える道路面上の点（Ｘ，Ｙ，Ｚ）は、数２２のようになる。ｈとは、道路面からカメラ２までの垂直高さである。
【００９４】
【数２２】
【００９５】
更に、上記道路面上の点（Ｘ，Ｙ，Ｚ）について、カメラ画像系に変換すると数２３のようになる。
【００９６】
【数２３】
【００９７】
次に、道路平面画像の作成について説明する。まず、数２３の関係を用いて、カメラ画像系における道路面上の点（ｘ，ｙ）を車両画像系における道路面上の点に写像する。この際、カメラ２の高さｈで割った座標系は、数２４に示され、数２４で示される座標系が道路面上の座標系と考える。
【００９８】
【数２４】
【００９９】
ここで、画像の縦（ｘ方向）の幅をＮ、画像の横（ｙ方向）の幅をＭとし、画像の左右の縁における道路面あるいは水平な地面と垂直物（建物など）との境界面の位置を（ｘａ１±（Ｍ−１）／２）とすると、カメラ画像系における道路面上の点（ｘ，ｙ）は、数２５に示す点に写像される。
【０１００】
【数２５】
【０１０１】
また、画像上の左右の縁における車両のボンネットの部分が写る境界を（ｘｂ１±（Ｍ−１）／２）とすると、カメラ画像系における道路面上の点（ｘ，ｙ）は、数２６に示す点に写像される。
【０１０２】
【数２６】
【０１０３】
ここで、道路面上の、数２７に示される長方形領域を考える。
【０１０４】
【数２７】
【０１０５】
点Ｚの最大値は、どこまで前方を表示するかによって決定される。従って、前方を全て表示する場合には、点Ｚの最大値は、無限となる。また、数２７に示される長方形領域を正方形にするならば、点Ｚの最大値は、数２８のようになる。
【０１０６】
【数２８】
【０１０７】
ここで、数２７において、点Ｚの最大値は、大きいほど作成する平面画像が大きくなり、より遠くまで障害物の有無の判定を行うことが可能となる。しかし、それと同時に道路平面画像を作成する際に必要となる記憶装置の記憶領域の容量が大きくなり、処理装置の処理負担が大きくなる。更に、車両から障害物までの距離が遠ければ遠いほど、撮影した画像上に映る範囲は当然小さくなり、その領域を拡大して書き込むため、判定精度の低下は避けられない。なお、点Ｚの最大値を小さくすることで道路平面画像を作成する際に必要となる記憶装置の容量を小さくし、処理装置の処理負担を小さくすることができる。しかし、障害物が存在することを運転者に知らせるタイミングが遅くなることが懸念される。従って、上記を踏まえて数７で示される長方形領域、換言すると表示領域の最小値及び最大値を決定する必要がある。そこで、本実施形態では、遠方における障害物２０の検出については、上述した遠方障害物検出処理を用いる。
【０１０８】
数２７で示される長方形領域、換言すると表示領域の最小値及び最大値が決定されると、表示領域に相当する記憶装置の記憶領域（画像バッファ）を定め、画像を写像する。具体的には、範囲が決定された表示領域の各画素に相当する画像面上の画素（ｘ，ｙ）を計算し、その画素の輝度値を数２４、２５、２６で示される座標系の各点にコピーする。これを表示領域の全ての画素に対して行うことで、数２９に示す逆写像が得られる。
【０１０９】
【数２９】
【０１１０】
ここで、算出された逆写像（ｘ，ｙ）は、必ずしも整数値ではないので、周辺の画素の双一次補間によって決定する。
【０１１１】
次に双一次補間について説明する。双一次補間は、まず、サイズＭ×Ｎの画像Ｉから実数（ｉ，ｊ）の位置の輝度値を得るために行われものであり、次のように行われる。以下、ｋ，ｌ，ε，ηは実数、Ｋ，Ｌは整数とする。
【０１１２】
まず、ｋ＜０、または、ｋ≧Ｍ、Ｌ＜０、または、ｌ≧Ｎの場合、フレームからはみ出た領域を０として処理する。これにより、（ｋ，ｌ）は、無限の範囲をとり得る。
【０１１３】
次に、ｋ＜０、または、ｋ≧Ｍ、Ｌ＜０、または、ｌ≧Ｎでない場合、整数部分Ｋ，Ｌと小数部分ε，ηを数３０のように計算する。なお、数３０における一番左の式の右辺は、ｋの整数部分（切捨て）を表す床関数（floor）である。
【０１１４】
【数３０】
【０１１５】
次に、Ｉ（Ｉ，Ｊ）とＩ（Ｉ，Ｊ＋１）をη：１−ηに内分し、Ｉ（Ｉ＋１，Ｊ）とＩ（Ｉ，Ｊ＋１）をη：１−ηに内分し、それらをε：１−εに内分する（数３１参照）。
【０１１６】
【数３１】
【０１１７】
次に障害物２０の検出について説明する。まず、車両１からみた前方の画像を上述のように道路面に写像する。道路面は、水平であると仮定し、その上を車両１が速度Ｖ／フレームで直進するとする。その時、道路上の物体は、相対的に速度−Ｖ／フレームで車両に近づいてきていると解釈することができる。すなわち、道路面上の点は、フレーム間でＶ／ｈだけ鉛直下方向へ平行移動すると解釈することができる。従って、前フレームの道路平面画像をＶ／ｈだけ鉛直下方向へ平行移動すれば、現フレームに一致することになる。但し、道路面上に突起した物体、すなわち歩行者２２や車両２１などの障害物２０と考えられるものが存在すれば、道路面と映り方が異なり平行移動しない。具体的には、道路面からより離れている、すなわちより高さのあるほど道路面より速い速度で鉛直下方向へ移動する。このように、道路面上の水平でない部分は、道路面とは違った動きをする。そこで、平行移動によって時間差による位置ずれを取り除いた前フレームと現フレームの差画像を計算し、適当な閾値による２値化を行うことで、道路面上の水平でない部分を検出することが可能となる。
【０１１８】
具体的にには、以下の手順によって、障害物画像Ｅｔを作成する。まず、第０画像Ｉ０を画像とし、道路平面画像Ｉ０´を作成する。次に、第一画像Ｉ１を画像とし、同と面画像Ｉ１´を作成する。次に、道路平面画像Ｉ０´を鉛直下方に平行移動し、Ｉ１´と重ねて差をとり、２値化した差画像Ｄ１を作成する。そして、第２画像を画像とし、以下上記処理を繰り返す。
【０１１９】
ここで、図１２は、道路上に突起した物体の障害物検出原理を示す。道路面に垂直な線分ＡＢは次の時刻には車両に相対的にＡ´Ｂ´へ移動する。このとき、上部のＡの道路面上への写像Ａ´は、車両の移動速度Ｖよりも速い速度でＡ´へと移動する。
【０１２０】
図１３は、道路面の障害物の検出の原理を示す。高さのある物体は、道路面から離れるに従って、道路平面上での移動距離が大きくなり、フレーム間差分をとった際に差が生じる。一方、道路標識等、道路面上に存在するものは高さがないため、フレーム間差分をとっても差は生じない。
【０１２１】
以上により、障害物の検出、特に車両１との距離が近い障害物の検出が可能となる。但し、俯瞰図を用いた処理では、障害物の検出状況が俯瞰図として表示される。そこで、運転者が障害物を確認し易くするため、前方を撮影した画像に障害物画像Ｅｔを写像する。具体的には、画像フレームの表示領域に相当する記憶領域をメモリ５２内に用意し、その各画素（ｘ，ｙ）に対応する道路平面画像の位置を障害物として検出する。例えば、最大輝度値となっていれば、バッファ領域中の画素（ｘ，ｙ）をカラー表示する。具体的には、以下の手順で行う。
【０１２２】
各時刻ｔごとに、原画像Ｉｔ´の各画素（ｘ，ｙ）を操作し、数３２に示す道路面上の位置を計算する。
【０１２３】
【数３２】
【０１２４】
数３２で示される位置に対応する障害物画像Ｅｔの画素が黒画素であるか、またはフレームの外であれば何もしない。一方、数１２で示される位置に対応する障害物画像Ｅｔの画素が白画素であれば、原画像Ｉｔ´の各画素（ｘ，ｙ）のＲ値を最大諧調に、Ｇ値とＢ値を０に書き換える。
【０１２５】
（作用効果）
以上説明した実施形態に係る障害物検出装置によれば、道路の遠方の障害物の検出においては、道路平面画像を作成することなく障害物の検出が可能であることから、俯瞰図を用いた処理によって道路の遠方の障害物を検出する場合にくらべて使用する記憶領域を低減でき、処理負荷の軽減を実現できる。
【０１２６】
（実施例）
上述したハフ変換による直線１４、１５の検出と、ハフ変換により当てはめた直線１４、１５から推定した消失点１３付近を拡大し、差画像をとることによりどの程度遠方の障害物２０を検出できるかを実験した。カメラ２の設定パラメータは、表１の通りである。また、道路遠方の障害物判定の判定領域は、数３３のようにした。なお、数３３において、ｘｖは、消失点１３のｘ座標である。
【０１２７】
【表１】
【０１２８】
【数３３】
【０１２９】
前述の実験により、ハフ変換を用いることによって、画像中の白線と道路の境界に直線１４、１５を精度よく、かつ自動的に当てはめることができることが確認された。この当てはめた２直線１４、１５の交わる点が消失点１３であり、この付近を拡大することで遠方の障害物２０を検出した。画像は全７５０フレームのビデオ画像列を用いた（図１４参照）。なお、図１４から図１７では、全７５０フレームのうち、４０フレーム、１８０フレーム、４３０フレームを例示する。ビデオ画像列は、見通しの良い２車線直線道路を直進しており、車両１の前方を頻繁に歩行者２２が横断している。また、路上に駐車している車両を避けるために対向車が中央線をはみ出して走行したり、車両１の前方で別の車両２１が車庫から出発するなど、車両１に対して危険だと考えられる要因が多数存在する設定である。この入力ビデオ画像列に対して道路遠方の障害物解析を行い、俯瞰図を用いた処理とどのような違いがあるかを確認した。ハフ変換により画像の左右から１本ずつ直線を検出し、その交点（消失点１３）に黒丸印をつけた画像は図１５となる。
【０１３０】
さらに、消失点１３付近を左右に拡大した遠方領域拡大画像は図１６となる。最後に、
俯瞰図を用いた処理による障害物検出結果と遠方障害物検出処理による障害物検出結果を並べて表示させたものが図１７となる。画像中でドットで囲まれた領域が障害物を判定した領域である。図１７を見れば分かるように、俯瞰図を用いた処理では、障害物２０の判定領域が車両１の直前に広く取っているが、記憶領域の容量及び処理負荷を考慮すると、検出範囲はせいぜい車両の前方１０メートル程度しか取ることができなかった。また、１０メートル程離れた位置にいる歩行者２２は、その足元に僅かに障害物判定が存在している程度である一方、今回の遠方障害物検出処理では、車両１からある程度距離が離れている領域で障害物判定を行うことを可能にしている。図１７では俯瞰図を用いた処理では僅かに障害物２０として検出することができた歩行者２２も、遠方障害物検出処理によって歩行者２２の全身を取り囲むように障害物検出をすることができた。また、俯瞰図を用いた処理では検出範囲外であった図１７の歩行者２２も障害物２０として判定することができた（図１７の４００フレーム参照）。
【０１３１】
以上、本発明の好適な実施形態を説明したが、本発明に係る障害物検出装置はこれらに限らず、可能な限りこれらの組合せを含むことができる。
【符号の説明】
【０１３２】
１・・・車両
２・・・カメラ
３・・・障害物検出装置
４・・・表示装置
５・・・制御部
６・・・障害物検出システム
１１、１２・・・境界
１３・・・消失点
１４、１５・・・直線
１６・・・三角形の画像領域
２０・・・障害物
２１・・・他の車両
２２・・・歩行者
５０・・・ＣＰＵ
５１・・・メモリ
５２・・・抽出部
５３・・・拡大画像生成部
５４・・・記憶部
５５・・・拡大画像変換部
５６・・・障害物検出部
５７・・・出力部
【特許請求の範囲】
【請求項１】
車両の周囲における少なくとも一方向を撮影し、撮影された画像から前記一方向に存在する障害物を検出する障害物検出装置であって、
前記画像から、該車両が走行する道路の領域を含む画像領域を抽出する抽出部と、
前記抽出部で抽出される画像領域における遠方領域を拡大して拡大画像を生成する拡大画像生成部と、
前記拡大画像生成部で生成される拡大画像を記憶する記憶部と、
前記記憶部に記憶される、時間的に前後する拡大画像を比較するため、車両の速度に関する速度情報に基づいて車両の移動距離を算出し、時間的に前の拡大画像を該移動距離に応じた変換拡大画像に変換する拡大画像変換部と、
前記拡大画像と前記拡大画像変換部によって変換された変換拡大画像とを比較して両画像の異なる点を障害物として検出する障害物検出部と、
前記障害物検出部が検出した検出結果を出力する出力部と、
を備える障害物検出装置。
【請求項２】
前記抽出部は、前記画像に含まれる、道路の境界に関する境界情報を抽出し、該境界情報から前記画像の消失点を算出し、該消失点を頂点とする、前記道路の領域としての三角形の画像領域を抽出し、
前記拡大画像生成部は、前記抽出部で抽出される画像領域における消失点近傍を拡大して四角形の拡大画像を生成する、
請求項１に記載の障害物検出装置。
【請求項３】
車両の周囲における少なくとも一方向を撮影し、撮影された画像から前記一方向に存在する障害物を検出する障害物検出方法であって、
前記画像から、該車両が走行する道路の領域を含む画像領域を抽出する抽出ステップと、
前記抽出ステップで抽出される画像領域における遠方領域を拡大して拡大画像を生成する拡大画像生成ステップと、
前記拡大画像生成ステップで生成される拡大画像を記憶する記憶ステップと、
前記記憶ステップで記憶される、時間的に前後する拡大画像を比較するため、車両の速度に関する速度情報に基づいて車両の移動距離を算出し、時間的に前の拡大画像を該移動距離に応じた変換拡大画像に変換する拡大画像変換ステップと、
前記拡大画像と前記拡大画像変換ステップによって変換された変換拡大画像とを比較して両画像の異なる点を障害物として検出する障害物検出ステップと、
前記障害物検出ステップで検出される検出結果を出力する出力ステップと、をコンピュータが実行する障害物検出方法。
【請求項４】
前記抽出ステップでは、前記画像に含まれる、道路の境界に関する境界情報を抽出し、該境界情報から前記画像の消失点を算出し、該消失点を頂点とする、前記道路の領域としての三角形の画像領域を抽出し、
前記拡大画像生成ステップでは、前記抽出ステップで抽出される画像領域における消失点近傍を拡大して四角形の拡大画像を生成する、
請求項３に記載の障害物検出方法。
【請求項１】
車両の周囲における少なくとも一方向を撮影し、撮影された画像から前記一方向に存在する障害物を検出する障害物検出装置であって、
前記画像から、該車両が走行する道路の領域を含む画像領域を抽出する抽出部と、
前記抽出部で抽出される画像領域における遠方領域を拡大して拡大画像を生成する拡大画像生成部と、
前記拡大画像生成部で生成される拡大画像を記憶する記憶部と、
前記記憶部に記憶される、時間的に前後する拡大画像を比較するため、車両の速度に関する速度情報に基づいて車両の移動距離を算出し、時間的に前の拡大画像を該移動距離に応じた変換拡大画像に変換する拡大画像変換部と、
前記拡大画像と前記拡大画像変換部によって変換された変換拡大画像とを比較して両画像の異なる点を障害物として検出する障害物検出部と、
前記障害物検出部が検出した検出結果を出力する出力部と、
を備える障害物検出装置。
【請求項２】
前記抽出部は、前記画像に含まれる、道路の境界に関する境界情報を抽出し、該境界情報から前記画像の消失点を算出し、該消失点を頂点とする、前記道路の領域としての三角形の画像領域を抽出し、
前記拡大画像生成部は、前記抽出部で抽出される画像領域における消失点近傍を拡大して四角形の拡大画像を生成する、
請求項１に記載の障害物検出装置。
【請求項３】
車両の周囲における少なくとも一方向を撮影し、撮影された画像から前記一方向に存在する障害物を検出する障害物検出方法であって、
前記画像から、該車両が走行する道路の領域を含む画像領域を抽出する抽出ステップと、
前記抽出ステップで抽出される画像領域における遠方領域を拡大して拡大画像を生成する拡大画像生成ステップと、
前記拡大画像生成ステップで生成される拡大画像を記憶する記憶ステップと、
前記記憶ステップで記憶される、時間的に前後する拡大画像を比較するため、車両の速度に関する速度情報に基づいて車両の移動距離を算出し、時間的に前の拡大画像を該移動距離に応じた変換拡大画像に変換する拡大画像変換ステップと、
前記拡大画像と前記拡大画像変換ステップによって変換された変換拡大画像とを比較して両画像の異なる点を障害物として検出する障害物検出ステップと、
前記障害物検出ステップで検出される検出結果を出力する出力ステップと、をコンピュータが実行する障害物検出方法。
【請求項４】
前記抽出ステップでは、前記画像に含まれる、道路の境界に関する境界情報を抽出し、該境界情報から前記画像の消失点を算出し、該消失点を頂点とする、前記道路の領域としての三角形の画像領域を抽出し、
前記拡大画像生成ステップでは、前記抽出ステップで抽出される画像領域における消失点近傍を拡大して四角形の拡大画像を生成する、
請求項３に記載の障害物検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図６Ｅ】
【図６Ｆ】
【図６Ｇ】
【図６Ｈ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図６Ｅ】
【図６Ｆ】
【図６Ｇ】
【図６Ｈ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１１−１７０５６８（Ｐ２０１１−１７０５６８Ａ）
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願番号】特願２０１０−３３０１０（Ｐ２０１０−３３０１０）
【出願日】平成２２年２月１７日（２０１０．２．１７）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【出願人】（５０４１４７２４３）国立大学法人 岡山大学 (444)
【Ｆターム（参考）】
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願日】平成２２年２月１７日（２０１０．２．１７）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【出願人】（５０４１４７２４３）国立大学法人 岡山大学 (444)
【Ｆターム（参考）】
[ Back to top ]