誤認識防止装置
【課題】車載カメラの撮影画像を処理するだけの安価な構成で、影と障害物とを区別し、誤認識を防止して障害物を認識できる技術を提供する。
【解決手段】取得手段６ａにより取得された各フレームの撮影画像が変換手段６ｂにより上方視画像に射影変換されて、各フレームの上方視画像それぞれの略同じ路面領域の水平エッジヒストグラムのピーク形状に関する特徴が抽出手段６ｃにより抽出される。そして、各フレームの抽出された特徴が相似するか否かから同一領域の影と障害物とが区別され、誤認識が防止されて障害物が認識手段６ｄにより認識されるため、単眼カメラ３の撮影画像を処理するだけで、影と障害物とを区別し、誤認識を防止して障害物を認識できる。しかも、車載レーダなどの高価な測定機器を車両に搭載する必要がないため、安価な構成とすることができ、コストダウンを図ることができる。
【解決手段】取得手段６ａにより取得された各フレームの撮影画像が変換手段６ｂにより上方視画像に射影変換されて、各フレームの上方視画像それぞれの略同じ路面領域の水平エッジヒストグラムのピーク形状に関する特徴が抽出手段６ｃにより抽出される。そして、各フレームの抽出された特徴が相似するか否かから同一領域の影と障害物とが区別され、誤認識が防止されて障害物が認識手段６ｄにより認識されるため、単眼カメラ３の撮影画像を処理するだけで、影と障害物とを区別し、誤認識を防止して障害物を認識できる。しかも、車載レーダなどの高価な測定機器を車両に搭載する必要がないため、安価な構成とすることができ、コストダウンを図ることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、自車両に搭載された車載カメラの路面領域を含む撮影画像を処理して認識する自車両周辺の障害物と影との誤認識を防止する技術に関する。
【背景技術】
【０００２】
従来、車載カメラの撮影画像内で検出された車両候補が、走行路周辺の地形や建造物の影が路面に投影されたものであるかどうかを、現時点の太陽の位置に基づいて判定する技術が知られている（例えば、特許文献１）。すなわち、特許文献１に記載の技術では、３次元地図データがナビゲーション装置が備える記憶装置に予め格納されている。そして、ナビゲーション装置のＧＰＳデータに基づく自車両位置と、ナビゲーション装置の記憶装置から取込んだ自車両周辺の地形、建造物の３次元データと、年月日および現在時刻などに基づいて推定された太陽の位置とに基づいて、撮影画像を処理することにより得られた車両候補が、自車両周辺の橋梁、ビル、塀などの建造物や地形などの路側立体物によって自車両の走行路上に投影された影であるかどうかが判定される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４２９６２８７号公報（段落［００１０］、図１，３，４、要約書など）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、隣接車線の先行車両の影が自車両前方の路面に存在すると、その影も障害物候補（車両候補）として検出される。ところが、上記した従来技術では、路側立体物の影が障害物候補として検出された場合には、記憶装置に格納された３次元地図データに基づいて、検出された障害物候補が影であると認識することができるが、車両などの移動物体の影が障害物候補として検出された場合には、記憶装置に格納された３次元地図データに基づく路側立体物の影の認識しかできないため、検出された障害物候補が影であるかどうかを認識することができない。そこで、車載レーダを車両に搭載し、この車載レーダを用いて自車両前方に検出された障害物候補が障害物であるか、影であるかを認識することも考えられるが、コストダウンの観点から車両に車載レーダを搭載するのは望ましくない。したがって、車載カメラの撮影画像内に検出された障害物候補が障害物であるのか、影であるのかを、撮影画像を処理するだけで正確に区別して認識できる技術が望まれていた。
【０００５】
本発明は、車載カメラの撮影画像を処理するだけの安価な構成で、影と障害物とを区別し、誤認識を防止して障害物を認識できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記した目的を達成するために、本発明の誤認識防止装置は、自車両に搭載された車載カメラの路面領域を含む撮影画像を処理して認識する自車両周辺の障害物と影との誤認識防止装置において、前記車載カメラの同じ路面領域を含む複数フレームの撮影画像を取得する取得手段と、前記各フレームの撮影画像それぞれの略前記同じ路面領域の特徴を抽出する抽出手段と、前記各フレームの抽出した特徴が相似するか否かから前記同じ路面領域の影と障害物とを区別して障害物を認識する認識手段とを備えることを特徴としている（請求項１）。
【０００７】
また、前記各フレームの撮影画像を上方視画像に射影変換する変換手段をさらに備え、前記抽出手段は、前記各フレームの上方視画像それぞれの略前記同じ路面領域の特徴を抽出し、前記認識手段は、前記各フレームの抽出した特徴が相似するか否かから前記同じ路面領域の影と障害物とを区別して障害物を認識するようにしてもよい。
【発明の効果】
【０００８】
請求項１に記載の発明によれば、車載カメラの同じ路面領域を含む複数フレームの撮影画像が取得手段により取得されて、各フレームの撮影画像それぞれの略同じ路面領域（以下、「同一領域」と称する）の特徴が抽出手段により抽出される。
【０００９】
このとき、例えば、時刻ｔｍに取得されたフレームの撮影画像の同一領域には影が投影されており、異なる時刻ｔｎに取得されたフレームの撮影画像の同一領域には影が投影されておらず障害物も存在しなければ、路面に投影された影の内部は平坦でべた状であるため、各撮影画像の同一領域の違いは、影が投影された同一領域が、影が投影されていない同一領域に比べて相対的に暗くなるだけである。したがって、抽出手段により抽出された各撮影画像の同一領域の特徴は相似するものとなる。
【００１０】
一方、例えば、時刻ｔｍに取得されたフレームの撮影画像の同一領域には障害物が存在し、異なる時刻ｔｎに取得されたフレームの撮影画像の同一領域には障害物が存在しなければ、各撮影画像の同一領域の内容は大きく異なるものとなる。したがって、抽出手段により抽出された各撮影画像の同一領域の特徴は相似しない。
【００１１】
そこで、各フレームの抽出された特徴が相似するか否かから同一領域の影と障害物とが区別され、誤認識が防止されて障害物が認識手段により認識されるため、車載カメラの撮影画像を処理するだけで、影と障害物とを区別し、誤認識を防止して障害物を認識できる。しかも、車載レーダなどの高価な測定機器を車両に搭載する必要がないため、安価な構成とすることができ、コストダウンを図ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の誤認識防止装置としての機能を備える障害物認識装置の一実施形態のブロック図である。
【図２】図１の単眼カメラの構成の一例を示す図である。
【図３】撮影画像の一例である。
【図４】撮影画像の他の例である。
【図５】図１の動作説明用のフローチャートである。
【発明を実施するための形態】
【００１３】
本発明の一実施形態について、図１〜図５を参照して説明する。
【００１４】
図１は本発明の誤認識防止装置としての機能を備える障害物認識装置２の一実施形態のブロック図である。図２は図１の単眼カメラ３の構成の一例を示す図である。図３は単眼カメラ３による自車両１の前方の撮影画像ＩＭＧの一例であって、（ａ１），（ａ２）はそれぞれ異なる時刻に撮影された撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）、（ｂ１），（ｂ２）はそれぞれ撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）を上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）に射影変換したものである。図４は単眼カメラ３による自車両１の前方の撮影画像ＩＭＧの一例であって、（ａ１），（ａ２）はそれぞれ異なる時刻に撮影された撮影画像ＩＭＧ（ｔ３），ＩＭＧ（ｔ４）、（ｂ１），（ｂ２）はそれぞれ撮影画像ＩＭＧ（ｔ３），ＩＭＧ（ｔ４）を上方視の画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）に射影変換したものである。図５は図１の動作説明用のフローチャートである。
【００１５】
１．構成
図１に示す障害物認識装置２（本発明の「誤認識防止装置」に相当）は、自車両１に搭載された単眼カメラ３（本発明の「車載カメラ」に相当）の路面領域を含む撮影画像ＩＭＧを処理して自車両１周辺の障害物（他車両１１，１２）および影１５を認識するものであって、自車両１周辺の影１５と障害物（他車両１１）とを区別して誤認識を防止する誤認識防止装置としての機能を備えるとともに、単眼カメラ３と、単眼カメラ３による撮影画像ＩＭＧや種々のデータを記憶する記憶手段４と、単眼カメラ３の撮影画像ＩＭＧを処理するマイクロコンピュータ構成のＥＣＵ６と、例えばインストルメントパネルなどに取付けられたＣＲＴ、液晶ディスプレイなどの走行モニタ７と、警報用のスピーカ８とを備えている。
【００１６】
単眼カメラ３は、この実施形態では自車両１の前方の路面撮影が可能なモノクロあるいはカラー撮影が可能なカメラから成り、連続的に時々刻々と撮影した画像ＩＭＧの信号を出力する（図３，４参照）。また、図２に示すように、自車両１の前方の路面撮影を行なうため、単眼カメラ３は、自車両１の車内の前方の上部位置に、上方から適当な角度で斜め下の路面をねらうように設けられている。
【００１７】
記憶手段４は、単眼カメラ３から時々刻々と出力される撮影画像ＩＭＧに対してＥＣＵ６により種々の処理が施されることにより得られた各種データを格納する。
【００１８】
ＥＣＵ６は、例えばイグニッションキーのオンにより、予め設定された障害物認識のプログラムを実行することにより以下の各手段を備えている。
【００１９】
（１）取得手段６ａ
取得手段６ａは、単眼カメラ３により異なる時刻に撮影され、同じ路面領域（同一領域）１３，１４を含む複数フレームの撮影画像ＩＭＧ（ｔ１）〜ＩＭＧ（ｔ４）を取得する。例えば、図３（ａ１），（ａ２）に示すように、単眼カメラ３により時系列に撮影された撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）には、走行車線の自車両１の前方を先行車として走行する他車両１１が撮影されており、取得手段６ａはこれらの撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）を取得する。また、例えば、図４（ａ１），（ａ２）に示すように、単眼カメラ３により時系列に撮影された撮影画像ＩＭＧ（ｔ３），ＩＭＧ（ｔ４）には、走行車線の自車両１の前方に、隣接する対向車線を走行する他車両１２の影１５が撮影されており、取得手段６ａはこれらの撮影画像ＩＭＧ（ｔ３），（ｔ４）を取得する。
【００２０】
なお、図３（ａ１）は、時刻ｔ１に単眼カメラ３が撮影した自車両１の前方の撮影画像ＩＭＧ（ｔ１）を示し、同図（ａ２）は、所定の時間が経過した時刻ｔ２において撮影された撮影画像ＩＭＧ（ｔ２）を示す。また、図４（ａ１）は、時刻ｔ３に単眼カメラ３が撮影した自車両１の前方の撮影画像ＩＭＧ（ｔ３）を示し、同図（ａ２）は、所定の時間が経過した時刻ｔ４において撮影された撮影画像ＩＭＧ（ｔ４）を示す。そして、単眼カメラ３により時系列に撮影された撮影画像ＩＭＧに関する種々のデータは記憶手段４に記憶される。
【００２１】
（２）変換手段６ｂ
変換手段６ｂは、取得手段６ａにより取得された、各時刻ｔ１，ｔ２における各フレームの撮影画像ＩＭＧ（ｔ１）、ＩＭＧ（ｔ２）を、図３（ｂ１），（ｂ２）に示す、上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）に射影変換し、各時刻ｔ３，ｔ４における各フレームの撮影画像ＩＭＧ（ｔ３），ＩＭＧ（ｔ４）を、図４（ｂ１），（ｂ２）に示す、上方視の画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）に射影変換する（図２参照）。
【００２２】
（３）抽出手段６ｃ
抽出手段６ｃは、図３（ｂ１）に示す上方視の画像ｔＩＭＧ（ｔ１）および図４（ｂ１）に示す上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ３）から導出された水平エッジヒストグラムに基づくエッジ検出により、上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ３）中の障害物が存在すると予測される路面領域１３，１４を特定する。すなわち、抽出手段６ｃは、図３（ｂ１）に示す上方視の画像ｔＩＭＧ（ｔ１）から導出された水平エッジヒストグラムのピークが形成する輪郭形状の特徴に基づいて、上方視の画像ｔＩＭＧ（ｔ１）の水平エッジ検出を行う。そして、抽出手段６ｃは、水平エッジ検出に基づいて、上方視の画像ｔＩＭＧ（ｔ１）中の他車両１１を障害物候補として検出してマーキングを行うとともに、障害物（他車両１１）が存在すると予測される路面領域１３を特定する。
【００２３】
また、抽出手段６ｃは、図４（ｂ１）に示す上方視の画像ｔＩＭＧ（ｔ３）から導出された水平エッジヒストグラムのピークが形成する輪郭形状の特徴に基づいて、上方視の画像ｔＩＭＧ（ｔ３）の水平エッジ検出を行う。そして、抽出手段６ｃは、水平エッジ検出に基づいて、上方視の画像ｔＩＭＧ（ｔ３）中の影１５を障害物候補として検出してマーキングを行うとともに、障害物（影１５）が存在すると予測される路面領域１４を特定する。
【００２４】
また、抽出手段６ｃは、図３（ｂ２）に示す上方視の画像ｔＩＭＧ（ｔ２）および図４（ｂ２）に示す上方視の画像ＩＭＧ（ｔ４）から導出された水平エッジヒストグラムに基づくエッジ検出により、上方視の画像ｔＩＭＧ（ｔ２），ｔＩＭＧ（ｔ４）中の障害物候補としての車両１１と影１５を検出し、検出された障害物候補がそれぞれ、図３（ｂ１）および図４（ｂ１）に示す上方視の画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ３）中のマーキングされた障害物候補（他車両１１、影１５）であるかどうかを判定する。
【００２５】
すなわち、抽出手段６ｃは、自車速度および単眼カメラ３の撮影間隔に起因する画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）および画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）それぞれの位置ずれなどの情報に基づいて、所謂、画像のトラッキング処理を行うことにより、各画像ｔＩＭＧ（ｔ１）〜ｔＩＭＧ（ｔ４）から検出された障害物候補（他車両１１、影１５）が、それぞれ同一の障害物候補であるかどうかを判定する。
【００２６】
また、抽出手段６ｃは、図３（ｂ１）に示す上方視の画像ｔＩＭＧ（ｔ１）および図４（ｂ１）に示す上方視の画像ｔＩＭＧ（ｔ３）中の障害物が存在すると予測される路面領域１３，１４と同じ路面領域（同一領域）を、図３（ｂ２）に示す上方視の画像ｔＩＭＧ（ｔ２）および図４（ｂ２）に示す上方視の画像ｔＩＭＧ（ｔ４）中において特定する。すなわち、抽出手段６ｃは、自車速度および単眼カメラ３の撮影間隔に起因する画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）および画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）それぞれの位置ずれなどの情報に基づいて、各画像ｔＩＭＧ（ｔ１）〜ｔＩＭＧ（ｔ４）中の同じ路面領域（同一領域）１３，１４を同定する。
【００２７】
そして、抽出手段６ｃは、上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）の同一領域１３の特徴１３ａ，１３ｂおよび上方視の画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）の同一領域１４の特徴１４ａ，１４ｂ、この実施形態では、水平エッジヒストグラムのピークが形成する輪郭形状を抽出する。
【００２８】
なお、上記した水平エッジヒストグラムとともに、垂直エッジヒストグラムもさらに導出し、２つのエッジヒストグラムに基づいた上方視の画像ｔＩＭＧ（ｔ１）〜ｔＩＭＧ（ｔ４）のエッジ検出により、障害物候補（他車両１１、影１５）を検出するように抽出手段６ｃを構成してもよい。また、上方視の画像ｔＩＭＧ（ｔ１）〜ｔＩＭＧ（ｔ４）が所定の閾値で２値化された後の画像から導出されたエッジヒストグラムに基づく水平エッジ検出により、障害物候補を検出するように抽出手段６ｃを構成してもよく、これにより、エッジヒストグラムに基づく上方視の画像ｔＩＭＧ（ｔ１）〜ｔＩＭＧ（ｔ４）のエッジ検出の精度を向上することができる。
【００２９】
また、この実施形態では、単眼カメラ３により時系列に撮影された各フレームの撮影画像ＩＭＧが変換手段６ｂにより上方視の画像ｔＩＭＧに射影変換され、抽出手段６ｃは、各フレームの上方視の画像ｔＩＭＧの特徴を抽出するように構成されている。このように構成すると、抽出手段６ｃは、各撮影画像ＩＭＧ中の同一領域を同定するのに比べ、各フレームの上方視画像ｔＩＭｇ中の同じ路面領域を容易に同定できる。
【００３０】
（４）認識手段６ｄ
認識手段６ｄは、抽出手段６ｃにより抽出された特徴１３ａ，１３ｂ，１４ａ，１４ｂに基づいて、検出された障害物候補が影１５であるのか障害物（他車両１１）であるのかを区別して障害物を認識する。例えば、時刻ｔ１における撮影画像ＩＭＧ（ｔ１）に含まれる障害物候補が、図３（ａ１），（ｂ１）に示すように障害物（他車両１１）であり、自車両１と他車両１１との相対速度が異なれば、時刻ｔ１における上方視の画像ｔＩＭＧ（ｔ１）において障害物候補が検出された路面領域１３に、所定時間経過後の時刻ｔ２における上方視の画像ｔＩＭＧ（ｔ２）では、車両１１が自車両１から相対的に前方に移動することにより障害物候補が存在しない場合がことがある。このとき、上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）の同一領域１３の内容は大きく異なるものとなるため、この同一領域１３の水平エッジヒストグラムのピーク形状の特徴１３ａ，１３ｂは全く異なるものとなる。
【００３１】
一方、例えば、時刻ｔ３に撮影された画像ＩＭＧ（ｔ３）に含まれる障害物候補が、図４（ａ１），（ｂ１）に示すように影１５であり、自車両１と他車両１２との相対速度が異なれば、時刻ｔ３における上方視の画像ｔＩＭＧ（ｔ３）において障害物候補が検出された路面領域１４に、所定時間経過後の時刻ｔ４における上方視の画像ｔＩＭＧ（ｔ４）では、車両１２が自車両１から相対的に前方に移動することにより障害物候補が存在しない場合がある。しかしながら、上方視の画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）の同一領域１４における違いは影１５の投影により明るいか、暗いかだけであるため、この同一領域１４の水平エッジヒストグラムのピーク形状の特徴１４ａ，１４ｂは大きさは異なるものの相似（類似）したものとなる。
【００３２】
したがって、この実施形態では、抽出手段６ｃにより抽出された特徴１３ａ，１３ｂ，１４ａ，１４ｂが相似（類似）する否かに基づいて、時刻ｔ１，ｔ３に取得された各フレームの上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ３）の路面領域１３，１４の障害物候補としての他車両１１と影１５とを区別し、誤認識を防止して障害物（他車両１１）を認識する。
【００３３】
（５）報知手段６ｅ
報知手段６ｅは、認識手段６ｄによる、障害物（他車両１１）の検出に基づき、例えば走行モニタ７に表示中のカーナビゲーション用の地図に警告表示を重畳して表示したりして、障害物の存在を視覚的にドライバに報知する。また、スピーカ８から、検出結果の音声メッセージ、警告音を発生して障害物の存在を聴覚的にドライバに報知する。これらの視覚的または聴覚的なドライバに対する報知により、ドライバの運転支援を行う。
【００３４】
２．動作
次に、上記したように構成された障害物認識装置２の動作について図５を参照して説明する。なお、この実施形態では、図３に示すように、走行車線の自車両１の前方を先行車として他車両１１が走行している状態と、図４に示すように、隣接する車線に他車両１２が走行しており、走行車線の自車両１の前方に他車両１２の影が投影されている状態とを例に挙げて説明する。また、記憶手段４には、時系列で撮影された過去の撮影画像ＩＭＧから抽出手段６ｃにより抽出された路面領域１３，１４の特徴に関する情報が格納されているものとする。
【００３５】
まず、自車両１のイグニッションキーのオンにより単眼カメラ３による撮影が開始されると、図３（ａ１），（ａ２）および図４（ａ１），（ａ２）に示すような、単眼カメラ３による自車両１の前方の撮影画像ＩＭＧの信号が時々刻々とＥＣＵ６に取得手段６ａにより取込まれる（ステップＳ１）。そして、取込まれた撮影画像ＩＭＧ（ｔ１）〜ＩＭＧ（ｔ４）が上方視の画像ｔＩＭＧ（ｔ１）〜ｔＩＭＧ（ｔ４）に変換手段６ｂにより射影変換される（ステップＳ２）。
【００３６】
次に、図３（ｂ１），（ｂ２）に示す上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）における同一領域１３の水平エッジヒストグラムのピーク形状に関する特徴１３ａ，１３ｂが、図４（ｂ１），（ｂ２）に示す上方視の画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）における同一領域１４の水平エッジヒストグラムのピーク形状に関する特徴１４ａ，１４ｂが、抽出手段６ｃにより抽出される（ステップＳ３）。
【００３７】
そして、抽出手段６ｃにより抽出された形状に関する特徴１３ａ，１３ｂが相似するか否か、形状に関する特徴１４ａ，１４ｂが相似するか否かに基づいて、時刻ｔ１，ｔ３における上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ３）おいて路面領域１３，１４に存在した障害物候補がそれぞれ障害物（他車両１１）であるのか影１５であるのかが区別されることにより誤認識が防止されて、障害物（他車両１１）が認識手段６ｄにより認識される（ステップＳ４）。
【００３８】
この実施形態では、図３（ｂ１），（ｂ２）に示す、時刻ｔ１，ｔ２における上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）中の障害物候補としての他車両１１が抽出手段６ｃによりトレースされているが、時刻ｔ１における上方視の画像ｔＩＭＧ（ｔ１）において障害物候補としての他車両１１が存在する路面領域１３に、時刻ｔ２における上方視の画像ｔＩＭＧ（ｔ２）においては他車両１１が存在していないため、この路面領域１３の水平エッジヒストグラムのピーク形状の特徴１３ａ，１３ｂは、それぞれの画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）において全く異なるものとなる。したがって、認識手段６ｄは、図３（ｂ１）に示す上方視の画像ｔＩＭＧ（ｔ１）から検出されて、時間経過に伴って自車両１から相対的に前方に移動する障害物候補が車両１１であると認識する。
【００３９】
また、この実施形態では、図４（ｂ１），（ｂ２）に示す、時刻ｔ３，ｔ４における上方視の画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）中の障害物候補としての影１５が抽出手段６ｃによりトレースされているが、時刻ｔ３における上方視の画像ｔＩＭＧ（ｔ３）において障害物候補としての影１５が存在する路面領域１４に、時刻ｔ４における上方視の画像ｔＩＭＧ（ｔ４）においては影１５が存在しないが、この路面領域１４の水平エッジヒストグラムのピーク形状の特徴１４ａ，１４ｂは、それぞれの画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）において相似（類似）したものとなる。したがって、認識手段６ｄは、図４（ｂ１）に示す上方視の画像ｔＩＭＧ（ｔ３）から検出されて、時間経過に伴って自車両１から相対的に前方に移動する障害物候補が影１５であると認識する。
【００４０】
そして、認識手段６ｄにより認識された障害物（他車両１１）が自車両１に異常接近するものであれば、走行モニタ７による警告表示が行われたり、スピーカ８から音声メッセージや警報音が出力されたりすることにより、障害物が存在することがドライバに報知手段６ｅにより報知される（ステップＳ５）。すなわち、この実施形態では、ＥＣＵ６がプログラムを実行することにより備える機能により、他車両１１が自車両１に異常接近すると判断されれば、報知手段６ｅによる報知が行われる。
【００４１】
以上のように、この実施形態によれば、単眼カメラ３の同じ路面領域１３，１４を含む複数フレームの撮影画像ＩＭＧ（ｔ１）〜ＩＭＧ（ｔ４）が取得手段６ａにより取得され、取得された各フレームの撮影画像ＩＭＧ（ｔ１）〜ＩＭＧ（ｔ４）が変換手段６ｂにより上方視画像ｔＩＭＧ（ｔ１）〜ｔＩＭＧ（ｔ４）に射影変換されて、各フレームの上方視画像ｔＩＭＧ（ｔ１）〜ｔＩＭＧ（ｔ４）それぞれの略同じ路面領域１３，１４の水平エッジヒストグラムのピーク形状に関する特徴１３ａ，１３ｂ，１４ａ，１４ｂが抽出手段６ｃにより抽出される。
【００４２】
そして、各フレームの抽出された特徴１３ａ，１３ｂ，１４ａ，１４ｂが相似（類似）するか否かから同一領域１３，１４の影１５と障害物（他車両１１）とが区別され、誤認識が防止されて障害物（他車両１１）が認識手段６ｄにより認識されるため、単眼カメラ３の撮影画像ＩＭＧ（ｔ１）〜ＩＭＧ（ｔ４）を処理するだけで、影１５と障害物（他車両１１）とを区別し、誤認識を防止して障害物（他車両１１）を認識できる。しかも、車載レーダなどの高価な測定機器を車両に搭載する必要がないため、安価な構成とすることができ、コストダウンを図ることができる。
【００４３】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、単眼カメラ３を、後方の路面を撮影可能に自車両１の後部に取付けてもよい。このように構成すると、自車両１の後方から異常接近する他車両が存在するかどうかを監視することができる。
【００４４】
また、上記した実施形態では、抽出手段６ｃは、上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）の同一領域１３と、上方視の画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）の同一領域１４の水平エッジヒストグラムのピーク形状に関する特徴を抽出するように構成されているが、濃淡ヒストグラムのピーク形状に関する特徴を抽出するように構成してもよいし、水平エッジヒストグラムおよび濃淡ヒストグラムの両方のピーク形状に関する特徴を抽出するようにしてもよい。
【００４５】
また、正規化相関法による画像マッチングを行うためのテンプレートを上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ３）の路面領域１３，１４の特徴として抽出し、抽出されたテンプレートに基づいて、上方視の画像ｔＩＭＧ（ｔ２），ｔＩＭＧ（ｔ４）の同一領域１３、１４において正規化相関法による画像マッチングを行い、これにより、画像が一致すれば影と認識し、画像が一致しなければ障害物として認識する、本発明の「抽出手段」、「認識手段」に相当する手段を設けてもよい。
【００４６】
また、抽出手段６ｃによる、上方視の画像の障害物候補の検出方法としては上記した方法に限られず、路面に投影された影を含む障害物候補を検出することができればどのような手法を採用してもよい。このとき、検出された障害物候補の画像のエッジヒストグラムや濃淡ヒストグラムに基づく特徴を抽出することで、上記したように、検出した障害物候補が影であるのか、障害物であるのかを区別して認識して、誤認識を防止することができる。すなわち、異なる時刻の複数の撮影画像が変換された上方視の画像それぞれの同じ路面領域の種々の特徴を抽出し、抽出された各特徴が類似するか否かにより、路面領域に存在する障害物候補が影であるのか障害物であるのかを区別し、誤認識を防止して障害物を認識することができる。
【００４７】
また、この実施形態では、変換手段６ｂは、各撮影画像ＩＭＧを上方視の画像ｔＩＭＧに変換するように構成されているが、各撮影画像ＩＭＧが水平な仮想面に射影された下面視の画像に変換手段６ｂにより変換されてもよく、各下面視の画像から抽出手段６ｃにより特徴が抽出されるようにしてもよい。また、抽出手段６ｃは、変換手段６ｂによる変換が行われていない各撮影画像ＩＭＧの同じ路面領域（同一領域）から特徴を抽出するように構成してもよい。
【００４８】
また、本発明は種々の車両の障害物認識および誤認識防止に適用することができる。
【符号の説明】
【００４９】
１ 自車両
２ 障害物認識装置（誤認識防止装置）
３ 単眼カメラ（車載カメラ）
６ａ 取得手段
６ｂ 変換手段
６ｃ 抽出手段
６ｄ 認識手段
１１，１２ 他車両（障害物）
１３，１４ 同一領域（同じ路面領域）
ＩＭＧ 撮影画像
ｔＩＭＧ 上方視の画像
【技術分野】
【０００１】
この発明は、自車両に搭載された車載カメラの路面領域を含む撮影画像を処理して認識する自車両周辺の障害物と影との誤認識を防止する技術に関する。
【背景技術】
【０００２】
従来、車載カメラの撮影画像内で検出された車両候補が、走行路周辺の地形や建造物の影が路面に投影されたものであるかどうかを、現時点の太陽の位置に基づいて判定する技術が知られている（例えば、特許文献１）。すなわち、特許文献１に記載の技術では、３次元地図データがナビゲーション装置が備える記憶装置に予め格納されている。そして、ナビゲーション装置のＧＰＳデータに基づく自車両位置と、ナビゲーション装置の記憶装置から取込んだ自車両周辺の地形、建造物の３次元データと、年月日および現在時刻などに基づいて推定された太陽の位置とに基づいて、撮影画像を処理することにより得られた車両候補が、自車両周辺の橋梁、ビル、塀などの建造物や地形などの路側立体物によって自車両の走行路上に投影された影であるかどうかが判定される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４２９６２８７号公報（段落［００１０］、図１，３，４、要約書など）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、隣接車線の先行車両の影が自車両前方の路面に存在すると、その影も障害物候補（車両候補）として検出される。ところが、上記した従来技術では、路側立体物の影が障害物候補として検出された場合には、記憶装置に格納された３次元地図データに基づいて、検出された障害物候補が影であると認識することができるが、車両などの移動物体の影が障害物候補として検出された場合には、記憶装置に格納された３次元地図データに基づく路側立体物の影の認識しかできないため、検出された障害物候補が影であるかどうかを認識することができない。そこで、車載レーダを車両に搭載し、この車載レーダを用いて自車両前方に検出された障害物候補が障害物であるか、影であるかを認識することも考えられるが、コストダウンの観点から車両に車載レーダを搭載するのは望ましくない。したがって、車載カメラの撮影画像内に検出された障害物候補が障害物であるのか、影であるのかを、撮影画像を処理するだけで正確に区別して認識できる技術が望まれていた。
【０００５】
本発明は、車載カメラの撮影画像を処理するだけの安価な構成で、影と障害物とを区別し、誤認識を防止して障害物を認識できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記した目的を達成するために、本発明の誤認識防止装置は、自車両に搭載された車載カメラの路面領域を含む撮影画像を処理して認識する自車両周辺の障害物と影との誤認識防止装置において、前記車載カメラの同じ路面領域を含む複数フレームの撮影画像を取得する取得手段と、前記各フレームの撮影画像それぞれの略前記同じ路面領域の特徴を抽出する抽出手段と、前記各フレームの抽出した特徴が相似するか否かから前記同じ路面領域の影と障害物とを区別して障害物を認識する認識手段とを備えることを特徴としている（請求項１）。
【０００７】
また、前記各フレームの撮影画像を上方視画像に射影変換する変換手段をさらに備え、前記抽出手段は、前記各フレームの上方視画像それぞれの略前記同じ路面領域の特徴を抽出し、前記認識手段は、前記各フレームの抽出した特徴が相似するか否かから前記同じ路面領域の影と障害物とを区別して障害物を認識するようにしてもよい。
【発明の効果】
【０００８】
請求項１に記載の発明によれば、車載カメラの同じ路面領域を含む複数フレームの撮影画像が取得手段により取得されて、各フレームの撮影画像それぞれの略同じ路面領域（以下、「同一領域」と称する）の特徴が抽出手段により抽出される。
【０００９】
このとき、例えば、時刻ｔｍに取得されたフレームの撮影画像の同一領域には影が投影されており、異なる時刻ｔｎに取得されたフレームの撮影画像の同一領域には影が投影されておらず障害物も存在しなければ、路面に投影された影の内部は平坦でべた状であるため、各撮影画像の同一領域の違いは、影が投影された同一領域が、影が投影されていない同一領域に比べて相対的に暗くなるだけである。したがって、抽出手段により抽出された各撮影画像の同一領域の特徴は相似するものとなる。
【００１０】
一方、例えば、時刻ｔｍに取得されたフレームの撮影画像の同一領域には障害物が存在し、異なる時刻ｔｎに取得されたフレームの撮影画像の同一領域には障害物が存在しなければ、各撮影画像の同一領域の内容は大きく異なるものとなる。したがって、抽出手段により抽出された各撮影画像の同一領域の特徴は相似しない。
【００１１】
そこで、各フレームの抽出された特徴が相似するか否かから同一領域の影と障害物とが区別され、誤認識が防止されて障害物が認識手段により認識されるため、車載カメラの撮影画像を処理するだけで、影と障害物とを区別し、誤認識を防止して障害物を認識できる。しかも、車載レーダなどの高価な測定機器を車両に搭載する必要がないため、安価な構成とすることができ、コストダウンを図ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の誤認識防止装置としての機能を備える障害物認識装置の一実施形態のブロック図である。
【図２】図１の単眼カメラの構成の一例を示す図である。
【図３】撮影画像の一例である。
【図４】撮影画像の他の例である。
【図５】図１の動作説明用のフローチャートである。
【発明を実施するための形態】
【００１３】
本発明の一実施形態について、図１〜図５を参照して説明する。
【００１４】
図１は本発明の誤認識防止装置としての機能を備える障害物認識装置２の一実施形態のブロック図である。図２は図１の単眼カメラ３の構成の一例を示す図である。図３は単眼カメラ３による自車両１の前方の撮影画像ＩＭＧの一例であって、（ａ１），（ａ２）はそれぞれ異なる時刻に撮影された撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）、（ｂ１），（ｂ２）はそれぞれ撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）を上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）に射影変換したものである。図４は単眼カメラ３による自車両１の前方の撮影画像ＩＭＧの一例であって、（ａ１），（ａ２）はそれぞれ異なる時刻に撮影された撮影画像ＩＭＧ（ｔ３），ＩＭＧ（ｔ４）、（ｂ１），（ｂ２）はそれぞれ撮影画像ＩＭＧ（ｔ３），ＩＭＧ（ｔ４）を上方視の画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）に射影変換したものである。図５は図１の動作説明用のフローチャートである。
【００１５】
１．構成
図１に示す障害物認識装置２（本発明の「誤認識防止装置」に相当）は、自車両１に搭載された単眼カメラ３（本発明の「車載カメラ」に相当）の路面領域を含む撮影画像ＩＭＧを処理して自車両１周辺の障害物（他車両１１，１２）および影１５を認識するものであって、自車両１周辺の影１５と障害物（他車両１１）とを区別して誤認識を防止する誤認識防止装置としての機能を備えるとともに、単眼カメラ３と、単眼カメラ３による撮影画像ＩＭＧや種々のデータを記憶する記憶手段４と、単眼カメラ３の撮影画像ＩＭＧを処理するマイクロコンピュータ構成のＥＣＵ６と、例えばインストルメントパネルなどに取付けられたＣＲＴ、液晶ディスプレイなどの走行モニタ７と、警報用のスピーカ８とを備えている。
【００１６】
単眼カメラ３は、この実施形態では自車両１の前方の路面撮影が可能なモノクロあるいはカラー撮影が可能なカメラから成り、連続的に時々刻々と撮影した画像ＩＭＧの信号を出力する（図３，４参照）。また、図２に示すように、自車両１の前方の路面撮影を行なうため、単眼カメラ３は、自車両１の車内の前方の上部位置に、上方から適当な角度で斜め下の路面をねらうように設けられている。
【００１７】
記憶手段４は、単眼カメラ３から時々刻々と出力される撮影画像ＩＭＧに対してＥＣＵ６により種々の処理が施されることにより得られた各種データを格納する。
【００１８】
ＥＣＵ６は、例えばイグニッションキーのオンにより、予め設定された障害物認識のプログラムを実行することにより以下の各手段を備えている。
【００１９】
（１）取得手段６ａ
取得手段６ａは、単眼カメラ３により異なる時刻に撮影され、同じ路面領域（同一領域）１３，１４を含む複数フレームの撮影画像ＩＭＧ（ｔ１）〜ＩＭＧ（ｔ４）を取得する。例えば、図３（ａ１），（ａ２）に示すように、単眼カメラ３により時系列に撮影された撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）には、走行車線の自車両１の前方を先行車として走行する他車両１１が撮影されており、取得手段６ａはこれらの撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）を取得する。また、例えば、図４（ａ１），（ａ２）に示すように、単眼カメラ３により時系列に撮影された撮影画像ＩＭＧ（ｔ３），ＩＭＧ（ｔ４）には、走行車線の自車両１の前方に、隣接する対向車線を走行する他車両１２の影１５が撮影されており、取得手段６ａはこれらの撮影画像ＩＭＧ（ｔ３），（ｔ４）を取得する。
【００２０】
なお、図３（ａ１）は、時刻ｔ１に単眼カメラ３が撮影した自車両１の前方の撮影画像ＩＭＧ（ｔ１）を示し、同図（ａ２）は、所定の時間が経過した時刻ｔ２において撮影された撮影画像ＩＭＧ（ｔ２）を示す。また、図４（ａ１）は、時刻ｔ３に単眼カメラ３が撮影した自車両１の前方の撮影画像ＩＭＧ（ｔ３）を示し、同図（ａ２）は、所定の時間が経過した時刻ｔ４において撮影された撮影画像ＩＭＧ（ｔ４）を示す。そして、単眼カメラ３により時系列に撮影された撮影画像ＩＭＧに関する種々のデータは記憶手段４に記憶される。
【００２１】
（２）変換手段６ｂ
変換手段６ｂは、取得手段６ａにより取得された、各時刻ｔ１，ｔ２における各フレームの撮影画像ＩＭＧ（ｔ１）、ＩＭＧ（ｔ２）を、図３（ｂ１），（ｂ２）に示す、上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）に射影変換し、各時刻ｔ３，ｔ４における各フレームの撮影画像ＩＭＧ（ｔ３），ＩＭＧ（ｔ４）を、図４（ｂ１），（ｂ２）に示す、上方視の画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）に射影変換する（図２参照）。
【００２２】
（３）抽出手段６ｃ
抽出手段６ｃは、図３（ｂ１）に示す上方視の画像ｔＩＭＧ（ｔ１）および図４（ｂ１）に示す上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ３）から導出された水平エッジヒストグラムに基づくエッジ検出により、上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ３）中の障害物が存在すると予測される路面領域１３，１４を特定する。すなわち、抽出手段６ｃは、図３（ｂ１）に示す上方視の画像ｔＩＭＧ（ｔ１）から導出された水平エッジヒストグラムのピークが形成する輪郭形状の特徴に基づいて、上方視の画像ｔＩＭＧ（ｔ１）の水平エッジ検出を行う。そして、抽出手段６ｃは、水平エッジ検出に基づいて、上方視の画像ｔＩＭＧ（ｔ１）中の他車両１１を障害物候補として検出してマーキングを行うとともに、障害物（他車両１１）が存在すると予測される路面領域１３を特定する。
【００２３】
また、抽出手段６ｃは、図４（ｂ１）に示す上方視の画像ｔＩＭＧ（ｔ３）から導出された水平エッジヒストグラムのピークが形成する輪郭形状の特徴に基づいて、上方視の画像ｔＩＭＧ（ｔ３）の水平エッジ検出を行う。そして、抽出手段６ｃは、水平エッジ検出に基づいて、上方視の画像ｔＩＭＧ（ｔ３）中の影１５を障害物候補として検出してマーキングを行うとともに、障害物（影１５）が存在すると予測される路面領域１４を特定する。
【００２４】
また、抽出手段６ｃは、図３（ｂ２）に示す上方視の画像ｔＩＭＧ（ｔ２）および図４（ｂ２）に示す上方視の画像ＩＭＧ（ｔ４）から導出された水平エッジヒストグラムに基づくエッジ検出により、上方視の画像ｔＩＭＧ（ｔ２），ｔＩＭＧ（ｔ４）中の障害物候補としての車両１１と影１５を検出し、検出された障害物候補がそれぞれ、図３（ｂ１）および図４（ｂ１）に示す上方視の画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ３）中のマーキングされた障害物候補（他車両１１、影１５）であるかどうかを判定する。
【００２５】
すなわち、抽出手段６ｃは、自車速度および単眼カメラ３の撮影間隔に起因する画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）および画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）それぞれの位置ずれなどの情報に基づいて、所謂、画像のトラッキング処理を行うことにより、各画像ｔＩＭＧ（ｔ１）〜ｔＩＭＧ（ｔ４）から検出された障害物候補（他車両１１、影１５）が、それぞれ同一の障害物候補であるかどうかを判定する。
【００２６】
また、抽出手段６ｃは、図３（ｂ１）に示す上方視の画像ｔＩＭＧ（ｔ１）および図４（ｂ１）に示す上方視の画像ｔＩＭＧ（ｔ３）中の障害物が存在すると予測される路面領域１３，１４と同じ路面領域（同一領域）を、図３（ｂ２）に示す上方視の画像ｔＩＭＧ（ｔ２）および図４（ｂ２）に示す上方視の画像ｔＩＭＧ（ｔ４）中において特定する。すなわち、抽出手段６ｃは、自車速度および単眼カメラ３の撮影間隔に起因する画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）および画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）それぞれの位置ずれなどの情報に基づいて、各画像ｔＩＭＧ（ｔ１）〜ｔＩＭＧ（ｔ４）中の同じ路面領域（同一領域）１３，１４を同定する。
【００２７】
そして、抽出手段６ｃは、上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）の同一領域１３の特徴１３ａ，１３ｂおよび上方視の画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）の同一領域１４の特徴１４ａ，１４ｂ、この実施形態では、水平エッジヒストグラムのピークが形成する輪郭形状を抽出する。
【００２８】
なお、上記した水平エッジヒストグラムとともに、垂直エッジヒストグラムもさらに導出し、２つのエッジヒストグラムに基づいた上方視の画像ｔＩＭＧ（ｔ１）〜ｔＩＭＧ（ｔ４）のエッジ検出により、障害物候補（他車両１１、影１５）を検出するように抽出手段６ｃを構成してもよい。また、上方視の画像ｔＩＭＧ（ｔ１）〜ｔＩＭＧ（ｔ４）が所定の閾値で２値化された後の画像から導出されたエッジヒストグラムに基づく水平エッジ検出により、障害物候補を検出するように抽出手段６ｃを構成してもよく、これにより、エッジヒストグラムに基づく上方視の画像ｔＩＭＧ（ｔ１）〜ｔＩＭＧ（ｔ４）のエッジ検出の精度を向上することができる。
【００２９】
また、この実施形態では、単眼カメラ３により時系列に撮影された各フレームの撮影画像ＩＭＧが変換手段６ｂにより上方視の画像ｔＩＭＧに射影変換され、抽出手段６ｃは、各フレームの上方視の画像ｔＩＭＧの特徴を抽出するように構成されている。このように構成すると、抽出手段６ｃは、各撮影画像ＩＭＧ中の同一領域を同定するのに比べ、各フレームの上方視画像ｔＩＭｇ中の同じ路面領域を容易に同定できる。
【００３０】
（４）認識手段６ｄ
認識手段６ｄは、抽出手段６ｃにより抽出された特徴１３ａ，１３ｂ，１４ａ，１４ｂに基づいて、検出された障害物候補が影１５であるのか障害物（他車両１１）であるのかを区別して障害物を認識する。例えば、時刻ｔ１における撮影画像ＩＭＧ（ｔ１）に含まれる障害物候補が、図３（ａ１），（ｂ１）に示すように障害物（他車両１１）であり、自車両１と他車両１１との相対速度が異なれば、時刻ｔ１における上方視の画像ｔＩＭＧ（ｔ１）において障害物候補が検出された路面領域１３に、所定時間経過後の時刻ｔ２における上方視の画像ｔＩＭＧ（ｔ２）では、車両１１が自車両１から相対的に前方に移動することにより障害物候補が存在しない場合がことがある。このとき、上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）の同一領域１３の内容は大きく異なるものとなるため、この同一領域１３の水平エッジヒストグラムのピーク形状の特徴１３ａ，１３ｂは全く異なるものとなる。
【００３１】
一方、例えば、時刻ｔ３に撮影された画像ＩＭＧ（ｔ３）に含まれる障害物候補が、図４（ａ１），（ｂ１）に示すように影１５であり、自車両１と他車両１２との相対速度が異なれば、時刻ｔ３における上方視の画像ｔＩＭＧ（ｔ３）において障害物候補が検出された路面領域１４に、所定時間経過後の時刻ｔ４における上方視の画像ｔＩＭＧ（ｔ４）では、車両１２が自車両１から相対的に前方に移動することにより障害物候補が存在しない場合がある。しかしながら、上方視の画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）の同一領域１４における違いは影１５の投影により明るいか、暗いかだけであるため、この同一領域１４の水平エッジヒストグラムのピーク形状の特徴１４ａ，１４ｂは大きさは異なるものの相似（類似）したものとなる。
【００３２】
したがって、この実施形態では、抽出手段６ｃにより抽出された特徴１３ａ，１３ｂ，１４ａ，１４ｂが相似（類似）する否かに基づいて、時刻ｔ１，ｔ３に取得された各フレームの上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ３）の路面領域１３，１４の障害物候補としての他車両１１と影１５とを区別し、誤認識を防止して障害物（他車両１１）を認識する。
【００３３】
（５）報知手段６ｅ
報知手段６ｅは、認識手段６ｄによる、障害物（他車両１１）の検出に基づき、例えば走行モニタ７に表示中のカーナビゲーション用の地図に警告表示を重畳して表示したりして、障害物の存在を視覚的にドライバに報知する。また、スピーカ８から、検出結果の音声メッセージ、警告音を発生して障害物の存在を聴覚的にドライバに報知する。これらの視覚的または聴覚的なドライバに対する報知により、ドライバの運転支援を行う。
【００３４】
２．動作
次に、上記したように構成された障害物認識装置２の動作について図５を参照して説明する。なお、この実施形態では、図３に示すように、走行車線の自車両１の前方を先行車として他車両１１が走行している状態と、図４に示すように、隣接する車線に他車両１２が走行しており、走行車線の自車両１の前方に他車両１２の影が投影されている状態とを例に挙げて説明する。また、記憶手段４には、時系列で撮影された過去の撮影画像ＩＭＧから抽出手段６ｃにより抽出された路面領域１３，１４の特徴に関する情報が格納されているものとする。
【００３５】
まず、自車両１のイグニッションキーのオンにより単眼カメラ３による撮影が開始されると、図３（ａ１），（ａ２）および図４（ａ１），（ａ２）に示すような、単眼カメラ３による自車両１の前方の撮影画像ＩＭＧの信号が時々刻々とＥＣＵ６に取得手段６ａにより取込まれる（ステップＳ１）。そして、取込まれた撮影画像ＩＭＧ（ｔ１）〜ＩＭＧ（ｔ４）が上方視の画像ｔＩＭＧ（ｔ１）〜ｔＩＭＧ（ｔ４）に変換手段６ｂにより射影変換される（ステップＳ２）。
【００３６】
次に、図３（ｂ１），（ｂ２）に示す上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）における同一領域１３の水平エッジヒストグラムのピーク形状に関する特徴１３ａ，１３ｂが、図４（ｂ１），（ｂ２）に示す上方視の画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）における同一領域１４の水平エッジヒストグラムのピーク形状に関する特徴１４ａ，１４ｂが、抽出手段６ｃにより抽出される（ステップＳ３）。
【００３７】
そして、抽出手段６ｃにより抽出された形状に関する特徴１３ａ，１３ｂが相似するか否か、形状に関する特徴１４ａ，１４ｂが相似するか否かに基づいて、時刻ｔ１，ｔ３における上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ３）おいて路面領域１３，１４に存在した障害物候補がそれぞれ障害物（他車両１１）であるのか影１５であるのかが区別されることにより誤認識が防止されて、障害物（他車両１１）が認識手段６ｄにより認識される（ステップＳ４）。
【００３８】
この実施形態では、図３（ｂ１），（ｂ２）に示す、時刻ｔ１，ｔ２における上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）中の障害物候補としての他車両１１が抽出手段６ｃによりトレースされているが、時刻ｔ１における上方視の画像ｔＩＭＧ（ｔ１）において障害物候補としての他車両１１が存在する路面領域１３に、時刻ｔ２における上方視の画像ｔＩＭＧ（ｔ２）においては他車両１１が存在していないため、この路面領域１３の水平エッジヒストグラムのピーク形状の特徴１３ａ，１３ｂは、それぞれの画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）において全く異なるものとなる。したがって、認識手段６ｄは、図３（ｂ１）に示す上方視の画像ｔＩＭＧ（ｔ１）から検出されて、時間経過に伴って自車両１から相対的に前方に移動する障害物候補が車両１１であると認識する。
【００３９】
また、この実施形態では、図４（ｂ１），（ｂ２）に示す、時刻ｔ３，ｔ４における上方視の画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）中の障害物候補としての影１５が抽出手段６ｃによりトレースされているが、時刻ｔ３における上方視の画像ｔＩＭＧ（ｔ３）において障害物候補としての影１５が存在する路面領域１４に、時刻ｔ４における上方視の画像ｔＩＭＧ（ｔ４）においては影１５が存在しないが、この路面領域１４の水平エッジヒストグラムのピーク形状の特徴１４ａ，１４ｂは、それぞれの画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）において相似（類似）したものとなる。したがって、認識手段６ｄは、図４（ｂ１）に示す上方視の画像ｔＩＭＧ（ｔ３）から検出されて、時間経過に伴って自車両１から相対的に前方に移動する障害物候補が影１５であると認識する。
【００４０】
そして、認識手段６ｄにより認識された障害物（他車両１１）が自車両１に異常接近するものであれば、走行モニタ７による警告表示が行われたり、スピーカ８から音声メッセージや警報音が出力されたりすることにより、障害物が存在することがドライバに報知手段６ｅにより報知される（ステップＳ５）。すなわち、この実施形態では、ＥＣＵ６がプログラムを実行することにより備える機能により、他車両１１が自車両１に異常接近すると判断されれば、報知手段６ｅによる報知が行われる。
【００４１】
以上のように、この実施形態によれば、単眼カメラ３の同じ路面領域１３，１４を含む複数フレームの撮影画像ＩＭＧ（ｔ１）〜ＩＭＧ（ｔ４）が取得手段６ａにより取得され、取得された各フレームの撮影画像ＩＭＧ（ｔ１）〜ＩＭＧ（ｔ４）が変換手段６ｂにより上方視画像ｔＩＭＧ（ｔ１）〜ｔＩＭＧ（ｔ４）に射影変換されて、各フレームの上方視画像ｔＩＭＧ（ｔ１）〜ｔＩＭＧ（ｔ４）それぞれの略同じ路面領域１３，１４の水平エッジヒストグラムのピーク形状に関する特徴１３ａ，１３ｂ，１４ａ，１４ｂが抽出手段６ｃにより抽出される。
【００４２】
そして、各フレームの抽出された特徴１３ａ，１３ｂ，１４ａ，１４ｂが相似（類似）するか否かから同一領域１３，１４の影１５と障害物（他車両１１）とが区別され、誤認識が防止されて障害物（他車両１１）が認識手段６ｄにより認識されるため、単眼カメラ３の撮影画像ＩＭＧ（ｔ１）〜ＩＭＧ（ｔ４）を処理するだけで、影１５と障害物（他車両１１）とを区別し、誤認識を防止して障害物（他車両１１）を認識できる。しかも、車載レーダなどの高価な測定機器を車両に搭載する必要がないため、安価な構成とすることができ、コストダウンを図ることができる。
【００４３】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、単眼カメラ３を、後方の路面を撮影可能に自車両１の後部に取付けてもよい。このように構成すると、自車両１の後方から異常接近する他車両が存在するかどうかを監視することができる。
【００４４】
また、上記した実施形態では、抽出手段６ｃは、上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）の同一領域１３と、上方視の画像ｔＩＭＧ（ｔ３），ｔＩＭＧ（ｔ４）の同一領域１４の水平エッジヒストグラムのピーク形状に関する特徴を抽出するように構成されているが、濃淡ヒストグラムのピーク形状に関する特徴を抽出するように構成してもよいし、水平エッジヒストグラムおよび濃淡ヒストグラムの両方のピーク形状に関する特徴を抽出するようにしてもよい。
【００４５】
また、正規化相関法による画像マッチングを行うためのテンプレートを上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ３）の路面領域１３，１４の特徴として抽出し、抽出されたテンプレートに基づいて、上方視の画像ｔＩＭＧ（ｔ２），ｔＩＭＧ（ｔ４）の同一領域１３、１４において正規化相関法による画像マッチングを行い、これにより、画像が一致すれば影と認識し、画像が一致しなければ障害物として認識する、本発明の「抽出手段」、「認識手段」に相当する手段を設けてもよい。
【００４６】
また、抽出手段６ｃによる、上方視の画像の障害物候補の検出方法としては上記した方法に限られず、路面に投影された影を含む障害物候補を検出することができればどのような手法を採用してもよい。このとき、検出された障害物候補の画像のエッジヒストグラムや濃淡ヒストグラムに基づく特徴を抽出することで、上記したように、検出した障害物候補が影であるのか、障害物であるのかを区別して認識して、誤認識を防止することができる。すなわち、異なる時刻の複数の撮影画像が変換された上方視の画像それぞれの同じ路面領域の種々の特徴を抽出し、抽出された各特徴が類似するか否かにより、路面領域に存在する障害物候補が影であるのか障害物であるのかを区別し、誤認識を防止して障害物を認識することができる。
【００４７】
また、この実施形態では、変換手段６ｂは、各撮影画像ＩＭＧを上方視の画像ｔＩＭＧに変換するように構成されているが、各撮影画像ＩＭＧが水平な仮想面に射影された下面視の画像に変換手段６ｂにより変換されてもよく、各下面視の画像から抽出手段６ｃにより特徴が抽出されるようにしてもよい。また、抽出手段６ｃは、変換手段６ｂによる変換が行われていない各撮影画像ＩＭＧの同じ路面領域（同一領域）から特徴を抽出するように構成してもよい。
【００４８】
また、本発明は種々の車両の障害物認識および誤認識防止に適用することができる。
【符号の説明】
【００４９】
１ 自車両
２ 障害物認識装置（誤認識防止装置）
３ 単眼カメラ（車載カメラ）
６ａ 取得手段
６ｂ 変換手段
６ｃ 抽出手段
６ｄ 認識手段
１１，１２ 他車両（障害物）
１３，１４ 同一領域（同じ路面領域）
ＩＭＧ 撮影画像
ｔＩＭＧ 上方視の画像
【特許請求の範囲】
【請求項１】
自車両に搭載された車載カメラの路面領域を含む撮影画像を処理して認識する自車両周辺の障害物と影との誤認識防止装置において、
前記車載カメラの同じ路面領域を含む複数フレームの撮影画像を取得する取得手段と、
前記各フレームの撮影画像それぞれの略前記同じ路面領域の特徴を抽出する抽出手段と、
前記各フレームの抽出した特徴が相似するか否かから前記同じ路面領域の影と障害物とを区別して障害物を認識する認識手段と
を備える誤認識防止装置。
【請求項１】
自車両に搭載された車載カメラの路面領域を含む撮影画像を処理して認識する自車両周辺の障害物と影との誤認識防止装置において、
前記車載カメラの同じ路面領域を含む複数フレームの撮影画像を取得する取得手段と、
前記各フレームの撮影画像それぞれの略前記同じ路面領域の特徴を抽出する抽出手段と、
前記各フレームの抽出した特徴が相似するか否かから前記同じ路面領域の影と障害物とを区別して障害物を認識する認識手段と
を備える誤認識防止装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−１０３０５８（Ｐ２０１１−１０３０５８Ａ）
【公開日】平成２３年５月２６日（２０１１．５．２６）
【国際特許分類】
【出願番号】特願２００９−２５７６５５（Ｐ２００９−２５７６５５）
【出願日】平成２１年１１月１１日（２００９．１１．１１）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
【公開日】平成２３年５月２６日（２０１１．５．２６）
【国際特許分類】
【出願日】平成２１年１１月１１日（２００９．１１．１１）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
[ Back to top ]