障害物認識装置
【課題】障害物の影が路面に投影されていたとしても、自車両と障害物との距離を正確に認識できる技術を提供する。
【解決手段】自車両１に搭載され、自車両１周辺を撮影する単眼カメラ３により撮影された撮影画像が、水平な仮想面に射影した下面視の画像に変換手段６ａにより変換されて、下面視の画像に含まれた障害物上面の端が検出手段６ｂにより検出されるため、障害物の影が路面に投影されていたとしても、検出手段６ｂにより検出された障害物上面の端を基準にして、自車両１と障害物との距離を正確に認識できる。
【解決手段】自車両１に搭載され、自車両１周辺を撮影する単眼カメラ３により撮影された撮影画像が、水平な仮想面に射影した下面視の画像に変換手段６ａにより変換されて、下面視の画像に含まれた障害物上面の端が検出手段６ｂにより検出されるため、障害物の影が路面に投影されていたとしても、検出手段６ｂにより検出された障害物上面の端を基準にして、自車両１と障害物との距離を正確に認識できる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、自車両に搭載された撮影手段により撮影して得られた撮影画像を処理して自車両周辺の障害物を認識する技術に関する。
【背景技術】
【０００２】
従来、車載カメラなどの撮影手段により撮影された撮影画像内に障害物（車両）が存在するかどうかを検出し、障害物が検出された場合には、検出された障害物の下端からの自車両までの長さを、自車両と障害物との距離として認識する技術が知られている（例えば、特許文献１）。すなわち、特許文献１に記載の技術では、略同じ路面領域が撮影手段により複数方向から撮影され、各撮影画像が上面視の画像に射影変換される。そして、各上面視の画像の異同に基づいて、障害物が存在することが検出されれば、上面視の画像内の障害物下面の端から自車両までの長さが、自車両と障害物との距離として認識される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２５９３２号公報（段落［００６８］，［００７４］、図１０など）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記した従来の技術では、路面に障害物の影が投影されており、障害物と路面に投影された影とを含む撮影画像が上面視の画像に射影変換された場合には、上面視の画像内の障害物および影が１つの障害物として検出されることにより、影の端が障害物下面の端として検出されるおそれがある。したがって、路面に投影された障害物の影が障害物下面の端として検出されれば、その影の端から自車両までの長さが、自車両と障害物の距離として認識されるという問題があった。
【０００５】
本発明は、障害物の影が路面に投影されていたとしても、自車両と障害物との距離を正確に認識できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記した目的を達成するために、本発明の障害物認識装置は、自車両に搭載され、前記自車両周辺を撮影する撮影手段と、前記撮影手段の撮影画像を水平な仮想面に射影した下面視の画像に変換する変換手段と、前記下面視の画像に含まれた障害物上面の端を検出する検出手段とを備えることを特徴としている（請求項１）。
【０００７】
また、請求項１記載の障害物認識装置において、前記変換手段は、前記撮影手段により撮影して得られた複数の時系列的な撮影画像を下面視の画像に射影変換し、前記検出手段は、前記各下面視の画像に含まれる障害物上面の端の複数の候補を導出してそれぞれの時系列的な動きに基づいて障害物上面の端を検出するようにしてもよい（請求項２）。
【発明の効果】
【０００８】
請求項１に記載の発明によれば、自車両に搭載され、自車両周辺を撮影する撮影手段により撮影された撮影画像が、水平な仮想面に射影した下面視の画像に変換手段により変換されて、下面視の画像に含まれた障害物上面の端が検出手段により検出されるため、障害物の影が路面に投影されていたとしても、検出手段により検出された障害物上面の端を基準にして、自車両と障害物との距離を正確に認識できる。
【０００９】
請求項２に記載の発明によれば、撮影画像に障害物の他に障害物上方の看板などが含まれているときは、撮影手段により撮影して得られた複数の時系列的な撮影画像が変換手段により下面視の画像に射影変換されて、各下面視の画像に含まれる障害物上面の端および看板などの端部が、それぞれ障害物上面の端の候補として検出手段により導出されるが、時系列的に取得されている各下面視の画像から導出されたそれぞれの候補の時系列的な動きが監視され、各候補の時系列的な動きに基づいて障害物上面の端が検出手段により検出されるため、撮影画像に含まれた障害物と看板などとを区別して正確に障害物を検出できる。
【００１０】
すなわち、走行中の自車両から時系列的に撮影された撮影画像に含まれる看板などは固定物であるため、各撮影画像が射影変換された各下面視の画像から、看板の端部が障害物上面の端の候補として検出手段により導出されても、時系列的に取得されている各下面視の画像内での当該候補（看板の端部）の位置に基づいて監視される当該候補の時系列的な動きは、自車両の走行速度に応じた動き、換言すれば、自車両と看板との相対的な移動量に応じた動きとなる。したがって、各下面視の画像から導出された障害物上面の端の複数の候補それぞれの時系列的な動きに基づいて、障害物上面の端が検出されることによる候補と、看板などの端部が検出されることによる候補とを区別することができるため、下面視の画像内の障害物上面の端が検出手段により正確に検出される。
【図面の簡単な説明】
【００１１】
【図１】本発明の障害物認識装置の一実施形態のブロック図である。
【図２】図１の単眼カメラの構成の一例を示す図である。
【図３】撮影画像の一例である。
【図４】撮影画像の他の例である。
【図５】図１の動作説明用のフローチャートである。
【発明を実施するための形態】
【００１２】
本発明の一実施形態について、図１〜図５を参照して説明する。
【００１３】
図１は本発明の障害物認識装置２の一実施形態のブロック図である。図２は図１の単眼カメラ３の構成の一例を示す図である。図３は単眼カメラ３による自車両１の前方の撮影画像ＩＭＧの一例であって、（ａ）は撮影画像ＩＭＧ、（ｂ）は（ａ）の撮影画像ＩＭＧを下面視の画像ｔＩＭＧに射影変換したものである。図４は単眼カメラ３による自車両１の前方の撮影画像ＩＭＧの他の例であって、（ａ）は他車両１２を含む撮影画像ＩＭＧ、（ｂ）は（ａ）の撮影画像ＩＭＧを下面視の画像ｔＩＭＧに射影変換したもの、（ｃ）は（ｂ）の下面視の画像ｔＩＭＧに水平方向のエッジを強調する微分フィルターを施して２値化した２値化画像ｄＩＭＧである。図５は図１の動作説明用のフローチャートである。
【００１４】
１．構成
図１に示す障害物認識装置２は、自車両１に搭載された単眼カメラ３（本発明の「撮影手段」に相当）により撮影された撮影画像ＩＭＧを処理して自車両１周辺の障害物（他車両１２）を認識するものであって、単眼カメラ３と、単眼カメラ３による撮影画像ＩＭＧや種々のデータを記憶する記憶手段４と、単眼カメラ３の撮影画像ＩＭＧを処理するマイクロコンピュータ構成のＥＣＵ６と、例えばインストルメントパネルなどに取付けられたＣＲＴ、液晶ディスプレイなどの走行モニタ７と、警報用のスピーカ８とを備えている。
【００１５】
単眼カメラ３は、この実施形態では自車両１の前方の撮影が可能なモノクロあるいはカラー撮影が可能なカメラから成り、連続的に時々刻々と撮影した画像ＩＭＧの信号を出力する（図３，４参照）。また、図２に示すように、自車両１の前方の撮影を行なうため、単眼カメラ３は、自車両１の車内の前方のインストルメントパネルの上部位置に、上方に適当な角度でつけて前方を撮影することができるように設けられている。
【００１６】
記憶手段４は、単眼カメラ３から時々刻々と出力される撮影画像ＩＭＧに対してＥＣＵ６により種々の処理が施されることにより得られた各種データを格納する。
【００１７】
ＥＣＵ６は、例えばイグニッションキーのオンにより、予め設定された障害物認識のプログラムを実行することにより以下の各手段を備えている。
【００１８】
（１）変換手段６ａ
変換手段６ａは、図２に示すように、所定の高さに水平な仮想面Ｐを設定し、図３（ａ）および図４（ａ）に示す、単眼カメラ３により時々刻々と撮影された各時刻における撮影画像ＩＭＧを仮想面Ｐに射影して、図３（ｂ）および図４（ｂ）に示す、下面視の画像ｔＩＭＧに変換する。なお、図３および図４に示す例では、図３（ａ）には走行路の両側に電柱が立設されて、電柱の上端に電線が掛け渡されているが、この電線の高さに水平な仮想面Ｐが設定され、撮影画像ＩＭＧが図３（ｂ）および図４（ｃ）に示す下面視の画像ｔＩＭＧに射影変換されている。そして、単眼カメラ３により時系列に撮影されて変換手段６ａにより射影変換された撮影画像ＩＭＧに関する種々のデータは記憶手段４に記憶される。
【００１９】
（２）検出手段は６ｂ
検出手段６ｂは、図４（ｃ）に示すように、下面視の画像ｔＩＭＧに水平方向のエッジを強調する微分フィルターが施されて２値化されることによる２値化画像ｄＩＭＧに基づいて、下面視の画像ｔＩＭＧに含まれる障害物（他車両１２）上面の端１２ａを検出する。
【００２０】
図４に示す例では、同図（ａ）に示すように、単眼カメラ３の撮影画像ＩＭＧに障害物としての他車両１２が含まれており、同図（ｂ）に示すように、この撮影画像ＩＭＧが変換手段６ａにより下面視の画像ｔＩＭＧに射影変換される。そして、同図（ｃ）に示すように、下面視の画像ｔＩＭＧに微分フィルターが施されて２値化されることにより２値化画像ｄＩＭＧが導出されて、この２値化画像ｄＩＭＧ内の水平エッジが他車両１２の上面の端１２ａとして検出される。
【００２１】
ところで、走行中の自車両１から単眼カメラ３により時系列的に撮影された撮影画像ＩＭＧが時々刻々と下面視の画像ｔＩＭＧに射影変換されており、各下面視の画像ｔＩＭＧから検出された水平エッジの時系列的な動きが検出手段６ａにより監視される。例えば、撮影画像ＩＭＧに障害物（他車両１２）の他に障害物上方の看板などが含まれているときは、時系列的に撮影された各撮影画像ＩＭＧが射影変換された各下面視の画像ｔＩＭＧが微分フィルター処理されると、看板などの端部も水平エッジとして強調されるため、障害物（他車両１２）上面の端１２ａの他に、看板などの端部も障害物上面の端の候補として導出される。
【００２２】
しかしながら、単眼カメラ３の撮影画像ＩＭＧに含まれる看板などは固定物であるため、時系列的に取得されている各下面視の画像ｔＩＭＧ内での看板の端部による水平エッジの位置に基づいて監視される当該水平エッジの時系列的な動きは、自車両１の走行速度に応じた動き、換言すれば、自車両１と看板との相対的な移動量に応じた動きとなる。したがって、各下面視の画像ｔＩＭＧから導出された障害物上面の端の複数の候補（水平エッジ）それぞれの時系列的な動きに基づいて、障害物上面の端１２ａが水平エッジとして検出されることによる候補と、看板などの端部が水平エッジとして検出されることによる候補とを区別することができるため、これにより、下面視の画像ｔＩＭＧ内の障害物上面の端１２ａが検出手段６ｂにより正確に検出される。
【００２３】
なお、下面視の画像ｔＩＭＧ内の水平エッジを検出する方法としては上記した手法に限られず、水平エッジヒストグラムに基づく水平エッジ検出を行ってもよい。
【００２４】
（３）認識手段６ｃ
認識手段６ｃは、検出手段６ｂにより検出された障害物上面の端１２ａを基準として、自車両１と障害物（他車両１２）との距離を認識する。そして、時系列的に単眼カメラ３により撮影された各撮影画像ＩＭＧの射影変換画像ｔＩＭＧ内で検出された障害物上面の端１２ａを基準とした自車両１と障害物との距離に基づいて、自車両１と障害物との距離の変化を監視する。
【００２５】
（４）報知手段６ｄ
報知手段６ｄは、認識手段６ｃにより監視される、自車両１と障害物（他車両１２）との距離の変化の基づき、例えば走行モニタ７に表示中のカーナビゲーション用の地図に警告表示を重畳して表示したりして、障害物の存在を視覚的にドライバに報知する。また、スピーカ８から、検出結果の音声メッセージ、警告音を発生して障害物の存在を聴覚的にドライバに報知する。これらの視覚的または聴覚的なドライバに対する報知により、ドライバの運転支援を行う。
【００２６】
２．動作
次に、上記したように構成された障害物認識装置２の動作について図５を参照して説明する。なお、この実施形態では、図４に示すように、走行車線の自車両１の前方を先行車として他車両１２が走行している状態を例に挙げて説明する。また、記憶手段４には、時系列で撮影された過去の撮影画像ＩＭＧの射影変換画像ｔＩＭＧから検出手段６ｂにより検出された障害物候補としての水平エッジの、各画像内での位置に関する情報などが格納されるものとする。
【００２７】
まず、自車両１のイグニッションキーのオンにより単眼カメラ３による撮影が開始されると、図４（ａ）に示すような、単眼カメラ３による自車両１の前方の撮影画像ＩＭＧの信号が時々刻々とＥＣＵ６に取込まれる（ステップＳ１）。そして、図４（ｂ）に示すように、取込まれた撮影画像ＩＭＧが下面視の画像ｔＩＭＧに変換手段６ａにより射影変換される（ステップＳ２）。
【００２８】
次に、図４（ｃ）に示す、下面視の画像ｔＩＭＧに微分フィルターが施されて２値化された２値化画像ｄＩＭＧに基づいて、下面視の画像ｔＩＭＧ内の水平エッジが障害物（他車両１２）上面の端１２ａの候補として検出される（ステップＳ３）。そして、検出された障害物上面の端１２ａの候補としての水平エッジの時系列な動きが監視され、監視された時系列な水平エッジの動きに基づいて、検出された水平エッジが障害部上面の端１２ａによるものなのか、看板などの端部によるものなのかが検出される。
【００２９】
撮影画像ＩＭＧ内に障害物（他車両１２）上面の端１２ａが検出されれば、検出された障害物上面の端１２ａを基準として、障害物と自車両１との距離が認識手段６ｃにより認識されて、認識された距離の時系列的な変化が監視される（ステップＳ４）。そして、障害物（他車両１２）が自車両１に異常接近するものであれば、走行モニタ７による警告表示が行われたり、スピーカ８から音声メッセージや警報音が出力されたりすることにより、障害物が存在することがドライバに報知手段６ｄにより報知される（ステップＳ５）。すなわち、この実施形態では、ＥＣＵ６がプログラムを実行することにより備える機能により、他車両１２が自車両１に異常接近すると判断されれば、報知手段６ｄによる報知が行われる。
【００３０】
以上のように、この実施形態によれば、自車両１に搭載され、自車両１周辺を撮影する単眼カメラ３により撮影された撮影画像ＩＭＧが、水平な仮想面Ｐに射影した下面視の画像ｔＩＭＧに変換手段６ａにより変換されて、下面視の画像ｔＩＭＧに含まれた障害物上面の端１２ａが検出手段６ｂにより検出されるため、障害物の影が路面に投影されていたとしても、検出手段６ｂにより検出された障害物上面の端１２ａを基準にして、自車両１と障害物との距離を正確に認識できる。
【００３１】
また、撮影画像ＩＭＧに障害物の他に障害物上方の看板などが含まれているときは、単眼カメラ３により撮影して得られた複数の時系列的な撮影画像ＩＭＧが変換手段６ａにより下面視の画像ｔＩＭＧに射影変換されて、各下面視の画像ｔＩＭＧに含まれる障害物上面の端および看板などの端部による水平エッジが、それぞれ障害物上面の端１２ａの候補として検出手段６ｂにより導出されるが、時系列的に取得されている各下面視の画像ｔＩＭＧから導出されたそれぞれの水平エッジの時系列的な動きが監視され、各水平エッジの時系列的な動きに基づいて障害物上面の端１２ａが、看板などの端部と区別されて検出手段６ｂにより検出されるため、撮影画像ＩＭＧに含まれた障害物と看板などとを区別して正確に障害物上面の端部を検出できる。
【００３２】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、単眼カメラ３を、後方を撮影可能に自車両１の後部に取付けてもよい。このように構成すると、自車両１の後方から異常接近する他車両が存在するかどうかを監視することができる。
【００３３】
また、上記した実施形態では、走行路両側の電柱の上端に掛け渡された電線の位置に水平な仮想面Ｐを設定したが、水平な仮想面Ｐの位置としては障害物の上方であればどのような位置であってもよく、望ましくは、検出手段６ｂにより水平エッジが看板の下端として検出されれば、看板の下端の検出後は、当該水平エッジの位置、すなわち、看板の下端の位置に水平な仮想面Ｐを設定するのが望ましい。このように水平な仮想面Ｐを設定すると、看板などの端部が水平エッジとして検出されるおそれがない。
【００３４】
また、検出手段６ｂによる障害物上面の端の検出方法としては、上記した手法に限られず、異なる時間に撮影された複数の撮影画像ＩＭＧが変換された複数の下面視の画像ｔＩＭＧの差分から、下面視の画像ｔＩＭＧ内の障害物を検出し、検出された障害物の上端を検出するようにしてもよい。
【００３５】
また、本発明は種々の車両の障害物認識に適用することができる。
【符号の説明】
【００３６】
１ 自車両
２ 障害物認識装置
３ 単眼カメラ（撮影手段）
６ａ 変換手段
６ｂ 検出手段
１２ 他車両（障害物）
ＩＭＧ 撮影画像
ｔＩＭＧ 下面視の画像
Ｐ 仮想面
【技術分野】
【０００１】
この発明は、自車両に搭載された撮影手段により撮影して得られた撮影画像を処理して自車両周辺の障害物を認識する技術に関する。
【背景技術】
【０００２】
従来、車載カメラなどの撮影手段により撮影された撮影画像内に障害物（車両）が存在するかどうかを検出し、障害物が検出された場合には、検出された障害物の下端からの自車両までの長さを、自車両と障害物との距離として認識する技術が知られている（例えば、特許文献１）。すなわち、特許文献１に記載の技術では、略同じ路面領域が撮影手段により複数方向から撮影され、各撮影画像が上面視の画像に射影変換される。そして、各上面視の画像の異同に基づいて、障害物が存在することが検出されれば、上面視の画像内の障害物下面の端から自車両までの長さが、自車両と障害物との距離として認識される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２５９３２号公報（段落［００６８］，［００７４］、図１０など）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記した従来の技術では、路面に障害物の影が投影されており、障害物と路面に投影された影とを含む撮影画像が上面視の画像に射影変換された場合には、上面視の画像内の障害物および影が１つの障害物として検出されることにより、影の端が障害物下面の端として検出されるおそれがある。したがって、路面に投影された障害物の影が障害物下面の端として検出されれば、その影の端から自車両までの長さが、自車両と障害物の距離として認識されるという問題があった。
【０００５】
本発明は、障害物の影が路面に投影されていたとしても、自車両と障害物との距離を正確に認識できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記した目的を達成するために、本発明の障害物認識装置は、自車両に搭載され、前記自車両周辺を撮影する撮影手段と、前記撮影手段の撮影画像を水平な仮想面に射影した下面視の画像に変換する変換手段と、前記下面視の画像に含まれた障害物上面の端を検出する検出手段とを備えることを特徴としている（請求項１）。
【０００７】
また、請求項１記載の障害物認識装置において、前記変換手段は、前記撮影手段により撮影して得られた複数の時系列的な撮影画像を下面視の画像に射影変換し、前記検出手段は、前記各下面視の画像に含まれる障害物上面の端の複数の候補を導出してそれぞれの時系列的な動きに基づいて障害物上面の端を検出するようにしてもよい（請求項２）。
【発明の効果】
【０００８】
請求項１に記載の発明によれば、自車両に搭載され、自車両周辺を撮影する撮影手段により撮影された撮影画像が、水平な仮想面に射影した下面視の画像に変換手段により変換されて、下面視の画像に含まれた障害物上面の端が検出手段により検出されるため、障害物の影が路面に投影されていたとしても、検出手段により検出された障害物上面の端を基準にして、自車両と障害物との距離を正確に認識できる。
【０００９】
請求項２に記載の発明によれば、撮影画像に障害物の他に障害物上方の看板などが含まれているときは、撮影手段により撮影して得られた複数の時系列的な撮影画像が変換手段により下面視の画像に射影変換されて、各下面視の画像に含まれる障害物上面の端および看板などの端部が、それぞれ障害物上面の端の候補として検出手段により導出されるが、時系列的に取得されている各下面視の画像から導出されたそれぞれの候補の時系列的な動きが監視され、各候補の時系列的な動きに基づいて障害物上面の端が検出手段により検出されるため、撮影画像に含まれた障害物と看板などとを区別して正確に障害物を検出できる。
【００１０】
すなわち、走行中の自車両から時系列的に撮影された撮影画像に含まれる看板などは固定物であるため、各撮影画像が射影変換された各下面視の画像から、看板の端部が障害物上面の端の候補として検出手段により導出されても、時系列的に取得されている各下面視の画像内での当該候補（看板の端部）の位置に基づいて監視される当該候補の時系列的な動きは、自車両の走行速度に応じた動き、換言すれば、自車両と看板との相対的な移動量に応じた動きとなる。したがって、各下面視の画像から導出された障害物上面の端の複数の候補それぞれの時系列的な動きに基づいて、障害物上面の端が検出されることによる候補と、看板などの端部が検出されることによる候補とを区別することができるため、下面視の画像内の障害物上面の端が検出手段により正確に検出される。
【図面の簡単な説明】
【００１１】
【図１】本発明の障害物認識装置の一実施形態のブロック図である。
【図２】図１の単眼カメラの構成の一例を示す図である。
【図３】撮影画像の一例である。
【図４】撮影画像の他の例である。
【図５】図１の動作説明用のフローチャートである。
【発明を実施するための形態】
【００１２】
本発明の一実施形態について、図１〜図５を参照して説明する。
【００１３】
図１は本発明の障害物認識装置２の一実施形態のブロック図である。図２は図１の単眼カメラ３の構成の一例を示す図である。図３は単眼カメラ３による自車両１の前方の撮影画像ＩＭＧの一例であって、（ａ）は撮影画像ＩＭＧ、（ｂ）は（ａ）の撮影画像ＩＭＧを下面視の画像ｔＩＭＧに射影変換したものである。図４は単眼カメラ３による自車両１の前方の撮影画像ＩＭＧの他の例であって、（ａ）は他車両１２を含む撮影画像ＩＭＧ、（ｂ）は（ａ）の撮影画像ＩＭＧを下面視の画像ｔＩＭＧに射影変換したもの、（ｃ）は（ｂ）の下面視の画像ｔＩＭＧに水平方向のエッジを強調する微分フィルターを施して２値化した２値化画像ｄＩＭＧである。図５は図１の動作説明用のフローチャートである。
【００１４】
１．構成
図１に示す障害物認識装置２は、自車両１に搭載された単眼カメラ３（本発明の「撮影手段」に相当）により撮影された撮影画像ＩＭＧを処理して自車両１周辺の障害物（他車両１２）を認識するものであって、単眼カメラ３と、単眼カメラ３による撮影画像ＩＭＧや種々のデータを記憶する記憶手段４と、単眼カメラ３の撮影画像ＩＭＧを処理するマイクロコンピュータ構成のＥＣＵ６と、例えばインストルメントパネルなどに取付けられたＣＲＴ、液晶ディスプレイなどの走行モニタ７と、警報用のスピーカ８とを備えている。
【００１５】
単眼カメラ３は、この実施形態では自車両１の前方の撮影が可能なモノクロあるいはカラー撮影が可能なカメラから成り、連続的に時々刻々と撮影した画像ＩＭＧの信号を出力する（図３，４参照）。また、図２に示すように、自車両１の前方の撮影を行なうため、単眼カメラ３は、自車両１の車内の前方のインストルメントパネルの上部位置に、上方に適当な角度でつけて前方を撮影することができるように設けられている。
【００１６】
記憶手段４は、単眼カメラ３から時々刻々と出力される撮影画像ＩＭＧに対してＥＣＵ６により種々の処理が施されることにより得られた各種データを格納する。
【００１７】
ＥＣＵ６は、例えばイグニッションキーのオンにより、予め設定された障害物認識のプログラムを実行することにより以下の各手段を備えている。
【００１８】
（１）変換手段６ａ
変換手段６ａは、図２に示すように、所定の高さに水平な仮想面Ｐを設定し、図３（ａ）および図４（ａ）に示す、単眼カメラ３により時々刻々と撮影された各時刻における撮影画像ＩＭＧを仮想面Ｐに射影して、図３（ｂ）および図４（ｂ）に示す、下面視の画像ｔＩＭＧに変換する。なお、図３および図４に示す例では、図３（ａ）には走行路の両側に電柱が立設されて、電柱の上端に電線が掛け渡されているが、この電線の高さに水平な仮想面Ｐが設定され、撮影画像ＩＭＧが図３（ｂ）および図４（ｃ）に示す下面視の画像ｔＩＭＧに射影変換されている。そして、単眼カメラ３により時系列に撮影されて変換手段６ａにより射影変換された撮影画像ＩＭＧに関する種々のデータは記憶手段４に記憶される。
【００１９】
（２）検出手段は６ｂ
検出手段６ｂは、図４（ｃ）に示すように、下面視の画像ｔＩＭＧに水平方向のエッジを強調する微分フィルターが施されて２値化されることによる２値化画像ｄＩＭＧに基づいて、下面視の画像ｔＩＭＧに含まれる障害物（他車両１２）上面の端１２ａを検出する。
【００２０】
図４に示す例では、同図（ａ）に示すように、単眼カメラ３の撮影画像ＩＭＧに障害物としての他車両１２が含まれており、同図（ｂ）に示すように、この撮影画像ＩＭＧが変換手段６ａにより下面視の画像ｔＩＭＧに射影変換される。そして、同図（ｃ）に示すように、下面視の画像ｔＩＭＧに微分フィルターが施されて２値化されることにより２値化画像ｄＩＭＧが導出されて、この２値化画像ｄＩＭＧ内の水平エッジが他車両１２の上面の端１２ａとして検出される。
【００２１】
ところで、走行中の自車両１から単眼カメラ３により時系列的に撮影された撮影画像ＩＭＧが時々刻々と下面視の画像ｔＩＭＧに射影変換されており、各下面視の画像ｔＩＭＧから検出された水平エッジの時系列的な動きが検出手段６ａにより監視される。例えば、撮影画像ＩＭＧに障害物（他車両１２）の他に障害物上方の看板などが含まれているときは、時系列的に撮影された各撮影画像ＩＭＧが射影変換された各下面視の画像ｔＩＭＧが微分フィルター処理されると、看板などの端部も水平エッジとして強調されるため、障害物（他車両１２）上面の端１２ａの他に、看板などの端部も障害物上面の端の候補として導出される。
【００２２】
しかしながら、単眼カメラ３の撮影画像ＩＭＧに含まれる看板などは固定物であるため、時系列的に取得されている各下面視の画像ｔＩＭＧ内での看板の端部による水平エッジの位置に基づいて監視される当該水平エッジの時系列的な動きは、自車両１の走行速度に応じた動き、換言すれば、自車両１と看板との相対的な移動量に応じた動きとなる。したがって、各下面視の画像ｔＩＭＧから導出された障害物上面の端の複数の候補（水平エッジ）それぞれの時系列的な動きに基づいて、障害物上面の端１２ａが水平エッジとして検出されることによる候補と、看板などの端部が水平エッジとして検出されることによる候補とを区別することができるため、これにより、下面視の画像ｔＩＭＧ内の障害物上面の端１２ａが検出手段６ｂにより正確に検出される。
【００２３】
なお、下面視の画像ｔＩＭＧ内の水平エッジを検出する方法としては上記した手法に限られず、水平エッジヒストグラムに基づく水平エッジ検出を行ってもよい。
【００２４】
（３）認識手段６ｃ
認識手段６ｃは、検出手段６ｂにより検出された障害物上面の端１２ａを基準として、自車両１と障害物（他車両１２）との距離を認識する。そして、時系列的に単眼カメラ３により撮影された各撮影画像ＩＭＧの射影変換画像ｔＩＭＧ内で検出された障害物上面の端１２ａを基準とした自車両１と障害物との距離に基づいて、自車両１と障害物との距離の変化を監視する。
【００２５】
（４）報知手段６ｄ
報知手段６ｄは、認識手段６ｃにより監視される、自車両１と障害物（他車両１２）との距離の変化の基づき、例えば走行モニタ７に表示中のカーナビゲーション用の地図に警告表示を重畳して表示したりして、障害物の存在を視覚的にドライバに報知する。また、スピーカ８から、検出結果の音声メッセージ、警告音を発生して障害物の存在を聴覚的にドライバに報知する。これらの視覚的または聴覚的なドライバに対する報知により、ドライバの運転支援を行う。
【００２６】
２．動作
次に、上記したように構成された障害物認識装置２の動作について図５を参照して説明する。なお、この実施形態では、図４に示すように、走行車線の自車両１の前方を先行車として他車両１２が走行している状態を例に挙げて説明する。また、記憶手段４には、時系列で撮影された過去の撮影画像ＩＭＧの射影変換画像ｔＩＭＧから検出手段６ｂにより検出された障害物候補としての水平エッジの、各画像内での位置に関する情報などが格納されるものとする。
【００２７】
まず、自車両１のイグニッションキーのオンにより単眼カメラ３による撮影が開始されると、図４（ａ）に示すような、単眼カメラ３による自車両１の前方の撮影画像ＩＭＧの信号が時々刻々とＥＣＵ６に取込まれる（ステップＳ１）。そして、図４（ｂ）に示すように、取込まれた撮影画像ＩＭＧが下面視の画像ｔＩＭＧに変換手段６ａにより射影変換される（ステップＳ２）。
【００２８】
次に、図４（ｃ）に示す、下面視の画像ｔＩＭＧに微分フィルターが施されて２値化された２値化画像ｄＩＭＧに基づいて、下面視の画像ｔＩＭＧ内の水平エッジが障害物（他車両１２）上面の端１２ａの候補として検出される（ステップＳ３）。そして、検出された障害物上面の端１２ａの候補としての水平エッジの時系列な動きが監視され、監視された時系列な水平エッジの動きに基づいて、検出された水平エッジが障害部上面の端１２ａによるものなのか、看板などの端部によるものなのかが検出される。
【００２９】
撮影画像ＩＭＧ内に障害物（他車両１２）上面の端１２ａが検出されれば、検出された障害物上面の端１２ａを基準として、障害物と自車両１との距離が認識手段６ｃにより認識されて、認識された距離の時系列的な変化が監視される（ステップＳ４）。そして、障害物（他車両１２）が自車両１に異常接近するものであれば、走行モニタ７による警告表示が行われたり、スピーカ８から音声メッセージや警報音が出力されたりすることにより、障害物が存在することがドライバに報知手段６ｄにより報知される（ステップＳ５）。すなわち、この実施形態では、ＥＣＵ６がプログラムを実行することにより備える機能により、他車両１２が自車両１に異常接近すると判断されれば、報知手段６ｄによる報知が行われる。
【００３０】
以上のように、この実施形態によれば、自車両１に搭載され、自車両１周辺を撮影する単眼カメラ３により撮影された撮影画像ＩＭＧが、水平な仮想面Ｐに射影した下面視の画像ｔＩＭＧに変換手段６ａにより変換されて、下面視の画像ｔＩＭＧに含まれた障害物上面の端１２ａが検出手段６ｂにより検出されるため、障害物の影が路面に投影されていたとしても、検出手段６ｂにより検出された障害物上面の端１２ａを基準にして、自車両１と障害物との距離を正確に認識できる。
【００３１】
また、撮影画像ＩＭＧに障害物の他に障害物上方の看板などが含まれているときは、単眼カメラ３により撮影して得られた複数の時系列的な撮影画像ＩＭＧが変換手段６ａにより下面視の画像ｔＩＭＧに射影変換されて、各下面視の画像ｔＩＭＧに含まれる障害物上面の端および看板などの端部による水平エッジが、それぞれ障害物上面の端１２ａの候補として検出手段６ｂにより導出されるが、時系列的に取得されている各下面視の画像ｔＩＭＧから導出されたそれぞれの水平エッジの時系列的な動きが監視され、各水平エッジの時系列的な動きに基づいて障害物上面の端１２ａが、看板などの端部と区別されて検出手段６ｂにより検出されるため、撮影画像ＩＭＧに含まれた障害物と看板などとを区別して正確に障害物上面の端部を検出できる。
【００３２】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、単眼カメラ３を、後方を撮影可能に自車両１の後部に取付けてもよい。このように構成すると、自車両１の後方から異常接近する他車両が存在するかどうかを監視することができる。
【００３３】
また、上記した実施形態では、走行路両側の電柱の上端に掛け渡された電線の位置に水平な仮想面Ｐを設定したが、水平な仮想面Ｐの位置としては障害物の上方であればどのような位置であってもよく、望ましくは、検出手段６ｂにより水平エッジが看板の下端として検出されれば、看板の下端の検出後は、当該水平エッジの位置、すなわち、看板の下端の位置に水平な仮想面Ｐを設定するのが望ましい。このように水平な仮想面Ｐを設定すると、看板などの端部が水平エッジとして検出されるおそれがない。
【００３４】
また、検出手段６ｂによる障害物上面の端の検出方法としては、上記した手法に限られず、異なる時間に撮影された複数の撮影画像ＩＭＧが変換された複数の下面視の画像ｔＩＭＧの差分から、下面視の画像ｔＩＭＧ内の障害物を検出し、検出された障害物の上端を検出するようにしてもよい。
【００３５】
また、本発明は種々の車両の障害物認識に適用することができる。
【符号の説明】
【００３６】
１ 自車両
２ 障害物認識装置
３ 単眼カメラ（撮影手段）
６ａ 変換手段
６ｂ 検出手段
１２ 他車両（障害物）
ＩＭＧ 撮影画像
ｔＩＭＧ 下面視の画像
Ｐ 仮想面
【特許請求の範囲】
【請求項１】
自車両に搭載され、前記自車両周辺を撮影する撮影手段と、
前記撮影手段の撮影画像を水平な仮想面に射影した下面視の画像に変換する変換手段と、
前記下面視の画像に含まれた障害物上面の端を検出する検出手段と
を備える障害物認識装置。
【請求項２】
請求項１記載の障害物認識装置において、
前記変換手段は、前記撮影手段により撮影して得られた複数の時系列的な撮影画像を下面視の画像に射影変換し、
前記検出手段は、前記各下面視の画像に含まれる障害物上面の端の複数の候補を導出してそれぞれの時系列的な動きに基づいて障害物上面の端を検出する障害物認識装置。
【請求項１】
自車両に搭載され、前記自車両周辺を撮影する撮影手段と、
前記撮影手段の撮影画像を水平な仮想面に射影した下面視の画像に変換する変換手段と、
前記下面視の画像に含まれた障害物上面の端を検出する検出手段と
を備える障害物認識装置。
【請求項２】
請求項１記載の障害物認識装置において、
前記変換手段は、前記撮影手段により撮影して得られた複数の時系列的な撮影画像を下面視の画像に射影変換し、
前記検出手段は、前記各下面視の画像に含まれる障害物上面の端の複数の候補を導出してそれぞれの時系列的な動きに基づいて障害物上面の端を検出する障害物認識装置。
【図１】
【図２】
【図３】
【図５】
【図４】
【図２】
【図３】
【図５】
【図４】
【公開番号】特開２０１１−１０３０４６（Ｐ２０１１−１０３０４６Ａ）
【公開日】平成２３年５月２６日（２０１１．５．２６）
【国際特許分類】
【出願番号】特願２００９−２５７３０７（Ｐ２００９−２５７３０７）
【出願日】平成２１年１１月１０日（２００９．１１．１０）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
【公開日】平成２３年５月２６日（２０１１．５．２６）
【国際特許分類】
【出願日】平成２１年１１月１０日（２００９．１１．１０）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
[ Back to top ]