画像処理装置
【課題】車両の走行ルートに沿った路面のデータベース画像を生成することができる技術を提供する。
【解決手段】単眼カメラ３の撮影画像が背景画像取得手段６ａにより取得されたときの自車両１の位置情報が位置情報取得手段６ｂにより取得され、位置情報取得手段６ａの自車両１の位置情報に基づいて、生成手段６ｄにより、各フレームの撮影画像が射影変換された障害物を含まない上方視の画像がつなぎ合わされて、路面領域が連続する路面のデータベース画像が生成される。したがって、走行中の自車両１の単眼カメラ３の撮影画像に基づいて路面のデータベース画像を生成することができるため、例えば通勤の際に単眼カメラ３により撮影された撮影画像から自車両１の走行ルートに沿った路面のデータベース画像を生成することができる。
【解決手段】単眼カメラ３の撮影画像が背景画像取得手段６ａにより取得されたときの自車両１の位置情報が位置情報取得手段６ｂにより取得され、位置情報取得手段６ａの自車両１の位置情報に基づいて、生成手段６ｄにより、各フレームの撮影画像が射影変換された障害物を含まない上方視の画像がつなぎ合わされて、路面領域が連続する路面のデータベース画像が生成される。したがって、走行中の自車両１の単眼カメラ３の撮影画像に基づいて路面のデータベース画像を生成することができるため、例えば通勤の際に単眼カメラ３により撮影された撮影画像から自車両１の走行ルートに沿った路面のデータベース画像を生成することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車載カメラの撮影画像を処理して路面のデータベース画像を生成する技術に関する。
【背景技術】
【０００２】
従来、車載カメラの撮影画像と予め設定された背景画像との間の差分画像に基づいて障害物を認識する技術が知られている。例えば、特許文献１に記載の技術では、フレーム単位で連続的に入力される車載カメラの撮影画像と予め設定された背景画像との間の差分画像である背景差分画像が２値化されて、障害物が存在することにより背景画像に対して変化のある対象領域と、障害物が存在しないことにより背景画像に対して変化のない背景領域とからなる２値化画像がフレーム毎に生成される。そして、この２値化画像がフレーム間で比較されることにより障害物の移動量などが認識される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−５９２５２号公報（段落［００１２］〜［００１９］，［００３５］，［００４２］，［００４３］、図７など）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、通勤などにより、車両はほぼ決まった走行ルートで運転されることが多いため、少なくともその走行ルートの風景が背景画像として設定されていれば、走行ルートの路面領域の障害物を容易に認識できると考えられる。しかしながら、上記した従来の技術では、背景画像の具体的な設定方法については詳細には述べられておらず、技術の改善が求められていた。
【０００５】
本発明は、車両の走行ルートに沿った路面のデータベース画像を生成することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記した目的を達成するために、本発明の画像処理装置は、車両の周辺を撮影する車載カメラと、前記車載カメラの撮影画像であって路面領域を含む背景画像を取得する背景画像取得手段と、前記背景画像が取得されたときの前記車両の位置情報を取得する位置情報取得手段と、各フレームの前記背景画像を、前記車両の上方から俯瞰する下向き姿勢の仮想的なカメラ視点の射影変換画像に変換する射影変換手段と、前記位置情報取得手段の前記車両の位置情報に基づいて、前記各フレームの障害物を含まない射影変換画像をつなぎ合わせ、前記路面領域が連続する路面のデータベース画像を生成する生成手段とを備えたことを特徴としている（請求項１）。
【０００７】
また、請求項１に記載の画像処理装置において、前記生成手段は、前記各フレームの射影変換画像の同じ路面領域における共通する画像部分を、障害物を含まない画像部分としてつなぎ合わせて前記データベース画像を生成するようにしてもよい（請求項２）。
【発明の効果】
【０００８】
請求項１に記載の発明によれば、車載カメラの撮影画像であって路面領域を含む背景画像が背景画像取得手段により取得されたときの車両の位置情報が位置情報取得手段により取得され、各フレームの背景画像が射影変換手段により、車両の上方から俯瞰する下向き姿勢の仮想的なカメラ視点の射影変換画像に変換される。そして、位置情報取得手段の車両の位置情報に基づいて、生成手段により、各フレームの障害物を含まない射影変換画像がつなぎ合わされて、路面領域が連続する路面のデータベース画像が生成される。このとき、各フレームの背景画像が射影変換手段により射影変換された射影変換画像が生成手段によりつなぎ合わされるが、各フレームの射影変換画像はカメラ視点が一致しているため、各フレームの射影変換画像を路面領域が連続するように容易につなぎ合わせることができ、生成される路面のデータベース画像の精度を向上することができる。また、走行中の車両の車載カメラの撮影画像に基づいて路面のデータベース画像を生成することができるため、例えば通勤の際の車載カメラによる背景画像から車両の走行ルートに沿った路面のデータベース画像を生成することができる。
【０００９】
請求項２に記載の発明によれば、各フレームの射影変換画像の同じ路面領域における共通する画像部分が、障害物を含まない画像部分として生成手段によりつなぎ合わされて路面のデータベース画像が生成される。例えば、一のフレームの背景画像に停車車両や先行車などの障害物、路面に投影された影などが含まれているときには、障害物や影などは常に同じ路面領域に存在するわけではないため、他のフレームの背景画像の同じ路面領域には障害物や影などが含まれていない蓋然性が高く、各フレームの背景画像の同じ路面領域の画像には差異が生じる。しかしながら、例えば、一のフレームの背景画像に道路標示が含まれていたとしても、道路標示などは常に同じ路面領域に存在するものであるため、各フレームの背景画像の同じ路面領域に障害物や影などが含まれていなければ、各フレームの背景画像の同じ路面領域の画像は共通するものとなる。したがって、各フレームの射影変換画像の同じ路面領域における共通する画像部分を障害物を含まない画像部分としてつなぎ合わせることで、車載カメラの背景画像に障害物や影などが含まれていたとしても、障害物や影などが除去された状態で射影変換画像がつなぎ合わされるため、障害物や影を含まない路面のデータベース画像を生成することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の画像処理装置としての機能を備える障害物認識装置の一実施形態のブロック図である。
【図２】図１の単眼カメラの構成の一例を示す図である。
【図３】背景画像の一例である。
【図４】路面のデータベース画像の一例である。
【図５】データベース画像生成処理を示すフローチャートである。
【図６】障害物認識処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
本発明の一実施形態について、図１〜図６を参照して説明する。
【００１２】
図１は本発明の画像処理装置としての機能を備える障害物認識装置２の一実施形態のブロック図である。図２は図１の単眼カメラ３の構成の一例を示す図である。図３は本発明の路面領域を含む背景画像としての単眼カメラ３の撮影画像ＩＭＧの一例を示し、（ａ１），（ａ２）はそれぞれ異なる時刻に撮影された撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）、（ｂ１），（ｂ２）はそれぞれ撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）を上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）に射影変換したもの、（ｃ）は画像ｔＩＭＧ（ｔ１）および画像ｔＩＭＧ（ｔ２）の差分画像ｄＩＭＧである。図４は各フレームの障害物を含まない上方視の画像ｔＩＭＧをつなぎ合わせることによる路面のデータベース画像ＤＢの一例である。図５はデータベース画像生成処理を示すフローチャートである。図６は障害物認識処理を示すフローチャートである。
【００１３】
１．構成
図１に示す障害物認識装置２（本発明の「画像処理装置」に相当）は、自車両１（本発明の「車両」に相当）に搭載された単眼カメラ３（本発明の「車載カメラ」に相当）の路面領域を含む撮影画像ＩＭＧを処理して自車両１周辺の障害物（他車両１２）を認識するものであって、自車両１の走行ルートに沿った路面のデータベース画像ＤＢを生成する画像処理装置としての機能を備えるとともに、単眼カメラ３と、単眼カメラ３の撮影画像ＩＭＧや路面のデータベース画像ＤＢなどの種々のデータを記憶する記憶手段４と、自車両１の現在位置に関する情報を出力するＧＰＳ５（本発明の「位置情報取得手段」に相当）と、単眼カメラ３の撮影画像ＩＭＧを処理するマイクロコンピュータ構成のＥＣＵ６と、例えばインストルメントパネルなどに取付けられたＣＲＴ、液晶ディスプレイなどの走行モニタ７と、警報用のスピーカ８とを備えている。
【００１４】
単眼カメラ３は、自車両１の周辺を撮影するものであって、この実施形態では自車両１の前方の撮影が可能なモノクロあるいはカラー撮影が可能なカメラから成り、連続的に時々刻々と撮影した画像ＩＭＧの信号を出力する（図３参照）。また、図２に示すように、自車両１の前方の撮影を行なうため、単眼カメラ３は、自車両１の車内の前方のインストルメントパネルの上部位置に、上方に適当な角度でつけて前方を撮影することができるように設けられている。
【００１５】
記憶手段４は、各種メモリやハードディスクドライブなどを備え、単眼カメラ３から時々刻々と出力される撮影画像ＩＭＧに対してＥＣＵ６により種々の処理が施されることにより得られた各種データなどを格納する。
【００１６】
ＧＰＳ５は、受信したＧＰＳ信号に基づいて自車両１の現在位置を検出するものであって、この実施形態では、単眼カメラ３により撮影画像ＩＭＧが取得されたときの自車両１の現在位置に関する情報をＥＣＵ６に出力する。
【００１７】
ＥＣＵ６は、例えばイグニッションキーのオンにより、予め設定された路面のデータベース画像ＤＢを生成するためのプログラムや走行路の障害物認識のプログラムを実行することにより以下の各手段を備えている。
【００１８】
（１）背景画像取得手段６ａ
背景画像取得手段６ａは、単眼カメラ３により異なる時刻に撮影された、本発明の路面領域を背景画像としての複数フレームの撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）を取得する。例えば、図３（ａ１），（ａ２）に示すように、単眼カメラ３により時系列に撮影された撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）には、走行車線の自車両１の前方を先行車として走行する他車両１２が撮影されており、背景画像取得手段６ａはこれらの撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）を取得する。
【００１９】
なお、図３（ａ１）は、時刻ｔ１に単眼カメラ３が撮影した自車両１の前方の撮影画像ＩＭＧ（ｔ１）を示し、同図（ａ２）は、所定の時間が経過した時刻ｔ２において撮影された撮影画像ＩＭＧ（ｔ２）を示す。そして、単眼カメラ３により時系列に撮影された撮影画像ＩＭＧに関する種々のデータは記憶手段４に記憶される。
【００２０】
（２）位置情報取得手段６ｂ
位置情報取得手段６ｂは、単眼カメラ３の撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）がそれぞれ背景画像取得手段６ａにより取得されたとき、すなわち、撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）がそれぞれ撮影されたときの自車両１の位置情報を取得する。そして、位置情報取得手段６ｂにより取得された位置情報は、各撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）に対応付けられて記憶手段４に記憶される。
【００２１】
（３）射影変換手段６ｃ
射影変換手段６ｃは、図２に示すように、単眼カメラ３の撮影画像ＩＭＧを、自車両１の上方から俯瞰する下向き姿勢のカメラ視点の射影変換画像である上方視の画像ｔＩＭＧに変換するものであって、図３（ａ１），（ａ２）に示す、各フレームの撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）を、図３（ｂ１），（ｂ２）に示す、上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）に変換する。そして、射影変換手段６ｃによる上方視の画像ｔＩＭＧに関する種々のデータは記憶手段４に記憶される。
【００２２】
（４）生成手段６ｄ
生成手段６ｄは、位置情報取得手段６ｂの自車両１の位置情報に基づいて、各フレームの障害物を含まない上方視の画像ｔＩＭＧをつなぎあわせて、図４に示すような、路面領域が連続する路面のデータベース画像ＤＢを生成する。
【００２３】
ところで、図３（ａ１）に示すように、一のフレームの撮影画像ＩＭＧ（ｔ１）に先行車１２などの障害物や路面に投影された影などが含まれているときには、障害物や影などは常に同じ路面領域に存在するわけではないため、他のフレームの撮影画像ＩＭＧ（ｔ２）の同じ路面領域の全く同じ位置に障害物や影などが含まれていない蓋然性が高く、各フレームの撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）の同じ路面領域の画像に差異が生じる。
【００２４】
しかしながら、例えば、一のフレームの撮影画像ＩＭＧ（ｔ１）に道路標示が含まれていたとしても、道路標示などは常に路面領域の同じ位置に存在するため、各フレームの撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）の路面領域に障害物や影などが含まれていなければ、各フレームの撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）の同じ路面領域の画像は共通するものとなる。
【００２５】
そこで、この実施形態では、生成手段６ｄは、各フレームの上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）の同じ路面領域における共通する画像部分を障害物を含まない画像部分としてつなぎ合わせることで、障害物や影を含まない路面のデータベース画像ＤＢを生成する。
【００２６】
すなわち、この実施形態では、各時刻ｔ１，ｔ２における撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）は、図３（ｂ１），（ｂ２）に示す、上方視の画像ｔＩＭＧ（ｔ１）、ｔＩＭＧ（ｔ２）に射影変換手段６ｃにより射影変換される。生成手段６ｄは、自車速度および単眼カメラ３の撮影間隔に起因する上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）の位置ずれの位置合わせを行った後、画像ｔＩＭＧ（ｔ１）および画像ｔＩＭＧ（ｔ２）の差分、すなわち単眼カメラ３の撮影画像のフレーム間差分を取って差分画像ｄＩＭＧを導出する（図３（ｃ）参照）。
【００２７】
このとき、白線などの道路標示などが設けられただけの路面領域では差分が生じず、路面以外の部分には差分１１２ａが生じ、これにより生成手段６ｄは、差分１１２ａの集合体である差分集合体１１２から障害物候補１２ａを検出する。図３（ｃ）に示す例では、上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）中の他車両１２の部分が障害物候補１２ａとして検出される。
【００２８】
そして、生成手段６ｄは、各フレームの上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）から差分１１２ａが生じた部分を削除するとともに、差分１１２ａが生じなかった部分を同じ路面領域における共通する画像部分として、射影変換前の元の画像である各撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）が取得されたときの自車両１の位置に基づき、各フレームの上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）をつなぎ合わせて、図４に示す、路面領域が連続する路面のデータベース画像ＤＢを生成する。なお、図４に示す路面のデータベース画像ＤＢは、各時刻ｔ３〜ｔ５における撮影画像ＩＭＧ（ｔ３）〜ＩＭＧ（ｔ５）が射影変換された上方視の画像ｔＩＭＧ（ｔ３）〜ｔＩＭＧ（ｔ５）が、上記したように障害物が除去されて、さらにつなぎ合わされている。
【００２９】
また、この実施形態では、例えば通勤の際などに同じルートで自車両１が運転されることにより、異なる日に単眼カメラ３により撮影されて、同じ路面領域を含む複数フレームの撮影画像ＩＭＧが背景画像取得手段６ａにより取得されることがある。このとき、生成手段６ｄは、各フレームの撮影画像ＩＭＧが射影変換されて上記したように障害物が除去された複数フレームの上方視の画像ｔＩＭＧを、それぞれの画像ｔＩＭＧの同じ位置における各画素値を平均して路面のデータベース画像ＤＢにつなぎ合わせるように構成されている。また、データベース画像ＤＢに新たにつなぎ合わせる上方視の画像ｔＩＭＧに含まれる路面領域と同じ路面領域がデータベース画像ＤＢに含まれている場合には、生成手段６ｄは、新たにつなぎ合わせる上方視の画像ｔＩＭＧおよびデータベース画像ＤＢの同じ位置における各画素値を平均してつなぎ合わせることによりデータベース画像ＤＢを生成する。
【００３０】
このように構成すると、ほぼ同じ位置から撮影された複数の撮影画像ＩＭＧに基づく各上方視の画像ｔＩＭＧの同じ位置における画素値を平均化することで、生成手段６ｄにより生成される路面のデータベース画像ＤＢの精度を向上することができる。
【００３１】
（５）認識手段６ｅ
認識手段６ｅは、単眼カメラ３の撮影画像ＩＭＧが射影変換された上方視の画像ｔＩＭＧと、生成手段６ｄにより生成されて記憶手段４に格納された障害物が存在しない路面のデータベース画像ＤＢとの異同に基づいて、単眼カメラ３の撮影画像ＩＭＧに障害物が含まれているか、含まれていないかを認識する。
【００３２】
例えば、単眼カメラ３の撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）が射影変換された上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）と（図３参照）、図４に示す路面のデータベース画像ＤＢ中の各画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）が含む路面領域と同じ部分との間の異同の有無が、例えば差分を取ることにより検出されて、これにより、他車両１２が障害物として認識手段６ｅにより認識される。
【００３３】
また、認識された障害物（他車両１２）の各フレームの上方視の画像ｔＩＭＧ内での相対的な位置が比較されることにより、障害物の動き、すなわち、自車両１に近づくものであるのか、自車両１から離れるものであるのかなどが周知の手法により認識手段６ｅにより認識される。なお、単眼カメラ３の撮影画像ＩＭＧに基づく上方視の画像ｔＩＭＧと、データベース画像ＤＢとの比較は、位置情報取得手段６ｂにより取得された自車両１の位置情報に基づいて行われる。
【００３４】
（６）報知手段６ｆ
報知手段６ｆは、認識手段６ｅにより監視される、自車両１と障害物（他車両１２）との距離の変化に基づき、例えば走行モニタ７に表示中のカーナビゲーション用の地図に警告表示を重畳して表示したりして、障害物の存在を視覚的にドライバに報知する。また、スピーカ８から、検出結果の音声メッセージ、警告音を発生して障害物の存在を聴覚的にドライバに報知する。これらの視覚的または聴覚的なドライバに対する報知により、ドライバの運転支援を行う。
【００３５】
２．動作
次に、上記したように構成された障害物認識装置２の動作について図５および図６を参照して説明する。なお、この実施形態では、図３に示すように、走行車線の自車両１の前方を先行車として他車両１２が走行している状態を例に挙げて説明する。
【００３６】
＜データベース画像生成処理＞
障害物認識装置２による障害物の認識処理が行われる際に使用される路面のデータベース画像ＤＢを生成する処理について図５を参照して説明する。まず、自車両１のイグニッションキーのオンにより単眼カメラ３による撮影が開始されると、図３（ａ１），（ａ２）に示すような、路面領域を含む本発明の背景画像としての自車両１の前方の撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）の信号が背景画像取得手段６ａにより時々刻々とＥＣＵ６に取込まれ（ステップＳ１）、各撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）が取得（撮影）されたときの自車両１の位置情報が位置情報取得手段６ｂにより取得される（ステップ２）。そして、図３（ｂ１），（ｂ２）に示すように、取込まれた各撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）が上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）に射影変換手段６ｃにより射影変換される（ステップＳ３）。
【００３７】
次に、各フレームの上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）の同じ路面領域の共通する画像部分が、障害物を含まない画像部分としてつなぎ合わされて、図４に示す、路面領域が連続する路面のデータベース画像ＤＢが生成手段６ｄにより生成されて（ステップＳ４）、生成されたデータベース画像ＤＢが記憶手段４に格納される（ステップＳ５）。そして、ステップＳ１〜ステップＳ５の処理が自車両１の走行中の単眼カメラ３の撮影画像ＩＭＧと、各撮影画像ＩＭＧが撮影されたときの自車両１の位置情報とに基づいて繰返し実行されることにより、特に通勤や通学など、日常生活において自車両１を使用することの多い走行ルートを主とする一枚の路面のデータベース画像ＤＢが生成される。
【００３８】
＜障害物認識処理＞
次に、上記したデータベース画像生成処理により生成された路面のデータベース画像ＤＢに基づく障害物認識処理について図６を参照して説明する。なお、記憶手段４には、生成手段６ｄにより生成された路面のデータベース画像ＤＢが格納されているものとする。
【００３９】
まず、自車両１のイグニッションキーのオンにより単眼カメラ３による撮影が開始されると、図３（ａ１），（ａ２）に示すような、自車両１の前方の撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）の信号が背景画像取得手段６ａにより時々刻々とＥＣＵ６に取込まれ（ステップＳ１１）、各撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）が取得（撮影）されたときの自車両１の位置情報が位置情報取得手段６ｂにより取得される（ステップ１２）。そして、図３（ｂ１），（ｂ２）に示すように、取込まれた各撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）が上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）に射影変換手段６ｃにより射影変換される（ステップＳ１３）。
【００４０】
次に、各上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）が取得（撮影）された位置に基づいて、各上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）と、データベース画像ＤＢ中の各画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）が含む路面領域と同じ部分との間の異同が検出される。そして、画像に異なる部分があれば障害物が存在すると認識手段６ｅにより認識されて、画像に異なる部分が無ければ障害物が存在しないと認識手段６ｅにより認識される（ステップＳ１４）。また、各フレームの上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）内での障害物の相対的な位置が比較されることにより、障害物の動きが認識手段６ｅにより監視されて、障害物（他車両１２）が自車両１に異常接近するものであれば、走行モニタ７による警告表示が行われたり、スピーカ８から音声メッセージや警報音が出力されたりすることにより、障害物が存在することがドライバに報知手段６ｆにより報知される（ステップＳ１５）。すなわち、この実施形態では、ＥＣＵ６がプログラムを実行することにより備える機能により、他車両１２が自車両１に異常接近すると判断されれば、報知手段６ｆによる報知が行われる。
【００４１】
以上のように、この実施形態によれば、路面領域を含む背景画像としての単眼カメラ３の撮影画像ＩＭＧが背景画像取得手段６ａにより取得されたときの自車両１の位置情報が位置情報取得手段６ｂにより取得され、各フレームの撮影画像ＩＭＧ（背景画像）が射影変換手段６ｃにより、自車両１の上方から俯瞰する下向き姿勢の仮想的なカメラ視点の射影変換画像である上方視の画像ｔＩＭＧに変換される。そして、位置情報取得手段６ａの自車両１の位置情報に基づいて、生成手段６ｄにより、各フレームの障害物を含まない上方視の画像ｔＩＭＧがつなぎ合わされて、路面領域が連続する路面のデータベース画像ＤＢが生成される。
【００４２】
このとき、各フレームの撮影画像ＩＭＧが射影変換手段６ｃにより射影変換された上方視の画像ｔＩＭＧが生成手段６ｄによりつなぎ合わされるが、各フレームの上方視の画像ｔＩＭＧはカメラ視点が一致しているため、各フレームの上方視の画像ｔＩＭＧを路面領域が連続するように容易につなぎ合わせることができ、生成される路面のデータベース画像ＤＢの精度を向上することができる。また、走行中の自車両１の単眼カメラ３の撮影画像ＩＭＢに基づいて路面のデータベース画像ＤＢを生成することができるため、例えば通勤の際に単眼カメラ３により撮影された撮影画像ＩＭＧ（背景画像）から自車両１の走行ルートに沿った路面のデータベース画像ＤＢを生成することができる。
【００４３】
また、この実施形態によれば、各フレームの撮影画像ＩＭＧの同じ路面領域における共通する画像部分が、障害物を含まない画像部分として生成手段によりつなぎ合わされて路面のデータベース画像ＤＢが生成される。したがって、各フレームの上方視の画像ｔＩＭＧの同じ路面領域における共通する画像部分を障害物を含まない画像部分としてつなぎ合わせることで、単眼カメラ３の撮影画像ＩＭＧに障害物や影などが含まれていたとしても、障害物や影などが除去された状態で上方視の画像ｔＩＭＧがつなぎ合わされるため、障害物や影を含まない路面のデータベース画像ＤＢを生成することができる。
【００４４】
また、この実施形態では、カメラ視点が一致する上方視の画像ｔＩＭＧがつなぎ合わされることにより一枚の路面のデータベース画像ＤＢが生成されるため、射影変換されていない単眼カメラ３の複数フレームの撮影画像ＩＭＧからなる従来のデータベース画像と比較すると、この実施形態のデータベース画像ＤＢでは同じ路面領域が重複することがないため、データベース画像ＤＢのデータ容量を従来のものと比べて縮小することができる。
【００４５】
また、複数フレームの撮影画像から成る従来のデータベース画像を用いた装置では、車載カメラの撮影画像と、データベース画像を構成する複数フレームの撮影画像のうち、車載カメラの撮影画像が含む路面領域と同じ路面領域を含むフレームの撮影画像との２つの画像を射影変換し、位置合わせを行った後に差分を取ることにより障害物の検出が行われていた。一方、この実施形態では、上方視の画像ｔＩＭＧがつなぎ合わされることによる路面のデータベース画像ＤＢと、単眼カメラ３の撮影画像ＩＭＧが射影変換された上方視の画像ｔＩＭＧとの間の異同を検出することにより認識手段６ｅによる障害物の認識が行われるため、単眼カメラ３の撮影画像ＩＭＧのみを射影変換するだけで２つの画像の差分を取ることができ、これにより、単眼カメラ３の撮影画像ＩＭＧ内の障害物の認識を行えるため、障害物を認識する処理時間の短縮を図ることができる。
【００４６】
また、この実施形態によれば、上方視の画像ｔＩＭＧがつなぎ合わされて一枚の路面のデータベース画像ＤＢが生成されているため、障害物を認識する際に、撮影画像ＩＭＧが単眼カメラ３により撮影されたときの自車両１のＧＰＳ５（位置情報取得手段６ｂ）による位置情報に基づいて、撮影画像ＩＭＧが射影変換された上方視の画像ｔＩＭＧに含まれる路面領域と同じ路面領域を、路面のデータベース画像ＤＢ内から容易に同定することができ、２つの画像間の異同を検出することによる障害物認識処理を簡単に行うことができる。
【００４７】
また、この実施形態によれば、障害物認識用の単眼カメラ３を用いて路面のデータベース画像ＤＢを生成することができるため、データベース画像ＤＢ生成用のカメラを自車両１に別途搭載する必要がなくコストダウンを図ることができる。
【００４８】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、路面のデータベース画像ＤＢ生成用の車載カメラを自車両１にさらに設けてもよい。また、障害物認識用の単眼カメラ３を、後方を撮影可能に自車両１の後部に取付けてもよい。このように構成すると、自車両１の後方から異常接近する他車両が存在するかどうかを監視することができる。
【００４９】
また、本発明は種々の車両のデータベース画像ＤＢを生成するための画像処理に適用することができる。
【符号の説明】
【００５０】
１ 自車両（車両）
２ 障害物認識装置（画像処理装置）
３ 単眼カメラ（車載カメラ）
５ ＧＰＳ（位置情報取得手段）
６ａ 背景画像取得手段
６ｂ 位置情報取得手段
６ｃ 射影変換手段
６ｄ 生成手段
１２ 他車両（障害物）
ＩＭＧ 撮影画像（背景画像）
ｔＩＭＧ 上方視の画像（射影変換画像）
ＤＢ 路面のデータベース画像
【技術分野】
【０００１】
この発明は、車載カメラの撮影画像を処理して路面のデータベース画像を生成する技術に関する。
【背景技術】
【０００２】
従来、車載カメラの撮影画像と予め設定された背景画像との間の差分画像に基づいて障害物を認識する技術が知られている。例えば、特許文献１に記載の技術では、フレーム単位で連続的に入力される車載カメラの撮影画像と予め設定された背景画像との間の差分画像である背景差分画像が２値化されて、障害物が存在することにより背景画像に対して変化のある対象領域と、障害物が存在しないことにより背景画像に対して変化のない背景領域とからなる２値化画像がフレーム毎に生成される。そして、この２値化画像がフレーム間で比較されることにより障害物の移動量などが認識される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−５９２５２号公報（段落［００１２］〜［００１９］，［００３５］，［００４２］，［００４３］、図７など）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、通勤などにより、車両はほぼ決まった走行ルートで運転されることが多いため、少なくともその走行ルートの風景が背景画像として設定されていれば、走行ルートの路面領域の障害物を容易に認識できると考えられる。しかしながら、上記した従来の技術では、背景画像の具体的な設定方法については詳細には述べられておらず、技術の改善が求められていた。
【０００５】
本発明は、車両の走行ルートに沿った路面のデータベース画像を生成することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記した目的を達成するために、本発明の画像処理装置は、車両の周辺を撮影する車載カメラと、前記車載カメラの撮影画像であって路面領域を含む背景画像を取得する背景画像取得手段と、前記背景画像が取得されたときの前記車両の位置情報を取得する位置情報取得手段と、各フレームの前記背景画像を、前記車両の上方から俯瞰する下向き姿勢の仮想的なカメラ視点の射影変換画像に変換する射影変換手段と、前記位置情報取得手段の前記車両の位置情報に基づいて、前記各フレームの障害物を含まない射影変換画像をつなぎ合わせ、前記路面領域が連続する路面のデータベース画像を生成する生成手段とを備えたことを特徴としている（請求項１）。
【０００７】
また、請求項１に記載の画像処理装置において、前記生成手段は、前記各フレームの射影変換画像の同じ路面領域における共通する画像部分を、障害物を含まない画像部分としてつなぎ合わせて前記データベース画像を生成するようにしてもよい（請求項２）。
【発明の効果】
【０００８】
請求項１に記載の発明によれば、車載カメラの撮影画像であって路面領域を含む背景画像が背景画像取得手段により取得されたときの車両の位置情報が位置情報取得手段により取得され、各フレームの背景画像が射影変換手段により、車両の上方から俯瞰する下向き姿勢の仮想的なカメラ視点の射影変換画像に変換される。そして、位置情報取得手段の車両の位置情報に基づいて、生成手段により、各フレームの障害物を含まない射影変換画像がつなぎ合わされて、路面領域が連続する路面のデータベース画像が生成される。このとき、各フレームの背景画像が射影変換手段により射影変換された射影変換画像が生成手段によりつなぎ合わされるが、各フレームの射影変換画像はカメラ視点が一致しているため、各フレームの射影変換画像を路面領域が連続するように容易につなぎ合わせることができ、生成される路面のデータベース画像の精度を向上することができる。また、走行中の車両の車載カメラの撮影画像に基づいて路面のデータベース画像を生成することができるため、例えば通勤の際の車載カメラによる背景画像から車両の走行ルートに沿った路面のデータベース画像を生成することができる。
【０００９】
請求項２に記載の発明によれば、各フレームの射影変換画像の同じ路面領域における共通する画像部分が、障害物を含まない画像部分として生成手段によりつなぎ合わされて路面のデータベース画像が生成される。例えば、一のフレームの背景画像に停車車両や先行車などの障害物、路面に投影された影などが含まれているときには、障害物や影などは常に同じ路面領域に存在するわけではないため、他のフレームの背景画像の同じ路面領域には障害物や影などが含まれていない蓋然性が高く、各フレームの背景画像の同じ路面領域の画像には差異が生じる。しかしながら、例えば、一のフレームの背景画像に道路標示が含まれていたとしても、道路標示などは常に同じ路面領域に存在するものであるため、各フレームの背景画像の同じ路面領域に障害物や影などが含まれていなければ、各フレームの背景画像の同じ路面領域の画像は共通するものとなる。したがって、各フレームの射影変換画像の同じ路面領域における共通する画像部分を障害物を含まない画像部分としてつなぎ合わせることで、車載カメラの背景画像に障害物や影などが含まれていたとしても、障害物や影などが除去された状態で射影変換画像がつなぎ合わされるため、障害物や影を含まない路面のデータベース画像を生成することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の画像処理装置としての機能を備える障害物認識装置の一実施形態のブロック図である。
【図２】図１の単眼カメラの構成の一例を示す図である。
【図３】背景画像の一例である。
【図４】路面のデータベース画像の一例である。
【図５】データベース画像生成処理を示すフローチャートである。
【図６】障害物認識処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
本発明の一実施形態について、図１〜図６を参照して説明する。
【００１２】
図１は本発明の画像処理装置としての機能を備える障害物認識装置２の一実施形態のブロック図である。図２は図１の単眼カメラ３の構成の一例を示す図である。図３は本発明の路面領域を含む背景画像としての単眼カメラ３の撮影画像ＩＭＧの一例を示し、（ａ１），（ａ２）はそれぞれ異なる時刻に撮影された撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）、（ｂ１），（ｂ２）はそれぞれ撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）を上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）に射影変換したもの、（ｃ）は画像ｔＩＭＧ（ｔ１）および画像ｔＩＭＧ（ｔ２）の差分画像ｄＩＭＧである。図４は各フレームの障害物を含まない上方視の画像ｔＩＭＧをつなぎ合わせることによる路面のデータベース画像ＤＢの一例である。図５はデータベース画像生成処理を示すフローチャートである。図６は障害物認識処理を示すフローチャートである。
【００１３】
１．構成
図１に示す障害物認識装置２（本発明の「画像処理装置」に相当）は、自車両１（本発明の「車両」に相当）に搭載された単眼カメラ３（本発明の「車載カメラ」に相当）の路面領域を含む撮影画像ＩＭＧを処理して自車両１周辺の障害物（他車両１２）を認識するものであって、自車両１の走行ルートに沿った路面のデータベース画像ＤＢを生成する画像処理装置としての機能を備えるとともに、単眼カメラ３と、単眼カメラ３の撮影画像ＩＭＧや路面のデータベース画像ＤＢなどの種々のデータを記憶する記憶手段４と、自車両１の現在位置に関する情報を出力するＧＰＳ５（本発明の「位置情報取得手段」に相当）と、単眼カメラ３の撮影画像ＩＭＧを処理するマイクロコンピュータ構成のＥＣＵ６と、例えばインストルメントパネルなどに取付けられたＣＲＴ、液晶ディスプレイなどの走行モニタ７と、警報用のスピーカ８とを備えている。
【００１４】
単眼カメラ３は、自車両１の周辺を撮影するものであって、この実施形態では自車両１の前方の撮影が可能なモノクロあるいはカラー撮影が可能なカメラから成り、連続的に時々刻々と撮影した画像ＩＭＧの信号を出力する（図３参照）。また、図２に示すように、自車両１の前方の撮影を行なうため、単眼カメラ３は、自車両１の車内の前方のインストルメントパネルの上部位置に、上方に適当な角度でつけて前方を撮影することができるように設けられている。
【００１５】
記憶手段４は、各種メモリやハードディスクドライブなどを備え、単眼カメラ３から時々刻々と出力される撮影画像ＩＭＧに対してＥＣＵ６により種々の処理が施されることにより得られた各種データなどを格納する。
【００１６】
ＧＰＳ５は、受信したＧＰＳ信号に基づいて自車両１の現在位置を検出するものであって、この実施形態では、単眼カメラ３により撮影画像ＩＭＧが取得されたときの自車両１の現在位置に関する情報をＥＣＵ６に出力する。
【００１７】
ＥＣＵ６は、例えばイグニッションキーのオンにより、予め設定された路面のデータベース画像ＤＢを生成するためのプログラムや走行路の障害物認識のプログラムを実行することにより以下の各手段を備えている。
【００１８】
（１）背景画像取得手段６ａ
背景画像取得手段６ａは、単眼カメラ３により異なる時刻に撮影された、本発明の路面領域を背景画像としての複数フレームの撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）を取得する。例えば、図３（ａ１），（ａ２）に示すように、単眼カメラ３により時系列に撮影された撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）には、走行車線の自車両１の前方を先行車として走行する他車両１２が撮影されており、背景画像取得手段６ａはこれらの撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）を取得する。
【００１９】
なお、図３（ａ１）は、時刻ｔ１に単眼カメラ３が撮影した自車両１の前方の撮影画像ＩＭＧ（ｔ１）を示し、同図（ａ２）は、所定の時間が経過した時刻ｔ２において撮影された撮影画像ＩＭＧ（ｔ２）を示す。そして、単眼カメラ３により時系列に撮影された撮影画像ＩＭＧに関する種々のデータは記憶手段４に記憶される。
【００２０】
（２）位置情報取得手段６ｂ
位置情報取得手段６ｂは、単眼カメラ３の撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）がそれぞれ背景画像取得手段６ａにより取得されたとき、すなわち、撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）がそれぞれ撮影されたときの自車両１の位置情報を取得する。そして、位置情報取得手段６ｂにより取得された位置情報は、各撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）に対応付けられて記憶手段４に記憶される。
【００２１】
（３）射影変換手段６ｃ
射影変換手段６ｃは、図２に示すように、単眼カメラ３の撮影画像ＩＭＧを、自車両１の上方から俯瞰する下向き姿勢のカメラ視点の射影変換画像である上方視の画像ｔＩＭＧに変換するものであって、図３（ａ１），（ａ２）に示す、各フレームの撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）を、図３（ｂ１），（ｂ２）に示す、上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）に変換する。そして、射影変換手段６ｃによる上方視の画像ｔＩＭＧに関する種々のデータは記憶手段４に記憶される。
【００２２】
（４）生成手段６ｄ
生成手段６ｄは、位置情報取得手段６ｂの自車両１の位置情報に基づいて、各フレームの障害物を含まない上方視の画像ｔＩＭＧをつなぎあわせて、図４に示すような、路面領域が連続する路面のデータベース画像ＤＢを生成する。
【００２３】
ところで、図３（ａ１）に示すように、一のフレームの撮影画像ＩＭＧ（ｔ１）に先行車１２などの障害物や路面に投影された影などが含まれているときには、障害物や影などは常に同じ路面領域に存在するわけではないため、他のフレームの撮影画像ＩＭＧ（ｔ２）の同じ路面領域の全く同じ位置に障害物や影などが含まれていない蓋然性が高く、各フレームの撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）の同じ路面領域の画像に差異が生じる。
【００２４】
しかしながら、例えば、一のフレームの撮影画像ＩＭＧ（ｔ１）に道路標示が含まれていたとしても、道路標示などは常に路面領域の同じ位置に存在するため、各フレームの撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）の路面領域に障害物や影などが含まれていなければ、各フレームの撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）の同じ路面領域の画像は共通するものとなる。
【００２５】
そこで、この実施形態では、生成手段６ｄは、各フレームの上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）の同じ路面領域における共通する画像部分を障害物を含まない画像部分としてつなぎ合わせることで、障害物や影を含まない路面のデータベース画像ＤＢを生成する。
【００２６】
すなわち、この実施形態では、各時刻ｔ１，ｔ２における撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）は、図３（ｂ１），（ｂ２）に示す、上方視の画像ｔＩＭＧ（ｔ１）、ｔＩＭＧ（ｔ２）に射影変換手段６ｃにより射影変換される。生成手段６ｄは、自車速度および単眼カメラ３の撮影間隔に起因する上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）の位置ずれの位置合わせを行った後、画像ｔＩＭＧ（ｔ１）および画像ｔＩＭＧ（ｔ２）の差分、すなわち単眼カメラ３の撮影画像のフレーム間差分を取って差分画像ｄＩＭＧを導出する（図３（ｃ）参照）。
【００２７】
このとき、白線などの道路標示などが設けられただけの路面領域では差分が生じず、路面以外の部分には差分１１２ａが生じ、これにより生成手段６ｄは、差分１１２ａの集合体である差分集合体１１２から障害物候補１２ａを検出する。図３（ｃ）に示す例では、上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）中の他車両１２の部分が障害物候補１２ａとして検出される。
【００２８】
そして、生成手段６ｄは、各フレームの上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）から差分１１２ａが生じた部分を削除するとともに、差分１１２ａが生じなかった部分を同じ路面領域における共通する画像部分として、射影変換前の元の画像である各撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）が取得されたときの自車両１の位置に基づき、各フレームの上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）をつなぎ合わせて、図４に示す、路面領域が連続する路面のデータベース画像ＤＢを生成する。なお、図４に示す路面のデータベース画像ＤＢは、各時刻ｔ３〜ｔ５における撮影画像ＩＭＧ（ｔ３）〜ＩＭＧ（ｔ５）が射影変換された上方視の画像ｔＩＭＧ（ｔ３）〜ｔＩＭＧ（ｔ５）が、上記したように障害物が除去されて、さらにつなぎ合わされている。
【００２９】
また、この実施形態では、例えば通勤の際などに同じルートで自車両１が運転されることにより、異なる日に単眼カメラ３により撮影されて、同じ路面領域を含む複数フレームの撮影画像ＩＭＧが背景画像取得手段６ａにより取得されることがある。このとき、生成手段６ｄは、各フレームの撮影画像ＩＭＧが射影変換されて上記したように障害物が除去された複数フレームの上方視の画像ｔＩＭＧを、それぞれの画像ｔＩＭＧの同じ位置における各画素値を平均して路面のデータベース画像ＤＢにつなぎ合わせるように構成されている。また、データベース画像ＤＢに新たにつなぎ合わせる上方視の画像ｔＩＭＧに含まれる路面領域と同じ路面領域がデータベース画像ＤＢに含まれている場合には、生成手段６ｄは、新たにつなぎ合わせる上方視の画像ｔＩＭＧおよびデータベース画像ＤＢの同じ位置における各画素値を平均してつなぎ合わせることによりデータベース画像ＤＢを生成する。
【００３０】
このように構成すると、ほぼ同じ位置から撮影された複数の撮影画像ＩＭＧに基づく各上方視の画像ｔＩＭＧの同じ位置における画素値を平均化することで、生成手段６ｄにより生成される路面のデータベース画像ＤＢの精度を向上することができる。
【００３１】
（５）認識手段６ｅ
認識手段６ｅは、単眼カメラ３の撮影画像ＩＭＧが射影変換された上方視の画像ｔＩＭＧと、生成手段６ｄにより生成されて記憶手段４に格納された障害物が存在しない路面のデータベース画像ＤＢとの異同に基づいて、単眼カメラ３の撮影画像ＩＭＧに障害物が含まれているか、含まれていないかを認識する。
【００３２】
例えば、単眼カメラ３の撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）が射影変換された上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）と（図３参照）、図４に示す路面のデータベース画像ＤＢ中の各画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）が含む路面領域と同じ部分との間の異同の有無が、例えば差分を取ることにより検出されて、これにより、他車両１２が障害物として認識手段６ｅにより認識される。
【００３３】
また、認識された障害物（他車両１２）の各フレームの上方視の画像ｔＩＭＧ内での相対的な位置が比較されることにより、障害物の動き、すなわち、自車両１に近づくものであるのか、自車両１から離れるものであるのかなどが周知の手法により認識手段６ｅにより認識される。なお、単眼カメラ３の撮影画像ＩＭＧに基づく上方視の画像ｔＩＭＧと、データベース画像ＤＢとの比較は、位置情報取得手段６ｂにより取得された自車両１の位置情報に基づいて行われる。
【００３４】
（６）報知手段６ｆ
報知手段６ｆは、認識手段６ｅにより監視される、自車両１と障害物（他車両１２）との距離の変化に基づき、例えば走行モニタ７に表示中のカーナビゲーション用の地図に警告表示を重畳して表示したりして、障害物の存在を視覚的にドライバに報知する。また、スピーカ８から、検出結果の音声メッセージ、警告音を発生して障害物の存在を聴覚的にドライバに報知する。これらの視覚的または聴覚的なドライバに対する報知により、ドライバの運転支援を行う。
【００３５】
２．動作
次に、上記したように構成された障害物認識装置２の動作について図５および図６を参照して説明する。なお、この実施形態では、図３に示すように、走行車線の自車両１の前方を先行車として他車両１２が走行している状態を例に挙げて説明する。
【００３６】
＜データベース画像生成処理＞
障害物認識装置２による障害物の認識処理が行われる際に使用される路面のデータベース画像ＤＢを生成する処理について図５を参照して説明する。まず、自車両１のイグニッションキーのオンにより単眼カメラ３による撮影が開始されると、図３（ａ１），（ａ２）に示すような、路面領域を含む本発明の背景画像としての自車両１の前方の撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）の信号が背景画像取得手段６ａにより時々刻々とＥＣＵ６に取込まれ（ステップＳ１）、各撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）が取得（撮影）されたときの自車両１の位置情報が位置情報取得手段６ｂにより取得される（ステップ２）。そして、図３（ｂ１），（ｂ２）に示すように、取込まれた各撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）が上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）に射影変換手段６ｃにより射影変換される（ステップＳ３）。
【００３７】
次に、各フレームの上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）の同じ路面領域の共通する画像部分が、障害物を含まない画像部分としてつなぎ合わされて、図４に示す、路面領域が連続する路面のデータベース画像ＤＢが生成手段６ｄにより生成されて（ステップＳ４）、生成されたデータベース画像ＤＢが記憶手段４に格納される（ステップＳ５）。そして、ステップＳ１〜ステップＳ５の処理が自車両１の走行中の単眼カメラ３の撮影画像ＩＭＧと、各撮影画像ＩＭＧが撮影されたときの自車両１の位置情報とに基づいて繰返し実行されることにより、特に通勤や通学など、日常生活において自車両１を使用することの多い走行ルートを主とする一枚の路面のデータベース画像ＤＢが生成される。
【００３８】
＜障害物認識処理＞
次に、上記したデータベース画像生成処理により生成された路面のデータベース画像ＤＢに基づく障害物認識処理について図６を参照して説明する。なお、記憶手段４には、生成手段６ｄにより生成された路面のデータベース画像ＤＢが格納されているものとする。
【００３９】
まず、自車両１のイグニッションキーのオンにより単眼カメラ３による撮影が開始されると、図３（ａ１），（ａ２）に示すような、自車両１の前方の撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）の信号が背景画像取得手段６ａにより時々刻々とＥＣＵ６に取込まれ（ステップＳ１１）、各撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）が取得（撮影）されたときの自車両１の位置情報が位置情報取得手段６ｂにより取得される（ステップ１２）。そして、図３（ｂ１），（ｂ２）に示すように、取込まれた各撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）が上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）に射影変換手段６ｃにより射影変換される（ステップＳ１３）。
【００４０】
次に、各上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）が取得（撮影）された位置に基づいて、各上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）と、データベース画像ＤＢ中の各画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）が含む路面領域と同じ部分との間の異同が検出される。そして、画像に異なる部分があれば障害物が存在すると認識手段６ｅにより認識されて、画像に異なる部分が無ければ障害物が存在しないと認識手段６ｅにより認識される（ステップＳ１４）。また、各フレームの上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）内での障害物の相対的な位置が比較されることにより、障害物の動きが認識手段６ｅにより監視されて、障害物（他車両１２）が自車両１に異常接近するものであれば、走行モニタ７による警告表示が行われたり、スピーカ８から音声メッセージや警報音が出力されたりすることにより、障害物が存在することがドライバに報知手段６ｆにより報知される（ステップＳ１５）。すなわち、この実施形態では、ＥＣＵ６がプログラムを実行することにより備える機能により、他車両１２が自車両１に異常接近すると判断されれば、報知手段６ｆによる報知が行われる。
【００４１】
以上のように、この実施形態によれば、路面領域を含む背景画像としての単眼カメラ３の撮影画像ＩＭＧが背景画像取得手段６ａにより取得されたときの自車両１の位置情報が位置情報取得手段６ｂにより取得され、各フレームの撮影画像ＩＭＧ（背景画像）が射影変換手段６ｃにより、自車両１の上方から俯瞰する下向き姿勢の仮想的なカメラ視点の射影変換画像である上方視の画像ｔＩＭＧに変換される。そして、位置情報取得手段６ａの自車両１の位置情報に基づいて、生成手段６ｄにより、各フレームの障害物を含まない上方視の画像ｔＩＭＧがつなぎ合わされて、路面領域が連続する路面のデータベース画像ＤＢが生成される。
【００４２】
このとき、各フレームの撮影画像ＩＭＧが射影変換手段６ｃにより射影変換された上方視の画像ｔＩＭＧが生成手段６ｄによりつなぎ合わされるが、各フレームの上方視の画像ｔＩＭＧはカメラ視点が一致しているため、各フレームの上方視の画像ｔＩＭＧを路面領域が連続するように容易につなぎ合わせることができ、生成される路面のデータベース画像ＤＢの精度を向上することができる。また、走行中の自車両１の単眼カメラ３の撮影画像ＩＭＢに基づいて路面のデータベース画像ＤＢを生成することができるため、例えば通勤の際に単眼カメラ３により撮影された撮影画像ＩＭＧ（背景画像）から自車両１の走行ルートに沿った路面のデータベース画像ＤＢを生成することができる。
【００４３】
また、この実施形態によれば、各フレームの撮影画像ＩＭＧの同じ路面領域における共通する画像部分が、障害物を含まない画像部分として生成手段によりつなぎ合わされて路面のデータベース画像ＤＢが生成される。したがって、各フレームの上方視の画像ｔＩＭＧの同じ路面領域における共通する画像部分を障害物を含まない画像部分としてつなぎ合わせることで、単眼カメラ３の撮影画像ＩＭＧに障害物や影などが含まれていたとしても、障害物や影などが除去された状態で上方視の画像ｔＩＭＧがつなぎ合わされるため、障害物や影を含まない路面のデータベース画像ＤＢを生成することができる。
【００４４】
また、この実施形態では、カメラ視点が一致する上方視の画像ｔＩＭＧがつなぎ合わされることにより一枚の路面のデータベース画像ＤＢが生成されるため、射影変換されていない単眼カメラ３の複数フレームの撮影画像ＩＭＧからなる従来のデータベース画像と比較すると、この実施形態のデータベース画像ＤＢでは同じ路面領域が重複することがないため、データベース画像ＤＢのデータ容量を従来のものと比べて縮小することができる。
【００４５】
また、複数フレームの撮影画像から成る従来のデータベース画像を用いた装置では、車載カメラの撮影画像と、データベース画像を構成する複数フレームの撮影画像のうち、車載カメラの撮影画像が含む路面領域と同じ路面領域を含むフレームの撮影画像との２つの画像を射影変換し、位置合わせを行った後に差分を取ることにより障害物の検出が行われていた。一方、この実施形態では、上方視の画像ｔＩＭＧがつなぎ合わされることによる路面のデータベース画像ＤＢと、単眼カメラ３の撮影画像ＩＭＧが射影変換された上方視の画像ｔＩＭＧとの間の異同を検出することにより認識手段６ｅによる障害物の認識が行われるため、単眼カメラ３の撮影画像ＩＭＧのみを射影変換するだけで２つの画像の差分を取ることができ、これにより、単眼カメラ３の撮影画像ＩＭＧ内の障害物の認識を行えるため、障害物を認識する処理時間の短縮を図ることができる。
【００４６】
また、この実施形態によれば、上方視の画像ｔＩＭＧがつなぎ合わされて一枚の路面のデータベース画像ＤＢが生成されているため、障害物を認識する際に、撮影画像ＩＭＧが単眼カメラ３により撮影されたときの自車両１のＧＰＳ５（位置情報取得手段６ｂ）による位置情報に基づいて、撮影画像ＩＭＧが射影変換された上方視の画像ｔＩＭＧに含まれる路面領域と同じ路面領域を、路面のデータベース画像ＤＢ内から容易に同定することができ、２つの画像間の異同を検出することによる障害物認識処理を簡単に行うことができる。
【００４７】
また、この実施形態によれば、障害物認識用の単眼カメラ３を用いて路面のデータベース画像ＤＢを生成することができるため、データベース画像ＤＢ生成用のカメラを自車両１に別途搭載する必要がなくコストダウンを図ることができる。
【００４８】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、路面のデータベース画像ＤＢ生成用の車載カメラを自車両１にさらに設けてもよい。また、障害物認識用の単眼カメラ３を、後方を撮影可能に自車両１の後部に取付けてもよい。このように構成すると、自車両１の後方から異常接近する他車両が存在するかどうかを監視することができる。
【００４９】
また、本発明は種々の車両のデータベース画像ＤＢを生成するための画像処理に適用することができる。
【符号の説明】
【００５０】
１ 自車両（車両）
２ 障害物認識装置（画像処理装置）
３ 単眼カメラ（車載カメラ）
５ ＧＰＳ（位置情報取得手段）
６ａ 背景画像取得手段
６ｂ 位置情報取得手段
６ｃ 射影変換手段
６ｄ 生成手段
１２ 他車両（障害物）
ＩＭＧ 撮影画像（背景画像）
ｔＩＭＧ 上方視の画像（射影変換画像）
ＤＢ 路面のデータベース画像
【特許請求の範囲】
【請求項１】
車両の周辺を撮影する車載カメラと、
前記車載カメラの撮影画像であって路面領域を含む背景画像を取得する背景画像取得手段と、
前記背景画像が取得されたときの前記車両の位置情報を取得する位置情報取得手段と、
各フレームの前記背景画像を、前記車両の上方から俯瞰する下向き姿勢の仮想的なカメラ視点の射影変換画像に変換する射影変換手段と、
前記位置情報取得手段の前記車両の位置情報に基づいて、前記各フレームの障害物を含まない射影変換画像をつなぎ合わせ、前記路面領域が連続する路面のデータベース画像を生成する生成手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記生成手段は、
前記各フレームの射影変換画像の同じ路面領域における共通する画像部分を、障害物を含まない画像部分としてつなぎ合わせて前記データベース画像を生成する画像処理装置。
【請求項１】
車両の周辺を撮影する車載カメラと、
前記車載カメラの撮影画像であって路面領域を含む背景画像を取得する背景画像取得手段と、
前記背景画像が取得されたときの前記車両の位置情報を取得する位置情報取得手段と、
各フレームの前記背景画像を、前記車両の上方から俯瞰する下向き姿勢の仮想的なカメラ視点の射影変換画像に変換する射影変換手段と、
前記位置情報取得手段の前記車両の位置情報に基づいて、前記各フレームの障害物を含まない射影変換画像をつなぎ合わせ、前記路面領域が連続する路面のデータベース画像を生成する生成手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記生成手段は、
前記各フレームの射影変換画像の同じ路面領域における共通する画像部分を、障害物を含まない画像部分としてつなぎ合わせて前記データベース画像を生成する画像処理装置。
【図１】
【図２】
【図５】
【図６】
【図３】
【図４】
【図２】
【図５】
【図６】
【図３】
【図４】
【公開番号】特開２０１１−１１３３３９（Ｐ２０１１−１１３３３９Ａ）
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願番号】特願２００９−２６９６０７（Ｐ２００９−２６９６０７）
【出願日】平成２１年１１月２７日（２００９．１１．２７）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願日】平成２１年１１月２７日（２００９．１１．２７）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
[ Back to top ]