車両用画像処理装置
【課題】撮影画像が射影変換された上方視画像のオプティカルフローに基づいて上方視画像に含まれる道路と道路上の物体とを適切に区別して識別できる技術を提供する。
【解決手段】自車両１に搭載された単眼カメラ３が撮影した自車両１周囲の撮影画像が変換手段６ｂにより射影変換された上方視画像のオプティカルフローが算出手段６ｃにより算出される。そして、上方視画像に含まれる道路部分のオプティカルフローのフローベクトルの大きさはほぼ同じ大きさとなり、上方視画像に含まれる道路上の物体（他車両）のフローベクトルの大きさは物体の高さに応じて大きくなるため、撮影画像が射影変換された上方視画像のオプティカルフローのフローベクトルの大きさの時系列的な変化に基づいて、上方視画像に含まれる道路と道路上の物体とを識別手段６ｄにより適切に区別して識別できる。
【解決手段】自車両１に搭載された単眼カメラ３が撮影した自車両１周囲の撮影画像が変換手段６ｂにより射影変換された上方視画像のオプティカルフローが算出手段６ｃにより算出される。そして、上方視画像に含まれる道路部分のオプティカルフローのフローベクトルの大きさはほぼ同じ大きさとなり、上方視画像に含まれる道路上の物体（他車両）のフローベクトルの大きさは物体の高さに応じて大きくなるため、撮影画像が射影変換された上方視画像のオプティカルフローのフローベクトルの大きさの時系列的な変化に基づいて、上方視画像に含まれる道路と道路上の物体とを識別手段６ｄにより適切に区別して識別できる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両に搭載された撮像手段が撮影した撮影画像を処理することにより撮影画像に含まれる道路と道路上の物体とを区別して識別する技術に関する。
【背景技術】
【０００２】
車両に搭載された撮像手段により撮影された撮影画像に含まれる道路と道路上の物体とを識別する様々な手法が提案されており、例えば、撮影画像のオプティカルフローを算出し、算出されたオプティカルフローに基づいて撮影画像に含まれる道路上の静止立体物を識別する技術が知られている（例えば、特許文献１）。すなわち、車両に搭載された撮像手段により遠景撮像をし、撮像により得られた複数枚の画像から、この画像中におけるオプティカルフローを算出する一方、画像の全体が平面であると推定したときの平面のオプティカルフローを求め、画像中におけるオプティカルフローと、平面のオプティカルフローとを比較することにより、平面に対して静止している立体物を識別する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１１６５２７号公報（段落［００２３］〜［００２８］、図４〜６、要約書など）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記した従来技術では、道路上の立体物の上部側のオプティカルフローのフローベクトルと、前記上部側の背景画像となる遠方の平面のオプティカルフローのフローベクトルとはその大きさが異なるため、前記上部側と平面とを区別して識別することができる。ところが、道路上の立体物の下部側のオプティカルフローのフローベクトルと、前記下部側の背景画像となる立体物付近の平面のオプティカルフローのフローベクトルとはその大きさがほぼ同じであるため、前記下部側と平面とを適切に区別できないおそれがある。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、撮影画像が射影変換された上方視画像のオプティカルフローに基づいて上方視画像に含まれる道路と道路上の物体とを適切に区別して識別できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記した目的を達成するために、本願発明者らは種々の検討を繰返した結果、移動する車両から撮影した撮影画像が射影変換された上方視画像では、上方視画像に含まれる道路部分のオプティカルフローのフローベクトルの大きさはほぼ同じ大きさとなること、上方視画像に含まれる道路上の物体は上方に引き伸ばされた状態であるためそのオプティカルフローのフローベクトルの大きさは物体の高さに応じて大きくなることに着目して本発明を完成した。
【０００７】
本発明の車両用画像処理装置は、車両に搭載された撮像手段と、前記撮像手段が撮影した車両周囲の撮影画像を上方視画像に射影変換する変換手段と、前記上方視画像のオプティカルフローを算出する算出手段と、前記オプティカルフローのフローベクトルの大きさの時系列的な変化に基づいて、前記上方視画像に含まれる道路と道路上の物体とを区別して識別する識別手段とを備えることを特徴としている（請求項１）。
【発明の効果】
【０００８】
請求項１に記載の発明によれば、車両に搭載された撮像手段が撮影した車両周囲の撮影画像が変換手段により射影変換された上方視画像のオプティカルフローが算出手段により算出される。そして、上方視画像に含まれる道路部分のオプティカルフローのフローベクトルの大きさはほぼ同じ大きさとなり、上方視画像に含まれる道路上の物体のフローベクトルの大きさは物体の高さに応じて大きくなるため、撮影画像が射影変換された上方視画像のオプティカルフローのフローベクトルの大きさの時系列的な変化に基づいて、上方視画像に含まれる道路と道路上の物体とを識別手段により適切に区別して識別できる。
【図面の簡単な説明】
【０００９】
【図１】本発明の車両用画像処理装置の一実施形態のブロック図である。
【図２】単眼カメラの構成を示す図である。
【図３】上方視画像の一例である。
【図４】図１の処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
本発明の一実施形態について、図１〜図４を参照して説明する。
【００１１】
図１は本発明の車両用画像処理装置としての機能を備える挙動推定装置２の一実施形態のブロック図である。図２は単眼カメラ３の構成を示す図である。図３は上方視画像ｔＦの一例であって、（ａ）は時刻ｔ０，ｔ１のフレームにおける上方視画像ｔＦに基づくオプティカルフローおよび自車両１からの距離Ｚｒの位置のライン画像の各画素におけるフローベクトルの大きさを示すヒストグラムＨを示し、（ｂ）は時刻ｔ１，ｔ２のフレームにおける上方視画像ｔＦに基づくオプティカルフローおよび自車両１からの距離Ｚｒのライン画像の各画素におけるフローベクトルの大きさを示すヒストグラムＨを示し、（ｃ）は（ａ）および（ｂ）のヒストグラムＨの差分を示す。図４は図１の挙動推定装置２の処理の一例を示すフローチャートである。
【００１２】
１．構成
図１に示す本発明の車両用画像処理装置としての機能を備える挙動推定装置２は、自車両１に搭載された単眼カメラ３（本発明の「撮像手段」に相当）により撮影された撮影画像Ｆが射影変換された上方視画像ｔＦに含まれる道路１５部分のオプティカルフローの時系列的な変化に基づいて自車両１の挙動を推定するものであって、単眼カメラ３と、単眼カメラ３の撮影画像Ｆや種々のデータを記憶する記憶手段４と、単眼カメラ３の撮影画像Ｆを処理するマイクロコンピュータ構成のＥＣＵ６と、例えばインストルメントパネルなどに取付けられたＣＲＴ、液晶ディスプレイなどの走行モニタ７と、警報用のスピーカ８とを備えている。
【００１３】
単眼カメラ３は、この実施形態では自車両１の前方の撮影が可能なモノクロあるいはカラー撮影が可能なカメラから成り、連続的に時々刻々と撮影した撮影画像Ｆの信号を出力する（図２参照）。また、自車両１の前方の路面撮影を行なうため、単眼カメラ３は、自車両１の車内の前方の上部位置に、上方から適当な角度で斜め下の路面をねらうように設けられている。
【００１４】
記憶手段４は、各種メモリやハードディスクドライブなどを備え、単眼カメラ３から時々刻々と出力される撮影画像Ｆに対してＥＣＵ６により種々の処理を施す際に使用される各種データ、撮影画像Ｆに対してＥＣＵ６により種々の処理が施されることにより得られた各種データなどを格納する。
【００１５】
ＥＣＵ６は、例えばイグニッションキーのオンにより、予め設定された物体認識のプログラムを実行することにより以下の各手段を備えている。
【００１６】
（１）取得手段６ａ
取得手段６ａは、単眼カメラ３により時々刻々と撮影された撮影画像Ｆを取得する。例えば、単眼カメラ３により撮影された撮影画像Ｆには、走行車線の自車両１の前方に先行車として走行する他車両１２、隣接する走行車線の自車両１の右前方を走行する他車両１３、道路１５に沿って設けられている建造物１４、道路１５などが含まれており、取得手段６ａはこの撮影画像Ｆを取得する。なお、この実施形態の撮影画像Ｆは、例えば４８０本のライン画像により形成されており、各ライン画像は例えば６４０画素により形成されている。
【００１７】
（２）変換手段６ｂ
変換手段６ｂは、単眼カメラ３により時々刻々と撮影された自車両１前方の各時刻における撮影画像Ｆを、図２に示すように路面に仮想面を設定し、図３（ａ），（ｂ）に示す上方視画像ｔＦに射影変換する。そして、単眼カメラ３により時系列に撮影されて変換手段６ｂにより射影変換される各フレームの撮影画像Ｆに関する種々のデータは記憶手段４に記憶される。なお、単眼カメラ３の撮影画像Ｆが路面に設定された仮想面に射影変換された上方視画像ｔＦでは物体の上端側が歪んだ画像となる。
【００１８】
（３）算出手段６ｃ
算出手段６ｃは、図３（ａ），（ｂ）に示すように、上方視画像ｔＦの２枚目以降のフレームが取得される度に、上方視画像ｔＦのオプティカルフローを算出する。すなわち、時刻ｔ１に撮影された撮影画像Ｆに基づく新たなフレームの上方視画像ｔＦが取得されれば、時刻ｔ１のフレームの上方視画像ｔＦと時刻ｔ０のフレームの上方視画像ｔＦとに基づいて図３（ａ）中に矢印で示すオプティカルフローが算出手段６ｃにより算出される。
【００１９】
つぎに、時刻ｔ２に撮影された撮影画像Ｆに基づく新たなフレームの上方視画像ｔＦが取得されれば、時刻ｔ２のフレームの上方視画像ｔＦと時刻ｔ１のフレームの上方視画像ｔＦとに基づいて図３（ｂ）中に矢印で示すオプティカルフローが算出手段６ｃにより算出される。そして、時刻ｔ３，ｔ４，ｔ５…に新たなフレームの上方視画像ｔＦが取得される度に、新たなフレームの上方視画像ｔＦと１つ前のフレームの上方視画像ｔＦとに基づくオプティカルフローが算出手段６ｃにより算出される。
【００２０】
なお、この実施形態では、図３（ａ），（ｂ）に示すように、算出手段６ｃにより算出されたオプティカルフローには、他車両１２，１３のフローベクトルＶ（α）、道路１５部分のフローベクトルＶ（β）、道路１５に沿った建造物１４のフローベクトルＶ（γ）が含まれている。
【００２１】
また、移動する自車両１から撮影した撮影画像Ｆが射影変換された上方視画像ｔＦでは、上方視画像ｔＦに含まれる道路１５部分全体でフローベクトルＶ（β）の大きさはほぼ同じ大きさとなり、上方視画像ｔＦに含まれる道路１５上の物体（他車両１２，１３）は上方に引き伸ばされた状態であるためそのフローベクトルＶ（α）の大きさは物体の高さに応じて大きくなる。また、それぞれのフローベクトルＶ（α），Ｖ（β），Ｖ（γ）の方向と大きさは、自車両１との相対的な移動方向および相対的な移動距離の大きさを示す。
【００２２】
（４）識別手段６ｄ
識別手段６ｄは、時刻ｔ１，ｔ２，ｔ３…と順次取得されたオプティカルフローのフローベクトルＶ（α），Ｖ（β），Ｖ（γ）の大きさの時系列的な変化に基づいて、上方視画像ｔＦに含まれる道路１５と道路１５上の物体とを区別して識別する。この実施形態では、図３（ａ），（ｂ）に示すように、上方視画像ｔＦを構成するライン画像のうち、自車両１からの距離Ｚｒの位置に対応するライン画像の各画素におけるオプティカルフローのフローベクトルの大きさがヒストグラムＨとして表され、図３（ｃ）に示すように、同図（ａ）および（ｂ）のヒストグラムＨの差分（斜線部分）が取られることにより、オプティカルフローのフローベクトルＶ（α），Ｖ（β），Ｖ（γ）の大きさの時系列的な変化が監視される。
【００２３】
図３（ａ）に示す時刻ｔ０−ｔ１におけるオプティカルフローでは、上方視画像ｔＦの自車両１からの距離Ｚｒの位置には道路１５と建造物１４とが含まれており、距離Ｚｒの位置に対応するライン画像におけるオプティカルフローのフローベクトルＶ（β），Ｖ（γ）の大きさは、道路１５部分のフローベクトルＶ（β）はほぼ同じ大きさとなり、建造物１４部分のフローベクトルＶ（γ）の大きさは、道路１５部分のフローベクトルＶ（β）の大きさと異なり、この場合はフローベクトルＶ（β）よりも少し大きくなっている。
【００２４】
図３（ｂ）に示す時刻ｔ１−ｔ２におけるオプティカルフローでは、上方視画像ｔＦの自車両１からの距離Ｚｒの位置には他車両１２，１３、道路１５および建造物１４が含まれており、距離Ｚｒの位置に対応するライン画像におけるオプティカルフローのフローベクトルＶ（α），Ｖ（β），Ｖ（γ）の大きさは、道路１５部分のフローベクトルＶ（β）はほぼ同じ大きさとなり、他車両１２，１３部分および建造物１４部分のフローベクトルＶ（α），Ｖ（γ）の大きさは、道路１５部分のフローベクトルＶ（β）の大きさと異なり、この場合はフローベクトルＶ（β）よりも少し大きくなっている。
【００２５】
したがって、図３（ｃ）に示すように、同図（ａ），（ｂ）にそれぞれ示すヒストグラムＨの差分を取れば自車両１との相対位置が変化する他車両１２，１３部分のみが残ることとなり、このようなベクトル差分の時系列的な変化を監視することにより、識別手段６ｄは、上方視画像ｔＦに含まれる道路１５部分と物体（他車両１２，１３）とを区別して識別する。
【００２６】
（５）推定手段６ｅ
推定手段６ｅは、識別手段６ｄにより識別された上方視画像ｔＦの道路１５部分のオプティカルフローのフローベクトルＶ（β）の方向および大きさの時系列的な変化を監視することにより、自車両１の挙動を推定する。すなわち、例えば、居眠り運転により自車両１が蛇行しているときなどに、自車両１（単眼カメラ３）および道路１５との相対的な挙動を示す道路１５部分のフローベクトルＶ（β）の方向および大きさを観察することにより、推定手段６ｅは、自車両１が蛇行していると推定することができる。
【００２７】
このとき、特に、単眼カメラ３の視点による撮影画像Ｆに含まれる他車両１２，１３などの物体の占有面積が大きい場合に、撮影画像Ｆを上方視画像ｔＦに変換することにより、撮影画像Ｆに含まれる道路１５部分の占有面積の撮影画像Ｆ内での比率と比較すれば、上方視画像ｔＦに含まれる道路１５部分の占有面積の上方視画像ｔＦ内での比率が大きくなるため、道路１５部分のフローベクトルＶ（β）を容易に監視することができる。また、他車両１２，１３のオプティカルフローのフローベクトルＶ（α）の方向および大きさは、他車両１２，１３の挙動によっても変化するため、自車両１の挙動を推定するためには、道路１５部分のフローベクトルＶ（β）の変化のみに基づく推定を行うことが非常に重要である。
【００２８】
ところが、撮影画像Ｆのオプティカルフローは、消失点（ＦＯＥ：Ｆｏｃｕｓ Ｏｆ Ｅｘｐａｎｓｉｏｎ）を中心にあらゆる方向に現れることに加え、消失点（ＦＯＥ）からの距離にも大きく影響されるため、道路１５部分のフローベクトルＶ（β）のみを抽出して監視することは困難であるる。しかしながら、この実施形態では、識別手段６ｄにより、上方視画像ｔＦのオプティカルフローのフローベクトルＶ（α），Ｖ（β），Ｖ（γ）の大きさの時系列的な変化に基づいて道路１５部分と道路１５上の物体（他車両１２，１３）とが適切に区別されて識別されるため、推定手段６ｅは、確実に道路１５部分のフローベクトルＶ（β）のみの変化を監視して自車両１の挙動を推定することができる。
【００２９】
また、撮影画像Ｆが上方視画像ｔＦに射影変換されることで、上方視画像ｔＦに含まれる道路１５部分全体のオプティカルフローのフローベクトルＶ（β）は、自車両１の挙動に応じてほぼ同じものとなるため、上方視画像ｔＦの道路１５部分のフローベクトルＶ（β）を監視することにより、推定手段６ｅは、自車両１の挙動を高精度に推定することができる。
【００３０】
（６）報知手段６ｆ
報知手段６ｆは、推定手段６ｅにより推定される自車両１の挙動に基づき、例えば走行モニタ７に表示中のカーナビゲーション用の地図に警告表示を重畳して表示したりして、自車挙動を視覚的にドライバに報知する。また、スピーカ８から、推定結果の音声メッセージ、警告音を発生して自車挙動を聴覚的にドライバに報知する。これらの視覚的または聴覚的なドライバに対する報知により、ドライバの運転支援を行う。
【００３１】
２．動作
次に、上記したように構成された挙動推定装置２の動作の一例について図４を参照して説明する。なお、この実施形態では、図３（ａ），（ｂ）に示すように、走行車線の自車両１の前方を先行車として他車両１２（物体）が走行し、隣の走行車線の自車両１の右前方を他車両１３（物体）が走行している状態を例に挙げて説明する。また、記憶手段４には、時系列で撮影された過去の撮影画像Ｆが射影変換されることによる上方視画像ｔＦに基づいて算出手段６ｃにより算出されたオプティカルフローに関する情報などが格納されるものとする。
【００３２】
図４に示す処理は、例えば、自車両１の走行中に単眼カメラ３による撮影が行われる度に実行される処理であって、まず、自車両１のイグニッションキーのオンにより単眼カメラ３による撮影が開始されると、単眼カメラ３による自車両１の前方の撮影画像Ｆの信号が時々刻々とＥＣＵ６に取得手段６ａにより取込まれて、変換手段６ｂにより射影変換される（ステップＳ１）。そして、最新のフレームの上方視画像ｔＦおよび１つ前のフレームの上方視画像ｔＦに基づいて算出手段６ｃによりオプティカルフローが算出される（ステップＳ２）。
【００３３】
そして、識別手段６ｄにより、自車両１からの距離Ｚｒに相当するライン画像を形成する各画素におけるオプティカルフローのフローベクトルＶ（α），Ｖ（β），Ｖ（γ）の大きさが抽出されて（ステップＳ３）、抽出されたフローベクトルＶ（α），Ｖ（β），Ｖ（γ）の大きさに基づいてヒストグラムＨが生成される（ステップＳ４）。
【００３４】
つぎに、識別手段６ｄにより、前回生成したヒストグラムＨと今回生成したヒストグラムＨに基づくベクトル差分が算出され（ステップＳ５）、ライン画像上の各画素におけるベクトル差分の大きさが所定値以下である位置が道路１５部分と識別されて（ステップＳ６でＹＥＳ）、該当位置におけるフローベクトルＶ（β）が推定手段６ｅによる自車両１の挙動推定に利用されて処理を終了する（ステップＳ７）。
【００３５】
一方、ライン画像上の各画素におけるベクトル差分の大きさが所定値よりも大きい位置は道路１５部分ではない（他車両１２，１３）と識別されて（ステップＳ６でＮＯ）、該当位置におけるフローベクトルＶ（α）が推定手段６ｅによる自車両１の挙動推定に利用されずに処理を終了する（ステップＳ８）。
【００３６】
以上のように、この実施形態によれば、自車両１に搭載された単眼カメラ３が撮影した自車両１周囲の撮影画像Ｆが変換手段６ｂにより射影変換された上方視画像ｔＦのオプティカルフローが算出手段６ｃにより算出される。そして、上方視画像ｔＦに含まれる道路１５部分のオプティカルフローのフローベクトルＶ（β）の大きさはほぼ同じ大きさとなり、上方視画像ｔＦに含まれる道路１５上の物体（他車両１２，１３）のフローベクトルＶ（α）の大きさは物体の高さに応じて大きくなるため、撮影画像Ｆが射影変換された上方視画像ｔＦのオプティカルフローのフローベクトルＶ（α），Ｖ（β），Ｖ（γ）の大きさの時系列的な変化に基づいて、上方視画像ｔＦに含まれる道路１５と道路１５上の物体とを識別手段６ｄにより適切に区別して識別できる。
【００３７】
また、識別手段６ｄにより適切に区別して識別された道路１５部分のフローベクトルＶ（β）の大きさや方向の変化を監視することにより、自車両１の挙動を推定手段６ｅにより高精度に推定してドライバに対して適切な運転支援を行うことができる。
【００３８】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、単眼カメラ３を、後方を撮影可能に自車両１の後部に取付けてもよい。このように構成しても、自車両１後方の道路１５部分におけるフローベクトルＶ（β）の変化を監視することにより自車両１の挙動を推定手段６ｅにより高精度に推定することができる。
【００３９】
また、上記した実施形態では、上方視画像ｔＦの所定領域、すなわち、自車両１からの距離Ｚｒの位置に対応するライン画像上のフローベクトルに基づいて、道路１５と道路１５上の物体との識別を行ったが、上方視画像ｔＦの複数の所定領域、すなわち、複数本のライン画像上のフローベクトルの大きさの変化に基づいて識別手段６ｄによる識別を行ってもよいし、上方視画像ｔＦ全体のフローベクトルの大きさの変化に基づいて識別手段６ｄによる識別を行ってもよい。また、道路１５上の物体を識別した時刻以降は、物体が存在すると想定される領域のオプティカルフローを算出せず、道路１５部分のオプティカルフローのみを算出して推定手段６ｅによる推定を行ってもよい。
【００４０】
また、本発明は種々の車両の画像処理に適用することができる。
【符号の説明】
【００４１】
１ 自車両
２ 挙動推定装置（車両用画像処理装置）
３ 単眼カメラ（撮像手段）
６ｃ 算出手段
６ｄ 識別手段
１２，１３ 他車両（物体）
１５ 道路
ｔＦ 上方視画像
Ｖ（α），Ｖ（β），Ｖ（γ） フローベクトル
【技術分野】
【０００１】
この発明は、車両に搭載された撮像手段が撮影した撮影画像を処理することにより撮影画像に含まれる道路と道路上の物体とを区別して識別する技術に関する。
【背景技術】
【０００２】
車両に搭載された撮像手段により撮影された撮影画像に含まれる道路と道路上の物体とを識別する様々な手法が提案されており、例えば、撮影画像のオプティカルフローを算出し、算出されたオプティカルフローに基づいて撮影画像に含まれる道路上の静止立体物を識別する技術が知られている（例えば、特許文献１）。すなわち、車両に搭載された撮像手段により遠景撮像をし、撮像により得られた複数枚の画像から、この画像中におけるオプティカルフローを算出する一方、画像の全体が平面であると推定したときの平面のオプティカルフローを求め、画像中におけるオプティカルフローと、平面のオプティカルフローとを比較することにより、平面に対して静止している立体物を識別する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１１６５２７号公報（段落［００２３］〜［００２８］、図４〜６、要約書など）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記した従来技術では、道路上の立体物の上部側のオプティカルフローのフローベクトルと、前記上部側の背景画像となる遠方の平面のオプティカルフローのフローベクトルとはその大きさが異なるため、前記上部側と平面とを区別して識別することができる。ところが、道路上の立体物の下部側のオプティカルフローのフローベクトルと、前記下部側の背景画像となる立体物付近の平面のオプティカルフローのフローベクトルとはその大きさがほぼ同じであるため、前記下部側と平面とを適切に区別できないおそれがある。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、撮影画像が射影変換された上方視画像のオプティカルフローに基づいて上方視画像に含まれる道路と道路上の物体とを適切に区別して識別できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記した目的を達成するために、本願発明者らは種々の検討を繰返した結果、移動する車両から撮影した撮影画像が射影変換された上方視画像では、上方視画像に含まれる道路部分のオプティカルフローのフローベクトルの大きさはほぼ同じ大きさとなること、上方視画像に含まれる道路上の物体は上方に引き伸ばされた状態であるためそのオプティカルフローのフローベクトルの大きさは物体の高さに応じて大きくなることに着目して本発明を完成した。
【０００７】
本発明の車両用画像処理装置は、車両に搭載された撮像手段と、前記撮像手段が撮影した車両周囲の撮影画像を上方視画像に射影変換する変換手段と、前記上方視画像のオプティカルフローを算出する算出手段と、前記オプティカルフローのフローベクトルの大きさの時系列的な変化に基づいて、前記上方視画像に含まれる道路と道路上の物体とを区別して識別する識別手段とを備えることを特徴としている（請求項１）。
【発明の効果】
【０００８】
請求項１に記載の発明によれば、車両に搭載された撮像手段が撮影した車両周囲の撮影画像が変換手段により射影変換された上方視画像のオプティカルフローが算出手段により算出される。そして、上方視画像に含まれる道路部分のオプティカルフローのフローベクトルの大きさはほぼ同じ大きさとなり、上方視画像に含まれる道路上の物体のフローベクトルの大きさは物体の高さに応じて大きくなるため、撮影画像が射影変換された上方視画像のオプティカルフローのフローベクトルの大きさの時系列的な変化に基づいて、上方視画像に含まれる道路と道路上の物体とを識別手段により適切に区別して識別できる。
【図面の簡単な説明】
【０００９】
【図１】本発明の車両用画像処理装置の一実施形態のブロック図である。
【図２】単眼カメラの構成を示す図である。
【図３】上方視画像の一例である。
【図４】図１の処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
本発明の一実施形態について、図１〜図４を参照して説明する。
【００１１】
図１は本発明の車両用画像処理装置としての機能を備える挙動推定装置２の一実施形態のブロック図である。図２は単眼カメラ３の構成を示す図である。図３は上方視画像ｔＦの一例であって、（ａ）は時刻ｔ０，ｔ１のフレームにおける上方視画像ｔＦに基づくオプティカルフローおよび自車両１からの距離Ｚｒの位置のライン画像の各画素におけるフローベクトルの大きさを示すヒストグラムＨを示し、（ｂ）は時刻ｔ１，ｔ２のフレームにおける上方視画像ｔＦに基づくオプティカルフローおよび自車両１からの距離Ｚｒのライン画像の各画素におけるフローベクトルの大きさを示すヒストグラムＨを示し、（ｃ）は（ａ）および（ｂ）のヒストグラムＨの差分を示す。図４は図１の挙動推定装置２の処理の一例を示すフローチャートである。
【００１２】
１．構成
図１に示す本発明の車両用画像処理装置としての機能を備える挙動推定装置２は、自車両１に搭載された単眼カメラ３（本発明の「撮像手段」に相当）により撮影された撮影画像Ｆが射影変換された上方視画像ｔＦに含まれる道路１５部分のオプティカルフローの時系列的な変化に基づいて自車両１の挙動を推定するものであって、単眼カメラ３と、単眼カメラ３の撮影画像Ｆや種々のデータを記憶する記憶手段４と、単眼カメラ３の撮影画像Ｆを処理するマイクロコンピュータ構成のＥＣＵ６と、例えばインストルメントパネルなどに取付けられたＣＲＴ、液晶ディスプレイなどの走行モニタ７と、警報用のスピーカ８とを備えている。
【００１３】
単眼カメラ３は、この実施形態では自車両１の前方の撮影が可能なモノクロあるいはカラー撮影が可能なカメラから成り、連続的に時々刻々と撮影した撮影画像Ｆの信号を出力する（図２参照）。また、自車両１の前方の路面撮影を行なうため、単眼カメラ３は、自車両１の車内の前方の上部位置に、上方から適当な角度で斜め下の路面をねらうように設けられている。
【００１４】
記憶手段４は、各種メモリやハードディスクドライブなどを備え、単眼カメラ３から時々刻々と出力される撮影画像Ｆに対してＥＣＵ６により種々の処理を施す際に使用される各種データ、撮影画像Ｆに対してＥＣＵ６により種々の処理が施されることにより得られた各種データなどを格納する。
【００１５】
ＥＣＵ６は、例えばイグニッションキーのオンにより、予め設定された物体認識のプログラムを実行することにより以下の各手段を備えている。
【００１６】
（１）取得手段６ａ
取得手段６ａは、単眼カメラ３により時々刻々と撮影された撮影画像Ｆを取得する。例えば、単眼カメラ３により撮影された撮影画像Ｆには、走行車線の自車両１の前方に先行車として走行する他車両１２、隣接する走行車線の自車両１の右前方を走行する他車両１３、道路１５に沿って設けられている建造物１４、道路１５などが含まれており、取得手段６ａはこの撮影画像Ｆを取得する。なお、この実施形態の撮影画像Ｆは、例えば４８０本のライン画像により形成されており、各ライン画像は例えば６４０画素により形成されている。
【００１７】
（２）変換手段６ｂ
変換手段６ｂは、単眼カメラ３により時々刻々と撮影された自車両１前方の各時刻における撮影画像Ｆを、図２に示すように路面に仮想面を設定し、図３（ａ），（ｂ）に示す上方視画像ｔＦに射影変換する。そして、単眼カメラ３により時系列に撮影されて変換手段６ｂにより射影変換される各フレームの撮影画像Ｆに関する種々のデータは記憶手段４に記憶される。なお、単眼カメラ３の撮影画像Ｆが路面に設定された仮想面に射影変換された上方視画像ｔＦでは物体の上端側が歪んだ画像となる。
【００１８】
（３）算出手段６ｃ
算出手段６ｃは、図３（ａ），（ｂ）に示すように、上方視画像ｔＦの２枚目以降のフレームが取得される度に、上方視画像ｔＦのオプティカルフローを算出する。すなわち、時刻ｔ１に撮影された撮影画像Ｆに基づく新たなフレームの上方視画像ｔＦが取得されれば、時刻ｔ１のフレームの上方視画像ｔＦと時刻ｔ０のフレームの上方視画像ｔＦとに基づいて図３（ａ）中に矢印で示すオプティカルフローが算出手段６ｃにより算出される。
【００１９】
つぎに、時刻ｔ２に撮影された撮影画像Ｆに基づく新たなフレームの上方視画像ｔＦが取得されれば、時刻ｔ２のフレームの上方視画像ｔＦと時刻ｔ１のフレームの上方視画像ｔＦとに基づいて図３（ｂ）中に矢印で示すオプティカルフローが算出手段６ｃにより算出される。そして、時刻ｔ３，ｔ４，ｔ５…に新たなフレームの上方視画像ｔＦが取得される度に、新たなフレームの上方視画像ｔＦと１つ前のフレームの上方視画像ｔＦとに基づくオプティカルフローが算出手段６ｃにより算出される。
【００２０】
なお、この実施形態では、図３（ａ），（ｂ）に示すように、算出手段６ｃにより算出されたオプティカルフローには、他車両１２，１３のフローベクトルＶ（α）、道路１５部分のフローベクトルＶ（β）、道路１５に沿った建造物１４のフローベクトルＶ（γ）が含まれている。
【００２１】
また、移動する自車両１から撮影した撮影画像Ｆが射影変換された上方視画像ｔＦでは、上方視画像ｔＦに含まれる道路１５部分全体でフローベクトルＶ（β）の大きさはほぼ同じ大きさとなり、上方視画像ｔＦに含まれる道路１５上の物体（他車両１２，１３）は上方に引き伸ばされた状態であるためそのフローベクトルＶ（α）の大きさは物体の高さに応じて大きくなる。また、それぞれのフローベクトルＶ（α），Ｖ（β），Ｖ（γ）の方向と大きさは、自車両１との相対的な移動方向および相対的な移動距離の大きさを示す。
【００２２】
（４）識別手段６ｄ
識別手段６ｄは、時刻ｔ１，ｔ２，ｔ３…と順次取得されたオプティカルフローのフローベクトルＶ（α），Ｖ（β），Ｖ（γ）の大きさの時系列的な変化に基づいて、上方視画像ｔＦに含まれる道路１５と道路１５上の物体とを区別して識別する。この実施形態では、図３（ａ），（ｂ）に示すように、上方視画像ｔＦを構成するライン画像のうち、自車両１からの距離Ｚｒの位置に対応するライン画像の各画素におけるオプティカルフローのフローベクトルの大きさがヒストグラムＨとして表され、図３（ｃ）に示すように、同図（ａ）および（ｂ）のヒストグラムＨの差分（斜線部分）が取られることにより、オプティカルフローのフローベクトルＶ（α），Ｖ（β），Ｖ（γ）の大きさの時系列的な変化が監視される。
【００２３】
図３（ａ）に示す時刻ｔ０−ｔ１におけるオプティカルフローでは、上方視画像ｔＦの自車両１からの距離Ｚｒの位置には道路１５と建造物１４とが含まれており、距離Ｚｒの位置に対応するライン画像におけるオプティカルフローのフローベクトルＶ（β），Ｖ（γ）の大きさは、道路１５部分のフローベクトルＶ（β）はほぼ同じ大きさとなり、建造物１４部分のフローベクトルＶ（γ）の大きさは、道路１５部分のフローベクトルＶ（β）の大きさと異なり、この場合はフローベクトルＶ（β）よりも少し大きくなっている。
【００２４】
図３（ｂ）に示す時刻ｔ１−ｔ２におけるオプティカルフローでは、上方視画像ｔＦの自車両１からの距離Ｚｒの位置には他車両１２，１３、道路１５および建造物１４が含まれており、距離Ｚｒの位置に対応するライン画像におけるオプティカルフローのフローベクトルＶ（α），Ｖ（β），Ｖ（γ）の大きさは、道路１５部分のフローベクトルＶ（β）はほぼ同じ大きさとなり、他車両１２，１３部分および建造物１４部分のフローベクトルＶ（α），Ｖ（γ）の大きさは、道路１５部分のフローベクトルＶ（β）の大きさと異なり、この場合はフローベクトルＶ（β）よりも少し大きくなっている。
【００２５】
したがって、図３（ｃ）に示すように、同図（ａ），（ｂ）にそれぞれ示すヒストグラムＨの差分を取れば自車両１との相対位置が変化する他車両１２，１３部分のみが残ることとなり、このようなベクトル差分の時系列的な変化を監視することにより、識別手段６ｄは、上方視画像ｔＦに含まれる道路１５部分と物体（他車両１２，１３）とを区別して識別する。
【００２６】
（５）推定手段６ｅ
推定手段６ｅは、識別手段６ｄにより識別された上方視画像ｔＦの道路１５部分のオプティカルフローのフローベクトルＶ（β）の方向および大きさの時系列的な変化を監視することにより、自車両１の挙動を推定する。すなわち、例えば、居眠り運転により自車両１が蛇行しているときなどに、自車両１（単眼カメラ３）および道路１５との相対的な挙動を示す道路１５部分のフローベクトルＶ（β）の方向および大きさを観察することにより、推定手段６ｅは、自車両１が蛇行していると推定することができる。
【００２７】
このとき、特に、単眼カメラ３の視点による撮影画像Ｆに含まれる他車両１２，１３などの物体の占有面積が大きい場合に、撮影画像Ｆを上方視画像ｔＦに変換することにより、撮影画像Ｆに含まれる道路１５部分の占有面積の撮影画像Ｆ内での比率と比較すれば、上方視画像ｔＦに含まれる道路１５部分の占有面積の上方視画像ｔＦ内での比率が大きくなるため、道路１５部分のフローベクトルＶ（β）を容易に監視することができる。また、他車両１２，１３のオプティカルフローのフローベクトルＶ（α）の方向および大きさは、他車両１２，１３の挙動によっても変化するため、自車両１の挙動を推定するためには、道路１５部分のフローベクトルＶ（β）の変化のみに基づく推定を行うことが非常に重要である。
【００２８】
ところが、撮影画像Ｆのオプティカルフローは、消失点（ＦＯＥ：Ｆｏｃｕｓ Ｏｆ Ｅｘｐａｎｓｉｏｎ）を中心にあらゆる方向に現れることに加え、消失点（ＦＯＥ）からの距離にも大きく影響されるため、道路１５部分のフローベクトルＶ（β）のみを抽出して監視することは困難であるる。しかしながら、この実施形態では、識別手段６ｄにより、上方視画像ｔＦのオプティカルフローのフローベクトルＶ（α），Ｖ（β），Ｖ（γ）の大きさの時系列的な変化に基づいて道路１５部分と道路１５上の物体（他車両１２，１３）とが適切に区別されて識別されるため、推定手段６ｅは、確実に道路１５部分のフローベクトルＶ（β）のみの変化を監視して自車両１の挙動を推定することができる。
【００２９】
また、撮影画像Ｆが上方視画像ｔＦに射影変換されることで、上方視画像ｔＦに含まれる道路１５部分全体のオプティカルフローのフローベクトルＶ（β）は、自車両１の挙動に応じてほぼ同じものとなるため、上方視画像ｔＦの道路１５部分のフローベクトルＶ（β）を監視することにより、推定手段６ｅは、自車両１の挙動を高精度に推定することができる。
【００３０】
（６）報知手段６ｆ
報知手段６ｆは、推定手段６ｅにより推定される自車両１の挙動に基づき、例えば走行モニタ７に表示中のカーナビゲーション用の地図に警告表示を重畳して表示したりして、自車挙動を視覚的にドライバに報知する。また、スピーカ８から、推定結果の音声メッセージ、警告音を発生して自車挙動を聴覚的にドライバに報知する。これらの視覚的または聴覚的なドライバに対する報知により、ドライバの運転支援を行う。
【００３１】
２．動作
次に、上記したように構成された挙動推定装置２の動作の一例について図４を参照して説明する。なお、この実施形態では、図３（ａ），（ｂ）に示すように、走行車線の自車両１の前方を先行車として他車両１２（物体）が走行し、隣の走行車線の自車両１の右前方を他車両１３（物体）が走行している状態を例に挙げて説明する。また、記憶手段４には、時系列で撮影された過去の撮影画像Ｆが射影変換されることによる上方視画像ｔＦに基づいて算出手段６ｃにより算出されたオプティカルフローに関する情報などが格納されるものとする。
【００３２】
図４に示す処理は、例えば、自車両１の走行中に単眼カメラ３による撮影が行われる度に実行される処理であって、まず、自車両１のイグニッションキーのオンにより単眼カメラ３による撮影が開始されると、単眼カメラ３による自車両１の前方の撮影画像Ｆの信号が時々刻々とＥＣＵ６に取得手段６ａにより取込まれて、変換手段６ｂにより射影変換される（ステップＳ１）。そして、最新のフレームの上方視画像ｔＦおよび１つ前のフレームの上方視画像ｔＦに基づいて算出手段６ｃによりオプティカルフローが算出される（ステップＳ２）。
【００３３】
そして、識別手段６ｄにより、自車両１からの距離Ｚｒに相当するライン画像を形成する各画素におけるオプティカルフローのフローベクトルＶ（α），Ｖ（β），Ｖ（γ）の大きさが抽出されて（ステップＳ３）、抽出されたフローベクトルＶ（α），Ｖ（β），Ｖ（γ）の大きさに基づいてヒストグラムＨが生成される（ステップＳ４）。
【００３４】
つぎに、識別手段６ｄにより、前回生成したヒストグラムＨと今回生成したヒストグラムＨに基づくベクトル差分が算出され（ステップＳ５）、ライン画像上の各画素におけるベクトル差分の大きさが所定値以下である位置が道路１５部分と識別されて（ステップＳ６でＹＥＳ）、該当位置におけるフローベクトルＶ（β）が推定手段６ｅによる自車両１の挙動推定に利用されて処理を終了する（ステップＳ７）。
【００３５】
一方、ライン画像上の各画素におけるベクトル差分の大きさが所定値よりも大きい位置は道路１５部分ではない（他車両１２，１３）と識別されて（ステップＳ６でＮＯ）、該当位置におけるフローベクトルＶ（α）が推定手段６ｅによる自車両１の挙動推定に利用されずに処理を終了する（ステップＳ８）。
【００３６】
以上のように、この実施形態によれば、自車両１に搭載された単眼カメラ３が撮影した自車両１周囲の撮影画像Ｆが変換手段６ｂにより射影変換された上方視画像ｔＦのオプティカルフローが算出手段６ｃにより算出される。そして、上方視画像ｔＦに含まれる道路１５部分のオプティカルフローのフローベクトルＶ（β）の大きさはほぼ同じ大きさとなり、上方視画像ｔＦに含まれる道路１５上の物体（他車両１２，１３）のフローベクトルＶ（α）の大きさは物体の高さに応じて大きくなるため、撮影画像Ｆが射影変換された上方視画像ｔＦのオプティカルフローのフローベクトルＶ（α），Ｖ（β），Ｖ（γ）の大きさの時系列的な変化に基づいて、上方視画像ｔＦに含まれる道路１５と道路１５上の物体とを識別手段６ｄにより適切に区別して識別できる。
【００３７】
また、識別手段６ｄにより適切に区別して識別された道路１５部分のフローベクトルＶ（β）の大きさや方向の変化を監視することにより、自車両１の挙動を推定手段６ｅにより高精度に推定してドライバに対して適切な運転支援を行うことができる。
【００３８】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、単眼カメラ３を、後方を撮影可能に自車両１の後部に取付けてもよい。このように構成しても、自車両１後方の道路１５部分におけるフローベクトルＶ（β）の変化を監視することにより自車両１の挙動を推定手段６ｅにより高精度に推定することができる。
【００３９】
また、上記した実施形態では、上方視画像ｔＦの所定領域、すなわち、自車両１からの距離Ｚｒの位置に対応するライン画像上のフローベクトルに基づいて、道路１５と道路１５上の物体との識別を行ったが、上方視画像ｔＦの複数の所定領域、すなわち、複数本のライン画像上のフローベクトルの大きさの変化に基づいて識別手段６ｄによる識別を行ってもよいし、上方視画像ｔＦ全体のフローベクトルの大きさの変化に基づいて識別手段６ｄによる識別を行ってもよい。また、道路１５上の物体を識別した時刻以降は、物体が存在すると想定される領域のオプティカルフローを算出せず、道路１５部分のオプティカルフローのみを算出して推定手段６ｅによる推定を行ってもよい。
【００４０】
また、本発明は種々の車両の画像処理に適用することができる。
【符号の説明】
【００４１】
１ 自車両
２ 挙動推定装置（車両用画像処理装置）
３ 単眼カメラ（撮像手段）
６ｃ 算出手段
６ｄ 識別手段
１２，１３ 他車両（物体）
１５ 道路
ｔＦ 上方視画像
Ｖ（α），Ｖ（β），Ｖ（γ） フローベクトル
【特許請求の範囲】
【請求項１】
車両に搭載された撮像手段と、
前記撮像手段が撮影した車両周囲の撮影画像を上方視画像に射影変換する変換手段と、
前記上方視画像のオプティカルフローを算出する算出手段と、
前記オプティカルフローのフローベクトルの大きさの時系列的な変化に基づいて、前記上方視画像に含まれる道路と道路上の物体とを区別して識別する識別手段と
を備えることを特徴とする車両用画像処理装置。
【請求項１】
車両に搭載された撮像手段と、
前記撮像手段が撮影した車両周囲の撮影画像を上方視画像に射影変換する変換手段と、
前記上方視画像のオプティカルフローを算出する算出手段と、
前記オプティカルフローのフローベクトルの大きさの時系列的な変化に基づいて、前記上方視画像に含まれる道路と道路上の物体とを区別して識別する識別手段と
を備えることを特徴とする車両用画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１１−２０３７６６（Ｐ２０１１−２０３７６６Ａ）
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願番号】特願２０１０−６７５０１（Ｐ２０１０−６７５０１）
【出願日】平成２２年３月２４日（２０１０．３．２４）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願日】平成２２年３月２４日（２０１０．３．２４）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
[ Back to top ]