説明

画像処理装置、運転支援装置、画像処理方法及び画像処理プログラム

【課題】移動体が移動する際の安全を確保するための画像処理装置を提供する。
【解決手段】移動体の予測軌道と、三次元モデルにおける移動体の位置及び大きさと、三次元モデルにおける立体物の大きさ及び位置とに基づいて、三次元モデルにおいて予測軌道上で移動体が立体物に接触するか否か判定する接触判定部260を備える。また、ステレオカメラの画像に基づいて距離を測定し、立体物の位置及び大きさを算出する。さらに、算出した横幅の接触量に基づいて予測軌道を変更した上で接触するか否か判定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、運転支援装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【0002】
自動車などの車両周辺の障害物を検知する方法として、レーザレーダ、ミリ波レーダ、超音波ソナーといったアクティブセンサを用いる方法と、可視光カメラや赤外線カメラといったパッシブセンサを用いる方法が知られている。そのうちパッシブセンサを用いる方法は、アクティブセンサを用いる方法に比べて安価ながら、より細かい情報が得られるという特徴がある。
【0003】
例えば、パッシブセンサを用いて車両周辺の障害物を検知する技術の一例として、特許文献1では、ステレオカメラを用いて、車両周辺の障害物における車両側の端位置を検出することで、車両の狭路通過可否を判定し運転者に報知する車両用走行案内装置が開示されている。また、特許文献1では、障害物の自車両側の縁と、自車両側部の延長線との間の最接近距離を隙間距離として左右それぞれに算出することが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平7−192199号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記特許文献1に記載された方法では、自車両の向きによっては、通過可否を正しく判定できなかった。その結果、特許文献1に記載された方法では、車両走行中の安全を確保することができない場合もあるという問題があった。
【0006】
そこで本発明は、上記問題に鑑みてなされたものであり、移動体の移動する際の安全を確保することができる画像処理装置、運転支援装置、画像処理方法及び画像処理プログラムを提供することを課題とする。
【課題を解決するための手段】
【0007】
(1)本発明は前記事情に鑑みなされたもので、本発明の一態様は、移動体の予測軌道と、三次元モデルにおける前記移動体の位置及び大きさと、前記三次元モデルにおける立体物の大きさ及び位置とに基づいて、前記三次元モデルにおいて予測軌道上で前記移動体が前記立体物に接触するか否か判定する接触判定部を備えることを特徴とする画像処理装置である。
【0008】
(2)上記に記載の画像処理装置において、本発明の一態様は、ステレオカメラが被写体を撮像することにより得られた画像信号に基づいて、該ステレオカメラから前記被写体までの距離を示す距離情報を算出する距離情報算出部と、前記距離情報算出部が算出した距離情報に基づいて、前記画像に含まれる立体物の画像領域を抽出する立体物抽出部と、前記立体物抽出部が抽出した立体物の画像領域について、前記距離情報算出部が算出した距離情報に基づいて、三次元モデルにおける前記立体物の位置及び大きさを算出する立体物位置大きさ算出部と、前記三次元モデルにおける前記移動体の位置及び大きさを取得する移動体位置大きさ取得部と、を備えることを特徴とする。
【0009】
(3)上記に記載の画像処理装置において、本発明の一態様は、前記接触判定部が接触すると判定した場合、接触時に前記移動体と前記立体物とが接触する横幅である接触量を算出する接触量算出部と、前記接触量算出部が算出した接触量に基づいて、前記移動体の予測軌道を変更する予測軌道変更部と、前記接触判定部は、前記予測軌道変更部が変更した予測軌道で、前記移動体が他の立体物に接触するか否か判定することを特徴とする。
【0010】
(4)上記に記載の画像処理装置において、本発明の一態様は、前記接触判定部が判定した結果に基づいて、前記移動体が前記立体物の横を通過可能か否か判定する通過可否判定部を備えることを特徴とする。
【0011】
(5)上記に記載の画像処理装置において、本発明の一態様は、画像信号から特定の画像領域を検出する特定画像領域検出部を備え、前記接触判定部は、前記特定画像領域検出部が検出した特定の画像領域に基づいて、前記移動体の予測軌道を算出する予測軌道算出部と、前記予測軌道算出部が算出した予測軌道と前記立体物の前記三次元モデルにおける大きさ及び位置とに基づいて、前記三次元モデルにおいて前記予測軌道上で前記移動体が前記立体物に接触するか否か判定する判定部と、を備えることを特徴とする。
【0012】
(6)上記に記載の画像処理装置において、本発明の一態様は、前記距離情報算出部は、前記画像信号からステレオマッチングにより視差を算出する視差値算出部と、前記ステレオカメラを構成するカメラ間の間隔である基線長を取得する基線長取得部と、前記ステレオカメラの焦点距離を取得する焦点距離取得部と、前記視差値算出部が算出した視差値と、前記基線長取得部が取得した基線長と、前記焦点距離取得部が取得した焦点距離とに基づいて、前記距離情報を算出する算出部と、を備えることを特徴とする。
【0013】
(7)本発明の一態様は、予め決められた間隔で、互いの光軸が平行である少なくとも一対のカメラを有するステレオカメラと、上記に記載の画像処理装置と、前記画像処理装置が判定した結果に基づいて、自装置の外部に報知する報知装置と、を備えることを特徴とする運転支援装置である。
【0014】
(8)本発明の一態様は、画像処理装置が実行する画像処理方法であって、移動体の予測軌道と、三次元モデルにおける前記移動体の位置及び大きさと、前記三次元モデルにおける立体物の大きさ及び位置とに基づいて、前記三次元モデルにおいて予測軌道上で前記移動体が前記立体物に接触するか否か判定する接触判定手順を有することを特徴とする画像処理方法である。
【0015】
(9)本発明の一態様は、コンピュータに、三次元モデルにおける前記移動体の位置及び大きさと、前記三次元モデルにおける立体物の大きさ及び位置とに基づいて、前記三次元モデルにおいて予測軌道上で前記移動体が前記立体物に接触するか否か判定する接触判定ステップを実行させるための画像処理プログラムである。
【発明の効果】
【0016】
本発明によれば、移動体が移動する際の安全を確保することができる。
【図面の簡単な説明】
【0017】
【図1】本実施形態における運転支援装置10の搭載位置の一例を表す図である。
【図2】本実施形態における運転支援装置10の搭載位置の一例を表す別の図である。
【図3】本実施形態における画像処理装置の概略ブロック図である。
【図4】ステレオカメラで撮像した各画像の一例である。
【図5】基準画像全体にわたり視差値の算出を行った場合において、各画素の視差値を示した図である。
【図6】立体物抽出部により識別された道路面の一例を示した図である。
【図7】車線が示された基準画像の一例である。
【図8】基準画像とその基準画像に対応する距離画像の一例が示された図である。
【図9】距離画像から立体物を抽出する処理を説明するための図である。
【図10】基準画像から白線の画像領域を抽出する処理を説明するための図である。
【図11】三次元モデルにおいて立体物オブジェクトは配置する処理について説明するための図である。
【図12】三次元モデル合成部の処理例を示す図である。
【図13】三次元モデルにおいて車両と立体物が接触する場合の処理を説明するための図である。
【図14】桁下通過する場合の三次元モデルの一例である。
【図15】本実施形態における画像処理装置の処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0018】
以下、本発明の実施形態について、図面を参照して詳細に説明する。図1は、本実施形態における運転支援装置10の搭載位置の一例を表す図である。図1は、車両1を正面から見た場合において、運転支援装置10が備えるステレオカメラ100の位置関係の一例が示された図である。
同図において、車両1の車内の運転席窓ガラス上方の付近には、車両1の前方を監視するステレオカメラ100が適宜の固定手段により設置されている。本実施形態におけるステレオカメラ100は、一例としてLカメラ101と、Rカメラ102とを備える。そして、Lカメラ101とRカメラ102は、予め決められた間隔(基線長)で、互いの光軸が略平行になるように設置されている。
【0019】
なお、ステレオカメラ100は少なくとも1対のカメラが予め決められた間隔(基線長)で、互いの光軸が略平行になるように設置されていればよい。
【0020】
図2は、本実施形態における運転支援装置10の搭載位置の一例を表す別の図である。図2は車両1を真横から見た場合の運転支援装置10の位置関係の一例を示した図である。運転支援装置10は、前述のステレオカメラ100と、画像処理装置200と、報知装置300とを備える。
ステレオカメラ100が備えるLカメラ101とRカメラ102は、それぞれ車両1の前方の被写体を撮像し、撮像により得られた各画像信号(以下、それぞれを「基準画像信号」、「参照画像信号」と称する)を画像処理装置200へ送信する。
【0021】
画像処理装置200は、ステレオカメラ100から供給された各画像信号に基づいて、車両1が、車両1の前方にある立体物と接触するか否か判定し、その判定した結果を示す判定結果情報を報知装置300へ出力する。
報知装置300は、画像処理装置200から入力された判定結果情報に基づいて、自装置の外部へ警告表示または警告音で報知する。具体的には、例えば、報知装置300は、判定結果情報が通行不可を示す場合、前方の立体物の横を通行不可であることを示す警告表示または警告音を出力する。これにより、報知装置300は、車両1の運転者に前方の立体物の横を通行可能であるか否かを知らせることができ、運転支援装置10は、運転者の負担を軽減しつつ車両および運転者の安全を確保することができる。
なお、判定結果情報が通行可能を示す場合、報知装置300は、前方の立体物の横を通行可能であることを示す警告表示または警告音を出力してもよい。
【0022】
図3は、本実施形態における画像処理装置200の概略ブロック図である。画像処理装置200は、記憶部210と、距離情報算出部220と、立体物抽出部230と、位置大きさ算出部240と、特定画像領域検出部241と、三次元モデル合成部(移動体位置大きさ取得部)250と、接触判定部260と、接触量算出部270と、予測軌道変更部280と、通過可否判定部290とを備える。
【0023】
記憶部210には、基線長を示す基線長情報、ステレオカメラ100のLカメラ101とRカメラ102の焦点距離を示す焦点距離情報、車両1の三次元モデルにおける位置を示す位置情報、及び車両1の三次元モデルにおける大きさを示す大きさ情報が記憶されている。ここで、Lカメラ101の焦点距離とRカメラ102の焦点距離は、同一であるものとする。
【0024】
距離情報算出部220は、ステレオカメラ100が撮像することにより得られた画像信号に基づいて、該ステレオカメラ100から被写体までの距離を算出する。ここで、距離情報算出部220は、視差値算出部221と、基線長取得部222と、焦点距離取得部223と算出部224を備える。
【0025】
視差値算出部221は、ステレオカメラ100のLカメラ101から送信された基準画像信号と、Rカメラ102から送信された参照画像信号とを受信する。そして、視差値算出部221は、は、基準画像信号と参照画像信号とに基づいて、以下に説明するようにして、ステレオマッチングにより視差値を算出する。
【0026】
視差値算出部221は、基準画像信号が示す基準画像の各点と対応する対応点を、参照画像信号が示す参照画像の探索領域から探索する。対応点の判定処理において、視差値算出部221は、基準画像の各点である基準点を中心に小領域を抽出し、抽出した小領域と参照画像の探索領域内の小領域とを比較する。そして、視差値算出部221は、各小領域の画像輝度パターン同士が類似しているか否かを、画像輝度の差分絶対和(SAD:Sum of Absolute Differences)を評価値の基準として判定する。
【0027】
なお、評価値の基準は、差分二乗和(SSD:Sum of Squared Differences)、正規化相互相関(NCC:Normalized Cross Correlation)などでも良い。
視差値算出部221は、画像輝度の差分絶対和が最も小さくなる参照画像の探索領域の中心点と、基準画像の基準点とが水平方向に離れている画素数を視差値として算出する。そして、視差値算出部221は、この視差値の算出を基準画像における画素毎に行う。視差値算出部221は、視差値を示す視差値情報を算出部224へ出力する。
【0028】
基線長取得部222は、記憶部210から、ステレオカメラ100を構成するカメラ間の間隔を示す基線長情報を読み出すことにより取得し、取得した基線長情報を算出部224へ出力する。
焦点距離取得部223は、記憶部210からステレオカメラ100の焦点距離を示す焦点距離情報を読み出すことにより取得し、取得した焦点距離情報を算出部224へ出力する。
【0029】
算出部224は、視差値算出部221から入力された視差値情報が示す視差値dと、基線長取得部222が取得した基線長情報が示す基線長Lと、焦点距離取得部223が取得した焦点距離情報が示す焦点距離fとに基づいて、ステレオカメラ100から被写体までの距離Zを三角測量の原理で算出する。
具体的には、例えば、算出部224は、以下の式に従って、ステレオカメラ100から被写体までの距離Zを算出する。
【0030】
Z=(L×f)/d (1)
【0031】
距離情報算出部224は、視差画像全体にわたり上記式(1)に従って、ステレオカメラ100から被写体までの距離Zを算出する。そして、算出部224は、各画素において算出した距離Zを輝度値で表した距離画像を生成する。ここで、距離画像は、一例として距離が近いほど輝度値が大きい画像である。算出部224は、距離画像を示す距離画像情報を立体物抽出部230と位置大きさ算出部240へ出力する。
【0032】
立体物抽出部230は、距離情報算出部220が算出した距離情報に基づいて、前記画像に含まれる立体物の画像領域を抽出する。以下、立体物抽出部230が、立体物の画像領域を抽出する処理の一例を説明する。
【0033】
立体物抽出部230は、ステレオカメラ100の路面からの設置高さは既知であるため、距離情報算出部220から入力された距離画像情報が示す距離画像における道路面を、自車近傍の既知の距離から連続的に遠方へ延びる平面として識別する。具体的には、例えば、立体物抽出部230は、距離画像の下端(車両1の近傍)から距離画像の上方に向かって順次輝度が変化する領域(例えば、順次輝度が低くなる領域)を道路面の画像領域として識別する。
【0034】
そして、立体物抽出部230は、距離画像において、道路面の画像領域から垂直に略同輝度の領域がある場合に、その領域を立体物の画像領域(以下、立体物オブジェクトとも称する)として識別する。具体的な処理の例は、後述する。また、その際、立体物抽出部230は、3次元的に道路面より下方の画像領域を、抽出対象の立体物オブジェクトから除外する。
立体物抽出部230は、抽出した立体物オブジェクトを位置大きさ算出部240へ出力する。
【0035】
位置大きさ算出部240は、距離情報算出部220から入力された距離画像上の輝度情報に基づいて、立体物抽出部230から入力された立体物オブジェクトについて、三次元モデルにおける位置及び大きさを算出する。換言すれば、位置大きさ算出部240は、立体物抽出部が抽出した立体物の画像領域について、距離情報算出部220が算出した距離情報に基づいて、三次元モデルにおける位置及び大きさを算出する。
ここで、位置大きさ算出部240は、三次元モデルにおける立体物オブジェクトの大きさの算出においては、ステレオカメラ100から立体物までの距離により距離画像上の物体の大きさが変わることを考慮して実際の立体物の大きさを算出する。
【0036】
具体的には、位置大きさ算出部240は、距離画像上の輝度値が示す距離すなわちステレオカメラ100から立体物までの距離に基づいて、相似計算により、実際の立体物の高さを算出する。例えば、位置大きさ算出部240は、以下の式に従って、実際の立体物の高さ(立体物高)hを算出する。
【0037】
h =h”×s/ s” (2)
【0038】
ここで、h”は画像中における立体物オブジェクトの高さ(像高)であり、sはステレオカメラ100から立体物までの距離(立体物距離)であり、s”は画像中におけるステレオカメラ100から立体物オブジェクトまでの距離(像距離)である。ここで、位置大きさ算出部240は、距離画像から像高h”と立体物距離sと像距離s”とを算出し、算出した像高h”と像距離sとを乗算し、乗算した結果を像距離s”で除算することで、立体物高hを算出する。
【0039】
そして、位置大きさ算出部240は、算出した立体物距離sに予め決められた変換率を乗じることにより、立体物オブジェクトの三次元モデルにおける位置を算出する。位置大きさ算出部240は、算出した立体物高hに予め決められた変換率を乗じることにより、立体物オブジェクトの三次元モデルにおける大きさを算出する。ここで、変換率は、三次元モデルに応じて、予め決められているものとする。
位置大きさ算出部240は、算出した立体物オブジェクトの三次元モデルにおける位置及び大きさを示す情報を三次元モデル合成部250へ出力する。
【0040】
特定画像領域検出部241は、Lカメラ101から入力された基準画像信号から予め決められた物(例えば、白線)の画像領域を抽出する。そして、特定画像領域検出部241は、抽出した画像領域の画像上の位置を検出する。ここで。特定画像領域検出部241は、白線検出部242を備える。
【0041】
白線検出部242は、Lカメラ101から入力された基準画像信号から道路上の白線の画像領域を検出し、検出した白線の画像領域の画像内における位置を示す白線位置情報を三次元モデル合成部250と予測軌道算出部262とへ出力する。ここで、道路上の白線とは、中央線または車道外側線などである。
【0042】
三次元モデル合成部250は、距離画像に応じた車両1の周辺の三次元モデルを生成する。そして、三次元モデル合成部250は、位置大きさ算出部240から入力された位置及び大きさを示す情報に基づいて、三次元モデルにおいて三次元の立体物オブジェクトを配置することにより、立体物の三次元情報を生成する。また、三次元モデル合成部250は、白線検出部242から入力された白線位置情報に基づいて、三次元モデルにおいて白線の画像領域を配置する。
【0043】
また、三次元モデル合成部250は、記憶部210に格納されている車両1の3次元オブジェクト(以下、車両三次元オブジェクトと称する)を読み出し、読み出した車両三次元オブジェクトを、立体物の三次元情報に合成する。具体的には、例えば、三次元モデル合成部250は、読み出し車両三次元オブジェクトに、予め決められた変換率を乗じることにより、大きさを変更した車両三次元オブジェクトを生成する。そして、三次元モデル合成部250は、一例として、大きさ変更後の車両三次元オブジェクトを、立体物が既に配置された三次元モデルの原点から予め決められた位置に配置する。
【0044】
ここで、車両1の3次元オブジェクトは、Lカメラ101の光軸と撮像面の交点を原点として、実際の車両1の形状を所望の寸法だけオフセットさせた形状または簡略化した形状である。
三次元モデル合成部250は、合成後の三次元モデルを接触判定部260へ出力する。
【0045】
接触判定部260は、自装置が搭載された車両1の予測軌道を取得し、取得した予測軌道と、三次元モデルにおける車両1の位置及び大きさと、立体物の三次元モデルにおける大きさ及び位置とに基づいて、三次元モデルにおいて予測軌道上で車両1が立体物に接触するか否か判定する。
【0046】
ここで、接触判定部260は、予測軌道算出部262と、判定部263とを備える。
予測軌道算出部262は、白線検出部が検出した白線の画像領域に基づいて、車両1の予測軌道を算出する。具体的には、例えば、予測軌道算出部262は、白線検出部242から入力された白線位置情報から、道路上の白線を滑らかに繋いだ曲線を算出する。そして、予測軌道算出部262は、一例として、算出した曲線を車両1のオブジェクトの重心の点を通るように平行移動することにより、車両1の予測軌道を算出する。予測軌道算出部262は、算出した車両1の予測軌道を判定部263へ出力する。
【0047】
判定部263は、予測軌道算出部262が算出した予測軌道と立体物の三次元モデルにおける大きさ及び位置とに基づいて、三次元モデルにおいて予測軌道上で車両1が立体物に接触するか否か判定する。
接触判定部260の判定部263が、三次元モデルにおいて予測軌道上で車両1が立体物に接触すると判定した場合、判定結果を接触量算出部270へ出力する。
このように、接触判定部260は、物体の形状と予測軌道の情報とに基づいて、少ない計算コストで、車両1と立体物が接触するか否かを判定することができる。
【0048】
また、接触判定部260の判定部263は、予測軌道変更部280が変更した予測軌道で、車両1が他の立体物に接触するか否か判定する。そして、判定部263は、判定結果を通過可否判定部290へ出力する。
【0049】
接触量算出部270は、接触判定部260が接触すると判定した場合、接触時に車両1と立体物とが接触する横幅である接触量を算出する。その際、接触量算出部270は、三次元モデルにおいて、車両1を予測軌道に従って、立体物オブジェクトの位置まで移動させた場合に、立体物オブジェクトと車両1とが重なる横幅を接触量として算出する。そして、接触量算出部270は、算出した接触量を示す接触量情報を予測軌道変更部280へ出力する。
【0050】
予測軌道変更部280は、接触量算出部270から入力された接触量情報が示す接触量に基づいて、車両1の予測軌道を変更する。具体的には、例えば、車両1の左側と立体物右側との接触が予測された場合、予測軌道変更部280は、接触予測地点を右側へ接触量だけ移動し、移動後の接触地点から車両1までを滑らかな結んだ曲線を変更後の予測軌道とする。予測軌道変更部280は、変更後の予測軌道を示す変更後予測軌道情報を接触判定部260の判定部263へ出力する。
【0051】
通過可否判定部290は、接触判定部260から入力された判定結果に基づいて、車両1が立体物の横を通過可能か否か判定する。より詳細には、通過可否判定部290は、接触判定部260により車両1が他の立体物に接触すると判定された場合、通過不可能と判定し、接触判定部260により車両1が他の立体物に接触しないと判定された場合、通過可能と判定する。そして、通過可否判定部290は、判定結果を示す判定結果情報を報知装置300へ出力する。
【0052】
<視差値算出部221の処理の説明>
続いて、図4を用いて、視差値算出部221の処理を説明する。図4は、ステレオカメラ100で撮像した各画像の一例である。同図において、Lカメラ101で撮像された基準画像41と、Rカメラ102で撮像された参照画像42とが示されている。
視差値算出部221は、図4で示す基準画像41の各点と対応する対応点を、参照画像42の探索領域から探索する。対応点の判定処理において、視差値算出部221は、基準画像41の各点である基準点を中心に小領域を抽出し、抽出した小領域と参照画像42の探索領域内の小領域とを比較する。
【0053】
図5は、基準画像41全体にわたり視差値の算出を行った場合において、各画素の視差値を示した図である。基準画像41全体にわたり視差値の算出を行った場合、その結果は同図に示されるグレースケールの視差画像43として表される。ここで、同図の視差画像43の明るい領域は、視差値が大きく相対的に近い距離にある物体を示し、暗い領域は遠くにある物体を示している。
【0054】
<立体物抽出部230の処理の説明>
続いて、図6〜図8を用いて、立体物抽出部230の処理の詳細について説明する。図6は、立体物抽出部230により識別された道路面の一例を示した図である。同図において、車両1から撮像された画像51において、車線の画像領域53から下の画像領域が道路面の画像領域52が示されている。立体物抽出部230は、自車両近傍から画像上方に向かって段階的に視差値が変化する画像領域を道路面の画像領域として識別する。
【0055】
図7は、車線が示された基準画像の一例である。同図において、前方左側の車線の画像領域53と前方右側の車線の画像領域54とが示されている。
なお、立体物抽出部230は、図7に示すように、基準画像を水平方向に観察した時に現れるところの、黒―白―黒の道路面特有の画像パターンである中央線又は路側境界線などの白線を利用して、道路面の画像領域を識別してもよい。
【0056】
図8は、基準画像とその基準画像に対応する距離画像の一例が示された図である。同図において、基準画像62と、その基準画像62に対応する距離画像61が示されている。また、距離画像61において、四角61aで囲まれた画像領域は、視差算出可能な距離範囲内の立体物の画像領域である。ここで、視差算出可能な距離範囲は、ステレオカメラ100の基線長によって定められている。
【0057】
同図に示すように、立体物の多くは、細かい凹凸はあるものの道路面から垂直に立っており、各立体物を構成する領域は、ステレオカメラ100からの距離が同じである。ゆえに、立体物抽出部230は、距離画像の中で縦方向に輝度が同じ領域を、立体物オブジェクトとして識別する。その際、立体物抽出部230は、道路面の画像領域と認識した画像領域から画面上方に視差値が同じ領域を立体物オブジェクトとして識別する。
【0058】
図9は、距離画像から立体物を抽出する処理を説明するための図である。同図において、距離画像の模式図63中に、立体物の一例であるトラックの画像領域63Aが示されている。
また、立体物の画像領域が抽出された結果を示す模式図64において、10個の柵の画像領域をそれぞれ点線で囲った領域64_1〜64_10と、トラックの画像領域63Bを点線で囲った領域65とが示されている。領域65の左上の座標が(X1,Y1)で、右下の端の座標が(X2,Y2)であることが示されている。また、Zは各画素における輝度値である。
【0059】
立体物抽出部230は、図9の距離画像63の例の場合、距離画像63から立体物の画像領域を抽出すると、図9に示された10個の柵の画像領域をそれぞれ点線で囲った領域64_1〜64_10と、トラックの画像領域63Bを点線で囲った領域65とが抽出される。
【0060】
図10は、基準画像から白線の画像領域を抽出する処理を説明するための図である。同図において、基準画像の模式図65中に、立体物の一例であるトラックの画像領域65Aが示されている。また、白線の画像領域が抽出された結果を示す模式図66において、中央線の画像領域66_1と車道外側線の画像領域66_2及び66_3と、トラックの画像領域66Aとが示されている。
【0061】
白線検出部242は、図10の基準画像64の例の場合、基準画像64から白線の画像領域を抽出すると、図10に示された中央線の画像領域66_1と車道外側線の画像領域66_2及び66_3とが抽出される。
【0062】
<位置大きさ算出部240の処理の説明>
図11は、三次元モデルにおいて立体物オブジェクトは配置する処理について説明するための図である。同図において、XYZの三次元空間を示す三次元モデル67において、トラックを示す矩形の画像領域67Aと、10個の柵を示す矩形の画像領域67_1〜67_10と、中央線の画像領域68_1と、車道外側線の画像領域68_2及び68_3とが示されている。
【0063】
位置大きさ算出部240は、例えば、距離画像において、抽出された立体物の矩形の画像領域のX座標、Y座標及び輝度値Zに基づいて、三次元モデルにおける位置と大きさを算出する。
図11の三次元モデル67の例では、位置大きさ算出部240は、例えば、三次元モデル67におけるトラックを示す矩形の画像領域67Aの位置と、三次元モデル67におけるトラックを示す矩形の画像領域67Aの幅及び高さを算出する。
【0064】
<三次元モデル合成部250の処理の説明>
また、三次元モデル合成部250は、距離画像から立体物の奥行きを算出し、算出した奥行きに基づいて、三次元モデルにおける立体物の奥行きを相似計算により算出する。そして、三次元モデル合成部250は、算出した三次元モデルにおける位置と大きさ及び三次元モデルにおける立体物の奥行きに従って、立体物オブジェクトを3次元モデルに配置する。
ここで、三次元モデル合成部250は、距離画像から立体物の奥行きを得られない場合は、三次元モデル合成部250は、図11のトラックを示す矩形の画像領域67Aのように、3次元モデルでは奥行き(厚み)のないサーフェイスモデルとして扱う。
【0065】
図12は、三次元モデル合成部250の処理例を示す図である。同図において、三次元モデル71において、立体物の三次元オブジェクト72が示されている。また、三次元モデル73において、立体物の三次元オブジェクト72と車両1の三次元オブジェクト74Aとが示されている。すなわち、三次元モデル73は、三次元モデル71に、車両1の三次元オブジェクト74Aが追加されたものである。
【0066】
図13は、三次元モデルにおいて車両1と立体物が接触する場合の処理を説明するための図である。三次元モデル75において立体物の三次元オブジェクト72と、車両1の三次元オブジェクト74Bとが点線で囲まれた領域で重なっていることが示されている。この三次元モデル75は、図12の三次元モデル73における車両1の三次元オブジェクト74Aが白線の軌道を示す矢印75Aに基づく予測軌道に沿って移動したときの図である。
【0067】
同図の三次元モデル76において、予測軌道を変更した結果、立体物の三次元オブジェクト72と、車両1の三次元オブジェクト74Cとが重なっていないことが示されている。この場合、車両1の三次元オブジェクト74Cは他の立体物の三次元オブジェクトとの接触もないので、接触判定部260は、三次元モデル76において、車両1は他の立体物と接触しないと判定する。
【0068】
同図の三次元モデル77において、予測軌道を変更した結果、立体物の三次元オブジェクト72と、車両1の三次元オブジェクト74Cとが重なっていないことが示されている。しかし、立体物の三次元オブジェクト72と、他の立体物の三次元オブジェクト78とが点線の領域において重なっていることが示されている。この場合、車両1の三次元オブジェクト74Cは他の立体物の三次元オブジェクトと接触しているので、接触判定部260は、三次元モデル77において、車両1は他の立体物と接触すると判定する。
【0069】
図14は、桁下通過する場合の三次元モデル80の一例である。同図の三次元モデル80において、車両1の三次元オブジェクト81と、トンネルの三次元オブジェクト82とが点線で囲まれた領域において接触することが示されている。この場合、車両1の三次元オブジェクト81はトンネルの三次元オブジェクト82と接触しているので、接触判定部260は、三次元モデル80において、車両1はトンネルと接触すると判定する。そして、通過可否判定部290は、車両1の上部と立体物とが接触するので、通過不可能と判断する。
【0070】
図15は、本実施形態における画像処理装置200の処理の一例を示すフローチャートである。まず、視差値算出部221は、基準画像信号に含まれる各画素において視差値を算出する(ステップS101)。次に、距離情報算出部220は、視差値と基線長と焦点距離とに基づいて、基準画像の画素毎に、ステレオカメラ100と被写体との距離を算出することにより距離画像を生成する(ステップS102)。次に、立体物抽出部230は、距離画像から立体物の画像領域を抽出する(ステップS103)。
【0071】
次に、位置大きさ算出部240は、立体物の三次元モデルにおける位置及び大きさを算出する(ステップS104)。次に、三次元モデル合成部250は、立体物の三次元モデルを立体物の三次元モデルに合成する(ステップS105)。次に、三次元モデル合成部250は、車両1の三次元モデルを立体物の三次元モデルに合成する(ステップS106)。
【0072】
次に、白線検出部242は、基準画像信号から白線の画像領域を検出する(ステップS107)。次に、予測軌道算出部262は、検出した白線の画像領域に基づいて、車両1の予測軌道を算出する(ステップS108)。次に、接触判定部260は、予測軌道上で車両1が立体物に接触するかいなか判定する(ステップS109)。接触判定部260が予測軌道上で車両1が立体物に接触しないと判定した場合(ステップS109 NO)、通過可否判定部290は通行可能と判定する(ステップS114)。一方、接触判定部260が予測軌道上で車両1が立体物に接触すると判定した場合(ステップS109 YES)、接触量算出部270は、接触量を算出する(ステップS110)。次に、予測軌道変更部280は、接触量算出部270が算出した接触量に基づいて、予測軌道を変更する(ステップS111)。
【0073】
次に、接触判定部260は、変更後の予測軌道上で車両1が他の立体物と接触するか否か判定する(ステップS112)。接触判定部260が、変更後の予測軌道上で車両1が他の立体物と接触すると判定した場合(ステップS112 YES)、通過可否判定部290は、通行不可能と判定する(ステップS113)。一方、接触判定部260が、変更後の予測軌道上で車両1が他の立体物と接触しないと判定した場合(ステップS112 NO)、通過可否判定部290は、通行可能と判定する(ステップS114)。以上で、本フローチャートの処理を終了する。
【0074】
<効果>
本実施形態の画像処理装置200は、車両1が障害物近傍を通過する前に進行方向に存在する様々な障害物を検出する。そして、画像処理装置200は、三次元モデル上で車両1を予測軌道に従って移動させることにより、検出した障害物と車両1がその後に接触するか否かを判定する。そして、画像処理装置200は、障害物と車両1がその後に接触する場合、画像処理装置200は、接触量に基づいて予測軌道を変更し、三次元モデル上で車両1を変更後の予測軌道に従って移動させた場合、車両1と他の障害物が接触するか否かを判定する。
【0075】
そして、画像処理装置200は、車両1と他の障害物が接触する場合、報知装置300は、前方の立体物の横を通行不可能であることを示す警告表示または警告音を出力する。
これにより、報知装置300は、車両1の運転者に前方の障害物の横を通行不能であるか否かを知らせることができるので、運転支援装置10は、運転者の負担を軽減しつつ安全を確保することができる。
【0076】
また、画像処理装置200の予測軌道算出部262は。白線から予測軌道を推定したので、車両が横を向いていても正確に立体物との接触量を算出できる。そして、画像処理装置200は、正確に算出された接触量に基づいて予測軌道を変更する。その結果、車両1はその変更した予測軌道に沿って走行するので、立体物を確実に避けることができる。
【0077】
また、特許文献1に記載された方法では、桁下通過など上方に障害物がある際に、自車両の通過可否判定ができないという問題があった。
それに対し、本実施形態の運転支援装置10は、自車両上方の障害物に対しても同様に通過可否を運転者に報知する。これにより、運転支援装置10は、運転者の負担を軽減しつつ安全を確保することができる。
【0078】
なお、本実施形態の画像処理装置200は、車両を後退させ立体駐車場など車両上方に障害物が存在する建造物へ駐車する際にも、車両後方を監視するステレオカメラを備えることで同様に立体物を検出し、その立体物に接触するか否か判定してもよい。これにより、画像処理装置200は、駐車可否を判定することができ、報知装置300は、運転者へ駐車可否を報知することができる。
【0079】
また、本実施形態の画像処理装置200は、道路の傾きに基づいて、接触量を算出してもよい。道路が傾いていると、立体物も車両も傾くことから、傾いていないときに比べて接触量が異なる場合があるかである。具体的には、画像処理装置200は、道路の傾きを算出し、算出した道路の傾きだけ道路が傾いている三次元モデルを生成する。そして、画像処理装置200は、生成した三次元モデルにおいて、予測軌道上で車両を動かしたときに、立体物と接触する接触量を算出する。そして、画像処理装置200は、算出した接触量に基づいて、予測軌道を変更する。
【0080】
これにより、画像処理装置200は、道路の傾きを考慮して接触量を算出するので、正確に接触量を算出することができる。このため、画像処理装置200は、接触量を算出した立体物を確実に回避することができるように予測軌道を変更することができるので、立体物との接触を確実に回避することができる。
【0081】
また、本実施形態の画像処理装置200の予測軌道算出部262は、白線の画像領域から車両1の軌道を予測したが、これに限ったものではない。画像処理装置200の予測軌道算出部262は、ガードレールの画像領域または道路の周りにある壁または街路樹の画像領域から車両1の軌道を予測してもよい。
その場合、特定画像領域検出部241は、Lカメラ101から入力された基準画像信号からガードレールの画像領域または道路の周りにある壁または街路樹の画像領域を抽出し、抽出した画像領域が示す画像上の位置を示す位置情報を予測軌道算出部262に出力すればよい。
【0082】
なお、本実施形態では、移動体の一例として車両について説明したが、これに限らず、移動体であればよく、飛行体であってもよい。
【0083】
また、本実施形態の画像処理装置200の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、画像処理装置200に係る上述した種々の処理を行ってもよい。
【0084】
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【0085】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【0086】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0087】
1 車両
10 運転支援装置
100 ステレオカメラ
101 Lカメラ
102 Rカメラ
200 画像処理装置
210 記憶部
220 距離情報算出部
221 視差値算出部
222 基線長取得部
223 焦点距離取得部
224 算出部
230 立体物抽出部
240 位置大きさ算出部
241 特定画像領域検出部
242 白線検出部
250 三次元モデル合成部(移動体位置大きさ取得部)
260 接触判定部
262 予測軌道算出部
263 判定部
270 接触量算出部
280 予測軌道変更部
290 通過可否判定部
300 報知装置

【特許請求の範囲】
【請求項1】
移動体の予測軌道と、三次元モデルにおける前記移動体の位置及び大きさと、前記三次元モデルにおける立体物の大きさ及び位置とに基づいて、前記三次元モデルにおいて予測軌道上で前記移動体が前記立体物に接触するか否か判定する接触判定部を備えることを特徴とする画像処理装置。
【請求項2】
ステレオカメラが被写体を撮像することにより得られた画像信号に基づいて、該ステレオカメラから前記被写体までの距離を示す距離情報を算出する距離情報算出部と、
前記距離情報算出部が算出した距離情報に基づいて、前記画像に含まれる立体物の画像領域を抽出する立体物抽出部と、
前記立体物抽出部が抽出した立体物の画像領域について、前記距離情報算出部が算出した距離情報に基づいて、三次元モデルにおける前記立体物の位置及び大きさを算出する立体物位置大きさ算出部と、
前記三次元モデルにおける前記移動体の位置及び大きさを取得する移動体位置大きさ取得部と、
を備えることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記接触判定部が接触すると判定した場合、接触時に前記移動体と前記立体物とが接触する横幅である接触量を算出する接触量算出部と、
前記接触量算出部が算出した接触量に基づいて、前記移動体の予測軌道を変更する予測軌道変更部と、
前記接触判定部は、前記予測軌道変更部が変更した予測軌道で、前記移動体が他の立体物に接触するか否か判定することを特徴とする請求項1または請求項2に記載の画像処理装置。
【請求項4】
前記接触判定部が判定した結果に基づいて、前記移動体が前記立体物の横を通過可能か否か判定する通過可否判定部を備えることを特徴とする請求項3に記載の画像処理装置。
【請求項5】
画像信号から特定の画像領域を検出する特定画像領域検出部を備え、
前記接触判定部は、
前記特定画像領域検出部が検出した特定の画像領域に基づいて、前記移動体の予測軌道を算出する予測軌道算出部と、
前記予測軌道算出部が算出した予測軌道と前記立体物の前記三次元モデルにおける大きさ及び位置とに基づいて、前記三次元モデルにおいて前記予測軌道上で前記移動体が前記立体物に接触するか否か判定する判定部と、
を備えることを特徴とする請求項1から請求項4のいずれか一項に記載の画像処理装置。
【請求項6】
前記距離情報算出部は、
前記画像信号からステレオマッチングにより視差を算出する視差値算出部と、
前記ステレオカメラを構成するカメラ間の間隔である基線長を取得する基線長取得部と、
前記ステレオカメラの焦点距離を取得する焦点距離取得部と、
前記視差値算出部が算出した視差値と、前記基線長取得部が取得した基線長と、前記焦点距離取得部が取得した焦点距離とに基づいて、前記距離情報を算出する算出部と、
を備えることを特徴とする請求項2に記載の画像処理装置。
【請求項7】
予め決められた間隔で、互いの光軸が平行である少なくとも一対のカメラを有するステレオカメラと、
請求項1に記載の画像処理装置と、
前記画像処理装置が判定した結果に基づいて、自装置の外部に報知する報知装置と、
を備えることを特徴とする運転支援装置。
【請求項8】
画像処理装置が実行する画像処理方法であって、
移動体の予測軌道と、三次元モデルにおける前記移動体の位置及び大きさと、前記三次元モデルにおける立体物の大きさ及び位置とに基づいて、前記三次元モデルにおいて予測軌道上で前記移動体が前記立体物に接触するか否か判定する接触判定手順を有することを特徴とする画像処理方法。
【請求項9】
コンピュータに、
移動体の予測軌道と、三次元モデルにおける前記移動体の位置及び大きさと、前記三次元モデルにおける立体物の大きさ及び位置とに基づいて、前記三次元モデルにおいて予測軌道上で前記移動体が前記立体物に接触するか否か判定する接触判定ステップを実行させるための画像処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図11】
image rotate

【図15】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2013−114610(P2013−114610A)
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2011−262752(P2011−262752)
【出願日】平成23年11月30日(2011.11.30)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】