移動距離検出装置及び移動距離検出方法
【課題】移動距離の算出精度を向上させることが可能な移動距離検出装置及び移動距離検出方法を提供する。
【解決手段】移動距離検出措置1は、所定領域を撮像するカメラ10と、カメラ10の撮像画像のデータを入力する計算機30とを備えている。計算機30は、カメラ10による撮像にて得られた所定領域の画像を鳥瞰視される状態へ視点変換し、視点変換された異なる時刻の鳥瞰画像データの位置を合わせる。また、計算機30は、位置合わせされた鳥瞰画像データの差分画像データに基づいて、立体物を検出する。また、計算機30は、視点変換により立体物が倒れ込む方向に沿って、差分画像データ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形を生成し、当該差分波形の時間変化から立体物の移動距離を算出する。
【解決手段】移動距離検出措置1は、所定領域を撮像するカメラ10と、カメラ10の撮像画像のデータを入力する計算機30とを備えている。計算機30は、カメラ10による撮像にて得られた所定領域の画像を鳥瞰視される状態へ視点変換し、視点変換された異なる時刻の鳥瞰画像データの位置を合わせる。また、計算機30は、位置合わせされた鳥瞰画像データの差分画像データに基づいて、立体物を検出する。また、計算機30は、視点変換により立体物が倒れ込む方向に沿って、差分画像データ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形を生成し、当該差分波形の時間変化から立体物の移動距離を算出する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動距離検出装置及び移動距離検出方法に関する。
【背景技術】
【0002】
従来、車両周辺における立体物の検出、及び、立体物が静止しているか移動しているかを検出する車両周辺監視装置が提案されている。この車両周辺監視装置は、異なる時刻に撮像された2枚の画像を鳥瞰図に変換し、2枚の鳥瞰図の位置合わせを行う。そして、車両周辺監視装置は、位置合わせ後の2枚の画像について差分をとり、不一致部分を立体物として検出する。さらに、車両周辺監視装置は、不一致部分のうち自車両に最も近い点を立体物の接地点として検出し、接地点の位置変化から立体物が静止しているか移動しているかを検出する(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−219063号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、撮像画像を鳥瞰画像に変換した場合、立体物については倒れ込みが生じることが知られている。このため、特許文献1に記載の立体物検出装置において、立体物の移動距離を検出しようとすると、その移動距離の検出精度が決して高いとはいえない。すなわち、特許文献1に記載の車両周辺監視装置では、接地点を検出しているため、移動距離を求める場合には接地点の移動量から移動距離を算出することとなる。しかし、移動前に接地点として検出された箇所と、移動後に接地点として検出された箇所とが立体物において同じ箇所でない場合には、算出された移動距離が正しいものではなくなってしまう。具体的に説明すると、移動前に接地点として検出された箇所が他車両のタイヤ下端であり、移動後に接地点として検出された箇所がバンパーであった場合など、車両の同じ箇所に基づいて移動距離を算出しておらず、算出された移動距離は正しいものとはいえない。
【0005】
本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、移動距離の算出精度を向上させることが可能な移動距離検出装置及び移動距離検出方法を提供することにある。
【課題を解決するための手段】
【0006】
本発明の移動距離検出装置は、所定領域を撮像する撮像手段と、撮像手段による撮像にて得られた異なる時刻の所定領域の画像を、鳥瞰視上で位置を合わせる位置合わせ手段と、位置合わせ手段により位置合わせされた異なる時刻の画像データの差分画像データに基づいて、立体物を検出する立体物検出手段と、を備え、立体物検出手段は、所定領域の画像を鳥瞰視に視点変換した際に立体物が倒れ込む方向に沿って、差分画像データ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形を生成し、当該差分波形の時間変化から立体物の移動距離を算出することを特徴とする。
【発明の効果】
【0007】
本発明によれば、視点変換により立体物が倒れ込む方向に沿って、差分画像データ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形を生成する。ここで、差分画像データ上において所定の差分を示す画素とは、異なる時刻の画像において変化があった画素であり、言い換えれば立体物が存在した箇所であるといえる。この
ため、立体物が存在した箇所において、立体物が倒れ込む方向に沿って画素数をカウントして度数分布化することで差分波形を生成することとなる。特に、立体物が倒れ込む方向に沿って画素数をカウントすることから、立体物に対して高さ方向の情報から差分波形を生成することとなる。そして、高さ方向の情報を含む差分波形の時間変化から立体物の移動距離を算出する。このため、単に1点の移動のみに着目するような場合と比較して、時間変化前の検出箇所と時間変化後の検出箇所とは高さ方向の情報を含んで特定されるため立体物において同じ箇所となり易く、同じ箇所の時間変化から移動距離を算出することとなり、移動距離の算出精度を向上させることができる。
【図面の簡単な説明】
【0008】
【図1】本実施形態に係る移動距離検出装置の概略構成図であって、移動距離検出装置が車両に搭載される場合の例を示している。
【図2】図1に示した車両の走行状態を示す上面図である。
【図3】図1に示した計算機の詳細を示すブロック図である。
【図4】図3に示した位置合わせ部の処理の概要を示す上面図であり、(a)は車両の移動状態を示し、(b)は位置合わせの概要を示している。
【図5】図3に示した立体物検出部による差分波形の生成の様子を示す概略図である。
【図6】図3に示した立体物検出部によって分割される小領域を示す図である。
【図7】図3に示した立体物検出部により得られるヒストグラムの一例を示す図である。
【図8】図3に示した立体物検出部による重み付けを示す図である。
【図9】図3に示したスミア検出部による処理、及び、それによる差分波形の算出処理を示す図である。
【図10】図3に示した立体物検出部により得られるヒストグラムの他の例を示す図である。
【図11】本実施形態に係る移動距離検出方法を示すフローチャートであって、前半部分の処理を示している。
【図12】本実施形態に係る移動距離検出方法を示すフローチャートであって、後半部分の処理を示している。
【発明を実施するための形態】
【0009】
以下、本発明の好適な実施形態を図面に基づいて説明する。図1は、本実施形態に係る移動距離検出装置1の概略構成図であって、移動距離検出装置1が車両Vに搭載される場合の例を示している。図1に示すように、移動距離検出装置1は、カメラ(撮像手段)10と、車速センサ20と、計算機30とを備えている。
【0010】
図1に示すカメラ10は、車両Vの後方における高さhの箇所において、光軸が水平から下向きに角度θとなるように取り付けられている。カメラ10は、この位置から所定領域を撮像するようになっている。車速センサ20は、車両Vの走行速度を検出するものであって、例えば車輪に回転数を検知する車輪速センサで検出した車輪速から速度を算出する。計算機30は、車両後方側の立体物について移動距離及び移動速度を算出するものである。
【0011】
図2は、図1に示した車両Vの走行状態を示す上面図である。図2に示すように、カメラ10は、所定の画角aで車両後方側を撮像する。このとき、カメラ10の画角内には自車両Vが走行する車線に加えて、その左右の車線についても撮像可能となっている。
【0012】
図3は、図1に示した計算機30の詳細を示すブロック図である。なお、図3においては、接続関係を明確とするためにカメラ10及び車速センサ20についても図示するもの
とする。
【0013】
図3に示すように、計算機30は、視点変換部(変換手段)31と、位置合わせ部(位置合わせ手段)32と、立体物検出部(立体物検出手段)33とを備えている。
【0014】
視点変換部31は、カメラ10による撮像にて得られた所定領域の撮像画像データを入力し、入力した撮像画像データを鳥瞰視される状態の鳥瞰画像データに視点変換するものである。鳥瞰視される状態とは、上空から例えば鉛直下向きに見下ろす仮想カメラの視点から見た状態である。この視点変換は、例えば特開2008−219063号公報に記載さるようにして実行される。
【0015】
位置合わせ部32は、視点変換部31の視点変換により得られた鳥瞰画像データを順次入力し、入力した異なる時刻の鳥瞰画像データの位置を合わせるものである。図4は、図3に示した位置合わせ部32の処理の概要を示す上面図であり、(a)は車両Vの移動状態を示し、(b)は位置合わせの概要を示している。
【0016】
図4(a)に示すように、現時刻の自車両VがV1に位置し、一時刻前の自車両VがV2に位置しているとする。また、自車両Vの後側方向に他車両Vが位置して自車両Vと並走状態にあり、現時刻の他車両VがV3に位置し、一時刻前の他車両VがV4に位置しているとする。さらに、自車両Vは、一時刻で距離d移動したものとする。なお、一時刻前とは、現時刻から予め定められた時間(例えば1制御周期)だけ過去の時刻であっても良いし、任意の時間だけ過去の時刻であっても良い。
【0017】
このような状態において、現時刻における鳥瞰画像PBtは図4(b)に示すようになる。この鳥瞰画像PBtでは、路面上に描かれる白線については矩形状となり、比較的正確に上面視された状態となっているが、他車両V3については倒れ込みが発生している。また、一時刻前における鳥瞰画像PBt−1についても同様に、路面上に描かれる白線については矩形状となり、比較的正確に上面視された状態となっているが、他車両V4については倒れ込みが発生している。
【0018】
位置合わせ部32は、上記のような鳥瞰画像PBt,PBt−1の位置合わせをデータ上で実行する。この際、位置合わせ部32は、一時刻前における鳥瞰画像PBt−1をオフセットさせ、現時刻における鳥瞰画像PBtと位置を一致させる。オフセット量d’は、図4(a)に示した移動距離dに対応するだけの量となり、車速センサ20からの信号と一時刻前から現時刻までの時間に基づいて決定される。
【0019】
また、位置合わせ後において位置合わせ部32は、鳥瞰画像PBt,PBt−1の差分ととり、差分画像PDtのデータを生成する。ここで、差分画像PDtの画素値は、鳥瞰画像PBt,PBt−1の画素値の差を絶対値化したものでもよいし、照度環境の変化に対応するために当該絶対値が所定の閾値を超えたときに「1」とし、超えないときに「0」としてもよい。
【0020】
再度、図3を参照する。立体物検出部33は、図4に示したような差分画像PDtのデータに基づいて立体物を検出する。この際、立体物検出部33は、実空間上における立体物の移動距離についても算出する。移動距離の算出にあたり立体物検出部33は、まず差分波形を生成する。
【0021】
差分波形の生成にあたって立体物検出部33は、差分画像PDtにおいて検出領域を設定する。具体的には図2に示すように、本実施形態における検出領域A1,A2は、自車両Vの後側方に矩形状に設定される。なお、本実施形態における移動距離検出装置1は、
自車両Vが車線変更する際に接触の可能性がある他車両について移動距離を算出する目的のものである。このため、検出領域A1,A2は、自車両Vの後側方に設定される。
【0022】
このような検出領域A1,A2は、自車両Vに対する相対位置から設定されてもよいし、白線の位置を基準に設定されてもよい。白線の位置を基準に設定する場合、移動距離検出装置1は、例えば既存の白線認識技術等を利用するとよい。また、立体物検出部33は、設定した検出領域A1,A2の自車両V側における辺(走行方向に沿う辺)を接地線L1,L2として認識する。一般に接地線は立体物が地面に接触する線を意味するが、本実施形態では地面に接触する線でなく上記の如くに設定される。なお、この場合であっても、経験上、本実施形態に係る接地線と、本来の他車両Vの位置から求められる接地線との差は大きくなり過ぎず、実用上は問題が無い。
【0023】
図5は、図3に示した立体物検出部33による差分波形の生成の様子を示す概略図である。図5に示すように、立体物検出部33は、差分画像PDtのうち検出領域A1,A2に相当する部分から、差分波形DWtを生成する。この際、立体物検出部33は、視点変換により立体物が倒れ込む方向に沿って、差分波形DWtを生成する。なお、図5に示す例では、便宜上検出領域A1のみを用いて説明する。
【0024】
具体的に説明すると、まず立体物検出部33は、差分画像DWtのデータ上において立体物が倒れ込む方向上の線Laを定義する。そして、立体物検出部33は、線La上において所定の差分を示す差分画素DPの数をカウントする。ここで、所定の差分を示す差分画素DPは、差分画像DWtの画素値が鳥瞰画像PBt,PBt−1の画素値の差を絶対値化したものである場合、所定の閾値を超える画素であり、差分画像DWtの画素値が「0」「1」で表現されている場合、「1」を示す画素である。
【0025】
立体物検出部33は、差分画素DPの数をカウントした後、線Laと接地線L1との交点CPを求める。そして、立体物検出部33は、交点CPとカウント数とを対応付け、交点CPの位置に基づいて横軸位置(図5の紙面上下方向軸における位置)を決定し、カウント数から縦軸位置(図5の紙面左右方向軸における位置)を決定する。
【0026】
以下同様に、立体物検出部33は、立体物が倒れ込む方向上の線を定義して、差分画素DPの数をカウントし、交点CPの位置に基づいて横軸位置を決定し、カウント数(差分画素DPの数)から縦軸位置を決定する。立体物検出部33は、上記を順次繰り返して度数分布化することで差分波形DWtを生成する。
【0027】
なお、図5に示すように、立体物が倒れ込む方向上の線Laと線Lbとは検出領域A1と重複する距離が異なっている。このため、検出領域A1が差分画素DPで満たされているとすると、線Lb上よりも線La上の方が差分画素DPの数が多くなってしまう。このため、立体物検出部33は、差分画素DPのカウント数から縦軸位置を決定する場合、立体物が倒れ込む方向上の線La,Lbと検出領域A1とが重複する距離に基づいて正規化する。具体例を挙げると、図5において線La上の差分画素DPは6つあり、線Lb上の差分画素DPは5つである。このため、図5においてカウント数から縦軸位置を決定するにあたり、立体物検出部33は、カウント数を重複距離で除算するなどして正規化する。これにより、差分波形DWtに示すように、立体物が倒れ込む方向上の線La,Lbに対応する差分波形DWtの値はほぼ同じとなっている。
【0028】
差分波形DWtの生成後、立体物検出部33は一時刻前の差分波形DWt−1との対比により移動距離を算出する。すなわち、立体物検出部33は、差分波形DWt,DWt−1の時間変化から移動距離を算出する。
【0029】
詳細に説明すると、立体物検出部33は、差分波形DWtを複数の小領域DWt1〜DWtn(nは2以上の任意の整数)に分割する。図6は、図3に示した立体物検出部33によって分割される小領域DWt1〜DWtnを示す図である。小領域DWt1〜DWtnは、例えば図6に示すように、互いに重複するようにして分割される。例えば小領域DWt1と小領域DWt2とは重複し、小領域DWt2と小領域DWt3とは重複する。
【0030】
次いで、立体物検出部33は、小領域DWt1〜DWtn毎にオフセット量(差分波形の横軸方向の移動量)を求める。ここで、オフセット量は、一時刻前における差分波形DWt−1と現時刻における差分波形DWtとの差(横軸方向の距離)から求められる。この際、立体物検出部33は、各小領域DWt1〜DWtn毎に、一時刻前における差分波形DWt−1を横軸方向に移動させた際に、現時刻における差分波形DWtとの誤差が最小となる位置(横軸方向の位置)を判定し、差分波形DWt−1の元の位置と誤差が最小となる位置との横軸方向の移動量をオフセット量として求める。そして、立体物検出部33は、小領域DWt1〜DWtn毎に求めたオフセット量をカウントしてヒストグラム化する。
【0031】
図7は、図3に示した立体物検出部33により得られるヒストグラムの一例を示す図である。図7に示すように、各小領域DWt1〜DWtnと一時刻前における差分波形DWt−1との誤差が最小となる移動量であるオフセット量には、多少のバラつきが生じる。このため、立体物検出部33は、バラつきを含んだオフセット量をヒストグラム化し、ヒストグラムから移動距離を算出する。この際、立体物検出部33は、ヒストグラムの極大値から立体物の移動距離を算出する。すなわち、図7に示す例において立体物検出部33は、移動距離をτ*と算出する。この移動距離τ*は、自車両Vに対する他車両Vの相対移動距離である。このため、立体物検出部33は、絶対移動距離を算出する場合、得られた移動距離τ*と車速センサ20からの信号とに基づいて、絶対移動距離を算出することとなる。
【0032】
なお、ヒストグラム化にあたり立体物検出部33は、複数の小領域DWt1〜DWtn毎に重み付けをし、小領域DWt1〜DWtn毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化することが望ましい。図8は、図3に示した立体物検出部33による重み付けを示す図である。
【0033】
図8に示すように、小領域DWm(mは1以上n−1以下の整数)は平坦となっている。すなわち、小領域DWmは所定の差分を示す画素数のカウントの最大値と最小値との差が小さくなっている。立体物検出部33は、このような小領域DWmについて重みを小さくする。平坦な小領域DWmについては、特徴がなくオフセット量の算出にあたり誤差が大きくなる可能性が高いからである。
【0034】
一方、小領域DWm+k(kはn−m以下の整数)は起伏に富んでいる。すなわち、小領域DWmは所定の差分を示す画素数のカウントの最大値と最小値との差が大きくなっている。立体物検出部33は、このような小領域DWmについて重みを大きくする。起伏に富む小領域DWm+kについては、特徴的でありオフセット量の算出を正確に行える可能性が高いからである。このように重み付けすることにより、移動距離の算出精度を向上することができる。
【0035】
なお、移動距離の算出精度を向上するために上記実施形態では差分波形DWtを複数の小領域DWt1〜DWtnに分割しているが、高い移動距離の算出精度が要求されない場合はこれに限らず、小領域DWt1〜DWtnに分割しなくともよい。この場合、立体物検出部33は、差分波形DWtと差分波形DWt−1との誤差が最小となるときの差分波形DWtのオフセット量から移動距離を算出することとなる。すなわち、一時刻前におけ
る差分波形DWt−1と現時刻における差分波形DWtとのオフセット量を求める方法は上記内容に限定されない。
【0036】
再度、図3を参照する。計算機30はスミア検出部(スミア検出手段)34をさらに備えている。スミア検出部34は、カメラ10による撮像によって得られた撮像画像のデータからスミアの発生領域を検出するものである。
【0037】
図9は、図3に示したスミア検出部34による処理、及び、それによる差分波形DWtの算出処理を示す図である。まずスミア検出部34にはスミアSが存在する撮像画像Pのデータが入力されたとする。このとき、スミア検出部34は、撮像画像PからスミアSを検出する。
【0038】
スミアSの検出方法は様々であるが、例えば一般的なCCD(Charge-Coupled Device
)カメラの場合、光源から画像下方向にだけスミアSが発生する。このため、本実施形態では画像下側から画像上方に向かって所定値以上の輝度値を持ち、且つ、縦方向に連続した領域を検索し、これをスミアSの発生領域と特定する。
【0039】
また、スミア検出部34は、スミアSの発生箇所について画素値を「1」とし、それ以外の箇所を「0」とするスミア画像SPのデータを生成する。生成後、スミア検出部34はスミア画像SPのデータを視点変換部31に送信する。
【0040】
また、スミア画像SPのデータを入力した視点変換部31は、このデータを鳥瞰視される状態に視点変換する。これにより、視点変換部31はスミア鳥瞰画像SBtのデータを生成する。生成後、視点変換部31はスミア鳥瞰画像SBtのデータを位置合わせ部33に送信する。また、視点変換部31は一時刻前のスミア鳥瞰画像SBt−1のデータを位置合わせ部33に送信する。
【0041】
位置合わせ部33は、スミア鳥瞰画像SBt,SBt−1の位置合わせをデータ上で実行する。具体的な位置合わせについては、鳥瞰画像PBt,PBt−1の位置合わせをデータ上で実行する場合と同様である。また、位置合わせ後、位置合わせ部33は、各スミア鳥瞰画像SBt,SBt−1のスミアSの発生領域について論理和をとる。これにより、位置合わせ部33は、マスク画像MPのデータを生成する。生成後、位置合わせ部33は、マスク画像MPのデータを立体物検出部33に送信する。
【0042】
立体物検出部33は、マスク画像MPのうちスミアSの発生領域に該当する箇所について、度数分布のカウント数をゼロとする。すなわち、図9に示すような差分波形DWtが生成されていた場合、立体物検出部33は、スミアSによるカウント数SCをゼロとし、補正された差分波形DWt’を生成することとなる。
【0043】
さらに、本実施形態において立体物検出部33は、車両V(カメラ10)の移動速度を求め、求めた移動速度から静止物についてのオフセット量を求める。静止物のオフセット量を求めた後、立体物検出部33は、ヒストグラムの極大値のうち静止物に該当するオフセット量を無視したうえで、立体物の移動距離を算出する。
【0044】
図10は、図3に示した立体物検出部33により得られるヒストグラムの他の例を示す図である。カメラ10の画角内に他車両Vの他に静止物が存在する場合、得られるヒストグラムには2つの極大値τ1,τ2が現れる。この場合、2つの極大値τ1,τ2のうち、いずれか一方は静止物のオフセット量である。このため、立体物検出部33は、移動速度から静止物についてのオフセット量を求め、そのオフセット量に該当する極大値について無視し、残り一方の極大値を採用して立体物の移動距離を算出する。
【0045】
なお、静止物に該当するオフセット量を無視したとしても、極大値が複数存在する場合、カメラ10の画角内に他車両Vが複数台存在すると想定される。しかし、検出領域A1,A2内に複数の他車両Vが存在することは極めて稀である。このため、立体物検出部33は、移動距離の算出を中止する。
【0046】
次に、本実施形態に係る移動距離検出方法を説明する。図11及び図12は、本実施形態に係る移動距離検出方法を示すフローチャートである。図11に示すように、まず、計算機30は撮像画像Pのデータを入力し、スミア検出部34によりスミア画像SPを生成する(S1)。次いで、視点変換部31は、カメラ10からの撮像画像Pのデータから鳥瞰画像PBtのデータを生成すると共に、スミア画像SPのデータからスミア鳥瞰画像SBtのデータを生成する(S2)。
【0047】
そして、位置合わせ部33は、鳥瞰画像PBtのデータと、一時刻前の鳥瞰画像PBt−1のデータとを位置合わせすると共に、スミア鳥瞰画像SBtのデータと、一時刻前のスミア鳥瞰画像SBt−1のデータとを位置合わせする(S3)。
【0048】
位置合わせ後、位置合わせ部33は、差分画像PDtのデータを生成すると共に、マスク画像MPのデータを生成する(S4)。その後、立体物検出部33は、差分画像PDtのデータと、一時刻前の差分画像PDt−1のデータとから、差分波形DWtを生成する(S5)。生成後、立体物検出部33は、差分波形DWtのうち、スミアSの発生領域に該当するカウント数をゼロとし、スミアSによる影響を抑制する(S6)。
【0049】
その後、立体物検出部33は、差分波形DWtのピークが所定値以上であるか否かを判断する(S7)。ここで、差分波形DWtのピークが所定値以上でない場合、すなわち差分が殆どなく、撮像画像P内には立体物が存在しないと考えられる。このため、差分波形DWtのピークが所定値以上でないと判断した場合(S7:NO)、立体物検出部33は、立体物が存在せず他車両が存在しないと判断する(図12:S16)。そして、図11及び図12に示す処理は終了する。
【0050】
一方、差分波形DWtのピークが所定値以上であると判断した場合(S7:YES)、立体物検出部33は、立体物が存在すると判断し、差分波形DWtを複数の小領域DWt1〜DWtnに分割する(S8)。次いで、立体物検出部33は、小領域DWt1〜DWtn毎に重み付けを行う(S9)。その後、立体物検出部33は、小領域DWt1〜DWtn毎のオフセット量を算出し(S10)、重みを加味してヒストグラムを生成する(S11)。
【0051】
そして、立体物検出部33は、ヒストグラムに基づいて自車両Vに対する立体物の移動距離である相対移動距離を算出する(S12)。次に、立体物検出部33は、相対移動距離から立体物の絶対移動速度を算出する(S13)。このとき、立体物検出部33は、相対移動距離を時間微分して相対移動速度を算出すると共に、車速センサ20で検出された自車速を加算して、絶対移動速度を算出する。
【0052】
その後、立体物検出部33は、立体物の絶対移動速度が10km/h以上、且つ、立体物の自車両Vに対する相対移動速度が+60km/h以下であるか否かを判断する(S14)。双方を満たす場合(S14:YES)、立体物検出部33は、立体物が他車両Vであると判断する(S15)。そして、図11及び図12に示す処理は終了する。一方、いずれか一方でも満たさない場合(S14:NO)、立体物検出部33は、他車両が存在しないと判断する(S16)。そして、図11及び図12に示す処理は終了する。
【0053】
なお、本実施形態では自車両Vの後側方を検出領域A1,A2とし、自車両Vが車線変更した場合に接触する可能性がある否かに重点を置いている。このため、ステップS14の処理が実行されている。例えば、本実施形態にけるシステムを高速道路で作動させることを前提とすると、立体物の速度が10km/m未満である場合、たとえ他車両Vが存在したとしても、車線変更する際には自車両Vの遠く後方に位置するため、問題とならない。同様に、立体物の自車両Vに対する相対移動速度が+60km/hを超える場合(すなわち、立体物が自車両Vの速度よりも60km/hより大きな速度で移動している場合)、車線変更する際には自車両Vの前方に移動しているため、問題とならない。このため、ステップS14では車線変更の際に問題となる他車両Vを判断しているともいえる。
【0054】
また、ステップS14において立体物の絶対移動速度が10km/h以上、且つ、立体物の自車両Vに対する相対移動速度が+60km/h以下であるかを判断することにより、以下の効果がある。例えば、カメラ10の取り付け誤差によっては、静止物の絶対移動速度を数km/hであると検出してしまう場合があり得る。よって、10km/h以上であるかを判断することにより、静止物を他車両Vであると判断してしまう可能性を低減することができる。また、ノイズによっては立体物の自車両Vに対する相対速度を+60km/hを超える速度に検出してしまうことがあり得る。よって、相対速度が+60km/h以下であるかを判断することにより、ノイズによる誤検出の可能性を低減できる。
【0055】
さらに、ステップS14の処理に代えて、絶対移動速度がマイナスでないことや、0km/hでないことを判断してもよい。また、本実施形態では自車両Vが車線変更した場合に接触する可能性がある否かに重点を置いているため、ステップS15において他車両Vが検出された場合、自車両の運転者に警告音を発したり、所定の表示装置により警告相当の表示を行うようにしてもよい。
【0056】
このようにして、本実施形態に係る移動距離検出装置1及び移動距離検出方法によれば、視点変換により立体物が倒れ込む方向に沿って、差分画像PDtのデータ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形DWtを生成する。ここで、差分画像PDtのデータ上において所定の差分を示す画素とは、異なる時刻の画像において変化があった画素であり、言い換えれば立体物が存在した箇所であるといえる。このため、立体物が存在した箇所において、立体物が倒れ込む方向に沿って画素数をカウントして度数分布化することで差分波形DWtを生成することとなる。特に、立体物が倒れ込む方向に沿って画素数をカウントすることから、立体物に対して高さ方向の情報から差分波形DWtを生成することとなる。そして、高さ方向の情報を含む差分波形DWtの時間変化から立体物の移動距離を算出する。このため、単に1点の移動のみに着目するような場合と比較して、時間変化前の検出箇所と時間変化後の検出箇所とは高さ方向の情報を含んで特定されるため立体物において同じ箇所となり易く、同じ箇所の時間変化から移動距離を算出することとなり、移動距離の算出精度を向上させることができる。
【0057】
また、差分波形DWtのうちスミアSの発生領域に該当する箇所について、度数分布のカウント数をゼロとする。これにより、差分波形DWtのうちスミアSによって生じる波形部位を除去することとなり、スミアSを立体物と誤認してしまう事態を防止することができる。
【0058】
また、異なる時刻に生成された差分波形DWtの誤差が最小となるときの差分波形DWtのオフセット量から立体物の移動距離を算出する。このため、波形という1次元の情報のオフセット量から移動距離を算出することとなり、移動距離の算出にあたり計算コストを抑制することができる。
【0059】
また、異なる時刻に生成された差分波形DWtを複数の小領域DWt1〜DWtnに分
割する。このように複数の小領域DWt1〜DWtnに分割することによって、立体物のそれぞれの箇所を表わした波形を複数得ることとなる。また、小領域DWt1〜DWtn毎にそれぞれの波形の誤差が最小となるときのオフセット量を求め、小領域DWt1〜DWtn毎に求めたオフセット量をカウントしてヒストグラム化することにより、立体物の移動距離を算出する。このため、立体物のそれぞれの箇所毎にオフセット量を求めることとなり、複数のオフセット量から移動距離を求めることとなり、移動距離の算出精度を向上させることができる。
【0060】
また、複数の小領域DWt1〜DWtn毎に重み付けをし、小領域DWt1〜DWtn毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化する。このため、特徴的な領域については重みを大きくし、特徴的でない領域については重みを小さくすることにより、一層適切に移動距離を算出することができる。従って、移動距離の算出精度を一層向上させることができる。
【0061】
また、差分波形DWtの各小領域DWt1〜DWtnについて、所定の差分を示す画素数のカウントの最大値と最小値との差が大きいほど、重みを大きくする。このため、最大値と最小値との差が大きい特徴的な起伏の領域ほど重みが大きくなり、起伏が小さい平坦な領域については重みが小さくなる。ここで、平坦な領域よりも起伏の大きい領域の方が形状的にオフセット量を正確に求めやすいため、最大値と最小値との差が大きい領域ほど重みを大きくすることにより、移動距離の算出精度を一層向上させることができる。
【0062】
また、小領域DWt1〜DWtn毎に求めたオフセット量をカウントして得られたヒストグラムの極大値から、立体物の移動距離を算出する。このため、オフセット量にバラつきがあったとしても、その極大値から、より正確性の高い移動距離を算出することができる。
【0063】
また、静止物についてのオフセット量を求め、このオフセット量を無視するため、静止物により立体物の移動距離の算出精度が低下してしまう事態を防止することができる。
【0064】
また、静止物に該当するオフセット量を無視したうえで、極大値が複数ある場合、立体物の移動距離の算出を中止する。このため、極大値が複数あるような誤った移動距離を算出してしまう事態を防止することができる。
【0065】
以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものでは無く、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。
【0066】
例えば、上記実施形態において、自車両Vの車速を速度センサ20からの信号に基づいて判断しているが、これに限らず、異なる時刻の複数の画像から速度を推定するようにしてもよい。この場合、車速センサが不要となり、構成の簡素化を図ることができる。
【0067】
なお、上記実施形態においては撮像した現時刻の画像と一時刻前の画像とを鳥瞰図に変換し、変換した鳥瞰図の位置合わせを行ったうえで差分画像PDtを生成し、生成した差分画像PDtを倒れ込み方向(撮像した画像を鳥瞰図に変換した際の立体物の倒れ込み方向)に沿って評価して差分波形DWtを生成しているが、これに限定されない。例えば、一時刻前の画像のみを鳥瞰図に変換し、変換した鳥瞰図を位置合わせした後に再び撮像した画像相当に変換し、この画像と現時刻の画像とで差分画像を生成し、生成した差分画像を倒れ込み方向に相当する方向(すなわち、倒れ込み方向を撮像画像上の方向に変換した方向)に沿って評価することによって差分波形DWtを生成しても良い。すなわち、現時刻の画像と一時刻前の画像との位置合わせを行い、位置合わせを行った両画像の差分から差分画像PDtを生成し、差分画像PDtを鳥瞰図に変換した際の立体物の倒れ込み方向
沿って評価できれば、必ずしも明に鳥瞰図を生成しなくとも良い。
【符号の説明】
【0068】
1…移動距離検出装置
10…カメラ(撮像手段)
20…車速センサ
30…計算機
31…視点変換部(変換手段)
32…位置合わせ部(位置合わせ手段)
33…立体物検出部(立体物検出手段)
34…スミア検出部(スミア検出手段)
a…画角
A1,A2…検出領域
CP…交点
DP…差分画素
DWt,DWt’…差分波形
DWt1〜DWm,DWm+k〜DWtn…小領域
L1,L2…接地線
La,Lb…立体物が倒れ込む方向上の線
P…撮像画像
PBt…鳥瞰画像
PDt…差分画像
MP…マスク画像
S…スミア
SP…スミア画像
SBt…スミア鳥瞰画像
V…自車両、他車両
【技術分野】
【0001】
本発明は、移動距離検出装置及び移動距離検出方法に関する。
【背景技術】
【0002】
従来、車両周辺における立体物の検出、及び、立体物が静止しているか移動しているかを検出する車両周辺監視装置が提案されている。この車両周辺監視装置は、異なる時刻に撮像された2枚の画像を鳥瞰図に変換し、2枚の鳥瞰図の位置合わせを行う。そして、車両周辺監視装置は、位置合わせ後の2枚の画像について差分をとり、不一致部分を立体物として検出する。さらに、車両周辺監視装置は、不一致部分のうち自車両に最も近い点を立体物の接地点として検出し、接地点の位置変化から立体物が静止しているか移動しているかを検出する(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−219063号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、撮像画像を鳥瞰画像に変換した場合、立体物については倒れ込みが生じることが知られている。このため、特許文献1に記載の立体物検出装置において、立体物の移動距離を検出しようとすると、その移動距離の検出精度が決して高いとはいえない。すなわち、特許文献1に記載の車両周辺監視装置では、接地点を検出しているため、移動距離を求める場合には接地点の移動量から移動距離を算出することとなる。しかし、移動前に接地点として検出された箇所と、移動後に接地点として検出された箇所とが立体物において同じ箇所でない場合には、算出された移動距離が正しいものではなくなってしまう。具体的に説明すると、移動前に接地点として検出された箇所が他車両のタイヤ下端であり、移動後に接地点として検出された箇所がバンパーであった場合など、車両の同じ箇所に基づいて移動距離を算出しておらず、算出された移動距離は正しいものとはいえない。
【0005】
本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、移動距離の算出精度を向上させることが可能な移動距離検出装置及び移動距離検出方法を提供することにある。
【課題を解決するための手段】
【0006】
本発明の移動距離検出装置は、所定領域を撮像する撮像手段と、撮像手段による撮像にて得られた異なる時刻の所定領域の画像を、鳥瞰視上で位置を合わせる位置合わせ手段と、位置合わせ手段により位置合わせされた異なる時刻の画像データの差分画像データに基づいて、立体物を検出する立体物検出手段と、を備え、立体物検出手段は、所定領域の画像を鳥瞰視に視点変換した際に立体物が倒れ込む方向に沿って、差分画像データ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形を生成し、当該差分波形の時間変化から立体物の移動距離を算出することを特徴とする。
【発明の効果】
【0007】
本発明によれば、視点変換により立体物が倒れ込む方向に沿って、差分画像データ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形を生成する。ここで、差分画像データ上において所定の差分を示す画素とは、異なる時刻の画像において変化があった画素であり、言い換えれば立体物が存在した箇所であるといえる。この
ため、立体物が存在した箇所において、立体物が倒れ込む方向に沿って画素数をカウントして度数分布化することで差分波形を生成することとなる。特に、立体物が倒れ込む方向に沿って画素数をカウントすることから、立体物に対して高さ方向の情報から差分波形を生成することとなる。そして、高さ方向の情報を含む差分波形の時間変化から立体物の移動距離を算出する。このため、単に1点の移動のみに着目するような場合と比較して、時間変化前の検出箇所と時間変化後の検出箇所とは高さ方向の情報を含んで特定されるため立体物において同じ箇所となり易く、同じ箇所の時間変化から移動距離を算出することとなり、移動距離の算出精度を向上させることができる。
【図面の簡単な説明】
【0008】
【図1】本実施形態に係る移動距離検出装置の概略構成図であって、移動距離検出装置が車両に搭載される場合の例を示している。
【図2】図1に示した車両の走行状態を示す上面図である。
【図3】図1に示した計算機の詳細を示すブロック図である。
【図4】図3に示した位置合わせ部の処理の概要を示す上面図であり、(a)は車両の移動状態を示し、(b)は位置合わせの概要を示している。
【図5】図3に示した立体物検出部による差分波形の生成の様子を示す概略図である。
【図6】図3に示した立体物検出部によって分割される小領域を示す図である。
【図7】図3に示した立体物検出部により得られるヒストグラムの一例を示す図である。
【図8】図3に示した立体物検出部による重み付けを示す図である。
【図9】図3に示したスミア検出部による処理、及び、それによる差分波形の算出処理を示す図である。
【図10】図3に示した立体物検出部により得られるヒストグラムの他の例を示す図である。
【図11】本実施形態に係る移動距離検出方法を示すフローチャートであって、前半部分の処理を示している。
【図12】本実施形態に係る移動距離検出方法を示すフローチャートであって、後半部分の処理を示している。
【発明を実施するための形態】
【0009】
以下、本発明の好適な実施形態を図面に基づいて説明する。図1は、本実施形態に係る移動距離検出装置1の概略構成図であって、移動距離検出装置1が車両Vに搭載される場合の例を示している。図1に示すように、移動距離検出装置1は、カメラ(撮像手段)10と、車速センサ20と、計算機30とを備えている。
【0010】
図1に示すカメラ10は、車両Vの後方における高さhの箇所において、光軸が水平から下向きに角度θとなるように取り付けられている。カメラ10は、この位置から所定領域を撮像するようになっている。車速センサ20は、車両Vの走行速度を検出するものであって、例えば車輪に回転数を検知する車輪速センサで検出した車輪速から速度を算出する。計算機30は、車両後方側の立体物について移動距離及び移動速度を算出するものである。
【0011】
図2は、図1に示した車両Vの走行状態を示す上面図である。図2に示すように、カメラ10は、所定の画角aで車両後方側を撮像する。このとき、カメラ10の画角内には自車両Vが走行する車線に加えて、その左右の車線についても撮像可能となっている。
【0012】
図3は、図1に示した計算機30の詳細を示すブロック図である。なお、図3においては、接続関係を明確とするためにカメラ10及び車速センサ20についても図示するもの
とする。
【0013】
図3に示すように、計算機30は、視点変換部(変換手段)31と、位置合わせ部(位置合わせ手段)32と、立体物検出部(立体物検出手段)33とを備えている。
【0014】
視点変換部31は、カメラ10による撮像にて得られた所定領域の撮像画像データを入力し、入力した撮像画像データを鳥瞰視される状態の鳥瞰画像データに視点変換するものである。鳥瞰視される状態とは、上空から例えば鉛直下向きに見下ろす仮想カメラの視点から見た状態である。この視点変換は、例えば特開2008−219063号公報に記載さるようにして実行される。
【0015】
位置合わせ部32は、視点変換部31の視点変換により得られた鳥瞰画像データを順次入力し、入力した異なる時刻の鳥瞰画像データの位置を合わせるものである。図4は、図3に示した位置合わせ部32の処理の概要を示す上面図であり、(a)は車両Vの移動状態を示し、(b)は位置合わせの概要を示している。
【0016】
図4(a)に示すように、現時刻の自車両VがV1に位置し、一時刻前の自車両VがV2に位置しているとする。また、自車両Vの後側方向に他車両Vが位置して自車両Vと並走状態にあり、現時刻の他車両VがV3に位置し、一時刻前の他車両VがV4に位置しているとする。さらに、自車両Vは、一時刻で距離d移動したものとする。なお、一時刻前とは、現時刻から予め定められた時間(例えば1制御周期)だけ過去の時刻であっても良いし、任意の時間だけ過去の時刻であっても良い。
【0017】
このような状態において、現時刻における鳥瞰画像PBtは図4(b)に示すようになる。この鳥瞰画像PBtでは、路面上に描かれる白線については矩形状となり、比較的正確に上面視された状態となっているが、他車両V3については倒れ込みが発生している。また、一時刻前における鳥瞰画像PBt−1についても同様に、路面上に描かれる白線については矩形状となり、比較的正確に上面視された状態となっているが、他車両V4については倒れ込みが発生している。
【0018】
位置合わせ部32は、上記のような鳥瞰画像PBt,PBt−1の位置合わせをデータ上で実行する。この際、位置合わせ部32は、一時刻前における鳥瞰画像PBt−1をオフセットさせ、現時刻における鳥瞰画像PBtと位置を一致させる。オフセット量d’は、図4(a)に示した移動距離dに対応するだけの量となり、車速センサ20からの信号と一時刻前から現時刻までの時間に基づいて決定される。
【0019】
また、位置合わせ後において位置合わせ部32は、鳥瞰画像PBt,PBt−1の差分ととり、差分画像PDtのデータを生成する。ここで、差分画像PDtの画素値は、鳥瞰画像PBt,PBt−1の画素値の差を絶対値化したものでもよいし、照度環境の変化に対応するために当該絶対値が所定の閾値を超えたときに「1」とし、超えないときに「0」としてもよい。
【0020】
再度、図3を参照する。立体物検出部33は、図4に示したような差分画像PDtのデータに基づいて立体物を検出する。この際、立体物検出部33は、実空間上における立体物の移動距離についても算出する。移動距離の算出にあたり立体物検出部33は、まず差分波形を生成する。
【0021】
差分波形の生成にあたって立体物検出部33は、差分画像PDtにおいて検出領域を設定する。具体的には図2に示すように、本実施形態における検出領域A1,A2は、自車両Vの後側方に矩形状に設定される。なお、本実施形態における移動距離検出装置1は、
自車両Vが車線変更する際に接触の可能性がある他車両について移動距離を算出する目的のものである。このため、検出領域A1,A2は、自車両Vの後側方に設定される。
【0022】
このような検出領域A1,A2は、自車両Vに対する相対位置から設定されてもよいし、白線の位置を基準に設定されてもよい。白線の位置を基準に設定する場合、移動距離検出装置1は、例えば既存の白線認識技術等を利用するとよい。また、立体物検出部33は、設定した検出領域A1,A2の自車両V側における辺(走行方向に沿う辺)を接地線L1,L2として認識する。一般に接地線は立体物が地面に接触する線を意味するが、本実施形態では地面に接触する線でなく上記の如くに設定される。なお、この場合であっても、経験上、本実施形態に係る接地線と、本来の他車両Vの位置から求められる接地線との差は大きくなり過ぎず、実用上は問題が無い。
【0023】
図5は、図3に示した立体物検出部33による差分波形の生成の様子を示す概略図である。図5に示すように、立体物検出部33は、差分画像PDtのうち検出領域A1,A2に相当する部分から、差分波形DWtを生成する。この際、立体物検出部33は、視点変換により立体物が倒れ込む方向に沿って、差分波形DWtを生成する。なお、図5に示す例では、便宜上検出領域A1のみを用いて説明する。
【0024】
具体的に説明すると、まず立体物検出部33は、差分画像DWtのデータ上において立体物が倒れ込む方向上の線Laを定義する。そして、立体物検出部33は、線La上において所定の差分を示す差分画素DPの数をカウントする。ここで、所定の差分を示す差分画素DPは、差分画像DWtの画素値が鳥瞰画像PBt,PBt−1の画素値の差を絶対値化したものである場合、所定の閾値を超える画素であり、差分画像DWtの画素値が「0」「1」で表現されている場合、「1」を示す画素である。
【0025】
立体物検出部33は、差分画素DPの数をカウントした後、線Laと接地線L1との交点CPを求める。そして、立体物検出部33は、交点CPとカウント数とを対応付け、交点CPの位置に基づいて横軸位置(図5の紙面上下方向軸における位置)を決定し、カウント数から縦軸位置(図5の紙面左右方向軸における位置)を決定する。
【0026】
以下同様に、立体物検出部33は、立体物が倒れ込む方向上の線を定義して、差分画素DPの数をカウントし、交点CPの位置に基づいて横軸位置を決定し、カウント数(差分画素DPの数)から縦軸位置を決定する。立体物検出部33は、上記を順次繰り返して度数分布化することで差分波形DWtを生成する。
【0027】
なお、図5に示すように、立体物が倒れ込む方向上の線Laと線Lbとは検出領域A1と重複する距離が異なっている。このため、検出領域A1が差分画素DPで満たされているとすると、線Lb上よりも線La上の方が差分画素DPの数が多くなってしまう。このため、立体物検出部33は、差分画素DPのカウント数から縦軸位置を決定する場合、立体物が倒れ込む方向上の線La,Lbと検出領域A1とが重複する距離に基づいて正規化する。具体例を挙げると、図5において線La上の差分画素DPは6つあり、線Lb上の差分画素DPは5つである。このため、図5においてカウント数から縦軸位置を決定するにあたり、立体物検出部33は、カウント数を重複距離で除算するなどして正規化する。これにより、差分波形DWtに示すように、立体物が倒れ込む方向上の線La,Lbに対応する差分波形DWtの値はほぼ同じとなっている。
【0028】
差分波形DWtの生成後、立体物検出部33は一時刻前の差分波形DWt−1との対比により移動距離を算出する。すなわち、立体物検出部33は、差分波形DWt,DWt−1の時間変化から移動距離を算出する。
【0029】
詳細に説明すると、立体物検出部33は、差分波形DWtを複数の小領域DWt1〜DWtn(nは2以上の任意の整数)に分割する。図6は、図3に示した立体物検出部33によって分割される小領域DWt1〜DWtnを示す図である。小領域DWt1〜DWtnは、例えば図6に示すように、互いに重複するようにして分割される。例えば小領域DWt1と小領域DWt2とは重複し、小領域DWt2と小領域DWt3とは重複する。
【0030】
次いで、立体物検出部33は、小領域DWt1〜DWtn毎にオフセット量(差分波形の横軸方向の移動量)を求める。ここで、オフセット量は、一時刻前における差分波形DWt−1と現時刻における差分波形DWtとの差(横軸方向の距離)から求められる。この際、立体物検出部33は、各小領域DWt1〜DWtn毎に、一時刻前における差分波形DWt−1を横軸方向に移動させた際に、現時刻における差分波形DWtとの誤差が最小となる位置(横軸方向の位置)を判定し、差分波形DWt−1の元の位置と誤差が最小となる位置との横軸方向の移動量をオフセット量として求める。そして、立体物検出部33は、小領域DWt1〜DWtn毎に求めたオフセット量をカウントしてヒストグラム化する。
【0031】
図7は、図3に示した立体物検出部33により得られるヒストグラムの一例を示す図である。図7に示すように、各小領域DWt1〜DWtnと一時刻前における差分波形DWt−1との誤差が最小となる移動量であるオフセット量には、多少のバラつきが生じる。このため、立体物検出部33は、バラつきを含んだオフセット量をヒストグラム化し、ヒストグラムから移動距離を算出する。この際、立体物検出部33は、ヒストグラムの極大値から立体物の移動距離を算出する。すなわち、図7に示す例において立体物検出部33は、移動距離をτ*と算出する。この移動距離τ*は、自車両Vに対する他車両Vの相対移動距離である。このため、立体物検出部33は、絶対移動距離を算出する場合、得られた移動距離τ*と車速センサ20からの信号とに基づいて、絶対移動距離を算出することとなる。
【0032】
なお、ヒストグラム化にあたり立体物検出部33は、複数の小領域DWt1〜DWtn毎に重み付けをし、小領域DWt1〜DWtn毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化することが望ましい。図8は、図3に示した立体物検出部33による重み付けを示す図である。
【0033】
図8に示すように、小領域DWm(mは1以上n−1以下の整数)は平坦となっている。すなわち、小領域DWmは所定の差分を示す画素数のカウントの最大値と最小値との差が小さくなっている。立体物検出部33は、このような小領域DWmについて重みを小さくする。平坦な小領域DWmについては、特徴がなくオフセット量の算出にあたり誤差が大きくなる可能性が高いからである。
【0034】
一方、小領域DWm+k(kはn−m以下の整数)は起伏に富んでいる。すなわち、小領域DWmは所定の差分を示す画素数のカウントの最大値と最小値との差が大きくなっている。立体物検出部33は、このような小領域DWmについて重みを大きくする。起伏に富む小領域DWm+kについては、特徴的でありオフセット量の算出を正確に行える可能性が高いからである。このように重み付けすることにより、移動距離の算出精度を向上することができる。
【0035】
なお、移動距離の算出精度を向上するために上記実施形態では差分波形DWtを複数の小領域DWt1〜DWtnに分割しているが、高い移動距離の算出精度が要求されない場合はこれに限らず、小領域DWt1〜DWtnに分割しなくともよい。この場合、立体物検出部33は、差分波形DWtと差分波形DWt−1との誤差が最小となるときの差分波形DWtのオフセット量から移動距離を算出することとなる。すなわち、一時刻前におけ
る差分波形DWt−1と現時刻における差分波形DWtとのオフセット量を求める方法は上記内容に限定されない。
【0036】
再度、図3を参照する。計算機30はスミア検出部(スミア検出手段)34をさらに備えている。スミア検出部34は、カメラ10による撮像によって得られた撮像画像のデータからスミアの発生領域を検出するものである。
【0037】
図9は、図3に示したスミア検出部34による処理、及び、それによる差分波形DWtの算出処理を示す図である。まずスミア検出部34にはスミアSが存在する撮像画像Pのデータが入力されたとする。このとき、スミア検出部34は、撮像画像PからスミアSを検出する。
【0038】
スミアSの検出方法は様々であるが、例えば一般的なCCD(Charge-Coupled Device
)カメラの場合、光源から画像下方向にだけスミアSが発生する。このため、本実施形態では画像下側から画像上方に向かって所定値以上の輝度値を持ち、且つ、縦方向に連続した領域を検索し、これをスミアSの発生領域と特定する。
【0039】
また、スミア検出部34は、スミアSの発生箇所について画素値を「1」とし、それ以外の箇所を「0」とするスミア画像SPのデータを生成する。生成後、スミア検出部34はスミア画像SPのデータを視点変換部31に送信する。
【0040】
また、スミア画像SPのデータを入力した視点変換部31は、このデータを鳥瞰視される状態に視点変換する。これにより、視点変換部31はスミア鳥瞰画像SBtのデータを生成する。生成後、視点変換部31はスミア鳥瞰画像SBtのデータを位置合わせ部33に送信する。また、視点変換部31は一時刻前のスミア鳥瞰画像SBt−1のデータを位置合わせ部33に送信する。
【0041】
位置合わせ部33は、スミア鳥瞰画像SBt,SBt−1の位置合わせをデータ上で実行する。具体的な位置合わせについては、鳥瞰画像PBt,PBt−1の位置合わせをデータ上で実行する場合と同様である。また、位置合わせ後、位置合わせ部33は、各スミア鳥瞰画像SBt,SBt−1のスミアSの発生領域について論理和をとる。これにより、位置合わせ部33は、マスク画像MPのデータを生成する。生成後、位置合わせ部33は、マスク画像MPのデータを立体物検出部33に送信する。
【0042】
立体物検出部33は、マスク画像MPのうちスミアSの発生領域に該当する箇所について、度数分布のカウント数をゼロとする。すなわち、図9に示すような差分波形DWtが生成されていた場合、立体物検出部33は、スミアSによるカウント数SCをゼロとし、補正された差分波形DWt’を生成することとなる。
【0043】
さらに、本実施形態において立体物検出部33は、車両V(カメラ10)の移動速度を求め、求めた移動速度から静止物についてのオフセット量を求める。静止物のオフセット量を求めた後、立体物検出部33は、ヒストグラムの極大値のうち静止物に該当するオフセット量を無視したうえで、立体物の移動距離を算出する。
【0044】
図10は、図3に示した立体物検出部33により得られるヒストグラムの他の例を示す図である。カメラ10の画角内に他車両Vの他に静止物が存在する場合、得られるヒストグラムには2つの極大値τ1,τ2が現れる。この場合、2つの極大値τ1,τ2のうち、いずれか一方は静止物のオフセット量である。このため、立体物検出部33は、移動速度から静止物についてのオフセット量を求め、そのオフセット量に該当する極大値について無視し、残り一方の極大値を採用して立体物の移動距離を算出する。
【0045】
なお、静止物に該当するオフセット量を無視したとしても、極大値が複数存在する場合、カメラ10の画角内に他車両Vが複数台存在すると想定される。しかし、検出領域A1,A2内に複数の他車両Vが存在することは極めて稀である。このため、立体物検出部33は、移動距離の算出を中止する。
【0046】
次に、本実施形態に係る移動距離検出方法を説明する。図11及び図12は、本実施形態に係る移動距離検出方法を示すフローチャートである。図11に示すように、まず、計算機30は撮像画像Pのデータを入力し、スミア検出部34によりスミア画像SPを生成する(S1)。次いで、視点変換部31は、カメラ10からの撮像画像Pのデータから鳥瞰画像PBtのデータを生成すると共に、スミア画像SPのデータからスミア鳥瞰画像SBtのデータを生成する(S2)。
【0047】
そして、位置合わせ部33は、鳥瞰画像PBtのデータと、一時刻前の鳥瞰画像PBt−1のデータとを位置合わせすると共に、スミア鳥瞰画像SBtのデータと、一時刻前のスミア鳥瞰画像SBt−1のデータとを位置合わせする(S3)。
【0048】
位置合わせ後、位置合わせ部33は、差分画像PDtのデータを生成すると共に、マスク画像MPのデータを生成する(S4)。その後、立体物検出部33は、差分画像PDtのデータと、一時刻前の差分画像PDt−1のデータとから、差分波形DWtを生成する(S5)。生成後、立体物検出部33は、差分波形DWtのうち、スミアSの発生領域に該当するカウント数をゼロとし、スミアSによる影響を抑制する(S6)。
【0049】
その後、立体物検出部33は、差分波形DWtのピークが所定値以上であるか否かを判断する(S7)。ここで、差分波形DWtのピークが所定値以上でない場合、すなわち差分が殆どなく、撮像画像P内には立体物が存在しないと考えられる。このため、差分波形DWtのピークが所定値以上でないと判断した場合(S7:NO)、立体物検出部33は、立体物が存在せず他車両が存在しないと判断する(図12:S16)。そして、図11及び図12に示す処理は終了する。
【0050】
一方、差分波形DWtのピークが所定値以上であると判断した場合(S7:YES)、立体物検出部33は、立体物が存在すると判断し、差分波形DWtを複数の小領域DWt1〜DWtnに分割する(S8)。次いで、立体物検出部33は、小領域DWt1〜DWtn毎に重み付けを行う(S9)。その後、立体物検出部33は、小領域DWt1〜DWtn毎のオフセット量を算出し(S10)、重みを加味してヒストグラムを生成する(S11)。
【0051】
そして、立体物検出部33は、ヒストグラムに基づいて自車両Vに対する立体物の移動距離である相対移動距離を算出する(S12)。次に、立体物検出部33は、相対移動距離から立体物の絶対移動速度を算出する(S13)。このとき、立体物検出部33は、相対移動距離を時間微分して相対移動速度を算出すると共に、車速センサ20で検出された自車速を加算して、絶対移動速度を算出する。
【0052】
その後、立体物検出部33は、立体物の絶対移動速度が10km/h以上、且つ、立体物の自車両Vに対する相対移動速度が+60km/h以下であるか否かを判断する(S14)。双方を満たす場合(S14:YES)、立体物検出部33は、立体物が他車両Vであると判断する(S15)。そして、図11及び図12に示す処理は終了する。一方、いずれか一方でも満たさない場合(S14:NO)、立体物検出部33は、他車両が存在しないと判断する(S16)。そして、図11及び図12に示す処理は終了する。
【0053】
なお、本実施形態では自車両Vの後側方を検出領域A1,A2とし、自車両Vが車線変更した場合に接触する可能性がある否かに重点を置いている。このため、ステップS14の処理が実行されている。例えば、本実施形態にけるシステムを高速道路で作動させることを前提とすると、立体物の速度が10km/m未満である場合、たとえ他車両Vが存在したとしても、車線変更する際には自車両Vの遠く後方に位置するため、問題とならない。同様に、立体物の自車両Vに対する相対移動速度が+60km/hを超える場合(すなわち、立体物が自車両Vの速度よりも60km/hより大きな速度で移動している場合)、車線変更する際には自車両Vの前方に移動しているため、問題とならない。このため、ステップS14では車線変更の際に問題となる他車両Vを判断しているともいえる。
【0054】
また、ステップS14において立体物の絶対移動速度が10km/h以上、且つ、立体物の自車両Vに対する相対移動速度が+60km/h以下であるかを判断することにより、以下の効果がある。例えば、カメラ10の取り付け誤差によっては、静止物の絶対移動速度を数km/hであると検出してしまう場合があり得る。よって、10km/h以上であるかを判断することにより、静止物を他車両Vであると判断してしまう可能性を低減することができる。また、ノイズによっては立体物の自車両Vに対する相対速度を+60km/hを超える速度に検出してしまうことがあり得る。よって、相対速度が+60km/h以下であるかを判断することにより、ノイズによる誤検出の可能性を低減できる。
【0055】
さらに、ステップS14の処理に代えて、絶対移動速度がマイナスでないことや、0km/hでないことを判断してもよい。また、本実施形態では自車両Vが車線変更した場合に接触する可能性がある否かに重点を置いているため、ステップS15において他車両Vが検出された場合、自車両の運転者に警告音を発したり、所定の表示装置により警告相当の表示を行うようにしてもよい。
【0056】
このようにして、本実施形態に係る移動距離検出装置1及び移動距離検出方法によれば、視点変換により立体物が倒れ込む方向に沿って、差分画像PDtのデータ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形DWtを生成する。ここで、差分画像PDtのデータ上において所定の差分を示す画素とは、異なる時刻の画像において変化があった画素であり、言い換えれば立体物が存在した箇所であるといえる。このため、立体物が存在した箇所において、立体物が倒れ込む方向に沿って画素数をカウントして度数分布化することで差分波形DWtを生成することとなる。特に、立体物が倒れ込む方向に沿って画素数をカウントすることから、立体物に対して高さ方向の情報から差分波形DWtを生成することとなる。そして、高さ方向の情報を含む差分波形DWtの時間変化から立体物の移動距離を算出する。このため、単に1点の移動のみに着目するような場合と比較して、時間変化前の検出箇所と時間変化後の検出箇所とは高さ方向の情報を含んで特定されるため立体物において同じ箇所となり易く、同じ箇所の時間変化から移動距離を算出することとなり、移動距離の算出精度を向上させることができる。
【0057】
また、差分波形DWtのうちスミアSの発生領域に該当する箇所について、度数分布のカウント数をゼロとする。これにより、差分波形DWtのうちスミアSによって生じる波形部位を除去することとなり、スミアSを立体物と誤認してしまう事態を防止することができる。
【0058】
また、異なる時刻に生成された差分波形DWtの誤差が最小となるときの差分波形DWtのオフセット量から立体物の移動距離を算出する。このため、波形という1次元の情報のオフセット量から移動距離を算出することとなり、移動距離の算出にあたり計算コストを抑制することができる。
【0059】
また、異なる時刻に生成された差分波形DWtを複数の小領域DWt1〜DWtnに分
割する。このように複数の小領域DWt1〜DWtnに分割することによって、立体物のそれぞれの箇所を表わした波形を複数得ることとなる。また、小領域DWt1〜DWtn毎にそれぞれの波形の誤差が最小となるときのオフセット量を求め、小領域DWt1〜DWtn毎に求めたオフセット量をカウントしてヒストグラム化することにより、立体物の移動距離を算出する。このため、立体物のそれぞれの箇所毎にオフセット量を求めることとなり、複数のオフセット量から移動距離を求めることとなり、移動距離の算出精度を向上させることができる。
【0060】
また、複数の小領域DWt1〜DWtn毎に重み付けをし、小領域DWt1〜DWtn毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化する。このため、特徴的な領域については重みを大きくし、特徴的でない領域については重みを小さくすることにより、一層適切に移動距離を算出することができる。従って、移動距離の算出精度を一層向上させることができる。
【0061】
また、差分波形DWtの各小領域DWt1〜DWtnについて、所定の差分を示す画素数のカウントの最大値と最小値との差が大きいほど、重みを大きくする。このため、最大値と最小値との差が大きい特徴的な起伏の領域ほど重みが大きくなり、起伏が小さい平坦な領域については重みが小さくなる。ここで、平坦な領域よりも起伏の大きい領域の方が形状的にオフセット量を正確に求めやすいため、最大値と最小値との差が大きい領域ほど重みを大きくすることにより、移動距離の算出精度を一層向上させることができる。
【0062】
また、小領域DWt1〜DWtn毎に求めたオフセット量をカウントして得られたヒストグラムの極大値から、立体物の移動距離を算出する。このため、オフセット量にバラつきがあったとしても、その極大値から、より正確性の高い移動距離を算出することができる。
【0063】
また、静止物についてのオフセット量を求め、このオフセット量を無視するため、静止物により立体物の移動距離の算出精度が低下してしまう事態を防止することができる。
【0064】
また、静止物に該当するオフセット量を無視したうえで、極大値が複数ある場合、立体物の移動距離の算出を中止する。このため、極大値が複数あるような誤った移動距離を算出してしまう事態を防止することができる。
【0065】
以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものでは無く、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。
【0066】
例えば、上記実施形態において、自車両Vの車速を速度センサ20からの信号に基づいて判断しているが、これに限らず、異なる時刻の複数の画像から速度を推定するようにしてもよい。この場合、車速センサが不要となり、構成の簡素化を図ることができる。
【0067】
なお、上記実施形態においては撮像した現時刻の画像と一時刻前の画像とを鳥瞰図に変換し、変換した鳥瞰図の位置合わせを行ったうえで差分画像PDtを生成し、生成した差分画像PDtを倒れ込み方向(撮像した画像を鳥瞰図に変換した際の立体物の倒れ込み方向)に沿って評価して差分波形DWtを生成しているが、これに限定されない。例えば、一時刻前の画像のみを鳥瞰図に変換し、変換した鳥瞰図を位置合わせした後に再び撮像した画像相当に変換し、この画像と現時刻の画像とで差分画像を生成し、生成した差分画像を倒れ込み方向に相当する方向(すなわち、倒れ込み方向を撮像画像上の方向に変換した方向)に沿って評価することによって差分波形DWtを生成しても良い。すなわち、現時刻の画像と一時刻前の画像との位置合わせを行い、位置合わせを行った両画像の差分から差分画像PDtを生成し、差分画像PDtを鳥瞰図に変換した際の立体物の倒れ込み方向
沿って評価できれば、必ずしも明に鳥瞰図を生成しなくとも良い。
【符号の説明】
【0068】
1…移動距離検出装置
10…カメラ(撮像手段)
20…車速センサ
30…計算機
31…視点変換部(変換手段)
32…位置合わせ部(位置合わせ手段)
33…立体物検出部(立体物検出手段)
34…スミア検出部(スミア検出手段)
a…画角
A1,A2…検出領域
CP…交点
DP…差分画素
DWt,DWt’…差分波形
DWt1〜DWm,DWm+k〜DWtn…小領域
L1,L2…接地線
La,Lb…立体物が倒れ込む方向上の線
P…撮像画像
PBt…鳥瞰画像
PDt…差分画像
MP…マスク画像
S…スミア
SP…スミア画像
SBt…スミア鳥瞰画像
V…自車両、他車両
【特許請求の範囲】
【請求項1】
所定領域を撮像する撮像手段と、
前記撮像手段による撮像にて得られた異なる時刻の所定領域の画像を、鳥瞰視上で位置を合わせる位置合わせ手段と、
前記位置合わせ手段により位置合わせされた異なる時刻の画像データの差分画像データに基づいて、立体物を検出する立体物検出手段と、を備え、
前記立体物検出手段は、前記所定領域の画像を鳥瞰視に視点変換した際に立体物が倒れ込む方向に沿って、前記差分画像データ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形を生成し、当該差分波形の時間変化から立体物の移動距離を算出する
ことを特徴とする移動距離検出装置。
【請求項2】
前記撮像手段による撮像にて得られた所定領域の画像を鳥瞰視される状態へ視点変換する変換手段を備え、
前記位置合わせ手段は、前記変換手段により視点変換された異なる時刻の鳥瞰画像データの位置を合わせる位置合わせを行い、
前記立体物検出手段は、前記位置合わせ手段により位置合わせされた異なる時刻の鳥瞰画像データの差分画像データに基づいて、立体物を検出し、前記変換手段による視点変換によって立体物が倒れ込む方向に沿って、前記差分画像データ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形を生成し、当該差分波形の時間変化から立体物の移動距離を算出する
ことを特徴とする請求項1に記載の移動距離検出装置。
【請求項3】
前記撮像手段による撮像によって得られた画像からスミアの発生領域を検出するスミア検出手段をさらに備え、
前記立体検出手段は、前記差分波形のうち前記スミア検出手段により検出されたスミアの発生領域に該当する箇所について、度数分布のカウント数をゼロとする
ことを特徴とする請求項2に記載の移動距離検出装置。
【請求項4】
前記立体物検出手段は、異なる時刻に生成された差分波形の誤差が最小となるときの差分波形のオフセット量から立体物の移動距離を算出する
ことを特徴とする請求項2又は請求項3のいずれかに記載の移動距離検出装置。
【請求項5】
前記立体物検出手段は、異なる時刻に生成された差分波形を複数の領域に分割し、領域毎にそれぞれの波形の誤差が最小となるときのオフセット量を求め、領域毎に求めたオフセット量をカウントしてヒストグラム化することにより、立体物の移動距離を算出する
ことを特徴とする請求項4に記載の移動距離検出装置。
【請求項6】
前記立体物検出手段は、前記複数の領域毎に重み付けをし、領域毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化する
ことを特徴とする請求項5に記載の移動距離検出装置。
【請求項7】
前記立体物検出手段は、前記差分波形の各領域について、所定の差分を示す画素数のカウントの最大値と最小値との差が大きいほど、重みを大きくする
ことを特徴とする請求項6に記載の移動距離検出装置。
【請求項8】
前記立体物検出手段は、領域毎に求めたオフセット量をカウントして得られたヒストグラムの極大値から、立体物の移動距離を算出する
ことを特徴とする請求項5から請求項7のいずれか1項に記載の移動距離検出装置。
【請求項9】
前記立体物検出手段は、前記撮像手段の移動速度を求め、求めた移動速度から静止物についてのオフセット量を求めると共に、領域毎に求めたオフセット量をカウントして得られたヒストグラムの極大値のうち、当該静止物に該当するオフセット量を無視したうえで、立体物の移動距離を算出する
ことを特徴とする請求項8に記載の移動距離検出装置。
【請求項10】
前記立体物検出手段は、当該静止物に該当するオフセット量を無視したうえで、極大値が複数ある場合、立体物の移動距離の算出を中止する
ことを特徴とする請求項9に記載の移動距離検出装置。
【請求項11】
所定領域を撮像する撮像手段による撮像にて得られた所定領域の画像を鳥瞰視される状態へ視点変換する変換工程と、
前記変換工程において視点変換された異なる時刻の鳥瞰画像データの位置を合わせる位置合わせ工程と、
前記位置合わせ工程において位置合わせされた鳥瞰画像データの差分画像データに基づいて、立体物を検出する立体物検出工程と、を有し、
前記立体物検出工程では、前記視点変換により立体物が倒れ込む方向に沿って、前記差分画像データ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形を生成し、当該差分波形の時間変化から立体物の移動距離を算出する
ことを特徴とする移動距離検出方法。
【請求項1】
所定領域を撮像する撮像手段と、
前記撮像手段による撮像にて得られた異なる時刻の所定領域の画像を、鳥瞰視上で位置を合わせる位置合わせ手段と、
前記位置合わせ手段により位置合わせされた異なる時刻の画像データの差分画像データに基づいて、立体物を検出する立体物検出手段と、を備え、
前記立体物検出手段は、前記所定領域の画像を鳥瞰視に視点変換した際に立体物が倒れ込む方向に沿って、前記差分画像データ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形を生成し、当該差分波形の時間変化から立体物の移動距離を算出する
ことを特徴とする移動距離検出装置。
【請求項2】
前記撮像手段による撮像にて得られた所定領域の画像を鳥瞰視される状態へ視点変換する変換手段を備え、
前記位置合わせ手段は、前記変換手段により視点変換された異なる時刻の鳥瞰画像データの位置を合わせる位置合わせを行い、
前記立体物検出手段は、前記位置合わせ手段により位置合わせされた異なる時刻の鳥瞰画像データの差分画像データに基づいて、立体物を検出し、前記変換手段による視点変換によって立体物が倒れ込む方向に沿って、前記差分画像データ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形を生成し、当該差分波形の時間変化から立体物の移動距離を算出する
ことを特徴とする請求項1に記載の移動距離検出装置。
【請求項3】
前記撮像手段による撮像によって得られた画像からスミアの発生領域を検出するスミア検出手段をさらに備え、
前記立体検出手段は、前記差分波形のうち前記スミア検出手段により検出されたスミアの発生領域に該当する箇所について、度数分布のカウント数をゼロとする
ことを特徴とする請求項2に記載の移動距離検出装置。
【請求項4】
前記立体物検出手段は、異なる時刻に生成された差分波形の誤差が最小となるときの差分波形のオフセット量から立体物の移動距離を算出する
ことを特徴とする請求項2又は請求項3のいずれかに記載の移動距離検出装置。
【請求項5】
前記立体物検出手段は、異なる時刻に生成された差分波形を複数の領域に分割し、領域毎にそれぞれの波形の誤差が最小となるときのオフセット量を求め、領域毎に求めたオフセット量をカウントしてヒストグラム化することにより、立体物の移動距離を算出する
ことを特徴とする請求項4に記載の移動距離検出装置。
【請求項6】
前記立体物検出手段は、前記複数の領域毎に重み付けをし、領域毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化する
ことを特徴とする請求項5に記載の移動距離検出装置。
【請求項7】
前記立体物検出手段は、前記差分波形の各領域について、所定の差分を示す画素数のカウントの最大値と最小値との差が大きいほど、重みを大きくする
ことを特徴とする請求項6に記載の移動距離検出装置。
【請求項8】
前記立体物検出手段は、領域毎に求めたオフセット量をカウントして得られたヒストグラムの極大値から、立体物の移動距離を算出する
ことを特徴とする請求項5から請求項7のいずれか1項に記載の移動距離検出装置。
【請求項9】
前記立体物検出手段は、前記撮像手段の移動速度を求め、求めた移動速度から静止物についてのオフセット量を求めると共に、領域毎に求めたオフセット量をカウントして得られたヒストグラムの極大値のうち、当該静止物に該当するオフセット量を無視したうえで、立体物の移動距離を算出する
ことを特徴とする請求項8に記載の移動距離検出装置。
【請求項10】
前記立体物検出手段は、当該静止物に該当するオフセット量を無視したうえで、極大値が複数ある場合、立体物の移動距離の算出を中止する
ことを特徴とする請求項9に記載の移動距離検出装置。
【請求項11】
所定領域を撮像する撮像手段による撮像にて得られた所定領域の画像を鳥瞰視される状態へ視点変換する変換工程と、
前記変換工程において視点変換された異なる時刻の鳥瞰画像データの位置を合わせる位置合わせ工程と、
前記位置合わせ工程において位置合わせされた鳥瞰画像データの差分画像データに基づいて、立体物を検出する立体物検出工程と、を有し、
前記立体物検出工程では、前記視点変換により立体物が倒れ込む方向に沿って、前記差分画像データ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形を生成し、当該差分波形の時間変化から立体物の移動距離を算出する
ことを特徴とする移動距離検出方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2012−3662(P2012−3662A)
【公開日】平成24年1月5日(2012.1.5)
【国際特許分類】
【出願番号】特願2010−140319(P2010−140319)
【出願日】平成22年6月21日(2010.6.21)
【出願人】(000003997)日産自動車株式会社 (16,386)
【Fターム(参考)】
【公開日】平成24年1月5日(2012.1.5)
【国際特許分類】
【出願日】平成22年6月21日(2010.6.21)
【出願人】(000003997)日産自動車株式会社 (16,386)
【Fターム(参考)】
[ Back to top ]