移動体検出装置
【課題】撮像画像に基づいて、移動物が写っている領域を検出し、その移動物領域を同一の移動物に属する領域ごとに分類する。
【解決手段】追跡可能領域検出部30は、撮像部10により撮像された画像を複数の領域に区分し、各領域ごとに、移動体を追跡可能な追跡可能領域を検出する。局所領域追跡部50は、異なるタイミングにて撮像された2つの画像に基づいて、各追跡可能領域の移動ベクトルを検出する。移動領域検出部80は、追跡可能領域に写っている物体が静止物であると仮定した場合の移動ベクトルを求め、この移動ベクトルと、局所領域追跡部50によって検出された移動ベクトルとに基づいて、移動物が写っている移動物領域を検出する。領域分類部90は、距離指標値算出部70によって算出される、移動物領域に写っている物体までの実空間上の距離に基づいて、同一の移動物に属する領域ごとに移動物領域を分類する。
【解決手段】追跡可能領域検出部30は、撮像部10により撮像された画像を複数の領域に区分し、各領域ごとに、移動体を追跡可能な追跡可能領域を検出する。局所領域追跡部50は、異なるタイミングにて撮像された2つの画像に基づいて、各追跡可能領域の移動ベクトルを検出する。移動領域検出部80は、追跡可能領域に写っている物体が静止物であると仮定した場合の移動ベクトルを求め、この移動ベクトルと、局所領域追跡部50によって検出された移動ベクトルとに基づいて、移動物が写っている移動物領域を検出する。領域分類部90は、距離指標値算出部70によって算出される、移動物領域に写っている物体までの実空間上の距離に基づいて、同一の移動物に属する領域ごとに移動物領域を分類する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像画像に基づいて、移動体を検出する移動体検出装置に関する。
【背景技術】
【0002】
車両に搭載したカメラにより撮像された画像に基づいて、移動体を検出する装置が知られている(特許文献1参照)。この従来の検出装置では、撮像画像中の水平エッジ成分および垂直エッジ成分を抽出し、抽出したエッジ成分に基づいて、車両の両側端部を表す垂直エッジ成分を検出している。
【0003】
【特許文献1】特開平2000−113201号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の検出装置は、画像中の垂直エッジ成分の中から車両を表す条件(車幅および車高に係わる基準条件)に基づいて車両の両側端部を表す垂直エッジ成分を検出しているので、車両の種類や車両との位置関係が変わると車両を表す条件も変わってしまうために、車両の両側端部を表すエッジ成分を検出することができず、撮像画像中の車両が写っている領域を特定することができない可能性があるという問題があった。
【課題を解決するための手段】
【0005】
本発明による移動体検出装置は、まず、撮像された画像を複数の領域に区分し、区分された各領域のうち、移動体を追跡可能な追跡可能領域を検出する。そして、車両が所定時間の間、移動した時に、追跡可能領域が撮像画像上を移動する移動ベクトルと、追跡可能領域に写っている物体が静止物であると仮定した場合に撮像画像上を移動する移動ベクトルとに基づいて、追跡可能領域の中から、移動物が写っている移動物領域を検出する。所定時間の間に車両が移動する移動量、および、所定時間の間に追跡可能領域が撮像画像上を移動する移動量に基づいて、追跡可能領域に写っている物体までの実空間上の距離指標値を算出し、この距離指標値に基づいて、移動物領域を、同一の移動物に属する領域ごとに分類することを特徴とする。
【発明の効果】
【0006】
本発明による移動体検出装置によれば、撮像画像を複数の領域に区分した中から、移動物が写っている移動物領域を検出するとともに、検出された複数の移動物領域を同一の移動物に属する領域ごとに分類するので、撮像画像中における移動物を確実に検出することができる。
【発明を実施するための最良の形態】
【0007】
図1は、一実施の形態における移動体検出装置の構成を示す図である。一実施の形態における移動体検出装置は、車両に搭載されて使用されるものであって、撮像部10と、画像記憶部20と、追跡可能領域検出部30と、追跡領域情報記憶部40と、局所領域追跡部50と、自車移動量検出部60と、距離指標値算出部70と、移動領域検出部80と、領域分類部90と、距離算出部100と、速度算出部110とを備える。
【0008】
撮像部10は、例えば、ビデオカメラであり、車両前方を一定時間間隔にて撮像する。カメラの左右方向の光軸は、車両の直進方向と一致させ、上下方向の光軸は、水平となるようにカメラを設置する。撮像部10により撮像された画像は、画像記憶部20に記憶される。
【0009】
追跡可能領域検出部30は、撮像部10により撮像され、画像記憶部20に記憶されている画像に基づいて、移動体の追跡が可能な領域を検出する。画像上において、道路上の白線のように一様な濃淡変化を持つ領域では、その濃淡の方向と垂直な方向(白線が伸びている方向)に対象(移動体)が移動しても、対象の移動量を検出することはできない。従って、対象を追跡可能な領域は、複数の方向に濃淡変化を有する領域となる。このような領域の検出方法について説明する。
【0010】
追跡可能領域検出部30は、画像記憶部20に記憶されている画像を読み出し、縦方向および横方向のエッジを検出するためのフィルタをかけ、エッジの縦、横の成分の大きさ(dI/dx,dI/dy:Iは画素値)をそれぞれ求める。次に、検出されたエッジに含まれるノイズ成分を除去するために、求めた縦、横のエッジ成分の大きさの2乗和がしきい値th1以上の画素を抽出し、抽出した画素について、エッジの縦方向成分と横方向成分の大きさの比を求めることにより、濃度勾配方向を求める。
【0011】
次に、ノイズが除去された後のエッジが示されている画像を縦方向および横方向に等間隔に格子状に分割する。図2は、上述した方法により、撮像画像からエッジを検出した画像に対して、縦方向および横方向に格子状に分割した領域を示す図である。この分割された各領域ごとに、エッジの縦方向成分と横方向成分の大きさの比の分散値を求める。この場合、分割された矩形領域内のエッジ勾配方向が一方向しかなければ、分散値は小さくなり、複数方向のエッジ勾配を持つ場合には、分散値は大きくなる。従って、求めた分散値が所定のしきい値th2より小さければ、エッジ勾配方向は一方向である可能性が高く、濃度勾配と垂直な方向に移動する物体を検出することは難しいと判断する。一方、求めた分散値が所定のしきい値th2以上であれば、複数方向のエッジ勾配を有しており、移動体がいずれの方向に移動しても追跡可能と判断できる。追跡可能領域検出部30は、求めた分散値が所定のしきい値th2以上の領域を追跡可能領域と判断する。図2の撮像画像に基づいて、追跡可能領域と判断された矩形領域を図3に示す。
【0012】
追跡可能領域検出部30は、撮像部10によって時間Δtの間隔にて撮像される画像に基づいて、新たな追跡可能領域を検出する。追跡可能領域検出部30により、追跡可能領域と判断された領域は、その領域の位置、および、原画像の画像パターンを、各矩形領域ごとに割り振られている識別番号に対応させて追跡領域情報記憶部40に記憶される。以下では、追跡領域情報記憶部40に記憶された画像パターンを基準パターンと呼ぶ。
【0013】
局所領域追跡部50は、追跡領域情報記憶部40に記憶されている情報、および、撮像部10により撮像された新たな画像に基づいて、追跡可能領域検出部30により検出された追跡可能領域の移動先および移動量を検出する。移動先および移動量の検出方法について説明する。
【0014】
追跡可能領域の周囲に、移動量を検出するための探索領域を設け、その探索領域内で基準パターン位置を1画素ずつずらしながら、新規画像との相関値を演算する。この場合、演算した相関値がしきい値th3以上であり、かつ、最大となる領域が追跡可能領域の移動先として検出される。基準パターン位置は、1画素単位で移動させる(ずらす)ので、移動先の位置も1画素単位でしか得られないが、周囲の領域に対する複数の相関値を用いて補間演算を行うことにより、相関値が最大となる位置(移動先)を1画素以下の精度で求めることができる。求めた移動先に基づいて算出される追跡可能領域の移動量は、水平方向x、垂直方向yの各方向成分として表される。図4は、各追跡可能領域の移動成分を矢印で表した図である。
【0015】
局所領域追跡部50により求められた移動先の位置および移動量は、識別番号ごとに追跡領域情報記憶部40に記憶される。従って、追跡領域情報記憶部40には、追跡可能領域ごとに、識別番号、現在の座標、移動ベクトル、および、基準パターンが記憶される。ただし、新規画像との相関値がしきい値th3未満の場合には、画像中の同一の部位が移動したと判断することはできないので、対象となっている追跡可能領域に関する情報を初期化する。また、追跡可能領域の始点座標が水平方向x、垂直方向yの一定範囲から外れた場合にも、その追跡可能領域に関する情報を初期化する。これは、画像上における静止物や自車両の移動方向と異なる方向に移動する移動体は、自車両の移動に伴って消失点から周辺方向に移動していくので、時間の経過とともに撮像範囲の外に出るからである。初期化された追跡可能領域に関しては、移動体領域であるか否かの判断は行われない。
【0016】
自車移動量検出部60は、以下の方法により、撮像間隔Δtの間の自車両の移動量を検出する。まず、撮像間隔Δtの間の車輪の回転数を計測し、この回転数とタイヤの外周長との積を演算する。なお、車輪の回転数を計測するセンサへのトリガ位置を車輪の1周に等角度に複数設定しておけば、1回転以下の分解能により回転数を計測することができる。
【0017】
距離指標値算出部70は、追跡領域情報記憶部40に記憶されている情報に基づいて、追跡可能領域に写っている追跡対象の位置を算出する。具体的には、撮像部10のレンズの中心から、追跡可能領域に写っている追跡対象までの距離Lを算出する。図5は、撮像部10から追跡対象までの距離Lを算出する方法について説明するための図であり、撮像間隔Δtの前後における撮像部10および追跡対象を横から見た図である。図5に示すように、撮像間隔Δtの間に自車両はΔLだけ移動したものとする。ここで、撮像部10のレンズの焦点距離をf、自車両が移動する前(時刻T1)の追跡対象の画像上のy座標をy1、自車両が移動した後(時刻T2)の追跡対象のy座標をy2、追跡対象の画像上のy方向の移動量をΔy(=y2−y1)とすると、距離Lは次式(1)にて表される。なお、撮像画像における水平方向の軸をx軸、垂直方向の軸をy軸とする。
L=f+ΔL×y1/Δy (1)
【0018】
移動領域検出部80は、追跡領域情報記憶部40に記憶されている追跡可能領域のうち、移動物が写っている移動物領域を検出する。移動物領域の検出方法について説明する。まず、局所領域追跡部50によって検出された追跡可能領域の移動ベクトル(図4参照)から、消失点を求める。すなわち、各追跡可能領域の移動ベクトルをそれぞれ延長した直線が交わる点の位置座標を複数求め、求めた複数の座標値の頻度が最大となる位置を消失点とする。図6は、図4に示す移動ベクトルに基づいて求められた消失点を示す図である。
【0019】
次に、各追跡可能領域に写っている物体が静止物であると仮定した場合に、自車両が撮像間隔Δtの間に進行することによって得られる追跡可能領域の移動ベクトルを求める。この移動ベクトルは、撮像画像上における追跡可能領域の位置および自車両の移動量に応じて、一義的に定まる。移動領域検出部80は、局所領域追跡部50によって検出された各追跡可能領域の移動ベクトル(図4参照)と、各追跡可能領域が静止物領域と仮定した際の移動ベクトルとの差を算出することにより、追跡可能領域が移動物領域であるか、静止物領域であるかを判断する。すなわち、追跡可能領域が静止物領域の場合には、上述した移動ベクトルの差はゼロとなるが、移動物領域の場合には、ゼロとならない。
【0020】
図7は、図6に示す移動ベクトルに基づいて、追跡可能領域ごとに、上述した移動ベクトルの差を求めた結果を示す図である。実際には、図7に示すように、移動ベクトルの検出誤差の影響等によって、静止物領域でも移動ベクトルの差がゼロとならないことがある。従って、移動領域検出部80は、上述した移動ベクトルの差の大きさの絶対値を所定のしきい値と比較し、移動ベクトルの差の大きさの絶対値が所定のしきい値以上の場合に、その追跡可能領域は移動物領域であると判断し、所定のしきい値より小さい場合に、その追跡可能領域は静止物領域であると判断する。
【0021】
領域分類部90は、距離指標値算出部70によって算出された距離Lに基づいて、移動領域検出部80によって検出された移動物領域が同一の移動物に属する領域であるか否か、すなわち、移動物領域と判断された複数の領域に写っている移動物が同一の移動物であるか否かを判断する。図8は、(i)自車両より遅い速度で自車両と同一方向に進んでいる移動物、(ii)自車両より速い速度で自車両と同一方向に進んでいる移動物、(iii)自車両と反対方向に進んでいる移動物を対象として、距離指標値算出部70によって算出された距離データの分布を示す図である。
【0022】
上述したように、距離指標値算出部70は、式(1)から移動物までの距離Lを算出する。自車両から同一の距離にある同一の移動物を対象として距離Lを算出した場合、式(1)により算出される距離Lは同じ値となる。しかし、自車両から同一の距離にある異なる移動物を対象として距離Lを算出した場合、上記(i)〜(iii)の移動物の画像上のy方向の移動量Δyはそれぞれ異なる値となるので、式(1)により算出される距離Lもそれぞれ異なる値となる。
【0023】
すなわち、移動物領域ごとに距離Lのデータを求めると、同一の移動物に属する領域は、図8に示すように、ある距離をピークとして、一定範囲内にデータを有する分布となる。従って、領域分類部90は、移動物領域ごとに算出される距離Lの頻度分布に基づいて、各移動物領域が同一の移動物が撮像されている領域であるか否かを判定することができる。図9は、領域分類部90によって、同一の移動物ごとに分類された結果を示す図である。図9では、2つの領域に分類されている。
【0024】
なお、上述したように、式(1)を用いて移動物までの距離を算出した場合、実際の距離とは誤差が生じるが、同一速度で移動している同一の距離にある領域については、その誤差も同じとなる。従って、式(1)から求められる距離Lを横軸として頻度分布を求めると、同一の移動物に属する領域は、図8に示すように、1ヶ所に集中する分布となる。
【0025】
距離算出部100は、領域分類部90によって同一の移動物に属すると判定された領域の移動物と自車両との間の距離Sを算出する。すなわち、同一の移動物に属すると判定された複数の移動物領域のうち、撮像画像上で最も下の位置における領域(y座標値が最も小さい領域)のy座標y2を求めて、次式(2)より、距離Sを算出する。
S=h×f/y2 (2)
ただし、fは撮像部10のレンズの焦点距離、hは、路面から撮像部10の光軸までの高さである。
【0026】
なお、撮像画像上で最も下の位置における領域のy座標y2を求めるのは、移動物の最下位置は、路面と接している位置となるからである。距離算出部100によって、式(2)により距離Sを算出する方法は、式(1)の距離算出方法と異なり、距離の検出対象が移動物であっても正確に距離を算出することができる。図10は、追跡可能領域に写っている対象物が移動物の場合に、式(1)により算出される距離Lと、式(2)より算出される距離Sとの関係を示す図である。
【0027】
速度算出部110は、距離指標値算出部70によって算出された距離L、自車移動量検出部60により検出される自車移動量ΔL、距離算出部100によって算出される距離Sを用いて、次式(3)より、移動物の速度Vを算出する。
V=S×[−1/{(L−f)×ΔL}+f×y2/y1+ΔL]/Δt (3)
ただし、y1は、自車両が移動する前(時刻T1)の追跡対象の画像上のy座標であり、y2は、撮像間隔Δtの間に自車両が移動した後(時刻T2)の追跡対象のy座標である。
【0028】
図11は、一実施の形態における移動体検出装置によって行われる処理手順を示すフローチャートである。ステップS10から始まる処理は、図示しないイグニッションスイッチがオンされることにより始まる。ステップS10では、追跡領域情報記憶部40に記憶されている追跡領域情報を初期化して、ステップS20に進む。ステップS20では、撮像部10により撮像された画像を画像記憶部20に記憶して、ステップS30に進む。
【0029】
ステップS30では、追跡可能領域検出部30によって、画像記憶部20に記憶されている画像に基づいて、追跡可能領域を検出する。追跡可能領域の検出方法は上述したので、詳しい説明は省略する。追跡可能領域を検出するとステップS40に進む。ステップS40では、局所領域追跡部50によって、追跡可能領域が撮像間隔Δtの間に移動する画像上の移動量(移動ベクトル)を検出する。移動ベクトルの検出方法は上述したので、詳しい説明は省略する。追跡可能領域の移動ベクトルを検出すると、ステップS50に進む。
【0030】
ステップS50では、移動領域検出部80によって、追跡可能領域ごとに、撮像間隔Δtの間に静止物が移動する移動ベクトルを求め、この移動ベクトルと、ステップS40で求められた移動ベクトルとに基づいて、追跡可能領域の中から移動物領域を検出する。移動物領域の検出方法は上述したので、詳しい説明は省略する。
【0031】
ステップS60において、距離指標値算出部70は、ステップS50で検出された全ての移動物領域に写っている物体までの距離Lを算出する。距離Lの算出方法は上述したので、詳しい説明は省略する。距離Lを算出すると、ステップS70に進む。ステップS70において、領域分類部90は、移動物領域ごとに算出された距離Lに基づいて、複数の移動物領域に写っている移動物が同一物に属するか否かを判定して、移動物領域を分類する。移動物領域を分類すると、ステップS80に進む。
【0032】
ステップS80において、距離算出部100は、領域分類部90によって分類された移動物領域に写っている移動物までの距離Sを算出する。移動物までの距離Sの算出方法は上述したので、詳しい説明は省略する。ステップS80に続くステップS90では、速度算出部110によって、移動物の速度Vを算出する。移動物の速度Vの算出方法は上述したので、詳しい説明は省略する。
【0033】
一実施の形態における移動体検出装置が行う処理内容についてまとめておく。追跡可能領域検出部30は、撮像部10により撮像された画像を複数の領域に区分し、各領域ごとに、移動体を追跡可能な追跡可能領域を検出する。局所領域追跡部50は、Δtの撮像間隔で撮像部10により撮像された少なくとも2枚の画像に基づいて、追跡可能領域の移動ベクトルを検出する。移動領域検出部80は、追跡可能領域に写っている物体が静止物であると仮定した場合に、撮像間隔Δtにて追跡可能領域が撮像画像上を移動する移動ベクトルを算出し、この移動ベクトルと、局所領域追跡部50によって検出される移動ベクトルとに基づいて、移動物領域を検出する。領域分類部90は、距離指標値算出部70が式(1)によって算出する、移動物領域に写っている移動物までの距離Lに基づいて、同一の移動物が撮像されている領域ごとに移動物領域を分類する。その後、距離算出部100は、同一の移動物が写っている領域の座標値から、式(2)により、移動物までの距離Sを算出する。また、速度算出部110は、式(3)から、移動物の移動速度Vを算出する。
【0034】
一実施の形態における移動体検出装置によれば、移動物の種類や、移動物と撮像部10との位置関係に関わらず、撮像画像に基づいて、移動物の存在を検出することができるとともに、検出された画像上の移動物領域を、同一の移動物に属する領域ごとに分類することができる。
【0035】
また、一実施の形態における移動体検出装置によれば、同一の移動物に属すると判断された複数の領域のうち、撮像画像上で最も下の位置にある領域の座標値に基づいて、実空間上における移動物までの距離を算出するので、距離を算出する対象物が移動物の場合でも、正確に距離を算出することができる。
【0036】
さらに、一実施の形態における移動体検出装置によれば、少なくとも距離指標値算出部70により算出された距離L、および、距離算出部100により算出された距離Sに基づいて、移動物の移動速度Vを算出するので、移動物の速度を正確に算出することができる。
【0037】
本発明は、上述した一実施の形態に限定されることはなく、発明の本質を損なわない範囲での変形構成例は、本発明の技術的範囲に含まれる。
【0038】
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、撮像部10が撮影手段を、追跡可能領域検出部30が領域区分手段および追跡可能領域検出手段を、局所領域追跡部50が移動ベクトル検出手段を、移動領域検出部80が移動物領域検出手段を、自車移動量検出部60が自車移動量検出手段を、距離指標値算出手段70が距離指標値算出手段を、領域分類部90が領域分類手段を、距離算出部100が距離算出手段を、速度算出部110が速度算出手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【図面の簡単な説明】
【0039】
【図1】一実施の形態における移動体検出装置の構成を示す図
【図2】撮像画像からエッジを検出した画像に対して、縦方向および横方向に格子状に分割した複数の領域を示す図
【図3】図2の撮像画像に基づいて、追跡可能領域と判断された矩形領域を示す図
【図4】各追跡可能領域の移動成分を矢印で表した図
【図5】撮像間隔Δtの前後における撮像部および追跡対象を横から見た図
【図6】図4に示す移動ベクトルに基づいて求められた消失点を示す図
【図7】追跡可能領域ごとに、上述した移動ベクトルの差を求めた結果を示す図
【図8】自車両より遅い速度で自車両と同一方向に進んでいる移動物、自車両より速い速度で自車両と同一方向に進んでいる移動物、自車両と反対方向に進んでいる移動物を対象として、距離指標値算出部70によって算出された距離データの分布を示す図
【図9】複数の移動物領域を、同一の移動物ごとに分類した結果を示す図
【図10】追跡可能領域に写っている対象物が移動物の場合に、式(1)により算出される距離Lと、式(2)より算出される距離Sとの関係を示す図
【図11】一実施の形態における移動体検出装置によって行われる処理手順を示すフローチャート
【符号の説明】
【0040】
10…撮像部
20…画像記憶部
30…追跡可能領域検出部
40…追跡領域情報記憶部
50…局所領域追跡部
60…自車移動量検出部
70…距離指標値算出部
80…移動領域検出部
90…領域分類部
100…距離算出部
110…速度算出部
【技術分野】
【0001】
本発明は、撮像画像に基づいて、移動体を検出する移動体検出装置に関する。
【背景技術】
【0002】
車両に搭載したカメラにより撮像された画像に基づいて、移動体を検出する装置が知られている(特許文献1参照)。この従来の検出装置では、撮像画像中の水平エッジ成分および垂直エッジ成分を抽出し、抽出したエッジ成分に基づいて、車両の両側端部を表す垂直エッジ成分を検出している。
【0003】
【特許文献1】特開平2000−113201号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の検出装置は、画像中の垂直エッジ成分の中から車両を表す条件(車幅および車高に係わる基準条件)に基づいて車両の両側端部を表す垂直エッジ成分を検出しているので、車両の種類や車両との位置関係が変わると車両を表す条件も変わってしまうために、車両の両側端部を表すエッジ成分を検出することができず、撮像画像中の車両が写っている領域を特定することができない可能性があるという問題があった。
【課題を解決するための手段】
【0005】
本発明による移動体検出装置は、まず、撮像された画像を複数の領域に区分し、区分された各領域のうち、移動体を追跡可能な追跡可能領域を検出する。そして、車両が所定時間の間、移動した時に、追跡可能領域が撮像画像上を移動する移動ベクトルと、追跡可能領域に写っている物体が静止物であると仮定した場合に撮像画像上を移動する移動ベクトルとに基づいて、追跡可能領域の中から、移動物が写っている移動物領域を検出する。所定時間の間に車両が移動する移動量、および、所定時間の間に追跡可能領域が撮像画像上を移動する移動量に基づいて、追跡可能領域に写っている物体までの実空間上の距離指標値を算出し、この距離指標値に基づいて、移動物領域を、同一の移動物に属する領域ごとに分類することを特徴とする。
【発明の効果】
【0006】
本発明による移動体検出装置によれば、撮像画像を複数の領域に区分した中から、移動物が写っている移動物領域を検出するとともに、検出された複数の移動物領域を同一の移動物に属する領域ごとに分類するので、撮像画像中における移動物を確実に検出することができる。
【発明を実施するための最良の形態】
【0007】
図1は、一実施の形態における移動体検出装置の構成を示す図である。一実施の形態における移動体検出装置は、車両に搭載されて使用されるものであって、撮像部10と、画像記憶部20と、追跡可能領域検出部30と、追跡領域情報記憶部40と、局所領域追跡部50と、自車移動量検出部60と、距離指標値算出部70と、移動領域検出部80と、領域分類部90と、距離算出部100と、速度算出部110とを備える。
【0008】
撮像部10は、例えば、ビデオカメラであり、車両前方を一定時間間隔にて撮像する。カメラの左右方向の光軸は、車両の直進方向と一致させ、上下方向の光軸は、水平となるようにカメラを設置する。撮像部10により撮像された画像は、画像記憶部20に記憶される。
【0009】
追跡可能領域検出部30は、撮像部10により撮像され、画像記憶部20に記憶されている画像に基づいて、移動体の追跡が可能な領域を検出する。画像上において、道路上の白線のように一様な濃淡変化を持つ領域では、その濃淡の方向と垂直な方向(白線が伸びている方向)に対象(移動体)が移動しても、対象の移動量を検出することはできない。従って、対象を追跡可能な領域は、複数の方向に濃淡変化を有する領域となる。このような領域の検出方法について説明する。
【0010】
追跡可能領域検出部30は、画像記憶部20に記憶されている画像を読み出し、縦方向および横方向のエッジを検出するためのフィルタをかけ、エッジの縦、横の成分の大きさ(dI/dx,dI/dy:Iは画素値)をそれぞれ求める。次に、検出されたエッジに含まれるノイズ成分を除去するために、求めた縦、横のエッジ成分の大きさの2乗和がしきい値th1以上の画素を抽出し、抽出した画素について、エッジの縦方向成分と横方向成分の大きさの比を求めることにより、濃度勾配方向を求める。
【0011】
次に、ノイズが除去された後のエッジが示されている画像を縦方向および横方向に等間隔に格子状に分割する。図2は、上述した方法により、撮像画像からエッジを検出した画像に対して、縦方向および横方向に格子状に分割した領域を示す図である。この分割された各領域ごとに、エッジの縦方向成分と横方向成分の大きさの比の分散値を求める。この場合、分割された矩形領域内のエッジ勾配方向が一方向しかなければ、分散値は小さくなり、複数方向のエッジ勾配を持つ場合には、分散値は大きくなる。従って、求めた分散値が所定のしきい値th2より小さければ、エッジ勾配方向は一方向である可能性が高く、濃度勾配と垂直な方向に移動する物体を検出することは難しいと判断する。一方、求めた分散値が所定のしきい値th2以上であれば、複数方向のエッジ勾配を有しており、移動体がいずれの方向に移動しても追跡可能と判断できる。追跡可能領域検出部30は、求めた分散値が所定のしきい値th2以上の領域を追跡可能領域と判断する。図2の撮像画像に基づいて、追跡可能領域と判断された矩形領域を図3に示す。
【0012】
追跡可能領域検出部30は、撮像部10によって時間Δtの間隔にて撮像される画像に基づいて、新たな追跡可能領域を検出する。追跡可能領域検出部30により、追跡可能領域と判断された領域は、その領域の位置、および、原画像の画像パターンを、各矩形領域ごとに割り振られている識別番号に対応させて追跡領域情報記憶部40に記憶される。以下では、追跡領域情報記憶部40に記憶された画像パターンを基準パターンと呼ぶ。
【0013】
局所領域追跡部50は、追跡領域情報記憶部40に記憶されている情報、および、撮像部10により撮像された新たな画像に基づいて、追跡可能領域検出部30により検出された追跡可能領域の移動先および移動量を検出する。移動先および移動量の検出方法について説明する。
【0014】
追跡可能領域の周囲に、移動量を検出するための探索領域を設け、その探索領域内で基準パターン位置を1画素ずつずらしながら、新規画像との相関値を演算する。この場合、演算した相関値がしきい値th3以上であり、かつ、最大となる領域が追跡可能領域の移動先として検出される。基準パターン位置は、1画素単位で移動させる(ずらす)ので、移動先の位置も1画素単位でしか得られないが、周囲の領域に対する複数の相関値を用いて補間演算を行うことにより、相関値が最大となる位置(移動先)を1画素以下の精度で求めることができる。求めた移動先に基づいて算出される追跡可能領域の移動量は、水平方向x、垂直方向yの各方向成分として表される。図4は、各追跡可能領域の移動成分を矢印で表した図である。
【0015】
局所領域追跡部50により求められた移動先の位置および移動量は、識別番号ごとに追跡領域情報記憶部40に記憶される。従って、追跡領域情報記憶部40には、追跡可能領域ごとに、識別番号、現在の座標、移動ベクトル、および、基準パターンが記憶される。ただし、新規画像との相関値がしきい値th3未満の場合には、画像中の同一の部位が移動したと判断することはできないので、対象となっている追跡可能領域に関する情報を初期化する。また、追跡可能領域の始点座標が水平方向x、垂直方向yの一定範囲から外れた場合にも、その追跡可能領域に関する情報を初期化する。これは、画像上における静止物や自車両の移動方向と異なる方向に移動する移動体は、自車両の移動に伴って消失点から周辺方向に移動していくので、時間の経過とともに撮像範囲の外に出るからである。初期化された追跡可能領域に関しては、移動体領域であるか否かの判断は行われない。
【0016】
自車移動量検出部60は、以下の方法により、撮像間隔Δtの間の自車両の移動量を検出する。まず、撮像間隔Δtの間の車輪の回転数を計測し、この回転数とタイヤの外周長との積を演算する。なお、車輪の回転数を計測するセンサへのトリガ位置を車輪の1周に等角度に複数設定しておけば、1回転以下の分解能により回転数を計測することができる。
【0017】
距離指標値算出部70は、追跡領域情報記憶部40に記憶されている情報に基づいて、追跡可能領域に写っている追跡対象の位置を算出する。具体的には、撮像部10のレンズの中心から、追跡可能領域に写っている追跡対象までの距離Lを算出する。図5は、撮像部10から追跡対象までの距離Lを算出する方法について説明するための図であり、撮像間隔Δtの前後における撮像部10および追跡対象を横から見た図である。図5に示すように、撮像間隔Δtの間に自車両はΔLだけ移動したものとする。ここで、撮像部10のレンズの焦点距離をf、自車両が移動する前(時刻T1)の追跡対象の画像上のy座標をy1、自車両が移動した後(時刻T2)の追跡対象のy座標をy2、追跡対象の画像上のy方向の移動量をΔy(=y2−y1)とすると、距離Lは次式(1)にて表される。なお、撮像画像における水平方向の軸をx軸、垂直方向の軸をy軸とする。
L=f+ΔL×y1/Δy (1)
【0018】
移動領域検出部80は、追跡領域情報記憶部40に記憶されている追跡可能領域のうち、移動物が写っている移動物領域を検出する。移動物領域の検出方法について説明する。まず、局所領域追跡部50によって検出された追跡可能領域の移動ベクトル(図4参照)から、消失点を求める。すなわち、各追跡可能領域の移動ベクトルをそれぞれ延長した直線が交わる点の位置座標を複数求め、求めた複数の座標値の頻度が最大となる位置を消失点とする。図6は、図4に示す移動ベクトルに基づいて求められた消失点を示す図である。
【0019】
次に、各追跡可能領域に写っている物体が静止物であると仮定した場合に、自車両が撮像間隔Δtの間に進行することによって得られる追跡可能領域の移動ベクトルを求める。この移動ベクトルは、撮像画像上における追跡可能領域の位置および自車両の移動量に応じて、一義的に定まる。移動領域検出部80は、局所領域追跡部50によって検出された各追跡可能領域の移動ベクトル(図4参照)と、各追跡可能領域が静止物領域と仮定した際の移動ベクトルとの差を算出することにより、追跡可能領域が移動物領域であるか、静止物領域であるかを判断する。すなわち、追跡可能領域が静止物領域の場合には、上述した移動ベクトルの差はゼロとなるが、移動物領域の場合には、ゼロとならない。
【0020】
図7は、図6に示す移動ベクトルに基づいて、追跡可能領域ごとに、上述した移動ベクトルの差を求めた結果を示す図である。実際には、図7に示すように、移動ベクトルの検出誤差の影響等によって、静止物領域でも移動ベクトルの差がゼロとならないことがある。従って、移動領域検出部80は、上述した移動ベクトルの差の大きさの絶対値を所定のしきい値と比較し、移動ベクトルの差の大きさの絶対値が所定のしきい値以上の場合に、その追跡可能領域は移動物領域であると判断し、所定のしきい値より小さい場合に、その追跡可能領域は静止物領域であると判断する。
【0021】
領域分類部90は、距離指標値算出部70によって算出された距離Lに基づいて、移動領域検出部80によって検出された移動物領域が同一の移動物に属する領域であるか否か、すなわち、移動物領域と判断された複数の領域に写っている移動物が同一の移動物であるか否かを判断する。図8は、(i)自車両より遅い速度で自車両と同一方向に進んでいる移動物、(ii)自車両より速い速度で自車両と同一方向に進んでいる移動物、(iii)自車両と反対方向に進んでいる移動物を対象として、距離指標値算出部70によって算出された距離データの分布を示す図である。
【0022】
上述したように、距離指標値算出部70は、式(1)から移動物までの距離Lを算出する。自車両から同一の距離にある同一の移動物を対象として距離Lを算出した場合、式(1)により算出される距離Lは同じ値となる。しかし、自車両から同一の距離にある異なる移動物を対象として距離Lを算出した場合、上記(i)〜(iii)の移動物の画像上のy方向の移動量Δyはそれぞれ異なる値となるので、式(1)により算出される距離Lもそれぞれ異なる値となる。
【0023】
すなわち、移動物領域ごとに距離Lのデータを求めると、同一の移動物に属する領域は、図8に示すように、ある距離をピークとして、一定範囲内にデータを有する分布となる。従って、領域分類部90は、移動物領域ごとに算出される距離Lの頻度分布に基づいて、各移動物領域が同一の移動物が撮像されている領域であるか否かを判定することができる。図9は、領域分類部90によって、同一の移動物ごとに分類された結果を示す図である。図9では、2つの領域に分類されている。
【0024】
なお、上述したように、式(1)を用いて移動物までの距離を算出した場合、実際の距離とは誤差が生じるが、同一速度で移動している同一の距離にある領域については、その誤差も同じとなる。従って、式(1)から求められる距離Lを横軸として頻度分布を求めると、同一の移動物に属する領域は、図8に示すように、1ヶ所に集中する分布となる。
【0025】
距離算出部100は、領域分類部90によって同一の移動物に属すると判定された領域の移動物と自車両との間の距離Sを算出する。すなわち、同一の移動物に属すると判定された複数の移動物領域のうち、撮像画像上で最も下の位置における領域(y座標値が最も小さい領域)のy座標y2を求めて、次式(2)より、距離Sを算出する。
S=h×f/y2 (2)
ただし、fは撮像部10のレンズの焦点距離、hは、路面から撮像部10の光軸までの高さである。
【0026】
なお、撮像画像上で最も下の位置における領域のy座標y2を求めるのは、移動物の最下位置は、路面と接している位置となるからである。距離算出部100によって、式(2)により距離Sを算出する方法は、式(1)の距離算出方法と異なり、距離の検出対象が移動物であっても正確に距離を算出することができる。図10は、追跡可能領域に写っている対象物が移動物の場合に、式(1)により算出される距離Lと、式(2)より算出される距離Sとの関係を示す図である。
【0027】
速度算出部110は、距離指標値算出部70によって算出された距離L、自車移動量検出部60により検出される自車移動量ΔL、距離算出部100によって算出される距離Sを用いて、次式(3)より、移動物の速度Vを算出する。
V=S×[−1/{(L−f)×ΔL}+f×y2/y1+ΔL]/Δt (3)
ただし、y1は、自車両が移動する前(時刻T1)の追跡対象の画像上のy座標であり、y2は、撮像間隔Δtの間に自車両が移動した後(時刻T2)の追跡対象のy座標である。
【0028】
図11は、一実施の形態における移動体検出装置によって行われる処理手順を示すフローチャートである。ステップS10から始まる処理は、図示しないイグニッションスイッチがオンされることにより始まる。ステップS10では、追跡領域情報記憶部40に記憶されている追跡領域情報を初期化して、ステップS20に進む。ステップS20では、撮像部10により撮像された画像を画像記憶部20に記憶して、ステップS30に進む。
【0029】
ステップS30では、追跡可能領域検出部30によって、画像記憶部20に記憶されている画像に基づいて、追跡可能領域を検出する。追跡可能領域の検出方法は上述したので、詳しい説明は省略する。追跡可能領域を検出するとステップS40に進む。ステップS40では、局所領域追跡部50によって、追跡可能領域が撮像間隔Δtの間に移動する画像上の移動量(移動ベクトル)を検出する。移動ベクトルの検出方法は上述したので、詳しい説明は省略する。追跡可能領域の移動ベクトルを検出すると、ステップS50に進む。
【0030】
ステップS50では、移動領域検出部80によって、追跡可能領域ごとに、撮像間隔Δtの間に静止物が移動する移動ベクトルを求め、この移動ベクトルと、ステップS40で求められた移動ベクトルとに基づいて、追跡可能領域の中から移動物領域を検出する。移動物領域の検出方法は上述したので、詳しい説明は省略する。
【0031】
ステップS60において、距離指標値算出部70は、ステップS50で検出された全ての移動物領域に写っている物体までの距離Lを算出する。距離Lの算出方法は上述したので、詳しい説明は省略する。距離Lを算出すると、ステップS70に進む。ステップS70において、領域分類部90は、移動物領域ごとに算出された距離Lに基づいて、複数の移動物領域に写っている移動物が同一物に属するか否かを判定して、移動物領域を分類する。移動物領域を分類すると、ステップS80に進む。
【0032】
ステップS80において、距離算出部100は、領域分類部90によって分類された移動物領域に写っている移動物までの距離Sを算出する。移動物までの距離Sの算出方法は上述したので、詳しい説明は省略する。ステップS80に続くステップS90では、速度算出部110によって、移動物の速度Vを算出する。移動物の速度Vの算出方法は上述したので、詳しい説明は省略する。
【0033】
一実施の形態における移動体検出装置が行う処理内容についてまとめておく。追跡可能領域検出部30は、撮像部10により撮像された画像を複数の領域に区分し、各領域ごとに、移動体を追跡可能な追跡可能領域を検出する。局所領域追跡部50は、Δtの撮像間隔で撮像部10により撮像された少なくとも2枚の画像に基づいて、追跡可能領域の移動ベクトルを検出する。移動領域検出部80は、追跡可能領域に写っている物体が静止物であると仮定した場合に、撮像間隔Δtにて追跡可能領域が撮像画像上を移動する移動ベクトルを算出し、この移動ベクトルと、局所領域追跡部50によって検出される移動ベクトルとに基づいて、移動物領域を検出する。領域分類部90は、距離指標値算出部70が式(1)によって算出する、移動物領域に写っている移動物までの距離Lに基づいて、同一の移動物が撮像されている領域ごとに移動物領域を分類する。その後、距離算出部100は、同一の移動物が写っている領域の座標値から、式(2)により、移動物までの距離Sを算出する。また、速度算出部110は、式(3)から、移動物の移動速度Vを算出する。
【0034】
一実施の形態における移動体検出装置によれば、移動物の種類や、移動物と撮像部10との位置関係に関わらず、撮像画像に基づいて、移動物の存在を検出することができるとともに、検出された画像上の移動物領域を、同一の移動物に属する領域ごとに分類することができる。
【0035】
また、一実施の形態における移動体検出装置によれば、同一の移動物に属すると判断された複数の領域のうち、撮像画像上で最も下の位置にある領域の座標値に基づいて、実空間上における移動物までの距離を算出するので、距離を算出する対象物が移動物の場合でも、正確に距離を算出することができる。
【0036】
さらに、一実施の形態における移動体検出装置によれば、少なくとも距離指標値算出部70により算出された距離L、および、距離算出部100により算出された距離Sに基づいて、移動物の移動速度Vを算出するので、移動物の速度を正確に算出することができる。
【0037】
本発明は、上述した一実施の形態に限定されることはなく、発明の本質を損なわない範囲での変形構成例は、本発明の技術的範囲に含まれる。
【0038】
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、撮像部10が撮影手段を、追跡可能領域検出部30が領域区分手段および追跡可能領域検出手段を、局所領域追跡部50が移動ベクトル検出手段を、移動領域検出部80が移動物領域検出手段を、自車移動量検出部60が自車移動量検出手段を、距離指標値算出手段70が距離指標値算出手段を、領域分類部90が領域分類手段を、距離算出部100が距離算出手段を、速度算出部110が速度算出手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【図面の簡単な説明】
【0039】
【図1】一実施の形態における移動体検出装置の構成を示す図
【図2】撮像画像からエッジを検出した画像に対して、縦方向および横方向に格子状に分割した複数の領域を示す図
【図3】図2の撮像画像に基づいて、追跡可能領域と判断された矩形領域を示す図
【図4】各追跡可能領域の移動成分を矢印で表した図
【図5】撮像間隔Δtの前後における撮像部および追跡対象を横から見た図
【図6】図4に示す移動ベクトルに基づいて求められた消失点を示す図
【図7】追跡可能領域ごとに、上述した移動ベクトルの差を求めた結果を示す図
【図8】自車両より遅い速度で自車両と同一方向に進んでいる移動物、自車両より速い速度で自車両と同一方向に進んでいる移動物、自車両と反対方向に進んでいる移動物を対象として、距離指標値算出部70によって算出された距離データの分布を示す図
【図9】複数の移動物領域を、同一の移動物ごとに分類した結果を示す図
【図10】追跡可能領域に写っている対象物が移動物の場合に、式(1)により算出される距離Lと、式(2)より算出される距離Sとの関係を示す図
【図11】一実施の形態における移動体検出装置によって行われる処理手順を示すフローチャート
【符号の説明】
【0040】
10…撮像部
20…画像記憶部
30…追跡可能領域検出部
40…追跡領域情報記憶部
50…局所領域追跡部
60…自車移動量検出部
70…距離指標値算出部
80…移動領域検出部
90…領域分類部
100…距離算出部
110…速度算出部
【特許請求の範囲】
【請求項1】
車両に設置されて車両の周囲を撮像する撮像手段と、
前記撮像手段により撮像された画像を複数の領域に区分する領域区分手段と、
前記領域区分手段により区分された各領域のうち、移動体を追跡可能な追跡可能領域を検出する追跡可能領域検出手段と、
前記撮像手段により第1のタイミングにて撮像された第1の画像、および、前記第1のタイミングから所定時間経過した第2のタイミングにて撮像された第2の画像に基づいて、前記追跡可能領域検出手段によって検出された複数の追跡可能領域の移動ベクトルを検出する移動ベクトル検出手段と、
前記移動ベクトル検出手段によって検出された移動ベクトルと、前記追跡可能領域に写っている物体が静止物であると仮定した場合に、前記第1の画像および前記第2の画像に基づいて求められる前記追跡可能領域の移動ベクトルとに基づいて、前記追跡可能領域の中から、移動物が写っている移動物領域を検出する移動物領域検出手段と、
前記所定時間の間に車両が移動する距離を検出する自車移動量検出手段と、
前記自車移動量検出手段により検出される自車移動量、および、前記移動ベクトル検出手段により検出される追跡可能領域の画像上の移動量に基づいて、追跡可能領域に写っている物体までの実空間上の距離を算出する距離指標値算出手段と、
前記距離指標値算出手段により算出された距離指標値に基づいて、前記移動物領域検出手段により検出された移動物領域を、同一の移動物に属する領域ごとに分類する領域分類手段とを備えることを特徴とする移動体検出装置。
【請求項2】
請求項1に記載の移動体検出装置において、
前記移動物領域検出手段は、前記移動ベクトル検出手段によって検出された移動ベクトルと、前記追跡可能領域に写っている物体が静止物であると仮定した場合の移動ベクトルとの差の大きさの絶対値が所定値以上の場合に、前記追跡可能領域が移動物領域であると判定することを特徴とする移動体検出装置。
【請求項3】
請求項1または2に記載の移動体検出装置において、
前記領域分類手段は、前記移動物領域ごとに前記距離指標値算出手段により算出された距離指標値の分布を求め、前記分布が集中する領域に応じて、同一の移動物に属する領域ごとに移動物領域を分類することを特徴とする移動体検出装置。
【請求項4】
請求項1〜3のいずれかに記載の移動体検出装置において、
前記領域分類手段によって同一の移動物に属すると判断された複数の領域のうち、撮像画像上で最も下の位置にある領域の座標値に基づいて、実空間上における移動物までの距離を算出する距離算出手段をさらに備えることを特徴とする移動体検出装置。
【請求項5】
請求項4に記載の移動体検出装置において、
少なくとも前記距離指標値算出手段により算出された距離指標値、および、前記距離算出手段により算出された距離に基づいて、移動物の移動速度を算出する速度算出手段をさらに備えることを特徴とする移動体検出装置。
【請求項6】
請求項1〜5のいずれかに記載の移動体検出装置において、
前記追跡可能領域検出手段は、複数の方向に濃淡変化を有する領域を前記追跡可能領域として検出することを特徴とする移動体領域検出装置。
【請求項1】
車両に設置されて車両の周囲を撮像する撮像手段と、
前記撮像手段により撮像された画像を複数の領域に区分する領域区分手段と、
前記領域区分手段により区分された各領域のうち、移動体を追跡可能な追跡可能領域を検出する追跡可能領域検出手段と、
前記撮像手段により第1のタイミングにて撮像された第1の画像、および、前記第1のタイミングから所定時間経過した第2のタイミングにて撮像された第2の画像に基づいて、前記追跡可能領域検出手段によって検出された複数の追跡可能領域の移動ベクトルを検出する移動ベクトル検出手段と、
前記移動ベクトル検出手段によって検出された移動ベクトルと、前記追跡可能領域に写っている物体が静止物であると仮定した場合に、前記第1の画像および前記第2の画像に基づいて求められる前記追跡可能領域の移動ベクトルとに基づいて、前記追跡可能領域の中から、移動物が写っている移動物領域を検出する移動物領域検出手段と、
前記所定時間の間に車両が移動する距離を検出する自車移動量検出手段と、
前記自車移動量検出手段により検出される自車移動量、および、前記移動ベクトル検出手段により検出される追跡可能領域の画像上の移動量に基づいて、追跡可能領域に写っている物体までの実空間上の距離を算出する距離指標値算出手段と、
前記距離指標値算出手段により算出された距離指標値に基づいて、前記移動物領域検出手段により検出された移動物領域を、同一の移動物に属する領域ごとに分類する領域分類手段とを備えることを特徴とする移動体検出装置。
【請求項2】
請求項1に記載の移動体検出装置において、
前記移動物領域検出手段は、前記移動ベクトル検出手段によって検出された移動ベクトルと、前記追跡可能領域に写っている物体が静止物であると仮定した場合の移動ベクトルとの差の大きさの絶対値が所定値以上の場合に、前記追跡可能領域が移動物領域であると判定することを特徴とする移動体検出装置。
【請求項3】
請求項1または2に記載の移動体検出装置において、
前記領域分類手段は、前記移動物領域ごとに前記距離指標値算出手段により算出された距離指標値の分布を求め、前記分布が集中する領域に応じて、同一の移動物に属する領域ごとに移動物領域を分類することを特徴とする移動体検出装置。
【請求項4】
請求項1〜3のいずれかに記載の移動体検出装置において、
前記領域分類手段によって同一の移動物に属すると判断された複数の領域のうち、撮像画像上で最も下の位置にある領域の座標値に基づいて、実空間上における移動物までの距離を算出する距離算出手段をさらに備えることを特徴とする移動体検出装置。
【請求項5】
請求項4に記載の移動体検出装置において、
少なくとも前記距離指標値算出手段により算出された距離指標値、および、前記距離算出手段により算出された距離に基づいて、移動物の移動速度を算出する速度算出手段をさらに備えることを特徴とする移動体検出装置。
【請求項6】
請求項1〜5のいずれかに記載の移動体検出装置において、
前記追跡可能領域検出手段は、複数の方向に濃淡変化を有する領域を前記追跡可能領域として検出することを特徴とする移動体領域検出装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2006−47091(P2006−47091A)
【公開日】平成18年2月16日(2006.2.16)
【国際特許分類】
【出願番号】特願2004−227891(P2004−227891)
【出願日】平成16年8月4日(2004.8.4)
【出願人】(000003997)日産自動車株式会社 (16,386)
【Fターム(参考)】
【公開日】平成18年2月16日(2006.2.16)
【国際特許分類】
【出願日】平成16年8月4日(2004.8.4)
【出願人】(000003997)日産自動車株式会社 (16,386)
【Fターム(参考)】
[ Back to top ]