説明

対象物追跡装置および対象物追跡システム

【課題】撮像画像中の対象物の追跡をより確実に行うことを可能にする。
【解決手段】テンプレートマッチングが成功して先行車両の追跡が継続されるごとに、新規追跡画像を重ねて合成していくことで新たに合成画像を生成していくとともに、新たに合成画像を生成する場合には、過去合成画像に追跡の継続回数に応じた重みを付けながら、新規追跡画像を重ねてさらに合成していく画像重畳合成部25と、画像重畳合成部25で生成された合成画像に対してエッジ検出を行って、先行車両の端部の位置を決定する車両端決定部27と、車両端決定部27で決定した端部の位置をもとに、テンプレートを更新するテンプレート更新部28とを備え、テンプレートを更新した場合は、更新後のテンプレートとのテンプレートマッチングを繰り返すことで先行車両の追跡を行う。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像画像中の対象物の追跡を行うための対象物追跡装置および対象物追跡システムに関するものである。
【背景技術】
【0002】
従来から、車載カメラなどで撮像された画像データから検出対象となる対象物を検出し、追跡する技術が知られている。例えば特許文献1には、撮影された動画像中の車両領域を追跡し、車両の位置を検出する技術が開示されている。
【0003】
詳しくは、特許文献1に開示の技術では、動画像の複数フレーム画像からパターン認識によって、車両が存在する車両領域をそれぞれ検出する。そして、複数フレーム画像の各車両領域における下端位置の画像の輝度値の平均値を求めることによって、車両の下端位置を決定して追跡用のテンプレートを設定する。また、基準フレーム画像から検出される車両領域と基準フレーム画像以降のフレーム画像から検出される車両領域とについては、並進運動およびそれにともなうスケールの変化を考慮したDPマッチング(つまり、動的計画法によるマッチング)を行うことによって、同じ時刻における位置やスケールに換算して下端位置の輝度値の平均値を求めている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005−229444号公報
【特許文献2】特許第4513898号
【非特許文献】
【0005】
【非特許文献1】岡崎彰夫著、「ビギナーズブックス(15)はじめての画像処理技術」、第6版、株式会社工業調査会、2005年6月10日、p73−79、p111−113
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に開示の技術では、複数フレーム画像の各車両領域における下端位置のうちに、路面模様や検出対象以外の物体や影等を誤って下端位置としたものが含まれていた場合に、追跡用のテンプレートの下端位置も誤ったものになり、車両の追跡が失敗してしまう恐れがあった。
【0007】
詳しくは、特許文献1に開示の技術では、各車両領域における下端位置の平均値を用いるので、車両領域における下端位置に誤ったものが含まれていた場合、誤った下端位置の値が平均値に影響を与えてしまうため、追跡用のテンプレートの下端位置も誤ったものになる。なお、特許文献1には、平均値を用いる以外に中央値を用いることについても述べられているが、中央値を用いる場合にも、誤った下端位置の値が中央値に影響を与えてしまうことになるため、追跡用のテンプレートの下端位置が誤ったものになる。
【0008】
このような問題は、市街地の走行中や車両が込み入った状況であって、背景に検出対象の車両端と似た特徴を含んだ路面模様や構造物が多くなったり、検出対象の車両が画像中で他車両と重なることが多くなったりする場合に頻発すると考えられる。
【0009】
また、特許文献1に開示の技術では、建物の影や高架下など照明条件の変化があった場合に、各フレーム画像の輝度値が大幅に変化し、各フレーム画像の車両領域同士のDPマッチングの精度が下がってしまう可能性が高い。そして、DPマッチングの精度が下がってしまうことによって、誤った下端位置を含んで輝度値の平均値が求められ、追跡用のテンプレートの下端位置が誤ったものになってしまう可能性も高い。
【0010】
本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、撮像画像中の対象物の追跡をより確実に行うことを可能にする対象物追跡装置および対象物追跡システムを提供することにある。
【課題を解決するための手段】
【0011】
対象移動体の端部に似た画像特徴(以下、類似エッジ)が画像に含まれていたとしても、類似エッジの原因となる路面模様や対象移動体以外の構造物や影等は、撮像画像中の対象移動体に対して特定の位置に存在し続けることは殆どない。よって、逐次撮像される撮像画像中で類似エッジが対象移動体に対して特定の位置に存在し続けることは少ない。これに対して、請求項1の構成によれば、過去合成画像に追跡の継続回数に応じた重みを付けながら、新たにテンプレートマッチングが成功した撮像画像のマッチング領域である新規追跡画像を重ねて合成していくことで合成画像を生成するので、合成画像に類似エッジが出にくい。また、照明条件の変化によって新規追跡画像のコントラストが低下した場合であっても、合成画像を生成するのでこのコントラストの低下の影響を抑えることができる。
【0012】
そして、上述したように類似エッジが出にくく、コントラストの低下の影響を抑えた合成画像に対してエッジ検出を行って対象移動体の端部の位置を決定するので、対象移動体の端部の位置を精度良く決定することができる。詳しくは、合成画像はテンプレートとのテンプレートマッチングが成功したマッチング領域を複数重ねて合成したものであるので、常にマッチング領域の同じ位置に存在している筈の対象移動体の端部が当然にエッジ検出される。一方、一部のマッチング領域にしか存在しない類似エッジはエッジ検出されない。特許文献1に開示の技術では、類似エッジの値も含んで平均値や中央値を求めているため類似エッジの影響を受けるが、請求項1の構成によれば、上述したように合成画像からエッジ検出するため類似エッジの影響を受けることは殆どない。
【0013】
さらに、精度良く決定した対象移動体の端部の位置をもとにテンプレートを更新するので、対象移動体以外の背景を極力含まないようにテンプレートを更新し、テンプレートに類似エッジがより含まれにくくなるようにすることが可能になる。テンプレートに類似エッジを含まれにくくなると、テンプレートをもとにしたテンプレートマッチングによる対象移動体の追跡の失敗が生じにくくなるので、請求項1の構成によれば、撮像画像中の対象物の追跡をより確実に行うことが可能になる。
【0014】
請求項2の構成においては、マッチング領域を一定のサイズに合わせる正規化を行って合成画像を生成していくことになる。撮像画像中での対象移動体との位置関係が長時間維持される移動体(以下、対象外移動体)が存在する場合は、その対象外移動体の端部が類似エッジとなる可能性がある。これに対して、請求項2の構成によれば、マッチング領域を一定のサイズに合わせる正規化を行って合成画像を生成していくので、テンプレートマッチングでマッチングする筈の対象移動体の合成画像中での幅や高さは常に一定に保たれることになり、対象移動体の領域以外の背景(つまり、対象外移動体)を区別しやすくなる。よって、対象外移動体が存在する撮像画像が一部に紛れ込んだ場合であっても、対象移動体の端部を精度良く決定することが可能になる。
【0015】
請求項3の構成によれば、テンプレートマッチングでマッチングする筈の対象移動体の他に、対象移動体の領域以外の背景(つまり、対象外移動体)も含んだ合成画像を生成していくことになる。前述したように、合成画像の生成を繰り返していくと、対象移動体の画像は合成画像に残り続けていくものの、対象外移動体の画像は平均化されて合成画像に残りにくい。よって、請求項3の構成によれば、対象移動体の画像とそれ以外の画像との境界が区別しやすく、対象移動体の端部を精度良く決定しやすい。
【0016】
合成画像を生成する場合には、請求項4のように、テンプレートとのテンプレートマッチングが成功して対象移動体の追跡が継続されるごとに、過去合成画像の各画素の成分の値に追跡の継続回数を積算した各画素の成分の値と新規追跡画像の各画素の成分の値とを、対応する位置のもの同士でそれぞれ足し合わせた後に追跡の継続回数に1回分加算した数で除算して得られる各画素の成分の値から画像を生成することで、新たな合成画像を生成する態様としてもよい。
【0017】
請求項5の構成においては、明暗切り替わり判断手段で車両が走行する環境の明暗の切り替わりを判断したことをもとに、テンプレート更新手段でのテンプレートの更新を行うことになる。よって、車両が走行する環境の明暗が切り替わって、それまで使用していたテンプレート中の対象移動体のコントラストと明暗の切り替わり後の撮像画像中の対象移動体のコントラストとの違いが大きくなる場合に、現況に即したテンプレートに更新することが可能になる。
【0018】
請求項6の対象物追跡システムによれば、車両の前方を撮像する撮像装置と、前記のいずれかの対象物追跡装置とを含むので、撮像画像中の対象物の追跡をより確実に行うことが可能になる。
【図面の簡単な説明】
【0019】
【図1】対象物追跡システム100の概略的な構成を示すブロック図である。
【図2】対象物追跡装置2の動作フローを示すフローチャートである。
【図3】撮像画像から先行車両を検出して初期テンプレートを生成するまでの処理を説明するための模式図である。
【図4】縦横各方向のエッジをヒストグラムで表した結果の一例を示す模式図である。
【図5】車両端決定処理で決定される先行車両の端部の位置の一例を示す模式図である。
【図6】過去に合成した合成画像に新規追跡画像を合成する処理を繰り返していく処理を説明するための模式図である。
【図7】(a)は、類似エッジとなる路面標示が含まれている新規追跡画像の例を示す図であって、(b)は、画像重畳合成処理によって過去の合成画像に当該新規追跡画像を合成して得られた合成画像の例を示す図である。
【図8】(a)は、先行車両Aの先を走る車両Bが撮像装置1の撮像範囲に入る場合の例を示す図であって、(b)は、
【発明を実施するための形態】
【0020】
以下、本発明の実施形態について図面を用いて説明する。図1は、本発明が適用された対象物追跡システム100の概略的な構成を示すブロック図である。図1に示す対象物追跡システム100は、車両に搭載されるものであり、撮像装置1、および対象物追跡装置2を含んでいる。また、撮像装置1および対象物追跡装置2は、例えばCAN(controller areanetwork)などの通信プロトコルに準拠した車載LANで各々接続されている。なお、対象物追跡システム100を搭載している車両を以降では自車両と呼ぶ。
【0021】
撮像装置1は、例えばカラーカメラであって、自車両の前方の画像を逐次撮像するものとする。撮像装置1では、レンズを含む光学系を通して撮像素子に入力された光学画像情報を撮像画像データに変換してカラー画像を得て、そのカラー画像を対象物追跡装置2へ出力する。以降では、このカラー画像を撮像画像と呼ぶものとする。撮像素子は撮像対象の光学画像を画像データに変換する素子であり、CCD(Charge Coupled Device)等が使用される。
【0022】
なお、撮像装置1としてモノクロカメラを用い、グレースケールの画像を得て対象物追跡装置2へ出力する構成としてもよい。また、撮像装置1は自車両の周辺を撮像するものであればよく、例えば自車両の後方の画像を逐次撮像するものであってもよい。さらに、カメラを複数台用いることで、自車両の進行方向に合わせて前方もしくは後方の画像を逐次撮像するものであってもよい。自車両の進行方向に合わせて前方もしくは後方の画像を撮像する場合には、例えばシフトポジションセンサの信号をもとにシフトポジションが後退位置「R」である場合には後方の画像を撮像し、シフトポジションが後退位置以外である場合には前方の画像を撮像するなどの構成とすればよい。
【0023】
対象物追跡装置2は、CPU、ROM、RAM、EEPROM等よりなるマイクロコンピュータを主体として構成され、撮像装置1から入力される撮像画像をもとに、ROMに記憶された各種の制御プログラムを実行することで対象物とする移動体(以下、対象移動体)の検出および追跡に関する処理を実行する。対象物追跡装置2は、図1に示すように機能ブロックとして、撮像画像取得部21、車両検出部22、初期テンプレート生成部23、車両追跡部24、画像重畳合成部25、エッジ検出部26、車両端決定部27、テンプレート更新部28、および明暗判断部29を備えている。本実施形態では、対象移動体を自車両の先行車両とした場合を例に挙げて以降の説明を行う。
【0024】
続いて、図2を用いて、対象物追跡装置2の動作フローについての説明を行う。図2は、対象物追跡装置2の動作フローを示すフローチャートである。本フローは、対象物追跡装置2の電源がオンになって、撮像装置1からの撮像画像データが入力されたときに開始される。また、本フローは、対象物追跡装置2の電源がオフになったときに終了する。
【0025】
まず、ステップS1では、撮像装置1から入力される撮像画像を撮像画像取得部21が取得し、ステップS2に移る。よって、撮像画像取得部21が請求項の撮像画像取得手段に相当する。ステップS2では、車両検出部22が車両検出処理を行ってステップS3に移る。車両検出処理では、撮像装置1から入力される撮像画像から先行車両を検出する。撮像画像からの先行車両の検出は、特許文献2にも開示されているように、例えば画像認識用の辞書を用いて画像中の物体を認識する公知の画像認識によって行う構成とすればよい。この場合、車両後部の画像について機械学習した辞書(具体的には、矩形の輝度差を特徴とするhaar-like特徴による、cascade of boostedクラス判別器)を用いて、撮像画像からの先行車両の検出を行うようにすればよい。
【0026】
ステップS3では、車両検出処理で先行車両を検出した場合(ステップS3でYES)には、ステップS4に移る。また、車両検出処理で先行車両を検出しなかった場合(ステップS3でNO)には、ステップS1に戻ってフローを繰り返す。
【0027】
ステップS4では、初期テンプレート生成部23が初期テンプレート生成処理を行ってステップS5に移る。よって、初期テンプレート生成部23が請求項のテンプレート生成手段に相当する。初期テンプレート生成処理では、図3で模式的に示すように、車両検出処理で先行車両を検出した撮像画像(図3中のC)から、当該先行車両を含む適当な矩形領域(図中の破線で示す枠D)を抽出する。そして、抽出した矩形領域に一定のマージンを加えた領域(図中の実線で示す枠E)を所定のサイズに正規化したもの(図中のF)を初期テンプレートとして生成する。ここで言うところの所定のサイズとは任意に設定可能なサイズである。また、ここで言うところの一定のマージンとは、撮像画像における当該矩形領域から外側に向けて所定の幅を持った領域であるものとし、その幅は任意に設定可能なものとする。なお、図3は、撮像画像から先行車両を検出して初期テンプレートを生成するまでの処理を説明するための模式図である。
【0028】
図2に戻って、ステップS5では、タイマカウント処理を実行し、ステップS6に移る。タイマカウント処理では、タイマのカウントを初期化し、タイマのカウントを開始する。タイマは、例えば主制御部16に設けられた図示しないタイマ回路等を用いればよい。
【0029】
ステップS6では、撮像装置1から入力される撮像画像を撮像画像取得部21が取得し、ステップS7に移る。ステップS6で撮像画像を取得するタイミングは、初期テンプレートを生成するための撮像画像をステップS1で取得したときから例えば1秒程度遅れたタイミングとする。
【0030】
ステップS7では、車両追跡部24が追跡処理を行ってステップS8に移る。追跡処理では、後述のテンプレート更新処理によってテンプレートが更新されていた場合には、更新されたテンプレートとステップS6で取得した撮像画像とのテンプレートマッチングを行う。また、後述のテンプレート更新処理が行われていない場合には、初期テンプレート生成部23で生成した初期テンプレートとステップS6で取得した撮像画像とのテンプレートマッチングを行う。テンプレートマッチングについては公知の方法を用いて行うものとする。例えば、非特許文献1の111頁〜113頁に開示されているテンプレートマッチングと同様にして行うものとする。
【0031】
そして、テンプレートとのテンプレートマッチングの結果、テンプレートの先行車両の像とマッチングする像がステップS6で取得した撮像画像中に含まれていた(つまり、テンプレートとのテンプレートマッチングが成功した)場合に、先行車両の追跡が成功したものとし、ステップS6で取得した撮像画像中のテンプレートとマッチングした矩形領域を抽出する。なお、例えば追跡が所定回数以上連続して失敗した場合には、先行車両が存在しなくなったものとしてステップS1に戻りフローを繰り返す構成とすればよい。
【0032】
ステップS8では、画像重畳合成部25が画像重畳合成処理を行ってステップS9に移る。画像重畳合成処理では、同一のテンプレートを用いての追跡回数が1回の場合には、撮像画像におけるステップS7で抽出した矩形領域に一定のマージンを加えた領域を前述の所定のサイズ(つまり、テンプレートと同じサイズ)に合わせる正規化を行う。そして、上記正規化を行った画像(以下、新規追跡画像)を合成用の画像として、対象物追跡装置2のRAMやEEPROM等の電気的に書き換えが可能なメモリの合成画像の格納用領域に格納する。
【0033】
また、同一のテンプレートを用いての追跡回数が2回以上の場合であって、合成画像の格納用領域に既に合成用の画像(過去の新規追跡画像もしくは後述の合成画像)が格納されていた場合には、合成画像の格納用領域に格納されている合成用画像に、新規追跡画像を重ねて合成し、合成画像を生成し、この合成画像を以降の合成用の画像とする。なお、合成画像の格納用領域に既に格納されている合成画像が請求項の過去合成画像に相当する。
【0034】
詳しくは、合成用の画像の各画素の成分の値に当該追跡回数を積算する。続いて、積算して得られた各画素の成分の値と、新規追跡画像の各画素の成分の値とを、対応する位置のもの同士(テンプレートマッチングでマッチングする位置のもの同士)でそれぞれ足し合わせる。そして、足し合わせて得られた各画素の成分の値を当該追跡回数+1の値で除算して得られる各画素の成分の値から画像を生成する。ここで言うところの各画素の成分の値とは、各画素のRGB値といった画素値や輝度値等である。なお、グレースケールの画像を用いる場合は例えば輝度値である。
【0035】
そして、それまで格納されていた合成用の画像に代わり、生成した合成画像を合成画像の格納用領域に格納する。つまり、合成画像の格納用領域に既に格納されている合成用の画像に、同一のテンプレートを用いての追跡の継続回数に応じた重みを付けながら、新規追跡画像を重ねてさらに合成していくことになる。よって、画像重畳合成部25が請求項の合成手段に相当する。
【0036】
なお、同一のテンプレートを用いての追跡回数が1回の場合に、そのテンプレートに一定のマージンを加えた領域の画像に、ステップS7で抽出した新規追跡画像を重ねて合成し、合成した合成画像を合成用の画像として合成画像の格納用領域に格納する構成としてもよい。
【0037】
詳しくは、テンプレートの画像の各画素の成分の値と新規追跡画像の各画素の成分の値とを、対応する位置のもの同士(テンプレートマッチングでマッチングする位置のもの同士)でそれぞれ足し合わせる。そして、足し合わせて得られた各画素の成分の値を当該追跡回数+1の値(つまり2)で除算して得られる各画素の成分の値から画像を生成する。そして、生成した合成画像は、対象物追跡装置2のRAMやEEPROM等の電気的に書き換えが可能なメモリの合成画像の格納用領域に格納する。
【0038】
ステップS9では、タイマのカウントを開始してから所定時間以上となった場合(ステップS9でYES)には、ステップS10に移る。タイマのカウントを開始してから所定時間以上となったかは、タイマのカウントが所定時間分のカウント値以上となっているかによって判定する構成とすればよい。なお、ここで言うところの所定値とは任意に設定可能な値であって、例えば数十秒〜数分に相当するカウント値とすればよい。また、タイマのカウントを開始してから所定時間以上となっていない場合(ステップS9でNO)には、ステップS6に戻ってフローを繰り返す。
【0039】
タイマのカウントを開始してから所定時間以上となるまでは、テンプレートとのテンプレートマッチングが成功して先行車両の追跡が継続されるごとに、過去に合成した合成画像に新規追跡画像を合成する処理を繰り返していくことで、新たに合成画像を生成し続けていく。
【0040】
ステップS10では、エッジ検出部26がエッジ検出処理を行ってステップS11に移る。エッジ検出処理では、合成画像の格納用領域に格納されている合成画像に対してエッジ検出を行う。エッジ検出については公知の方法を用いて行うものとする。例えば、非特許文献1の73頁〜79頁に開示されているエッジ検出と同様にして行うものとする。そして、エッジ検出で検出したエッジの強度をヒストグラムで表す。
【0041】
詳しくは、縦方向のエッジ(以下、縦エッジ)の強度と横方向のエッジ(以下、横エッジ)の強度との両方を、図4に示すようにヒストグラムで表す。例えばエッジの強度とは、そのエッジでの輝度差の大きさであるものとする。図5は、縦横各方向のエッジをヒストグラムで表した結果の一例を示す模式図である。図5中の白線の枠は先行車両の端部の位置を示している。図4のGが合成画像の下半分の縦エッジについてのヒストグラムを示しており、Hが横エッジについてのヒストグラムを示している。
【0042】
なお、本実施形態では、タイマのカウントを開始してから所定時間以上となった場合に、合成画像の格納用領域に格納されている合成画像に対してエッジ検出を行う構成を示したが、必ずしもこれに限らない。例えば、同一のテンプレートを用いての追跡回数が所定回数を超えた場合や当該追跡を行って合成した合成画像の合成回数が所定回数を超えた場合に、合成画像の格納用領域に格納されている合成画像に対してエッジ検出を行う構成としてもよい。
【0043】
図2に戻って、ステップS11では、エッジ検出処理で所定の強度以上の縦エッジおよび横エッジが検出された場合には、エッジ検出成功(ステップS11でYES)として、ステップS12に移る。また、エッジ検出処理で所定の強度以上の縦エッジおよび横エッジが検出されなかった場合には、エッジ検出失敗(ステップS11でNO)として、ステップS5に戻ってフローを繰り返す。
【0044】
ステップS12では、車両端決定部27が車両端決定処理を行ってステップS13に移る。車両端決定処理では、横エッジからの先行車両の下端位置の決定については、合成画像の下側から上側に向かって、強度が最初に所定の閾値を越えるエッジを探索する。そして、最初に所定の閾値を越えたエッジ位置を先行車両の下端位置(図6のI参照)と決定する。なお、道路面は平均化されて不要な横エッジはないと考え、合成画像の下側から上側に向かって探索したときの最初のエッジのエッジ位置を先行車両の下端位置と決定する構成としてもよい。ここで言うところの所定の閾値とは、ノイズの値よりも大きい値となるように設定する任意の値である。
【0045】
また、先行車両の上端位置の決定については、合成画像の上側から下側に向かって、最初に所定の閾値を越えるエッジを探索し、強度が最初に所定の閾値を越えたエッジ位置を先行車両の上端位置と決定する構成とすればよい。また、先行車両の下端位置を決定した後、その下端位置から上方向に所定の距離離れた位置を上端位置と決定する構成としてもよい。ここで言うところの所定の距離とは、一般的な車両の高さを考慮して設定する任意の値である。
【0046】
さらに、先行車両の左右端位置の決定については、合成画像の外側から内側に向かって、強度が最初に所定の閾値を越えるエッジを探索する。そして、最初に所定の閾値を越えたエッジ位置を先行車両のそれぞれ左端位置(図5のJ参照)、右端位置(図5のK参照)と決定する。よって、エッジ検出部26および車両端決定部27が請求項の端部決定手段に相当する。
【0047】
ステップS13では、テンプレート更新部28がテンプレート更新処理を行う。テンプレート更新処理では、ステップS12の車両端決定処理で決定した先行車両の端部(上下左右の端部)の位置をもとに、合成画像の格納用領域に格納されている合成画像における当該端部で囲まれる領域にエッジ検出用のマージンを加えた範囲を抽出する。そして、抽出した範囲の画像を新たなテンプレートとして更新して、ステップS5に戻ってフローを繰り返す。
【0048】
ここで、過去に合成した合成画像に新規追跡画像を合成していく処理の一連の流れについて図6を用いて説明を行う。図6は、過去に合成した合成画像に新規追跡画像を合成する処理を繰り返していく処理を説明するための模式図である。図6中の破線で示す枠はテンプレートとマッチングした矩形領域を示しており、実線で示す枠は車両端決定処理で決定される先行車両の端部を示している。
【0049】
詳しくは、まず初期テンプレート生成処理によって、前述したように車両検出処理で先行車両を検出した撮像画像から、当該先行車両を含む適当な矩形領域を抽出し、抽出した矩形領域に一定のマージンを加えた領域を所定のサイズに正規化して初期テンプレートを生成する(図6中の初期検出時)。続いて、新たに得られた撮像画像と初期テンプレートとのテンプレートマッチングが成功した場合に、マッチングした矩形領域(図6中の追跡画像結果)に一定のマージンを加えた領域の画像を合成画像の格納用領域に格納する(図6中の追跡1回目)。
【0050】
さらに新たに得られた撮像画像と初期テンプレートとのテンプレートマッチングが成功した場合に、マッチングした矩形領域に一定のマージンを加えた領域の画像を、合成画像の格納用領域に格納済みの画像に重ねて合成する画像重畳合成処理を行い、得られた合成画像を合成画像の格納用領域に格納する。以降は、前述のタイマのカウントを開始してから所定時間以上となるまでは、初期テンプレートとのテンプレートマッチングが成功するごとに、マッチングした矩形領域に一定のマージンを加えた領域の画像を、追跡の継続回数に応じた重みを付けながら過去の合成画像に重ねて合成する画像重畳合成処理を繰り返す。
【0051】
その後、前述のタイマのカウントを開始してから所定時間以上となったところで、合成画像の格納用領域に格納されている合成画像についてエッジ検出処理および車両端決定処理を行って、先行車両の端部の位置を決定する。そして、テンプレート更新処理を行って、決定した先行車両の端部の位置をもとにテンプレートを更新する(図6中のテンプレート更新時)。なお、テンプレートの更新時には、それまでの合成画像を一旦リセットする。テンプレートを更新した後は、更新後のテンプレートを初期テンプレートと同様に扱って、前述した処理を繰り返す。
【0052】
なお、本実施形態では、合成画像から抽出した画像を新たなテンプレートとして更新する構成を示したが、必ずしもこれに限らない。例えば、最新の新規追跡画像から抽出した画像を新たなテンプレートとして更新する構成としてもよい。また、合成画像と最新の新規追跡画像とのうち、テンプレートとして信頼性のより高い画像を選択して、選択した側か抽出した画像を新たなテンプレートとして更新する構成としてもよい。よって、テンプレート更新部28が請求項のテンプレート更新手段に相当する。
【0053】
また、合成画像と最新の新規追跡画像とのうち、テンプレートとして信頼性のより高い画像を選択する場合には、合成画像と最新の新規追跡画像とのそれぞれに対してエッジ検出を行い、例えば下端位置および左右端位置のエッジの連続性が高い(つまり、エッジの数が多い)ものを選択する構成とすればよい。
【0054】
以上の構成によれば、合成画像に追跡の継続回数に応じた重みを付けながら、新たにテンプレートマッチングが成功した新規追跡画像を重ねて合成していくことで新たな合成画像を生成するので、先行車両の端部に似た画像特徴(つまり、類似エッジ)が含まれる新規追跡画像が存在した場合にも、合成画像には類似エッジが出にくい。
【0055】
ここで、本発明における作用効果について、具体的に図7(a)および図7(b)を用いて説明を行う。図7(a)は、類似エッジとなる路面標示が含まれている新規追跡画像の例を示す図である。図7(b)は、画像重畳合成処理によって過去の合成画像に図7(a)の新規追跡画像を合成して得られた合成画像の例を示す図である。図7(a)および図7(b)中の点線で表した楕円が新規追跡画像に類似エッジが含まれていた領域を示している。また、図7(b)中の白線の枠は先行車両の端部の位置を示している。
【0056】
図7(a)に示すように類似エッジが新規追跡画像に含まれていたとしても、類似エッジの原因となる路面標示は、撮像画像中の対象移動体に対して特定の位置に存在し続けることはない。よって、合成画像に追跡の継続回数に応じた重みを付けながら新規追跡画像を重ねて合成すると、合成画像に対しての新規追跡画像の影響は小さくなり、図7(b)に示すように類似エッジが出にくい。
【0057】
また、本実施形態の構成によれば、照明条件の変化によって新規追跡画像のコントラストが低下した場合であっても、合成画像を生成するので、このコントラストの低下の影響を抑えることができる。
【0058】
そして、上述したように類似エッジが出にくく、コントラストの低下の影響を抑えた合成画像に対してエッジ検出を行って先行車両の端部の位置を決定するので、先行車両の端部の位置を精度良く決定することができる。詳しくは、合成画像はテンプレートとのテンプレートマッチングが成功したマッチング領域を複数重ねて合成したものであるので、常にマッチング領域の同じ位置に存在している筈の先行車両の端部が当然にエッジ検出される。一方、一部のマッチング領域にしか存在しない類似エッジはエッジ検出されない。特許文献1に開示の技術では、類似エッジの値も含んで平均値や中央値を求めているため類似エッジの影響を受けるが、本実施形態の構成によれば、上述したように合成画像からエッジ検出するため類似エッジの影響を受けることは殆どない。
【0059】
さらに、精度良く決定した先行車両の端部の位置をもとにテンプレートを更新するので、先行車両以外の背景を極力含まないようにテンプレートを更新し、テンプレートに類似エッジがより含まれにくくなるようにすることが可能になる。テンプレートに類似エッジを含まれにくくなると、テンプレートをもとにしたテンプレートマッチングによる先行車両の追跡の失敗が生じにくくなるので、撮像画像中の先行車両の追跡をより確実に行うことが可能になる。
【0060】
続いて、本発明における更なる作用効果について、具体的に図8(a)および図8(b)を用いて説明を行う。図8(a)は、先行車両Aの先を走る車両Bが撮像装置1の撮像範囲に入る場合の例を示す図である。図8(b)は、図8(a)の先行車両Aと車両Bとが含まれた撮像画像の例を示す図である。図8(b)の白実線の円Aに囲まれた車両の画像が先行車両Aの画像を示しており、白破線の円Bで囲まれた車両の画像が車両Bの画像を示している。
【0061】
先行車両Aと車両Bとがほぼ同じ速度で走行している場合には、図8(b)に示すような先行車両Aと車両Bとの撮像画像中での位置関係が長時間維持されることになり、合成画像においても車両Bの端部が類似エッジとして表れてくることが考えられる。しかしながら、本実施形態の構成によれば、先行車両以外の背景を極力含まないように更新したテンプレートにマッチングしたマッチング領域を常に一定のサイズに正規化するので、合成画像中での先行車両の高さや幅は常に一定に保たれることになる。よって、先行車両Aの端部は、過去に決定した先行車両Aの端部の位置とほぼ同じ位置になり、このことをもとに先行車両Aの端部と車両Bの端部とを容易に区別することができる。従って、対象外の移動体が存在する新規追跡画像が一部に紛れ込んだ場合であっても、先行車両の端部を精度良く決定することが可能になる。
【0062】
また、対象物追跡装置2では、自車両が走行する環境の明暗の切り替わりに応じて、それまで合成しておいた合成画像をもとにテンプレートを更新する構成としてもよい。この場合には、撮像画像取得部21で取得した撮像画像上の所定の範囲内の輝度値を算出し、予め設定された閾値と比較することで走行する環境の明暗を明暗判断部29で判断する。詳しくは、輝度値が閾値以上であった場合に明るい走行環境と判断する一方、輝度値が閾値以上でなかった場合に暗い走行環境と判断する。
【0063】
なお、撮像画像がモノクロ画像である場合には、平均階調が閾値以下である場合に明るい走行環境と判断する一方、平均階調が閾値以下でない場合に暗い走行環境と判断する構成としてもよい。また、所定の範囲内とは、例えばテンプレートマッチングでテンプレートとマッチングした範囲等とすればよい。
【0064】
続いて、撮像装置1から逐次取得される撮像画像をもとに、前述した走行する環境の明暗の判断を逐次行い。判断結果が切り替わった場合に、走行環境の明暗の切り替わりを明暗判断部29が判断する。よって、明暗判断部29が請求項の走行環境明暗判定手段および明暗切り替わり判断手段に相当する。なお、上記判断結果が切り替わる場合とは、明るい走行環境との判断結果から暗い走行環境との判断結果に切り替わる場合と暗い走行環境との判断結果から明るい走行環境との判断結果に切り替わる場合とがある。
【0065】
明暗判断部29で走行環境の明暗の切り替わりを判断した場合には、エッジ検出部26でエッジ検出処理を行う。そして、エッジ検出成功となった場合に、テンプレート更新部28がテンプレート更新処理を行ってテンプレートの更新を行う。エッジ検出失敗となった場合には、画像重畳合成処理を繰り返し、エッジ検出成功となったところでテンプレートの更新を行う。
【0066】
以上の構成によれば、車両が走行する環境の明暗が切り替わって、それまで使用していたテンプレート中の走行車両のコントラストと明暗の切り替わり後の撮像画像中の走行車両のコントラストとの違いが大きくなる場合に、現況に即したテンプレートに更新することが可能になる。
【0067】
本実施形態では、自車両の先行車両の追跡を行う構成についての説明を行ったが必ずしもこれに限らない。撮像装置1の撮像方向を自車両の後方とした場合には追従車両の追跡を行う構成とすればよいし、撮像装置1の撮像方向を自車両の側方とした場合には並走車両の追跡を行う構成とすればよい。また、自車両の周囲の歩行者等の車両以外の移動体を追跡する構成としてもよい。
【0068】
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0069】
1 撮像装置、2 対象物追跡装置、21 撮像画像取得部(撮像画像取得手段)、22 車両検出部、23 初期テンプレート生成部(テンプレート生成手段)、24 車両追跡部、25 画像重畳合成部(合成手段)、26 エッジ検出部(端部決定手段)、27 車両端決定部(端部決定手段)、28 テンプレート更新部(テンプレート更新手段)、29 明暗判断部(走行環境明暗判定手段、明暗切り替わり判断手段)、100 対象物追跡システム

【特許請求の範囲】
【請求項1】
車両に搭載され、
車両の周辺を撮像する撮像装置から撮像画像を取得する撮像画像取得手段と、
前記撮像画像取得手段で取得した撮像画像から対象移動体を含む領域を抽出してテンプレートを生成するテンプレート生成手段とを備え、
前記テンプレート生成手段で生成したテンプレートと前記撮像画像取得手段で逐次取得する撮像画像とのテンプレートマッチングを繰り返すことで前記撮像画像中の前記対象移動体の追跡を行う対象物追跡装置であって、
前記テンプレートとのテンプレートマッチングが成功して前記対象移動体の追跡が継続されるごとに、テンプレートマッチングが成功した撮像画像の前記テンプレートとのマッチング領域を重ねて合成していくことで新たに合成画像を生成していくとともに、新たに合成画像を生成する場合には、前回得られた合成画像である過去合成画像に前記追跡の継続回数に応じた重みを付けながら、新たにテンプレートマッチングが成功した撮像画像のマッチング領域を重ねてさらに合成していく合成手段と、
前記合成手段で生成された合成画像に対してエッジ検出を行って、前記対象移動体の端部の位置を決定する端部決定手段と、
前記端部決定手段で決定した対象移動体の端部の位置をもとに、前記テンプレートを更新するテンプレート更新手段とを備え、
前記テンプレート更新手段でテンプレートを更新した場合は、更新後のテンプレートと前記撮像画像取得手段で前記撮像装置から逐次取得する撮像画像とのテンプレートマッチングを繰り返すことで前記撮像画像中の前記対象移動体の追跡を行うことを特徴とする対象物追跡装置。
【請求項2】
請求項1において、
前記合成手段は、前記テンプレートマッチングが成功した撮像画像における前記マッチング領域を一定のサイズに合わせる正規化を行い、当該正規化を行った画像である新規追跡画像を重ねていくことで前記合成画像を生成していくことを特徴とする対象物追跡装置。
【請求項3】
請求項2において、
前記合成手段は、前記テンプレートマッチングが成功した撮像画像における前記マッチング領域から外側に向けて所定の幅だけ拡張した範囲の画像を一定のサイズに合わせる正規化を行い、当該正規化を行った画像である新規追跡画像を重ねて合成していくことで前記合成画像を生成していくことを特徴とする対象物追跡装置。
【請求項4】
請求項2または3において、
前記合成手段は、
前記テンプレートとのテンプレートマッチングが成功して前記対象移動体の追跡が継続されるごとに、前記過去合成画像の各画素の成分の値に前記追跡の継続回数を積算した各画素の成分の値と前記新規追跡画像の各画素の成分の値とを、対応する位置のもの同士でそれぞれ足し合わせた後に前記追跡の継続回数に1回分加算した数で除算して得られる各画素の成分の値から画像を生成することで、新たな合成画像を生成することを特徴とする対象物追跡装置。
【請求項5】
請求項1〜4のいずれか1項において、
前記撮像画像取得手段で取得した撮像画像を処理して前記車両が走行する環境の明暗を判断する走行環境明暗判断手段と、
前記走行環境明暗判定手段の判断結果をもとに、前記車両が走行する環境の明暗の切り替わりを判断する明暗切り替わり判断手段とをさらに備え、
前記明暗切り替わり判断手段で前記車両が走行する環境の明暗の切り替わりを判断したことをもとに、前記テンプレート更新手段でのテンプレートの更新を行うことを特徴とする対象物追跡装置。
【請求項6】
車両の周囲を撮像する撮像装置と、
請求項1〜5のいずれか1項に記載の対象物追跡装置とを含むことを特徴とする対象物追跡システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2012−208887(P2012−208887A)
【公開日】平成24年10月25日(2012.10.25)
【国際特許分類】
【出願番号】特願2011−75796(P2011−75796)
【出願日】平成23年3月30日(2011.3.30)
【出願人】(000004260)株式会社デンソー (27,639)
【Fターム(参考)】