移動体追跡装置、追跡方法及びコンピュータプログラム
【課題】撮像画像に日照変化、日向及び日陰の領域の混在、低コントラスト、並びに移動体の部分的な重なり等が生じた場合であっても、多大な計算を必要とせずに、移動体の移動先を精度よく追跡することができる移動体追跡装置、追跡方法及びコンピュータプログラムを提供する。
【解決手段】車輌追跡装置１は、ｔ番目の画像から車輌を含む正サンプルを抽出して、この正サンプルから複数の画素ペアを抽出すると共に、正サンプルの周囲から複数の負サンプルを抽出して、各負サンプルから複数の画素ペアをそれぞれ抽出し、画素ペアの輝度値の大小関係に基づいて正サンプルと負サンプルとの判別精度が高い画素ペアをペア特徴として取得する。次いで、ｔ＋１番目の画像から複数の画像領域を移動先候補として抽出し、移動先候補から抽出した画素ペアの大小関係が正サンプルのペア特徴に最も類似する移動先候補を移動体の移動先に決定する。
【解決手段】車輌追跡装置１は、ｔ番目の画像から車輌を含む正サンプルを抽出して、この正サンプルから複数の画素ペアを抽出すると共に、正サンプルの周囲から複数の負サンプルを抽出して、各負サンプルから複数の画素ペアをそれぞれ抽出し、画素ペアの輝度値の大小関係に基づいて正サンプルと負サンプルとの判別精度が高い画素ペアをペア特徴として取得する。次いで、ｔ＋１番目の画像から複数の画像領域を移動先候補として抽出し、移動先候補から抽出した画素ペアの大小関係が正サンプルのペア特徴に最も類似する移動先候補を移動体の移動先に決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列的に撮像された複数の画像中における移動体の移動先を追跡する移動体追跡装置、追跡方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
円滑な交通及び事故抑止等のために、道路側に設置したインフラ装置と車輌（車載装置）とが路車間通信にて情報を交換する通信システム、特に車輌の運転者からは死角となる場所に存在する他車輌又は歩行者等の情報をインフラ装置から車輌へ提供することができるシステムの検討が進められている。このシステムにおいては、道路上の車輌の通過台数及び平均速度等の情報のみでなく、個々の車輌の位置及び動き等を精度よく検出してインフラ装置から車輌へ提供することが望まれる。このため、インフラ装置には道路上の車輌又は歩行者等を検出するセンサなどの搭載が必要であり、検出範囲、製品寿命及びコスト等の性能を考慮するとカメラが撮像した撮像画像を利用して車輌又は歩行者等の検出を行う方式が有力である。
【０００３】
カメラを用いる方式においては、車輌又は歩行者等の移動速度及び移動方向を精度よく計測するために、カメラが撮像した画像中における車輌又は歩行者等の移動先を正確に追跡する技術が必要である。この追跡技術には、天候などの変化による日照変化、撮像画像中における日向及び日陰の領域の混在、撮像画像の低コントラスト、及び、車輌又は歩行者等の重なりによる車輌又は歩行者等の部分的な隠れ等の影響により追跡精度が低下するという課題があり、この課題を解決し得る追跡方式が求められている。また、上記のシステムの実用化及び普及へ向けては、画像処理などに要する計算量を低減し、装置の低価格化などを実現することも重要である。
【０００４】
撮像画像に基づいて車輌又は歩行者等（以下、移動体という）の追跡を行う技術として、ブロックマッチング法が広く知られている。ブロックマッチング法は、ある時刻における追跡対象の移動体を含む画像領域をテンプレートとして撮像画像から抽出し、その後の時刻での撮像画像においてテンプレートに最も類似する画像領域を探し出すことによって、この画像領域を移動体の移動先とする方法である。なお画像領域が類似するか否かの判定には、テンプレートに含まれる各画素の輝度値と、判定対象の画像領域に含まれる各画素の輝度値との差の絶対値の総和、所謂ＳＡＤ（Sum of Absolute Difference）が一般的に用いられる場合が多く、ＳＡＤの値が小さいほどテンプレートと画像領域とが類似していると判定することができる。
【０００５】
また、撮像画像に基づいて移動体の追跡を行う他の技術として、勾配法が広く知られている。勾配法は、追跡対象の移動体の特徴点を決定し、時系列的に撮像された複数の画像で特徴点を追跡する方法である。特徴点の位置におけるｘ方向、ｙ方向及び時間方向での画素の輝度値の変化に基づいて、画像中における移動体の移動方向及び移動量等を算出することができる。
【０００６】
非特許文献１においては、Ｍｅａｎ−Ｓｈｉｆｔ追跡法が提案されている。Ｍｅａｎ−Ｓｈｉｆｔ追跡法では、初期画像に写された移動体を含む画像領域からカラーヒストグラムを特徴として取得し、後の画像からカラーヒストグラム特徴が最も一致する画像領域を、その重心位置が一致する位置として検出することで、この画像領域を移動体の移動先とする。Ｍｅａｎ−Ｓｈｉｆｔ追跡法では、輝度の分布の特徴を基に移動体の追跡を行うため、様々な形状の移動体を追跡することができ、移動体の部分的な重なりにも頑健であるという利点がある。
【０００７】
また、非特許文献２においては、移動体の追跡を移動体と背景との識別問題として捉え、移動体及び背景から特徴を抽出して識別器を生成することにより、識別器を用いて移動体の移動先を検出する方法が提案されている。この追跡方法では、移動体の色及び形状等の様々な特徴を手掛かりとして追跡を行うことができるため、識別器の学習によって高精度な移動体の追跡を行うことができる。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】ドリン・コマニシウ（Dorin Comaniciu）、ビスバナサン・ラメッシュ（Visvanathan Ramesh）、ピーター・ミーア（Peter Meer）、「Ｍｅａｎ Ｓｈｉｆｔ手法を用いた非剛体物体の実時間追跡（Real-time tracking of non-rigid objects using mean shift）」、in proc. CVPR 2000、Vol.2、pp.142-149、２０００年
【非特許文献２】ヘルムート・グレーブナー（Helmut Grabner）、マイケル・グレーブナー（Michael Grabner）、ホルスト・ビショーフ（Horst Bischof）、「オンラインブースティングによる実時間追跡（Real-Time Tracking via On-Line Boosting）」、Proc.BMVC、vol.1、p.47-56、２００６年
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述のブロックマッチング法では、追跡対象の移動体が日陰から日向へ移動した場合に、ＳＡＤの値が非常に大きくなり、日陰内の路面などを誤追跡しやすいという問題がある。また追跡対象の移動体の一部分が他の移動体に隠れた場合などに、同様にＳＡＤの値が非常に大きくなり、誤追跡を起こしやすいという問題がある。また、勾配法においても、ブロックマッチング法と同様に、移動体の一部分が隠れた場合などに誤追跡を起こしやすいという問題があり、また移動体の大きな動きは検出が難しいという問題がある。
【００１０】
また、非特許文献１に記載のＭｅａｎ−Ｓｈｉｆｔ追跡法は、追跡対象の移動体とその周辺とのコントラストが低い場合に、正確な移動先の特定が難しいという問題がある。またＭｅａｎ−Ｓｈｉｆｔ追跡法は、白黒画像（モノクローム画像）に対しては、ヒストグラムによる判別性が低く、誤追跡が発生しやすいという問題がある。また、非特許文献２に記載の識別器を用いた追跡方法は、識別器の学習に要するサンプル量及び計算量等が膨大であり、識別器を用いた識別処理の計算量も大きいという問題がある。
【００１１】
本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、天候などの変化による日照変化、日向及び日陰の領域の混在、撮像画像の低コントラスト、並びに移動体の部分的な重なり等が生じた場合であっても、移動体の移動先を精度よく追跡することができ、且つ、多大な計算を必要とせずに移動体の追跡を行うことができる移動体追跡装置、追跡方法及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
本発明に係る移動体追跡装置は、時系列的に撮像された複数の画像に基づいて、該画像中の移動体の移動先を追跡する移動体追跡装置において、前記複数の画像のうちの追跡元画像から、移動体を含む所定サイズの画像領域を、追跡対象サンプルとして抽出する追跡対象サンプル抽出手段と、前記追跡元画像から、前記追跡対象サンプルの周囲の所定サイズの画像領域を、周囲サンプルとして複数抽出する周囲サンプル抽出手段と、前記追跡対象サンプル抽出手段が抽出した追跡対象サンプルから、複数の画素による画素組み合わせを複数組抽出する追跡対象画素組み合わせ抽出手段と、該追跡対象画素組み合わせ抽出手段が抽出した画素組み合わせの抽出位置に応じて、前記周囲サンプル抽出手段が抽出した周囲サンプルから、複数組の画素組み合わせを抽出する周囲画素組み合わせ抽出手段と、前記追跡対象画素組み合わせ抽出手段が抽出した画素組み合わせに含まれる画素の画素値の大小関係及び前記周囲画素組み合わせ抽出手段が抽出した画素組み合わせに含まれる画素の画素値の大小関係を判定する判定手段と、該判定手段の判定結果に応じて、前記追跡対象画素組み合わせ抽出手段が抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルを判別し得る複数の画素組み合わせを選別する選別手段と、前記複数の画像のうちの追跡先画像から、複数の画像領域を抽出する画像領域抽出手段と、前記選別手段が選別した画素組み合わせの前記追跡対象サンプルからの抽出位置に応じて、前記画像領域抽出手段が抽出した各画像領域から、複数組の画素組み合わせをそれぞれ抽出する画素組み合わせ抽出手段と、該画素組み合わせ抽出手段が抽出した画素組み合わせに含まれる各画素の画素値の大小関係を判定する判定手段と、前記選別手段が選別した画素組み合わせに係る大小関係、及び前記画像領域抽出手段が抽出した各画像領域の画素組み合わせに係る大小関係を基に、前記移動体の移動先の画像領域を決定する移動先決定手段とを備えることを特徴とする。
【００１３】
また、本発明に係る移動体追跡装置は、前記追跡対象画素組み合わせ抽出手段が、画素値の差が閾値以上の複数の画素による画素組み合わせを抽出するようにしてあることを特徴とする。
【００１４】
また、本発明に係る移動体追跡装置は、前記追跡対象画素組み合わせ抽出手段が、所定数の画素組み合わせが含まれる画素組み合わせ群を複数抽出するようにしてあり、前記選別手段は、前記追跡対象画素組み合わせ抽出手段が抽出した複数の画素組み合わせ群から、前記追跡対象サンプル及び前記周囲サンプルの判別精度が最も高い画素組み合わせ群を選別するようにしてあることを特徴とする。
【００１５】
また、本発明に係る移動体追跡装置は、前記選別手段が、前記追跡対象画素組み合わせ抽出手段が抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルの判別精度が高い画素組み合わせを、上位から所定数まで選別するようにしてあることを特徴とする。
【００１６】
また、本発明に係る移動体追跡装置は、前記画像領域抽出手段が、前記追跡先画像中の抽出位置に応じて、異なるサイズの画像領域を抽出するようにしてあり、前記画像領域抽出手段が抽出した画像領域のサイズを、前記追跡対象サンプルのサイズへ調整する調整手段を更に備え、前記画素組み合わせ抽出手段は、前記調整手段が調整した画像領域から画素組み合わせの抽出を行うようにしてあることを特徴とする。
【００１７】
また、本発明に係る移動体追跡装置は、前記画像領域抽出手段が、前記追跡先画像中の抽出位置に応じて、異なるサイズの画像領域を抽出するようにしてあり、前記画素組み合わせ抽出手段は、前記画像領域抽出手段が抽出した画像領域のサイズ及び前記追跡対象サンプルのサイズの比率に応じて、画素組み合わせに係る画素の抽出位置を調整するようにしてあることを特徴とする。
【００１８】
また、本発明に係る移動体追跡装置は、画像のエッジ強度を算出する算出手段を更に備え、前記追跡元画像及び前記追跡先画像は、前記算出手段により画素値がエッジ強度に変換された画像であることを特徴とする。
【００１９】
また、本発明に係る追跡方法は、時系列的に撮像された複数の画像に基づいて、該画像中の移動体の移動先を追跡する追跡方法において、前記複数の画像のうちの追跡元画像から、移動体を含む所定サイズの画像領域を追跡対象サンプルとして抽出し、前記追跡元画像から、前記追跡対象サンプルの周囲の所定サイズの画像領域を周囲サンプルとして複数抽出し、抽出した追跡対象サンプルから、複数の画素による画素組み合わせを複数組抽出し、前記追跡対象サンプルから抽出した画素組み合わせの抽出位置に応じて、前記周囲サンプルから複数組の画素組み合わせを抽出し、前記追跡対象サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係及び前記周囲サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係をそれぞれ判定し、大小関係の判定結果に応じて、前記追跡対象サンプルから抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルを判別し得る複数の画素組み合わせを選別し、前記複数の画像のうちの追跡先画像から、複数の画像領域を抽出し、選別した画素組み合わせの前記追跡対象サンプルからの抽出位置に応じて、前記追跡先画像から抽出した各画像領域から、複数組の画素組み合わせをそれぞれ抽出し、抽出した画素組み合わせに含まれる各画素の画素値の大小関係を判定し、選別した画素組み合わせに係る大小関係、及び抽出した各画像領域の画素組み合わせに係る大小関係を基に、前記移動体の移動先の画像領域を決定することを特徴とする。
【００２０】
また、本発明に係る追跡方法は、追跡元画像から、所定サイズの画像領域を追跡対象サンプルとして抽出し、前記追跡元画像から、前記追跡対象サンプルの周囲の所定サイズの画像領域を周囲サンプルとして複数抽出し、抽出した追跡対象サンプルから、複数の画素による画素組み合わせを複数組抽出し、前記追跡対象サンプルから抽出した画素組み合わせの抽出位置に応じて、前記周囲サンプルから複数組の画素組み合わせを抽出し、前記追跡対象サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係及び前記周囲サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係をそれぞれ判定し、大小関係の判定結果に応じて、前記追跡対象サンプルから抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルを判別し得る複数の画素組み合わせを選別し、追跡先画像から、複数の画像領域を抽出し、選別した画素組み合わせの前記追跡対象サンプルからの抽出位置に応じて、前記追跡先画像から抽出した各画像領域から、複数組の画素組み合わせをそれぞれ抽出し、抽出した画素組み合わせに含まれる各画素の画素値の大小関係を判定し、選別した画素組み合わせに係る大小関係、及び抽出した各画像領域の画素組み合わせに係る大小関係を基に、前記追跡対象サンプルの移動先の画像領域を決定することを特徴とする。
【００２１】
また、本発明に係るコンピュータプログラムは、時系列的に撮像された複数の画像に基づいて、該画像中の移動体の移動先を追跡する移動体追跡ステップをコンピュータに実行させるコンピュータプログラムにおいて、前記移動体追跡ステップが、前記複数の画像のうちの追跡元画像から、移動体を含む所定サイズの画像領域を追跡対象サンプルとして抽出させるステップと、前記追跡元画像から、前記追跡対象サンプルの周囲の所定サイズの画像領域を周囲サンプルとして複数抽出させるステップと、抽出した追跡対象サンプルから、複数の画素による画素組み合わせを複数組抽出させるステップと、前記追跡対象サンプルから抽出した画素組み合わせの抽出位置に応じて、前記周囲サンプルから複数組の画素組み合わせを抽出させるステップと、前記追跡対象サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係及び前記周囲サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係をそれぞれ判定させるステップと、大小関係の判定結果に応じて、前記追跡対象サンプルから抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルを判別し得る複数の画素組み合わせを選別させるステップと、前記複数の画像のうちの追跡先画像から、複数の画像領域を抽出させるステップと、選別した画素組み合わせの前記追跡対象サンプルからの抽出位置に応じて、前記追跡先画像から抽出した各画像領域から、複数組の画素組み合わせをそれぞれ抽出させるステップと、抽出した画素組み合わせに含まれる各画素の画素値の大小関係を判定させるステップと、選別した画素組み合わせに係る大小関係、及び抽出した各画像領域の画素組み合わせに係る大小関係を基に、前記移動体の移動先の画像領域を決定させるステップとを含むことを特徴とする。
【００２２】
本発明においては、時系列的に移動体が撮像された複数の画像のうちの追跡元画像から、この移動体を含む所定サイズの画像領域を追跡対象サンプルとして抽出する。また、追跡元画像における追跡対象サンプルの周囲、例えば追跡対象サンプルの上下左右に数画素ずらした画像領域を周囲サンプルとして複数抽出する。各周囲サンプルには、移動体の一部が含まれていてもよい。
次いで、抽出した追跡対象サンプルから、複数の画素による画素組み合わせ（例えば、２つ画素による画素ペア）を複数組抽出し、各画素組み合わせに含まれる画素の画素値（輝度値など）の大小関係を判定する。画素組み合わせの抽出は、例えば追跡対象サンプルの画像領域からランダムに複数の画素を選択することで行うことができるが、その他の方法で行ってもよい。同様に、抽出した複数の周囲サンプルにて、追跡対象サンプルにて抽出した画素組み合わせの抽出位置に応じて、画素組み合わせを複数組抽出し、各画素組み合わせに含まれる画素の画素値の大小関係を取得する。周囲サンプルからの画素組み合わせの抽出は、例えば追跡対象サンプルにて抽出した画素組み合わせの抽出位置と相対的に同じ位置から行うことができる。
次いで、追跡対象サンプルから抽出された複数の画素組み合わせの大小関係と、複数の周囲サンプルからそれぞれ抽出された複数の画素組み合わせの大小関係とを比較して、追跡対象サンプルと周囲サンプルとを判別し得る複数の画素組み合わせを選別する。選別された複数の画素組み合わせは、移動体の特徴を表す情報（特徴量）として用いることができる。画素値そのものでなく、画素組み合わせの画素値の大小関係を移動体の特徴量とすることによって、日照変化、日向及び日陰の混在、低コントラスト並びに移動体の部分的な重なり等に対して頑強である。また画素値の大小関係のみを判定すればよいため、識別器を学習する方法などと比較して計算量が少ない。
【００２３】
追跡元画像から選別された複数の画素組み合わせを追跡対象の移動体の特徴量とし、時系列的に撮像された複数の画像のうちの追跡先画像から、この特徴量に最も近似した特徴量を有する画像領域を探索することによって、探索の結果得られた画像領域を移動体の移動先とすることができる。詳しくは、追跡先画像から複数の画像領域を抽出し、同様にして、抽出した複数の画像領域から複数の画素組み合わせの抽出とこれらの画素組み合わせに含まれる画素の画素値の大小関係の判定とをそれぞれ行う。移動体の特徴量として選別された複数の画素組み合わせの画素値の大小関係と、追跡先画像における複数の画像領域からそれぞれ抽出された複数の画素組み合わせの画素値の大小関係とを比較し、大小関係が一致する画素組み合わせを最も多く含む画像領域を移動体の移動先とすることができる。
【００２４】
また、本発明においては、追跡対象サンプルから画素組み合わせを抽出する際に、予め定められた閾値以上の差を有する複数の画素を画素組み合わせとして抽出する。これにより、追跡対象サンプルと周囲サンプルとを判別できる可能性の高い画素組み合わせを抽出することができ、移動体の追跡精度を高めることができる。
【００２５】
また、本発明においては、移動体の特徴量として複数の画素組み合わせを選別する際に、追跡対象サンプルから所定数の画素組み合わせを含む画素組み合わせ群を複数抽出する。各画素組み合わせ群を用いて追跡対象サンプルと複数の周囲サンプルとの判別を行い、最も判別精度の高い画素組み合わせ群を選別することによって、この画素組み合わせ群に含まれる複数の画素組み合わせを移動体の特徴量とすることができる。
このように、画素組み合わせ群を複数抽出して、これらの中から最も判別精度の高い画素組み合わせ群を選別することによって、選別された画素組み合わせにより移動体と背景などとの判別を精度よく行うことができ、追跡先画像から移動体の移動先となる画像領域の判別をより精度よく行うことができる。
【００２６】
また、本発明においては、移動体の特徴量として複数の画素組み合わせを選別する際に、後段の処理に必要な数（所定数）よりも多く（所定数の数倍〜数十倍程度）の画素組み合わせを追跡対象サンプルから抽出する。これらの多くの画素組み合わせから、追跡対象サンプルと複数の周囲サンプルとの判別精度が高い画素組み合わせを上位から所定数選別する。
このように、多数の画素組み合わせから判別精度が高い所定数の画素組み合わせを選別することによって、選別された画素組み合わせにより移動体と背景などとの判別を精度よく行うことができ、追跡先画像から移動体の移動先となる画像領域の判別をより精度よく行うことができる。
【００２７】
また、例えば路上に設置したカメラにて車輌又は歩行者等の移動体を撮像する場合、カメラから移動体までの距離に応じて撮像された画像における移動体の大きさが変化する。そこで、本発明においては、追跡先画像から複数の画像領域を抽出する際に、抽出位置に応じて異なるサイズの画像領域を抽出する。これにより、移動体がカメラへ接近する方向へ移動する場合、及び、移動体がカメラから離隔する方向へ移動する場合等についても、移動体の追跡を精度よく行うことができる。
ただし、抽出する画像領域のサイズが異なると、追跡対象サンプルの特徴量（画素組み合わせの画素値の大小関係）との比較等が行いにくいため、抽出した異なるサイズの画像領域を追跡対象サンプルのサイズに調整する。
【００２８】
同様に、本発明においては、追跡先画像から複数の画像領域を抽出する際に、抽出位置に応じて異なるサイズの画像領域を抽出する。また、サイズの異なる画像領域から画素組み合わせを抽出する際には、この画像領域のサイズと追跡対象サンプルのサイズとの比率に応じて、画素組み合わせとして抽出する画素の位置を調整する。これにより、サイズの異なる画像領域から、追跡対象サンプルと相対的に同じ位置の画素を抽出することができ、各画像領域の画素組み合わせにおける画素値の大小関係と追跡対象サンプルの画素組み合わせにおける画素値の大小関係とを比較して移動体の追跡を精度よく行うことができる。
【００２９】
また、本発明においては、画像のエッジ強度を算出する画像フィルタなどを用いて、画素値がエッジ強度に変換された画像（以下、エッジ画像という）を生成する。上述のように画素組み合わせに基づいて移動体の追跡を行う際には、追跡元画像及び追跡先画像等の画像としてエッジ画像を用いる。カメラの設置環境、即ち移動体の周囲の環境などによっては、エッジ画像の方が移動体の特徴を捉えることができる可能性がある。このような場合にはエッジ画像に基づいて移動体の追跡を行うことによって、追跡精度を向上することができる。
【００３０】
また、上述の特徴量に基づく追跡処理は、カメラなどが撮像した画像から移動体の移動先を追跡する場合に行うのみでなく、例えば動画像の圧縮処理などの画像処理において、画像中の特定の画像領域の移動先を探索する処理を行う場合にも適用可能であり、このような画像処理を高精度化及び高速化することができる。
【発明の効果】
【００３１】
本発明による場合は、追跡元画像から抽出した画素組み合わせの画素値の大小関係を移動体の特徴量として、追跡先画像から抽出した複数の画像領域から最も近い特徴量を有する画像領域を探索し、この画像領域を移動体の移動先とすることにより、画素値の大小関係にて移動体が特徴づけられるため、日照変化、日向及び日陰の混在、低コントラスト並びに移動体の部分的な重なり等が生じた場合であっても、時系列的に撮像された画像から移動体の移動先を精度よく追跡することができる。また画素値の大小関係のみを比較すればよいため、移動体の追跡に要する計算量を低減することができる。よって、精度よく移動体を追跡でき、且つ、低コストの装置を提供することができる。
【図面の簡単な説明】
【００３２】
【図１】車輌追跡装置が行う処理を説明するための模式図である。
【図２】車輌追跡装置の構成を示すブロック図である。
【図３】カメラが時系列的に撮像した画像の一例を示す模式図である。
【図４】正サンプル及び負サンプルの抽出処理を説明するための模式図である。
【図５】ペア特徴の取得方法を説明するための模式図である。
【図６】ペア特徴の取得処理の手順を示すフローチャートである。
【図７】ペア特徴の取得処理の手順を示すフローチャートである。
【図８】移動先候補の抽出方法を説明するための模式図である。
【図９】移動先の追跡処理の手順を示すフローチャートである。
【図１０】変形例１に係るペア特徴の取得処理の手順を示すフローチャートである。
【図１１】変形例２に係る移動先候補からの画素ペアの抽出方法を説明するための模式図である。
【図１２】変形例３に係る車輌追跡装置の構成を示すブロック図である。
【発明を実施するための形態】
【００３３】
以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。なお、本実施の形態においては、移動体として道路上の車輌を追跡する車輌追跡装置の構成を説明するが、追跡対象の移動体は車輌に限るものではなく、例えば歩行者、二輪車、船、飛行機又は動物等のようなその他の種々の物体であってよく、少なくともカメラで撮像された画像中においてその位置が時間と共に変化するものであればよい。
【００３４】
＜車輌追跡装置＞
図１は、車輌追跡装置が行う処理を説明するための模式図である。また、図２は、車輌追跡装置の構成を示すブロック図である。図において車輌追跡装置１は、道路上を走行する車輌を追跡する装置であり、カメラ３が時系列的に撮像した画像（即ち、動画像）に基づいて車輌の移動先を追跡する処理を行う。
【００３５】
カメラ３は、道路を含む所定の領域（図１において一点鎖線で示す撮像領域）を撮像すべく、所定の高さ、俯角及び回転角等の撮像条件が設定された状態で道路付近の所要の地点に設置される。カメラ３は、連続的（時系列的）に道路上の撮像を行い、撮像した画像を車輌追跡装置１へ与える。車輌追跡装置１は、カメラ３が撮像した一の画像から車輌を検出し、後の画像（追跡先画像）における車輌の移動先を探索することによって車輌の追跡を行い、他の車輌へ無線通信により追跡車輌に係る情報提供を行う。
【００３６】
例えば図１においては、２つの道路の交差点にて、一方の道路を撮像すべくカメラ３が設置されており、車輌追跡装置１は、カメラ３の撮像領域内に存在する車輌Ｃ１を追跡する。車輌追跡装置１は、車輌Ｃ１の追跡結果から、車輌Ｃ１の走行方向及び走行速度等を判断し、これらの情報を無線通信により他方の道路に存在する車輌Ｃ２、Ｃ３へ通知する。これにより、見通しの悪い交差点などにおいて、車輌Ｃ２、Ｃ３の運転者は、交差する道路に他の車輌Ｃ１が走行していることを認識でき、徐行又は一時停止等の安全運転を行うことができる。
【００３７】
車輌追跡装置１は、制御部１１、画像入力部１２、Ａ／Ｄ変換部１３、画像メモリ１４、通信部１５、記憶部１６及びＲＯＭ（Read Only Memory）１７等を備えて構成されている。車輌追跡装置１は、カメラ３と共に道路付近に設置され、映像信号の入出力を行うためのケーブルを介してカメラ３に接続されている。なお図２においては、車輌追跡装置１とカメラ３とを別個の装置としてあるが、これに限るものではなく、両者が一体をなす構成であってもよい。
【００３８】
制御部１１は、具体的にはＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）等の演算処理装置と、ＲＯＭ（Read Only Memory）などの記憶素子とを備えて構成されるものであり、予め記憶されたコンピュータプログラムを実行することによって、車輌追跡装置１の各部の動作を制御し、種々の処理を行うことができる。特に本実施の形態においては、制御部１１は、ＲＯＭ１７に予め記憶された車輌追跡プログラム４０を実行することにより、カメラ３が時系列的に撮像した画像に基づいて車輌の移動先を追跡する処理を行う。
【００３９】
カメラ３は、動画像の撮像を行う所謂ビデオカメラであり、例えば１フレームあたり２４０×３２０画素の画像を１秒間に３０フレーム撮像することによって動画像の撮像を行い、撮像画像を１フレーム毎に車輌追跡装置１へ出力する。なおカメラ３は、撮像して得られた画像をアナログの画像信号として車輌追跡装置１へ出力し（ただし、カメラ３がデジタルの画像信号を出力する構成であってもよい）、この画像信号は車輌追跡装置の画像入力部１２へ入力される。
【００４０】
図３は、カメラ３が時系列的に撮像した画像の一例を示す模式図であり、（ａ）に先の時刻にて撮像された画像を示し、（ｂ）に後の時刻にて撮像された画像を示してある。カメラ３を所定条件（設置位置及び設置方向等の条件）で道路付近に設置することによって、図３に示すようにカメラ３は道路及びその周辺の撮像を行うことができる。またカメラ３が１秒間に３０フレームの撮像を行うことによって、道路を走行する車輌を複数画像に亘って撮像することができ、図３に示す例ではカメラ３へ近づく方向へ走行する１台の車輌が２つの画像に亘って撮像されている。なお本実施の形態においては、撮像画像のサイズを２４０×３２０画素とするが、これに限定されるものではない。
【００４１】
車輌追跡装置１の画像入力部１２は、画像信号入出力用のケーブルを接続する接続端子などを有しており、カメラ３から入力される画像信号を取得してＡ／Ｄ変換部１３へ出力する。Ａ／Ｄ変換部１３は、画像入力部１２から入力されたアナログの画像信号をデジタル信号に変換し、変換したデジタル信号を画像データとして画像メモリ１４へ記憶する。画像入力部１２を介してカメラ３から入力された撮像画像は、カメラ３のフレームレート（撮像を行う間隔）に同期して１フレーム単位の画像データとして画像メモリ１４に記憶される。画像メモリ１４は、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＲＡＭ（Static Random Access Memory）等のメモリ素子により構成され、多数の画像データを記憶可能な記憶容量を有している。
【００４２】
通信部１５は、狭域通信機能、ＵＨＦ（Ultra High Frequency）帯又はＶＨＦ（Very High Frequency）帯等の無線ＬＡＮ（Local Area Network）などの中域通信機能、及び携帯電話、ＰＨＳ（Personal Handyphone System）、多重ＦＭ（Frequency Modulation）放送又はインターネット通信等の広域通信機能を備える。通信部１５は、カメラ３の撮像領域内及びその付近に存在する車輌から所定の車輌情報（例えば、車輌の位置情報、車速情報、車種情報、ワイパーの動作状況及びヘッドライトなどの車灯の動作状況を示す情報等）を受信する。また通信部１５は、カメラ３の撮像画像から検出された車輌に係る情報を提供すべく、付近に存在する車輌へ情報送信を行う。更に通信部１５は、交通管制センターなどに設置されたサーバ装置、及び他の車輌追跡装置との間で所定の情報の送受信を行うことができる。
【００４３】
記憶部１６は、ＳＲＡＭ（Static Random Access Memory）若しくはＤＲＡＭ（Dynamic Random Access Memory）等のメモリ素子、又はハードディスクなどの磁気記憶装置にて構成され、通信部１５にて受信されたデータ及び後述の車輌追跡処理を制御部１１が行う演算過程で発生した種々のデータ等を記憶する。
【００４４】
ＲＯＭ１７は、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）又はフラッシュメモリ等の不揮発性のメモリ素子で構成され、車輌追跡プログラム４０を含む車輌追跡装置１の動作に必要な種々のコンピュータプログラムが予め記憶されている。車輌追跡プログラム４０には、車輌検出手段４１、正サンプル抽出手段４２、負サンプル抽出手段４３、ペア特徴取得手段４４、移動先候補抽出手段４５及び移動先決定手段４６等として制御部１１を機能させるコードが含まれている。これらの各手段のコードは、車輌追跡プログラム４０のサブルーチン、関数又はサブプログラム等として実現することができる。
【００４５】
車輌追跡プログラム４０による車輌検出手段４１は、カメラ３が撮像した１つの画像から、この画像中に存在する車輌を検出する処理を行うものである。車輌検出手段４１による車輌検出の方法は、例えば予め多数の車輌サンプルから取得した特徴量を基にＳＶＭ（Support Vector Machine）の手法による車輌の識別器を生成しておき、この識別器を用いて車輌を検出することができる。ただし車輌検出の方法はこれに限るものではなく、既存の種々の技術を利用することができる。
【００４６】
また、車輌追跡装置１及び車輌追跡プログラム４０は、カメラ３の撮像画像から検出された車輌を追跡する処理を行うものであるが、車輌検出の処理は必ずしも自らが行う必要はなく、他の装置又は他のプログラムが行った車輌検出の処理結果を取得して車輌の追跡処理を行う構成であってもよい（即ち、車輌追跡装置１が車輌検出手段４１を備えない構成であってもよい）。このため、本実施の形態においては、車輌検出の処理の詳細についての説明を省略する。
【００４７】
本実施の形態に係る車輌追跡装置１及び車輌追跡プログラム４０は、カメラ３の撮像画像から検出された車輌について、本願発明者が新たに見出した”ペア特徴”という特徴量を取得し、このペア特徴に基づいて時系列的に後の画像（追跡先画像）から車輌の撮像位置を特定することによって、車輌の移動先を追跡する処理を行うものである。以下に、ペア特徴に基づく車輌追跡方法の詳細を説明する。
【００４８】
＜ペア特徴に基づく車輌追跡方法＞
本実施の形態の車輌追跡方法では、カメラ３が時系列的に撮像したｔ番目の画像Ｖt （追跡元画像）から追跡対象の車輌を含む画像領域を抽出し、この画像領域に最も類似する画像領域をｔ＋１番目の画像Ｖt+1 （追跡先画像）から探索することによって、車輌の追跡を行う。なお、ｔ番目の画像Ｖt における追跡対象の車輌の位置及び大きさ等の情報は、上述のように車輌検出手段４１による車輌検出結果を用いてもよく、又は、ｔ−１番目の画像Ｖt-1 に基づいて車輌追跡を行った結果を用いてもよい。
【００４９】
車輌追跡処理においては、まず、ｔ番目の画像Ｖt から車輌を含む追跡対象の画像領域を正サンプル（追跡対象サンプル）Ｉt として１つ抽出すると共に、正サンプルＩt の周囲から複数（Ｆ個とする）の負サンプル（周囲サンプル）Ｊt1、…、ＪtFを抽出する処理を行う。なお、正サンプルＩt 及び負サンプルＪt1、…、ＪtFの抽出処理は、車輌追跡プログラム４０の正サンプル抽出手段４２及び負サンプル抽出手段４３によりそれぞれ行われる処理である。
【００５０】
図４は、正サンプルＩt 及び負サンプルＪt1、…、ＪtFの抽出処理を説明するための模式図である。図４（ａ）には、上述の図３（ａ）に一例として示した画像に対して、正サンプルＩt として抽出する画像領域を矩形枠で示してある。正サンプル抽出手段４２は、ｔ−１番目の画像Ｖt-1 に基づく追跡処理の処理結果又は車輌検出手段４１による車輌検出処理の処理結果を取得し、これらの処理結果に応じて正サンプルＩt の抽出位置及び抽出サイズを決定する。なお、カメラ３の撮像画像中における車輌のサイズは、車輌の位置に応じて変化するため、正サンプルＩt のサイズも抽出位置に応じて変化してよい。
【００５１】
次いで、正サンプルＩt の周囲からＦ個の負サンプルＪt1、…、ＪtFを負サンプル抽出手段４３が抽出する。負サンプル抽出手段４３が抽出する各負サンプルＪt1、…、ＪtFは、正サンプルＩt と同じサイズの画像領域であり、撮像画像中において正サンプルＩt から上下左右に所定画素の範囲から、複数の負サンプルＪt1、…、ＪtFを抽出することができる。例えば、正サンプルＩt から上下左右に５画素の範囲（１１画素×１１画素の範囲）から、１画素ずつずらして負サンプルＪt1、…、ＪtFを抽出する場合、Ｆ＝１１×１１−１＝１２０個の負サンプルＪt1、…、ＪtFを正サンプルＩt の周囲から抽出することができる。
【００５２】
正サンプルＩt 及び負サンプルＪt1、…、ＪtFを抽出した後、これらの正サンプルＩt と負サンプルＪt1、…、ＪtFとを区別し得る特徴量として、正サンプルＩt からペア特徴取得手段４４がペア特徴の取得を行う。図５は、ペア特徴の取得方法を説明するための模式図である。
【００５３】
ペア特徴を取得するために、まず、正サンプルＩt から所定数の画素ペア（画素組み合わせ）を抽出する。画素ペアは、正サンプルＩt からランダムに抽出した２つの画素のうち、その輝度値（画素値）の差が閾値Ｔp 以上のものである。一例として、図５（ａ）には、８画素×８画素の正サンプルＩt から抽出した５つの画素ペアを示しており、実線の矢印で結ばれた２つの画素が画素ペアである。また図５（ａ）では、画素ペアのうち輝度値が大きい画素を白抜きの四角形で示し、輝度値が小さい画素をハッチング付きの四角形で示してある。各画素ペアには、第１の画素ｐ（図中の矢印の始点側の画素）の輝度値が第２の画素ｑ（図中の矢印の終点側の画素）の輝度値より大きいものにラベル”１”を付し、第１の画素ｐの輝度値が第２の画素ｑの輝度値より小さいものにラベル”−１”を付す。
【００５４】
詳しくは、以下の通りである。正サンプルＩt 及び負サンプルＪt1、…、ＪtFのサイズをＷ画素×Ｈ画素とした場合、正サンプルＩt 及び負サンプルＪt1、…、ＪtFに含まれる各画素の座標は、下記の（１−１）式に示すグリッドΓの格子点として表される。これにより、Ｗ画素×Ｈ画素の画像領域は、グリッドΓ上の輝度関数とみなすことができる。
【００５５】
【数１】
【００５６】
ここで、正サンプルＩt をグリッドΓとみなし、グリッドΓ上の格子点から抽出した任意のペア（ｐ、ｑ）に対して、ｐｐｆ（ｐ→ｑ；Ｔp ）という値を下記の（１−２）式で定義する。なお（１−２）式において、Ｉ（ｐ）及びＩ（ｑ）は正サンプルＩt における画素ｐ及び画素ｑの輝度値であり、Ｔp （＞０）は輝度差の閾値である。（１−２）式のｐｐｆ（ｐ→ｑ；Ｔp ）は、正サンプルＩt の画素ペア（ｐ、ｑ）の大小関係を表している。
【００５７】
【数２】
【００５８】
正サンプルＩt からの画素ペアの抽出は、（１−２）式においてｐｐｆ（ｐ→ｑ；Ｔp ）≠Φとなるようにペア（ｐ、ｑ）を抽出すればよい。１つの正サンプルＩt から抽出できる画素ペアは無数に存在するため、抽出する画素ペアの数をＮ個（Ｎ組）に制限する。ここで、ポリシーｓに従ってランダムに抽出された画素ペア（ｐ、ｑ）のセットＲＰs を、下記の（１−３）式で定義する。
【００５９】
【数３】
【００６０】
以上のようにして正サンプルＩt からＮ個の画素ペアを抽出した後、同様にして、負サンプルＪt1、…、ＪtFからそれぞれＮ個の画素ペアを抽出する。正サンプルＩt 及び負サンプルＪt1、…、ＪtFは同じサイズであり、負サンプルＪt1、…、ＪtFからの画素ペアの抽出は、正サンプルＩt から抽出した画素ペアと相対的に同じ位置の画素ペアを抽出することで行う（図５（ｂ）参照）。ここで、負サンプルＪt1、…、ＪtFから抽出した画素ペアに対して、ラベルｂ（ｐ→ｑ）を下記の（１−４）式で定義する。なお（１−４）式において、Ｊ（ｐ）及びＪ（ｑ）は一の負サンプルＪt1、…、ＪtFにおける画素ｐ及び画素ｑの輝度値である。ラベルｂ（ｐ→ｑ）は、負サンプルＪt1、…、ＪtFの画素ペア（ｐ、ｑ）の大小関係を表している。
【００６１】
【数４】
【００６２】
上述の（１−２）式では、正サンプルＩt から抽出した画素ペア（ｐ、ｑ）について、画素ｐの輝度値が画素ｑの輝度値より閾値Ｔp 以上に大きい場合にｐｐｆ（ｐ→ｑ；Ｔp ）＝１とし、画素ｐの輝度値が画素ｑの輝度値より閾値Ｔp 以上に小さい場合にｐｐｆ（ｐ→ｑ；Ｔp ）＝−１とした。同様に上述の（１−４）式では、負サンプルＪt1、…、ＪtFから抽出した画素ペア（ｐ、ｑ）について、画素ｐの輝度値が画素ｑの輝度値より大きい場合にｂ（ｐ→ｑ）＝１とし、画素ｐの輝度値が画素ｑの輝度値より小さい場合にｂ（ｐ→ｑ）＝−１とした。ｐｐｆ（ｐ→ｑ；Ｔp ）及びｂ（ｐ→ｑ）は、画素ｐ及び画素ｑの輝度値の大小関係を表す値であり、正サンプルＩt 及び負サンプルＪt1、…、ＪtFの対応する画素ペア（ｐ、ｑ）についてｐｐｆ（ｐ→ｑ；Ｔp ）及びｂ（ｐ→ｑ）の値を比較することによって、正サンプルＩt 及び負サンプルＪt1、…、ＪtFが類似するか否かを判断する指標とすることができる。そこで、ＲＰs に含まれる各画素ペア（ｐ、ｑ）について、個別の類似度ｒ（ｐ、ｑ、Ｊ）を下記の（１−５）式で定義する。
【００６３】
【数５】
【００６４】
この（１−５）式によれば、ｐｐｆ（ｐ→ｑ；Ｔp ）＝ｂ（ｐ→ｑ）が成立する場合、即ち正サンプルＩt から抽出した画素ペア（ｐ、ｑ）の輝度値の大小関係と、対応する負サンプルＪt1、…、ＪtFの画素ペア（ｐ、ｑ）の輝度値の大小関係とが一致する場合、画素ペア（ｐ、ｑ）の個別の類似度ｒ（ｐ、ｑ、Ｊ）の値を”１”とすることができる。またｐｐｆ（ｐ→ｑ；Ｔp ）≠ｂ（ｐ→ｑ）の場合、即ち正サンプルＩt から抽出した画素ペア（ｐ、ｑ）の輝度値の大小関係と、対応する負サンプルＪt1、…、ＪtFの画素ペア（ｐ、ｑ）の輝度値の大小関係とが一致しない場合、画素ペア（ｐ、ｑ）の個別の類似度ｒ（ｐ、ｑ、Ｊ）の値を”０”とすることができる。
【００６５】
そこで、抽出した画素ペア（ｐ、ｑ）のセットＲＰs を用いて正サンプルＩt 及び一の負サンプルＪt1、…、ＪtFを判別した場合に、正サンプルＩt 及び一の負サンプルＪt1、…、ＪtFの類似度ｃs （Ｉ、Ｊ、ＲＰs ）を下記の（１−６）式で定義する。
【００６６】
【数６】
【００６７】
よって、（１−６）式の類似度ｃs （Ｉ、Ｊ、ＲＰs ）の値が小さくなるように、画素ペア（ｐ、ｑ）を選別することによって、正サンプルＩt 及び負サンプルＪt1、…、ＪtFをより精度よく判別することができる画素ペア（ｐ、ｑ）を取得することができる。このようにして取得された複数の画素ペア（ｐ、ｑ）及びその大小関係（ｐｐｆ（ｐ→ｑ；Ｔp ）の値)を”ペア特徴”として用いることができる。
【００６８】
次に、正サンプルＩt 及び負サンプルＪt1、…、ＪtFを判別し得る特徴的な画素ペア（ペア特徴）を選別する方法を説明する。ペア特徴は、正サンプルＩt 及び負サンプルＪt1、…、ＪtFの間の判別基準を最大化するように選択される。この判別基準は、下記の３つの条件から定められる。
・ペア特徴の値は２値（＋ｖ又は−ｖ）であること
・正サンプルは１つであること
・負サンプルの数（Ｆ）が大きいこと
これらの条件から、正サンプルｐ及び負サンプルｎi を下記の（２−１）式で定義する。
【００６９】
【数７】
【００７０】
負サンプルの数が十分に大きく、Ｆ＞＞１が成立すると仮定すれば、全体の平均値μT は、負サンプルの平均値μn にほぼ等しい。そこで、ｎi ＝−ｖの負サンプルの数をｍ個とすれば、下記の（２−２）式が成立する。
【００７１】
【数８】
【００７２】
また、全体の分散σT2と、正サンプル及び負サンプルのクラス間分散σB2とは、下記の（２−３）式及び（２−４）式でそれぞれ表される。
【００７３】
【数９】
【００７４】
よって、上述の判別基準は、正サンプル及び負サンプルのクラス間分散σB2と全体の分散σT2との比で表され、下記の（２−５）式で定義される。
【００７５】
【数１０】
【００７６】
この（２−５）式は、負サンプルの分散の最小化が判別基準の最大化に相当することを示している。そこで、上記の（２−２）式を用いて、負サンプルの分散を置き換えると、下記の（２−６）式となる。
【００７７】
【数１１】
【００７８】
この（２−６）式において、負サンプルの分散が最小値の０となるのは、ｍ＝０又はＦ＝ｍの場合である。ただし、ｍ＝０は全ての負サンプルが正サンプルと同じ値であることを意味しているため、正サンプル及び負サンプルの判別は不可能である。よってｍ＝Ｆの場合に、判別基準が１に最大化され、正サンプル及び負サンプルの類似度が０に最小化される。また、上述の（１−６）式に示した類似度ｃs （Ｉ、Ｊ、ＲＰs ）を最小化することは、上記の判別基準を最大化することに等しく、更には下記の（３）式で表される類似度の合計値Ｃmin を最小化することに等しい。
【００７９】
【数１２】
【００８０】
なお、上記の（３）式において、Ｃmin 、ｃmin 及びＲＰmin は、各画素ペアの個別の類似度を最小化するというポリシーに基づいて選別されたものである。
【００８１】
ここで、画素ペアを選別する３つの方法が考えられる。
１）類似度ｃs がある閾値より小さくなるまで、ランダムに画素ペアを生成して、ペア特徴を集める方法。
２）必要数以上の画素ペアをランダムに生成し、類似度ｃs が小さいものから必要数の画素ペアを選別する方法。
３）画素ペアのセットをランダムに所定数生成し、類似度Ｃs が最も小さいセットを選別する方法。
本実施の形態においては３番目の方法を用いるが、この方法に限定するものではなく、１番目又は２番目の方法を用いてもよい。
【００８２】
図６及び図７は、ペア特徴の取得処理の手順を示すフローチャートであり、車輌追跡装置１の制御部１１が車輌追跡プログラム４０を実行することにより行う処理である。車輌追跡装置１の制御部１１は、まず、カメラ３が撮像したｔ番目の画像Ｖt （追跡元画像）を取得して、車輌検出処理の結果又はｔ−１番目の車輌追跡処理の結果に基づいて追跡対象の車輌の位置及びサイズ等を特定し、追跡対象を含む画像領域を正サンプルＩt として抽出する（ステップＳ１）。次いで制御部１１は、抽出した正サンプルＩt から、輝度値の差分が閾値Ｔp 以上の２つの画素（画素ペア）をランダムにＮ組抽出する（ステップＳ２、図５（ａ）参照）。
【００８３】
次いで、制御部１１は、ｔ番目の画像Ｖt における正サンプルＩt の周囲から、負サンプルＪt を１つ抽出し（ステップＳ３、図４参照）、抽出した負サンプルＪt から、ステップＳ２にて正サンプルＩt から抽出した画素ペアに対応する位置の画素ペアを抽出する（ステップＳ４、図５（ｂ）参照）。次いで制御部１１は、各画素ペアについての個別類似度ｒ（ｐ、ｑ、Ｊ）を上述の（１−５）式に基づいて算出し、Ｎ個の画素ペアの個別類似度を加算することにより、Ｎ個の画素ペアによって判断される正サンプルＩt 及び負サンプルＪt の類似度ｃs （Ｉ、Ｊ、ＲＰs ）を上述の（１−６）式に基づいて算出する（ステップＳ５）。
【００８４】
なおステップＳ３〜Ｓ６の処理は、画像Ｖt から抽出されるＦ個の負サンプルＪt1、…、ＪtFについてそれぞれ繰り返し行われる処理である。各負サンプルＪt についてステップＳ５の類似度ｃs （Ｉ、Ｊ、ＲＰs ）を算出した後、制御部１１は、算出済みの各負サンプルＪt の類似度の合計を算出する（ステップＳ６）。その後、制御部１１は、Ｆ個の負サンプルＪt1、…、ＪtFの全てについて類似度の算出とその合計の算出との処理を終了したか否かを判定し（ステップＳ７）、全ての負サンプルＪt1、…、ＪtFについて処理を終了していない場合には（Ｓ７：ＮＯ）、ステップＳ３へ処理を戻して、上述のステップＳ３〜Ｓ６の処理を繰り返し行う。
【００８５】
また制御部１１は、正サンプルＩt からＮ個の画素ペアの抽出を所定回数繰り返し行って、各回で類似度の合計を算出している。そこで制御部１１は、全ての負サンプルＪt1、…、ＪtFについて処理を終了した場合（Ｓ７：ＹＥＳ）、ステップＳ６にて算出した類似度の合計が、以前に算出した類似度の合計と比較して、最小値であるか否かを判定する（ステップＳ８）。類似度の合計が最小値の場合（Ｓ８：ＹＥＳ）、制御部１１は、ステップＳ２にて抽出されたＮ個の画素ペア（即ち、この類似度の算出に用いられたＮ個の画素ペア）を保持し（ステップＳ９）、以前に保持した画素ペアは破棄して、ステップＳ１０へ処理を進める。また類似度の合計が最小値でない場合（Ｓ８：ＮＯ）、制御部１１は、ステップＳ２にて抽出されたＮ個の画素ペアを保持せずに、ステップＳ１０へ処理を進める。
【００８６】
次いで、制御部１１は、上述のステップＳ２〜Ｓ９の処理を所定回数反復したか否かを判定し（ステップＳ１０）、所定回数反復していない場合には（Ｓ１０：ＮＯ）、ステップＳ２へ処理を戻し、ステップＳ２〜Ｓ９の処理を繰り返して行う。ステップＳ２〜Ｓ９の処理を所定回数反復した場合（Ｓ１０：ＹＥＳ）、制御部１１は、ペア特徴の取得処理を終了する。なお、ステップＳ２〜Ｓ９の処理の反復において、最終的にステップＳ９にて保持されたＮ個の画素ペアが、正サンプルＩt のペア特徴となり、後段の処理で用いられる。
【００８７】
カメラ３が撮像したｔ番目の画像Ｖt から追跡対象の車輌のペア特徴を取得した後、車輌追跡装置１は、カメラ３が撮像したｔ＋１番目の画像Ｖt+1 における追跡対象の移動先を探索する。移動先の探索処理において、まず車輌追跡装置１は、ｔ＋１番目の画像Ｖt+1 から移動先の候補となる多数の画像領域を抽出する。この処理は、車輌追跡プログラム４０の移動先候補抽出手段４５により行われる処理である。
【００８８】
図８は、移動先候補の抽出方法を説明するための模式図である。車輌追跡装置１は、カメラ３が撮像したｔ＋１番目の画像Ｖt+1 から、水平方向及び垂直方向に１画素又は数画素ずつ移動させながら、矩形の画像領域を移動先候補として順に抽出する（図８（ａ）参照）。このときに抽出する画像領域のサイズは、その抽出位置に応じて決定される。図示の例では、画像Ｖt+1 の上側では小さいサイズの画像領域が抽出され、下側では大きいサイズの画像領域が抽出される。抽出する画像領域のサイズ変化は、カメラ３にて撮像される画像中の遠近に対応して定まるものであるため、道路上におけるカメラ３の設置位置及び撮像方向等により、カメラ３毎に適切なサイズ変化を設定することができる。
【００８９】
また図示の例では、移動先候補の画像領域を抽出する範囲を、画像Ｖt+1 内における道路上のみに限定している。このように、車輌が移動する可能性が低い範囲を除外して移動先候補の抽出範囲を限定することによって、車輌の追跡処理に要する計算量を低減できる。画像中における道路の範囲は、カメラ３の設置位置及び撮像方向等に応じて、予め適切に設定することができる。
【００９０】
また図示の例では、画像Ｖt+1 内における全ての道路上を移動先候補の抽出範囲としているが、これに限るものではない。例えば車輌が画像Ｖt+1 の上側から下側へ移動する（車輌がカメラ３へ接近する）ことが予め判明している場合、移動先候補の抽出範囲をｔ番目の画像Ｖt にて正サンプルＩt を抽出した位置より下側に限定することができる。車輌の移動方向は、例えば、カメラ３が撮像する道路の法律上定められた車輌の移動方向を基に決定することができ、また例えば、以前の車輌追跡の結果から車輌の移動方向及び移動速度等を予測して決定することができる。
【００９１】
車輌追跡装置１は、ｔ＋１番目の画像Ｖt+1 から抽出した複数の移動先候補のうち、ｔ番目の画像Ｖt の正サンプルＩt に最も類似する移動先候補をペア特徴に基づいて探索することにより、車輌の移動先を探索する。ただし、上述のように抽出する移動先候補のサイズは様々であり、正サンプルＩt のサイズと移動先候補のサイズとが異なると類似の判定が困難化するため、車輌追跡装置１は、ｔ＋１番目の画像Ｖt+1 から抽出した移動先候補のサイズを正サンプルＩt と同じサイズに調整する処理を行う（図８（ｂ）参照）。車輌追跡装置１は、移動先候補のサイズが正サンプルＩt のサイズより大きい場合、移動先候補を縮小する画像処理を行い、また、移動先候補のサイズが正サンプルＩt より小さい場合、移動先候補を拡大する画像処理を行えばよい。
【００９２】
移動先候補のサイズ調整を行った後、車輌追跡装置１は、正サンプルＩt のペア特徴として抽出された複数の画素ペアと同じ位置から、移動先候補の画素ペアを抽出する。正サンプルＩt のペア特徴（画素ペア）と、移動先候補から抽出した画素ペアとを用いて、上述の（１−６）式により正サンプルＩt と移動先候補との類似度を算出することができる（即ち、（１−６）式において負サンプルを移動先候補に置き換えればよい）。車輌追跡装置１は、ｔ＋１番目の画像Ｖt+1 から抽出した複数の移動先候補について、それぞれ正サンプルＩt との類似度を算出し、最も類似度が大きい移動先候補を追跡対象の車輌の最終的な移動先に決定する。これらの処理は、車輌追跡プログラム４０の移動先決定手段４６により行われる処理である。
【００９３】
図９は、移動先の追跡処理の手順を示すフローチャートであり、車輌追跡装置１の制御部１１が車輌追跡プログラム４０を実行することにより行う処理である。車輌追跡装置１の制御部１１は、まず、カメラ３にて撮像されたｔ＋１番目の画像Ｖt+1 を取得して、この画像Ｖt+1 から一の移動先候補を抽出し（ステップＳ２１、図８（ａ）参照）、抽出した移動先候補のサイズをｔ番目の画像Ｖt から抽出した正サンプルＩt と同じサイズに調整する（ステップＳ２２、図８（ｂ）参照）。
【００９４】
次いで制御部１１は、サイズを調整した移動先候補から、正サンプルＩt のペア特徴として抽出した画素ペアと同数且つ同位置となるように、複数の画素ペアを抽出し（ステップＳ２３）、正サンプルＩt の画素ペアと移動先候補の画素ペアとを基に、正サンプルＩt 及び移動先候補の類似度を算出する（ステップＳ２４）。
【００９５】
制御部１１は、ｔ＋１番目の画像Ｖt+1 からの移動先候補の抽出及び類似度の算出等を複数回繰り返し行っている。そこで制御部１１は、ステップＳ２４にて算出した類似度が、以前に算出した類似度と比較して、最大値であるか否かを判定する（ステップＳ２５）。類似度が最大の場合（Ｓ２５：ＹＥＳ）、制御部１１は、ステップＳ２１にて抽出した移動先候補に係る情報（例えば移動先候補の抽出位置及び抽出サイズ等の情報）を保持し（ステップＳ２６）、以前の情報を破棄して、ステップＳ２７へ処理を進める。類似度が最大でない場合（Ｓ２５：ＮＯ）、制御部１１は、移動先候補に係る情報を保持することなく破棄して、ステップＳ２７へ処理を進める。
【００９６】
次いで、制御部１１は、ｔ＋１番目の画像Ｖt+1 から抽出すべき全ての移動先候補について、上述のステップＳ２１〜Ｓ２６の処理を終了したか否かを判定し（ステップＳ２７）、全ての移動先候補について処理を終了していない場合には（Ｓ２７：ＮＯ）、ステップＳ２１へ処理を戻し、上述の処理を繰り返し行う。全ての移動先候補について処理を終了した場合（Ｓ２７：ＹＥＳ）、制御部１１は、移動先の追跡処理を終了する。
【００９７】
なお、ステップＳ２１〜Ｓ２７の処理の繰り返しにおいて、最終的にステップＳ２６にて保持された情報に係る移動先が、ｔ番目の画像Ｖt の正サンプルＩt の移動先、即ち車輌の移動先と決定される。また、ｔ＋１番目の画像Ｖt+1 にて決定された移動先は、ｔ＋２番目の画像Ｖt+2 における移動先の追跡処理を行う場合に、正サンプルＩt+1 として用いることができる。
【００９８】
ここで、ｔ番目の画像Ｖt 、ｔ＋１番目の画像Ｖt+1 、ｔ＋２番目の画像Ｖt+2 …のように連続する複数の画像で車輌の追跡処理を順次行う場合、以下の２つの方法を用いることができる。
１）ｔ番目の画像Ｖt の正サンプルＩt からペア特徴を取得してｔ＋１番目の画像Ｖt+1 にて移動先を探索し、この移動先をｔ＋１番目の画像Ｖt+1 の正サンプルＩt+1 としてペア特徴を取得してｔ＋２番目の画像Ｖt+2 にて移動先を探索する…というように、ペア特徴の取得と移動先の探索とを繰り返し行う方法。
２）ｔ番目の画像Ｖt の正サンプルＩt からペア特徴を取得してｔ＋１番目の画像Ｖt+1 にて移動先を探索すると共に、ｔ＋１番目の画像Ｖt+1 にて正サンプルＩt+1 からのペア特徴の取得を行わずに、ｔ番目の画像Ｖt の正サンプルＩt から取得したペア特徴を用いてｔ＋２番目の画像Ｖt+2 にて移動先を探索する…というように、最初の画像から取得したペア特徴を用いて以降の画像における移動先の探索を行う方法。
【００９９】
車輌追跡装置１は、上記のいずれの方法を用いて連続する複数の画像での車輌追跡を行ってもよく、いずれの方法を用いるかは車輌追跡装置１に求められる追跡精度、処理速度及び装置のコスト等の要因に応じて適宜に選択すればよい。上記の２つの方法を比較すると、１番目の方法は追跡精度が高いが処理速度が遅く、２番目の方法は追跡精度が低いが処理速度は速いという特徴がある。なお、上記の２番目の方法においては、移動先の追跡結果に応じて、最初の画像から取得したペア特徴の修正を行うことによって、追跡精度を向上することができる。ペア特徴の修正は、例えばｔ番目の画像Ｖt から正サンプルＩt のペア特徴として抽出された画素ペアと、ｔ＋１番目の画像Ｖt+1 の移動先とされた画像領域から抽出されたペア特徴とを比較して、大小関係が一致しない画素ペアを大小関係が一致する画素ペアに入れ替えることで行うことができる。
【０１００】
以上の構成の車輌追跡装置１及び車輌追跡プログラム４０においては、ｔ番目の画像Ｖt （追跡元画像）から車輌を含む正サンプルＩt を抽出して、この正サンプルＩt から複数の画素ペア（画素組み合わせ）を抽出すると共に、正サンプルＩt の周囲から複数の負サンプルＪt1、…、ＪtFを抽出して、各負サンプルＪt1、…、ＪtFから複数の画素ペアをそれぞれ抽出し、画素ペアの輝度値（画素値）の大小関係に基づいて正サンプルＩt と負サンプルＪt1、…、ＪtFとの判別精度が高い（判別を行った際の類似度が低い）画素ペアをペア特徴として取得し、ペア特徴を用いて車輌の追跡を行う。このペア特徴は、画素ペアの輝度値の大小関係に着目した特徴量であり、例えば日照変化により画像の明るさなどが変化した場合、又は車輌が日向から日蔭へ移動した場合等に、画像中の車輌の輝度値が変化しても、輝度値の大小関係は変化しないため、車輌の追跡を精度よく行うことができる。またカメラ３が撮像する画像のコントラストが低い場合であっても、車輌の追跡を精度よく行うことができるため、カメラ３の撮像により得られる画像がカラー画像でなく白黒画像であっても車輌の追跡を行うことができる。また、１つの正サンプルＩt に対して画素ペアを複数抽出するため、追跡対象の車輌の一部分が他車輌に隠れた場合などであっても、他車輌に隠れていない部分から抽出した画素ペアの情報を基に車輌の追跡を行うことができる。またペア特徴を用いた車輌追跡処理では、画素ペアの輝度値の大小関係を比較して大小関係の一致／不一致を判断するのみでよく、識別器を用いて識別処理する方法などと比較して、処理に要する計算量が少ないため、車輌追跡装置１に高い処理能力が要求されず、車輌追跡装置１の低コスト化に寄与することができる。
【０１０１】
また、正サンプルＩt からのＮ個の画素ペア（画素組み合わせ群）の抽出を複数回行い、正サンプルＩt と負サンプルＪt1、…、ＪtFとの判別精度が最も高い（類似度が最も低い）Ｎ個の画素ペアのセットを選別してペア特徴とすることにより、車輌と背景などとの判別度がより高いペア特徴を取得することができ、車輌の追跡精度を向上することができる。
【０１０２】
また、正サンプルＩt から複数の画素ペアを抽出する際に、輝度値の差が閾値Ｔp 以上の２つの画素を抽出することにより、ペア特徴として用いる画素ペアの候補として、正サンプルＩt と負サンプルＪt1、…、ＪtFとを判別できる可能性の高い画素ペアを予め抽出することができ、車輌の追跡精度を向上することができる。
【０１０３】
また、ｔ＋１番目の画像Ｖt+1 （追跡先画像）から移動先候補として画像領域を抽出する場合に、画像中の抽出位置に応じて異なるサイズの画像領域を抽出し、抽出した画像領域を正サンプルＩt と同じサイズに調整することにより、道路上におけるカメラ３の設置位置及び撮像方向等により変化する撮像画像中の移動体のサイズに適した移動先候補の抽出を行うことができ、車輌の追跡を精度よく行うことができる。
【０１０４】
なお、本実施の形態においては、ｔ番目の画像Ｖt の正サンプルＩt から抽出した２つの画素の大小関係に基づくペア特徴を用いて車輌追跡処理を行う構成としたが、これに限るものではなく、正サンプルＩt から３つ以上の画素を抽出し、これら複数の画素間の大小関係に基づく特徴を用いて車輌追跡処理を行ってもよい。また、正サンプルＩt から画素ペアを抽出する際に、輝度値の差が閾値Ｔp 以上の２つの画素を抽出する構成としたが、このときに用いる閾値Ｔp は固定値である必要はなく、例えばカメラ３が撮像した画像の明るさ又はコントラスト等に応じて閾値Ｔp を変化させてもよい。
【０１０５】
また、画像中の移動体として車輌を追跡する構成としたが、追跡対象は車輌に限るものではなく、二輪車又は歩行者等のその他の移動体を追跡する構成としてもよい。また、移動体追跡装置は、道路上に設置されたカメラ３の撮像画像に基づいて移動体の追跡を行う構成でなくてもよく、例えばデジタルカメラ又はビデオカメラ等に移動体の追跡機能を搭載するなど、可搬型のカメラの撮像画像に基づいて移動体の追跡を行う構成であってもよい。また、車輌追跡装置１は、車輌追跡プログラム４０を制御部１１が実行することによって車輌追跡処理を行う構成、即ち車輌追跡処理をソフトウェアで実現する構成としたが、これに限るものではなく、移動体追跡処理を専用のハードウェアで実現する構成としてもよい。また、移動体追跡処理は、ＩＣ（Integrated Circuit）チップとして提供することもできる。また、移動体追跡プログラムは、車輌追跡装置１のＲＯＭ１７のような固定型の記録媒体に記憶されるのみでなく、光ディスク若しくはメモリカード等の可搬型の記憶媒体又はネットワーク等を介して提供されるものであってよく、汎用のコンピュータにて移動体追跡プログラムを実行して移動体追跡処理を行ってもよい。
【０１０６】
また、２次元画像中の移動体を追跡するのみでなく、時系列的な３次元画像中の移動体を追跡する構成としてもよい。この場合には、正サンプル及び負サンプル等は３次元領域として抽出され、画素ペアは３次元領域中の任意の２点として抽出される。また、１つの追跡元画像から正サンプル、負サンプル及び画素ペア等を抽出する構成としたが、これに限るものではなく、例えばｔ番目の画像Ｖt 及びｔ＋１番目の画像Ｖt+1 の２つの画像を追跡元画像とし、各画像から正サンプル及び負サンプルを抽出し、画素ペアは２つの画像に跨った２点を抽出する構成としてもよい。この場合には、ｔ＋１番目の画像Ｖt+1 及びｔ＋２番目の画像Ｖt+2 の２つの画像を追跡先画像として移動先候補を抽出するか、又は、ｔ＋２番目の画像Ｖt+2 及びｔ＋３番目の画像Ｖt+3 の２つの画像を追跡先画像として移動先候補を抽出することができる。また、ｔ番目の画像Ｖt を追跡元画像とした場合に、ｔ＋１番目の画像Ｖt+1 を追跡先画像として移動体の追跡を行う構成としたが、これに限るものではなく、ｔ−１番目の画像Ｖt-1 を追跡先画像として移動体の追跡を行う構成としてもよい。
【０１０７】
また、ペア特徴を用いた移動体の追跡方法は、カメラが撮像した画像から車輌又は歩行者等の特定物体の移動速度及び移動方向等の情報を取得するために用いるのみでなく、例えばＭＰＥＧ（Moving Picture Expert Group）方式の動画像圧縮処理のように、画像中の特定箇所の移動先を探索する処理を必要とする画像処理に適用可能であり、このような画像処理を高精度化及び高速化することができる。
【０１０８】
（変形例１）
上述の実施の形態においては、図６及び図７に示したように、車輌追跡装置１及び車輌追跡プログラム４０は、画素ペアのセットをランダムに所定数生成し、類似度が最も小さいものを選別することでペア特徴の取得を行う構成としたが、これに限るものではない。変形例１に係る車輌追跡装置１及び車輌追跡プログラム４０は、必要数以上の画素ペアをランダムに生成し、類似度が小さいものから順に必要数の画素ペアを選別することでペア特徴の取得を行う。
【０１０９】
図１０は、変形例１に係るペア特徴の取得処理の手順を示すフローチャートであり、車輌追跡装置１の制御部１１が車輌追跡プログラム４０を実行することにより行う処理である。車輌追跡装置１の制御部１１は、まず、カメラ３が撮像したｔ番目の画像Ｖt を取得して、追跡対象を含む画像領域を正サンプルＩt として抽出する（ステップＳ４１）。次いで制御部１１は、抽出した正サンプルＩt から、輝度値の差分が閾値Ｔp 以上の画素ペアをランダムにＭ組抽出する（ステップＳ４２）。ただし、車輌の追跡処理に必要な画素ペアの数をＮ組とした場合、ステップＳ４２の抽出数Ｍは、Ｎより十分に大きな値とする。
【０１１０】
次いで、制御部１１は、ｔ番目の画像Ｖt における正サンプルＩt の周囲から、負サンプルＪt を１つ抽出し（ステップＳ４３）、抽出した負サンプルＪt から、ステップＳ４２にて正サンプルＩt から抽出した画素ペアに対応する位置の画素ペアを抽出する（ステップＳ４４）。次いで制御部１１は、各画素ペアについての個別の類似度ｒ（ｐ、ｑ、Ｊ）を上述の（１−５）式に基づいて算出する（ステップＳ４５）。
【０１１１】
ステップＳ４３〜Ｓ４６の処理は、画像Ｖt から抽出されるＦ個の負サンプルＪt1、…、ＪtFについてそれぞれ繰り返し行われる処理である。各負サンプルＪt についてステップＳ４５の個別の類似度ｒ（ｐ、ｑ、Ｊ）を算出した後、制御部１１は、算出済みの各負サンプルＪt の個別の類似度を画素ペア毎に合計する（ステップＳ４６）。その後、制御部１１は、Ｆ個の負サンプルＪt1、…、ＪtFの全てについて個別の類似度の算出と画素ペア毎の合計の算出との処理を終了したか否かを判定し（ステップＳ４７）、全ての負サンプルＪt1、…、ＪtFについて処理を終了していない場合には（Ｓ４７：ＮＯ）、ステップＳ４３へ処理を戻して、上述のステップＳ４３〜Ｓ４６の処理を繰り返し行う。
【０１１２】
また、全ての負サンプルＪt1、…、ＪtFについて処理を終了した場合（Ｓ４７：ＹＥＳ）、制御部１１は、ステップＳ４６の繰り返しによって算出された個別の類似度の合計値を画素ペア毎に比較し、ステップＳ４２にて抽出したＭ組の画素ペアから、類似度の合計値が小さい画素ペアを上位からＮ組まで選択し（ステップＳ４８）、ペア特徴の取得処理を終了する。ステップＳ４８にて選択されたＮ組の画素ペアが、正サンプルＩt のペア特徴となり、後段の処理で用いられる。
【０１１３】
以上の構成の変形例１に係る車輌追跡装置１及び車輌追跡プログラム４０は、ｔ番目の画像Ｖt の正サンプルＩt から必要数Ｎより多いＭ組の画素ペアを予め抽出し、Ｍ組の画素ペアから正サンプルＩt と負サンプルＪt1、…、ＪtFとをより精度よく判別できるＮ組の画素ペアを上位から選択する構成とすることにより、演算量を低減しつつ、精度のよい移動体の追跡処理を実現することができる。
【０１１４】
（変形例２）
上述の実施の形態においては、図８に示したように、ｔ＋１番目の画像Ｖt+1 から移動先候補の画像領域を抽出する際に、抽出位置に応じて異なるサイズの画像領域を抽出し、正サンプルＩt と同じサイズに画像領域を調整する構成としたが、これに限るものではない。変形例２に係る車輌追跡装置１は、ｔ＋１番目の画像Ｖt+1 から抽出した移動先候補のサイズに応じて、移動先候補から抽出する画素ペアの抽出位置を調整する構成である。
【０１１５】
図１１は、変形例２に係る移動先候補からの画素ペアの抽出方法を説明するための模式図である。例えば、ｔ番目の画像Ｖt から抽出された正サンプルＩt が８画素×８画素の画像領域であるとし、この画像領域において各画素を座標（ｘ、ｙ）で表し、画像領域の横方向がｘ方向であり、縦方向がｙ方向であり、左上の画素を座標（１、１）とし、右下の画素を座標（８、８）とする。また、この正サンプルＩt からペア特徴として（１、３）→（３、８）の画素ペアと、（６、２）→（５、５）の画素ペアとを抽出したものとする（図１１（ａ）参照）。
【０１１６】
もし、ｔ＋１番目の画像Ｖt+1 から正サンプルＩt と同じサイズの画像領域が移動先候補として抽出された場合には、移動先候補から（１、３）→（３、８）の画素ペアと、（６、２）→（５、５）の画素ペアとを抽出して類似度を判定すればよい。これに対して、ｔ＋１番目の画像Ｖt+1 から抽出した移動先候補のサイズが正サンプルＩt のサイズと異なる場合、車輌追跡装置１は、正サンプルＩt のサイズと移動先候補のサイズとの比率に応じて、移動先候補から抽出する画素ペアの座標を調整する。
【０１１７】
例えば、移動先候補として１６画素×１６画素の画像領域が抽出された場合には、移動先候補のサイズは正サンプルＩt のサイズに対して縦横にそれぞれ２倍であるため、移動先候補から抽出する画素ペアの座標をｘ方向及びｙ方向についてそれぞれ２倍する。即ち、１６画素×１６画素の移動先候補から、（２、６）→（６、１６）の画素ペアと、（１２、４）→（１０、１０）の画素ペアとを抽出する（図１１（ｂ）参照）。
【０１１８】
なお、図示は省略するが、移動先候補のサイズが正サンプルＩt のサイズより小さい場合も同様であり、例えば移動先候補が正サンプルＩt より縦横に１／２倍のサイズであれば、抽出する画素ペアの座標をｘ方向及びｙ方向にそれぞれ１／２倍すればよい（端数は切り捨て又は四捨五入等の処理を行う）。
【０１１９】
以上の構成の変形例２に係る車輌追跡装置１は、ｔ＋１番目の画像Ｖt+1 （追跡先画像）から移動先候補として画像領域を抽出する場合に、画像中の抽出位置に応じて異なるサイズの画像領域を抽出し、正サンプルＩt のサイズと移動先候補のサイズとの比率に応じて、移動先候補から抽出する画素ペアの抽出位置を調整することにより、道路上におけるカメラ３の設置位置及び撮像方向等により変化する撮像画像中の移動体のサイズに適した移動先候補の抽出を行うことができ、車輌の追跡を精度よく行うことができる。
【０１２０】
（変形例３）
上述の実施の形態において、車輌追跡装置１は、カメラ３が撮像した画像の各画素の輝度値に基づいて画素ペアに係る大小関係を取得する構成であるが、これに限るものではない。図１２は、変形例３に係る車輌追跡装置１の構成を示すブロック図である。変形例３に係る車輌追跡装置１は、車輌追跡プログラム４０中にエッジ画像生成手段４７を有している点で、図２に示した車輌追跡装置１と異なる。
【０１２１】
エッジ画像生成手段４７は、カメラ３の撮像画像に対して、撮像画像中の各画素と、この画素に隣接する他の画素との輝度値の勾配（エッジの強度）を算出し、撮像画像の各画素の画素値をエッジ強度としたエッジ画像を生成する。エッジ画像の生成は、例えばゾーベルフィルタなどを用いた画像処理により行うことができる。車輌追跡装置１は、エッジ画像生成手段４７が生成したエッジ画像をｔ番目の画像Ｖt 、ｔ＋１番目の画像Ｖt+1 …として用いる。以降の車輌追跡処理は上述の手順と同じである。
【０１２２】
以上の構成の変形例３に係る車輌追跡装置１は、カメラ３の設置環境又は車輌周囲の環境等によって例えば画像が不鮮明であるなど、エッジ画像の方が車輌の特徴を捉えることができる場合に、カメラ３の撮像画像からエッジ画像を生成し、エッジ画像に基づいてペア特徴による車輌追跡を行うことができ、車輌の追跡精度を向上することができる。
【符号の説明】
【０１２３】
１ 車輌追跡装置（移動体検出装置）
３ カメラ
１１ 制御部
１２ 画像入力部
１３ Ａ／Ｄ変換部
１４ 画像メモリ
１５ 通信部
１６ 記憶部
１７ ＲＯＭ
４０ 車輌追跡プログラム（コンピュータプログラム）
４１ 車輌検出手段
４２ 正サンプル抽出手段（追跡対象サンプル抽出手段）
４３ 負サンプル抽出手段（周囲サンプル抽出手段）
４４ ペア特徴取得手段（追跡対象画素組み合わせ抽出手段、周囲画素組み合わせ抽出手段、判定手段、選別手段）
４５ 移動先候補抽出手段（画像領域抽出手段、調整手段）
４６ 移動先決定手段（画素組み合わせ抽出手段、判定手段、移動先決定手段）
４７ エッジ画像生成手段（算出手段）
【技術分野】
【０００１】
本発明は、時系列的に撮像された複数の画像中における移動体の移動先を追跡する移動体追跡装置、追跡方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
円滑な交通及び事故抑止等のために、道路側に設置したインフラ装置と車輌（車載装置）とが路車間通信にて情報を交換する通信システム、特に車輌の運転者からは死角となる場所に存在する他車輌又は歩行者等の情報をインフラ装置から車輌へ提供することができるシステムの検討が進められている。このシステムにおいては、道路上の車輌の通過台数及び平均速度等の情報のみでなく、個々の車輌の位置及び動き等を精度よく検出してインフラ装置から車輌へ提供することが望まれる。このため、インフラ装置には道路上の車輌又は歩行者等を検出するセンサなどの搭載が必要であり、検出範囲、製品寿命及びコスト等の性能を考慮するとカメラが撮像した撮像画像を利用して車輌又は歩行者等の検出を行う方式が有力である。
【０００３】
カメラを用いる方式においては、車輌又は歩行者等の移動速度及び移動方向を精度よく計測するために、カメラが撮像した画像中における車輌又は歩行者等の移動先を正確に追跡する技術が必要である。この追跡技術には、天候などの変化による日照変化、撮像画像中における日向及び日陰の領域の混在、撮像画像の低コントラスト、及び、車輌又は歩行者等の重なりによる車輌又は歩行者等の部分的な隠れ等の影響により追跡精度が低下するという課題があり、この課題を解決し得る追跡方式が求められている。また、上記のシステムの実用化及び普及へ向けては、画像処理などに要する計算量を低減し、装置の低価格化などを実現することも重要である。
【０００４】
撮像画像に基づいて車輌又は歩行者等（以下、移動体という）の追跡を行う技術として、ブロックマッチング法が広く知られている。ブロックマッチング法は、ある時刻における追跡対象の移動体を含む画像領域をテンプレートとして撮像画像から抽出し、その後の時刻での撮像画像においてテンプレートに最も類似する画像領域を探し出すことによって、この画像領域を移動体の移動先とする方法である。なお画像領域が類似するか否かの判定には、テンプレートに含まれる各画素の輝度値と、判定対象の画像領域に含まれる各画素の輝度値との差の絶対値の総和、所謂ＳＡＤ（Sum of Absolute Difference）が一般的に用いられる場合が多く、ＳＡＤの値が小さいほどテンプレートと画像領域とが類似していると判定することができる。
【０００５】
また、撮像画像に基づいて移動体の追跡を行う他の技術として、勾配法が広く知られている。勾配法は、追跡対象の移動体の特徴点を決定し、時系列的に撮像された複数の画像で特徴点を追跡する方法である。特徴点の位置におけるｘ方向、ｙ方向及び時間方向での画素の輝度値の変化に基づいて、画像中における移動体の移動方向及び移動量等を算出することができる。
【０００６】
非特許文献１においては、Ｍｅａｎ−Ｓｈｉｆｔ追跡法が提案されている。Ｍｅａｎ−Ｓｈｉｆｔ追跡法では、初期画像に写された移動体を含む画像領域からカラーヒストグラムを特徴として取得し、後の画像からカラーヒストグラム特徴が最も一致する画像領域を、その重心位置が一致する位置として検出することで、この画像領域を移動体の移動先とする。Ｍｅａｎ−Ｓｈｉｆｔ追跡法では、輝度の分布の特徴を基に移動体の追跡を行うため、様々な形状の移動体を追跡することができ、移動体の部分的な重なりにも頑健であるという利点がある。
【０００７】
また、非特許文献２においては、移動体の追跡を移動体と背景との識別問題として捉え、移動体及び背景から特徴を抽出して識別器を生成することにより、識別器を用いて移動体の移動先を検出する方法が提案されている。この追跡方法では、移動体の色及び形状等の様々な特徴を手掛かりとして追跡を行うことができるため、識別器の学習によって高精度な移動体の追跡を行うことができる。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】ドリン・コマニシウ（Dorin Comaniciu）、ビスバナサン・ラメッシュ（Visvanathan Ramesh）、ピーター・ミーア（Peter Meer）、「Ｍｅａｎ Ｓｈｉｆｔ手法を用いた非剛体物体の実時間追跡（Real-time tracking of non-rigid objects using mean shift）」、in proc. CVPR 2000、Vol.2、pp.142-149、２０００年
【非特許文献２】ヘルムート・グレーブナー（Helmut Grabner）、マイケル・グレーブナー（Michael Grabner）、ホルスト・ビショーフ（Horst Bischof）、「オンラインブースティングによる実時間追跡（Real-Time Tracking via On-Line Boosting）」、Proc.BMVC、vol.1、p.47-56、２００６年
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述のブロックマッチング法では、追跡対象の移動体が日陰から日向へ移動した場合に、ＳＡＤの値が非常に大きくなり、日陰内の路面などを誤追跡しやすいという問題がある。また追跡対象の移動体の一部分が他の移動体に隠れた場合などに、同様にＳＡＤの値が非常に大きくなり、誤追跡を起こしやすいという問題がある。また、勾配法においても、ブロックマッチング法と同様に、移動体の一部分が隠れた場合などに誤追跡を起こしやすいという問題があり、また移動体の大きな動きは検出が難しいという問題がある。
【００１０】
また、非特許文献１に記載のＭｅａｎ−Ｓｈｉｆｔ追跡法は、追跡対象の移動体とその周辺とのコントラストが低い場合に、正確な移動先の特定が難しいという問題がある。またＭｅａｎ−Ｓｈｉｆｔ追跡法は、白黒画像（モノクローム画像）に対しては、ヒストグラムによる判別性が低く、誤追跡が発生しやすいという問題がある。また、非特許文献２に記載の識別器を用いた追跡方法は、識別器の学習に要するサンプル量及び計算量等が膨大であり、識別器を用いた識別処理の計算量も大きいという問題がある。
【００１１】
本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、天候などの変化による日照変化、日向及び日陰の領域の混在、撮像画像の低コントラスト、並びに移動体の部分的な重なり等が生じた場合であっても、移動体の移動先を精度よく追跡することができ、且つ、多大な計算を必要とせずに移動体の追跡を行うことができる移動体追跡装置、追跡方法及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
本発明に係る移動体追跡装置は、時系列的に撮像された複数の画像に基づいて、該画像中の移動体の移動先を追跡する移動体追跡装置において、前記複数の画像のうちの追跡元画像から、移動体を含む所定サイズの画像領域を、追跡対象サンプルとして抽出する追跡対象サンプル抽出手段と、前記追跡元画像から、前記追跡対象サンプルの周囲の所定サイズの画像領域を、周囲サンプルとして複数抽出する周囲サンプル抽出手段と、前記追跡対象サンプル抽出手段が抽出した追跡対象サンプルから、複数の画素による画素組み合わせを複数組抽出する追跡対象画素組み合わせ抽出手段と、該追跡対象画素組み合わせ抽出手段が抽出した画素組み合わせの抽出位置に応じて、前記周囲サンプル抽出手段が抽出した周囲サンプルから、複数組の画素組み合わせを抽出する周囲画素組み合わせ抽出手段と、前記追跡対象画素組み合わせ抽出手段が抽出した画素組み合わせに含まれる画素の画素値の大小関係及び前記周囲画素組み合わせ抽出手段が抽出した画素組み合わせに含まれる画素の画素値の大小関係を判定する判定手段と、該判定手段の判定結果に応じて、前記追跡対象画素組み合わせ抽出手段が抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルを判別し得る複数の画素組み合わせを選別する選別手段と、前記複数の画像のうちの追跡先画像から、複数の画像領域を抽出する画像領域抽出手段と、前記選別手段が選別した画素組み合わせの前記追跡対象サンプルからの抽出位置に応じて、前記画像領域抽出手段が抽出した各画像領域から、複数組の画素組み合わせをそれぞれ抽出する画素組み合わせ抽出手段と、該画素組み合わせ抽出手段が抽出した画素組み合わせに含まれる各画素の画素値の大小関係を判定する判定手段と、前記選別手段が選別した画素組み合わせに係る大小関係、及び前記画像領域抽出手段が抽出した各画像領域の画素組み合わせに係る大小関係を基に、前記移動体の移動先の画像領域を決定する移動先決定手段とを備えることを特徴とする。
【００１３】
また、本発明に係る移動体追跡装置は、前記追跡対象画素組み合わせ抽出手段が、画素値の差が閾値以上の複数の画素による画素組み合わせを抽出するようにしてあることを特徴とする。
【００１４】
また、本発明に係る移動体追跡装置は、前記追跡対象画素組み合わせ抽出手段が、所定数の画素組み合わせが含まれる画素組み合わせ群を複数抽出するようにしてあり、前記選別手段は、前記追跡対象画素組み合わせ抽出手段が抽出した複数の画素組み合わせ群から、前記追跡対象サンプル及び前記周囲サンプルの判別精度が最も高い画素組み合わせ群を選別するようにしてあることを特徴とする。
【００１５】
また、本発明に係る移動体追跡装置は、前記選別手段が、前記追跡対象画素組み合わせ抽出手段が抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルの判別精度が高い画素組み合わせを、上位から所定数まで選別するようにしてあることを特徴とする。
【００１６】
また、本発明に係る移動体追跡装置は、前記画像領域抽出手段が、前記追跡先画像中の抽出位置に応じて、異なるサイズの画像領域を抽出するようにしてあり、前記画像領域抽出手段が抽出した画像領域のサイズを、前記追跡対象サンプルのサイズへ調整する調整手段を更に備え、前記画素組み合わせ抽出手段は、前記調整手段が調整した画像領域から画素組み合わせの抽出を行うようにしてあることを特徴とする。
【００１７】
また、本発明に係る移動体追跡装置は、前記画像領域抽出手段が、前記追跡先画像中の抽出位置に応じて、異なるサイズの画像領域を抽出するようにしてあり、前記画素組み合わせ抽出手段は、前記画像領域抽出手段が抽出した画像領域のサイズ及び前記追跡対象サンプルのサイズの比率に応じて、画素組み合わせに係る画素の抽出位置を調整するようにしてあることを特徴とする。
【００１８】
また、本発明に係る移動体追跡装置は、画像のエッジ強度を算出する算出手段を更に備え、前記追跡元画像及び前記追跡先画像は、前記算出手段により画素値がエッジ強度に変換された画像であることを特徴とする。
【００１９】
また、本発明に係る追跡方法は、時系列的に撮像された複数の画像に基づいて、該画像中の移動体の移動先を追跡する追跡方法において、前記複数の画像のうちの追跡元画像から、移動体を含む所定サイズの画像領域を追跡対象サンプルとして抽出し、前記追跡元画像から、前記追跡対象サンプルの周囲の所定サイズの画像領域を周囲サンプルとして複数抽出し、抽出した追跡対象サンプルから、複数の画素による画素組み合わせを複数組抽出し、前記追跡対象サンプルから抽出した画素組み合わせの抽出位置に応じて、前記周囲サンプルから複数組の画素組み合わせを抽出し、前記追跡対象サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係及び前記周囲サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係をそれぞれ判定し、大小関係の判定結果に応じて、前記追跡対象サンプルから抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルを判別し得る複数の画素組み合わせを選別し、前記複数の画像のうちの追跡先画像から、複数の画像領域を抽出し、選別した画素組み合わせの前記追跡対象サンプルからの抽出位置に応じて、前記追跡先画像から抽出した各画像領域から、複数組の画素組み合わせをそれぞれ抽出し、抽出した画素組み合わせに含まれる各画素の画素値の大小関係を判定し、選別した画素組み合わせに係る大小関係、及び抽出した各画像領域の画素組み合わせに係る大小関係を基に、前記移動体の移動先の画像領域を決定することを特徴とする。
【００２０】
また、本発明に係る追跡方法は、追跡元画像から、所定サイズの画像領域を追跡対象サンプルとして抽出し、前記追跡元画像から、前記追跡対象サンプルの周囲の所定サイズの画像領域を周囲サンプルとして複数抽出し、抽出した追跡対象サンプルから、複数の画素による画素組み合わせを複数組抽出し、前記追跡対象サンプルから抽出した画素組み合わせの抽出位置に応じて、前記周囲サンプルから複数組の画素組み合わせを抽出し、前記追跡対象サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係及び前記周囲サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係をそれぞれ判定し、大小関係の判定結果に応じて、前記追跡対象サンプルから抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルを判別し得る複数の画素組み合わせを選別し、追跡先画像から、複数の画像領域を抽出し、選別した画素組み合わせの前記追跡対象サンプルからの抽出位置に応じて、前記追跡先画像から抽出した各画像領域から、複数組の画素組み合わせをそれぞれ抽出し、抽出した画素組み合わせに含まれる各画素の画素値の大小関係を判定し、選別した画素組み合わせに係る大小関係、及び抽出した各画像領域の画素組み合わせに係る大小関係を基に、前記追跡対象サンプルの移動先の画像領域を決定することを特徴とする。
【００２１】
また、本発明に係るコンピュータプログラムは、時系列的に撮像された複数の画像に基づいて、該画像中の移動体の移動先を追跡する移動体追跡ステップをコンピュータに実行させるコンピュータプログラムにおいて、前記移動体追跡ステップが、前記複数の画像のうちの追跡元画像から、移動体を含む所定サイズの画像領域を追跡対象サンプルとして抽出させるステップと、前記追跡元画像から、前記追跡対象サンプルの周囲の所定サイズの画像領域を周囲サンプルとして複数抽出させるステップと、抽出した追跡対象サンプルから、複数の画素による画素組み合わせを複数組抽出させるステップと、前記追跡対象サンプルから抽出した画素組み合わせの抽出位置に応じて、前記周囲サンプルから複数組の画素組み合わせを抽出させるステップと、前記追跡対象サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係及び前記周囲サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係をそれぞれ判定させるステップと、大小関係の判定結果に応じて、前記追跡対象サンプルから抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルを判別し得る複数の画素組み合わせを選別させるステップと、前記複数の画像のうちの追跡先画像から、複数の画像領域を抽出させるステップと、選別した画素組み合わせの前記追跡対象サンプルからの抽出位置に応じて、前記追跡先画像から抽出した各画像領域から、複数組の画素組み合わせをそれぞれ抽出させるステップと、抽出した画素組み合わせに含まれる各画素の画素値の大小関係を判定させるステップと、選別した画素組み合わせに係る大小関係、及び抽出した各画像領域の画素組み合わせに係る大小関係を基に、前記移動体の移動先の画像領域を決定させるステップとを含むことを特徴とする。
【００２２】
本発明においては、時系列的に移動体が撮像された複数の画像のうちの追跡元画像から、この移動体を含む所定サイズの画像領域を追跡対象サンプルとして抽出する。また、追跡元画像における追跡対象サンプルの周囲、例えば追跡対象サンプルの上下左右に数画素ずらした画像領域を周囲サンプルとして複数抽出する。各周囲サンプルには、移動体の一部が含まれていてもよい。
次いで、抽出した追跡対象サンプルから、複数の画素による画素組み合わせ（例えば、２つ画素による画素ペア）を複数組抽出し、各画素組み合わせに含まれる画素の画素値（輝度値など）の大小関係を判定する。画素組み合わせの抽出は、例えば追跡対象サンプルの画像領域からランダムに複数の画素を選択することで行うことができるが、その他の方法で行ってもよい。同様に、抽出した複数の周囲サンプルにて、追跡対象サンプルにて抽出した画素組み合わせの抽出位置に応じて、画素組み合わせを複数組抽出し、各画素組み合わせに含まれる画素の画素値の大小関係を取得する。周囲サンプルからの画素組み合わせの抽出は、例えば追跡対象サンプルにて抽出した画素組み合わせの抽出位置と相対的に同じ位置から行うことができる。
次いで、追跡対象サンプルから抽出された複数の画素組み合わせの大小関係と、複数の周囲サンプルからそれぞれ抽出された複数の画素組み合わせの大小関係とを比較して、追跡対象サンプルと周囲サンプルとを判別し得る複数の画素組み合わせを選別する。選別された複数の画素組み合わせは、移動体の特徴を表す情報（特徴量）として用いることができる。画素値そのものでなく、画素組み合わせの画素値の大小関係を移動体の特徴量とすることによって、日照変化、日向及び日陰の混在、低コントラスト並びに移動体の部分的な重なり等に対して頑強である。また画素値の大小関係のみを判定すればよいため、識別器を学習する方法などと比較して計算量が少ない。
【００２３】
追跡元画像から選別された複数の画素組み合わせを追跡対象の移動体の特徴量とし、時系列的に撮像された複数の画像のうちの追跡先画像から、この特徴量に最も近似した特徴量を有する画像領域を探索することによって、探索の結果得られた画像領域を移動体の移動先とすることができる。詳しくは、追跡先画像から複数の画像領域を抽出し、同様にして、抽出した複数の画像領域から複数の画素組み合わせの抽出とこれらの画素組み合わせに含まれる画素の画素値の大小関係の判定とをそれぞれ行う。移動体の特徴量として選別された複数の画素組み合わせの画素値の大小関係と、追跡先画像における複数の画像領域からそれぞれ抽出された複数の画素組み合わせの画素値の大小関係とを比較し、大小関係が一致する画素組み合わせを最も多く含む画像領域を移動体の移動先とすることができる。
【００２４】
また、本発明においては、追跡対象サンプルから画素組み合わせを抽出する際に、予め定められた閾値以上の差を有する複数の画素を画素組み合わせとして抽出する。これにより、追跡対象サンプルと周囲サンプルとを判別できる可能性の高い画素組み合わせを抽出することができ、移動体の追跡精度を高めることができる。
【００２５】
また、本発明においては、移動体の特徴量として複数の画素組み合わせを選別する際に、追跡対象サンプルから所定数の画素組み合わせを含む画素組み合わせ群を複数抽出する。各画素組み合わせ群を用いて追跡対象サンプルと複数の周囲サンプルとの判別を行い、最も判別精度の高い画素組み合わせ群を選別することによって、この画素組み合わせ群に含まれる複数の画素組み合わせを移動体の特徴量とすることができる。
このように、画素組み合わせ群を複数抽出して、これらの中から最も判別精度の高い画素組み合わせ群を選別することによって、選別された画素組み合わせにより移動体と背景などとの判別を精度よく行うことができ、追跡先画像から移動体の移動先となる画像領域の判別をより精度よく行うことができる。
【００２６】
また、本発明においては、移動体の特徴量として複数の画素組み合わせを選別する際に、後段の処理に必要な数（所定数）よりも多く（所定数の数倍〜数十倍程度）の画素組み合わせを追跡対象サンプルから抽出する。これらの多くの画素組み合わせから、追跡対象サンプルと複数の周囲サンプルとの判別精度が高い画素組み合わせを上位から所定数選別する。
このように、多数の画素組み合わせから判別精度が高い所定数の画素組み合わせを選別することによって、選別された画素組み合わせにより移動体と背景などとの判別を精度よく行うことができ、追跡先画像から移動体の移動先となる画像領域の判別をより精度よく行うことができる。
【００２７】
また、例えば路上に設置したカメラにて車輌又は歩行者等の移動体を撮像する場合、カメラから移動体までの距離に応じて撮像された画像における移動体の大きさが変化する。そこで、本発明においては、追跡先画像から複数の画像領域を抽出する際に、抽出位置に応じて異なるサイズの画像領域を抽出する。これにより、移動体がカメラへ接近する方向へ移動する場合、及び、移動体がカメラから離隔する方向へ移動する場合等についても、移動体の追跡を精度よく行うことができる。
ただし、抽出する画像領域のサイズが異なると、追跡対象サンプルの特徴量（画素組み合わせの画素値の大小関係）との比較等が行いにくいため、抽出した異なるサイズの画像領域を追跡対象サンプルのサイズに調整する。
【００２８】
同様に、本発明においては、追跡先画像から複数の画像領域を抽出する際に、抽出位置に応じて異なるサイズの画像領域を抽出する。また、サイズの異なる画像領域から画素組み合わせを抽出する際には、この画像領域のサイズと追跡対象サンプルのサイズとの比率に応じて、画素組み合わせとして抽出する画素の位置を調整する。これにより、サイズの異なる画像領域から、追跡対象サンプルと相対的に同じ位置の画素を抽出することができ、各画像領域の画素組み合わせにおける画素値の大小関係と追跡対象サンプルの画素組み合わせにおける画素値の大小関係とを比較して移動体の追跡を精度よく行うことができる。
【００２９】
また、本発明においては、画像のエッジ強度を算出する画像フィルタなどを用いて、画素値がエッジ強度に変換された画像（以下、エッジ画像という）を生成する。上述のように画素組み合わせに基づいて移動体の追跡を行う際には、追跡元画像及び追跡先画像等の画像としてエッジ画像を用いる。カメラの設置環境、即ち移動体の周囲の環境などによっては、エッジ画像の方が移動体の特徴を捉えることができる可能性がある。このような場合にはエッジ画像に基づいて移動体の追跡を行うことによって、追跡精度を向上することができる。
【００３０】
また、上述の特徴量に基づく追跡処理は、カメラなどが撮像した画像から移動体の移動先を追跡する場合に行うのみでなく、例えば動画像の圧縮処理などの画像処理において、画像中の特定の画像領域の移動先を探索する処理を行う場合にも適用可能であり、このような画像処理を高精度化及び高速化することができる。
【発明の効果】
【００３１】
本発明による場合は、追跡元画像から抽出した画素組み合わせの画素値の大小関係を移動体の特徴量として、追跡先画像から抽出した複数の画像領域から最も近い特徴量を有する画像領域を探索し、この画像領域を移動体の移動先とすることにより、画素値の大小関係にて移動体が特徴づけられるため、日照変化、日向及び日陰の混在、低コントラスト並びに移動体の部分的な重なり等が生じた場合であっても、時系列的に撮像された画像から移動体の移動先を精度よく追跡することができる。また画素値の大小関係のみを比較すればよいため、移動体の追跡に要する計算量を低減することができる。よって、精度よく移動体を追跡でき、且つ、低コストの装置を提供することができる。
【図面の簡単な説明】
【００３２】
【図１】車輌追跡装置が行う処理を説明するための模式図である。
【図２】車輌追跡装置の構成を示すブロック図である。
【図３】カメラが時系列的に撮像した画像の一例を示す模式図である。
【図４】正サンプル及び負サンプルの抽出処理を説明するための模式図である。
【図５】ペア特徴の取得方法を説明するための模式図である。
【図６】ペア特徴の取得処理の手順を示すフローチャートである。
【図７】ペア特徴の取得処理の手順を示すフローチャートである。
【図８】移動先候補の抽出方法を説明するための模式図である。
【図９】移動先の追跡処理の手順を示すフローチャートである。
【図１０】変形例１に係るペア特徴の取得処理の手順を示すフローチャートである。
【図１１】変形例２に係る移動先候補からの画素ペアの抽出方法を説明するための模式図である。
【図１２】変形例３に係る車輌追跡装置の構成を示すブロック図である。
【発明を実施するための形態】
【００３３】
以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。なお、本実施の形態においては、移動体として道路上の車輌を追跡する車輌追跡装置の構成を説明するが、追跡対象の移動体は車輌に限るものではなく、例えば歩行者、二輪車、船、飛行機又は動物等のようなその他の種々の物体であってよく、少なくともカメラで撮像された画像中においてその位置が時間と共に変化するものであればよい。
【００３４】
＜車輌追跡装置＞
図１は、車輌追跡装置が行う処理を説明するための模式図である。また、図２は、車輌追跡装置の構成を示すブロック図である。図において車輌追跡装置１は、道路上を走行する車輌を追跡する装置であり、カメラ３が時系列的に撮像した画像（即ち、動画像）に基づいて車輌の移動先を追跡する処理を行う。
【００３５】
カメラ３は、道路を含む所定の領域（図１において一点鎖線で示す撮像領域）を撮像すべく、所定の高さ、俯角及び回転角等の撮像条件が設定された状態で道路付近の所要の地点に設置される。カメラ３は、連続的（時系列的）に道路上の撮像を行い、撮像した画像を車輌追跡装置１へ与える。車輌追跡装置１は、カメラ３が撮像した一の画像から車輌を検出し、後の画像（追跡先画像）における車輌の移動先を探索することによって車輌の追跡を行い、他の車輌へ無線通信により追跡車輌に係る情報提供を行う。
【００３６】
例えば図１においては、２つの道路の交差点にて、一方の道路を撮像すべくカメラ３が設置されており、車輌追跡装置１は、カメラ３の撮像領域内に存在する車輌Ｃ１を追跡する。車輌追跡装置１は、車輌Ｃ１の追跡結果から、車輌Ｃ１の走行方向及び走行速度等を判断し、これらの情報を無線通信により他方の道路に存在する車輌Ｃ２、Ｃ３へ通知する。これにより、見通しの悪い交差点などにおいて、車輌Ｃ２、Ｃ３の運転者は、交差する道路に他の車輌Ｃ１が走行していることを認識でき、徐行又は一時停止等の安全運転を行うことができる。
【００３７】
車輌追跡装置１は、制御部１１、画像入力部１２、Ａ／Ｄ変換部１３、画像メモリ１４、通信部１５、記憶部１６及びＲＯＭ（Read Only Memory）１７等を備えて構成されている。車輌追跡装置１は、カメラ３と共に道路付近に設置され、映像信号の入出力を行うためのケーブルを介してカメラ３に接続されている。なお図２においては、車輌追跡装置１とカメラ３とを別個の装置としてあるが、これに限るものではなく、両者が一体をなす構成であってもよい。
【００３８】
制御部１１は、具体的にはＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）等の演算処理装置と、ＲＯＭ（Read Only Memory）などの記憶素子とを備えて構成されるものであり、予め記憶されたコンピュータプログラムを実行することによって、車輌追跡装置１の各部の動作を制御し、種々の処理を行うことができる。特に本実施の形態においては、制御部１１は、ＲＯＭ１７に予め記憶された車輌追跡プログラム４０を実行することにより、カメラ３が時系列的に撮像した画像に基づいて車輌の移動先を追跡する処理を行う。
【００３９】
カメラ３は、動画像の撮像を行う所謂ビデオカメラであり、例えば１フレームあたり２４０×３２０画素の画像を１秒間に３０フレーム撮像することによって動画像の撮像を行い、撮像画像を１フレーム毎に車輌追跡装置１へ出力する。なおカメラ３は、撮像して得られた画像をアナログの画像信号として車輌追跡装置１へ出力し（ただし、カメラ３がデジタルの画像信号を出力する構成であってもよい）、この画像信号は車輌追跡装置の画像入力部１２へ入力される。
【００４０】
図３は、カメラ３が時系列的に撮像した画像の一例を示す模式図であり、（ａ）に先の時刻にて撮像された画像を示し、（ｂ）に後の時刻にて撮像された画像を示してある。カメラ３を所定条件（設置位置及び設置方向等の条件）で道路付近に設置することによって、図３に示すようにカメラ３は道路及びその周辺の撮像を行うことができる。またカメラ３が１秒間に３０フレームの撮像を行うことによって、道路を走行する車輌を複数画像に亘って撮像することができ、図３に示す例ではカメラ３へ近づく方向へ走行する１台の車輌が２つの画像に亘って撮像されている。なお本実施の形態においては、撮像画像のサイズを２４０×３２０画素とするが、これに限定されるものではない。
【００４１】
車輌追跡装置１の画像入力部１２は、画像信号入出力用のケーブルを接続する接続端子などを有しており、カメラ３から入力される画像信号を取得してＡ／Ｄ変換部１３へ出力する。Ａ／Ｄ変換部１３は、画像入力部１２から入力されたアナログの画像信号をデジタル信号に変換し、変換したデジタル信号を画像データとして画像メモリ１４へ記憶する。画像入力部１２を介してカメラ３から入力された撮像画像は、カメラ３のフレームレート（撮像を行う間隔）に同期して１フレーム単位の画像データとして画像メモリ１４に記憶される。画像メモリ１４は、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＲＡＭ（Static Random Access Memory）等のメモリ素子により構成され、多数の画像データを記憶可能な記憶容量を有している。
【００４２】
通信部１５は、狭域通信機能、ＵＨＦ（Ultra High Frequency）帯又はＶＨＦ（Very High Frequency）帯等の無線ＬＡＮ（Local Area Network）などの中域通信機能、及び携帯電話、ＰＨＳ（Personal Handyphone System）、多重ＦＭ（Frequency Modulation）放送又はインターネット通信等の広域通信機能を備える。通信部１５は、カメラ３の撮像領域内及びその付近に存在する車輌から所定の車輌情報（例えば、車輌の位置情報、車速情報、車種情報、ワイパーの動作状況及びヘッドライトなどの車灯の動作状況を示す情報等）を受信する。また通信部１５は、カメラ３の撮像画像から検出された車輌に係る情報を提供すべく、付近に存在する車輌へ情報送信を行う。更に通信部１５は、交通管制センターなどに設置されたサーバ装置、及び他の車輌追跡装置との間で所定の情報の送受信を行うことができる。
【００４３】
記憶部１６は、ＳＲＡＭ（Static Random Access Memory）若しくはＤＲＡＭ（Dynamic Random Access Memory）等のメモリ素子、又はハードディスクなどの磁気記憶装置にて構成され、通信部１５にて受信されたデータ及び後述の車輌追跡処理を制御部１１が行う演算過程で発生した種々のデータ等を記憶する。
【００４４】
ＲＯＭ１７は、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）又はフラッシュメモリ等の不揮発性のメモリ素子で構成され、車輌追跡プログラム４０を含む車輌追跡装置１の動作に必要な種々のコンピュータプログラムが予め記憶されている。車輌追跡プログラム４０には、車輌検出手段４１、正サンプル抽出手段４２、負サンプル抽出手段４３、ペア特徴取得手段４４、移動先候補抽出手段４５及び移動先決定手段４６等として制御部１１を機能させるコードが含まれている。これらの各手段のコードは、車輌追跡プログラム４０のサブルーチン、関数又はサブプログラム等として実現することができる。
【００４５】
車輌追跡プログラム４０による車輌検出手段４１は、カメラ３が撮像した１つの画像から、この画像中に存在する車輌を検出する処理を行うものである。車輌検出手段４１による車輌検出の方法は、例えば予め多数の車輌サンプルから取得した特徴量を基にＳＶＭ（Support Vector Machine）の手法による車輌の識別器を生成しておき、この識別器を用いて車輌を検出することができる。ただし車輌検出の方法はこれに限るものではなく、既存の種々の技術を利用することができる。
【００４６】
また、車輌追跡装置１及び車輌追跡プログラム４０は、カメラ３の撮像画像から検出された車輌を追跡する処理を行うものであるが、車輌検出の処理は必ずしも自らが行う必要はなく、他の装置又は他のプログラムが行った車輌検出の処理結果を取得して車輌の追跡処理を行う構成であってもよい（即ち、車輌追跡装置１が車輌検出手段４１を備えない構成であってもよい）。このため、本実施の形態においては、車輌検出の処理の詳細についての説明を省略する。
【００４７】
本実施の形態に係る車輌追跡装置１及び車輌追跡プログラム４０は、カメラ３の撮像画像から検出された車輌について、本願発明者が新たに見出した”ペア特徴”という特徴量を取得し、このペア特徴に基づいて時系列的に後の画像（追跡先画像）から車輌の撮像位置を特定することによって、車輌の移動先を追跡する処理を行うものである。以下に、ペア特徴に基づく車輌追跡方法の詳細を説明する。
【００４８】
＜ペア特徴に基づく車輌追跡方法＞
本実施の形態の車輌追跡方法では、カメラ３が時系列的に撮像したｔ番目の画像Ｖt （追跡元画像）から追跡対象の車輌を含む画像領域を抽出し、この画像領域に最も類似する画像領域をｔ＋１番目の画像Ｖt+1 （追跡先画像）から探索することによって、車輌の追跡を行う。なお、ｔ番目の画像Ｖt における追跡対象の車輌の位置及び大きさ等の情報は、上述のように車輌検出手段４１による車輌検出結果を用いてもよく、又は、ｔ−１番目の画像Ｖt-1 に基づいて車輌追跡を行った結果を用いてもよい。
【００４９】
車輌追跡処理においては、まず、ｔ番目の画像Ｖt から車輌を含む追跡対象の画像領域を正サンプル（追跡対象サンプル）Ｉt として１つ抽出すると共に、正サンプルＩt の周囲から複数（Ｆ個とする）の負サンプル（周囲サンプル）Ｊt1、…、ＪtFを抽出する処理を行う。なお、正サンプルＩt 及び負サンプルＪt1、…、ＪtFの抽出処理は、車輌追跡プログラム４０の正サンプル抽出手段４２及び負サンプル抽出手段４３によりそれぞれ行われる処理である。
【００５０】
図４は、正サンプルＩt 及び負サンプルＪt1、…、ＪtFの抽出処理を説明するための模式図である。図４（ａ）には、上述の図３（ａ）に一例として示した画像に対して、正サンプルＩt として抽出する画像領域を矩形枠で示してある。正サンプル抽出手段４２は、ｔ−１番目の画像Ｖt-1 に基づく追跡処理の処理結果又は車輌検出手段４１による車輌検出処理の処理結果を取得し、これらの処理結果に応じて正サンプルＩt の抽出位置及び抽出サイズを決定する。なお、カメラ３の撮像画像中における車輌のサイズは、車輌の位置に応じて変化するため、正サンプルＩt のサイズも抽出位置に応じて変化してよい。
【００５１】
次いで、正サンプルＩt の周囲からＦ個の負サンプルＪt1、…、ＪtFを負サンプル抽出手段４３が抽出する。負サンプル抽出手段４３が抽出する各負サンプルＪt1、…、ＪtFは、正サンプルＩt と同じサイズの画像領域であり、撮像画像中において正サンプルＩt から上下左右に所定画素の範囲から、複数の負サンプルＪt1、…、ＪtFを抽出することができる。例えば、正サンプルＩt から上下左右に５画素の範囲（１１画素×１１画素の範囲）から、１画素ずつずらして負サンプルＪt1、…、ＪtFを抽出する場合、Ｆ＝１１×１１−１＝１２０個の負サンプルＪt1、…、ＪtFを正サンプルＩt の周囲から抽出することができる。
【００５２】
正サンプルＩt 及び負サンプルＪt1、…、ＪtFを抽出した後、これらの正サンプルＩt と負サンプルＪt1、…、ＪtFとを区別し得る特徴量として、正サンプルＩt からペア特徴取得手段４４がペア特徴の取得を行う。図５は、ペア特徴の取得方法を説明するための模式図である。
【００５３】
ペア特徴を取得するために、まず、正サンプルＩt から所定数の画素ペア（画素組み合わせ）を抽出する。画素ペアは、正サンプルＩt からランダムに抽出した２つの画素のうち、その輝度値（画素値）の差が閾値Ｔp 以上のものである。一例として、図５（ａ）には、８画素×８画素の正サンプルＩt から抽出した５つの画素ペアを示しており、実線の矢印で結ばれた２つの画素が画素ペアである。また図５（ａ）では、画素ペアのうち輝度値が大きい画素を白抜きの四角形で示し、輝度値が小さい画素をハッチング付きの四角形で示してある。各画素ペアには、第１の画素ｐ（図中の矢印の始点側の画素）の輝度値が第２の画素ｑ（図中の矢印の終点側の画素）の輝度値より大きいものにラベル”１”を付し、第１の画素ｐの輝度値が第２の画素ｑの輝度値より小さいものにラベル”−１”を付す。
【００５４】
詳しくは、以下の通りである。正サンプルＩt 及び負サンプルＪt1、…、ＪtFのサイズをＷ画素×Ｈ画素とした場合、正サンプルＩt 及び負サンプルＪt1、…、ＪtFに含まれる各画素の座標は、下記の（１−１）式に示すグリッドΓの格子点として表される。これにより、Ｗ画素×Ｈ画素の画像領域は、グリッドΓ上の輝度関数とみなすことができる。
【００５５】
【数１】
【００５６】
ここで、正サンプルＩt をグリッドΓとみなし、グリッドΓ上の格子点から抽出した任意のペア（ｐ、ｑ）に対して、ｐｐｆ（ｐ→ｑ；Ｔp ）という値を下記の（１−２）式で定義する。なお（１−２）式において、Ｉ（ｐ）及びＩ（ｑ）は正サンプルＩt における画素ｐ及び画素ｑの輝度値であり、Ｔp （＞０）は輝度差の閾値である。（１−２）式のｐｐｆ（ｐ→ｑ；Ｔp ）は、正サンプルＩt の画素ペア（ｐ、ｑ）の大小関係を表している。
【００５７】
【数２】
【００５８】
正サンプルＩt からの画素ペアの抽出は、（１−２）式においてｐｐｆ（ｐ→ｑ；Ｔp ）≠Φとなるようにペア（ｐ、ｑ）を抽出すればよい。１つの正サンプルＩt から抽出できる画素ペアは無数に存在するため、抽出する画素ペアの数をＮ個（Ｎ組）に制限する。ここで、ポリシーｓに従ってランダムに抽出された画素ペア（ｐ、ｑ）のセットＲＰs を、下記の（１−３）式で定義する。
【００５９】
【数３】
【００６０】
以上のようにして正サンプルＩt からＮ個の画素ペアを抽出した後、同様にして、負サンプルＪt1、…、ＪtFからそれぞれＮ個の画素ペアを抽出する。正サンプルＩt 及び負サンプルＪt1、…、ＪtFは同じサイズであり、負サンプルＪt1、…、ＪtFからの画素ペアの抽出は、正サンプルＩt から抽出した画素ペアと相対的に同じ位置の画素ペアを抽出することで行う（図５（ｂ）参照）。ここで、負サンプルＪt1、…、ＪtFから抽出した画素ペアに対して、ラベルｂ（ｐ→ｑ）を下記の（１−４）式で定義する。なお（１−４）式において、Ｊ（ｐ）及びＪ（ｑ）は一の負サンプルＪt1、…、ＪtFにおける画素ｐ及び画素ｑの輝度値である。ラベルｂ（ｐ→ｑ）は、負サンプルＪt1、…、ＪtFの画素ペア（ｐ、ｑ）の大小関係を表している。
【００６１】
【数４】
【００６２】
上述の（１−２）式では、正サンプルＩt から抽出した画素ペア（ｐ、ｑ）について、画素ｐの輝度値が画素ｑの輝度値より閾値Ｔp 以上に大きい場合にｐｐｆ（ｐ→ｑ；Ｔp ）＝１とし、画素ｐの輝度値が画素ｑの輝度値より閾値Ｔp 以上に小さい場合にｐｐｆ（ｐ→ｑ；Ｔp ）＝−１とした。同様に上述の（１−４）式では、負サンプルＪt1、…、ＪtFから抽出した画素ペア（ｐ、ｑ）について、画素ｐの輝度値が画素ｑの輝度値より大きい場合にｂ（ｐ→ｑ）＝１とし、画素ｐの輝度値が画素ｑの輝度値より小さい場合にｂ（ｐ→ｑ）＝−１とした。ｐｐｆ（ｐ→ｑ；Ｔp ）及びｂ（ｐ→ｑ）は、画素ｐ及び画素ｑの輝度値の大小関係を表す値であり、正サンプルＩt 及び負サンプルＪt1、…、ＪtFの対応する画素ペア（ｐ、ｑ）についてｐｐｆ（ｐ→ｑ；Ｔp ）及びｂ（ｐ→ｑ）の値を比較することによって、正サンプルＩt 及び負サンプルＪt1、…、ＪtFが類似するか否かを判断する指標とすることができる。そこで、ＲＰs に含まれる各画素ペア（ｐ、ｑ）について、個別の類似度ｒ（ｐ、ｑ、Ｊ）を下記の（１−５）式で定義する。
【００６３】
【数５】
【００６４】
この（１−５）式によれば、ｐｐｆ（ｐ→ｑ；Ｔp ）＝ｂ（ｐ→ｑ）が成立する場合、即ち正サンプルＩt から抽出した画素ペア（ｐ、ｑ）の輝度値の大小関係と、対応する負サンプルＪt1、…、ＪtFの画素ペア（ｐ、ｑ）の輝度値の大小関係とが一致する場合、画素ペア（ｐ、ｑ）の個別の類似度ｒ（ｐ、ｑ、Ｊ）の値を”１”とすることができる。またｐｐｆ（ｐ→ｑ；Ｔp ）≠ｂ（ｐ→ｑ）の場合、即ち正サンプルＩt から抽出した画素ペア（ｐ、ｑ）の輝度値の大小関係と、対応する負サンプルＪt1、…、ＪtFの画素ペア（ｐ、ｑ）の輝度値の大小関係とが一致しない場合、画素ペア（ｐ、ｑ）の個別の類似度ｒ（ｐ、ｑ、Ｊ）の値を”０”とすることができる。
【００６５】
そこで、抽出した画素ペア（ｐ、ｑ）のセットＲＰs を用いて正サンプルＩt 及び一の負サンプルＪt1、…、ＪtFを判別した場合に、正サンプルＩt 及び一の負サンプルＪt1、…、ＪtFの類似度ｃs （Ｉ、Ｊ、ＲＰs ）を下記の（１−６）式で定義する。
【００６６】
【数６】
【００６７】
よって、（１−６）式の類似度ｃs （Ｉ、Ｊ、ＲＰs ）の値が小さくなるように、画素ペア（ｐ、ｑ）を選別することによって、正サンプルＩt 及び負サンプルＪt1、…、ＪtFをより精度よく判別することができる画素ペア（ｐ、ｑ）を取得することができる。このようにして取得された複数の画素ペア（ｐ、ｑ）及びその大小関係（ｐｐｆ（ｐ→ｑ；Ｔp ）の値)を”ペア特徴”として用いることができる。
【００６８】
次に、正サンプルＩt 及び負サンプルＪt1、…、ＪtFを判別し得る特徴的な画素ペア（ペア特徴）を選別する方法を説明する。ペア特徴は、正サンプルＩt 及び負サンプルＪt1、…、ＪtFの間の判別基準を最大化するように選択される。この判別基準は、下記の３つの条件から定められる。
・ペア特徴の値は２値（＋ｖ又は−ｖ）であること
・正サンプルは１つであること
・負サンプルの数（Ｆ）が大きいこと
これらの条件から、正サンプルｐ及び負サンプルｎi を下記の（２−１）式で定義する。
【００６９】
【数７】
【００７０】
負サンプルの数が十分に大きく、Ｆ＞＞１が成立すると仮定すれば、全体の平均値μT は、負サンプルの平均値μn にほぼ等しい。そこで、ｎi ＝−ｖの負サンプルの数をｍ個とすれば、下記の（２−２）式が成立する。
【００７１】
【数８】
【００７２】
また、全体の分散σT2と、正サンプル及び負サンプルのクラス間分散σB2とは、下記の（２−３）式及び（２−４）式でそれぞれ表される。
【００７３】
【数９】
【００７４】
よって、上述の判別基準は、正サンプル及び負サンプルのクラス間分散σB2と全体の分散σT2との比で表され、下記の（２−５）式で定義される。
【００７５】
【数１０】
【００７６】
この（２−５）式は、負サンプルの分散の最小化が判別基準の最大化に相当することを示している。そこで、上記の（２−２）式を用いて、負サンプルの分散を置き換えると、下記の（２−６）式となる。
【００７７】
【数１１】
【００７８】
この（２−６）式において、負サンプルの分散が最小値の０となるのは、ｍ＝０又はＦ＝ｍの場合である。ただし、ｍ＝０は全ての負サンプルが正サンプルと同じ値であることを意味しているため、正サンプル及び負サンプルの判別は不可能である。よってｍ＝Ｆの場合に、判別基準が１に最大化され、正サンプル及び負サンプルの類似度が０に最小化される。また、上述の（１−６）式に示した類似度ｃs （Ｉ、Ｊ、ＲＰs ）を最小化することは、上記の判別基準を最大化することに等しく、更には下記の（３）式で表される類似度の合計値Ｃmin を最小化することに等しい。
【００７９】
【数１２】
【００８０】
なお、上記の（３）式において、Ｃmin 、ｃmin 及びＲＰmin は、各画素ペアの個別の類似度を最小化するというポリシーに基づいて選別されたものである。
【００８１】
ここで、画素ペアを選別する３つの方法が考えられる。
１）類似度ｃs がある閾値より小さくなるまで、ランダムに画素ペアを生成して、ペア特徴を集める方法。
２）必要数以上の画素ペアをランダムに生成し、類似度ｃs が小さいものから必要数の画素ペアを選別する方法。
３）画素ペアのセットをランダムに所定数生成し、類似度Ｃs が最も小さいセットを選別する方法。
本実施の形態においては３番目の方法を用いるが、この方法に限定するものではなく、１番目又は２番目の方法を用いてもよい。
【００８２】
図６及び図７は、ペア特徴の取得処理の手順を示すフローチャートであり、車輌追跡装置１の制御部１１が車輌追跡プログラム４０を実行することにより行う処理である。車輌追跡装置１の制御部１１は、まず、カメラ３が撮像したｔ番目の画像Ｖt （追跡元画像）を取得して、車輌検出処理の結果又はｔ−１番目の車輌追跡処理の結果に基づいて追跡対象の車輌の位置及びサイズ等を特定し、追跡対象を含む画像領域を正サンプルＩt として抽出する（ステップＳ１）。次いで制御部１１は、抽出した正サンプルＩt から、輝度値の差分が閾値Ｔp 以上の２つの画素（画素ペア）をランダムにＮ組抽出する（ステップＳ２、図５（ａ）参照）。
【００８３】
次いで、制御部１１は、ｔ番目の画像Ｖt における正サンプルＩt の周囲から、負サンプルＪt を１つ抽出し（ステップＳ３、図４参照）、抽出した負サンプルＪt から、ステップＳ２にて正サンプルＩt から抽出した画素ペアに対応する位置の画素ペアを抽出する（ステップＳ４、図５（ｂ）参照）。次いで制御部１１は、各画素ペアについての個別類似度ｒ（ｐ、ｑ、Ｊ）を上述の（１−５）式に基づいて算出し、Ｎ個の画素ペアの個別類似度を加算することにより、Ｎ個の画素ペアによって判断される正サンプルＩt 及び負サンプルＪt の類似度ｃs （Ｉ、Ｊ、ＲＰs ）を上述の（１−６）式に基づいて算出する（ステップＳ５）。
【００８４】
なおステップＳ３〜Ｓ６の処理は、画像Ｖt から抽出されるＦ個の負サンプルＪt1、…、ＪtFについてそれぞれ繰り返し行われる処理である。各負サンプルＪt についてステップＳ５の類似度ｃs （Ｉ、Ｊ、ＲＰs ）を算出した後、制御部１１は、算出済みの各負サンプルＪt の類似度の合計を算出する（ステップＳ６）。その後、制御部１１は、Ｆ個の負サンプルＪt1、…、ＪtFの全てについて類似度の算出とその合計の算出との処理を終了したか否かを判定し（ステップＳ７）、全ての負サンプルＪt1、…、ＪtFについて処理を終了していない場合には（Ｓ７：ＮＯ）、ステップＳ３へ処理を戻して、上述のステップＳ３〜Ｓ６の処理を繰り返し行う。
【００８５】
また制御部１１は、正サンプルＩt からＮ個の画素ペアの抽出を所定回数繰り返し行って、各回で類似度の合計を算出している。そこで制御部１１は、全ての負サンプルＪt1、…、ＪtFについて処理を終了した場合（Ｓ７：ＹＥＳ）、ステップＳ６にて算出した類似度の合計が、以前に算出した類似度の合計と比較して、最小値であるか否かを判定する（ステップＳ８）。類似度の合計が最小値の場合（Ｓ８：ＹＥＳ）、制御部１１は、ステップＳ２にて抽出されたＮ個の画素ペア（即ち、この類似度の算出に用いられたＮ個の画素ペア）を保持し（ステップＳ９）、以前に保持した画素ペアは破棄して、ステップＳ１０へ処理を進める。また類似度の合計が最小値でない場合（Ｓ８：ＮＯ）、制御部１１は、ステップＳ２にて抽出されたＮ個の画素ペアを保持せずに、ステップＳ１０へ処理を進める。
【００８６】
次いで、制御部１１は、上述のステップＳ２〜Ｓ９の処理を所定回数反復したか否かを判定し（ステップＳ１０）、所定回数反復していない場合には（Ｓ１０：ＮＯ）、ステップＳ２へ処理を戻し、ステップＳ２〜Ｓ９の処理を繰り返して行う。ステップＳ２〜Ｓ９の処理を所定回数反復した場合（Ｓ１０：ＹＥＳ）、制御部１１は、ペア特徴の取得処理を終了する。なお、ステップＳ２〜Ｓ９の処理の反復において、最終的にステップＳ９にて保持されたＮ個の画素ペアが、正サンプルＩt のペア特徴となり、後段の処理で用いられる。
【００８７】
カメラ３が撮像したｔ番目の画像Ｖt から追跡対象の車輌のペア特徴を取得した後、車輌追跡装置１は、カメラ３が撮像したｔ＋１番目の画像Ｖt+1 における追跡対象の移動先を探索する。移動先の探索処理において、まず車輌追跡装置１は、ｔ＋１番目の画像Ｖt+1 から移動先の候補となる多数の画像領域を抽出する。この処理は、車輌追跡プログラム４０の移動先候補抽出手段４５により行われる処理である。
【００８８】
図８は、移動先候補の抽出方法を説明するための模式図である。車輌追跡装置１は、カメラ３が撮像したｔ＋１番目の画像Ｖt+1 から、水平方向及び垂直方向に１画素又は数画素ずつ移動させながら、矩形の画像領域を移動先候補として順に抽出する（図８（ａ）参照）。このときに抽出する画像領域のサイズは、その抽出位置に応じて決定される。図示の例では、画像Ｖt+1 の上側では小さいサイズの画像領域が抽出され、下側では大きいサイズの画像領域が抽出される。抽出する画像領域のサイズ変化は、カメラ３にて撮像される画像中の遠近に対応して定まるものであるため、道路上におけるカメラ３の設置位置及び撮像方向等により、カメラ３毎に適切なサイズ変化を設定することができる。
【００８９】
また図示の例では、移動先候補の画像領域を抽出する範囲を、画像Ｖt+1 内における道路上のみに限定している。このように、車輌が移動する可能性が低い範囲を除外して移動先候補の抽出範囲を限定することによって、車輌の追跡処理に要する計算量を低減できる。画像中における道路の範囲は、カメラ３の設置位置及び撮像方向等に応じて、予め適切に設定することができる。
【００９０】
また図示の例では、画像Ｖt+1 内における全ての道路上を移動先候補の抽出範囲としているが、これに限るものではない。例えば車輌が画像Ｖt+1 の上側から下側へ移動する（車輌がカメラ３へ接近する）ことが予め判明している場合、移動先候補の抽出範囲をｔ番目の画像Ｖt にて正サンプルＩt を抽出した位置より下側に限定することができる。車輌の移動方向は、例えば、カメラ３が撮像する道路の法律上定められた車輌の移動方向を基に決定することができ、また例えば、以前の車輌追跡の結果から車輌の移動方向及び移動速度等を予測して決定することができる。
【００９１】
車輌追跡装置１は、ｔ＋１番目の画像Ｖt+1 から抽出した複数の移動先候補のうち、ｔ番目の画像Ｖt の正サンプルＩt に最も類似する移動先候補をペア特徴に基づいて探索することにより、車輌の移動先を探索する。ただし、上述のように抽出する移動先候補のサイズは様々であり、正サンプルＩt のサイズと移動先候補のサイズとが異なると類似の判定が困難化するため、車輌追跡装置１は、ｔ＋１番目の画像Ｖt+1 から抽出した移動先候補のサイズを正サンプルＩt と同じサイズに調整する処理を行う（図８（ｂ）参照）。車輌追跡装置１は、移動先候補のサイズが正サンプルＩt のサイズより大きい場合、移動先候補を縮小する画像処理を行い、また、移動先候補のサイズが正サンプルＩt より小さい場合、移動先候補を拡大する画像処理を行えばよい。
【００９２】
移動先候補のサイズ調整を行った後、車輌追跡装置１は、正サンプルＩt のペア特徴として抽出された複数の画素ペアと同じ位置から、移動先候補の画素ペアを抽出する。正サンプルＩt のペア特徴（画素ペア）と、移動先候補から抽出した画素ペアとを用いて、上述の（１−６）式により正サンプルＩt と移動先候補との類似度を算出することができる（即ち、（１−６）式において負サンプルを移動先候補に置き換えればよい）。車輌追跡装置１は、ｔ＋１番目の画像Ｖt+1 から抽出した複数の移動先候補について、それぞれ正サンプルＩt との類似度を算出し、最も類似度が大きい移動先候補を追跡対象の車輌の最終的な移動先に決定する。これらの処理は、車輌追跡プログラム４０の移動先決定手段４６により行われる処理である。
【００９３】
図９は、移動先の追跡処理の手順を示すフローチャートであり、車輌追跡装置１の制御部１１が車輌追跡プログラム４０を実行することにより行う処理である。車輌追跡装置１の制御部１１は、まず、カメラ３にて撮像されたｔ＋１番目の画像Ｖt+1 を取得して、この画像Ｖt+1 から一の移動先候補を抽出し（ステップＳ２１、図８（ａ）参照）、抽出した移動先候補のサイズをｔ番目の画像Ｖt から抽出した正サンプルＩt と同じサイズに調整する（ステップＳ２２、図８（ｂ）参照）。
【００９４】
次いで制御部１１は、サイズを調整した移動先候補から、正サンプルＩt のペア特徴として抽出した画素ペアと同数且つ同位置となるように、複数の画素ペアを抽出し（ステップＳ２３）、正サンプルＩt の画素ペアと移動先候補の画素ペアとを基に、正サンプルＩt 及び移動先候補の類似度を算出する（ステップＳ２４）。
【００９５】
制御部１１は、ｔ＋１番目の画像Ｖt+1 からの移動先候補の抽出及び類似度の算出等を複数回繰り返し行っている。そこで制御部１１は、ステップＳ２４にて算出した類似度が、以前に算出した類似度と比較して、最大値であるか否かを判定する（ステップＳ２５）。類似度が最大の場合（Ｓ２５：ＹＥＳ）、制御部１１は、ステップＳ２１にて抽出した移動先候補に係る情報（例えば移動先候補の抽出位置及び抽出サイズ等の情報）を保持し（ステップＳ２６）、以前の情報を破棄して、ステップＳ２７へ処理を進める。類似度が最大でない場合（Ｓ２５：ＮＯ）、制御部１１は、移動先候補に係る情報を保持することなく破棄して、ステップＳ２７へ処理を進める。
【００９６】
次いで、制御部１１は、ｔ＋１番目の画像Ｖt+1 から抽出すべき全ての移動先候補について、上述のステップＳ２１〜Ｓ２６の処理を終了したか否かを判定し（ステップＳ２７）、全ての移動先候補について処理を終了していない場合には（Ｓ２７：ＮＯ）、ステップＳ２１へ処理を戻し、上述の処理を繰り返し行う。全ての移動先候補について処理を終了した場合（Ｓ２７：ＹＥＳ）、制御部１１は、移動先の追跡処理を終了する。
【００９７】
なお、ステップＳ２１〜Ｓ２７の処理の繰り返しにおいて、最終的にステップＳ２６にて保持された情報に係る移動先が、ｔ番目の画像Ｖt の正サンプルＩt の移動先、即ち車輌の移動先と決定される。また、ｔ＋１番目の画像Ｖt+1 にて決定された移動先は、ｔ＋２番目の画像Ｖt+2 における移動先の追跡処理を行う場合に、正サンプルＩt+1 として用いることができる。
【００９８】
ここで、ｔ番目の画像Ｖt 、ｔ＋１番目の画像Ｖt+1 、ｔ＋２番目の画像Ｖt+2 …のように連続する複数の画像で車輌の追跡処理を順次行う場合、以下の２つの方法を用いることができる。
１）ｔ番目の画像Ｖt の正サンプルＩt からペア特徴を取得してｔ＋１番目の画像Ｖt+1 にて移動先を探索し、この移動先をｔ＋１番目の画像Ｖt+1 の正サンプルＩt+1 としてペア特徴を取得してｔ＋２番目の画像Ｖt+2 にて移動先を探索する…というように、ペア特徴の取得と移動先の探索とを繰り返し行う方法。
２）ｔ番目の画像Ｖt の正サンプルＩt からペア特徴を取得してｔ＋１番目の画像Ｖt+1 にて移動先を探索すると共に、ｔ＋１番目の画像Ｖt+1 にて正サンプルＩt+1 からのペア特徴の取得を行わずに、ｔ番目の画像Ｖt の正サンプルＩt から取得したペア特徴を用いてｔ＋２番目の画像Ｖt+2 にて移動先を探索する…というように、最初の画像から取得したペア特徴を用いて以降の画像における移動先の探索を行う方法。
【００９９】
車輌追跡装置１は、上記のいずれの方法を用いて連続する複数の画像での車輌追跡を行ってもよく、いずれの方法を用いるかは車輌追跡装置１に求められる追跡精度、処理速度及び装置のコスト等の要因に応じて適宜に選択すればよい。上記の２つの方法を比較すると、１番目の方法は追跡精度が高いが処理速度が遅く、２番目の方法は追跡精度が低いが処理速度は速いという特徴がある。なお、上記の２番目の方法においては、移動先の追跡結果に応じて、最初の画像から取得したペア特徴の修正を行うことによって、追跡精度を向上することができる。ペア特徴の修正は、例えばｔ番目の画像Ｖt から正サンプルＩt のペア特徴として抽出された画素ペアと、ｔ＋１番目の画像Ｖt+1 の移動先とされた画像領域から抽出されたペア特徴とを比較して、大小関係が一致しない画素ペアを大小関係が一致する画素ペアに入れ替えることで行うことができる。
【０１００】
以上の構成の車輌追跡装置１及び車輌追跡プログラム４０においては、ｔ番目の画像Ｖt （追跡元画像）から車輌を含む正サンプルＩt を抽出して、この正サンプルＩt から複数の画素ペア（画素組み合わせ）を抽出すると共に、正サンプルＩt の周囲から複数の負サンプルＪt1、…、ＪtFを抽出して、各負サンプルＪt1、…、ＪtFから複数の画素ペアをそれぞれ抽出し、画素ペアの輝度値（画素値）の大小関係に基づいて正サンプルＩt と負サンプルＪt1、…、ＪtFとの判別精度が高い（判別を行った際の類似度が低い）画素ペアをペア特徴として取得し、ペア特徴を用いて車輌の追跡を行う。このペア特徴は、画素ペアの輝度値の大小関係に着目した特徴量であり、例えば日照変化により画像の明るさなどが変化した場合、又は車輌が日向から日蔭へ移動した場合等に、画像中の車輌の輝度値が変化しても、輝度値の大小関係は変化しないため、車輌の追跡を精度よく行うことができる。またカメラ３が撮像する画像のコントラストが低い場合であっても、車輌の追跡を精度よく行うことができるため、カメラ３の撮像により得られる画像がカラー画像でなく白黒画像であっても車輌の追跡を行うことができる。また、１つの正サンプルＩt に対して画素ペアを複数抽出するため、追跡対象の車輌の一部分が他車輌に隠れた場合などであっても、他車輌に隠れていない部分から抽出した画素ペアの情報を基に車輌の追跡を行うことができる。またペア特徴を用いた車輌追跡処理では、画素ペアの輝度値の大小関係を比較して大小関係の一致／不一致を判断するのみでよく、識別器を用いて識別処理する方法などと比較して、処理に要する計算量が少ないため、車輌追跡装置１に高い処理能力が要求されず、車輌追跡装置１の低コスト化に寄与することができる。
【０１０１】
また、正サンプルＩt からのＮ個の画素ペア（画素組み合わせ群）の抽出を複数回行い、正サンプルＩt と負サンプルＪt1、…、ＪtFとの判別精度が最も高い（類似度が最も低い）Ｎ個の画素ペアのセットを選別してペア特徴とすることにより、車輌と背景などとの判別度がより高いペア特徴を取得することができ、車輌の追跡精度を向上することができる。
【０１０２】
また、正サンプルＩt から複数の画素ペアを抽出する際に、輝度値の差が閾値Ｔp 以上の２つの画素を抽出することにより、ペア特徴として用いる画素ペアの候補として、正サンプルＩt と負サンプルＪt1、…、ＪtFとを判別できる可能性の高い画素ペアを予め抽出することができ、車輌の追跡精度を向上することができる。
【０１０３】
また、ｔ＋１番目の画像Ｖt+1 （追跡先画像）から移動先候補として画像領域を抽出する場合に、画像中の抽出位置に応じて異なるサイズの画像領域を抽出し、抽出した画像領域を正サンプルＩt と同じサイズに調整することにより、道路上におけるカメラ３の設置位置及び撮像方向等により変化する撮像画像中の移動体のサイズに適した移動先候補の抽出を行うことができ、車輌の追跡を精度よく行うことができる。
【０１０４】
なお、本実施の形態においては、ｔ番目の画像Ｖt の正サンプルＩt から抽出した２つの画素の大小関係に基づくペア特徴を用いて車輌追跡処理を行う構成としたが、これに限るものではなく、正サンプルＩt から３つ以上の画素を抽出し、これら複数の画素間の大小関係に基づく特徴を用いて車輌追跡処理を行ってもよい。また、正サンプルＩt から画素ペアを抽出する際に、輝度値の差が閾値Ｔp 以上の２つの画素を抽出する構成としたが、このときに用いる閾値Ｔp は固定値である必要はなく、例えばカメラ３が撮像した画像の明るさ又はコントラスト等に応じて閾値Ｔp を変化させてもよい。
【０１０５】
また、画像中の移動体として車輌を追跡する構成としたが、追跡対象は車輌に限るものではなく、二輪車又は歩行者等のその他の移動体を追跡する構成としてもよい。また、移動体追跡装置は、道路上に設置されたカメラ３の撮像画像に基づいて移動体の追跡を行う構成でなくてもよく、例えばデジタルカメラ又はビデオカメラ等に移動体の追跡機能を搭載するなど、可搬型のカメラの撮像画像に基づいて移動体の追跡を行う構成であってもよい。また、車輌追跡装置１は、車輌追跡プログラム４０を制御部１１が実行することによって車輌追跡処理を行う構成、即ち車輌追跡処理をソフトウェアで実現する構成としたが、これに限るものではなく、移動体追跡処理を専用のハードウェアで実現する構成としてもよい。また、移動体追跡処理は、ＩＣ（Integrated Circuit）チップとして提供することもできる。また、移動体追跡プログラムは、車輌追跡装置１のＲＯＭ１７のような固定型の記録媒体に記憶されるのみでなく、光ディスク若しくはメモリカード等の可搬型の記憶媒体又はネットワーク等を介して提供されるものであってよく、汎用のコンピュータにて移動体追跡プログラムを実行して移動体追跡処理を行ってもよい。
【０１０６】
また、２次元画像中の移動体を追跡するのみでなく、時系列的な３次元画像中の移動体を追跡する構成としてもよい。この場合には、正サンプル及び負サンプル等は３次元領域として抽出され、画素ペアは３次元領域中の任意の２点として抽出される。また、１つの追跡元画像から正サンプル、負サンプル及び画素ペア等を抽出する構成としたが、これに限るものではなく、例えばｔ番目の画像Ｖt 及びｔ＋１番目の画像Ｖt+1 の２つの画像を追跡元画像とし、各画像から正サンプル及び負サンプルを抽出し、画素ペアは２つの画像に跨った２点を抽出する構成としてもよい。この場合には、ｔ＋１番目の画像Ｖt+1 及びｔ＋２番目の画像Ｖt+2 の２つの画像を追跡先画像として移動先候補を抽出するか、又は、ｔ＋２番目の画像Ｖt+2 及びｔ＋３番目の画像Ｖt+3 の２つの画像を追跡先画像として移動先候補を抽出することができる。また、ｔ番目の画像Ｖt を追跡元画像とした場合に、ｔ＋１番目の画像Ｖt+1 を追跡先画像として移動体の追跡を行う構成としたが、これに限るものではなく、ｔ−１番目の画像Ｖt-1 を追跡先画像として移動体の追跡を行う構成としてもよい。
【０１０７】
また、ペア特徴を用いた移動体の追跡方法は、カメラが撮像した画像から車輌又は歩行者等の特定物体の移動速度及び移動方向等の情報を取得するために用いるのみでなく、例えばＭＰＥＧ（Moving Picture Expert Group）方式の動画像圧縮処理のように、画像中の特定箇所の移動先を探索する処理を必要とする画像処理に適用可能であり、このような画像処理を高精度化及び高速化することができる。
【０１０８】
（変形例１）
上述の実施の形態においては、図６及び図７に示したように、車輌追跡装置１及び車輌追跡プログラム４０は、画素ペアのセットをランダムに所定数生成し、類似度が最も小さいものを選別することでペア特徴の取得を行う構成としたが、これに限るものではない。変形例１に係る車輌追跡装置１及び車輌追跡プログラム４０は、必要数以上の画素ペアをランダムに生成し、類似度が小さいものから順に必要数の画素ペアを選別することでペア特徴の取得を行う。
【０１０９】
図１０は、変形例１に係るペア特徴の取得処理の手順を示すフローチャートであり、車輌追跡装置１の制御部１１が車輌追跡プログラム４０を実行することにより行う処理である。車輌追跡装置１の制御部１１は、まず、カメラ３が撮像したｔ番目の画像Ｖt を取得して、追跡対象を含む画像領域を正サンプルＩt として抽出する（ステップＳ４１）。次いで制御部１１は、抽出した正サンプルＩt から、輝度値の差分が閾値Ｔp 以上の画素ペアをランダムにＭ組抽出する（ステップＳ４２）。ただし、車輌の追跡処理に必要な画素ペアの数をＮ組とした場合、ステップＳ４２の抽出数Ｍは、Ｎより十分に大きな値とする。
【０１１０】
次いで、制御部１１は、ｔ番目の画像Ｖt における正サンプルＩt の周囲から、負サンプルＪt を１つ抽出し（ステップＳ４３）、抽出した負サンプルＪt から、ステップＳ４２にて正サンプルＩt から抽出した画素ペアに対応する位置の画素ペアを抽出する（ステップＳ４４）。次いで制御部１１は、各画素ペアについての個別の類似度ｒ（ｐ、ｑ、Ｊ）を上述の（１−５）式に基づいて算出する（ステップＳ４５）。
【０１１１】
ステップＳ４３〜Ｓ４６の処理は、画像Ｖt から抽出されるＦ個の負サンプルＪt1、…、ＪtFについてそれぞれ繰り返し行われる処理である。各負サンプルＪt についてステップＳ４５の個別の類似度ｒ（ｐ、ｑ、Ｊ）を算出した後、制御部１１は、算出済みの各負サンプルＪt の個別の類似度を画素ペア毎に合計する（ステップＳ４６）。その後、制御部１１は、Ｆ個の負サンプルＪt1、…、ＪtFの全てについて個別の類似度の算出と画素ペア毎の合計の算出との処理を終了したか否かを判定し（ステップＳ４７）、全ての負サンプルＪt1、…、ＪtFについて処理を終了していない場合には（Ｓ４７：ＮＯ）、ステップＳ４３へ処理を戻して、上述のステップＳ４３〜Ｓ４６の処理を繰り返し行う。
【０１１２】
また、全ての負サンプルＪt1、…、ＪtFについて処理を終了した場合（Ｓ４７：ＹＥＳ）、制御部１１は、ステップＳ４６の繰り返しによって算出された個別の類似度の合計値を画素ペア毎に比較し、ステップＳ４２にて抽出したＭ組の画素ペアから、類似度の合計値が小さい画素ペアを上位からＮ組まで選択し（ステップＳ４８）、ペア特徴の取得処理を終了する。ステップＳ４８にて選択されたＮ組の画素ペアが、正サンプルＩt のペア特徴となり、後段の処理で用いられる。
【０１１３】
以上の構成の変形例１に係る車輌追跡装置１及び車輌追跡プログラム４０は、ｔ番目の画像Ｖt の正サンプルＩt から必要数Ｎより多いＭ組の画素ペアを予め抽出し、Ｍ組の画素ペアから正サンプルＩt と負サンプルＪt1、…、ＪtFとをより精度よく判別できるＮ組の画素ペアを上位から選択する構成とすることにより、演算量を低減しつつ、精度のよい移動体の追跡処理を実現することができる。
【０１１４】
（変形例２）
上述の実施の形態においては、図８に示したように、ｔ＋１番目の画像Ｖt+1 から移動先候補の画像領域を抽出する際に、抽出位置に応じて異なるサイズの画像領域を抽出し、正サンプルＩt と同じサイズに画像領域を調整する構成としたが、これに限るものではない。変形例２に係る車輌追跡装置１は、ｔ＋１番目の画像Ｖt+1 から抽出した移動先候補のサイズに応じて、移動先候補から抽出する画素ペアの抽出位置を調整する構成である。
【０１１５】
図１１は、変形例２に係る移動先候補からの画素ペアの抽出方法を説明するための模式図である。例えば、ｔ番目の画像Ｖt から抽出された正サンプルＩt が８画素×８画素の画像領域であるとし、この画像領域において各画素を座標（ｘ、ｙ）で表し、画像領域の横方向がｘ方向であり、縦方向がｙ方向であり、左上の画素を座標（１、１）とし、右下の画素を座標（８、８）とする。また、この正サンプルＩt からペア特徴として（１、３）→（３、８）の画素ペアと、（６、２）→（５、５）の画素ペアとを抽出したものとする（図１１（ａ）参照）。
【０１１６】
もし、ｔ＋１番目の画像Ｖt+1 から正サンプルＩt と同じサイズの画像領域が移動先候補として抽出された場合には、移動先候補から（１、３）→（３、８）の画素ペアと、（６、２）→（５、５）の画素ペアとを抽出して類似度を判定すればよい。これに対して、ｔ＋１番目の画像Ｖt+1 から抽出した移動先候補のサイズが正サンプルＩt のサイズと異なる場合、車輌追跡装置１は、正サンプルＩt のサイズと移動先候補のサイズとの比率に応じて、移動先候補から抽出する画素ペアの座標を調整する。
【０１１７】
例えば、移動先候補として１６画素×１６画素の画像領域が抽出された場合には、移動先候補のサイズは正サンプルＩt のサイズに対して縦横にそれぞれ２倍であるため、移動先候補から抽出する画素ペアの座標をｘ方向及びｙ方向についてそれぞれ２倍する。即ち、１６画素×１６画素の移動先候補から、（２、６）→（６、１６）の画素ペアと、（１２、４）→（１０、１０）の画素ペアとを抽出する（図１１（ｂ）参照）。
【０１１８】
なお、図示は省略するが、移動先候補のサイズが正サンプルＩt のサイズより小さい場合も同様であり、例えば移動先候補が正サンプルＩt より縦横に１／２倍のサイズであれば、抽出する画素ペアの座標をｘ方向及びｙ方向にそれぞれ１／２倍すればよい（端数は切り捨て又は四捨五入等の処理を行う）。
【０１１９】
以上の構成の変形例２に係る車輌追跡装置１は、ｔ＋１番目の画像Ｖt+1 （追跡先画像）から移動先候補として画像領域を抽出する場合に、画像中の抽出位置に応じて異なるサイズの画像領域を抽出し、正サンプルＩt のサイズと移動先候補のサイズとの比率に応じて、移動先候補から抽出する画素ペアの抽出位置を調整することにより、道路上におけるカメラ３の設置位置及び撮像方向等により変化する撮像画像中の移動体のサイズに適した移動先候補の抽出を行うことができ、車輌の追跡を精度よく行うことができる。
【０１２０】
（変形例３）
上述の実施の形態において、車輌追跡装置１は、カメラ３が撮像した画像の各画素の輝度値に基づいて画素ペアに係る大小関係を取得する構成であるが、これに限るものではない。図１２は、変形例３に係る車輌追跡装置１の構成を示すブロック図である。変形例３に係る車輌追跡装置１は、車輌追跡プログラム４０中にエッジ画像生成手段４７を有している点で、図２に示した車輌追跡装置１と異なる。
【０１２１】
エッジ画像生成手段４７は、カメラ３の撮像画像に対して、撮像画像中の各画素と、この画素に隣接する他の画素との輝度値の勾配（エッジの強度）を算出し、撮像画像の各画素の画素値をエッジ強度としたエッジ画像を生成する。エッジ画像の生成は、例えばゾーベルフィルタなどを用いた画像処理により行うことができる。車輌追跡装置１は、エッジ画像生成手段４７が生成したエッジ画像をｔ番目の画像Ｖt 、ｔ＋１番目の画像Ｖt+1 …として用いる。以降の車輌追跡処理は上述の手順と同じである。
【０１２２】
以上の構成の変形例３に係る車輌追跡装置１は、カメラ３の設置環境又は車輌周囲の環境等によって例えば画像が不鮮明であるなど、エッジ画像の方が車輌の特徴を捉えることができる場合に、カメラ３の撮像画像からエッジ画像を生成し、エッジ画像に基づいてペア特徴による車輌追跡を行うことができ、車輌の追跡精度を向上することができる。
【符号の説明】
【０１２３】
１ 車輌追跡装置（移動体検出装置）
３ カメラ
１１ 制御部
１２ 画像入力部
１３ Ａ／Ｄ変換部
１４ 画像メモリ
１５ 通信部
１６ 記憶部
１７ ＲＯＭ
４０ 車輌追跡プログラム（コンピュータプログラム）
４１ 車輌検出手段
４２ 正サンプル抽出手段（追跡対象サンプル抽出手段）
４３ 負サンプル抽出手段（周囲サンプル抽出手段）
４４ ペア特徴取得手段（追跡対象画素組み合わせ抽出手段、周囲画素組み合わせ抽出手段、判定手段、選別手段）
４５ 移動先候補抽出手段（画像領域抽出手段、調整手段）
４６ 移動先決定手段（画素組み合わせ抽出手段、判定手段、移動先決定手段）
４７ エッジ画像生成手段（算出手段）
【特許請求の範囲】
【請求項１】
時系列的に撮像された複数の画像に基づいて、該画像中の移動体の移動先を追跡する移動体追跡装置において、
前記複数の画像のうちの追跡元画像から、移動体を含む所定サイズの画像領域を、追跡対象サンプルとして抽出する追跡対象サンプル抽出手段と、
前記追跡元画像から、前記追跡対象サンプルの周囲の所定サイズの画像領域を、周囲サンプルとして複数抽出する周囲サンプル抽出手段と、
前記追跡対象サンプル抽出手段が抽出した追跡対象サンプルから、複数の画素による画素組み合わせを複数組抽出する追跡対象画素組み合わせ抽出手段と、
該追跡対象画素組み合わせ抽出手段が抽出した画素組み合わせの抽出位置に応じて、前記周囲サンプル抽出手段が抽出した周囲サンプルから、複数組の画素組み合わせを抽出する周囲画素組み合わせ抽出手段と、
前記追跡対象画素組み合わせ抽出手段が抽出した画素組み合わせに含まれる画素の画素値の大小関係及び前記周囲画素組み合わせ抽出手段が抽出した画素組み合わせに含まれる画素の画素値の大小関係を判定する判定手段と、
該判定手段の判定結果に応じて、前記追跡対象画素組み合わせ抽出手段が抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルを判別し得る複数の画素組み合わせを選別する選別手段と、
前記複数の画像のうちの追跡先画像から、複数の画像領域を抽出する画像領域抽出手段と、
前記選別手段が選別した画素組み合わせの前記追跡対象サンプルからの抽出位置に応じて、前記画像領域抽出手段が抽出した各画像領域から、複数組の画素組み合わせをそれぞれ抽出する画素組み合わせ抽出手段と、
該画素組み合わせ抽出手段が抽出した画素組み合わせに含まれる各画素の画素値の大小関係を判定する判定手段と、
前記選別手段が選別した画素組み合わせに係る大小関係、及び前記画像領域抽出手段が抽出した各画像領域の画素組み合わせに係る大小関係を基に、前記移動体の移動先の画像領域を決定する移動先決定手段と
を備えること
を特徴とする移動体追跡装置。
【請求項２】
前記追跡対象画素組み合わせ抽出手段は、画素値の差が閾値以上の複数の画素による画素組み合わせを抽出するようにしてあること
を特徴とする請求項１に記載の移動体追跡装置。
【請求項３】
前記追跡対象画素組み合わせ抽出手段は、所定数の画素組み合わせが含まれる画素組み合わせ群を複数抽出するようにしてあり、
前記選別手段は、前記追跡対象画素組み合わせ抽出手段が抽出した複数の画素組み合わせ群から、前記追跡対象サンプル及び前記周囲サンプルの判別精度が最も高い画素組み合わせ群を選別するようにしてあること
を特徴とする請求項１又は請求項２に記載の移動体追跡装置。
【請求項４】
前記選別手段は、前記追跡対象画素組み合わせ抽出手段が抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルの判別精度が高い画素組み合わせを、上位から所定数まで選別するようにしてあること
を特徴とする請求項１又は請求項２に記載の移動体追跡装置。
【請求項５】
前記画像領域抽出手段は、前記追跡先画像中の抽出位置に応じて、異なるサイズの画像領域を抽出するようにしてあり、
前記画像領域抽出手段が抽出した画像領域のサイズを、前記追跡対象サンプルのサイズへ調整する調整手段を更に備え、
前記画素組み合わせ抽出手段は、前記調整手段が調整した画像領域から画素組み合わせの抽出を行うようにしてあること
を特徴とする請求項１乃至請求項４のいずれか１つに記載の移動体追跡装置。
【請求項６】
前記画像領域抽出手段は、前記追跡先画像中の抽出位置に応じて、異なるサイズの画像領域を抽出するようにしてあり、
前記画素組み合わせ抽出手段は、前記画像領域抽出手段が抽出した画像領域のサイズ及び前記追跡対象サンプルのサイズの比率に応じて、画素組み合わせに係る画素の抽出位置を調整するようにしてあること
を特徴とする請求項１乃至請求項４のいずれか１つに記載の移動体追跡装置。
【請求項７】
画像のエッジ強度を算出する算出手段を更に備え、
前記追跡元画像及び前記追跡先画像は、前記算出手段により画素値がエッジ強度に変換された画像であること
を特徴とする請求項１乃至請求項６のいずれか１つに記載の移動体追跡装置。
【請求項８】
時系列的に撮像された複数の画像に基づいて、該画像中の移動体の移動先を追跡する追跡方法において、
前記複数の画像のうちの追跡元画像から、移動体を含む所定サイズの画像領域を追跡対象サンプルとして抽出し、
前記追跡元画像から、前記追跡対象サンプルの周囲の所定サイズの画像領域を周囲サンプルとして複数抽出し、
抽出した追跡対象サンプルから、複数の画素による画素組み合わせを複数組抽出し、
前記追跡対象サンプルから抽出した画素組み合わせの抽出位置に応じて、前記周囲サンプルから複数組の画素組み合わせを抽出し、
前記追跡対象サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係及び前記周囲サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係をそれぞれ判定し、
大小関係の判定結果に応じて、前記追跡対象サンプルから抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルを判別し得る複数の画素組み合わせを選別し、
前記複数の画像のうちの追跡先画像から、複数の画像領域を抽出し、
選別した画素組み合わせの前記追跡対象サンプルからの抽出位置に応じて、前記追跡先画像から抽出した各画像領域から、複数組の画素組み合わせをそれぞれ抽出し、
抽出した画素組み合わせに含まれる各画素の画素値の大小関係を判定し、
選別した画素組み合わせに係る大小関係、及び抽出した各画像領域の画素組み合わせに係る大小関係を基に、前記移動体の移動先の画像領域を決定すること
を特徴とする追跡方法。
【請求項９】
追跡元画像から、所定サイズの画像領域を追跡対象サンプルとして抽出し、
前記追跡元画像から、前記追跡対象サンプルの周囲の所定サイズの画像領域を周囲サンプルとして複数抽出し、
抽出した追跡対象サンプルから、複数の画素による画素組み合わせを複数組抽出し、
前記追跡対象サンプルから抽出した画素組み合わせの抽出位置に応じて、前記周囲サンプルから複数組の画素組み合わせを抽出し、
前記追跡対象サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係及び前記周囲サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係をそれぞれ判定し、
大小関係の判定結果に応じて、前記追跡対象サンプルから抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルを判別し得る複数の画素組み合わせを選別し、
追跡先画像から、複数の画像領域を抽出し、
選別した画素組み合わせの前記追跡対象サンプルからの抽出位置に応じて、前記追跡先画像から抽出した各画像領域から、複数組の画素組み合わせをそれぞれ抽出し、
抽出した画素組み合わせに含まれる各画素の画素値の大小関係を判定し、
選別した画素組み合わせに係る大小関係、及び抽出した各画像領域の画素組み合わせに係る大小関係を基に、前記追跡対象サンプルの移動先の画像領域を決定すること
を特徴とする追跡方法。
【請求項１０】
時系列的に撮像された複数の画像に基づいて、該画像中の移動体の移動先を追跡する移動体追跡ステップをコンピュータに実行させるコンピュータプログラムにおいて、
前記移動体追跡ステップが、
前記複数の画像のうちの追跡元画像から、移動体を含む所定サイズの画像領域を追跡対象サンプルとして抽出させるステップと、
前記追跡元画像から、前記追跡対象サンプルの周囲の所定サイズの画像領域を周囲サンプルとして複数抽出させるステップと、
抽出した追跡対象サンプルから、複数の画素による画素組み合わせを複数組抽出させるステップと、
前記追跡対象サンプルから抽出した画素組み合わせの抽出位置に応じて、前記周囲サンプルから複数組の画素組み合わせを抽出させるステップと、
前記追跡対象サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係及び前記周囲サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係をそれぞれ判定させるステップと、
大小関係の判定結果に応じて、前記追跡対象サンプルから抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルを判別し得る複数の画素組み合わせを選別させるステップと、
前記複数の画像のうちの追跡先画像から、複数の画像領域を抽出させるステップと、
選別した画素組み合わせの前記追跡対象サンプルからの抽出位置に応じて、前記追跡先画像から抽出した各画像領域から、複数組の画素組み合わせをそれぞれ抽出させるステップと、
抽出した画素組み合わせに含まれる各画素の画素値の大小関係を判定させるステップと、
選別した画素組み合わせに係る大小関係、及び抽出した各画像領域の画素組み合わせに係る大小関係を基に、前記移動体の移動先の画像領域を決定させるステップと
を含むこと
を特徴とするコンピュータプログラム。
【請求項１】
時系列的に撮像された複数の画像に基づいて、該画像中の移動体の移動先を追跡する移動体追跡装置において、
前記複数の画像のうちの追跡元画像から、移動体を含む所定サイズの画像領域を、追跡対象サンプルとして抽出する追跡対象サンプル抽出手段と、
前記追跡元画像から、前記追跡対象サンプルの周囲の所定サイズの画像領域を、周囲サンプルとして複数抽出する周囲サンプル抽出手段と、
前記追跡対象サンプル抽出手段が抽出した追跡対象サンプルから、複数の画素による画素組み合わせを複数組抽出する追跡対象画素組み合わせ抽出手段と、
該追跡対象画素組み合わせ抽出手段が抽出した画素組み合わせの抽出位置に応じて、前記周囲サンプル抽出手段が抽出した周囲サンプルから、複数組の画素組み合わせを抽出する周囲画素組み合わせ抽出手段と、
前記追跡対象画素組み合わせ抽出手段が抽出した画素組み合わせに含まれる画素の画素値の大小関係及び前記周囲画素組み合わせ抽出手段が抽出した画素組み合わせに含まれる画素の画素値の大小関係を判定する判定手段と、
該判定手段の判定結果に応じて、前記追跡対象画素組み合わせ抽出手段が抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルを判別し得る複数の画素組み合わせを選別する選別手段と、
前記複数の画像のうちの追跡先画像から、複数の画像領域を抽出する画像領域抽出手段と、
前記選別手段が選別した画素組み合わせの前記追跡対象サンプルからの抽出位置に応じて、前記画像領域抽出手段が抽出した各画像領域から、複数組の画素組み合わせをそれぞれ抽出する画素組み合わせ抽出手段と、
該画素組み合わせ抽出手段が抽出した画素組み合わせに含まれる各画素の画素値の大小関係を判定する判定手段と、
前記選別手段が選別した画素組み合わせに係る大小関係、及び前記画像領域抽出手段が抽出した各画像領域の画素組み合わせに係る大小関係を基に、前記移動体の移動先の画像領域を決定する移動先決定手段と
を備えること
を特徴とする移動体追跡装置。
【請求項２】
前記追跡対象画素組み合わせ抽出手段は、画素値の差が閾値以上の複数の画素による画素組み合わせを抽出するようにしてあること
を特徴とする請求項１に記載の移動体追跡装置。
【請求項３】
前記追跡対象画素組み合わせ抽出手段は、所定数の画素組み合わせが含まれる画素組み合わせ群を複数抽出するようにしてあり、
前記選別手段は、前記追跡対象画素組み合わせ抽出手段が抽出した複数の画素組み合わせ群から、前記追跡対象サンプル及び前記周囲サンプルの判別精度が最も高い画素組み合わせ群を選別するようにしてあること
を特徴とする請求項１又は請求項２に記載の移動体追跡装置。
【請求項４】
前記選別手段は、前記追跡対象画素組み合わせ抽出手段が抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルの判別精度が高い画素組み合わせを、上位から所定数まで選別するようにしてあること
を特徴とする請求項１又は請求項２に記載の移動体追跡装置。
【請求項５】
前記画像領域抽出手段は、前記追跡先画像中の抽出位置に応じて、異なるサイズの画像領域を抽出するようにしてあり、
前記画像領域抽出手段が抽出した画像領域のサイズを、前記追跡対象サンプルのサイズへ調整する調整手段を更に備え、
前記画素組み合わせ抽出手段は、前記調整手段が調整した画像領域から画素組み合わせの抽出を行うようにしてあること
を特徴とする請求項１乃至請求項４のいずれか１つに記載の移動体追跡装置。
【請求項６】
前記画像領域抽出手段は、前記追跡先画像中の抽出位置に応じて、異なるサイズの画像領域を抽出するようにしてあり、
前記画素組み合わせ抽出手段は、前記画像領域抽出手段が抽出した画像領域のサイズ及び前記追跡対象サンプルのサイズの比率に応じて、画素組み合わせに係る画素の抽出位置を調整するようにしてあること
を特徴とする請求項１乃至請求項４のいずれか１つに記載の移動体追跡装置。
【請求項７】
画像のエッジ強度を算出する算出手段を更に備え、
前記追跡元画像及び前記追跡先画像は、前記算出手段により画素値がエッジ強度に変換された画像であること
を特徴とする請求項１乃至請求項６のいずれか１つに記載の移動体追跡装置。
【請求項８】
時系列的に撮像された複数の画像に基づいて、該画像中の移動体の移動先を追跡する追跡方法において、
前記複数の画像のうちの追跡元画像から、移動体を含む所定サイズの画像領域を追跡対象サンプルとして抽出し、
前記追跡元画像から、前記追跡対象サンプルの周囲の所定サイズの画像領域を周囲サンプルとして複数抽出し、
抽出した追跡対象サンプルから、複数の画素による画素組み合わせを複数組抽出し、
前記追跡対象サンプルから抽出した画素組み合わせの抽出位置に応じて、前記周囲サンプルから複数組の画素組み合わせを抽出し、
前記追跡対象サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係及び前記周囲サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係をそれぞれ判定し、
大小関係の判定結果に応じて、前記追跡対象サンプルから抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルを判別し得る複数の画素組み合わせを選別し、
前記複数の画像のうちの追跡先画像から、複数の画像領域を抽出し、
選別した画素組み合わせの前記追跡対象サンプルからの抽出位置に応じて、前記追跡先画像から抽出した各画像領域から、複数組の画素組み合わせをそれぞれ抽出し、
抽出した画素組み合わせに含まれる各画素の画素値の大小関係を判定し、
選別した画素組み合わせに係る大小関係、及び抽出した各画像領域の画素組み合わせに係る大小関係を基に、前記移動体の移動先の画像領域を決定すること
を特徴とする追跡方法。
【請求項９】
追跡元画像から、所定サイズの画像領域を追跡対象サンプルとして抽出し、
前記追跡元画像から、前記追跡対象サンプルの周囲の所定サイズの画像領域を周囲サンプルとして複数抽出し、
抽出した追跡対象サンプルから、複数の画素による画素組み合わせを複数組抽出し、
前記追跡対象サンプルから抽出した画素組み合わせの抽出位置に応じて、前記周囲サンプルから複数組の画素組み合わせを抽出し、
前記追跡対象サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係及び前記周囲サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係をそれぞれ判定し、
大小関係の判定結果に応じて、前記追跡対象サンプルから抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルを判別し得る複数の画素組み合わせを選別し、
追跡先画像から、複数の画像領域を抽出し、
選別した画素組み合わせの前記追跡対象サンプルからの抽出位置に応じて、前記追跡先画像から抽出した各画像領域から、複数組の画素組み合わせをそれぞれ抽出し、
抽出した画素組み合わせに含まれる各画素の画素値の大小関係を判定し、
選別した画素組み合わせに係る大小関係、及び抽出した各画像領域の画素組み合わせに係る大小関係を基に、前記追跡対象サンプルの移動先の画像領域を決定すること
を特徴とする追跡方法。
【請求項１０】
時系列的に撮像された複数の画像に基づいて、該画像中の移動体の移動先を追跡する移動体追跡ステップをコンピュータに実行させるコンピュータプログラムにおいて、
前記移動体追跡ステップが、
前記複数の画像のうちの追跡元画像から、移動体を含む所定サイズの画像領域を追跡対象サンプルとして抽出させるステップと、
前記追跡元画像から、前記追跡対象サンプルの周囲の所定サイズの画像領域を周囲サンプルとして複数抽出させるステップと、
抽出した追跡対象サンプルから、複数の画素による画素組み合わせを複数組抽出させるステップと、
前記追跡対象サンプルから抽出した画素組み合わせの抽出位置に応じて、前記周囲サンプルから複数組の画素組み合わせを抽出させるステップと、
前記追跡対象サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係及び前記周囲サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係をそれぞれ判定させるステップと、
大小関係の判定結果に応じて、前記追跡対象サンプルから抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルを判別し得る複数の画素組み合わせを選別させるステップと、
前記複数の画像のうちの追跡先画像から、複数の画像領域を抽出させるステップと、
選別した画素組み合わせの前記追跡対象サンプルからの抽出位置に応じて、前記追跡先画像から抽出した各画像領域から、複数組の画素組み合わせをそれぞれ抽出させるステップと、
抽出した画素組み合わせに含まれる各画素の画素値の大小関係を判定させるステップと、
選別した画素組み合わせに係る大小関係、及び抽出した各画像領域の画素組み合わせに係る大小関係を基に、前記移動体の移動先の画像領域を決定させるステップと
を含むこと
を特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−１１８４５０（Ｐ２０１１−１１８４５０Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２００９−２７２５７８（Ｐ２００９−２７２５７８）
【出願日】平成２１年１１月３０日（２００９．１１．３０）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【Ｆターム（参考）】
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２１年１１月３０日（２００９．１１．３０）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【Ｆターム（参考）】
[ Back to top ]