画像上移動物体追跡方法及び装置
【課題】移動物体の計測誤差を低減できる計測点及びこのような計測点を求めるための代表点を求める。
【解決手段】クラスタ後端が入口スリットの後端を完全に通過したと判定すると、初期値決定部２６は、ＩＤオブジェクトマップに基づいて、クラスタの幾何学的重心位置を移動物体の代表点ＲＰ（ｔ０）として求め、また、動きベクトル平均値算出部２７から代表動きベクトルＲＭＶ（ｔ０）を取得し、代表点ＲＰ（ｔ０）を始点としＲＭＶ（ｔ０）と逆方向でクラスタ内の最も外側のエッジ位置を終点とするオフセットベクトルＯＦＶ（ｔ０）を求める。代表点追跡部２８は、ＲＰ（ｔ０）に、順次求められる代表動きベクトルＲＭＶ（ｔ）を累積加算して、代表点の軌跡ＲＰ（ｔ）を求める。計測点追跡部２Ａは、ＲＰ（ｔ）を始点とするオフセットベクトルＯＦＶ（ｔ）＝−｜ＯＦＶ（ｔ０）｜・μ（ｉ，ｊ）／μ（ｉ０，ｊ０）・ＲＭＶ（ｔ）／｜ＲＭＶ（ｔ）｜を求める。
【解決手段】クラスタ後端が入口スリットの後端を完全に通過したと判定すると、初期値決定部２６は、ＩＤオブジェクトマップに基づいて、クラスタの幾何学的重心位置を移動物体の代表点ＲＰ（ｔ０）として求め、また、動きベクトル平均値算出部２７から代表動きベクトルＲＭＶ（ｔ０）を取得し、代表点ＲＰ（ｔ０）を始点としＲＭＶ（ｔ０）と逆方向でクラスタ内の最も外側のエッジ位置を終点とするオフセットベクトルＯＦＶ（ｔ０）を求める。代表点追跡部２８は、ＲＰ（ｔ０）に、順次求められる代表動きベクトルＲＭＶ（ｔ）を累積加算して、代表点の軌跡ＲＰ（ｔ）を求める。計測点追跡部２Ａは、ＲＰ（ｔ）を始点とするオフセットベクトルＯＦＶ（ｔ）＝−｜ＯＦＶ（ｔ０）｜・μ（ｉ，ｊ）／μ（ｉ０，ｊ０）・ＲＭＶ（ｔ）／｜ＲＭＶ（ｔ）｜を求める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列画像を処理して画像中の移動物体を追跡する画像上移動物体追跡方法及び装置に関する。
【背景技術】
【０００２】
ビデオカメラで移動物体を撮像し、画像処理して画像上の移動物体を追跡することにより、交通状態や交通事故の検出等を自動的に行うことができる。
【０００３】
画像上の移動物体を追跡する方法として、例えば４８０×６４０画素のフレーム画像を８×８画素のブロックに分割して６０×８０ブロックの画像とし、各ブロックの画像を背景画像の対応するブロックの画像と比較して、ブロック単位で移動物体を検出し、時刻ｔ−１とｔのフレーム画像の時空相関に基づいてブロック単位で移動物体の識別符号（ＩＤ）及び動きベクトル（ＭＶ）を求める方法がある（下記特許文献１）。これにより、同一移動物体と認められるブロックには同一ＩＤが付与される。
【０００４】
しかしながら、ブロック単位で移動物体を検出するので、ブロックの集合としての移動物体領域（クラスタ）の周部ブロックについては、１ブロック幅の量子化誤差がある。このため、クラスタの幾何学的重心をクラスタの代表点とすると、代表点の軌跡が変動し、ジグザグになる。また、画像上で移動物体の一部が他の移動物体に隠蔽されると、代表点が、隠蔽前の位置からずれる。さらに、リアルタイム処理を高速に行うためにモノクロ濃淡画像を使うと、移動物体とその影を含んだものが移動物体と認識されて、代表点が影側にずれる。この影の影響は、天候や時間帯に依存する。
【０００５】
したがって、代表点の軌跡が安定しないとともに、その誤差が比較的大きくなる。
【０００６】
また、移動物体の速度、２点間通過の平均速度、加速度又は特定点通過時点等を画像処理で計測する場合、図５に示すように路面上の移動物体の位置によりビデオカメラとの距離及びカメラの視線方向と路面とのなす角度が異なるので、実長さと画像上の長さとの比を考慮する必要があるが、画像上の同じ位置のブロックでも、移動物体の高さによりビデオカメラとの距離が異なるので、計測誤差が生ずる。これを小さくするため、移動物体の路面側のエッジを計測点とすると、該計測点が画像上で他の移動物体に隠蔽されると、計測できない。この場合、計測点を移動させれば、その時点で計測誤差が大きくなる。
【特許文献１】特開２００４−２０７７８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、上記問題点に鑑み、移動物体の速度、２点間通過の平均速度、加速度又は特定点通過時点等の計測誤差を低減できる計測点及びこのような計測点を求めるための代表点を求めることが可能な画像上移動物体追跡方法及び装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の第１態様では、記憶手段に格納された時系列画像の各々を複数ブロックに分割し、時刻ｔ１のフレーム画像と時刻ｔ２のフレーム画像との相関関係と、該時刻ｔ１のフレーム画像に含まれる移動物体の識別結果とに基づいて、該時刻ｔ２のフレーム画像に含まれる移動物体をブロック単位で識別するとともにブロック単位で移動物体の動きベクトルを求める画像上移動物体追跡方法において、
（ｂ）移動物体の領域の幾何学的重心を初期代表点として求め、
（ｃ）該初期代表点に、その後のフレーム画像毎に求めた移動物体の領域の代表動きベクトルを順次累積加算することにより該移動物体の領域の代表点の軌跡を求めるステップを有する。
【０００９】
本発明による画像上移動物体追跡方法の第２態様では、第１態様において、
該ステップ（ｂ）の前にさらに、（ａ）フレーム画像に対応した領域上に予め設定された入口領域の後端を該移動物体の領域の後端が通過したか否かを判定するステップを有し、
肯定判定した場合に該ステップ（ｂ）の処理を行い、
該ステップ（ｃ）での代表動きベクトルは、該移動物体の領域に含まれる複数ブロックの動きベクトルの平均値である。
【００１０】
本発明による画像上移動物体追跡方法の第３態様では、第１又は２態様において、（ｄ）該ステップ（ｃ）で求めた代表点の軌跡における各代表動きベクトルの始点に、該移動物体の領域のサイズに依存したオフセットベクトルを加算することにより、該移動物体の計測点を求めるステップをさらに有する。
【００１１】
本発明による画像上移動物体追跡方法の第４態様では、第３態様において、該記憶手段にはさらに、フレーム画像上の位置と該位置での実空間に対する縮小率に比例した値との関係を示す情報が予め格納されており、
該ステップ（ｄ）は、
（ｄ１）該初期代表点を始点とするオフセットベクトルを初期オフセットベクトルとして求め、
（ｄ２）該情報を参照して各代表動きベクトル始点での係数を求め、該係数を該初期オフセットベクトルの絶対値に乗じて、該代表動きベクトル始点に加算するオフセットベクトルの絶対値を求めるステップを有する。
【００１２】
本発明による画像上移動物体追跡方法の第５態様では、第４態様において、該ステップ（ｄ２）において、該代表動きベクトル始点に加算するオフセットベクトルの方向を、該代表動きベクトルの向き且つ該移動物体の領域の時系列画像撮影カメラ側とする。
【発明の効果】
【００１３】
上記第１態様の構成によれば、移動物体の領域の幾何学的重心を初期代表点として求め、該初期代表点に、その後のフレーム画像毎に求めた移動物体の領域の代表動きベクトルを順次累積加算することにより該移動物体の領域の代表点の軌跡を求めるので、代表点の軌跡はブロック量子化誤差の影響を受けず、安定したものとなり、また、画像上で移動物体の一部が他の移動物体に隠蔽されても、これにより代表点が殆どずれないので、代表点の軌跡をより正確に求めることが可能となる。
【００１４】
上記第２態様の構成によれば、フレーム画像に対応した領域上に予め設定された入口領域の後端を該移動物体の領域の後端が通過した場合に該ステップ（ｂ）の処理を開始するので、この通過後に代表点の軌跡を求めることができる。また、代表動きベクトルが、該移動物体の領域に含まれる複数ブロックの動きベクトルの平均値であるので、該代表動きベクトルを容易に求めることができる。
【００１５】
上記第３態様の構成によれば、該ステップ（ｃ）で求めた代表点の軌跡における各代表動きベクトルの始点に、該移動物体の領域のサイズに依存（例えば比例）したオフセットベクトルを加算することにより、該移動物体の計測点を求めるので、計測点が画像上で他の移動物体により隠蔽されても、計測点を正確に求めることが可能となる。
【００１６】
上記第４態様の構成によれば、フレーム画像上の位置と該位置での実空間に対する縮小率に比例した値との関係を示す情報を参照して各代表動きベクトル始点での係数を求め、該係数を該初期オフセットベクトルの絶対値に乗じて、該代表動きベクトル始点に加算するオフセットベクトルの絶対値を求めるので、オフセットベクトルの大きさを正確に求めることができ、計測精度向上に寄与する。
【００１７】
上記第５態様の構成によれば、該代表動きベクトル始点に加算するオフセットベクトルの方向を、該代表動きベクトルの向き且つ該移動物体の領域の時系列画像撮影カメラ側とするので、該移動物体が旋回してもオフセットベクトルの終点を該移動物体上の端部かつ略所定点にすることができ、計測精度向上に寄与する。
【００１８】
本発明の他の目的、構成及び効果は以下の説明から明らかになる。
【実施例１】
【００１９】
以下、図面を参照して本発明の実施例１を説明する。図面において、同一又は類似の要素には、同一又は類似の符号を付している。
【００２０】
図１は、ビデオカメラ（例えばＩＴＶカメラ）１０で撮像された画像を処理して移動物体を追跡する、本発明の実施例１の画像上移動物体追跡装置２０の概略機能ブロック図である。
【００２１】
この装置２０のうち記憶部以外は、コンピュータソフトウェア、専用のハードウェア又はコンピュータソフトウェアと専用のハードウェアの組み合わせで構成することができる。
【００２２】
ビデオカメラ１０で撮影された時系列画像は、例えば３０フレーム／秒のレートでサンプリングされて、画像メモリ２１に格納され、最も古いフレーム画像が新しいフレーム画像で書き換えられる。
【００２３】
本発明は、画像メモリ２１に格納された画像データをブロック２３〜２８によりリアルタイムで処理する場合のみならず、不図示の外部記憶装置に格納しておき、必要な部分のみ後で処理する場合にも適用できる。
【００２４】
また、画像メモリ２１に格納された画像（原画像）を直接、ブロック２３〜２８で処理しても、ラプラシアンフィルタ等のフィルタをかけて空間的差分フレーム画像に変換したもの又は２次元フーリエ変換し所定周波数以上の成分を強調した後に逆フーリエ変換したもの（変換画像）を、ブロック２３〜２８で処理する構成であってもよい。以下、「画像」とは原画像又は変換画像を意味する。
【００２５】
背景画像生成部２２は、記憶部と処理部とを備え、処理部は、画像メモリ２１をアクセスし、例えば過去１分間の全ての又は間引かれたもののフレーム画像の対応する画素について画素値のヒストグラムを作成し、その最頻値（モード）をその画素の画素値とする画像を、移動物体が存在しない背景画像として生成し、これを該記憶部に格納する。背景画像は、この処理が定期的に行われて更新される。
【００２６】
ＩＤ生成／消滅部２３には、図２に示す如くフレーム画像３０内に配置される入口スリット３１Ａ、３１Ｂ及び出口スリット３２Ａ、３２Ｂの領域データが、予め設定されている。図２は、フレーム画像３０に、これらスリットと、点線で示すブロックの境界線とが重ね合わされている。１ブロックは例えば８×８画素である。
【００２７】
前記スリットの設定は、マウス等のポインティングデバイス又はキーボード等の入力装置ＩＮと、設定を確認する表示装置ＯＵＴと、ＩＤ生成／消滅部２３に含まれる入力処理プログラムとを含む設定手段により、人の操作に基づいて行われる。図２ではスリットの奥行が２ブロック幅であるが、１ブロック幅の整数倍であればよい。
【００２８】
ＩＤ生成／消滅部２３は、画像メモリ２１から入口スリット３１Ａ及び３１Ｂ内の画像データを読み込み、これらの内側に移動物体が存在するかどうかをブロック単位で判定する。あるブロックに移動物体が存在するかどうかは、このブロック内の各画素と背景画像の対応する画素との差の絶対値の総和が閾値以上であるかどうかにより判定する。
【００２９】
ＩＤ生成／消滅部２３は、ブロック内に移動物体が存在すると判定すると、このブロックに新たな移動物体識別符号（ＩＤ）を付与する。ＩＤ生成／消滅部２３は、ＩＤ付与済ブロックと隣接しているブロックに移動物体が存在すると判定すると、この隣接ブロックに付与済ブロックと同一のＩＤを付与する。このＩＤ付与済ブロックは、スリットに隣接しているブロックも含まれる。以下、ＩＤが付与されたブロックの塊をクラスタと称する。
【００３０】
ＩＤの付与は、記憶部２４内のオブジェクトマップの対応するブロックに対して行われる。オブジェクトマップは、上述の場合６０×８０ブロックの各ブロックの移動物体情報を記憶するためのものであり、移動物体情報は、ＩＤが付与されているかどうかを示すフラグを含み、ＩＤが付与されていることを示している場合にはさらにＩＤ及びブロックの動きベクトル（ＭＶ）を含む。この情報は配列Ｍ（ｉ，ｊ，ｎ）で表すことができる。ここに（ｉ，ｊ）は第ｉ行第ｊ列のブロックを示し、ｎ＝０、ｎ＝１及びｎ＝２はそれぞれＭがフラグ、ＩＤ及びＭＶであることを示す。なお、該フラグを用いずに、ＩＤ＝０のときＩＤが付与されていないと判定してもよい。また、ＩＤの最上位ビットをフラグとしてもよい。ブロックマッチングでＭＶが求まらないブロックのＭＶは例えば、その回りの同一ＩＤのブロックのＭＶの平均値に等しくする。
【００３１】
入口スリット３１Ａ又は３１Ｂを通過したクラスタに対しては、移動物体追跡部２５により、例えば上記特許文献１に記載の方法で追跡処理が行われる。例えば、高速処理のため、時刻ｔ−１（フレーム番号）でのＭＶに基づいて時刻ｔでのクラスタの概略移動範囲が推定され、この範囲内で上述の移動物体存否判定がブロック毎に行われ、移動方向側のブロックに対するＩＤの付与及び移動と反対方向側のブロックに対するＩＤの消滅が行われて、時刻ｔでのクラスタが決定される。また、時刻ｔ−１とｔのフレーム画像間のブロックマッチングにより、時刻ｔでＩＤが付与されているブロックのＭＶが求められる。高速処理のため、ブロックマッチングを行う範囲は、時刻ｔ−１でのＭＶに基づいて定められる。各ブロックのＩＤとＭＶは、上記特許文献１に記載のように、評価関数を用いて同時に決定することもできる。ＩＤ及びＭＶの更新は、記憶部２４内のオブジェクトマップに対して行われる。
【００３２】
移動物体追跡部２５による追跡処理は、各クラスタについて出口スリット３２Ａ又は３２Ｂ内まで行われる。
【００３３】
ＩＤ生成／消滅部２３はさらに、記憶部２４内のオブジェクトマップに基づき出口スリット３２Ａ及び３２Ｂ内のブロックにＩＤが付与されているかどうかを調べ、付与されていれば、クラスタが出口スリットを通過したときにそのＩＤを消滅させる。
【００３４】
図４は、時刻ｔ０でのＩＤのオブジェクトマップに、理解を容易にするため図２中の画像上移動物体３３及び３４を重ね合わせ、さらにこれらのクラスタ３３Ｃ及び３４Ｃの境界を太線で示したものである。
【００３５】
本実施例１の特徴は、図１中のブロック２６〜２９及び２Ａと、これらとブロック２３及び２４との関係にあり、以下これを詳述する。
【００３６】
フレーム画像３０上において、時刻ｔ０で図２に示す位置にいた移動物体３３及び３４がそれぞれ、図４に示す位置に移動したとする。図５に示すように、移動物体３３とビデオカメラ１０との間の距離が異なることと、ビデオカメラ１０から路面への直線と路面とのなす角度が移動物体３３の位置により異なることから、実物の長さに対する画像上の長さ（縮小率）が画像上の位置により異なる。ビデオカメラ１０の撮像面の画像は、ビデオカメラ１０の光軸に垂直な面ＳＣ上への実物の投影像に比例しているので、この縮小率は、投影面ＳＣ上のδＳとこれに対応した路面上のδＲとの比μ＝δＳ／δＲに比例している。この比例定数を１、すなわち縮小率をμとする。画像上の軌跡の各微小線分に、その位置のμを乗じたものが、実軌跡の線分に対応する。
【００３７】
一方、移動物体の代表点をその領域の幾何学的重心として求めると、移動物体毎にその高さが異なるので、移動物体の速度をこの代表点に基づいて計測すると、誤差が生ずる原因となる。移動物体のカメラ側端、例えば、移動物体がビデオカメラ１０から遠ざかる方向へ移動する場合には移動物体後端、逆方向へ移動する場合には移動物体前端が、路面に最も近くかつビデオカメラ１０から見える位置となり、これを計測点とすれば、速度計測誤差を小さくすることができる。
【００３８】
しかしながら、カメラアングルを低くして移動物体に対する視野を広くしたり、車輌が渋滞したりした場合には、画像上で複数の移動物体がその進行方向に重なって、この計測点が隠蔽されるという問題が生ずる。また、リアルタイム処理を高速に行うためにモノクロ濃淡画像を使うと、移動物体とその影を含んだものが移動物体と認識されて、計測点が安定せず、その誤差が比較的大きくなる。
【００３９】
そこで、本実施例１では、以下のようにしてこの問題を解決している。
【００４０】
ＩＤ生成／消滅部２３は、図２及び図４において、クラスタ３３Ｃの後端３３Ｃ１が入口スリット３１Ａの後端３１Ａ１を完全に通過したと判定すると、これを初期値決定部２６に通知する。この時点をｔ０とする。
【００４１】
初期値決定部２６は、これに応答して、時刻ｔ０でのオブジェクトマップ３５に基づいて、移動物体領域の代表点を求める。例えば図４に示すオブジェクトマップ３５において、クラスタ３３Ｃの幾何学的重心位置を、移動物体３３の代表点として求める。
【００４２】
ここで、時刻ｔにおける移動物体３３の代表点をＲＰ（ｔ）、代表点から計測点までのオフセットベクトルをＯＦＶ（ｔ）、代表点の動きベクトル（代表動きベクトル）をＲＭＶ（ｔ）と表記する。図６（Ａ）及び（Ｂ）はそれぞれ、時刻ｔ０及びｔｋでのこれらを示す。また、第ｉ行第ｊ列のブロックの縮小率をμ（ｉ，ｊ）と表記する。
【００４３】
一方、図１の動きベクトル平均値算出部２７は、動きベクトルＭＶのオブジェクトマップにおいて、各移動物体領域に含まれるすべてのブロックの動きベクトルＭＶの平均値を、代表動きベクトルＲＭＶ（ｔ）として求める。
【００４４】
初期値決定部２６はさらに、動きベクトル平均値算出部２７から代表動きベクトルＲＭＶ（ｔ０）を取得し、図６（Ａ）において、代表点ＲＰ（ｔ０）を始点とする代表動きベクトルＲＭＶ（ｔ０）が通る直線上を、ビデオカメラ１０に接近する方向へフレーム画像３０上で走査し、クラスタ３３Ｃ内の最も外側のエッジ位置を、初期計測点ＭＰ（ｔ０）として求める。
【００４５】
図１の代表点追跡部２８は、初期値決定部２６で求められた代表点ＲＰ（ｔ０）に、動きベクトル平均値算出部２７で順次求められる代表動きベクトルＲＭＶ（ｔ）を累積加算することにより、代表点の軌跡ＲＰ（ｔ）を求める。図７は、移動物体３３が直線移動する場合の時間（フレーム番号）ｔ０〜ｔ５における代表点の位置を示す。
【００４６】
このようにして求めた代表点の軌跡は、ブロック量子化誤差の影響を受けないので、安定したものとなる。また、画像上で移動物体の一部が他の移動物体に隠蔽されても、これにより、代表点が殆どずれない（平均化対象の動きベクトルが少なくなることにより少しずれる）ので、代表点の軌跡をより正確に求めることが可能となる。さらに、例えば時刻ｔ０でのみクラスタ３３Ｃ内についてカラー画像を処理することにより、影が移動物体と判定されている場合にこれをクラスタ３３Ｃから除去して、代表点ＲＰ（ｔ０）及び代表動きベクトルＲＭＶ（ｔ０）を求めるようにすれば、その後はモノクロ画像のみを処理することにより、影の影響を受けずに代表点ＲＰ（ｔ）を正確かつ高速に求めることが可能となる。
【００４７】
図１に戻って、縮小率マップ２９は、記憶部と処理部とを備え、記憶部には上述の縮小率のマップ（配列）μが格納されており、処理部は初期代表点ＲＰ（ｔ０）及び代表点追跡部２８で求められた代表点ＲＰ（ｔ）に応答して、代表点が属するブロックの座標（ｉ，ｊ）を求め、その縮小率μ（ｉ，ｊ）を計測点追跡部２Ａに供給する。
【００４８】
計測点追跡部２Ａは、代表点追跡部２８で求められた代表点ＲＰ（ｔ）を始点とするオフセットベクトル
ＯＦＶ（ｔ）＝ＯＦＶ（ｔ）＝−｜ＯＦＶ（ｔ０）｜・μ（ｉ，ｊ）／μ（ｉ０，ｊ０）・ＲＭＶ（ｔ）／｜ＲＭＶ（ｔ）｜を求める。但し、ビデオカメラ１０側へ接近する移動物体については、この符号が逆になる。
【００４９】
すなわち、初期値決定部２６で求められたオフセットベクトルＯＦＶ（ｔ０）の絶対値をμ（ｉ，ｊ）／μ（ｉ０，ｊ０）倍にしたものをオフセットベクトルＯＦＶ（ｔ）の長さとする。ここに、（ｉ，ｊ）及び（ｉ０，ｊ０）はそれぞれ、時刻ｔ０及びｔでの代表点が属するブロック座標である。また、動きベクトル平均値算出部２７で求められた代表動きベクトルＲＭＶ（ｔ）が通る直線のカメラ側、図５の場合は移動物体後端側を、オフセットベクトルＯＦＶ（ｔ）の向きとして求める。
【００５０】
このようにして求められたオフセットベクトルＯＦＶ（ｔ）の先端を連ねたものが、計測点ＭＰ（ｔ）の軌跡となる。図７は、移動物体３３が直線移動する場合の計測点ＭＰ（ｔ）の軌跡も示す。
【００５１】
図８は、移動物体３３が右折する場合に、上述のようにして求められる代表点と計測点の軌跡を示す。
【００５２】
このようにして計測点を求めることにより、計測点が画像上で他の移動物体により隠蔽されても、正確に求めることが可能となる。
【００５３】
なお、本発明には外にも種々の変形例が含まれる。
【００５４】
例えば、上記実施例では、クラスタ内の全ての動きベクトルの平均値を初期代表動きベクトルとして求めたが、移動物体の領域に含まれる複数ブロックの動きベクトルの平均値であればよく、代表点付近のブロック、例えば代表点が属するブロックとその周囲の８個のブロックの動きベクトルの平均値であってもよい。
【００５５】
また、上記実施例では、初期代表点として求める移動物体の領域の幾何学的重心として、クラスタの幾何学的重心を求めたが、該クラスタに対応するフレーム画像上の移動物体の領域の幾何学的重心を求めてもよい。
【００５６】
さらに、上記実施例では、初期代表点を始点とする初期オフセットベクトルの終点をフレーム画像上で求めたが、ブロックサイズは比較的小さいので、オブジェクトマップ上の端部ブロック内の点又はその近傍の点を初期オフセットベクトルの終点として求めてもよい。
【００５７】
さらに、例えば図３において、ビデオカメラから遠方の入口スリット３１Ｂ側で初期代表点及び計測点を求めるよりも近くの出口スリット３２Ｂ側でこれらを求めた方が精度が高くなるので、出口スリット３２Ｂ側でこれらを求め、上記特許文献１に記載のように時間を遡って移動物体を追跡する構成であってもよく、これは、過去のビデオの解析のようにリアルタイム処理が要求されない場合に有効である。また、入口スリットや出口スリットの替わりにラインを用い、ライン通過等のラインとの関係でＩＤの付与／消滅を行ってもよい。
【００５８】
また、初期値決定部２６での処理開始時点は、設定したラインが移動物体（クラスタ）と所定の関係になった時点、例えば、移動物体の先端部、後端部又は代表点が該ラインと一致し又は該ラインを通過した時点であってもよい。なぜならば、ラインをどの位置に設定するかで該所定の関係を変えることができ、また、時間を遡って入口スリットに入る前の移動物体軌跡を求めることができるからである。このラインは領域の辺であってもよい。
【００５９】
さらに、上記実施例では代表点での縮小率を求める場合を説明したが、これは近似的なものであり、例えば、上記実施例のようにして計測点を求めた後に、計測点と代表点との間、例えば中央点が属するブロックの縮小率を求め、これを初期オフセット長さに乗じてオフセットベクトルの絶対値を決定することで、計測点の精度を向上させてもよい。このような処理を複数回又は該絶対値が収束するまで繰り返してもよい。
【図面の簡単な説明】
【００６０】
【図１】本発明の実施例１の画像上移動物体追跡装置の概略機能ブロック図である。
【図２】入口及び出口のスリットとブロック境界線とを時刻ｔ０のフレーム画像に重ね合わせた説明図である。
【図３】入口及び出口のスリットとブロック境界線とを他の時刻でのフレーム画像に重ね合わせた説明図である。
【図４】時刻ｔ０での移動物体ＩＤのオブジェクトマップに、理解を容易にするため図２中の移動物体を重ね合わせ、さらにこれらのクラスタの境界を太線で示したＩＤオブジェクトマップ説明図である。
【図５】実長さに対する画像上の長さの比である縮小率と、計測誤差が生ずる原因とを説明する図である。
【図６】（Ａ）及び（Ｂ）はそれぞれ時刻ｔ０及びｔｋでの代表点ＲＰ、代表動きベクトルＲＭＶ及びオフセットベクトルＯＦＶを示す図である。
【図７】移動物体が直線移動する場合の、時刻ｔをパラメータとする代表点の軌跡ＲＰ（ｔ）及び計測点の軌跡ＭＰ（ｔ）の説明図である。
【図８】移動物体が右折する場合の代表点及び計測点の軌跡説明図である。
【符号の説明】
【００６１】
１０ ビデオカメラ
２０ 画像上移動物体追跡装置
２１ 画像メモリ
２２ 背景画像生成部
２３ ＩＤ生成／消滅部
２４ オブジェクトマップ記憶部
２５ 移動物体追跡部
２６ 初期値決定部
２７ 動きベクトル平均値算出部
２８ 代表点追跡部
２９ 縮小率マップ
２Ａ 計測点追跡部
３０ フレーム画像
３１Ａ、３１Ｂ 入口スリット
３２Ｂ、３２Ａ 出口スリット
３３、３４ 移動物体
３３Ｃ、３４Ｃ クラスタ
ＩＮ 入力装置
ＯＵＴ 表示装置
ＲＰ、ＲＰ（ｔ） 代表点
ＲＭＶ、ＲＭＶ（ｔ） 代表動きベクトル
ＯＦＶ、ＯＦＶ（ｔ） オフセットベクトル
ＭＰ 計測点
ＳＣ 投影面
【技術分野】
【０００１】
本発明は、時系列画像を処理して画像中の移動物体を追跡する画像上移動物体追跡方法及び装置に関する。
【背景技術】
【０００２】
ビデオカメラで移動物体を撮像し、画像処理して画像上の移動物体を追跡することにより、交通状態や交通事故の検出等を自動的に行うことができる。
【０００３】
画像上の移動物体を追跡する方法として、例えば４８０×６４０画素のフレーム画像を８×８画素のブロックに分割して６０×８０ブロックの画像とし、各ブロックの画像を背景画像の対応するブロックの画像と比較して、ブロック単位で移動物体を検出し、時刻ｔ−１とｔのフレーム画像の時空相関に基づいてブロック単位で移動物体の識別符号（ＩＤ）及び動きベクトル（ＭＶ）を求める方法がある（下記特許文献１）。これにより、同一移動物体と認められるブロックには同一ＩＤが付与される。
【０００４】
しかしながら、ブロック単位で移動物体を検出するので、ブロックの集合としての移動物体領域（クラスタ）の周部ブロックについては、１ブロック幅の量子化誤差がある。このため、クラスタの幾何学的重心をクラスタの代表点とすると、代表点の軌跡が変動し、ジグザグになる。また、画像上で移動物体の一部が他の移動物体に隠蔽されると、代表点が、隠蔽前の位置からずれる。さらに、リアルタイム処理を高速に行うためにモノクロ濃淡画像を使うと、移動物体とその影を含んだものが移動物体と認識されて、代表点が影側にずれる。この影の影響は、天候や時間帯に依存する。
【０００５】
したがって、代表点の軌跡が安定しないとともに、その誤差が比較的大きくなる。
【０００６】
また、移動物体の速度、２点間通過の平均速度、加速度又は特定点通過時点等を画像処理で計測する場合、図５に示すように路面上の移動物体の位置によりビデオカメラとの距離及びカメラの視線方向と路面とのなす角度が異なるので、実長さと画像上の長さとの比を考慮する必要があるが、画像上の同じ位置のブロックでも、移動物体の高さによりビデオカメラとの距離が異なるので、計測誤差が生ずる。これを小さくするため、移動物体の路面側のエッジを計測点とすると、該計測点が画像上で他の移動物体に隠蔽されると、計測できない。この場合、計測点を移動させれば、その時点で計測誤差が大きくなる。
【特許文献１】特開２００４−２０７７８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、上記問題点に鑑み、移動物体の速度、２点間通過の平均速度、加速度又は特定点通過時点等の計測誤差を低減できる計測点及びこのような計測点を求めるための代表点を求めることが可能な画像上移動物体追跡方法及び装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の第１態様では、記憶手段に格納された時系列画像の各々を複数ブロックに分割し、時刻ｔ１のフレーム画像と時刻ｔ２のフレーム画像との相関関係と、該時刻ｔ１のフレーム画像に含まれる移動物体の識別結果とに基づいて、該時刻ｔ２のフレーム画像に含まれる移動物体をブロック単位で識別するとともにブロック単位で移動物体の動きベクトルを求める画像上移動物体追跡方法において、
（ｂ）移動物体の領域の幾何学的重心を初期代表点として求め、
（ｃ）該初期代表点に、その後のフレーム画像毎に求めた移動物体の領域の代表動きベクトルを順次累積加算することにより該移動物体の領域の代表点の軌跡を求めるステップを有する。
【０００９】
本発明による画像上移動物体追跡方法の第２態様では、第１態様において、
該ステップ（ｂ）の前にさらに、（ａ）フレーム画像に対応した領域上に予め設定された入口領域の後端を該移動物体の領域の後端が通過したか否かを判定するステップを有し、
肯定判定した場合に該ステップ（ｂ）の処理を行い、
該ステップ（ｃ）での代表動きベクトルは、該移動物体の領域に含まれる複数ブロックの動きベクトルの平均値である。
【００１０】
本発明による画像上移動物体追跡方法の第３態様では、第１又は２態様において、（ｄ）該ステップ（ｃ）で求めた代表点の軌跡における各代表動きベクトルの始点に、該移動物体の領域のサイズに依存したオフセットベクトルを加算することにより、該移動物体の計測点を求めるステップをさらに有する。
【００１１】
本発明による画像上移動物体追跡方法の第４態様では、第３態様において、該記憶手段にはさらに、フレーム画像上の位置と該位置での実空間に対する縮小率に比例した値との関係を示す情報が予め格納されており、
該ステップ（ｄ）は、
（ｄ１）該初期代表点を始点とするオフセットベクトルを初期オフセットベクトルとして求め、
（ｄ２）該情報を参照して各代表動きベクトル始点での係数を求め、該係数を該初期オフセットベクトルの絶対値に乗じて、該代表動きベクトル始点に加算するオフセットベクトルの絶対値を求めるステップを有する。
【００１２】
本発明による画像上移動物体追跡方法の第５態様では、第４態様において、該ステップ（ｄ２）において、該代表動きベクトル始点に加算するオフセットベクトルの方向を、該代表動きベクトルの向き且つ該移動物体の領域の時系列画像撮影カメラ側とする。
【発明の効果】
【００１３】
上記第１態様の構成によれば、移動物体の領域の幾何学的重心を初期代表点として求め、該初期代表点に、その後のフレーム画像毎に求めた移動物体の領域の代表動きベクトルを順次累積加算することにより該移動物体の領域の代表点の軌跡を求めるので、代表点の軌跡はブロック量子化誤差の影響を受けず、安定したものとなり、また、画像上で移動物体の一部が他の移動物体に隠蔽されても、これにより代表点が殆どずれないので、代表点の軌跡をより正確に求めることが可能となる。
【００１４】
上記第２態様の構成によれば、フレーム画像に対応した領域上に予め設定された入口領域の後端を該移動物体の領域の後端が通過した場合に該ステップ（ｂ）の処理を開始するので、この通過後に代表点の軌跡を求めることができる。また、代表動きベクトルが、該移動物体の領域に含まれる複数ブロックの動きベクトルの平均値であるので、該代表動きベクトルを容易に求めることができる。
【００１５】
上記第３態様の構成によれば、該ステップ（ｃ）で求めた代表点の軌跡における各代表動きベクトルの始点に、該移動物体の領域のサイズに依存（例えば比例）したオフセットベクトルを加算することにより、該移動物体の計測点を求めるので、計測点が画像上で他の移動物体により隠蔽されても、計測点を正確に求めることが可能となる。
【００１６】
上記第４態様の構成によれば、フレーム画像上の位置と該位置での実空間に対する縮小率に比例した値との関係を示す情報を参照して各代表動きベクトル始点での係数を求め、該係数を該初期オフセットベクトルの絶対値に乗じて、該代表動きベクトル始点に加算するオフセットベクトルの絶対値を求めるので、オフセットベクトルの大きさを正確に求めることができ、計測精度向上に寄与する。
【００１７】
上記第５態様の構成によれば、該代表動きベクトル始点に加算するオフセットベクトルの方向を、該代表動きベクトルの向き且つ該移動物体の領域の時系列画像撮影カメラ側とするので、該移動物体が旋回してもオフセットベクトルの終点を該移動物体上の端部かつ略所定点にすることができ、計測精度向上に寄与する。
【００１８】
本発明の他の目的、構成及び効果は以下の説明から明らかになる。
【実施例１】
【００１９】
以下、図面を参照して本発明の実施例１を説明する。図面において、同一又は類似の要素には、同一又は類似の符号を付している。
【００２０】
図１は、ビデオカメラ（例えばＩＴＶカメラ）１０で撮像された画像を処理して移動物体を追跡する、本発明の実施例１の画像上移動物体追跡装置２０の概略機能ブロック図である。
【００２１】
この装置２０のうち記憶部以外は、コンピュータソフトウェア、専用のハードウェア又はコンピュータソフトウェアと専用のハードウェアの組み合わせで構成することができる。
【００２２】
ビデオカメラ１０で撮影された時系列画像は、例えば３０フレーム／秒のレートでサンプリングされて、画像メモリ２１に格納され、最も古いフレーム画像が新しいフレーム画像で書き換えられる。
【００２３】
本発明は、画像メモリ２１に格納された画像データをブロック２３〜２８によりリアルタイムで処理する場合のみならず、不図示の外部記憶装置に格納しておき、必要な部分のみ後で処理する場合にも適用できる。
【００２４】
また、画像メモリ２１に格納された画像（原画像）を直接、ブロック２３〜２８で処理しても、ラプラシアンフィルタ等のフィルタをかけて空間的差分フレーム画像に変換したもの又は２次元フーリエ変換し所定周波数以上の成分を強調した後に逆フーリエ変換したもの（変換画像）を、ブロック２３〜２８で処理する構成であってもよい。以下、「画像」とは原画像又は変換画像を意味する。
【００２５】
背景画像生成部２２は、記憶部と処理部とを備え、処理部は、画像メモリ２１をアクセスし、例えば過去１分間の全ての又は間引かれたもののフレーム画像の対応する画素について画素値のヒストグラムを作成し、その最頻値（モード）をその画素の画素値とする画像を、移動物体が存在しない背景画像として生成し、これを該記憶部に格納する。背景画像は、この処理が定期的に行われて更新される。
【００２６】
ＩＤ生成／消滅部２３には、図２に示す如くフレーム画像３０内に配置される入口スリット３１Ａ、３１Ｂ及び出口スリット３２Ａ、３２Ｂの領域データが、予め設定されている。図２は、フレーム画像３０に、これらスリットと、点線で示すブロックの境界線とが重ね合わされている。１ブロックは例えば８×８画素である。
【００２７】
前記スリットの設定は、マウス等のポインティングデバイス又はキーボード等の入力装置ＩＮと、設定を確認する表示装置ＯＵＴと、ＩＤ生成／消滅部２３に含まれる入力処理プログラムとを含む設定手段により、人の操作に基づいて行われる。図２ではスリットの奥行が２ブロック幅であるが、１ブロック幅の整数倍であればよい。
【００２８】
ＩＤ生成／消滅部２３は、画像メモリ２１から入口スリット３１Ａ及び３１Ｂ内の画像データを読み込み、これらの内側に移動物体が存在するかどうかをブロック単位で判定する。あるブロックに移動物体が存在するかどうかは、このブロック内の各画素と背景画像の対応する画素との差の絶対値の総和が閾値以上であるかどうかにより判定する。
【００２９】
ＩＤ生成／消滅部２３は、ブロック内に移動物体が存在すると判定すると、このブロックに新たな移動物体識別符号（ＩＤ）を付与する。ＩＤ生成／消滅部２３は、ＩＤ付与済ブロックと隣接しているブロックに移動物体が存在すると判定すると、この隣接ブロックに付与済ブロックと同一のＩＤを付与する。このＩＤ付与済ブロックは、スリットに隣接しているブロックも含まれる。以下、ＩＤが付与されたブロックの塊をクラスタと称する。
【００３０】
ＩＤの付与は、記憶部２４内のオブジェクトマップの対応するブロックに対して行われる。オブジェクトマップは、上述の場合６０×８０ブロックの各ブロックの移動物体情報を記憶するためのものであり、移動物体情報は、ＩＤが付与されているかどうかを示すフラグを含み、ＩＤが付与されていることを示している場合にはさらにＩＤ及びブロックの動きベクトル（ＭＶ）を含む。この情報は配列Ｍ（ｉ，ｊ，ｎ）で表すことができる。ここに（ｉ，ｊ）は第ｉ行第ｊ列のブロックを示し、ｎ＝０、ｎ＝１及びｎ＝２はそれぞれＭがフラグ、ＩＤ及びＭＶであることを示す。なお、該フラグを用いずに、ＩＤ＝０のときＩＤが付与されていないと判定してもよい。また、ＩＤの最上位ビットをフラグとしてもよい。ブロックマッチングでＭＶが求まらないブロックのＭＶは例えば、その回りの同一ＩＤのブロックのＭＶの平均値に等しくする。
【００３１】
入口スリット３１Ａ又は３１Ｂを通過したクラスタに対しては、移動物体追跡部２５により、例えば上記特許文献１に記載の方法で追跡処理が行われる。例えば、高速処理のため、時刻ｔ−１（フレーム番号）でのＭＶに基づいて時刻ｔでのクラスタの概略移動範囲が推定され、この範囲内で上述の移動物体存否判定がブロック毎に行われ、移動方向側のブロックに対するＩＤの付与及び移動と反対方向側のブロックに対するＩＤの消滅が行われて、時刻ｔでのクラスタが決定される。また、時刻ｔ−１とｔのフレーム画像間のブロックマッチングにより、時刻ｔでＩＤが付与されているブロックのＭＶが求められる。高速処理のため、ブロックマッチングを行う範囲は、時刻ｔ−１でのＭＶに基づいて定められる。各ブロックのＩＤとＭＶは、上記特許文献１に記載のように、評価関数を用いて同時に決定することもできる。ＩＤ及びＭＶの更新は、記憶部２４内のオブジェクトマップに対して行われる。
【００３２】
移動物体追跡部２５による追跡処理は、各クラスタについて出口スリット３２Ａ又は３２Ｂ内まで行われる。
【００３３】
ＩＤ生成／消滅部２３はさらに、記憶部２４内のオブジェクトマップに基づき出口スリット３２Ａ及び３２Ｂ内のブロックにＩＤが付与されているかどうかを調べ、付与されていれば、クラスタが出口スリットを通過したときにそのＩＤを消滅させる。
【００３４】
図４は、時刻ｔ０でのＩＤのオブジェクトマップに、理解を容易にするため図２中の画像上移動物体３３及び３４を重ね合わせ、さらにこれらのクラスタ３３Ｃ及び３４Ｃの境界を太線で示したものである。
【００３５】
本実施例１の特徴は、図１中のブロック２６〜２９及び２Ａと、これらとブロック２３及び２４との関係にあり、以下これを詳述する。
【００３６】
フレーム画像３０上において、時刻ｔ０で図２に示す位置にいた移動物体３３及び３４がそれぞれ、図４に示す位置に移動したとする。図５に示すように、移動物体３３とビデオカメラ１０との間の距離が異なることと、ビデオカメラ１０から路面への直線と路面とのなす角度が移動物体３３の位置により異なることから、実物の長さに対する画像上の長さ（縮小率）が画像上の位置により異なる。ビデオカメラ１０の撮像面の画像は、ビデオカメラ１０の光軸に垂直な面ＳＣ上への実物の投影像に比例しているので、この縮小率は、投影面ＳＣ上のδＳとこれに対応した路面上のδＲとの比μ＝δＳ／δＲに比例している。この比例定数を１、すなわち縮小率をμとする。画像上の軌跡の各微小線分に、その位置のμを乗じたものが、実軌跡の線分に対応する。
【００３７】
一方、移動物体の代表点をその領域の幾何学的重心として求めると、移動物体毎にその高さが異なるので、移動物体の速度をこの代表点に基づいて計測すると、誤差が生ずる原因となる。移動物体のカメラ側端、例えば、移動物体がビデオカメラ１０から遠ざかる方向へ移動する場合には移動物体後端、逆方向へ移動する場合には移動物体前端が、路面に最も近くかつビデオカメラ１０から見える位置となり、これを計測点とすれば、速度計測誤差を小さくすることができる。
【００３８】
しかしながら、カメラアングルを低くして移動物体に対する視野を広くしたり、車輌が渋滞したりした場合には、画像上で複数の移動物体がその進行方向に重なって、この計測点が隠蔽されるという問題が生ずる。また、リアルタイム処理を高速に行うためにモノクロ濃淡画像を使うと、移動物体とその影を含んだものが移動物体と認識されて、計測点が安定せず、その誤差が比較的大きくなる。
【００３９】
そこで、本実施例１では、以下のようにしてこの問題を解決している。
【００４０】
ＩＤ生成／消滅部２３は、図２及び図４において、クラスタ３３Ｃの後端３３Ｃ１が入口スリット３１Ａの後端３１Ａ１を完全に通過したと判定すると、これを初期値決定部２６に通知する。この時点をｔ０とする。
【００４１】
初期値決定部２６は、これに応答して、時刻ｔ０でのオブジェクトマップ３５に基づいて、移動物体領域の代表点を求める。例えば図４に示すオブジェクトマップ３５において、クラスタ３３Ｃの幾何学的重心位置を、移動物体３３の代表点として求める。
【００４２】
ここで、時刻ｔにおける移動物体３３の代表点をＲＰ（ｔ）、代表点から計測点までのオフセットベクトルをＯＦＶ（ｔ）、代表点の動きベクトル（代表動きベクトル）をＲＭＶ（ｔ）と表記する。図６（Ａ）及び（Ｂ）はそれぞれ、時刻ｔ０及びｔｋでのこれらを示す。また、第ｉ行第ｊ列のブロックの縮小率をμ（ｉ，ｊ）と表記する。
【００４３】
一方、図１の動きベクトル平均値算出部２７は、動きベクトルＭＶのオブジェクトマップにおいて、各移動物体領域に含まれるすべてのブロックの動きベクトルＭＶの平均値を、代表動きベクトルＲＭＶ（ｔ）として求める。
【００４４】
初期値決定部２６はさらに、動きベクトル平均値算出部２７から代表動きベクトルＲＭＶ（ｔ０）を取得し、図６（Ａ）において、代表点ＲＰ（ｔ０）を始点とする代表動きベクトルＲＭＶ（ｔ０）が通る直線上を、ビデオカメラ１０に接近する方向へフレーム画像３０上で走査し、クラスタ３３Ｃ内の最も外側のエッジ位置を、初期計測点ＭＰ（ｔ０）として求める。
【００４５】
図１の代表点追跡部２８は、初期値決定部２６で求められた代表点ＲＰ（ｔ０）に、動きベクトル平均値算出部２７で順次求められる代表動きベクトルＲＭＶ（ｔ）を累積加算することにより、代表点の軌跡ＲＰ（ｔ）を求める。図７は、移動物体３３が直線移動する場合の時間（フレーム番号）ｔ０〜ｔ５における代表点の位置を示す。
【００４６】
このようにして求めた代表点の軌跡は、ブロック量子化誤差の影響を受けないので、安定したものとなる。また、画像上で移動物体の一部が他の移動物体に隠蔽されても、これにより、代表点が殆どずれない（平均化対象の動きベクトルが少なくなることにより少しずれる）ので、代表点の軌跡をより正確に求めることが可能となる。さらに、例えば時刻ｔ０でのみクラスタ３３Ｃ内についてカラー画像を処理することにより、影が移動物体と判定されている場合にこれをクラスタ３３Ｃから除去して、代表点ＲＰ（ｔ０）及び代表動きベクトルＲＭＶ（ｔ０）を求めるようにすれば、その後はモノクロ画像のみを処理することにより、影の影響を受けずに代表点ＲＰ（ｔ）を正確かつ高速に求めることが可能となる。
【００４７】
図１に戻って、縮小率マップ２９は、記憶部と処理部とを備え、記憶部には上述の縮小率のマップ（配列）μが格納されており、処理部は初期代表点ＲＰ（ｔ０）及び代表点追跡部２８で求められた代表点ＲＰ（ｔ）に応答して、代表点が属するブロックの座標（ｉ，ｊ）を求め、その縮小率μ（ｉ，ｊ）を計測点追跡部２Ａに供給する。
【００４８】
計測点追跡部２Ａは、代表点追跡部２８で求められた代表点ＲＰ（ｔ）を始点とするオフセットベクトル
ＯＦＶ（ｔ）＝ＯＦＶ（ｔ）＝−｜ＯＦＶ（ｔ０）｜・μ（ｉ，ｊ）／μ（ｉ０，ｊ０）・ＲＭＶ（ｔ）／｜ＲＭＶ（ｔ）｜を求める。但し、ビデオカメラ１０側へ接近する移動物体については、この符号が逆になる。
【００４９】
すなわち、初期値決定部２６で求められたオフセットベクトルＯＦＶ（ｔ０）の絶対値をμ（ｉ，ｊ）／μ（ｉ０，ｊ０）倍にしたものをオフセットベクトルＯＦＶ（ｔ）の長さとする。ここに、（ｉ，ｊ）及び（ｉ０，ｊ０）はそれぞれ、時刻ｔ０及びｔでの代表点が属するブロック座標である。また、動きベクトル平均値算出部２７で求められた代表動きベクトルＲＭＶ（ｔ）が通る直線のカメラ側、図５の場合は移動物体後端側を、オフセットベクトルＯＦＶ（ｔ）の向きとして求める。
【００５０】
このようにして求められたオフセットベクトルＯＦＶ（ｔ）の先端を連ねたものが、計測点ＭＰ（ｔ）の軌跡となる。図７は、移動物体３３が直線移動する場合の計測点ＭＰ（ｔ）の軌跡も示す。
【００５１】
図８は、移動物体３３が右折する場合に、上述のようにして求められる代表点と計測点の軌跡を示す。
【００５２】
このようにして計測点を求めることにより、計測点が画像上で他の移動物体により隠蔽されても、正確に求めることが可能となる。
【００５３】
なお、本発明には外にも種々の変形例が含まれる。
【００５４】
例えば、上記実施例では、クラスタ内の全ての動きベクトルの平均値を初期代表動きベクトルとして求めたが、移動物体の領域に含まれる複数ブロックの動きベクトルの平均値であればよく、代表点付近のブロック、例えば代表点が属するブロックとその周囲の８個のブロックの動きベクトルの平均値であってもよい。
【００５５】
また、上記実施例では、初期代表点として求める移動物体の領域の幾何学的重心として、クラスタの幾何学的重心を求めたが、該クラスタに対応するフレーム画像上の移動物体の領域の幾何学的重心を求めてもよい。
【００５６】
さらに、上記実施例では、初期代表点を始点とする初期オフセットベクトルの終点をフレーム画像上で求めたが、ブロックサイズは比較的小さいので、オブジェクトマップ上の端部ブロック内の点又はその近傍の点を初期オフセットベクトルの終点として求めてもよい。
【００５７】
さらに、例えば図３において、ビデオカメラから遠方の入口スリット３１Ｂ側で初期代表点及び計測点を求めるよりも近くの出口スリット３２Ｂ側でこれらを求めた方が精度が高くなるので、出口スリット３２Ｂ側でこれらを求め、上記特許文献１に記載のように時間を遡って移動物体を追跡する構成であってもよく、これは、過去のビデオの解析のようにリアルタイム処理が要求されない場合に有効である。また、入口スリットや出口スリットの替わりにラインを用い、ライン通過等のラインとの関係でＩＤの付与／消滅を行ってもよい。
【００５８】
また、初期値決定部２６での処理開始時点は、設定したラインが移動物体（クラスタ）と所定の関係になった時点、例えば、移動物体の先端部、後端部又は代表点が該ラインと一致し又は該ラインを通過した時点であってもよい。なぜならば、ラインをどの位置に設定するかで該所定の関係を変えることができ、また、時間を遡って入口スリットに入る前の移動物体軌跡を求めることができるからである。このラインは領域の辺であってもよい。
【００５９】
さらに、上記実施例では代表点での縮小率を求める場合を説明したが、これは近似的なものであり、例えば、上記実施例のようにして計測点を求めた後に、計測点と代表点との間、例えば中央点が属するブロックの縮小率を求め、これを初期オフセット長さに乗じてオフセットベクトルの絶対値を決定することで、計測点の精度を向上させてもよい。このような処理を複数回又は該絶対値が収束するまで繰り返してもよい。
【図面の簡単な説明】
【００６０】
【図１】本発明の実施例１の画像上移動物体追跡装置の概略機能ブロック図である。
【図２】入口及び出口のスリットとブロック境界線とを時刻ｔ０のフレーム画像に重ね合わせた説明図である。
【図３】入口及び出口のスリットとブロック境界線とを他の時刻でのフレーム画像に重ね合わせた説明図である。
【図４】時刻ｔ０での移動物体ＩＤのオブジェクトマップに、理解を容易にするため図２中の移動物体を重ね合わせ、さらにこれらのクラスタの境界を太線で示したＩＤオブジェクトマップ説明図である。
【図５】実長さに対する画像上の長さの比である縮小率と、計測誤差が生ずる原因とを説明する図である。
【図６】（Ａ）及び（Ｂ）はそれぞれ時刻ｔ０及びｔｋでの代表点ＲＰ、代表動きベクトルＲＭＶ及びオフセットベクトルＯＦＶを示す図である。
【図７】移動物体が直線移動する場合の、時刻ｔをパラメータとする代表点の軌跡ＲＰ（ｔ）及び計測点の軌跡ＭＰ（ｔ）の説明図である。
【図８】移動物体が右折する場合の代表点及び計測点の軌跡説明図である。
【符号の説明】
【００６１】
１０ ビデオカメラ
２０ 画像上移動物体追跡装置
２１ 画像メモリ
２２ 背景画像生成部
２３ ＩＤ生成／消滅部
２４ オブジェクトマップ記憶部
２５ 移動物体追跡部
２６ 初期値決定部
２７ 動きベクトル平均値算出部
２８ 代表点追跡部
２９ 縮小率マップ
２Ａ 計測点追跡部
３０ フレーム画像
３１Ａ、３１Ｂ 入口スリット
３２Ｂ、３２Ａ 出口スリット
３３、３４ 移動物体
３３Ｃ、３４Ｃ クラスタ
ＩＮ 入力装置
ＯＵＴ 表示装置
ＲＰ、ＲＰ（ｔ） 代表点
ＲＭＶ、ＲＭＶ（ｔ） 代表動きベクトル
ＯＦＶ、ＯＦＶ（ｔ） オフセットベクトル
ＭＰ 計測点
ＳＣ 投影面
【特許請求の範囲】
【請求項１】
記憶手段に格納された時系列画像の各々を複数ブロックに分割し、時刻ｔ１のフレーム画像と時刻ｔ２のフレーム画像との相関関係と、該時刻ｔ１のフレーム画像に含まれる移動物体の識別結果とに基づいて、該時刻ｔ２のフレーム画像に含まれる移動物体をブロック単位で識別するとともにブロック単位で移動物体の動きベクトルを求める画像上移動物体追跡方法において、
（ｂ）移動物体の領域の幾何学的重心を初期代表点として求め、
（ｃ）該初期代表点に、その後のフレーム画像毎に求めた移動物体の領域の代表動きベクトルを順次累積加算することにより該移動物体の領域の代表点の軌跡を求める、
ステップを有することを特徴とする画像上移動物体追跡方法。
【請求項２】
該ステップ（ｂ）の前にさらに、
（ａ）フレーム画像に対応したエリア上に予め設定された領域又は線と該移動物体の領域が所定の関係にあるか否かを判定する、
ステップを有し、肯定判定した場合に該ステップ（ｂ）の処理を行い、
該ステップ（ｃ）での代表動きベクトルは、該移動物体の領域に含まれる複数ブロックの動きベクトルの平均値である、
ことを特徴とする請求項１に記載の画像上移動物体追跡方法。
【請求項３】
（ｄ）該ステップ（ｃ）で求めた代表点の軌跡における各代表動きベクトルの始点に、該移動物体の領域のサイズに依存したオフセットベクトルを加算することにより、該移動物体の計測点を求める、
ステップをさらに有することを特徴とする請求項１又は２に記載の画像上移動物体追跡方法。
【請求項４】
該記憶手段にはさらに、フレーム画像上の位置と該位置での実空間に対する縮小率に比例した値との関係を示す情報が予め格納されており、
該ステップ（ｄ）は、
（ｄ１）該初期代表点を始点とするオフセットベクトルを初期オフセットベクトルとして求め、
（ｄ２）該情報を参照して各代表動きベクトル始点での係数を求め、該係数を該初期オフセットベクトルの絶対値に乗じて、該代表動きベクトル始点に加算するオフセットベクトルの絶対値を求める、
ステップを有することを特徴とする請求項３に記載の画像上移動物体追跡方法。
【請求項５】
該ステップ（ｄ２）において、該代表動きベクトル始点に加算するオフセットベクトルの方向を、該代表動きベクトルの向き且つ該移動物体の領域の時系列画像撮影カメラ側とすることを特徴とする請求項４に記載の画像上移動物体追跡方法。
【請求項６】
時系列画像が格納される画像記憶手段と、
該格納された時系列画像の各々を複数ブロックに分割し、時刻ｔ１のフレーム画像と時刻ｔ２のフレーム画像との相関関係と、該時刻ｔ１のフレーム画像に含まれる移動物体の識別結果とに基づいて、該時刻ｔ２のフレーム画像に含まれる移動物体をブロック単位で識別するとともにブロック単位で移動物体の動きベクトルを求める画像処理手段と、
を有する画像上移動物体追跡装置において、該画像処理手段は、
（ｂ）移動物体の領域の幾何学的重心を初期代表点として求め、
（ｃ）該初期代表点に、その後のフレーム画像毎に求めた移動物体の領域の代表動きベクトルを順次累積加算することにより該移動物体の領域の代表点の軌跡を求める、
ステップの処理を行うことを特徴とする画像上移動物体追跡装置。
【請求項７】
該画像処理手段は、該ステップ（ｂ）の前にさらに、
（ａ）フレーム画像に対応したエリア上に予め設定された領域又は線と該移動物体の領域が所定の関係にあるか否かを判定する、
ステップの処理を行い、肯定判定した場合に該ステップ（ｂ）の処理を行い、
該ステップ（ｃ）での代表動きベクトルは、該移動物体の領域に含まれる複数ブロックの動きベクトルの平均値である、
ことを特徴とする請求項６に記載の画像上移動物体追跡装置。
【請求項８】
（ｄ）該ステップ（ｃ）で求めた代表点の軌跡における各代表動きベクトルの始点に、該移動物体の領域のサイズに依存したオフセットベクトルを加算することにより、該移動物体の計測点を求める、
ステップをさらに有することを特徴とする請求項６又は７に記載の画像上移動物体追跡装置。
【請求項９】
該記憶手段にはさらに、フレーム画像上の位置と該位置での実空間に対する縮小率に比例した値との関係を示す情報が予め格納されており、
該ステップ（ｄ）は、
（ｄ１）該初期代表点を始点とするオフセットベクトルを初期オフセットベクトルとして求め、
（ｄ２）該情報を参照して各代表動きベクトル始点での係数を求め、該係数を該初期オフセットベクトルの絶対値に乗じて、該代表動きベクトル始点に加算するオフセットベクトルの絶対値を求める、
ステップを有することを特徴とする請求項８に記載の画像上移動物体追跡装置。
【請求項１０】
該ステップ（ｄ２）において、該代表動きベクトル始点に加算するオフセットベクトルの方向を、該代表動きベクトルの向き且つ該移動物体の領域の時系列画像撮影カメラ側とすることを特徴とする請求項９に記載の画像上移動物体追跡装置。
【請求項１】
記憶手段に格納された時系列画像の各々を複数ブロックに分割し、時刻ｔ１のフレーム画像と時刻ｔ２のフレーム画像との相関関係と、該時刻ｔ１のフレーム画像に含まれる移動物体の識別結果とに基づいて、該時刻ｔ２のフレーム画像に含まれる移動物体をブロック単位で識別するとともにブロック単位で移動物体の動きベクトルを求める画像上移動物体追跡方法において、
（ｂ）移動物体の領域の幾何学的重心を初期代表点として求め、
（ｃ）該初期代表点に、その後のフレーム画像毎に求めた移動物体の領域の代表動きベクトルを順次累積加算することにより該移動物体の領域の代表点の軌跡を求める、
ステップを有することを特徴とする画像上移動物体追跡方法。
【請求項２】
該ステップ（ｂ）の前にさらに、
（ａ）フレーム画像に対応したエリア上に予め設定された領域又は線と該移動物体の領域が所定の関係にあるか否かを判定する、
ステップを有し、肯定判定した場合に該ステップ（ｂ）の処理を行い、
該ステップ（ｃ）での代表動きベクトルは、該移動物体の領域に含まれる複数ブロックの動きベクトルの平均値である、
ことを特徴とする請求項１に記載の画像上移動物体追跡方法。
【請求項３】
（ｄ）該ステップ（ｃ）で求めた代表点の軌跡における各代表動きベクトルの始点に、該移動物体の領域のサイズに依存したオフセットベクトルを加算することにより、該移動物体の計測点を求める、
ステップをさらに有することを特徴とする請求項１又は２に記載の画像上移動物体追跡方法。
【請求項４】
該記憶手段にはさらに、フレーム画像上の位置と該位置での実空間に対する縮小率に比例した値との関係を示す情報が予め格納されており、
該ステップ（ｄ）は、
（ｄ１）該初期代表点を始点とするオフセットベクトルを初期オフセットベクトルとして求め、
（ｄ２）該情報を参照して各代表動きベクトル始点での係数を求め、該係数を該初期オフセットベクトルの絶対値に乗じて、該代表動きベクトル始点に加算するオフセットベクトルの絶対値を求める、
ステップを有することを特徴とする請求項３に記載の画像上移動物体追跡方法。
【請求項５】
該ステップ（ｄ２）において、該代表動きベクトル始点に加算するオフセットベクトルの方向を、該代表動きベクトルの向き且つ該移動物体の領域の時系列画像撮影カメラ側とすることを特徴とする請求項４に記載の画像上移動物体追跡方法。
【請求項６】
時系列画像が格納される画像記憶手段と、
該格納された時系列画像の各々を複数ブロックに分割し、時刻ｔ１のフレーム画像と時刻ｔ２のフレーム画像との相関関係と、該時刻ｔ１のフレーム画像に含まれる移動物体の識別結果とに基づいて、該時刻ｔ２のフレーム画像に含まれる移動物体をブロック単位で識別するとともにブロック単位で移動物体の動きベクトルを求める画像処理手段と、
を有する画像上移動物体追跡装置において、該画像処理手段は、
（ｂ）移動物体の領域の幾何学的重心を初期代表点として求め、
（ｃ）該初期代表点に、その後のフレーム画像毎に求めた移動物体の領域の代表動きベクトルを順次累積加算することにより該移動物体の領域の代表点の軌跡を求める、
ステップの処理を行うことを特徴とする画像上移動物体追跡装置。
【請求項７】
該画像処理手段は、該ステップ（ｂ）の前にさらに、
（ａ）フレーム画像に対応したエリア上に予め設定された領域又は線と該移動物体の領域が所定の関係にあるか否かを判定する、
ステップの処理を行い、肯定判定した場合に該ステップ（ｂ）の処理を行い、
該ステップ（ｃ）での代表動きベクトルは、該移動物体の領域に含まれる複数ブロックの動きベクトルの平均値である、
ことを特徴とする請求項６に記載の画像上移動物体追跡装置。
【請求項８】
（ｄ）該ステップ（ｃ）で求めた代表点の軌跡における各代表動きベクトルの始点に、該移動物体の領域のサイズに依存したオフセットベクトルを加算することにより、該移動物体の計測点を求める、
ステップをさらに有することを特徴とする請求項６又は７に記載の画像上移動物体追跡装置。
【請求項９】
該記憶手段にはさらに、フレーム画像上の位置と該位置での実空間に対する縮小率に比例した値との関係を示す情報が予め格納されており、
該ステップ（ｄ）は、
（ｄ１）該初期代表点を始点とするオフセットベクトルを初期オフセットベクトルとして求め、
（ｄ２）該情報を参照して各代表動きベクトル始点での係数を求め、該係数を該初期オフセットベクトルの絶対値に乗じて、該代表動きベクトル始点に加算するオフセットベクトルの絶対値を求める、
ステップを有することを特徴とする請求項８に記載の画像上移動物体追跡装置。
【請求項１０】
該ステップ（ｄ２）において、該代表動きベクトル始点に加算するオフセットベクトルの方向を、該代表動きベクトルの向き且つ該移動物体の領域の時系列画像撮影カメラ側とすることを特徴とする請求項９に記載の画像上移動物体追跡装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００７−１８８２６９（Ｐ２００７−１８８２６９Ａ）
【公開日】平成１９年７月２６日（２００７．７．２６）
【国際特許分類】
【出願番号】特願２００６−５４４８（Ｐ２００６−５４４８）
【出願日】平成１８年１月１２日（２００６．１．１２）
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【Ｆターム（参考）】
【公開日】平成１９年７月２６日（２００７．７．２６）
【国際特許分類】
【出願日】平成１８年１月１２日（２００６．１．１２）
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【Ｆターム（参考）】
[ Back to top ]