画像における移動物体追跡方法及び装置
【課題】移動物体を一時的に隠す遮蔽物が存在し又は移動物体の中間部が背景画像と類似していても、１つの移動物体を画像上で１つの移動物体として認識可能にする。
【解決手段】画像のフレーム内に遮蔽物１２の一端側及び他端側に沿ってそれぞれスリットＳＬ１及びＳＬ２を予め設定しておき、一方のスリット内で移動物体の一部が検出され、その後他方のスリット内で移動物体の一部が検出された場合に、該一方の移動物体の一部に付与されている識別符号を該他方の移動物体の一部に付与する。
スリットの替わりに遮蔽物領域を設定して、該領域に隠れた移動物体を推定してもよい。遮蔽物の一端及び他端に沿ったスリット画像をそれぞれ該一端及び他端から遮蔽物の内側へ所定回数複写することにより遮蔽物の幅を擬似的に狭く又は０にしてもよい。画像の縮小比が大きい領域ほどブロックサイズを大きくしてもよい。
【解決手段】画像のフレーム内に遮蔽物１２の一端側及び他端側に沿ってそれぞれスリットＳＬ１及びＳＬ２を予め設定しておき、一方のスリット内で移動物体の一部が検出され、その後他方のスリット内で移動物体の一部が検出された場合に、該一方の移動物体の一部に付与されている識別符号を該他方の移動物体の一部に付与する。
スリットの替わりに遮蔽物領域を設定して、該領域に隠れた移動物体を推定してもよい。遮蔽物の一端及び他端に沿ったスリット画像をそれぞれ該一端及び他端から遮蔽物の内側へ所定回数複写することにより遮蔽物の幅を擬似的に狭く又は０にしてもよい。画像の縮小比が大きい領域ほどブロックサイズを大きくしてもよい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列画像を処理して画像中の移動物体（車、自転車、動物等の移動可能なもの）を追跡する移動物体追跡方法及び装置に関する。
【背景技術】
【０００２】
ビデオカメラで移動物体を撮像し、画像処理して画像上の移動物体を追跡することにより、交通状態や交通事故の検出、駐車場の車の出入り分析、店舗内の客の移動分析等を自動的に行うことができる。
【０００３】
画像上の移動物体を追跡する方法として、例えば４８０×６４０画素のフレームを８×８画素のブロックに分割して６０×８０ブロックの画像とし、各ブロックの画像を背景画像の対応するブロックの画像と比較して、ブロック単位で移動物体を検出し、時刻ｔ−１とｔのフレーム画像の時空相関に基づいてブロック単位で移動物体の識別符号（ＩＤ）及び動きベクトル（ＭＶ）を求める方法がある（例えば下記特許文献１〜３）。これにより、同一移動物体と認められるブロックには同一ＩＤが付与される。
【０００４】
例えば図２６に示すように、交差点の撮影画像が不図示のブロックに分割され、フレーム１０内に設定された入り口スリットＥＮ１〜ＥＮ４のいずれかを移動物体が通るとこれにＩＤがブロック単位で付与されて移動物体の追跡が開始され、フレーム１０内に設定された出口スリットＥＸ１〜ＥＸ４のいずれかを移動物体が通るとそのＩＤが消滅されて該移動物体の追跡が終了する。
【０００５】
しかしながら、同一移動物体でありながら異なる移動物体と認識される場合がある。
【０００６】
例えば図２６において、ビデオカメラと移動物体１１との間に電柱、信号機又は木等の遮蔽物１２が存在し、画像上で遮蔽物１２が１ブロックより大きい場合、遮蔽物１２を通過中の１つの移動物体１１について、通過した部分にＩＤが付与されないという問題があった。
【０００７】
また、遮蔽物がなくても、画像上で移動物体の中間部が背景画像と類似しているために、１つの移動物体が分割されて２つの移動物体と認識される場合があった。例えばビデオカメラの光軸を道路中央部上方から斜め下へ向けて図２７に示すようにトラック１３のモノクロ画像を撮像した場合、トラック１３の中間部が道路に類似していると、図２８に示すように移動物体１３Ａと移動物体１３Ｂとに分離して認識され、両者に異なるＩＤが付与されるという問題があった。図２８中のメッシュはブロックの境界を示し、‘３’及び‘４’はブロック単位で付与されたＩＤを示す。
【特許文献１】特開２００２−１３３４２１号公報
【特許文献２】特開２００３−００６６５５号公報
【特許文献３】特開２００３−２６３６２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、上記問題点に鑑み、ビデオカメラと移動物体との間に遮蔽物が存在しても、１つの移動物体を画像上で１つの移動物体として認識することができる、画像における移動物体追跡方法及び装置を提供することにある。
【０００９】
本発明の他の目的は、移動物体の中間部が背景画像と類似していても、１つの移動物体を画像上で１つの移動物体として認識することができる、画像における移動物体追跡方法及び装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明による、画像における移動物体追跡方法の第１態様では、画像のフレーム内に遮蔽物の一端側及び他端側に沿ってそれぞれ第１及び第２のスリットを予め設定しておき、
該第１及び第２のスリットの一方の内側で移動物体の一部が検出され、その後他方の内側で移動物体の一部が検出された場合に、該一方の内側の移動物体の一部に付与されている識別符号を該他方の内側の移動物体の一部に付与する。
【００１１】
本発明による、画像における移動物体追跡方法の第２態様では、画像のフレーム内に遮蔽物領域を予め設定しておき、
該領域の一端側及び他端側に該領域と接している移動物体が検出され、該一端側で検出された移動物体に識別符号が付与され該他端側で検出された移動物体に識別符号が付与されていないとき、該他端側の移動物体に該一端側の移動物体の識別符号を付与する。
【００１２】
本発明による、画像における移動物体追跡方法の第３態様では、画像のフレーム内に遮蔽物領域を予め設定しておき、
移動物体が該領域に接した場合に、その後、該移動物体の動きベクトルに基づき該領域に隠れている該移動物体の部分を推定して該移動物体の一部とみなす。
【００１３】
本発明による、画像における移動物体追跡方法の第４態様では、遮蔽物の一端及び他端に沿った第１及び第２のスリット画像をそれぞれ該一端及び他端から該遮蔽物の内側へ所定回数複写することにより該遮蔽物の幅を擬似的に狭く又は０にする。
【００１４】
本発明による、画像における移動物体追跡方法の第５態様では、画像の縮小比が大きい領域ほどブロックサイズを大きくする。
【００１５】
本発明による、画像における移動物体追跡方法の第６態様では、画像の縮小比が大きい領域ほど多くの画素を間引いた画像を、同一サイズのブロックに分割する。
【００１６】
本発明による、画像における移動物体追跡方法の第７態様では、第１及び第２の領域が移動物体として認識され、該第１及び第２の領域が互いに所定値以上接近しかつ相対位置の変化が所定値以内である場合に、該第１領域と該第２領域とを連結してこれに１つの識別符号を付与する。
【発明の効果】
【００１７】
上記第１態様の構成によれば、第１及び第２のスリットの一方の内側で検出された移動物体に付与されている識別符号を、他方の内側で検出された移動物体に付与するので、ビデオカメラと移動物体との間に遮蔽物が存在していても、１つの移動物体を画像上で１つの移動物体として認識することができ、遮蔽物を通過した移動物体を追跡することができる。
【００１８】
上記第２態様の構成によれば、遮蔽物領域の一端側で検出された移動物体に付与されている識別符号を、他端側で検出された移動物体に付与するので、ビデオカメラと移動物体との間に遮蔽物が存在していても、１つの移動物体を画像上で１つの移動物体として認識することができ、遮蔽物を通過した移動物体を追跡することができる。
【００１９】
上記第３態様の構成によれば、遮蔽物領域に接した移動物体の動きベクトルに基づき遮蔽物領域に隠れている移動物体ブロックを推定してこれを移動物体の一部と見なすので、ビデオカメラと移動物体との間に遮蔽物が存在していても、１つの移動物体を画像上で１つの移動物体として認識することができ、遮蔽物を通過した移動物体を追跡することができる。
【００２０】
また、遮蔽物に隠れたブロックが推定されるので、移動物体が遮蔽物に隠れても移動物体の代表点、例えば幾何学的重心を、ほぼ正確に求めることができ、移動物体の代表点の軌跡を精度よく求めることが可能となる。
【００２１】
上記第４態様の構成によれば、遮蔽物の幅が擬似的に０又は狭くなるので、遮蔽物が存在する領域に移動物体が隠れても、１つの移動物体を画像上で１つの移動物体として認識することができ、遮蔽物を通過した移動物体を追跡することができる。
【００２２】
上記第５態様の構成によれば、画像の比較的大きく見える部分のブロックサイズが小さく見える部分のそれよりも大きく設定されるので、画像の大きく見える部分の特徴が背景画像のそれに比し強調されることになって、各ブロックの移動物体存否判定をより正確に判断することができ、これにより、移動物体の中間部が背景画像と類似していても、１つの移動物体を画像上で１つの移動物体として認識することができ、誤った分離認識を防止することが可能となる。また、同じ理由により、ブロックマッチングにより求めることができなかった動きベクトルも、求めることが可能になる。
【００２３】
上記第６態様の構成によれば、画像の大きく見える部分の特徴が背景画像のそれに比し強調されることになるので、上記第５態様と同様の効果を奏する。
【００２４】
本発明の第７態様の構成によれば、移動物体と認識された２つの領域が互いに設定値以下接近しかつ両領域の相対位置の変化が設定値以内であるとき、両領域を連結してこれに１つの識別符号を付与するので、移動物体の中間部が背景画像と類似していても、１つの移動物体を画像上で１つの移動物体として認識することができ、誤った分離認識を防止することが可能となる。
【００２５】
本発明の他の目的、構成及び効果は以下の説明から明らかになる。
【発明を実施するための最良の形態】
【００２６】
以下、図面に基づいて本発明の実施例を説明する。図面において、同一又は類似の要素には、同一又は類似の符号を付している。
【実施例１】
【００２７】
図１は、ビデオカメラ（例えばＩＴＶカメラ）１４で撮像された画像を処理して移動物体を追跡する移動物体追跡装置２０の概略機能ブロック図である。
【００２８】
移動物体追跡装置２０のうち記憶部以外は、コンピュータソフトウェア、専用のハードウェア又はコンピュータソフトウエアと専用のハードウエアの組み合わせで構成することができる。
【００２９】
ビデオカメラ１４で撮影された時系列画像は、例えば１２フレーム／秒のレートで、画像メモリ２１に格納され、最も古いフレームが新しいフレーム画像で書き換えられる。
【００３０】
本発明は、画像メモリ２１に格納された画像データを構成要素２３〜２６により、リアルタイムで処理する場合のみならず、不図示の外部記憶装置に格納しておき、必要な部分のみ後で処理する場合にも適用できる。
【００３１】
また、画像メモリ２１に格納された画像（原画像）を直接、構成要素２３〜２６で処理しても、ラプラシアンフィルタ等のフィルタをかけて空間的差分フレーム画像に変換したもの又は２次元フーリエ変換し所定周波数以上の成分を強調した後に逆フーリエ変換したもの（変換画像）を、構成要素２３〜２６で処理する構成であってもよい。以下、「画像」とは原画像又は変換画像を意味する。
【００３２】
背景画像生成部２２は、記憶部と処理部とを備え、処理部は、画像メモリ２１をアクセスし、例えば過去１分間の全ての又は間引かれたもののフレーム画像の対応する画素について画素値のヒストグラムを作成し、その最頻値（モード）をその画素の画素値とする画像を、移動物体が存在しない背景画像として生成し、これを該記憶部に格納する。背景画像は、この処理が定期的に行われて更新される。
【００３３】
ＩＤ生成／消滅部２３には、図２６に示す如くフレーム１０内の、交差点への４つの入口及び交差点からの４つの出口にそれぞれ配置されるスリットＥＮ１〜ＥＮ４及びＥＸ１〜ＥＸ４の位置及びサイズのデータが、予め設定されている。ＩＤ生成／消滅部２３は、画像メモリ２１から入口スリットＥＮ１〜ＥＮ４内の画像データを読み込み、これら入口スリット内に移動物体が存在するかどうかを上述のブロック単位で判定する。あるブロックに移動物体が存在するかどうかは、このブロック内の各画素と背景画像の対応する画素との差の絶対値の総和が所定値以上であるかどうかにより判定する。
【００３４】
ＩＤ生成／消滅部２３は、ブロック内に移動物体が存在すると判定すると、このブロックに新たな移動物体識別符号（ＩＤ）を付与する。ＩＤ生成／消滅部２３は、ＩＤ付与済ブロックと隣接しているブロックに移動物体が存在すると判定すると、この隣接ブロックに付与済ブロックと同一のＩＤを付与する。このＩＤ付与済ブロックは入口スリットに隣接しているブロックも含まれる。例えば図２６中の入口スリットＥＮ１内のブロックにはＩＤ＝１が付与される。以下、ＩＤが付与されたブロックの塊をクラスタと称する。
【００３５】
ＩＤの付与は、記憶部２４内のオブジェクトマップの対応するブロックに対して行われる。オブジェクトマップは、上述の場合６０×８０ブロックの各ブロックの移動物体情報を記憶するためのものであり、移動物体情報は、ＩＤが付与されているかどうかを示すフラグと、ＩＤが付与されていることを示している場合にはＩＤ及びブロックの動きベクトル（ＭＶ）を含む。なお、該フラグを用いずに、ＩＤ＝０のときＩＤが付与されていないと判定してもよい。また、ＩＤの最上位ビットをフラグとしてもよい。ブロックマッチングでＭＶが求まらないブロックのＭＶは例えば、その回りの同一ＩＤのブロックのＭＶの平均値に等しくする。
【００３６】
入口スリットを通過したクラスタに対しては、移動物体追跡部２５により公知の方法で追跡処理が行われる。例えば、高速処理のため、時刻ｔ−１（フレーム番号）でのＭＶに基づいて時刻ｔでのクラスタの概略移動範囲が推定され、この範囲内で上述の移動物体存否判定がブロック毎に行われ、移動方向側のブロックに対するＩＤの付与及び移動と反対方向側のブロックに対するＩＤの消滅が行われて、時刻ｔでのクラスタが決定される。また、時刻ｔ−１とｔのフレーム画像間のブロックマッチングにより、時刻ｔでＩＤが付与されているブロックのＭＶが求められる。高速処理のため、ブロックマッチングを行う範囲は、時刻ｔ−１でのＭＶに基づいて定められる。各ブロックのＩＤとＭＶは、評価関数を用いて同時に決定することもできる（例えば上記特許文献３）。ＩＤ及びＭＶの更新は、記憶部２４内のオブジェクトマップに対して行われる。
【００３７】
移動物体追跡部２５による追跡処理は、各クラスタについて出口スリット内まで行われる。
【００３８】
ＩＤ生成／消滅部２３はさらに、記憶部２４内のオブジェクトマップに基づき出口スリットＥＸ１〜ＥＸ４内のブロックにＩＤが付与されているかどうかを調べ、付与されていれば、クラスタが出口スリットを通過したときにそのＩＤを消滅させる。例えば図２６中の出口スリットＥＸ１内のブロックにＩＤ＝３が付されている状態から、ＩＤが付されない状態に変化したときに、ＩＤ＝３を消滅させる。消滅ＩＤは、次の生成ＩＤとして用いることができる。
【００３９】
本実施例１の特徴は遮蔽物処理部２６の構成にあり、以下これを詳述する。
【００４０】
ビデオカメラ１４は、例えば図２６に示すような交差点を撮像しており、通過する移動物体の一部を遮蔽する遮蔽物１２が写っている。図３は、この遮蔽物１２付近を拡大して示す。図３中のメッシュは、ブロックの境界線である。図３では、理解を容易にするために、移動物体のＩＤを示すオブジェクトマップ（記憶部２４内）に、移動物体１１、遮蔽物１２（画像メモリ２１内）、スリットＳＬ１及びＳＬ２（遮蔽物処理部２６内）を重ねて示している。
【００４１】
遮蔽物１２の幅方向一端側及び他端側に沿ってそれぞれ、スリットＳＬ１及びＳＬ２が移動物体追跡処理前に予め設定されている。
【００４２】
この設定は、マウス等のポインティングデバイス又はキーボード等の入力装置ＩＮと、設定を確認する表示装置ＯＵＴと、遮蔽物処理部２６に含まれる入力処理プログラムとを含む設定手段により、人の操作に基づいて行われる。これら入力装置及び表示装置は、機能的に少なくとも遮蔽物処理部２６に接続されている。
【００４３】
本実施例１の特徴は、スリットＳＬ１とＳＬ２の一方の内側に移動物体が検出され、その後、他方の内側に移動物体が検出された場合、該一方の内側で検出された移動物体に付与されているＩＤを、他方の内側で検出された移動物体の各ブロックに付与する点である。この検出及び付与処理は遮蔽物処理部２６により行われる。
【００４４】
スリットＳＬ１及びＳＬ２は、上記入り口スリットＥＮ１〜ＥＮ４及び出口スリットＥＸ１〜ＥＸ４と同様にして、遮蔽物処理部２６内の記憶領域に設定されている。スリットＳＬ１及びＳＡＬ２の幅は、図３ではブロック幅の２倍であるが、ブロック幅の整数倍であればよく、ブロックと等幅であってもよい。また、図３では、スリットＳＬ１及びＳＬ２の一部が遮蔽物１２の端部と重なっているが、両者が離れていても問題はない。
【００４５】
図２（Ａ）及び図２（Ｂ）はそれぞれ、図３のスリットＳＬ１及びＳＬ２内の画像処理を示す概略フローチャートである。これら２つの処理は実質的に同一であり、以下、図２（Ａ）の処理のみ説明する。これらの処理は、図１の遮蔽物処理部２６により、フレーム画像毎に行なわれる。
【００４６】
（Ｓ１）スリットＳＬ１内の各ブロックについて、上述のようにして移動物体存否を判定する。スリットＳＬ１内で移動物体のクラスタ（１ブロックのクラスタを含む）が新たに生成された場合には、ステップＳ２へ進み、そうでなければ処理を終了する。
【００４７】
（Ｓ２）この新たなクラスタを構成するブロックにＩＤが付与されていれば、スリットＳＬ１の右側から移動物体がスリットＳＬ１内へ入ったことを意味している。この場合、ステップＳ３へ進み、そうでなければステップＳ４へ進む。
【００４８】
（Ｓ３）このブロックのＩＤ、位置、ＭＶ及び時刻を一時記憶し、処理を終了する。
【００４９】
（Ｓ４）図２（Ｂ）のステップＳ７で一時記憶されたデータに基づいて、スリットＳＬ１に入ったこのブロックのＩＤを推定し付与（オブジェクトマップに対し付与）し、このＩＤを含む一時記憶データを消去する。これにより、複数の移動物体がほぼ同時にスリットＳＬ１に入っても、正しいＩＤを付与することができる。
【００５０】
ＩＤを付与したことが移動物体追跡部２５に通知され、移動物体追跡部２５はこれに応答して上述のようにブロックのＭＶを決定し、これを記憶部２４内のオブジェクトマップに記入し、その後の移動物体追跡処理を行う。
【００５１】
スリットＳＬ１又はＳＬ２を出た移動物体の追跡は、移動物体追跡部２５により行われる。この場合、クラスタリングは、例えばスリットＳＬ１又はＳＬ２を出た未定ＩＤの移動物体ブロック（移動物体のブロック）に、これと接触しているスリットＳＬ１又はＳＬ２内の移動物体ブロックと同じＩＤを付与することにより行われ、又は、スリットＳＬ１又はＳＬ２内を含めた領域の評価関数（例えば特開2003-263626号公報に記載のもの）を用いて行われる。
【００５２】
本実施例１によれば、スリットＳＬ１とＳＬ２の一方の内側で検出された移動物体に付与されているＩＤを、他方の内側で検出された移動物体に付与するので、ビデオカメラと移動物体との間に遮蔽物１２が存在していても、１つの移動物体を画像上で１つの移動物体として認識することができ、遮蔽物１２を通過した移動物体を追跡することができる。
【００５３】
なお、ステップＳ２において、ＩＤがブロックに付与されているかどうかを調べる代わりに、スリットＳＬ１の右側に接したブロックかつスリットＳＬ１に入ったブロックの付近に移動物体が存在するかどうか調べてもよい。また、ステップＳ３において、ＭＶ等の代わりにブロック画像またはその特徴量を用いて移動物体ブロック間の相関度を求めてＩＤを決定してもよい。
【００５４】
図４は、移動物体１１の一部がスリットＳＬ１を通ってＳＬ２に入り、そのブロックにＩＤ＝３が付与された場合を示す。
【実施例２】
【００５５】
本発明の実施例２では、実施例１のスリットＳＬ１及びＳＬ２の代わりに、ＳＬ1 とＳＬ２の間の領域を遮蔽物領域と設定する。
【００５６】
このため、各ブロックに遮蔽物フラグを備え、図６に示すように遮蔽物領域の各ブロックのフラグを‘１’に設定し、領域外のフラグを‘０’に設定する（図６では簡単化のため‘０’を省略）。このデータは、移動物体追跡処理前に予め図１の記憶部２４内のオブジェクトマップまたはこれと独立なマップに、実施例１で述べた設定手段と同様の手段を用いて設定されている。図７では、移動物体のＩＤを示すオブジェクトマップに、理解を容易にするため移動物体１１、遮蔽物１２及び遮蔽物領域２７を重ねて示している。
【００５７】
実施例２の特徴は、遮蔽物領域２７の幅方向一端側及び他端側に遮蔽物領域２７と接している移動物体が検出され、該一端側で検出された移動物体にＩＤが付与され、該他端側で検出された移動物体にＩＤが付与されていないときに、該他端側の移動物体に、該一端側の移動物体に付与されているＩＤを付与する点である。
【００５８】
図５は、図１の遮蔽物処理部２６による処理を示す概略フロ−チャートである。この処理は、フレーム画像毎に行われる。
【００５９】
（Ｓ１０）図１の記憶部２４内のオブジェクトマップを参照して、遮蔽物領域２７の幅方向のいずれか一方側に遮蔽物領域２７と接しているＩＤ付ブロックが存在すれば、このブロックの位置とＭＶとを一時記憶してステップＳ１１へ進み、そうでなければ処理を終了する。
【００６０】
（Ｓ１１）一時記憶されたブロックの位置とＭＶとに基づいて、遮蔽物領域２７の他方側から出る移動物体の一部の概略範囲２８（遮蔽物領域２７の他方側に接している複数ブロック）を求める。
【００６１】
（Ｓ１２）範囲２８内の各ブロックの移動物体存否を、時刻ｔでのフレーム画像及び背景画像に基づき上述のようにして判定する。存在すればステップＳ１２へ進み、そうでなければ処理を終了する。
【００６２】
（Ｓ１３）範囲２８内の移動物体ブロックに、一方側ブロックに付与されているＩＤと同一のＩＤを付与する。
【００６３】
この付与が移動物体追跡部２５に通知され、移動物体追跡部２５はこれに応答して上述のようにブロックのＭＶを決定し、記憶部２４内のオブジェクトマップにこれを記入し、その後の移動物体追跡処理を行う。
【００６４】
本実施例２によれば、遮蔽物領域２７の一端側で検出された移動物体に付与されているＩＤを、他端側で検出された移動物体に付与するので、ビデオカメラと移動物体との間に遮蔽物１２が存在していても、１つの移動物体を画像上で１つの移動物体として認識することができ、遮蔽物１２を通過した移動物体を追跡することができる。
【実施例３】
【００６５】
実施例２の方法は、移動物体全体が遮蔽物に隠れてしまう場合に適用することができない。そこで、本発明の実施例３では、図９に示す如く、移動物体１１が遮蔽物領域２７Ａに接した場合に、その後、接した移動物体のＭＶに基づき、図１０及び図１１に示す如く、遮蔽物領域２７Ａに隠れている移動物体ブロックを推定してこれを移動物体の一部と見なす。図１０及び図１１中の太線で囲まれた領域はこの推定されたブロックのクラスタである。図９〜１１では、理解を容易にするために、移動物体のＩＤを示すオブジェクトマップに、移動物体１１、遮蔽物１２及び遮蔽物領域２７Ａを重ねて示している。
【００６６】
この方法によれば、遮蔽物領域２７Ａのどの辺から移動物体が入っても問題なく処理できる。そこで、遮蔽物領域２７Ａは、遮蔽物１２の全体にわたって設定されている。なお、図７に示すように遮蔽物１２の一部に設定してもよいことは勿論である。
【００６７】
図８は、この方法を実施するための概略フローチャートであり、図１の遮蔽物処理部２６により処理される。この処理は、フレーム画像毎に行われる。
【００６８】
（Ｓ２０）図１の記憶部２４内のオブジェクトマップを参照して、遮蔽物領域２７Ａに接触しているブロックにＩＤが付与されているものが存在するかどうかを調べる。存在すればステップＳ２１へ進み、そうでなければステップＳ２３へ進む。
【００６９】
（Ｓ２１）遮蔽物領域２７Ａに接している移動物体ブロックの位置とＭＶとに基づいて、このＭＶが遮蔽物領域２７Ａ内で変わらないとしてその後のブロック位置（固定のブロック境界と無関係に移動させたブロックの位置）を想定し、想定ブロックの中心位置が存在する、遮蔽物領域２７Ａ内のブロックを、移動物体ブロック（推定ブロック）とみなす。このブロックには、想定ブロックと同一のＩＤ及びＭＶが付与される。この付与は、記憶部２４内のオブジェクトマップに対して行なわれる。
【００７０】
（Ｓ２３）遮蔽物領域２７Ａ内に推定ブロックが存在すればステップＳ２４へ進み、そうでなければ処理を終了する。
【００７１】
（Ｓ２４）推定ブロックを、上述のようにＭＶに基づいて移動させる。
【００７２】
図１１に示すように、移動物体１１が遮蔽物１２を通ってその一部が遮蔽物１２から突出した場合、そのブロックには、これに接している遮蔽物領域２７Ａのブロックと同一のＩＤが付与される。
【００７３】
この付与が移動物体追跡部２５に通知され、移動物体追跡部２５はこれに応答して上述のようにブロックのＭＶを決定し、これを記憶部２４内のオブジェクトマップに記入し、その後の移動物体追跡処理を行う。
【００７４】
本実施例３によれば、遮蔽物領域２７Ａに接した移動物体のＭＶに基づき遮蔽物領域２７Ａに隠れている移動物体ブロックを推定してこれを移動物体の一部と見なすので、ビデオカメラと移動物体との間に遮蔽物１２が存在していても、１つの移動物体を画像上で１つの移動物体として認識することができ、遮蔽物１２を通過した移動物体を追跡することができる。
【００７５】
また、遮蔽物１２に隠れたブロックが推定されるので、移動物体１１が遮蔽物１２に隠れても移動物体１１の代表点、例えば幾何学的重心を、ほぼ正確に求めることができ、移動物体１１の代表点の軌跡を精度よく求めることが可能となる。
【実施例４】
【００７６】
図１２は、本発明の実施例４の移動物体追跡装置２０Ａの概略構成を示す機能ブロック図である。
【００７７】
遮蔽物処理部２６Ａは、画像メモリ２１に格納された各フレーム画像に対し、移動物体追跡部２５により処理が行われる前に以下のような処理を行なうことにより、遮蔽物の幅を疑似的に狭く又は０にする。
【００７８】
すなわち、図１３に示すように、移動物体追跡処理前に遮蔽物１２の幅方向一端及び他端に沿ったスリット画像３０及び３１を、実施例１と同様の設定手段で設定しておく。スリット画像３０及び３１の幅はいずれも、１画素の幅の整数倍であり、例えば１倍である。スリット画像３０及び３１はいずれも、遮蔽物１２に接するか遮蔽物１２に接近しており、遮蔽物１２とは重なっていない。移動物体追跡処理においては、移動物体追跡部２５により処理が行われる前に、図１２の遮蔽物処理部２６Ａはスリット画像３０を遮蔽物１２の内側へ設定回数だけ複写し、同様に、スリット画像３１を遮蔽物１２の内側へ設定回数だけ複写する。この処理は、繰り返し行われる。背景画像生成部２２は、この複写が行われた画像に基づいて背景画像を生成する。なお、該設定回数は、複写領域３２と３３の間隔はが０又は１ブロック幅未満になるようにする。
【００７９】
このような処理により、図１４に示す如く、遮蔽物１２Ａの幅が擬似的に狭く又は０になる。そして、移動物体１１が実際の遮蔽物１２に接すると、移動物体１１の接している部分が急に延びて領域１１ａとなる。
【００８０】
遮蔽物処理部２６Ａにより複写された複写領域３２内のブロックについては、図１２の移動物体追跡部２５は、ＭＶを付与しないか、スリット画像３０に接し又はスリット画像３０を含むブロックのＭＶと同じＭＶを付与する。複写領域３３についても前記同様である。
【００８１】
図１５は、図１４の移動物体１１に対しＩＤが付与されたブロックを示す。図１４では、理解を容易にするために、移動物体のＩＤを示すオブジェクトマップに、移動物体１１及び遮蔽物１２Ａを重ねて示している。太線は、ＩＤ＝３のクラスタを示しているが、実際には存在しない。
【００８２】
図１６は、移動物体１１の一部が遮蔽物１２Ａを通った場合の画像を示す。領域１１ｂ及び１１ｃはそれぞれ、図１３の複写領域３２及び３３内の部分である。図１７は、図１６の移動物体１１に対しＩＤが付与されたブロックを示す。
【００８３】
本実施例５によれば、遮蔽物１２Ａの幅が擬似的に０又は１ブロック幅未満になるので、遮蔽物１２が存在する領域に移動物体が隠れても、遮蔽物処理部２６Ａにより、遮蔽物１２内のブロックにＩＤが付与される。したがって、１つの移動物体を画像上で１つの移動物体として認識することができ、ビデオカメラと移動物体との間に存在する遮蔽物１２を通過した移動物体を追跡することができる。なお、遮蔽物１２Ａの幅は、原理的には２ブロック幅−２画素幅でもよい場合があるが、１ブロック幅未満であれば確実に本実施例の効果が得られる。
【実施例５】
【００８４】
道路の中央上方から光軸を斜め下方へ向けたビデオカメラで移動物体を撮像すると、図２７に示すように、画像の上側ほど縮小比が小さくなる（像サイズ／実サイズが小さくなる）。縮小比が大きいほど一般的に、等幅ブロックに分割した場合のブロック内画像の空間的変化率が小さくなるので、背景画像との差が小さくなって、すなわち移動物体存在判定のための情報量が少なくなって、図２８に示すように１つの移動物体が移動物体１３Ａと１３Ｂとに分離していると誤認識される場合がある。特に、高速に移動する移動物体をリアルタイムで追跡処理するためにモノクロ画像を使用すると、このような誤認識が生じやすい。
【００８５】
そこで、本発明の実施例５では、この問題を解決するために、図１８に示す如く、画像の縮小比が大きい領域ほどブロックを大きくしている。すなわち、図示Ｙ方向については領域３４ａ〜３４ｅの順に画像の縮小比が小さくなるので、領域３４ａの各ブロックでは１２ライン、領域３４ｂの各ブロックでは１１ライン、領域３４ｃの各ブロックでは１０ライン、領域３４ｄの各ブロックでは９ライン、領域３４ｅの各ブロックでは８ラインとしている。各ブロックの図示Ｘ方向の幅は、簡単化のために同じにしている。
【００８６】
なお、ブロックの境界を示すメッシュは、実際にはぎざぎざになるが、図１８では簡単化のために直線で示している。また、ブロックサイズは、実施例１と同様の設定手段により、設定される。
【００８７】
図１９は、図１８に対応した、ＩＤ分布を示すオブジェクトマップであり、理解を容易にするために移動物体１３が重ねて描かれている。
【００８８】
本実施例５によれば、画像の比較的大きく見える部分のブロックサイズが小さく見える部分のそれよりも大きく設定されているので、画像の大きく見える部分の特徴が背景画像のそれに比し強調されることになって、各ブロックの移動物体存否判定をより正確に判断することができ、これにより、移動物体の中間部が背景画像と類似していても、１つの移動物体を画像上で１つの移動物体として認識することができ、図２８に示すような誤った分離認識を防止することが可能となる。また、同じ理由により、ブロックマッチングにより求めることができなかったＭＶも、求めることが可能になる。
【００８９】
なお、図１８において、領域３４ａ〜３４ｄのブロックからそれぞれ４〜１ラインを略均等に間引くことにより、図１８の画像を図１９に示すよう変換して均一サイズのブロックにし、その後に移動物体追跡処理を行なうようにしてもよい。背景画像についても同様に変換する。
【００９０】
この場合、間引かれるラインの画素データを無視することにより、実質的に画像変換する構成であってもよい。また、公知の画像縮小変換方法のように、間引きとともに、間引かれないラインの画像を補正して、画像がより滑らかになるように縮小してもよい。
【００９１】
このような方法によっても、画像の大きく見える部分の特徴が背景画像のそれに比し強調されることになるので、これにより、移動物体の中間部が背景画像と類似していても、１つの移動物体を画像上で１つの移動物体として認識することができ、図２８に示すような誤った分離認識を防止することが可能となるとともに、単純ブロックマッチングにより求めることができなかったＭＶも求めることができるようになる。
【実施例６】
【００９２】
本発明の実施例６では、図２０に示す如く、座標Ｙの値が大きくなるほど、Ｙ方向のみならずＸ方向のブロック幅も狭くしている。ブロックの境界を示すメッシュは、実際にはぎざぎざになるが、図２０では簡単化のために直線で示している。
【００９３】
図２０中の移動物体１３Ｓは、同じ移動物体１３がさらにＹ方向へ移動したときの画像である。このようにブロックサイズを決めることにより、同じ姿勢の移動物体１３が占めるブロック数がフレーム内の位置によらず略一定になる。
【００９４】
図２１は、図２０の右半分の領域３５のブロック座標を示している。各ブロックの位置は、領域３５の外側の実際に存在しない領域３６まで想定することにより、容易に指定することができる。ブロックサイズを決定する座標変換パラメータは、実施例１と同様の設定手段により設定される。
【００９５】
本実施例６によれば、実施例５の場合よりも、画像の大きく見える部分の特徴が背景画像のそれに比し強調されることになるので、図２８に示すような誤った分離認識をより効果的に防止することが可能となるとともに、単純ブロックマッチングにより求めることができなかったＭＶも求めることができるようになる。
【実施例７】
【００９６】
本発明の実施例７では、実施例５又は６のようにブロックサイズを画像位置によって変更することなく、誤った分離認識を防止するために、次のような方法を用いている。
【００９７】
すなわち、例えば図２４（Ａ）に示すように、ＩＤ＝２の領域とＩＤ＝３の領域が同一移動物体であるにも拘わらず、移動物体中間部が背景画像に類似しているために互いに異なる移動物体として認識された場合、両領域が互いに設定値以下接近しかつ両領域の相対位置の変化が設定値以内であれば、両領域を連結してこれに１つのＩＤを付与する（ＩＤを修正する）。この処理は図２２の合成部２６Ｂにより、オブジェクトマップ記憶部２４に対して行われる。これら設定値は、実施例１と同様の設定手段で設定される。
【００９８】
この処理を簡単に行なうために、図２２の合成部２６Ｂはオブジェクトマップ記憶部２４に対して、図２３に示す処理を行なう。この処理は、フレーム画像毎に行われる。
【００９９】
（Ｓ３０）同一ＩＤのクラスタが内接する矩形を描き又は想定する。例えば図２４（Ａ）に示すように、ＩＤ＝２のクラスタが内接する矩形領域３７Ａ及びＩＤ＝３のクラスタが内接する矩形領域３７Ｂを描き又は想定する。
【０１００】
（Ｓ３１）矩形領域３７Ａと３７ＢのＸ方向間隔ＤＸを測定し、一時記憶する。図２４（Ａ）の場合、矩形領域３７Ａと３７Ｂとが重なっているので、ＤＸ＜０である。図２４（Ｂ）の場合もＤＸ＜０である。
【０１０１】
（Ｓ３２）ＤＸ≦ＤＸ０であればステップＳ３３へ進み、そうでなければ処理を終了する。例えば、矩形領域３７Ａと３７ＢがＸ方向に関し重なり、接し又は離れているがＤＸ０以内であれば、ＤＸ≦ＤＸ０であると判定される。ここにＤＸ０は、ブロックの一辺の長さを単位とする正の整数値であり、本方法がより効果的になるように経験的に定められる。
【０１０２】
（Ｓ３３、Ｓ３４）Ｙ方向についてもＸ方向と同様の処理を行ない、Ｙ方向間隔ＤＹを一時記憶する。図２４（Ａ）、図２４（Ｂ）はそれぞれ、ＤＹ＜０、ＤＹ＞０の場合を示している。
【０１０３】
（Ｓ３５）連続する設定フレーム数について、上記一時記憶したＤＸ及びＤＹの変化が設定値以下である場合にはステップＳ３６へ進み、そうでなければ処理を終了する。
【０１０４】
（Ｓ３６）ステップＳ３０で生成されステップＳ３２、Ｓ３３及びＳ３５の条件を満たす２つの矩形領域について、移動物体ブロックに同一ＩＤを付与する。例えば図２４（Ａ）の矩形領域３７Ａ、３７Ｂ内の移動物体ブロックに、図２５（Ａ）に示す如く同一ＩＤを付与して、１つの矩形領域３７にする。同様に、図２４（Ｂ）の矩形領域３８Ａ、３８Ｂ内の移動物体ブロックに、図２５（Ｂ）に示す如く同一ＩＤを付与して、１つの矩形領域３８にする。
【０１０５】
本実施例７によれば、移動物体と認識された２つの領域が互いに設定値以下接近しかつ両領域の相対位置の変化が設定値以内であるとき、両領域を連結してこれに１つのＩＤを付与するので、これにより、移動物体の中間部が背景画像と類似していても、１つの移動物体を画像上で１つの移動物体として認識することができ、誤った分離認識を防止することが可能となる。
【図面の簡単な説明】
【０１０６】
【図１】本発明の実施例１に係る移動物体追跡装置の概略機能ブロック図である。
【図２】（Ａ）及び（Ｂ）はそれぞれ、図１の遮蔽物処理部で行われる、第１及び第２のスリット内の画像処理を示す概略フローチャートである。
【図３】遮蔽物付近を拡大して示す、図２の処理説明図である。
【図４】図２の処理説明図である。
【図５】本発明の実施例２に係る、遮蔽物処理部による処理を示す概略フロ−チャートである。
【図６】遮蔽物フラグの値が‘１’の分布を示す図である。
【図７】図５の処理説明図である。
【図８】本発明の実施例３に係る、遮蔽物処理部による処理を示す概略フロ−チャートである。
【図９】図５の処理説明図である。
【図１０】図５の処理説明図である。
【図１１】図５の処理説明図である。
【図１２】本発明の実施例４に係る移動物体追跡装置の概略機能ブロック図である。
【図１３】図１２の遮蔽物処理部による処理の説明図である。
【図１４】この遮蔽物処理部の処理結果説明図である。
【図１５】図１４の移動物体に対しＩＤが付与されたブロックを示す図である。
【図１６】図１２の遮蔽物処理部の処理結果説明図である。
【図１７】図１６の移動物体に対しＩＤが付与されたブロックを示す図である。
【図１８】本発明の実施例５に係るブロック分割説明図である。
【図１９】図１８の移動物体に対しＩＤが付与されたブロックを示す図である。
【図２０】本発明の実施例６に係るブロック分割説明図である。
【図２１】図２０の右半分の領域のブロック座標説明図である。
【図２２】本発明の実施例７に係る移動物体追跡装置の概略機能ブロック図である。
【図２３】図２２の合成部で行われる処理を示す概略フロ−チャートである。
【図２４】（Ａ）及び（Ｂ）は図２３の処理対象説明図である。
【図２５】（Ａ）及び（Ｂ）はそれぞれ図２４の（Ａ）及び（Ｂ）に対する処理結果説明図である。
【図２６】本発明の背景技術の問題点説明図である。
【図２７】本発明の背景技術の他の問題点が生ずる画像の説明図である。
【図２８】該他の問題点説明図である。
【符号の説明】
【０１０７】
１０ フレーム
１１、１３、１３Ｓ 移動物体
１１ａ〜１１ｃ 領域
１２、１２Ａ 遮蔽物
１４ ビデオカメラ
２０、２０Ａ、２０Ｂ 移動物体追跡装置
２１ 画像メモリ
２２ 背景画像生成部
２３ ＩＤ生成／消滅部
２４ オブジェクトマップ記憶部
２５ 移動物体追跡部
２６、２６Ａ 遮蔽物処理部
２６Ｂ 合成部
２７、２７Ａ 遮蔽物領域
２８ 範囲
３０、３１ スリット画像
３２、３３ 複写領域
３４ａ〜３４ｅ 領域
３５、３６ 領域
３７、３７Ａ、３７Ｂ、３８、３８Ａ、３８Ｂ 矩形領域
ＥＮ１〜ＥＮ４ 入口スリット
ＥＸ１〜ＥＸ４ 出口スリット
【技術分野】
【０００１】
本発明は、時系列画像を処理して画像中の移動物体（車、自転車、動物等の移動可能なもの）を追跡する移動物体追跡方法及び装置に関する。
【背景技術】
【０００２】
ビデオカメラで移動物体を撮像し、画像処理して画像上の移動物体を追跡することにより、交通状態や交通事故の検出、駐車場の車の出入り分析、店舗内の客の移動分析等を自動的に行うことができる。
【０００３】
画像上の移動物体を追跡する方法として、例えば４８０×６４０画素のフレームを８×８画素のブロックに分割して６０×８０ブロックの画像とし、各ブロックの画像を背景画像の対応するブロックの画像と比較して、ブロック単位で移動物体を検出し、時刻ｔ−１とｔのフレーム画像の時空相関に基づいてブロック単位で移動物体の識別符号（ＩＤ）及び動きベクトル（ＭＶ）を求める方法がある（例えば下記特許文献１〜３）。これにより、同一移動物体と認められるブロックには同一ＩＤが付与される。
【０００４】
例えば図２６に示すように、交差点の撮影画像が不図示のブロックに分割され、フレーム１０内に設定された入り口スリットＥＮ１〜ＥＮ４のいずれかを移動物体が通るとこれにＩＤがブロック単位で付与されて移動物体の追跡が開始され、フレーム１０内に設定された出口スリットＥＸ１〜ＥＸ４のいずれかを移動物体が通るとそのＩＤが消滅されて該移動物体の追跡が終了する。
【０００５】
しかしながら、同一移動物体でありながら異なる移動物体と認識される場合がある。
【０００６】
例えば図２６において、ビデオカメラと移動物体１１との間に電柱、信号機又は木等の遮蔽物１２が存在し、画像上で遮蔽物１２が１ブロックより大きい場合、遮蔽物１２を通過中の１つの移動物体１１について、通過した部分にＩＤが付与されないという問題があった。
【０００７】
また、遮蔽物がなくても、画像上で移動物体の中間部が背景画像と類似しているために、１つの移動物体が分割されて２つの移動物体と認識される場合があった。例えばビデオカメラの光軸を道路中央部上方から斜め下へ向けて図２７に示すようにトラック１３のモノクロ画像を撮像した場合、トラック１３の中間部が道路に類似していると、図２８に示すように移動物体１３Ａと移動物体１３Ｂとに分離して認識され、両者に異なるＩＤが付与されるという問題があった。図２８中のメッシュはブロックの境界を示し、‘３’及び‘４’はブロック単位で付与されたＩＤを示す。
【特許文献１】特開２００２−１３３４２１号公報
【特許文献２】特開２００３−００６６５５号公報
【特許文献３】特開２００３−２６３６２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、上記問題点に鑑み、ビデオカメラと移動物体との間に遮蔽物が存在しても、１つの移動物体を画像上で１つの移動物体として認識することができる、画像における移動物体追跡方法及び装置を提供することにある。
【０００９】
本発明の他の目的は、移動物体の中間部が背景画像と類似していても、１つの移動物体を画像上で１つの移動物体として認識することができる、画像における移動物体追跡方法及び装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明による、画像における移動物体追跡方法の第１態様では、画像のフレーム内に遮蔽物の一端側及び他端側に沿ってそれぞれ第１及び第２のスリットを予め設定しておき、
該第１及び第２のスリットの一方の内側で移動物体の一部が検出され、その後他方の内側で移動物体の一部が検出された場合に、該一方の内側の移動物体の一部に付与されている識別符号を該他方の内側の移動物体の一部に付与する。
【００１１】
本発明による、画像における移動物体追跡方法の第２態様では、画像のフレーム内に遮蔽物領域を予め設定しておき、
該領域の一端側及び他端側に該領域と接している移動物体が検出され、該一端側で検出された移動物体に識別符号が付与され該他端側で検出された移動物体に識別符号が付与されていないとき、該他端側の移動物体に該一端側の移動物体の識別符号を付与する。
【００１２】
本発明による、画像における移動物体追跡方法の第３態様では、画像のフレーム内に遮蔽物領域を予め設定しておき、
移動物体が該領域に接した場合に、その後、該移動物体の動きベクトルに基づき該領域に隠れている該移動物体の部分を推定して該移動物体の一部とみなす。
【００１３】
本発明による、画像における移動物体追跡方法の第４態様では、遮蔽物の一端及び他端に沿った第１及び第２のスリット画像をそれぞれ該一端及び他端から該遮蔽物の内側へ所定回数複写することにより該遮蔽物の幅を擬似的に狭く又は０にする。
【００１４】
本発明による、画像における移動物体追跡方法の第５態様では、画像の縮小比が大きい領域ほどブロックサイズを大きくする。
【００１５】
本発明による、画像における移動物体追跡方法の第６態様では、画像の縮小比が大きい領域ほど多くの画素を間引いた画像を、同一サイズのブロックに分割する。
【００１６】
本発明による、画像における移動物体追跡方法の第７態様では、第１及び第２の領域が移動物体として認識され、該第１及び第２の領域が互いに所定値以上接近しかつ相対位置の変化が所定値以内である場合に、該第１領域と該第２領域とを連結してこれに１つの識別符号を付与する。
【発明の効果】
【００１７】
上記第１態様の構成によれば、第１及び第２のスリットの一方の内側で検出された移動物体に付与されている識別符号を、他方の内側で検出された移動物体に付与するので、ビデオカメラと移動物体との間に遮蔽物が存在していても、１つの移動物体を画像上で１つの移動物体として認識することができ、遮蔽物を通過した移動物体を追跡することができる。
【００１８】
上記第２態様の構成によれば、遮蔽物領域の一端側で検出された移動物体に付与されている識別符号を、他端側で検出された移動物体に付与するので、ビデオカメラと移動物体との間に遮蔽物が存在していても、１つの移動物体を画像上で１つの移動物体として認識することができ、遮蔽物を通過した移動物体を追跡することができる。
【００１９】
上記第３態様の構成によれば、遮蔽物領域に接した移動物体の動きベクトルに基づき遮蔽物領域に隠れている移動物体ブロックを推定してこれを移動物体の一部と見なすので、ビデオカメラと移動物体との間に遮蔽物が存在していても、１つの移動物体を画像上で１つの移動物体として認識することができ、遮蔽物を通過した移動物体を追跡することができる。
【００２０】
また、遮蔽物に隠れたブロックが推定されるので、移動物体が遮蔽物に隠れても移動物体の代表点、例えば幾何学的重心を、ほぼ正確に求めることができ、移動物体の代表点の軌跡を精度よく求めることが可能となる。
【００２１】
上記第４態様の構成によれば、遮蔽物の幅が擬似的に０又は狭くなるので、遮蔽物が存在する領域に移動物体が隠れても、１つの移動物体を画像上で１つの移動物体として認識することができ、遮蔽物を通過した移動物体を追跡することができる。
【００２２】
上記第５態様の構成によれば、画像の比較的大きく見える部分のブロックサイズが小さく見える部分のそれよりも大きく設定されるので、画像の大きく見える部分の特徴が背景画像のそれに比し強調されることになって、各ブロックの移動物体存否判定をより正確に判断することができ、これにより、移動物体の中間部が背景画像と類似していても、１つの移動物体を画像上で１つの移動物体として認識することができ、誤った分離認識を防止することが可能となる。また、同じ理由により、ブロックマッチングにより求めることができなかった動きベクトルも、求めることが可能になる。
【００２３】
上記第６態様の構成によれば、画像の大きく見える部分の特徴が背景画像のそれに比し強調されることになるので、上記第５態様と同様の効果を奏する。
【００２４】
本発明の第７態様の構成によれば、移動物体と認識された２つの領域が互いに設定値以下接近しかつ両領域の相対位置の変化が設定値以内であるとき、両領域を連結してこれに１つの識別符号を付与するので、移動物体の中間部が背景画像と類似していても、１つの移動物体を画像上で１つの移動物体として認識することができ、誤った分離認識を防止することが可能となる。
【００２５】
本発明の他の目的、構成及び効果は以下の説明から明らかになる。
【発明を実施するための最良の形態】
【００２６】
以下、図面に基づいて本発明の実施例を説明する。図面において、同一又は類似の要素には、同一又は類似の符号を付している。
【実施例１】
【００２７】
図１は、ビデオカメラ（例えばＩＴＶカメラ）１４で撮像された画像を処理して移動物体を追跡する移動物体追跡装置２０の概略機能ブロック図である。
【００２８】
移動物体追跡装置２０のうち記憶部以外は、コンピュータソフトウェア、専用のハードウェア又はコンピュータソフトウエアと専用のハードウエアの組み合わせで構成することができる。
【００２９】
ビデオカメラ１４で撮影された時系列画像は、例えば１２フレーム／秒のレートで、画像メモリ２１に格納され、最も古いフレームが新しいフレーム画像で書き換えられる。
【００３０】
本発明は、画像メモリ２１に格納された画像データを構成要素２３〜２６により、リアルタイムで処理する場合のみならず、不図示の外部記憶装置に格納しておき、必要な部分のみ後で処理する場合にも適用できる。
【００３１】
また、画像メモリ２１に格納された画像（原画像）を直接、構成要素２３〜２６で処理しても、ラプラシアンフィルタ等のフィルタをかけて空間的差分フレーム画像に変換したもの又は２次元フーリエ変換し所定周波数以上の成分を強調した後に逆フーリエ変換したもの（変換画像）を、構成要素２３〜２６で処理する構成であってもよい。以下、「画像」とは原画像又は変換画像を意味する。
【００３２】
背景画像生成部２２は、記憶部と処理部とを備え、処理部は、画像メモリ２１をアクセスし、例えば過去１分間の全ての又は間引かれたもののフレーム画像の対応する画素について画素値のヒストグラムを作成し、その最頻値（モード）をその画素の画素値とする画像を、移動物体が存在しない背景画像として生成し、これを該記憶部に格納する。背景画像は、この処理が定期的に行われて更新される。
【００３３】
ＩＤ生成／消滅部２３には、図２６に示す如くフレーム１０内の、交差点への４つの入口及び交差点からの４つの出口にそれぞれ配置されるスリットＥＮ１〜ＥＮ４及びＥＸ１〜ＥＸ４の位置及びサイズのデータが、予め設定されている。ＩＤ生成／消滅部２３は、画像メモリ２１から入口スリットＥＮ１〜ＥＮ４内の画像データを読み込み、これら入口スリット内に移動物体が存在するかどうかを上述のブロック単位で判定する。あるブロックに移動物体が存在するかどうかは、このブロック内の各画素と背景画像の対応する画素との差の絶対値の総和が所定値以上であるかどうかにより判定する。
【００３４】
ＩＤ生成／消滅部２３は、ブロック内に移動物体が存在すると判定すると、このブロックに新たな移動物体識別符号（ＩＤ）を付与する。ＩＤ生成／消滅部２３は、ＩＤ付与済ブロックと隣接しているブロックに移動物体が存在すると判定すると、この隣接ブロックに付与済ブロックと同一のＩＤを付与する。このＩＤ付与済ブロックは入口スリットに隣接しているブロックも含まれる。例えば図２６中の入口スリットＥＮ１内のブロックにはＩＤ＝１が付与される。以下、ＩＤが付与されたブロックの塊をクラスタと称する。
【００３５】
ＩＤの付与は、記憶部２４内のオブジェクトマップの対応するブロックに対して行われる。オブジェクトマップは、上述の場合６０×８０ブロックの各ブロックの移動物体情報を記憶するためのものであり、移動物体情報は、ＩＤが付与されているかどうかを示すフラグと、ＩＤが付与されていることを示している場合にはＩＤ及びブロックの動きベクトル（ＭＶ）を含む。なお、該フラグを用いずに、ＩＤ＝０のときＩＤが付与されていないと判定してもよい。また、ＩＤの最上位ビットをフラグとしてもよい。ブロックマッチングでＭＶが求まらないブロックのＭＶは例えば、その回りの同一ＩＤのブロックのＭＶの平均値に等しくする。
【００３６】
入口スリットを通過したクラスタに対しては、移動物体追跡部２５により公知の方法で追跡処理が行われる。例えば、高速処理のため、時刻ｔ−１（フレーム番号）でのＭＶに基づいて時刻ｔでのクラスタの概略移動範囲が推定され、この範囲内で上述の移動物体存否判定がブロック毎に行われ、移動方向側のブロックに対するＩＤの付与及び移動と反対方向側のブロックに対するＩＤの消滅が行われて、時刻ｔでのクラスタが決定される。また、時刻ｔ−１とｔのフレーム画像間のブロックマッチングにより、時刻ｔでＩＤが付与されているブロックのＭＶが求められる。高速処理のため、ブロックマッチングを行う範囲は、時刻ｔ−１でのＭＶに基づいて定められる。各ブロックのＩＤとＭＶは、評価関数を用いて同時に決定することもできる（例えば上記特許文献３）。ＩＤ及びＭＶの更新は、記憶部２４内のオブジェクトマップに対して行われる。
【００３７】
移動物体追跡部２５による追跡処理は、各クラスタについて出口スリット内まで行われる。
【００３８】
ＩＤ生成／消滅部２３はさらに、記憶部２４内のオブジェクトマップに基づき出口スリットＥＸ１〜ＥＸ４内のブロックにＩＤが付与されているかどうかを調べ、付与されていれば、クラスタが出口スリットを通過したときにそのＩＤを消滅させる。例えば図２６中の出口スリットＥＸ１内のブロックにＩＤ＝３が付されている状態から、ＩＤが付されない状態に変化したときに、ＩＤ＝３を消滅させる。消滅ＩＤは、次の生成ＩＤとして用いることができる。
【００３９】
本実施例１の特徴は遮蔽物処理部２６の構成にあり、以下これを詳述する。
【００４０】
ビデオカメラ１４は、例えば図２６に示すような交差点を撮像しており、通過する移動物体の一部を遮蔽する遮蔽物１２が写っている。図３は、この遮蔽物１２付近を拡大して示す。図３中のメッシュは、ブロックの境界線である。図３では、理解を容易にするために、移動物体のＩＤを示すオブジェクトマップ（記憶部２４内）に、移動物体１１、遮蔽物１２（画像メモリ２１内）、スリットＳＬ１及びＳＬ２（遮蔽物処理部２６内）を重ねて示している。
【００４１】
遮蔽物１２の幅方向一端側及び他端側に沿ってそれぞれ、スリットＳＬ１及びＳＬ２が移動物体追跡処理前に予め設定されている。
【００４２】
この設定は、マウス等のポインティングデバイス又はキーボード等の入力装置ＩＮと、設定を確認する表示装置ＯＵＴと、遮蔽物処理部２６に含まれる入力処理プログラムとを含む設定手段により、人の操作に基づいて行われる。これら入力装置及び表示装置は、機能的に少なくとも遮蔽物処理部２６に接続されている。
【００４３】
本実施例１の特徴は、スリットＳＬ１とＳＬ２の一方の内側に移動物体が検出され、その後、他方の内側に移動物体が検出された場合、該一方の内側で検出された移動物体に付与されているＩＤを、他方の内側で検出された移動物体の各ブロックに付与する点である。この検出及び付与処理は遮蔽物処理部２６により行われる。
【００４４】
スリットＳＬ１及びＳＬ２は、上記入り口スリットＥＮ１〜ＥＮ４及び出口スリットＥＸ１〜ＥＸ４と同様にして、遮蔽物処理部２６内の記憶領域に設定されている。スリットＳＬ１及びＳＡＬ２の幅は、図３ではブロック幅の２倍であるが、ブロック幅の整数倍であればよく、ブロックと等幅であってもよい。また、図３では、スリットＳＬ１及びＳＬ２の一部が遮蔽物１２の端部と重なっているが、両者が離れていても問題はない。
【００４５】
図２（Ａ）及び図２（Ｂ）はそれぞれ、図３のスリットＳＬ１及びＳＬ２内の画像処理を示す概略フローチャートである。これら２つの処理は実質的に同一であり、以下、図２（Ａ）の処理のみ説明する。これらの処理は、図１の遮蔽物処理部２６により、フレーム画像毎に行なわれる。
【００４６】
（Ｓ１）スリットＳＬ１内の各ブロックについて、上述のようにして移動物体存否を判定する。スリットＳＬ１内で移動物体のクラスタ（１ブロックのクラスタを含む）が新たに生成された場合には、ステップＳ２へ進み、そうでなければ処理を終了する。
【００４７】
（Ｓ２）この新たなクラスタを構成するブロックにＩＤが付与されていれば、スリットＳＬ１の右側から移動物体がスリットＳＬ１内へ入ったことを意味している。この場合、ステップＳ３へ進み、そうでなければステップＳ４へ進む。
【００４８】
（Ｓ３）このブロックのＩＤ、位置、ＭＶ及び時刻を一時記憶し、処理を終了する。
【００４９】
（Ｓ４）図２（Ｂ）のステップＳ７で一時記憶されたデータに基づいて、スリットＳＬ１に入ったこのブロックのＩＤを推定し付与（オブジェクトマップに対し付与）し、このＩＤを含む一時記憶データを消去する。これにより、複数の移動物体がほぼ同時にスリットＳＬ１に入っても、正しいＩＤを付与することができる。
【００５０】
ＩＤを付与したことが移動物体追跡部２５に通知され、移動物体追跡部２５はこれに応答して上述のようにブロックのＭＶを決定し、これを記憶部２４内のオブジェクトマップに記入し、その後の移動物体追跡処理を行う。
【００５１】
スリットＳＬ１又はＳＬ２を出た移動物体の追跡は、移動物体追跡部２５により行われる。この場合、クラスタリングは、例えばスリットＳＬ１又はＳＬ２を出た未定ＩＤの移動物体ブロック（移動物体のブロック）に、これと接触しているスリットＳＬ１又はＳＬ２内の移動物体ブロックと同じＩＤを付与することにより行われ、又は、スリットＳＬ１又はＳＬ２内を含めた領域の評価関数（例えば特開2003-263626号公報に記載のもの）を用いて行われる。
【００５２】
本実施例１によれば、スリットＳＬ１とＳＬ２の一方の内側で検出された移動物体に付与されているＩＤを、他方の内側で検出された移動物体に付与するので、ビデオカメラと移動物体との間に遮蔽物１２が存在していても、１つの移動物体を画像上で１つの移動物体として認識することができ、遮蔽物１２を通過した移動物体を追跡することができる。
【００５３】
なお、ステップＳ２において、ＩＤがブロックに付与されているかどうかを調べる代わりに、スリットＳＬ１の右側に接したブロックかつスリットＳＬ１に入ったブロックの付近に移動物体が存在するかどうか調べてもよい。また、ステップＳ３において、ＭＶ等の代わりにブロック画像またはその特徴量を用いて移動物体ブロック間の相関度を求めてＩＤを決定してもよい。
【００５４】
図４は、移動物体１１の一部がスリットＳＬ１を通ってＳＬ２に入り、そのブロックにＩＤ＝３が付与された場合を示す。
【実施例２】
【００５５】
本発明の実施例２では、実施例１のスリットＳＬ１及びＳＬ２の代わりに、ＳＬ1 とＳＬ２の間の領域を遮蔽物領域と設定する。
【００５６】
このため、各ブロックに遮蔽物フラグを備え、図６に示すように遮蔽物領域の各ブロックのフラグを‘１’に設定し、領域外のフラグを‘０’に設定する（図６では簡単化のため‘０’を省略）。このデータは、移動物体追跡処理前に予め図１の記憶部２４内のオブジェクトマップまたはこれと独立なマップに、実施例１で述べた設定手段と同様の手段を用いて設定されている。図７では、移動物体のＩＤを示すオブジェクトマップに、理解を容易にするため移動物体１１、遮蔽物１２及び遮蔽物領域２７を重ねて示している。
【００５７】
実施例２の特徴は、遮蔽物領域２７の幅方向一端側及び他端側に遮蔽物領域２７と接している移動物体が検出され、該一端側で検出された移動物体にＩＤが付与され、該他端側で検出された移動物体にＩＤが付与されていないときに、該他端側の移動物体に、該一端側の移動物体に付与されているＩＤを付与する点である。
【００５８】
図５は、図１の遮蔽物処理部２６による処理を示す概略フロ−チャートである。この処理は、フレーム画像毎に行われる。
【００５９】
（Ｓ１０）図１の記憶部２４内のオブジェクトマップを参照して、遮蔽物領域２７の幅方向のいずれか一方側に遮蔽物領域２７と接しているＩＤ付ブロックが存在すれば、このブロックの位置とＭＶとを一時記憶してステップＳ１１へ進み、そうでなければ処理を終了する。
【００６０】
（Ｓ１１）一時記憶されたブロックの位置とＭＶとに基づいて、遮蔽物領域２７の他方側から出る移動物体の一部の概略範囲２８（遮蔽物領域２７の他方側に接している複数ブロック）を求める。
【００６１】
（Ｓ１２）範囲２８内の各ブロックの移動物体存否を、時刻ｔでのフレーム画像及び背景画像に基づき上述のようにして判定する。存在すればステップＳ１２へ進み、そうでなければ処理を終了する。
【００６２】
（Ｓ１３）範囲２８内の移動物体ブロックに、一方側ブロックに付与されているＩＤと同一のＩＤを付与する。
【００６３】
この付与が移動物体追跡部２５に通知され、移動物体追跡部２５はこれに応答して上述のようにブロックのＭＶを決定し、記憶部２４内のオブジェクトマップにこれを記入し、その後の移動物体追跡処理を行う。
【００６４】
本実施例２によれば、遮蔽物領域２７の一端側で検出された移動物体に付与されているＩＤを、他端側で検出された移動物体に付与するので、ビデオカメラと移動物体との間に遮蔽物１２が存在していても、１つの移動物体を画像上で１つの移動物体として認識することができ、遮蔽物１２を通過した移動物体を追跡することができる。
【実施例３】
【００６５】
実施例２の方法は、移動物体全体が遮蔽物に隠れてしまう場合に適用することができない。そこで、本発明の実施例３では、図９に示す如く、移動物体１１が遮蔽物領域２７Ａに接した場合に、その後、接した移動物体のＭＶに基づき、図１０及び図１１に示す如く、遮蔽物領域２７Ａに隠れている移動物体ブロックを推定してこれを移動物体の一部と見なす。図１０及び図１１中の太線で囲まれた領域はこの推定されたブロックのクラスタである。図９〜１１では、理解を容易にするために、移動物体のＩＤを示すオブジェクトマップに、移動物体１１、遮蔽物１２及び遮蔽物領域２７Ａを重ねて示している。
【００６６】
この方法によれば、遮蔽物領域２７Ａのどの辺から移動物体が入っても問題なく処理できる。そこで、遮蔽物領域２７Ａは、遮蔽物１２の全体にわたって設定されている。なお、図７に示すように遮蔽物１２の一部に設定してもよいことは勿論である。
【００６７】
図８は、この方法を実施するための概略フローチャートであり、図１の遮蔽物処理部２６により処理される。この処理は、フレーム画像毎に行われる。
【００６８】
（Ｓ２０）図１の記憶部２４内のオブジェクトマップを参照して、遮蔽物領域２７Ａに接触しているブロックにＩＤが付与されているものが存在するかどうかを調べる。存在すればステップＳ２１へ進み、そうでなければステップＳ２３へ進む。
【００６９】
（Ｓ２１）遮蔽物領域２７Ａに接している移動物体ブロックの位置とＭＶとに基づいて、このＭＶが遮蔽物領域２７Ａ内で変わらないとしてその後のブロック位置（固定のブロック境界と無関係に移動させたブロックの位置）を想定し、想定ブロックの中心位置が存在する、遮蔽物領域２７Ａ内のブロックを、移動物体ブロック（推定ブロック）とみなす。このブロックには、想定ブロックと同一のＩＤ及びＭＶが付与される。この付与は、記憶部２４内のオブジェクトマップに対して行なわれる。
【００７０】
（Ｓ２３）遮蔽物領域２７Ａ内に推定ブロックが存在すればステップＳ２４へ進み、そうでなければ処理を終了する。
【００７１】
（Ｓ２４）推定ブロックを、上述のようにＭＶに基づいて移動させる。
【００７２】
図１１に示すように、移動物体１１が遮蔽物１２を通ってその一部が遮蔽物１２から突出した場合、そのブロックには、これに接している遮蔽物領域２７Ａのブロックと同一のＩＤが付与される。
【００７３】
この付与が移動物体追跡部２５に通知され、移動物体追跡部２５はこれに応答して上述のようにブロックのＭＶを決定し、これを記憶部２４内のオブジェクトマップに記入し、その後の移動物体追跡処理を行う。
【００７４】
本実施例３によれば、遮蔽物領域２７Ａに接した移動物体のＭＶに基づき遮蔽物領域２７Ａに隠れている移動物体ブロックを推定してこれを移動物体の一部と見なすので、ビデオカメラと移動物体との間に遮蔽物１２が存在していても、１つの移動物体を画像上で１つの移動物体として認識することができ、遮蔽物１２を通過した移動物体を追跡することができる。
【００７５】
また、遮蔽物１２に隠れたブロックが推定されるので、移動物体１１が遮蔽物１２に隠れても移動物体１１の代表点、例えば幾何学的重心を、ほぼ正確に求めることができ、移動物体１１の代表点の軌跡を精度よく求めることが可能となる。
【実施例４】
【００７６】
図１２は、本発明の実施例４の移動物体追跡装置２０Ａの概略構成を示す機能ブロック図である。
【００７７】
遮蔽物処理部２６Ａは、画像メモリ２１に格納された各フレーム画像に対し、移動物体追跡部２５により処理が行われる前に以下のような処理を行なうことにより、遮蔽物の幅を疑似的に狭く又は０にする。
【００７８】
すなわち、図１３に示すように、移動物体追跡処理前に遮蔽物１２の幅方向一端及び他端に沿ったスリット画像３０及び３１を、実施例１と同様の設定手段で設定しておく。スリット画像３０及び３１の幅はいずれも、１画素の幅の整数倍であり、例えば１倍である。スリット画像３０及び３１はいずれも、遮蔽物１２に接するか遮蔽物１２に接近しており、遮蔽物１２とは重なっていない。移動物体追跡処理においては、移動物体追跡部２５により処理が行われる前に、図１２の遮蔽物処理部２６Ａはスリット画像３０を遮蔽物１２の内側へ設定回数だけ複写し、同様に、スリット画像３１を遮蔽物１２の内側へ設定回数だけ複写する。この処理は、繰り返し行われる。背景画像生成部２２は、この複写が行われた画像に基づいて背景画像を生成する。なお、該設定回数は、複写領域３２と３３の間隔はが０又は１ブロック幅未満になるようにする。
【００７９】
このような処理により、図１４に示す如く、遮蔽物１２Ａの幅が擬似的に狭く又は０になる。そして、移動物体１１が実際の遮蔽物１２に接すると、移動物体１１の接している部分が急に延びて領域１１ａとなる。
【００８０】
遮蔽物処理部２６Ａにより複写された複写領域３２内のブロックについては、図１２の移動物体追跡部２５は、ＭＶを付与しないか、スリット画像３０に接し又はスリット画像３０を含むブロックのＭＶと同じＭＶを付与する。複写領域３３についても前記同様である。
【００８１】
図１５は、図１４の移動物体１１に対しＩＤが付与されたブロックを示す。図１４では、理解を容易にするために、移動物体のＩＤを示すオブジェクトマップに、移動物体１１及び遮蔽物１２Ａを重ねて示している。太線は、ＩＤ＝３のクラスタを示しているが、実際には存在しない。
【００８２】
図１６は、移動物体１１の一部が遮蔽物１２Ａを通った場合の画像を示す。領域１１ｂ及び１１ｃはそれぞれ、図１３の複写領域３２及び３３内の部分である。図１７は、図１６の移動物体１１に対しＩＤが付与されたブロックを示す。
【００８３】
本実施例５によれば、遮蔽物１２Ａの幅が擬似的に０又は１ブロック幅未満になるので、遮蔽物１２が存在する領域に移動物体が隠れても、遮蔽物処理部２６Ａにより、遮蔽物１２内のブロックにＩＤが付与される。したがって、１つの移動物体を画像上で１つの移動物体として認識することができ、ビデオカメラと移動物体との間に存在する遮蔽物１２を通過した移動物体を追跡することができる。なお、遮蔽物１２Ａの幅は、原理的には２ブロック幅−２画素幅でもよい場合があるが、１ブロック幅未満であれば確実に本実施例の効果が得られる。
【実施例５】
【００８４】
道路の中央上方から光軸を斜め下方へ向けたビデオカメラで移動物体を撮像すると、図２７に示すように、画像の上側ほど縮小比が小さくなる（像サイズ／実サイズが小さくなる）。縮小比が大きいほど一般的に、等幅ブロックに分割した場合のブロック内画像の空間的変化率が小さくなるので、背景画像との差が小さくなって、すなわち移動物体存在判定のための情報量が少なくなって、図２８に示すように１つの移動物体が移動物体１３Ａと１３Ｂとに分離していると誤認識される場合がある。特に、高速に移動する移動物体をリアルタイムで追跡処理するためにモノクロ画像を使用すると、このような誤認識が生じやすい。
【００８５】
そこで、本発明の実施例５では、この問題を解決するために、図１８に示す如く、画像の縮小比が大きい領域ほどブロックを大きくしている。すなわち、図示Ｙ方向については領域３４ａ〜３４ｅの順に画像の縮小比が小さくなるので、領域３４ａの各ブロックでは１２ライン、領域３４ｂの各ブロックでは１１ライン、領域３４ｃの各ブロックでは１０ライン、領域３４ｄの各ブロックでは９ライン、領域３４ｅの各ブロックでは８ラインとしている。各ブロックの図示Ｘ方向の幅は、簡単化のために同じにしている。
【００８６】
なお、ブロックの境界を示すメッシュは、実際にはぎざぎざになるが、図１８では簡単化のために直線で示している。また、ブロックサイズは、実施例１と同様の設定手段により、設定される。
【００８７】
図１９は、図１８に対応した、ＩＤ分布を示すオブジェクトマップであり、理解を容易にするために移動物体１３が重ねて描かれている。
【００８８】
本実施例５によれば、画像の比較的大きく見える部分のブロックサイズが小さく見える部分のそれよりも大きく設定されているので、画像の大きく見える部分の特徴が背景画像のそれに比し強調されることになって、各ブロックの移動物体存否判定をより正確に判断することができ、これにより、移動物体の中間部が背景画像と類似していても、１つの移動物体を画像上で１つの移動物体として認識することができ、図２８に示すような誤った分離認識を防止することが可能となる。また、同じ理由により、ブロックマッチングにより求めることができなかったＭＶも、求めることが可能になる。
【００８９】
なお、図１８において、領域３４ａ〜３４ｄのブロックからそれぞれ４〜１ラインを略均等に間引くことにより、図１８の画像を図１９に示すよう変換して均一サイズのブロックにし、その後に移動物体追跡処理を行なうようにしてもよい。背景画像についても同様に変換する。
【００９０】
この場合、間引かれるラインの画素データを無視することにより、実質的に画像変換する構成であってもよい。また、公知の画像縮小変換方法のように、間引きとともに、間引かれないラインの画像を補正して、画像がより滑らかになるように縮小してもよい。
【００９１】
このような方法によっても、画像の大きく見える部分の特徴が背景画像のそれに比し強調されることになるので、これにより、移動物体の中間部が背景画像と類似していても、１つの移動物体を画像上で１つの移動物体として認識することができ、図２８に示すような誤った分離認識を防止することが可能となるとともに、単純ブロックマッチングにより求めることができなかったＭＶも求めることができるようになる。
【実施例６】
【００９２】
本発明の実施例６では、図２０に示す如く、座標Ｙの値が大きくなるほど、Ｙ方向のみならずＸ方向のブロック幅も狭くしている。ブロックの境界を示すメッシュは、実際にはぎざぎざになるが、図２０では簡単化のために直線で示している。
【００９３】
図２０中の移動物体１３Ｓは、同じ移動物体１３がさらにＹ方向へ移動したときの画像である。このようにブロックサイズを決めることにより、同じ姿勢の移動物体１３が占めるブロック数がフレーム内の位置によらず略一定になる。
【００９４】
図２１は、図２０の右半分の領域３５のブロック座標を示している。各ブロックの位置は、領域３５の外側の実際に存在しない領域３６まで想定することにより、容易に指定することができる。ブロックサイズを決定する座標変換パラメータは、実施例１と同様の設定手段により設定される。
【００９５】
本実施例６によれば、実施例５の場合よりも、画像の大きく見える部分の特徴が背景画像のそれに比し強調されることになるので、図２８に示すような誤った分離認識をより効果的に防止することが可能となるとともに、単純ブロックマッチングにより求めることができなかったＭＶも求めることができるようになる。
【実施例７】
【００９６】
本発明の実施例７では、実施例５又は６のようにブロックサイズを画像位置によって変更することなく、誤った分離認識を防止するために、次のような方法を用いている。
【００９７】
すなわち、例えば図２４（Ａ）に示すように、ＩＤ＝２の領域とＩＤ＝３の領域が同一移動物体であるにも拘わらず、移動物体中間部が背景画像に類似しているために互いに異なる移動物体として認識された場合、両領域が互いに設定値以下接近しかつ両領域の相対位置の変化が設定値以内であれば、両領域を連結してこれに１つのＩＤを付与する（ＩＤを修正する）。この処理は図２２の合成部２６Ｂにより、オブジェクトマップ記憶部２４に対して行われる。これら設定値は、実施例１と同様の設定手段で設定される。
【００９８】
この処理を簡単に行なうために、図２２の合成部２６Ｂはオブジェクトマップ記憶部２４に対して、図２３に示す処理を行なう。この処理は、フレーム画像毎に行われる。
【００９９】
（Ｓ３０）同一ＩＤのクラスタが内接する矩形を描き又は想定する。例えば図２４（Ａ）に示すように、ＩＤ＝２のクラスタが内接する矩形領域３７Ａ及びＩＤ＝３のクラスタが内接する矩形領域３７Ｂを描き又は想定する。
【０１００】
（Ｓ３１）矩形領域３７Ａと３７ＢのＸ方向間隔ＤＸを測定し、一時記憶する。図２４（Ａ）の場合、矩形領域３７Ａと３７Ｂとが重なっているので、ＤＸ＜０である。図２４（Ｂ）の場合もＤＸ＜０である。
【０１０１】
（Ｓ３２）ＤＸ≦ＤＸ０であればステップＳ３３へ進み、そうでなければ処理を終了する。例えば、矩形領域３７Ａと３７ＢがＸ方向に関し重なり、接し又は離れているがＤＸ０以内であれば、ＤＸ≦ＤＸ０であると判定される。ここにＤＸ０は、ブロックの一辺の長さを単位とする正の整数値であり、本方法がより効果的になるように経験的に定められる。
【０１０２】
（Ｓ３３、Ｓ３４）Ｙ方向についてもＸ方向と同様の処理を行ない、Ｙ方向間隔ＤＹを一時記憶する。図２４（Ａ）、図２４（Ｂ）はそれぞれ、ＤＹ＜０、ＤＹ＞０の場合を示している。
【０１０３】
（Ｓ３５）連続する設定フレーム数について、上記一時記憶したＤＸ及びＤＹの変化が設定値以下である場合にはステップＳ３６へ進み、そうでなければ処理を終了する。
【０１０４】
（Ｓ３６）ステップＳ３０で生成されステップＳ３２、Ｓ３３及びＳ３５の条件を満たす２つの矩形領域について、移動物体ブロックに同一ＩＤを付与する。例えば図２４（Ａ）の矩形領域３７Ａ、３７Ｂ内の移動物体ブロックに、図２５（Ａ）に示す如く同一ＩＤを付与して、１つの矩形領域３７にする。同様に、図２４（Ｂ）の矩形領域３８Ａ、３８Ｂ内の移動物体ブロックに、図２５（Ｂ）に示す如く同一ＩＤを付与して、１つの矩形領域３８にする。
【０１０５】
本実施例７によれば、移動物体と認識された２つの領域が互いに設定値以下接近しかつ両領域の相対位置の変化が設定値以内であるとき、両領域を連結してこれに１つのＩＤを付与するので、これにより、移動物体の中間部が背景画像と類似していても、１つの移動物体を画像上で１つの移動物体として認識することができ、誤った分離認識を防止することが可能となる。
【図面の簡単な説明】
【０１０６】
【図１】本発明の実施例１に係る移動物体追跡装置の概略機能ブロック図である。
【図２】（Ａ）及び（Ｂ）はそれぞれ、図１の遮蔽物処理部で行われる、第１及び第２のスリット内の画像処理を示す概略フローチャートである。
【図３】遮蔽物付近を拡大して示す、図２の処理説明図である。
【図４】図２の処理説明図である。
【図５】本発明の実施例２に係る、遮蔽物処理部による処理を示す概略フロ−チャートである。
【図６】遮蔽物フラグの値が‘１’の分布を示す図である。
【図７】図５の処理説明図である。
【図８】本発明の実施例３に係る、遮蔽物処理部による処理を示す概略フロ−チャートである。
【図９】図５の処理説明図である。
【図１０】図５の処理説明図である。
【図１１】図５の処理説明図である。
【図１２】本発明の実施例４に係る移動物体追跡装置の概略機能ブロック図である。
【図１３】図１２の遮蔽物処理部による処理の説明図である。
【図１４】この遮蔽物処理部の処理結果説明図である。
【図１５】図１４の移動物体に対しＩＤが付与されたブロックを示す図である。
【図１６】図１２の遮蔽物処理部の処理結果説明図である。
【図１７】図１６の移動物体に対しＩＤが付与されたブロックを示す図である。
【図１８】本発明の実施例５に係るブロック分割説明図である。
【図１９】図１８の移動物体に対しＩＤが付与されたブロックを示す図である。
【図２０】本発明の実施例６に係るブロック分割説明図である。
【図２１】図２０の右半分の領域のブロック座標説明図である。
【図２２】本発明の実施例７に係る移動物体追跡装置の概略機能ブロック図である。
【図２３】図２２の合成部で行われる処理を示す概略フロ−チャートである。
【図２４】（Ａ）及び（Ｂ）は図２３の処理対象説明図である。
【図２５】（Ａ）及び（Ｂ）はそれぞれ図２４の（Ａ）及び（Ｂ）に対する処理結果説明図である。
【図２６】本発明の背景技術の問題点説明図である。
【図２７】本発明の背景技術の他の問題点が生ずる画像の説明図である。
【図２８】該他の問題点説明図である。
【符号の説明】
【０１０７】
１０ フレーム
１１、１３、１３Ｓ 移動物体
１１ａ〜１１ｃ 領域
１２、１２Ａ 遮蔽物
１４ ビデオカメラ
２０、２０Ａ、２０Ｂ 移動物体追跡装置
２１ 画像メモリ
２２ 背景画像生成部
２３ ＩＤ生成／消滅部
２４ オブジェクトマップ記憶部
２５ 移動物体追跡部
２６、２６Ａ 遮蔽物処理部
２６Ｂ 合成部
２７、２７Ａ 遮蔽物領域
２８ 範囲
３０、３１ スリット画像
３２、３３ 複写領域
３４ａ〜３４ｅ 領域
３５、３６ 領域
３７、３７Ａ、３７Ｂ、３８、３８Ａ、３８Ｂ 矩形領域
ＥＮ１〜ＥＮ４ 入口スリット
ＥＸ１〜ＥＸ４ 出口スリット
【特許請求の範囲】
【請求項１】
時系列画像上の移動物体を検出して該移動物体に識別符号を付与し該移動物体を追跡する、画像における移動物体追跡方法において、画像上で移動物体を一時的に隠す遮蔽物が存在する場合に、
画像のフレーム内に該遮蔽物の一端側及び他端側に沿ってそれぞれ第１及び第２のスリットを予め設定しておき、
該第１及び第２のスリットの一方の内側で移動物体の一部が検出され、その後他方の内側で移動物体の一部が検出された場合に、該一方の内側の移動物体の一部に付与されている識別符号を該他方の内側の移動物体の一部に付与する
ことを特徴とする画像における移動物体追跡方法。
【請求項２】
該一方及び他方の内側で検出された移動物体間の相関度を求め、該相関度に基づいて、該一方の内側の移動物体に付与されている識別符号を該他方の内側で検出された移動物体に付与することを特徴とする請求項１記載の方法。
【請求項３】
少なくとも、該一方の内側で検出された移動物体の位置及び動きベクトルに基づいて、該他方の内側で検出される移動物体の位置を推定し、該推定位置と該他方の内側で検出された移動物体の位置との一致度を該相関度として求めることを特徴とする請求項２記載の方法。
【請求項４】
時系列画像上の移動物体を検出して該移動物体に識別符号を付与し該移動物体を追跡する、画像における移動物体追跡装置において、
画像のフレーム内に、画像上で移動物体を一時的に隠す遮蔽物の一端側及び他端側に沿ってそれぞれ第１及び第２のスリットを予め設定するための設定手段と、
該第１及び第２のスリットの一方の内側で移動物体の一部が検出され、その後他方の内側で移動物体の一部が検出された場合に、該一方の内側の移動体の一部に付与されている識別符号を該他方の内側の移動体の一部に付与する移動物体処理手段と、
を有することを特徴とする、画像における移動物体追跡装置。
【請求項５】
時系列画像上の移動物体を検出して該移動物体に識別符号を付与し該移動物体を追跡する、画像における移動物体追跡方法において、画像上で移動物体を一時的に隠す遮蔽物が存在する場合に、
画像のフレーム内に遮蔽物領域を予め設定しておき、
該領域の一端側及び他端側に該領域と接している移動物体が検出され、該一端側で検出された移動物体に識別符号が付与され該他端側で検出された移動物体に識別符号が付与されていないとき、該他端側の移動物体に該一端側の移動物体の識別符号を付与する
ことを特徴とする画像における移動物体追跡方法。
【請求項６】
時系列画像上の移動物体を検出して該移動物体に識別符号を付与し該移動物体を追跡する、画像における移動物体追跡方法において、画像上で移動物体を一時的に隠す遮蔽物が存在する場合に、
画像のフレーム内に遮蔽物領域を予め設定しておき、
移動物体が該領域に接した場合に、その後、該移動物体の動きベクトルに基づき該領域に隠れている該移動物体の部分を推定して該移動物体の一部とみなす
ことを特徴とする画像における移動物体追跡方法。
【請求項７】
時系列画像の各々を複数ブロックに分割し、
該遮蔽物領域は、ブロック単位で該遮蔽物が存在するかどうかが設定されており、
該領域に隠れている該移動物体の部分がブロック単位で推定される
ことを特徴とする請求項６記載の方法。
【請求項８】
時系列画像上の移動物体を検出して該移動物体に識別符号を付与し該移動物体を追跡する、画像における移動物体追跡装置において、
画像のフレーム内に、画像上で移動物体を一時的に隠す遮蔽物の領域を予め設定するための設定手段と、
移動物体が該領域に接した場合に、その後、該移動物体の動きベクトルに基づき該領域に隠れている該移動物体の部分を推定して該移動物体の一部とみなす遮蔽物処理手段と、
を有することを特徴とする画像における移動物体追跡装置。
【請求項９】
時系列画像上の移動物体を検出して該移動物体に識別符号を付与し該移動物体を追跡する、画像における移動物体追跡方法において、画像上で移動物体を一時的に隠す遮蔽物が存在する場合に、
該遮蔽物の一端及び他端に沿った第１及び第２のスリット画像をそれぞれ該一端及び他端から該遮蔽物の内側へ所定回数複写することにより該遮蔽物の幅を擬似的に狭く又は０にする
ことを特徴とする画像における移動物体追跡方法。
【請求項１０】
時系列画像上の移動物体をブロック単位で検出して該ブロックに識別符号を付与し該移動物体を追跡する、画像における移動物体追跡方法において、
画像の縮小比が大きい領域ほどブロックサイズを大きくする
ことを特徴とする画像における移動物体追跡方法。
【請求項１１】
時系列画像上の移動物体をブロック単位で検出して該ブロックに識別符号を付与し該移動物体を追跡する、画像における移動物体追跡方法において、実質的に、
画像の縮小比が大きい領域ほど多くの画素を間引いた画像を、同一サイズのブロックに分割する
ことを特徴とする画像における移動物体追跡方法。
【請求項１２】
時系列画像上の移動物体をブロック単位で検出して該ブロックに識別符号を付与し該移動物体を追跡する、画像における移動物体追跡装置において、
画像の縮小比が大きい領域ほどブロックサイズを大きくする
ことを特徴とする画像における移動物体追跡方法。
【請求項１３】
時系列画像上の移動物体を検出して該移動物体に識別符号を付与し該移動物体を追跡する、画像における移動物体追跡方法において、
第１及び第２の領域が移動物体として認識され、該第１及び第２の領域が互いに所定値以上接近しかつ相対位置の変化が所定値以内である場合に、該第１領域と該第２領域とを連結してこれに１つの識別符号を付与する
ことを特徴とする、画像における移動物体追跡方法。
【請求項１４】
該第１領域が内接する第１矩形領域と該第２領域が内接する第２矩形領域とが第１方向に関し重なり、接し、又は所定距離以下離れているという第１条件を満たしている場合に、該第１及び第２の領域が互いに該所定値以上接近していると判定する
ことを特徴とする請求項１３記載の方法。
【請求項１５】
該第１条件を満たし、かつ、該第１矩形領域と該第２矩形領域とが該第１方向と直角な第２方向に関し所定距離以下離れているという第２条件を満たしている場合に、該第１及び第２の領域が互いに該所定値以上接近していると判定する
ことを特徴とする請求項１４記載の方法。
【請求項１】
時系列画像上の移動物体を検出して該移動物体に識別符号を付与し該移動物体を追跡する、画像における移動物体追跡方法において、画像上で移動物体を一時的に隠す遮蔽物が存在する場合に、
画像のフレーム内に該遮蔽物の一端側及び他端側に沿ってそれぞれ第１及び第２のスリットを予め設定しておき、
該第１及び第２のスリットの一方の内側で移動物体の一部が検出され、その後他方の内側で移動物体の一部が検出された場合に、該一方の内側の移動物体の一部に付与されている識別符号を該他方の内側の移動物体の一部に付与する
ことを特徴とする画像における移動物体追跡方法。
【請求項２】
該一方及び他方の内側で検出された移動物体間の相関度を求め、該相関度に基づいて、該一方の内側の移動物体に付与されている識別符号を該他方の内側で検出された移動物体に付与することを特徴とする請求項１記載の方法。
【請求項３】
少なくとも、該一方の内側で検出された移動物体の位置及び動きベクトルに基づいて、該他方の内側で検出される移動物体の位置を推定し、該推定位置と該他方の内側で検出された移動物体の位置との一致度を該相関度として求めることを特徴とする請求項２記載の方法。
【請求項４】
時系列画像上の移動物体を検出して該移動物体に識別符号を付与し該移動物体を追跡する、画像における移動物体追跡装置において、
画像のフレーム内に、画像上で移動物体を一時的に隠す遮蔽物の一端側及び他端側に沿ってそれぞれ第１及び第２のスリットを予め設定するための設定手段と、
該第１及び第２のスリットの一方の内側で移動物体の一部が検出され、その後他方の内側で移動物体の一部が検出された場合に、該一方の内側の移動体の一部に付与されている識別符号を該他方の内側の移動体の一部に付与する移動物体処理手段と、
を有することを特徴とする、画像における移動物体追跡装置。
【請求項５】
時系列画像上の移動物体を検出して該移動物体に識別符号を付与し該移動物体を追跡する、画像における移動物体追跡方法において、画像上で移動物体を一時的に隠す遮蔽物が存在する場合に、
画像のフレーム内に遮蔽物領域を予め設定しておき、
該領域の一端側及び他端側に該領域と接している移動物体が検出され、該一端側で検出された移動物体に識別符号が付与され該他端側で検出された移動物体に識別符号が付与されていないとき、該他端側の移動物体に該一端側の移動物体の識別符号を付与する
ことを特徴とする画像における移動物体追跡方法。
【請求項６】
時系列画像上の移動物体を検出して該移動物体に識別符号を付与し該移動物体を追跡する、画像における移動物体追跡方法において、画像上で移動物体を一時的に隠す遮蔽物が存在する場合に、
画像のフレーム内に遮蔽物領域を予め設定しておき、
移動物体が該領域に接した場合に、その後、該移動物体の動きベクトルに基づき該領域に隠れている該移動物体の部分を推定して該移動物体の一部とみなす
ことを特徴とする画像における移動物体追跡方法。
【請求項７】
時系列画像の各々を複数ブロックに分割し、
該遮蔽物領域は、ブロック単位で該遮蔽物が存在するかどうかが設定されており、
該領域に隠れている該移動物体の部分がブロック単位で推定される
ことを特徴とする請求項６記載の方法。
【請求項８】
時系列画像上の移動物体を検出して該移動物体に識別符号を付与し該移動物体を追跡する、画像における移動物体追跡装置において、
画像のフレーム内に、画像上で移動物体を一時的に隠す遮蔽物の領域を予め設定するための設定手段と、
移動物体が該領域に接した場合に、その後、該移動物体の動きベクトルに基づき該領域に隠れている該移動物体の部分を推定して該移動物体の一部とみなす遮蔽物処理手段と、
を有することを特徴とする画像における移動物体追跡装置。
【請求項９】
時系列画像上の移動物体を検出して該移動物体に識別符号を付与し該移動物体を追跡する、画像における移動物体追跡方法において、画像上で移動物体を一時的に隠す遮蔽物が存在する場合に、
該遮蔽物の一端及び他端に沿った第１及び第２のスリット画像をそれぞれ該一端及び他端から該遮蔽物の内側へ所定回数複写することにより該遮蔽物の幅を擬似的に狭く又は０にする
ことを特徴とする画像における移動物体追跡方法。
【請求項１０】
時系列画像上の移動物体をブロック単位で検出して該ブロックに識別符号を付与し該移動物体を追跡する、画像における移動物体追跡方法において、
画像の縮小比が大きい領域ほどブロックサイズを大きくする
ことを特徴とする画像における移動物体追跡方法。
【請求項１１】
時系列画像上の移動物体をブロック単位で検出して該ブロックに識別符号を付与し該移動物体を追跡する、画像における移動物体追跡方法において、実質的に、
画像の縮小比が大きい領域ほど多くの画素を間引いた画像を、同一サイズのブロックに分割する
ことを特徴とする画像における移動物体追跡方法。
【請求項１２】
時系列画像上の移動物体をブロック単位で検出して該ブロックに識別符号を付与し該移動物体を追跡する、画像における移動物体追跡装置において、
画像の縮小比が大きい領域ほどブロックサイズを大きくする
ことを特徴とする画像における移動物体追跡方法。
【請求項１３】
時系列画像上の移動物体を検出して該移動物体に識別符号を付与し該移動物体を追跡する、画像における移動物体追跡方法において、
第１及び第２の領域が移動物体として認識され、該第１及び第２の領域が互いに所定値以上接近しかつ相対位置の変化が所定値以内である場合に、該第１領域と該第２領域とを連結してこれに１つの識別符号を付与する
ことを特徴とする、画像における移動物体追跡方法。
【請求項１４】
該第１領域が内接する第１矩形領域と該第２領域が内接する第２矩形領域とが第１方向に関し重なり、接し、又は所定距離以下離れているという第１条件を満たしている場合に、該第１及び第２の領域が互いに該所定値以上接近していると判定する
ことを特徴とする請求項１３記載の方法。
【請求項１５】
該第１条件を満たし、かつ、該第１矩形領域と該第２矩形領域とが該第１方向と直角な第２方向に関し所定距離以下離れているという第２条件を満たしている場合に、該第１及び第２の領域が互いに該所定値以上接近していると判定する
ことを特徴とする請求項１４記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【公開番号】特開２００６−２４１４８（Ｐ２００６−２４１４８Ａ）
【公開日】平成１８年１月２６日（２００６．１．２６）
【国際特許分類】
【出願番号】特願２００４−２０３８５４（Ｐ２００４−２０３８５４）
【出願日】平成１６年７月９日（２００４．７．９）
【出願人】（８０１００００４９）財団法人生産技術研究奨励会 (72)
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成１８年１月２６日（２００６．１．２６）
【国際特許分類】
【出願日】平成１６年７月９日（２００４．７．９）
【出願人】（８０１００００４９）財団法人生産技術研究奨励会 (72)
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]