移動体識別方法及び装置
【課題】移動体間の重なりが頻繁に生じても異なる移動体として識別可能にする。
【解決手段】移動体をメッシュのブロックに分割し、評価値に基づき、ブロック単位で追跡する。この評価値は、時刻ｔのブロックｉの識別ＩＤがＩＤｊであると仮定したときの時刻（ｔ−１）の対応するブロックｍの動きベクトルＶＣｍ（ｔ−１）と、時刻（ｔ−１）のブロックｍと隣接する、識別ＩＤがＩＤｊであるブロックの動きベクトルＶＢｐ（ｔ−１）、ｐ＝１〜Ｎｘとの差の絶対値の平方｜ＶＣｍ（ｔ−１）−ＶＢｐ（ｔ−１）｜2の平均値を含む。
【解決手段】移動体をメッシュのブロックに分割し、評価値に基づき、ブロック単位で追跡する。この評価値は、時刻ｔのブロックｉの識別ＩＤがＩＤｊであると仮定したときの時刻（ｔ−１）の対応するブロックｍの動きベクトルＶＣｍ（ｔ−１）と、時刻（ｔ−１）のブロックｍと隣接する、識別ＩＤがＩＤｊであるブロックの動きベクトルＶＢｐ（ｔ−１）、ｐ＝１〜Ｎｘとの差の絶対値の平方｜ＶＣｍ（ｔ−１）−ＶＢｐ（ｔ−１）｜2の平均値を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列画像の各々を、複数画素を含むブロックに分割して処理する移動体識別方法及び装置に関する。
【背景技術】
【０００２】
交通事故の早期発見は、迅速な救助活動により人命救助の成功率を高めるだけでなく、警察の実地検分などを迅速にすることにより事故渋滞を緩和することもできるので、様々な交通事故の認識自動化が期待されている。
【０００３】
本願発明者による下記特許文献１では、時系列画像を処理して画像中の移動体の異常事象を検出する移動体異常事象検出方法において、
（ａ）時刻（ｔ−１）のフレーム画像と時刻ｔのフレーム画像との相関関係に基づき時刻ｔのフレーム画像中の移動体を識別し、
（ｂ）第１移動体に対する第２移動体の相対動作の特徴量を観測量として検出し、該観測量の時系列を観測系列として記憶し、
（ｃ）該観測系列の参照系列に対する類似度を算出して移動体間動作を分類し、
（ｄ）該観測系列の衝突参照系列に対する該類似度が設定値より大きい場合、衝突事故であると判定する。
【０００４】
この方法によれば、衝突事故などの異常事象を自動検出することができる。
【０００５】
上記公報では、上記ステップ（ｂ）の観測量として、Ｖ／（ｄ＋ε）を量子化したスカラーを用いている。ここに相対動きベクトルＶは、第１移動体に対する第２移動体の相対動きベクトルＶであり、εは分母が０になるのを避けるための定数である。
【０００６】
この観測量を用いれば、量子化していることから、少ない参照系列で様々な移動体間動作を分類することが可能になる。
【０００７】
しかしながら、移動体間動作をより詳細に分類することができないという問題があった。
【０００８】
上記公報では、上記ステップ（ａ）において、時刻（ｔ−１）のフレーム画像中の移動体の識別結果を利用して上記相関関係から時刻ｔのフレーム画像中の移動体を容易に識別することができる。
【０００９】
しかし、１台のカメラで広い領域を撮像して移動体を追跡するために、路面に対し低カメラアングルで移動体を正面から撮像した場合、図１３に示すように移動体同士の画像上での重なりが頻繁に生ずる。時刻（ｔ−１）で移動体Ｍ１とＭ２とが識別されずに１つのクラスタとして識別され、このクラスタの代表動きベクトルを用い、上記相関関係に基き時刻ｔでの移動体Ｍ１とＭ２を含むクラスタを識別しようとするが、移動体Ｍ１とＭ２の速度が異なるので、正確に識別することができない。次の時刻（ｔ＋１）では移動体Ｍ２が移動体Ｍ１から分離しているが、移動体Ｍ２がＭ３と重なっているので、移動体Ｍ２とＭ３とが１つのクラスタとして識別され、移動体Ｍ２とＭ３の各々を識別することができない。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００１−１４８０１９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明の目的は、このような問題点に鑑み、移動体間の重なりが頻繁に生じても異なる移動体として識別することが可能な、移動体を含む画像の処理方法及び装置を提供することにある。
【課題を解決するための手段】
【００１２】
本発明の一態様では、時系列画像の各々を、複数画素を含むブロックに分割して処理する移動体識別方法であって、時刻（ｔ−１）のフレーム画像に含まれている複数の移動体の識別ＩＤが、ブロック単位で付与されているとともにブロック単位で移動体の動きベクトルが求められている場合に、時刻ｔのフレーム画像に含まれている複数の移動体のＩＤを、ブロック単位で付与するとともにブロック単位で移動体の動きベクトルを求める移動体識別方法において、
（ａ）該識別ＩＤがＩＤｊである時刻（ｔ−１）のブロックｊをその動きベクトルＶｊで移動させたときの、時刻ｔの画像フレーム中の対応するブロックｉの枠を、−Ｖｊ移動させ、移動した枠内の時刻（ｔ−１）の画像と、時刻ｔのブロックｉの画像との相関度に関係した評価値を計算し、
（ｂ）該識別ＩＤがＩＤｋである時刻（ｔ−１）のブロックｋをその動きベクトルＶｋで移動させたときの、時刻ｔの画像フレーム中の対応する該ブロックｊの枠を、−Ｖｋ移動させ、移動した枠内の時刻（ｔ−１）の画像と、該時刻ｔのブロックｊの画像との該相関度に関係した評価値を計算し、
（ｃ）ステップ（ａ）と（ｂ）で算出された評価値の大小関係に基づいて、該時刻ｔのブロックｉがＩＤｊであるかＩＤｋであるかを決定する。
【００１３】
この構成によれば、ブロック毎の動きベクトルを用いているので、異なる速度の複数の移動体を含む時刻ｔの１つのクラスタに含まれるブロックに複数の識別ＩＤのいずれかを付与することが可能となり、これにより１つのクラスタを異なるＩＤのクラスタに分割することが可能になる。すなわち、従来では追跡できなかった移動体を追跡することが可能となり、衝突事故や交通違反などのより正確な検出に寄与するところが大きい。
【００１４】
例えば、上記ステップ（ａ）の評価値は、上記時刻ｔのブロックｉの識別ＩＤがＩＤｊであると仮定したときの時刻（ｔ−１）の対応するブロックｍの動きベクトルＶＣｍ（ｔ−１）と、時刻（ｔ−１）のブロックｍと隣接する、識別ＩＤがＩＤｊであるブロックの動きベクトルＶＢｐ（ｔ−１）、ｐ＝１〜Ｎａとの差の絶対値｜ＶＣｍ（ｔ−１）−ＶＢｐ（ｔ−１）｜に関する量（例えば｜ＶＣｍ（ｔ−１）−ＶＢｐ（ｔ−１）｜r、ｒ＞１）のｐについての総和を含み、
上記ステップ（ｂ）の評価値は、該時刻ｔのブロックｉの識別ＩＤがＩＤｋであると仮定したときの時刻（ｔ−１）の対応するブロックｎの動きベクトルＶＣｎ（ｔ−１）と、時刻（ｔ−１）のブロックｎと隣接する、識別ＩＤがＩＤｋであるブロックの動きベクトルＶＢｑ（ｔ−１）、ｑ＝１〜Ｎｂとの差の絶対値｜ＶＣｎ（ｔ−１）−ＶＢｑ（ｔ−１）｜に関する量のｑについての総和を含む。
【００１５】
この構成によれば、ほぼ同一の画素値が分布しているために時刻（ｔ−１）の動きベクトルの誤差が大きくても、ブロック識別ＩＤの付与をより正確に行うことが可能となり、結果として、衝突事故や交通違反などのより正確な検出に寄与する。
【００１６】
本発明の他の目的、構成及び効果は以下の説明から明らかになる。
【図面の簡単な説明】
【００１７】
【図１】交差点及びこれに配置された本発明の実施例１の装置の概略を示す図である。
【図２】図１中の移動体異常事象検出装置の機能ブロック図である。
【図３】図２の判定部の処理を示すフローチャートである。
【図４】交差点への４つの入口及び交差点からの４つの出口に設定されたスリット及びブロックに付された移動体のＩＤを示す説明図である。
【図５】図１中の観測量検出部での処理を説明するベクトル図である。
【図６】ベクトルＶ／Ｄの量子化説明図である。
【図７】相対位置ベクトルの量子化及び時系列分類の説明図である。
【図８】（Ａ）及び（Ｂ）はいずれも互いにすれ違う移動体間動作の分類説明図である。
【図９】（Ａ）及び（Ｂ）はいずれも互いにすれ違う移動体間動作の分類説明図である。
【図１０】衝突事故時の時系列パターン説明図である。
【図１１】交差点での移動体衝突事故判定説明図である。
【図１２】交差点での移動体故障判定説明図である。
【図１３】移動体同士の画像上での重なりが頻繁に生ずる場合の説明図である。
【図１４】オブジェクトマップ作成説明図である。
【図１５】オブジェクトマップ作成説明図である。
【図１６】オブジェクトマップ作成説明図である。
【図１７】オブジェクトマップ作成説明図である。
【図１８】オブジェクトマップ作成説明図である。
【図１９】オブジェクトマップ作成説明図である。
【実施例１】
【００１８】
以下、図面を参照して本発明の実施例１を説明する。複数の図中の対応する同一又は類似の構成要素には、同一又は類似の符号を付している。
【００１９】
図１は、交差点及びこれに配置された本発明の実施例１の移動体異常事象検出装置の概略を示す。
【００２０】
この装置は、交差点を撮像して画像信号を出力する電子カメラ１０と、その画像を処理して移動体間衝突事故及び故障移動体を自動検出する移動体異常事象検出装置２０とを備えている。
【００２１】
図２は、この移動体異常事象検出装置２０の機能ブロック図である。移動体異常事象検出装置２０の構成要素のうち、記憶部以外はコンピュータによるソフトウェア又は専用のハードウェアで構成することもがきる。
【００２２】
電子カメラ１０で撮影された時系列画像は、例えば１２フレーム／秒のレートで、画像メモリ２１に格納される。
【００２３】
背景画像生成部２２は、記憶部と処理部とを備え、処理部は、画像メモリ２１をアクセスし、例えば過去１０分間の全フレームの対応するピクセルについて画素値のヒストグラムを作成し、その最頻値（モード）をそのピクセルの画素値とする画像を、移動体が存在しない背景画像として生成し、これを該記憶部に格納する。背景画像は、この処理が定期的に行われて更新される。
【００２４】
ＩＤ生成／消滅部２３には、図４に示す如く画像フレーム内の、交差点への４つの入口及び交差点からの４つの出口にそれぞれ配置されるスリットＥＮ１〜ＥＮ４及びＥＸ１〜ＥＸ４の位置及びサイズのデータが予め設定されている。ＩＤ生成／消滅部２３は、画像メモリ２１から入口スリットＥＮ１〜ＥＮ４内の画像データを読み込み、これら入口スリット内に移動体が存在するかどうかをブロック単位で判定する。図４中のメッシュの升目はブロックであり、１ブロックは例えば８×８画素であり、１フレームが４８０×６４０画素の場合、１フレームは６０×８０ブロックに分割される。あるブロックに移動体が存在するかどうかは、このブロック内の各ピクセルと背景画像の対応するピクセルとの差の絶対値の総和が所定値以上であるかどうかにより判定する。この判定は、移動体追跡部２５においても行われる。
【００２５】
ＩＤ生成／消滅部２３は、ブロック内に移動体が存在すると判定すると、このブロックに新たなクラスタ識別符号ＩＤを付与する。ＩＤ生成／消滅部２３は、ＩＤ付与済ブロックと隣接しているブロックに移動体が存在すると判定すると、この隣接ブロックに付与済ブロックと同一のＩＤを付与する。このＩＤ付与済ブロックは入口スリットに隣接しているブロックも含まれる。例えば図４中の入口スリットＥＮ１内のブロックにはＩＤ＝１が付与され、入口スリットＥＮ４内の移動体存在ブロックにはＩＤ＝５が付与される。
【００２６】
ＩＤの付与は、オブジェクトマップ記憶部２４内の対応するブロックに対して行われる。オブジェクトマップ記憶部２４は、上述の場合６０×８０ブロックの各々について、処理容易化のための情報（オブジェクトマップ）を記憶するためのものであり、この情報には、ＩＤが付与されているかどうかのフラグ、ＩＤが付与されている場合にはその番号と後述のブロック動きベクトルとが含まれる。なお、該フラグを用いずに、ＩＤ＝０のときのＩＤが付与されていないと判定してもよい。また、ＩＤの最上位ビットをフラグとしてもよい。
【００２７】
入口スリットを通過したクラスタに対しては、移動体追跡部２５により移動方向のブロックに対するＩＤの付与及び移動と反対方向のブロックに対するＩＤの消滅、すなわちクラスタの追跡処理が行われる。移動体追跡部２５は、後述のように、時刻（ｔ−１）のオブジェクトマップ及びフレーム画像と、時刻ｔのフレーム画像とに基づいて時刻ｔのオブジェクトマップを生成する。
【００２８】
移動体追跡部２５による追跡処理は、各クラスタについて出口スリット内まで行われる。
【００２９】
ＩＤ生成／消滅部２３はさらに、オブジェクトマップ記憶部２４の内容に基づき出口スリットＥＸ１〜ＥＸ４内のブロックにＩＤが付与されているかどうかを調べ、付与されていれば、出口スリットをクラスタが通過したときにそのＩＤを消滅させる。例えば図４中の出口スリットＥＸ１内のブロックにＩＤが付されている状態から、ＩＤが付されない状態に変化したときに、ＩＤ＝３を消滅させる。消滅ＩＤは、次の生成ＩＤとして用いることができる。
【００３０】
観測量検出部２６は、オブジェクトマップ記憶部２４の内容に基づいて各クラスタの平均動きベクトルをそのクラスタの動きベクトルとして求め、各クラスタ間について、相対動きベクトルＶ及び相対位置ベクトルを求め、さらにクラスタ間の最短距離ｄを求め、これらに基づいて以下のような観測量を求める。観測量検出部２６はこの観測量を観測系列記憶部２７に格納して、クラスタ間毎に観測系列を生成する。
【００３１】
観測量として、相対動きベクトルに関するものを量子化した第１スカラーと、相対位置ベクトルを量子化した第２スカラーとを考える。最初に、第１スカラーとその時系列について説明する。
【００３２】
例えば、図５（Ａ）に示す移動体移動体Ｍ１の動きベクトルＶ１と移動体移動体Ｍ２の動きベクトルＶ２の相対動きベクトルＶは図５（Ｂ）に示す如くなる。図５（Ａ）に示すように移動体Ｍ１とＭ２の間の最短距離をｄとし、ベクトルＶ／Ｄを考える。ここに、Ｄ＝ｄ＋εであり、εはｄ＝０のときＤ＞０を保証するための定数である。衝突時にはＶ＝０、すなわちＶ／Ｄ＝０となるが、その前後で｜Ｖ／Ｄ｜が大きな値になるので、Ｖ／Ｄの時系列から衝突を判断し易くなる。移動体Ｍ１とＭ２の相対的な多くの状態を簡単に分類するために、図６に示すようにベクトルＶ／Ｄを量子化しかつスカラー化する。すなわち、ベクトルＶ／Ｄの始点を中心として図６に示すように領域を分割し、各領域をスカラーで表し、ベクトルＶ／Ｄをその終点が属する領域のスカラーに量子化する。
【００３３】
例えばＶ／Ｄ＝ｖの時系列がｖ０→ｖ１→ｖ２である場合、｛ｖ０,ｖ１,ｖ２｝と表記し、これを｛０,１,２｝と量子化する。量子化された観測量の時系列を観測系列と称す。図１０に示す衝突事故時の時刻ｔ＝４〜９における観測系列は｛１,２,３,０,８,７｝となる。この量子化により、ある衝突パターンと類似の衝突パターンは同一観測系列となるので、様々な衝突事故を容易に認識可能になる。また、量子化により観測系列が簡単な数値列になるので、その後の認識処理が簡単になる。
【００３４】
衝突事故であるかどうかの判断は、観測系列と衝突事故の参照系列（例えば実際に生じた衝突事故の観測系列）との類似度が所定値を越えるかどうかで行う。上記量子化により必要な参照系列の数を少なくすることができるが、さらにこれを少なくするために、静止座標系を回転させれば相対動作の時系列パターンが同一になる場合は観測系列も同一になるようにする。このため、例えば上記｛ｖ０,ｖ１,ｖ２｝については、時系列の最初のベクトルｖ０の基準方向、例えば図６のＸ軸に対する角度θを求め、次に、ｖ０,ｖ１及びｖ２の各ベクトルを−θ回転させる。図５（Ｃ）はＶ／Ｄが時系列の最初のベクトルである場合の該回転を示す。この回転により、移動体Ｍ１に対する移動体Ｍ２の相対ベクトルＶ／Ｄの観測量と、移動体Ｍ２に対する移動体Ｍ１の相対ベクトル−Ｖ／Ｄの観測量とは同一になる。
【００３５】
互いに離れた移動体移動体Ｍ１及びＭ２が接近してすれ違った後、互いに離れる場合は、図８（Ａ）、図８（Ｂ）、図９（Ａ）及び図９（Ｂ）のいずれかであり、点線は移動体の経路を示す。これらの場合の観測系列はそれぞれ、例えば次のようになる。
【００３６】
図８（Ａ）：｛１，１，２，２，３，１，１，１，１，１，１｝
図８（Ｂ）：｛１，１，１，１，１，１，１，１，１，１，１｝
図９（Ａ）：｛１，１，２，２，３，１，１，１，１，１，１｝
図９（Ｂ）：｛１，１，２，２，３，１，１，１，１，１，１｝
これらの観測系列から明らかなように、図８（Ａ）、図９（Ａ）及び図９（Ｂ）の観測系列からこれらの相対動作を識別することができない。そこで、これらの相対動作を識別可能にするために、移動体Ｍ１に対する移動体Ｍ２の相対位置ベクトルを図７に示すように量子化して第２スカラーとする。すなわち、相対位置ベクトルＰ１２の始点を中心とし、移動体Ｍ１の動きベクトルＶ１の方向を基準方向とし、図７に点線で示すように領域を分割し、各領域をスカラーで表し、相対位置ベクトルＰ１２をその終点が属する領域のスカラーに量子化する。
【００３７】
図８（Ａ）に示すように互いに反対方向に進んでいる移動体Ｍ１とＭ２とがすれ違う場合、時刻ｔの相対位置ベクトルＰ１２をＰ１２（ｔ）で表すと、移動体Ｍ１に対する移動体Ｍ２の相対位置ベクトルの時系列Ｐ１２（ｔ−１）、Ｐ１２（ｔ）、Ｐ１２（ｔ＋１）は、｛２０，８０，６０｝と量子化される。
【００３８】
第１スカラーを１桁の数値とし、第２スカラーを２桁の数値かつ下位を０としたのは、両者を容易に合成可能にするためである。例えば第１スカラーが７で第２スカラーが２０である場合、両者の和である２６を観測量とする。第１スカラーと、移動体Ｍ２を基準にした第２スカラーとの和を観測量とすると、図８（Ａ）、図８（Ｂ）、図９（Ａ）及び図９（Ｂ）の観測系列はそれぞれ次のようになる。
【００３９】
図８（Ａ）：｛２１，２１，８２，８２，８３，８１，８１，８１，８１，６１，６１｝
図８（Ｂ）：｛２１，２１，４１，４１，４１，４１，４１，４１，４１，６１，６１｝
図９（Ａ）：｛６１，６１，４２，４２，４３，４１，４１，４１，４１，２１，２１｝
図９（Ｂ）：｛２１，２１，４２，４２，４３，４１，４１，４１，４１，６１，６１｝
第１スカラーと、移動体Ｍ１を基準にした第２スカラーとの和を観測量とすると、図８（Ａ）、図８（Ｂ）、図９（Ａ）及び図９（Ｂ）の観測系列はそれぞれ次のようになる。
【００４０】
図８（Ａ）：｛２１，２１，８２，８２，８３，８１，８１，８１，８１，６１，６１｝
図８（Ｂ）：｛２１，２１，４１，４１，４１，４１，４１，４１，４１，６１，６１｝
図９（Ａ）：｛２１，２１，８２，８２，８３，８１，８１，８１，８１，６１，６１｝
図９（Ｂ）：｛６１，６１，８２，８２，８３，８１，８１，８１，８１，２１，２１｝
図７中に矢印付直線で示すように第２スカラーが、２０→８０→６０のように変化する場合をＰＡＳ０、２０→４０→６０のように変化する場合をＰＡＳ１、６０→４０→２０のように変化する場合をＰＡＳ２、６０→８０→２０のように変化する場合をＰＡＳ３と分類する。また、移動体Ｍ１から見た移動体Ｍ２の相対位置ベクトルの変化がＰＡＳｋであり、移動体Ｍ２から見た移動体Ｍ１の相対位置の変化がＰＡＳｍである場合、この変化をＰＡＳｋｍで表す。
【００４１】
図８（Ａ）及び（Ｂ）のいずれの場合も、移動体Ｍ１から見た移動体Ｍ２の相対位置ベクトルの変化と移動体Ｍ２から移動体Ｍ１を見た装置位置ベクトルの変化は同一であり、それぞれＰＡＳ００及びＰＡＳ１１と分類される。これに対し、図９（Ａ）及び（Ｂ）のいずれの場合も、移動体Ｍ１から見た移動体Ｍ２の相対位置ベクトルの変化と移動体Ｍ２から見た移動体Ｍ１の相対値ベクトルの変化は異なり、それぞれＰＡＳ２０及びＰＡＳ１３と分類される。
【００４２】
このように、第２スカラーも用いて移動体の相対動作を分類することにより、第１スカラーのみでは区別して認識することができなかったものが認識可能となり、状態をより正確に把握することが可能となる。
【００４３】
例えば、オブジェクトマップ上のクラスタ数が３で、ＩＤが１、２及び３であり、ＩＤ＝ｉとＩＤ＝ｊのクラスタ間の観測系列をＯＳi,jで表すと、図２の観測系列記憶部２７には観測系列ＯＳ1,2、ＯＳ2,1、ＯＳ2,3、ＯＳ3,1及びＯＳ1,3が格納されている。ＯＳi,jとＯＳj,iが格納されているのは、第２スカラーの時系列に着目して上記ＰＡＳｋｍの分類を可能にするためである。観測系列記憶部２７には、各観測系列は、所定個数、例えば２４個の観測量からなり、時刻が１進む毎に最も古い観測量を削除し新しい観測量を付加する。
【００４４】
分類部２８は、観測系列記憶部２７に格納されている各クラスタ間の観測系列を読み出し、予め定められた衝突事故及びその他の参照系列との類似度を算出し、これらを分類結果として判定部２９に供給する。この観測系列は、上記第１スカラーと第２スカラーとの組み合わせの観測量の時系列であり、参照系列も同様である。なお、観測系列の第１スカラーに着目して、予め定められた衝突事故の参照系列との類似度を算出し、第２スカラーに着目して、予め定められた上記ＰＡＳｋｍの各々の参照系列との類似度を算出し、これらを分類結果として判定部２９に供給してもよい。
【００４５】
公知のパターン類似度計算には、隠れマルコフモデル（ＨＭＭ）法やパターンマッチング法などがあり、これらのいずれかを利用することができる。例えば、上記特開２００１−１４８０１９号公報に開示されているように、具体的な衝突事故の観測系列を学習系列としてパラメータを決定したＨＭＭにより、観測系列が生ずる確率を類似度として計算する。
【００４６】
ここで、図１１及び図１２を参照して移動体の衝突事故及び故障の検出について説明する。
【００４７】
図１１において、移動体Ｍ１とＭ２の間に図１０に示すような衝突シーケンスが生じ又はこれに類似した非衝突シーケンスが生じ、最終的に移動体Ｍ１とＭ２とが停止しているとする。このシーケンスは、移動体Ｍ３が右折待ちの時にその後方から移動体Ｍ４が近づいたために移動体Ｍ３が少し前に移動して停止した場合と類似している。路面に対し低カメラアングルで移動体を撮像した場合には、実際には移動体間が離れていても重なって見えるために、画像上では衝突と分類される場合がある。
【００４８】
しかし、移動体Ｍ３及びＭ４は、右折待ちのために停止が許可されている領域に存在する。これに対し、移動体Ｍ１及びＭ２は、停止が禁止されている領域に存在しているので、移動体Ｍ１とＭ２の間に衝突が生じた可能性が高い。この場合、救急車などが交差点に接近しているために移動体Ｍ１とＭ２が停止している可能性もある。そこで、停止している移動体Ｍ１又はＭ２の横を通り過ぎる移動体があれば、移動体Ｍ１とＭ２の衝突の可能性はさらに高くなる。
【００４９】
このようなことから、
（１）移動体Ｍ１とＭ２の相対動作が衝突と分類され、
（２）移動体Ｍ１又はＭ２が停止禁止領域内に停止しており、
（３）他の車が交差点で移動している
場合には、移動体Ｍ１とＭ２が衝突であると判定する。
【００５０】
また、図１２に示すように、移動体Ｍ１が他の車と衝突していないが、移動体Ｍ１が停止禁止領域内に停止している場合には、移動体Ｍ１が故障している可能性が高い。この場合、交差点で他の移動体が移動してれば、移動体Ｍ１が故障している可能性はさらに高くなる。そこで、上記（１）が否定判定され、上記（２）及び（３）が肯定判定された場合には、移動体が故障していると判定する。
【００５１】
図３は、図２の判定部２９の処理を示すフローチャートである。
【００５２】
（Ｓ１）判定部２９は、分類部２８から１つのクラスタ間についての衝突類似度ＣＳを読み込む。
【００５３】
（Ｓ２〜Ｓ４）この衝突類似度ＣＳが設定値ＣＳ０より大きければ、フラグＦをセットし、そうでなければフラグＦをリセットする。
【００５４】
（Ｓ５）観測系列記憶部２７から、ステップＳ１で読み込んだクラスタ間について、観測系列を読み込み、最も新しい時点から所定数の観測量の第１スカラーがすべて０である場合、すなわち、相対動きベクトルＶ＝０の状態が所定時間を超えている場合、次に、オブジェクトマップ記憶部２４を参照してそのＩＤを有するクラスタに属する全てのブロックの動きベクトルが０であるかどうかを調べ、０であればこの移動体が停止していると判定する。停止していなければステップＳ１へ戻って他の１つのクラスタ間について全ての分類結果を読み込み、そうでなければステップＳ６へ進む。
【００５５】
（Ｓ６）この停止しているクラスタが、停止禁止領域記憶部３０に予め格納されている停止禁止領域内に存在するかどうかを調べ、存在すればステップＳ７へ進み、そうでなければステップＳ１へ戻る。
【００５６】
（Ｓ７）分類部２８の分類結果に、他のクラスタとの間について上記ＰＡＳ００、ＰＡＳ１１、ＰＡＳ２０又はＰＡＳ１３のいずれかの参照系列との類似度が設定値を越えていれば、交差点内で移動している移動体が存在すると判定してステップＳ８へ進み、そうでなけれなステップＳ１へ戻る。
【００５７】
（Ｓ８〜Ｓ１０）Ｆ＝１であれば事故と判定し、Ｆ＝０であれば移動体故障であると判定し、その結果を出力し、ステップＳ１へ戻る。
【００５８】
このような処理により、移動体の衝突事故及び故障を高確率で自動検出することができる。
【００５９】
次に、図２の移動体追跡部２５において、時刻（ｔ−１）のオブジェクトマップ及びフレーム画像と、時刻ｔのフレーム画像とに基づいて時刻ｔのオブジェクトマップを生成する方法を詳説する。
【００６０】
１台のカメラで広い領域を撮像して移動体を追跡するために、路面に対し低カメラアングルで移動体を正面から撮像した場合、図１３（Ａ）〜（Ｃ）に示すように移動体同士の画像上での重なりが頻繁に生ずる。
【００６１】
図１４及び図１５はそれぞれ、図１３（Ａ）及び（Ｂ）の拡大画像を示す。点線は、画像をブロックに分割するものである。図１４において、重なった移動体Ｍ１とＭ２は、図２のオブジェクトマップ記憶部２４において１つのクラスタＣ１２に対応しており、移動体Ｍ１とＭ２とが識別されていないとする。これに対し、クラスタＣ３は１つの移動体Ｍ３に対応している。
【００６２】
時刻ｔでの第ｉ行第ｊ列のブロックをＢ（ｔ：ｉ，ｊ）で表す。図１４に示すように、ブロックＢ（ｔ−１：１１，１３）及びＢ（ｔ−１：１４，１３）の動きベクトルをそれぞれＶ２及びＶ３で表す。動きベクトルＶ２及びＶ３の先端はいずれもブロックＢ（ｔ−１：１８，１１）内に存在している。図１５に示す時刻ｔの画像中の枠ＳＢ２及びＳＢ３はそれぞれ、図１４の画像中のブロックＢ（ｔ−１：１１，１３）及びＢ（ｔ−１：１４，１３）をそれぞれ動きベクトルＶ１及びＶ２移動させた領域に対応している。
【００６３】
次に、動きベクトルＶ２及びＶ３の先端がブロックＢ（１８，１１）の中心に一致するように動きベクトルＶ２及びＶ３を平行移動させ、動きベクトルＶ２及びＶ３の方向を逆にし、図１６に示すように、ハッチングが施されたブロックＢ（ｔ−１：１８，１１）を−Ｖ２及び−Ｖ３移動させた枠ＳＢＲ２及びＳＢＲ３を求める。枠ＳＢＲ２及びＳＢＲ３内の画像はそれぞれ、図１７のブロックＢ（ｔ：１８，１１）内の画像が図１６の時刻（ｔ−１）のクラスタＣ１２及びＣ３に属していた仮定したときの推定画像である。クラスタＣ１２及びＣ３のＩＤをそれぞれＩＤ１２及びＩＤ３とする。
【００６４】
図１６中の枠ＳＢＲ２内の画像と図１７中のブロックＢ（ｔ：１８，１１）内の画像との相関度に関係した評価値ＵＤを次式で計算し、この値をＵＤ（ＩＤ１２）とする。
【００６５】
ＵＤ＝Σ｜ＳＰ（ｔ−１：ｉ，ｊ）−ＢＰ（ｔ：ｉ，ｊ）｜ （１）
ここにＳＰ（ｔ−１：ｉ，ｊ）及びＢＰ（ｔ：ｉ，ｊ）はそれぞれ、図１６の枠ＳＢＲ２内及び図１７のブロックＢ（ｔ：１８，１１）内の第ｉ行第ｊ列のピクセルの値であり、Σはｉ＝１〜８及びｊ＝１〜８についての総和（ブロック内全画素についての総和）を意味している。評価値ＵＤの値が小さいほど相関度が高い。
【００６６】
同様に図１６中の枠ＳＢＲ３内の画像と図１７中のブロックＢ（ｔ：１８，１１）内の画像との相関度に関係した評価値ＵＤを計算し、この値をＵＤ（ＩＤ３）とする。
【００６７】
図１６と図１７の場合には、ＵＤ（ＩＤ３）＜ＵＤ（ＩＤ１２）となり、ブロックＢ（ｔ：１８，１１）にＩＤ３を付与する。
【００６８】
このように、ブロック毎の動きベクトルを用いることにより、複数の移動体を含む時刻ｔのクラスタＣ１２３に含まれるブロックに異なるＩＤを付与することができ、これにより１つのクラスタＣ１２３を異なるＩＤのクラスタに分割することが可能になる。
【００６９】
図１５のクラスタＣ１２３に属するブロックＢ（ｔ：１８，１１）に対応するクラスタＣ１２内のブロックＢ（ｔ−１：１１，１３）及びクラスタＣ３内のＢ（ｔ−１：１４，１３）の見つけ方は次の通りである。すなわち、ブロックＢ（ｔ−１：ｉ，ｊ）の中心からブロックＢ（ｔ−１：１８，１１）の中心までのベクトルをＶ（１８−ｉ，１１−ｊ）、ブロックＢ（ｔ−１：ｉ，ｊ）の動きベクトルをＶ（ｔ−１：ｉ，ｊ）と表記すると、
｜Ｖ（１８−ｉ，１１−ｊ）−Ｖ（ｔ−１：ｉ，ｊ）｜＜ΔＶ
を満たすＶ（ｔ−１：ｉ，ｊ）をもつブロックＢ（ｔ−１：ｉ，ｊ）を見つければよい。ここにΔＶは定数であり、例えばブロックの１辺の画素数の３倍の値である。ブロックＢ（ｔ：１８，１１）に対応するクラスタＣ１２内のブロックが複数有り、又は、ブロックＢ（ｔ：１８，１１）に対応するクラスタクラスタＣ３内のブロックが複数有る場合には、その各々についての評価値を求め、最も小さい評価値に対応したＩＤをブロックＢ（ｔ：１８，１１）に付与する。
【００７０】
図１５のクラスタＣ１２３に属する他のブロックについても上記同様である。
【００７１】
ブロックＢ（ｔ：１８，１１）にＩＤ３を付与する上記の場合、このブロックの動きベクトルはほぼ動きベクトルＶ３であると推定できる。ブロックＢ（ｔ：１８，１１）の動きベクトルをより正確に求めるために、枠ＳＢＲ３を、この位置を中心として所定範囲内で１画素ずつシフトさせ、このシフト毎に該評価値を求め、評価値が最小（相関度が最大）になったときの枠ＳＢＲ３の中心からブロックＢ（ｔ：１８，１１）の中心へ向かうベクトルを、ブロックＢ（ｔ：１８，１１）の動きベクトルと決定する。時刻ｔでのブロックの動きベクトルは、このブロックにＩＤを付与する毎に、このようなブロックマッチングで決定される。
【００７２】
類似度をより正確に見積もるために、以下のような量も考慮する。
【００７３】
図１６中の枠ＳＢＲ３の一部はクラスタＣ３からはみ出しており、その面積が広いほど、図１７のブロックＢ（ｔ：１８，１１）のＩＤがＩＤ３である確率が低いと考えられる。そこで、ブロックＢ（ｔ：１８，１１）のＩＤがＩＤ３であると仮定し、枠ＳＢＲ３内の、クラスタＣ３に属する画素数Ｓ（ｔ−１）を求め、図１６中の枠ＳＢＲ３内の画像と図１７中のブロックＢ（ｔ：１８，１１）内の画像との相関度に関係した評価値ＵＳを次式で計算し、この値をＵＳ（ＩＤ３）とする。
【００７４】
ＵＳ＝（Ｓ（ｔ−１）−６４）2 （２）
評価値ＵＤの値が小さいほど相関度が高い。同様にブロックＢ（ｔ：１８，１１）のＩＤがＩＤ１２であると仮定し、枠ＳＢＲ２内の、クラスタＣ１２に属する画素数Ｓを求めて評価値ＵＳを計算し、この値をＵＳ（ＩＤ１２）とする。図１６と図１７の場合には、ＵＳ（ＩＤ１２）＝０であり、ＵＳ（ＩＤ３）＞ＵＳ（ＩＤ１２）である。
【００７５】
上式（１）と（２）の一次結合Ｕ＝αＵＤ＋βＵＳを評価関数とし、評価値Ｕが小さいほど類似度が高いと判定する。ここにα及びβは正の定数であり、類似度の評価がより正確になるように経験的に定められる。
【００７６】
図１７の時刻ｔにおける各ブロックにつき、上記同様にしてＩＤ１２を付与するかＩＤ３を付与するかを決定する。評価値の差の絶対値｜Ｕ（ＩＤ１２）−Ｕ（ＩＤ３）｜が所定値以下の場合には誤判定される確率が大きいので、ＩＤを付与しないで残しておき、時刻ｔの画像について次の量を考慮する。例えば、図１７のブロックＢ（ｔ：１８，１１）のＩＤが未定でこれがＩＤ３であると仮定した場合、ブロックＢ（ｔ：１８，１１）に隣接した８個のブロックについて、ＩＤ３が付与されている個数Ｎ（ｔ）を求め、評価値ＵＮを次式で計算し、この値をＵＮ（ＩＤ３）とする。
【００７７】
ＵＮ＝（Ｎ（ｔ）−８）2 （３）
評価値ＵＮの値が小さいほど相関度が高い。同様に図１７中のブロックＢ（ｔ：１８，１１）がＩＤ１２であると仮定した場合、ブロックＢ（ｔ：１８，１１）に隣接した８個のブロックについて、ＩＤ１２が付与されている個数Ｎを求め、評価値ＵＮを計算し、この値をＵＮ（ＩＤ１２）とする。
【００７８】
また、ほぼ同一の画素値が分布しているためにブロックマッチングで求めた時刻（ｔ−１）の動きベクトルの誤差が大きく、このため上式（１）〜（３）の一次結合Ｕ＝αＵＤ＋βＵＳ評価値の差の絶対値｜Ｕ（ＩＤ１２）−Ｕ（ＩＤ３）｜が所定値以下になる場合も考えられるので、さらに、ブロックＢ（ｔ：１８，１１）に対応するブロックＢ（ｔ−１：１４，１３）及びＢ（ｔ−１：１１，１３）の各々の周囲のブロックの動きベクトルに着目することにより、類似度の評価をより正確化する。すなわち、ブロックＢ（ｔ：１８，１１）がＩＤ３であると仮定して求められた、時刻（ｔ−１）の対応するブロックＢ（ｔ−１：１４，１３）の動きベクトルＶＣ（ｔ−１）＝Ｖ３と、このブロックＢ（ｔ−１：１４，１３）に隣接した８個のブロックのうちＩＤがＩＤ３であるＮＸ＝ＮＸ３個のブロック（図１６中の小黒点付ブロック）の動きベクトルＶＢｉ（ｔ−１）、ｉ＝１〜ＮＸについて、評価値ＵＶを次式で計算し、この値をＵＶ（ＩＤ３）とする。
【００７９】
ＵＶ＝Σ｜ＶＣ（ｔ−１）−ＶＢｉ（ｔ−１）｜2／ＮＸ （４）
ここにΣはｉ＝１〜ＮＸについての総和を意味する。評価値ＵＶの値が小さいほど相関度が高い。同様に、ブロックＢ（ｔ：１８，１１）がＩＤ１２であると仮定して求められた、時刻（ｔ−１）の対応するブロックＢ（ｔ−１：１１，１３）の動きベクトルＶＣ＝Ｖ２と、このブロックＢ（ｔ−１：１１，１３）に隣接した８個のブロックのうちＩＤがＩＤ１２であるＮＸ＝ＮＸ１２個のブロック（図１６中の×印付ブロック）の動きベクトルＶＢｊ（ｔ−１）、ｊ＝１〜ＮＸについて、評価値ＵＶを計算し、この値をＵＶ（ＩＤ１２）とする。
【００８０】
上式（１）〜（４）の一次結合
Ｕ＝αＵＤ＋βＵＳ＋γＵＮ＋δＵＶ （５）
を評価関数とし、評価値Ｕが小さいほど類似度が高いと判定する。ここにγ及びδも正の定数であり、類似度の評価がより正確になるように経験的に定められる。
【００８１】
このようにして、図８のクラスタＣ１２３内のブロック毎にＩＤがＩＤ１２であるかＩＤ３であるかが決定されるとともにその動きベクトルが決定される。すなわち、時刻ｔでのオブジェクトマップが決定され、図１７に示すように、移動体Ｍ２が移動体Ｍ１とＭ３の両方に重なっていても、異なるＩＤをもつクラスタに分割することができる。
【００８２】
同様にして、時刻ｔのフレーム画像とオブジェクトマップとから、時刻（ｔ＋１）でのオブジェクトマップが得られる。時刻ｔでＣ１２とＣ３とが識別されていることと、時刻（ｔ＋１）のフレーム画像で移動体Ｍ１がＭ２から分離していることから、図１９に示すように、時刻（ｔ＋１）では移動体Ｍ１〜Ｍ３に対応したＣ１〜Ｃ３が識別される。
【００８３】
なお、式（５）を用いる場合、計算時間短縮のためにβ、γ及びδのうち、１つ以上を０にしてもよい。
【００８４】
また、時刻ｔのオブジェクトマップ作成前に、時刻（ｔ−１）のオブジェクトマップＸをワークエリアにコピーしてオブジェクトマップＹとし、オブジェクトマップＸ上でＩＤがＩＤαである各ブロックｉの動きベクトルＶｉを、オブジェクトマップＹ上の該ブロックｉに対応したブロック及びこれに隣接したＩＤ＝ＩＤαの全てのブロックの動きベクトルＶｊ、ｊ＝１〜ｐを平均化したベクトル（ΣＶｊ）／ｐで置き換えてもよい。このようにすれば、ブロック内のテクスチャが隣接ブロックのそれと類似しているために動きベクトルの誤差が大きい場合、この誤差が低減される。ワークエリアへのコピーは、平均化ベクトルを一意的に定めるためである。
【００８５】
次に、上記のようにして求めた時刻ｔのオブジェクトマップを初期条件とし、上式（５）の評価関数を用いてこのオブジェクトマップをより正確化する方法について説明する。この方法自体は、評価関数Ｕを除き上記公報に開示されているものと同一であるので、その概略を説明する。
【００８６】
図１８のクラスタＣ１２及びＣ３内のブロックをＢＫｉ、ｉ＝１〜ｎで表す。ブロックＢＫｉのＩＤが変数ＩＤｉであるとし、そのＵをＵ（ＢＫｉ，ＩＤｉ）で表す。変数ＩＤｉはＩＤ１２又はＩＤ３である。ｉ＝１〜ｎについての評価値Ｕの総和ＵＴ、
ＵＴ＝ΣＵ（ＢＫｉ，ＩＤｉ）
が最小になるように、ＩＤ１〜ＩＤｎを決定する。ＩＤ１〜ＩＤｎの初期値は、上述のようにして求められた時刻ｔのオブジェクトマップにより与えられる。
【００８７】
なお、本発明には外にも種々の変形例が含まれる。
【００８８】
例えば、衝突事故や事故車両を自動検出する図２の装置は判定部２９に特徴があり、観測量検出部２６で検出する観測量は上記第１スカラーのみであってもよい。また、第１スカラーと第２スカラーを含む観測量を用いた構成は、衝突事故や事故車両の判定以外を行う装置、例えば移動体動作を自動的に分類して統計をとる装置に用いることができる。さらに、上記評価関数Ｕを用いた移動体追跡部２５での処理方法は、各種移動体追跡装置に適用可能である。
【００８９】
本発明には、以下の付記が含まれる。
【００９０】
（付記１）時系列画像を処理して画像中の移動体の異常事象を検出する移動体異常事象検出方法において、
（ａ）第１移動体に対する第２移動体の相対動作の特徴量を観測量として検出し、該観測量の時系列を観測系列として記憶し、
（ｂ）該観測系列の、予め定められた衝突観測系列に対する類似度を算出し、
（ｃ）該類似度が設定値より大きい場合、該第１移動体又は該第２移動体が、予め定められた停止禁止領域に停止しているかどうかに基づいて、衝突事故であるかどうかを判定する、
ことを特徴とする移動体異常事象検出方法。（１）
（付記２）上記ステップ（ｃ）では、上記類似度が設定値より大きい場合、上記第１移動体又は上記第２移動体が、予め定められた停止禁止領域に停止しており、且つ、他の移動体が移動しているとき、衝突事故であると判定する、
ことを特徴とする付記１記載の移動体異常事象検出方法。（２）
（付記３）（ｄ）上記類似度が上記設定値より小さい場合、上記第１移動体又は上記第２移動体が、予め定められた停止禁止領域に停止しているかどうかに基づいて、停止している移動体が故障であるかどうかを判定する、
ステップをさらに有することを特徴とする付記１又は２記載の移動体異常事象検出方法。（３）
（付記４）上記ステップ（ｄ）では、上記類似度が設定値より小さい場合、上記第１移動体又は上記第２移動体が、予め定められた停止禁止領域に停止しており、且つ、他の移動体が移動しているとき、停止している移動体が故障であると判定する、
ことを特徴とする付記３記載の移動体異常事象検出方法。（４）
（付記５）時系列画像が格納される画像記憶部と、
格納された該時系列画像を処理して画像中の移動体の異常事象を検出する画像処理部と、
を有する移動体異常事象検出装置において、該画像処理部は、
第１移動体に対する第２移動体の相対動作の特徴量を観測量として検出する観測量検出部と、
該観測量の時系列を観測系列として記憶する観測系列記憶部と、
予め定められた停止禁止領域が格納される停止禁止領域記憶部と、
該観測系列の、予め定められた衝突観測系列に対する類似度を算出する類似度算出部と、
該類似度が設定値より大きい場合、該第１移動体又は該第２移動体が、該停止禁止領域に停止しているかどうかに基づいて、衝突事故であるかどうかを判定し、その結果を出力する判定部と、
を有することを特徴とする移動体異常事象検出装置。（５）
（付記６）上記判定部は、上記類似度が設定値より大きい場合、上記第１移動体又は上記第２移動体が、予め定められた停止禁止領域に停止しており、且つ、他の移動体が移動しているとき、衝突事故であると判定することを特徴とする付記５記載の移動体異常事象検出装置。
【００９１】
（付記７）上記判定部は、上記類似度が上記設定値より小さい場合、上記第１移動体又は上記第２移動体が、予め定められた停止禁止領域に停止しているかどうかに基づいて、停止している移動体が故障であるかどうかを判定し、その結果を出力することを特徴とする付記５又は６記載の移動体異常事象検出装置。
【００９２】
（付記８）上記判定部は、上記類似度が設定値より小さい場合、上記第１移動体又は上記第２移動体が、予め定められた停止禁止領域に停止しており、且つ、他の移動体が移動しているとき、停止している移動体が故障であると判定することを特徴とする付記７記載の移動体異常事象検出装置。
【００９３】
（付記９）時系列画像を処理して画像中の移動体間の動作を分類する移動体間動作分類方法において、
（ａ）第１移動体に対する第２移動体の相対動作の特徴量を観測量として検出し、該観測量の時系列を観測系列として記憶し、
（ｂ）該観測系列の参照系列に対する類似度を算出し、
（ｃ）該類似度の値に応じて該第１移動体に対する該第２移動体の動作を分類し、
該観測量は、該第１移動体に対する該第２移動体の相対速度ベクトルＶと両者間の距離ｄに関する量を量子化した第１スカラーと、該第１移動体に対する該第２移動体の相対位置ベクトルを量子化した第２スカラーとを含むことを特徴とする移動体間動作分類方法。（６）
（付記１０）上記第１スカラーは、Ｖ・ｆ（ｄ）を量子化したものであり、ここにｆ（ｄ）は距離ｄの単調減少関数であることを特徴とする付記９記載の移動体間動作分類方法。
【００９４】
（付記１１）上記ｆ（ｄ）はｋ／（ｄ＋ε）であり、ε及びｋは正の定数であることを特徴とする付記１０記載の移動体間動作分類方法。
【００９５】
（付記１２）上記類似度は、隠れマルコフモデルに基づき算出された、上記観測系列が生ずる確率であり、上記参照系列はモデルパラメータを定めるための学習系列であることを特徴とする付記９乃至１１のいずれか１つに記載の移動体間動作分類方法。
【００９６】
（付記１３）時系列画像が格納される画像記憶部と、
格納された該時系列画像を処理して画像中の移動体間の動作を分類する画像処理部と、
を有する移動体間動作分類装置において、該画像処理部は、
第１移動体に対する第２移動体の相対動作の特徴量を観測量として検出する観測量検出部と、
該観測量の時系列を観測系列として記憶する観測系列記憶部と、
該観測系列の参照系列に対する類似度を算出する類似度算出部と、
該類似度の値に応じて該第１移動体に対する該第２移動体の動作を分類する分類部とを有し、
該観測量は、該第１移動体に対する該第２移動体の相対速度ベクトルＶと両者間の距離Ｄに関する量を量子化した第１スカラーと、該第１移動体に対する該第２移動体の相対位置ベクトルを量子化した第２スカラーとを含むことを特徴とする移動体間動作分類装置。（７）
（付記１４）上記第１スカラーは、Ｖ・ｆ（ｄ）を量子化したものであり、ここにｆ（ｄ）は距離ｄの単調減少関数であることを特徴とする付記１３記載の移動体間動作分類装置。
【００９７】
（付記１５）上記ｆ（ｄ）はｋ／（ｄ＋ε）であり、ε及びｋは正の定数であることを特徴とする付記１４記載の移動体間動作分類装置。
【００９８】
（付記１６）上記類似度は、隠れマルコフモデルに基づき算出された、上記観測系列が生ずる確率であり、上記参照系列はモデルパラメータを定めるための学習系列であることを特徴とする付記１３乃至１５のいずれか１つに記載の移動体間動作分類装置。
【００９９】
（付記１７）時系列画像の各々を、複数画素を含むブロックに分割して処理する移動体識別方法であって、時刻（ｔ−１）のフレーム画像に含まれている複数の移動体の識別ＩＤが、ブロック単位で付与されているとともにブロック単位で移動体の動きベクトルが求められている場合に、時刻ｔのフレーム画像に含まれている複数の移動体のＩＤを、ブロック単位で付与するとともにブロック単位で移動体の動きベクトルを求める移動体識別方法において、
（ａ）該識別ＩＤがＩＤｊである時刻（ｔ−１）のブロックｊをその動きベクトルＶｊで移動させたときの、時刻ｔの画像フレーム中の対応するブロックｉの枠を、−Ｖｊ移動させ、移動した枠内の時刻（ｔ−１）の画像と、時刻ｔのブロックｉの画像との相関度に関係した評価値を計算し、
（ｂ）該識別ＩＤがＩＤｋである時刻（ｔ−１）のブロックｋをその動きベクトルＶｋで移動させたときの、時刻ｔの画像フレーム中の対応する該ブロックｊの枠を、−Ｖｋ移動させ、移動した枠内の時刻（ｔ−１）の画像と、該時刻ｔのブロックｊの画像との該相関度に関係した評価値を計算し、
（ｃ）ステップ（ａ）と（ｂ）で算出された評価値の大小関係に基づいて、該時刻ｔのブロックｉがＩＤｊであるかＩＤｋであるかを決定する、
ことを特徴とする移動体識別方法。（８）
（付記１８）上記ステップ（ａ）の評価値は、上記時刻ｔのブロックｉの識別ＩＤがＩＤｊであると仮定したときの時刻（ｔ−１）の対応するブロックｍの動きベクトルＶＣｍ（ｔ−１）と、時刻（ｔ−１）のブロックｍと隣接する、識別ＩＤがＩＤｊであるブロックの動きベクトルＶＢｐ（ｔ−１）、ｐ＝１〜Ｎａとの差の絶対値｜ＶＣｍ（ｔ−１）−ＶＢｐ（ｔ−１）｜に関する量のｐについての総和を含み、
上記ステップ（ｂ）の評価値は、該時刻ｔのブロックｉの識別ＩＤがＩＤｋであると仮定したときの時刻（ｔ−１）の対応するブロックｎの動きベクトルＶＣｎ（ｔ−１）と、時刻（ｔ−１）のブロックｎと隣接する、識別ＩＤがＩＤｋであるブロックの動きベクトルＶＢｑ（ｔ−１）、ｑ＝１〜Ｎｂとの差の絶対値｜ＶＣｎ（ｔ−１）−ＶＢｑ（ｔ−１）｜に関する量のｑについての総和を含む、
ことを特徴とする付記１７記載の移動体識別方法。（９）
（付記１９）上記時刻ｔのフレーム画像に対する処理の前に、上記時刻（ｔ−１）のフレーム画像において、識別ＩＤが付与されている各ブロックの動きベクトルを、該ブロック及びこのブロックと同一ＩＤが付与され且つこのブロックに隣接するブロックの動きベクトルを平均化したもので置き換えることを特徴とする付記１７記載の移動体識別方法。
【０１００】
（付記２０）時系列画像が格納される画像記憶部と、
格納された該時系列画像の各々を、複数画素を含むブロックに分割して処理し、時刻（ｔ−１）のフレーム画像に含まれている複数の移動体の識別ＩＤが、ブロック単位で付与されているとともにブロック単位で移動体の動きベクトルが求められている場合に、時刻ｔのフレーム画像に含まれている複数の移動体のＩＤを、ブロック単位で付与するとともにブロック単位で移動体の動きベクトルを求める画像処理部と、
を有する移動体識別装置において、該画像処理部は、
（ａ）該識別ＩＤがＩＤｊである時刻（ｔ−１）のブロックｊをその動きベクトルＶｊで移動させたときの、時刻ｔの画像フレーム中の対応するブロックｉの枠を、−Ｖｊ移動させ、移動した枠内の時刻（ｔ−１）の画像と、時刻ｔのブロックｉの画像との相関度に関係した評価値を計算し、
（ｂ）該識別ＩＤがＩＤｋである時刻（ｔ−１）のブロックｋをその動きベクトルＶｋで移動させたときの、時刻ｔの画像フレーム中の対応する該ブロックｊの枠を、−Ｖｋ移動させ、移動した枠内の時刻（ｔ−１）の画像と、該時刻ｔのブロックｊの画像との該相関度に関係した評価値を計算し、
（ｃ）ステップ（ａ）と（ｂ）で算出された評価値の大小関係に基づいて、該時刻ｔのブロックｉがＩＤｊであるかＩＤｋであるかを決定する、
ことを特徴とする移動体識別装置。（１０）
（付記２１）上記処理（ａ）の評価値は、上記時刻ｔのブロックｉの識別ＩＤがＩＤｊであると仮定したときの動きベクトルと、該時刻ｔでのブロックｉと隣接するブロックの動きベクトルとの差の絶対値に関する量の値を含み、
上記処理（ｂ）の評価値は、該時刻ｔのブロックｉの識別ＩＤがＩＤｋであると仮定したときの動きベクトルと、該時刻ｔでのブロックｉと隣接するブロックの動きベクトルとの差の絶対値に関する量の値を含む、
ことを特徴とする付記２０記載の移動体識別装置。
【符号の説明】
【０１０１】
１０ カメラ
２０ 画像処理装置
２１ 画像メモリ
２２ 背景画像生成部
２３ ＩＤ生成／消滅部
２４ オブジェクトマップ記憶部
２５ 移動体追跡部
２６ 観測量検出部
２７ 観測系列記憶部
２８ 分類部
２９ 判定部
３０ 停止禁止領域記憶部
【技術分野】
【０００１】
本発明は、時系列画像の各々を、複数画素を含むブロックに分割して処理する移動体識別方法及び装置に関する。
【背景技術】
【０００２】
交通事故の早期発見は、迅速な救助活動により人命救助の成功率を高めるだけでなく、警察の実地検分などを迅速にすることにより事故渋滞を緩和することもできるので、様々な交通事故の認識自動化が期待されている。
【０００３】
本願発明者による下記特許文献１では、時系列画像を処理して画像中の移動体の異常事象を検出する移動体異常事象検出方法において、
（ａ）時刻（ｔ−１）のフレーム画像と時刻ｔのフレーム画像との相関関係に基づき時刻ｔのフレーム画像中の移動体を識別し、
（ｂ）第１移動体に対する第２移動体の相対動作の特徴量を観測量として検出し、該観測量の時系列を観測系列として記憶し、
（ｃ）該観測系列の参照系列に対する類似度を算出して移動体間動作を分類し、
（ｄ）該観測系列の衝突参照系列に対する該類似度が設定値より大きい場合、衝突事故であると判定する。
【０００４】
この方法によれば、衝突事故などの異常事象を自動検出することができる。
【０００５】
上記公報では、上記ステップ（ｂ）の観測量として、Ｖ／（ｄ＋ε）を量子化したスカラーを用いている。ここに相対動きベクトルＶは、第１移動体に対する第２移動体の相対動きベクトルＶであり、εは分母が０になるのを避けるための定数である。
【０００６】
この観測量を用いれば、量子化していることから、少ない参照系列で様々な移動体間動作を分類することが可能になる。
【０００７】
しかしながら、移動体間動作をより詳細に分類することができないという問題があった。
【０００８】
上記公報では、上記ステップ（ａ）において、時刻（ｔ−１）のフレーム画像中の移動体の識別結果を利用して上記相関関係から時刻ｔのフレーム画像中の移動体を容易に識別することができる。
【０００９】
しかし、１台のカメラで広い領域を撮像して移動体を追跡するために、路面に対し低カメラアングルで移動体を正面から撮像した場合、図１３に示すように移動体同士の画像上での重なりが頻繁に生ずる。時刻（ｔ−１）で移動体Ｍ１とＭ２とが識別されずに１つのクラスタとして識別され、このクラスタの代表動きベクトルを用い、上記相関関係に基き時刻ｔでの移動体Ｍ１とＭ２を含むクラスタを識別しようとするが、移動体Ｍ１とＭ２の速度が異なるので、正確に識別することができない。次の時刻（ｔ＋１）では移動体Ｍ２が移動体Ｍ１から分離しているが、移動体Ｍ２がＭ３と重なっているので、移動体Ｍ２とＭ３とが１つのクラスタとして識別され、移動体Ｍ２とＭ３の各々を識別することができない。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００１−１４８０１９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明の目的は、このような問題点に鑑み、移動体間の重なりが頻繁に生じても異なる移動体として識別することが可能な、移動体を含む画像の処理方法及び装置を提供することにある。
【課題を解決するための手段】
【００１２】
本発明の一態様では、時系列画像の各々を、複数画素を含むブロックに分割して処理する移動体識別方法であって、時刻（ｔ−１）のフレーム画像に含まれている複数の移動体の識別ＩＤが、ブロック単位で付与されているとともにブロック単位で移動体の動きベクトルが求められている場合に、時刻ｔのフレーム画像に含まれている複数の移動体のＩＤを、ブロック単位で付与するとともにブロック単位で移動体の動きベクトルを求める移動体識別方法において、
（ａ）該識別ＩＤがＩＤｊである時刻（ｔ−１）のブロックｊをその動きベクトルＶｊで移動させたときの、時刻ｔの画像フレーム中の対応するブロックｉの枠を、−Ｖｊ移動させ、移動した枠内の時刻（ｔ−１）の画像と、時刻ｔのブロックｉの画像との相関度に関係した評価値を計算し、
（ｂ）該識別ＩＤがＩＤｋである時刻（ｔ−１）のブロックｋをその動きベクトルＶｋで移動させたときの、時刻ｔの画像フレーム中の対応する該ブロックｊの枠を、−Ｖｋ移動させ、移動した枠内の時刻（ｔ−１）の画像と、該時刻ｔのブロックｊの画像との該相関度に関係した評価値を計算し、
（ｃ）ステップ（ａ）と（ｂ）で算出された評価値の大小関係に基づいて、該時刻ｔのブロックｉがＩＤｊであるかＩＤｋであるかを決定する。
【００１３】
この構成によれば、ブロック毎の動きベクトルを用いているので、異なる速度の複数の移動体を含む時刻ｔの１つのクラスタに含まれるブロックに複数の識別ＩＤのいずれかを付与することが可能となり、これにより１つのクラスタを異なるＩＤのクラスタに分割することが可能になる。すなわち、従来では追跡できなかった移動体を追跡することが可能となり、衝突事故や交通違反などのより正確な検出に寄与するところが大きい。
【００１４】
例えば、上記ステップ（ａ）の評価値は、上記時刻ｔのブロックｉの識別ＩＤがＩＤｊであると仮定したときの時刻（ｔ−１）の対応するブロックｍの動きベクトルＶＣｍ（ｔ−１）と、時刻（ｔ−１）のブロックｍと隣接する、識別ＩＤがＩＤｊであるブロックの動きベクトルＶＢｐ（ｔ−１）、ｐ＝１〜Ｎａとの差の絶対値｜ＶＣｍ（ｔ−１）−ＶＢｐ（ｔ−１）｜に関する量（例えば｜ＶＣｍ（ｔ−１）−ＶＢｐ（ｔ−１）｜r、ｒ＞１）のｐについての総和を含み、
上記ステップ（ｂ）の評価値は、該時刻ｔのブロックｉの識別ＩＤがＩＤｋであると仮定したときの時刻（ｔ−１）の対応するブロックｎの動きベクトルＶＣｎ（ｔ−１）と、時刻（ｔ−１）のブロックｎと隣接する、識別ＩＤがＩＤｋであるブロックの動きベクトルＶＢｑ（ｔ−１）、ｑ＝１〜Ｎｂとの差の絶対値｜ＶＣｎ（ｔ−１）−ＶＢｑ（ｔ−１）｜に関する量のｑについての総和を含む。
【００１５】
この構成によれば、ほぼ同一の画素値が分布しているために時刻（ｔ−１）の動きベクトルの誤差が大きくても、ブロック識別ＩＤの付与をより正確に行うことが可能となり、結果として、衝突事故や交通違反などのより正確な検出に寄与する。
【００１６】
本発明の他の目的、構成及び効果は以下の説明から明らかになる。
【図面の簡単な説明】
【００１７】
【図１】交差点及びこれに配置された本発明の実施例１の装置の概略を示す図である。
【図２】図１中の移動体異常事象検出装置の機能ブロック図である。
【図３】図２の判定部の処理を示すフローチャートである。
【図４】交差点への４つの入口及び交差点からの４つの出口に設定されたスリット及びブロックに付された移動体のＩＤを示す説明図である。
【図５】図１中の観測量検出部での処理を説明するベクトル図である。
【図６】ベクトルＶ／Ｄの量子化説明図である。
【図７】相対位置ベクトルの量子化及び時系列分類の説明図である。
【図８】（Ａ）及び（Ｂ）はいずれも互いにすれ違う移動体間動作の分類説明図である。
【図９】（Ａ）及び（Ｂ）はいずれも互いにすれ違う移動体間動作の分類説明図である。
【図１０】衝突事故時の時系列パターン説明図である。
【図１１】交差点での移動体衝突事故判定説明図である。
【図１２】交差点での移動体故障判定説明図である。
【図１３】移動体同士の画像上での重なりが頻繁に生ずる場合の説明図である。
【図１４】オブジェクトマップ作成説明図である。
【図１５】オブジェクトマップ作成説明図である。
【図１６】オブジェクトマップ作成説明図である。
【図１７】オブジェクトマップ作成説明図である。
【図１８】オブジェクトマップ作成説明図である。
【図１９】オブジェクトマップ作成説明図である。
【実施例１】
【００１８】
以下、図面を参照して本発明の実施例１を説明する。複数の図中の対応する同一又は類似の構成要素には、同一又は類似の符号を付している。
【００１９】
図１は、交差点及びこれに配置された本発明の実施例１の移動体異常事象検出装置の概略を示す。
【００２０】
この装置は、交差点を撮像して画像信号を出力する電子カメラ１０と、その画像を処理して移動体間衝突事故及び故障移動体を自動検出する移動体異常事象検出装置２０とを備えている。
【００２１】
図２は、この移動体異常事象検出装置２０の機能ブロック図である。移動体異常事象検出装置２０の構成要素のうち、記憶部以外はコンピュータによるソフトウェア又は専用のハードウェアで構成することもがきる。
【００２２】
電子カメラ１０で撮影された時系列画像は、例えば１２フレーム／秒のレートで、画像メモリ２１に格納される。
【００２３】
背景画像生成部２２は、記憶部と処理部とを備え、処理部は、画像メモリ２１をアクセスし、例えば過去１０分間の全フレームの対応するピクセルについて画素値のヒストグラムを作成し、その最頻値（モード）をそのピクセルの画素値とする画像を、移動体が存在しない背景画像として生成し、これを該記憶部に格納する。背景画像は、この処理が定期的に行われて更新される。
【００２４】
ＩＤ生成／消滅部２３には、図４に示す如く画像フレーム内の、交差点への４つの入口及び交差点からの４つの出口にそれぞれ配置されるスリットＥＮ１〜ＥＮ４及びＥＸ１〜ＥＸ４の位置及びサイズのデータが予め設定されている。ＩＤ生成／消滅部２３は、画像メモリ２１から入口スリットＥＮ１〜ＥＮ４内の画像データを読み込み、これら入口スリット内に移動体が存在するかどうかをブロック単位で判定する。図４中のメッシュの升目はブロックであり、１ブロックは例えば８×８画素であり、１フレームが４８０×６４０画素の場合、１フレームは６０×８０ブロックに分割される。あるブロックに移動体が存在するかどうかは、このブロック内の各ピクセルと背景画像の対応するピクセルとの差の絶対値の総和が所定値以上であるかどうかにより判定する。この判定は、移動体追跡部２５においても行われる。
【００２５】
ＩＤ生成／消滅部２３は、ブロック内に移動体が存在すると判定すると、このブロックに新たなクラスタ識別符号ＩＤを付与する。ＩＤ生成／消滅部２３は、ＩＤ付与済ブロックと隣接しているブロックに移動体が存在すると判定すると、この隣接ブロックに付与済ブロックと同一のＩＤを付与する。このＩＤ付与済ブロックは入口スリットに隣接しているブロックも含まれる。例えば図４中の入口スリットＥＮ１内のブロックにはＩＤ＝１が付与され、入口スリットＥＮ４内の移動体存在ブロックにはＩＤ＝５が付与される。
【００２６】
ＩＤの付与は、オブジェクトマップ記憶部２４内の対応するブロックに対して行われる。オブジェクトマップ記憶部２４は、上述の場合６０×８０ブロックの各々について、処理容易化のための情報（オブジェクトマップ）を記憶するためのものであり、この情報には、ＩＤが付与されているかどうかのフラグ、ＩＤが付与されている場合にはその番号と後述のブロック動きベクトルとが含まれる。なお、該フラグを用いずに、ＩＤ＝０のときのＩＤが付与されていないと判定してもよい。また、ＩＤの最上位ビットをフラグとしてもよい。
【００２７】
入口スリットを通過したクラスタに対しては、移動体追跡部２５により移動方向のブロックに対するＩＤの付与及び移動と反対方向のブロックに対するＩＤの消滅、すなわちクラスタの追跡処理が行われる。移動体追跡部２５は、後述のように、時刻（ｔ−１）のオブジェクトマップ及びフレーム画像と、時刻ｔのフレーム画像とに基づいて時刻ｔのオブジェクトマップを生成する。
【００２８】
移動体追跡部２５による追跡処理は、各クラスタについて出口スリット内まで行われる。
【００２９】
ＩＤ生成／消滅部２３はさらに、オブジェクトマップ記憶部２４の内容に基づき出口スリットＥＸ１〜ＥＸ４内のブロックにＩＤが付与されているかどうかを調べ、付与されていれば、出口スリットをクラスタが通過したときにそのＩＤを消滅させる。例えば図４中の出口スリットＥＸ１内のブロックにＩＤが付されている状態から、ＩＤが付されない状態に変化したときに、ＩＤ＝３を消滅させる。消滅ＩＤは、次の生成ＩＤとして用いることができる。
【００３０】
観測量検出部２６は、オブジェクトマップ記憶部２４の内容に基づいて各クラスタの平均動きベクトルをそのクラスタの動きベクトルとして求め、各クラスタ間について、相対動きベクトルＶ及び相対位置ベクトルを求め、さらにクラスタ間の最短距離ｄを求め、これらに基づいて以下のような観測量を求める。観測量検出部２６はこの観測量を観測系列記憶部２７に格納して、クラスタ間毎に観測系列を生成する。
【００３１】
観測量として、相対動きベクトルに関するものを量子化した第１スカラーと、相対位置ベクトルを量子化した第２スカラーとを考える。最初に、第１スカラーとその時系列について説明する。
【００３２】
例えば、図５（Ａ）に示す移動体移動体Ｍ１の動きベクトルＶ１と移動体移動体Ｍ２の動きベクトルＶ２の相対動きベクトルＶは図５（Ｂ）に示す如くなる。図５（Ａ）に示すように移動体Ｍ１とＭ２の間の最短距離をｄとし、ベクトルＶ／Ｄを考える。ここに、Ｄ＝ｄ＋εであり、εはｄ＝０のときＤ＞０を保証するための定数である。衝突時にはＶ＝０、すなわちＶ／Ｄ＝０となるが、その前後で｜Ｖ／Ｄ｜が大きな値になるので、Ｖ／Ｄの時系列から衝突を判断し易くなる。移動体Ｍ１とＭ２の相対的な多くの状態を簡単に分類するために、図６に示すようにベクトルＶ／Ｄを量子化しかつスカラー化する。すなわち、ベクトルＶ／Ｄの始点を中心として図６に示すように領域を分割し、各領域をスカラーで表し、ベクトルＶ／Ｄをその終点が属する領域のスカラーに量子化する。
【００３３】
例えばＶ／Ｄ＝ｖの時系列がｖ０→ｖ１→ｖ２である場合、｛ｖ０,ｖ１,ｖ２｝と表記し、これを｛０,１,２｝と量子化する。量子化された観測量の時系列を観測系列と称す。図１０に示す衝突事故時の時刻ｔ＝４〜９における観測系列は｛１,２,３,０,８,７｝となる。この量子化により、ある衝突パターンと類似の衝突パターンは同一観測系列となるので、様々な衝突事故を容易に認識可能になる。また、量子化により観測系列が簡単な数値列になるので、その後の認識処理が簡単になる。
【００３４】
衝突事故であるかどうかの判断は、観測系列と衝突事故の参照系列（例えば実際に生じた衝突事故の観測系列）との類似度が所定値を越えるかどうかで行う。上記量子化により必要な参照系列の数を少なくすることができるが、さらにこれを少なくするために、静止座標系を回転させれば相対動作の時系列パターンが同一になる場合は観測系列も同一になるようにする。このため、例えば上記｛ｖ０,ｖ１,ｖ２｝については、時系列の最初のベクトルｖ０の基準方向、例えば図６のＸ軸に対する角度θを求め、次に、ｖ０,ｖ１及びｖ２の各ベクトルを−θ回転させる。図５（Ｃ）はＶ／Ｄが時系列の最初のベクトルである場合の該回転を示す。この回転により、移動体Ｍ１に対する移動体Ｍ２の相対ベクトルＶ／Ｄの観測量と、移動体Ｍ２に対する移動体Ｍ１の相対ベクトル−Ｖ／Ｄの観測量とは同一になる。
【００３５】
互いに離れた移動体移動体Ｍ１及びＭ２が接近してすれ違った後、互いに離れる場合は、図８（Ａ）、図８（Ｂ）、図９（Ａ）及び図９（Ｂ）のいずれかであり、点線は移動体の経路を示す。これらの場合の観測系列はそれぞれ、例えば次のようになる。
【００３６】
図８（Ａ）：｛１，１，２，２，３，１，１，１，１，１，１｝
図８（Ｂ）：｛１，１，１，１，１，１，１，１，１，１，１｝
図９（Ａ）：｛１，１，２，２，３，１，１，１，１，１，１｝
図９（Ｂ）：｛１，１，２，２，３，１，１，１，１，１，１｝
これらの観測系列から明らかなように、図８（Ａ）、図９（Ａ）及び図９（Ｂ）の観測系列からこれらの相対動作を識別することができない。そこで、これらの相対動作を識別可能にするために、移動体Ｍ１に対する移動体Ｍ２の相対位置ベクトルを図７に示すように量子化して第２スカラーとする。すなわち、相対位置ベクトルＰ１２の始点を中心とし、移動体Ｍ１の動きベクトルＶ１の方向を基準方向とし、図７に点線で示すように領域を分割し、各領域をスカラーで表し、相対位置ベクトルＰ１２をその終点が属する領域のスカラーに量子化する。
【００３７】
図８（Ａ）に示すように互いに反対方向に進んでいる移動体Ｍ１とＭ２とがすれ違う場合、時刻ｔの相対位置ベクトルＰ１２をＰ１２（ｔ）で表すと、移動体Ｍ１に対する移動体Ｍ２の相対位置ベクトルの時系列Ｐ１２（ｔ−１）、Ｐ１２（ｔ）、Ｐ１２（ｔ＋１）は、｛２０，８０，６０｝と量子化される。
【００３８】
第１スカラーを１桁の数値とし、第２スカラーを２桁の数値かつ下位を０としたのは、両者を容易に合成可能にするためである。例えば第１スカラーが７で第２スカラーが２０である場合、両者の和である２６を観測量とする。第１スカラーと、移動体Ｍ２を基準にした第２スカラーとの和を観測量とすると、図８（Ａ）、図８（Ｂ）、図９（Ａ）及び図９（Ｂ）の観測系列はそれぞれ次のようになる。
【００３９】
図８（Ａ）：｛２１，２１，８２，８２，８３，８１，８１，８１，８１，６１，６１｝
図８（Ｂ）：｛２１，２１，４１，４１，４１，４１，４１，４１，４１，６１，６１｝
図９（Ａ）：｛６１，６１，４２，４２，４３，４１，４１，４１，４１，２１，２１｝
図９（Ｂ）：｛２１，２１，４２，４２，４３，４１，４１，４１，４１，６１，６１｝
第１スカラーと、移動体Ｍ１を基準にした第２スカラーとの和を観測量とすると、図８（Ａ）、図８（Ｂ）、図９（Ａ）及び図９（Ｂ）の観測系列はそれぞれ次のようになる。
【００４０】
図８（Ａ）：｛２１，２１，８２，８２，８３，８１，８１，８１，８１，６１，６１｝
図８（Ｂ）：｛２１，２１，４１，４１，４１，４１，４１，４１，４１，６１，６１｝
図９（Ａ）：｛２１，２１，８２，８２，８３，８１，８１，８１，８１，６１，６１｝
図９（Ｂ）：｛６１，６１，８２，８２，８３，８１，８１，８１，８１，２１，２１｝
図７中に矢印付直線で示すように第２スカラーが、２０→８０→６０のように変化する場合をＰＡＳ０、２０→４０→６０のように変化する場合をＰＡＳ１、６０→４０→２０のように変化する場合をＰＡＳ２、６０→８０→２０のように変化する場合をＰＡＳ３と分類する。また、移動体Ｍ１から見た移動体Ｍ２の相対位置ベクトルの変化がＰＡＳｋであり、移動体Ｍ２から見た移動体Ｍ１の相対位置の変化がＰＡＳｍである場合、この変化をＰＡＳｋｍで表す。
【００４１】
図８（Ａ）及び（Ｂ）のいずれの場合も、移動体Ｍ１から見た移動体Ｍ２の相対位置ベクトルの変化と移動体Ｍ２から移動体Ｍ１を見た装置位置ベクトルの変化は同一であり、それぞれＰＡＳ００及びＰＡＳ１１と分類される。これに対し、図９（Ａ）及び（Ｂ）のいずれの場合も、移動体Ｍ１から見た移動体Ｍ２の相対位置ベクトルの変化と移動体Ｍ２から見た移動体Ｍ１の相対値ベクトルの変化は異なり、それぞれＰＡＳ２０及びＰＡＳ１３と分類される。
【００４２】
このように、第２スカラーも用いて移動体の相対動作を分類することにより、第１スカラーのみでは区別して認識することができなかったものが認識可能となり、状態をより正確に把握することが可能となる。
【００４３】
例えば、オブジェクトマップ上のクラスタ数が３で、ＩＤが１、２及び３であり、ＩＤ＝ｉとＩＤ＝ｊのクラスタ間の観測系列をＯＳi,jで表すと、図２の観測系列記憶部２７には観測系列ＯＳ1,2、ＯＳ2,1、ＯＳ2,3、ＯＳ3,1及びＯＳ1,3が格納されている。ＯＳi,jとＯＳj,iが格納されているのは、第２スカラーの時系列に着目して上記ＰＡＳｋｍの分類を可能にするためである。観測系列記憶部２７には、各観測系列は、所定個数、例えば２４個の観測量からなり、時刻が１進む毎に最も古い観測量を削除し新しい観測量を付加する。
【００４４】
分類部２８は、観測系列記憶部２７に格納されている各クラスタ間の観測系列を読み出し、予め定められた衝突事故及びその他の参照系列との類似度を算出し、これらを分類結果として判定部２９に供給する。この観測系列は、上記第１スカラーと第２スカラーとの組み合わせの観測量の時系列であり、参照系列も同様である。なお、観測系列の第１スカラーに着目して、予め定められた衝突事故の参照系列との類似度を算出し、第２スカラーに着目して、予め定められた上記ＰＡＳｋｍの各々の参照系列との類似度を算出し、これらを分類結果として判定部２９に供給してもよい。
【００４５】
公知のパターン類似度計算には、隠れマルコフモデル（ＨＭＭ）法やパターンマッチング法などがあり、これらのいずれかを利用することができる。例えば、上記特開２００１−１４８０１９号公報に開示されているように、具体的な衝突事故の観測系列を学習系列としてパラメータを決定したＨＭＭにより、観測系列が生ずる確率を類似度として計算する。
【００４６】
ここで、図１１及び図１２を参照して移動体の衝突事故及び故障の検出について説明する。
【００４７】
図１１において、移動体Ｍ１とＭ２の間に図１０に示すような衝突シーケンスが生じ又はこれに類似した非衝突シーケンスが生じ、最終的に移動体Ｍ１とＭ２とが停止しているとする。このシーケンスは、移動体Ｍ３が右折待ちの時にその後方から移動体Ｍ４が近づいたために移動体Ｍ３が少し前に移動して停止した場合と類似している。路面に対し低カメラアングルで移動体を撮像した場合には、実際には移動体間が離れていても重なって見えるために、画像上では衝突と分類される場合がある。
【００４８】
しかし、移動体Ｍ３及びＭ４は、右折待ちのために停止が許可されている領域に存在する。これに対し、移動体Ｍ１及びＭ２は、停止が禁止されている領域に存在しているので、移動体Ｍ１とＭ２の間に衝突が生じた可能性が高い。この場合、救急車などが交差点に接近しているために移動体Ｍ１とＭ２が停止している可能性もある。そこで、停止している移動体Ｍ１又はＭ２の横を通り過ぎる移動体があれば、移動体Ｍ１とＭ２の衝突の可能性はさらに高くなる。
【００４９】
このようなことから、
（１）移動体Ｍ１とＭ２の相対動作が衝突と分類され、
（２）移動体Ｍ１又はＭ２が停止禁止領域内に停止しており、
（３）他の車が交差点で移動している
場合には、移動体Ｍ１とＭ２が衝突であると判定する。
【００５０】
また、図１２に示すように、移動体Ｍ１が他の車と衝突していないが、移動体Ｍ１が停止禁止領域内に停止している場合には、移動体Ｍ１が故障している可能性が高い。この場合、交差点で他の移動体が移動してれば、移動体Ｍ１が故障している可能性はさらに高くなる。そこで、上記（１）が否定判定され、上記（２）及び（３）が肯定判定された場合には、移動体が故障していると判定する。
【００５１】
図３は、図２の判定部２９の処理を示すフローチャートである。
【００５２】
（Ｓ１）判定部２９は、分類部２８から１つのクラスタ間についての衝突類似度ＣＳを読み込む。
【００５３】
（Ｓ２〜Ｓ４）この衝突類似度ＣＳが設定値ＣＳ０より大きければ、フラグＦをセットし、そうでなければフラグＦをリセットする。
【００５４】
（Ｓ５）観測系列記憶部２７から、ステップＳ１で読み込んだクラスタ間について、観測系列を読み込み、最も新しい時点から所定数の観測量の第１スカラーがすべて０である場合、すなわち、相対動きベクトルＶ＝０の状態が所定時間を超えている場合、次に、オブジェクトマップ記憶部２４を参照してそのＩＤを有するクラスタに属する全てのブロックの動きベクトルが０であるかどうかを調べ、０であればこの移動体が停止していると判定する。停止していなければステップＳ１へ戻って他の１つのクラスタ間について全ての分類結果を読み込み、そうでなければステップＳ６へ進む。
【００５５】
（Ｓ６）この停止しているクラスタが、停止禁止領域記憶部３０に予め格納されている停止禁止領域内に存在するかどうかを調べ、存在すればステップＳ７へ進み、そうでなければステップＳ１へ戻る。
【００５６】
（Ｓ７）分類部２８の分類結果に、他のクラスタとの間について上記ＰＡＳ００、ＰＡＳ１１、ＰＡＳ２０又はＰＡＳ１３のいずれかの参照系列との類似度が設定値を越えていれば、交差点内で移動している移動体が存在すると判定してステップＳ８へ進み、そうでなけれなステップＳ１へ戻る。
【００５７】
（Ｓ８〜Ｓ１０）Ｆ＝１であれば事故と判定し、Ｆ＝０であれば移動体故障であると判定し、その結果を出力し、ステップＳ１へ戻る。
【００５８】
このような処理により、移動体の衝突事故及び故障を高確率で自動検出することができる。
【００５９】
次に、図２の移動体追跡部２５において、時刻（ｔ−１）のオブジェクトマップ及びフレーム画像と、時刻ｔのフレーム画像とに基づいて時刻ｔのオブジェクトマップを生成する方法を詳説する。
【００６０】
１台のカメラで広い領域を撮像して移動体を追跡するために、路面に対し低カメラアングルで移動体を正面から撮像した場合、図１３（Ａ）〜（Ｃ）に示すように移動体同士の画像上での重なりが頻繁に生ずる。
【００６１】
図１４及び図１５はそれぞれ、図１３（Ａ）及び（Ｂ）の拡大画像を示す。点線は、画像をブロックに分割するものである。図１４において、重なった移動体Ｍ１とＭ２は、図２のオブジェクトマップ記憶部２４において１つのクラスタＣ１２に対応しており、移動体Ｍ１とＭ２とが識別されていないとする。これに対し、クラスタＣ３は１つの移動体Ｍ３に対応している。
【００６２】
時刻ｔでの第ｉ行第ｊ列のブロックをＢ（ｔ：ｉ，ｊ）で表す。図１４に示すように、ブロックＢ（ｔ−１：１１，１３）及びＢ（ｔ−１：１４，１３）の動きベクトルをそれぞれＶ２及びＶ３で表す。動きベクトルＶ２及びＶ３の先端はいずれもブロックＢ（ｔ−１：１８，１１）内に存在している。図１５に示す時刻ｔの画像中の枠ＳＢ２及びＳＢ３はそれぞれ、図１４の画像中のブロックＢ（ｔ−１：１１，１３）及びＢ（ｔ−１：１４，１３）をそれぞれ動きベクトルＶ１及びＶ２移動させた領域に対応している。
【００６３】
次に、動きベクトルＶ２及びＶ３の先端がブロックＢ（１８，１１）の中心に一致するように動きベクトルＶ２及びＶ３を平行移動させ、動きベクトルＶ２及びＶ３の方向を逆にし、図１６に示すように、ハッチングが施されたブロックＢ（ｔ−１：１８，１１）を−Ｖ２及び−Ｖ３移動させた枠ＳＢＲ２及びＳＢＲ３を求める。枠ＳＢＲ２及びＳＢＲ３内の画像はそれぞれ、図１７のブロックＢ（ｔ：１８，１１）内の画像が図１６の時刻（ｔ−１）のクラスタＣ１２及びＣ３に属していた仮定したときの推定画像である。クラスタＣ１２及びＣ３のＩＤをそれぞれＩＤ１２及びＩＤ３とする。
【００６４】
図１６中の枠ＳＢＲ２内の画像と図１７中のブロックＢ（ｔ：１８，１１）内の画像との相関度に関係した評価値ＵＤを次式で計算し、この値をＵＤ（ＩＤ１２）とする。
【００６５】
ＵＤ＝Σ｜ＳＰ（ｔ−１：ｉ，ｊ）−ＢＰ（ｔ：ｉ，ｊ）｜ （１）
ここにＳＰ（ｔ−１：ｉ，ｊ）及びＢＰ（ｔ：ｉ，ｊ）はそれぞれ、図１６の枠ＳＢＲ２内及び図１７のブロックＢ（ｔ：１８，１１）内の第ｉ行第ｊ列のピクセルの値であり、Σはｉ＝１〜８及びｊ＝１〜８についての総和（ブロック内全画素についての総和）を意味している。評価値ＵＤの値が小さいほど相関度が高い。
【００６６】
同様に図１６中の枠ＳＢＲ３内の画像と図１７中のブロックＢ（ｔ：１８，１１）内の画像との相関度に関係した評価値ＵＤを計算し、この値をＵＤ（ＩＤ３）とする。
【００６７】
図１６と図１７の場合には、ＵＤ（ＩＤ３）＜ＵＤ（ＩＤ１２）となり、ブロックＢ（ｔ：１８，１１）にＩＤ３を付与する。
【００６８】
このように、ブロック毎の動きベクトルを用いることにより、複数の移動体を含む時刻ｔのクラスタＣ１２３に含まれるブロックに異なるＩＤを付与することができ、これにより１つのクラスタＣ１２３を異なるＩＤのクラスタに分割することが可能になる。
【００６９】
図１５のクラスタＣ１２３に属するブロックＢ（ｔ：１８，１１）に対応するクラスタＣ１２内のブロックＢ（ｔ−１：１１，１３）及びクラスタＣ３内のＢ（ｔ−１：１４，１３）の見つけ方は次の通りである。すなわち、ブロックＢ（ｔ−１：ｉ，ｊ）の中心からブロックＢ（ｔ−１：１８，１１）の中心までのベクトルをＶ（１８−ｉ，１１−ｊ）、ブロックＢ（ｔ−１：ｉ，ｊ）の動きベクトルをＶ（ｔ−１：ｉ，ｊ）と表記すると、
｜Ｖ（１８−ｉ，１１−ｊ）−Ｖ（ｔ−１：ｉ，ｊ）｜＜ΔＶ
を満たすＶ（ｔ−１：ｉ，ｊ）をもつブロックＢ（ｔ−１：ｉ，ｊ）を見つければよい。ここにΔＶは定数であり、例えばブロックの１辺の画素数の３倍の値である。ブロックＢ（ｔ：１８，１１）に対応するクラスタＣ１２内のブロックが複数有り、又は、ブロックＢ（ｔ：１８，１１）に対応するクラスタクラスタＣ３内のブロックが複数有る場合には、その各々についての評価値を求め、最も小さい評価値に対応したＩＤをブロックＢ（ｔ：１８，１１）に付与する。
【００７０】
図１５のクラスタＣ１２３に属する他のブロックについても上記同様である。
【００７１】
ブロックＢ（ｔ：１８，１１）にＩＤ３を付与する上記の場合、このブロックの動きベクトルはほぼ動きベクトルＶ３であると推定できる。ブロックＢ（ｔ：１８，１１）の動きベクトルをより正確に求めるために、枠ＳＢＲ３を、この位置を中心として所定範囲内で１画素ずつシフトさせ、このシフト毎に該評価値を求め、評価値が最小（相関度が最大）になったときの枠ＳＢＲ３の中心からブロックＢ（ｔ：１８，１１）の中心へ向かうベクトルを、ブロックＢ（ｔ：１８，１１）の動きベクトルと決定する。時刻ｔでのブロックの動きベクトルは、このブロックにＩＤを付与する毎に、このようなブロックマッチングで決定される。
【００７２】
類似度をより正確に見積もるために、以下のような量も考慮する。
【００７３】
図１６中の枠ＳＢＲ３の一部はクラスタＣ３からはみ出しており、その面積が広いほど、図１７のブロックＢ（ｔ：１８，１１）のＩＤがＩＤ３である確率が低いと考えられる。そこで、ブロックＢ（ｔ：１８，１１）のＩＤがＩＤ３であると仮定し、枠ＳＢＲ３内の、クラスタＣ３に属する画素数Ｓ（ｔ−１）を求め、図１６中の枠ＳＢＲ３内の画像と図１７中のブロックＢ（ｔ：１８，１１）内の画像との相関度に関係した評価値ＵＳを次式で計算し、この値をＵＳ（ＩＤ３）とする。
【００７４】
ＵＳ＝（Ｓ（ｔ−１）−６４）2 （２）
評価値ＵＤの値が小さいほど相関度が高い。同様にブロックＢ（ｔ：１８，１１）のＩＤがＩＤ１２であると仮定し、枠ＳＢＲ２内の、クラスタＣ１２に属する画素数Ｓを求めて評価値ＵＳを計算し、この値をＵＳ（ＩＤ１２）とする。図１６と図１７の場合には、ＵＳ（ＩＤ１２）＝０であり、ＵＳ（ＩＤ３）＞ＵＳ（ＩＤ１２）である。
【００７５】
上式（１）と（２）の一次結合Ｕ＝αＵＤ＋βＵＳを評価関数とし、評価値Ｕが小さいほど類似度が高いと判定する。ここにα及びβは正の定数であり、類似度の評価がより正確になるように経験的に定められる。
【００７６】
図１７の時刻ｔにおける各ブロックにつき、上記同様にしてＩＤ１２を付与するかＩＤ３を付与するかを決定する。評価値の差の絶対値｜Ｕ（ＩＤ１２）−Ｕ（ＩＤ３）｜が所定値以下の場合には誤判定される確率が大きいので、ＩＤを付与しないで残しておき、時刻ｔの画像について次の量を考慮する。例えば、図１７のブロックＢ（ｔ：１８，１１）のＩＤが未定でこれがＩＤ３であると仮定した場合、ブロックＢ（ｔ：１８，１１）に隣接した８個のブロックについて、ＩＤ３が付与されている個数Ｎ（ｔ）を求め、評価値ＵＮを次式で計算し、この値をＵＮ（ＩＤ３）とする。
【００７７】
ＵＮ＝（Ｎ（ｔ）−８）2 （３）
評価値ＵＮの値が小さいほど相関度が高い。同様に図１７中のブロックＢ（ｔ：１８，１１）がＩＤ１２であると仮定した場合、ブロックＢ（ｔ：１８，１１）に隣接した８個のブロックについて、ＩＤ１２が付与されている個数Ｎを求め、評価値ＵＮを計算し、この値をＵＮ（ＩＤ１２）とする。
【００７８】
また、ほぼ同一の画素値が分布しているためにブロックマッチングで求めた時刻（ｔ−１）の動きベクトルの誤差が大きく、このため上式（１）〜（３）の一次結合Ｕ＝αＵＤ＋βＵＳ評価値の差の絶対値｜Ｕ（ＩＤ１２）−Ｕ（ＩＤ３）｜が所定値以下になる場合も考えられるので、さらに、ブロックＢ（ｔ：１８，１１）に対応するブロックＢ（ｔ−１：１４，１３）及びＢ（ｔ−１：１１，１３）の各々の周囲のブロックの動きベクトルに着目することにより、類似度の評価をより正確化する。すなわち、ブロックＢ（ｔ：１８，１１）がＩＤ３であると仮定して求められた、時刻（ｔ−１）の対応するブロックＢ（ｔ−１：１４，１３）の動きベクトルＶＣ（ｔ−１）＝Ｖ３と、このブロックＢ（ｔ−１：１４，１３）に隣接した８個のブロックのうちＩＤがＩＤ３であるＮＸ＝ＮＸ３個のブロック（図１６中の小黒点付ブロック）の動きベクトルＶＢｉ（ｔ−１）、ｉ＝１〜ＮＸについて、評価値ＵＶを次式で計算し、この値をＵＶ（ＩＤ３）とする。
【００７９】
ＵＶ＝Σ｜ＶＣ（ｔ−１）−ＶＢｉ（ｔ−１）｜2／ＮＸ （４）
ここにΣはｉ＝１〜ＮＸについての総和を意味する。評価値ＵＶの値が小さいほど相関度が高い。同様に、ブロックＢ（ｔ：１８，１１）がＩＤ１２であると仮定して求められた、時刻（ｔ−１）の対応するブロックＢ（ｔ−１：１１，１３）の動きベクトルＶＣ＝Ｖ２と、このブロックＢ（ｔ−１：１１，１３）に隣接した８個のブロックのうちＩＤがＩＤ１２であるＮＸ＝ＮＸ１２個のブロック（図１６中の×印付ブロック）の動きベクトルＶＢｊ（ｔ−１）、ｊ＝１〜ＮＸについて、評価値ＵＶを計算し、この値をＵＶ（ＩＤ１２）とする。
【００８０】
上式（１）〜（４）の一次結合
Ｕ＝αＵＤ＋βＵＳ＋γＵＮ＋δＵＶ （５）
を評価関数とし、評価値Ｕが小さいほど類似度が高いと判定する。ここにγ及びδも正の定数であり、類似度の評価がより正確になるように経験的に定められる。
【００８１】
このようにして、図８のクラスタＣ１２３内のブロック毎にＩＤがＩＤ１２であるかＩＤ３であるかが決定されるとともにその動きベクトルが決定される。すなわち、時刻ｔでのオブジェクトマップが決定され、図１７に示すように、移動体Ｍ２が移動体Ｍ１とＭ３の両方に重なっていても、異なるＩＤをもつクラスタに分割することができる。
【００８２】
同様にして、時刻ｔのフレーム画像とオブジェクトマップとから、時刻（ｔ＋１）でのオブジェクトマップが得られる。時刻ｔでＣ１２とＣ３とが識別されていることと、時刻（ｔ＋１）のフレーム画像で移動体Ｍ１がＭ２から分離していることから、図１９に示すように、時刻（ｔ＋１）では移動体Ｍ１〜Ｍ３に対応したＣ１〜Ｃ３が識別される。
【００８３】
なお、式（５）を用いる場合、計算時間短縮のためにβ、γ及びδのうち、１つ以上を０にしてもよい。
【００８４】
また、時刻ｔのオブジェクトマップ作成前に、時刻（ｔ−１）のオブジェクトマップＸをワークエリアにコピーしてオブジェクトマップＹとし、オブジェクトマップＸ上でＩＤがＩＤαである各ブロックｉの動きベクトルＶｉを、オブジェクトマップＹ上の該ブロックｉに対応したブロック及びこれに隣接したＩＤ＝ＩＤαの全てのブロックの動きベクトルＶｊ、ｊ＝１〜ｐを平均化したベクトル（ΣＶｊ）／ｐで置き換えてもよい。このようにすれば、ブロック内のテクスチャが隣接ブロックのそれと類似しているために動きベクトルの誤差が大きい場合、この誤差が低減される。ワークエリアへのコピーは、平均化ベクトルを一意的に定めるためである。
【００８５】
次に、上記のようにして求めた時刻ｔのオブジェクトマップを初期条件とし、上式（５）の評価関数を用いてこのオブジェクトマップをより正確化する方法について説明する。この方法自体は、評価関数Ｕを除き上記公報に開示されているものと同一であるので、その概略を説明する。
【００８６】
図１８のクラスタＣ１２及びＣ３内のブロックをＢＫｉ、ｉ＝１〜ｎで表す。ブロックＢＫｉのＩＤが変数ＩＤｉであるとし、そのＵをＵ（ＢＫｉ，ＩＤｉ）で表す。変数ＩＤｉはＩＤ１２又はＩＤ３である。ｉ＝１〜ｎについての評価値Ｕの総和ＵＴ、
ＵＴ＝ΣＵ（ＢＫｉ，ＩＤｉ）
が最小になるように、ＩＤ１〜ＩＤｎを決定する。ＩＤ１〜ＩＤｎの初期値は、上述のようにして求められた時刻ｔのオブジェクトマップにより与えられる。
【００８７】
なお、本発明には外にも種々の変形例が含まれる。
【００８８】
例えば、衝突事故や事故車両を自動検出する図２の装置は判定部２９に特徴があり、観測量検出部２６で検出する観測量は上記第１スカラーのみであってもよい。また、第１スカラーと第２スカラーを含む観測量を用いた構成は、衝突事故や事故車両の判定以外を行う装置、例えば移動体動作を自動的に分類して統計をとる装置に用いることができる。さらに、上記評価関数Ｕを用いた移動体追跡部２５での処理方法は、各種移動体追跡装置に適用可能である。
【００８９】
本発明には、以下の付記が含まれる。
【００９０】
（付記１）時系列画像を処理して画像中の移動体の異常事象を検出する移動体異常事象検出方法において、
（ａ）第１移動体に対する第２移動体の相対動作の特徴量を観測量として検出し、該観測量の時系列を観測系列として記憶し、
（ｂ）該観測系列の、予め定められた衝突観測系列に対する類似度を算出し、
（ｃ）該類似度が設定値より大きい場合、該第１移動体又は該第２移動体が、予め定められた停止禁止領域に停止しているかどうかに基づいて、衝突事故であるかどうかを判定する、
ことを特徴とする移動体異常事象検出方法。（１）
（付記２）上記ステップ（ｃ）では、上記類似度が設定値より大きい場合、上記第１移動体又は上記第２移動体が、予め定められた停止禁止領域に停止しており、且つ、他の移動体が移動しているとき、衝突事故であると判定する、
ことを特徴とする付記１記載の移動体異常事象検出方法。（２）
（付記３）（ｄ）上記類似度が上記設定値より小さい場合、上記第１移動体又は上記第２移動体が、予め定められた停止禁止領域に停止しているかどうかに基づいて、停止している移動体が故障であるかどうかを判定する、
ステップをさらに有することを特徴とする付記１又は２記載の移動体異常事象検出方法。（３）
（付記４）上記ステップ（ｄ）では、上記類似度が設定値より小さい場合、上記第１移動体又は上記第２移動体が、予め定められた停止禁止領域に停止しており、且つ、他の移動体が移動しているとき、停止している移動体が故障であると判定する、
ことを特徴とする付記３記載の移動体異常事象検出方法。（４）
（付記５）時系列画像が格納される画像記憶部と、
格納された該時系列画像を処理して画像中の移動体の異常事象を検出する画像処理部と、
を有する移動体異常事象検出装置において、該画像処理部は、
第１移動体に対する第２移動体の相対動作の特徴量を観測量として検出する観測量検出部と、
該観測量の時系列を観測系列として記憶する観測系列記憶部と、
予め定められた停止禁止領域が格納される停止禁止領域記憶部と、
該観測系列の、予め定められた衝突観測系列に対する類似度を算出する類似度算出部と、
該類似度が設定値より大きい場合、該第１移動体又は該第２移動体が、該停止禁止領域に停止しているかどうかに基づいて、衝突事故であるかどうかを判定し、その結果を出力する判定部と、
を有することを特徴とする移動体異常事象検出装置。（５）
（付記６）上記判定部は、上記類似度が設定値より大きい場合、上記第１移動体又は上記第２移動体が、予め定められた停止禁止領域に停止しており、且つ、他の移動体が移動しているとき、衝突事故であると判定することを特徴とする付記５記載の移動体異常事象検出装置。
【００９１】
（付記７）上記判定部は、上記類似度が上記設定値より小さい場合、上記第１移動体又は上記第２移動体が、予め定められた停止禁止領域に停止しているかどうかに基づいて、停止している移動体が故障であるかどうかを判定し、その結果を出力することを特徴とする付記５又は６記載の移動体異常事象検出装置。
【００９２】
（付記８）上記判定部は、上記類似度が設定値より小さい場合、上記第１移動体又は上記第２移動体が、予め定められた停止禁止領域に停止しており、且つ、他の移動体が移動しているとき、停止している移動体が故障であると判定することを特徴とする付記７記載の移動体異常事象検出装置。
【００９３】
（付記９）時系列画像を処理して画像中の移動体間の動作を分類する移動体間動作分類方法において、
（ａ）第１移動体に対する第２移動体の相対動作の特徴量を観測量として検出し、該観測量の時系列を観測系列として記憶し、
（ｂ）該観測系列の参照系列に対する類似度を算出し、
（ｃ）該類似度の値に応じて該第１移動体に対する該第２移動体の動作を分類し、
該観測量は、該第１移動体に対する該第２移動体の相対速度ベクトルＶと両者間の距離ｄに関する量を量子化した第１スカラーと、該第１移動体に対する該第２移動体の相対位置ベクトルを量子化した第２スカラーとを含むことを特徴とする移動体間動作分類方法。（６）
（付記１０）上記第１スカラーは、Ｖ・ｆ（ｄ）を量子化したものであり、ここにｆ（ｄ）は距離ｄの単調減少関数であることを特徴とする付記９記載の移動体間動作分類方法。
【００９４】
（付記１１）上記ｆ（ｄ）はｋ／（ｄ＋ε）であり、ε及びｋは正の定数であることを特徴とする付記１０記載の移動体間動作分類方法。
【００９５】
（付記１２）上記類似度は、隠れマルコフモデルに基づき算出された、上記観測系列が生ずる確率であり、上記参照系列はモデルパラメータを定めるための学習系列であることを特徴とする付記９乃至１１のいずれか１つに記載の移動体間動作分類方法。
【００９６】
（付記１３）時系列画像が格納される画像記憶部と、
格納された該時系列画像を処理して画像中の移動体間の動作を分類する画像処理部と、
を有する移動体間動作分類装置において、該画像処理部は、
第１移動体に対する第２移動体の相対動作の特徴量を観測量として検出する観測量検出部と、
該観測量の時系列を観測系列として記憶する観測系列記憶部と、
該観測系列の参照系列に対する類似度を算出する類似度算出部と、
該類似度の値に応じて該第１移動体に対する該第２移動体の動作を分類する分類部とを有し、
該観測量は、該第１移動体に対する該第２移動体の相対速度ベクトルＶと両者間の距離Ｄに関する量を量子化した第１スカラーと、該第１移動体に対する該第２移動体の相対位置ベクトルを量子化した第２スカラーとを含むことを特徴とする移動体間動作分類装置。（７）
（付記１４）上記第１スカラーは、Ｖ・ｆ（ｄ）を量子化したものであり、ここにｆ（ｄ）は距離ｄの単調減少関数であることを特徴とする付記１３記載の移動体間動作分類装置。
【００９７】
（付記１５）上記ｆ（ｄ）はｋ／（ｄ＋ε）であり、ε及びｋは正の定数であることを特徴とする付記１４記載の移動体間動作分類装置。
【００９８】
（付記１６）上記類似度は、隠れマルコフモデルに基づき算出された、上記観測系列が生ずる確率であり、上記参照系列はモデルパラメータを定めるための学習系列であることを特徴とする付記１３乃至１５のいずれか１つに記載の移動体間動作分類装置。
【００９９】
（付記１７）時系列画像の各々を、複数画素を含むブロックに分割して処理する移動体識別方法であって、時刻（ｔ−１）のフレーム画像に含まれている複数の移動体の識別ＩＤが、ブロック単位で付与されているとともにブロック単位で移動体の動きベクトルが求められている場合に、時刻ｔのフレーム画像に含まれている複数の移動体のＩＤを、ブロック単位で付与するとともにブロック単位で移動体の動きベクトルを求める移動体識別方法において、
（ａ）該識別ＩＤがＩＤｊである時刻（ｔ−１）のブロックｊをその動きベクトルＶｊで移動させたときの、時刻ｔの画像フレーム中の対応するブロックｉの枠を、−Ｖｊ移動させ、移動した枠内の時刻（ｔ−１）の画像と、時刻ｔのブロックｉの画像との相関度に関係した評価値を計算し、
（ｂ）該識別ＩＤがＩＤｋである時刻（ｔ−１）のブロックｋをその動きベクトルＶｋで移動させたときの、時刻ｔの画像フレーム中の対応する該ブロックｊの枠を、−Ｖｋ移動させ、移動した枠内の時刻（ｔ−１）の画像と、該時刻ｔのブロックｊの画像との該相関度に関係した評価値を計算し、
（ｃ）ステップ（ａ）と（ｂ）で算出された評価値の大小関係に基づいて、該時刻ｔのブロックｉがＩＤｊであるかＩＤｋであるかを決定する、
ことを特徴とする移動体識別方法。（８）
（付記１８）上記ステップ（ａ）の評価値は、上記時刻ｔのブロックｉの識別ＩＤがＩＤｊであると仮定したときの時刻（ｔ−１）の対応するブロックｍの動きベクトルＶＣｍ（ｔ−１）と、時刻（ｔ−１）のブロックｍと隣接する、識別ＩＤがＩＤｊであるブロックの動きベクトルＶＢｐ（ｔ−１）、ｐ＝１〜Ｎａとの差の絶対値｜ＶＣｍ（ｔ−１）−ＶＢｐ（ｔ−１）｜に関する量のｐについての総和を含み、
上記ステップ（ｂ）の評価値は、該時刻ｔのブロックｉの識別ＩＤがＩＤｋであると仮定したときの時刻（ｔ−１）の対応するブロックｎの動きベクトルＶＣｎ（ｔ−１）と、時刻（ｔ−１）のブロックｎと隣接する、識別ＩＤがＩＤｋであるブロックの動きベクトルＶＢｑ（ｔ−１）、ｑ＝１〜Ｎｂとの差の絶対値｜ＶＣｎ（ｔ−１）−ＶＢｑ（ｔ−１）｜に関する量のｑについての総和を含む、
ことを特徴とする付記１７記載の移動体識別方法。（９）
（付記１９）上記時刻ｔのフレーム画像に対する処理の前に、上記時刻（ｔ−１）のフレーム画像において、識別ＩＤが付与されている各ブロックの動きベクトルを、該ブロック及びこのブロックと同一ＩＤが付与され且つこのブロックに隣接するブロックの動きベクトルを平均化したもので置き換えることを特徴とする付記１７記載の移動体識別方法。
【０１００】
（付記２０）時系列画像が格納される画像記憶部と、
格納された該時系列画像の各々を、複数画素を含むブロックに分割して処理し、時刻（ｔ−１）のフレーム画像に含まれている複数の移動体の識別ＩＤが、ブロック単位で付与されているとともにブロック単位で移動体の動きベクトルが求められている場合に、時刻ｔのフレーム画像に含まれている複数の移動体のＩＤを、ブロック単位で付与するとともにブロック単位で移動体の動きベクトルを求める画像処理部と、
を有する移動体識別装置において、該画像処理部は、
（ａ）該識別ＩＤがＩＤｊである時刻（ｔ−１）のブロックｊをその動きベクトルＶｊで移動させたときの、時刻ｔの画像フレーム中の対応するブロックｉの枠を、−Ｖｊ移動させ、移動した枠内の時刻（ｔ−１）の画像と、時刻ｔのブロックｉの画像との相関度に関係した評価値を計算し、
（ｂ）該識別ＩＤがＩＤｋである時刻（ｔ−１）のブロックｋをその動きベクトルＶｋで移動させたときの、時刻ｔの画像フレーム中の対応する該ブロックｊの枠を、−Ｖｋ移動させ、移動した枠内の時刻（ｔ−１）の画像と、該時刻ｔのブロックｊの画像との該相関度に関係した評価値を計算し、
（ｃ）ステップ（ａ）と（ｂ）で算出された評価値の大小関係に基づいて、該時刻ｔのブロックｉがＩＤｊであるかＩＤｋであるかを決定する、
ことを特徴とする移動体識別装置。（１０）
（付記２１）上記処理（ａ）の評価値は、上記時刻ｔのブロックｉの識別ＩＤがＩＤｊであると仮定したときの動きベクトルと、該時刻ｔでのブロックｉと隣接するブロックの動きベクトルとの差の絶対値に関する量の値を含み、
上記処理（ｂ）の評価値は、該時刻ｔのブロックｉの識別ＩＤがＩＤｋであると仮定したときの動きベクトルと、該時刻ｔでのブロックｉと隣接するブロックの動きベクトルとの差の絶対値に関する量の値を含む、
ことを特徴とする付記２０記載の移動体識別装置。
【符号の説明】
【０１０１】
１０ カメラ
２０ 画像処理装置
２１ 画像メモリ
２２ 背景画像生成部
２３ ＩＤ生成／消滅部
２４ オブジェクトマップ記憶部
２５ 移動体追跡部
２６ 観測量検出部
２７ 観測系列記憶部
２８ 分類部
２９ 判定部
３０ 停止禁止領域記憶部
【特許請求の範囲】
【請求項１】
時系列画像の各々を、複数画素を含むブロックに分割して処理する移動体識別方法であって、時刻（ｔ−１）のフレーム画像に含まれている複数の移動体の識別ＩＤが、ブロック単位で付与されているとともにブロック単位で移動体の動きベクトルが求められている場合に、時刻ｔのフレーム画像に含まれている複数の移動体のＩＤを、ブロック単位で付与するとともにブロック単位で移動体の動きベクトルを求める移動体識別方法において、
（ａ）該識別ＩＤがＩＤｊである時刻（ｔ−１）のブロックｊをその動きベクトルＶｊで移動させたときの、時刻ｔの画像フレーム中の対応するブロックｉの枠を、−Ｖｊ移動させ、移動した枠内の時刻（ｔ−１）の画像と、時刻ｔのブロックｉの画像との相関度に関係した評価値を計算し、
（ｂ）該識別ＩＤがＩＤｋである時刻（ｔ−１）のブロックｋをその動きベクトルＶｋで移動させたときの、時刻ｔの画像フレーム中の対応する該ブロックｊの枠を、−Ｖｋ移動させ、移動した枠内の時刻（ｔ−１）の画像と、該時刻ｔのブロックｊの画像との該相関度に関係した評価値を計算し、
（ｃ）ステップ（ａ）と（ｂ）で算出された評価値の大小関係に基づいて、該時刻ｔのブロックｉがＩＤｊであるかＩＤｋであるかを決定する、
ことを特徴とする移動体識別方法。
【請求項２】
上記ステップ（ａ）の評価値は、上記時刻ｔのブロックｉの識別ＩＤがＩＤｊであると仮定したときの時刻（ｔ−１）の対応するブロックｍの動きベクトルＶＣｍ（ｔ−１）と、時刻（ｔ−１）のブロックｍと隣接する、識別ＩＤがＩＤｊであるブロックの動きベクトルＶＢｐ（ｔ−１）、ｐ＝１〜Ｎａとの差の絶対値｜ＶＣｍ（ｔ−１）−ＶＢｐ（ｔ−１）｜に関する量のｐについての総和を含み、
上記ステップ（ｂ）の評価値は、該時刻ｔのブロックｉの識別ＩＤがＩＤｋであると仮定したときの時刻（ｔ−１）の対応するブロックｎの動きベクトルＶＣｎ（ｔ−１）と、時刻（ｔ−１）のブロックｎと隣接する、識別ＩＤがＩＤｋであるブロックの動きベクトルＶＢｑ（ｔ−１）、ｑ＝１〜Ｎｂとの差の絶対値｜ＶＣｎ（ｔ−１）−ＶＢｑ（ｔ−１）｜に関する量のｑについての総和を含む、
ことを特徴とする請求項１記載の移動体識別方法。
【請求項３】
時系列画像が格納される画像記憶部と、
格納された該時系列画像の各々を、複数画素を含むブロックに分割して処理し、時刻（ｔ−１）のフレーム画像に含まれている複数の移動体の識別ＩＤが、ブロック単位で付与されているとともにブロック単位で移動体の動きベクトルが求められている場合に、時刻ｔのフレーム画像に含まれている複数の移動体のＩＤを、ブロック単位で付与するとともにブロック単位で移動体の動きベクトルを求める画像処理部と、
を有する移動体識別装置において、該画像処理部は、
（ａ）該識別ＩＤがＩＤｊである時刻（ｔ−１）のブロックｊをその動きベクトルＶｊで移動させたときの、時刻ｔの画像フレーム中の対応するブロックｉの枠を、−Ｖｊ移動させ、移動した枠内の時刻（ｔ−１）の画像と、時刻ｔのブロックｉの画像との相関度に関係した評価値を計算し、
（ｂ）該識別ＩＤがＩＤｋである時刻（ｔ−１）のブロックｋをその動きベクトルＶｋで移動させたときの、時刻ｔの画像フレーム中の対応する該ブロックｊの枠を、−Ｖｋ移動させ、移動した枠内の時刻（ｔ−１）の画像と、該時刻ｔのブロックｊの画像との該相関度に関係した評価値を計算し、
（ｃ）ステップ（ａ）と（ｂ）で算出された評価値の大小関係に基づいて、該時刻ｔのブロックｉがＩＤｊであるかＩＤｋであるかを決定する、
ことを特徴とする移動体識別装置。
【請求項１】
時系列画像の各々を、複数画素を含むブロックに分割して処理する移動体識別方法であって、時刻（ｔ−１）のフレーム画像に含まれている複数の移動体の識別ＩＤが、ブロック単位で付与されているとともにブロック単位で移動体の動きベクトルが求められている場合に、時刻ｔのフレーム画像に含まれている複数の移動体のＩＤを、ブロック単位で付与するとともにブロック単位で移動体の動きベクトルを求める移動体識別方法において、
（ａ）該識別ＩＤがＩＤｊである時刻（ｔ−１）のブロックｊをその動きベクトルＶｊで移動させたときの、時刻ｔの画像フレーム中の対応するブロックｉの枠を、−Ｖｊ移動させ、移動した枠内の時刻（ｔ−１）の画像と、時刻ｔのブロックｉの画像との相関度に関係した評価値を計算し、
（ｂ）該識別ＩＤがＩＤｋである時刻（ｔ−１）のブロックｋをその動きベクトルＶｋで移動させたときの、時刻ｔの画像フレーム中の対応する該ブロックｊの枠を、−Ｖｋ移動させ、移動した枠内の時刻（ｔ−１）の画像と、該時刻ｔのブロックｊの画像との該相関度に関係した評価値を計算し、
（ｃ）ステップ（ａ）と（ｂ）で算出された評価値の大小関係に基づいて、該時刻ｔのブロックｉがＩＤｊであるかＩＤｋであるかを決定する、
ことを特徴とする移動体識別方法。
【請求項２】
上記ステップ（ａ）の評価値は、上記時刻ｔのブロックｉの識別ＩＤがＩＤｊであると仮定したときの時刻（ｔ−１）の対応するブロックｍの動きベクトルＶＣｍ（ｔ−１）と、時刻（ｔ−１）のブロックｍと隣接する、識別ＩＤがＩＤｊであるブロックの動きベクトルＶＢｐ（ｔ−１）、ｐ＝１〜Ｎａとの差の絶対値｜ＶＣｍ（ｔ−１）−ＶＢｐ（ｔ−１）｜に関する量のｐについての総和を含み、
上記ステップ（ｂ）の評価値は、該時刻ｔのブロックｉの識別ＩＤがＩＤｋであると仮定したときの時刻（ｔ−１）の対応するブロックｎの動きベクトルＶＣｎ（ｔ−１）と、時刻（ｔ−１）のブロックｎと隣接する、識別ＩＤがＩＤｋであるブロックの動きベクトルＶＢｑ（ｔ−１）、ｑ＝１〜Ｎｂとの差の絶対値｜ＶＣｎ（ｔ−１）−ＶＢｑ（ｔ−１）｜に関する量のｑについての総和を含む、
ことを特徴とする請求項１記載の移動体識別方法。
【請求項３】
時系列画像が格納される画像記憶部と、
格納された該時系列画像の各々を、複数画素を含むブロックに分割して処理し、時刻（ｔ−１）のフレーム画像に含まれている複数の移動体の識別ＩＤが、ブロック単位で付与されているとともにブロック単位で移動体の動きベクトルが求められている場合に、時刻ｔのフレーム画像に含まれている複数の移動体のＩＤを、ブロック単位で付与するとともにブロック単位で移動体の動きベクトルを求める画像処理部と、
を有する移動体識別装置において、該画像処理部は、
（ａ）該識別ＩＤがＩＤｊである時刻（ｔ−１）のブロックｊをその動きベクトルＶｊで移動させたときの、時刻ｔの画像フレーム中の対応するブロックｉの枠を、−Ｖｊ移動させ、移動した枠内の時刻（ｔ−１）の画像と、時刻ｔのブロックｉの画像との相関度に関係した評価値を計算し、
（ｂ）該識別ＩＤがＩＤｋである時刻（ｔ−１）のブロックｋをその動きベクトルＶｋで移動させたときの、時刻ｔの画像フレーム中の対応する該ブロックｊの枠を、−Ｖｋ移動させ、移動した枠内の時刻（ｔ−１）の画像と、該時刻ｔのブロックｊの画像との該相関度に関係した評価値を計算し、
（ｃ）ステップ（ａ）と（ｂ）で算出された評価値の大小関係に基づいて、該時刻ｔのブロックｉがＩＤｊであるかＩＤｋであるかを決定する、
ことを特徴とする移動体識別装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−３７８０（Ｐ２０１２−３７８０Ａ）
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願番号】特願２０１１−１９６２１８（Ｐ２０１１−１９６２１８）
【出願日】平成２３年９月８日（２０１１．９．８）
【分割の表示】特願２０１０−２５２２８（Ｐ２０１０−２５２２８）の分割
【原出願日】平成１３年６月２１日（２００１．６．２１）
【出願人】（３０８０１４３４１）富士通セミコンダクター株式会社 (2,507)
【出願人】（８０１００００４９）財団法人生産技術研究奨励会 (72)
【Ｆターム（参考）】
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願日】平成２３年９月８日（２０１１．９．８）
【分割の表示】特願２０１０−２５２２８（Ｐ２０１０−２５２２８）の分割
【原出願日】平成１３年６月２１日（２００１．６．２１）
【出願人】（３０８０１４３４１）富士通セミコンダクター株式会社 (2,507)
【出願人】（８０１００００４９）財団法人生産技術研究奨励会 (72)
【Ｆターム（参考）】
[ Back to top ]