移動物体認識方法及び装置
【課題】移動物体の動作を、より正確に、認識可能にする。
【解決手段】動きベクトル算出部３７において、前フレーム画像を、複数ピクセルからなるブロックに分割したときの、移動物体の一部が含まれる各ブロックについて、現フレーム画像内で、該ブロックと同一形状で類似したものを見つけて、該ブロックの動きベクトルを求め、該移動物体に含まれる複数のブロックの各動きベクトルの代表値を、該移動物体の動きベクトルと決定する。
【解決手段】動きベクトル算出部３７において、前フレーム画像を、複数ピクセルからなるブロックに分割したときの、移動物体の一部が含まれる各ブロックについて、現フレーム画像内で、該ブロックと同一形状で類似したものを見つけて、該ブロックの動きベクトルを求め、該移動物体に含まれる複数のブロックの各動きベクトルの代表値を、該移動物体の動きベクトルと決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動物体認識方法及び装置に関する。
【背景技術】
【０００２】
車、バイク、自転車及び人などの移動物体をカメラで撮像してその動作を認識しようとすると、分離して写っていた移動物体同士がその後、隣接し又は重なり、その際にカメラと移動物体との間の距離及びアングルに依存して移動物体の形や大きさが変化する場合がある。
【０００３】
衝突事故を正確に認識するためには、このような移動物体の動作を正確に認識する必要があるが、従来ではこれが容易でなかった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−４０４９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、このような問題点に鑑み、移動物体の動作をより正確に認識することが可能な移動物体認識方法及び装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明による移動物体認識方法では例えば図１３及び２０（Ａ）に示す如く、
電子カメラで撮影されたフレーム画像を、複数ピクセルからなるブロックに分割し、
移動物体の一部が含まれる各ブロックについて、次フレーム画像内で、該ブロックと同一形状で類似したものを見つけて、該ブロックの動きベクトルを求め、
該移動物体に含まれる複数のブロックの各動きベクトルの代表値を、該移動物体の動きベクトルと決定する。
【０００７】
この方法によれば、右折や左折する移動物体の速度を高精度で測定することが可能となる。
【０００８】
本発明による他の移動物体認識装置では、例えば図１６に示す如く、
撮影された前フレーム画像及び現フレーム画像が格納される画像記憶部（２１）と、
該前フレーム画像を、複数ピクセルからなるブロックに分割したときの、移動物体の一部が含まれる各ブロックについて、該現フレーム画像内で、該ブロックと同一形状で類似したものを見つけて、該ブロックの動きベクトルを求め、該移動物体に含まれる複数のブロックの各動きベクトルの代表値を、該移動物体の動きベクトルと決定する動きベクトル算出部（３７）とを有する。
【０００９】
本発明による他の移動物体認識方法では、
電子カメラで撮影されたフレーム画像を、複数ピクセルからなるブロックに分割し、同一移動物体に属するブロックに同一識別符号を持たせたオブジェクトマップを作成し、
時間的に前後のフレーム画像に基づいて、各移動物体の動きベクトルを求める方法であって、
現フレーム画像について移動物体が存在すると判定されたブロックの各々が、前フレーム画像に存在する移動物体のいずれかの識別符号を持っていると仮定したときの評価関数の値の大小関係に基づいて、該存在ブロックに付与すべき識別符号を決定する。
【００１０】
画像上で移動物体間の重なりが生じて、カメラから見て背面側の移動物体の一部が見えなくなっても、カメラから見て前面側の移動物体は見えるので、この移動物体認識方法によれば、存在ブロックがどの移動物体に属するかを評価関数の値に基づき推定することができる。
【００１１】
また、時刻ｔにおいて、移動物体間が重なっていないが接近しているため同一ブロックに２つの移動物体の一部が属し、このブロックのＩＤが不明であっても、時刻（ｔ−１）では該一部がそれぞれ異なるブロックに属している場合があるので、この移動物体認識方法によれば、存在ブロックがどの移動物体に属するかを評価関数の値に基づき推定することができる。
【００１２】
本発明による他の移動物体認識装置では、
撮影されたフレーム画像が格納される画像記憶部と、
該フレーム画像を複数ピクセルからなるブロックに分割し、ブロックに移動物体が存在するかどうかを判定し、同一移動物体に属するブロックに同一識別符号を持たせたオブジェクトマップを作成するオブジェクトマップ作成部と、
該画像記憶部に格納された時間的に前後のフレーム画像に基づいて、各移動物体の動きベクトルを求める動きベクトル算出部と、
現フレーム画像について移動物体が存在すると判定されたブロックの各々が、前フレーム画像に存在する移動物体のいずれかの識別符号を持っていると仮定したときの評価関数の値の大小関係に基づいて、該存在ブロックに付与すべき識別符号を決定するＩＤ更新部と、
を有する。
【００１３】
本発明の他の目的、構成及び効果は以下の説明から明らかになる。なお、本願特許請求の範囲に関わる実施例は、主に、実施例３以降である。
【図面の簡単な説明】
【００１４】
【図１】本発明の移動物体間動作分類装置を交差点に配置した場合を示す概略図である。
【図２】図１中の画像認識装置のハードウェア及びソフトウェアの構成を機能ブロックで示す概略図である。
【図３】図２中の処理を説明するためのベクトル図である。
【図４】危険度ベクトルＶ／Ｄの量子化説明図である。
【図５】衝突事故の時系列パターン説明図である。
【図６】他の衝突事故の時系列パターン説明図である。
【図７】さらに他の衝突事故の車両速度ベクトル時系列説明図である。
【図８】（Ａ）は図７の車両速度ベクトルを−θ回転させたものの時系列説明図り、（Ｂ）はこの時系列と相対速度ベクトルの時系列とを示す図である。
【図９】ｌｅｆｔ−ｔｏ−ｒｉｇｈｔ隠れマルコフモデルの状態遷移図である。
【図１０】本発明の実施例２に係る画像認識装置のハードウェア及びソフトウェアの構成を機能ブロックで示す概略図である。
【図１１】図１０中の移動物体認識部での処理説明図である。
【図１２】（Ａ）は衝突事故の車両速度ベクトル時系列の各ベクトル回転説明図、（Ｂ）はこの時系列と相対速度ベクトルの時系列とを示す図である。
【図１３】図１２（Ａ）を時計回りに９０゜回転させた速度ベクトル時系列パターンを示す図である。
【図１４】ＨＭＭモデルにおいて、衝突とこれに類似したタンデムの動作の区別度の状態数依存性を示す線図である。
【図１５】状態数が７のときの衝突動作において、状態ｉから状態ｊ＝ｉ＋１に遷移し又は状態ｊに留まって観測量Ｏを出力する確率の具体例を視覚的に示す３次元棒グラフである。
【図１６】本発明の実施例３に係る画像認識装置のハードウェア及びソフトウェアの構成を機能ブロックで示す図である。
【図１７】交差点への４つの入口及び交差点からの４つの出口に設定されたスリット及びブロックに付された移動物体のＩＤを示す説明図である。
【図１８】図１６の移動物体更新部３８での処理説明図であって、それぞれ時刻（ｔ−１）での画像、時刻ｔでの予測画像及び時刻ｔでの実際の画像を示す図である。
【図１９】（Ａ）及び（Ｂ）は、図１６の移動物体分割部３９での処理説明図であって、それぞれ時刻ｔ及び時刻（ｔ＋１）での画像を示す図である。
【図２０】（Ａ）は４ブロックの各々の動きベクトルに基づいて得られる移動物体動きベクトルを示し、（Ｂ）は、重なって写っている２つの移動物体に属するブロックの各々の動きベクトルに基づいて得られる、２つの移動物体の動きベクトルを示す図である。
【図２１】本発明の実施例４に係る画像認識装置を示すブロック図である。
【図２２】図２１中の一部を示すブロック図である。
【図２３】本発明の実施例５に係る画像認識装置を示すブロック図である。
【図２４】図２３中のシフトレジスタに同時に保持されるデータであって、ある交差点での衝突動作の観測系列Ｏ1に対応した、ｔ＝０〜１９についての部分系列観測確率α（１，ｔ）〜α（Ｎ，ｔ）を示す表である。
【図２５】図２３中のシフトレジスタに同時に保持されるデータパターンであって、他の交差点での衝突動作の観測系列Ｏ1Aに対応した、ｔ＝０〜１９についての部分系列観測確率α（１，ｔ）〜α（Ｎ，ｔ）を示す表である。
【図２６】図２３中のシフトレジスタに同時に保持されるデータパターンであって、タンデム動作の観測系列Ｏ2に対応した、ｔ＝０〜１９についての部分系列観測確率α（１，ｔ）〜α（Ｎ，ｔ）を示す表である。
【図２７】図２３中のシフトレジスタに同時に保持されるデータパターンであって、通過動作の観測系列Ｏ3に対応した、ｔ＝０〜１９についての部分系列観測確率α（１，ｔ）〜α（Ｎ，ｔ）を示す表である。
【図２８】本発明の実施例６に係る画像認識装置のハードウェア及びソフトウェアの構成を機能ブロックで示す図である。
【図２９】図２８中の不明ＩＤ決定部の入出力関係を模式的に示す図である。
【図３０】（Ａ）及び（Ｂ）は該不明ＩＤ決定部の処理説明図である。
【図３１】（Ａ）及び（Ｂ）は該不明ＩＤ決定部の処理説明図である。
【図３２】本発明の実施例７に係る画像認識装置の不明ＩＤ決定部での処理を示すフローチャートである。
【実施例１】
【００１５】
図１は、本発明の移動物体間動作分類装置を交差点に配置した場合の概略を示している。
【００１６】
この装置は、交差点を撮像して画像信号を出力する電子カメラ１０と、その画像を処理して移動物体間衝突事故を認識する画像認識装置２０とを備えている。
【００１７】
図２は、本発明の実施例１に係る画像認識装置２０のハードウェア及びソフトウェアの構成を機能ブロックで示している。
【００１８】
電子カメラ１０からの画像信号は、デジタル化されており、画像メモリ２１に格納される。移動物体認識部２２は、画像メモリ２１内の現画像を過去の画像と比較して、移動物体を認識し、その位置、例えば移動物体の図形の重心を検出する。例えば図１の場合、車Ｍ１〜Ｍ６の位置Ｐ１〜Ｐ６を検出する。これらの位置座標は、位置レジスタアレイ２３の内容が位置レジスタアレイ２４にコピーされた後、位置レジスタアレイ２３に保持される。移動物体認識部２２はまた、移動物体間の距離、例えば図３（Ａ）に示す距離ｄを画素単位で測定し、位置レジスタアレイ内の２位置の組み合わせと対応させて、相対距離レジスタアレイ２５に格納する。
【００１９】
Ｖ／Ｄ計算部２６は、位置レジスタアレイ２３と２４の対応するレジスタの内容の差を移動物体の速度ベクトルとして求め、次に、全ての移動物体間の相対速度ベクトルＶを計算する。例えば、図３（Ａ）に示す車Ｍ１の速度ベクトルＶ１と車Ｍ２の速度ベクトルＶ２の相対速度ベクトルＶは図３（Ｂ）に示す如くなる。Ｖ／Ｄ計算部２６はさらに、各移動物体間について、相対速度ベクトルＶの２物体に対応した相対距離位置レジスタアレイ２４の内容ｄを読み出し、ベクトルＶ／Ｄを計算する。ここに、Ｄ＝ｄ＋εであり、εはＤ＞０を保証するための定数であって、ε≧０である。εの値はｄの定義によって異なり、必ずＤ＞０であればε＝０とすることができる。
【００２０】
相対的なベクトルであるＶ／Ｄの時系列パターンが同一であれば同一パターンであると認識されるので、様々な衝突事故を認識することが可能となる。衝突危険度は、相対速度ベクトルＶが大きいほど、相対距離ｄが小さいほど大きいと考えられるので、Ｖ／Ｄは衝突危険度を示している。図１の場合、移動物体間の組み合わせは１５通りあり、各組み合わせについてＶ／Ｄを計算する。その計算結果は、Ｖ／Ｄ時系列メモリ２７に格納される。
【００２１】
Ｖ／Ｄ時系列メモリ２７は、例えばＦＩＦＯメモリであり、最も古いデータがＶ／Ｄ時系列メモリ２７から排出されるとともに、Ｖ／Ｄ計算部２６からの新たなデータがＶ／Ｄ時系列メモリ２７格納される。次の表１は、Ｖ／Ｄ時系列メモリ２７内のデータ格納状態を示している。
【００２２】
【表１】
【００２３】
表１中、（Ｖ／Ｄ）ｉｊｔは、車ＭｉとＭｊの組の時刻ｔにおける危険度ベクトルＶ／Ｄの値を示している。Ｖ／Ｄは、例えばＸ座標とＹ座標の値で表される。
【００２４】
Ｖ／Ｄが小さければ衝突が生じないので、認識開始判定部２８は、Ｖ／Ｄ計算部２６の出力からその絶対値｜Ｖ／Ｄ｜を計算し、これが設定値Ｃより大きいかどうかを判定し、その結果をＶ／Ｄ時系列切り出し部２９に供給する。
【００２５】
｜Ｖ／Ｄ｜＞Ｃと判定されると、その後所定時間以内に交通事故が生ずるかもしれないので、該所定時間経過後にＶ／Ｄ時系列切り出し部２９はそのＶ／Ｄ時系列をＶ／Ｄ時系列メモリ２７から切り出す。
【００２６】
このようにすれば、｜Ｖ／Ｄ｜≦Ｃのときには衝突事故の認識をしないので、無駄な処理が省かれ、処理速度が低速で安価な装置を用いて衝突事故認識に必要な処理時間を確保することが可能になる。
【００２７】
ここで、様々な衝突事故を容易に認識可能にするためには、類似の衝突事故を同種事故と分類する必要がある。例えば、ある衝突事故の時系列パターンと、静止座標系を回転させれば同一になる時系列パターンとが、同一観測系列になるようにした方が好ましい。すなわち、交差点の形状やカメラ１０の取付位置などに観測系列が依存しないようにすべきである。
【００２８】
そこでベクトル回転部３０は、Ｖ／Ｄ時系列切り出し部２９で切り出されたＶ／Ｄ時系列内の最初の時刻ｔ＝１のベクトル（Ｖ／Ｄ）ｉｊ１のＸ軸に対する角度θを計算する。次に、このＶ／Ｄ時系列の各ベクトルＶ／Ｄを−θ回転させる。例えば図３（Ｃ）に示す如く回転させる。これにより、例えば図５に示す衝突パターンのＶ／Ｄ時系列とこれを１８０度回転させた図６に示すような衝突パターンのそれは同一になる。
【００２９】
簡単化のためにＶ／Ｄの替わりに速度ベクトルのみで説明すると、図７に示す車Ｍ１及びＭ２の時刻ｔ＝１〜４での速度ベクトルＶ１１〜Ｖ１４及びＶ２１〜Ｖ２４は、−θ回転により図８（Ａ）に示す速度ベクトルＶ１１ａ〜Ｖ１４ａ及びＶ２１ａ〜Ｖ２４ａになり、相対速度ベクトルは図８（Ｂ）に示すＶ＝Ｖ１〜Ｖ４となる。
【００３０】
量子化部３１は、このように回転されたＶ／Ｄ時系列の各Ｖ／Ｄについて、図４に示す如く、量子化する。例えばＶ／Ｄ＝ｖの時系列が｛ｖ０,ｖ１,ｖ２｝の場合、時系列｛０,１,２｝と量子化する。量子化された観測量の時系列を観測系列と称す。例えば図５に示す時刻ｔ＝４〜９の観測系列は｛１,２,３,０,８,７｝となる。図６の衝突パターンについても同じである。この量子化により、ある衝突パターンと類似の衝突パターンは同一観測系列となるので、様々な衝突事故を容易に認識可能になる。また、量子化により観測系列が簡単な数値列になるので、その後の認識処理が簡単になる。
【００３１】
類似度計算部３２は、具体的な衝突事故の観測系列を参照系列とし、量子化部３１から供給される観測系列の参照系列に対する類似度を計算する。上記のことから、少ない参照系列で様々な衝突事故を容易に認識可能になる。
【００３２】
公知のパターン類似度計算には、隠れマルコフモデル（ＨＭＭ）法やパターンマッチング法などがあり、これらのいずれかを利用することができる。例えば、具体的な衝突事故の観測系列を学習系列としてパラメータを決定したＨＭＭにより、量子化部３１で得られた観測系列が生ずる確率Ｐ＝ＥＸＰ（μ）を計算する。この計算方法は、後述する。学習系列に対称パターンが含まれていなければ、量子化部３１で得られた観測系列と対称なパターンについても確率Ｐを計算し、確率Ｐの大きい方の値を類似度とする。例えば、観測系列｛０,１,４,５,２｝に対し、図４との関係でこれと対称なパターンは｛０,１,１０,１１,２｝である。
【００３３】
衝突事故判定部３３は、μが設定値μ０より大きければ、この観測系列が衝突事故であると判定し、その結果を出力する。この結果は、警察に自動通報され、これにより救助活動が迅速に行われるとともに、実地検分が迅速に行われて事故渋滞が緩和される。
【００３４】
図２の構成要素２８〜３３の処理は、コンピュータで実行することができる。
【００３５】
次に上記計算方法を説明する。
【００３６】
図９に示すような状態数Ｎのｌｅｆｔ−ｔｏ−ｒｉｊｈｔ ＨＭＭを考える。ＨＭＭにおける状態は観測量ではなく、具体的なイメージと対応していないのが通常である。観測量は図４に示す如く量子化されたものであり、時刻ｔでの観測量をＯtと表記する。１≦ｉ≦Ｎなる任意のｉについて、時刻（ｔ−１）で状態ｉであるとき、時刻ｔで状態ｊになる確率をａijと表記し、このとき観測量Ｏtを出力する確率をｂij（Ｏt）と表記すると、次の関係が成立する。
【００３７】
ｊ≠ｉかつｊ≠ｉ＋１に対し、ａij＝０、ｂij（Ｏt）＝０ １≦ｉ≦Ｎ−１なる任意のｉに対し、ａii＋ａi(i+1)＝１
状態Ｎは最終状態であり、次の状態には遷移できず、ａNN＝１
ｊ＝ｉ又はｊ＝ｉ＋１に対し、
ｂij（０）＋ｂij（１）＋・・・＋ｂij（１２）＝１
例えば初期ｔ＝０に状態１である確率が１であり、時刻ｔ＝１、２の観測系列｛２,５｝が生ずる確率Ｐは、時刻ｔ＝１、２の状態系列｛１,１｝、｛１,２｝、｛２,２｝、｛２,３｝の各々について観測系列｛２,５｝を出力する確率の総和であり、次式で表される。
【００３８】
Ｐ＝ａ11・ｂ11（２）・ａ11・ｂ11（５）
＋ａ11・ｂ11（２）・ａ12・ｂ12（５）
＋ａ12・ｂ12（２）・ａ22・ｂ22（５）
＋ａ12・ｂ12（２）・ａ23・ｂ23（５）
初期ｔ＝０に状態ｉにいる確率をπiと表記する。ＨＭＭモデルは、初期状態の確率分布π＝｛π1,π2,π3,,,,,πN｝と、上記確率ａij及びｂij（ｋ）の集合とにより定まる。これらのパラメータをλと表記する。
【００３９】
以下、観測系列の長さをＴ、観測量の数をＬ（図４ではＬ＝１３）と表記する。また、時刻ｔまでに観測系列｛Ｏ1Ｏ2...Ｏt｝を出力し、状態ｉになる部分系列観測確率をα（ｉ，ｔ）と表記する。
【００４０】
モデルパラメータλの下で観測系列｛Ｏ1Ｏ2...ＯT｝が生ずる確率Ｐ（Ｏ1Ｏ2...ＯT｜λ）は一般に、以下の３ステップからなる前向きアルコリズムで計算されることが知られている。
【００４１】
ステップ１：ｔ＝１
α（１，１）＝π1・ｂ11
２≦ｊ≦Ｎの各ｊに対し、
α（ｊ，１）＝π(j-1)・ｂ(j-1)j＋πj・ｂjj
ステップ２：ｔ＝１，２，・・・，Ｔ−１の各々について順次
１≦ｊ≦Ｎの各ｊに対し、
【００４２】
【数１】
【００４３】
ステップ３：
【００４４】
【数２】
【００４５】
確率Ｐは、公知の後ろ向きアルコリズムでも、さらにＶｉｔｅｒｂｉアルゴリズムでも計算することができる（電子・情報工学講座１９「情報処理概論」、榑松明著、培風館）。
【００４６】
ここで、時刻ｔで状態ｉにいるとき、時刻（ｔ＋１）からの観測系列が｛Ｏt+1Ｏt+2・・・ＯT｝となる確率をβ（ｉ，ｔ）と表記すると、次の関係式が成立する。
【００４７】
【数３】
【００４８】
また、学習系列｛Ｏ1Ｏ2・・・ＯT｝に関し、時刻（ｔ−１）に状態ｉにいて時刻ｔで状態ｊに遷移する確率をγ（ｉ，ｊ，ｔ）と表記する。
【００４９】
モデルパラメータは、衝突事故の観測系列を学習系列として、Ｂａｕｍ−Ｗｅｌｃｈアルゴリズムにより求めることができる。すなわち、モデルパラメータに初期値を与え、１≦ｉ≦Ｎ、１≦ｊ≦Ｎの各ｉ及びｊに対し、以下のステップ１でγ（ｉ，ｊ，ｔ）を計算し、得られたγ（ｉ，ｊ，ｔ）を用いてステップ２でモデルパラメータを更新し、同様にステップ１と２の計算をモデルパラメータが収束するまで繰り返すことにより、モデルパラメータが決定される。
【００５０】
ステップ１：γ（ｉ，ｊ，ｔ）の計算
【００５１】
【数４】
【００５２】
ここに、Ｆは状態の全集合｛１，２，・・・，Ｎ｝であり、総和のｉはｉ∈Ｆと同じ意味である。
【００５３】
ステップ２：モデルパラメータ更新
【００５４】
【数５】
【００５５】
ここに、総和のｉ及びｊはいずれもｉ∈Ｆ及びｊ∈Ｆを意味している。また、ｔ：ｙt＝ｋは、時刻ｔにおいて観測量ｋであるもののみの総和をとることを意味している。
【００５６】
学習系列が複数ある場合には、例えば、１つの学習系列につき上記方法でモデルパラメータを決定し、このモデルパラメータを初期値として次の学習系列につき上記方法でモデルパラメータを決定し、以降同様の処理を繰り返す。
【実施例２】
【００５７】
図１０は、本発明の実施例２に係る画像認識装置２０Ａのハードウェア及びソフトウェアの構成を機能ブロックで示している。
【００５８】
移動物体認識部２２Ａは、メモリを有し、画像メモリ２１内の画像の解像度を低減し、移動物体のみの図１０に示すようなパターン情報を該メモリに書き込む。例えば、画像メモリ２１の１フレームが４８０×６４０ピクセルの場合、８×８ピクセルを１ブロックの情報に低減して、６０×８０ブロックのパターン情報に変換する。ブロック情報は、移動物体毎に異なる識別符号であり、図１０では図１中の車Ｍ１〜Ｍ６に対応してそれぞれ識別符号１〜６の情報が書き込まれている。
【００５９】
移動物体認識部２２Ａは、上記実施例１と同様に移動物体の位置を検出し、また、異なる識別符号の画素間距離の最小値を移動物体間距離ｄと決定する。
【００６０】
次に、本実施例２で用いる観測量について説明する。
【００６１】
図１２（Ａ）において、車Ｍ１及びＭ２の時刻ｔ＝１〜４での速度ベクトルＶ１１〜Ｖ１４がＸ方向になるようにそれぞれθ１〜θ４回転させたものを速度ベクトルＶ１１ｂ〜Ｖ１４ｂとする。速度ベクトルが０である場合にはその方向を、０になる直前の速度ベクトルの方向であるとみなす。θ１〜θ４回転に対応して、車Ｍ２の時刻ｔ＝１〜４での速度ベクトルＶ２１〜Ｖ２４をそれぞれθ１〜θ４回転させたものを速度ベクトルＶ２１ｂ〜Ｖ２４ｂとする。ｉ＝１〜４について、図１２（Ｂ）に示す相対速度ベクトルＶｉ＝Ｖ２ｉｂ−Ｖ１ｉｂを求める。換言すれば、車Ｍ１の速度ベクトルＶ１ｉのＸ軸に対する角度がθｉのとき、車Ｍ１とＭ２の相対速度ベクトル（Ｖ２ｉ−Ｖ１ｉ）を−θ回転させたベクトルＶｉを求める。次に、ベクトルｖ＝Ｖｉ／Ｄｉを図４に示すように量子化したものを、時刻ｔ＝ｉでの観測量として求める。ここにＤｉは、時刻ｔ＝ｉでの上述のＤ＝ｄ＋εである。
【００６２】
図１３は、図１２（Ａ）を時計回りに９０゜回転させた速度ベクトル時系列パターンを示している。この場合、上記同様に回転して得られる速度ベクトルＶ１１ｂ〜Ｖ１４ｂ及びＶ２１ｂ〜Ｖ２４ｂは、図１２（Ａ）のそれと同一になり、観測系列も図１２（Ａ）の場合と同一になる。
【００６３】
すなわち、この観測系列は、図１３において、車Ｍ１に固定された座標系から見た車Ｍ２の相対的な観測量Ｖ／Ｄの時系列であり、地上静止座標系を回転させても同一になる。
【００６４】
このような観測系列を用いれば、図１０に示す如く、Ｖ／Ｄ計算部２６で求められたＶ／Ｄをベクトル回転部３０Ａに供給してベクトルＶ／Ｄをリアルタイムで上記−θ回転させ、次にこれを量子化部３１で図４に示す如く量子化し、観測系列メモリ２７Ａに格納することができる。
【００６５】
したがって、図２の場合のようにθ決定時点を選ぶ必要がない。また、量子化後の観測量がメモリ２７Ａに格納されるので、その必要な容量は、量子化前のベクトル量が格納される図２のメモリ２７のそれより少なくなる。
【００６６】
他の点は、上記実施例１と同一である。
【００６７】
次に、上記実施例２の効果を示す実験結果について説明する。
【００６８】
（１）衝突動作パターンに対するモデルパラメータλ１の決定 状態数Ｎ＝７とした。ａijの初期値を、
ｉ＝１〜６の各々についてａii＝０．５
ａ77＝１．０とし、ｂijの初期値を、
ｉ＝１〜６、ｊ＝ｉ＋１、ｋ＝０〜２の各々について、
ｂii（ｋ）＝０．１０、ｂij（ｋ）＝０．１０
ｉ＝７、ｋ＝０〜２の各々について、
ｂii（ｋ）＝０．１０
ｉ＝１〜６、ｊ＝ｉ＋１、ｋ＝３〜１２の各々について、
ｂii（ｋ）＝０．０７、ｂij（ｋ）＝０．０７
ｉ＝７、ｋ＝０〜２の各々について、
ｂii（ｋ）＝０．０７とした。また、初期ｔ＝０での状態確率分布を、
π1＝１、ｉ＝２〜７に対しπi＝ ０
とした、さらに、以下の表２のＮｏ１〜１０の衝突事故観測系列を学習系列とした。この学習系列はいずれも、図５又は図６に示すような同一車線上の同一方向の車間の衝突に関するものである。
【００６９】
【表２】
【００７０】
このような条件の下で、上記Ｂａｕｍ−Ｗｅｌｃｈアルゴリズムによりパラメータａijを次の表３のように決定し、パラメータｂij（０）〜ｂij（６）及びｂij（７）〜ｂij（１２）をそれぞれ以下の表４及び表５のように決定した。
【００７１】
【表３】
【００７２】
【表４】
【００７３】
【表５】
【００７４】
このモデルパラメータをλ１と表記する。
【００７５】
（２）他の動作パターンに対するモデルパラメータの決定
上記同様にして、次の２つの動作パターンに対するモデルパラメータλ２及びλ３を決定した。
【００７６】
（１）交差点で同一方向に直列に隣合った車どうしが衝突を起こさずにストップ／スタート動作（タンデム動作）するパターン 次の表６のＮｏ１〜１０の観測系列をこの動作の学習系列とした。タンデム動作は、後ろの車が前の車に接近した後、前の車が後ろの車から離れるので、衝突動作に類似している。
【００７７】
【表６】
【００７８】
上記同様にして得られたモデルパラメータをλ２と表記する。
【００７９】
（２）異なる車線で少なくとも一方が移動して他方を通過する動作（通過動作）パターン
次の表７のＮｏ１〜１０の観測系列をこの動作の学習系列とした。
【００８０】
【表７】
【００８１】
上記同様にして得られたモデルパラメータをλ３と表記する。
【００８２】
同一車線上の同一方向の車間のある衝突事故の観測系列Ｏ1、タンデムスタート／ストップ動作の観測系列Ｏ2及び通過動作の観測系列Ｏ3の各々について、モデルパラメータλ１、λ２及びλ３の下で該観測系列が生ずる確率Ｐ（Ｏi｜λｊ）＝ＥＸＰ（μij）、ｉ＝１〜３、ｊ＝１〜３の指数部μijを計算したところ、次の表８に示す結果が得られた。
【００８３】
【表８】
【００８４】
この表から、例えば、
Ｐ（Ｏ1｜λ１）／Ｐ（Ｏ2｜λ１）＝ＥＸＰ（１１．２）
Ｐ（Ｏ1｜λ１）／Ｐ（Ｏ3｜λ１）＝ＥＸＰ（２９．７）
と確率比が大きく、動作分離性能が高いことがわかる。
【００８５】
次に、衝突事故のＨＭＭモデルにおける状態の理解を深めるための解析結果を説明する。
【００８６】
図１４は、ＨＭＭモデルにおいて、衝突動作(Accident)とこれに類似したタンデム動作(Tandem)との区別の程度が状態数Ｎによりどのように変化するかの解析結果を示す。モデルパラメータは、４０の衝突事故の観測系列を学習系列として決定した。横軸は状態数Ｎであり、縦軸はこのモデルで計算された観測系列の確率Ｐ＝ＥＸＰ（μ）の指数部を、複数の観測系列について合計し、さらに−１を乗じた値である。図１４中のAccidentは、前記４０の観測系列に関するものであり、Tandemは他の４０のタンデム動作の観測系列に関するものである。
【００８７】
この図から、Ｎが６又は７以上でTandemとAccidentの区別がよくできることが分かる。
【００８８】
図１５は、Ｎ＝７のときの上記モデルパラメータの下で、状態ｉから状態ｊ＝ｉ＋１に遷移し又は状態ｊに留まって観測量Ｏを出力する確率（ｂij（Ｏ）＋ｂjj（Ｏ））の具体例を視覚的に示す３次元棒グラフである。
【００８９】
ＨＭＭの状態には明示的な意味はないが、このグラフから、状態を次のように解釈することができる。
【００９０】
無干渉（状態１及び２）：観測量０
接近（状態３）：観測量１又は２
急接近（状態４）：観測量３
衝突の瞬間（状態５）：観測量０
反動（状態６）：観測量７又は８
停止（状態７）：観測量０
【実施例３】
【００９１】
図１６は、本発明の実施例３に係る画像認識装置２０Ｂのハードウェア及びソフトウェアの構成を機能ブロックで示している。
【００９２】
図１０とは、構成要素３４〜４０のみ異なる。まず、構成要素３５〜３９での処理を概説する。
【００９３】
画像メモリ２１の１フレームが４８０×６４０ピクセルの場合、８×８ピクセルを１ブロックとし、１フレームを６０×８０ブロックに分割する。ブロック単位で移動物体が存在するかどうかを判断し、存在すれば、移動物体毎に異なる識別符号を付す。図１１では、升目がブロックを示しており、図１中の車Ｍ１〜Ｍ６に対応してそれぞれ識別符号１〜６の情報がブロック単位で書き込まれている。典型的には、一つの移動物体に５〜３０程度のブロックが属する。移動物体としては、車、バイク、自転車、人などがある。
【００９４】
移動物体識別番号（ＩＤ）の生成及び消滅処理を行うために、図１７に示す如く、フレーム上（画像メモリ２１内）において、交差点への４つの入口及び交差点からの４つの出口にそれぞれスリットＥＮ１〜ＥＮ４及びＥＸ１〜ＥＸ４を初期設定しておく。
【００９５】
次に、構成要素３４〜４０での処理の詳細を説明する。
【００９６】
背景画像は、移動物体が存在しない画像である。背景画像生成部３４は、画像メモリ２１をアクセスし、例えば過去１０分間の全画像について、対応するピクセルの画素値のヒストグラムを作成し、その最頻値（モード）をそのピクセルの画素値とする画像を背景画像として生成し、画像メモリ２１内の所定領域に格納する。背景画像は、背景画像生成部３４により定期的に更新される。
【００９７】
ブロック情報メモリ３５は、６０×８０ブロック及び移動物体の情報を記憶するためのものであり、構成要素３５〜３９及びＶ／Ｄ計算部２６によりアクセスされる。画像メモリ２１内のブロックは、アドレスにより識別される。なお、画像メモリ２１とブロック情報メモリ３５とは同一メモリ内の異なる記憶領域であってもよい。
【００９８】
ＩＤ生成／消滅部３６は、画像メモリ２１から入口スリットＥＮ１〜ＥＮ４内の画像データを読み込み、これらスリット内に移動物体が存在するかどうかをブロック単位で判定する。あるブロックに移動物体が存在するかどうかは、このブロックの各ピクセルと背景画像の対応するピクセルとの差の絶対値の総和が所定値以上であるかどうかにより判定する。
【００９９】
入口スリット内の移動物体存在ブロックが、識別符号を持ったブロックと隣接していない場合には、該移動物体存在ブロックに新たなＩＤを付す。
【０１００】
移動物体が存在すると判定された隣接ブロックに同一ＩＤを付すことにより、該移動物体に対応したクラスタができる。例えば図１７中の入口スリットＥＮ１内にはＩＤ＝１が生成されている。新たな移動物体のブロックが、すでに存在する移動物体のブロックと隣接しているときには、すでに存在する移動物体のＩＤと同じにする。例えば図１７中の入口スリットＥＮ４内の移動物体存在ブロックには、すでに存在する移動物体のＩＤと同じＩＤ＝５が付加される。
【０１０１】
ＩＤ生成／消滅部３６はさらに、画像メモリ２１から出口スリットＥＸ１〜ＥＸ４内の画像データを読み込み、これらスリット内に移動物体が存在するかどうかをブロック単位で判定し、出口スリットを移動物体が通過したときにそのＩＤを消滅させる。例えば図１７中の出口スリットＥＸ１内のブロックにＩＤが付されている状態から、ＩＤが付されない状態に変化したときに、ＩＤ＝３を消滅させる。消滅ＩＤは、次の生成ＩＤとして用いることができる。
【０１０２】
動きベクトル算出部３７は、画像メモリ２１から画像データを読み込み、時刻（ｔ−１）での前フレーム中の移動物体に属するブロック毎に独立に、これと時刻ｔでの現フレーム内の位置可変ブロックとの間で、MPEGの符号化で用いられているブロックマッチングを適用して、該ブロックの動きベクトルを求める。動きベクトル算出部３７はさらに、移動物体毎に、求めた複数の動きベクトルの代表値、例えばモード、メジアン又は平均値を、その移動物体の動きベクトルと推定し、これを、該移動物体の情報としてブロック情報メモリ３５に書き込む。代表値がメジアン又は平均値である場合には、中心分布から著しく離れる動きベクトルを除外した後に代表値を求めることにより、より正確な値を得るようにしてもよい。
【０１０３】
例えば４ブロックの移動物体の動きベクトルが図２０（Ａ）に示す細線ベクトルである場合、平均値である太線ベクトルをこの移動物体の動きベクトルと推定する。
【０１０４】
これにより、右折や左折する移動物体の速度を高精度で測定して、衝突事故の認識率を高めることが可能となる。
【０１０５】
動きベクトル算出部３７は、図１７に示すＩＤ＝２のような欠落のない移動物体のみならず、ＩＤ＝１、３及び５のような移動物体一部についても、その動きベクトルを推定する。
【０１０６】
なお、MPEGでの動きベクトルは、データ圧縮のためのものであって、クラスタ単位の動きベクトルという概念はない。また、動きベクトルが小さい場合には、ブロックマッチングの他にオプティカルフローの推定も有用な手法として用いることができる。
【０１０７】
ある移動物体に属するブロック内の各ピクセルの色がほぼ同一である場合、すなわちテクスチャの少ないブロックがクラスタに存在する場合、ブロックマッチングやオプティカルフローなどの手法により正確な動きベクトルを得ることができない。
【０１０８】
そこで動きベクトル算出部３７は、このようなブロック、例えばそのブロック内の全画素値の散布度、例えば分散σ2、標準偏差σ、平均偏差ＭＤ、四分偏差ＱＤ、範囲Ｒ又はエントロピーなどが所定値以下であるブロックについては、動きベクトルを求めず、移動物体の動きベクトル推定に使用しない。この場合であっても、タイヤの部分のように色が一様でないブロック群が存在するので、動きベクトル算出部３７は移動物体の動きベクトルを推定することができる。
【０１０９】
動きベクトルを求めるべきブロックであるかどうかを判断するのに、エッジ画像を利用することができる。すなわち、原画像に対しエッジ強調処理を行い、次いで２値画像に変換し、ブロック内に‘１’のエッジ画素の数が所定値以下であれば、動きベクトルを求めるのに適しないブロックと判定してもよい。エッジ強調画像は、原画像に１次微分オペレータ又はラプラシアンオペレータなどの２次微分オペレータをかけて簡単なフィルタ処理を行うことにより得られる。エッジ画像取得には、Sobel、Roberts又はPrewittなどの公知手法を用いてもよい。
【０１１０】
次に、移動物体更新部３８での処理の具体例を説明する。
【０１１１】
図１８は、車がカメラ側へ向かった後、車から見て右折する場合の、移動物体更新部の処理説明図である。
【０１１２】
画像Ｐ１中の車のクラスタ（ドット領域）を、上記のようにして求めた動きベクトルだけ平行移動させると、次フレームの予測画像Ｐ２が得られる。この予測画像のクラスタ周囲を、１ブロック外側まで拡大させて、太線で境界を示す領域を考える。次フレームの実際の画像は、Ｐ３であるとする。この場合、移動物体更新部３８は、予測画像Ｐ２の拡大領域（太線枠内）に対応する画像メモリ２１内の領域について、ブロック毎に、上記のように移動物体が存在するかどうかを判定し、存在すると判定されたブロックに対しては、画像Ｐ１中のクラスタに付されたＩＤと同じＩＤを付す。このようにして更新されたクラスタを予測画像Ｐ２中のクラスタと比較すると、結果として、予測クラスタから削除されたブロック（斜線部）と、予測クラスタに追加されたブロック（縦線部）とがある。
【０１１３】
すなわち、移動物体更新部３８は、ブロック情報メモリ３５から移動物体のオブジェクトマップ及び動きベクトルを読み込み、この動きベクトルだけ、該移動物体を該オブジェクトマップ内で平行移動させ、さらにその周囲を拡大した範囲について、画像メモリ２１内の現フレームに移動物体が存在するかどうかをブロック毎に判定することにより、該移動物体のクラスタを更新する。この動きベクトルは、時刻（ｔ−１）でのフレームと時刻ｔでのフレームとの間で動きベクトル算出部３７により求められたものであり、画像メモリ２１内の現フレームは時刻（ｔ＋１）でのものである。
【０１１４】
このようにすることにより、カメラに分離して写っていた車同士がその後、隣接し、その際にカメラと移動物体との間の距離及びアングルに依存してクラスタのブロック数や形が変化しても、両者を異なる車として認識することが可能になる。例えば図１９（Ａ）に示す１つのクラスタを２台の車として認識することができる。
【０１１５】
移動物体更新部３８は、前記拡大範囲が移動物体間で重なった場合、重なったブロックがどの移動物体に属するかどうかが不明であるので、重なったブロックはいずれの移動物体にも属さないとみなし、移動物体が存在するかどうかを判定しない、すなわち重なったブロックにはＩＤを付加しない。
【０１１６】
これにより、カメラに分離して写っていた車同士がその後、重なり、その際にカメラと移動物体との間の距離及びアングルに依存してクラスタのブロック数や形が変化しても、両者の動きベクトルが不正確になるのを防止することができる。
【０１１７】
したがって、このような重なりや変化により衝突事故の判定ができなくなるのを防止することができる。
【０１１８】
入口スリットなどで複数の移動物体が重なって写り、単一クラスタと認識されても、動きベクトル算出部３７でブロック毎に動きベクトルを求めたとき、図２０（Ｂ）に示すように動きベクトルが複数のグループに分かれる場合には、移動物体分割部３９はグループ毎に異なる移動物体と認識する。そして、これにともなって新たなＩＤを生成し、各移動物体の動きベクトルを上記のように推定し、各移動物体のこれらＩＤ及び動きベクトルをブロック情報メモリ３５に書き込む。
【０１１９】
移動物体分割部３９はまた、動きベクトルが複数のグループに分かれなくても、ブロック情報メモリ３５内のオブジェクトマップについて、例えば時刻ｔで図１９（Ａ）に示す単一クラスタが、次の時刻（ｔ＋１）で図１９（Ｂ）に示すように２つのクラスタに分かれたとき、互いに異なる移動物体と認識し、これにともなって新たなＩＤを生成しこれをブロック情報メモリ３５に書き込む。
【０１２０】
移動物体間距離算出部４０は、ブロック情報メモリ３５内のオブジェクトマップから、移動物体間の最短距離ｄを求め、これをその２つのＩＤと共にＶ／Ｄ計算部２６に供給する。Ｖ／Ｄ計算部２６は、この２つのＩＤの動きベクトルをブロック情報メモリ３５から読み出し、上述の衝突危険度Ｖ／（ｄ＋ε）を算出する。
【０１２１】
他の点は、上記実施例２と同一である。
【０１２２】
以下の表９は、本実施例３の装置による認識実験の結果を示す。衝突、タンデム及び通過の動作を認識するためのモデルパラメータの決定には、衝突、タンデム及び通過の動作の各々について４０個の学習系列を用いた。上記モデルパラメータλ１、λ２及びλ３に対応したこの場合のモデルパラメータをそれぞれλ１ａ、λ２ａ及びλ３ａと表記する。
【０１２３】
【表９】
【０１２４】
認識される観測系列のうち、Ｏ1、Ｏ2及びＯ3は上記実施例２で述べたものと同一であって、それぞれ衝突、タンデム及び通過の動作を示している。Ｏ1Aは、Ｏ1と異なる交差点での衝突の観測系列である。
【実施例４】
【０１２５】
図２１は、本発明の実施例４に係る画像認識装置を示している。
【０１２６】
画像処理装置４１は、図１６の装置２０Ｂから類似度計算部３２及び衝突事故判定部３３を除いた部分と同一である。画像認識装置は、画像処理装置４１と、これら要素３２及び３３の替わりに用いられるデコーダ４２、シフトレジスタ４３、ニューラルネットワーク４４及びコンパレータ４５とを備えている。
【０１２７】
デコーダ４２は、観測系列切り出し部２９Ａからの４ビット観測量をデコードして、１ビットのみ‘１’である１３ビットにし、シフトレジスタ４３の初段に供給する。シフトレジスタ４３は、１３×２０＝２６０個のフリップフロップを備え、すなわち２０ビットのシフトレジスタを１３個備え、図２２に示す如く、１ワード＝１３ビットの観測量を時刻ｔ＝０〜１９について保持している。ｔ＝１９がシフトレジスタ４３の初段に相当している。
【０１２８】
すなわち、シフトレジスタ４３には、事故を判定可能な数の観測量からなる観測系列の２値パターンが一時記憶されている。
【０１２９】
図２２に示す、シフトレジスタ４３に同時に保持されている観測系列は、衝突事故を示しており、その観測量は、ｔ＝０〜３で０（無干渉）、ｔ＝３及び４で１（接近）、ｔ＝５〜７で３（急接近）、ｔ＝８〜１０で０（衝突）、ｔ＝１１で８（反動）、ｔ＝１２〜１４で７（反動）、ｔ＝１５〜１９で０（停止）である。
【０１３０】
ニューラルネットワーク４４は一般的な構成であり、入力層、中間層及び出力層を備えている。入力層のノード数は、シフトレジスタ４３のビット数２６０に等しく、各ノードの入力値は‘０’または‘１’である。入力層のノードにはそれぞれシフトレジスタ４３のビットが供給される。すなわち、シフトレジスタ４３の全ビットが入力パターンとして、ニューラルネットワーク４４の入力層に供給される。ニューラルネットワーク４４の中間層のノード数は思考錯誤で定められ、例えば５０である。本実施例４では、衝突事故のみを判定するので、出力層のノード数は１であり、そのノードの出力値の範囲は０〜１である。
【０１３１】
ニューラルネットワーク４４の出力は、参照系列に対する類似度を示しており、コンパレータ４５の一方の入力端に供給され、コンパレータ４５の他方の入力端には参照値として０．５が供給される。ニューラルネットワーク４４の出力が０．５より大きいとき、コンパレータ４５の出力が‘１’となって、衝突事故と認識される。
【０１３２】
ニューラルネットワーク４４のパラメータは、例えば通常のバックプロパゲーションアリゴリズムでトレーニングされて定められる。前記参照系列は、このパラメータを定めるための学習系列と考えることができる。
【０１３３】
以下の表１０は、図２３の装置による認識実験の結果を示す。但し、ニューラルネットワーク４４の中間層及び出力層のノード数をそれぞれ５０及び３として、衝突のみならず上述のタンデム及び通過の動作も認識できるようにした。
【０１３４】
【表１０】
【０１３５】
この実験に使用した学習系列は、上記実施例３で述べたものと同一である。また、認識される観測系列も上記実施例３で述べたものと同一である。
【０１３６】
Ｏ1Aに対する上記実施例３での識結果は正しかったが、表１０はこれに対する認識結果が間違っていることを示している。
【０１３７】
これは、ＨＭＭとニューラルネットワーク４４との本質的な相違に基ずくものと考えられる。すなわち、ＨＭＭでは状態遷移において同じ状態に留まる場合を考慮するので、少ない学習データで時間軸方向に関し伸縮した様々な類似パターンを吸収することができ、これにより高い認識率が得られると考えられる。ニューラルネットワーク４４の欠点を解消するためには、学習データ数を増やせばよい。
【０１３８】
ニューラルネットワーク４４を用いたことの利点は、リアルタイムで観測系列全体を同時入力することができるので、高速処理が可能になるということである。
【実施例５】
【０１３９】
図２３は、本発明の実施例５に係る画像認識装置を示している。
【０１４０】
画像処理装置４１Ａは、図２１の画像処理装置４１に部分系列観測確率算出部４６を付加したものである。部分系列観測確率算出部４６は、観測系列切り出し部２９Ａから観測量が供給される毎に、上述の、ＨＭＭにおける部分系列観測確率α（ｉ，ｔ）、すなわち時刻ｔまでに観測系列｛Ｏ1Ｏ2...Ｏt｝を出力し、状態ｉになる確率を、全ての状態ｉ＝１〜Ｎについて算出して出力する。α（１，ｔ）〜α（Ｎ，ｔ）は同時に、シフトレジスタ４３Ａの入力段に供給される。α（ｉ，ｔ）が小数であるので、シフトレジスタ４３Ａのビット数は図２１のそれよりも多い。
【０１４１】
図２４は、上述の観測系列Ｏ1に対応しており、部分系列観測確率α（１，ｔ）〜α（７，ｔ）がｔ＝０〜１９についてシフトレジスタ４３Ａに保持された場合のデータパターンを示している。
【０１４２】
任意の時点におけるシフトレジスタ４３Ａ内のデータ数は７×２０＝１４０であり、それぞれニューラルネットワーク４４Ａの入力層のノードに供給される。ニューラルネットワーク４４Ａの入力層の各ノードの入力値は、０〜１の範囲の小数である。ニューラルネットワーク４４Ａの出力は、コンパレータ４５の一方の入力端に供給され、図２１と同様にして衝突事故が認識される。
【０１４３】
図２５〜２７はそれぞれ、上述の観測系列Ｏ1A、Ｏ2及びＯ3に対応した、ｔ＝０〜１９についての部分系列観測確率α（１，ｔ）〜α（７，ｔ）のデータパターンを示している。
【０１４４】
以下の表１１は、ニューラルネットワーク４４Ａの出力層のノード数を３にして衝突、タンデム及び通過を認識可能にした場合の、表１０に対応した認識実験結果を示す。部分系列観測確率α（１，ｔ）〜α（Ｎ，ｔ）はＨＭＭモデルパラメータに依存するが、衝突のそれを用いた。タンデム及び通過のそれを用いても、学習系列が互いに類似しているので、同様の結果が得られると考えられる。
【０１４５】
【表１１】
【０１４６】
この表から、実施例５のほうが実施例４よりも認識率が高いことが分かる。
【実施例６】
【０１４７】
上記実施例３では、移動物体更新部３８において、時点（ｔ−１）で予測した時点ｔでの移動物体の拡大範囲が他の移動物体のそれと重なった場合、重なったブロックがいずれの移動物体にも属さないとみなし、移動物体ＩＤを付加しなかった。
【０１４８】
しかし、移動物体の重なり部分の割合が大きくなると、重なり部分について料移動物体の情報がなくなるので、両移動物体を正確にトレースすることができなくなる。
【０１４９】
画像上でこのような移動物体間の重なりが生じて、カメラから見て背面側の移動物体の一部が見えなくなっても、カメラから見て前面側の移動物体は見えるので、そのブロックがどの移動物体に属するかを、簡単な画像処理により推定することを考える。また、時刻ｔにおいて、移動物体間が重なっていないが接近しているため同一ブロック（混合ブロック）に２つの移動物体の一部が属する場合であっても、時刻（ｔ−１）では該一部がそれぞれ異なるブロックに属している場合がある。この場合、時刻（ｔ−１）での画像を参照することにより、混合ブロックにどちらの移動物体がより多く属しているかを容易に推定することを考える。
【０１５０】
図２８は、このような推定を用いて移動物体をより正確にトレースすることを可能にする本発明の実施例６に係る画像認識装置２０Ｃを示す。
【０１５１】
この装置は、画像メモリ２１、ブロック情報メモリ３５及び移動物体更新部３８に接続された不明ＩＤ決定部４７を備えている点で、図１６の画像認識装置２０Ｂと異なる。
【０１５２】
上述のように、移動物体更新部３８は、ブロック情報メモリ３５に格納されている時点（ｔ−１）でのオブジェクトマップ及び各クラスタの動きベクトルと、画像メモリ２１に格納されている時点ｔでのフレーム画像とに基づいて、時点ｔでのオブジェクトマップを作成する。作成中において、移動物体が存在すると判定されたが上記のように移動物体ＩＤが付されなかったブロック（ＩＤ不明ブロック）が存在した場合には、作成後に、これを不明ＩＤ決定部４７に通知する。
【０１５３】
不明ＩＤ決定部４７は、これに応答して、以下のようにしてＩＤ不明ブロックの移動物体ＩＤを決定する。
【０１５４】
図２９は、不明ＩＤ決定部４７の入出力関係を模式的に示す。
【０１５５】
図２９中、Ｆ１及びＦ２はそれぞれ時点（ｔ−１）及びｔでの、図２８の画像メモリ２１に格納されているフレーム画像の一部を概略的に示す。１つの枡目は１画素を表している。ＢＬ１（ｔ−１）及びＢＬ１（ｔ）はそれぞれ、時点（ｔ−１）及びｔでの移動物体Ｍ１の境界線であり。ＢＬ２（ｔ）は時点ｔでの移動物体Ｍ２の境界線である。
【０１５６】
Ｑ１及びＱ２はそれぞれフレーム画像Ｆ１及びＦ２に対応した、図２８のブロック情報メモリ３５に格納されているオブジェクトマップの概略を示す図である。１つの枡目は１つのブロックを表している。オブジェクトマップは、移動体ＩＤを持っているブロックと持っていないブロックとからなる。図２９では理解を容易にするために、オブジェクトマップ中にも移動物体の境界線を太線で表している。オブジェクトマップＱ１及びＱ２中のハッチングは、ＩＤが付されたブロックであることを示している。右上がり斜線が付されたブロックはＩＤ＝１を持ち、右下がり斜線が付されたブロックはＩＤ＝２を持っている。
【０１５７】
オブジェクトマップＱ２中のブロックＢ１、Ｂ２及びＢ３のいずれにも移動物体Ｍ１とＭ２の一部が含まれているので、移動物体更新部３８は、これらのブロックがいずれの移動物体に属するかを判定することができない。
【０１５８】
不明ＩＤ決定部４７は、これらフレーム画像Ｆ１、Ｆ２、オブジェクトマップＱ１及びＱ２並びに移動物体Ｍ１及びＭ２の動きベクトルに基づき、ブロックＢ１、Ｂ２及びＢ３のＩＤを決定して、オブジェクトマップＱ３を得る。
【０１５９】
以下、オブジェクトマップＱ２中のブロックＢ２が移動物体Ｍ１とＭ２のいずれに属するかを決定する方法を、具体的に説明する。この決定は、ブロックＢ２が移動物体Ｍ１であると仮定したときの評価値と、ブロックＢ２が移動物体Ｍ２であると仮定したときの評価値との大小関係に基づいて行なわれる。評価値は、以下の要素（１）〜（３）を含んである。
【０１６０】
（１）時点ｔでのオブジェクトマップのみに関係した評価要素ＵＮ
ブロックＢ２と隣接する９ブロックについて、ＩＤ＝１を持ったブロックの数Ｎ１が多いほどブロックＢ２が移動物体Ｍ１のブロックである確度が高いと考えられる。そこで、ブロックＢ２のＩＤが１であることを評価する要素ＵＮ（１）を例えば次式で表す。
【０１６１】
ＵＮ（１）＝α（Ｎ１−９）2
ここに、αは正の定数である。ＵＮ（１）の値が小さいほどブロックＢ２が移動物体Ｍ１に属する確度が高いと言える。
【０１６２】
同様に、ブロックＢ２のＩＤが２であることを評価する要素ＵＮ（２）を次式で表す。
【０１６３】
ＵＮ（２）＝α（Ｎ２−９）2
ここにＮ２は、ブロックＢ２と隣接する９ブロックのうち、ＩＤ＝２を持ったブロックの数である。
【０１６４】
図２９の場合、ＵＮ（１）＝１６α、ＵＮ（２）＝６４αである。したがって、オブジェクトマップＱ２のみから判断すると、ブロックＢ２は、ＩＤ＝１である確度が、ＩＤ＝２である確度よりも高いと言える。
【０１６５】
（２）時点（ｔ−１）でのオブジェクトマップと移動物体の動きベクトルとに関係した評価要素ＵＳ
図３０（Ａ）は大略、図２９中のオブジェクトマップＱ１とＱ２とを重ね合わせ、かつ、ハッチングを削除したものである。図中、ＭＶ１は移動物体Ｍ１の動きベクトルであり、点線はＢＬ１（ｔ−１）をＭＶだけ平行移動させたものである。
【０１６６】
図３０（Ｂ）に示す如く、ブロックＢ２を−ＭＶ１だけ平行移動させることにより、移動物体Ｍ１に固定された座標系から見て、時点（ｔ−１）でのブロックＢ２に対応すると推定される判定枠Ｂ２１が得られる。時点ｔでブロックＢ２に移動物体Ｍ１の一部と移動物体Ｍ２の一部とが含まれていても、時点（ｔ−１）で判定枠Ｂ２１には移動物体Ｍ２の一部が含まれていない場合があり、この場合、判定枠Ｂ２１内を見ることにより、ブロックＢ２がＩＤ＝１であるかどうかをより正確に推定することが可能となる。
【０１６７】
判定枠Ｂ２１内の右上がり斜線部（ＩＤ＝１の部分）の面積Ｓ１が広いほど、ブロックＢ２がＩＤ＝１を持つことの確度が高くなると考えられる。
【０１６８】
そこで、オブジェクトマップの各ブロックを、８×８の同一ＩＤアレイに拡大したマップを作成し、この拡大マップ上で、図３１（Ａ）に示す如く、ＩＤ＝１の画素の個数を数えることにより、斜線部面積Ｓ１を求める。図３１（Ａ）中の斜線部はＩＤ＝１の領域を示している。Ｓ１が６４であるとき、ＩＤ＝１である確度が最大となる。そこで、ブロックＢ２のＩＤが１であることを評価する要素ＵＳ（１）を例えば次式で表す。
【０１６９】
ＵＳ（１）＝β（Ｓ１−６４）2
ここに、βは正の定数である。ＵＳ（１）の値が小さいほどブロックＢ２が移動物体Ｍ１に属する確度が高いと言える。
【０１７０】
同様に、ブロックＢ２のＩＤが２であることを評価する要素ＵＳ（２）を次式で表す。
【０１７１】
ＵＳ（２）＝β（Ｓ２−６４）2
ここにＳ２は、図３１（Ａ）に示す如く、ブロックＢ２を−ＭＶ２だけ平行移動させて得られる判定枠Ｂ２２内のＩＤ＝２の個数（右下がり斜線部面積）である。ＭＶ２は、移動物体Ｍ２の動きベクトルである。
【０１７２】
（３）時点ｔ及び（ｔ−１）でのフレーム画像と移動物体の動きベクトルとに関係した評価要素ＵＤ
図３０（Ｂ）のブロックＢ２と判定枠Ｂ２１とに対応した図２９のフレーム画像Ｆ２及びＦ１中の局所画像の相関が強いほど、ブロックＢ２がＩＤ＝１である確度が高いと言える。図３１（Ｂ）に示すＢ２Ｆ及びＢ２１Ｆはそれぞれ、図３０中のブロックＢ２及び判定枠Ｂ２１に対応したフレーム画像Ｆ２及びＦ１中の局所画像を示す。
【０１７３】
ブロックＢ２のＩＤが１であることを評価する要素ＵＤ（１）を例えば次式で表す。
【０１７４】
ＵＤ（１）＝γΣ｜Ｂ２１Ｆ（ｉ，ｊ）−Ｂ２Ｆ（ｉ，ｊ）｜
ここに、γは正の定数であり，Ｂ２１Ｆ（ｉ，ｊ）及びＢ２Ｆ（ｉ，ｊ）はそれぞれ局所画像Ｂ２Ｆ及びＢ２１Ｆ内の第ｉ行第ｊ列の画素値であり、Σはｉ＝１〜８及びｊ＝１〜８についての総和（ブロック内全画素についての総和）を意味している。
【０１７５】
ＵＤ（１）の値が小さいほどブロックＢ２が移動物体Ｍ１に属する確度が高いと言える。
【０１７６】
同様に、ブロックＢ２のＩＤが２であることを評価する要素ＵＤ（２）を次式で表す。
【０１７７】
ＵＤ（１）＝γΣ｜Ｂ２２Ｆ（ｉ，ｊ）−Ｂ２Ｆ（ｉ，ｊ）｜
ここに、Ｂ２２Ｆ（ｉ，ｊ）は局所画像Ｂ２２Ｆ内の第ｉ行第ｊ列の画素値であり、局所画像Ｂ２２Ｆは図３１（Ａ）中の判定枠Ｂ２２に対応したフレーム画像Ｆ１中の局所画像である。
【０１７８】
不明ＩＤブロックのＩＤをより正確に推定するために、以上の（１）〜（３）を総合し、評価関数の値
Ｕ（１）＝ＵＮ（１）＋ＵＳ（１）＋ＵＤ（１）
と、
Ｕ（２）＝ＵＮ（２）＋ＵＳ（２）＋ＵＤ（２）
との大小関係に基づいて、ブロックＢ２のＩＤを決定する。すなわち、
Ｕ１２＝Ｕ（１）−Ｕ（２）
の値が負であればＩＤ＝１と決定し、正であればＩＤ２＝２と決定する。Ｕ（１）及びＵ（２）の最小値はいずれも０である。Ｕ１２の値が小さいほど、ブロックＢ２がＩＤ＝１である確度が高くなる。
【０１７９】
図２９のオブジェクトマップＱ２において、上記具体例ではブロックＢ１及びＢ３のＩＤを考慮しなかったが、実際には、ブロックＢ１、Ｂ２及びＢ３のＩＤを同時に仮定し、ブロックＢ１、Ｂ２及びＢ３の各々の評価関数の総和が最小となるように、ブロックＢ１、Ｂ２及びＢ３のＩＤを決定する。 この際、メトロポリス（Metropolis）アルゴリズム又はギッブスサンプラー（Gibbs Sampler）アルゴリズムなどの確率的緩和アルゴリズムを用いて最小値へ導く。また、評価値の極小値を最小値と間違えないようにするとともに、極小の谷から速く脱出するために、公知のシミュレーティッドアニーリング（Simulated Annealing）法を適用する。
【０１８０】
これにより、複数のＩＤ不明ブロックのＩＤを、より正確かつ容易に決定することができる。
【０１８１】
定数α、β及びγは、実際の画像を処理して、移動物体トラッキング成功率が高くなるように定められる。
【０１８２】
本発明者らは、上記のような評価関数を用いることが適切であることを数学的に確かめた。すなわち、マルコフ・ランダム・フィールド（Markov Random Field）モデルを時空間画像に拡張して適用し、表現された画像のエネルギー分布を確率緩和過程により最適化した結果、上記結果評価関数の最小化と同一になった。この点は、後述する実施例７についても同様である。
【０１８３】
なお、上記入口スリットで複数の移動物体が重なって写り、単一クラスタと認識された場合、これを不明ＩＤ決定部４７で分離認識できないので、移動物体分割部３９は本実施例６においても用いられる。
【０１８４】
次の表１２は、本実施例６を適用した実験結果を示す。
【０１８５】
【表１２】
【０１８６】
フレーム画像は、カラーではなく８ビットの濃淡画像を用いた。
【０１８７】
この表は、移動物体のトラキックング成功率を、画像中の垂直方向と水平方向の交通の流れに分けて示している。表は、交差点での実際の画像を解析して得られたものであり、複雑な交通の流れも上記いずれかの場合に分けられている。
【０１８８】
トラッキングが失敗した例は、一方の移動物体中に他方の移動物体が完全に重なった場合であった。水平方向のトラッキング成功率が、左右方向のそれよりも高い理由は、左右方向の交通の方が、移動物体間の重なりが垂直方向のそれよりも大きいためである。
【実施例７】
【０１８９】
上記実施例６では、時点ｔでのＩＤ不明ブロックが、互いに接近し又は重なった移動物体Ｍ１又はＭ２に属すると仮定して評価関数の値の大小関係に基づき不明ＩＤを決定した。
【０１９０】
しかし、１つのブロックに３以上の移動物体の一部が含まれる場合がある。また、多くの移動物体について、互いに接近しようとしている移動物体がどれであるかを判断しなければならない。
【０１９１】
他方、評価要素ＵＳ及びＵＤはいずれも、時点ｔと時点（ｔ−１）での相関度が低いブロック間では値が大きく高いブロック間では値が小さい。これらの値を見るだけで上記のことを判断することができる。また、評価値の計算は容易である。
【０１９２】
そこで、本発明の実施例７では、図２８の不明ＩＤ決定部４７において、ＩＤ不明ブロックは、時点（ｔ−１）のオブジェクトマップに含まれる全てのＩＤ＝１〜ｍのいずれかを持つと考えて、評価関数の値の大小関係に基づき不明ＩＤを決定する。
【０１９３】
時点ｔでのＩＤ不明ブロックを、ＢＫ１〜ＢＫｐで表し、ＩＤ不明ブロックＢＫｉのＩＤがＩＤｊ（１≦ＩＤｊ≦ｍ）であると仮定したときの、ＩＤ不明ブロックＢＫｉの上記評価関数Ｕ＝ＵＮ＋ＵＳ＋ＵＤの値をＵ（ＢＫｉ，ＩＤｊ）で表すと，次のようにしてＩＤ不明ブロックＢＫ１〜ＢＫｐのＩＤを決定する。
【０１９４】
すなわち、ＩＤ不明ブロックＢＫ１〜ＢＫｐのＩＤをそれぞれＩＤ１〜ＩＤｐと仮定し、評価関数の値
ＵＴ＝Ｕ（ＢＫ１，ＩＤ１）＋Ｕ（ＢＫ２，ＩＤ２）＋・・・＋Ｕ（ＢＫｐ，ＩＤｐ）を計算する。この値が最小になるＩＤ１〜ＩＤｐを、繰り返し計算により求め、求めたものをＩＤ不明ブロックＢＫ１〜ＢＫｐのＩＤと決定する。この繰り返し計算において、上記確率的緩和アルゴリズム及びシミュレーティッドアニーリング法を適用する。
【０１９５】
他の点は上記実施例６と同一である。
【０１９６】
次に、図３２を参照して、メトロポリスアルゴリズムを用いて解を求める場合を説明する。
【０１９７】
（Ｓ１）ＩＤ不明ブロックＢＫ１〜ＢＫｐの識別符号ＩＤ１〜ＩＤｐ及びその解ＩＩＤ１〜ＩＩＤｐに初期値ＩＤ１０〜ＩＤｐ０を与える。ｉ及びｊに初期値１を代入する（ｉ←１、ｊ←１）。ＵＴの前回値ＵＴＢに、大きな初期値ＵＴＢmaxを与える。
【０１９８】
（Ｓ２）評価関数の値
ＵＴ＝Ｕ（ＢＫ１，ＩＤ１）＋Ｕ（ＢＫ２，ＩＤ２）＋・・・＋Ｕ（ＢＫｐ，ＩＤｐ）
を計算する。
【０１９９】
（Ｓ３、Ｓ４）ＵＴ＜ＵＴＢであれば、ＩＩＤｉ←ＩＤｉ、ＵＴＢ←ＵＴ。
【０２００】
（Ｓ５）ｊ←ｊ＋１
（Ｓ６、Ｓ７）ｊ≦ｍであればブロックＢＫｉのＩＤｉの値を更新してステップＳ２へ戻り、そうでなければ次のステップＳ６へ進む。
【０２０１】
（Ｓ８）ＩＤｉ←ＩＩＤｉ、ｉ←ｉ＋１
（Ｓ９）ｉ≦ｐであればステップＳ２へ戻り、そうでなければ処理を終了する。
【０２０２】
このようにして、ＩＤ不明ブロックＢＫ１〜ＢＫｐのＩＤがそれそれＩＩＤ１〜ＩＩＤｐと決定される。
【０２０３】
理論的には、時点ｔでの全ブロックをＩＤ不明ブロックとして上記計算により適正なＩＤを決定可能である。
【０２０４】
なお、本発明には外にも種々の変形例が含まれる。
【０２０５】
例えば、類似度計算部３２ではパターンマッチング度を求めてもよい。例えば、図４において観測量の相違度を、横切る境界線の数と定義する。例えば、観測量０と０は相違度０、観測量０と７は相違度１、観測量４と８は相違度２である。参照系列が｛１,２,０｝で観測系列が｛３,２,１｝の場合、対応する成分間の相違度を求め、その総和（２＋０＋１）の逆数１／３を一致度として求め、複数の参照系列について同様の計算を行い、そのうち最も大きい一致度を類似度としてもよい。
【０２０６】
また、参照系列に対し観測系列を時間軸方向にずらし、ずらしたものについても類似度を計算し、最大値を最終的な類似度として求めてもよいことは勿論である。
【０２０７】
さらに、上記実施形態では、図２又は図１０の認識開始判定部２８において｜Ｖ／Ｄ｜＞Ｃと判定された場合のみＶ／Ｄ時系列切り出し部２９で切り出しを行う場合を説明したが、認識開始判定部２８、及び、時系列切り出し部２９又は２９Ａを省略し、時系列メモリ２７又は２７Ａ内の各時点における全ての時系列に対しブロック３２で確率Ｐを計算する構成であってもよい。
【０２０８】
また、本発明の適用は各種移動物体間衝突事故に限定されず、衝突以外の動作に対しても本発明を適用可能である。
【０２０９】
さらにまた、要求される処理速度によっては、図２又は図１０の画像認識装置での全処理をコンピュータで実行することも可能である。
【０２１０】
また、評価関数は上記３要素のうち少なくとも１つを含むものであればよい。各要素の上記関数は一例であり、推定の確度が上がるほど一方向に変化（単調変化）する種々の形のものを用いることができる。
【符号の説明】
【０２１１】
１０ 電子カメラ
２０、２０Ａ〜２０Ｃ 画像認識装置
２１ 画像メモリ
２２、２２Ａ 移動物体認識部
２３、２４ 位置レジスタアレイ
２５ 相対距離レジスタアレイ
２６、２６Ａ Ｖ／Ｄ計算部
２７ Ｖ／Ｄ時系列メモリ
２７Ａ Ｏ時系列メモリ
２８ 認識開始判定部
２９ Ｖ／Ｄ時系列切り出し部
２９Ａ 観測系列切り出し部
３０、３０Ａ ベクトル回転部
３１ 量子化部
３２ 類似度計算部
３３ 衝突事故判定部
Ｍ１〜Ｍ６ 車
３４ 背景画像生成部
３６ ＩＤ生成／消滅部
３７ 動きベクトル算出部
３８ 移動物体更新部
３９ 移動物体分割部
４０ 移動物体間距離算出部
４１、４１Ａ 画像処理装置
４２ デコーダ
４３、４３Ａ シフトレジスタ
４４、４４Ａ ニューラルネットワーク
４５ コンパレータ
４６ 部分系列観測確率算出部
４７ 不明ＩＤ決定部
Ｂ１、Ｂ２、Ｂ３ ブロック
Ｆ１、Ｆ２ フレーム画像
Ｑ１〜Ｑ３ オブジェクトマップ
ＭＶ１、ＭＶ２ 動きベクトル
Ｂ２１、Ｂ２２ 判定枠
Ｂ２１Ｆ、Ｂ２Ｆ 局所画像
【技術分野】
【０００１】
本発明は、移動物体認識方法及び装置に関する。
【背景技術】
【０００２】
車、バイク、自転車及び人などの移動物体をカメラで撮像してその動作を認識しようとすると、分離して写っていた移動物体同士がその後、隣接し又は重なり、その際にカメラと移動物体との間の距離及びアングルに依存して移動物体の形や大きさが変化する場合がある。
【０００３】
衝突事故を正確に認識するためには、このような移動物体の動作を正確に認識する必要があるが、従来ではこれが容易でなかった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−４０４９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、このような問題点に鑑み、移動物体の動作をより正確に認識することが可能な移動物体認識方法及び装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明による移動物体認識方法では例えば図１３及び２０（Ａ）に示す如く、
電子カメラで撮影されたフレーム画像を、複数ピクセルからなるブロックに分割し、
移動物体の一部が含まれる各ブロックについて、次フレーム画像内で、該ブロックと同一形状で類似したものを見つけて、該ブロックの動きベクトルを求め、
該移動物体に含まれる複数のブロックの各動きベクトルの代表値を、該移動物体の動きベクトルと決定する。
【０００７】
この方法によれば、右折や左折する移動物体の速度を高精度で測定することが可能となる。
【０００８】
本発明による他の移動物体認識装置では、例えば図１６に示す如く、
撮影された前フレーム画像及び現フレーム画像が格納される画像記憶部（２１）と、
該前フレーム画像を、複数ピクセルからなるブロックに分割したときの、移動物体の一部が含まれる各ブロックについて、該現フレーム画像内で、該ブロックと同一形状で類似したものを見つけて、該ブロックの動きベクトルを求め、該移動物体に含まれる複数のブロックの各動きベクトルの代表値を、該移動物体の動きベクトルと決定する動きベクトル算出部（３７）とを有する。
【０００９】
本発明による他の移動物体認識方法では、
電子カメラで撮影されたフレーム画像を、複数ピクセルからなるブロックに分割し、同一移動物体に属するブロックに同一識別符号を持たせたオブジェクトマップを作成し、
時間的に前後のフレーム画像に基づいて、各移動物体の動きベクトルを求める方法であって、
現フレーム画像について移動物体が存在すると判定されたブロックの各々が、前フレーム画像に存在する移動物体のいずれかの識別符号を持っていると仮定したときの評価関数の値の大小関係に基づいて、該存在ブロックに付与すべき識別符号を決定する。
【００１０】
画像上で移動物体間の重なりが生じて、カメラから見て背面側の移動物体の一部が見えなくなっても、カメラから見て前面側の移動物体は見えるので、この移動物体認識方法によれば、存在ブロックがどの移動物体に属するかを評価関数の値に基づき推定することができる。
【００１１】
また、時刻ｔにおいて、移動物体間が重なっていないが接近しているため同一ブロックに２つの移動物体の一部が属し、このブロックのＩＤが不明であっても、時刻（ｔ−１）では該一部がそれぞれ異なるブロックに属している場合があるので、この移動物体認識方法によれば、存在ブロックがどの移動物体に属するかを評価関数の値に基づき推定することができる。
【００１２】
本発明による他の移動物体認識装置では、
撮影されたフレーム画像が格納される画像記憶部と、
該フレーム画像を複数ピクセルからなるブロックに分割し、ブロックに移動物体が存在するかどうかを判定し、同一移動物体に属するブロックに同一識別符号を持たせたオブジェクトマップを作成するオブジェクトマップ作成部と、
該画像記憶部に格納された時間的に前後のフレーム画像に基づいて、各移動物体の動きベクトルを求める動きベクトル算出部と、
現フレーム画像について移動物体が存在すると判定されたブロックの各々が、前フレーム画像に存在する移動物体のいずれかの識別符号を持っていると仮定したときの評価関数の値の大小関係に基づいて、該存在ブロックに付与すべき識別符号を決定するＩＤ更新部と、
を有する。
【００１３】
本発明の他の目的、構成及び効果は以下の説明から明らかになる。なお、本願特許請求の範囲に関わる実施例は、主に、実施例３以降である。
【図面の簡単な説明】
【００１４】
【図１】本発明の移動物体間動作分類装置を交差点に配置した場合を示す概略図である。
【図２】図１中の画像認識装置のハードウェア及びソフトウェアの構成を機能ブロックで示す概略図である。
【図３】図２中の処理を説明するためのベクトル図である。
【図４】危険度ベクトルＶ／Ｄの量子化説明図である。
【図５】衝突事故の時系列パターン説明図である。
【図６】他の衝突事故の時系列パターン説明図である。
【図７】さらに他の衝突事故の車両速度ベクトル時系列説明図である。
【図８】（Ａ）は図７の車両速度ベクトルを−θ回転させたものの時系列説明図り、（Ｂ）はこの時系列と相対速度ベクトルの時系列とを示す図である。
【図９】ｌｅｆｔ−ｔｏ−ｒｉｇｈｔ隠れマルコフモデルの状態遷移図である。
【図１０】本発明の実施例２に係る画像認識装置のハードウェア及びソフトウェアの構成を機能ブロックで示す概略図である。
【図１１】図１０中の移動物体認識部での処理説明図である。
【図１２】（Ａ）は衝突事故の車両速度ベクトル時系列の各ベクトル回転説明図、（Ｂ）はこの時系列と相対速度ベクトルの時系列とを示す図である。
【図１３】図１２（Ａ）を時計回りに９０゜回転させた速度ベクトル時系列パターンを示す図である。
【図１４】ＨＭＭモデルにおいて、衝突とこれに類似したタンデムの動作の区別度の状態数依存性を示す線図である。
【図１５】状態数が７のときの衝突動作において、状態ｉから状態ｊ＝ｉ＋１に遷移し又は状態ｊに留まって観測量Ｏを出力する確率の具体例を視覚的に示す３次元棒グラフである。
【図１６】本発明の実施例３に係る画像認識装置のハードウェア及びソフトウェアの構成を機能ブロックで示す図である。
【図１７】交差点への４つの入口及び交差点からの４つの出口に設定されたスリット及びブロックに付された移動物体のＩＤを示す説明図である。
【図１８】図１６の移動物体更新部３８での処理説明図であって、それぞれ時刻（ｔ−１）での画像、時刻ｔでの予測画像及び時刻ｔでの実際の画像を示す図である。
【図１９】（Ａ）及び（Ｂ）は、図１６の移動物体分割部３９での処理説明図であって、それぞれ時刻ｔ及び時刻（ｔ＋１）での画像を示す図である。
【図２０】（Ａ）は４ブロックの各々の動きベクトルに基づいて得られる移動物体動きベクトルを示し、（Ｂ）は、重なって写っている２つの移動物体に属するブロックの各々の動きベクトルに基づいて得られる、２つの移動物体の動きベクトルを示す図である。
【図２１】本発明の実施例４に係る画像認識装置を示すブロック図である。
【図２２】図２１中の一部を示すブロック図である。
【図２３】本発明の実施例５に係る画像認識装置を示すブロック図である。
【図２４】図２３中のシフトレジスタに同時に保持されるデータであって、ある交差点での衝突動作の観測系列Ｏ1に対応した、ｔ＝０〜１９についての部分系列観測確率α（１，ｔ）〜α（Ｎ，ｔ）を示す表である。
【図２５】図２３中のシフトレジスタに同時に保持されるデータパターンであって、他の交差点での衝突動作の観測系列Ｏ1Aに対応した、ｔ＝０〜１９についての部分系列観測確率α（１，ｔ）〜α（Ｎ，ｔ）を示す表である。
【図２６】図２３中のシフトレジスタに同時に保持されるデータパターンであって、タンデム動作の観測系列Ｏ2に対応した、ｔ＝０〜１９についての部分系列観測確率α（１，ｔ）〜α（Ｎ，ｔ）を示す表である。
【図２７】図２３中のシフトレジスタに同時に保持されるデータパターンであって、通過動作の観測系列Ｏ3に対応した、ｔ＝０〜１９についての部分系列観測確率α（１，ｔ）〜α（Ｎ，ｔ）を示す表である。
【図２８】本発明の実施例６に係る画像認識装置のハードウェア及びソフトウェアの構成を機能ブロックで示す図である。
【図２９】図２８中の不明ＩＤ決定部の入出力関係を模式的に示す図である。
【図３０】（Ａ）及び（Ｂ）は該不明ＩＤ決定部の処理説明図である。
【図３１】（Ａ）及び（Ｂ）は該不明ＩＤ決定部の処理説明図である。
【図３２】本発明の実施例７に係る画像認識装置の不明ＩＤ決定部での処理を示すフローチャートである。
【実施例１】
【００１５】
図１は、本発明の移動物体間動作分類装置を交差点に配置した場合の概略を示している。
【００１６】
この装置は、交差点を撮像して画像信号を出力する電子カメラ１０と、その画像を処理して移動物体間衝突事故を認識する画像認識装置２０とを備えている。
【００１７】
図２は、本発明の実施例１に係る画像認識装置２０のハードウェア及びソフトウェアの構成を機能ブロックで示している。
【００１８】
電子カメラ１０からの画像信号は、デジタル化されており、画像メモリ２１に格納される。移動物体認識部２２は、画像メモリ２１内の現画像を過去の画像と比較して、移動物体を認識し、その位置、例えば移動物体の図形の重心を検出する。例えば図１の場合、車Ｍ１〜Ｍ６の位置Ｐ１〜Ｐ６を検出する。これらの位置座標は、位置レジスタアレイ２３の内容が位置レジスタアレイ２４にコピーされた後、位置レジスタアレイ２３に保持される。移動物体認識部２２はまた、移動物体間の距離、例えば図３（Ａ）に示す距離ｄを画素単位で測定し、位置レジスタアレイ内の２位置の組み合わせと対応させて、相対距離レジスタアレイ２５に格納する。
【００１９】
Ｖ／Ｄ計算部２６は、位置レジスタアレイ２３と２４の対応するレジスタの内容の差を移動物体の速度ベクトルとして求め、次に、全ての移動物体間の相対速度ベクトルＶを計算する。例えば、図３（Ａ）に示す車Ｍ１の速度ベクトルＶ１と車Ｍ２の速度ベクトルＶ２の相対速度ベクトルＶは図３（Ｂ）に示す如くなる。Ｖ／Ｄ計算部２６はさらに、各移動物体間について、相対速度ベクトルＶの２物体に対応した相対距離位置レジスタアレイ２４の内容ｄを読み出し、ベクトルＶ／Ｄを計算する。ここに、Ｄ＝ｄ＋εであり、εはＤ＞０を保証するための定数であって、ε≧０である。εの値はｄの定義によって異なり、必ずＤ＞０であればε＝０とすることができる。
【００２０】
相対的なベクトルであるＶ／Ｄの時系列パターンが同一であれば同一パターンであると認識されるので、様々な衝突事故を認識することが可能となる。衝突危険度は、相対速度ベクトルＶが大きいほど、相対距離ｄが小さいほど大きいと考えられるので、Ｖ／Ｄは衝突危険度を示している。図１の場合、移動物体間の組み合わせは１５通りあり、各組み合わせについてＶ／Ｄを計算する。その計算結果は、Ｖ／Ｄ時系列メモリ２７に格納される。
【００２１】
Ｖ／Ｄ時系列メモリ２７は、例えばＦＩＦＯメモリであり、最も古いデータがＶ／Ｄ時系列メモリ２７から排出されるとともに、Ｖ／Ｄ計算部２６からの新たなデータがＶ／Ｄ時系列メモリ２７格納される。次の表１は、Ｖ／Ｄ時系列メモリ２７内のデータ格納状態を示している。
【００２２】
【表１】
【００２３】
表１中、（Ｖ／Ｄ）ｉｊｔは、車ＭｉとＭｊの組の時刻ｔにおける危険度ベクトルＶ／Ｄの値を示している。Ｖ／Ｄは、例えばＸ座標とＹ座標の値で表される。
【００２４】
Ｖ／Ｄが小さければ衝突が生じないので、認識開始判定部２８は、Ｖ／Ｄ計算部２６の出力からその絶対値｜Ｖ／Ｄ｜を計算し、これが設定値Ｃより大きいかどうかを判定し、その結果をＶ／Ｄ時系列切り出し部２９に供給する。
【００２５】
｜Ｖ／Ｄ｜＞Ｃと判定されると、その後所定時間以内に交通事故が生ずるかもしれないので、該所定時間経過後にＶ／Ｄ時系列切り出し部２９はそのＶ／Ｄ時系列をＶ／Ｄ時系列メモリ２７から切り出す。
【００２６】
このようにすれば、｜Ｖ／Ｄ｜≦Ｃのときには衝突事故の認識をしないので、無駄な処理が省かれ、処理速度が低速で安価な装置を用いて衝突事故認識に必要な処理時間を確保することが可能になる。
【００２７】
ここで、様々な衝突事故を容易に認識可能にするためには、類似の衝突事故を同種事故と分類する必要がある。例えば、ある衝突事故の時系列パターンと、静止座標系を回転させれば同一になる時系列パターンとが、同一観測系列になるようにした方が好ましい。すなわち、交差点の形状やカメラ１０の取付位置などに観測系列が依存しないようにすべきである。
【００２８】
そこでベクトル回転部３０は、Ｖ／Ｄ時系列切り出し部２９で切り出されたＶ／Ｄ時系列内の最初の時刻ｔ＝１のベクトル（Ｖ／Ｄ）ｉｊ１のＸ軸に対する角度θを計算する。次に、このＶ／Ｄ時系列の各ベクトルＶ／Ｄを−θ回転させる。例えば図３（Ｃ）に示す如く回転させる。これにより、例えば図５に示す衝突パターンのＶ／Ｄ時系列とこれを１８０度回転させた図６に示すような衝突パターンのそれは同一になる。
【００２９】
簡単化のためにＶ／Ｄの替わりに速度ベクトルのみで説明すると、図７に示す車Ｍ１及びＭ２の時刻ｔ＝１〜４での速度ベクトルＶ１１〜Ｖ１４及びＶ２１〜Ｖ２４は、−θ回転により図８（Ａ）に示す速度ベクトルＶ１１ａ〜Ｖ１４ａ及びＶ２１ａ〜Ｖ２４ａになり、相対速度ベクトルは図８（Ｂ）に示すＶ＝Ｖ１〜Ｖ４となる。
【００３０】
量子化部３１は、このように回転されたＶ／Ｄ時系列の各Ｖ／Ｄについて、図４に示す如く、量子化する。例えばＶ／Ｄ＝ｖの時系列が｛ｖ０,ｖ１,ｖ２｝の場合、時系列｛０,１,２｝と量子化する。量子化された観測量の時系列を観測系列と称す。例えば図５に示す時刻ｔ＝４〜９の観測系列は｛１,２,３,０,８,７｝となる。図６の衝突パターンについても同じである。この量子化により、ある衝突パターンと類似の衝突パターンは同一観測系列となるので、様々な衝突事故を容易に認識可能になる。また、量子化により観測系列が簡単な数値列になるので、その後の認識処理が簡単になる。
【００３１】
類似度計算部３２は、具体的な衝突事故の観測系列を参照系列とし、量子化部３１から供給される観測系列の参照系列に対する類似度を計算する。上記のことから、少ない参照系列で様々な衝突事故を容易に認識可能になる。
【００３２】
公知のパターン類似度計算には、隠れマルコフモデル（ＨＭＭ）法やパターンマッチング法などがあり、これらのいずれかを利用することができる。例えば、具体的な衝突事故の観測系列を学習系列としてパラメータを決定したＨＭＭにより、量子化部３１で得られた観測系列が生ずる確率Ｐ＝ＥＸＰ（μ）を計算する。この計算方法は、後述する。学習系列に対称パターンが含まれていなければ、量子化部３１で得られた観測系列と対称なパターンについても確率Ｐを計算し、確率Ｐの大きい方の値を類似度とする。例えば、観測系列｛０,１,４,５,２｝に対し、図４との関係でこれと対称なパターンは｛０,１,１０,１１,２｝である。
【００３３】
衝突事故判定部３３は、μが設定値μ０より大きければ、この観測系列が衝突事故であると判定し、その結果を出力する。この結果は、警察に自動通報され、これにより救助活動が迅速に行われるとともに、実地検分が迅速に行われて事故渋滞が緩和される。
【００３４】
図２の構成要素２８〜３３の処理は、コンピュータで実行することができる。
【００３５】
次に上記計算方法を説明する。
【００３６】
図９に示すような状態数Ｎのｌｅｆｔ−ｔｏ−ｒｉｊｈｔ ＨＭＭを考える。ＨＭＭにおける状態は観測量ではなく、具体的なイメージと対応していないのが通常である。観測量は図４に示す如く量子化されたものであり、時刻ｔでの観測量をＯtと表記する。１≦ｉ≦Ｎなる任意のｉについて、時刻（ｔ−１）で状態ｉであるとき、時刻ｔで状態ｊになる確率をａijと表記し、このとき観測量Ｏtを出力する確率をｂij（Ｏt）と表記すると、次の関係が成立する。
【００３７】
ｊ≠ｉかつｊ≠ｉ＋１に対し、ａij＝０、ｂij（Ｏt）＝０ １≦ｉ≦Ｎ−１なる任意のｉに対し、ａii＋ａi(i+1)＝１
状態Ｎは最終状態であり、次の状態には遷移できず、ａNN＝１
ｊ＝ｉ又はｊ＝ｉ＋１に対し、
ｂij（０）＋ｂij（１）＋・・・＋ｂij（１２）＝１
例えば初期ｔ＝０に状態１である確率が１であり、時刻ｔ＝１、２の観測系列｛２,５｝が生ずる確率Ｐは、時刻ｔ＝１、２の状態系列｛１,１｝、｛１,２｝、｛２,２｝、｛２,３｝の各々について観測系列｛２,５｝を出力する確率の総和であり、次式で表される。
【００３８】
Ｐ＝ａ11・ｂ11（２）・ａ11・ｂ11（５）
＋ａ11・ｂ11（２）・ａ12・ｂ12（５）
＋ａ12・ｂ12（２）・ａ22・ｂ22（５）
＋ａ12・ｂ12（２）・ａ23・ｂ23（５）
初期ｔ＝０に状態ｉにいる確率をπiと表記する。ＨＭＭモデルは、初期状態の確率分布π＝｛π1,π2,π3,,,,,πN｝と、上記確率ａij及びｂij（ｋ）の集合とにより定まる。これらのパラメータをλと表記する。
【００３９】
以下、観測系列の長さをＴ、観測量の数をＬ（図４ではＬ＝１３）と表記する。また、時刻ｔまでに観測系列｛Ｏ1Ｏ2...Ｏt｝を出力し、状態ｉになる部分系列観測確率をα（ｉ，ｔ）と表記する。
【００４０】
モデルパラメータλの下で観測系列｛Ｏ1Ｏ2...ＯT｝が生ずる確率Ｐ（Ｏ1Ｏ2...ＯT｜λ）は一般に、以下の３ステップからなる前向きアルコリズムで計算されることが知られている。
【００４１】
ステップ１：ｔ＝１
α（１，１）＝π1・ｂ11
２≦ｊ≦Ｎの各ｊに対し、
α（ｊ，１）＝π(j-1)・ｂ(j-1)j＋πj・ｂjj
ステップ２：ｔ＝１，２，・・・，Ｔ−１の各々について順次
１≦ｊ≦Ｎの各ｊに対し、
【００４２】
【数１】
【００４３】
ステップ３：
【００４４】
【数２】
【００４５】
確率Ｐは、公知の後ろ向きアルコリズムでも、さらにＶｉｔｅｒｂｉアルゴリズムでも計算することができる（電子・情報工学講座１９「情報処理概論」、榑松明著、培風館）。
【００４６】
ここで、時刻ｔで状態ｉにいるとき、時刻（ｔ＋１）からの観測系列が｛Ｏt+1Ｏt+2・・・ＯT｝となる確率をβ（ｉ，ｔ）と表記すると、次の関係式が成立する。
【００４７】
【数３】
【００４８】
また、学習系列｛Ｏ1Ｏ2・・・ＯT｝に関し、時刻（ｔ−１）に状態ｉにいて時刻ｔで状態ｊに遷移する確率をγ（ｉ，ｊ，ｔ）と表記する。
【００４９】
モデルパラメータは、衝突事故の観測系列を学習系列として、Ｂａｕｍ−Ｗｅｌｃｈアルゴリズムにより求めることができる。すなわち、モデルパラメータに初期値を与え、１≦ｉ≦Ｎ、１≦ｊ≦Ｎの各ｉ及びｊに対し、以下のステップ１でγ（ｉ，ｊ，ｔ）を計算し、得られたγ（ｉ，ｊ，ｔ）を用いてステップ２でモデルパラメータを更新し、同様にステップ１と２の計算をモデルパラメータが収束するまで繰り返すことにより、モデルパラメータが決定される。
【００５０】
ステップ１：γ（ｉ，ｊ，ｔ）の計算
【００５１】
【数４】
【００５２】
ここに、Ｆは状態の全集合｛１，２，・・・，Ｎ｝であり、総和のｉはｉ∈Ｆと同じ意味である。
【００５３】
ステップ２：モデルパラメータ更新
【００５４】
【数５】
【００５５】
ここに、総和のｉ及びｊはいずれもｉ∈Ｆ及びｊ∈Ｆを意味している。また、ｔ：ｙt＝ｋは、時刻ｔにおいて観測量ｋであるもののみの総和をとることを意味している。
【００５６】
学習系列が複数ある場合には、例えば、１つの学習系列につき上記方法でモデルパラメータを決定し、このモデルパラメータを初期値として次の学習系列につき上記方法でモデルパラメータを決定し、以降同様の処理を繰り返す。
【実施例２】
【００５７】
図１０は、本発明の実施例２に係る画像認識装置２０Ａのハードウェア及びソフトウェアの構成を機能ブロックで示している。
【００５８】
移動物体認識部２２Ａは、メモリを有し、画像メモリ２１内の画像の解像度を低減し、移動物体のみの図１０に示すようなパターン情報を該メモリに書き込む。例えば、画像メモリ２１の１フレームが４８０×６４０ピクセルの場合、８×８ピクセルを１ブロックの情報に低減して、６０×８０ブロックのパターン情報に変換する。ブロック情報は、移動物体毎に異なる識別符号であり、図１０では図１中の車Ｍ１〜Ｍ６に対応してそれぞれ識別符号１〜６の情報が書き込まれている。
【００５９】
移動物体認識部２２Ａは、上記実施例１と同様に移動物体の位置を検出し、また、異なる識別符号の画素間距離の最小値を移動物体間距離ｄと決定する。
【００６０】
次に、本実施例２で用いる観測量について説明する。
【００６１】
図１２（Ａ）において、車Ｍ１及びＭ２の時刻ｔ＝１〜４での速度ベクトルＶ１１〜Ｖ１４がＸ方向になるようにそれぞれθ１〜θ４回転させたものを速度ベクトルＶ１１ｂ〜Ｖ１４ｂとする。速度ベクトルが０である場合にはその方向を、０になる直前の速度ベクトルの方向であるとみなす。θ１〜θ４回転に対応して、車Ｍ２の時刻ｔ＝１〜４での速度ベクトルＶ２１〜Ｖ２４をそれぞれθ１〜θ４回転させたものを速度ベクトルＶ２１ｂ〜Ｖ２４ｂとする。ｉ＝１〜４について、図１２（Ｂ）に示す相対速度ベクトルＶｉ＝Ｖ２ｉｂ−Ｖ１ｉｂを求める。換言すれば、車Ｍ１の速度ベクトルＶ１ｉのＸ軸に対する角度がθｉのとき、車Ｍ１とＭ２の相対速度ベクトル（Ｖ２ｉ−Ｖ１ｉ）を−θ回転させたベクトルＶｉを求める。次に、ベクトルｖ＝Ｖｉ／Ｄｉを図４に示すように量子化したものを、時刻ｔ＝ｉでの観測量として求める。ここにＤｉは、時刻ｔ＝ｉでの上述のＤ＝ｄ＋εである。
【００６２】
図１３は、図１２（Ａ）を時計回りに９０゜回転させた速度ベクトル時系列パターンを示している。この場合、上記同様に回転して得られる速度ベクトルＶ１１ｂ〜Ｖ１４ｂ及びＶ２１ｂ〜Ｖ２４ｂは、図１２（Ａ）のそれと同一になり、観測系列も図１２（Ａ）の場合と同一になる。
【００６３】
すなわち、この観測系列は、図１３において、車Ｍ１に固定された座標系から見た車Ｍ２の相対的な観測量Ｖ／Ｄの時系列であり、地上静止座標系を回転させても同一になる。
【００６４】
このような観測系列を用いれば、図１０に示す如く、Ｖ／Ｄ計算部２６で求められたＶ／Ｄをベクトル回転部３０Ａに供給してベクトルＶ／Ｄをリアルタイムで上記−θ回転させ、次にこれを量子化部３１で図４に示す如く量子化し、観測系列メモリ２７Ａに格納することができる。
【００６５】
したがって、図２の場合のようにθ決定時点を選ぶ必要がない。また、量子化後の観測量がメモリ２７Ａに格納されるので、その必要な容量は、量子化前のベクトル量が格納される図２のメモリ２７のそれより少なくなる。
【００６６】
他の点は、上記実施例１と同一である。
【００６７】
次に、上記実施例２の効果を示す実験結果について説明する。
【００６８】
（１）衝突動作パターンに対するモデルパラメータλ１の決定 状態数Ｎ＝７とした。ａijの初期値を、
ｉ＝１〜６の各々についてａii＝０．５
ａ77＝１．０とし、ｂijの初期値を、
ｉ＝１〜６、ｊ＝ｉ＋１、ｋ＝０〜２の各々について、
ｂii（ｋ）＝０．１０、ｂij（ｋ）＝０．１０
ｉ＝７、ｋ＝０〜２の各々について、
ｂii（ｋ）＝０．１０
ｉ＝１〜６、ｊ＝ｉ＋１、ｋ＝３〜１２の各々について、
ｂii（ｋ）＝０．０７、ｂij（ｋ）＝０．０７
ｉ＝７、ｋ＝０〜２の各々について、
ｂii（ｋ）＝０．０７とした。また、初期ｔ＝０での状態確率分布を、
π1＝１、ｉ＝２〜７に対しπi＝ ０
とした、さらに、以下の表２のＮｏ１〜１０の衝突事故観測系列を学習系列とした。この学習系列はいずれも、図５又は図６に示すような同一車線上の同一方向の車間の衝突に関するものである。
【００６９】
【表２】
【００７０】
このような条件の下で、上記Ｂａｕｍ−Ｗｅｌｃｈアルゴリズムによりパラメータａijを次の表３のように決定し、パラメータｂij（０）〜ｂij（６）及びｂij（７）〜ｂij（１２）をそれぞれ以下の表４及び表５のように決定した。
【００７１】
【表３】
【００７２】
【表４】
【００７３】
【表５】
【００７４】
このモデルパラメータをλ１と表記する。
【００７５】
（２）他の動作パターンに対するモデルパラメータの決定
上記同様にして、次の２つの動作パターンに対するモデルパラメータλ２及びλ３を決定した。
【００７６】
（１）交差点で同一方向に直列に隣合った車どうしが衝突を起こさずにストップ／スタート動作（タンデム動作）するパターン 次の表６のＮｏ１〜１０の観測系列をこの動作の学習系列とした。タンデム動作は、後ろの車が前の車に接近した後、前の車が後ろの車から離れるので、衝突動作に類似している。
【００７７】
【表６】
【００７８】
上記同様にして得られたモデルパラメータをλ２と表記する。
【００７９】
（２）異なる車線で少なくとも一方が移動して他方を通過する動作（通過動作）パターン
次の表７のＮｏ１〜１０の観測系列をこの動作の学習系列とした。
【００８０】
【表７】
【００８１】
上記同様にして得られたモデルパラメータをλ３と表記する。
【００８２】
同一車線上の同一方向の車間のある衝突事故の観測系列Ｏ1、タンデムスタート／ストップ動作の観測系列Ｏ2及び通過動作の観測系列Ｏ3の各々について、モデルパラメータλ１、λ２及びλ３の下で該観測系列が生ずる確率Ｐ（Ｏi｜λｊ）＝ＥＸＰ（μij）、ｉ＝１〜３、ｊ＝１〜３の指数部μijを計算したところ、次の表８に示す結果が得られた。
【００８３】
【表８】
【００８４】
この表から、例えば、
Ｐ（Ｏ1｜λ１）／Ｐ（Ｏ2｜λ１）＝ＥＸＰ（１１．２）
Ｐ（Ｏ1｜λ１）／Ｐ（Ｏ3｜λ１）＝ＥＸＰ（２９．７）
と確率比が大きく、動作分離性能が高いことがわかる。
【００８５】
次に、衝突事故のＨＭＭモデルにおける状態の理解を深めるための解析結果を説明する。
【００８６】
図１４は、ＨＭＭモデルにおいて、衝突動作(Accident)とこれに類似したタンデム動作(Tandem)との区別の程度が状態数Ｎによりどのように変化するかの解析結果を示す。モデルパラメータは、４０の衝突事故の観測系列を学習系列として決定した。横軸は状態数Ｎであり、縦軸はこのモデルで計算された観測系列の確率Ｐ＝ＥＸＰ（μ）の指数部を、複数の観測系列について合計し、さらに−１を乗じた値である。図１４中のAccidentは、前記４０の観測系列に関するものであり、Tandemは他の４０のタンデム動作の観測系列に関するものである。
【００８７】
この図から、Ｎが６又は７以上でTandemとAccidentの区別がよくできることが分かる。
【００８８】
図１５は、Ｎ＝７のときの上記モデルパラメータの下で、状態ｉから状態ｊ＝ｉ＋１に遷移し又は状態ｊに留まって観測量Ｏを出力する確率（ｂij（Ｏ）＋ｂjj（Ｏ））の具体例を視覚的に示す３次元棒グラフである。
【００８９】
ＨＭＭの状態には明示的な意味はないが、このグラフから、状態を次のように解釈することができる。
【００９０】
無干渉（状態１及び２）：観測量０
接近（状態３）：観測量１又は２
急接近（状態４）：観測量３
衝突の瞬間（状態５）：観測量０
反動（状態６）：観測量７又は８
停止（状態７）：観測量０
【実施例３】
【００９１】
図１６は、本発明の実施例３に係る画像認識装置２０Ｂのハードウェア及びソフトウェアの構成を機能ブロックで示している。
【００９２】
図１０とは、構成要素３４〜４０のみ異なる。まず、構成要素３５〜３９での処理を概説する。
【００９３】
画像メモリ２１の１フレームが４８０×６４０ピクセルの場合、８×８ピクセルを１ブロックとし、１フレームを６０×８０ブロックに分割する。ブロック単位で移動物体が存在するかどうかを判断し、存在すれば、移動物体毎に異なる識別符号を付す。図１１では、升目がブロックを示しており、図１中の車Ｍ１〜Ｍ６に対応してそれぞれ識別符号１〜６の情報がブロック単位で書き込まれている。典型的には、一つの移動物体に５〜３０程度のブロックが属する。移動物体としては、車、バイク、自転車、人などがある。
【００９４】
移動物体識別番号（ＩＤ）の生成及び消滅処理を行うために、図１７に示す如く、フレーム上（画像メモリ２１内）において、交差点への４つの入口及び交差点からの４つの出口にそれぞれスリットＥＮ１〜ＥＮ４及びＥＸ１〜ＥＸ４を初期設定しておく。
【００９５】
次に、構成要素３４〜４０での処理の詳細を説明する。
【００９６】
背景画像は、移動物体が存在しない画像である。背景画像生成部３４は、画像メモリ２１をアクセスし、例えば過去１０分間の全画像について、対応するピクセルの画素値のヒストグラムを作成し、その最頻値（モード）をそのピクセルの画素値とする画像を背景画像として生成し、画像メモリ２１内の所定領域に格納する。背景画像は、背景画像生成部３４により定期的に更新される。
【００９７】
ブロック情報メモリ３５は、６０×８０ブロック及び移動物体の情報を記憶するためのものであり、構成要素３５〜３９及びＶ／Ｄ計算部２６によりアクセスされる。画像メモリ２１内のブロックは、アドレスにより識別される。なお、画像メモリ２１とブロック情報メモリ３５とは同一メモリ内の異なる記憶領域であってもよい。
【００９８】
ＩＤ生成／消滅部３６は、画像メモリ２１から入口スリットＥＮ１〜ＥＮ４内の画像データを読み込み、これらスリット内に移動物体が存在するかどうかをブロック単位で判定する。あるブロックに移動物体が存在するかどうかは、このブロックの各ピクセルと背景画像の対応するピクセルとの差の絶対値の総和が所定値以上であるかどうかにより判定する。
【００９９】
入口スリット内の移動物体存在ブロックが、識別符号を持ったブロックと隣接していない場合には、該移動物体存在ブロックに新たなＩＤを付す。
【０１００】
移動物体が存在すると判定された隣接ブロックに同一ＩＤを付すことにより、該移動物体に対応したクラスタができる。例えば図１７中の入口スリットＥＮ１内にはＩＤ＝１が生成されている。新たな移動物体のブロックが、すでに存在する移動物体のブロックと隣接しているときには、すでに存在する移動物体のＩＤと同じにする。例えば図１７中の入口スリットＥＮ４内の移動物体存在ブロックには、すでに存在する移動物体のＩＤと同じＩＤ＝５が付加される。
【０１０１】
ＩＤ生成／消滅部３６はさらに、画像メモリ２１から出口スリットＥＸ１〜ＥＸ４内の画像データを読み込み、これらスリット内に移動物体が存在するかどうかをブロック単位で判定し、出口スリットを移動物体が通過したときにそのＩＤを消滅させる。例えば図１７中の出口スリットＥＸ１内のブロックにＩＤが付されている状態から、ＩＤが付されない状態に変化したときに、ＩＤ＝３を消滅させる。消滅ＩＤは、次の生成ＩＤとして用いることができる。
【０１０２】
動きベクトル算出部３７は、画像メモリ２１から画像データを読み込み、時刻（ｔ−１）での前フレーム中の移動物体に属するブロック毎に独立に、これと時刻ｔでの現フレーム内の位置可変ブロックとの間で、MPEGの符号化で用いられているブロックマッチングを適用して、該ブロックの動きベクトルを求める。動きベクトル算出部３７はさらに、移動物体毎に、求めた複数の動きベクトルの代表値、例えばモード、メジアン又は平均値を、その移動物体の動きベクトルと推定し、これを、該移動物体の情報としてブロック情報メモリ３５に書き込む。代表値がメジアン又は平均値である場合には、中心分布から著しく離れる動きベクトルを除外した後に代表値を求めることにより、より正確な値を得るようにしてもよい。
【０１０３】
例えば４ブロックの移動物体の動きベクトルが図２０（Ａ）に示す細線ベクトルである場合、平均値である太線ベクトルをこの移動物体の動きベクトルと推定する。
【０１０４】
これにより、右折や左折する移動物体の速度を高精度で測定して、衝突事故の認識率を高めることが可能となる。
【０１０５】
動きベクトル算出部３７は、図１７に示すＩＤ＝２のような欠落のない移動物体のみならず、ＩＤ＝１、３及び５のような移動物体一部についても、その動きベクトルを推定する。
【０１０６】
なお、MPEGでの動きベクトルは、データ圧縮のためのものであって、クラスタ単位の動きベクトルという概念はない。また、動きベクトルが小さい場合には、ブロックマッチングの他にオプティカルフローの推定も有用な手法として用いることができる。
【０１０７】
ある移動物体に属するブロック内の各ピクセルの色がほぼ同一である場合、すなわちテクスチャの少ないブロックがクラスタに存在する場合、ブロックマッチングやオプティカルフローなどの手法により正確な動きベクトルを得ることができない。
【０１０８】
そこで動きベクトル算出部３７は、このようなブロック、例えばそのブロック内の全画素値の散布度、例えば分散σ2、標準偏差σ、平均偏差ＭＤ、四分偏差ＱＤ、範囲Ｒ又はエントロピーなどが所定値以下であるブロックについては、動きベクトルを求めず、移動物体の動きベクトル推定に使用しない。この場合であっても、タイヤの部分のように色が一様でないブロック群が存在するので、動きベクトル算出部３７は移動物体の動きベクトルを推定することができる。
【０１０９】
動きベクトルを求めるべきブロックであるかどうかを判断するのに、エッジ画像を利用することができる。すなわち、原画像に対しエッジ強調処理を行い、次いで２値画像に変換し、ブロック内に‘１’のエッジ画素の数が所定値以下であれば、動きベクトルを求めるのに適しないブロックと判定してもよい。エッジ強調画像は、原画像に１次微分オペレータ又はラプラシアンオペレータなどの２次微分オペレータをかけて簡単なフィルタ処理を行うことにより得られる。エッジ画像取得には、Sobel、Roberts又はPrewittなどの公知手法を用いてもよい。
【０１１０】
次に、移動物体更新部３８での処理の具体例を説明する。
【０１１１】
図１８は、車がカメラ側へ向かった後、車から見て右折する場合の、移動物体更新部の処理説明図である。
【０１１２】
画像Ｐ１中の車のクラスタ（ドット領域）を、上記のようにして求めた動きベクトルだけ平行移動させると、次フレームの予測画像Ｐ２が得られる。この予測画像のクラスタ周囲を、１ブロック外側まで拡大させて、太線で境界を示す領域を考える。次フレームの実際の画像は、Ｐ３であるとする。この場合、移動物体更新部３８は、予測画像Ｐ２の拡大領域（太線枠内）に対応する画像メモリ２１内の領域について、ブロック毎に、上記のように移動物体が存在するかどうかを判定し、存在すると判定されたブロックに対しては、画像Ｐ１中のクラスタに付されたＩＤと同じＩＤを付す。このようにして更新されたクラスタを予測画像Ｐ２中のクラスタと比較すると、結果として、予測クラスタから削除されたブロック（斜線部）と、予測クラスタに追加されたブロック（縦線部）とがある。
【０１１３】
すなわち、移動物体更新部３８は、ブロック情報メモリ３５から移動物体のオブジェクトマップ及び動きベクトルを読み込み、この動きベクトルだけ、該移動物体を該オブジェクトマップ内で平行移動させ、さらにその周囲を拡大した範囲について、画像メモリ２１内の現フレームに移動物体が存在するかどうかをブロック毎に判定することにより、該移動物体のクラスタを更新する。この動きベクトルは、時刻（ｔ−１）でのフレームと時刻ｔでのフレームとの間で動きベクトル算出部３７により求められたものであり、画像メモリ２１内の現フレームは時刻（ｔ＋１）でのものである。
【０１１４】
このようにすることにより、カメラに分離して写っていた車同士がその後、隣接し、その際にカメラと移動物体との間の距離及びアングルに依存してクラスタのブロック数や形が変化しても、両者を異なる車として認識することが可能になる。例えば図１９（Ａ）に示す１つのクラスタを２台の車として認識することができる。
【０１１５】
移動物体更新部３８は、前記拡大範囲が移動物体間で重なった場合、重なったブロックがどの移動物体に属するかどうかが不明であるので、重なったブロックはいずれの移動物体にも属さないとみなし、移動物体が存在するかどうかを判定しない、すなわち重なったブロックにはＩＤを付加しない。
【０１１６】
これにより、カメラに分離して写っていた車同士がその後、重なり、その際にカメラと移動物体との間の距離及びアングルに依存してクラスタのブロック数や形が変化しても、両者の動きベクトルが不正確になるのを防止することができる。
【０１１７】
したがって、このような重なりや変化により衝突事故の判定ができなくなるのを防止することができる。
【０１１８】
入口スリットなどで複数の移動物体が重なって写り、単一クラスタと認識されても、動きベクトル算出部３７でブロック毎に動きベクトルを求めたとき、図２０（Ｂ）に示すように動きベクトルが複数のグループに分かれる場合には、移動物体分割部３９はグループ毎に異なる移動物体と認識する。そして、これにともなって新たなＩＤを生成し、各移動物体の動きベクトルを上記のように推定し、各移動物体のこれらＩＤ及び動きベクトルをブロック情報メモリ３５に書き込む。
【０１１９】
移動物体分割部３９はまた、動きベクトルが複数のグループに分かれなくても、ブロック情報メモリ３５内のオブジェクトマップについて、例えば時刻ｔで図１９（Ａ）に示す単一クラスタが、次の時刻（ｔ＋１）で図１９（Ｂ）に示すように２つのクラスタに分かれたとき、互いに異なる移動物体と認識し、これにともなって新たなＩＤを生成しこれをブロック情報メモリ３５に書き込む。
【０１２０】
移動物体間距離算出部４０は、ブロック情報メモリ３５内のオブジェクトマップから、移動物体間の最短距離ｄを求め、これをその２つのＩＤと共にＶ／Ｄ計算部２６に供給する。Ｖ／Ｄ計算部２６は、この２つのＩＤの動きベクトルをブロック情報メモリ３５から読み出し、上述の衝突危険度Ｖ／（ｄ＋ε）を算出する。
【０１２１】
他の点は、上記実施例２と同一である。
【０１２２】
以下の表９は、本実施例３の装置による認識実験の結果を示す。衝突、タンデム及び通過の動作を認識するためのモデルパラメータの決定には、衝突、タンデム及び通過の動作の各々について４０個の学習系列を用いた。上記モデルパラメータλ１、λ２及びλ３に対応したこの場合のモデルパラメータをそれぞれλ１ａ、λ２ａ及びλ３ａと表記する。
【０１２３】
【表９】
【０１２４】
認識される観測系列のうち、Ｏ1、Ｏ2及びＯ3は上記実施例２で述べたものと同一であって、それぞれ衝突、タンデム及び通過の動作を示している。Ｏ1Aは、Ｏ1と異なる交差点での衝突の観測系列である。
【実施例４】
【０１２５】
図２１は、本発明の実施例４に係る画像認識装置を示している。
【０１２６】
画像処理装置４１は、図１６の装置２０Ｂから類似度計算部３２及び衝突事故判定部３３を除いた部分と同一である。画像認識装置は、画像処理装置４１と、これら要素３２及び３３の替わりに用いられるデコーダ４２、シフトレジスタ４３、ニューラルネットワーク４４及びコンパレータ４５とを備えている。
【０１２７】
デコーダ４２は、観測系列切り出し部２９Ａからの４ビット観測量をデコードして、１ビットのみ‘１’である１３ビットにし、シフトレジスタ４３の初段に供給する。シフトレジスタ４３は、１３×２０＝２６０個のフリップフロップを備え、すなわち２０ビットのシフトレジスタを１３個備え、図２２に示す如く、１ワード＝１３ビットの観測量を時刻ｔ＝０〜１９について保持している。ｔ＝１９がシフトレジスタ４３の初段に相当している。
【０１２８】
すなわち、シフトレジスタ４３には、事故を判定可能な数の観測量からなる観測系列の２値パターンが一時記憶されている。
【０１２９】
図２２に示す、シフトレジスタ４３に同時に保持されている観測系列は、衝突事故を示しており、その観測量は、ｔ＝０〜３で０（無干渉）、ｔ＝３及び４で１（接近）、ｔ＝５〜７で３（急接近）、ｔ＝８〜１０で０（衝突）、ｔ＝１１で８（反動）、ｔ＝１２〜１４で７（反動）、ｔ＝１５〜１９で０（停止）である。
【０１３０】
ニューラルネットワーク４４は一般的な構成であり、入力層、中間層及び出力層を備えている。入力層のノード数は、シフトレジスタ４３のビット数２６０に等しく、各ノードの入力値は‘０’または‘１’である。入力層のノードにはそれぞれシフトレジスタ４３のビットが供給される。すなわち、シフトレジスタ４３の全ビットが入力パターンとして、ニューラルネットワーク４４の入力層に供給される。ニューラルネットワーク４４の中間層のノード数は思考錯誤で定められ、例えば５０である。本実施例４では、衝突事故のみを判定するので、出力層のノード数は１であり、そのノードの出力値の範囲は０〜１である。
【０１３１】
ニューラルネットワーク４４の出力は、参照系列に対する類似度を示しており、コンパレータ４５の一方の入力端に供給され、コンパレータ４５の他方の入力端には参照値として０．５が供給される。ニューラルネットワーク４４の出力が０．５より大きいとき、コンパレータ４５の出力が‘１’となって、衝突事故と認識される。
【０１３２】
ニューラルネットワーク４４のパラメータは、例えば通常のバックプロパゲーションアリゴリズムでトレーニングされて定められる。前記参照系列は、このパラメータを定めるための学習系列と考えることができる。
【０１３３】
以下の表１０は、図２３の装置による認識実験の結果を示す。但し、ニューラルネットワーク４４の中間層及び出力層のノード数をそれぞれ５０及び３として、衝突のみならず上述のタンデム及び通過の動作も認識できるようにした。
【０１３４】
【表１０】
【０１３５】
この実験に使用した学習系列は、上記実施例３で述べたものと同一である。また、認識される観測系列も上記実施例３で述べたものと同一である。
【０１３６】
Ｏ1Aに対する上記実施例３での識結果は正しかったが、表１０はこれに対する認識結果が間違っていることを示している。
【０１３７】
これは、ＨＭＭとニューラルネットワーク４４との本質的な相違に基ずくものと考えられる。すなわち、ＨＭＭでは状態遷移において同じ状態に留まる場合を考慮するので、少ない学習データで時間軸方向に関し伸縮した様々な類似パターンを吸収することができ、これにより高い認識率が得られると考えられる。ニューラルネットワーク４４の欠点を解消するためには、学習データ数を増やせばよい。
【０１３８】
ニューラルネットワーク４４を用いたことの利点は、リアルタイムで観測系列全体を同時入力することができるので、高速処理が可能になるということである。
【実施例５】
【０１３９】
図２３は、本発明の実施例５に係る画像認識装置を示している。
【０１４０】
画像処理装置４１Ａは、図２１の画像処理装置４１に部分系列観測確率算出部４６を付加したものである。部分系列観測確率算出部４６は、観測系列切り出し部２９Ａから観測量が供給される毎に、上述の、ＨＭＭにおける部分系列観測確率α（ｉ，ｔ）、すなわち時刻ｔまでに観測系列｛Ｏ1Ｏ2...Ｏt｝を出力し、状態ｉになる確率を、全ての状態ｉ＝１〜Ｎについて算出して出力する。α（１，ｔ）〜α（Ｎ，ｔ）は同時に、シフトレジスタ４３Ａの入力段に供給される。α（ｉ，ｔ）が小数であるので、シフトレジスタ４３Ａのビット数は図２１のそれよりも多い。
【０１４１】
図２４は、上述の観測系列Ｏ1に対応しており、部分系列観測確率α（１，ｔ）〜α（７，ｔ）がｔ＝０〜１９についてシフトレジスタ４３Ａに保持された場合のデータパターンを示している。
【０１４２】
任意の時点におけるシフトレジスタ４３Ａ内のデータ数は７×２０＝１４０であり、それぞれニューラルネットワーク４４Ａの入力層のノードに供給される。ニューラルネットワーク４４Ａの入力層の各ノードの入力値は、０〜１の範囲の小数である。ニューラルネットワーク４４Ａの出力は、コンパレータ４５の一方の入力端に供給され、図２１と同様にして衝突事故が認識される。
【０１４３】
図２５〜２７はそれぞれ、上述の観測系列Ｏ1A、Ｏ2及びＯ3に対応した、ｔ＝０〜１９についての部分系列観測確率α（１，ｔ）〜α（７，ｔ）のデータパターンを示している。
【０１４４】
以下の表１１は、ニューラルネットワーク４４Ａの出力層のノード数を３にして衝突、タンデム及び通過を認識可能にした場合の、表１０に対応した認識実験結果を示す。部分系列観測確率α（１，ｔ）〜α（Ｎ，ｔ）はＨＭＭモデルパラメータに依存するが、衝突のそれを用いた。タンデム及び通過のそれを用いても、学習系列が互いに類似しているので、同様の結果が得られると考えられる。
【０１４５】
【表１１】
【０１４６】
この表から、実施例５のほうが実施例４よりも認識率が高いことが分かる。
【実施例６】
【０１４７】
上記実施例３では、移動物体更新部３８において、時点（ｔ−１）で予測した時点ｔでの移動物体の拡大範囲が他の移動物体のそれと重なった場合、重なったブロックがいずれの移動物体にも属さないとみなし、移動物体ＩＤを付加しなかった。
【０１４８】
しかし、移動物体の重なり部分の割合が大きくなると、重なり部分について料移動物体の情報がなくなるので、両移動物体を正確にトレースすることができなくなる。
【０１４９】
画像上でこのような移動物体間の重なりが生じて、カメラから見て背面側の移動物体の一部が見えなくなっても、カメラから見て前面側の移動物体は見えるので、そのブロックがどの移動物体に属するかを、簡単な画像処理により推定することを考える。また、時刻ｔにおいて、移動物体間が重なっていないが接近しているため同一ブロック（混合ブロック）に２つの移動物体の一部が属する場合であっても、時刻（ｔ−１）では該一部がそれぞれ異なるブロックに属している場合がある。この場合、時刻（ｔ−１）での画像を参照することにより、混合ブロックにどちらの移動物体がより多く属しているかを容易に推定することを考える。
【０１５０】
図２８は、このような推定を用いて移動物体をより正確にトレースすることを可能にする本発明の実施例６に係る画像認識装置２０Ｃを示す。
【０１５１】
この装置は、画像メモリ２１、ブロック情報メモリ３５及び移動物体更新部３８に接続された不明ＩＤ決定部４７を備えている点で、図１６の画像認識装置２０Ｂと異なる。
【０１５２】
上述のように、移動物体更新部３８は、ブロック情報メモリ３５に格納されている時点（ｔ−１）でのオブジェクトマップ及び各クラスタの動きベクトルと、画像メモリ２１に格納されている時点ｔでのフレーム画像とに基づいて、時点ｔでのオブジェクトマップを作成する。作成中において、移動物体が存在すると判定されたが上記のように移動物体ＩＤが付されなかったブロック（ＩＤ不明ブロック）が存在した場合には、作成後に、これを不明ＩＤ決定部４７に通知する。
【０１５３】
不明ＩＤ決定部４７は、これに応答して、以下のようにしてＩＤ不明ブロックの移動物体ＩＤを決定する。
【０１５４】
図２９は、不明ＩＤ決定部４７の入出力関係を模式的に示す。
【０１５５】
図２９中、Ｆ１及びＦ２はそれぞれ時点（ｔ−１）及びｔでの、図２８の画像メモリ２１に格納されているフレーム画像の一部を概略的に示す。１つの枡目は１画素を表している。ＢＬ１（ｔ−１）及びＢＬ１（ｔ）はそれぞれ、時点（ｔ−１）及びｔでの移動物体Ｍ１の境界線であり。ＢＬ２（ｔ）は時点ｔでの移動物体Ｍ２の境界線である。
【０１５６】
Ｑ１及びＱ２はそれぞれフレーム画像Ｆ１及びＦ２に対応した、図２８のブロック情報メモリ３５に格納されているオブジェクトマップの概略を示す図である。１つの枡目は１つのブロックを表している。オブジェクトマップは、移動体ＩＤを持っているブロックと持っていないブロックとからなる。図２９では理解を容易にするために、オブジェクトマップ中にも移動物体の境界線を太線で表している。オブジェクトマップＱ１及びＱ２中のハッチングは、ＩＤが付されたブロックであることを示している。右上がり斜線が付されたブロックはＩＤ＝１を持ち、右下がり斜線が付されたブロックはＩＤ＝２を持っている。
【０１５７】
オブジェクトマップＱ２中のブロックＢ１、Ｂ２及びＢ３のいずれにも移動物体Ｍ１とＭ２の一部が含まれているので、移動物体更新部３８は、これらのブロックがいずれの移動物体に属するかを判定することができない。
【０１５８】
不明ＩＤ決定部４７は、これらフレーム画像Ｆ１、Ｆ２、オブジェクトマップＱ１及びＱ２並びに移動物体Ｍ１及びＭ２の動きベクトルに基づき、ブロックＢ１、Ｂ２及びＢ３のＩＤを決定して、オブジェクトマップＱ３を得る。
【０１５９】
以下、オブジェクトマップＱ２中のブロックＢ２が移動物体Ｍ１とＭ２のいずれに属するかを決定する方法を、具体的に説明する。この決定は、ブロックＢ２が移動物体Ｍ１であると仮定したときの評価値と、ブロックＢ２が移動物体Ｍ２であると仮定したときの評価値との大小関係に基づいて行なわれる。評価値は、以下の要素（１）〜（３）を含んである。
【０１６０】
（１）時点ｔでのオブジェクトマップのみに関係した評価要素ＵＮ
ブロックＢ２と隣接する９ブロックについて、ＩＤ＝１を持ったブロックの数Ｎ１が多いほどブロックＢ２が移動物体Ｍ１のブロックである確度が高いと考えられる。そこで、ブロックＢ２のＩＤが１であることを評価する要素ＵＮ（１）を例えば次式で表す。
【０１６１】
ＵＮ（１）＝α（Ｎ１−９）2
ここに、αは正の定数である。ＵＮ（１）の値が小さいほどブロックＢ２が移動物体Ｍ１に属する確度が高いと言える。
【０１６２】
同様に、ブロックＢ２のＩＤが２であることを評価する要素ＵＮ（２）を次式で表す。
【０１６３】
ＵＮ（２）＝α（Ｎ２−９）2
ここにＮ２は、ブロックＢ２と隣接する９ブロックのうち、ＩＤ＝２を持ったブロックの数である。
【０１６４】
図２９の場合、ＵＮ（１）＝１６α、ＵＮ（２）＝６４αである。したがって、オブジェクトマップＱ２のみから判断すると、ブロックＢ２は、ＩＤ＝１である確度が、ＩＤ＝２である確度よりも高いと言える。
【０１６５】
（２）時点（ｔ−１）でのオブジェクトマップと移動物体の動きベクトルとに関係した評価要素ＵＳ
図３０（Ａ）は大略、図２９中のオブジェクトマップＱ１とＱ２とを重ね合わせ、かつ、ハッチングを削除したものである。図中、ＭＶ１は移動物体Ｍ１の動きベクトルであり、点線はＢＬ１（ｔ−１）をＭＶだけ平行移動させたものである。
【０１６６】
図３０（Ｂ）に示す如く、ブロックＢ２を−ＭＶ１だけ平行移動させることにより、移動物体Ｍ１に固定された座標系から見て、時点（ｔ−１）でのブロックＢ２に対応すると推定される判定枠Ｂ２１が得られる。時点ｔでブロックＢ２に移動物体Ｍ１の一部と移動物体Ｍ２の一部とが含まれていても、時点（ｔ−１）で判定枠Ｂ２１には移動物体Ｍ２の一部が含まれていない場合があり、この場合、判定枠Ｂ２１内を見ることにより、ブロックＢ２がＩＤ＝１であるかどうかをより正確に推定することが可能となる。
【０１６７】
判定枠Ｂ２１内の右上がり斜線部（ＩＤ＝１の部分）の面積Ｓ１が広いほど、ブロックＢ２がＩＤ＝１を持つことの確度が高くなると考えられる。
【０１６８】
そこで、オブジェクトマップの各ブロックを、８×８の同一ＩＤアレイに拡大したマップを作成し、この拡大マップ上で、図３１（Ａ）に示す如く、ＩＤ＝１の画素の個数を数えることにより、斜線部面積Ｓ１を求める。図３１（Ａ）中の斜線部はＩＤ＝１の領域を示している。Ｓ１が６４であるとき、ＩＤ＝１である確度が最大となる。そこで、ブロックＢ２のＩＤが１であることを評価する要素ＵＳ（１）を例えば次式で表す。
【０１６９】
ＵＳ（１）＝β（Ｓ１−６４）2
ここに、βは正の定数である。ＵＳ（１）の値が小さいほどブロックＢ２が移動物体Ｍ１に属する確度が高いと言える。
【０１７０】
同様に、ブロックＢ２のＩＤが２であることを評価する要素ＵＳ（２）を次式で表す。
【０１７１】
ＵＳ（２）＝β（Ｓ２−６４）2
ここにＳ２は、図３１（Ａ）に示す如く、ブロックＢ２を−ＭＶ２だけ平行移動させて得られる判定枠Ｂ２２内のＩＤ＝２の個数（右下がり斜線部面積）である。ＭＶ２は、移動物体Ｍ２の動きベクトルである。
【０１７２】
（３）時点ｔ及び（ｔ−１）でのフレーム画像と移動物体の動きベクトルとに関係した評価要素ＵＤ
図３０（Ｂ）のブロックＢ２と判定枠Ｂ２１とに対応した図２９のフレーム画像Ｆ２及びＦ１中の局所画像の相関が強いほど、ブロックＢ２がＩＤ＝１である確度が高いと言える。図３１（Ｂ）に示すＢ２Ｆ及びＢ２１Ｆはそれぞれ、図３０中のブロックＢ２及び判定枠Ｂ２１に対応したフレーム画像Ｆ２及びＦ１中の局所画像を示す。
【０１７３】
ブロックＢ２のＩＤが１であることを評価する要素ＵＤ（１）を例えば次式で表す。
【０１７４】
ＵＤ（１）＝γΣ｜Ｂ２１Ｆ（ｉ，ｊ）−Ｂ２Ｆ（ｉ，ｊ）｜
ここに、γは正の定数であり，Ｂ２１Ｆ（ｉ，ｊ）及びＢ２Ｆ（ｉ，ｊ）はそれぞれ局所画像Ｂ２Ｆ及びＢ２１Ｆ内の第ｉ行第ｊ列の画素値であり、Σはｉ＝１〜８及びｊ＝１〜８についての総和（ブロック内全画素についての総和）を意味している。
【０１７５】
ＵＤ（１）の値が小さいほどブロックＢ２が移動物体Ｍ１に属する確度が高いと言える。
【０１７６】
同様に、ブロックＢ２のＩＤが２であることを評価する要素ＵＤ（２）を次式で表す。
【０１７７】
ＵＤ（１）＝γΣ｜Ｂ２２Ｆ（ｉ，ｊ）−Ｂ２Ｆ（ｉ，ｊ）｜
ここに、Ｂ２２Ｆ（ｉ，ｊ）は局所画像Ｂ２２Ｆ内の第ｉ行第ｊ列の画素値であり、局所画像Ｂ２２Ｆは図３１（Ａ）中の判定枠Ｂ２２に対応したフレーム画像Ｆ１中の局所画像である。
【０１７８】
不明ＩＤブロックのＩＤをより正確に推定するために、以上の（１）〜（３）を総合し、評価関数の値
Ｕ（１）＝ＵＮ（１）＋ＵＳ（１）＋ＵＤ（１）
と、
Ｕ（２）＝ＵＮ（２）＋ＵＳ（２）＋ＵＤ（２）
との大小関係に基づいて、ブロックＢ２のＩＤを決定する。すなわち、
Ｕ１２＝Ｕ（１）−Ｕ（２）
の値が負であればＩＤ＝１と決定し、正であればＩＤ２＝２と決定する。Ｕ（１）及びＵ（２）の最小値はいずれも０である。Ｕ１２の値が小さいほど、ブロックＢ２がＩＤ＝１である確度が高くなる。
【０１７９】
図２９のオブジェクトマップＱ２において、上記具体例ではブロックＢ１及びＢ３のＩＤを考慮しなかったが、実際には、ブロックＢ１、Ｂ２及びＢ３のＩＤを同時に仮定し、ブロックＢ１、Ｂ２及びＢ３の各々の評価関数の総和が最小となるように、ブロックＢ１、Ｂ２及びＢ３のＩＤを決定する。 この際、メトロポリス（Metropolis）アルゴリズム又はギッブスサンプラー（Gibbs Sampler）アルゴリズムなどの確率的緩和アルゴリズムを用いて最小値へ導く。また、評価値の極小値を最小値と間違えないようにするとともに、極小の谷から速く脱出するために、公知のシミュレーティッドアニーリング（Simulated Annealing）法を適用する。
【０１８０】
これにより、複数のＩＤ不明ブロックのＩＤを、より正確かつ容易に決定することができる。
【０１８１】
定数α、β及びγは、実際の画像を処理して、移動物体トラッキング成功率が高くなるように定められる。
【０１８２】
本発明者らは、上記のような評価関数を用いることが適切であることを数学的に確かめた。すなわち、マルコフ・ランダム・フィールド（Markov Random Field）モデルを時空間画像に拡張して適用し、表現された画像のエネルギー分布を確率緩和過程により最適化した結果、上記結果評価関数の最小化と同一になった。この点は、後述する実施例７についても同様である。
【０１８３】
なお、上記入口スリットで複数の移動物体が重なって写り、単一クラスタと認識された場合、これを不明ＩＤ決定部４７で分離認識できないので、移動物体分割部３９は本実施例６においても用いられる。
【０１８４】
次の表１２は、本実施例６を適用した実験結果を示す。
【０１８５】
【表１２】
【０１８６】
フレーム画像は、カラーではなく８ビットの濃淡画像を用いた。
【０１８７】
この表は、移動物体のトラキックング成功率を、画像中の垂直方向と水平方向の交通の流れに分けて示している。表は、交差点での実際の画像を解析して得られたものであり、複雑な交通の流れも上記いずれかの場合に分けられている。
【０１８８】
トラッキングが失敗した例は、一方の移動物体中に他方の移動物体が完全に重なった場合であった。水平方向のトラッキング成功率が、左右方向のそれよりも高い理由は、左右方向の交通の方が、移動物体間の重なりが垂直方向のそれよりも大きいためである。
【実施例７】
【０１８９】
上記実施例６では、時点ｔでのＩＤ不明ブロックが、互いに接近し又は重なった移動物体Ｍ１又はＭ２に属すると仮定して評価関数の値の大小関係に基づき不明ＩＤを決定した。
【０１９０】
しかし、１つのブロックに３以上の移動物体の一部が含まれる場合がある。また、多くの移動物体について、互いに接近しようとしている移動物体がどれであるかを判断しなければならない。
【０１９１】
他方、評価要素ＵＳ及びＵＤはいずれも、時点ｔと時点（ｔ−１）での相関度が低いブロック間では値が大きく高いブロック間では値が小さい。これらの値を見るだけで上記のことを判断することができる。また、評価値の計算は容易である。
【０１９２】
そこで、本発明の実施例７では、図２８の不明ＩＤ決定部４７において、ＩＤ不明ブロックは、時点（ｔ−１）のオブジェクトマップに含まれる全てのＩＤ＝１〜ｍのいずれかを持つと考えて、評価関数の値の大小関係に基づき不明ＩＤを決定する。
【０１９３】
時点ｔでのＩＤ不明ブロックを、ＢＫ１〜ＢＫｐで表し、ＩＤ不明ブロックＢＫｉのＩＤがＩＤｊ（１≦ＩＤｊ≦ｍ）であると仮定したときの、ＩＤ不明ブロックＢＫｉの上記評価関数Ｕ＝ＵＮ＋ＵＳ＋ＵＤの値をＵ（ＢＫｉ，ＩＤｊ）で表すと，次のようにしてＩＤ不明ブロックＢＫ１〜ＢＫｐのＩＤを決定する。
【０１９４】
すなわち、ＩＤ不明ブロックＢＫ１〜ＢＫｐのＩＤをそれぞれＩＤ１〜ＩＤｐと仮定し、評価関数の値
ＵＴ＝Ｕ（ＢＫ１，ＩＤ１）＋Ｕ（ＢＫ２，ＩＤ２）＋・・・＋Ｕ（ＢＫｐ，ＩＤｐ）を計算する。この値が最小になるＩＤ１〜ＩＤｐを、繰り返し計算により求め、求めたものをＩＤ不明ブロックＢＫ１〜ＢＫｐのＩＤと決定する。この繰り返し計算において、上記確率的緩和アルゴリズム及びシミュレーティッドアニーリング法を適用する。
【０１９５】
他の点は上記実施例６と同一である。
【０１９６】
次に、図３２を参照して、メトロポリスアルゴリズムを用いて解を求める場合を説明する。
【０１９７】
（Ｓ１）ＩＤ不明ブロックＢＫ１〜ＢＫｐの識別符号ＩＤ１〜ＩＤｐ及びその解ＩＩＤ１〜ＩＩＤｐに初期値ＩＤ１０〜ＩＤｐ０を与える。ｉ及びｊに初期値１を代入する（ｉ←１、ｊ←１）。ＵＴの前回値ＵＴＢに、大きな初期値ＵＴＢmaxを与える。
【０１９８】
（Ｓ２）評価関数の値
ＵＴ＝Ｕ（ＢＫ１，ＩＤ１）＋Ｕ（ＢＫ２，ＩＤ２）＋・・・＋Ｕ（ＢＫｐ，ＩＤｐ）
を計算する。
【０１９９】
（Ｓ３、Ｓ４）ＵＴ＜ＵＴＢであれば、ＩＩＤｉ←ＩＤｉ、ＵＴＢ←ＵＴ。
【０２００】
（Ｓ５）ｊ←ｊ＋１
（Ｓ６、Ｓ７）ｊ≦ｍであればブロックＢＫｉのＩＤｉの値を更新してステップＳ２へ戻り、そうでなければ次のステップＳ６へ進む。
【０２０１】
（Ｓ８）ＩＤｉ←ＩＩＤｉ、ｉ←ｉ＋１
（Ｓ９）ｉ≦ｐであればステップＳ２へ戻り、そうでなければ処理を終了する。
【０２０２】
このようにして、ＩＤ不明ブロックＢＫ１〜ＢＫｐのＩＤがそれそれＩＩＤ１〜ＩＩＤｐと決定される。
【０２０３】
理論的には、時点ｔでの全ブロックをＩＤ不明ブロックとして上記計算により適正なＩＤを決定可能である。
【０２０４】
なお、本発明には外にも種々の変形例が含まれる。
【０２０５】
例えば、類似度計算部３２ではパターンマッチング度を求めてもよい。例えば、図４において観測量の相違度を、横切る境界線の数と定義する。例えば、観測量０と０は相違度０、観測量０と７は相違度１、観測量４と８は相違度２である。参照系列が｛１,２,０｝で観測系列が｛３,２,１｝の場合、対応する成分間の相違度を求め、その総和（２＋０＋１）の逆数１／３を一致度として求め、複数の参照系列について同様の計算を行い、そのうち最も大きい一致度を類似度としてもよい。
【０２０６】
また、参照系列に対し観測系列を時間軸方向にずらし、ずらしたものについても類似度を計算し、最大値を最終的な類似度として求めてもよいことは勿論である。
【０２０７】
さらに、上記実施形態では、図２又は図１０の認識開始判定部２８において｜Ｖ／Ｄ｜＞Ｃと判定された場合のみＶ／Ｄ時系列切り出し部２９で切り出しを行う場合を説明したが、認識開始判定部２８、及び、時系列切り出し部２９又は２９Ａを省略し、時系列メモリ２７又は２７Ａ内の各時点における全ての時系列に対しブロック３２で確率Ｐを計算する構成であってもよい。
【０２０８】
また、本発明の適用は各種移動物体間衝突事故に限定されず、衝突以外の動作に対しても本発明を適用可能である。
【０２０９】
さらにまた、要求される処理速度によっては、図２又は図１０の画像認識装置での全処理をコンピュータで実行することも可能である。
【０２１０】
また、評価関数は上記３要素のうち少なくとも１つを含むものであればよい。各要素の上記関数は一例であり、推定の確度が上がるほど一方向に変化（単調変化）する種々の形のものを用いることができる。
【符号の説明】
【０２１１】
１０ 電子カメラ
２０、２０Ａ〜２０Ｃ 画像認識装置
２１ 画像メモリ
２２、２２Ａ 移動物体認識部
２３、２４ 位置レジスタアレイ
２５ 相対距離レジスタアレイ
２６、２６Ａ Ｖ／Ｄ計算部
２７ Ｖ／Ｄ時系列メモリ
２７Ａ Ｏ時系列メモリ
２８ 認識開始判定部
２９ Ｖ／Ｄ時系列切り出し部
２９Ａ 観測系列切り出し部
３０、３０Ａ ベクトル回転部
３１ 量子化部
３２ 類似度計算部
３３ 衝突事故判定部
Ｍ１〜Ｍ６ 車
３４ 背景画像生成部
３６ ＩＤ生成／消滅部
３７ 動きベクトル算出部
３８ 移動物体更新部
３９ 移動物体分割部
４０ 移動物体間距離算出部
４１、４１Ａ 画像処理装置
４２ デコーダ
４３、４３Ａ シフトレジスタ
４４、４４Ａ ニューラルネットワーク
４５ コンパレータ
４６ 部分系列観測確率算出部
４７ 不明ＩＤ決定部
Ｂ１、Ｂ２、Ｂ３ ブロック
Ｆ１、Ｆ２ フレーム画像
Ｑ１〜Ｑ３ オブジェクトマップ
ＭＶ１、ＭＶ２ 動きベクトル
Ｂ２１、Ｂ２２ 判定枠
Ｂ２１Ｆ、Ｂ２Ｆ 局所画像
【特許請求の範囲】
【請求項１】
電子カメラで撮影されたフレーム画像を、複数ピクセルからなるブロックに分割し、
移動物体の一部が含まれる各ブロックについて、次フレーム画像内で、該ブロックと同一形状で類似したものを見つけて、該ブロックの動きベクトルを求め、
該移動物体に含まれる複数のブロックの各動きベクトルの代表値を、該移動物体の動きベクトルと決定する、
ことを特徴とする移動物体認識方法。
【請求項２】
上記フレーム画像に入口スリット及び出口スリットを設定し、
該入口スリット内に移動物体が存在するかどうかを上記ブロックの単位で判定し、
移動物体が存在すると判定された、該入口スリット内のブロックが、識別符号を持ったブロックと隣接していない場合には、該ブロックに新たな識別符号を付し、
移動物体が存在すると判定された隣接ブロックに同一識別符号を付し、
該出口スリットを通り抜けた移動物体の識別符号を消滅させる、
ことを特徴とする請求項１記載の移動物体認識方法。
【請求項３】
撮影された前フレーム画像及び現フレーム画像が格納される画像記憶部と、
該前フレーム画像を、複数ピクセルからなるブロックに分割したときの、移動物体の一部が含まれる各ブロックについて、該現フレーム画像内で、該ブロックと同一形状で類似したものを見つけて、該ブロックの動きベクトルを求め、該移動物体に含まれる複数のブロックの各動きベクトルの代表値を、該移動物体の動きベクトルと決定する動きベクトル算出部と、
を有することを特徴とする移動物体認識装置。
【請求項４】
同一移動物体に属する上記ブロックに同一識別符号を持たせたオブジェクトマップが格納されるブロック情報記憶部と、
該オブジェクトマップに含まれる移動物体をその上記動きベクトルだけ平行移動させ、平行移動した該移動物体をその周囲のブロックまで拡大した範囲について、次フレーム画像に移動物体が存在するかどうかをブロック毎に判定し、存在すると判定されたブロックに、該平行移動前の該移動物体のブロックと同じ識別符号を付加することにより、該次フレーム画像に対応したオブジェクトマップを生成する移動物体更新部と、
をさらに有することを特徴とする請求項３記載の移動物体認識装置。
【請求項５】
電子カメラで撮影されたフレーム画像を、複数ピクセルからなるブロックに分割し、同一移動物体に属するブロックに同一識別符号を持たせたオブジェクトマップを作成し、
時間的に前後のフレーム画像に基づいて、各移動物体の動きベクトルを求める移動物体認識方法であって、
現フレーム画像について移動物体が存在すると判定されたブロックの各々が、前フレーム画像に存在する移動物体のいずれかの識別符号を持っていると仮定したときの評価関数の値の大小関係に基づいて、該存在ブロックに付与すべき識別符号を決定する、
ことを特徴とする移動物体認識方法。
【請求項６】
上記評価関数は、時刻ｔでのオブジェクトマップ上の着目ブロックと隣接するブロックの同一識別符号の数が多いほど、該着目ブロックが該同一識別符号を持つ確度が高くなる関数を含む、
ことを特徴とする請求項５記載の移動物体認識方法。
【請求項７】
上記評価関数は、時刻（ｔ−１）のオブジェクトマップ上の判定枠内に含まれる、同一識別符号を持つブロックの面積が広いほど、着目ブロックが該同一識別符号を持つ確度が高くなる関数を含み、
該判定枠は、時刻ｔでのオブジェクトマップ上の該着目ブロックに対応した、該同一識別符号を持つ移動物体の上記動きベクトルに基づいて推定される、時刻（ｔ−１）でのオブジェクトマップ上のブロック枠である、
ことを特徴とする請求項５又は６記載の移動物体認識方法。
【請求項８】
上記評価関数は、時刻ｔでのフレーム画像上の着目ブロックに対応した局所画像と、上記動きベクトルに基づいて推定される、時刻（ｔ−１）でのフレーム画像上の該着目ブロックに対応する局所画像との相関度が高くなるほど、該着目ブロックが、該動きベクトルを持つ移動物体と同一識別符号を持つ確度が高くなる関数を含む、
ことを特徴とする請求項５乃至７のいずれか１つに記載の移動物体認識方法。
【請求項９】
撮影されたフレーム画像が格納される画像記憶部と、
該フレーム画像を複数ピクセルからなるブロックに分割し、ブロックに移動物体が存在するかどうかを判定し、同一移動物体に属するブロックに同一識別符号を持たせたオブジェクトマップを作成するオブジェクトマップ作成部と、
該画像記憶部に格納された時間的に前後のフレーム画像に基づいて、各移動物体の動きベクトルを求める動きベクトル算出部と、
現フレーム画像について移動物体が存在すると判定されたブロックの各々が、前フレーム画像に存在する移動物体のいずれかの識別符号を持っていると仮定したときの評価関数の値の大小関係に基づいて、該存在ブロックに付与すべき識別符号を決定するＩＤ更新部と、
を有することを特徴とする移動物体認識装置。
【請求項１】
電子カメラで撮影されたフレーム画像を、複数ピクセルからなるブロックに分割し、
移動物体の一部が含まれる各ブロックについて、次フレーム画像内で、該ブロックと同一形状で類似したものを見つけて、該ブロックの動きベクトルを求め、
該移動物体に含まれる複数のブロックの各動きベクトルの代表値を、該移動物体の動きベクトルと決定する、
ことを特徴とする移動物体認識方法。
【請求項２】
上記フレーム画像に入口スリット及び出口スリットを設定し、
該入口スリット内に移動物体が存在するかどうかを上記ブロックの単位で判定し、
移動物体が存在すると判定された、該入口スリット内のブロックが、識別符号を持ったブロックと隣接していない場合には、該ブロックに新たな識別符号を付し、
移動物体が存在すると判定された隣接ブロックに同一識別符号を付し、
該出口スリットを通り抜けた移動物体の識別符号を消滅させる、
ことを特徴とする請求項１記載の移動物体認識方法。
【請求項３】
撮影された前フレーム画像及び現フレーム画像が格納される画像記憶部と、
該前フレーム画像を、複数ピクセルからなるブロックに分割したときの、移動物体の一部が含まれる各ブロックについて、該現フレーム画像内で、該ブロックと同一形状で類似したものを見つけて、該ブロックの動きベクトルを求め、該移動物体に含まれる複数のブロックの各動きベクトルの代表値を、該移動物体の動きベクトルと決定する動きベクトル算出部と、
を有することを特徴とする移動物体認識装置。
【請求項４】
同一移動物体に属する上記ブロックに同一識別符号を持たせたオブジェクトマップが格納されるブロック情報記憶部と、
該オブジェクトマップに含まれる移動物体をその上記動きベクトルだけ平行移動させ、平行移動した該移動物体をその周囲のブロックまで拡大した範囲について、次フレーム画像に移動物体が存在するかどうかをブロック毎に判定し、存在すると判定されたブロックに、該平行移動前の該移動物体のブロックと同じ識別符号を付加することにより、該次フレーム画像に対応したオブジェクトマップを生成する移動物体更新部と、
をさらに有することを特徴とする請求項３記載の移動物体認識装置。
【請求項５】
電子カメラで撮影されたフレーム画像を、複数ピクセルからなるブロックに分割し、同一移動物体に属するブロックに同一識別符号を持たせたオブジェクトマップを作成し、
時間的に前後のフレーム画像に基づいて、各移動物体の動きベクトルを求める移動物体認識方法であって、
現フレーム画像について移動物体が存在すると判定されたブロックの各々が、前フレーム画像に存在する移動物体のいずれかの識別符号を持っていると仮定したときの評価関数の値の大小関係に基づいて、該存在ブロックに付与すべき識別符号を決定する、
ことを特徴とする移動物体認識方法。
【請求項６】
上記評価関数は、時刻ｔでのオブジェクトマップ上の着目ブロックと隣接するブロックの同一識別符号の数が多いほど、該着目ブロックが該同一識別符号を持つ確度が高くなる関数を含む、
ことを特徴とする請求項５記載の移動物体認識方法。
【請求項７】
上記評価関数は、時刻（ｔ−１）のオブジェクトマップ上の判定枠内に含まれる、同一識別符号を持つブロックの面積が広いほど、着目ブロックが該同一識別符号を持つ確度が高くなる関数を含み、
該判定枠は、時刻ｔでのオブジェクトマップ上の該着目ブロックに対応した、該同一識別符号を持つ移動物体の上記動きベクトルに基づいて推定される、時刻（ｔ−１）でのオブジェクトマップ上のブロック枠である、
ことを特徴とする請求項５又は６記載の移動物体認識方法。
【請求項８】
上記評価関数は、時刻ｔでのフレーム画像上の着目ブロックに対応した局所画像と、上記動きベクトルに基づいて推定される、時刻（ｔ−１）でのフレーム画像上の該着目ブロックに対応する局所画像との相関度が高くなるほど、該着目ブロックが、該動きベクトルを持つ移動物体と同一識別符号を持つ確度が高くなる関数を含む、
ことを特徴とする請求項５乃至７のいずれか１つに記載の移動物体認識方法。
【請求項９】
撮影されたフレーム画像が格納される画像記憶部と、
該フレーム画像を複数ピクセルからなるブロックに分割し、ブロックに移動物体が存在するかどうかを判定し、同一移動物体に属するブロックに同一識別符号を持たせたオブジェクトマップを作成するオブジェクトマップ作成部と、
該画像記憶部に格納された時間的に前後のフレーム画像に基づいて、各移動物体の動きベクトルを求める動きベクトル算出部と、
現フレーム画像について移動物体が存在すると判定されたブロックの各々が、前フレーム画像に存在する移動物体のいずれかの識別符号を持っていると仮定したときの評価関数の値の大小関係に基づいて、該存在ブロックに付与すべき識別符号を決定するＩＤ更新部と、
を有することを特徴とする移動物体認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【公開番号】特開２０１０−２０８０８（Ｐ２０１０−２０８０８Ａ）
【公開日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願番号】特願２００９−２５２２９３（Ｐ２００９−２５２２９３）
【出願日】平成２１年１１月２日（２００９．１１．２）
【分割の表示】特願２０００−４８９８１（Ｐ２０００−４８９８１）の分割
【原出願日】平成１２年２月２１日（２０００．２．２１）
【出願人】（３０８０１４３４１）富士通マイクロエレクトロニクス株式会社 (2,507)
【出願人】（８０１００００４９）財団法人生産技術研究奨励会 (72)
【Ｆターム（参考）】
【公開日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願日】平成２１年１１月２日（２００９．１１．２）
【分割の表示】特願２０００−４８９８１（Ｐ２０００−４８９８１）の分割
【原出願日】平成１２年２月２１日（２０００．２．２１）
【出願人】（３０８０１４３４１）富士通マイクロエレクトロニクス株式会社 (2,507)
【出願人】（８０１００００４９）財団法人生産技術研究奨励会 (72)
【Ｆターム（参考）】
[ Back to top ]