オブジェクト追跡方法及びオブジェクト追跡装置
オブジェクト追跡装置は、映像情報を蓄積する構成としたバッファ部と、映像情報からオブジェクトの位置情報を検出するオブジェクト位置検出部と、位置情報に基づき映像情報中のオブジェクトの領域を検出するオブジェクト領域検出部と、領域内に位置するオブジェクトの特徴量を検出し、位置情報とオブジェクトの特徴量と領域とを蓄積する蓄積部と、位置情報から映像情報中の次フレームのオブジェクトの位置を予測する予測部と、次フレームのオブジェクトの位置に基づき領域が移動しようとする次フレームの予測領域を判定する判定部と、次フレームの予測領域内のオブジェクトの特徴量を照合し、最も類似する領域を出力する照合部と、を含むものである。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物や車両などの個々のオブジェクトが互いに交差し或いは隠蔽し合ったりしたときや、或いは環境変動により撮影装置が受けるノイズ等の外乱の悪影響がある場合でさえ、オブジェクトを安定的に追跡することのできるオブジェクト追跡技術に関するものである。
【背景技術】
【０００２】
関連するオブジェクト追跡技術については、下記の如き一つの追跡方法が存在する。すなわち、各オブジェクトのテクスチャ等のテンプレートを事前に保存しておき、これらテンプレートを用いて画像フレーム内で探索処理を行い、画像フレーム内においてテンプレートに最も類似する領域を画像フレーム内でオブジェクトが移動した位置と見なし、この処理を連続する入力フレームに対し繰り返し施すことにより、関連オブジェクトを追跡するものである。また、別のオブジェクト追跡方法（非特許文献１参照）が存在する。すなわち、複数のオブジェクトが画像上に現れ、個々のオブジェクトの画像が互いに交差する場合であっても、個々のオブジェクトに対応するテンプレートに基づきテンプレートマッチング処理を行い、複数のオブジェクトが互いに交差する前と複数のオブジェクトが互いに交差した後で、連続態様にてオブジェクトを追跡するものである。
【０００３】
また、オブジェクトの追跡時に、ダイナミックフィルタを使用することができ、例えばオブジェクト追跡方法はカルマンフィルタ（非特許文献２参照）を用いることもできる。
【０００４】
さらに、オブジェクトの追跡時に、重み付け係数を用いることもできる（特許文献１参照）。すなわち、ダイナミックフィルタ等を使用する場合において、過去の入力値に対し重み付け係数を付与し、ノイズすなわち観測ノイズ等の外乱が招く悪影響を抑えてオブジェクトが追跡できるようにするものである。
【０００５】
【非特許文献１】Ｗ４：ｒｅａｌ−ｔｉｍｅ ｓｕｒｖｅｉｌｌａｎｃｅ ｏｆ ｐｅｏｐｌｅ ａｎｄ ｔｈｅｉｒ ａｃｔｉｖｉｔｉｅｓ（人とその活動の実時間監視）、Ｈａｒｉｔａｏｇｌｕ， Ｉ．：Ｈａｒｗｏｏｄ， Ｄ．；Ｄａｖｉｓ， Ｌ．Ｓ．共著、「Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ（パターン解析ならびに人工知能）」、ＩＥＥＥ（電気電子学会）会報第２２巻，２０００年８月８日発行、頁８０９−８３０
【非特許文献２】Ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ ｏｆ ｍｕｌｔｉｐｌｅ ｈｕｍａｎｓ ｉｎ ｃｏｍｐｌｅｘ ｓｉｔｕａｔｉｏｎｓ（複雑な状況下での複数の人物の区分と追跡） Ｔａｏ Ｚｈａｏ；Ｎｅｖａｔｉａ， Ｒ．；Ｆｅｎｇｊｕｎ Ｌｖ共著、「Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（コンピュータによる視覚及びパターン認識）」、２００１年度ＩＥＥＥコンピュータ学会会議議事録ＣＶＰＲ２００１．第２巻頁１１−１９４〜１１−２０１
【特許文献１】特開２００５−１４１６８７号公報（第１図）
【０００６】
しかしながら、従来の関連するオブジェクト追跡方法は下記の課題を有することがあった。オブジェクト追跡方法においてオブジェクトのテンプレートを用いて各画像フレーム毎にテンプレートマッチングを行う場合、画像上にオブジェクトが一つしか存在しないとき、そのときはオブジェクトを良好に追跡することができる。しかしながら、オブジェクトの一部が障害物等の悪影響により隠蔽された場合等においては、このオブジェクトの画像を既に保持しているテンプレートと一致させることが困難である。すなわち、テンプレートを用いた照合が確実に行えない可能性がある。複数のオブジェクトが出現し、これら複数のオブジェクトの画像が互いに交差する場合、これらのオブジェクトの画像の交差する部分が小さい場合は、個々のオブジェクトの照合処理を行うことによりオブジェクト追跡処理は依然適切に行うことができる。しかしながら、オブジェクトの画像が大きな領域で互いに重なり合う場合、そのときはテンプレートを確実に照合することは実際困難になる。
【０００７】
また、カルマンフィルタを用いて追跡を行う方法は、過度のノイズに左右されやすい。ノイズが過度に大きくなった場合、出力値は正しい値を構成しない。フィルタの動力学が故に、一旦誤った入力値が入力されると、この誤った値の悪影響が続く追跡処理へ波及することになる。その結果、オブジェクトが適切に追跡できない可能性が存在する。
【０００８】
また、過去の入力値に対して重み付け係数を調整してノイズの悪影響を低減する方法と共にダイナミックフィルタを使用する場合、そのときは下記の課題を抱えることになる。重み付け係数は過去の入力値に適用するため、特定のノイズを含む入力値が招く悪影響を低城することができる。しかしながら、それぞれの場合においてどのような重み付け係数を付与するか決定するアルゴリズムを展開することは、現実に難しいものである。過去の入力値に固定重み付け係数を付与すると、過去の入力値を平滑化することで得られる入力値を用いることができる。しかしながら、そのときは、ノイズが大きな場合、この悪影響を排除できないという課題が残されることになる。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、上記課題を解決するためになされたものであり、それ故に人物や車両などのオブジェクトの画像を、これらのオブジェクトが互いに交差しかつ／又はこれらのオブジェクトが一時的に隠蔽され、或いはノイズや環境変動等の外乱が招く悪影響にさらされることのあるシーン状況において、安定的に追跡することのできるオブジェクト追跡方法ならびにオブジェクト追跡装置を提供する目的を有するものである。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明によればオブジェクト追跡方法が提供されるが、それは、
映像情報を蓄積する工程と、
映像情報からオブジェクトの位置情報を検出する工程と、
位置情報に基づき映像情報中のオブジェクトの領域を検出する工程と、
その領域内に位置するオブジェクトの特徴量を検出する工程と、
オブジェクトの位置情報と特徴量と領域を蓄積する工程と、
位置情報から映像情報中の次フレームのオブジェクトの位置を予測する工程と、
次フレームのオブジェクトの予測位置に基づき領域が移動しようとする次フレームの予測領域を判定する工程と、
次フレームの予測領域内のオブジェクトの特徴量を照合する工程と、
照合工程における照合結果に基づき、特徴量に最も類似する予測領域範囲をオブジェクト領域として出力する工程とを含むものである。
【００１１】
好ましくは、予測方法は、
位置情報に基づき次フレームのオブジェクトの第１の位置を予測する工程と、
前フレームのオブジェクトの位置に基づき次フレームのオブジェクトの第２の位置を予測する工程と、
次フレームのオブジェクトの予測された第１の位置と次フレームのオブジェクトの予測された第２の位置の一方を選択する工程と、
選択工程において選択された次フレームのオブジェクトの予測位置を出力する工程とを含む。
【００１２】
本発明によれば、オブジェクト追跡装置もまた提供され、それは、
映像情報を蓄積する構成としたバッファ部と、
映像情報からオブジェクトの位置情報を検出するオブジェクト位置検出部と、
位置情報に基づき映像情報中のオブジェクトの領域を検出するオブジェクト領域検出部と、
領域内に位置するオブジェクトの特徴量を検出し、位置情報とオブジェクトの特徴量とオブジェクトの領域とを蓄積する蓄積部と、
位置情報から映像情報中の次フレームのオブジェクトの位置を予測する予測部と、
次フレームのオブジェクトの予測位置に基づきオブジェクトが移動しようとする次フレームの予測領域を判定する判定部と、
次フレームの予測領域を用いてオブジェクトの特徴量を照合し、照合結果に基づき特徴量に最も類似する予測領域をオブジェクト領域として出力する照合部とを備えるものである。
【００１３】
好ましくは、予測部は、
位置情報に基づき次フレームのオブジェクトの第１の位置を予測する第１の予測部と、
前フレームのオブジェクトの位置に基づき次フレームのオブジェクトの第２の位置を予測する第２の予測部と、
次フレームのオブジェクトの予測された第１の位置と次フレームのオブジェクトの予測された第２の位置の一方を選択し、設定値に従って次フレームのオブジェクトの選択された予測位置を出力する予測情報切り替え部とを備える。
【００１４】
上記の装置及び方法では、現在の映像フレームから得られるオブジェクトの位置情報にノイズが重畳するような場合でも、ノイズが引き起こす悪影響を排除することができる。
【００１５】
好ましくは、第１の位置の予測工程と第２の位置の予測工程は共に動的な予測モデルを構築することで実行する。
【００１６】
上記方法では、単一の予測係数を用いるのではなく、入力される観測値の変動に応じて最適な予測モデルを構築し、構築された予測モデルにより次フレームの位置情報を予測することができる。
【００１７】
好ましくは、オブジェクト追跡方法はさらに、
オブジェクトの予測位置を判定する工程を含み、
次フレームのオブジェクトの予測された第１の位置と次フレームのオブジェクトの予測された第２の位置を、選択工程における設定値に基づき選択し、
オブジェクトの状態に基づき設定値を決定する。
【００１８】
上記方法では、オブジェクトが隠蔽され、オブジェクト同士が交差しているような場合でも、オブジェクトを追加的に提供することができる。
【００１９】
好ましくは、オブジェクト追跡方法はさらに、
過去の入力位置情報に対し重み付け値を付与する工程を含み、
重み付け値を有する位置情報を予測工程に用いる。
【００２０】
上記方法では、単一の値に基づき予測を行うが、一連の過去の入力情報を用い、さらにそれぞれの過去の入力情報に対して重み付け係数を用いる。それぞれの過去の入力情報に対して重み付け係数を用いて得られた値を入力値として用いるため、特定のノイズが重畳した値の悪影響を低減してこの種の予測を行うことができる。
【００２１】
好ましくは、オブジェクト追跡方法はさらに、
オブジェクトの特徴量を判定工程におけるオブジェクトの状態の結果に基づき更新するかどうか決定する工程を含む。
【００２２】
上記方法では、個々のオブジェクトの状態の信頼性に対応して特徴量を更新することができる。換言すれば、障害物や隠蔽物や環境変化等が原因でオブジェクトの特徴量が正確に抽出できないような場合に、現フレームにて抽出される特徴量を登録しないような状態を特徴量蓄積部に対し設定する。
【００２３】
その結果、信頼性の低い特徴量データを排除することが可能になる。また、複数のオブジェクト同士が重複したり交差したりするような場合であっても、正しい特徴量の抽出ができない場合は、抽出された特徴量を登録しないような状態を設定する。その結果、信頼性の低い特徴量データの登録を排除し、誤処理を低減することができる。
【００２４】
本発明によれば、オブジェクト追跡装置もまた提供され、それは、
撮像部から獲得し或いは映像蓄積部から出力された映像情報を蓄積する工程と、
個々のオブジェクトを映像情報について追跡し、映像情報のフレーム毎に個々のオブジェクトの追跡結果を出力する工程と、
個々のオブジェクトの追跡結果に関する個々のオブジェクトの追跡時間を積算する工程と、
個々のオブジェクトの追跡結果に関する情報と追跡積算時間に関する情報と個々のオブジェクトに関する情報とをデータベース部に蓄積する工程と、
データベース部に蓄積された情報を検索する工程とを含むものである。
【００２５】
本発明によれば、オブジェクト追跡装置もまた提供され、それは、
撮像部から獲得し或いは映像蓄積部から出力された映像情報を蓄積する蓄積部と、
個々のオブジェクトを映像情報について追跡し、映像情報のフレーム毎に個々のオブジェクトの追跡結果を出力するオブジェクト追跡部と、
個々のオブジェクトの追跡結果についての個々のオブジェクトの追跡時間を積算する追跡時間積算部と、
個々のオブジェクトの追跡結果に関する情報と追跡積算時間に関する情報と個々のオブジェクトに関する情報とを蓄積するデータベース部と、
データベース部に蓄積された情報を検索する検索部とを備えるものである。
【００２６】
上記構成ならびに方法にあっては、個々のオブジェクトの識別と特定オブジェクトの位置情報と時間情報とを互いに組み合わせ、個々のオブジェクトの行動軌跡と個々の場所における滞在時間とを算出することができる。また、画面上に出現する全てのオブジェクトについて、軌跡情報及び滞在時間情報に関するデータベースを構築することができる。そこで、構築されたデータベースに基づきオブジェクトの動きに関する検索機能を実現することができる。
【００２７】
本発明によれば、オブジェクト追跡方法もまた提供され、それは、
撮像部から獲得し或いは映像蓄積部から出力された複数の映像情報を複数の蓄積部へ蓄積する工程と、
個々のオブジェクトを映像情報について追跡し、映像情報のフレーム毎に個々のオブジェクトの追跡結果を出力する工程と、
個々のオブジェクトの追跡結果に基づき複数の撮像部間で撮像した同一オブジェクトを追跡する工程と、
撮像部間での同一オブジェクトの追跡結果に従い蓄積部の複数の映像情報を切り替える工程と、
切り替え工程にて切り替えられた映像情報を記録する工程とを含むものである。
【００２８】
本発明によれば、オブジェクト追跡装置もまた提供され、それは、
撮像部から獲得し或いは映像蓄積部から出力された複数の映像情報を蓄積する複数の蓄積部と、
個々のオブジェクトを映像情報について追跡し、映像情報のフレーム毎に個々のオブジェクトの追跡結果を出力する複数のオブジェクト追跡部と、
個々のオブジェクトの追跡結果に基づき複数の撮像部間で撮像された同一のオブジェクトを追跡する交差オブジェクト追跡部と、
撮像部間での同一のオブジェクトの追跡結果に従い、蓄積部の複数の映像情報を切り替える切り替え部と、
映像切り替え部が切り替える映像情報を記録する記録部とを備えるものである。
【００２９】
上記構成ならびに方法にあっては、複数の撮像部が組み込まれたシステム内で特定オブジェクトの一連の動きを監視する場合に、もはやオペレータが複数の撮像部間に跨る特定オブジェクトの動きに応じて手動で映像を切り替えることはなく、複数の撮像部に跨がる特定オブジェクトの動きに応答して映像を自動的に切り替えることができるようになる。また、映像切り替え部は記録装置に接続してあるため、特定応答の動きに関連するような映像だけ記録し、かくして特定オブジェクトに関連する記録処理を行うことができる。
【００３０】
好ましくは、オブジェクト追跡方法はさらに、
複数撮像部間でのオブジェクトの追跡精度を改善すべく、各蓄積部の幾何学的キャリブレーションを事前に行う工程と、
蓄積部の個々の幾何学的なキャリブレーションの結果を統合する工程とを含み、
撮像部間に跨がるオブジェクトを追跡する場合に、撮像部間の位置関係を用いてオブジェクトを追跡する。
【００３１】
好ましくは、オブジェクト追跡装置はさらに、
撮像部間に跨がるオブジェクトの追跡精度を改善すべく、各蓄積部の幾何学的キャリブレーションを事前に行うキャリブレーション部と、
蓄積部の個々の幾何学的キャリブレーション結果を統合する撮像部間幾何学的位置関係整合部とを備え、
撮像部間に跨がるオブジェクトを追跡する場合に、撮像部間の位置関係を用いてオブジェクトを追跡する。
【００３２】
上記構成ならびに方法にあっては、撮像部間の位置関係は撮像部間幾何学的位置関係整合部により把握でき、また撮像部間に跨るオブジェクトの追跡を行うような場合に、オブジェクト追跡装置は撮像部間の位置関係を用いて高い精度でオブジェクトを追跡することができる。
【００３３】
本発明によれば、オブジェクト追跡方法も提供され、それは、
撮像部から獲得し或いは映像蓄積部から出力された映像情報を蓄積する工程と、
個々のオブジェクトを映像情報について追跡する工程と、
映像情報のフレーム毎に個々のオブジェクトの追跡結果を出力する工程と、
出力工程において出力された各オブジェクトの追跡領域を用いて記録処理を行う工程と、
設定値を設定する工程とを含み、
設定値に基づき記録処理を行うものである。
【００３４】
本発明によれば、オブジェクト追跡装置もまた提供され、それは、
撮像部から獲得し或いは映像蓄積部から出力された映像情報を蓄積する蓄積部と、
個々のオブジェクトを映像情報について追跡し、画像情報のフレーム毎に個々のオブジェクトの追跡結果を出力するオブジェクト追跡部と、
オブジェクト追跡部から出力された各オブジェクトの追跡領域を用いて記録処理を行う記録部と、
設定値を設定する設定部とを備え、
設定値に基づき記録部が記録処理を行うものである。
【００３５】
上記構成ならびに方法にあっては、個々のオブジェクトの領域情報を利用するため、注目領域以外の領域の記録処理は行わずに、特定オブジェクトの領域のみ記録することができる。また、記録設定部１２４の設定値に基づき、特定のオブジェクト領域について低圧縮率かつ高解像度で記録処理を行い、この特定オブジェクト領域以外の領域については高圧縮率かつ低解像度の記録処理を行うことができる。
【発明の効果】
【００３６】
上記した如く、本発明は、人物や車両などのオブジェクトが互いに交差したり、互いに隠蔽状態にあったりするようなシーン状況下、或いは外乱ノイズや環境変動が引き起こす悪影響に対し、目標オブジェクトを追跡する方法を提供することができる。換言すれば、オブジェクトの追跡処理において、観測ノイズの影響や信頼性の低い入力値の悪影響を自動的に判別し、かくして信頼性の低い入力値の使用を低減することで、高い信頼性をもって予測を行うことができるようになる。また、後続フレームの位置と領域の両方に関する情報をオブジェクトの追跡を行うべく移動領域に加え前フレームの位置及び領域情報から予測し、オブジェクトの追跡時に算出工程量が低減可能な効果を有するオブジェクト追跡方法を提供することができる。
【発明を実施するための最良の形態】
【００３７】
ここで図面を参照し、本発明の実施形態に係るオブジェクト追跡方法及びオブジェクト追跡装置を説明することにする。
【００３８】
（実施形態１）
本発明の第１の実施形態のオブジェクト追跡方法を、図１〜図１０を用いて説明することにする。
【００３９】
図１において、本発明の第１の実施形態に係るオブジェクト追跡方法が実現できるオブジェクト追跡装置１は、フレームバッファ部１１と、オブジェクト位置検出部１２と、オブジェクト領域検出部１３と、特徴量蓄積部１７と、移動予測部１４と、予測情報切り替え部２０と、予測情報蓄積部２２と、領域判定部１９と、特徴量照合部１８と、を含む。フレームバッファ部１１は、映像蓄積装置或いは人物の動きを撮像するカメラから出力される映像フレームをそこに蓄積する。オブジェクト位置検出部１２は、入力映像フレームから人物や車両等のオブジェクトの画像の位置情報を検出する。オブジェクト領域検出部１３は、オブジェクト位置検出部１２が検出する位置情報について関連オブジェクトの画像を含む領域を検出する。特徴量蓄積部１７は、検出オブジェクトの画像の位置とオブジェクト領域検出部１３が獲得した領域内に現存するオブジェクトの衣服の色及びパターンとを蓄積する。位置情報はオブジェクト位置検出部１２が検出するが、以前の位置情報は移動予測部１４へ入力される。移動予測部１４は、個々の入力位置情報について次フレームの移動位置を予測する。予測情報切り替え部２０は移動予測部１４から出力された次フレームの予測値を切り替え、設定部２１の値に従って予測値のいずれか一つを選択する。予測情報蓄積部２２は、予測値を保持する。領域判定部１９は、予測情報切り替え部２０から獲得した次フレームの予測値とオブジェクト位置検出部１２から獲得した情報とに基づき、次フレームのオブジェクトの画像の移動領域範囲を判定する。特徴量照合部１８は、領域判定部１９が獲得した領域内のフレームバッファ部１１の情報について特徴量蓄積部１７内に蓄積された特徴量を照合し、照合結果が最高の類似度であるような位置を出力する。特徴量は、オブジェクトの特徴の少なくとも一つ、例えばオブジェクトのエッジ情報やオブジェクトの色情報やオブジェクトの頭部位置情報やオブジェクトのテクスチャ情報を意味する。
【００４０】
また、図２において、特徴量蓄積部１７はパターン蓄積部２９と、位置・領域蓄積部２３と、位置予測部分蓄積部２４と、データベース部２８と、を含む。パターン蓄積部２９は、オブジェクトの画像の特徴量をそこに蓄積する。位置・領域蓄積部２３は、オブジェクトの画像の位置情報と領域情報の両方をそこに蓄積する。位置予測部分蓄積部２４は、予測された位置情報をそこに蓄積する。データベース部２８は、各保持・蓄積部２２，２３，２４のデータをそこに蓄積する。
【００４１】
また、特徴量照合部１８は、照合部２５と、パターン更新部２６と、位置・領域判定部２７と、を含む。照合部２５は、領域判定部１９により検出された領域内においてオブジェクトの画像の特徴量の類似度を互いに照合する。パターン更新部２６は照合部２５による照合結果を新規オブジェクトの画像の特徴量パターンとして設定し、パターンを更新し、更新されたパターンをパターン蓄積部２９に登録する。位置情報判定部２７は、照合部２５から獲得した照合結果に基づきオブジェクトの画像の位置と領域の両方を判定し、続いて獲得オブジェクト領域情報を出力する。
【００４２】
また、図４において、第１の予測部１５と第２の予測部１６はそれぞれカルマンフィルタ３４，３９と予測位置算出部３５，４０とにより構成してある。
【００４３】
図５中、オブジェクト位置検出部１２は、フレーム間差分処理部１３３と、エッジ検出処理部１３４と、位置検出処理部１３５と、により実現してある。
【００４４】
図６において、オブジェクト領域検出部１３は、ヒストグラム投影部１３６と、垂直セグメンテーション部１３７と、水平セグメンテーション部１３８と、特徴量抽出部１３９と、により構成してある。ヒストグラム投影部１３６は、垂直及び水平方向のエッジ成分のヒストグラムを生成する。垂直セグメンテーション部１３７は、垂直方向から見たオブジェクトの画像の位置を検出する。水平セグメンテーション部１３８は、水平方向から見たオブジェクトの画像の位置を検出する。特徴量抽出部１３９は、オブジェクトの画像の特徴量を抽出する。
【００４５】
上記に説明した構成を用いたオブジェクト追跡装置１により実現されるオブジェクト追跡方法について、その追跡動作をここで説明することにする。
【００４６】
図８は、上記オブジェクト検出部１２の動作を示すものである。このオブジェクト検出部１２では、フレームバッファ部１１から得られる時系列画像、例えば入力画像ｎ−１＿１４１、入力画像ｎ＿１４２が入力画像として入力される。次に、これらの時間系列画像に対しフレーム差分処理部１４３によりフレーム間差分処理を行い、フレーム間差分処理画像１４４を得る。得られたフレーム間差分画像１４４は、エッジ検出工程処理においてエッジ検出処理部１３４により処理し、エッジ画像１４６を得る。さらに、位置検出処理部１３５はエッジ画像１４６から位置検出工程処理を行う。
【００４７】
位置検出工程処理に従い、例えばエッジ画像１４６について包絡線１３７を抽出し、抽出された包絡線１３７の極値１３６を位置検出結果１４８として出力することができる。
【００４８】
図９は、前記オブジェクト検出部１３の動作を示すものである。オブジェクト位置検出部１２により得られた極値１３６を基点とし、オブジェクト領域検出部１３が一定の範囲についてヒストグラム処理を行い、垂直方向のヒストグラム１５４と水平方向のヒストグラム１５３を得る。
【００４９】
垂直方向のヒストグラム１５４と水平方向のヒストグラム１５３に対しそれぞれ垂直方向セグメンテーション１３８及び水平方向セグメンテーション１３７を施すことで、領域検出結果１５９が得られる。次に、領域検出結果１５９を図１０の領域情報１６１として出力する。また、得られた領域情報１６１について、オブジェクトの画像が人物に対応する場合は、領域全体の特徴量（色情報とパターン情報）に加え、頭部の下位部分、すなわち胴体部分領域を特徴量領域として代替的に保持することも可能である。頭部と腹部と腕部と足部等をパターンマッチング法等の技術方法により認識できるため、人物における各部位の情報を特徴量として代替的に使用することも可能であることに、留意されたい。上記の例では、フレーム間差分により動オブジェクト領域を獲得していた。さもなくば、個々のオブジェクトの位置情報と領域情報の両方を背景とは異なる前景領域から背景差分法により抽出する仕方で抽出することができ、この抽出領域をオブジェクト領域候補として用い、そこで続く工程処理を実行する。さらに、同じフレーム間差分法と背景差分法の両方を用いることで、オブジェクト位置情報とオブジェクト領域情報の両方を代替的に抽出することができる。上記の例における位置情報の検出方法として、エッジ情報について包絡線を抽出する一種の方法を示した。さもなくば、対象オブジェクトの画像が人物の場合、顔領域を検出してその検出結果を位置情報として用いることも可能である。さらに、顔検出方法として楕円領域を代替的に検出し、その検出結果を代替的に位置情報とすることもできる。
【００５０】
また、移動予測部１４はカルマンフィルタ部３４と予測位置算出部３５により構成してある。オブジェクトの画像の位置などの現在の位置をカルマンフィルタに適用すると、カルマンフィルタはパラメータ（Ｘ）を算出し、オブジェクトの画像が移動した後の位置を算出する。パラメータＸを用いているため、オブジェクトの画像の次の予測位置を算出することができる。
【００５１】
移動予測部１４では、予測部１６がオブジェクト位置検出部１２により検出されたオブジェクトの画像の位置を用いて、オブジェクトの画像の次の予測位置を出力する。一方、予測部１５は、それまでに移動予測部１４が出力した予測位置を用いて、オブジェクトの画像の次の予測位置を出力する。
【００５２】
設定部２１は、予め設定された値に基づき予測情報切り替え部２０に入力される値を選択する。設定例としては、選択された値について算出しておき、予測部１６から出力される値について以前獲得した値が閾値以内の値の場合、予測部１６により出力された値を設定部２１が選択し、この値を予測情報切り替え部２０の出力に定める。また、以前獲得した値が闘値を超える場合、設定部２１は予測部１６が出力する値が以前獲得した値から大きく外れた値に対応すると判定し、予測部１５が出力する値を選択し、この選択された値を予測情報切り替え部２０の出力に定める。その結果、予測情報切り替え部２０の出力は次フレームの位置の予測値に対応し、この値が位置予測部分蓄積部２４へ入力される。そこで、次フレームのオブジェクトの画像の位置と領域を検出すると、その特徴量を特徴量照合部１８が照合することになるオブジェクトの移動予測範囲を位置予測部分蓄積部２４内に保持されている予測値を用いて割り出すことができる。その移動予測範囲について、照合部２５により特徴量が照合される。照合の結果、最も高い類似度を有する部分の頭部位置が移動点として判定され、そこでこの領域がオブジェクト領域として判定される。この判定結果は、位置・領域判定部２７によりオブジェクト領域情報の結果として出力される。また、特徴量はパターン更新部２６により更新され、この更新された特徴量がパターン蓄積部２９に蓄積される。また、この工程処理の流れ処理を説明するフローチャートを図７に示す。
【００５３】
このような本発明の第１の実施形態によれば、オブジェクトの画像の特徴量を用いてパターンマッチングを行う際に、オブジェクトの画像の位置とオブジェクトが移動する領域の範囲が最適化されるため、パターンマッチングの算出領域を制限することができる。さらに、オブジェクトの画像の位置とオブジェクトが移動する領域を予測する際に、オブジェクトの画像の位置を移動予測部１４の予測部１６により予測し、その一方で現フレームのオブジェクト検出位置を入力値として用いる。観測対象である位置情報に関する正しい値がノイズの悪影響が原因で得ることができないような場合、次のフレームのオブジェクトの画像の正しい位置と正しい領域を予測することはできない。しかしながら、現在の観測値を入力する予測部１６からの予測出力と予測部１５からの予測出力の両方を行い、現フレームから得られるオブジェクトの画像の位置情報にノイズが重畳しているような場合に、ノイズが招く悪影響は予測部１５により得られた予測位置を用いることで排除され、その一方で予測部１５は前フレームに基づきオブジェクトの画像の移動位置を予測した予測値等を入力することで次のフレーム内のオブジェクトの画像の移動位置を予測する。また、オブジェクトの画像の特徴量は逐次更新されるため、信頼性の高い追跡を行うことができる。複数のオブジェクトの画像が出現したときにおいても、個々のオブジェクトの画像を互いに識別することができ、また個々のオブジェクトの画像を別個に追跡することができる。
【００５４】
（実施形態２）
次に、図１１は本発明の第２の実施形態に係るオブジェクト追跡方法を実現するオブジェクト追跡装置６３を示す。
【００５５】
第１の実施形態に比べ、第２の実施形態のオブジェクト追跡方法を実現するオブジェクト追跡装置６３は、第１の実施形態に記載したオブジェクト追跡装置１を追加的に用いるオブジェクト状態判定部６２を含む。オブジェクト状態判定部６２は特徴量照合部１８により得られたオブジェクト領域と特徴量蓄積部１７に蓄積された特徴量とからオブジェクトの状態を判定する。また、設定部１２はオブジェクト状態判定部６２が設定すべきデータを決定する。図１１と図１２を参照し、上記構成を用いたオブジェクト追跡装置６３の工程処理の説明を行う。
【００５６】
オブジェクト追跡装置６３では、複数のオブジェクトの画像の位置と領域を逐次入力されたフレームについて検出する。個々のオブジェクトの画像の特徴量を抽出し、抽出された特徴量を特徴量蓄積部５７内に蓄積する。オブジェクト状態判定部６２は抽出されたオブジェクトの状態を判定し、すなわちオブジェクトが現在どのような状態にあるか判定することのできる機能を有する。複数のオブジェクトの画像が存在する場合、オブジェクト状態判定部６２は複数のオブジェクトの画像が互いにどのような状態にあるか判定する。複数のオブジェクトが互いに交差する場合（１７１）、領域検出結果ｎ−２＿１７２ではオブジェクトＡ＿１６９とオブジェクトＢ＿１７０（図１２に図示）が検出され、そのときの各オブジェクトの特徴量が特徴量蓄積部５７に蓄積され、オブジェクト状態判定部６２はオブジェクトＡ＿１６９、オブジェクトＢ＿１７０が単独の状態にあると判定する。その後、領域検出結果ｎ−１＿１７３においても、オブジェクトＡ＿１６９とオブジェクトＢ＿１７０が同様に検出され、そのときのこれらのオブジェクトの画像の各特徴量が特徴量蓄積部５７に蓄積され、オブジェクト状態判定部６２はオブジェクトＡ＿１６９、オブジェクトＢ＿１７０が単独の状態にあると判定する。その後、領域検出結果ｎ＿１７４では、オブジェクトＡ＿１６９がオブジェクトＢ＿１７０と交差した堀合に、検出領域結果ｎ＿１７４において重複部分を生ずる。このとき、オブジェクト状態判定部６２はオブジェクトＡ＿１６９とオブジェクトＢ＿１７０が交差状態にあると判定する。このとき、事前に設定されていたステップ値に応じて、オブジェクトＡ＿１６９とオブジェクトＢ＿１７０が特徴量蓄積部５７内に蓄積される場合と、そこに蓄積されない場合の二つの場合が存在する。通常、オブジェクトの画像が互いに交差するときは、これらのオブジェクトの画像の特徴量は更新されない。また、オブジェクト状態判定部６２はオブジェクトの画像の状態の変化も検知する。障害物によりオブジェクトが隠蔽された場合（１７６）、オブジェクトＣ＿１６８が領域検出結果ｎ−２＿１７７として抽出されたときに、オブジェクト状態判定部６２はオブジェクトＣ＿１６８が単独の状態にあると判定する。領域検出結果ｎ−１＿１７８は、領域検出結果ｎ−２＿１７７と同様である。領域検出結果ｎ＿１７９では、オブジェクトＣ＿１６８が前フレームに引き続き追跡された領域と同様に獲得された場合、前フレームで検出された領域の大きさと現フレームで検出された領域の大きさとの間の差分が予め設定された閾値よりも大きい場合、オブジェクト状態判定部６１はオブジェクトＣ＿１６８が変化を生じている状態にあると判定する。このとき、事前に設定された設定値に応じて、オブジェクトＣ＿１６８の特徴量が特徴量蓄積部５７に蓄積される場合と、そこに蓄積されない場合とがある。通常、オブジェクトに変化が生じている状態の時は、このオブジェクトの特徴量は更新しないことにする。上記に説明した仕方で獲得したオブジェクトの画像の状態判定結果は、設定部６１に入力される。これらの状態判定結果を受け、設定部６１は予測部０２＿５５の結果を用いることでこの種の設定処理を行うが、それはオブジェクトが互いに交差し、かつまたオブジェクトの画像が状態を変化しているときに位置検出結果の信頼性が不安定になる場合があるからである。また、オブジェクトの画像が単独の状態にあるか、或いはオブジェクトに変化が生じていないときは、位置検出結果の信頼性は高い場合が多く、設定部６１は予測部０１＿５６の結果を用いる設定処理を行う。なお、オブジェクト状態判定部６２が代替的に交差の程度、換言すれば領域が互いにどの程度重複しているのかを判定、すなわちオブジェクトが前の状態からどの程度変化したかを判定することができる。そこで、この判定結果が設定部６１に入力される。設定部６１はこの判定された程度に応じた閾値を代替的に設定し、そこで予測部０１＿５６の値或いは予測部０２＿５５の値を代替的に選択することができる。
【００５７】
オブジェクト状態判定部６２が各オブジェクトの画像の交差が達成されたと判定すると、検出された複数のオブジェクトがその交差前にどのオブジェクトに対応していたかを目的に、特徴量照合部１８はパターン蓄積部２９が保持してきた個々のオブジェクトの画像の特徴量を用いて被検出オブジェクトについて照合を行い、類似度を算出する。また、個々のオブジェクトの位置は移動予測部１４により予測できるため、この移動予測部１４はオブジェクトの画像の移動予測を行うことができる。換言すれば、個々のオブジェクトの画像の移動予測を行ってこれらのオブジェクトが互いに交差する前のオブジェクトの速度及び方向ベクトルを導出しているため、これらのオブジェクトの画像が互いに交差した後に個々のオブジェクトの画像の移動領域が得られる。すなわち、オブジェクトの画像間の対応関係が、導出された移動予測領域とこれらのオブジェクトの画像が互いに交差した後に検出されたオブジェクトの画像に対する個々の特徴量の類似度とに基づき割り出される。
【００５８】
上記した如く、特徴量蓄積部１７に蓄積された特徴量とオブジェクトの画像の移動予測を用いることで、その交差前の個々のオブジェクトの画像とその交差後の個々のオブジェクトの画像との間の対応関係を高精度で確定することができる。
【００５９】
隠蔽の場合、その隠蔽前のオブジェクトの画像と隠蔽後のオブジェクトの画像との間の対応関係が上記方法により確定される。
【００６０】
本発明の上記した第２の実施形態によれば、個々のオブジェクトの画像の状態を反映させて個々のオブジェクトの画像の移動を予測することができる。換言すれば、障害物や隠蔽物や環境変化が原因でオブジェクトの画像の位置情報が正確に検出できない場合、現フレームにおいて検出された観測値を使用しない状態を設定部２１に対し設定する。その結果、予測情報切り替え部２０が移動予測部１４による値の選択を制御し、信頼性の低い検出データを排除することができる。また、複数のオブジェクト同士が重複した場合、或いは交差する場合においても、この状態の判定結果が設定部２１に設定され、予測情報設定部２０が移動予測部１４による値の選択を制御し、信頼性の低い検出データの悪影響を低減することができる。
【００６１】
（実施形態３）
次に、図１３は本発明の第３の実施形態に係るオブジェクト追跡方法を実現するオブジェクト追跡装置を示す。
【００６２】
図１３において、この第３の実施形態のオブジェクト追跡方法を実現するオブジェクト追跡装置は、映像入力部７１と、オブジェクト追跡部７２と、追跡時間積算部７３と、データベース部７４と、検索部７５と、を含む。映像入力部７１は、カメラから生成された映像から伝送される映像フレームと映像蓄積装置から出力された映像情報とを入力し、そこに蓄積する。カメラは、人の動きの状況を把握し、或いはイベントの発生を監視し、映像を伝送する。オブジェクト追跡部７２は、映像入力部７１から入力された映像について個々のオブジェクトの画像を追跡し、入力映像のフレーム毎に個々のオブジェクトの画像の追跡結果を出力する。追跡時間積算部７３は、オブジェクト追跡部７２から出力される個々のオブジェクトの追跡結果についての個々のオブジェクトの画像の追跡時間を積算する。データベース部７４は、個々のオブジェクトの画像の追跡結果と積算追跡時間に関する情報と個々のオブジェクトの画像の映像情報とをそこに蓄積する。検索部７５は、個々のオブジェクトの画像の追跡結果を内部蓄積したデータベース部７４の情報を検索する。
【００６３】
図１３〜図１５を参照するに、上記した構成を用いるオブジェクト追跡装置に関する動作を説明することにする。オブジェクト追跡部７２が、映像入力部７１により入力された映像について個々のオブジェクトの画像を追跡する。そこで、得られた個々のオブジェクトの追跡情報について、追跡時間積算部７３が追跡時間を積算し、オブジェクトの画像の一連の情報をデータベース部７４に蓄積する。図１４に示す如く、データベース部７４に蓄積される情報は、この情報の蓄積に使用するアドレス１８１と、オブジェクトの番号を示すオブジェクト番号１８２と、入力ソース１８３と、時間１８４と、位置１８５と、領域１８６と、特徴量情報１８７とから構成される。入力ソース１８３は、上記情報がどの入力ソースから入力されたかを示す情報に対応する。特徴量情報１８７は、オブジェクトの特徴量情報の蓄積場所を示す。検索部７５は、ユーザから入力された検索条件をそこに入力し、データベース部７４に蓄積された情報を検索し、検索結果として対応情報を出力する。例えば、図１５の画面Ａ＿１９１に示す如く、検出されたオブジェクトＡ＿１９３が家屋前を俳詣している場合を考えると、オブジェクトＡ＿１９３の追跡情報及びオブジェクトＡ＿１９３に関する滞在時間等の時間積算情報の両方がデータベース部７４に蓄積される。そこで、ユーザは別の画面Ｂ＿１９２に対し選択範囲１９４を設定し、指定された選択範囲１９４に対し滞在時間を設定する。換言すれば、オブジェクト追跡装置は設定された範囲について所定時間（例えば、１０分以上）に亙り同一オブジェクトの画像が滞在している場合をデータベース部７４から検索し、検索結果を出力する。なお、ユーザから入力された検索条件に関してはデータベース部７４に蓄積されている情報に基づきどのような検索項目も随意組み含わせることができる。例えば、オブジェクトの画像の様々な検索条件、すなわち特定の領域に対し２人以上の人物が同時に滞在した場合のオブジェクトの画像を検索したり、特定の特徴量（例えば赤色の特徴量）を有するオブジェクトの画像を指定期間内で検索したり、一つの特定領域から別の特定領域へ移動したオブジェクトの画像を検索したりすることが想定できる。
【００６４】
本発明の第３の実施形態のこの種オブジェクト追跡装置によれば、個々のオブジェクトの識別と特定のオブジェクトの位置情報及び時間情報を互いに組み合わせることで、個々のオブジェクトの行動軌跡とこれらのオブジェクトのそれぞれの場所における画像の滞在時間を算出することができる。また、画面上に現れる全てのオブジェクトに対し軌跡情報と滞在時間情報に関するデータベースを構築することができる。次に、構築されたデータベースに基づきオブジェクトの画像の動きに関する検索機能を実現することができる。
【００６５】
（実施形態４）
次に、本発明の第４の実施形態に係るオブジェクト追跡装置を図１６〜図１８に示す。図１６〜図１８において、第４の実施形態のオブジェクト追跡装置は、複数の映像入力部０１＿８１と、映像入力部０２＿８２と、映像入力部ｎ＿８３と、複数のオブジェクト追跡部８４，８５，８６と、複数カメラ間オブジェクト追跡部８７と、映像切り替え部８８と、モニタ部８９と、記録装置９０と、を含む。複数の映像入力部０１＿８１と映像入力部０２＿８２と映像入力部ｎ＿８３は、カメラから生成された映像から伝送された映像フレームと映像蓄積装置から出力された映像情報とを入力し、そこに蓄積する。カメラは、人の動きの状況を把握し、或いはイベントの発生を監視し、映像を伝送する。複数のオブジェクト追跡部８４，８５，８６は、複数の映像入力部８１，８２，８３から入力された映像について個々のオブジェクトの画像を追跡し、そこで入力映像のフレーム毎に個々のオブジェクトの画像の追跡結果を出力する。複数カメラ間オブジェクト追跡部８７は複数のオブジェクト追跡部８４，８５，８６から出力された個々のオブジェクトの追跡結果を入力し、複数カメラ間において同一オブジェクトを追跡する。映像切り替え部８８は、複数カメラ間オブジェクト追跡部８７により得られる複数カメラ間オブジェクトの追跡結果に従い複数の映像入力部８１，８２，８３の映像を切り替える。モニタ部８９は、映像切り替え部８８から出力された映像を表示する。記録装置９０は、映像切り替え部８８の映像をそこに記録する。また、オブジェクト追跡部８４，８５，８６は、オブジェクト領域獲得部９１，９７と、３次元位置情報獲得部９２，９８と、オブジェクト色情報獲得部９３，９９と、頭部位置獲得部９４，１００と、時間情報生成部９５，１０１と、さらに映像入力番号９６，１０２と、により構成してある。複数カメラ間オブジェクト追跡部８７は、３次元位置照合部１０３と、オブジェクト色情報照合部１０４と、時間情報照合部１０５と、カメラ番号情報１０６と、同一オブジェクト判定部１０７と、から構成してある。
【００６６】
ここで図１６〜図１８を参照し、上記構成を用いたオブジェクト追跡装置の動作を説明する。個々の映像入力部８１，８２，８３に対応するオブジェクト追跡部８４，８５，８６は、個々の映像入力部８１，８２，８３に対応するオブジェクトの追跡情報を獲得することができる。オブジェクト追跡ブロック８４，８５，８６には、オブジェクトの領域獲得結果を獲得するオブジェクト領域獲得部９１，９７と、オブジェクトの画像の特徴量の一つであるオブジェクト色情報獲得部９３，９９と、オブジェクトの画像の位置情報を獲得する頭部位置獲得部９４，１００と、オブジェクトの画像の軌跡情報とともに付随する時間情報を獲得する時間情報生成部９５，１０１と、個々の映像入力部８１，８２，８３の識別に用いる映像入力番号９６，１０２と、さらにオブジェクトの画像の位置情報を３次元位置情報へ変換する３次元位置情報獲得部９２，９８と、を備える。これらのオブジェクト追跡部８４，８５，８６は、個々のオブジェクトの画像に関連する情報を獲得する。オブジェクトの３次元位置情報を獲得するため、各映像入力部８１，８２，８３に対し事前にキャリブレーション処理を行い、入力映像間の幾何学的位置関係を導出する。図１８に示す如く、映像入力部＿０１＿１１１，・・・，映像入力部＿ｎ＿１１３から入力された映像に対しキャリブレーション部１１４，１１５，１１６が個々のカメラにおけるキャリブレーション処理を行う。得られた内部パラメータと外部パラメータは共にカメラ間幾何学的位置関係整合部１１７へ入力し、個々の入力映像の幾何学的位置関係を導出する。この工程処理を実行するため、２次元位置情報は３次元位置情報へ変換することができる。得られる３次元位置情報は、世界座標系（すなわち、個々の入力画像の座標系に依存しない座標系）となる。オブジェクト追跡ブロック８４，８５，８６により得られたオブジェクトの各情報は複数カメラ間オブジェクト追跡部８７へ入力し、互いに照合し、そこで同一オブジェクトであるか否かの判定を行う。複数のカメラ間を移動してきたオブジェクトの画像が同一であると判定された場合、その時の移動先の映像入力番号を映像切り替え部８８へ出力する。映像入力番号を入力した映像切り替え部８８は、現映像を受ける映像入力番号の映像に切り替え、モニタ部８９に対しモニタ出力を変更する。同様に、映像切り替え部８８は映像出力を記録装置９０へ切り替える。図２０は、入力映像間に跨がる移動とそのときのモニタ映像との間の関係を示すものである。図中、時刻Ｔ＋１＿２０２にカメラ０１＿２０７にオブジェクトＡ＿２０１が出現するものとしてある。カメラ０１＿２０７の映像出力は映像入力部＿０１＿１１１に繋がっており、この目的に沿って他のカメラが同様に対応する映像入力部に接続されていることを、理解されたい。その時、モニタ部２１４上には、カメラ０１＿２０７が撮像した映像と組み合わせてオブジェクトＡ＿２０１が表示されている。その後、時刻Ｔ＋２＿２０３に、オブジェクトＡ＿２０１がカメラ０１＿２０７からカメラ０２＿２０８へ移動した場合、複数カメラ間オブジェクト追跡部８７はオブジェクトＡ＿２０１が撮像部０１＿２０７から撮像部０２＿２０８へ移動した事実を検知し、そこでこの複数カメラ間オブジェクト追跡部８７がカメラ０２＿２０８に接続されている映像入力部＿０２＿１１２の番号を映像切り替え部８８へ出力する。この番号を受けて、映像切り替え部８８はモニタ部８９と記録装置９０の双方に対し映像を切り替える。同様に、時刻Ｔ＋３＿２０４において、オブジェクトＡ＿２０１がカメラ０２＿２０８から別のカメラ０３＿２０９へ移動した場合、モニタ上に表示される映像はカメラ０２＿２０８からカメラ０３＿２０９へ切り替わる。その後、オブジェクトＡ＿２０１の移動に同期してカメラ０４＿２１０とカメラ０５＿２１１の映像が切り替えられる。
【００６７】
本発明の第４の実施形態によれば、複数のカメラを設置したシステム内で特定オブジェクトの一連の動きを監視するような場合、もはやオペレータが複数のカメラ間に跨る特定のオブジェクトの動きに応じて手動で映像を切り替えることはなく、かくして複数カメラに跨がる特定オブジェクトの動きに応答して映像を自動的に切り替えることができるようになる。また、映像切り替え部８８は記録装置９０に接続してあるため、特定オブジェクトの動きに関するような映像だけを記録することができ、かくして特定のオブジェクトに関する記録を行うことができる。
【００６８】
（第５の実施形態）
次に、本発明の第５の実施形態のオブジェクト追跡装置を図１９に示す。同図中、第５の実施形態のオブジェクト追跡装置は、映像入力部１２１と、オブジェクト追跡部１２２と、記録装置１２３と、記録設定部１２４と、を用いて構成してある。映像入力部１２２はカメラから生成される映像から伝送される映像フレームと映像蓄積装置から出力された映像情報とをその内部に蓄積する。カメラは、人物の動きの状態を把握し、或いはイベントの発生を監視し、映像を伝送する。オブジェクト追跡部１２２は映像入力部１２１から入力された映像について個々のオブジェクトの画像を追跡し、入力画像のフレーム毎に個々のオブジェクトの画像の追跡結果を出力する。記録装置１２３は、オブジェクト追跡部１２２から出力された個々のオブジェクトの追跡領域を用いることで記録処理を行う。記録設定部１２４は、記録装置１２３の設定値を設定して記録装置１２３の記録機能を変更する。
【００６９】
ここで図１９と図２１を参照し、上記構成を用いたオブジェクト追跡装置についての動作を説明することにする。
【００７０】
映像入力部１２１により入力された映像に対し、オブジェクト追跡部１２２が個々のオブジェクトの画像を追跡する。そこで、得られた個々のオブジェクトの領域情報が、映像入力部１２１が入力する映像と組み合わせて記録装置１２３へ入力される。記録装置１２３は、入力映像を記録設定部１２４の設定に従い記録する。記録設定部１２４は、様々な種類の設定値を設定することができ、すなわち図２１のケースＡ＿２１６に示す如く、オブジェクトＡ＿２１８の領域内で低圧縮率かつ高画質での記録条件を設定し、オブジェクトＡ＿２１８の領域以外の領域について高圧縮率かつ低画質での記録条件を設定する。さらに、図２１のケースＢ＿２１７に示す如く、オブジェクトＡ＿２１８の領域内で庄縮率３０％での記録条件を設定し、オブジェクトＡ＿２１８の領域以外の領域内で圧縮率８０％での記録条件を設定する。また、この種の記録条件は、領域内では記録処理を行い、その他の領域では記録処理を全くしない等に設定される。また、上記設定以外に、アラームが入力されたときに、記録処理の設定を有効にすることもできる。例えば、アラームが入力されたときに、オブジェクト領域のみ高画質で記録するよう記録条件を設定することができる。
【００７１】
本発明の第５の実施形態に係るオブジェクト追跡装置によれぽ、個々のオブジェクトの領域情報を用いるため、注目領域以外の領域の記録処理は行わず、特定オブジェクトの領域のみ記録することができる。また、記録設定部１２４の設定に基づき、特定オブジェクトの領域については低圧縮率かつ高解像度で記録処理を行うのに対し、この特定オブジェクト領域以外の領域については高圧縮率かつ低解像度で記録処理を行う。
【産業上の利用可能性】
【００７２】
前記した如く、本発明は人物や車両等のオブジェクトが互いに交差し、或いは互いに隠蔽するシーン状況等の下で、或いは外乱ノイズと環境変動が引き起こす悪影響に対し、目標オブジェクトを追跡する方法を提供することができる。換言すれば、オブジェクト追跡工程処理において、観測ノイズが引き起こす悪影響や信頼性の低い入力値が引き起こす悪影響を自動的に判定し、かくして信頼性の低い入力値の使用を減らし、高い信頼性でもって予測が実行できるようにしてある。また、後続フレームの位置及び領域の両方に関する情報をオブジェクト追跡目的に移動領域に加え前フレームの位置及び領域から予測し、オブジェクトの追跡時に計算処理量が低減できる効果を有するオブジェクト追跡方法が提供できるようになる。
【図面の簡単な説明】
【００７３】
【図１】本発明の第１の実施形態に係るオブジェクト追跡装置を示すブロック図である。
【図２】本発明の第１の実施形態に係るオブジェクト追跡装置の特徴量蓄積部を示す図である。
【図３】本発明の第１の実施形態におけるオブジェクト追跡装置の特徴量照合部を示す図である。
【図４】本発明の第１の実施形態に係るオブジェクト追跡装置の予測部を示す図である。
【図５】本発明の第１の実施形態に係るオブジェクト追跡装置のオブジェクト位置検出部を示す図である。
【図６】本発朋の第１の実施形態に係るオブジェクト追跡装置のオブジェクト領域検出部を示す図である。
【図７】本発明の第１の実施形態に係るオブジェクト追跡装置の工程動作を説明するフローチャートである。
【図８】本発明の第１の実施形態に係るオブジェクト追跡装置の位置検出工程を示す図である。
【図９】本発明の第１の実施形態に係るオブジェクト追跡装置のオブジェクト領域検出部を示す図である。
【図１０】本発明の第１の実施形態に係るオブジェクト追跡装置により得られる領域検出結果の領域情報を示す図である。
【図１１】本発明の第２の実施形態に係るオブジェクト追跡装置を示す図である。
【図１２】本発明の第２の実施形態に係るオブジェクト追跡装置の動作を説明する説明図である。
【図１３】本発明の第３の実施形態に係るオブジェクト追跡装置を示す図である。
【図１４】本発明の第３の実施形態に係るオブジェクト追跡装置のデータベース部に蓄積された情報を示す図である。
【図１５】データベース部の検索により得られる情報を表示する画面例である。
【図１６】本発明の第４の実施形態に係るオブジェクト追跡装置を説明する説明図である。
【図１７】本発明の第４の実施形態に係るオブジェクト追跡装置を説明する説明図である。
【図１８】本発明の第４の実施形態に係るオブジェクト追跡装置を説明する説明図である。
【図１９】本発明の第５の実施形態に係るオブジヱクト追跡装置を説明する説明図である。
【図２０】本発明の第５の実施形態に係るオブジェクト追跡装置を説明する説明図である。
【図２１】本発明の第５の実施形態に係るオブジェクト追跡装置を説明する説明図である。
【符号の説明】
【００７４】
１１，５１ フレームパッファ部
１２，５２ オブジェクト位置検出部
１３，５３ オブジェクト領域検出部
１４，５４ 移動予測部
１５，５５ 第１の予測部
１６，５６ 第２の予測部
１７，５７ 特徴量蓄積部
１８，５８ 特徴量照合部
１９，５９ 領域判定部
２０，６０ 予測情報切り替え部
２１，６１ 設定部
２２ 予測情報蓄積部
２３ 位置・領域蓄積部
２４ 予測位置部分蓄積部
２５ 照合部
２６ パターン更新部
２７ 位置・領域判定部
２８ データベース
６２ オブジェクト状態判定部
６３ オブジェクト追跡装置
７１，１２１ 映像入力部
７２，８４，８５，８６，１２２ オブジェクト追跡部
７３ 追跡時間積算部
７４ データベース部
７５ 検索部
８７ 複数カメラ間オブジェクト追跡部
８８ 映像切り替え部
８９ モニタ部
９０，１２３ 記録装置
１１４，１１５，１１６ キャリブレーション部
１１７ カメラ間幾何学的位置関係整合部
９１，９７ オブジェクト領域獲得部
９２，９８ ３次元位置情報獲得部
９３，９９ オブジェクト色情報獲得部
９４，１００ 頭部位置獲得部
９５，１０１ 時間情報生成部
９６，１０２ 映像入力番号
１０３ ３次元位置照合部
１０４ オブジェクト色情報照合部
１０５ 時間情報照合部
１０６ カメラ番号情報
１０７ 同一オブジェクト判定部
１２４ 記録設定部
１３９ 特徴量抽出部
【技術分野】
【０００１】
本発明は、人物や車両などの個々のオブジェクトが互いに交差し或いは隠蔽し合ったりしたときや、或いは環境変動により撮影装置が受けるノイズ等の外乱の悪影響がある場合でさえ、オブジェクトを安定的に追跡することのできるオブジェクト追跡技術に関するものである。
【背景技術】
【０００２】
関連するオブジェクト追跡技術については、下記の如き一つの追跡方法が存在する。すなわち、各オブジェクトのテクスチャ等のテンプレートを事前に保存しておき、これらテンプレートを用いて画像フレーム内で探索処理を行い、画像フレーム内においてテンプレートに最も類似する領域を画像フレーム内でオブジェクトが移動した位置と見なし、この処理を連続する入力フレームに対し繰り返し施すことにより、関連オブジェクトを追跡するものである。また、別のオブジェクト追跡方法（非特許文献１参照）が存在する。すなわち、複数のオブジェクトが画像上に現れ、個々のオブジェクトの画像が互いに交差する場合であっても、個々のオブジェクトに対応するテンプレートに基づきテンプレートマッチング処理を行い、複数のオブジェクトが互いに交差する前と複数のオブジェクトが互いに交差した後で、連続態様にてオブジェクトを追跡するものである。
【０００３】
また、オブジェクトの追跡時に、ダイナミックフィルタを使用することができ、例えばオブジェクト追跡方法はカルマンフィルタ（非特許文献２参照）を用いることもできる。
【０００４】
さらに、オブジェクトの追跡時に、重み付け係数を用いることもできる（特許文献１参照）。すなわち、ダイナミックフィルタ等を使用する場合において、過去の入力値に対し重み付け係数を付与し、ノイズすなわち観測ノイズ等の外乱が招く悪影響を抑えてオブジェクトが追跡できるようにするものである。
【０００５】
【非特許文献１】Ｗ４：ｒｅａｌ−ｔｉｍｅ ｓｕｒｖｅｉｌｌａｎｃｅ ｏｆ ｐｅｏｐｌｅ ａｎｄ ｔｈｅｉｒ ａｃｔｉｖｉｔｉｅｓ（人とその活動の実時間監視）、Ｈａｒｉｔａｏｇｌｕ， Ｉ．：Ｈａｒｗｏｏｄ， Ｄ．；Ｄａｖｉｓ， Ｌ．Ｓ．共著、「Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ（パターン解析ならびに人工知能）」、ＩＥＥＥ（電気電子学会）会報第２２巻，２０００年８月８日発行、頁８０９−８３０
【非特許文献２】Ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ ｏｆ ｍｕｌｔｉｐｌｅ ｈｕｍａｎｓ ｉｎ ｃｏｍｐｌｅｘ ｓｉｔｕａｔｉｏｎｓ（複雑な状況下での複数の人物の区分と追跡） Ｔａｏ Ｚｈａｏ；Ｎｅｖａｔｉａ， Ｒ．；Ｆｅｎｇｊｕｎ Ｌｖ共著、「Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（コンピュータによる視覚及びパターン認識）」、２００１年度ＩＥＥＥコンピュータ学会会議議事録ＣＶＰＲ２００１．第２巻頁１１−１９４〜１１−２０１
【特許文献１】特開２００５−１４１６８７号公報（第１図）
【０００６】
しかしながら、従来の関連するオブジェクト追跡方法は下記の課題を有することがあった。オブジェクト追跡方法においてオブジェクトのテンプレートを用いて各画像フレーム毎にテンプレートマッチングを行う場合、画像上にオブジェクトが一つしか存在しないとき、そのときはオブジェクトを良好に追跡することができる。しかしながら、オブジェクトの一部が障害物等の悪影響により隠蔽された場合等においては、このオブジェクトの画像を既に保持しているテンプレートと一致させることが困難である。すなわち、テンプレートを用いた照合が確実に行えない可能性がある。複数のオブジェクトが出現し、これら複数のオブジェクトの画像が互いに交差する場合、これらのオブジェクトの画像の交差する部分が小さい場合は、個々のオブジェクトの照合処理を行うことによりオブジェクト追跡処理は依然適切に行うことができる。しかしながら、オブジェクトの画像が大きな領域で互いに重なり合う場合、そのときはテンプレートを確実に照合することは実際困難になる。
【０００７】
また、カルマンフィルタを用いて追跡を行う方法は、過度のノイズに左右されやすい。ノイズが過度に大きくなった場合、出力値は正しい値を構成しない。フィルタの動力学が故に、一旦誤った入力値が入力されると、この誤った値の悪影響が続く追跡処理へ波及することになる。その結果、オブジェクトが適切に追跡できない可能性が存在する。
【０００８】
また、過去の入力値に対して重み付け係数を調整してノイズの悪影響を低減する方法と共にダイナミックフィルタを使用する場合、そのときは下記の課題を抱えることになる。重み付け係数は過去の入力値に適用するため、特定のノイズを含む入力値が招く悪影響を低城することができる。しかしながら、それぞれの場合においてどのような重み付け係数を付与するか決定するアルゴリズムを展開することは、現実に難しいものである。過去の入力値に固定重み付け係数を付与すると、過去の入力値を平滑化することで得られる入力値を用いることができる。しかしながら、そのときは、ノイズが大きな場合、この悪影響を排除できないという課題が残されることになる。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、上記課題を解決するためになされたものであり、それ故に人物や車両などのオブジェクトの画像を、これらのオブジェクトが互いに交差しかつ／又はこれらのオブジェクトが一時的に隠蔽され、或いはノイズや環境変動等の外乱が招く悪影響にさらされることのあるシーン状況において、安定的に追跡することのできるオブジェクト追跡方法ならびにオブジェクト追跡装置を提供する目的を有するものである。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明によればオブジェクト追跡方法が提供されるが、それは、
映像情報を蓄積する工程と、
映像情報からオブジェクトの位置情報を検出する工程と、
位置情報に基づき映像情報中のオブジェクトの領域を検出する工程と、
その領域内に位置するオブジェクトの特徴量を検出する工程と、
オブジェクトの位置情報と特徴量と領域を蓄積する工程と、
位置情報から映像情報中の次フレームのオブジェクトの位置を予測する工程と、
次フレームのオブジェクトの予測位置に基づき領域が移動しようとする次フレームの予測領域を判定する工程と、
次フレームの予測領域内のオブジェクトの特徴量を照合する工程と、
照合工程における照合結果に基づき、特徴量に最も類似する予測領域範囲をオブジェクト領域として出力する工程とを含むものである。
【００１１】
好ましくは、予測方法は、
位置情報に基づき次フレームのオブジェクトの第１の位置を予測する工程と、
前フレームのオブジェクトの位置に基づき次フレームのオブジェクトの第２の位置を予測する工程と、
次フレームのオブジェクトの予測された第１の位置と次フレームのオブジェクトの予測された第２の位置の一方を選択する工程と、
選択工程において選択された次フレームのオブジェクトの予測位置を出力する工程とを含む。
【００１２】
本発明によれば、オブジェクト追跡装置もまた提供され、それは、
映像情報を蓄積する構成としたバッファ部と、
映像情報からオブジェクトの位置情報を検出するオブジェクト位置検出部と、
位置情報に基づき映像情報中のオブジェクトの領域を検出するオブジェクト領域検出部と、
領域内に位置するオブジェクトの特徴量を検出し、位置情報とオブジェクトの特徴量とオブジェクトの領域とを蓄積する蓄積部と、
位置情報から映像情報中の次フレームのオブジェクトの位置を予測する予測部と、
次フレームのオブジェクトの予測位置に基づきオブジェクトが移動しようとする次フレームの予測領域を判定する判定部と、
次フレームの予測領域を用いてオブジェクトの特徴量を照合し、照合結果に基づき特徴量に最も類似する予測領域をオブジェクト領域として出力する照合部とを備えるものである。
【００１３】
好ましくは、予測部は、
位置情報に基づき次フレームのオブジェクトの第１の位置を予測する第１の予測部と、
前フレームのオブジェクトの位置に基づき次フレームのオブジェクトの第２の位置を予測する第２の予測部と、
次フレームのオブジェクトの予測された第１の位置と次フレームのオブジェクトの予測された第２の位置の一方を選択し、設定値に従って次フレームのオブジェクトの選択された予測位置を出力する予測情報切り替え部とを備える。
【００１４】
上記の装置及び方法では、現在の映像フレームから得られるオブジェクトの位置情報にノイズが重畳するような場合でも、ノイズが引き起こす悪影響を排除することができる。
【００１５】
好ましくは、第１の位置の予測工程と第２の位置の予測工程は共に動的な予測モデルを構築することで実行する。
【００１６】
上記方法では、単一の予測係数を用いるのではなく、入力される観測値の変動に応じて最適な予測モデルを構築し、構築された予測モデルにより次フレームの位置情報を予測することができる。
【００１７】
好ましくは、オブジェクト追跡方法はさらに、
オブジェクトの予測位置を判定する工程を含み、
次フレームのオブジェクトの予測された第１の位置と次フレームのオブジェクトの予測された第２の位置を、選択工程における設定値に基づき選択し、
オブジェクトの状態に基づき設定値を決定する。
【００１８】
上記方法では、オブジェクトが隠蔽され、オブジェクト同士が交差しているような場合でも、オブジェクトを追加的に提供することができる。
【００１９】
好ましくは、オブジェクト追跡方法はさらに、
過去の入力位置情報に対し重み付け値を付与する工程を含み、
重み付け値を有する位置情報を予測工程に用いる。
【００２０】
上記方法では、単一の値に基づき予測を行うが、一連の過去の入力情報を用い、さらにそれぞれの過去の入力情報に対して重み付け係数を用いる。それぞれの過去の入力情報に対して重み付け係数を用いて得られた値を入力値として用いるため、特定のノイズが重畳した値の悪影響を低減してこの種の予測を行うことができる。
【００２１】
好ましくは、オブジェクト追跡方法はさらに、
オブジェクトの特徴量を判定工程におけるオブジェクトの状態の結果に基づき更新するかどうか決定する工程を含む。
【００２２】
上記方法では、個々のオブジェクトの状態の信頼性に対応して特徴量を更新することができる。換言すれば、障害物や隠蔽物や環境変化等が原因でオブジェクトの特徴量が正確に抽出できないような場合に、現フレームにて抽出される特徴量を登録しないような状態を特徴量蓄積部に対し設定する。
【００２３】
その結果、信頼性の低い特徴量データを排除することが可能になる。また、複数のオブジェクト同士が重複したり交差したりするような場合であっても、正しい特徴量の抽出ができない場合は、抽出された特徴量を登録しないような状態を設定する。その結果、信頼性の低い特徴量データの登録を排除し、誤処理を低減することができる。
【００２４】
本発明によれば、オブジェクト追跡装置もまた提供され、それは、
撮像部から獲得し或いは映像蓄積部から出力された映像情報を蓄積する工程と、
個々のオブジェクトを映像情報について追跡し、映像情報のフレーム毎に個々のオブジェクトの追跡結果を出力する工程と、
個々のオブジェクトの追跡結果に関する個々のオブジェクトの追跡時間を積算する工程と、
個々のオブジェクトの追跡結果に関する情報と追跡積算時間に関する情報と個々のオブジェクトに関する情報とをデータベース部に蓄積する工程と、
データベース部に蓄積された情報を検索する工程とを含むものである。
【００２５】
本発明によれば、オブジェクト追跡装置もまた提供され、それは、
撮像部から獲得し或いは映像蓄積部から出力された映像情報を蓄積する蓄積部と、
個々のオブジェクトを映像情報について追跡し、映像情報のフレーム毎に個々のオブジェクトの追跡結果を出力するオブジェクト追跡部と、
個々のオブジェクトの追跡結果についての個々のオブジェクトの追跡時間を積算する追跡時間積算部と、
個々のオブジェクトの追跡結果に関する情報と追跡積算時間に関する情報と個々のオブジェクトに関する情報とを蓄積するデータベース部と、
データベース部に蓄積された情報を検索する検索部とを備えるものである。
【００２６】
上記構成ならびに方法にあっては、個々のオブジェクトの識別と特定オブジェクトの位置情報と時間情報とを互いに組み合わせ、個々のオブジェクトの行動軌跡と個々の場所における滞在時間とを算出することができる。また、画面上に出現する全てのオブジェクトについて、軌跡情報及び滞在時間情報に関するデータベースを構築することができる。そこで、構築されたデータベースに基づきオブジェクトの動きに関する検索機能を実現することができる。
【００２７】
本発明によれば、オブジェクト追跡方法もまた提供され、それは、
撮像部から獲得し或いは映像蓄積部から出力された複数の映像情報を複数の蓄積部へ蓄積する工程と、
個々のオブジェクトを映像情報について追跡し、映像情報のフレーム毎に個々のオブジェクトの追跡結果を出力する工程と、
個々のオブジェクトの追跡結果に基づき複数の撮像部間で撮像した同一オブジェクトを追跡する工程と、
撮像部間での同一オブジェクトの追跡結果に従い蓄積部の複数の映像情報を切り替える工程と、
切り替え工程にて切り替えられた映像情報を記録する工程とを含むものである。
【００２８】
本発明によれば、オブジェクト追跡装置もまた提供され、それは、
撮像部から獲得し或いは映像蓄積部から出力された複数の映像情報を蓄積する複数の蓄積部と、
個々のオブジェクトを映像情報について追跡し、映像情報のフレーム毎に個々のオブジェクトの追跡結果を出力する複数のオブジェクト追跡部と、
個々のオブジェクトの追跡結果に基づき複数の撮像部間で撮像された同一のオブジェクトを追跡する交差オブジェクト追跡部と、
撮像部間での同一のオブジェクトの追跡結果に従い、蓄積部の複数の映像情報を切り替える切り替え部と、
映像切り替え部が切り替える映像情報を記録する記録部とを備えるものである。
【００２９】
上記構成ならびに方法にあっては、複数の撮像部が組み込まれたシステム内で特定オブジェクトの一連の動きを監視する場合に、もはやオペレータが複数の撮像部間に跨る特定オブジェクトの動きに応じて手動で映像を切り替えることはなく、複数の撮像部に跨がる特定オブジェクトの動きに応答して映像を自動的に切り替えることができるようになる。また、映像切り替え部は記録装置に接続してあるため、特定応答の動きに関連するような映像だけ記録し、かくして特定オブジェクトに関連する記録処理を行うことができる。
【００３０】
好ましくは、オブジェクト追跡方法はさらに、
複数撮像部間でのオブジェクトの追跡精度を改善すべく、各蓄積部の幾何学的キャリブレーションを事前に行う工程と、
蓄積部の個々の幾何学的なキャリブレーションの結果を統合する工程とを含み、
撮像部間に跨がるオブジェクトを追跡する場合に、撮像部間の位置関係を用いてオブジェクトを追跡する。
【００３１】
好ましくは、オブジェクト追跡装置はさらに、
撮像部間に跨がるオブジェクトの追跡精度を改善すべく、各蓄積部の幾何学的キャリブレーションを事前に行うキャリブレーション部と、
蓄積部の個々の幾何学的キャリブレーション結果を統合する撮像部間幾何学的位置関係整合部とを備え、
撮像部間に跨がるオブジェクトを追跡する場合に、撮像部間の位置関係を用いてオブジェクトを追跡する。
【００３２】
上記構成ならびに方法にあっては、撮像部間の位置関係は撮像部間幾何学的位置関係整合部により把握でき、また撮像部間に跨るオブジェクトの追跡を行うような場合に、オブジェクト追跡装置は撮像部間の位置関係を用いて高い精度でオブジェクトを追跡することができる。
【００３３】
本発明によれば、オブジェクト追跡方法も提供され、それは、
撮像部から獲得し或いは映像蓄積部から出力された映像情報を蓄積する工程と、
個々のオブジェクトを映像情報について追跡する工程と、
映像情報のフレーム毎に個々のオブジェクトの追跡結果を出力する工程と、
出力工程において出力された各オブジェクトの追跡領域を用いて記録処理を行う工程と、
設定値を設定する工程とを含み、
設定値に基づき記録処理を行うものである。
【００３４】
本発明によれば、オブジェクト追跡装置もまた提供され、それは、
撮像部から獲得し或いは映像蓄積部から出力された映像情報を蓄積する蓄積部と、
個々のオブジェクトを映像情報について追跡し、画像情報のフレーム毎に個々のオブジェクトの追跡結果を出力するオブジェクト追跡部と、
オブジェクト追跡部から出力された各オブジェクトの追跡領域を用いて記録処理を行う記録部と、
設定値を設定する設定部とを備え、
設定値に基づき記録部が記録処理を行うものである。
【００３５】
上記構成ならびに方法にあっては、個々のオブジェクトの領域情報を利用するため、注目領域以外の領域の記録処理は行わずに、特定オブジェクトの領域のみ記録することができる。また、記録設定部１２４の設定値に基づき、特定のオブジェクト領域について低圧縮率かつ高解像度で記録処理を行い、この特定オブジェクト領域以外の領域については高圧縮率かつ低解像度の記録処理を行うことができる。
【発明の効果】
【００３６】
上記した如く、本発明は、人物や車両などのオブジェクトが互いに交差したり、互いに隠蔽状態にあったりするようなシーン状況下、或いは外乱ノイズや環境変動が引き起こす悪影響に対し、目標オブジェクトを追跡する方法を提供することができる。換言すれば、オブジェクトの追跡処理において、観測ノイズの影響や信頼性の低い入力値の悪影響を自動的に判別し、かくして信頼性の低い入力値の使用を低減することで、高い信頼性をもって予測を行うことができるようになる。また、後続フレームの位置と領域の両方に関する情報をオブジェクトの追跡を行うべく移動領域に加え前フレームの位置及び領域情報から予測し、オブジェクトの追跡時に算出工程量が低減可能な効果を有するオブジェクト追跡方法を提供することができる。
【発明を実施するための最良の形態】
【００３７】
ここで図面を参照し、本発明の実施形態に係るオブジェクト追跡方法及びオブジェクト追跡装置を説明することにする。
【００３８】
（実施形態１）
本発明の第１の実施形態のオブジェクト追跡方法を、図１〜図１０を用いて説明することにする。
【００３９】
図１において、本発明の第１の実施形態に係るオブジェクト追跡方法が実現できるオブジェクト追跡装置１は、フレームバッファ部１１と、オブジェクト位置検出部１２と、オブジェクト領域検出部１３と、特徴量蓄積部１７と、移動予測部１４と、予測情報切り替え部２０と、予測情報蓄積部２２と、領域判定部１９と、特徴量照合部１８と、を含む。フレームバッファ部１１は、映像蓄積装置或いは人物の動きを撮像するカメラから出力される映像フレームをそこに蓄積する。オブジェクト位置検出部１２は、入力映像フレームから人物や車両等のオブジェクトの画像の位置情報を検出する。オブジェクト領域検出部１３は、オブジェクト位置検出部１２が検出する位置情報について関連オブジェクトの画像を含む領域を検出する。特徴量蓄積部１７は、検出オブジェクトの画像の位置とオブジェクト領域検出部１３が獲得した領域内に現存するオブジェクトの衣服の色及びパターンとを蓄積する。位置情報はオブジェクト位置検出部１２が検出するが、以前の位置情報は移動予測部１４へ入力される。移動予測部１４は、個々の入力位置情報について次フレームの移動位置を予測する。予測情報切り替え部２０は移動予測部１４から出力された次フレームの予測値を切り替え、設定部２１の値に従って予測値のいずれか一つを選択する。予測情報蓄積部２２は、予測値を保持する。領域判定部１９は、予測情報切り替え部２０から獲得した次フレームの予測値とオブジェクト位置検出部１２から獲得した情報とに基づき、次フレームのオブジェクトの画像の移動領域範囲を判定する。特徴量照合部１８は、領域判定部１９が獲得した領域内のフレームバッファ部１１の情報について特徴量蓄積部１７内に蓄積された特徴量を照合し、照合結果が最高の類似度であるような位置を出力する。特徴量は、オブジェクトの特徴の少なくとも一つ、例えばオブジェクトのエッジ情報やオブジェクトの色情報やオブジェクトの頭部位置情報やオブジェクトのテクスチャ情報を意味する。
【００４０】
また、図２において、特徴量蓄積部１７はパターン蓄積部２９と、位置・領域蓄積部２３と、位置予測部分蓄積部２４と、データベース部２８と、を含む。パターン蓄積部２９は、オブジェクトの画像の特徴量をそこに蓄積する。位置・領域蓄積部２３は、オブジェクトの画像の位置情報と領域情報の両方をそこに蓄積する。位置予測部分蓄積部２４は、予測された位置情報をそこに蓄積する。データベース部２８は、各保持・蓄積部２２，２３，２４のデータをそこに蓄積する。
【００４１】
また、特徴量照合部１８は、照合部２５と、パターン更新部２６と、位置・領域判定部２７と、を含む。照合部２５は、領域判定部１９により検出された領域内においてオブジェクトの画像の特徴量の類似度を互いに照合する。パターン更新部２６は照合部２５による照合結果を新規オブジェクトの画像の特徴量パターンとして設定し、パターンを更新し、更新されたパターンをパターン蓄積部２９に登録する。位置情報判定部２７は、照合部２５から獲得した照合結果に基づきオブジェクトの画像の位置と領域の両方を判定し、続いて獲得オブジェクト領域情報を出力する。
【００４２】
また、図４において、第１の予測部１５と第２の予測部１６はそれぞれカルマンフィルタ３４，３９と予測位置算出部３５，４０とにより構成してある。
【００４３】
図５中、オブジェクト位置検出部１２は、フレーム間差分処理部１３３と、エッジ検出処理部１３４と、位置検出処理部１３５と、により実現してある。
【００４４】
図６において、オブジェクト領域検出部１３は、ヒストグラム投影部１３６と、垂直セグメンテーション部１３７と、水平セグメンテーション部１３８と、特徴量抽出部１３９と、により構成してある。ヒストグラム投影部１３６は、垂直及び水平方向のエッジ成分のヒストグラムを生成する。垂直セグメンテーション部１３７は、垂直方向から見たオブジェクトの画像の位置を検出する。水平セグメンテーション部１３８は、水平方向から見たオブジェクトの画像の位置を検出する。特徴量抽出部１３９は、オブジェクトの画像の特徴量を抽出する。
【００４５】
上記に説明した構成を用いたオブジェクト追跡装置１により実現されるオブジェクト追跡方法について、その追跡動作をここで説明することにする。
【００４６】
図８は、上記オブジェクト検出部１２の動作を示すものである。このオブジェクト検出部１２では、フレームバッファ部１１から得られる時系列画像、例えば入力画像ｎ−１＿１４１、入力画像ｎ＿１４２が入力画像として入力される。次に、これらの時間系列画像に対しフレーム差分処理部１４３によりフレーム間差分処理を行い、フレーム間差分処理画像１４４を得る。得られたフレーム間差分画像１４４は、エッジ検出工程処理においてエッジ検出処理部１３４により処理し、エッジ画像１４６を得る。さらに、位置検出処理部１３５はエッジ画像１４６から位置検出工程処理を行う。
【００４７】
位置検出工程処理に従い、例えばエッジ画像１４６について包絡線１３７を抽出し、抽出された包絡線１３７の極値１３６を位置検出結果１４８として出力することができる。
【００４８】
図９は、前記オブジェクト検出部１３の動作を示すものである。オブジェクト位置検出部１２により得られた極値１３６を基点とし、オブジェクト領域検出部１３が一定の範囲についてヒストグラム処理を行い、垂直方向のヒストグラム１５４と水平方向のヒストグラム１５３を得る。
【００４９】
垂直方向のヒストグラム１５４と水平方向のヒストグラム１５３に対しそれぞれ垂直方向セグメンテーション１３８及び水平方向セグメンテーション１３７を施すことで、領域検出結果１５９が得られる。次に、領域検出結果１５９を図１０の領域情報１６１として出力する。また、得られた領域情報１６１について、オブジェクトの画像が人物に対応する場合は、領域全体の特徴量（色情報とパターン情報）に加え、頭部の下位部分、すなわち胴体部分領域を特徴量領域として代替的に保持することも可能である。頭部と腹部と腕部と足部等をパターンマッチング法等の技術方法により認識できるため、人物における各部位の情報を特徴量として代替的に使用することも可能であることに、留意されたい。上記の例では、フレーム間差分により動オブジェクト領域を獲得していた。さもなくば、個々のオブジェクトの位置情報と領域情報の両方を背景とは異なる前景領域から背景差分法により抽出する仕方で抽出することができ、この抽出領域をオブジェクト領域候補として用い、そこで続く工程処理を実行する。さらに、同じフレーム間差分法と背景差分法の両方を用いることで、オブジェクト位置情報とオブジェクト領域情報の両方を代替的に抽出することができる。上記の例における位置情報の検出方法として、エッジ情報について包絡線を抽出する一種の方法を示した。さもなくば、対象オブジェクトの画像が人物の場合、顔領域を検出してその検出結果を位置情報として用いることも可能である。さらに、顔検出方法として楕円領域を代替的に検出し、その検出結果を代替的に位置情報とすることもできる。
【００５０】
また、移動予測部１４はカルマンフィルタ部３４と予測位置算出部３５により構成してある。オブジェクトの画像の位置などの現在の位置をカルマンフィルタに適用すると、カルマンフィルタはパラメータ（Ｘ）を算出し、オブジェクトの画像が移動した後の位置を算出する。パラメータＸを用いているため、オブジェクトの画像の次の予測位置を算出することができる。
【００５１】
移動予測部１４では、予測部１６がオブジェクト位置検出部１２により検出されたオブジェクトの画像の位置を用いて、オブジェクトの画像の次の予測位置を出力する。一方、予測部１５は、それまでに移動予測部１４が出力した予測位置を用いて、オブジェクトの画像の次の予測位置を出力する。
【００５２】
設定部２１は、予め設定された値に基づき予測情報切り替え部２０に入力される値を選択する。設定例としては、選択された値について算出しておき、予測部１６から出力される値について以前獲得した値が閾値以内の値の場合、予測部１６により出力された値を設定部２１が選択し、この値を予測情報切り替え部２０の出力に定める。また、以前獲得した値が闘値を超える場合、設定部２１は予測部１６が出力する値が以前獲得した値から大きく外れた値に対応すると判定し、予測部１５が出力する値を選択し、この選択された値を予測情報切り替え部２０の出力に定める。その結果、予測情報切り替え部２０の出力は次フレームの位置の予測値に対応し、この値が位置予測部分蓄積部２４へ入力される。そこで、次フレームのオブジェクトの画像の位置と領域を検出すると、その特徴量を特徴量照合部１８が照合することになるオブジェクトの移動予測範囲を位置予測部分蓄積部２４内に保持されている予測値を用いて割り出すことができる。その移動予測範囲について、照合部２５により特徴量が照合される。照合の結果、最も高い類似度を有する部分の頭部位置が移動点として判定され、そこでこの領域がオブジェクト領域として判定される。この判定結果は、位置・領域判定部２７によりオブジェクト領域情報の結果として出力される。また、特徴量はパターン更新部２６により更新され、この更新された特徴量がパターン蓄積部２９に蓄積される。また、この工程処理の流れ処理を説明するフローチャートを図７に示す。
【００５３】
このような本発明の第１の実施形態によれば、オブジェクトの画像の特徴量を用いてパターンマッチングを行う際に、オブジェクトの画像の位置とオブジェクトが移動する領域の範囲が最適化されるため、パターンマッチングの算出領域を制限することができる。さらに、オブジェクトの画像の位置とオブジェクトが移動する領域を予測する際に、オブジェクトの画像の位置を移動予測部１４の予測部１６により予測し、その一方で現フレームのオブジェクト検出位置を入力値として用いる。観測対象である位置情報に関する正しい値がノイズの悪影響が原因で得ることができないような場合、次のフレームのオブジェクトの画像の正しい位置と正しい領域を予測することはできない。しかしながら、現在の観測値を入力する予測部１６からの予測出力と予測部１５からの予測出力の両方を行い、現フレームから得られるオブジェクトの画像の位置情報にノイズが重畳しているような場合に、ノイズが招く悪影響は予測部１５により得られた予測位置を用いることで排除され、その一方で予測部１５は前フレームに基づきオブジェクトの画像の移動位置を予測した予測値等を入力することで次のフレーム内のオブジェクトの画像の移動位置を予測する。また、オブジェクトの画像の特徴量は逐次更新されるため、信頼性の高い追跡を行うことができる。複数のオブジェクトの画像が出現したときにおいても、個々のオブジェクトの画像を互いに識別することができ、また個々のオブジェクトの画像を別個に追跡することができる。
【００５４】
（実施形態２）
次に、図１１は本発明の第２の実施形態に係るオブジェクト追跡方法を実現するオブジェクト追跡装置６３を示す。
【００５５】
第１の実施形態に比べ、第２の実施形態のオブジェクト追跡方法を実現するオブジェクト追跡装置６３は、第１の実施形態に記載したオブジェクト追跡装置１を追加的に用いるオブジェクト状態判定部６２を含む。オブジェクト状態判定部６２は特徴量照合部１８により得られたオブジェクト領域と特徴量蓄積部１７に蓄積された特徴量とからオブジェクトの状態を判定する。また、設定部１２はオブジェクト状態判定部６２が設定すべきデータを決定する。図１１と図１２を参照し、上記構成を用いたオブジェクト追跡装置６３の工程処理の説明を行う。
【００５６】
オブジェクト追跡装置６３では、複数のオブジェクトの画像の位置と領域を逐次入力されたフレームについて検出する。個々のオブジェクトの画像の特徴量を抽出し、抽出された特徴量を特徴量蓄積部５７内に蓄積する。オブジェクト状態判定部６２は抽出されたオブジェクトの状態を判定し、すなわちオブジェクトが現在どのような状態にあるか判定することのできる機能を有する。複数のオブジェクトの画像が存在する場合、オブジェクト状態判定部６２は複数のオブジェクトの画像が互いにどのような状態にあるか判定する。複数のオブジェクトが互いに交差する場合（１７１）、領域検出結果ｎ−２＿１７２ではオブジェクトＡ＿１６９とオブジェクトＢ＿１７０（図１２に図示）が検出され、そのときの各オブジェクトの特徴量が特徴量蓄積部５７に蓄積され、オブジェクト状態判定部６２はオブジェクトＡ＿１６９、オブジェクトＢ＿１７０が単独の状態にあると判定する。その後、領域検出結果ｎ−１＿１７３においても、オブジェクトＡ＿１６９とオブジェクトＢ＿１７０が同様に検出され、そのときのこれらのオブジェクトの画像の各特徴量が特徴量蓄積部５７に蓄積され、オブジェクト状態判定部６２はオブジェクトＡ＿１６９、オブジェクトＢ＿１７０が単独の状態にあると判定する。その後、領域検出結果ｎ＿１７４では、オブジェクトＡ＿１６９がオブジェクトＢ＿１７０と交差した堀合に、検出領域結果ｎ＿１７４において重複部分を生ずる。このとき、オブジェクト状態判定部６２はオブジェクトＡ＿１６９とオブジェクトＢ＿１７０が交差状態にあると判定する。このとき、事前に設定されていたステップ値に応じて、オブジェクトＡ＿１６９とオブジェクトＢ＿１７０が特徴量蓄積部５７内に蓄積される場合と、そこに蓄積されない場合の二つの場合が存在する。通常、オブジェクトの画像が互いに交差するときは、これらのオブジェクトの画像の特徴量は更新されない。また、オブジェクト状態判定部６２はオブジェクトの画像の状態の変化も検知する。障害物によりオブジェクトが隠蔽された場合（１７６）、オブジェクトＣ＿１６８が領域検出結果ｎ−２＿１７７として抽出されたときに、オブジェクト状態判定部６２はオブジェクトＣ＿１６８が単独の状態にあると判定する。領域検出結果ｎ−１＿１７８は、領域検出結果ｎ−２＿１７７と同様である。領域検出結果ｎ＿１７９では、オブジェクトＣ＿１６８が前フレームに引き続き追跡された領域と同様に獲得された場合、前フレームで検出された領域の大きさと現フレームで検出された領域の大きさとの間の差分が予め設定された閾値よりも大きい場合、オブジェクト状態判定部６１はオブジェクトＣ＿１６８が変化を生じている状態にあると判定する。このとき、事前に設定された設定値に応じて、オブジェクトＣ＿１６８の特徴量が特徴量蓄積部５７に蓄積される場合と、そこに蓄積されない場合とがある。通常、オブジェクトに変化が生じている状態の時は、このオブジェクトの特徴量は更新しないことにする。上記に説明した仕方で獲得したオブジェクトの画像の状態判定結果は、設定部６１に入力される。これらの状態判定結果を受け、設定部６１は予測部０２＿５５の結果を用いることでこの種の設定処理を行うが、それはオブジェクトが互いに交差し、かつまたオブジェクトの画像が状態を変化しているときに位置検出結果の信頼性が不安定になる場合があるからである。また、オブジェクトの画像が単独の状態にあるか、或いはオブジェクトに変化が生じていないときは、位置検出結果の信頼性は高い場合が多く、設定部６１は予測部０１＿５６の結果を用いる設定処理を行う。なお、オブジェクト状態判定部６２が代替的に交差の程度、換言すれば領域が互いにどの程度重複しているのかを判定、すなわちオブジェクトが前の状態からどの程度変化したかを判定することができる。そこで、この判定結果が設定部６１に入力される。設定部６１はこの判定された程度に応じた閾値を代替的に設定し、そこで予測部０１＿５６の値或いは予測部０２＿５５の値を代替的に選択することができる。
【００５７】
オブジェクト状態判定部６２が各オブジェクトの画像の交差が達成されたと判定すると、検出された複数のオブジェクトがその交差前にどのオブジェクトに対応していたかを目的に、特徴量照合部１８はパターン蓄積部２９が保持してきた個々のオブジェクトの画像の特徴量を用いて被検出オブジェクトについて照合を行い、類似度を算出する。また、個々のオブジェクトの位置は移動予測部１４により予測できるため、この移動予測部１４はオブジェクトの画像の移動予測を行うことができる。換言すれば、個々のオブジェクトの画像の移動予測を行ってこれらのオブジェクトが互いに交差する前のオブジェクトの速度及び方向ベクトルを導出しているため、これらのオブジェクトの画像が互いに交差した後に個々のオブジェクトの画像の移動領域が得られる。すなわち、オブジェクトの画像間の対応関係が、導出された移動予測領域とこれらのオブジェクトの画像が互いに交差した後に検出されたオブジェクトの画像に対する個々の特徴量の類似度とに基づき割り出される。
【００５８】
上記した如く、特徴量蓄積部１７に蓄積された特徴量とオブジェクトの画像の移動予測を用いることで、その交差前の個々のオブジェクトの画像とその交差後の個々のオブジェクトの画像との間の対応関係を高精度で確定することができる。
【００５９】
隠蔽の場合、その隠蔽前のオブジェクトの画像と隠蔽後のオブジェクトの画像との間の対応関係が上記方法により確定される。
【００６０】
本発明の上記した第２の実施形態によれば、個々のオブジェクトの画像の状態を反映させて個々のオブジェクトの画像の移動を予測することができる。換言すれば、障害物や隠蔽物や環境変化が原因でオブジェクトの画像の位置情報が正確に検出できない場合、現フレームにおいて検出された観測値を使用しない状態を設定部２１に対し設定する。その結果、予測情報切り替え部２０が移動予測部１４による値の選択を制御し、信頼性の低い検出データを排除することができる。また、複数のオブジェクト同士が重複した場合、或いは交差する場合においても、この状態の判定結果が設定部２１に設定され、予測情報設定部２０が移動予測部１４による値の選択を制御し、信頼性の低い検出データの悪影響を低減することができる。
【００６１】
（実施形態３）
次に、図１３は本発明の第３の実施形態に係るオブジェクト追跡方法を実現するオブジェクト追跡装置を示す。
【００６２】
図１３において、この第３の実施形態のオブジェクト追跡方法を実現するオブジェクト追跡装置は、映像入力部７１と、オブジェクト追跡部７２と、追跡時間積算部７３と、データベース部７４と、検索部７５と、を含む。映像入力部７１は、カメラから生成された映像から伝送される映像フレームと映像蓄積装置から出力された映像情報とを入力し、そこに蓄積する。カメラは、人の動きの状況を把握し、或いはイベントの発生を監視し、映像を伝送する。オブジェクト追跡部７２は、映像入力部７１から入力された映像について個々のオブジェクトの画像を追跡し、入力映像のフレーム毎に個々のオブジェクトの画像の追跡結果を出力する。追跡時間積算部７３は、オブジェクト追跡部７２から出力される個々のオブジェクトの追跡結果についての個々のオブジェクトの画像の追跡時間を積算する。データベース部７４は、個々のオブジェクトの画像の追跡結果と積算追跡時間に関する情報と個々のオブジェクトの画像の映像情報とをそこに蓄積する。検索部７５は、個々のオブジェクトの画像の追跡結果を内部蓄積したデータベース部７４の情報を検索する。
【００６３】
図１３〜図１５を参照するに、上記した構成を用いるオブジェクト追跡装置に関する動作を説明することにする。オブジェクト追跡部７２が、映像入力部７１により入力された映像について個々のオブジェクトの画像を追跡する。そこで、得られた個々のオブジェクトの追跡情報について、追跡時間積算部７３が追跡時間を積算し、オブジェクトの画像の一連の情報をデータベース部７４に蓄積する。図１４に示す如く、データベース部７４に蓄積される情報は、この情報の蓄積に使用するアドレス１８１と、オブジェクトの番号を示すオブジェクト番号１８２と、入力ソース１８３と、時間１８４と、位置１８５と、領域１８６と、特徴量情報１８７とから構成される。入力ソース１８３は、上記情報がどの入力ソースから入力されたかを示す情報に対応する。特徴量情報１８７は、オブジェクトの特徴量情報の蓄積場所を示す。検索部７５は、ユーザから入力された検索条件をそこに入力し、データベース部７４に蓄積された情報を検索し、検索結果として対応情報を出力する。例えば、図１５の画面Ａ＿１９１に示す如く、検出されたオブジェクトＡ＿１９３が家屋前を俳詣している場合を考えると、オブジェクトＡ＿１９３の追跡情報及びオブジェクトＡ＿１９３に関する滞在時間等の時間積算情報の両方がデータベース部７４に蓄積される。そこで、ユーザは別の画面Ｂ＿１９２に対し選択範囲１９４を設定し、指定された選択範囲１９４に対し滞在時間を設定する。換言すれば、オブジェクト追跡装置は設定された範囲について所定時間（例えば、１０分以上）に亙り同一オブジェクトの画像が滞在している場合をデータベース部７４から検索し、検索結果を出力する。なお、ユーザから入力された検索条件に関してはデータベース部７４に蓄積されている情報に基づきどのような検索項目も随意組み含わせることができる。例えば、オブジェクトの画像の様々な検索条件、すなわち特定の領域に対し２人以上の人物が同時に滞在した場合のオブジェクトの画像を検索したり、特定の特徴量（例えば赤色の特徴量）を有するオブジェクトの画像を指定期間内で検索したり、一つの特定領域から別の特定領域へ移動したオブジェクトの画像を検索したりすることが想定できる。
【００６４】
本発明の第３の実施形態のこの種オブジェクト追跡装置によれば、個々のオブジェクトの識別と特定のオブジェクトの位置情報及び時間情報を互いに組み合わせることで、個々のオブジェクトの行動軌跡とこれらのオブジェクトのそれぞれの場所における画像の滞在時間を算出することができる。また、画面上に現れる全てのオブジェクトに対し軌跡情報と滞在時間情報に関するデータベースを構築することができる。次に、構築されたデータベースに基づきオブジェクトの画像の動きに関する検索機能を実現することができる。
【００６５】
（実施形態４）
次に、本発明の第４の実施形態に係るオブジェクト追跡装置を図１６〜図１８に示す。図１６〜図１８において、第４の実施形態のオブジェクト追跡装置は、複数の映像入力部０１＿８１と、映像入力部０２＿８２と、映像入力部ｎ＿８３と、複数のオブジェクト追跡部８４，８５，８６と、複数カメラ間オブジェクト追跡部８７と、映像切り替え部８８と、モニタ部８９と、記録装置９０と、を含む。複数の映像入力部０１＿８１と映像入力部０２＿８２と映像入力部ｎ＿８３は、カメラから生成された映像から伝送された映像フレームと映像蓄積装置から出力された映像情報とを入力し、そこに蓄積する。カメラは、人の動きの状況を把握し、或いはイベントの発生を監視し、映像を伝送する。複数のオブジェクト追跡部８４，８５，８６は、複数の映像入力部８１，８２，８３から入力された映像について個々のオブジェクトの画像を追跡し、そこで入力映像のフレーム毎に個々のオブジェクトの画像の追跡結果を出力する。複数カメラ間オブジェクト追跡部８７は複数のオブジェクト追跡部８４，８５，８６から出力された個々のオブジェクトの追跡結果を入力し、複数カメラ間において同一オブジェクトを追跡する。映像切り替え部８８は、複数カメラ間オブジェクト追跡部８７により得られる複数カメラ間オブジェクトの追跡結果に従い複数の映像入力部８１，８２，８３の映像を切り替える。モニタ部８９は、映像切り替え部８８から出力された映像を表示する。記録装置９０は、映像切り替え部８８の映像をそこに記録する。また、オブジェクト追跡部８４，８５，８６は、オブジェクト領域獲得部９１，９７と、３次元位置情報獲得部９２，９８と、オブジェクト色情報獲得部９３，９９と、頭部位置獲得部９４，１００と、時間情報生成部９５，１０１と、さらに映像入力番号９６，１０２と、により構成してある。複数カメラ間オブジェクト追跡部８７は、３次元位置照合部１０３と、オブジェクト色情報照合部１０４と、時間情報照合部１０５と、カメラ番号情報１０６と、同一オブジェクト判定部１０７と、から構成してある。
【００６６】
ここで図１６〜図１８を参照し、上記構成を用いたオブジェクト追跡装置の動作を説明する。個々の映像入力部８１，８２，８３に対応するオブジェクト追跡部８４，８５，８６は、個々の映像入力部８１，８２，８３に対応するオブジェクトの追跡情報を獲得することができる。オブジェクト追跡ブロック８４，８５，８６には、オブジェクトの領域獲得結果を獲得するオブジェクト領域獲得部９１，９７と、オブジェクトの画像の特徴量の一つであるオブジェクト色情報獲得部９３，９９と、オブジェクトの画像の位置情報を獲得する頭部位置獲得部９４，１００と、オブジェクトの画像の軌跡情報とともに付随する時間情報を獲得する時間情報生成部９５，１０１と、個々の映像入力部８１，８２，８３の識別に用いる映像入力番号９６，１０２と、さらにオブジェクトの画像の位置情報を３次元位置情報へ変換する３次元位置情報獲得部９２，９８と、を備える。これらのオブジェクト追跡部８４，８５，８６は、個々のオブジェクトの画像に関連する情報を獲得する。オブジェクトの３次元位置情報を獲得するため、各映像入力部８１，８２，８３に対し事前にキャリブレーション処理を行い、入力映像間の幾何学的位置関係を導出する。図１８に示す如く、映像入力部＿０１＿１１１，・・・，映像入力部＿ｎ＿１１３から入力された映像に対しキャリブレーション部１１４，１１５，１１６が個々のカメラにおけるキャリブレーション処理を行う。得られた内部パラメータと外部パラメータは共にカメラ間幾何学的位置関係整合部１１７へ入力し、個々の入力映像の幾何学的位置関係を導出する。この工程処理を実行するため、２次元位置情報は３次元位置情報へ変換することができる。得られる３次元位置情報は、世界座標系（すなわち、個々の入力画像の座標系に依存しない座標系）となる。オブジェクト追跡ブロック８４，８５，８６により得られたオブジェクトの各情報は複数カメラ間オブジェクト追跡部８７へ入力し、互いに照合し、そこで同一オブジェクトであるか否かの判定を行う。複数のカメラ間を移動してきたオブジェクトの画像が同一であると判定された場合、その時の移動先の映像入力番号を映像切り替え部８８へ出力する。映像入力番号を入力した映像切り替え部８８は、現映像を受ける映像入力番号の映像に切り替え、モニタ部８９に対しモニタ出力を変更する。同様に、映像切り替え部８８は映像出力を記録装置９０へ切り替える。図２０は、入力映像間に跨がる移動とそのときのモニタ映像との間の関係を示すものである。図中、時刻Ｔ＋１＿２０２にカメラ０１＿２０７にオブジェクトＡ＿２０１が出現するものとしてある。カメラ０１＿２０７の映像出力は映像入力部＿０１＿１１１に繋がっており、この目的に沿って他のカメラが同様に対応する映像入力部に接続されていることを、理解されたい。その時、モニタ部２１４上には、カメラ０１＿２０７が撮像した映像と組み合わせてオブジェクトＡ＿２０１が表示されている。その後、時刻Ｔ＋２＿２０３に、オブジェクトＡ＿２０１がカメラ０１＿２０７からカメラ０２＿２０８へ移動した場合、複数カメラ間オブジェクト追跡部８７はオブジェクトＡ＿２０１が撮像部０１＿２０７から撮像部０２＿２０８へ移動した事実を検知し、そこでこの複数カメラ間オブジェクト追跡部８７がカメラ０２＿２０８に接続されている映像入力部＿０２＿１１２の番号を映像切り替え部８８へ出力する。この番号を受けて、映像切り替え部８８はモニタ部８９と記録装置９０の双方に対し映像を切り替える。同様に、時刻Ｔ＋３＿２０４において、オブジェクトＡ＿２０１がカメラ０２＿２０８から別のカメラ０３＿２０９へ移動した場合、モニタ上に表示される映像はカメラ０２＿２０８からカメラ０３＿２０９へ切り替わる。その後、オブジェクトＡ＿２０１の移動に同期してカメラ０４＿２１０とカメラ０５＿２１１の映像が切り替えられる。
【００６７】
本発明の第４の実施形態によれば、複数のカメラを設置したシステム内で特定オブジェクトの一連の動きを監視するような場合、もはやオペレータが複数のカメラ間に跨る特定のオブジェクトの動きに応じて手動で映像を切り替えることはなく、かくして複数カメラに跨がる特定オブジェクトの動きに応答して映像を自動的に切り替えることができるようになる。また、映像切り替え部８８は記録装置９０に接続してあるため、特定オブジェクトの動きに関するような映像だけを記録することができ、かくして特定のオブジェクトに関する記録を行うことができる。
【００６８】
（第５の実施形態）
次に、本発明の第５の実施形態のオブジェクト追跡装置を図１９に示す。同図中、第５の実施形態のオブジェクト追跡装置は、映像入力部１２１と、オブジェクト追跡部１２２と、記録装置１２３と、記録設定部１２４と、を用いて構成してある。映像入力部１２２はカメラから生成される映像から伝送される映像フレームと映像蓄積装置から出力された映像情報とをその内部に蓄積する。カメラは、人物の動きの状態を把握し、或いはイベントの発生を監視し、映像を伝送する。オブジェクト追跡部１２２は映像入力部１２１から入力された映像について個々のオブジェクトの画像を追跡し、入力画像のフレーム毎に個々のオブジェクトの画像の追跡結果を出力する。記録装置１２３は、オブジェクト追跡部１２２から出力された個々のオブジェクトの追跡領域を用いることで記録処理を行う。記録設定部１２４は、記録装置１２３の設定値を設定して記録装置１２３の記録機能を変更する。
【００６９】
ここで図１９と図２１を参照し、上記構成を用いたオブジェクト追跡装置についての動作を説明することにする。
【００７０】
映像入力部１２１により入力された映像に対し、オブジェクト追跡部１２２が個々のオブジェクトの画像を追跡する。そこで、得られた個々のオブジェクトの領域情報が、映像入力部１２１が入力する映像と組み合わせて記録装置１２３へ入力される。記録装置１２３は、入力映像を記録設定部１２４の設定に従い記録する。記録設定部１２４は、様々な種類の設定値を設定することができ、すなわち図２１のケースＡ＿２１６に示す如く、オブジェクトＡ＿２１８の領域内で低圧縮率かつ高画質での記録条件を設定し、オブジェクトＡ＿２１８の領域以外の領域について高圧縮率かつ低画質での記録条件を設定する。さらに、図２１のケースＢ＿２１７に示す如く、オブジェクトＡ＿２１８の領域内で庄縮率３０％での記録条件を設定し、オブジェクトＡ＿２１８の領域以外の領域内で圧縮率８０％での記録条件を設定する。また、この種の記録条件は、領域内では記録処理を行い、その他の領域では記録処理を全くしない等に設定される。また、上記設定以外に、アラームが入力されたときに、記録処理の設定を有効にすることもできる。例えば、アラームが入力されたときに、オブジェクト領域のみ高画質で記録するよう記録条件を設定することができる。
【００７１】
本発明の第５の実施形態に係るオブジェクト追跡装置によれぽ、個々のオブジェクトの領域情報を用いるため、注目領域以外の領域の記録処理は行わず、特定オブジェクトの領域のみ記録することができる。また、記録設定部１２４の設定に基づき、特定オブジェクトの領域については低圧縮率かつ高解像度で記録処理を行うのに対し、この特定オブジェクト領域以外の領域については高圧縮率かつ低解像度で記録処理を行う。
【産業上の利用可能性】
【００７２】
前記した如く、本発明は人物や車両等のオブジェクトが互いに交差し、或いは互いに隠蔽するシーン状況等の下で、或いは外乱ノイズと環境変動が引き起こす悪影響に対し、目標オブジェクトを追跡する方法を提供することができる。換言すれば、オブジェクト追跡工程処理において、観測ノイズが引き起こす悪影響や信頼性の低い入力値が引き起こす悪影響を自動的に判定し、かくして信頼性の低い入力値の使用を減らし、高い信頼性でもって予測が実行できるようにしてある。また、後続フレームの位置及び領域の両方に関する情報をオブジェクト追跡目的に移動領域に加え前フレームの位置及び領域から予測し、オブジェクトの追跡時に計算処理量が低減できる効果を有するオブジェクト追跡方法が提供できるようになる。
【図面の簡単な説明】
【００７３】
【図１】本発明の第１の実施形態に係るオブジェクト追跡装置を示すブロック図である。
【図２】本発明の第１の実施形態に係るオブジェクト追跡装置の特徴量蓄積部を示す図である。
【図３】本発明の第１の実施形態におけるオブジェクト追跡装置の特徴量照合部を示す図である。
【図４】本発明の第１の実施形態に係るオブジェクト追跡装置の予測部を示す図である。
【図５】本発明の第１の実施形態に係るオブジェクト追跡装置のオブジェクト位置検出部を示す図である。
【図６】本発朋の第１の実施形態に係るオブジェクト追跡装置のオブジェクト領域検出部を示す図である。
【図７】本発明の第１の実施形態に係るオブジェクト追跡装置の工程動作を説明するフローチャートである。
【図８】本発明の第１の実施形態に係るオブジェクト追跡装置の位置検出工程を示す図である。
【図９】本発明の第１の実施形態に係るオブジェクト追跡装置のオブジェクト領域検出部を示す図である。
【図１０】本発明の第１の実施形態に係るオブジェクト追跡装置により得られる領域検出結果の領域情報を示す図である。
【図１１】本発明の第２の実施形態に係るオブジェクト追跡装置を示す図である。
【図１２】本発明の第２の実施形態に係るオブジェクト追跡装置の動作を説明する説明図である。
【図１３】本発明の第３の実施形態に係るオブジェクト追跡装置を示す図である。
【図１４】本発明の第３の実施形態に係るオブジェクト追跡装置のデータベース部に蓄積された情報を示す図である。
【図１５】データベース部の検索により得られる情報を表示する画面例である。
【図１６】本発明の第４の実施形態に係るオブジェクト追跡装置を説明する説明図である。
【図１７】本発明の第４の実施形態に係るオブジェクト追跡装置を説明する説明図である。
【図１８】本発明の第４の実施形態に係るオブジェクト追跡装置を説明する説明図である。
【図１９】本発明の第５の実施形態に係るオブジヱクト追跡装置を説明する説明図である。
【図２０】本発明の第５の実施形態に係るオブジェクト追跡装置を説明する説明図である。
【図２１】本発明の第５の実施形態に係るオブジェクト追跡装置を説明する説明図である。
【符号の説明】
【００７４】
１１，５１ フレームパッファ部
１２，５２ オブジェクト位置検出部
１３，５３ オブジェクト領域検出部
１４，５４ 移動予測部
１５，５５ 第１の予測部
１６，５６ 第２の予測部
１７，５７ 特徴量蓄積部
１８，５８ 特徴量照合部
１９，５９ 領域判定部
２０，６０ 予測情報切り替え部
２１，６１ 設定部
２２ 予測情報蓄積部
２３ 位置・領域蓄積部
２４ 予測位置部分蓄積部
２５ 照合部
２６ パターン更新部
２７ 位置・領域判定部
２８ データベース
６２ オブジェクト状態判定部
６３ オブジェクト追跡装置
７１，１２１ 映像入力部
７２，８４，８５，８６，１２２ オブジェクト追跡部
７３ 追跡時間積算部
７４ データベース部
７５ 検索部
８７ 複数カメラ間オブジェクト追跡部
８８ 映像切り替え部
８９ モニタ部
９０，１２３ 記録装置
１１４，１１５，１１６ キャリブレーション部
１１７ カメラ間幾何学的位置関係整合部
９１，９７ オブジェクト領域獲得部
９２，９８ ３次元位置情報獲得部
９３，９９ オブジェクト色情報獲得部
９４，１００ 頭部位置獲得部
９５，１０１ 時間情報生成部
９６，１０２ 映像入力番号
１０３ ３次元位置照合部
１０４ オブジェクト色情報照合部
１０５ 時間情報照合部
１０６ カメラ番号情報
１０７ 同一オブジェクト判定部
１２４ 記録設定部
１３９ 特徴量抽出部
【特許請求の範囲】
【請求項１】
映像情報を蓄積する工程と、
前記映像情報からオブジェクトの位置情報を検出する工程と、
前記位置情報に基づき前記映像情報中の前記オブジェクトの領域を検出する工程と、
前記領域内に位置する前記オブジェクトの特徴量を検出する工程と、
前記オブジェクトの前記位置情報と前記特徴量と前記領域とを蓄積する工程と、
前記位置情報から前記映像情報中の次フレームの前記オブジェクトの位置を予測する工程と、
前記次フレームのオブジェクトの予測位置に基づき前記領域が移動しようとする前記次フレームの予測領域を判定する工程と、
前記次フレームの前記予測領域内の前記オブジェクトの特徴量を照合する工程と、
前記照合工程における照合結果に基づき前記特徴量に最も類似する前記予測領域の範囲をオブジェクト領域として出力する工程と、
を含むオブジェクト追跡方法。
【請求項２】
前記予測工程は、
前記位置情報に基づき前記次フレームの前記オブジェクトの第１の位置を予測する工程と、
前フレームの前記オブジェクトの位置に基づき前記次フレームの前記オブジェクトの第２の位置を予測する工程と、
前記次フレームのオブジェクトの予測された第１の位置と前記次フレームのオブジェクトの予測された第２の位置の一方を選択する工程と、
前記選択工程で選択した前記次フレームのオブジェクトの予測位置を出力する工程と、
を含む請求項１記載のオブジェクト追跡方法。
【請求項３】
前記第１の位置の予測工程と前記第２の位置の予測工程は、動的な予測モデルを構築することで行う請求項２記載のオブジェクト追跡方法。
【請求項４】
複数の前記オブジェクトの状態を判定する工程をさらに含み、
前記次フレームのオブジェクトの前記予測された第１の位置と前記次フレームのオブジェクトの予測された前記第２の位置を前記選択工程における設定値に基づき選択し、
前記設定値は前記オブジェクトの状態に基づき決定する請求項２記載のオブジェクト追跡方法。
【請求項５】
過去の前記位置情報に対し重み付け値を付与する工程をさらに含み、
前記重み付け値を有する前記位置情報を前記予測工程に使用する請求項２記載のオブジェクト追跡方法。
【請求項６】
蓄積部内の前記オブジェクトの特徴量を前記判定工程における前記オブジェクトの状態結果に基づき更新するかどうか判定する工程をさらに含む請求項４記載のオブジェクト追跡方法。
【請求項７】
撮像部から獲得し或いは映像蓄積部から出力された映像情報を蓄積する工程と、
個々のオブジェクトを前記映像情報について追跡し、該映像情報のフレーム毎に前記個々のオブジェクトの追跡結果を出力する工程と、
前記個々のオブジェクトの追跡結果について該個々のオブジェクトの追跡時間を積算する工程と、
前記個々のオブジェクトの追跡結果と前記積算追跡時間に関する情報とデータベース部内の前記個々のオブジェクトに関する情報とを蓄積する工程と、
前記データベース部内に蓄積された前記情報を検索する工程と、
を含むオブジェクト追跡方法。
【請求項８】
撮像部から獲得し或いは映像蓄積部から出力された複数の映像情報を複数の蓄積部へ蓄積する工程と、
個々のオブジェクトを前記映像情報について追跡し、該映像情報のフレーム毎に前記個々のオブジェクトの追跡結果を出力する工程と、
複数の撮像部間で撮像された同一のオブジェクトを前記個々のオブジェクトの追跡結果に基づき追跡する工程と、
撮像部間の前記同一オブジェクトの追跡結果に従い、前記蓄積部の複数の映像情報を切り替える工程と、
前記切り替え工程にて切り替えられた映像情報を記録する工程と、
を含むオブジェクト追跡方法。
【請求項９】
撮像部間の前記オブジェクトの追跡精度を改善すべく前記各蓄積部の幾何学的キャリブレーションを事前に行う工程と、
前記蓄積部の個々の幾何学的キャリブレーション結果を統合する工程とをさらに含み、
前記撮像部間に跨がる前記オブジェクトを追跡する場合に、前記撮像部間の位置関係を用いて前記オブジェクトを追跡する請求項８記載のオブジェクト追跡方法。
【請求項１０】
撮像部から獲得し或いは映像蓄積部から出力された複数の映像情報を蓄積する工程と、
個々のオブジェクトを前記映像情報について追跡する工程と、
前記映像情報のフレーム毎に前記個々のオブジェクトの追跡結果を出力する工程と、
前記出力工程にて出力された前記オブジェクトのそれぞれの追跡領域を用いて記録処理を行う工程と、
設定値を設定する工程とを含み、
前記設定値に基づき前記記録処理を行うオブジェクト追跡方法。
【請求項１１】
映像情報を蓄積する構成としたバッファ部と、
前記映像情報からオブジェクトの位置情報を検出するオブジェクト位置検出部と、
前記位置情報に基づき映像情報中の前記オブジェクトの領域を検出するオブジェクト領域検出部と、
前記領域内に位置する前記オブジェクトの特徴量を検出し、前記オブジェクトの前記位置情報と特徴量と領域とを蓄積する蓄積部と、
前記位置情報から前記映像情報中の次フレームの前記オブジェクトの位置を予測する予測部と、
前記次フレームのオブジェクトの予測位置に基づき、前記領域が移動しようとする前記次フレームの予測領域を判定する判定部と、
前記次フレームの予測領域内の前記オブジェクトの特徴量を照合し、該照合結果に基づき前記特徴量に最も類似する前記予測領域の範囲をオブジェクト領域として出力する照合部と、
を備えるオブジェクト追跡装置。
【請求項１２】
前記予測部は、
前記位置情報に基づき前記次フレームの前記オブジェクトの第１の位置を予測する第１の予測部と、
前フレームの前記オブジェクトの位置に基づき前記次フレームの前記オブジェクトの第２の位置を予測する第２の予測部と、
前記次フレームの前記オブジェクトの予測された第１の位置と前記次フレームの前記オブジェクトの予測された第２の位置の一方を選択し、設定値に従い前記オブジェクトの前記選択された予測位置を出力する予測情報切り替え部と、
を備える請求項１１記載のオブジェクト追跡装置。
【請求項１３】
撮像部から獲得し或いは映像蓄積部から出力された映像情報を蓄積する蓄積部と、
個々のオブジェクトを前記映像情報について追跡し、該映像情報のフレーム毎に前記個々のオブジェクトの追跡結果を出力するオブジェクト追跡部と、
前記個々のオブジェクトの追跡結果について該個々のオブジェクトの追跡時間を積算する追跡時間積算部と、
個々のオブジェクトの追跡結果に関する情報と前記積算追跡時間に関する情報と前記個々のオブジェクトに関する情報とを蓄積するデータベース部と、
前記データベース部内に蓄積された前記情報を検索する検索部と、
を含むオブジェクト追跡装置。
【請求項１４】
撮像部から獲得し或いは映像蓄積部から出力された複数の映像情報を蓄積する複数の蓄積部と、
個々のオブジェクトを前記映像情報について追跡し、映像情報のフレーム毎に個々のオブジェクトの追跡結果を出力する複数のオブジェクト追跡部と、
複数の撮像部間で撮像された同一のオブジェクトを前記個々のオブジェクトの追跡結果に基づき追跡する交差オブジェクト追跡部と、
撮像部間の同一オブジェクトの追跡結果に従い前記蓄積部の前記複数の映像情報を切り替える切り替え部と、
前記切り替え部により切り替えられた前記映像情報を記録する記録部と、
を備えるオブジェクト追跡装置。
【請求項１５】
前記複数撮像部間での前記オブジェクトの追跡精度を高めるため、前記各映像入力部の幾何学的なキャリブレーションを事前に行うキャリブレーション部と、
前記蓄積部の前記個々の幾何学的なキャリブレーションの結果を統合する撮像部間幾何学的位置関係整合部とをさらに備え、
前記撮像部間に跨る前記オブジェクトを追跡する場合に、前記撮像部間の位置関係を用いて前記オブジェクトを追跡する請求項１４記載のオブジェクト追跡装置。
【請求項１６】
撮像部から獲得し或いは映像蓄積部から出力された映像情報を蓄積する蓄積部と、
個々のオブジェクトを前記映像情報について追跡し、前記映像情報のフレーム毎に前記個々のオブジェクトの追跡結果を出力するオブジェクト追跡部と、
前記オブジェクト追跡部から出力された前記オブジェクトのそれぞれの追跡領域を用いて記録処理を行う記録部と、
設定値を設定する設定部とを備え、
前記設定値に基づき前記記録部が前記記録処理を行うオブジェクト追跡装置。
【請求項１】
映像情報を蓄積する工程と、
前記映像情報からオブジェクトの位置情報を検出する工程と、
前記位置情報に基づき前記映像情報中の前記オブジェクトの領域を検出する工程と、
前記領域内に位置する前記オブジェクトの特徴量を検出する工程と、
前記オブジェクトの前記位置情報と前記特徴量と前記領域とを蓄積する工程と、
前記位置情報から前記映像情報中の次フレームの前記オブジェクトの位置を予測する工程と、
前記次フレームのオブジェクトの予測位置に基づき前記領域が移動しようとする前記次フレームの予測領域を判定する工程と、
前記次フレームの前記予測領域内の前記オブジェクトの特徴量を照合する工程と、
前記照合工程における照合結果に基づき前記特徴量に最も類似する前記予測領域の範囲をオブジェクト領域として出力する工程と、
を含むオブジェクト追跡方法。
【請求項２】
前記予測工程は、
前記位置情報に基づき前記次フレームの前記オブジェクトの第１の位置を予測する工程と、
前フレームの前記オブジェクトの位置に基づき前記次フレームの前記オブジェクトの第２の位置を予測する工程と、
前記次フレームのオブジェクトの予測された第１の位置と前記次フレームのオブジェクトの予測された第２の位置の一方を選択する工程と、
前記選択工程で選択した前記次フレームのオブジェクトの予測位置を出力する工程と、
を含む請求項１記載のオブジェクト追跡方法。
【請求項３】
前記第１の位置の予測工程と前記第２の位置の予測工程は、動的な予測モデルを構築することで行う請求項２記載のオブジェクト追跡方法。
【請求項４】
複数の前記オブジェクトの状態を判定する工程をさらに含み、
前記次フレームのオブジェクトの前記予測された第１の位置と前記次フレームのオブジェクトの予測された前記第２の位置を前記選択工程における設定値に基づき選択し、
前記設定値は前記オブジェクトの状態に基づき決定する請求項２記載のオブジェクト追跡方法。
【請求項５】
過去の前記位置情報に対し重み付け値を付与する工程をさらに含み、
前記重み付け値を有する前記位置情報を前記予測工程に使用する請求項２記載のオブジェクト追跡方法。
【請求項６】
蓄積部内の前記オブジェクトの特徴量を前記判定工程における前記オブジェクトの状態結果に基づき更新するかどうか判定する工程をさらに含む請求項４記載のオブジェクト追跡方法。
【請求項７】
撮像部から獲得し或いは映像蓄積部から出力された映像情報を蓄積する工程と、
個々のオブジェクトを前記映像情報について追跡し、該映像情報のフレーム毎に前記個々のオブジェクトの追跡結果を出力する工程と、
前記個々のオブジェクトの追跡結果について該個々のオブジェクトの追跡時間を積算する工程と、
前記個々のオブジェクトの追跡結果と前記積算追跡時間に関する情報とデータベース部内の前記個々のオブジェクトに関する情報とを蓄積する工程と、
前記データベース部内に蓄積された前記情報を検索する工程と、
を含むオブジェクト追跡方法。
【請求項８】
撮像部から獲得し或いは映像蓄積部から出力された複数の映像情報を複数の蓄積部へ蓄積する工程と、
個々のオブジェクトを前記映像情報について追跡し、該映像情報のフレーム毎に前記個々のオブジェクトの追跡結果を出力する工程と、
複数の撮像部間で撮像された同一のオブジェクトを前記個々のオブジェクトの追跡結果に基づき追跡する工程と、
撮像部間の前記同一オブジェクトの追跡結果に従い、前記蓄積部の複数の映像情報を切り替える工程と、
前記切り替え工程にて切り替えられた映像情報を記録する工程と、
を含むオブジェクト追跡方法。
【請求項９】
撮像部間の前記オブジェクトの追跡精度を改善すべく前記各蓄積部の幾何学的キャリブレーションを事前に行う工程と、
前記蓄積部の個々の幾何学的キャリブレーション結果を統合する工程とをさらに含み、
前記撮像部間に跨がる前記オブジェクトを追跡する場合に、前記撮像部間の位置関係を用いて前記オブジェクトを追跡する請求項８記載のオブジェクト追跡方法。
【請求項１０】
撮像部から獲得し或いは映像蓄積部から出力された複数の映像情報を蓄積する工程と、
個々のオブジェクトを前記映像情報について追跡する工程と、
前記映像情報のフレーム毎に前記個々のオブジェクトの追跡結果を出力する工程と、
前記出力工程にて出力された前記オブジェクトのそれぞれの追跡領域を用いて記録処理を行う工程と、
設定値を設定する工程とを含み、
前記設定値に基づき前記記録処理を行うオブジェクト追跡方法。
【請求項１１】
映像情報を蓄積する構成としたバッファ部と、
前記映像情報からオブジェクトの位置情報を検出するオブジェクト位置検出部と、
前記位置情報に基づき映像情報中の前記オブジェクトの領域を検出するオブジェクト領域検出部と、
前記領域内に位置する前記オブジェクトの特徴量を検出し、前記オブジェクトの前記位置情報と特徴量と領域とを蓄積する蓄積部と、
前記位置情報から前記映像情報中の次フレームの前記オブジェクトの位置を予測する予測部と、
前記次フレームのオブジェクトの予測位置に基づき、前記領域が移動しようとする前記次フレームの予測領域を判定する判定部と、
前記次フレームの予測領域内の前記オブジェクトの特徴量を照合し、該照合結果に基づき前記特徴量に最も類似する前記予測領域の範囲をオブジェクト領域として出力する照合部と、
を備えるオブジェクト追跡装置。
【請求項１２】
前記予測部は、
前記位置情報に基づき前記次フレームの前記オブジェクトの第１の位置を予測する第１の予測部と、
前フレームの前記オブジェクトの位置に基づき前記次フレームの前記オブジェクトの第２の位置を予測する第２の予測部と、
前記次フレームの前記オブジェクトの予測された第１の位置と前記次フレームの前記オブジェクトの予測された第２の位置の一方を選択し、設定値に従い前記オブジェクトの前記選択された予測位置を出力する予測情報切り替え部と、
を備える請求項１１記載のオブジェクト追跡装置。
【請求項１３】
撮像部から獲得し或いは映像蓄積部から出力された映像情報を蓄積する蓄積部と、
個々のオブジェクトを前記映像情報について追跡し、該映像情報のフレーム毎に前記個々のオブジェクトの追跡結果を出力するオブジェクト追跡部と、
前記個々のオブジェクトの追跡結果について該個々のオブジェクトの追跡時間を積算する追跡時間積算部と、
個々のオブジェクトの追跡結果に関する情報と前記積算追跡時間に関する情報と前記個々のオブジェクトに関する情報とを蓄積するデータベース部と、
前記データベース部内に蓄積された前記情報を検索する検索部と、
を含むオブジェクト追跡装置。
【請求項１４】
撮像部から獲得し或いは映像蓄積部から出力された複数の映像情報を蓄積する複数の蓄積部と、
個々のオブジェクトを前記映像情報について追跡し、映像情報のフレーム毎に個々のオブジェクトの追跡結果を出力する複数のオブジェクト追跡部と、
複数の撮像部間で撮像された同一のオブジェクトを前記個々のオブジェクトの追跡結果に基づき追跡する交差オブジェクト追跡部と、
撮像部間の同一オブジェクトの追跡結果に従い前記蓄積部の前記複数の映像情報を切り替える切り替え部と、
前記切り替え部により切り替えられた前記映像情報を記録する記録部と、
を備えるオブジェクト追跡装置。
【請求項１５】
前記複数撮像部間での前記オブジェクトの追跡精度を高めるため、前記各映像入力部の幾何学的なキャリブレーションを事前に行うキャリブレーション部と、
前記蓄積部の前記個々の幾何学的なキャリブレーションの結果を統合する撮像部間幾何学的位置関係整合部とをさらに備え、
前記撮像部間に跨る前記オブジェクトを追跡する場合に、前記撮像部間の位置関係を用いて前記オブジェクトを追跡する請求項１４記載のオブジェクト追跡装置。
【請求項１６】
撮像部から獲得し或いは映像蓄積部から出力された映像情報を蓄積する蓄積部と、
個々のオブジェクトを前記映像情報について追跡し、前記映像情報のフレーム毎に前記個々のオブジェクトの追跡結果を出力するオブジェクト追跡部と、
前記オブジェクト追跡部から出力された前記オブジェクトのそれぞれの追跡領域を用いて記録処理を行う記録部と、
設定値を設定する設定部とを備え、
前記設定値に基づき前記記録部が前記記録処理を行うオブジェクト追跡装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公表番号】特表２００９−５１０５４１（Ｐ２００９−５１０５４１Ａ）
【公表日】平成２１年３月１２日（２００９．３．１２）
【国際特許分類】
【出願番号】特願２００８−５０６８７９（Ｐ２００８−５０６８７９）
【出願日】平成１８年７月２０日（２００６．７．２０）
【国際出願番号】ＰＣＴ／ＪＰ２００６／３１４８２７
【国際公開番号】ＷＯ２００７／０３７０６５
【国際公開日】平成１９年４月５日（２００７．４．５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公表日】平成２１年３月１２日（２００９．３．１２）
【国際特許分類】
【出願日】平成１８年７月２０日（２００６．７．２０）
【国際出願番号】ＰＣＴ／ＪＰ２００６／３１４８２７
【国際公開番号】ＷＯ２００７／０３７０６５
【国際公開日】平成１９年４月５日（２００７．４．５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]