移動物体追跡装置
【課題】監視空間内を移動する複数の移動物体が接近した場合に追跡対象の取り違えが起こる可能性がある。
【解決手段】監視空間を撮影した時系列の監視画像の任意時刻にて注目物体の像に対応する注目領域を設定する（Ｓ１）。注目領域から注目物体の像についての互いに異なる複数の注目特徴を抽出する（Ｓ２）。各時刻の監視画像から各注目特徴を有する特徴領域を検出し（Ｓ５）、注目特徴毎に、注目物体の位置に対応した特徴領域を追跡領域として設定し、それ以外の特徴領域をダミー領域として設定する（Ｓ６）。過去の特徴領域の位置に基づいて当該特徴領域の現時刻の移動先を予測する（Ｓ７）。予測された移動先に基づいて注目特徴毎に追跡領域とダミー領域との接近の発生を推定し、当該接近が生じないと推定された注目特徴の追跡領域の位置に基づいて注目物体の位置を判定する（Ｓ１１）。
【解決手段】監視空間を撮影した時系列の監視画像の任意時刻にて注目物体の像に対応する注目領域を設定する（Ｓ１）。注目領域から注目物体の像についての互いに異なる複数の注目特徴を抽出する（Ｓ２）。各時刻の監視画像から各注目特徴を有する特徴領域を検出し（Ｓ５）、注目特徴毎に、注目物体の位置に対応した特徴領域を追跡領域として設定し、それ以外の特徴領域をダミー領域として設定する（Ｓ６）。過去の特徴領域の位置に基づいて当該特徴領域の現時刻の移動先を予測する（Ｓ７）。予測された移動先に基づいて注目特徴毎に追跡領域とダミー領域との接近の発生を推定し、当該接近が生じないと推定された注目特徴の追跡領域の位置に基づいて注目物体の位置を判定する（Ｓ１１）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視空間内を移動する移動物体の位置を追跡する移動物体追跡装置に関する。特に監視空間を撮像した画像から移動物体の画像特徴を検出して追跡を行う移動物体追跡装置に関する。
【背景技術】
【０００２】
画像上にて移動物体を追跡する従来技術として、移動物体の画像特徴を検出し当該画像特徴を有する画像領域を時系列の監視画像にて追跡するものが知られている。画像特徴として例えば、色に関するものが比較的単純で広く用いられている。
【０００３】
画像特徴を用いた追跡では、移動物体の像の近くに存在する背景や他の移動物体が当該移動物体と似た特徴を有すると、当該似た特徴を有する領域を誤追跡する可能性がある。この点に関し、例えば、移動物体の像に現れる色を画像特徴に設定する構成では、当該移動物体の周辺領域に存在しない色を予め当該移動物体の特徴色として選択することで誤追跡の防止を図ることができる。
【０００４】
なお、誤追跡の抑制を図る自動追尾装置に関して特許文献１及び特許文献２に示されるものがある。特許文献１には、移動物体の領域を表す対象枠と、対象枠を拡大した類似度枠とを設定し、それら対象枠と類似度枠とに挟まれる領域を周辺領域とする自動追尾装置が記載されている。この構成では、対象枠内の特徴量のうち類似度枠内の特徴量との類似度が低いものを追尾に用いる。また特許文献２には、移動物体の領域を表す対象指定枠の外の画像全体を周辺領域とする自動追尾装置が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平４−３２９４９０号公報
【特許文献２】特開平９−１８１９５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
追跡に用いる画像特徴は周辺領域に存在しないものに設定されるが、周辺領域が有限である限り、当該周辺領域の外側に追跡対象の移動物体と同一又は類似する画像特徴を有する背景又は移動物体が存在する可能性がある。そのため画像特徴として、或る時点の周辺領域に存在しないものを設定しても、追跡の途中の周辺領域には当該画像特徴を有する背景又は移動物体が出現する可能性がある。その結果、同一・類似の画像特徴を有する画像領域が複数、近接又は重複して存在することとなり、それらのいずれが真の追跡対象であるかの判断が困難となって追跡不能となったり、取り違えが生じる可能性があるという問題があった。
【０００７】
この可能性は例えば色に関する特徴のように、単純な画像特徴ほど高くなる。また、周辺領域を小さく設定するほど、つまり周辺領域に含まれない領域を多く残すほど当該可能性は高くなり得る。一方、色を例に説明すると、周辺領域を大きくすれば、当該可能性は小さくなり得るが、周辺領域に存在する色が増えるため追跡対象の画像特徴として設定できる色が無くなって追跡が困難となる可能性がある。
【０００８】
本発明は上記問題点を解決するためになされたものであり、監視空間内を移動する複数の移動物体を好適な信頼性で追跡できる移動物体追跡装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る移動物体追跡装置は、監視空間を撮影した時系列の監視画像に基づいて前記監視空間内の移動物体を追跡する移動物体追跡装置であって、前記監視画像に撮影された移動物体のうち追跡対象とする注目物体の領域を設定する注目物体設定部と、前記注目物体の領域から互いに異なる複数の注目特徴を抽出する注目特徴抽出部と、記憶部と、前記注目特徴ごとに、前後する時刻に撮像された前記監視画像の間で当該注目特徴を有する特徴領域同士を位置関係に基づいて順次同定し、前記特徴領域それぞれの位置履歴を前記記憶部に記憶させる領域情報作成部と、前記位置履歴のうち前記注目物体の領域内を起点とする位置履歴を用いて前記注目物体の物体位置を判定する物体位置判定部と、を有し、前記物体位置判定部が、前記注目特徴ごとに前記位置履歴の間で接近が発生するか否かを各時刻において推定し、当該接近が生じないと推定された注目特徴の前記位置履歴を用いて当該時刻における前記物体位置を判定する。
【００１０】
他の本発明に係る移動物体追跡装置においては、前記領域情報作成部が、前記注目特徴ごとに前記特徴領域が前記監視画像上に分布する広さを算出し、当該広さが所定の基準値以上である注目特徴を処理対象から除外する。
【００１１】
別の本発明に係る移動物体追跡装置は、さらに、前記注目特徴ごとに、前記時系列の監視画像にて、前記移動物体に関して想定される所定の持続時間を超えて当該注目特徴を有した画素を背景画素として抽出する背景マップ作成部を有し、前記領域情報作成部が、前記背景画素が前記監視画像上に分布する広さを算出し、当該広さが所定の基準値以上である注目特徴を処理対象から除外する。
【００１２】
さらに別の本発明に係る移動物体追跡装置においては、前記領域情報作成部が、接近が生じないと推定された注目特徴の前記位置履歴を前記物体位置判定部により判定された前記物体位置に合わせて修正する。
【発明の効果】
【００１３】
本発明に係る移動物体追跡装置によれば、監視空間内を移動する複数の移動物体を好適な信頼性で追跡できる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る移動物体追跡装置の概略のブロック構成図である。
【図２】注目物体情報のデータ構成を模式的に示す説明図である。
【図３】追跡領域情報のデータ構成を模式的に示す説明図である。
【図４】ダミー領域情報のデータ構成を模式的に示す説明図である。
【図５】画像蓄積部に蓄積されている監視画像群の一例を示す時系列の監視画像の模式図である。
【図６】本発明の実施形態における移動物体追跡処理の概略のフロー図である。
【図７】本発明の実施形態における表示部の画面に表示される画像の一例を示す模式図である。
【図８】図７に例示する監視画像に対応した色ヒストグラムを示す説明図である。
【図９】図７に例示する監視画像に対応した、注目特徴である色ごとの特徴領域画像の模式図である。
【図１０】本発明の実施形態における領域設定処理の概略のフロー図である。
【図１１】図５に例示した監視画像にて色番号「６」の追跡領域及びダミー領域を追跡処理する様子を示す模式図である。
【図１２】図５に例示した監視画像にて色番号「８」の追跡領域及びダミー領域を追跡処理する様子を示す模式図である。
【図１３】本発明の実施形態における領域同定処理の概略のフロー図である。
【図１４】本発明の実施形態における物体位置判定処理の概略のフロー図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態（以下実施形態という）である移動物体追跡装置１について、図面に基づいて説明する。移動物体追跡装置１は、監視空間を撮影した時系列の監視画像の任意時刻にて注目物体の像を指定されると、その注目物体の監視空間内の移動を時系列の監視画像に基づいて追跡するものであり、本実施形態では、一例として、監視員（利用者）が動画像中にて不審人物を注目物体として指定し、移動物体追跡装置１が指定された注目物体を追跡し、追跡結果を表示する例を説明する。図１は、実施形態に係る移動物体追跡装置１の概略のブロック構成図である。移動物体追跡装置１は、撮像部２、画像蓄積部３、表示部４、操作部５、記憶部６及び制御部７を含んで構成される。撮像部２は画像蓄積部３と接続され、画像蓄積部３、表示部４、操作部５及び記憶部６は制御部７と接続される。
【００１６】
撮像部２は、監視カメラであり、例えば、監視空間の天井部に監視空間を俯瞰して設置される。撮像部２は、監視空間を所定の時間間隔で撮像し、撮影した画像（監視画像）を順次、画像蓄積部３へ出力する。以下、所定時間間隔で行われる撮影のタイミングを時刻と称する。本実施形態において監視画像はカラー画像であり、例えば、各画素の画素値がそれぞれ２５６階調のＲ値、Ｇ値及びＢ値の組で表現される。
【００１７】
画像蓄積部３は、ハードディスクレコーダーなどの記録装置であり、撮像部２から入力された監視画像を撮像時刻と対応付けて記録する。また、制御部７から要求された撮像時刻の監視画像を出力する。画像蓄積部３は、後述する記憶部６の一部として構成されてもよい。
【００１８】
表示部４は、液晶ディスプレイ、ＣＲＴ等のモニタ装置を含み、当該モニタ装置は、制御部７から出力される監視画像の他、移動物体の追跡結果、ＧＵＩ（Graphical User Interface）等の画像情報を表示し、監視員による視認を可能にする。
【００１９】
操作部５は、マウス、タッチパネル等のポインティングデバイスを含む。操作部５は、監視員に操作され、例えば、表示部４に表示された監視画像やＧＵＩ上の位置を指示する指示操作に応じて、モニタ装置の画像上でのポインタの座標や移動量を表す情報を制御部７へ出力する。
【００２０】
記憶部６は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等の記憶装置であり、制御部７で使用されるプログラムやデータを記憶する。記憶部６はこれらプログラム、データを制御部７との間で入出力する。記憶部６に記憶されるデータには、注目物体情報６０、追跡領域情報６１、ダミー領域情報６２、背景マップ６３が含まれる。
【００２１】
図２〜図４はそれぞれ、注目物体情報６０、追跡領域情報６１、ダミー領域情報６２のデータ構成を模式的に示す説明図である。
【００２２】
注目物体情報６０は、注目物体が撮像されている領域として指定された注目領域、注目物体の画像特徴である注目特徴、注目物体の追跡結果である物体位置履歴で構成される。追跡領域情報６１は、追跡領域を識別するＩＤ（identification data）、当該追跡領域に対応付けられている注目特徴、当該追跡領域がロスト（消失）状態か否かを表すロストフラグ、当該追跡領域がダミー領域に対して接近状態にあるか否かを表す接近フラグ、当該追跡領域の形状を示す領域画像、当該追跡領域について予測された移動先、当該追跡領域の追跡結果である領域位置履歴で構成される。
【００２３】
ダミー領域情報６２は、追跡領域情報６１と同様の構成であり、ダミー領域を識別するＩＤ、当該ダミー領域に対応付けられている注目特徴、当該ダミー領域がロスト状態か否かを表すロストフラグ、当該ダミー領域が追跡領域に対して接近状態にあるか否かを表す接近フラグ、当該ダミー領域の形状を示す領域画像、当該ダミー領域について予測された移動先、当該ダミー領域の追跡結果である領域位置履歴で構成される。
【００２４】
制御部７は、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成される。制御部７は、記憶部６からプログラムを読み出して実行し、後述する各種の手段（注目物体設定部７０、注目特徴抽出部７１、特徴領域検出部７２、背景マップ作成部７３、領域設定部７４、次画像取得部７５、移動先予測部７６、領域同定部７７、物体位置判定部７８等）として機能する。制御部７は、画像蓄積部３に蓄積されている監視画像を処理して注目物体の位置を追跡し、追跡結果を注目物体情報６０に蓄積するとともに表示部４に適宜出力する。
【００２５】
以下、制御部７の各部について説明する。
【００２６】
注目物体設定部７０は、画像蓄積部３に蓄積された監視画像の中から追跡の起点とする起点画像を利用者に初期設定させるとともに、当該起点画像において注目物体が撮像されている注目領域を利用者に初期設定させる。注目物体設定部７０は、これら初期設定の指示を利用者から得るために、例えば、操作部５からポインタの位置情報を取得し、取得した位置情報に基づくポインタや、利用者との対話に必要なＧＵＩを表示部４に適宜出力する。設定された起点画像及び注目領域は注目特徴抽出部７１へ出力される。また、注目物体設定部７０は、起点画像の撮像時刻を処理時刻の初期値として記憶部６に格納する。
【００２７】
注目特徴抽出部７１は、起点画像の注目領域から互いに異なる複数の注目特徴を抽出して記憶部６に格納する。こうして抽出される注目特徴はそれぞれ注目物体の像の一部を特徴付ける情報であり、画像間で注目物体を同定するための手がかりとなる。
【００２８】
具体的には注目特徴として色を用いる。注目物体が移動すると照明状態が変わって色が微小に変化し得るが、そのような微小変化が生じても注目物体を同定できるように、色空間において隣接する複数の階調をひとつの色として扱う。例えば、ＲＧＢ値それぞれの階調レンジを３２分割して定義される３２７６８個の色領域を「色」と定義し、これら色領域に通しの色番号を付与する。注目特徴抽出部７１は、注目領域内の画素に関する色ヒストグラムを算出し、算出された色ヒストグラムから頻度が０でない色の色番号を注目特徴として抽出する。
【００２９】
注目特徴は色以外のものを用いることもでき、例えば、テクスチャを用いることができる。特に、注目領域内のエッジをまたぐ部分のテクスチャが同定に効果的である。この場合、注目特徴抽出部７１は、起点画像の注目領域部分からエッジを抽出し、エッジ上に例えば、３×３画素の局所領域を順次設定して当該局所領域内の起点画像の色の組み合わせのそれぞれを注目特徴として抽出する。このテクスチャは、シャツと上着といった色の組み合わせを表現できるため、注目物体が単色では一意に同定できないときも当該テクスチャでは同定が可能となる。
【００３０】
制御部７は領域情報作成部を備え、特徴領域検出部７２、背景マップ作成部７３、領域設定部７４、次画像取得部７５、移動先予測部７６、領域同定部７７、物体位置判定部７８が、当該領域情報作成部を構成する。
【００３１】
特徴領域検出部７２は、入力された監視画像から各注目特徴を有する特徴領域を検出し、当該特徴領域の座標を出力する。特徴領域検出部７２は、監視画像から注目特徴の色と一致する画素を抽出し、各抽出画素と当該抽出画素に隣接する８画素のうちの抽出画素とをまとめて形成される領域を特徴領域として検出する。検出した特徴領域の情報は、背景マップ作成部７３、領域設定部７４及び領域同定部７７へ出力される。
【００３２】
背景マップ作成部７３は、予め設定された移動物体滞在時間を超える期間に亘る複数の監視画像にて特徴領域が検出された画素を背景画素として注目特徴ごとに抽出し、注目特徴と背景画素の位置とを対応付けた背景マップ６３を記憶部６に記憶させる。本実施形態では、背景マップ６３は注目特徴の色番号と背景画素の座標との組が列挙されたデータとなる。混雑環境下であっても背景の一部は見え隠れする。背景マップ６３は一時的に撮像された背景を寄せ集めた情報に当たる。監視空間の移動物体（つまり人）が多いほど背景が現れる領域は少なくなり、背景マップ６３が表す背景は虫食い状態となるがそれで構わない。移動物体滞在時間は追跡対象の移動物体が同一画素を通過しきる時間であり、例えば、１０時刻に設定することができる。
【００３３】
照明等の環境は刻々と変化するため、背景マップ６３は起点画像と近い時刻に撮像された監視画像を用いて作成するのがよい。背景マップ作成部７３は、起点画像の撮像時刻を中心に前後５０時刻、計１００時刻を推定期間に設定し、画像蓄積部３から推定期間内の監視画像を順次読み出して特徴領域検出部７２に入力する。そして、特徴領域検出部７２から出力された特徴領域の情報に基づいて、注目特徴ごとに各画素が特徴領域として検出された回数を計数し、計数値が移動物体滞在時間を超える画素を背景画素として抽出する。なお、推定期間として起点画像の後ろ５０時刻を確保できない場合は足りない分を起点画像の前の時刻で補う。
【００３４】
領域設定部７４は、注目特徴ごとに注目領域内の特徴領域を追跡領域に設定するとともに注目領域外の特徴領域をダミー領域に設定する。そのために領域設定部７４は、起点画像を特徴領域検出部７２に入力し、特徴領域検出部７２から出力された特徴領域を注目領域と比較して注目領域に包含されているか否かを判定する。そして、包含されている特徴領域は追跡領域として注目特徴の色番号と対応付けて追跡領域情報６１に記録し、包含されていない特徴領域はダミー領域として注目特徴の色番号と対応付けてダミー領域情報６２に記録する。ここで、注目物体以外の移動物体の一部又は背景の一部がダミー領域に設定され得る。このダミー領域は、追跡の主目的ではなく、注目物体の追跡の障害となり得る領域である。
【００３５】
移動物体追跡装置１は、追跡領域の他にダミー領域を追跡することで障害の発生を予測してこれを回避する。混雑した空間で不審人物を注目物体として追跡する場合、肌色や頭髪の黒色といった監視空間に広く分布している注目特徴は、追跡領域に設定しても殆どの処理時刻で回避処理が発生して注目物体の追跡に寄与しない。このことは無駄なダミー領域の追跡を増やすことをも意味する。そこで、領域設定部７４は、注目特徴ごとに特徴領域が監視画像上に分布する広さを算出し、算出された広さが所定の基準値以上である注目特徴に対しては追跡領域を設定しないように制御する。具体的には、領域設定部７４は、起点画像における特徴領域の分布の広さを算出し、当該広さが予め設定した基準値以上である注目特徴に対しては追跡領域及びダミー領域を設定しない。
【００３６】
本実施形態では、領域設定部７４は、起点画像を複数のブロックに分割して各ブロックに特徴領域が含まれているか否かを確認し、特徴領域を含んだブロック数を分布の広さとして算出する。領域設定部７４は算出されたブロック数が基準値を超えない注目特徴に対しては追跡領域及びダミー領域を設定し、ブロック数が基準値以上となる注目特徴に対しては追跡領域及びダミー領域を設定しない。例えば、基準値は全体の７割のブロック数に設定することができる。また、ブロックの大きさは追跡対象の移動物体の平均的な移動速度に応じた大きさに設定することができる。例えば、移動物体の平均速度が４時刻で監視画像を横切る程度であれば、監視画像を１６分割し、その７割に当たる１２ブロックを基準値に設定することができる。
【００３７】
別の実施形態において領域設定部７４は、各特徴領域の重心の分散値を特徴領域の分布の広さとして算出する。分散値を算出する際の平均値は監視画像の中心或いは注目領域の重心などとすればよい。また、さらに別の実施形態において領域設定部７４は、特徴領域の重心を中心とし移動物体の１時刻当たりの平均移動距離を半径とする円を全特徴領域に対して設定し、これらの円の和領域の面積を特徴領域の分布の広さとして算出する。
【００３８】
このように監視画像に或る程度以上の密度で広く分布する特徴領域は追跡処理に用いないことにより、無駄な処理を事前に省くことができ、効率の良い追跡が可能となる。
【００３９】
また、領域設定部７４は、背景マップ作成部７３にて抽出された背景画素が監視画像上に分布する広さを算出し、算出された広さが基準値以上である注目特徴に対しては追跡領域を設定しないように制御する。具体的には、領域設定部７４は、背景マップ６３を参照して注目特徴ごとに背景画素の分布の広さを算出し、当該広さが予め設定した基準値以上となる注目特徴に対しては追跡領域及びダミー領域を設定しない。分布の広さの算出とその判定は上述の特徴領域の分布に関する判定の場合と同様に行うことができる。すなわち領域設定部７４は、監視画像を複数のブロックに分割して各ブロックに背景画素が含まれているか否かを確認し、背景画素を含んだブロック数を分布の広さとして算出する。領域設定部７４は算出されたブロック数が基準値を超えない注目特徴に対しては追跡領域及びダミー領域を設定し、ブロック数が基準値以上である注目特徴に対しては追跡領域及びダミー領域を設定しない。
【００４０】
別の実施形態において領域設定部７４は、各背景画像の重心の分散値を背景画像の分布の広さとして算出する。また、さらに別の実施形態において領域設定部７４は、背景画像を中心とし移動物体の１時刻当たりの平均移動距離を半径とする円を全背景画像に対して設定し、これらの円の和領域の面積を背景画像の分布の広さとして算出する。
【００４１】
これにより監視画像に或る程度以上の密度で広く分布する背景画素からなる特徴領域は追跡処理の対象とはならない。すなわち、起点画像において移動物体が密集して背景の大部分が隠されてしまっていても、背景に広く分布する注目特徴に対して無駄な追跡領域及びダミー領域を設定しないよう制御できる。この処理では、通常の背景差分処理を用いることができないような場合においても、背景を追跡の対象から除外することができる。
【００４２】
次画像取得部７５は、起点画像に続く次画像を画像蓄積部３から順次読み出し、特徴領域検出部７２に入力する。すなわち、次画像取得部７５は、処理時刻を１時刻ずつ更新し、更新後の処理時刻を撮像時刻とする監視画像を画像蓄積部３から読み出す。処理時刻の更新により追跡が進捗する。処理時刻が最新の撮像時刻に達した場合は新たな監視画像が蓄積されるのを待つ。
【００４３】
なお、本実施形態では、処理時刻の更新は１時刻ずつインクリメントするが、監視画像が高フレームレートで撮影されている場合や、移動物体の速度が緩やかである間や、移動物体間の距離が離れていて取り違えが起こりにくいと判断される期間においては、２以上の時刻ずつ更新してもよく、またその際、移動速度や物体間距離などの状況変化に応じて適宜、１時刻ずつの更新に切り替えてもよい。
【００４４】
また、１時刻加算を繰り返して注目物体が撮像範囲外に移動して未来方向の追跡が終了した後に、再び起点画像から１時刻減算を繰り返して過去方向に追跡を行うような構成も可能である。
【００４５】
移動先予測部７６は、現在処理対象としている時刻（現時刻）に対して過去の監視画像における特徴領域の位置に基づいて当該特徴領域の現時刻の監視画像における移動先を予測する。すなわち、移動先予測部７６は追跡領域及びダミー領域のそれぞれの既に得られた位置から、次に処理対象とする監視画像における各領域の移動先を予測する。追跡領域の位置は追跡領域情報６１の領域位置履歴から得ることができ、ダミー領域の位置はダミー領域情報６２の領域位置履歴から得ることができる。移動先予測部７６は、追跡領域の領域位置履歴に運動モデルを適用して次画像における追跡領域の移動先を予測し、各ダミー領域の領域位置履歴に運動モデルを適用して次画像における当該ダミー領域の移動先を予測する。具体的には、各領域の重心の移動先を予測するとともに、各領域の大きさを所定倍率で拡大した領域を算出し、予測重心に重心を一致させた当該拡大領域を移動先として設定する。拡大領域とするのは予測誤差を吸収するためである。倍率は固定値とすることもできるが、領域の移動速度に比例させるのが好適である。運動モデルとしては等速直線モデルやカルマンフィルタなどを採用できる。予測された移動先の情報は領域同定部７７及び物体位置判定部７８へ出力される。
【００４６】
領域同定部７７は、２時刻の監視画像間にて特徴領域の対応関係を求める。具体的には、領域同定部７７は、特徴領域検出部７２にて検出された次画像の特徴領域の位置を、先行画像の特徴領域それぞれについて移動先予測部７６にて算出された移動先と比較して、それぞれの移動先にて次画像から検出された特徴領域を先行画像の特徴領域に対応するものとして同定する。これにより、各注目特徴の追跡領域の移動先に含まれる当該注目特徴の特徴領域が現在の追跡領域であると判定され、その判定結果によって追跡領域情報６１が更新される。さらに各注目特徴のダミー領域の移動先に含まれる当該注目特徴の特徴領域が現在のダミー領域であると判定され、その判定結果によってダミー領域情報６２が更新される。
【００４７】
物体位置判定部７８は、移動先予測部７６により予測された移動先に基づいて注目特徴ごとに追跡領域とダミー領域との接近の発生を推定し、当該接近が生じないと推定された注目特徴の追跡領域の位置に基づいて次画像における注目物体の位置を判定する。具体的には、注目特徴ごとに追跡領域とダミー領域との移動先を比較して追跡領域とダミー領域との接近を検知し、接近が検知されなかった追跡領域の位置から次画像における注目物体の位置を判定し、判定した位置を注目物体情報６０として記録する。
【００４８】
つまり、接近が検知された追跡領域は次画像の特徴領域との間での同定処理にて、誤ってダミー領域と対応付けられている可能性があるため次画像における注目物体の位置の判定に利用せず、接近が検知されなかった追跡領域は正しく同定されるため判定に利用する。これにより注目物体の位置の誤判定を防ぐことができる。なお、接近が検知されなかった追跡領域が複数ある場合はそれらの平均値を注目物体の位置として出力する。このように接近が検知されなかった追跡領域の位置から物体位置を高い信頼性で判定することができる。
【００４９】
なお、注目特徴（又は追跡領域）の数には限りがあるため一度接近が検知された注目特徴の追跡領域であっても、後の物体位置の判定に利用できるように追跡を継続しておくのがよい。ただし、既に述べたように、接近が検知されたときの追跡領域は同定処理にてダミー領域との取り違えが発生しやすく位置の信頼性が低くなっている。そこで、本実施形態では、接近が生じると推定された注目特徴の追跡領域に関し、先行時刻での当該追跡領域と対応関係にある現時刻での追跡領域の位置を、先行時刻における追跡領域の位置と、先行時刻と現時刻との間での注目物体の位置変化を表す移動ベクトルとに基づいて推定する。例えば、物体位置判定部７８にて、接近が検知されなかった追跡領域に基づいて正しく判定された物体位置から注目物体の移動量を算出する。そして、この移動量を領域同定部７７にフィードバックする。領域同定部７７はフィードバックされた移動量を基に接近が検知された追跡領域の位置を修正する。具体的には物体位置判定部７８は１時刻前の位置から最新位置までの移動ベクトルを算出し、領域同定部７７は移動ベクトルを接近が検知された追跡領域の１時刻前の位置に加算して当該追跡領域の最新位置を外挿する。これにより接近が検知された注目特徴についての追跡領域の追跡を正しく継続できるので、接近が生じた後の追跡に当該注目特徴を利用でき、注目物体の追跡を円滑に継続できるようになる。
【００５０】
図５は、画像蓄積部３に蓄積されている監視画像群の一例を示す時系列の監視画像の模式図である。図５には、時系列の監視画像のうち、撮像時刻Ｔ〜（Ｔ＋４）の監視画像１００〜１０４が示されている。
【００５１】
以下、図５に示す監視画像群を例に用いながら、移動物体追跡装置１の動作を説明する。図６は、移動物体追跡装置１における移動物体追跡処理の概略のフロー図である。移動物体追跡装置１は、起動されると当該フロー図に従った動作を始める。
【００５２】
まず、制御部７の注目物体設定部７０は監視員に起点画像を指定させ（Ｓ１）、さらに注目領域を指定させる（Ｓ２）。図７は、表示部４の画面に表示される画像の一例を示す模式図である。図７に示す画面には起点画像とする時刻Ｔの監視画像が表示されている。図７を参照しながら指定処理Ｓ１，Ｓ２を具体的に説明する。注目物体設定部７０は表示部４に再生領域２００、再生スイッチ２０１、確定ボタン２０２を含んだＧＵＩを表示させて操作部５からの入力を受け付ける。操作部５により再生スイッチ２０１が操作されて再生・巻き戻し・早送り・コマ送り・一時停止などが指示されると、注目物体設定部７０は指示に応じて撮像時刻を増減させるとともに、増減後の撮像時刻に対応する監視画像を画像蓄積部３から読み出して再生領域２００に表示させる。監視員は不審人物が撮像された監視画像を見つけると、操作部５により確認ボタン２０２−１を押下する。確認ボタン２０２−１が押下されると注目物体設定部７０は表示中の監視画像を起点画像と認識し、起点画像の撮像時刻を処理時刻として記憶部６に記憶させる。
【００５３】
起点画像が指定されると注目領域の指定に移る。監視員が操作部５を操作し、起点画像において不審人物が撮像されている注目領域２１０を指示すると、注目物体設定部７０は指示された注目領域内の画素値を１、その他の画素値を０に設定した注目領域画像を注目物体情報６０に記録する。
【００５４】
このようにして注目領域画像が得られると、次に制御部７は注目特徴抽出部７１により、注目領域２１０から注目物体の注目特徴を抽出する（Ｓ３）。注目特徴抽出部７１は、起点画像のうち注目領域画像の画素値が１である画素に対応する画素を全て選出し、選出された画素の色ヒストグラム２２０を算出する。そして、色ヒストグラム２２０において頻度が０でない色のそれぞれを注目物体の部分特徴と判定して、それらの色番号（色＃）及び頻度値を当初の注目特徴として注目物体情報６０に記録する。図８は、図７に示す時刻Ｔの監視画像を起点画像とする例における色ヒストグラム２２０を示す説明図である。図８に示す色ヒストグラム２２０の例では、色＃１，６，８，９，１１の５色が注目特徴となる。
【００５５】
また、制御部７は背景マップ作成部７３により背景マップ６３を作成する（Ｓ４）。背景マップ作成部７３は、上述したように起点画像の撮像時刻を基準とする１００時刻を推定期間に設定し、推定期間内の監視画像を順次読み出して特徴領域検出部７２に入力する。背景マップ作成部７３は、順次入力した監視画像から特徴領域検出部７２が検出した特徴領域を基に画素ごとの注目特徴のヒストグラムを算出する。そして、当該各ヒストグラムにおいて度数が１０以上である注目特徴を選出して、選出された注目特徴の色番号と画素とを対応付けた背景マップ６３を記憶部６に記憶させる。
【００５６】
また、特徴領域検出部７２は起点画像から各注目特徴を有する特徴領域を抽出する（Ｓ５）。特徴領域検出部７２は、注目特徴ごとに特徴領域の画素値を１、その他の画素値を０に設定した特徴領域画像を記憶部６に記憶させる。図９は、図７に示す時刻Ｔの監視画像を起点画像とする例における色＃１，６，８，９，１１それぞれの特徴領域画像３００〜３０４の模式図であり、網掛け部分が特徴領域を表している。
【００５７】
次に制御部７は領域設定部７４により、ステップＳ５にて検出された特徴領域の中から追跡領域及び当該追跡領域のダミー領域を選択的に設定する（Ｓ６）。図１０は、領域設定処理Ｓ６の概略のフロー図である。以下、図１０を参照して、領域設定処理Ｓ６を説明する。
【００５８】
領域設定部７４は注目特徴についてのループ処理を実行し（Ｓ６０〜Ｓ７０）、注目特徴ごとに追跡領域及びダミー領域をそれぞれ定める。領域設定部７４は上述したように、処理対象とする注目特徴の特徴領域画像を１６個のブロックに分割して各ブロックに画素値１の画素が含まれているか確認し、画素値１の画素が含まれているブロックの数を特徴領域の分布の広さとして算出し（Ｓ６１）、分布の広さを基準値と比較する（Ｓ６２）。領域設定部７４は、ブロック数が１２個未満であれば分布は狭いと判定し、１２個以上であれば広いと判定する。広いと判定された注目特徴は追跡対象外となる（Ｓ６２にてＹＥＳ）。図９に示す例では、処理Ｓ６１，Ｓ６２にて色＃１，９，１１の特徴領域は追跡対象外とされる。
【００５９】
また、領域設定部７４は上述したように、背景マップ６３が表す画像を１６個のブロックに分割して各ブロックに背景画素が含まれているか確認し、背景画素が含まれているブロックの数を背景画素の分布の広さとして算出し（Ｓ６２）、分布の広さを基準値と比較する（Ｓ６３）。領域設定部７４は、ブロック数が１２個未満であれば分布は狭いと判定し、１２個以上であれば広いと判定する。広いと判定された注目特徴は追跡対象外となる（Ｓ６４にてＹＥＳ）。図９に示す例では、床の色に対応する色＃９は、既に処理Ｓ６２にて追跡対象外とされているが、仮に人が密集して床の大部分を隠してしまい処理Ｓ６１の分布の広さが基準値未満となっても（Ｓ６２にてＮＯ）、背景マップ６３を基に計数されるブロック数は１２個以上なり背景に広く分布する色＃９を追跡対象外とすることができる。
【００６０】
起点画像における特徴領域の分布と背景マップ６３における背景画像の分布とがともに狭いと判定された注目特徴が追跡対象とされ（Ｓ６４にてＮＯ）、続く、追跡領域及びダミー領域の設定処理（Ｓ６５〜Ｓ６９）の対象とされる。図９の例では色＃６及び色＃８が追跡対象となる。
【００６１】
領域設定部７４は、処理対象とする注目特徴に係る特徴領域についてのループ処理を実行する（Ｓ６５〜Ｓ６９）。当該ループ処理では、未処理の特徴領域を順次、選択して（Ｓ６５）処理する（Ｓ６６〜Ｓ６９）。当該処理では、当該注目特徴の特徴領域画像をステップＳ３にて生成された注目領域画像と重ね合わせて各特徴領域が物体領域に包含されるか否かを確認する（Ｓ６６）。両画像において画素値が１である特徴領域は注目領域内に包含されているとして（Ｓ６６にてＹＥＳ）、当該特徴領域に外接する矩形を処理対象の注目特徴における追跡領域として領域ＩＤ及び属性とともに記憶させる（Ｓ６７）。一方、特徴領域画像においてのみ画素値が１である特徴領域は注目領域に包含されていないとして（Ｓ６６にてＮＯ）、その外接矩形を処理対象の注目特徴におけるダミー領域として領域ＩＤ及び属性とともに記憶させる（Ｓ６８）。
【００６２】
図９の例では、色＃６について追跡領域３１０とダミー領域３１１，３１２が設定され、色＃８について追跡領域３２０とダミー領域３２１，３２２が設定される。
【００６３】
全ての注目特徴に対しループ処理が終了すると領域設定処理Ｓ６は終了する（Ｓ７０にてＹＥＳ）。
【００６４】
領域設定処理Ｓ６が終了すると、図６にて次の処理である移動先予測処理Ｓ７が行われる。当該処理Ｓ７は制御部７の移動先予測部７６により行われる。移動先予測部７６は、追跡領域の領域位置履歴から移動先を予測して追跡領域情報６１に記録し、ダミー領域の領域位置履歴から移動先を予測してダミー領域情報６２に記録する。
【００６５】
図１１は図５に例示した監視画像にて色＃６の追跡領域及びダミー領域を追跡処理する様子を示す模式図であり、画像４００〜４０４がそれぞれ撮像時刻Ｔ〜（Ｔ＋４）に対応する。また、図１２は図５に例示した監視画像にて色＃８の追跡領域及びダミー領域を追跡処理する様子を示す模式図であり、画像５００〜５０４がそれぞれ撮像時刻Ｔ〜（Ｔ＋４）に対応する。図１１，図１２中の○印が追跡領域情報６１又はダミー領域情報６２に記録されている各領域の位置、×印が移動先の重心である予測位置、一点鎖線で囲む領域が移動先範囲をそれぞれ表している。移動先予測部７６は、追跡領域情報６１又はダミー領域情報６２の領域位置履歴の情報に等速直線モデルを適用して外挿により追跡領域及びダミー領域の予測位置を求める。そして、予測誤差を考慮して各領域を拡大し、重心を予測位置に一致させた移動先範囲を算出する。図１１、図１２の例では予測誤差を各領域の大きさ程度と見積り、各領域の大きさを縦横２倍して移動先範囲を算出した。こうして追跡領域及びダミー領域の移動速度(方向及び速さ)に合わせた方向及び位置に移動先が予測される。ただし、追跡領域情報６１又はダミー領域情報６２の領域位置履歴に位置の情報が１つしかない当初は移動速度が不明であるため、起点画像と１時刻違いの次画像における移動先は方向を限定せず、追跡領域及びダミー領域の当初位置そのものを重心とする範囲であって、かつ上述の移動速度が分かる場合よりも大きく各領域を拡大させた範囲を移動先範囲とする。例えば、本実施形態では、当初の移動先範囲は、その後の時刻におけるよりも１．５倍大きく拡大する。
【００６６】
続いて、次画像取得処理Ｓ８が行われる。制御部７の次画像取得部７５は、処理時刻を更新し、更新後の処理時刻を撮像時刻とする監視画像を次画像として画像蓄積部３から読み出す。
【００６７】
制御部７の特徴領域検出部７２は、読み出された次画像から各注目特徴を有する特徴領域を検出する（Ｓ９）。図５にて、撮像時刻（Ｔ＋１）〜（Ｔ＋４）の監視画像１０１〜１０４にはそれぞれ１時刻前の先行画像が存在し、それぞれ当該先行画像に対して次画像となる。図１１の画像４０１〜４０４において実線で示した領域は監視画像１０１〜１０４から検出された色＃６の特徴領域（領域ＩＤ「Ａ」〜「Ｃ」）を表している。また、図１２の画像５０１〜５０４において実線で示した領域は監視画像１０１〜１０４から検出された色＃８の特徴領域（領域ＩＤ「Ｄ」〜「Ｆ」）を表している。
【００６８】
制御部７の領域同定部７７は、ステップＳ９にて検出された各特徴領域を先行画像の追跡領域又はダミー領域に対応するものとして同定する（Ｓ１０）。図１３は、領域同定処理Ｓ１０の概略のフロー図である。以下、図１３を参照して、領域同定処理Ｓ１０を説明する。
【００６９】
領域同定処理Ｓ１０では、注目特徴についてのループ処理が設けられ（Ｓ１００〜Ｓ１０８）、さらに注目特徴のループ処理の中に、追跡対象、すなわち処理対象の注目特徴に係る追跡領域及びダミー領域についてのループ処理が設けられる（Ｓ１０１〜Ｓ１０６）。
【００７０】
追跡対象ごとに行われる内側のループ処理において領域同定部７７は、各追跡対象について予測された移動先を、次画像の特徴領域のうち当該追跡対象と注目特徴を同じくするものの位置と比較し、追跡対象の移動先範囲に含まれ、かつ追跡対象の予測位置に最も近い特徴領域を当該追跡対象として同定する（Ｓ１０２）。このとき移動物体相互の接近により本来の追跡領域とダミー領域、或いは複数のダミー領域が一体化して１つの特徴領域となってしまっている場合もあるが、１つの特徴領域に対し複数の追跡対象を同定することを許容する。
【００７１】
領域同定部７７は、追跡対象がいずれかの特徴領域と同定できた場合（Ｓ１０３にてＹＥＳ）、当該特徴領域の重心を領域位置として算出し、当該特徴領域の画像と領域位置とで、同定された追跡対象に対応する追跡領域情報６１又はダミー領域情報６２を更新する（Ｓ１０４）。
【００７２】
他方、追跡対象がいずれの特徴領域とも同定されなかった場合（Ｓ１０３にてＮＯ）、領域同定部７７は追跡対象のロスト処理を行う（Ｓ１０５）。ちなみに同定不能な状態は、追跡対象が視野外に移動した場合又は追跡対象がオクルージョンにより隠れている場合に発生する。領域同定部７７は、追跡対象が追跡領域であれば対応する追跡領域情報６１のロストフラグをオンにして追跡を保留し、追跡対象がダミー領域であれば対応するダミー領域情報６２を削除して追跡対象から外す。
【００７３】
処理対象の或る注目特徴に係る追跡対象ごとのループ処理を終えると（Ｓ１０６にてＹＥＳ）、領域同定部７７は、当該注目特徴に関し、いずれの追跡対象とも同定されなかった特徴領域があるか否かを確認し、該当する特徴領域があれば当該特徴領域を新たなダミー領域としてダミー領域情報６２に追加する（Ｓ１０７）。また、まだ処理対象とされていない注目特徴があれば（Ｓ１０８にてＮＯ）、それを処理対象にセットして（Ｓ１００）、上述した処理Ｓ１０１〜Ｓ１０７を行う。
【００７４】
こうして全ての注目特徴に係るループ処理を終えると（Ｓ１０８にてＹＥＳ）、処理は図６にて次の処理である物体位置判定処理Ｓ１１に進む。
【００７５】
制御部７は物体位置判定部７８により、追跡領域の位置から注目物体の移動軌跡を判定する（Ｓ１１）。図１４は、物体位置判定処理Ｓ１１の概略のフロー図である。以下、図１４を参照して、物体位置判定処理Ｓ１１を説明する。
【００７６】
まず、物体位置判定部７８は各追跡領域のロストフラグを確認する（Ｓ１１０）。全追跡領域のロストフラグがオンになっている場合（Ｓ１１０にてＹＥＳ）、注目物体は視野外に移動したものとして注目物体のロストフラグをオンにし（Ｓ１１８）、物体位置判定処理Ｓ１１を終了する。
【００７７】
一方、いずれかの追跡領域のロストフラグがオフになっている場合（Ｓ１１０にてＮＯ）、物体位置判定部７８は、注目特徴についてのループ処理を設定して（Ｓ１１１〜Ｓ１１６）、注目特徴ごとに追跡領域の移動先とダミー領域の移動先とを比較して接近判定を行う（Ｓ１１２）。物体位置判定部７８は、追跡領域に接近するダミー領域が１つでもあれば（Ｓ１１３にてＹＥＳ）当該追跡領域の接近フラグをオンに設定し（Ｓ１１４）、追跡領域に接近するダミー領域が１つもなければ（Ｓ１１３にてＮＯ）当該追跡領域の接近フラグをオフに設定する（Ｓ１１５）。
【００７８】
接近判定を終えると物体位置判定部７８は追跡領域のフラグを再度確認する（Ｓ１１７）。ロストフラグがオフ、かつ接近フラグがオフの追跡領域が１つもなければ（Ｓ１１７にてＮＯ）、物体位置判定部７８は、信頼できる注目特徴がなくなったために追跡続行不能であるとして注目物体のロストフラグをオンにし（Ｓ１１８）、物体位置判定処理を終了する。
【００７９】
一方、ロストフラグがオフ、かつ接近フラグがオフの追跡領域があれば（Ｓ１１７にてＹＥＳ）、物体位置判定部７８は、接近フラグがオフになっている追跡領域の最新位置を平均して次画像における注目物体の位置を算出し、注目物体情報６０に追記する（Ｓ１１９）。さらに物体位置判定部７８は、１時刻前の注目物体の位置からＳ１１９にて算出した注目物体の最新位置までの移動ベクトルを算出して領域同定部７７にフィードバックする（Ｓ１２０）。移動ベクトルが入力された領域同定部７７は接近フラグがオン又はロストフラグがオンになっている追跡領域の１時刻前の位置に移動ベクトルを加算して当該追跡領域の最新位置を修正する（Ｓ１２１）。
【００８０】
こうして注目物体の最新位置が判定されると、制御部７は追跡結果として注目物体の物体位置履歴を表示部４にプロット表示する（図６のＳ１２）。
【００８１】
制御部７は注目物体のロストフラグを確認して（Ｓ１３）、ロストフラグがオンであれば追跡処理を終了し、ロストフラグがオフであれば追跡を継続するために処理を再びステップＳ７へ戻し、監視空間における注目物体の追跡が続行される。
【符号の説明】
【００８２】
１ 移動物体追跡装置、２ 撮像部、３ 画像蓄積部、４ 表示部、５ 操作部、６ 記憶部、７ 制御部、６０ 注目物体情報、６１ 追跡領域情報、６２ ダミー領域情報、６３ 背景マップ、１００〜１０４ 監視画像、２００ 再生領域、２０１ 再生スイッチ、２０２ 確定ボタン、２２０ 色ヒストグラム、３００〜３０４ 特徴領域画像、３１０，３２０ 追跡領域、３１１，３１２，３２１，３２２ ダミー領域、４００〜４０４，５００〜５０４ 画像。
【技術分野】
【０００１】
本発明は、監視空間内を移動する移動物体の位置を追跡する移動物体追跡装置に関する。特に監視空間を撮像した画像から移動物体の画像特徴を検出して追跡を行う移動物体追跡装置に関する。
【背景技術】
【０００２】
画像上にて移動物体を追跡する従来技術として、移動物体の画像特徴を検出し当該画像特徴を有する画像領域を時系列の監視画像にて追跡するものが知られている。画像特徴として例えば、色に関するものが比較的単純で広く用いられている。
【０００３】
画像特徴を用いた追跡では、移動物体の像の近くに存在する背景や他の移動物体が当該移動物体と似た特徴を有すると、当該似た特徴を有する領域を誤追跡する可能性がある。この点に関し、例えば、移動物体の像に現れる色を画像特徴に設定する構成では、当該移動物体の周辺領域に存在しない色を予め当該移動物体の特徴色として選択することで誤追跡の防止を図ることができる。
【０００４】
なお、誤追跡の抑制を図る自動追尾装置に関して特許文献１及び特許文献２に示されるものがある。特許文献１には、移動物体の領域を表す対象枠と、対象枠を拡大した類似度枠とを設定し、それら対象枠と類似度枠とに挟まれる領域を周辺領域とする自動追尾装置が記載されている。この構成では、対象枠内の特徴量のうち類似度枠内の特徴量との類似度が低いものを追尾に用いる。また特許文献２には、移動物体の領域を表す対象指定枠の外の画像全体を周辺領域とする自動追尾装置が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平４−３２９４９０号公報
【特許文献２】特開平９−１８１９５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
追跡に用いる画像特徴は周辺領域に存在しないものに設定されるが、周辺領域が有限である限り、当該周辺領域の外側に追跡対象の移動物体と同一又は類似する画像特徴を有する背景又は移動物体が存在する可能性がある。そのため画像特徴として、或る時点の周辺領域に存在しないものを設定しても、追跡の途中の周辺領域には当該画像特徴を有する背景又は移動物体が出現する可能性がある。その結果、同一・類似の画像特徴を有する画像領域が複数、近接又は重複して存在することとなり、それらのいずれが真の追跡対象であるかの判断が困難となって追跡不能となったり、取り違えが生じる可能性があるという問題があった。
【０００７】
この可能性は例えば色に関する特徴のように、単純な画像特徴ほど高くなる。また、周辺領域を小さく設定するほど、つまり周辺領域に含まれない領域を多く残すほど当該可能性は高くなり得る。一方、色を例に説明すると、周辺領域を大きくすれば、当該可能性は小さくなり得るが、周辺領域に存在する色が増えるため追跡対象の画像特徴として設定できる色が無くなって追跡が困難となる可能性がある。
【０００８】
本発明は上記問題点を解決するためになされたものであり、監視空間内を移動する複数の移動物体を好適な信頼性で追跡できる移動物体追跡装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る移動物体追跡装置は、監視空間を撮影した時系列の監視画像に基づいて前記監視空間内の移動物体を追跡する移動物体追跡装置であって、前記監視画像に撮影された移動物体のうち追跡対象とする注目物体の領域を設定する注目物体設定部と、前記注目物体の領域から互いに異なる複数の注目特徴を抽出する注目特徴抽出部と、記憶部と、前記注目特徴ごとに、前後する時刻に撮像された前記監視画像の間で当該注目特徴を有する特徴領域同士を位置関係に基づいて順次同定し、前記特徴領域それぞれの位置履歴を前記記憶部に記憶させる領域情報作成部と、前記位置履歴のうち前記注目物体の領域内を起点とする位置履歴を用いて前記注目物体の物体位置を判定する物体位置判定部と、を有し、前記物体位置判定部が、前記注目特徴ごとに前記位置履歴の間で接近が発生するか否かを各時刻において推定し、当該接近が生じないと推定された注目特徴の前記位置履歴を用いて当該時刻における前記物体位置を判定する。
【００１０】
他の本発明に係る移動物体追跡装置においては、前記領域情報作成部が、前記注目特徴ごとに前記特徴領域が前記監視画像上に分布する広さを算出し、当該広さが所定の基準値以上である注目特徴を処理対象から除外する。
【００１１】
別の本発明に係る移動物体追跡装置は、さらに、前記注目特徴ごとに、前記時系列の監視画像にて、前記移動物体に関して想定される所定の持続時間を超えて当該注目特徴を有した画素を背景画素として抽出する背景マップ作成部を有し、前記領域情報作成部が、前記背景画素が前記監視画像上に分布する広さを算出し、当該広さが所定の基準値以上である注目特徴を処理対象から除外する。
【００１２】
さらに別の本発明に係る移動物体追跡装置においては、前記領域情報作成部が、接近が生じないと推定された注目特徴の前記位置履歴を前記物体位置判定部により判定された前記物体位置に合わせて修正する。
【発明の効果】
【００１３】
本発明に係る移動物体追跡装置によれば、監視空間内を移動する複数の移動物体を好適な信頼性で追跡できる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る移動物体追跡装置の概略のブロック構成図である。
【図２】注目物体情報のデータ構成を模式的に示す説明図である。
【図３】追跡領域情報のデータ構成を模式的に示す説明図である。
【図４】ダミー領域情報のデータ構成を模式的に示す説明図である。
【図５】画像蓄積部に蓄積されている監視画像群の一例を示す時系列の監視画像の模式図である。
【図６】本発明の実施形態における移動物体追跡処理の概略のフロー図である。
【図７】本発明の実施形態における表示部の画面に表示される画像の一例を示す模式図である。
【図８】図７に例示する監視画像に対応した色ヒストグラムを示す説明図である。
【図９】図７に例示する監視画像に対応した、注目特徴である色ごとの特徴領域画像の模式図である。
【図１０】本発明の実施形態における領域設定処理の概略のフロー図である。
【図１１】図５に例示した監視画像にて色番号「６」の追跡領域及びダミー領域を追跡処理する様子を示す模式図である。
【図１２】図５に例示した監視画像にて色番号「８」の追跡領域及びダミー領域を追跡処理する様子を示す模式図である。
【図１３】本発明の実施形態における領域同定処理の概略のフロー図である。
【図１４】本発明の実施形態における物体位置判定処理の概略のフロー図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態（以下実施形態という）である移動物体追跡装置１について、図面に基づいて説明する。移動物体追跡装置１は、監視空間を撮影した時系列の監視画像の任意時刻にて注目物体の像を指定されると、その注目物体の監視空間内の移動を時系列の監視画像に基づいて追跡するものであり、本実施形態では、一例として、監視員（利用者）が動画像中にて不審人物を注目物体として指定し、移動物体追跡装置１が指定された注目物体を追跡し、追跡結果を表示する例を説明する。図１は、実施形態に係る移動物体追跡装置１の概略のブロック構成図である。移動物体追跡装置１は、撮像部２、画像蓄積部３、表示部４、操作部５、記憶部６及び制御部７を含んで構成される。撮像部２は画像蓄積部３と接続され、画像蓄積部３、表示部４、操作部５及び記憶部６は制御部７と接続される。
【００１６】
撮像部２は、監視カメラであり、例えば、監視空間の天井部に監視空間を俯瞰して設置される。撮像部２は、監視空間を所定の時間間隔で撮像し、撮影した画像（監視画像）を順次、画像蓄積部３へ出力する。以下、所定時間間隔で行われる撮影のタイミングを時刻と称する。本実施形態において監視画像はカラー画像であり、例えば、各画素の画素値がそれぞれ２５６階調のＲ値、Ｇ値及びＢ値の組で表現される。
【００１７】
画像蓄積部３は、ハードディスクレコーダーなどの記録装置であり、撮像部２から入力された監視画像を撮像時刻と対応付けて記録する。また、制御部７から要求された撮像時刻の監視画像を出力する。画像蓄積部３は、後述する記憶部６の一部として構成されてもよい。
【００１８】
表示部４は、液晶ディスプレイ、ＣＲＴ等のモニタ装置を含み、当該モニタ装置は、制御部７から出力される監視画像の他、移動物体の追跡結果、ＧＵＩ（Graphical User Interface）等の画像情報を表示し、監視員による視認を可能にする。
【００１９】
操作部５は、マウス、タッチパネル等のポインティングデバイスを含む。操作部５は、監視員に操作され、例えば、表示部４に表示された監視画像やＧＵＩ上の位置を指示する指示操作に応じて、モニタ装置の画像上でのポインタの座標や移動量を表す情報を制御部７へ出力する。
【００２０】
記憶部６は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等の記憶装置であり、制御部７で使用されるプログラムやデータを記憶する。記憶部６はこれらプログラム、データを制御部７との間で入出力する。記憶部６に記憶されるデータには、注目物体情報６０、追跡領域情報６１、ダミー領域情報６２、背景マップ６３が含まれる。
【００２１】
図２〜図４はそれぞれ、注目物体情報６０、追跡領域情報６１、ダミー領域情報６２のデータ構成を模式的に示す説明図である。
【００２２】
注目物体情報６０は、注目物体が撮像されている領域として指定された注目領域、注目物体の画像特徴である注目特徴、注目物体の追跡結果である物体位置履歴で構成される。追跡領域情報６１は、追跡領域を識別するＩＤ（identification data）、当該追跡領域に対応付けられている注目特徴、当該追跡領域がロスト（消失）状態か否かを表すロストフラグ、当該追跡領域がダミー領域に対して接近状態にあるか否かを表す接近フラグ、当該追跡領域の形状を示す領域画像、当該追跡領域について予測された移動先、当該追跡領域の追跡結果である領域位置履歴で構成される。
【００２３】
ダミー領域情報６２は、追跡領域情報６１と同様の構成であり、ダミー領域を識別するＩＤ、当該ダミー領域に対応付けられている注目特徴、当該ダミー領域がロスト状態か否かを表すロストフラグ、当該ダミー領域が追跡領域に対して接近状態にあるか否かを表す接近フラグ、当該ダミー領域の形状を示す領域画像、当該ダミー領域について予測された移動先、当該ダミー領域の追跡結果である領域位置履歴で構成される。
【００２４】
制御部７は、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成される。制御部７は、記憶部６からプログラムを読み出して実行し、後述する各種の手段（注目物体設定部７０、注目特徴抽出部７１、特徴領域検出部７２、背景マップ作成部７３、領域設定部７４、次画像取得部７５、移動先予測部７６、領域同定部７７、物体位置判定部７８等）として機能する。制御部７は、画像蓄積部３に蓄積されている監視画像を処理して注目物体の位置を追跡し、追跡結果を注目物体情報６０に蓄積するとともに表示部４に適宜出力する。
【００２５】
以下、制御部７の各部について説明する。
【００２６】
注目物体設定部７０は、画像蓄積部３に蓄積された監視画像の中から追跡の起点とする起点画像を利用者に初期設定させるとともに、当該起点画像において注目物体が撮像されている注目領域を利用者に初期設定させる。注目物体設定部７０は、これら初期設定の指示を利用者から得るために、例えば、操作部５からポインタの位置情報を取得し、取得した位置情報に基づくポインタや、利用者との対話に必要なＧＵＩを表示部４に適宜出力する。設定された起点画像及び注目領域は注目特徴抽出部７１へ出力される。また、注目物体設定部７０は、起点画像の撮像時刻を処理時刻の初期値として記憶部６に格納する。
【００２７】
注目特徴抽出部７１は、起点画像の注目領域から互いに異なる複数の注目特徴を抽出して記憶部６に格納する。こうして抽出される注目特徴はそれぞれ注目物体の像の一部を特徴付ける情報であり、画像間で注目物体を同定するための手がかりとなる。
【００２８】
具体的には注目特徴として色を用いる。注目物体が移動すると照明状態が変わって色が微小に変化し得るが、そのような微小変化が生じても注目物体を同定できるように、色空間において隣接する複数の階調をひとつの色として扱う。例えば、ＲＧＢ値それぞれの階調レンジを３２分割して定義される３２７６８個の色領域を「色」と定義し、これら色領域に通しの色番号を付与する。注目特徴抽出部７１は、注目領域内の画素に関する色ヒストグラムを算出し、算出された色ヒストグラムから頻度が０でない色の色番号を注目特徴として抽出する。
【００２９】
注目特徴は色以外のものを用いることもでき、例えば、テクスチャを用いることができる。特に、注目領域内のエッジをまたぐ部分のテクスチャが同定に効果的である。この場合、注目特徴抽出部７１は、起点画像の注目領域部分からエッジを抽出し、エッジ上に例えば、３×３画素の局所領域を順次設定して当該局所領域内の起点画像の色の組み合わせのそれぞれを注目特徴として抽出する。このテクスチャは、シャツと上着といった色の組み合わせを表現できるため、注目物体が単色では一意に同定できないときも当該テクスチャでは同定が可能となる。
【００３０】
制御部７は領域情報作成部を備え、特徴領域検出部７２、背景マップ作成部７３、領域設定部７４、次画像取得部７５、移動先予測部７６、領域同定部７７、物体位置判定部７８が、当該領域情報作成部を構成する。
【００３１】
特徴領域検出部７２は、入力された監視画像から各注目特徴を有する特徴領域を検出し、当該特徴領域の座標を出力する。特徴領域検出部７２は、監視画像から注目特徴の色と一致する画素を抽出し、各抽出画素と当該抽出画素に隣接する８画素のうちの抽出画素とをまとめて形成される領域を特徴領域として検出する。検出した特徴領域の情報は、背景マップ作成部７３、領域設定部７４及び領域同定部７７へ出力される。
【００３２】
背景マップ作成部７３は、予め設定された移動物体滞在時間を超える期間に亘る複数の監視画像にて特徴領域が検出された画素を背景画素として注目特徴ごとに抽出し、注目特徴と背景画素の位置とを対応付けた背景マップ６３を記憶部６に記憶させる。本実施形態では、背景マップ６３は注目特徴の色番号と背景画素の座標との組が列挙されたデータとなる。混雑環境下であっても背景の一部は見え隠れする。背景マップ６３は一時的に撮像された背景を寄せ集めた情報に当たる。監視空間の移動物体（つまり人）が多いほど背景が現れる領域は少なくなり、背景マップ６３が表す背景は虫食い状態となるがそれで構わない。移動物体滞在時間は追跡対象の移動物体が同一画素を通過しきる時間であり、例えば、１０時刻に設定することができる。
【００３３】
照明等の環境は刻々と変化するため、背景マップ６３は起点画像と近い時刻に撮像された監視画像を用いて作成するのがよい。背景マップ作成部７３は、起点画像の撮像時刻を中心に前後５０時刻、計１００時刻を推定期間に設定し、画像蓄積部３から推定期間内の監視画像を順次読み出して特徴領域検出部７２に入力する。そして、特徴領域検出部７２から出力された特徴領域の情報に基づいて、注目特徴ごとに各画素が特徴領域として検出された回数を計数し、計数値が移動物体滞在時間を超える画素を背景画素として抽出する。なお、推定期間として起点画像の後ろ５０時刻を確保できない場合は足りない分を起点画像の前の時刻で補う。
【００３４】
領域設定部７４は、注目特徴ごとに注目領域内の特徴領域を追跡領域に設定するとともに注目領域外の特徴領域をダミー領域に設定する。そのために領域設定部７４は、起点画像を特徴領域検出部７２に入力し、特徴領域検出部７２から出力された特徴領域を注目領域と比較して注目領域に包含されているか否かを判定する。そして、包含されている特徴領域は追跡領域として注目特徴の色番号と対応付けて追跡領域情報６１に記録し、包含されていない特徴領域はダミー領域として注目特徴の色番号と対応付けてダミー領域情報６２に記録する。ここで、注目物体以外の移動物体の一部又は背景の一部がダミー領域に設定され得る。このダミー領域は、追跡の主目的ではなく、注目物体の追跡の障害となり得る領域である。
【００３５】
移動物体追跡装置１は、追跡領域の他にダミー領域を追跡することで障害の発生を予測してこれを回避する。混雑した空間で不審人物を注目物体として追跡する場合、肌色や頭髪の黒色といった監視空間に広く分布している注目特徴は、追跡領域に設定しても殆どの処理時刻で回避処理が発生して注目物体の追跡に寄与しない。このことは無駄なダミー領域の追跡を増やすことをも意味する。そこで、領域設定部７４は、注目特徴ごとに特徴領域が監視画像上に分布する広さを算出し、算出された広さが所定の基準値以上である注目特徴に対しては追跡領域を設定しないように制御する。具体的には、領域設定部７４は、起点画像における特徴領域の分布の広さを算出し、当該広さが予め設定した基準値以上である注目特徴に対しては追跡領域及びダミー領域を設定しない。
【００３６】
本実施形態では、領域設定部７４は、起点画像を複数のブロックに分割して各ブロックに特徴領域が含まれているか否かを確認し、特徴領域を含んだブロック数を分布の広さとして算出する。領域設定部７４は算出されたブロック数が基準値を超えない注目特徴に対しては追跡領域及びダミー領域を設定し、ブロック数が基準値以上となる注目特徴に対しては追跡領域及びダミー領域を設定しない。例えば、基準値は全体の７割のブロック数に設定することができる。また、ブロックの大きさは追跡対象の移動物体の平均的な移動速度に応じた大きさに設定することができる。例えば、移動物体の平均速度が４時刻で監視画像を横切る程度であれば、監視画像を１６分割し、その７割に当たる１２ブロックを基準値に設定することができる。
【００３７】
別の実施形態において領域設定部７４は、各特徴領域の重心の分散値を特徴領域の分布の広さとして算出する。分散値を算出する際の平均値は監視画像の中心或いは注目領域の重心などとすればよい。また、さらに別の実施形態において領域設定部７４は、特徴領域の重心を中心とし移動物体の１時刻当たりの平均移動距離を半径とする円を全特徴領域に対して設定し、これらの円の和領域の面積を特徴領域の分布の広さとして算出する。
【００３８】
このように監視画像に或る程度以上の密度で広く分布する特徴領域は追跡処理に用いないことにより、無駄な処理を事前に省くことができ、効率の良い追跡が可能となる。
【００３９】
また、領域設定部７４は、背景マップ作成部７３にて抽出された背景画素が監視画像上に分布する広さを算出し、算出された広さが基準値以上である注目特徴に対しては追跡領域を設定しないように制御する。具体的には、領域設定部７４は、背景マップ６３を参照して注目特徴ごとに背景画素の分布の広さを算出し、当該広さが予め設定した基準値以上となる注目特徴に対しては追跡領域及びダミー領域を設定しない。分布の広さの算出とその判定は上述の特徴領域の分布に関する判定の場合と同様に行うことができる。すなわち領域設定部７４は、監視画像を複数のブロックに分割して各ブロックに背景画素が含まれているか否かを確認し、背景画素を含んだブロック数を分布の広さとして算出する。領域設定部７４は算出されたブロック数が基準値を超えない注目特徴に対しては追跡領域及びダミー領域を設定し、ブロック数が基準値以上である注目特徴に対しては追跡領域及びダミー領域を設定しない。
【００４０】
別の実施形態において領域設定部７４は、各背景画像の重心の分散値を背景画像の分布の広さとして算出する。また、さらに別の実施形態において領域設定部７４は、背景画像を中心とし移動物体の１時刻当たりの平均移動距離を半径とする円を全背景画像に対して設定し、これらの円の和領域の面積を背景画像の分布の広さとして算出する。
【００４１】
これにより監視画像に或る程度以上の密度で広く分布する背景画素からなる特徴領域は追跡処理の対象とはならない。すなわち、起点画像において移動物体が密集して背景の大部分が隠されてしまっていても、背景に広く分布する注目特徴に対して無駄な追跡領域及びダミー領域を設定しないよう制御できる。この処理では、通常の背景差分処理を用いることができないような場合においても、背景を追跡の対象から除外することができる。
【００４２】
次画像取得部７５は、起点画像に続く次画像を画像蓄積部３から順次読み出し、特徴領域検出部７２に入力する。すなわち、次画像取得部７５は、処理時刻を１時刻ずつ更新し、更新後の処理時刻を撮像時刻とする監視画像を画像蓄積部３から読み出す。処理時刻の更新により追跡が進捗する。処理時刻が最新の撮像時刻に達した場合は新たな監視画像が蓄積されるのを待つ。
【００４３】
なお、本実施形態では、処理時刻の更新は１時刻ずつインクリメントするが、監視画像が高フレームレートで撮影されている場合や、移動物体の速度が緩やかである間や、移動物体間の距離が離れていて取り違えが起こりにくいと判断される期間においては、２以上の時刻ずつ更新してもよく、またその際、移動速度や物体間距離などの状況変化に応じて適宜、１時刻ずつの更新に切り替えてもよい。
【００４４】
また、１時刻加算を繰り返して注目物体が撮像範囲外に移動して未来方向の追跡が終了した後に、再び起点画像から１時刻減算を繰り返して過去方向に追跡を行うような構成も可能である。
【００４５】
移動先予測部７６は、現在処理対象としている時刻（現時刻）に対して過去の監視画像における特徴領域の位置に基づいて当該特徴領域の現時刻の監視画像における移動先を予測する。すなわち、移動先予測部７６は追跡領域及びダミー領域のそれぞれの既に得られた位置から、次に処理対象とする監視画像における各領域の移動先を予測する。追跡領域の位置は追跡領域情報６１の領域位置履歴から得ることができ、ダミー領域の位置はダミー領域情報６２の領域位置履歴から得ることができる。移動先予測部７６は、追跡領域の領域位置履歴に運動モデルを適用して次画像における追跡領域の移動先を予測し、各ダミー領域の領域位置履歴に運動モデルを適用して次画像における当該ダミー領域の移動先を予測する。具体的には、各領域の重心の移動先を予測するとともに、各領域の大きさを所定倍率で拡大した領域を算出し、予測重心に重心を一致させた当該拡大領域を移動先として設定する。拡大領域とするのは予測誤差を吸収するためである。倍率は固定値とすることもできるが、領域の移動速度に比例させるのが好適である。運動モデルとしては等速直線モデルやカルマンフィルタなどを採用できる。予測された移動先の情報は領域同定部７７及び物体位置判定部７８へ出力される。
【００４６】
領域同定部７７は、２時刻の監視画像間にて特徴領域の対応関係を求める。具体的には、領域同定部７７は、特徴領域検出部７２にて検出された次画像の特徴領域の位置を、先行画像の特徴領域それぞれについて移動先予測部７６にて算出された移動先と比較して、それぞれの移動先にて次画像から検出された特徴領域を先行画像の特徴領域に対応するものとして同定する。これにより、各注目特徴の追跡領域の移動先に含まれる当該注目特徴の特徴領域が現在の追跡領域であると判定され、その判定結果によって追跡領域情報６１が更新される。さらに各注目特徴のダミー領域の移動先に含まれる当該注目特徴の特徴領域が現在のダミー領域であると判定され、その判定結果によってダミー領域情報６２が更新される。
【００４７】
物体位置判定部７８は、移動先予測部７６により予測された移動先に基づいて注目特徴ごとに追跡領域とダミー領域との接近の発生を推定し、当該接近が生じないと推定された注目特徴の追跡領域の位置に基づいて次画像における注目物体の位置を判定する。具体的には、注目特徴ごとに追跡領域とダミー領域との移動先を比較して追跡領域とダミー領域との接近を検知し、接近が検知されなかった追跡領域の位置から次画像における注目物体の位置を判定し、判定した位置を注目物体情報６０として記録する。
【００４８】
つまり、接近が検知された追跡領域は次画像の特徴領域との間での同定処理にて、誤ってダミー領域と対応付けられている可能性があるため次画像における注目物体の位置の判定に利用せず、接近が検知されなかった追跡領域は正しく同定されるため判定に利用する。これにより注目物体の位置の誤判定を防ぐことができる。なお、接近が検知されなかった追跡領域が複数ある場合はそれらの平均値を注目物体の位置として出力する。このように接近が検知されなかった追跡領域の位置から物体位置を高い信頼性で判定することができる。
【００４９】
なお、注目特徴（又は追跡領域）の数には限りがあるため一度接近が検知された注目特徴の追跡領域であっても、後の物体位置の判定に利用できるように追跡を継続しておくのがよい。ただし、既に述べたように、接近が検知されたときの追跡領域は同定処理にてダミー領域との取り違えが発生しやすく位置の信頼性が低くなっている。そこで、本実施形態では、接近が生じると推定された注目特徴の追跡領域に関し、先行時刻での当該追跡領域と対応関係にある現時刻での追跡領域の位置を、先行時刻における追跡領域の位置と、先行時刻と現時刻との間での注目物体の位置変化を表す移動ベクトルとに基づいて推定する。例えば、物体位置判定部７８にて、接近が検知されなかった追跡領域に基づいて正しく判定された物体位置から注目物体の移動量を算出する。そして、この移動量を領域同定部７７にフィードバックする。領域同定部７７はフィードバックされた移動量を基に接近が検知された追跡領域の位置を修正する。具体的には物体位置判定部７８は１時刻前の位置から最新位置までの移動ベクトルを算出し、領域同定部７７は移動ベクトルを接近が検知された追跡領域の１時刻前の位置に加算して当該追跡領域の最新位置を外挿する。これにより接近が検知された注目特徴についての追跡領域の追跡を正しく継続できるので、接近が生じた後の追跡に当該注目特徴を利用でき、注目物体の追跡を円滑に継続できるようになる。
【００５０】
図５は、画像蓄積部３に蓄積されている監視画像群の一例を示す時系列の監視画像の模式図である。図５には、時系列の監視画像のうち、撮像時刻Ｔ〜（Ｔ＋４）の監視画像１００〜１０４が示されている。
【００５１】
以下、図５に示す監視画像群を例に用いながら、移動物体追跡装置１の動作を説明する。図６は、移動物体追跡装置１における移動物体追跡処理の概略のフロー図である。移動物体追跡装置１は、起動されると当該フロー図に従った動作を始める。
【００５２】
まず、制御部７の注目物体設定部７０は監視員に起点画像を指定させ（Ｓ１）、さらに注目領域を指定させる（Ｓ２）。図７は、表示部４の画面に表示される画像の一例を示す模式図である。図７に示す画面には起点画像とする時刻Ｔの監視画像が表示されている。図７を参照しながら指定処理Ｓ１，Ｓ２を具体的に説明する。注目物体設定部７０は表示部４に再生領域２００、再生スイッチ２０１、確定ボタン２０２を含んだＧＵＩを表示させて操作部５からの入力を受け付ける。操作部５により再生スイッチ２０１が操作されて再生・巻き戻し・早送り・コマ送り・一時停止などが指示されると、注目物体設定部７０は指示に応じて撮像時刻を増減させるとともに、増減後の撮像時刻に対応する監視画像を画像蓄積部３から読み出して再生領域２００に表示させる。監視員は不審人物が撮像された監視画像を見つけると、操作部５により確認ボタン２０２−１を押下する。確認ボタン２０２−１が押下されると注目物体設定部７０は表示中の監視画像を起点画像と認識し、起点画像の撮像時刻を処理時刻として記憶部６に記憶させる。
【００５３】
起点画像が指定されると注目領域の指定に移る。監視員が操作部５を操作し、起点画像において不審人物が撮像されている注目領域２１０を指示すると、注目物体設定部７０は指示された注目領域内の画素値を１、その他の画素値を０に設定した注目領域画像を注目物体情報６０に記録する。
【００５４】
このようにして注目領域画像が得られると、次に制御部７は注目特徴抽出部７１により、注目領域２１０から注目物体の注目特徴を抽出する（Ｓ３）。注目特徴抽出部７１は、起点画像のうち注目領域画像の画素値が１である画素に対応する画素を全て選出し、選出された画素の色ヒストグラム２２０を算出する。そして、色ヒストグラム２２０において頻度が０でない色のそれぞれを注目物体の部分特徴と判定して、それらの色番号（色＃）及び頻度値を当初の注目特徴として注目物体情報６０に記録する。図８は、図７に示す時刻Ｔの監視画像を起点画像とする例における色ヒストグラム２２０を示す説明図である。図８に示す色ヒストグラム２２０の例では、色＃１，６，８，９，１１の５色が注目特徴となる。
【００５５】
また、制御部７は背景マップ作成部７３により背景マップ６３を作成する（Ｓ４）。背景マップ作成部７３は、上述したように起点画像の撮像時刻を基準とする１００時刻を推定期間に設定し、推定期間内の監視画像を順次読み出して特徴領域検出部７２に入力する。背景マップ作成部７３は、順次入力した監視画像から特徴領域検出部７２が検出した特徴領域を基に画素ごとの注目特徴のヒストグラムを算出する。そして、当該各ヒストグラムにおいて度数が１０以上である注目特徴を選出して、選出された注目特徴の色番号と画素とを対応付けた背景マップ６３を記憶部６に記憶させる。
【００５６】
また、特徴領域検出部７２は起点画像から各注目特徴を有する特徴領域を抽出する（Ｓ５）。特徴領域検出部７２は、注目特徴ごとに特徴領域の画素値を１、その他の画素値を０に設定した特徴領域画像を記憶部６に記憶させる。図９は、図７に示す時刻Ｔの監視画像を起点画像とする例における色＃１，６，８，９，１１それぞれの特徴領域画像３００〜３０４の模式図であり、網掛け部分が特徴領域を表している。
【００５７】
次に制御部７は領域設定部７４により、ステップＳ５にて検出された特徴領域の中から追跡領域及び当該追跡領域のダミー領域を選択的に設定する（Ｓ６）。図１０は、領域設定処理Ｓ６の概略のフロー図である。以下、図１０を参照して、領域設定処理Ｓ６を説明する。
【００５８】
領域設定部７４は注目特徴についてのループ処理を実行し（Ｓ６０〜Ｓ７０）、注目特徴ごとに追跡領域及びダミー領域をそれぞれ定める。領域設定部７４は上述したように、処理対象とする注目特徴の特徴領域画像を１６個のブロックに分割して各ブロックに画素値１の画素が含まれているか確認し、画素値１の画素が含まれているブロックの数を特徴領域の分布の広さとして算出し（Ｓ６１）、分布の広さを基準値と比較する（Ｓ６２）。領域設定部７４は、ブロック数が１２個未満であれば分布は狭いと判定し、１２個以上であれば広いと判定する。広いと判定された注目特徴は追跡対象外となる（Ｓ６２にてＹＥＳ）。図９に示す例では、処理Ｓ６１，Ｓ６２にて色＃１，９，１１の特徴領域は追跡対象外とされる。
【００５９】
また、領域設定部７４は上述したように、背景マップ６３が表す画像を１６個のブロックに分割して各ブロックに背景画素が含まれているか確認し、背景画素が含まれているブロックの数を背景画素の分布の広さとして算出し（Ｓ６２）、分布の広さを基準値と比較する（Ｓ６３）。領域設定部７４は、ブロック数が１２個未満であれば分布は狭いと判定し、１２個以上であれば広いと判定する。広いと判定された注目特徴は追跡対象外となる（Ｓ６４にてＹＥＳ）。図９に示す例では、床の色に対応する色＃９は、既に処理Ｓ６２にて追跡対象外とされているが、仮に人が密集して床の大部分を隠してしまい処理Ｓ６１の分布の広さが基準値未満となっても（Ｓ６２にてＮＯ）、背景マップ６３を基に計数されるブロック数は１２個以上なり背景に広く分布する色＃９を追跡対象外とすることができる。
【００６０】
起点画像における特徴領域の分布と背景マップ６３における背景画像の分布とがともに狭いと判定された注目特徴が追跡対象とされ（Ｓ６４にてＮＯ）、続く、追跡領域及びダミー領域の設定処理（Ｓ６５〜Ｓ６９）の対象とされる。図９の例では色＃６及び色＃８が追跡対象となる。
【００６１】
領域設定部７４は、処理対象とする注目特徴に係る特徴領域についてのループ処理を実行する（Ｓ６５〜Ｓ６９）。当該ループ処理では、未処理の特徴領域を順次、選択して（Ｓ６５）処理する（Ｓ６６〜Ｓ６９）。当該処理では、当該注目特徴の特徴領域画像をステップＳ３にて生成された注目領域画像と重ね合わせて各特徴領域が物体領域に包含されるか否かを確認する（Ｓ６６）。両画像において画素値が１である特徴領域は注目領域内に包含されているとして（Ｓ６６にてＹＥＳ）、当該特徴領域に外接する矩形を処理対象の注目特徴における追跡領域として領域ＩＤ及び属性とともに記憶させる（Ｓ６７）。一方、特徴領域画像においてのみ画素値が１である特徴領域は注目領域に包含されていないとして（Ｓ６６にてＮＯ）、その外接矩形を処理対象の注目特徴におけるダミー領域として領域ＩＤ及び属性とともに記憶させる（Ｓ６８）。
【００６２】
図９の例では、色＃６について追跡領域３１０とダミー領域３１１，３１２が設定され、色＃８について追跡領域３２０とダミー領域３２１，３２２が設定される。
【００６３】
全ての注目特徴に対しループ処理が終了すると領域設定処理Ｓ６は終了する（Ｓ７０にてＹＥＳ）。
【００６４】
領域設定処理Ｓ６が終了すると、図６にて次の処理である移動先予測処理Ｓ７が行われる。当該処理Ｓ７は制御部７の移動先予測部７６により行われる。移動先予測部７６は、追跡領域の領域位置履歴から移動先を予測して追跡領域情報６１に記録し、ダミー領域の領域位置履歴から移動先を予測してダミー領域情報６２に記録する。
【００６５】
図１１は図５に例示した監視画像にて色＃６の追跡領域及びダミー領域を追跡処理する様子を示す模式図であり、画像４００〜４０４がそれぞれ撮像時刻Ｔ〜（Ｔ＋４）に対応する。また、図１２は図５に例示した監視画像にて色＃８の追跡領域及びダミー領域を追跡処理する様子を示す模式図であり、画像５００〜５０４がそれぞれ撮像時刻Ｔ〜（Ｔ＋４）に対応する。図１１，図１２中の○印が追跡領域情報６１又はダミー領域情報６２に記録されている各領域の位置、×印が移動先の重心である予測位置、一点鎖線で囲む領域が移動先範囲をそれぞれ表している。移動先予測部７６は、追跡領域情報６１又はダミー領域情報６２の領域位置履歴の情報に等速直線モデルを適用して外挿により追跡領域及びダミー領域の予測位置を求める。そして、予測誤差を考慮して各領域を拡大し、重心を予測位置に一致させた移動先範囲を算出する。図１１、図１２の例では予測誤差を各領域の大きさ程度と見積り、各領域の大きさを縦横２倍して移動先範囲を算出した。こうして追跡領域及びダミー領域の移動速度(方向及び速さ)に合わせた方向及び位置に移動先が予測される。ただし、追跡領域情報６１又はダミー領域情報６２の領域位置履歴に位置の情報が１つしかない当初は移動速度が不明であるため、起点画像と１時刻違いの次画像における移動先は方向を限定せず、追跡領域及びダミー領域の当初位置そのものを重心とする範囲であって、かつ上述の移動速度が分かる場合よりも大きく各領域を拡大させた範囲を移動先範囲とする。例えば、本実施形態では、当初の移動先範囲は、その後の時刻におけるよりも１．５倍大きく拡大する。
【００６６】
続いて、次画像取得処理Ｓ８が行われる。制御部７の次画像取得部７５は、処理時刻を更新し、更新後の処理時刻を撮像時刻とする監視画像を次画像として画像蓄積部３から読み出す。
【００６７】
制御部７の特徴領域検出部７２は、読み出された次画像から各注目特徴を有する特徴領域を検出する（Ｓ９）。図５にて、撮像時刻（Ｔ＋１）〜（Ｔ＋４）の監視画像１０１〜１０４にはそれぞれ１時刻前の先行画像が存在し、それぞれ当該先行画像に対して次画像となる。図１１の画像４０１〜４０４において実線で示した領域は監視画像１０１〜１０４から検出された色＃６の特徴領域（領域ＩＤ「Ａ」〜「Ｃ」）を表している。また、図１２の画像５０１〜５０４において実線で示した領域は監視画像１０１〜１０４から検出された色＃８の特徴領域（領域ＩＤ「Ｄ」〜「Ｆ」）を表している。
【００６８】
制御部７の領域同定部７７は、ステップＳ９にて検出された各特徴領域を先行画像の追跡領域又はダミー領域に対応するものとして同定する（Ｓ１０）。図１３は、領域同定処理Ｓ１０の概略のフロー図である。以下、図１３を参照して、領域同定処理Ｓ１０を説明する。
【００６９】
領域同定処理Ｓ１０では、注目特徴についてのループ処理が設けられ（Ｓ１００〜Ｓ１０８）、さらに注目特徴のループ処理の中に、追跡対象、すなわち処理対象の注目特徴に係る追跡領域及びダミー領域についてのループ処理が設けられる（Ｓ１０１〜Ｓ１０６）。
【００７０】
追跡対象ごとに行われる内側のループ処理において領域同定部７７は、各追跡対象について予測された移動先を、次画像の特徴領域のうち当該追跡対象と注目特徴を同じくするものの位置と比較し、追跡対象の移動先範囲に含まれ、かつ追跡対象の予測位置に最も近い特徴領域を当該追跡対象として同定する（Ｓ１０２）。このとき移動物体相互の接近により本来の追跡領域とダミー領域、或いは複数のダミー領域が一体化して１つの特徴領域となってしまっている場合もあるが、１つの特徴領域に対し複数の追跡対象を同定することを許容する。
【００７１】
領域同定部７７は、追跡対象がいずれかの特徴領域と同定できた場合（Ｓ１０３にてＹＥＳ）、当該特徴領域の重心を領域位置として算出し、当該特徴領域の画像と領域位置とで、同定された追跡対象に対応する追跡領域情報６１又はダミー領域情報６２を更新する（Ｓ１０４）。
【００７２】
他方、追跡対象がいずれの特徴領域とも同定されなかった場合（Ｓ１０３にてＮＯ）、領域同定部７７は追跡対象のロスト処理を行う（Ｓ１０５）。ちなみに同定不能な状態は、追跡対象が視野外に移動した場合又は追跡対象がオクルージョンにより隠れている場合に発生する。領域同定部７７は、追跡対象が追跡領域であれば対応する追跡領域情報６１のロストフラグをオンにして追跡を保留し、追跡対象がダミー領域であれば対応するダミー領域情報６２を削除して追跡対象から外す。
【００７３】
処理対象の或る注目特徴に係る追跡対象ごとのループ処理を終えると（Ｓ１０６にてＹＥＳ）、領域同定部７７は、当該注目特徴に関し、いずれの追跡対象とも同定されなかった特徴領域があるか否かを確認し、該当する特徴領域があれば当該特徴領域を新たなダミー領域としてダミー領域情報６２に追加する（Ｓ１０７）。また、まだ処理対象とされていない注目特徴があれば（Ｓ１０８にてＮＯ）、それを処理対象にセットして（Ｓ１００）、上述した処理Ｓ１０１〜Ｓ１０７を行う。
【００７４】
こうして全ての注目特徴に係るループ処理を終えると（Ｓ１０８にてＹＥＳ）、処理は図６にて次の処理である物体位置判定処理Ｓ１１に進む。
【００７５】
制御部７は物体位置判定部７８により、追跡領域の位置から注目物体の移動軌跡を判定する（Ｓ１１）。図１４は、物体位置判定処理Ｓ１１の概略のフロー図である。以下、図１４を参照して、物体位置判定処理Ｓ１１を説明する。
【００７６】
まず、物体位置判定部７８は各追跡領域のロストフラグを確認する（Ｓ１１０）。全追跡領域のロストフラグがオンになっている場合（Ｓ１１０にてＹＥＳ）、注目物体は視野外に移動したものとして注目物体のロストフラグをオンにし（Ｓ１１８）、物体位置判定処理Ｓ１１を終了する。
【００７７】
一方、いずれかの追跡領域のロストフラグがオフになっている場合（Ｓ１１０にてＮＯ）、物体位置判定部７８は、注目特徴についてのループ処理を設定して（Ｓ１１１〜Ｓ１１６）、注目特徴ごとに追跡領域の移動先とダミー領域の移動先とを比較して接近判定を行う（Ｓ１１２）。物体位置判定部７８は、追跡領域に接近するダミー領域が１つでもあれば（Ｓ１１３にてＹＥＳ）当該追跡領域の接近フラグをオンに設定し（Ｓ１１４）、追跡領域に接近するダミー領域が１つもなければ（Ｓ１１３にてＮＯ）当該追跡領域の接近フラグをオフに設定する（Ｓ１１５）。
【００７８】
接近判定を終えると物体位置判定部７８は追跡領域のフラグを再度確認する（Ｓ１１７）。ロストフラグがオフ、かつ接近フラグがオフの追跡領域が１つもなければ（Ｓ１１７にてＮＯ）、物体位置判定部７８は、信頼できる注目特徴がなくなったために追跡続行不能であるとして注目物体のロストフラグをオンにし（Ｓ１１８）、物体位置判定処理を終了する。
【００７９】
一方、ロストフラグがオフ、かつ接近フラグがオフの追跡領域があれば（Ｓ１１７にてＹＥＳ）、物体位置判定部７８は、接近フラグがオフになっている追跡領域の最新位置を平均して次画像における注目物体の位置を算出し、注目物体情報６０に追記する（Ｓ１１９）。さらに物体位置判定部７８は、１時刻前の注目物体の位置からＳ１１９にて算出した注目物体の最新位置までの移動ベクトルを算出して領域同定部７７にフィードバックする（Ｓ１２０）。移動ベクトルが入力された領域同定部７７は接近フラグがオン又はロストフラグがオンになっている追跡領域の１時刻前の位置に移動ベクトルを加算して当該追跡領域の最新位置を修正する（Ｓ１２１）。
【００８０】
こうして注目物体の最新位置が判定されると、制御部７は追跡結果として注目物体の物体位置履歴を表示部４にプロット表示する（図６のＳ１２）。
【００８１】
制御部７は注目物体のロストフラグを確認して（Ｓ１３）、ロストフラグがオンであれば追跡処理を終了し、ロストフラグがオフであれば追跡を継続するために処理を再びステップＳ７へ戻し、監視空間における注目物体の追跡が続行される。
【符号の説明】
【００８２】
１ 移動物体追跡装置、２ 撮像部、３ 画像蓄積部、４ 表示部、５ 操作部、６ 記憶部、７ 制御部、６０ 注目物体情報、６１ 追跡領域情報、６２ ダミー領域情報、６３ 背景マップ、１００〜１０４ 監視画像、２００ 再生領域、２０１ 再生スイッチ、２０２ 確定ボタン、２２０ 色ヒストグラム、３００〜３０４ 特徴領域画像、３１０，３２０ 追跡領域、３１１，３１２，３２１，３２２ ダミー領域、４００〜４０４，５００〜５０４ 画像。
【特許請求の範囲】
【請求項１】
監視空間を撮影した時系列の監視画像に基づいて前記監視空間内の移動物体を追跡する移動物体追跡装置であって、
前記監視画像に撮影された移動物体のうち追跡対象とする注目物体の領域を設定する注目物体設定部と、
前記注目物体の領域から互いに異なる複数の注目特徴を抽出する注目特徴抽出部と、
記憶部と、
前記注目特徴ごとに、前後する時刻に撮像された前記監視画像の間で当該注目特徴を有する特徴領域同士を位置関係に基づいて順次同定し、前記特徴領域それぞれの位置履歴を前記記憶部に記憶させる領域情報作成部と、
前記位置履歴のうち前記注目物体の領域内を起点とする位置履歴を用いて前記注目物体の物体位置を判定する物体位置判定部と、
を有し、
前記物体位置判定部は、前記注目特徴ごとに前記位置履歴の間で接近が発生するか否かを各時刻において推定し、当該接近が生じないと推定された注目特徴の前記位置履歴を用いて当該時刻における前記物体位置を判定すること、
を特徴とする移動物体追跡装置。
【請求項２】
請求項１に記載の移動物体追跡装置において、
前記領域情報作成部は、前記注目特徴ごとに前記特徴領域が前記監視画像上に分布する広さを算出し、当該広さが所定の基準値以上である注目特徴を処理対象から除外すること、を特徴とする移動物体追跡装置。
【請求項３】
請求項１又は請求項２に記載の移動物体追跡装置において、さらに、
前記注目特徴ごとに、前記時系列の監視画像にて、前記移動物体に関して想定される所定の持続時間を超えて当該注目特徴を有した画素を背景画素として抽出する背景マップ作成部を有し、
前記領域情報作成部は、前記背景画素が前記監視画像上に分布する広さを算出し、当該広さが所定の基準値以上である注目特徴を処理対象から除外すること、
を特徴とする移動物体追跡装置。
【請求項４】
請求項１から請求項３のいずれか１つに記載の移動物体追跡装置において、
前記領域情報作成部は、接近が生じないと推定された注目特徴の前記位置履歴を前記物体位置判定部により判定された前記物体位置に合わせて修正すること、を特徴とする移動物体追跡装置。
【請求項１】
監視空間を撮影した時系列の監視画像に基づいて前記監視空間内の移動物体を追跡する移動物体追跡装置であって、
前記監視画像に撮影された移動物体のうち追跡対象とする注目物体の領域を設定する注目物体設定部と、
前記注目物体の領域から互いに異なる複数の注目特徴を抽出する注目特徴抽出部と、
記憶部と、
前記注目特徴ごとに、前後する時刻に撮像された前記監視画像の間で当該注目特徴を有する特徴領域同士を位置関係に基づいて順次同定し、前記特徴領域それぞれの位置履歴を前記記憶部に記憶させる領域情報作成部と、
前記位置履歴のうち前記注目物体の領域内を起点とする位置履歴を用いて前記注目物体の物体位置を判定する物体位置判定部と、
を有し、
前記物体位置判定部は、前記注目特徴ごとに前記位置履歴の間で接近が発生するか否かを各時刻において推定し、当該接近が生じないと推定された注目特徴の前記位置履歴を用いて当該時刻における前記物体位置を判定すること、
を特徴とする移動物体追跡装置。
【請求項２】
請求項１に記載の移動物体追跡装置において、
前記領域情報作成部は、前記注目特徴ごとに前記特徴領域が前記監視画像上に分布する広さを算出し、当該広さが所定の基準値以上である注目特徴を処理対象から除外すること、を特徴とする移動物体追跡装置。
【請求項３】
請求項１又は請求項２に記載の移動物体追跡装置において、さらに、
前記注目特徴ごとに、前記時系列の監視画像にて、前記移動物体に関して想定される所定の持続時間を超えて当該注目特徴を有した画素を背景画素として抽出する背景マップ作成部を有し、
前記領域情報作成部は、前記背景画素が前記監視画像上に分布する広さを算出し、当該広さが所定の基準値以上である注目特徴を処理対象から除外すること、
を特徴とする移動物体追跡装置。
【請求項４】
請求項１から請求項３のいずれか１つに記載の移動物体追跡装置において、
前記領域情報作成部は、接近が生じないと推定された注目特徴の前記位置履歴を前記物体位置判定部により判定された前記物体位置に合わせて修正すること、を特徴とする移動物体追跡装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−１８１０１４（Ｐ２０１１−１８１０１４Ａ）
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願番号】特願２０１０−４７１６７（Ｐ２０１０−４７１６７）
【出願日】平成２２年３月３日（２０１０．３．３）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願日】平成２２年３月３日（２０１０．３．３）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]