対象物画像判定装置
【課題】三次元空間での対象物の像の存在を判定する対象物画像判定装置において、撮像される画像毎に投影処理を行い設置物による非隠蔽部分を求めるのは処理負荷が大きい。
【解決手段】時刻毎に画像から対象物像を抽出する動作に際し事前処理を行い、空間内での対象物の位置のうち画像において対象物が設置物により隠蔽される隠蔽位置を特定した隠蔽マップ４２、カメラへの投影条件に基づいて設置物、及び空間内の各位置での対象物それぞれの立体モデルを投影した設置物モデル像４４、対象物モデル像４３を求め、記憶部４に格納する。隠蔽状態推定部５４は、隠蔽マップ４２を参照し、対象物の候補位置が隠蔽位置であれば当該候補位置に対応する対象物モデル像４３から設置物モデル像４４の領域を除いて対象物可視領域とする。尤度算出部５５及び物体位置算出部５６は、画像における対象物可視領域の画像特徴から対象物の像の存在を判定する。
【解決手段】時刻毎に画像から対象物像を抽出する動作に際し事前処理を行い、空間内での対象物の位置のうち画像において対象物が設置物により隠蔽される隠蔽位置を特定した隠蔽マップ４２、カメラへの投影条件に基づいて設置物、及び空間内の各位置での対象物それぞれの立体モデルを投影した設置物モデル像４４、対象物モデル像４３を求め、記憶部４に格納する。隠蔽状態推定部５４は、隠蔽マップ４２を参照し、対象物の候補位置が隠蔽位置であれば当該候補位置に対応する対象物モデル像４３から設置物モデル像４４の領域を除いて対象物可視領域とする。尤度算出部５５及び物体位置算出部５６は、画像における対象物可視領域の画像特徴から対象物の像の存在を判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像における対象物の像の存在を判定する対象物画像判定装置に関し、特に什器等の設置物により画像上で隠蔽され得る対象物の像の存在を判定する対象物画像判定装置に関する。
【背景技術】
【０００２】
侵入者検知等のため、監視空間を撮像した監視画像から人物などの監視対象物の像を抽出したり、当該像の画像特徴に基づいて監視対象物の存在を判定したり追跡したりすることが行われている。監視画像においては常に監視対象物の全体像が観測できるとは限らず、監視空間内の什器や柱、さらには他の人物などによりその一部がしばしば隠蔽される。この隠蔽は監視対象物の観測される大きさや色成分などの画像特徴を変動させるため、検知失敗や追跡失敗の原因となる。
【０００３】
下記特許文献１に記載の画像監視装置においては、対象物体が構造物などの陰に隠れてその一部分しか観測できないような場合でも対象物体を高精度に追跡するために、物体抽出位置に対象物体の三次元形状モデルを配置した監視空間の三次元シーンモデルを３Ｄ／２Ｄ変換することで監視画像にて対象物体にどの程度の隠れが発生している可能性があるかを求め、それをもとに対象物体抽出の結果を隠れの程度に応じて評価することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−２３１６３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら従来技術では、新たな画像が撮像されるたびに三次元のモデルから画像を生成する３Ｄ／２Ｄ変換処理（投影処理）を行わなければならない。当該投影処理は比較的大きな処理負荷を伴う。そのため、従来技術ではリアルタイムで対象物の検知や追跡を行うことが容易でないという問題点があった。
【０００６】
特に、魚眼レンズ等を備えた広角カメラを用いて検知や追跡を行う場合、投影処理にはレンズ歪を再現するための歪補正を含める必要があるため処理負荷が大きくなる。また、追跡にパーティクルフィルタを用いる場合、監視対象物の位置候補を多数設定して各設定に対する投影処理を行うため処理負荷が大きくなる。
【０００７】
本発明は上記課題を鑑みてなされたものであり、新たな画像が撮像されるたびに投影処理を行うことなく画像上での対象物の観測状態を推定可能にし、リアルタイムで高精度に対象物の存在を判定可能とすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る対象物画像判定装置は、予め定められた投影条件で空間を投影した画像における対象物の像の存在を判定するものであって、前記空間内での前記対象物の位置のうち前記画像において前記対象物が前記空間内の設置物により隠蔽される隠蔽位置を特定した隠蔽マップ、前記投影条件にて前記設置物の立体モデルを投影した設置物モデル像、及び前記空間内の各位置での前記対象物の立体モデルを前記投影条件にて投影した対象物モデル像を予め記憶した記憶部と、前記対象物が存在し得る前記空間内の候補位置を入力され、前記隠蔽マップを参照して前記候補位置が前記隠蔽位置か否かを判定し、前記候補位置が前記隠蔽位置であれば当該候補位置に対応する対象物モデル像から前記設置物モデル像の領域を除いて対象物可視領域とし、前記候補位置が前記隠蔽位置でなければ当該候補位置に対応する対象物モデル像の領域を対象物可視領域とする可視領域推定部と、前記画像における前記対象物可視領域の画像特徴から前記対象物の像の存在を判定する対象物判定部と、を有する。
【０００９】
本発明に係る上記対象物画像判定装置においては、前記隠蔽位置は前記空間の水平面座標系で表された二次元位置とすることができる。
【００１０】
他の本発明に係る対象物画像判定装置においては、前記候補位置は前記対象物に設定される代表点の座標で定義し、前記隠蔽マップは、前記画像にて死角となる前記設置物の背後領域及び、当該背後領域から外側へ前記対象物の代表サイズの距離まで張り出した実質背後領域を前記隠蔽位置に設定する。本発明の好適な態様は、前記候補位置を前記対象物の垂直中心軸の位置によって定義し、前記対象物の代表サイズを、前記対象物の立体モデルの最大幅の半分とした対象物画像判定装置である。
【００１１】
別の本発明に係る対象物画像判定装置においては、前記隠蔽マップは、前記隠蔽位置と、当該隠蔽位置にて隠蔽を生じさせ得る一又は複数の前記設置物とを対応付けた情報を含み、前記可視領域推定部は、前記候補位置が前記隠蔽位置である場合に、当該候補位置と対応する前記対象物モデル像から、前記隠蔽マップにて当該隠蔽位置に対応付けられた前記各設置物の前記設置物モデル像の領域を除いて前記対象物可視領域を求める。
【発明の効果】
【００１２】
立体モデルに基づく画像上での対象物の観測状態の推定処理の負荷が低減され、画像における対象物の像の存在を高速かつ高精度に判定できる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る移動物体追跡装置のブロック構成図である。
【図２】事前処理の概略のフロー図である。
【図３】三次元モデルの一例を模式的に示す斜視図である。
【図４】隠蔽マップ作成部による隠蔽位置の判定処理を説明する模式図である。
【図５】図３の三次元モデルに対応して作成された隠蔽マップの模式図である。
【図６】図３の三次元モデルから作成された対象物モデル像の模式図である。
【図７】図３の三次元モデルから作成された設置物モデル像の模式図である。
【図８】移動物体追跡装置の追跡処理の概略のフロー図である。
【図９】隠蔽マップ及び基準面内での対象物及びカメラの位置を示す模式図である。
【図１０】隠蔽状態の推定処理を説明する模式図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態（以下実施形態という）である移動物体追跡装置１について、図面に基づいて説明する。移動物体追跡装置１は、什器が配置された部屋等のように設置物が存在する屋内外の空間を監視対象の空間とすることができ、当該監視空間内を移動する人物を追跡対象物（以下、対象物と称する）とする。移動物体追跡装置１は監視空間を撮像した監視画像を処理して対象物の検出・追跡を行う。什器等の監視空間内の設置物は対象物のように移動せず予めその設置位置が判っている。設置物の他の例としては柱や給湯器などがある。設置物は画像処理の観点からは対象物の像を隠蔽し得る遮蔽物である。なお、注目している対象物以外の対象物も遮蔽物となり得る。
【００１５】
［移動物体追跡装置の構成］
図１は、実施形態に係る移動物体追跡装置１のブロック構成図である。移動物体追跡装置１は、撮像部２、設定入力部３、記憶部４、制御部５及び出力部６を含んで構成される。撮像部２、設定入力部３、記憶部４及び出力部６は制御部５に接続される。
【００１６】
撮像部２は、監視カメラであり、監視空間を臨むように設置され、監視空間を所定の時間間隔で撮影する。撮影された監視空間の監視画像は順次、制御部５へ出力される。専ら床面又は地表面等の基準面に沿って移動する人の位置、移動を把握するため、撮像部２は基本的に人を俯瞰撮影可能な高さに設置され、例えば、本実施形態では移動物体追跡装置１は屋内監視に用いられ、撮像部２は天井に設置される。監視画像が撮像される時間間隔は例えば１／５秒である。以下、この撮像の時間間隔で刻まれる時間の単位を時刻と称する。
【００１７】
設定入力部３は、管理者が制御部５に対して各種設定を行うための入力手段であり、例えば、タッチパネルディスプレイ等のユーザインターフェース装置である。
【００１８】
記憶部４は、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等の記憶装置である。記憶部４は、各種プログラムや各種データを記憶し、制御部５との間でこれらの情報を入出力する。各種データには、三次元モデル４０、カメラパラメータ４１、隠蔽マップ４２、対象物モデル像４３及び設置物モデル像４４が含まれる。
【００１９】
三次元モデル４０は、監視空間を模した仮想空間に対象物の立体形状を近似した対象物モデル及び／又は設置物の立体形状を近似した設置物モデルを配置した状態を記述したデータであり、追跡処理の準備段階で適宜作成され利用される。本実施形態では、監視空間及び仮想空間をＸ，Ｙ，Ｚ軸からなる右手直交座標系で表し、鉛直上方をＺ軸の正方向に設定する。また、床面等の基準面は水平であり、Ｚ＝０で表されるＸＹ平面で定義する。仮想空間内での設置物モデルの配置は監視空間内での実際の設置物の配置に合わせる。一方、対象物モデルの配置は任意位置に設定することができる。
【００２０】
対象物モデルは、例えば、対象物を構成する複数の構成部分毎の立体形状を表す部分モデルと、それら部分モデル相互の配置関係とを記述したデータである。移動物体追跡装置１が監視対象とする対象物は立位の人であり、本実施形態では、例えば、人の構成部分として頭部、胴部、脚部の３つが設定される。また、各構成部分の立体形状を近似的に表す部分モデルとして、長軸が鉛直方向に設定され短軸が水平方向に設定された楕円を長軸の周りに回転させて得られる回転楕円体を用いる。部分モデルの配置関係として、脚部の部分モデルの下端が基準面（Ｚ＝０）に接地するという拘束条件を課し、その脚部の部分モデルの上に胴部、頭部の部分モデルを順にＺ軸方向に積み重ねた配置を設定する。基準面から頭部中心までの高さをＨ、胴部の最大幅（胴部短軸直径）をＷで表す。本実施形態では説明を簡単にするため、高さＨ、幅Ｗは任意の対象物に共通とする。また、撮像部２との位置関係から、頭部は他の構成部分に隠蔽されにくく、監視画像に良好に現れることから、頭部中心を対象物の代表位置とする。なお、対象物モデルはより単純化して１つの回転楕円体で近似してもよい。
【００２１】
設置物モデルは、対象物の検出・追跡処理に先だって予め、監視空間内に置かれる設置物毎に設定される。設置物モデルは、監視空間に実在する設置物の形状・寸法のデータ、及び監視空間での設置物の配置のデータを含む。設置物の形状・寸法は監視空間に置かれる設置物を実測して取得することができるほか、設置物のメーカー等が提供する製品の三次元データを利用することもできる。設置物の配置は実測により取得できるほか、例えばコンピュータ上で部屋の什器レイアウトを設計した場合にはその設計データを利用することもできる。このようにして得られた設置物に関するデータは、設定入力部３又は外部機器との接続インターフェース（図示せず）から制御部５に入力され、制御部５は当該入力データに基づいて記憶部４に設置物モデルを格納する。
【００２２】
カメラパラメータ４１は、撮像部２が監視空間を投影した監視画像を撮影する際の投影条件に関する情報を含む。例えば、実際の監視空間における撮像部２の設置位置及び撮像方向といった外部パラメータ、撮像部２の焦点距離、画角、レンズ歪みその他のレンズ特性や、撮像素子の画素数といった内部パラメータを含む。実際に計測するなどして得られたこれらのパラメータが予め設定入力部３から入力され、記憶部４に格納される。公知のピンホールカメラモデル等のカメラモデルにカメラパラメータ４１を適用した座標変換式により、三次元モデル４０を監視画像の座標系（撮像部２の撮像面；ｘｙ座標系）に投影できる。このカメラパラメータ４１を用いた三次元モデル４０の投影は、移動物体追跡装置１による対象物の検出・追跡処理に先だって行われる。
【００２３】
隠蔽マップ４２は、監視空間内での対象物の位置のうち監視画像において対象物の少なくとも一部が設置物により隠蔽される位置（以下、隠蔽位置と称する）を特定する情報である。対象物は監視空間内にて基本的にはＸＹ平面に沿った水平移動をする。そこで本実施形態では上述のように、対象物モデルの下端が基準面（Ｚ＝０）に接地するという拘束条件を課している。これに対応して、隠蔽マップ４２は、隠蔽位置を基準面のＸＹ座標系、つまり監視空間の床面座標で表す。ここで、例えば、監視空間に階段等の高低差が存在する場合には、対象物はＺ方向にも移動し得る。そのような場合には、隠蔽マップ４２は隠蔽位置を監視空間内の三次元座標で特定する構成とすることもできる。しかし、そのような特殊な監視空間でなければ、隠蔽位置を二次元位置で表した隠蔽マップ４２を用いた方が隠蔽状態推定の処理量が削減される。
【００２４】
監視空間内に複数の設置物が存在する場合には、当該設置物毎に隠蔽マップ４２を作成することもできるが、本実施形態の隠蔽マップ４２は後述するように、ＸＹ平面内での各隠蔽位置の情報に、当該隠蔽位置にて隠蔽を生じさせ得る一又は複数の設置物の情報を対応付けたデータ構造とし、複数の設置物に対して１つに統合された隠蔽マップ４２が記憶部４に設定される。隠蔽マップ４２は、三次元モデル４０及びカメラパラメータ４１を用いて追跡処理の前に作成される。
【００２５】
対象物モデル像４３は、監視空間内の各位置と、当該位置に配置された対象物の立体モデル（対象物モデル）を監視画像の座標系に投影した投影像とを対応付けたデータである。具体的には、投影像は、監視空間内に対象物モデルだけを仮想的に配置し、撮像部２の撮像面に対応して仮想的に設定される投影面に当該対象物モデルを投影した像である。対象物モデル像４３は、三次元モデル４０及びカメラパラメータ４１を用いて追跡処理の前に、投影像を計算により求め作成される。
【００２６】
対象物モデルは監視空間内の各位置に配置され、当該位置毎に対象物モデル像４３が生成される。本実施形態では上述の拘束条件により、対象物モデル像４３はＸＹ平面内の各位置に対応して生成される。
【００２７】
なお、例えば、Ｈ，Ｗ及びその他のパラメータが異なる複数種類の対象物モデルを用いて対象物モデル像４３の生成を行い、追跡対象として検出された人に適合した対象物モデル像４３を選択できるようにして、後述する監視画像における対象物の像の抽出・判定が体格差の影響を受けにくくして精度向上を図ることもできる。
【００２８】
設置物モデル像４４は、設置物の識別子と、監視空間に配置された当該設置物の立体モデル（設置物モデル）を監視画像の座標系に投影した投影像とを対応付けたデータであり、設置物毎に生成される。具体的には、投影像は監視空間内に当該設置物モデルだけを仮想的に配置して算出される。設置物モデル像４４は対象物モデル像４３と同様、三次元モデル４０及びカメラパラメータ４１を用いて追跡処理の前に予め作成される。
【００２９】
制御部５は、ＣＰＵ(Central Processing Unit)、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、記憶部４からプログラムを読み出して実行し、隠蔽マップ作成部５０、モデル投影部５１、変化画素抽出部５２、予測位置設定部５３、隠蔽状態推定部５４、尤度算出部５５、物体位置算出部５６、異常判定部５７として機能する。
【００３０】
制御部５の各機能のうち隠蔽マップ作成部５０及びモデル投影部５１は、追跡処理の前に行われる事前処理を担う。
【００３１】
隠蔽マップ作成部５０は三次元モデル４０及びカメラパラメータ４１を用いて、監視空間において対象物が各設置物により隠蔽される隠蔽位置を識別し、各隠蔽位置と当該隠蔽位置にて対象物を隠蔽する設置物とを対応付けた上述の隠蔽マップ４２を作成して記憶部４に記憶させる。
【００３２】
本実施形態の隠蔽マップ４２は、上述したように基準面上の二次元座標で定義される構成である。隠蔽マップ作成部５０は、設置物ごとに当該設置物が置かれた領域（設置物位置と呼ぶ）と、撮像部２のカメラ位置から見て当該設置物の背後領域とを隠蔽位置として特定する。
【００３３】
ここで、対象物である人は設置物が占有する空間には入ることはできないことから、設置物位置は敢えて隠蔽位置とする必要はないという考え方もあり、そのような構成も可能である。特に、設置物が柱や背の高い本棚のような物である場合には、基本的にそのような構成が可能である。一方、設置物の高さが低い場合には、その上に対象物である人が身を乗り出したり寄りかかることが可能となり、設置物位置に対象物が位置することがある。そこで、本実施形態では設置物位置を隠蔽位置に設定することにより、このような場合にも隠蔽が生じていると判定できるようにして評価精度の向上を図っている。
【００３４】
また、設置物の背後領域は、本来的にはカメラ位置からの視線が設置物で遮られ見えない領域（死角）を含むが、本実施形態では、隠蔽マップ作成部５０はさらにその本来的な背後領域（本来背後領域）から外側へ対象物の代表サイズの距離まで張り出した領域も含めて実質的な背後領域（実質背後領域）として隠蔽位置に設定する。
【００３５】
この実質背後領域を隠蔽位置に設定する処理は、対象物の位置を代表点によって処理することに対応したものである。すなわち、隠蔽状態推定の処理を高速化するために対象物の位置を一点で代表させつつ、対象物の大きさを考慮した正確な隠蔽状態推定を行うために本来背後領域より広い実質背後領域を予め隠蔽位置に設定しておくのである。仮に、本来背後領域のみを隠蔽位置に設定し、対象物の位置を代表点で表すと、対象物の候補位置（予測位置）において対象物が監視空間に占める領域を再現してから当該領域に隠蔽位置が含まれるか否かを判定しなくては候補位置における隠蔽発生の有無を判定できない。これに対し、予め隠蔽位置を本来背後領域から対象物の大きさに応じた近傍領域にまで広げた実質背後領域に設定しておけば、対象物の候補位置が隠蔽位置か否かを判定するだけで候補位置における隠蔽発生の有無を判定できる。つまり、事前処理にて予め対象物の大きさを考慮した実質背後領域を隠蔽位置に設定することによって、監視画像の入力ごとに多数回行われる隠蔽状態推定処理では対象物の大きさを無視した代表点で処理することを可能にしているのである。これにより隠蔽状態推定処理を簡単化・高速化しつつ対象物の大きさを考慮した適正な隠蔽状態推定処理が可能である。
【００３６】
設置物の本来背後領域は次のようにして算出される。すなわち、隠蔽マップ作成部５０は、設置物モデルを配置した三次元モデル４０を基準面に投影して設置物位置を求め、また基準面上に投影したカメラ位置を求める。そして、このカメラ位置からの基準面上での視線が設置物位置で遮られ届かない領域が背後領域とされる。つまり基準面上で設置物位置の背後は全て背後領域となり隠蔽位置とされる。なお、このようにして求めた背後領域を用いると、実際は設置物から或る程度離れてカメラから見越せる部分も隠蔽位置とされるが、後述する隠蔽状態推定部５４での処理では、当該部分に対応する対象物モデル像４３は全体が非隠蔽領域として抽出されるので隠蔽判断の結果には影響はなく、むしろ奥行き方向の位置算出誤差の影響を受けにくい効果がある。
【００３７】
モデル投影部５１は、カメラパラメータ４１を用いて三次元モデル４０を投影することで、監視空間内の各位置に対応する対象物モデル像４３、及び監視空間内の各設置物に対応する設置物モデル像４４を作成し、それぞれを記憶部４に記憶させる。
【００３８】
制御部５の各機能のうち、変化画素抽出部５２、予測位置設定部５３、隠蔽状態推定部５４、尤度算出部５５、物体位置算出部５６及び異常判定部５７は追跡処理を担う。
【００３９】
変化画素抽出部５２は、撮像部２から新たに入力された監視画像から変化画素を抽出し、抽出された変化画素の情報を尤度算出部５５へ出力する。変化画素の情報は必要に応じて予測位置設定部５３にも出力される。変化画素の抽出は公知の背景差分処理により行われる。すなわち変化画素抽出部５２は、新たに入力された監視画像と背景画像との差分処理を行って差が予め設定された差分閾値以上である画素を変化画素として抽出する。変化画素は対象物が存在する領域に対応して抽出され得る。変化画素抽出部５２は背景画像として、監視領域に対象物が存在しない状態での監視画像を記憶部４に格納する。例えば、基本的に管理者は監視領域に対象物が存在しない状態で移動物体追跡装置１を起動するので、起動直後の監視画像から背景画像を生成することができる。なお、差分処理に代えて、新たに入力された監視画像と背景画像との相関処理によって変化画素を抽出してもよいし、背景画像に代えて背景モデルを学習して当該背景モデルとの差分処理によって変化画素を抽出してもよい。
【００４０】
予測位置設定部（仮説設定部）５３は、過去に判定された各対象物の物体位置又は過去に設定された各対象物の予測位置から動き予測を行なって、新たに入力される監視画像において対象物が存在する位置を予測し、その予測された位置（予測位置）を隠蔽状態推定部５４、尤度算出部５５及び物体位置算出部５６へ出力する。
【００４１】
例えば、位置の予測はパーティクルフィルタなどと呼ばれる方法を用いて行うことができる。当該方法は、各対象物に対して多数（その個数をＰで表す。例えば１対象物あたり２００個）の予測位置を順次設定して確率的に対象物の位置（物体位置）を判定するものであり、設定される予測位置は仮説などと呼ばれる。予測位置は監視画像のｘｙ座標系で設定することもできるが、本実施形態では監視空間のＸＹＺ座標系で設定する。動き予測は過去の物体位置に所定の運動モデルを適用するか（下記（１））、又は過去の予測位置に所定の運動モデルを適用すること（下記（２））で行なわれる。
【００４２】
（１）物体位置からの予測
注目時刻より前のＴ時刻分（例えばＴ＝５）の物体位置から平均速度ベクトルを算出する。この平均速度ベクトルを１時刻前の物体位置に加算して注目時刻における物体位置を予測する。予測された物体位置を中心とする所定範囲にランダムにＰ個の予測位置を設定する。この方法では、過去Ｔ時刻分の物体位置が記憶部４に循環記憶される。
【００４３】
（２）予測位置からの予測
注目時刻より前のＴ時刻分（例えばＴ＝５）の予測位置から平均速度ベクトルを算出する。この平均速度ベクトルを１時刻前の予測位置に加算して注目時刻における新たな予測位置を予測する。予測はＰ個の予測位置それぞれに対し行ない、新たな予測位置とその元となった過去の予測位置には同一の識別子を付与して循環記憶する。なお、１時刻前の予測位置のうちその尤度が予め設定された尤度閾値より低いものは削除する。一方、この削除分を補うために、削除した個数と同数の１時刻前の新たな予測位置を１時刻前の予測された物体位置を中心とする所定範囲にランダムに設定し、これらの予測位置と対応する２時刻前以前の予測位置を過去の物体位置の運動に合わせて外挿し求める。そのために過去の予測位置に加えて、過去Ｔ時刻分の物体位置も記憶部４に循環記憶させる。
【００４４】
なお、新規の対象物が検出された場合は、予測位置設定部５３は、その検出位置を中心とする所定範囲にランダムにＰ個の予測位置を設定する。
【００４５】
隠蔽状態推定部５４は、対象物が存在し得る監視空間内の候補位置を入力され、隠蔽マップ４２を参照して候補位置が隠蔽位置か否かを判定し、候補位置が隠蔽位置であれば当該候補位置に対応する対象物モデル像４３から設置物モデル像４４の領域を除いて対象物可視領域とし、候補位置が隠蔽位置でなければ当該候補位置に対応する対象物モデル像４３の領域を対象物可視領域とする可視領域推定部である。
【００４６】
具体的には、隠蔽状態推定部５４は候補位置として予測位置設定部５３から予測位置を入力され、各予測位置における対象物の隠蔽状態を推定し、推定結果を尤度算出部５５へ出力する。隠蔽状態推定部５４は隠蔽状態の推定において、隠蔽マップ４２から予測位置における隠蔽の有無及び隠蔽を生じさせる設置物を判定する。隠蔽有りと判定されると、当該予測位置に対応する対象物モデル像４３から、隠蔽を生じさせると判定された設置物に対応する設置物モデル像４４との重複領域を除去することにより非隠蔽領域（対象物可視領域）を推定する。一方、隠蔽無しと判定された場合は、当該予測位置に対応する対象物モデル像４３をそのまま非隠蔽領域として推定する。さらに注目している対象物（注目対象物）よりも手前に他の対象物がある場合、当該他の対象物も注目対象物にとっての遮蔽物となる。この場合は、注目対象物に対応する対象物モデル像４３から、手前の対象物に対応する対象物モデル像４３との重複領域をさらに除去し、残った領域を非隠蔽領域と推定する。なお、このように対象物間の隠蔽状態を推定する場合、それら対象物の予測位置同士で対象物モデル像４３を選択すると膨大な組み合わせとなる。そこで、隠蔽状態推定部５４は撮像部２に近い対象物から順に物体位置を判定し、手前の対象物については当該判定された物体位置に対応する対象物モデル像４３を選択し、これとの重複領域を注目対象物の予測位置に対応する対象物モデル像４３から除く。このようにすることで処理量を減ずることができる。
【００４７】
尤度算出部５５は、各予測位置に対して推定された非隠蔽領域における対象物の特徴量を監視画像から抽出し、特徴量の抽出度合いに応じた、当該予測位置の物体位置としての尤度を算出して物体位置算出部５６へ出力する。下記（１）〜（４）は尤度の算出方法の例である。
【００４８】
（１）変化画素抽出部５２により抽出された変化画素に非隠蔽領域を重ね合わせ、変化画素が非隠蔽領域に含まれる割合（包含度）を求める。包含度は、予測位置が現に対象物が存在する位置に近いほど高くなり、遠ざかるほど低くなりやすい。そこで、当該包含度に基づいて尤度を算出する。
【００４９】
（２）監視画像における非隠蔽領域の輪郭に対応する部分からエッジを抽出する。予測位置が現に対象物が存在する位置に近いほど、非隠蔽領域の輪郭がエッジ位置と一致するため、エッジの抽出度（例えば抽出されたエッジ強度の和）は増加し、一方、遠ざかるほど抽出度は減少しやすい。そこで、エッジの抽出度に基づいて尤度を算出する。
【００５０】
（３）各対象物の過去の物体位置において監視画像から抽出された特徴量を当該対象物の参照情報として記憶部４に記憶する。予測位置が現に対象物が存在する位置に近いほど背景や他の対象物の特徴量が混入しなくなるため、非隠蔽領域から抽出された特徴量と参照情報との類似度は高くなり、一方、遠ざかるほど類似度は低くなりやすい。そこで、監視画像から非隠蔽領域内の特徴量を抽出し、抽出された特徴量と参照情報との類似度を尤度として算出する。ここでの特徴量として例えば、エッジ分布、色ヒストグラム又はこれらの両方など、種々の画像特徴量を利用することができる。
【００５１】
（４）また上述した包含度、エッジの抽出度、類似度のうちの複数の度合いの重み付け加算値に応じて尤度を算出してもよい。
【００５２】
このように隠蔽状態推定部５４により推定された非隠蔽領域を利用することで、各対象物の隠蔽状態に適合した尤度を算出できるので追跡の信頼性が向上する。
【００５３】
物体位置算出部５６は、対象物の各予測位置、及び当該予測位置ごとに算出された尤度から当該対象物の位置（物体位置）を判定し、判定結果を記憶部４に対象物ごとに時系列に蓄積する。なお、全ての尤度が所定の下限値（尤度下限値）未満の場合は物体位置なし、つまり消失したと判定する。下記（１）〜（３）は物体位置の算出方法の例である。
（１）対象物ごとに、尤度を重みとする予測位置の重み付け平均値を算出し、これを当該対象物の物体位置とする。
（２）対象物ごとに、最大の尤度が算出された予測位置を求め、これを物体位置とする。
（３）対象物ごとに、予め設定された尤度閾値以上の尤度が算出された予測位置の平均値を算出し、これを物体位置とする。ここで、尤度閾値＞尤度下限値である。
【００５４】
上記尤度算出部５５及び物体位置算出部５６は、画像における非隠蔽領域の画像特徴から前記対象物の像の存在を判定する対象物判定部としての機能を有する。
【００５５】
異常判定部５７は、記憶部４に蓄積された時系列の物体位置を参照し、長時間滞留する不審な動きや通常動線から逸脱した不審な動きを異常と判定し、異常が判定されると出力部６へ異常信号を出力する。
【００５６】
出力部６は警告音を出力するスピーカー又はブザー等の音響出力手段、異常が判定された監視画像を表示する液晶ディスプレイ又はＣＲＴ等の表示手段などを含んでなり、異常判定部５７から異常信号が入力されると異常発生の旨を外部へ出力する。また、出力部６は通信回線を介して異常信号を警備会社の監視センタに設置されたセンタ装置へ送信する通信手段を含んでもよい。
【００５７】
［事前処理］
次に、隠蔽マップ作成部５０及びモデル投影部５１による事前処理を説明する。
【００５８】
隠蔽マップ４２のデータ形式は基準面（Ｚ＝０）と対応するディジタル画像データであり、監視空間を真上から見た画像に相当する。その各画素は基準面上の位置を量子化したものに相当し、基準面のＸ軸方向を例えばＮ画素、またＹ軸方向をＭ画素に量子化したＮ×Ｍ画素からなる画像データを構成する。画素値に相当するバイナリデータの各ビットは特定の設置物と一対一に対応付けられる。つまり、当該バイナリデータにおけるビット位置により、対応する設置物の識別子が指定される。各画素の当該ビットの値は、当該画素が当該ビットに対応する設置物の隠蔽位置であるか否かを表す。本実施形態では、或る画素における当該ビットの値が“１”であれば、当該画素は当該ビットに対応する設置物の隠蔽位置であり、一方、当該ビットの値が“０”であれば、非隠蔽位置であると定義する。例えば、画素値を８ビットに設定する場合、設置物＃１による隠蔽が生じる位置と対応する画素の画素値は（０００００００１）２、設置物＃２による隠蔽が生じる位置と対応する画素の画素値は（００００００１０）２、設置物＃１及び設置物＃２による隠蔽が生じる位置と対応する画素の画素値は（００００００１１）２と設定される。なお、画素値のビット数は監視空間に存在し得る設置物の数に応じて設定することができる。
【００５９】
図２は事前処理の概略のフロー図である。事前処理が開始されると、制御部５は隠蔽マップ４２、対象物モデル像４３及び設置物モデル像４４を初期化する（Ｓ１）。
【００６０】
初期化に続いて、隠蔽マップ作成部５０が隠蔽マップを生成する（Ｓ２〜Ｓ１０）。隠蔽マップ作成部５０は各設置物を順次、注目設置物に設定して（Ｓ２）、監視空間に対応する仮想空間に注目設置物の設置物モデルを配置した三次元モデル４０を生成する。そして、生成された三次元モデル４０を基準面に投影し、注目設置物が存在する位置（設置物位置）を特定する（Ｓ３）。隠蔽マップ作成部５０は設置物位置と対応する隠蔽マップ４２の画素値において注目設置物と対応するビットの値を“１”に設定する（Ｓ４）。
【００６１】
また、隠蔽マップ作成部５０は設置物位置を除く基準面内の各位置を順次、注目位置に設定する（Ｓ５）。隠蔽マップ作成部５０は注目位置と基準面上でのカメラ位置とを結ぶ線分（投影線）を算出し（Ｓ６）、投影線上に設置物位置があるか否かを判定する（Ｓ７）。投影線上に設置物位置がある場合（Ｓ７にて「ＹＥＳ」の場合）、当該注目位置は本来背後領域と判定されて隠蔽位置に設定される（Ｓ８）。さらに、本移動物体追跡装置１では上述した実質背後領域を隠蔽位置とすることに対応して、当該注目位置の所定近傍領域も隠蔽位置に設定する（Ｓ８）。具体的には、隠蔽マップ作成部５０は当該所定近傍領域の画素の画素値において、注目設置物と対応するビットの値を“１”に設定する。
【００６２】
本実施形態では、対象物の代表位置を頭部中心とし、追跡処理における候補位置も当該頭部中心を通る対象物の垂直中心軸によって定義すること、及び、基準面上での当該垂直中心軸から対象物の輪郭までの最大距離を表す値として対象物モデルの最大幅Ｗの１／２を用い得ることから、注目位置の近傍領域として、当該注目位置にて投影線と直交し当該注目位置を中心として長さがＷより短い線分を設定する。この近傍領域内の点も隠蔽位置とすることで、本来的な背後領域から外側へ対象物の距離Ｗ／２まで張り出した実質的な背後領域も隠蔽位置として設定される。
【００６３】
ここで、近傍領域を本実施形態のような一次元領域ではなく、基準面上にて注目位置を包含する二次元領域、例えば、注目位置を中心とする径がＷ／２の円や楕円などとすることもできる。しかし、両者にて得られる実質的な背後領域には大きな違いはないのに対し、処理負荷は一次元領域の方が小さい。そこで、本実施形態では上述のように投影線に直交する線分を各注目位置の近傍領域の隠蔽位置と設定する構成としている。
【００６４】
ステップＳ７にて投影線上に設置物位置がないと判断された場合（Ｓ７にて「ＮＯ」の場合）、注目位置は隠蔽位置ではないとされ、注目設置物と対応するビットは初期化された時点の値“０”のままとされる。
【００６５】
隠蔽マップ作成部５０は設置物位置を除く基準面内の位置すべてが処理済になるまでステップＳ５〜Ｓ８を繰り返す（Ｓ９にて「ＮＯ」の場合）。一方、或る設置物について処理済みとなると（Ｓ９にて「ＹＥＳ」の場合）、未処理の設置物があればステップＳ２に戻ってステップＳ３〜Ｓ８を実行し（Ｓ１０にて「ＮＯ」の場合）、一方、全ての設置物について処理済みとなると（Ｓ１０にて「ＹＥＳ」の場合）隠蔽マップ４２の生成処理を終了する。
【００６６】
隠蔽マップ４２の生成が終了すると、さらに事前処理としてモデル投影部５１が設置物モデル像４４の生成処理Ｓ１１〜Ｓ１４、及び対象物モデル像４３の生成処理Ｓ１５〜Ｓ１８を実行する。
【００６７】
モデル投影部５１は各設置物を順次、注目設置物に設定して（Ｓ１１）、監視空間に対応する仮想空間に注目設置物の設置物モデルのみを配置した三次元モデル４０を生成する（Ｓ１２）。そして、生成した三次元モデル４０をカメラパラメータ４１を用いて監視画像の撮像面に投影し、設置物モデル像４４を生成する（Ｓ１３）。設置物モデル像４４は、投影像内と投影像外とで異なる画素値を設定した監視画像と同形同大の２値画像であり、得られた設置物モデル像４４は注目設置物の識別子と対応付けて記憶部４に記憶させる。
【００６８】
モデル投影部５１は未処理の設置物が残っている場合（Ｓ１４にて「ＮＯ」の場合）、設置物モデル像の生成処理Ｓ１１〜Ｓ１３を繰り返し、全ての設置物について処理済みとなると（Ｓ１４にて「ＹＥＳ」の場合）、対象物モデル像４３の生成処理に移行する。
【００６９】
モデル投影部５１は基準面内の各位置を順次、注目位置に設定し（Ｓ１５）、監視空間に対応する仮想空間における注目位置に１つの対象モデルのみを配置した三次元モデル４０を生成する（Ｓ１６）。そして、生成した三次元モデル４０をカメラパラメータ４１を用いて監視画像の撮像面に投影し、対象物モデル像４３を生成する（Ｓ１７）。対象物モデル像４３は、投影像内と投影像外とで異なる画素値を設定した監視画像と同形同大の２値画像であり、得られた対象物モデル像４３は注目位置と対応付けて記憶部４に記憶させる。
【００７０】
モデル投影部５１は基準面内にて注目位置として未処理の位置が残っている場合（Ｓ１８にて「ＮＯ」の場合）、対象物モデル像の生成処理Ｓ１５〜Ｓ１７を繰り返し、全ての位置を注目位置として処理が終わると（Ｓ１８にて「ＹＥＳ」の場合）、対象物モデル像４３の生成処理を終了する。これにより、事前処理が完了する。
【００７１】
図３は、三次元モデル４０の一例を模式的に示す斜視図であり、Ｎ×Ｍ画素の基準面１００、カメラ位置１０１、対象物モデル１０２、及び設置物＃１，＃２の設置物モデル１０３，１０４の配置例を示している。
【００７２】
図４は、隠蔽マップ作成部５０による設置物＃１に対応する隠蔽位置の判定処理を説明する模式図であり、設置物＃１の設置物モデル１０３のみが配置された三次元モデル４０を基準面１００に投影した画像２００を示している。図４（ａ）には、図４（ｂ）に拡大して示す部分領域２０１、設置物＃１の設置物位置２０２、基準面上でのカメラ位置２０３、注目位置２０４、投影線２０５が示されており、図４（ｂ）には注目位置２０４の近傍領域である線分２０６が示されている。上述した隠蔽マップ作成処理により、カメラ位置２０３から注目位置２０４への投影線２０５が算出され、投影線２０５が設置物位置２０２を通ることが判定され、これにより注目位置２０４は設置物＃１の背後領域（本来背後領域）に位置し隠蔽位置であると判定される。また、当該注目位置２０４にて投影線２０５に直交し注目位置２０４を中心とする長さＷの線分２０６が注目位置２０４の近傍領域として隠蔽位置と判定される。すなわち、線分２０６は本来背後領域である注目位置に関する実質背後領域に相当する。
【００７３】
図５は、図３の三次元モデル４０に対応して作成された隠蔽マップ４２の模式図である。図５において、横線部は設置物＃１のみに隠蔽される隠蔽位置であり、画素値（０００００００１）２を設定される。また、縦線部は設置物＃２のみに隠蔽される隠蔽位置であり、画素値（００００００１０）２を設定され、縦横線部は設置物＃１と設置物＃２の両方に隠蔽される隠蔽位置であり、画素値は（００００００１１）２となる。
【００７４】
図６は、図３の三次元モデル４０から作成された対象物モデル像４３の模式図である。対象物モデル像４３はＮ×Ｍ画素の基準面１００の各画素に対象物モデルを配置して生成され、図６には、対象物モデル像４３を示す画像と、対象物モデルの位置（代表位置を通る中心軸が基準面にて交差する画素のＸＹ座標（Ｘ，Ｙ））とを対応付けて示している。ここで、画素のＸ座標は０〜Ｎ−１、Ｙ座標は０〜Ｍ−１なる整数と定義している。本実施形態では画像の白抜き部分が対象物モデルの投影像であり画素値“１”を付与され、それ以外の斜線部分は画素値“０”を付与される。
【００７５】
図７は、図３の三次元モデル４０から作成された設置物モデル像４４の模式図である。設置物モデル像４４は設置物ごとに生成され、図３の三次元モデル４０では設置物＃１に対応する設置物モデル像４４−１と設置物＃２に対応する設置物モデル像４４−２とが生成される。本実施形態では画像の白抜き部分が設置物モデルの投影像であり画素値“１”を付与され、それ以外の斜線部分は画素値“０”を付与される。
【００７６】
なお、本実施形態では対象物の代表位置を中心軸上の点としているので、実質背後領域の張り出し量は対象物の幅Ｗの半分に抑えることが可能である。一方、対象物の代表位置を中心軸から外れた位置に設定する場合は実質背後領域の張り出し量をＷ／２より大きく設定すればよいが、代表位置を対象物内に設定する限り、張り出し量はＷ以下で足りる。
【００７７】
［移動物体追跡装置１の動作］
次に、移動物体追跡装置１の追跡動作を説明する。図８は移動物体追跡装置１の追跡処理の概略のフロー図である。
【００７８】
撮像部２は、監視空間を撮像するたびに監視画像を制御部５に入力する（Ｓ２０）。以下、最新の監視画像が入力された時刻を現時刻、最新の監視画像を現画像と呼ぶ。
【００７９】
現画像は変化画素抽出部５２により背景画像と比較され、変化画素抽出部５２は変化画素を抽出する（Ｓ２１）。ここで、孤立した変化画素はノイズによるものとして抽出結果から除外する。なお、背景画像が無い動作開始直後は、現画像を背景画像として記憶部４に記憶させ、便宜的に変化画素なしとする。
【００８０】
また、予測位置設定部５３は追跡中の各対象物に対して動き予測に基づきＰ個の予測位置を設定する（Ｓ２２）。なお、後述するステップＳ３７にて新規出現であると判定された対象物の予測位置は動き予測不能なため出現位置を中心とする広めの範囲にＰ個の予測位置を設定する。また、後述するステップＳ３７にて消失と判定された対象物の予測位置は削除する。
【００８１】
制御部５は、ステップＳ２１にて変化画素が抽出されず、かつステップＳ２２にて予測位置が設定されていない（追跡中の対象物がない）場合（Ｓ２３にて「ＹＥＳ」の場合）はステップＳ２０に戻り、次の監視画像の入力を待つ。
【００８２】
一方、ステップＳ２３にて「ＮＯ」の場合は、ステップＳ２４〜Ｓ３７の処理を行う。まず、隠蔽状態推定部５４が対象物の前後関係を判定する（Ｓ２４）。具体的には、対象物ごとに予測位置の重心（平均値）とカメラ位置との距離を算出し、距離の昇順に対象物の識別子を並べた前後関係リストを作成する。
【００８３】
制御部５は前後関係リストの先頭から順に各対象物を順次、注目物体に設定する（Ｓ２５）。続いて、制御部５は注目物体の各予測位置を順次、注目位置に設定する（Ｓ２６）。但し、監視画像の視野外である予測位置は注目位置の設定対象から除外し、当該予測位置の非隠蔽領域は推定せず、尤度を０に設定する。
【００８４】
隠蔽状態推定部５４は注目位置に対応する対象物モデル像４３を記憶部４から読み出し、当該対象物モデル像４３を注目物体の注目位置における非隠蔽領域の初期状態として設定する（Ｓ２７）。続いて、隠蔽状態推定部５４は隠蔽マップ４２における注目位置の画素値を読み出し（Ｓ２８）、注目位置が隠蔽位置か否かを判定する（Ｓ２９）。
【００８５】
隠蔽状態推定部５４は読み出した画素値が“０”でなければ注目位置が隠蔽位置であると判定し（Ｓ２９にて「ＹＥＳ」の場合）、画素値により特定される設置物の識別子に対応する設置物モデル像４４の領域を非隠蔽領域から除き、非隠蔽領域を更新する（Ｓ３０）。一方、注目位置が隠蔽位置でなければ（Ｓ２９にて「ＮＯ」の場合）、非隠蔽領域は更新されない。
【００８６】
隠蔽状態推定部５４は、前後関係リストを参照して注目物体より手前の対象物があれば（Ｓ３１にて「ＹＥＳ」の場合）、手前の対象物の物体位置に対応する対象物モデル像４３の領域を非隠蔽領域から除き、非隠蔽領域を更新する（Ｓ３２）。なお、手前に複数の対象物があれば、それら全てについて除外処理を試みてもよいし、それらのうちカメラ位置から物体位置への投影線が注目物体への投影線となす角度が幅Ｗに相当する角度未満の対象物のみに絞って除外処理を実行してもよい。一方、手前に対象物がなければ（Ｓ３１にて「ＮＯ」の場合）、除去処理は行われない。
【００８７】
図９は隠蔽マップ４２及び基準面内での対象物及びカメラの位置を示す模式図、図１０は隠蔽状態の推定処理を説明する模式図である。対象物Ａに対し設定された予測位置の１つを予測位置３００、同時刻において別の対象物Ｂに対し設定された予測位置の１つを予測位置３０１とする。隠蔽状態推定部５４は隠蔽マップ４２を参照し、対象物Ａに関する予測位置３００は設置物＃１のみに隠蔽される隠蔽位置であると判定し、対象物Ｂに関する予測位置３０１は設置物＃２のみに隠蔽される隠蔽位置であると判定する。また、カメラ位置２０３と予測位置３００との距離及びカメラ位置２０３と予測位置３０１との距離を算出して比較することで、対象物Ａが手前、対象物Ｂが後ろであると判定される。隠蔽状態推定部５４は、まず、距離が近い予測位置３００に対応する対象物モデル像４３−３（白抜き部分）から設置物＃１に対応する設置物モデル像４４−１（白抜き部分）を除くことで、予測位置３００における対象物Ａの非隠蔽領域３１０（白抜き部分）を推定する（図１０（ａ））。次に、距離が遠い予測位置３０１に対応する対象物モデル像４３−４（白抜き部分）から距離が近い予測位置３００に対応する対象物モデル像４３−３（白抜き部分）及び設置物＃２に対応する設置物モデル像４４−２（白抜き部分）を除くことで、予測位置３０１における対象物Ｂの非隠蔽領域３１１（白抜き部分）を推定する（図１０（ｂ））。このように隠蔽状態の推定処理が三次元座標から二次元座標への投影処理を行うことなく実現されるので、その処理に要する演算量が少なくて済み、処理の高速化が図れる。
【００８８】
設置物及び手前の対象物による隠蔽領域を除去して注目位置での非隠蔽領域が求められると、尤度算出部５５は当該注目位置に対する尤度を算出する（Ｓ３３）。
【００８９】
制御部５は、尤度が算出されていない予測位置が残っている場合（Ｓ３４にて「ＮＯ」の場合）、ステップＳ２６〜Ｓ３３を繰り返す。Ｐ個全ての予測位置について尤度が算出されると（Ｓ３４にて「ＹＥＳ」の場合）、物体位置算出部５６が注目物体の各予測位置と当該予測位置のそれぞれについて算出された尤度とを用いて注目物体の物体位置を算出する（Ｓ３５）。現時刻について算出された物体位置は１時刻前までに記憶部４に記憶させた注目物体の物体位置と対応付けて追記される。なお、新規出現した対象物の場合は新たな識別子を付与して登録する。また、全ての予測位置での尤度が尤度下限値未満の場合は物体位置なしと判定する。
【００９０】
制御部５は未処理の対象物が残っている場合（Ｓ３６にて「ＮＯ」の場合）、当該対象物について物体位置を判定する処理Ｓ２５〜Ｓ３５を繰り返す。一方、全ての対象物について物体位置を判定すると、物体の新規出現と消失を判定する（Ｓ３７）。具体的には、制御部５は各物体位置に対して推定された非隠蔽領域を合成して、変化画素抽出部５２により抽出された変化画素のうち合成領域外の変化画素を検出し、検出された変化画素のうち近接する変化画素同士をラベリングする。ラベルが対象物とみなせる大きさであれば新規出現の旨をラベルの位置（出現位置）とともに記憶部４に記録する。また、物体位置なしの対象物があれば当該対象物が消失した旨を記憶部４に記録する。以上の処理を終えると、次時刻の監視画像に対する処理を行うためにステップＳ２へ戻る。
【００９１】
上記実施形態では移動物体追跡装置１は１つの撮像部２を用いて対象物の隠蔽推定及び対象物の追跡を行った。別の実施形態として、同期制御された複数の撮像部２により撮像された監視画像を処理して対象物の隠蔽推定及び対象物の追跡を行う構成とすることもできる。この場合、カメラパラメータ４１は各撮像部２に対して設定され、撮像部２ごとに事前処理が行われて撮像部２ごとに対象物モデル像４３と設置物モデル像４４が作成され記憶される。三次元モデル４０及び予測位置は複数の撮像部２間で共有する。隠蔽推定及び尤度算出は各撮像部２の監視画像、対象物モデル像４３及び設置物モデル像４４を用いて撮像部２ごとに行われる。撮像部２ごとに算出された尤度のうち同じ予測位置に関する尤度が統合されて各予測位置の統合尤度が算出され、統合尤度に基づき物体位置が判定される。
【００９２】
上記実施形態では隠蔽マップ作成部５０は設置物モデルとカメラ位置を基準面に投影してから基準面上で二次元的に本来背後領域を算出した。この方法では、隠蔽状態推定処理が奥行き方向の位置算出誤差の影響を受けにくいが、背後領域が冗長な分だけ隠蔽状態推定が余分に発生する。そこで、余分な処理の発生回避を重視して三次元的に本来背後領域を算出することで、本来背後領域の冗長性を排除することもできる。この実施形態において隠蔽マップ作成部５０は、例えば、図２のステップＳ２とＳ３の間で各設置物モデルを順次配置した三次元モデル４０上でカメラ位置からの投影線のうち当該設置物モデルを通過するものが基準面と交わる点の集合を本来背後領域として求め、図２のステップＳ７において投影線上に設置物位置があるか否かを判定する代わりに注目位置が本来背後領域内であるか否かを判定する。なお、この場合の図２のステップＳ８における近傍領域は対象物が占める領域（図４の円領域）となる。これにより隠蔽マップ４２から隠蔽位置の冗長設定が排除されて隠蔽状態推定処理がより簡単化・高速化される。
【００９３】
また、撮像部２に近くて（例えば、俯角が所定の閾値以上となる位置で）見越せる範囲が大きく奥行き方向の位置算出誤差が生じにくい設置物に関しては三次元的に本来背後領域を算出し、撮像部２から遠くて（例えば、俯角が閾値より小さい位置で）見越せる範囲が小さく奥行き方向の位置算出誤差が生じやすい設置物に関しては二次元的に本来背後領域を算出して隠蔽マップ４２を求めることで、高速化と精度とのバランスをとることも可能である。
【符号の説明】
【００９４】
１ 移動物体追跡装置、２ 撮像部、３ 設定入力部、４ 記憶部、５ 制御部、６ 出力部、４０ 三次元モデル、４１ カメラパラメータ、４２ 隠蔽マップ、４３ 対象物モデル像、４４ 設置物モデル像、５０ 隠蔽マップ作成部、５１ モデル投影部、５２ 変化画素抽出部、５３ 予測位置設定部、５４ 隠蔽状態推定部、５５ 尤度算出部、５６ 物体位置算出部、５７ 異常判定部、１００ 基準面、１０１ カメラ位置、１０２ 対象物モデル、１０３，１０４ 設置物モデル、２０２ 設置物位置、２０３ カメラ位置、２０４ 注目位置、２０５ 投影線、２０６ 近傍領域（実質背後領域）。
【技術分野】
【０００１】
本発明は、画像における対象物の像の存在を判定する対象物画像判定装置に関し、特に什器等の設置物により画像上で隠蔽され得る対象物の像の存在を判定する対象物画像判定装置に関する。
【背景技術】
【０００２】
侵入者検知等のため、監視空間を撮像した監視画像から人物などの監視対象物の像を抽出したり、当該像の画像特徴に基づいて監視対象物の存在を判定したり追跡したりすることが行われている。監視画像においては常に監視対象物の全体像が観測できるとは限らず、監視空間内の什器や柱、さらには他の人物などによりその一部がしばしば隠蔽される。この隠蔽は監視対象物の観測される大きさや色成分などの画像特徴を変動させるため、検知失敗や追跡失敗の原因となる。
【０００３】
下記特許文献１に記載の画像監視装置においては、対象物体が構造物などの陰に隠れてその一部分しか観測できないような場合でも対象物体を高精度に追跡するために、物体抽出位置に対象物体の三次元形状モデルを配置した監視空間の三次元シーンモデルを３Ｄ／２Ｄ変換することで監視画像にて対象物体にどの程度の隠れが発生している可能性があるかを求め、それをもとに対象物体抽出の結果を隠れの程度に応じて評価することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−２３１６３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら従来技術では、新たな画像が撮像されるたびに三次元のモデルから画像を生成する３Ｄ／２Ｄ変換処理（投影処理）を行わなければならない。当該投影処理は比較的大きな処理負荷を伴う。そのため、従来技術ではリアルタイムで対象物の検知や追跡を行うことが容易でないという問題点があった。
【０００６】
特に、魚眼レンズ等を備えた広角カメラを用いて検知や追跡を行う場合、投影処理にはレンズ歪を再現するための歪補正を含める必要があるため処理負荷が大きくなる。また、追跡にパーティクルフィルタを用いる場合、監視対象物の位置候補を多数設定して各設定に対する投影処理を行うため処理負荷が大きくなる。
【０００７】
本発明は上記課題を鑑みてなされたものであり、新たな画像が撮像されるたびに投影処理を行うことなく画像上での対象物の観測状態を推定可能にし、リアルタイムで高精度に対象物の存在を判定可能とすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る対象物画像判定装置は、予め定められた投影条件で空間を投影した画像における対象物の像の存在を判定するものであって、前記空間内での前記対象物の位置のうち前記画像において前記対象物が前記空間内の設置物により隠蔽される隠蔽位置を特定した隠蔽マップ、前記投影条件にて前記設置物の立体モデルを投影した設置物モデル像、及び前記空間内の各位置での前記対象物の立体モデルを前記投影条件にて投影した対象物モデル像を予め記憶した記憶部と、前記対象物が存在し得る前記空間内の候補位置を入力され、前記隠蔽マップを参照して前記候補位置が前記隠蔽位置か否かを判定し、前記候補位置が前記隠蔽位置であれば当該候補位置に対応する対象物モデル像から前記設置物モデル像の領域を除いて対象物可視領域とし、前記候補位置が前記隠蔽位置でなければ当該候補位置に対応する対象物モデル像の領域を対象物可視領域とする可視領域推定部と、前記画像における前記対象物可視領域の画像特徴から前記対象物の像の存在を判定する対象物判定部と、を有する。
【０００９】
本発明に係る上記対象物画像判定装置においては、前記隠蔽位置は前記空間の水平面座標系で表された二次元位置とすることができる。
【００１０】
他の本発明に係る対象物画像判定装置においては、前記候補位置は前記対象物に設定される代表点の座標で定義し、前記隠蔽マップは、前記画像にて死角となる前記設置物の背後領域及び、当該背後領域から外側へ前記対象物の代表サイズの距離まで張り出した実質背後領域を前記隠蔽位置に設定する。本発明の好適な態様は、前記候補位置を前記対象物の垂直中心軸の位置によって定義し、前記対象物の代表サイズを、前記対象物の立体モデルの最大幅の半分とした対象物画像判定装置である。
【００１１】
別の本発明に係る対象物画像判定装置においては、前記隠蔽マップは、前記隠蔽位置と、当該隠蔽位置にて隠蔽を生じさせ得る一又は複数の前記設置物とを対応付けた情報を含み、前記可視領域推定部は、前記候補位置が前記隠蔽位置である場合に、当該候補位置と対応する前記対象物モデル像から、前記隠蔽マップにて当該隠蔽位置に対応付けられた前記各設置物の前記設置物モデル像の領域を除いて前記対象物可視領域を求める。
【発明の効果】
【００１２】
立体モデルに基づく画像上での対象物の観測状態の推定処理の負荷が低減され、画像における対象物の像の存在を高速かつ高精度に判定できる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る移動物体追跡装置のブロック構成図である。
【図２】事前処理の概略のフロー図である。
【図３】三次元モデルの一例を模式的に示す斜視図である。
【図４】隠蔽マップ作成部による隠蔽位置の判定処理を説明する模式図である。
【図５】図３の三次元モデルに対応して作成された隠蔽マップの模式図である。
【図６】図３の三次元モデルから作成された対象物モデル像の模式図である。
【図７】図３の三次元モデルから作成された設置物モデル像の模式図である。
【図８】移動物体追跡装置の追跡処理の概略のフロー図である。
【図９】隠蔽マップ及び基準面内での対象物及びカメラの位置を示す模式図である。
【図１０】隠蔽状態の推定処理を説明する模式図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態（以下実施形態という）である移動物体追跡装置１について、図面に基づいて説明する。移動物体追跡装置１は、什器が配置された部屋等のように設置物が存在する屋内外の空間を監視対象の空間とすることができ、当該監視空間内を移動する人物を追跡対象物（以下、対象物と称する）とする。移動物体追跡装置１は監視空間を撮像した監視画像を処理して対象物の検出・追跡を行う。什器等の監視空間内の設置物は対象物のように移動せず予めその設置位置が判っている。設置物の他の例としては柱や給湯器などがある。設置物は画像処理の観点からは対象物の像を隠蔽し得る遮蔽物である。なお、注目している対象物以外の対象物も遮蔽物となり得る。
【００１５】
［移動物体追跡装置の構成］
図１は、実施形態に係る移動物体追跡装置１のブロック構成図である。移動物体追跡装置１は、撮像部２、設定入力部３、記憶部４、制御部５及び出力部６を含んで構成される。撮像部２、設定入力部３、記憶部４及び出力部６は制御部５に接続される。
【００１６】
撮像部２は、監視カメラであり、監視空間を臨むように設置され、監視空間を所定の時間間隔で撮影する。撮影された監視空間の監視画像は順次、制御部５へ出力される。専ら床面又は地表面等の基準面に沿って移動する人の位置、移動を把握するため、撮像部２は基本的に人を俯瞰撮影可能な高さに設置され、例えば、本実施形態では移動物体追跡装置１は屋内監視に用いられ、撮像部２は天井に設置される。監視画像が撮像される時間間隔は例えば１／５秒である。以下、この撮像の時間間隔で刻まれる時間の単位を時刻と称する。
【００１７】
設定入力部３は、管理者が制御部５に対して各種設定を行うための入力手段であり、例えば、タッチパネルディスプレイ等のユーザインターフェース装置である。
【００１８】
記憶部４は、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等の記憶装置である。記憶部４は、各種プログラムや各種データを記憶し、制御部５との間でこれらの情報を入出力する。各種データには、三次元モデル４０、カメラパラメータ４１、隠蔽マップ４２、対象物モデル像４３及び設置物モデル像４４が含まれる。
【００１９】
三次元モデル４０は、監視空間を模した仮想空間に対象物の立体形状を近似した対象物モデル及び／又は設置物の立体形状を近似した設置物モデルを配置した状態を記述したデータであり、追跡処理の準備段階で適宜作成され利用される。本実施形態では、監視空間及び仮想空間をＸ，Ｙ，Ｚ軸からなる右手直交座標系で表し、鉛直上方をＺ軸の正方向に設定する。また、床面等の基準面は水平であり、Ｚ＝０で表されるＸＹ平面で定義する。仮想空間内での設置物モデルの配置は監視空間内での実際の設置物の配置に合わせる。一方、対象物モデルの配置は任意位置に設定することができる。
【００２０】
対象物モデルは、例えば、対象物を構成する複数の構成部分毎の立体形状を表す部分モデルと、それら部分モデル相互の配置関係とを記述したデータである。移動物体追跡装置１が監視対象とする対象物は立位の人であり、本実施形態では、例えば、人の構成部分として頭部、胴部、脚部の３つが設定される。また、各構成部分の立体形状を近似的に表す部分モデルとして、長軸が鉛直方向に設定され短軸が水平方向に設定された楕円を長軸の周りに回転させて得られる回転楕円体を用いる。部分モデルの配置関係として、脚部の部分モデルの下端が基準面（Ｚ＝０）に接地するという拘束条件を課し、その脚部の部分モデルの上に胴部、頭部の部分モデルを順にＺ軸方向に積み重ねた配置を設定する。基準面から頭部中心までの高さをＨ、胴部の最大幅（胴部短軸直径）をＷで表す。本実施形態では説明を簡単にするため、高さＨ、幅Ｗは任意の対象物に共通とする。また、撮像部２との位置関係から、頭部は他の構成部分に隠蔽されにくく、監視画像に良好に現れることから、頭部中心を対象物の代表位置とする。なお、対象物モデルはより単純化して１つの回転楕円体で近似してもよい。
【００２１】
設置物モデルは、対象物の検出・追跡処理に先だって予め、監視空間内に置かれる設置物毎に設定される。設置物モデルは、監視空間に実在する設置物の形状・寸法のデータ、及び監視空間での設置物の配置のデータを含む。設置物の形状・寸法は監視空間に置かれる設置物を実測して取得することができるほか、設置物のメーカー等が提供する製品の三次元データを利用することもできる。設置物の配置は実測により取得できるほか、例えばコンピュータ上で部屋の什器レイアウトを設計した場合にはその設計データを利用することもできる。このようにして得られた設置物に関するデータは、設定入力部３又は外部機器との接続インターフェース（図示せず）から制御部５に入力され、制御部５は当該入力データに基づいて記憶部４に設置物モデルを格納する。
【００２２】
カメラパラメータ４１は、撮像部２が監視空間を投影した監視画像を撮影する際の投影条件に関する情報を含む。例えば、実際の監視空間における撮像部２の設置位置及び撮像方向といった外部パラメータ、撮像部２の焦点距離、画角、レンズ歪みその他のレンズ特性や、撮像素子の画素数といった内部パラメータを含む。実際に計測するなどして得られたこれらのパラメータが予め設定入力部３から入力され、記憶部４に格納される。公知のピンホールカメラモデル等のカメラモデルにカメラパラメータ４１を適用した座標変換式により、三次元モデル４０を監視画像の座標系（撮像部２の撮像面；ｘｙ座標系）に投影できる。このカメラパラメータ４１を用いた三次元モデル４０の投影は、移動物体追跡装置１による対象物の検出・追跡処理に先だって行われる。
【００２３】
隠蔽マップ４２は、監視空間内での対象物の位置のうち監視画像において対象物の少なくとも一部が設置物により隠蔽される位置（以下、隠蔽位置と称する）を特定する情報である。対象物は監視空間内にて基本的にはＸＹ平面に沿った水平移動をする。そこで本実施形態では上述のように、対象物モデルの下端が基準面（Ｚ＝０）に接地するという拘束条件を課している。これに対応して、隠蔽マップ４２は、隠蔽位置を基準面のＸＹ座標系、つまり監視空間の床面座標で表す。ここで、例えば、監視空間に階段等の高低差が存在する場合には、対象物はＺ方向にも移動し得る。そのような場合には、隠蔽マップ４２は隠蔽位置を監視空間内の三次元座標で特定する構成とすることもできる。しかし、そのような特殊な監視空間でなければ、隠蔽位置を二次元位置で表した隠蔽マップ４２を用いた方が隠蔽状態推定の処理量が削減される。
【００２４】
監視空間内に複数の設置物が存在する場合には、当該設置物毎に隠蔽マップ４２を作成することもできるが、本実施形態の隠蔽マップ４２は後述するように、ＸＹ平面内での各隠蔽位置の情報に、当該隠蔽位置にて隠蔽を生じさせ得る一又は複数の設置物の情報を対応付けたデータ構造とし、複数の設置物に対して１つに統合された隠蔽マップ４２が記憶部４に設定される。隠蔽マップ４２は、三次元モデル４０及びカメラパラメータ４１を用いて追跡処理の前に作成される。
【００２５】
対象物モデル像４３は、監視空間内の各位置と、当該位置に配置された対象物の立体モデル（対象物モデル）を監視画像の座標系に投影した投影像とを対応付けたデータである。具体的には、投影像は、監視空間内に対象物モデルだけを仮想的に配置し、撮像部２の撮像面に対応して仮想的に設定される投影面に当該対象物モデルを投影した像である。対象物モデル像４３は、三次元モデル４０及びカメラパラメータ４１を用いて追跡処理の前に、投影像を計算により求め作成される。
【００２６】
対象物モデルは監視空間内の各位置に配置され、当該位置毎に対象物モデル像４３が生成される。本実施形態では上述の拘束条件により、対象物モデル像４３はＸＹ平面内の各位置に対応して生成される。
【００２７】
なお、例えば、Ｈ，Ｗ及びその他のパラメータが異なる複数種類の対象物モデルを用いて対象物モデル像４３の生成を行い、追跡対象として検出された人に適合した対象物モデル像４３を選択できるようにして、後述する監視画像における対象物の像の抽出・判定が体格差の影響を受けにくくして精度向上を図ることもできる。
【００２８】
設置物モデル像４４は、設置物の識別子と、監視空間に配置された当該設置物の立体モデル（設置物モデル）を監視画像の座標系に投影した投影像とを対応付けたデータであり、設置物毎に生成される。具体的には、投影像は監視空間内に当該設置物モデルだけを仮想的に配置して算出される。設置物モデル像４４は対象物モデル像４３と同様、三次元モデル４０及びカメラパラメータ４１を用いて追跡処理の前に予め作成される。
【００２９】
制御部５は、ＣＰＵ(Central Processing Unit)、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、記憶部４からプログラムを読み出して実行し、隠蔽マップ作成部５０、モデル投影部５１、変化画素抽出部５２、予測位置設定部５３、隠蔽状態推定部５４、尤度算出部５５、物体位置算出部５６、異常判定部５７として機能する。
【００３０】
制御部５の各機能のうち隠蔽マップ作成部５０及びモデル投影部５１は、追跡処理の前に行われる事前処理を担う。
【００３１】
隠蔽マップ作成部５０は三次元モデル４０及びカメラパラメータ４１を用いて、監視空間において対象物が各設置物により隠蔽される隠蔽位置を識別し、各隠蔽位置と当該隠蔽位置にて対象物を隠蔽する設置物とを対応付けた上述の隠蔽マップ４２を作成して記憶部４に記憶させる。
【００３２】
本実施形態の隠蔽マップ４２は、上述したように基準面上の二次元座標で定義される構成である。隠蔽マップ作成部５０は、設置物ごとに当該設置物が置かれた領域（設置物位置と呼ぶ）と、撮像部２のカメラ位置から見て当該設置物の背後領域とを隠蔽位置として特定する。
【００３３】
ここで、対象物である人は設置物が占有する空間には入ることはできないことから、設置物位置は敢えて隠蔽位置とする必要はないという考え方もあり、そのような構成も可能である。特に、設置物が柱や背の高い本棚のような物である場合には、基本的にそのような構成が可能である。一方、設置物の高さが低い場合には、その上に対象物である人が身を乗り出したり寄りかかることが可能となり、設置物位置に対象物が位置することがある。そこで、本実施形態では設置物位置を隠蔽位置に設定することにより、このような場合にも隠蔽が生じていると判定できるようにして評価精度の向上を図っている。
【００３４】
また、設置物の背後領域は、本来的にはカメラ位置からの視線が設置物で遮られ見えない領域（死角）を含むが、本実施形態では、隠蔽マップ作成部５０はさらにその本来的な背後領域（本来背後領域）から外側へ対象物の代表サイズの距離まで張り出した領域も含めて実質的な背後領域（実質背後領域）として隠蔽位置に設定する。
【００３５】
この実質背後領域を隠蔽位置に設定する処理は、対象物の位置を代表点によって処理することに対応したものである。すなわち、隠蔽状態推定の処理を高速化するために対象物の位置を一点で代表させつつ、対象物の大きさを考慮した正確な隠蔽状態推定を行うために本来背後領域より広い実質背後領域を予め隠蔽位置に設定しておくのである。仮に、本来背後領域のみを隠蔽位置に設定し、対象物の位置を代表点で表すと、対象物の候補位置（予測位置）において対象物が監視空間に占める領域を再現してから当該領域に隠蔽位置が含まれるか否かを判定しなくては候補位置における隠蔽発生の有無を判定できない。これに対し、予め隠蔽位置を本来背後領域から対象物の大きさに応じた近傍領域にまで広げた実質背後領域に設定しておけば、対象物の候補位置が隠蔽位置か否かを判定するだけで候補位置における隠蔽発生の有無を判定できる。つまり、事前処理にて予め対象物の大きさを考慮した実質背後領域を隠蔽位置に設定することによって、監視画像の入力ごとに多数回行われる隠蔽状態推定処理では対象物の大きさを無視した代表点で処理することを可能にしているのである。これにより隠蔽状態推定処理を簡単化・高速化しつつ対象物の大きさを考慮した適正な隠蔽状態推定処理が可能である。
【００３６】
設置物の本来背後領域は次のようにして算出される。すなわち、隠蔽マップ作成部５０は、設置物モデルを配置した三次元モデル４０を基準面に投影して設置物位置を求め、また基準面上に投影したカメラ位置を求める。そして、このカメラ位置からの基準面上での視線が設置物位置で遮られ届かない領域が背後領域とされる。つまり基準面上で設置物位置の背後は全て背後領域となり隠蔽位置とされる。なお、このようにして求めた背後領域を用いると、実際は設置物から或る程度離れてカメラから見越せる部分も隠蔽位置とされるが、後述する隠蔽状態推定部５４での処理では、当該部分に対応する対象物モデル像４３は全体が非隠蔽領域として抽出されるので隠蔽判断の結果には影響はなく、むしろ奥行き方向の位置算出誤差の影響を受けにくい効果がある。
【００３７】
モデル投影部５１は、カメラパラメータ４１を用いて三次元モデル４０を投影することで、監視空間内の各位置に対応する対象物モデル像４３、及び監視空間内の各設置物に対応する設置物モデル像４４を作成し、それぞれを記憶部４に記憶させる。
【００３８】
制御部５の各機能のうち、変化画素抽出部５２、予測位置設定部５３、隠蔽状態推定部５４、尤度算出部５５、物体位置算出部５６及び異常判定部５７は追跡処理を担う。
【００３９】
変化画素抽出部５２は、撮像部２から新たに入力された監視画像から変化画素を抽出し、抽出された変化画素の情報を尤度算出部５５へ出力する。変化画素の情報は必要に応じて予測位置設定部５３にも出力される。変化画素の抽出は公知の背景差分処理により行われる。すなわち変化画素抽出部５２は、新たに入力された監視画像と背景画像との差分処理を行って差が予め設定された差分閾値以上である画素を変化画素として抽出する。変化画素は対象物が存在する領域に対応して抽出され得る。変化画素抽出部５２は背景画像として、監視領域に対象物が存在しない状態での監視画像を記憶部４に格納する。例えば、基本的に管理者は監視領域に対象物が存在しない状態で移動物体追跡装置１を起動するので、起動直後の監視画像から背景画像を生成することができる。なお、差分処理に代えて、新たに入力された監視画像と背景画像との相関処理によって変化画素を抽出してもよいし、背景画像に代えて背景モデルを学習して当該背景モデルとの差分処理によって変化画素を抽出してもよい。
【００４０】
予測位置設定部（仮説設定部）５３は、過去に判定された各対象物の物体位置又は過去に設定された各対象物の予測位置から動き予測を行なって、新たに入力される監視画像において対象物が存在する位置を予測し、その予測された位置（予測位置）を隠蔽状態推定部５４、尤度算出部５５及び物体位置算出部５６へ出力する。
【００４１】
例えば、位置の予測はパーティクルフィルタなどと呼ばれる方法を用いて行うことができる。当該方法は、各対象物に対して多数（その個数をＰで表す。例えば１対象物あたり２００個）の予測位置を順次設定して確率的に対象物の位置（物体位置）を判定するものであり、設定される予測位置は仮説などと呼ばれる。予測位置は監視画像のｘｙ座標系で設定することもできるが、本実施形態では監視空間のＸＹＺ座標系で設定する。動き予測は過去の物体位置に所定の運動モデルを適用するか（下記（１））、又は過去の予測位置に所定の運動モデルを適用すること（下記（２））で行なわれる。
【００４２】
（１）物体位置からの予測
注目時刻より前のＴ時刻分（例えばＴ＝５）の物体位置から平均速度ベクトルを算出する。この平均速度ベクトルを１時刻前の物体位置に加算して注目時刻における物体位置を予測する。予測された物体位置を中心とする所定範囲にランダムにＰ個の予測位置を設定する。この方法では、過去Ｔ時刻分の物体位置が記憶部４に循環記憶される。
【００４３】
（２）予測位置からの予測
注目時刻より前のＴ時刻分（例えばＴ＝５）の予測位置から平均速度ベクトルを算出する。この平均速度ベクトルを１時刻前の予測位置に加算して注目時刻における新たな予測位置を予測する。予測はＰ個の予測位置それぞれに対し行ない、新たな予測位置とその元となった過去の予測位置には同一の識別子を付与して循環記憶する。なお、１時刻前の予測位置のうちその尤度が予め設定された尤度閾値より低いものは削除する。一方、この削除分を補うために、削除した個数と同数の１時刻前の新たな予測位置を１時刻前の予測された物体位置を中心とする所定範囲にランダムに設定し、これらの予測位置と対応する２時刻前以前の予測位置を過去の物体位置の運動に合わせて外挿し求める。そのために過去の予測位置に加えて、過去Ｔ時刻分の物体位置も記憶部４に循環記憶させる。
【００４４】
なお、新規の対象物が検出された場合は、予測位置設定部５３は、その検出位置を中心とする所定範囲にランダムにＰ個の予測位置を設定する。
【００４５】
隠蔽状態推定部５４は、対象物が存在し得る監視空間内の候補位置を入力され、隠蔽マップ４２を参照して候補位置が隠蔽位置か否かを判定し、候補位置が隠蔽位置であれば当該候補位置に対応する対象物モデル像４３から設置物モデル像４４の領域を除いて対象物可視領域とし、候補位置が隠蔽位置でなければ当該候補位置に対応する対象物モデル像４３の領域を対象物可視領域とする可視領域推定部である。
【００４６】
具体的には、隠蔽状態推定部５４は候補位置として予測位置設定部５３から予測位置を入力され、各予測位置における対象物の隠蔽状態を推定し、推定結果を尤度算出部５５へ出力する。隠蔽状態推定部５４は隠蔽状態の推定において、隠蔽マップ４２から予測位置における隠蔽の有無及び隠蔽を生じさせる設置物を判定する。隠蔽有りと判定されると、当該予測位置に対応する対象物モデル像４３から、隠蔽を生じさせると判定された設置物に対応する設置物モデル像４４との重複領域を除去することにより非隠蔽領域（対象物可視領域）を推定する。一方、隠蔽無しと判定された場合は、当該予測位置に対応する対象物モデル像４３をそのまま非隠蔽領域として推定する。さらに注目している対象物（注目対象物）よりも手前に他の対象物がある場合、当該他の対象物も注目対象物にとっての遮蔽物となる。この場合は、注目対象物に対応する対象物モデル像４３から、手前の対象物に対応する対象物モデル像４３との重複領域をさらに除去し、残った領域を非隠蔽領域と推定する。なお、このように対象物間の隠蔽状態を推定する場合、それら対象物の予測位置同士で対象物モデル像４３を選択すると膨大な組み合わせとなる。そこで、隠蔽状態推定部５４は撮像部２に近い対象物から順に物体位置を判定し、手前の対象物については当該判定された物体位置に対応する対象物モデル像４３を選択し、これとの重複領域を注目対象物の予測位置に対応する対象物モデル像４３から除く。このようにすることで処理量を減ずることができる。
【００４７】
尤度算出部５５は、各予測位置に対して推定された非隠蔽領域における対象物の特徴量を監視画像から抽出し、特徴量の抽出度合いに応じた、当該予測位置の物体位置としての尤度を算出して物体位置算出部５６へ出力する。下記（１）〜（４）は尤度の算出方法の例である。
【００４８】
（１）変化画素抽出部５２により抽出された変化画素に非隠蔽領域を重ね合わせ、変化画素が非隠蔽領域に含まれる割合（包含度）を求める。包含度は、予測位置が現に対象物が存在する位置に近いほど高くなり、遠ざかるほど低くなりやすい。そこで、当該包含度に基づいて尤度を算出する。
【００４９】
（２）監視画像における非隠蔽領域の輪郭に対応する部分からエッジを抽出する。予測位置が現に対象物が存在する位置に近いほど、非隠蔽領域の輪郭がエッジ位置と一致するため、エッジの抽出度（例えば抽出されたエッジ強度の和）は増加し、一方、遠ざかるほど抽出度は減少しやすい。そこで、エッジの抽出度に基づいて尤度を算出する。
【００５０】
（３）各対象物の過去の物体位置において監視画像から抽出された特徴量を当該対象物の参照情報として記憶部４に記憶する。予測位置が現に対象物が存在する位置に近いほど背景や他の対象物の特徴量が混入しなくなるため、非隠蔽領域から抽出された特徴量と参照情報との類似度は高くなり、一方、遠ざかるほど類似度は低くなりやすい。そこで、監視画像から非隠蔽領域内の特徴量を抽出し、抽出された特徴量と参照情報との類似度を尤度として算出する。ここでの特徴量として例えば、エッジ分布、色ヒストグラム又はこれらの両方など、種々の画像特徴量を利用することができる。
【００５１】
（４）また上述した包含度、エッジの抽出度、類似度のうちの複数の度合いの重み付け加算値に応じて尤度を算出してもよい。
【００５２】
このように隠蔽状態推定部５４により推定された非隠蔽領域を利用することで、各対象物の隠蔽状態に適合した尤度を算出できるので追跡の信頼性が向上する。
【００５３】
物体位置算出部５６は、対象物の各予測位置、及び当該予測位置ごとに算出された尤度から当該対象物の位置（物体位置）を判定し、判定結果を記憶部４に対象物ごとに時系列に蓄積する。なお、全ての尤度が所定の下限値（尤度下限値）未満の場合は物体位置なし、つまり消失したと判定する。下記（１）〜（３）は物体位置の算出方法の例である。
（１）対象物ごとに、尤度を重みとする予測位置の重み付け平均値を算出し、これを当該対象物の物体位置とする。
（２）対象物ごとに、最大の尤度が算出された予測位置を求め、これを物体位置とする。
（３）対象物ごとに、予め設定された尤度閾値以上の尤度が算出された予測位置の平均値を算出し、これを物体位置とする。ここで、尤度閾値＞尤度下限値である。
【００５４】
上記尤度算出部５５及び物体位置算出部５６は、画像における非隠蔽領域の画像特徴から前記対象物の像の存在を判定する対象物判定部としての機能を有する。
【００５５】
異常判定部５７は、記憶部４に蓄積された時系列の物体位置を参照し、長時間滞留する不審な動きや通常動線から逸脱した不審な動きを異常と判定し、異常が判定されると出力部６へ異常信号を出力する。
【００５６】
出力部６は警告音を出力するスピーカー又はブザー等の音響出力手段、異常が判定された監視画像を表示する液晶ディスプレイ又はＣＲＴ等の表示手段などを含んでなり、異常判定部５７から異常信号が入力されると異常発生の旨を外部へ出力する。また、出力部６は通信回線を介して異常信号を警備会社の監視センタに設置されたセンタ装置へ送信する通信手段を含んでもよい。
【００５７】
［事前処理］
次に、隠蔽マップ作成部５０及びモデル投影部５１による事前処理を説明する。
【００５８】
隠蔽マップ４２のデータ形式は基準面（Ｚ＝０）と対応するディジタル画像データであり、監視空間を真上から見た画像に相当する。その各画素は基準面上の位置を量子化したものに相当し、基準面のＸ軸方向を例えばＮ画素、またＹ軸方向をＭ画素に量子化したＮ×Ｍ画素からなる画像データを構成する。画素値に相当するバイナリデータの各ビットは特定の設置物と一対一に対応付けられる。つまり、当該バイナリデータにおけるビット位置により、対応する設置物の識別子が指定される。各画素の当該ビットの値は、当該画素が当該ビットに対応する設置物の隠蔽位置であるか否かを表す。本実施形態では、或る画素における当該ビットの値が“１”であれば、当該画素は当該ビットに対応する設置物の隠蔽位置であり、一方、当該ビットの値が“０”であれば、非隠蔽位置であると定義する。例えば、画素値を８ビットに設定する場合、設置物＃１による隠蔽が生じる位置と対応する画素の画素値は（０００００００１）２、設置物＃２による隠蔽が生じる位置と対応する画素の画素値は（００００００１０）２、設置物＃１及び設置物＃２による隠蔽が生じる位置と対応する画素の画素値は（００００００１１）２と設定される。なお、画素値のビット数は監視空間に存在し得る設置物の数に応じて設定することができる。
【００５９】
図２は事前処理の概略のフロー図である。事前処理が開始されると、制御部５は隠蔽マップ４２、対象物モデル像４３及び設置物モデル像４４を初期化する（Ｓ１）。
【００６０】
初期化に続いて、隠蔽マップ作成部５０が隠蔽マップを生成する（Ｓ２〜Ｓ１０）。隠蔽マップ作成部５０は各設置物を順次、注目設置物に設定して（Ｓ２）、監視空間に対応する仮想空間に注目設置物の設置物モデルを配置した三次元モデル４０を生成する。そして、生成された三次元モデル４０を基準面に投影し、注目設置物が存在する位置（設置物位置）を特定する（Ｓ３）。隠蔽マップ作成部５０は設置物位置と対応する隠蔽マップ４２の画素値において注目設置物と対応するビットの値を“１”に設定する（Ｓ４）。
【００６１】
また、隠蔽マップ作成部５０は設置物位置を除く基準面内の各位置を順次、注目位置に設定する（Ｓ５）。隠蔽マップ作成部５０は注目位置と基準面上でのカメラ位置とを結ぶ線分（投影線）を算出し（Ｓ６）、投影線上に設置物位置があるか否かを判定する（Ｓ７）。投影線上に設置物位置がある場合（Ｓ７にて「ＹＥＳ」の場合）、当該注目位置は本来背後領域と判定されて隠蔽位置に設定される（Ｓ８）。さらに、本移動物体追跡装置１では上述した実質背後領域を隠蔽位置とすることに対応して、当該注目位置の所定近傍領域も隠蔽位置に設定する（Ｓ８）。具体的には、隠蔽マップ作成部５０は当該所定近傍領域の画素の画素値において、注目設置物と対応するビットの値を“１”に設定する。
【００６２】
本実施形態では、対象物の代表位置を頭部中心とし、追跡処理における候補位置も当該頭部中心を通る対象物の垂直中心軸によって定義すること、及び、基準面上での当該垂直中心軸から対象物の輪郭までの最大距離を表す値として対象物モデルの最大幅Ｗの１／２を用い得ることから、注目位置の近傍領域として、当該注目位置にて投影線と直交し当該注目位置を中心として長さがＷより短い線分を設定する。この近傍領域内の点も隠蔽位置とすることで、本来的な背後領域から外側へ対象物の距離Ｗ／２まで張り出した実質的な背後領域も隠蔽位置として設定される。
【００６３】
ここで、近傍領域を本実施形態のような一次元領域ではなく、基準面上にて注目位置を包含する二次元領域、例えば、注目位置を中心とする径がＷ／２の円や楕円などとすることもできる。しかし、両者にて得られる実質的な背後領域には大きな違いはないのに対し、処理負荷は一次元領域の方が小さい。そこで、本実施形態では上述のように投影線に直交する線分を各注目位置の近傍領域の隠蔽位置と設定する構成としている。
【００６４】
ステップＳ７にて投影線上に設置物位置がないと判断された場合（Ｓ７にて「ＮＯ」の場合）、注目位置は隠蔽位置ではないとされ、注目設置物と対応するビットは初期化された時点の値“０”のままとされる。
【００６５】
隠蔽マップ作成部５０は設置物位置を除く基準面内の位置すべてが処理済になるまでステップＳ５〜Ｓ８を繰り返す（Ｓ９にて「ＮＯ」の場合）。一方、或る設置物について処理済みとなると（Ｓ９にて「ＹＥＳ」の場合）、未処理の設置物があればステップＳ２に戻ってステップＳ３〜Ｓ８を実行し（Ｓ１０にて「ＮＯ」の場合）、一方、全ての設置物について処理済みとなると（Ｓ１０にて「ＹＥＳ」の場合）隠蔽マップ４２の生成処理を終了する。
【００６６】
隠蔽マップ４２の生成が終了すると、さらに事前処理としてモデル投影部５１が設置物モデル像４４の生成処理Ｓ１１〜Ｓ１４、及び対象物モデル像４３の生成処理Ｓ１５〜Ｓ１８を実行する。
【００６７】
モデル投影部５１は各設置物を順次、注目設置物に設定して（Ｓ１１）、監視空間に対応する仮想空間に注目設置物の設置物モデルのみを配置した三次元モデル４０を生成する（Ｓ１２）。そして、生成した三次元モデル４０をカメラパラメータ４１を用いて監視画像の撮像面に投影し、設置物モデル像４４を生成する（Ｓ１３）。設置物モデル像４４は、投影像内と投影像外とで異なる画素値を設定した監視画像と同形同大の２値画像であり、得られた設置物モデル像４４は注目設置物の識別子と対応付けて記憶部４に記憶させる。
【００６８】
モデル投影部５１は未処理の設置物が残っている場合（Ｓ１４にて「ＮＯ」の場合）、設置物モデル像の生成処理Ｓ１１〜Ｓ１３を繰り返し、全ての設置物について処理済みとなると（Ｓ１４にて「ＹＥＳ」の場合）、対象物モデル像４３の生成処理に移行する。
【００６９】
モデル投影部５１は基準面内の各位置を順次、注目位置に設定し（Ｓ１５）、監視空間に対応する仮想空間における注目位置に１つの対象モデルのみを配置した三次元モデル４０を生成する（Ｓ１６）。そして、生成した三次元モデル４０をカメラパラメータ４１を用いて監視画像の撮像面に投影し、対象物モデル像４３を生成する（Ｓ１７）。対象物モデル像４３は、投影像内と投影像外とで異なる画素値を設定した監視画像と同形同大の２値画像であり、得られた対象物モデル像４３は注目位置と対応付けて記憶部４に記憶させる。
【００７０】
モデル投影部５１は基準面内にて注目位置として未処理の位置が残っている場合（Ｓ１８にて「ＮＯ」の場合）、対象物モデル像の生成処理Ｓ１５〜Ｓ１７を繰り返し、全ての位置を注目位置として処理が終わると（Ｓ１８にて「ＹＥＳ」の場合）、対象物モデル像４３の生成処理を終了する。これにより、事前処理が完了する。
【００７１】
図３は、三次元モデル４０の一例を模式的に示す斜視図であり、Ｎ×Ｍ画素の基準面１００、カメラ位置１０１、対象物モデル１０２、及び設置物＃１，＃２の設置物モデル１０３，１０４の配置例を示している。
【００７２】
図４は、隠蔽マップ作成部５０による設置物＃１に対応する隠蔽位置の判定処理を説明する模式図であり、設置物＃１の設置物モデル１０３のみが配置された三次元モデル４０を基準面１００に投影した画像２００を示している。図４（ａ）には、図４（ｂ）に拡大して示す部分領域２０１、設置物＃１の設置物位置２０２、基準面上でのカメラ位置２０３、注目位置２０４、投影線２０５が示されており、図４（ｂ）には注目位置２０４の近傍領域である線分２０６が示されている。上述した隠蔽マップ作成処理により、カメラ位置２０３から注目位置２０４への投影線２０５が算出され、投影線２０５が設置物位置２０２を通ることが判定され、これにより注目位置２０４は設置物＃１の背後領域（本来背後領域）に位置し隠蔽位置であると判定される。また、当該注目位置２０４にて投影線２０５に直交し注目位置２０４を中心とする長さＷの線分２０６が注目位置２０４の近傍領域として隠蔽位置と判定される。すなわち、線分２０６は本来背後領域である注目位置に関する実質背後領域に相当する。
【００７３】
図５は、図３の三次元モデル４０に対応して作成された隠蔽マップ４２の模式図である。図５において、横線部は設置物＃１のみに隠蔽される隠蔽位置であり、画素値（０００００００１）２を設定される。また、縦線部は設置物＃２のみに隠蔽される隠蔽位置であり、画素値（００００００１０）２を設定され、縦横線部は設置物＃１と設置物＃２の両方に隠蔽される隠蔽位置であり、画素値は（００００００１１）２となる。
【００７４】
図６は、図３の三次元モデル４０から作成された対象物モデル像４３の模式図である。対象物モデル像４３はＮ×Ｍ画素の基準面１００の各画素に対象物モデルを配置して生成され、図６には、対象物モデル像４３を示す画像と、対象物モデルの位置（代表位置を通る中心軸が基準面にて交差する画素のＸＹ座標（Ｘ，Ｙ））とを対応付けて示している。ここで、画素のＸ座標は０〜Ｎ−１、Ｙ座標は０〜Ｍ−１なる整数と定義している。本実施形態では画像の白抜き部分が対象物モデルの投影像であり画素値“１”を付与され、それ以外の斜線部分は画素値“０”を付与される。
【００７５】
図７は、図３の三次元モデル４０から作成された設置物モデル像４４の模式図である。設置物モデル像４４は設置物ごとに生成され、図３の三次元モデル４０では設置物＃１に対応する設置物モデル像４４−１と設置物＃２に対応する設置物モデル像４４−２とが生成される。本実施形態では画像の白抜き部分が設置物モデルの投影像であり画素値“１”を付与され、それ以外の斜線部分は画素値“０”を付与される。
【００７６】
なお、本実施形態では対象物の代表位置を中心軸上の点としているので、実質背後領域の張り出し量は対象物の幅Ｗの半分に抑えることが可能である。一方、対象物の代表位置を中心軸から外れた位置に設定する場合は実質背後領域の張り出し量をＷ／２より大きく設定すればよいが、代表位置を対象物内に設定する限り、張り出し量はＷ以下で足りる。
【００７７】
［移動物体追跡装置１の動作］
次に、移動物体追跡装置１の追跡動作を説明する。図８は移動物体追跡装置１の追跡処理の概略のフロー図である。
【００７８】
撮像部２は、監視空間を撮像するたびに監視画像を制御部５に入力する（Ｓ２０）。以下、最新の監視画像が入力された時刻を現時刻、最新の監視画像を現画像と呼ぶ。
【００７９】
現画像は変化画素抽出部５２により背景画像と比較され、変化画素抽出部５２は変化画素を抽出する（Ｓ２１）。ここで、孤立した変化画素はノイズによるものとして抽出結果から除外する。なお、背景画像が無い動作開始直後は、現画像を背景画像として記憶部４に記憶させ、便宜的に変化画素なしとする。
【００８０】
また、予測位置設定部５３は追跡中の各対象物に対して動き予測に基づきＰ個の予測位置を設定する（Ｓ２２）。なお、後述するステップＳ３７にて新規出現であると判定された対象物の予測位置は動き予測不能なため出現位置を中心とする広めの範囲にＰ個の予測位置を設定する。また、後述するステップＳ３７にて消失と判定された対象物の予測位置は削除する。
【００８１】
制御部５は、ステップＳ２１にて変化画素が抽出されず、かつステップＳ２２にて予測位置が設定されていない（追跡中の対象物がない）場合（Ｓ２３にて「ＹＥＳ」の場合）はステップＳ２０に戻り、次の監視画像の入力を待つ。
【００８２】
一方、ステップＳ２３にて「ＮＯ」の場合は、ステップＳ２４〜Ｓ３７の処理を行う。まず、隠蔽状態推定部５４が対象物の前後関係を判定する（Ｓ２４）。具体的には、対象物ごとに予測位置の重心（平均値）とカメラ位置との距離を算出し、距離の昇順に対象物の識別子を並べた前後関係リストを作成する。
【００８３】
制御部５は前後関係リストの先頭から順に各対象物を順次、注目物体に設定する（Ｓ２５）。続いて、制御部５は注目物体の各予測位置を順次、注目位置に設定する（Ｓ２６）。但し、監視画像の視野外である予測位置は注目位置の設定対象から除外し、当該予測位置の非隠蔽領域は推定せず、尤度を０に設定する。
【００８４】
隠蔽状態推定部５４は注目位置に対応する対象物モデル像４３を記憶部４から読み出し、当該対象物モデル像４３を注目物体の注目位置における非隠蔽領域の初期状態として設定する（Ｓ２７）。続いて、隠蔽状態推定部５４は隠蔽マップ４２における注目位置の画素値を読み出し（Ｓ２８）、注目位置が隠蔽位置か否かを判定する（Ｓ２９）。
【００８５】
隠蔽状態推定部５４は読み出した画素値が“０”でなければ注目位置が隠蔽位置であると判定し（Ｓ２９にて「ＹＥＳ」の場合）、画素値により特定される設置物の識別子に対応する設置物モデル像４４の領域を非隠蔽領域から除き、非隠蔽領域を更新する（Ｓ３０）。一方、注目位置が隠蔽位置でなければ（Ｓ２９にて「ＮＯ」の場合）、非隠蔽領域は更新されない。
【００８６】
隠蔽状態推定部５４は、前後関係リストを参照して注目物体より手前の対象物があれば（Ｓ３１にて「ＹＥＳ」の場合）、手前の対象物の物体位置に対応する対象物モデル像４３の領域を非隠蔽領域から除き、非隠蔽領域を更新する（Ｓ３２）。なお、手前に複数の対象物があれば、それら全てについて除外処理を試みてもよいし、それらのうちカメラ位置から物体位置への投影線が注目物体への投影線となす角度が幅Ｗに相当する角度未満の対象物のみに絞って除外処理を実行してもよい。一方、手前に対象物がなければ（Ｓ３１にて「ＮＯ」の場合）、除去処理は行われない。
【００８７】
図９は隠蔽マップ４２及び基準面内での対象物及びカメラの位置を示す模式図、図１０は隠蔽状態の推定処理を説明する模式図である。対象物Ａに対し設定された予測位置の１つを予測位置３００、同時刻において別の対象物Ｂに対し設定された予測位置の１つを予測位置３０１とする。隠蔽状態推定部５４は隠蔽マップ４２を参照し、対象物Ａに関する予測位置３００は設置物＃１のみに隠蔽される隠蔽位置であると判定し、対象物Ｂに関する予測位置３０１は設置物＃２のみに隠蔽される隠蔽位置であると判定する。また、カメラ位置２０３と予測位置３００との距離及びカメラ位置２０３と予測位置３０１との距離を算出して比較することで、対象物Ａが手前、対象物Ｂが後ろであると判定される。隠蔽状態推定部５４は、まず、距離が近い予測位置３００に対応する対象物モデル像４３−３（白抜き部分）から設置物＃１に対応する設置物モデル像４４−１（白抜き部分）を除くことで、予測位置３００における対象物Ａの非隠蔽領域３１０（白抜き部分）を推定する（図１０（ａ））。次に、距離が遠い予測位置３０１に対応する対象物モデル像４３−４（白抜き部分）から距離が近い予測位置３００に対応する対象物モデル像４３−３（白抜き部分）及び設置物＃２に対応する設置物モデル像４４−２（白抜き部分）を除くことで、予測位置３０１における対象物Ｂの非隠蔽領域３１１（白抜き部分）を推定する（図１０（ｂ））。このように隠蔽状態の推定処理が三次元座標から二次元座標への投影処理を行うことなく実現されるので、その処理に要する演算量が少なくて済み、処理の高速化が図れる。
【００８８】
設置物及び手前の対象物による隠蔽領域を除去して注目位置での非隠蔽領域が求められると、尤度算出部５５は当該注目位置に対する尤度を算出する（Ｓ３３）。
【００８９】
制御部５は、尤度が算出されていない予測位置が残っている場合（Ｓ３４にて「ＮＯ」の場合）、ステップＳ２６〜Ｓ３３を繰り返す。Ｐ個全ての予測位置について尤度が算出されると（Ｓ３４にて「ＹＥＳ」の場合）、物体位置算出部５６が注目物体の各予測位置と当該予測位置のそれぞれについて算出された尤度とを用いて注目物体の物体位置を算出する（Ｓ３５）。現時刻について算出された物体位置は１時刻前までに記憶部４に記憶させた注目物体の物体位置と対応付けて追記される。なお、新規出現した対象物の場合は新たな識別子を付与して登録する。また、全ての予測位置での尤度が尤度下限値未満の場合は物体位置なしと判定する。
【００９０】
制御部５は未処理の対象物が残っている場合（Ｓ３６にて「ＮＯ」の場合）、当該対象物について物体位置を判定する処理Ｓ２５〜Ｓ３５を繰り返す。一方、全ての対象物について物体位置を判定すると、物体の新規出現と消失を判定する（Ｓ３７）。具体的には、制御部５は各物体位置に対して推定された非隠蔽領域を合成して、変化画素抽出部５２により抽出された変化画素のうち合成領域外の変化画素を検出し、検出された変化画素のうち近接する変化画素同士をラベリングする。ラベルが対象物とみなせる大きさであれば新規出現の旨をラベルの位置（出現位置）とともに記憶部４に記録する。また、物体位置なしの対象物があれば当該対象物が消失した旨を記憶部４に記録する。以上の処理を終えると、次時刻の監視画像に対する処理を行うためにステップＳ２へ戻る。
【００９１】
上記実施形態では移動物体追跡装置１は１つの撮像部２を用いて対象物の隠蔽推定及び対象物の追跡を行った。別の実施形態として、同期制御された複数の撮像部２により撮像された監視画像を処理して対象物の隠蔽推定及び対象物の追跡を行う構成とすることもできる。この場合、カメラパラメータ４１は各撮像部２に対して設定され、撮像部２ごとに事前処理が行われて撮像部２ごとに対象物モデル像４３と設置物モデル像４４が作成され記憶される。三次元モデル４０及び予測位置は複数の撮像部２間で共有する。隠蔽推定及び尤度算出は各撮像部２の監視画像、対象物モデル像４３及び設置物モデル像４４を用いて撮像部２ごとに行われる。撮像部２ごとに算出された尤度のうち同じ予測位置に関する尤度が統合されて各予測位置の統合尤度が算出され、統合尤度に基づき物体位置が判定される。
【００９２】
上記実施形態では隠蔽マップ作成部５０は設置物モデルとカメラ位置を基準面に投影してから基準面上で二次元的に本来背後領域を算出した。この方法では、隠蔽状態推定処理が奥行き方向の位置算出誤差の影響を受けにくいが、背後領域が冗長な分だけ隠蔽状態推定が余分に発生する。そこで、余分な処理の発生回避を重視して三次元的に本来背後領域を算出することで、本来背後領域の冗長性を排除することもできる。この実施形態において隠蔽マップ作成部５０は、例えば、図２のステップＳ２とＳ３の間で各設置物モデルを順次配置した三次元モデル４０上でカメラ位置からの投影線のうち当該設置物モデルを通過するものが基準面と交わる点の集合を本来背後領域として求め、図２のステップＳ７において投影線上に設置物位置があるか否かを判定する代わりに注目位置が本来背後領域内であるか否かを判定する。なお、この場合の図２のステップＳ８における近傍領域は対象物が占める領域（図４の円領域）となる。これにより隠蔽マップ４２から隠蔽位置の冗長設定が排除されて隠蔽状態推定処理がより簡単化・高速化される。
【００９３】
また、撮像部２に近くて（例えば、俯角が所定の閾値以上となる位置で）見越せる範囲が大きく奥行き方向の位置算出誤差が生じにくい設置物に関しては三次元的に本来背後領域を算出し、撮像部２から遠くて（例えば、俯角が閾値より小さい位置で）見越せる範囲が小さく奥行き方向の位置算出誤差が生じやすい設置物に関しては二次元的に本来背後領域を算出して隠蔽マップ４２を求めることで、高速化と精度とのバランスをとることも可能である。
【符号の説明】
【００９４】
１ 移動物体追跡装置、２ 撮像部、３ 設定入力部、４ 記憶部、５ 制御部、６ 出力部、４０ 三次元モデル、４１ カメラパラメータ、４２ 隠蔽マップ、４３ 対象物モデル像、４４ 設置物モデル像、５０ 隠蔽マップ作成部、５１ モデル投影部、５２ 変化画素抽出部、５３ 予測位置設定部、５４ 隠蔽状態推定部、５５ 尤度算出部、５６ 物体位置算出部、５７ 異常判定部、１００ 基準面、１０１ カメラ位置、１０２ 対象物モデル、１０３，１０４ 設置物モデル、２０２ 設置物位置、２０３ カメラ位置、２０４ 注目位置、２０５ 投影線、２０６ 近傍領域（実質背後領域）。
【特許請求の範囲】
【請求項１】
予め定められた投影条件で空間を投影した画像における対象物の像の存在を判定する対象物画像判定装置であって、
前記空間内での前記対象物の位置のうち前記画像において前記対象物が前記空間内の設置物により隠蔽される隠蔽位置を特定した隠蔽マップ、前記投影条件にて前記設置物の立体モデルを投影した設置物モデル像、及び前記空間内の各位置での前記対象物の立体モデルを前記投影条件にて投影した対象物モデル像を予め記憶した記憶部と、
前記対象物が存在し得る前記空間内の候補位置を入力され、前記隠蔽マップを参照して前記候補位置が前記隠蔽位置か否かを判定し、前記候補位置が前記隠蔽位置であれば当該候補位置に対応する対象物モデル像から前記設置物モデル像の領域を除いて対象物可視領域とし、前記候補位置が前記隠蔽位置でなければ当該候補位置に対応する対象物モデル像の領域を対象物可視領域とする可視領域推定部と、
前記画像における前記対象物可視領域の画像特徴から前記対象物の像の存在を判定する対象物判定部と、
を有することを特徴とする対象物画像判定装置。
【請求項２】
請求項１に記載の対象物画像判定装置において、
前記隠蔽位置は、前記空間の水平面座標系で表された二次元位置であること、を特徴とする対象物画像判定装置。
【請求項３】
請求項１又は請求項２に記載の対象物画像判定装置において、
前記候補位置は、前記対象物に設定される代表点の座標で定義し、
前記隠蔽マップは、前記画像にて死角となる前記設置物の背後領域及び、当該背後領域から外側へ前記対象物の代表サイズの距離まで張り出した実質背後領域を前記隠蔽位置に設定すること、
を特徴とする対象物画像判定装置。
【請求項４】
請求項３に記載の対象物画像判定装置において、
前記候補位置は、前記対象物の垂直中心軸の位置によって定義し、
前記対象物の代表サイズは、前記対象物の立体モデルの最大幅の半分であること、
を特徴とする対象物画像判定装置。
【請求項５】
請求項１から請求項４のいずれか１つに記載の対象物画像判定装置において、
前記隠蔽マップは、前記隠蔽位置と、当該隠蔽位置にて隠蔽を生じさせ得る一又は複数の前記設置物とを対応付けた情報を含み、
前記可視領域推定部は、前記候補位置が前記隠蔽位置である場合に、当該候補位置と対応する前記対象物モデル像から、前記隠蔽マップにて当該隠蔽位置に対応付けられた前記各設置物の前記設置物モデル像の領域を除いて前記対象物可視領域を求めること、
を特徴とする対象物画像判定装置。
【請求項１】
予め定められた投影条件で空間を投影した画像における対象物の像の存在を判定する対象物画像判定装置であって、
前記空間内での前記対象物の位置のうち前記画像において前記対象物が前記空間内の設置物により隠蔽される隠蔽位置を特定した隠蔽マップ、前記投影条件にて前記設置物の立体モデルを投影した設置物モデル像、及び前記空間内の各位置での前記対象物の立体モデルを前記投影条件にて投影した対象物モデル像を予め記憶した記憶部と、
前記対象物が存在し得る前記空間内の候補位置を入力され、前記隠蔽マップを参照して前記候補位置が前記隠蔽位置か否かを判定し、前記候補位置が前記隠蔽位置であれば当該候補位置に対応する対象物モデル像から前記設置物モデル像の領域を除いて対象物可視領域とし、前記候補位置が前記隠蔽位置でなければ当該候補位置に対応する対象物モデル像の領域を対象物可視領域とする可視領域推定部と、
前記画像における前記対象物可視領域の画像特徴から前記対象物の像の存在を判定する対象物判定部と、
を有することを特徴とする対象物画像判定装置。
【請求項２】
請求項１に記載の対象物画像判定装置において、
前記隠蔽位置は、前記空間の水平面座標系で表された二次元位置であること、を特徴とする対象物画像判定装置。
【請求項３】
請求項１又は請求項２に記載の対象物画像判定装置において、
前記候補位置は、前記対象物に設定される代表点の座標で定義し、
前記隠蔽マップは、前記画像にて死角となる前記設置物の背後領域及び、当該背後領域から外側へ前記対象物の代表サイズの距離まで張り出した実質背後領域を前記隠蔽位置に設定すること、
を特徴とする対象物画像判定装置。
【請求項４】
請求項３に記載の対象物画像判定装置において、
前記候補位置は、前記対象物の垂直中心軸の位置によって定義し、
前記対象物の代表サイズは、前記対象物の立体モデルの最大幅の半分であること、
を特徴とする対象物画像判定装置。
【請求項５】
請求項１から請求項４のいずれか１つに記載の対象物画像判定装置において、
前記隠蔽マップは、前記隠蔽位置と、当該隠蔽位置にて隠蔽を生じさせ得る一又は複数の前記設置物とを対応付けた情報を含み、
前記可視領域推定部は、前記候補位置が前記隠蔽位置である場合に、当該候補位置と対応する前記対象物モデル像から、前記隠蔽マップにて当該隠蔽位置に対応付けられた前記各設置物の前記設置物モデル像の領域を除いて前記対象物可視領域を求めること、
を特徴とする対象物画像判定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１０８５７４（Ｐ２０１２−１０８５７４Ａ）
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願番号】特願２０１０−２５４６５４（Ｐ２０１０−２５４６５４）
【出願日】平成２２年１１月１５日（２０１０．１１．１５）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願日】平成２２年１１月１５日（２０１０．１１．１５）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]