位置推定装置、位置推定方法及び位置推定プログラム
【課題】比較的低性能なセンサを用いる場合でも、複数の対象物の位置を安定して推定することができる位置推定装置を提供する。
【解決手段】 位置センサ1は、複数の人物の位置を検出し、IDセンサ2は、各人物が装着した光IDタグ3のID番号を検出し、位置尤度算出部42は、検出された位置を用いて人物の位置の尤度を算出し、ID尤度算出部43は、検出されたID番号を用いて光IDタグ3のID番号の尤度を算出し、位置推定部44は、算出された人物の位置の尤度及びID番号の尤度を基に各人物の位置を推定する。
【解決手段】 位置センサ1は、複数の人物の位置を検出し、IDセンサ2は、各人物が装着した光IDタグ3のID番号を検出し、位置尤度算出部42は、検出された位置を用いて人物の位置の尤度を算出し、ID尤度算出部43は、検出されたID番号を用いて光IDタグ3のID番号の尤度を算出し、位置推定部44は、算出された人物の位置の尤度及びID番号の尤度を基に各人物の位置を推定する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の対象物の位置を推定する位置推定装置、位置推定方法及び位置推定プログラムに関するものである。
【背景技術】
【0002】
ユビキタス・パーベイシブコンピューティングにおいて、コンテキストアウェアな環境の構築を目的とした研究開発が行われている。この対象は、生産現場、看護・介護業務など多岐に渡っているが、共通して重要な役割を果たす要素技術に、人物や物体の位置の推定及び追跡がある。物体の位置推定及びその追跡のためには、対象の個体識別と物理位置とを連続的に推定する必要があり、この実現に向けて様々なセンサを用いたシステムが開発及び試用されている。例えば、RFIDを利用したシステムや、超音波センサを用いたシステム、ビデオカメラの画像処理によるシステム等が開発されている(例えば、非特許文献1参照)。
【非特許文献1】西田佳史、他3名、超音波センサを用いた対象物のセンサ化に基づく人の日常活動の認識、日本機械学会、ロボティクス・メカトロニクス講演会、’02講演会論文集、2002年、1A1−J07
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、上記のシステムに用いられるセンサは、その特性によって利点と欠点とがあり、予め想定されている環境や状況では、対象物の位置を正しく推定できるが、検出精度が環境の特性に依存するため、様々な環境において実用レベルで対象物の位置を安定的に推定し続けることは困難である。例えば、カメラで撮影された画像を入力とする場合は、オクルージョンや環境光の影響に強く左右され、電波を用いる場合は、位置精度が悪くなることが多い。
【0004】
また、情報支援をおこなう適用先によっては、環境上の制約やコスト問題等により、理想的なセンサすなわち高性能なセンサではなく、代替となる低性能なセンサを使用せざるえない場面も想定される。
【0005】
本発明の目的は、比較的低性能なセンサを用いる場合でも、複数の対象物の位置を安定して推定することができる位置推定装置、位置推定方法及び位置推定プログラムを提供することである。
【課題を解決するための手段】
【0006】
本発明に係る位置推定装置は、複数の対象物の位置を検出する第1の検出手段と、前記複数の対象物の各々に対して一意的に割り付けられた識別情報を検出する第2の検出手段と、前記第1の検出手段により検出された位置を用いて対象物の位置の尤度を算出する第1の算出手段と、前記第2の検出手段により検出された識別情報を用いて対象物の識別情報の尤度を算出する第2の算出手段と、前記第1の算出手段により算出された対象物の位置の尤度と、前記第2の算出手段により算出された対象物の識別情報の尤度とを基に各対象物の位置を推定する推定手段とを備えるものである。
【0007】
この位置推定装置においては、複数の対象物の位置が検出され、検出された位置を用いて対象物の位置の尤度が算出され、この位置の尤度の算出処理と分離して、複数の対象物の各々に対して一意的に割り付けられた識別情報が検出され、検出された識別情報を用いて対象物の識別情報の尤度が算出され、算出された対象物の位置の尤度と対象物の識別情報の尤度とを基に各対象物の位置が推定される。このように、対象物の位置の尤度と対象物の識別情報の尤度とを個別に取り扱うことによって、頑健な識別情報付きの対象物追跡を実現することができるので、比較的低性能なセンサを用いる場合でも、複数の対象物の位置を安定して推定することができる。
【0008】
前記第1の算出手段は、Condensationアルゴリズムに従って、前記第1の検出手段により検出された位置と、対象物の位置に対するシステムモデル及び観測モデルとを用いて対象物の位置の尤度を算出し、前記第2の算出手段は、Condensationアルゴリズムに従って、前記第2の検出手段により検出された識別情報と、対象物の識別情報に対するシステムモデル及び観測モデルとを用いて対象物の識別情報の尤度を算出することが好ましい。
【0009】
この場合、Condensationアルゴリズムに従った対象物の位置の尤度の算出と、Condensationアルゴリズムに従った対象物の識別情報の尤度の算出とを個別に取り扱っているので、元来複数対象の個別追跡が考慮されていないCondensationアルゴリズムを識別情報付きのマルチトラッキング対応へと単純に拡張できるとともに、入力の欠損による一時的な誤り状態からの復帰が容易となり、さらに、複数の対象物追跡にとって理想的な識別情報付き位置情報が精度よく取得可能なセンサを用いることができない場合でも、各センサがもつ位置精度や識別情報認識の有無といった特性を織り込むことが可能となる。
【0010】
前記第2の検出手段は、各対象物に取り付けられ、当該対象物に対して一意的に割り付けられた識別情報に応じて光を発光する複数の発光手段と、前記発光手段を含む所定領域の画像を撮影する撮影手段と、前記撮影手段により撮影された画像を用いて前記発光手段の識別情報を検出する識別情報検出手段とを含み、前記第1の算出手段は、複数のパーティクルを用いて対象物の位置の尤度を算出し、前記第2の算出手段は、前記撮影手段により撮影された画像上の各発光手段の画素位置を射影変換によって前記第1の検出手段の検出座標上に投影し、投影された検出座標に対応付けられているパーティクルに対して各発光手段の識別情報の尤度を保持させることが好ましい。
【0011】
この場合、複数のパーティクルを用いて対象物の位置の尤度が算出されるとともに、撮影された画像上の各発光手段の画素位置が射影変換によって第1の検出手段の検出座標上に投影され、投影された検出座標に対応付けられているパーティクルに対して各発光手段の識別情報の尤度が保持されるので、各発光手段の識別情報の尤度すなわち対象物の識別情報の尤度を、当該識別情報を有する対象物の位置の尤度と統合することができ、頑健な識別情報付きの対象物追跡を実現することができる。
【0012】
本発明に係る位置推定方法は、第1及び第2の検出手段、第1及び第2の算出手段、並びに推定手段を備える位置推定装置を用いた位置推定方法であって、前記第1の検出手段が、複数の対象物の位置を検出するステップと、前記第2の検出手段が、前記複数の対象物の各々に対して一意的に割り付けられた識別情報を検出するステップと、前記第1の算出手段が、前記第1の検出手段により検出された位置を用いて対象物の位置の尤度を算出するステップと、前記第2の算出手段が、前記第2の検出手段により検出された識別情報を用いて対象物の識別情報の尤度を算出するステップと、前記推定手段が、前記第1の算出手段により算出された対象物の位置の尤度と、前記第2の算出手段により算出された対象物の識別情報の尤度とを基に各対象物の位置を推定するステップとを含むものである。
【0013】
本発明に係る位置推定プログラムは、複数の対象物の位置を検出する第1の検出手段により検出された位置を用いて対象物の位置の尤度を算出する第1の算出手段と、前記複数の対象物の各々に対して一意的に割り付けられた識別情報を検出する第2の検出手段により検出された識別情報を用いて対象物の識別情報の尤度を算出する第2の算出手段と、前記第1の算出手段により算出された対象物の位置の尤度と、前記第2の算出手段により算出された対象物の識別情報の尤度とを基に各対象物の位置を推定する推定手段としてコンピュータを機能させるものである。
【発明の効果】
【0014】
本発明によれば、対象物の位置の尤度と対象物の識別情報の尤度とを個別に取り扱うことによって頑健な識別情報付きの対象物追跡を実現することができるので、比較的低性能なセンサを用いる場合でも、複数の対象物の位置を安定して推定することができる。
【発明を実施するための最良の形態】
【0015】
以下、本発明の一実施の形態による位置推定装置について図面を参照しながら説明する。図1は、本発明の一実施の形態による位置推定装置の構成を示すブロック図である。なお、本実施の形態では、人物を対象物として複数の人物の位置を推定する例について説明するが、対象物はこの例に特に限定されず、本発明は種々の対象物の位置を以下と同様にして推定することができる。
【0016】
図1に示す位置推定装置は、位置センサ1、IDセンサ2、光IDタグ3、及び推定装置4を備える。IDセンサ2は、ビデオカメラ21及び画像処理装置22を備え、光IDタグ3は、駆動回路31及びLED32を備え、推定装置4は、判断部41、位置尤度算出部42、ID尤度算出部43及び位置推定部44を備える。
【0017】
位置センサ1は、各人物を識別することなく、複数の人物の位置を検出し、例えば、低解像度なフロアセンサを用いることができる。このフロアセンサとしては、ヴィストン社製フロアセンサ(型式:VS−SF55)が用いられ、人物が踏んだ箇所の圧力荷重を感知し、ON/OFFの2値(1ビット)で人物の位置を出力する。但し、フロアセンサの解像度は低く、取得される位置情報の最小単位は、一辺8cmの正方形をした単位領域であり、各単位領域を表す番号毎にON/OFFの2値で位置情報が出力される。推定装置4は、位置センサ1の位置情報を9Hzで定期的に取得する。したがって、位置センサ1の位置情報から、細かな足形を取得してトラッキングや人物認識等をおこなうことは非常に困難である。
【0018】
光IDタグ3は、各人物の胸部等に装着され、駆動回路31が各人物(各光IDタグ3)に対して一意的に割り付けられたID番号(識別情報)をLED32の点滅により送信する。なお、図1では、図示を容易にするために、1個の光IDタグ3のみを図示しているが、本実施の形態では、人物毎に光IDタグ3が装着されており、複数の光IDタグ3が用いられている。また、一人の人物に対して異なる位置に複数の光IDタグ3を装着し、1台のビデオカメラが少なくとも1個の光IDタグ3を常時撮影できるようにしてもよい。
【0019】
LED32としては、可視光を発光する通常のLEDを用いることができるが、この例に特に限定されず、指向性が弱く且つ可視光に近い800nm程度の赤外光を発光する光通信用高出力発光ダイオード(スタンレイ社製DN311)等を用いてもよい。この場合、ビデオカメラ21として、赤外線画像を撮影する赤外線カメラが用いられる。
【0020】
駆動回路31は、マイクロコンピュータ等から構成され、例えば、Atmel社製4MHz駆動マイコンAT90S2323等を用いることができ、光IDタグ3が取り付けられた人物に対して一意的に割り付けられたID番号が識別可能なようにLED32を点滅制御する。なお、駆動回路31及びLED32は、内部電池(図示省略)から電源を供給されている。
【0021】
IDセンサ2のビデオカメラ21は、複数の人物が位置する検出空間中の所定位置(例えば、部屋の天井の一方端)に取り付けられ、各人物の光IDタグ3を含む所定領域の画像を撮影し、画像処理装置22は、ビデオカメラ21により撮影された画像を用いて、光IDタグ3から送信される対象物のID番号及び光IDタグ3の画像内のXY座標を検出して推定装置4へ出力する。IDセンサ2は、受光部分に対してIDタグが存在するか否かしか判断できないIrDAとは異なり、光IDタグ3の画素位置を取得可能であることが特徴である。
【0022】
ビデオカメラ21としては、USBカメラが用いられ、例えば、Lumenera社製USBカメラを用いることができ、640×480pixelの画像を撮影することができる。また、光IDタグ3は30Hzで点滅し、新たな光IDタグ3の発見には最速でも0.5秒かかり、連続してID番号を認識する場合でも、約0.1秒の間隔が必要となる。なお、本実施の形態では、1台のビデオカメラ21を用いているが、この例に特に限定されず、複数台のビデオカメラを検出空間の異なる位置に配置するようにしてもよい。
【0023】
図2は、図1に示すIDセンサ2及び光IDタグ3によるID番号の生成方法を説明するための模式図である。光IDタグ3は、マンチェスタ符号化方式を用い、図示のような点滅パターンを繰り返して点滅し、IDセンサ2は、点滅パターンを撮影して画像処理によってデコードすることにより、光IDタグ3のID番号を読み取る。図示の例では、点滅パターンから1、1、0、1、0の2進数がデコードされ、ID番号10が取得される。このときのIDセンサ2のサンプリング周波数は60fpsであり、光IDタグ3の点滅パターンは30fpsである。
【0024】
なお、本実施の形態では、位置推定のためのセンサとしてフロアセンサを用い、ID番号推定のためのセンサとして光IDタグを用いているが、各センサは、これらの例に特に限定されず、例えば、IDセンサとして、ID付き超音波センサ、RFID、ICタグ、IrDA、画像処理による人物(物体)認識等を用いたり、位置センサとして、超音波センサ、画像処理によるトラッキング、電磁誘導センサ、静電容量計測技術を用いたセンサ(SmartSkin)等を用いてもよい。また、3次元位置が取得可能な超音波IDセンサや、上記のID付き超音波センサ、RFID、ICタグ、IrDA、画像処理による人物(物体)認識等を用いて位置及びID番号の双方が取得可能な場合、1種類のセンサの出力(位置及びID番号)から、位置の尤度及びID番号の尤度を個別に算出するようにしてもよい。
【0025】
推定装置4は、ROM(リードオンリメモリ)、CPU(中央演算処理装置)、RAM(ランダムアクセスメモリ)、外部記憶装置、入力装置、入出力インタフェース装置及び表示装置等を備える通常のコンピュータから構成され、後述する位置推定処理を実行するための位置推定プログラムをCPU等で実行することにより上記の判断部41、位置尤度算出部42、ID尤度算出部43及び位置推定部44の機能が実現される。なお、推定装置4の構成は、この例に特に限定されず、図示の各ブロックの機能を専用のハードウエア回路から構成したり、上記の各機能の一部又は全部を1台又は複数台のコンピュータを用いて実行するようにしてもよい。また、画像処理装置22の機能を取り込んで実行するようにしてもよい。
【0026】
判断部41は、センサ入力として、位置センサ1から人物の位置情報を取得するとともに、IDセンサ2から人物すなわち光IDタグ3のID番号及び画像内のXY座標を取得し、人物の位置情報を位置尤度算出部42へ出力し、光IDタグ3のID番号及び画像内のXY座標をID尤度算出部43へ出力する。
【0027】
位置尤度算出部42は、Condensationアルゴリズムに従って、位置センサ1により検出された人物の位置情報と、人物の位置に対するシステムモデル及び観測モデルとを用いて人物の位置の尤度を算出して位置推定部44へ出力する。ID尤度算出部43は、Condensationアルゴリズムに従って、検出された光IDタグ3のID番号及び画像内のXY座標と、人物の識別情報に対するシステムモデル及び観測モデルとを用いて光IDタグ3すなわち人物のID番号の尤度を算出して位置推定部44へ出力する。位置推定部44は、位置尤度算出部42により算出された人物の位置の尤度と、ID尤度算出部43により算出された人物のID番号の尤度とを基に検出空間内の各人物の位置を推定する。
【0028】
上記のCondensationアルゴリズムは、パーティクルによって確率分布を近似し、パーティクルの移動・拡散・観測を逐次繰り返すことによって、追跡対象の確率密度を推定していく手法である。Condensationアルゴリズムは、研究分野によっては、モンテカルロフィルタ、ブートストラップフィルタ等とも呼ばれ、人物追跡、画像を用いたトラッキング、ロボットの位置推定等の様々な分野で応用が試されている。
【0029】
また、Condensationアルゴリズムは、位置推定対象の状態遷移についてマルコフ性を仮定したベイズ推論の一種であり、まず、追跡対象をx、観測結果をzとした場合の、時刻t−1における位置推定対象の確率分布p(xt−1|zt−1)と、時刻t−1から時刻tへの状態推移確率p(xt−1|xt−1)とにより、時刻tにおける事前確率p(xt|zt−1)を求める。次に、この事前確率に基づき、実際の観測結果から尤度p(zt|xt)を算出し、時刻tにおける確率分布p(xt|zt)を求める。時刻t+1においても同様に時刻tにおける確率密度に従い、上記の計算を繰り返す。この状態推移確率を求めるモデルをシステムモデルと呼び、尤度を求めるモデルを観測モデルと呼ぶ。
【0030】
本実施の形態では、このCondensationアルゴリズムにおける仮説生成に際して、位置に関する尤度と、ID番号に関する尤度とを分離し、位置推定に関するシステムモデル及び観測モデルとは別に、個別認識のためのシステムモデル及び観測モデルを組み込み、個別に計算を行っている。この利点は、(1)元来複数対象の個別追跡が考慮されていないCondensationアルゴリズムをID番号付きのマルチトラッキング対応へと単純に拡張できること、(2)入力の欠損による一時的な誤り状態からの復帰が容易であること、(3)複数人物追跡にとって理想的なID番号付き位置情報が精度よく取得可能なセンサを用いることができない場合でも、各センサが持つ位置精度やID認識の有無といった特性を織り込むことが可能なことである。
【0031】
本実施の形態では、位置センサ1が第1の検出手段の一例に相当し、IDセンサ2及び光IDタグ3が第2の検出手段の一例に相当し、位置尤度算出部42が第1の算出手段の一例に相当し、ID尤度算出部43が第2の算出手段の一例に相当し、位置推定部44が推定手段の一例に相当する。また、光IDタグ3が発光手段の一例に相当し、ビデオカメラ21が撮影手段の一例に相当し、画像処理装置22が識別情報検出手段の一例に相当する。
【0032】
次に、上記のように構成された推定装置4による位置推定処理について説明する。図3は、図1に示す推定装置4の位置推定処理を説明するためのフローチャートである。図3に示す位置推定処理では、入力(各センサの出力)の特性に合わせて処理を二分化し、位置推定のためのシステムモデル適用及び尤度計算と、ID番号推定のためのシステムモデル適用及び尤度計算とを分離することにより、CondensationアルゴリズムによるID番号付き位置推定を実現している。
【0033】
まず、ステップS11において、判断部41は、センサ入力の有無を判断し、センサ入力がなければ、ステップS11の処理を継続し、センサ入力があった場合にステップS12へ処理を移行する。
【0034】
センサ入力があった場合、ステップS12において、判断部41は、位置センサ1又はIDセンサ2のいずれの入力であるかを判断し、位置センサ1からの入力の場合に、位置センサ1からの人物の位置情報を位置尤度算出部42へ出力して処理をステップS13へ移行し、IDセンサ2からの入力の場合に、IDセンサ2からの光IDタグ3のID番号及び画像内のXY座標をID尤度算出部43へ出力して処理をステップS16へ移行する。
【0035】
位置センサ1からの入力の場合、ステップS13において、位置尤度算出部42は、位置に対する下記のシステムモデルを用いて、人物の位置に対する仮説を生成する。次に、ステップS14において、位置尤度算出部42は、位置センサ1により検出された人物の位置情報と、パーティクル(例えば、1000個)の分布とから、位置に対する下記の観測モデルを用いて、位置の尤度を算出する。
【0036】
一方、IDセンサ2からの入力の場合、ステップS16において、ID尤度算出部43は、ID番号に対する下記のシステムモデルを用いて、ID番号に対する仮説を生成する。次に、ステップS17において、ID尤度算出部43は、IDセンサ2により検出されたID番号、及びID番号に対する下記の観測モデルを用いて、ID番号の尤度を算出する。また、ID尤度算出部43は、IDセンサ2からの光IDタグ3の画像内のXY座標すなわち撮影された画像上の各光IDタグ3の画素位置を射影変換によって位置センサ1の検出座標上に投影し、投影された検出座標に位置する単位領域に対応付けられているパーティクルに対して光IDタグ3のID番号の尤度を保持させる。
【0037】
図4は、ID番号が取得された画素位置からの直線投影を説明するための模式図であり、図5は、パーティクルへID番号の尤度を保持させる方法を説明するための模式図であり、図6は、パーティクルのID番号の判別例を説明するための模式図である。
【0038】
IDセンサ2によって検出される位置情報は、画像上の画素位置であるため、この出力結果をそのまま位置センサ1の位置情報(単位領域を表す番号毎のON/OFFの2値)と対応付けることはできない。このため、以下のようにして、このID番号の画素位置を射影変換行列によってフロアセンサ上に投影している。なお、この射影変換行列はカメラを強校正することで獲得している。
【0039】
まず、ID尤度算出部43は、図4に示すように、ビデオカメラ21により撮影された画像上の光IDタグ3の画素位置から射影変換によって直線を投影し、ブレゼンハムアルゴリズムにより位置センサ1の検出座標上の直線L1を求める。
【0040】
例えば、ビデオカメラ21によりID番号3、6、10を有する3個の光IDタグ3を含む画像が撮影された場合、図5に示すように、各ID番号3、6、10に対して3本の直線が位置センサ1の検出座標上(複数の単位領域上)に投影される。ここで、ID番号3に着目すると、下段の拡大図に示すように、ID番号3の直線が交差する各単位領域UA(ハッチング部分)に対応付けられているパーティクルPAに対してID番号3の尤度を保持させる。
【0041】
このようにして、各パーティクルが対応するID番号の尤度を保持する場合、図6に示す例(ID番号6のパーティクルを赤色で表し、ID番号3のパーティクルを緑色で表している)のように、位置センサ1のパーティクルをID番号で判別することができる。
【0042】
再び、図3を参照して、上記のいずれかの処理が終了した後、ステップS15において、位置推定部44は、位置尤度算出部42により算出された人物の位置の尤度と、ID尤度算出部43により算出された人物のID番号の尤度とを基に検出空間内の各人物の位置を推定する。その後、ステップS11に戻って上記の処理が繰り返され、複数の人物の位置が追跡される。
【0043】
次に、上記のステップS13〜S17の処理をさらに詳細に説明する。この説明では、時刻tにおける追跡対象である人物の位置をxt、位置センサ1からの観測結果である人物の位置情報をzt、IDセンサ2からの観測結果である光IDタグ3のID番号をyt、サンプル数をN個とするとともに、時刻t−1における仮説s(n)t−1と、位置の尤度π(n)t−1と、ID情報の尤度π(u)(n)t−1とから成る仮説群{s(n)t−1,π(n)t−1,π(u)(n)t−1}(n=1,…,N)により表現された確率分布が存在するものとする。
【0044】
まず、センサ入力が位置センサ1の場合、ステップS13において、位置尤度算出部42は、位置の尤度π(n)t−1に従い仮説s’(n)t−1の選択をし、予め定義されたパーティクルの移動特性を表すシステムモデルp(xt|xt−1=s’(n)t−1)によって、位置に対する仮説群を生成する。
【0045】
次に、ステップS14において、位置尤度算出部42は、位置センサ1から得られた実際の観測量から、観測モデルppos(zt|xt)により各仮説の尤度π(n)tを計算し、時刻tにおける仮説群{s(n)t,π(n)t}を決定する。
【0046】
一方、センサ入力がIDセンサ2の場合、IDセンサ2に対するシステムモデルの適用と尤度計算とが行われ、IDセンサ2のシステムモデルは、先に述べたパーティクルの移動特性を示すシステムモデルとは異なり、ID番号の尤度の減衰を制御する。このID番号の尤度は、各パーティクルにおいて観測されたID番号の数だけ存在するものとする。
【0047】
まず、ステップS16において、予め定義されたID番号のシステムモデルによって、ID番号に対する仮説群を生成する。次に、ステップS17において、ID尤度算出部43は、IDセンサ2の観測結果ytから、IDセンサ2の観測モデルp(yt|xt)により各仮説の尤度π(u)(n)を計算し、現時刻tにおけるIDに対する仮説群{s(1)t,…,s(N)t}のID番号の尤度を更新する。
【0048】
最後に、ステップS15において、位置推定部44は、更新されたパーティクルによって、現時刻tにおけるID番号すなわちuを有する人物の位置を次式から推定する。
【0049】
εu[f(xt)]=Σπ(n)tπ(u)(n)tf(s(n)t) (1)
なお、f(s(n)t)としては、種々の関数を用いることができ、例えば、位置の尤度及びID番号の尤度の大きなものの平均や、最も大きい尤度を選択し、人物の位置を推定することができる。
【0050】
次に、上記の処理に使用されるシステムモデル及び観測モデルの一例について説明する。まず、位置センサ1に対する仮説生成のシステムモデルとして、人物の移動速度に対応したモデルを考え、下式で表されるシステムモデルを用いることができる。
【0051】
xn+1=xn+νnΔt+ωn (2)
ここで、xnはnステップ目の追跡対象物である人物の位置であり、νnは過去の位置から推定した速度であり、Δtは時間定数であり、ωnはホワイトノイズである.
次に、位置センサ1に対する仮説生成の観測モデルとして、下式で表される観測モデルを用いることができる。
【0052】
【数1】
【0053】
ここで、znは観測結果として得られる追跡対象物である人物の位置であり、Σは共分散である。
【0054】
一方、IDセンサ2に対するシステムモデルは、位置変化に対して独立であり、時間経過に対する尤度変化に対応させ、下式で表されるシステムモデルを用いることができる。
【0055】
πn+1=πnk (4)
ここで、πnはパーティクルの更新nステップ目におけるID番号の尤度であり、k(0<k≦1)は定数である。IDセンサ2に対する観測モデルは、上記の位置センサ1の観測モデルと同一の観測モデルを用いることができる。このモデルにより影響を受ける尤度は、各ID番号に対するID番号の尤度のみである。
【0056】
上記のシステムモデルを用いて運用されたパーティクル群の確率分布により、人物の位置推定が実行される。通常のCondensationでは、尤度の平均値を用いる方法が最も単純な位置推定となるが,本実施の形態では、位置の尤度とID番号の尤度との双方の平均をとる方法が、単純な位置推定方法となる。
【0057】
上記の処理により、本実施の形態では、複数の人物の位置が検出され、検出された位置を用いて人物の位置の尤度が算出され、この位置の尤度の算出処理と分離して、複数の人物の各々に対して一意的に割り付けられたID番号が検出され、検出されたID番号を用いて人物のID番号の尤度が算出され、算出された人物の位置の尤度及びID番号の尤度を基に各人物の位置が推定されるので、位置の尤度とID番号の尤度とを個別に取り扱うことによって頑健なID番号付きの人物追跡を実現することができ、低解像度な位置センサ1とフレームレートの低いIDセンサ2とを用いた場合においても、複数の人物の位置を安定して推定することができる。
【0058】
次に、上記の位置推定装置を用いて実際に複数の人物の位置を推定した結果について説明する。本推定では、光IDタグ3に対する測定条件を以下のように変えて3種類の測定を行った。
【0059】
図7は、第1の測定条件の一シーン及びそのときのパーティクル群による位置推定の様子を示す図である。図7に示すように、第1の測定条件として、光IDタグ3に対してオクルージョンが発生しないように、カメラ視線に対して平行に2人の被測定者が並んで前後に約1分間歩行する条件を用いた。本実施の形態では、理論値として9.09HzでID番号を取得可能であるが、第1の測定条件では、検出できない場合を考慮して、平均して8.615HzでID番号を取得した。
【0060】
図8は、第1の測定条件に対する推定結果を示す図である。図8では、2人の被測定者の追跡軌跡をそれぞれ実線及び破線で表しており、2本の線がほぼ直線的に平行して移動している様子がわかる、図8の左側を歩行した被測定者の歩行方向に対して横方向の座標軸に計測された値(mm)の分散は1764であり、右側を歩行した被測定者の分散は1369であった。
【0061】
図9は、第2の測定条件の一シーン及びそのときのパーティクル群による位置推定の様子を示す図である。図9に示すように、第2の測定条件として、カメラ視線方向に対して2人の被測定者が前後して並び、ビデオカメラ21に対して横方向に往復移動する条件を用いた。この場合、2人の被測定者の重なりが往復運動の中央付近で常に発生するよう同期的に動いているため、第1の測定条件と異なり、ビデオカメラ21から見て2人の被測定者が重なる瞬間にオクルージョンが発生する。このオクルージョンが発生する前後は、ID番号を取得し難くなるため、光IDタグ3の平均認識頻度は7.82Hzとなり、第1の測定条件の場合より低下した。
【0062】
図10は、第2の測定条件に対する推定結果を示す図である。第2の測定条件に対する推定結果は、2本の直線が平行な形状となるべきであるが、図10に示すように、三角形のような形状となって推定された。この結果における上部の被測定者の縦方向の分散は10594であり、下部の被測定者の分散は17424であり、第1の測定条件に比べて推定の誤りが多くなった。これは、オクルージョンが発生してID番号の尤度の更新がされなくなった場合に、正解となるID番号の尤度が全体的に減少し、広く散らばっている本来は無関係なパーティクルのID番号の尤度の影響が強くなることに起因すると考えられる。
【0063】
しかしながら、往復運動の両端では正しく推定されており、往復運動の方向転換の位置で正しく推定された。この結果、オクルージョンによる混乱が発生した場合でも、オクルージョンが解消されれば、正しい推定に復帰可能な頑健な位置推定が可能であることがわかった。
【0064】
図11は、第3の測定条件の一シーン及びそのときのパーティクル群による位置推定の様子を示す図である。図11に示すように、第3の測定条件として、部屋の中を2人の被測定者が点対称を維持したまま位置センサ1の縁に沿って歩く条件を用いた。この場合、2人の被測定者の間隔は約0.8mであり、カメラ視線に対して2人の被測定者が直線状に並ぶ瞬間にオクルージョンが発生する。
【0065】
図12は、第3の測定条件に対する推定結果を示す図である。図12に示す推定結果から、多少の誤認識はあるものの、安定して方形の軌跡を描いていることがわかり、この場合も、頑健な位置推定が可能であることがわかった。
【0066】
上記の結果、本実施の形態では、複数の人物の並び歩行、円弧歩行、交差歩行等の種々の条件において、光IDタグ3に対してオクルージョンが発生する場合に、一時的に誤推定状態はあるものの、その状態から復帰可能であり、複数の人物の位置を安定して推定することができることがわかった。
【図面の簡単な説明】
【0067】
【図1】本発明の一実施の形態による位置推定装置の構成を示すブロック図である。
【図2】図1に示すIDセンサ及び光IDタグによるID番号の生成方法を説明するための模式図である。
【図3】図1に示す推定装置の位置推定処理を説明するためのフローチャートである。
【図4】ID番号が取得された画素位置からの直線投影を説明するための模式図である。
【図5】パーティクルへID番号の尤度を保持させる方法を説明するための模式図である。
【図6】パーティクルのID番号の判別例を説明するための模式図である。
【図7】第1の測定条件の一シーン及びそのときのパーティクル群による位置推定の様子を示す図である。
【図8】第1の測定条件に対する推定結果を示す図である。
【図9】第2の測定条件の一シーン及びそのときのパーティクル群による位置推定の様子を示す図である。
【図10】第2の測定条件に対する推定結果を示す図である。
【図11】第3の測定条件の一シーン及びそのときのパーティクル群による位置推定の様子を示す図である。
【図12】第3の測定条件に対する推定結果を示す図である。
【符号の説明】
【0068】
1 位置センサ
2 IDセンサ
3 光IDタグ
4 推定装置
21 ビデオカメラ
22 画像処理装置
31 駆動回路
32 LED
41 判断部
42 位置尤度算出部
43 ID尤度算出部
44 位置推定部
【技術分野】
【0001】
本発明は、複数の対象物の位置を推定する位置推定装置、位置推定方法及び位置推定プログラムに関するものである。
【背景技術】
【0002】
ユビキタス・パーベイシブコンピューティングにおいて、コンテキストアウェアな環境の構築を目的とした研究開発が行われている。この対象は、生産現場、看護・介護業務など多岐に渡っているが、共通して重要な役割を果たす要素技術に、人物や物体の位置の推定及び追跡がある。物体の位置推定及びその追跡のためには、対象の個体識別と物理位置とを連続的に推定する必要があり、この実現に向けて様々なセンサを用いたシステムが開発及び試用されている。例えば、RFIDを利用したシステムや、超音波センサを用いたシステム、ビデオカメラの画像処理によるシステム等が開発されている(例えば、非特許文献1参照)。
【非特許文献1】西田佳史、他3名、超音波センサを用いた対象物のセンサ化に基づく人の日常活動の認識、日本機械学会、ロボティクス・メカトロニクス講演会、’02講演会論文集、2002年、1A1−J07
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、上記のシステムに用いられるセンサは、その特性によって利点と欠点とがあり、予め想定されている環境や状況では、対象物の位置を正しく推定できるが、検出精度が環境の特性に依存するため、様々な環境において実用レベルで対象物の位置を安定的に推定し続けることは困難である。例えば、カメラで撮影された画像を入力とする場合は、オクルージョンや環境光の影響に強く左右され、電波を用いる場合は、位置精度が悪くなることが多い。
【0004】
また、情報支援をおこなう適用先によっては、環境上の制約やコスト問題等により、理想的なセンサすなわち高性能なセンサではなく、代替となる低性能なセンサを使用せざるえない場面も想定される。
【0005】
本発明の目的は、比較的低性能なセンサを用いる場合でも、複数の対象物の位置を安定して推定することができる位置推定装置、位置推定方法及び位置推定プログラムを提供することである。
【課題を解決するための手段】
【0006】
本発明に係る位置推定装置は、複数の対象物の位置を検出する第1の検出手段と、前記複数の対象物の各々に対して一意的に割り付けられた識別情報を検出する第2の検出手段と、前記第1の検出手段により検出された位置を用いて対象物の位置の尤度を算出する第1の算出手段と、前記第2の検出手段により検出された識別情報を用いて対象物の識別情報の尤度を算出する第2の算出手段と、前記第1の算出手段により算出された対象物の位置の尤度と、前記第2の算出手段により算出された対象物の識別情報の尤度とを基に各対象物の位置を推定する推定手段とを備えるものである。
【0007】
この位置推定装置においては、複数の対象物の位置が検出され、検出された位置を用いて対象物の位置の尤度が算出され、この位置の尤度の算出処理と分離して、複数の対象物の各々に対して一意的に割り付けられた識別情報が検出され、検出された識別情報を用いて対象物の識別情報の尤度が算出され、算出された対象物の位置の尤度と対象物の識別情報の尤度とを基に各対象物の位置が推定される。このように、対象物の位置の尤度と対象物の識別情報の尤度とを個別に取り扱うことによって、頑健な識別情報付きの対象物追跡を実現することができるので、比較的低性能なセンサを用いる場合でも、複数の対象物の位置を安定して推定することができる。
【0008】
前記第1の算出手段は、Condensationアルゴリズムに従って、前記第1の検出手段により検出された位置と、対象物の位置に対するシステムモデル及び観測モデルとを用いて対象物の位置の尤度を算出し、前記第2の算出手段は、Condensationアルゴリズムに従って、前記第2の検出手段により検出された識別情報と、対象物の識別情報に対するシステムモデル及び観測モデルとを用いて対象物の識別情報の尤度を算出することが好ましい。
【0009】
この場合、Condensationアルゴリズムに従った対象物の位置の尤度の算出と、Condensationアルゴリズムに従った対象物の識別情報の尤度の算出とを個別に取り扱っているので、元来複数対象の個別追跡が考慮されていないCondensationアルゴリズムを識別情報付きのマルチトラッキング対応へと単純に拡張できるとともに、入力の欠損による一時的な誤り状態からの復帰が容易となり、さらに、複数の対象物追跡にとって理想的な識別情報付き位置情報が精度よく取得可能なセンサを用いることができない場合でも、各センサがもつ位置精度や識別情報認識の有無といった特性を織り込むことが可能となる。
【0010】
前記第2の検出手段は、各対象物に取り付けられ、当該対象物に対して一意的に割り付けられた識別情報に応じて光を発光する複数の発光手段と、前記発光手段を含む所定領域の画像を撮影する撮影手段と、前記撮影手段により撮影された画像を用いて前記発光手段の識別情報を検出する識別情報検出手段とを含み、前記第1の算出手段は、複数のパーティクルを用いて対象物の位置の尤度を算出し、前記第2の算出手段は、前記撮影手段により撮影された画像上の各発光手段の画素位置を射影変換によって前記第1の検出手段の検出座標上に投影し、投影された検出座標に対応付けられているパーティクルに対して各発光手段の識別情報の尤度を保持させることが好ましい。
【0011】
この場合、複数のパーティクルを用いて対象物の位置の尤度が算出されるとともに、撮影された画像上の各発光手段の画素位置が射影変換によって第1の検出手段の検出座標上に投影され、投影された検出座標に対応付けられているパーティクルに対して各発光手段の識別情報の尤度が保持されるので、各発光手段の識別情報の尤度すなわち対象物の識別情報の尤度を、当該識別情報を有する対象物の位置の尤度と統合することができ、頑健な識別情報付きの対象物追跡を実現することができる。
【0012】
本発明に係る位置推定方法は、第1及び第2の検出手段、第1及び第2の算出手段、並びに推定手段を備える位置推定装置を用いた位置推定方法であって、前記第1の検出手段が、複数の対象物の位置を検出するステップと、前記第2の検出手段が、前記複数の対象物の各々に対して一意的に割り付けられた識別情報を検出するステップと、前記第1の算出手段が、前記第1の検出手段により検出された位置を用いて対象物の位置の尤度を算出するステップと、前記第2の算出手段が、前記第2の検出手段により検出された識別情報を用いて対象物の識別情報の尤度を算出するステップと、前記推定手段が、前記第1の算出手段により算出された対象物の位置の尤度と、前記第2の算出手段により算出された対象物の識別情報の尤度とを基に各対象物の位置を推定するステップとを含むものである。
【0013】
本発明に係る位置推定プログラムは、複数の対象物の位置を検出する第1の検出手段により検出された位置を用いて対象物の位置の尤度を算出する第1の算出手段と、前記複数の対象物の各々に対して一意的に割り付けられた識別情報を検出する第2の検出手段により検出された識別情報を用いて対象物の識別情報の尤度を算出する第2の算出手段と、前記第1の算出手段により算出された対象物の位置の尤度と、前記第2の算出手段により算出された対象物の識別情報の尤度とを基に各対象物の位置を推定する推定手段としてコンピュータを機能させるものである。
【発明の効果】
【0014】
本発明によれば、対象物の位置の尤度と対象物の識別情報の尤度とを個別に取り扱うことによって頑健な識別情報付きの対象物追跡を実現することができるので、比較的低性能なセンサを用いる場合でも、複数の対象物の位置を安定して推定することができる。
【発明を実施するための最良の形態】
【0015】
以下、本発明の一実施の形態による位置推定装置について図面を参照しながら説明する。図1は、本発明の一実施の形態による位置推定装置の構成を示すブロック図である。なお、本実施の形態では、人物を対象物として複数の人物の位置を推定する例について説明するが、対象物はこの例に特に限定されず、本発明は種々の対象物の位置を以下と同様にして推定することができる。
【0016】
図1に示す位置推定装置は、位置センサ1、IDセンサ2、光IDタグ3、及び推定装置4を備える。IDセンサ2は、ビデオカメラ21及び画像処理装置22を備え、光IDタグ3は、駆動回路31及びLED32を備え、推定装置4は、判断部41、位置尤度算出部42、ID尤度算出部43及び位置推定部44を備える。
【0017】
位置センサ1は、各人物を識別することなく、複数の人物の位置を検出し、例えば、低解像度なフロアセンサを用いることができる。このフロアセンサとしては、ヴィストン社製フロアセンサ(型式:VS−SF55)が用いられ、人物が踏んだ箇所の圧力荷重を感知し、ON/OFFの2値(1ビット)で人物の位置を出力する。但し、フロアセンサの解像度は低く、取得される位置情報の最小単位は、一辺8cmの正方形をした単位領域であり、各単位領域を表す番号毎にON/OFFの2値で位置情報が出力される。推定装置4は、位置センサ1の位置情報を9Hzで定期的に取得する。したがって、位置センサ1の位置情報から、細かな足形を取得してトラッキングや人物認識等をおこなうことは非常に困難である。
【0018】
光IDタグ3は、各人物の胸部等に装着され、駆動回路31が各人物(各光IDタグ3)に対して一意的に割り付けられたID番号(識別情報)をLED32の点滅により送信する。なお、図1では、図示を容易にするために、1個の光IDタグ3のみを図示しているが、本実施の形態では、人物毎に光IDタグ3が装着されており、複数の光IDタグ3が用いられている。また、一人の人物に対して異なる位置に複数の光IDタグ3を装着し、1台のビデオカメラが少なくとも1個の光IDタグ3を常時撮影できるようにしてもよい。
【0019】
LED32としては、可視光を発光する通常のLEDを用いることができるが、この例に特に限定されず、指向性が弱く且つ可視光に近い800nm程度の赤外光を発光する光通信用高出力発光ダイオード(スタンレイ社製DN311)等を用いてもよい。この場合、ビデオカメラ21として、赤外線画像を撮影する赤外線カメラが用いられる。
【0020】
駆動回路31は、マイクロコンピュータ等から構成され、例えば、Atmel社製4MHz駆動マイコンAT90S2323等を用いることができ、光IDタグ3が取り付けられた人物に対して一意的に割り付けられたID番号が識別可能なようにLED32を点滅制御する。なお、駆動回路31及びLED32は、内部電池(図示省略)から電源を供給されている。
【0021】
IDセンサ2のビデオカメラ21は、複数の人物が位置する検出空間中の所定位置(例えば、部屋の天井の一方端)に取り付けられ、各人物の光IDタグ3を含む所定領域の画像を撮影し、画像処理装置22は、ビデオカメラ21により撮影された画像を用いて、光IDタグ3から送信される対象物のID番号及び光IDタグ3の画像内のXY座標を検出して推定装置4へ出力する。IDセンサ2は、受光部分に対してIDタグが存在するか否かしか判断できないIrDAとは異なり、光IDタグ3の画素位置を取得可能であることが特徴である。
【0022】
ビデオカメラ21としては、USBカメラが用いられ、例えば、Lumenera社製USBカメラを用いることができ、640×480pixelの画像を撮影することができる。また、光IDタグ3は30Hzで点滅し、新たな光IDタグ3の発見には最速でも0.5秒かかり、連続してID番号を認識する場合でも、約0.1秒の間隔が必要となる。なお、本実施の形態では、1台のビデオカメラ21を用いているが、この例に特に限定されず、複数台のビデオカメラを検出空間の異なる位置に配置するようにしてもよい。
【0023】
図2は、図1に示すIDセンサ2及び光IDタグ3によるID番号の生成方法を説明するための模式図である。光IDタグ3は、マンチェスタ符号化方式を用い、図示のような点滅パターンを繰り返して点滅し、IDセンサ2は、点滅パターンを撮影して画像処理によってデコードすることにより、光IDタグ3のID番号を読み取る。図示の例では、点滅パターンから1、1、0、1、0の2進数がデコードされ、ID番号10が取得される。このときのIDセンサ2のサンプリング周波数は60fpsであり、光IDタグ3の点滅パターンは30fpsである。
【0024】
なお、本実施の形態では、位置推定のためのセンサとしてフロアセンサを用い、ID番号推定のためのセンサとして光IDタグを用いているが、各センサは、これらの例に特に限定されず、例えば、IDセンサとして、ID付き超音波センサ、RFID、ICタグ、IrDA、画像処理による人物(物体)認識等を用いたり、位置センサとして、超音波センサ、画像処理によるトラッキング、電磁誘導センサ、静電容量計測技術を用いたセンサ(SmartSkin)等を用いてもよい。また、3次元位置が取得可能な超音波IDセンサや、上記のID付き超音波センサ、RFID、ICタグ、IrDA、画像処理による人物(物体)認識等を用いて位置及びID番号の双方が取得可能な場合、1種類のセンサの出力(位置及びID番号)から、位置の尤度及びID番号の尤度を個別に算出するようにしてもよい。
【0025】
推定装置4は、ROM(リードオンリメモリ)、CPU(中央演算処理装置)、RAM(ランダムアクセスメモリ)、外部記憶装置、入力装置、入出力インタフェース装置及び表示装置等を備える通常のコンピュータから構成され、後述する位置推定処理を実行するための位置推定プログラムをCPU等で実行することにより上記の判断部41、位置尤度算出部42、ID尤度算出部43及び位置推定部44の機能が実現される。なお、推定装置4の構成は、この例に特に限定されず、図示の各ブロックの機能を専用のハードウエア回路から構成したり、上記の各機能の一部又は全部を1台又は複数台のコンピュータを用いて実行するようにしてもよい。また、画像処理装置22の機能を取り込んで実行するようにしてもよい。
【0026】
判断部41は、センサ入力として、位置センサ1から人物の位置情報を取得するとともに、IDセンサ2から人物すなわち光IDタグ3のID番号及び画像内のXY座標を取得し、人物の位置情報を位置尤度算出部42へ出力し、光IDタグ3のID番号及び画像内のXY座標をID尤度算出部43へ出力する。
【0027】
位置尤度算出部42は、Condensationアルゴリズムに従って、位置センサ1により検出された人物の位置情報と、人物の位置に対するシステムモデル及び観測モデルとを用いて人物の位置の尤度を算出して位置推定部44へ出力する。ID尤度算出部43は、Condensationアルゴリズムに従って、検出された光IDタグ3のID番号及び画像内のXY座標と、人物の識別情報に対するシステムモデル及び観測モデルとを用いて光IDタグ3すなわち人物のID番号の尤度を算出して位置推定部44へ出力する。位置推定部44は、位置尤度算出部42により算出された人物の位置の尤度と、ID尤度算出部43により算出された人物のID番号の尤度とを基に検出空間内の各人物の位置を推定する。
【0028】
上記のCondensationアルゴリズムは、パーティクルによって確率分布を近似し、パーティクルの移動・拡散・観測を逐次繰り返すことによって、追跡対象の確率密度を推定していく手法である。Condensationアルゴリズムは、研究分野によっては、モンテカルロフィルタ、ブートストラップフィルタ等とも呼ばれ、人物追跡、画像を用いたトラッキング、ロボットの位置推定等の様々な分野で応用が試されている。
【0029】
また、Condensationアルゴリズムは、位置推定対象の状態遷移についてマルコフ性を仮定したベイズ推論の一種であり、まず、追跡対象をx、観測結果をzとした場合の、時刻t−1における位置推定対象の確率分布p(xt−1|zt−1)と、時刻t−1から時刻tへの状態推移確率p(xt−1|xt−1)とにより、時刻tにおける事前確率p(xt|zt−1)を求める。次に、この事前確率に基づき、実際の観測結果から尤度p(zt|xt)を算出し、時刻tにおける確率分布p(xt|zt)を求める。時刻t+1においても同様に時刻tにおける確率密度に従い、上記の計算を繰り返す。この状態推移確率を求めるモデルをシステムモデルと呼び、尤度を求めるモデルを観測モデルと呼ぶ。
【0030】
本実施の形態では、このCondensationアルゴリズムにおける仮説生成に際して、位置に関する尤度と、ID番号に関する尤度とを分離し、位置推定に関するシステムモデル及び観測モデルとは別に、個別認識のためのシステムモデル及び観測モデルを組み込み、個別に計算を行っている。この利点は、(1)元来複数対象の個別追跡が考慮されていないCondensationアルゴリズムをID番号付きのマルチトラッキング対応へと単純に拡張できること、(2)入力の欠損による一時的な誤り状態からの復帰が容易であること、(3)複数人物追跡にとって理想的なID番号付き位置情報が精度よく取得可能なセンサを用いることができない場合でも、各センサが持つ位置精度やID認識の有無といった特性を織り込むことが可能なことである。
【0031】
本実施の形態では、位置センサ1が第1の検出手段の一例に相当し、IDセンサ2及び光IDタグ3が第2の検出手段の一例に相当し、位置尤度算出部42が第1の算出手段の一例に相当し、ID尤度算出部43が第2の算出手段の一例に相当し、位置推定部44が推定手段の一例に相当する。また、光IDタグ3が発光手段の一例に相当し、ビデオカメラ21が撮影手段の一例に相当し、画像処理装置22が識別情報検出手段の一例に相当する。
【0032】
次に、上記のように構成された推定装置4による位置推定処理について説明する。図3は、図1に示す推定装置4の位置推定処理を説明するためのフローチャートである。図3に示す位置推定処理では、入力(各センサの出力)の特性に合わせて処理を二分化し、位置推定のためのシステムモデル適用及び尤度計算と、ID番号推定のためのシステムモデル適用及び尤度計算とを分離することにより、CondensationアルゴリズムによるID番号付き位置推定を実現している。
【0033】
まず、ステップS11において、判断部41は、センサ入力の有無を判断し、センサ入力がなければ、ステップS11の処理を継続し、センサ入力があった場合にステップS12へ処理を移行する。
【0034】
センサ入力があった場合、ステップS12において、判断部41は、位置センサ1又はIDセンサ2のいずれの入力であるかを判断し、位置センサ1からの入力の場合に、位置センサ1からの人物の位置情報を位置尤度算出部42へ出力して処理をステップS13へ移行し、IDセンサ2からの入力の場合に、IDセンサ2からの光IDタグ3のID番号及び画像内のXY座標をID尤度算出部43へ出力して処理をステップS16へ移行する。
【0035】
位置センサ1からの入力の場合、ステップS13において、位置尤度算出部42は、位置に対する下記のシステムモデルを用いて、人物の位置に対する仮説を生成する。次に、ステップS14において、位置尤度算出部42は、位置センサ1により検出された人物の位置情報と、パーティクル(例えば、1000個)の分布とから、位置に対する下記の観測モデルを用いて、位置の尤度を算出する。
【0036】
一方、IDセンサ2からの入力の場合、ステップS16において、ID尤度算出部43は、ID番号に対する下記のシステムモデルを用いて、ID番号に対する仮説を生成する。次に、ステップS17において、ID尤度算出部43は、IDセンサ2により検出されたID番号、及びID番号に対する下記の観測モデルを用いて、ID番号の尤度を算出する。また、ID尤度算出部43は、IDセンサ2からの光IDタグ3の画像内のXY座標すなわち撮影された画像上の各光IDタグ3の画素位置を射影変換によって位置センサ1の検出座標上に投影し、投影された検出座標に位置する単位領域に対応付けられているパーティクルに対して光IDタグ3のID番号の尤度を保持させる。
【0037】
図4は、ID番号が取得された画素位置からの直線投影を説明するための模式図であり、図5は、パーティクルへID番号の尤度を保持させる方法を説明するための模式図であり、図6は、パーティクルのID番号の判別例を説明するための模式図である。
【0038】
IDセンサ2によって検出される位置情報は、画像上の画素位置であるため、この出力結果をそのまま位置センサ1の位置情報(単位領域を表す番号毎のON/OFFの2値)と対応付けることはできない。このため、以下のようにして、このID番号の画素位置を射影変換行列によってフロアセンサ上に投影している。なお、この射影変換行列はカメラを強校正することで獲得している。
【0039】
まず、ID尤度算出部43は、図4に示すように、ビデオカメラ21により撮影された画像上の光IDタグ3の画素位置から射影変換によって直線を投影し、ブレゼンハムアルゴリズムにより位置センサ1の検出座標上の直線L1を求める。
【0040】
例えば、ビデオカメラ21によりID番号3、6、10を有する3個の光IDタグ3を含む画像が撮影された場合、図5に示すように、各ID番号3、6、10に対して3本の直線が位置センサ1の検出座標上(複数の単位領域上)に投影される。ここで、ID番号3に着目すると、下段の拡大図に示すように、ID番号3の直線が交差する各単位領域UA(ハッチング部分)に対応付けられているパーティクルPAに対してID番号3の尤度を保持させる。
【0041】
このようにして、各パーティクルが対応するID番号の尤度を保持する場合、図6に示す例(ID番号6のパーティクルを赤色で表し、ID番号3のパーティクルを緑色で表している)のように、位置センサ1のパーティクルをID番号で判別することができる。
【0042】
再び、図3を参照して、上記のいずれかの処理が終了した後、ステップS15において、位置推定部44は、位置尤度算出部42により算出された人物の位置の尤度と、ID尤度算出部43により算出された人物のID番号の尤度とを基に検出空間内の各人物の位置を推定する。その後、ステップS11に戻って上記の処理が繰り返され、複数の人物の位置が追跡される。
【0043】
次に、上記のステップS13〜S17の処理をさらに詳細に説明する。この説明では、時刻tにおける追跡対象である人物の位置をxt、位置センサ1からの観測結果である人物の位置情報をzt、IDセンサ2からの観測結果である光IDタグ3のID番号をyt、サンプル数をN個とするとともに、時刻t−1における仮説s(n)t−1と、位置の尤度π(n)t−1と、ID情報の尤度π(u)(n)t−1とから成る仮説群{s(n)t−1,π(n)t−1,π(u)(n)t−1}(n=1,…,N)により表現された確率分布が存在するものとする。
【0044】
まず、センサ入力が位置センサ1の場合、ステップS13において、位置尤度算出部42は、位置の尤度π(n)t−1に従い仮説s’(n)t−1の選択をし、予め定義されたパーティクルの移動特性を表すシステムモデルp(xt|xt−1=s’(n)t−1)によって、位置に対する仮説群を生成する。
【0045】
次に、ステップS14において、位置尤度算出部42は、位置センサ1から得られた実際の観測量から、観測モデルppos(zt|xt)により各仮説の尤度π(n)tを計算し、時刻tにおける仮説群{s(n)t,π(n)t}を決定する。
【0046】
一方、センサ入力がIDセンサ2の場合、IDセンサ2に対するシステムモデルの適用と尤度計算とが行われ、IDセンサ2のシステムモデルは、先に述べたパーティクルの移動特性を示すシステムモデルとは異なり、ID番号の尤度の減衰を制御する。このID番号の尤度は、各パーティクルにおいて観測されたID番号の数だけ存在するものとする。
【0047】
まず、ステップS16において、予め定義されたID番号のシステムモデルによって、ID番号に対する仮説群を生成する。次に、ステップS17において、ID尤度算出部43は、IDセンサ2の観測結果ytから、IDセンサ2の観測モデルp(yt|xt)により各仮説の尤度π(u)(n)を計算し、現時刻tにおけるIDに対する仮説群{s(1)t,…,s(N)t}のID番号の尤度を更新する。
【0048】
最後に、ステップS15において、位置推定部44は、更新されたパーティクルによって、現時刻tにおけるID番号すなわちuを有する人物の位置を次式から推定する。
【0049】
εu[f(xt)]=Σπ(n)tπ(u)(n)tf(s(n)t) (1)
なお、f(s(n)t)としては、種々の関数を用いることができ、例えば、位置の尤度及びID番号の尤度の大きなものの平均や、最も大きい尤度を選択し、人物の位置を推定することができる。
【0050】
次に、上記の処理に使用されるシステムモデル及び観測モデルの一例について説明する。まず、位置センサ1に対する仮説生成のシステムモデルとして、人物の移動速度に対応したモデルを考え、下式で表されるシステムモデルを用いることができる。
【0051】
xn+1=xn+νnΔt+ωn (2)
ここで、xnはnステップ目の追跡対象物である人物の位置であり、νnは過去の位置から推定した速度であり、Δtは時間定数であり、ωnはホワイトノイズである.
次に、位置センサ1に対する仮説生成の観測モデルとして、下式で表される観測モデルを用いることができる。
【0052】
【数1】
【0053】
ここで、znは観測結果として得られる追跡対象物である人物の位置であり、Σは共分散である。
【0054】
一方、IDセンサ2に対するシステムモデルは、位置変化に対して独立であり、時間経過に対する尤度変化に対応させ、下式で表されるシステムモデルを用いることができる。
【0055】
πn+1=πnk (4)
ここで、πnはパーティクルの更新nステップ目におけるID番号の尤度であり、k(0<k≦1)は定数である。IDセンサ2に対する観測モデルは、上記の位置センサ1の観測モデルと同一の観測モデルを用いることができる。このモデルにより影響を受ける尤度は、各ID番号に対するID番号の尤度のみである。
【0056】
上記のシステムモデルを用いて運用されたパーティクル群の確率分布により、人物の位置推定が実行される。通常のCondensationでは、尤度の平均値を用いる方法が最も単純な位置推定となるが,本実施の形態では、位置の尤度とID番号の尤度との双方の平均をとる方法が、単純な位置推定方法となる。
【0057】
上記の処理により、本実施の形態では、複数の人物の位置が検出され、検出された位置を用いて人物の位置の尤度が算出され、この位置の尤度の算出処理と分離して、複数の人物の各々に対して一意的に割り付けられたID番号が検出され、検出されたID番号を用いて人物のID番号の尤度が算出され、算出された人物の位置の尤度及びID番号の尤度を基に各人物の位置が推定されるので、位置の尤度とID番号の尤度とを個別に取り扱うことによって頑健なID番号付きの人物追跡を実現することができ、低解像度な位置センサ1とフレームレートの低いIDセンサ2とを用いた場合においても、複数の人物の位置を安定して推定することができる。
【0058】
次に、上記の位置推定装置を用いて実際に複数の人物の位置を推定した結果について説明する。本推定では、光IDタグ3に対する測定条件を以下のように変えて3種類の測定を行った。
【0059】
図7は、第1の測定条件の一シーン及びそのときのパーティクル群による位置推定の様子を示す図である。図7に示すように、第1の測定条件として、光IDタグ3に対してオクルージョンが発生しないように、カメラ視線に対して平行に2人の被測定者が並んで前後に約1分間歩行する条件を用いた。本実施の形態では、理論値として9.09HzでID番号を取得可能であるが、第1の測定条件では、検出できない場合を考慮して、平均して8.615HzでID番号を取得した。
【0060】
図8は、第1の測定条件に対する推定結果を示す図である。図8では、2人の被測定者の追跡軌跡をそれぞれ実線及び破線で表しており、2本の線がほぼ直線的に平行して移動している様子がわかる、図8の左側を歩行した被測定者の歩行方向に対して横方向の座標軸に計測された値(mm)の分散は1764であり、右側を歩行した被測定者の分散は1369であった。
【0061】
図9は、第2の測定条件の一シーン及びそのときのパーティクル群による位置推定の様子を示す図である。図9に示すように、第2の測定条件として、カメラ視線方向に対して2人の被測定者が前後して並び、ビデオカメラ21に対して横方向に往復移動する条件を用いた。この場合、2人の被測定者の重なりが往復運動の中央付近で常に発生するよう同期的に動いているため、第1の測定条件と異なり、ビデオカメラ21から見て2人の被測定者が重なる瞬間にオクルージョンが発生する。このオクルージョンが発生する前後は、ID番号を取得し難くなるため、光IDタグ3の平均認識頻度は7.82Hzとなり、第1の測定条件の場合より低下した。
【0062】
図10は、第2の測定条件に対する推定結果を示す図である。第2の測定条件に対する推定結果は、2本の直線が平行な形状となるべきであるが、図10に示すように、三角形のような形状となって推定された。この結果における上部の被測定者の縦方向の分散は10594であり、下部の被測定者の分散は17424であり、第1の測定条件に比べて推定の誤りが多くなった。これは、オクルージョンが発生してID番号の尤度の更新がされなくなった場合に、正解となるID番号の尤度が全体的に減少し、広く散らばっている本来は無関係なパーティクルのID番号の尤度の影響が強くなることに起因すると考えられる。
【0063】
しかしながら、往復運動の両端では正しく推定されており、往復運動の方向転換の位置で正しく推定された。この結果、オクルージョンによる混乱が発生した場合でも、オクルージョンが解消されれば、正しい推定に復帰可能な頑健な位置推定が可能であることがわかった。
【0064】
図11は、第3の測定条件の一シーン及びそのときのパーティクル群による位置推定の様子を示す図である。図11に示すように、第3の測定条件として、部屋の中を2人の被測定者が点対称を維持したまま位置センサ1の縁に沿って歩く条件を用いた。この場合、2人の被測定者の間隔は約0.8mであり、カメラ視線に対して2人の被測定者が直線状に並ぶ瞬間にオクルージョンが発生する。
【0065】
図12は、第3の測定条件に対する推定結果を示す図である。図12に示す推定結果から、多少の誤認識はあるものの、安定して方形の軌跡を描いていることがわかり、この場合も、頑健な位置推定が可能であることがわかった。
【0066】
上記の結果、本実施の形態では、複数の人物の並び歩行、円弧歩行、交差歩行等の種々の条件において、光IDタグ3に対してオクルージョンが発生する場合に、一時的に誤推定状態はあるものの、その状態から復帰可能であり、複数の人物の位置を安定して推定することができることがわかった。
【図面の簡単な説明】
【0067】
【図1】本発明の一実施の形態による位置推定装置の構成を示すブロック図である。
【図2】図1に示すIDセンサ及び光IDタグによるID番号の生成方法を説明するための模式図である。
【図3】図1に示す推定装置の位置推定処理を説明するためのフローチャートである。
【図4】ID番号が取得された画素位置からの直線投影を説明するための模式図である。
【図5】パーティクルへID番号の尤度を保持させる方法を説明するための模式図である。
【図6】パーティクルのID番号の判別例を説明するための模式図である。
【図7】第1の測定条件の一シーン及びそのときのパーティクル群による位置推定の様子を示す図である。
【図8】第1の測定条件に対する推定結果を示す図である。
【図9】第2の測定条件の一シーン及びそのときのパーティクル群による位置推定の様子を示す図である。
【図10】第2の測定条件に対する推定結果を示す図である。
【図11】第3の測定条件の一シーン及びそのときのパーティクル群による位置推定の様子を示す図である。
【図12】第3の測定条件に対する推定結果を示す図である。
【符号の説明】
【0068】
1 位置センサ
2 IDセンサ
3 光IDタグ
4 推定装置
21 ビデオカメラ
22 画像処理装置
31 駆動回路
32 LED
41 判断部
42 位置尤度算出部
43 ID尤度算出部
44 位置推定部
【特許請求の範囲】
【請求項1】
複数の対象物の位置を検出する第1の検出手段と、
前記複数の対象物の各々に対して一意的に割り付けられた識別情報を検出する第2の検出手段と、
前記第1の検出手段により検出された位置を用いて対象物の位置の尤度を算出する第1の算出手段と、
前記第2の検出手段により検出された識別情報を用いて対象物の識別情報の尤度を算出する第2の算出手段と、
前記第1の算出手段により算出された対象物の位置の尤度と、前記第2の算出手段により算出された対象物の識別情報の尤度とを基に各対象物の位置を推定する推定手段とを備えることを特徴とする位置推定装置。
【請求項2】
前記第1の算出手段は、Condensationアルゴリズムに従って、前記第1の検出手段により検出された位置と、対象物の位置に対するシステムモデル及び観測モデルとを用いて対象物の位置の尤度を算出し、
前記第2の算出手段は、Condensationアルゴリズムに従って、前記第2の検出手段により検出された識別情報と、対象物の識別情報に対するシステムモデル及び観測モデルとを用いて対象物の識別情報の尤度を算出することを特徴とする請求項1記載の位置推定装置。
【請求項3】
前記第2の検出手段は、
各対象物に取り付けられ、当該対象物に対して一意的に割り付けられた識別情報に応じて光を発光する複数の発光手段と、
前記発光手段を含む所定領域の画像を撮影する撮影手段と、
前記撮影手段により撮影された画像を用いて前記発光手段の識別情報を検出する識別情報検出手段とを含み、
前記第1の算出手段は、複数のパーティクルを用いて対象物の位置の尤度を算出し、
前記第2の算出手段は、前記撮影手段により撮影された画像上の各発光手段の画素位置を射影変換によって前記第1の検出手段の検出座標上に投影し、投影された検出座標に対応付けられているパーティクルに対して各発光手段の識別情報の尤度を保持させることを特徴とする請求項2記載の位置推定装置。
【請求項4】
第1及び第2の検出手段、第1及び第2の算出手段、並びに推定手段を備える位置推定装置を用いた位置推定方法であって、
前記第1の検出手段が、複数の対象物の位置を検出するステップと、
前記第2の検出手段が、前記複数の対象物の各々に対して一意的に割り付けられた識別情報を検出するステップと、
前記第1の算出手段が、前記第1の検出手段により検出された位置を用いて対象物の位置の尤度を算出するステップと、
前記第2の算出手段が、前記第2の検出手段により検出された識別情報を用いて対象物の識別情報の尤度を算出するステップと、
前記推定手段が、前記第1の算出手段により算出された対象物の位置の尤度と、前記第2の算出手段により算出された対象物の識別情報の尤度とを基に各対象物の位置を推定するステップとを含むことを特徴とする位置推定方法。
【請求項5】
複数の対象物の位置を検出する第1の検出手段により検出された位置を用いて対象物の位置の尤度を算出する第1の算出手段と、
前記複数の対象物の各々に対して一意的に割り付けられた識別情報を検出する第2の検出手段により検出された識別情報を用いて対象物の識別情報の尤度を算出する第2の算出手段と、
前記第1の算出手段により算出された対象物の位置の尤度と、前記第2の算出手段により算出された対象物の識別情報の尤度とを基に各対象物の位置を推定する推定手段としてコンピュータを機能させることを特徴とする位置推定プログラム。
【請求項1】
複数の対象物の位置を検出する第1の検出手段と、
前記複数の対象物の各々に対して一意的に割り付けられた識別情報を検出する第2の検出手段と、
前記第1の検出手段により検出された位置を用いて対象物の位置の尤度を算出する第1の算出手段と、
前記第2の検出手段により検出された識別情報を用いて対象物の識別情報の尤度を算出する第2の算出手段と、
前記第1の算出手段により算出された対象物の位置の尤度と、前記第2の算出手段により算出された対象物の識別情報の尤度とを基に各対象物の位置を推定する推定手段とを備えることを特徴とする位置推定装置。
【請求項2】
前記第1の算出手段は、Condensationアルゴリズムに従って、前記第1の検出手段により検出された位置と、対象物の位置に対するシステムモデル及び観測モデルとを用いて対象物の位置の尤度を算出し、
前記第2の算出手段は、Condensationアルゴリズムに従って、前記第2の検出手段により検出された識別情報と、対象物の識別情報に対するシステムモデル及び観測モデルとを用いて対象物の識別情報の尤度を算出することを特徴とする請求項1記載の位置推定装置。
【請求項3】
前記第2の検出手段は、
各対象物に取り付けられ、当該対象物に対して一意的に割り付けられた識別情報に応じて光を発光する複数の発光手段と、
前記発光手段を含む所定領域の画像を撮影する撮影手段と、
前記撮影手段により撮影された画像を用いて前記発光手段の識別情報を検出する識別情報検出手段とを含み、
前記第1の算出手段は、複数のパーティクルを用いて対象物の位置の尤度を算出し、
前記第2の算出手段は、前記撮影手段により撮影された画像上の各発光手段の画素位置を射影変換によって前記第1の検出手段の検出座標上に投影し、投影された検出座標に対応付けられているパーティクルに対して各発光手段の識別情報の尤度を保持させることを特徴とする請求項2記載の位置推定装置。
【請求項4】
第1及び第2の検出手段、第1及び第2の算出手段、並びに推定手段を備える位置推定装置を用いた位置推定方法であって、
前記第1の検出手段が、複数の対象物の位置を検出するステップと、
前記第2の検出手段が、前記複数の対象物の各々に対して一意的に割り付けられた識別情報を検出するステップと、
前記第1の算出手段が、前記第1の検出手段により検出された位置を用いて対象物の位置の尤度を算出するステップと、
前記第2の算出手段が、前記第2の検出手段により検出された識別情報を用いて対象物の識別情報の尤度を算出するステップと、
前記推定手段が、前記第1の算出手段により算出された対象物の位置の尤度と、前記第2の算出手段により算出された対象物の識別情報の尤度とを基に各対象物の位置を推定するステップとを含むことを特徴とする位置推定方法。
【請求項5】
複数の対象物の位置を検出する第1の検出手段により検出された位置を用いて対象物の位置の尤度を算出する第1の算出手段と、
前記複数の対象物の各々に対して一意的に割り付けられた識別情報を検出する第2の検出手段により検出された識別情報を用いて対象物の識別情報の尤度を算出する第2の算出手段と、
前記第1の算出手段により算出された対象物の位置の尤度と、前記第2の算出手段により算出された対象物の識別情報の尤度とを基に各対象物の位置を推定する推定手段としてコンピュータを機能させることを特徴とする位置推定プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図8】
【図10】
【図12】
【図7】
【図9】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図8】
【図10】
【図12】
【図7】
【図9】
【図11】
【公開番号】特開2007−240295(P2007−240295A)
【公開日】平成19年9月20日(2007.9.20)
【国際特許分類】
【出願番号】特願2006−62190(P2006−62190)
【出願日】平成18年3月8日(2006.3.8)
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成17年度独立行政法人情報通信研究機構、研究テーマ「日常行動・状況理解に基づく知識共有システムの研究開発」に関する委託研究、産業活力再生特別措置法第30条の適用を受ける特許出願
【出願人】(393031586)株式会社国際電気通信基礎技術研究所 (905)
【Fターム(参考)】
【公開日】平成19年9月20日(2007.9.20)
【国際特許分類】
【出願日】平成18年3月8日(2006.3.8)
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成17年度独立行政法人情報通信研究機構、研究テーマ「日常行動・状況理解に基づく知識共有システムの研究開発」に関する委託研究、産業活力再生特別措置法第30条の適用を受ける特許出願
【出願人】(393031586)株式会社国際電気通信基礎技術研究所 (905)
【Fターム(参考)】
[ Back to top ]