計測システムおよび計測方法
【課題】距離計測センサを用いて、観測領域内の移動対象を追跡しつつ、精度よく、対象を識別して分類することが可能な計測装置を提供する。
【解決手段】計測装置１００は、対象までの水平方向の距離を計測可能に配置された複数のレーザレンジファインダ１０．１〜１０．４と、計測結果から、対象の位置および移動速度を推定する追跡モジュール５６１０と、計測結果に基づいて、対象の形状を表現する特徴ベクトルを算出する特徴抽出演算部５６２２と、特徴ベクトルに基づいて、対象が予め定められた分類の各クラスに属する確率を事前確率として算出する事前確率計算部５６２４と、対象が他の対象と同期して移動している同期状態であるかを判別し、算出された事前確率と、同期状態にある対象が各クラスに対応する尤度とに基づいて、対象が属するクラスを判別するラベル割当処理部５６２８とを含む。
【解決手段】計測装置１００は、対象までの水平方向の距離を計測可能に配置された複数のレーザレンジファインダ１０．１〜１０．４と、計測結果から、対象の位置および移動速度を推定する追跡モジュール５６１０と、計測結果に基づいて、対象の形状を表現する特徴ベクトルを算出する特徴抽出演算部５６２２と、特徴ベクトルに基づいて、対象が予め定められた分類の各クラスに属する確率を事前確率として算出する事前確率計算部５６２４と、対象が他の対象と同期して移動している同期状態であるかを判別し、算出された事前確率と、同期状態にある対象が各クラスに対応する尤度とに基づいて、対象が属するクラスを判別するラベル割当処理部５６２８とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は計測システムおよび計測方法に関し、特にたとえば、計測対象の位置および形状を追跡しつつ、計測対象を特定するための、計測システムおよび計測方法に関する。
【背景技術】
【０００２】
近年のロボット技術の発展により、これからのロボットには人と共存し協調する役割が求められている。そのためにはロボットに様々な機能、たとえば、環境をロボット自らが判断して理解する機能が必要になる。
【０００３】
また、環境知能の技術分野では、ユーザに提供されるサービスを促進し、利便性を最大化するように、環境上のセンサ等が設計される必要がある。その目的のために、健常者のユーザだけでなく、特定のニーズを持ったユーザも広範囲に考慮する必要がある。高齢者またはハンディキャップをもつユーザが、歩行器、手押し車、車椅子などの様々な補助具を使用している場合、たとえば、ショッピングセンターなどにおいては、ユーザを階段またはエスカレーターの代わりに、エレベータを使用するように誘導するというようなニーズも発生する可能性がある。このような場合は、ある環境中で、動いている対象を識別する技術が必要となる。
【０００４】
したがって、歩行者検知およびそのトラッキングは広い適用領域において、ポピュラーな研究トピックとなっている。
【０００５】
ここで、このような歩行者検知およびそのトラッキングのための方法としては、大きくは、画像認識ベースの技術と、距離センサベースの技術とに分けられる。
【０００６】
ここで、距離センサベースの技術は、一般には、混雑している環境での計測も比較的正確に行え、また、直射日光がさすような環境でも安定して計測できる利点がある。このような距離センサベースの技術では、所定の空間内で、そこを移動する人間の位置を追跡するための技術として、距離センサのデータに基づいて、人を検知し追跡する計測装置の一例が、たとえば、特許文献１に開示されている。
【０００７】
この特許文献１では、計測装置は、コンピュータを含み、コンピュータには複数のレーザーレンジファインダが接続される。複数のレーザーレンジファインダは、 或る環境に配置され、コンピュータは、レーザーレンジファインダの検出結果に基づいて人を追跡する。たとえば、コンピュータは、パーティクルフィルタを用いて、人の位置および移動速度を推定し、胴体および両腕を３つの円で組み合わせた人形状モデルを用いて、人の身体の方向と腕の動きとを推定する。同様の技術内容は、非特許文献１にも開示されている。
【０００８】
また、レーザレンジファインダにより、人間を検知およびトラッキングするに際して、１つの位置に配置されるポールごとに３つ高さのレベル、頭部の高さ、上体の高さ、および脚部の高さに相当するレーザレンジファインダを設置する技術が、非特許文献２に開示されている。
【０００９】
また、カルマンフィルタを用いて、人間の脚を追跡し、人間のパターンと人間以外のパターンとを判別する技術が、非特許文献３に開示されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００９−１６８５７８号公報
【非特許文献】
【００１１】
【非特許文献１】Ｄ． Ｆ． Ｇｌａｓ， Ｔ． Ｍｉｙａｓｈｉｔａ， Ｈ． Ｉｓｈｉｇｕｒｏ， ａｎｄ Ｎ． Ｈａｇｉｔａ， ”Ｌａｓｅｒ−ｂａｓｅｄ ｔｒａｃｋｉｎｇ ｏｆ ｈｕｍａｎ ｐｏｓｉｔｉｏｎ ａｎｄ ｏｒｉｅｎｔａｔｉｏｎ ｕｓｉｎｇ ｐａｒａｍｅｔｒｉｃ ｓｈａｐｅ ｍｏｄｅｌｉｎｇ”， Ａｄｖａｎｃｅｄ Ｒｏｂｏｔｉｃｓ， ｖｏｌ． ２３， ｎｏ． ４， ｐｐ． ４０５−４２８， ２００９
【非特許文献２】Ｏ． Ｍ． Ｍｏｚｏｓ， Ｒ． Ｋｕｒａｚｕｍｅ， ａｎｄ Ｔ． Ｈａｓｅｇａｗａ， “Ｍｕｌｔｉ−Ｐａｒｔ ｐｅｏｐｌｅ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ２Ｄ ｒａｎｇｅ ｄａｔａ”， Ｉｎｔ． Ｊｏｕｒｎａｌ ｏｆ Ｓｏｃｉａｌ Ｒｏｂｏｔｉｃｓ， ｖｏｌ． ２， ｎｏ． １， ｐｐ． ３１−４０， ２０１０
【非特許文献３】Ｋ． Ｏ． Ａｒｒａｓ， Ｓ． Ｇｒｚｏｎｋａ， Ｍ． Ｌｕｂｅｒ， ａｎｄ Ｗ． Ｂｕｒｇａｒｄ， “Ｅｆｆｉｃｉｅｎｔ ｐｅｏｐｌｅ ｔｒａｃｋｉｎｇ ｉｎ ｌａｓｅｒ ｒａｎｇｅ ｄａｔａ ｕｓｉｎｇ ａ ｍｕｌｔｉ−ｈｙｐｏｔｈｅｓｉｓ ｌｅｇ−ｔｒａｃｋｅｒ ｗｉｔｈ ａｄａｐｔｉｖｅ ｏｃｃｌｕｓｉｏｎ ｐｒｏｂａｂｉｌｉｔｉｅｓ，” ｉｎ Ｐｒｏｃ． ｏｆ ＩＥＥＥ Ｉｎｔ． Ｃｏｎｆ． ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ， ２００８， ｐｐ． １７１０−１７１５
【発明の概要】
【発明が解決しようとする課題】
【００１２】
ただし、特許文献１に開示された技術は、距離計測センサによって、被験者の位置、移動速度、身体の向きおよび腕の位置の推定するための技術であって、距離センサのデータに基づいて、検出された対象を識別することを目的としたものではない。
【００１３】
また、非特許文献３のような技術はあるものの、移動する対象が複数同時に存在し、かつ、人間および人間以外の対象が観測領域内に存在するような環境で、対象を追跡しつつ、正確に対象を識別するのは、必ずしも容易ではないという問題があった。
【００１４】
本発明は、上記のような問題を解決するためになされたものであって、その目的は、距離計測センサを用いて、観測領域内の移動対象を追跡しつつ、精度よく、対象を識別して分類することが可能な計測システムおよび計測方法を提供することである。
【課題を解決するための手段】
【００１５】
この発明の１つの局面に従うと、観測領域内で対象の移動を追跡し、対象を分類するための計測システムであって、対象までの水平方向の距離を計測可能に配置された複数の距離計測手段と、複数の距離計測手段によって対象を計測した計測結果を取得する取得手段と、取得手段によって取得された計測結果から、対象の位置および移動速度を推定する追跡手段と、計測結果に基づいて、対象の水平な２次元断面形状の特徴を表現する特徴ベクトルを算出する特徴抽出手段と、特徴ベクトルに基づいて、対象が予め定められた分類の各クラスのうちのいずれのクラスに属するかを判別する判別手段とを備え、判別手段は、特徴ベクトルに基づいて、対象が予め定められた分類の各クラスに属する確率を事前確率として算出する事前確率算出手段と、対象の移動速度および対象間の距離に基づいて、対象が他の対象と同期して移動している同期状態であるかを判別し、事前確率と、同期状態にある対象がクラスに対応する尤度とに基づいて、対象が属するクラスを判別する同期状態検知手段とを含む。
【００１６】
好ましくは、特徴ベクトルは、対象の水平な２次元断面形状のサイズと対象の水平な２次元断面形状のアスペクト比とを表現する、請求項１記載の計測システム。
【００１７】
好ましくは、同期状態検知手段は、対象のペアの速度ベクトルのなす角と、対象のペアのうちの一方の対象の速度ベクトルと対象のペアの対象間の間隔ベクトルとのなす角とに基づいて、対象のペアが同期状態であるかを判別する。
【００１８】
好ましくは、特徴抽出手段は、取得手段によって取得された同時刻における複数の計測結果に所定の間隔のデータを内挿する手段を有する。
【００１９】
この発明の他の局面に従うと、観測領域内で対象の移動を追跡し、対象を分類するための計測方法であって、対象までの水平方向の距離を計測可能に配置された複数の距離計測手段によって対象を計測した計測結果を取得するステップと、取得された計測結果から、対象の位置および移動速度を推定するステップと、計測結果に基づいて、対象の水平な２次元断面形状の特徴を表現する特徴ベクトルを算出するステップと、特徴ベクトルに基づいて、対象が予め定められた分類の各クラスのうちのいずれのクラスに属するかを判別するステップとを備え、判別するステップは、特徴ベクトルに基づいて、対象が予め定められた分類の各クラスに属する確率を事前確率として算出するステップと、対象の移動速度および対象間の距離に基づいて、対象が他の対象と同期して移動している同期状態であるかを判別し、事前確率と、同期状態にある対象がクラスに対応する尤度とに基づいて、対象が属するクラスを判別するステップとを含む。
【発明の効果】
【００２０】
この発明によれば、複数の距離計測手段により、観測領域内で移動する対象を追跡し、その対象が分類のいずれのクラスに属するかを判別する際に、対象の形状を反映した特徴ベクトルに基づいて判別するので、オクルージョンに対してロバストであって、対象の向きに対しても独立に判別が可能となる。
【００２１】
また、この発明によれば、特徴ベクトルによる判別を事前確率として、２つの対象の移動の同期状態による尤度を考慮した事後確率により判別を行うことで、判定の精度を向上させることが可能となる。
【図面の簡単な説明】
【００２２】
【図１】実施の形態１の計測システム１０００の構成を説明するための図である。
【図２】レーザーレンジファインダの検出高さのレベルと検出対象とを示す図である。
【図３】計測演算装置１００のハードウェア構成を説明するためのブロック図である。
【図４】本実施の形態の計測演算装置１００において、上述したＣＰＵ５６がソフトウェアを実行するにより実現する機能を示す機能ブロック図である。
【図５】観測領域に複数の人が存在し、かつ、１つのレーザレンジファインダにより観測がなされる場合を示す概念図である。
【図６】同時に追跡された対象の数と、その観測がなされた時間間隔との関係を示す図である。
【図７】、人ＨとベビーカートＢとが、４つのレーザーレンジファインダ１０．１〜１０．４により測距される様子を示す概念図である。
【図８】対象Ｘ（人Ｈ）および対象Ｙ（ベビーカートＢ）についての特徴ベクトルを示す概念図である。
【図９】判別関数値について、それぞれのクラスＨ，Ｗ，Ｓ，Ｂの正規分布を示す図である。
【図１０】同期状態の特定を実行する対象をモデル化して示す図である。
【図１１】距離ｄ0以内の範囲で移動する２つの対象について、測距データ（エッジ情報）を示す概念図である。
【図１２】追跡モジュール部５６１０および識別処理モジュール５６２０が実行する処理を説明するためのフローチャートである。
【図１３】識別処理モジュール５６２０が実行する各対象へのラベルの割り当て処理を説明するためのフローチャートである。
【図１４】追跡が実施された場合の１つの場面を示す図である。
【図１５】ラベルの割当の結果を示す図である。
【図１６】判別された対象のペアについて、各ペアの判別の正確性を示す図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施の形態の計測システムについて、図に従って説明する。なお、以下の実施の形態において、同じ符号を付した構成要素および処理工程は、同一または相当するものであり、必要でない場合は、その説明は繰り返さない。
【００２４】
（実施の形態１）
図１は、実施の形態１の計測システム１０００の構成を説明するための図である。
【００２５】
図１では、たとえば、ショッピングセンターの一部の領域に、４つの距離計測センサ１０．１〜１０．４を配置した状態を示す。また、計測システム１０００においては、対象の追跡および特定処理を実行するための計測演算装置１００も配置される。ここで、距離計測センサとしては、非接触で二点間の距離を計る計測機器であればよいが、以下では、距離計測センサ１０．１〜１０．４は、それぞれ、レーザーレンジファインダであるものとして説明する。
【００２６】
図１において、所定の観測領域をショッピングセンターとしたことにより、人間（以下、記号Ｈで表す）が移動時に使用する補助具として、ベビーカート（以下、記号Ｂで表す）、ショッピングカート（以下、記号Ｓで表す）、車椅子（以下、記号Ｗで表す）を想定する。
【００２７】
図１においては、人間ＨがベビーカートＢを押している状態、人間ＨがショッピングカートＳを押している状態、人間Ｈが他の人間Ｈと並んで歩行している状態とが例示されている。
【００２８】
また、計測演算装置１００は、特に限定されないが、汎用のコンピュータで実現することが可能であり、レーザーレンジファインダ１０．１〜１０．４とは、所定の規格のインターフェイスを介して接続される。図１の例では、１台の計測演算装置１００にすべてのレーザーレンジファインダ１０．１〜１０．４を接続するようにしてあるが、ＬＡＮのようなネットワークで接続される２台以上のコンピュータで処理を分担するようにしてもよい。その場合には、たとえば、いずれか１台のコンピュータが統括コンピュータとして機能すればよい。
【００２９】
さらに、図１の例では、所定の観測領域における対象を追跡するために、４つのレーザーレンジファインダ１０．１〜１０．４を設けるようにしてあるが、これは単なる例示である。したがって、領域の大きさ、形状、障害物の位置や個数に応じて、レーザーレンジファインダの数は適宜変更される。レーザーレンジファインダ１０．１〜１０．４は、建物内の所定の観測領域内の移動対象を検出可能な位置に配置され、レーザーレンジファインダ １０．１〜１０．４の各々は、少なくとも２つ以上のレーザーレンジファインダ１０．１〜１０．４の検出領域が重なるように配置される。
【００３０】
レーザーレンジファインダ１０．１〜１０．４は、レーザーを照射し、物体に反射して戻ってくるまでの時間から当該物体ための距離を計測するものである。たとえば、トランスミッタ（図示せず）から照射したレーザーを回転ミラー（図示せず）で反射させて、前方を扇状に一定角度（たとえば、０．５度）ずつスキャンする。
【００３１】
ここで、レーザーレンジファインダ１０．１〜１０．４の計測範囲は、半径Ｒの半円形状（扇形）で示される。つまり、レーザーレンジファインダ１０．１〜１０．４は、その正面方向を中心とした場合に、左右について所定の角度、たとえば、９０°の方向を所定の距離（Ｒ）以内で計測可能である。
【００３２】
また、使用しているレーザーは、日本工業規格 JIS C 6802 「レーザー製品の安全基準」におけるクラス１レーザーであり、人の眼に対して影響を及ぼさない安全なレベルであるものとする。
【００３３】
[ハードウェアブロック]
図２は、レーザーレンジファインダの検出高さのレベルと検出対象とを示す図である。
【００３４】
図２に例示されるように、レーザーレンジファインダ１０．１〜１０．４は、人間が移動する際の補助具であるベビーカートＢ、ショッピングカートＳ、車椅子Ｗを識別するために、床から５２ｃｍの高さのレベルＬ２での距離測定を行う。さらに、レーザーレンジファインダ１０．１〜１０．４は、移動対象（歩行者）のトラッキングのために、床から８７ｃｍの高さのレベルＬ１での距離測定を行う。この高さＬ１は、いずれの補助具についてもその上端に近いレベルであるとともに、対象となる歩行者の胴体を検出可能とするために設定された高さであり、たとえば、日本人の成人の平均身長から算出される。したがって、計測システム１０００を設ける場所（地域ないし国）等に応じて、レーザーレンジファインダ１０．１〜１０．４の測距の高さＬ１は、適宜変更されてもよい。
【００３５】
ここで、図示は省略するが、計測演算装置１００の計測結果は、たとえば、被験者とコミュニケーションするロボット（コミュニケーションロボット）などに与えられ、この計測結果を用いて、コミュニケーションロボットは被験者とのコミュニケーションを円滑に実行する、というような構成とすることが可能である。たとえば、コミュニケーションロボットは、被験者の位置を確認して、被験者に近づき、身振りや手振りのような動作（行動）および音声の少なくとも一方によるコミュニケーション行動を実行する。また、被験者が移動する場合には、コミュニケーションロボットはその速度で被験者に並走し、移動しながらコミュニケーションを取ることも可能である。
【００３６】
図３は、計測演算装置１００のハードウェア構成を説明するためのブロック図である。
【００３７】
図３に示されるように、計測演算装置１００は、外部記録媒体６４に記録されたデータを読み取ることができるドライブ装置５２と、バス６６に接続された中央演算装置（ＣＰＵ：Central Processing Unit）５６と、ＲＯＭ（Read Only Memory) ５８と、ＲＡＭ（Random Access Memory）６０と、不揮発性記憶装置５４と、レーザレンジファインダ１０．１〜１０．４からの測距データを取込むためのデータ入力インタフェース（以下、データ入力Ｉ／Ｆ）６８とを含んでいる。
【００３８】
外部記録媒体６４としては、たとえば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭのような光ディスクやメモリカードを使用することができる。ただし、記録媒体ドライブ５２の機能を実現する装置は、光ディスクやフラッシュメモリなどの不揮発性の記録媒体に記憶されたデータを読み出せる装置であれば、対象となる記録媒体は、これらに限定されない。また、不揮発性記憶装置５４の機能を実現する装置も、不揮発的にデータを記憶し、かつ、ランダムアクセスできる装置であれば、ハードディスクのような磁気記憶装置を使用してもよいし、フラッシュメモリなどの不揮発性半導体メモリを記憶装置として用いるソリッドステートドライブ（ＳＳＤ：Solid State Drive）を用いることもできる。
【００３９】
このような計測演算装置１００の主要部は、コンピュータハードウェアと、ＣＰＵ５６により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアは、マスクＲＯＭやプログラマブルＲＯＭなどにより、計測演算装置１００製造時に記録されており、これが実行時にＲＡＭ６０に読みだされる構成としてもよいし、ドライブ装置５２により記録媒体６４から読取られて不揮発性記憶装置５４に一旦格納され、実行時にＲＡＭ６０に読みだされる構成としてもよい。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから、一旦、不揮発性記憶装置５４にコピーされ、不揮発性記憶装置５４からＲＡＭ６０に読出されてＣＰＵ５６により実行される構成であってもよい。
【００４０】
図３に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分の１つは、不揮発性記憶装置５４等の記録媒体に記憶されたソフトウェアである。
【００４１】
［システムの機能ブロック］
以下に説明するとおり、本実施の形態の計測演算装置１００では、コンピュータがレーザーレンジファインダ１０．１〜１０．４からの出力（距離データ）に基づいて、パーティクルフィルタを用いて、対象の位置および速度を推定する。
【００４２】
図４は、本実施の形態の計測演算装置１００において、上述したＣＰＵ５６がソフトウェアを実行するにより実現する機能を示す機能ブロック図である。
【００４３】
なお、図４に示した機能ブロックのうちのＣＰＵ５６が実現する機能ブロックとしては、ソフトウェアでの処理に限定されるものではなく、その一部または全部がハードウェアにより実現されてもよい。
【００４４】
図４を参照して、レーザーレンジファインダ１０．１〜１０．４からの測距信号は、データキャプチャ処理部５６０２により制御されてデジタルデータとして入力され、キャプチャデータ記録処理部５６０４により、たとえば、不揮発性記憶装置５４のような記憶装置に格納される。
【００４５】
後に詳しく説明するように、計測演算装置１００は、さらに、パーティクルフィルタ法を用いて対象の位置の追跡処理を実行するための追跡モジュール部５６１０と、対象を識別して特定する処理を実行するための識別処理モジュール５６２０とを含む。
【００４６】
追跡モジュール部５６１０は、対象の時刻ｔの状態を、対象の動作モデルと前時刻（ｔ−１）の状態およびパーティクルの重みとに基づいて、予測する更新計算部５６１２と、測距データを記憶装置５４から読みだして、パーティクル毎に時刻ｔの測距データと状態との尤度を計算し、各パーティクルの重みを尤度に基づいて割り当てる重み割当計算部５６１４と、すべてのパーティクルが表わす対象の状態と重みとから、現在の対象の状態を推定する状態評価計算部５６１６と、推定された状態と重みに基づいて、パーティクルのリサンプリングを実行するリサンプリング計算部５６１８とを含む。このような追跡モジュール部５６１０の動作については、後に、詳しく説明する。
【００４７】
識別処理モジュール５６２０は、測距データから、各対象について、後に説明する特徴ベクトルを抽出する特徴抽出演算部５６２２と、抽出された特徴ベクトルに基づいて対象の分類のための事前確率を算出する事前確率算出部５６２４と、対象間の距離と対象の速度ベクトルとに基づいて、同期状態（ＣＱ：Coherence Quality）を検知するＣＱ検知部５６２６と、検知された同期状態に応じて、対象に対していずれの分類に属するかのラベルを割り当てるラベル割当処理部５６２８とを含む。
【００４８】
（対象の位置の検出および追跡）
以下では、上述した人を含む対象の位置の検出とその追跡処理について説明する。
【００４９】
本アルゴリズムでは、１つの対象ごとに、パーティクルフィルタと呼ばれるパーティクルの集合を１つ関連付けることにより追跡（トラッキング）を実行する。
【００５０】
このような追跡においては、対象の観測領域への進入、対象の連続的な追跡、対象の観測領域からの退出のイベントを検知する必要がある。
【００５１】
対象の観測領域への侵入は、前時刻までの測距データによる背景モデルと現在のセンサデータとの比較により検知される。背景モデルも、時間とともに更新される。このようにして、前景データ（現時点の対象のデータ）が特定され、このような前景データから、連続したセグメント、すなわち、対象の候補となるパターンが抽出され、このような候補が登録される。
【００５２】
追跡の段階では、このような候補の各々に、パーティクルフィルタが割り当てられる。
【００５３】
パーティクルフィルタによって、対象の候補Ｘについて、以下のように表現される状態ｓX［t］が推定される。
【００５４】
【数１】
そして、上記のような対象の候補Ｘが、所定の期間、たとえば、０．４秒存在し続けた後に、この候補が、有効な対象として登録される。
【００５５】
対象の追跡は、パーティクルフィルタを周期的に更新することにより実行される。
【００５６】
このようなパーティクルフィルタによる追跡処理では、以下のようなステップが繰り返される。
【００５７】
ｉ）更新ステップ
動作モデルにしたがって、各パーティクルの状態が更新される。動作モデルは、追跡処理の対象のダイナミクスを反映したものとなる。
【００５８】
ここで、人間の歩行動作は、人間は、立ち止まったり、急に歩く方向を変えたりするために、単純な線型関数や乱雑動作を表すブラウン運動によっては、近似できない。そこで、動作モデルとしては、パーティクルの状態を上述のように、位置と速度であるとした場合に、速度成分にガウスノイズを加え、このような速度にしたがって、位置が移動するとのモデルを採用する。すなわち、たとえば、以下のような式のモデルを採用する。
【００５９】
【数２】
ここで、ｗx、ｗyは、平均０で、標準偏差σx、σyのガウシアンノイズである。
【００６０】
ｉｉ）重み割当ステップ
尤度モデルにしたがって、各パーティクルに相対的な尤度を表す重みを割り当てる。ここで、尤度は、以下のように表される。
【００６１】
【数３】
なお、尤度モデルについては、後に詳しく説明する。
【００６２】
ｉｉｉ）状態評価ステップ
パーティクルの状態の平均として、各対象の状態が算出される。
【００６３】
ｉｖ）リサンプリングステップ
システムの状態をより正確に反映させるために、パーティクルをその重み比例した確率で、復元抽出して、時刻ｔにおける新たなパーティクルの集合を得る。なお、リサンプリングの方法としては、SIR（Sampling Importance Resampling）法を用いることができるが、この方法に限定されるものではない。
（尤度モデル）
以下では、上述した尤度モデルについて、簡単に説明する。より詳しい説明は、たとえば、非特許文献１に開示がある。
【００６４】
尤度モデルの目的は、上述した尤度を近似するモデルを提供することである。ここで、尤度を計算するに当たり、本実施の形態では、測定の結果得られるのは、複数のレーザレンジファインダによる測定データである。したがって、ロバストな尤度モデルは、センサの測定値に含まれるノイズ、オクルージョンなどに対して、ロバストな尤度の評価を与えうるものでなければならない。
【００６５】
レーザレンジファインダからは、対象の位置を評価するために有用な以下のような情報を得ることができる。
【００６６】
ｉ）占有情報 ： 観測領域内のある点が、ものに占められているか、あるいは、そうでないかを示す情報である。
【００６７】
ｉｉ）エッジ情報 ： 検出された対象のエッジに対応する輪郭線（の一部）の情報である。
【００６８】
図５は、観測領域に複数の人が存在し、かつ、１つのレーザレンジファインダにより観測がなされる場合を示す概念図である。
【００６９】
図５（ａ）は、１つのレーザレンジファインダによるスキャンの様子を示す。図５（ｂ）は、占有情報を示す。ここで、黒で示された領域は、ここでは、人の存在のためにレーザレンジファインダからは、影領域（占有領域）とされた領域である。一方、灰色の領域は、レーザレンジファインダからは可視領域（非占有領域）とされた領域である。
【００７０】
図５（ｃ）は、エッジ情報を示す。すなわち、所定のスキャン間隔でスキャンした時に、レーザレンジファインダの測定から上記占有領域のエッジとされる点の位置情報である。
【００７１】
レーザレンジファインダごとの測定により、領域が「可視領域」「影領域」「観測不能領域」に分割されることで、占有尤度が得られる。ここで、「観測不能領域」とは、そのレーザレンジファインダにとっての背景モデル外の領域である。
【００７２】
ここで、影領域は、必ず、エッジの背後に存在することになる。
【００７３】
上述した状態を計算するために、以下の式を用いる。
【００７４】
【数４】
ここで、ＮSは、レーザレンジファインダの個数であり、定数ｐcolは、２つのパーティクルフィルタが、同一の対象を追跡しないようにするために減算される定数である。
【００７５】
すなわち、基本的には、影領域にあるときの尤度は、定数ｐsと尤度ｐeとの和を、レーザレンジファインダについて積算することで得られる。ここで、尤度ｐeは、観測されたエッジの背後の所定の距離の位置を中心とする正規分布である。ここでは、この所定の距離として、５０ｃｍを採用している。
【００７６】
また、定数ｐoは、可視領域にあるときの尤度を表す定数である。ここで、本来であれば、可視領域では、尤度は０とするべきであるものの、種々の誤差により、実際には、可視領域と影領域との境界は、完全に、２値的には分離できないため、演算にエラー耐性を持たせるために、一定の値を有するものとしている。これにより、パーティクルは、影領域外に存在することになっても、直ちには、消滅しない。
【００７７】
また、観測領域からの対象の退出については、ｉ）その対象に関連付けられたパーティクルが、所定の値以上に広がってしまった場合や、ｉｉ）そのパーティクルフィルタについての尤度の平均が所定の値を下回った場合には、そのパーティクルフィルタは、もはや対象を追跡していないものとして、関連する対象が、登録から削除される。
【００７８】
また、後に説明するように、追跡の対象は、所定の時間、たとえば、２秒以上、観測領域内に存在すると、識別されて分類される対象となる。
【００７９】
（モデリングと特徴抽出）
以下、上述したような対象の識別と分類について説明する。
【００８０】
このような対象の識別のためには、レーザレンジファインダの測距データから、以下に説明するような特徴ベクトルを抽出する。
【００８１】
ここで、このような識別の対象は、上述したようなショッピングセンターのような環境では、対象の形状は似通っているものの、対象の軌道は、さまざまな形状を取りうることになる。しかも、一般には、同時に検出される対象の個数に対して、レーザレンジファインダの個数は同数程度である場合が多い。
【００８２】
図６は、上述したような追跡方法により同時に追跡された対象の数と、その観測がなされた時間間隔との関係を示す図である。
【００８３】
後に説明する実際の実験において、所定の観測領域内では、少なくとも複数の対象が同時に追跡され、多い場合は、６から７個程度が、同時に追跡されている。
【００８４】
より詳しくは、観測時間のそれぞれ、２５％、２９％および２２％が、同時に追跡された対象がそれぞれ、１個、２個および３個の期間である。また、観測時間の２４％が、同時に追跡された対象が４個以上の期間である。
【００８５】
したがって、このような識別のための特徴ベクトルは、以下のような特性を有することが望ましい。
【００８６】
第一に、特徴ベクトルは、オクルージョンに対してロバストであることが必要であり、かつ、対象までの距離とは、独立なものでなければならない。
【００８７】
第二に、対象の軌道は、大きく変わっていく可能性があるものの、特徴ベクトルは、対象の向きとは、独立なものでなければならない。
【００８８】
レーザレンジファインダの測距データをｘ−ｙ平面（水平平面）に変換した時、距離分解能を１００ｍｍ以下に設定すると、測距データにより得られる測定サンプル（エッジ情報）は、観測領域内のセグメント（分割領域）として把握される。さらに、以下に説明するように、特徴ベクトルとして、対象の形状の特徴を表現するものを採用するので、生の測定サンプルに対してより均一な分布となるように前処理が施される。すなわち、レーザレンジファインダが扇型にスキャンすることに伴い、同一時刻での生の測定サンプルは、主としてレーザレンジファインダからの距離に応じて、たとえば、１０ｍｍから１００ｍｍの間隔で存在する。このような場合でも、前処理後の測定サンプルは、所定の間隔、たとえば、１０ｍｍごとに１つ存在することとなるように、生の測定サンプルを線型に内挿したものを生成する。
【００８９】
このような前処理後の測定サンプルを用いて、対象Ｘの形状を表現するパラメータにより、特徴ベクトルは、以下のように表現されるものとする。
【００９０】
【数５】
したがって、第１成分ｆ1Xは、車椅子ＷやベビーカートＢでは、より大きな値となり、人Ｈについては、より小さな値となり、ショッピングカートＳについては、もっとも小さな値となる。これは、図２に示すように、識別に使用される検出の高さレベルＬ２での断面積が、ショッピングカートＳでは、もっとも小さいからである。すなわち、第１成分は、対象の水平な２次元断面形状のサイズを表現する成分である。
【００９１】
第２成分ｆ2Xは、人ＨおよびベビーカートＢについては、比較的広がりを持った分布を持つ。これは、人Ｈは、服装、年齢、性別などによって、この値がばらつくためであり、ベビーカートＢでは、これにバッグがかけられたり、買い物かごが付けられたりするために、値がばらつくことになる。これに比べて、車椅子ＷやショッピングカードＳでは、第２成分のばらつきは小さい。第２成分は、対象の水平な２次元断面形状のアスペクト比に相当する。
【００９２】
このような特徴ベクトルは、上述したような特徴ベクトルに対する一般的な要件をいずれも満たしている。
【００９３】
すなわち、測定サンプルについては、上述したように、まず、生の測定サンプル間で内挿処理をしているために、仮に、オクルージョンにより対象の一部が影になったとしても、すなわち、生の測定サンプルが存在しない領域があっても、そのことが、特徴ベクトルに与える影響が緩和される。
【００９４】
さらに、上述したような前処理を施すことで、測定サンプルが均一に分布することとしているので、特徴ベクトルは、レーザレンジファインダからの距離に独立なものとなり、さらに、第１成分および第２成分は、対象の向きに対しても独立である。
【００９５】
なお、特徴ベクトルは、対象の向きに依存せず、かつ、対象の形状の特徴をパラメータで表現したものであれば、上記のような特定の水平面についての断面でのサイズやアスペクト比に相当するパラメータに限定されない。たとえば、レーザレンジファインダの測距を行う水平面の個数を増やした場合には、そのような他の水平面の形状や、さらには、鉛直方向での形状の変化等を考慮に入れることも可能である。したがって、特徴ベクトルは、対象の向きに依存しない対象の形状を表現する複数のパラメータの列として定義される。
【００９６】
図７は、図１に示した例において、人ＨとベビーカートＢとが、４つのレーザーレンジファインダ１０．１〜１０．４により測距される様子を示す概念図である。
【００９７】
図８は、図７に示した場合において、対象Ｘ（人Ｈ）および対象Ｙ（ベビーカートＢ）についての特徴ベクトルを示す概念図である。
【００９８】
図７に示すような測距により、図８において、黒点で示すような測距データが得られたものとする。
【００９９】
なお、図８では、生の測距データを示しているので、たとえば、ベビーカートＢについては、測定サンプルの欠けた領域がある。ただし、このような領域についても、上述したような前処理後の測定サンプルには、内挿されたデータが生成される。
【０１００】
対象Ｘ（人Ｈ）には、ＮrX個のサンプルがあり、対象Ｙ（ベビーカートＢ）には、ＮrY個の測定サンプルがあるので、これに応じて、特徴ベクトルの第１成分がそれぞれ算出される。
【０１０１】
さらに、対象Ｘについては、固有値ｖ1Xおよびｖ0Xが得られ、対象Ｙについては、固有値ｖ1Yおよびｖ0Yが得られるので、これらに基づいて、特徴ベクトルの第２成分がそれぞれ算出される。
（形状に基づく分類のための事前確率）
まず、形状に特徴に基づいた対象の分類を実行する第１段階として、フィッシャーの線型判別（FLD : Fisher Linear Discriminant）を用いる。
【０１０２】
フィッシャーの線型判別自体は、周知なものであり、たとえば、以下の文献にも開示がある。
【０１０３】
文献１：R. O. Duda, P. E. Hart, and D. G. Stork, Pattern Classification, 2nd ed. Newyork Wiley, 2001
特徴ベクトルｆXに対するフィッシャーの線型判別関数ｇは、以下のような形式に表現される。
【０１０４】
【数６】
ここで、ｗは、重みベクトルであり、ｂは重みしきい値である。
【０１０５】
たとえば、分類に含まれるクラスを、クラスｅiとクラスｅjとで表現する。以下の関係が成り立つのであれば、特徴ベクトルは、クラスｅiが割り当てられる。
【０１０６】
【数７】
分類のための事前確率を得るために、フィッシャーの線型判別関数のトレーニングにおいて得られた各クラスの線型判別関数値に正規分布をフィッティングする。
【０１０７】
図９は、判別関数値について、それぞれのクラスＨ，Ｗ，Ｓ，Ｂの正規分布を示す図である。
【０１０８】
図９において、たとえば、一点鎖線で示されるような判別関数値を有する対象が観測されたとする。
【０１０９】
この場合、このようなグラフから、事前確率計算部５６２４は、対象の分類の事前確率として、対象がベビーカートＢである確率Ｐ（Ｂ）、対象が人Ｈである確率Ｐ（Ｈ）、対象が車椅子Ｗである確率Ｐ（Ｗ）を、それぞれ、得ることができる。
【０１１０】
なお、以上の説明では、フィッシャーの線型判別関数を例にとって説明したが、判別関数としては、これに限定されず、特徴ベクトルから、対応する対象がいずれのクラスに属するかを確率として得られるものであれば、他の判別関数を用いることも可能である。
【０１１１】
（前処理および同期状態の検知）
以下では、ＣＱ検知部５６２６が、一緒に移動する対象を特定し、同期状態を検知するために、２つの対象について、速度ベクトルおよび間隔ベクトルの関係が調べる方法について説明する。
【０１１２】
ここで、同期状態には、横並列移動（side by side）と縦列移動（tandem）とがある。
【０１１３】
図１０は、このような同期状態の特定を実行する対象をモデル化して示す図である。
【０１１４】
図１０に示されるように、３つの対象Ｘ，Ｙ，Ｚが、存在するとする。対象Ｘは、対象Ｙの後ろに従って動いており、対象Ｚは、対象Ｘと隣り合って移動しているものとする。
【０１１５】
このとき、速度ベクトルおよび間隔ベクトルを以下のように定義する。
【０１１６】
【数８】
そこで、まず、実測された測距データから、各対象の速度ベクトルおよび間隔ベクトルを取得する手続きについて説明する。
【０１１７】
追跡処理により得られた対象Ｘの中心位置の時系列データＣ0X［ｔ］＝｛ｃ0X［ｔ］｝から、スムージング処理された位置の時系列データＣX［ｔ］＝｛ｃX［ｔ］｝を以下のような手続きで算出する。
【０１１８】
すなわち、ノイズの影響を低減するために、以下のようなローパスフィルタによる畳み込み（コンボリューション）演算を実行する。
【０１１９】
【数９】
さらに、所定の時間間隔、たとえば、Δｔ＝１００ｍｓｅｃごとに、以下のような平均化を実行し、さらに、スムージングの効果を上げるために、２時間間隔分（２Δｔ）ごとに速度ベクトルを計算する。
【０１２０】
【数１０】
一方、間隔ベクトルは、スムージング後の位置の各時刻における位置、たとえば、位置ｃX［ｔ］と位置ｃY［ｔ］の差として計算される。
【０１２１】
このようにして計算された速度の大きさは、後に説明する実環境でのテストでは、平均９５０ｍｍ／ｓｅｃで、分散３４０ｍｍ／ｓｅｃであった。
【０１２２】
以上のようにして、速度ベクトルおよび間隔ベクトルが所定の時間間隔ごとに算出されると、これに基づいて、以下のようにして、同期状態が判定される。
【０１２３】
以下のような判定は、２つの対象が所定の距離ｄ0以内に存在しており、かつ、それらの速度ベクトルの大きさが所定の大きさＶ0以上であるような対象のペアに対して実行される。
【０１２４】
図１０に示すようなモデルでは、以下のような条件が成り立つことを意味する。
【０１２５】
【数１１】
図１１は、図１で示した例において、このような距離ｄ0以内の範囲で移動する２つの対象について、測距データ（エッジ情報）を示す概念図である。
【０１２６】
ここでは、一例として、距離ｄ0を１ｍとし、大きさＶ0を７５ｍｍ／ｓｅｃであるものとする。
【０１２７】
図１０においては、対象Ｘと対象Ｙとは、同一の方向に移動しているので以下のような式（３）の関係が成り立つ。
【０１２８】
【数１２】
上述した所定の距離の範囲内に存在する２つの対象について、この式（３）のような関係が２つの対象間になり立てば、それらの対象は、一緒に移動しているといえる。
【０１２９】
このような移動をする２つの対象の組み合わせは、横並列移動（たとえば、Ｈ−Ｈのペア）または縦列移動（たとえば、Ｈ−ＳのペアまたはＨ−Ｂのペア）であるので、さらに、２つの対象の間の相対位置を調べれば、いずれの移動モードであるのかが特定できる。
【０１３０】
たとえば、図１０の対象Ｘと対象Ｙについては、対象Ｙの後ろを対象Ｘが同期して移動している縦列移動モードであるので、対象Ｘについては、間隔ベクトルｄXYは、速度ベクトルＶXおよびＶYと同方向を向いているので、以下の式（４）が成り立つ。
【０１３１】
【数１３】
このように、対象Ｘが、他の対象Ｙの後ろ側を一緒に移動している縦列移動モードを、特に、後方縦列移動モード（記号Ｒで表す）と呼ぶ。
【０１３２】
一方、対象Ｙを基準に式（４）と同様の値を計算すると、間隔ベクトルｄYXは、速度ベクトルＶXおよびＶYと逆方向を向いているので、以下の式（４）´が成り立つ。
【０１３３】
【数１４】
このように、対象Ｙが、他の対象Ｘの前側を一緒に移動している縦列移動モードを、特に、前方縦列移動モード（記号Ｆで表す）と呼ぶ。ただし、分類の判別にあたっては、その絶対値も使用される。
【０１３４】
また、図１０において、対象Ｘと対象Ｚとは、横並列移動しているので、間隔ベクトルｄXZは、速度ベクトルＶXおよびＶZと垂直方向を向いているので、以下の式（５）が成り立つ。
【０１３５】
【数１５】
したがって、対象間の距離、対象の移動速度、および上述した式（３）〜（５）の関係をもとにすれば、２つの一緒に移動する対象が、横並列移動モードであって、本実施の形態では、Ｈ−Ｈペアに対応するのか、前方縦列移動モードまたは後方縦列移動モードであって、Ｈ−ＳペアまたはＨ−Ｂペアであるのかを特定することが可能となる。
【０１３６】
（同期状態の判別条件）
なお、現実には、対象は、独立に加速したり、減速したり、あるいは、間隔を変えたりが可能であるので、式（３）〜（５）は、厳密に０または１となることはない。
【０１３７】
そこで、ＣＱ検知部５６２６は、式（３）および式（４）（または式（４）´の絶対値）が、ともに、たとえば、０．８以上であれば、そのような２つの対象は、縦列移動モードで移動しており、Ｈ−ＳペアまたはＨ−Ｂペアに相当すると判定する。なお、式（４）がなりたつか、式（４）´がなりたつかにより、後方縦列移動モードまたは前方縦列移動モードであるかが判定される。
【０１３８】
一方、式（５）の値は、人間同士の移動の相対関係で決まるため、縦列移動モードほど、明確な範囲の値をとることがない。そこで、以下の説明では、ＣＱ検知部５６２６は、式（３）の値が０．８以上であるが、式（４）（または式（４）´の絶対値）が、０．８未満の対象のペアについては、横並列移動モードであって、本実施の形態では、Ｈ−Ｈペアであるものと判別することとする。
【０１３９】
そして、上記いずれの場合にも該当しない場合は、ＣＱ検知部５６２６は、対象が独立して移動している状態であると判断する。
【０１４０】
（事前確率と同期状態（移動モード）との組み合わせによる判別）
対象の分類のクラスを記号ｅで表し、クラスｅは、Ｅ＝｛Ｈ，Ｗ，Ｓ，Ｂ｝のいずれかを意味するものとする。
【０１４１】
また、同期状態を記号ｃｑで表し、同期状態ｃｑは、｛Ｄ，Ｓ，Ｆ，Ｒ｝のいずれかを意味するものとする。ここで、記号Ｄは、対象が独立して移動している状態であり、記号Ｓは、横並列移動モードの状態であり、記号Ｆは、前方縦列移動モードの状態であり、記号Ｒは、後方縦列移動モードの状態であることを示す。
【０１４２】
ベイズ則によれば、同期状態ｃｑであるときに、対象がクラスｅに属する事後確率ｐ（ｅ｜ｃｑ）は、以下の式（６）ように表される。したがって、ラベル割当処理部５６２８は、対象がいずれのクラスに属するかを、式（７）により判定することが可能である。
【０１４３】
【数１６】
ここで、事前確率Ｐ（ｅ）については、上述した特徴ベクトルから導出でき、尤度Ｐ（ｃｑ｜ｅ）については、事前に実験的に複数の対象の実測結果に基づいて、定めておくことが可能である。
【０１４４】
図１２は、以上説明した追跡モジュール部５６１０および識別処理モジュール５６２０が実行する処理を説明するためのフローチャートである。
【０１４５】
図１２を参照して、処理が開始されると、追跡モジュール部５６１０は、パーティクルを初期化する（Ｓ１００）。ここでは、追跡モジュール部５６１０は、全ての（特に限定されないが、たとえば、４００個）パー ティクルを状態空間に均等にばら撒く。ただし、状態空間は、レーザーレンジファインダ１０．１〜１０．４で検出可能な領域に対応する。
【０１４６】
続いて、追跡モジュール部５６１０は、変数ｍを初期化する（ｍ＝１）（Ｓ１０２）。ただし、変数ｍは、状態空間に配置されたパーティクルを識別するための変数である。
【０１４７】
さらに、追跡モジュール部５６１０は、ｍ番目のパーティクルが表わしている時刻ｔ−１の対象Ｘの状態ｓmX［ｔ−１］と、パーティクルの重みπmX[ｔ−１]と、動作モデルとから次の状態ｓmX［ｔ］を求める。
【０１４８】
ただし、上述のとおり、ｍはパーティクルを個別に識別するための添え字である。
【０１４９】
動作モデルについては、線形な移動にガウシアンノイズを組み合わせたモデルを用いる。その具体的な例については、上述したとおりである。
【０１５０】
続いて、追跡モジュール部５６１０は、変数ｍをイクリメントする（Ｓ１０６）。そして、変数ｍが最大値（現在のパーティクルの総数）を超えているかどうかを判断する（Ｓ１０８）。つまり、すべてのパーティクルについて次の状態ｓmX［ｔ］を求めたかどうかを判断する。
【０１５１】
ステップＳ１０８で“ＮＯ”であれば、つまり変数ｍが最大値以下であれば、ステップＳ１０４に戻って、次のパーティクルｍ（←ｍ＋１）についての次の状態ｓmX［ｔ］を求める。
【０１５２】
一方、ステップＳ０８１で“ＹＥＳ”であれば、つまり変数ｍが最大値を超えていれば、すべてのパーティクルｍについての次の状態ｓmX［ｔ］を求めたと判断して、追跡モジュール部５６１０は、ステップＳ１１０で、記憶装置５４から測距データに基づく占有情報（センサデータと称す）を読み取る。
【０１５３】
さらに、追跡モジュール部５６１０は、パーティクルｍ毎に、時刻ｔのセンサデータｒ［ｔ］と状態との尤度を計算する。つまり、ステップＳ１０４で推定した状態ｓmX［ｔ］と、センサデータに基づく実際の状態との類似度を算出し（Ｓ１１２）、重みπmX[ｔ]を求める（Ｓ１１４）。
【０１５４】
尤度については、上述したとおりである。
【０１５５】
また、ステップＳ１１４においては、追跡モジュール部５６１０は、各パーティクルの重みπmX[ｔ]を、ステップＳ１１２で求めた尤度ｐ（ｒ［ｔ］｜ｓmX［ｔ］）の高さに比例させて求める。たとえば、尤度ｐ（ｒ［ｔ］｜ｓmX［ｔ］）の最も高いパーティクルから順に、重みπmX[ｔ]を線形的に変化するように決定してもよいし、一定の閾値毎に、重みπmX[ｔ]を段階的に変化するように決定してもよい。
【０１５６】
続いて、すべてのパーティクルが表わす人の状態ｓmX［ｔ］と重みπmX[ｔ]とから、追跡モジュール部５６１０は、現在の対象の状態を推定する。特に限定されないが、たとえば、２σπ以上の重みπmX[ｔ]を持つパーティクルｍが表わす対象の状態ｓmX［ｔ］を利用して、その平均として現在の対象の状態を推定する。ただし、σπは全パーティクルｍの重みπmX[ｔ]についての標準偏差である。
【０１５７】
以上のようにして、現在までの対象の状態の推定が完了した時点で、識別処理モジュール５６２０が、対象を分類して、各対象にラベルを割り当てる（Ｓ１１８）。この分類の処理については、後述する。
【０１５８】
そして、追跡モジュール部５６１０は、ステップＳ１１１６での現在の対象の状態についての推定結果から、パーティクルを重点的にばら撒く位置（領域）と、消去する パーティクルとを決定し、パーティクルのばら撒きと消去とにより復元抽出して、処理をステップＳ１０２に復帰させる。つまり、リサンプリング処理が実行される。
【０１５９】
図１３は、ステップＳ１１８において、識別処理モジュール５６２０が実行する各対象へのラベルの割り当て処理を説明するためのフローチャートである。
【０１６０】
図１３を参照して、まず、特徴抽出演算部５６２２が、測定されたエッジ情報に基づいて、対象の水平な２次元断面形状のサイズと、対象の水平な２次元断面形状のアスペクト比とを表す特徴ベクトルを抽出する（Ｓ２００）。
【０１６１】
次に、予め設定された線型判別関数に基づいて、事前確率計算部５６２４が、特徴ベクトルから得られる判別関数値に基づき、対象が分類の各クラスに属する確率を表す事前確率を計算する（Ｓ２０２）。
【０１６２】
次に、ＣＱ検知部５６２６が、複数の対象のうち、所定の距離の範囲内にあり、かつ所定の大きさ以上の速度で移動する対象のペアについて、対象の速度ベクトルおよび間隔ベクトルに基づいて、同期状態を分類する（Ｓ２０４）。
【０１６３】
次に、ラベル割当処理部５６２８が、ステップ２０２に求められた事前確率と、予め実験的に求められている対象のクラスに対する同期状態についての尤度に基づいて、事後確率を求めることで、もっとも事後確率の高いクラスのラベルを対象に割り当てる（Ｓ２０６）。
【０１６４】
このようにして、パーティクルフィルタを適用して、対象を追跡することができ、特徴ベクトルから対象の識別が可能となる。ただし、１つの対象に対して１のパーティクルフィルタが必要であるため、複数の対象を同時に追跡する場合には、同じ数だけのパーティクルフィルタが必要である。
（実験結果）
以下、以上説明した追跡および識別処理の正確さおよび整合性を実地にチェックした結果について説明する。
【０１６５】
実験は、ショッピングセンターの入り口ホールにおいて、平日の１５時から１６時の間で実施された。入口ホールは、バッグ持ったり、カートを押したりする多くの顧客が、行き来する場所である。
【０１６６】
追跡を実施した領域（観測領域）は、７．５ｍ×８ｍの矩形領域である。この領域の４隅に、４つのポールを立て、図２に示したように、各ポールにおいて床から高さ５２ｃｍと８７ｃｍの位置にレーザレンジファインダを固定した。特に、床から５２ｃｍの高さは、対象を区別しやすい断面形状が測定できる高さとして設定されたものである。
【０１６７】
レーザレンジファインダのサンプリングレートは、４０Ｈｚであり、角度分解能は、０．２５度である。また、レーザレンジファインダから３０ｍｍから１０ｍまでの範囲が、測距可能な範囲である。３５分間にわたって、レーザレンジファインダによる測距データとともに、ビデオ画像の撮影も同時実施した。ビデオ撮影は、本実施の形態の方法でのラベルの割当の妥当性を、検証するために実施したものである。
【０１６８】
総数５０４個の対象が検知され、ビデオ画像によれば、そのうち、３９１個が人間（Ｈ）であり、３４個が車椅子（Ｗ）であり、４８個がショッピングカート（Ｓ）であり、３１個がベビーカート（Ｂ）である。３９１人の歩行者のうち、２人、３人または４人からなる４４のグループあった。
【０１６９】
図１４は、追跡が実施された場合の１つの場面を示す図である。
【０１７０】
この図の中では、１１個の対象が、移動しているものとして追跡されている。このうち、楕円で囲まれているのは、２人で一緒に移動している３つのグループである。あとは、２人の単独の歩行者と、１つのショッピングカートと、ベビーカートを押しながら移動している１人の歩行者がいる。
【０１７１】
（同期状態を考慮する前の判別結果）
以下では、まず、同期状態を考慮することなく、特徴ベクトルのみに基づいて、対象を判別した結果について説明する。
【０１７２】
ここでは、判別のためのトレーニングのための対象のサンプルと、実際に判別の性能を評価するための試験動作における対象のサンプルとは、異なるものとする。
【０１７３】
図１５は、ラベルの割当の結果を示す図であり、図１５（ａ）は、特徴ベクトルのみに基づいて、ラベルの割当を行った場合の結果を示す図である。
【０１７４】
すなわち、この表において、縦方向は、ビデオ画像から確認された対象に現実に割り当てられるべきラベルを示し、横方向は、試験動作において割り当てられたラベルを示す。
【０１７５】
したがって、試験動作における判別が１００％の精度を有するときは、対角方向のみに０でない要素が現れることになる。
【０１７６】
ただし、図１５(ａ)から明らかなように、特徴ベクトルだけによる判別でもある程度までの判別は可能なものの、現実には、誤ってラベルが割り当てられる場合が相当割合で存在する。
【０１７７】
図１６は、判別された対象のペアについて、各ペアの判別の正確性を示す図である。
【０１７８】
図１６によれば、Ｈ−Ｈペアは、４４ペアのうち、３５ペアが正しく判別されている。
Ｈ−Ｓペアは、４４ペアのうち、４３ペアが正しく判別されている。Ｈ−Ｂペアは、２４ペアのうち、２３ペアが正しく判別されている。
【０１７９】
したがって、判別ミスは主として、Ｈ−Ｈペアにより発生している。これは、Ｈ−Ｈペアでは、移動速度が極端に小さかったり、あるグループが立ち止まり、方向を変えて、別のグループと合流するというようなことがおこったりするからである。
【０１８０】
これに対して、Ｈ−ＳペアやＨ−Ｂペアは、動作がより規則的であるので、より高い割合で、正しく判別されている。
【０１８１】
（同期状態を考慮した後の判別結果）
図１５（ｂ）は、特徴ベクトルと同期状態との双方を考慮して、ラベルの割当を行った結果を示す図である。
【０１８２】
同期状態を考慮することで、人Ｈに対する判別は、成功率が６０％から９５％まで、向上している。また、車椅子Ｗについての成功率も、７４％から８１％まで向上している。
【０１８３】
特徴ベクトルのみを考慮した場合は、人Ｈや車椅子Ｗは、ベビーカートＢと誤認識される場合多かったものの、同期状態を考慮することで、このような誤認識が抑制されていることがわかる。
【０１８４】
以上説明したように、計測演算装置１００のように、複数の距離計測センサにより、観測領域内で移動する対象を追跡し、その対象が分類のいずれのクラスに属するかを判別する際に、対象の大きさや形状を反映した特徴ベクトルを導入すると、オクルージョンに対してロバストであって、対象の向きに対しても独立に判別が可能となる。
【０１８５】
また、このような特徴ベクトルによる判別を事前確率として、２つの対象の移動の同期状態による尤度を考慮した事後確率により判別を行うことで、判定の精度を向上させることが可能となる。
【０１８６】
今回開示された実施の形態は、本発明を具体的に実施するための構成の例示であって、本発明の技術的範囲を制限するものではない。本発明の技術的範囲は、実施の形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲の文言上の範囲および均等の意味の範囲内での変更が含まれることが意図される。
【符号の説明】
【０１８７】
１０．１〜１０．４ レーザーレンジファインダ、５２ ドライブ装置、５４ 不揮発性記憶装置、５６ ＣＰＵ、５８ ＲＯＭ、６０ ＲＡＭ、６４ 外部記録媒体、６６ バス、１００ 計測演算装置、５６０２ データキャプチャ処理部、５６０４ キャプチャデータ記録処理部、５６１０ 追跡モジュール部、５６１２ 更新計算部、５６１４ 重み割当計算部、５６１６ 状態評価計算部、５６１８ リサンプリング計算部、５６２０ 識別処理モジュール、５６２２ 特徴抽出演算部、５６２４ 事前確率算出部、５６２６ ＣＱ検知部、５６２８ ラベル割当処理部。
【技術分野】
【０００１】
この発明は計測システムおよび計測方法に関し、特にたとえば、計測対象の位置および形状を追跡しつつ、計測対象を特定するための、計測システムおよび計測方法に関する。
【背景技術】
【０００２】
近年のロボット技術の発展により、これからのロボットには人と共存し協調する役割が求められている。そのためにはロボットに様々な機能、たとえば、環境をロボット自らが判断して理解する機能が必要になる。
【０００３】
また、環境知能の技術分野では、ユーザに提供されるサービスを促進し、利便性を最大化するように、環境上のセンサ等が設計される必要がある。その目的のために、健常者のユーザだけでなく、特定のニーズを持ったユーザも広範囲に考慮する必要がある。高齢者またはハンディキャップをもつユーザが、歩行器、手押し車、車椅子などの様々な補助具を使用している場合、たとえば、ショッピングセンターなどにおいては、ユーザを階段またはエスカレーターの代わりに、エレベータを使用するように誘導するというようなニーズも発生する可能性がある。このような場合は、ある環境中で、動いている対象を識別する技術が必要となる。
【０００４】
したがって、歩行者検知およびそのトラッキングは広い適用領域において、ポピュラーな研究トピックとなっている。
【０００５】
ここで、このような歩行者検知およびそのトラッキングのための方法としては、大きくは、画像認識ベースの技術と、距離センサベースの技術とに分けられる。
【０００６】
ここで、距離センサベースの技術は、一般には、混雑している環境での計測も比較的正確に行え、また、直射日光がさすような環境でも安定して計測できる利点がある。このような距離センサベースの技術では、所定の空間内で、そこを移動する人間の位置を追跡するための技術として、距離センサのデータに基づいて、人を検知し追跡する計測装置の一例が、たとえば、特許文献１に開示されている。
【０００７】
この特許文献１では、計測装置は、コンピュータを含み、コンピュータには複数のレーザーレンジファインダが接続される。複数のレーザーレンジファインダは、 或る環境に配置され、コンピュータは、レーザーレンジファインダの検出結果に基づいて人を追跡する。たとえば、コンピュータは、パーティクルフィルタを用いて、人の位置および移動速度を推定し、胴体および両腕を３つの円で組み合わせた人形状モデルを用いて、人の身体の方向と腕の動きとを推定する。同様の技術内容は、非特許文献１にも開示されている。
【０００８】
また、レーザレンジファインダにより、人間を検知およびトラッキングするに際して、１つの位置に配置されるポールごとに３つ高さのレベル、頭部の高さ、上体の高さ、および脚部の高さに相当するレーザレンジファインダを設置する技術が、非特許文献２に開示されている。
【０００９】
また、カルマンフィルタを用いて、人間の脚を追跡し、人間のパターンと人間以外のパターンとを判別する技術が、非特許文献３に開示されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００９−１６８５７８号公報
【非特許文献】
【００１１】
【非特許文献１】Ｄ． Ｆ． Ｇｌａｓ， Ｔ． Ｍｉｙａｓｈｉｔａ， Ｈ． Ｉｓｈｉｇｕｒｏ， ａｎｄ Ｎ． Ｈａｇｉｔａ， ”Ｌａｓｅｒ−ｂａｓｅｄ ｔｒａｃｋｉｎｇ ｏｆ ｈｕｍａｎ ｐｏｓｉｔｉｏｎ ａｎｄ ｏｒｉｅｎｔａｔｉｏｎ ｕｓｉｎｇ ｐａｒａｍｅｔｒｉｃ ｓｈａｐｅ ｍｏｄｅｌｉｎｇ”， Ａｄｖａｎｃｅｄ Ｒｏｂｏｔｉｃｓ， ｖｏｌ． ２３， ｎｏ． ４， ｐｐ． ４０５−４２８， ２００９
【非特許文献２】Ｏ． Ｍ． Ｍｏｚｏｓ， Ｒ． Ｋｕｒａｚｕｍｅ， ａｎｄ Ｔ． Ｈａｓｅｇａｗａ， “Ｍｕｌｔｉ−Ｐａｒｔ ｐｅｏｐｌｅ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ２Ｄ ｒａｎｇｅ ｄａｔａ”， Ｉｎｔ． Ｊｏｕｒｎａｌ ｏｆ Ｓｏｃｉａｌ Ｒｏｂｏｔｉｃｓ， ｖｏｌ． ２， ｎｏ． １， ｐｐ． ３１−４０， ２０１０
【非特許文献３】Ｋ． Ｏ． Ａｒｒａｓ， Ｓ． Ｇｒｚｏｎｋａ， Ｍ． Ｌｕｂｅｒ， ａｎｄ Ｗ． Ｂｕｒｇａｒｄ， “Ｅｆｆｉｃｉｅｎｔ ｐｅｏｐｌｅ ｔｒａｃｋｉｎｇ ｉｎ ｌａｓｅｒ ｒａｎｇｅ ｄａｔａ ｕｓｉｎｇ ａ ｍｕｌｔｉ−ｈｙｐｏｔｈｅｓｉｓ ｌｅｇ−ｔｒａｃｋｅｒ ｗｉｔｈ ａｄａｐｔｉｖｅ ｏｃｃｌｕｓｉｏｎ ｐｒｏｂａｂｉｌｉｔｉｅｓ，” ｉｎ Ｐｒｏｃ． ｏｆ ＩＥＥＥ Ｉｎｔ． Ｃｏｎｆ． ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ， ２００８， ｐｐ． １７１０−１７１５
【発明の概要】
【発明が解決しようとする課題】
【００１２】
ただし、特許文献１に開示された技術は、距離計測センサによって、被験者の位置、移動速度、身体の向きおよび腕の位置の推定するための技術であって、距離センサのデータに基づいて、検出された対象を識別することを目的としたものではない。
【００１３】
また、非特許文献３のような技術はあるものの、移動する対象が複数同時に存在し、かつ、人間および人間以外の対象が観測領域内に存在するような環境で、対象を追跡しつつ、正確に対象を識別するのは、必ずしも容易ではないという問題があった。
【００１４】
本発明は、上記のような問題を解決するためになされたものであって、その目的は、距離計測センサを用いて、観測領域内の移動対象を追跡しつつ、精度よく、対象を識別して分類することが可能な計測システムおよび計測方法を提供することである。
【課題を解決するための手段】
【００１５】
この発明の１つの局面に従うと、観測領域内で対象の移動を追跡し、対象を分類するための計測システムであって、対象までの水平方向の距離を計測可能に配置された複数の距離計測手段と、複数の距離計測手段によって対象を計測した計測結果を取得する取得手段と、取得手段によって取得された計測結果から、対象の位置および移動速度を推定する追跡手段と、計測結果に基づいて、対象の水平な２次元断面形状の特徴を表現する特徴ベクトルを算出する特徴抽出手段と、特徴ベクトルに基づいて、対象が予め定められた分類の各クラスのうちのいずれのクラスに属するかを判別する判別手段とを備え、判別手段は、特徴ベクトルに基づいて、対象が予め定められた分類の各クラスに属する確率を事前確率として算出する事前確率算出手段と、対象の移動速度および対象間の距離に基づいて、対象が他の対象と同期して移動している同期状態であるかを判別し、事前確率と、同期状態にある対象がクラスに対応する尤度とに基づいて、対象が属するクラスを判別する同期状態検知手段とを含む。
【００１６】
好ましくは、特徴ベクトルは、対象の水平な２次元断面形状のサイズと対象の水平な２次元断面形状のアスペクト比とを表現する、請求項１記載の計測システム。
【００１７】
好ましくは、同期状態検知手段は、対象のペアの速度ベクトルのなす角と、対象のペアのうちの一方の対象の速度ベクトルと対象のペアの対象間の間隔ベクトルとのなす角とに基づいて、対象のペアが同期状態であるかを判別する。
【００１８】
好ましくは、特徴抽出手段は、取得手段によって取得された同時刻における複数の計測結果に所定の間隔のデータを内挿する手段を有する。
【００１９】
この発明の他の局面に従うと、観測領域内で対象の移動を追跡し、対象を分類するための計測方法であって、対象までの水平方向の距離を計測可能に配置された複数の距離計測手段によって対象を計測した計測結果を取得するステップと、取得された計測結果から、対象の位置および移動速度を推定するステップと、計測結果に基づいて、対象の水平な２次元断面形状の特徴を表現する特徴ベクトルを算出するステップと、特徴ベクトルに基づいて、対象が予め定められた分類の各クラスのうちのいずれのクラスに属するかを判別するステップとを備え、判別するステップは、特徴ベクトルに基づいて、対象が予め定められた分類の各クラスに属する確率を事前確率として算出するステップと、対象の移動速度および対象間の距離に基づいて、対象が他の対象と同期して移動している同期状態であるかを判別し、事前確率と、同期状態にある対象がクラスに対応する尤度とに基づいて、対象が属するクラスを判別するステップとを含む。
【発明の効果】
【００２０】
この発明によれば、複数の距離計測手段により、観測領域内で移動する対象を追跡し、その対象が分類のいずれのクラスに属するかを判別する際に、対象の形状を反映した特徴ベクトルに基づいて判別するので、オクルージョンに対してロバストであって、対象の向きに対しても独立に判別が可能となる。
【００２１】
また、この発明によれば、特徴ベクトルによる判別を事前確率として、２つの対象の移動の同期状態による尤度を考慮した事後確率により判別を行うことで、判定の精度を向上させることが可能となる。
【図面の簡単な説明】
【００２２】
【図１】実施の形態１の計測システム１０００の構成を説明するための図である。
【図２】レーザーレンジファインダの検出高さのレベルと検出対象とを示す図である。
【図３】計測演算装置１００のハードウェア構成を説明するためのブロック図である。
【図４】本実施の形態の計測演算装置１００において、上述したＣＰＵ５６がソフトウェアを実行するにより実現する機能を示す機能ブロック図である。
【図５】観測領域に複数の人が存在し、かつ、１つのレーザレンジファインダにより観測がなされる場合を示す概念図である。
【図６】同時に追跡された対象の数と、その観測がなされた時間間隔との関係を示す図である。
【図７】、人ＨとベビーカートＢとが、４つのレーザーレンジファインダ１０．１〜１０．４により測距される様子を示す概念図である。
【図８】対象Ｘ（人Ｈ）および対象Ｙ（ベビーカートＢ）についての特徴ベクトルを示す概念図である。
【図９】判別関数値について、それぞれのクラスＨ，Ｗ，Ｓ，Ｂの正規分布を示す図である。
【図１０】同期状態の特定を実行する対象をモデル化して示す図である。
【図１１】距離ｄ0以内の範囲で移動する２つの対象について、測距データ（エッジ情報）を示す概念図である。
【図１２】追跡モジュール部５６１０および識別処理モジュール５６２０が実行する処理を説明するためのフローチャートである。
【図１３】識別処理モジュール５６２０が実行する各対象へのラベルの割り当て処理を説明するためのフローチャートである。
【図１４】追跡が実施された場合の１つの場面を示す図である。
【図１５】ラベルの割当の結果を示す図である。
【図１６】判別された対象のペアについて、各ペアの判別の正確性を示す図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施の形態の計測システムについて、図に従って説明する。なお、以下の実施の形態において、同じ符号を付した構成要素および処理工程は、同一または相当するものであり、必要でない場合は、その説明は繰り返さない。
【００２４】
（実施の形態１）
図１は、実施の形態１の計測システム１０００の構成を説明するための図である。
【００２５】
図１では、たとえば、ショッピングセンターの一部の領域に、４つの距離計測センサ１０．１〜１０．４を配置した状態を示す。また、計測システム１０００においては、対象の追跡および特定処理を実行するための計測演算装置１００も配置される。ここで、距離計測センサとしては、非接触で二点間の距離を計る計測機器であればよいが、以下では、距離計測センサ１０．１〜１０．４は、それぞれ、レーザーレンジファインダであるものとして説明する。
【００２６】
図１において、所定の観測領域をショッピングセンターとしたことにより、人間（以下、記号Ｈで表す）が移動時に使用する補助具として、ベビーカート（以下、記号Ｂで表す）、ショッピングカート（以下、記号Ｓで表す）、車椅子（以下、記号Ｗで表す）を想定する。
【００２７】
図１においては、人間ＨがベビーカートＢを押している状態、人間ＨがショッピングカートＳを押している状態、人間Ｈが他の人間Ｈと並んで歩行している状態とが例示されている。
【００２８】
また、計測演算装置１００は、特に限定されないが、汎用のコンピュータで実現することが可能であり、レーザーレンジファインダ１０．１〜１０．４とは、所定の規格のインターフェイスを介して接続される。図１の例では、１台の計測演算装置１００にすべてのレーザーレンジファインダ１０．１〜１０．４を接続するようにしてあるが、ＬＡＮのようなネットワークで接続される２台以上のコンピュータで処理を分担するようにしてもよい。その場合には、たとえば、いずれか１台のコンピュータが統括コンピュータとして機能すればよい。
【００２９】
さらに、図１の例では、所定の観測領域における対象を追跡するために、４つのレーザーレンジファインダ１０．１〜１０．４を設けるようにしてあるが、これは単なる例示である。したがって、領域の大きさ、形状、障害物の位置や個数に応じて、レーザーレンジファインダの数は適宜変更される。レーザーレンジファインダ１０．１〜１０．４は、建物内の所定の観測領域内の移動対象を検出可能な位置に配置され、レーザーレンジファインダ １０．１〜１０．４の各々は、少なくとも２つ以上のレーザーレンジファインダ１０．１〜１０．４の検出領域が重なるように配置される。
【００３０】
レーザーレンジファインダ１０．１〜１０．４は、レーザーを照射し、物体に反射して戻ってくるまでの時間から当該物体ための距離を計測するものである。たとえば、トランスミッタ（図示せず）から照射したレーザーを回転ミラー（図示せず）で反射させて、前方を扇状に一定角度（たとえば、０．５度）ずつスキャンする。
【００３１】
ここで、レーザーレンジファインダ１０．１〜１０．４の計測範囲は、半径Ｒの半円形状（扇形）で示される。つまり、レーザーレンジファインダ１０．１〜１０．４は、その正面方向を中心とした場合に、左右について所定の角度、たとえば、９０°の方向を所定の距離（Ｒ）以内で計測可能である。
【００３２】
また、使用しているレーザーは、日本工業規格 JIS C 6802 「レーザー製品の安全基準」におけるクラス１レーザーであり、人の眼に対して影響を及ぼさない安全なレベルであるものとする。
【００３３】
[ハードウェアブロック]
図２は、レーザーレンジファインダの検出高さのレベルと検出対象とを示す図である。
【００３４】
図２に例示されるように、レーザーレンジファインダ１０．１〜１０．４は、人間が移動する際の補助具であるベビーカートＢ、ショッピングカートＳ、車椅子Ｗを識別するために、床から５２ｃｍの高さのレベルＬ２での距離測定を行う。さらに、レーザーレンジファインダ１０．１〜１０．４は、移動対象（歩行者）のトラッキングのために、床から８７ｃｍの高さのレベルＬ１での距離測定を行う。この高さＬ１は、いずれの補助具についてもその上端に近いレベルであるとともに、対象となる歩行者の胴体を検出可能とするために設定された高さであり、たとえば、日本人の成人の平均身長から算出される。したがって、計測システム１０００を設ける場所（地域ないし国）等に応じて、レーザーレンジファインダ１０．１〜１０．４の測距の高さＬ１は、適宜変更されてもよい。
【００３５】
ここで、図示は省略するが、計測演算装置１００の計測結果は、たとえば、被験者とコミュニケーションするロボット（コミュニケーションロボット）などに与えられ、この計測結果を用いて、コミュニケーションロボットは被験者とのコミュニケーションを円滑に実行する、というような構成とすることが可能である。たとえば、コミュニケーションロボットは、被験者の位置を確認して、被験者に近づき、身振りや手振りのような動作（行動）および音声の少なくとも一方によるコミュニケーション行動を実行する。また、被験者が移動する場合には、コミュニケーションロボットはその速度で被験者に並走し、移動しながらコミュニケーションを取ることも可能である。
【００３６】
図３は、計測演算装置１００のハードウェア構成を説明するためのブロック図である。
【００３７】
図３に示されるように、計測演算装置１００は、外部記録媒体６４に記録されたデータを読み取ることができるドライブ装置５２と、バス６６に接続された中央演算装置（ＣＰＵ：Central Processing Unit）５６と、ＲＯＭ（Read Only Memory) ５８と、ＲＡＭ（Random Access Memory）６０と、不揮発性記憶装置５４と、レーザレンジファインダ１０．１〜１０．４からの測距データを取込むためのデータ入力インタフェース（以下、データ入力Ｉ／Ｆ）６８とを含んでいる。
【００３８】
外部記録媒体６４としては、たとえば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭのような光ディスクやメモリカードを使用することができる。ただし、記録媒体ドライブ５２の機能を実現する装置は、光ディスクやフラッシュメモリなどの不揮発性の記録媒体に記憶されたデータを読み出せる装置であれば、対象となる記録媒体は、これらに限定されない。また、不揮発性記憶装置５４の機能を実現する装置も、不揮発的にデータを記憶し、かつ、ランダムアクセスできる装置であれば、ハードディスクのような磁気記憶装置を使用してもよいし、フラッシュメモリなどの不揮発性半導体メモリを記憶装置として用いるソリッドステートドライブ（ＳＳＤ：Solid State Drive）を用いることもできる。
【００３９】
このような計測演算装置１００の主要部は、コンピュータハードウェアと、ＣＰＵ５６により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアは、マスクＲＯＭやプログラマブルＲＯＭなどにより、計測演算装置１００製造時に記録されており、これが実行時にＲＡＭ６０に読みだされる構成としてもよいし、ドライブ装置５２により記録媒体６４から読取られて不揮発性記憶装置５４に一旦格納され、実行時にＲＡＭ６０に読みだされる構成としてもよい。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから、一旦、不揮発性記憶装置５４にコピーされ、不揮発性記憶装置５４からＲＡＭ６０に読出されてＣＰＵ５６により実行される構成であってもよい。
【００４０】
図３に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分の１つは、不揮発性記憶装置５４等の記録媒体に記憶されたソフトウェアである。
【００４１】
［システムの機能ブロック］
以下に説明するとおり、本実施の形態の計測演算装置１００では、コンピュータがレーザーレンジファインダ１０．１〜１０．４からの出力（距離データ）に基づいて、パーティクルフィルタを用いて、対象の位置および速度を推定する。
【００４２】
図４は、本実施の形態の計測演算装置１００において、上述したＣＰＵ５６がソフトウェアを実行するにより実現する機能を示す機能ブロック図である。
【００４３】
なお、図４に示した機能ブロックのうちのＣＰＵ５６が実現する機能ブロックとしては、ソフトウェアでの処理に限定されるものではなく、その一部または全部がハードウェアにより実現されてもよい。
【００４４】
図４を参照して、レーザーレンジファインダ１０．１〜１０．４からの測距信号は、データキャプチャ処理部５６０２により制御されてデジタルデータとして入力され、キャプチャデータ記録処理部５６０４により、たとえば、不揮発性記憶装置５４のような記憶装置に格納される。
【００４５】
後に詳しく説明するように、計測演算装置１００は、さらに、パーティクルフィルタ法を用いて対象の位置の追跡処理を実行するための追跡モジュール部５６１０と、対象を識別して特定する処理を実行するための識別処理モジュール５６２０とを含む。
【００４６】
追跡モジュール部５６１０は、対象の時刻ｔの状態を、対象の動作モデルと前時刻（ｔ−１）の状態およびパーティクルの重みとに基づいて、予測する更新計算部５６１２と、測距データを記憶装置５４から読みだして、パーティクル毎に時刻ｔの測距データと状態との尤度を計算し、各パーティクルの重みを尤度に基づいて割り当てる重み割当計算部５６１４と、すべてのパーティクルが表わす対象の状態と重みとから、現在の対象の状態を推定する状態評価計算部５６１６と、推定された状態と重みに基づいて、パーティクルのリサンプリングを実行するリサンプリング計算部５６１８とを含む。このような追跡モジュール部５６１０の動作については、後に、詳しく説明する。
【００４７】
識別処理モジュール５６２０は、測距データから、各対象について、後に説明する特徴ベクトルを抽出する特徴抽出演算部５６２２と、抽出された特徴ベクトルに基づいて対象の分類のための事前確率を算出する事前確率算出部５６２４と、対象間の距離と対象の速度ベクトルとに基づいて、同期状態（ＣＱ：Coherence Quality）を検知するＣＱ検知部５６２６と、検知された同期状態に応じて、対象に対していずれの分類に属するかのラベルを割り当てるラベル割当処理部５６２８とを含む。
【００４８】
（対象の位置の検出および追跡）
以下では、上述した人を含む対象の位置の検出とその追跡処理について説明する。
【００４９】
本アルゴリズムでは、１つの対象ごとに、パーティクルフィルタと呼ばれるパーティクルの集合を１つ関連付けることにより追跡（トラッキング）を実行する。
【００５０】
このような追跡においては、対象の観測領域への進入、対象の連続的な追跡、対象の観測領域からの退出のイベントを検知する必要がある。
【００５１】
対象の観測領域への侵入は、前時刻までの測距データによる背景モデルと現在のセンサデータとの比較により検知される。背景モデルも、時間とともに更新される。このようにして、前景データ（現時点の対象のデータ）が特定され、このような前景データから、連続したセグメント、すなわち、対象の候補となるパターンが抽出され、このような候補が登録される。
【００５２】
追跡の段階では、このような候補の各々に、パーティクルフィルタが割り当てられる。
【００５３】
パーティクルフィルタによって、対象の候補Ｘについて、以下のように表現される状態ｓX［t］が推定される。
【００５４】
【数１】
そして、上記のような対象の候補Ｘが、所定の期間、たとえば、０．４秒存在し続けた後に、この候補が、有効な対象として登録される。
【００５５】
対象の追跡は、パーティクルフィルタを周期的に更新することにより実行される。
【００５６】
このようなパーティクルフィルタによる追跡処理では、以下のようなステップが繰り返される。
【００５７】
ｉ）更新ステップ
動作モデルにしたがって、各パーティクルの状態が更新される。動作モデルは、追跡処理の対象のダイナミクスを反映したものとなる。
【００５８】
ここで、人間の歩行動作は、人間は、立ち止まったり、急に歩く方向を変えたりするために、単純な線型関数や乱雑動作を表すブラウン運動によっては、近似できない。そこで、動作モデルとしては、パーティクルの状態を上述のように、位置と速度であるとした場合に、速度成分にガウスノイズを加え、このような速度にしたがって、位置が移動するとのモデルを採用する。すなわち、たとえば、以下のような式のモデルを採用する。
【００５９】
【数２】
ここで、ｗx、ｗyは、平均０で、標準偏差σx、σyのガウシアンノイズである。
【００６０】
ｉｉ）重み割当ステップ
尤度モデルにしたがって、各パーティクルに相対的な尤度を表す重みを割り当てる。ここで、尤度は、以下のように表される。
【００６１】
【数３】
なお、尤度モデルについては、後に詳しく説明する。
【００６２】
ｉｉｉ）状態評価ステップ
パーティクルの状態の平均として、各対象の状態が算出される。
【００６３】
ｉｖ）リサンプリングステップ
システムの状態をより正確に反映させるために、パーティクルをその重み比例した確率で、復元抽出して、時刻ｔにおける新たなパーティクルの集合を得る。なお、リサンプリングの方法としては、SIR（Sampling Importance Resampling）法を用いることができるが、この方法に限定されるものではない。
（尤度モデル）
以下では、上述した尤度モデルについて、簡単に説明する。より詳しい説明は、たとえば、非特許文献１に開示がある。
【００６４】
尤度モデルの目的は、上述した尤度を近似するモデルを提供することである。ここで、尤度を計算するに当たり、本実施の形態では、測定の結果得られるのは、複数のレーザレンジファインダによる測定データである。したがって、ロバストな尤度モデルは、センサの測定値に含まれるノイズ、オクルージョンなどに対して、ロバストな尤度の評価を与えうるものでなければならない。
【００６５】
レーザレンジファインダからは、対象の位置を評価するために有用な以下のような情報を得ることができる。
【００６６】
ｉ）占有情報 ： 観測領域内のある点が、ものに占められているか、あるいは、そうでないかを示す情報である。
【００６７】
ｉｉ）エッジ情報 ： 検出された対象のエッジに対応する輪郭線（の一部）の情報である。
【００６８】
図５は、観測領域に複数の人が存在し、かつ、１つのレーザレンジファインダにより観測がなされる場合を示す概念図である。
【００６９】
図５（ａ）は、１つのレーザレンジファインダによるスキャンの様子を示す。図５（ｂ）は、占有情報を示す。ここで、黒で示された領域は、ここでは、人の存在のためにレーザレンジファインダからは、影領域（占有領域）とされた領域である。一方、灰色の領域は、レーザレンジファインダからは可視領域（非占有領域）とされた領域である。
【００７０】
図５（ｃ）は、エッジ情報を示す。すなわち、所定のスキャン間隔でスキャンした時に、レーザレンジファインダの測定から上記占有領域のエッジとされる点の位置情報である。
【００７１】
レーザレンジファインダごとの測定により、領域が「可視領域」「影領域」「観測不能領域」に分割されることで、占有尤度が得られる。ここで、「観測不能領域」とは、そのレーザレンジファインダにとっての背景モデル外の領域である。
【００７２】
ここで、影領域は、必ず、エッジの背後に存在することになる。
【００７３】
上述した状態を計算するために、以下の式を用いる。
【００７４】
【数４】
ここで、ＮSは、レーザレンジファインダの個数であり、定数ｐcolは、２つのパーティクルフィルタが、同一の対象を追跡しないようにするために減算される定数である。
【００７５】
すなわち、基本的には、影領域にあるときの尤度は、定数ｐsと尤度ｐeとの和を、レーザレンジファインダについて積算することで得られる。ここで、尤度ｐeは、観測されたエッジの背後の所定の距離の位置を中心とする正規分布である。ここでは、この所定の距離として、５０ｃｍを採用している。
【００７６】
また、定数ｐoは、可視領域にあるときの尤度を表す定数である。ここで、本来であれば、可視領域では、尤度は０とするべきであるものの、種々の誤差により、実際には、可視領域と影領域との境界は、完全に、２値的には分離できないため、演算にエラー耐性を持たせるために、一定の値を有するものとしている。これにより、パーティクルは、影領域外に存在することになっても、直ちには、消滅しない。
【００７７】
また、観測領域からの対象の退出については、ｉ）その対象に関連付けられたパーティクルが、所定の値以上に広がってしまった場合や、ｉｉ）そのパーティクルフィルタについての尤度の平均が所定の値を下回った場合には、そのパーティクルフィルタは、もはや対象を追跡していないものとして、関連する対象が、登録から削除される。
【００７８】
また、後に説明するように、追跡の対象は、所定の時間、たとえば、２秒以上、観測領域内に存在すると、識別されて分類される対象となる。
【００７９】
（モデリングと特徴抽出）
以下、上述したような対象の識別と分類について説明する。
【００８０】
このような対象の識別のためには、レーザレンジファインダの測距データから、以下に説明するような特徴ベクトルを抽出する。
【００８１】
ここで、このような識別の対象は、上述したようなショッピングセンターのような環境では、対象の形状は似通っているものの、対象の軌道は、さまざまな形状を取りうることになる。しかも、一般には、同時に検出される対象の個数に対して、レーザレンジファインダの個数は同数程度である場合が多い。
【００８２】
図６は、上述したような追跡方法により同時に追跡された対象の数と、その観測がなされた時間間隔との関係を示す図である。
【００８３】
後に説明する実際の実験において、所定の観測領域内では、少なくとも複数の対象が同時に追跡され、多い場合は、６から７個程度が、同時に追跡されている。
【００８４】
より詳しくは、観測時間のそれぞれ、２５％、２９％および２２％が、同時に追跡された対象がそれぞれ、１個、２個および３個の期間である。また、観測時間の２４％が、同時に追跡された対象が４個以上の期間である。
【００８５】
したがって、このような識別のための特徴ベクトルは、以下のような特性を有することが望ましい。
【００８６】
第一に、特徴ベクトルは、オクルージョンに対してロバストであることが必要であり、かつ、対象までの距離とは、独立なものでなければならない。
【００８７】
第二に、対象の軌道は、大きく変わっていく可能性があるものの、特徴ベクトルは、対象の向きとは、独立なものでなければならない。
【００８８】
レーザレンジファインダの測距データをｘ−ｙ平面（水平平面）に変換した時、距離分解能を１００ｍｍ以下に設定すると、測距データにより得られる測定サンプル（エッジ情報）は、観測領域内のセグメント（分割領域）として把握される。さらに、以下に説明するように、特徴ベクトルとして、対象の形状の特徴を表現するものを採用するので、生の測定サンプルに対してより均一な分布となるように前処理が施される。すなわち、レーザレンジファインダが扇型にスキャンすることに伴い、同一時刻での生の測定サンプルは、主としてレーザレンジファインダからの距離に応じて、たとえば、１０ｍｍから１００ｍｍの間隔で存在する。このような場合でも、前処理後の測定サンプルは、所定の間隔、たとえば、１０ｍｍごとに１つ存在することとなるように、生の測定サンプルを線型に内挿したものを生成する。
【００８９】
このような前処理後の測定サンプルを用いて、対象Ｘの形状を表現するパラメータにより、特徴ベクトルは、以下のように表現されるものとする。
【００９０】
【数５】
したがって、第１成分ｆ1Xは、車椅子ＷやベビーカートＢでは、より大きな値となり、人Ｈについては、より小さな値となり、ショッピングカートＳについては、もっとも小さな値となる。これは、図２に示すように、識別に使用される検出の高さレベルＬ２での断面積が、ショッピングカートＳでは、もっとも小さいからである。すなわち、第１成分は、対象の水平な２次元断面形状のサイズを表現する成分である。
【００９１】
第２成分ｆ2Xは、人ＨおよびベビーカートＢについては、比較的広がりを持った分布を持つ。これは、人Ｈは、服装、年齢、性別などによって、この値がばらつくためであり、ベビーカートＢでは、これにバッグがかけられたり、買い物かごが付けられたりするために、値がばらつくことになる。これに比べて、車椅子ＷやショッピングカードＳでは、第２成分のばらつきは小さい。第２成分は、対象の水平な２次元断面形状のアスペクト比に相当する。
【００９２】
このような特徴ベクトルは、上述したような特徴ベクトルに対する一般的な要件をいずれも満たしている。
【００９３】
すなわち、測定サンプルについては、上述したように、まず、生の測定サンプル間で内挿処理をしているために、仮に、オクルージョンにより対象の一部が影になったとしても、すなわち、生の測定サンプルが存在しない領域があっても、そのことが、特徴ベクトルに与える影響が緩和される。
【００９４】
さらに、上述したような前処理を施すことで、測定サンプルが均一に分布することとしているので、特徴ベクトルは、レーザレンジファインダからの距離に独立なものとなり、さらに、第１成分および第２成分は、対象の向きに対しても独立である。
【００９５】
なお、特徴ベクトルは、対象の向きに依存せず、かつ、対象の形状の特徴をパラメータで表現したものであれば、上記のような特定の水平面についての断面でのサイズやアスペクト比に相当するパラメータに限定されない。たとえば、レーザレンジファインダの測距を行う水平面の個数を増やした場合には、そのような他の水平面の形状や、さらには、鉛直方向での形状の変化等を考慮に入れることも可能である。したがって、特徴ベクトルは、対象の向きに依存しない対象の形状を表現する複数のパラメータの列として定義される。
【００９６】
図７は、図１に示した例において、人ＨとベビーカートＢとが、４つのレーザーレンジファインダ１０．１〜１０．４により測距される様子を示す概念図である。
【００９７】
図８は、図７に示した場合において、対象Ｘ（人Ｈ）および対象Ｙ（ベビーカートＢ）についての特徴ベクトルを示す概念図である。
【００９８】
図７に示すような測距により、図８において、黒点で示すような測距データが得られたものとする。
【００９９】
なお、図８では、生の測距データを示しているので、たとえば、ベビーカートＢについては、測定サンプルの欠けた領域がある。ただし、このような領域についても、上述したような前処理後の測定サンプルには、内挿されたデータが生成される。
【０１００】
対象Ｘ（人Ｈ）には、ＮrX個のサンプルがあり、対象Ｙ（ベビーカートＢ）には、ＮrY個の測定サンプルがあるので、これに応じて、特徴ベクトルの第１成分がそれぞれ算出される。
【０１０１】
さらに、対象Ｘについては、固有値ｖ1Xおよびｖ0Xが得られ、対象Ｙについては、固有値ｖ1Yおよびｖ0Yが得られるので、これらに基づいて、特徴ベクトルの第２成分がそれぞれ算出される。
（形状に基づく分類のための事前確率）
まず、形状に特徴に基づいた対象の分類を実行する第１段階として、フィッシャーの線型判別（FLD : Fisher Linear Discriminant）を用いる。
【０１０２】
フィッシャーの線型判別自体は、周知なものであり、たとえば、以下の文献にも開示がある。
【０１０３】
文献１：R. O. Duda, P. E. Hart, and D. G. Stork, Pattern Classification, 2nd ed. Newyork Wiley, 2001
特徴ベクトルｆXに対するフィッシャーの線型判別関数ｇは、以下のような形式に表現される。
【０１０４】
【数６】
ここで、ｗは、重みベクトルであり、ｂは重みしきい値である。
【０１０５】
たとえば、分類に含まれるクラスを、クラスｅiとクラスｅjとで表現する。以下の関係が成り立つのであれば、特徴ベクトルは、クラスｅiが割り当てられる。
【０１０６】
【数７】
分類のための事前確率を得るために、フィッシャーの線型判別関数のトレーニングにおいて得られた各クラスの線型判別関数値に正規分布をフィッティングする。
【０１０７】
図９は、判別関数値について、それぞれのクラスＨ，Ｗ，Ｓ，Ｂの正規分布を示す図である。
【０１０８】
図９において、たとえば、一点鎖線で示されるような判別関数値を有する対象が観測されたとする。
【０１０９】
この場合、このようなグラフから、事前確率計算部５６２４は、対象の分類の事前確率として、対象がベビーカートＢである確率Ｐ（Ｂ）、対象が人Ｈである確率Ｐ（Ｈ）、対象が車椅子Ｗである確率Ｐ（Ｗ）を、それぞれ、得ることができる。
【０１１０】
なお、以上の説明では、フィッシャーの線型判別関数を例にとって説明したが、判別関数としては、これに限定されず、特徴ベクトルから、対応する対象がいずれのクラスに属するかを確率として得られるものであれば、他の判別関数を用いることも可能である。
【０１１１】
（前処理および同期状態の検知）
以下では、ＣＱ検知部５６２６が、一緒に移動する対象を特定し、同期状態を検知するために、２つの対象について、速度ベクトルおよび間隔ベクトルの関係が調べる方法について説明する。
【０１１２】
ここで、同期状態には、横並列移動（side by side）と縦列移動（tandem）とがある。
【０１１３】
図１０は、このような同期状態の特定を実行する対象をモデル化して示す図である。
【０１１４】
図１０に示されるように、３つの対象Ｘ，Ｙ，Ｚが、存在するとする。対象Ｘは、対象Ｙの後ろに従って動いており、対象Ｚは、対象Ｘと隣り合って移動しているものとする。
【０１１５】
このとき、速度ベクトルおよび間隔ベクトルを以下のように定義する。
【０１１６】
【数８】
そこで、まず、実測された測距データから、各対象の速度ベクトルおよび間隔ベクトルを取得する手続きについて説明する。
【０１１７】
追跡処理により得られた対象Ｘの中心位置の時系列データＣ0X［ｔ］＝｛ｃ0X［ｔ］｝から、スムージング処理された位置の時系列データＣX［ｔ］＝｛ｃX［ｔ］｝を以下のような手続きで算出する。
【０１１８】
すなわち、ノイズの影響を低減するために、以下のようなローパスフィルタによる畳み込み（コンボリューション）演算を実行する。
【０１１９】
【数９】
さらに、所定の時間間隔、たとえば、Δｔ＝１００ｍｓｅｃごとに、以下のような平均化を実行し、さらに、スムージングの効果を上げるために、２時間間隔分（２Δｔ）ごとに速度ベクトルを計算する。
【０１２０】
【数１０】
一方、間隔ベクトルは、スムージング後の位置の各時刻における位置、たとえば、位置ｃX［ｔ］と位置ｃY［ｔ］の差として計算される。
【０１２１】
このようにして計算された速度の大きさは、後に説明する実環境でのテストでは、平均９５０ｍｍ／ｓｅｃで、分散３４０ｍｍ／ｓｅｃであった。
【０１２２】
以上のようにして、速度ベクトルおよび間隔ベクトルが所定の時間間隔ごとに算出されると、これに基づいて、以下のようにして、同期状態が判定される。
【０１２３】
以下のような判定は、２つの対象が所定の距離ｄ0以内に存在しており、かつ、それらの速度ベクトルの大きさが所定の大きさＶ0以上であるような対象のペアに対して実行される。
【０１２４】
図１０に示すようなモデルでは、以下のような条件が成り立つことを意味する。
【０１２５】
【数１１】
図１１は、図１で示した例において、このような距離ｄ0以内の範囲で移動する２つの対象について、測距データ（エッジ情報）を示す概念図である。
【０１２６】
ここでは、一例として、距離ｄ0を１ｍとし、大きさＶ0を７５ｍｍ／ｓｅｃであるものとする。
【０１２７】
図１０においては、対象Ｘと対象Ｙとは、同一の方向に移動しているので以下のような式（３）の関係が成り立つ。
【０１２８】
【数１２】
上述した所定の距離の範囲内に存在する２つの対象について、この式（３）のような関係が２つの対象間になり立てば、それらの対象は、一緒に移動しているといえる。
【０１２９】
このような移動をする２つの対象の組み合わせは、横並列移動（たとえば、Ｈ−Ｈのペア）または縦列移動（たとえば、Ｈ−ＳのペアまたはＨ−Ｂのペア）であるので、さらに、２つの対象の間の相対位置を調べれば、いずれの移動モードであるのかが特定できる。
【０１３０】
たとえば、図１０の対象Ｘと対象Ｙについては、対象Ｙの後ろを対象Ｘが同期して移動している縦列移動モードであるので、対象Ｘについては、間隔ベクトルｄXYは、速度ベクトルＶXおよびＶYと同方向を向いているので、以下の式（４）が成り立つ。
【０１３１】
【数１３】
このように、対象Ｘが、他の対象Ｙの後ろ側を一緒に移動している縦列移動モードを、特に、後方縦列移動モード（記号Ｒで表す）と呼ぶ。
【０１３２】
一方、対象Ｙを基準に式（４）と同様の値を計算すると、間隔ベクトルｄYXは、速度ベクトルＶXおよびＶYと逆方向を向いているので、以下の式（４）´が成り立つ。
【０１３３】
【数１４】
このように、対象Ｙが、他の対象Ｘの前側を一緒に移動している縦列移動モードを、特に、前方縦列移動モード（記号Ｆで表す）と呼ぶ。ただし、分類の判別にあたっては、その絶対値も使用される。
【０１３４】
また、図１０において、対象Ｘと対象Ｚとは、横並列移動しているので、間隔ベクトルｄXZは、速度ベクトルＶXおよびＶZと垂直方向を向いているので、以下の式（５）が成り立つ。
【０１３５】
【数１５】
したがって、対象間の距離、対象の移動速度、および上述した式（３）〜（５）の関係をもとにすれば、２つの一緒に移動する対象が、横並列移動モードであって、本実施の形態では、Ｈ−Ｈペアに対応するのか、前方縦列移動モードまたは後方縦列移動モードであって、Ｈ−ＳペアまたはＨ−Ｂペアであるのかを特定することが可能となる。
【０１３６】
（同期状態の判別条件）
なお、現実には、対象は、独立に加速したり、減速したり、あるいは、間隔を変えたりが可能であるので、式（３）〜（５）は、厳密に０または１となることはない。
【０１３７】
そこで、ＣＱ検知部５６２６は、式（３）および式（４）（または式（４）´の絶対値）が、ともに、たとえば、０．８以上であれば、そのような２つの対象は、縦列移動モードで移動しており、Ｈ−ＳペアまたはＨ−Ｂペアに相当すると判定する。なお、式（４）がなりたつか、式（４）´がなりたつかにより、後方縦列移動モードまたは前方縦列移動モードであるかが判定される。
【０１３８】
一方、式（５）の値は、人間同士の移動の相対関係で決まるため、縦列移動モードほど、明確な範囲の値をとることがない。そこで、以下の説明では、ＣＱ検知部５６２６は、式（３）の値が０．８以上であるが、式（４）（または式（４）´の絶対値）が、０．８未満の対象のペアについては、横並列移動モードであって、本実施の形態では、Ｈ−Ｈペアであるものと判別することとする。
【０１３９】
そして、上記いずれの場合にも該当しない場合は、ＣＱ検知部５６２６は、対象が独立して移動している状態であると判断する。
【０１４０】
（事前確率と同期状態（移動モード）との組み合わせによる判別）
対象の分類のクラスを記号ｅで表し、クラスｅは、Ｅ＝｛Ｈ，Ｗ，Ｓ，Ｂ｝のいずれかを意味するものとする。
【０１４１】
また、同期状態を記号ｃｑで表し、同期状態ｃｑは、｛Ｄ，Ｓ，Ｆ，Ｒ｝のいずれかを意味するものとする。ここで、記号Ｄは、対象が独立して移動している状態であり、記号Ｓは、横並列移動モードの状態であり、記号Ｆは、前方縦列移動モードの状態であり、記号Ｒは、後方縦列移動モードの状態であることを示す。
【０１４２】
ベイズ則によれば、同期状態ｃｑであるときに、対象がクラスｅに属する事後確率ｐ（ｅ｜ｃｑ）は、以下の式（６）ように表される。したがって、ラベル割当処理部５６２８は、対象がいずれのクラスに属するかを、式（７）により判定することが可能である。
【０１４３】
【数１６】
ここで、事前確率Ｐ（ｅ）については、上述した特徴ベクトルから導出でき、尤度Ｐ（ｃｑ｜ｅ）については、事前に実験的に複数の対象の実測結果に基づいて、定めておくことが可能である。
【０１４４】
図１２は、以上説明した追跡モジュール部５６１０および識別処理モジュール５６２０が実行する処理を説明するためのフローチャートである。
【０１４５】
図１２を参照して、処理が開始されると、追跡モジュール部５６１０は、パーティクルを初期化する（Ｓ１００）。ここでは、追跡モジュール部５６１０は、全ての（特に限定されないが、たとえば、４００個）パー ティクルを状態空間に均等にばら撒く。ただし、状態空間は、レーザーレンジファインダ１０．１〜１０．４で検出可能な領域に対応する。
【０１４６】
続いて、追跡モジュール部５６１０は、変数ｍを初期化する（ｍ＝１）（Ｓ１０２）。ただし、変数ｍは、状態空間に配置されたパーティクルを識別するための変数である。
【０１４７】
さらに、追跡モジュール部５６１０は、ｍ番目のパーティクルが表わしている時刻ｔ−１の対象Ｘの状態ｓmX［ｔ−１］と、パーティクルの重みπmX[ｔ−１]と、動作モデルとから次の状態ｓmX［ｔ］を求める。
【０１４８】
ただし、上述のとおり、ｍはパーティクルを個別に識別するための添え字である。
【０１４９】
動作モデルについては、線形な移動にガウシアンノイズを組み合わせたモデルを用いる。その具体的な例については、上述したとおりである。
【０１５０】
続いて、追跡モジュール部５６１０は、変数ｍをイクリメントする（Ｓ１０６）。そして、変数ｍが最大値（現在のパーティクルの総数）を超えているかどうかを判断する（Ｓ１０８）。つまり、すべてのパーティクルについて次の状態ｓmX［ｔ］を求めたかどうかを判断する。
【０１５１】
ステップＳ１０８で“ＮＯ”であれば、つまり変数ｍが最大値以下であれば、ステップＳ１０４に戻って、次のパーティクルｍ（←ｍ＋１）についての次の状態ｓmX［ｔ］を求める。
【０１５２】
一方、ステップＳ０８１で“ＹＥＳ”であれば、つまり変数ｍが最大値を超えていれば、すべてのパーティクルｍについての次の状態ｓmX［ｔ］を求めたと判断して、追跡モジュール部５６１０は、ステップＳ１１０で、記憶装置５４から測距データに基づく占有情報（センサデータと称す）を読み取る。
【０１５３】
さらに、追跡モジュール部５６１０は、パーティクルｍ毎に、時刻ｔのセンサデータｒ［ｔ］と状態との尤度を計算する。つまり、ステップＳ１０４で推定した状態ｓmX［ｔ］と、センサデータに基づく実際の状態との類似度を算出し（Ｓ１１２）、重みπmX[ｔ]を求める（Ｓ１１４）。
【０１５４】
尤度については、上述したとおりである。
【０１５５】
また、ステップＳ１１４においては、追跡モジュール部５６１０は、各パーティクルの重みπmX[ｔ]を、ステップＳ１１２で求めた尤度ｐ（ｒ［ｔ］｜ｓmX［ｔ］）の高さに比例させて求める。たとえば、尤度ｐ（ｒ［ｔ］｜ｓmX［ｔ］）の最も高いパーティクルから順に、重みπmX[ｔ]を線形的に変化するように決定してもよいし、一定の閾値毎に、重みπmX[ｔ]を段階的に変化するように決定してもよい。
【０１５６】
続いて、すべてのパーティクルが表わす人の状態ｓmX［ｔ］と重みπmX[ｔ]とから、追跡モジュール部５６１０は、現在の対象の状態を推定する。特に限定されないが、たとえば、２σπ以上の重みπmX[ｔ]を持つパーティクルｍが表わす対象の状態ｓmX［ｔ］を利用して、その平均として現在の対象の状態を推定する。ただし、σπは全パーティクルｍの重みπmX[ｔ]についての標準偏差である。
【０１５７】
以上のようにして、現在までの対象の状態の推定が完了した時点で、識別処理モジュール５６２０が、対象を分類して、各対象にラベルを割り当てる（Ｓ１１８）。この分類の処理については、後述する。
【０１５８】
そして、追跡モジュール部５６１０は、ステップＳ１１１６での現在の対象の状態についての推定結果から、パーティクルを重点的にばら撒く位置（領域）と、消去する パーティクルとを決定し、パーティクルのばら撒きと消去とにより復元抽出して、処理をステップＳ１０２に復帰させる。つまり、リサンプリング処理が実行される。
【０１５９】
図１３は、ステップＳ１１８において、識別処理モジュール５６２０が実行する各対象へのラベルの割り当て処理を説明するためのフローチャートである。
【０１６０】
図１３を参照して、まず、特徴抽出演算部５６２２が、測定されたエッジ情報に基づいて、対象の水平な２次元断面形状のサイズと、対象の水平な２次元断面形状のアスペクト比とを表す特徴ベクトルを抽出する（Ｓ２００）。
【０１６１】
次に、予め設定された線型判別関数に基づいて、事前確率計算部５６２４が、特徴ベクトルから得られる判別関数値に基づき、対象が分類の各クラスに属する確率を表す事前確率を計算する（Ｓ２０２）。
【０１６２】
次に、ＣＱ検知部５６２６が、複数の対象のうち、所定の距離の範囲内にあり、かつ所定の大きさ以上の速度で移動する対象のペアについて、対象の速度ベクトルおよび間隔ベクトルに基づいて、同期状態を分類する（Ｓ２０４）。
【０１６３】
次に、ラベル割当処理部５６２８が、ステップ２０２に求められた事前確率と、予め実験的に求められている対象のクラスに対する同期状態についての尤度に基づいて、事後確率を求めることで、もっとも事後確率の高いクラスのラベルを対象に割り当てる（Ｓ２０６）。
【０１６４】
このようにして、パーティクルフィルタを適用して、対象を追跡することができ、特徴ベクトルから対象の識別が可能となる。ただし、１つの対象に対して１のパーティクルフィルタが必要であるため、複数の対象を同時に追跡する場合には、同じ数だけのパーティクルフィルタが必要である。
（実験結果）
以下、以上説明した追跡および識別処理の正確さおよび整合性を実地にチェックした結果について説明する。
【０１６５】
実験は、ショッピングセンターの入り口ホールにおいて、平日の１５時から１６時の間で実施された。入口ホールは、バッグ持ったり、カートを押したりする多くの顧客が、行き来する場所である。
【０１６６】
追跡を実施した領域（観測領域）は、７．５ｍ×８ｍの矩形領域である。この領域の４隅に、４つのポールを立て、図２に示したように、各ポールにおいて床から高さ５２ｃｍと８７ｃｍの位置にレーザレンジファインダを固定した。特に、床から５２ｃｍの高さは、対象を区別しやすい断面形状が測定できる高さとして設定されたものである。
【０１６７】
レーザレンジファインダのサンプリングレートは、４０Ｈｚであり、角度分解能は、０．２５度である。また、レーザレンジファインダから３０ｍｍから１０ｍまでの範囲が、測距可能な範囲である。３５分間にわたって、レーザレンジファインダによる測距データとともに、ビデオ画像の撮影も同時実施した。ビデオ撮影は、本実施の形態の方法でのラベルの割当の妥当性を、検証するために実施したものである。
【０１６８】
総数５０４個の対象が検知され、ビデオ画像によれば、そのうち、３９１個が人間（Ｈ）であり、３４個が車椅子（Ｗ）であり、４８個がショッピングカート（Ｓ）であり、３１個がベビーカート（Ｂ）である。３９１人の歩行者のうち、２人、３人または４人からなる４４のグループあった。
【０１６９】
図１４は、追跡が実施された場合の１つの場面を示す図である。
【０１７０】
この図の中では、１１個の対象が、移動しているものとして追跡されている。このうち、楕円で囲まれているのは、２人で一緒に移動している３つのグループである。あとは、２人の単独の歩行者と、１つのショッピングカートと、ベビーカートを押しながら移動している１人の歩行者がいる。
【０１７１】
（同期状態を考慮する前の判別結果）
以下では、まず、同期状態を考慮することなく、特徴ベクトルのみに基づいて、対象を判別した結果について説明する。
【０１７２】
ここでは、判別のためのトレーニングのための対象のサンプルと、実際に判別の性能を評価するための試験動作における対象のサンプルとは、異なるものとする。
【０１７３】
図１５は、ラベルの割当の結果を示す図であり、図１５（ａ）は、特徴ベクトルのみに基づいて、ラベルの割当を行った場合の結果を示す図である。
【０１７４】
すなわち、この表において、縦方向は、ビデオ画像から確認された対象に現実に割り当てられるべきラベルを示し、横方向は、試験動作において割り当てられたラベルを示す。
【０１７５】
したがって、試験動作における判別が１００％の精度を有するときは、対角方向のみに０でない要素が現れることになる。
【０１７６】
ただし、図１５(ａ)から明らかなように、特徴ベクトルだけによる判別でもある程度までの判別は可能なものの、現実には、誤ってラベルが割り当てられる場合が相当割合で存在する。
【０１７７】
図１６は、判別された対象のペアについて、各ペアの判別の正確性を示す図である。
【０１７８】
図１６によれば、Ｈ−Ｈペアは、４４ペアのうち、３５ペアが正しく判別されている。
Ｈ−Ｓペアは、４４ペアのうち、４３ペアが正しく判別されている。Ｈ−Ｂペアは、２４ペアのうち、２３ペアが正しく判別されている。
【０１７９】
したがって、判別ミスは主として、Ｈ−Ｈペアにより発生している。これは、Ｈ−Ｈペアでは、移動速度が極端に小さかったり、あるグループが立ち止まり、方向を変えて、別のグループと合流するというようなことがおこったりするからである。
【０１８０】
これに対して、Ｈ−ＳペアやＨ−Ｂペアは、動作がより規則的であるので、より高い割合で、正しく判別されている。
【０１８１】
（同期状態を考慮した後の判別結果）
図１５（ｂ）は、特徴ベクトルと同期状態との双方を考慮して、ラベルの割当を行った結果を示す図である。
【０１８２】
同期状態を考慮することで、人Ｈに対する判別は、成功率が６０％から９５％まで、向上している。また、車椅子Ｗについての成功率も、７４％から８１％まで向上している。
【０１８３】
特徴ベクトルのみを考慮した場合は、人Ｈや車椅子Ｗは、ベビーカートＢと誤認識される場合多かったものの、同期状態を考慮することで、このような誤認識が抑制されていることがわかる。
【０１８４】
以上説明したように、計測演算装置１００のように、複数の距離計測センサにより、観測領域内で移動する対象を追跡し、その対象が分類のいずれのクラスに属するかを判別する際に、対象の大きさや形状を反映した特徴ベクトルを導入すると、オクルージョンに対してロバストであって、対象の向きに対しても独立に判別が可能となる。
【０１８５】
また、このような特徴ベクトルによる判別を事前確率として、２つの対象の移動の同期状態による尤度を考慮した事後確率により判別を行うことで、判定の精度を向上させることが可能となる。
【０１８６】
今回開示された実施の形態は、本発明を具体的に実施するための構成の例示であって、本発明の技術的範囲を制限するものではない。本発明の技術的範囲は、実施の形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲の文言上の範囲および均等の意味の範囲内での変更が含まれることが意図される。
【符号の説明】
【０１８７】
１０．１〜１０．４ レーザーレンジファインダ、５２ ドライブ装置、５４ 不揮発性記憶装置、５６ ＣＰＵ、５８ ＲＯＭ、６０ ＲＡＭ、６４ 外部記録媒体、６６ バス、１００ 計測演算装置、５６０２ データキャプチャ処理部、５６０４ キャプチャデータ記録処理部、５６１０ 追跡モジュール部、５６１２ 更新計算部、５６１４ 重み割当計算部、５６１６ 状態評価計算部、５６１８ リサンプリング計算部、５６２０ 識別処理モジュール、５６２２ 特徴抽出演算部、５６２４ 事前確率算出部、５６２６ ＣＱ検知部、５６２８ ラベル割当処理部。
【特許請求の範囲】
【請求項１】
観測領域内で対象の移動を追跡し、前記対象を分類するための計測システムであって、
前記対象までの水平方向の距離を計測可能に配置された複数の距離計測手段と、
前記複数の距離計測手段によって前記対象を計測した計測結果を取得する取得手段と、
前記取得手段によって取得された前記計測結果から、前記対象の位置および移動速度を推定する追跡手段と、
前記計測結果に基づいて、前記対象の水平な２次元断面形状の特徴を表現する特徴ベクトルを算出する特徴抽出手段と、
前記特徴ベクトルに基づいて、前記対象が予め定められた分類の各クラスのうちのいずれのクラスに属するかを判別する判別手段とを備え、
前記判別手段は、
前記特徴ベクトルに基づいて、前記対象が予め定められた分類の各クラスに属する確率を事前確率として算出する事前確率算出手段と、
前記対象の移動速度および前記対象間の距離に基づいて、前記対象が他の対象と同期して移動している同期状態であるかを判別し、前記事前確率と、前記同期状態にある対象が前記クラスに対応する尤度とに基づいて、前記対象が属するクラスを判別する同期状態検知手段とを含む、計測システム。
【請求項２】
前記特徴ベクトルは、前記対象の水平な２次元断面形状のサイズと前記対象の水平な２次元断面形状のアスペクト比とを表現する、請求項１記載の計測システム。
【請求項３】
前記同期状態検知手段は、
前記対象のペアの速度ベクトルのなす角と、前記対象のペアのうちの一方の対象の速度ベクトルと前記対象のペアの対象間の間隔ベクトルとのなす角とに基づいて、前記対象のペアが前記同期状態であるかを判別する、請求項２記載の計測システム。
【請求項４】
前記特徴抽出手段は、前記取得手段によって取得された同時刻における複数の前記計測結果に所定の間隔のデータを内挿する手段を有する、請求項２または３記載の計測システム。
【請求項５】
観測領域内で対象の移動を追跡し、前記対象を分類するための計測方法であって、
前記対象までの水平方向の距離を計測可能に配置された複数の距離計測手段によって前記対象を計測した計測結果を取得するステップと、
前記取得された前記計測結果から、前記対象の位置および移動速度を推定するステップと、
前記計測結果に基づいて、前記対象の水平な２次元断面形状の特徴を表現する特徴ベクトルを算出するステップと、
前記特徴ベクトルに基づいて、前記対象が予め定められた分類の各クラスのうちのいずれのクラスに属するかを判別するステップとを備え、
前記判別するステップは、
前記特徴ベクトルに基づいて、前記対象が予め定められた分類の各クラスに属する確率を事前確率として算出するステップと、
前記対象の移動速度および前記対象間の距離に基づいて、前記対象が他の対象と同期して移動している同期状態であるかを判別し、前記事前確率と、前記同期状態にある対象が前記クラスに対応する尤度とに基づいて、前記対象が属するクラスを判別するステップとを含む、計測方法。
【請求項１】
観測領域内で対象の移動を追跡し、前記対象を分類するための計測システムであって、
前記対象までの水平方向の距離を計測可能に配置された複数の距離計測手段と、
前記複数の距離計測手段によって前記対象を計測した計測結果を取得する取得手段と、
前記取得手段によって取得された前記計測結果から、前記対象の位置および移動速度を推定する追跡手段と、
前記計測結果に基づいて、前記対象の水平な２次元断面形状の特徴を表現する特徴ベクトルを算出する特徴抽出手段と、
前記特徴ベクトルに基づいて、前記対象が予め定められた分類の各クラスのうちのいずれのクラスに属するかを判別する判別手段とを備え、
前記判別手段は、
前記特徴ベクトルに基づいて、前記対象が予め定められた分類の各クラスに属する確率を事前確率として算出する事前確率算出手段と、
前記対象の移動速度および前記対象間の距離に基づいて、前記対象が他の対象と同期して移動している同期状態であるかを判別し、前記事前確率と、前記同期状態にある対象が前記クラスに対応する尤度とに基づいて、前記対象が属するクラスを判別する同期状態検知手段とを含む、計測システム。
【請求項２】
前記特徴ベクトルは、前記対象の水平な２次元断面形状のサイズと前記対象の水平な２次元断面形状のアスペクト比とを表現する、請求項１記載の計測システム。
【請求項３】
前記同期状態検知手段は、
前記対象のペアの速度ベクトルのなす角と、前記対象のペアのうちの一方の対象の速度ベクトルと前記対象のペアの対象間の間隔ベクトルとのなす角とに基づいて、前記対象のペアが前記同期状態であるかを判別する、請求項２記載の計測システム。
【請求項４】
前記特徴抽出手段は、前記取得手段によって取得された同時刻における複数の前記計測結果に所定の間隔のデータを内挿する手段を有する、請求項２または３記載の計測システム。
【請求項５】
観測領域内で対象の移動を追跡し、前記対象を分類するための計測方法であって、
前記対象までの水平方向の距離を計測可能に配置された複数の距離計測手段によって前記対象を計測した計測結果を取得するステップと、
前記取得された前記計測結果から、前記対象の位置および移動速度を推定するステップと、
前記計測結果に基づいて、前記対象の水平な２次元断面形状の特徴を表現する特徴ベクトルを算出するステップと、
前記特徴ベクトルに基づいて、前記対象が予め定められた分類の各クラスのうちのいずれのクラスに属するかを判別するステップとを備え、
前記判別するステップは、
前記特徴ベクトルに基づいて、前記対象が予め定められた分類の各クラスに属する確率を事前確率として算出するステップと、
前記対象の移動速度および前記対象間の距離に基づいて、前記対象が他の対象と同期して移動している同期状態であるかを判別し、前記事前確率と、前記同期状態にある対象が前記クラスに対応する尤度とに基づいて、前記対象が属するクラスを判別するステップとを含む、計測方法。
【図１】
【図３】
【図４】
【図７】
【図８】
【図１１】
【図１２】
【図１３】
【図１５】
【図１６】
【図２】
【図５】
【図６】
【図９】
【図１０】
【図１４】
【図３】
【図４】
【図７】
【図８】
【図１１】
【図１２】
【図１３】
【図１５】
【図１６】
【図２】
【図５】
【図６】
【図９】
【図１０】
【図１４】
【公開番号】特開２０１３−６４６７１（Ｐ２０１３−６４６７１Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２０４０３１（Ｐ２０１１−２０４０３１）
【出願日】平成２３年９月２０日（２０１１．９．２０）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２３年４月１日付け、支出負担行為担当官 総務省大臣官房会計課企画官、研究テーマ「ライフサポート型ロボット技術に関する研究開発」に関する委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年９月２０日（２０１１．９．２０）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２３年４月１日付け、支出負担行為担当官 総務省大臣官房会計課企画官、研究テーマ「ライフサポート型ロボット技術に関する研究開発」に関する委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
[ Back to top ]