対象物認識システム及び該システムを利用する監視システム、見守りシステム
【課題】セグメンテイション及び位置推定精度の向上を図ることができ、結果として姿勢・動作の認識精度も向上し、より信頼性の高い異常事態発生の検知が可能な対象物の認識システム、監視システム、見守りシステムを提供する。
【解決手段】本発明の対象物の認識システムは、対象物の１次元データを取得する１次元センサーと、対象物の２次元データを取得する２次元センサーと、対象物の３次元データを取得する３次元センサーの少なくとも２つ以上を含む同種又は異種の複数の観測手段と、上記観測手段から得られる１次元データ、２次元データ、３次元データを対応付けて対象物を認識する認識手段を備える。
【解決手段】本発明の対象物の認識システムは、対象物の１次元データを取得する１次元センサーと、対象物の２次元データを取得する２次元センサーと、対象物の３次元データを取得する３次元センサーの少なくとも２つ以上を含む同種又は異種の複数の観測手段と、上記観測手段から得られる１次元データ、２次元データ、３次元データを対応付けて対象物を認識する認識手段を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
地下鉄、駅、空港等の公共の場における、拳銃、刀等の不法所持者、テロリスト、尾行、スリ、喧嘩等怪しい人物（不審者）の発見と追跡及び不審物の発見等セキュリティ確保のための監視システム、あるいは家庭や学校等建物内における老人や子供、病人等の見守りシステムに必須技術として、人の姿勢・動作・動きや持ち主不在の物体を検出及び認識して、異常を検知するためのマルチセンサー情報統合技術を用いた監視システム及び見守りシステムに関する。
【背景技術】
【０００２】
従来の監視システムはほとんどが固定的に設置された監視カメラを使用したものが大半である。一方、携帯型センサーを用いた老人や子供の見守りシステムに関するものは、GPS搭載の携帯電話を子供に持たせたものがある程度で、他には見当たらない。複数台のカメラを設置した例はたくさんあるが、異なるメディアタイプのモダリティ、例えば可視光カメラと加速度計等を用いて相補的に信頼性を向上させるような方法は実用的には利用されてこなかった。ほとんどの従来型監視技術は一つのメディアタイプ（主には、ビデオカメラ）だけを用いているために、広い範囲はカバーできても、不審者、不審物の発見や異常事態の検出は人の目視に頼らざるを得なかった。本発明は、これらの欠点を補強し、信頼性の高い自動監視システム及び見守りシステムの実現を目指したものである。
【０００３】
不審者、不審物の発見には監視カメラ以外では、空港等におけるX線検査や係官による目視によるもの、発熱を感知するサーモグラフィ検査、顔写真や指紋照合によるもの等が代表的なものである。カメラや加速度計等の異種メディアからの情報を効果的に統合する方法は、まだ緒についてばかりで、過去の研究では画像処理アルゴリズムを用いた静止物体や特定の動きをする人の自動検出については、それほど複雑でない比較的安定した環境の中での動作認識（歩く、走る、転倒等）に限られており、実用的な２４時間監視システム及び見守りシステムを実現できるレベルには至っていない。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Teddy Ko, “A survey on behavior analysis in videosurveillance for homeland security applications,” 37th IEEEApplied Imagery Pattern RecognitionWorkshop, Washington, DC, USA, pp.1-8, Oct. 15-17, 2008.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の監視システム及び見守りシステムには以下に示す問題点があった。すなわち、単一のメディア情報を用いただけでは、セグメンテイションが難しかったり、不正確になるケース、あるいは人物追跡に失敗すること等が多々あり、対象物を検出する精度や信頼性に欠けるという問題があった。
【０００６】
また、対象物の位置推定において高い精度が要求される場合は多々あるが、高価な機材を使用することなく実現するのは困難であった。さらに、人の姿勢・動作認識システムにおいて、カメラ情報がよく使われるが、監視と見守りを含めて考えるとき、画像からだけでは判断しにくい場面はよく出現し、そのようなときに認識システムの高精度・高信頼性の確保は大きな課題である。
【課題を解決するための手段】
【０００７】
本発明は、このような問題点を解決するために提案された対象物の認識システムであって、監視領域及び／又は見守り領域（以下、観測領域という）を観測する同種及び／又は異種の複数の観測手段と、上記各観測手段から得られる複数のデータを対応付けて観測領域内の対象物を認識する認識手段を備える。上記観測手段には、１次元データを取得する１次元センサー、２次元データを取得する２次元センサーと、３次元データを取得する３次元センサーを用いることができる。上記１次元センサーの例として、加速度計、角加速度計、傾斜計が挙げられる。上記２次元センサーの例として、対象物の画像を撮影するカメラが挙げられる。一般的には可視光カメラが多く使われるが、近赤外線カメラ、遠赤外線カメラ、サーモグラフィ等を用いることもできる。上記３次元センサーの例として、３次元空間上の距離画像データを取得するレンジセンサー、３次元位置センサー、３次元モーションセンサー、又は３次元測距センサーが挙げられる。
【０００８】
単一のメディア情報を用いただけでは、セグメンテイションが難しかったり不正確になるケース、あるいは人物追跡に失敗すること等が多々あったが、本発明によれば、より精度よくセグメンテイションを実行したい要求に応えることができる。１次元データ、２次元データ、３次元データを対応付けて対象物領域を抽出し、その結果を用いて対象物を認識することによりこの問題を解決する。ここで、対象物領域を切り出すことをセグメンテイションという。
【０００９】
また、本発明は、上記複数の観測手段が、データの種類、設置場所、観測方向のうち少なくともいずれか１つが異なり、上記認識手段が、上記複数の観測手段から得られる、誤差分布が異なる複数の位置データを対応付けて重畳する重畳手段と、上記重畳手段が重畳した結果、複数の位置データが重なる部分に基づいて、対象物の位置を検出する位置検出手段とを含むようにしてもよい。これによれば、センサーを複数台用いることで、1台では不可能であった高精度の位置推定を達成することができ、より精度の高い監視システム及び見守りシステムが実現でき、多くの応用分野が広がる。
【００１０】
また、本発明は、上記観測手段が、上記１次元センサー又は上記２次元センサー又は上記３次元センサーを含み、
上記認識手段が、１次元センサーから得られる１次元データに基づいて、対象物の向き及び／又は動きを検出する向き等検出手段と、２次元センサー又は３次元センサーから得られる２次元データ又は３次元データに基づいて、対象物の姿勢及び／又は向き及び／又は動作を検出する姿勢等検出手段と、向き等検出手段が検出した向きと動きの状態と、姿勢等検出手段が検出した向き及び／又は姿勢及び／又は動作から、対象物の状態を検出する状態検出手段とを含むようにしてもよい。人の姿勢・動作認識システムにおいて、カメラ情報がよく使われるが、監視と見守りを含めて考えるとき、画像からだけでは判断しにくい場面であっても、高精度・高信頼性の認識システムを確保することができる。
【００１１】
また、本発明は、１次元センサー又は２次元センサー又は３次元センサーから得られたデータに基づいて、対象物となっている人間が立っている状態であるか否かを判定する起立状態判定手段と、起立状態判定手段が立っている状態であると判定した場合、各センサーから得られる移動速度に基づいて、人が静止状態であるか、歩行状態であるか、走行状態であるかを判定する移動状態判定手段と、を備えることもできる。１次元センサー又は２次元センサー又は３次元センサーから移動速度を求めることができる。
【００１２】
さらに、本発明は、２次元データ又は３次元データに基づいて、観測領域内の一定の範囲内で近くに人が１人いるか、２人以上いるかを判定する人数判定手段と、人数判定手段が１人であると判定した場合であって、かつ上記移動状態判定手段が歩行状態であると判定した場合、移動効率を算出する移動効率算出手段と、上記移動効率が、１以下で第１の閾値以上であるか、第１の閾値以下で第２の閾値以上であるか、第２の閾値以下であるかを判定する移動効率判定手段と、移動効率判定手段が、１以下で第１の閾値以上であると判定した場合は正常状態であると判断し、第１の閾値以下で第２の閾値以上であると判定した場合は飲酒状態であると判断し、第２の閾値以下であると判定した場合は徘徊状態であると判断する動作認識手段と、を備えることもできる。
【００１３】
ここで、移動効率は、第一義的にはどれだけ効率的に移動したかを示すパラメータであって０〜１の範囲の値をとり、具体的には、変位距離に対する走行距離の比（以下、ＳＲという）やT フレーム前の位置と現在位置との差とその間に移動した総距離の比（以下、ＤＲという）等を用いることもできる。ＳＲとＤＲの意味についての詳細は後述する。また、手足の不用な動きや不規則性、腰を曲げたり、頭、首を振る等の無駄な動作、上半身、下半身の動作から意味のない動作を抽出してその割合を用いることもできる。
【００１４】
上記人数判定手段が２人以上であると判定した場合あって、かつ上記移動状態判定手段が歩行状態であると判定した場合、移動効率を算出する第２の移動効率算出手段と、上記移動効率が、１以下で第１の閾値以上であるか、第１の閾値以下であるかを判定する第２の移動効率判定手段と、上記第２の移動効率判定手段が、１以下で第１の閾値以上であると判定した場合は、「横に並んで歩いていれば、一緒に歩いている正常状態」か、「後ろの人が先頭の人から一定の距離だけ離れて歩いていれば、尾行状態又は不審者の可能性がある異常状態」であると判断し、第１の閾値以下であると判定した場合は、「遊んでいる、喧嘩、殴り合い」のいずれかの可能性があると判断する第２の動作認識手段と、を備えてもよい。
【００１５】
上記人数判定手段が２人以上であると判定した場合あって、かつ上記移動状態判定手段が走行状態であると判定した場合、移動効率を算出する第３の移動効率算出手段と、上記移動効率が、１以下で第１の閾値以上であるか、第１の閾値以下であるかを判定する第３の移動効率判定手段と、上記第３の移動効率判定手段が、１以下で第１の閾値以上であると判定した場合は、「近くに並んで走っていれば、ジョギング等で一緒に走って正常状態」か、「後ろの人が先頭の人から一定の距離だけ離れて走っていれば、追いかけている状態、又は不審者の可能性がある異常状態」であると判断し、第１の閾値以下であると判定した場合は、「逃げたり、追いかけたりしている状態」遊んでいる、喧嘩、殴り合い」のいずれかの可能性があると判断する第３の動作認識手段と、を備えてもよい
【００１６】
さらに、本発明は、起立状態判定手段が立っている状態ではないと判定した場合、形状測度及び／又は動き測度を算出する形状測度等算出手段と、形状測度等算出手段が算出した形状測度及び／又は動き測度に基づいて、人間の姿勢を検出する姿勢検出手段とを備えることもできる。
【発明の効果】
【００１７】
家庭内、公共の建物内や通学路などにおいては、病人、子供や老人等が急に転倒したり、うずくまったり、したりの異常がないか、周辺に怪しい人がいないか、等を検知し通報する見守りシステムの構築に利用できる。
【００１８】
不審者の発見や追跡、見守り対象者の異常事態発見等のためには、人の候補領域が検出された後処理として簡便で高精度な姿勢・動作の認識方法の開発が強く望まれており、２４時間自動監視システム及び見守りシステムを実現することができる。
【００１９】
複数センサーの使用により、セグメンテイション及び位置推定精度の向上を図ることができ、結果として姿勢・動作の認識精度も向上し、より信頼性の高い異常事態発生の検知が可能となる。また、３次元的な位置を捉えられるので、正確な追跡が可能となる。
【００２０】
一定の動きをする人や物を検出する際に、人混みの多いところでは、遮蔽が頻繁に発生し、照明変動の影響等でうまく検出できない場合が多々あるが、そのような場合でも柔軟性の高い頑健な対象物検出が可能となる。前処理が安定的に高精度で行われることにより、人の姿勢・動作の認識精度及び位置推定精度が向上し、不審者等の正しい追跡が可能となる。
【図面の簡単な説明】
【００２１】
【図１】処理手段を含むシステム全体の構成図
【図２】システム全体の処理フローダイアグラム
【図３】バウンディングボックスに関連するパラメータを示す図
【図４】すれ違ったとたんに向きを変えた場合と変えない場合の追跡
【図５】第１の実施形態における３次元測距センサーの説明図
【図６】第１の実施形態における画像と３次元測距センサーとの併用によるセグメンテイションを説明する図
【図７】複数のセンサーによる遮蔽領域の違いを説明する図
【図８】第２の実施形態における位置推定の原理を示す図
【図９】第３の実施形態における姿勢・動作を示す図
【図１０】第３の実施形態における固定センサーと携帯センサーを併用する場合の説明図
【図１１】第４の実施形態における人の起立状態の判定方法を示す図
【図１２】第４の実施形態における人の起立状態の分類方法を示す図
【図１３】第４の実施形態における人の起立状態でない場合の分類方法を示す図
【図１４】第４の実施形態における人の動きの違いを示す図
【発明を実施するための形態】
【００２２】
以下、本発明の第１の実施形態について、図面と数式に基づいて説明する。図１は、本実施形態における処理手段を含むシステム全体の構成図である。本システム１００は、対象物を観測する同種又は異種の複数のセンサー１０１、１０２と、センサー１０１、１０２から得られる複数のデータを対応付けて観測領域内の対象物を認識する認識手段１０３を備えている。センサー１０１、１０２は、一定時間内に、背景や対象物を観測する観測手段としての機能を有し、固定センサー１０１、携帯センサー１０２等で構成される。
【００２３】
一定時間内、監視及び見守り対象となる場面を観測する観測手段として、次に挙げるセンサーを用いてもよい。センサーの種類は、「０次元：位置計測GPS、温度、湿度」、「１次元：加速度計（３軸）、角加速度計（３軸）、傾斜計（３方向、角加速度計に含ませ得る）、マイク（音響）」、「２次元：通常の可視光カメラ、近赤外線カメラ、遠赤外線カメラ、サーモグラフィ」、「３次元：３次元データ（レンジセンサー、３次元位置センサー、３次元モーションセンサー、３次元測距センサー）」等から選ばれる。ここでは、本来の使用目的と直感的な分かりやすさのために主に画像を用いて説明するが、その他のメディア（３次元データ等）等の観測データに欠落がある場合にも同様に適用できる。また、種々の変動等に対応するために０次近似だけでなく、線形近似あるいは高次近似等も使え、誤差を最小にするために、最小二乗平均誤差（LMS: Least Mean Square)、あるいは最大誤差を最小にして最適値を得る手法等も必要に応じて使い分ければよい。認識手段１０３は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）等を備えたパーソナルコンピュータで構成され、ＣＰＵが、ＲＯＭやＨＤＤ等に記憶されているプログラムを実行することで、認識手段としての機能が果たされる。
【００２４】
次に、本実施形態の対象物認識システム（又は監視システム、見守りシステム）におけるシステム全体の流れについて簡単に説明する。図２は、本実施形態におけるシステム全体の処理フローダイアグラムである。まず、観測に入る前に初期値としての背景を求める。ここで、背景とは、人、物に関わらず、観測開始より前から観測が始まってからも一定期間静止しているものを意味し、初期背景とは観測開始時の背景、短時間背景と長時間背景は静止時間の長短により区別する。すなわち、途中から現れても、ある一定時間以上場面中に存在し、静止し続けているものを指すこともある。
【００２５】
図２に示すように、センサー２００からのデータを受けとり（Ｓ２０１）、背景の抽出と更新をする（Ｓ２０２）。まず、背景差分やフレーム間差分等により対象物領域を抽出し（Ｓ２０３）、さらに位置と大きさの微調整を行い（Ｓ２０４）、セグメンテイションを行い（Ｓ２０５）、領域特徴を抽出する（Ｓ２０６）。３次元実空間上での位置推定を行い（Ｓ２０７）、対象となる静止物体や一定の動きをする動物体の姿勢・動作の認識、不審物の検出を行う（Ｓ２０８~Ｓ２１３）。具体的には、物か、人かの判別を行い（Ｓ２０８）、物ならば不審物と判断して（Ｓ２０９）、この不審物を持ってきた人の追跡を始める（Ｓ２１０）。人ならば姿勢・動作の認識結果から異常事態の検出を行い（Ｓ２１１、Ｓ２１２）、異常が発見されたら通報等の対応をする（Ｓ２１３）。これらの手順により一連の処理を終わるが、監視及び見守り時間中は上の処理を繰り返す。
【００２６】
本実施形態では、対象物とは静止物体あるいは一定の動きをする物体で検出・認識の対象となっているものであり、人と物を含む。対象となる静止物体とは、人、物を問わず、ある時刻、例えば、最初観測を始めた時には存在していなくて、それ以後、途中から場面中に存在し、静止し続けているものを指す。例えば、誰かが置き忘れたもの、故意に置いて行ったもの、および歩いてきて椅子に座っている人等を指す。観測の最初から存在していたものは対象としない。また、途中から現れても、ある一定時間以上場面中に存在し、静止し続けているものを指すこともある。
【００２７】
バウンディングボックスは、図３に示すように、ある対象物を囲む最小の長方形、あるいは直方体領域のことであるが、必ずしも最小のものが抽出できるとは限らない。また、重心は対象物候補領域の位置を表す一つのパラメータであり、他にも対象物候補領域の位置を表す一つのパラメータとしてはバウンディングボックスの左上隅の点の位置、最上点、最下点等を選ぶことも可能である。シルエットとは、背景差分等によって抽出された対象物（人、物）領域を白黒で表現したものである。３次元データは、３次元空間上の距離画像データ等を総称していい、レンジセンサーや３次元位置センサー、３次元モーションセンサー、３次元測距センサー等から取得することができる。
ここで、対象物候補領域は対象物領域であると判断される前の領域であって、この候補領域を基に対象物領域が決められる。対象物の存在位置や動きを反映するパラメータとしては、対象物のシルエットやバウンディンボックスの重心や領域の最大値、最小値、背景差分の絶対値や後述する動き測度等がある。画像を例に取ると、このパラメータに対応する画像上の領域を求めると対象物の存在位置や大きさを知ることができる。また、対象物パラメータは対象物を反映するパラメータ、背景パラメータは背景を反映するパラメータのことで、具体的な例として画素値や３D位置データ等である。両方を総称して領域パラメータという。また、画像を例に取ると、対象物存在位置パラメータに対応する画像上の領域を求めると対象物の存在位置、対象物領域や大きさ等を知ることができる。
【００２８】
上記複数のセンサーから得られる複数のデータを対応付けて利用すれば、図４は画像では追跡が難しい場合でも３Ｄ測距センサーを使えば簡単に行える例を示している。
【００２９】
上記複数のセンサーから得られる複数のデータを対応付けて対象物を認識する認識手段について説明する。複数のセンサーを用いる場合、対象物領域を切り出す、いわゆるセグメンテイションが重要となる。図５は３次元測距センサーの説明図であり、図６は、本実施形態における画像と３次元測距センサーとの併用によるセグメンテイションを説明する図である。まず、セグメンテイションには、複数センサーからのデータ間の対応付けを行うことで、両方のデータを相補的に利用することができる。今の例では、形状と画像の両方を利用することで高精度でのセグメンテイションが可能となる。例えば、図６(a)の有効データ範囲は同図(b)の少女の位置に対応しており、仮に服の色が周辺の壁の色と同じであっても正確なセグメンテイションが行える。そのときに、双方向の空間マッピングが考えられる。具体的には、例えば２次元画像データを３次元曲面データ上に重畳する場合や、３次元測距画像データを２次元画像上に重畳する場合がある。図６では画像上の実線がスキャン点を示している。
【００３０】
カメラと３次元測距センサーが同じ位置にない場合には、図７に示すように違う位置に遮蔽が発生することがあるが、セグメント領域に余裕を持たせることで、対応できる。また、事前にお互いの相対的位置が分かっていれば遮蔽位置は計算により分かる。３次元測距センサーのような３次元データが得られるセンサーを用いれば、ステレオ視を用いずに距離データを直接求めることができるため、高い信頼性で高速に結果が得られる。遮蔽の発生は同じ場所に設置されたセンサーから得られた観測値であれば、基本的には同時に発生する。
【００３１】
場所が違えば、遮蔽の発生は、時間、場所が異なるので、相補的な利用が可能となる。すなわち、あるセンサーS1で遮蔽が発生し（データの消失、あるいは不連続が観測される場合も含む）、センサーS2で遮蔽が観測されなければ（観測データは連続）、対象物体は連続的な動きをしており、S1の遮蔽は一時的なものと解釈して、線形補間等により、遮蔽発生区間のデータを予測により求めることができる。また、一方のセンサー（S1）情報から他方のセンサー（S2）の遮蔽の発生が推定できるときは、その区間のS2のデータを除外して、近似を行うことで精度が向上する。一般には線形近似が簡単で効果的である。
【００３２】
図６において、実線は３次元測距センサーからのデータが有効な範囲、破線は半径方向に沿っており無効な範囲（未決定）を示している。正確なセグメンテイションは認識の前処理には必要不可欠であり、複数方向からのデータがあればさらに細かく対応が付けられ、より正確なセグメンテイションが可能となる。このように組み合わせることで、人の居る位置が分かり、３D形状も取得できることから、画像からの情報と３次元測距センサーからの情報により異常判定が可能となる。例えば、急に高さが変化して、半分以下になれば、スリップして転倒した可能性が大きく、このことを画像により確認することもできる。３次元測距センサーの代わりにレンジセンサー等の３次元データが得られるもので置き換えることもできるが、一般的にはより高価なシステムとなる。また、転倒等では急激な移動を伴うので、加速度計、角加速度計、傾斜計等からも変化が観測できる。
【００３３】
安全運転支援の観点からの応用も考えられる。例えば、車載カメラを用いて車のピラーや木立等による死角領域を抽出し、自車の近くにある他車両の３次元位置、向きを検出し、車外カメラや固定カメラ等からの画像を用いて死角にある画像を合成し、ドライバーに提示することができれば、安全性向上に役立つ。同様の考え方に基づいて、死角のない画像取得・認識システムの構築が可能となる。
【００３４】
背景画像を入れ替えることで画像合成ができる。クロマキーでは背景として青色を使うことが多いので青い物体は背景と解釈されるが、距離画像の無限遠点あるいは一定の距離以上の点を背景と見なせば、このような失敗はなく画像合成が可能となる。
【００３５】
次に、本発明の第２の実施形態について説明する。主として第１の実施形態と異なる点について説明し、共通する点については説明を省略する。本実施形態では、複数のセンサーが、データの種類、設置場所、観測方向のうち少なくともいずれか１つが異なっている。認識手段は、後述する重畳手段及び位置検出手段を備えている。
【００３６】
一般にセンサーの設置場所、種類により誤差の分布（広がり方）が異なるので、その違いを利用して精度の高い位置推定方法を行う。まず重畳手段が、複数のセンサーから得られる、誤差分布が異なる複数の位置データを対応付けて重畳する。図８は、本実施形態における複数センサーからの推定位置の誤差の少ない領域の重なり部分を採用することで高精度を達成する様子を示したものである。破線はImg1からの位置推定値、点線はImg2からの位置推定値を示しており、両方の共通部分としてより正確な位置が求まる。ただし、楕円は推定誤差がある範囲内にある領域を示している。また、複数センサーからの共通領域を採用することで精度は高まる。この例は、画像同士の例であるが、画像と３次元データの間にも拡張可能である。可視光と赤外線画像間、解像度の異なる画像間、さらには複数のセンサー間のデータにも同様に適用できる。特に、図８の例に見るように対象物搭載センサーと周辺に設置されたセンサーとの相互認識（計測）により位置推定精度向上を図る方法は有効である。こうすることで、一般には誤差の広がりの方向が異なるので精度が上がる。言い換えれば、わざわざ、分布が異なるようなセンサーの設置状況を作り出すことが重要である。位置推定は対象物の追跡には必要不可欠である。以上のように、位置検出手段によって、重畳手段が重畳した複数の位置データが重なる部分に基づいて、対象物の位置を検出することができる。
【００３７】
次に、本発明の第３の実施形態について説明する。主として第１及び第２の実施形態と異なる点について説明し、共通する点については説明を省略する。本実施形態では、加速度計や角加速度計や傾斜計等の一次元センサーと、カメラ又は３次元測距センサー等を併用することで、対象物の姿勢状態を検出することができる。
【００３８】
本実施形態では、遮蔽や照明変動に強く、頑健で高精度な人の姿勢・動作認識システムの実現のために、画像だけでなく違うメディアタイプのセンサー情報とを併用して用いている。例えば、転倒したときに仰向けか、うつ伏せか、画像だけでは分かりにくいが、加速度計や角加速度計や傾斜計と併用することで、確実に判定できる。対象者が装着していたセンサーからのデータが得られれば、簡単にどちら向きに倒れたのか、どちら向きに倒れているのか、等の情報が得られる。一方、複数箇所に設置されたカメラや３次元測距センサーからの情報を統合すれば、同様に多くの情報が得られる。ここではこのような同種及び／又は異種センサーを相補的に用いて精度・信頼性の向上を図るために情報統合を行うことを特徴とする。向き等検出手段は加速度計や角加速度計や傾斜計等のデータから対象物の向き及び／又は動きを検出し、姿勢等検出手段はカメラや３次元センサーのデータを処理することにより対象物の姿勢及び／又は向き及び／又は動作を検出する。状態検出手段はこれらの情報を相補的に用いて対象物の状態を検出するが、以下に例を挙げて説明する。
【００３９】
以下、対象物の姿勢状態を検出する姿勢検出方法について説明する。加速度計、角加速度計、傾斜計を上半身に装着すると「腰を曲げる、腰を低くする、上半身を曲げる、上体を倒す、かがむ」等の姿勢の変化や動作等の認識はしやすい。しかし、動作によっては、よろめく、つまずく、足を引きずる、のろのろ進む、等のようにそれほどはっきりした違いが現れないものもあり、画像あるいは３次元データと併用する必要がある。加速度計、角加速度計、傾斜計には遮蔽がないので見る方向や場所を問わず、検出可能である。図９は、本実施形態における姿勢・動作を示したものであるが、上段の「歩く、走る、つまずく、腰を曲げる、座る」については、画像や３次元データから、移動速度の「停止、ゆっくり、速い」、形状測度「アスペクト比、モーメント比、高さ(H)、Top」等で区別できる。ここで、形状測度とはモノの形を計るモノサシのことで、例えば、形そのもの、大きさ、円形度、伸長度、縦横高さ、モーメント、アスペクト比、モーメント比、輪郭線、フーリエ記述子、ヒストグラム、HOG等がある。また、HOG（Histgrams of Oriented Gradients）特徴量は勾配ベースの特徴量であり、フーリエ記述子（Fourier Descriptor）は物体の境界曲線の形状を表す特徴量となる。動き測度とは、動きの違いを図るモノサシのことで、速度、加速度、角速度、角加速度、傾斜角、移動効率（詳細は後述）等がある。以上のようにして、加速度計、角加速度計、傾斜計等のデータに基づいて、対象物の向き及び／又は動きを検出することができる。
【００４０】
また、上段と下段の区別は簡単であるが、同図下段の「転倒（うつ伏せ）、転倒（仰向け）、転倒（横向け）、休息」については転倒したのか、休息しているのか、どちら向きか、等は判断し難いが、加速度計、角加速度計や傾斜計のデータから簡単に知ることができる。画像や３次元データだけを用いるときでも、対象物の姿勢や動作、すなわち転倒か休息しているのかはこの状態に至る経過から判断ができる。急激に状態が変化したのであれば、転倒であり、ゆっくりであれば、休息のために横たわっただけである。転んだときは、回転が加わるので大きな角加速度が観測される。ただ単に向きを変えたときは、回転はあるが、高さは不変であり（画像、３次元データから分かる）、観測される角加速度データ等も違ってくる。また、静止しているときは、「立っているか、座っているか、横になっているか」等は静止状態なので画像や３次元データから比較的容易に判断できるが、加速度計や角加速度計や傾斜計からは判断できない。
【００４１】
図９に示したのは例示であり、センサーにはこのように長所短所があり、違ったセンサー情報を統合的に用いることで弱点を補い合い信頼性高い認識結果が得られる。以上のようにして、加速度計、角加速度計、傾斜形等のデータと、画像や３次元データ等の複数の異なるデータに基づいて対象物の状態を検出することができる。
【００４２】
センサー情報統合にはもう一つの側面がある。即ち、前述は異種センサー情報の統合であったが、同種センサーの統合により高精度認識を実現できる。図１０は一つの実施形態における例であるが、固定と携帯カメラの２つの画像から状況の認識ができる。例えば、転倒すると両方のカメラに急激な変化が観測され、異常事態が発生したことが分かる。携帯カメラ画像は劇的に変化し、何が映っているかで、人の向き、位置が分かる。同時にセンサーからも異常事態の発生が確認される。１次元センサーの情報からもこの状況は観測される。このように「固定、携帯」×「同種、異種」×「複数台センサー」の組合せで情報統合を行うことにより、転倒の検出を確かなものとすることができる。ここでは分かり易さのために転倒の例をあげたが、その他の異常事態の検出にも同様に適用可能である。このとき、歩行中のセンサーデータにおける前後加速度から異常発生が分かる。例えば、図１０は、「正常に歩いているときは周期的な変化（１）、角を曲がり終わって走り出した（２）トタンに転んだ（３）⇒異常発生した。異常事態が発生したことは携帯及び／又は固定カメラ画像と合わせて判断することで信頼性が向上する。」ことを示している。
【００４３】
次式は、よく使われる形状特徴として一般に用いられているモーメントの定義を示すが、ある点、又はある軸の回りの分散を表現できるパラメータであれば、モーメントの代わりに利用することができる。例えば、ある軸に沿ってのヒストグラムの分散等を用いることもできる。
【数１】
【００４４】
重心回りのモーメントを次式のように表す。
【数２】
【００４５】
重心を通る垂直軸、水平軸回りモーメントを次式のように表す。
【数３】
【００４６】
ここで、全てのモーメントに関するパラメータは単独で用いることもできるが、比（(4), (8)）を用いた方が効果が高い。上の２種類のモーメントに関するパラメータにおいて、(2), (3), (6), (7) のモーメント計算においてここでは上下に分けたが、人の検知に使うときには、高さの比を設定し、その比で、頭、胴体、脚の３つの部分（腰を中心に２つに分けることも可能、何らかの意味のある部分に分ける）に分けて、それぞれの範囲で計算する（各区間の高さ：k1*H〜k2*H、0≦k1＜k2≦1）。このようにすると一部分遮蔽があっても、見えている部分を利用でき、ある程度の判断ができるので、遮蔽に強い頑健なシステムが構築できる。前述のようにモーメントは分散等で代用することもできる。
【００４７】
また、次式に動き測度として用いられるものを挙げる。
【数４】
【００４８】
以上は２次元上での話であるが、３次元空間上でも同様に定義することができる。ＳＲ及びＤＲは、式(8)、(9)の逆数を用いて定義されることもあるが、ここでは０から１の範囲の値をとる（0≦SR≦1、0≦DR≦1）ように上式のように定義する。なお、一般にフレームは画像を意味するが、３次元データ等その他マルチメディアコンテンツにも適用できる。コンテンツは、センサーから得られたデータの総称をいい、コンテンツが時間的に変化する場合に各時刻におけるデータをフレームと呼ぶ。例えば、動画を例に取ると、複数枚のフレーム（静止画）が集まって一つの動画を構成する。一般にはフレームは画像に用いられる場合が多いが、ここではその他のコンテンツにも同じ用語を用いることにする。
【００４９】
次に、本発明の第４の実施形態について説明する。主として上述の実施形態と異なる点について説明し、共通する点については説明を省略する。本実施形態では、カメラからの画像データに基づいて、対象物となっている人が立っている状態であるか否かを判定する起立状態判定手段を備えている。
【００５０】
まず、起立状態判定手段による判定方法について説明する。人の姿勢・動作の認識手段はまず「立っている」と「それ以外」に大分類する。ここでは「立っている」状態を起立状態と呼ぶ。背景差分等から２値化されたシルエット等を用いて、図１１に示すようにまず立っている姿勢とそれ以外に大分類する。この処理は、動きを考慮に入れずに、一目見て分かるもので、１枚のシルエットから簡単に精度よく判別できる。ノイズ゛除去、精度向上等の目的で複数枚用いることはあり得るが、１枚のシルエットからでも識別できる。その後、複数センサーの情報を相補的・統合的に用いて、各姿勢・動作に合致する詳細判別ルール（詳細後述）を設定することで、立っているとそれ以外の状態をさらに細かく類別（小分類）することを特徴とし、このようにして可能性を絞ることで精度を上げ、同時に高速化を達成し、また複数センサーから得られるパラメータの組合せによって信頼性を確保することを特徴とする。図１２及び図１３は、それぞれ本実施形態における、立っている状態とそれ以外の詳細分類の項目例をあげたものである。ここでは、シルエットを用いて説明したが、画像に限らず３次元データ等にも適用できる。
【００５１】
上記起立状態判定手段が人が立っている状態であると判定した場合について説明する。本実施形態における実施例として「立っている」状態の詳細判別ルールの例を示す。「立ち止まる」は動かないことで、「歩く、走る」はスピードの違いで、区別でき、「駆け足、全力疾走」等もスピード（動きの準周期）の違いで、区別できる。すなわち、移動速度に基づいて、人が静止状態であるか、歩行状態であるか、走行状態であるかを判定することができる。「立っている」は、「じっと立ち止まっている、歩く、走る、等」（正常）、「徘徊状態（うろうろする）」、「泥酔状態（酔っ払っている状態）」（異常）に分類でき、図１４にその様子を示す。移動状態判定手段は、上記１次元センサー、あるいはカメラ画像３次元センサーからのデータから動き測度を用いて動きを分類する。ここでは直感的な分かりやすさのために画像を用いて説明するが、その他のメディア（３次元データや加速度計等）からのデータを利用してもよい。「うろうろする、酔っ払っている」を厳密に区別する論文は見かけないが、ここでは、次のように定義する。「徘徊状態（うろうろする）」は、同じことを目的無しに繰り返し、意味もなく、何回も同じ人が同じ場所に登場する動作のことを言い、首をよく回す場合が多い。また、「泥酔状態（酔っ払っている）」は、「うろうろ」ほど何回も繰り返さないが、安定せず、手を振ったり、一瞬止まったように見えてまた歩き出したりして、移動速度の平均値からの差がかなり大きい。
【００５２】
典型的な動きの軌跡のイラスト図を同図(a)に示す。一例として、次のような動作を区別するルールが作れる。
(1)
普通に歩く、走る ：SR≒１か少し1を下回る程度 １≧SR≧Th1
歩くと走る（駆け足、全力疾走等）は移動速度での違いで区別できる。
(2)
酔っ払っている ：・・・・・ Th1≧SR≧Th2
(3) うろうろしている ：・・・・・ Th2≧SR≧０
【００５３】
ただし、SRは原理的に１より大きくはならない（SR≦1）。移動距離は画像上でなく、３次元実空間上に換算した方がより正確であり、３次元データや加速度計等のデータを利用してもよい。閾値は実験より決められる。SRの替わりに、Tフレーム前の位置と現在位置との差（D）、その間に移動した総距離（S）の比（DR＝D/S ）を用いてもよい。以上のように、ＳＲが、１以下で第１の閾値（Th1）以上であるか、第１の閾値以下で第２の閾値（Th2）以上であるか、第２の閾値以下であるかを判定することで、「正常状態」「泥酔状態」「徘徊状態」を判断することができる。
【００５４】
上記起立状態判定手段が人が立っている状態でないと判定した場合について説明する。この場合は、対象物の形状測度や動き測度を算出し、算出した形状測度等に基づいて、人間の姿勢を認識することができる。本実施形態では、形状測度としてバウンディングボックスのアスペクト比、モーメント比、高さ、幅、及びヒストグラムの重心位置からなるパラメータを用いている。以下、詳細に説明する。
【００５５】
本形態における実施例として「立っている以外」の詳細判別ルールの例を次に挙げる。立っている状態からしゃがむと、全体のバウンディングボックスあるいはシルエットの重心Gy(t)は下がり（例えば、Gyから約半分の1/2Gyに変化）、飛び上がると上がる（例えば、約２倍の2*Gy に変化）。実際の使用時には適当な閾値を設定する。図１３に見るように、最初のバウンディングボックスの上の部分、あるいは下の部分からシルエットがなくなることでも判断できる。このことは、３次元測距センサーを用いると、しゃがむと上（上半身部分）のデータがなくなり、ジャンプすると下（下半身部分）のデータがなくなる。ここで、データがなくなるということは背景が現れることを意味する。
【００５６】
瞬間的な動きの認識には姿勢を表わすパラメータの変化を用いるが、いくつかの例を次に挙げる。
立上がる MR：中→小、AR：中→小、H：中→大、W：中→小、Gy：中→高（急）
回れ右 MR：小、 AR：小、 H：大、 W：小、 Gy：高
座る MR：小→中、AR：小→中 H：大→中、W：小→中、Gy：高→中
横たわる MR：中→大、AR：中→大、H：中→小、W：中→大、Gy：中→低（緩）
ジャンプ Top、Bottom：中→高（急）、 Gy：→高（急）
バウンディングボックスの重心等と共に、高い位置へ急激に移動する。
足をどのように上げるかで、種々の姿勢が取れるので、上げ方に対応して決める。
しゃがむ MR：高→中、AR：高→中、H：大→中、W：小→中、Gy ：高→中（普通）
Top、Bottom：高→中（普通）
バウンディングボックスの重心等と共に、低い位置へ普通の速度で移動する。
正面向きか横向きかで異なるルールを適用する。
【００５７】
ここで、全身のバウンディングボックスの幅をW、高さをH、アスペクト比をAR、モーメント比をMR、ヒストグラムのy方向重心位置をGyで表わしている。また、変化速度は、急は急激な変化、緩はゆっくりとした変化、普通は普通の速さでの変化を表わす。同様に、バウンディングボックスやシルエット特徴を用いてルールを作ることができる。ここでは、相対的な値を表現するために「大中小、高中低、緩急普通」のような定性的な表現をしたが、実際には具体的に閾値を設ける。一般的に言って、バウンディングボックスのアスペクト比（AR：W/H）とモーメント比（MR：m20/m02、mi(90)／mi(0)）は常に同じ傾向を示すが、モーメント比を用いた方が安定した結果が得られる場合が多い。また、同じ立っている状態ではMRやARが小であることにより判定できるが、そのための閾値は正面向きと横向きで違ってくる。正面か、横向きかは、(1) シルエットのヒストグラム、(2) シルエット形状、(3) 対象性、等を用いて調べることができる。
【００５８】
垂直軸に関する対称性の測度として、次式数５の相互相関係数等が使える。正面向きの画像は対称性が高く（相互相関係数が大きく、１に近くなる）、横向きでは対称性が正面に比べて低い（相互相関係数が小さく０に近くなる）。バウンディングボックスの中の２値画像X(i,j) を左右反転した画像X’を平行移動しながら、正規化相互相関係数の最大値Maxを求め、その値がある閾値より大きければ対称性が高いとする。対称性が高ければ、正面向きと判断し、そうでなければ横向きと判断する。他のパラメータとの併用により信頼性を高めることができる。
【００５９】
【数５】
【００６０】
【数６】
【００６１】
上記人数判定手段が２人以上であると判定した場合で、かつ上記移動状態判定手段が歩行状態であると判定した場合、移動効率判定手段が移動効率を算出し、動作認識手段がその値が１以下で第１の閾値以上であると判定した場合は、「一緒に歩いている正常状態」か、「尾行状態又は不審者の可能性がある異常状態」であると判断し、第１の閾値以下であると判定した場合は、「遊んでいる、喧嘩、殴り合い」のいずれかの可能性があると判断する。さらに、上記の形状測度や動き測度と合わせて判断する。例えば、手足を早く動かしていれば喧嘩や殴り合いの可能性が高いと判断し、警戒を呼びかける。
【００６２】
上記人数判定手段が２人以上であると判定した場合で、かつ上記移動状態判定手段が走行状態であると判定した場合、移動効率判定手段が移動効率を算出し、動作認識手段がその値が１以下で第１の閾値以上であると判定した場合は、「一緒に走っている正常状態」か、「追いかけている状態、又は不審者の可能性がある異常状態」であると判断し、第１の閾値以下であると判定した場合は、「遊んでいる、逃げ回っている」のいずれかの可能性があると判断する。さらに、上記の形状測度や動き測度と合わせて判断する。例えば、同じ場所をぐるぐる回っていれば追いかけっこをして遊んでいるので放置し、少し離れて直線的に高速で移動していれば、「逃げている／追いかけている」可能性が高いと判断し、警戒を呼びかける。
【００６３】
上記起立状態判定手段が立っている状態ではないと判定した場合、形状測度等算出手段が形状測度及び／又は動き測度を算出し、姿勢検出手段が形状測度等算出手段と、形状測度等算出手段が算出した形状測度及び／又は動き測度に基づいて、人間の姿勢を検出する。
【００６４】
なお、位置推定に関しては、各センサーの誤差の分布の形が異なること、例えば、一方は東西方向、もう一方は南北方向に広がっていれば、同じ誤差分散を持っていても、両方の共通領域としてより精度の高い位置推定が可能となる。
【００６５】
複数人の検出及び追跡に関しては、できるだけ重ならないように、カメラやセンサー等をできるだけ高い位置に設置することで、分離しやすくなる。
【００６６】
小型カメラ、GPS、加速度計・角加速度計・傾斜計等の携帯型センサーは、できるだけ身体的な拘束を感じさせることなく装着でき、小型、省電力、安価であることが必要であり、３次元測距センサー等の固定での使用が想定されているセンサーについては遮蔽を少なく、高い精度での検出が可能になるように最適な位置に設置場所が確保できることが必要である。
【符号の説明】
【００６７】
１００ ネットワーク
１０１ 固定センサー
１０２ 携帯センサー
１０３ 認識手段
【技術分野】
【０００１】
地下鉄、駅、空港等の公共の場における、拳銃、刀等の不法所持者、テロリスト、尾行、スリ、喧嘩等怪しい人物（不審者）の発見と追跡及び不審物の発見等セキュリティ確保のための監視システム、あるいは家庭や学校等建物内における老人や子供、病人等の見守りシステムに必須技術として、人の姿勢・動作・動きや持ち主不在の物体を検出及び認識して、異常を検知するためのマルチセンサー情報統合技術を用いた監視システム及び見守りシステムに関する。
【背景技術】
【０００２】
従来の監視システムはほとんどが固定的に設置された監視カメラを使用したものが大半である。一方、携帯型センサーを用いた老人や子供の見守りシステムに関するものは、GPS搭載の携帯電話を子供に持たせたものがある程度で、他には見当たらない。複数台のカメラを設置した例はたくさんあるが、異なるメディアタイプのモダリティ、例えば可視光カメラと加速度計等を用いて相補的に信頼性を向上させるような方法は実用的には利用されてこなかった。ほとんどの従来型監視技術は一つのメディアタイプ（主には、ビデオカメラ）だけを用いているために、広い範囲はカバーできても、不審者、不審物の発見や異常事態の検出は人の目視に頼らざるを得なかった。本発明は、これらの欠点を補強し、信頼性の高い自動監視システム及び見守りシステムの実現を目指したものである。
【０００３】
不審者、不審物の発見には監視カメラ以外では、空港等におけるX線検査や係官による目視によるもの、発熱を感知するサーモグラフィ検査、顔写真や指紋照合によるもの等が代表的なものである。カメラや加速度計等の異種メディアからの情報を効果的に統合する方法は、まだ緒についてばかりで、過去の研究では画像処理アルゴリズムを用いた静止物体や特定の動きをする人の自動検出については、それほど複雑でない比較的安定した環境の中での動作認識（歩く、走る、転倒等）に限られており、実用的な２４時間監視システム及び見守りシステムを実現できるレベルには至っていない。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Teddy Ko, “A survey on behavior analysis in videosurveillance for homeland security applications,” 37th IEEEApplied Imagery Pattern RecognitionWorkshop, Washington, DC, USA, pp.1-8, Oct. 15-17, 2008.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の監視システム及び見守りシステムには以下に示す問題点があった。すなわち、単一のメディア情報を用いただけでは、セグメンテイションが難しかったり、不正確になるケース、あるいは人物追跡に失敗すること等が多々あり、対象物を検出する精度や信頼性に欠けるという問題があった。
【０００６】
また、対象物の位置推定において高い精度が要求される場合は多々あるが、高価な機材を使用することなく実現するのは困難であった。さらに、人の姿勢・動作認識システムにおいて、カメラ情報がよく使われるが、監視と見守りを含めて考えるとき、画像からだけでは判断しにくい場面はよく出現し、そのようなときに認識システムの高精度・高信頼性の確保は大きな課題である。
【課題を解決するための手段】
【０００７】
本発明は、このような問題点を解決するために提案された対象物の認識システムであって、監視領域及び／又は見守り領域（以下、観測領域という）を観測する同種及び／又は異種の複数の観測手段と、上記各観測手段から得られる複数のデータを対応付けて観測領域内の対象物を認識する認識手段を備える。上記観測手段には、１次元データを取得する１次元センサー、２次元データを取得する２次元センサーと、３次元データを取得する３次元センサーを用いることができる。上記１次元センサーの例として、加速度計、角加速度計、傾斜計が挙げられる。上記２次元センサーの例として、対象物の画像を撮影するカメラが挙げられる。一般的には可視光カメラが多く使われるが、近赤外線カメラ、遠赤外線カメラ、サーモグラフィ等を用いることもできる。上記３次元センサーの例として、３次元空間上の距離画像データを取得するレンジセンサー、３次元位置センサー、３次元モーションセンサー、又は３次元測距センサーが挙げられる。
【０００８】
単一のメディア情報を用いただけでは、セグメンテイションが難しかったり不正確になるケース、あるいは人物追跡に失敗すること等が多々あったが、本発明によれば、より精度よくセグメンテイションを実行したい要求に応えることができる。１次元データ、２次元データ、３次元データを対応付けて対象物領域を抽出し、その結果を用いて対象物を認識することによりこの問題を解決する。ここで、対象物領域を切り出すことをセグメンテイションという。
【０００９】
また、本発明は、上記複数の観測手段が、データの種類、設置場所、観測方向のうち少なくともいずれか１つが異なり、上記認識手段が、上記複数の観測手段から得られる、誤差分布が異なる複数の位置データを対応付けて重畳する重畳手段と、上記重畳手段が重畳した結果、複数の位置データが重なる部分に基づいて、対象物の位置を検出する位置検出手段とを含むようにしてもよい。これによれば、センサーを複数台用いることで、1台では不可能であった高精度の位置推定を達成することができ、より精度の高い監視システム及び見守りシステムが実現でき、多くの応用分野が広がる。
【００１０】
また、本発明は、上記観測手段が、上記１次元センサー又は上記２次元センサー又は上記３次元センサーを含み、
上記認識手段が、１次元センサーから得られる１次元データに基づいて、対象物の向き及び／又は動きを検出する向き等検出手段と、２次元センサー又は３次元センサーから得られる２次元データ又は３次元データに基づいて、対象物の姿勢及び／又は向き及び／又は動作を検出する姿勢等検出手段と、向き等検出手段が検出した向きと動きの状態と、姿勢等検出手段が検出した向き及び／又は姿勢及び／又は動作から、対象物の状態を検出する状態検出手段とを含むようにしてもよい。人の姿勢・動作認識システムにおいて、カメラ情報がよく使われるが、監視と見守りを含めて考えるとき、画像からだけでは判断しにくい場面であっても、高精度・高信頼性の認識システムを確保することができる。
【００１１】
また、本発明は、１次元センサー又は２次元センサー又は３次元センサーから得られたデータに基づいて、対象物となっている人間が立っている状態であるか否かを判定する起立状態判定手段と、起立状態判定手段が立っている状態であると判定した場合、各センサーから得られる移動速度に基づいて、人が静止状態であるか、歩行状態であるか、走行状態であるかを判定する移動状態判定手段と、を備えることもできる。１次元センサー又は２次元センサー又は３次元センサーから移動速度を求めることができる。
【００１２】
さらに、本発明は、２次元データ又は３次元データに基づいて、観測領域内の一定の範囲内で近くに人が１人いるか、２人以上いるかを判定する人数判定手段と、人数判定手段が１人であると判定した場合であって、かつ上記移動状態判定手段が歩行状態であると判定した場合、移動効率を算出する移動効率算出手段と、上記移動効率が、１以下で第１の閾値以上であるか、第１の閾値以下で第２の閾値以上であるか、第２の閾値以下であるかを判定する移動効率判定手段と、移動効率判定手段が、１以下で第１の閾値以上であると判定した場合は正常状態であると判断し、第１の閾値以下で第２の閾値以上であると判定した場合は飲酒状態であると判断し、第２の閾値以下であると判定した場合は徘徊状態であると判断する動作認識手段と、を備えることもできる。
【００１３】
ここで、移動効率は、第一義的にはどれだけ効率的に移動したかを示すパラメータであって０〜１の範囲の値をとり、具体的には、変位距離に対する走行距離の比（以下、ＳＲという）やT フレーム前の位置と現在位置との差とその間に移動した総距離の比（以下、ＤＲという）等を用いることもできる。ＳＲとＤＲの意味についての詳細は後述する。また、手足の不用な動きや不規則性、腰を曲げたり、頭、首を振る等の無駄な動作、上半身、下半身の動作から意味のない動作を抽出してその割合を用いることもできる。
【００１４】
上記人数判定手段が２人以上であると判定した場合あって、かつ上記移動状態判定手段が歩行状態であると判定した場合、移動効率を算出する第２の移動効率算出手段と、上記移動効率が、１以下で第１の閾値以上であるか、第１の閾値以下であるかを判定する第２の移動効率判定手段と、上記第２の移動効率判定手段が、１以下で第１の閾値以上であると判定した場合は、「横に並んで歩いていれば、一緒に歩いている正常状態」か、「後ろの人が先頭の人から一定の距離だけ離れて歩いていれば、尾行状態又は不審者の可能性がある異常状態」であると判断し、第１の閾値以下であると判定した場合は、「遊んでいる、喧嘩、殴り合い」のいずれかの可能性があると判断する第２の動作認識手段と、を備えてもよい。
【００１５】
上記人数判定手段が２人以上であると判定した場合あって、かつ上記移動状態判定手段が走行状態であると判定した場合、移動効率を算出する第３の移動効率算出手段と、上記移動効率が、１以下で第１の閾値以上であるか、第１の閾値以下であるかを判定する第３の移動効率判定手段と、上記第３の移動効率判定手段が、１以下で第１の閾値以上であると判定した場合は、「近くに並んで走っていれば、ジョギング等で一緒に走って正常状態」か、「後ろの人が先頭の人から一定の距離だけ離れて走っていれば、追いかけている状態、又は不審者の可能性がある異常状態」であると判断し、第１の閾値以下であると判定した場合は、「逃げたり、追いかけたりしている状態」遊んでいる、喧嘩、殴り合い」のいずれかの可能性があると判断する第３の動作認識手段と、を備えてもよい
【００１６】
さらに、本発明は、起立状態判定手段が立っている状態ではないと判定した場合、形状測度及び／又は動き測度を算出する形状測度等算出手段と、形状測度等算出手段が算出した形状測度及び／又は動き測度に基づいて、人間の姿勢を検出する姿勢検出手段とを備えることもできる。
【発明の効果】
【００１７】
家庭内、公共の建物内や通学路などにおいては、病人、子供や老人等が急に転倒したり、うずくまったり、したりの異常がないか、周辺に怪しい人がいないか、等を検知し通報する見守りシステムの構築に利用できる。
【００１８】
不審者の発見や追跡、見守り対象者の異常事態発見等のためには、人の候補領域が検出された後処理として簡便で高精度な姿勢・動作の認識方法の開発が強く望まれており、２４時間自動監視システム及び見守りシステムを実現することができる。
【００１９】
複数センサーの使用により、セグメンテイション及び位置推定精度の向上を図ることができ、結果として姿勢・動作の認識精度も向上し、より信頼性の高い異常事態発生の検知が可能となる。また、３次元的な位置を捉えられるので、正確な追跡が可能となる。
【００２０】
一定の動きをする人や物を検出する際に、人混みの多いところでは、遮蔽が頻繁に発生し、照明変動の影響等でうまく検出できない場合が多々あるが、そのような場合でも柔軟性の高い頑健な対象物検出が可能となる。前処理が安定的に高精度で行われることにより、人の姿勢・動作の認識精度及び位置推定精度が向上し、不審者等の正しい追跡が可能となる。
【図面の簡単な説明】
【００２１】
【図１】処理手段を含むシステム全体の構成図
【図２】システム全体の処理フローダイアグラム
【図３】バウンディングボックスに関連するパラメータを示す図
【図４】すれ違ったとたんに向きを変えた場合と変えない場合の追跡
【図５】第１の実施形態における３次元測距センサーの説明図
【図６】第１の実施形態における画像と３次元測距センサーとの併用によるセグメンテイションを説明する図
【図７】複数のセンサーによる遮蔽領域の違いを説明する図
【図８】第２の実施形態における位置推定の原理を示す図
【図９】第３の実施形態における姿勢・動作を示す図
【図１０】第３の実施形態における固定センサーと携帯センサーを併用する場合の説明図
【図１１】第４の実施形態における人の起立状態の判定方法を示す図
【図１２】第４の実施形態における人の起立状態の分類方法を示す図
【図１３】第４の実施形態における人の起立状態でない場合の分類方法を示す図
【図１４】第４の実施形態における人の動きの違いを示す図
【発明を実施するための形態】
【００２２】
以下、本発明の第１の実施形態について、図面と数式に基づいて説明する。図１は、本実施形態における処理手段を含むシステム全体の構成図である。本システム１００は、対象物を観測する同種又は異種の複数のセンサー１０１、１０２と、センサー１０１、１０２から得られる複数のデータを対応付けて観測領域内の対象物を認識する認識手段１０３を備えている。センサー１０１、１０２は、一定時間内に、背景や対象物を観測する観測手段としての機能を有し、固定センサー１０１、携帯センサー１０２等で構成される。
【００２３】
一定時間内、監視及び見守り対象となる場面を観測する観測手段として、次に挙げるセンサーを用いてもよい。センサーの種類は、「０次元：位置計測GPS、温度、湿度」、「１次元：加速度計（３軸）、角加速度計（３軸）、傾斜計（３方向、角加速度計に含ませ得る）、マイク（音響）」、「２次元：通常の可視光カメラ、近赤外線カメラ、遠赤外線カメラ、サーモグラフィ」、「３次元：３次元データ（レンジセンサー、３次元位置センサー、３次元モーションセンサー、３次元測距センサー）」等から選ばれる。ここでは、本来の使用目的と直感的な分かりやすさのために主に画像を用いて説明するが、その他のメディア（３次元データ等）等の観測データに欠落がある場合にも同様に適用できる。また、種々の変動等に対応するために０次近似だけでなく、線形近似あるいは高次近似等も使え、誤差を最小にするために、最小二乗平均誤差（LMS: Least Mean Square)、あるいは最大誤差を最小にして最適値を得る手法等も必要に応じて使い分ければよい。認識手段１０３は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）等を備えたパーソナルコンピュータで構成され、ＣＰＵが、ＲＯＭやＨＤＤ等に記憶されているプログラムを実行することで、認識手段としての機能が果たされる。
【００２４】
次に、本実施形態の対象物認識システム（又は監視システム、見守りシステム）におけるシステム全体の流れについて簡単に説明する。図２は、本実施形態におけるシステム全体の処理フローダイアグラムである。まず、観測に入る前に初期値としての背景を求める。ここで、背景とは、人、物に関わらず、観測開始より前から観測が始まってからも一定期間静止しているものを意味し、初期背景とは観測開始時の背景、短時間背景と長時間背景は静止時間の長短により区別する。すなわち、途中から現れても、ある一定時間以上場面中に存在し、静止し続けているものを指すこともある。
【００２５】
図２に示すように、センサー２００からのデータを受けとり（Ｓ２０１）、背景の抽出と更新をする（Ｓ２０２）。まず、背景差分やフレーム間差分等により対象物領域を抽出し（Ｓ２０３）、さらに位置と大きさの微調整を行い（Ｓ２０４）、セグメンテイションを行い（Ｓ２０５）、領域特徴を抽出する（Ｓ２０６）。３次元実空間上での位置推定を行い（Ｓ２０７）、対象となる静止物体や一定の動きをする動物体の姿勢・動作の認識、不審物の検出を行う（Ｓ２０８~Ｓ２１３）。具体的には、物か、人かの判別を行い（Ｓ２０８）、物ならば不審物と判断して（Ｓ２０９）、この不審物を持ってきた人の追跡を始める（Ｓ２１０）。人ならば姿勢・動作の認識結果から異常事態の検出を行い（Ｓ２１１、Ｓ２１２）、異常が発見されたら通報等の対応をする（Ｓ２１３）。これらの手順により一連の処理を終わるが、監視及び見守り時間中は上の処理を繰り返す。
【００２６】
本実施形態では、対象物とは静止物体あるいは一定の動きをする物体で検出・認識の対象となっているものであり、人と物を含む。対象となる静止物体とは、人、物を問わず、ある時刻、例えば、最初観測を始めた時には存在していなくて、それ以後、途中から場面中に存在し、静止し続けているものを指す。例えば、誰かが置き忘れたもの、故意に置いて行ったもの、および歩いてきて椅子に座っている人等を指す。観測の最初から存在していたものは対象としない。また、途中から現れても、ある一定時間以上場面中に存在し、静止し続けているものを指すこともある。
【００２７】
バウンディングボックスは、図３に示すように、ある対象物を囲む最小の長方形、あるいは直方体領域のことであるが、必ずしも最小のものが抽出できるとは限らない。また、重心は対象物候補領域の位置を表す一つのパラメータであり、他にも対象物候補領域の位置を表す一つのパラメータとしてはバウンディングボックスの左上隅の点の位置、最上点、最下点等を選ぶことも可能である。シルエットとは、背景差分等によって抽出された対象物（人、物）領域を白黒で表現したものである。３次元データは、３次元空間上の距離画像データ等を総称していい、レンジセンサーや３次元位置センサー、３次元モーションセンサー、３次元測距センサー等から取得することができる。
ここで、対象物候補領域は対象物領域であると判断される前の領域であって、この候補領域を基に対象物領域が決められる。対象物の存在位置や動きを反映するパラメータとしては、対象物のシルエットやバウンディンボックスの重心や領域の最大値、最小値、背景差分の絶対値や後述する動き測度等がある。画像を例に取ると、このパラメータに対応する画像上の領域を求めると対象物の存在位置や大きさを知ることができる。また、対象物パラメータは対象物を反映するパラメータ、背景パラメータは背景を反映するパラメータのことで、具体的な例として画素値や３D位置データ等である。両方を総称して領域パラメータという。また、画像を例に取ると、対象物存在位置パラメータに対応する画像上の領域を求めると対象物の存在位置、対象物領域や大きさ等を知ることができる。
【００２８】
上記複数のセンサーから得られる複数のデータを対応付けて利用すれば、図４は画像では追跡が難しい場合でも３Ｄ測距センサーを使えば簡単に行える例を示している。
【００２９】
上記複数のセンサーから得られる複数のデータを対応付けて対象物を認識する認識手段について説明する。複数のセンサーを用いる場合、対象物領域を切り出す、いわゆるセグメンテイションが重要となる。図５は３次元測距センサーの説明図であり、図６は、本実施形態における画像と３次元測距センサーとの併用によるセグメンテイションを説明する図である。まず、セグメンテイションには、複数センサーからのデータ間の対応付けを行うことで、両方のデータを相補的に利用することができる。今の例では、形状と画像の両方を利用することで高精度でのセグメンテイションが可能となる。例えば、図６(a)の有効データ範囲は同図(b)の少女の位置に対応しており、仮に服の色が周辺の壁の色と同じであっても正確なセグメンテイションが行える。そのときに、双方向の空間マッピングが考えられる。具体的には、例えば２次元画像データを３次元曲面データ上に重畳する場合や、３次元測距画像データを２次元画像上に重畳する場合がある。図６では画像上の実線がスキャン点を示している。
【００３０】
カメラと３次元測距センサーが同じ位置にない場合には、図７に示すように違う位置に遮蔽が発生することがあるが、セグメント領域に余裕を持たせることで、対応できる。また、事前にお互いの相対的位置が分かっていれば遮蔽位置は計算により分かる。３次元測距センサーのような３次元データが得られるセンサーを用いれば、ステレオ視を用いずに距離データを直接求めることができるため、高い信頼性で高速に結果が得られる。遮蔽の発生は同じ場所に設置されたセンサーから得られた観測値であれば、基本的には同時に発生する。
【００３１】
場所が違えば、遮蔽の発生は、時間、場所が異なるので、相補的な利用が可能となる。すなわち、あるセンサーS1で遮蔽が発生し（データの消失、あるいは不連続が観測される場合も含む）、センサーS2で遮蔽が観測されなければ（観測データは連続）、対象物体は連続的な動きをしており、S1の遮蔽は一時的なものと解釈して、線形補間等により、遮蔽発生区間のデータを予測により求めることができる。また、一方のセンサー（S1）情報から他方のセンサー（S2）の遮蔽の発生が推定できるときは、その区間のS2のデータを除外して、近似を行うことで精度が向上する。一般には線形近似が簡単で効果的である。
【００３２】
図６において、実線は３次元測距センサーからのデータが有効な範囲、破線は半径方向に沿っており無効な範囲（未決定）を示している。正確なセグメンテイションは認識の前処理には必要不可欠であり、複数方向からのデータがあればさらに細かく対応が付けられ、より正確なセグメンテイションが可能となる。このように組み合わせることで、人の居る位置が分かり、３D形状も取得できることから、画像からの情報と３次元測距センサーからの情報により異常判定が可能となる。例えば、急に高さが変化して、半分以下になれば、スリップして転倒した可能性が大きく、このことを画像により確認することもできる。３次元測距センサーの代わりにレンジセンサー等の３次元データが得られるもので置き換えることもできるが、一般的にはより高価なシステムとなる。また、転倒等では急激な移動を伴うので、加速度計、角加速度計、傾斜計等からも変化が観測できる。
【００３３】
安全運転支援の観点からの応用も考えられる。例えば、車載カメラを用いて車のピラーや木立等による死角領域を抽出し、自車の近くにある他車両の３次元位置、向きを検出し、車外カメラや固定カメラ等からの画像を用いて死角にある画像を合成し、ドライバーに提示することができれば、安全性向上に役立つ。同様の考え方に基づいて、死角のない画像取得・認識システムの構築が可能となる。
【００３４】
背景画像を入れ替えることで画像合成ができる。クロマキーでは背景として青色を使うことが多いので青い物体は背景と解釈されるが、距離画像の無限遠点あるいは一定の距離以上の点を背景と見なせば、このような失敗はなく画像合成が可能となる。
【００３５】
次に、本発明の第２の実施形態について説明する。主として第１の実施形態と異なる点について説明し、共通する点については説明を省略する。本実施形態では、複数のセンサーが、データの種類、設置場所、観測方向のうち少なくともいずれか１つが異なっている。認識手段は、後述する重畳手段及び位置検出手段を備えている。
【００３６】
一般にセンサーの設置場所、種類により誤差の分布（広がり方）が異なるので、その違いを利用して精度の高い位置推定方法を行う。まず重畳手段が、複数のセンサーから得られる、誤差分布が異なる複数の位置データを対応付けて重畳する。図８は、本実施形態における複数センサーからの推定位置の誤差の少ない領域の重なり部分を採用することで高精度を達成する様子を示したものである。破線はImg1からの位置推定値、点線はImg2からの位置推定値を示しており、両方の共通部分としてより正確な位置が求まる。ただし、楕円は推定誤差がある範囲内にある領域を示している。また、複数センサーからの共通領域を採用することで精度は高まる。この例は、画像同士の例であるが、画像と３次元データの間にも拡張可能である。可視光と赤外線画像間、解像度の異なる画像間、さらには複数のセンサー間のデータにも同様に適用できる。特に、図８の例に見るように対象物搭載センサーと周辺に設置されたセンサーとの相互認識（計測）により位置推定精度向上を図る方法は有効である。こうすることで、一般には誤差の広がりの方向が異なるので精度が上がる。言い換えれば、わざわざ、分布が異なるようなセンサーの設置状況を作り出すことが重要である。位置推定は対象物の追跡には必要不可欠である。以上のように、位置検出手段によって、重畳手段が重畳した複数の位置データが重なる部分に基づいて、対象物の位置を検出することができる。
【００３７】
次に、本発明の第３の実施形態について説明する。主として第１及び第２の実施形態と異なる点について説明し、共通する点については説明を省略する。本実施形態では、加速度計や角加速度計や傾斜計等の一次元センサーと、カメラ又は３次元測距センサー等を併用することで、対象物の姿勢状態を検出することができる。
【００３８】
本実施形態では、遮蔽や照明変動に強く、頑健で高精度な人の姿勢・動作認識システムの実現のために、画像だけでなく違うメディアタイプのセンサー情報とを併用して用いている。例えば、転倒したときに仰向けか、うつ伏せか、画像だけでは分かりにくいが、加速度計や角加速度計や傾斜計と併用することで、確実に判定できる。対象者が装着していたセンサーからのデータが得られれば、簡単にどちら向きに倒れたのか、どちら向きに倒れているのか、等の情報が得られる。一方、複数箇所に設置されたカメラや３次元測距センサーからの情報を統合すれば、同様に多くの情報が得られる。ここではこのような同種及び／又は異種センサーを相補的に用いて精度・信頼性の向上を図るために情報統合を行うことを特徴とする。向き等検出手段は加速度計や角加速度計や傾斜計等のデータから対象物の向き及び／又は動きを検出し、姿勢等検出手段はカメラや３次元センサーのデータを処理することにより対象物の姿勢及び／又は向き及び／又は動作を検出する。状態検出手段はこれらの情報を相補的に用いて対象物の状態を検出するが、以下に例を挙げて説明する。
【００３９】
以下、対象物の姿勢状態を検出する姿勢検出方法について説明する。加速度計、角加速度計、傾斜計を上半身に装着すると「腰を曲げる、腰を低くする、上半身を曲げる、上体を倒す、かがむ」等の姿勢の変化や動作等の認識はしやすい。しかし、動作によっては、よろめく、つまずく、足を引きずる、のろのろ進む、等のようにそれほどはっきりした違いが現れないものもあり、画像あるいは３次元データと併用する必要がある。加速度計、角加速度計、傾斜計には遮蔽がないので見る方向や場所を問わず、検出可能である。図９は、本実施形態における姿勢・動作を示したものであるが、上段の「歩く、走る、つまずく、腰を曲げる、座る」については、画像や３次元データから、移動速度の「停止、ゆっくり、速い」、形状測度「アスペクト比、モーメント比、高さ(H)、Top」等で区別できる。ここで、形状測度とはモノの形を計るモノサシのことで、例えば、形そのもの、大きさ、円形度、伸長度、縦横高さ、モーメント、アスペクト比、モーメント比、輪郭線、フーリエ記述子、ヒストグラム、HOG等がある。また、HOG（Histgrams of Oriented Gradients）特徴量は勾配ベースの特徴量であり、フーリエ記述子（Fourier Descriptor）は物体の境界曲線の形状を表す特徴量となる。動き測度とは、動きの違いを図るモノサシのことで、速度、加速度、角速度、角加速度、傾斜角、移動効率（詳細は後述）等がある。以上のようにして、加速度計、角加速度計、傾斜計等のデータに基づいて、対象物の向き及び／又は動きを検出することができる。
【００４０】
また、上段と下段の区別は簡単であるが、同図下段の「転倒（うつ伏せ）、転倒（仰向け）、転倒（横向け）、休息」については転倒したのか、休息しているのか、どちら向きか、等は判断し難いが、加速度計、角加速度計や傾斜計のデータから簡単に知ることができる。画像や３次元データだけを用いるときでも、対象物の姿勢や動作、すなわち転倒か休息しているのかはこの状態に至る経過から判断ができる。急激に状態が変化したのであれば、転倒であり、ゆっくりであれば、休息のために横たわっただけである。転んだときは、回転が加わるので大きな角加速度が観測される。ただ単に向きを変えたときは、回転はあるが、高さは不変であり（画像、３次元データから分かる）、観測される角加速度データ等も違ってくる。また、静止しているときは、「立っているか、座っているか、横になっているか」等は静止状態なので画像や３次元データから比較的容易に判断できるが、加速度計や角加速度計や傾斜計からは判断できない。
【００４１】
図９に示したのは例示であり、センサーにはこのように長所短所があり、違ったセンサー情報を統合的に用いることで弱点を補い合い信頼性高い認識結果が得られる。以上のようにして、加速度計、角加速度計、傾斜形等のデータと、画像や３次元データ等の複数の異なるデータに基づいて対象物の状態を検出することができる。
【００４２】
センサー情報統合にはもう一つの側面がある。即ち、前述は異種センサー情報の統合であったが、同種センサーの統合により高精度認識を実現できる。図１０は一つの実施形態における例であるが、固定と携帯カメラの２つの画像から状況の認識ができる。例えば、転倒すると両方のカメラに急激な変化が観測され、異常事態が発生したことが分かる。携帯カメラ画像は劇的に変化し、何が映っているかで、人の向き、位置が分かる。同時にセンサーからも異常事態の発生が確認される。１次元センサーの情報からもこの状況は観測される。このように「固定、携帯」×「同種、異種」×「複数台センサー」の組合せで情報統合を行うことにより、転倒の検出を確かなものとすることができる。ここでは分かり易さのために転倒の例をあげたが、その他の異常事態の検出にも同様に適用可能である。このとき、歩行中のセンサーデータにおける前後加速度から異常発生が分かる。例えば、図１０は、「正常に歩いているときは周期的な変化（１）、角を曲がり終わって走り出した（２）トタンに転んだ（３）⇒異常発生した。異常事態が発生したことは携帯及び／又は固定カメラ画像と合わせて判断することで信頼性が向上する。」ことを示している。
【００４３】
次式は、よく使われる形状特徴として一般に用いられているモーメントの定義を示すが、ある点、又はある軸の回りの分散を表現できるパラメータであれば、モーメントの代わりに利用することができる。例えば、ある軸に沿ってのヒストグラムの分散等を用いることもできる。
【数１】
【００４４】
重心回りのモーメントを次式のように表す。
【数２】
【００４５】
重心を通る垂直軸、水平軸回りモーメントを次式のように表す。
【数３】
【００４６】
ここで、全てのモーメントに関するパラメータは単独で用いることもできるが、比（(4), (8)）を用いた方が効果が高い。上の２種類のモーメントに関するパラメータにおいて、(2), (3), (6), (7) のモーメント計算においてここでは上下に分けたが、人の検知に使うときには、高さの比を設定し、その比で、頭、胴体、脚の３つの部分（腰を中心に２つに分けることも可能、何らかの意味のある部分に分ける）に分けて、それぞれの範囲で計算する（各区間の高さ：k1*H〜k2*H、0≦k1＜k2≦1）。このようにすると一部分遮蔽があっても、見えている部分を利用でき、ある程度の判断ができるので、遮蔽に強い頑健なシステムが構築できる。前述のようにモーメントは分散等で代用することもできる。
【００４７】
また、次式に動き測度として用いられるものを挙げる。
【数４】
【００４８】
以上は２次元上での話であるが、３次元空間上でも同様に定義することができる。ＳＲ及びＤＲは、式(8)、(9)の逆数を用いて定義されることもあるが、ここでは０から１の範囲の値をとる（0≦SR≦1、0≦DR≦1）ように上式のように定義する。なお、一般にフレームは画像を意味するが、３次元データ等その他マルチメディアコンテンツにも適用できる。コンテンツは、センサーから得られたデータの総称をいい、コンテンツが時間的に変化する場合に各時刻におけるデータをフレームと呼ぶ。例えば、動画を例に取ると、複数枚のフレーム（静止画）が集まって一つの動画を構成する。一般にはフレームは画像に用いられる場合が多いが、ここではその他のコンテンツにも同じ用語を用いることにする。
【００４９】
次に、本発明の第４の実施形態について説明する。主として上述の実施形態と異なる点について説明し、共通する点については説明を省略する。本実施形態では、カメラからの画像データに基づいて、対象物となっている人が立っている状態であるか否かを判定する起立状態判定手段を備えている。
【００５０】
まず、起立状態判定手段による判定方法について説明する。人の姿勢・動作の認識手段はまず「立っている」と「それ以外」に大分類する。ここでは「立っている」状態を起立状態と呼ぶ。背景差分等から２値化されたシルエット等を用いて、図１１に示すようにまず立っている姿勢とそれ以外に大分類する。この処理は、動きを考慮に入れずに、一目見て分かるもので、１枚のシルエットから簡単に精度よく判別できる。ノイズ゛除去、精度向上等の目的で複数枚用いることはあり得るが、１枚のシルエットからでも識別できる。その後、複数センサーの情報を相補的・統合的に用いて、各姿勢・動作に合致する詳細判別ルール（詳細後述）を設定することで、立っているとそれ以外の状態をさらに細かく類別（小分類）することを特徴とし、このようにして可能性を絞ることで精度を上げ、同時に高速化を達成し、また複数センサーから得られるパラメータの組合せによって信頼性を確保することを特徴とする。図１２及び図１３は、それぞれ本実施形態における、立っている状態とそれ以外の詳細分類の項目例をあげたものである。ここでは、シルエットを用いて説明したが、画像に限らず３次元データ等にも適用できる。
【００５１】
上記起立状態判定手段が人が立っている状態であると判定した場合について説明する。本実施形態における実施例として「立っている」状態の詳細判別ルールの例を示す。「立ち止まる」は動かないことで、「歩く、走る」はスピードの違いで、区別でき、「駆け足、全力疾走」等もスピード（動きの準周期）の違いで、区別できる。すなわち、移動速度に基づいて、人が静止状態であるか、歩行状態であるか、走行状態であるかを判定することができる。「立っている」は、「じっと立ち止まっている、歩く、走る、等」（正常）、「徘徊状態（うろうろする）」、「泥酔状態（酔っ払っている状態）」（異常）に分類でき、図１４にその様子を示す。移動状態判定手段は、上記１次元センサー、あるいはカメラ画像３次元センサーからのデータから動き測度を用いて動きを分類する。ここでは直感的な分かりやすさのために画像を用いて説明するが、その他のメディア（３次元データや加速度計等）からのデータを利用してもよい。「うろうろする、酔っ払っている」を厳密に区別する論文は見かけないが、ここでは、次のように定義する。「徘徊状態（うろうろする）」は、同じことを目的無しに繰り返し、意味もなく、何回も同じ人が同じ場所に登場する動作のことを言い、首をよく回す場合が多い。また、「泥酔状態（酔っ払っている）」は、「うろうろ」ほど何回も繰り返さないが、安定せず、手を振ったり、一瞬止まったように見えてまた歩き出したりして、移動速度の平均値からの差がかなり大きい。
【００５２】
典型的な動きの軌跡のイラスト図を同図(a)に示す。一例として、次のような動作を区別するルールが作れる。
(1)
普通に歩く、走る ：SR≒１か少し1を下回る程度 １≧SR≧Th1
歩くと走る（駆け足、全力疾走等）は移動速度での違いで区別できる。
(2)
酔っ払っている ：・・・・・ Th1≧SR≧Th2
(3) うろうろしている ：・・・・・ Th2≧SR≧０
【００５３】
ただし、SRは原理的に１より大きくはならない（SR≦1）。移動距離は画像上でなく、３次元実空間上に換算した方がより正確であり、３次元データや加速度計等のデータを利用してもよい。閾値は実験より決められる。SRの替わりに、Tフレーム前の位置と現在位置との差（D）、その間に移動した総距離（S）の比（DR＝D/S ）を用いてもよい。以上のように、ＳＲが、１以下で第１の閾値（Th1）以上であるか、第１の閾値以下で第２の閾値（Th2）以上であるか、第２の閾値以下であるかを判定することで、「正常状態」「泥酔状態」「徘徊状態」を判断することができる。
【００５４】
上記起立状態判定手段が人が立っている状態でないと判定した場合について説明する。この場合は、対象物の形状測度や動き測度を算出し、算出した形状測度等に基づいて、人間の姿勢を認識することができる。本実施形態では、形状測度としてバウンディングボックスのアスペクト比、モーメント比、高さ、幅、及びヒストグラムの重心位置からなるパラメータを用いている。以下、詳細に説明する。
【００５５】
本形態における実施例として「立っている以外」の詳細判別ルールの例を次に挙げる。立っている状態からしゃがむと、全体のバウンディングボックスあるいはシルエットの重心Gy(t)は下がり（例えば、Gyから約半分の1/2Gyに変化）、飛び上がると上がる（例えば、約２倍の2*Gy に変化）。実際の使用時には適当な閾値を設定する。図１３に見るように、最初のバウンディングボックスの上の部分、あるいは下の部分からシルエットがなくなることでも判断できる。このことは、３次元測距センサーを用いると、しゃがむと上（上半身部分）のデータがなくなり、ジャンプすると下（下半身部分）のデータがなくなる。ここで、データがなくなるということは背景が現れることを意味する。
【００５６】
瞬間的な動きの認識には姿勢を表わすパラメータの変化を用いるが、いくつかの例を次に挙げる。
立上がる MR：中→小、AR：中→小、H：中→大、W：中→小、Gy：中→高（急）
回れ右 MR：小、 AR：小、 H：大、 W：小、 Gy：高
座る MR：小→中、AR：小→中 H：大→中、W：小→中、Gy：高→中
横たわる MR：中→大、AR：中→大、H：中→小、W：中→大、Gy：中→低（緩）
ジャンプ Top、Bottom：中→高（急）、 Gy：→高（急）
バウンディングボックスの重心等と共に、高い位置へ急激に移動する。
足をどのように上げるかで、種々の姿勢が取れるので、上げ方に対応して決める。
しゃがむ MR：高→中、AR：高→中、H：大→中、W：小→中、Gy ：高→中（普通）
Top、Bottom：高→中（普通）
バウンディングボックスの重心等と共に、低い位置へ普通の速度で移動する。
正面向きか横向きかで異なるルールを適用する。
【００５７】
ここで、全身のバウンディングボックスの幅をW、高さをH、アスペクト比をAR、モーメント比をMR、ヒストグラムのy方向重心位置をGyで表わしている。また、変化速度は、急は急激な変化、緩はゆっくりとした変化、普通は普通の速さでの変化を表わす。同様に、バウンディングボックスやシルエット特徴を用いてルールを作ることができる。ここでは、相対的な値を表現するために「大中小、高中低、緩急普通」のような定性的な表現をしたが、実際には具体的に閾値を設ける。一般的に言って、バウンディングボックスのアスペクト比（AR：W/H）とモーメント比（MR：m20/m02、mi(90)／mi(0)）は常に同じ傾向を示すが、モーメント比を用いた方が安定した結果が得られる場合が多い。また、同じ立っている状態ではMRやARが小であることにより判定できるが、そのための閾値は正面向きと横向きで違ってくる。正面か、横向きかは、(1) シルエットのヒストグラム、(2) シルエット形状、(3) 対象性、等を用いて調べることができる。
【００５８】
垂直軸に関する対称性の測度として、次式数５の相互相関係数等が使える。正面向きの画像は対称性が高く（相互相関係数が大きく、１に近くなる）、横向きでは対称性が正面に比べて低い（相互相関係数が小さく０に近くなる）。バウンディングボックスの中の２値画像X(i,j) を左右反転した画像X’を平行移動しながら、正規化相互相関係数の最大値Maxを求め、その値がある閾値より大きければ対称性が高いとする。対称性が高ければ、正面向きと判断し、そうでなければ横向きと判断する。他のパラメータとの併用により信頼性を高めることができる。
【００５９】
【数５】
【００６０】
【数６】
【００６１】
上記人数判定手段が２人以上であると判定した場合で、かつ上記移動状態判定手段が歩行状態であると判定した場合、移動効率判定手段が移動効率を算出し、動作認識手段がその値が１以下で第１の閾値以上であると判定した場合は、「一緒に歩いている正常状態」か、「尾行状態又は不審者の可能性がある異常状態」であると判断し、第１の閾値以下であると判定した場合は、「遊んでいる、喧嘩、殴り合い」のいずれかの可能性があると判断する。さらに、上記の形状測度や動き測度と合わせて判断する。例えば、手足を早く動かしていれば喧嘩や殴り合いの可能性が高いと判断し、警戒を呼びかける。
【００６２】
上記人数判定手段が２人以上であると判定した場合で、かつ上記移動状態判定手段が走行状態であると判定した場合、移動効率判定手段が移動効率を算出し、動作認識手段がその値が１以下で第１の閾値以上であると判定した場合は、「一緒に走っている正常状態」か、「追いかけている状態、又は不審者の可能性がある異常状態」であると判断し、第１の閾値以下であると判定した場合は、「遊んでいる、逃げ回っている」のいずれかの可能性があると判断する。さらに、上記の形状測度や動き測度と合わせて判断する。例えば、同じ場所をぐるぐる回っていれば追いかけっこをして遊んでいるので放置し、少し離れて直線的に高速で移動していれば、「逃げている／追いかけている」可能性が高いと判断し、警戒を呼びかける。
【００６３】
上記起立状態判定手段が立っている状態ではないと判定した場合、形状測度等算出手段が形状測度及び／又は動き測度を算出し、姿勢検出手段が形状測度等算出手段と、形状測度等算出手段が算出した形状測度及び／又は動き測度に基づいて、人間の姿勢を検出する。
【００６４】
なお、位置推定に関しては、各センサーの誤差の分布の形が異なること、例えば、一方は東西方向、もう一方は南北方向に広がっていれば、同じ誤差分散を持っていても、両方の共通領域としてより精度の高い位置推定が可能となる。
【００６５】
複数人の検出及び追跡に関しては、できるだけ重ならないように、カメラやセンサー等をできるだけ高い位置に設置することで、分離しやすくなる。
【００６６】
小型カメラ、GPS、加速度計・角加速度計・傾斜計等の携帯型センサーは、できるだけ身体的な拘束を感じさせることなく装着でき、小型、省電力、安価であることが必要であり、３次元測距センサー等の固定での使用が想定されているセンサーについては遮蔽を少なく、高い精度での検出が可能になるように最適な位置に設置場所が確保できることが必要である。
【符号の説明】
【００６７】
１００ ネットワーク
１０１ 固定センサー
１０２ 携帯センサー
１０３ 認識手段
【特許請求の範囲】
【請求項１】
監視領域及び／又は見守り領域（以下、観測領域という）を観測する同種及び／又は異種の複数の観測手段と、
上記各観測手段から得られる複数のデータを対応付けて観測領域内の対象物を認識する認識手段
を備える対象物の認識システム。
【請求項２】
上記観測手段が、対象物の１次元データを取得する１次元センサーと、対象物の２次元データを取得する２次元センサーと、対象物の３次元データを取得する３次元センサーのなかの少なくとも２つ以上を含み、
上記認識手段が、上記観測手段から得られる１次元データ、２次元データ、３次元データのなかの少なくとも２つ以上を対応付けて対象物を認識する
請求項１記載の対象物の認識システム。
【請求項３】
上記１次元センサーが、加速度計、又は角加速度計、又は傾斜計からなり、
上記２次元センサーが、観測領域を撮影するカメラからなり、
上記３次元センサーが、レンジセンサー、３次元位置センサー、３次元モーションセンサー、又は３次元測距センサーからなり、
上記認識手段が、加速度計又は角加速度計又は傾斜計から得られた１次元データと、カメラで撮影された画像と、レンジセンサー、３次元位置センサー、３次元モーションセンサー、又は３次元測距センサーから得られる３次元空間上の位置データの少なくとも２つ以上を対応付けて認識する
請求項２記載の対象物の認識システム。
【請求項４】
上記複数の観測手段が、データの種類、設置場所、観測方向のうち少なくともいずれか１つが異なり、
上記認識手段が、上記複数の観測手段から得られる、誤差分布が異なる複数の位置データを対応付けて重畳する重畳手段と、上記重畳手段が重畳した結果、複数の位置データが重なる部分に基づいて、対象物の位置を検出する位置検出手段とを含む
請求項１から３いずれかに記載の対象物の認識システム。
【請求項５】
上記観測手段が、上記１次元センサーと、上記２次元センサー又は上記３次元センサーを含み、
上記認識手段が、
１次元センサーから得られる１次元データに基づいて、対象物の向き及び／又は動きを検出する向き等検出手段と、
２次元センサー又は３次元センサーから得られる２次元データ又は３次元データに基づいて、対象物の姿勢及び／又は向き及び／又は動作を検出する姿勢等検出手段と、
向き等検出手段が検出した向きと動きの状態と、移動等検出手段が検出した姿勢及び／又は向き及び／又は動作から、対象物の状態を検出する状態検出手段とを含む
請求項１から４のいずれかに記載の対象物の認識システム。
【請求項６】
上記２次元センサー又は上記３次元センサーから得られたデータに基づいて、対象物となっている人間が立っている状態であるか否かを判定する起立状態判定手段と、
起立状態判定手段が立っている状態であると判定した場合、各センサーから得られる移動速度に基づいて、人が静止状態であるか、歩行状態であるか、走行状態であるかを判定する移動状態判定手段と、
を備える請求項１から５のいずれかに記載の対象物の認識システム。
【請求項７】
２次元データ又は３次元データに基づいて、観測領域内の一定の範囲内で近くに人が１人いるか、２人以上いるかを判定する人数判定手段と
人数判定手段が１人であると判定した場合であって、かつ上記移動状態判定手段が歩行状態であると判定した場合、人がどれだけ無駄なく移動したかを示すパラメータ（以下、移動効率という）を算出する移動効率算出手段と、上記移動効率が、１以下で第１の閾値以上であるか、第１の閾値以下で第２の閾値以上であるか、第２の閾値以下であるかを判定する移動効率判定手段と、
移動効率判定手段が、１以下で第１の閾値以上であると判定した場合は正常状態であると判断し、第１の閾値以下で第２の閾値以上であると判定した場合は泥酔状態であると判断し、第２の閾値以下であると判定した場合は徘徊状態であると判断する動作認識手段と、
を備える請求項６記載の対象物の認識システム。
【請求項８】
上記人数判定手段が２人以上であると判定した場合であって、かつ上記移動状態判定手段が歩行状態であると判定した場合、移動効率を算出する第２の移動効率算出手段と、
上記移動効率が、１以下で第１の閾値以上であるか、第１の閾値以下であるかを判定する第２の移動効率判定手段と、
上記第２の移動効率判定手段が、１以下で第１の閾値以上であると判定した場合は、「一緒に歩いている正常状態」か、「尾行状態又は不審者の可能性がある異常状態」であると判断し、第１の閾値以下であると判定した場合は、「遊んでいる、喧嘩、殴り合い」のいずれかの可能性があると判断する第２の動作認識手段と、
を備える請求項６記載の対象物の認識システム。
【請求項９】
上記人数判定手段が２人以上であると判定した場合であって、かつ上記移動状態判定手段が走行状態であると判定した場合、移動効率を算出する第３の移動効率算出手段と、
上記移動効率が、１以下で第１の閾値以上であるか、第１の閾値以下であるかを判定する第３の移動効率判定手段と、
上記第３の移動効率判定手段が、１以下で第１の閾値以上であると判定した場合は、「一緒に走っている正常状態」か、「追いかけている状態、又は不審者の可能性がある異常状態」であると判断し、第１の閾値以下であると判定した場合は、「遊んでいる、逃げ回っている」のいずれかの可能性があると判断する第３の動作認識手段と、
を備える請求項６記載の対象物の認識システム。
【請求項１０】
上記起立状態判定手段が立っている状態ではないと判定した場合、形状測度及び／又は動き測度を算出する形状測度等算出手段と、
形状測度等算出手段が算出した形状測度及び／又は動き測度に基づいて、人間の姿勢を検出する姿勢検出手段と、
を備える請求項６又は７記載の対象物の認識システム。
【請求項１１】
請求項１から１０の何れかに記載の対象物の認識システムを用いた監視システム。
【請求項１２】
請求項１から１０の何れかに記載の対象物の認識システムを用いた見守りシステム。
【請求項１】
監視領域及び／又は見守り領域（以下、観測領域という）を観測する同種及び／又は異種の複数の観測手段と、
上記各観測手段から得られる複数のデータを対応付けて観測領域内の対象物を認識する認識手段
を備える対象物の認識システム。
【請求項２】
上記観測手段が、対象物の１次元データを取得する１次元センサーと、対象物の２次元データを取得する２次元センサーと、対象物の３次元データを取得する３次元センサーのなかの少なくとも２つ以上を含み、
上記認識手段が、上記観測手段から得られる１次元データ、２次元データ、３次元データのなかの少なくとも２つ以上を対応付けて対象物を認識する
請求項１記載の対象物の認識システム。
【請求項３】
上記１次元センサーが、加速度計、又は角加速度計、又は傾斜計からなり、
上記２次元センサーが、観測領域を撮影するカメラからなり、
上記３次元センサーが、レンジセンサー、３次元位置センサー、３次元モーションセンサー、又は３次元測距センサーからなり、
上記認識手段が、加速度計又は角加速度計又は傾斜計から得られた１次元データと、カメラで撮影された画像と、レンジセンサー、３次元位置センサー、３次元モーションセンサー、又は３次元測距センサーから得られる３次元空間上の位置データの少なくとも２つ以上を対応付けて認識する
請求項２記載の対象物の認識システム。
【請求項４】
上記複数の観測手段が、データの種類、設置場所、観測方向のうち少なくともいずれか１つが異なり、
上記認識手段が、上記複数の観測手段から得られる、誤差分布が異なる複数の位置データを対応付けて重畳する重畳手段と、上記重畳手段が重畳した結果、複数の位置データが重なる部分に基づいて、対象物の位置を検出する位置検出手段とを含む
請求項１から３いずれかに記載の対象物の認識システム。
【請求項５】
上記観測手段が、上記１次元センサーと、上記２次元センサー又は上記３次元センサーを含み、
上記認識手段が、
１次元センサーから得られる１次元データに基づいて、対象物の向き及び／又は動きを検出する向き等検出手段と、
２次元センサー又は３次元センサーから得られる２次元データ又は３次元データに基づいて、対象物の姿勢及び／又は向き及び／又は動作を検出する姿勢等検出手段と、
向き等検出手段が検出した向きと動きの状態と、移動等検出手段が検出した姿勢及び／又は向き及び／又は動作から、対象物の状態を検出する状態検出手段とを含む
請求項１から４のいずれかに記載の対象物の認識システム。
【請求項６】
上記２次元センサー又は上記３次元センサーから得られたデータに基づいて、対象物となっている人間が立っている状態であるか否かを判定する起立状態判定手段と、
起立状態判定手段が立っている状態であると判定した場合、各センサーから得られる移動速度に基づいて、人が静止状態であるか、歩行状態であるか、走行状態であるかを判定する移動状態判定手段と、
を備える請求項１から５のいずれかに記載の対象物の認識システム。
【請求項７】
２次元データ又は３次元データに基づいて、観測領域内の一定の範囲内で近くに人が１人いるか、２人以上いるかを判定する人数判定手段と
人数判定手段が１人であると判定した場合であって、かつ上記移動状態判定手段が歩行状態であると判定した場合、人がどれだけ無駄なく移動したかを示すパラメータ（以下、移動効率という）を算出する移動効率算出手段と、上記移動効率が、１以下で第１の閾値以上であるか、第１の閾値以下で第２の閾値以上であるか、第２の閾値以下であるかを判定する移動効率判定手段と、
移動効率判定手段が、１以下で第１の閾値以上であると判定した場合は正常状態であると判断し、第１の閾値以下で第２の閾値以上であると判定した場合は泥酔状態であると判断し、第２の閾値以下であると判定した場合は徘徊状態であると判断する動作認識手段と、
を備える請求項６記載の対象物の認識システム。
【請求項８】
上記人数判定手段が２人以上であると判定した場合であって、かつ上記移動状態判定手段が歩行状態であると判定した場合、移動効率を算出する第２の移動効率算出手段と、
上記移動効率が、１以下で第１の閾値以上であるか、第１の閾値以下であるかを判定する第２の移動効率判定手段と、
上記第２の移動効率判定手段が、１以下で第１の閾値以上であると判定した場合は、「一緒に歩いている正常状態」か、「尾行状態又は不審者の可能性がある異常状態」であると判断し、第１の閾値以下であると判定した場合は、「遊んでいる、喧嘩、殴り合い」のいずれかの可能性があると判断する第２の動作認識手段と、
を備える請求項６記載の対象物の認識システム。
【請求項９】
上記人数判定手段が２人以上であると判定した場合であって、かつ上記移動状態判定手段が走行状態であると判定した場合、移動効率を算出する第３の移動効率算出手段と、
上記移動効率が、１以下で第１の閾値以上であるか、第１の閾値以下であるかを判定する第３の移動効率判定手段と、
上記第３の移動効率判定手段が、１以下で第１の閾値以上であると判定した場合は、「一緒に走っている正常状態」か、「追いかけている状態、又は不審者の可能性がある異常状態」であると判断し、第１の閾値以下であると判定した場合は、「遊んでいる、逃げ回っている」のいずれかの可能性があると判断する第３の動作認識手段と、
を備える請求項６記載の対象物の認識システム。
【請求項１０】
上記起立状態判定手段が立っている状態ではないと判定した場合、形状測度及び／又は動き測度を算出する形状測度等算出手段と、
形状測度等算出手段が算出した形状測度及び／又は動き測度に基づいて、人間の姿勢を検出する姿勢検出手段と、
を備える請求項６又は７記載の対象物の認識システム。
【請求項１１】
請求項１から１０の何れかに記載の対象物の認識システムを用いた監視システム。
【請求項１２】
請求項１から１０の何れかに記載の対象物の認識システムを用いた見守りシステム。
【図３】
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−１９８１６１（Ｐ２０１１−１９８１６１Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６５３３３（Ｐ２０１０−６５３３３）
【出願日】平成２２年３月２２日（２０１０．３．２２）
【出願人】（５００２９２３４５）
【出願人】（５１００７９２９３）
【出願人】（５００２９３７４４）朝日エンジニアリング株式会社 (9)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月２２日（２０１０．３．２２）
【出願人】（５００２９２３４５）
【出願人】（５１００７９２９３）
【出願人】（５００２９３７４４）朝日エンジニアリング株式会社 (9)
【Ｆターム（参考）】
[ Back to top ]