姿勢変化検出装置、姿勢変化検出方法、及び姿勢変化検出プログラム
【課題】遮蔽物等により隠蔽された人体の一部を補正して正確な人物領域の検出を行う。
【解決手段】撮影された映像に含まれる人物の画像領域の時間的な変化から、前記人物の姿勢の変化を検出する姿勢変化検出装置において、前記映像を撮像して時系列の画像を得る撮像手段と、前記撮像手段で得られる時系列の各画像から１又は複数の人物を検出する人物検出手段と、前記人物検出手段により検出された追跡対象となる人物の身長を推定する身長推定手段と、前記身長推定手段により得られる前記画像上における人物の縦及び横の大きさの変化の割合と、予め設定された姿勢パターンとを比較することにより、前記人物の姿勢を認知する姿勢認知手段とを有することにより、上記課題を解決する。
【解決手段】撮影された映像に含まれる人物の画像領域の時間的な変化から、前記人物の姿勢の変化を検出する姿勢変化検出装置において、前記映像を撮像して時系列の画像を得る撮像手段と、前記撮像手段で得られる時系列の各画像から１又は複数の人物を検出する人物検出手段と、前記人物検出手段により検出された追跡対象となる人物の身長を推定する身長推定手段と、前記身長推定手段により得られる前記画像上における人物の縦及び横の大きさの変化の割合と、予め設定された姿勢パターンとを比較することにより、前記人物の姿勢を認知する姿勢認知手段とを有することにより、上記課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、姿勢変化検出装置、姿勢変化検出方法、及び姿勢変化検出プログラムに係り、特に動作変化の過程から人物の姿勢を高精度に検出するための姿勢変化検出装置、姿勢変化検出方法、及び姿勢変化検出プログラムに関する。
【背景技術】
【０００２】
従来、人体の姿勢や動作の計測は様々な目的で行われており、例えば警備領域等に不審者がいるか否かを判断する場合には、予め設置されたカメラ等で撮影された映像を取得し、取得した映像を監視員等が見ることにより、その撮影された実空間上における不審者の有無を判断している。
【０００３】
この場合、警備員等が画面上に映し出される映像のうち、変化領域等の移動物体が存在するか否かを判断し、移動物体があると判断された時点で警報を鳴らしたり、記録手段に録画した後、監視者が全ての移動物体について、その移動物体がどこからどのように移動したかで不審者か否かを判定する。したがって、常に表示装置の画面を見て監視者が移動物体を見つけ出すような、初期の画像監視装置と比較すると、作業の軽減になるが、後処理で監視者が判断する際にかなりの時間と労力を費やしていた。
【０００４】
そこで、従来では、単に移動物体の検出というだけでなく、画像解析によって移動物体の追跡を行って本当に不審者人物のみに対して警報を鳴らすようなシステムが存在する（例えば、特許文献１，２参照。）。また、画像中における人物の姿勢の変化を推定する手法が存在する（例えば、特許文献３，４参照。）。
【０００５】
特許文献１に示されている移動物体追跡手法では、監視領域内の画像を撮像手段で撮像して入力し、この入力された監視領域内の画像を所定の時間間隔で連続的に取込んでデジタル化し、このデジタル化された複数の画像を演算することによって、デジタル化された画像の差分画像を算出し、この算出した差分画像を２値化して差分２値化画像を生成し、この生成した差分２値化画像から変化領域を検出するものである。
【０００６】
また、特許文献１では、検出した変化領域を移動物体として、その変化領域の濃淡パターンを記憶手段に記憶し、所定時間経過後に撮像手段から入力された原画画像の移動物体の存在した位置の周辺において、記憶手段内の濃淡パターンと原画画像の濃淡パターンとを比較することによって、類似度の高い領域を抽出して移動物体と判定することにより移動物体を追跡することができる。
【０００７】
また、特許文献２では、デジタル化された画像の差分画像を算出し、この算出した差分画像を２値化して差分２値化画像を生成し、この生成した差分２値化画像から変化領域を抽出し、この抽出した変化領域が、予め設定される移動物体の出現する可能性のある出現予測領域と接していたとき、該移動物体が目的とする対象物であると判定して追跡する監視画像の移動物体追跡方法について開示されている。
【０００８】
また、特許文献３では、少なくとも２台のビデオカメラで異なる方向から撮像された人物の画像の各々において人物領域を抽出して人物の特徴部位の位置を求め、画像の各々の人物領域から求められた特徴部位の２次元配置に基づいて人物の３次元姿勢を推定する。
【０００９】
更に、特許文献４では、隠蔽物体の三次元形状を定義し、撮像装置の概略位置及び概略姿勢と、隠蔽物体の概略位置又は概略位置及び概略姿勢とを取得し、撮像装置の概略位置及び概略姿勢と、隠蔽物体の概略位置又は概略位置及び概略姿勢と、隠蔽物体の三次元形状とに基づき、撮像画像中における隠蔽物体の領域を検出する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平６−２６１２５２号公報
【特許文献２】特開平６−２７４６２５号公報
【特許文献３】特開２０００−２５１０７８号公報
【特許文献４】特開２００８−４６７５０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、従来手法では、撮影されている不審者の人物がしゃがみ込んだり、倒れこんだり、又は手を挙げる等、通常の移動動作と異なる動作をした場合には、その動作を正確に認識することはできず、同一人物であるか否かを判断する手段として画像中における人物の身長等により判定する際に、別人と判断されてしまう。したがって、高精度な人物の追跡を行うことができなかった。
【００１２】
本発明は、上記の問題点に鑑みてなされたものであって、動作変化の過程から人物の姿勢を高精度に検出するための姿勢変化検出装置、姿勢変化検出方法、及び姿勢変化検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１４】
本発明では、撮影された映像に含まれる人物の画像領域の時間的な変化から、前記人物の姿勢の変化を検出する姿勢変化検出装置において、前記映像を撮像して時系列の画像を得る撮像手段と、前記撮像手段で得られる時系列の各画像から１又は複数の人物を検出する人物検出手段と、前記人物検出手段により検出された追跡対象となる人物の身長を推定する身長推定手段と、前記身長推定手段により得られる前記画像上における人物の縦及び横の大きさの変化の割合と、予め設定された姿勢パターンとを比較することにより、前記人物の姿勢を認知する姿勢認知手段とを有することを特徴とする。これにより、遮蔽物等により隠蔽された人体の一部を補正して正確な人物領域の検出を行うことができる。
【００１５】
また本発明では、前記前記姿勢認知手段により得られる前記人物の姿勢情報を、前記撮像手段により撮影された画像に合成して表示する画面を生成する画面生成手段を有することを特徴とする。
【００１６】
また本発明では、前記姿勢認知手段により得られる前記人物の姿勢の時間的な変化から、前記人物が不審者であるか否かを検知する不審者検知手段を有することを特徴とする。
【００１７】
更に本発明では、撮影された映像に含まれる人物の画像領域の時間的な変化から、前記人物の姿勢の変化を検出する姿勢変化検出方法において、前記映像を撮像して時系列の画像を撮像手段により取得する撮像手順と、前記撮像手順で得られる時系列の各画像から１又は複数の人物を検出する人物検出手順と、前記人物検出手順により検出された追跡対象となる人物の身長を推定する身長推定手順と、前記身長推定手順により得られる前記画像上における人物の縦及び横の大きさの変化の割合と、予め設定された姿勢パターンとを比較することにより、前記人物の姿勢を認知する姿勢認知手順とを有することを特徴とする。これにより、遮蔽物等により隠蔽された人体の一部を補正して正確な人物領域の検出を行うことができる。
【００１８】
また本発明では、前記前記姿勢認知手順により得られる前記人物の姿勢情報を、前記撮像手段により撮影された画像に合成して表示する画面を生成する画面生成手順を有することを特徴とする。
【００１９】
また本発明では、前記姿勢認知手順により得られる前記人物の姿勢の時間的な変化から、前記人物が不審者であるか否かを検知する不審者検知手順を有することを特徴とする。
【００２０】
更に本発明では、撮影された映像に含まれる人物の画像領域の時間的な変化から、前記人物の姿勢の変化を検出する姿勢変化検出処理をコンピュータに実行させるための姿勢変化検出プログラムにおいて、コンピュータを、前記映像を撮像して時系列の画像を得る撮像手段、前記撮像手段で得られる時系列の各画像から１又は複数の人物を検出する人物検出手段、前記人物検出手段により検出された追跡対象となる人物の身長を推定する身長推定手段、及び、前記身長推定手段により得られる前記画像上における人物の縦及び横の大きさの変化の割合と、予め設定された姿勢パターンとを比較することにより、前記人物の姿勢を認知する姿勢認知手段として機能させる。これにより、遮蔽物等により隠蔽された人体の一部を補正して正確な人物領域の検出を行うことができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における姿勢変化検出処理を容易に実現することができる。
【００２１】
また本発明では、前記前記姿勢認知手段により得られる前記人物の姿勢情報を、前記撮像手段により撮影された画像に合成して表示する画面を生成する画面生成手段を有することを特徴とする。
【００２２】
また本発明では、前記姿勢認知手段により得られる前記人物の姿勢の時間的な変化から、前記人物が不審者であるか否かを検知する不審者検知手段を有することを特徴とする。
【発明の効果】
【００２３】
本発明によれば、遮蔽物等により隠蔽された人体の一部を補正して正確な人物領域の検出を行うことができる。
【図面の簡単な説明】
【００２４】
【図１】本実施形態における姿勢変化検出装置の概略構成の一例を示す図である。
【図２】本実施形態における身長推定手法の一例を示す図である
【図３】追跡手段における実空間上での移動範囲を考慮した人物追跡の一例を示す図である。
【図４】時間経過後の移動結果の一例を示す図である。
【図５】不審者の姿勢の変化のパターンの一例を示す図である。
【図６】姿勢情報の画面表示例を示す図である。
【図７】身体が一部隠蔽された場合における人物領域の補正処理結果の一例を示す図である。
【図８】本実施形態における姿勢変化検出処理が実現可能なハードウェア構成の一例を示す図である。
【図９】本実施形態における姿勢変化検出処理手順の一例を示すフローチャートである。
【図１０】人物判定処理手順を示す一例のフローチャートである。
【図１１】隠蔽状態判定処理手順の一例を示すフローチャートである。
【図１２】人物領域推定処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００２５】
＜本発明について＞
本発明は、人物の身長（矩形の高さ）の変化から姿勢変化を算出する手法である。具体的には、本発明は、画像中の人物領域の足の先と、消失点から実空間上の人物の位置を算出し、画像上の見かけ上の大きさと併せて、実際の人物の身長を推定する。人物の足、頭の位置特徴から人物を追跡し、同一として判断できる人物の身長が変化した際に、その変化の仕方に応じて、しゃがみ、倒れこみ、ホールドアップ（両手挙げ）等を判定する。
【００２６】
なお、本発明は、画像中の人物領域の足の先と、消失点から実空間での人物位置を算出し、追跡を行う。ここで、足が隠蔽された場合は、人物領域の頭の位置で追跡を補完する。
【００２７】
また、監視カメラから人物が遠くなれば遠くなる程、人物の実際の移動距離に比して、画像上での移動量が小さくなる。そのため、画面上で一律に、追跡する範囲を設定すると、監視カメラに近い人物を追跡し損ねたり、監視カメラに遠い人物では、誤って別人を追跡したりすることがあった。そこで、高精度に人物を追跡するために、人物領域の足の先と消失点の距離から、監視カメラと人物の距離を測定し、実空間上の人物位置を算出して、移動可能範囲を計算し、追跡に用いる。また、足が隠蔽された場合は、頭の位置と、事前に算出した身長から人物の実空間上の位置を算出し、追跡を継続する。
【００２８】
以下に、本発明における姿勢変化検出装置、姿勢変化検出方法、及び姿勢変化検出プログラムを好適に実施した形態について、図面を用いて説明する。
【００２９】
＜姿勢変化検出装置の概略構成例＞
図１は、本実施形態における姿勢変化検出装置の概略構成の一例を示す図である。図１に示す姿勢変化検出装置１０は、入力手段１１と、出力手段１２と、蓄積手段１３と、人物検出手段１４と、身長推定手段１５と、追跡手段１６と、姿勢認知手段１７と、不審者検出手段１８と、画面生成手段１９と、通知手段２０と、送受信手段２１と、制御手段２２とを有するよう構成されている。なお、送受信手段２１には、所定の領域を撮影するカメラ等の撮像手段２３が接続されており、撮像手段２３により撮影された映像に含まれる時系列の各画像を取得することができる。また、撮像手段２３は、姿勢変化検出装置１０と一体に構成されていてもよい。
【００３０】
入力手段１１は、ユーザ等からの人物検出指示や、身長推定指示や、追跡指示、姿勢認知指示、画面生成指示、通知指示、送受信指示、等の各種指示を受け付ける。なお、入力手段１１は、例えばキーボードや、マウス等のポインティングデバイス、マイク等の音声入力デバイス等からなる。
【００３１】
出力手段１２は、入力手段１１により入力された指示内容や、各指示内容に基づいて生成された制御データや人物検出手段１４、身長推定手段１５、追跡手段１６、姿勢認知手段１７、不審者検出手段１８、画面生成手段１９、通知手段２０、送受信手段２１等の各構成により実行された経過又は結果により得られる各種情報の内容を表示したり、その音声を出力する。なお、出力手段１２は、ディスプレイ等の画面表示機能やスピーカ等の音声出力機能等を有する。
【００３２】
蓄積手段１３は、上述した本実施形態を実現するための様々な情報を蓄積することができ、必要に応じて読み出しや書き込みが行われる。具体的には、蓄積手段１３は、人物検出手段１４における人物検出結果や、身長推定手段１５における推定結果、追跡手段１６により追跡結果、姿勢認知手段１７による姿勢認知結果、不審者検出手段１８により不審者検出結果、画面生成手段１９における生成した画面情報、通知手段２０により通知される内容や通知された内容、送受信手段２１により送受信された内容、制御手段２２により制御された情報、エラー発生時のエラー情報、ログ情報、本発明を実現するためのプログラム等の各情報が蓄積される。
【００３３】
人物検出手段１４は、カメラ等の撮像手段２３等により撮影された映像を取得し、その取得した映像に含まれる時系列の各画像のうち、所定の画像（各フレーム画像や数フレーム分の間隔を空けた画像等）について１又は複数の人物の顔を検出する。なお、人物検出手段１４は、例えば連続する画像フレーム同士を比較して、色（輝度、色度等）が所定時間内に変化する場所が存在し、更にその場所が所定の領域以上のものを人物として検出する。
【００３４】
また、他の人物検出手法としては、例えば、[0]エッジ等を用いて人の形状にマッチする領域を抽出する手法や、熱画像を用いて背景とは異なる熱源を人体領域とする手法、複数のカメラを用いて形状や大きさを認識し人らしい物体を検出する手法、人の動き（歩いている様子）等に対してシルエット画像等を用いて事前に学習することで人体を検出する手法等も用いることができる。なお、人物検出手段１４における人物検出手法については、本発明においてはこれに限定されない。
【００３５】
身長推定手段１５は、画像中に含まれる１又は複数の人物を検出し、その人物がいた場合に新規の人物であるか否かを判断し、新規人物である場合、その人物領域の足の先と、その画像に対応する消失点とから実空間上の人物の位置を算出し、画像上の見かけ上の大きさを併せて、実際の人物の身長を推定する。なお、消失点は、画像中に含まれる場合もあるが、カメラのアングル等により画像中に含まれない場合もある。この場合には、仮想的な空間上に消失点を設定し、その消失点を利用する。
【００３６】
なお、身長推定手段１５は、その人物が今まで撮影された人であるか、又は新規人物であるかを判断する方法として、例えばその前の映像に人物がいるか否か、人物がいた場合にその人物に予め設定された移動可能範囲に含まれているか否か、前後の顔の特徴量同士の比較による類似性の有無により判断することができる。
【００３７】
追跡手段１６は、カメラ等の撮像手段２３から得られる映像を撮像して時系列の画像から同一の人物の挙動を追跡する。また、追跡手段１６は、画像中に含まれる人物領域の足、頭の位置とその特徴から人物を追跡し、同一として判断できる人物の大きさが変化した場合、人物の一部が、建物等で隠蔽されたか否かを判断する。なお、隠蔽される人物の一部とは、例えば下半身や上半身、頭、腕、胴体等である。つまり、本実施形態では、少なくとも１度画面上で足のつま先から頭部までの人体の身長に関する情報が取得できた場合、その後、頭及び足の両方が同時に隠蔽されていなければ、隠蔽部分を推定して人物を追跡することができる。
【００３８】
また、追跡手段１６は、画像中に表示されている１又は複数の人物を経時的に追跡する。ここで、追跡手段１６には、人物領域を推定する機能も設けられている。具体的には、人物領域推定手段として、画像中に存在する人体に関してその外領域からなり人物が存在することを画面上で認識するための人物領域を推定する。また、人物領域推定手段は、例えば、遮蔽物により人物の一部で隠蔽されている部分が存在すると判断された場合に、正しい人体の領域を推定する。また、追跡手段１６は、隠蔽されている人体部分の外形（シルエット）又は領域を画面上に表示させる。これにより、隠蔽物により画像上に表示されていない人物のいる位置を正確に把握することができる。
【００３９】
また、追跡手段１６は、画像中に存在する人物を経時的に追跡する場合には、次の移動範囲を人物の向き、姿勢、今までの行動から次の動作可能範囲を推測することができる。この場合、追跡手段１６は、その最大の範囲の外枠をフレーム化して画像に合成するための情報を生成する。
【００４０】
姿勢認知手段１７は、人物の身長（矩形の高さ）の変化から姿勢変化を算出する手法である。具体的には、本発明は、画像中の人物領域の足の先と、消失点から実空間上の人物の位置を算出し、画像上の見かけ上の大きさと併せて、実際の人物の身長を推定する。人物の足、頭の位置特徴から人物を追跡し、同一として判断できる人物の身長が変化した際に、その変化の仕方に応じて、例えばしゃがみ、倒れこみ、ホールドアップ（両手挙げ）等を判定する。
【００４１】
不審者検出手段１８は、追跡手段１６による追跡結果や姿勢認知手段１７による姿勢認知結果により、予め設定される時系列の挙動データ等を比較することで、撮像手段２３により撮影された人物が不審者である場合に検出を行う。
【００４２】
例えば、不審者検出手段１８は、追跡対象人物が遮蔽物に隠れたり、カメラを所定時間以上気にしてみていたり、キョロキョロしていたり、長時間滞在している等の不審行動が少なくとも１つある場合には、その人物を不審者として検出する。更に、不審者検出手段１８は、追跡対象人物がマスクをしていたり、サングラスをかけていることで、顔を隠している場合にも不審者として検出する。また、不審者検出手段１８は、検出された不審者情報を、通知手段に通知する。
【００４３】
画面生成手段１９は、撮像手段２３により撮影された映像を表示する画面を生成する。また、画面生成手段１９は、追跡手段１６により推定された人物領域を現在撮像手段２３等により撮影された画像に反映させる。具体的には、画面生成手段１９は、人物領域と推定された領域の外側をフレーム化して合成して表示させる。また、画面生成手段１９は、画面生成により得られた画像をディスプレイ等の出力手段に表示される。このとき、画面生成手段１９は、例えば人物領域のフレームの位置情報を数値化したもの等を画面上に表示させることができる。
【００４４】
また、画面生成手段１９は、人物を追跡している場合に必要である経時的なその撮影されている人物移動範囲も推定して画面上表示させることができる。更に、画面生成手段１９は、予め設定される不審者の行動パターンに該当する場合には、その旨の内容を通知するための画面を生成する。なお、画面生成に必要な各種情報は、蓄積手段１３に予め蓄積されている情報等から必要な情報を適宜読み出して使用することができる。また、生成した画面は、ディスプレイやスピーカ等を有する出力手段１２により音声等と共に出力する。
【００４５】
通知手段２０は、不審者検出手段１８により得られる不審者として検出された画像と、その画像に関する情報（検出日時、検出場所、その前の所定時間分の映像等）を画面生成手段１９により生成させて、表示させる。また、通知手段２０は、そのような不審行動検出における問題発生信号に対応させて、管理者や警備会社におけるそのビルの担当警備員、監視員、代表責任者等に通知を行うアラート機能を有する。
【００４６】
送受信手段２１は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等の通信ネットワーク等を介して１又は複数の撮像手段２３からの監視映像を受信する。なお、送受信手段２１は、撮像手段２３から直接監視映像を受信しなくてもよく、例えば予め撮像手段２３で取得した映像をどこかに一時的保存しておき、その保存された情報を用いて本実施形態における姿勢変化検出を行ってもよい。
また、送受信手段２１は、姿勢変化検出装置１０を構成する他の端末に送信したり、他の端末から各種データを受信するための通信インタフェースとして用いることができる。
【００４７】
制御手段２２は、姿勢変化検出装置１０における各機能構成全体の制御を行う。具体的には、制御手段２２は、入力手段１１により入力されたユーザからの入力情報に基づいて人物検出処理を行ったり、身長推定処理を行ったり、追跡処理を行ったり、姿勢認知処理を行ったり、不審者検出処理を行ったり、画面生成処理を行ったり、通知制御を行ったり、送受信制御を行う等の各種制御を行う。
【００４８】
＜身長推定手段１５における身長推定処理例＞
次に、本実施形態の身長推定手段１５における身長推定処理例について具体的に説明する。
【００４９】
ここで、図２は、本実施形態における身長推定手法の一例を示す図である。なお、図２（ａ）は、カメラ２３と人物３０との距離を説明する図であり、図２（ｂ）は、身長推定時の頭、足先と消失点間の画素数と距離の関係を示している。本実施形態では、図２（ｂ）に示すように、人物の足位置からカメラまでの距離を算出すると共に、頭の位置（人物領域の矩形上端）からも距離を算出している。これにより、どちらか一方の距離算出結果から、同一人物の移動と判定されれば、前回に検出された人物が移動したとしている。なお、図２（ａ），（ｂ）に示すように、カメラ等の撮像手段２３からの距離（５ｍ、１０ｍ）と、消失点と、頭及び足の位置、撮影画像の画素数等を用いて人物の身長Ｈを推定する。また、身長推定手段１５は、図２（ｂ）に示すように、人物３０−１から時刻ｔ経過後の人物３０−１の位置を推定する。
【００５０】
具体的には、身長推定手段１５は、基準物体の実際の高さを示す基準長と、所定の位置に固定されたカメラから基準物体までの実際の距離を示す基準距離と、その基準物体の下端位置を示す基準座標と、基準物体画像中における基準長に相当する第１基準長画素数と、カメラを無限遠に遠ざけた場合に基準物体が位置する基準物体画像中の位置である消失点の位置を示す消失点座標とを保持し、カメラから被写体として人物を含む人物画像を取得し、取得した人物画像中の人物の身長に相当する人物長画素数をカウントし、更に、取得した人物画像中の人物の下端から、人物画像中の消失点までの人物消失点画素数をカウントする。
【００５１】
次に、上述した保持手段が保持する基準座標と消失点座標とに基づいて、基準物体画像中の基準物体の下端位置から消失点の位置までの基準消失点画素数を算出し、特定された人物消失点画素数と基準消失点画素数との比と、保持手段が保持する基準距離とに基づいて、カメラから人物までの実際の人物距離を算出し、算出された人物距離と、保持手段が保持する基準距離と、第１基準長画素数とに基づいて、人物距離に基準物体が配置された場合の基準長に相当する第２基準長画素数を算出する。
【００５２】
更に、その第２基準長画素数と上述した人物長画素数との比と、保持手段が保持する基準長とに基づいて、人物の実際の身長を算出する。
【００５３】
なお、身長推定手段１５は、例えば、本出願人により出願された特開２００８−２８６６３８号公報等に示される手法等を用いることができる。また、画像中から人物の身長を算出する手法については、本発明においてはこれに限定されるものではない。
【００５４】
＜追跡手段１６における追跡手法＞
次に、本実施形態における追跡手段１６による追跡手法について、図を用いて説明する。図３は、追跡手段における実空間上での移動範囲を考慮した人物追跡の一例を示す図である。また、図４は、時間経過後の移動結果の一例を示す図である。なお、図３及び図４に示す図面は、上述する画面生成手段１９によって生成され、ディスプレイ上に表示される画面である。
【００５５】
図３及び図４に示す画面４０には、実際の撮影画面４１と、人物位置情報４２と、追跡結果画面４３とを有している。撮影画面４１には、人物４４が矩形等に囲まれた人物認定領域４５により表示されている。なお、人物認定領域４４の形状は、本発明においては、矩形に限定されるものではなく、円形や楕円形、他の多角形、人物４４の外形形状から所定倍率拡大させたシルエット形状であってもよい。
【００５６】
また、人物４４の人物位置情報４２としては、例えば、カメラ等の撮像手段２３からの距離と角度、視界全体の画素数を基準にして人物４４の位置を左右の距離（ｈ１，ｈ２）を計測し、その計測結果から得られる人物座標（ｘ，ｙ，ｚ）を取得する。
【００５７】
また、追跡結果画面４３は、カメラ等の撮像手段２３の画角４６（＝視界）と、人物位置４７、カメラ画像中央からの角度４８（２０°（中心から左がマイナス表示））が表示され、カメラからの距離（５ｍ，１０ｍ等）と、人物位置情報４２として画像から計測された位置情報（７．２ｍ）が表示されている。
【００５８】
また、図４に示す時間経過後の移動結果では、過去人物認定領域４９と、過去と現在の各フレーム（人物認定領域４５，過去人物認定領域４９）の位置と、それまでの時間情報を用いて、次に人物４４が移動すると推測される移動可能範囲５０を設定して、その領域を円形等により表示する。なお、人物認定領域４５、過去人物認定領域４９のフレームは、画面上に含まれる人物毎に色分けをして複数の人物が区別できるようにして表示させることもできる。
【００５９】
また、移動可能範囲５０の形状は、本発明においてはこれに限定されず、矩形等でもよい。更に、移動可能範囲５０は、人物検出手段１４等により人物４４の向きを計測し、その向きにより得られる方向を基準に設定してもよい。これにより、次の予想範囲を容易に推測することができる。また、移動可能範囲５０は、追跡結果画面４３にも表示される。
【００６０】
＜姿勢認知手段１７における姿勢認知手法＞
次に、姿勢認知手段１７における姿勢認知手法について説明する。姿勢認知は、人物の"姿勢"が不審を検知するためのキーとなることとして"不審者の定義化"を行う。ここで、図５は、不審者の姿勢の変化のパターンの一例を示す図である。図５（ａ）〜（ｄ）に示す撮影映像の時間遷移図では、人物がドアに歩み寄り、ドアの前で次第にかがみ込んでドアノブを触る例を示している。この図５（ａ）〜（ｄ）に示すような姿勢変化を認識することで、ドアの鍵を不正に開けようとしているものであると認識することができる。
【００６１】
そこで、姿勢認知手段１７は、身長推定手段１５により得られる身長推定手法を用いて不審に関連した姿勢を検出する。具体的には、姿勢認知手段１７は、図５（ａ）〜（ｄ）に示すように時系列の画像におけるそれぞれの人物認定領域４５を推定し、その人物認定領域４５の身長（高さ）や横幅の変化等の各種変化パターンに基づいて、その挙動を把握する。
【００６２】
例えば、姿勢認知手段１７は、身長データの経時的な変化のパターンから、例えばホールドアップ（両手挙げ）、かがみ込む、立ち上がる、倒れこむ、直立等の姿勢を判定し、その判定結果を画面に表示する。これにより、予め不審な挙動を蓄積しておき、姿勢認知手段１７により認知された姿勢情報と瞬間的又は経時的に比較することにより、その対象人物が不審者か否かを容易に把握することができる。
【００６３】
また、図６は、姿勢情報の画面表示例を示す図である。なお、図６（ａ）〜図６（ｄ）は、それぞれの姿勢が「立っている状態」、「しゃがんでいる状態」、「倒れこんでいる状態」、「ホールドアップしている（両手挙げ）状態」をそれぞれ示している。これらの状態は、姿勢認知手段１７により、予め設定され蓄積手段１３等に蓄積されている姿勢情報と、実際に身長推定手段１５等により推定された結果を比較することにより得られる認知結果が表示される。なお、認知される姿勢は、本発明においてはこれに限定されるものではなく例えば「ジャンブしている状態」や「膝立ちしている状態」、「後を向いている状態」等、顔認識等を組み合わせて多数の姿勢を認知することができる。
【００６４】
なお、図６（ａ）〜図６（ｄ）に示す姿勢情報表示画面６０では、日時情報６１、人物特徴情報６２が表示される。日時情報６１は、撮影された日時が表示される。人物特徴情報６２では、人物認定領域４５における縦の幅、横の幅、人物認定領域４５の面積、姿勢認知手段１７により認知された姿勢情報が表示される。これらの情報を用いて不審者検出手段１８により上述したように不審者である変化パターンの存在を検出し、実際に犯罪等が起こる前に未然に犯罪の発生を把握し、警備員等に連絡して急行してもらうことで、未然に事件の発生を防止することができる。
【００６５】
＜画面生成手段１９＞
次に、本実施形態における画面生成例について図を用いて説明する。なお、上述した図２〜図６については、画面生成手段１９により生成される画面であり、ディスプレイ等の表示画面等により表示させることができる。
【００６６】
なお、図６等に示す人物特徴情報６２としては、本発明においては上述の内容に限定されず、例えば撮影された時間や人物が顔特徴量等を画面から抽出して測定できる場合には、その人物の指名や性別、推定年齢（年代でもよい）を表示させることができる。
【００６７】
また、図７は、身体が一部隠蔽された場合における人物領域の補正処理結果の一例を示す図である。図７（ａ）に示すように、画面に表示された人物３０に対応する人物認定領域４５及び人物関連情報が表示されている。この後、追跡手段１６による追跡途中で図７（ｂ）又は図７（ｃ）に示すように、人物の身体の一部が隠蔽された場合には、人物領域を補正し、補正したこと人物関連情報に示す。具体的には、追跡手段１６において、画像中に含まれる人物領域の足、頭の位置とその特徴から人物を追跡し、同一として判断できる人物の大きさが変化した場合、人物の一部が、建物等で隠蔽されたか否かを判断する。なお、隠蔽される人物の一部とは、例えば下半身や上半身、頭、腕、胴体等である。
【００６８】
つまり、追跡手段１６は、少なくとも１度画面上で足のつま先から頭部までの人体の身長に関する情報が取得できた場合、その後、頭及び足の両方が同時に隠蔽されていなければ、隠蔽部分を推定することができる。また、追跡手段１６は、人物領域の足の先と消失点の距離から、監視カメラと人物の距離を測定し、実空間上の人物位置を算出して、移動可能範囲を計算し、追跡に用いる。
【００６９】
また、追跡手段１６は、例えば足が隠蔽された場合は、頭の位置と、事前に算出した身長から人物の実空間上の位置を算出し、追跡を継続する。これにより、遮蔽物等により隠蔽された人体の一部を補正して正確な人物領域の検出を行うことができる。
これにより、人物の足元が隠蔽されていることを容易に把握することができる。
【００７０】
＜ハードウェア構成例＞
ここで、上述した姿勢変化検出装置１０は、上述した機能を有する専用の装置構成により制御を行うこともできるが、各機能をコンピュータに実行させることができる実行プログラム（姿勢変化検出プログラム）を生成し、例えば、汎用のパーソナルコンピュータ、サーバ等にその実行プログラムをインストールすることにより、本発明における姿勢変化検出処理を実現することができる。
【００７１】
本実施形態における姿勢変化検出処理が実現可能なコンピュータのハードウェア構成例について図を用いて説明する。図８は、本実施形態における姿勢変化検出処理が実現可能なハードウェア構成の一例を示す図である。
【００７２】
図８におけるコンピュータ本体には、入力装置７１と、出力装置７２と、ドライブ装置７３と、補助記憶装置７４と、メモリ装置７５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７６と、ネットワーク接続装置７７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【００７３】
入力装置７１は、使用者等が操作するキーボード及びマウス等のポインティングデバイスを有しており、使用者等からのプログラムの実行等、各種操作信号を入力する。
【００７４】
出力装置７２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するモニタを有し、ＣＰＵ７６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。
【００７５】
なお、入力装置７１と出力装置７２とは、例えばタッチパネル等のように一体型の入出力手段であってもよく、この場合には使用者等の指やペン型の入力装置等を用いて所定の位置をタッチして入力を行うことができる。
【００７６】
ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＣＤ−ＲＯＭ等の可搬型の記録媒体７８等により提供される。プログラムを記録した記録媒体７８は、ドライブ装置７３にセット可能であり、記録媒体７８に含まれる実行プログラムが、記録媒体７８からドライブ装置７３を介して補助記憶装置７４にインストールされる。
【００７７】
補助記憶装置７４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。
【００７８】
メモリ装置７５は、ＣＰＵ７６により補助記憶装置７４から読み出された実行プログラム等を格納する。なお、メモリ装置７５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。
【００７９】
ＣＰＵ７６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置７５により読み出され格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。プログラムの実行中に必要な各種情報等は、補助記憶装置７４から取得することができ、また実行結果等を格納することもできる。
【００８０】
ネットワーク接続装置７７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果、又は本発明における実行プログラム自体を他の端末等に提供することができる。上述したようなハードウェア構成により、本発明における姿勢変化検出処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における姿勢変化検出処理を容易に実現することができる。次に、姿勢変化検出処理の具体的な内容について説明する。
【００８１】
＜姿勢変化検出処理＞
次に、本発明における実行プログラム（姿勢変化検出プログラム）で実行される姿勢変化検出処理手順についてフローチャートを用いて説明する。図９は、本実施形態における姿勢変化検出処理手順の一例を示すフローチャートである。
【００８２】
図９において、まずカメラ等の撮像手段により撮影された映像を入力する（Ｓ０１）。次に、その映像に含まれる１又は複数の人物を検知する（Ｓ０２）。ここで、人物を検知した場合に、その人物毎の身長を推定する（Ｓ０３）。また、その後、その人物を追跡していく過程において、その人物の姿勢を認知し（Ｓ０４）、その人物の姿勢の変化パターンから、上述したように不審者の検出を行う（Ｓ０５）。また、Ｓ０５の処理が終了後、画面を生成し（Ｓ０６）、その生成した画面を出力する（Ｓ０７）。
【００８３】
更に、ここで、追跡を終了するか否かを判断し（Ｓ０８）、追跡を終了しない場合（Ｓ０８において、ＮＯ）、Ｓ０４に戻り、映像に映る同一人物について、以降の処理を行う。また、追跡を終了する場合（Ｓ０８において、ＹＥＳ）、次に姿勢変化検出処理を終了するか否かを判断し（Ｓ０９）、姿勢変化検出処理を終了しない場合（Ｓ０９において、ＮＯ）、Ｓ０１の処理に戻り、他の人物等を検出して後述の処理を行う。また、姿勢変化検出処理を終了する場合（Ｓ０９において、ＹＥＳ）、全体の処理を終了する。
【００８４】
＜身長推定における人物判定処理手順＞
次に、上述した身長推定手段１５における人物判定処理手順についてフローチャートを用いて説明する。図１０は、人物判定処理手順を示す一例のフローチャートである。なお、図１０では、その人物の位置検出による追跡の概要を示している。図１０示す人物判定処理では、まず、映像中に含まれる１又は複数の人物（図１０では、人物Ｘ１，・・・，Ｘｎ）を検出したか同かを判断し（Ｓ１１）、検出していない場合（Ｓ１２において、ＮＯ）状態遷移図にしたがって状態を更新する（Ｓ１２）。具体的には、Ｓ１２の処理において、例えば「初期状態→初期状態」、「照合状態→初期状態」、「追跡状態→消失状態」、「消失状態→消失状態ｏｒ退去状態ｏｒ初期状態」、「退去状態→初期状態」等の何れの設定を行う。ここで、「初期状態」とは、追跡情報を格納する領域が、空き領域であることを示している。例えば、追跡可能な人数が３人であった場合、追跡ＩＤ１，ＩＤ２，ＩＤ３という領域が確保され、それぞれが追跡状態や人物情報を保持する。
【００８５】
また、「照合状態」とは、過去に検出された人物と同一人物か否か、確認中である状態を示している。なお、「照合状態」では、新規の人物若しくは追跡中の人物と同一人物であると判定されると、「追跡状態」に移行する。また、「照合状態」では、安定して検出されない領域、人っぽい動きをしない領域（誤検出と思われる領域）と判定された場合は、「初期状態」に戻る。
【００８６】
また、「追跡状態」とは、人物を追跡している状態を示している。なお「追跡状態」は、追跡している人物が検出できなくなると、「消失状態」に移行する。また、「消失状態」とは、追跡中の人物が検出できなくなった状態を示している。なお、「消失状態」は、一定時間続いたら、「退去状態」に移行する。また、「消失状態」は、一定時間内に追跡中の人物が再度検出されたら、「追跡状態」に戻る。また、「退去状態」とは、追跡中の人物が、いなくなったと判定された状態を示している。但し、人物が戻ってきた場合（フレームアウトした人物が、再度、フレームインしてきた場合等）には、同定し、追跡を継続できるように追跡情報を一定時間保持しておく。また、「退去状態」とは、一定時間経過すると、情報を破棄し、「初期状態」に戻る。
【００８７】
また、Ｓ１１の処理において、１又は複数の人物を検出した場合（Ｓ１１において、ＹＥＳ）、初期状態でない人物Ａが既に存在するか否かを判断する（Ｓ１３）。ここで、初期状態でない人物が存在しない場合（Ｓ１３において、ＮＯ）、新規人物として登録状態を「初期状態→照合状態」に更新する（Ｓ１４）。また、初期状態でない人物が存在する場合（Ｓ１３において、ＹＥＳ）、次に人物Ａの移動範囲内であるか否かを判断する（Ｓ１５）。ここで、移動範囲内でない場合（Ｓ１５において、ＮＯ）、上述したＳ１４に示すように登録状態の更新を行う。
【００８８】
また、Ｓ１５の処理において、人物Ａの移動範囲内である場合（Ｓ１５において、ＹＥＳ）、次に、移動範囲内に複数人いるか否かを判断する（Ｓ１６）。ここで、複数人いる場合（Ｓ１６において、ＹＥＳ）、人物Ａに対して人物Ｘ１，・・・，Ｘｎで人物同定処理を行う（Ｓ１７）。このとき、Ｓ１７の人物同定処理は、映像から選択された静止画を用いて行う。また、Ｓ１７の処理において同定された人物がいるか否かを判断し（Ｓ１８）、同定された人物がいない場合（Ｓ１８において、ＮＯ）、上述したＳ１４に示すように登録状態の更新を行う。
【００８９】
また、Ｓ１６の処理において、移動範囲内に複数人いない場合（Ｓ１６において、ＮＯ）、又はＳ１８の処理において、同定された人物がいる場合（Ｓ１８において、ＹＥＳ）、人物Ａと人物Ｘｉを同一人物として状態を更新する（Ｓ１９）。これにより、映像に含まれる分物が同一人物であるか否かを正確に判定することができる。
【００９０】
＜隠蔽状態判定処理手順：Ｓ０３＞
次に、上述した隠蔽状態判定処理手順の具体例についてフローチャートを用いて説明する。図１１は、隠蔽状態判定処理手順の一例を示すフローチャートである。図１１に示すように、隠蔽状態判定処理手順では、まず現在のフレームに検出された人物Ａの足から位置を推定する（Ｓ２１）。次に、人物Ｂの移動範囲内に人物Ａが存在するか否かを判断する（Ｓ２２）。ここで、人物Ｂの移動範囲内に人物Ａが存在しない場合（Ｓ２２において、ＮＯ）、以下、前回検知された人物Ｂと同一人物と仮定する（Ｓ２３）。次に、その人物Ｂの身長Ｈｂを利用し、頭から人物Ａの位置を推定し（Ｓ２４）、人物Ｂの移動範囲内に人物Ａが存在するか否かを判断する（Ｓ２５）。ここで、人物Ｂの移動範囲内に人物Ａが存在する場合（Ｓ２５において、ＹＥＳ）、又は、Ｓ２２の処理において、人物Ｂの移動範囲内に人物Ａが存在する場合（Ｓ２２において、ＹＥＳ）、同一人物と判定する（仮定成立）（Ｓ２６）。また、Ｓ２５の処理において、人物Ｂの移動範囲内に人物Ａが存在する場合（Ｓ２５において、ＮＯ）、異なる人物と判定する（仮定不成立）（Ｓ２７）。つまり、上述の処理では、Ｓ２２の処理において、人物Ａが人物Ｂの移動範囲内に存在すれば、同一人物と即断定し、そうでなければ、同一人物であると仮説を立てて、それが成立するか否かの判定を行う。
【００９１】
＜人物領域推定処理手順：Ｓ０４＞
次に、上述した人物領域推定処理手順の具体例についてフローチャートを用いて説明する。図１２は、人物領域推定処理手順の一例を示すフローチャートである。図１２に示すように、人物領域推定処理手順では、まず人物Ａの足から推定された位置ＰＡｆ、頭から推定された位置ＰＡｈを取得する（Ｓ３１）。次に、ＰＡｆとＰＡｈの位置が一定範囲内であるか否かを判断する（Ｓ３２）。ここで、ＰＡｆとＰＡｈの位置が一定範囲内でない場合（Ｓ３２において、ＮＯ）、以下、前回検知された人物Ｂと同一人物と仮定する（Ｓ３３）。
【００９２】
次に、人物Ａの身長Ｈａを利用し、人物Ｂの位置ＰＢａｈを頭から推定する（Ｓ３４）。その後、またＰＡｆとＰＢａｈの位置が一定範囲内であるか否かを判断する（Ｓ３５）。ここで、ＰＡｆとＰＢａｈの位置が一定範囲内である場合（Ｓ３５において、ＹＥＳ）、人物領域Ａが足、人物領域Ｂが頭となる（つまり、胴体が隠蔽されている）と判断する（Ｓ３６）。また、Ｓ３５の処理において、ＰＡｆとＰＢａｈの位置が一定範囲内でない場合（Ｓ３５において、ＮＯ）、人物領域Ａの足が隠蔽していると判断する（Ｓ３７）。また、Ｓ３２の処理において、ＰＡｆとＰＡｈの位置が一定範囲内である場合（Ｓ３２において、ＹＥＳ）、人物Ａは隠蔽領域なしと判断する（Ｓ３８）。
【００９３】
つまり、上述の処理では、足から推定される位置ＰＡｆと頭から推定される位置ＰＡｈが同じような位置を示す場合、それは同一人物の足と頭であることが確定する。したがって、頭から足まできれいに領域抽出されていると判定する。また、位置が異なる場合は、何らかの影響で足か頭の領域が欠損している可能性があると判定する。
【００９４】
上述したように、本発明によれば、遮蔽物等により隠蔽された人体の一部を補正して正確な人物領域の検出を行うことができる。
【００９５】
具体的には、追跡中の人物領域の大きさや、人物の領域の数の変化から、足や頭、胴体等の人体の一部が遮蔽物等により遮蔽された場合に、その一部が遮蔽されたことをシステム上で認識し、正確な領域に補正する。
【００９６】
具体的には、カメラ等の撮像手段により画像中の人物領域の足の先と、その画像の消失店から実空間上の人物の位置を算出し、画像上の見かけ上の大きさと併せて、実際の人物の身長を推定する。また、人物の足、頭の位置と特徴から人物を追跡し、同一として判断できる人物の大きさが変化した場合、人体の一部が建物等の影響等で隠蔽されたかどうかを判断する。更に、本発明では、隠蔽物により人体の一部が隠蔽された場合には、正確な人体の領域を推定して表示する。
【００９７】
これにより、体の一部分が撮影された画像から欠けていたり、遮蔽物により一部が遮蔽されていても、同一の人物と認識して、人物の追跡等を行うことができ、遮蔽物等により隠蔽された人体の一部を補正して正確な人物領域の検出を行うことができる。
【００９８】
また、本発明によれば、監視画像内の移動物体を精度よく追跡でき、移動物体か否かの判定性能の向上が図れ、しかも、効率のよい画像監視が可能となる監視画像の移動物体追跡方法を提供することを目的とする。
【００９９】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１００】
１０ 姿勢変化検出装置
１１ 入力手段
１２ 出力手段
１３ 蓄積手段
１４ 人物検出手段
１５ 身長推定手段
１６ 追跡手段
１７ 姿勢認知手段
１８ 不審者検出手段
１９ 画面生成手段
２０ 通知手段
２１ 送受信手段
２２ 制御手段
２３ 撮像手段
３０，４４ 人物
４０，６０ 画面
４１ 撮影画面
４２ 人物位置情報
４３ 追跡結果画面
４５ 人物認定領域
４６ 画角
４７ 人物位置
４８ 角度
４９ 過去人物認定領域
５０ 移動可能範囲
６１ 日時情報
６２ 人物特徴情報
７１ 入力装置
７２ 出力装置
７３ ドライブ装置
７４ 補助記憶装置
７５ メモリ装置
７６ ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）
７７ ネットワーク接続装置
７８ 記録媒体
【技術分野】
【０００１】
本発明は、姿勢変化検出装置、姿勢変化検出方法、及び姿勢変化検出プログラムに係り、特に動作変化の過程から人物の姿勢を高精度に検出するための姿勢変化検出装置、姿勢変化検出方法、及び姿勢変化検出プログラムに関する。
【背景技術】
【０００２】
従来、人体の姿勢や動作の計測は様々な目的で行われており、例えば警備領域等に不審者がいるか否かを判断する場合には、予め設置されたカメラ等で撮影された映像を取得し、取得した映像を監視員等が見ることにより、その撮影された実空間上における不審者の有無を判断している。
【０００３】
この場合、警備員等が画面上に映し出される映像のうち、変化領域等の移動物体が存在するか否かを判断し、移動物体があると判断された時点で警報を鳴らしたり、記録手段に録画した後、監視者が全ての移動物体について、その移動物体がどこからどのように移動したかで不審者か否かを判定する。したがって、常に表示装置の画面を見て監視者が移動物体を見つけ出すような、初期の画像監視装置と比較すると、作業の軽減になるが、後処理で監視者が判断する際にかなりの時間と労力を費やしていた。
【０００４】
そこで、従来では、単に移動物体の検出というだけでなく、画像解析によって移動物体の追跡を行って本当に不審者人物のみに対して警報を鳴らすようなシステムが存在する（例えば、特許文献１，２参照。）。また、画像中における人物の姿勢の変化を推定する手法が存在する（例えば、特許文献３，４参照。）。
【０００５】
特許文献１に示されている移動物体追跡手法では、監視領域内の画像を撮像手段で撮像して入力し、この入力された監視領域内の画像を所定の時間間隔で連続的に取込んでデジタル化し、このデジタル化された複数の画像を演算することによって、デジタル化された画像の差分画像を算出し、この算出した差分画像を２値化して差分２値化画像を生成し、この生成した差分２値化画像から変化領域を検出するものである。
【０００６】
また、特許文献１では、検出した変化領域を移動物体として、その変化領域の濃淡パターンを記憶手段に記憶し、所定時間経過後に撮像手段から入力された原画画像の移動物体の存在した位置の周辺において、記憶手段内の濃淡パターンと原画画像の濃淡パターンとを比較することによって、類似度の高い領域を抽出して移動物体と判定することにより移動物体を追跡することができる。
【０００７】
また、特許文献２では、デジタル化された画像の差分画像を算出し、この算出した差分画像を２値化して差分２値化画像を生成し、この生成した差分２値化画像から変化領域を抽出し、この抽出した変化領域が、予め設定される移動物体の出現する可能性のある出現予測領域と接していたとき、該移動物体が目的とする対象物であると判定して追跡する監視画像の移動物体追跡方法について開示されている。
【０００８】
また、特許文献３では、少なくとも２台のビデオカメラで異なる方向から撮像された人物の画像の各々において人物領域を抽出して人物の特徴部位の位置を求め、画像の各々の人物領域から求められた特徴部位の２次元配置に基づいて人物の３次元姿勢を推定する。
【０００９】
更に、特許文献４では、隠蔽物体の三次元形状を定義し、撮像装置の概略位置及び概略姿勢と、隠蔽物体の概略位置又は概略位置及び概略姿勢とを取得し、撮像装置の概略位置及び概略姿勢と、隠蔽物体の概略位置又は概略位置及び概略姿勢と、隠蔽物体の三次元形状とに基づき、撮像画像中における隠蔽物体の領域を検出する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平６−２６１２５２号公報
【特許文献２】特開平６−２７４６２５号公報
【特許文献３】特開２０００−２５１０７８号公報
【特許文献４】特開２００８−４６７５０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、従来手法では、撮影されている不審者の人物がしゃがみ込んだり、倒れこんだり、又は手を挙げる等、通常の移動動作と異なる動作をした場合には、その動作を正確に認識することはできず、同一人物であるか否かを判断する手段として画像中における人物の身長等により判定する際に、別人と判断されてしまう。したがって、高精度な人物の追跡を行うことができなかった。
【００１２】
本発明は、上記の問題点に鑑みてなされたものであって、動作変化の過程から人物の姿勢を高精度に検出するための姿勢変化検出装置、姿勢変化検出方法、及び姿勢変化検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１４】
本発明では、撮影された映像に含まれる人物の画像領域の時間的な変化から、前記人物の姿勢の変化を検出する姿勢変化検出装置において、前記映像を撮像して時系列の画像を得る撮像手段と、前記撮像手段で得られる時系列の各画像から１又は複数の人物を検出する人物検出手段と、前記人物検出手段により検出された追跡対象となる人物の身長を推定する身長推定手段と、前記身長推定手段により得られる前記画像上における人物の縦及び横の大きさの変化の割合と、予め設定された姿勢パターンとを比較することにより、前記人物の姿勢を認知する姿勢認知手段とを有することを特徴とする。これにより、遮蔽物等により隠蔽された人体の一部を補正して正確な人物領域の検出を行うことができる。
【００１５】
また本発明では、前記前記姿勢認知手段により得られる前記人物の姿勢情報を、前記撮像手段により撮影された画像に合成して表示する画面を生成する画面生成手段を有することを特徴とする。
【００１６】
また本発明では、前記姿勢認知手段により得られる前記人物の姿勢の時間的な変化から、前記人物が不審者であるか否かを検知する不審者検知手段を有することを特徴とする。
【００１７】
更に本発明では、撮影された映像に含まれる人物の画像領域の時間的な変化から、前記人物の姿勢の変化を検出する姿勢変化検出方法において、前記映像を撮像して時系列の画像を撮像手段により取得する撮像手順と、前記撮像手順で得られる時系列の各画像から１又は複数の人物を検出する人物検出手順と、前記人物検出手順により検出された追跡対象となる人物の身長を推定する身長推定手順と、前記身長推定手順により得られる前記画像上における人物の縦及び横の大きさの変化の割合と、予め設定された姿勢パターンとを比較することにより、前記人物の姿勢を認知する姿勢認知手順とを有することを特徴とする。これにより、遮蔽物等により隠蔽された人体の一部を補正して正確な人物領域の検出を行うことができる。
【００１８】
また本発明では、前記前記姿勢認知手順により得られる前記人物の姿勢情報を、前記撮像手段により撮影された画像に合成して表示する画面を生成する画面生成手順を有することを特徴とする。
【００１９】
また本発明では、前記姿勢認知手順により得られる前記人物の姿勢の時間的な変化から、前記人物が不審者であるか否かを検知する不審者検知手順を有することを特徴とする。
【００２０】
更に本発明では、撮影された映像に含まれる人物の画像領域の時間的な変化から、前記人物の姿勢の変化を検出する姿勢変化検出処理をコンピュータに実行させるための姿勢変化検出プログラムにおいて、コンピュータを、前記映像を撮像して時系列の画像を得る撮像手段、前記撮像手段で得られる時系列の各画像から１又は複数の人物を検出する人物検出手段、前記人物検出手段により検出された追跡対象となる人物の身長を推定する身長推定手段、及び、前記身長推定手段により得られる前記画像上における人物の縦及び横の大きさの変化の割合と、予め設定された姿勢パターンとを比較することにより、前記人物の姿勢を認知する姿勢認知手段として機能させる。これにより、遮蔽物等により隠蔽された人体の一部を補正して正確な人物領域の検出を行うことができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における姿勢変化検出処理を容易に実現することができる。
【００２１】
また本発明では、前記前記姿勢認知手段により得られる前記人物の姿勢情報を、前記撮像手段により撮影された画像に合成して表示する画面を生成する画面生成手段を有することを特徴とする。
【００２２】
また本発明では、前記姿勢認知手段により得られる前記人物の姿勢の時間的な変化から、前記人物が不審者であるか否かを検知する不審者検知手段を有することを特徴とする。
【発明の効果】
【００２３】
本発明によれば、遮蔽物等により隠蔽された人体の一部を補正して正確な人物領域の検出を行うことができる。
【図面の簡単な説明】
【００２４】
【図１】本実施形態における姿勢変化検出装置の概略構成の一例を示す図である。
【図２】本実施形態における身長推定手法の一例を示す図である
【図３】追跡手段における実空間上での移動範囲を考慮した人物追跡の一例を示す図である。
【図４】時間経過後の移動結果の一例を示す図である。
【図５】不審者の姿勢の変化のパターンの一例を示す図である。
【図６】姿勢情報の画面表示例を示す図である。
【図７】身体が一部隠蔽された場合における人物領域の補正処理結果の一例を示す図である。
【図８】本実施形態における姿勢変化検出処理が実現可能なハードウェア構成の一例を示す図である。
【図９】本実施形態における姿勢変化検出処理手順の一例を示すフローチャートである。
【図１０】人物判定処理手順を示す一例のフローチャートである。
【図１１】隠蔽状態判定処理手順の一例を示すフローチャートである。
【図１２】人物領域推定処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００２５】
＜本発明について＞
本発明は、人物の身長（矩形の高さ）の変化から姿勢変化を算出する手法である。具体的には、本発明は、画像中の人物領域の足の先と、消失点から実空間上の人物の位置を算出し、画像上の見かけ上の大きさと併せて、実際の人物の身長を推定する。人物の足、頭の位置特徴から人物を追跡し、同一として判断できる人物の身長が変化した際に、その変化の仕方に応じて、しゃがみ、倒れこみ、ホールドアップ（両手挙げ）等を判定する。
【００２６】
なお、本発明は、画像中の人物領域の足の先と、消失点から実空間での人物位置を算出し、追跡を行う。ここで、足が隠蔽された場合は、人物領域の頭の位置で追跡を補完する。
【００２７】
また、監視カメラから人物が遠くなれば遠くなる程、人物の実際の移動距離に比して、画像上での移動量が小さくなる。そのため、画面上で一律に、追跡する範囲を設定すると、監視カメラに近い人物を追跡し損ねたり、監視カメラに遠い人物では、誤って別人を追跡したりすることがあった。そこで、高精度に人物を追跡するために、人物領域の足の先と消失点の距離から、監視カメラと人物の距離を測定し、実空間上の人物位置を算出して、移動可能範囲を計算し、追跡に用いる。また、足が隠蔽された場合は、頭の位置と、事前に算出した身長から人物の実空間上の位置を算出し、追跡を継続する。
【００２８】
以下に、本発明における姿勢変化検出装置、姿勢変化検出方法、及び姿勢変化検出プログラムを好適に実施した形態について、図面を用いて説明する。
【００２９】
＜姿勢変化検出装置の概略構成例＞
図１は、本実施形態における姿勢変化検出装置の概略構成の一例を示す図である。図１に示す姿勢変化検出装置１０は、入力手段１１と、出力手段１２と、蓄積手段１３と、人物検出手段１４と、身長推定手段１５と、追跡手段１６と、姿勢認知手段１７と、不審者検出手段１８と、画面生成手段１９と、通知手段２０と、送受信手段２１と、制御手段２２とを有するよう構成されている。なお、送受信手段２１には、所定の領域を撮影するカメラ等の撮像手段２３が接続されており、撮像手段２３により撮影された映像に含まれる時系列の各画像を取得することができる。また、撮像手段２３は、姿勢変化検出装置１０と一体に構成されていてもよい。
【００３０】
入力手段１１は、ユーザ等からの人物検出指示や、身長推定指示や、追跡指示、姿勢認知指示、画面生成指示、通知指示、送受信指示、等の各種指示を受け付ける。なお、入力手段１１は、例えばキーボードや、マウス等のポインティングデバイス、マイク等の音声入力デバイス等からなる。
【００３１】
出力手段１２は、入力手段１１により入力された指示内容や、各指示内容に基づいて生成された制御データや人物検出手段１４、身長推定手段１５、追跡手段１６、姿勢認知手段１７、不審者検出手段１８、画面生成手段１９、通知手段２０、送受信手段２１等の各構成により実行された経過又は結果により得られる各種情報の内容を表示したり、その音声を出力する。なお、出力手段１２は、ディスプレイ等の画面表示機能やスピーカ等の音声出力機能等を有する。
【００３２】
蓄積手段１３は、上述した本実施形態を実現するための様々な情報を蓄積することができ、必要に応じて読み出しや書き込みが行われる。具体的には、蓄積手段１３は、人物検出手段１４における人物検出結果や、身長推定手段１５における推定結果、追跡手段１６により追跡結果、姿勢認知手段１７による姿勢認知結果、不審者検出手段１８により不審者検出結果、画面生成手段１９における生成した画面情報、通知手段２０により通知される内容や通知された内容、送受信手段２１により送受信された内容、制御手段２２により制御された情報、エラー発生時のエラー情報、ログ情報、本発明を実現するためのプログラム等の各情報が蓄積される。
【００３３】
人物検出手段１４は、カメラ等の撮像手段２３等により撮影された映像を取得し、その取得した映像に含まれる時系列の各画像のうち、所定の画像（各フレーム画像や数フレーム分の間隔を空けた画像等）について１又は複数の人物の顔を検出する。なお、人物検出手段１４は、例えば連続する画像フレーム同士を比較して、色（輝度、色度等）が所定時間内に変化する場所が存在し、更にその場所が所定の領域以上のものを人物として検出する。
【００３４】
また、他の人物検出手法としては、例えば、[0]エッジ等を用いて人の形状にマッチする領域を抽出する手法や、熱画像を用いて背景とは異なる熱源を人体領域とする手法、複数のカメラを用いて形状や大きさを認識し人らしい物体を検出する手法、人の動き（歩いている様子）等に対してシルエット画像等を用いて事前に学習することで人体を検出する手法等も用いることができる。なお、人物検出手段１４における人物検出手法については、本発明においてはこれに限定されない。
【００３５】
身長推定手段１５は、画像中に含まれる１又は複数の人物を検出し、その人物がいた場合に新規の人物であるか否かを判断し、新規人物である場合、その人物領域の足の先と、その画像に対応する消失点とから実空間上の人物の位置を算出し、画像上の見かけ上の大きさを併せて、実際の人物の身長を推定する。なお、消失点は、画像中に含まれる場合もあるが、カメラのアングル等により画像中に含まれない場合もある。この場合には、仮想的な空間上に消失点を設定し、その消失点を利用する。
【００３６】
なお、身長推定手段１５は、その人物が今まで撮影された人であるか、又は新規人物であるかを判断する方法として、例えばその前の映像に人物がいるか否か、人物がいた場合にその人物に予め設定された移動可能範囲に含まれているか否か、前後の顔の特徴量同士の比較による類似性の有無により判断することができる。
【００３７】
追跡手段１６は、カメラ等の撮像手段２３から得られる映像を撮像して時系列の画像から同一の人物の挙動を追跡する。また、追跡手段１６は、画像中に含まれる人物領域の足、頭の位置とその特徴から人物を追跡し、同一として判断できる人物の大きさが変化した場合、人物の一部が、建物等で隠蔽されたか否かを判断する。なお、隠蔽される人物の一部とは、例えば下半身や上半身、頭、腕、胴体等である。つまり、本実施形態では、少なくとも１度画面上で足のつま先から頭部までの人体の身長に関する情報が取得できた場合、その後、頭及び足の両方が同時に隠蔽されていなければ、隠蔽部分を推定して人物を追跡することができる。
【００３８】
また、追跡手段１６は、画像中に表示されている１又は複数の人物を経時的に追跡する。ここで、追跡手段１６には、人物領域を推定する機能も設けられている。具体的には、人物領域推定手段として、画像中に存在する人体に関してその外領域からなり人物が存在することを画面上で認識するための人物領域を推定する。また、人物領域推定手段は、例えば、遮蔽物により人物の一部で隠蔽されている部分が存在すると判断された場合に、正しい人体の領域を推定する。また、追跡手段１６は、隠蔽されている人体部分の外形（シルエット）又は領域を画面上に表示させる。これにより、隠蔽物により画像上に表示されていない人物のいる位置を正確に把握することができる。
【００３９】
また、追跡手段１６は、画像中に存在する人物を経時的に追跡する場合には、次の移動範囲を人物の向き、姿勢、今までの行動から次の動作可能範囲を推測することができる。この場合、追跡手段１６は、その最大の範囲の外枠をフレーム化して画像に合成するための情報を生成する。
【００４０】
姿勢認知手段１７は、人物の身長（矩形の高さ）の変化から姿勢変化を算出する手法である。具体的には、本発明は、画像中の人物領域の足の先と、消失点から実空間上の人物の位置を算出し、画像上の見かけ上の大きさと併せて、実際の人物の身長を推定する。人物の足、頭の位置特徴から人物を追跡し、同一として判断できる人物の身長が変化した際に、その変化の仕方に応じて、例えばしゃがみ、倒れこみ、ホールドアップ（両手挙げ）等を判定する。
【００４１】
不審者検出手段１８は、追跡手段１６による追跡結果や姿勢認知手段１７による姿勢認知結果により、予め設定される時系列の挙動データ等を比較することで、撮像手段２３により撮影された人物が不審者である場合に検出を行う。
【００４２】
例えば、不審者検出手段１８は、追跡対象人物が遮蔽物に隠れたり、カメラを所定時間以上気にしてみていたり、キョロキョロしていたり、長時間滞在している等の不審行動が少なくとも１つある場合には、その人物を不審者として検出する。更に、不審者検出手段１８は、追跡対象人物がマスクをしていたり、サングラスをかけていることで、顔を隠している場合にも不審者として検出する。また、不審者検出手段１８は、検出された不審者情報を、通知手段に通知する。
【００４３】
画面生成手段１９は、撮像手段２３により撮影された映像を表示する画面を生成する。また、画面生成手段１９は、追跡手段１６により推定された人物領域を現在撮像手段２３等により撮影された画像に反映させる。具体的には、画面生成手段１９は、人物領域と推定された領域の外側をフレーム化して合成して表示させる。また、画面生成手段１９は、画面生成により得られた画像をディスプレイ等の出力手段に表示される。このとき、画面生成手段１９は、例えば人物領域のフレームの位置情報を数値化したもの等を画面上に表示させることができる。
【００４４】
また、画面生成手段１９は、人物を追跡している場合に必要である経時的なその撮影されている人物移動範囲も推定して画面上表示させることができる。更に、画面生成手段１９は、予め設定される不審者の行動パターンに該当する場合には、その旨の内容を通知するための画面を生成する。なお、画面生成に必要な各種情報は、蓄積手段１３に予め蓄積されている情報等から必要な情報を適宜読み出して使用することができる。また、生成した画面は、ディスプレイやスピーカ等を有する出力手段１２により音声等と共に出力する。
【００４５】
通知手段２０は、不審者検出手段１８により得られる不審者として検出された画像と、その画像に関する情報（検出日時、検出場所、その前の所定時間分の映像等）を画面生成手段１９により生成させて、表示させる。また、通知手段２０は、そのような不審行動検出における問題発生信号に対応させて、管理者や警備会社におけるそのビルの担当警備員、監視員、代表責任者等に通知を行うアラート機能を有する。
【００４６】
送受信手段２１は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等の通信ネットワーク等を介して１又は複数の撮像手段２３からの監視映像を受信する。なお、送受信手段２１は、撮像手段２３から直接監視映像を受信しなくてもよく、例えば予め撮像手段２３で取得した映像をどこかに一時的保存しておき、その保存された情報を用いて本実施形態における姿勢変化検出を行ってもよい。
また、送受信手段２１は、姿勢変化検出装置１０を構成する他の端末に送信したり、他の端末から各種データを受信するための通信インタフェースとして用いることができる。
【００４７】
制御手段２２は、姿勢変化検出装置１０における各機能構成全体の制御を行う。具体的には、制御手段２２は、入力手段１１により入力されたユーザからの入力情報に基づいて人物検出処理を行ったり、身長推定処理を行ったり、追跡処理を行ったり、姿勢認知処理を行ったり、不審者検出処理を行ったり、画面生成処理を行ったり、通知制御を行ったり、送受信制御を行う等の各種制御を行う。
【００４８】
＜身長推定手段１５における身長推定処理例＞
次に、本実施形態の身長推定手段１５における身長推定処理例について具体的に説明する。
【００４９】
ここで、図２は、本実施形態における身長推定手法の一例を示す図である。なお、図２（ａ）は、カメラ２３と人物３０との距離を説明する図であり、図２（ｂ）は、身長推定時の頭、足先と消失点間の画素数と距離の関係を示している。本実施形態では、図２（ｂ）に示すように、人物の足位置からカメラまでの距離を算出すると共に、頭の位置（人物領域の矩形上端）からも距離を算出している。これにより、どちらか一方の距離算出結果から、同一人物の移動と判定されれば、前回に検出された人物が移動したとしている。なお、図２（ａ），（ｂ）に示すように、カメラ等の撮像手段２３からの距離（５ｍ、１０ｍ）と、消失点と、頭及び足の位置、撮影画像の画素数等を用いて人物の身長Ｈを推定する。また、身長推定手段１５は、図２（ｂ）に示すように、人物３０−１から時刻ｔ経過後の人物３０−１の位置を推定する。
【００５０】
具体的には、身長推定手段１５は、基準物体の実際の高さを示す基準長と、所定の位置に固定されたカメラから基準物体までの実際の距離を示す基準距離と、その基準物体の下端位置を示す基準座標と、基準物体画像中における基準長に相当する第１基準長画素数と、カメラを無限遠に遠ざけた場合に基準物体が位置する基準物体画像中の位置である消失点の位置を示す消失点座標とを保持し、カメラから被写体として人物を含む人物画像を取得し、取得した人物画像中の人物の身長に相当する人物長画素数をカウントし、更に、取得した人物画像中の人物の下端から、人物画像中の消失点までの人物消失点画素数をカウントする。
【００５１】
次に、上述した保持手段が保持する基準座標と消失点座標とに基づいて、基準物体画像中の基準物体の下端位置から消失点の位置までの基準消失点画素数を算出し、特定された人物消失点画素数と基準消失点画素数との比と、保持手段が保持する基準距離とに基づいて、カメラから人物までの実際の人物距離を算出し、算出された人物距離と、保持手段が保持する基準距離と、第１基準長画素数とに基づいて、人物距離に基準物体が配置された場合の基準長に相当する第２基準長画素数を算出する。
【００５２】
更に、その第２基準長画素数と上述した人物長画素数との比と、保持手段が保持する基準長とに基づいて、人物の実際の身長を算出する。
【００５３】
なお、身長推定手段１５は、例えば、本出願人により出願された特開２００８−２８６６３８号公報等に示される手法等を用いることができる。また、画像中から人物の身長を算出する手法については、本発明においてはこれに限定されるものではない。
【００５４】
＜追跡手段１６における追跡手法＞
次に、本実施形態における追跡手段１６による追跡手法について、図を用いて説明する。図３は、追跡手段における実空間上での移動範囲を考慮した人物追跡の一例を示す図である。また、図４は、時間経過後の移動結果の一例を示す図である。なお、図３及び図４に示す図面は、上述する画面生成手段１９によって生成され、ディスプレイ上に表示される画面である。
【００５５】
図３及び図４に示す画面４０には、実際の撮影画面４１と、人物位置情報４２と、追跡結果画面４３とを有している。撮影画面４１には、人物４４が矩形等に囲まれた人物認定領域４５により表示されている。なお、人物認定領域４４の形状は、本発明においては、矩形に限定されるものではなく、円形や楕円形、他の多角形、人物４４の外形形状から所定倍率拡大させたシルエット形状であってもよい。
【００５６】
また、人物４４の人物位置情報４２としては、例えば、カメラ等の撮像手段２３からの距離と角度、視界全体の画素数を基準にして人物４４の位置を左右の距離（ｈ１，ｈ２）を計測し、その計測結果から得られる人物座標（ｘ，ｙ，ｚ）を取得する。
【００５７】
また、追跡結果画面４３は、カメラ等の撮像手段２３の画角４６（＝視界）と、人物位置４７、カメラ画像中央からの角度４８（２０°（中心から左がマイナス表示））が表示され、カメラからの距離（５ｍ，１０ｍ等）と、人物位置情報４２として画像から計測された位置情報（７．２ｍ）が表示されている。
【００５８】
また、図４に示す時間経過後の移動結果では、過去人物認定領域４９と、過去と現在の各フレーム（人物認定領域４５，過去人物認定領域４９）の位置と、それまでの時間情報を用いて、次に人物４４が移動すると推測される移動可能範囲５０を設定して、その領域を円形等により表示する。なお、人物認定領域４５、過去人物認定領域４９のフレームは、画面上に含まれる人物毎に色分けをして複数の人物が区別できるようにして表示させることもできる。
【００５９】
また、移動可能範囲５０の形状は、本発明においてはこれに限定されず、矩形等でもよい。更に、移動可能範囲５０は、人物検出手段１４等により人物４４の向きを計測し、その向きにより得られる方向を基準に設定してもよい。これにより、次の予想範囲を容易に推測することができる。また、移動可能範囲５０は、追跡結果画面４３にも表示される。
【００６０】
＜姿勢認知手段１７における姿勢認知手法＞
次に、姿勢認知手段１７における姿勢認知手法について説明する。姿勢認知は、人物の"姿勢"が不審を検知するためのキーとなることとして"不審者の定義化"を行う。ここで、図５は、不審者の姿勢の変化のパターンの一例を示す図である。図５（ａ）〜（ｄ）に示す撮影映像の時間遷移図では、人物がドアに歩み寄り、ドアの前で次第にかがみ込んでドアノブを触る例を示している。この図５（ａ）〜（ｄ）に示すような姿勢変化を認識することで、ドアの鍵を不正に開けようとしているものであると認識することができる。
【００６１】
そこで、姿勢認知手段１７は、身長推定手段１５により得られる身長推定手法を用いて不審に関連した姿勢を検出する。具体的には、姿勢認知手段１７は、図５（ａ）〜（ｄ）に示すように時系列の画像におけるそれぞれの人物認定領域４５を推定し、その人物認定領域４５の身長（高さ）や横幅の変化等の各種変化パターンに基づいて、その挙動を把握する。
【００６２】
例えば、姿勢認知手段１７は、身長データの経時的な変化のパターンから、例えばホールドアップ（両手挙げ）、かがみ込む、立ち上がる、倒れこむ、直立等の姿勢を判定し、その判定結果を画面に表示する。これにより、予め不審な挙動を蓄積しておき、姿勢認知手段１７により認知された姿勢情報と瞬間的又は経時的に比較することにより、その対象人物が不審者か否かを容易に把握することができる。
【００６３】
また、図６は、姿勢情報の画面表示例を示す図である。なお、図６（ａ）〜図６（ｄ）は、それぞれの姿勢が「立っている状態」、「しゃがんでいる状態」、「倒れこんでいる状態」、「ホールドアップしている（両手挙げ）状態」をそれぞれ示している。これらの状態は、姿勢認知手段１７により、予め設定され蓄積手段１３等に蓄積されている姿勢情報と、実際に身長推定手段１５等により推定された結果を比較することにより得られる認知結果が表示される。なお、認知される姿勢は、本発明においてはこれに限定されるものではなく例えば「ジャンブしている状態」や「膝立ちしている状態」、「後を向いている状態」等、顔認識等を組み合わせて多数の姿勢を認知することができる。
【００６４】
なお、図６（ａ）〜図６（ｄ）に示す姿勢情報表示画面６０では、日時情報６１、人物特徴情報６２が表示される。日時情報６１は、撮影された日時が表示される。人物特徴情報６２では、人物認定領域４５における縦の幅、横の幅、人物認定領域４５の面積、姿勢認知手段１７により認知された姿勢情報が表示される。これらの情報を用いて不審者検出手段１８により上述したように不審者である変化パターンの存在を検出し、実際に犯罪等が起こる前に未然に犯罪の発生を把握し、警備員等に連絡して急行してもらうことで、未然に事件の発生を防止することができる。
【００６５】
＜画面生成手段１９＞
次に、本実施形態における画面生成例について図を用いて説明する。なお、上述した図２〜図６については、画面生成手段１９により生成される画面であり、ディスプレイ等の表示画面等により表示させることができる。
【００６６】
なお、図６等に示す人物特徴情報６２としては、本発明においては上述の内容に限定されず、例えば撮影された時間や人物が顔特徴量等を画面から抽出して測定できる場合には、その人物の指名や性別、推定年齢（年代でもよい）を表示させることができる。
【００６７】
また、図７は、身体が一部隠蔽された場合における人物領域の補正処理結果の一例を示す図である。図７（ａ）に示すように、画面に表示された人物３０に対応する人物認定領域４５及び人物関連情報が表示されている。この後、追跡手段１６による追跡途中で図７（ｂ）又は図７（ｃ）に示すように、人物の身体の一部が隠蔽された場合には、人物領域を補正し、補正したこと人物関連情報に示す。具体的には、追跡手段１６において、画像中に含まれる人物領域の足、頭の位置とその特徴から人物を追跡し、同一として判断できる人物の大きさが変化した場合、人物の一部が、建物等で隠蔽されたか否かを判断する。なお、隠蔽される人物の一部とは、例えば下半身や上半身、頭、腕、胴体等である。
【００６８】
つまり、追跡手段１６は、少なくとも１度画面上で足のつま先から頭部までの人体の身長に関する情報が取得できた場合、その後、頭及び足の両方が同時に隠蔽されていなければ、隠蔽部分を推定することができる。また、追跡手段１６は、人物領域の足の先と消失点の距離から、監視カメラと人物の距離を測定し、実空間上の人物位置を算出して、移動可能範囲を計算し、追跡に用いる。
【００６９】
また、追跡手段１６は、例えば足が隠蔽された場合は、頭の位置と、事前に算出した身長から人物の実空間上の位置を算出し、追跡を継続する。これにより、遮蔽物等により隠蔽された人体の一部を補正して正確な人物領域の検出を行うことができる。
これにより、人物の足元が隠蔽されていることを容易に把握することができる。
【００７０】
＜ハードウェア構成例＞
ここで、上述した姿勢変化検出装置１０は、上述した機能を有する専用の装置構成により制御を行うこともできるが、各機能をコンピュータに実行させることができる実行プログラム（姿勢変化検出プログラム）を生成し、例えば、汎用のパーソナルコンピュータ、サーバ等にその実行プログラムをインストールすることにより、本発明における姿勢変化検出処理を実現することができる。
【００７１】
本実施形態における姿勢変化検出処理が実現可能なコンピュータのハードウェア構成例について図を用いて説明する。図８は、本実施形態における姿勢変化検出処理が実現可能なハードウェア構成の一例を示す図である。
【００７２】
図８におけるコンピュータ本体には、入力装置７１と、出力装置７２と、ドライブ装置７３と、補助記憶装置７４と、メモリ装置７５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７６と、ネットワーク接続装置７７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【００７３】
入力装置７１は、使用者等が操作するキーボード及びマウス等のポインティングデバイスを有しており、使用者等からのプログラムの実行等、各種操作信号を入力する。
【００７４】
出力装置７２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するモニタを有し、ＣＰＵ７６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。
【００７５】
なお、入力装置７１と出力装置７２とは、例えばタッチパネル等のように一体型の入出力手段であってもよく、この場合には使用者等の指やペン型の入力装置等を用いて所定の位置をタッチして入力を行うことができる。
【００７６】
ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＣＤ−ＲＯＭ等の可搬型の記録媒体７８等により提供される。プログラムを記録した記録媒体７８は、ドライブ装置７３にセット可能であり、記録媒体７８に含まれる実行プログラムが、記録媒体７８からドライブ装置７３を介して補助記憶装置７４にインストールされる。
【００７７】
補助記憶装置７４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。
【００７８】
メモリ装置７５は、ＣＰＵ７６により補助記憶装置７４から読み出された実行プログラム等を格納する。なお、メモリ装置７５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。
【００７９】
ＣＰＵ７６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置７５により読み出され格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。プログラムの実行中に必要な各種情報等は、補助記憶装置７４から取得することができ、また実行結果等を格納することもできる。
【００８０】
ネットワーク接続装置７７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果、又は本発明における実行プログラム自体を他の端末等に提供することができる。上述したようなハードウェア構成により、本発明における姿勢変化検出処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における姿勢変化検出処理を容易に実現することができる。次に、姿勢変化検出処理の具体的な内容について説明する。
【００８１】
＜姿勢変化検出処理＞
次に、本発明における実行プログラム（姿勢変化検出プログラム）で実行される姿勢変化検出処理手順についてフローチャートを用いて説明する。図９は、本実施形態における姿勢変化検出処理手順の一例を示すフローチャートである。
【００８２】
図９において、まずカメラ等の撮像手段により撮影された映像を入力する（Ｓ０１）。次に、その映像に含まれる１又は複数の人物を検知する（Ｓ０２）。ここで、人物を検知した場合に、その人物毎の身長を推定する（Ｓ０３）。また、その後、その人物を追跡していく過程において、その人物の姿勢を認知し（Ｓ０４）、その人物の姿勢の変化パターンから、上述したように不審者の検出を行う（Ｓ０５）。また、Ｓ０５の処理が終了後、画面を生成し（Ｓ０６）、その生成した画面を出力する（Ｓ０７）。
【００８３】
更に、ここで、追跡を終了するか否かを判断し（Ｓ０８）、追跡を終了しない場合（Ｓ０８において、ＮＯ）、Ｓ０４に戻り、映像に映る同一人物について、以降の処理を行う。また、追跡を終了する場合（Ｓ０８において、ＹＥＳ）、次に姿勢変化検出処理を終了するか否かを判断し（Ｓ０９）、姿勢変化検出処理を終了しない場合（Ｓ０９において、ＮＯ）、Ｓ０１の処理に戻り、他の人物等を検出して後述の処理を行う。また、姿勢変化検出処理を終了する場合（Ｓ０９において、ＹＥＳ）、全体の処理を終了する。
【００８４】
＜身長推定における人物判定処理手順＞
次に、上述した身長推定手段１５における人物判定処理手順についてフローチャートを用いて説明する。図１０は、人物判定処理手順を示す一例のフローチャートである。なお、図１０では、その人物の位置検出による追跡の概要を示している。図１０示す人物判定処理では、まず、映像中に含まれる１又は複数の人物（図１０では、人物Ｘ１，・・・，Ｘｎ）を検出したか同かを判断し（Ｓ１１）、検出していない場合（Ｓ１２において、ＮＯ）状態遷移図にしたがって状態を更新する（Ｓ１２）。具体的には、Ｓ１２の処理において、例えば「初期状態→初期状態」、「照合状態→初期状態」、「追跡状態→消失状態」、「消失状態→消失状態ｏｒ退去状態ｏｒ初期状態」、「退去状態→初期状態」等の何れの設定を行う。ここで、「初期状態」とは、追跡情報を格納する領域が、空き領域であることを示している。例えば、追跡可能な人数が３人であった場合、追跡ＩＤ１，ＩＤ２，ＩＤ３という領域が確保され、それぞれが追跡状態や人物情報を保持する。
【００８５】
また、「照合状態」とは、過去に検出された人物と同一人物か否か、確認中である状態を示している。なお、「照合状態」では、新規の人物若しくは追跡中の人物と同一人物であると判定されると、「追跡状態」に移行する。また、「照合状態」では、安定して検出されない領域、人っぽい動きをしない領域（誤検出と思われる領域）と判定された場合は、「初期状態」に戻る。
【００８６】
また、「追跡状態」とは、人物を追跡している状態を示している。なお「追跡状態」は、追跡している人物が検出できなくなると、「消失状態」に移行する。また、「消失状態」とは、追跡中の人物が検出できなくなった状態を示している。なお、「消失状態」は、一定時間続いたら、「退去状態」に移行する。また、「消失状態」は、一定時間内に追跡中の人物が再度検出されたら、「追跡状態」に戻る。また、「退去状態」とは、追跡中の人物が、いなくなったと判定された状態を示している。但し、人物が戻ってきた場合（フレームアウトした人物が、再度、フレームインしてきた場合等）には、同定し、追跡を継続できるように追跡情報を一定時間保持しておく。また、「退去状態」とは、一定時間経過すると、情報を破棄し、「初期状態」に戻る。
【００８７】
また、Ｓ１１の処理において、１又は複数の人物を検出した場合（Ｓ１１において、ＹＥＳ）、初期状態でない人物Ａが既に存在するか否かを判断する（Ｓ１３）。ここで、初期状態でない人物が存在しない場合（Ｓ１３において、ＮＯ）、新規人物として登録状態を「初期状態→照合状態」に更新する（Ｓ１４）。また、初期状態でない人物が存在する場合（Ｓ１３において、ＹＥＳ）、次に人物Ａの移動範囲内であるか否かを判断する（Ｓ１５）。ここで、移動範囲内でない場合（Ｓ１５において、ＮＯ）、上述したＳ１４に示すように登録状態の更新を行う。
【００８８】
また、Ｓ１５の処理において、人物Ａの移動範囲内である場合（Ｓ１５において、ＹＥＳ）、次に、移動範囲内に複数人いるか否かを判断する（Ｓ１６）。ここで、複数人いる場合（Ｓ１６において、ＹＥＳ）、人物Ａに対して人物Ｘ１，・・・，Ｘｎで人物同定処理を行う（Ｓ１７）。このとき、Ｓ１７の人物同定処理は、映像から選択された静止画を用いて行う。また、Ｓ１７の処理において同定された人物がいるか否かを判断し（Ｓ１８）、同定された人物がいない場合（Ｓ１８において、ＮＯ）、上述したＳ１４に示すように登録状態の更新を行う。
【００８９】
また、Ｓ１６の処理において、移動範囲内に複数人いない場合（Ｓ１６において、ＮＯ）、又はＳ１８の処理において、同定された人物がいる場合（Ｓ１８において、ＹＥＳ）、人物Ａと人物Ｘｉを同一人物として状態を更新する（Ｓ１９）。これにより、映像に含まれる分物が同一人物であるか否かを正確に判定することができる。
【００９０】
＜隠蔽状態判定処理手順：Ｓ０３＞
次に、上述した隠蔽状態判定処理手順の具体例についてフローチャートを用いて説明する。図１１は、隠蔽状態判定処理手順の一例を示すフローチャートである。図１１に示すように、隠蔽状態判定処理手順では、まず現在のフレームに検出された人物Ａの足から位置を推定する（Ｓ２１）。次に、人物Ｂの移動範囲内に人物Ａが存在するか否かを判断する（Ｓ２２）。ここで、人物Ｂの移動範囲内に人物Ａが存在しない場合（Ｓ２２において、ＮＯ）、以下、前回検知された人物Ｂと同一人物と仮定する（Ｓ２３）。次に、その人物Ｂの身長Ｈｂを利用し、頭から人物Ａの位置を推定し（Ｓ２４）、人物Ｂの移動範囲内に人物Ａが存在するか否かを判断する（Ｓ２５）。ここで、人物Ｂの移動範囲内に人物Ａが存在する場合（Ｓ２５において、ＹＥＳ）、又は、Ｓ２２の処理において、人物Ｂの移動範囲内に人物Ａが存在する場合（Ｓ２２において、ＹＥＳ）、同一人物と判定する（仮定成立）（Ｓ２６）。また、Ｓ２５の処理において、人物Ｂの移動範囲内に人物Ａが存在する場合（Ｓ２５において、ＮＯ）、異なる人物と判定する（仮定不成立）（Ｓ２７）。つまり、上述の処理では、Ｓ２２の処理において、人物Ａが人物Ｂの移動範囲内に存在すれば、同一人物と即断定し、そうでなければ、同一人物であると仮説を立てて、それが成立するか否かの判定を行う。
【００９１】
＜人物領域推定処理手順：Ｓ０４＞
次に、上述した人物領域推定処理手順の具体例についてフローチャートを用いて説明する。図１２は、人物領域推定処理手順の一例を示すフローチャートである。図１２に示すように、人物領域推定処理手順では、まず人物Ａの足から推定された位置ＰＡｆ、頭から推定された位置ＰＡｈを取得する（Ｓ３１）。次に、ＰＡｆとＰＡｈの位置が一定範囲内であるか否かを判断する（Ｓ３２）。ここで、ＰＡｆとＰＡｈの位置が一定範囲内でない場合（Ｓ３２において、ＮＯ）、以下、前回検知された人物Ｂと同一人物と仮定する（Ｓ３３）。
【００９２】
次に、人物Ａの身長Ｈａを利用し、人物Ｂの位置ＰＢａｈを頭から推定する（Ｓ３４）。その後、またＰＡｆとＰＢａｈの位置が一定範囲内であるか否かを判断する（Ｓ３５）。ここで、ＰＡｆとＰＢａｈの位置が一定範囲内である場合（Ｓ３５において、ＹＥＳ）、人物領域Ａが足、人物領域Ｂが頭となる（つまり、胴体が隠蔽されている）と判断する（Ｓ３６）。また、Ｓ３５の処理において、ＰＡｆとＰＢａｈの位置が一定範囲内でない場合（Ｓ３５において、ＮＯ）、人物領域Ａの足が隠蔽していると判断する（Ｓ３７）。また、Ｓ３２の処理において、ＰＡｆとＰＡｈの位置が一定範囲内である場合（Ｓ３２において、ＹＥＳ）、人物Ａは隠蔽領域なしと判断する（Ｓ３８）。
【００９３】
つまり、上述の処理では、足から推定される位置ＰＡｆと頭から推定される位置ＰＡｈが同じような位置を示す場合、それは同一人物の足と頭であることが確定する。したがって、頭から足まできれいに領域抽出されていると判定する。また、位置が異なる場合は、何らかの影響で足か頭の領域が欠損している可能性があると判定する。
【００９４】
上述したように、本発明によれば、遮蔽物等により隠蔽された人体の一部を補正して正確な人物領域の検出を行うことができる。
【００９５】
具体的には、追跡中の人物領域の大きさや、人物の領域の数の変化から、足や頭、胴体等の人体の一部が遮蔽物等により遮蔽された場合に、その一部が遮蔽されたことをシステム上で認識し、正確な領域に補正する。
【００９６】
具体的には、カメラ等の撮像手段により画像中の人物領域の足の先と、その画像の消失店から実空間上の人物の位置を算出し、画像上の見かけ上の大きさと併せて、実際の人物の身長を推定する。また、人物の足、頭の位置と特徴から人物を追跡し、同一として判断できる人物の大きさが変化した場合、人体の一部が建物等の影響等で隠蔽されたかどうかを判断する。更に、本発明では、隠蔽物により人体の一部が隠蔽された場合には、正確な人体の領域を推定して表示する。
【００９７】
これにより、体の一部分が撮影された画像から欠けていたり、遮蔽物により一部が遮蔽されていても、同一の人物と認識して、人物の追跡等を行うことができ、遮蔽物等により隠蔽された人体の一部を補正して正確な人物領域の検出を行うことができる。
【００９８】
また、本発明によれば、監視画像内の移動物体を精度よく追跡でき、移動物体か否かの判定性能の向上が図れ、しかも、効率のよい画像監視が可能となる監視画像の移動物体追跡方法を提供することを目的とする。
【００９９】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１００】
１０ 姿勢変化検出装置
１１ 入力手段
１２ 出力手段
１３ 蓄積手段
１４ 人物検出手段
１５ 身長推定手段
１６ 追跡手段
１７ 姿勢認知手段
１８ 不審者検出手段
１９ 画面生成手段
２０ 通知手段
２１ 送受信手段
２２ 制御手段
２３ 撮像手段
３０，４４ 人物
４０，６０ 画面
４１ 撮影画面
４２ 人物位置情報
４３ 追跡結果画面
４５ 人物認定領域
４６ 画角
４７ 人物位置
４８ 角度
４９ 過去人物認定領域
５０ 移動可能範囲
６１ 日時情報
６２ 人物特徴情報
７１ 入力装置
７２ 出力装置
７３ ドライブ装置
７４ 補助記憶装置
７５ メモリ装置
７６ ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）
７７ ネットワーク接続装置
７８ 記録媒体
【特許請求の範囲】
【請求項１】
撮影された映像に含まれる人物の画像領域の時間的な変化から、前記人物の姿勢の変化を検出する姿勢変化検出装置において、
前記映像を撮像して時系列の画像を得る撮像手段と、
前記撮像手段で得られる時系列の各画像から１又は複数の人物を検出する人物検出手段と、
前記人物検出手段により検出された追跡対象となる人物の身長を推定する身長推定手段と、
前記身長推定手段により得られる前記画像上における人物の縦及び横の大きさの変化の割合と、予め設定された姿勢パターンとを比較することにより、前記人物の姿勢を認知する姿勢認知手段とを有することを特徴とする姿勢変化検出装置。
【請求項２】
前記前記姿勢認知手段により得られる前記人物の姿勢情報を、前記撮像手段により撮影された画像に合成して表示する画面を生成する画面生成手段を有することを特徴とする請求項１に記載の姿勢変化検出装置。
【請求項３】
前記姿勢認知手段により得られる前記人物の姿勢の時間的な変化から、前記人物が不審者であるか否かを検知する不審者検知手段を有することを特徴とする請求項１又は２に記載の姿勢変化検出装置。
【請求項４】
撮影された映像に含まれる人物の画像領域の時間的な変化から、前記人物の姿勢の変化を検出する姿勢変化検出方法において、
前記映像を撮像して時系列の画像を撮像手段により取得する撮像手順と、
前記撮像手順で得られる時系列の各画像から１又は複数の人物を検出する人物検出手順と、
前記人物検出手順により検出された追跡対象となる人物の身長を推定する身長推定手順と、
前記身長推定手順により得られる前記画像上における人物の縦及び横の大きさの変化の割合と、予め設定された姿勢パターンとを比較することにより、前記人物の姿勢を認知する姿勢認知手順とを有することを特徴とする姿勢変化検出方法。
【請求項５】
前記前記姿勢認知手順により得られる前記人物の姿勢情報を、前記撮像手段により撮影された画像に合成して表示する画面を生成する画面生成手順を有することを特徴とする請求項４に記載の姿勢変化検出方法。
【請求項６】
前記姿勢認知手順により得られる前記人物の姿勢の時間的な変化から、前記人物が不審者であるか否かを検知する不審者検知手順を有することを特徴とする請求項４又は５に記載の姿勢変化検出方法。
【請求項７】
撮影された映像に含まれる人物の画像領域の時間的な変化から、前記人物の姿勢の変化を検出する姿勢変化検出処理をコンピュータに実行させるための姿勢変化検出プログラムにおいて、
コンピュータを、
前記映像を撮像して時系列の画像を得る撮像手段、
前記撮像手段で得られる時系列の各画像から１又は複数の人物を検出する人物検出手段、
前記人物検出手段により検出された追跡対象となる人物の身長を推定する身長推定手段、及び、
前記身長推定手段により得られる前記画像上における人物の縦及び横の大きさの変化の割合と、予め設定された姿勢パターンとを比較することにより、前記人物の姿勢を認知する姿勢認知手段として機能させるための姿勢変化検出プログラム。
【請求項８】
前記前記姿勢認知手段により得られる前記人物の姿勢情報を、前記撮像手段により撮影された画像に合成して表示する画面を生成する画面生成手段を有することを特徴とする請求項７に記載の姿勢変化検出プログラム。
【請求項９】
前記姿勢認知手段により得られる前記人物の姿勢の時間的な変化から、前記人物が不審者であるか否かを検知する不審者検知手段を有することを特徴とする請求項１又は２に記載の姿勢変化検出プログラム。
【請求項１】
撮影された映像に含まれる人物の画像領域の時間的な変化から、前記人物の姿勢の変化を検出する姿勢変化検出装置において、
前記映像を撮像して時系列の画像を得る撮像手段と、
前記撮像手段で得られる時系列の各画像から１又は複数の人物を検出する人物検出手段と、
前記人物検出手段により検出された追跡対象となる人物の身長を推定する身長推定手段と、
前記身長推定手段により得られる前記画像上における人物の縦及び横の大きさの変化の割合と、予め設定された姿勢パターンとを比較することにより、前記人物の姿勢を認知する姿勢認知手段とを有することを特徴とする姿勢変化検出装置。
【請求項２】
前記前記姿勢認知手段により得られる前記人物の姿勢情報を、前記撮像手段により撮影された画像に合成して表示する画面を生成する画面生成手段を有することを特徴とする請求項１に記載の姿勢変化検出装置。
【請求項３】
前記姿勢認知手段により得られる前記人物の姿勢の時間的な変化から、前記人物が不審者であるか否かを検知する不審者検知手段を有することを特徴とする請求項１又は２に記載の姿勢変化検出装置。
【請求項４】
撮影された映像に含まれる人物の画像領域の時間的な変化から、前記人物の姿勢の変化を検出する姿勢変化検出方法において、
前記映像を撮像して時系列の画像を撮像手段により取得する撮像手順と、
前記撮像手順で得られる時系列の各画像から１又は複数の人物を検出する人物検出手順と、
前記人物検出手順により検出された追跡対象となる人物の身長を推定する身長推定手順と、
前記身長推定手順により得られる前記画像上における人物の縦及び横の大きさの変化の割合と、予め設定された姿勢パターンとを比較することにより、前記人物の姿勢を認知する姿勢認知手順とを有することを特徴とする姿勢変化検出方法。
【請求項５】
前記前記姿勢認知手順により得られる前記人物の姿勢情報を、前記撮像手段により撮影された画像に合成して表示する画面を生成する画面生成手順を有することを特徴とする請求項４に記載の姿勢変化検出方法。
【請求項６】
前記姿勢認知手順により得られる前記人物の姿勢の時間的な変化から、前記人物が不審者であるか否かを検知する不審者検知手順を有することを特徴とする請求項４又は５に記載の姿勢変化検出方法。
【請求項７】
撮影された映像に含まれる人物の画像領域の時間的な変化から、前記人物の姿勢の変化を検出する姿勢変化検出処理をコンピュータに実行させるための姿勢変化検出プログラムにおいて、
コンピュータを、
前記映像を撮像して時系列の画像を得る撮像手段、
前記撮像手段で得られる時系列の各画像から１又は複数の人物を検出する人物検出手段、
前記人物検出手段により検出された追跡対象となる人物の身長を推定する身長推定手段、及び、
前記身長推定手段により得られる前記画像上における人物の縦及び横の大きさの変化の割合と、予め設定された姿勢パターンとを比較することにより、前記人物の姿勢を認知する姿勢認知手段として機能させるための姿勢変化検出プログラム。
【請求項８】
前記前記姿勢認知手段により得られる前記人物の姿勢情報を、前記撮像手段により撮影された画像に合成して表示する画面を生成する画面生成手段を有することを特徴とする請求項７に記載の姿勢変化検出プログラム。
【請求項９】
前記姿勢認知手段により得られる前記人物の姿勢の時間的な変化から、前記人物が不審者であるか否かを検知する不審者検知手段を有することを特徴とする請求項１又は２に記載の姿勢変化検出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−２３７８７３（Ｐ２０１０−２３７８７３Ａ）
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願番号】特願２００９−８３６６５（Ｐ２００９−８３６６５）
【出願日】平成２１年３月３０日（２００９．３．３０）
【出願人】（０００２０２３６１）綜合警備保障株式会社 (266)
【Ｆターム（参考）】
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願日】平成２１年３月３０日（２００９．３．３０）
【出願人】（０００２０２３６１）綜合警備保障株式会社 (266)
【Ｆターム（参考）】
[ Back to top ]