人物同定装置、人物同定方法、及び人物同定プログラム
【課題】画像に含まれる人物の状況に応じて高精度に人物の同定を行う。
【解決手段】異なる時間に撮影された映像に含まれる人物を同定する人物同定装置１０において、前記人物の同定要素を抽出する同定要素抽出手段１５と、前記同定要素抽出手段により得られた特徴量から予め設定された撮影条件に応じて既に設定されている同定要素から使用しない同定要素を選択する同定要素選択手段１６と、前記同定要素選択手段により得られた同定要素を用いて前記人物の同定を行う同定手段１７とを有する。
【解決手段】異なる時間に撮影された映像に含まれる人物を同定する人物同定装置１０において、前記人物の同定要素を抽出する同定要素抽出手段１５と、前記同定要素抽出手段により得られた特徴量から予め設定された撮影条件に応じて既に設定されている同定要素から使用しない同定要素を選択する同定要素選択手段１６と、前記同定要素選択手段により得られた同定要素を用いて前記人物の同定を行う同定手段１７とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物同定装置、人物同定方法、及び人物同定プログラムに係り、特に画像に含まれる人物の状況に応じて高精度に人物の同定を行うための人物同定装置、人物同定方法、及び人物同定プログラムに関する。
【背景技術】
【０００２】
従来、カメラ等の撮像手段により撮影された画像や映像を用いて人物を検出し、その人物が誰であるかを顔認証により同定する手法や、人物を追跡する際に、時系列に得られる画像群からその人物が移動したものであるか、又は他の人物であるかを判定し、人物を同定する手法が知られている（例えば、特許文献１，２参照。）。
【０００３】
上述の特許文献１では、人物の顔の３次元形状及びその表面の画像を検出し、顔の３次元形状及びその表面の画像と問合せ顔画像データとを照合し、その人物を同定する顔照合方法において、問合せ顔画像データの撮影条件を推定し、撮影条件と３次元形状及びその表面の画像によりグラフィクス手段を利用して照合用顔画像データを生成し、照合用顔画像データと問合せ顔画像データを比較し、問合せ顔画像データが、照合用顔画像データとの差異が小さい場合には照合用顔画像データの人物のものであると同定する手法が示されている。
【０００４】
また、上述の特許文献２では、音声と対応付けられた画像を用いた人物同定方法であって、第１の画像中に写っている顔と、第２の画像に写っている顔とが同一人物かどうかを判定する第１の判定工程と、第１及び第２の画像に付随している音声が同一人物のものであるかどうかを判定する第２の判定工程と、第１の判定工程あるいは第２の判定工程のいずれかにより同一人物と判定された画像を、同一の人物であると判定する第３の判定工程とを有する人物同定方法が示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−２８３２２４号公報
【特許文献２】特開２０００−７６４５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した手法の場合には、顔認証を用いて誰なのかを判定し、人物を同定することになるが、撮影された画像又は映像では、常に顔が映っているとは限らない。つまり、画像による犯罪の予兆察知として、画像上の人物を追跡しなければならず、不審かどうかは、対象の人物によって変化するため、顔の向きに関係なく、常に動作等を追跡しておく必要があり、撮影された画像に含まれる撮影状況に応じた同定手法が必要となる。
【０００７】
本発明は、上記の問題点に鑑みてなされたものであって、画像に含まれる人物の状況に応じて高精度に人物の同定を行うための人物同定装置、人物同定方法、及び人物同定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【０００９】
本発明では、異なる時間に撮影された映像に含まれる人物を同定する人物同定装置において、前記人物の同定要素を抽出する同定要素抽出手段と、前記同定要素抽出手段により得られた特徴量から予め設定された撮影条件に応じて既に設定されている同定要素から使用しない同定要素を選択する同定要素選択手段と、前記同定要素選択手段により得られた同定要素を用いて前記人物の同定を行う同定手段とを有することを特徴とする。これにより、画像に含まれる人物の状況に応じて高精度に人物の同定を行うことができる。
【００１０】
また本発明では、前記同定手段は、前記同定要素選択手段により選択された同定要素に対するそれぞれの重み付けを、現在の重み付けの比率に対応させて再設定することを特徴とする。
【００１１】
また本発明では、前記同定要素抽出手段は、前記同定要素として、歩容、体型、性別を特徴量として抽出し、前記歩容は、歩幅、歩調、歩速、歩速の標準偏差、歩行加速度の標準偏差、体の傾き、及び脚長のうち、少なくとも１つを有することを特徴とする。
【００１２】
また本発明では、前記同定手段により前記人物と同一人物であると同定された場合には、前記人物を追跡する追跡手段と、前記追跡手段における追跡結果から不審者を検出する不審者検出手段と、前記追跡結果を表示する画面を生成する画面生成手段とを有することを特徴とする。
【００１３】
更に本発明では、異なる時間に撮影された映像に含まれる人物を同定する人物同定方法において、前記人物の同定要素を抽出する同定要素抽出手順と、前記同定要素抽出手順により得られた特徴量から予め設定された撮影条件に応じて既に設定されている同定要素から使用しない同定要素を選択する同定要素選択手順と、前記同定要素選択手順により得られた同定要素を用いて前記人物の同定を行う同定手順とを有することを特徴とする。これにより、画像に含まれる人物の状況に応じて高精度に人物の同定を行うことができる。
【００１４】
また本発明では、前記同定手順は、前記同定要素選択手順により選択された同定要素に対するそれぞれの重み付けを、現在の重み付けの比率に対応させて再設定することを特徴とする。
【００１５】
また本発明では、前記同定要素抽出手順は、前記同定要素として、歩容、体型、性別を特徴量として抽出し、前記歩容は、歩幅、歩調、歩速、歩速の標準偏差、歩行加速度の標準偏差、体の傾き、及び脚長のうち、少なくとも１つを有することを特徴とする。
【００１６】
また本発明では、前記同定手順により前記人物と同一人物であると同定された場合には、前記人物を追跡する追跡手順と、前記追跡手順における追跡結果から不審者を検出する不審者検出手順と、前記追跡結果を表示する画面を生成する画面生成手順とを有することを特徴とする。
【００１７】
更に本発明では、異なる時間に撮影された映像に含まれる人物を同定する人物同定装置における人物同定プログラムにおいて、コンピュータを、前記人物の同定要素を抽出する同定要素抽出手段、前記同定要素抽出手段により得られた特徴量から予め設定された撮影条件に応じて既に設定されている同定要素から使用しない同定要素を選択する同定要素選択手段、及び、前記同定要素選択手段により得られた同定要素を用いて前記人物の同定を行う同定手段として機能させる。これにより、画像に含まれる人物の状況に応じて高精度に人物の同定を行うことができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における人物同定処理を容易に実現することができる。
【００１８】
また本発明では、前記同定手段は、前記同定要素選択手段により選択された同定要素に対するそれぞれの重み付けを、現在の重み付けの比率に対応させて再設定することを特徴とする。
【００１９】
また本発明では、前記同定要素抽出手段は、前記同定要素として、歩容、体型、性別を特徴量として抽出し、前記歩容は、歩幅、歩調、歩速、歩速の標準偏差、歩行加速度の標準偏差、体の傾き、及び脚長のうち、少なくとも１つを有することを特徴とする。
【００２０】
また本発明では、前記同定手段により前記人物と同一人物であると同定された場合には、前記人物を追跡する追跡手段と、前記追跡手段における追跡結果から不審者を検出する不審者検出手段と、前記追跡結果を表示する画面を生成する画面生成手段とを有することを特徴とする。
【発明の効果】
【００２１】
本発明によれば、画像に含まれる人物の状況に応じて高精度に人物の同定を行うことができる。
【図面の簡単な説明】
【００２２】
【図１】本実施形態における人物同定装置の概略構成の一例を示す図である。
【図２】人物の歩き方の一例を示す図である。
【図３】歩容特徴量を算出する際の基準となる値を示す図である。
【図４】肥満度の算出例を説明するための図である。
【図５】本実施形態における人物同定に用いられる特徴量と対応する抽出要素の内容を説明するための図である。
【図６】本実施形態における状態判定の一例を示す図である。
【図７】特徴量の重みを調整した例を示す図である。
【図８】日照変化に強いパラメータを用いた背景差分法を説明するための図である。
【図９】人物の存在を考慮した統計的背景差分法について説明するための図である。
【図１０】追跡画面の一例を示す図である。
【図１１】本実施形態における人物同定処理が実現可能なハードウェア構成の一例を示す図である。
【図１２】本実施形態における人物同定処理手順の一例を示すフローチャートである。
【図１３】人物同定処理手順を示す一例のフローチャートである。
【発明を実施するための形態】
【００２３】
＜本発明について＞ 本発明は、人間が人物を認定する際の処理のように、複数の曖昧な同定要素（身長、体型、歩き方、性別、歩容等）を組み合わせて、人物を同定する手法を構築する。具体的には、本発明では、撮影された画像や人物の撮影状況に応じて適切な同定要素を選択し、その選択された条件に基づいて同定処理を行う。
【００２４】
つまり、本発明は、特徴から人物を同定する際に、不適切な特徴を使用せずに最適な特徴を選択する。具体的には、人物の状態（立ち止まっているか、歩いているか、日照変化があったかどうか等）を判定し、その結果に基づいて各種特徴量（歩幅、歩く速度、服の色情報、顔認証の結果等、画像処理によって抽出できる人物に関する特徴量）を人物同定に使用するかどうかを判定する。使用すると判定された特徴量についてのみ分離度を算出し、その分離度に基づいて重み付けをし、人物同定への特徴量毎の寄与率を変化させる。これにより、状況に応じた特徴量の取捨選択を行う。
【００２５】
以下に、本発明における人物同定装置、人物同定方法、及び人物同定プログラムを好適に実施した形態について、図面を用いて説明する。
【００２６】
＜人物同定装置の概略構成例＞ 図１は、本実施形態における人物同定装置の概略構成の一例を示す図である。図１に示す人物同定装置１０は、入力手段１１と、出力手段１２と、蓄積手段１３と、人物検出手段１４と、同定要素抽出手段１５と、同定要素選択手段１６と、同定手段１７と、追跡手段１８と、不審者検出手段１９と、画面生成手段２０と、通知手段２１と、送受信手段２２と、制御手段２３と、撮像手段２４とを有するよう構成されている。なお、送受信手段２２には、所定の領域を撮影するカメラ等の撮像手段２４が接続されており、撮像手段２４により撮影された映像に含まれる時系列の各画像を取得することができる。また、撮像手段２４は、人物同定装置１０と一体に構成されていてもよい。
【００２７】
入力手
段１１は、使用者等からの人物検出指示や、同定要素抽出指示、同定要素選択指示、同定指示、追跡指示、不審者検出指示、画面生成指示、通知指示、送受信指示等の各種指示を受け付ける。なお、入力手段１１は、例えばキーボードや、マウス等のポインティングデバイス、マイク等の音声入力デバイス等からなる。
【００２８】
出力手段１２は、入力手段１１により入力された指示内容や、各指示内容に基づいて生成された制御データや人物検出手段１４、同定要素抽出手段１５、同定要素選択手段１６、同定手段１７、追跡手段１８、不審者検出手段１９、画面生成手段２０、通知手段２１、送受信手段２２等の各構成により実行された経過又は結果により得られる各種情報の内容を表示したり、その音声を出力する。なお、出力手段１２は、ディスプレイ等の画面表示機能やスピーカ等の音声出力機能等を有する。
【００２９】
蓄積手段１３は、上述した本実施形態を実現するための様々な情報を蓄積することができ、必要に応じて読み出しや書き込みが行われる。具体的には、蓄積手段１３は、人物検出手段１４における人物検出結果や、同定要素抽出手段１５における同定要素抽出結果、同定要素選択手段１６における同定要素選択結果、同定手段１７における同定結果、追跡手段１８における追跡結果、不審者検出手段１９における不審者検出結果、画面生成手段２０における生成した画面情報、通知手段２１により通知される内容や今までに通知された内容、送受信手段２２により送受信された内容、制御手段２３により制御された情報、エラー発生時のエラー情報、ログ情報、本発明を実現するためのプログラム等の各情報が蓄積される。
【００３０】
人物検出手段１４は、カメラ等の撮像手段２４等により撮影された映像を取得し、その取得した映像に含まれる時系列の各画像のうち、所定の画像（各フレーム画像や数フレーム分の間隔を空けた画像等）について１又は複数の人物の顔を検出する。なお、人物検出手段１４は、例えば連続する画像フレーム同士を比較して、色（輝度、色度等）が所定時間内に変化する場所が存在し、更にその場所が所定の領域以上のものを人物として検出する。
【００３１】
また、他の人物検出手法としては、例えば、エッジ等を用いて人の形状にマッチする領域を抽出する手法や、熱画像を用いて背景とは異なる熱源を人体領域とする手法、複数のカメラを用いて形状や大きさを認識し人らしい物体を検出する手法、人の動き（歩いている様子）等に対してシルエット画像等を用いて事前に学習することで人体を検出する手法等も用いることができる。なお、人物検出手段１４における人物検出手法については、本発明においてはこれに限定されない。
【００３２】
同定要素抽出手段１５は、撮像手段２４等により得られる映像（画像）から同定要素を抽出する。なお、本実施形態における同定要素としては、例えば歩容、体型、性別等があり、それぞれを人物同定のパラメータとしてその特徴量を抽出する。なお、具体的な抽出手法については、後述する。
【００３３】
同定要素選択手段１６は、同定手段１７において前後のフレームでそれぞれ検出された人物が同一か否かを判定するための判定基準として用いられる種別を選択する。具体的には、同定要素選択手段１６は、予め設定された少なくとも１つの同定要素に対して、撮像手段２４により撮影された時間や場所、人物の映り具合（顔が映っているか、全身が撮影されているか等）に応じて予め設定された同定要素の一部を使用しないようにする。なお、同定要素選択手段１６は、上述した条件に応じて同定要素を新たに抽出するようにしてもよい。
【００３４】
つまり、同定要素選択手段１６は、各特徴量が有効であるか否かの状態判定を行い、人物の状態によって、ある特徴量が有効ではないと判定された場合に、それ以降の同定処理において、その特徴量を使用しないようにすることができる。例えば、同定要素選択手段１６は、昼と夜とで人物同定を行う場合のように、照明条件が変化したら、服の色や髪の色が変わってしまうため、そのような色情報は使用しないようにする。なお、同定要素選択手段１６についての具体的な説明については後述する。
【００３５】
同定手段１７は、同定要素抽出手段１５により抽出された同定要素と、同定要素選択手段１６により選択された内容とに基づいて、異なる時間に撮影された映像から抽出された２つの画像から検出される１又は複数の人物に対して、同一人物が含まれているか否かの同定処理を行う。
【００３６】
具体的には、同定手段１７は、その画像の状況に応じた特徴量の取捨選択手法により適切なパラメータを用いて人物の同定を行う。例えば、同定手段１７は、人物の状態（立ち止まっているか、歩いているか、日照変化があったかどうか等）を判定し、その結果に基づいて各種特徴量（歩幅、歩く速度、服の色情報等）を人物同定に使用するかどうかを判定する。
【００３７】
また、同定手段１７は、使用すると判定された特徴量についてのみ分離度を算出し、その分離度に基づいて重み付けを行い、人物同定への特徴量毎の寄与率を変化させる。つまり、同定手段１７は、同定要素選択手段１６により選択された同定要素に対するそれぞれの重み付けを、現在の重み付けの比率に対応させて再設定する。これにより、状況に応じた特徴量を用いた人物判定を行うことができる。
【００３８】
追跡手段１８は、撮像手段２４から得られる映像を撮像して時系列の画像から同一の人物の挙動を追跡する。また、追跡手段１８は、画像中に含まれる人物領域の足、頭の位置とその特徴から人物を追跡し、同一として判断できる人物の大きさが変化した場合、人物の一部が、建物等で隠蔽されたか否かを判断する。
【００３９】
なお、隠蔽される人物の一部とは、例えば下半身や上半身、頭、腕、胴体等である。つまり、本実施形態では、少なくとも１度画面上で足のつま先から頭部までの人体の身長に関する情報が取得できた場合、その後、頭及び足の両方が同時に隠蔽されていなければ、その頭又は足の次の時系列画像における移動範囲が所定された範囲内であり、色情報が同じであれば、同一人物と見なして隠蔽部分に人物がいると推定して、その人物を追跡することができる。また、追跡手段１８は、画像中に表示されている１又は複数の人物を経時的に追跡する。
【００４０】
更に、追跡手段１８には、人物領域を推定する機能も設けられている。具体的には、追跡手段１８は、人物領域の推定として、画像中に存在する人体に関してその外領域からなり、人物がその領域枠内に存在することを画面上で認識させ易くするための人物領域を推定する。
【００４１】
また、追跡手段１８は、人物領域の推定として、例えば遮蔽物により人物の一部で隠蔽されている部分が存在すると判断された場合に、正しい人体の領域を推定する。この場合、追跡手段１８は、隠蔽されている人体部分の外形（シルエット）又は領域を画面上に表示させる。これにより、隠蔽物により画像上に表示されていない人物のいる位置を正確に把握することができる。
【００４２】
また、追跡手段１８は、画像中に存在する人物を経時的に追跡する場合には、人物の向き、姿勢、今までの行動から次の動作可能範囲を推測することができる。この場合、追跡手段１８は、その人物が次に動作できる最大の範囲の外枠をフレーム化して画像に合成するための情報を生成する。
【００４３】
不審者検出手段１９は、追跡手段１８で得られる追跡結果等により、予め設定され蓄積手段１３等に蓄積されている時系列の挙動データ等と比較することで、撮像手段２４により撮影された人物が不審者である場合に検出を行う。また、追跡手段１８は、追跡している人物が遮蔽物に隠れたり、カメラを所定時間以上、気にしてみていたり、キョロキョロしている等の不審行動がある場合には、その人物を不審者として検出する。追跡手段１８は、検出された不審者情報を、通知手段に通知する。
【００４４】
例えば、不審者検出手段１９は、追跡対象人物が遮蔽物に隠れたり、カメラを所定時間以上気にしてみていたり、キョロキョロしていたり、長時間滞在している等の不審行動が少なくとも１つある場合には、その人物を不審者として検出する。更に、不審者検出手段１９は、追跡対象人物がマスクをしていたり、サングラスをかけていることで、顔を隠している場合にも不審者として検出する。また、不審者検出手段１９は、検出された不審者情報を、通知手段２１に通知する。
【００４５】
画面生成手段２０は、撮像手段２４により撮影された映像を表示する画面を生成する。また、画面生成手段２０は、追跡手段１８により推定された人物領域を現在撮像手段２４２等により取得した映像に含まれる時系列の画像中に反映させる。具体的には、画面生成手段２０は、人物領域と推定された領域の外側をフレーム化し、撮影された映像に合成して、出力手段１２により表示させる。また、画面生成手段２０は、画面生成により得られた画像をディスプレイ等の出力手段１２に表示される。このとき、画面生成手段２０は、例えば人物領域のフレームの位置情報を数値化したもの等を画面上に表示させることができる。
【００４６】
また、画面生成手段２０は、人物を追跡している場合に必要となる経時的な人物の移動範囲も推定して画面上に表示させることができる。更に、画面生成手段２０は、予め設定される不審者の行動パターンに該当する場合には、その旨の内容を通知するための画面を生成する。なお、画面生成に必要な各種情報は、蓄積手段１３に予め蓄積されている情報等から必要な情報を適宜読み出して使用することができる。また、生成した画面は、ディスプレイやスピーカ等を有する出力手段１２により音声等と共に出力する。
【００４７】
通知手段２１は、不審者検出手段１９により得られる不審者として検出された画像と、その画像に関する情報（検出日時、検出場所、その前の所定時間分の映像）を画面生成手段２０により生成させて、表示させる。また、通知手段２１は、そのような不審行動検出における問題発生信号に対応させて、管理者や警備会社におけるそのビルの担当警備員、監視員、代表責任者等に通知を行うアラート機能を有する。
【００４８】
送受信手段２２は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等の通信ネットワーク等を介して１又は複数の撮像手段２４からの監視映像を受信する。なお、送受信手段２２は、撮像手段２４から直接監視映像を受信しなくてもよく、例えば予め撮像手段２４で取得した映像をどこかに一時的に保存しておき、その保存された情報を用いて本実施形態における人物同定を行ってもよい。また、送受信手段２２は、人物同定装置１０を構成する他の端末に送信したり、他の端末から各種データを受信するための通信インタフェースとして用いることができる。
【００４９】
制御手段２３は、人物同定装置１０における各機能構成全体の制御を行う。具体的には、制御手段２３は、入力手段１１により入力された使用者等からの入力情報に基づいて、人物を検出したり、同定要素を抽出したり、同定要素を選択したり、同定処理を行ったり、追跡処理を行ったり、不審者検出処理を行ったり、画面生成を行ったり、通信制御を行ったり、送受信制御を行う等の各種制御を行う。＜同定要素の蓄積＞ ここで、同定要素抽出手段１５における同定要素の抽出内容について説明する。同定要素の蓄積では、本実施形態では、「歩容」、「体型」、「性別」の３つの同定要素を抽出する。
【００５０】
＜歩容＞ 最初に、同定要素の１つである歩容について説明する。一般に人間の歩き方には、個人差があるため、撮影された映像から検出された人物領域から歩き方の特徴を抽出する。図２は、人物の歩き方の一例を示す図である。図２に示すように人物３０が移動する際には、それぞれ特有の歩き方がある。そのため、その特徴量をパラメータ化して同定検出の一要素とすることができる。
【００５１】
＜歩容特徴量について＞ ここで、本実施形態における特徴量については、例えば、「歩幅（Ｐｉｘｅｌ／Ｓｔｅｐ）」、「歩調（Ｓｔｅｐ／Ｍｉｎ）」、「歩速（Ｐｉｘｅｌ／Ｓｅｃ）」、摺足歩行
を検出するための指標「歩速の標準偏差（Ｐｉｘｅｌ）」、「歩行加速度（Ｐｉｘｅｌ／Ｓｅｃ＾２）」、飛び跳ねるように歩いているかを検出するための指標「高さの標準偏差（Ｐｉｘｅｌ）」、歩行時の姿勢を表す「体の傾き（度）」、更に「脚長（Ｐｉｘｅｌ）」等のうち、少なくとも１つを用いることができる。
【００５２】
ここで、上述した各特長量は、以下に示す数式により算出することができる。「歩幅Ｌ（Ｐｉｘｅｌ／Ｓｔｅｐ）」は以下に示す（１）式で算出され、「歩調Ｃ（Ｓｔｅｐ／Ｍｉｎ）」は以下に示す（２）式で算出され、「歩速Ｓ（Ｐｉｘｅｌ／Ｓｅｃ）」は以下に示す（３）式で算出され、「歩速の標準偏差ｓｓ（Ｐｉｘｅｌ）」は以下に示す（４）式で算出され、「歩行加速度Ａ（Ｐｉｘｅｌ／Ｓｅｃ＾２）」は以下に示す（５）式で算出され、「高さの標準偏差ＨＳ（Ｐｉｘｅｌ）」は以下に示す（６）式で算出され、「体の傾き（度）θ」は以下に示す（７）式で算出され、「脚長ＬＬ（Ｐｉｘｅｌ）」は以下に示す（８）式で算出される。なお、（１）式〜（８）式において、Ｍは幅ｗが極大となるフレーム総数、Ｎは総フレーム数である。
【００５３】
【数１】
また、図３は、歩容特徴量を算出する際の基準となる値を示す図である。
【００５４】
図３と上述した（１）〜（８）式との関係において、ｈは人物の身長（画像上の高さ）を示し、ｗは幅（画像上の幅）を示し、Ｌｌは左足の長さを示し、Ｌｒは右足の長さを示し、θは地面に対して垂直な軸に対する傾きを示し、Ｈは人物頭部の重心位置を示し、Ｇは人物領域の重心位置を示し、ｂｘは人物３０の左右の足の位置の中心から人物３０の進行方向に対する画像フレーム３１までの距離を示し、ｂｙは地面から垂直方向の画像フレーム３１までの距離を示している。
【００５５】
更に、ｍｊは幅ｗを極大にする全てのフレームを示し、ｔｉはフレームｉが撮影された時刻を示し、ｘｉはフレームｉにおけるｂｘ，ｂｙをそれぞれ示している。
【００５６】
同定要素抽出手段１５は、これらの数式より算出された値を歩容特徴量とする。なお、上述した歩容特徴量のうち、特に「身長」、「脚長」、「歩速」、「歩幅」の順に同定の能力が高い。また、「体の傾き」については、分離度は低かったものの、歩行動画上で目視確認した際には、明らかに前傾姿勢で歩いている人物については、有意な差を示す。そのため、人物同定の際に、数人に絞り込んだ後に適用する等、状況によっては有効な特徴量であることがわかる。
【００５７】
＜体型、性別について＞ 次に、同定要素の１つである体型について説明する。ここでは、人物を「痩せ」、「普通」、「肥満」の３種類に分類する。なお、男女によって判定基準が違うため、「性別」の判定も併せて行うのが好ましい。
【００５８】
ここで、事前の実験より、体型判定の際には、例えば胸部、腹部、臀部、体の厚み、体の丸み、足の細さ等に注目していることがわかった。これより、胸部・腹部のエッジ情報に着目して特徴量「肥満度」を設定する。そして、体型判定の特徴量として、「肥満度」、「縦横比」、物体の伸びている方向を表す「慣性主軸」を用いることとした。また、性別の判定については男女で最も差異があると思われる胸部の影響を考慮し、「縦横比」、「慣性主軸」と、「２次モーメント」を用いることとした。
【００５９】
ここで、図４は、肥満度の算出例を説明するための図である。肥満度は、例えば図４（ａ）〜（ｃ）に示すように、画像上のエッジを検出すると同時にそのエッジの方向成分を算出し、その後、Ｋｉｒｓｃｈフィルタを適用し、各方向毎のエッジ数を算出する。
【００６０】
したがって、具体的には、以下に示す（９）式により肥満度を算出する。
【００６１】
【数２】
なお、上述した（９）式において、Ｅｘはｘ度方向のエッジ数を示し、ｗは人物幅を示している。
【００６２】
また、上半身についての人物幅の平均値を人物上半身の長さで割ったものである縦横比率は以下に示す（１０）式で算出することができ、二次モーメント・慣性主軸は画像Ｉ（ｘ，ｙ）についての（ｍ＋ｎ）次のモーメンドをμｍｎとすると、以下に示す（１１）式のようになり、二次モーメント及び慣性主軸は以下に示す（１２），（１３）式で算出される。
【００６３】
【数３】
なお、上述した（１０）式において、ｈは人物の高さを示している。また、性別については、画像中の顔画像から顔の特徴量を抽出して予め設定されている男女別の特徴パラメータと比較して判定するか、画像から体全体のライン等の特徴量を抽出して予め設定されている男女別の特徴パラメータと比較すること等により、男女判定を容易に行うことができる。
【００６４】
＜同定手段１７における同定手法＞ 次に、同定手段における同定手法について図を用いて説明する。これまでの同定手法は、複数の特徴量を単純に合成し、1つの特徴量として判定を行っていた。しかしながら、一部の特徴量にノイズやばらつきが存在した場合に、誤判定をしてしまう可能性が高い。また、例えば体の部分隠れによって身長が変化した場合等には、そもそも特徴量が意味を持たなくなってしまう場合がある。
【００６５】
また、特徴量毎に人物の分類能力が違うため、単純に合成するだけでは判定の精度が下がってしまうという問題があった。これらの問題は、今後扱う特徴量が増加すればする程その影響が大きくなると思われる。そこで、本実施形態では、上述の問題を解決すべく、「同定に用いられる特徴量」、「特徴量の取捨選択条件」、「人物判定」を以下に示す内容で行う。
【００６６】
＜同定に用いる特徴量について＞ 図５は、本実施形態における人物同定に用いられる特徴量と対応する抽出要素の内容を説明するための図である。図５に示すように、特徴量名は「歩幅」、「歩速」、「脚長」、「歩行姿勢」、「髪の色」、「服の色」、「体型」、「性別」、「身長」等のうち、少なくとも１つを用いることとし、その特徴量に対応する図５に示す抽出要素を用いて人物同定を行う。例えば、図５に示すように特徴量が「歩幅」であれば、その抽出要素は人物矩形横幅のピーク値の平均値である。また、「性別」であれば、その抽出要素は人体領域の縦横比、慣性主軸、２次モーメントとなる。
【００６７】
＜特徴量の取捨選択条件について＞ 次に、上述した従来の課題である一部の特徴量にノイズやばらつきが存在した場合に、誤判定をしてしまう可能性が高く、また、例えば体の部分隠れによって身長が変化した場合等には、そもそも特徴量が意味を持たなくなってしまう場合についての対応を行うために特徴量の取捨選択を行う。つまり、上述の問題に対応するために、各特徴量が有効であるかどうかの状態判定を行う。この状態判定において、人物の状態によって、ある特徴量が有効ではないと判定された場合、それ以降の同定処理に当該特徴量は使用しない。例えば、昼から夜になった場合のように、照明条件が変化したら、服の色や髪の色が変わってしまうため、正しい同定が行われない。したがって、上述のような場合には、色情報等は使用しないようにする。
【００６８】
ここで、図６は、本実施形態における状態判定の一例を示す図である。図６に示すように、「状態判定」とその「判定方法」、判定の結果該当する場合に「無効とする特徴量」について記載されている。なお、図６に示す判定条件は、予め蓄積手段１３等に蓄積されている。
【００６９】
例えば、図６において、「状態判定」として、撮影されるカメラに対して縦方向、斜め方向に移動しており、「判定方法」として、そのときの予め設定されたＹ方向の位置情報の変化がある場合には、上述した同定要素抽出手段１５で取得した特徴量のうち、歩幅・脚長・歩行姿勢・体型・性別を「無効とする特徴量」とする。
【００７０】
また、「状態判定」として、立ち止まっているという判断は、経時的に見た人物の位置情報の変化により確認することができ、「判定方法」として、位置情報が変化している場合には、歩速を「無効とする特徴量」とする。
【００７１】
また、「状態判定」として、日照変化が大きいという判断は、監視領域の平均輝度値の変化により確認することができ、輝度平均値の変化が所定量以上の場合に、色情報を「無効とする特徴量」とする。なお、本実施形態で用いられる日照変化に強いパラメータを用いた背景差分例については後述する。
【００７２】
更に、「状態判定」として、ノイズによって値が大きく変化という判断は、特徴量毎に閾値を決める際にその閾値に基づくノイズの結果によって確認することができ、その場合には、該当する特徴量を「無効とする特徴量」とする。
【００７３】
このように、本実施形態を用いることで、これまでは同定することが不可能、若しくは精度が著しく低下していた一部の特徴量がノイズによって異常値になった場合や、そもそも特徴量としての意味を持たなくなった場合にも、高精度に同定を行うことが可能となる。
【００７４】
＜人物判定手法＞ 次に、本実施形態における人物判定手法について図を用いて説明する。上述した特徴量毎に人物の分類能力が異なり、単純に判定条件を合成するだけでは判定の精度が低下してしまう。そこで、この問題に対処するため、従来では登録された人物情報に記録された各人物の持つ各特徴量の平均値と、入力データの各特徴量との単純距離を用いて判定を行っていた。
【００７５】
しかしながら、特徴量毎に同定への寄与率が異なるため、単純に合成すると、判定の精度が下がってしまう可能性がある。そこで、距離の算出の際に同定への寄与率にしたがい、重みを付与して算出することにした。
【００７６】
具体的には、登録された人物の特徴量を用いて、特徴量毎に、分離度を算出して人物の分類能力の指標とし、分離度に従い重みを付与して距離を算出する。算出された距離が最も小さくなる人物を判定結果とする。また、一部の特徴量が有効でないと判断された場合は、当該特徴量の重みを０にし、重みを算出し直すことで、高精度な人物判定が可能となる。
【００７７】
ここで、図７は、特徴量の重みを調整した例を示す図である。図７に示すように、登録情報として身長、服の色、髪の色、歩幅が設定され、それぞれの重み付けが合計を１００％として５０％，５％，１５％，３０％であった場合、例えばＡさんの判定で、昼と夜とで判断する場合、図６に示す日照変化に該当するため、身長と歩幅のみの特徴で人物判定が行われる。したがって、選択された同定要素に対するそれぞれの重み付けを、現在の重み付けの比率に対応させて再設定を行う。具体的には、今まで５０％，３０％であった身長と歩幅の重みを、それぞれ６２．５％，３７．５％に設定する。これにより、日照等の変化による影響を受けずに人物判定を行うことができ、認証の精度を向上させることができる。なお、本実施形態の人物判定で用いられる日照変化における人物抽出の具体例については後述する。
【００７８】
次に、上述した本実施形態における状態判定の処理も含めた距離算出例について説明する。ここで、分離度については、一般的な統計量として、クラス内分散が小さい場合に、各クラス内の要素がクラスの平均値近くに密集しており、クラス間分散が大きい場合に、各クラスの要素が全体の平均値から離れて存在する。これにより、分離度が大きければ各クラスが分離されているということができる。
【００７９】
そこで、全体平均をｍｉ，クラスｎ内平均をｍｎ，全体分散をσｔ２，クラスｎ内分散をσｎ２，クラスｎデータ数をωｎとした場合に、クラス間分散σｂ２は以下に示す（１４）式のようになり、クラス内分散σｗ２は以下に示す（１５）式のようになり、分離度は以下に示す（１６）式のようになる。
【００８０】
【数４】
また、距離算出方法は、以下に示す（１７）式で算出することができる。
【００８１】
【数５】
なお、上述した（１７）式において、Ｄａは人物ａまでの重み付け距離を示し、Ｓｔは特徴量ｔの分離度を示し、ｄｔは特徴量ｔに関しての人物ａまでの単純距離（但し、特徴量ｔに関しては状態判定部にて使用しないとされたものを除く。）を示している。
【００８２】
＜日照変化における人物抽出＞ ここで、上述した日照変化における具体的な人物抽出として、日照変化に強いパラメータを用いた背景差分法について説明する。図８は、日照変化に強いパラメータを用いた背景差分法を説明するための図である。
【００８３】
従来手法である背景差分法は、輝度情報を用いているため、照明条件の変化が少ない環境下では有効であったが、日照変化等を伴う環境では誤検出が多発するという課題があった。また、背景か変化領域であるか否かを判定する閾値が必要となるため、検出結果が閾値設定者に依存するといった問題があった。
【００８４】
そこで、本実施形態では、まず背景差分に用いるパラメータの選定を行い、ＲＧＢベクトル（色ベクトル）を用いる。ここで、ＲＧＢベクトルとは、図８（ａ）に示すように色情報（Ｒ，Ｇ，Ｂ）をベクトルとして扱った明るさの変化に鈍感なパラメータである。つまり、以下に示す（１８）式から計算される背景画像と現画像のベクトルのなす角を変化量とするため、明るさの変化に影響されにくく、背景と異なる色構成をもつ領域のみ抽出することができる。
【００８５】
【数６】
なお、上述した（１８）式においてｖｘは背景画像の画素位置（ｉ，ｊ）におけるＲＧＢ成分を示し、ｗｘは現画像の画素位置（ｉ，ｊ）におけるＲＧＢ成分を示している。
【００８６】
また、背景差分法に統計的背景差分法を用いることで、確率的に変化画素の有無を判定し、閾値の設定を不必要とした。これにより、閾値設定者による検出結果の違いを排除した。なお、図８（ａ）は、人物領域のＲＧＢベクトルを示し、図８（ｂ）は背景領域のＲＧＢベクトルを示し、図８（ａ），（ｂ）により画素（ｉ，ｊ）におけるＲＧＢ空間上のベクトルのなす角を説明している。なお、図８（ｂ）には、現画像について、明るさの変化によるベクトルの変化方向が示されている。
【００８７】
また、図８（ｃ），（ｄ）は、明暗の違いによる画素（ｉ，ｊ）におけるＲＧＢ空間上のベクトルのなす角の違いを示し、図８（ｃ）は明るい映像の場合を示し、図７（ｄ）は暗い映像場合を示している。
【００８８】
ここで、上述したＲＧＢベクトルを用いた背景差分は、画素を構成する色要素（Ｒ，Ｇ，Ｂ）からベクトル角度を計算するという特性上、図８（ｃ）に示すような明るい映像の場合には、画素位置（ｉ，ｊ）において、前画像と現画像とで背景画像とのベクトル角度が変化した変化量△θ（＝α−β）は十分小さくなる。しかしながら、図８（ｄ）に示すように小さなベクトル（輝度の低い画素）は、ノイズがのる等、些細な変化にも敏感にベクトル角度が大きく変化してしまい、その変化量△θ（＝α−β）は無視できない大きさになることから、暗い映像にて誤検出が多くなる可能性がある。そのため、本実施形態では、ベクトルの大きさに応じて、ノイズによる影響の度合いを推定して差分を行う。
【００８９】
＜人物の存在を考慮した統計的背景差分法＞ 次に、人物の存在を考慮した統計的背景差分法について説明する。図９は、人物の存在を考慮した統計的背景差分法について説明するための図である。なお、図９（ａ）は、画像中の人物位置から実空間上の位置への変換の様子を示し、図９（ｂ）は、人物の存在を考慮した統計的背景差分法を示している。
【００９０】
従来の統計的背景差分法では、初期学習時に画像中の各画素において、背景となる輝度値Ｉ（０〜２５５）に対する出現確率を算出している。そして、学習後に入力された画像中の各画素について、求めた該当画素の出現確率を参照し、背景であるか変化画素であるかを上述した（１８）式により算出し、その結果から判定している。
【００９１】
しかしながら、学習から長時間経過すると、輝度値が大きく変化してしまい背景と変化領域の分離が行えなくなる課題があった。したがって、随時、背景領域の輝度値（ＲＧＢベクトルのなす角度）の出現確率を更新する必要があり、例えば以下に示す（１９）式を用いる。
【００９２】
【数７】
なお、上述した（１９）式における各変数の定義は、ある画素位置（ｉ，ｊ）において、Ｐ（ｂａｃｋｇｒｏｕｎｄ｜Ｉ）は画素値がＩであったときにその画素位置が背景である確率を示し、Ｐ（ｍｏｂｉｌｅ ｏｂｊｅｃｔ｜Ｉ）は画素値がＩであったときにその画素位置に移動体がいる確率を示し、Ｐ（ｂａｃｋｇｒｏｕｎｄ）及びＰ（ｍｏｂｉｌｅ ｏｂｊｅｃｔ）はその画素位置が背景若しくは移動体である確率を示している。また、この確率は不明であるため、通常０．５の固定値とする。そのため、結果的に分母と分子とで打ち消し合うことになる。
【００９３】
また、Ｐ（Ｉ｜ｂａｃｋｇｒｏｕｎｄ）は背景であることが分かっているときにその画素値がＩである確率を示し、基本的な統計的背景差分では、初期学習時間を設け、その間には背景のみを撮影するという前提により、この確率分布を生成する。また、Ｐ（Ｉ｜ｍｏｂｉｌｅ ｏｂｊｅｃｔ）は移動体であることが分かっているときに、その画素値がＩである確率を示す。なお、この情報も人により着ている服や肌の色が違うため通常分かり得ない、したがって、均等な確率分布を与える。つまり、２５６階調の画像であれば、Ｐ（Ｉ｜ｍｏｂｉｌｅ ｏｂｊｅｃｔ）＝１／２５６となる。
【００９４】
ここで、上述した（１９）式において、Ａ≧１の場合は背景画素とし、Ａ＜１の場合は変化画素とする。本実施形態では、上述した（１９）式において前フレームにて検出された人物位置を考慮した統計的背景差分を行い、人物の追跡を行う。
【００９５】
ここで、具体的には、図９（ａ）に示すように、画像中から得られた人物領域の位置を基に、実空間上におけるカメラとの位置関係を求める。これを応用して、前フレームにおいて抽出された人物領域から、現フレームで現れる人物領域を予測する。
【００９６】
つまり、前フレームで得られた人物領域を実空間上の位置に変換し、現時刻までに移動可能な範囲（人間が所定時間で移動可能な範囲）を求める。更に、求めた移動範囲を画像中の人物領域に逆変換することで、現フレームに現れる人物領域を推定することが可能となる。したがって、推定された画像領域を除く、領域を更新の対象とすることで、背景領域の統計情報を逐次更新することが可能となる。
【００９７】
また、図９（ｂ）に示すように、現画像（ｉ）に対して一般的な統計的背景差分法（ｉｉ）よりも上述した本実施形態の手法（ｉｉｉ）を適用することで、人物領域として現れる変化画素と背景画素との差が明確になっていることが分かる。
【００９８】
＜追跡手段１８における追跡画面＞ 次に、追跡手段１８における追跡画面について図を用いて説明する。図１０は、追跡画面の一例を示す図である。図１０に示すように、追跡画面４０は、映像画面４１と同定検出画面４２と、追跡経過画面４３とを有するように構成されている。
【００９９】
また、映像画面４１や同定検出画面４２には、人物３０に対する領域を縦幅、横幅の矩形で表示した人物領域４４、その人物領域から推定される人物推定情報４５と、その撮影された実際の日時情報４６が示されている。なお、人物推定情報４５は、具体的には、追跡しているか否かの有無、一同定しているか否かの有無、身長、横幅、面積等が表示されている。また、追跡経過画面４３には、映像画面４１を撮影しているカメラ等の撮像手段２４の画角４７と、人物の現在位置４８と、追跡ルート４９と、所定時間経過後（例えば、数秒経過後）の人物３０の移動範囲５０が表示されている。これにより、カメラに対してどの位置からどの方向からきてどの向かっているかを正確に把握することができる。また、この内容から不審者検出手段１９によって、撮影されている人物が不審者か否かの検出を行うことができる。
【０１００】
＜ハードウェア構成例＞ ここで、上述した人物同定装置１０は、上述した機能を有する専用の装置構成により制御を行うこともできるが、各機能をコンピュータに実行させることができる実行プログラム（人物同定プログラム）を生成し、例えば、汎用のパーソナルコンピュータ、サーバ等にその実行プログラムをインストールすることにより、本発明における人物同定処理を実現することができる。
【０１０１】
本実施形態における人物同定処理が実現可能なコンピュータのハードウェア構成例について図を用いて説明する。図１１は、本実施形態における人物同定処理が実現可能なハードウェア構成の一例を示す図である。
【０１０２】
図１１におけるコンピュータ本体には、入力装置５１と、出力装置５２と、ドライブ装置５３と、補助記憶装置５４と、メモリ装置５５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５６と、ネットワーク接続装置５７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【０１０３】
入力装置５１は、使用者等が操作するキーボード及びマウス等のポインティングデバイスを有しており、使用者等からのプログラムの実行等、各種操作信号を入力する。
【０１０４】
出力装置５２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するモニタを有し、ＣＰＵ５６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。
【０１０５】
なお、入力装置５１と出力装置５２とは、例えばタッチパネル等のように一体型の入出力手段であってもよく、この場合には使用者等の指やペン型の入力装置等を用いて所定の位置をタッチして入力を行うことができる。
【０１０６】
ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＣＤ−ＲＯＭ等の可搬型の記録媒体５８等により提供される。プログラムを記録した記録媒体５８は、ドライブ装置５３にセット可能であり、記録媒体５８に含まれる実行プログラムが、記録媒体５８からドライブ装置５３を介して補助記憶装置５４にインストールされる。
【０１０７】
補助記憶装置５４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。
【０１０８】
メモリ装置５５は、ＣＰＵ５６により補助記憶装置５４から読み出された実行プログラム等を格納する。なお、メモリ装置５５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。
【０１０９】
ＣＰＵ５６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置５５により読み出され格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。プログラムの実行中に各種情報等は、補助記憶装置５４から取得することができ、また実行結果等を格納することもできる。
【０１１０】
ネットワーク接続装置５７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果、又は本発明における実行プログラム自体を他の端末等に提供することができる。上述したようなハードウェア構成により、本発明における人物同定処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における人物同定処理を容易に実現することができる。次に、人物同定処理の具体的な内容について説明する。
【０１１１】
＜人物同定処理＞ 次に、本発明における実行プログラム（人物同定プログラム）で実行される人物同定処理手順についてフローチャートを用いて説明する。図１２は、本実施形態における人物同定処理手順の一例を示すフローチャートである。
【０１１２】
図１１において、まずカメラ等の撮像手段により撮影された映像を入力する（Ｓ０１）。次に、その映像に含まれる１又は複数の人物を検知する（Ｓ０２）。ここで、人物を検知した場合に、その人物毎の予め設定された特徴量からなる同定要素を抽出する（Ｓ０３）。また、その後、その人物を追跡していく過程において、その人物の状態を判定し（Ｓ０４）、Ｓ０３の処理で求めた同定要素のうち、使用しない要素を選定する（Ｓ０５）。
【０１１３】
その後、人物同定を行い（Ｓ０６）、その結果や指示に応じてその撮影された人物に対して追跡処理を行う（Ｓ０７）。ここで、追跡の一連又は一部の行動パターンが予め設定される不審者の行動パターン等に該当する場合には、不審者として検出する（Ｓ０８）。Ｓ０８の処理が終了後、画面を生成し（Ｓ０９）、その生成した画面を出力する（Ｓ１０）。
【０１１４】
ここで、追跡を終了するか否かを判断し（Ｓ１１）、追跡を終了しない場合（Ｓ１１において、ＮＯ）、Ｓ０４に戻り、映像に映る同一人物について、以降の処理を行う。また、追跡を終了する場合（Ｓ１１において、ＹＥＳ）、次に人物同定処理を終了するか否かを判断し（Ｓ１２）、人物同定処理を終了しない場合（Ｓ１２において、ＮＯ）、Ｓ０１の処理に戻り、他の人物等を検出して後述の処理を行う。また、人物同定処理を終了する場合（Ｓ１２において、ＹＥＳ）、全体の処理を終了する。
【０１１５】
＜人物同定処理手順：Ｓ０６＞ 次に、上述したＳ０６の処理における人物同定処理手順についてフローチャートを用いて説明する。図１３は、人物同定処理手順を示す一例のフローチャートである。なお、図１３では、その人物の位置検出による追跡の概要を示している。図１３示す人物同定処理では、まず、映像中に含まれる１又は複数の人物（図１３では、人物Ｘ１，・・・，Ｘｎ）を検出したか同かを判断し（Ｓ２１）、検出していない場合（Ｓ２１において、ＮＯ）状態遷移図にしたがって状態を更新する（Ｓ２２）。具体的には、Ｓ２２の処理において、例えば「初期状態→初期状態」、「照合状態→初期状態」、「追跡状態→消失状態」、「消失状態→消失状態ｏｒ退去状態ｏｒ初期状態」、「退去状態→初期状態」等の何れの設定を行う。ここで、「初期状態」とは、追跡情報を格納する領域が、空き領域であることを示している。例えば、追跡可能な人数が３人であった場合、追跡ＩＤ１，ＩＤ２，ＩＤ３という領域が確保され、それぞれが追跡状態や人物情報を保持する。
【０１１６】
また、「照合状態」とは、過去に検出された人物と同一人物か否か、確認中である状態を示している。なお、「照合状態」では、新規の人物若しくは追跡中の人物と同一人物であると判定されると、「追跡状態」に移行する。また、「照合状態」では、安定して検出されない領域、人っぽい動きをしない領域（誤検出と思われる領域）と判定された場合は、「初期状態」に戻る。
【０１１７】
また、「追跡状態」とは、人物を追跡している状態を示している。なお「追跡状態」は、追跡している人物が検出できなくなると、「消失状態」に移行する。また、「消失状態」とは、追跡中の人物が検出できなくなった状態を示している。なお、「消失状態」は、一定時間続いたら、「退去状態」に移行する。また、「消失状態」は、一定時間内に追跡中の人物が再度検出されたら、「追跡状態」に戻る。また、「退去状態」とは、追跡中の人物が、いなくなったと判定された状態を示している。但し、人物が戻ってきた場合（フレームアウトした人物が、再度、フレームインしてきた場合等）には、同定し、追跡を継続できるように追跡情報を一定時間保持しておく。また、「退去状態」とは、一定時間経過すると、情報を破棄し、「初期状態」に戻る。
【０１１８】
また、Ｓ２１の処理において、１又は複数の人物を検出した場合（Ｓ２１において、ＹＥＳ）、初期状態でない人物Ａが既に存在するか否かを判断する（Ｓ２３）。ここで、初期状態でない人物が存在しない場合（Ｓ２３において、ＮＯ）、新規人物として登録状態を「初期状態→照合状態」に更新する（Ｓ２４）。また、初期状態でない人物が存在する場合（Ｓ２３において、ＹＥＳ）、次に人物Ａの移動範囲内であるか否かを判断する（Ｓ２５）。ここで、移動範囲内でない場合（Ｓ２５において、ＮＯ）、上述したＳ２４に示すように登録状態の更新を行う。
【０１１９】
また、Ｓ２５の処理において、人物Ａの移動範囲内である場合（Ｓ２５において、ＹＥＳ）、次に、移動範囲内に複数人いるか否かを判断する（Ｓ２６）。ここで、複数人いる場合（Ｓ２６において、ＹＥＳ）、人物Ａに対して人物Ｘ１，・・・，Ｘｎで人物同定処理を行う（Ｓ２７）。このとき、Ｓ２７の人物同定処理は、映像から選択された静止画を用いて行う。また、Ｓ２７の処理において同定された人物がいるか否かを判断し（Ｓ２８）、同定された人物がいない場合（Ｓ２８において、ＮＯ）、上述したＳ２４に示すように登録状態の更新を行う。
【０１２０】
また、Ｓ２６の処理において、移動範囲内に複数人いない場合（Ｓ２６において、ＮＯ）、又はＳ２８の処理において、同定された人物がいる場合（Ｓ２８において、ＹＥＳ）、人物Ａと人物Ｘｉを同一人物として状態を更新する（Ｓ２９）。これにより、映像に含まれる分物が同一人物であるか否かを正確に判定することができる。
【０１２１】
上述したように、本発明によれば、画像に含まれる人物の状況に応じて高精度に人物の同定を行うための変化の過程から人物の姿勢を高精度に検出することができる。
【０１２２】
具体的には本発明は、人間が人物を認定する際の処理のように、複数の曖昧な同定要素（身長、体型、歩き方、性別、歩容等）を組み合わせて、人物を同定する手法を構築する。具体的には、本発明では、同定要素と、同定手法を組み合わせる。そして、ある特徴から人物を同定する際に、不適切な特徴を使用せずに最適な特徴を選択する。具体的には、人物の状態（立ち止まっているか、歩いているか、日照変化があったかどうか等）を判定し、その結果に基づいて各種特徴量（歩幅、歩く速度、服の色情報等）を人物同定に使用するかどうかを判定する。使用すると判定された特徴量についてのみ分離度を算出し、その分離度に基づいて重み付けをし、人物同定への特徴量毎の寄与率を変化させる。これにより、状況に応じた特徴量の取捨選択を行うことができる。
【０１２３】
なお、本発明を適用することにより、例えば画像上の人物が誰であるか、どういう特徴であるかを認識することができる。例えば、本発明を適用して「金融機関」であれば、指定手配情報自動生成を行ったり、戸建て住宅であれば、ごみ捨て等を狙った短時間の未施錠時の侵入を防止したり、商業施設における迷子防止等を行うことができる。
【０１２４】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１２５】
１０ 人物同定装置 １１ 入力手段 １２ 出力手段 １３ 蓄積手段 １４ 人物検出手段 １５ 同定要素抽出手段 １６ 同定要素選択手段 １７ 同定手段 １８ 追跡手段 １９ 不審者検出手段 ２０ 画面生成手段 ２１ 通知手段 ２２ 送受信手段 ２３ 制御手段 ２４ 撮像手段 ３０ 人物 ３１ 画像フレーム ４０ 追跡画面 ４１ 映像画面 ４２ 同定検出画面 ４３ 追跡経過画面 ４４ 人物領域 ４５ 人物推定情報 ４６ 日時情報 ４７ 画角 ４８ 現在位置 ４９ 追跡ルート ５０ 移動範囲 ５１ 入力装置 ５２ 出力装置 ５３ ドライブ装置 ５４ 補助記憶装置 ５５ メモリ装置 ５６ ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ） ５７ ネットワーク接続装置 ５８ 記録媒体
【技術分野】
【０００１】
本発明は、人物同定装置、人物同定方法、及び人物同定プログラムに係り、特に画像に含まれる人物の状況に応じて高精度に人物の同定を行うための人物同定装置、人物同定方法、及び人物同定プログラムに関する。
【背景技術】
【０００２】
従来、カメラ等の撮像手段により撮影された画像や映像を用いて人物を検出し、その人物が誰であるかを顔認証により同定する手法や、人物を追跡する際に、時系列に得られる画像群からその人物が移動したものであるか、又は他の人物であるかを判定し、人物を同定する手法が知られている（例えば、特許文献１，２参照。）。
【０００３】
上述の特許文献１では、人物の顔の３次元形状及びその表面の画像を検出し、顔の３次元形状及びその表面の画像と問合せ顔画像データとを照合し、その人物を同定する顔照合方法において、問合せ顔画像データの撮影条件を推定し、撮影条件と３次元形状及びその表面の画像によりグラフィクス手段を利用して照合用顔画像データを生成し、照合用顔画像データと問合せ顔画像データを比較し、問合せ顔画像データが、照合用顔画像データとの差異が小さい場合には照合用顔画像データの人物のものであると同定する手法が示されている。
【０００４】
また、上述の特許文献２では、音声と対応付けられた画像を用いた人物同定方法であって、第１の画像中に写っている顔と、第２の画像に写っている顔とが同一人物かどうかを判定する第１の判定工程と、第１及び第２の画像に付随している音声が同一人物のものであるかどうかを判定する第２の判定工程と、第１の判定工程あるいは第２の判定工程のいずれかにより同一人物と判定された画像を、同一の人物であると判定する第３の判定工程とを有する人物同定方法が示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−２８３２２４号公報
【特許文献２】特開２０００−７６４５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した手法の場合には、顔認証を用いて誰なのかを判定し、人物を同定することになるが、撮影された画像又は映像では、常に顔が映っているとは限らない。つまり、画像による犯罪の予兆察知として、画像上の人物を追跡しなければならず、不審かどうかは、対象の人物によって変化するため、顔の向きに関係なく、常に動作等を追跡しておく必要があり、撮影された画像に含まれる撮影状況に応じた同定手法が必要となる。
【０００７】
本発明は、上記の問題点に鑑みてなされたものであって、画像に含まれる人物の状況に応じて高精度に人物の同定を行うための人物同定装置、人物同定方法、及び人物同定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【０００９】
本発明では、異なる時間に撮影された映像に含まれる人物を同定する人物同定装置において、前記人物の同定要素を抽出する同定要素抽出手段と、前記同定要素抽出手段により得られた特徴量から予め設定された撮影条件に応じて既に設定されている同定要素から使用しない同定要素を選択する同定要素選択手段と、前記同定要素選択手段により得られた同定要素を用いて前記人物の同定を行う同定手段とを有することを特徴とする。これにより、画像に含まれる人物の状況に応じて高精度に人物の同定を行うことができる。
【００１０】
また本発明では、前記同定手段は、前記同定要素選択手段により選択された同定要素に対するそれぞれの重み付けを、現在の重み付けの比率に対応させて再設定することを特徴とする。
【００１１】
また本発明では、前記同定要素抽出手段は、前記同定要素として、歩容、体型、性別を特徴量として抽出し、前記歩容は、歩幅、歩調、歩速、歩速の標準偏差、歩行加速度の標準偏差、体の傾き、及び脚長のうち、少なくとも１つを有することを特徴とする。
【００１２】
また本発明では、前記同定手段により前記人物と同一人物であると同定された場合には、前記人物を追跡する追跡手段と、前記追跡手段における追跡結果から不審者を検出する不審者検出手段と、前記追跡結果を表示する画面を生成する画面生成手段とを有することを特徴とする。
【００１３】
更に本発明では、異なる時間に撮影された映像に含まれる人物を同定する人物同定方法において、前記人物の同定要素を抽出する同定要素抽出手順と、前記同定要素抽出手順により得られた特徴量から予め設定された撮影条件に応じて既に設定されている同定要素から使用しない同定要素を選択する同定要素選択手順と、前記同定要素選択手順により得られた同定要素を用いて前記人物の同定を行う同定手順とを有することを特徴とする。これにより、画像に含まれる人物の状況に応じて高精度に人物の同定を行うことができる。
【００１４】
また本発明では、前記同定手順は、前記同定要素選択手順により選択された同定要素に対するそれぞれの重み付けを、現在の重み付けの比率に対応させて再設定することを特徴とする。
【００１５】
また本発明では、前記同定要素抽出手順は、前記同定要素として、歩容、体型、性別を特徴量として抽出し、前記歩容は、歩幅、歩調、歩速、歩速の標準偏差、歩行加速度の標準偏差、体の傾き、及び脚長のうち、少なくとも１つを有することを特徴とする。
【００１６】
また本発明では、前記同定手順により前記人物と同一人物であると同定された場合には、前記人物を追跡する追跡手順と、前記追跡手順における追跡結果から不審者を検出する不審者検出手順と、前記追跡結果を表示する画面を生成する画面生成手順とを有することを特徴とする。
【００１７】
更に本発明では、異なる時間に撮影された映像に含まれる人物を同定する人物同定装置における人物同定プログラムにおいて、コンピュータを、前記人物の同定要素を抽出する同定要素抽出手段、前記同定要素抽出手段により得られた特徴量から予め設定された撮影条件に応じて既に設定されている同定要素から使用しない同定要素を選択する同定要素選択手段、及び、前記同定要素選択手段により得られた同定要素を用いて前記人物の同定を行う同定手段として機能させる。これにより、画像に含まれる人物の状況に応じて高精度に人物の同定を行うことができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における人物同定処理を容易に実現することができる。
【００１８】
また本発明では、前記同定手段は、前記同定要素選択手段により選択された同定要素に対するそれぞれの重み付けを、現在の重み付けの比率に対応させて再設定することを特徴とする。
【００１９】
また本発明では、前記同定要素抽出手段は、前記同定要素として、歩容、体型、性別を特徴量として抽出し、前記歩容は、歩幅、歩調、歩速、歩速の標準偏差、歩行加速度の標準偏差、体の傾き、及び脚長のうち、少なくとも１つを有することを特徴とする。
【００２０】
また本発明では、前記同定手段により前記人物と同一人物であると同定された場合には、前記人物を追跡する追跡手段と、前記追跡手段における追跡結果から不審者を検出する不審者検出手段と、前記追跡結果を表示する画面を生成する画面生成手段とを有することを特徴とする。
【発明の効果】
【００２１】
本発明によれば、画像に含まれる人物の状況に応じて高精度に人物の同定を行うことができる。
【図面の簡単な説明】
【００２２】
【図１】本実施形態における人物同定装置の概略構成の一例を示す図である。
【図２】人物の歩き方の一例を示す図である。
【図３】歩容特徴量を算出する際の基準となる値を示す図である。
【図４】肥満度の算出例を説明するための図である。
【図５】本実施形態における人物同定に用いられる特徴量と対応する抽出要素の内容を説明するための図である。
【図６】本実施形態における状態判定の一例を示す図である。
【図７】特徴量の重みを調整した例を示す図である。
【図８】日照変化に強いパラメータを用いた背景差分法を説明するための図である。
【図９】人物の存在を考慮した統計的背景差分法について説明するための図である。
【図１０】追跡画面の一例を示す図である。
【図１１】本実施形態における人物同定処理が実現可能なハードウェア構成の一例を示す図である。
【図１２】本実施形態における人物同定処理手順の一例を示すフローチャートである。
【図１３】人物同定処理手順を示す一例のフローチャートである。
【発明を実施するための形態】
【００２３】
＜本発明について＞ 本発明は、人間が人物を認定する際の処理のように、複数の曖昧な同定要素（身長、体型、歩き方、性別、歩容等）を組み合わせて、人物を同定する手法を構築する。具体的には、本発明では、撮影された画像や人物の撮影状況に応じて適切な同定要素を選択し、その選択された条件に基づいて同定処理を行う。
【００２４】
つまり、本発明は、特徴から人物を同定する際に、不適切な特徴を使用せずに最適な特徴を選択する。具体的には、人物の状態（立ち止まっているか、歩いているか、日照変化があったかどうか等）を判定し、その結果に基づいて各種特徴量（歩幅、歩く速度、服の色情報、顔認証の結果等、画像処理によって抽出できる人物に関する特徴量）を人物同定に使用するかどうかを判定する。使用すると判定された特徴量についてのみ分離度を算出し、その分離度に基づいて重み付けをし、人物同定への特徴量毎の寄与率を変化させる。これにより、状況に応じた特徴量の取捨選択を行う。
【００２５】
以下に、本発明における人物同定装置、人物同定方法、及び人物同定プログラムを好適に実施した形態について、図面を用いて説明する。
【００２６】
＜人物同定装置の概略構成例＞ 図１は、本実施形態における人物同定装置の概略構成の一例を示す図である。図１に示す人物同定装置１０は、入力手段１１と、出力手段１２と、蓄積手段１３と、人物検出手段１４と、同定要素抽出手段１５と、同定要素選択手段１６と、同定手段１７と、追跡手段１８と、不審者検出手段１９と、画面生成手段２０と、通知手段２１と、送受信手段２２と、制御手段２３と、撮像手段２４とを有するよう構成されている。なお、送受信手段２２には、所定の領域を撮影するカメラ等の撮像手段２４が接続されており、撮像手段２４により撮影された映像に含まれる時系列の各画像を取得することができる。また、撮像手段２４は、人物同定装置１０と一体に構成されていてもよい。
【００２７】
入力手
段１１は、使用者等からの人物検出指示や、同定要素抽出指示、同定要素選択指示、同定指示、追跡指示、不審者検出指示、画面生成指示、通知指示、送受信指示等の各種指示を受け付ける。なお、入力手段１１は、例えばキーボードや、マウス等のポインティングデバイス、マイク等の音声入力デバイス等からなる。
【００２８】
出力手段１２は、入力手段１１により入力された指示内容や、各指示内容に基づいて生成された制御データや人物検出手段１４、同定要素抽出手段１５、同定要素選択手段１６、同定手段１７、追跡手段１８、不審者検出手段１９、画面生成手段２０、通知手段２１、送受信手段２２等の各構成により実行された経過又は結果により得られる各種情報の内容を表示したり、その音声を出力する。なお、出力手段１２は、ディスプレイ等の画面表示機能やスピーカ等の音声出力機能等を有する。
【００２９】
蓄積手段１３は、上述した本実施形態を実現するための様々な情報を蓄積することができ、必要に応じて読み出しや書き込みが行われる。具体的には、蓄積手段１３は、人物検出手段１４における人物検出結果や、同定要素抽出手段１５における同定要素抽出結果、同定要素選択手段１６における同定要素選択結果、同定手段１７における同定結果、追跡手段１８における追跡結果、不審者検出手段１９における不審者検出結果、画面生成手段２０における生成した画面情報、通知手段２１により通知される内容や今までに通知された内容、送受信手段２２により送受信された内容、制御手段２３により制御された情報、エラー発生時のエラー情報、ログ情報、本発明を実現するためのプログラム等の各情報が蓄積される。
【００３０】
人物検出手段１４は、カメラ等の撮像手段２４等により撮影された映像を取得し、その取得した映像に含まれる時系列の各画像のうち、所定の画像（各フレーム画像や数フレーム分の間隔を空けた画像等）について１又は複数の人物の顔を検出する。なお、人物検出手段１４は、例えば連続する画像フレーム同士を比較して、色（輝度、色度等）が所定時間内に変化する場所が存在し、更にその場所が所定の領域以上のものを人物として検出する。
【００３１】
また、他の人物検出手法としては、例えば、エッジ等を用いて人の形状にマッチする領域を抽出する手法や、熱画像を用いて背景とは異なる熱源を人体領域とする手法、複数のカメラを用いて形状や大きさを認識し人らしい物体を検出する手法、人の動き（歩いている様子）等に対してシルエット画像等を用いて事前に学習することで人体を検出する手法等も用いることができる。なお、人物検出手段１４における人物検出手法については、本発明においてはこれに限定されない。
【００３２】
同定要素抽出手段１５は、撮像手段２４等により得られる映像（画像）から同定要素を抽出する。なお、本実施形態における同定要素としては、例えば歩容、体型、性別等があり、それぞれを人物同定のパラメータとしてその特徴量を抽出する。なお、具体的な抽出手法については、後述する。
【００３３】
同定要素選択手段１６は、同定手段１７において前後のフレームでそれぞれ検出された人物が同一か否かを判定するための判定基準として用いられる種別を選択する。具体的には、同定要素選択手段１６は、予め設定された少なくとも１つの同定要素に対して、撮像手段２４により撮影された時間や場所、人物の映り具合（顔が映っているか、全身が撮影されているか等）に応じて予め設定された同定要素の一部を使用しないようにする。なお、同定要素選択手段１６は、上述した条件に応じて同定要素を新たに抽出するようにしてもよい。
【００３４】
つまり、同定要素選択手段１６は、各特徴量が有効であるか否かの状態判定を行い、人物の状態によって、ある特徴量が有効ではないと判定された場合に、それ以降の同定処理において、その特徴量を使用しないようにすることができる。例えば、同定要素選択手段１６は、昼と夜とで人物同定を行う場合のように、照明条件が変化したら、服の色や髪の色が変わってしまうため、そのような色情報は使用しないようにする。なお、同定要素選択手段１６についての具体的な説明については後述する。
【００３５】
同定手段１７は、同定要素抽出手段１５により抽出された同定要素と、同定要素選択手段１６により選択された内容とに基づいて、異なる時間に撮影された映像から抽出された２つの画像から検出される１又は複数の人物に対して、同一人物が含まれているか否かの同定処理を行う。
【００３６】
具体的には、同定手段１７は、その画像の状況に応じた特徴量の取捨選択手法により適切なパラメータを用いて人物の同定を行う。例えば、同定手段１７は、人物の状態（立ち止まっているか、歩いているか、日照変化があったかどうか等）を判定し、その結果に基づいて各種特徴量（歩幅、歩く速度、服の色情報等）を人物同定に使用するかどうかを判定する。
【００３７】
また、同定手段１７は、使用すると判定された特徴量についてのみ分離度を算出し、その分離度に基づいて重み付けを行い、人物同定への特徴量毎の寄与率を変化させる。つまり、同定手段１７は、同定要素選択手段１６により選択された同定要素に対するそれぞれの重み付けを、現在の重み付けの比率に対応させて再設定する。これにより、状況に応じた特徴量を用いた人物判定を行うことができる。
【００３８】
追跡手段１８は、撮像手段２４から得られる映像を撮像して時系列の画像から同一の人物の挙動を追跡する。また、追跡手段１８は、画像中に含まれる人物領域の足、頭の位置とその特徴から人物を追跡し、同一として判断できる人物の大きさが変化した場合、人物の一部が、建物等で隠蔽されたか否かを判断する。
【００３９】
なお、隠蔽される人物の一部とは、例えば下半身や上半身、頭、腕、胴体等である。つまり、本実施形態では、少なくとも１度画面上で足のつま先から頭部までの人体の身長に関する情報が取得できた場合、その後、頭及び足の両方が同時に隠蔽されていなければ、その頭又は足の次の時系列画像における移動範囲が所定された範囲内であり、色情報が同じであれば、同一人物と見なして隠蔽部分に人物がいると推定して、その人物を追跡することができる。また、追跡手段１８は、画像中に表示されている１又は複数の人物を経時的に追跡する。
【００４０】
更に、追跡手段１８には、人物領域を推定する機能も設けられている。具体的には、追跡手段１８は、人物領域の推定として、画像中に存在する人体に関してその外領域からなり、人物がその領域枠内に存在することを画面上で認識させ易くするための人物領域を推定する。
【００４１】
また、追跡手段１８は、人物領域の推定として、例えば遮蔽物により人物の一部で隠蔽されている部分が存在すると判断された場合に、正しい人体の領域を推定する。この場合、追跡手段１８は、隠蔽されている人体部分の外形（シルエット）又は領域を画面上に表示させる。これにより、隠蔽物により画像上に表示されていない人物のいる位置を正確に把握することができる。
【００４２】
また、追跡手段１８は、画像中に存在する人物を経時的に追跡する場合には、人物の向き、姿勢、今までの行動から次の動作可能範囲を推測することができる。この場合、追跡手段１８は、その人物が次に動作できる最大の範囲の外枠をフレーム化して画像に合成するための情報を生成する。
【００４３】
不審者検出手段１９は、追跡手段１８で得られる追跡結果等により、予め設定され蓄積手段１３等に蓄積されている時系列の挙動データ等と比較することで、撮像手段２４により撮影された人物が不審者である場合に検出を行う。また、追跡手段１８は、追跡している人物が遮蔽物に隠れたり、カメラを所定時間以上、気にしてみていたり、キョロキョロしている等の不審行動がある場合には、その人物を不審者として検出する。追跡手段１８は、検出された不審者情報を、通知手段に通知する。
【００４４】
例えば、不審者検出手段１９は、追跡対象人物が遮蔽物に隠れたり、カメラを所定時間以上気にしてみていたり、キョロキョロしていたり、長時間滞在している等の不審行動が少なくとも１つある場合には、その人物を不審者として検出する。更に、不審者検出手段１９は、追跡対象人物がマスクをしていたり、サングラスをかけていることで、顔を隠している場合にも不審者として検出する。また、不審者検出手段１９は、検出された不審者情報を、通知手段２１に通知する。
【００４５】
画面生成手段２０は、撮像手段２４により撮影された映像を表示する画面を生成する。また、画面生成手段２０は、追跡手段１８により推定された人物領域を現在撮像手段２４２等により取得した映像に含まれる時系列の画像中に反映させる。具体的には、画面生成手段２０は、人物領域と推定された領域の外側をフレーム化し、撮影された映像に合成して、出力手段１２により表示させる。また、画面生成手段２０は、画面生成により得られた画像をディスプレイ等の出力手段１２に表示される。このとき、画面生成手段２０は、例えば人物領域のフレームの位置情報を数値化したもの等を画面上に表示させることができる。
【００４６】
また、画面生成手段２０は、人物を追跡している場合に必要となる経時的な人物の移動範囲も推定して画面上に表示させることができる。更に、画面生成手段２０は、予め設定される不審者の行動パターンに該当する場合には、その旨の内容を通知するための画面を生成する。なお、画面生成に必要な各種情報は、蓄積手段１３に予め蓄積されている情報等から必要な情報を適宜読み出して使用することができる。また、生成した画面は、ディスプレイやスピーカ等を有する出力手段１２により音声等と共に出力する。
【００４７】
通知手段２１は、不審者検出手段１９により得られる不審者として検出された画像と、その画像に関する情報（検出日時、検出場所、その前の所定時間分の映像）を画面生成手段２０により生成させて、表示させる。また、通知手段２１は、そのような不審行動検出における問題発生信号に対応させて、管理者や警備会社におけるそのビルの担当警備員、監視員、代表責任者等に通知を行うアラート機能を有する。
【００４８】
送受信手段２２は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等の通信ネットワーク等を介して１又は複数の撮像手段２４からの監視映像を受信する。なお、送受信手段２２は、撮像手段２４から直接監視映像を受信しなくてもよく、例えば予め撮像手段２４で取得した映像をどこかに一時的に保存しておき、その保存された情報を用いて本実施形態における人物同定を行ってもよい。また、送受信手段２２は、人物同定装置１０を構成する他の端末に送信したり、他の端末から各種データを受信するための通信インタフェースとして用いることができる。
【００４９】
制御手段２３は、人物同定装置１０における各機能構成全体の制御を行う。具体的には、制御手段２３は、入力手段１１により入力された使用者等からの入力情報に基づいて、人物を検出したり、同定要素を抽出したり、同定要素を選択したり、同定処理を行ったり、追跡処理を行ったり、不審者検出処理を行ったり、画面生成を行ったり、通信制御を行ったり、送受信制御を行う等の各種制御を行う。＜同定要素の蓄積＞ ここで、同定要素抽出手段１５における同定要素の抽出内容について説明する。同定要素の蓄積では、本実施形態では、「歩容」、「体型」、「性別」の３つの同定要素を抽出する。
【００５０】
＜歩容＞ 最初に、同定要素の１つである歩容について説明する。一般に人間の歩き方には、個人差があるため、撮影された映像から検出された人物領域から歩き方の特徴を抽出する。図２は、人物の歩き方の一例を示す図である。図２に示すように人物３０が移動する際には、それぞれ特有の歩き方がある。そのため、その特徴量をパラメータ化して同定検出の一要素とすることができる。
【００５１】
＜歩容特徴量について＞ ここで、本実施形態における特徴量については、例えば、「歩幅（Ｐｉｘｅｌ／Ｓｔｅｐ）」、「歩調（Ｓｔｅｐ／Ｍｉｎ）」、「歩速（Ｐｉｘｅｌ／Ｓｅｃ）」、摺足歩行
を検出するための指標「歩速の標準偏差（Ｐｉｘｅｌ）」、「歩行加速度（Ｐｉｘｅｌ／Ｓｅｃ＾２）」、飛び跳ねるように歩いているかを検出するための指標「高さの標準偏差（Ｐｉｘｅｌ）」、歩行時の姿勢を表す「体の傾き（度）」、更に「脚長（Ｐｉｘｅｌ）」等のうち、少なくとも１つを用いることができる。
【００５２】
ここで、上述した各特長量は、以下に示す数式により算出することができる。「歩幅Ｌ（Ｐｉｘｅｌ／Ｓｔｅｐ）」は以下に示す（１）式で算出され、「歩調Ｃ（Ｓｔｅｐ／Ｍｉｎ）」は以下に示す（２）式で算出され、「歩速Ｓ（Ｐｉｘｅｌ／Ｓｅｃ）」は以下に示す（３）式で算出され、「歩速の標準偏差ｓｓ（Ｐｉｘｅｌ）」は以下に示す（４）式で算出され、「歩行加速度Ａ（Ｐｉｘｅｌ／Ｓｅｃ＾２）」は以下に示す（５）式で算出され、「高さの標準偏差ＨＳ（Ｐｉｘｅｌ）」は以下に示す（６）式で算出され、「体の傾き（度）θ」は以下に示す（７）式で算出され、「脚長ＬＬ（Ｐｉｘｅｌ）」は以下に示す（８）式で算出される。なお、（１）式〜（８）式において、Ｍは幅ｗが極大となるフレーム総数、Ｎは総フレーム数である。
【００５３】
【数１】
また、図３は、歩容特徴量を算出する際の基準となる値を示す図である。
【００５４】
図３と上述した（１）〜（８）式との関係において、ｈは人物の身長（画像上の高さ）を示し、ｗは幅（画像上の幅）を示し、Ｌｌは左足の長さを示し、Ｌｒは右足の長さを示し、θは地面に対して垂直な軸に対する傾きを示し、Ｈは人物頭部の重心位置を示し、Ｇは人物領域の重心位置を示し、ｂｘは人物３０の左右の足の位置の中心から人物３０の進行方向に対する画像フレーム３１までの距離を示し、ｂｙは地面から垂直方向の画像フレーム３１までの距離を示している。
【００５５】
更に、ｍｊは幅ｗを極大にする全てのフレームを示し、ｔｉはフレームｉが撮影された時刻を示し、ｘｉはフレームｉにおけるｂｘ，ｂｙをそれぞれ示している。
【００５６】
同定要素抽出手段１５は、これらの数式より算出された値を歩容特徴量とする。なお、上述した歩容特徴量のうち、特に「身長」、「脚長」、「歩速」、「歩幅」の順に同定の能力が高い。また、「体の傾き」については、分離度は低かったものの、歩行動画上で目視確認した際には、明らかに前傾姿勢で歩いている人物については、有意な差を示す。そのため、人物同定の際に、数人に絞り込んだ後に適用する等、状況によっては有効な特徴量であることがわかる。
【００５７】
＜体型、性別について＞ 次に、同定要素の１つである体型について説明する。ここでは、人物を「痩せ」、「普通」、「肥満」の３種類に分類する。なお、男女によって判定基準が違うため、「性別」の判定も併せて行うのが好ましい。
【００５８】
ここで、事前の実験より、体型判定の際には、例えば胸部、腹部、臀部、体の厚み、体の丸み、足の細さ等に注目していることがわかった。これより、胸部・腹部のエッジ情報に着目して特徴量「肥満度」を設定する。そして、体型判定の特徴量として、「肥満度」、「縦横比」、物体の伸びている方向を表す「慣性主軸」を用いることとした。また、性別の判定については男女で最も差異があると思われる胸部の影響を考慮し、「縦横比」、「慣性主軸」と、「２次モーメント」を用いることとした。
【００５９】
ここで、図４は、肥満度の算出例を説明するための図である。肥満度は、例えば図４（ａ）〜（ｃ）に示すように、画像上のエッジを検出すると同時にそのエッジの方向成分を算出し、その後、Ｋｉｒｓｃｈフィルタを適用し、各方向毎のエッジ数を算出する。
【００６０】
したがって、具体的には、以下に示す（９）式により肥満度を算出する。
【００６１】
【数２】
なお、上述した（９）式において、Ｅｘはｘ度方向のエッジ数を示し、ｗは人物幅を示している。
【００６２】
また、上半身についての人物幅の平均値を人物上半身の長さで割ったものである縦横比率は以下に示す（１０）式で算出することができ、二次モーメント・慣性主軸は画像Ｉ（ｘ，ｙ）についての（ｍ＋ｎ）次のモーメンドをμｍｎとすると、以下に示す（１１）式のようになり、二次モーメント及び慣性主軸は以下に示す（１２），（１３）式で算出される。
【００６３】
【数３】
なお、上述した（１０）式において、ｈは人物の高さを示している。また、性別については、画像中の顔画像から顔の特徴量を抽出して予め設定されている男女別の特徴パラメータと比較して判定するか、画像から体全体のライン等の特徴量を抽出して予め設定されている男女別の特徴パラメータと比較すること等により、男女判定を容易に行うことができる。
【００６４】
＜同定手段１７における同定手法＞ 次に、同定手段における同定手法について図を用いて説明する。これまでの同定手法は、複数の特徴量を単純に合成し、1つの特徴量として判定を行っていた。しかしながら、一部の特徴量にノイズやばらつきが存在した場合に、誤判定をしてしまう可能性が高い。また、例えば体の部分隠れによって身長が変化した場合等には、そもそも特徴量が意味を持たなくなってしまう場合がある。
【００６５】
また、特徴量毎に人物の分類能力が違うため、単純に合成するだけでは判定の精度が下がってしまうという問題があった。これらの問題は、今後扱う特徴量が増加すればする程その影響が大きくなると思われる。そこで、本実施形態では、上述の問題を解決すべく、「同定に用いられる特徴量」、「特徴量の取捨選択条件」、「人物判定」を以下に示す内容で行う。
【００６６】
＜同定に用いる特徴量について＞ 図５は、本実施形態における人物同定に用いられる特徴量と対応する抽出要素の内容を説明するための図である。図５に示すように、特徴量名は「歩幅」、「歩速」、「脚長」、「歩行姿勢」、「髪の色」、「服の色」、「体型」、「性別」、「身長」等のうち、少なくとも１つを用いることとし、その特徴量に対応する図５に示す抽出要素を用いて人物同定を行う。例えば、図５に示すように特徴量が「歩幅」であれば、その抽出要素は人物矩形横幅のピーク値の平均値である。また、「性別」であれば、その抽出要素は人体領域の縦横比、慣性主軸、２次モーメントとなる。
【００６７】
＜特徴量の取捨選択条件について＞ 次に、上述した従来の課題である一部の特徴量にノイズやばらつきが存在した場合に、誤判定をしてしまう可能性が高く、また、例えば体の部分隠れによって身長が変化した場合等には、そもそも特徴量が意味を持たなくなってしまう場合についての対応を行うために特徴量の取捨選択を行う。つまり、上述の問題に対応するために、各特徴量が有効であるかどうかの状態判定を行う。この状態判定において、人物の状態によって、ある特徴量が有効ではないと判定された場合、それ以降の同定処理に当該特徴量は使用しない。例えば、昼から夜になった場合のように、照明条件が変化したら、服の色や髪の色が変わってしまうため、正しい同定が行われない。したがって、上述のような場合には、色情報等は使用しないようにする。
【００６８】
ここで、図６は、本実施形態における状態判定の一例を示す図である。図６に示すように、「状態判定」とその「判定方法」、判定の結果該当する場合に「無効とする特徴量」について記載されている。なお、図６に示す判定条件は、予め蓄積手段１３等に蓄積されている。
【００６９】
例えば、図６において、「状態判定」として、撮影されるカメラに対して縦方向、斜め方向に移動しており、「判定方法」として、そのときの予め設定されたＹ方向の位置情報の変化がある場合には、上述した同定要素抽出手段１５で取得した特徴量のうち、歩幅・脚長・歩行姿勢・体型・性別を「無効とする特徴量」とする。
【００７０】
また、「状態判定」として、立ち止まっているという判断は、経時的に見た人物の位置情報の変化により確認することができ、「判定方法」として、位置情報が変化している場合には、歩速を「無効とする特徴量」とする。
【００７１】
また、「状態判定」として、日照変化が大きいという判断は、監視領域の平均輝度値の変化により確認することができ、輝度平均値の変化が所定量以上の場合に、色情報を「無効とする特徴量」とする。なお、本実施形態で用いられる日照変化に強いパラメータを用いた背景差分例については後述する。
【００７２】
更に、「状態判定」として、ノイズによって値が大きく変化という判断は、特徴量毎に閾値を決める際にその閾値に基づくノイズの結果によって確認することができ、その場合には、該当する特徴量を「無効とする特徴量」とする。
【００７３】
このように、本実施形態を用いることで、これまでは同定することが不可能、若しくは精度が著しく低下していた一部の特徴量がノイズによって異常値になった場合や、そもそも特徴量としての意味を持たなくなった場合にも、高精度に同定を行うことが可能となる。
【００７４】
＜人物判定手法＞ 次に、本実施形態における人物判定手法について図を用いて説明する。上述した特徴量毎に人物の分類能力が異なり、単純に判定条件を合成するだけでは判定の精度が低下してしまう。そこで、この問題に対処するため、従来では登録された人物情報に記録された各人物の持つ各特徴量の平均値と、入力データの各特徴量との単純距離を用いて判定を行っていた。
【００７５】
しかしながら、特徴量毎に同定への寄与率が異なるため、単純に合成すると、判定の精度が下がってしまう可能性がある。そこで、距離の算出の際に同定への寄与率にしたがい、重みを付与して算出することにした。
【００７６】
具体的には、登録された人物の特徴量を用いて、特徴量毎に、分離度を算出して人物の分類能力の指標とし、分離度に従い重みを付与して距離を算出する。算出された距離が最も小さくなる人物を判定結果とする。また、一部の特徴量が有効でないと判断された場合は、当該特徴量の重みを０にし、重みを算出し直すことで、高精度な人物判定が可能となる。
【００７７】
ここで、図７は、特徴量の重みを調整した例を示す図である。図７に示すように、登録情報として身長、服の色、髪の色、歩幅が設定され、それぞれの重み付けが合計を１００％として５０％，５％，１５％，３０％であった場合、例えばＡさんの判定で、昼と夜とで判断する場合、図６に示す日照変化に該当するため、身長と歩幅のみの特徴で人物判定が行われる。したがって、選択された同定要素に対するそれぞれの重み付けを、現在の重み付けの比率に対応させて再設定を行う。具体的には、今まで５０％，３０％であった身長と歩幅の重みを、それぞれ６２．５％，３７．５％に設定する。これにより、日照等の変化による影響を受けずに人物判定を行うことができ、認証の精度を向上させることができる。なお、本実施形態の人物判定で用いられる日照変化における人物抽出の具体例については後述する。
【００７８】
次に、上述した本実施形態における状態判定の処理も含めた距離算出例について説明する。ここで、分離度については、一般的な統計量として、クラス内分散が小さい場合に、各クラス内の要素がクラスの平均値近くに密集しており、クラス間分散が大きい場合に、各クラスの要素が全体の平均値から離れて存在する。これにより、分離度が大きければ各クラスが分離されているということができる。
【００７９】
そこで、全体平均をｍｉ，クラスｎ内平均をｍｎ，全体分散をσｔ２，クラスｎ内分散をσｎ２，クラスｎデータ数をωｎとした場合に、クラス間分散σｂ２は以下に示す（１４）式のようになり、クラス内分散σｗ２は以下に示す（１５）式のようになり、分離度は以下に示す（１６）式のようになる。
【００８０】
【数４】
また、距離算出方法は、以下に示す（１７）式で算出することができる。
【００８１】
【数５】
なお、上述した（１７）式において、Ｄａは人物ａまでの重み付け距離を示し、Ｓｔは特徴量ｔの分離度を示し、ｄｔは特徴量ｔに関しての人物ａまでの単純距離（但し、特徴量ｔに関しては状態判定部にて使用しないとされたものを除く。）を示している。
【００８２】
＜日照変化における人物抽出＞ ここで、上述した日照変化における具体的な人物抽出として、日照変化に強いパラメータを用いた背景差分法について説明する。図８は、日照変化に強いパラメータを用いた背景差分法を説明するための図である。
【００８３】
従来手法である背景差分法は、輝度情報を用いているため、照明条件の変化が少ない環境下では有効であったが、日照変化等を伴う環境では誤検出が多発するという課題があった。また、背景か変化領域であるか否かを判定する閾値が必要となるため、検出結果が閾値設定者に依存するといった問題があった。
【００８４】
そこで、本実施形態では、まず背景差分に用いるパラメータの選定を行い、ＲＧＢベクトル（色ベクトル）を用いる。ここで、ＲＧＢベクトルとは、図８（ａ）に示すように色情報（Ｒ，Ｇ，Ｂ）をベクトルとして扱った明るさの変化に鈍感なパラメータである。つまり、以下に示す（１８）式から計算される背景画像と現画像のベクトルのなす角を変化量とするため、明るさの変化に影響されにくく、背景と異なる色構成をもつ領域のみ抽出することができる。
【００８５】
【数６】
なお、上述した（１８）式においてｖｘは背景画像の画素位置（ｉ，ｊ）におけるＲＧＢ成分を示し、ｗｘは現画像の画素位置（ｉ，ｊ）におけるＲＧＢ成分を示している。
【００８６】
また、背景差分法に統計的背景差分法を用いることで、確率的に変化画素の有無を判定し、閾値の設定を不必要とした。これにより、閾値設定者による検出結果の違いを排除した。なお、図８（ａ）は、人物領域のＲＧＢベクトルを示し、図８（ｂ）は背景領域のＲＧＢベクトルを示し、図８（ａ），（ｂ）により画素（ｉ，ｊ）におけるＲＧＢ空間上のベクトルのなす角を説明している。なお、図８（ｂ）には、現画像について、明るさの変化によるベクトルの変化方向が示されている。
【００８７】
また、図８（ｃ），（ｄ）は、明暗の違いによる画素（ｉ，ｊ）におけるＲＧＢ空間上のベクトルのなす角の違いを示し、図８（ｃ）は明るい映像の場合を示し、図７（ｄ）は暗い映像場合を示している。
【００８８】
ここで、上述したＲＧＢベクトルを用いた背景差分は、画素を構成する色要素（Ｒ，Ｇ，Ｂ）からベクトル角度を計算するという特性上、図８（ｃ）に示すような明るい映像の場合には、画素位置（ｉ，ｊ）において、前画像と現画像とで背景画像とのベクトル角度が変化した変化量△θ（＝α−β）は十分小さくなる。しかしながら、図８（ｄ）に示すように小さなベクトル（輝度の低い画素）は、ノイズがのる等、些細な変化にも敏感にベクトル角度が大きく変化してしまい、その変化量△θ（＝α−β）は無視できない大きさになることから、暗い映像にて誤検出が多くなる可能性がある。そのため、本実施形態では、ベクトルの大きさに応じて、ノイズによる影響の度合いを推定して差分を行う。
【００８９】
＜人物の存在を考慮した統計的背景差分法＞ 次に、人物の存在を考慮した統計的背景差分法について説明する。図９は、人物の存在を考慮した統計的背景差分法について説明するための図である。なお、図９（ａ）は、画像中の人物位置から実空間上の位置への変換の様子を示し、図９（ｂ）は、人物の存在を考慮した統計的背景差分法を示している。
【００９０】
従来の統計的背景差分法では、初期学習時に画像中の各画素において、背景となる輝度値Ｉ（０〜２５５）に対する出現確率を算出している。そして、学習後に入力された画像中の各画素について、求めた該当画素の出現確率を参照し、背景であるか変化画素であるかを上述した（１８）式により算出し、その結果から判定している。
【００９１】
しかしながら、学習から長時間経過すると、輝度値が大きく変化してしまい背景と変化領域の分離が行えなくなる課題があった。したがって、随時、背景領域の輝度値（ＲＧＢベクトルのなす角度）の出現確率を更新する必要があり、例えば以下に示す（１９）式を用いる。
【００９２】
【数７】
なお、上述した（１９）式における各変数の定義は、ある画素位置（ｉ，ｊ）において、Ｐ（ｂａｃｋｇｒｏｕｎｄ｜Ｉ）は画素値がＩであったときにその画素位置が背景である確率を示し、Ｐ（ｍｏｂｉｌｅ ｏｂｊｅｃｔ｜Ｉ）は画素値がＩであったときにその画素位置に移動体がいる確率を示し、Ｐ（ｂａｃｋｇｒｏｕｎｄ）及びＰ（ｍｏｂｉｌｅ ｏｂｊｅｃｔ）はその画素位置が背景若しくは移動体である確率を示している。また、この確率は不明であるため、通常０．５の固定値とする。そのため、結果的に分母と分子とで打ち消し合うことになる。
【００９３】
また、Ｐ（Ｉ｜ｂａｃｋｇｒｏｕｎｄ）は背景であることが分かっているときにその画素値がＩである確率を示し、基本的な統計的背景差分では、初期学習時間を設け、その間には背景のみを撮影するという前提により、この確率分布を生成する。また、Ｐ（Ｉ｜ｍｏｂｉｌｅ ｏｂｊｅｃｔ）は移動体であることが分かっているときに、その画素値がＩである確率を示す。なお、この情報も人により着ている服や肌の色が違うため通常分かり得ない、したがって、均等な確率分布を与える。つまり、２５６階調の画像であれば、Ｐ（Ｉ｜ｍｏｂｉｌｅ ｏｂｊｅｃｔ）＝１／２５６となる。
【００９４】
ここで、上述した（１９）式において、Ａ≧１の場合は背景画素とし、Ａ＜１の場合は変化画素とする。本実施形態では、上述した（１９）式において前フレームにて検出された人物位置を考慮した統計的背景差分を行い、人物の追跡を行う。
【００９５】
ここで、具体的には、図９（ａ）に示すように、画像中から得られた人物領域の位置を基に、実空間上におけるカメラとの位置関係を求める。これを応用して、前フレームにおいて抽出された人物領域から、現フレームで現れる人物領域を予測する。
【００９６】
つまり、前フレームで得られた人物領域を実空間上の位置に変換し、現時刻までに移動可能な範囲（人間が所定時間で移動可能な範囲）を求める。更に、求めた移動範囲を画像中の人物領域に逆変換することで、現フレームに現れる人物領域を推定することが可能となる。したがって、推定された画像領域を除く、領域を更新の対象とすることで、背景領域の統計情報を逐次更新することが可能となる。
【００９７】
また、図９（ｂ）に示すように、現画像（ｉ）に対して一般的な統計的背景差分法（ｉｉ）よりも上述した本実施形態の手法（ｉｉｉ）を適用することで、人物領域として現れる変化画素と背景画素との差が明確になっていることが分かる。
【００９８】
＜追跡手段１８における追跡画面＞ 次に、追跡手段１８における追跡画面について図を用いて説明する。図１０は、追跡画面の一例を示す図である。図１０に示すように、追跡画面４０は、映像画面４１と同定検出画面４２と、追跡経過画面４３とを有するように構成されている。
【００９９】
また、映像画面４１や同定検出画面４２には、人物３０に対する領域を縦幅、横幅の矩形で表示した人物領域４４、その人物領域から推定される人物推定情報４５と、その撮影された実際の日時情報４６が示されている。なお、人物推定情報４５は、具体的には、追跡しているか否かの有無、一同定しているか否かの有無、身長、横幅、面積等が表示されている。また、追跡経過画面４３には、映像画面４１を撮影しているカメラ等の撮像手段２４の画角４７と、人物の現在位置４８と、追跡ルート４９と、所定時間経過後（例えば、数秒経過後）の人物３０の移動範囲５０が表示されている。これにより、カメラに対してどの位置からどの方向からきてどの向かっているかを正確に把握することができる。また、この内容から不審者検出手段１９によって、撮影されている人物が不審者か否かの検出を行うことができる。
【０１００】
＜ハードウェア構成例＞ ここで、上述した人物同定装置１０は、上述した機能を有する専用の装置構成により制御を行うこともできるが、各機能をコンピュータに実行させることができる実行プログラム（人物同定プログラム）を生成し、例えば、汎用のパーソナルコンピュータ、サーバ等にその実行プログラムをインストールすることにより、本発明における人物同定処理を実現することができる。
【０１０１】
本実施形態における人物同定処理が実現可能なコンピュータのハードウェア構成例について図を用いて説明する。図１１は、本実施形態における人物同定処理が実現可能なハードウェア構成の一例を示す図である。
【０１０２】
図１１におけるコンピュータ本体には、入力装置５１と、出力装置５２と、ドライブ装置５３と、補助記憶装置５４と、メモリ装置５５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５６と、ネットワーク接続装置５７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【０１０３】
入力装置５１は、使用者等が操作するキーボード及びマウス等のポインティングデバイスを有しており、使用者等からのプログラムの実行等、各種操作信号を入力する。
【０１０４】
出力装置５２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するモニタを有し、ＣＰＵ５６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。
【０１０５】
なお、入力装置５１と出力装置５２とは、例えばタッチパネル等のように一体型の入出力手段であってもよく、この場合には使用者等の指やペン型の入力装置等を用いて所定の位置をタッチして入力を行うことができる。
【０１０６】
ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＣＤ−ＲＯＭ等の可搬型の記録媒体５８等により提供される。プログラムを記録した記録媒体５８は、ドライブ装置５３にセット可能であり、記録媒体５８に含まれる実行プログラムが、記録媒体５８からドライブ装置５３を介して補助記憶装置５４にインストールされる。
【０１０７】
補助記憶装置５４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。
【０１０８】
メモリ装置５５は、ＣＰＵ５６により補助記憶装置５４から読み出された実行プログラム等を格納する。なお、メモリ装置５５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。
【０１０９】
ＣＰＵ５６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置５５により読み出され格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。プログラムの実行中に各種情報等は、補助記憶装置５４から取得することができ、また実行結果等を格納することもできる。
【０１１０】
ネットワーク接続装置５７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果、又は本発明における実行プログラム自体を他の端末等に提供することができる。上述したようなハードウェア構成により、本発明における人物同定処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における人物同定処理を容易に実現することができる。次に、人物同定処理の具体的な内容について説明する。
【０１１１】
＜人物同定処理＞ 次に、本発明における実行プログラム（人物同定プログラム）で実行される人物同定処理手順についてフローチャートを用いて説明する。図１２は、本実施形態における人物同定処理手順の一例を示すフローチャートである。
【０１１２】
図１１において、まずカメラ等の撮像手段により撮影された映像を入力する（Ｓ０１）。次に、その映像に含まれる１又は複数の人物を検知する（Ｓ０２）。ここで、人物を検知した場合に、その人物毎の予め設定された特徴量からなる同定要素を抽出する（Ｓ０３）。また、その後、その人物を追跡していく過程において、その人物の状態を判定し（Ｓ０４）、Ｓ０３の処理で求めた同定要素のうち、使用しない要素を選定する（Ｓ０５）。
【０１１３】
その後、人物同定を行い（Ｓ０６）、その結果や指示に応じてその撮影された人物に対して追跡処理を行う（Ｓ０７）。ここで、追跡の一連又は一部の行動パターンが予め設定される不審者の行動パターン等に該当する場合には、不審者として検出する（Ｓ０８）。Ｓ０８の処理が終了後、画面を生成し（Ｓ０９）、その生成した画面を出力する（Ｓ１０）。
【０１１４】
ここで、追跡を終了するか否かを判断し（Ｓ１１）、追跡を終了しない場合（Ｓ１１において、ＮＯ）、Ｓ０４に戻り、映像に映る同一人物について、以降の処理を行う。また、追跡を終了する場合（Ｓ１１において、ＹＥＳ）、次に人物同定処理を終了するか否かを判断し（Ｓ１２）、人物同定処理を終了しない場合（Ｓ１２において、ＮＯ）、Ｓ０１の処理に戻り、他の人物等を検出して後述の処理を行う。また、人物同定処理を終了する場合（Ｓ１２において、ＹＥＳ）、全体の処理を終了する。
【０１１５】
＜人物同定処理手順：Ｓ０６＞ 次に、上述したＳ０６の処理における人物同定処理手順についてフローチャートを用いて説明する。図１３は、人物同定処理手順を示す一例のフローチャートである。なお、図１３では、その人物の位置検出による追跡の概要を示している。図１３示す人物同定処理では、まず、映像中に含まれる１又は複数の人物（図１３では、人物Ｘ１，・・・，Ｘｎ）を検出したか同かを判断し（Ｓ２１）、検出していない場合（Ｓ２１において、ＮＯ）状態遷移図にしたがって状態を更新する（Ｓ２２）。具体的には、Ｓ２２の処理において、例えば「初期状態→初期状態」、「照合状態→初期状態」、「追跡状態→消失状態」、「消失状態→消失状態ｏｒ退去状態ｏｒ初期状態」、「退去状態→初期状態」等の何れの設定を行う。ここで、「初期状態」とは、追跡情報を格納する領域が、空き領域であることを示している。例えば、追跡可能な人数が３人であった場合、追跡ＩＤ１，ＩＤ２，ＩＤ３という領域が確保され、それぞれが追跡状態や人物情報を保持する。
【０１１６】
また、「照合状態」とは、過去に検出された人物と同一人物か否か、確認中である状態を示している。なお、「照合状態」では、新規の人物若しくは追跡中の人物と同一人物であると判定されると、「追跡状態」に移行する。また、「照合状態」では、安定して検出されない領域、人っぽい動きをしない領域（誤検出と思われる領域）と判定された場合は、「初期状態」に戻る。
【０１１７】
また、「追跡状態」とは、人物を追跡している状態を示している。なお「追跡状態」は、追跡している人物が検出できなくなると、「消失状態」に移行する。また、「消失状態」とは、追跡中の人物が検出できなくなった状態を示している。なお、「消失状態」は、一定時間続いたら、「退去状態」に移行する。また、「消失状態」は、一定時間内に追跡中の人物が再度検出されたら、「追跡状態」に戻る。また、「退去状態」とは、追跡中の人物が、いなくなったと判定された状態を示している。但し、人物が戻ってきた場合（フレームアウトした人物が、再度、フレームインしてきた場合等）には、同定し、追跡を継続できるように追跡情報を一定時間保持しておく。また、「退去状態」とは、一定時間経過すると、情報を破棄し、「初期状態」に戻る。
【０１１８】
また、Ｓ２１の処理において、１又は複数の人物を検出した場合（Ｓ２１において、ＹＥＳ）、初期状態でない人物Ａが既に存在するか否かを判断する（Ｓ２３）。ここで、初期状態でない人物が存在しない場合（Ｓ２３において、ＮＯ）、新規人物として登録状態を「初期状態→照合状態」に更新する（Ｓ２４）。また、初期状態でない人物が存在する場合（Ｓ２３において、ＹＥＳ）、次に人物Ａの移動範囲内であるか否かを判断する（Ｓ２５）。ここで、移動範囲内でない場合（Ｓ２５において、ＮＯ）、上述したＳ２４に示すように登録状態の更新を行う。
【０１１９】
また、Ｓ２５の処理において、人物Ａの移動範囲内である場合（Ｓ２５において、ＹＥＳ）、次に、移動範囲内に複数人いるか否かを判断する（Ｓ２６）。ここで、複数人いる場合（Ｓ２６において、ＹＥＳ）、人物Ａに対して人物Ｘ１，・・・，Ｘｎで人物同定処理を行う（Ｓ２７）。このとき、Ｓ２７の人物同定処理は、映像から選択された静止画を用いて行う。また、Ｓ２７の処理において同定された人物がいるか否かを判断し（Ｓ２８）、同定された人物がいない場合（Ｓ２８において、ＮＯ）、上述したＳ２４に示すように登録状態の更新を行う。
【０１２０】
また、Ｓ２６の処理において、移動範囲内に複数人いない場合（Ｓ２６において、ＮＯ）、又はＳ２８の処理において、同定された人物がいる場合（Ｓ２８において、ＹＥＳ）、人物Ａと人物Ｘｉを同一人物として状態を更新する（Ｓ２９）。これにより、映像に含まれる分物が同一人物であるか否かを正確に判定することができる。
【０１２１】
上述したように、本発明によれば、画像に含まれる人物の状況に応じて高精度に人物の同定を行うための変化の過程から人物の姿勢を高精度に検出することができる。
【０１２２】
具体的には本発明は、人間が人物を認定する際の処理のように、複数の曖昧な同定要素（身長、体型、歩き方、性別、歩容等）を組み合わせて、人物を同定する手法を構築する。具体的には、本発明では、同定要素と、同定手法を組み合わせる。そして、ある特徴から人物を同定する際に、不適切な特徴を使用せずに最適な特徴を選択する。具体的には、人物の状態（立ち止まっているか、歩いているか、日照変化があったかどうか等）を判定し、その結果に基づいて各種特徴量（歩幅、歩く速度、服の色情報等）を人物同定に使用するかどうかを判定する。使用すると判定された特徴量についてのみ分離度を算出し、その分離度に基づいて重み付けをし、人物同定への特徴量毎の寄与率を変化させる。これにより、状況に応じた特徴量の取捨選択を行うことができる。
【０１２３】
なお、本発明を適用することにより、例えば画像上の人物が誰であるか、どういう特徴であるかを認識することができる。例えば、本発明を適用して「金融機関」であれば、指定手配情報自動生成を行ったり、戸建て住宅であれば、ごみ捨て等を狙った短時間の未施錠時の侵入を防止したり、商業施設における迷子防止等を行うことができる。
【０１２４】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１２５】
１０ 人物同定装置 １１ 入力手段 １２ 出力手段 １３ 蓄積手段 １４ 人物検出手段 １５ 同定要素抽出手段 １６ 同定要素選択手段 １７ 同定手段 １８ 追跡手段 １９ 不審者検出手段 ２０ 画面生成手段 ２１ 通知手段 ２２ 送受信手段 ２３ 制御手段 ２４ 撮像手段 ３０ 人物 ３１ 画像フレーム ４０ 追跡画面 ４１ 映像画面 ４２ 同定検出画面 ４３ 追跡経過画面 ４４ 人物領域 ４５ 人物推定情報 ４６ 日時情報 ４７ 画角 ４８ 現在位置 ４９ 追跡ルート ５０ 移動範囲 ５１ 入力装置 ５２ 出力装置 ５３ ドライブ装置 ５４ 補助記憶装置 ５５ メモリ装置 ５６ ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ） ５７ ネットワーク接続装置 ５８ 記録媒体
【特許請求の範囲】
【請求項１】
異なる時間に撮影された映像に含まれる人物を同定する人物同定装置において、 前記人物の同定要素を抽出する同定要素抽出手段と、 前記同定要素抽出手段により得られた特徴量から予め設定された撮影条件に応じて既に設定されている同定要素から使用しない同定要素を選択する同定要素選択手段と、 前記同定要素選択手段により得られた同定要素を用いて前記人物の同定を行う同定手段とを有することを特徴とする人物同定装置。
【請求項２】
前記同定手段は、 前記同定要素選択手段により選択された同定要素に対するそれぞれの重み付けを、現在の重み付けの比率に対応させて再設定することを特徴とする請求項１に記載の人物同定装置。
【請求項３】
前記同定要素抽出手段は、 前記同定要素として、歩容、体型、性別を特徴量として抽出し、 前記歩容は、歩幅、歩調、歩速、歩速の標準偏差、歩行加速度の標準偏差、体の傾き、及び脚長のうち、少なくとも１つを有することを特徴とする請求項１又は２に記載の人物同定装置。
【請求項４】
前記同定手段により前記人物と同一人物であると同定された場合には、前記人物を追跡する追跡手段と、 前記追跡手段における追跡結果から不審者を検出する不審者検出手段と、 前記追跡結果を表示する画面を生成する画面生成手段とを有することを特徴とする請求項１乃至３の何れか１項に記載の人物同定装置。
【請求項５】
異なる時間に撮影された映像に含まれる人物を同定する人物同定方法において、 前記人物の同定要素を抽出する同定要素抽出手順と、 前記同定要素抽出手順により得られた特徴量から予め設定された撮影条件に応じて既に設定されている同定要素から使用しない同定要素を選択する同定要素選択手順と、 前記同定要素選択手順により得られた同定要素を用いて前記人物の同定を行う同定手順とを有することを特徴とする人物同定方法。
【請求項６】
前記同定手順は、 前記同定要素選択手順により選択された同定要素に対するそれぞれの重み付けを、現在の重み付けの比率に対応させて再設定することを特徴とする請求項４に記載の人物同定方法。
【請求項７】
前記同定要素抽出手順は、 前記同定要素として、歩容、体型、性別を特徴量として抽出し、 前記歩容は、歩幅、歩調、歩速、歩速の標準偏差、歩行加速度の標準偏差、体の傾き、及び脚長のうち、少なくとも１つを有することを特徴とする請求項５又は６に記載の人物同定方法。
【請求項８】
前記同定手順により前記人物と同一人物であると同定された場合には、前記人物を追跡する追跡手順と、 前記追跡手順における追跡結果から不審者を検出する不審者検出手順と、 前記追跡結果を表示する画面を生成する画面生成手順とを有することを特徴とする請求項５乃至７の何れか１項に記載の人物同定方法。
【請求項９】
異なる時間に撮影された映像に含まれる人物を同定する人物同定装置における人物同定プログラムにおいて、 コンピュータを、 前記人物の同定要素を抽出する同定要素抽出手段、 前記同定要素抽出手段により得られた特徴量から予め設定された撮影条件に応じて既に設定されている同定要素から使用しない同定要素を選択する同定要素選択手段、及び、 前記同定要素選択手段により得られた同定要素を用いて前記人物の同定を行う同定手段として機能させるための人物同定プログラム。
【請求項１０】
前記同定手段は、 前記同定要素選択手段により選択された同定要素に対するそれぞれの重み付けを、現在の重み付けの比率に対応させて再設定することを特徴とする請求項９に記載の人物同定プログラム。
【請求項１１】
前記同定要素抽出手段は、 前記同定要素として、歩容、体型、性別を特徴量として抽出し、 前記歩容は、歩幅、歩調、歩速、歩速の標準偏差、歩行加速度の標準偏差、体の傾き、及び脚長のうち、少なくとも１つを有することを特徴とする請求項８又は９に記載の人物同定プログラム。
【請求項１２】
前記同定手段により前記人物と同一人物であ
ると同定された場合には、前記人物を追跡する追跡手段と、 前記追跡手段における追跡結果から不審者を検出する不審者検出手段と、 前記追跡結果を表示する画面を生成する画面生成手段とを有することを特徴とする請求項９乃至１１の何れか１項に記載の人物同定プログラム。
【請求項１】
異なる時間に撮影された映像に含まれる人物を同定する人物同定装置において、 前記人物の同定要素を抽出する同定要素抽出手段と、 前記同定要素抽出手段により得られた特徴量から予め設定された撮影条件に応じて既に設定されている同定要素から使用しない同定要素を選択する同定要素選択手段と、 前記同定要素選択手段により得られた同定要素を用いて前記人物の同定を行う同定手段とを有することを特徴とする人物同定装置。
【請求項２】
前記同定手段は、 前記同定要素選択手段により選択された同定要素に対するそれぞれの重み付けを、現在の重み付けの比率に対応させて再設定することを特徴とする請求項１に記載の人物同定装置。
【請求項３】
前記同定要素抽出手段は、 前記同定要素として、歩容、体型、性別を特徴量として抽出し、 前記歩容は、歩幅、歩調、歩速、歩速の標準偏差、歩行加速度の標準偏差、体の傾き、及び脚長のうち、少なくとも１つを有することを特徴とする請求項１又は２に記載の人物同定装置。
【請求項４】
前記同定手段により前記人物と同一人物であると同定された場合には、前記人物を追跡する追跡手段と、 前記追跡手段における追跡結果から不審者を検出する不審者検出手段と、 前記追跡結果を表示する画面を生成する画面生成手段とを有することを特徴とする請求項１乃至３の何れか１項に記載の人物同定装置。
【請求項５】
異なる時間に撮影された映像に含まれる人物を同定する人物同定方法において、 前記人物の同定要素を抽出する同定要素抽出手順と、 前記同定要素抽出手順により得られた特徴量から予め設定された撮影条件に応じて既に設定されている同定要素から使用しない同定要素を選択する同定要素選択手順と、 前記同定要素選択手順により得られた同定要素を用いて前記人物の同定を行う同定手順とを有することを特徴とする人物同定方法。
【請求項６】
前記同定手順は、 前記同定要素選択手順により選択された同定要素に対するそれぞれの重み付けを、現在の重み付けの比率に対応させて再設定することを特徴とする請求項４に記載の人物同定方法。
【請求項７】
前記同定要素抽出手順は、 前記同定要素として、歩容、体型、性別を特徴量として抽出し、 前記歩容は、歩幅、歩調、歩速、歩速の標準偏差、歩行加速度の標準偏差、体の傾き、及び脚長のうち、少なくとも１つを有することを特徴とする請求項５又は６に記載の人物同定方法。
【請求項８】
前記同定手順により前記人物と同一人物であると同定された場合には、前記人物を追跡する追跡手順と、 前記追跡手順における追跡結果から不審者を検出する不審者検出手順と、 前記追跡結果を表示する画面を生成する画面生成手順とを有することを特徴とする請求項５乃至７の何れか１項に記載の人物同定方法。
【請求項９】
異なる時間に撮影された映像に含まれる人物を同定する人物同定装置における人物同定プログラムにおいて、 コンピュータを、 前記人物の同定要素を抽出する同定要素抽出手段、 前記同定要素抽出手段により得られた特徴量から予め設定された撮影条件に応じて既に設定されている同定要素から使用しない同定要素を選択する同定要素選択手段、及び、 前記同定要素選択手段により得られた同定要素を用いて前記人物の同定を行う同定手段として機能させるための人物同定プログラム。
【請求項１０】
前記同定手段は、 前記同定要素選択手段により選択された同定要素に対するそれぞれの重み付けを、現在の重み付けの比率に対応させて再設定することを特徴とする請求項９に記載の人物同定プログラム。
【請求項１１】
前記同定要素抽出手段は、 前記同定要素として、歩容、体型、性別を特徴量として抽出し、 前記歩容は、歩幅、歩調、歩速、歩速の標準偏差、歩行加速度の標準偏差、体の傾き、及び脚長のうち、少なくとも１つを有することを特徴とする請求項８又は９に記載の人物同定プログラム。
【請求項１２】
前記同定手段により前記人物と同一人物であ
ると同定された場合には、前記人物を追跡する追跡手段と、 前記追跡手段における追跡結果から不審者を検出する不審者検出手段と、 前記追跡結果を表示する画面を生成する画面生成手段とを有することを特徴とする請求項９乃至１１の何れか１項に記載の人物同定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１１】
【図１２】
【図１３】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１１】
【図１２】
【図１３】
【図９】
【図１０】
【公開番号】特開２０１０−２３９９９２（Ｐ２０１０−２３９９９２Ａ）
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願番号】特願２００９−８８５６２（Ｐ２００９−８８５６２）
【出願日】平成２１年３月３１日（２００９．３．３１）
【出願人】（０００２０２３６１）綜合警備保障株式会社 (266)
【Ｆターム（参考）】
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願日】平成２１年３月３１日（２００９．３．３１）
【出願人】（０００２０２３６１）綜合警備保障株式会社 (266)
【Ｆターム（参考）】
[ Back to top ]