把持物体認識装置、把持物体認識方法、及び把持物体認識プログラム
【課題】撮影等により得られた映像や画像に含まれる人物が把持する把持物体等を高精度に認識する。
【解決手段】映像又は画像に含まれる人物が把持している物体を認識する把持物体認識装置において、前記映像又は画像に含まれる少なくとも１人の人物の人体領域を検出する人体領域検出手段と、前記人体領域検出手段により得られる人体領域から手先領域を検出する手先検出手段と、前記手先検出手段により得られる手先領域に対応した手先の位置情報に基づいて、把持物体を検出する把持物体検出手段とを有することにより、上記課題を解決する。
【解決手段】映像又は画像に含まれる人物が把持している物体を認識する把持物体認識装置において、前記映像又は画像に含まれる少なくとも１人の人物の人体領域を検出する人体領域検出手段と、前記人体領域検出手段により得られる人体領域から手先領域を検出する手先検出手段と、前記手先検出手段により得られる手先領域に対応した手先の位置情報に基づいて、把持物体を検出する把持物体検出手段とを有することにより、上記課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、把持物体認識装置、把持物体認識方法、及び把持物体認識プログラムに係り、特に撮影等により得られた映像や画像に含まれる人物が把持する把持物体等を高精度に認識するための把持物体認識装置、把持物体認識方法、及び把持物体認識プログラムに関する。
【背景技術】
【０００２】
従来、銀行や百貨店、コンビニエンスストア等の小売店等の監視区域内には、防犯等の理由で防犯カメラが設置されている。また、従来では、その防犯カメラにより撮影された映像（画像も含む）を解析して、強盗等の犯罪が発生しているか否かを認識する手法が提案されている（例えば、特許文献１参照）。
【０００３】
例えば、特許文献１に示されている手法では、画像処理機能を有するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラにおいて、撮像画像内の人物が両手を挙げた行為や、両手を頭上におく行為を認識する機能を有する能動的防犯カメラが示されている。
【０００４】
つまり、従来では、客と対面して現金の受け渡し等の業務に従事している人は、強盗等に襲われる可能性も高く、また強盗目的の加害者は凶器等を所有していることから、迂闊にカウンター下部等に採りつけて取り付けてある警察への通知機能を作動させる行為をとると加害者を刺激し、障害を負う可能性がある。そのため、両手を上げたり、頭上においたりする行為は、特に怪しまれないことや犯人から要求される行為であるため、従事者のこのような行為をＣＣＤカメラによって認識させ、いち早く警察や他の機関に通報する機能が設けられている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−３５４４５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述したような従来技術では、その人物が両手を挙げる行為や両手を頭上におく行為を意図せず無意識に行った場合に、誤って警備員等に通報されてしまう場合がある。
【０００７】
また、犯罪発生時には、その犯人の風貌等の他にもその犯人がどのような凶器を所持しているかも重要となるが、従来技術では、犯人が所持するものまで正確に認識できる技術が存在していなかった。
【０００８】
更に、犯罪を未然に防止する観点から言えば、例えば画像処理によりコンビニエンスストアや銀行等で強盗が多用する凶器である刃物等を認識し、その結果により犯罪の予兆を察知することが好ましいが、現在では人物が把持している物を具体的に特定する技術は存在していない。
【０００９】
なお、従来では、防犯の観点から刃物を所持する人物を認識する方法として、例えば空港に備えられるセキュリティゲートのようなものがある。しかしながら、このゲートは刃物だけでなく金属全体を検出するものであり、また、装置全体が大きく、コストも掛かるため、小売店等の店舗の防犯には向いていない。
【００１０】
更に、一般的な画像認識技術では、画像全体を走査して認識を行おうとすると、計算コストが増大するという課題があった。そこで、物を持っている手が存在する領域にのみに認識処理をすることができれば無駄な処理を防ぐことができるが、画像中の人物の把持の有無を精度よく効率的に認識する手法は従来技術には存在していなかった。
【００１１】
また、把持物体は、通常、人物の手の周辺にあると考えられるため、手が存在する位置周辺でのみ把持物体の認識処理を行えば計算量を削減できる。そのためには、まず人物の手先の位置に関する情報を知ることが必要になる。ここで、人間の手先位置を検出する技術については、幾つかの分野で利用されており、例えば、「ジェスチャ認識」、「手話認識」、「モーションキャプチャ」、「挙動認識、行動認識」等がある。
【００１２】
ここで、「ジェスチャ認識」は、例えばゲームＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）として用いられるが、利用者に手を認識させるための動作をさせる必要があり、また肌色検出を行うためにはその肌色が検出できる場所等、理想的な環境で扱うことが前提となる。また、「手話認識」は、手話自動認識等に用いられるが、肌色が検出できる場所（白い背景）等、理想的な環境で扱うことが前提となる。また、「モーションキャプチャ」は、アニメーション化や運動解析等で用いられるが、人物にマーカーをつける必要があったり、多数のカメラや赤外線カメラ等を使用しなければならず、既存の防犯カメラのみで認識することができない。更に、「挙動認識、行動認識」は、例えば防犯や人物認証、マーケティング等に用いられるが、多数のカメラ、赤外線カメラ等を使用するものは、既存の防犯カメラのみで認識することができず、また腕を含む領域を検出してしまうような大雑把な手先検出法では、詳細な動作や把持の有無を認識することができなかったため、上述したような従来手法では、防犯上の目的に応用するのは困難であった。
【００１３】
また従来から、上述した把持物体の認識の他にも、例えば手先や頭、足等の人体の部位を画像情報から高精度に検出し、認識することで防犯等に活用することが求められてきたが、その適切な手法が存在していなかった。更に、画像中の人物が物を把持しているか否かという情報は、防犯上有益な情報であるにもかかわらず、前述のとおり、画像中の人物の把持の有無を認識する手法が存在していなかったため、その種の情報を画像処理等により入手することは難しかった。そのため、例えば、画像中の人物が刃物を持って脅しているのか、ただ手を伸ばしたり突き出したりしているだけなのかを見分けたり、物を持つ又は置くという動作を認識することが困難であった。
【００１４】
本発明は、上記の問題点に鑑みてなされたものであって、撮影等により得られた映像や画像に含まれる人物が把持する把持物体等を高精度に認識するための把持物体認識装置、把持物体認識方法、及び把持物体認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、本発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１６】
本発明は、映像又は画像に含まれる人物が把持している物体を認識する把持物体認識装置において、前記映像又は画像に含まれる少なくとも１人の人物の人体領域を検出する人体領域検出手段と、前記人体領域検出手段により得られる人体領域から手先領域を検出する手先検出手段と、前記手先検出手段により得られる手先領域に対応した手先の位置情報に基づいて、把持物体を検出する把持物体検出手段とを有することを特徴とする。
【００１７】
また本発明は、映像又は画像に含まれる人物が把持している物体を認識する把持物体認識方法において、前記映像又は画像に含まれる少なくとも１人の人物の人体領域を検出する人体領域検出ステップと、前記人体領域検出ステップにより得られる人体領域から手先領域を検出する手先検出ステップと、前記手先検出ステップにより得られる手先領域に対応した手先の位置情報に基づいて、把持物体を検出する把持物体検出ステップとを有することを特徴とする。
【００１８】
また本発明は、コンピュータを、請求項１乃至１１の何れか１項に記載された把持物体認識装置として機能させることを特徴とする把持物体認識プログラムである。
【発明の効果】
【００１９】
本発明によれば、撮影等により得られた映像や画像に含まれる人物が把持する把持物体等を高精度に認識することができる。また、画像処理により把持物体認識を効率よく実現することができるため、監視カメラ映像等の監視担当者の負担を軽減することができる。
【図面の簡単な説明】
【００２０】
【図１】把持物体認識装置の機能構成の一例を示す図である。
【図２】本実施形態における把持物体認識処理が実現可能なハードウェア構成の一例を示す図である。
【図３】第１の実施例における把持物体認識処理手順の一例を示すフローチャートである。
【図４】人体領域検出から特定物体推定までの処理の流れを説明するための図である。
【図５】本実施形態におけるグラフ化処理を説明するための図である。
【図６】第２の実施例における把持物体認識処理手順の一例を示すフローチャートである。
【図７】第２の実施例における円検出処理を説明するための一例を示す図である。
【図８】第３の実施例における把持物体認識処理手順の一例を示すフローチャートである。
【図９】第３の実施例における手先部位認識処理を説明するための一例を示す図である。
【図１０】グラフマッチングの概念図を示す図である。
【図１１】モデルグラフデータベースを説明するための図である。
【図１２】対象人物の手が挙がっている場合の対応を説明するための図である。
【図１３】第４の実施例における把持物体認識処理手順の一例を示すフローチャートである。
【図１４】第４の実施例における円検出処理を説明するための一例を示す図である。
【図１５】本実施形態における円検出手法の具体例を説明するための図である。
【図１６】（ウ）の処理手順の一例を示すフローチャートである。
【図１７】第５の実施例における把持物体認識処理手順の一例を示すフローチャートである。
【図１８】第５の実施例における把持物体の有無の認識手法について説明するための図である。
【図１９】手先検出の実施例を説明するための図である。
【図２０】本実施形態により生成される画面の一例を示す図である。
【発明を実施するための形態】
【００２１】
＜本発明について＞
本発明は、防犯カメラ等の撮像手段に撮影された映像（画像も含む）や、インターネット等の通信ネットワーク等により外部から取得した各種映像等から人物の部位の認識や動作の認識を高精度に行う。そのため、本発明では、例えば画像中の人物の手先の座標位置の認識や把持物体の有無の認識、把持物体の認識等を行う。
【００２２】
具体的には、本発明は、例えば既存の単眼防犯カメラ１台等を用いて撮影された映像等に対する画像認識により、刃物等の把持物体を認識する。また、画像中から直接刃物等の把持物体を認識するのではなく、人体検出から人体の所定の部位（例えば、手先、頭、足等）を検出し、更に把持の有無の認知までの処理を行って把持物体の領域を絞り込んだうえで、正確な把持物体の認識を行う。このように把持物体領域を特定することで、画像全体から把持物体を認識する場合に比べて、計算コストを格段に減少させることができる。
【００２３】
以下に、本発明における把持物体認識装置、把持物体認識方法、及び把持物体認識プログラムを好適に実施した形態について、図面を用いて説明する。なお、以下の処理では、人体の部位検出の一例として手先検出を例に説明するが、本発明においてはこれに限定されるものではなく、例えば頭（顔）、足等の部位であってもよい。
【００２４】
＜把持物体認識装置：機能構成例＞
図１は、把持物体認識装置の機能構成の一例を示す図である。図１に示す把持物体認識装置１０は、入力手段１１と、出力手段１２と、蓄積手段１３と、人体領域検出手段１４と、部位検出手段としての手先検出手段１５と、把持物体検出手段１６と、特定物体推定手段１７と、挙動認識手段１８と、画面生成手段１９と、通知手段２０と、送受信手段２１と、制御手段２２とを有するよう構成されている。
【００２５】
入力手段１１は、ユーザ等からの人体領域検出指示や、手先検出指示、把持物体検出指示、特定物体推定指示、挙動認識指示、画面生成指示、通知指示、送受信指示等の本実施形態を実現するための各種指示を受け付ける。なお、入力手段１１は、例えばキーボードや、マウス等のポインティングデバイス、マイク等の音声入力デバイス等からなる。
【００２６】
出力手段１２は、入力手段１１により入力された指示内容や、各指示内容に基づいて生成された制御データにより、各構成で実行された経過又は結果等の各種情報を表示したり、その音声を出力する。なお、出力手段１２は、ディスプレイ等の画面表示機能やスピーカ等の音声出力機能等を有する。
【００２７】
更に、出力手段１２は、各機能により出力された結果や画面生成手段１９により生成された画面に表示された情報等を外部機器に出力する。つまり、出力手段１２は、外部機器への出力として、例えば、プリンタに出力したり、ファイルを生成して蓄積手段１３や、予め設定されたデータベース等の記憶装置や記録媒体に出力したり、監視区域（警備対象施設）内のセンサのＯＮ／ＯＦＦやライトの点灯／消灯を切り替えたり、警備員が所持する携帯端末に対して把持物体認識結果に基づく関連情報（異常があった場所や内容等）を表示するための制御信号を出力するといった印刷・出力機能等を有する。また、出力手段１２は、上述した１又は複数の外部機器に同時に出力することができる。
【００２８】
蓄積手段１３は、上述した本実施形態を実現するための様々な情報を蓄積することができ、必要に応じて読み出しや書き込みが行われる。具体的には、蓄積手段１３は、顔の認証や、性別・年代等を推定するのに使用される各種特徴量データや、人体領域検出手段１４における人体領域検出結果、手先検出手段１５における手先検出結果、把持物体検出手段１６における把持物体検出結果、特定物体推定手段１７における特定物体推定結果、挙動認識手段１８における挙動認識結果、画面生成手段１９における画面生成結果、通知手段２０における通知結果、送受信手段２１における送受信情報、制御手段２２により制御された情報、エラー発生時のエラー情報、ログ情報、本発明を実現するためのプログラム等の各情報が蓄積される。更に、蓄積手段１３は、後述するグラフマッチング用データベースや時系列的に取得される人体領域や所定の部位の移動軌跡に対応する行動パターン情報等を蓄積する。
【００２９】
人体領域検出手段１４は、例えば、コンビニエンスストアや百貨店等のレジ付近や、銀行の受付等の所定の監視区域等に設置された各防犯カメラや、巡回している監視ロボットに設けられたカメラ等の撮像手段等により撮影されたリアルタイム映像や、撮影された後蓄積された膨大な量の監視映像、送受信手段２１により接続されるインターネット等の通信ネットワークを介して遠隔地にある画像サーバ等に蓄積された映像等の各種映像に対して、その映像中の画像に対して人体領域検出を行い、人物が含まれているか否かを判断する。
【００３０】
具体的には、人体領域検出手段１４は、例えば、防犯カメラ等により撮影された映像を、送受信手段２１を介して取得し、その取得した映像に含まれる時系列の各画像のうち、所定の画像（各フレーム画像や数フレーム分の間隔を空けた画像等）をキャプチャし、キャプチャした画像について１又は複数の人物を検出する。
【００３１】
また、人体領域検出手段１４は、例えば連続する画像フレーム同士を比較して、色情報（輝度、色度等）が所定時間内に変化する場所が存在し、更にその場所で囲まれる領域が所定の領域以上のもの、又は経時的な移動範囲が所定の範囲内のものを人体領域として検出する。なお、人体検出手法については、本発明においてはこれに限定されるものではない。
【００３２】
また、人体領域検出手段１４は、人体領域の中心座標、及び人体領域の画像上の大きさを検出し、その人体領域を所定形状により元の画像に合成して人体領域が明確に分かるように画面表示するための各種情報を取得し、蓄積手段１３に蓄積させる。なお、人体領域の形状は、例えば矩形や円形、楕円形、他の多角形、人物の外形形状から所定倍率で拡大させた２値のシルエット形状等であってもよい。つまり、人体領域検出手段１４は、例えば、人体領域を白塗りにし、その他を黒塗りにしたシルエット形状の画像を生成することができる。更に、人体領域検出手段１４は、頭髪、上衣、下衣等の色情報を抽出したり、人物の実空間上での位置座標を算出したりする機能を有していてもよい。
【００３３】
手先検出手段（部位検出手段）１５は、人体領域検出手段１４により検出された人物領域に対する所定の部位として手先領域を検出する。具体的には、手先検出手段１５は、人体領域検出手段１４により検出された人物領域に対して細線化を行う。また、手先検出手段１５は、細線化された画像から、その端点や分岐点等の点同士の接続関係を表す行列（グラフ）に変換する。
【００３４】
また、手先検出手段１５は、原画像全体に対してエッジ検出を行い、検出された画面全体のエッジ情報から、人体領域のエッジを抽出する。また、手先検出手段１５は、変換したグラフに基づき、予め人物の姿勢等を登録した人物モデルグラフを用いてマッチングを行う。これにより、得られた領域が人物であるかどうかを判別すると共に、手先に該当する１又は複数の端点をその辞書から得ることができ、端点を手先として検出することができる。
【００３５】
また、手先検出手段１５は、片手又は両手の部位を検出してもよく、また手先以外にも頭や足等、予め設定される複数の部位のうち、１又は複数の部位を、予め設定されたそれぞれの形状や色等の特徴を用いたパターンマッチング処理等を行うことで、同時に検出してもよい。なお、手先の検出においては、例えば、最初に、画像中に含まれる対象人物の一方の手の手先領域を検出し、その後、検出した手先領域の特徴に基づいて、同一画像中の他の手先領域を検出することで両手を検出することができる。
【００３６】
更に、手先検出手段１５は、人体の頭部や手先等の各部位の判別を行ったり、例えば手先等の所定の部位の位置を特定する前に、その手先候補の推定を行ってもよい。なお、手先検出手段１５の具体例については後述する。
【００３７】
把持物体検出手段１６は、手先検出手段１５により得られた手先領域に把持された物体がある場合に、その把持物体を検出する。具体的には、把持物体検出手段１６は、画像から手先領域を取得し、その手先領域よりも先又は周囲に細線化した部分が存在している場合には、物体を把持しているものとして把持物体の有無を検出する。
【００３８】
また、把持物体検出手段１６は、手先検出手段１５により得られた手先領域の周囲に所定の画素の集まりが複数存在するか否かを判断し、複数存在する場合に把持物体が存在するとして把持物体の有無を検出することもできる。
【００３９】
また、把持物体検出手段１６は、把持物体が有ると判断した場合に、例えば、手先の位置（座標等）、その手先よりも先又は周囲に細線化した部分の長さ、端点の位置等を把持物体に関する情報として検出する。
【００４０】
特定物体推定手段１７は、把持物体検出手段１６により検出された把持物体の内容が何であるか、その特定物体を推定する。具体的には、特定物体推定手段１７は、例えば、把持物体検出手段１６により検出された手先の位置、その手先よりも先又は周囲に細線化した部分の長さ、端点の位置、人体領域検出手段１４により得られる人体領域を用いた手先付近のシルエット形状、大きさ等を取得し、予め蓄積された把持物体情報（例えば、刃物や拳銃等の種類毎の大きさ、形状等の凶器情報）と比較して対象となる把持物体が刃物や拳銃等の凶器（危険物）であるか、または単なる荷物であるか、それ以外のものであるか等、把持物体に関する特定物体の推定を行う。
【００４１】
挙動認識手段１８は、人体領域検出手段１４により検出された人体領域情報、手先検出手段１５により検出された手先位置情報、及び、把持物体検出手段１６により検出された把持物体情報等のうち、少なくとも１つの情報を、撮影された映像から時系列に取得し、取得した人体領域や手先位置等の連続的な移動方向、移動速度、所定動作の繰り返し回数等により対象人物の挙動を認識する。なお、挙動認識手段１８は、例えば、人体領域及び所定の部位の時系列情報と、予め設定された行動パターンとを照合して、その人物挙動を認識することができる。つまり、本実施形態では、例えば、手先位置情報や把持物体情報が取得できなかった場合でも人体領域の移動内容等により挙動を認識することができる。
【００４２】
具体的には、挙動認識手段１８は、例えば、予め設定された行動パターンとして、人体領域がコンビニエンスストアのレジ付近を何度も往復するような場合や、レジ付近で所定時間以上停止しているような場合には、その人物を不審者として認識する。更に、挙動認識手段１８は、手先の時間経過に伴う移動状態や手先の位置情報等から手先の突き出し行為の有無等を認識する。
【００４３】
また、挙動認識手段１８は、設置されたカメラの設置場所や位置等の位置情報と人体領域から顔領域を抽出し、その顔領域から顔の特徴点を取得して、顔の向き等により挙動を認識することもできる。なお、顔の特徴点は、例えば撮影された画像に含まれる顔における目や鼻、口等の位置情報からその顔の特徴量を取得し、予め設定された顔として検出されるための特徴量の照合パターンを用いたマッチング処理等を行うことにより人物の顔を検出する。また、上述の顔検出処理に限定されず、例えばエッジ検出や形状パターン検出による顔検出、色相抽出又は肌色抽出による顔検出等を用いることができる。
【００４４】
更に、挙動認識手段１８は、顔領域の中心座標（位置情報）、及び領域の画像上の大きさ（サイズ）を検出し、その顔領域を所定形状により元の画像に合成して顔領域が明確に分かるように画面表示するための各種情報を取得し、蓄積手段１３に蓄積させることもできる。なお、顔領域の形状は、本発明においては、矩形や円形、楕円形、他の多角形、人物の顔の外形形状から所定倍率で拡大させたシルエット形状等であってもよい。
【００４５】
画面生成手段１９は、防犯カメラにより撮影された映像や人体領域検出手段１４により検出された人体領域、本実施形態における把持物体認識を行うためのメニュー画面、把持物体認識を行うための入力画面、通知手段２０における通知結果等、本実施形態における把持物体認識処理を実現するうえで必要な各種画面を生成する。このとき、画面生成手段１９は、上述した各構成により処理された結果を表示する画面を生成するだけでなく、蓄積手段１３等に予め設定された各種データを表示するための画面を生成することもでき、例えば撮影された人物の領域に対応する位置情報等に関する数値化されたデータ（例えば、座標や時間情報、人物情報）等を表示させることもできる。
【００４６】
また、画面生成手段１９は、把持物体が予め設定される特定物体に該当する場合には、その旨の内容を通知するための画面を生成する。なお、画面生成に必要な各種情報は、蓄積手段１３に予め蓄積されている情報等から必要な情報を適宜読み出して使用することができる。また、画面生成手段１９は、生成された画面等を出力手段１２としてのディスプレイ等に表示したり、スピーカ等により音声等を出力することができる。
【００４７】
通知手段２０は、特定物体推定手段１７により得られる推定結果において、把持物体が刃物や拳銃等の特定物体であった場合に、緊急信号を生成し、生成された緊急信号をユーザや管理者、警備会社等におけるそのビルの担当警備員、監視員、代表責任者、監視ロボット等の所定の連絡先に通知する。また、通知手段２０は、特定物体推定手段１７により得られる特定物体が刃物や拳銃等の特定物体である場合には、その画像に関する情報（検出日時、検出場所、その前の所定時間分の映像等）と、その特定物体の情報を画面生成手段１９により生成させて、出力手段１２により表示させる。
【００４８】
なお、通知手段２０は、例えば監視ロボット等に通知を行う場合には、その監視ロボットが対象者と対面しているか又は監視ロボットが備える撮像手段により対象者が撮影されるほど接近した位置にいるため、監視ロボットから対象者に対して音声メッセージを出力させたり、警報ランプや非常音等により周囲に対して注意を促すような処理を行わせるような監視ロボットに対する制御信号を通知することもできる。
【００４９】
送受信手段２１は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等の通信ネットワーク等を介して１又は複数の防犯カメラや監視ロボットが備える撮像手段からの監視映像を受信する。また、送受信手段２１は、例えば、上記の通信ネットワーク等を介して遠隔地にある画像サーバ等に蓄積された各種映像の中から必要な情報を選択して取得することもできる。
【００５０】
ここで、送受信手段２１は、防犯カメラから直接監視映像を受信し、リアルタイムに処理して事前に犯罪を予防することが好ましいが、例えば予め防犯カメラで取得した映像をどこかに一時的に保存しておき、その保存された情報をまとめて上述した本実施形態における各種処理を行ってもよい。
【００５１】
また、送受信手段２１は、装置内の蓄積手段１３に蓄積されている各種プログラムや各種データを他の端末に送信したり、他の端末から各種データを受信するための通信インタフェースとして用いることができる。
【００５２】
制御手段２２は、把持物体認識装置１０における各機能構成全体の制御を行う。具体的には、制御手段２２は、入力手段１１により入力されたユーザからの指示情報等に基づいて、上述した各機能構成における処理を実行させる等の各種制御を行う。
【００５３】
なお、上述した実施形態では、人体領域検出手段１４及び手先検出手段（部位検出手段）１５における各機能を把持物体認識装置１０に含めているが、本発明においてはこれに限定されるものではなく、人体領域検出手段１４及び手先検出手段（部位検出手段）１５としての機能を部位検出装置（図示せず）とし、把持物体認識装置１０とは別体に設けてもよい。
【００５４】
＜把持物体認識装置：ハードウェア構成例＞
ここで、上述した把持物体認識装置１０においては、各機能をコンピュータに実行させることができる実行プログラム（把持物体認識プログラム）を生成し、例えば汎用のパーソナルコンピュータ（ＰＣ）、サーバ等にその実行プログラムをインストールすることにより、本実施形態における把持物体認識を実現することができる。
【００５５】
ここで、本実施形態における把持物体認識処理が実現可能なコンピュータのハードウェア構成例について図を用いて説明する。図２は、本実施形態における把持物体認識処理が実現可能なハードウェア構成の一例を示す図である。図２における把持物体認識装置１０のコンピュータ本体には、入力装置３１と、出力装置３２と、ドライブ装置３３と、補助記憶装置３４と、メモリ装置３５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３６と、ネットワーク接続装置３７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【００５６】
入力装置３１は、使用者が操作するキーボード及びマウス等のポインティングデバイスを有しており、使用者からのプログラムの実行等、各種操作信号を入力する。出力装置３２は、本発明における把持物体認識等を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するモニタを有し、ＣＰＵ３６に有する制御プログラムに基づいてプログラム実行結果等を表示することができる。
【００５７】
ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えば、ＣＤ−ＲＯＭ等の記録媒体３８等により提供される。プログラムを記録した記録媒体３８はドライブ装置３３にセット可能であり、記録媒体３８に含まれる実行プログラムが、記録媒体３８からドライブ装置３３を介して補助記憶装置３４にインストールされる。
【００５８】
補助記憶装置３４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラムの他に、ドライブ装置３３から読み取ることができる各種データを蓄積し、必要に応じて入出力を行うことができる。また、上述した把持物体認識で得られる各種データ等を格納することもできる。
【００５９】
メモリ装置３５は、ＣＰＵ３６により補助記憶装置３４から読み出された実行プログラム等を格納する。なお、メモリ装置３５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。
【００６０】
ＣＰＵ３６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、メモリ装置３５により読み出され格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御する。
【００６１】
また、ＣＰＵ３６は、本発明における実行プログラム及び制御プログラムにより、本実施形態における把持物体認識処理を実現することができる。なお、プログラムの実行中に必要な各種情報は、補助記憶装置３４から取得することができ、また格納することもできる。
【００６２】
ネットワーク接続装置３７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、把持物体認識プログラムを実行することで得られた各種情報若しくは当該プログラム自体を他の端末等に提供することができる。
【００６３】
なお、本発明における実行プログラムはＣＤ−ＲＯＭ等の持ち運び可能な記録媒体３８に格納することにより任意の端末で、そのＣＤ−ＲＯＭから実行プログラムを取得し実行することができる。
【００６４】
なお、記録媒体３８は、上述したＣＤ−ＲＯＭの他、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
【００６５】
上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで高精度に本発明における把持物体認識処理を行うことができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における把持物体認識処理を容易に実現することができる。
【００６６】
＜把持物体認識処理例＞
次に、上述した把持物体認識装置１０や把持物体認識プログラムを用いた本実施形態における把持物体認識処理手順について説明する。
【００６７】
＜第１の実施例＞
図３は、第１の実施例における把持物体認識処理手順の一例を示すフローチャートである。また、図４は、人体領域検出から特定物体推定までの処理の流れを説明するための図である。図３において、まず所定の位置に取り付けられたカメラ等の撮像手段により撮影された映像中に含まれる所定の画像をキャプチャ（取得）し（Ｓ０１）、キャプチャした画像に含まれる人体領域を検出する（Ｓ０２）。具体的には、Ｓ０１の処理により図４（ａ）に示すような撮影画像（原画像）がキャプチャされ、その画像に対して、Ｓ０２の処理により、図４（ｂ）に示すように人体領域をシルエットとして検出している。なお、この例では、人体領域を白塗りとし、その他を黒塗りとしているが、本発明においてはこれに限定されるものではない。
【００６８】
次に、Ｓ０２の処理の結果として人体領域があるか否かを判断し（Ｓ０３）、人体領域がある場合（Ｓ０３において、ＹＥＳ）、その人体領域に対して上述した人体の所定の部位（手先等）検出や、把持物体検出、特定物体推定、挙動認識等といったそれぞれの処理を行う。具体的には、Ｓ０２の処理において検出された人体領域に対して、後述するように細線化処理を行い（Ｓ０４）、細線化された人体情報を用いてグラフを作成し（Ｓ０５）、手先検出を行う（Ｓ０６）。なお、両手がカメラに撮影されていれば、両手の手先が抽出される。また、複数人数が撮影されていれば、その人物毎の手の手先が抽出される。
【００６９】
ここで、Ｓ０６の処理において、手先があるか否かを判断し（Ｓ０７）、手先がある場合（Ｓ０７において、ＹＥＳ）、把持物体を検出し（Ｓ０８）、検出された結果に基づいて、その把持物体の形状から、予め設定された刃物等の凶器情報と比較して、その特定物体を推定する（Ｓ０９）。
【００７０】
図４を用いて具体的に説明すると、Ｓ０４の処理により図４（ｃ）に示すように人体領域のシルエットを圧縮して得られる中心点を結んで線分化を行い、細線化した情報に基づいてグラフ化を行い、その結果から画像中における手先部分の位置座標が取得される。
【００７１】
また、図４（ｄ）に示すように、手先部分の位置座標と、上述したＳ０４の処理における細線化により、手先領域よりも先又は周囲に細線化した部分が存在するか否かを判断し、細線化した部分が存在すれば把持物体を把持しているものとして、図４（ｅ）に示すように、把持物体を検出する。また、Ｓ０９の処理により、図４（ｆ）に示すように、把持物体の形状等から特定物体を推定する。
【００７２】
更に、Ｓ０９の処理が終了後、又はＳ０７の処理において、手先がない場合（Ｓ０７において、ＮＯ）、必要に応じて挙動認識を行い（Ｓ１０）、その結果をディスプレイ等に表示する画面を生成し（Ｓ１１）、生成した画面を表示する（Ｓ１２）。なお、Ｓ１０の処理では、１つ画像からだけではなく、例えば時系列の映像から選択された複数の画像における人体領域検出結果や手先検出結果、把持物体検出結果等の比較を行って挙動認識を行うことができる。また、手先がない場合にも人体領域の検出結果のみを用いて挙動認識を行うことができる。
【００７３】
また、Ｓ０９の処理における特定物体の推定や、Ｓ１０の処理における挙動認識において、不審者又は危険人物等であると判断された場合には、ユーザや管理センタ、警備員等に通知を行う（Ｓ１３）。
【００７４】
ここで、Ｓ０３の処理において人体領域がない場合（Ｓ０３において、ＮＯ）、又はＳ１３の処理が終了後、把持物体認識処理を終了するか否かを判断し（Ｓ１４）、把持物体認識処理を終了しない場合（Ｓ１４において、ＮＯ）、Ｓ０１に戻り、次の対象画像をキャプチャして後続の処理を行う。また、ユーザ等からの終了指示等により把持物体認識処理を終了する場合（Ｓ１４において、ＹＥＳ）、処理を終了する。
【００７５】
＜グラフ化処理について＞
ここで、上述したＳ０５の処理におけるグラフ化処理について、図を用いて具体的に説明する。図５は、本実施形態におけるグラフ化処理を説明するための図である。
【００７６】
図５に示す例では、上述したＳ０４の処理において細線化した情報に対し、その線分中における分岐点と、端点とを設定し、設定された分岐点と端点とを行列により表記することにより、グラフ化を行っている。
【００７７】
具体的には、図５（ａ）に示すように、行列の行を分岐点の番号とし、行列の列を分岐点と端点の番号とし、行列要素が０の場合には、「接続関係なし」とし、行列要素が１の場合には、「接続関係あり」として行列によるグラフ化を行う。
【００７８】
つまり、図５（ａ）の例では、分岐点の０番は、分岐点の１番、端点の０，１，２番と接続し、分岐点の１番は、分岐点の０番、端点の３番、４番と接続していることを意味している。
【００７９】
また、本実施形態におけるグラフ化処理では、グラフ化される値（行列要素）に対して重みを付与することができる。具体的には、図５（ｂ）に示すように、カメラ等により撮影された映像から所定のフレーム画像をキャプチャし、キャプチャした画像から上述したように人体領域を検出し、検出された人体領域に対して細線化を行う。また、その細線化情報に基づいて上述したように分岐点及び端点からなる行列を用いてグラフ化を行う。
【００８０】
このとき、カメラの設置位置等に対応させて、人体領域を含む画像領域を更に複数の領域（ゾーン）に細分化し、細分化したデータに対して重み付けを付加してグラフ化（行列化）を行う。
【００８１】
図５（ｂ）の例では、人体領域に対応する画像領域に対して、例えば、全体の縦の長さを基準に上から１／５のゾーンを頭部ゾーン、下から足部ゾーン、残りの領域を手部ゾーンとして３つのゾーンに細分化している。そして、細分化した頭部ゾーンの重みを１とし、手部ゾーンの重みを２とし、足部ゾーンの重みを３として、それぞれグラフとして反映させる。更に、分岐点の部分と端点との部分とで異なる数値（例えば、分岐点９、端点１等）にすることで、違いを明確にすることができる。このように、各ゾーン毎に予め設定した重みや点の種類毎に異なる値を付与することにより、そのグラフを参照するだけで、どの部分の端点であるかを容易に把握することができ、その部分から手先やその他の部位（例えば、頭、足等）を容易に検出することができる。また、より重要なゾーンで検出された端点又は分岐点には、高い重みを付加しておくことにより、重要なゾーン毎に端点や分岐点を管理することができる。
【００８２】
上述したように、本実施形態では、画像から抽出した人体領域から取得した画像からグラフ化した情報と、予めグラフ化した情報に基づいて手先を検出し、検出した手先位置に基づいて、上述したように、把持物体検出や特定物体推定、挙動認識等の処理を行うことができる。
【００８３】
＜第２の実施例＞
次に、把持物体認識処理の第２の実施例について説明する。第２の実施例では、上述した第１の実施例における手先検出時に、手先のエッジが略円形に見えることに着目し、そのエッジの形状から手先の位置を検出する。なお、エッジが略円形というのは、人が刃物の柄を握る場合等には、必ず手は丸くなるからである。これにより、より正確に手先の位置を取得することができる。
【００８４】
ここで、第２の実施例における把持物体認識処理手順について図を用いて説明する。図６は、第２の実施例における把持物体認識処理手順の一例を示すフローチャートである。図６において、まず上述した第１の実施例と同様に所定の位置に取り付けられたカメラ等の撮像手段により撮影された映像中に含まれる所定の画像をキャプチャし（Ｓ２１）、キャプチャした画像に含まれる人体領域を検出する（Ｓ２２）。
【００８５】
次に、Ｓ２２の処理において、人体領域があるか否かを判断し（Ｓ２３）、人体領域がある場合（Ｓ２３において、ＹＥＳ）、検出された人体領域に対して細線化処理を行い（Ｓ２４）、細線化された人体情報を用いてグラフを作成し（Ｓ２５）、グラフの内容から手先と思われる部分を手先候補として検出する（Ｓ２６）。具体的には、グラフ化した情報に対して手先として判定された端点から次の分岐点までの範囲を、手先含有候補として検出する。例えば、上述した図５（ｂ）に示すように、撮影されるカメラの位置から推測される映されるべき人物の画像中における位置と、その人体領域に対する細線化情報とに基づいて、手先候補を検出する。なお、両手がカメラに撮影されていれば、両手の手先候補が抽出され、複数の人物が撮影されていれば、複数の人物に対する手先候補が抽出される。また、Ｓ２６の処理において、手先があるか否かを判断する（Ｓ２７）。
【００８６】
また、上述したＳ２３の処理において、人体領域がある場合（Ｓ２３において、ＹＥＳ）、Ｓ２４の処理と平行して画像全体に対するエッジを検出し（Ｓ２８）、更にエッジ化された画像の中から上述した人体領域に対応させて人体のエッジを検出する（Ｓ２９）。なお、本実施形態におけるエッジとは、画像中における隣接画素間の色差や輝度差等に基づき、物体の輪郭部分等を抽出する処理等を意味している。
【００８７】
また、Ｓ２７の処理において、手先候補がある場合（Ｓ２７において、ＹＥＳ）、及びＳ２９の処理が終了後、手先部分を抽出するための円検出を行う（Ｓ３０）。具体的には、上述した手先含有候補（手先候補）の細線化した線上の注目点に中心を置き、その各線上の点からの人体領域のエッジが円形に近い箇所を走査して探していく。なお、走査方向は、胴体方向から手先に対して行う。そして、例えば、最初に検出された円形に近い部分を手先部分として検出する。なお、Ｓ２８〜Ｓ３０の処理は、上述した手先検出手段（部位検出手段）１５により行われる処理である。
【００８８】
ここで、手先があるか否かを判断し（Ｓ３１）、手先がある場合（Ｓ３１において、ＹＥＳ）、把持物体を検出し（Ｓ３２）、検出された結果に基づいて特定物体を推定する（Ｓ３３）。
【００８９】
更に、Ｓ３３の処理が終了後、又はＳ３１の処理において、手先がない場合（Ｓ３１の処理において、ＮＯ）、必要に応じて挙動認識を行い（Ｓ３４）、その結果をディスプレイ等に表示する画面を生成し（Ｓ３５）、生成した画面を表示する（Ｓ３６）。また、Ｓ３３の処理における特定物体の推定や、Ｓ３４の処理における挙動認識において、不審者又は危険人物等であると判断された場合には、ユーザや管理センタ、警備員等に通知を行う（Ｓ３７）。
【００９０】
ここで、Ｓ２３の処理において、人体領域がない場合（Ｓ２３において、ＮＯ）、Ｓ２７の処理において、手先候補がない場合（Ｓ２７において、ＮＯ）、又はＳ３７の処理が終了後、把持物体認識処理を終了するか否かを判断し（Ｓ３８）、把持物体認識処理を終了しない場合（Ｓ３８において、ＮＯ）、Ｓ２１に戻り、次の対象画像をキャプチャして後続の処理を行う。また、ユーザ等からの終了指示等により把持物体認識処理を終了する場合（Ｓ３８において、ＹＥＳ）、処理を終了する。
【００９１】
＜円検出処理について＞
ここで、上述した第２の実施例における円検出処理について具体的に説明する。図７は、第２の実施例における円検出処理を説明するための一例を示す図である。図７の例では、上述した細線化処理により細線化された線分上に設定した所定の注目点を中心にして、予め設定された注目領域内に円又は円に近い形状があるか否かを判断し、円検出を行う。
【００９２】
具体的には、図７に示すように、ある点からのエッジ方向の角度に対して、領域内の全てのエッジ方向を、ヒストグラムに加算する。このとき、もしエッジの形状が円形であれば、全ての点のエッジ方向が注目点に対して９０°となり、略円形であれば、８０〜１００度以内のヒストグラムの値が大きくなる。そのため、これらの結果を、注目点を細線化した線分上で移動させて計測していくことで、円形部分を検出することができる。
【００９３】
なお、注目領域内に円がない場合には、図７に示すように、各エッジと中心がなす角度のヒストグラム結果はバラバラとなる。
【００９４】
ここで、本実施形態では、例えば、加算値の値が予め設定された閾値以上のときにその部分が円形であると推測することができる。なお、閾値は、画質や画像中における人体領域の大きさ等により適宜変更することができる。また、円検出の際には、上述したグラフ化情報に基づいて胴体部分から手のほうに向けて注目点を移動していき、最初に円を検出した部分の注目点を手先の位置とする。これは、２番目以降の円検出は、把持物体である可能性が高いからである。なお、上述の処理は、画像中に含まれる全ての手先候補に対して行われる。
【００９５】
上述したように、第２の実施例における円検出処理を行うことで、画像中の人体に対する所定の部位（例えば、手先等）の位置を高精度に取得するこができる。なお、本実施形態において、手先は、握った状態でも開いた状態でも、対応する所定の形状を用いて容易に認識することができる。また、所定の形状は、認識対象の部位毎に設定されており、例えば足であれば足先の形状が設定され、頭であれば大きめの円形状が設定される。
【００９６】
＜第３の実施例＞
次に、把持物体認識処理の第３の実施例について説明する。第３の実施例では、上述した第１の実施例におけるグラフ作成後、そのグラフ化された人体情報に対して予め設定された人体のポーズに対応するモデルグラフとのマッチングを行い、一致しているグラフ化情報に対して手先検出を行う。これにより、より効率的且つ正確に手先の位置を取得することができる。
【００９７】
ここで、第３の実施例における把持物体認識処理手順について図を用いて説明する。図８は、第３の実施例における把持物体認識処理手順の一例を示すフローチャートである。図８において、まず上述した第１の実施例と同様に所定の位置に取り付けられたカメラ等の撮像手段により撮影された映像中に含まれる所定の画像をキャプチャし（Ｓ４１）、キャプチャした画像に含まれる人体領域を検出する（Ｓ４２）。次に、Ｓ４２の処理において、人体領域があるか否かを判断し（Ｓ４３）、人体領域がある場合（Ｓ４３において、ＹＥＳ）、検出された人体領域に対して細線化処理を行い（Ｓ４４）、細線化された人体情報を用いてグラフを作成し（Ｓ４５）、作成されたグラフ化された情報と予め設定されたモデルグラフとのマッチング処理を行う（Ｓ４６）。
【００９８】
次に、グラフが一致したか否かを判断し（Ｓ４７）、一致した場合（Ｓ４７において、ＹＥＳ）、その一致したモデルグラフに予め登録されている正確な手先位置情報から画像中の人体に対する手先を検出する（Ｓ４８）。なお、Ｓ４６〜Ｓ４８の処理は、上述した手先検出手段（部位検出手段）１５により行われる処理である。
【００９９】
ここで、手先があるか否かを判断し（Ｓ４９）、手先がある場合（Ｓ４９において、ＹＥＳ）、把持物体を検出し（Ｓ５０）、検出された結果に基づいて特定物体を推定する（Ｓ５１）。
【０１００】
更に、Ｓ５１の処理が終了後、又はＳ４９の処理において、手先がない場合（Ｓ４９において、ＮＯ）、必要に応じて挙動認識を行い（Ｓ５２）、その結果をディスプレイ等に表示する画面を生成し（Ｓ５３）、生成した画面を表示する（Ｓ５４）。また、Ｓ５３の処理における特定物体の推定や、Ｓ５４の処理における挙動認識において、不審者又は危険人物等であると判断された場合には、ユーザや管理センタ、警備員等に通知を行う（Ｓ５５）。
【０１０１】
ここで、Ｓ４３の処理において人体領域がない場合（Ｓ４３において、ＮＯ）、又はＳ５５の処理が終了後、把持物体認識処理を終了するか否かを判断し（Ｓ５６）、把持物体認識処理を終了しない場合（Ｓ５６において、ＮＯ）、Ｓ４１に戻り、次の対象画像をキャプチャして後続の処理を行う。また、ユーザ等からの終了指示等により把持物体認識処理を終了する場合（Ｓ５６において、ＹＥＳ）、処理を終了する。
【０１０２】
＜モデルグラフマッチング処理ついて＞
ここで、上述したモデルグラフマッチング処理について具体的に説明する。図９は、第３の実施例における手先部位認識処理を説明するための一例を示す図である。第３の実施例では、まず図９（ａ）に示す原画像に対して、図９（ｂ）に示すように人体領域の検出を行い、その後、図９（ｃ）に示すように、人体領域に対して細線化処理を行う。
【０１０３】
次に、その細線化された情報と、予め蓄積手段１３等に蓄積されたグラフマッチング用のモデルグラフデータベースに含まれる色々なポーズに対応する人体の細分化された情報とに基づいて、そのグラフ情報（行列）を基準としたマッチングを行い、図９（ｄ）に示すように一致するグラフをモデルグラフデータベースから取得する。なお、モデルグラフデータベースには、グラフ毎に手先や頭、足等の部位情報も、図５（ｂ）に示す重み付け処理により予め登録されているため、一致したグラフ情報から図９（ｅ）に示すように、手先部分を容易且つ確実に取得することができる。
【０１０４】
ここで、図１０は、グラフマッチングの概念図を示す図である。図１０に示すように、予め設定された人物の所定の動作パターンに対応する複数のモデルグラフが蓄積されたモデルグラフデータベースを用いて、グラフ化された情報に対してそれが人体領域であるか否かを正確に確認することができる。また、本実施形態では、各モデルグラフに予め正確な手、足、頭等の部位情報を設定しておき、その部位情報に基づいて、マッチングしたグラフから、その人体の手先部位等を高精度に取得することができる。
【０１０５】
したがって、図１０に示すように、モデルグラフデータベースを用いることで、例えば画像から得られたグラフ化データが、人体ではない場合やノイズ等で複雑に分岐した場合等のときに一致しないようにすることで、より高精度に人体の検出やその手先の位置や向き等の情報を取得することができる。
【０１０６】
なお、上述したモデルグラフデータベースは、予め蓄積手段１３に蓄積されていてもよく、送受信手段２１を用いてインターネット等の通信ネットワークを介して、外部装置から取得してもよい。
【０１０７】
上述したマッチングを行うことにより、特定の姿勢（手を挙げている等）を認識でき、人体検出時に誤って検出された領域を、無駄な処理することなく除外することができる。
【０１０８】
なお、上述した図９，図１０に示すようなモデルグラフは概念図であって、実際のモデルグラフのデータは、具体的には上述した行列等に基づいて登録されている。ここで、モデルグラフデータベースについて説明する。図１１は、モデルグラフデータベースを説明するための図である。なお、図１１（ａ）は、モデルグラフデータベースのデータ項目例を示し、図１１（ｂ）は、モデルグラフデータベースの具体的なデータ例を示している。
【０１０９】
図１１（ａ）に示すデータ項目としては、例えば、モデルグラフ番号によりモデルを識別する識別情報としての「ＭｏｄｅｌＩＤ」と、そのモデルの分岐点数を示す「ｂｒａｎｃｈｎｕｍ」と、そのモデルのノード数（分岐点＋端点数）を示す「ｎｏｄｅｎｕｍ」と、そのモデルのグラフ（例えば、図５（ｂ）に示すような重み付き隣接行列）を示す「ｇｒａｐｈ」と、モデル中の手先数を示す「ｈａｎｄＣｏｕｎｔ」等がある。また、図１１（ａ）に示す項目に対するデータは、図１１（ｂ）に示すように、複数のモデルがデータベースに蓄積されている。なお、このデータの配列や数値の条件等については、本発明においては特に制限されるものではない。
【０１１０】
例えば、手先を認識する際のモデルグラフマッチングでは、モデルグラフデータベースの構成要素のうち、「ｇｒａｐｈ」は手、頭、足の情報を表すものであり、各部位を識別するための重み付けがされる。なお、重み付け方法は、上述したように、例えば、得られた人体領域を５等分し、上１／５を頭部ゾーン、下１／５を足部ゾーン、残りの中央部を手部ゾーンとし、細分化した領域を上から順に１〜３の重みを付与する。また、例えば分岐点同士の接続には、９を付与することもできる。
【０１１１】
なお、上述したように、例えば人体領域を５等分する重み付け方法を用いた場合に、対象人物が手を挙げていると、頭部候補が２つとなり手の認識が難しくなるという問題がある。しかしながら、この場合には、上述した重み付けを行った細線化グラフと、予め用意したモデルグラフとのマッチングを行うことにより、特定の姿勢（手を挙げている等）を認識でき、人体検出時に誤って検出された領域を、無駄な処理することなく除外することができる。
【０１１２】
ここで、対象人物の手が挙がっている場合の対策処理について、図を用いて説明する。図１２は、対象人物の手が挙がっている場合の対応を説明するための図である。図１２（ａ）には、手が挙がっている場合の細線化した状態を示しており、図１２（ｂ）は、拡張したモデルグラフデータベースの項目例を示している。図１２（ｂ）の項目例では、図１１（ａ）のデータ例と比較して、挙手時の頭部位置決定処理用のパラメータである「ｈｅａｄ」と、手が上がっているモデルであることを示す「ｈａｎｄｓＵＰ」等が追加されている。
【０１１３】
つまり、図１２の例では、手が挙がっているか否かを「ｈａｎｄｓＵｐ」にて判別し、例えば、「ｈａｎｄｓＵｐ」が１以上の時、「ｈｅａｄ」の値別に処理を行い、手先と頭部を分離する。つまり、図１２（ａ）に示すように頭部ゾーンに２つの端点がある場合に、そのｘ方向（水平方向）を比較し、分岐点から離れた位置にある方を手先とするように設定する。
【０１１４】
また、一例として、片方の手先が上がっている場合（ｈａｎｄｓＵｐ：１）、０番目の分岐点のｘ座標値と頭部・手先候補を比較し、ｘ座標値が近い方を頭部とするという処理を行うことで、手先と頭部を分ける。「ｈｅａｄ」には、どの分岐点と比較すべきかの情報を示している。手が挙がっている場合の対策処理は、マッチング処理の結果として、手を挙げているというパラメータが抽出した場合に上述した頭部・手先判別処理が行われる。なお、頭部・手先判別処理は、上述した手先検出手段（部位検出手段）１５により行われる処理である。
【０１１５】
上述したように、第３の実施例におけるモデルグラフマッチング処理を行うことで、特定の姿勢（手を挙げている等）を認識でき、人体検出時に誤って検出された領域を、無駄な処理することなく除外することができる。
【０１１６】
＜第４の実施例＞
次に、把持物体認識処理の第４の実施例について説明する。第４の実施例では、上述した第３の実施例における手先検出時に、手先のエッジが略円形に見えることに着目し、そのエッジの形状から手先の位置を検出する。これにより、より正確に手先の位置を取得することができる。
【０１１７】
ここで、第４の実施例における把持物体認識処理手順について図を用いて説明する。図１３は、第４の実施例における把持物体認識処理手順の一例を示すフローチャートである。図１３において、まず上述した第１の実施例等と同様に所定の位置に取り付けられたカメラ等の撮像手段により撮影された映像中に含まれる所定の画像をキャプチャし（Ｓ６１）、キャプチャした画像に含まれる人体領域を検出する（Ｓ６２）。次に、Ｓ６２の処理において、人体領域があるか否かを判断し（Ｓ６３）、人体領域がある場合（Ｓ６３において、ＹＥＳ）、検出された人体領域に対して細線化処理を行い（Ｓ６４）、細線化された人体情報を用いてグラフを作成し（Ｓ６５）、作成されたグラフ化された情報と予め設定されたモデルグラフとのマッチング処理を行う（Ｓ６６）。
【０１１８】
次に、グラフが一致したか否かを判断し（Ｓ６７）、一致した場合（Ｓ６７において、ＹＥＳ）、その一致したモデルグラフに予め登録されている正確な手先位置情報から画像中の人体に対する手先候補を検出し（Ｓ６８）、手先候補があるか否かを判断する（Ｓ６９）。
【０１１９】
また、上述したＳ６３の処理において、人体領域がある場合（Ｓ６３において、ＹＥＳ）、Ｓ６４の処理と平行して画像全体に対するエッジを検出し（Ｓ７０）、更にエッジ化された画像の中から上述した人体領域に対応させて人体のエッジを検出する（Ｓ７１）。
【０１２０】
ここで、Ｓ６７の処理において、手先候補がある場合（Ｓ６７において、ＹＥＳ）、及びＳ６９の処理が終了後、手先部分を抽出するための円検出を行う（Ｓ７２）。具体的には、上述した手先含有候補（手先候補）の細線化した線上の注目点に中心を置き、その各線上の点からの人体領域のエッジが円形に近い箇所を走査して探していく。なお、走査方向は、胴体方向から手先に対して行う。そして、例えば、最初に検出された円形に近い部分を手先部分として検出する。なお、Ｓ６４〜Ｓ７２の処理は、上述した手先検出手段（部位検出手段）１５により行われる処理である。
【０１２１】
ここで、手先があるか否かを判断し（Ｓ７３）、手先がある場合（Ｓ７３において、ＹＥＳ）、把持物体を検出し（Ｓ７４）、検出された結果に基づいて特定物体を推定する（Ｓ７５）。
【０１２２】
更に、Ｓ７５の処理が終了後、又はＳ７３の処理において、手先がない場合（Ｓ７３の処理において、ＮＯ）、必要に応じて挙動認識を行い（Ｓ７６）、その結果をディスプレイ等に表示する画面を生成し（Ｓ７７）、生成した画面を表示する（Ｓ７８）。また、Ｓ７７の処理における特定物体の推定や、Ｓ７８の処理における挙動認識において、不審者又は危険人物等であると判断された場合には、ユーザや管理センタ、警備員等に通知を行う（Ｓ７９）。
【０１２３】
ここで、Ｓ６３の処理において、人体領域がない場合（Ｓ６３において、ＮＯ）、Ｓ６７の処理において、グラフが一致していない場合（Ｓ６７において、ＮＯ）、Ｓ６９の処理において、手先候補がない場合（Ｓ６９において、ＮＯ）、又はＳ７９の処理が終了後、把持物体認識処理を終了するか否かを判断し（Ｓ８０）、把持物体認識処理を終了しない場合（Ｓ８０において、ＮＯ）、Ｓ６１に戻り、次の対象画像をキャプチャして後続の処理を行う。また、ユーザ等からの終了指示等により把持物体認識処理を終了する場合（Ｓ８０において、ＹＥＳ）、処理を終了する。
【０１２４】
＜第４の実施例における円検出について＞
ここで、上述した第４の実施例における円検出処理について具体的に説明する。図１４は、第４の実施例における円検出処理を説明するための一例を示す図である。上述した第２の実施例における円検出と同様に、細線化処理により細線化された線分上に設定した所定の注目点を中心にして、予め設定された注目領域内に円があるか否かを判断し、円検出を行うものであるが、更に第４の実施例では、グラフマッチングを行うことで、より正確な手先領域の円検出を行うものである。
【０１２５】
具体的には、図１４（ａ）に示すような原画像から、図１４（ｂ）に示すような人体領域の検出を行い、図１４（ｃ）に示すように細線化を行い、図１４（ｄ）に示すグラフマッチングを行い、そのマッチングにより検出されたモデルグラフから、図１４（ｅ）に示すように手先の候補として手先候補線を取得する。
【０１２６】
また、第４の実施例では、原画像全体に対して図１４（ｆ）に示すようにエッジ検出を行い、検出された画面全体のエッジ情報から、図１４（ｇ）に示すように人体エッジを抽出し、抽出した人体エッジ情報と、手先候補情報とに基づいて、図１４（ｈ）に示すように手先の円検出を行う。
【０１２７】
上述したように、第４の実施例によれば、人体エッジとグラフマッチングとを用いて効率的且つ高精度に手先の円検出を行うことができる。
【０１２８】
＜円検出手法について＞
ここで、上述した円検出手法について、具体的に説明する。図１５は、本実施形態における円検出手法の具体例を説明するための図である。
【０１２９】
本実施形態における円検出手法では、例えば次の（ア）〜（エ）の例が考えられる。
（ア）エッジ検出→エッジの２値化→ヒストグラムに蓄積、判別を行う。
（イ）エッジ検出→エッジの２値化→エッジの細線化→ヒストグラムに蓄積、判別を行う。
（ウ）エッジ検出→エッジの２値化→エッジの細線化→エッジの円に対する占有度をヒストグラムに蓄積し、判別を行う。
（エ）細線化画像を用いて円の中心候補を絞り込んだ、上記（ア）〜（ウ）の方法を行う。ここで、上記（ア）〜（ウ）の具体的な処理について、以下に説明する。
【０１３０】
＜（ア）の手法について＞
まず、上述したように画像全体のエッジを検出した後、有効なエッジのみを残すため、閾値処理等によりエッジを２値化する。その後、該当領域のエッジをヒストグラム化し、円判定を行う。ヒストグラムに加算する際は、エッジがある画素１つに対し、該当の角度に１加算する。２値化前のエッジの値を、ヒストグラムに加算してもよい。
【０１３１】
このとき、図１５（ａ）に示すように、原画像からエッジ検出を行った際には、エッジ強度情報を持ち、その後エッジの２値化を行った場合にはエッジか否かの情報を持つことになる。
【０１３２】
＜（イ）の手法について＞
上述した（ア）の手法では、エッジ強度が高い場合等に円が２画素幅以上の線で構成されることでヒストグラムの加算値が増え、円らしい箇所が多く検出されてしまう可能性がある。そこで、（イ）の手法では、図１５（ｂ）に示すように、エッジを細線化し、１画素の線とすることで、円ではない箇所の無駄な検出を抑える。ここで、エッジの２値化及び細線化には、一般的な処理であるＣａｎｎｙのエッジ検出処理を用いているが、本発明においてはこれに限定されるものではない。また、（イ）の手法の場合、ヒストグラムに加算する際は、エッジがある画素１つに対し、該当の角度に１加算する。
【０１３３】
＜（ウ）の手法について＞
上述した（イ）では、円の大きさが大きくなるほど、円を構成する画素数が増え、ヒストグラムの加算値が高くなる。一方、小さい円は加算値が少なくなり、票数に閾値を与えて円検出を行う場合に、小さい円を検出しにくくなる可能性がある。また、小さい円を検出するためには閾値を下げる必要があり、その結果、円ではないエッジの塊を誤って円として検出してしまう可能性がある。
【０１３４】
そこで、（ウ）の手法では、注目領域の中心から注目する画素の距離を用い、注目画素が仮に真円を構成していると仮定したうえで、その注目画素が円周を占める割合（以下、「円占有度」という）をヒストグラムに加算する方法を用いる。これにより、大小の円を統合的に扱うことができ、円の大きさに関係なく円検出を行うことができる。
【０１３５】
ここで、（ウ）の手法について、図１５（ｃ）等を用いて、更に具体的に説明する。まず定数として注目領域の中心から注目する画素までの距離をｒとする。また、注目画素がエッジである場合、注目領域の中心をそのまま中心とした真円を構成していると仮定し、その注目画素が画素のサイズである「１」の長さ分円周を占めていることとする。このとき、半径がｒである円の円周は、「２πｒ」である。したがって、注目画素の円占有度は、「１／２πｒ」である。このようにして算出した円占有度をヒストグラムに加算し、同様の処理を注目領域の全画素に対して行う。このとき、注目領域にある図形が、注目領域の中心をそのまま中心とするエッジの途切れていない真円であれば、理想的には２πｒ個エッジが存在し、図１５（ｃ）に示すように、ヒストグラムの値が１（つまり、円周を１００％途切れなくエッジが並んでいる）と考えることができる。これにより、例えば、「円占有度が５０％以上であれば円とする」等の閾値を用いて円の判別を行うことができる。
【０１３６】
この方法では、注目領域にある図形が楕円形状の場合でも、円周をどの程度エッジで占めているかを把握し、他の領域との比較を行う際の有用な指標となる。楕円形状の場合、中心に近い（短軸に近い）エッジは占有度が大きくなり（１票の重み大）、逆に中心から遠い（長軸に近い）エッジは占有度が小さくなる（１票の重み小）。楕円が途切れていない場合は、円占有度が１に近似できる値になると考えられる。
【０１３７】
ただし、円のどの位置にある場合でも円周を「１」占めていると仮定しているため、円が途切れていない場合に、円占有度が１を超える場合がある。つまり、円占有度を用いたヒストグラムを使う場合、エッジの２値化・細線化をすることで、より有効な処理が可能となる。
【０１３８】
ここで、上述の（ウ）の処理手順についてフローチャートを用いて説明する。図１６は、（ウ）の処理手順の一例を示すフローチャートである。図１６において、まず上述したようにエッジを検出し（Ｓ８１）、検出したエッジの２値化を行い（Ｓ８２）、細線化を行う（Ｓ８３）。
【０１３９】
次に、注目領域分のループ処理を行う。注目領域分のループ処理としては、注目領域の画素分ループ処理として、まず注目している画素がエッジか否かを判断し（Ｓ８４）、エッジである場合（Ｓ８４において、ＹＥＳ）、上述したように円占有度を算出し（Ｓ８５）、ヒストグラムに追加する（Ｓ８６）。Ｓ８６の処理が終了後、又は、Ｓ８４の処理において、注目している画素がエッジでない場合（Ｓ８６において、ＮＯ）、次の画素に対して同様の処理を行う。
【０１４０】
画素分のループ処理が終了後、そのヒストグラムの結果から、その注目領域が円であるか否かを判断し（Ｓ８７）、円でない場合（Ｓ８７において、ＮＯ）、他の注目領域を設定し、その注目領域に対して同様の処理を行う。また、Ｓ８７の処理において、その注目領域が円である場合（Ｓ８７において、ＹＥＳ）、処理を終了する。
【０１４１】
なお、上述の注目領域分のループ処理としては、例えば、予め設定された細線化画像の腕上を円の中心候補とし、胴体方向から手先方向までを対象としてループ処理を行うことができるが、本発明においてはこれに限定されるものではない。
【０１４２】
また、上述の処理では、最初に円が検出された場合又は全領域で円が検出されなかった場合に終了しているが、本発明においてはこれに限定されるものではなく、例えば円検出された注目領域の位置を記憶し、更にループ処理を続けてもよい。
【０１４３】
＜第５の実施例＞
次に、把持物体認識処理の第５の実施例について説明する。第５の実施例では、上述したような細線化画像を用いずに、シルエット画像を用いて把持の有無を認識する。これにより、処理内容を減らして迅速且つ正確に手先の位置を取得することができる。
【０１４４】
ここで、第５の実施例における把持物体認識処理手順について図を用いて説明する。図１７は、第５の実施例における把持物体認識処理手順の一例を示すフローチャートである。図１７において、まず上述した第５の実施例と同様に所定の位置に取り付けられたカメラ等の撮像手段により撮影された映像中に含まれる所定の画像をキャプチャし（Ｓ９１）、キャプチャした画像に含まれる人体領域を検出する（Ｓ９２）。次に、Ｓ９２の処理において、人体領域があるか否かを判断し（Ｓ９３）、人体領域がある場合（Ｓ９３において、ＹＥＳ）、検出された人体領域に対して上述した円検出を行う（Ｓ９４）。
【０１４５】
次に、Ｓ９４の処理により得られた円検出処理の結果から手先があるか否かを判断し（Ｓ９５）、手先がある場合（Ｓ９５において、ＹＥＳ）、第５の実施例における把持物体検出を行い（Ｓ９６）、検出された結果に基づいて特定物体を推定する（Ｓ９７）。
【０１４６】
更に、Ｓ９７の処理が終了後、又はＳ９５の処理において、手先がない場合（Ｓ９５において、ＮＯ）、その結果を示す画面を生成し（Ｓ９８）、生成した画面を表示する（Ｓ９９）。また、Ｓ９７の処理等において、特定物体を推定した結果、その把持物体が刃物等であり、その対象人物が不審者又は危険人物等であると判断された場合には、ユーザや管理センタ、警備員等に通知を行う（Ｓ１００）。
【０１４７】
次に、Ｓ１００の処理が終了後、又はＳ９３の処理において、人体領域がない場合（Ｓ９３において、ＮＯ）、把持物体認識処理を終了するか否かを判断し（Ｓ１０１）、把持物体認識処理を終了しない場合（Ｓ１０１において、ＮＯ）、Ｓ９１に戻り、次の対象画像をキャプチャして後続の処理を行う。また、ユーザ等からの終了指示等により把持物体認識処理を終了する場合（Ｓ１０１において、ＹＥＳ）、処理を終了する。
【０１４８】
なお、第５の実施例においては、上述した第４の実施例に示すように、特定物体を推定した後に、必要に応じて挙動認識を行ってもよい。
【０１４９】
ここで、第５の実施例における把持物体検出（Ｓ９６）の具体例について図を用いて説明する。図１８は、第５の実施例における把持物体の有無の認識手法について説明するための図である。なお、図１８（ａ）は、把持物体が無い場合の手先付近のシルエット画像の一例を示し、図１８（ｂ）は、把持物体が有る場合の手先付近のシルエット画像の一例を示している。図１８（ａ），（ｂ）に示すように、手先の位置座標を中心として所定の半径の大きさに形成された円は、それぞれの画像で得られる人物領域よって、円と人物領域との交点（重複領域）数が変わる。そのため、第５の実施例では、この交点の数が複数の場合には、把持物体有りとして把持物体の有無を判断する。
【０１５０】
なお、第５の実施例に係る処理では、例えば、シルエットの白黒のうち、人体領域を白領域とし、それ以外を黒領域とした場合に、上述した所定の円上を１周し、黒から白に変わる箇所をカウントすることで、重複領域の数を検出し、その検出結果により把持の有無を見分けることができる。つまり、第５の実施例では、把持物体検出手段１６において、手先検出手段１５により得られた手先領域の周囲に所定の画その集まり（例えば、白領域）が複数存在することを認識することで、把持物体を検出することができる。
【０１５１】
ここで、上述のシルエットを利用した把持物体検出手段に代え、第１の実施例等で説明した、細線化の線分が手先領域の先又は周囲に存在することを利用する方法で、把持物体を検出してもよい。このとき、把持物体を検出する直前に細線化処理を行うこともでき、把持物体検出を行う前であれば、細線化処理を行うタイミングは問わない。つまり、細線化処理は、必要に応じて行えばよく、手先検出手段１５等の前処理によって予め細線化処理が行われているのであれば、その結果を流用することもできる。更に、手先領域の周辺領域のみに細線化処理を行うことで、効率的に部位を認識してもよい。なお、上述した第１〜第５の実施例は、複数を組み合わせて実施することもできる。
【０１５２】
＜手先検出の実施例＞
次に、上述した手先検出手法については、画像中に含まれる両方の手について同様の処理をそれぞれの手について行うことによりそれぞれの手先を検出することができるが、本実施形態においてはこれに限定されるものではなく、例えば検出された一方の手先から取得される情報に基づいて、未検出である他方の手先を検出することができる。その具体例について以下に説明する。図１９は、手先検出の実施例を説明するための図である。
【０１５３】
図１９の例では、１つの画像中における同一人物の両手については、一方の手と他方の手は、その色情報や形状等の特徴が同一又は類似しているため、例えば検出された一方の手先領域の形状パターンや画像の色情報等の特徴を用いてテンプレートを生成し、生成したテンプレートに基づいて人体領域全体にマッチング処理を行い、最も一致する箇所を手先とする。
【０１５４】
具体的に説明すると、まず検出した一方の手先からフィルタ情報を作成する。このフィルタ情報は、対象の画像に撮影されている人体を基準にした手先の大きさ、形状、位置等の手先情報を含んでいる。なお、図１９の例では、撮影された人体の身長から推定される手先の大きさ、形状等から生成した円をフィルタとする。また、フィルタの内容は、検出した手先の画素値そのままとする。
【０１５５】
次に、このフィルタ情報を用いてテンプレートマッチングを行う。図１９では、得られた人体領域の最上部から、右側へ順にフィルタを移動し、その一致度が予め設定される閾値を超えた場合に、その部分を手先とする。
【０１５６】
ここで、フィルタ情報に含まれる形状は、円の他、点、矩形、その他任意の形（楕円や長方形）、等、自由に設定することができる。また、フィルタ内の値は、検出した手先の画素値の他、肌色として規定した値を領域全体に分布させたり、手先座標上の画素値を領域全体に分布させたり、検出した手先領域の平均画素値を領域内に分布させる等を行うことができる。
【０１５７】
また、テンプレートマッチングを行う箇所は、例えば、画像全体、人体領域内、人体領域内の手部ゾーン（手先があると重み付けした範囲）等が可能であり、予め設定された順序や位置に基づいて処理を行うことができる。
【０１５８】
更に、本実施例において、類似度を数式により計算することもでき、その場合に計算する式は、一般的に以下に示す式（１）のようなＲＳＳＤを用い、算出されたＲＳＳＤが予め設定された値以上の場合には、一致であると判断することができる。なお、ＲＳＳＤの「Ｒ」は類似度を示し、「ＳＳＤ」は「Ｓｕｍ ｏｆ Ｓｑａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ」の略であり、距離の算出方法が、差の二乗和を用いているという意味である。
【０１５９】
【数１】
ここで、式（１）におけるＭはテンプレート画像の横の画素数を示し、Ｎはテンプレート画像の縦の画素数を示している。
【０１６０】
なお、上述した数式は、本発明についてはこれに限定されるものではない。例えば、式（１）に示す距離は「ユークリッド距離」と呼ばれ、ユークリッド距離は画素同士の直線距離のことであるが、ユークリッド距離の他、「チェス盤距離」「市街地距離」等の考え方があり、本発明ではそれらを用いることも可能である。
【０１６１】
また、別の手法として、閾値を越える画素を手先とする場合の他、最も一致度の高い箇所を手先とする方法もある。
【０１６２】
更に、他の実施例としては、例えば、予め設定される矩形等の袖口形状に基づいて袖口位置を取得し、手先と袖口位置をペアにしたフィルタを行ったり、手先候補が多数現れた場合に、上述した円検出手法を用いて、最も円形度の高い（円らしい）箇所を手先とするといった処理を行うことができる。
【０１６３】
＜画面生成手段により生成される画面例＞
次に、本実施形態における画面生成手段１９により生成される画面例について、図を用いて説明する。図２０は、本実施形態により生成される画面の一例を示す図である。
【０１６４】
図２０に示す画面４０では、原画像４１、細線化画像４２、人体エッジ画像４３、手先検出結果画像４４等を一度に表示することができる。また、それぞれの画像を選択することで、その対象画像を拡大表示したり、時系列に映像を表示することもできる。なお、映像を表示する場合には、原画像４１、細線化画像４２、人体エッジ画像４３、及び手先検出結果画像４４は、それぞれ同期して同じ時間の内容が表示されることが好ましいが、少なくとも１つの画像みが異なった時間の内容を表示させてもよい。
【０１６５】
また、本実施形態では、例えば図２０に示す手先検出結果画像４４のように、画像上に所定の文字情報（例えば、手先の座標や頭部等の部位情報、撮影時刻等）を表示させることができる。
【０１６６】
更に、本実施形態における画面生成手段１９により生成され画面の内容やレイアウト等については、本発明においてはこれに限定されるものではなく、例えば特定物体検出手段１７により検出された特定物体の名称や通知手段２０により通知された内容等を表示することもできる。
【０１６７】
上述したように本発明によれば、撮影等により得られた映像や画像に含まれる人物が把持する把持物体等を高精度に認識することができる。具体的には、本発明によれば、人体検出から刃物認識まで全体を把握することができ、脅される人物の通報動作等を必要とせずに防犯システムを構築することができる。また、単一の防犯カメラのみで刃物強盗を認識可能な低コストの防犯システムが構築できる。
【０１６８】
また、本発明における手先部位認識手法としては、単眼の防犯カメラ等を用い、３次元にせず手先位置を認識することができる。具体的には、本発明は、物を持っているか否かに関係なく、手の位置を取得することができるため、例えば把持物体解析に有効な手法となる。例えば、上述した円検出手法では、「（ア）エッジ検出→エッジの２値化→ヒストグラムに蓄積、判別を行う。」、「（イ）エッジ検出→エッジの２値化→エッジの細線化→ヒストグラムに蓄積、判別を行う。」、「（ウ）エッジ検出→エッジの２値化→エッジの細線化→エッジの円に対する占有度をヒストグラムに蓄積し、判別を行う。」等の各処理を行ったり、「（エ）細線化画像を用いて円の中心候補を絞り込んだ、（ア）〜（ウ）の方法を行う。」といった処理を行う。また、上述した細線化グラフでは、重み付けのあり／なし等の設定を行うことができ、更に上述した円検出手法と細線化グラフとを組み合わせることで、より認識精度を向上させることができる。
【０１６９】
更に、本発明によれば、より詳細に手先の座標位置を検出できるため、把持物体解析に有効である。また、本発明によれば、手を向けている方向や手を挙げている等、人間の姿勢がわかるため、突き出し、万引き、暴力行為の予兆認識等に有効である。また、本発明によれば、ノイズに強く、また認識対象となる人物に認識のための動作やマーキングのものを付ける等、所定の条件を強要する必要がないため、容易に正確な把持物体の認識を行うことができる。
【０１７０】
更に、本発明によれば、特定の姿勢（手を挙げている等）を認識でき、人体検出時に誤って検出された領域を、無駄な処理することなく除外することができる。
【０１７１】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１７２】
１０ 把持物体認識装置
１１ 入力手段
１２ 出力手段
１３ 蓄積手段
１４ 人体領域検出手段
１５ 手先検出手段（部位検出手段）
１６ 把持物体検出手段
１７ 特定物体推定手段
１８ 挙動認識手段
１９ 画面生成手段
２０ 通知手段
２１ 送受信手段
２２ 制御手段
３１ 入力装置
３２ 出力装置
３３ ドライブ装置
３４ 補助記憶装置
３５ メモリ装置
３６ ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）
３７ ネットワーク接続装置
４０ 画面
４１ 原画像
４２ 細線化画像
４３ 人体エッジ画像
４４ 手先検出結果画像
【技術分野】
【０００１】
本発明は、把持物体認識装置、把持物体認識方法、及び把持物体認識プログラムに係り、特に撮影等により得られた映像や画像に含まれる人物が把持する把持物体等を高精度に認識するための把持物体認識装置、把持物体認識方法、及び把持物体認識プログラムに関する。
【背景技術】
【０００２】
従来、銀行や百貨店、コンビニエンスストア等の小売店等の監視区域内には、防犯等の理由で防犯カメラが設置されている。また、従来では、その防犯カメラにより撮影された映像（画像も含む）を解析して、強盗等の犯罪が発生しているか否かを認識する手法が提案されている（例えば、特許文献１参照）。
【０００３】
例えば、特許文献１に示されている手法では、画像処理機能を有するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラにおいて、撮像画像内の人物が両手を挙げた行為や、両手を頭上におく行為を認識する機能を有する能動的防犯カメラが示されている。
【０００４】
つまり、従来では、客と対面して現金の受け渡し等の業務に従事している人は、強盗等に襲われる可能性も高く、また強盗目的の加害者は凶器等を所有していることから、迂闊にカウンター下部等に採りつけて取り付けてある警察への通知機能を作動させる行為をとると加害者を刺激し、障害を負う可能性がある。そのため、両手を上げたり、頭上においたりする行為は、特に怪しまれないことや犯人から要求される行為であるため、従事者のこのような行為をＣＣＤカメラによって認識させ、いち早く警察や他の機関に通報する機能が設けられている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−３５４４５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述したような従来技術では、その人物が両手を挙げる行為や両手を頭上におく行為を意図せず無意識に行った場合に、誤って警備員等に通報されてしまう場合がある。
【０００７】
また、犯罪発生時には、その犯人の風貌等の他にもその犯人がどのような凶器を所持しているかも重要となるが、従来技術では、犯人が所持するものまで正確に認識できる技術が存在していなかった。
【０００８】
更に、犯罪を未然に防止する観点から言えば、例えば画像処理によりコンビニエンスストアや銀行等で強盗が多用する凶器である刃物等を認識し、その結果により犯罪の予兆を察知することが好ましいが、現在では人物が把持している物を具体的に特定する技術は存在していない。
【０００９】
なお、従来では、防犯の観点から刃物を所持する人物を認識する方法として、例えば空港に備えられるセキュリティゲートのようなものがある。しかしながら、このゲートは刃物だけでなく金属全体を検出するものであり、また、装置全体が大きく、コストも掛かるため、小売店等の店舗の防犯には向いていない。
【００１０】
更に、一般的な画像認識技術では、画像全体を走査して認識を行おうとすると、計算コストが増大するという課題があった。そこで、物を持っている手が存在する領域にのみに認識処理をすることができれば無駄な処理を防ぐことができるが、画像中の人物の把持の有無を精度よく効率的に認識する手法は従来技術には存在していなかった。
【００１１】
また、把持物体は、通常、人物の手の周辺にあると考えられるため、手が存在する位置周辺でのみ把持物体の認識処理を行えば計算量を削減できる。そのためには、まず人物の手先の位置に関する情報を知ることが必要になる。ここで、人間の手先位置を検出する技術については、幾つかの分野で利用されており、例えば、「ジェスチャ認識」、「手話認識」、「モーションキャプチャ」、「挙動認識、行動認識」等がある。
【００１２】
ここで、「ジェスチャ認識」は、例えばゲームＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）として用いられるが、利用者に手を認識させるための動作をさせる必要があり、また肌色検出を行うためにはその肌色が検出できる場所等、理想的な環境で扱うことが前提となる。また、「手話認識」は、手話自動認識等に用いられるが、肌色が検出できる場所（白い背景）等、理想的な環境で扱うことが前提となる。また、「モーションキャプチャ」は、アニメーション化や運動解析等で用いられるが、人物にマーカーをつける必要があったり、多数のカメラや赤外線カメラ等を使用しなければならず、既存の防犯カメラのみで認識することができない。更に、「挙動認識、行動認識」は、例えば防犯や人物認証、マーケティング等に用いられるが、多数のカメラ、赤外線カメラ等を使用するものは、既存の防犯カメラのみで認識することができず、また腕を含む領域を検出してしまうような大雑把な手先検出法では、詳細な動作や把持の有無を認識することができなかったため、上述したような従来手法では、防犯上の目的に応用するのは困難であった。
【００１３】
また従来から、上述した把持物体の認識の他にも、例えば手先や頭、足等の人体の部位を画像情報から高精度に検出し、認識することで防犯等に活用することが求められてきたが、その適切な手法が存在していなかった。更に、画像中の人物が物を把持しているか否かという情報は、防犯上有益な情報であるにもかかわらず、前述のとおり、画像中の人物の把持の有無を認識する手法が存在していなかったため、その種の情報を画像処理等により入手することは難しかった。そのため、例えば、画像中の人物が刃物を持って脅しているのか、ただ手を伸ばしたり突き出したりしているだけなのかを見分けたり、物を持つ又は置くという動作を認識することが困難であった。
【００１４】
本発明は、上記の問題点に鑑みてなされたものであって、撮影等により得られた映像や画像に含まれる人物が把持する把持物体等を高精度に認識するための把持物体認識装置、把持物体認識方法、及び把持物体認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、本発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１６】
本発明は、映像又は画像に含まれる人物が把持している物体を認識する把持物体認識装置において、前記映像又は画像に含まれる少なくとも１人の人物の人体領域を検出する人体領域検出手段と、前記人体領域検出手段により得られる人体領域から手先領域を検出する手先検出手段と、前記手先検出手段により得られる手先領域に対応した手先の位置情報に基づいて、把持物体を検出する把持物体検出手段とを有することを特徴とする。
【００１７】
また本発明は、映像又は画像に含まれる人物が把持している物体を認識する把持物体認識方法において、前記映像又は画像に含まれる少なくとも１人の人物の人体領域を検出する人体領域検出ステップと、前記人体領域検出ステップにより得られる人体領域から手先領域を検出する手先検出ステップと、前記手先検出ステップにより得られる手先領域に対応した手先の位置情報に基づいて、把持物体を検出する把持物体検出ステップとを有することを特徴とする。
【００１８】
また本発明は、コンピュータを、請求項１乃至１１の何れか１項に記載された把持物体認識装置として機能させることを特徴とする把持物体認識プログラムである。
【発明の効果】
【００１９】
本発明によれば、撮影等により得られた映像や画像に含まれる人物が把持する把持物体等を高精度に認識することができる。また、画像処理により把持物体認識を効率よく実現することができるため、監視カメラ映像等の監視担当者の負担を軽減することができる。
【図面の簡単な説明】
【００２０】
【図１】把持物体認識装置の機能構成の一例を示す図である。
【図２】本実施形態における把持物体認識処理が実現可能なハードウェア構成の一例を示す図である。
【図３】第１の実施例における把持物体認識処理手順の一例を示すフローチャートである。
【図４】人体領域検出から特定物体推定までの処理の流れを説明するための図である。
【図５】本実施形態におけるグラフ化処理を説明するための図である。
【図６】第２の実施例における把持物体認識処理手順の一例を示すフローチャートである。
【図７】第２の実施例における円検出処理を説明するための一例を示す図である。
【図８】第３の実施例における把持物体認識処理手順の一例を示すフローチャートである。
【図９】第３の実施例における手先部位認識処理を説明するための一例を示す図である。
【図１０】グラフマッチングの概念図を示す図である。
【図１１】モデルグラフデータベースを説明するための図である。
【図１２】対象人物の手が挙がっている場合の対応を説明するための図である。
【図１３】第４の実施例における把持物体認識処理手順の一例を示すフローチャートである。
【図１４】第４の実施例における円検出処理を説明するための一例を示す図である。
【図１５】本実施形態における円検出手法の具体例を説明するための図である。
【図１６】（ウ）の処理手順の一例を示すフローチャートである。
【図１７】第５の実施例における把持物体認識処理手順の一例を示すフローチャートである。
【図１８】第５の実施例における把持物体の有無の認識手法について説明するための図である。
【図１９】手先検出の実施例を説明するための図である。
【図２０】本実施形態により生成される画面の一例を示す図である。
【発明を実施するための形態】
【００２１】
＜本発明について＞
本発明は、防犯カメラ等の撮像手段に撮影された映像（画像も含む）や、インターネット等の通信ネットワーク等により外部から取得した各種映像等から人物の部位の認識や動作の認識を高精度に行う。そのため、本発明では、例えば画像中の人物の手先の座標位置の認識や把持物体の有無の認識、把持物体の認識等を行う。
【００２２】
具体的には、本発明は、例えば既存の単眼防犯カメラ１台等を用いて撮影された映像等に対する画像認識により、刃物等の把持物体を認識する。また、画像中から直接刃物等の把持物体を認識するのではなく、人体検出から人体の所定の部位（例えば、手先、頭、足等）を検出し、更に把持の有無の認知までの処理を行って把持物体の領域を絞り込んだうえで、正確な把持物体の認識を行う。このように把持物体領域を特定することで、画像全体から把持物体を認識する場合に比べて、計算コストを格段に減少させることができる。
【００２３】
以下に、本発明における把持物体認識装置、把持物体認識方法、及び把持物体認識プログラムを好適に実施した形態について、図面を用いて説明する。なお、以下の処理では、人体の部位検出の一例として手先検出を例に説明するが、本発明においてはこれに限定されるものではなく、例えば頭（顔）、足等の部位であってもよい。
【００２４】
＜把持物体認識装置：機能構成例＞
図１は、把持物体認識装置の機能構成の一例を示す図である。図１に示す把持物体認識装置１０は、入力手段１１と、出力手段１２と、蓄積手段１３と、人体領域検出手段１４と、部位検出手段としての手先検出手段１５と、把持物体検出手段１６と、特定物体推定手段１７と、挙動認識手段１８と、画面生成手段１９と、通知手段２０と、送受信手段２１と、制御手段２２とを有するよう構成されている。
【００２５】
入力手段１１は、ユーザ等からの人体領域検出指示や、手先検出指示、把持物体検出指示、特定物体推定指示、挙動認識指示、画面生成指示、通知指示、送受信指示等の本実施形態を実現するための各種指示を受け付ける。なお、入力手段１１は、例えばキーボードや、マウス等のポインティングデバイス、マイク等の音声入力デバイス等からなる。
【００２６】
出力手段１２は、入力手段１１により入力された指示内容や、各指示内容に基づいて生成された制御データにより、各構成で実行された経過又は結果等の各種情報を表示したり、その音声を出力する。なお、出力手段１２は、ディスプレイ等の画面表示機能やスピーカ等の音声出力機能等を有する。
【００２７】
更に、出力手段１２は、各機能により出力された結果や画面生成手段１９により生成された画面に表示された情報等を外部機器に出力する。つまり、出力手段１２は、外部機器への出力として、例えば、プリンタに出力したり、ファイルを生成して蓄積手段１３や、予め設定されたデータベース等の記憶装置や記録媒体に出力したり、監視区域（警備対象施設）内のセンサのＯＮ／ＯＦＦやライトの点灯／消灯を切り替えたり、警備員が所持する携帯端末に対して把持物体認識結果に基づく関連情報（異常があった場所や内容等）を表示するための制御信号を出力するといった印刷・出力機能等を有する。また、出力手段１２は、上述した１又は複数の外部機器に同時に出力することができる。
【００２８】
蓄積手段１３は、上述した本実施形態を実現するための様々な情報を蓄積することができ、必要に応じて読み出しや書き込みが行われる。具体的には、蓄積手段１３は、顔の認証や、性別・年代等を推定するのに使用される各種特徴量データや、人体領域検出手段１４における人体領域検出結果、手先検出手段１５における手先検出結果、把持物体検出手段１６における把持物体検出結果、特定物体推定手段１７における特定物体推定結果、挙動認識手段１８における挙動認識結果、画面生成手段１９における画面生成結果、通知手段２０における通知結果、送受信手段２１における送受信情報、制御手段２２により制御された情報、エラー発生時のエラー情報、ログ情報、本発明を実現するためのプログラム等の各情報が蓄積される。更に、蓄積手段１３は、後述するグラフマッチング用データベースや時系列的に取得される人体領域や所定の部位の移動軌跡に対応する行動パターン情報等を蓄積する。
【００２９】
人体領域検出手段１４は、例えば、コンビニエンスストアや百貨店等のレジ付近や、銀行の受付等の所定の監視区域等に設置された各防犯カメラや、巡回している監視ロボットに設けられたカメラ等の撮像手段等により撮影されたリアルタイム映像や、撮影された後蓄積された膨大な量の監視映像、送受信手段２１により接続されるインターネット等の通信ネットワークを介して遠隔地にある画像サーバ等に蓄積された映像等の各種映像に対して、その映像中の画像に対して人体領域検出を行い、人物が含まれているか否かを判断する。
【００３０】
具体的には、人体領域検出手段１４は、例えば、防犯カメラ等により撮影された映像を、送受信手段２１を介して取得し、その取得した映像に含まれる時系列の各画像のうち、所定の画像（各フレーム画像や数フレーム分の間隔を空けた画像等）をキャプチャし、キャプチャした画像について１又は複数の人物を検出する。
【００３１】
また、人体領域検出手段１４は、例えば連続する画像フレーム同士を比較して、色情報（輝度、色度等）が所定時間内に変化する場所が存在し、更にその場所で囲まれる領域が所定の領域以上のもの、又は経時的な移動範囲が所定の範囲内のものを人体領域として検出する。なお、人体検出手法については、本発明においてはこれに限定されるものではない。
【００３２】
また、人体領域検出手段１４は、人体領域の中心座標、及び人体領域の画像上の大きさを検出し、その人体領域を所定形状により元の画像に合成して人体領域が明確に分かるように画面表示するための各種情報を取得し、蓄積手段１３に蓄積させる。なお、人体領域の形状は、例えば矩形や円形、楕円形、他の多角形、人物の外形形状から所定倍率で拡大させた２値のシルエット形状等であってもよい。つまり、人体領域検出手段１４は、例えば、人体領域を白塗りにし、その他を黒塗りにしたシルエット形状の画像を生成することができる。更に、人体領域検出手段１４は、頭髪、上衣、下衣等の色情報を抽出したり、人物の実空間上での位置座標を算出したりする機能を有していてもよい。
【００３３】
手先検出手段（部位検出手段）１５は、人体領域検出手段１４により検出された人物領域に対する所定の部位として手先領域を検出する。具体的には、手先検出手段１５は、人体領域検出手段１４により検出された人物領域に対して細線化を行う。また、手先検出手段１５は、細線化された画像から、その端点や分岐点等の点同士の接続関係を表す行列（グラフ）に変換する。
【００３４】
また、手先検出手段１５は、原画像全体に対してエッジ検出を行い、検出された画面全体のエッジ情報から、人体領域のエッジを抽出する。また、手先検出手段１５は、変換したグラフに基づき、予め人物の姿勢等を登録した人物モデルグラフを用いてマッチングを行う。これにより、得られた領域が人物であるかどうかを判別すると共に、手先に該当する１又は複数の端点をその辞書から得ることができ、端点を手先として検出することができる。
【００３５】
また、手先検出手段１５は、片手又は両手の部位を検出してもよく、また手先以外にも頭や足等、予め設定される複数の部位のうち、１又は複数の部位を、予め設定されたそれぞれの形状や色等の特徴を用いたパターンマッチング処理等を行うことで、同時に検出してもよい。なお、手先の検出においては、例えば、最初に、画像中に含まれる対象人物の一方の手の手先領域を検出し、その後、検出した手先領域の特徴に基づいて、同一画像中の他の手先領域を検出することで両手を検出することができる。
【００３６】
更に、手先検出手段１５は、人体の頭部や手先等の各部位の判別を行ったり、例えば手先等の所定の部位の位置を特定する前に、その手先候補の推定を行ってもよい。なお、手先検出手段１５の具体例については後述する。
【００３７】
把持物体検出手段１６は、手先検出手段１５により得られた手先領域に把持された物体がある場合に、その把持物体を検出する。具体的には、把持物体検出手段１６は、画像から手先領域を取得し、その手先領域よりも先又は周囲に細線化した部分が存在している場合には、物体を把持しているものとして把持物体の有無を検出する。
【００３８】
また、把持物体検出手段１６は、手先検出手段１５により得られた手先領域の周囲に所定の画素の集まりが複数存在するか否かを判断し、複数存在する場合に把持物体が存在するとして把持物体の有無を検出することもできる。
【００３９】
また、把持物体検出手段１６は、把持物体が有ると判断した場合に、例えば、手先の位置（座標等）、その手先よりも先又は周囲に細線化した部分の長さ、端点の位置等を把持物体に関する情報として検出する。
【００４０】
特定物体推定手段１７は、把持物体検出手段１６により検出された把持物体の内容が何であるか、その特定物体を推定する。具体的には、特定物体推定手段１７は、例えば、把持物体検出手段１６により検出された手先の位置、その手先よりも先又は周囲に細線化した部分の長さ、端点の位置、人体領域検出手段１４により得られる人体領域を用いた手先付近のシルエット形状、大きさ等を取得し、予め蓄積された把持物体情報（例えば、刃物や拳銃等の種類毎の大きさ、形状等の凶器情報）と比較して対象となる把持物体が刃物や拳銃等の凶器（危険物）であるか、または単なる荷物であるか、それ以外のものであるか等、把持物体に関する特定物体の推定を行う。
【００４１】
挙動認識手段１８は、人体領域検出手段１４により検出された人体領域情報、手先検出手段１５により検出された手先位置情報、及び、把持物体検出手段１６により検出された把持物体情報等のうち、少なくとも１つの情報を、撮影された映像から時系列に取得し、取得した人体領域や手先位置等の連続的な移動方向、移動速度、所定動作の繰り返し回数等により対象人物の挙動を認識する。なお、挙動認識手段１８は、例えば、人体領域及び所定の部位の時系列情報と、予め設定された行動パターンとを照合して、その人物挙動を認識することができる。つまり、本実施形態では、例えば、手先位置情報や把持物体情報が取得できなかった場合でも人体領域の移動内容等により挙動を認識することができる。
【００４２】
具体的には、挙動認識手段１８は、例えば、予め設定された行動パターンとして、人体領域がコンビニエンスストアのレジ付近を何度も往復するような場合や、レジ付近で所定時間以上停止しているような場合には、その人物を不審者として認識する。更に、挙動認識手段１８は、手先の時間経過に伴う移動状態や手先の位置情報等から手先の突き出し行為の有無等を認識する。
【００４３】
また、挙動認識手段１８は、設置されたカメラの設置場所や位置等の位置情報と人体領域から顔領域を抽出し、その顔領域から顔の特徴点を取得して、顔の向き等により挙動を認識することもできる。なお、顔の特徴点は、例えば撮影された画像に含まれる顔における目や鼻、口等の位置情報からその顔の特徴量を取得し、予め設定された顔として検出されるための特徴量の照合パターンを用いたマッチング処理等を行うことにより人物の顔を検出する。また、上述の顔検出処理に限定されず、例えばエッジ検出や形状パターン検出による顔検出、色相抽出又は肌色抽出による顔検出等を用いることができる。
【００４４】
更に、挙動認識手段１８は、顔領域の中心座標（位置情報）、及び領域の画像上の大きさ（サイズ）を検出し、その顔領域を所定形状により元の画像に合成して顔領域が明確に分かるように画面表示するための各種情報を取得し、蓄積手段１３に蓄積させることもできる。なお、顔領域の形状は、本発明においては、矩形や円形、楕円形、他の多角形、人物の顔の外形形状から所定倍率で拡大させたシルエット形状等であってもよい。
【００４５】
画面生成手段１９は、防犯カメラにより撮影された映像や人体領域検出手段１４により検出された人体領域、本実施形態における把持物体認識を行うためのメニュー画面、把持物体認識を行うための入力画面、通知手段２０における通知結果等、本実施形態における把持物体認識処理を実現するうえで必要な各種画面を生成する。このとき、画面生成手段１９は、上述した各構成により処理された結果を表示する画面を生成するだけでなく、蓄積手段１３等に予め設定された各種データを表示するための画面を生成することもでき、例えば撮影された人物の領域に対応する位置情報等に関する数値化されたデータ（例えば、座標や時間情報、人物情報）等を表示させることもできる。
【００４６】
また、画面生成手段１９は、把持物体が予め設定される特定物体に該当する場合には、その旨の内容を通知するための画面を生成する。なお、画面生成に必要な各種情報は、蓄積手段１３に予め蓄積されている情報等から必要な情報を適宜読み出して使用することができる。また、画面生成手段１９は、生成された画面等を出力手段１２としてのディスプレイ等に表示したり、スピーカ等により音声等を出力することができる。
【００４７】
通知手段２０は、特定物体推定手段１７により得られる推定結果において、把持物体が刃物や拳銃等の特定物体であった場合に、緊急信号を生成し、生成された緊急信号をユーザや管理者、警備会社等におけるそのビルの担当警備員、監視員、代表責任者、監視ロボット等の所定の連絡先に通知する。また、通知手段２０は、特定物体推定手段１７により得られる特定物体が刃物や拳銃等の特定物体である場合には、その画像に関する情報（検出日時、検出場所、その前の所定時間分の映像等）と、その特定物体の情報を画面生成手段１９により生成させて、出力手段１２により表示させる。
【００４８】
なお、通知手段２０は、例えば監視ロボット等に通知を行う場合には、その監視ロボットが対象者と対面しているか又は監視ロボットが備える撮像手段により対象者が撮影されるほど接近した位置にいるため、監視ロボットから対象者に対して音声メッセージを出力させたり、警報ランプや非常音等により周囲に対して注意を促すような処理を行わせるような監視ロボットに対する制御信号を通知することもできる。
【００４９】
送受信手段２１は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等の通信ネットワーク等を介して１又は複数の防犯カメラや監視ロボットが備える撮像手段からの監視映像を受信する。また、送受信手段２１は、例えば、上記の通信ネットワーク等を介して遠隔地にある画像サーバ等に蓄積された各種映像の中から必要な情報を選択して取得することもできる。
【００５０】
ここで、送受信手段２１は、防犯カメラから直接監視映像を受信し、リアルタイムに処理して事前に犯罪を予防することが好ましいが、例えば予め防犯カメラで取得した映像をどこかに一時的に保存しておき、その保存された情報をまとめて上述した本実施形態における各種処理を行ってもよい。
【００５１】
また、送受信手段２１は、装置内の蓄積手段１３に蓄積されている各種プログラムや各種データを他の端末に送信したり、他の端末から各種データを受信するための通信インタフェースとして用いることができる。
【００５２】
制御手段２２は、把持物体認識装置１０における各機能構成全体の制御を行う。具体的には、制御手段２２は、入力手段１１により入力されたユーザからの指示情報等に基づいて、上述した各機能構成における処理を実行させる等の各種制御を行う。
【００５３】
なお、上述した実施形態では、人体領域検出手段１４及び手先検出手段（部位検出手段）１５における各機能を把持物体認識装置１０に含めているが、本発明においてはこれに限定されるものではなく、人体領域検出手段１４及び手先検出手段（部位検出手段）１５としての機能を部位検出装置（図示せず）とし、把持物体認識装置１０とは別体に設けてもよい。
【００５４】
＜把持物体認識装置：ハードウェア構成例＞
ここで、上述した把持物体認識装置１０においては、各機能をコンピュータに実行させることができる実行プログラム（把持物体認識プログラム）を生成し、例えば汎用のパーソナルコンピュータ（ＰＣ）、サーバ等にその実行プログラムをインストールすることにより、本実施形態における把持物体認識を実現することができる。
【００５５】
ここで、本実施形態における把持物体認識処理が実現可能なコンピュータのハードウェア構成例について図を用いて説明する。図２は、本実施形態における把持物体認識処理が実現可能なハードウェア構成の一例を示す図である。図２における把持物体認識装置１０のコンピュータ本体には、入力装置３１と、出力装置３２と、ドライブ装置３３と、補助記憶装置３４と、メモリ装置３５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３６と、ネットワーク接続装置３７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【００５６】
入力装置３１は、使用者が操作するキーボード及びマウス等のポインティングデバイスを有しており、使用者からのプログラムの実行等、各種操作信号を入力する。出力装置３２は、本発明における把持物体認識等を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するモニタを有し、ＣＰＵ３６に有する制御プログラムに基づいてプログラム実行結果等を表示することができる。
【００５７】
ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えば、ＣＤ−ＲＯＭ等の記録媒体３８等により提供される。プログラムを記録した記録媒体３８はドライブ装置３３にセット可能であり、記録媒体３８に含まれる実行プログラムが、記録媒体３８からドライブ装置３３を介して補助記憶装置３４にインストールされる。
【００５８】
補助記憶装置３４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラムの他に、ドライブ装置３３から読み取ることができる各種データを蓄積し、必要に応じて入出力を行うことができる。また、上述した把持物体認識で得られる各種データ等を格納することもできる。
【００５９】
メモリ装置３５は、ＣＰＵ３６により補助記憶装置３４から読み出された実行プログラム等を格納する。なお、メモリ装置３５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。
【００６０】
ＣＰＵ３６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、メモリ装置３５により読み出され格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御する。
【００６１】
また、ＣＰＵ３６は、本発明における実行プログラム及び制御プログラムにより、本実施形態における把持物体認識処理を実現することができる。なお、プログラムの実行中に必要な各種情報は、補助記憶装置３４から取得することができ、また格納することもできる。
【００６２】
ネットワーク接続装置３７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、把持物体認識プログラムを実行することで得られた各種情報若しくは当該プログラム自体を他の端末等に提供することができる。
【００６３】
なお、本発明における実行プログラムはＣＤ−ＲＯＭ等の持ち運び可能な記録媒体３８に格納することにより任意の端末で、そのＣＤ−ＲＯＭから実行プログラムを取得し実行することができる。
【００６４】
なお、記録媒体３８は、上述したＣＤ−ＲＯＭの他、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
【００６５】
上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで高精度に本発明における把持物体認識処理を行うことができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における把持物体認識処理を容易に実現することができる。
【００６６】
＜把持物体認識処理例＞
次に、上述した把持物体認識装置１０や把持物体認識プログラムを用いた本実施形態における把持物体認識処理手順について説明する。
【００６７】
＜第１の実施例＞
図３は、第１の実施例における把持物体認識処理手順の一例を示すフローチャートである。また、図４は、人体領域検出から特定物体推定までの処理の流れを説明するための図である。図３において、まず所定の位置に取り付けられたカメラ等の撮像手段により撮影された映像中に含まれる所定の画像をキャプチャ（取得）し（Ｓ０１）、キャプチャした画像に含まれる人体領域を検出する（Ｓ０２）。具体的には、Ｓ０１の処理により図４（ａ）に示すような撮影画像（原画像）がキャプチャされ、その画像に対して、Ｓ０２の処理により、図４（ｂ）に示すように人体領域をシルエットとして検出している。なお、この例では、人体領域を白塗りとし、その他を黒塗りとしているが、本発明においてはこれに限定されるものではない。
【００６８】
次に、Ｓ０２の処理の結果として人体領域があるか否かを判断し（Ｓ０３）、人体領域がある場合（Ｓ０３において、ＹＥＳ）、その人体領域に対して上述した人体の所定の部位（手先等）検出や、把持物体検出、特定物体推定、挙動認識等といったそれぞれの処理を行う。具体的には、Ｓ０２の処理において検出された人体領域に対して、後述するように細線化処理を行い（Ｓ０４）、細線化された人体情報を用いてグラフを作成し（Ｓ０５）、手先検出を行う（Ｓ０６）。なお、両手がカメラに撮影されていれば、両手の手先が抽出される。また、複数人数が撮影されていれば、その人物毎の手の手先が抽出される。
【００６９】
ここで、Ｓ０６の処理において、手先があるか否かを判断し（Ｓ０７）、手先がある場合（Ｓ０７において、ＹＥＳ）、把持物体を検出し（Ｓ０８）、検出された結果に基づいて、その把持物体の形状から、予め設定された刃物等の凶器情報と比較して、その特定物体を推定する（Ｓ０９）。
【００７０】
図４を用いて具体的に説明すると、Ｓ０４の処理により図４（ｃ）に示すように人体領域のシルエットを圧縮して得られる中心点を結んで線分化を行い、細線化した情報に基づいてグラフ化を行い、その結果から画像中における手先部分の位置座標が取得される。
【００７１】
また、図４（ｄ）に示すように、手先部分の位置座標と、上述したＳ０４の処理における細線化により、手先領域よりも先又は周囲に細線化した部分が存在するか否かを判断し、細線化した部分が存在すれば把持物体を把持しているものとして、図４（ｅ）に示すように、把持物体を検出する。また、Ｓ０９の処理により、図４（ｆ）に示すように、把持物体の形状等から特定物体を推定する。
【００７２】
更に、Ｓ０９の処理が終了後、又はＳ０７の処理において、手先がない場合（Ｓ０７において、ＮＯ）、必要に応じて挙動認識を行い（Ｓ１０）、その結果をディスプレイ等に表示する画面を生成し（Ｓ１１）、生成した画面を表示する（Ｓ１２）。なお、Ｓ１０の処理では、１つ画像からだけではなく、例えば時系列の映像から選択された複数の画像における人体領域検出結果や手先検出結果、把持物体検出結果等の比較を行って挙動認識を行うことができる。また、手先がない場合にも人体領域の検出結果のみを用いて挙動認識を行うことができる。
【００７３】
また、Ｓ０９の処理における特定物体の推定や、Ｓ１０の処理における挙動認識において、不審者又は危険人物等であると判断された場合には、ユーザや管理センタ、警備員等に通知を行う（Ｓ１３）。
【００７４】
ここで、Ｓ０３の処理において人体領域がない場合（Ｓ０３において、ＮＯ）、又はＳ１３の処理が終了後、把持物体認識処理を終了するか否かを判断し（Ｓ１４）、把持物体認識処理を終了しない場合（Ｓ１４において、ＮＯ）、Ｓ０１に戻り、次の対象画像をキャプチャして後続の処理を行う。また、ユーザ等からの終了指示等により把持物体認識処理を終了する場合（Ｓ１４において、ＹＥＳ）、処理を終了する。
【００７５】
＜グラフ化処理について＞
ここで、上述したＳ０５の処理におけるグラフ化処理について、図を用いて具体的に説明する。図５は、本実施形態におけるグラフ化処理を説明するための図である。
【００７６】
図５に示す例では、上述したＳ０４の処理において細線化した情報に対し、その線分中における分岐点と、端点とを設定し、設定された分岐点と端点とを行列により表記することにより、グラフ化を行っている。
【００７７】
具体的には、図５（ａ）に示すように、行列の行を分岐点の番号とし、行列の列を分岐点と端点の番号とし、行列要素が０の場合には、「接続関係なし」とし、行列要素が１の場合には、「接続関係あり」として行列によるグラフ化を行う。
【００７８】
つまり、図５（ａ）の例では、分岐点の０番は、分岐点の１番、端点の０，１，２番と接続し、分岐点の１番は、分岐点の０番、端点の３番、４番と接続していることを意味している。
【００７９】
また、本実施形態におけるグラフ化処理では、グラフ化される値（行列要素）に対して重みを付与することができる。具体的には、図５（ｂ）に示すように、カメラ等により撮影された映像から所定のフレーム画像をキャプチャし、キャプチャした画像から上述したように人体領域を検出し、検出された人体領域に対して細線化を行う。また、その細線化情報に基づいて上述したように分岐点及び端点からなる行列を用いてグラフ化を行う。
【００８０】
このとき、カメラの設置位置等に対応させて、人体領域を含む画像領域を更に複数の領域（ゾーン）に細分化し、細分化したデータに対して重み付けを付加してグラフ化（行列化）を行う。
【００８１】
図５（ｂ）の例では、人体領域に対応する画像領域に対して、例えば、全体の縦の長さを基準に上から１／５のゾーンを頭部ゾーン、下から足部ゾーン、残りの領域を手部ゾーンとして３つのゾーンに細分化している。そして、細分化した頭部ゾーンの重みを１とし、手部ゾーンの重みを２とし、足部ゾーンの重みを３として、それぞれグラフとして反映させる。更に、分岐点の部分と端点との部分とで異なる数値（例えば、分岐点９、端点１等）にすることで、違いを明確にすることができる。このように、各ゾーン毎に予め設定した重みや点の種類毎に異なる値を付与することにより、そのグラフを参照するだけで、どの部分の端点であるかを容易に把握することができ、その部分から手先やその他の部位（例えば、頭、足等）を容易に検出することができる。また、より重要なゾーンで検出された端点又は分岐点には、高い重みを付加しておくことにより、重要なゾーン毎に端点や分岐点を管理することができる。
【００８２】
上述したように、本実施形態では、画像から抽出した人体領域から取得した画像からグラフ化した情報と、予めグラフ化した情報に基づいて手先を検出し、検出した手先位置に基づいて、上述したように、把持物体検出や特定物体推定、挙動認識等の処理を行うことができる。
【００８３】
＜第２の実施例＞
次に、把持物体認識処理の第２の実施例について説明する。第２の実施例では、上述した第１の実施例における手先検出時に、手先のエッジが略円形に見えることに着目し、そのエッジの形状から手先の位置を検出する。なお、エッジが略円形というのは、人が刃物の柄を握る場合等には、必ず手は丸くなるからである。これにより、より正確に手先の位置を取得することができる。
【００８４】
ここで、第２の実施例における把持物体認識処理手順について図を用いて説明する。図６は、第２の実施例における把持物体認識処理手順の一例を示すフローチャートである。図６において、まず上述した第１の実施例と同様に所定の位置に取り付けられたカメラ等の撮像手段により撮影された映像中に含まれる所定の画像をキャプチャし（Ｓ２１）、キャプチャした画像に含まれる人体領域を検出する（Ｓ２２）。
【００８５】
次に、Ｓ２２の処理において、人体領域があるか否かを判断し（Ｓ２３）、人体領域がある場合（Ｓ２３において、ＹＥＳ）、検出された人体領域に対して細線化処理を行い（Ｓ２４）、細線化された人体情報を用いてグラフを作成し（Ｓ２５）、グラフの内容から手先と思われる部分を手先候補として検出する（Ｓ２６）。具体的には、グラフ化した情報に対して手先として判定された端点から次の分岐点までの範囲を、手先含有候補として検出する。例えば、上述した図５（ｂ）に示すように、撮影されるカメラの位置から推測される映されるべき人物の画像中における位置と、その人体領域に対する細線化情報とに基づいて、手先候補を検出する。なお、両手がカメラに撮影されていれば、両手の手先候補が抽出され、複数の人物が撮影されていれば、複数の人物に対する手先候補が抽出される。また、Ｓ２６の処理において、手先があるか否かを判断する（Ｓ２７）。
【００８６】
また、上述したＳ２３の処理において、人体領域がある場合（Ｓ２３において、ＹＥＳ）、Ｓ２４の処理と平行して画像全体に対するエッジを検出し（Ｓ２８）、更にエッジ化された画像の中から上述した人体領域に対応させて人体のエッジを検出する（Ｓ２９）。なお、本実施形態におけるエッジとは、画像中における隣接画素間の色差や輝度差等に基づき、物体の輪郭部分等を抽出する処理等を意味している。
【００８７】
また、Ｓ２７の処理において、手先候補がある場合（Ｓ２７において、ＹＥＳ）、及びＳ２９の処理が終了後、手先部分を抽出するための円検出を行う（Ｓ３０）。具体的には、上述した手先含有候補（手先候補）の細線化した線上の注目点に中心を置き、その各線上の点からの人体領域のエッジが円形に近い箇所を走査して探していく。なお、走査方向は、胴体方向から手先に対して行う。そして、例えば、最初に検出された円形に近い部分を手先部分として検出する。なお、Ｓ２８〜Ｓ３０の処理は、上述した手先検出手段（部位検出手段）１５により行われる処理である。
【００８８】
ここで、手先があるか否かを判断し（Ｓ３１）、手先がある場合（Ｓ３１において、ＹＥＳ）、把持物体を検出し（Ｓ３２）、検出された結果に基づいて特定物体を推定する（Ｓ３３）。
【００８９】
更に、Ｓ３３の処理が終了後、又はＳ３１の処理において、手先がない場合（Ｓ３１の処理において、ＮＯ）、必要に応じて挙動認識を行い（Ｓ３４）、その結果をディスプレイ等に表示する画面を生成し（Ｓ３５）、生成した画面を表示する（Ｓ３６）。また、Ｓ３３の処理における特定物体の推定や、Ｓ３４の処理における挙動認識において、不審者又は危険人物等であると判断された場合には、ユーザや管理センタ、警備員等に通知を行う（Ｓ３７）。
【００９０】
ここで、Ｓ２３の処理において、人体領域がない場合（Ｓ２３において、ＮＯ）、Ｓ２７の処理において、手先候補がない場合（Ｓ２７において、ＮＯ）、又はＳ３７の処理が終了後、把持物体認識処理を終了するか否かを判断し（Ｓ３８）、把持物体認識処理を終了しない場合（Ｓ３８において、ＮＯ）、Ｓ２１に戻り、次の対象画像をキャプチャして後続の処理を行う。また、ユーザ等からの終了指示等により把持物体認識処理を終了する場合（Ｓ３８において、ＹＥＳ）、処理を終了する。
【００９１】
＜円検出処理について＞
ここで、上述した第２の実施例における円検出処理について具体的に説明する。図７は、第２の実施例における円検出処理を説明するための一例を示す図である。図７の例では、上述した細線化処理により細線化された線分上に設定した所定の注目点を中心にして、予め設定された注目領域内に円又は円に近い形状があるか否かを判断し、円検出を行う。
【００９２】
具体的には、図７に示すように、ある点からのエッジ方向の角度に対して、領域内の全てのエッジ方向を、ヒストグラムに加算する。このとき、もしエッジの形状が円形であれば、全ての点のエッジ方向が注目点に対して９０°となり、略円形であれば、８０〜１００度以内のヒストグラムの値が大きくなる。そのため、これらの結果を、注目点を細線化した線分上で移動させて計測していくことで、円形部分を検出することができる。
【００９３】
なお、注目領域内に円がない場合には、図７に示すように、各エッジと中心がなす角度のヒストグラム結果はバラバラとなる。
【００９４】
ここで、本実施形態では、例えば、加算値の値が予め設定された閾値以上のときにその部分が円形であると推測することができる。なお、閾値は、画質や画像中における人体領域の大きさ等により適宜変更することができる。また、円検出の際には、上述したグラフ化情報に基づいて胴体部分から手のほうに向けて注目点を移動していき、最初に円を検出した部分の注目点を手先の位置とする。これは、２番目以降の円検出は、把持物体である可能性が高いからである。なお、上述の処理は、画像中に含まれる全ての手先候補に対して行われる。
【００９５】
上述したように、第２の実施例における円検出処理を行うことで、画像中の人体に対する所定の部位（例えば、手先等）の位置を高精度に取得するこができる。なお、本実施形態において、手先は、握った状態でも開いた状態でも、対応する所定の形状を用いて容易に認識することができる。また、所定の形状は、認識対象の部位毎に設定されており、例えば足であれば足先の形状が設定され、頭であれば大きめの円形状が設定される。
【００９６】
＜第３の実施例＞
次に、把持物体認識処理の第３の実施例について説明する。第３の実施例では、上述した第１の実施例におけるグラフ作成後、そのグラフ化された人体情報に対して予め設定された人体のポーズに対応するモデルグラフとのマッチングを行い、一致しているグラフ化情報に対して手先検出を行う。これにより、より効率的且つ正確に手先の位置を取得することができる。
【００９７】
ここで、第３の実施例における把持物体認識処理手順について図を用いて説明する。図８は、第３の実施例における把持物体認識処理手順の一例を示すフローチャートである。図８において、まず上述した第１の実施例と同様に所定の位置に取り付けられたカメラ等の撮像手段により撮影された映像中に含まれる所定の画像をキャプチャし（Ｓ４１）、キャプチャした画像に含まれる人体領域を検出する（Ｓ４２）。次に、Ｓ４２の処理において、人体領域があるか否かを判断し（Ｓ４３）、人体領域がある場合（Ｓ４３において、ＹＥＳ）、検出された人体領域に対して細線化処理を行い（Ｓ４４）、細線化された人体情報を用いてグラフを作成し（Ｓ４５）、作成されたグラフ化された情報と予め設定されたモデルグラフとのマッチング処理を行う（Ｓ４６）。
【００９８】
次に、グラフが一致したか否かを判断し（Ｓ４７）、一致した場合（Ｓ４７において、ＹＥＳ）、その一致したモデルグラフに予め登録されている正確な手先位置情報から画像中の人体に対する手先を検出する（Ｓ４８）。なお、Ｓ４６〜Ｓ４８の処理は、上述した手先検出手段（部位検出手段）１５により行われる処理である。
【００９９】
ここで、手先があるか否かを判断し（Ｓ４９）、手先がある場合（Ｓ４９において、ＹＥＳ）、把持物体を検出し（Ｓ５０）、検出された結果に基づいて特定物体を推定する（Ｓ５１）。
【０１００】
更に、Ｓ５１の処理が終了後、又はＳ４９の処理において、手先がない場合（Ｓ４９において、ＮＯ）、必要に応じて挙動認識を行い（Ｓ５２）、その結果をディスプレイ等に表示する画面を生成し（Ｓ５３）、生成した画面を表示する（Ｓ５４）。また、Ｓ５３の処理における特定物体の推定や、Ｓ５４の処理における挙動認識において、不審者又は危険人物等であると判断された場合には、ユーザや管理センタ、警備員等に通知を行う（Ｓ５５）。
【０１０１】
ここで、Ｓ４３の処理において人体領域がない場合（Ｓ４３において、ＮＯ）、又はＳ５５の処理が終了後、把持物体認識処理を終了するか否かを判断し（Ｓ５６）、把持物体認識処理を終了しない場合（Ｓ５６において、ＮＯ）、Ｓ４１に戻り、次の対象画像をキャプチャして後続の処理を行う。また、ユーザ等からの終了指示等により把持物体認識処理を終了する場合（Ｓ５６において、ＹＥＳ）、処理を終了する。
【０１０２】
＜モデルグラフマッチング処理ついて＞
ここで、上述したモデルグラフマッチング処理について具体的に説明する。図９は、第３の実施例における手先部位認識処理を説明するための一例を示す図である。第３の実施例では、まず図９（ａ）に示す原画像に対して、図９（ｂ）に示すように人体領域の検出を行い、その後、図９（ｃ）に示すように、人体領域に対して細線化処理を行う。
【０１０３】
次に、その細線化された情報と、予め蓄積手段１３等に蓄積されたグラフマッチング用のモデルグラフデータベースに含まれる色々なポーズに対応する人体の細分化された情報とに基づいて、そのグラフ情報（行列）を基準としたマッチングを行い、図９（ｄ）に示すように一致するグラフをモデルグラフデータベースから取得する。なお、モデルグラフデータベースには、グラフ毎に手先や頭、足等の部位情報も、図５（ｂ）に示す重み付け処理により予め登録されているため、一致したグラフ情報から図９（ｅ）に示すように、手先部分を容易且つ確実に取得することができる。
【０１０４】
ここで、図１０は、グラフマッチングの概念図を示す図である。図１０に示すように、予め設定された人物の所定の動作パターンに対応する複数のモデルグラフが蓄積されたモデルグラフデータベースを用いて、グラフ化された情報に対してそれが人体領域であるか否かを正確に確認することができる。また、本実施形態では、各モデルグラフに予め正確な手、足、頭等の部位情報を設定しておき、その部位情報に基づいて、マッチングしたグラフから、その人体の手先部位等を高精度に取得することができる。
【０１０５】
したがって、図１０に示すように、モデルグラフデータベースを用いることで、例えば画像から得られたグラフ化データが、人体ではない場合やノイズ等で複雑に分岐した場合等のときに一致しないようにすることで、より高精度に人体の検出やその手先の位置や向き等の情報を取得することができる。
【０１０６】
なお、上述したモデルグラフデータベースは、予め蓄積手段１３に蓄積されていてもよく、送受信手段２１を用いてインターネット等の通信ネットワークを介して、外部装置から取得してもよい。
【０１０７】
上述したマッチングを行うことにより、特定の姿勢（手を挙げている等）を認識でき、人体検出時に誤って検出された領域を、無駄な処理することなく除外することができる。
【０１０８】
なお、上述した図９，図１０に示すようなモデルグラフは概念図であって、実際のモデルグラフのデータは、具体的には上述した行列等に基づいて登録されている。ここで、モデルグラフデータベースについて説明する。図１１は、モデルグラフデータベースを説明するための図である。なお、図１１（ａ）は、モデルグラフデータベースのデータ項目例を示し、図１１（ｂ）は、モデルグラフデータベースの具体的なデータ例を示している。
【０１０９】
図１１（ａ）に示すデータ項目としては、例えば、モデルグラフ番号によりモデルを識別する識別情報としての「ＭｏｄｅｌＩＤ」と、そのモデルの分岐点数を示す「ｂｒａｎｃｈｎｕｍ」と、そのモデルのノード数（分岐点＋端点数）を示す「ｎｏｄｅｎｕｍ」と、そのモデルのグラフ（例えば、図５（ｂ）に示すような重み付き隣接行列）を示す「ｇｒａｐｈ」と、モデル中の手先数を示す「ｈａｎｄＣｏｕｎｔ」等がある。また、図１１（ａ）に示す項目に対するデータは、図１１（ｂ）に示すように、複数のモデルがデータベースに蓄積されている。なお、このデータの配列や数値の条件等については、本発明においては特に制限されるものではない。
【０１１０】
例えば、手先を認識する際のモデルグラフマッチングでは、モデルグラフデータベースの構成要素のうち、「ｇｒａｐｈ」は手、頭、足の情報を表すものであり、各部位を識別するための重み付けがされる。なお、重み付け方法は、上述したように、例えば、得られた人体領域を５等分し、上１／５を頭部ゾーン、下１／５を足部ゾーン、残りの中央部を手部ゾーンとし、細分化した領域を上から順に１〜３の重みを付与する。また、例えば分岐点同士の接続には、９を付与することもできる。
【０１１１】
なお、上述したように、例えば人体領域を５等分する重み付け方法を用いた場合に、対象人物が手を挙げていると、頭部候補が２つとなり手の認識が難しくなるという問題がある。しかしながら、この場合には、上述した重み付けを行った細線化グラフと、予め用意したモデルグラフとのマッチングを行うことにより、特定の姿勢（手を挙げている等）を認識でき、人体検出時に誤って検出された領域を、無駄な処理することなく除外することができる。
【０１１２】
ここで、対象人物の手が挙がっている場合の対策処理について、図を用いて説明する。図１２は、対象人物の手が挙がっている場合の対応を説明するための図である。図１２（ａ）には、手が挙がっている場合の細線化した状態を示しており、図１２（ｂ）は、拡張したモデルグラフデータベースの項目例を示している。図１２（ｂ）の項目例では、図１１（ａ）のデータ例と比較して、挙手時の頭部位置決定処理用のパラメータである「ｈｅａｄ」と、手が上がっているモデルであることを示す「ｈａｎｄｓＵＰ」等が追加されている。
【０１１３】
つまり、図１２の例では、手が挙がっているか否かを「ｈａｎｄｓＵｐ」にて判別し、例えば、「ｈａｎｄｓＵｐ」が１以上の時、「ｈｅａｄ」の値別に処理を行い、手先と頭部を分離する。つまり、図１２（ａ）に示すように頭部ゾーンに２つの端点がある場合に、そのｘ方向（水平方向）を比較し、分岐点から離れた位置にある方を手先とするように設定する。
【０１１４】
また、一例として、片方の手先が上がっている場合（ｈａｎｄｓＵｐ：１）、０番目の分岐点のｘ座標値と頭部・手先候補を比較し、ｘ座標値が近い方を頭部とするという処理を行うことで、手先と頭部を分ける。「ｈｅａｄ」には、どの分岐点と比較すべきかの情報を示している。手が挙がっている場合の対策処理は、マッチング処理の結果として、手を挙げているというパラメータが抽出した場合に上述した頭部・手先判別処理が行われる。なお、頭部・手先判別処理は、上述した手先検出手段（部位検出手段）１５により行われる処理である。
【０１１５】
上述したように、第３の実施例におけるモデルグラフマッチング処理を行うことで、特定の姿勢（手を挙げている等）を認識でき、人体検出時に誤って検出された領域を、無駄な処理することなく除外することができる。
【０１１６】
＜第４の実施例＞
次に、把持物体認識処理の第４の実施例について説明する。第４の実施例では、上述した第３の実施例における手先検出時に、手先のエッジが略円形に見えることに着目し、そのエッジの形状から手先の位置を検出する。これにより、より正確に手先の位置を取得することができる。
【０１１７】
ここで、第４の実施例における把持物体認識処理手順について図を用いて説明する。図１３は、第４の実施例における把持物体認識処理手順の一例を示すフローチャートである。図１３において、まず上述した第１の実施例等と同様に所定の位置に取り付けられたカメラ等の撮像手段により撮影された映像中に含まれる所定の画像をキャプチャし（Ｓ６１）、キャプチャした画像に含まれる人体領域を検出する（Ｓ６２）。次に、Ｓ６２の処理において、人体領域があるか否かを判断し（Ｓ６３）、人体領域がある場合（Ｓ６３において、ＹＥＳ）、検出された人体領域に対して細線化処理を行い（Ｓ６４）、細線化された人体情報を用いてグラフを作成し（Ｓ６５）、作成されたグラフ化された情報と予め設定されたモデルグラフとのマッチング処理を行う（Ｓ６６）。
【０１１８】
次に、グラフが一致したか否かを判断し（Ｓ６７）、一致した場合（Ｓ６７において、ＹＥＳ）、その一致したモデルグラフに予め登録されている正確な手先位置情報から画像中の人体に対する手先候補を検出し（Ｓ６８）、手先候補があるか否かを判断する（Ｓ６９）。
【０１１９】
また、上述したＳ６３の処理において、人体領域がある場合（Ｓ６３において、ＹＥＳ）、Ｓ６４の処理と平行して画像全体に対するエッジを検出し（Ｓ７０）、更にエッジ化された画像の中から上述した人体領域に対応させて人体のエッジを検出する（Ｓ７１）。
【０１２０】
ここで、Ｓ６７の処理において、手先候補がある場合（Ｓ６７において、ＹＥＳ）、及びＳ６９の処理が終了後、手先部分を抽出するための円検出を行う（Ｓ７２）。具体的には、上述した手先含有候補（手先候補）の細線化した線上の注目点に中心を置き、その各線上の点からの人体領域のエッジが円形に近い箇所を走査して探していく。なお、走査方向は、胴体方向から手先に対して行う。そして、例えば、最初に検出された円形に近い部分を手先部分として検出する。なお、Ｓ６４〜Ｓ７２の処理は、上述した手先検出手段（部位検出手段）１５により行われる処理である。
【０１２１】
ここで、手先があるか否かを判断し（Ｓ７３）、手先がある場合（Ｓ７３において、ＹＥＳ）、把持物体を検出し（Ｓ７４）、検出された結果に基づいて特定物体を推定する（Ｓ７５）。
【０１２２】
更に、Ｓ７５の処理が終了後、又はＳ７３の処理において、手先がない場合（Ｓ７３の処理において、ＮＯ）、必要に応じて挙動認識を行い（Ｓ７６）、その結果をディスプレイ等に表示する画面を生成し（Ｓ７７）、生成した画面を表示する（Ｓ７８）。また、Ｓ７７の処理における特定物体の推定や、Ｓ７８の処理における挙動認識において、不審者又は危険人物等であると判断された場合には、ユーザや管理センタ、警備員等に通知を行う（Ｓ７９）。
【０１２３】
ここで、Ｓ６３の処理において、人体領域がない場合（Ｓ６３において、ＮＯ）、Ｓ６７の処理において、グラフが一致していない場合（Ｓ６７において、ＮＯ）、Ｓ６９の処理において、手先候補がない場合（Ｓ６９において、ＮＯ）、又はＳ７９の処理が終了後、把持物体認識処理を終了するか否かを判断し（Ｓ８０）、把持物体認識処理を終了しない場合（Ｓ８０において、ＮＯ）、Ｓ６１に戻り、次の対象画像をキャプチャして後続の処理を行う。また、ユーザ等からの終了指示等により把持物体認識処理を終了する場合（Ｓ８０において、ＹＥＳ）、処理を終了する。
【０１２４】
＜第４の実施例における円検出について＞
ここで、上述した第４の実施例における円検出処理について具体的に説明する。図１４は、第４の実施例における円検出処理を説明するための一例を示す図である。上述した第２の実施例における円検出と同様に、細線化処理により細線化された線分上に設定した所定の注目点を中心にして、予め設定された注目領域内に円があるか否かを判断し、円検出を行うものであるが、更に第４の実施例では、グラフマッチングを行うことで、より正確な手先領域の円検出を行うものである。
【０１２５】
具体的には、図１４（ａ）に示すような原画像から、図１４（ｂ）に示すような人体領域の検出を行い、図１４（ｃ）に示すように細線化を行い、図１４（ｄ）に示すグラフマッチングを行い、そのマッチングにより検出されたモデルグラフから、図１４（ｅ）に示すように手先の候補として手先候補線を取得する。
【０１２６】
また、第４の実施例では、原画像全体に対して図１４（ｆ）に示すようにエッジ検出を行い、検出された画面全体のエッジ情報から、図１４（ｇ）に示すように人体エッジを抽出し、抽出した人体エッジ情報と、手先候補情報とに基づいて、図１４（ｈ）に示すように手先の円検出を行う。
【０１２７】
上述したように、第４の実施例によれば、人体エッジとグラフマッチングとを用いて効率的且つ高精度に手先の円検出を行うことができる。
【０１２８】
＜円検出手法について＞
ここで、上述した円検出手法について、具体的に説明する。図１５は、本実施形態における円検出手法の具体例を説明するための図である。
【０１２９】
本実施形態における円検出手法では、例えば次の（ア）〜（エ）の例が考えられる。
（ア）エッジ検出→エッジの２値化→ヒストグラムに蓄積、判別を行う。
（イ）エッジ検出→エッジの２値化→エッジの細線化→ヒストグラムに蓄積、判別を行う。
（ウ）エッジ検出→エッジの２値化→エッジの細線化→エッジの円に対する占有度をヒストグラムに蓄積し、判別を行う。
（エ）細線化画像を用いて円の中心候補を絞り込んだ、上記（ア）〜（ウ）の方法を行う。ここで、上記（ア）〜（ウ）の具体的な処理について、以下に説明する。
【０１３０】
＜（ア）の手法について＞
まず、上述したように画像全体のエッジを検出した後、有効なエッジのみを残すため、閾値処理等によりエッジを２値化する。その後、該当領域のエッジをヒストグラム化し、円判定を行う。ヒストグラムに加算する際は、エッジがある画素１つに対し、該当の角度に１加算する。２値化前のエッジの値を、ヒストグラムに加算してもよい。
【０１３１】
このとき、図１５（ａ）に示すように、原画像からエッジ検出を行った際には、エッジ強度情報を持ち、その後エッジの２値化を行った場合にはエッジか否かの情報を持つことになる。
【０１３２】
＜（イ）の手法について＞
上述した（ア）の手法では、エッジ強度が高い場合等に円が２画素幅以上の線で構成されることでヒストグラムの加算値が増え、円らしい箇所が多く検出されてしまう可能性がある。そこで、（イ）の手法では、図１５（ｂ）に示すように、エッジを細線化し、１画素の線とすることで、円ではない箇所の無駄な検出を抑える。ここで、エッジの２値化及び細線化には、一般的な処理であるＣａｎｎｙのエッジ検出処理を用いているが、本発明においてはこれに限定されるものではない。また、（イ）の手法の場合、ヒストグラムに加算する際は、エッジがある画素１つに対し、該当の角度に１加算する。
【０１３３】
＜（ウ）の手法について＞
上述した（イ）では、円の大きさが大きくなるほど、円を構成する画素数が増え、ヒストグラムの加算値が高くなる。一方、小さい円は加算値が少なくなり、票数に閾値を与えて円検出を行う場合に、小さい円を検出しにくくなる可能性がある。また、小さい円を検出するためには閾値を下げる必要があり、その結果、円ではないエッジの塊を誤って円として検出してしまう可能性がある。
【０１３４】
そこで、（ウ）の手法では、注目領域の中心から注目する画素の距離を用い、注目画素が仮に真円を構成していると仮定したうえで、その注目画素が円周を占める割合（以下、「円占有度」という）をヒストグラムに加算する方法を用いる。これにより、大小の円を統合的に扱うことができ、円の大きさに関係なく円検出を行うことができる。
【０１３５】
ここで、（ウ）の手法について、図１５（ｃ）等を用いて、更に具体的に説明する。まず定数として注目領域の中心から注目する画素までの距離をｒとする。また、注目画素がエッジである場合、注目領域の中心をそのまま中心とした真円を構成していると仮定し、その注目画素が画素のサイズである「１」の長さ分円周を占めていることとする。このとき、半径がｒである円の円周は、「２πｒ」である。したがって、注目画素の円占有度は、「１／２πｒ」である。このようにして算出した円占有度をヒストグラムに加算し、同様の処理を注目領域の全画素に対して行う。このとき、注目領域にある図形が、注目領域の中心をそのまま中心とするエッジの途切れていない真円であれば、理想的には２πｒ個エッジが存在し、図１５（ｃ）に示すように、ヒストグラムの値が１（つまり、円周を１００％途切れなくエッジが並んでいる）と考えることができる。これにより、例えば、「円占有度が５０％以上であれば円とする」等の閾値を用いて円の判別を行うことができる。
【０１３６】
この方法では、注目領域にある図形が楕円形状の場合でも、円周をどの程度エッジで占めているかを把握し、他の領域との比較を行う際の有用な指標となる。楕円形状の場合、中心に近い（短軸に近い）エッジは占有度が大きくなり（１票の重み大）、逆に中心から遠い（長軸に近い）エッジは占有度が小さくなる（１票の重み小）。楕円が途切れていない場合は、円占有度が１に近似できる値になると考えられる。
【０１３７】
ただし、円のどの位置にある場合でも円周を「１」占めていると仮定しているため、円が途切れていない場合に、円占有度が１を超える場合がある。つまり、円占有度を用いたヒストグラムを使う場合、エッジの２値化・細線化をすることで、より有効な処理が可能となる。
【０１３８】
ここで、上述の（ウ）の処理手順についてフローチャートを用いて説明する。図１６は、（ウ）の処理手順の一例を示すフローチャートである。図１６において、まず上述したようにエッジを検出し（Ｓ８１）、検出したエッジの２値化を行い（Ｓ８２）、細線化を行う（Ｓ８３）。
【０１３９】
次に、注目領域分のループ処理を行う。注目領域分のループ処理としては、注目領域の画素分ループ処理として、まず注目している画素がエッジか否かを判断し（Ｓ８４）、エッジである場合（Ｓ８４において、ＹＥＳ）、上述したように円占有度を算出し（Ｓ８５）、ヒストグラムに追加する（Ｓ８６）。Ｓ８６の処理が終了後、又は、Ｓ８４の処理において、注目している画素がエッジでない場合（Ｓ８６において、ＮＯ）、次の画素に対して同様の処理を行う。
【０１４０】
画素分のループ処理が終了後、そのヒストグラムの結果から、その注目領域が円であるか否かを判断し（Ｓ８７）、円でない場合（Ｓ８７において、ＮＯ）、他の注目領域を設定し、その注目領域に対して同様の処理を行う。また、Ｓ８７の処理において、その注目領域が円である場合（Ｓ８７において、ＹＥＳ）、処理を終了する。
【０１４１】
なお、上述の注目領域分のループ処理としては、例えば、予め設定された細線化画像の腕上を円の中心候補とし、胴体方向から手先方向までを対象としてループ処理を行うことができるが、本発明においてはこれに限定されるものではない。
【０１４２】
また、上述の処理では、最初に円が検出された場合又は全領域で円が検出されなかった場合に終了しているが、本発明においてはこれに限定されるものではなく、例えば円検出された注目領域の位置を記憶し、更にループ処理を続けてもよい。
【０１４３】
＜第５の実施例＞
次に、把持物体認識処理の第５の実施例について説明する。第５の実施例では、上述したような細線化画像を用いずに、シルエット画像を用いて把持の有無を認識する。これにより、処理内容を減らして迅速且つ正確に手先の位置を取得することができる。
【０１４４】
ここで、第５の実施例における把持物体認識処理手順について図を用いて説明する。図１７は、第５の実施例における把持物体認識処理手順の一例を示すフローチャートである。図１７において、まず上述した第５の実施例と同様に所定の位置に取り付けられたカメラ等の撮像手段により撮影された映像中に含まれる所定の画像をキャプチャし（Ｓ９１）、キャプチャした画像に含まれる人体領域を検出する（Ｓ９２）。次に、Ｓ９２の処理において、人体領域があるか否かを判断し（Ｓ９３）、人体領域がある場合（Ｓ９３において、ＹＥＳ）、検出された人体領域に対して上述した円検出を行う（Ｓ９４）。
【０１４５】
次に、Ｓ９４の処理により得られた円検出処理の結果から手先があるか否かを判断し（Ｓ９５）、手先がある場合（Ｓ９５において、ＹＥＳ）、第５の実施例における把持物体検出を行い（Ｓ９６）、検出された結果に基づいて特定物体を推定する（Ｓ９７）。
【０１４６】
更に、Ｓ９７の処理が終了後、又はＳ９５の処理において、手先がない場合（Ｓ９５において、ＮＯ）、その結果を示す画面を生成し（Ｓ９８）、生成した画面を表示する（Ｓ９９）。また、Ｓ９７の処理等において、特定物体を推定した結果、その把持物体が刃物等であり、その対象人物が不審者又は危険人物等であると判断された場合には、ユーザや管理センタ、警備員等に通知を行う（Ｓ１００）。
【０１４７】
次に、Ｓ１００の処理が終了後、又はＳ９３の処理において、人体領域がない場合（Ｓ９３において、ＮＯ）、把持物体認識処理を終了するか否かを判断し（Ｓ１０１）、把持物体認識処理を終了しない場合（Ｓ１０１において、ＮＯ）、Ｓ９１に戻り、次の対象画像をキャプチャして後続の処理を行う。また、ユーザ等からの終了指示等により把持物体認識処理を終了する場合（Ｓ１０１において、ＹＥＳ）、処理を終了する。
【０１４８】
なお、第５の実施例においては、上述した第４の実施例に示すように、特定物体を推定した後に、必要に応じて挙動認識を行ってもよい。
【０１４９】
ここで、第５の実施例における把持物体検出（Ｓ９６）の具体例について図を用いて説明する。図１８は、第５の実施例における把持物体の有無の認識手法について説明するための図である。なお、図１８（ａ）は、把持物体が無い場合の手先付近のシルエット画像の一例を示し、図１８（ｂ）は、把持物体が有る場合の手先付近のシルエット画像の一例を示している。図１８（ａ），（ｂ）に示すように、手先の位置座標を中心として所定の半径の大きさに形成された円は、それぞれの画像で得られる人物領域よって、円と人物領域との交点（重複領域）数が変わる。そのため、第５の実施例では、この交点の数が複数の場合には、把持物体有りとして把持物体の有無を判断する。
【０１５０】
なお、第５の実施例に係る処理では、例えば、シルエットの白黒のうち、人体領域を白領域とし、それ以外を黒領域とした場合に、上述した所定の円上を１周し、黒から白に変わる箇所をカウントすることで、重複領域の数を検出し、その検出結果により把持の有無を見分けることができる。つまり、第５の実施例では、把持物体検出手段１６において、手先検出手段１５により得られた手先領域の周囲に所定の画その集まり（例えば、白領域）が複数存在することを認識することで、把持物体を検出することができる。
【０１５１】
ここで、上述のシルエットを利用した把持物体検出手段に代え、第１の実施例等で説明した、細線化の線分が手先領域の先又は周囲に存在することを利用する方法で、把持物体を検出してもよい。このとき、把持物体を検出する直前に細線化処理を行うこともでき、把持物体検出を行う前であれば、細線化処理を行うタイミングは問わない。つまり、細線化処理は、必要に応じて行えばよく、手先検出手段１５等の前処理によって予め細線化処理が行われているのであれば、その結果を流用することもできる。更に、手先領域の周辺領域のみに細線化処理を行うことで、効率的に部位を認識してもよい。なお、上述した第１〜第５の実施例は、複数を組み合わせて実施することもできる。
【０１５２】
＜手先検出の実施例＞
次に、上述した手先検出手法については、画像中に含まれる両方の手について同様の処理をそれぞれの手について行うことによりそれぞれの手先を検出することができるが、本実施形態においてはこれに限定されるものではなく、例えば検出された一方の手先から取得される情報に基づいて、未検出である他方の手先を検出することができる。その具体例について以下に説明する。図１９は、手先検出の実施例を説明するための図である。
【０１５３】
図１９の例では、１つの画像中における同一人物の両手については、一方の手と他方の手は、その色情報や形状等の特徴が同一又は類似しているため、例えば検出された一方の手先領域の形状パターンや画像の色情報等の特徴を用いてテンプレートを生成し、生成したテンプレートに基づいて人体領域全体にマッチング処理を行い、最も一致する箇所を手先とする。
【０１５４】
具体的に説明すると、まず検出した一方の手先からフィルタ情報を作成する。このフィルタ情報は、対象の画像に撮影されている人体を基準にした手先の大きさ、形状、位置等の手先情報を含んでいる。なお、図１９の例では、撮影された人体の身長から推定される手先の大きさ、形状等から生成した円をフィルタとする。また、フィルタの内容は、検出した手先の画素値そのままとする。
【０１５５】
次に、このフィルタ情報を用いてテンプレートマッチングを行う。図１９では、得られた人体領域の最上部から、右側へ順にフィルタを移動し、その一致度が予め設定される閾値を超えた場合に、その部分を手先とする。
【０１５６】
ここで、フィルタ情報に含まれる形状は、円の他、点、矩形、その他任意の形（楕円や長方形）、等、自由に設定することができる。また、フィルタ内の値は、検出した手先の画素値の他、肌色として規定した値を領域全体に分布させたり、手先座標上の画素値を領域全体に分布させたり、検出した手先領域の平均画素値を領域内に分布させる等を行うことができる。
【０１５７】
また、テンプレートマッチングを行う箇所は、例えば、画像全体、人体領域内、人体領域内の手部ゾーン（手先があると重み付けした範囲）等が可能であり、予め設定された順序や位置に基づいて処理を行うことができる。
【０１５８】
更に、本実施例において、類似度を数式により計算することもでき、その場合に計算する式は、一般的に以下に示す式（１）のようなＲＳＳＤを用い、算出されたＲＳＳＤが予め設定された値以上の場合には、一致であると判断することができる。なお、ＲＳＳＤの「Ｒ」は類似度を示し、「ＳＳＤ」は「Ｓｕｍ ｏｆ Ｓｑａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ」の略であり、距離の算出方法が、差の二乗和を用いているという意味である。
【０１５９】
【数１】
ここで、式（１）におけるＭはテンプレート画像の横の画素数を示し、Ｎはテンプレート画像の縦の画素数を示している。
【０１６０】
なお、上述した数式は、本発明についてはこれに限定されるものではない。例えば、式（１）に示す距離は「ユークリッド距離」と呼ばれ、ユークリッド距離は画素同士の直線距離のことであるが、ユークリッド距離の他、「チェス盤距離」「市街地距離」等の考え方があり、本発明ではそれらを用いることも可能である。
【０１６１】
また、別の手法として、閾値を越える画素を手先とする場合の他、最も一致度の高い箇所を手先とする方法もある。
【０１６２】
更に、他の実施例としては、例えば、予め設定される矩形等の袖口形状に基づいて袖口位置を取得し、手先と袖口位置をペアにしたフィルタを行ったり、手先候補が多数現れた場合に、上述した円検出手法を用いて、最も円形度の高い（円らしい）箇所を手先とするといった処理を行うことができる。
【０１６３】
＜画面生成手段により生成される画面例＞
次に、本実施形態における画面生成手段１９により生成される画面例について、図を用いて説明する。図２０は、本実施形態により生成される画面の一例を示す図である。
【０１６４】
図２０に示す画面４０では、原画像４１、細線化画像４２、人体エッジ画像４３、手先検出結果画像４４等を一度に表示することができる。また、それぞれの画像を選択することで、その対象画像を拡大表示したり、時系列に映像を表示することもできる。なお、映像を表示する場合には、原画像４１、細線化画像４２、人体エッジ画像４３、及び手先検出結果画像４４は、それぞれ同期して同じ時間の内容が表示されることが好ましいが、少なくとも１つの画像みが異なった時間の内容を表示させてもよい。
【０１６５】
また、本実施形態では、例えば図２０に示す手先検出結果画像４４のように、画像上に所定の文字情報（例えば、手先の座標や頭部等の部位情報、撮影時刻等）を表示させることができる。
【０１６６】
更に、本実施形態における画面生成手段１９により生成され画面の内容やレイアウト等については、本発明においてはこれに限定されるものではなく、例えば特定物体検出手段１７により検出された特定物体の名称や通知手段２０により通知された内容等を表示することもできる。
【０１６７】
上述したように本発明によれば、撮影等により得られた映像や画像に含まれる人物が把持する把持物体等を高精度に認識することができる。具体的には、本発明によれば、人体検出から刃物認識まで全体を把握することができ、脅される人物の通報動作等を必要とせずに防犯システムを構築することができる。また、単一の防犯カメラのみで刃物強盗を認識可能な低コストの防犯システムが構築できる。
【０１６８】
また、本発明における手先部位認識手法としては、単眼の防犯カメラ等を用い、３次元にせず手先位置を認識することができる。具体的には、本発明は、物を持っているか否かに関係なく、手の位置を取得することができるため、例えば把持物体解析に有効な手法となる。例えば、上述した円検出手法では、「（ア）エッジ検出→エッジの２値化→ヒストグラムに蓄積、判別を行う。」、「（イ）エッジ検出→エッジの２値化→エッジの細線化→ヒストグラムに蓄積、判別を行う。」、「（ウ）エッジ検出→エッジの２値化→エッジの細線化→エッジの円に対する占有度をヒストグラムに蓄積し、判別を行う。」等の各処理を行ったり、「（エ）細線化画像を用いて円の中心候補を絞り込んだ、（ア）〜（ウ）の方法を行う。」といった処理を行う。また、上述した細線化グラフでは、重み付けのあり／なし等の設定を行うことができ、更に上述した円検出手法と細線化グラフとを組み合わせることで、より認識精度を向上させることができる。
【０１６９】
更に、本発明によれば、より詳細に手先の座標位置を検出できるため、把持物体解析に有効である。また、本発明によれば、手を向けている方向や手を挙げている等、人間の姿勢がわかるため、突き出し、万引き、暴力行為の予兆認識等に有効である。また、本発明によれば、ノイズに強く、また認識対象となる人物に認識のための動作やマーキングのものを付ける等、所定の条件を強要する必要がないため、容易に正確な把持物体の認識を行うことができる。
【０１７０】
更に、本発明によれば、特定の姿勢（手を挙げている等）を認識でき、人体検出時に誤って検出された領域を、無駄な処理することなく除外することができる。
【０１７１】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１７２】
１０ 把持物体認識装置
１１ 入力手段
１２ 出力手段
１３ 蓄積手段
１４ 人体領域検出手段
１５ 手先検出手段（部位検出手段）
１６ 把持物体検出手段
１７ 特定物体推定手段
１８ 挙動認識手段
１９ 画面生成手段
２０ 通知手段
２１ 送受信手段
２２ 制御手段
３１ 入力装置
３２ 出力装置
３３ ドライブ装置
３４ 補助記憶装置
３５ メモリ装置
３６ ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）
３７ ネットワーク接続装置
４０ 画面
４１ 原画像
４２ 細線化画像
４３ 人体エッジ画像
４４ 手先検出結果画像
【特許請求の範囲】
【請求項１】
映像又は画像に含まれる人物が把持している物体を認識する把持物体認識装置において、
前記映像又は画像に含まれる少なくとも１人の人物の人体領域を検出する人体領域検出手段と、
前記人体領域検出手段により得られる人体領域から手先領域を検出する手先検出手段と、
前記手先検出手段により得られる手先領域に対応した手先の位置情報に基づいて、把持物体を検出する把持物体検出手段とを有することを特徴とする把持物体認識装置。
【請求項２】
前記把持物体検出手段は、
前記手先検出手段により得られた前記手先の位置情報に基づいて、前記把持物体の有無を検出することを特徴とする１に記載の把持物体認識装置。
【請求項３】
前記手先検出手段は、
前記人体領域検出手段により得られる人体領域を細線化し、細線化された情報に基づいて端点と分岐点との関係を示す行列を生成し、生成された行列と、予め登録された人物の複数の行列とを比較して、前記手先領域を検出することを特徴とする請求項１又は２に記載の把持物体認識装置。
【請求項４】
前記手先検出手段は、
前記人体領域を含む画像を複数の領域に細分化し、細分化された領域毎に前記端点と前記分岐点とに重みを付与して行列を生成することを特徴とする請求項３に記載の把持物体認識装置。
【請求項５】
前記手先検出手段は、
前記人体領域の画像に対してエッジ処理を行い、エッジ処理されたエッジが所定形状になる部分を検出し、前記所定形状を検出した領域を手先領域とすることを特徴とする請求項１乃至４の何れか１項に記載の把持物体認識装置。
【請求項６】
前記把持物体検出手段は、
前記手先検出手段により得られた手先領域よりも先又は周囲に前記細線化した部分が存在している場合に物体を把持しているものとして把持物体を検出することを特徴とする請求項１乃至５の何れか１項に記載の把持物体認識装置。
【請求項７】
前記把持物体検出手段は、
前記手先検出手段により得られた前記手先領域の周囲に所定の画素の集まりが複数存在することを認識することで、前記把持物体を検出することを特徴とする請求項１乃至５の何れか１項に記載の把持物体認識装置。
【請求項８】
前記手先検出手段は、
前記人物の一方の手の手先領域の特徴に基づいて、同一画像中の他の手先領域を検出することを特徴とする請求項１乃至７の何れか１項に記載の把持物体認識装置。
【請求項９】
前記把持物体検出手段により得られる把持物体と、予め蓄積された特定物体情報とを比較し、把持物体が特定物体であるか否かを推定する特定物体推定手段とを有することを特徴とする請求項１乃至８の何れか１項に記載の把持物体認識装置。
【請求項１０】
前記人体領域検出手段により得られる人体領域を時系列に追跡し、対象人物の挙動を認識する挙動認識手段を有することを特徴とする請求項１乃至９の何れか１項に記載の把持物体認識装置。
【請求項１１】
前記特定物体推定手段により得られる推定結果において、前記把持物体が前記特定物体であった場合に、緊急信号を所定の連絡先に通知する通知手段を有することを特徴とする請求項１乃至１０の何れか１項に記載の把持物体認識装置。
【請求項１２】
映像又は画像に含まれる人物が把持している物体を認識する把持物体認識方法において、
前記映像又は画像に含まれる少なくとも１人の人物の人体領域を検出する人体領域検出ステップと、
前記人体領域検出ステップにより得られる人体領域から手先領域を検出する手先検出ステップと、
前記手先検出ステップにより得られる手先領域に対応した手先の位置情報に基づいて、把持物体を検出する把持物体検出ステップとを有することを特徴とする把持物体認識方法。
【請求項１３】
コンピュータを、
請求項１乃至１１の何れか１項に記載された把持物体認識装置として機能させることを特徴とする把持物体認識プログラム。
【請求項１】
映像又は画像に含まれる人物が把持している物体を認識する把持物体認識装置において、
前記映像又は画像に含まれる少なくとも１人の人物の人体領域を検出する人体領域検出手段と、
前記人体領域検出手段により得られる人体領域から手先領域を検出する手先検出手段と、
前記手先検出手段により得られる手先領域に対応した手先の位置情報に基づいて、把持物体を検出する把持物体検出手段とを有することを特徴とする把持物体認識装置。
【請求項２】
前記把持物体検出手段は、
前記手先検出手段により得られた前記手先の位置情報に基づいて、前記把持物体の有無を検出することを特徴とする１に記載の把持物体認識装置。
【請求項３】
前記手先検出手段は、
前記人体領域検出手段により得られる人体領域を細線化し、細線化された情報に基づいて端点と分岐点との関係を示す行列を生成し、生成された行列と、予め登録された人物の複数の行列とを比較して、前記手先領域を検出することを特徴とする請求項１又は２に記載の把持物体認識装置。
【請求項４】
前記手先検出手段は、
前記人体領域を含む画像を複数の領域に細分化し、細分化された領域毎に前記端点と前記分岐点とに重みを付与して行列を生成することを特徴とする請求項３に記載の把持物体認識装置。
【請求項５】
前記手先検出手段は、
前記人体領域の画像に対してエッジ処理を行い、エッジ処理されたエッジが所定形状になる部分を検出し、前記所定形状を検出した領域を手先領域とすることを特徴とする請求項１乃至４の何れか１項に記載の把持物体認識装置。
【請求項６】
前記把持物体検出手段は、
前記手先検出手段により得られた手先領域よりも先又は周囲に前記細線化した部分が存在している場合に物体を把持しているものとして把持物体を検出することを特徴とする請求項１乃至５の何れか１項に記載の把持物体認識装置。
【請求項７】
前記把持物体検出手段は、
前記手先検出手段により得られた前記手先領域の周囲に所定の画素の集まりが複数存在することを認識することで、前記把持物体を検出することを特徴とする請求項１乃至５の何れか１項に記載の把持物体認識装置。
【請求項８】
前記手先検出手段は、
前記人物の一方の手の手先領域の特徴に基づいて、同一画像中の他の手先領域を検出することを特徴とする請求項１乃至７の何れか１項に記載の把持物体認識装置。
【請求項９】
前記把持物体検出手段により得られる把持物体と、予め蓄積された特定物体情報とを比較し、把持物体が特定物体であるか否かを推定する特定物体推定手段とを有することを特徴とする請求項１乃至８の何れか１項に記載の把持物体認識装置。
【請求項１０】
前記人体領域検出手段により得られる人体領域を時系列に追跡し、対象人物の挙動を認識する挙動認識手段を有することを特徴とする請求項１乃至９の何れか１項に記載の把持物体認識装置。
【請求項１１】
前記特定物体推定手段により得られる推定結果において、前記把持物体が前記特定物体であった場合に、緊急信号を所定の連絡先に通知する通知手段を有することを特徴とする請求項１乃至１０の何れか１項に記載の把持物体認識装置。
【請求項１２】
映像又は画像に含まれる人物が把持している物体を認識する把持物体認識方法において、
前記映像又は画像に含まれる少なくとも１人の人物の人体領域を検出する人体領域検出ステップと、
前記人体領域検出ステップにより得られる人体領域から手先領域を検出する手先検出ステップと、
前記手先検出ステップにより得られる手先領域に対応した手先の位置情報に基づいて、把持物体を検出する把持物体検出ステップとを有することを特徴とする把持物体認識方法。
【請求項１３】
コンピュータを、
請求項１乃至１１の何れか１項に記載された把持物体認識装置として機能させることを特徴とする把持物体認識プログラム。
【図１】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１６】
【図１７】
【図１８】
【図４】
【図５】
【図１４】
【図１５】
【図１９】
【図２０】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１６】
【図１７】
【図１８】
【図４】
【図５】
【図１４】
【図１５】
【図１９】
【図２０】
【公開番号】特開２０１２−１３３６６５（Ｐ２０１２−１３３６６５Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８６４１６（Ｐ２０１０−２８６４１６）
【出願日】平成２２年１２月２２日（２０１０．１２．２２）
【出願人】（０００２０２３６１）綜合警備保障株式会社 (266)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２２日（２０１０．１２．２２）
【出願人】（０００２０２３６１）綜合警備保障株式会社 (266)
【Ｆターム（参考）】
[ Back to top ]