対象物認識システム及び該システムを利用する監視システム、見守りシステム
【課題】どのような状況にあっても安定的に高精度な背景を得ることができ、照明変動や遮蔽等の影響を受けても検出に失敗することのない認識システム、監視システム、見守りシステムを提供する。
【解決手段】一定時間内、監視領域及び／又は見守り領域を観測し、得られたデータから対象物領域を抽出し、人の姿勢、動作、動きを認識する手段として人の体を各部分に対応して分割するマルチスリット法及び／又はバウンディングボックスをサブバウンディングボックスに分割するサブバウンディングボックス法を用いて解決する。
【解決手段】一定時間内、監視領域及び／又は見守り領域を観測し、得られたデータから対象物領域を抽出し、人の姿勢、動作、動きを認識する手段として人の体を各部分に対応して分割するマルチスリット法及び／又はバウンディングボックスをサブバウンディングボックスに分割するサブバウンディングボックス法を用いて解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
地下鉄、駅、空港等の公共の場における、拳銃、刀等の不法所持者、テロリスト、尾行、スリ、喧嘩等怪しい人物（不審者）の発見と追跡及び不審物の発見等セキュリティ確保のための監視システム、あるいは家庭や学校等建物内における老人や子供、病人等の見守りシステム等に必須の技術として、人の姿勢・動作・動きや持ち主不在の物体を検出及び認識して、異常を検知するためのセンサー情報処理技術を用いた監視システム及び見守りシステムに関する。
【背景技術】
【０００２】
従来の監視システムはほとんどが固定的に設置された監視カメラを使用したものが大半である。一方、携帯型センサーを用いた老人や子供の見守りシステムに関するものとしては、GPS搭載の携帯電話を子供に持たせたものがある程度で、他には見当たらない。ほとんどの従来型監視技術は一つのメディアタイプ（主には、ビデオカメラ）だけを用いており、広い範囲はカバーできても、不審者、不審物の発見や異常事態の検出は人の目視に頼らざるを得なかった。本発明は、これらの欠点を補強し、信頼性の高い自動監視システム及び見守りシステムの実現を目指したものである。
【０００３】
不審者、不審物の発見には監視カメラ以外では、空港等におけるX線検査や係官による目視によるもの、発熱を感知するサーモグラフィ検査、顔写真や指紋照合によるもの等が代表的なものである。過去の研究では画像処理アルゴリズムを用いた静止物体や特定の動きをする人の自動検出については、それほど複雑でない比較的安定した環境の中での動作認識（歩く、走る、転倒等）に限られており、実用的な24時間自動監視システム及び見守りシステムを実現できるレベルには至っていない。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Teddy Ko, “A survey on behavior analysis in video surveillance for homelandsecurity applications,”37th IEEE Applied Imagery PatternRecognition Workshop,Washington, DC, USA, pp.1-8, Oct. 15-17, 2008.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の監視システム及び見守りシステムには以下に示す問題点があった。すなわち、対象物である人の検出及び姿勢、動作、動きの認識が不可欠であるが、照明変動や対象物の周りの移動物体による遮蔽等の影響を受けて、検出に失敗（未検出及び誤検出）することがよくあり、このような観測値の欠落やノイズ等に起因して、対象物領域の抽出が難しかったり、仮に抽出できても人の姿勢、動作、動きの認識が難しかったりすると言う問題があった。
【０００６】
さらに、人の姿勢や動作、動きは多種多様に亘っており、簡単且つ高精度なシステムを構成することは困難であった。また、背景差分から求められた対象物の位置に関してもノイズの影響等により精度が低下するという問題があった。
【課題を解決するための手段】
【０００７】
本発明は、このような問題点を解決するために提案された対象物の認識システムであって、一定時間内、監視領域及び／又は見守り領域を観測する観測手段と、上記観測手段の観測によって得られたデータから人の存在を検知し、その領域を抽出する手段を備える。
【０００８】
対象物である人を撮影する撮影手段を含み、上記画像に人の頭部、胴体、脚部の各部分に対応したマルチスリットを設け、マルチスリットの各部分に限定した領域の形状測度に基づいて、対象物の状態を検出するようにしてもよい。照明の変動やノイズが多い環境下で人を検出しようとすれば、単なるパターンマッチングのような手法では検出は難しく、多大な計算時間を要するが、これによれば、できるだけ効率よく領域を絞って探索することで実時間での実行を可能にする。カメラで撮影した画像を用いてもよいが、３次元センサーから得られる３次元データ等を用いてもよい。
【０００９】
対象物が人の場合であって、対象物領域から得られるバウンディングボックスを複数のサブバウンディングボックスに分割して、各サブバウンディングボックスの形状測度を算出するとともに、各サブバウンディングボックス外部境界に沿って内側にスリットを設け、該スリットに含まれる画像の濃淡値又は２値化した値のヒストグラムをとり、そのヒストグラム及び各サブバウンディングボックスの形状測度及びサブバウンディングボックス間の形状測度の関連性に基づいて、人の姿勢及び／又は動作を認識するようにしてもよい。バウンディングボックスを上下左右に分割して４つのサブバウンディングボックスを設定してもよい。不審者の発見や追跡、見守り対象者の異常事態発見等のためには、人の領域が検出された後処理として簡便で高精度な姿勢・動作の認識方法の開発が強く望まれており、２４時間自動監視システム及び見守りシステムを実現することができる。
【００１０】
本発明の対象物検出システムは、不審者の発見と追跡及び不審物の発見等セキュリティ確保のための監視システムや、家庭や学校等建物内における老人や子供、病人等の見守りシステム等に利用することができる。
【発明の効果】
【００１１】
従来の監視システム及び見守りシステムには、対象物である人の検出及び姿勢、動作、動きの認識が不可欠であるが、本発明によれば、どのような安定的に高精度な認識結果を得ることができる。また、照明変動や対象物の周りの移動物体による遮蔽等の影響を受けても、検出に失敗することなく、このような観測値の欠落やノイズ等に起因して、対象物が存在しているのに検出できなかったり、誤検出したりする問題を解消することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態における処理手段を含むシステム全体の構成図
【図２】本実施形態におけるシステム全体の処理フローダイアグラム
【図３】バウンディングボックスに関連するパラメータを示す図
【図４】マルチスリットと人の姿勢の関係を示す図
【図５】マルチスリットと頭部、胴体、脚部との関係を示す図
【図６】監視カメラが斜め上から撮影する場合を示す図
【図７】サブバウンディングボックスに分割する方法とそのパラメータを示す図
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について、図面と数式に基づいて説明する。図１は、本実施形態における処理手段を含むシステム全体の構成図である。本システム１００は、一定時間内、監視領域及び／又は見守り領域を観測する１又は２以上のセンサー１０１、１０２と、センサー１０１、１０２から受信したデータを分析統合する制御手段１０３を備えている。センサー１０１、１０２は、一定時間内に、背景や対象物の存在を観測する観測手段としての機能を有し、固定センサー１０１、携帯センサー１０２等で構成される。
【００１４】
一定時間内、監視及び見守り対象となる場面を観測する観測手段として、次に挙げるセンサーを用いてもよい。センサーの種類は、「０次元：位置計測GPS、温度、湿度」、「１次元：加速度計（３軸）、角加速度計（３軸）、傾斜計（３方向、角加速度計に含ませ得る）、マイク（音響）」、「２次元：通常の可視光カメラ、近赤外線カメラ、遠赤外線カメラ、サーモグラフィ」、「３次元：３次元データ（レンジセンサー、３次元位置センサー、３次元モーションセンサー、３次元測距センサー）」等から選ばれる。ここでは、本来の使用目的と直感的な分かりやすさのために主に画像を用いて説明するが、その他のメディア（３次元データ等）等の観測データから対象物を認識する場合にも同様に適用できる。また、種々の変動等に対応するために０次近似だけでなく、線形近似あるいは高次近似等も使え、誤差を最小にするために、最小二乗平均誤差（LMS: Least Mean Square)、あるいは最大誤差を最小にして最適値を得る手法等も必要に応じて使い分ければよい。
【００１５】
制御手段１０３は、センサー１０１、１０２から取得した画像等に基づいて背景を抽出するための背景判定手段、背景抽出手段、背景推定手段や、対象物を抽出するための対象物判定手段、対象物抽出手段、対象物存在位置推定手段を備えている。これらの手段は、具体的には例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）等を備えたパーソナルコンピュータで構成され、ＣＰＵが、ＲＯＭやＨＤＤ等に記憶されているプログラムを実行することで、各手段としての機能が果たされる。
【００１６】
各手段について説明する前に、まず本実施形態の対象物認識システム（又は監視システム、見守りシステム）におけるシステム全体の流れについて簡単に説明する。図２は、本実施形態におけるシステム全体の処理フローダイアグラムである。まず、観測に入る前に初期値としての背景を求める。ここで、背景とは、人、物に関わらず、観測開始より前から観測が始まってからも一定期間静止しているものを意味し、初期背景とは観測開始時の背景、短時間背景と長時間背景は静止時間の長短により区別する。すなわち、途中から現れても、ある一定時間以上場面中に存在し、静止し続けているものを指すこともあるが、短時間背景と長時間背景はどのくらい長い時間場面内で静止している物を静止物体として検出したいのかによって使い分ける。
【００１７】
図２に示すように、センサー２００からのデータを受けとり（Ｓ２０１）、背景の抽出と更新をする（Ｓ２０２）。まず、背景差分やフレーム間差分等により対象物領域を抽出し（Ｓ２０３）、さらに位置と大きさの微調整を行い（Ｓ２０４）、セグメンテイションを行い（Ｓ２０５）、領域特徴を抽出する（Ｓ２０６）。３次元実空間上での位置推定を行い（Ｓ２０７）、対象となる静止物体や一定の動きをする動物体の姿勢・動作の認識、不審物の検出を行う（Ｓ２０８~Ｓ２１３）。具体的には、物か、人かの判別を行い（Ｓ２０８）、物ならば不審物と判断して（Ｓ２０９）、この不審物を持ってきた人の追跡を始める（Ｓ２１０）。人ならば姿勢・動作の認識結果から異常事態の検出を行い（Ｓ２１１、Ｓ２１２）、異常が発見されたら通報等の対応をする（Ｓ２１３）。これらの手順により一連の処理を終わるが、監視・見守り時間中は上の処理を繰り返す。
【００１８】
次に、対象物である人を認識する手順について説明する。対象物とは静止していたりあるいは一定の動きをしている人で検出・認識の対象となっているものを指す。ここで、対象物存在位置パラメータは、対象物の存在位置を反映するパラメータのことで、対象物のシルエットやバウンディンボックスの重心や領域の最大値、最小値、背景差分の絶対値や後述する動き測度等も含む。動き測度は位置と対応させて用いる。画像を例に取ると、存在位置パラメータに対応する画像上の領域を求めると対象物の存在位置や大きさを知ることができる。また、対象物パラメータは対象物を反映するパラメータのことで、具体的な例として画素値や３D位置データ等である。ここで、領域特徴とは、領域内部における特徴とその特徴間の関係をいう。具体例として次のようなものが挙げられる。
(1) 対象物パラメータの値、存在位置パラメータの値
(2) 上記パラメータの値を２値化した値
(3) 領域内における上記の値に基づいて得られる特徴、例えば、形状測度等
(4) ヒストグラムに基づいて得られる特徴、例えば、ヒストグラムには全体ヒストグラム、水平ヒストグラム、垂直ヒストグラム等があり、そこから求められる特徴としては最大値、最小値、平均値、分散等がある
(5) 上記特徴の間の関係、例えば、複数領域が対象となっている場合の領域重心間の位置関係、特徴量の大小関係等
例えば、図４において、頭部に対応するスリットの上部にもスリット（頭部の上部に対応したスリット）を設け、頭部スリットにおけるヒストグラムと比較することで、頭部の先端位置を確認することもできる。もちろん、頭部と同じ位置に同じ大きさの背景が重なれば、区別がつかなくなることもある。特徴間の関係を利用した例は後述する。
【００１９】
バウンディングボックスは、図３に示すように、理想的にはある対象物を囲む最小の長方形、あるいは直方体領域のことであるが、必ずしも最小のものが抽出できるとは限らない。また、存在位置パラメータとして用いる重心は対象物領域の位置を表すパラメータであれば、他の値で置き換えることも可能であり、例えば、バウンディングボックスの左上隅の点の位置、最上点、最下点等を選ぶことも可能である。バウンディングボックスの周辺にスリットを設け、領域特徴等を比較することで、後述の手先や足先の先端の位置を確認することができる。シルエットとは、背景差分等によって抽出された対象物（人、物）領域を白黒で表現したものである。３次元データは、３次元空間上の距離画像データ等を総称していい、レンジセンサーや、対象物までの距離を計測することにより３次元データが得られる３次元測距センサー等から取得することができる。
【００２０】
本実施形態では、画像を用いて人の検出及び姿勢・動作の異常を検出することができる。人とカメラの距離により決まる画像上での人の頭部、胴体、脚部の位置と大きさが分かるので、そのことを利用して各部品に対応するスリットを構成し、領域を絞ることで計算量を減らし、精度を上げる。図４は、本実施形態におけるマルチスリットと人の姿勢の関係を示す図である。図５は、歩いている人の移動に沿ってマルチスリットと頭部、胴体、脚部との関係を示したものである。３次元データを用いた場合にも、同様に人の各部分に応じてスリットを設けることができる。マルチスリットとは、人の頭部、胴体、脚部の各部分に対応して設定したスリットのことをいう。
【００２１】
これらの例に見るように、スリットは時間的に滑らかに変化するので、対象者の動き予測が可能となる。ここで、水平面（床面、道路面を想定）を移動していることを前提に消失点から平均の人の位置（体の各部分の位置）を求めることができるが、必ずしも水平面でなくても、平面上であれば適用可能である。ここでは直感的な分かりやすさのために画像を用いて説明するが、その他のメディア（３次元データ等）にも同様に適用できる。
【００２２】
大人と子供では各部分の大きさやその比率が異なるので、同じ距離にあっても複数スリットを設ける必要があるが、スリットに余裕を持たせることで、その数を減らせられ、個人差にも対応できる。その比率は大体でよく、頭、胴、脚のおおよその比率は、図５の画像（右）の例では、１：４：５前後になっている。図６の例に見るように監視カメラの場合は斜め上から撮影することが多いので、正面（光軸が水平に近い）の場合とは、比率が異なって見える。人が近くに来ると各部分に分離しにくくなるが、高さの比率は求まる。このことを考慮してスリットを設ける必要があるが、カメラの設置位置は前もって決められることが多いので、事前のキャリブレイション（使われる環境に合わせた補正）を行えば、結果はより正確になる。
【００２３】
基本的には消失点（線）から、画像上の上下位置と３次元空間上の奥行き（カメラとの距離）との関係が求まり、スリットの大きさも求まり、また、どのスリットに適合したかで、対象となる人のおおよその距離を知ることができる。消失点はカメラの傾きに依存するので、画像上で求めなくても傾斜計等から簡単に求められる。一旦、人が検出できれば、その人の各部分の大きさに沿って正しく比率の補正を行えるので、より実態に合った割合で追跡を行うことができる。また、大きさ、位置、ヒストグラム等のスリットの特徴を用いれば一定の姿勢・動作からの急激な変化や正常、異常を検出できる。例えば、跳び上がるやしゃがむ等の動作をすれば、位置ズレがおきるので、すぐ検出できる。
【００２４】
マルチスリットの適用に際しては、対象物を検出した距離によりスリットの位置、大きさが異なるので、画像だけを用いる場合は、歩行者と床面の接地点の画像上で対応する位置が安定的に求まることが望ましい。また、センサーと検知対象物の間を他の人や物が遮らないことは必要である。短時間なら前後のデータから補間する事も可能である。
【００２５】
本実施形態では、背景差分等を用いて求められる対象物のシルエットのバウンディングボックスをさらに小さな複数のサブバウンディングボックスに分割し、全体のバウンディングボックスと各サブバウンディングボックスのパラメータから姿勢の特徴パラメータを求める。図７は、本実施形態における４つの小さなサブバウンディングボックスに分割する様子とそのパラメータを示したものである。まず、腰を通る垂直線で左右に分け、さらに、水平線で上下に分ける。４つの領域において、それぞれサブバウンディングボックスのパラメータを計算し、その結果を用いて姿勢・動作の認識に利用する。腰の位置は、それほど厳密である必要はなく、簡易的に求めたものを利用してもよい。人の姿勢・動作の認識方法は、次に述べるステップ１から５からなる手続きによる。
【００２６】
（ステップ１）の処理について
体の中心線（縦軸）を求める。同図にあるように垂直ヒストグラムのピークや平均値を利用してもよい。
（ステップ２）の処理について
ステップ１で求めた中心線上に腰の位置を求める。同図にあるように全体のバウンディングボックスの高さHの半分H/2の位置や水平ヒストグラムの平均値を利用してもよい。手を挙げている上体では、H/2を用いると誤差が大きくなりすぎるので、ヒストグラム等の形状特徴から正しい腰の位置を推定する必要がある。そのために、一旦、H/2で腰の位置を粗く推定し、水平垂直ヒストグラムを取ることで、手を挙げているかどうかの判定をした後に、もう一度正しい腰の位置を推定する２段階の方法を取ってもよい。
（ステップ３）の処理について
ステップ２で求めた腰の位置を用いて全体のバウンディングボックスを上下左右の４つのサブバウンディングボックスに分けて、それぞれのサブバウンディングボックスにおいて、幅(W )、高さ(H )、アスペクト比（W/H）、モーメント比（次式MR）、ヒストグラム重心等のパラメータを計算し、認識のための特徴とする。さらに、図７(c)のように周辺内側にスリットを設け、そのスリットに含まれる画像の濃淡値、あるいは２値化した値のヒストグラムをとり、各姿勢の検出に用いることを特徴とする。さらに、ヒストグラムは、ある閾値で２値化して用いてもよい。このように周辺情報を用いることで人の姿勢・動作の認識の簡単化が図られる。以下、人の姿勢・動作の認識について詳細に説明する。
【数１】
【００２７】
(1) 上半身のサブバウンディングボックス
一般的に、上半身のサブバウンディングボックスの幅及び高さは手の先までの長さを反映するので、手を下に下げているか、伸ばして横に広げているか、手を頭より上に挙げているかどうか等が分かる。手を下げている場合は、サブバウンディングボックスの高さは頭の先の位置を反映する。ただし、ここでは正面を向いているとする。横向きの場合や、正面向きでも前後に手を伸ばして挙げている場合は、このままでは判別できない。手や足を上げればサブバウンディングボックスの重心（Gy）は上に上がる。
(1-1)
手を下に降ろしている
W：小、AR：小、MR：小、Gy：下、 Top：中
(1-2)
手を曲げて、横に広げている
W：中、AR：中、MR：中、Gy：中、 Top：中
(1-3)
手を大きく横に広げている
W：大、AR：大、MR：大、Gy：少し上、Top：中
(1-4)
手を伸ばして、上に高く挙げている
W：小、AR：小、MR：小、Gy：上、 Top：高
【００２８】
ここでは、簡単のため上半身の左右のサブバウンディングボックスの、幅をW、アスペクト比をAR、モーメント比をMR、ヒストグラムの y 方向重心位置をGyで表している。同様に、サブバウンディングボックスやシルエット特徴を用いてルールを作ることができる。ここでは、相対的な値を表現するために極上、上中下や極大、大中小、高中低のような定性的な表現を用いるが、実際には具体的に閾値を設ける。この点は、他の実施例でも同じである。ここでは、幅W、アスペクト比AR、モーメント比MRは次式で表わされる値をとる。
【数２】
【００２９】
(2) 下半身のサブバウンディングボックス
一般的に、下半身のサブバウンディングボックスの幅は足のつま先までの長さを反映するので、対応する部分のサブバウンディングボックスの幅から足を前後左右に広げている程度が分かる。また、足を上に挙げているかどうか、少し角度が付いている程度かどうかの見当が付けられる。ただし、ここではカメラの光軸方向に垂直方向に足を伸ばしているとする。光軸を平行方向に足を上げている場合は、このままでは判別できない。
(2-1)
足はまっすぐしており、垂直に近い状態にある
W：小、AR：小、MR：小、Gy：下
(2-2)
足を少し曲げて上げている
W：中、AR：中、MR：中、Gy：中
(2-3)
足を前後左右のどちらかに大きく伸ばして挙げている
W：大、AR：大、MR：大、Gy：上
(2-4)
足を前後両方向又は左右両方向に大きく伸ばして挙げている（ジャンプしている）
W：極大、AR：極大、MR：極大、Gy：極上
【００３０】
ここでは、簡単のため下半身の左右のサブバウンディングボックスの、幅をW、アスペクト比をAR、モーメント比をMR、ヒストグラムのy方向重心位置をGyで表わしている。ここでは、幅W、アスペクト比AR、モーメント比MRは次式で表わされる値をとる。
【数３】
【００３１】
一般的に、バウンディングボックスのアスペクト比とモーメント比（MR：m20/m02）は常に同じ傾向を示すが、モーメント比を用いた方がよい。また、正しく腰の位置が正確に求まっているときには、全体のバウンディングボックスの高さ（H）に対する比を用いて、どの程度手を挙げているか、が分かる。手を頭より高く挙げると、上半身のサブバウンディングボックスのTopが高くなり、H(UL),
H(UR)も大きくなるので、次式の値がある閾値より大きくなることで判断できる。個人差や手の掌をどちらに向けているか等により異なるが、目安としては約2/3程度の値をとる。
【数４】
式４も大きくなるので、式５の値がある閾値より大きくなることで判断できる。個人差や手の掌をどちらに向けているか等により異なるが、目安としては約2/3程度の値をとる。
【数５】
【００３２】
(3) 周辺スリットの利用
一般には、上半身サブバウンディングボックスの周辺縦スリットのどこにシルエットの内部領域が集中しているかで、手の先がどこにあるかが分かる。例えば、Wが大きく、上部にあれば、カメラから見て横に大きく手を広げており、中央部にあれば少し斜め下に伸ばしており、下部にあれば斜め下に伸ばしている。Wが中くらいであれば、肘を曲げている。カメラから見て手前や奥に手を上げている場合は、サブバウンディングボックスからだけでは、このような情報は得られないが、３次元測距センサーを用いると可能となる。同様に足（つま先、かかと）の位置は下半身サブバウンディングボックスの周辺縦スリットあるいは下周辺スリットのどこにシルエットの内部領域があるかで分かるので、姿勢・動作の分類に利用できる。また、足を周期的に高く上げているかどうか、手の振り方や位置等により走り方のおおよその区別ができる。
【００３３】
サブバウンディングボックス間の形状測度の関連性については次のような例が考えられる。例えば、左右のバウンディングボックスの「重心のx座標が対称な位置にあり、y座標が同じ」かどうかを対象物領域が左右対称かどうか、の目安として利用できる。即ち、上の条件が満たされなければ、対象ではないと判断する。ここで、完全に「同じ」であることはあり得ないので適当な閾値を設ける。正面向きであれば対象性が強く、横向きであれば弱くなる。
【００３４】
上記では対象物領域から得られるバウンディングボックスを上下左右４つのサブバウンディングボックスに分割したが、上下左右の４分割以外の方法で分割してもよい。例えば、頭部、胴体、脚部等に対応する領域に分割して各サブバウンディングボックスの形状測度を算出するとともに、各サブバウンディングボックス外部境界周辺近くにスリットを設け、該スリットに含まれる画像の濃淡値又は２値化した値のヒストグラムをとり、サブバウンディングボックス間の形状測度と、スリットのヒストグラムに基づいて、人の姿勢及び／又は動作を認識することもできる。
【００３５】
上記で用いたバウンディングボックスやサブバウンディングボックスの代わりにシルエット領域の画素値や２値化後の値を用いて形状測度を求め姿勢認識に利用してもよい。
【００３６】
なお、パラメータの選定に関して、画像上の動きをそのまま用いたものより、３次元空間上での動きに変換した方が一般には検出及び認識精度が上がる。短い時間間隔で一定の動きを反映するパラメータが取得できれば、遮蔽が頻繁に発生しても検出が可能となる。遮蔽がそれほど頻繁に発生しない場合には、パラメータ取得のための時間間隔を大きく取れる。
【００３７】
以上に示すように、本発明によれば、人混みの多いところ等では、遮蔽が頻繁に発生し、照明変動の影響等種々の原因で観測値に欠落が生じることがあるが、そのような場合であっても不審物の発見、不審物を置き去りにした不審者を追跡できる。駅の改札口や空港等において、うろうろしている人、酔っ払っている人、あたりを窺う人、無賃乗車のために改札口で中腰になって通過する人や跳び上がる人、設定されたラインから離れて移動する不審な動きをする人、持ち主不在の不審物、の検出と不審者の追跡等のセキュリティ確保のための監視システムに利用できる。また、車載の遠赤外線カメラ画像を用いた歩行者検知にも役立つので重大事故の防止に役立つ。
【００３８】
家庭内、公共の建物内や通学路などにおいては、病人、子供や老人等が急に転倒したり、うずくまったり、したりの異常がないか、周辺に怪しい人がいないか、等を検知し通報する見守りシステムの構築に利用できる。
【符号の説明】
【００３９】
１００ ネットワーク
１０１ 固定センサー
１０２ 携帯センサー
１０３ 制御手段
【技術分野】
【０００１】
地下鉄、駅、空港等の公共の場における、拳銃、刀等の不法所持者、テロリスト、尾行、スリ、喧嘩等怪しい人物（不審者）の発見と追跡及び不審物の発見等セキュリティ確保のための監視システム、あるいは家庭や学校等建物内における老人や子供、病人等の見守りシステム等に必須の技術として、人の姿勢・動作・動きや持ち主不在の物体を検出及び認識して、異常を検知するためのセンサー情報処理技術を用いた監視システム及び見守りシステムに関する。
【背景技術】
【０００２】
従来の監視システムはほとんどが固定的に設置された監視カメラを使用したものが大半である。一方、携帯型センサーを用いた老人や子供の見守りシステムに関するものとしては、GPS搭載の携帯電話を子供に持たせたものがある程度で、他には見当たらない。ほとんどの従来型監視技術は一つのメディアタイプ（主には、ビデオカメラ）だけを用いており、広い範囲はカバーできても、不審者、不審物の発見や異常事態の検出は人の目視に頼らざるを得なかった。本発明は、これらの欠点を補強し、信頼性の高い自動監視システム及び見守りシステムの実現を目指したものである。
【０００３】
不審者、不審物の発見には監視カメラ以外では、空港等におけるX線検査や係官による目視によるもの、発熱を感知するサーモグラフィ検査、顔写真や指紋照合によるもの等が代表的なものである。過去の研究では画像処理アルゴリズムを用いた静止物体や特定の動きをする人の自動検出については、それほど複雑でない比較的安定した環境の中での動作認識（歩く、走る、転倒等）に限られており、実用的な24時間自動監視システム及び見守りシステムを実現できるレベルには至っていない。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Teddy Ko, “A survey on behavior analysis in video surveillance for homelandsecurity applications,”37th IEEE Applied Imagery PatternRecognition Workshop,Washington, DC, USA, pp.1-8, Oct. 15-17, 2008.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の監視システム及び見守りシステムには以下に示す問題点があった。すなわち、対象物である人の検出及び姿勢、動作、動きの認識が不可欠であるが、照明変動や対象物の周りの移動物体による遮蔽等の影響を受けて、検出に失敗（未検出及び誤検出）することがよくあり、このような観測値の欠落やノイズ等に起因して、対象物領域の抽出が難しかったり、仮に抽出できても人の姿勢、動作、動きの認識が難しかったりすると言う問題があった。
【０００６】
さらに、人の姿勢や動作、動きは多種多様に亘っており、簡単且つ高精度なシステムを構成することは困難であった。また、背景差分から求められた対象物の位置に関してもノイズの影響等により精度が低下するという問題があった。
【課題を解決するための手段】
【０００７】
本発明は、このような問題点を解決するために提案された対象物の認識システムであって、一定時間内、監視領域及び／又は見守り領域を観測する観測手段と、上記観測手段の観測によって得られたデータから人の存在を検知し、その領域を抽出する手段を備える。
【０００８】
対象物である人を撮影する撮影手段を含み、上記画像に人の頭部、胴体、脚部の各部分に対応したマルチスリットを設け、マルチスリットの各部分に限定した領域の形状測度に基づいて、対象物の状態を検出するようにしてもよい。照明の変動やノイズが多い環境下で人を検出しようとすれば、単なるパターンマッチングのような手法では検出は難しく、多大な計算時間を要するが、これによれば、できるだけ効率よく領域を絞って探索することで実時間での実行を可能にする。カメラで撮影した画像を用いてもよいが、３次元センサーから得られる３次元データ等を用いてもよい。
【０００９】
対象物が人の場合であって、対象物領域から得られるバウンディングボックスを複数のサブバウンディングボックスに分割して、各サブバウンディングボックスの形状測度を算出するとともに、各サブバウンディングボックス外部境界に沿って内側にスリットを設け、該スリットに含まれる画像の濃淡値又は２値化した値のヒストグラムをとり、そのヒストグラム及び各サブバウンディングボックスの形状測度及びサブバウンディングボックス間の形状測度の関連性に基づいて、人の姿勢及び／又は動作を認識するようにしてもよい。バウンディングボックスを上下左右に分割して４つのサブバウンディングボックスを設定してもよい。不審者の発見や追跡、見守り対象者の異常事態発見等のためには、人の領域が検出された後処理として簡便で高精度な姿勢・動作の認識方法の開発が強く望まれており、２４時間自動監視システム及び見守りシステムを実現することができる。
【００１０】
本発明の対象物検出システムは、不審者の発見と追跡及び不審物の発見等セキュリティ確保のための監視システムや、家庭や学校等建物内における老人や子供、病人等の見守りシステム等に利用することができる。
【発明の効果】
【００１１】
従来の監視システム及び見守りシステムには、対象物である人の検出及び姿勢、動作、動きの認識が不可欠であるが、本発明によれば、どのような安定的に高精度な認識結果を得ることができる。また、照明変動や対象物の周りの移動物体による遮蔽等の影響を受けても、検出に失敗することなく、このような観測値の欠落やノイズ等に起因して、対象物が存在しているのに検出できなかったり、誤検出したりする問題を解消することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態における処理手段を含むシステム全体の構成図
【図２】本実施形態におけるシステム全体の処理フローダイアグラム
【図３】バウンディングボックスに関連するパラメータを示す図
【図４】マルチスリットと人の姿勢の関係を示す図
【図５】マルチスリットと頭部、胴体、脚部との関係を示す図
【図６】監視カメラが斜め上から撮影する場合を示す図
【図７】サブバウンディングボックスに分割する方法とそのパラメータを示す図
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について、図面と数式に基づいて説明する。図１は、本実施形態における処理手段を含むシステム全体の構成図である。本システム１００は、一定時間内、監視領域及び／又は見守り領域を観測する１又は２以上のセンサー１０１、１０２と、センサー１０１、１０２から受信したデータを分析統合する制御手段１０３を備えている。センサー１０１、１０２は、一定時間内に、背景や対象物の存在を観測する観測手段としての機能を有し、固定センサー１０１、携帯センサー１０２等で構成される。
【００１４】
一定時間内、監視及び見守り対象となる場面を観測する観測手段として、次に挙げるセンサーを用いてもよい。センサーの種類は、「０次元：位置計測GPS、温度、湿度」、「１次元：加速度計（３軸）、角加速度計（３軸）、傾斜計（３方向、角加速度計に含ませ得る）、マイク（音響）」、「２次元：通常の可視光カメラ、近赤外線カメラ、遠赤外線カメラ、サーモグラフィ」、「３次元：３次元データ（レンジセンサー、３次元位置センサー、３次元モーションセンサー、３次元測距センサー）」等から選ばれる。ここでは、本来の使用目的と直感的な分かりやすさのために主に画像を用いて説明するが、その他のメディア（３次元データ等）等の観測データから対象物を認識する場合にも同様に適用できる。また、種々の変動等に対応するために０次近似だけでなく、線形近似あるいは高次近似等も使え、誤差を最小にするために、最小二乗平均誤差（LMS: Least Mean Square)、あるいは最大誤差を最小にして最適値を得る手法等も必要に応じて使い分ければよい。
【００１５】
制御手段１０３は、センサー１０１、１０２から取得した画像等に基づいて背景を抽出するための背景判定手段、背景抽出手段、背景推定手段や、対象物を抽出するための対象物判定手段、対象物抽出手段、対象物存在位置推定手段を備えている。これらの手段は、具体的には例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）等を備えたパーソナルコンピュータで構成され、ＣＰＵが、ＲＯＭやＨＤＤ等に記憶されているプログラムを実行することで、各手段としての機能が果たされる。
【００１６】
各手段について説明する前に、まず本実施形態の対象物認識システム（又は監視システム、見守りシステム）におけるシステム全体の流れについて簡単に説明する。図２は、本実施形態におけるシステム全体の処理フローダイアグラムである。まず、観測に入る前に初期値としての背景を求める。ここで、背景とは、人、物に関わらず、観測開始より前から観測が始まってからも一定期間静止しているものを意味し、初期背景とは観測開始時の背景、短時間背景と長時間背景は静止時間の長短により区別する。すなわち、途中から現れても、ある一定時間以上場面中に存在し、静止し続けているものを指すこともあるが、短時間背景と長時間背景はどのくらい長い時間場面内で静止している物を静止物体として検出したいのかによって使い分ける。
【００１７】
図２に示すように、センサー２００からのデータを受けとり（Ｓ２０１）、背景の抽出と更新をする（Ｓ２０２）。まず、背景差分やフレーム間差分等により対象物領域を抽出し（Ｓ２０３）、さらに位置と大きさの微調整を行い（Ｓ２０４）、セグメンテイションを行い（Ｓ２０５）、領域特徴を抽出する（Ｓ２０６）。３次元実空間上での位置推定を行い（Ｓ２０７）、対象となる静止物体や一定の動きをする動物体の姿勢・動作の認識、不審物の検出を行う（Ｓ２０８~Ｓ２１３）。具体的には、物か、人かの判別を行い（Ｓ２０８）、物ならば不審物と判断して（Ｓ２０９）、この不審物を持ってきた人の追跡を始める（Ｓ２１０）。人ならば姿勢・動作の認識結果から異常事態の検出を行い（Ｓ２１１、Ｓ２１２）、異常が発見されたら通報等の対応をする（Ｓ２１３）。これらの手順により一連の処理を終わるが、監視・見守り時間中は上の処理を繰り返す。
【００１８】
次に、対象物である人を認識する手順について説明する。対象物とは静止していたりあるいは一定の動きをしている人で検出・認識の対象となっているものを指す。ここで、対象物存在位置パラメータは、対象物の存在位置を反映するパラメータのことで、対象物のシルエットやバウンディンボックスの重心や領域の最大値、最小値、背景差分の絶対値や後述する動き測度等も含む。動き測度は位置と対応させて用いる。画像を例に取ると、存在位置パラメータに対応する画像上の領域を求めると対象物の存在位置や大きさを知ることができる。また、対象物パラメータは対象物を反映するパラメータのことで、具体的な例として画素値や３D位置データ等である。ここで、領域特徴とは、領域内部における特徴とその特徴間の関係をいう。具体例として次のようなものが挙げられる。
(1) 対象物パラメータの値、存在位置パラメータの値
(2) 上記パラメータの値を２値化した値
(3) 領域内における上記の値に基づいて得られる特徴、例えば、形状測度等
(4) ヒストグラムに基づいて得られる特徴、例えば、ヒストグラムには全体ヒストグラム、水平ヒストグラム、垂直ヒストグラム等があり、そこから求められる特徴としては最大値、最小値、平均値、分散等がある
(5) 上記特徴の間の関係、例えば、複数領域が対象となっている場合の領域重心間の位置関係、特徴量の大小関係等
例えば、図４において、頭部に対応するスリットの上部にもスリット（頭部の上部に対応したスリット）を設け、頭部スリットにおけるヒストグラムと比較することで、頭部の先端位置を確認することもできる。もちろん、頭部と同じ位置に同じ大きさの背景が重なれば、区別がつかなくなることもある。特徴間の関係を利用した例は後述する。
【００１９】
バウンディングボックスは、図３に示すように、理想的にはある対象物を囲む最小の長方形、あるいは直方体領域のことであるが、必ずしも最小のものが抽出できるとは限らない。また、存在位置パラメータとして用いる重心は対象物領域の位置を表すパラメータであれば、他の値で置き換えることも可能であり、例えば、バウンディングボックスの左上隅の点の位置、最上点、最下点等を選ぶことも可能である。バウンディングボックスの周辺にスリットを設け、領域特徴等を比較することで、後述の手先や足先の先端の位置を確認することができる。シルエットとは、背景差分等によって抽出された対象物（人、物）領域を白黒で表現したものである。３次元データは、３次元空間上の距離画像データ等を総称していい、レンジセンサーや、対象物までの距離を計測することにより３次元データが得られる３次元測距センサー等から取得することができる。
【００２０】
本実施形態では、画像を用いて人の検出及び姿勢・動作の異常を検出することができる。人とカメラの距離により決まる画像上での人の頭部、胴体、脚部の位置と大きさが分かるので、そのことを利用して各部品に対応するスリットを構成し、領域を絞ることで計算量を減らし、精度を上げる。図４は、本実施形態におけるマルチスリットと人の姿勢の関係を示す図である。図５は、歩いている人の移動に沿ってマルチスリットと頭部、胴体、脚部との関係を示したものである。３次元データを用いた場合にも、同様に人の各部分に応じてスリットを設けることができる。マルチスリットとは、人の頭部、胴体、脚部の各部分に対応して設定したスリットのことをいう。
【００２１】
これらの例に見るように、スリットは時間的に滑らかに変化するので、対象者の動き予測が可能となる。ここで、水平面（床面、道路面を想定）を移動していることを前提に消失点から平均の人の位置（体の各部分の位置）を求めることができるが、必ずしも水平面でなくても、平面上であれば適用可能である。ここでは直感的な分かりやすさのために画像を用いて説明するが、その他のメディア（３次元データ等）にも同様に適用できる。
【００２２】
大人と子供では各部分の大きさやその比率が異なるので、同じ距離にあっても複数スリットを設ける必要があるが、スリットに余裕を持たせることで、その数を減らせられ、個人差にも対応できる。その比率は大体でよく、頭、胴、脚のおおよその比率は、図５の画像（右）の例では、１：４：５前後になっている。図６の例に見るように監視カメラの場合は斜め上から撮影することが多いので、正面（光軸が水平に近い）の場合とは、比率が異なって見える。人が近くに来ると各部分に分離しにくくなるが、高さの比率は求まる。このことを考慮してスリットを設ける必要があるが、カメラの設置位置は前もって決められることが多いので、事前のキャリブレイション（使われる環境に合わせた補正）を行えば、結果はより正確になる。
【００２３】
基本的には消失点（線）から、画像上の上下位置と３次元空間上の奥行き（カメラとの距離）との関係が求まり、スリットの大きさも求まり、また、どのスリットに適合したかで、対象となる人のおおよその距離を知ることができる。消失点はカメラの傾きに依存するので、画像上で求めなくても傾斜計等から簡単に求められる。一旦、人が検出できれば、その人の各部分の大きさに沿って正しく比率の補正を行えるので、より実態に合った割合で追跡を行うことができる。また、大きさ、位置、ヒストグラム等のスリットの特徴を用いれば一定の姿勢・動作からの急激な変化や正常、異常を検出できる。例えば、跳び上がるやしゃがむ等の動作をすれば、位置ズレがおきるので、すぐ検出できる。
【００２４】
マルチスリットの適用に際しては、対象物を検出した距離によりスリットの位置、大きさが異なるので、画像だけを用いる場合は、歩行者と床面の接地点の画像上で対応する位置が安定的に求まることが望ましい。また、センサーと検知対象物の間を他の人や物が遮らないことは必要である。短時間なら前後のデータから補間する事も可能である。
【００２５】
本実施形態では、背景差分等を用いて求められる対象物のシルエットのバウンディングボックスをさらに小さな複数のサブバウンディングボックスに分割し、全体のバウンディングボックスと各サブバウンディングボックスのパラメータから姿勢の特徴パラメータを求める。図７は、本実施形態における４つの小さなサブバウンディングボックスに分割する様子とそのパラメータを示したものである。まず、腰を通る垂直線で左右に分け、さらに、水平線で上下に分ける。４つの領域において、それぞれサブバウンディングボックスのパラメータを計算し、その結果を用いて姿勢・動作の認識に利用する。腰の位置は、それほど厳密である必要はなく、簡易的に求めたものを利用してもよい。人の姿勢・動作の認識方法は、次に述べるステップ１から５からなる手続きによる。
【００２６】
（ステップ１）の処理について
体の中心線（縦軸）を求める。同図にあるように垂直ヒストグラムのピークや平均値を利用してもよい。
（ステップ２）の処理について
ステップ１で求めた中心線上に腰の位置を求める。同図にあるように全体のバウンディングボックスの高さHの半分H/2の位置や水平ヒストグラムの平均値を利用してもよい。手を挙げている上体では、H/2を用いると誤差が大きくなりすぎるので、ヒストグラム等の形状特徴から正しい腰の位置を推定する必要がある。そのために、一旦、H/2で腰の位置を粗く推定し、水平垂直ヒストグラムを取ることで、手を挙げているかどうかの判定をした後に、もう一度正しい腰の位置を推定する２段階の方法を取ってもよい。
（ステップ３）の処理について
ステップ２で求めた腰の位置を用いて全体のバウンディングボックスを上下左右の４つのサブバウンディングボックスに分けて、それぞれのサブバウンディングボックスにおいて、幅(W )、高さ(H )、アスペクト比（W/H）、モーメント比（次式MR）、ヒストグラム重心等のパラメータを計算し、認識のための特徴とする。さらに、図７(c)のように周辺内側にスリットを設け、そのスリットに含まれる画像の濃淡値、あるいは２値化した値のヒストグラムをとり、各姿勢の検出に用いることを特徴とする。さらに、ヒストグラムは、ある閾値で２値化して用いてもよい。このように周辺情報を用いることで人の姿勢・動作の認識の簡単化が図られる。以下、人の姿勢・動作の認識について詳細に説明する。
【数１】
【００２７】
(1) 上半身のサブバウンディングボックス
一般的に、上半身のサブバウンディングボックスの幅及び高さは手の先までの長さを反映するので、手を下に下げているか、伸ばして横に広げているか、手を頭より上に挙げているかどうか等が分かる。手を下げている場合は、サブバウンディングボックスの高さは頭の先の位置を反映する。ただし、ここでは正面を向いているとする。横向きの場合や、正面向きでも前後に手を伸ばして挙げている場合は、このままでは判別できない。手や足を上げればサブバウンディングボックスの重心（Gy）は上に上がる。
(1-1)
手を下に降ろしている
W：小、AR：小、MR：小、Gy：下、 Top：中
(1-2)
手を曲げて、横に広げている
W：中、AR：中、MR：中、Gy：中、 Top：中
(1-3)
手を大きく横に広げている
W：大、AR：大、MR：大、Gy：少し上、Top：中
(1-4)
手を伸ばして、上に高く挙げている
W：小、AR：小、MR：小、Gy：上、 Top：高
【００２８】
ここでは、簡単のため上半身の左右のサブバウンディングボックスの、幅をW、アスペクト比をAR、モーメント比をMR、ヒストグラムの y 方向重心位置をGyで表している。同様に、サブバウンディングボックスやシルエット特徴を用いてルールを作ることができる。ここでは、相対的な値を表現するために極上、上中下や極大、大中小、高中低のような定性的な表現を用いるが、実際には具体的に閾値を設ける。この点は、他の実施例でも同じである。ここでは、幅W、アスペクト比AR、モーメント比MRは次式で表わされる値をとる。
【数２】
【００２９】
(2) 下半身のサブバウンディングボックス
一般的に、下半身のサブバウンディングボックスの幅は足のつま先までの長さを反映するので、対応する部分のサブバウンディングボックスの幅から足を前後左右に広げている程度が分かる。また、足を上に挙げているかどうか、少し角度が付いている程度かどうかの見当が付けられる。ただし、ここではカメラの光軸方向に垂直方向に足を伸ばしているとする。光軸を平行方向に足を上げている場合は、このままでは判別できない。
(2-1)
足はまっすぐしており、垂直に近い状態にある
W：小、AR：小、MR：小、Gy：下
(2-2)
足を少し曲げて上げている
W：中、AR：中、MR：中、Gy：中
(2-3)
足を前後左右のどちらかに大きく伸ばして挙げている
W：大、AR：大、MR：大、Gy：上
(2-4)
足を前後両方向又は左右両方向に大きく伸ばして挙げている（ジャンプしている）
W：極大、AR：極大、MR：極大、Gy：極上
【００３０】
ここでは、簡単のため下半身の左右のサブバウンディングボックスの、幅をW、アスペクト比をAR、モーメント比をMR、ヒストグラムのy方向重心位置をGyで表わしている。ここでは、幅W、アスペクト比AR、モーメント比MRは次式で表わされる値をとる。
【数３】
【００３１】
一般的に、バウンディングボックスのアスペクト比とモーメント比（MR：m20/m02）は常に同じ傾向を示すが、モーメント比を用いた方がよい。また、正しく腰の位置が正確に求まっているときには、全体のバウンディングボックスの高さ（H）に対する比を用いて、どの程度手を挙げているか、が分かる。手を頭より高く挙げると、上半身のサブバウンディングボックスのTopが高くなり、H(UL),
H(UR)も大きくなるので、次式の値がある閾値より大きくなることで判断できる。個人差や手の掌をどちらに向けているか等により異なるが、目安としては約2/3程度の値をとる。
【数４】
式４も大きくなるので、式５の値がある閾値より大きくなることで判断できる。個人差や手の掌をどちらに向けているか等により異なるが、目安としては約2/3程度の値をとる。
【数５】
【００３２】
(3) 周辺スリットの利用
一般には、上半身サブバウンディングボックスの周辺縦スリットのどこにシルエットの内部領域が集中しているかで、手の先がどこにあるかが分かる。例えば、Wが大きく、上部にあれば、カメラから見て横に大きく手を広げており、中央部にあれば少し斜め下に伸ばしており、下部にあれば斜め下に伸ばしている。Wが中くらいであれば、肘を曲げている。カメラから見て手前や奥に手を上げている場合は、サブバウンディングボックスからだけでは、このような情報は得られないが、３次元測距センサーを用いると可能となる。同様に足（つま先、かかと）の位置は下半身サブバウンディングボックスの周辺縦スリットあるいは下周辺スリットのどこにシルエットの内部領域があるかで分かるので、姿勢・動作の分類に利用できる。また、足を周期的に高く上げているかどうか、手の振り方や位置等により走り方のおおよその区別ができる。
【００３３】
サブバウンディングボックス間の形状測度の関連性については次のような例が考えられる。例えば、左右のバウンディングボックスの「重心のx座標が対称な位置にあり、y座標が同じ」かどうかを対象物領域が左右対称かどうか、の目安として利用できる。即ち、上の条件が満たされなければ、対象ではないと判断する。ここで、完全に「同じ」であることはあり得ないので適当な閾値を設ける。正面向きであれば対象性が強く、横向きであれば弱くなる。
【００３４】
上記では対象物領域から得られるバウンディングボックスを上下左右４つのサブバウンディングボックスに分割したが、上下左右の４分割以外の方法で分割してもよい。例えば、頭部、胴体、脚部等に対応する領域に分割して各サブバウンディングボックスの形状測度を算出するとともに、各サブバウンディングボックス外部境界周辺近くにスリットを設け、該スリットに含まれる画像の濃淡値又は２値化した値のヒストグラムをとり、サブバウンディングボックス間の形状測度と、スリットのヒストグラムに基づいて、人の姿勢及び／又は動作を認識することもできる。
【００３５】
上記で用いたバウンディングボックスやサブバウンディングボックスの代わりにシルエット領域の画素値や２値化後の値を用いて形状測度を求め姿勢認識に利用してもよい。
【００３６】
なお、パラメータの選定に関して、画像上の動きをそのまま用いたものより、３次元空間上での動きに変換した方が一般には検出及び認識精度が上がる。短い時間間隔で一定の動きを反映するパラメータが取得できれば、遮蔽が頻繁に発生しても検出が可能となる。遮蔽がそれほど頻繁に発生しない場合には、パラメータ取得のための時間間隔を大きく取れる。
【００３７】
以上に示すように、本発明によれば、人混みの多いところ等では、遮蔽が頻繁に発生し、照明変動の影響等種々の原因で観測値に欠落が生じることがあるが、そのような場合であっても不審物の発見、不審物を置き去りにした不審者を追跡できる。駅の改札口や空港等において、うろうろしている人、酔っ払っている人、あたりを窺う人、無賃乗車のために改札口で中腰になって通過する人や跳び上がる人、設定されたラインから離れて移動する不審な動きをする人、持ち主不在の不審物、の検出と不審者の追跡等のセキュリティ確保のための監視システムに利用できる。また、車載の遠赤外線カメラ画像を用いた歩行者検知にも役立つので重大事故の防止に役立つ。
【００３８】
家庭内、公共の建物内や通学路などにおいては、病人、子供や老人等が急に転倒したり、うずくまったり、したりの異常がないか、周辺に怪しい人がいないか、等を検知し通報する見守りシステムの構築に利用できる。
【符号の説明】
【００３９】
１００ ネットワーク
１０１ 固定センサー
１０２ 携帯センサー
１０３ 制御手段
【特許請求の範囲】
【請求項１】
一定時間内、監視領域及び／又は見守り領域を観測する観測手段と、
上記観測手段によって得られた対象物である人に関するデータに基づいて画面全体又は対象物領域を人の体に対応する各部分に分割する分割手段と、
上記分割手段が分割した各部分の領域特徴に基づいて人の姿勢、動作、動きを認識する認識手段と、
を有する対象物の認識システム。
【請求項２】
上記分割手段が、分割した人の体の各部分に対応するスリットを設け、
上記認識手段が、各スリット内部の領域特徴に基づいて用いて人の姿勢、動作、動きを認識する
請求項１に記載の対象物の認識システム。
【請求項３】
さらに、上記分割手段が分割した人の頭部、胴体、脚部の各部分に対応したマルチスリットを設けるとともに、マルチスリットの各部分に限定した領域内部における領域パラメータのヒストグラムに基づいて、人の領域を抽出する第１の対象物領域抽出手段を備え、
上記認識手段が、上記第１の対象物抽出手段が抽出した人の領域の領域特徴に基づいて人の姿勢、動作、動きを認識する
請求項１又は２に記載の対象物の認識システム。
【請求項４】
さらに、上記分割手段が分割した人の頭部、胴体、脚部の各部分に対応したマルチスリットを設けるとともに、マルチスリットの各部分に限定した領域内部における領域パラメータを２値化した値のヒストグラムに基づいて、人の領域を抽出する第２の対象物領域抽出手段を備え、
上記認識手段が、上記第２の対象物抽出手段が抽出した人の領域の領域特徴に基づいて人の姿勢、動作、動きを認識する
請求項１又は２に記載の対象物の認識システム。
【請求項５】
さらに、上記観測手段によって得られたデータから対象物領域を抽出する第１の抽出手段を備え、
上記認識手段が、上記抽出手段が抽出した人の領域の領域特徴に基づいて人の姿勢、動作、動きを認識する
請求項１から４のいずれかに記載の対象物の認識システム。
【請求項６】
さらに、上記観測手段によって得られたデータから対象物領域を抽出する第２の抽出手段を備え、
上記分割手段が、分割した対象物領域にバウンディングボックスを設けるとともに、該バウンディングボックスを複数のサブバウンディングボックスに分割し、
上記認識手段が、バウンディングボックス及び／又は各サブバウンディングボックスの領域特徴に基づいて人の姿勢、動作を認識する
請求項１に記載の対象物の認識システム。
【請求項７】
上記分割手段が、上記抽出手段が抽出した対象物領域にバウンディングボックスを設けるとともに、該バウンディングボックスを複数のサブバウンディングボックスに分割し、各サブバウンディングボックスの外部境界に沿って内部にスリットを設け、
上記認識手段が、内部に設けたスリットの領域特徴に基づいて人の姿勢、動作を認識する
請求項１から６のいずれかに記載の対象物の認識システム。
【請求項８】
上記分割手段が、上記抽出手段が抽出した対象物領域にバウンディングボックスを設けるとともに、該バウンディングボックスを複数のサブバウンディングボックスに分割し、各サブバウンディングボックスの外部境界に沿って外部にスリットを設け、
上記認識手段が、外部に設けたスリットの領域特徴に基づいて人の姿勢、動作を認識する
請求項１から７のいずれかに記載の対象物の認識システム。
【請求項９】
請求項１から８の何れかに記載の対象物の認識システムを用いた監視システム。
【請求項１０】
請求項１から８の何れかに記載の対象物の認識システムを用いた見守りシステム。
【請求項１】
一定時間内、監視領域及び／又は見守り領域を観測する観測手段と、
上記観測手段によって得られた対象物である人に関するデータに基づいて画面全体又は対象物領域を人の体に対応する各部分に分割する分割手段と、
上記分割手段が分割した各部分の領域特徴に基づいて人の姿勢、動作、動きを認識する認識手段と、
を有する対象物の認識システム。
【請求項２】
上記分割手段が、分割した人の体の各部分に対応するスリットを設け、
上記認識手段が、各スリット内部の領域特徴に基づいて用いて人の姿勢、動作、動きを認識する
請求項１に記載の対象物の認識システム。
【請求項３】
さらに、上記分割手段が分割した人の頭部、胴体、脚部の各部分に対応したマルチスリットを設けるとともに、マルチスリットの各部分に限定した領域内部における領域パラメータのヒストグラムに基づいて、人の領域を抽出する第１の対象物領域抽出手段を備え、
上記認識手段が、上記第１の対象物抽出手段が抽出した人の領域の領域特徴に基づいて人の姿勢、動作、動きを認識する
請求項１又は２に記載の対象物の認識システム。
【請求項４】
さらに、上記分割手段が分割した人の頭部、胴体、脚部の各部分に対応したマルチスリットを設けるとともに、マルチスリットの各部分に限定した領域内部における領域パラメータを２値化した値のヒストグラムに基づいて、人の領域を抽出する第２の対象物領域抽出手段を備え、
上記認識手段が、上記第２の対象物抽出手段が抽出した人の領域の領域特徴に基づいて人の姿勢、動作、動きを認識する
請求項１又は２に記載の対象物の認識システム。
【請求項５】
さらに、上記観測手段によって得られたデータから対象物領域を抽出する第１の抽出手段を備え、
上記認識手段が、上記抽出手段が抽出した人の領域の領域特徴に基づいて人の姿勢、動作、動きを認識する
請求項１から４のいずれかに記載の対象物の認識システム。
【請求項６】
さらに、上記観測手段によって得られたデータから対象物領域を抽出する第２の抽出手段を備え、
上記分割手段が、分割した対象物領域にバウンディングボックスを設けるとともに、該バウンディングボックスを複数のサブバウンディングボックスに分割し、
上記認識手段が、バウンディングボックス及び／又は各サブバウンディングボックスの領域特徴に基づいて人の姿勢、動作を認識する
請求項１に記載の対象物の認識システム。
【請求項７】
上記分割手段が、上記抽出手段が抽出した対象物領域にバウンディングボックスを設けるとともに、該バウンディングボックスを複数のサブバウンディングボックスに分割し、各サブバウンディングボックスの外部境界に沿って内部にスリットを設け、
上記認識手段が、内部に設けたスリットの領域特徴に基づいて人の姿勢、動作を認識する
請求項１から６のいずれかに記載の対象物の認識システム。
【請求項８】
上記分割手段が、上記抽出手段が抽出した対象物領域にバウンディングボックスを設けるとともに、該バウンディングボックスを複数のサブバウンディングボックスに分割し、各サブバウンディングボックスの外部境界に沿って外部にスリットを設け、
上記認識手段が、外部に設けたスリットの領域特徴に基づいて人の姿勢、動作を認識する
請求項１から７のいずれかに記載の対象物の認識システム。
【請求項９】
請求項１から８の何れかに記載の対象物の認識システムを用いた監視システム。
【請求項１０】
請求項１から８の何れかに記載の対象物の認識システムを用いた見守りシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−２０９７９４（Ｐ２０１１−２０９７９４Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７４２５８（Ｐ２０１０−７４２５８）
【出願日】平成２２年３月２９日（２０１０．３．２９）
【出願人】（５００２９２３４５）
【出願人】（５１００７９２９３）
【出願人】（５００２９３７４４）朝日エンジニアリング株式会社 (9)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月２９日（２０１０．３．２９）
【出願人】（５００２９２３４５）
【出願人】（５１００７９２９３）
【出願人】（５００２９３７４４）朝日エンジニアリング株式会社 (9)
【Ｆターム（参考）】
[ Back to top ]