人数カウント装置、人数カウント方法及び人数カウントプログラム
【課題】入力画像上に複数の人物が近接している、または、複数の人物によりオクルージョンが生じている場合にもより高精度、高速に人物検出することができる人数カウント装置、人数カウント方法及び人数カウントプログラムを提供する。
【解決手段】入力画像に対して人物検出を行い人物の存在する領域を抽出する人物存在領域抽出部１０４と、人物存在領域抽出結果から人物の存在状況を推定する人物存在状況推定部１０５と、人物存在状況推定結果に基づき人数計測に用いる部分検出器の種類を選択する部分検出器選択部１０６と、部分検出器情報から人物の一部分を検出する部分検出処理を行う部分検出処理部１０７と、部分検出処理結果から入力画像内の人物の数を求める人数カウント部１０９とを備えるので、部分検出器を入力画像全体に用いる従来手法よりも、高速且つ誤検出のより少ない高精度な人数カウント処理を行うことができる。
【解決手段】入力画像に対して人物検出を行い人物の存在する領域を抽出する人物存在領域抽出部１０４と、人物存在領域抽出結果から人物の存在状況を推定する人物存在状況推定部１０５と、人物存在状況推定結果に基づき人数計測に用いる部分検出器の種類を選択する部分検出器選択部１０６と、部分検出器情報から人物の一部分を検出する部分検出処理を行う部分検出処理部１０７と、部分検出処理結果から入力画像内の人物の数を求める人数カウント部１０９とを備えるので、部分検出器を入力画像全体に用いる従来手法よりも、高速且つ誤検出のより少ない高精度な人数カウント処理を行うことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラ等から撮影された画像に対し、人物検出技術を用いることで人数カウントを行うための人数カウント装置、人数カウント方法及び人数カウントプログラムに関する。
【背景技術】
【０００２】
近年の監視カメラシステムには、店舗等への侵入者の自動検知や、入場者数の自動カウント等を行うことを目的に、人物検出技術が導入されている。従来の人物検出技術としては、例えば特許文献１や非特許文献１、２に記載されたものが知られている。
【０００３】
特許文献１には、監視カメラ等で撮影された入力画像に対して背景画像データベースとのマッチング処理を行い、差分検出した画素の位置や数に応じて人数を推定する方法が開示されている。非特許文献１には、事前に大量の検出対象サンプル（人物の全身が含まれる画像）と非検出対象サンプル（人物の全身が含まれない画像）からＨＯＧ（Histogram of Oriented Gradient）特徴量を抽出し、その特徴量空間上の各々のサンプル群の境界線を、ＳＶＭ（Support Vector Machine）を用いてモデル化することで、静止画像中からの人物検出技術を実現する方法が開示されている。非特許文献２には、人物の一部分を検出する部分検出器をＥｄｇｅｌｅｔ特徴量とブースティング法を用いて構築し、各々の部分検出器の出力結果を最大事後確率推定を行うことで１つに統合する方法が開示されている。
【０００４】
上記非特許文献１、２で行われている静止画像中からの人物検出は、一般的に次のように行われる。まず、監視カメラ等で撮影された入力画像中における人物のサイズ及び位置は一定ではないため、入力画像に対してリサイズ処理等のスケーリング処理を繰り返し行うことで、入力画像をピラミッド画像に変換する。その後、ピラミッド画像を構成する各々のスケーリング画像から、所定サイズの画像ウィンドゥを所定間隔で抽出し、各々の画像ウィンドゥ中における所定特徴量の値に基づいたスコアの閾値判定によって人物検出判定処理を行う。
【０００５】
人物検出器は、人物のような非剛体の様々な形状変化に対してロバスト（強靭）な検出性能を発揮するように構築されているため、人物検出結果を入力画像中に人物検出候補枠矩形として表示すると、図１１のように、人物の周辺で複数の人物検出候補枠矩形１１０ａが出力される（以下、人物検出結果の位置ずれ問題と呼ぶ）。最終的には、人物検出候補枠矩形１１０ａを、各々の矩形の属性情報（中心位置、サイズ、スコア等）に基づき、同一グループと判定するような統合処理を行うことで、その最終統合結果１１１を人物検出結果として表示する（非特許文献１のＦｉｇ．５．１参照）。人数カウント等を行う場合は、この矩形の最終統合結果１１１の数を人数としてカウントすることになる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２５３２８号公報
【非特許文献】
【０００７】
【非特許文献１】Navneet Dalal, “Finding People in Images and Videos”, PhD Thesis, Institut National Polytechnique de Grenoble/INRIA Grenoble, Grenoble, July 2006.
【非特許文献２】Bo Wu and Ram Nevatia, “Detection and Tracking of Multiple, Partially Occluded Humans by Bayesian Combination of Edgelet based Part Detectors”, International Journal of Computer Vision, 75(2): 247-266, 2007.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した従来の人物検出技術においては、下記のような課題があった。
まず特許文献１で開示された技術では、入力画像と背景画像データベースとの差分情報に基づくマッチング処理を行うため、照明や影等の急激な環境変動が生じ、適切な背景画像が選択できない場合に人数カウント精度が劣化してしまう。
【０００９】
非特許文献１で開示された技術では、全身検出器を用いているために、人物検出結果の位置ずれ問題の影響を特に受ける。例えば、図１２の（ａ）に示すように、複数の人物が近接した場合、左右に並んだ人物に対する各々の人物検出候補枠矩形自体が近接し、その後の人物検出候補枠矩形の統合処理で同一グループと判定されてしまうため、左右の人物を分離して検出できなくなってしまう。また、図１２の（ｂ）に示すように、オクルージョンのある後方人物に対する人物検出精度が劣化してしまうことで、人物検出候補枠矩形の数が前方人物の人物検出候補枠矩形と比較して小さくなってしまい、前後の人物を分離して検出できなくなってしまう。
【００１０】
非特許文献２で開示された技術では、部分検出器を用いているために、人物検出結果の位置ずれ問題の影響は緩和される。これは、人体をより細かく部分的に見た場合、人体の一部分は、より剛体に近い非剛体と考えられるからである。しかしながら、非特許文献２で開示された技術では、どのような状況のオクルージョンに対しても、入力画像から抽出される全ての画像ウィンドゥに対し、常に事前に用意した全ての部分検出器を用いて人物検出処理を行う必要があるため、本来必要のない部分検出器までも用いてしまうことによる誤検出増加の可能性、及び処理速度増加という点で、最適な人物検出処理が行えているとは言い難い。
【００１１】
例えば図１３において、入力画像１３０上に対して上半身検出器１３４と下半身検出器１３５を常に使用すると、下半身にオクルージョンのある人物１３１、及び上半身にオクルージョンのある人物１３２を、ともに検出することができる。しかしながら、本来下半身にオクルージョンのある人物１３１、及び上半身にオクルージョンのある人物１３２に対しては、それぞれ上半身検知器１３４、下半身検知器１３５のみの人物検出処理を行うだけで十分であり、下半身検知器１３５及び上半身検出器１３４をさらに用いることによって処理速度が増加してしまっている。さらに、一般的に上半身や下半身などの部分検出器は、全身検出器に比べて誤検出が多く（非特許文献１のＦｉｇ．７．１参照）、入力画像１３０上に対して上半身検出器１３４と下半身検出器１３５を常に使用することで、より誤検出（例えば木１３３を検出してしまうような誤検出）を発生してしまう危険性を高めてしまうことになる。
【００１２】
本発明は、係る事情に鑑みてなされたものであり、入力画像上に複数の人物が近接している、または、複数の人物によりオクルージョンが生じている場合にも、より高精度、高速に人物検出することができる人数カウント装置、人数カウント方法及び人数カウントプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の人数カウント装置は、入力画像に対して、人物検出を行い人物の存在する領域を抽出する人物存在領域抽出手段と、前記人物存在領域抽出手段の抽出結果から人物の存在状況を推定する人物存在状況推定手段と、前記人物存在状況推定手段の推定結果に基づき、人数計測に用いる部分検出器の種類を選択し部分検出器情報を出力する部分検出器選択手段と、前記部分検出器選択手段から出力された部分検出器情報に基づく部分検出処理を用いて人物の一部分を検出する部分検出処理を行う部分検出処理手段と、前記部分検出処理手段の部分検出処理結果から前記入力画像内の人物の数を求める人数カウント手段と、を備えた。
【００１４】
上記構成により、人数カウントを行うための複数の検出器の中から、状況に応じて最適なものを選択することができるようになり、人数カウントの精度が向上する。これにより、入力画像上に複数の人物が近接している、または、複数の人物によりオクルージョンが生じている場合にも、より高精度、高速に人物検出することが可能となる。
【００１５】
上記構成において、前記人物存在領域抽出手段は、抽出結果として矩形情報を出力し、前記人物存在状況推定手段は、前記人物存在領域抽出手段の抽出した矩形情報の縦横比または縦と横の長さに応じて人物存在状況を推定する。
【００１６】
上記構成により、人物存在状況をより確実に推定することができ、高精度で人数カウントができる。
【００１７】
上記構成において、前記部分検出器選択手段は、前記人物存在状況推定手段の推定結果が人物が重なっていると判断した場合には部分検出を行う種類の前記部分検出器を選択する。
【００１８】
上記構成により、人物が重なっている場合でも高精度で人数カウントができる。
【００１９】
上記構成において、前記部分検出器選択手段は、前記部分検出器として、上半身検出器、下半身検出器、右半身検出器、左半身検出器のうち、少なくとも一つを選択する。
【００２０】
上記構成により、４つの検出器のうち少なくとも一つを選択することで、人物が重なっている場合でも高精度で人数カウントができる。
【００２１】
上記構成において、前記人物存在状況推定手段は、前記人物存在領域抽出手段の抽出した前記矩形情報が人物のサイズに比べて横方向には長くなく縦方向に長い場合は人物が縦方向に重なっていると判断し、前記部分検出器選択手段は、前記人物存在状況推定手段が人物が縦方向に重なっていると判断した場合には、前記上半身検出器を選択する。
【００２２】
上記構成により、人物が縦方向に重なっている場合でも高精度で人数カウントができる。
【００２３】
上記構成において、前記人物存在状況推定手段は、前記矩形情報が人物のサイズに比べて横方向に長く縦方向に長くない場合は人物が横方向に重なっていると判断し、前記部分検出器選択手段は、前記人物存在状況推定手段が人物が横方向に重なっていると判断した場合には、前記右半身検出器及び前記左半身検出器を選択する。
【００２４】
上記構成により、人物が横方向に重なっている場合でも高精度で人数カウントができる。
【００２５】
上記構成において、前記人物存在状況推定手段は、前記矩形情報が人物のサイズに比べて横方向にも縦方向にも長い場合は人物が広範囲に重なっていると判断し、前記部分検出器選択手段は、前記人物存在状況推定手段が人物が広範囲に重なっていると判断した場合には、前記上半身検出器、前記下半身検出器、前記右半身検出器及び前記左半身検出器を選択する。
【００２６】
上記構成により、人物が広範囲に重なっている場合でも高精度で人数カウントができる。
【００２７】
本発明の人数カウント方法は、入力画像に対して、人物検出を行い人物の存在する領域を抽出するステップと、人物の存在する領域を抽出した結果から人物の存在状況を推定するステップと、人物の存在状況を推定した結果に基づき、人数計測に用いる部分検出器の種類を選択し部分検出器情報を出力するステップと、選択された部分検出器の部分検出器情報に基づく部分検出処理を用いて人物の一部分を検出する部分検出処理を行うステップと、検出処理結果から前記入力画像内の人物の数を求めるステップと、を備えた。
【００２８】
上記方法により、人数カウントを行うための複数の検出器の中から、状況に応じて最適なものを選択することができるようになり、人数カウントの精度が向上する。これにより、入力画像上に複数の人物が近接している、または、複数の人物によりオクルージョンが生じている場合にも、より高精度、高速に人物検出することが可能となる。
【００２９】
本発明の人数カウントプログラムは、上記人数カウント方法の各ステップをコンピュータに実行させるためのプログラムである。
【００３０】
上記プログラムにより、人数カウントを行うための複数の検出器の中から、状況に応じて最適なものを選択することができるようになり、人数カウントの精度が向上する。これにより、入力画像上に複数の人物が近接している、または、複数の人物によりオクルージョンが生じている場合にも、より高精度、高速に人物検出することが可能となる。
【発明の効果】
【００３１】
本発明によれば、入力画像上に複数の人物が近接している、または、複数の人物によりオクルージョンが生じている場合にも、より高精度、高速に人物検出することができるという効果を有する人数カウント装置、人数カウント方法及び人数カウントプログラムを提供することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施の形態に係る人数カウント装置の概略構成を示すブロック図
【図２】図１の人数カウント装置において、入力画像と入力画像から生成されるピラミッド画像の一例を示す図
【図３】図１の人数カウント装置において、全身検出候補枠の和集合領域である人物存在領域の設定の一例を示す図
【図４】図１の人数カウント装置において、標準的な人物サイズの求め方の一例を示す図
【図５】図１の人数カウント装置において、標準的な人物サイズを矩形とし、人物存在領域と矩形との縦横各々のサイズの差分を閾値と比較し４パターンに分類した状態を示す図
【図６】図１の人数カウント装置における部分検出処理の概要を示す図
【図７】図１の人数カウント装置における統合検出枠群の作成の一例を示す図
【図８】図１の人数カウント装置における統合検出枠の作成処理の一例を示す図
【図９】図１の人数カウント装置における統合検出枠同士の統合処理の一例を示す図
【図１０】図１の人数カウント装置の動作を説明するためのフローチャート
【図１１】従来の人物検出技術における人物検出候補枠矩形を示す図
【図１２】従来の人物検出技術の課題を説明するための図
【図１３】従来の人物検出技術の課題を説明するための図
【発明を実施するための形態】
【００３３】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００３４】
図１は、本発明の一実施の形態に係る人数カウント装置の概略構成を示すブロック図である。図１において、本実施の形態の人数カウント装置１は、画像入力部１０１と、全身検出処理部１０２と、全身検出モデルデータベース部（以下、全身検出モデルＤＢ部と記述する）１０３と、人物存在領域抽出部１０４と、人物存在状況推定部１０５と、部分検出器選択部１０６と、部分検出処理部１０７と、部分検出モデルデータベース部（以下、部分検出モデルＤＢ部と記述する）１０８と、人数カウント部１０９と、表示部１１０と、を有する。
【００３５】
以下、図１に示す人数カウント装置１の各構成要素について詳しく説明する。画像入力部１０１は、図示せぬ監視カメラ等で撮影された画像情報の入出力と、その保持を行う。全身検出処理部１０２は、画像入力部１０１から出力された画像を入力とし、その入力画像に対してリサイズ処理等のスケーリング処理を繰り返し行うことで、入力画像をピラミッド画像に変換する。図２は、入力画像と入力画像から生成されるピラミッド画像の一例を示す図である。図２の（ａ）は入力画像２０１を表し、図２の（ｂ）はピラミッド画像２０２を表す。全身検出処理部１０２は、入力画像２０１から生成したピラミッド画像２０２を構成する各々のスケーリング画像から、所定サイズの画像ウィンドゥ２０３を所定間隔で抽出し、各々の画像ウィンドゥ２０３に対して全身検出処理を行う。この全身検出処理は、画像ウィンドゥ２０３内の人物の全身らしさを示すスコア値に基づいて行われ、事前に設定した所定のスコア閾値Ａ以上のスコア値が算出された画像ウィンドゥ２０３に対して、人物の全身が含まれていると判定する。全身検出処理部１０２は、最終的に、各々のスケーリング画像から全身が含まれると判定した画像ウィンドゥ２０３の二次元位置情報をスケーリング処理を行う前の入力画像２０１上に逆スケール変換したときの二次元位置情報と、その画像ウィンドゥ２０３のスコア値を出力する。
【００３６】
全身検出モデルＤＢ部１０３は、画像ウィンドゥ２０３内から抽出された特徴量の値を入力とし、画像ウィンドゥ２０３内に全身が含まれるか否かを判定するためのスコア値を出力するようなモデル情報が少なくとも１つ以上蓄積されているデータベースである。全身検出処理部１０２は、これらのモデル情報に基づいて画像ウィンドゥ２０３に対する全身検出処理を行う。
【００３７】
全身検出モデルＤＢ部１０３におけるモデル情報は、事前に大量の検出対象サンプル（人物の全身が含まれる画像）と非検出対象サンプル（人物の全身が含まれない画像）から特徴量を抽出し、その特徴量空間上の各々のサンプル群の境界線を、ＳＶＭ（Support Vector Machine）やブースティング法などの代表的な統計的学習手法を用いることで構築できる。その結果、画像ウィンドゥ２０３内に人物の全身が含まれる場合はスコア値が大きく、逆に画像ウィンドゥ２０３内に人物の全身が含まれない場合は、スコア値が小さくなるようなモデル情報が、全身検出モデルＤＢ部１０３に蓄積される。
【００３８】
人物存在領域抽出部１０４は、全身検出処理部１０２の出力結果である複数の全身検出候補枠２０４（図２の（ａ）参照）の中から、例えば、中心位置同士の距離が所定の距離閾値Ｂ以内の全身検出候補枠２０４同士を１つの同一グループに分類し、各グループごとに全身検出候補枠２０４の和集合領域である人物存在領域２０５を設定する。なお、人物存在領域２０５は、入力画像中における複数の全身検出候補枠２０４の二次元位置情報を、各々の矩形の４点のＸＹ座標（Ｘ、Ｙ）で表現したとき、各グループごとにＸ座標が最小となるＸ＿ＭＩＮ、Ｙ座標が最小となるＹ＿ＭＩＮ、Ｘ座標が最大となるＸ＿ＭＡＸ、Ｙ座標が最大となるＹ＿ＭＡＸを算出し、次の４点の座標（Ｘ＿ＭＩＮ、Ｙ_ＭＩＮ）、（Ｘ＿ＭＩＮ、Ｙ＿ＭＡＸ）、（Ｘ＿ＭＡＸ、Ｙ＿ＭＩＮ）、（Ｘ＿ＭＡＸ、Ｙ＿ＭＡＸ）によって内包される領域によって設定してもよい。図３は、全身検出候補枠３０１、３０２の和集合領域である人物存在領域３０３の設定の一例を示す図である。
【００３９】
人物存在状況推定部１０５は、人物存在領域抽出部１０４から出力される人物存在領域２０５の縦横各々のサイズ情報による閾値判定結果に基づいて、人物存在領域２０５内における人物の存在状況を、（パターン１）人物が１人存在する、（パターン２）人物が縦方向に並んでいる、（パターン３）人物が横方向に並んでいる、（パターン４）その他、の４パターンのいずれかに推定する。
【００４０】
人物存在領域２０５の閾値判定は、標準的な人物サイズとの比較により行う。標準的な人物サイズの求め方としては、例えば事前にカメラの設置位置などから標準的な人物サイズを設定しておけばよい。また、他の方法として、カメラの設置角度によっては画面上の位置によって標準的な人物のサイズが異なる場合があるため、その場合には入力画像２０１上の任意位置において検出されうる人物の身長情報を事前に設定しておくことで標準的な人物サイズを得ることができる。例えば、画像上のＹ軸方向で人物の大きさが変化する場合は、入力画像２０１上に図４に示すような画面内の各位置における標準的な人物サイズを表す参照画像ウィンドゥ群４０１を設定しておき、人物存在領域４０２の中心位置４０３のＹ座標と、参照画像ウィンドゥ群４０１中で中心位置のＹ座標との距離が最も近くなる矩形４０４を標準的な人物サイズとして採用する。
【００４１】
図５は、標準的な人物サイズを矩形５０１とし、人物存在領域４０２と矩形５０１との縦横各々のサイズの差分を閾値と比較し上記の４パターンに分類した図である。人物存在領域が５０２のように横サイズ差分が横サイズ閾値Ｃ＿ｈより小さく、かつ縦サイズ差分が縦サイズ閾値Ｃ＿ｖよりも小さい場合、人物存在領域における人物の存在状況は、人物存在状況推定部１０５によって上記（パターン１）に推定される。また、人物存在領域が５０３のように横サイズ差分が横サイズ閾値Ｃ＿ｈよりも小さく、かつ縦サイズ差分が縦サイズ閾値Ｃ＿ｖよりも大きい場合、（パターン２）に推定される。また、人物存在領域が５０４のように横サイズ差分が横サイズ閾値Ｃ＿ｈよりも大きく、かつ縦サイズ差分が縦サイズ閾値Ｃ＿ｖよりも小さい場合、（パターン３）に推定され、人物存在領域が５０５のように縦横各々のサイズ差分が上記のいずれにも該当しない場合、（パターン４）に推定される。
【００４２】
部分検出器選択部１０６では、人物存在状況推定部１０５で推定された４つのパターンに応じて、以降の処理で用いる部分検出処理を選択する。具体的には、（パターン１）人物が１人存在する場合は部分検出処理は行わない、（パターン２）人物が縦方向に並んでいる場合は上半身検出処理を行う、（パターン３）人物が横方向に並んでいる場合は半身検出処理（右半身と左半身）を行う、（パターン４）その他の場合、上半身検出処理と半身検出処理（右半身と左半身）を共に行う、の４パターンのいずれかの部分検出処理が選択される。
【００４３】
図６は、部分検出処理の概要を示す図であり、上半身検出器、右半身検出器、及び左半身検出器は、それぞれ図６の点線で表示される矩形領域６０１、６０２、及び６０３内の人物の部分形状を検出する。部分検出処理部１０７では、人物存在領域抽出部１０４によって抽出された人物存在領域を入力とし、その入力画像２０１に対してリサイズ処理等のスケーリング処理を繰り返し行うことで、入力画像２０１をピラミッド画像に変換する。その後、全身検出処理部１０２と同様に、ピラミッド画像における各々のスケーリング画像から、所定サイズの画像ウィンドゥを所定間隔で抽出し、各々の画像ウィンドゥに対して、部分検出器選択部１０６から出力された部分検出器情報を用いることで、部分検出処理を行う。この部分検出処理は、画像ウィンドゥ内の人物の一部分らしさを示すスコア値に基づいて行われ、事前に設定した所定のスコア閾値Ｆ以上のスコア値が算出された画像ウィンドゥに対して、人物の一部分が含まれていると判定する処理である。部分検出処理部１０７は、最終的に、各々のスケーリング画像から人物の一部分が含まれると判定した画像ウィンドゥの二次元位置情報をスケーリング処理を行う前の入力画像２０１上に逆スケール変換したときの二次元位置情報を出力するとともに、その画像ウィンドゥのスコア値を出力する。
【００４４】
部分検出モデルＤＢ部１０８は、画像ウィンドゥ内から抽出された特徴量の値を入力とし、画像ウィンドゥ内に人物の一部分が含まれるか否かを判定するためのスコア値を出力するようなモデル情報が少なくとも１つ以上蓄積されているデータベースである。部分検出処理部１０７における画像ウィンドゥに対する部分検出処理は、これらのモデル情報に基づいて行われる。
【００４５】
部分検出モデルＤＢ部１０８におけるモデル情報は、事前に大量の検出対象サンプル（人物の一部分が含まれる画像）と非検出対象サンプル（人物の一部分が含まれない画像）から特徴量を抽出し、その特徴量空間上の各々のサンプル群の境界線を、ＳＶＭ（Support Vector Machine）やブースティング法などの代表的な統計的学習手法を用いることで構築できる。その結果、画像ウィンドゥ内に人物の一部分が含まれる場合はスコア値が大きく、逆に画像ウィンドゥ内に人物の一部分が含まれない場合は、スコア値が小さくなるようなモデル情報が、部分検出モデルＤＢ部１０８に蓄積される。
【００４６】
人数カウント部１０９は、人物存在状況推定部１０５の推定結果に応じた人数カウントを行う。具体的には各パターンでの動作について下記に示す。
【００４７】
（パターン１）の場合
入力画像２０１上において人物の全身が含まれると判定された複数の画像ウィンドゥの二次元位置情報と、その各々の画像ウィンドゥのスコア値を用いて、検出枠候補の統合処理を行った統合検出枠数を、検出された人数としてカウントする。
【００４８】
（パターン２）の場合
入力画像２０１上において人物の上半身が含まれると判定された複数の画像ウィンドゥの二次元位置情報と、その各々の画像ウィンドゥのスコア値を用いて、検出枠候補の統合処理を行った統合検出枠数を、検出された人数としてカウントする。図７は、統合検出枠群７０２の作成の一例を示す図である。図７に示すように、各々の検出候補枠群７０１同士のスコア差がある所定のスコア閾値Ｇ以内であり、かつ中心位置の距離が所定の距離閾値Ｈ以下のものを同一グループと判定し、同一グループ内の検出候補枠の平均位置と平均サイズを算出することで、検出枠候補を統合し、統合検出枠群７０２を作成することができる。
【００４９】
（パターン３）の場合
入力画像２０１上において人物の半身が含まれると判定された複数の画像ウィンドゥの二次元位置情報と、その各々の画像ウィンドゥのスコア値を用いて、検出枠候補の統合処理を行った統合検出枠に対し、さらに右半身、左半身各々の検出器による統合検出枠同士をさらに統合した結果を人数としてカウントする。
【００５０】
図８は、パターン３における統合検出枠の作成処理の一例を示す図である。図８に示すように、各々の検出候補枠群８０１、８０２、８０３同士のスコア差がある所定のスコア閾値Ｇ以内であり、かつ中心位置の距離が所定の距離閾値Ｈ以下のものを同一グループと判定し、同一グループ内の検出候補枠の平均位置と平均サイズを算出することで検出枠候補を統合し、統合検出枠８０４、８０５、８０６を作成する。その後、可能な場合は、異なる部分検出器の検出候補枠同士を統合する。例えば、人物８０９の左半身統合検出枠８０４の中心位置と、人物８０９の右半身統合検出枠８０５の中心位置間の距離が所定の距離閾値Ｉ以下であり、かつ左半身統合検出枠８０４の中心位置のＸ座標よりも、右半身統合検出枠８０５の中心位置のＸ座標が大きいとき、左半身統合検出枠８０４と右半身統合検出枠８０５は、同一人物の左半身、右半身に対する検出結果であるとみなし、各々の統合検出枠８０４、８０５の和集合領域８０７を、人物８０９に対する最終的な１つの統合検出枠とする。また、人物８１０の右半身統合検出枠８０６に関しては、右半身統合検出枠８０６の中心位置から所定の距離閾値Ｉ以内で、かつ右半身統合検出枠８０６の中心位置のＸ座標よりも小さい領域に、左半身検出器の検出候補枠が存在しないため、人物８１０の体の左部分にオクルージョン等が生じていると推定し、右半身統合検出枠８０６を人物８１０に対する最終的な１つの統合検出枠８０８とする。
【００５１】
（パターン４）の場合
入力画像２０１上において人物の上半身、及び半身が含まれると判定された複数の画像ウィンドゥの二次元位置情報と、その各々の画像ウィンドゥのスコア値を用いて、検出枠候補の統合処理を行ったあと統合検出枠に対し、さらに上半身、右半身、左半身各々の検出器による統合検出枠同士をさらに統合した結果を人数としてカウントする。なお、和集合領域は図３と同様の方法で作成でき、また、パターン５０５において上半身検出器を同時に用いる際も同様の方法で処理することができる。
【００５２】
人数カウント部１０９における異なる部分検出器の統合検出枠同士の統合処理は、例えば、上半身検出器の矩形領域６０１（図６参照）の統合検出枠９０１が図９に示す位置にあるとき、左半身検出器の矩形領域６０３の統合検出枠の中心位置が点線矩形９０２内に、または、右半身検出器の矩形領域６０２の統合検出枠の中心位置が点線矩形９０３内にある場合のみ統合処理を行えばよい。これは、基準となる統合検出枠が上半身検出器の矩形領域６０１でない場合でも同様に定義すればよい。
【００５３】
表示部１１０では、人数カウント部１０９から出力された人数カウント数をユーザに表示する。
【００５４】
次に、本実施の形態の人数カウント装置１の動作を説明する。
図１０は、本実施の形態の人数カウント装置１の動作を説明するためのフローチャートである。図１０において、まず監視カメラ等から撮影された画像情報の入出力を画像入力部１０１で行う（ステップＳ１）。
【００５５】
次いで、全身検出モデルＤＢ部１０３が、画像ウィンドゥ内から抽出された特徴量の値を入力とし、画像ウィンドゥ内に全身が含まれるか否かを判定するためのスコア値を出力するような全身検出モデル情報を全身検出処理部１０２に出力する（ステップＳ２）。
【００５６】
次いで、全身検出処理部１０２が、画像入力部１０１から入力される画像に対して、リサイズ処理等のスケーリング処理を繰り返し行うことで、入力画像をピラミッド画像に変換した後、ピラミッド画像を構成する各々のスケーリング画像から、所定サイズの画像ウィンドゥを所定間隔で抽出し、各々の画像ウィンドゥに対して全身検出処理を行う（ステップＳ３）。この全身検出処理は、画像ウィンドゥ内の人物の全身らしさを示すスコア値に基づいて行われ、事前に設定した所定のスコア閾値Ａ以上のスコア値が算出された画像ウィンドゥに対して、人物の全身が含まれていると判定する。そして、全身検出処理部１０２は、最終的に、各々のスケーリング画像から全身が含まれると判定された画像ウィンドゥの二次元位置情報をスケーリング処理を行う前の入力画像上に逆スケール変換したときの二次元位置情報を出力するとともに、その画像ウィンドゥのスコア値を出力する。
【００５７】
次いで、人物存在領域抽出部１０４が、全身検出処理部１０２の出力結果である複数の全身検出候補枠の中から、中心位置同士の距離が所定の距離閾値Ｂ以内の全身検出候補枠同士を１つの同一グループに分類し、各グループごとに全身検出候補枠の和集合領域である人物存在領域を設定する（ステップＳ４）。
【００５８】
次いで、人物存在状況推定部１０５が、人物存在領域抽出部１０４から出力された人物存在領域の縦横各々のサイズ情報による閾値判定結果に基づいて、人物存在領域内における人物の存在状況を、（パターン１）人物が１人存在する、（パターン２）人物が縦方向に並んでいる、（パターン３）人物が横方向に並んでいる、（パターン４）その他、の４パターンのいずれかに推定する（ステップＳ５）。
【００５９】
次いで、部分検出器選択部１０６が、人物存在状況推定部１０５で推定された４つのパターンに応じて、以降の処理で用いる部分検出処理を選択する（ステップＳ６）。
【００６０】
次いで、部分検出モデルＤＢ部１０８が、部分検出器選択部１０６によって選択され、画像ウィンドゥ内から抽出された特徴量の値を入力とし、画像ウィンドゥ内に人物の一部分が含まれるか否かを判定するためのスコア値を出力するような部分検出モデル情報を部分検出処理部１０７に出力する（ステップＳ７）。
【００６１】
次いで、部分検出処理部１０７が、人物存在領域抽出部１０４によって抽出された人物存在領域を入力とし、その入力画像に対してリサイズ処理等のスケーリング処理を繰り返し行うことで、入力画像をピラミッド画像に変換する。その後、全身検出処理部１０２と同様に、ピラミッド画像における各々のスケーリング画像から、所定サイズの画像ウィンドゥを所定間隔で抽出し、各々の画像ウィンドゥに対して、部分検出器選択部１０６から出力された部分検出器情報を用いることで、部分検出処理を行う（ステップＳ８）。この部分検出処理は、画像ウィンドゥ内の人物の一部分らしさを示すスコア値に基づいて行われ、事前に設定した所定のスコア閾値Ｆ以上のスコア値が算出された画像ウィンドゥに対して、人物の一部分が含まれていると判定する。そして、部分検出処理部１０７は、最終的に、各々のスケーリング画像から人物の一部分が含まれると判定された画像ウィンドゥの二次元位置情報をスケーリング処理を行う前の入力画像上に逆スケール変換したときの二次元位置情報を出力するとともに、その画像ウィンドゥのスコア値を出力する。
【００６２】
次いで、人数カウント部１０９が、部分検出器選択部１０６によって選択された４つのパターンに従い、検出された人数をカウントする（ステップＳ９）。例えば、（１）人物が１人存在する場合は、人物の全身が含まれると判定された複数の画像ウィンドゥの二次元位置情報と、その各々の画像ウィンドゥのスコア値を用いて、検出枠候補の統合処理を行った統合検出枠数を検出された人数としてカウントする。また、（２）人物が縦方向に並んでいる場合は、人物の上半身が含まれると判定された複数の画像ウィンドゥの二次元位置情報と、その各々の画像ウィンドゥのスコア値を用いて、検出枠候補の統合処理を行った統合検出枠数を検出された人数としてカウントする。また、（３）人物が横方向に並んでいる場合は、人物の半身が含まれると判定された複数の画像ウィンドゥの二次元位置情報と、その各々の画像ウィンドゥのスコア値を用いて、検出枠候補の統合処理を行った統合検出枠に対し、さらに右半身、左半身各々の検出器による統合検出枠同士をさらに統合した結果を人数としてカウントする。また、（４）その他の場合は、人物の上半身、及び半身が含まれると判定された複数の画像ウィンドゥの二次元位置情報と、その各々の画像ウィンドゥのスコア値を用いて、検出枠候補の統合処理を行った統合検出枠に対し、さらに上半身、右半身、左半身各々の検出器による統合検出枠同士をさらに統合した結果を人数としてカウントする。
【００６３】
次いで、表示部１１０が、人数カウント部１０９から出力された人数カウント数をユーザに表示する（ステップＳ１０）。
【００６４】
このように本実施の形態の人数カウント装置１によれば、全身検出処理部１０２、人物存在領域抽出部１０４、人物存在状況推定部１０５及び部分検出器選択部１０６を有するので、人物の存在領域を抽出後、その存在領域の形状から人物の存在状況を推定することができ、さらにその推定結果から、近接した人物同士やオクルージョンのある人物同士を人数カウントするために最適な部分検出処理を人物存在領域に対して行える。これにより、部分検出器を入力画像全体に用いる従来手法よりも、高速、かつ誤検出のより少ない高精度な人数カウント処理を行うことができる。
【００６５】
なお、全身検出処理部１０２、及び部分検出処理部１０７で抽出される特徴量は、人物の全身検出、及び人物の一部分の部分検出用途で一般的に用いられているＨＯＧ特徴量や、Ｅｄｇｅｌｅｔ特徴量など、限定されたものではない。
【００６６】
また、人物存在領域抽出部１０４における人物存在領域３０３は、図３に示すような和集合領域の算出による設定以外にも、例えば、ノイズ矩形（中心位置同士の距離が所定の距離閾値Ｂ以内ではあるが、明らかに和集合領域の設定に悪影響を与えるようなはずれた位置にある矩形）対策の１つの例として、中心位置同士の距離が所定の距離閾値Ｂ以内にある全ての全身検出候補枠２０４の平均中心位置、平均サイズを算出した結果を人物存在領域３０３とするような方法を用いてもよい。
【００６７】
また、人物存在状況推定部１０５における参照画像ウィンドゥ群４０１のサイズ設定は、監視カメラ等のキャリブレーションによって自動設定してもよいし、ユーザが実際に撮影された画像を見ながら、手動で設定してもよい。
【００６８】
また、全身検出処理部１０２、及び部分検出処理部１０７では、人物存在状況推定部１０５において設定された参照画像ウィンドゥ群４０１のサイズ情報を用いることで、入力画像上の任意の位置で検出されうる人物の全身、上半身、半身の入力画像上での大きさが推定できるため、入力画像をピラミッド画像に変換する際のスケーリングパラメータ（スケーリング回数、スケーリングステップ）を最適化してもよい。
【００６９】
また、全身検出モデルＤＢ部１０３内には、例えば、前向き、後ろ向き、右向き、左向き、斜め前右向き、斜め前左向き、斜め後ろ右向き、斜め後ろ左向きなどの方向別、あるいは、帽子やヘルメット等の被り物、スカートなどの着衣、鞄等の持ち物といった、人物の様々な属性情報別に全身を検出するような複数のモデル情報を蓄積しておいてもよく、部分検出モデルＤＢ部１０８内に対しても同様である。
【００７０】
また、人数カウント部１０９における検出候補枠群７０１、８０１、８０２、８０３の統合処理は、スコア閾値を用いた閾値判定を考慮せず、検出候補枠群７０１、８０１、８０２、８０３の各々の中心位置の距離閾値Ｇを用いた閾値判定のみを考慮した統合処理方式を用いてもよい。
【００７１】
さらに、人数カウント部１０９における検出候補枠群７０１、８０１、８０２、８０３の統合処理は、各々の検出候補枠群７０１、８０１、８０２、８０３内に人物の上半身、及び半身が含まれているらしさを示すスコア値に加え、ステレオカメラ等を用いて計測した入力画像上の奥行き情報を用いて、各々の検出候補枠群７０１、８０１、８０２、８０３内のに立体物が含まれているらしさを算出した立体物スコア値や、過去の入力画像における最終的な統合検出枠のテンプレート位置に対して、テンプレートマッチング等を用いた追跡技術を適用し、現在の入力画像における各々の検出候補枠群７０１、８０１、８０２、８０３と、過去のフレームからの追跡結果とのマッチング程度を示す追跡スコア値などを加算することで、検出候補枠群の統合処理であるグルーピング精度を高める手法を用いてもよい。
【００７２】
また、人数カウント部１０９における異なる部分検出器の統合検出枠同士の統合処理に関して、例えば図９のように基準となる上半身検出器の矩形領域６０１の統合検出枠９０１が図９の位置にあるとき、点線矩形９０２、９０３の位置はユーザが事前に手動で設定してもよいし、大量の検出対象サンプル（人物の全身が含まれる画像）から統計的に設定してもよい。
【００７３】
また、人数カウント部１０９における異なる部分検出器の統合検出枠同士の統合処理に関しては、非特許文献２にあるような各々の部分検出器の出力結果を、最大事後確率推定を行うことで１つに統合する方法などを用いてもよい。
【産業上の利用可能性】
【００７４】
本発明は、入力画像上に複数の人物が近接している、または、複数の人物によりオクルージョンが生じている場合にも、より高精度、高速に人物検出することができるといった効果を有し、監視カメラシステムへの適用が可能である。
【符号の説明】
【００７５】
１ 人数カウント装置
１０１ 画像入力部
１０２ 全身検出処理部
１０３ 全身検出モデルデータベース部
１０４ 人物存在領域抽出部
１０５ 人物存在状況推定部
１０６ 部分検出器選択部
１０７ 部分検出処理部
１０８ 部分検出モデルデータベース部
１０９ 人数カウント部
１１０ 表示部
２０１ 入力画像
２０２ ピラミッド画像
２０３ 画像ウィンドゥ
２０４ 全身検出候補枠
２０５、３０３、４０２ 人物存在領域
３０１、３０２ 全身検出候補枠
４０１ 参照画像ウィンドゥ群
４０３ 中心位置
４０４、５０１ 矩形
６０１ 上半身検出器の矩形領域
６０２ 右半身検出器の矩形領域
６０３ 左半身検出器の矩形領域
７０１、８０１〜８０３ 検出候補枠群
７０２、８０４〜８０６ 統合検出枠
８０７ 和集合領域
８０９ 人物
９０１ 統合検出枠
９０２、９０３ 点線矩形
【技術分野】
【０００１】
本発明は、監視カメラ等から撮影された画像に対し、人物検出技術を用いることで人数カウントを行うための人数カウント装置、人数カウント方法及び人数カウントプログラムに関する。
【背景技術】
【０００２】
近年の監視カメラシステムには、店舗等への侵入者の自動検知や、入場者数の自動カウント等を行うことを目的に、人物検出技術が導入されている。従来の人物検出技術としては、例えば特許文献１や非特許文献１、２に記載されたものが知られている。
【０００３】
特許文献１には、監視カメラ等で撮影された入力画像に対して背景画像データベースとのマッチング処理を行い、差分検出した画素の位置や数に応じて人数を推定する方法が開示されている。非特許文献１には、事前に大量の検出対象サンプル（人物の全身が含まれる画像）と非検出対象サンプル（人物の全身が含まれない画像）からＨＯＧ（Histogram of Oriented Gradient）特徴量を抽出し、その特徴量空間上の各々のサンプル群の境界線を、ＳＶＭ（Support Vector Machine）を用いてモデル化することで、静止画像中からの人物検出技術を実現する方法が開示されている。非特許文献２には、人物の一部分を検出する部分検出器をＥｄｇｅｌｅｔ特徴量とブースティング法を用いて構築し、各々の部分検出器の出力結果を最大事後確率推定を行うことで１つに統合する方法が開示されている。
【０００４】
上記非特許文献１、２で行われている静止画像中からの人物検出は、一般的に次のように行われる。まず、監視カメラ等で撮影された入力画像中における人物のサイズ及び位置は一定ではないため、入力画像に対してリサイズ処理等のスケーリング処理を繰り返し行うことで、入力画像をピラミッド画像に変換する。その後、ピラミッド画像を構成する各々のスケーリング画像から、所定サイズの画像ウィンドゥを所定間隔で抽出し、各々の画像ウィンドゥ中における所定特徴量の値に基づいたスコアの閾値判定によって人物検出判定処理を行う。
【０００５】
人物検出器は、人物のような非剛体の様々な形状変化に対してロバスト（強靭）な検出性能を発揮するように構築されているため、人物検出結果を入力画像中に人物検出候補枠矩形として表示すると、図１１のように、人物の周辺で複数の人物検出候補枠矩形１１０ａが出力される（以下、人物検出結果の位置ずれ問題と呼ぶ）。最終的には、人物検出候補枠矩形１１０ａを、各々の矩形の属性情報（中心位置、サイズ、スコア等）に基づき、同一グループと判定するような統合処理を行うことで、その最終統合結果１１１を人物検出結果として表示する（非特許文献１のＦｉｇ．５．１参照）。人数カウント等を行う場合は、この矩形の最終統合結果１１１の数を人数としてカウントすることになる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２５３２８号公報
【非特許文献】
【０００７】
【非特許文献１】Navneet Dalal, “Finding People in Images and Videos”, PhD Thesis, Institut National Polytechnique de Grenoble/INRIA Grenoble, Grenoble, July 2006.
【非特許文献２】Bo Wu and Ram Nevatia, “Detection and Tracking of Multiple, Partially Occluded Humans by Bayesian Combination of Edgelet based Part Detectors”, International Journal of Computer Vision, 75(2): 247-266, 2007.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した従来の人物検出技術においては、下記のような課題があった。
まず特許文献１で開示された技術では、入力画像と背景画像データベースとの差分情報に基づくマッチング処理を行うため、照明や影等の急激な環境変動が生じ、適切な背景画像が選択できない場合に人数カウント精度が劣化してしまう。
【０００９】
非特許文献１で開示された技術では、全身検出器を用いているために、人物検出結果の位置ずれ問題の影響を特に受ける。例えば、図１２の（ａ）に示すように、複数の人物が近接した場合、左右に並んだ人物に対する各々の人物検出候補枠矩形自体が近接し、その後の人物検出候補枠矩形の統合処理で同一グループと判定されてしまうため、左右の人物を分離して検出できなくなってしまう。また、図１２の（ｂ）に示すように、オクルージョンのある後方人物に対する人物検出精度が劣化してしまうことで、人物検出候補枠矩形の数が前方人物の人物検出候補枠矩形と比較して小さくなってしまい、前後の人物を分離して検出できなくなってしまう。
【００１０】
非特許文献２で開示された技術では、部分検出器を用いているために、人物検出結果の位置ずれ問題の影響は緩和される。これは、人体をより細かく部分的に見た場合、人体の一部分は、より剛体に近い非剛体と考えられるからである。しかしながら、非特許文献２で開示された技術では、どのような状況のオクルージョンに対しても、入力画像から抽出される全ての画像ウィンドゥに対し、常に事前に用意した全ての部分検出器を用いて人物検出処理を行う必要があるため、本来必要のない部分検出器までも用いてしまうことによる誤検出増加の可能性、及び処理速度増加という点で、最適な人物検出処理が行えているとは言い難い。
【００１１】
例えば図１３において、入力画像１３０上に対して上半身検出器１３４と下半身検出器１３５を常に使用すると、下半身にオクルージョンのある人物１３１、及び上半身にオクルージョンのある人物１３２を、ともに検出することができる。しかしながら、本来下半身にオクルージョンのある人物１３１、及び上半身にオクルージョンのある人物１３２に対しては、それぞれ上半身検知器１３４、下半身検知器１３５のみの人物検出処理を行うだけで十分であり、下半身検知器１３５及び上半身検出器１３４をさらに用いることによって処理速度が増加してしまっている。さらに、一般的に上半身や下半身などの部分検出器は、全身検出器に比べて誤検出が多く（非特許文献１のＦｉｇ．７．１参照）、入力画像１３０上に対して上半身検出器１３４と下半身検出器１３５を常に使用することで、より誤検出（例えば木１３３を検出してしまうような誤検出）を発生してしまう危険性を高めてしまうことになる。
【００１２】
本発明は、係る事情に鑑みてなされたものであり、入力画像上に複数の人物が近接している、または、複数の人物によりオクルージョンが生じている場合にも、より高精度、高速に人物検出することができる人数カウント装置、人数カウント方法及び人数カウントプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の人数カウント装置は、入力画像に対して、人物検出を行い人物の存在する領域を抽出する人物存在領域抽出手段と、前記人物存在領域抽出手段の抽出結果から人物の存在状況を推定する人物存在状況推定手段と、前記人物存在状況推定手段の推定結果に基づき、人数計測に用いる部分検出器の種類を選択し部分検出器情報を出力する部分検出器選択手段と、前記部分検出器選択手段から出力された部分検出器情報に基づく部分検出処理を用いて人物の一部分を検出する部分検出処理を行う部分検出処理手段と、前記部分検出処理手段の部分検出処理結果から前記入力画像内の人物の数を求める人数カウント手段と、を備えた。
【００１４】
上記構成により、人数カウントを行うための複数の検出器の中から、状況に応じて最適なものを選択することができるようになり、人数カウントの精度が向上する。これにより、入力画像上に複数の人物が近接している、または、複数の人物によりオクルージョンが生じている場合にも、より高精度、高速に人物検出することが可能となる。
【００１５】
上記構成において、前記人物存在領域抽出手段は、抽出結果として矩形情報を出力し、前記人物存在状況推定手段は、前記人物存在領域抽出手段の抽出した矩形情報の縦横比または縦と横の長さに応じて人物存在状況を推定する。
【００１６】
上記構成により、人物存在状況をより確実に推定することができ、高精度で人数カウントができる。
【００１７】
上記構成において、前記部分検出器選択手段は、前記人物存在状況推定手段の推定結果が人物が重なっていると判断した場合には部分検出を行う種類の前記部分検出器を選択する。
【００１８】
上記構成により、人物が重なっている場合でも高精度で人数カウントができる。
【００１９】
上記構成において、前記部分検出器選択手段は、前記部分検出器として、上半身検出器、下半身検出器、右半身検出器、左半身検出器のうち、少なくとも一つを選択する。
【００２０】
上記構成により、４つの検出器のうち少なくとも一つを選択することで、人物が重なっている場合でも高精度で人数カウントができる。
【００２１】
上記構成において、前記人物存在状況推定手段は、前記人物存在領域抽出手段の抽出した前記矩形情報が人物のサイズに比べて横方向には長くなく縦方向に長い場合は人物が縦方向に重なっていると判断し、前記部分検出器選択手段は、前記人物存在状況推定手段が人物が縦方向に重なっていると判断した場合には、前記上半身検出器を選択する。
【００２２】
上記構成により、人物が縦方向に重なっている場合でも高精度で人数カウントができる。
【００２３】
上記構成において、前記人物存在状況推定手段は、前記矩形情報が人物のサイズに比べて横方向に長く縦方向に長くない場合は人物が横方向に重なっていると判断し、前記部分検出器選択手段は、前記人物存在状況推定手段が人物が横方向に重なっていると判断した場合には、前記右半身検出器及び前記左半身検出器を選択する。
【００２４】
上記構成により、人物が横方向に重なっている場合でも高精度で人数カウントができる。
【００２５】
上記構成において、前記人物存在状況推定手段は、前記矩形情報が人物のサイズに比べて横方向にも縦方向にも長い場合は人物が広範囲に重なっていると判断し、前記部分検出器選択手段は、前記人物存在状況推定手段が人物が広範囲に重なっていると判断した場合には、前記上半身検出器、前記下半身検出器、前記右半身検出器及び前記左半身検出器を選択する。
【００２６】
上記構成により、人物が広範囲に重なっている場合でも高精度で人数カウントができる。
【００２７】
本発明の人数カウント方法は、入力画像に対して、人物検出を行い人物の存在する領域を抽出するステップと、人物の存在する領域を抽出した結果から人物の存在状況を推定するステップと、人物の存在状況を推定した結果に基づき、人数計測に用いる部分検出器の種類を選択し部分検出器情報を出力するステップと、選択された部分検出器の部分検出器情報に基づく部分検出処理を用いて人物の一部分を検出する部分検出処理を行うステップと、検出処理結果から前記入力画像内の人物の数を求めるステップと、を備えた。
【００２８】
上記方法により、人数カウントを行うための複数の検出器の中から、状況に応じて最適なものを選択することができるようになり、人数カウントの精度が向上する。これにより、入力画像上に複数の人物が近接している、または、複数の人物によりオクルージョンが生じている場合にも、より高精度、高速に人物検出することが可能となる。
【００２９】
本発明の人数カウントプログラムは、上記人数カウント方法の各ステップをコンピュータに実行させるためのプログラムである。
【００３０】
上記プログラムにより、人数カウントを行うための複数の検出器の中から、状況に応じて最適なものを選択することができるようになり、人数カウントの精度が向上する。これにより、入力画像上に複数の人物が近接している、または、複数の人物によりオクルージョンが生じている場合にも、より高精度、高速に人物検出することが可能となる。
【発明の効果】
【００３１】
本発明によれば、入力画像上に複数の人物が近接している、または、複数の人物によりオクルージョンが生じている場合にも、より高精度、高速に人物検出することができるという効果を有する人数カウント装置、人数カウント方法及び人数カウントプログラムを提供することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施の形態に係る人数カウント装置の概略構成を示すブロック図
【図２】図１の人数カウント装置において、入力画像と入力画像から生成されるピラミッド画像の一例を示す図
【図３】図１の人数カウント装置において、全身検出候補枠の和集合領域である人物存在領域の設定の一例を示す図
【図４】図１の人数カウント装置において、標準的な人物サイズの求め方の一例を示す図
【図５】図１の人数カウント装置において、標準的な人物サイズを矩形とし、人物存在領域と矩形との縦横各々のサイズの差分を閾値と比較し４パターンに分類した状態を示す図
【図６】図１の人数カウント装置における部分検出処理の概要を示す図
【図７】図１の人数カウント装置における統合検出枠群の作成の一例を示す図
【図８】図１の人数カウント装置における統合検出枠の作成処理の一例を示す図
【図９】図１の人数カウント装置における統合検出枠同士の統合処理の一例を示す図
【図１０】図１の人数カウント装置の動作を説明するためのフローチャート
【図１１】従来の人物検出技術における人物検出候補枠矩形を示す図
【図１２】従来の人物検出技術の課題を説明するための図
【図１３】従来の人物検出技術の課題を説明するための図
【発明を実施するための形態】
【００３３】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００３４】
図１は、本発明の一実施の形態に係る人数カウント装置の概略構成を示すブロック図である。図１において、本実施の形態の人数カウント装置１は、画像入力部１０１と、全身検出処理部１０２と、全身検出モデルデータベース部（以下、全身検出モデルＤＢ部と記述する）１０３と、人物存在領域抽出部１０４と、人物存在状況推定部１０５と、部分検出器選択部１０６と、部分検出処理部１０７と、部分検出モデルデータベース部（以下、部分検出モデルＤＢ部と記述する）１０８と、人数カウント部１０９と、表示部１１０と、を有する。
【００３５】
以下、図１に示す人数カウント装置１の各構成要素について詳しく説明する。画像入力部１０１は、図示せぬ監視カメラ等で撮影された画像情報の入出力と、その保持を行う。全身検出処理部１０２は、画像入力部１０１から出力された画像を入力とし、その入力画像に対してリサイズ処理等のスケーリング処理を繰り返し行うことで、入力画像をピラミッド画像に変換する。図２は、入力画像と入力画像から生成されるピラミッド画像の一例を示す図である。図２の（ａ）は入力画像２０１を表し、図２の（ｂ）はピラミッド画像２０２を表す。全身検出処理部１０２は、入力画像２０１から生成したピラミッド画像２０２を構成する各々のスケーリング画像から、所定サイズの画像ウィンドゥ２０３を所定間隔で抽出し、各々の画像ウィンドゥ２０３に対して全身検出処理を行う。この全身検出処理は、画像ウィンドゥ２０３内の人物の全身らしさを示すスコア値に基づいて行われ、事前に設定した所定のスコア閾値Ａ以上のスコア値が算出された画像ウィンドゥ２０３に対して、人物の全身が含まれていると判定する。全身検出処理部１０２は、最終的に、各々のスケーリング画像から全身が含まれると判定した画像ウィンドゥ２０３の二次元位置情報をスケーリング処理を行う前の入力画像２０１上に逆スケール変換したときの二次元位置情報と、その画像ウィンドゥ２０３のスコア値を出力する。
【００３６】
全身検出モデルＤＢ部１０３は、画像ウィンドゥ２０３内から抽出された特徴量の値を入力とし、画像ウィンドゥ２０３内に全身が含まれるか否かを判定するためのスコア値を出力するようなモデル情報が少なくとも１つ以上蓄積されているデータベースである。全身検出処理部１０２は、これらのモデル情報に基づいて画像ウィンドゥ２０３に対する全身検出処理を行う。
【００３７】
全身検出モデルＤＢ部１０３におけるモデル情報は、事前に大量の検出対象サンプル（人物の全身が含まれる画像）と非検出対象サンプル（人物の全身が含まれない画像）から特徴量を抽出し、その特徴量空間上の各々のサンプル群の境界線を、ＳＶＭ（Support Vector Machine）やブースティング法などの代表的な統計的学習手法を用いることで構築できる。その結果、画像ウィンドゥ２０３内に人物の全身が含まれる場合はスコア値が大きく、逆に画像ウィンドゥ２０３内に人物の全身が含まれない場合は、スコア値が小さくなるようなモデル情報が、全身検出モデルＤＢ部１０３に蓄積される。
【００３８】
人物存在領域抽出部１０４は、全身検出処理部１０２の出力結果である複数の全身検出候補枠２０４（図２の（ａ）参照）の中から、例えば、中心位置同士の距離が所定の距離閾値Ｂ以内の全身検出候補枠２０４同士を１つの同一グループに分類し、各グループごとに全身検出候補枠２０４の和集合領域である人物存在領域２０５を設定する。なお、人物存在領域２０５は、入力画像中における複数の全身検出候補枠２０４の二次元位置情報を、各々の矩形の４点のＸＹ座標（Ｘ、Ｙ）で表現したとき、各グループごとにＸ座標が最小となるＸ＿ＭＩＮ、Ｙ座標が最小となるＹ＿ＭＩＮ、Ｘ座標が最大となるＸ＿ＭＡＸ、Ｙ座標が最大となるＹ＿ＭＡＸを算出し、次の４点の座標（Ｘ＿ＭＩＮ、Ｙ_ＭＩＮ）、（Ｘ＿ＭＩＮ、Ｙ＿ＭＡＸ）、（Ｘ＿ＭＡＸ、Ｙ＿ＭＩＮ）、（Ｘ＿ＭＡＸ、Ｙ＿ＭＡＸ）によって内包される領域によって設定してもよい。図３は、全身検出候補枠３０１、３０２の和集合領域である人物存在領域３０３の設定の一例を示す図である。
【００３９】
人物存在状況推定部１０５は、人物存在領域抽出部１０４から出力される人物存在領域２０５の縦横各々のサイズ情報による閾値判定結果に基づいて、人物存在領域２０５内における人物の存在状況を、（パターン１）人物が１人存在する、（パターン２）人物が縦方向に並んでいる、（パターン３）人物が横方向に並んでいる、（パターン４）その他、の４パターンのいずれかに推定する。
【００４０】
人物存在領域２０５の閾値判定は、標準的な人物サイズとの比較により行う。標準的な人物サイズの求め方としては、例えば事前にカメラの設置位置などから標準的な人物サイズを設定しておけばよい。また、他の方法として、カメラの設置角度によっては画面上の位置によって標準的な人物のサイズが異なる場合があるため、その場合には入力画像２０１上の任意位置において検出されうる人物の身長情報を事前に設定しておくことで標準的な人物サイズを得ることができる。例えば、画像上のＹ軸方向で人物の大きさが変化する場合は、入力画像２０１上に図４に示すような画面内の各位置における標準的な人物サイズを表す参照画像ウィンドゥ群４０１を設定しておき、人物存在領域４０２の中心位置４０３のＹ座標と、参照画像ウィンドゥ群４０１中で中心位置のＹ座標との距離が最も近くなる矩形４０４を標準的な人物サイズとして採用する。
【００４１】
図５は、標準的な人物サイズを矩形５０１とし、人物存在領域４０２と矩形５０１との縦横各々のサイズの差分を閾値と比較し上記の４パターンに分類した図である。人物存在領域が５０２のように横サイズ差分が横サイズ閾値Ｃ＿ｈより小さく、かつ縦サイズ差分が縦サイズ閾値Ｃ＿ｖよりも小さい場合、人物存在領域における人物の存在状況は、人物存在状況推定部１０５によって上記（パターン１）に推定される。また、人物存在領域が５０３のように横サイズ差分が横サイズ閾値Ｃ＿ｈよりも小さく、かつ縦サイズ差分が縦サイズ閾値Ｃ＿ｖよりも大きい場合、（パターン２）に推定される。また、人物存在領域が５０４のように横サイズ差分が横サイズ閾値Ｃ＿ｈよりも大きく、かつ縦サイズ差分が縦サイズ閾値Ｃ＿ｖよりも小さい場合、（パターン３）に推定され、人物存在領域が５０５のように縦横各々のサイズ差分が上記のいずれにも該当しない場合、（パターン４）に推定される。
【００４２】
部分検出器選択部１０６では、人物存在状況推定部１０５で推定された４つのパターンに応じて、以降の処理で用いる部分検出処理を選択する。具体的には、（パターン１）人物が１人存在する場合は部分検出処理は行わない、（パターン２）人物が縦方向に並んでいる場合は上半身検出処理を行う、（パターン３）人物が横方向に並んでいる場合は半身検出処理（右半身と左半身）を行う、（パターン４）その他の場合、上半身検出処理と半身検出処理（右半身と左半身）を共に行う、の４パターンのいずれかの部分検出処理が選択される。
【００４３】
図６は、部分検出処理の概要を示す図であり、上半身検出器、右半身検出器、及び左半身検出器は、それぞれ図６の点線で表示される矩形領域６０１、６０２、及び６０３内の人物の部分形状を検出する。部分検出処理部１０７では、人物存在領域抽出部１０４によって抽出された人物存在領域を入力とし、その入力画像２０１に対してリサイズ処理等のスケーリング処理を繰り返し行うことで、入力画像２０１をピラミッド画像に変換する。その後、全身検出処理部１０２と同様に、ピラミッド画像における各々のスケーリング画像から、所定サイズの画像ウィンドゥを所定間隔で抽出し、各々の画像ウィンドゥに対して、部分検出器選択部１０６から出力された部分検出器情報を用いることで、部分検出処理を行う。この部分検出処理は、画像ウィンドゥ内の人物の一部分らしさを示すスコア値に基づいて行われ、事前に設定した所定のスコア閾値Ｆ以上のスコア値が算出された画像ウィンドゥに対して、人物の一部分が含まれていると判定する処理である。部分検出処理部１０７は、最終的に、各々のスケーリング画像から人物の一部分が含まれると判定した画像ウィンドゥの二次元位置情報をスケーリング処理を行う前の入力画像２０１上に逆スケール変換したときの二次元位置情報を出力するとともに、その画像ウィンドゥのスコア値を出力する。
【００４４】
部分検出モデルＤＢ部１０８は、画像ウィンドゥ内から抽出された特徴量の値を入力とし、画像ウィンドゥ内に人物の一部分が含まれるか否かを判定するためのスコア値を出力するようなモデル情報が少なくとも１つ以上蓄積されているデータベースである。部分検出処理部１０７における画像ウィンドゥに対する部分検出処理は、これらのモデル情報に基づいて行われる。
【００４５】
部分検出モデルＤＢ部１０８におけるモデル情報は、事前に大量の検出対象サンプル（人物の一部分が含まれる画像）と非検出対象サンプル（人物の一部分が含まれない画像）から特徴量を抽出し、その特徴量空間上の各々のサンプル群の境界線を、ＳＶＭ（Support Vector Machine）やブースティング法などの代表的な統計的学習手法を用いることで構築できる。その結果、画像ウィンドゥ内に人物の一部分が含まれる場合はスコア値が大きく、逆に画像ウィンドゥ内に人物の一部分が含まれない場合は、スコア値が小さくなるようなモデル情報が、部分検出モデルＤＢ部１０８に蓄積される。
【００４６】
人数カウント部１０９は、人物存在状況推定部１０５の推定結果に応じた人数カウントを行う。具体的には各パターンでの動作について下記に示す。
【００４７】
（パターン１）の場合
入力画像２０１上において人物の全身が含まれると判定された複数の画像ウィンドゥの二次元位置情報と、その各々の画像ウィンドゥのスコア値を用いて、検出枠候補の統合処理を行った統合検出枠数を、検出された人数としてカウントする。
【００４８】
（パターン２）の場合
入力画像２０１上において人物の上半身が含まれると判定された複数の画像ウィンドゥの二次元位置情報と、その各々の画像ウィンドゥのスコア値を用いて、検出枠候補の統合処理を行った統合検出枠数を、検出された人数としてカウントする。図７は、統合検出枠群７０２の作成の一例を示す図である。図７に示すように、各々の検出候補枠群７０１同士のスコア差がある所定のスコア閾値Ｇ以内であり、かつ中心位置の距離が所定の距離閾値Ｈ以下のものを同一グループと判定し、同一グループ内の検出候補枠の平均位置と平均サイズを算出することで、検出枠候補を統合し、統合検出枠群７０２を作成することができる。
【００４９】
（パターン３）の場合
入力画像２０１上において人物の半身が含まれると判定された複数の画像ウィンドゥの二次元位置情報と、その各々の画像ウィンドゥのスコア値を用いて、検出枠候補の統合処理を行った統合検出枠に対し、さらに右半身、左半身各々の検出器による統合検出枠同士をさらに統合した結果を人数としてカウントする。
【００５０】
図８は、パターン３における統合検出枠の作成処理の一例を示す図である。図８に示すように、各々の検出候補枠群８０１、８０２、８０３同士のスコア差がある所定のスコア閾値Ｇ以内であり、かつ中心位置の距離が所定の距離閾値Ｈ以下のものを同一グループと判定し、同一グループ内の検出候補枠の平均位置と平均サイズを算出することで検出枠候補を統合し、統合検出枠８０４、８０５、８０６を作成する。その後、可能な場合は、異なる部分検出器の検出候補枠同士を統合する。例えば、人物８０９の左半身統合検出枠８０４の中心位置と、人物８０９の右半身統合検出枠８０５の中心位置間の距離が所定の距離閾値Ｉ以下であり、かつ左半身統合検出枠８０４の中心位置のＸ座標よりも、右半身統合検出枠８０５の中心位置のＸ座標が大きいとき、左半身統合検出枠８０４と右半身統合検出枠８０５は、同一人物の左半身、右半身に対する検出結果であるとみなし、各々の統合検出枠８０４、８０５の和集合領域８０７を、人物８０９に対する最終的な１つの統合検出枠とする。また、人物８１０の右半身統合検出枠８０６に関しては、右半身統合検出枠８０６の中心位置から所定の距離閾値Ｉ以内で、かつ右半身統合検出枠８０６の中心位置のＸ座標よりも小さい領域に、左半身検出器の検出候補枠が存在しないため、人物８１０の体の左部分にオクルージョン等が生じていると推定し、右半身統合検出枠８０６を人物８１０に対する最終的な１つの統合検出枠８０８とする。
【００５１】
（パターン４）の場合
入力画像２０１上において人物の上半身、及び半身が含まれると判定された複数の画像ウィンドゥの二次元位置情報と、その各々の画像ウィンドゥのスコア値を用いて、検出枠候補の統合処理を行ったあと統合検出枠に対し、さらに上半身、右半身、左半身各々の検出器による統合検出枠同士をさらに統合した結果を人数としてカウントする。なお、和集合領域は図３と同様の方法で作成でき、また、パターン５０５において上半身検出器を同時に用いる際も同様の方法で処理することができる。
【００５２】
人数カウント部１０９における異なる部分検出器の統合検出枠同士の統合処理は、例えば、上半身検出器の矩形領域６０１（図６参照）の統合検出枠９０１が図９に示す位置にあるとき、左半身検出器の矩形領域６０３の統合検出枠の中心位置が点線矩形９０２内に、または、右半身検出器の矩形領域６０２の統合検出枠の中心位置が点線矩形９０３内にある場合のみ統合処理を行えばよい。これは、基準となる統合検出枠が上半身検出器の矩形領域６０１でない場合でも同様に定義すればよい。
【００５３】
表示部１１０では、人数カウント部１０９から出力された人数カウント数をユーザに表示する。
【００５４】
次に、本実施の形態の人数カウント装置１の動作を説明する。
図１０は、本実施の形態の人数カウント装置１の動作を説明するためのフローチャートである。図１０において、まず監視カメラ等から撮影された画像情報の入出力を画像入力部１０１で行う（ステップＳ１）。
【００５５】
次いで、全身検出モデルＤＢ部１０３が、画像ウィンドゥ内から抽出された特徴量の値を入力とし、画像ウィンドゥ内に全身が含まれるか否かを判定するためのスコア値を出力するような全身検出モデル情報を全身検出処理部１０２に出力する（ステップＳ２）。
【００５６】
次いで、全身検出処理部１０２が、画像入力部１０１から入力される画像に対して、リサイズ処理等のスケーリング処理を繰り返し行うことで、入力画像をピラミッド画像に変換した後、ピラミッド画像を構成する各々のスケーリング画像から、所定サイズの画像ウィンドゥを所定間隔で抽出し、各々の画像ウィンドゥに対して全身検出処理を行う（ステップＳ３）。この全身検出処理は、画像ウィンドゥ内の人物の全身らしさを示すスコア値に基づいて行われ、事前に設定した所定のスコア閾値Ａ以上のスコア値が算出された画像ウィンドゥに対して、人物の全身が含まれていると判定する。そして、全身検出処理部１０２は、最終的に、各々のスケーリング画像から全身が含まれると判定された画像ウィンドゥの二次元位置情報をスケーリング処理を行う前の入力画像上に逆スケール変換したときの二次元位置情報を出力するとともに、その画像ウィンドゥのスコア値を出力する。
【００５７】
次いで、人物存在領域抽出部１０４が、全身検出処理部１０２の出力結果である複数の全身検出候補枠の中から、中心位置同士の距離が所定の距離閾値Ｂ以内の全身検出候補枠同士を１つの同一グループに分類し、各グループごとに全身検出候補枠の和集合領域である人物存在領域を設定する（ステップＳ４）。
【００５８】
次いで、人物存在状況推定部１０５が、人物存在領域抽出部１０４から出力された人物存在領域の縦横各々のサイズ情報による閾値判定結果に基づいて、人物存在領域内における人物の存在状況を、（パターン１）人物が１人存在する、（パターン２）人物が縦方向に並んでいる、（パターン３）人物が横方向に並んでいる、（パターン４）その他、の４パターンのいずれかに推定する（ステップＳ５）。
【００５９】
次いで、部分検出器選択部１０６が、人物存在状況推定部１０５で推定された４つのパターンに応じて、以降の処理で用いる部分検出処理を選択する（ステップＳ６）。
【００６０】
次いで、部分検出モデルＤＢ部１０８が、部分検出器選択部１０６によって選択され、画像ウィンドゥ内から抽出された特徴量の値を入力とし、画像ウィンドゥ内に人物の一部分が含まれるか否かを判定するためのスコア値を出力するような部分検出モデル情報を部分検出処理部１０７に出力する（ステップＳ７）。
【００６１】
次いで、部分検出処理部１０７が、人物存在領域抽出部１０４によって抽出された人物存在領域を入力とし、その入力画像に対してリサイズ処理等のスケーリング処理を繰り返し行うことで、入力画像をピラミッド画像に変換する。その後、全身検出処理部１０２と同様に、ピラミッド画像における各々のスケーリング画像から、所定サイズの画像ウィンドゥを所定間隔で抽出し、各々の画像ウィンドゥに対して、部分検出器選択部１０６から出力された部分検出器情報を用いることで、部分検出処理を行う（ステップＳ８）。この部分検出処理は、画像ウィンドゥ内の人物の一部分らしさを示すスコア値に基づいて行われ、事前に設定した所定のスコア閾値Ｆ以上のスコア値が算出された画像ウィンドゥに対して、人物の一部分が含まれていると判定する。そして、部分検出処理部１０７は、最終的に、各々のスケーリング画像から人物の一部分が含まれると判定された画像ウィンドゥの二次元位置情報をスケーリング処理を行う前の入力画像上に逆スケール変換したときの二次元位置情報を出力するとともに、その画像ウィンドゥのスコア値を出力する。
【００６２】
次いで、人数カウント部１０９が、部分検出器選択部１０６によって選択された４つのパターンに従い、検出された人数をカウントする（ステップＳ９）。例えば、（１）人物が１人存在する場合は、人物の全身が含まれると判定された複数の画像ウィンドゥの二次元位置情報と、その各々の画像ウィンドゥのスコア値を用いて、検出枠候補の統合処理を行った統合検出枠数を検出された人数としてカウントする。また、（２）人物が縦方向に並んでいる場合は、人物の上半身が含まれると判定された複数の画像ウィンドゥの二次元位置情報と、その各々の画像ウィンドゥのスコア値を用いて、検出枠候補の統合処理を行った統合検出枠数を検出された人数としてカウントする。また、（３）人物が横方向に並んでいる場合は、人物の半身が含まれると判定された複数の画像ウィンドゥの二次元位置情報と、その各々の画像ウィンドゥのスコア値を用いて、検出枠候補の統合処理を行った統合検出枠に対し、さらに右半身、左半身各々の検出器による統合検出枠同士をさらに統合した結果を人数としてカウントする。また、（４）その他の場合は、人物の上半身、及び半身が含まれると判定された複数の画像ウィンドゥの二次元位置情報と、その各々の画像ウィンドゥのスコア値を用いて、検出枠候補の統合処理を行った統合検出枠に対し、さらに上半身、右半身、左半身各々の検出器による統合検出枠同士をさらに統合した結果を人数としてカウントする。
【００６３】
次いで、表示部１１０が、人数カウント部１０９から出力された人数カウント数をユーザに表示する（ステップＳ１０）。
【００６４】
このように本実施の形態の人数カウント装置１によれば、全身検出処理部１０２、人物存在領域抽出部１０４、人物存在状況推定部１０５及び部分検出器選択部１０６を有するので、人物の存在領域を抽出後、その存在領域の形状から人物の存在状況を推定することができ、さらにその推定結果から、近接した人物同士やオクルージョンのある人物同士を人数カウントするために最適な部分検出処理を人物存在領域に対して行える。これにより、部分検出器を入力画像全体に用いる従来手法よりも、高速、かつ誤検出のより少ない高精度な人数カウント処理を行うことができる。
【００６５】
なお、全身検出処理部１０２、及び部分検出処理部１０７で抽出される特徴量は、人物の全身検出、及び人物の一部分の部分検出用途で一般的に用いられているＨＯＧ特徴量や、Ｅｄｇｅｌｅｔ特徴量など、限定されたものではない。
【００６６】
また、人物存在領域抽出部１０４における人物存在領域３０３は、図３に示すような和集合領域の算出による設定以外にも、例えば、ノイズ矩形（中心位置同士の距離が所定の距離閾値Ｂ以内ではあるが、明らかに和集合領域の設定に悪影響を与えるようなはずれた位置にある矩形）対策の１つの例として、中心位置同士の距離が所定の距離閾値Ｂ以内にある全ての全身検出候補枠２０４の平均中心位置、平均サイズを算出した結果を人物存在領域３０３とするような方法を用いてもよい。
【００６７】
また、人物存在状況推定部１０５における参照画像ウィンドゥ群４０１のサイズ設定は、監視カメラ等のキャリブレーションによって自動設定してもよいし、ユーザが実際に撮影された画像を見ながら、手動で設定してもよい。
【００６８】
また、全身検出処理部１０２、及び部分検出処理部１０７では、人物存在状況推定部１０５において設定された参照画像ウィンドゥ群４０１のサイズ情報を用いることで、入力画像上の任意の位置で検出されうる人物の全身、上半身、半身の入力画像上での大きさが推定できるため、入力画像をピラミッド画像に変換する際のスケーリングパラメータ（スケーリング回数、スケーリングステップ）を最適化してもよい。
【００６９】
また、全身検出モデルＤＢ部１０３内には、例えば、前向き、後ろ向き、右向き、左向き、斜め前右向き、斜め前左向き、斜め後ろ右向き、斜め後ろ左向きなどの方向別、あるいは、帽子やヘルメット等の被り物、スカートなどの着衣、鞄等の持ち物といった、人物の様々な属性情報別に全身を検出するような複数のモデル情報を蓄積しておいてもよく、部分検出モデルＤＢ部１０８内に対しても同様である。
【００７０】
また、人数カウント部１０９における検出候補枠群７０１、８０１、８０２、８０３の統合処理は、スコア閾値を用いた閾値判定を考慮せず、検出候補枠群７０１、８０１、８０２、８０３の各々の中心位置の距離閾値Ｇを用いた閾値判定のみを考慮した統合処理方式を用いてもよい。
【００７１】
さらに、人数カウント部１０９における検出候補枠群７０１、８０１、８０２、８０３の統合処理は、各々の検出候補枠群７０１、８０１、８０２、８０３内に人物の上半身、及び半身が含まれているらしさを示すスコア値に加え、ステレオカメラ等を用いて計測した入力画像上の奥行き情報を用いて、各々の検出候補枠群７０１、８０１、８０２、８０３内のに立体物が含まれているらしさを算出した立体物スコア値や、過去の入力画像における最終的な統合検出枠のテンプレート位置に対して、テンプレートマッチング等を用いた追跡技術を適用し、現在の入力画像における各々の検出候補枠群７０１、８０１、８０２、８０３と、過去のフレームからの追跡結果とのマッチング程度を示す追跡スコア値などを加算することで、検出候補枠群の統合処理であるグルーピング精度を高める手法を用いてもよい。
【００７２】
また、人数カウント部１０９における異なる部分検出器の統合検出枠同士の統合処理に関して、例えば図９のように基準となる上半身検出器の矩形領域６０１の統合検出枠９０１が図９の位置にあるとき、点線矩形９０２、９０３の位置はユーザが事前に手動で設定してもよいし、大量の検出対象サンプル（人物の全身が含まれる画像）から統計的に設定してもよい。
【００７３】
また、人数カウント部１０９における異なる部分検出器の統合検出枠同士の統合処理に関しては、非特許文献２にあるような各々の部分検出器の出力結果を、最大事後確率推定を行うことで１つに統合する方法などを用いてもよい。
【産業上の利用可能性】
【００７４】
本発明は、入力画像上に複数の人物が近接している、または、複数の人物によりオクルージョンが生じている場合にも、より高精度、高速に人物検出することができるといった効果を有し、監視カメラシステムへの適用が可能である。
【符号の説明】
【００７５】
１ 人数カウント装置
１０１ 画像入力部
１０２ 全身検出処理部
１０３ 全身検出モデルデータベース部
１０４ 人物存在領域抽出部
１０５ 人物存在状況推定部
１０６ 部分検出器選択部
１０７ 部分検出処理部
１０８ 部分検出モデルデータベース部
１０９ 人数カウント部
１１０ 表示部
２０１ 入力画像
２０２ ピラミッド画像
２０３ 画像ウィンドゥ
２０４ 全身検出候補枠
２０５、３０３、４０２ 人物存在領域
３０１、３０２ 全身検出候補枠
４０１ 参照画像ウィンドゥ群
４０３ 中心位置
４０４、５０１ 矩形
６０１ 上半身検出器の矩形領域
６０２ 右半身検出器の矩形領域
６０３ 左半身検出器の矩形領域
７０１、８０１〜８０３ 検出候補枠群
７０２、８０４〜８０６ 統合検出枠
８０７ 和集合領域
８０９ 人物
９０１ 統合検出枠
９０２、９０３ 点線矩形
【特許請求の範囲】
【請求項１】
入力画像に対して、人物検出を行い人物の存在する領域を抽出する人物存在領域抽出手段と、
前記人物存在領域抽出手段の抽出結果から人物の存在状況を推定する人物存在状況推定手段と、
前記人物存在状況推定手段の推定結果に基づき、人数計測に用いる部分検出器の種類を選択し部分検出器情報を出力する部分検出器選択手段と、
前記部分検出器選択手段から出力された部分検出器情報に基づく部分検出処理を用いて人物の一部分を検出する部分検出処理を行う部分検出処理手段と、
前記部分検出処理手段の部分検出処理結果から前記入力画像内の人物の数を求める人数カウント手段と、
を備えた人数カウント装置。
【請求項２】
前記人物存在領域抽出手段は、抽出結果として矩形情報を出力し、
前記人物存在状況推定手段は、前記人物存在領域抽出手段の抽出した矩形情報の縦横比または縦と横の長さに応じて人物存在状況を推定する請求項１に記載の人数カウント装置。
【請求項３】
前記部分検出器選択手段は、前記人物存在状況推定手段の推定結果が人物が重なっていると判断した場合には部分検出を行う種類の前記部分検出器を選択する請求項２に記載の人数カウント装置。
【請求項４】
前記部分検出器選択手段は、前記部分検出器として、上半身検出器、下半身検出器、右半身検出器、左半身検出器のうち、少なくとも一つを選択する請求項３に記載の人数カウント装置。
【請求項５】
前記人物存在状況推定手段は、前記人物存在領域抽出手段の抽出した前記矩形情報が人物のサイズに比べて横方向には長くなく縦方向に長い場合は人物が縦方向に重なっていると判断し、
前記部分検出器選択手段は、前記人物存在状況推定手段が人物が縦方向に重なっていると判断した場合には、前記上半身検出器を選択する請求項４に記載の人数カウント装置。
【請求項６】
前記人物存在状況推定手段は、前記矩形情報が人物のサイズに比べて横方向に長く縦方向に長くない場合は人物が横方向に重なっていると判断し、
前記部分検出器選択手段は、前記人物存在状況推定手段が人物が横方向に重なっていると判断した場合には、前記右半身検出器及び前記左半身検出器を選択する請求項４または請求項５に記載の人数カウント装置。
【請求項７】
前記人物存在状況推定手段は、前記矩形情報が人物のサイズに比べて横方向にも縦方向にも長い場合は人物が広範囲に重なっていると判断し、
前記部分検出器選択手段は、前記人物存在状況推定手段が人物が広範囲に重なっていると判断した場合には、前記上半身検出器、前記下半身検出器、前記右半身検出器及び前記左半身検出器を選択する請求項４ないし請求項６のいずれか一項に記載の人数カウント装置。
【請求項８】
入力画像に対して、人物検出を行い人物の存在する領域を抽出するステップと、
人物の存在する領域を抽出した結果から人物の存在状況を推定するステップと、
人物の存在状況を推定した結果に基づき、人数計測に用いる部分検出器の種類を選択し部分検出器情報を出力するステップと、
選択された部分検出器の部分検出器情報に基づく部分検出処理を用いて人物の一部分を検出する部分検出処理を行うステップと、
検出処理結果から前記入力画像内の人物の数を求めるステップと、
を備えた人数カウント方法。
【請求項９】
請求項８に記載の人数カウント方法の各ステップをコンピュータに実行させるための人数カウントプログラム。
【請求項１】
入力画像に対して、人物検出を行い人物の存在する領域を抽出する人物存在領域抽出手段と、
前記人物存在領域抽出手段の抽出結果から人物の存在状況を推定する人物存在状況推定手段と、
前記人物存在状況推定手段の推定結果に基づき、人数計測に用いる部分検出器の種類を選択し部分検出器情報を出力する部分検出器選択手段と、
前記部分検出器選択手段から出力された部分検出器情報に基づく部分検出処理を用いて人物の一部分を検出する部分検出処理を行う部分検出処理手段と、
前記部分検出処理手段の部分検出処理結果から前記入力画像内の人物の数を求める人数カウント手段と、
を備えた人数カウント装置。
【請求項２】
前記人物存在領域抽出手段は、抽出結果として矩形情報を出力し、
前記人物存在状況推定手段は、前記人物存在領域抽出手段の抽出した矩形情報の縦横比または縦と横の長さに応じて人物存在状況を推定する請求項１に記載の人数カウント装置。
【請求項３】
前記部分検出器選択手段は、前記人物存在状況推定手段の推定結果が人物が重なっていると判断した場合には部分検出を行う種類の前記部分検出器を選択する請求項２に記載の人数カウント装置。
【請求項４】
前記部分検出器選択手段は、前記部分検出器として、上半身検出器、下半身検出器、右半身検出器、左半身検出器のうち、少なくとも一つを選択する請求項３に記載の人数カウント装置。
【請求項５】
前記人物存在状況推定手段は、前記人物存在領域抽出手段の抽出した前記矩形情報が人物のサイズに比べて横方向には長くなく縦方向に長い場合は人物が縦方向に重なっていると判断し、
前記部分検出器選択手段は、前記人物存在状況推定手段が人物が縦方向に重なっていると判断した場合には、前記上半身検出器を選択する請求項４に記載の人数カウント装置。
【請求項６】
前記人物存在状況推定手段は、前記矩形情報が人物のサイズに比べて横方向に長く縦方向に長くない場合は人物が横方向に重なっていると判断し、
前記部分検出器選択手段は、前記人物存在状況推定手段が人物が横方向に重なっていると判断した場合には、前記右半身検出器及び前記左半身検出器を選択する請求項４または請求項５に記載の人数カウント装置。
【請求項７】
前記人物存在状況推定手段は、前記矩形情報が人物のサイズに比べて横方向にも縦方向にも長い場合は人物が広範囲に重なっていると判断し、
前記部分検出器選択手段は、前記人物存在状況推定手段が人物が広範囲に重なっていると判断した場合には、前記上半身検出器、前記下半身検出器、前記右半身検出器及び前記左半身検出器を選択する請求項４ないし請求項６のいずれか一項に記載の人数カウント装置。
【請求項８】
入力画像に対して、人物検出を行い人物の存在する領域を抽出するステップと、
人物の存在する領域を抽出した結果から人物の存在状況を推定するステップと、
人物の存在状況を推定した結果に基づき、人数計測に用いる部分検出器の種類を選択し部分検出器情報を出力するステップと、
選択された部分検出器の部分検出器情報に基づく部分検出処理を用いて人物の一部分を検出する部分検出処理を行うステップと、
検出処理結果から前記入力画像内の人物の数を求めるステップと、
を備えた人数カウント方法。
【請求項９】
請求項８に記載の人数カウント方法の各ステップをコンピュータに実行させるための人数カウントプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１０８７８５（Ｐ２０１２−１０８７８５Ａ）
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願番号】特願２０１０−２５８０３７（Ｐ２０１０−２５８０３７）
【出願日】平成２２年１１月１８日（２０１０．１１．１８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願日】平成２２年１１月１８日（２０１０．１１．１８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]