通過物体数計測方法、通過物体数計測装置、及びプログラム
【課題】映像に映っている領域の通過物体数を推定することができる通過物体数計測方法を提供する。
【解決手段】部分画像生成部１０は、連続した画像系列から部分画像を生成する。前景検出部１１は、部分画像から前景領域を表す前景画像を生成する。画像上移動量検出部１２は、検出した前景領域における、フレーム間で、画像上での局所的な移動量を検出する。移動量座標変換・代表移動量算出部１３は、検出した画像上での局所的な移動量から、画像上座標と実空間座標との関係を考慮した方法により、各通過物体数計測方向に移動する物体群の全体としての代表移動量を算出する。画像内人数算出部１４は、映っている物体の数を推定する。通過人数算出部１５は、代表移動量と各計測方向の移動物体数とから、各計測方向におけるフレーム間通過物体数を算出する。
【解決手段】部分画像生成部１０は、連続した画像系列から部分画像を生成する。前景検出部１１は、部分画像から前景領域を表す前景画像を生成する。画像上移動量検出部１２は、検出した前景領域における、フレーム間で、画像上での局所的な移動量を検出する。移動量座標変換・代表移動量算出部１３は、検出した画像上での局所的な移動量から、画像上座標と実空間座標との関係を考慮した方法により、各通過物体数計測方向に移動する物体群の全体としての代表移動量を算出する。画像内人数算出部１４は、映っている物体の数を推定する。通過人数算出部１５は、代表移動量と各計測方向の移動物体数とから、各計測方向におけるフレーム間通過物体数を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置（例えば、カメラ）で撮影された映像から、画像処理によりその場を通過する物体（物体、車輛等）の数を計測する通過物体数計測方法、通過物体数計測装置、及びプログラムに関する。
【背景技術】
【０００２】
従来の技術として、時系列に連続したフレームで構成された映像から人物を検出しトラッキングすることにより、映像に映っている領域を通過する人物の数を計測する方法が知られている（例えば非特許文献１参照）。
【０００３】
また、時系列に連続したフレームで構成された映像の各画素に実空間上の位置との対応によって重み付けをすることにより、個人を検出することなく各フレーム画像に映っている人物の数を推定する方法が知られている（例えば非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】O. Sidla, Y. Lypetskyy, N. Brandle, and S. Seer, “Pedestrian detection and tracking for counting applications in crowded situations”, Proc. IEEE International Conference on Video and Signal Based Surveillance (AVSS06), p. 70, 2006
【非特許文献２】Hiroyuki ARAI, Isao MIYAGAWA, Hideki KOIKE, and Miki HASEYAMA, ”Estimating Number of People Using Calibrated Monocular Camera Based on Geometrical Analysis of Surface Area”, IEICE Trans. Fundamentals, Vol. E92-A, No. 8, pp. 1932-1938, August 2009
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１の通過物体数計測方法では、人数計測の精度がトラッキングの性能に大きく影響を受け、特に混雑した状況では、十分な計測精度を得ることが難しいという問題がある。
【０００６】
また、非特許文献２の人数測定方法では、画像に映っている人物の移動に関する情報を使用していないため、映像に映っている領域を通過した人物の数を測定することができないという問題がある。
【０００７】
本発明は、このような事情を考慮してなされたものであり、その目的は、映像に映っている物体の数と集団としての移動量（代表移動量）とを推定することで、映像に映っている領域の通過物体数を推定することができる通過物体数計測方法、通過物体数計測装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、本発明は、映像中の所定の領域を通過する物体数を推定する通過物体数計測方法であって、部分画像生成手段が、時系列に連続して入力される映像フレームから部分画像を生成する部分画像生成ステップと、前景検出手段が、前記生成された部分画像における前景領域を検出するステップと、画像上移動量検出手段が、前記検出された前景領域において、画像上での局所移動量を検出するステップと、移動量座標変換・代表移動量算出手段が、前記検出された画像上での局所移動量から、画像上座標と実空間座標との関係を考慮し、各通過物体数計測方向に移動する物体群の全体としての代表移動量を算出するステップと、画像内物体数算出手段が、前記生成された部分画像に写っている特定の方向に移動する画像内物体数を推定するステップと、通過物体数算出手段が、前記代表移動量と前記画像内移動物体数とから映像中の所定の領域を通過する物体数を算出するステップとを含むことを特徴とする通過物体数計測方法である。
【０００９】
本発明は、上記の発明において、前記移動量座標変換・代表移動量算出手段によるステップは、前記算出した画像上の局所移動量それぞれについて、実空間座標上での移動方向を算出し、その方向と注目している通過物体数計測方向との差分が所定の閾値以下である画像上局所移動量を抽出する第１のステップと、前記抽出された各局所移動量について、実空間移動量絶対値を算出する第２のステップと、前記算出した各実空間移動量絶対値について、その通過物体数計測方向成分を算出する第３のステップと、前記実空間移動量絶対値を軸とした投票空間への投票処理を行うことにより、代表移動量を算出する第４のステップとを含むことを特徴とする。
【００１０】
本発明は、上記の発明において、前記第１のステップは、前記実空間移動量絶対値が物体の移動量として不適当である移動量を抽出対象から取り除くことを特徴とする。
【００１１】
本発明は、上記の発明において、前記通過物体数算出手段によるステップは、更に、前記算出されたフレーム間通過物体数を、計測方向毎に累積加算することにより、各計測方向の累積通過物体数を算出することを特徴とする。
【００１２】
本発明は、上記の発明において、前記画像内物体数算出手段によるステップは、通過物体数計測方向を複数設定している場合には、各計測方向に移動する物体数をそれぞれ算出することを特徴とする。
【００１３】
また、上述した課題を解決するために、本発明は、映像中の所定の領域を通過する物体数を推定する通過物体数計測装置であって、部分画像生成手段が、時系列に連続して入力される映像フレームから部分画像を生成する部分画像生成部と、前記部分画像生成部により生成された部分画像における前景領域を検出する前景検出部と、前記前景検出部により検出された前景領域において、画像上での局所移動量を検出する画像上移動量検出部と、前記画像上移動量検出部により検出された画像上での局所移動量から、画像上座標と実空間座標との関係を考慮し、各通過物体数計測方向に移動する物体群の全体としての代表移動量を算出する移動量座標変換・代表移動量算出部と、前記部分画像生成部により生成された部分画像に写っている特定の方向に移動する画像内物体数を推定する画像内物体数算出部と、前記移動量座標変換・代表移動量算出部により算出された代表移動量と前記画像内物体数算出部により推定された画像内移動物体数とから映像中の所定の領域を通過する物体数を算出する通過物体数算出部とを備えることを特徴とする通過物体数計測装置である。
【００１４】
また、上述した課題を解決するために、本発明は、映像中の所定の領域を通過する物体数を推定する通過物体数計測装置のコンピュータに、部分画像生成手段が、時系列に連続して入力される映像フレームから部分画像を生成する部分画像生成機能、前記部分画像生成機能により生成された部分画像における前景領域を検出する前景検出機能、前記前景検出機能により検出された前景領域において、画像上での局所移動量を検出する前画像上移動量検出機能、前記画像上移動量検出機能により検出された画像上での局所移動量から、画像上座標と実空間座標との関係を考慮し、各通過物体数計測方向に移動する物体群の全体としての代表移動量を算出する移動量座標変換・代表移動量算出機能、前記部分画像生成機能により生成された部分画像に写っている特定の方向に移動する画像内物体数を推定する画像内物体数算出機能、前記移動量座標変換・代表移動量算出機能により算出された代表移動量と前記画像内物体数算出機能により推定された画像内移動物体数とから映像中の所定の領域を通過する物体数を算出する通過物体数算出機能を実行させることを特徴とするプログラムである。
【発明の効果】
【００１５】
この発明によれば、映像に映っている物体の数と集団としての移動量（代表移動量）とを推定することで、映像に映っている領域の通過物体数を推定することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態による通過物体数計測方法を実現するためのハードウェア構成を示すブロック図である。
【図２】本実施形態による、通過物体数計測装置の機能構成を示すブロック図である。
【図３】本実施形態による、通過物体数計測装置の機能構成への入出力データを示す概念図である。
【図４】本実施形態による通過物体数計測方法の処理を説明するためのフローチャートである。
【図５】本実施形態による、代表移動量算出手順を示すフローチャートである。
【図６】実空間上高さと移動量との関係を説明するための概念図である。
【図７】座標変換する点の実空間上での高さｈを人物を例にとって説明する概念図である。
【図８】本実施形態による、投票処理の一例（人物の場合）を示す概念図である。
【発明を実施するための形態】
【００１７】
本発明は、映像中の領域内にいる人数または通過人数を推定する技術に関するものである。本発明の特徴は、映像中の前景の複数の特徴点毎に設定した移動方向毎に、該特徴点が実空間で移動した量を投票してそのピークを求め、各移動方向の代表移動量とすることである。特徴点から求めた代表移動量を、撮像された物体集合の移動量とみなして移動方向毎のフレーム間移動物体数を算出することで、個々の物体を検出してトラッキングすることなく、映像中の所定の領域を通過する物体数を推定することができる。すなわち、本発明の目的は、映像に映っている任意の実空間領域を通過する物体数を測定することである。
【００１８】
以下、本発明の一実施形態を、図面を参照して説明する。
【００１９】
図１は、本発明の一実施形態による通過物体数計測方法を実現するためのハードウェア構成を示すブロック図である。本実施形態による通過物体数計測方法を実施するにあたり、ハードウェアとしては、映像を撮影するカメラなどの撮像装置１、画像処理を行う計算機２、画像処理結果を表示するモニタなどの画像表示装置３を用いて実現することができる。
【００２０】
撮像装置１は、所定の位置に固定されたカメラを用いる。計算機２は、キーボードや、マウス等からなる入力装置２−１、プログラムや、各種パラメータなどを記憶するＲＯＭ２−２、上記プログラムを実行することにより所定の処理や、各部の動作制御などを行うＣＰＵ２−３、プログラム実行に伴う各種データなどを記憶するＲＡＭ２−４、撮像装置１により撮像される映像を取り込むＩ／Ｆ２−５、ハードディスクなどの外部記憶装置２−６、記録媒体２−８との間でのデータ書き込みや、データ読み込みなどを制御する記録媒体駆動装置２−７、フラッシュメモリなどの記録媒体２−８からなる。
【００２１】
画像処理を行う計算機２については、汎用の計算機、処理ロジックを実装したボード、チップなど様々なものが考えられるが、ここではそれを限定しない。
【００２２】
以下では、カメラ１で撮影された画像（フレーム画像）が時系列的に入力される状況（静止画系列や、映像ストリームなど。処理を実時間で行うか否かは限定しない）を想定して説明する。また、本技術を利用する場所では、物体の流れの方向がある程度定まっており、通過物体数を計測する際に、見る方向を事前に設定できるものとする。
【００２３】
また、処理の簡易化のために、物体の形状モデルを導入し、計測対象の物体は、どの個体も高さＨ、横幅Ｗの矩形であるものとする。高さＨ、及び横幅Ｗは、事前に指定する値であり、処理の中で必要に応じて使用できるよう記憶されている。高さＨ、横幅Ｗの具体的な値としては、例えば、人物を計測対象とする場合には、Ｈ＝１．７ｍ、Ｗ＝０．３ｍとすることができる。
【００２４】
次に、上記のように構成された装置の主要な機能について説明する。
図２は、本実施形態による、通過物体数計測装置の機能構成を示すブロック図である。また、図３は、本実施形態による、通過物体数計測装置の機能構成への入出力データを示す概念図である。本実施形態による、通過物体数計測装置は、上述したように、図１に示す撮像装置１、計算機２、画像表示装置３を用いて実現される。図３に示す通過物体数計測装置の機能構成は、計算機２によるプログラム処理により実現される。
【００２５】
図２において、通過物体数計測装置は、部分画像生成部１０、前景検出部１１、画像上移動量検出部１２、移動量座標変換・代表移動量算出部１３、画像内人数算出部１４、及び通過人数算出部１５からなる。部分画像生成部１０は、時間的に連続した画像系列から、予め設定された範囲を抽出した部分画像を生成する。前景検出部１１は、抽出された部分画像において前景領域を検出し、前景領域を表す前景画像を生成する。画像上移動量検出部１２は、検出した前景領域において、映像の現在フレームと１つ前のフレームの間で、画像上での局所的な移動量を検出する。
【００２６】
移動量座標変換・代表移動量算出部１３は、検出した画像上での局所的な移動量から、画像上座標と実空間の床面座標（以下、単に実空間座標）との関係を考慮した方法（後述）により、各通過物体数計測方向に移動する物体群の全体としての移動量（代表移動量）を算出する。画像内人数算出部１４は、設定した部分画像の前景画像に関して、映っている物体の数（画像内人数）を推定する。通過人数算出部１５は、代表移動量と各計測方向の移動物体数とから、各計測方向におけるフレーム間通過物体数（通過人数）を算出する。
【００２７】
図３において、部分画像生成部１０では、「時間的に連続した画像系列」が入力され、「部分画像」が出力される。前景検出部１１では、「部分画像」が入力され、「前景画像」が出力される。画像上移動量検出部１２では、「前景画像」が入力され、「画面上移動量」が出力される。移動量座標変換・代表移動量算出部１３では、「画面上移動量」が入力され、「代表移動量」が出力される。画像内人数算出部１４では、「前景画像」が入力され、「画像内人数」が出力される。そして、通過人数算出部１５では、「実空間画像」が入力され、「領域内人数」が出力される。
【００２８】
図４は、本実施形態による通過物体数計測方法の処理を説明するためのフローチャートである。まず、部分画像生成部１０は、カメラ１からの現在の入力画像から、予め設定された範囲を抽出した部分画像を生成する（ステップＳ１）。抽出する範囲の決定方法は、例えば、入力画像のうち、物体数をカウントしたい実空間上の位置と対応しうる部分とを抽出する範囲とする方法、あるいは、物体が写らないことが明らかである部分（壁や、固定の設備など）を除いた部分を抽出する範囲とする方法、などが考えられる。また、この範囲は、入力画像全体であっても良い。抽出処理を適用する実際の方法は、ここでは限定しないが、例えば、入力画像と同じサイズであり、抽出対象とする領域の画素値を「１」、その他の画素値を「０」とした２値画像を使用し、マスキングによって処理範囲を限定する方法が考えられる。
【００２９】
次に、前景検出部１１は、抽出された部分画像における前景領域を検出し、該前景領域を表す前景画像を生成する（ステップＳ２）。ここで、前景領域とは、部分画像において移動物体が存在する領域を表し、前景画像とは、部分画像中の前景である点を「１」、そうでない点、すなわち背景である点を「０」とした画像である。前景領域の検出方法は、様々な方法（例えば、参考文献１：波部斉，和田俊和，松山隆司，“照明変化に対して頑健な背景差分法”，情報処理学会研究報告(1998-CVIM115)，Vol.1999，No.29，pp.17-24, 1999.、参考文献２：Kedar A. Patwardhan, Guillermo Sapiro, Vassilios Morellas, “Robust Foreground Detection in Video Using Pixel Layers”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 30, No. 4, April 2008など）が知られているが、ここでは、その方法を限定しない。
【００３０】
次に、画像上移動量検出部１２は、ステップＳ２で検出した前景領域において、映像の現在フレームと１つ前のフレームとの間で、画像上での局所的な移動量を検出する（ステップＳ３）。すなわち、フレーム画像上の座標と、その座標における画像上でのフレーム間移動量［ｐｉｘｅｌ］との組を検出する。移動量を検出する点数は、任意であり、前景領域の画素すべてについて検出する必要は無いが、多くの点数を検出するほど、精度よい通過物体数の計測が期待できる。
【００３１】
移動量の検出方法は、ここでは限定しないが、シーンの条件や、処理のフレームレートによって安定に検出方法を選択するのが好ましい。例えば、ＳＩＦＴ（参考文献３：D. G. Lowe, “Object recognition from local scale-invariant features”, Proc. of IEEE International Conference on Computer Vision (ICCV), pp. 1150-1157, 1999.）や、ＳＵＲＦ（参考文献４：H. Bay, A. Ess, T. Tuytelaars, and L.V. Gool, “Speeded-up robust features (SURF),” Elsevier, pp.346-359, 2008.）などによる特徴点の対応付けによる方法が考えられる。この方法を用いると、フレームレートが低かったり、混雑度が高い場合でも、信頼できる局所移動量の取得が期待できる。また、フレームレートが十分高い場合には、オプティカルフローを用いる方法も有効である。
【００３２】
次に、移動量座標変換・代表移動量算出部１３は、ステップＳ３で検出した画像上での局所移動量から、画像上座標と実空間の床面座標（以下、単に実空間座標）との関係を考慮した方法（後述）により、各通過物体数計測方向に移動する物体群の全体としての移動量（代表移動量）を算出する（ステップＳ４）。
【００３３】
移動量の座標変換は、例えば、検出した各移動量に関して移動の始点と終点との画像上座標を求め、それらの画像上座標を実空間座標に変換し、実空間座標の差分を取ることによって実現することが考えられる。画像上座標（ｘ，ｙ）から、その点が実空間上で高さｈに位置しているとした場合の実空間座標（Ｘｈ，Ｙｈ）への変換は、次式（１）で実現できる（非特許文献２の（１２）式において、ＴＸ＝ＴＹ＝０、Ｚ＝ｈとすることで導出される）。
【００３４】
【数１】
【００３５】
図６は、実空間上高さと移動量との関係を説明するための概念図である。ｆはカメラの焦点距離、ＴＺは床面からカメラまでの高さである。また、Ｒは回転行列であり、カメラの光軸周りの回転角θと水平方向からの俯角φのみに依存する値である。このとき、座標変換する点の実空間上での高さｈは、画像上の局所移動量から特定することはできない。
【００３６】
図７（ａ）、（ｂ）は、座標変換する点の実空間上での高さｈを人物を例にとって説明する概念図である。図７（ａ）に示すように、実空間上での高さｈがＨである場合、移動量は小となり、図７（ｂ）に示すように、実空間上での高さｈが「０」の場合、移動量は大となる。これにより、検出された画像上局所移動量から考えうる実空間移動量は、一意に定まらず、一定の幅を持つ。代表移動量を算出する際には、このことを踏まえた処理を行う必要がある。
【００３７】
上記実空間移動量の不定性を踏まえると、以下で述べる代表移動量の算出方法が考えられる。以下で述べる処理を、全ての通過物体数計測方向について行うことによって、各計測方向における代表移動量を算出する。
【００３８】
図５は、本実施形態による、代表移動量算出手順を示すフローチャートである。まず、ステップＳ３で算出した画像上の局所移動量それぞれについて、実空間座標上での移動方向を算出し、その方向と注目している通過物体数計測方向との差分がある閾値以下である画像上局所移動量を抽出する（ステップＳ４１）。
【００３９】
移動の始点と終点における実空間座標の差分を（ΔＸｈ，ΔＹｈ）とすると、移動量の実空間座標上での方向は、例えば、実空間座標のＸ軸を基準とする場合、ｄ＝ｔａｎ−１（ΔＹｈ／ΔＸｈ）とすることができるが、数式（１）より、この値は、ｈの値によらず一定であるため、任意のｈを設定することによって算出できる。また、前述した方向の差分の閾値は、通過物体数計測方向がどのように設定されているかを考慮し、１つの局所移動量が複数の通過物体数計測方向に関して抽出されることが無いように設定する。例えば、＋Ｘ、−Ｘ、＋Ｙ、−Ｙの４方向について通過物体数を計測している場合には、閾値を±４５°とすることができる。また、物体の移動方向の変化の少なさや、誤って検出される局所移動量の影響を考慮し、必要に応じてより小さい閾値を設定しても良い。
【００４０】
なお、このとき、実空間移動量の絶対値ｒｈ＝（ΔＸｈ２＋ΔＹｈ２）１／２が物体の移動量として不適当である移動量を抽出対象から取り除いても良い。例えば、処理のフレームレートが５［ｆｐｓ］であるときに、物体の移動速さとして許容する最大値を９［ｋｍ／ｈ］と設定した場合、フレーム間の実空間移動量として許容される最大値は、０．５［ｍ］となる。この場合、ｈ＝Ｈであるとき（このとき、実空間移動量は考えうる最小値をとる）の実空間移動量の絶対値が０．５を超える局所移動量は、抽出対象から除外することができる。これにより、誤って検出した局所移動量の影響を低減することができる。
【００４１】
次に、ステップＳ４１で抽出された各局所移動量について、実空間上での高さがｈ＝Ｈであった場合とｈ＝０であった場合との実空間移動量絶対値ＲＨ，Ｒ０を算出する（ステップＳ４２）。これらの値は、それぞれ特徴点が物体の上端に由来する場合と下端に由来する場合とに相当する。すなわち、該局所移動量における実空間移動量として考えうる最小値と最大値とを表す。
【００４２】
次に、ステップＳ４２で算出した各実空間移動量絶対値ＲＨ，Ｒ０について、その通過物体数計測方向成分ＲＤ，Ｈ，ＲＤ，０を算出する（ステップＳ４３）。この値は、ＲＤ，ｈ＝Ｒｈｃｏｓ ｄｄｉｆの関係から算出することができる。ここで、ｄｄｉｆは、該移動量における実空間上での移動方向と注目している通過物体数計測方向との差分である。
【００４３】
次に、移動量絶対値を軸とした投票空間への投票処理により、代表移動量を算出する（ステップＳ４４）。すなわち、ステップＳ４１で抽出された各局所移動量について、その移動量におけるＲＤ，Ｈ〜ＲＤ，０の範囲に投票する。
【００４４】
図８は、本実施形態による、投票処理の一例（人物の場合）を示す概念図である。上述した方法で投票すると、図８に示すように、投票数が実際の実空間移動量でピークを持つことが期待できる。そこで、投票数が最も多かった移動量絶対値を、注目している通過物体数計測方向の代表移動量とする。なお、投票空間の座標の刻み幅は、許容する代表移動量の誤差に応じて決定する。例えば、許容誤差を±０．１［ｍ］とする場合、投票空間の刻み幅は０．２［ｍ］とすることができる。
【００４５】
ここで、数式（１）による系に基づいた処理をする場合、ＲＤ，０／ＲＤ，Ｈ＝ＴＺ／（ＴＺ−Ｈ）が成り立つ。そのため、投票空間を移動量方向に関して対数スケールとして考えると、各移動量におけるｌｏｇ（ＲＤ，Ｈ）に相当する座標に対して投票した後、移動量絶対値方向の長さがｌｏｇＴＺ／（ＴＺ−Ｈ）、各係数が「１」のフィルタを投票空間に適用することによって投票処理が実現できる。
【００４６】
通常の投票処理にかかる計算時間が（特徴点の組の数）×（投票空間の大きさ）のオーダーで表せるのに対し、対数スケールを用いた投票処理のオーダーは（投票空間の大きさ）×（フィルタの長さ）で表すことができる。ここで、投票空間の大きさ、フィルタの長さは、いずれも投票空間の刻みの細かさに置き換えることができる。したがって、特徴点の組の数と投票空間の刻みの細かさとを考慮し、より高速に処理できる投票方法を選択することが望ましい。その後、図４に示すメインルーチンに戻る。
【００４７】
次に、図４に戻ると、画像内人数算出部１４は、ステップＳ１で生成した部分画像に関して、映っている物体の数（画像内人数）を推定する（ステップＳ５）。物体数の推定方法は、ここでは限定しないが、例えば、非特許文献２の技術を用いると、混雑時でも安定に部分画像内の物体数を推定することができる。非特許文献２は、計測対象を人物に限定して記述されているが、人物モデルを適当な物体の形状モデルに置き換えることによって、任意の矩形物体に適用することができる。
【００４８】
このとき、通過物体数計測方向を複数設定している場合には、各計測方向に移動する物体数をそれぞれ算出する必要がある。その方法は、ここでは限定しないが、例えば、局所移動量は、どの計測方向に移動する集団についても均等に取得されるという仮定を置いたときに成立する次式（２）によって求めることができる。
【００４９】
【数２】
【００５０】
ここで、ｉは通過物体数計測方向のインデックスであり、Ｎｉはｉ番目の計測方向に移動している物体の数である。Ｎは本ステップの前段で算出される部分画像内の全体物体数である。Ｍｉはｉ番目の計測方向に関してステップＳ３で抽出された局所移動量の数である。
【００５１】
次に、通過人数算出部１５は、ステップＳ４で算出された代表移動量とステップＳ５で算出された各計測方向の移動物体数（画像内人数）とから、各計測方向におけるフレーム間通過物体数を算出する（ステップＳ６）。フレーム間通過物体数の算出方法は、ここでは限定しないが、例えば次式（３）で算出することができる。
【００５２】
【数３】
【００５３】
ここで、添字のｉは、その値がｉ番目の通過物体数計測方向に関するものであることを示す。Ｃは求めるフレーム間通過物体数である。ｖ、Ｓはそれぞれ、代表移動量、部分画像に映るエリア（計測エリア）の実空間上面積である。Ｗｉは、ｉ番目の計測方向と垂直な方向とにおける計測エリアの実空間上長さの指標である。ここで、計測エリアの形状によっては、当該方向における計測エリアの長さが一意に定まらない場合がる。その場合のＷｉ決定方法は、例えば当該エリア長さの平均値を取る方法が考えられる。エリアの長さが一意に定まる場合には、その値をＷｉとすることができる。
【００５４】
次に、通過人数算出部１５は、計測方向毎にフレーム間通過物体数を累積加算することにより、各計測方向の累積通過物体数とする（ステップＳ７）。累積通過物体数は、処理を開始したフレームから現在フレームまでの間に映像内を各計測方向に通過した物体の数となる。
【００５５】
次に、終了条件を満たしているか否かを判定し（ステップＳ８）、終了条件を満たしていない場合には、次のフレームへ移行し（ステップＳ９）、ステップＳ１に戻り、上述した処理を繰り返す。以後、終了条件を満たすまで、次のフレームへ移行しながら上述した処理を繰り返す。そして、終了条件を満たすと、当該処理を終了する。
【００５６】
上述した実施形態によれば、映像に映っている個々の物体を追跡することなしに通過物体数を計測することができる。これにより、個々の物体を追跡することが困難な状況でも通過物体数の計測を実現することができる。
【符号の説明】
【００５７】
１ 撮像装置
２ 計算機
２−１ 入力装置
２−２ ＲＯＭ
２−３ ＣＰＵ
２−４ ＲＡＭ
２−５ Ｉ／Ｆ
２−６ 外部記憶装置
２−７ 記録媒体駆動装置
２−８ 記録媒体
３ 画像表示装置
１０ 部分画像生成部
１１ 前景検出部
１２ 画像上移動量検出部
１３ 移動路湯座標変換・代表移動量算出部
１４ 画像内人数検出部
１５ 通過人数算出部
【技術分野】
【０００１】
本発明は、撮像装置（例えば、カメラ）で撮影された映像から、画像処理によりその場を通過する物体（物体、車輛等）の数を計測する通過物体数計測方法、通過物体数計測装置、及びプログラムに関する。
【背景技術】
【０００２】
従来の技術として、時系列に連続したフレームで構成された映像から人物を検出しトラッキングすることにより、映像に映っている領域を通過する人物の数を計測する方法が知られている（例えば非特許文献１参照）。
【０００３】
また、時系列に連続したフレームで構成された映像の各画素に実空間上の位置との対応によって重み付けをすることにより、個人を検出することなく各フレーム画像に映っている人物の数を推定する方法が知られている（例えば非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】O. Sidla, Y. Lypetskyy, N. Brandle, and S. Seer, “Pedestrian detection and tracking for counting applications in crowded situations”, Proc. IEEE International Conference on Video and Signal Based Surveillance (AVSS06), p. 70, 2006
【非特許文献２】Hiroyuki ARAI, Isao MIYAGAWA, Hideki KOIKE, and Miki HASEYAMA, ”Estimating Number of People Using Calibrated Monocular Camera Based on Geometrical Analysis of Surface Area”, IEICE Trans. Fundamentals, Vol. E92-A, No. 8, pp. 1932-1938, August 2009
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１の通過物体数計測方法では、人数計測の精度がトラッキングの性能に大きく影響を受け、特に混雑した状況では、十分な計測精度を得ることが難しいという問題がある。
【０００６】
また、非特許文献２の人数測定方法では、画像に映っている人物の移動に関する情報を使用していないため、映像に映っている領域を通過した人物の数を測定することができないという問題がある。
【０００７】
本発明は、このような事情を考慮してなされたものであり、その目的は、映像に映っている物体の数と集団としての移動量（代表移動量）とを推定することで、映像に映っている領域の通過物体数を推定することができる通過物体数計測方法、通過物体数計測装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、本発明は、映像中の所定の領域を通過する物体数を推定する通過物体数計測方法であって、部分画像生成手段が、時系列に連続して入力される映像フレームから部分画像を生成する部分画像生成ステップと、前景検出手段が、前記生成された部分画像における前景領域を検出するステップと、画像上移動量検出手段が、前記検出された前景領域において、画像上での局所移動量を検出するステップと、移動量座標変換・代表移動量算出手段が、前記検出された画像上での局所移動量から、画像上座標と実空間座標との関係を考慮し、各通過物体数計測方向に移動する物体群の全体としての代表移動量を算出するステップと、画像内物体数算出手段が、前記生成された部分画像に写っている特定の方向に移動する画像内物体数を推定するステップと、通過物体数算出手段が、前記代表移動量と前記画像内移動物体数とから映像中の所定の領域を通過する物体数を算出するステップとを含むことを特徴とする通過物体数計測方法である。
【０００９】
本発明は、上記の発明において、前記移動量座標変換・代表移動量算出手段によるステップは、前記算出した画像上の局所移動量それぞれについて、実空間座標上での移動方向を算出し、その方向と注目している通過物体数計測方向との差分が所定の閾値以下である画像上局所移動量を抽出する第１のステップと、前記抽出された各局所移動量について、実空間移動量絶対値を算出する第２のステップと、前記算出した各実空間移動量絶対値について、その通過物体数計測方向成分を算出する第３のステップと、前記実空間移動量絶対値を軸とした投票空間への投票処理を行うことにより、代表移動量を算出する第４のステップとを含むことを特徴とする。
【００１０】
本発明は、上記の発明において、前記第１のステップは、前記実空間移動量絶対値が物体の移動量として不適当である移動量を抽出対象から取り除くことを特徴とする。
【００１１】
本発明は、上記の発明において、前記通過物体数算出手段によるステップは、更に、前記算出されたフレーム間通過物体数を、計測方向毎に累積加算することにより、各計測方向の累積通過物体数を算出することを特徴とする。
【００１２】
本発明は、上記の発明において、前記画像内物体数算出手段によるステップは、通過物体数計測方向を複数設定している場合には、各計測方向に移動する物体数をそれぞれ算出することを特徴とする。
【００１３】
また、上述した課題を解決するために、本発明は、映像中の所定の領域を通過する物体数を推定する通過物体数計測装置であって、部分画像生成手段が、時系列に連続して入力される映像フレームから部分画像を生成する部分画像生成部と、前記部分画像生成部により生成された部分画像における前景領域を検出する前景検出部と、前記前景検出部により検出された前景領域において、画像上での局所移動量を検出する画像上移動量検出部と、前記画像上移動量検出部により検出された画像上での局所移動量から、画像上座標と実空間座標との関係を考慮し、各通過物体数計測方向に移動する物体群の全体としての代表移動量を算出する移動量座標変換・代表移動量算出部と、前記部分画像生成部により生成された部分画像に写っている特定の方向に移動する画像内物体数を推定する画像内物体数算出部と、前記移動量座標変換・代表移動量算出部により算出された代表移動量と前記画像内物体数算出部により推定された画像内移動物体数とから映像中の所定の領域を通過する物体数を算出する通過物体数算出部とを備えることを特徴とする通過物体数計測装置である。
【００１４】
また、上述した課題を解決するために、本発明は、映像中の所定の領域を通過する物体数を推定する通過物体数計測装置のコンピュータに、部分画像生成手段が、時系列に連続して入力される映像フレームから部分画像を生成する部分画像生成機能、前記部分画像生成機能により生成された部分画像における前景領域を検出する前景検出機能、前記前景検出機能により検出された前景領域において、画像上での局所移動量を検出する前画像上移動量検出機能、前記画像上移動量検出機能により検出された画像上での局所移動量から、画像上座標と実空間座標との関係を考慮し、各通過物体数計測方向に移動する物体群の全体としての代表移動量を算出する移動量座標変換・代表移動量算出機能、前記部分画像生成機能により生成された部分画像に写っている特定の方向に移動する画像内物体数を推定する画像内物体数算出機能、前記移動量座標変換・代表移動量算出機能により算出された代表移動量と前記画像内物体数算出機能により推定された画像内移動物体数とから映像中の所定の領域を通過する物体数を算出する通過物体数算出機能を実行させることを特徴とするプログラムである。
【発明の効果】
【００１５】
この発明によれば、映像に映っている物体の数と集団としての移動量（代表移動量）とを推定することで、映像に映っている領域の通過物体数を推定することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態による通過物体数計測方法を実現するためのハードウェア構成を示すブロック図である。
【図２】本実施形態による、通過物体数計測装置の機能構成を示すブロック図である。
【図３】本実施形態による、通過物体数計測装置の機能構成への入出力データを示す概念図である。
【図４】本実施形態による通過物体数計測方法の処理を説明するためのフローチャートである。
【図５】本実施形態による、代表移動量算出手順を示すフローチャートである。
【図６】実空間上高さと移動量との関係を説明するための概念図である。
【図７】座標変換する点の実空間上での高さｈを人物を例にとって説明する概念図である。
【図８】本実施形態による、投票処理の一例（人物の場合）を示す概念図である。
【発明を実施するための形態】
【００１７】
本発明は、映像中の領域内にいる人数または通過人数を推定する技術に関するものである。本発明の特徴は、映像中の前景の複数の特徴点毎に設定した移動方向毎に、該特徴点が実空間で移動した量を投票してそのピークを求め、各移動方向の代表移動量とすることである。特徴点から求めた代表移動量を、撮像された物体集合の移動量とみなして移動方向毎のフレーム間移動物体数を算出することで、個々の物体を検出してトラッキングすることなく、映像中の所定の領域を通過する物体数を推定することができる。すなわち、本発明の目的は、映像に映っている任意の実空間領域を通過する物体数を測定することである。
【００１８】
以下、本発明の一実施形態を、図面を参照して説明する。
【００１９】
図１は、本発明の一実施形態による通過物体数計測方法を実現するためのハードウェア構成を示すブロック図である。本実施形態による通過物体数計測方法を実施するにあたり、ハードウェアとしては、映像を撮影するカメラなどの撮像装置１、画像処理を行う計算機２、画像処理結果を表示するモニタなどの画像表示装置３を用いて実現することができる。
【００２０】
撮像装置１は、所定の位置に固定されたカメラを用いる。計算機２は、キーボードや、マウス等からなる入力装置２−１、プログラムや、各種パラメータなどを記憶するＲＯＭ２−２、上記プログラムを実行することにより所定の処理や、各部の動作制御などを行うＣＰＵ２−３、プログラム実行に伴う各種データなどを記憶するＲＡＭ２−４、撮像装置１により撮像される映像を取り込むＩ／Ｆ２−５、ハードディスクなどの外部記憶装置２−６、記録媒体２−８との間でのデータ書き込みや、データ読み込みなどを制御する記録媒体駆動装置２−７、フラッシュメモリなどの記録媒体２−８からなる。
【００２１】
画像処理を行う計算機２については、汎用の計算機、処理ロジックを実装したボード、チップなど様々なものが考えられるが、ここではそれを限定しない。
【００２２】
以下では、カメラ１で撮影された画像（フレーム画像）が時系列的に入力される状況（静止画系列や、映像ストリームなど。処理を実時間で行うか否かは限定しない）を想定して説明する。また、本技術を利用する場所では、物体の流れの方向がある程度定まっており、通過物体数を計測する際に、見る方向を事前に設定できるものとする。
【００２３】
また、処理の簡易化のために、物体の形状モデルを導入し、計測対象の物体は、どの個体も高さＨ、横幅Ｗの矩形であるものとする。高さＨ、及び横幅Ｗは、事前に指定する値であり、処理の中で必要に応じて使用できるよう記憶されている。高さＨ、横幅Ｗの具体的な値としては、例えば、人物を計測対象とする場合には、Ｈ＝１．７ｍ、Ｗ＝０．３ｍとすることができる。
【００２４】
次に、上記のように構成された装置の主要な機能について説明する。
図２は、本実施形態による、通過物体数計測装置の機能構成を示すブロック図である。また、図３は、本実施形態による、通過物体数計測装置の機能構成への入出力データを示す概念図である。本実施形態による、通過物体数計測装置は、上述したように、図１に示す撮像装置１、計算機２、画像表示装置３を用いて実現される。図３に示す通過物体数計測装置の機能構成は、計算機２によるプログラム処理により実現される。
【００２５】
図２において、通過物体数計測装置は、部分画像生成部１０、前景検出部１１、画像上移動量検出部１２、移動量座標変換・代表移動量算出部１３、画像内人数算出部１４、及び通過人数算出部１５からなる。部分画像生成部１０は、時間的に連続した画像系列から、予め設定された範囲を抽出した部分画像を生成する。前景検出部１１は、抽出された部分画像において前景領域を検出し、前景領域を表す前景画像を生成する。画像上移動量検出部１２は、検出した前景領域において、映像の現在フレームと１つ前のフレームの間で、画像上での局所的な移動量を検出する。
【００２６】
移動量座標変換・代表移動量算出部１３は、検出した画像上での局所的な移動量から、画像上座標と実空間の床面座標（以下、単に実空間座標）との関係を考慮した方法（後述）により、各通過物体数計測方向に移動する物体群の全体としての移動量（代表移動量）を算出する。画像内人数算出部１４は、設定した部分画像の前景画像に関して、映っている物体の数（画像内人数）を推定する。通過人数算出部１５は、代表移動量と各計測方向の移動物体数とから、各計測方向におけるフレーム間通過物体数（通過人数）を算出する。
【００２７】
図３において、部分画像生成部１０では、「時間的に連続した画像系列」が入力され、「部分画像」が出力される。前景検出部１１では、「部分画像」が入力され、「前景画像」が出力される。画像上移動量検出部１２では、「前景画像」が入力され、「画面上移動量」が出力される。移動量座標変換・代表移動量算出部１３では、「画面上移動量」が入力され、「代表移動量」が出力される。画像内人数算出部１４では、「前景画像」が入力され、「画像内人数」が出力される。そして、通過人数算出部１５では、「実空間画像」が入力され、「領域内人数」が出力される。
【００２８】
図４は、本実施形態による通過物体数計測方法の処理を説明するためのフローチャートである。まず、部分画像生成部１０は、カメラ１からの現在の入力画像から、予め設定された範囲を抽出した部分画像を生成する（ステップＳ１）。抽出する範囲の決定方法は、例えば、入力画像のうち、物体数をカウントしたい実空間上の位置と対応しうる部分とを抽出する範囲とする方法、あるいは、物体が写らないことが明らかである部分（壁や、固定の設備など）を除いた部分を抽出する範囲とする方法、などが考えられる。また、この範囲は、入力画像全体であっても良い。抽出処理を適用する実際の方法は、ここでは限定しないが、例えば、入力画像と同じサイズであり、抽出対象とする領域の画素値を「１」、その他の画素値を「０」とした２値画像を使用し、マスキングによって処理範囲を限定する方法が考えられる。
【００２９】
次に、前景検出部１１は、抽出された部分画像における前景領域を検出し、該前景領域を表す前景画像を生成する（ステップＳ２）。ここで、前景領域とは、部分画像において移動物体が存在する領域を表し、前景画像とは、部分画像中の前景である点を「１」、そうでない点、すなわち背景である点を「０」とした画像である。前景領域の検出方法は、様々な方法（例えば、参考文献１：波部斉，和田俊和，松山隆司，“照明変化に対して頑健な背景差分法”，情報処理学会研究報告(1998-CVIM115)，Vol.1999，No.29，pp.17-24, 1999.、参考文献２：Kedar A. Patwardhan, Guillermo Sapiro, Vassilios Morellas, “Robust Foreground Detection in Video Using Pixel Layers”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 30, No. 4, April 2008など）が知られているが、ここでは、その方法を限定しない。
【００３０】
次に、画像上移動量検出部１２は、ステップＳ２で検出した前景領域において、映像の現在フレームと１つ前のフレームとの間で、画像上での局所的な移動量を検出する（ステップＳ３）。すなわち、フレーム画像上の座標と、その座標における画像上でのフレーム間移動量［ｐｉｘｅｌ］との組を検出する。移動量を検出する点数は、任意であり、前景領域の画素すべてについて検出する必要は無いが、多くの点数を検出するほど、精度よい通過物体数の計測が期待できる。
【００３１】
移動量の検出方法は、ここでは限定しないが、シーンの条件や、処理のフレームレートによって安定に検出方法を選択するのが好ましい。例えば、ＳＩＦＴ（参考文献３：D. G. Lowe, “Object recognition from local scale-invariant features”, Proc. of IEEE International Conference on Computer Vision (ICCV), pp. 1150-1157, 1999.）や、ＳＵＲＦ（参考文献４：H. Bay, A. Ess, T. Tuytelaars, and L.V. Gool, “Speeded-up robust features (SURF),” Elsevier, pp.346-359, 2008.）などによる特徴点の対応付けによる方法が考えられる。この方法を用いると、フレームレートが低かったり、混雑度が高い場合でも、信頼できる局所移動量の取得が期待できる。また、フレームレートが十分高い場合には、オプティカルフローを用いる方法も有効である。
【００３２】
次に、移動量座標変換・代表移動量算出部１３は、ステップＳ３で検出した画像上での局所移動量から、画像上座標と実空間の床面座標（以下、単に実空間座標）との関係を考慮した方法（後述）により、各通過物体数計測方向に移動する物体群の全体としての移動量（代表移動量）を算出する（ステップＳ４）。
【００３３】
移動量の座標変換は、例えば、検出した各移動量に関して移動の始点と終点との画像上座標を求め、それらの画像上座標を実空間座標に変換し、実空間座標の差分を取ることによって実現することが考えられる。画像上座標（ｘ，ｙ）から、その点が実空間上で高さｈに位置しているとした場合の実空間座標（Ｘｈ，Ｙｈ）への変換は、次式（１）で実現できる（非特許文献２の（１２）式において、ＴＸ＝ＴＹ＝０、Ｚ＝ｈとすることで導出される）。
【００３４】
【数１】
【００３５】
図６は、実空間上高さと移動量との関係を説明するための概念図である。ｆはカメラの焦点距離、ＴＺは床面からカメラまでの高さである。また、Ｒは回転行列であり、カメラの光軸周りの回転角θと水平方向からの俯角φのみに依存する値である。このとき、座標変換する点の実空間上での高さｈは、画像上の局所移動量から特定することはできない。
【００３６】
図７（ａ）、（ｂ）は、座標変換する点の実空間上での高さｈを人物を例にとって説明する概念図である。図７（ａ）に示すように、実空間上での高さｈがＨである場合、移動量は小となり、図７（ｂ）に示すように、実空間上での高さｈが「０」の場合、移動量は大となる。これにより、検出された画像上局所移動量から考えうる実空間移動量は、一意に定まらず、一定の幅を持つ。代表移動量を算出する際には、このことを踏まえた処理を行う必要がある。
【００３７】
上記実空間移動量の不定性を踏まえると、以下で述べる代表移動量の算出方法が考えられる。以下で述べる処理を、全ての通過物体数計測方向について行うことによって、各計測方向における代表移動量を算出する。
【００３８】
図５は、本実施形態による、代表移動量算出手順を示すフローチャートである。まず、ステップＳ３で算出した画像上の局所移動量それぞれについて、実空間座標上での移動方向を算出し、その方向と注目している通過物体数計測方向との差分がある閾値以下である画像上局所移動量を抽出する（ステップＳ４１）。
【００３９】
移動の始点と終点における実空間座標の差分を（ΔＸｈ，ΔＹｈ）とすると、移動量の実空間座標上での方向は、例えば、実空間座標のＸ軸を基準とする場合、ｄ＝ｔａｎ−１（ΔＹｈ／ΔＸｈ）とすることができるが、数式（１）より、この値は、ｈの値によらず一定であるため、任意のｈを設定することによって算出できる。また、前述した方向の差分の閾値は、通過物体数計測方向がどのように設定されているかを考慮し、１つの局所移動量が複数の通過物体数計測方向に関して抽出されることが無いように設定する。例えば、＋Ｘ、−Ｘ、＋Ｙ、−Ｙの４方向について通過物体数を計測している場合には、閾値を±４５°とすることができる。また、物体の移動方向の変化の少なさや、誤って検出される局所移動量の影響を考慮し、必要に応じてより小さい閾値を設定しても良い。
【００４０】
なお、このとき、実空間移動量の絶対値ｒｈ＝（ΔＸｈ２＋ΔＹｈ２）１／２が物体の移動量として不適当である移動量を抽出対象から取り除いても良い。例えば、処理のフレームレートが５［ｆｐｓ］であるときに、物体の移動速さとして許容する最大値を９［ｋｍ／ｈ］と設定した場合、フレーム間の実空間移動量として許容される最大値は、０．５［ｍ］となる。この場合、ｈ＝Ｈであるとき（このとき、実空間移動量は考えうる最小値をとる）の実空間移動量の絶対値が０．５を超える局所移動量は、抽出対象から除外することができる。これにより、誤って検出した局所移動量の影響を低減することができる。
【００４１】
次に、ステップＳ４１で抽出された各局所移動量について、実空間上での高さがｈ＝Ｈであった場合とｈ＝０であった場合との実空間移動量絶対値ＲＨ，Ｒ０を算出する（ステップＳ４２）。これらの値は、それぞれ特徴点が物体の上端に由来する場合と下端に由来する場合とに相当する。すなわち、該局所移動量における実空間移動量として考えうる最小値と最大値とを表す。
【００４２】
次に、ステップＳ４２で算出した各実空間移動量絶対値ＲＨ，Ｒ０について、その通過物体数計測方向成分ＲＤ，Ｈ，ＲＤ，０を算出する（ステップＳ４３）。この値は、ＲＤ，ｈ＝Ｒｈｃｏｓ ｄｄｉｆの関係から算出することができる。ここで、ｄｄｉｆは、該移動量における実空間上での移動方向と注目している通過物体数計測方向との差分である。
【００４３】
次に、移動量絶対値を軸とした投票空間への投票処理により、代表移動量を算出する（ステップＳ４４）。すなわち、ステップＳ４１で抽出された各局所移動量について、その移動量におけるＲＤ，Ｈ〜ＲＤ，０の範囲に投票する。
【００４４】
図８は、本実施形態による、投票処理の一例（人物の場合）を示す概念図である。上述した方法で投票すると、図８に示すように、投票数が実際の実空間移動量でピークを持つことが期待できる。そこで、投票数が最も多かった移動量絶対値を、注目している通過物体数計測方向の代表移動量とする。なお、投票空間の座標の刻み幅は、許容する代表移動量の誤差に応じて決定する。例えば、許容誤差を±０．１［ｍ］とする場合、投票空間の刻み幅は０．２［ｍ］とすることができる。
【００４５】
ここで、数式（１）による系に基づいた処理をする場合、ＲＤ，０／ＲＤ，Ｈ＝ＴＺ／（ＴＺ−Ｈ）が成り立つ。そのため、投票空間を移動量方向に関して対数スケールとして考えると、各移動量におけるｌｏｇ（ＲＤ，Ｈ）に相当する座標に対して投票した後、移動量絶対値方向の長さがｌｏｇＴＺ／（ＴＺ−Ｈ）、各係数が「１」のフィルタを投票空間に適用することによって投票処理が実現できる。
【００４６】
通常の投票処理にかかる計算時間が（特徴点の組の数）×（投票空間の大きさ）のオーダーで表せるのに対し、対数スケールを用いた投票処理のオーダーは（投票空間の大きさ）×（フィルタの長さ）で表すことができる。ここで、投票空間の大きさ、フィルタの長さは、いずれも投票空間の刻みの細かさに置き換えることができる。したがって、特徴点の組の数と投票空間の刻みの細かさとを考慮し、より高速に処理できる投票方法を選択することが望ましい。その後、図４に示すメインルーチンに戻る。
【００４７】
次に、図４に戻ると、画像内人数算出部１４は、ステップＳ１で生成した部分画像に関して、映っている物体の数（画像内人数）を推定する（ステップＳ５）。物体数の推定方法は、ここでは限定しないが、例えば、非特許文献２の技術を用いると、混雑時でも安定に部分画像内の物体数を推定することができる。非特許文献２は、計測対象を人物に限定して記述されているが、人物モデルを適当な物体の形状モデルに置き換えることによって、任意の矩形物体に適用することができる。
【００４８】
このとき、通過物体数計測方向を複数設定している場合には、各計測方向に移動する物体数をそれぞれ算出する必要がある。その方法は、ここでは限定しないが、例えば、局所移動量は、どの計測方向に移動する集団についても均等に取得されるという仮定を置いたときに成立する次式（２）によって求めることができる。
【００４９】
【数２】
【００５０】
ここで、ｉは通過物体数計測方向のインデックスであり、Ｎｉはｉ番目の計測方向に移動している物体の数である。Ｎは本ステップの前段で算出される部分画像内の全体物体数である。Ｍｉはｉ番目の計測方向に関してステップＳ３で抽出された局所移動量の数である。
【００５１】
次に、通過人数算出部１５は、ステップＳ４で算出された代表移動量とステップＳ５で算出された各計測方向の移動物体数（画像内人数）とから、各計測方向におけるフレーム間通過物体数を算出する（ステップＳ６）。フレーム間通過物体数の算出方法は、ここでは限定しないが、例えば次式（３）で算出することができる。
【００５２】
【数３】
【００５３】
ここで、添字のｉは、その値がｉ番目の通過物体数計測方向に関するものであることを示す。Ｃは求めるフレーム間通過物体数である。ｖ、Ｓはそれぞれ、代表移動量、部分画像に映るエリア（計測エリア）の実空間上面積である。Ｗｉは、ｉ番目の計測方向と垂直な方向とにおける計測エリアの実空間上長さの指標である。ここで、計測エリアの形状によっては、当該方向における計測エリアの長さが一意に定まらない場合がる。その場合のＷｉ決定方法は、例えば当該エリア長さの平均値を取る方法が考えられる。エリアの長さが一意に定まる場合には、その値をＷｉとすることができる。
【００５４】
次に、通過人数算出部１５は、計測方向毎にフレーム間通過物体数を累積加算することにより、各計測方向の累積通過物体数とする（ステップＳ７）。累積通過物体数は、処理を開始したフレームから現在フレームまでの間に映像内を各計測方向に通過した物体の数となる。
【００５５】
次に、終了条件を満たしているか否かを判定し（ステップＳ８）、終了条件を満たしていない場合には、次のフレームへ移行し（ステップＳ９）、ステップＳ１に戻り、上述した処理を繰り返す。以後、終了条件を満たすまで、次のフレームへ移行しながら上述した処理を繰り返す。そして、終了条件を満たすと、当該処理を終了する。
【００５６】
上述した実施形態によれば、映像に映っている個々の物体を追跡することなしに通過物体数を計測することができる。これにより、個々の物体を追跡することが困難な状況でも通過物体数の計測を実現することができる。
【符号の説明】
【００５７】
１ 撮像装置
２ 計算機
２−１ 入力装置
２−２ ＲＯＭ
２−３ ＣＰＵ
２−４ ＲＡＭ
２−５ Ｉ／Ｆ
２−６ 外部記憶装置
２−７ 記録媒体駆動装置
２−８ 記録媒体
３ 画像表示装置
１０ 部分画像生成部
１１ 前景検出部
１２ 画像上移動量検出部
１３ 移動路湯座標変換・代表移動量算出部
１４ 画像内人数検出部
１５ 通過人数算出部
【特許請求の範囲】
【請求項１】
映像中の所定の領域を通過する物体数を推定する通過物体数計測方法であって、
部分画像生成手段が、時系列に連続して入力される映像フレームから部分画像を生成する部分画像生成ステップと、
前景検出手段が、前記生成された部分画像における前景領域を検出するステップと、
画像上移動量検出手段が、前記検出された前景領域において、画像上での局所移動量を検出するステップと、
移動量座標変換・代表移動量算出手段が、前記検出された画像上での局所移動量から、画像上座標と実空間座標との関係を考慮し、各通過物体数計測方向に移動する物体群の全体としての代表移動量を算出するステップと、
画像内物体数算出手段が、前記生成された部分画像に写っている特定の方向に移動する画像内移動物体数を推定するステップと、
通過物体数算出手段が、前記代表移動量と前記画像内移動物体数とから映像中の所定の領域を通過する物体数を算出するステップと
を含むことを特徴とする通過物体数計測方法。
【請求項２】
前記移動量座標変換・代表移動量算出手段によるステップは、
前記算出した画像上の局所移動量それぞれについて、実空間座標上での移動方向を算出し、その方向と注目している通過物体数計測方向との差分が所定の閾値以下である画像上局所移動量を抽出する第１のステップと、
前記抽出された各局所移動量について、実空間移動量絶対値を算出する第２のステップと、
前記算出した各実空間移動量絶対値について、その通過物体数計測方向成分を算出する第３のステップと、
前記実空間移動量絶対値を軸とした投票空間への投票処理を行うことにより、代表移動量を算出する第４のステップと
を含むことを特徴とする請求項１に記載の通過物体数計測方法。
【請求項３】
前記第１のステップは、前記実空間移動量絶対値が物体の移動量として不適当である移動量を抽出対象から取り除くことを特徴とする請求項２に記載の通過物体数計測方法。
【請求項４】
前記通過物体数算出手段によるステップは、更に、前記算出されたフレーム間通過物体数を、計測方向毎に累積加算することにより、各計測方向の累積通過物体数を算出することを特徴とする請求項１から３のいずれかに記載の通過物体数計測方法。
【請求項５】
前記画像内物体数算出手段によるステップは、通過物体数計測方向を複数設定している場合には、各計測方向に移動する物体数をそれぞれ算出することを特徴とする請求項１から４のいずれかに記載の通過物体数計測方法。
【請求項６】
映像中の所定の領域を通過する物体数を推定する通過物体数計測装置であって、
部分画像生成手段が、時系列に連続して入力される映像フレームから部分画像を生成する部分画像生成部と、
前記部分画像生成部により生成された部分画像における前景領域を検出する前景検出部と、
前記前景検出部により検出された前景領域において、画像上での局所移動量を検出する画像上移動量検出部と、
前記画像上移動量検出部により検出された画像上での局所移動量から、画像上座標と実空間座標との関係を考慮し、各通過物体数計測方向に移動する物体群の全体としての代表移動量を算出する移動量座標変換・代表移動量算出部と、
前記部分画像生成部により生成された部分画像に写っている特定の方向に移動する画像内移動物体数を推定する画像内物体数算出部と、
前記移動量座標変換・代表移動量算出部により算出された代表移動量と前記画像内物体数算出部により推定された画像内移動物体数とから映像中の所定の領域を通過する物体数を算出する通過物体数算出部と
を備えることを特徴とする通過物体数計測装置。
【請求項７】
映像中の所定の領域を通過する物体数を推定する通過物体数計測装置のコンピュータに、
部分画像生成手段が、時系列に連続して入力される映像フレームから部分画像を生成する部分画像生成機能、
前記部分画像生成機能により生成された部分画像における前景領域を検出する前景検出機能、
前記前景検出機能により検出された前景領域において、画像上での局所移動量を検出する前画像上移動量検出機能、
前記画像上移動量検出機能により検出された画像上での局所移動量から、画像上座標と実空間座標との関係を考慮し、各通過物体数計測方向に移動する物体群の全体としての代表移動量を算出する移動量座標変換・代表移動量算出機能、
前記部分画像生成機能により生成された部分画像に写っている特定の方向に移動する画像内移動物体数を推定する画像内物体数算出機能、
前記移動量座標変換・代表移動量算出機能により算出された代表移動量と前記画像内物体数算出機能により推定された画像内移動物体数とから映像中の所定の領域を通過する物体数を算出する通過物体数算出機能
を実行させることを特徴とするプログラム。
【請求項１】
映像中の所定の領域を通過する物体数を推定する通過物体数計測方法であって、
部分画像生成手段が、時系列に連続して入力される映像フレームから部分画像を生成する部分画像生成ステップと、
前景検出手段が、前記生成された部分画像における前景領域を検出するステップと、
画像上移動量検出手段が、前記検出された前景領域において、画像上での局所移動量を検出するステップと、
移動量座標変換・代表移動量算出手段が、前記検出された画像上での局所移動量から、画像上座標と実空間座標との関係を考慮し、各通過物体数計測方向に移動する物体群の全体としての代表移動量を算出するステップと、
画像内物体数算出手段が、前記生成された部分画像に写っている特定の方向に移動する画像内移動物体数を推定するステップと、
通過物体数算出手段が、前記代表移動量と前記画像内移動物体数とから映像中の所定の領域を通過する物体数を算出するステップと
を含むことを特徴とする通過物体数計測方法。
【請求項２】
前記移動量座標変換・代表移動量算出手段によるステップは、
前記算出した画像上の局所移動量それぞれについて、実空間座標上での移動方向を算出し、その方向と注目している通過物体数計測方向との差分が所定の閾値以下である画像上局所移動量を抽出する第１のステップと、
前記抽出された各局所移動量について、実空間移動量絶対値を算出する第２のステップと、
前記算出した各実空間移動量絶対値について、その通過物体数計測方向成分を算出する第３のステップと、
前記実空間移動量絶対値を軸とした投票空間への投票処理を行うことにより、代表移動量を算出する第４のステップと
を含むことを特徴とする請求項１に記載の通過物体数計測方法。
【請求項３】
前記第１のステップは、前記実空間移動量絶対値が物体の移動量として不適当である移動量を抽出対象から取り除くことを特徴とする請求項２に記載の通過物体数計測方法。
【請求項４】
前記通過物体数算出手段によるステップは、更に、前記算出されたフレーム間通過物体数を、計測方向毎に累積加算することにより、各計測方向の累積通過物体数を算出することを特徴とする請求項１から３のいずれかに記載の通過物体数計測方法。
【請求項５】
前記画像内物体数算出手段によるステップは、通過物体数計測方向を複数設定している場合には、各計測方向に移動する物体数をそれぞれ算出することを特徴とする請求項１から４のいずれかに記載の通過物体数計測方法。
【請求項６】
映像中の所定の領域を通過する物体数を推定する通過物体数計測装置であって、
部分画像生成手段が、時系列に連続して入力される映像フレームから部分画像を生成する部分画像生成部と、
前記部分画像生成部により生成された部分画像における前景領域を検出する前景検出部と、
前記前景検出部により検出された前景領域において、画像上での局所移動量を検出する画像上移動量検出部と、
前記画像上移動量検出部により検出された画像上での局所移動量から、画像上座標と実空間座標との関係を考慮し、各通過物体数計測方向に移動する物体群の全体としての代表移動量を算出する移動量座標変換・代表移動量算出部と、
前記部分画像生成部により生成された部分画像に写っている特定の方向に移動する画像内移動物体数を推定する画像内物体数算出部と、
前記移動量座標変換・代表移動量算出部により算出された代表移動量と前記画像内物体数算出部により推定された画像内移動物体数とから映像中の所定の領域を通過する物体数を算出する通過物体数算出部と
を備えることを特徴とする通過物体数計測装置。
【請求項７】
映像中の所定の領域を通過する物体数を推定する通過物体数計測装置のコンピュータに、
部分画像生成手段が、時系列に連続して入力される映像フレームから部分画像を生成する部分画像生成機能、
前記部分画像生成機能により生成された部分画像における前景領域を検出する前景検出機能、
前記前景検出機能により検出された前景領域において、画像上での局所移動量を検出する前画像上移動量検出機能、
前記画像上移動量検出機能により検出された画像上での局所移動量から、画像上座標と実空間座標との関係を考慮し、各通過物体数計測方向に移動する物体群の全体としての代表移動量を算出する移動量座標変換・代表移動量算出機能、
前記部分画像生成機能により生成された部分画像に写っている特定の方向に移動する画像内移動物体数を推定する画像内物体数算出機能、
前記移動量座標変換・代表移動量算出機能により算出された代表移動量と前記画像内物体数算出機能により推定された画像内移動物体数とから映像中の所定の領域を通過する物体数を算出する通過物体数算出機能
を実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−２４２９４７（Ｐ２０１２−２４２９４７Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１０３４１（Ｐ２０１１−１１０３４１）
【出願日】平成２３年５月１７日（２０１１．５．１７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月１７日（２０１１．５．１７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
[ Back to top ]