物体数計測装置、物体数計測方法及び物体数計測プログラム
【課題】屋内・屋外に設置された単眼の監視カメラあるいは定点カメラを使って、撮影範囲内の物体数を物体が少ない場合でも精度よく計測することができる物体数計測装置を提供する。
【解決手段】画像中の物体の数を計測する物体数計測装置であって、画像の各画素の物体の数に対する寄与率を示す荷重値が定義された荷重値テーブルを記憶するテーブル記憶手段と、画像から物体が存在する領域を示す前景領域を抽出する前景抽出手段と、前景領域中の空間的に連続する部分前景領域を生成する部分前景領域生成手段と、生成された部分前景領域のそれぞれに含まれる各画素と荷重値テーブルから得られる当該画素の荷重値から物体の数を算出する部分物体数算出手段と、算出された各部分物体数から画像全体の物体数を算出する全体物体数算出手段とを備える。
【解決手段】画像中の物体の数を計測する物体数計測装置であって、画像の各画素の物体の数に対する寄与率を示す荷重値が定義された荷重値テーブルを記憶するテーブル記憶手段と、画像から物体が存在する領域を示す前景領域を抽出する前景抽出手段と、前景領域中の空間的に連続する部分前景領域を生成する部分前景領域生成手段と、生成された部分前景領域のそれぞれに含まれる各画素と荷重値テーブルから得られる当該画素の荷重値から物体の数を算出する部分物体数算出手段と、算出された各部分物体数から画像全体の物体数を算出する全体物体数算出手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された映像中の対象物単体の数（以下、物体数と称する）を計測し、駅・バス停・その他の公共の場の人の物体数や、道路・通路における人の流れを把握する物体数計測装置、物体数計測方法及び物体数計測プログラムに関する。
【背景技術】
【０００２】
駅・バス停・道路・通路などにおいて、カメラで撮影した画像を画像処理することにより特定物体の物体数を計測する方法として特許文献１に記載の方法が公知である。この方法では、画像入力装置の姿勢と位置を含む外部パラメータと空間中の３次元点を対応づけた透視投影の関係を利用して、画像の各画素が物体の数にどれだけ寄与するかを数量的に表す寄与率としての荷重値を設定し、画像中で物体が存在する領域を示す前景領域と荷重値との積から画像中の物体数を推定している。この方法は、物体を物体単体として認識・検出することが困難な場合でも、前景領域としてさえ検出できれば物体数を推定できるという利点を持つ。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２９４７５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の先行技術では、対象物体のサイズおよび形状が特定の物である（具体的には、高さ・幅が既知の矩形）と仮定して荷重値を算出している。そのため、対象物体のサイズ・形状が前述の特定のサイズ・形状と異なる場合や、前景領域の誤検出・未検出や人物の歩行運動などによる画像上での物体形状の変化などが発生した場合には、１つの物体に起因する前景領域における荷重値の総和に端数が生じ、推定される物体数に誤差が生じるという問題がある。特に、画像中の物体数が少ない場合には、この誤差の推定物体数に対する影響が大きくなる。
【０００５】
本発明は、このような事情に鑑みてなされたもので、屋内・屋外に設置された単眼の監視カメラあるいは定点カメラを使って、撮影範囲内の物体数を物体が少ない場合でも精度よく計測することができる物体数計測装置、物体数計測方法及び物体数計測プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、画像中の物体の数を計測する物体数計測装置であって、画像の各画素の前記物体の数に対する寄与率を示す荷重値が定義された荷重値テーブルを記憶するテーブル記憶手段と、前記画像から物体が存在する領域を示す前景領域を抽出する前景抽出手段と、前記前景領域中の空間的に連続する部分前景領域を生成する部分前景領域生成手段と、生成された前記部分前景領域のそれぞれに含まれる各画素と前記荷重値テーブルから得られる当該画素の荷重値から物体の数を算出する部分物体数算出手段と、算出された各部分物体数から画像全体の物体数を算出する全体物体数算出手段とを備えることを特徴とする。
【０００７】
本発明は、画像中の物体の数を計測する物体数計測装置であって、画像の各画素の前記物体の数に対する寄与率を示す荷重値が定義された荷重値テーブルを記憶するテーブル記憶手段と、前記画像から物体が存在する領域を示す前景領域を抽出する前景抽出手段と、前記荷重値テーブルを参照して、前記荷重値による重み付けをした前記前景領域を前記画像の縦方向に射影した前景射影を生成する前景射影生成手段と、生成された前記前景射影から、前記前景射影が連続する部分前景射影を生成する部分前景射影生成手段と、生成された前記部分前景射影から物体の数を算出する部分物体数算出手段と、算出された各部分物体数から画像全体の物体数を算出する全体物体数算出手段とを備えることを特徴とする。
【０００８】
本発明は、画像中の物体の数を計測するために、画像の各画素の前記物体の数に対する寄与率を示す荷重値が定義された荷重値テーブルを記憶するテーブル記憶手段を備えた物体数計測装置における物体数計測方法であって、前記画像から物体が存在する領域を示す前景領域を抽出する前景抽出ステップと、前記前景領域中の空間的に連続する部分前景領域を生成する部分前景領域生成ステップと、生成された前記部分前景領域のそれぞれに含まれる各画素と前記荷重値テーブルから得られる当該画素の荷重値から物体の数を算出する部分物体数算出ステップと、算出された各部分物体数から画像全体の物体数を算出する全体物体数算出ステップとを有することを特徴とする。
【０００９】
本発明は、画像中の物体の数を計測するために、画像の各画素の前記物体の数に対する寄与率を示す荷重値が定義された荷重値テーブルを記憶するテーブル記憶手段を備えた物体数計測装置における物体数計測方法であって、前記画像から物体が存在する領域を示す前景領域を抽出する前景抽出処理ステップと、前記荷重値テーブルを参照して、前記荷重値による重み付けをした前記前景領域を前記画像の縦方向に射影した前景射影を生成する前景射影生成ステップと、生成された前記前景射影から、前記前景射影が連続する部分前景射影を生成する部分前景射影生成ステップと、生成された前記部分前景射影から物体の数を算出する部分物体数算出ステップと、算出された各部分物体数から画像全体の物体数を算出する全体物体数算出ステップとを有することを特徴とする。
【００１０】
本発明は、前記物体数計測方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、撮影範囲内の物体が少ない場合でも物体数を精度よく計測することができるという効果が得られる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態の構成を示すブロック図である。
【図２】図１に示す装置の動作を示すフローチャートである。
【図３】部分前景領域生成の一例を示す説明図である。
【図４】部分物体数算出による利点の一例を示す説明図である。
【図５】本発明の第２の実施形態の構成を示すブロック図である。
【図６】図５に示す装置の動作を示すフローチャートである。
【図７】前景領域射影および部分前景射影生成の一例を示す説明図である。
【図８】部分前景射影生成の一例を示す説明図である。
【発明を実施するための形態】
【００１３】
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による物体数計測装置を説明する。図１は同実施形態の構成を示すブロック図である。図１において、符号１は画像入力部であり、例えばカメラでリアルタイムに撮影された画像系列や、予め撮影し蓄積された画像系列を入力する。画像の蓄積には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する形態、または、ネットワークを介してリモートなデータ資源を利用する形態のどちらを利用しても良い。符号２は、画像入力部１により取得した画像から背景画像（動きのある物体が存在しない状態の画像）を生成する背景画像生成部である。符号３は画像入力部１によりで取得した画像と背景画像生成部２において生成した背景画像とから前景領域を検出・抽出する前景抽出処理部である。符号４は、前景抽出処理部３において抽出された前景領域を、前景領域中の空間的に連続な部分からなる部分前景領域に分割する部分前景領域生成部である。
【００１４】
符号５は、画像の各画素が物体の数にどれだけ寄与するかを数量的に表す寄与率としての荷重値を羅列した荷重値テーブルを記憶する荷重値テーブル記憶部である。荷重値テーブルは、処理の最中に生成しても良いし、あらかじめ生成し記録媒体などに記録したものを利用しても良い。符号６は、部分前景領域生成部４において生成された部分前景領域のそれぞれにおいて、それに含まれる各画素と荷重値テーブル記憶部５から得られる当該画素の荷重値から物体数を計測する部分物体数算出部である。符号７は、部分物体数算出部６において算出された各部分物体数から画像全体の物体数を算出する全体物体数算出部である。符号８は、全体物体数算出部７において算出された全体物体数を出力する全体物体数出力部である。
【００１５】
なお、背景画像生成部２、前景抽出処理部３、部分前景領域生成部４、部分物体数算出部６、および全体物体数算出部７における各処理は、例えばコンピュータにより実行される。
【００１６】
次に、図２を参照して、図１に示す物体数計測装置の処理動作を説明する。図２は、図１に示す物体数計測装置の処理動作を示すフローチャートである。まず、画像入力部１は時系列順に並ぶ画像系列のうち最初の１枚を取り込む（ステップＳ１）。続いて、背景画像生成部２は、取り込んだ画像から背景画像を生成する（ステップＳ２）。背景画像の生成方法は、例えば、最初に取り込んだ画像を固定背景として使用する方法や、取り込んだ画像を一定枚数蓄積し座標ごとに平均画素値をとった物を背景とする方法などが適用できる。なお、前記背景画像生成方法で蓄積する取り込んだ画像の枚数は、例えば、画像系列のフレームレートと、どれだけの時間範囲での平均画素値を取るかに応じて設定することができる（例えば、１０［ｆｐｓ］のときに５秒間の平均画素値を取る場合は５０枚となる）。
【００１７】
次に、前景抽出処理部３は、背景画像を用いて、画像入力部１において取り込んだ画像から移動する物体が存在する領域としての前景領域を抽出する（ステップＳ３）。前景領域の抽出は、文献：「C. Ridder, O. Munkelt and H. Kirchner, "Adaptive Background Estimation and Foreground Detection Using Kalman-Filtering," Proc. Int'l Conf. Recent Advances in Mechatronics, ICRAM '95, pp. 193-199, 1995.」、文献：「K. A. Patwardhan, G. Sapiro, V. Morellas, "Robust Foreground Detection in Video Using Pixel Layers," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 30, No. 4, 2008.」などに記載された様々な方法が知られており、公知の方法を適用できる。前景領域を表現するデータの形式としては、例えば、ステップＳ１において取り込んだ画像と同じ画素数で、前景領域として抽出された座標の画素を１、それ以外の画素を０とした２値画像（以下、これを前景画像と称する）を用いる。また、前景領域の検出漏れ・誤検出の影響を低減するために、この方法で生成された前景領域にモルフォロジ演算のオープニング（微小前景領域の除去）やクロージング（前景領域の穴埋め）などの処理を施しても良い。
【００１８】
次に、部分前景領域生成部４は、前景領域をもとに、空間的に連続した前景領域の部分である部分前景領域を生成する（ステップＳ４）。ここで用いる空間的な連続性の定義としては４連結、８連結など（図３参照）様々なものが適用できるが、ここではそれを限定しない。また、具体的な部分前景領域生成のアルゴリズムとしては、例えば、文献：「何，巣，鈴木，中村，伊藤，”高速２回走査ラベル付けアルゴリズム”，信学論（Ｄ），ｖｏｌ．Ｊ９１−Ｄ，ｎｏ．４，ｐｐ．１０１６−１０２４，２００８」などが知られており、このようなラベリング処理を利用することができる。
【００１９】
次に、部分物体数算出部６は、荷重値テーブル記憶部５に記憶された荷重値テーブルを参照して、部分前景領域生成部４により生成された部分前景領域それぞれについて部分物体数を計測する（ステップＳ５）。荷重値テーブルは、例えば特許文献１に記載された方法で生成されたものを用いることができる。ただし、特許文献１の方法に限らず、画像上に写る物体の画像上でのサイズの変化を基に画素値毎に重み付けするような広義の荷重値（例：斜め下向きのカメラで撮影した画像では手前側（画像の下方）では物体が大きく写り、奥側（画像の上方）では小さく写る。このサイズの変化を基に、何らかの幾何モデル、幾何計算により、画像の各画素に重み付けした値（物体に対応する前景領域に属する画素における総和をとることで、物体数を推定できるように指定されている値）を用いても良い。
【００２０】
部分物体数の算出は、例えば各部分前景領域について、その部分前景領域に含まれる前景である座標に対応する荷重値の総和を取り、その値を丸め処理で整数化することで行う。丸め処理としては四捨五入をはじめとして、いろいろな方法が知られているが、ここではその方法は限定しない。例えば、画像上において対象物体の影が発生しやすい場合など、余分な前景領域が検出されやすい状況においては、切り捨て分を大きくする（例えば、０．７未満は切り捨てる。０．７は閾値）など、適宜、適切な丸め処理を実装すれば良い。
【００２１】
逆に前景領域の抜けが起こりやすい場合（対象物体の一部が前景として検出されにくい状況）などには切り上げ分を大きくする（例えば、０．４以上は切り上げるなど）丸め処理を行うようにしてもよい。部分前景領域ごとに物体数を算出し整数化すると、画像全体の前景領域に対応する荷重値の総和を取る方法と比較して、算出される物体数の端数による誤差の累積を防ぐことができる。例えば、図４に示すように物体の影が前景として検出されてしまい、物体１つ当たりの荷重値総和が１．２ないし１．３になっている場合、前景領域全体の荷重値の和を取ると６．２となり、四捨五入して＋１の誤差が生じるが、部分物体数を算出すると、各部分前景領域で１となるため、全体物体数も５と正しく算出されることになる。
【００２２】
次に、全体物体数算出部７は、部分領域のそれぞれに対応する部分物体数の総和を取ることにより、全体物体数を算出する（ステップＳ６）。続いて、全体物体数出力部８は、全体物体数算出部７において算出された全体物体数を出力する（ステップＳ７）。そして、次の処理対象画像が存在するか否かを判定し（ステップＳ８）、存在すればステップＳ１に戻り、存在しなければ処理を終了する。
【００２３】
＜第２の実施形態＞
次に、本発明の第２の実施形態による物体数計測装置を説明する。第１の実施形態では、前景領域をもとに部分前景領域を生成する際、ラベリング処理を用いている。第１の実施形態のように、ラベリング処理を２次元の配列に対して実行する場合、一般に多くの計算時間を要する。第２の実施形態は、ラベリング処理を１次元の配列に対してのみ実行して、計算時間を短縮するものである。図５は、同実施形態の構成を示すブロック図である。この図において、図１に示す物体数計測装置と同一の部分には同一の符号を付し、その説明を省略する。図５に示す物体数計測装置が図１に示す物体数計測装置と異なる点は、部分前景領域生成部４と部分物体数算出部６に代えて、前景領域射影部４０、部分前景射影生成部４１及び部分物体数算出部６０が設けられ、前景領域射影部４０が荷重値テーブル記憶部５の荷重値を参照するようにした点である。
【００２４】
前景領域射影部４０は、前景抽出処理部３で抽出した前景領域と荷重値テーブル５から、荷重値による重み付けをした前景を画像縦方向に射影した前景射影を生成する。部分前景射影生成部４１は、前景領域射影部４０で生成された前景射影から、連続した非０の領域１つからなる部分前景射影を生成する。部分物体数算出部６０は、部分前景射影生成部４１で生成された部分前景射影のそれぞれについてその部分前景射影に対応する物体数を算出する。
【００２５】
次に、図６を参照して、図５に示す物体数計測装置の処理動作を説明する。図６は、図５に示す物体数計測装置の処理動作を示すフローチャートである。図６において、図２に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図６に示す動作が図２に示す動作と異なる点は、ステップＳ４、Ｓ５に代えて、ステップＳ４０、Ｓ４１、Ｓ５０を設けた点である。
【００２６】
まず、画像取得、背景画像生成、前景領域抽出（ステップＳ１〜Ｓ３）が行われ、前景抽出処理部３が前景領域の抽出を行った後、前景領域射影部４０は、前景抽出処理部３が抽出した前景領域と荷重値テーブル記憶部５に記憶された荷重値テーブルを参照して、荷重値による重み付けをした前景を画像縦方向に射影した前景射影を生成する（ステップＳ４０）。座標ｘ、ｙを図７に示すように取る場合、前景射影Ｐ（ｘ）は次式で算出される。
【数１】
【００２７】
ここで、ｐ（ｘ，ｙ）は、前景抽出処理部３によって生成された前景領域を前景画像で表した場合の座標（ｘ，ｙ）における画素値である。ｗ（ｘ，ｙ）は、荷重値テーブル記憶部５に記憶された荷重値テーブルの座標（ｘ，ｙ）における荷重値である。
【００２８】
次に、部分前景射影生成部４１は、前景領域射影部４０が生成した前景射影から、連続した非０の領域１つからなる部分前景射影を生成する（ステップＳ４１）。部分前景射影は、例えば、前景射影Ｐ（ｘ）が０でない点を１、そのほかの点を０として２値化した物を第１の実施形態のステップＳ４と同様にラベリングすることで得られる各部分領域について対応する座標のＰ（ｘ）を１つの部分前景射影とする方法が適用できる。
【００２９】
図７に、この方法で部分前景射影を設定した場合の例を示す。図７において、「部分前景射影１」、「部分前景射影２」、「部分前景射影３」が、設定した部分前景射影である。ここでのラベリングは１次元の配列に対するラベリングであるため、第１の実施形態で行われる２次元の配列に対するラベリングと比較して少ない計算時間で実行することができる。他にも、図８に示すように、Ｐ（ｘ）が極小となる点を境界として領域を区切ることによって部分前景射影を設定する方法も適用できる。画像内の物体数が多くなると、図８に示す例のように、射影中の２つの極大点の間にＰ（ｘ）＝０となる点が存在しない場合があるため、この方法が有効である。
【００３０】
次に、部分物体数算出部６０は、部分前景射影生成部４１により生成された部分前景射影それぞれについて部分物体数を計測する（ステップＳ５０）。部分物体数の算出は、例えば部分前景射影に含まれる範囲のＰ（ｘ）の総和を取り、その値を丸め処理で整数化することで行う。丸め処理の具体的方法は第１の実施形態のステップＳ５と同様に様々な方法が適用可能である。そして、全体物体数算出、全体物体数出力、処理の繰り返し判定（ステップＳ６〜Ｓ８）が行われる。
【００３１】
以上説明したように、時系列画像において、移動する対象物あるいは背景画像に対する前景領域を検出し、物体を物体単体として認識・検出することが困難な場合でも物体数を計測することができ、さらに、物体が少ない場合でも精度よく計測することができる。
【００３２】
なお、図１、図５における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより物体数計測処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００３３】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００３４】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の精神及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
【産業上の利用可能性】
【００３５】
撮影された映像中の対象物単体の数を計測し、所定エリア内の人の数や、道路・通路における人の流れを把握することが不可欠な用途に適用できる。
【符号の説明】
【００３６】
１・・・画像入力部、２・・・背景画像生成部、３・・・前景抽出処理部、４・・・部分前景領域生成部、５・・・荷重値テーブル記憶部、６・・・部分物体数算出部、７・・・全体物体数算出部、８・・・全体物体数出力部、４０・・・前景領域射影部、４１・・・部分前景射影生成部、６０・・・部分物体数算出部
【技術分野】
【０００１】
本発明は、撮影された映像中の対象物単体の数（以下、物体数と称する）を計測し、駅・バス停・その他の公共の場の人の物体数や、道路・通路における人の流れを把握する物体数計測装置、物体数計測方法及び物体数計測プログラムに関する。
【背景技術】
【０００２】
駅・バス停・道路・通路などにおいて、カメラで撮影した画像を画像処理することにより特定物体の物体数を計測する方法として特許文献１に記載の方法が公知である。この方法では、画像入力装置の姿勢と位置を含む外部パラメータと空間中の３次元点を対応づけた透視投影の関係を利用して、画像の各画素が物体の数にどれだけ寄与するかを数量的に表す寄与率としての荷重値を設定し、画像中で物体が存在する領域を示す前景領域と荷重値との積から画像中の物体数を推定している。この方法は、物体を物体単体として認識・検出することが困難な場合でも、前景領域としてさえ検出できれば物体数を推定できるという利点を持つ。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２９４７５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の先行技術では、対象物体のサイズおよび形状が特定の物である（具体的には、高さ・幅が既知の矩形）と仮定して荷重値を算出している。そのため、対象物体のサイズ・形状が前述の特定のサイズ・形状と異なる場合や、前景領域の誤検出・未検出や人物の歩行運動などによる画像上での物体形状の変化などが発生した場合には、１つの物体に起因する前景領域における荷重値の総和に端数が生じ、推定される物体数に誤差が生じるという問題がある。特に、画像中の物体数が少ない場合には、この誤差の推定物体数に対する影響が大きくなる。
【０００５】
本発明は、このような事情に鑑みてなされたもので、屋内・屋外に設置された単眼の監視カメラあるいは定点カメラを使って、撮影範囲内の物体数を物体が少ない場合でも精度よく計測することができる物体数計測装置、物体数計測方法及び物体数計測プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、画像中の物体の数を計測する物体数計測装置であって、画像の各画素の前記物体の数に対する寄与率を示す荷重値が定義された荷重値テーブルを記憶するテーブル記憶手段と、前記画像から物体が存在する領域を示す前景領域を抽出する前景抽出手段と、前記前景領域中の空間的に連続する部分前景領域を生成する部分前景領域生成手段と、生成された前記部分前景領域のそれぞれに含まれる各画素と前記荷重値テーブルから得られる当該画素の荷重値から物体の数を算出する部分物体数算出手段と、算出された各部分物体数から画像全体の物体数を算出する全体物体数算出手段とを備えることを特徴とする。
【０００７】
本発明は、画像中の物体の数を計測する物体数計測装置であって、画像の各画素の前記物体の数に対する寄与率を示す荷重値が定義された荷重値テーブルを記憶するテーブル記憶手段と、前記画像から物体が存在する領域を示す前景領域を抽出する前景抽出手段と、前記荷重値テーブルを参照して、前記荷重値による重み付けをした前記前景領域を前記画像の縦方向に射影した前景射影を生成する前景射影生成手段と、生成された前記前景射影から、前記前景射影が連続する部分前景射影を生成する部分前景射影生成手段と、生成された前記部分前景射影から物体の数を算出する部分物体数算出手段と、算出された各部分物体数から画像全体の物体数を算出する全体物体数算出手段とを備えることを特徴とする。
【０００８】
本発明は、画像中の物体の数を計測するために、画像の各画素の前記物体の数に対する寄与率を示す荷重値が定義された荷重値テーブルを記憶するテーブル記憶手段を備えた物体数計測装置における物体数計測方法であって、前記画像から物体が存在する領域を示す前景領域を抽出する前景抽出ステップと、前記前景領域中の空間的に連続する部分前景領域を生成する部分前景領域生成ステップと、生成された前記部分前景領域のそれぞれに含まれる各画素と前記荷重値テーブルから得られる当該画素の荷重値から物体の数を算出する部分物体数算出ステップと、算出された各部分物体数から画像全体の物体数を算出する全体物体数算出ステップとを有することを特徴とする。
【０００９】
本発明は、画像中の物体の数を計測するために、画像の各画素の前記物体の数に対する寄与率を示す荷重値が定義された荷重値テーブルを記憶するテーブル記憶手段を備えた物体数計測装置における物体数計測方法であって、前記画像から物体が存在する領域を示す前景領域を抽出する前景抽出処理ステップと、前記荷重値テーブルを参照して、前記荷重値による重み付けをした前記前景領域を前記画像の縦方向に射影した前景射影を生成する前景射影生成ステップと、生成された前記前景射影から、前記前景射影が連続する部分前景射影を生成する部分前景射影生成ステップと、生成された前記部分前景射影から物体の数を算出する部分物体数算出ステップと、算出された各部分物体数から画像全体の物体数を算出する全体物体数算出ステップとを有することを特徴とする。
【００１０】
本発明は、前記物体数計測方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、撮影範囲内の物体が少ない場合でも物体数を精度よく計測することができるという効果が得られる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態の構成を示すブロック図である。
【図２】図１に示す装置の動作を示すフローチャートである。
【図３】部分前景領域生成の一例を示す説明図である。
【図４】部分物体数算出による利点の一例を示す説明図である。
【図５】本発明の第２の実施形態の構成を示すブロック図である。
【図６】図５に示す装置の動作を示すフローチャートである。
【図７】前景領域射影および部分前景射影生成の一例を示す説明図である。
【図８】部分前景射影生成の一例を示す説明図である。
【発明を実施するための形態】
【００１３】
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による物体数計測装置を説明する。図１は同実施形態の構成を示すブロック図である。図１において、符号１は画像入力部であり、例えばカメラでリアルタイムに撮影された画像系列や、予め撮影し蓄積された画像系列を入力する。画像の蓄積には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する形態、または、ネットワークを介してリモートなデータ資源を利用する形態のどちらを利用しても良い。符号２は、画像入力部１により取得した画像から背景画像（動きのある物体が存在しない状態の画像）を生成する背景画像生成部である。符号３は画像入力部１によりで取得した画像と背景画像生成部２において生成した背景画像とから前景領域を検出・抽出する前景抽出処理部である。符号４は、前景抽出処理部３において抽出された前景領域を、前景領域中の空間的に連続な部分からなる部分前景領域に分割する部分前景領域生成部である。
【００１４】
符号５は、画像の各画素が物体の数にどれだけ寄与するかを数量的に表す寄与率としての荷重値を羅列した荷重値テーブルを記憶する荷重値テーブル記憶部である。荷重値テーブルは、処理の最中に生成しても良いし、あらかじめ生成し記録媒体などに記録したものを利用しても良い。符号６は、部分前景領域生成部４において生成された部分前景領域のそれぞれにおいて、それに含まれる各画素と荷重値テーブル記憶部５から得られる当該画素の荷重値から物体数を計測する部分物体数算出部である。符号７は、部分物体数算出部６において算出された各部分物体数から画像全体の物体数を算出する全体物体数算出部である。符号８は、全体物体数算出部７において算出された全体物体数を出力する全体物体数出力部である。
【００１５】
なお、背景画像生成部２、前景抽出処理部３、部分前景領域生成部４、部分物体数算出部６、および全体物体数算出部７における各処理は、例えばコンピュータにより実行される。
【００１６】
次に、図２を参照して、図１に示す物体数計測装置の処理動作を説明する。図２は、図１に示す物体数計測装置の処理動作を示すフローチャートである。まず、画像入力部１は時系列順に並ぶ画像系列のうち最初の１枚を取り込む（ステップＳ１）。続いて、背景画像生成部２は、取り込んだ画像から背景画像を生成する（ステップＳ２）。背景画像の生成方法は、例えば、最初に取り込んだ画像を固定背景として使用する方法や、取り込んだ画像を一定枚数蓄積し座標ごとに平均画素値をとった物を背景とする方法などが適用できる。なお、前記背景画像生成方法で蓄積する取り込んだ画像の枚数は、例えば、画像系列のフレームレートと、どれだけの時間範囲での平均画素値を取るかに応じて設定することができる（例えば、１０［ｆｐｓ］のときに５秒間の平均画素値を取る場合は５０枚となる）。
【００１７】
次に、前景抽出処理部３は、背景画像を用いて、画像入力部１において取り込んだ画像から移動する物体が存在する領域としての前景領域を抽出する（ステップＳ３）。前景領域の抽出は、文献：「C. Ridder, O. Munkelt and H. Kirchner, "Adaptive Background Estimation and Foreground Detection Using Kalman-Filtering," Proc. Int'l Conf. Recent Advances in Mechatronics, ICRAM '95, pp. 193-199, 1995.」、文献：「K. A. Patwardhan, G. Sapiro, V. Morellas, "Robust Foreground Detection in Video Using Pixel Layers," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 30, No. 4, 2008.」などに記載された様々な方法が知られており、公知の方法を適用できる。前景領域を表現するデータの形式としては、例えば、ステップＳ１において取り込んだ画像と同じ画素数で、前景領域として抽出された座標の画素を１、それ以外の画素を０とした２値画像（以下、これを前景画像と称する）を用いる。また、前景領域の検出漏れ・誤検出の影響を低減するために、この方法で生成された前景領域にモルフォロジ演算のオープニング（微小前景領域の除去）やクロージング（前景領域の穴埋め）などの処理を施しても良い。
【００１８】
次に、部分前景領域生成部４は、前景領域をもとに、空間的に連続した前景領域の部分である部分前景領域を生成する（ステップＳ４）。ここで用いる空間的な連続性の定義としては４連結、８連結など（図３参照）様々なものが適用できるが、ここではそれを限定しない。また、具体的な部分前景領域生成のアルゴリズムとしては、例えば、文献：「何，巣，鈴木，中村，伊藤，”高速２回走査ラベル付けアルゴリズム”，信学論（Ｄ），ｖｏｌ．Ｊ９１−Ｄ，ｎｏ．４，ｐｐ．１０１６−１０２４，２００８」などが知られており、このようなラベリング処理を利用することができる。
【００１９】
次に、部分物体数算出部６は、荷重値テーブル記憶部５に記憶された荷重値テーブルを参照して、部分前景領域生成部４により生成された部分前景領域それぞれについて部分物体数を計測する（ステップＳ５）。荷重値テーブルは、例えば特許文献１に記載された方法で生成されたものを用いることができる。ただし、特許文献１の方法に限らず、画像上に写る物体の画像上でのサイズの変化を基に画素値毎に重み付けするような広義の荷重値（例：斜め下向きのカメラで撮影した画像では手前側（画像の下方）では物体が大きく写り、奥側（画像の上方）では小さく写る。このサイズの変化を基に、何らかの幾何モデル、幾何計算により、画像の各画素に重み付けした値（物体に対応する前景領域に属する画素における総和をとることで、物体数を推定できるように指定されている値）を用いても良い。
【００２０】
部分物体数の算出は、例えば各部分前景領域について、その部分前景領域に含まれる前景である座標に対応する荷重値の総和を取り、その値を丸め処理で整数化することで行う。丸め処理としては四捨五入をはじめとして、いろいろな方法が知られているが、ここではその方法は限定しない。例えば、画像上において対象物体の影が発生しやすい場合など、余分な前景領域が検出されやすい状況においては、切り捨て分を大きくする（例えば、０．７未満は切り捨てる。０．７は閾値）など、適宜、適切な丸め処理を実装すれば良い。
【００２１】
逆に前景領域の抜けが起こりやすい場合（対象物体の一部が前景として検出されにくい状況）などには切り上げ分を大きくする（例えば、０．４以上は切り上げるなど）丸め処理を行うようにしてもよい。部分前景領域ごとに物体数を算出し整数化すると、画像全体の前景領域に対応する荷重値の総和を取る方法と比較して、算出される物体数の端数による誤差の累積を防ぐことができる。例えば、図４に示すように物体の影が前景として検出されてしまい、物体１つ当たりの荷重値総和が１．２ないし１．３になっている場合、前景領域全体の荷重値の和を取ると６．２となり、四捨五入して＋１の誤差が生じるが、部分物体数を算出すると、各部分前景領域で１となるため、全体物体数も５と正しく算出されることになる。
【００２２】
次に、全体物体数算出部７は、部分領域のそれぞれに対応する部分物体数の総和を取ることにより、全体物体数を算出する（ステップＳ６）。続いて、全体物体数出力部８は、全体物体数算出部７において算出された全体物体数を出力する（ステップＳ７）。そして、次の処理対象画像が存在するか否かを判定し（ステップＳ８）、存在すればステップＳ１に戻り、存在しなければ処理を終了する。
【００２３】
＜第２の実施形態＞
次に、本発明の第２の実施形態による物体数計測装置を説明する。第１の実施形態では、前景領域をもとに部分前景領域を生成する際、ラベリング処理を用いている。第１の実施形態のように、ラベリング処理を２次元の配列に対して実行する場合、一般に多くの計算時間を要する。第２の実施形態は、ラベリング処理を１次元の配列に対してのみ実行して、計算時間を短縮するものである。図５は、同実施形態の構成を示すブロック図である。この図において、図１に示す物体数計測装置と同一の部分には同一の符号を付し、その説明を省略する。図５に示す物体数計測装置が図１に示す物体数計測装置と異なる点は、部分前景領域生成部４と部分物体数算出部６に代えて、前景領域射影部４０、部分前景射影生成部４１及び部分物体数算出部６０が設けられ、前景領域射影部４０が荷重値テーブル記憶部５の荷重値を参照するようにした点である。
【００２４】
前景領域射影部４０は、前景抽出処理部３で抽出した前景領域と荷重値テーブル５から、荷重値による重み付けをした前景を画像縦方向に射影した前景射影を生成する。部分前景射影生成部４１は、前景領域射影部４０で生成された前景射影から、連続した非０の領域１つからなる部分前景射影を生成する。部分物体数算出部６０は、部分前景射影生成部４１で生成された部分前景射影のそれぞれについてその部分前景射影に対応する物体数を算出する。
【００２５】
次に、図６を参照して、図５に示す物体数計測装置の処理動作を説明する。図６は、図５に示す物体数計測装置の処理動作を示すフローチャートである。図６において、図２に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図６に示す動作が図２に示す動作と異なる点は、ステップＳ４、Ｓ５に代えて、ステップＳ４０、Ｓ４１、Ｓ５０を設けた点である。
【００２６】
まず、画像取得、背景画像生成、前景領域抽出（ステップＳ１〜Ｓ３）が行われ、前景抽出処理部３が前景領域の抽出を行った後、前景領域射影部４０は、前景抽出処理部３が抽出した前景領域と荷重値テーブル記憶部５に記憶された荷重値テーブルを参照して、荷重値による重み付けをした前景を画像縦方向に射影した前景射影を生成する（ステップＳ４０）。座標ｘ、ｙを図７に示すように取る場合、前景射影Ｐ（ｘ）は次式で算出される。
【数１】
【００２７】
ここで、ｐ（ｘ，ｙ）は、前景抽出処理部３によって生成された前景領域を前景画像で表した場合の座標（ｘ，ｙ）における画素値である。ｗ（ｘ，ｙ）は、荷重値テーブル記憶部５に記憶された荷重値テーブルの座標（ｘ，ｙ）における荷重値である。
【００２８】
次に、部分前景射影生成部４１は、前景領域射影部４０が生成した前景射影から、連続した非０の領域１つからなる部分前景射影を生成する（ステップＳ４１）。部分前景射影は、例えば、前景射影Ｐ（ｘ）が０でない点を１、そのほかの点を０として２値化した物を第１の実施形態のステップＳ４と同様にラベリングすることで得られる各部分領域について対応する座標のＰ（ｘ）を１つの部分前景射影とする方法が適用できる。
【００２９】
図７に、この方法で部分前景射影を設定した場合の例を示す。図７において、「部分前景射影１」、「部分前景射影２」、「部分前景射影３」が、設定した部分前景射影である。ここでのラベリングは１次元の配列に対するラベリングであるため、第１の実施形態で行われる２次元の配列に対するラベリングと比較して少ない計算時間で実行することができる。他にも、図８に示すように、Ｐ（ｘ）が極小となる点を境界として領域を区切ることによって部分前景射影を設定する方法も適用できる。画像内の物体数が多くなると、図８に示す例のように、射影中の２つの極大点の間にＰ（ｘ）＝０となる点が存在しない場合があるため、この方法が有効である。
【００３０】
次に、部分物体数算出部６０は、部分前景射影生成部４１により生成された部分前景射影それぞれについて部分物体数を計測する（ステップＳ５０）。部分物体数の算出は、例えば部分前景射影に含まれる範囲のＰ（ｘ）の総和を取り、その値を丸め処理で整数化することで行う。丸め処理の具体的方法は第１の実施形態のステップＳ５と同様に様々な方法が適用可能である。そして、全体物体数算出、全体物体数出力、処理の繰り返し判定（ステップＳ６〜Ｓ８）が行われる。
【００３１】
以上説明したように、時系列画像において、移動する対象物あるいは背景画像に対する前景領域を検出し、物体を物体単体として認識・検出することが困難な場合でも物体数を計測することができ、さらに、物体が少ない場合でも精度よく計測することができる。
【００３２】
なお、図１、図５における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより物体数計測処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００３３】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００３４】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の精神及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
【産業上の利用可能性】
【００３５】
撮影された映像中の対象物単体の数を計測し、所定エリア内の人の数や、道路・通路における人の流れを把握することが不可欠な用途に適用できる。
【符号の説明】
【００３６】
１・・・画像入力部、２・・・背景画像生成部、３・・・前景抽出処理部、４・・・部分前景領域生成部、５・・・荷重値テーブル記憶部、６・・・部分物体数算出部、７・・・全体物体数算出部、８・・・全体物体数出力部、４０・・・前景領域射影部、４１・・・部分前景射影生成部、６０・・・部分物体数算出部
【特許請求の範囲】
【請求項１】
画像中の物体の数を計測する物体数計測装置であって、
画像の各画素の前記物体の数に対する寄与率を示す荷重値が定義された荷重値テーブルを記憶するテーブル記憶手段と、
前記画像から物体が存在する領域を示す前景領域を抽出する前景抽出手段と、
前記前景領域中の空間的に連続する部分前景領域を生成する部分前景領域生成手段と、
生成された前記部分前景領域のそれぞれに含まれる各画素と前記荷重値テーブルから得られる当該画素の荷重値から物体の数を算出する部分物体数算出手段と、
算出された各部分物体数から画像全体の物体数を算出する全体物体数算出手段と
を備えることを特徴とする物体数計測装置。
【請求項２】
画像中の物体の数を計測する物体数計測装置であって、
画像の各画素の前記物体の数に対する寄与率を示す荷重値が定義された荷重値テーブルを記憶するテーブル記憶手段と、
前記画像から物体が存在する領域を示す前景領域を抽出する前景抽出手段と、
前記荷重値テーブルを参照して、前記荷重値による重み付けをした前記前景領域を前記画像の縦方向に射影した前景射影を生成する前景射影生成手段と、
生成された前記前景射影から、前記前景射影が連続する部分前景射影を生成する部分前景射影生成手段と、
生成された前記部分前景射影から物体の数を算出する部分物体数算出手段と、
算出された各部分物体数から画像全体の物体数を算出する全体物体数算出手段と
を備えることを特徴とする物体数計測装置。
【請求項３】
画像中の物体の数を計測するために、画像の各画素の前記物体の数に対する寄与率を示す荷重値が定義された荷重値テーブルを記憶するテーブル記憶手段を備えた物体数計測装置における物体数計測方法であって、
前記画像から物体が存在する領域を示す前景領域を抽出する前景抽出ステップと、
前記前景領域中の空間的に連続する部分前景領域を生成する部分前景領域生成ステップと、
生成された前記部分前景領域のそれぞれに含まれる各画素と前記荷重値テーブルから得られる当該画素の荷重値から物体の数を算出する部分物体数算出ステップと、
算出された各部分物体数から画像全体の物体数を算出する全体物体数算出ステップと
を有することを特徴とする物体数計測方法。
【請求項４】
画像中の物体の数を計測するために、画像の各画素の前記物体の数に対する寄与率を示す荷重値が定義された荷重値テーブルを記憶するテーブル記憶手段を備えた物体数計測装置における物体数計測方法であって、
前記画像から物体が存在する領域を示す前景領域を抽出する前景抽出処理ステップと、
前記荷重値テーブルを参照して、前記荷重値による重み付けをした前記前景領域を前記画像の縦方向に射影した前景射影を生成する前景射影生成ステップと、
生成された前記前景射影から、前記前景射影が連続する部分前景射影を生成する部分前景射影生成ステップと、
生成された前記部分前景射影から物体の数を算出する部分物体数算出ステップと、
算出された各部分物体数から画像全体の物体数を算出する全体物体数算出ステップと
を有することを特徴とする物体数計測方法。
【請求項５】
請求項３または４に記載の物体数計測方法をコンピュータに実行させるための物体数計測プログラム。
【請求項１】
画像中の物体の数を計測する物体数計測装置であって、
画像の各画素の前記物体の数に対する寄与率を示す荷重値が定義された荷重値テーブルを記憶するテーブル記憶手段と、
前記画像から物体が存在する領域を示す前景領域を抽出する前景抽出手段と、
前記前景領域中の空間的に連続する部分前景領域を生成する部分前景領域生成手段と、
生成された前記部分前景領域のそれぞれに含まれる各画素と前記荷重値テーブルから得られる当該画素の荷重値から物体の数を算出する部分物体数算出手段と、
算出された各部分物体数から画像全体の物体数を算出する全体物体数算出手段と
を備えることを特徴とする物体数計測装置。
【請求項２】
画像中の物体の数を計測する物体数計測装置であって、
画像の各画素の前記物体の数に対する寄与率を示す荷重値が定義された荷重値テーブルを記憶するテーブル記憶手段と、
前記画像から物体が存在する領域を示す前景領域を抽出する前景抽出手段と、
前記荷重値テーブルを参照して、前記荷重値による重み付けをした前記前景領域を前記画像の縦方向に射影した前景射影を生成する前景射影生成手段と、
生成された前記前景射影から、前記前景射影が連続する部分前景射影を生成する部分前景射影生成手段と、
生成された前記部分前景射影から物体の数を算出する部分物体数算出手段と、
算出された各部分物体数から画像全体の物体数を算出する全体物体数算出手段と
を備えることを特徴とする物体数計測装置。
【請求項３】
画像中の物体の数を計測するために、画像の各画素の前記物体の数に対する寄与率を示す荷重値が定義された荷重値テーブルを記憶するテーブル記憶手段を備えた物体数計測装置における物体数計測方法であって、
前記画像から物体が存在する領域を示す前景領域を抽出する前景抽出ステップと、
前記前景領域中の空間的に連続する部分前景領域を生成する部分前景領域生成ステップと、
生成された前記部分前景領域のそれぞれに含まれる各画素と前記荷重値テーブルから得られる当該画素の荷重値から物体の数を算出する部分物体数算出ステップと、
算出された各部分物体数から画像全体の物体数を算出する全体物体数算出ステップと
を有することを特徴とする物体数計測方法。
【請求項４】
画像中の物体の数を計測するために、画像の各画素の前記物体の数に対する寄与率を示す荷重値が定義された荷重値テーブルを記憶するテーブル記憶手段を備えた物体数計測装置における物体数計測方法であって、
前記画像から物体が存在する領域を示す前景領域を抽出する前景抽出処理ステップと、
前記荷重値テーブルを参照して、前記荷重値による重み付けをした前記前景領域を前記画像の縦方向に射影した前景射影を生成する前景射影生成ステップと、
生成された前記前景射影から、前記前景射影が連続する部分前景射影を生成する部分前景射影生成ステップと、
生成された前記部分前景射影から物体の数を算出する部分物体数算出ステップと、
算出された各部分物体数から画像全体の物体数を算出する全体物体数算出ステップと
を有することを特徴とする物体数計測方法。
【請求項５】
請求項３または４に記載の物体数計測方法をコンピュータに実行させるための物体数計測プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−８９１７４（Ｐ２０１３−８９１７４Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２３１８７０（Ｐ２０１１−２３１８７０）
【出願日】平成２３年１０月２１日（２０１１．１０．２１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月２１日（２０１１．１０．２１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]