被写体数推定方法、被写体数推定装置、被写体数推定プログラム
【課題】矩形以外の形状(シルエット)を持つ被写体に対しても、画素単位の処理によって被写体数推定を精度良く行う。
【解決手段】被写体の形状(シルエット)を任意形状の微小矩形で近似し、当該微小矩形における基準表面積の積算値を求める。そして、この微小矩形における基準表面積の積算値を加算して、被写体における基準表面積の積算値を算出する。その結果、矩形以外の形状を持つ被写体に対しても、画素単位の処理によって被写体数を推定することができ、被写体の表面積算出の際の誤差を低減することが可能となる。
【解決手段】被写体の形状(シルエット)を任意形状の微小矩形で近似し、当該微小矩形における基準表面積の積算値を求める。そして、この微小矩形における基準表面積の積算値を加算して、被写体における基準表面積の積算値を算出する。その結果、矩形以外の形状を持つ被写体に対しても、画素単位の処理によって被写体数を推定することができ、被写体の表面積算出の際の誤差を低減することが可能となる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像監視システム等において、カメラ映像を解析することにより、その場における被写体数を自動的に推定する画像処理技術に関する。
【背景技術】
【0002】
カメラ映像を用いて、その場所にいる人をカウントする技術については、既に様々な技術が提案されている。
【0003】
既に実用化されているものとしては、カメラを天井に設置し、真下向きに撮影した映像を用いて人数(その場所を通過した人数)を計測する技術が知られている。このように真下向きに撮影する方式の場合、画像上で人と人が重畳しない映像を得ることができるため、個々の人物の検出や追跡を画像処理で行うことが容易となり、高い精度を実現できるという長所を持っている。
【0004】
しかし、カメラを真下向きに設置しようとしても天井が低い場合には、ごく狭い範囲しか計測できないという問題点がある。また、建物の構造上の問題や安全管理上の問題から、天井にカメラを設置することができないような場合も多く存在しており、その適用範囲は限定されてしまう。
【0005】
一方、斜め下向き(もしくは、横向き)に設置されたカメラ映像から人数を計測する技術についても様々な技術が提案されている。具体的には、人物の形状に注目して人物らしい形状を画像内から検出する技術(形状マッチング技術)や、画像内の移動物体を追跡する技術(追跡技術,トラッキング技術)、またこれらを組み合わせた技術、などがある。
【0006】
ところが、これらは何れも画像内での総当り的な探索や照合を必要とするため、計算コストが大きくなり、これに伴って装置やシステムのコストが大きくなるという問題がある。
【0007】
この問題に対して、斜め下向きに設置されたカメラの映像から、比較的単純な信号処理のみで人数を計測する方法が非特許文献1において提案されている。この方法では、カメラキャリブレーションされていること(画像の各画素が実空間のどこの映像を撮影しているのかが概知なこと)を前提とし、画像上の画素と人物の表面積(シルエット上の面積)との関係をモデル化することにより、表面積に注目した人数推定を行っている。この方法は、基本的には画素単位の処理で人数を計測(推定)することができる。すなわち、総当り的な探索や照合を行う必要がないため、従来の形状マッチングや追跡技術と比較して大幅に計算コストが小さくなっている。
【先行技術文献】
【特許文献】
【0008】
【非特許文献1】Hiroyuki ARAI,Isao MIYAGAWA,Hideki KOIKE,Miki HASEYAMA「Estimating Number of People Using Calibrated Monocular Camera Based on Geometrical Analysis of Surface Area」,IEIEC TRANSACTIONS on Fundamentals of Electronics,Communications and Computer Sciences Vol.E92−A No8.pp1932−1938(電子情報通信学会英文論文誌).
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、この非特許文献1の方法は、人物の形状(シルエット)を矩形で近似したアルゴリズムとなっており、一方で実物の人物の形状(シルエット)は矩形ではないため、このことが原因で推定結果に誤差が発生してしまうという問題があった。
【0010】
以上示したようなことから、本発明は、矩形以外の形状(シルエット)を持つ被写体に対しても、画素単位の処理によって被写体数推定を精度良く行うことを主な課題とする。
【課題を解決するための手段】
【0011】
そこで、本発明は、前記の課題を解決するために、被写体の形状(シルエット)を複数の微小矩形に分割近似して微小矩形の表面積を算出し、任意の形状(シルエット)であっても、画素単位の処理によって被写体数を推定しようとするものである。
【0012】
なお、以降の説明において「被写体の形状」とは、カメラ方向から見た場合の「被写体のシルエット」を指すものとする。
【0013】
本発明は、前記従来の問題に鑑み、案出されたもので、その一態様は、カメラ映像を用いて、その撮影場所における被写体数を推定する被写体数推定装置が行う被写体数推定方法であって、入力画像中から前景画素を抽出することにより、個数を推定したい被写体を検出する前景検出ステップと、前記個々の被写体をそれぞれ2以上の微小矩形に近似する微小矩形分割ステップと、前記各微小矩形における基準表面積の積算値を算出する矩形面積算出ステップと、前景領域内の前記微小矩形における基準表面積の積算値を加算して、前記前景領域内における基準表面積の積算値を算出する前景面積算出ステップと、前記前景領域内における基準表面積の積算値を、被写体の固有表面積で除算して、被写体数を推定する被写体数算出ステップと、を有することを特徴とする。
【0014】
本発明の他の態様は、カメラ映像を用いて、その撮影場所における被写体数を推定する被写体数推定装置であって、入力画像中から前景画素を抽出することにより、個数を推定したい被写体を検出する前景検出手段と、前記個々の被写体をそれぞれ2以上の微小矩形に近似する微小矩形分割手段と、前記各微小矩形における基準表面積の積算値を算出する矩形面積算出手段と、前景領域内の前記微小矩形における基準表面積の積算値を加算して、前記前景領域内における基準表面積の積算値を算出する前景面積算出手段と、前記前景領域内における基準表面積の積算値を、被写体の固有表面積で除算して、被写体数を推定する被写体数算出手段と、を備えたことを特徴とする。
【0015】
なお、本発明は、前記方法の各ステップをコンピュータに実行させるプログラムの態様としてもよい。このプログラムは、記録媒体に格納した態様で提供してもよい。
【発明の効果】
【0016】
本発明によれば、矩形以外の形状(シルエット)を持つ被写体に対しても、画素単位の処理によって被写体数推定を精度良く行う被写体数推定方法を提供することが可能となる。
【図面の簡単な説明】
【0017】
【図1】実施形態における被写体数推定方法の処理を示すフローチャートである。
【図2】実施形態における被写体数推定装置の構成図である。
【図3】実施形態における被写体数推定装置のハードウェア構成図である。
【図4】画像上と実空間上における実際の被写体と平面図形を示す図である。
【図5】画像上と実空間上におけるカメラと被写体との関係を示す図である。
【図6】画像上の前景画素の集合を示す図である。
【図7】非特許文献1における人数計測方法の概略図である。
【図8】矩形と実際のシルエットとを示す図である。
【図9】微小矩形と、被写体のシルエットを示す図である。
【図10】画像と実空間との関係を示す図である。
【図11】被写体の一例を示す概略図である。
【発明を実施するための形態】
【0018】
本発明は、非特許文献1に示されている人数計測方法をベースにしており、非特許文献1が人物のシルエットを矩形に限定(近似)しているのに対し、これを任意の形状に対しても適用できるように拡張するものである。以下では、非特許文献1を参照しつつ、被写体数推定方法の概要を説明した後、本発明のポイントとなる任意形状への拡張について説明していく。
【0019】
なお、本明細書では、図4に示すように、平面状の図形を、実際の被写体と同じ位置にカメラCに正対するように配置した時、画像上の輪郭が同じになるような当該平面図形をその被写体のシルエットと呼ぶこととする。単に「シルエット」と言った場合は、図4に示すように、平面で形状,大きさ,接地位置(床面の高さがどこに相当するか)が指定されたものを指すものとする。
【0020】
また、本明細書での「表面積」とは、実際の被写体上の3次元的な表面上の面積ではなく、図4に示すようなシルエット上での面積を指すものとする。
【0021】
<基本原理>
〔1〕被写体数推定方法の概要
まず、非特許文献1に基づいて、被写体数推定方法の概要を説明する。非特許文献1は、人物のシルエット(形状と大きさ)が概知の矩形で近似できるという前提で、画面に映った被写体の表面積を算出することにより、人数の推定を行っている。
【0022】
また、非特許文献1,本願発明共に、カメラが床面に対してキャリブレーションされている状態、すなわち、カメラの各画素が実空間のどこを撮影しているのかがわかっている状態を前提としている。
【0023】
図5に示すように、画素に対応する実空間の範囲は遠方に向かうに従って広がっていくので、画素は実空間において錐に対応すると見做せる。画像座標系がx,y方向の方形状に整列する離散座標系であるとすると、この錐は四角錐となる(より具体的には、非特許文献1参照)。すなわち、キャリブレーションされている状態とは、カメラの画素(x,y:ピクセル座標)に対応する実空間上の錐が床面に対してどのようになっているのかが幾何学的に指定されていることを意味する。
【0024】
次に、非特許文献1および本発明の基本となる基準表面積(非特許文献1中では、SSA:Standard Surface Areaと称されている)について簡単に説明する。
【0025】
カメラCに正対して床面上に直立する高さH(人物の平均身長を想定)の平面状の矩形m(m1〜mn)を想定する。図5には、画素(x,y)が指定された時に、その画素に対応する錐が示されている。この錐が矩形m上でどのような大きさ(断面積の大きさ)に対応するかは、矩形mの立ち位置によって変化する。
【0026】
すなわち、矩形mの立ち位置がカメラCに近い位置であればその断面積は小さく、遠い位置であればその断面積は大きくなる。この矩形mの立ち位置が手前から奥に変化する中での断面積の平均値を基準表面積と呼ぶ。基準表面積は、全ての画素に対して1つずつの値が定義される。
【0027】
画素(x,y)に関する基準表面積を下記(1)式のように表す。
【0028】
【数1】
【0029】
この基準表面積は、以下に示すような重要な性質を持っている。床面上に、高さH(基準表面積の算出に用いた人物の想定身長と同一の高さ),幅D,表面積S0=D・Hの矩形mが存在している場合、これをカメラCで撮影した時の画像(i1〜i4)上の矩形mに対応する領域(以下、前景領域と称する)をfとすると、この前景領域fにおける基準表面積の積算値は、下記(2)式となる。なお、下記(2)式のTzは、床面からカメラCまでの高さを示す。
【0030】
【数2】
【0031】
上記(2)式からわかるように、基準表面積の積算値は、矩形mの立ち位置(X,Y)に依存しない値となっている。すなわち、図6に示すように、矩形mがどの位置にあろうとも、矩形m(前景領域f,f´,f″)における基準表面積の積算値は同じ値となる。矩形m内における基準表面積の積算値を、矩形の固有表面積と呼ぶことにする。
【0032】
非特許文献1では、上記(2)式の高さH(Hは想定身長),幅Dの矩形の固有表面積の性質を用いて、人数の推定値を算出している。具体的には、図7に示すように、まず、与えられた入力画像から前景画素を検出する。なお、ここでは、常にそこに静止している物体に対応する画素を背景画素,一時的にそこに現れた物体に対応する画素を前景画素と呼ぶこととする。前景画素の検出方法については、数多くの方法が提案されているが、ここではどのような方法で前景画素検出を行うかは限定しない。
【0033】
次に、検出された前景画素の基準表面積を積算し、全前景画素の基準表面積の積算値を算出する。そして、この基準表面積の積算値を、上記(2)式で示される矩形(高さH,幅Dの矩形)の固有表面積で除算することにより、推定人数を得ている。
【0034】
なお、非特許文献1においては、さらに、人物同士の重なり(オクルージョン)の影響を加味することにより最終的な人数を算出しているが、この部分は本願発明と直接関係しないため割愛する。
【0035】
以上が非特許文献1による人数推定方法の概要であるが、図8に示すように、実物の人物のシルエットは矩形とは異なるため、実際のシルエットにおける基準表面積の積算値と、矩形の固有表面積との間には差異が生じる。このため、非特許文献1の方法を、矩形以外の形状の被写体に適用すると、誤差が発生することになる。
【0036】
〔2〕任意形状への拡張
本発明は、上述した非特許文献1の問題点を解決するために、矩形ではなく任意の形状(シルエット)における固有表面積を算出することにより、人物等の被写体の数を推定しようとするものである。本発明は、非特許文献1と同様に人物のシルエット(形状と大きさ)が概知であることを前提とするが、その形状は限定しない。以下、詳細を示す。
【0037】
まず、任意の形状(シルエット)に拡張するための理論を以下に示す。非特許文献1に示されている下記(3)式に、非特許文献1に示されている下記(4)式を代入して整理すると、床面上に直立する高さH,幅Dにおける矩形の基準表面積の積算値は下記(5)式となる。
【0038】
【数3】
【0039】
上記(5)式中のuは、矩形の縦方向の座標を示す変数である。床面に平行,垂直な2辺を持った微小矩形を考え、上記(5)式において、実空間上の高さ(積分範囲)をh1〜u〜h2,実空間上の幅→dとすれば、図9に示すような、下端の高さh1,上端の高さh2,幅dの微小矩形における基準表面積の積算値s(d,h1,h2)を求めることができる。このように、書き換えを行い積分を実行すると、下記(6)式(各微小矩形と画素毎に設定された基準表面積との間に成り立つ幾何的な関係式)となり、微小矩形の固有表面積s(d,h1,h2)を算出することができる。
【0040】
【数4】
【0041】
図9に示すように、任意のシルエット形状は、微小矩形の集合として表現することができる。シルエットを構成する個々の微小矩形について、実空間上における下端の高さh1,実空間上における上端の高さh2,および実空間上における幅dが指定されれば、これらの個々の微小矩形における固有表面積s(d,h1,h2)を算出することができる。そして、シルエット形状内の全ての微小矩形における固有表面積s(d,h1,h2)を積算することにより、そのシルエット形状における固有表面積を求めることができる。
【0042】
シルエットを構成するj番目の微小矩形の幅をdj,下端高さをh1j,上端高さをh2jとし、その微小矩形における基準表面積の和(固有表面積)をsj(dj,h1j,h2j)とすると、シルエット全体についての基準表面積の積算値、つまり、シルエット全体についての固有表面積Sは、下記(7)式となる。
【0043】
【数5】
【0044】
上記(6),(7)式により、任意の形状(シルエット)であっても、それを微小な矩形に分割することによって、その形状(シルエット)における固有表面積を求めることができる。
【0045】
〔3〕具体的な実施形態
次に、図1〜図4,図10,図11に基づき本発明の実施形態を説明する。
【0046】
被写体数推定装置1は、映像監視システム等において、カメラ映像を解析することより、その場における被写体数を自動的に推定するものである。
【0047】
この被写体数推定装置1は、図3に示すように、計算機(コンピュータ等)により構成され、通常のコンピュータのハードウェアリソース、即ち、ROM21,RAM22,CPU23,通信インターフェイス(I/F)24,ハードディスクドライブ装置25,記憶媒体読取装置26,記憶媒体27などを備えている。
【0048】
このハードウェアリソースとソフトウェアリソースとの協働の結果、前記被写体数推定装置1は、図2に示すように、事前に推定対象となる被写体の面積を算出する幾何設定手段2と、入力画像から被写体数を推定する推定手段3と、を備える。
【0049】
前記幾何設定手段2は、設置されたカメラの各画素と実空間との幾何的な対応関係を示すキャリブレーションデータを計測するキャリブレーション手段4と、前記キャリブレーションデータを用いて各画素に対応する実空間上の表面積の平均値である基準表面積を画素毎に算出する基準表面積算出手段5と、推定したい被写体の形状を指定する被写体形状指定手段6と、前記被写体を2つ以上の微小矩形に近似する微小矩形分割手段7と、前記各微小矩形内における基準表面積の積算値である微小矩形の固有表面積を算出する矩形面積算出手段8と、前記各微小矩形の固有表面積を積算して被写体の固有表面積を算出する被写体面積算出手段9と、を備える。
【0050】
前記推定手段3は、処理対象となる画像系列を入力する画像入力手段10と、入力された画像データから前景画素を抽出することにより個数を推定したい被写体を検出する前景検出手段11と、前記画素毎の基準表面積を参照し前記前景領域内における当該基準表面積の積算値を算出する前景面積算出手段12と、前記前景領域内における基準表面積の積算値を前記被写体の固有表面積で除算して被写体数を推定する被写体数算出手段13と、終了条件が満たされたか否かを判定する終了判定手段14と、を備える。
【0051】
以下、任意の被写体形状(シルエット)が与えられた場合の被写体数推定方法の処理ステップの流れを、図1のフローチャートに基づき、事前の幾何設定処理(S11〜S16),推定処理(S21〜S25)の順に説明していく。
【0052】
〈事前の幾何設定処理:S11〜S16〉
S11(キャリブレーションステップ):まず、非特許文献1と同様に、キャリブレーション手段4で、カメラCが接地,固定された時点でカメラキャリブレーションを行う。本実施形態では、カメラCの高さTz,カメラCの3次元的な向きを示す3つの角度,カメラCの焦点距離fが必要となる。
【0053】
広角レンズなど、歪みが大きい光学系の場合は、必要に応じて光学系の歪みに関するパラメータも取得する。これらのパラメータを取得し、カメラCの各画素が実空間上でどのような錐となっているかを床面座標系で記述できるようにしておく。
【0054】
S12(基準表面積算出ステップ):次に、S11のキャリブレーション結果を利用し、基準表面積算出手段5において、各画素に対する基準表面積を算出する。
【0055】
ここで、基準表面積の算出方法を図10に基づいて説明する。画像上の各画素(x,y)に対して、〈1〉画素の実態をx±1/2,y±1/2の矩形とし、この4隅の4点について、〈2〉床面で対応する実空間座標と、〈3〉高さHの平面上で対応する実空間座標と、を求める。透視投影モデルに従うと、画像上で観測される2次元座標(x,y)と実空間上の座標(X,Y,Z)との間には、下記(8),(9)式の画像−実空間変換式が成り立つ。
【0056】
【数6】
【0057】
ここで、fはカメラの焦点距離であり、R11,R12,・・・,R33はカメラの3×3の回転行列の要素,T(TX,TY,TZ)はカメラの実空間における位置(視点位置)を示す。
【0058】
上記(8),(9)式から、Z=hとした場合、画素(x,y)で投影される実空間座標[Xh,Yh]は下記(10)式で決定される。
【0059】
【数7】
【0060】
この上記(10)式により、〈2〉床面で対応する実空間座標,〈3〉高さHの平面上で対応する実空間座標を求めることができる。
【0061】
これら〈2〉床面で対応する実空間座標,〈3〉高さHの平面上で対応する実空間座標が求まると、〈4〉高さH以下の部分立体(四角錐台)の体積V,〈5〉高さH以下の部分立体の長さ(カメラCの視点方向における床面上の長さ)Lを算出することができる。この体積Vを長さLで割ることにより,この部分立体をLの長さ方向に対する断面積の平均値つまり基準表面積を求めることができる((11)式)。この(11)式により、〈6〉各画素に対する基準表面積を求めることができる。算出された画素毎の基準表面積のデータは後述する計測時の処理で使用するため、一旦、記録媒体に記録しておく。
【0062】
【数8】
【0063】
S13(被写体形状指定ステップ):次に、被写体形状指定手段6において、計測対象となる被写体のシルエットを指定する。指定方法は、実際に計測した被写体のデータを計算機に入力しても良いし、何らかのデータを参照しながら計算機の画面上で,描画,指定するなどでも良い。いずれにしても、図11に示すように、実空間における実際のサイズでシルエットを画像化でき、その被写体の接地位置(図11の場合,下端)が指定されていれば良い。
【0064】
S14(微小矩形分割ステップ):次に、微小矩形分割手段7において、S13で入力された被写体形状(シルエット)を、微小な矩形の集まりに分割していく。分割方法としては、例えば、画像化したシルエットをライン上にスキャンしながら、被写体部分の始点と終点を検出していくことにより、ライン毎に微小矩形を検出していく方法が挙げられる。
【0065】
検出された個々の微小矩形について、床面から見た場合の下端位置h1および上端位置h2(実空間での高さ)及び幅d(実空間での幅)を記録していく。この際、図9に示すように、横方向にスキャンしても、縦方向にスキャンしても良い。この微小矩形の分割方法は、その他のどんな方法を用いても、微小矩形がどのような形で分割されても、本質的な問題は発生しないため良いものとする。
【0066】
S15(矩形面積算出ステップ):次に、矩形面積算出手段8において、前記カメラキャリブレーションデータ(カメラの接地高さTz)および上記(6)式を用いて、S14で分割された微小矩形毎の固有表面積(微小矩形毎の基準表面積の積算値)を算出する。
【0067】
S16(被写体面積算出ステップ):最後に、被写体面積算出手段9により、S15において算出された全ての微小矩形の固有表面積を積算し、被写体の固有表面積を算出する。この被写体固有表面積は後述の計測時の処理で使用するため,一旦記録媒体に保存しておく。
【0068】
〈計測時の処理:S21〜S25〉
次に、計測時の処理について説明する。ここでは、映像データが各瞬間のフレーム画像の系列として順次入力されることを想定して説明していく。
【0069】
S21(画像入力ステップ):まず、処理対象画像(フレーム画像)を画像入力手段10により順次読み込む。ここでは、その方法を限定しない。
【0070】
S22(前景検出ステップ):前景検出手段11において、S21で入力されたフレーム画像における前景画素を検出する。前景画素の検出方法は、既に様々な方法が提案されているが、本実施形態では、その方法を限定しない。また、前景検出の結果において、局所的なノイズの影響などを軽減するために、クロージングなどのモルフォロージー演算を行っても良い。いずれにしても、そのフレーム画像における各画素が、前景なのか背景なのかが判定されている状態を得ることができれば良い。
【0071】
S23(前景面積算出ステップ):前景面積算出手段12は、〈事前の幾何設定処理〉のS12において算出された基準表面積を画素毎に参照して、S22で検出された全ての前景画素における基準表面積の値を積算し、前景領域内における基準表面積の積算値を算出する。
【0072】
S24(人数算出ステップ):被写体数算出手段13は、S23で算出された前景領域における基準表面積の積算値を、〈事前の幾何設定処理〉のS16で算出された被写体固有表面積で除算することにより、被写体数(例えば、人数)の推定値を得る。この推定値を被写体数推定データとして出力する。
【0073】
S25(判定処理ステップ):終了判定手段14は、終了条件が満たされたか否かを判定する。終了条件が満たされなかった場合は、次の画像フレームに移行してS21〜S24の処理が繰り返される。S21〜S24の処理は、終了条件が満たされるまで順次繰り返し実行される。終了条件としては、終了指示のキーが押された,所定の時間になった,処理対象画像が無くなった等が挙げられる。
【0074】
以上示したように、本実施形態の被写体数推定方法を行うことにより、複数の任意形状の微小矩形で1つの被写体を近似することができる。そのため、矩形以外の形状(シルエット)を持つ被写体に対しても、画素単位の処理によって被写体数を推定することができ、被写体表面積算出の際の誤差を低減することが可能となる。その結果、被写体数推定データの精度が向上する。
≪プログラムなど≫
本発明は、前記被写体数推定装置1の各手段2(4〜9),3(10〜14)の一部もしくは全部として、コンピュータを機能させるプログラムとしても構成することができる。この場合には、S11〜S16,S21〜S25の全てのステップあるいは一部のステップをコンピュータに実行させる。
【0075】
このプログラムは、webサイトや電子メールなどネットワークを通じて提供することができる。また、プログラムは、CD−ROM,DVD−ROM,CD−R,CD−RW,DVD−R,DVD−RW,MO,HDD,Blu−ray Disk(登録商標)などの記録媒体に記録して、保存・配布することも可能である。この記録媒体は、記録媒体駆動装置を利用して読み出され、そのプログラムコード自体が前記実施形態の処理を実行するので、該記録媒体も本発明を実行する。
【0076】
以上、本発明において、記載された具体例に対してのみ詳細に説明したが、本発明の技術思想の範囲で多彩な変形および修正が可能であることは、当業者にとって明白なことであり、このような変形および修正が特許請求の範囲に属することは当然のことである。
【0077】
例えば、実施形態では、被写体の例として人物を挙げているが、被写体の形状と大きさが概知であれば、被写体はどのような形状であってもよい。さらに、被写体は接地した物体でなくともよい。
【0078】
また、実施形態では、幾何設定処理と計測時の処理を分けて記載しているが、幾何設定処理は事前に行っておけば計測時の計算コストが小さくなるという利点はあるものの、必ずしも事前に行う必要はなく処理の都度行ってもよい。
【0079】
例えば、入力画像中から前景画素を抽出することにより、個数を推定したい被写体を検出し、前記個々の被写体をそれぞれ2以上の微小矩形に近似して各微小矩形における基準表面積の積算値を求め、前景領域内の微小矩形における基準表面積の積算値を加算して前記前景領域内における基準表面積の積算値を算出してもよい。この前景領域内における基準表面積の積算値は、被写体の固有表面積で除算され、被写体数推定データとして出力される。
【0080】
さらに、本実施形態では、理論式(上記(6)式)にしたがって、被写体固有表面積を算出したが、前述したカメラキャリブレーション結果を用い、被写体を床面上の任意の位置に配置した場合の画像をシミュレーションで生成し,そのシミュレーション画像上で,その被写体に属する画素について前述した基準表面積を加算していくことによっても求めることができる。
【符号の説明】
【0081】
1…被写体数推定装置
2…幾何設定手段
3…推定手段
4…キャリブレーション手段
5…基準表面積算出手段
6…被写体形状指定手段
7…微小矩形分割手段
8…矩形面積算出手段
9…被写体面積算出手段
10…画像入力手段
11…前景検出手段
12…前景面積算出手段
13…被写体数算出手段
14…終了判定手段
【技術分野】
【0001】
本発明は、映像監視システム等において、カメラ映像を解析することにより、その場における被写体数を自動的に推定する画像処理技術に関する。
【背景技術】
【0002】
カメラ映像を用いて、その場所にいる人をカウントする技術については、既に様々な技術が提案されている。
【0003】
既に実用化されているものとしては、カメラを天井に設置し、真下向きに撮影した映像を用いて人数(その場所を通過した人数)を計測する技術が知られている。このように真下向きに撮影する方式の場合、画像上で人と人が重畳しない映像を得ることができるため、個々の人物の検出や追跡を画像処理で行うことが容易となり、高い精度を実現できるという長所を持っている。
【0004】
しかし、カメラを真下向きに設置しようとしても天井が低い場合には、ごく狭い範囲しか計測できないという問題点がある。また、建物の構造上の問題や安全管理上の問題から、天井にカメラを設置することができないような場合も多く存在しており、その適用範囲は限定されてしまう。
【0005】
一方、斜め下向き(もしくは、横向き)に設置されたカメラ映像から人数を計測する技術についても様々な技術が提案されている。具体的には、人物の形状に注目して人物らしい形状を画像内から検出する技術(形状マッチング技術)や、画像内の移動物体を追跡する技術(追跡技術,トラッキング技術)、またこれらを組み合わせた技術、などがある。
【0006】
ところが、これらは何れも画像内での総当り的な探索や照合を必要とするため、計算コストが大きくなり、これに伴って装置やシステムのコストが大きくなるという問題がある。
【0007】
この問題に対して、斜め下向きに設置されたカメラの映像から、比較的単純な信号処理のみで人数を計測する方法が非特許文献1において提案されている。この方法では、カメラキャリブレーションされていること(画像の各画素が実空間のどこの映像を撮影しているのかが概知なこと)を前提とし、画像上の画素と人物の表面積(シルエット上の面積)との関係をモデル化することにより、表面積に注目した人数推定を行っている。この方法は、基本的には画素単位の処理で人数を計測(推定)することができる。すなわち、総当り的な探索や照合を行う必要がないため、従来の形状マッチングや追跡技術と比較して大幅に計算コストが小さくなっている。
【先行技術文献】
【特許文献】
【0008】
【非特許文献1】Hiroyuki ARAI,Isao MIYAGAWA,Hideki KOIKE,Miki HASEYAMA「Estimating Number of People Using Calibrated Monocular Camera Based on Geometrical Analysis of Surface Area」,IEIEC TRANSACTIONS on Fundamentals of Electronics,Communications and Computer Sciences Vol.E92−A No8.pp1932−1938(電子情報通信学会英文論文誌).
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、この非特許文献1の方法は、人物の形状(シルエット)を矩形で近似したアルゴリズムとなっており、一方で実物の人物の形状(シルエット)は矩形ではないため、このことが原因で推定結果に誤差が発生してしまうという問題があった。
【0010】
以上示したようなことから、本発明は、矩形以外の形状(シルエット)を持つ被写体に対しても、画素単位の処理によって被写体数推定を精度良く行うことを主な課題とする。
【課題を解決するための手段】
【0011】
そこで、本発明は、前記の課題を解決するために、被写体の形状(シルエット)を複数の微小矩形に分割近似して微小矩形の表面積を算出し、任意の形状(シルエット)であっても、画素単位の処理によって被写体数を推定しようとするものである。
【0012】
なお、以降の説明において「被写体の形状」とは、カメラ方向から見た場合の「被写体のシルエット」を指すものとする。
【0013】
本発明は、前記従来の問題に鑑み、案出されたもので、その一態様は、カメラ映像を用いて、その撮影場所における被写体数を推定する被写体数推定装置が行う被写体数推定方法であって、入力画像中から前景画素を抽出することにより、個数を推定したい被写体を検出する前景検出ステップと、前記個々の被写体をそれぞれ2以上の微小矩形に近似する微小矩形分割ステップと、前記各微小矩形における基準表面積の積算値を算出する矩形面積算出ステップと、前景領域内の前記微小矩形における基準表面積の積算値を加算して、前記前景領域内における基準表面積の積算値を算出する前景面積算出ステップと、前記前景領域内における基準表面積の積算値を、被写体の固有表面積で除算して、被写体数を推定する被写体数算出ステップと、を有することを特徴とする。
【0014】
本発明の他の態様は、カメラ映像を用いて、その撮影場所における被写体数を推定する被写体数推定装置であって、入力画像中から前景画素を抽出することにより、個数を推定したい被写体を検出する前景検出手段と、前記個々の被写体をそれぞれ2以上の微小矩形に近似する微小矩形分割手段と、前記各微小矩形における基準表面積の積算値を算出する矩形面積算出手段と、前景領域内の前記微小矩形における基準表面積の積算値を加算して、前記前景領域内における基準表面積の積算値を算出する前景面積算出手段と、前記前景領域内における基準表面積の積算値を、被写体の固有表面積で除算して、被写体数を推定する被写体数算出手段と、を備えたことを特徴とする。
【0015】
なお、本発明は、前記方法の各ステップをコンピュータに実行させるプログラムの態様としてもよい。このプログラムは、記録媒体に格納した態様で提供してもよい。
【発明の効果】
【0016】
本発明によれば、矩形以外の形状(シルエット)を持つ被写体に対しても、画素単位の処理によって被写体数推定を精度良く行う被写体数推定方法を提供することが可能となる。
【図面の簡単な説明】
【0017】
【図1】実施形態における被写体数推定方法の処理を示すフローチャートである。
【図2】実施形態における被写体数推定装置の構成図である。
【図3】実施形態における被写体数推定装置のハードウェア構成図である。
【図4】画像上と実空間上における実際の被写体と平面図形を示す図である。
【図5】画像上と実空間上におけるカメラと被写体との関係を示す図である。
【図6】画像上の前景画素の集合を示す図である。
【図7】非特許文献1における人数計測方法の概略図である。
【図8】矩形と実際のシルエットとを示す図である。
【図9】微小矩形と、被写体のシルエットを示す図である。
【図10】画像と実空間との関係を示す図である。
【図11】被写体の一例を示す概略図である。
【発明を実施するための形態】
【0018】
本発明は、非特許文献1に示されている人数計測方法をベースにしており、非特許文献1が人物のシルエットを矩形に限定(近似)しているのに対し、これを任意の形状に対しても適用できるように拡張するものである。以下では、非特許文献1を参照しつつ、被写体数推定方法の概要を説明した後、本発明のポイントとなる任意形状への拡張について説明していく。
【0019】
なお、本明細書では、図4に示すように、平面状の図形を、実際の被写体と同じ位置にカメラCに正対するように配置した時、画像上の輪郭が同じになるような当該平面図形をその被写体のシルエットと呼ぶこととする。単に「シルエット」と言った場合は、図4に示すように、平面で形状,大きさ,接地位置(床面の高さがどこに相当するか)が指定されたものを指すものとする。
【0020】
また、本明細書での「表面積」とは、実際の被写体上の3次元的な表面上の面積ではなく、図4に示すようなシルエット上での面積を指すものとする。
【0021】
<基本原理>
〔1〕被写体数推定方法の概要
まず、非特許文献1に基づいて、被写体数推定方法の概要を説明する。非特許文献1は、人物のシルエット(形状と大きさ)が概知の矩形で近似できるという前提で、画面に映った被写体の表面積を算出することにより、人数の推定を行っている。
【0022】
また、非特許文献1,本願発明共に、カメラが床面に対してキャリブレーションされている状態、すなわち、カメラの各画素が実空間のどこを撮影しているのかがわかっている状態を前提としている。
【0023】
図5に示すように、画素に対応する実空間の範囲は遠方に向かうに従って広がっていくので、画素は実空間において錐に対応すると見做せる。画像座標系がx,y方向の方形状に整列する離散座標系であるとすると、この錐は四角錐となる(より具体的には、非特許文献1参照)。すなわち、キャリブレーションされている状態とは、カメラの画素(x,y:ピクセル座標)に対応する実空間上の錐が床面に対してどのようになっているのかが幾何学的に指定されていることを意味する。
【0024】
次に、非特許文献1および本発明の基本となる基準表面積(非特許文献1中では、SSA:Standard Surface Areaと称されている)について簡単に説明する。
【0025】
カメラCに正対して床面上に直立する高さH(人物の平均身長を想定)の平面状の矩形m(m1〜mn)を想定する。図5には、画素(x,y)が指定された時に、その画素に対応する錐が示されている。この錐が矩形m上でどのような大きさ(断面積の大きさ)に対応するかは、矩形mの立ち位置によって変化する。
【0026】
すなわち、矩形mの立ち位置がカメラCに近い位置であればその断面積は小さく、遠い位置であればその断面積は大きくなる。この矩形mの立ち位置が手前から奥に変化する中での断面積の平均値を基準表面積と呼ぶ。基準表面積は、全ての画素に対して1つずつの値が定義される。
【0027】
画素(x,y)に関する基準表面積を下記(1)式のように表す。
【0028】
【数1】
【0029】
この基準表面積は、以下に示すような重要な性質を持っている。床面上に、高さH(基準表面積の算出に用いた人物の想定身長と同一の高さ),幅D,表面積S0=D・Hの矩形mが存在している場合、これをカメラCで撮影した時の画像(i1〜i4)上の矩形mに対応する領域(以下、前景領域と称する)をfとすると、この前景領域fにおける基準表面積の積算値は、下記(2)式となる。なお、下記(2)式のTzは、床面からカメラCまでの高さを示す。
【0030】
【数2】
【0031】
上記(2)式からわかるように、基準表面積の積算値は、矩形mの立ち位置(X,Y)に依存しない値となっている。すなわち、図6に示すように、矩形mがどの位置にあろうとも、矩形m(前景領域f,f´,f″)における基準表面積の積算値は同じ値となる。矩形m内における基準表面積の積算値を、矩形の固有表面積と呼ぶことにする。
【0032】
非特許文献1では、上記(2)式の高さH(Hは想定身長),幅Dの矩形の固有表面積の性質を用いて、人数の推定値を算出している。具体的には、図7に示すように、まず、与えられた入力画像から前景画素を検出する。なお、ここでは、常にそこに静止している物体に対応する画素を背景画素,一時的にそこに現れた物体に対応する画素を前景画素と呼ぶこととする。前景画素の検出方法については、数多くの方法が提案されているが、ここではどのような方法で前景画素検出を行うかは限定しない。
【0033】
次に、検出された前景画素の基準表面積を積算し、全前景画素の基準表面積の積算値を算出する。そして、この基準表面積の積算値を、上記(2)式で示される矩形(高さH,幅Dの矩形)の固有表面積で除算することにより、推定人数を得ている。
【0034】
なお、非特許文献1においては、さらに、人物同士の重なり(オクルージョン)の影響を加味することにより最終的な人数を算出しているが、この部分は本願発明と直接関係しないため割愛する。
【0035】
以上が非特許文献1による人数推定方法の概要であるが、図8に示すように、実物の人物のシルエットは矩形とは異なるため、実際のシルエットにおける基準表面積の積算値と、矩形の固有表面積との間には差異が生じる。このため、非特許文献1の方法を、矩形以外の形状の被写体に適用すると、誤差が発生することになる。
【0036】
〔2〕任意形状への拡張
本発明は、上述した非特許文献1の問題点を解決するために、矩形ではなく任意の形状(シルエット)における固有表面積を算出することにより、人物等の被写体の数を推定しようとするものである。本発明は、非特許文献1と同様に人物のシルエット(形状と大きさ)が概知であることを前提とするが、その形状は限定しない。以下、詳細を示す。
【0037】
まず、任意の形状(シルエット)に拡張するための理論を以下に示す。非特許文献1に示されている下記(3)式に、非特許文献1に示されている下記(4)式を代入して整理すると、床面上に直立する高さH,幅Dにおける矩形の基準表面積の積算値は下記(5)式となる。
【0038】
【数3】
【0039】
上記(5)式中のuは、矩形の縦方向の座標を示す変数である。床面に平行,垂直な2辺を持った微小矩形を考え、上記(5)式において、実空間上の高さ(積分範囲)をh1〜u〜h2,実空間上の幅→dとすれば、図9に示すような、下端の高さh1,上端の高さh2,幅dの微小矩形における基準表面積の積算値s(d,h1,h2)を求めることができる。このように、書き換えを行い積分を実行すると、下記(6)式(各微小矩形と画素毎に設定された基準表面積との間に成り立つ幾何的な関係式)となり、微小矩形の固有表面積s(d,h1,h2)を算出することができる。
【0040】
【数4】
【0041】
図9に示すように、任意のシルエット形状は、微小矩形の集合として表現することができる。シルエットを構成する個々の微小矩形について、実空間上における下端の高さh1,実空間上における上端の高さh2,および実空間上における幅dが指定されれば、これらの個々の微小矩形における固有表面積s(d,h1,h2)を算出することができる。そして、シルエット形状内の全ての微小矩形における固有表面積s(d,h1,h2)を積算することにより、そのシルエット形状における固有表面積を求めることができる。
【0042】
シルエットを構成するj番目の微小矩形の幅をdj,下端高さをh1j,上端高さをh2jとし、その微小矩形における基準表面積の和(固有表面積)をsj(dj,h1j,h2j)とすると、シルエット全体についての基準表面積の積算値、つまり、シルエット全体についての固有表面積Sは、下記(7)式となる。
【0043】
【数5】
【0044】
上記(6),(7)式により、任意の形状(シルエット)であっても、それを微小な矩形に分割することによって、その形状(シルエット)における固有表面積を求めることができる。
【0045】
〔3〕具体的な実施形態
次に、図1〜図4,図10,図11に基づき本発明の実施形態を説明する。
【0046】
被写体数推定装置1は、映像監視システム等において、カメラ映像を解析することより、その場における被写体数を自動的に推定するものである。
【0047】
この被写体数推定装置1は、図3に示すように、計算機(コンピュータ等)により構成され、通常のコンピュータのハードウェアリソース、即ち、ROM21,RAM22,CPU23,通信インターフェイス(I/F)24,ハードディスクドライブ装置25,記憶媒体読取装置26,記憶媒体27などを備えている。
【0048】
このハードウェアリソースとソフトウェアリソースとの協働の結果、前記被写体数推定装置1は、図2に示すように、事前に推定対象となる被写体の面積を算出する幾何設定手段2と、入力画像から被写体数を推定する推定手段3と、を備える。
【0049】
前記幾何設定手段2は、設置されたカメラの各画素と実空間との幾何的な対応関係を示すキャリブレーションデータを計測するキャリブレーション手段4と、前記キャリブレーションデータを用いて各画素に対応する実空間上の表面積の平均値である基準表面積を画素毎に算出する基準表面積算出手段5と、推定したい被写体の形状を指定する被写体形状指定手段6と、前記被写体を2つ以上の微小矩形に近似する微小矩形分割手段7と、前記各微小矩形内における基準表面積の積算値である微小矩形の固有表面積を算出する矩形面積算出手段8と、前記各微小矩形の固有表面積を積算して被写体の固有表面積を算出する被写体面積算出手段9と、を備える。
【0050】
前記推定手段3は、処理対象となる画像系列を入力する画像入力手段10と、入力された画像データから前景画素を抽出することにより個数を推定したい被写体を検出する前景検出手段11と、前記画素毎の基準表面積を参照し前記前景領域内における当該基準表面積の積算値を算出する前景面積算出手段12と、前記前景領域内における基準表面積の積算値を前記被写体の固有表面積で除算して被写体数を推定する被写体数算出手段13と、終了条件が満たされたか否かを判定する終了判定手段14と、を備える。
【0051】
以下、任意の被写体形状(シルエット)が与えられた場合の被写体数推定方法の処理ステップの流れを、図1のフローチャートに基づき、事前の幾何設定処理(S11〜S16),推定処理(S21〜S25)の順に説明していく。
【0052】
〈事前の幾何設定処理:S11〜S16〉
S11(キャリブレーションステップ):まず、非特許文献1と同様に、キャリブレーション手段4で、カメラCが接地,固定された時点でカメラキャリブレーションを行う。本実施形態では、カメラCの高さTz,カメラCの3次元的な向きを示す3つの角度,カメラCの焦点距離fが必要となる。
【0053】
広角レンズなど、歪みが大きい光学系の場合は、必要に応じて光学系の歪みに関するパラメータも取得する。これらのパラメータを取得し、カメラCの各画素が実空間上でどのような錐となっているかを床面座標系で記述できるようにしておく。
【0054】
S12(基準表面積算出ステップ):次に、S11のキャリブレーション結果を利用し、基準表面積算出手段5において、各画素に対する基準表面積を算出する。
【0055】
ここで、基準表面積の算出方法を図10に基づいて説明する。画像上の各画素(x,y)に対して、〈1〉画素の実態をx±1/2,y±1/2の矩形とし、この4隅の4点について、〈2〉床面で対応する実空間座標と、〈3〉高さHの平面上で対応する実空間座標と、を求める。透視投影モデルに従うと、画像上で観測される2次元座標(x,y)と実空間上の座標(X,Y,Z)との間には、下記(8),(9)式の画像−実空間変換式が成り立つ。
【0056】
【数6】
【0057】
ここで、fはカメラの焦点距離であり、R11,R12,・・・,R33はカメラの3×3の回転行列の要素,T(TX,TY,TZ)はカメラの実空間における位置(視点位置)を示す。
【0058】
上記(8),(9)式から、Z=hとした場合、画素(x,y)で投影される実空間座標[Xh,Yh]は下記(10)式で決定される。
【0059】
【数7】
【0060】
この上記(10)式により、〈2〉床面で対応する実空間座標,〈3〉高さHの平面上で対応する実空間座標を求めることができる。
【0061】
これら〈2〉床面で対応する実空間座標,〈3〉高さHの平面上で対応する実空間座標が求まると、〈4〉高さH以下の部分立体(四角錐台)の体積V,〈5〉高さH以下の部分立体の長さ(カメラCの視点方向における床面上の長さ)Lを算出することができる。この体積Vを長さLで割ることにより,この部分立体をLの長さ方向に対する断面積の平均値つまり基準表面積を求めることができる((11)式)。この(11)式により、〈6〉各画素に対する基準表面積を求めることができる。算出された画素毎の基準表面積のデータは後述する計測時の処理で使用するため、一旦、記録媒体に記録しておく。
【0062】
【数8】
【0063】
S13(被写体形状指定ステップ):次に、被写体形状指定手段6において、計測対象となる被写体のシルエットを指定する。指定方法は、実際に計測した被写体のデータを計算機に入力しても良いし、何らかのデータを参照しながら計算機の画面上で,描画,指定するなどでも良い。いずれにしても、図11に示すように、実空間における実際のサイズでシルエットを画像化でき、その被写体の接地位置(図11の場合,下端)が指定されていれば良い。
【0064】
S14(微小矩形分割ステップ):次に、微小矩形分割手段7において、S13で入力された被写体形状(シルエット)を、微小な矩形の集まりに分割していく。分割方法としては、例えば、画像化したシルエットをライン上にスキャンしながら、被写体部分の始点と終点を検出していくことにより、ライン毎に微小矩形を検出していく方法が挙げられる。
【0065】
検出された個々の微小矩形について、床面から見た場合の下端位置h1および上端位置h2(実空間での高さ)及び幅d(実空間での幅)を記録していく。この際、図9に示すように、横方向にスキャンしても、縦方向にスキャンしても良い。この微小矩形の分割方法は、その他のどんな方法を用いても、微小矩形がどのような形で分割されても、本質的な問題は発生しないため良いものとする。
【0066】
S15(矩形面積算出ステップ):次に、矩形面積算出手段8において、前記カメラキャリブレーションデータ(カメラの接地高さTz)および上記(6)式を用いて、S14で分割された微小矩形毎の固有表面積(微小矩形毎の基準表面積の積算値)を算出する。
【0067】
S16(被写体面積算出ステップ):最後に、被写体面積算出手段9により、S15において算出された全ての微小矩形の固有表面積を積算し、被写体の固有表面積を算出する。この被写体固有表面積は後述の計測時の処理で使用するため,一旦記録媒体に保存しておく。
【0068】
〈計測時の処理:S21〜S25〉
次に、計測時の処理について説明する。ここでは、映像データが各瞬間のフレーム画像の系列として順次入力されることを想定して説明していく。
【0069】
S21(画像入力ステップ):まず、処理対象画像(フレーム画像)を画像入力手段10により順次読み込む。ここでは、その方法を限定しない。
【0070】
S22(前景検出ステップ):前景検出手段11において、S21で入力されたフレーム画像における前景画素を検出する。前景画素の検出方法は、既に様々な方法が提案されているが、本実施形態では、その方法を限定しない。また、前景検出の結果において、局所的なノイズの影響などを軽減するために、クロージングなどのモルフォロージー演算を行っても良い。いずれにしても、そのフレーム画像における各画素が、前景なのか背景なのかが判定されている状態を得ることができれば良い。
【0071】
S23(前景面積算出ステップ):前景面積算出手段12は、〈事前の幾何設定処理〉のS12において算出された基準表面積を画素毎に参照して、S22で検出された全ての前景画素における基準表面積の値を積算し、前景領域内における基準表面積の積算値を算出する。
【0072】
S24(人数算出ステップ):被写体数算出手段13は、S23で算出された前景領域における基準表面積の積算値を、〈事前の幾何設定処理〉のS16で算出された被写体固有表面積で除算することにより、被写体数(例えば、人数)の推定値を得る。この推定値を被写体数推定データとして出力する。
【0073】
S25(判定処理ステップ):終了判定手段14は、終了条件が満たされたか否かを判定する。終了条件が満たされなかった場合は、次の画像フレームに移行してS21〜S24の処理が繰り返される。S21〜S24の処理は、終了条件が満たされるまで順次繰り返し実行される。終了条件としては、終了指示のキーが押された,所定の時間になった,処理対象画像が無くなった等が挙げられる。
【0074】
以上示したように、本実施形態の被写体数推定方法を行うことにより、複数の任意形状の微小矩形で1つの被写体を近似することができる。そのため、矩形以外の形状(シルエット)を持つ被写体に対しても、画素単位の処理によって被写体数を推定することができ、被写体表面積算出の際の誤差を低減することが可能となる。その結果、被写体数推定データの精度が向上する。
≪プログラムなど≫
本発明は、前記被写体数推定装置1の各手段2(4〜9),3(10〜14)の一部もしくは全部として、コンピュータを機能させるプログラムとしても構成することができる。この場合には、S11〜S16,S21〜S25の全てのステップあるいは一部のステップをコンピュータに実行させる。
【0075】
このプログラムは、webサイトや電子メールなどネットワークを通じて提供することができる。また、プログラムは、CD−ROM,DVD−ROM,CD−R,CD−RW,DVD−R,DVD−RW,MO,HDD,Blu−ray Disk(登録商標)などの記録媒体に記録して、保存・配布することも可能である。この記録媒体は、記録媒体駆動装置を利用して読み出され、そのプログラムコード自体が前記実施形態の処理を実行するので、該記録媒体も本発明を実行する。
【0076】
以上、本発明において、記載された具体例に対してのみ詳細に説明したが、本発明の技術思想の範囲で多彩な変形および修正が可能であることは、当業者にとって明白なことであり、このような変形および修正が特許請求の範囲に属することは当然のことである。
【0077】
例えば、実施形態では、被写体の例として人物を挙げているが、被写体の形状と大きさが概知であれば、被写体はどのような形状であってもよい。さらに、被写体は接地した物体でなくともよい。
【0078】
また、実施形態では、幾何設定処理と計測時の処理を分けて記載しているが、幾何設定処理は事前に行っておけば計測時の計算コストが小さくなるという利点はあるものの、必ずしも事前に行う必要はなく処理の都度行ってもよい。
【0079】
例えば、入力画像中から前景画素を抽出することにより、個数を推定したい被写体を検出し、前記個々の被写体をそれぞれ2以上の微小矩形に近似して各微小矩形における基準表面積の積算値を求め、前景領域内の微小矩形における基準表面積の積算値を加算して前記前景領域内における基準表面積の積算値を算出してもよい。この前景領域内における基準表面積の積算値は、被写体の固有表面積で除算され、被写体数推定データとして出力される。
【0080】
さらに、本実施形態では、理論式(上記(6)式)にしたがって、被写体固有表面積を算出したが、前述したカメラキャリブレーション結果を用い、被写体を床面上の任意の位置に配置した場合の画像をシミュレーションで生成し,そのシミュレーション画像上で,その被写体に属する画素について前述した基準表面積を加算していくことによっても求めることができる。
【符号の説明】
【0081】
1…被写体数推定装置
2…幾何設定手段
3…推定手段
4…キャリブレーション手段
5…基準表面積算出手段
6…被写体形状指定手段
7…微小矩形分割手段
8…矩形面積算出手段
9…被写体面積算出手段
10…画像入力手段
11…前景検出手段
12…前景面積算出手段
13…被写体数算出手段
14…終了判定手段
【特許請求の範囲】
【請求項1】
カメラ映像を用いて、その撮影場所における被写体数を推定する被写体数推定装置が行う被写体数推定方法であって、
入力画像中から前景画素を抽出することにより、個数を推定したい被写体を検出する前景検出ステップと、
前記個々の被写体をそれぞれ2以上の微小矩形に近似する微小矩形分割ステップと、
前記各微小矩形における基準表面積の積算値を算出する矩形面積算出ステップと、
前景領域内の前記微小矩形における基準表面積の積算値を加算して、前記前景領域内における基準表面積の積算値を算出する前景面積算出ステップと、
前記前景領域内における基準表面積の積算値を、被写体の固有表面積で除算して、被写体数を推定する被写体数算出ステップと、
を有することを特徴とする被写体数推定方法。
【請求項2】
カメラ映像を用いて、その撮影場所における被写体数を推定する被写体数推定装置が行う被写体数推定方法であって、
事前に推定対象となる被写体の面積を算出する幾何設定ステップと、入力画像から被写体数を推定する推定処理ステップと、を有し、
前記幾何設定ステップは、
設置されたカメラの各画素と実空間との幾何的な対応関係を示すキャリブレーションデータを計測するキャリブレーションステップと、
前記キャリブレーションデータを用いて、各画素に対応する実空間上の表面積の平均値である基準表面積を、画素毎に算出する基準表面積算出ステップと、
推定したい被写体の形状を指定する被写体形状指定ステップと、
前記被写体を2つ以上の微小矩形に近似する微小矩形分割ステップと、
前記各微小矩形内における基準表面積の積算値である微小矩形の固有表面積を算出する矩形面積算出ステップと、
前記各微小矩形の固有表面積を積算して、被写体の固有表面積を算出する被写体面積算出ステップと、を有し、
前記推定ステップは、
処理対象となる画像系列を入力する画像入力ステップと、
入力された画像データから前景画素を抽出することにより、個数を推定したい被写体を検出する前景検出ステップと、
前記画素毎の基準表面積を参照し、前記前景領域内における当該基準表面積の積算値を算出する前景面積算出ステップと、
前記前景領域内における基準表面積の積算値を、前記被写体の固有表面積で除算して被写体数を推定する被写体数算出ステップと、を有することを特徴とする被写体数推定方法。
【請求項3】
前記各微小矩形における基準表面積の積算値は、下記の各微小矩形と画素毎に設定された基準表面積との間に成り立つ幾何的な関係式により算出することを特徴とする請求項1または2記載の被写体数推定方法。
【数4】
【請求項4】
カメラ映像を用いて、その撮影場所における被写体数を推定する被写体数推定装置であって、
入力画像中から前景画素を抽出することにより、個数を推定したい被写体を検出する前景検出手段と、
前記個々の被写体をそれぞれ2以上の微小矩形に近似する微小矩形分割手段と、
前記各微小矩形における基準表面積の積算値を算出する矩形面積算出手段と、
前景領域内の前記微小矩形における基準表面積の積算値を加算して、前記前景領域内における基準表面積の積算値を算出する前景面積算出手段と、
前記前景領域内における基準表面積の積算値を、被写体の固有表面積で除算して、被写体数を推定する被写体数算出手段と、
を備えたことを特徴とする被写体数推定装置。
【請求項5】
前記請求項1〜3の何れか1項に記載の被写体数推定方法をコンピュータに実行させるためのプログラム。
【請求項1】
カメラ映像を用いて、その撮影場所における被写体数を推定する被写体数推定装置が行う被写体数推定方法であって、
入力画像中から前景画素を抽出することにより、個数を推定したい被写体を検出する前景検出ステップと、
前記個々の被写体をそれぞれ2以上の微小矩形に近似する微小矩形分割ステップと、
前記各微小矩形における基準表面積の積算値を算出する矩形面積算出ステップと、
前景領域内の前記微小矩形における基準表面積の積算値を加算して、前記前景領域内における基準表面積の積算値を算出する前景面積算出ステップと、
前記前景領域内における基準表面積の積算値を、被写体の固有表面積で除算して、被写体数を推定する被写体数算出ステップと、
を有することを特徴とする被写体数推定方法。
【請求項2】
カメラ映像を用いて、その撮影場所における被写体数を推定する被写体数推定装置が行う被写体数推定方法であって、
事前に推定対象となる被写体の面積を算出する幾何設定ステップと、入力画像から被写体数を推定する推定処理ステップと、を有し、
前記幾何設定ステップは、
設置されたカメラの各画素と実空間との幾何的な対応関係を示すキャリブレーションデータを計測するキャリブレーションステップと、
前記キャリブレーションデータを用いて、各画素に対応する実空間上の表面積の平均値である基準表面積を、画素毎に算出する基準表面積算出ステップと、
推定したい被写体の形状を指定する被写体形状指定ステップと、
前記被写体を2つ以上の微小矩形に近似する微小矩形分割ステップと、
前記各微小矩形内における基準表面積の積算値である微小矩形の固有表面積を算出する矩形面積算出ステップと、
前記各微小矩形の固有表面積を積算して、被写体の固有表面積を算出する被写体面積算出ステップと、を有し、
前記推定ステップは、
処理対象となる画像系列を入力する画像入力ステップと、
入力された画像データから前景画素を抽出することにより、個数を推定したい被写体を検出する前景検出ステップと、
前記画素毎の基準表面積を参照し、前記前景領域内における当該基準表面積の積算値を算出する前景面積算出ステップと、
前記前景領域内における基準表面積の積算値を、前記被写体の固有表面積で除算して被写体数を推定する被写体数算出ステップと、を有することを特徴とする被写体数推定方法。
【請求項3】
前記各微小矩形における基準表面積の積算値は、下記の各微小矩形と画素毎に設定された基準表面積との間に成り立つ幾何的な関係式により算出することを特徴とする請求項1または2記載の被写体数推定方法。
【数4】
【請求項4】
カメラ映像を用いて、その撮影場所における被写体数を推定する被写体数推定装置であって、
入力画像中から前景画素を抽出することにより、個数を推定したい被写体を検出する前景検出手段と、
前記個々の被写体をそれぞれ2以上の微小矩形に近似する微小矩形分割手段と、
前記各微小矩形における基準表面積の積算値を算出する矩形面積算出手段と、
前景領域内の前記微小矩形における基準表面積の積算値を加算して、前記前景領域内における基準表面積の積算値を算出する前景面積算出手段と、
前記前景領域内における基準表面積の積算値を、被写体の固有表面積で除算して、被写体数を推定する被写体数算出手段と、
を備えたことを特徴とする被写体数推定装置。
【請求項5】
前記請求項1〜3の何れか1項に記載の被写体数推定方法をコンピュータに実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−103896(P2012−103896A)
【公開日】平成24年5月31日(2012.5.31)
【国際特許分類】
【出願番号】特願2010−251751(P2010−251751)
【出願日】平成22年11月10日(2010.11.10)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】
【公開日】平成24年5月31日(2012.5.31)
【国際特許分類】
【出願日】平成22年11月10日(2010.11.10)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】
[ Back to top ]