混雑度計測装置、混雑度計測方法、混雑度計測プログラムおよびそのプログラムを記録した記録媒体
【課題】単眼の監視カメラ又は定点カメラを使い、撮影範囲内の物体の数（混雑度）を直接計測することができる混雑度計測装置を提供する。
【解決手段】カメラ１を使って物体を撮影し、例えば画像蓄積部２に蓄積した画像から物体領域を検出・抽出する物体抽出処理部３と、カメラ情報入力部４により入力した前記カメラ１の内部パラメータ、外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち物体の体積に寄与する体積を算出し、その画素が物体の数にどれだけ寄与するかを数量的に表す寄与率としての荷重値を全ての画素に対して求めて荷重値テーブルを生成する荷重値テーブル生成部５と、前記物体抽出処理部３で物体として検出・抽出された各画素と、前記荷重値テーブル生成部５で得た各画素の荷重値から混雑度を計測する混雑度計測部６とを備える。
【解決手段】カメラ１を使って物体を撮影し、例えば画像蓄積部２に蓄積した画像から物体領域を検出・抽出する物体抽出処理部３と、カメラ情報入力部４により入力した前記カメラ１の内部パラメータ、外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち物体の体積に寄与する体積を算出し、その画素が物体の数にどれだけ寄与するかを数量的に表す寄与率としての荷重値を全ての画素に対して求めて荷重値テーブルを生成する荷重値テーブル生成部５と、前記物体抽出処理部３で物体として検出・抽出された各画素と、前記荷重値テーブル生成部５で得た各画素の荷重値から混雑度を計測する混雑度計測部６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単眼カメラまたは複数カメラで撮影された映像に利用可能であり、映像中の対象物単体の数（これ以降、混雑度と称する）を計測し、駅・バス停・その他の公共の場の人の混雑度や、道路・通路における人の流れを把握する、混雑度計測装置、混雑度計測方法、混雑度計測プログラムおよびそのプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
監視空間において移動物体を計測する方法として特許文献１に記載の方法が公知である。この方法では、移動物体の表面積を事前に把握しておき、画像中から抽出した物体の画素領域から人数を計数する。また所定の監視空間内にｎ人の被写体を設置した擬似画像において、場所毎の人物の射影面積を算出して奥行き補正を行い、混雑度を算出する技術（非特許文献１）が公開されている。さらに、カメラ以外のセンサ（赤外線、レーザなど）を使った監視空間内の物体検出を混雑度計測に応用することも可能である。
【特許文献１】特許第３１９０８３３号、「移動物体計数処理方法」
【非特許文献１】新村貴彦、新井啓之、井上 潮、「確率的予測に基づく人流計測」、情報処理学会研究報２００４−ＣＶＩＭ−１４３−（１６）、ｐｐ．１１９−１２４、２００４．
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１の先行技術では、奥行きを考慮していないため、同じ大きさでも奥行きの違いで人数計測の誤差が大きくなる場合がある。これを改善するには、奥行きを計測する手段として複数カメラを使用した３次元計測が考えられる。しかしながら、ステレオ視ができるようなカメラ配置あるいは撮影装置が必要となる上、設置された既存の監視カメラや定点撮影カメラでは、複数のカメラで共通視野が確保されているとは限らず、３次元計測に十分な条件が与えられているとは限らないため、単眼カメラとして混雑度を計測することが求められる。また、公共の場所では、赤外線センサやレーザ計測などと併用するような監視カメラはまだ十分に普及しておらず、カメラ単体からの混雑度計測が一般的である。
【０００４】
一方非特許文献１では、物理的に何人という数値が直接出力されるわけではなく、あくまで奥行き補正により相対的な混雑比が得られるため、混雑度の増減を把握する程度には利用できるが、人を物理的に測定していないため、人数測定のために利用できない。
【０００５】
本発明は上記課題を解決するものであり、その目的は、屋内・屋外に設置された単眼の監視カメラあるいは定点カメラを使って、撮影範囲内の物体の数（混雑度）を直接計測することができる混雑度計測装置、混雑度計測方法、混雑度計測プログラムおよびそのプログラムを記録した記録媒体を提供することにある。
【課題を解決するための手段】
【０００６】
図１にカメラと対象物の配置を示す。空間中の３次元座標は世界座標系ＸwＹwＺwで表現することができる。世界座標系の原点をＯとし、Ｘw軸は図１（ａ）において紙面の表から裏の方向、Ｙw軸は水平方向、Ｚw軸は垂直方向をそれぞれ向いている。図１（ｂ）はＺw軸方向から見たカメラと対象物の配置を示している。
【０００７】
この座標系においてカメラの視点を（Ｔｘ，Ｔｙ，Ｔｚ）で表現されるものとする。本発明では、混雑度をカメラで観測された対象物の視体積（見かけ上の体積）から算出する。視体積とはカメラで外界を撮影したときの視点から外界へ向かう錐体の体積を意味する。図２では、視野の下限と上限、並びに基準平面（床面、地面など）で囲まれた四角錐であり、視体積Ｖは基準平面上の底面の面積をＳとするとＶ＝Ｓ×Ｔｚ／３で与えられる。本発明の混雑度計測とは、この視体積中の対象物の体積をカメラで得た観測画像から計測することである。
【０００８】
説明の便宜上、視体積を２次元として考える。図３において対象物の高さをｈ（一定）とし、Ｙw方向に一定の微小間隔ΔｌでＮ分割し、その量子化した奥行きに応じて高さｈ、厚さΔｌの板を敷き詰めることを想定する。このモデルにおいて１画素の人物への寄与率（１画素が何人に相当するかを表す物理量）を算出する。図３において画像ｐに投影される微小の視体積の中で高さｈまでの空間にある体積は太枠で囲んだ領域であり、この領域内の高さをそれぞれｈkとすると、画素ｐへ投影される寄与率は各奥行きｋ＝１，２，…，Ｎに対してそれぞれｈk／ｈとなる。この寄与率を、式（１）で示すように、各奥行きにわたって平均化すると１画素あたりの寄与率Δｗが得られる。ここで、図３の太枠の領域について、それぞれの奥行きでの微小面積ΔＳkは式（２）で与えられるので、式（１）、（２）から１画素の寄与率Δｗは式（３）になる。ただし、ΔＳは微小面積ΔＳkを奥行き方向に加算した値（すなわち太枠の領域の面積）である。
【０００９】
【数１】
【００１０】
この寄与率を空間中の視体積を使って算出する。図４は図３を立体的に表現した１画素の視体積Ｖを示す。カメラの視点座標を（Ｔｘ，Ｔｙ，Ｔｚ）とし、その視点で観測される画像上での画素ｐに対する寄与率Δｗを算出する。まず、画像上での各画素が正方格子の形状であると仮定し、画素ｐの画像座標（ｘj，ｙj）の４近傍のサブ画像座標ｐ1＝（ｘj＋１／２，ｙj−１／２），ｐ2＝（ｘj＋１／２，ｙj＋１／２），ｐ3＝（ｘj−１／２，ｙj＋１／２），ｐ4＝（ｘj−１／２，ｙj−１／２）に投影される空間中の３次元位置を算出する。ここで、カメラによる幾何的射影をピンホールカメラに従った透視投影にモデル化できると仮定する。世界座標系で表された３次元点をＰj＝（Ｘj，Ｙj，Ｚj）、カメラ視点の位置を（Ｔｘ，Ｔｙ，Ｔｚ）とすると、点Ｐjの画像上で観測される２次元座標値（ｘj，ｙj）は式（４）、（５）で与えられる。ここで、ｆは画素を単位とした焦点距離、Ｒ11，Ｒ12，…，Ｒ33は式（６）に示す３×３の回転行列の要素に対応する。
【００１１】
【数２】
【００１２】
この透視投影の関係式から、Ｚj＝ｈ（対象物の高さ）での（Ｘj，Ｙj）は式（７）で与えられる（ｈ＝０は基準平面上の点になる）。
【００１３】
【数３】
【００１４】
したがって、この式（７）に、画素ｐの画像座標（ｘj，ｙj）の４近傍のサブ画像座標をそれぞれ代入すると、空間中での４つの位置（Ｘj，Ｙj，ｈ）が得られる。その後の説明に必要なので、画素ｐの４近傍の画素に対する高さｈでのＸＹ位置をそれぞれＡn，ｎ＝１，２，３，４，基準平面ｈ＝０でのＸＹ位置をそれぞれＢn，ｎ＝１，２，３，４，さらに画素ｐの画像座標（ｘj，ｙj）を式（７）に代入して得た平面Ｚ＝０での３次元位置をＢ＝（Ｘj，Ｙj，０）とする。また、ＸＹ平面上での視点位置ｓ＝（Ｔｘ，Ｔｙ，０）を基準として、平面Ｚ＝ｈと視体積Ｖの交差する四角形の頂点に対して点ｓから最も近い点をＡ1＝（Ｘs，Ｙs，ｈ）とし、視体積Ｖの底面での四角形の頂点に対して点ｓから最も遠い点をＢ2＝（Ｘe，Ｙe，０）とする。
【００１５】
図４にて、点ｓから点Ｂへの方向（画素中心方向）に垂直な面積Ｓの矩形面ＸＺ（後に、対象物の表面積を表す平均の面積として扱う）を仮設する。Ｘ，Ｙ平面上にて視線方向は、図５に示すようにベクトルａで表すことができる。矩形面ＸＺが視線方向ａに微小区間Δｌごとに移動して、基準平面から高さｈまでの視体積と交差する各断面積ΔＳkを考える。視点方向から移動すると、点Ａ1で１点から交差し始め、視体積Ｖと断面ΔＳkと交差して、最後に点Ｂ1で１点で交差し終わる。この各断面を微小区間Δｌごとに積分すると平行四角錘の体積（画素ｐへ投影される実効的な視体積）となる。矩形面ＸＺが微小間隔Δｌで平行移動したとき、式（８）に示すように面積Ｓに対する断面積ΔＳkの平均値ｗ（ｘ，ｙ）を人数への寄与率と定義する。
【００１６】
式（８）の平均値は式（９）のように長さＬ（ｘ，ｙ）で割って加算した値と等しいので、結局、寄与率ｗ（ｘ，ｙ）は式（１０）に表すことができる。
【００１７】
【数４】
【００１８】
ここで式（１０）のＬ（ｘ、ｙ）は平行四角錘の視線方向の長さを表し、式（１１）で与えられる。この長さＬ（ｘ、ｙ）は、図５の線分Ａ1Ｂ2の長さを視線方向（ベクトルａ）に射影した長さであり、各ベクトルａ，ｂは点ｓ，Ａ1，Ｂ2，Ｂの各座標から式（１２）、式（１３）のように示される。
【００１９】
【数５】
【００２０】
また、式（１０）のＶ（ｘ，ｙ）は平行四角錘の体積である。つまり、平行四角錘の体積Ｖ（ｘ，ｙ）とその体積の視線方向の長さＬ（ｘ，ｙ）が分かれば、式（１０）により寄与率ｗ（ｘ，ｙ）を算出することができる。これを全ての画素ｐに対して求めておき、画像から検出された物体領域の各画素ごとに、この寄与率を加算するだけで、見かけの人数を推定することができる。従って、本発明は、画像中の各画素に対応する人数への寄与率ｗ（ｘ，ｙ）を事前に保有しておき、画像上において物体の像を形成する画素が検出されれば、その画素に対応する寄与率ｗ（ｘ，ｙ）を加算することにより、物体の像の画素の量から見かけ上の人数（混雑度）を計測することができる。
【００２１】
これまでに説明した方法に基づき、上記課題を解決するための請求項１に記載の混雑度計測装置は、単眼または複数の画像入力装置を使って取得した画像から、その画像中から移動する物体、または、ある背景に対する前景物体の数を計測する装置であって、画像入力装置を使って物体を撮影し、取得した画像から物体領域を検出・抽出する物体抽出処理手段と、前記画像入力装置の内部パラメータ、並びに、前記画像入力装置の姿勢と位置を含む外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち物体の体積に寄与する体積を算出し、その画素が物体の数にどれだけ寄与するかを数量的に表す寄与率としての荷重値を全ての画素に対して求めて荷重値テーブルを生成する荷重値テーブル生成手段と、前記物体抽出処理手段で移動する物体、または、ある背景に対する前景物体として検出・抽出された各画素と、前記荷重値テーブル生成手段で得た各画素の荷重値から混雑度を計測する混雑度計測手段とを備えることを特徴としている。
【００２２】
また、請求項２に記載の混雑度計測装置は、上記請求項１において、前記荷重値テーブル生成手段は、前記画像入力装置の内部パラメータ、並びに、前記画像入力装置の姿勢と位置を含む外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち、その視体積の値が所定の値を超える場合はその画素の荷重値の寄与を抑え、前記混雑度計測手段は、前記荷重値テーブル生成手段で得られた荷重値が所定の値以内の画素について混雑度を計測することを特徴としている。
【００２３】
また、請求項３に記載の混雑度計測装置は、上記請求項１において、前記荷重値テーブル生成手段は、前記画像入力装置の内部パラメータ、並びに、前記画像入力装置の姿勢と位置を含む外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち、その視体積の値が所定の空間内と交差しない場合はその画素の荷重値の寄与を抑え、前記混雑度計測手段は、前記視体積が所定の空間内と交差する場合において、その対応する画素について混雑度を計測することを特徴としている。
また、請求項４に記載の混雑度計測方法は、単眼または複数の画像入力装置を使って取得した画像から、その画像中の物体の数を計測する方法であって、物体抽出処理手段が、画像入力装置を使って物体を撮影し、取得した画像から物体領域を検出・抽出する物体抽出処理ステップと、荷重値テーブル生成手段が、前記画像入力装置の内部パラメータ、並びに、前記画像入力装置の姿勢と位置を含む外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち物体の体積に寄与する体積を算出し、その画素が物体の数にどれだけ寄与するかを数量的に表す寄与率としての荷重値を全ての画素に対して求めて荷重値テーブルを生成する荷重値テーブル生成ステップと、混雑度計測手段が、前記物体抽出処理ステップで物体として検出・抽出された各画素と、前記荷重値テーブル生成ステップで得た各画素の荷重値から混雑度を計測する混雑度計測ステップとを備えることを特徴としている。
【００２４】
また、請求項５に記載の混雑度計測方法は、上記請求項４において、前記荷重値テーブル生成ステップは、前記画像入力装置の内部パラメータ、並びに、前記画像入力装置の姿勢と位置を含む外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち、その視体積の値が所定の値を超える場合はその画素の荷重値の寄与を抑え、前記混雑度計測ステップは、前記荷重値テーブル生成ステップで得られた荷重値が所定の値以内の画素について混雑度を計測することを特徴としている。
【００２５】
また、請求項６に記載の混雑度計測方法は、上記請求項４において、前記荷重値テーブル生成ステップは、前記画像入力装置の内部パラメータ、並びに、前記画像入力装置の姿勢と位置を含む外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち、その視体積の値が所定の空間内と交差しない場合はその画素の荷重値の寄与を抑え、前記混雑度計測ステップは、前記視体積が所定の空間内と交差する場合において、その対応する画素について混雑度を計測することを特徴としている。
【００２６】
また、請求項７に記載の混雑度計測プログラムは、コンピュータに、請求項４ないし請求項６のいずれか１項に記載の各ステップを実行させるプログラムとしたことを特徴としている。
【００２７】
また、請求項８に記載の記録媒体は、請求項７に記載の混雑度計測プログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴としている。
【発明の効果】
【００２８】
（１）本発明はカメラ校正作業などで得たカメラパラメータに基づき、単位画素の人数への寄与率を算出するため、非特許文献１のように時系列画像から抽出した人物画像に対して奥行き補正する必要がなく、物体領域として抽出された画素に対応する人数への寄与率（すなわち荷重値）を換算することにより、物体の混雑度を直接に計測できることに効果がある。
【００２９】
本発明は特許文献１とは異なり、カメラパラメータに基づき奥行きに応じた視体積を算出し混雑度を計測するため、奥行きに応じた計数誤差が特許文献１と比べると小さい。また、３次元計測を利用する場合では複数カメラで共通視野が確保された条件を前提とするが、本発明は単眼カメラを使った混雑度計測を提供する。本発明は単眼に限定されるわけではなく、仮に複数カメラにおいてもそれぞれのカメラに対して本発明の混雑度計測を適用できる。もし、共通視野が十分に確保されているならば、各カメラからの混雑度を統合すれば、オクルージョンなどによる混雑度の誤差を低減することも可能である。
（２）また請求項２、５に記載の発明によれば、奥行き方向に伸びた画素に投影される視体積により荷重値が必要以上に大きくなってしまうことによる混雑度計測の誤差を抑制することができ、混雑度計測の精度が向上する。
（３）また請求項３、６に記載の発明によれば、混雑度計測に寄与しない画素を除外することができ、混雑度計測に寄与する画素の荷重値算出だけで済むため、効率的に混雑度を計測することができる。
【発明を実施するための最良の形態】
【００３０】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。
【００３１】
（実施例１）
図６は本発明の一実施形態例の基本構成図である。図６において、１は画像入力装置としてのカメラ、２はカメラ１で取得した画像を蓄積する画像蓄積部、３は画像蓄積部２に蓄積された画像から物体領域を検出・抽出する物体抽出手段としての物体抽出処理部である。
【００３２】
４は、カメラ一の内部パラメータ（焦点距離、画像中心、レンズ歪みなど）、外部パラメータ（姿勢と位置）などのカメラ情報を入力するカメラ情報入力部である。
【００３３】
５は、前記カメラ情報入力部４から入力された内部パラメータ、外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち物体の体積に寄与する体積を算出し、その画素が物体の数にどれだけ寄与するかを数量的に表す寄与率としての荷重値を求めて荷重値テーブルを生成する荷重値テーブル生成手段としての荷重値テーブル生成部である。
【００３４】
６は、前記物体抽出処理部３により検出・抽出された各画素と、前記荷重値テーブル生成部５で得た各画素の荷重値から混雑度を計測する混雑度計測手段としての混雑度計測部である。
【００３５】
７は混雑度計測部６で計測された混雑度を出力する混雑度出力部である。
【００３６】
尚、前記物体抽出処理部３、荷重値テーブル生成部５および混雑度計測部６における各処理は、例えばコンピュータにより実行される。
【００３７】
画像蓄積部２には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介してリモートなデータ資源を利用する形態でもどちらでも構わない。
【００３８】
また本発明は、他の実施形態例の基本構成図である図７に示すように、リアルタイムで処理を行う構成にすることも可能であり、必ずしも蓄積部などの記憶装置を必要としない。
【００３９】
図７において図６と同一部分は同一符号をもって示している。図７において、前記画像蓄積部２は除去しており、カメラ１で取得した画像から背景モデルを構築する背景情報構築部３０を図示している。
【００４０】
この背景情報構築部３０は、構築した背景モデルを使い、物体抽出処理部３にカメラ１から入力された画像に対して後述する背景差分処理を施すことによって移動する物体領域あるいは前景画像領域を抽出するためのものであり、図６の場合は物体抽出処理部３内に設けられている。
【００４１】
次に図６、図７の装置の各部の処理の流れを図８のフローチャートに沿って説明する。まず全体の流れを説明すると、ステップＳ１においてカメラ１で撮影した画像を取り込む（図６の場合は画像蓄積部２に蓄積する）。
【００４２】
次に前記取り込んだ画像から背景モデルを構築する（図６の場合は物体抽出処理部３で行われ、図７の場合は背景情報構築部３０で行われる）。
【００４３】
次にステップＳ３で処理画像が有ることを判定した後、ステップＳ４において、前記背景モデルを使った背景差分処理により移動する物体領域あるいは前景画素領域を抽出する（図６、図７の物体抽出処理部３で行われる）。
【００４４】
次にステップＳ９において、ステップＳ８で生成された荷重値テーブルをもとに、ステップＳ４により抽出された画素座標の荷重値を加算して混雑度を計測する（図６、図７の混雑度計測部６で行われる）。
【００４５】
次にステップＳ１０において、ステップＳ９で計測された混雑度を出力する（図６、図７の混雑度出力部７で行われる）。
【００４６】
以下、前記各処理の詳細を説明する。
【００４７】
カメラ１を経由して取得された画像は画像蓄積部２に格納され、その蓄積部２から画像を逐次取り出して、物体抽出処理部３において移動物体または前景と判定された物体領域を抽出する。本発明で使用するカメラ１は固定カメラであり、カメラキャリブレーションを事前に行ってカメラの焦点距離、姿勢・位置が既知であるとする。すなわち、空間中の任意の３次元座標（Ｘj，Ｙj，Ｚj）が、式（４）、（５）に従って画像上での座標（ｘj，ｙj）へ投影されると仮定し、式（４）、（５）のカメラパラメータである焦点距離ｆ、カメラ姿勢を表す回転角φ、ω、θ、並びにカメラ視点を表す位置（Ｔｘ，Ｔｙ，Ｔｚ）が、事前に得られていることを前提とする。
【００４８】
本実施例では、まず、カメラ１の内部パラメータ（焦点距離，画像中心，レンズ歪など）、外部パラメータ（カメラの姿勢と位置）が与えられたとき、設定された空間情報に基づいて荷重値テーブルを生成する。本発明では、カメラの内部パラメータと外部パラメータを合わせてカメラ情報と呼んでいる。本実施例では、カメラ内部パラメータについて、焦点距離をｆ、画像中心を投影中心、スキュー０、レンズ歪が無いと仮定し、画像上での座標（ｘj，ｙj）は式（４）、（５）で表す透視投影のカメラモデルに従う。図８のカメラ情報入力（ステップＳ５）では、焦点距離ｆ、カメラの姿勢を表す三軸の回転角ψ、ω、θ、カメラの視点位置を表す（Ｔｘ，Ｔｙ，Ｔｚ）を入力データとして荷重値算出の処理部（図６の荷重値テーブル生成部５）へ与えられる。図８のパラメータ設定（ステップＳ６）では、対象物の高さｈ、対象物の表面積Ｓが設定される。
【００４９】
カメラ情報入力（ステップＳ５）とパラメータ設定（ステップＳ６）からそれぞれ入力データが与えられたとき、荷重値算出（ステップＳ７）は図９に示す処理フローに従って処理される。図９において、最初に画像座標（ｘj，ｙj）を設定する（ステップＳ２１）。この画像座標とは、画面上に設定された２次元座標系であり、画像中心を原点として水平方向にｘ軸、垂直方向にｙ軸が定義されている。以降では、この座標系上の各画素ｐの座標値（ｘj，ｙj）が順番に処理される。各画素ｐの座標値（ｘj，ｙj）が与えられると、（ｘj，ｙj）を中心とした４近傍のサブ画像座標：ｐ1＝（ｘj−１／２，ｙj−１／２），ｐ2＝（ｘj＋１／２，ｙj−１／２），ｐ3＝（ｘj＋１／２，ｙj＋１／２），ｐ4＝（ｘj−１／２，ｙj＋１／２）を設定する（ステップＳ２２）。次に、基準平面Ｚ＝０におけるその４点の位置Ｂ1、Ｂ2、Ｂ3、Ｂ4と、高さＺ＝ｈでの平面における位置をＡ1、Ａ2、Ａ3、Ａ4を求める（ステップＳ２３，Ｓ２４）。この計算には、画素ｐの座標値を代入し、カメラ情報入力から得た回転角ψ、ω、θを式（６）に代入して回転行列を求め、カメラ情報入力から得たカメラ視点位置（Ｔｘ，Ｔｙ，Ｔｚ）と高さｈを与えて、これらのデータを式（７）に代入すると、平面Ｚ＝ｈ（基準平面の場合はｈ＝０とすればよい）での位置（Ｘj，Ｙj）が得られる。続いて、Ａ1、Ａ2、Ａ3、Ａ4のうち、視点位置から最も近い点を探した結果、点Ａ1が該当したとし、その３次元座標をＡ1＝（Ｘs，Ｙs，ｈ）とする（ステップＳ２５）。同様に、Ｂ1、Ｂ2、Ｂ3、Ｂ4のうち、視点位置から最も遠い点を探した結果、点Ｂ2が該当したとし、その３次元座標をＢ2＝（Ｘe，Ｙe，０）とする（ステップＳ２６）。最近点と最遠点が求まると、式（１１）によって有効長Ｌ（ｘ，ｙ）を求める（ステップＳ３１）。次にステップＳ２７の面積Ｓbの算出では基準平面上においてＢ1、Ｂ2、Ｂ3、Ｂ4が形成する四角形の面積を求め、ステップＳ２８の体積Ｖの算出では式（１４）の公式を使って求める（体積Ｖは基準平面で形成するＢ1、Ｂ2、Ｂ3、Ｂ4とＺ＝ｈの高さでの平面において形成するＡ1、Ａ2、Ａ3、Ａ4による四角形で囲まれた四角柱の体積である）。
【００５０】
【数６】
【００５１】
尚、式（１１）のパラメータである基準平面での（Ｘ，Ｙ）は、入力画像の座標が有効範囲である（ステップＳ２９で判断する）ことを条件にステップＳ３０において求められる。
【００５２】
最後に、式（１０）に有効長Ｌ（ｘ，ｙ）、体積Ｖ（ｘ，ｙ）、パラメータ設定で与えたＳを代入して、画像座標（ｘj，ｙj）での荷重値ｗ（ｘ，ｙ）を得る（ステップＳ３２）。この荷重値ｗ（ｘ，ｙ）は逐次荷重値テーブルに書き込まれ（ステップＳ３３）、次の画像座標がセットされて（ステップＳ３４）、最初の処理ステップＳ２１に戻る。この処理を全ての画像座標に対して行い、荷重値テーブルが生成される。
【００５３】
一方、図８のステップＳ２では、図６の画像蓄積部２に格納された画像（図７ではカメラ１により取得した画像）を取り出し、背景モデルを構築する。背景モデルは複数枚の時系列画像の平均値をとることで簡単に得られる。すなわち、静的なシーン以外は移動物体と考えて、時間平均を各画素に対して処理することで、移動する物体を画像中からキャンセルする（画像観測で混入するランダム雑音を除去する目的にでも使用する）。この背景モデル構築は定期的に実施する。例えば、屋外では朝と昼と夕方では照明が変化するため、静的シーンの濃淡にも変化が発生する。そこで、本発明では、このような照明変化の効果を除去するため、背景モデルを定期的に更新する。背景モデルが構築されていると、画像蓄積部２から時系列画像を逐次取り出し、背景モデルを使った背景差分処理により、移動する物体領域あるいは前景画素領域を抽出する（ステップＳ４；図１０）。以上の処理により、物体領域を形成する各画素ｐ（ｘ，ｙ）＝（ｘj，ｙj），ｊ＝１，２，…，Ｐ（抽出した領域の総画素数がＰ個）を得る。
【００５４】
次に、図６、図７の混雑度計測部６では、図８の物体領域抽出（ステップＳ４）から得た画素ｐに対して、式（１５）に示した荷重値ｗ（ｘ，ｙ）をかけて加算する（ステップＳ９）。
【００５５】
【数７】
【００５６】
最後に、図６、図７の混雑度出力部７から、この加算処理で得た値を混雑度として出力する（ステップＳ１０）。
【００５７】
以上の実施例により、時系列画像において、移動する対象物あるいは背景モデルに対する前景領域を検出し、どれだけの物体が存在しているかを示す混雑度を計測することができる。
【００５８】
（実施例２）
前記実施例１では、全ての画素に対する荷重値テーブルを生成し、物体領域抽出によって得られた画素の荷重値を加算した。ここで、図１１の簡略的な図において、その荷重値の重みについて説明する。この図では下向きにカメラが向けられているため、画面上での画像座標によってその視体積の大きさが異なる。図１１の画素ｐと画素ｑを比べると、奥行き方向に伸びた画素ｑの視体積Ｖqは手前の画素ｐの視体積Ｖpよりも大きいことが明らかである。例えば、物体領域抽出において検出された画素が、画面の上方（カメラから遠い）に位置する場合、混雑度として加算される寄与率は大きい。したがって、荷重値テーブルは奥行き方向によって大きい値をもつ構造になる。極端な例として、遠方の物体が数画素で１人分の荷重値が算出されることになり、その混雑度計測への影響は大きい。よって、遠方の物体の場合、１画素の寄与率が大きいため物体領域抽出の処理で間違って画素が抽出されると、混雑度計測の誤差が増加する。
【００５９】
そこで、本実施例では、図６、図７の荷重値テーブル生成部５において、ある画素の荷重値が所定の値以上になる場合は、荷重値テーブルに０を書き込み、混雑度計測部６での処理の際その画素の寄与率をキャンセルする。図１２は実施例２における荷重値算出の処理フローであり、実施例１の処理フローと異なるのは、ステップＳ３２で荷重値を算出した後の判定において、ある所定の値以下の場合はそのままテーブルへ書き込み、それ以外の場合は荷重値をリセットしてテーブルには０の値を書き込む（ステップＳ４１〜Ｓ４３）点が異なる。あるいは、テーブルの各画素に対する欄を０に初期化しておき、算出した荷重値が所定の値以上の場合はテーブルへの書き込みを行わないという処理にしてもよい。
【００６０】
上記の実施例により、混雑度計測への影響が大きいと考えられる画素については、事前にフィルタをかけておき、混雑度計測のときの加算から除外する。これにより、混雑度計測の処理の効率化を図ることができる。
【００６１】
（実施例３）
前記実施例１では、全ての画素に対する荷重値テーブルを生成し、物体領域抽出によって得られた画素の荷重値を加算した。また前記実施例２では、視体積に制限を設けて、所定の大きさ以上の視体積を有する画素については荷重値を算出せず、混雑度計測での加算処理にフィルタをかけた。本実施例３では、カメラ情報に基づき、所定の撮影領域を設定することで、荷重値テーブル生成の効率化を図る。図１３に、カメラで撮像できる範囲のうち、指定した領域に対する有効画素領域の例を示す。例えば、ＸＹ平面での矩形領域と高さｈで指定される領域（網掛け部分）を設定する。このような指定領域の設定は、奥行きは無限の彼方であり画像は有限空間しか撮像されていないため、全ての画素に関する荷重値を算出することは必ずしも効率的とは言えないからである。
【００６２】
本実施例では、荷重値算出のとき、画素ｐの画像座標（ｘj，ｙj）がこの指定領域の３次元座標から投影されるかどうかを判定し、指定領域であれば前記実施例１、２で説明した処理手順に従って荷重値を算出し、指定領域でなければ荷重値算出をせずに次ぎの画素へ処理を移行する。図１４は本実施例の荷重値算出の処理フローである。実施例１の処理フローと異なるのは、荷重値を算出する前にその画素が指定領域かどうかを判定する点が異なる。処理が開始されると、指定領域を設定し（ステップＳ５１）、ステップＳ２１の画像座標の入力から、投影座標を算出し（ステップＳ５２）、順番に処理される画素ｐについて、その画像座標（ｘj，ｙj）へ投影される３次元座標が指定領域内かどうかを判定する（ステップＳ５３）。まず、画像座標（ｘj，ｙj）をｈ＝０として式（７）に代入すると、Ｚw＝０でのＸwＹw座標：（Ｘb，Ｙb，０）が得られる。同様に、画像座標（ｘj，ｙj）を式（７）に代入すると、Ｚw＝ｈでのＸwＹw座標：（Ｘt，Ｙt，ｈ）が得られる。指定領域は４点で決定される矩形として定義されている（ステップＳ５１）ので、どちらかのＸwＹw座標がこの矩形領域の中であれば、有効領域と判定し、そうでなければ無効領域と判定する（ステップＳ５３）。有効領域と判定されると、荷重値算出の処理に移行し、無効領域と判定されれば、次の画素へ処理が移行する。
【００６３】
この判定処理（ステップＳ５１〜Ｓ５３）を加えることで、指定範囲以外の画素の荷重値を算出しないため、指定範囲外となる画素については、混雑度計測に寄与しない画素として除外することができる。したがって、本実施例によれば全ての荷重値を予め計算してテーブルとして保有することなく、混雑度計測に寄与する指定領域内に対応する画素の荷重値算出だけで済むため、効率的に混雑度を計測することができる。
【００６４】
また、本実施形態の混雑度計測装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の混雑度計測方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ，ＣＤ−ＲＷ，Ｂｌｕ−ｒａｙ Ｄｉｓｋ（登録商標），ＨＤＤ，リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【００６５】
【図１】本発明の基本原理におけるカメラ視点と世界座標系を示す説明図。
【図２】本発明の基本原理における対象物（人を例にした場合）のモデル化を示す説明図。
【図３】本発明の基本原理における撮影領域と視体積を示す説明図。
【図４】発明の基本原理における１画素あたりの視体積を示す説明図。
【図５】発明の基本原理におけるＸＹ平面上での位置関係を示す説明図。
【図６】本発明の一実施形態例の基本構成図。
【図７】本発明の他の実施形態例の基本構成図。
【図８】本発明の実施形態例の全体の処理を示すフローチャート。
【図９】本発明の実施形態例における荷重値算出の処理を示すフローチャート。
【図１０】本発明の実施形態例における背景差分による物体領域抽出を示す説明図。
【図１１】本発明の実施例２における画素位置の違いによる視体積の大きさを示す説明図。
【図１２】本発明の実施例２の荷重値算出の処理を示すフローチャート。
【図１３】本発明の実施例３における指定領域に対する画像上での有効範囲を示す説明図。
【図１４】本発明の実施例３における荷重値算出の処理を示すフローチャート。
【符号の説明】
【００６６】
１…カメラ、２…画像蓄積部、３…物体抽出処理部、４…カメラ情報入力部、５…荷重値テーブル生成部、６…混雑度計測部、７…混雑度出力部、３０…背景情報構築部。
【技術分野】
【０００１】
本発明は、単眼カメラまたは複数カメラで撮影された映像に利用可能であり、映像中の対象物単体の数（これ以降、混雑度と称する）を計測し、駅・バス停・その他の公共の場の人の混雑度や、道路・通路における人の流れを把握する、混雑度計測装置、混雑度計測方法、混雑度計測プログラムおよびそのプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
監視空間において移動物体を計測する方法として特許文献１に記載の方法が公知である。この方法では、移動物体の表面積を事前に把握しておき、画像中から抽出した物体の画素領域から人数を計数する。また所定の監視空間内にｎ人の被写体を設置した擬似画像において、場所毎の人物の射影面積を算出して奥行き補正を行い、混雑度を算出する技術（非特許文献１）が公開されている。さらに、カメラ以外のセンサ（赤外線、レーザなど）を使った監視空間内の物体検出を混雑度計測に応用することも可能である。
【特許文献１】特許第３１９０８３３号、「移動物体計数処理方法」
【非特許文献１】新村貴彦、新井啓之、井上 潮、「確率的予測に基づく人流計測」、情報処理学会研究報２００４−ＣＶＩＭ−１４３−（１６）、ｐｐ．１１９−１２４、２００４．
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１の先行技術では、奥行きを考慮していないため、同じ大きさでも奥行きの違いで人数計測の誤差が大きくなる場合がある。これを改善するには、奥行きを計測する手段として複数カメラを使用した３次元計測が考えられる。しかしながら、ステレオ視ができるようなカメラ配置あるいは撮影装置が必要となる上、設置された既存の監視カメラや定点撮影カメラでは、複数のカメラで共通視野が確保されているとは限らず、３次元計測に十分な条件が与えられているとは限らないため、単眼カメラとして混雑度を計測することが求められる。また、公共の場所では、赤外線センサやレーザ計測などと併用するような監視カメラはまだ十分に普及しておらず、カメラ単体からの混雑度計測が一般的である。
【０００４】
一方非特許文献１では、物理的に何人という数値が直接出力されるわけではなく、あくまで奥行き補正により相対的な混雑比が得られるため、混雑度の増減を把握する程度には利用できるが、人を物理的に測定していないため、人数測定のために利用できない。
【０００５】
本発明は上記課題を解決するものであり、その目的は、屋内・屋外に設置された単眼の監視カメラあるいは定点カメラを使って、撮影範囲内の物体の数（混雑度）を直接計測することができる混雑度計測装置、混雑度計測方法、混雑度計測プログラムおよびそのプログラムを記録した記録媒体を提供することにある。
【課題を解決するための手段】
【０００６】
図１にカメラと対象物の配置を示す。空間中の３次元座標は世界座標系ＸwＹwＺwで表現することができる。世界座標系の原点をＯとし、Ｘw軸は図１（ａ）において紙面の表から裏の方向、Ｙw軸は水平方向、Ｚw軸は垂直方向をそれぞれ向いている。図１（ｂ）はＺw軸方向から見たカメラと対象物の配置を示している。
【０００７】
この座標系においてカメラの視点を（Ｔｘ，Ｔｙ，Ｔｚ）で表現されるものとする。本発明では、混雑度をカメラで観測された対象物の視体積（見かけ上の体積）から算出する。視体積とはカメラで外界を撮影したときの視点から外界へ向かう錐体の体積を意味する。図２では、視野の下限と上限、並びに基準平面（床面、地面など）で囲まれた四角錐であり、視体積Ｖは基準平面上の底面の面積をＳとするとＶ＝Ｓ×Ｔｚ／３で与えられる。本発明の混雑度計測とは、この視体積中の対象物の体積をカメラで得た観測画像から計測することである。
【０００８】
説明の便宜上、視体積を２次元として考える。図３において対象物の高さをｈ（一定）とし、Ｙw方向に一定の微小間隔ΔｌでＮ分割し、その量子化した奥行きに応じて高さｈ、厚さΔｌの板を敷き詰めることを想定する。このモデルにおいて１画素の人物への寄与率（１画素が何人に相当するかを表す物理量）を算出する。図３において画像ｐに投影される微小の視体積の中で高さｈまでの空間にある体積は太枠で囲んだ領域であり、この領域内の高さをそれぞれｈkとすると、画素ｐへ投影される寄与率は各奥行きｋ＝１，２，…，Ｎに対してそれぞれｈk／ｈとなる。この寄与率を、式（１）で示すように、各奥行きにわたって平均化すると１画素あたりの寄与率Δｗが得られる。ここで、図３の太枠の領域について、それぞれの奥行きでの微小面積ΔＳkは式（２）で与えられるので、式（１）、（２）から１画素の寄与率Δｗは式（３）になる。ただし、ΔＳは微小面積ΔＳkを奥行き方向に加算した値（すなわち太枠の領域の面積）である。
【０００９】
【数１】
【００１０】
この寄与率を空間中の視体積を使って算出する。図４は図３を立体的に表現した１画素の視体積Ｖを示す。カメラの視点座標を（Ｔｘ，Ｔｙ，Ｔｚ）とし、その視点で観測される画像上での画素ｐに対する寄与率Δｗを算出する。まず、画像上での各画素が正方格子の形状であると仮定し、画素ｐの画像座標（ｘj，ｙj）の４近傍のサブ画像座標ｐ1＝（ｘj＋１／２，ｙj−１／２），ｐ2＝（ｘj＋１／２，ｙj＋１／２），ｐ3＝（ｘj−１／２，ｙj＋１／２），ｐ4＝（ｘj−１／２，ｙj−１／２）に投影される空間中の３次元位置を算出する。ここで、カメラによる幾何的射影をピンホールカメラに従った透視投影にモデル化できると仮定する。世界座標系で表された３次元点をＰj＝（Ｘj，Ｙj，Ｚj）、カメラ視点の位置を（Ｔｘ，Ｔｙ，Ｔｚ）とすると、点Ｐjの画像上で観測される２次元座標値（ｘj，ｙj）は式（４）、（５）で与えられる。ここで、ｆは画素を単位とした焦点距離、Ｒ11，Ｒ12，…，Ｒ33は式（６）に示す３×３の回転行列の要素に対応する。
【００１１】
【数２】
【００１２】
この透視投影の関係式から、Ｚj＝ｈ（対象物の高さ）での（Ｘj，Ｙj）は式（７）で与えられる（ｈ＝０は基準平面上の点になる）。
【００１３】
【数３】
【００１４】
したがって、この式（７）に、画素ｐの画像座標（ｘj，ｙj）の４近傍のサブ画像座標をそれぞれ代入すると、空間中での４つの位置（Ｘj，Ｙj，ｈ）が得られる。その後の説明に必要なので、画素ｐの４近傍の画素に対する高さｈでのＸＹ位置をそれぞれＡn，ｎ＝１，２，３，４，基準平面ｈ＝０でのＸＹ位置をそれぞれＢn，ｎ＝１，２，３，４，さらに画素ｐの画像座標（ｘj，ｙj）を式（７）に代入して得た平面Ｚ＝０での３次元位置をＢ＝（Ｘj，Ｙj，０）とする。また、ＸＹ平面上での視点位置ｓ＝（Ｔｘ，Ｔｙ，０）を基準として、平面Ｚ＝ｈと視体積Ｖの交差する四角形の頂点に対して点ｓから最も近い点をＡ1＝（Ｘs，Ｙs，ｈ）とし、視体積Ｖの底面での四角形の頂点に対して点ｓから最も遠い点をＢ2＝（Ｘe，Ｙe，０）とする。
【００１５】
図４にて、点ｓから点Ｂへの方向（画素中心方向）に垂直な面積Ｓの矩形面ＸＺ（後に、対象物の表面積を表す平均の面積として扱う）を仮設する。Ｘ，Ｙ平面上にて視線方向は、図５に示すようにベクトルａで表すことができる。矩形面ＸＺが視線方向ａに微小区間Δｌごとに移動して、基準平面から高さｈまでの視体積と交差する各断面積ΔＳkを考える。視点方向から移動すると、点Ａ1で１点から交差し始め、視体積Ｖと断面ΔＳkと交差して、最後に点Ｂ1で１点で交差し終わる。この各断面を微小区間Δｌごとに積分すると平行四角錘の体積（画素ｐへ投影される実効的な視体積）となる。矩形面ＸＺが微小間隔Δｌで平行移動したとき、式（８）に示すように面積Ｓに対する断面積ΔＳkの平均値ｗ（ｘ，ｙ）を人数への寄与率と定義する。
【００１６】
式（８）の平均値は式（９）のように長さＬ（ｘ，ｙ）で割って加算した値と等しいので、結局、寄与率ｗ（ｘ，ｙ）は式（１０）に表すことができる。
【００１７】
【数４】
【００１８】
ここで式（１０）のＬ（ｘ、ｙ）は平行四角錘の視線方向の長さを表し、式（１１）で与えられる。この長さＬ（ｘ、ｙ）は、図５の線分Ａ1Ｂ2の長さを視線方向（ベクトルａ）に射影した長さであり、各ベクトルａ，ｂは点ｓ，Ａ1，Ｂ2，Ｂの各座標から式（１２）、式（１３）のように示される。
【００１９】
【数５】
【００２０】
また、式（１０）のＶ（ｘ，ｙ）は平行四角錘の体積である。つまり、平行四角錘の体積Ｖ（ｘ，ｙ）とその体積の視線方向の長さＬ（ｘ，ｙ）が分かれば、式（１０）により寄与率ｗ（ｘ，ｙ）を算出することができる。これを全ての画素ｐに対して求めておき、画像から検出された物体領域の各画素ごとに、この寄与率を加算するだけで、見かけの人数を推定することができる。従って、本発明は、画像中の各画素に対応する人数への寄与率ｗ（ｘ，ｙ）を事前に保有しておき、画像上において物体の像を形成する画素が検出されれば、その画素に対応する寄与率ｗ（ｘ，ｙ）を加算することにより、物体の像の画素の量から見かけ上の人数（混雑度）を計測することができる。
【００２１】
これまでに説明した方法に基づき、上記課題を解決するための請求項１に記載の混雑度計測装置は、単眼または複数の画像入力装置を使って取得した画像から、その画像中から移動する物体、または、ある背景に対する前景物体の数を計測する装置であって、画像入力装置を使って物体を撮影し、取得した画像から物体領域を検出・抽出する物体抽出処理手段と、前記画像入力装置の内部パラメータ、並びに、前記画像入力装置の姿勢と位置を含む外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち物体の体積に寄与する体積を算出し、その画素が物体の数にどれだけ寄与するかを数量的に表す寄与率としての荷重値を全ての画素に対して求めて荷重値テーブルを生成する荷重値テーブル生成手段と、前記物体抽出処理手段で移動する物体、または、ある背景に対する前景物体として検出・抽出された各画素と、前記荷重値テーブル生成手段で得た各画素の荷重値から混雑度を計測する混雑度計測手段とを備えることを特徴としている。
【００２２】
また、請求項２に記載の混雑度計測装置は、上記請求項１において、前記荷重値テーブル生成手段は、前記画像入力装置の内部パラメータ、並びに、前記画像入力装置の姿勢と位置を含む外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち、その視体積の値が所定の値を超える場合はその画素の荷重値の寄与を抑え、前記混雑度計測手段は、前記荷重値テーブル生成手段で得られた荷重値が所定の値以内の画素について混雑度を計測することを特徴としている。
【００２３】
また、請求項３に記載の混雑度計測装置は、上記請求項１において、前記荷重値テーブル生成手段は、前記画像入力装置の内部パラメータ、並びに、前記画像入力装置の姿勢と位置を含む外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち、その視体積の値が所定の空間内と交差しない場合はその画素の荷重値の寄与を抑え、前記混雑度計測手段は、前記視体積が所定の空間内と交差する場合において、その対応する画素について混雑度を計測することを特徴としている。
また、請求項４に記載の混雑度計測方法は、単眼または複数の画像入力装置を使って取得した画像から、その画像中の物体の数を計測する方法であって、物体抽出処理手段が、画像入力装置を使って物体を撮影し、取得した画像から物体領域を検出・抽出する物体抽出処理ステップと、荷重値テーブル生成手段が、前記画像入力装置の内部パラメータ、並びに、前記画像入力装置の姿勢と位置を含む外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち物体の体積に寄与する体積を算出し、その画素が物体の数にどれだけ寄与するかを数量的に表す寄与率としての荷重値を全ての画素に対して求めて荷重値テーブルを生成する荷重値テーブル生成ステップと、混雑度計測手段が、前記物体抽出処理ステップで物体として検出・抽出された各画素と、前記荷重値テーブル生成ステップで得た各画素の荷重値から混雑度を計測する混雑度計測ステップとを備えることを特徴としている。
【００２４】
また、請求項５に記載の混雑度計測方法は、上記請求項４において、前記荷重値テーブル生成ステップは、前記画像入力装置の内部パラメータ、並びに、前記画像入力装置の姿勢と位置を含む外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち、その視体積の値が所定の値を超える場合はその画素の荷重値の寄与を抑え、前記混雑度計測ステップは、前記荷重値テーブル生成ステップで得られた荷重値が所定の値以内の画素について混雑度を計測することを特徴としている。
【００２５】
また、請求項６に記載の混雑度計測方法は、上記請求項４において、前記荷重値テーブル生成ステップは、前記画像入力装置の内部パラメータ、並びに、前記画像入力装置の姿勢と位置を含む外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち、その視体積の値が所定の空間内と交差しない場合はその画素の荷重値の寄与を抑え、前記混雑度計測ステップは、前記視体積が所定の空間内と交差する場合において、その対応する画素について混雑度を計測することを特徴としている。
【００２６】
また、請求項７に記載の混雑度計測プログラムは、コンピュータに、請求項４ないし請求項６のいずれか１項に記載の各ステップを実行させるプログラムとしたことを特徴としている。
【００２７】
また、請求項８に記載の記録媒体は、請求項７に記載の混雑度計測プログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴としている。
【発明の効果】
【００２８】
（１）本発明はカメラ校正作業などで得たカメラパラメータに基づき、単位画素の人数への寄与率を算出するため、非特許文献１のように時系列画像から抽出した人物画像に対して奥行き補正する必要がなく、物体領域として抽出された画素に対応する人数への寄与率（すなわち荷重値）を換算することにより、物体の混雑度を直接に計測できることに効果がある。
【００２９】
本発明は特許文献１とは異なり、カメラパラメータに基づき奥行きに応じた視体積を算出し混雑度を計測するため、奥行きに応じた計数誤差が特許文献１と比べると小さい。また、３次元計測を利用する場合では複数カメラで共通視野が確保された条件を前提とするが、本発明は単眼カメラを使った混雑度計測を提供する。本発明は単眼に限定されるわけではなく、仮に複数カメラにおいてもそれぞれのカメラに対して本発明の混雑度計測を適用できる。もし、共通視野が十分に確保されているならば、各カメラからの混雑度を統合すれば、オクルージョンなどによる混雑度の誤差を低減することも可能である。
（２）また請求項２、５に記載の発明によれば、奥行き方向に伸びた画素に投影される視体積により荷重値が必要以上に大きくなってしまうことによる混雑度計測の誤差を抑制することができ、混雑度計測の精度が向上する。
（３）また請求項３、６に記載の発明によれば、混雑度計測に寄与しない画素を除外することができ、混雑度計測に寄与する画素の荷重値算出だけで済むため、効率的に混雑度を計測することができる。
【発明を実施するための最良の形態】
【００３０】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。
【００３１】
（実施例１）
図６は本発明の一実施形態例の基本構成図である。図６において、１は画像入力装置としてのカメラ、２はカメラ１で取得した画像を蓄積する画像蓄積部、３は画像蓄積部２に蓄積された画像から物体領域を検出・抽出する物体抽出手段としての物体抽出処理部である。
【００３２】
４は、カメラ一の内部パラメータ（焦点距離、画像中心、レンズ歪みなど）、外部パラメータ（姿勢と位置）などのカメラ情報を入力するカメラ情報入力部である。
【００３３】
５は、前記カメラ情報入力部４から入力された内部パラメータ、外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち物体の体積に寄与する体積を算出し、その画素が物体の数にどれだけ寄与するかを数量的に表す寄与率としての荷重値を求めて荷重値テーブルを生成する荷重値テーブル生成手段としての荷重値テーブル生成部である。
【００３４】
６は、前記物体抽出処理部３により検出・抽出された各画素と、前記荷重値テーブル生成部５で得た各画素の荷重値から混雑度を計測する混雑度計測手段としての混雑度計測部である。
【００３５】
７は混雑度計測部６で計測された混雑度を出力する混雑度出力部である。
【００３６】
尚、前記物体抽出処理部３、荷重値テーブル生成部５および混雑度計測部６における各処理は、例えばコンピュータにより実行される。
【００３７】
画像蓄積部２には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介してリモートなデータ資源を利用する形態でもどちらでも構わない。
【００３８】
また本発明は、他の実施形態例の基本構成図である図７に示すように、リアルタイムで処理を行う構成にすることも可能であり、必ずしも蓄積部などの記憶装置を必要としない。
【００３９】
図７において図６と同一部分は同一符号をもって示している。図７において、前記画像蓄積部２は除去しており、カメラ１で取得した画像から背景モデルを構築する背景情報構築部３０を図示している。
【００４０】
この背景情報構築部３０は、構築した背景モデルを使い、物体抽出処理部３にカメラ１から入力された画像に対して後述する背景差分処理を施すことによって移動する物体領域あるいは前景画像領域を抽出するためのものであり、図６の場合は物体抽出処理部３内に設けられている。
【００４１】
次に図６、図７の装置の各部の処理の流れを図８のフローチャートに沿って説明する。まず全体の流れを説明すると、ステップＳ１においてカメラ１で撮影した画像を取り込む（図６の場合は画像蓄積部２に蓄積する）。
【００４２】
次に前記取り込んだ画像から背景モデルを構築する（図６の場合は物体抽出処理部３で行われ、図７の場合は背景情報構築部３０で行われる）。
【００４３】
次にステップＳ３で処理画像が有ることを判定した後、ステップＳ４において、前記背景モデルを使った背景差分処理により移動する物体領域あるいは前景画素領域を抽出する（図６、図７の物体抽出処理部３で行われる）。
【００４４】
次にステップＳ９において、ステップＳ８で生成された荷重値テーブルをもとに、ステップＳ４により抽出された画素座標の荷重値を加算して混雑度を計測する（図６、図７の混雑度計測部６で行われる）。
【００４５】
次にステップＳ１０において、ステップＳ９で計測された混雑度を出力する（図６、図７の混雑度出力部７で行われる）。
【００４６】
以下、前記各処理の詳細を説明する。
【００４７】
カメラ１を経由して取得された画像は画像蓄積部２に格納され、その蓄積部２から画像を逐次取り出して、物体抽出処理部３において移動物体または前景と判定された物体領域を抽出する。本発明で使用するカメラ１は固定カメラであり、カメラキャリブレーションを事前に行ってカメラの焦点距離、姿勢・位置が既知であるとする。すなわち、空間中の任意の３次元座標（Ｘj，Ｙj，Ｚj）が、式（４）、（５）に従って画像上での座標（ｘj，ｙj）へ投影されると仮定し、式（４）、（５）のカメラパラメータである焦点距離ｆ、カメラ姿勢を表す回転角φ、ω、θ、並びにカメラ視点を表す位置（Ｔｘ，Ｔｙ，Ｔｚ）が、事前に得られていることを前提とする。
【００４８】
本実施例では、まず、カメラ１の内部パラメータ（焦点距離，画像中心，レンズ歪など）、外部パラメータ（カメラの姿勢と位置）が与えられたとき、設定された空間情報に基づいて荷重値テーブルを生成する。本発明では、カメラの内部パラメータと外部パラメータを合わせてカメラ情報と呼んでいる。本実施例では、カメラ内部パラメータについて、焦点距離をｆ、画像中心を投影中心、スキュー０、レンズ歪が無いと仮定し、画像上での座標（ｘj，ｙj）は式（４）、（５）で表す透視投影のカメラモデルに従う。図８のカメラ情報入力（ステップＳ５）では、焦点距離ｆ、カメラの姿勢を表す三軸の回転角ψ、ω、θ、カメラの視点位置を表す（Ｔｘ，Ｔｙ，Ｔｚ）を入力データとして荷重値算出の処理部（図６の荷重値テーブル生成部５）へ与えられる。図８のパラメータ設定（ステップＳ６）では、対象物の高さｈ、対象物の表面積Ｓが設定される。
【００４９】
カメラ情報入力（ステップＳ５）とパラメータ設定（ステップＳ６）からそれぞれ入力データが与えられたとき、荷重値算出（ステップＳ７）は図９に示す処理フローに従って処理される。図９において、最初に画像座標（ｘj，ｙj）を設定する（ステップＳ２１）。この画像座標とは、画面上に設定された２次元座標系であり、画像中心を原点として水平方向にｘ軸、垂直方向にｙ軸が定義されている。以降では、この座標系上の各画素ｐの座標値（ｘj，ｙj）が順番に処理される。各画素ｐの座標値（ｘj，ｙj）が与えられると、（ｘj，ｙj）を中心とした４近傍のサブ画像座標：ｐ1＝（ｘj−１／２，ｙj−１／２），ｐ2＝（ｘj＋１／２，ｙj−１／２），ｐ3＝（ｘj＋１／２，ｙj＋１／２），ｐ4＝（ｘj−１／２，ｙj＋１／２）を設定する（ステップＳ２２）。次に、基準平面Ｚ＝０におけるその４点の位置Ｂ1、Ｂ2、Ｂ3、Ｂ4と、高さＺ＝ｈでの平面における位置をＡ1、Ａ2、Ａ3、Ａ4を求める（ステップＳ２３，Ｓ２４）。この計算には、画素ｐの座標値を代入し、カメラ情報入力から得た回転角ψ、ω、θを式（６）に代入して回転行列を求め、カメラ情報入力から得たカメラ視点位置（Ｔｘ，Ｔｙ，Ｔｚ）と高さｈを与えて、これらのデータを式（７）に代入すると、平面Ｚ＝ｈ（基準平面の場合はｈ＝０とすればよい）での位置（Ｘj，Ｙj）が得られる。続いて、Ａ1、Ａ2、Ａ3、Ａ4のうち、視点位置から最も近い点を探した結果、点Ａ1が該当したとし、その３次元座標をＡ1＝（Ｘs，Ｙs，ｈ）とする（ステップＳ２５）。同様に、Ｂ1、Ｂ2、Ｂ3、Ｂ4のうち、視点位置から最も遠い点を探した結果、点Ｂ2が該当したとし、その３次元座標をＢ2＝（Ｘe，Ｙe，０）とする（ステップＳ２６）。最近点と最遠点が求まると、式（１１）によって有効長Ｌ（ｘ，ｙ）を求める（ステップＳ３１）。次にステップＳ２７の面積Ｓbの算出では基準平面上においてＢ1、Ｂ2、Ｂ3、Ｂ4が形成する四角形の面積を求め、ステップＳ２８の体積Ｖの算出では式（１４）の公式を使って求める（体積Ｖは基準平面で形成するＢ1、Ｂ2、Ｂ3、Ｂ4とＺ＝ｈの高さでの平面において形成するＡ1、Ａ2、Ａ3、Ａ4による四角形で囲まれた四角柱の体積である）。
【００５０】
【数６】
【００５１】
尚、式（１１）のパラメータである基準平面での（Ｘ，Ｙ）は、入力画像の座標が有効範囲である（ステップＳ２９で判断する）ことを条件にステップＳ３０において求められる。
【００５２】
最後に、式（１０）に有効長Ｌ（ｘ，ｙ）、体積Ｖ（ｘ，ｙ）、パラメータ設定で与えたＳを代入して、画像座標（ｘj，ｙj）での荷重値ｗ（ｘ，ｙ）を得る（ステップＳ３２）。この荷重値ｗ（ｘ，ｙ）は逐次荷重値テーブルに書き込まれ（ステップＳ３３）、次の画像座標がセットされて（ステップＳ３４）、最初の処理ステップＳ２１に戻る。この処理を全ての画像座標に対して行い、荷重値テーブルが生成される。
【００５３】
一方、図８のステップＳ２では、図６の画像蓄積部２に格納された画像（図７ではカメラ１により取得した画像）を取り出し、背景モデルを構築する。背景モデルは複数枚の時系列画像の平均値をとることで簡単に得られる。すなわち、静的なシーン以外は移動物体と考えて、時間平均を各画素に対して処理することで、移動する物体を画像中からキャンセルする（画像観測で混入するランダム雑音を除去する目的にでも使用する）。この背景モデル構築は定期的に実施する。例えば、屋外では朝と昼と夕方では照明が変化するため、静的シーンの濃淡にも変化が発生する。そこで、本発明では、このような照明変化の効果を除去するため、背景モデルを定期的に更新する。背景モデルが構築されていると、画像蓄積部２から時系列画像を逐次取り出し、背景モデルを使った背景差分処理により、移動する物体領域あるいは前景画素領域を抽出する（ステップＳ４；図１０）。以上の処理により、物体領域を形成する各画素ｐ（ｘ，ｙ）＝（ｘj，ｙj），ｊ＝１，２，…，Ｐ（抽出した領域の総画素数がＰ個）を得る。
【００５４】
次に、図６、図７の混雑度計測部６では、図８の物体領域抽出（ステップＳ４）から得た画素ｐに対して、式（１５）に示した荷重値ｗ（ｘ，ｙ）をかけて加算する（ステップＳ９）。
【００５５】
【数７】
【００５６】
最後に、図６、図７の混雑度出力部７から、この加算処理で得た値を混雑度として出力する（ステップＳ１０）。
【００５７】
以上の実施例により、時系列画像において、移動する対象物あるいは背景モデルに対する前景領域を検出し、どれだけの物体が存在しているかを示す混雑度を計測することができる。
【００５８】
（実施例２）
前記実施例１では、全ての画素に対する荷重値テーブルを生成し、物体領域抽出によって得られた画素の荷重値を加算した。ここで、図１１の簡略的な図において、その荷重値の重みについて説明する。この図では下向きにカメラが向けられているため、画面上での画像座標によってその視体積の大きさが異なる。図１１の画素ｐと画素ｑを比べると、奥行き方向に伸びた画素ｑの視体積Ｖqは手前の画素ｐの視体積Ｖpよりも大きいことが明らかである。例えば、物体領域抽出において検出された画素が、画面の上方（カメラから遠い）に位置する場合、混雑度として加算される寄与率は大きい。したがって、荷重値テーブルは奥行き方向によって大きい値をもつ構造になる。極端な例として、遠方の物体が数画素で１人分の荷重値が算出されることになり、その混雑度計測への影響は大きい。よって、遠方の物体の場合、１画素の寄与率が大きいため物体領域抽出の処理で間違って画素が抽出されると、混雑度計測の誤差が増加する。
【００５９】
そこで、本実施例では、図６、図７の荷重値テーブル生成部５において、ある画素の荷重値が所定の値以上になる場合は、荷重値テーブルに０を書き込み、混雑度計測部６での処理の際その画素の寄与率をキャンセルする。図１２は実施例２における荷重値算出の処理フローであり、実施例１の処理フローと異なるのは、ステップＳ３２で荷重値を算出した後の判定において、ある所定の値以下の場合はそのままテーブルへ書き込み、それ以外の場合は荷重値をリセットしてテーブルには０の値を書き込む（ステップＳ４１〜Ｓ４３）点が異なる。あるいは、テーブルの各画素に対する欄を０に初期化しておき、算出した荷重値が所定の値以上の場合はテーブルへの書き込みを行わないという処理にしてもよい。
【００６０】
上記の実施例により、混雑度計測への影響が大きいと考えられる画素については、事前にフィルタをかけておき、混雑度計測のときの加算から除外する。これにより、混雑度計測の処理の効率化を図ることができる。
【００６１】
（実施例３）
前記実施例１では、全ての画素に対する荷重値テーブルを生成し、物体領域抽出によって得られた画素の荷重値を加算した。また前記実施例２では、視体積に制限を設けて、所定の大きさ以上の視体積を有する画素については荷重値を算出せず、混雑度計測での加算処理にフィルタをかけた。本実施例３では、カメラ情報に基づき、所定の撮影領域を設定することで、荷重値テーブル生成の効率化を図る。図１３に、カメラで撮像できる範囲のうち、指定した領域に対する有効画素領域の例を示す。例えば、ＸＹ平面での矩形領域と高さｈで指定される領域（網掛け部分）を設定する。このような指定領域の設定は、奥行きは無限の彼方であり画像は有限空間しか撮像されていないため、全ての画素に関する荷重値を算出することは必ずしも効率的とは言えないからである。
【００６２】
本実施例では、荷重値算出のとき、画素ｐの画像座標（ｘj，ｙj）がこの指定領域の３次元座標から投影されるかどうかを判定し、指定領域であれば前記実施例１、２で説明した処理手順に従って荷重値を算出し、指定領域でなければ荷重値算出をせずに次ぎの画素へ処理を移行する。図１４は本実施例の荷重値算出の処理フローである。実施例１の処理フローと異なるのは、荷重値を算出する前にその画素が指定領域かどうかを判定する点が異なる。処理が開始されると、指定領域を設定し（ステップＳ５１）、ステップＳ２１の画像座標の入力から、投影座標を算出し（ステップＳ５２）、順番に処理される画素ｐについて、その画像座標（ｘj，ｙj）へ投影される３次元座標が指定領域内かどうかを判定する（ステップＳ５３）。まず、画像座標（ｘj，ｙj）をｈ＝０として式（７）に代入すると、Ｚw＝０でのＸwＹw座標：（Ｘb，Ｙb，０）が得られる。同様に、画像座標（ｘj，ｙj）を式（７）に代入すると、Ｚw＝ｈでのＸwＹw座標：（Ｘt，Ｙt，ｈ）が得られる。指定領域は４点で決定される矩形として定義されている（ステップＳ５１）ので、どちらかのＸwＹw座標がこの矩形領域の中であれば、有効領域と判定し、そうでなければ無効領域と判定する（ステップＳ５３）。有効領域と判定されると、荷重値算出の処理に移行し、無効領域と判定されれば、次の画素へ処理が移行する。
【００６３】
この判定処理（ステップＳ５１〜Ｓ５３）を加えることで、指定範囲以外の画素の荷重値を算出しないため、指定範囲外となる画素については、混雑度計測に寄与しない画素として除外することができる。したがって、本実施例によれば全ての荷重値を予め計算してテーブルとして保有することなく、混雑度計測に寄与する指定領域内に対応する画素の荷重値算出だけで済むため、効率的に混雑度を計測することができる。
【００６４】
また、本実施形態の混雑度計測装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の混雑度計測方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ，ＣＤ−ＲＷ，Ｂｌｕ−ｒａｙ Ｄｉｓｋ（登録商標），ＨＤＤ，リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【００６５】
【図１】本発明の基本原理におけるカメラ視点と世界座標系を示す説明図。
【図２】本発明の基本原理における対象物（人を例にした場合）のモデル化を示す説明図。
【図３】本発明の基本原理における撮影領域と視体積を示す説明図。
【図４】発明の基本原理における１画素あたりの視体積を示す説明図。
【図５】発明の基本原理におけるＸＹ平面上での位置関係を示す説明図。
【図６】本発明の一実施形態例の基本構成図。
【図７】本発明の他の実施形態例の基本構成図。
【図８】本発明の実施形態例の全体の処理を示すフローチャート。
【図９】本発明の実施形態例における荷重値算出の処理を示すフローチャート。
【図１０】本発明の実施形態例における背景差分による物体領域抽出を示す説明図。
【図１１】本発明の実施例２における画素位置の違いによる視体積の大きさを示す説明図。
【図１２】本発明の実施例２の荷重値算出の処理を示すフローチャート。
【図１３】本発明の実施例３における指定領域に対する画像上での有効範囲を示す説明図。
【図１４】本発明の実施例３における荷重値算出の処理を示すフローチャート。
【符号の説明】
【００６６】
１…カメラ、２…画像蓄積部、３…物体抽出処理部、４…カメラ情報入力部、５…荷重値テーブル生成部、６…混雑度計測部、７…混雑度出力部、３０…背景情報構築部。
【特許請求の範囲】
【請求項１】
単眼または複数の画像入力装置を使って取得した画像から、その画像中の物体の数を計測する装置であって、
画像入力装置を使って物体を撮影し、取得した画像から物体領域を検出・抽出する物体抽出処理手段と、
前記画像入力装置の内部パラメータ、並びに、前記画像入力装置の姿勢と位置を含む外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち物体の体積に寄与する体積を算出し、その画素が物体の数にどれだけ寄与するかを数量的に表す寄与率としての荷重値を全ての画素に対して求めて荷重値テーブルを生成する荷重値テーブル生成手段と、
前記物体抽出処理手段で物体として検出・抽出された各画素と、前記荷重値テーブル生成手段で得た各画素の荷重値から混雑度を計測する混雑度計測手段と
を備えることを特徴とする混雑度計測装置。
【請求項２】
請求項１において、
前記荷重値テーブル生成手段は、前記画像入力装置の内部パラメータ、並びに、前記画像入力装置の姿勢と位置を含む外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち、その視体積の値が所定の値を超える場合はその画素の荷重値の寄与を抑え、
前記混雑度計測手段は、前記荷重値テーブル生成手段で得られた荷重値が所定の値以内の画素について混雑度を計測する
ことを特徴とする混雑度計測装置。
【請求項３】
請求項１において、
前記荷重値テーブル生成手段は、前記画像入力装置の内部パラメータ、並びに、前記画像入力装置の姿勢と位置を含む外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち、その視体積の値が所定の空間内と交差しない場合はその画素の荷重値の寄与を抑え、
前記混雑度計測手段は、前記視体積が所定の空間内と交差する場合において、その対応する画素について混雑度を計測する
ことを特徴とする混雑度計測装置。
【請求項４】
単眼または複数の画像入力装置を使って取得した画像から、その画像中の物体の数を計測する方法であって、
物体抽出処理手段が、画像入力装置を使って物体を撮影し、取得した画像から物体領域を検出・抽出する物体抽出処理ステップと、
荷重値テーブル生成手段が、前記画像入力装置の内部パラメータ、並びに、前記画像入力装置の姿勢と位置を含む外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち物体の体積に寄与する体積を算出し、その画素が物体の数にどれだけ寄与するかを数量的に表す寄与率としての荷重値を全ての画素に対して求めて荷重値テーブルを生成する荷重値テーブル生成ステップと、
混雑度計測手段が、前記物体抽出処理ステップで物体として検出・抽出された各画素と、前記荷重値テーブル生成ステップで得た各画素の荷重値から混雑度を計測する混雑度計測ステップと
を備えることを特徴とする混雑度計測方法。
【請求項５】
請求項４において、
前記荷重値テーブル生成ステップは、前記画像入力装置の内部パラメータ、並びに、前記画像入力装置の姿勢と位置を含む外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち、その視体積の値が所定の値を超える場合はその画素の荷重値の寄与を抑え、
前記混雑度計測ステップは、前記荷重値テーブル生成ステップで得られた荷重値が所定の値以内の画素について混雑度を計測する
ことを特徴とする混雑度計測方法。
【請求項６】
請求項４において、
前記荷重値テーブル生成ステップは、前記画像入力装置の内部パラメータ、並びに、前記画像入力装置の姿勢と位置を含む外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち、その視体積の値が所定の空間内と交差しない場合はその画素の荷重値の寄与を抑え、
前記混雑度計測ステップは、前記視体積が所定の空間内と交差する場合において、その対応する画素について混雑度を計測する
ことを特徴とする混雑度計測方法。
【請求項７】
コンピュータに、請求項４ないし請求項６のいずれか１項に記載の各ステップを実行させるプログラムとしたことを特徴とする混雑度計測プログラム。
【請求項８】
請求項７に記載の混雑度計測プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
単眼または複数の画像入力装置を使って取得した画像から、その画像中の物体の数を計測する装置であって、
画像入力装置を使って物体を撮影し、取得した画像から物体領域を検出・抽出する物体抽出処理手段と、
前記画像入力装置の内部パラメータ、並びに、前記画像入力装置の姿勢と位置を含む外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち物体の体積に寄与する体積を算出し、その画素が物体の数にどれだけ寄与するかを数量的に表す寄与率としての荷重値を全ての画素に対して求めて荷重値テーブルを生成する荷重値テーブル生成手段と、
前記物体抽出処理手段で物体として検出・抽出された各画素と、前記荷重値テーブル生成手段で得た各画素の荷重値から混雑度を計測する混雑度計測手段と
を備えることを特徴とする混雑度計測装置。
【請求項２】
請求項１において、
前記荷重値テーブル生成手段は、前記画像入力装置の内部パラメータ、並びに、前記画像入力装置の姿勢と位置を含む外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち、その視体積の値が所定の値を超える場合はその画素の荷重値の寄与を抑え、
前記混雑度計測手段は、前記荷重値テーブル生成手段で得られた荷重値が所定の値以内の画素について混雑度を計測する
ことを特徴とする混雑度計測装置。
【請求項３】
請求項１において、
前記荷重値テーブル生成手段は、前記画像入力装置の内部パラメータ、並びに、前記画像入力装置の姿勢と位置を含む外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち、その視体積の値が所定の空間内と交差しない場合はその画素の荷重値の寄与を抑え、
前記混雑度計測手段は、前記視体積が所定の空間内と交差する場合において、その対応する画素について混雑度を計測する
ことを特徴とする混雑度計測装置。
【請求項４】
単眼または複数の画像入力装置を使って取得した画像から、その画像中の物体の数を計測する方法であって、
物体抽出処理手段が、画像入力装置を使って物体を撮影し、取得した画像から物体領域を検出・抽出する物体抽出処理ステップと、
荷重値テーブル生成手段が、前記画像入力装置の内部パラメータ、並びに、前記画像入力装置の姿勢と位置を含む外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち物体の体積に寄与する体積を算出し、その画素が物体の数にどれだけ寄与するかを数量的に表す寄与率としての荷重値を全ての画素に対して求めて荷重値テーブルを生成する荷重値テーブル生成ステップと、
混雑度計測手段が、前記物体抽出処理ステップで物体として検出・抽出された各画素と、前記荷重値テーブル生成ステップで得た各画素の荷重値から混雑度を計測する混雑度計測ステップと
を備えることを特徴とする混雑度計測方法。
【請求項５】
請求項４において、
前記荷重値テーブル生成ステップは、前記画像入力装置の内部パラメータ、並びに、前記画像入力装置の姿勢と位置を含む外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち、その視体積の値が所定の値を超える場合はその画素の荷重値の寄与を抑え、
前記混雑度計測ステップは、前記荷重値テーブル生成ステップで得られた荷重値が所定の値以内の画素について混雑度を計測する
ことを特徴とする混雑度計測方法。
【請求項６】
請求項４において、
前記荷重値テーブル生成ステップは、前記画像入力装置の内部パラメータ、並びに、前記画像入力装置の姿勢と位置を含む外部パラメータと空間中の３次元点を対応づけた透視投影の関係を前提として、観測される画像上の各画素に投影される視体積のうち、その視体積の値が所定の空間内と交差しない場合はその画素の荷重値の寄与を抑え、
前記混雑度計測ステップは、前記視体積が所定の空間内と交差する場合において、その対応する画素について混雑度を計測する
ことを特徴とする混雑度計測方法。
【請求項７】
コンピュータに、請求項４ないし請求項６のいずれか１項に記載の各ステップを実行させるプログラムとしたことを特徴とする混雑度計測プログラム。
【請求項８】
請求項７に記載の混雑度計測プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００９−２９４７５５（Ｐ２００９−２９４７５５Ａ）
【公開日】平成２１年１２月１７日（２００９．１２．１７）
【国際特許分類】
【出願番号】特願２００８−１４５６４０（Ｐ２００８−１４５６４０）
【出願日】平成２０年６月３日（２００８．６．３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２１年１２月１７日（２００９．１２．１７）
【国際特許分類】
【出願日】平成２０年６月３日（２００８．６．３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]