物体流動速度計測方法とその装置、プログラム及び記録媒体
【課題】雑踏のような複数の移動物体が存在する状況下でも、精度良く移動物体を検出し、安定的且つ高速に移動物体の流動速度を計測する。
【解決手段】計測対象となる空間における任意の方向へ移動する物体の流動速度を計測する物体流動速度計測装置１において、前景検出部１７は計測対象となる空間の時系列画像から前記物体を有する前景領域が検出された前景領域画像を生成する。射影部１８は前記前景領域画像から前記物体の流動方向を検出するための解析空間に射影させる予め生成された射影テーブル１５によって前記前景領域画像を前記解析空間へ射影する。射影解析部１９は前記解析空間へ射影された画像データの時間的な変化に基づき前記物体の流動速度（流動速度データ２０）を算出する。
【解決手段】計測対象となる空間における任意の方向へ移動する物体の流動速度を計測する物体流動速度計測装置１において、前景検出部１７は計測対象となる空間の時系列画像から前記物体を有する前景領域が検出された前景領域画像を生成する。射影部１８は前記前景領域画像から前記物体の流動方向を検出するための解析空間に射影させる予め生成された射影テーブル１５によって前記前景領域画像を前記解析空間へ射影する。射影解析部１９は前記解析空間へ射影された画像データの時間的な変化に基づき前記物体の流動速度（流動速度データ２０）を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、雑踏のように多数の移動物体が存在する環境下において、撮像装置（例えば、カメラ等）で撮影された時系列画像から、画像中の移動物体の流動速度を計測する技術に関するものである。
【背景技術】
【０００２】
移動物体を含む静止画像や動画像（映像）から、移動物体を検出、追跡する技術が提案されている（非特許文献１）。しかしながら、それらの技術は画像（静止画像や動画像）から対象を特定し、対象の時間的な変化を追跡していくため、対象の時間的な形状変化や、雑踏のように多数の移動物体が存在する場合には追跡が困難であるという問題がある。また、上記技術は実空間上の移動物体の追跡を行うことを目的としているため移動物体の速度計測には適さない。
【０００３】
さらに、それら手法を用いた場合であっても、実空間での対象の移動速度を推定するためには、一度実空間の座標へ変換した後、単位時間当たりの対象の移動量を推定するという複数の段階を経る必要がある。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】大澤達哉、ウ小軍、数藤恭子、若林佳織、新井啓之、小池秀樹，「ＭＣＭＣ法に基づく対象と環境に三次元モデルを用いた人物追跡」，電子情報通信学会論文誌 Ｄ Ｖｏｌ．Ｊ９１−Ｄ Ｎｏ．８，２００８年８月１日，ｐｐ．２１３７−２１４７
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上述したような従来手法の問題点を鑑み、雑踏のような複数の移動物体が存在する状況下でも、精度良く移動物体を検出し、安定的且つ高速に移動物体の流動速度を計測することを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明の物体流動速度計測方法は、計測対象となる空間における任意の方向へ移動する物体の流動速度を計測する物体流動速度計測方法であって、前景領域検出手段が計測対象となる空間の時系列画像から前記物体を有する前景領域が検出された前景領域画像を生成するステップと、射影手段が前記前景領域画像から前記物体の流動方向を検出するための解析空間に射影させる予め生成された射影テーブルによって前記前景領域画像を前記解析空間へ射影するステップと、解析手段が前記解析空間へ射影された画像データの時間的な変化に基づき前記物体の流動速度を算出するステップを有する。
【０００７】
また、本発明の物体流動速度計測装置は、計測対象となる空間における任意の方向へ移動する物体の流動速度を計測する物体流動速度計測装置であって、計測対象となる空間の時系列画像から前記物体を有する前景領域が検出された前景領域画像を生成する前景領域検出手段と、前記前景領域画像から前記物体の流動方向を検出するための解析空間に射影させる予め生成された射影テーブルによって前記前景領域画像を前記解析空間へ射影する射影手段と、前記解析空間へ射影された画像データの時間的な変化に基づき前記物体の流動速度を算出する解析手段とを備える。
【０００８】
本発明は前記物体流動速度計測装置を構成する各手段としてコンピュータを機能させるプログラムまたはこれを記録したコンピュータ読み取り可能な記録媒体の態様とすることもできる。
【発明の効果】
【０００９】
以上の発明によれば、雑踏のような複数の移動物体が存在する状況下でも、精度良く移動物体を検出し、安定的且つ高速に移動物体の流動速度を計測できる。
【図面の簡単な説明】
【００１０】
【図１】発明に係る物体流動速度計測装置の概略構成図。
【図２】発明に係る物体流動速度計測の過程を説明したフローチャート。
【図３】カメラ校正手段の概要図。
【図４】流動方向指定手段の概要図。
【図５】実空間投票テーブル生成手段における仮想画像生成の概要図。
【図６】実空間投票テーブル生成手段における投票の概要図。
【図７】射影テーブル生成手段の概要図。
【図８】解析手段の概要図。
【発明を実施するための形態】
【００１１】
以下に本発明の実施形態について図面を参照しながら説明するが、本発明はこの実施形態によって限定されるものではない。
【００１２】
図１に示された本発明の実施形態に係る物体流動速度装置１は、撮像装置によって得られた画像（静止画像または動画像）中の移動物体を検出し、この検出された移動物体の流動速度を計測する。
【００１３】
物体流動速度計測装置１はカメラ校正部１１と流動方向指定部１２と実空間投票テーブル生成部１３と射影テーブル生成部１４と画像入力部１６と前景検出部１７と射影部１８と射影解析部１９とを備える。
【００１４】
物体流動速度計測装置１に係る情報処理の過程は、図２に示されたように、計測対象となる空間における移動物体の流動速度の計測に供する射影テーブル１５を予め生成する過程（Ｓ１〜Ｓ４）と、前記計測対象となる空間の時系列画像と前記予め生成された射影テーブル１５とに基づき前記移動物体の流動速度を計測する過程（Ｓ５〜Ｓ９）とを有する。射影テーブル１５を予め生成する過程（Ｓ１〜Ｓ４）に係る機能部は、カメラ校正部１１、流動方向指定部１２、実空間投票テーブル生成部１３、射影テーブル生成部１４である。前記流動速度を計測する過程（Ｓ５〜Ｓ９）に係る機能部は、画像入力部１６、前景検出部１７、射影部１８、射影解析部１９である。
【００１５】
カメラ校正部１１は、図３に例示したように、計測対象となる空間の時系列画像３３と前記測定対象の実空間３０における床面３１との幾何的な対応付けを行う。時系列画像３３に係る画像としては静止画像または動画像（映像）が挙げられる（後述の画像入力部１６が取り込む時系列画像も同様）。
【００１６】
流動方向指定部１２は、図４に例示したように、時系列画像３３に基づき、実空間３０における移動物体の流動速度を計測したい当該物体の流動方向Ｄを指定する。
【００１７】
実空間投票テーブル生成部１３は、図５に例示されたカメラ校正部１１による対応付けの結果（内部パラメータ，外部パラメータ）と前記移動物体の仮想的なモデル５１とに基づき、図６に例示されたような時系列画像３３の各画素における実空間３０の離散座標系（実空間マップ３４）への投票を行うための実空間投票テーブル（具体的には図７に例示された行列Ｐ）を生成する。
【００１８】
射影テーブル生成部１４は、図７に示されたように、流動方向指定部１２によって時系列画像３３において指定された流動方向Ｄと実空間投票テーブル生成部１３によって生成された実空間投票テーブル（行列Ｐ）とに基づき、射影部１８に供する射影テーブル１５を生成する。射影テーブル１５は、図８に例示されたように、前記時系列画像の前景領域画像（移動物体を有する前景領域が検出されたもの）８１から直接的に前記物体の流動方向を検出するための解析空間８３へ射影するための変換行列Ｒ（＝ＱＰ（Ｋ×Ｎ次元））である。射影テーブル１５は前記流動速度を計測する過程（Ｓ５〜Ｓ９）に供するために一時的に保存される。
【００１９】
画像入力部１６は、前記移動物体の流動速度の計測のために、計測対象となる空間の時系列画像を入力画像として取り込む。
【００２０】
前景領域検出部１７は前記入力画像から前記移動物体を有する前景領域が検出された前景領域画像を生成する。より具体的には、前景領域検出部１７は、前記入力画像から前景領域を検出して、図８に例示されたような前景領域画像８１を生成する。
【００２１】
射影部１８は、図８に示したように、予め生成された射影テーブル１５を用いることにより、実空間マップ（実空間の離散座標系）８２への変換を介さないで、前景領域画像８１を前記移動物体の流動方向を検出するための解析空間８３へ直接射影する。
【００２２】
射影解析部１９は解析空間８３へ射影された画像データの時間的な変化に基づき流動速度２０を算出する。具体的には前記画像データの時間的な変化に基づき得られる図８に例示された時空間画像８４をハウ変換することによって得られた角度情報θを速度換算することによって流動速度２０を算出している。
【００２３】
本発明を実施するにあたり、ハードウェアとしては、カメラなどの撮像装置、本発明に示す画像処理を行う計算機、結果を表示するモニタなどの画像表示装置を用いて実現することができる。また、画像処理を行うハードウェアについては、汎用の計算機、処理ロジックを実装したボード、チップなど様々なものが考えられるが、ここではそれを限定しない。なお、本発明は、時間に紐付けられたなんらかの入力画像に対して移動物体の流動速度を計測するものであり、撮像装置や入力画像、表示装置については特に限定しない。
【００２４】
すなわち、物体流動速度計測装置１に係る機能部１１〜１５，１７〜１９はコンピュータのハードウェアとプログラムの協働によって実現できる。機能部１１〜１５，１７〜１９としてコンピュータを機能させるプログラムは既知の記録媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＭＯ、ＨＤＤ、Ｂｌｕ−ｒａｙ Ｄｉｓｋ（登録商標）等）に格納してまたはネットワークを通じて提供できる。画像入力部１６は時系列画像を生成する撮像装置からデータの受信が可能な既知のハードウェアインターフェースによって実現すればよい。射影テーブル１５はコンピュータの内部メモリやハードディスク装置等の外部メモリに格納するようにすればよい。また、機能部１１〜１５，１７〜１９で生成された画像データや計測データは適宜に表示装置（ディスプレイ等）によって表示される。
【００２５】
図２に示されたフローチャートを参照しながら物体流動速度計測装置１による物体流動速度計測の過程について説明する。
【００２６】
先ず、Ｓ１〜Ｓ４（事前設定）を介して射影テーブル１５が予め生成される。
【００２７】
Ｓ１：カメラ校正部１１は図３に示されたカメラ３２による撮影によって得られた計測対象となる空間の時系列画像３３の各画素と前記測定対象の実空間３０における床面３１との幾何的な対応付けを行う。
【００２８】
より具体的には、図３に例示されたように、時系列画像３３における画素（ｘ，ｙ）と実空間（Ｘ，Ｙ，Ｚ）（床面がＸＹ平面）３０との幾何学的な対応付けが行われる。対応付けの際には、事前に計測したカメラ３２の設置位置、姿勢および角度を表す６つのパラメータ（Ｔｘ，Ｔｙ，Ｔｚ，θ，ω，Φ）の他、焦点距離やカメラ３２の歪みなどから、撮影した画像３３の各画素（ｘ，ｙ）を実空間３０上の床面３１の座標（Ｘ，Ｙ）へ変換する変換行列を作成することにより実現する。尚、φ，ω，θはそれぞれカメラ座標系ＸＹＺにおけるＸ軸、Ｙ軸、Ｚ軸周りの回転角である。
【００２９】
Ｓ２：流動方向指定部１２が、流動速度を計測したい実空間３０における移動物体の流動方向を時系列画像３３に基づき指定する。
【００３０】
具体的な流動方向の指定は図４に例示されたように観測画像（時系列画像３３）中の流動方向Ｄの始点（×）、終点（◆）の２点を与えることで指定する。始点、終点の与え方は、画素（ｘ，ｙ）を数値指定する、あるいは画像中の位置を直接選択するなどの方法により与える。
【００３１】
Ｓ３：実空間投票テーブル生成部１３は、Ｓ１での対応付けの結果と前記移動物体の仮想的なモデルとに基づき、時系列画像３３中の各画素に対する実空間の床面上の座標へ変換する際の実空間投票テーブルを作成する。
【００３２】
実空間投票テーブルの作成の際には、実空間上の各位置対して仮想的な人物モデルを配置し、それぞれの位置に人物が存在した場合の画像が仮想的に生成される。具体的には図５に例示されたように床面上に楕円体からなる人物モデル５１を想定した図形を密に生成し、これをＳ１で得たカメラ校正データ（内部パラメータ，外部パラメータ）を用いて解析することにより実空間投票テーブルを作成する。ここで、ある画素（ｘ，ｙ）に人物が存在した場合の実空間上の位置を実空間位置（Ｘ，Ｙ）とすると、実空間位置（Ｘ，Ｙ）に人物が存在した場合の人物一人当たりの画素数から、人物一人当たりの表面積比を算出する。この表面面積比を画素位置（ｘ，ｙ）に人物が存在した場合の実空間上の位置（Ｘ，Ｙ）への投票値とする。画素（ｘ，ｙ）に人物が存在する場合は、画素（ｘ，ｙ）が人物の頭や手、足など様々な部位であることが考えられるため、実空間上の位置（Ｘ，Ｙ）以外の位置に人物が存在する場合も考えられる。そのため、ここでは、考えられる全ての人物位置に対して、前述の手段にて投票値を算出する。また、各画素に対して、対応するモデルと画像枠内画素数とを予め記録したテーブルが作成される。以上の処理を全画素に対して行うことで、図６に例示した画像３３枠におけるモデルａ〜ｄの表面積比に基づく投票値を実空間マップ（離散座標系）３４に投票するための実空間投票テーブルを作成する。この実空間投票テーブルは、図７の事例では、画像３３中の全画素数をＮ画素とし、仮想人物モデルを配置した量子化された実空間マップ３４上の位置数をＭ点とすると、Ｎ画素をそれぞれＭ点へ投票することとなるため、Ｍ×Ｎ次元の変換行列Ｐにより表すことができる。
【００３３】
Ｓ４：射影テーブル生成部１４は、図７に示したように、Ｓ２で指定された流動方向（画像３３中の流動方向Ｄ）とＳ３で作成された実空間投票テーブル（Ｍ×Ｎ次元の変換行列Ｐ）とから、移動物体の流動速度を計測する過程（Ｓ５〜Ｓ９）に係る射影部１８（Ｓ７）に供する射影テーブル１５を生成する。
【００３４】
実空間投票テーブルから解析空間への射影は、図７に示したように、実空間マップ３４上のＭ点を射影する流動方向で量子化したＫ点へ射影するＫ×Ｍ次元の変換行列Ｑにより表すことができる。そのため、Ｍ×Ｎ次元の実空間投票テーブル（Ｍ×Ｎ次元の変換行列Ｐ）とＫ×Ｍ次元の射影行列ＱとからなるＫ×Ｎの変換行列Ｒ（＝ＱＰ）を事前に算出する。この算出されたＫ×Ｎの変換行列Ｒを射影テーブル１５としている。そして、この射影テーブル１５により、後述の流動速度の計測過程（Ｓ５〜Ｓ９）では、実空間の離散座標系（実空間マップ３４）への投票を行うことなく、画像空間（Ｎ画素）３３から解析空間（Ｋ点）３５へ直接に変換を行うことができる。尚、射影テーブル１５は流動速度の計測（Ｓ５〜Ｓ９）のために物体流動速度計測装置１の記憶手段に保存される。
【００３５】
以上の処理により、射影テーブル１５が予め生成される。
【００３６】
流動速度の計測（Ｓ５〜Ｓ９）のステップでは、撮像によって得た計測対象となる空間の時系列画像から、移動物体を有する前景領域を検出して、これに対してＳ１〜Ｓ４を介して予め作成しておいた射影テーブル１５から流動方向を検出するための解析空間に変換を行い、この解析空間におけるデータの時間的変化から移動物体の流動速度を算出する。
【００３７】
Ｓ５：画像入力部１６はカメラ等の撮像装置により撮像された時系列画像や事前に撮像しておいた時系列画像を取り込む。画像の入力方法に関しては前述の通り限定はしない。
【００３８】
Ｓ６：前景検出部１７は、Ｓ５で入力された時系列画像から背景領域と前景領域を分離して、図８に例示されたような前景領域を検出した前景領域画像８１を生成する。
【００３９】
前景検出の手法についても、背景統計量を指定した手法や、フレーム間差分などから算出した画像中の動きベクトルを用いた手法が存在するが、本発明では前景検出手法については限定せず、それら既存の前景検出手法のうちいずれかの手法を用いて前景検出を行えばよい。
【００４０】
Ｓ７：射影部１８は、図８に示されたように、Ｓ６で得た前景領域画像８１を、実空間マップ８２への変換を介さずに、物体流動速度計測装置１の記憶手段から引き出した射影テーブル１５（行列Ｒ＝ＱＰ（Ｋ×Ｎ次元））によって解析空間８３に直接射影する。
【００４１】
Ｓ８：射影解析部１９は解析空間８３へ射影された画像データの時間的な変化に基づき前記物体の流動速度を算出する。これにより雑踏における物体の流動速度が算出される。
【００４２】
流動速度の算出について具体的に説明する。実空間上に人物の存在する箇所は、解析空間８３においても投票値が大きくなる。この性質を利用し、射影解析部１９は図８に示したように解析空間８３において局所的なピーク検出を行い、ピークの時間的な変化により流動量を算出する。図８に示された事例では、解析空間８３の異次元データを時系列に並べて生成した２次元データ（流動方向と時間方向の２次元データ）であるピークの時空間画像８４からハフ変換により主要な直線成分を検出し、それらの直線成分の角度情報から流動量を算出している。すなわち、θ−ρハフ変換で主要な直線成分を検出し、その最も頻度の高い角度情報θを検出し、この角度情報θから流動速度に換算している。この換算によって得られた流動速度データ２０は図示省略の表示装置から出力される。
【００４３】
Ｓ９：全ての時系列画像についてＳ５〜Ｓ８のステップが実行される。
【００４４】
以上のように物体流動速度計測装置１は、雑踏のように多数の移動物体が存在する状況下においても、対象の特定や追跡を行わず、検出した前景領域そのものを投票することにより流動方向を算出するので、安定的に移動物体の流動速度を計測できる。
【００４５】
また、事前設定（Ｓ１〜Ｓ４）によりカメラ校正や計測したい流動方向を指定することで、実空間上での位置を算出することなく、流動方向解析用の空間へ一括して射影し、雑踏における流動速度を算出することが可能となる。
【００４６】
したがって、雑踏のような複数の移動物体が存在する状況下でも、精度良く移動物体を検出し、安定的且つ高速に移動物体の流動速度を計測できる。
【符号の説明】
【００４７】
１…物体流動速度計測装置
１１…カメラ校正部（校正手段）
１２…流動方向指定部（流動方向指定手段）
１３…実空間投票テーブル生成部（実空間投票テーブル生成手段）
１４…射影テーブル生成部（射影テーブル生成手段）
１５…射影テーブル
１６…画像入力部
１７…前景検出部（前景領域検出手段）
１８…射影部（射影手段）
１９…射影解析部（解析手段）
２０…流動速度データ
８１…前景領域画像
８２…実空間マップ（離散座標系）
８３…解析空間
【技術分野】
【０００１】
本発明は、雑踏のように多数の移動物体が存在する環境下において、撮像装置（例えば、カメラ等）で撮影された時系列画像から、画像中の移動物体の流動速度を計測する技術に関するものである。
【背景技術】
【０００２】
移動物体を含む静止画像や動画像（映像）から、移動物体を検出、追跡する技術が提案されている（非特許文献１）。しかしながら、それらの技術は画像（静止画像や動画像）から対象を特定し、対象の時間的な変化を追跡していくため、対象の時間的な形状変化や、雑踏のように多数の移動物体が存在する場合には追跡が困難であるという問題がある。また、上記技術は実空間上の移動物体の追跡を行うことを目的としているため移動物体の速度計測には適さない。
【０００３】
さらに、それら手法を用いた場合であっても、実空間での対象の移動速度を推定するためには、一度実空間の座標へ変換した後、単位時間当たりの対象の移動量を推定するという複数の段階を経る必要がある。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】大澤達哉、ウ小軍、数藤恭子、若林佳織、新井啓之、小池秀樹，「ＭＣＭＣ法に基づく対象と環境に三次元モデルを用いた人物追跡」，電子情報通信学会論文誌 Ｄ Ｖｏｌ．Ｊ９１−Ｄ Ｎｏ．８，２００８年８月１日，ｐｐ．２１３７−２１４７
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上述したような従来手法の問題点を鑑み、雑踏のような複数の移動物体が存在する状況下でも、精度良く移動物体を検出し、安定的且つ高速に移動物体の流動速度を計測することを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明の物体流動速度計測方法は、計測対象となる空間における任意の方向へ移動する物体の流動速度を計測する物体流動速度計測方法であって、前景領域検出手段が計測対象となる空間の時系列画像から前記物体を有する前景領域が検出された前景領域画像を生成するステップと、射影手段が前記前景領域画像から前記物体の流動方向を検出するための解析空間に射影させる予め生成された射影テーブルによって前記前景領域画像を前記解析空間へ射影するステップと、解析手段が前記解析空間へ射影された画像データの時間的な変化に基づき前記物体の流動速度を算出するステップを有する。
【０００７】
また、本発明の物体流動速度計測装置は、計測対象となる空間における任意の方向へ移動する物体の流動速度を計測する物体流動速度計測装置であって、計測対象となる空間の時系列画像から前記物体を有する前景領域が検出された前景領域画像を生成する前景領域検出手段と、前記前景領域画像から前記物体の流動方向を検出するための解析空間に射影させる予め生成された射影テーブルによって前記前景領域画像を前記解析空間へ射影する射影手段と、前記解析空間へ射影された画像データの時間的な変化に基づき前記物体の流動速度を算出する解析手段とを備える。
【０００８】
本発明は前記物体流動速度計測装置を構成する各手段としてコンピュータを機能させるプログラムまたはこれを記録したコンピュータ読み取り可能な記録媒体の態様とすることもできる。
【発明の効果】
【０００９】
以上の発明によれば、雑踏のような複数の移動物体が存在する状況下でも、精度良く移動物体を検出し、安定的且つ高速に移動物体の流動速度を計測できる。
【図面の簡単な説明】
【００１０】
【図１】発明に係る物体流動速度計測装置の概略構成図。
【図２】発明に係る物体流動速度計測の過程を説明したフローチャート。
【図３】カメラ校正手段の概要図。
【図４】流動方向指定手段の概要図。
【図５】実空間投票テーブル生成手段における仮想画像生成の概要図。
【図６】実空間投票テーブル生成手段における投票の概要図。
【図７】射影テーブル生成手段の概要図。
【図８】解析手段の概要図。
【発明を実施するための形態】
【００１１】
以下に本発明の実施形態について図面を参照しながら説明するが、本発明はこの実施形態によって限定されるものではない。
【００１２】
図１に示された本発明の実施形態に係る物体流動速度装置１は、撮像装置によって得られた画像（静止画像または動画像）中の移動物体を検出し、この検出された移動物体の流動速度を計測する。
【００１３】
物体流動速度計測装置１はカメラ校正部１１と流動方向指定部１２と実空間投票テーブル生成部１３と射影テーブル生成部１４と画像入力部１６と前景検出部１７と射影部１８と射影解析部１９とを備える。
【００１４】
物体流動速度計測装置１に係る情報処理の過程は、図２に示されたように、計測対象となる空間における移動物体の流動速度の計測に供する射影テーブル１５を予め生成する過程（Ｓ１〜Ｓ４）と、前記計測対象となる空間の時系列画像と前記予め生成された射影テーブル１５とに基づき前記移動物体の流動速度を計測する過程（Ｓ５〜Ｓ９）とを有する。射影テーブル１５を予め生成する過程（Ｓ１〜Ｓ４）に係る機能部は、カメラ校正部１１、流動方向指定部１２、実空間投票テーブル生成部１３、射影テーブル生成部１４である。前記流動速度を計測する過程（Ｓ５〜Ｓ９）に係る機能部は、画像入力部１６、前景検出部１７、射影部１８、射影解析部１９である。
【００１５】
カメラ校正部１１は、図３に例示したように、計測対象となる空間の時系列画像３３と前記測定対象の実空間３０における床面３１との幾何的な対応付けを行う。時系列画像３３に係る画像としては静止画像または動画像（映像）が挙げられる（後述の画像入力部１６が取り込む時系列画像も同様）。
【００１６】
流動方向指定部１２は、図４に例示したように、時系列画像３３に基づき、実空間３０における移動物体の流動速度を計測したい当該物体の流動方向Ｄを指定する。
【００１７】
実空間投票テーブル生成部１３は、図５に例示されたカメラ校正部１１による対応付けの結果（内部パラメータ，外部パラメータ）と前記移動物体の仮想的なモデル５１とに基づき、図６に例示されたような時系列画像３３の各画素における実空間３０の離散座標系（実空間マップ３４）への投票を行うための実空間投票テーブル（具体的には図７に例示された行列Ｐ）を生成する。
【００１８】
射影テーブル生成部１４は、図７に示されたように、流動方向指定部１２によって時系列画像３３において指定された流動方向Ｄと実空間投票テーブル生成部１３によって生成された実空間投票テーブル（行列Ｐ）とに基づき、射影部１８に供する射影テーブル１５を生成する。射影テーブル１５は、図８に例示されたように、前記時系列画像の前景領域画像（移動物体を有する前景領域が検出されたもの）８１から直接的に前記物体の流動方向を検出するための解析空間８３へ射影するための変換行列Ｒ（＝ＱＰ（Ｋ×Ｎ次元））である。射影テーブル１５は前記流動速度を計測する過程（Ｓ５〜Ｓ９）に供するために一時的に保存される。
【００１９】
画像入力部１６は、前記移動物体の流動速度の計測のために、計測対象となる空間の時系列画像を入力画像として取り込む。
【００２０】
前景領域検出部１７は前記入力画像から前記移動物体を有する前景領域が検出された前景領域画像を生成する。より具体的には、前景領域検出部１７は、前記入力画像から前景領域を検出して、図８に例示されたような前景領域画像８１を生成する。
【００２１】
射影部１８は、図８に示したように、予め生成された射影テーブル１５を用いることにより、実空間マップ（実空間の離散座標系）８２への変換を介さないで、前景領域画像８１を前記移動物体の流動方向を検出するための解析空間８３へ直接射影する。
【００２２】
射影解析部１９は解析空間８３へ射影された画像データの時間的な変化に基づき流動速度２０を算出する。具体的には前記画像データの時間的な変化に基づき得られる図８に例示された時空間画像８４をハウ変換することによって得られた角度情報θを速度換算することによって流動速度２０を算出している。
【００２３】
本発明を実施するにあたり、ハードウェアとしては、カメラなどの撮像装置、本発明に示す画像処理を行う計算機、結果を表示するモニタなどの画像表示装置を用いて実現することができる。また、画像処理を行うハードウェアについては、汎用の計算機、処理ロジックを実装したボード、チップなど様々なものが考えられるが、ここではそれを限定しない。なお、本発明は、時間に紐付けられたなんらかの入力画像に対して移動物体の流動速度を計測するものであり、撮像装置や入力画像、表示装置については特に限定しない。
【００２４】
すなわち、物体流動速度計測装置１に係る機能部１１〜１５，１７〜１９はコンピュータのハードウェアとプログラムの協働によって実現できる。機能部１１〜１５，１７〜１９としてコンピュータを機能させるプログラムは既知の記録媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＭＯ、ＨＤＤ、Ｂｌｕ−ｒａｙ Ｄｉｓｋ（登録商標）等）に格納してまたはネットワークを通じて提供できる。画像入力部１６は時系列画像を生成する撮像装置からデータの受信が可能な既知のハードウェアインターフェースによって実現すればよい。射影テーブル１５はコンピュータの内部メモリやハードディスク装置等の外部メモリに格納するようにすればよい。また、機能部１１〜１５，１７〜１９で生成された画像データや計測データは適宜に表示装置（ディスプレイ等）によって表示される。
【００２５】
図２に示されたフローチャートを参照しながら物体流動速度計測装置１による物体流動速度計測の過程について説明する。
【００２６】
先ず、Ｓ１〜Ｓ４（事前設定）を介して射影テーブル１５が予め生成される。
【００２７】
Ｓ１：カメラ校正部１１は図３に示されたカメラ３２による撮影によって得られた計測対象となる空間の時系列画像３３の各画素と前記測定対象の実空間３０における床面３１との幾何的な対応付けを行う。
【００２８】
より具体的には、図３に例示されたように、時系列画像３３における画素（ｘ，ｙ）と実空間（Ｘ，Ｙ，Ｚ）（床面がＸＹ平面）３０との幾何学的な対応付けが行われる。対応付けの際には、事前に計測したカメラ３２の設置位置、姿勢および角度を表す６つのパラメータ（Ｔｘ，Ｔｙ，Ｔｚ，θ，ω，Φ）の他、焦点距離やカメラ３２の歪みなどから、撮影した画像３３の各画素（ｘ，ｙ）を実空間３０上の床面３１の座標（Ｘ，Ｙ）へ変換する変換行列を作成することにより実現する。尚、φ，ω，θはそれぞれカメラ座標系ＸＹＺにおけるＸ軸、Ｙ軸、Ｚ軸周りの回転角である。
【００２９】
Ｓ２：流動方向指定部１２が、流動速度を計測したい実空間３０における移動物体の流動方向を時系列画像３３に基づき指定する。
【００３０】
具体的な流動方向の指定は図４に例示されたように観測画像（時系列画像３３）中の流動方向Ｄの始点（×）、終点（◆）の２点を与えることで指定する。始点、終点の与え方は、画素（ｘ，ｙ）を数値指定する、あるいは画像中の位置を直接選択するなどの方法により与える。
【００３１】
Ｓ３：実空間投票テーブル生成部１３は、Ｓ１での対応付けの結果と前記移動物体の仮想的なモデルとに基づき、時系列画像３３中の各画素に対する実空間の床面上の座標へ変換する際の実空間投票テーブルを作成する。
【００３２】
実空間投票テーブルの作成の際には、実空間上の各位置対して仮想的な人物モデルを配置し、それぞれの位置に人物が存在した場合の画像が仮想的に生成される。具体的には図５に例示されたように床面上に楕円体からなる人物モデル５１を想定した図形を密に生成し、これをＳ１で得たカメラ校正データ（内部パラメータ，外部パラメータ）を用いて解析することにより実空間投票テーブルを作成する。ここで、ある画素（ｘ，ｙ）に人物が存在した場合の実空間上の位置を実空間位置（Ｘ，Ｙ）とすると、実空間位置（Ｘ，Ｙ）に人物が存在した場合の人物一人当たりの画素数から、人物一人当たりの表面積比を算出する。この表面面積比を画素位置（ｘ，ｙ）に人物が存在した場合の実空間上の位置（Ｘ，Ｙ）への投票値とする。画素（ｘ，ｙ）に人物が存在する場合は、画素（ｘ，ｙ）が人物の頭や手、足など様々な部位であることが考えられるため、実空間上の位置（Ｘ，Ｙ）以外の位置に人物が存在する場合も考えられる。そのため、ここでは、考えられる全ての人物位置に対して、前述の手段にて投票値を算出する。また、各画素に対して、対応するモデルと画像枠内画素数とを予め記録したテーブルが作成される。以上の処理を全画素に対して行うことで、図６に例示した画像３３枠におけるモデルａ〜ｄの表面積比に基づく投票値を実空間マップ（離散座標系）３４に投票するための実空間投票テーブルを作成する。この実空間投票テーブルは、図７の事例では、画像３３中の全画素数をＮ画素とし、仮想人物モデルを配置した量子化された実空間マップ３４上の位置数をＭ点とすると、Ｎ画素をそれぞれＭ点へ投票することとなるため、Ｍ×Ｎ次元の変換行列Ｐにより表すことができる。
【００３３】
Ｓ４：射影テーブル生成部１４は、図７に示したように、Ｓ２で指定された流動方向（画像３３中の流動方向Ｄ）とＳ３で作成された実空間投票テーブル（Ｍ×Ｎ次元の変換行列Ｐ）とから、移動物体の流動速度を計測する過程（Ｓ５〜Ｓ９）に係る射影部１８（Ｓ７）に供する射影テーブル１５を生成する。
【００３４】
実空間投票テーブルから解析空間への射影は、図７に示したように、実空間マップ３４上のＭ点を射影する流動方向で量子化したＫ点へ射影するＫ×Ｍ次元の変換行列Ｑにより表すことができる。そのため、Ｍ×Ｎ次元の実空間投票テーブル（Ｍ×Ｎ次元の変換行列Ｐ）とＫ×Ｍ次元の射影行列ＱとからなるＫ×Ｎの変換行列Ｒ（＝ＱＰ）を事前に算出する。この算出されたＫ×Ｎの変換行列Ｒを射影テーブル１５としている。そして、この射影テーブル１５により、後述の流動速度の計測過程（Ｓ５〜Ｓ９）では、実空間の離散座標系（実空間マップ３４）への投票を行うことなく、画像空間（Ｎ画素）３３から解析空間（Ｋ点）３５へ直接に変換を行うことができる。尚、射影テーブル１５は流動速度の計測（Ｓ５〜Ｓ９）のために物体流動速度計測装置１の記憶手段に保存される。
【００３５】
以上の処理により、射影テーブル１５が予め生成される。
【００３６】
流動速度の計測（Ｓ５〜Ｓ９）のステップでは、撮像によって得た計測対象となる空間の時系列画像から、移動物体を有する前景領域を検出して、これに対してＳ１〜Ｓ４を介して予め作成しておいた射影テーブル１５から流動方向を検出するための解析空間に変換を行い、この解析空間におけるデータの時間的変化から移動物体の流動速度を算出する。
【００３７】
Ｓ５：画像入力部１６はカメラ等の撮像装置により撮像された時系列画像や事前に撮像しておいた時系列画像を取り込む。画像の入力方法に関しては前述の通り限定はしない。
【００３８】
Ｓ６：前景検出部１７は、Ｓ５で入力された時系列画像から背景領域と前景領域を分離して、図８に例示されたような前景領域を検出した前景領域画像８１を生成する。
【００３９】
前景検出の手法についても、背景統計量を指定した手法や、フレーム間差分などから算出した画像中の動きベクトルを用いた手法が存在するが、本発明では前景検出手法については限定せず、それら既存の前景検出手法のうちいずれかの手法を用いて前景検出を行えばよい。
【００４０】
Ｓ７：射影部１８は、図８に示されたように、Ｓ６で得た前景領域画像８１を、実空間マップ８２への変換を介さずに、物体流動速度計測装置１の記憶手段から引き出した射影テーブル１５（行列Ｒ＝ＱＰ（Ｋ×Ｎ次元））によって解析空間８３に直接射影する。
【００４１】
Ｓ８：射影解析部１９は解析空間８３へ射影された画像データの時間的な変化に基づき前記物体の流動速度を算出する。これにより雑踏における物体の流動速度が算出される。
【００４２】
流動速度の算出について具体的に説明する。実空間上に人物の存在する箇所は、解析空間８３においても投票値が大きくなる。この性質を利用し、射影解析部１９は図８に示したように解析空間８３において局所的なピーク検出を行い、ピークの時間的な変化により流動量を算出する。図８に示された事例では、解析空間８３の異次元データを時系列に並べて生成した２次元データ（流動方向と時間方向の２次元データ）であるピークの時空間画像８４からハフ変換により主要な直線成分を検出し、それらの直線成分の角度情報から流動量を算出している。すなわち、θ−ρハフ変換で主要な直線成分を検出し、その最も頻度の高い角度情報θを検出し、この角度情報θから流動速度に換算している。この換算によって得られた流動速度データ２０は図示省略の表示装置から出力される。
【００４３】
Ｓ９：全ての時系列画像についてＳ５〜Ｓ８のステップが実行される。
【００４４】
以上のように物体流動速度計測装置１は、雑踏のように多数の移動物体が存在する状況下においても、対象の特定や追跡を行わず、検出した前景領域そのものを投票することにより流動方向を算出するので、安定的に移動物体の流動速度を計測できる。
【００４５】
また、事前設定（Ｓ１〜Ｓ４）によりカメラ校正や計測したい流動方向を指定することで、実空間上での位置を算出することなく、流動方向解析用の空間へ一括して射影し、雑踏における流動速度を算出することが可能となる。
【００４６】
したがって、雑踏のような複数の移動物体が存在する状況下でも、精度良く移動物体を検出し、安定的且つ高速に移動物体の流動速度を計測できる。
【符号の説明】
【００４７】
１…物体流動速度計測装置
１１…カメラ校正部（校正手段）
１２…流動方向指定部（流動方向指定手段）
１３…実空間投票テーブル生成部（実空間投票テーブル生成手段）
１４…射影テーブル生成部（射影テーブル生成手段）
１５…射影テーブル
１６…画像入力部
１７…前景検出部（前景領域検出手段）
１８…射影部（射影手段）
１９…射影解析部（解析手段）
２０…流動速度データ
８１…前景領域画像
８２…実空間マップ（離散座標系）
８３…解析空間
【特許請求の範囲】
【請求項１】
計測対象となる空間における任意の方向へ移動する物体の流動速度を計測する物体流動速度計測方法であって、
前景領域検出手段が計測対象となる空間の時系列画像から前記物体を有する前景領域が検出された前景領域画像を生成するステップと、
射影手段が前記前景領域画像から前記物体の流動方向を検出するための解析空間に射影させる予め生成された射影テーブルによって前記前景領域画像を前記解析空間へ射影するステップと、
解析手段が前記解析空間へ射影された画像データの時間的な変化に基づき前記物体の流動速度を算出するステップと
を有すること
を特徴とする物体流動速度計測方法。
【請求項２】
校正手段が前記計測対象となる空間の時系列画像と前記計測対象の実空間における床面との幾何的な対応付けを行うステップと、
流動方向指定手段が前記時系列画像に基づき前記実空間における物体の流動速度が計測される前記物体の流動方向を指定するステップと、
実空間投票テーブル生成手段が前記対応付けの結果と仮想的な前記物体のモデルとに基づき前記時系列画像の各画素における前記実空間の離散座標系への投票を行うための投票テーブルを生成するステップと、
射影テーブル生成手段が前記指定された流動方向と前記生成された投票テーブルとに基づき前記射影手段に供する射影テーブルを生成するステップと
をさらに有すること
を特徴とする請求項１に記載の物体流動速度計測方法。
【請求項３】
前記投票テーブルは、前記時系列画像中の全画素数をＮ画素とし、前記モデルを配置した量子化された実空間の離散座標系上の位置数をＭ点とし、Ｎ画素をそれぞれＭ点へ投票するＭ×Ｎ次元の変換行列からなること
を特徴とする請求項２に記載の物体流動速度計測方法。
【請求項４】
前記射影テーブルは、
前記時系列画像中の全画素数をＮ画素とし、前記モデルを配置した量子化された実空間の離散座標系上の位置数をＭ点とし、Ｎ画素をそれぞれＭ点へ投票するＭ×Ｎ次元の変換行列と、
Ｍ点を前記流動方向で量子化したＫ点へ射影するＫ×Ｍ次元の変換行列と
からなるＫ×Ｎ次元の合成変換行列であること
を特徴とする請求項１から３のいずれか１項に記載の物体流動速度計測方法。
【請求項５】
計測対象となる空間における任意の方向へ移動する物体の流動速度を計測する物体流動速度計測装置であって、
計測対象となる空間の時系列画像から前記物体を有する前景領域が検出された前景領域画像を生成する前景領域検出手段と、
前記前景領域画像から前記物体の流動方向を検出するための解析空間に射影させる予め生成された射影テーブルによって前記前景領域画像を前記解析空間へ射影する射影手段と、
前記解析空間へ射影された画像データの時間的な変化に基づき前記物体の流動速度を算出する解析手段と
を備えること
を特徴とする物体流動速度計測装置。
【請求項６】
前記計測対象となる空間の時系列画像と前記計測対象の実空間における床面との幾何的な対応付けを行う校正手段と、
前記時系列画像に基づき前記実空間における前記物体の流動速度が計測される前記物体の流動方向を指定する流動方向指定手段と、
前記対応付けの結果と仮想的な前記物体のモデルとに基づき前記時系列画像の各画素における前記実空間の離散座標系への投票を行うための投票テーブルを生成する実空間投票テーブル生成手段と、
前記指定された流動方向と前記生成された投票テーブルとに基づき前記射影手段に供する射影テーブルを生成する射影テーブル生成手段と
をさらに備えること
を特徴とする請求項５に記載の物体流動速度計測装置。
【請求項７】
前記投票テーブルは、前記時系列画像中の全画素数をＮ画素とし、前記モデルを配置した量子化された実空間の離散座標系上の位置数をＭ点とし、Ｎ画素をそれぞれＭ点へ投票するＭ×Ｎ次元の変換行列からなること
を特徴とする請求項６に記載の物体流動速度計測装置。
【請求項８】
前記射影テーブルは、
前記時系列画像中の全画素数をＮ画素とし、前記モデルを配置した量子化された実空間の離散座標系上の位置数をＭ点とし、Ｎ画素をそれぞれＭ点へ投票するＭ×Ｎ次元の変換行列と、
Ｍ点を前記流動方向で量子化したＫ点へ射影するＫ×Ｍ次元の変換行列と
からなるＫ×Ｎ次元の合成変換行列であること
を特徴とする請求項５から７のいずれか１項に記載の物体流動速度計測装置。
【請求項９】
請求項５から８のいずれか１項に記載の物体流動速度計測装置を構成する各手段としてコンピュータを機能させるプログラム。
【請求項１０】
請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
計測対象となる空間における任意の方向へ移動する物体の流動速度を計測する物体流動速度計測方法であって、
前景領域検出手段が計測対象となる空間の時系列画像から前記物体を有する前景領域が検出された前景領域画像を生成するステップと、
射影手段が前記前景領域画像から前記物体の流動方向を検出するための解析空間に射影させる予め生成された射影テーブルによって前記前景領域画像を前記解析空間へ射影するステップと、
解析手段が前記解析空間へ射影された画像データの時間的な変化に基づき前記物体の流動速度を算出するステップと
を有すること
を特徴とする物体流動速度計測方法。
【請求項２】
校正手段が前記計測対象となる空間の時系列画像と前記計測対象の実空間における床面との幾何的な対応付けを行うステップと、
流動方向指定手段が前記時系列画像に基づき前記実空間における物体の流動速度が計測される前記物体の流動方向を指定するステップと、
実空間投票テーブル生成手段が前記対応付けの結果と仮想的な前記物体のモデルとに基づき前記時系列画像の各画素における前記実空間の離散座標系への投票を行うための投票テーブルを生成するステップと、
射影テーブル生成手段が前記指定された流動方向と前記生成された投票テーブルとに基づき前記射影手段に供する射影テーブルを生成するステップと
をさらに有すること
を特徴とする請求項１に記載の物体流動速度計測方法。
【請求項３】
前記投票テーブルは、前記時系列画像中の全画素数をＮ画素とし、前記モデルを配置した量子化された実空間の離散座標系上の位置数をＭ点とし、Ｎ画素をそれぞれＭ点へ投票するＭ×Ｎ次元の変換行列からなること
を特徴とする請求項２に記載の物体流動速度計測方法。
【請求項４】
前記射影テーブルは、
前記時系列画像中の全画素数をＮ画素とし、前記モデルを配置した量子化された実空間の離散座標系上の位置数をＭ点とし、Ｎ画素をそれぞれＭ点へ投票するＭ×Ｎ次元の変換行列と、
Ｍ点を前記流動方向で量子化したＫ点へ射影するＫ×Ｍ次元の変換行列と
からなるＫ×Ｎ次元の合成変換行列であること
を特徴とする請求項１から３のいずれか１項に記載の物体流動速度計測方法。
【請求項５】
計測対象となる空間における任意の方向へ移動する物体の流動速度を計測する物体流動速度計測装置であって、
計測対象となる空間の時系列画像から前記物体を有する前景領域が検出された前景領域画像を生成する前景領域検出手段と、
前記前景領域画像から前記物体の流動方向を検出するための解析空間に射影させる予め生成された射影テーブルによって前記前景領域画像を前記解析空間へ射影する射影手段と、
前記解析空間へ射影された画像データの時間的な変化に基づき前記物体の流動速度を算出する解析手段と
を備えること
を特徴とする物体流動速度計測装置。
【請求項６】
前記計測対象となる空間の時系列画像と前記計測対象の実空間における床面との幾何的な対応付けを行う校正手段と、
前記時系列画像に基づき前記実空間における前記物体の流動速度が計測される前記物体の流動方向を指定する流動方向指定手段と、
前記対応付けの結果と仮想的な前記物体のモデルとに基づき前記時系列画像の各画素における前記実空間の離散座標系への投票を行うための投票テーブルを生成する実空間投票テーブル生成手段と、
前記指定された流動方向と前記生成された投票テーブルとに基づき前記射影手段に供する射影テーブルを生成する射影テーブル生成手段と
をさらに備えること
を特徴とする請求項５に記載の物体流動速度計測装置。
【請求項７】
前記投票テーブルは、前記時系列画像中の全画素数をＮ画素とし、前記モデルを配置した量子化された実空間の離散座標系上の位置数をＭ点とし、Ｎ画素をそれぞれＭ点へ投票するＭ×Ｎ次元の変換行列からなること
を特徴とする請求項６に記載の物体流動速度計測装置。
【請求項８】
前記射影テーブルは、
前記時系列画像中の全画素数をＮ画素とし、前記モデルを配置した量子化された実空間の離散座標系上の位置数をＭ点とし、Ｎ画素をそれぞれＭ点へ投票するＭ×Ｎ次元の変換行列と、
Ｍ点を前記流動方向で量子化したＫ点へ射影するＫ×Ｍ次元の変換行列と
からなるＫ×Ｎ次元の合成変換行列であること
を特徴とする請求項５から７のいずれか１項に記載の物体流動速度計測装置。
【請求項９】
請求項５から８のいずれか１項に記載の物体流動速度計測装置を構成する各手段としてコンピュータを機能させるプログラム。
【請求項１０】
請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−２４４１９２（Ｐ２０１０−２４４１９２Ａ）
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願番号】特願２００９−９０３１２（Ｐ２００９−９０３１２）
【出願日】平成２１年４月２日（２００９．４．２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願日】平成２１年４月２日（２００９．４．２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]