3次元マルチカメラビデオ監視支援システム、3次元マルチカメラビデオ監視支援方法、3次元マルチカメラビデオ監視支援プログラム
【課題】2次元表示から没入型3次元環境を生成することによって、3次元マルチカメラビデオの監視を支援する。
【解決手段】本発明の3次元マルチカメラビデオ監視支援システムは、内容解析モジュールと、背景差分モジュールと、モーション追跡モジュールと、混合モジュールと、レンダリングモジュールと、を備える。内容解析モジュールは、監視下にある現場の3次元意味論的レイアウトを生成し、背景差分モジュールは、複数のカメラからのビデオストリームにおいて移動オブジェクトを検出及び分割し、モーション追跡モジュールは、前記ビデオストリームの移動オブジェクトを追跡し、混合モジュールは、アルファ混合によって前記ビデオストリームの前景領域を強調し、レンダリングモジュールは、前記3次元意味論的レイアウトとアルファ混合後の前記ビデオストリームとを3次元没入型環境に統合する。
【解決手段】本発明の3次元マルチカメラビデオ監視支援システムは、内容解析モジュールと、背景差分モジュールと、モーション追跡モジュールと、混合モジュールと、レンダリングモジュールと、を備える。内容解析モジュールは、監視下にある現場の3次元意味論的レイアウトを生成し、背景差分モジュールは、複数のカメラからのビデオストリームにおいて移動オブジェクトを検出及び分割し、モーション追跡モジュールは、前記ビデオストリームの移動オブジェクトを追跡し、混合モジュールは、アルファ混合によって前記ビデオストリームの前景領域を強調し、レンダリングモジュールは、前記3次元意味論的レイアウトとアルファ混合後の前記ビデオストリームとを3次元没入型環境に統合する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、マルチカメラビデオの監視、解析、表示の分野に関する。詳細には、本発明は、3次元マルチカメラビデオの監視を支援するシステム、3次元マルチカメラビデオの監視を支援する方法、及び、3次元マルチカメラビデオの監視を支援するプログラムに関する。
【背景技術】
【0002】
近年、多数のビデオ監視システムの台頭が見られるが、該システムの大部分は、複数のカメラからなる。このようなシステムのビデオストリームの可視化(ビジュアライゼーション)は2次元(2−D)に限られていたため、各カメラが捕捉(キャプチャ)する物理的シーンの空間位置を保安要員が連続的に追跡するには手間が掛かりすぎた。従って、2次元表示から、没入型3次元環境を生成することによって、この難題を解決することが望まれる。この没入型3次元環境において、保安要員は、マウスをクリックして、ナビゲーションを直観的に行い、シーンの隅々まで詳しく調べることができる。
【非特許文献1】スタウファー C.(Stauffer C)、グリムソン W.E.L.(Grimson W.E.L)、「リアルタイム追跡によるアクティビティパターン学習(Learning patterns of activity using real-time tracking)、パターン解析及びマシンインテリジェンスに関するIEEEトランザクション(IEEE Transactions on Pattern Analysis & Machine Intelligence)、2000年、22(8)、頁747〜757
【非特許文献2】ヴィオラ P.(Viola P.)、ジョーンズ M.J.(Jones M.J.)、スノー D.(Snow D.)、「モーションパターン及び外観による歩行者検出( Detecting Pedestrians Using Patterns of Motion and Appearance)」、コンピュータビジョンに関するIEEEインターナショナルカンファレンス(IEEE International Conference on Computer Vision (ICCV))、2003年10月、Vol. 2、頁734〜741
【非特許文献3】カメダ Y.(Kameda Y.)、タケマサ T.(Takemasa T.)、オオタ Y.(Ohta Y.)、「調査カメラを利用したアウトドアシースルービジョン(Outdoor see-through vision utilizing surveillance cameras)」、混合及び拡張現実に関する第3回IEEE及びACMインターナショナルシンポジウム(Third IEEE and ACM International Symposium on Mixed and Augmented Reality)、2004年11月2〜5日、頁151〜160
【発明の開示】
【発明が解決しようとする課題】
【0003】
本発明は、上記に鑑み、2次元表示から没入型3次元環境を生成することによって、3次元マルチカメラビデオの監視を支援することを課題とする。
【課題を解決するための手段】
【0004】
本発明の種々の実施の形態によって、複数のカメラから捕捉されたビデオを解析し監視するための新しい技術がもたらされる。該技術は、没入型3次元環境で、ビデオをレンダリングし、表示する。没入型3次元環境では、コンピュータグラフィックス(CG)が使用され、カメラの空間分布及びカメラの視野を伝達する。マルチカメラ監視システムから捕捉されたビデオの場合、本発明は、ガウス混合モデル(Gaussian−Mixture−Model(GMM))ベースの適応背景差分によって移動オブジェクト(Moving Object)を検出し、ベイズ(Bayesian)フィルタリングによって該移動オブジェクトを追跡する。この追跡の結果は、(1)前景を強調(ハイライト)すること、(2)3次元環境においての当該位置でオブジェクトのアバター(avatar:画面上に登場するキャラクター)をレンダリングすること、の二つの方法によって、リアルタイムで可視化され得る。表示の空間配置は、異なる表示にわたる同時モーションの量の多次元スケーリング(MDS)によって生成され得る。カメラの配置(の幾何学的情報)が使用可能である場合、該配置(の幾何学的情報)は、線形補間によってMDSの結果と組み合わされ得る。
【0005】
本発明の第1の態様は、3次元マルチカメラビデオの監視を支援するシステムであって、監視下にある現場の3次元意味論的レイアウトを生成するために動作可能な内容解析モジュールと、複数のカメラからのビデオストリームにおいて移動オブジェクトを検出及び分割するために動作可能な背景差分モジュールと、前記ビデオストリームの移動オブジェクトを追跡するために動作可能なモーション追跡モジュールと、アルファ混合によって前記ビデオストリームの前景領域を強調するために動作可能な混合モジュールと、前記3次元意味論的レイアウトとアルファ混合後の前記ビデオストリームとを3次元没入型環境に統合するために動作可能なレンダリングモジュールと、を含む。
【0006】
本発明の第2の態様は、第1の態様の3次元マルチカメラビデオ監視支援システムであって、前記複数のカメラのサイトマップと前記意味論的レイアウトとを組み合わせるために動作可能な3次元レイアウト生成モジュールをさらに含む。
【0007】
本発明の第3の態様は、第1の態様の3次元マルチカメラビデオ監視支援システムであって、前記背景差分モジュールから出力された前記ビデオストリームの雑音を除去するために動作可能な形態学的オペレータをさらに含む。
【0008】
本発明の第4の態様は、第1の態様の3次元マルチカメラビデオ監視支援システムであって、前記内容解析モジュールが多次元スケーリングによって意味論的レイアウトを生成するために動作可能である。
【0009】
本発明の第5の態様は、第1の態様の3次元マルチカメラビデオ監視支援システムであって、前記移動オブジェクトが人間及び人間の顔の少なくとも一方である。
【0010】
本発明の第6の態様は、第1の態様の3次元マルチカメラビデオ監視支援システムであって、前記背景差分モジュールが、ガウス混合モデルによって、前記ビデオストリームにおいて前記移動オブジェクトを検出し、分割するために動作可能である。
【0011】
本発明の第7の態様は、第1の態様の3次元マルチカメラビデオ監視支援システムであって、前記モーション追跡モジュールが、ベイズフィルタリングによって、前記移動オブジェクトを追跡するために動作可能である。
【0012】
本発明の第8の態様は、第1の態様の3次元マルチカメラビデオ監視支援システムであって、前記混合モジュールが、前景や背景の分割方法による統計と、オブジェクト検出方法による信頼性スコアと、の少なくとも1つからアルファ値を直接的に導くために動作可能である。
【0013】
本発明の第9の態様は、第1の態様の3次元マルチカメラビデオ監視支援システムであって、前記レンダリングモジュールが、テクスチャマッピングによって、前記3次元没入型環境にアルファ混合後の前記ビデオストリームを統合するために動作可能である。
【0014】
本発明の第10の態様は、3次元マルチカメラビデオの監視を支援する方法であって、監視下にある現場の3次元意味論的レイアウトを生成し、複数のカメラからのビデオストリームの移動オブジェクトを検出及び分割し、前記ビデオストリームの移動オブジェクトを追跡し、局所的なアルファ混合によって前記ビデオストリームの前景領域を強調し、前記3次元意味論的レイアウトとアルファ混合後の前記ビデオストリームとを、3次元没入型環境に統合する。
【0015】
本発明の第11の態様は、第10の態様の3次元マルチカメラビデオ監視支援方法であって、前記複数のカメラのサイトマップと前記意味論的レイアウトとを組み合わせることをさらに含む。
【0016】
本発明の第12の態様は、第10の態様の3次元マルチカメラビデオ監視支援方法であって、多次元スケーリングによって意味論的レイアウトを生成することをさらに含む。
【0017】
本発明の第13の態様は、第10の態様の3次元マルチカメラビデオ監視支援方法であって、形態学的オペレーションによって前記背景差分モジュールから出力された前記ビデオストリームの雑音を除去することをさらに含む。
【0018】
本発明の第14の態様は、第10の態様の3次元マルチカメラビデオ監視支援方法であって、ガウス混合モデルによって、前記ビデオストリームにおける移動オブジェクトを検出及び分割することをさらに含む。
【0019】
本発明の第15の態様は、第10の態様の3次元マルチカメラビデオ監視支援方法であって、ベイズフィルタリングによって、前記移動オブジェクトを追跡することをさらに含む。
【0020】
本発明の第16の態様は、第10の態様の3次元マルチカメラビデオ監視支援方法であって、前景や背景の分割方法による統計と、オブジェクト検出方法による信頼性スコアと、の少なくとも1つからアルファ値を直接的に導くことをさらに含む。
【0021】
本発明の第17の態様は、第10の態様の3次元マルチカメラビデオ監視支援方法であって、テクスチャマッピングによって、アルファ混合後の前記ビデオストリームを前記3次元没入型環境に統合することをさらに含む。
【0022】
本発明の第18の態様は、3次元マルチカメラビデオの監視を支援するプログラムであって、監視下にある現場の3次元意味論的レイアウトを生成するステップと、複数のカメラからのビデオストリームの移動オブジェクトを検出及び分割するステップと、前記ビデオストリームの移動オブジェクトを追跡するステップと、局所的なアルファ混合によって前記ビデオストリームの前景領域を強調するステップと、前記3次元意味論的レイアウトとアルファ混合後の前記ビデオストリームとを3次元没入型環境に統合するステップと、を、コンピュータに実行させる。
【0023】
本発明の第19の態様は、3次元マルチカメラビデオの監視を支援するためのシステムであって、監視下にある現場の3次元意味論的レイアウトを生成する手段と、複数のカメラからのビデオストリームの移動オブジェクトを検出及び分割する手段と、前記ビデオストリームの移動オブジェクトを追跡する手段と、局所的なアルファ混合によって前記ビデオストリームの前景領域を強調する手段と、前記3次元意味論的レイアウトとアルファ混合後の前記ビデオストリームとを3次元没入型環境に統合する手段と、を含む。
【発明の効果】
【0024】
本発明は、監視下にある現場の3次元意味論的レイアウトを生成し、複数のカメラからのビデオストリームにおいて移動オブジェクトを検出及び分割し、前記ビデオストリームの移動オブジェクトを追跡し、アルファ混合によって前記ビデオストリームの前景領域を強調し、前記3次元意味論的レイアウトとアルファ混合後の前記ビデオストリームとを3次元没入型環境に統合するようにしているので、2次元表示から没入型3次元環境を生成することができ、これにより、3次元マルチカメラビデオの監視を支援することができる。
【発明を実施するための最良の形態】
【0025】
本発明は例によって示されるが、添付図面に限定されない。該添付図面において、同様の構成要素には同様の参照番号が付される。「ある」、「一(の)」、または「いくつかの」実施形態が必ずしも同一実施形態を示しているわけではなく、このような言及は「少なくとも一の」を意味することに留意されたい。
【0026】
図1は、本発明の一実施形態における3次元マルチカメラビデオ監視(及びナビゲーション)システム100の例を示す。この図は、構成要素を機能的に分離したものとして描いているが、このような描写は、単に図示を目的としてなされている。この図において描写される構成要素が任意に組み合わされ、別個のソフトウェア、ファームウェア及びハードウェアの少なくとも一の構成要素に分割され得ることは、当業者に明らかである。さらにまた、どのようにして、組み合わされるか、あるいは、分割されるかにかかわらず、このような構成要素は、同じ演算装置または複数の演算装置で実行できること、そして、該複数の演算装置が一以上のネットワークに接続され得ることが、当業者には明らかである。
【0027】
図1を参照する。内容解析モジュール101は、カメラのネットワークから、現場の長期の統計的観察(写真、ビデオストリームなどであってよいが、これらに限定されない)に基づいて、多次元スケーリング(MDS)法による監視下で現場の意味論的(セマンチックな)レイアウトを生成する。3次元レイアウト生成モジュール102は、カメラのネットワークのサイトマップ(すなわち、幾何学的情報)と内容解析モジュールからのシーン(意味論的レイアウト)とを結合して、ユーザ110がナビゲートできるように、ユーザナビゲーションインターフェース108上へ3次元没入型環境を生成する。モーション検出のため、前景オブジェクトの分割は、コンピュータビジョンの基本的な問題の一つである。カメラが固定されている場合、モーションキューが、この問題を解決するために広く用いられており、このような解決法は、「背景差分」と称される。複数のカメラのネットワークからのビデオストリームは、移動オブジェクトを検出し、分割するために、背景差分モジュール103へ送られる。形態学的オペレータ104は、背景差分モジュールの出力から雑音を除去するために任意に使用され得る。雑音除去された後のビデオストリームにおける移動中の人やオブジェクトは、モーション追跡モジュール105によって追跡され得る。混合モジュール106は、(元のビデオストリームと)局所的にアルファ混合することによってビデオストリームの前景領域を強調(ハイライト)するために用いられる。これにより、ストリームの誤分割の影響を緩和し、モーション検出結果を伝達して、ユーザによるオブジェクトの追跡を支援する。様々なカメラからのビデオストリームの空間分布を示すために、処理されたビデオストリームは、ユーザナビゲーションインターフェース上の複数のビデオ表示装置109にレンダリングされ、現場の3次元レイアウトに統合され、テクスチャマッピングを介して、レンダリングモジュール107によって、没入型3次元環境を生成する。
【0028】
図2は、本発明の一実施形態の3次元マルチカメラビデオ監視及びナビゲーションのプロセスの例を示すフローチャートである。この図では、機能的なステップを特定の順序で示しているが、これは、例示を目的としており、該プロセスは、任意の特定の順番やステップの構成に限定されない。当業者は、この図に描かれた様々なステップを省略したり、再構成したり、組み合わせたり、様々な方法で調整したりすることができることを理解するであろう。
【0029】
図2を参照すると、ステップ201において、監視下の現場の3次元意味論的レイアウトが、多次元スケーリング(MDS)法によって、まず、生成される。次に、ステップ202において、内容解析による意味論的レイアウトとカメラのネットワークのサイトマップ(即ち、幾何学的情報)とを結合し、3次元没入型環境が生成される。ビデオ監視中、ステップ203において、複数のカメラのネットワークからのビデオストリームの移動オブジェクトが、背景差分によって、検出され、分割され得る。ステップ204において、背景差分モジュールからの出力にある雑音は形態学的オペレータによって任意に除去することが可能である。ステップ205において、モーション追跡モジュールは、雑音除去後のストリームにおける移動する人やオブジェクトを追跡するために動作可能である。ステップ206において、ビデオストリームの前景領域は、局所的なアルファ混合によって強調(ハイライト)され、ビデオストリームにおける誤分割の影響を緩和し、モーション検出結果を伝達することができる。最後に、ステップ207において、処理されたビデオストリームは、テクスチャマッピングによって、没入型3次元環境に統合されて、様々なカメラからのビデオストリームの空間分布を示し、ユーザがユーザナビゲーションインターフェースを介してナビゲートするのを容易にすることができる。ステップ203乃至207は、サイトの監視期間中、連続的に反復され得る。
【0030】
従来の方法と比較すると、本発明は、少なくとも以下の利点を享受できる。
●内容ベースの配置(プレースメント)アルゴリズムが採用されるので、建物の幾何学的測定を行わなくても、ビデオストリームのみから、3次元マルチストリームビデオ監視モデルを生成することができる。
●前景分割(セグメンテーション)の結果が(一連の画像からのアクションキーフレームを生成するために使用される)局所的アルファ混合によって可視化される。この場合、分割(セグメンテーション)結果については、境界ボックスやオブジェクト輪郭を使用した場合と同量であるが、境界ボックスやオブジェクト輪郭よりも誤分割に対する耐用性が高い。
●ワープしたビデオモードとビルボードビデオモードとを切り替えることができ、画面実領域(スクリーンリアルエステート)を効率的に使用することができる。
●一連の画像を示す単一画像を生成するかわりに、ビデオストリームを見せることにより、ユーザの注意を前景へ向けることができる。
●背景と前景とのいずれに対してもぼけを生じることなく、鮮明な画像を保つことができる。
【0031】
いくつかの実施形態において、GMM(ガウス混合モデル)ベースの適応背景差分アルゴリズムが、背景差分モジュールによって使用され、ビデオストリームにおける移動オブジェクトを検出し分割することができる。画像の各画素は、RGB色空間のいくつかの(通常3乃至5の)ガウス分布を使用してモデリングされる。これによって、システムは、(風で揺れる木のような)変化しやすい背景をモデリングでき、前景オブジェクトまたは、一時的な、背景の変化によって画素の色が変化した時でも、それまでの背景の色分布をそのまま追跡することができる。画素を前景画素または背景画素としてラベリング(分類)するための決定は、各ガウスのエビデンス全体とその分散(バリアンス)とを評価することによって行われる。背景画素は、前景画素よりエビデンスが多く、分散が低いと仮定される。これは、数学的には、ログ(対数)尤度に対して固定された閾値を設定することに等しい。なぜなら、尤度は、エビデンスと分散との比率であるためである。一定割合に達するまで、正規化スコアを降順に合計することによって、分類は達成される。この割合に達するために要求される全てのガウスカーネル(核)は背景とみなされ、それ以外は、前景としてラベリングされる。GMMベースの移動オブジェクトのモーション検出方法の例示的な出力が、図3Aに示される。
【0032】
いくつかの実施の形態において、ベイズ(Bayesian)フレームワークが、廊下に沿って移動オブジェクトを追跡すべく構築され得る。該オブジェクトの位置は、ベイズフィルタにおける隠れ変数である。フィルタが観察するのは、廊下の両側のカメラから検出されたモーションブロブのサイズおよび重心である。直観的に、人やオブジェクトが一方から他方へ移動する時、一端のモーションブロブのスケールは連続的に増加し、これにしたがって、モーションブロブのスケールは他端から減少する。複数の移動オブジェクトを追跡する場合、データに関連した問題を取り扱うために識別追跡が使用され得る。人を追跡する場合、顔検出および皮膚色が、追跡(トラッカー)のロバストを高めるために、さらなる観察オブジェクトとして使用され得る。
【0033】
全体的な照明変化、動的背景、投影、およびスペックルライトを含む要因によって(これらの要因に限定されるものではないが)、背景差分モジュールから得られる結果は、雑音を含み得る。形態学的オペレータは、小さい領域から雑音を除去するように用いられ、小さな孔に埋め込まれる。この後処理の後でさえ、前景または背景の一部に誤分割が見られることもある。
【0034】
いくつかの実施の形態において、モーション検出ベースのアルファ混合が混合モジュールとして提供され、このようなエラーの影響を緩和し、モーション検出結果を伝達して、ユーザのオブジェクト追跡を支援する。アルファ値は、前景と背景との分割アルゴリズムからの統計、または、オブジェクト(歩行者、顔)検出アルゴリズムの信頼性スコアから、直接的に導かれる。テクスチャマップのアルファチャネルは、テクスチャにおける各画素の透過値を示す。ビデオストリームがテクスチャマップとして示されるので、図3Aに示される前景マスクに基づいて、アルファチャネルにおいて、異なる値が異なる領域に割り当てられ、前景を効果的に強調することができる。アルファ混合の例示的な結果は、図3Bに示される。ユーザは、容易に混合係数を変更し、背景を明るくして、背景の環境を詳しく調べることができる。均一な色で前景を塗ることとは異なり、このような可視化(ビジュアライゼーション)は、一般的に、関心を持たれるオブジェクトである前景オブジェクトの細部をユーザが識別することを支援する。一方、誤分割が生じても、それほどユーザの気を散らさない。これは、テクスチャのある画像領域の明度(illumination)分散に人間の視覚系が鈍感なためである。アルファ値をセットする、より一般的な方法としては、GMMモデルから対数尤度を直接使用することであり、この場合、全ての画素の対数尤度は、まず、[0,255]の範囲に正規化されなければならない。
【0035】
いくつかの実施形態では、様々なカメラからのビデオストリームの空間分布を示すために、ビデオレンダリングモジュールは、テクスチャマッピングによって、処理されたビデオストリームを没入型3次元環境に置くことができる。カメラの幾何学的情報が既知である場合、カメラ画像の位置に基づいて図4の3次元レイアウトのスナップショットの例によって示されるように、ビデオストリームは、対応するカメラの検知平面における複数の表示としてレンダリングされ得る。
【0036】
しかしながら、カメラの検知平面は、このカメラがフォーカスされる場所を適切に示さないかもしれない。例えば、廊下の各端部に取り付けられた2台のカメラが通路全体をカバーする場合、理想的には、これらのカメラの対応する物理的な位置において捕捉されたビデオストリームをペーストすることがより好ましい。しかしながら、本発明はこれに限定されるものではない。内容ベースの表示配置の構想は、2台のカメラが互いに遠くに離間されて取り付けられても、(恐らく異なる視点から)同じシーンを見ている2台のカメラからのビデオストリームが、空間的には近接してレンダリングされるべきであるというものである。異なるカメラからの視野間の類似性を決定するために、日常のオフィス活動のビデオストリームを収集し、フレーム毎にモーションの量を検出することができる。400フレームの短分割における9台のカメラにわたるモーション検出の結果の例が図5Aに示されている。異なるカメラ間の相関関係が対のカメラの類似性として使用されることができ、カメラ間の相関マトリックスの例が図5Bに示されている。
【0037】
いくつかの実施形態において、各カメラの視点(ビュー)が高次元空間のある点であると仮定した場合、これらのカメラの視点(ビュー)の低次元多様体を見つけるために、内容解析モジュールによって、多次元スケーリング(MDS)法が使用され得る。より詳細には、該多様体が2次元となるようにすることによって、異なるカメラからのビデオストリーム間の類似性の関係を最適に保護する2次元レイアウトを見つけることができる。このレイアウトがカメラの視点(ビュー)の実際のレイアウトと同じであることが望ましい(このレイアウトが、カメラが取り付けられている物理的位置とは異なることに注目されたい)。しかしながら、配向が制限されないので、MDS法の解は、同一トポロジーのフリップまたは回転バージョンであってもよい。MDSによるカメラからのビデオストリームの内容に基づいた3次元レイアウトのスナップショットの例が図6に示されている。
【0038】
いくつかの実施の形態において、カメラの物理的な位置は、内容ベースのシーン解析に組み合わされてもよい。ユーザは、3次元レイアウト生成モジュールを介して、好みに応じて、組み合わせの重み付けを調節することができる。そして、カメラの画像平面とカメラからのビデオストリームの内容との組み合わせに基づいた3次元レイアウトの例が図7に示されるように、レイアウトは、完全内容ベースから完全幾何学的情報(ジオメトリ)ベースへとシームレス(継ぎ目なし)に移行することができる。ビデオストリームの表示は、図4のビデオストリームと図6のビデオストリームとの表示の間のどこかに配置される。システムは、画面の使用率を最大化するためにビルボードモードへ切り替えることもでき、図8において3次元レイアウトのスナップショットの例が示されているように、これらの表示の配向は全て画面に対して常に平行である。
【0039】
多くのバーチャルリアリティ(VR)システムにおいて、マウスドラッグ(フライスルー(鳥瞰的視点))によるナビゲーションは、一つの視点(ビュー)から他の視点(ビュー)への速攻切替には効果的ではない。しかしながら、ユーザは、監視システムにおいて、不適当なアクティビティ(動作)を有するシーンの吟味(スクルーティニィ、凝視)のために、常に、特定の視点(ビュー)へズームインする必要がある。このタスクを容易にするために、本発明は、ビデオ表示がマッピングされる多角形をダブルクリックすることによって特定のビデオ表示の最良の視点へ切り替えるために、レンダリングモジュールによってユーザへインターフェースを提供することができる。これらの視点(ビュー)は、システムのセットアップ中にプリセットされてもよいし、ユーザによって指定されてもよい。ビデオ表示に提示される二つの視点(ビュー)の例が、それぞれ、図9Aと図9Bに示されている。
【0040】
いくつかの実施の形態において、ユーザは、モーション追跡モジュールによって報告された追跡の結果に基づいた没入型環境でナビゲートすることができる。ユーザは、まず、ある人物に対応するアバターをダブルクリックすることによって、当該人物を追跡の対象とする歩行者として選ぶ。対象とした歩行者が移動している場合、対象とした人物の最適な視点(ビュー)を有する表示に最大の画面解像度が付与されるとともに、画面のそれ以外の部分において示されるモデルや他の表示が没入型環境の知覚をユーザに与えることができるように、ユーザの視点(ビュー)はその人物を追う。対象が移動している場合の視点(ビュー)のシーケンスの例が、図10A乃至図10Gに示される。
【0041】
いくつかの実施の形態において、以下の少なくとも2つの方法においてユーザの追跡結果が可視化される。
●アルファ混合によって前景領域を強調(ハイライト)する。:
この可視化(ビジュアライゼーション)は、オブジェクト位置を含む困難な決定を必要としない。従って、自動前景分割アルゴリズムによって生じるエラーに対して耐用性が増す。0.4にセットされたアルファ混合値を有する3次元環境での可視化(ビジュアライゼーション)の例が図11に示されている。
●追跡されたオブジェクトの位置においてアバターを描画する。:
この種の可視化(ビジュアライゼーション)は、オブジェクトの3次元位置の追跡を含む。建物に関する十分な幾何学的情報があれば、廊下の経線に沿った1次元追跡に低減することができる。バウンディングボックスのスケール(サイズ)は、最も重要な点(観察結果)である。カメラの捕捉レートが十分に高い場合、ユーザは、移動する歩行者の位置を追跡するために、単純な動的モデルを使用することができる。対象毎に追跡(トラッカー)を登録し、歩行者がそのシーンに関係する(インタラクトする)場合に、該追跡を切り替え、分割し、あるいは併合するために、識別可能なデータ関連技術を使用することができる。
【0042】
このような環境は、一般的なパトロールのために全ての領域の鳥瞰的な視点(ビュー)をユーザに提供することができ、複数の移動する人間やオブジェクトを、全てのカメラにわたって、ユーザが容易に追跡することができるようにする。いかなる異常な事象(イベント)の際も、ユーザは、アクティビティの最良の視点(ビュー)に素早くズームすることができ、デスクトップモニタの最高の解像度においてその領域をじっくり観察することができる。人間やオブジェクトが1台のカメラの視点(ビュー)から外れた時、システムは近隣のカメラからのビデオストリームにおいてそれを捜索し、あるいは、CG環境を鳥瞰的視野から(フライスルー)追跡する。
【0043】
いくつかの実施形態において、歩行者検出器が新しい移動オブジェクトを検出することによって、追跡(トラッカー)は開始され得る。合理的に作動し前景分割に依存しない、アダブースト(ADaBoost)ベース検出器などの、シングルフレーム歩行者検出器が使用され得る。
【0044】
本発明の一実施の形態は、コンピュータ技術における当業者に明確であるように、本発明の開示の教示によってプログラムされた従来の汎用または専用のデジタルコンピュータまたはマイクロプロセッサを用いて好適に実現されてもよい。また、当業者に容易に理解されるように、本発明は、汎用または特定用途の集積回路の作成や従来のコンポーネント回路の適切なネットワークの相互接続によって実現されてもよい。
【0045】
本発明の一実施の形態は、本明細書中に提示された任意の機能を実行するために、コンピュータをプログラムするために使用され得るインストラクションを記憶した記憶媒体であるコンピュータプログラムプロダクトを含む。この機械可読媒体は、フロッピー(登録商標)ディスク、光学ディスク、DVD、CD−ROM、マイクロドライブ及び磁気光学ディスク、ROM、EPROM、EEPROM、DRAM、VRAM、フラッシュメモリデバイス、磁気的または光学的カード、ナノシステム(分子メモリICを含む)を含む任意のタイプの1以上のディスクを含んでもよく、インストラクションやデータの記憶に適する任意のタイプの複数の媒体またはデバイスを含んでもよい。しかしながら、本発明はこれらに限定されるものではない。コンピュータ可読媒体のいずれか1つに記憶された状態で、本発明は、汎用コンピュータ・専用コンピュータまたはマイクロプロセッサの両方のハードウェアをコントロールするとともに、本発明の結果を活用して、コンピュータまたはマイクロプロセッサがヒューマンユーザまたは他のメカニズムとインタラクションするのを可能とするためのソフトウェアを含む。このようなソフトウェアは、デバイスドライバ、オペレーティングシステム、実行環境やコンテナ、及びアプリケーションを含んでいてもよいが、これに限定されるものではない。
【0046】
上述された本発明の好ましい実施の形態についての説明は、例示及び説明のみを目的として成されているのであって、これらに本発明のすべてを網羅すること、あるいは、本明細書中に開示された通りの形態に本発明を限定することを意図するものではない。多数の変更及び変形が可能であることは当業者に明らかである。具体的には、「インターフェース」についてのコンセプトが上記に説明されたシステムおよび方法の実施の形態において使用されているが、このようなコンセプトが、ビーン、クラス、メソッド、タイプ、コンポーネント、オブジェクトモデル、および他の好適なコンセプトと同等のコンセプトと互換性をもって使用され得ることが明白である。実施の形態は、本発明の原則とその実践的な応用とを最も良好に説明するために選択され記述されたものであり、他の当業者がこれによって考案される特別な用途に適した種々の変更を行いつつ、種々の実施の形態による本発明を理解することを可能とする。本発明の範囲は、請求の範囲及びそれらと同等のものによって定義付けられることを意図する。
【0047】
なお、本願明細書の開示内容の一部には、著作権保護を受けるべき事柄が含まれる。特許庁の特許ファイルや記録において明らかであるように、何人かによって特許書類もしくは特許開示が複写されることに、著作権所有者は異議を唱えない。しかしながら、これらの場合以外は、すべての著作権を保持する。
【図面の簡単な説明】
【0048】
【図1】本発明の一実施の形態の3次元マルチカメラビデオ監視システムの例を示す図である。
【図2】本発明の一実施の形態の3次元マルチカメラビデオ監視のプロセスの例を示すフローチャートである。
【図3A】本発明の一実施の形態において移動オブジェクトのGMM(ガウス混合モデル)ベースのモーション検出方法の出力をアルファ混合した場合の結果の例を示す図である。
【図3B】本発明の一実施の形態において移動オブジェクトのGMM(ガウス混合モデル)ベースのモーション検出方法の出力をアルファ混合した場合の結果の例を示す図である。
【図4】本発明の一実施の形態によるカメラの画像の位置に基づいた3次元レイアウトの例を示すスナップショットである。
【図5A】本発明の一実施の形態による、400フレームの短分割(ショートセグメント)で、9台のカメラにわたってモーションを検出する際のプロット(作図)及び相関の例を示す図である。
【図5B】本発明の一実施の形態による、400フレームの短分割(ショートセグメント)で、9台のカメラにわたってモーションを検出する際のプロット(作図)及び相関の例を示す図である。
【図6】本発明の一実施の形態によるMDS(多次元スケーリング)によってカメラからのビデオの内容に基づいた3次元レイアウトの例を示すスナップショットである。
【図7】本発明の一実施の形態によるカメラの画像平面とカメラからのビデオの内容との組み合わせに基づいた3次元レイアウトの例を示す図である。
【図8】本発明の一実施の形態によるビルボード(board−show)モードのカメラの画像平面に基づいた3次元レイアウトの例を示すスナップショットである。
【図9A】本発明の一実施の形態によるビデオ表示に対して提案される視点(ビュー)の例を示す図である。
【図9B】本発明の一実施の形態によるビデオ表示に対して提案される視点(ビュー)の例を示す図である。
【図10A】本発明の一実施の形態による対象(ターゲット)が移動した場合の視点(ビュー)のシーケンスの例を示す図である。
【図10B】本発明の一実施の形態による対象(ターゲット)が移動した場合の視点(ビュー)のシーケンスの例を示す図である。
【図10C】本発明の一実施の形態による対象(ターゲット)が移動した場合の視点(ビュー)のシーケンスの例を示す図である。
【図10D】本発明の一実施の形態による対象(ターゲット)が移動した場合の視点(ビュー)のシーケンスの例を示す図である。
【図10E】本発明の一実施の形態による対象(ターゲット)が移動した場合の視点(ビュー)のシーケンスの例を示す図である。
【図10F】本発明の一実施の形態による対象(ターゲット)が移動した場合の視点(ビュー)のシーケンスの例を示す図である。
【図10G】本発明の一実施の形態による対象(ターゲット)が移動した場合の視点(ビュー)のシーケンスの例を示す図である。
【図11】本発明の一実施の形態によるアルファ混合値が0.4にセットされた3次元環境の可視化(ビジュアライゼーション)の例を示す図である。
【符号の説明】
【0049】
100: 3次元マルチカメラビデオ監視システム
101: 内容解析モジュール
102: 3次元レイアウト生成モジュール
103: 背景差分モジュール
104: 形態学的オペレータ
105: モーション追跡モジュール
106: 混合モジュール
107: レンダリングモジュール
108: ユーザナビゲーションインターフェース
109: ビデオ表示装置
【技術分野】
【0001】
本発明は、マルチカメラビデオの監視、解析、表示の分野に関する。詳細には、本発明は、3次元マルチカメラビデオの監視を支援するシステム、3次元マルチカメラビデオの監視を支援する方法、及び、3次元マルチカメラビデオの監視を支援するプログラムに関する。
【背景技術】
【0002】
近年、多数のビデオ監視システムの台頭が見られるが、該システムの大部分は、複数のカメラからなる。このようなシステムのビデオストリームの可視化(ビジュアライゼーション)は2次元(2−D)に限られていたため、各カメラが捕捉(キャプチャ)する物理的シーンの空間位置を保安要員が連続的に追跡するには手間が掛かりすぎた。従って、2次元表示から、没入型3次元環境を生成することによって、この難題を解決することが望まれる。この没入型3次元環境において、保安要員は、マウスをクリックして、ナビゲーションを直観的に行い、シーンの隅々まで詳しく調べることができる。
【非特許文献1】スタウファー C.(Stauffer C)、グリムソン W.E.L.(Grimson W.E.L)、「リアルタイム追跡によるアクティビティパターン学習(Learning patterns of activity using real-time tracking)、パターン解析及びマシンインテリジェンスに関するIEEEトランザクション(IEEE Transactions on Pattern Analysis & Machine Intelligence)、2000年、22(8)、頁747〜757
【非特許文献2】ヴィオラ P.(Viola P.)、ジョーンズ M.J.(Jones M.J.)、スノー D.(Snow D.)、「モーションパターン及び外観による歩行者検出( Detecting Pedestrians Using Patterns of Motion and Appearance)」、コンピュータビジョンに関するIEEEインターナショナルカンファレンス(IEEE International Conference on Computer Vision (ICCV))、2003年10月、Vol. 2、頁734〜741
【非特許文献3】カメダ Y.(Kameda Y.)、タケマサ T.(Takemasa T.)、オオタ Y.(Ohta Y.)、「調査カメラを利用したアウトドアシースルービジョン(Outdoor see-through vision utilizing surveillance cameras)」、混合及び拡張現実に関する第3回IEEE及びACMインターナショナルシンポジウム(Third IEEE and ACM International Symposium on Mixed and Augmented Reality)、2004年11月2〜5日、頁151〜160
【発明の開示】
【発明が解決しようとする課題】
【0003】
本発明は、上記に鑑み、2次元表示から没入型3次元環境を生成することによって、3次元マルチカメラビデオの監視を支援することを課題とする。
【課題を解決するための手段】
【0004】
本発明の種々の実施の形態によって、複数のカメラから捕捉されたビデオを解析し監視するための新しい技術がもたらされる。該技術は、没入型3次元環境で、ビデオをレンダリングし、表示する。没入型3次元環境では、コンピュータグラフィックス(CG)が使用され、カメラの空間分布及びカメラの視野を伝達する。マルチカメラ監視システムから捕捉されたビデオの場合、本発明は、ガウス混合モデル(Gaussian−Mixture−Model(GMM))ベースの適応背景差分によって移動オブジェクト(Moving Object)を検出し、ベイズ(Bayesian)フィルタリングによって該移動オブジェクトを追跡する。この追跡の結果は、(1)前景を強調(ハイライト)すること、(2)3次元環境においての当該位置でオブジェクトのアバター(avatar:画面上に登場するキャラクター)をレンダリングすること、の二つの方法によって、リアルタイムで可視化され得る。表示の空間配置は、異なる表示にわたる同時モーションの量の多次元スケーリング(MDS)によって生成され得る。カメラの配置(の幾何学的情報)が使用可能である場合、該配置(の幾何学的情報)は、線形補間によってMDSの結果と組み合わされ得る。
【0005】
本発明の第1の態様は、3次元マルチカメラビデオの監視を支援するシステムであって、監視下にある現場の3次元意味論的レイアウトを生成するために動作可能な内容解析モジュールと、複数のカメラからのビデオストリームにおいて移動オブジェクトを検出及び分割するために動作可能な背景差分モジュールと、前記ビデオストリームの移動オブジェクトを追跡するために動作可能なモーション追跡モジュールと、アルファ混合によって前記ビデオストリームの前景領域を強調するために動作可能な混合モジュールと、前記3次元意味論的レイアウトとアルファ混合後の前記ビデオストリームとを3次元没入型環境に統合するために動作可能なレンダリングモジュールと、を含む。
【0006】
本発明の第2の態様は、第1の態様の3次元マルチカメラビデオ監視支援システムであって、前記複数のカメラのサイトマップと前記意味論的レイアウトとを組み合わせるために動作可能な3次元レイアウト生成モジュールをさらに含む。
【0007】
本発明の第3の態様は、第1の態様の3次元マルチカメラビデオ監視支援システムであって、前記背景差分モジュールから出力された前記ビデオストリームの雑音を除去するために動作可能な形態学的オペレータをさらに含む。
【0008】
本発明の第4の態様は、第1の態様の3次元マルチカメラビデオ監視支援システムであって、前記内容解析モジュールが多次元スケーリングによって意味論的レイアウトを生成するために動作可能である。
【0009】
本発明の第5の態様は、第1の態様の3次元マルチカメラビデオ監視支援システムであって、前記移動オブジェクトが人間及び人間の顔の少なくとも一方である。
【0010】
本発明の第6の態様は、第1の態様の3次元マルチカメラビデオ監視支援システムであって、前記背景差分モジュールが、ガウス混合モデルによって、前記ビデオストリームにおいて前記移動オブジェクトを検出し、分割するために動作可能である。
【0011】
本発明の第7の態様は、第1の態様の3次元マルチカメラビデオ監視支援システムであって、前記モーション追跡モジュールが、ベイズフィルタリングによって、前記移動オブジェクトを追跡するために動作可能である。
【0012】
本発明の第8の態様は、第1の態様の3次元マルチカメラビデオ監視支援システムであって、前記混合モジュールが、前景や背景の分割方法による統計と、オブジェクト検出方法による信頼性スコアと、の少なくとも1つからアルファ値を直接的に導くために動作可能である。
【0013】
本発明の第9の態様は、第1の態様の3次元マルチカメラビデオ監視支援システムであって、前記レンダリングモジュールが、テクスチャマッピングによって、前記3次元没入型環境にアルファ混合後の前記ビデオストリームを統合するために動作可能である。
【0014】
本発明の第10の態様は、3次元マルチカメラビデオの監視を支援する方法であって、監視下にある現場の3次元意味論的レイアウトを生成し、複数のカメラからのビデオストリームの移動オブジェクトを検出及び分割し、前記ビデオストリームの移動オブジェクトを追跡し、局所的なアルファ混合によって前記ビデオストリームの前景領域を強調し、前記3次元意味論的レイアウトとアルファ混合後の前記ビデオストリームとを、3次元没入型環境に統合する。
【0015】
本発明の第11の態様は、第10の態様の3次元マルチカメラビデオ監視支援方法であって、前記複数のカメラのサイトマップと前記意味論的レイアウトとを組み合わせることをさらに含む。
【0016】
本発明の第12の態様は、第10の態様の3次元マルチカメラビデオ監視支援方法であって、多次元スケーリングによって意味論的レイアウトを生成することをさらに含む。
【0017】
本発明の第13の態様は、第10の態様の3次元マルチカメラビデオ監視支援方法であって、形態学的オペレーションによって前記背景差分モジュールから出力された前記ビデオストリームの雑音を除去することをさらに含む。
【0018】
本発明の第14の態様は、第10の態様の3次元マルチカメラビデオ監視支援方法であって、ガウス混合モデルによって、前記ビデオストリームにおける移動オブジェクトを検出及び分割することをさらに含む。
【0019】
本発明の第15の態様は、第10の態様の3次元マルチカメラビデオ監視支援方法であって、ベイズフィルタリングによって、前記移動オブジェクトを追跡することをさらに含む。
【0020】
本発明の第16の態様は、第10の態様の3次元マルチカメラビデオ監視支援方法であって、前景や背景の分割方法による統計と、オブジェクト検出方法による信頼性スコアと、の少なくとも1つからアルファ値を直接的に導くことをさらに含む。
【0021】
本発明の第17の態様は、第10の態様の3次元マルチカメラビデオ監視支援方法であって、テクスチャマッピングによって、アルファ混合後の前記ビデオストリームを前記3次元没入型環境に統合することをさらに含む。
【0022】
本発明の第18の態様は、3次元マルチカメラビデオの監視を支援するプログラムであって、監視下にある現場の3次元意味論的レイアウトを生成するステップと、複数のカメラからのビデオストリームの移動オブジェクトを検出及び分割するステップと、前記ビデオストリームの移動オブジェクトを追跡するステップと、局所的なアルファ混合によって前記ビデオストリームの前景領域を強調するステップと、前記3次元意味論的レイアウトとアルファ混合後の前記ビデオストリームとを3次元没入型環境に統合するステップと、を、コンピュータに実行させる。
【0023】
本発明の第19の態様は、3次元マルチカメラビデオの監視を支援するためのシステムであって、監視下にある現場の3次元意味論的レイアウトを生成する手段と、複数のカメラからのビデオストリームの移動オブジェクトを検出及び分割する手段と、前記ビデオストリームの移動オブジェクトを追跡する手段と、局所的なアルファ混合によって前記ビデオストリームの前景領域を強調する手段と、前記3次元意味論的レイアウトとアルファ混合後の前記ビデオストリームとを3次元没入型環境に統合する手段と、を含む。
【発明の効果】
【0024】
本発明は、監視下にある現場の3次元意味論的レイアウトを生成し、複数のカメラからのビデオストリームにおいて移動オブジェクトを検出及び分割し、前記ビデオストリームの移動オブジェクトを追跡し、アルファ混合によって前記ビデオストリームの前景領域を強調し、前記3次元意味論的レイアウトとアルファ混合後の前記ビデオストリームとを3次元没入型環境に統合するようにしているので、2次元表示から没入型3次元環境を生成することができ、これにより、3次元マルチカメラビデオの監視を支援することができる。
【発明を実施するための最良の形態】
【0025】
本発明は例によって示されるが、添付図面に限定されない。該添付図面において、同様の構成要素には同様の参照番号が付される。「ある」、「一(の)」、または「いくつかの」実施形態が必ずしも同一実施形態を示しているわけではなく、このような言及は「少なくとも一の」を意味することに留意されたい。
【0026】
図1は、本発明の一実施形態における3次元マルチカメラビデオ監視(及びナビゲーション)システム100の例を示す。この図は、構成要素を機能的に分離したものとして描いているが、このような描写は、単に図示を目的としてなされている。この図において描写される構成要素が任意に組み合わされ、別個のソフトウェア、ファームウェア及びハードウェアの少なくとも一の構成要素に分割され得ることは、当業者に明らかである。さらにまた、どのようにして、組み合わされるか、あるいは、分割されるかにかかわらず、このような構成要素は、同じ演算装置または複数の演算装置で実行できること、そして、該複数の演算装置が一以上のネットワークに接続され得ることが、当業者には明らかである。
【0027】
図1を参照する。内容解析モジュール101は、カメラのネットワークから、現場の長期の統計的観察(写真、ビデオストリームなどであってよいが、これらに限定されない)に基づいて、多次元スケーリング(MDS)法による監視下で現場の意味論的(セマンチックな)レイアウトを生成する。3次元レイアウト生成モジュール102は、カメラのネットワークのサイトマップ(すなわち、幾何学的情報)と内容解析モジュールからのシーン(意味論的レイアウト)とを結合して、ユーザ110がナビゲートできるように、ユーザナビゲーションインターフェース108上へ3次元没入型環境を生成する。モーション検出のため、前景オブジェクトの分割は、コンピュータビジョンの基本的な問題の一つである。カメラが固定されている場合、モーションキューが、この問題を解決するために広く用いられており、このような解決法は、「背景差分」と称される。複数のカメラのネットワークからのビデオストリームは、移動オブジェクトを検出し、分割するために、背景差分モジュール103へ送られる。形態学的オペレータ104は、背景差分モジュールの出力から雑音を除去するために任意に使用され得る。雑音除去された後のビデオストリームにおける移動中の人やオブジェクトは、モーション追跡モジュール105によって追跡され得る。混合モジュール106は、(元のビデオストリームと)局所的にアルファ混合することによってビデオストリームの前景領域を強調(ハイライト)するために用いられる。これにより、ストリームの誤分割の影響を緩和し、モーション検出結果を伝達して、ユーザによるオブジェクトの追跡を支援する。様々なカメラからのビデオストリームの空間分布を示すために、処理されたビデオストリームは、ユーザナビゲーションインターフェース上の複数のビデオ表示装置109にレンダリングされ、現場の3次元レイアウトに統合され、テクスチャマッピングを介して、レンダリングモジュール107によって、没入型3次元環境を生成する。
【0028】
図2は、本発明の一実施形態の3次元マルチカメラビデオ監視及びナビゲーションのプロセスの例を示すフローチャートである。この図では、機能的なステップを特定の順序で示しているが、これは、例示を目的としており、該プロセスは、任意の特定の順番やステップの構成に限定されない。当業者は、この図に描かれた様々なステップを省略したり、再構成したり、組み合わせたり、様々な方法で調整したりすることができることを理解するであろう。
【0029】
図2を参照すると、ステップ201において、監視下の現場の3次元意味論的レイアウトが、多次元スケーリング(MDS)法によって、まず、生成される。次に、ステップ202において、内容解析による意味論的レイアウトとカメラのネットワークのサイトマップ(即ち、幾何学的情報)とを結合し、3次元没入型環境が生成される。ビデオ監視中、ステップ203において、複数のカメラのネットワークからのビデオストリームの移動オブジェクトが、背景差分によって、検出され、分割され得る。ステップ204において、背景差分モジュールからの出力にある雑音は形態学的オペレータによって任意に除去することが可能である。ステップ205において、モーション追跡モジュールは、雑音除去後のストリームにおける移動する人やオブジェクトを追跡するために動作可能である。ステップ206において、ビデオストリームの前景領域は、局所的なアルファ混合によって強調(ハイライト)され、ビデオストリームにおける誤分割の影響を緩和し、モーション検出結果を伝達することができる。最後に、ステップ207において、処理されたビデオストリームは、テクスチャマッピングによって、没入型3次元環境に統合されて、様々なカメラからのビデオストリームの空間分布を示し、ユーザがユーザナビゲーションインターフェースを介してナビゲートするのを容易にすることができる。ステップ203乃至207は、サイトの監視期間中、連続的に反復され得る。
【0030】
従来の方法と比較すると、本発明は、少なくとも以下の利点を享受できる。
●内容ベースの配置(プレースメント)アルゴリズムが採用されるので、建物の幾何学的測定を行わなくても、ビデオストリームのみから、3次元マルチストリームビデオ監視モデルを生成することができる。
●前景分割(セグメンテーション)の結果が(一連の画像からのアクションキーフレームを生成するために使用される)局所的アルファ混合によって可視化される。この場合、分割(セグメンテーション)結果については、境界ボックスやオブジェクト輪郭を使用した場合と同量であるが、境界ボックスやオブジェクト輪郭よりも誤分割に対する耐用性が高い。
●ワープしたビデオモードとビルボードビデオモードとを切り替えることができ、画面実領域(スクリーンリアルエステート)を効率的に使用することができる。
●一連の画像を示す単一画像を生成するかわりに、ビデオストリームを見せることにより、ユーザの注意を前景へ向けることができる。
●背景と前景とのいずれに対してもぼけを生じることなく、鮮明な画像を保つことができる。
【0031】
いくつかの実施形態において、GMM(ガウス混合モデル)ベースの適応背景差分アルゴリズムが、背景差分モジュールによって使用され、ビデオストリームにおける移動オブジェクトを検出し分割することができる。画像の各画素は、RGB色空間のいくつかの(通常3乃至5の)ガウス分布を使用してモデリングされる。これによって、システムは、(風で揺れる木のような)変化しやすい背景をモデリングでき、前景オブジェクトまたは、一時的な、背景の変化によって画素の色が変化した時でも、それまでの背景の色分布をそのまま追跡することができる。画素を前景画素または背景画素としてラベリング(分類)するための決定は、各ガウスのエビデンス全体とその分散(バリアンス)とを評価することによって行われる。背景画素は、前景画素よりエビデンスが多く、分散が低いと仮定される。これは、数学的には、ログ(対数)尤度に対して固定された閾値を設定することに等しい。なぜなら、尤度は、エビデンスと分散との比率であるためである。一定割合に達するまで、正規化スコアを降順に合計することによって、分類は達成される。この割合に達するために要求される全てのガウスカーネル(核)は背景とみなされ、それ以外は、前景としてラベリングされる。GMMベースの移動オブジェクトのモーション検出方法の例示的な出力が、図3Aに示される。
【0032】
いくつかの実施の形態において、ベイズ(Bayesian)フレームワークが、廊下に沿って移動オブジェクトを追跡すべく構築され得る。該オブジェクトの位置は、ベイズフィルタにおける隠れ変数である。フィルタが観察するのは、廊下の両側のカメラから検出されたモーションブロブのサイズおよび重心である。直観的に、人やオブジェクトが一方から他方へ移動する時、一端のモーションブロブのスケールは連続的に増加し、これにしたがって、モーションブロブのスケールは他端から減少する。複数の移動オブジェクトを追跡する場合、データに関連した問題を取り扱うために識別追跡が使用され得る。人を追跡する場合、顔検出および皮膚色が、追跡(トラッカー)のロバストを高めるために、さらなる観察オブジェクトとして使用され得る。
【0033】
全体的な照明変化、動的背景、投影、およびスペックルライトを含む要因によって(これらの要因に限定されるものではないが)、背景差分モジュールから得られる結果は、雑音を含み得る。形態学的オペレータは、小さい領域から雑音を除去するように用いられ、小さな孔に埋め込まれる。この後処理の後でさえ、前景または背景の一部に誤分割が見られることもある。
【0034】
いくつかの実施の形態において、モーション検出ベースのアルファ混合が混合モジュールとして提供され、このようなエラーの影響を緩和し、モーション検出結果を伝達して、ユーザのオブジェクト追跡を支援する。アルファ値は、前景と背景との分割アルゴリズムからの統計、または、オブジェクト(歩行者、顔)検出アルゴリズムの信頼性スコアから、直接的に導かれる。テクスチャマップのアルファチャネルは、テクスチャにおける各画素の透過値を示す。ビデオストリームがテクスチャマップとして示されるので、図3Aに示される前景マスクに基づいて、アルファチャネルにおいて、異なる値が異なる領域に割り当てられ、前景を効果的に強調することができる。アルファ混合の例示的な結果は、図3Bに示される。ユーザは、容易に混合係数を変更し、背景を明るくして、背景の環境を詳しく調べることができる。均一な色で前景を塗ることとは異なり、このような可視化(ビジュアライゼーション)は、一般的に、関心を持たれるオブジェクトである前景オブジェクトの細部をユーザが識別することを支援する。一方、誤分割が生じても、それほどユーザの気を散らさない。これは、テクスチャのある画像領域の明度(illumination)分散に人間の視覚系が鈍感なためである。アルファ値をセットする、より一般的な方法としては、GMMモデルから対数尤度を直接使用することであり、この場合、全ての画素の対数尤度は、まず、[0,255]の範囲に正規化されなければならない。
【0035】
いくつかの実施形態では、様々なカメラからのビデオストリームの空間分布を示すために、ビデオレンダリングモジュールは、テクスチャマッピングによって、処理されたビデオストリームを没入型3次元環境に置くことができる。カメラの幾何学的情報が既知である場合、カメラ画像の位置に基づいて図4の3次元レイアウトのスナップショットの例によって示されるように、ビデオストリームは、対応するカメラの検知平面における複数の表示としてレンダリングされ得る。
【0036】
しかしながら、カメラの検知平面は、このカメラがフォーカスされる場所を適切に示さないかもしれない。例えば、廊下の各端部に取り付けられた2台のカメラが通路全体をカバーする場合、理想的には、これらのカメラの対応する物理的な位置において捕捉されたビデオストリームをペーストすることがより好ましい。しかしながら、本発明はこれに限定されるものではない。内容ベースの表示配置の構想は、2台のカメラが互いに遠くに離間されて取り付けられても、(恐らく異なる視点から)同じシーンを見ている2台のカメラからのビデオストリームが、空間的には近接してレンダリングされるべきであるというものである。異なるカメラからの視野間の類似性を決定するために、日常のオフィス活動のビデオストリームを収集し、フレーム毎にモーションの量を検出することができる。400フレームの短分割における9台のカメラにわたるモーション検出の結果の例が図5Aに示されている。異なるカメラ間の相関関係が対のカメラの類似性として使用されることができ、カメラ間の相関マトリックスの例が図5Bに示されている。
【0037】
いくつかの実施形態において、各カメラの視点(ビュー)が高次元空間のある点であると仮定した場合、これらのカメラの視点(ビュー)の低次元多様体を見つけるために、内容解析モジュールによって、多次元スケーリング(MDS)法が使用され得る。より詳細には、該多様体が2次元となるようにすることによって、異なるカメラからのビデオストリーム間の類似性の関係を最適に保護する2次元レイアウトを見つけることができる。このレイアウトがカメラの視点(ビュー)の実際のレイアウトと同じであることが望ましい(このレイアウトが、カメラが取り付けられている物理的位置とは異なることに注目されたい)。しかしながら、配向が制限されないので、MDS法の解は、同一トポロジーのフリップまたは回転バージョンであってもよい。MDSによるカメラからのビデオストリームの内容に基づいた3次元レイアウトのスナップショットの例が図6に示されている。
【0038】
いくつかの実施の形態において、カメラの物理的な位置は、内容ベースのシーン解析に組み合わされてもよい。ユーザは、3次元レイアウト生成モジュールを介して、好みに応じて、組み合わせの重み付けを調節することができる。そして、カメラの画像平面とカメラからのビデオストリームの内容との組み合わせに基づいた3次元レイアウトの例が図7に示されるように、レイアウトは、完全内容ベースから完全幾何学的情報(ジオメトリ)ベースへとシームレス(継ぎ目なし)に移行することができる。ビデオストリームの表示は、図4のビデオストリームと図6のビデオストリームとの表示の間のどこかに配置される。システムは、画面の使用率を最大化するためにビルボードモードへ切り替えることもでき、図8において3次元レイアウトのスナップショットの例が示されているように、これらの表示の配向は全て画面に対して常に平行である。
【0039】
多くのバーチャルリアリティ(VR)システムにおいて、マウスドラッグ(フライスルー(鳥瞰的視点))によるナビゲーションは、一つの視点(ビュー)から他の視点(ビュー)への速攻切替には効果的ではない。しかしながら、ユーザは、監視システムにおいて、不適当なアクティビティ(動作)を有するシーンの吟味(スクルーティニィ、凝視)のために、常に、特定の視点(ビュー)へズームインする必要がある。このタスクを容易にするために、本発明は、ビデオ表示がマッピングされる多角形をダブルクリックすることによって特定のビデオ表示の最良の視点へ切り替えるために、レンダリングモジュールによってユーザへインターフェースを提供することができる。これらの視点(ビュー)は、システムのセットアップ中にプリセットされてもよいし、ユーザによって指定されてもよい。ビデオ表示に提示される二つの視点(ビュー)の例が、それぞれ、図9Aと図9Bに示されている。
【0040】
いくつかの実施の形態において、ユーザは、モーション追跡モジュールによって報告された追跡の結果に基づいた没入型環境でナビゲートすることができる。ユーザは、まず、ある人物に対応するアバターをダブルクリックすることによって、当該人物を追跡の対象とする歩行者として選ぶ。対象とした歩行者が移動している場合、対象とした人物の最適な視点(ビュー)を有する表示に最大の画面解像度が付与されるとともに、画面のそれ以外の部分において示されるモデルや他の表示が没入型環境の知覚をユーザに与えることができるように、ユーザの視点(ビュー)はその人物を追う。対象が移動している場合の視点(ビュー)のシーケンスの例が、図10A乃至図10Gに示される。
【0041】
いくつかの実施の形態において、以下の少なくとも2つの方法においてユーザの追跡結果が可視化される。
●アルファ混合によって前景領域を強調(ハイライト)する。:
この可視化(ビジュアライゼーション)は、オブジェクト位置を含む困難な決定を必要としない。従って、自動前景分割アルゴリズムによって生じるエラーに対して耐用性が増す。0.4にセットされたアルファ混合値を有する3次元環境での可視化(ビジュアライゼーション)の例が図11に示されている。
●追跡されたオブジェクトの位置においてアバターを描画する。:
この種の可視化(ビジュアライゼーション)は、オブジェクトの3次元位置の追跡を含む。建物に関する十分な幾何学的情報があれば、廊下の経線に沿った1次元追跡に低減することができる。バウンディングボックスのスケール(サイズ)は、最も重要な点(観察結果)である。カメラの捕捉レートが十分に高い場合、ユーザは、移動する歩行者の位置を追跡するために、単純な動的モデルを使用することができる。対象毎に追跡(トラッカー)を登録し、歩行者がそのシーンに関係する(インタラクトする)場合に、該追跡を切り替え、分割し、あるいは併合するために、識別可能なデータ関連技術を使用することができる。
【0042】
このような環境は、一般的なパトロールのために全ての領域の鳥瞰的な視点(ビュー)をユーザに提供することができ、複数の移動する人間やオブジェクトを、全てのカメラにわたって、ユーザが容易に追跡することができるようにする。いかなる異常な事象(イベント)の際も、ユーザは、アクティビティの最良の視点(ビュー)に素早くズームすることができ、デスクトップモニタの最高の解像度においてその領域をじっくり観察することができる。人間やオブジェクトが1台のカメラの視点(ビュー)から外れた時、システムは近隣のカメラからのビデオストリームにおいてそれを捜索し、あるいは、CG環境を鳥瞰的視野から(フライスルー)追跡する。
【0043】
いくつかの実施形態において、歩行者検出器が新しい移動オブジェクトを検出することによって、追跡(トラッカー)は開始され得る。合理的に作動し前景分割に依存しない、アダブースト(ADaBoost)ベース検出器などの、シングルフレーム歩行者検出器が使用され得る。
【0044】
本発明の一実施の形態は、コンピュータ技術における当業者に明確であるように、本発明の開示の教示によってプログラムされた従来の汎用または専用のデジタルコンピュータまたはマイクロプロセッサを用いて好適に実現されてもよい。また、当業者に容易に理解されるように、本発明は、汎用または特定用途の集積回路の作成や従来のコンポーネント回路の適切なネットワークの相互接続によって実現されてもよい。
【0045】
本発明の一実施の形態は、本明細書中に提示された任意の機能を実行するために、コンピュータをプログラムするために使用され得るインストラクションを記憶した記憶媒体であるコンピュータプログラムプロダクトを含む。この機械可読媒体は、フロッピー(登録商標)ディスク、光学ディスク、DVD、CD−ROM、マイクロドライブ及び磁気光学ディスク、ROM、EPROM、EEPROM、DRAM、VRAM、フラッシュメモリデバイス、磁気的または光学的カード、ナノシステム(分子メモリICを含む)を含む任意のタイプの1以上のディスクを含んでもよく、インストラクションやデータの記憶に適する任意のタイプの複数の媒体またはデバイスを含んでもよい。しかしながら、本発明はこれらに限定されるものではない。コンピュータ可読媒体のいずれか1つに記憶された状態で、本発明は、汎用コンピュータ・専用コンピュータまたはマイクロプロセッサの両方のハードウェアをコントロールするとともに、本発明の結果を活用して、コンピュータまたはマイクロプロセッサがヒューマンユーザまたは他のメカニズムとインタラクションするのを可能とするためのソフトウェアを含む。このようなソフトウェアは、デバイスドライバ、オペレーティングシステム、実行環境やコンテナ、及びアプリケーションを含んでいてもよいが、これに限定されるものではない。
【0046】
上述された本発明の好ましい実施の形態についての説明は、例示及び説明のみを目的として成されているのであって、これらに本発明のすべてを網羅すること、あるいは、本明細書中に開示された通りの形態に本発明を限定することを意図するものではない。多数の変更及び変形が可能であることは当業者に明らかである。具体的には、「インターフェース」についてのコンセプトが上記に説明されたシステムおよび方法の実施の形態において使用されているが、このようなコンセプトが、ビーン、クラス、メソッド、タイプ、コンポーネント、オブジェクトモデル、および他の好適なコンセプトと同等のコンセプトと互換性をもって使用され得ることが明白である。実施の形態は、本発明の原則とその実践的な応用とを最も良好に説明するために選択され記述されたものであり、他の当業者がこれによって考案される特別な用途に適した種々の変更を行いつつ、種々の実施の形態による本発明を理解することを可能とする。本発明の範囲は、請求の範囲及びそれらと同等のものによって定義付けられることを意図する。
【0047】
なお、本願明細書の開示内容の一部には、著作権保護を受けるべき事柄が含まれる。特許庁の特許ファイルや記録において明らかであるように、何人かによって特許書類もしくは特許開示が複写されることに、著作権所有者は異議を唱えない。しかしながら、これらの場合以外は、すべての著作権を保持する。
【図面の簡単な説明】
【0048】
【図1】本発明の一実施の形態の3次元マルチカメラビデオ監視システムの例を示す図である。
【図2】本発明の一実施の形態の3次元マルチカメラビデオ監視のプロセスの例を示すフローチャートである。
【図3A】本発明の一実施の形態において移動オブジェクトのGMM(ガウス混合モデル)ベースのモーション検出方法の出力をアルファ混合した場合の結果の例を示す図である。
【図3B】本発明の一実施の形態において移動オブジェクトのGMM(ガウス混合モデル)ベースのモーション検出方法の出力をアルファ混合した場合の結果の例を示す図である。
【図4】本発明の一実施の形態によるカメラの画像の位置に基づいた3次元レイアウトの例を示すスナップショットである。
【図5A】本発明の一実施の形態による、400フレームの短分割(ショートセグメント)で、9台のカメラにわたってモーションを検出する際のプロット(作図)及び相関の例を示す図である。
【図5B】本発明の一実施の形態による、400フレームの短分割(ショートセグメント)で、9台のカメラにわたってモーションを検出する際のプロット(作図)及び相関の例を示す図である。
【図6】本発明の一実施の形態によるMDS(多次元スケーリング)によってカメラからのビデオの内容に基づいた3次元レイアウトの例を示すスナップショットである。
【図7】本発明の一実施の形態によるカメラの画像平面とカメラからのビデオの内容との組み合わせに基づいた3次元レイアウトの例を示す図である。
【図8】本発明の一実施の形態によるビルボード(board−show)モードのカメラの画像平面に基づいた3次元レイアウトの例を示すスナップショットである。
【図9A】本発明の一実施の形態によるビデオ表示に対して提案される視点(ビュー)の例を示す図である。
【図9B】本発明の一実施の形態によるビデオ表示に対して提案される視点(ビュー)の例を示す図である。
【図10A】本発明の一実施の形態による対象(ターゲット)が移動した場合の視点(ビュー)のシーケンスの例を示す図である。
【図10B】本発明の一実施の形態による対象(ターゲット)が移動した場合の視点(ビュー)のシーケンスの例を示す図である。
【図10C】本発明の一実施の形態による対象(ターゲット)が移動した場合の視点(ビュー)のシーケンスの例を示す図である。
【図10D】本発明の一実施の形態による対象(ターゲット)が移動した場合の視点(ビュー)のシーケンスの例を示す図である。
【図10E】本発明の一実施の形態による対象(ターゲット)が移動した場合の視点(ビュー)のシーケンスの例を示す図である。
【図10F】本発明の一実施の形態による対象(ターゲット)が移動した場合の視点(ビュー)のシーケンスの例を示す図である。
【図10G】本発明の一実施の形態による対象(ターゲット)が移動した場合の視点(ビュー)のシーケンスの例を示す図である。
【図11】本発明の一実施の形態によるアルファ混合値が0.4にセットされた3次元環境の可視化(ビジュアライゼーション)の例を示す図である。
【符号の説明】
【0049】
100: 3次元マルチカメラビデオ監視システム
101: 内容解析モジュール
102: 3次元レイアウト生成モジュール
103: 背景差分モジュール
104: 形態学的オペレータ
105: モーション追跡モジュール
106: 混合モジュール
107: レンダリングモジュール
108: ユーザナビゲーションインターフェース
109: ビデオ表示装置
【特許請求の範囲】
【請求項1】
3次元マルチカメラビデオの監視を支援するシステムであって、
監視下にある現場の3次元意味論的レイアウトを生成するために動作可能な内容解析モジュールと、
複数のカメラからのビデオストリームにおいて移動オブジェクトを検出及び分割するために動作可能な背景差分モジュールと、
前記ビデオストリームの移動オブジェクトを追跡するために動作可能なモーション追跡モジュールと、
アルファ混合によって前記ビデオストリームの前景領域を強調するために動作可能な混合モジュールと、
前記3次元意味論的レイアウトとアルファ混合後の前記ビデオストリームとを3次元没入型環境に統合するために動作可能なレンダリングモジュールと、
を含む、3次元マルチカメラビデオ監視支援システム。
【請求項2】
前記複数のカメラのサイトマップと前記意味論的レイアウトとを組み合わせるために動作可能な3次元レイアウト生成モジュールをさらに含む、請求項1に記載の3次元マルチカメラビデオ監視支援システム。
【請求項3】
前記背景差分モジュールから出力された前記ビデオストリームの雑音を除去するために動作可能な形態学的オペレータをさらに含む、請求項1に記載の3次元マルチカメラビデオ監視支援システム。
【請求項4】
前記内容解析モジュールが多次元スケーリングによって意味論的レイアウトを生成するために動作可能である、請求項1に記載の3次元マルチカメラビデオ監視支援システム。
【請求項5】
前記移動オブジェクトが人間及び人間の顔の少なくとも一方である、請求項1に記載の3次元マルチカメラビデオ監視支援システム。
【請求項6】
前記背景差分モジュールが、ガウス混合モデルによって、前記ビデオストリームにおいて前記移動オブジェクトを検出し、分割するために動作可能である、請求項1に記載の3次元マルチカメラビデオ監視支援システム。
【請求項7】
前記モーション追跡モジュールが、ベイズフィルタリングによって、前記移動オブジェクトを追跡するために動作可能である、請求項1に記載の3次元マルチカメラビデオ監視支援システム。
【請求項8】
前記混合モジュールが、前景や背景の分割方法による統計と、オブジェクト検出方法による信頼性スコアと、の少なくとも1つからアルファ値を直接的に導くために動作可能である、請求項1に記載の3次元マルチカメラビデオ監視支援システム。
【請求項9】
前記レンダリングモジュールが、テクスチャマッピングによって、前記3次元没入型環境にアルファ混合後の前記ビデオストリームを統合するために動作可能である、請求項1に記載の3次元マルチカメラビデオ監視支援システム。
【請求項10】
3次元マルチカメラビデオの監視を支援する方法であって、
監視下にある現場の3次元意味論的レイアウトを生成し、
複数のカメラからのビデオストリームの移動オブジェクトを検出及び分割し、
前記ビデオストリームの移動オブジェクトを追跡し、
局所的なアルファ混合によって前記ビデオストリームの前景領域を強調し、
前記3次元意味論的レイアウトとアルファ混合後の前記ビデオストリームとを、3次元没入型環境に統合する、
3次元マルチカメラビデオ監視支援方法。
【請求項11】
前記複数のカメラのサイトマップと前記意味論的レイアウトとを組み合わせることをさらに含む、請求項10に記載の3次元マルチカメラビデオ監視支援方法。
【請求項12】
多次元スケーリングによって意味論的レイアウトを生成することをさらに含む、請求項10に記載の3次元マルチカメラビデオ監視支援方法。
【請求項13】
形態学的オペレーションによって前記背景差分モジュールから出力された前記ビデオストリームの雑音を除去することをさらに含む、請求項10に記載の3次元マルチカメラビデオ監視支援方法。
【請求項14】
ガウス混合モデルによって、前記ビデオストリームにおける移動オブジェクトを検出及び分割することをさらに含む、請求項10に記載の3次元マルチカメラビデオ監視支援方法。
【請求項15】
ベイズフィルタリングによって、前記移動オブジェクトを追跡することをさらに含む、請求項10に記載の3次元マルチカメラビデオ監視支援方法。
【請求項16】
前景や背景の分割方法による統計と、オブジェクト検出方法による信頼性スコアと、の少なくとも1つからアルファ値を直接的に導くことをさらに含む、請求項10に記載の3次元マルチカメラビデオ監視支援方法。
【請求項17】
テクスチャマッピングによって、アルファ混合後の前記ビデオストリームを前記3次元没入型環境に統合することをさらに含む、請求項10に記載の3次元マルチカメラビデオ監視支援方法。
【請求項18】
3次元マルチカメラビデオの監視を支援するプログラムであって、
監視下にある現場の3次元意味論的レイアウトを生成するステップと、
複数のカメラからのビデオストリームの移動オブジェクトを検出及び分割するステップと、
前記ビデオストリームの移動オブジェクトを追跡するステップと、
局所的なアルファ混合によって前記ビデオストリームの前景領域を強調するステップと、
前記3次元意味論的レイアウトとアルファ混合後の前記ビデオストリームとを3次元没入型環境に統合するステップと、
を、コンピュータに実行させる3次元マルチカメラビデオ監視支援プログラム。
【請求項19】
3次元マルチカメラビデオの監視を支援するためのシステムであって、
監視下にある現場の3次元意味論的レイアウトを生成する手段と、
複数のカメラからのビデオストリームの移動オブジェクトを検出及び分割する手段と、
前記ビデオストリームの移動オブジェクトを追跡する手段と、
局所的なアルファ混合によって前記ビデオストリームの前景領域を強調する手段と、
前記3次元意味論的レイアウトとアルファ混合後の前記ビデオストリームとを3次元没入型環境に統合する手段と、
を含む、3次元マルチカメラビデオ監視支援システム。
【請求項1】
3次元マルチカメラビデオの監視を支援するシステムであって、
監視下にある現場の3次元意味論的レイアウトを生成するために動作可能な内容解析モジュールと、
複数のカメラからのビデオストリームにおいて移動オブジェクトを検出及び分割するために動作可能な背景差分モジュールと、
前記ビデオストリームの移動オブジェクトを追跡するために動作可能なモーション追跡モジュールと、
アルファ混合によって前記ビデオストリームの前景領域を強調するために動作可能な混合モジュールと、
前記3次元意味論的レイアウトとアルファ混合後の前記ビデオストリームとを3次元没入型環境に統合するために動作可能なレンダリングモジュールと、
を含む、3次元マルチカメラビデオ監視支援システム。
【請求項2】
前記複数のカメラのサイトマップと前記意味論的レイアウトとを組み合わせるために動作可能な3次元レイアウト生成モジュールをさらに含む、請求項1に記載の3次元マルチカメラビデオ監視支援システム。
【請求項3】
前記背景差分モジュールから出力された前記ビデオストリームの雑音を除去するために動作可能な形態学的オペレータをさらに含む、請求項1に記載の3次元マルチカメラビデオ監視支援システム。
【請求項4】
前記内容解析モジュールが多次元スケーリングによって意味論的レイアウトを生成するために動作可能である、請求項1に記載の3次元マルチカメラビデオ監視支援システム。
【請求項5】
前記移動オブジェクトが人間及び人間の顔の少なくとも一方である、請求項1に記載の3次元マルチカメラビデオ監視支援システム。
【請求項6】
前記背景差分モジュールが、ガウス混合モデルによって、前記ビデオストリームにおいて前記移動オブジェクトを検出し、分割するために動作可能である、請求項1に記載の3次元マルチカメラビデオ監視支援システム。
【請求項7】
前記モーション追跡モジュールが、ベイズフィルタリングによって、前記移動オブジェクトを追跡するために動作可能である、請求項1に記載の3次元マルチカメラビデオ監視支援システム。
【請求項8】
前記混合モジュールが、前景や背景の分割方法による統計と、オブジェクト検出方法による信頼性スコアと、の少なくとも1つからアルファ値を直接的に導くために動作可能である、請求項1に記載の3次元マルチカメラビデオ監視支援システム。
【請求項9】
前記レンダリングモジュールが、テクスチャマッピングによって、前記3次元没入型環境にアルファ混合後の前記ビデオストリームを統合するために動作可能である、請求項1に記載の3次元マルチカメラビデオ監視支援システム。
【請求項10】
3次元マルチカメラビデオの監視を支援する方法であって、
監視下にある現場の3次元意味論的レイアウトを生成し、
複数のカメラからのビデオストリームの移動オブジェクトを検出及び分割し、
前記ビデオストリームの移動オブジェクトを追跡し、
局所的なアルファ混合によって前記ビデオストリームの前景領域を強調し、
前記3次元意味論的レイアウトとアルファ混合後の前記ビデオストリームとを、3次元没入型環境に統合する、
3次元マルチカメラビデオ監視支援方法。
【請求項11】
前記複数のカメラのサイトマップと前記意味論的レイアウトとを組み合わせることをさらに含む、請求項10に記載の3次元マルチカメラビデオ監視支援方法。
【請求項12】
多次元スケーリングによって意味論的レイアウトを生成することをさらに含む、請求項10に記載の3次元マルチカメラビデオ監視支援方法。
【請求項13】
形態学的オペレーションによって前記背景差分モジュールから出力された前記ビデオストリームの雑音を除去することをさらに含む、請求項10に記載の3次元マルチカメラビデオ監視支援方法。
【請求項14】
ガウス混合モデルによって、前記ビデオストリームにおける移動オブジェクトを検出及び分割することをさらに含む、請求項10に記載の3次元マルチカメラビデオ監視支援方法。
【請求項15】
ベイズフィルタリングによって、前記移動オブジェクトを追跡することをさらに含む、請求項10に記載の3次元マルチカメラビデオ監視支援方法。
【請求項16】
前景や背景の分割方法による統計と、オブジェクト検出方法による信頼性スコアと、の少なくとも1つからアルファ値を直接的に導くことをさらに含む、請求項10に記載の3次元マルチカメラビデオ監視支援方法。
【請求項17】
テクスチャマッピングによって、アルファ混合後の前記ビデオストリームを前記3次元没入型環境に統合することをさらに含む、請求項10に記載の3次元マルチカメラビデオ監視支援方法。
【請求項18】
3次元マルチカメラビデオの監視を支援するプログラムであって、
監視下にある現場の3次元意味論的レイアウトを生成するステップと、
複数のカメラからのビデオストリームの移動オブジェクトを検出及び分割するステップと、
前記ビデオストリームの移動オブジェクトを追跡するステップと、
局所的なアルファ混合によって前記ビデオストリームの前景領域を強調するステップと、
前記3次元意味論的レイアウトとアルファ混合後の前記ビデオストリームとを3次元没入型環境に統合するステップと、
を、コンピュータに実行させる3次元マルチカメラビデオ監視支援プログラム。
【請求項19】
3次元マルチカメラビデオの監視を支援するためのシステムであって、
監視下にある現場の3次元意味論的レイアウトを生成する手段と、
複数のカメラからのビデオストリームの移動オブジェクトを検出及び分割する手段と、
前記ビデオストリームの移動オブジェクトを追跡する手段と、
局所的なアルファ混合によって前記ビデオストリームの前景領域を強調する手段と、
前記3次元意味論的レイアウトとアルファ混合後の前記ビデオストリームとを3次元没入型環境に統合する手段と、
を含む、3次元マルチカメラビデオ監視支援システム。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10A】
【図10B】
【図10C】
【図10D】
【図10E】
【図10F】
【図10G】
【図11】
【図2】
【図3A】
【図3B】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10A】
【図10B】
【図10C】
【図10D】
【図10E】
【図10F】
【図10G】
【図11】
【公開番号】特開2007−74731(P2007−74731A)
【公開日】平成19年3月22日(2007.3.22)
【国際特許分類】
【出願番号】特願2006−241056(P2006−241056)
【出願日】平成18年9月6日(2006.9.6)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】
【公開日】平成19年3月22日(2007.3.22)
【国際特許分類】
【出願日】平成18年9月6日(2006.9.6)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】
[ Back to top ]