ビデオフラッシュライトを実行する方法およびシステム
没入型監視システムでは、多数のカメラとその他のセンサからのビデオ又はその他のデータが、場面のレンダリング２Ｄ又は３Ｄモデル内にデータを重ね合わせるビデオ処理システムにより処理、表示される。システムは、ユーザが、サイトをそこから見るための視点を選択的に識別することができるように構成された視点セレクタを有する。ビデオ制御システムは、視点を識別するデータを受け取り、その視点に基づいて、その視点からの視界に関連するビデオを生成する複数のカメラのサブセットを自動的に選択し、そのカメラのサブセットからのビデオを、ビデオ処理システムに送信させる。視点が変化するにつれて、ビデオプロセッサと通信を行うカメラが変更されて、新しい位置に関連するビデオを生成するカメラに引き渡される。没入型環境における再生が、タイムスタンプ付きのビデオ記録の同期によりなされる。
【発明の詳細な説明】
【関連出願】
【０００１】
[0002]本出願は、２００４年６月１日に出願された、「ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＰＥＲＦＯＲＭＩＮＧ ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ」という名称の米国仮出願第６０／５７５，８９５号、２００４年６月１日に出願された、「ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＷＩＤＥ ＡＲＥＡ ＳＥＣＵＲＩＴＹ ＭＯＮＩＴＯＲＩＮＧ，ＳＥＮＳＯＲ ＭＡＮＡＧＥＭＥＮＴ ＡＮＤ ＳＩＴＵＡＴＩＯＮＡＬ ＡＷＡＲＥＮＥＳＳ」という名称の米国仮特許出願第６０／５７５，８９４号、および２００４年６月１日に出願された、「ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ／ＶＩＳＩＯＮ ＡＬＥＲＴ」という名称の米国仮特許出願第６０／５７６，０５０号の優先権を主張するものである。
【発明の分野】
【０００２】
[0004]本発明は、一般に、画像処理に関し、より詳細には、特定のサイトまたは環境内のいくつかのカメラからのビデオが、これらのカメラからのビデオを、場面の２Ｄまたは３Ｄモデル上に重ね合わせることによって処理される没入型監視を提供するシステムおよび方法に関する。
【発明の背景】
【０００３】
[0006]没入型監視システムは、サイトにおける防犯カメラシステムの監視を可能にする。没入型システム内の各カメラのビデオ出力は、そのサイトのレンダリングコンピュータモデルと組み合わされる。これらのシステムは、ユーザが、仮想モデル内をくまなく移動し、各カメラからのリアルタイムのビデオフィードを含む没入型仮想環境に自動的に提示される関連するビデオを見ることができるようにする。かかるシステムの一例が、参照として本明細書に組み込まれている、２００３年５月８日に公開された、米国特許出願公開第２００３／００８５９９２号明細書に記載されているＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）システムである。
【０００４】
[0007]この種のシステムは、通信帯域幅の問題に遭遇し得る。没入型監視システムは、すべてが同時にビデオを生成する、何十台、何百台、あるいは何千台ものカメラで構成されていてもよい。これは、没入型システムが見られる中央表示ステーション、端末またはその他の表示ユニットに、システムの通信ネットワークを介して流され、または別の方法で送信されるときに、ひとまとめにされて非常に大量のストリーミングデータを構成する。このデータ量に対処するには、すべてのデータを搬送する目的で、多数のケーブルまたは大量の帯域幅を有するその他の接続システムが設けられねばならず、そうでない場合、システムは、データ転送速度の限界に関連する問題に遭遇する可能性があり、警備要員にとって潜在的に重要である何らかのビデオが、表示ステーションまたは端末において全く表示することができずに、監視の有効性を低下させることになりかねない。
【０００５】
[0008]加えて、これまでの没入型システムは、システムのビデオの没入型再生を提供せず、ユーザが、カメラからの現在のビデオを見て、または位置を自由に変えることもできずに以前に表示された没入型画像を再生することを可能にするだけであった。
【０００６】
[0009]また、かかるシステムにおいて、ユーザは、普通、マウスまたはジョイスティックで自分の視点を制御することによって、本質的に無制限にナビゲートする。これは、ユーザに、調査と移動の大幅な自由を与えるものであるが、同時に、ユーザが、見ている場面内でどうしても迷ってしまい、視点を有用な位置に戻すことを難しくするものでもある。
【発明の概要】
【０００７】
[0011]したがって、本発明の目的は、これらの分野におけるシステムを改善する没入型ビデオシステムのシステムおよび方法を提供することである。
【０００８】
[0012]一実施形態において、本発明は、一般に、特に、参照として本明細書に組み込まれている、米国特許出願公開第２００３／００８５９９２号明細書に記載されているようなシステムにおいて、多数のビデオを、それらを場面の２Ｄまたは３Ｄモデル内で重ね合わせることによって処理するシステムを提供するシステムおよび方法に関するものである。
【０００９】
[0013]本発明の一態様によれば、サイトの監視システムは、それぞれが、そのサイトの個々の部分の個々のビデオを生成する複数のカメラを有する。視点セレクタが、ユーザが、サイトまたはサイトの一部をそこから観察するためのサイト内の視点を選択的に識別することができるように構成されている。ビデオ処理システムが、視点セレクタから視点を示すデータを受け取るように視点セレクタと結合されており、複数のカメラからビデオを受け取るように複数のカメラと結合されている。ビデオ処理システムは、サイトのコンピュータモデルにアクセスすることができる。ビデオ処理システムは、コンピュータモデルから、ビデオの少なくとも１つの少なくとも一部分がコンピュータモデル上に重ね合わされている、その視点からのそのサイトの視界に対応するリアルタイム画像をレンダリングする。ビデオ処理システムは、各画像をリアルタイムでビューアに表示する。ビデオ制御システムが、視点を識別するデータを受け取り、その視点に基づいて、ビデオ処理システムによってレンダリングされたその視点からのサイトの視界に関連するビデオを生成する複数のカメラのサブセットを自動的に選択し、そのカメラのサブセットからのビデオを、ビデオ処理システムに送信させる。
【００１０】
[0014]本発明の別の態様によれば、サイトの監視システムは、それぞれが個々のデータストリームを生成する複数のカメラを有する。各データストリームは、それぞれが、サイトの一部のリアルタイム画像に対応する一連のビデオフレームを含み、各フレームは、そのリアルタイム画像が関連付けられたカメラによって作成された時刻を示すタイムスタンプを有する。レコーダシステムが、各カメラからデータストリームを受け取り、それを記録する。ビデオ処理システムが、レコーダと接続されており、記録されたデータストリームの再生を可能にする。ビデオ処理システムは、記録されたデータストリームの再生時に、サイトのモデルの再生視点からの視界の画像をレンダリングし、それらの画像に、その視界に関連するカメラの少なくとも２つからの記録されたデータストリームを適用するレンダラを有する。ビデオ処理システムは、再生時にレコーダシステムから記録されたデータストリームを受け取るシンクロナイザを含む。シンクロナイザは、各画像が、そのすべてが同時に撮影されたものであるビデオフレームを用いてレンダリングされるように同期された形で、記録されたデータストリームをレンダリング装置に配信する。
【００１１】
[0015]本発明の別の態様によれば、没入型監視システムは、それぞれが、サイトの個々の部分の個々のビデオを生成する複数のカメラを備える。画像プロセッサが、複数のカメラと接続されており、それらからビデオを受け取る。画像プロセッサは、ある視点についてレンダリングされた画像を、サイトのモデルに基づき、その視点に関連する複数のビデオと組み合わせて生成する。表示装置が、画像プロセッサと結合されており、レンダリング画像を表示する。画像プロセッサに結合された視界コントローラが、画像プロセッサに、表示されるべき視点を定義するデータを提供する。また、視界コントローラは、ユーザが視点を選択的に変更することができるようにする、対話型ナビゲーションコンポーネントとも結合されており、そこから入力を受け取る。
【００１２】
[0016]本発明の別の態様によれば、方法は、監視システム内の複数のカメラからのビデオの少なくとも一部を見るための視点および視野の選択を指示するデータを入力装置から受け取るステップを含む。その視野に関連するビデオを生成することができるような場所にある上記カメラの１つ以上のサブグループが識別される。そのカメラのサブグループからのビデオは、ビデオプロセッサに送信される。上記ビデオプロセッサを用いて、サイトのコンピュータモデルから画像をレンダリングすることによってビデオ表示が生成され、画像は、ビデオの少なくとも１つの少なくとも一部分がコンピュータモデル上に重ね合わされている、サイトのその視点からの視野に対応するものである。画像はビューアに表示され、サブグループに含まれないカメラの少なくとも一部からのビデオは、ビデオレンダリングシステムに送信されず、それによって、ビデオプロセッサに送信されるデータ量が低減される。
【００１３】
[0017]本発明の別の態様によれば、監視システムの方法は、システムのカメラのデータストリームを１つ以上のレコーダに記録するステップを含む。各データストリームは、同期された形式で一緒に記録され、各フレームは、リアルタイム画像が関連付けられたカメラによって作成された時刻を指示するタイムスタンプを有する。レコーダに各カメラの記録されたデータストリームをビデオプロセッサに送信させるために、レコーダとの通信が行われる。記録されたデータストリームが受け取られ、それらのデータストリームのフレームが、そのタイムスタンプに基づいて同期される。入力装置から、各カメラからのビデオの少なくとも一部を見るための視点および視野の選択を指示するデータが受け取られる。ビデオプロセッサを用いて、サイトのコンピュータモデルから画像をレンダリングすることによってビデオ表示が生成され、画像は、ビデオの少なくとも２つの少なくとも一部分がコンピュータモデル上に重ね合わされている、サイトのその視点からの視野に対応するものである。レンダリングされた各画像ごとに重ね合わされるビデオは、そのすべてが同じ期間を指示するタイムスタンプを有するフレームからのものである。画像はビューアに表示される。
【００１４】
[0018]本発明のさらに別の方法によれば、記録されたカメラのデータストリームは、ビデオプロセッサに送信される。入力装置から、各カメラからのビデオの少なくとも一部を見るための視点および視野の選択を指示するデータが受け取られる。ビデオプロセッサを用いて、サイトのコンピュータモデルから画像をレンダリングすることによってビデオ表示が生成される。各画像は、ビデオの少なくとも２つの少なくとも一部分がコンピュータモデル上に重ね合わされている、サイトの上記視点からの視野に対応するものである。画像はビューアに表示される。視点および／または視野の変更を示す入力が受け取られる。この入力は、オペレータが、すべての可能な変更のうちの限定された一部である、視点または視点の新しい視野への変更だけを入力することができるように制約される。この限定された一部は、サイトを通るパスに対応する。
【００１５】
[0031]理解を容易にするために、各図に共通な同一要素を指定するのに、可能な限り、同一の参照番号を使用している。
【詳細な説明】
【００１６】
[0033]効果的な監視保安軍事施設またはその他の機密保護された場所の必要が、かつてないほど差し迫ったものとなっている。効果的な日々の活動が、信頼性の高いセキュリティ、ならびに周辺侵害およびアクセス制御侵害に対する効果的な対応と共に継続される必要がある。ビデオベースの活動および監視機構が、軍事基地およびその他の機密性の高いサイトにおいて、ますます展開されるようになっている。
【００１７】
[0034]例えば、ドイツのハイデルベルクにあるキャンベル兵舎では、５４台のカメラが設置されており、隣接するマークトウェインビレッジ軍宿舎では、１００台を上回るカメラの設置が予定されている。現在のビデオ動作モードは、テレビモニタ上でビデオを見る従来型のモードを可能とするにすぎず、環境の全般的な３Ｄ状況を知ることができない。しかも、通常は、ビデオベースの侵害検知が存在せず、ビデオ映像化が、侵害検知システムに直接接続されていない。
【００１８】
[0035]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）評価（ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴＴＭ Ａｓｓｅｓｓｍｅｎｔ、ＶＦＡ）、警報評価（Ａｌａｒｍ Ａｓｓｅｓｓｍｅｎｔ、ＡＡ）および視覚ベースの警報（Ｖｉｓｉｏｎ−Ｂａｓｅｄ Ａｌａｒｍ、ＶＢＡ）技術を使って、（i）例えば、複数のビデオを、環境の３Ｄモデル上にシームレスに多重化することによる周辺区域の包括的な映像化、ならびに（ii）これらの場所における周辺侵害、放置物体、および徘徊の検知など、堅固な動作検知およびその他のインテリジェント警報を提供することができる。
【００１９】
[0036]本出願では、本明細書における発明が有利に適用され得る環境の例である、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）という名称の没入型監視システムを参照するが、本明細書における発明は、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）システムとは異なるシステムにおいて、類似の利益を伴って使用されてもよいことを理解すべきである。ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）は、ライブビデオが、サイトの２Ｄまたは３Ｄコンピュータモデル上にマップされ、これと組み合わされるシステムであり、オペレータは、場面のすみずみまで視点を移動させ、その場面空間内の様々な視点から、レンダリング画像と適切に適用されたライブビデオとの組み合わせを見ることができる。
【００２０】
[0037]この種の監視システムでは、カメラが、対象となる区域を包括的にカバーすることができる。ビデオは、連続して記録される。ビデオは、全般的状況の映像化を提供するために、空港その他の場所の３Ｄモデル上にシームレスにレンダリングされる。自動ビデオベース警報（Ａｕｔｏｍａｔｉｃ Ｖｉｄｅｏ−ｂａｓｅｄ Ａｌａｒｍｓ）は、例えば、門やフェンスなどにおけるセキュリティの侵害を検知することができる。ビデオカメラの覆い（Ｂｌａｎｋｅｔ ｏｆ Ｖｉｄｅｏ Ｃａｍｅｒａ、ＢＶＣ）システムは、責任のある個人を継続的に追跡し、警備要員が、セキュリティ侵害の瞬間まで巻き戻し、次いで、時間を早送りしてその個人を現時点まで追うために、空間的かつ時間的に没入してナビゲートすることを可能にする。図１に、ビデオ制御室における従来の動作モードが、どのようにして、全般的なマルチカメラ映像化および効果的な侵害処理のための映像化環境に変換されるかを示す。
【００２１】
[0038]要約すると、ＢＶＣシステムは、次の機能を提供する。単一の統合された表示が、環境の３Ｄモデルに対してシームレスにレンダリングされたリアルタイムのビデオを示す。ユーザは、３Ｄモデルに対する複数のカメラからのビデオを見ながら、その環境をくまなく自由にナビゲートすることができる。ユーザは、迅速かつ直観的に時間を遡り、過去に発生したイベントを見直すことができる。ユーザは、単に、モデルをクリックして、１台または複数のパン／チルト／ズームカメラをその場所に向けるだけで、迅速に、イベントの高解像度ビデオを取得することができる。
【００２２】
[0039]このシステムは、オペレータが、セキュリティ侵害を検知することができるようにし、オペレータが、複数のカメラを用いた追跡によって（１人または複数の）個人を追跡することを可能にする。また、このシステムは、警備要員が、ＦＡ表示を介して、または保管されたビデオクリップとして、現在の場所および警報イベントを見ることも可能にする。
【００２３】
[0040]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）および視覚ベースの警報モジュール
【００２４】
[0041]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）および視覚ベースの警報システムは、以下の４つの異なるモジュールを含む。
ビデオ評価（ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）レンダリング）モジュール
視覚警戒警報モジュール
警報評価モジュール
システム状態情報モジュール
【００２５】
[0042]ビデオ評価モジュール（ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標））は、３Ｄモデルを覆っているビデオを観察するための統合されたインターフェースを提供する。これは、警備員が、広いサイトをくまなくシームレスにナビゲートし、広い区域内で発生する脅威を迅速に評価することを可能にする。他のどんな指揮統制システムもこのビデオオーバーレイ機能を備えていない。システムは、固定カメラとＰＴＺカメラの両方からのビデオを重ね合わせ、ＤＶＲ（ディジタルビデオレコーダ）モジュールを利用してイベントを記録し、再生する。
【００２６】
[0043]図２に最も的確に示すように、このモジュールは、脅威を評価するための包括的ツールセットを提供する。警報状況は、通常、次の３つの部分に分けられる。
【００２７】
[0044]事前評価：警報が発せられており、その警報をもたらすイベントを評価する必要がある。競合する技術は、ＤＶＲ機器または警報前バッファを使って警報からの情報を格納する。しかしながら、警報前バッファは、しばしば、不十分すぎることがあり、ＤＶＲ機器は、複合制御インターフェースを使ってある特定のカメラからのビデオだけを示すにすぎない。他方、ビデオ評価モジュールは、直観的なＧＵＩを使って、任意の瞬間におけるすべてのビデオストリームを没入して同時に見ることを可能にする。
【００２８】
[0045]ライブ評価：警報が発せられており、その警報を示すライブビデオの位置を迅速に突き止め、状況を評価し、迅速に対応する必要がある。加えて、同時に、その警報を取り巻く区域を監視してさらなる活動の有無をチェックする必要もある。大部分の既存のシステムは、一群の異なるモニタを使ってその場面の表示を提供するものであり、周辺区域を見つけるためにカメラビューを切り換えるには、時間を要し、その場面を熟知している必要がある。
【００２９】
[0046]事後評価：警報状況は終了しており、目標点は、固定カメラの視野外に移動している。場面のすみずみまで目標点を追跡する必要がある。ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）モジュールは、３Ｄモデル上での直観的なマウスクリック制御を使ったＰＴＺカメラの簡単で、迅速な制御を可能にする。ビデオオーバーレイは、図３に示すようなＤＶＲおよびＰＴＺユニットへの制御インターフェースを用いて、高解像度画面上に提示される。
【００３０】
[0047]入力および出力
【００３１】
[0048]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）ビデオ評価モジュールは、知られている形式でコンピュータメモリに入力されている画像データおよびセンサデータを取り出し、初期のモデル構築時に計算されたポーズ推定値を取り出し、それで３Ｄモデルを覆う。要約すると、ビデオ評価モジュールへの入力および出力は、以下の通りである。
【００３２】
[0049]入力
知られている場所に位置している固定カメラからの知られている形式のビデオ。
ＰＴＺカメラの場所からのビデオおよび位置情報。
各カメラのモデルに対する３Ｄポーズ（これらの３Ｄポーズは、システムセットアップ時に校正方法を使って回復される）。
場面の３Ｄモデル（この３Ｄモデルは、既存の３Ｄモデル、市販の３Ｄモデル構築方法、または他の任意のコンピュータモデル構築方法を使って回復される）。
ジョイスティックまたはキーボードを使ってオペレータにより与えられる、またはユーザによって構成された警報によって自動的に制御される所望の表示。
【００３３】
[0050]出力
所望の視界からのフラッシュライト視界を示すメモリ内の画像。
ＰＴＺ位置を制御するＰＴＺコマンド。
過去のイベントに戻ってそれらをプレビューするためのＤＶＲ制御。
【００３４】
[0051]ビデオ評価システムにおける主要機能は以下の通りである。
豊富な３Ｄ状況を提供するための３Ｄサイトモデルの映像化（空間的ナビゲーション）。
ビデオベースの評価を提供するための３Ｄモデル上へのリアルタイムビデオのオーバーレイ。
ビデオをシームレスに取り出し、３Ｄモデル上に重ね合わせるための複数のＤＶＲユニットの同期制御（時間的ナビゲーション）。
単なる３ＤモデルのマウスクリックによるＰＴＺビデオの制御およびオーバーレイ。警備員は、カメラがどこにあるかの特別な知識がなくてもＰＴＺユニットを動かすことができる。システムは、どのＰＴＺユニットが目的の区域を見るのに最も適しているか自動的に決定する。
選択された視点に基づく自動化されたビデオの選択が、システムが、非常に多数のカメラへの仮想アクセスを提供するようにビデオマトリックススイッチを統合することを可能にする。
詳細レベルレンダリングエンジンが、極めて広い３Ｄサイトにまたがるシームレスなナビゲーションを提供する。
【００３５】
[0052]ビデオ評価（ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標））のためのユーザインターフェース
【００３６】
[0053]映像化：ビデオ評価モジュールでユーザに提示される表示には、（ａ）３Ｄレンダリング表示と（ｂ）地図差し込み表示の２つがある。３Ｄレンダリング表示は、ビデオオーバーレイを伴ったサイトモデルまたは３Ｄ空間に位置するビデオビルボードを表示する。これは、サイトの詳細な情報を提供する。地図差し込み表示は、カメラフットプリントオーバーレイを伴った、サイトを上から見た図である。この表示は、サイトの全体的状況を提供する。
【００３７】
[0054]ナビゲーション
【００３８】
[0055]好ましい視点によるナビゲーション：サイト全体のナビゲーションは、好ましい視点のサイクルを使って提供される。左右の矢印キーにより、ユーザがこれらの主要視点間を迅速に移動することができる。異なる詳細レベル（その視点における異なるズーム表示レベル）で定義されている、複数のかかる視点サイクルがある。上下の矢印キーを使って、これらのズーム表示レベル間をナビゲートする。
【００３９】
[0056]マウスを使ったナビゲーション：ユーザは、ビデオオーバーレイのいずれかを左クリックして、好ましい視点内のその地点を中心に置くことができる。これは、ユーザが、重なり合うカメラの視野にまたがって移動している移動物体を容易に追跡することができるようにする。ユーザは、ビデオビルボードを左クリックして、好ましい重ね合わされた視点へ移行することができる。
【００４０】
[0057]地図差し込みを使ったナビゲーション：ユーザは、地図差し込みのフットプリントを左クリックして、個々のカメラの好ましい視点に移動することができる。また、ユーザは、マウスを左クリックしてドラッグすることによって、サイトの好ましい縮小表示を獲得するためのフットプリントの組を識別することもできる。
【００４１】
[0058]ＰＴＺ制御
【００４２】
[0059]マウスを用いたＰＴＺの移動：ユーザは、シフトキーを押しながらモデルまたは地図差し込み表示を左クリックして、ＰＴＺユニットを特定の場所へ移動させることができる。次いで、システムは、どのＰＴＺユニットがその地点を見るのに適しているか自動的に判定し、それらのＰＴＺを、その場所が見えるように移動させる。シフトボタンを押しながら、ユーザは、マウスホイールを回転させて、システムが以前に選択していた名目ズーム表示から拡大または縮小することができる。ＰＴＺビデオを見ているとき、システムは、視界の中心を、自動的に基本のＰＴＺ視点に置く。
【００４３】
[0060]ＰＴＺ間の移動：複数のＰＴＺユニットが特定の地点を見ているとき、好ましい視界は、その地点に最も近いＰＴＺユニットに割り当てられるはずである。ユーザは、左右の矢印キーを使って、好ましい視界を、その地点を見ている他のＰＴＺユニットに切り換えることができる。
【００４４】
[0061]鳥瞰図からのＰＴＺの制御：このモードでは、ユーザは、すべての固定カメラビューと、構内の鳥瞰図を見ながらＰＴＺを制御することができる。上下矢印キーを使って、警備員は、鳥瞰図と、ＰＴＺビデオの拡大表示の間を移動することができる。ＰＴＺの制御は、前述のように、シフトキーを押しながらサイトまたは差し込み地図をクリックすることによって行われる。
【００４５】
[0062]ＤＶＲ制御
【００４６】
[0063]ＤＶＲ制御パネルの選択：ユーザは、コントロールキーを押しながらｖを押して、システム内のＤＶＲユニットを制御するためのパネルを表示させることができる。
【００４７】
[0064]ＤＶＲ再生制御：デフォルトでは、ＤＶＲサブシステムは、ビデオ評価ステーション、すなわち、ユーザに没入型表示が示されるビデオステーションにライブビデオを流す。ユーザは、一時停止ボタンを選択して、現時点でビデオを停止させることができる。次いで、ユーザは、ＤＶＲモードに切り換える。ＤＶＲモードで、ユーザは、記録されたビデオの限界に達するまで、時間を前後して同期的に再生することができる。ビデオがＤＶＲモードで再生されている間、ユーザは、前述のナビゲーションの項で述べたようにそのサイトをくまなくナビゲートすることができる。
【００４８】
[0065]ＤＶＲシーク制御：ユーザは、自分がそこへ移動しようとする目的の時刻を指定することによって、すべてのＤＶＲ制御のビデオを所与の時点までシークすることができる。システムは、すべてのビデオをその時点まで移動し、次いで、ユーザが別のＤＶＲコマンドを選択するまで一時停止するはずである。
【００４９】
[0066]警報評価モジュール
【００５０】
[0067]地図ベースのブラウザ／概要
【００５１】
[0068]地図ベースのブラウザは、広い区域のための映像化ツールである。その基本コンポーネントは、センサ（固定カメラ、ＰＴＺカメラ、フェンスセンサ）と記号情報（テキスト、システム状態、境界線、物体の経時的移動）を表す様々なコンポーネントを含む、拡張性があり、ズーム表示可能な正射投影図である。
【００５２】
[0069]この図に付随するのが、その広い視界の表示域の輪郭を描き、その広い視界の視野内にないコンポーネントの状況を表示し、その広い視界の表示域を変更する別の方法を表示することを目的とする、スクロール可能でも、ズーム表示可能でもない地図の縮小されたインスタンスである。
【００５３】
[0070]地図ベースの表示内のコンポーネントは、映像化アプリケーションよる様々な挙動および機能を持つことができる。警報評価では、各コンポーネントは、その視覚コンポーネントが表すセンサの警報状態に基づいて、色を変更し、点滅することができる。センサのところに確認されていない警報があるとき、それは、地図ベースの表示上で赤く点滅する。このセンサのすべての警報が確認されると、そのコンポーネントは赤いままで、点滅しなくなる。そのセンサのすべての警報の安全が確認された後で、そのコンポーネントは、その通常の緑色に戻る。また、各センサは、地図ベースのコンポーネントを介して使用不可にすることもでき、その後、それらのセンサは、再度使用可能にされるまで黄色になる。
【００５４】
[0071]他のモジュールは、ＡＰＩ（アプリケーションプログラムインターフェース）を介してイベントを送ることによって、地図表示内のコンポーネントにアクセスすることができる。警報リストは、多くの警報ステーションにまたがって警報を集約するかかる１つのモジュールであり、警報評価のためのテキストリストとしてユーザに提示される。このＡＰＩを使用して、警報リストは、地図ベースのコンポーネントの状態を変更することができ、かかる変更に際して、コンポーネントは、色を変更し、点滅する。警報リストは、時間、優先度、センサ名、または警報の種類で警報をソートすることができる。また、警報の時刻に発生したビデオを見るようにビデオフラッシュライトを制御することもできる。ビデオベースの警報では、警報リストは、警報を発生させたビデオをビデオ表示ウィンドウに表示し、警報を発生させたビデオをディスクに保存することができる。
【００５５】
[0072]ビデオフラッシュライトとの地図ベースのブラウザ対話
【００５６】
[0073]地図ベースのブラウザ内のコンポーネントは、ＴＣＰ／ＩＰ接続を介して公開されるＡＰＩによって、仮想視界およびビデオフラッシュライト表示へのビデオフィードを制御することができる。これは、ユーザに、ビデオフラッシュライトにおいて３Ｄ場面をナビゲートする別の方法を提供する。仮想視界を変更することに加えて、地図ベースの表示内のコンポーネントは、ＤＶＲを制御し、カメラが、指定された時間量が経過した後で、その場所を変更する仮想ツアーを作成することもできる。この最後の機能は、ビデオフラッシュライトが、３Ｄ場面のすみずみまで人物を追跡するパーソナル化されたツアーを作成することを可能にする。
【００５７】
[0074]地図ベースのブラウザ表示
【００５８】
[0075]警報評価ステーションは、複数のマシンにまたがる複数の警報を統合し、それを警備員に提示する。この情報は、地図表示上の強調表示アイコンと、テキストリスト表示（図４）としてユーザに提示される。地図表示は、警備員が、脅威を、その正しい空間的状況において識別することができるようにする。また、地図表示は、目的の区域を見るビデオを即座に従動させるようビデオ評価ステーションを制御するためのハイパーリンクとしても働く。リスト表示は、ユーザが、警報の種類、警報の時刻に関して警報を評価し、任意の警報での注釈付きビデオクリップを見ることができるようにする。
【００５９】
[0076]主要な機能および仕様
【００６０】
[0077]ＡＡステーションの主要な機能は以下の通りである。
ＡＡステーションは、ユーザに、視覚警戒ステーションからの警報、ドライコンタクト入力、およびシステムに統合されているその他の特定用途向け警報を提示する。
警報が発生している状況を提供するために、記号情報が２Ｄサイト図上に重ね合わされる。
任意の警報に関する詳細情報を取得するために、テキスト情報が、時刻または優先度でソートされて表示される。
ユーザ入力に導かれたその警報特有の視点まで自動的にナビゲートするようＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）ステーションを従動させる。
実際の警報の注釈付きビデオクリップをプレビューする。
後で使用するためにビデオクリップを保存する。
【００６１】
[0078]ユーザは、警報を確認することにより警報を管理し、警報条件が除去された後で、その警報を元に戻すことによって警報を処理する。また、ユーザは、警報を生成せずに発生するよう事前に計画されている活動を可能にするために、特定の警報を使用不可にしてもよい。
【００６２】
[0079]警報評価モジュール用ユーザインターフェース
【００６３】
[0080]映像化
【００６４】
[0081]警報リスト表示は、すべての視覚警戒ステーションと外部警報ソースまたはシステム障害のための警報を単一のリストに統合する。このリストは、リアルタイムで更新される。このリストは、時刻または警報優先度でソートされ得る。
【００６５】
[0082]地図表示は、地図上に、どこで警報が発生しているかを示す。ユーザは、地図の周囲をスクロールし、または差し込み地図を使って区域を選択することができる。地図表示は、マークされた記号領域に警報を割り当てて、警報がどこで発生しているか指示する。これらの領域は、図５に示すように、警報が活動状態であるか否か指示するために色分けされている。警報記号の好ましい色分けは、（ａ）赤：不審な挙動が原因の活動状態にある安全が確認されていない警報、（ｂ）灰色：システムの誤動作に起因する警報、（ｃ）黄：使用不可とされているビデオソース、および（ｄ）緑：警報解除、活動状態の警報なしである。
【００６６】
[0083]ビデオプレビュー：ビデオベースの警報では、活動のプレビュークリップも利用可能である。これらは、ビデオクリップウィンドウでプレビューされ得る。
【００６７】
[0084]警報確認
【００６８】
[0085]リスト表示で、ユーザは、自分が観察していることを指示するために警報を確認することができる。ユーザは、個別に警報を確認することもでき、右クリックしてポップアップメニューを出し、確認を選択することによって、地図表示から特定のセンサに関するすべての警報の安全を確認することもできる。
【００６９】
[0086]警報条件が解決されている場合、ユーザは、リスト表示内の安全確認オプションを選択することによりこれを指示することができる。警報の安全が確認された後で、その警報は、リスト表示から除去される。ユーザは、その領域を右クリックしてポップアップメニューを出し、安全確認オプションを選択することによって、特定のセンサのすべての警報の安全を確認してもよい。これも、リスト表示内のそのセンサのすべての警報を解除する。
【００７０】
[0087]加えて、ユーザは、ポップアップメニューを使い、使用不可オプションを選択することによって、任意のセンサからの警報を使用不可にすることもできる。すべての使用不可とされたソースについて、任意の新しい警報が自動的に確認され、安全が確保される。
【００７１】
[0088]ビデオ評価ステーション制御
【００７２】
[0089]ユーザは、特定のセンサのためのマークされた領域を左クリックすることによって、地図表示から好ましい視界にビデオ評価ステーションを移動させることができる。地図表示制御は、ビデオ評価ステーションに、これを動かすナビゲーションコマンドを送る。ユーザは、通常、ビデオ評価モジュールを使って状況を評価するために、活動状態の警報区域をクリックする。
【００７３】
[0090]フラッシュライトのビデオのシステムアーキテクチャおよびハードウェア実装
【００７４】
[0091]数台または数百台のカメラによる迅速なビデオカメラの覆いシステム（Ｂｌａｎｋｅｔ ｏｆ Ｖｉｄｅｏ Ｃａｍｅｒａ Ｓｙｓｔｅｍ ａ ｆｅｗ ｃａｍｅｒａｓ ｏｒ ａ ｆｅｗ ｈｕｎｄｒｅｄ ｃａｍｅｒａｓ ｑｕｉｃｋｌｙ）のための、拡張性のあるシステムアーキテクチャが開発されている（図６）。本発明は、フィルタ相互間でデータを流し合うように相互接続され得るモジュラーフィルタを有することに基づくものである。これらのフィルタは、ソース（ビデオ取り込み装置、ＰＴＺ伝達機構、データベース読取り機構など）とすることもでき、変換（動作検知機構、追跡機構などのアルゴリズムモジュール）とすることもでき、シンク（レンダリングエンジン、データベース書込み機構など）とすることもできる。これらは、複数のコンポーネントが並列に実行されることを可能とする固有のスレッディング機能を用いて構築される。これは、システムが、マルチプロセッサプラットフォーム上で利用可能なリソースを最適に使用することができるようにする。
【００７５】
[0092]また、このアーキテクチャは、ネットワークを介してストリーミングデータを送受信することのできるソースとシンクも提供する。これは、システムが、単純な構成変更だけで、複数のＰＣワークステーションにまたがって容易に分散され得るようにする。
【００７６】
[0093]フィルタモジュールは、単純なＸＭＬベースの構成ファイルに基づいて実行時に動的にロードされる。これらは、モジュール間の接続性を定義し、各フィルタ特有の挙動を定義する。これは、インテグレータが、どんなコードも変更せずに、複数のマシンにまたがる多種多様なエンドユーザアプリケーションを迅速に構成することができるようにする。
【００７７】
[0094]システムアーキテクチャの主要な機能は以下の通りである。
【００７８】
[0095]システム拡張性：複数のプロセッサ、複数のマシンにまたがって接続することができる。
【００７９】
[0096]コンポーネントのモジュール性：モジュラーアーキテクチャは、ソフトウェアモジュール間でデータを流す機構を用いて、ソフトウェアモジュール間の明確な分離を維持する。各モジュールは、モジュール間でデータを流すための共通のインターフェースを有するフィルタとして定義される。
【００８０】
[0097]コンポーネントのアップグレード性：システムのコンポーネントを、システムインフラストラクチャの残りの部分に影響を及ぼさずに交換するのが容易である。
【００８１】
[0098]データストリーミングアーキテクチャ：システム内のモジュール間でのデータストリーミングに基づくものである。システム全体の時間の固有の理解を有し、複数のソースからのデータを同期させ、マージすることができる。
【００８２】
[0099]データ記憶アーキテクチャ：プロセッサごとに複数のメタデータストリームを同時に記録し、再生する機能。地図／モデルベースの表示および他のクライアントによって駆動され得る、各ノードにおけるシーク機能および見直し機能を提供する。バックエンドＳＱＬデータベースエンジンで動く。
【００８３】
[00100]本発明のシステムは、一般的にはカメラであるが、煙または火災探知器、動作検知器、ドアオープンセンサ、あるいは様々なセキュリティセンサのいずれかなど他の種類のセンサとすることもできる、システムのセンサとの効率のよい通信を可能にするものである。同様に、センサからのデータは、一般には、ビデオであるが、検知された動きや侵入、火災の警報指示、あるいは他の任意のセンサデータなど、他の種類のデータとすることもできる。
【００８４】
[00101]監視システムの重要な要件は、任意の所与の時刻に観察されているデータを選択できることである。ビデオカメラは、何十、何百または何千ものビデオシーケンスを流すこともある。本明細書の視界選択システムは、このビデオデータ、ならびに他のセンサからのデータを映像化し、管理し、格納し、再生し、解析する手段である。
【００８５】
[00102]視界選択システム
【００８６】
[00103]図７に、ビデオの選択基準を示す。個々のセンサカメラ番号（例えば、カメラ１、カメラ２、カメラ３など）を入力するのではなく、監視データの表示は、表示されるべき監視データの適切なリアルタイム表示を指示するために、システムに、選択された仮想カメラ位置または視点、すなわち、地点およびその地点からの視野を定義するデータセットを提供する視点セレクタ３に基づくものである。仮想カメラ位置は、例えば、ジョイスティックなどの入力装置を備える対話型ステーションなどから受け取られる電子データなどのオペレータ入力から、あるいは、オペレータの制御下にないイベントへの自動化された応答として、警報センサ出力から導出され得る。
【００８７】
[00104]視点が選択されると、次いで、システムは、どのセンサが、その特定の視点の視野に関連しているか自動的に計算する。好ましい実施形態において、システムは、視点セレクタ３と結合されており、そこから仮想カメラ視点を定義するデータを受け取る、ビデオプライオリタイザ／セレクタ５と関連するビデオオーバーレイ区域の視野に、システムのセンサのどのサブセットが現れるか計算する。次いで、システムは、ビデオプライオリタイザ／セレクタ５を介して、選択されたセンサ、すなわち、関連するセンサのサブセットに動的に切り換わり、ビデオスイッチャ７の制御によって、システムのその他のセンサへの切換えを回避する。ビデオスイッチャ７は、多数のビデオまたデータフィード９を生成する、システム内の（カメラを含む）すべてのセンサの入力に結合されている。セレクタ５からの制御に基づいて、ビデオスイッチャ７は、関連するセンサからのデータフィードを搬送する通信リンクをオンにし、その他のセンサからのデータフィードの送信を妨げて、選択された仮想カメラ視点に関連する少数のデータフィード１１の組だけをビデオオーバーレイステーション１３に送信するようにする。
【００８８】
[00105]１つの好ましい実施形態によれば、ビデオスイッチャ７は、ビデオプライオリタイザ／セレクタ５によって、元のより大きい組９からのより少数のビデオフィード１１だけをビデオオーバーレイステーション１３に切り換えるように制御されるアナログマトリックススイッチャである。このシステムは、特に、それらのフィードが、限られた配線の組だけを介して表示用ビデオ評価ステーションに送信されるアナログビデオであるときに使用される。かかるシステムでは、現在の視野に関連していないビデオカメラからのアナログ信号の流れは、ビデオ評価ステーションへの配線に入らないようにオフにされ、関連するカメラからのビデオフィードは、それらの接続配線を通るよう物理的にオンにされる。
【００８９】
[00106]代替として、ビデオカメラは、ディジタルビデオを生成することもでき、これを、ディジタルビデオがネットワークを介してビデオ評価ステーションに流されるように、ビデオ評価ステーションにリンクさせるローカルエリアネットワークに接続されているディジタルビデオサーバに送信することもできる。かかるシステムでは、ビデオスイッチャは、ビデオ評価ステーションの一部であり、ネットワークを介して個々のディジタルビデオサーバと通信を行う。サーバが関連するカメラを有する場合、スイッチャは、サーバに、そのビデオをビデオ評価ステーションに流すよう指図する。ビデオが関連していない場合、スイッチャは、ビデオサーバに、そのビデオを送らないよう求めるコマンドを送る。その結果、ネットワーク上のトラフィックが低減され、関連するビデオを表示のためにビデオステーションに送信する際の効率が上がる。
【００９０】
[00107]ビデオは、米国特許出願公開第２００３／００８５９９２号明細書に開示されているように、場面の２Ｄまたは３Ｄモデルの上にレンダリングされて、すなわち没入型ビデオシステムとして示される。ビデオオーバーレイステーション１３は、システムのサイトの２Ｄまたは、好ましくは、３Ｄモデルを使ってレンダリングシステムによって作成される視界のリアルタイムレンダリング画像と、関連するデータ供給１１、特に、ビデオ映像とを組み合わせることによって、リアルタイムの没入型監視システム表示を構成するビデオを生成する。サイトの２Ｄまたは３Ｄモデルは、一般に、地理空間情報とも呼ばれ、好ましくは、ビデオオーバーレイステーション１３のレンダリングコンポーネントからアクセス可能なデータ記憶装置１５上に格納されている。各画面画像においてレンダリングされて示される関連する地理空間情報は、視点セレクタ３によって決定される。
【００９１】
[00108]ビデオオーバーレイステーション１３は、視野の適切な部分のレンダリング画像に、例えば、テクスチャなどとして、関連するビデオ映像を適用することによって、表示ビデオの各画像を作成する。加えて、地理空間情報が同様に選択される。視点セレクタは、どの地理空間情報が示されるか決定する。
【００９２】
[00109]表示のためのビデオは、レンダリングされ、関連するセンサデータストリームと組み合わされた後で、オペレータに表示されるべき表示装置に送られる。
【００９３】
[00110]これら４つのブロック、すなわち、ビデオセレクタ３、ビデオプライオリタイザ／セレクタ５、ビデオスイッチャ７、およびビデオオーバーレイステーション１３は、潜在的に何千ものカメラビューの表示の処理を実現する。
【００９４】
[00111]これらの機能は、その大部分の機能がソフトウェアによって実行される、単一のコンピュータ化システム上でサポートされてもよく、それぞれのタスクを別々に実行する分散コンピュータ化コンポーネントとしてもよいことを、当業者は容易に理解する。システムが、ネットワークを利用してビデオステーションにビデオを送信する場合、視点セレクタ３、ビデオセレクタ、ビデオスイッチャ７およびビデオオーバーレイ／レンダリングステーションは、すべて、それぞれのソフトウェアモジュールを使って、ビデオステーションコンピュータ自体において表現されることが好ましい。
【００９５】
[00112]システムが、配線ビデオフィード、およびネットワーク化されていない通信またはアナログ通信により多く依存している場合には、各コンポーネントが別個の回路であり、ビデオスイッチャが、ビデオが選択された視野に関連していないときにビデオソースをオフにし、帯域幅を節約するために、配線によってビデオソースの近くの実際の物理的スイッチにリンクされている方がよい。
【００９６】
[00113]同期されたデータ取り込み、再生および表示
【００９７】
[00114]何千ものセンサからのライブデータを映像化する機能では、データを、あたかもそのデータがライブであるかのように再生させることができるようにデータを格納する必要がある。
【００９８】
[00115]大部分のディジタルビデオシステムは、各カメラからのデータを別々に格納する。しかしながら、本実施形態によれば、システムは、ビデオデータを同期して記録し、ビデオデータを同期して読み返し、それを没入型監視（好ましくは、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標））表示としてビデオデータを表示するように構成されている。
【００９９】
[00116]図２に、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）における同期されたデータ取り込み、再生および表示のブロック図を示す。レコーダコントローラ１７が、全データの記録の同期を取り、格納されたデータの各フレームは、データ、データが作成された時刻を識別するタイムスタンプを含む。好ましい実施形態では、この同期された記録は、ＤＶＲ機器１９、２１のイーサネット制御によって行われる。
【０１００】
[00117]また、レコーダコントローラ１７は、ＤＶＲ機器の再生も制御し、記録時刻と再生時刻が、全く同じ時刻に開始されるようにする。再生時、レコーダコントローラ１７は、ＤＶＲ機器に、選択された仮想カメラ視点に関連するビデオを、オペレータが選択した時点から開始して再生させる。データは、ローカルネットワークを介してデータシンクロナイザ２３に流され、データシンクロナイザ２３は、データ読取りの任意のリアルタイムスリップを処理するために再生されたデータをバッファし、様々な記録データストリームのすべてのフレームが同じ期間からものになるよう複数のデータストリームを正しく同期させるために、タイムスタンプなどの情報を読み取り、次いで、同期されたデータを、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）などの没入型監視表示システムと、２７に大まかに示す、レンダリングコンポーネント、処理コンポーネント、データ融合コンポーネントなど、システム内の他の任意のコンポーネントに配信する。
【０１０１】
[00118]アナログ実施形態では、各カメラからのアナログビデオが回路ラックに導入され、そこで分割される。ビデオの一部は、前述のように、地図表示ステーションに送られる。その他の部分は、他の３つのカメラのビデオと共に、コードボックスを介してレコーダに送られ、そこで４つのビデオフィードすべてを同期された形で格納する。ビデオは記録され、また、現在の視点に関連する場合には、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）による没入型表示へとレンダリングするために、配線を介してビデオステーションに送信される。
【０１０２】
[00119]よりディジタルな環境では、それぞれが、おおよそ４から１２台のカメラに接続されているいくつかのディジタルビデオサーバがある。各カメラは、監視システムのネットワークに接続されたディジタルビデオサーバに接続されている。ディジタルビデオサーバは、普通、同じ物理的場所において、各カメラからのビデオを格納するディジタルビデオレコーダ（ＤＶＲ）に接続されている。サーバは、関連する場合には、没入型表示のためのレンダリング画像に適用するために、ビデオをビデオステーションに流し、前述のビデオスイッチャが送らないよう指図する場合には、ビデオを送信しない。
【０１０３】
[00120]ライブビデオデータが、前述のように没入型監視表示に適用されるのと同様に、記録された同期データは、オペレータに表示されるリアルタイムの没入型監視再生表示に組み込まれる。オペレータは、場面のモデルをくまなく移動し、自分が選択した視点から、対象となる時間からのビデオまたはその他のデータを使ってレンダリングされた場面を見ることができる。
【０１０４】
[00121]レコーダコントローラとデータシンクロナイザは、好ましくは、別個の専用コンピュータ化システムであるが、当業者には容易に理解されるように、１つ以上のコンピュータシステムまたは電子コンポーネントにおいてサポートされてもよく、その機能は、それらのシステムにおいてハードウェアおよび／またはソフトウェアによって実現されてもよい。
【０１０５】
[00122]データインテグレータおよび表示
【０１０６】
[00123]ビデオセンサ、すなわちカメラ以外に、システムには、何十万もの非ビデオベースのセンサがあってもよい。これらのセンサの映像化および管理も非常に重要である。
【０１０７】
[00124]図３に最もよく示されるように、記号データインテグレータ２７は、（ビデオ警報、アクセス制御警報、物体追跡など）様々なメタデータソースからのデータをリアルタイムで収集する。規則エンジン２９は、そこに提供される様々なメタデータ入力の組と所定の応答規則に応じて、複数の情報を組み合わせて複雑な状況判断を生成し、自動化された応答として様々な決定を行う。規則は、例えば、センサの地理位置に基づくものとしてもよく、また、動的なオペレータ入力に基づくものとしてもよい。
【０１０８】
[00125]記号情報ビューア３１は、規則エンジン２９の決定をユーザにどのように提示すべきか（例えば、色／アイコンなど）を決定する。次いで、規則エンジン決定の結果を適宜使用して、視界コントローラインターフェースを介してビデオ評価ステーションの視点が制御される。例えば、ある種類の警報が、自動的にオペレータの注意を喚起し、オペレータの表示装置に、即座に、その警報条件を識別するメタデータを送信しているセンサの場所を見る仮想カメラ視点からの没入型監視表示ビューを表示させてもよい。
【０１０９】
[00126]このシステムのコンポーネントは、別個の電子ハードウェアとしてもよいが、オペレータ表示端末のところにある、またはそれと共用されているコンピュータシステム内の適切なソフトウェアコンポーネントを使って実現されてもよい。
【０１１０】
[00127]制約されたナビゲーション
【０１１１】
[00128]没入型監視表示システムは、時間的、空間的にナビゲートする無制限の手段を提供する。しかしながら、通常の使用に際しては、特定の空間的時間的場所だけが、手元のアプリケーションに関連する。したがって、本システムは、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）システムにおいて制約された空間および時間のナビゲーションを適用する。たとえとして自動車と列車の例を引くことができる。すなわち、列車は、空間内のある決まった軌道に沿って移動することしかできず、自動車は、任意の数の軌道を移動することができる。
【０１１２】
[00129]かかる実装形態の一例が、センサでカバーされていない場所を容易に表示できないよう制限することである。これは、ジョイスティックやコンピュータ画面のマウスクリックなど、オペレータにより入力装置を使って提供される所望の視点を解析することによって実施される。システムは、画面内のクリックされた地点を中心とする３Ｄ表示位置の変更を計算することによって、所望の視点を計算する。次いで、システムは、その視点が、見ることのできる、または潜在的に見ることのできるはずのセンサを含むかどうか判定し、かかるセンサがあるという判定に応答して視点を変更する一方、かかるセンサがないという判定に対して、システムは、視点を変更しない。
【０１１３】
[00130]また、後述するように、制約された動きの階層も作成されている。
【０１１４】
[00131]地図またはイベントベースのナビゲーション
【０１１５】
[00132]表示内の各点のマウスクリックやジョイスティックなどによって、没入型ビデオ表示自体の内部をナビゲートするだけでなく、システムは、オペレータが、外部から指図されたイベントを使ってナビゲートすることも可能にする。
【０１１６】
[00133]例えば、図４のスクリーンショットに見られるように、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）表示は、レンダリング没入型ビデオ表示３９に加えて、地図表示３７も備えている。地図表示は、その区域の地図だけでなく警報のリスト４１も示す。単に、リスト表示された警報または地図をクリックするだけで、視点が、その場所に対応する新しい視点に即座に変更され、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）表示は、その新しい視点についてレンダリングされる。
【０１１７】
[00134]図４で、壁の侵害が検知されると、地図表示３７が色を変え、またはセンサイベントを指示するアイコンが表示される。次いで、オペレータが地図表示３７上でその標識をクリックすると、没入型表示３９の視点が、そのセンサイベントの事前にプログラムされた視点に即座に変更され、次いで、それが表示される。
【０１１８】
[00135]ＰＴＺ制御
【０１１９】
[00136]画像処理システムは、あらゆるカメラセンサ、ならびに３Ｄモデル内のあらゆる画素の（ｘ，ｙ，ｚ）世界座標を知っている。ユーザがマウスで２Ｄまたは３Ｄ没入型ビデオモデル表示上の点をクリックすると、システムは、その点を中心として視野を見るのに最適なカメラを識別する。
【０１２０】
[00137]場合によっては、その場所を見るのに最適な場所に位置しているカメラが、パン／チルト／ズームカメラ（ＰＴＺ）であり、所望の場所を見るのに必要な方向とは異なる方向を指していることもある。そのような場合、システムは、位置パラメータ（例えば、指図されたパン、チルト、センサの機械的パン、チルト、ズーム角度など）を計算し、ネットワークを介してカメラに適切な電気制御信号を送ることによって、ＰＴＺをその場所に向けさせ、ＰＴＺビデオを受け取り、それが没入型監視表示に挿入される。このプロセスの詳細を以下でさらに論じる。
【０１２１】
[00138]ＰＴＺハンドオフ
【０１２２】
[00139]前述のように、システムは、あらゆるカメラセンサ、ならびに３Ｄモデル内のあらゆる画素の（ｘ，ｙ，ｚ）世界座標を知っている。カメラセンサの位置がわかっているために、システムは、所望の表示要件に基づいてどのセンサを使用すべきか選択することができる。例えば、好ましい実施形態では、場面が複数のＰＴＺカメラを含むときに、システムは、ＰＴＺの場所と目的の地点との地面に投影された２Ｄ（例えば緯度経度など）または３Ｄ座標に、完全にまたは一部に基づいて、１つ以上のＰＴＺを自動的に選択する。
【０１２３】
[00140]好ましい実施形態では、システムは、各ＰＴＺから目的物までの距離を、その２Ｄまたは３Ｄ座標に基づいて計算し、その目的物を見るためにその目的物に最も近いＰＴＺを使ようとする。別の規則には、その場面でモデル化されている３Ｄオブジェクトからの遮蔽、ならびにパン、チルト、ズーム値の無効な区域の理由を説明することが含まれ、これらの規則は、どのカメラが、サイト内の特定の選択地点を見るのに最適であるか決定する際に適用される。
【０１２４】
[00141]ＰＴＺ校正
【０１２５】
[00142]ＰＴＺは３Ｄ場面に合わせた校正を必要とする。この校正は、ＰＴＺから見えるＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）モデル内の３Ｄ（ｘ，ｙ，ｚ）地点を選択することによって行われる。ＰＴＺは、その場所に向けられ、機械的パン、チルト、ズーム値が読み取られ、格納される。これが、そのＰＴＺカメラの場所の周りに分散するモデル内のいくつかの異なる地点において繰り返される。次いで、線形フィットが、各地点に対して、パン、チルトおよびズーム空間それぞれにおいて別個に行われる。ズーム空間は、非線形であることもあり、適合させる前に、製造者検索または経験的検索が行われ得る。線形フィットは、ＰＴＺが動くよう要求される都度、動的に実行される。ＰＴＺが、ある３Ｄ位置を指し示すよう要求されると、そのＰＴＺの場所に対する所望の場所についての、モデル空間におけるパンおよびチルト角度（φ、θ）が計算される。次いで、ＰＴＺの場所に対するすべての校正点についてのφとθが計算される。次いで、線形フィットが、所望の場所に対応するφとθとにより近い校正φとθとにより強く重み付けする重み付き最小二乗法を使って、校正時から格納された機械的パン、チルトおよびズーム値に対して、別々に実行される。
【０１２６】
[00143]最小二乗法フィットは、校正φおよびθをｘ座標入力として使用し、ＰＴＺからの測定されたパン、チルトおよびズーム値をｙ座標値として使用する。次いで、最小二乗法フィットは、所与の入力「ｘ」値に出力ｙ値を与えるパラメータを回復する。次いで、所望の地点に対応するφとθが、さらにＰＴＺカメラの機械的指示パン（およびチルト、ズーム）を返すパラメータ化された式（「ｘ」値）を表すコンピュータプログラムに供給される。次いで、これらの求められた値を使って、ＰＴＺユニットの位置、向きおよびズーム表示を制御するためにＰＴＺユニットに送信するのに適した伝記制御信号が決定される。
【０１２７】
[00144]没入型監視表示索引付け
【０１２８】
[00145]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）システム内のビデオおよびその他の情報を統合する利点は、データが、以前は不可能であった方法で索引付けされ得ることである。例えば、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）システムが、複数のチェックポイントにおいてインストールされているナンバープレート読取りシステムに接続されている場合、（前述の規則ベースのシステムを使った）ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）システムの単純な問い合わせだけで、その車両のすべてのインスタンスの映像を直ちに示すことができる。通常、これは、非常に手間のかかる作業である。
【０１２９】
[00146]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）は、センサの「オペレーティングシステム」である。センサの空間的、アルゴリズム的融合は、監視型アプリケーションにおける検知確率と、目標の正確な識別の確率とを大幅に向上させる。これらのセンサは、ビデオ、音響、地震、磁気、赤外線などを含む、任意の受動型または能動型ものとすることができる。
【０１３０】
[00147]図５に、システムのソフトウェアアーキテクチャを示す。本質的に、すべてのセンサ情報が、センサドライバを介してシステムに送られ、これらは、図の最下部に示されている。補助センサ４５は、サイト上で有効な監視を行うための、前述のような任意の能動型／受動型センサである。これらすべてのセンサからの関連情報が、固定カメラ４７およびＰＴＺカメラ４９からのライブビデオと共に、これらすべての情報を融合させるメタデータマネージャ５１に供給される。
【０１３１】
[00148]このレベル５１には、システムの基本人工知能を定義する規則ベースの処理がある。規則は、メタデータマネージャ５１の下にある任意の装置４５、４７、または４９を制御することができ、「廊下Ａでいずれかのドアが開けられたときにだけビデオを記録する」、「区域Ｂにおいて、任意の目的物をＰＴＺカメラで自動的に追跡する」、あるいは「ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）に、プロファイルまたは虹彩基準にマッチする人物を密かに観察させ、ズーム表示させる」などの規則とすることができる。
【０１３２】
[00149]これらの規則は、（メタデータマネージャの上にあり、メタデータマネージャから表示用データを受け取る）３Ｄレンダリングエンジン５３によってレンダリングされる表示に直接的結果をもたらす。というのは、普通、最後に検証されるのは視覚情報であり、通常、ユーザ／警備員は、目的の物体を密かに観察し、それを拡大表示し、システムによって提供される視覚フィードバックを用いて状況をさらに評価しようとするからである。
【０１３３】
[00150]前述のすべての機能は、利用可能なＴＣＰ／ＩＰサービスを用いてリモートで使用され得る。このモジュール５５は、物理的には装置を持たずに、サービスを利用しようとするリモートサイトにＡＰＩを公開する。リモートユーザは、レンダリング画像がリアルタイムでリモートサイトに送られるため、ローカルユーザと同様にアプリケーションの出力を見ることができる。
【０１３４】
[00151]また、これは、すべての情報（ビデオセンサ、補助センサおよび空間情報）を１つの移植可能な形式、すなわち、レンダリングリアルタイムのプログラム出力に圧縮する手段でもある。というのは、ユーザが、画面と、キーボードのようなある種の入力装置を除いて、全く装置がなくとも、ローカルで行うのと同様にリモートでこの情報すべてを評価することができるからである。一例として、ハンドヘルドコンピュータを用いてこの情報すべてを評価することなどが挙げられるはずである。
【０１３５】
[00152]システムは、システムの様々な表示コンポーネントが、図６に示すように、ユーザに示される表示端末を有する。この表示装置は、特に、オペレータ選択の視点でのレンダリングビデオ監視およびデータを表示させ、その視点を変更し、または別様にシステムを管制するためのマウス、ジョイスティックまたはその他の入力を受け入れるグラフィックユーザインターフェース（ＧＵＩ）を含む。
【０１３６】
[00153]視点ナビゲーション制御
【０１３７】
[00154]前述の没入型監視システムの設計では、ユーザは、視点に対する制約なしで３Ｄ環境内を自由にナビゲートした。本設計では、ユーザの潜在的視点に対する制約条件があり、それによって、画像品質が向上し、ユーザ対話の複雑度が低減される。
【０１３８】
[00155]完全に自由なナビゲーションの欠点の１つが、ユーザが３Ｄ制御（普通は、位置（ｘ，ｙ，ｚ）、回転（ピッチ、方位、ロール）、および視野を含めて、制御すべき７個を超えるパラメータがあるため容易ではない）を熟知していない場合、迷ったり、不満足な視点を生じたりすることになりやすい。そのため、システムは、ユーザが完全な視点を作り出すのを支援する。というのは、各ビデオ投影は、連続した環境のばらばらな部分であり、これらの部分を可能な限りうまく映像化する必要があるからである。支援は、オペレータコンソールを介して、視点階層、クリックによる回転およびズーム表示、地図ベースのナビゲーションなどを提供する形としてもよい。
【０１３９】
[00156]視点階層
【０１４０】
[00157]視点階層ナビゲーションは、ビデオ投影のばらばらな性質を利用し、本質的には、アプリケーションに応じて、ユーザ対話の複雑度を、７を上回る次元から、おおよそ４以下の次元に低減するものである。これは、環境内の視点階層を作成することによってなされる。この階層を作成する１つの可能な方法は次のとおりである。階層の最下位レベルは、その場面内のカメラ位置および向きと全く同等の視点を表し、おそらく、より大きな状況を取得するためのより広い視野を伴うものである。より上位レベルの視点は、より一層大きいカメラクラスタを示し、階層の最上位ノードは、その場面のすべてのカメラ投影を見る視点を表す。
【０１４１】
[00158]この階層がセットアップされると、位置や向きのような絶対パラメータを制御するのではなく、ユーザが場面内のどこを見るべきか簡単に決定し、システムが、この階層を使って、ユーザのために最適な視界を決定し、作成する。また、ユーザは、階層を明示的に上下移動することもでき、ピアノード、すなわち、階層の同じレベルにある横に間隔を置いた視点に移動することもできる。
【０１４２】
[00159]すべてのノードが、顧客の必要に応じ、サイト上でのカメラ構成に応じて、前もって慎重に選択されている完全な視点であるため、ユーザは、あまり複雑でない単純な選択だけである視界から別の視界に移動することによって、場面内をナビゲートすることができ、画像品質は、常に、ある制御された閾値を上回る。
【０１４３】
[00160]クリックによる回転およびズーム表示
【０１４４】
[00161]このナビゲーション方式は、システムのユーザインターフェース装置としてのジョイスティックを必要とせず、マウスが好ましい入力装置である。
【０１４５】
[00162]ユーザは、ある視点からの視界として表示される場面を調べているときに、その３Ｄ場面内の目的のオブジェクトをクリックすることによって、その視点をさらに制御することができる。この入力は、視界が回転され、クリックされたオブジェクトは、その視界の中心に置かれるような視点パラメータの変更を生じさせる。オブジェクトが中心に置かれた後で、マウスを使ってさらに入力を行うことにより、そのオブジェクトのズーム表示を行うことができる。このオブジェクト中心のナビゲーションは、ナビゲーションをさらに大幅に直観的なものにする。
【０１４６】
[00163]地図ベースの表示およびナビゲーション
【０１４７】
[00164]ユーザが、世界のごく一部分を見ているときには、より大きな状況を有する「全体像」を見る、すなわち、サイトの地図を見る必要がある。これは、ユーザが、警報発生に応答して３Ｄ場面の別の部分に迅速に切り換えたいときには、特に有用である。
【０１４８】
[00165]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）システムにおいて、ユーザは、場面の正射投影地図表示にアクセスすることができる。この表示では、様々なセンサを含む場面内のすべてのリソースが、その現在の状況と共に表わされる。また、ビデオセンサも、これらの中に含まれ、ユーザは、この地図表示上の１つ以上のビデオセンサを、その表示されたフットプリントの選択により選択することによって、３Ｄ場面上に所望の最適な視界を作成することができ、システムは、これらすべてのセンサを示す視点に自動的にナビゲートすることによってしかるべく応答する。
【０１４９】
[00166]ＰＴＺナビゲーション制御
【０１５０】
[00167]パン／チルト／ズーム（ＰＴＺ）カメラは、通常、１つの位置に固定されており、回転し、ズーム表示することができる。ＰＴＺカメラは、前述の項で説明したように、３Ｄ環境に合わせて校正することができる。
【０１５１】
[00168]回転およびズーム表示パラメータの導出
【０１５２】
[00169]校正が実行されると、３Ｄ環境内の任意の地点の画像が生成され得る。というのは、その地点とＰＴＺカメラの位置が、一意のパン／チルト／ズーム校正を構成する線を生じるからである。ここで、ズームは、特定のサイズ（人間（２ｍまで）、自動車（５ｍまで）、トラック（１５ｍまで）など）を「追跡」するように調整することができ、したがって、ＰＴＺからその地点までの距離に応じて、ＰＴＺは、ズームをしかるべく調整する。ズームは、さらに、状況に応じて、後で調整することもできる。
【０１５３】
[00170]ＰＴＺとユーザとの対話の制御
【０１５４】
[00171]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）システムでは、ＰＴＺを備える区域を調べるために、ユーザは、３Ｄ環境のレンダリング画像内のその地点をクリックする。その位置は、ソフトウェアによって、回転角と初期ズーム表示を生成するのに使用される。これらのパラメータは、ＰＴＺコントローラユニットに送られる。ＰＴＺは、その地点に向きを変え、それをズーム表示する。一方で、ＰＴＺユニットは、その直前のパン、チルト、ズームパラメータおよびビデオフィードを送り返す。これらのパラメータは、正確な地点にビデオを投影するために、変換されてＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）座標系に戻され、現在進行中のビデオが投影画像として使用される。したがって、全体の結果は、ＰＴＺが、３Ｄモデル上に投影されたリアルタイム画像と共に、ある地点から別の地点まで旋回する映像となる。
【０１５５】
[00172]代替の方法は、３Ｄモデルを使用せずに、キーボードの打ち込みまたは他の任意の入力装置を用いてＰＴＺパン／チルト／ズームを制御することである。これは、ある人物を追跡している間にパンさせたり、チルトさせたりする派生的な動きに役立つことが分かっており、その場合、その人物をクリックし続けるのではなく、ユーザは、事前に割り当てられたキーをクリックする。（例えば、矢印キー左／右／上／下／シフト上／シフト下が、パン左／パン右／チルト上／チルト下／拡大／縮小にマップされ得る）。
【０１５６】
[00173]ＰＴＺを制御しながらの場面の映像化
【０１５７】
[00174]３ＤモデルのクリックによるＰＴＺの制御および旋回するＰＴＺカメラの映像化については、上記の項で説明している。しかし、この結果をそこから映像化すべき視点は重要となり得る。１つの理想的な方法が、ユーザがそこから場面を見ている視点が、ＰＴＺカメラと同じ位置を有し、ＰＴＺが回転するように回転する、ＰＴＺに「固定された」視点を持つことである。この視野は、普通、ユーザに状況を与える実際のカメラより広い。
【０１５８】
[00175]別の有用なＰＴＺ映像化が、視点階層内の上位レベルの視点を選択することである（視点階層参照）。この方法では、複数の固定およびＰＴＺカメラが、１つの視点から映像化され得る。
【０１５９】
[00176]複数のＰＴＺ
【０１６０】
[00177]場面内に複数のＰＴＺがあるときには、どのＰＴＺをどこで、どんな状況で使用すべきかに関する規則をシステムに課すことができる。これらの規則は、範囲地図、パン／チルト／ズーム図などの形とすることができる。場面内の特定の地点について視界が求められる場合、その地点についての、これらすべての試験に通るＰＴＺの組が、それらをＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）で示したり、ビデオマトリックスビューアに送ったりするなどの結果として生じるプロセスに使用される。
【０１６１】
[00178]３Ｄ／２Ｄビルボーディング
【０１６２】
[00179]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）のレンダリングエンジンは、通常、映像化のために３Ｄ場面上にビデオを投影する。しかし、特に、カメラの視野が狭すぎ、観察点がカメラと異なりすぎているとき、ビデオが３Ｄ環境に投影されるときに過剰なゆがみが生じる。ビデオを表示しつつも、なお、空間的状況を保持するために、場面に関するビデオフィードを示す方法としてビルボーディングが導入される。ビルボードは、元のカメラの場所に近接して示される。また、カメラのカバーエリアも示され、ビルボードにリンクされる。
【０１６３】
[00180]ゆがみは、元の画像と投影画像の間の形状モルフォロジ、画像サイズ差などを含む、複数の尺度によって検出され得る。
【０１６４】
[00181]各ビルボードは、本質的に、見る人の視線に対して直角な没入型画像内に吊り下げられた画面として表示され、カメラからその画面上に、通常は、没入型環境内にゆがめられて表示されるはずのビデオが表示される。ビルボードは３Ｄオブジェクトであるため、カメラが視点から遠くなるほど、ビルボードも小さくなり、したがって、空間的状況が正確に保持される。
【０１６５】
[00182]何百台ものカメラがあるアプリケーションでも、ビルボーディングは、やはり、実際に有効であることを立証し得る。１６００×１２００の画面では、平均サイズがおおよそ１００×７５である、２５０を超えるビルボードが、１つの場面で見えるはずである。当然ながら、この大きさでは、ビルボードは、場面全体のライブテクスチャとして機能することになる。
【０１６６】
[00183]以上は、本発明の実施形態を対象としているが、本発明の基本的な範囲を逸脱することなく本発明の別の実施形態が考案されてもよく、本発明の範囲は、添付の特許請求の範囲によって決定されるものである。
【図面の簡単な説明】
【０１６７】
【図１】ビデオ制御室における従来の動作モードが、どのようにして、全体的なマルチカメラ映像化および効果的な侵害処理のための映像化環境に変換されるかを示す図である。
【図２】脅威を評価するための包括的なツールセットを提供するモジュールを示す図である。
【図３】ＤＶＲおよびＰＴＺユニットへの制御インターフェースを用いて高解像度画面上に提示されるビデオオーバーレイを示す図である。
【図４】地図表示上の強調表示アイコンとテキストリスト表示としてユーザに提示される情報を示す図である。
【図５】警報が活動状態であるか否か指示するために着色されている領域を示す図である。
【図６】数台または数百台のカメラによる迅速なビデオカメラの覆いシステムの拡張性のあるシステムアーキテクチャを示す図である。
【図７】本発明の視界選択システム（Ｖｉｅｗ Ｓｅｌｅｃｔｉｏｎ Ｓｙｓｔｅｍ）を示す図である。
【図８】本発明のシステムにおける、同期されたデータ取り込み、再生および表示を示す図である。
【図９】本発明のシステムにおけるデータインテグレータおよび表示を示す図である。
【図１０】没入型ビデオシステムと共に使用される地図ベースの表示を示す図である。
【図１１】システムのソフトウェアアーキテクチャを示す図である。
【関連出願】
【０００１】
[0002]本出願は、２００４年６月１日に出願された、「ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＰＥＲＦＯＲＭＩＮＧ ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ」という名称の米国仮出願第６０／５７５，８９５号、２００４年６月１日に出願された、「ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＷＩＤＥ ＡＲＥＡ ＳＥＣＵＲＩＴＹ ＭＯＮＩＴＯＲＩＮＧ，ＳＥＮＳＯＲ ＭＡＮＡＧＥＭＥＮＴ ＡＮＤ ＳＩＴＵＡＴＩＯＮＡＬ ＡＷＡＲＥＮＥＳＳ」という名称の米国仮特許出願第６０／５７５，８９４号、および２００４年６月１日に出願された、「ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ／ＶＩＳＩＯＮ ＡＬＥＲＴ」という名称の米国仮特許出願第６０／５７６，０５０号の優先権を主張するものである。
【発明の分野】
【０００２】
[0004]本発明は、一般に、画像処理に関し、より詳細には、特定のサイトまたは環境内のいくつかのカメラからのビデオが、これらのカメラからのビデオを、場面の２Ｄまたは３Ｄモデル上に重ね合わせることによって処理される没入型監視を提供するシステムおよび方法に関する。
【発明の背景】
【０００３】
[0006]没入型監視システムは、サイトにおける防犯カメラシステムの監視を可能にする。没入型システム内の各カメラのビデオ出力は、そのサイトのレンダリングコンピュータモデルと組み合わされる。これらのシステムは、ユーザが、仮想モデル内をくまなく移動し、各カメラからのリアルタイムのビデオフィードを含む没入型仮想環境に自動的に提示される関連するビデオを見ることができるようにする。かかるシステムの一例が、参照として本明細書に組み込まれている、２００３年５月８日に公開された、米国特許出願公開第２００３／００８５９９２号明細書に記載されているＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）システムである。
【０００４】
[0007]この種のシステムは、通信帯域幅の問題に遭遇し得る。没入型監視システムは、すべてが同時にビデオを生成する、何十台、何百台、あるいは何千台ものカメラで構成されていてもよい。これは、没入型システムが見られる中央表示ステーション、端末またはその他の表示ユニットに、システムの通信ネットワークを介して流され、または別の方法で送信されるときに、ひとまとめにされて非常に大量のストリーミングデータを構成する。このデータ量に対処するには、すべてのデータを搬送する目的で、多数のケーブルまたは大量の帯域幅を有するその他の接続システムが設けられねばならず、そうでない場合、システムは、データ転送速度の限界に関連する問題に遭遇する可能性があり、警備要員にとって潜在的に重要である何らかのビデオが、表示ステーションまたは端末において全く表示することができずに、監視の有効性を低下させることになりかねない。
【０００５】
[0008]加えて、これまでの没入型システムは、システムのビデオの没入型再生を提供せず、ユーザが、カメラからの現在のビデオを見て、または位置を自由に変えることもできずに以前に表示された没入型画像を再生することを可能にするだけであった。
【０００６】
[0009]また、かかるシステムにおいて、ユーザは、普通、マウスまたはジョイスティックで自分の視点を制御することによって、本質的に無制限にナビゲートする。これは、ユーザに、調査と移動の大幅な自由を与えるものであるが、同時に、ユーザが、見ている場面内でどうしても迷ってしまい、視点を有用な位置に戻すことを難しくするものでもある。
【発明の概要】
【０００７】
[0011]したがって、本発明の目的は、これらの分野におけるシステムを改善する没入型ビデオシステムのシステムおよび方法を提供することである。
【０００８】
[0012]一実施形態において、本発明は、一般に、特に、参照として本明細書に組み込まれている、米国特許出願公開第２００３／００８５９９２号明細書に記載されているようなシステムにおいて、多数のビデオを、それらを場面の２Ｄまたは３Ｄモデル内で重ね合わせることによって処理するシステムを提供するシステムおよび方法に関するものである。
【０００９】
[0013]本発明の一態様によれば、サイトの監視システムは、それぞれが、そのサイトの個々の部分の個々のビデオを生成する複数のカメラを有する。視点セレクタが、ユーザが、サイトまたはサイトの一部をそこから観察するためのサイト内の視点を選択的に識別することができるように構成されている。ビデオ処理システムが、視点セレクタから視点を示すデータを受け取るように視点セレクタと結合されており、複数のカメラからビデオを受け取るように複数のカメラと結合されている。ビデオ処理システムは、サイトのコンピュータモデルにアクセスすることができる。ビデオ処理システムは、コンピュータモデルから、ビデオの少なくとも１つの少なくとも一部分がコンピュータモデル上に重ね合わされている、その視点からのそのサイトの視界に対応するリアルタイム画像をレンダリングする。ビデオ処理システムは、各画像をリアルタイムでビューアに表示する。ビデオ制御システムが、視点を識別するデータを受け取り、その視点に基づいて、ビデオ処理システムによってレンダリングされたその視点からのサイトの視界に関連するビデオを生成する複数のカメラのサブセットを自動的に選択し、そのカメラのサブセットからのビデオを、ビデオ処理システムに送信させる。
【００１０】
[0014]本発明の別の態様によれば、サイトの監視システムは、それぞれが個々のデータストリームを生成する複数のカメラを有する。各データストリームは、それぞれが、サイトの一部のリアルタイム画像に対応する一連のビデオフレームを含み、各フレームは、そのリアルタイム画像が関連付けられたカメラによって作成された時刻を示すタイムスタンプを有する。レコーダシステムが、各カメラからデータストリームを受け取り、それを記録する。ビデオ処理システムが、レコーダと接続されており、記録されたデータストリームの再生を可能にする。ビデオ処理システムは、記録されたデータストリームの再生時に、サイトのモデルの再生視点からの視界の画像をレンダリングし、それらの画像に、その視界に関連するカメラの少なくとも２つからの記録されたデータストリームを適用するレンダラを有する。ビデオ処理システムは、再生時にレコーダシステムから記録されたデータストリームを受け取るシンクロナイザを含む。シンクロナイザは、各画像が、そのすべてが同時に撮影されたものであるビデオフレームを用いてレンダリングされるように同期された形で、記録されたデータストリームをレンダリング装置に配信する。
【００１１】
[0015]本発明の別の態様によれば、没入型監視システムは、それぞれが、サイトの個々の部分の個々のビデオを生成する複数のカメラを備える。画像プロセッサが、複数のカメラと接続されており、それらからビデオを受け取る。画像プロセッサは、ある視点についてレンダリングされた画像を、サイトのモデルに基づき、その視点に関連する複数のビデオと組み合わせて生成する。表示装置が、画像プロセッサと結合されており、レンダリング画像を表示する。画像プロセッサに結合された視界コントローラが、画像プロセッサに、表示されるべき視点を定義するデータを提供する。また、視界コントローラは、ユーザが視点を選択的に変更することができるようにする、対話型ナビゲーションコンポーネントとも結合されており、そこから入力を受け取る。
【００１２】
[0016]本発明の別の態様によれば、方法は、監視システム内の複数のカメラからのビデオの少なくとも一部を見るための視点および視野の選択を指示するデータを入力装置から受け取るステップを含む。その視野に関連するビデオを生成することができるような場所にある上記カメラの１つ以上のサブグループが識別される。そのカメラのサブグループからのビデオは、ビデオプロセッサに送信される。上記ビデオプロセッサを用いて、サイトのコンピュータモデルから画像をレンダリングすることによってビデオ表示が生成され、画像は、ビデオの少なくとも１つの少なくとも一部分がコンピュータモデル上に重ね合わされている、サイトのその視点からの視野に対応するものである。画像はビューアに表示され、サブグループに含まれないカメラの少なくとも一部からのビデオは、ビデオレンダリングシステムに送信されず、それによって、ビデオプロセッサに送信されるデータ量が低減される。
【００１３】
[0017]本発明の別の態様によれば、監視システムの方法は、システムのカメラのデータストリームを１つ以上のレコーダに記録するステップを含む。各データストリームは、同期された形式で一緒に記録され、各フレームは、リアルタイム画像が関連付けられたカメラによって作成された時刻を指示するタイムスタンプを有する。レコーダに各カメラの記録されたデータストリームをビデオプロセッサに送信させるために、レコーダとの通信が行われる。記録されたデータストリームが受け取られ、それらのデータストリームのフレームが、そのタイムスタンプに基づいて同期される。入力装置から、各カメラからのビデオの少なくとも一部を見るための視点および視野の選択を指示するデータが受け取られる。ビデオプロセッサを用いて、サイトのコンピュータモデルから画像をレンダリングすることによってビデオ表示が生成され、画像は、ビデオの少なくとも２つの少なくとも一部分がコンピュータモデル上に重ね合わされている、サイトのその視点からの視野に対応するものである。レンダリングされた各画像ごとに重ね合わされるビデオは、そのすべてが同じ期間を指示するタイムスタンプを有するフレームからのものである。画像はビューアに表示される。
【００１４】
[0018]本発明のさらに別の方法によれば、記録されたカメラのデータストリームは、ビデオプロセッサに送信される。入力装置から、各カメラからのビデオの少なくとも一部を見るための視点および視野の選択を指示するデータが受け取られる。ビデオプロセッサを用いて、サイトのコンピュータモデルから画像をレンダリングすることによってビデオ表示が生成される。各画像は、ビデオの少なくとも２つの少なくとも一部分がコンピュータモデル上に重ね合わされている、サイトの上記視点からの視野に対応するものである。画像はビューアに表示される。視点および／または視野の変更を示す入力が受け取られる。この入力は、オペレータが、すべての可能な変更のうちの限定された一部である、視点または視点の新しい視野への変更だけを入力することができるように制約される。この限定された一部は、サイトを通るパスに対応する。
【００１５】
[0031]理解を容易にするために、各図に共通な同一要素を指定するのに、可能な限り、同一の参照番号を使用している。
【詳細な説明】
【００１６】
[0033]効果的な監視保安軍事施設またはその他の機密保護された場所の必要が、かつてないほど差し迫ったものとなっている。効果的な日々の活動が、信頼性の高いセキュリティ、ならびに周辺侵害およびアクセス制御侵害に対する効果的な対応と共に継続される必要がある。ビデオベースの活動および監視機構が、軍事基地およびその他の機密性の高いサイトにおいて、ますます展開されるようになっている。
【００１７】
[0034]例えば、ドイツのハイデルベルクにあるキャンベル兵舎では、５４台のカメラが設置されており、隣接するマークトウェインビレッジ軍宿舎では、１００台を上回るカメラの設置が予定されている。現在のビデオ動作モードは、テレビモニタ上でビデオを見る従来型のモードを可能とするにすぎず、環境の全般的な３Ｄ状況を知ることができない。しかも、通常は、ビデオベースの侵害検知が存在せず、ビデオ映像化が、侵害検知システムに直接接続されていない。
【００１８】
[0035]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）評価（ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴＴＭ Ａｓｓｅｓｓｍｅｎｔ、ＶＦＡ）、警報評価（Ａｌａｒｍ Ａｓｓｅｓｓｍｅｎｔ、ＡＡ）および視覚ベースの警報（Ｖｉｓｉｏｎ−Ｂａｓｅｄ Ａｌａｒｍ、ＶＢＡ）技術を使って、（i）例えば、複数のビデオを、環境の３Ｄモデル上にシームレスに多重化することによる周辺区域の包括的な映像化、ならびに（ii）これらの場所における周辺侵害、放置物体、および徘徊の検知など、堅固な動作検知およびその他のインテリジェント警報を提供することができる。
【００１９】
[0036]本出願では、本明細書における発明が有利に適用され得る環境の例である、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）という名称の没入型監視システムを参照するが、本明細書における発明は、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）システムとは異なるシステムにおいて、類似の利益を伴って使用されてもよいことを理解すべきである。ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）は、ライブビデオが、サイトの２Ｄまたは３Ｄコンピュータモデル上にマップされ、これと組み合わされるシステムであり、オペレータは、場面のすみずみまで視点を移動させ、その場面空間内の様々な視点から、レンダリング画像と適切に適用されたライブビデオとの組み合わせを見ることができる。
【００２０】
[0037]この種の監視システムでは、カメラが、対象となる区域を包括的にカバーすることができる。ビデオは、連続して記録される。ビデオは、全般的状況の映像化を提供するために、空港その他の場所の３Ｄモデル上にシームレスにレンダリングされる。自動ビデオベース警報（Ａｕｔｏｍａｔｉｃ Ｖｉｄｅｏ−ｂａｓｅｄ Ａｌａｒｍｓ）は、例えば、門やフェンスなどにおけるセキュリティの侵害を検知することができる。ビデオカメラの覆い（Ｂｌａｎｋｅｔ ｏｆ Ｖｉｄｅｏ Ｃａｍｅｒａ、ＢＶＣ）システムは、責任のある個人を継続的に追跡し、警備要員が、セキュリティ侵害の瞬間まで巻き戻し、次いで、時間を早送りしてその個人を現時点まで追うために、空間的かつ時間的に没入してナビゲートすることを可能にする。図１に、ビデオ制御室における従来の動作モードが、どのようにして、全般的なマルチカメラ映像化および効果的な侵害処理のための映像化環境に変換されるかを示す。
【００２１】
[0038]要約すると、ＢＶＣシステムは、次の機能を提供する。単一の統合された表示が、環境の３Ｄモデルに対してシームレスにレンダリングされたリアルタイムのビデオを示す。ユーザは、３Ｄモデルに対する複数のカメラからのビデオを見ながら、その環境をくまなく自由にナビゲートすることができる。ユーザは、迅速かつ直観的に時間を遡り、過去に発生したイベントを見直すことができる。ユーザは、単に、モデルをクリックして、１台または複数のパン／チルト／ズームカメラをその場所に向けるだけで、迅速に、イベントの高解像度ビデオを取得することができる。
【００２２】
[0039]このシステムは、オペレータが、セキュリティ侵害を検知することができるようにし、オペレータが、複数のカメラを用いた追跡によって（１人または複数の）個人を追跡することを可能にする。また、このシステムは、警備要員が、ＦＡ表示を介して、または保管されたビデオクリップとして、現在の場所および警報イベントを見ることも可能にする。
【００２３】
[0040]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）および視覚ベースの警報モジュール
【００２４】
[0041]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）および視覚ベースの警報システムは、以下の４つの異なるモジュールを含む。
ビデオ評価（ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）レンダリング）モジュール
視覚警戒警報モジュール
警報評価モジュール
システム状態情報モジュール
【００２５】
[0042]ビデオ評価モジュール（ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標））は、３Ｄモデルを覆っているビデオを観察するための統合されたインターフェースを提供する。これは、警備員が、広いサイトをくまなくシームレスにナビゲートし、広い区域内で発生する脅威を迅速に評価することを可能にする。他のどんな指揮統制システムもこのビデオオーバーレイ機能を備えていない。システムは、固定カメラとＰＴＺカメラの両方からのビデオを重ね合わせ、ＤＶＲ（ディジタルビデオレコーダ）モジュールを利用してイベントを記録し、再生する。
【００２６】
[0043]図２に最も的確に示すように、このモジュールは、脅威を評価するための包括的ツールセットを提供する。警報状況は、通常、次の３つの部分に分けられる。
【００２７】
[0044]事前評価：警報が発せられており、その警報をもたらすイベントを評価する必要がある。競合する技術は、ＤＶＲ機器または警報前バッファを使って警報からの情報を格納する。しかしながら、警報前バッファは、しばしば、不十分すぎることがあり、ＤＶＲ機器は、複合制御インターフェースを使ってある特定のカメラからのビデオだけを示すにすぎない。他方、ビデオ評価モジュールは、直観的なＧＵＩを使って、任意の瞬間におけるすべてのビデオストリームを没入して同時に見ることを可能にする。
【００２８】
[0045]ライブ評価：警報が発せられており、その警報を示すライブビデオの位置を迅速に突き止め、状況を評価し、迅速に対応する必要がある。加えて、同時に、その警報を取り巻く区域を監視してさらなる活動の有無をチェックする必要もある。大部分の既存のシステムは、一群の異なるモニタを使ってその場面の表示を提供するものであり、周辺区域を見つけるためにカメラビューを切り換えるには、時間を要し、その場面を熟知している必要がある。
【００２９】
[0046]事後評価：警報状況は終了しており、目標点は、固定カメラの視野外に移動している。場面のすみずみまで目標点を追跡する必要がある。ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）モジュールは、３Ｄモデル上での直観的なマウスクリック制御を使ったＰＴＺカメラの簡単で、迅速な制御を可能にする。ビデオオーバーレイは、図３に示すようなＤＶＲおよびＰＴＺユニットへの制御インターフェースを用いて、高解像度画面上に提示される。
【００３０】
[0047]入力および出力
【００３１】
[0048]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）ビデオ評価モジュールは、知られている形式でコンピュータメモリに入力されている画像データおよびセンサデータを取り出し、初期のモデル構築時に計算されたポーズ推定値を取り出し、それで３Ｄモデルを覆う。要約すると、ビデオ評価モジュールへの入力および出力は、以下の通りである。
【００３２】
[0049]入力
知られている場所に位置している固定カメラからの知られている形式のビデオ。
ＰＴＺカメラの場所からのビデオおよび位置情報。
各カメラのモデルに対する３Ｄポーズ（これらの３Ｄポーズは、システムセットアップ時に校正方法を使って回復される）。
場面の３Ｄモデル（この３Ｄモデルは、既存の３Ｄモデル、市販の３Ｄモデル構築方法、または他の任意のコンピュータモデル構築方法を使って回復される）。
ジョイスティックまたはキーボードを使ってオペレータにより与えられる、またはユーザによって構成された警報によって自動的に制御される所望の表示。
【００３３】
[0050]出力
所望の視界からのフラッシュライト視界を示すメモリ内の画像。
ＰＴＺ位置を制御するＰＴＺコマンド。
過去のイベントに戻ってそれらをプレビューするためのＤＶＲ制御。
【００３４】
[0051]ビデオ評価システムにおける主要機能は以下の通りである。
豊富な３Ｄ状況を提供するための３Ｄサイトモデルの映像化（空間的ナビゲーション）。
ビデオベースの評価を提供するための３Ｄモデル上へのリアルタイムビデオのオーバーレイ。
ビデオをシームレスに取り出し、３Ｄモデル上に重ね合わせるための複数のＤＶＲユニットの同期制御（時間的ナビゲーション）。
単なる３ＤモデルのマウスクリックによるＰＴＺビデオの制御およびオーバーレイ。警備員は、カメラがどこにあるかの特別な知識がなくてもＰＴＺユニットを動かすことができる。システムは、どのＰＴＺユニットが目的の区域を見るのに最も適しているか自動的に決定する。
選択された視点に基づく自動化されたビデオの選択が、システムが、非常に多数のカメラへの仮想アクセスを提供するようにビデオマトリックススイッチを統合することを可能にする。
詳細レベルレンダリングエンジンが、極めて広い３Ｄサイトにまたがるシームレスなナビゲーションを提供する。
【００３５】
[0052]ビデオ評価（ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標））のためのユーザインターフェース
【００３６】
[0053]映像化：ビデオ評価モジュールでユーザに提示される表示には、（ａ）３Ｄレンダリング表示と（ｂ）地図差し込み表示の２つがある。３Ｄレンダリング表示は、ビデオオーバーレイを伴ったサイトモデルまたは３Ｄ空間に位置するビデオビルボードを表示する。これは、サイトの詳細な情報を提供する。地図差し込み表示は、カメラフットプリントオーバーレイを伴った、サイトを上から見た図である。この表示は、サイトの全体的状況を提供する。
【００３７】
[0054]ナビゲーション
【００３８】
[0055]好ましい視点によるナビゲーション：サイト全体のナビゲーションは、好ましい視点のサイクルを使って提供される。左右の矢印キーにより、ユーザがこれらの主要視点間を迅速に移動することができる。異なる詳細レベル（その視点における異なるズーム表示レベル）で定義されている、複数のかかる視点サイクルがある。上下の矢印キーを使って、これらのズーム表示レベル間をナビゲートする。
【００３９】
[0056]マウスを使ったナビゲーション：ユーザは、ビデオオーバーレイのいずれかを左クリックして、好ましい視点内のその地点を中心に置くことができる。これは、ユーザが、重なり合うカメラの視野にまたがって移動している移動物体を容易に追跡することができるようにする。ユーザは、ビデオビルボードを左クリックして、好ましい重ね合わされた視点へ移行することができる。
【００４０】
[0057]地図差し込みを使ったナビゲーション：ユーザは、地図差し込みのフットプリントを左クリックして、個々のカメラの好ましい視点に移動することができる。また、ユーザは、マウスを左クリックしてドラッグすることによって、サイトの好ましい縮小表示を獲得するためのフットプリントの組を識別することもできる。
【００４１】
[0058]ＰＴＺ制御
【００４２】
[0059]マウスを用いたＰＴＺの移動：ユーザは、シフトキーを押しながらモデルまたは地図差し込み表示を左クリックして、ＰＴＺユニットを特定の場所へ移動させることができる。次いで、システムは、どのＰＴＺユニットがその地点を見るのに適しているか自動的に判定し、それらのＰＴＺを、その場所が見えるように移動させる。シフトボタンを押しながら、ユーザは、マウスホイールを回転させて、システムが以前に選択していた名目ズーム表示から拡大または縮小することができる。ＰＴＺビデオを見ているとき、システムは、視界の中心を、自動的に基本のＰＴＺ視点に置く。
【００４３】
[0060]ＰＴＺ間の移動：複数のＰＴＺユニットが特定の地点を見ているとき、好ましい視界は、その地点に最も近いＰＴＺユニットに割り当てられるはずである。ユーザは、左右の矢印キーを使って、好ましい視界を、その地点を見ている他のＰＴＺユニットに切り換えることができる。
【００４４】
[0061]鳥瞰図からのＰＴＺの制御：このモードでは、ユーザは、すべての固定カメラビューと、構内の鳥瞰図を見ながらＰＴＺを制御することができる。上下矢印キーを使って、警備員は、鳥瞰図と、ＰＴＺビデオの拡大表示の間を移動することができる。ＰＴＺの制御は、前述のように、シフトキーを押しながらサイトまたは差し込み地図をクリックすることによって行われる。
【００４５】
[0062]ＤＶＲ制御
【００４６】
[0063]ＤＶＲ制御パネルの選択：ユーザは、コントロールキーを押しながらｖを押して、システム内のＤＶＲユニットを制御するためのパネルを表示させることができる。
【００４７】
[0064]ＤＶＲ再生制御：デフォルトでは、ＤＶＲサブシステムは、ビデオ評価ステーション、すなわち、ユーザに没入型表示が示されるビデオステーションにライブビデオを流す。ユーザは、一時停止ボタンを選択して、現時点でビデオを停止させることができる。次いで、ユーザは、ＤＶＲモードに切り換える。ＤＶＲモードで、ユーザは、記録されたビデオの限界に達するまで、時間を前後して同期的に再生することができる。ビデオがＤＶＲモードで再生されている間、ユーザは、前述のナビゲーションの項で述べたようにそのサイトをくまなくナビゲートすることができる。
【００４８】
[0065]ＤＶＲシーク制御：ユーザは、自分がそこへ移動しようとする目的の時刻を指定することによって、すべてのＤＶＲ制御のビデオを所与の時点までシークすることができる。システムは、すべてのビデオをその時点まで移動し、次いで、ユーザが別のＤＶＲコマンドを選択するまで一時停止するはずである。
【００４９】
[0066]警報評価モジュール
【００５０】
[0067]地図ベースのブラウザ／概要
【００５１】
[0068]地図ベースのブラウザは、広い区域のための映像化ツールである。その基本コンポーネントは、センサ（固定カメラ、ＰＴＺカメラ、フェンスセンサ）と記号情報（テキスト、システム状態、境界線、物体の経時的移動）を表す様々なコンポーネントを含む、拡張性があり、ズーム表示可能な正射投影図である。
【００５２】
[0069]この図に付随するのが、その広い視界の表示域の輪郭を描き、その広い視界の視野内にないコンポーネントの状況を表示し、その広い視界の表示域を変更する別の方法を表示することを目的とする、スクロール可能でも、ズーム表示可能でもない地図の縮小されたインスタンスである。
【００５３】
[0070]地図ベースの表示内のコンポーネントは、映像化アプリケーションよる様々な挙動および機能を持つことができる。警報評価では、各コンポーネントは、その視覚コンポーネントが表すセンサの警報状態に基づいて、色を変更し、点滅することができる。センサのところに確認されていない警報があるとき、それは、地図ベースの表示上で赤く点滅する。このセンサのすべての警報が確認されると、そのコンポーネントは赤いままで、点滅しなくなる。そのセンサのすべての警報の安全が確認された後で、そのコンポーネントは、その通常の緑色に戻る。また、各センサは、地図ベースのコンポーネントを介して使用不可にすることもでき、その後、それらのセンサは、再度使用可能にされるまで黄色になる。
【００５４】
[0071]他のモジュールは、ＡＰＩ（アプリケーションプログラムインターフェース）を介してイベントを送ることによって、地図表示内のコンポーネントにアクセスすることができる。警報リストは、多くの警報ステーションにまたがって警報を集約するかかる１つのモジュールであり、警報評価のためのテキストリストとしてユーザに提示される。このＡＰＩを使用して、警報リストは、地図ベースのコンポーネントの状態を変更することができ、かかる変更に際して、コンポーネントは、色を変更し、点滅する。警報リストは、時間、優先度、センサ名、または警報の種類で警報をソートすることができる。また、警報の時刻に発生したビデオを見るようにビデオフラッシュライトを制御することもできる。ビデオベースの警報では、警報リストは、警報を発生させたビデオをビデオ表示ウィンドウに表示し、警報を発生させたビデオをディスクに保存することができる。
【００５５】
[0072]ビデオフラッシュライトとの地図ベースのブラウザ対話
【００５６】
[0073]地図ベースのブラウザ内のコンポーネントは、ＴＣＰ／ＩＰ接続を介して公開されるＡＰＩによって、仮想視界およびビデオフラッシュライト表示へのビデオフィードを制御することができる。これは、ユーザに、ビデオフラッシュライトにおいて３Ｄ場面をナビゲートする別の方法を提供する。仮想視界を変更することに加えて、地図ベースの表示内のコンポーネントは、ＤＶＲを制御し、カメラが、指定された時間量が経過した後で、その場所を変更する仮想ツアーを作成することもできる。この最後の機能は、ビデオフラッシュライトが、３Ｄ場面のすみずみまで人物を追跡するパーソナル化されたツアーを作成することを可能にする。
【００５７】
[0074]地図ベースのブラウザ表示
【００５８】
[0075]警報評価ステーションは、複数のマシンにまたがる複数の警報を統合し、それを警備員に提示する。この情報は、地図表示上の強調表示アイコンと、テキストリスト表示（図４）としてユーザに提示される。地図表示は、警備員が、脅威を、その正しい空間的状況において識別することができるようにする。また、地図表示は、目的の区域を見るビデオを即座に従動させるようビデオ評価ステーションを制御するためのハイパーリンクとしても働く。リスト表示は、ユーザが、警報の種類、警報の時刻に関して警報を評価し、任意の警報での注釈付きビデオクリップを見ることができるようにする。
【００５９】
[0076]主要な機能および仕様
【００６０】
[0077]ＡＡステーションの主要な機能は以下の通りである。
ＡＡステーションは、ユーザに、視覚警戒ステーションからの警報、ドライコンタクト入力、およびシステムに統合されているその他の特定用途向け警報を提示する。
警報が発生している状況を提供するために、記号情報が２Ｄサイト図上に重ね合わされる。
任意の警報に関する詳細情報を取得するために、テキスト情報が、時刻または優先度でソートされて表示される。
ユーザ入力に導かれたその警報特有の視点まで自動的にナビゲートするようＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）ステーションを従動させる。
実際の警報の注釈付きビデオクリップをプレビューする。
後で使用するためにビデオクリップを保存する。
【００６１】
[0078]ユーザは、警報を確認することにより警報を管理し、警報条件が除去された後で、その警報を元に戻すことによって警報を処理する。また、ユーザは、警報を生成せずに発生するよう事前に計画されている活動を可能にするために、特定の警報を使用不可にしてもよい。
【００６２】
[0079]警報評価モジュール用ユーザインターフェース
【００６３】
[0080]映像化
【００６４】
[0081]警報リスト表示は、すべての視覚警戒ステーションと外部警報ソースまたはシステム障害のための警報を単一のリストに統合する。このリストは、リアルタイムで更新される。このリストは、時刻または警報優先度でソートされ得る。
【００６５】
[0082]地図表示は、地図上に、どこで警報が発生しているかを示す。ユーザは、地図の周囲をスクロールし、または差し込み地図を使って区域を選択することができる。地図表示は、マークされた記号領域に警報を割り当てて、警報がどこで発生しているか指示する。これらの領域は、図５に示すように、警報が活動状態であるか否か指示するために色分けされている。警報記号の好ましい色分けは、（ａ）赤：不審な挙動が原因の活動状態にある安全が確認されていない警報、（ｂ）灰色：システムの誤動作に起因する警報、（ｃ）黄：使用不可とされているビデオソース、および（ｄ）緑：警報解除、活動状態の警報なしである。
【００６６】
[0083]ビデオプレビュー：ビデオベースの警報では、活動のプレビュークリップも利用可能である。これらは、ビデオクリップウィンドウでプレビューされ得る。
【００６７】
[0084]警報確認
【００６８】
[0085]リスト表示で、ユーザは、自分が観察していることを指示するために警報を確認することができる。ユーザは、個別に警報を確認することもでき、右クリックしてポップアップメニューを出し、確認を選択することによって、地図表示から特定のセンサに関するすべての警報の安全を確認することもできる。
【００６９】
[0086]警報条件が解決されている場合、ユーザは、リスト表示内の安全確認オプションを選択することによりこれを指示することができる。警報の安全が確認された後で、その警報は、リスト表示から除去される。ユーザは、その領域を右クリックしてポップアップメニューを出し、安全確認オプションを選択することによって、特定のセンサのすべての警報の安全を確認してもよい。これも、リスト表示内のそのセンサのすべての警報を解除する。
【００７０】
[0087]加えて、ユーザは、ポップアップメニューを使い、使用不可オプションを選択することによって、任意のセンサからの警報を使用不可にすることもできる。すべての使用不可とされたソースについて、任意の新しい警報が自動的に確認され、安全が確保される。
【００７１】
[0088]ビデオ評価ステーション制御
【００７２】
[0089]ユーザは、特定のセンサのためのマークされた領域を左クリックすることによって、地図表示から好ましい視界にビデオ評価ステーションを移動させることができる。地図表示制御は、ビデオ評価ステーションに、これを動かすナビゲーションコマンドを送る。ユーザは、通常、ビデオ評価モジュールを使って状況を評価するために、活動状態の警報区域をクリックする。
【００７３】
[0090]フラッシュライトのビデオのシステムアーキテクチャおよびハードウェア実装
【００７４】
[0091]数台または数百台のカメラによる迅速なビデオカメラの覆いシステム（Ｂｌａｎｋｅｔ ｏｆ Ｖｉｄｅｏ Ｃａｍｅｒａ Ｓｙｓｔｅｍ ａ ｆｅｗ ｃａｍｅｒａｓ ｏｒ ａ ｆｅｗ ｈｕｎｄｒｅｄ ｃａｍｅｒａｓ ｑｕｉｃｋｌｙ）のための、拡張性のあるシステムアーキテクチャが開発されている（図６）。本発明は、フィルタ相互間でデータを流し合うように相互接続され得るモジュラーフィルタを有することに基づくものである。これらのフィルタは、ソース（ビデオ取り込み装置、ＰＴＺ伝達機構、データベース読取り機構など）とすることもでき、変換（動作検知機構、追跡機構などのアルゴリズムモジュール）とすることもでき、シンク（レンダリングエンジン、データベース書込み機構など）とすることもできる。これらは、複数のコンポーネントが並列に実行されることを可能とする固有のスレッディング機能を用いて構築される。これは、システムが、マルチプロセッサプラットフォーム上で利用可能なリソースを最適に使用することができるようにする。
【００７５】
[0092]また、このアーキテクチャは、ネットワークを介してストリーミングデータを送受信することのできるソースとシンクも提供する。これは、システムが、単純な構成変更だけで、複数のＰＣワークステーションにまたがって容易に分散され得るようにする。
【００７６】
[0093]フィルタモジュールは、単純なＸＭＬベースの構成ファイルに基づいて実行時に動的にロードされる。これらは、モジュール間の接続性を定義し、各フィルタ特有の挙動を定義する。これは、インテグレータが、どんなコードも変更せずに、複数のマシンにまたがる多種多様なエンドユーザアプリケーションを迅速に構成することができるようにする。
【００７７】
[0094]システムアーキテクチャの主要な機能は以下の通りである。
【００７８】
[0095]システム拡張性：複数のプロセッサ、複数のマシンにまたがって接続することができる。
【００７９】
[0096]コンポーネントのモジュール性：モジュラーアーキテクチャは、ソフトウェアモジュール間でデータを流す機構を用いて、ソフトウェアモジュール間の明確な分離を維持する。各モジュールは、モジュール間でデータを流すための共通のインターフェースを有するフィルタとして定義される。
【００８０】
[0097]コンポーネントのアップグレード性：システムのコンポーネントを、システムインフラストラクチャの残りの部分に影響を及ぼさずに交換するのが容易である。
【００８１】
[0098]データストリーミングアーキテクチャ：システム内のモジュール間でのデータストリーミングに基づくものである。システム全体の時間の固有の理解を有し、複数のソースからのデータを同期させ、マージすることができる。
【００８２】
[0099]データ記憶アーキテクチャ：プロセッサごとに複数のメタデータストリームを同時に記録し、再生する機能。地図／モデルベースの表示および他のクライアントによって駆動され得る、各ノードにおけるシーク機能および見直し機能を提供する。バックエンドＳＱＬデータベースエンジンで動く。
【００８３】
[00100]本発明のシステムは、一般的にはカメラであるが、煙または火災探知器、動作検知器、ドアオープンセンサ、あるいは様々なセキュリティセンサのいずれかなど他の種類のセンサとすることもできる、システムのセンサとの効率のよい通信を可能にするものである。同様に、センサからのデータは、一般には、ビデオであるが、検知された動きや侵入、火災の警報指示、あるいは他の任意のセンサデータなど、他の種類のデータとすることもできる。
【００８４】
[00101]監視システムの重要な要件は、任意の所与の時刻に観察されているデータを選択できることである。ビデオカメラは、何十、何百または何千ものビデオシーケンスを流すこともある。本明細書の視界選択システムは、このビデオデータ、ならびに他のセンサからのデータを映像化し、管理し、格納し、再生し、解析する手段である。
【００８５】
[00102]視界選択システム
【００８６】
[00103]図７に、ビデオの選択基準を示す。個々のセンサカメラ番号（例えば、カメラ１、カメラ２、カメラ３など）を入力するのではなく、監視データの表示は、表示されるべき監視データの適切なリアルタイム表示を指示するために、システムに、選択された仮想カメラ位置または視点、すなわち、地点およびその地点からの視野を定義するデータセットを提供する視点セレクタ３に基づくものである。仮想カメラ位置は、例えば、ジョイスティックなどの入力装置を備える対話型ステーションなどから受け取られる電子データなどのオペレータ入力から、あるいは、オペレータの制御下にないイベントへの自動化された応答として、警報センサ出力から導出され得る。
【００８７】
[00104]視点が選択されると、次いで、システムは、どのセンサが、その特定の視点の視野に関連しているか自動的に計算する。好ましい実施形態において、システムは、視点セレクタ３と結合されており、そこから仮想カメラ視点を定義するデータを受け取る、ビデオプライオリタイザ／セレクタ５と関連するビデオオーバーレイ区域の視野に、システムのセンサのどのサブセットが現れるか計算する。次いで、システムは、ビデオプライオリタイザ／セレクタ５を介して、選択されたセンサ、すなわち、関連するセンサのサブセットに動的に切り換わり、ビデオスイッチャ７の制御によって、システムのその他のセンサへの切換えを回避する。ビデオスイッチャ７は、多数のビデオまたデータフィード９を生成する、システム内の（カメラを含む）すべてのセンサの入力に結合されている。セレクタ５からの制御に基づいて、ビデオスイッチャ７は、関連するセンサからのデータフィードを搬送する通信リンクをオンにし、その他のセンサからのデータフィードの送信を妨げて、選択された仮想カメラ視点に関連する少数のデータフィード１１の組だけをビデオオーバーレイステーション１３に送信するようにする。
【００８８】
[00105]１つの好ましい実施形態によれば、ビデオスイッチャ７は、ビデオプライオリタイザ／セレクタ５によって、元のより大きい組９からのより少数のビデオフィード１１だけをビデオオーバーレイステーション１３に切り換えるように制御されるアナログマトリックススイッチャである。このシステムは、特に、それらのフィードが、限られた配線の組だけを介して表示用ビデオ評価ステーションに送信されるアナログビデオであるときに使用される。かかるシステムでは、現在の視野に関連していないビデオカメラからのアナログ信号の流れは、ビデオ評価ステーションへの配線に入らないようにオフにされ、関連するカメラからのビデオフィードは、それらの接続配線を通るよう物理的にオンにされる。
【００８９】
[00106]代替として、ビデオカメラは、ディジタルビデオを生成することもでき、これを、ディジタルビデオがネットワークを介してビデオ評価ステーションに流されるように、ビデオ評価ステーションにリンクさせるローカルエリアネットワークに接続されているディジタルビデオサーバに送信することもできる。かかるシステムでは、ビデオスイッチャは、ビデオ評価ステーションの一部であり、ネットワークを介して個々のディジタルビデオサーバと通信を行う。サーバが関連するカメラを有する場合、スイッチャは、サーバに、そのビデオをビデオ評価ステーションに流すよう指図する。ビデオが関連していない場合、スイッチャは、ビデオサーバに、そのビデオを送らないよう求めるコマンドを送る。その結果、ネットワーク上のトラフィックが低減され、関連するビデオを表示のためにビデオステーションに送信する際の効率が上がる。
【００９０】
[00107]ビデオは、米国特許出願公開第２００３／００８５９９２号明細書に開示されているように、場面の２Ｄまたは３Ｄモデルの上にレンダリングされて、すなわち没入型ビデオシステムとして示される。ビデオオーバーレイステーション１３は、システムのサイトの２Ｄまたは、好ましくは、３Ｄモデルを使ってレンダリングシステムによって作成される視界のリアルタイムレンダリング画像と、関連するデータ供給１１、特に、ビデオ映像とを組み合わせることによって、リアルタイムの没入型監視システム表示を構成するビデオを生成する。サイトの２Ｄまたは３Ｄモデルは、一般に、地理空間情報とも呼ばれ、好ましくは、ビデオオーバーレイステーション１３のレンダリングコンポーネントからアクセス可能なデータ記憶装置１５上に格納されている。各画面画像においてレンダリングされて示される関連する地理空間情報は、視点セレクタ３によって決定される。
【００９１】
[00108]ビデオオーバーレイステーション１３は、視野の適切な部分のレンダリング画像に、例えば、テクスチャなどとして、関連するビデオ映像を適用することによって、表示ビデオの各画像を作成する。加えて、地理空間情報が同様に選択される。視点セレクタは、どの地理空間情報が示されるか決定する。
【００９２】
[00109]表示のためのビデオは、レンダリングされ、関連するセンサデータストリームと組み合わされた後で、オペレータに表示されるべき表示装置に送られる。
【００９３】
[00110]これら４つのブロック、すなわち、ビデオセレクタ３、ビデオプライオリタイザ／セレクタ５、ビデオスイッチャ７、およびビデオオーバーレイステーション１３は、潜在的に何千ものカメラビューの表示の処理を実現する。
【００９４】
[00111]これらの機能は、その大部分の機能がソフトウェアによって実行される、単一のコンピュータ化システム上でサポートされてもよく、それぞれのタスクを別々に実行する分散コンピュータ化コンポーネントとしてもよいことを、当業者は容易に理解する。システムが、ネットワークを利用してビデオステーションにビデオを送信する場合、視点セレクタ３、ビデオセレクタ、ビデオスイッチャ７およびビデオオーバーレイ／レンダリングステーションは、すべて、それぞれのソフトウェアモジュールを使って、ビデオステーションコンピュータ自体において表現されることが好ましい。
【００９５】
[00112]システムが、配線ビデオフィード、およびネットワーク化されていない通信またはアナログ通信により多く依存している場合には、各コンポーネントが別個の回路であり、ビデオスイッチャが、ビデオが選択された視野に関連していないときにビデオソースをオフにし、帯域幅を節約するために、配線によってビデオソースの近くの実際の物理的スイッチにリンクされている方がよい。
【００９６】
[00113]同期されたデータ取り込み、再生および表示
【００９７】
[00114]何千ものセンサからのライブデータを映像化する機能では、データを、あたかもそのデータがライブであるかのように再生させることができるようにデータを格納する必要がある。
【００９８】
[00115]大部分のディジタルビデオシステムは、各カメラからのデータを別々に格納する。しかしながら、本実施形態によれば、システムは、ビデオデータを同期して記録し、ビデオデータを同期して読み返し、それを没入型監視（好ましくは、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標））表示としてビデオデータを表示するように構成されている。
【００９９】
[00116]図２に、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）における同期されたデータ取り込み、再生および表示のブロック図を示す。レコーダコントローラ１７が、全データの記録の同期を取り、格納されたデータの各フレームは、データ、データが作成された時刻を識別するタイムスタンプを含む。好ましい実施形態では、この同期された記録は、ＤＶＲ機器１９、２１のイーサネット制御によって行われる。
【０１００】
[00117]また、レコーダコントローラ１７は、ＤＶＲ機器の再生も制御し、記録時刻と再生時刻が、全く同じ時刻に開始されるようにする。再生時、レコーダコントローラ１７は、ＤＶＲ機器に、選択された仮想カメラ視点に関連するビデオを、オペレータが選択した時点から開始して再生させる。データは、ローカルネットワークを介してデータシンクロナイザ２３に流され、データシンクロナイザ２３は、データ読取りの任意のリアルタイムスリップを処理するために再生されたデータをバッファし、様々な記録データストリームのすべてのフレームが同じ期間からものになるよう複数のデータストリームを正しく同期させるために、タイムスタンプなどの情報を読み取り、次いで、同期されたデータを、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）などの没入型監視表示システムと、２７に大まかに示す、レンダリングコンポーネント、処理コンポーネント、データ融合コンポーネントなど、システム内の他の任意のコンポーネントに配信する。
【０１０１】
[00118]アナログ実施形態では、各カメラからのアナログビデオが回路ラックに導入され、そこで分割される。ビデオの一部は、前述のように、地図表示ステーションに送られる。その他の部分は、他の３つのカメラのビデオと共に、コードボックスを介してレコーダに送られ、そこで４つのビデオフィードすべてを同期された形で格納する。ビデオは記録され、また、現在の視点に関連する場合には、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）による没入型表示へとレンダリングするために、配線を介してビデオステーションに送信される。
【０１０２】
[00119]よりディジタルな環境では、それぞれが、おおよそ４から１２台のカメラに接続されているいくつかのディジタルビデオサーバがある。各カメラは、監視システムのネットワークに接続されたディジタルビデオサーバに接続されている。ディジタルビデオサーバは、普通、同じ物理的場所において、各カメラからのビデオを格納するディジタルビデオレコーダ（ＤＶＲ）に接続されている。サーバは、関連する場合には、没入型表示のためのレンダリング画像に適用するために、ビデオをビデオステーションに流し、前述のビデオスイッチャが送らないよう指図する場合には、ビデオを送信しない。
【０１０３】
[00120]ライブビデオデータが、前述のように没入型監視表示に適用されるのと同様に、記録された同期データは、オペレータに表示されるリアルタイムの没入型監視再生表示に組み込まれる。オペレータは、場面のモデルをくまなく移動し、自分が選択した視点から、対象となる時間からのビデオまたはその他のデータを使ってレンダリングされた場面を見ることができる。
【０１０４】
[00121]レコーダコントローラとデータシンクロナイザは、好ましくは、別個の専用コンピュータ化システムであるが、当業者には容易に理解されるように、１つ以上のコンピュータシステムまたは電子コンポーネントにおいてサポートされてもよく、その機能は、それらのシステムにおいてハードウェアおよび／またはソフトウェアによって実現されてもよい。
【０１０５】
[00122]データインテグレータおよび表示
【０１０６】
[00123]ビデオセンサ、すなわちカメラ以外に、システムには、何十万もの非ビデオベースのセンサがあってもよい。これらのセンサの映像化および管理も非常に重要である。
【０１０７】
[00124]図３に最もよく示されるように、記号データインテグレータ２７は、（ビデオ警報、アクセス制御警報、物体追跡など）様々なメタデータソースからのデータをリアルタイムで収集する。規則エンジン２９は、そこに提供される様々なメタデータ入力の組と所定の応答規則に応じて、複数の情報を組み合わせて複雑な状況判断を生成し、自動化された応答として様々な決定を行う。規則は、例えば、センサの地理位置に基づくものとしてもよく、また、動的なオペレータ入力に基づくものとしてもよい。
【０１０８】
[00125]記号情報ビューア３１は、規則エンジン２９の決定をユーザにどのように提示すべきか（例えば、色／アイコンなど）を決定する。次いで、規則エンジン決定の結果を適宜使用して、視界コントローラインターフェースを介してビデオ評価ステーションの視点が制御される。例えば、ある種類の警報が、自動的にオペレータの注意を喚起し、オペレータの表示装置に、即座に、その警報条件を識別するメタデータを送信しているセンサの場所を見る仮想カメラ視点からの没入型監視表示ビューを表示させてもよい。
【０１０９】
[00126]このシステムのコンポーネントは、別個の電子ハードウェアとしてもよいが、オペレータ表示端末のところにある、またはそれと共用されているコンピュータシステム内の適切なソフトウェアコンポーネントを使って実現されてもよい。
【０１１０】
[00127]制約されたナビゲーション
【０１１１】
[00128]没入型監視表示システムは、時間的、空間的にナビゲートする無制限の手段を提供する。しかしながら、通常の使用に際しては、特定の空間的時間的場所だけが、手元のアプリケーションに関連する。したがって、本システムは、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）システムにおいて制約された空間および時間のナビゲーションを適用する。たとえとして自動車と列車の例を引くことができる。すなわち、列車は、空間内のある決まった軌道に沿って移動することしかできず、自動車は、任意の数の軌道を移動することができる。
【０１１２】
[00129]かかる実装形態の一例が、センサでカバーされていない場所を容易に表示できないよう制限することである。これは、ジョイスティックやコンピュータ画面のマウスクリックなど、オペレータにより入力装置を使って提供される所望の視点を解析することによって実施される。システムは、画面内のクリックされた地点を中心とする３Ｄ表示位置の変更を計算することによって、所望の視点を計算する。次いで、システムは、その視点が、見ることのできる、または潜在的に見ることのできるはずのセンサを含むかどうか判定し、かかるセンサがあるという判定に応答して視点を変更する一方、かかるセンサがないという判定に対して、システムは、視点を変更しない。
【０１１３】
[00130]また、後述するように、制約された動きの階層も作成されている。
【０１１４】
[00131]地図またはイベントベースのナビゲーション
【０１１５】
[00132]表示内の各点のマウスクリックやジョイスティックなどによって、没入型ビデオ表示自体の内部をナビゲートするだけでなく、システムは、オペレータが、外部から指図されたイベントを使ってナビゲートすることも可能にする。
【０１１６】
[00133]例えば、図４のスクリーンショットに見られるように、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）表示は、レンダリング没入型ビデオ表示３９に加えて、地図表示３７も備えている。地図表示は、その区域の地図だけでなく警報のリスト４１も示す。単に、リスト表示された警報または地図をクリックするだけで、視点が、その場所に対応する新しい視点に即座に変更され、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）表示は、その新しい視点についてレンダリングされる。
【０１１７】
[00134]図４で、壁の侵害が検知されると、地図表示３７が色を変え、またはセンサイベントを指示するアイコンが表示される。次いで、オペレータが地図表示３７上でその標識をクリックすると、没入型表示３９の視点が、そのセンサイベントの事前にプログラムされた視点に即座に変更され、次いで、それが表示される。
【０１１８】
[00135]ＰＴＺ制御
【０１１９】
[00136]画像処理システムは、あらゆるカメラセンサ、ならびに３Ｄモデル内のあらゆる画素の（ｘ，ｙ，ｚ）世界座標を知っている。ユーザがマウスで２Ｄまたは３Ｄ没入型ビデオモデル表示上の点をクリックすると、システムは、その点を中心として視野を見るのに最適なカメラを識別する。
【０１２０】
[00137]場合によっては、その場所を見るのに最適な場所に位置しているカメラが、パン／チルト／ズームカメラ（ＰＴＺ）であり、所望の場所を見るのに必要な方向とは異なる方向を指していることもある。そのような場合、システムは、位置パラメータ（例えば、指図されたパン、チルト、センサの機械的パン、チルト、ズーム角度など）を計算し、ネットワークを介してカメラに適切な電気制御信号を送ることによって、ＰＴＺをその場所に向けさせ、ＰＴＺビデオを受け取り、それが没入型監視表示に挿入される。このプロセスの詳細を以下でさらに論じる。
【０１２１】
[00138]ＰＴＺハンドオフ
【０１２２】
[00139]前述のように、システムは、あらゆるカメラセンサ、ならびに３Ｄモデル内のあらゆる画素の（ｘ，ｙ，ｚ）世界座標を知っている。カメラセンサの位置がわかっているために、システムは、所望の表示要件に基づいてどのセンサを使用すべきか選択することができる。例えば、好ましい実施形態では、場面が複数のＰＴＺカメラを含むときに、システムは、ＰＴＺの場所と目的の地点との地面に投影された２Ｄ（例えば緯度経度など）または３Ｄ座標に、完全にまたは一部に基づいて、１つ以上のＰＴＺを自動的に選択する。
【０１２３】
[00140]好ましい実施形態では、システムは、各ＰＴＺから目的物までの距離を、その２Ｄまたは３Ｄ座標に基づいて計算し、その目的物を見るためにその目的物に最も近いＰＴＺを使ようとする。別の規則には、その場面でモデル化されている３Ｄオブジェクトからの遮蔽、ならびにパン、チルト、ズーム値の無効な区域の理由を説明することが含まれ、これらの規則は、どのカメラが、サイト内の特定の選択地点を見るのに最適であるか決定する際に適用される。
【０１２４】
[00141]ＰＴＺ校正
【０１２５】
[00142]ＰＴＺは３Ｄ場面に合わせた校正を必要とする。この校正は、ＰＴＺから見えるＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）モデル内の３Ｄ（ｘ，ｙ，ｚ）地点を選択することによって行われる。ＰＴＺは、その場所に向けられ、機械的パン、チルト、ズーム値が読み取られ、格納される。これが、そのＰＴＺカメラの場所の周りに分散するモデル内のいくつかの異なる地点において繰り返される。次いで、線形フィットが、各地点に対して、パン、チルトおよびズーム空間それぞれにおいて別個に行われる。ズーム空間は、非線形であることもあり、適合させる前に、製造者検索または経験的検索が行われ得る。線形フィットは、ＰＴＺが動くよう要求される都度、動的に実行される。ＰＴＺが、ある３Ｄ位置を指し示すよう要求されると、そのＰＴＺの場所に対する所望の場所についての、モデル空間におけるパンおよびチルト角度（φ、θ）が計算される。次いで、ＰＴＺの場所に対するすべての校正点についてのφとθが計算される。次いで、線形フィットが、所望の場所に対応するφとθとにより近い校正φとθとにより強く重み付けする重み付き最小二乗法を使って、校正時から格納された機械的パン、チルトおよびズーム値に対して、別々に実行される。
【０１２６】
[00143]最小二乗法フィットは、校正φおよびθをｘ座標入力として使用し、ＰＴＺからの測定されたパン、チルトおよびズーム値をｙ座標値として使用する。次いで、最小二乗法フィットは、所与の入力「ｘ」値に出力ｙ値を与えるパラメータを回復する。次いで、所望の地点に対応するφとθが、さらにＰＴＺカメラの機械的指示パン（およびチルト、ズーム）を返すパラメータ化された式（「ｘ」値）を表すコンピュータプログラムに供給される。次いで、これらの求められた値を使って、ＰＴＺユニットの位置、向きおよびズーム表示を制御するためにＰＴＺユニットに送信するのに適した伝記制御信号が決定される。
【０１２７】
[00144]没入型監視表示索引付け
【０１２８】
[00145]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）システム内のビデオおよびその他の情報を統合する利点は、データが、以前は不可能であった方法で索引付けされ得ることである。例えば、ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）システムが、複数のチェックポイントにおいてインストールされているナンバープレート読取りシステムに接続されている場合、（前述の規則ベースのシステムを使った）ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）システムの単純な問い合わせだけで、その車両のすべてのインスタンスの映像を直ちに示すことができる。通常、これは、非常に手間のかかる作業である。
【０１２９】
[00146]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）は、センサの「オペレーティングシステム」である。センサの空間的、アルゴリズム的融合は、監視型アプリケーションにおける検知確率と、目標の正確な識別の確率とを大幅に向上させる。これらのセンサは、ビデオ、音響、地震、磁気、赤外線などを含む、任意の受動型または能動型ものとすることができる。
【０１３０】
[00147]図５に、システムのソフトウェアアーキテクチャを示す。本質的に、すべてのセンサ情報が、センサドライバを介してシステムに送られ、これらは、図の最下部に示されている。補助センサ４５は、サイト上で有効な監視を行うための、前述のような任意の能動型／受動型センサである。これらすべてのセンサからの関連情報が、固定カメラ４７およびＰＴＺカメラ４９からのライブビデオと共に、これらすべての情報を融合させるメタデータマネージャ５１に供給される。
【０１３１】
[00148]このレベル５１には、システムの基本人工知能を定義する規則ベースの処理がある。規則は、メタデータマネージャ５１の下にある任意の装置４５、４７、または４９を制御することができ、「廊下Ａでいずれかのドアが開けられたときにだけビデオを記録する」、「区域Ｂにおいて、任意の目的物をＰＴＺカメラで自動的に追跡する」、あるいは「ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）に、プロファイルまたは虹彩基準にマッチする人物を密かに観察させ、ズーム表示させる」などの規則とすることができる。
【０１３２】
[00149]これらの規則は、（メタデータマネージャの上にあり、メタデータマネージャから表示用データを受け取る）３Ｄレンダリングエンジン５３によってレンダリングされる表示に直接的結果をもたらす。というのは、普通、最後に検証されるのは視覚情報であり、通常、ユーザ／警備員は、目的の物体を密かに観察し、それを拡大表示し、システムによって提供される視覚フィードバックを用いて状況をさらに評価しようとするからである。
【０１３３】
[00150]前述のすべての機能は、利用可能なＴＣＰ／ＩＰサービスを用いてリモートで使用され得る。このモジュール５５は、物理的には装置を持たずに、サービスを利用しようとするリモートサイトにＡＰＩを公開する。リモートユーザは、レンダリング画像がリアルタイムでリモートサイトに送られるため、ローカルユーザと同様にアプリケーションの出力を見ることができる。
【０１３４】
[00151]また、これは、すべての情報（ビデオセンサ、補助センサおよび空間情報）を１つの移植可能な形式、すなわち、レンダリングリアルタイムのプログラム出力に圧縮する手段でもある。というのは、ユーザが、画面と、キーボードのようなある種の入力装置を除いて、全く装置がなくとも、ローカルで行うのと同様にリモートでこの情報すべてを評価することができるからである。一例として、ハンドヘルドコンピュータを用いてこの情報すべてを評価することなどが挙げられるはずである。
【０１３５】
[00152]システムは、システムの様々な表示コンポーネントが、図６に示すように、ユーザに示される表示端末を有する。この表示装置は、特に、オペレータ選択の視点でのレンダリングビデオ監視およびデータを表示させ、その視点を変更し、または別様にシステムを管制するためのマウス、ジョイスティックまたはその他の入力を受け入れるグラフィックユーザインターフェース（ＧＵＩ）を含む。
【０１３６】
[00153]視点ナビゲーション制御
【０１３７】
[00154]前述の没入型監視システムの設計では、ユーザは、視点に対する制約なしで３Ｄ環境内を自由にナビゲートした。本設計では、ユーザの潜在的視点に対する制約条件があり、それによって、画像品質が向上し、ユーザ対話の複雑度が低減される。
【０１３８】
[00155]完全に自由なナビゲーションの欠点の１つが、ユーザが３Ｄ制御（普通は、位置（ｘ，ｙ，ｚ）、回転（ピッチ、方位、ロール）、および視野を含めて、制御すべき７個を超えるパラメータがあるため容易ではない）を熟知していない場合、迷ったり、不満足な視点を生じたりすることになりやすい。そのため、システムは、ユーザが完全な視点を作り出すのを支援する。というのは、各ビデオ投影は、連続した環境のばらばらな部分であり、これらの部分を可能な限りうまく映像化する必要があるからである。支援は、オペレータコンソールを介して、視点階層、クリックによる回転およびズーム表示、地図ベースのナビゲーションなどを提供する形としてもよい。
【０１３９】
[00156]視点階層
【０１４０】
[00157]視点階層ナビゲーションは、ビデオ投影のばらばらな性質を利用し、本質的には、アプリケーションに応じて、ユーザ対話の複雑度を、７を上回る次元から、おおよそ４以下の次元に低減するものである。これは、環境内の視点階層を作成することによってなされる。この階層を作成する１つの可能な方法は次のとおりである。階層の最下位レベルは、その場面内のカメラ位置および向きと全く同等の視点を表し、おそらく、より大きな状況を取得するためのより広い視野を伴うものである。より上位レベルの視点は、より一層大きいカメラクラスタを示し、階層の最上位ノードは、その場面のすべてのカメラ投影を見る視点を表す。
【０１４１】
[00158]この階層がセットアップされると、位置や向きのような絶対パラメータを制御するのではなく、ユーザが場面内のどこを見るべきか簡単に決定し、システムが、この階層を使って、ユーザのために最適な視界を決定し、作成する。また、ユーザは、階層を明示的に上下移動することもでき、ピアノード、すなわち、階層の同じレベルにある横に間隔を置いた視点に移動することもできる。
【０１４２】
[00159]すべてのノードが、顧客の必要に応じ、サイト上でのカメラ構成に応じて、前もって慎重に選択されている完全な視点であるため、ユーザは、あまり複雑でない単純な選択だけである視界から別の視界に移動することによって、場面内をナビゲートすることができ、画像品質は、常に、ある制御された閾値を上回る。
【０１４３】
[00160]クリックによる回転およびズーム表示
【０１４４】
[00161]このナビゲーション方式は、システムのユーザインターフェース装置としてのジョイスティックを必要とせず、マウスが好ましい入力装置である。
【０１４５】
[00162]ユーザは、ある視点からの視界として表示される場面を調べているときに、その３Ｄ場面内の目的のオブジェクトをクリックすることによって、その視点をさらに制御することができる。この入力は、視界が回転され、クリックされたオブジェクトは、その視界の中心に置かれるような視点パラメータの変更を生じさせる。オブジェクトが中心に置かれた後で、マウスを使ってさらに入力を行うことにより、そのオブジェクトのズーム表示を行うことができる。このオブジェクト中心のナビゲーションは、ナビゲーションをさらに大幅に直観的なものにする。
【０１４６】
[00163]地図ベースの表示およびナビゲーション
【０１４７】
[00164]ユーザが、世界のごく一部分を見ているときには、より大きな状況を有する「全体像」を見る、すなわち、サイトの地図を見る必要がある。これは、ユーザが、警報発生に応答して３Ｄ場面の別の部分に迅速に切り換えたいときには、特に有用である。
【０１４８】
[00165]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）システムにおいて、ユーザは、場面の正射投影地図表示にアクセスすることができる。この表示では、様々なセンサを含む場面内のすべてのリソースが、その現在の状況と共に表わされる。また、ビデオセンサも、これらの中に含まれ、ユーザは、この地図表示上の１つ以上のビデオセンサを、その表示されたフットプリントの選択により選択することによって、３Ｄ場面上に所望の最適な視界を作成することができ、システムは、これらすべてのセンサを示す視点に自動的にナビゲートすることによってしかるべく応答する。
【０１４９】
[00166]ＰＴＺナビゲーション制御
【０１５０】
[00167]パン／チルト／ズーム（ＰＴＺ）カメラは、通常、１つの位置に固定されており、回転し、ズーム表示することができる。ＰＴＺカメラは、前述の項で説明したように、３Ｄ環境に合わせて校正することができる。
【０１５１】
[00168]回転およびズーム表示パラメータの導出
【０１５２】
[00169]校正が実行されると、３Ｄ環境内の任意の地点の画像が生成され得る。というのは、その地点とＰＴＺカメラの位置が、一意のパン／チルト／ズーム校正を構成する線を生じるからである。ここで、ズームは、特定のサイズ（人間（２ｍまで）、自動車（５ｍまで）、トラック（１５ｍまで）など）を「追跡」するように調整することができ、したがって、ＰＴＺからその地点までの距離に応じて、ＰＴＺは、ズームをしかるべく調整する。ズームは、さらに、状況に応じて、後で調整することもできる。
【０１５３】
[00170]ＰＴＺとユーザとの対話の制御
【０１５４】
[00171]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）システムでは、ＰＴＺを備える区域を調べるために、ユーザは、３Ｄ環境のレンダリング画像内のその地点をクリックする。その位置は、ソフトウェアによって、回転角と初期ズーム表示を生成するのに使用される。これらのパラメータは、ＰＴＺコントローラユニットに送られる。ＰＴＺは、その地点に向きを変え、それをズーム表示する。一方で、ＰＴＺユニットは、その直前のパン、チルト、ズームパラメータおよびビデオフィードを送り返す。これらのパラメータは、正確な地点にビデオを投影するために、変換されてＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）座標系に戻され、現在進行中のビデオが投影画像として使用される。したがって、全体の結果は、ＰＴＺが、３Ｄモデル上に投影されたリアルタイム画像と共に、ある地点から別の地点まで旋回する映像となる。
【０１５５】
[00172]代替の方法は、３Ｄモデルを使用せずに、キーボードの打ち込みまたは他の任意の入力装置を用いてＰＴＺパン／チルト／ズームを制御することである。これは、ある人物を追跡している間にパンさせたり、チルトさせたりする派生的な動きに役立つことが分かっており、その場合、その人物をクリックし続けるのではなく、ユーザは、事前に割り当てられたキーをクリックする。（例えば、矢印キー左／右／上／下／シフト上／シフト下が、パン左／パン右／チルト上／チルト下／拡大／縮小にマップされ得る）。
【０１５６】
[00173]ＰＴＺを制御しながらの場面の映像化
【０１５７】
[00174]３ＤモデルのクリックによるＰＴＺの制御および旋回するＰＴＺカメラの映像化については、上記の項で説明している。しかし、この結果をそこから映像化すべき視点は重要となり得る。１つの理想的な方法が、ユーザがそこから場面を見ている視点が、ＰＴＺカメラと同じ位置を有し、ＰＴＺが回転するように回転する、ＰＴＺに「固定された」視点を持つことである。この視野は、普通、ユーザに状況を与える実際のカメラより広い。
【０１５８】
[00175]別の有用なＰＴＺ映像化が、視点階層内の上位レベルの視点を選択することである（視点階層参照）。この方法では、複数の固定およびＰＴＺカメラが、１つの視点から映像化され得る。
【０１５９】
[00176]複数のＰＴＺ
【０１６０】
[00177]場面内に複数のＰＴＺがあるときには、どのＰＴＺをどこで、どんな状況で使用すべきかに関する規則をシステムに課すことができる。これらの規則は、範囲地図、パン／チルト／ズーム図などの形とすることができる。場面内の特定の地点について視界が求められる場合、その地点についての、これらすべての試験に通るＰＴＺの組が、それらをＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）で示したり、ビデオマトリックスビューアに送ったりするなどの結果として生じるプロセスに使用される。
【０１６１】
[00178]３Ｄ／２Ｄビルボーディング
【０１６２】
[00179]ＶＩＤＥＯ ＦＬＡＳＨＬＩＧＨＴ（商標）のレンダリングエンジンは、通常、映像化のために３Ｄ場面上にビデオを投影する。しかし、特に、カメラの視野が狭すぎ、観察点がカメラと異なりすぎているとき、ビデオが３Ｄ環境に投影されるときに過剰なゆがみが生じる。ビデオを表示しつつも、なお、空間的状況を保持するために、場面に関するビデオフィードを示す方法としてビルボーディングが導入される。ビルボードは、元のカメラの場所に近接して示される。また、カメラのカバーエリアも示され、ビルボードにリンクされる。
【０１６３】
[00180]ゆがみは、元の画像と投影画像の間の形状モルフォロジ、画像サイズ差などを含む、複数の尺度によって検出され得る。
【０１６４】
[00181]各ビルボードは、本質的に、見る人の視線に対して直角な没入型画像内に吊り下げられた画面として表示され、カメラからその画面上に、通常は、没入型環境内にゆがめられて表示されるはずのビデオが表示される。ビルボードは３Ｄオブジェクトであるため、カメラが視点から遠くなるほど、ビルボードも小さくなり、したがって、空間的状況が正確に保持される。
【０１６５】
[00182]何百台ものカメラがあるアプリケーションでも、ビルボーディングは、やはり、実際に有効であることを立証し得る。１６００×１２００の画面では、平均サイズがおおよそ１００×７５である、２５０を超えるビルボードが、１つの場面で見えるはずである。当然ながら、この大きさでは、ビルボードは、場面全体のライブテクスチャとして機能することになる。
【０１６６】
[00183]以上は、本発明の実施形態を対象としているが、本発明の基本的な範囲を逸脱することなく本発明の別の実施形態が考案されてもよく、本発明の範囲は、添付の特許請求の範囲によって決定されるものである。
【図面の簡単な説明】
【０１６７】
【図１】ビデオ制御室における従来の動作モードが、どのようにして、全体的なマルチカメラ映像化および効果的な侵害処理のための映像化環境に変換されるかを示す図である。
【図２】脅威を評価するための包括的なツールセットを提供するモジュールを示す図である。
【図３】ＤＶＲおよびＰＴＺユニットへの制御インターフェースを用いて高解像度画面上に提示されるビデオオーバーレイを示す図である。
【図４】地図表示上の強調表示アイコンとテキストリスト表示としてユーザに提示される情報を示す図である。
【図５】警報が活動状態であるか否か指示するために着色されている領域を示す図である。
【図６】数台または数百台のカメラによる迅速なビデオカメラの覆いシステムの拡張性のあるシステムアーキテクチャを示す図である。
【図７】本発明の視界選択システム（Ｖｉｅｗ Ｓｅｌｅｃｔｉｏｎ Ｓｙｓｔｅｍ）を示す図である。
【図８】本発明のシステムにおける、同期されたデータ取り込み、再生および表示を示す図である。
【図９】本発明のシステムにおけるデータインテグレータおよび表示を示す図である。
【図１０】没入型ビデオシステムと共に使用される地図ベースの表示を示す図である。
【図１１】システムのソフトウェアアーキテクチャを示す図である。
【特許請求の範囲】
【請求項１】
サイトの監視システムであって、
それぞれが前記サイトの個々の部分の個々のビデオを生成する複数のカメラと、
ユーザが、前記サイトまたは前記サイトの一部をそこから見るための前記サイト内の視点を選択的に識別することができるように構成されている視点セレクタと、
前記複数のカメラから前記ビデオを受け取るように前記複数のカメラに結合されているビデオプロセッサであり、前記サイトのコンピュータモデルにアクセスすることができ、前記コンピュータモデルから、前記ビデオの少なくとも１つの少なくとも一部分が前記コンピュータモデル上に重ね合わされている、前記視点からの前記サイトの視野に対応するリアルタイム画像をレンダリングし、前記画像を、ユーザからリアルタイムで見えるように表示する前記ビデオプロセッサと、
前記視点に基づいて、前記ビデオプロセッサによってレンダリングされた前記視点からの前記サイトの前記視野に関連するビデオを生成する前記複数のカメラのサブセットを自動的に選択し、前記カメラのサブセットからのビデオを前記ビデオプロセッサに送信させるビデオ制御システムと
を備える監視システム。
【請求項２】
前記ビデオ制御システムが、前記視野に関連するものとして選択された前記カメラのサブセットから前記ビデオの前記ビデオプロセッサへの送信を可能にし、前記カメラのサブセットに含まれない前記複数のカメラのうちのカメラの少なくとも一部からの前記ビデオの前記ビデオプロセッサへの送信を妨げるビデオスイッチャを含む、請求項１に記載の没入型監視システム。
【請求項３】
前記カメラが、前記カメラの前記ビデオを、ネットワークを介し、１つ以上のサーバを経由して前記ビデオプロセッサに流し、前記ビデオスイッチャが、前記カメラの前記サブセットに含まれない前記カメラの前記ビデオの少なくとも一部の前記ネットワークを介したストリーミングを妨げるように前記サーバと通信を行う、請求項２に記載の没入型監視システム。
【請求項４】
前記カメラが、前記カメラの前記ビデオを、通信回線を介して前記ビデオプロセッサに送信し、前記ビデオスイッチャが、前記カメラのサブセットに含まれない前記カメラの前記ビデオの少なくとも一部の前記通信回線に沿った流れをオフにするアナログマトリックススイッチ装置である、請求項２に記載の没入型監視システム。
【請求項５】
前記ビデオ制御システムが、前記視点と前記複数のカメラのそれぞれとの間の距離を求め、前記視点への最短距離を有する前記カメラを含むように前記カメラの前記サブセットを選択する、請求項１に記載の没入型監視システム。
【請求項６】
前記視点セレクタが、前記ユーザが、表示装置上で前記画像を見ながら、前記コンピュータモデル内の前記視点を識別するためのコンピュータステーションにおける対話型表示である、請求項１に記載の没入型監視システム。
【請求項７】
前記コンピュータモデルが、前記サイトの３Ｄモデルである、請求項１に記載の没入型監視システム。
【請求項８】
前記視点セレクタが、オペレータ入力またはイベントに応答した自動信号を受け取り、受け取ったことに応答して前記視点を第２の視点に変更し、
前記ビデオ制御システムが、前記第２の視点に基づいて、前記ビデオプロセッサによってレンダリングされた前記第２の視点からの前記サイトの前記視野に関連するビデオを生成する前記複数のカメラの第２のサブセットを自動的に選択し、前記異なるカメラのサブセットからのビデオを前記ビデオプロセッサに送信させる、請求項１に記載の没入型監視システム。
【請求項９】
前記視点セレクタが、前記視点を変更する前記オペレータ入力を受け取り、前記変更が、前記視点の前記第２の視点への連続移動であり、前記連続移動が、前記表示パス外の移動が、前記表示パス外の移動を指図するオペレータ入力があっても抑制されるように、前記視点セレクタによって許可された前記表示パスだけに制約される、請求項８に記載の没入型監視システム。
【請求項１０】
前記カメラの少なくとも１つが、制御可能な方向またなズームパラメータを有するＰＴＺカメラであり、前記ビデオ制御システムが、前記ＰＴＺカメラが前記視野に関連するデータを提供するように、前記カメラに、前記ＰＴＺカメラの前記方向またはズームパラメータを調整させるために前記ＰＴＺカメラに制御信号を送信する、請求項１に記載の没入型監視システム。
【請求項１１】
サイトの監視システムであって、
それぞれが個々のデータストリームを生成する複数のカメラであり、各データストリームが、それぞれ前記サイトの一部のリアルタイム画像に対応する一連のビデオフレームを含み、各フレームが、前記リアルタイム画像が前記関連付けられたカメラによって作成された時刻を示すタイムスタンプを有する前記カメラと、
前記カメラから前記データストリームを受け取り、記録するレコーダと、
前記レコーダと接続されており、前記レコーダからの前記記録されたデータストリームの再生を提供するビデオ処理システムであり、前記記録されたデータストリームの再生時に、前記サイトのモデルの再生視点からの視界の画像をレンダリングし、前記画像に、前記視界に関連する前記カメラの少なくとも２つからの前記記録されたデータストリームを適用するレンダラを有する、前記ビデオ処理システムと
を備え、
前記ビデオ処理システムが、再生時に前記レコーダシステムから前記記録されたデータストリームを受け取り、前記記録されたデータストリームを、すべてが同時に撮影されたものであるビデオフレームと共に各画像がレンダリングされるように同期された形で前記レンダラに配信するシンクロナイザを含む、監視システム。
【請求項１２】
前記シンクロナイザが、前記データストリームを、前記データストリームの前記ビデオフレームの前記タイムスタンプに基づいて同期させる、請求項１１に記載の没入型監視システム。
【請求項１３】
前記レコーダが、前記レコーダに、前記複数のデータストリームを同期された形式で格納させ、同期を可能にするために前記複数のデータストリームの前記タイムスタンプを読み取るコントローラに結合されている、請求項１２に記載の没入型監視システム。
【請求項１４】
前記モデルが３Ｄモデルである、請求項１１に記載の没入型監視システム。
【請求項１５】
それぞれがサイトの個々の部分の個々のビデオを生成する複数のカメラと、
前記複数のカメラと接続されており、前記複数のカメラの前記ビデオを受け取る画像プロセッサであり、前記サイトのモデルに基づく視点についてレンダリングされ、前記視点に関連する複数の前記ビデオと組み合わされた画像を生成する前記画像プロセッサと、
前記画像プロセッサに結合されており、前記レンダリング画像を表示する表示装置と、
前記画像プロセッサに結合されており、前記画像プロセッサに、表示されるべき前記視点を定義するデータを提供する視界コントローラであり、ユーザが、前記視点を選択的に変更できるようにし、前記視点の前記変更を、事前に選択された視点の組だけに制約する対話型ナビゲーションコンポーネントと結合されており、前記ナビゲーションコンポーネントから入力を受け取る前記視界コントローラと
を備える没入型監視システム。
【請求項１６】
前記視界コントローラが、前記視点の表示位置の変更を計算する、請求項１５に記載の没入型監視システム。
【請求項１７】
前記ユーザが前記視点を第２の視点に変更するときに、前記視界コントローラが、前記第１の視点に関連する前記ビデオ以外の任意のビデオが前記第２の視点に関連するかどうか判定し、前記視界コントローラによって前記第２の視点に関連すると識別された任意の追加のビデオを使って、前記第２の視点について第２の画像がレンダリングされる、請求項１５に記載の没入型監視システム。
【請求項１８】
それぞれがサイトの個々の部分の個々のビデオを生成する複数のカメラと、ユーザから見えるように画像を表示する表示装置を備える表示ステーションとを有する没入型監視システムの方法であって、
前記カメラからの前記ビデオの少なくとも一部を見るための視点および視野の選択を指示するデータを入力装置から受け取るステップと、
前記視野に関連するビデオを生成することができるような場所にある、前記カメラの１つ以上のサブグループを識別するステップと、
前記カメラのサブグループからビデオプロセッサに前記ビデオを送信するステップと、
前記ビデオプロセッサを用いて、前記サイトのコンピュータモデルから、前記ビデオの少なくとも１つの少なくとも一部分が前記コンピュータモデル上に重ね合わされている、前記サイトの前記視点からの前記視野に対応する画像をレンダリングすることによって、ビデオ表示を生成するステップと、
前記画像をビューアに表示するステップと、
前記サブグループに含まれていない前記カメラの少なくとも一部からの前記ビデオを、前記ビデオレンダリングシステムに送信させず、それによって、前記ビデオプロセッサに送信されるデータ量を低減させるステップと、
を備える方法。
【請求項１９】
前記カメラのサブグループからの前記ビデオが、ネットワークを介して、前記カメラに関連付けられたサーバを経由して前記ビデオプロセッサに送信され、ビデオを送信させないようにすることは、前記ネットワークを介して、前記カメラの前記サブグループに含まれていない前記カメラの少なくとも１つと関連付けられている少なくとも１つのサーバに、前記サーバが、前記少なくとも１つのカメラの前記ビデオを送信しないよう伝えることによって実現される、請求項１８に記載の方法。
【請求項２０】
新しい視野および／または新しい視点が定義されるような前記視点および／または前記視野の変更を指示する入力を受け取るステップと、
前記新しい視野または新しい視点に関連するビデオを生成することのできる前記カメラの第２のサブグループを決定するステップと、
前記カメラの前記第２のサブグループからの前記ビデオを前記ビデオプロセッサに送信させるステップと、
をさらに備え、
前記ビデオプロセッサが、前記コンピュータモデルと前記受け取ったビデオとを使用して、前記新しい視野または新しい視点の新しい画像をレンダリングし、
前記第２のグループに含まれていない前記カメラの少なくとも一部からのビデオを、前記ビデオプロセッサに送信させない、請求項１８に記載の方法。
【請求項２１】
前記第１と第２のグループが、前記カメラの少なくとも１つを共有し、各サブグループが、他方のサブグループに含まれていない前記サブグループの少なくとも１つのカメラを有する、請求項２０に記載の方法。
【請求項２２】
前記サブグループが、それぞれ、前記サブグループ内に前記カメラの個々の１つだけを有する、請求項２０に記載の方法。
【請求項２３】
前記サブグループ内の前記カメラの１つが、制御可能な方向またはズームを有するカメラであり、前記カメラに、前記カメラの前記方向またはズームを調整させるような制御信号を送信するステップをさらに備える、請求項１８に記載の方法。
【請求項２４】
それぞれがサイトの一部のリアルタイム画像に対応する一連のビデオフレームの個々のデータストリームをそれぞれが生成する複数のカメラを有するサイトの監視システムの方法であって、
前記リアルタイム画像が前記関連付けられたカメラによって作成された時刻を指示するタイムスタンプを各フレームが有する前記カメラの前記データストリームを、１つ以上のレコーダに、同期された形式で一緒に記録するステップと、
前記レコーダに、前記カメラの前記記録されたデータストリームをビデオプロセッサに送信させるために前記レコーダと通信を行うステップと、
前記記録されたデータストリームを受け取り、前記データストリームの前記タイムスタンプに基づいて前記データストリームの前記フレームを同期させるステップと、
前記カメラからの前記ビデオの少なくとも一部を見るための視点および視野の選択を指示するデータを入力装置から受け取るステップと、
前記ビデオプロセッサを用いて、前記サイトのコンピュータモデルから、前記ビデオの少なくとも２つの少なくとも一部分が前記コンピュータモデル上に重ね合わされている、前記サイトの前記視点からの前記視野に対応する画像をレンダリングすることによって、ビデオ表示を生成するステップと、
前記画像をビューアに表示するステップと、
を備え、
各レンダリング画像ごとに重ね合わされる前記ビデオが、すべてが同じ期間を指示するタイムスタンプを有するフレームからのものである方法。
【請求項２５】
受け取った入力に応答して、前記ビデオが、順方向と逆方向とに選択的に再生される、請求項２４に記載の方法。
【請求項２６】
前記再生が、前記レコーダにコマンド信号を送信することによって、前記ビデオプロセッサの場所から制御される、請求項２５に記載の方法。
【請求項２７】
視野および／または視点の新しい視野への変更を指図する入力を受け取ることをさらに備え、前記ビデオプロセッサが、前記コンピュータモデルと前記新しい視点および／または視野の前記ビデオから画像を生成する、請求項２４に記載の方法。
【請求項２８】
それぞれがサイトの一部のリアルタイム画像に対応する一連のビデオフレームの個々のデータストリームをそれぞれが生成する複数のカメラを有するサイトの監視システムの方法であって、
前記カメラの前記記録されたデータストリームをビデオプロセッサに送信するステップと、
前記カメラからの前記ビデオの少なくとも一部を見るための視点および視野の選択を指示するデータを入力装置から受け取るステップと、
前記ビデオプロセッサを用いて、前記サイトのコンピュータモデルから、前記ビデオの少なくとも２つの少なくとも一部分が前記コンピュータモデル上に重ね合わされている、前記サイトの前記視点からの前記視野に対応する画像をレンダリングすることによって、ビデオ表示を生成するステップと、
前記画像をビューアに表示するステップと、
オペレータが、前記サイトを通るパスに対応するすべての可能な変更のうちの限定された一部である、前記視点または前記視点の新しい視野への変更のみを入力することができるように制約されている、前記視点および／または視野の変更を指示する入力を受け取るステップと、
を備える方法。
【請求項１】
サイトの監視システムであって、
それぞれが前記サイトの個々の部分の個々のビデオを生成する複数のカメラと、
ユーザが、前記サイトまたは前記サイトの一部をそこから見るための前記サイト内の視点を選択的に識別することができるように構成されている視点セレクタと、
前記複数のカメラから前記ビデオを受け取るように前記複数のカメラに結合されているビデオプロセッサであり、前記サイトのコンピュータモデルにアクセスすることができ、前記コンピュータモデルから、前記ビデオの少なくとも１つの少なくとも一部分が前記コンピュータモデル上に重ね合わされている、前記視点からの前記サイトの視野に対応するリアルタイム画像をレンダリングし、前記画像を、ユーザからリアルタイムで見えるように表示する前記ビデオプロセッサと、
前記視点に基づいて、前記ビデオプロセッサによってレンダリングされた前記視点からの前記サイトの前記視野に関連するビデオを生成する前記複数のカメラのサブセットを自動的に選択し、前記カメラのサブセットからのビデオを前記ビデオプロセッサに送信させるビデオ制御システムと
を備える監視システム。
【請求項２】
前記ビデオ制御システムが、前記視野に関連するものとして選択された前記カメラのサブセットから前記ビデオの前記ビデオプロセッサへの送信を可能にし、前記カメラのサブセットに含まれない前記複数のカメラのうちのカメラの少なくとも一部からの前記ビデオの前記ビデオプロセッサへの送信を妨げるビデオスイッチャを含む、請求項１に記載の没入型監視システム。
【請求項３】
前記カメラが、前記カメラの前記ビデオを、ネットワークを介し、１つ以上のサーバを経由して前記ビデオプロセッサに流し、前記ビデオスイッチャが、前記カメラの前記サブセットに含まれない前記カメラの前記ビデオの少なくとも一部の前記ネットワークを介したストリーミングを妨げるように前記サーバと通信を行う、請求項２に記載の没入型監視システム。
【請求項４】
前記カメラが、前記カメラの前記ビデオを、通信回線を介して前記ビデオプロセッサに送信し、前記ビデオスイッチャが、前記カメラのサブセットに含まれない前記カメラの前記ビデオの少なくとも一部の前記通信回線に沿った流れをオフにするアナログマトリックススイッチ装置である、請求項２に記載の没入型監視システム。
【請求項５】
前記ビデオ制御システムが、前記視点と前記複数のカメラのそれぞれとの間の距離を求め、前記視点への最短距離を有する前記カメラを含むように前記カメラの前記サブセットを選択する、請求項１に記載の没入型監視システム。
【請求項６】
前記視点セレクタが、前記ユーザが、表示装置上で前記画像を見ながら、前記コンピュータモデル内の前記視点を識別するためのコンピュータステーションにおける対話型表示である、請求項１に記載の没入型監視システム。
【請求項７】
前記コンピュータモデルが、前記サイトの３Ｄモデルである、請求項１に記載の没入型監視システム。
【請求項８】
前記視点セレクタが、オペレータ入力またはイベントに応答した自動信号を受け取り、受け取ったことに応答して前記視点を第２の視点に変更し、
前記ビデオ制御システムが、前記第２の視点に基づいて、前記ビデオプロセッサによってレンダリングされた前記第２の視点からの前記サイトの前記視野に関連するビデオを生成する前記複数のカメラの第２のサブセットを自動的に選択し、前記異なるカメラのサブセットからのビデオを前記ビデオプロセッサに送信させる、請求項１に記載の没入型監視システム。
【請求項９】
前記視点セレクタが、前記視点を変更する前記オペレータ入力を受け取り、前記変更が、前記視点の前記第２の視点への連続移動であり、前記連続移動が、前記表示パス外の移動が、前記表示パス外の移動を指図するオペレータ入力があっても抑制されるように、前記視点セレクタによって許可された前記表示パスだけに制約される、請求項８に記載の没入型監視システム。
【請求項１０】
前記カメラの少なくとも１つが、制御可能な方向またなズームパラメータを有するＰＴＺカメラであり、前記ビデオ制御システムが、前記ＰＴＺカメラが前記視野に関連するデータを提供するように、前記カメラに、前記ＰＴＺカメラの前記方向またはズームパラメータを調整させるために前記ＰＴＺカメラに制御信号を送信する、請求項１に記載の没入型監視システム。
【請求項１１】
サイトの監視システムであって、
それぞれが個々のデータストリームを生成する複数のカメラであり、各データストリームが、それぞれ前記サイトの一部のリアルタイム画像に対応する一連のビデオフレームを含み、各フレームが、前記リアルタイム画像が前記関連付けられたカメラによって作成された時刻を示すタイムスタンプを有する前記カメラと、
前記カメラから前記データストリームを受け取り、記録するレコーダと、
前記レコーダと接続されており、前記レコーダからの前記記録されたデータストリームの再生を提供するビデオ処理システムであり、前記記録されたデータストリームの再生時に、前記サイトのモデルの再生視点からの視界の画像をレンダリングし、前記画像に、前記視界に関連する前記カメラの少なくとも２つからの前記記録されたデータストリームを適用するレンダラを有する、前記ビデオ処理システムと
を備え、
前記ビデオ処理システムが、再生時に前記レコーダシステムから前記記録されたデータストリームを受け取り、前記記録されたデータストリームを、すべてが同時に撮影されたものであるビデオフレームと共に各画像がレンダリングされるように同期された形で前記レンダラに配信するシンクロナイザを含む、監視システム。
【請求項１２】
前記シンクロナイザが、前記データストリームを、前記データストリームの前記ビデオフレームの前記タイムスタンプに基づいて同期させる、請求項１１に記載の没入型監視システム。
【請求項１３】
前記レコーダが、前記レコーダに、前記複数のデータストリームを同期された形式で格納させ、同期を可能にするために前記複数のデータストリームの前記タイムスタンプを読み取るコントローラに結合されている、請求項１２に記載の没入型監視システム。
【請求項１４】
前記モデルが３Ｄモデルである、請求項１１に記載の没入型監視システム。
【請求項１５】
それぞれがサイトの個々の部分の個々のビデオを生成する複数のカメラと、
前記複数のカメラと接続されており、前記複数のカメラの前記ビデオを受け取る画像プロセッサであり、前記サイトのモデルに基づく視点についてレンダリングされ、前記視点に関連する複数の前記ビデオと組み合わされた画像を生成する前記画像プロセッサと、
前記画像プロセッサに結合されており、前記レンダリング画像を表示する表示装置と、
前記画像プロセッサに結合されており、前記画像プロセッサに、表示されるべき前記視点を定義するデータを提供する視界コントローラであり、ユーザが、前記視点を選択的に変更できるようにし、前記視点の前記変更を、事前に選択された視点の組だけに制約する対話型ナビゲーションコンポーネントと結合されており、前記ナビゲーションコンポーネントから入力を受け取る前記視界コントローラと
を備える没入型監視システム。
【請求項１６】
前記視界コントローラが、前記視点の表示位置の変更を計算する、請求項１５に記載の没入型監視システム。
【請求項１７】
前記ユーザが前記視点を第２の視点に変更するときに、前記視界コントローラが、前記第１の視点に関連する前記ビデオ以外の任意のビデオが前記第２の視点に関連するかどうか判定し、前記視界コントローラによって前記第２の視点に関連すると識別された任意の追加のビデオを使って、前記第２の視点について第２の画像がレンダリングされる、請求項１５に記載の没入型監視システム。
【請求項１８】
それぞれがサイトの個々の部分の個々のビデオを生成する複数のカメラと、ユーザから見えるように画像を表示する表示装置を備える表示ステーションとを有する没入型監視システムの方法であって、
前記カメラからの前記ビデオの少なくとも一部を見るための視点および視野の選択を指示するデータを入力装置から受け取るステップと、
前記視野に関連するビデオを生成することができるような場所にある、前記カメラの１つ以上のサブグループを識別するステップと、
前記カメラのサブグループからビデオプロセッサに前記ビデオを送信するステップと、
前記ビデオプロセッサを用いて、前記サイトのコンピュータモデルから、前記ビデオの少なくとも１つの少なくとも一部分が前記コンピュータモデル上に重ね合わされている、前記サイトの前記視点からの前記視野に対応する画像をレンダリングすることによって、ビデオ表示を生成するステップと、
前記画像をビューアに表示するステップと、
前記サブグループに含まれていない前記カメラの少なくとも一部からの前記ビデオを、前記ビデオレンダリングシステムに送信させず、それによって、前記ビデオプロセッサに送信されるデータ量を低減させるステップと、
を備える方法。
【請求項１９】
前記カメラのサブグループからの前記ビデオが、ネットワークを介して、前記カメラに関連付けられたサーバを経由して前記ビデオプロセッサに送信され、ビデオを送信させないようにすることは、前記ネットワークを介して、前記カメラの前記サブグループに含まれていない前記カメラの少なくとも１つと関連付けられている少なくとも１つのサーバに、前記サーバが、前記少なくとも１つのカメラの前記ビデオを送信しないよう伝えることによって実現される、請求項１８に記載の方法。
【請求項２０】
新しい視野および／または新しい視点が定義されるような前記視点および／または前記視野の変更を指示する入力を受け取るステップと、
前記新しい視野または新しい視点に関連するビデオを生成することのできる前記カメラの第２のサブグループを決定するステップと、
前記カメラの前記第２のサブグループからの前記ビデオを前記ビデオプロセッサに送信させるステップと、
をさらに備え、
前記ビデオプロセッサが、前記コンピュータモデルと前記受け取ったビデオとを使用して、前記新しい視野または新しい視点の新しい画像をレンダリングし、
前記第２のグループに含まれていない前記カメラの少なくとも一部からのビデオを、前記ビデオプロセッサに送信させない、請求項１８に記載の方法。
【請求項２１】
前記第１と第２のグループが、前記カメラの少なくとも１つを共有し、各サブグループが、他方のサブグループに含まれていない前記サブグループの少なくとも１つのカメラを有する、請求項２０に記載の方法。
【請求項２２】
前記サブグループが、それぞれ、前記サブグループ内に前記カメラの個々の１つだけを有する、請求項２０に記載の方法。
【請求項２３】
前記サブグループ内の前記カメラの１つが、制御可能な方向またはズームを有するカメラであり、前記カメラに、前記カメラの前記方向またはズームを調整させるような制御信号を送信するステップをさらに備える、請求項１８に記載の方法。
【請求項２４】
それぞれがサイトの一部のリアルタイム画像に対応する一連のビデオフレームの個々のデータストリームをそれぞれが生成する複数のカメラを有するサイトの監視システムの方法であって、
前記リアルタイム画像が前記関連付けられたカメラによって作成された時刻を指示するタイムスタンプを各フレームが有する前記カメラの前記データストリームを、１つ以上のレコーダに、同期された形式で一緒に記録するステップと、
前記レコーダに、前記カメラの前記記録されたデータストリームをビデオプロセッサに送信させるために前記レコーダと通信を行うステップと、
前記記録されたデータストリームを受け取り、前記データストリームの前記タイムスタンプに基づいて前記データストリームの前記フレームを同期させるステップと、
前記カメラからの前記ビデオの少なくとも一部を見るための視点および視野の選択を指示するデータを入力装置から受け取るステップと、
前記ビデオプロセッサを用いて、前記サイトのコンピュータモデルから、前記ビデオの少なくとも２つの少なくとも一部分が前記コンピュータモデル上に重ね合わされている、前記サイトの前記視点からの前記視野に対応する画像をレンダリングすることによって、ビデオ表示を生成するステップと、
前記画像をビューアに表示するステップと、
を備え、
各レンダリング画像ごとに重ね合わされる前記ビデオが、すべてが同じ期間を指示するタイムスタンプを有するフレームからのものである方法。
【請求項２５】
受け取った入力に応答して、前記ビデオが、順方向と逆方向とに選択的に再生される、請求項２４に記載の方法。
【請求項２６】
前記再生が、前記レコーダにコマンド信号を送信することによって、前記ビデオプロセッサの場所から制御される、請求項２５に記載の方法。
【請求項２７】
視野および／または視点の新しい視野への変更を指図する入力を受け取ることをさらに備え、前記ビデオプロセッサが、前記コンピュータモデルと前記新しい視点および／または視野の前記ビデオから画像を生成する、請求項２４に記載の方法。
【請求項２８】
それぞれがサイトの一部のリアルタイム画像に対応する一連のビデオフレームの個々のデータストリームをそれぞれが生成する複数のカメラを有するサイトの監視システムの方法であって、
前記カメラの前記記録されたデータストリームをビデオプロセッサに送信するステップと、
前記カメラからの前記ビデオの少なくとも一部を見るための視点および視野の選択を指示するデータを入力装置から受け取るステップと、
前記ビデオプロセッサを用いて、前記サイトのコンピュータモデルから、前記ビデオの少なくとも２つの少なくとも一部分が前記コンピュータモデル上に重ね合わされている、前記サイトの前記視点からの前記視野に対応する画像をレンダリングすることによって、ビデオ表示を生成するステップと、
前記画像をビューアに表示するステップと、
オペレータが、前記サイトを通るパスに対応するすべての可能な変更のうちの限定された一部である、前記視点または前記視点の新しい視野への変更のみを入力することができるように制約されている、前記視点および／または視野の変更を指示する入力を受け取るステップと、
を備える方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公表番号】特表２００８−５０２２２８（Ｐ２００８−５０２２２８Ａ）
【公表日】平成２０年１月２４日（２００８．１．２４）
【国際特許分類】
【出願番号】特願２００７−５１５６４４（Ｐ２００７−５１５６４４）
【出願日】平成１７年６月１日（２００５．６．１）
【国際出願番号】ＰＣＴ／ＵＳ２００５／０１９６７２
【国際公開番号】ＷＯ２００５／１２００７１
【国際公開日】平成１７年１２月１５日（２００５．１２．１５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．イーサネット
【出願人】（３０７０２４６３５）エル‐３ コミュニケーションズ コーポレイション (3)
【Ｆターム（参考）】
【公表日】平成２０年１月２４日（２００８．１．２４）
【国際特許分類】
【出願日】平成１７年６月１日（２００５．６．１）
【国際出願番号】ＰＣＴ／ＵＳ２００５／０１９６７２
【国際公開番号】ＷＯ２００５／１２００７１
【国際公開日】平成１７年１２月１５日（２００５．１２．１５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．イーサネット
【出願人】（３０７０２４６３５）エル‐３ コミュニケーションズ コーポレイション (3)
【Ｆターム（参考）】
[ Back to top ]