ビデオ監視システムを動作させるための方法およびシステム
【課題】ビデオ監視システムのための方法およびシステムを提供する。
【解決手段】ビデオ監視システムのための方法およびシステムは、個々に視野を備えた複数のビデオカメラを備えており、カメラは、カメラ視野を変更するためのズーム、水平チルト軸の周りにカメラを回転させるためのチルト、および垂直パン軸の周りにカメラを回転させるためのパン、のうちの少なくとも１つを実施するように構成されている。システムは、さらに、少なくとも１つのビデオカメラの視野内の画像を表す信号を受け取り、受け取った信号を使用してターゲットを認識し、そのターゲットを認識しているカメラからそのターゲットへの方向を決定し、かつ、決定した方向を複数のビデオカメラのうちの他のカメラに送信するように構成されたプロセッサを備えている。
【解決手段】ビデオ監視システムのための方法およびシステムは、個々に視野を備えた複数のビデオカメラを備えており、カメラは、カメラ視野を変更するためのズーム、水平チルト軸の周りにカメラを回転させるためのチルト、および垂直パン軸の周りにカメラを回転させるためのパン、のうちの少なくとも１つを実施するように構成されている。システムは、さらに、少なくとも１つのビデオカメラの視野内の画像を表す信号を受け取り、受け取った信号を使用してターゲットを認識し、そのターゲットを認識しているカメラからそのターゲットへの方向を決定し、かつ、決定した方向を複数のビデオカメラのうちの他のカメラに送信するように構成されたプロセッサを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般にビデオ監視システムに関し、より詳細には空間格子内における複数のパン、チルトおよびズームカメラアセンブリの位置の決定に関する。
【背景技術】
【０００２】
知られている少なくともいくつかのビデオ監視システムは、個々のパン、チルトおよびズーム（ＰＴＺ）アセンブリと共にハウジング内に取り付けられた複数のビデオカメラを備えている。ＰＴＺにより、カメラの動きを制御し、カメラの観察領域と重要な対象または重要なロケーションを整列させることができる。メカニズムのズーム部分を使用してカメラの視野を調節することができる。ハウジングは、通常、エンクロージャおよび透明または半透明の半球ドームを備えている。ハウジングは、カメラおよびＰＴＺアセンブリが取り付けられるロケーションの環境からカメラを保護している。
【特許文献１】米国特許第５，２４３，４１８号公報
【特許文献２】米国特許第５，８６７，５８４号公報
【特許文献３】米国特許第６４３７８１９号公報
【特許文献４】米国特許第６７８９０３９号公報
【特許文献５】米国特許出願公開第２００５０１０４９５８号公報
【特許文献６】国際特許出願公開第０３０４４４５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
多くの視線妨害物が存在する広い領域をビデオで網羅するために、いくつかのアプリケーションでは複数のカメラがコーディネートされている。この広い領域は、たとえば、小売店の内部、倉庫の内部、構内の建物の内部および外部にカメラが配置された商業地域であってもよい。障害物は、場合によっては、領域を通って移動する重要なターゲットの追跡を困難にしている。また、ターゲットの追跡をある１つのカメラから他のカメラへ手動で切り換えるためには、どのカメラの視野にそのターゲットが移動するかを、領域内における個々の移動点毎に決定しなければならない。大型システムの場合、このような決定は厄介であり、また、場合によってはターゲットがすべてのカメラの視界から消えてしまうことがあるため、ターゲットの追跡を継続するためには、その前に複数のカメラのうちの少なくとも１つでそのターゲットを再度捕獲しなければならない。さらに、柱、円柱、積み重ねられた箱、衣類のラックあるいは他の小売商品などの障害物も場合によってはターゲットの追跡を困難にしている。
【課題を解決するための手段】
【０００４】
一実施形態では、ビデオ監視システムは、個々に視野を備えた複数のビデオカメラを備えており、カメラは、カメラ視野を変更するためのズーム、水平チルト軸の周りにカメラを回転させるためのチルト、および垂直パン軸の周りにカメラを回転させるためのパン、のうちの少なくとも１つを実施するように構成されている。システムは、さらに、少なくとも１つのビデオカメラの視野内の画像を表す信号を受け取り、受け取った信号を使用してターゲットを認識し、そのターゲットを認識しているカメラからそのターゲットへの方向を決定し、かつ、決定した方向を複数のビデオカメラのうちの他のカメラに送信するように構成されたプロセッサを備えている。
【０００５】
他の実施形態では、複数のビデオカメラを備えたビデオ監視システムを動作させる方法には、第２のビデオカメラに通信可能に結合された第１のビデオカメラを提供するステップと、第１のビデオカメラを使用してターゲットを認識するステップと、ターゲットの少なくとも１つの特徴を第１のビデオカメラから第２のビデオカメラへ送信するステップと、第２のビデオカメラを使用して、送信された特徴からターゲットを認識するステップとが含まれている。
【０００６】
さらに他の実施形態では、コンピュータ可読媒体の上に具体化された、ビデオ監視システムを動作させるためのコンピュータプログラムが提供される。システムは、第２のビデオカメラに通信可能に結合された第１のビデオカメラを備えており、プログラムには、第１のビデオカメラから受け取った信号からターゲットを認識し、次に、ターゲットの少なくとも１つの特徴を第１のビデオカメラから第２のビデオカメラへ送信し、かつ、第２のビデオカメラから受け取った信号から、送信された特徴を使用してターゲットを認識する少なくとも１つの命令セグメントが含まれている。
【発明を実施するための最良の形態】
【０００７】
本明細書において使用されているように、単数形で表現されている構成要素またはステップは、それが単数の構成要素またはステップであることが明記されていない場合、複数の構成要素またはステップが包含されているものとして理解されたい。また、本発明の「一実施形態」という表現の参照は、記述されている特徴を同じく組み込んだ実施形態がそれ以外には存在していないものとして解釈してはならない。
【０００８】
図１は、本発明の一実施形態による例示的ビデオ監視システム１００を略図で示したものである。ビデオ監視システム１００は、制御パネル１０２、ディスプレイモニタ１０４およびパン、チルトおよびズーム（ＰＴＺ）アセンブリ１０５を備えている。通常、カメラ１０６は、カメラ１０６が配置される環境からカメラ１０６を保護するためのドーム１１０を有するエンクロージャ１０８内に収納されている。一実施形態では、ドーム１１０は、カメラ１０６がエンクロージャ１０８の外側の環境の画像を捕獲することができ、かつ、カメラ１０６によって観察されている環境中の個人によるカメラ１０６の配向の決定を阻止することができるよう、着色されている。様々な代替実施形態では、ドーム１１０は着色されていない。例示的実施形態では、カメラ１０６は、垂直軸１１２の周りにパンさせる機能、水平軸１１４の周りにチルトさせる機能、およびレンズアセンブリ１１６を制御してカメラ１０６をズームさせる機能を備えている。たとえば、ＰＴＺアセンブリ１０５は、パン電動機およびエンコーダ１１３ならびにチルト電動機およびエンコーダ１１５を備えている。これらのエンコーダによってパン電動機およびチルト電動機の角位置が決定され、視野内の領域を決定するためにズーム設定値と共に使用される位置信号が生成される。矢印１１８は、カメラ１０６のパニング運動を表しており、矢印１２０は、カメラ１０６のチルティング運動を表している。また、矢印１２２は、カメラ１０６のレンズアセンブリ１１６の焦点距離の変化すなわちズーミングを表している。座標系１２４を参照して示されているように、パニング運動は、ｘ軸に沿った運動を追跡することができ、チルティング運動は、ｙ軸に沿った運動を追跡することができる。また、焦点距離調整を使用してｚ軸に沿った運動を追跡することができる。このような機能を制御するためのコマンドを表す信号は、制御パネル１０２から制御データ線路１２６を介して送信される。画像データ信号は、カメラ１０６からビデオデータ線路１３０を介してディスプレイモニタ１０４および記憶装置１２８へ送信される。
【０００９】
レンズアセンブリ１１６は、制御パネル１０２から離れたロケーションであってもよい、視野１３４内に存在している、レンズアセンブリ１１６の視軸１３６に沿ったロケーション１３２の領域を見ている。ロケーション１３２の画像は、カメラ１０６によって電気ビデオ信号に変換され、ディスプレイモニタ１０４に送信される。
【００１０】
例示的実施形態では、制御パネル１０２は、パンコマンドおよびチルトコマンドを生成するために使用されるＸ−Ｙ制御ジョイスティック１４０を備えている。複数のロッカー型スイッチ１４２を使用して、レンズアセンブリ１１６のズーム１４４、焦点１４６およびアイリス１４８が制御される。代替実施形態では、ジョイスティック１４０は、カメラ１０６のズームを制御するために使用されるツイストアクチュエーションを備えている。また、ジョイスティック１４０は、システム１００に関連する様々な制御の操作を容易にするためのトリガおよび／またはボタンを組み込むことも可能である。制御パネル１０２は、さらに、数字および値を入力するための数値キーパッド１５０を備えている。代替実施形態では、制御パネル１０２は、テキストならびに数字を入力するための英字キーパッドまたは英数字キーパッド（図示せず）を備えることができる。制御パネル１０２は、さらに、カメラ１０６および／またはレンズアセンブリ１１６の動作を自動的に制御するマクロを実行するようにプログラムすることができる複数のプリセットスイッチ１５２を備えている。たとえば所定の制御機能および／またはユーザ定義機能、たとえばマルチカメラビデオ監視システムにおけるカメラ選択のために複数のボタン１５４を使用することができる。ディスプレイ１５６を使用して、ビデオ監視システム１００の状態を表示することができ、あるいはディスプレイ１５６を使用して、選択されたカメラに関連するパラメータを表示することができる。
【００１１】
例示的実施形態では、ビデオ監視システム１００は、単一カメラアプリケーションであるが、より広い監視領域またはより複雑な監視領域をカバーするために、追加カメラ（カメラは静止型カメラまたは可動カメラのいずれであってもよく、あるいはそれらの何らかの組合せであってもよい）を有するより大型の監視システムに本発明の様々な実施形態を使用することができる。代替実施形態では、カメラ１３およびシステム１００内の他のカメラによって捕獲されたビデオ画像を記録するために、制御パネル３２に１つまたは複数のビデオレコーダ（図示せず）が接続されている。
【００１２】
図２は、ビデオ監視システム１００（図１に示すシステム）の代替実施形態を略平面図で示したものである。ビデオ監視システム２００はシステム１００の拡張バージョンであり、監視中の領域２１２の周りに間隔を隔てて配置された複数のビデオカメラ２０２、２０４、２０６、２０８および２１０を備えている。システム２００のコンポーネントで、システム１００（図１に示すシステム）のコンポーネントと全く同じコンポーネントは、図２には、図１に使用されている参照数表示と同じ参照数表示を使用して識別されている。システム２００に含まれているカメラは、もっと多くすることも、あるいはもっと少なくすることも可能である。
【００１３】
システム２００は、システム２００を制御するためのコンポーネントが配置され、また、ユーザが位置する制御室２１４を備えている。個々のカメラは、制御パネル１０２およびディスプレイモニタ１０４に通信可能に結合されている。例示的実施形態では、監視中の領域２１２は倉庫として示されているが、システム２００を使用して任意の商業施設、住宅施設または工業施設を監視することも可能である。例示的実施形態では、監視中の領域２１２は、監視中の領域２１２の内部の周囲を画定している壁２１６、および内部を部屋２２０に分割している壁２１８を備えている。棚ユニット２２２などの他の障害物は、通常、カメラ１０６、２０２、２０４、２０６、２０８および２１０の視野の少なくとも一部を遮っている。
【００１４】
動作中、ネットワーク内の複数のビデオカメラの性能は、個々のカメラの空間座標（Ｘ、Ｙ、Ｚ）が分かり、かつ、個々のカメラのカバレージが較正されると改善される。このような情報は、複数のカメラを使用して異なる角度から同じターゲットの位置を個別に突き止める場合に使用される。例示的実施形態では、複数のカメラの較正は、大まかな訓練段階と洗練段階の２段階で実行される。
【００１５】
カメラのネットワークの大まかな訓練は、模擬ターゲット２２４を使用して実行される。例示的実施形態では、ターゲット２２４は、その環境に固有の特徴、たとえばターゲット２２４の形、大きさ、色、パターンなどを有する球のクラスタを備えている。個々の球の大きさは、直径約２フィートである。ターゲット２２４の例示的実施形態は、カメラがターゲットを指している間に、ターゲットの視点からのカメラの角度をそのカメラからの画像から引き出すことができる特性を有している。この角度は、ターゲット−カメラ角と呼ばれており、方位および仰角としてより一般的に知られている垂直成分および水平成分が含まれている。
【００１６】
ターゲット２２４は、ネットワーク内の複数のカメラのうちの任意の１つ、この実施例ではカメラ１０６の視野領域２２６内に所定の正規ターゲット距離２２８で配置されている。ターゲット２２４の位置を突き止めるためのコマンドがカメラ１０６に送信され、カメラ１０６は、候補ターゲットが見つかるまで視野領域２２６の探索を実行する。探索は、カメラ１０６からビデオ信号を受信している間に実行されるパンコマンド、チルトコマンドおよび／またはズームコマンドの事前プログラム済みセットまたは動的セットである。ビデオ信号とメモリに記憶されているターゲットの特徴が比較され、比較の結果が所定の閾値基準と合致すると、ターゲット候補としてその識別された対象にタグが振られ、引き続いて完了するまで探索が継続される。個々のカメラは、ユーザが選択することができ、もしくは探索の最適化を容易にするために使用される学習アルゴリズムが選択することができ、あるいは人間オペレータの支援を得て選択することができる、記憶されている所定の探索コマンドのセットを有することができる。探索は、パンコマンド、チルトコマンドおよび／またはズームコマンドのプログラム済みセットの最後のコマンドを実行することによって終了させることができ、あるいは任意の時間、たとえば１つまたは複数のターゲット候補が識別された時点で終了させることができる。ターゲット２２４の捕獲は、ターゲット２２４を視野領域２２６内を移動させることによって確認される。カメラ１０６は、カメラ１０６がターゲット２２４を捕獲している場合、ターゲット２２４が視野領域２２６内を移動している間、ターゲット２２４を指した状態を維持する。基準ターゲットの捕獲が確認されると、カメラ１０６は、ターゲット２２４の形、大きさ、色およびパターンなどのターゲット２２４の特徴をネットワーク内の少なくとも１つの他のカメラに送信する。
【００１７】
カメラ１０６に対する大まかな訓練が完了すると、ネットワークを較正するためのコマンドがシステム１００のすべてのカメラに送られる。ビデオカメラ２０２、２０４、２０６、２０８および２１０の各々は、それぞれの視野領域内のターゲット２２４を探索するコマンドを実行する。ターゲット２２４は、ターゲット２２４が個々のビデオカメラ２０２、２０４、２０６、２０８および２１０の視野領域を通過する際に、個々のカメラがターゲット２２４を検出し、かつ、認識するよう、監視中の領域２１２内に再配置される。ビデオカメラ２０２、２０４、２０６、２０８および２１０の各々のターゲット−カメラ角パラメータ、パンパラメータ、チルトパラメータおよびズームパラメータは、ネットワーク内のビデオカメラどうしで互いに送信される。様々な実施形態では、ターゲット−カメラ角パラメータ、パンパラメータ、チルトパラメータおよびズームパラメータは、ビデオカメラどうしで互いに実時間で連続的に送信される。本明細書において使用されているように、実時間とは、結果に影響を及ぼす入力が変化した後の実質的に短期間の間に生じる結果を意味している。この期間は、定期的に繰り返されるタスクの反復と反復の間の時間の量であってもよい。このような反復タスクは、周期タスクと呼ばれている。この時間期間は、結果の重要性および／または結果を生成するために入力の処理を実施するシステムの能力に基づいて選択することができる実時間システムの設計パラメータであり、あるいはシステムを構成しているコンポーネントに固有の遅延であってもよい。他の実施形態では、ターゲット−カメラ角パラメータ、パンパラメータ、チルトパラメータおよびズームパラメータは、ビデオカメラどうしで互いに周期的に送信される。個々のカメラのパンパラメータ、チルトパラメータおよびズームパラメータをカメラどうしで互いに送信することにより、ターゲット２２４の位置を突き止めるために指し示す方向を個々のビデオカメラが決定することができる。
【００１８】
空間格子位置決め手順の洗練段階にはターゲット２２４は不要であり、カメラネットワークを使用してシステム１００によって自動的に実行される。個々のカメラは、大まかな訓練段階で、ネットワーク内における相互のカメラに対して、空間格子内におけるその位置を大まかに決定する。ターゲット２２４を捕獲することができた複数のカメラは、位置データをさらに洗練するために、異なる角度からの画像を同時に登録する。相対位置データを洗練するために、ズーム係数が反復して増加され、画像がさらに相関される。一対のカメラがそれらの視野内の２つの対象の位置を突き止めると、カメラとカメラの間の距離および相対角度を決定することができる。ターゲット２２４の位置を同時に突き止めることができたカメラのあらゆる組合せの複数の対のカメラの較正が継続される。次に、制限マッピングを使用して、カメラとカメラの間の距離の値が格子中に統合される。格子は、カメラが置かれている場所および個々のカメラがカバーする大まかな領域を示している。空間格子位置決め手順によって生成されたデータベースを参照することにより、複数のカメラが、カバーされている領域内のターゲットの位置を自動的に突き止め、かつ、観察することができる。
【００１９】
図３は、ターゲット２２４（図２に示されている）の一例示的実施形態を方位０°、仰角５°の配向から見た斜視図である。図４は、ターゲット２２４（図３に示されている）の例示的実施形態を方位４５°、仰角５°の配向から見た他の斜視図である。図５は、ターゲット２２４（図３に示されている）の例示的実施形態を方位０°、仰角９０°の配向から見たさらに他の斜視図である。図６は、ターゲット２２４（図３に示されている）の例示的実施形態を方位４５°、仰角９０°の配向から見たさらに他の斜視図である。
【００２０】
図７は、カメラ１０６（図１に示されている）の一例示的実施形態を略ブロック図で示したものである。プロセッサ３１０は、プログラムされた命令をソフトウェアまたはファームウェアから受け取り、また、メモリ３０８からデータを受け取り、受け取ったデータおよび命令を使用して様々な演算を実行している。プロセッサ３１０は、算術演算および論理演算を実行する論理演算装置（ＡＬＵ）、およびメモリ３０８から命令を引き出し、かつ、引き出した命令を解読し、必要に応じてＡＬＵを呼び出して実行する制御ユニットを備えることができる。メモリ３０８は、通常、ランダムアクセスメモリ（ＲＡＭ）およびリードオンリメモリ（ＲＯＭ）を備えているが、場合によっては、プログラマブルリードオンリメモリ（ＰＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ）および電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）などの他のタイプのメモリも存在している。また、メモリ３０８は、プロセッサ３１０上で実行するオペレーティングシステムを備えることも可能である。オペレーティングシステムは、入力の認識、出力装置への出力の送信、ファイルおよびディレクトリのトラックの維持、および様々な周辺装置の制御を始めとする基本タスクを実行する。
【００２１】
画像アセンブリ３１２は、レンズアセンブリ１１６を介して受け取る光を視野１３４の画像を表す電気信号に変換している。この電気信号は、プロセッサ３１０を介してモニタ１０４または記憶装置１２８に送信される。本明細書において使用されているように、プロセッサという用語は、中央処理装置、マイクロプロセッサ、マイクロコントローラ、縮小命令セット回路（ＲＩＳＣ）、専用集積回路（ＡＳＩＣ）、論理回路および本明細書において説明されている機能を実行することができる他の任意の回路またはプロセッサを意味している。メモリ３０８は、複数のプリセットスイッチ１４２のうちの１つを使用してアクセスすることができるプリセットマクロ命令のための記憶位置を備えることができる。
【００２２】
本明細書において使用されているように、「ソフトウェア」および「ファームウェア」という用語は、交換可能であり、プロセッサ３１０によって実行するために、たとえばＲＡＭメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリおよび不揮発性ＲＡＭ（ＮＶＲＡＭ）メモリを始めとするメモリに記憶されているあらゆるコンピュータプログラムが含まれている。上に挙げたタイプのメモリは、単に例示的なものにすぎず、したがってコンピュータプログラムを記憶するために使用することができるタイプのメモリに限定されない。
【００２３】
様々な実施形態では、プロセッサ３１０およびメモリ３０８は、カメラ１０６の外部に配置されており、たとえば制御パネル１０２の中、あるいは本明細書において説明されている機能を実行することができるＰＣもしくは他の独立型コンピュータシステムまたはメインフレームコンピュータシステムの中に配置されている。
【００２４】
図８は、個々のカメラの空間座標（Ｘ、ＹおよびＺ）を決定し、かつ、カメラのネットワーク内における個々のカメラのカバレージを較正するための一例示的方法４００の流れ図である。このような情報は、複数のカメラを使用して異なる角度から同じターゲットの位置を個別に突き止める場合に使用される。例示的実施形態では、複数のカメラの較正は、大まかな訓練段階と洗練段階の２段階で実行される。
【００２５】
模擬ターゲット２２４を使用してカメラのネットワークの大まかな訓練４０２が実行される。例示的実施形態では、ターゲット２２４は、丸い物体のクラスタであり、その環境に固有の特徴、たとえば形、大きさ、色およびパターンなどを有している。模擬ターゲットは、カメラからターゲットまでの角度を予測することができる特性を有している。この角度は、方位および仰角としてより一般的に知られている垂直成分および水平成分を有している。
【００２６】
ネットワーク内の複数のカメラのうちの任意の１つ、この実施例ではカメラ１０６の視野領域２２６内に所定の正規ターゲット距離２２８でターゲット２２４が配置される４０４。ターゲット２２４の位置を突き止めるためのコマンドがカメラ１０６に送信され、カメラ１０６が、候補ターゲットが見つかるまで視野領域２２６の探索を実行する４０６。探索は、カメラ１０６からビデオ信号を受信している間に実行されるパンコマンド、チルトコマンドおよび／またはズームコマンドのプログラム済みセットである。このビデオ信号とメモリに記憶されているターゲットの特徴が比較され４０８、比較の結果が所定の閾値基準と合致すると、ターゲット候補としてその識別された対象にタグが振られ４１０、引き続いて完了するまで探索が継続される４１２。個々のカメラは、ユーザが選択することができ、あるいは探索の最適化を容易にするために使用される学習アルゴリズムが選択することができる、記憶されている所定の探索コマンドのセットを有することができる。探索は、パンコマンド、チルトコマンドおよび／またはズームコマンドのプログラム済みセットの最後のコマンドを実行することによって終了させることができ、あるいは任意の時間、たとえば１つまたは複数のターゲット候補が識別された時点で終了させることができる。ターゲット２２４を視野領域２２６内を移動させることによってターゲット２２４の捕獲が確認される４１４。カメラ１０６は、カメラ１０６がターゲット２２４を捕獲している場合、ターゲット２２４が視野領域２２６内を移動している間、ターゲット２２４を指した状態を維持する。基準ターゲットの捕獲が確認されると、カメラ１０６は、ターゲット２２４の形、大きさ、色、パターンおよび移動速度などのターゲット２２４の特徴をネットワーク内の少なくとも１つの他のカメラに送信する４１６。
【００２７】
カメラ１０６に対する訓練が完了すると、ネットワークを較正するためのコマンドがシステム１００のすべてのカメラに送信される４１８。ビデオカメラ２０２、２０４、２０６、２０８および２１０の各々が、それぞれの視野領域内のターゲット２２４を探索するコマンドを実行する４２０。ターゲット２２４が個々のビデオカメラ２０２、２０４、２０６、２０８および２１０の視野領域を通過する際に、個々のカメラがターゲット２２４を検出し、かつ、認識する４２４よう、ターゲット２２４が監視中の領域２１２内に再配置される４２２。ビデオカメラ２０２、２０４、２０６、２０８および２１０の各々のパンパラメータ、チルトパラメータおよびズームパラメータが、ネットワーク内のビデオカメラどうしで互いに送信される４２６。様々な実施形態では、パンパラメータ、チルトパラメータおよびズームパラメータは、ビデオカメラどうしで互いに実時間で連続的に送信される。本明細書において使用されているように、実時間とは、結果に影響を及ぼす入力が変化した後の実質的に短期間の間に生じる結果を意味している。この期間は、定期的に繰り返されるタスクの反復と反復の間の時間の量であってもよい。このような反復タスクは、周期タスクと呼ばれている。この時間期間は、結果の重要性および／または結果を生成するために入力の処理を実施するシステムの能力に基づいて選択することができる実時間システムの設計パラメータであり、あるいはシステムを構成しているコンポーネントに固有の遅延であってもよい。他の実施形態では、パンパラメータ、チルトパラメータおよびズームパラメータは、ビデオカメラどうしで互いに周期的に送信される。個々のカメラのパンパラメータ、チルトパラメータおよびズームパラメータをカメラどうしで互いに送信することにより、ターゲット２２４の位置を突き止めるために指し示す方向を個々のビデオカメラが決定することができる４２８。また、個々のビデオカメラは、ターゲット２２４の捕獲を容易にするターゲット２２４の速度を送信することができる。
【００２８】
空間格子位置決め手順の洗練段階にはターゲット２２４は不要であり、カメラネットワークを使用してシステム１００によって自動的に実行される４３０。個々のカメラは、大まかな訓練段階で、ネットワーク内における相互のカメラに対して、空間格子内におけるその位置を大まかに決定する。ターゲット２２４を捕獲することができた複数のカメラは、位置データをさらに洗練するために、異なる角度からの画像を同時に登録する４３２。相対位置データを洗練するために、ズーム係数が反復して増加され４３４、かつ、画像がさらに相関される。一対のカメラがそれらの視野内の２つの対象の位置を突き止める４３６と、それらの間の距離が決定される。ターゲット２２４の位置を同時に突き止めることができたカメラのあらゆる組合せの複数の対のカメラの較正が継続される４３８。次に、制限マッピングを使用して、カメラとカメラの間の距離および角度の値が格子中に統合される４４０。格子が、カメラの位置および個々のカメラがカバーする大まかな領域を示す４４２。空間格子位置決め手順によって生成されたデータベースを参照することにより、複数のカメラが、カバーされている領域内のターゲットの位置を自動的に突き止め、かつ、観察することができる４４４。
【００２９】
本明細書において説明されている実施形態は、ビデオ監視システムに関連して説明されているが、本明細書において説明されている、空間格子内における複数のアセンブリの位置を突き止める方法は、他の機械システムおよび電気機械システムと共に使用することができることを理解されたい。
【００３０】
上で説明したビデオ監視システムの実施形態によれば、オペレータによる１台のカメラを使用したターゲットの位置決めを可能にし、かつ、利用可能な他のすべてのカメラを使用した同じターゲットの自動位置決めを可能にするための、費用有効性が高く、かつ、信頼性の高い手段が提供される。
【００３１】
以上、ビデオ監視システムおよび装置の例示的実施形態について詳細に説明した。上で説明したビデオ監視システムコンポーネントは、本明細書において説明されている特定の実施形態に限定されず、それどころか、個々のシステムのコンポーネントは、本明細書において説明されている他のコンポーネントとは独立して、個別に利用することが可能である。たとえば、上で説明したビデオ監視システムコンポーネントは、異なるビデオ監視システムコンポーネントと組み合わせて使用することも可能である。
【００３２】
本明細書において説明されているシステムおよび方法の様々な実施形態の技術効果によれば、ターゲット認識を使用して、システム内における複数のカメラの相対位置が分かり、かつ、ターゲットを認識している個々のカメラがターゲット位置などのターゲットの特徴を他のカメラに送信するように複数のカメラを較正することにより、容易にビデオ監視システムを操作することができる。
【００３３】
以上、本発明について、様々な特定の実施形態に関連して説明したが、特許請求の範囲の各請求項の精神および範囲内の修正を加えて本発明を実践することができることは当業者には認識されよう。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施形態による例示的ビデオ監視システムを示す略図である。
【図２】図１に示すビデオ監視システムの代替実施形態の略平面図である。
【図３】ターゲット２２４（図２に示されている）の一例示的実施形態を方位０°、仰角５°の配向から見た斜視図である。
【図４】ターゲット２２４（図３に示されている）の例示的実施形態を方位４５°、仰角５°の配向から見た他の斜視図である。
【図５】ターゲット２２４（図３に示されている）の例示的実施形態を方位０°、仰角９０°の配向から見たさらに他の斜視図である。
【図６】ターゲット２２４（図３に示されている）の例示的実施形態を方位４５°、仰角９０°の配向から見たさらに他の斜視図である。
【図７】図１に示すカメラの一例示的実施形態の略ブロック図である。
【図８】個々のカメラの空間座標を決定し、かつ、カメラのネットワーク内における個々のカメラのカバレージを較正するための一例示的方法４００の流れ図である。
【技術分野】
【０００１】
本発明は一般にビデオ監視システムに関し、より詳細には空間格子内における複数のパン、チルトおよびズームカメラアセンブリの位置の決定に関する。
【背景技術】
【０００２】
知られている少なくともいくつかのビデオ監視システムは、個々のパン、チルトおよびズーム（ＰＴＺ）アセンブリと共にハウジング内に取り付けられた複数のビデオカメラを備えている。ＰＴＺにより、カメラの動きを制御し、カメラの観察領域と重要な対象または重要なロケーションを整列させることができる。メカニズムのズーム部分を使用してカメラの視野を調節することができる。ハウジングは、通常、エンクロージャおよび透明または半透明の半球ドームを備えている。ハウジングは、カメラおよびＰＴＺアセンブリが取り付けられるロケーションの環境からカメラを保護している。
【特許文献１】米国特許第５，２４３，４１８号公報
【特許文献２】米国特許第５，８６７，５８４号公報
【特許文献３】米国特許第６４３７８１９号公報
【特許文献４】米国特許第６７８９０３９号公報
【特許文献５】米国特許出願公開第２００５０１０４９５８号公報
【特許文献６】国際特許出願公開第０３０４４４５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
多くの視線妨害物が存在する広い領域をビデオで網羅するために、いくつかのアプリケーションでは複数のカメラがコーディネートされている。この広い領域は、たとえば、小売店の内部、倉庫の内部、構内の建物の内部および外部にカメラが配置された商業地域であってもよい。障害物は、場合によっては、領域を通って移動する重要なターゲットの追跡を困難にしている。また、ターゲットの追跡をある１つのカメラから他のカメラへ手動で切り換えるためには、どのカメラの視野にそのターゲットが移動するかを、領域内における個々の移動点毎に決定しなければならない。大型システムの場合、このような決定は厄介であり、また、場合によってはターゲットがすべてのカメラの視界から消えてしまうことがあるため、ターゲットの追跡を継続するためには、その前に複数のカメラのうちの少なくとも１つでそのターゲットを再度捕獲しなければならない。さらに、柱、円柱、積み重ねられた箱、衣類のラックあるいは他の小売商品などの障害物も場合によってはターゲットの追跡を困難にしている。
【課題を解決するための手段】
【０００４】
一実施形態では、ビデオ監視システムは、個々に視野を備えた複数のビデオカメラを備えており、カメラは、カメラ視野を変更するためのズーム、水平チルト軸の周りにカメラを回転させるためのチルト、および垂直パン軸の周りにカメラを回転させるためのパン、のうちの少なくとも１つを実施するように構成されている。システムは、さらに、少なくとも１つのビデオカメラの視野内の画像を表す信号を受け取り、受け取った信号を使用してターゲットを認識し、そのターゲットを認識しているカメラからそのターゲットへの方向を決定し、かつ、決定した方向を複数のビデオカメラのうちの他のカメラに送信するように構成されたプロセッサを備えている。
【０００５】
他の実施形態では、複数のビデオカメラを備えたビデオ監視システムを動作させる方法には、第２のビデオカメラに通信可能に結合された第１のビデオカメラを提供するステップと、第１のビデオカメラを使用してターゲットを認識するステップと、ターゲットの少なくとも１つの特徴を第１のビデオカメラから第２のビデオカメラへ送信するステップと、第２のビデオカメラを使用して、送信された特徴からターゲットを認識するステップとが含まれている。
【０００６】
さらに他の実施形態では、コンピュータ可読媒体の上に具体化された、ビデオ監視システムを動作させるためのコンピュータプログラムが提供される。システムは、第２のビデオカメラに通信可能に結合された第１のビデオカメラを備えており、プログラムには、第１のビデオカメラから受け取った信号からターゲットを認識し、次に、ターゲットの少なくとも１つの特徴を第１のビデオカメラから第２のビデオカメラへ送信し、かつ、第２のビデオカメラから受け取った信号から、送信された特徴を使用してターゲットを認識する少なくとも１つの命令セグメントが含まれている。
【発明を実施するための最良の形態】
【０００７】
本明細書において使用されているように、単数形で表現されている構成要素またはステップは、それが単数の構成要素またはステップであることが明記されていない場合、複数の構成要素またはステップが包含されているものとして理解されたい。また、本発明の「一実施形態」という表現の参照は、記述されている特徴を同じく組み込んだ実施形態がそれ以外には存在していないものとして解釈してはならない。
【０００８】
図１は、本発明の一実施形態による例示的ビデオ監視システム１００を略図で示したものである。ビデオ監視システム１００は、制御パネル１０２、ディスプレイモニタ１０４およびパン、チルトおよびズーム（ＰＴＺ）アセンブリ１０５を備えている。通常、カメラ１０６は、カメラ１０６が配置される環境からカメラ１０６を保護するためのドーム１１０を有するエンクロージャ１０８内に収納されている。一実施形態では、ドーム１１０は、カメラ１０６がエンクロージャ１０８の外側の環境の画像を捕獲することができ、かつ、カメラ１０６によって観察されている環境中の個人によるカメラ１０６の配向の決定を阻止することができるよう、着色されている。様々な代替実施形態では、ドーム１１０は着色されていない。例示的実施形態では、カメラ１０６は、垂直軸１１２の周りにパンさせる機能、水平軸１１４の周りにチルトさせる機能、およびレンズアセンブリ１１６を制御してカメラ１０６をズームさせる機能を備えている。たとえば、ＰＴＺアセンブリ１０５は、パン電動機およびエンコーダ１１３ならびにチルト電動機およびエンコーダ１１５を備えている。これらのエンコーダによってパン電動機およびチルト電動機の角位置が決定され、視野内の領域を決定するためにズーム設定値と共に使用される位置信号が生成される。矢印１１８は、カメラ１０６のパニング運動を表しており、矢印１２０は、カメラ１０６のチルティング運動を表している。また、矢印１２２は、カメラ１０６のレンズアセンブリ１１６の焦点距離の変化すなわちズーミングを表している。座標系１２４を参照して示されているように、パニング運動は、ｘ軸に沿った運動を追跡することができ、チルティング運動は、ｙ軸に沿った運動を追跡することができる。また、焦点距離調整を使用してｚ軸に沿った運動を追跡することができる。このような機能を制御するためのコマンドを表す信号は、制御パネル１０２から制御データ線路１２６を介して送信される。画像データ信号は、カメラ１０６からビデオデータ線路１３０を介してディスプレイモニタ１０４および記憶装置１２８へ送信される。
【０００９】
レンズアセンブリ１１６は、制御パネル１０２から離れたロケーションであってもよい、視野１３４内に存在している、レンズアセンブリ１１６の視軸１３６に沿ったロケーション１３２の領域を見ている。ロケーション１３２の画像は、カメラ１０６によって電気ビデオ信号に変換され、ディスプレイモニタ１０４に送信される。
【００１０】
例示的実施形態では、制御パネル１０２は、パンコマンドおよびチルトコマンドを生成するために使用されるＸ−Ｙ制御ジョイスティック１４０を備えている。複数のロッカー型スイッチ１４２を使用して、レンズアセンブリ１１６のズーム１４４、焦点１４６およびアイリス１４８が制御される。代替実施形態では、ジョイスティック１４０は、カメラ１０６のズームを制御するために使用されるツイストアクチュエーションを備えている。また、ジョイスティック１４０は、システム１００に関連する様々な制御の操作を容易にするためのトリガおよび／またはボタンを組み込むことも可能である。制御パネル１０２は、さらに、数字および値を入力するための数値キーパッド１５０を備えている。代替実施形態では、制御パネル１０２は、テキストならびに数字を入力するための英字キーパッドまたは英数字キーパッド（図示せず）を備えることができる。制御パネル１０２は、さらに、カメラ１０６および／またはレンズアセンブリ１１６の動作を自動的に制御するマクロを実行するようにプログラムすることができる複数のプリセットスイッチ１５２を備えている。たとえば所定の制御機能および／またはユーザ定義機能、たとえばマルチカメラビデオ監視システムにおけるカメラ選択のために複数のボタン１５４を使用することができる。ディスプレイ１５６を使用して、ビデオ監視システム１００の状態を表示することができ、あるいはディスプレイ１５６を使用して、選択されたカメラに関連するパラメータを表示することができる。
【００１１】
例示的実施形態では、ビデオ監視システム１００は、単一カメラアプリケーションであるが、より広い監視領域またはより複雑な監視領域をカバーするために、追加カメラ（カメラは静止型カメラまたは可動カメラのいずれであってもよく、あるいはそれらの何らかの組合せであってもよい）を有するより大型の監視システムに本発明の様々な実施形態を使用することができる。代替実施形態では、カメラ１３およびシステム１００内の他のカメラによって捕獲されたビデオ画像を記録するために、制御パネル３２に１つまたは複数のビデオレコーダ（図示せず）が接続されている。
【００１２】
図２は、ビデオ監視システム１００（図１に示すシステム）の代替実施形態を略平面図で示したものである。ビデオ監視システム２００はシステム１００の拡張バージョンであり、監視中の領域２１２の周りに間隔を隔てて配置された複数のビデオカメラ２０２、２０４、２０６、２０８および２１０を備えている。システム２００のコンポーネントで、システム１００（図１に示すシステム）のコンポーネントと全く同じコンポーネントは、図２には、図１に使用されている参照数表示と同じ参照数表示を使用して識別されている。システム２００に含まれているカメラは、もっと多くすることも、あるいはもっと少なくすることも可能である。
【００１３】
システム２００は、システム２００を制御するためのコンポーネントが配置され、また、ユーザが位置する制御室２１４を備えている。個々のカメラは、制御パネル１０２およびディスプレイモニタ１０４に通信可能に結合されている。例示的実施形態では、監視中の領域２１２は倉庫として示されているが、システム２００を使用して任意の商業施設、住宅施設または工業施設を監視することも可能である。例示的実施形態では、監視中の領域２１２は、監視中の領域２１２の内部の周囲を画定している壁２１６、および内部を部屋２２０に分割している壁２１８を備えている。棚ユニット２２２などの他の障害物は、通常、カメラ１０６、２０２、２０４、２０６、２０８および２１０の視野の少なくとも一部を遮っている。
【００１４】
動作中、ネットワーク内の複数のビデオカメラの性能は、個々のカメラの空間座標（Ｘ、Ｙ、Ｚ）が分かり、かつ、個々のカメラのカバレージが較正されると改善される。このような情報は、複数のカメラを使用して異なる角度から同じターゲットの位置を個別に突き止める場合に使用される。例示的実施形態では、複数のカメラの較正は、大まかな訓練段階と洗練段階の２段階で実行される。
【００１５】
カメラのネットワークの大まかな訓練は、模擬ターゲット２２４を使用して実行される。例示的実施形態では、ターゲット２２４は、その環境に固有の特徴、たとえばターゲット２２４の形、大きさ、色、パターンなどを有する球のクラスタを備えている。個々の球の大きさは、直径約２フィートである。ターゲット２２４の例示的実施形態は、カメラがターゲットを指している間に、ターゲットの視点からのカメラの角度をそのカメラからの画像から引き出すことができる特性を有している。この角度は、ターゲット−カメラ角と呼ばれており、方位および仰角としてより一般的に知られている垂直成分および水平成分が含まれている。
【００１６】
ターゲット２２４は、ネットワーク内の複数のカメラのうちの任意の１つ、この実施例ではカメラ１０６の視野領域２２６内に所定の正規ターゲット距離２２８で配置されている。ターゲット２２４の位置を突き止めるためのコマンドがカメラ１０６に送信され、カメラ１０６は、候補ターゲットが見つかるまで視野領域２２６の探索を実行する。探索は、カメラ１０６からビデオ信号を受信している間に実行されるパンコマンド、チルトコマンドおよび／またはズームコマンドの事前プログラム済みセットまたは動的セットである。ビデオ信号とメモリに記憶されているターゲットの特徴が比較され、比較の結果が所定の閾値基準と合致すると、ターゲット候補としてその識別された対象にタグが振られ、引き続いて完了するまで探索が継続される。個々のカメラは、ユーザが選択することができ、もしくは探索の最適化を容易にするために使用される学習アルゴリズムが選択することができ、あるいは人間オペレータの支援を得て選択することができる、記憶されている所定の探索コマンドのセットを有することができる。探索は、パンコマンド、チルトコマンドおよび／またはズームコマンドのプログラム済みセットの最後のコマンドを実行することによって終了させることができ、あるいは任意の時間、たとえば１つまたは複数のターゲット候補が識別された時点で終了させることができる。ターゲット２２４の捕獲は、ターゲット２２４を視野領域２２６内を移動させることによって確認される。カメラ１０６は、カメラ１０６がターゲット２２４を捕獲している場合、ターゲット２２４が視野領域２２６内を移動している間、ターゲット２２４を指した状態を維持する。基準ターゲットの捕獲が確認されると、カメラ１０６は、ターゲット２２４の形、大きさ、色およびパターンなどのターゲット２２４の特徴をネットワーク内の少なくとも１つの他のカメラに送信する。
【００１７】
カメラ１０６に対する大まかな訓練が完了すると、ネットワークを較正するためのコマンドがシステム１００のすべてのカメラに送られる。ビデオカメラ２０２、２０４、２０６、２０８および２１０の各々は、それぞれの視野領域内のターゲット２２４を探索するコマンドを実行する。ターゲット２２４は、ターゲット２２４が個々のビデオカメラ２０２、２０４、２０６、２０８および２１０の視野領域を通過する際に、個々のカメラがターゲット２２４を検出し、かつ、認識するよう、監視中の領域２１２内に再配置される。ビデオカメラ２０２、２０４、２０６、２０８および２１０の各々のターゲット−カメラ角パラメータ、パンパラメータ、チルトパラメータおよびズームパラメータは、ネットワーク内のビデオカメラどうしで互いに送信される。様々な実施形態では、ターゲット−カメラ角パラメータ、パンパラメータ、チルトパラメータおよびズームパラメータは、ビデオカメラどうしで互いに実時間で連続的に送信される。本明細書において使用されているように、実時間とは、結果に影響を及ぼす入力が変化した後の実質的に短期間の間に生じる結果を意味している。この期間は、定期的に繰り返されるタスクの反復と反復の間の時間の量であってもよい。このような反復タスクは、周期タスクと呼ばれている。この時間期間は、結果の重要性および／または結果を生成するために入力の処理を実施するシステムの能力に基づいて選択することができる実時間システムの設計パラメータであり、あるいはシステムを構成しているコンポーネントに固有の遅延であってもよい。他の実施形態では、ターゲット−カメラ角パラメータ、パンパラメータ、チルトパラメータおよびズームパラメータは、ビデオカメラどうしで互いに周期的に送信される。個々のカメラのパンパラメータ、チルトパラメータおよびズームパラメータをカメラどうしで互いに送信することにより、ターゲット２２４の位置を突き止めるために指し示す方向を個々のビデオカメラが決定することができる。
【００１８】
空間格子位置決め手順の洗練段階にはターゲット２２４は不要であり、カメラネットワークを使用してシステム１００によって自動的に実行される。個々のカメラは、大まかな訓練段階で、ネットワーク内における相互のカメラに対して、空間格子内におけるその位置を大まかに決定する。ターゲット２２４を捕獲することができた複数のカメラは、位置データをさらに洗練するために、異なる角度からの画像を同時に登録する。相対位置データを洗練するために、ズーム係数が反復して増加され、画像がさらに相関される。一対のカメラがそれらの視野内の２つの対象の位置を突き止めると、カメラとカメラの間の距離および相対角度を決定することができる。ターゲット２２４の位置を同時に突き止めることができたカメラのあらゆる組合せの複数の対のカメラの較正が継続される。次に、制限マッピングを使用して、カメラとカメラの間の距離の値が格子中に統合される。格子は、カメラが置かれている場所および個々のカメラがカバーする大まかな領域を示している。空間格子位置決め手順によって生成されたデータベースを参照することにより、複数のカメラが、カバーされている領域内のターゲットの位置を自動的に突き止め、かつ、観察することができる。
【００１９】
図３は、ターゲット２２４（図２に示されている）の一例示的実施形態を方位０°、仰角５°の配向から見た斜視図である。図４は、ターゲット２２４（図３に示されている）の例示的実施形態を方位４５°、仰角５°の配向から見た他の斜視図である。図５は、ターゲット２２４（図３に示されている）の例示的実施形態を方位０°、仰角９０°の配向から見たさらに他の斜視図である。図６は、ターゲット２２４（図３に示されている）の例示的実施形態を方位４５°、仰角９０°の配向から見たさらに他の斜視図である。
【００２０】
図７は、カメラ１０６（図１に示されている）の一例示的実施形態を略ブロック図で示したものである。プロセッサ３１０は、プログラムされた命令をソフトウェアまたはファームウェアから受け取り、また、メモリ３０８からデータを受け取り、受け取ったデータおよび命令を使用して様々な演算を実行している。プロセッサ３１０は、算術演算および論理演算を実行する論理演算装置（ＡＬＵ）、およびメモリ３０８から命令を引き出し、かつ、引き出した命令を解読し、必要に応じてＡＬＵを呼び出して実行する制御ユニットを備えることができる。メモリ３０８は、通常、ランダムアクセスメモリ（ＲＡＭ）およびリードオンリメモリ（ＲＯＭ）を備えているが、場合によっては、プログラマブルリードオンリメモリ（ＰＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ）および電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）などの他のタイプのメモリも存在している。また、メモリ３０８は、プロセッサ３１０上で実行するオペレーティングシステムを備えることも可能である。オペレーティングシステムは、入力の認識、出力装置への出力の送信、ファイルおよびディレクトリのトラックの維持、および様々な周辺装置の制御を始めとする基本タスクを実行する。
【００２１】
画像アセンブリ３１２は、レンズアセンブリ１１６を介して受け取る光を視野１３４の画像を表す電気信号に変換している。この電気信号は、プロセッサ３１０を介してモニタ１０４または記憶装置１２８に送信される。本明細書において使用されているように、プロセッサという用語は、中央処理装置、マイクロプロセッサ、マイクロコントローラ、縮小命令セット回路（ＲＩＳＣ）、専用集積回路（ＡＳＩＣ）、論理回路および本明細書において説明されている機能を実行することができる他の任意の回路またはプロセッサを意味している。メモリ３０８は、複数のプリセットスイッチ１４２のうちの１つを使用してアクセスすることができるプリセットマクロ命令のための記憶位置を備えることができる。
【００２２】
本明細書において使用されているように、「ソフトウェア」および「ファームウェア」という用語は、交換可能であり、プロセッサ３１０によって実行するために、たとえばＲＡＭメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリおよび不揮発性ＲＡＭ（ＮＶＲＡＭ）メモリを始めとするメモリに記憶されているあらゆるコンピュータプログラムが含まれている。上に挙げたタイプのメモリは、単に例示的なものにすぎず、したがってコンピュータプログラムを記憶するために使用することができるタイプのメモリに限定されない。
【００２３】
様々な実施形態では、プロセッサ３１０およびメモリ３０８は、カメラ１０６の外部に配置されており、たとえば制御パネル１０２の中、あるいは本明細書において説明されている機能を実行することができるＰＣもしくは他の独立型コンピュータシステムまたはメインフレームコンピュータシステムの中に配置されている。
【００２４】
図８は、個々のカメラの空間座標（Ｘ、ＹおよびＺ）を決定し、かつ、カメラのネットワーク内における個々のカメラのカバレージを較正するための一例示的方法４００の流れ図である。このような情報は、複数のカメラを使用して異なる角度から同じターゲットの位置を個別に突き止める場合に使用される。例示的実施形態では、複数のカメラの較正は、大まかな訓練段階と洗練段階の２段階で実行される。
【００２５】
模擬ターゲット２２４を使用してカメラのネットワークの大まかな訓練４０２が実行される。例示的実施形態では、ターゲット２２４は、丸い物体のクラスタであり、その環境に固有の特徴、たとえば形、大きさ、色およびパターンなどを有している。模擬ターゲットは、カメラからターゲットまでの角度を予測することができる特性を有している。この角度は、方位および仰角としてより一般的に知られている垂直成分および水平成分を有している。
【００２６】
ネットワーク内の複数のカメラのうちの任意の１つ、この実施例ではカメラ１０６の視野領域２２６内に所定の正規ターゲット距離２２８でターゲット２２４が配置される４０４。ターゲット２２４の位置を突き止めるためのコマンドがカメラ１０６に送信され、カメラ１０６が、候補ターゲットが見つかるまで視野領域２２６の探索を実行する４０６。探索は、カメラ１０６からビデオ信号を受信している間に実行されるパンコマンド、チルトコマンドおよび／またはズームコマンドのプログラム済みセットである。このビデオ信号とメモリに記憶されているターゲットの特徴が比較され４０８、比較の結果が所定の閾値基準と合致すると、ターゲット候補としてその識別された対象にタグが振られ４１０、引き続いて完了するまで探索が継続される４１２。個々のカメラは、ユーザが選択することができ、あるいは探索の最適化を容易にするために使用される学習アルゴリズムが選択することができる、記憶されている所定の探索コマンドのセットを有することができる。探索は、パンコマンド、チルトコマンドおよび／またはズームコマンドのプログラム済みセットの最後のコマンドを実行することによって終了させることができ、あるいは任意の時間、たとえば１つまたは複数のターゲット候補が識別された時点で終了させることができる。ターゲット２２４を視野領域２２６内を移動させることによってターゲット２２４の捕獲が確認される４１４。カメラ１０６は、カメラ１０６がターゲット２２４を捕獲している場合、ターゲット２２４が視野領域２２６内を移動している間、ターゲット２２４を指した状態を維持する。基準ターゲットの捕獲が確認されると、カメラ１０６は、ターゲット２２４の形、大きさ、色、パターンおよび移動速度などのターゲット２２４の特徴をネットワーク内の少なくとも１つの他のカメラに送信する４１６。
【００２７】
カメラ１０６に対する訓練が完了すると、ネットワークを較正するためのコマンドがシステム１００のすべてのカメラに送信される４１８。ビデオカメラ２０２、２０４、２０６、２０８および２１０の各々が、それぞれの視野領域内のターゲット２２４を探索するコマンドを実行する４２０。ターゲット２２４が個々のビデオカメラ２０２、２０４、２０６、２０８および２１０の視野領域を通過する際に、個々のカメラがターゲット２２４を検出し、かつ、認識する４２４よう、ターゲット２２４が監視中の領域２１２内に再配置される４２２。ビデオカメラ２０２、２０４、２０６、２０８および２１０の各々のパンパラメータ、チルトパラメータおよびズームパラメータが、ネットワーク内のビデオカメラどうしで互いに送信される４２６。様々な実施形態では、パンパラメータ、チルトパラメータおよびズームパラメータは、ビデオカメラどうしで互いに実時間で連続的に送信される。本明細書において使用されているように、実時間とは、結果に影響を及ぼす入力が変化した後の実質的に短期間の間に生じる結果を意味している。この期間は、定期的に繰り返されるタスクの反復と反復の間の時間の量であってもよい。このような反復タスクは、周期タスクと呼ばれている。この時間期間は、結果の重要性および／または結果を生成するために入力の処理を実施するシステムの能力に基づいて選択することができる実時間システムの設計パラメータであり、あるいはシステムを構成しているコンポーネントに固有の遅延であってもよい。他の実施形態では、パンパラメータ、チルトパラメータおよびズームパラメータは、ビデオカメラどうしで互いに周期的に送信される。個々のカメラのパンパラメータ、チルトパラメータおよびズームパラメータをカメラどうしで互いに送信することにより、ターゲット２２４の位置を突き止めるために指し示す方向を個々のビデオカメラが決定することができる４２８。また、個々のビデオカメラは、ターゲット２２４の捕獲を容易にするターゲット２２４の速度を送信することができる。
【００２８】
空間格子位置決め手順の洗練段階にはターゲット２２４は不要であり、カメラネットワークを使用してシステム１００によって自動的に実行される４３０。個々のカメラは、大まかな訓練段階で、ネットワーク内における相互のカメラに対して、空間格子内におけるその位置を大まかに決定する。ターゲット２２４を捕獲することができた複数のカメラは、位置データをさらに洗練するために、異なる角度からの画像を同時に登録する４３２。相対位置データを洗練するために、ズーム係数が反復して増加され４３４、かつ、画像がさらに相関される。一対のカメラがそれらの視野内の２つの対象の位置を突き止める４３６と、それらの間の距離が決定される。ターゲット２２４の位置を同時に突き止めることができたカメラのあらゆる組合せの複数の対のカメラの較正が継続される４３８。次に、制限マッピングを使用して、カメラとカメラの間の距離および角度の値が格子中に統合される４４０。格子が、カメラの位置および個々のカメラがカバーする大まかな領域を示す４４２。空間格子位置決め手順によって生成されたデータベースを参照することにより、複数のカメラが、カバーされている領域内のターゲットの位置を自動的に突き止め、かつ、観察することができる４４４。
【００２９】
本明細書において説明されている実施形態は、ビデオ監視システムに関連して説明されているが、本明細書において説明されている、空間格子内における複数のアセンブリの位置を突き止める方法は、他の機械システムおよび電気機械システムと共に使用することができることを理解されたい。
【００３０】
上で説明したビデオ監視システムの実施形態によれば、オペレータによる１台のカメラを使用したターゲットの位置決めを可能にし、かつ、利用可能な他のすべてのカメラを使用した同じターゲットの自動位置決めを可能にするための、費用有効性が高く、かつ、信頼性の高い手段が提供される。
【００３１】
以上、ビデオ監視システムおよび装置の例示的実施形態について詳細に説明した。上で説明したビデオ監視システムコンポーネントは、本明細書において説明されている特定の実施形態に限定されず、それどころか、個々のシステムのコンポーネントは、本明細書において説明されている他のコンポーネントとは独立して、個別に利用することが可能である。たとえば、上で説明したビデオ監視システムコンポーネントは、異なるビデオ監視システムコンポーネントと組み合わせて使用することも可能である。
【００３２】
本明細書において説明されているシステムおよび方法の様々な実施形態の技術効果によれば、ターゲット認識を使用して、システム内における複数のカメラの相対位置が分かり、かつ、ターゲットを認識している個々のカメラがターゲット位置などのターゲットの特徴を他のカメラに送信するように複数のカメラを較正することにより、容易にビデオ監視システムを操作することができる。
【００３３】
以上、本発明について、様々な特定の実施形態に関連して説明したが、特許請求の範囲の各請求項の精神および範囲内の修正を加えて本発明を実践することができることは当業者には認識されよう。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施形態による例示的ビデオ監視システムを示す略図である。
【図２】図１に示すビデオ監視システムの代替実施形態の略平面図である。
【図３】ターゲット２２４（図２に示されている）の一例示的実施形態を方位０°、仰角５°の配向から見た斜視図である。
【図４】ターゲット２２４（図３に示されている）の例示的実施形態を方位４５°、仰角５°の配向から見た他の斜視図である。
【図５】ターゲット２２４（図３に示されている）の例示的実施形態を方位０°、仰角９０°の配向から見たさらに他の斜視図である。
【図６】ターゲット２２４（図３に示されている）の例示的実施形態を方位４５°、仰角９０°の配向から見たさらに他の斜視図である。
【図７】図１に示すカメラの一例示的実施形態の略ブロック図である。
【図８】個々のカメラの空間座標を決定し、かつ、カメラのネットワーク内における個々のカメラのカバレージを較正するための一例示的方法４００の流れ図である。
【特許請求の範囲】
【請求項１】
ビデオ監視システムであって、
個々に視野を備えた複数のビデオカメラであって、前記カメラが、前記カメラ視野を変更するためのズーム、水平チルト軸の周りに前記カメラを回転させるためのチルト、および垂直パン軸の周りに前記カメラを回転させるためのパン、のうちの少なくとも１つを実施するように構成された複数のビデオカメラと、
プロセッサであって、
少なくとも１つのビデオカメラの前記視野内の画像を表す信号を受け取り、
前記受け取った信号を使用してターゲットを認識し、
前記ターゲットを認識している前記カメラから前記ターゲットへの方向を決定し、
前記ターゲットから前記カメラへの方向を決定し、
前記カメラからの前記ターゲットの前記決定された方向および前記ターゲットからの前記カメラの前記決定された方向を前記複数のビデオカメラのうちの他のカメラに送信する
ように構成されたプロセッサと
を備えたビデオ監視システム。
【請求項２】
前記複数のビデオカメラが、前記複数のビデオカメラのうちの少なくともいくつかのビデオカメラの前記視野の少なくとも一部と、前記複数のビデオカメラのうちの少なくともいくつかの他のビデオカメラの前記視野の少なくとも一部が重畳するように、監視中の領域の周りに間隔を隔てて配置された、請求項１記載のシステム。
【請求項３】
前記プロセッサが、前記ターゲットの少なくとも１つの特徴を認識するように構成された、請求項１記載のシステム。
【請求項４】
前記プロセッサが、前記ターゲットの形、大きさ、色およびパターンのうちの少なくとも１つを認識するように構成された、請求項３記載のシステム。
【請求項５】
前記プロセッサが、前記ターゲットの所定の特徴を使用して、複数の可能ターゲットからターゲットを自動的に選択するように構成された、請求項１記載のシステム。
【請求項６】
前記プロセッサが、前記ビデオカメラの視野内の前記ターゲットの維持を容易にするカメラ移動コマンドを生成するように構成された、請求項１記載のシステム。
【請求項７】
前記プロセッサが、相互のビデオカメラの探索パターンを画定するカメラ移動コマンドを生成するように構成された、請求項１記載のシステム。
【請求項８】
前記プロセッサが、前記ターゲットに対する前記決定された方向を探索する前記複数のビデオカメラのうちの所定のビデオカメラに対する探索パターンを生成するように構成された、請求項１記載のシステム。
【請求項９】
前記プロセッサが、前記ビデオ監視システムの相互のカメラに対する個々のカメラの相対位置を含むデータベースを生成するように構成された、請求項１記載のシステム。
【請求項１０】
複数のビデオカメラを備えたビデオ監視システムを動作させる方法であって、
第２のビデオカメラに通信可能に結合された第１のビデオカメラを提供するステップと、
前記第１のビデオカメラを使用してターゲットを認識するステップと、
前記ターゲットの少なくとも１つの特徴を前記第１のビデオカメラから前記第２のビデオカメラへ送信するステップと、
前記第２のビデオカメラを使用して、前記送信された特徴から前記ターゲットを認識するステップと
を含む方法。
【請求項１１】
第２のビデオカメラに通信可能に結合された第１のビデオカメラを提供するステップが、ビデオ監視システムプロセッサを介して前記第１のビデオカメラと第２のビデオカメラの間で通信するステップを含む、請求項１０記載の方法。
【請求項１２】
前記第１のビデオカメラを使用してターゲットを認識するステップが、前記ターゲットの形、大きさ、色、パターンおよび移動速度のうちの少なくとも１つを決定するステップを含む、請求項１０記載の方法。
【請求項１３】
前記第１のビデオカメラを使用してターゲットを認識するステップが、前記ターゲットの所定の特徴を使用して、複数の可能ターゲットからターゲットを自動的に選択するステップを含む、請求項１０記載の方法。
【請求項１４】
前記第１のビデオカメラを使用してターゲットを認識するステップが、前記第１のビデオカメラの視野内の前記ターゲットの維持を容易にするカメラ移動コマンドを生成するステップを含む、請求項１０記載の方法。
【請求項１５】
前記第２のビデオカメラを使用して、前記送信された特徴から前記ターゲットを認識するステップが、第２のビデオカメラに対する探索パターンを画定するカメラ移動コマンドを生成するステップを含む、請求項１０記載の方法。
【請求項１６】
前記第２のビデオカメラを使用して、前記送信された特徴から前記ターゲットを認識するステップが、前記第２のビデオカメラの視野領域の前記ターゲットの探索を実行するステップを含み、前記視野領域が、すべてのパン位置、チルト位置およびズーム位置におけるカメラ視野を表す、請求項１０記載の方法。
【請求項１７】
前記第１のビデオカメラおよび前記第２のビデオカメラを同時に使用して前記ターゲットを認識するステップと、
前記第１のビデオカメラおよび前記第２のビデオカメラの視野のベクトルを決定するステップと、
前記第１のビデオカメラおよび前記第２のビデオカメラの相互の相対位置を前記決定されたベクトルを使用して決定するステップと
をさらに含む、請求項１０記載の方法。
【請求項１８】
前記複数のビデオカメラの相互のビデオカメラに対する相対位置を決定するために、
前記複数のビデオカメラの視野領域を通って前記ターゲットを移動させるステップと、
前記複数のビデオカメラのうちの少なくとも２つを同時に使用して前記ターゲットを認識するステップと、
前記ビデオカメラの前記視野のベクトルを決定するステップと、
前記ビデオカメラの相互の相対位置を前記決定されたベクトルを使用して決定するステップと
を反復して実行するステップをさらに含む、請求項１７記載の方法。
【請求項１９】
コンピュータ可読媒体の上に具体化された、第２のビデオカメラに通信可能に結合された第１のビデオカメラを備えたビデオ監視システムを動作させるためのコンピュータプログラムであって、前記第１のビデオカメラから受け取った信号からターゲットを認識し、次に、
前記ターゲットの少なくとも１つの特徴を前記第１のビデオカメラから前記第２のビデオカメラへ送信し、かつ、
前記第２のビデオカメラから受け取った信号から、前記送信された特徴を使用して前記ターゲットを認識する
少なくとも１つの命令セグメントを含むコンピュータプログラム。
【請求項２０】
前記ターゲットの決定された形、大きさ、色、パターンおよび移動速度のうちの少なくとも１つを使用して前記ターゲットを認識する少なくとも１つの命令セグメントをさらに含む、請求項１９記載のコンピュータプログラム。
【請求項１】
ビデオ監視システムであって、
個々に視野を備えた複数のビデオカメラであって、前記カメラが、前記カメラ視野を変更するためのズーム、水平チルト軸の周りに前記カメラを回転させるためのチルト、および垂直パン軸の周りに前記カメラを回転させるためのパン、のうちの少なくとも１つを実施するように構成された複数のビデオカメラと、
プロセッサであって、
少なくとも１つのビデオカメラの前記視野内の画像を表す信号を受け取り、
前記受け取った信号を使用してターゲットを認識し、
前記ターゲットを認識している前記カメラから前記ターゲットへの方向を決定し、
前記ターゲットから前記カメラへの方向を決定し、
前記カメラからの前記ターゲットの前記決定された方向および前記ターゲットからの前記カメラの前記決定された方向を前記複数のビデオカメラのうちの他のカメラに送信する
ように構成されたプロセッサと
を備えたビデオ監視システム。
【請求項２】
前記複数のビデオカメラが、前記複数のビデオカメラのうちの少なくともいくつかのビデオカメラの前記視野の少なくとも一部と、前記複数のビデオカメラのうちの少なくともいくつかの他のビデオカメラの前記視野の少なくとも一部が重畳するように、監視中の領域の周りに間隔を隔てて配置された、請求項１記載のシステム。
【請求項３】
前記プロセッサが、前記ターゲットの少なくとも１つの特徴を認識するように構成された、請求項１記載のシステム。
【請求項４】
前記プロセッサが、前記ターゲットの形、大きさ、色およびパターンのうちの少なくとも１つを認識するように構成された、請求項３記載のシステム。
【請求項５】
前記プロセッサが、前記ターゲットの所定の特徴を使用して、複数の可能ターゲットからターゲットを自動的に選択するように構成された、請求項１記載のシステム。
【請求項６】
前記プロセッサが、前記ビデオカメラの視野内の前記ターゲットの維持を容易にするカメラ移動コマンドを生成するように構成された、請求項１記載のシステム。
【請求項７】
前記プロセッサが、相互のビデオカメラの探索パターンを画定するカメラ移動コマンドを生成するように構成された、請求項１記載のシステム。
【請求項８】
前記プロセッサが、前記ターゲットに対する前記決定された方向を探索する前記複数のビデオカメラのうちの所定のビデオカメラに対する探索パターンを生成するように構成された、請求項１記載のシステム。
【請求項９】
前記プロセッサが、前記ビデオ監視システムの相互のカメラに対する個々のカメラの相対位置を含むデータベースを生成するように構成された、請求項１記載のシステム。
【請求項１０】
複数のビデオカメラを備えたビデオ監視システムを動作させる方法であって、
第２のビデオカメラに通信可能に結合された第１のビデオカメラを提供するステップと、
前記第１のビデオカメラを使用してターゲットを認識するステップと、
前記ターゲットの少なくとも１つの特徴を前記第１のビデオカメラから前記第２のビデオカメラへ送信するステップと、
前記第２のビデオカメラを使用して、前記送信された特徴から前記ターゲットを認識するステップと
を含む方法。
【請求項１１】
第２のビデオカメラに通信可能に結合された第１のビデオカメラを提供するステップが、ビデオ監視システムプロセッサを介して前記第１のビデオカメラと第２のビデオカメラの間で通信するステップを含む、請求項１０記載の方法。
【請求項１２】
前記第１のビデオカメラを使用してターゲットを認識するステップが、前記ターゲットの形、大きさ、色、パターンおよび移動速度のうちの少なくとも１つを決定するステップを含む、請求項１０記載の方法。
【請求項１３】
前記第１のビデオカメラを使用してターゲットを認識するステップが、前記ターゲットの所定の特徴を使用して、複数の可能ターゲットからターゲットを自動的に選択するステップを含む、請求項１０記載の方法。
【請求項１４】
前記第１のビデオカメラを使用してターゲットを認識するステップが、前記第１のビデオカメラの視野内の前記ターゲットの維持を容易にするカメラ移動コマンドを生成するステップを含む、請求項１０記載の方法。
【請求項１５】
前記第２のビデオカメラを使用して、前記送信された特徴から前記ターゲットを認識するステップが、第２のビデオカメラに対する探索パターンを画定するカメラ移動コマンドを生成するステップを含む、請求項１０記載の方法。
【請求項１６】
前記第２のビデオカメラを使用して、前記送信された特徴から前記ターゲットを認識するステップが、前記第２のビデオカメラの視野領域の前記ターゲットの探索を実行するステップを含み、前記視野領域が、すべてのパン位置、チルト位置およびズーム位置におけるカメラ視野を表す、請求項１０記載の方法。
【請求項１７】
前記第１のビデオカメラおよび前記第２のビデオカメラを同時に使用して前記ターゲットを認識するステップと、
前記第１のビデオカメラおよび前記第２のビデオカメラの視野のベクトルを決定するステップと、
前記第１のビデオカメラおよび前記第２のビデオカメラの相互の相対位置を前記決定されたベクトルを使用して決定するステップと
をさらに含む、請求項１０記載の方法。
【請求項１８】
前記複数のビデオカメラの相互のビデオカメラに対する相対位置を決定するために、
前記複数のビデオカメラの視野領域を通って前記ターゲットを移動させるステップと、
前記複数のビデオカメラのうちの少なくとも２つを同時に使用して前記ターゲットを認識するステップと、
前記ビデオカメラの前記視野のベクトルを決定するステップと、
前記ビデオカメラの相互の相対位置を前記決定されたベクトルを使用して決定するステップと
を反復して実行するステップをさらに含む、請求項１７記載の方法。
【請求項１９】
コンピュータ可読媒体の上に具体化された、第２のビデオカメラに通信可能に結合された第１のビデオカメラを備えたビデオ監視システムを動作させるためのコンピュータプログラムであって、前記第１のビデオカメラから受け取った信号からターゲットを認識し、次に、
前記ターゲットの少なくとも１つの特徴を前記第１のビデオカメラから前記第２のビデオカメラへ送信し、かつ、
前記第２のビデオカメラから受け取った信号から、前記送信された特徴を使用して前記ターゲットを認識する
少なくとも１つの命令セグメントを含むコンピュータプログラム。
【請求項２０】
前記ターゲットの決定された形、大きさ、色、パターンおよび移動速度のうちの少なくとも１つを使用して前記ターゲットを認識する少なくとも１つの命令セグメントをさらに含む、請求項１９記載のコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公表番号】特表２００９−５１６４８０（Ｐ２００９−５１６４８０Ａ）
【公表日】平成２１年４月１６日（２００９．４．１６）
【国際特許分類】
【出願番号】特願２００８−５４１３１４（Ｐ２００８−５４１３１４）
【出願日】平成１８年１１月１５日（２００６．１１．１５）
【国際出願番号】ＰＣＴ／ＵＳ２００６／０４４３７２
【国際公開番号】ＷＯ２００７／０６１７２４
【国際公開日】平成１９年５月３１日（２００７．５．３１）
【出願人】（３９００４１５４２）ゼネラル・エレクトリック・カンパニイ (6,332)
【氏名又は名称原語表記】ＧＥＮＥＲＡＬ ＥＬＥＣＴＲＩＣ ＣＯＭＰＡＮＹ
【Ｆターム（参考）】
【公表日】平成２１年４月１６日（２００９．４．１６）
【国際特許分類】
【出願日】平成１８年１１月１５日（２００６．１１．１５）
【国際出願番号】ＰＣＴ／ＵＳ２００６／０４４３７２
【国際公開番号】ＷＯ２００７／０６１７２４
【国際公開日】平成１９年５月３１日（２００７．５．３１）
【出願人】（３９００４１５４２）ゼネラル・エレクトリック・カンパニイ (6,332)
【氏名又は名称原語表記】ＧＥＮＥＲＡＬ ＥＬＥＣＴＲＩＣ ＣＯＭＰＡＮＹ
【Ｆターム（参考）】
[ Back to top ]