時系列データに基づいてカメラを方向付けるための方法及びシステム
【課題】時系列データに基づいてカメラを方向付けるためのシステムおよび方法を提供する。
【解決手段】指定されたアトミックアクティビティーの時空間的パターンを与えるステップであって、該時空間的パターンは前記アトミックアクティビティーの時間及びロケーションのみに基づき、それによって前記アトミックアクティビティーの時空間的シーケンスが指定されたプリミティブアクティビティーを形成し、与えるステップと、時系列データにおいて、結果を生成するために、前記時空間的パターンに対応する検知されたプリミティブアクティビティーを検出するステップと、前記結果に基づいてカメラを方向付けるステップとを含む。
【解決手段】指定されたアトミックアクティビティーの時空間的パターンを与えるステップであって、該時空間的パターンは前記アトミックアクティビティーの時間及びロケーションのみに基づき、それによって前記アトミックアクティビティーの時空間的シーケンスが指定されたプリミティブアクティビティーを形成し、与えるステップと、時系列データにおいて、結果を生成するために、前記時空間的パターンに対応する検知されたプリミティブアクティビティーを検出するステップと、前記結果に基づいてカメラを方向付けるステップとを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は包括的には監視システムに関し、より詳細には、環境から入手される時系列監視データに基づいてカメラを方向付けることに関する。
【背景技術】
【０００２】
環境をより安全にかつ効率的にするために、監視及びセンサシステムが用いられる。典型的には、監視システムは環境から入手される信号においてイベントを検出する。それらのイベントは、人々、動物、乗物、又は環境そのものの変化に起因する可能性がある。それらの信号は複合的信号、たとえば視覚信号及び聴覚信号とすることができるか、又はそれらの信号は、環境内の温度、動き及び湿度を検知することができる。
【０００３】
検出は、イベントが生じるのに応じてリアルタイムに行なうことができるか、又はイベントが生じた後にオフラインで行なうことができる。いくつかのリアルタイム処理及びオフライン処理は、記録されたイベントを格納する手段、探索する手段、及び検索する手段を必要とする場合もある。監視データの処理を自動化して、有意なイベントを検出することが望ましい。
【０００４】
近年、屋内環境及び屋外環境の監視及びモニタリングの重要性が高まってきた。現在、監視システムは、多種多様の環境、たとえば、家庭、事務所、空港及び産業設備において使用されている。大部分の従来の監視システムは単一の形式、たとえばビデオを基にしており、場合によっては音声によって補われる。そのようなビデオを基にするシステムは、大量のビデオデータを生成する。ビデオ内のイベントを格納し、検索し、検出することは難問である。イベント又は人を検出するように構成されるコンピュータービジョン手順は、リアルタイムシステムにおいて使用するほど十分に速くないか、又は信頼性のある検出を行なうだけの十分な精度を持たない。さらに、ビデオは、その環境の占有者のプライバシーを侵害する。たとえば、指定された空間からビデオを入手することは違法である場合もある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
いくつかの用途の場合に、監視データ内のパターン、たとえば、人の運動パターンを検出すること、及びそれらの対象となるパターンを特定し、選択するためのインターフェースを提供することが望ましい。
【課題を解決するための手段】
【０００６】
本発明の一実施形態は、時系列データにおいてイベントを検出するための方法を開示する。該時系列データは環境内のセンサによって検知されるアトミックアクティビティーを表し、各アトミックアクティビティーは、各アトミックアクティビティーが検知される時間及びロケーションを含む。方法は、指定されたアトミックアクティビティーの時空間的パターンを与えるステップであって、該時空間的パターンは前記アトミックアクティビティーの前記時間及び前記ロケーションのみに基づき、それによって前記アトミックアクティビティーの時空間的シーケンスが指定されたプリミティブアクティビティーを形成する、与えるステップと、前記時系列データにおいて、前記時空間的パターンに対応する検知されたプリミティブアクティビティーを検出するステップであって、結果を生成し、該検出はプロセッサによって実行される、検出するステップと、前記結果に基づいて前記カメラを方向付けるステップとを含む。
【０００７】
本発明の別の実施形態は、時系列データにおいてイベントを検出するためのシステムを開示する。該時系列データは環境内のセンサによって検知されるアトミックアクティビティーを表し、各アトミックアクティビティーは、該アトミックアクティビティーが検知される時間及びロケーションを含む。本システムは、指定されたアトミックアクティビティーの時空間的パターンを与える手段であって、該時空間的パターンは前記アトミックアクティビティーの前記時間及び前記ロケーションのみに基づき、それによって前記アトミックアクティビティーの時空間的シーケンスが指定されたプリミティブアクティビティーを形成する、与える手段と、前記時系列データにおいて、前記時空間的パターンに対応する検知されたプリミティブアクティビティーを検出し、結果を生成するように構成される制御モジュールと、前記結果に基づいて前記カメラを方向付ける手段とを備える。
【図面の簡単な説明】
【０００８】
【図１Ａ】本発明の実施形態による、時系列データにおいてイベントを検出するためのシステムのブロック図である。
【図１Ｂ】本発明のいくつかの実施形態による、アトミックアクティビティーを１つのパターンにグループ化するための方法のブロック図である。
【図２】本発明の一実施形態による、アトミックアクティビティーを指定するためのグラフィカルユーザーインターフェースの一例の概略図である。
【図３】環境の一例の概略図である。
【図４】本発明の一実施形態による、プリミティブアクティビティーを指定するためのインターフェースの一例の概略図である。
【図５】アラームを送出する（signal）ように構成されるシステムのブロック図である。
【図６】本発明の一実施形態による、イベントを指定するためのインターフェースの一例を示す図である。
【図７】ペトリネットの一例の概略図である。
【図８】ペトリネットのシグナリングプロセスの一例の概略図である。
【図９】スケジューリングのためのポリシーの一例の概略図である。
【発明を実施するための形態】
【０００９】
システム
図１Ａは、本発明の実施形態による、環境１０５から入手される時系列データにおいてイベントを検出するためのシステム及び方法を示す。本システムは、プロセッサ１１１、入力及び出力インターフェース１２２を含む制御モジュール１１０を備える。そのインターフェースは、グラフィカルユーザーインターフェース１２１及び入力デバイス１４０、たとえば、マウス又はキーボードを有する表示デバイス１２０に接続される。
【００１０】
いくつかの実施形態では、本システムは監視データベース１３０を含む。プロセッサ１１１は従来通りであり、メモリ、バス、及びＩ／Ｏインターフェースを含む。環境１０５は、監視データ１３１を入手するためのセンサ１２９を含む。以下で説明されるように、センサは、限定はしないが、ビデオセンサ、たとえば、カメラ及び動きセンサを含む。それらのセンサは、該センサのロケーションが特定されるように、見取り図２２０、たとえば、屋内空間のための間取り図に従って環境内に配置される。
【００１１】
制御モジュールは、センサから時系列監視データ１３１を受信する。時系列データは、環境内のセンサによって検知されるアトミックアクティビティを表す。各アトミックアクティビティはセンサのうちのいずれか１つによって検知され、そのアトミックアクティビティが検知される時間及びロケーションを含む。アトミックアクティビティの例は、１つの動きセンサによって検知されるか、又は１つのカメラによって入手される１つの画像内で観測することができるような１つの動きである。アトミックアクティビティのロケーションは典型的には、見取り図２２０上のセンサのロケーションに基づいて確定される。一実施形態では、センサ及びアトミックアクティビティのロケーションは、監視データベースに格納される。
【００１２】
図１Ｂに示されるように、本発明のいくつかの実施形態は、アトミックアクティビティ１５０を１つのパターン１２２にグループ化する。そのパターンは、プリミティブアクティビティ１６０及び／又はイベント１７０を含む。プリミティブアクティビティはアトミックアクティビティと、アトミックアクティビティに対する制約１６５とを含み、該アトミックアクティビティに対する制約は時空間的、かつ逐次的である。イベントはプリミティブアクティビティと、プリミティブアクティビティに対する制約１７５とを含み、プリミティブアクティビティに対する制約は、時空間的、逐次的、かつ／又は同時発生的である。いくつかの実施形態では、イベントはペトリネット（ＰＮ）にマッピングされる。
【００１３】
制御モジュールは、時系列データ１３１においてパターン１２２を検出し、結果１９０を生成する。一実施形態では、そのパターンはインターフェース１２１を介して入手される。典型的には、そのパターンは、入力デバイス１４０を介してユーザーによって指定される。
【００１４】
その結果に基づいて、コマンドが実行される。そのコマンドのタイプは、ユーザーによって指定されることができる。コマンドの非限定的な例には、関連するビデオをインターフェース上に表示すること、カメラを制御する、たとえば方向付けること、アラームを送出すること、及び／又はメッセージを送信することがある。
【００１５】
一実施形態では、制御モジュールは時系列データ１３１から直接リアルタイムにパターンを検出する。別の実施形態では、時系列データは監視データベースに格納され、制御モジュールはデータベースに問い合わせる。一実施形態では、制御モジュールは、アトミックアクティビティを受信すると、パターンを検出する。さらに別の実施形態では、制御モジュールは周期的にパターンを検出する。
【００１６】
センサ
時系列データ１３１はセンサ１２９のネットワークによって入手される。センサは異種又は同種にすることができる。センサ１２９は、ビデオカメラ及び動き検出器を含むことができる。当該技術分野において知られているような他のタイプのセンサ、たとえば、温度センサ及び煙感知器を含むこともできる。
【００１７】
カメラのコストは相対的に高く、センサのコストは低いので、センサの数をカメラの数よりも大幅に増やすことができる。すなわち、環境内でカメラは疎らに配置され、検出器は密に配置される。たとえば、１台のカメラによって視認される或るエリアが、数十個の検出器を含むことができる。大きな建物では、数百台のカメラが存在する可能性があるが、検出器は無数に存在する場合がある。カメラの数に比べて、センサの数を相対的に多くすることができる場合であっても、センサによって入手されるデータの量は、ビデオデータと比べて少ない。
【００１８】
一実施形態では、カメラは固定された視野内で検知されるアクティビティに対して応答するのではなく、その環境の画像を単に記録する。それらのビデオは、従来のコンピュータービジョン技法を用いて解析することができることに留意されたい。これはリアルタイムに行なうことができるか、又はビデオが入手された後にオフラインで行なうことができる。コンピュータービジョン技法は、物体検出、物体追跡、物体認識、顔検出及び顔認識を含む。たとえば、本システムは、人がその環境内の特定のエリアに入ったか否かを判断することができ、これをタイムスタンプ付きのイベントとしてデータベースに記録することができる。
【００１９】
しかしながら、別の実施形態では、カメラは、センサによって検出されるアトミックアクティビティーに応答して、カメラを配向すると共にズーム調整するように構成されるパンチルトズーム（ＰＴＺ）カメラを含む。
【００２０】
アトミックアクティビティー
図２は、本発明の一実施形態によるインターフェース１２１を示す。そのインターフェースは、左上にビデオ再生ウインドウ２１０、右上に間取り図ウインドウ２２０、そして画面の水平な下側部分に沿ってイベントタイムラインウインドウ２３０を含む。ビデオ再生ウインドウ２１０は、任意の数のカメラからのビデオストリームを提示することができる。選択されたビデオは、インターフェース１２１を介してユーザーによって特定されたアトミックアクティビティー２３３に対応することができる。
【００２１】
タイムライン２３０は、「自動ピアノロール」形式においてアトミックアクティビティーを表示し、時間は左から右に進む。現在時間は、垂直線２２１によってマークされる。種々の検出器のためのアトミックアクティビティーが垂直軸に沿って配列される。長方形１２２は、或る時間（水平位置及び長さ）にアクティブであるアトミックアクティビティー（垂直位置）を表す。或る特定のセンサのための水平方向の各配列上には、長方形ブロック１２５によって輪郭を描かれるトラックがある。
【００２２】
ビデオの視覚化は一般的な強調表示方式である。アトミックアクティビティー２３３のロケーションは、間取り図２２０上で色を付けて強調表示することができる。アトミックアクティビティーに対応するセンサは、同じ色において表される水平バー１２３によってタイムライン上に指示される。或る特定の時間、及び環境の或る特定のエリアにおけるイベントに対応するビデオを再生することができる。
【００２３】
プリミティブアクティビティー
一実施形態によれば、アトミックアクティビティーを空間的及び時間的に関連付けて、プリミティブアクティビティーを形成する。たとえば、人が廊下を歩くときに、その人の速度に応じて、天井に取り付けられた動きセンサのサブセットが、予測可能な時間間隔で順次にアトミックアクティビティーをシグナリングする。
【００２４】
図３は環境の一例を示す。センサ１２９のロケーションは長方形によって指示される。破線３１０はセンサの検知範囲を近似的に示す。そのシステムは、その検知範囲が指定されたプリミティブアクティビティーを横切るセンサを選択する。カメラのロケーションは三角形３０２によって示される。ユーザーは、インターフェース上でセンサの対応するサブセット、たとえば、黒塗りの長方形を選択することによって、プリミティブアクティビティー１６０、たとえば、或る通路から特定の事務所まで人が移動するために進むことになる経路を指定することができる。
【００２５】
図４は、プリミティブアクティビティー１６０を指定するためのユーザーインターフェースの一例を示す。たとえば、プリミティブアクティビティーは、センサのサブセットを選択することによって、又は見取り図の一部を指定することによって指定することができる。プリミティブアクティビティーが検出されるとき、一実施形態では、関連するビデオ４１０及び４２０が表示される。
【００２６】
ライブアラーム
オンライン監視システムの１つの要件は、「ライブアラーム」を設定し、直ちに送出することができることである。環境内でアクティビティーが生じるのに応じて、ライブアラームによって、ユーザーは対象となるアクティビティーの視覚的な証拠を入手することができるようになる。それらのアラームは、誰かが許可されていない空間に入ること等の異常なアクティビティーに対応することができるか、又は日中にプリンタールームを利用する人数を数えること等の他の作業を実行することに向けての中間的なステップに対応することができる。
【００２７】
一実施形態は、動きセンサを用いて、プリミティブアクティビティーを検出すると共に対象となるアクティビティーにＰＴＺカメラを方向付ける。典型的には、プリミティブアクティビティーは、センサの起動シーケンスに対応する。その起動シーケンスは、ユーザーによって、見取り図上で対象となる経路１６０を辿り、センサのサブセットの順序付けられたシーケンスを形成することによって指定することができる。その経路に沿って、指定された配列で起動されるときはいつでも、そのアラームは「停止する」。
【００２８】
一実施形態では、プリミティブアクティビティーは有限状態機械（ＦＳＭ）としてモデル化され、各センサが入力としての役割を果たし、指定された配列がＦＳＭによってパースされる。入ってくるセンサデータに対して、全ての指定されたＦＳＭが更新される。ＦＳＭのうちの１つが指定された配列を検出するとき、アラームが送出され、制御モジュールにコマンドが送信され、カメラがアラームを引き起こしたセンサのロケーションに方向付けられる。カメラ（複数可）が適切なロケーションに方向付けられた後に、さらに画像解析するために、そのシーンにおけるアクティビティーの視覚的な証拠が入手される。
【００２９】
図５は、アラームを送出するように構成されるシステムの一例を示す。そのシステムは、カメラ５１０と、センサ５２０と、制御モジュール１１０とを備える。種々の実施形態において、カメラ５１０は固定されるか又は移動可能であり、たとえば、ウエブ対応のＰＴＺビデオカメラである。そのシステムは、１台又は複数台のカメラを備える。センサは種々のタイプの検知デバイス、たとえば、動きセンサを含む。センサは、アトミックアクティビティーを検出し、それを、有線又は無線リンクを介して制御モジュールに送信するように構成することができる。
【００３０】
制御モジュールは、アトミックアクティビティーを受信すると、プリミティブアクティビティーを検出し、カメラに対してコマンド５３５を出力する。そのコマンドは、対象となるアクティビティーを入手するのに最適なカメラのナビゲーションパラメーターを含む場合がある。一実施形態では、制御モジュールはポリシーモジュール５４０を用いて、コマンドを確定する。別の実施形態では、制御モジュールは監視データベース１３０に問い合わせて、コマンドを確定する。コマンドの一例は、センサ５２０によって検知されたユーザー５５０の運動を追跡することである。
【００３１】
以下でさらに詳細に説明されるように、一実施形態では、制御モジュールはイベントを検出してコマンドを発行する。
【００３２】
ポリシーモジュール
図９は、カメラをスケジュールするためのポリシーの一例を示す。いくつかの実施形態では、センサによって検知されるアクティビティーは資源要求と見なされ、その資源はカメラ９３０、たとえば、ＰＴＺカメラである。入ってくる全ての要求が待ち行列９２２及び９２３に編成される。或る時間間隔、たとえば、約１０ｍｓ毎に、制御モジュールは、その時間間隔内でアクティブである１組のセンサを確定する。最新の要求は、ｔを中心にした時間窓中に起動されるセンサ９１０の集合Ａ（ｔ）に追加される。起動集合Ａｉ（ｔ）内のセンサ毎に、可視集合ｖｉｓ（Ａｉ（ｔ））が確定される。
【００３３】
一般的に、アクティビティーの対応するロケーションを観測することができる２台以上のカメラ９３０及び９３１が存在する。センサ起動及びカメラの順序付けられた対毎に、割当て９２０のコストが定義される。カメラが可視集合Ａｉ（ｔ）内に存在しない場合には、割当てのコストは無限大である。可視集合ｖｉｓ（Ａｉ（ｔ））内のカメラの場合、割当てコストは、センサによって検知されるアクティビティーを得るために必要とされるＰＴＺパラメーターの変化であり、すなわち、検知されたプリミティブアクティビティーを得るために必要とされるカメラの状態変化である。
【００３４】
Ｓｋ（ｔ）がカメラＣｋ∈ｖｉｓ（Ａｉ（ｔ））の現在の状態である場合には、
【００３５】
【数１】
【００３６】
はセンサを観測するために必要とされる状態である。一実施形態では、
【００３７】
【数２】
【００３８】
は較正データベースから確定される。その際、割当てのコストは、以下の通りである。
【００３９】
【数３】
【００４０】
ただし、ｄ（．）はカメラの状態空間上の距離メトリックである。
【００４１】
別の実施形態では、カメラの状態は、現在のＰＴＺ値として定義される。すなわち、Ｓｋ（ｔ）＝（ｐ，ｔ，ｚ）である。この実施形態の１つの変形では、ズームパラメーターの代わりに、画像解析を用いて、顔の画像の解像度を高める。したがって、距離メトリックｄ（，）は現在のパンチルト値と要求されるパンチルト値との間のユークリッドノルムと定義される。したがって、第ｉのイベントＡｉ（ｔ）を観測するために必要とされるパラメーターは以下の通りであり、
【００４２】
【数４】
【００４３】
そのコストは以下の通りである。
【００４４】
【数５】
【００４５】
イベント
いくつかの実施形態では、さらに複雑なパターンを指定することが望ましい。本明細書において定義されるように、イベントは、複数のプリミティブアクティビティーとプリミティブアクティビティーに対する制約とを含むアクティビティーのパターンであり、プリミティブアクティビティーに対する制約は、時空間的、逐次的、かつ／又は同時発生的である。いくつかの実施形態では、イベントは、以下に説明されるようにペトリネット（ＰＮ）にマッピングされる。
【００４６】
屋内環境及び屋外環境における一般的なアクティビティーは多くの場合に、複数の人々及び物体を含み、通常、或る形の時間的な順序付け及び調整を伴う。たとえば、２人が大きな事務所スペースの待合室において会って、物、たとえばブリーフケースを交換するアクティビティーは、いくつかのプリミティブを含む。
２人が独立して待合室に入り；
その２人が互いの近くに立ち止まり；
一方から他方の人に物が渡され；そして、
２人が別れる。
【００４７】
そのアクティビティーは、同時に生じる２つの独立した運動によって開始する。それらの運動は時間的な同期点に達し、その時点でスーツケースが交換され、その後、２人が部屋から出るときに、再び２つの独立した動きに分かれる。そのように、独立した流れからの観測が時間的な離散点において同期に達する状況は、本発明の実施形態によって、ペトリネットの形式を用いてモデル化される。
【００４８】
ペトリネット
ペトリネット（ＰＮ）は、条件とイベントとの間の関係を記述する手段である。或る実施形態はＰＮを用いて、同時発生、同期及び資源共用のような挙動をモデル化及び解析する。
【００４９】
形式的に、ペトリネットは以下のように定義される。
ＰＮ＝｛Ｐ，Ｔ，→｝
【００５０】
ただし、Ｐ及びＴはそれぞれ、プレース及びトランジションの有限の互いに素な集合であり、すなわちＰ∩Ｔ＝φであり、演算子→は、プレースとトランジションとの間の関係であり、すなわち、
→⊆（Ｐ×Ｔ）∪（Ｔ×Ｐ）
である。
【００５１】
また、ＰＮでは、少なくとも１つの終了プレース及び少なくとも開始プレースが存在する。ノードｘ∈Ｐ∪Ｔの前集合は集合ｘ＝｛ｙ｜ｙ→ｘ｝である。ノードｘ∈Ｐ∪Ｔの後集合は集合ｘ＝｛ｙ｜ｘ→ｙ｝である。
【００５２】
図８Ａ及び図８Ｂはそれぞれ、同時発生及び同期の事例に対応する発火プロセスを示す。ペトリネットの動態（dynamics）はマーキングによって表される。マーキングは、ペトリネットのプレース、たとえば、入力プレース８２０及び出力プレース８３０へのトークンの割当てである。ペトリネットの実行は、現在のマーキングによって制御される。
【００５３】
トランジション８５０は、全ての入力プレースが１つのトークンを有する場合に限って発火可能である。トランジションが発火可能であるとき、そのトランジションは発火することができる。発火は、ペトリネットを記述する際に用いられる技術用語である。最も簡単な事例では、全ての発火可能なトランジションが発火することができる。また、それらの実施形態が満たされるべき他の制約を関連付けた後に、発火可能なトランジションが発火することができる。１つのトランジションが発火するとき、全ての発火許可（enabling）トークンが移動され、そのトークンはトランジションの各出力プレースに置かれる（後集合）。
【００５４】
図７は、ＰＮ７００にマッピングされる同時発生、同期及び順序付け制約の一例を示す。このＰＮでは、プレースはｐ１．．．ｐ６を付され、トランジションはｔ１．．．ｔ４を付される。プレースＰ１７１１及びＰ２７１２は開始プレースであり、Ｐ６７１３は終了プレースである。人Ａが開始プレース７１１において検出されるとき、プレースＰ１にトークンが置かれる。それに応じて、トランジションｔ１７２１が発火可能になるが、トランジションｔ１に関連付けられる制約が満たされるまで、たとえば、その人が事務所待合室に入るまで発火しない。これが生じた後に、トークンがプレースｐ１から移動され、プレースｐ３７３１に置かれる。同様に、別の人Ｂが開始プレース７１２において検出されるとき、プレースＰ２にトークンが置かれ、その人Ｂがラウンジに入った後に、トランジションｔ２７２２が発火する。それに応じて、プレースｐ２からトークンが移動され、プレースｐ４７３２に置かれる。
【００５５】
トランジションｔ３７４０の発火許可プレース７３１及び７３２がそれぞれトークンを有するとき、トランジションｔ３は、関連付けられる制約が生じるとき、すなわち、Ａ及びＢ２人が互いに接近するときに発火することができる状態になる。
【００５６】
その後、トランジションｔ３が発火し、両方のトークンが移動され、出力プレースｐ５７５０にトークンが置かれる。ここで、トランジションｔ４７６０は発火可能であり、発火することができる状態になる。２人の間でブリーフケースが交換されるときにトランジションｔ４が発火し、プレースｐ５からトークンが移動され、終了プレースｐ６に置かれる。トークンが終了プレースに達するとき、ＰＮ７００は完了する。
【００５７】
ペトリネットは、いくつかの実施形態によって、時系列データ内のイベントを表現及び認識するために用いられる。それらの実施形態は、プリミティブアクションと、それらのアクションに対する制約とに基づいてイベントを定義する。その実施形態では、プリミティブアクションは人間の運動パターンであり、それはセンサを用いて検出される。いくつかの実施形態では、制約は結合演算子、たとえば、「ＡＮＤ」、「ＯＲ」、「ＡＦＴＥＲ」、「ＢＥＦＯＲＥ」を用いて記述される。イベント及び制約はペトリネットにマッピングされる。
【００５８】
図６は、イベントを指定するように構成されるインターフェース１２１の一例を示す。このインターフェースを用いて、ユーザーはプリミティブアクティビティー６１０及び６２０を選択し、制約６３０、たとえば、「ＡＦＴＥＲ」を指定することができる。すなわち、プリミティブアクティビティー６２０は、プリミティブアクティビティー６１０の後に生じる。一実施形態では、イベントが検出される場合、アラーム６４０がトリガーされる。
【００５９】
本発明の精神及び範囲内で種々の他の適合及び変更が加えられる場合があることは理解されたい。それゆえ、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るような全ての変形及び変更を包含することである。
【技術分野】
【０００１】
本発明は包括的には監視システムに関し、より詳細には、環境から入手される時系列監視データに基づいてカメラを方向付けることに関する。
【背景技術】
【０００２】
環境をより安全にかつ効率的にするために、監視及びセンサシステムが用いられる。典型的には、監視システムは環境から入手される信号においてイベントを検出する。それらのイベントは、人々、動物、乗物、又は環境そのものの変化に起因する可能性がある。それらの信号は複合的信号、たとえば視覚信号及び聴覚信号とすることができるか、又はそれらの信号は、環境内の温度、動き及び湿度を検知することができる。
【０００３】
検出は、イベントが生じるのに応じてリアルタイムに行なうことができるか、又はイベントが生じた後にオフラインで行なうことができる。いくつかのリアルタイム処理及びオフライン処理は、記録されたイベントを格納する手段、探索する手段、及び検索する手段を必要とする場合もある。監視データの処理を自動化して、有意なイベントを検出することが望ましい。
【０００４】
近年、屋内環境及び屋外環境の監視及びモニタリングの重要性が高まってきた。現在、監視システムは、多種多様の環境、たとえば、家庭、事務所、空港及び産業設備において使用されている。大部分の従来の監視システムは単一の形式、たとえばビデオを基にしており、場合によっては音声によって補われる。そのようなビデオを基にするシステムは、大量のビデオデータを生成する。ビデオ内のイベントを格納し、検索し、検出することは難問である。イベント又は人を検出するように構成されるコンピュータービジョン手順は、リアルタイムシステムにおいて使用するほど十分に速くないか、又は信頼性のある検出を行なうだけの十分な精度を持たない。さらに、ビデオは、その環境の占有者のプライバシーを侵害する。たとえば、指定された空間からビデオを入手することは違法である場合もある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
いくつかの用途の場合に、監視データ内のパターン、たとえば、人の運動パターンを検出すること、及びそれらの対象となるパターンを特定し、選択するためのインターフェースを提供することが望ましい。
【課題を解決するための手段】
【０００６】
本発明の一実施形態は、時系列データにおいてイベントを検出するための方法を開示する。該時系列データは環境内のセンサによって検知されるアトミックアクティビティーを表し、各アトミックアクティビティーは、各アトミックアクティビティーが検知される時間及びロケーションを含む。方法は、指定されたアトミックアクティビティーの時空間的パターンを与えるステップであって、該時空間的パターンは前記アトミックアクティビティーの前記時間及び前記ロケーションのみに基づき、それによって前記アトミックアクティビティーの時空間的シーケンスが指定されたプリミティブアクティビティーを形成する、与えるステップと、前記時系列データにおいて、前記時空間的パターンに対応する検知されたプリミティブアクティビティーを検出するステップであって、結果を生成し、該検出はプロセッサによって実行される、検出するステップと、前記結果に基づいて前記カメラを方向付けるステップとを含む。
【０００７】
本発明の別の実施形態は、時系列データにおいてイベントを検出するためのシステムを開示する。該時系列データは環境内のセンサによって検知されるアトミックアクティビティーを表し、各アトミックアクティビティーは、該アトミックアクティビティーが検知される時間及びロケーションを含む。本システムは、指定されたアトミックアクティビティーの時空間的パターンを与える手段であって、該時空間的パターンは前記アトミックアクティビティーの前記時間及び前記ロケーションのみに基づき、それによって前記アトミックアクティビティーの時空間的シーケンスが指定されたプリミティブアクティビティーを形成する、与える手段と、前記時系列データにおいて、前記時空間的パターンに対応する検知されたプリミティブアクティビティーを検出し、結果を生成するように構成される制御モジュールと、前記結果に基づいて前記カメラを方向付ける手段とを備える。
【図面の簡単な説明】
【０００８】
【図１Ａ】本発明の実施形態による、時系列データにおいてイベントを検出するためのシステムのブロック図である。
【図１Ｂ】本発明のいくつかの実施形態による、アトミックアクティビティーを１つのパターンにグループ化するための方法のブロック図である。
【図２】本発明の一実施形態による、アトミックアクティビティーを指定するためのグラフィカルユーザーインターフェースの一例の概略図である。
【図３】環境の一例の概略図である。
【図４】本発明の一実施形態による、プリミティブアクティビティーを指定するためのインターフェースの一例の概略図である。
【図５】アラームを送出する（signal）ように構成されるシステムのブロック図である。
【図６】本発明の一実施形態による、イベントを指定するためのインターフェースの一例を示す図である。
【図７】ペトリネットの一例の概略図である。
【図８】ペトリネットのシグナリングプロセスの一例の概略図である。
【図９】スケジューリングのためのポリシーの一例の概略図である。
【発明を実施するための形態】
【０００９】
システム
図１Ａは、本発明の実施形態による、環境１０５から入手される時系列データにおいてイベントを検出するためのシステム及び方法を示す。本システムは、プロセッサ１１１、入力及び出力インターフェース１２２を含む制御モジュール１１０を備える。そのインターフェースは、グラフィカルユーザーインターフェース１２１及び入力デバイス１４０、たとえば、マウス又はキーボードを有する表示デバイス１２０に接続される。
【００１０】
いくつかの実施形態では、本システムは監視データベース１３０を含む。プロセッサ１１１は従来通りであり、メモリ、バス、及びＩ／Ｏインターフェースを含む。環境１０５は、監視データ１３１を入手するためのセンサ１２９を含む。以下で説明されるように、センサは、限定はしないが、ビデオセンサ、たとえば、カメラ及び動きセンサを含む。それらのセンサは、該センサのロケーションが特定されるように、見取り図２２０、たとえば、屋内空間のための間取り図に従って環境内に配置される。
【００１１】
制御モジュールは、センサから時系列監視データ１３１を受信する。時系列データは、環境内のセンサによって検知されるアトミックアクティビティを表す。各アトミックアクティビティはセンサのうちのいずれか１つによって検知され、そのアトミックアクティビティが検知される時間及びロケーションを含む。アトミックアクティビティの例は、１つの動きセンサによって検知されるか、又は１つのカメラによって入手される１つの画像内で観測することができるような１つの動きである。アトミックアクティビティのロケーションは典型的には、見取り図２２０上のセンサのロケーションに基づいて確定される。一実施形態では、センサ及びアトミックアクティビティのロケーションは、監視データベースに格納される。
【００１２】
図１Ｂに示されるように、本発明のいくつかの実施形態は、アトミックアクティビティ１５０を１つのパターン１２２にグループ化する。そのパターンは、プリミティブアクティビティ１６０及び／又はイベント１７０を含む。プリミティブアクティビティはアトミックアクティビティと、アトミックアクティビティに対する制約１６５とを含み、該アトミックアクティビティに対する制約は時空間的、かつ逐次的である。イベントはプリミティブアクティビティと、プリミティブアクティビティに対する制約１７５とを含み、プリミティブアクティビティに対する制約は、時空間的、逐次的、かつ／又は同時発生的である。いくつかの実施形態では、イベントはペトリネット（ＰＮ）にマッピングされる。
【００１３】
制御モジュールは、時系列データ１３１においてパターン１２２を検出し、結果１９０を生成する。一実施形態では、そのパターンはインターフェース１２１を介して入手される。典型的には、そのパターンは、入力デバイス１４０を介してユーザーによって指定される。
【００１４】
その結果に基づいて、コマンドが実行される。そのコマンドのタイプは、ユーザーによって指定されることができる。コマンドの非限定的な例には、関連するビデオをインターフェース上に表示すること、カメラを制御する、たとえば方向付けること、アラームを送出すること、及び／又はメッセージを送信することがある。
【００１５】
一実施形態では、制御モジュールは時系列データ１３１から直接リアルタイムにパターンを検出する。別の実施形態では、時系列データは監視データベースに格納され、制御モジュールはデータベースに問い合わせる。一実施形態では、制御モジュールは、アトミックアクティビティを受信すると、パターンを検出する。さらに別の実施形態では、制御モジュールは周期的にパターンを検出する。
【００１６】
センサ
時系列データ１３１はセンサ１２９のネットワークによって入手される。センサは異種又は同種にすることができる。センサ１２９は、ビデオカメラ及び動き検出器を含むことができる。当該技術分野において知られているような他のタイプのセンサ、たとえば、温度センサ及び煙感知器を含むこともできる。
【００１７】
カメラのコストは相対的に高く、センサのコストは低いので、センサの数をカメラの数よりも大幅に増やすことができる。すなわち、環境内でカメラは疎らに配置され、検出器は密に配置される。たとえば、１台のカメラによって視認される或るエリアが、数十個の検出器を含むことができる。大きな建物では、数百台のカメラが存在する可能性があるが、検出器は無数に存在する場合がある。カメラの数に比べて、センサの数を相対的に多くすることができる場合であっても、センサによって入手されるデータの量は、ビデオデータと比べて少ない。
【００１８】
一実施形態では、カメラは固定された視野内で検知されるアクティビティに対して応答するのではなく、その環境の画像を単に記録する。それらのビデオは、従来のコンピュータービジョン技法を用いて解析することができることに留意されたい。これはリアルタイムに行なうことができるか、又はビデオが入手された後にオフラインで行なうことができる。コンピュータービジョン技法は、物体検出、物体追跡、物体認識、顔検出及び顔認識を含む。たとえば、本システムは、人がその環境内の特定のエリアに入ったか否かを判断することができ、これをタイムスタンプ付きのイベントとしてデータベースに記録することができる。
【００１９】
しかしながら、別の実施形態では、カメラは、センサによって検出されるアトミックアクティビティーに応答して、カメラを配向すると共にズーム調整するように構成されるパンチルトズーム（ＰＴＺ）カメラを含む。
【００２０】
アトミックアクティビティー
図２は、本発明の一実施形態によるインターフェース１２１を示す。そのインターフェースは、左上にビデオ再生ウインドウ２１０、右上に間取り図ウインドウ２２０、そして画面の水平な下側部分に沿ってイベントタイムラインウインドウ２３０を含む。ビデオ再生ウインドウ２１０は、任意の数のカメラからのビデオストリームを提示することができる。選択されたビデオは、インターフェース１２１を介してユーザーによって特定されたアトミックアクティビティー２３３に対応することができる。
【００２１】
タイムライン２３０は、「自動ピアノロール」形式においてアトミックアクティビティーを表示し、時間は左から右に進む。現在時間は、垂直線２２１によってマークされる。種々の検出器のためのアトミックアクティビティーが垂直軸に沿って配列される。長方形１２２は、或る時間（水平位置及び長さ）にアクティブであるアトミックアクティビティー（垂直位置）を表す。或る特定のセンサのための水平方向の各配列上には、長方形ブロック１２５によって輪郭を描かれるトラックがある。
【００２２】
ビデオの視覚化は一般的な強調表示方式である。アトミックアクティビティー２３３のロケーションは、間取り図２２０上で色を付けて強調表示することができる。アトミックアクティビティーに対応するセンサは、同じ色において表される水平バー１２３によってタイムライン上に指示される。或る特定の時間、及び環境の或る特定のエリアにおけるイベントに対応するビデオを再生することができる。
【００２３】
プリミティブアクティビティー
一実施形態によれば、アトミックアクティビティーを空間的及び時間的に関連付けて、プリミティブアクティビティーを形成する。たとえば、人が廊下を歩くときに、その人の速度に応じて、天井に取り付けられた動きセンサのサブセットが、予測可能な時間間隔で順次にアトミックアクティビティーをシグナリングする。
【００２４】
図３は環境の一例を示す。センサ１２９のロケーションは長方形によって指示される。破線３１０はセンサの検知範囲を近似的に示す。そのシステムは、その検知範囲が指定されたプリミティブアクティビティーを横切るセンサを選択する。カメラのロケーションは三角形３０２によって示される。ユーザーは、インターフェース上でセンサの対応するサブセット、たとえば、黒塗りの長方形を選択することによって、プリミティブアクティビティー１６０、たとえば、或る通路から特定の事務所まで人が移動するために進むことになる経路を指定することができる。
【００２５】
図４は、プリミティブアクティビティー１６０を指定するためのユーザーインターフェースの一例を示す。たとえば、プリミティブアクティビティーは、センサのサブセットを選択することによって、又は見取り図の一部を指定することによって指定することができる。プリミティブアクティビティーが検出されるとき、一実施形態では、関連するビデオ４１０及び４２０が表示される。
【００２６】
ライブアラーム
オンライン監視システムの１つの要件は、「ライブアラーム」を設定し、直ちに送出することができることである。環境内でアクティビティーが生じるのに応じて、ライブアラームによって、ユーザーは対象となるアクティビティーの視覚的な証拠を入手することができるようになる。それらのアラームは、誰かが許可されていない空間に入ること等の異常なアクティビティーに対応することができるか、又は日中にプリンタールームを利用する人数を数えること等の他の作業を実行することに向けての中間的なステップに対応することができる。
【００２７】
一実施形態は、動きセンサを用いて、プリミティブアクティビティーを検出すると共に対象となるアクティビティーにＰＴＺカメラを方向付ける。典型的には、プリミティブアクティビティーは、センサの起動シーケンスに対応する。その起動シーケンスは、ユーザーによって、見取り図上で対象となる経路１６０を辿り、センサのサブセットの順序付けられたシーケンスを形成することによって指定することができる。その経路に沿って、指定された配列で起動されるときはいつでも、そのアラームは「停止する」。
【００２８】
一実施形態では、プリミティブアクティビティーは有限状態機械（ＦＳＭ）としてモデル化され、各センサが入力としての役割を果たし、指定された配列がＦＳＭによってパースされる。入ってくるセンサデータに対して、全ての指定されたＦＳＭが更新される。ＦＳＭのうちの１つが指定された配列を検出するとき、アラームが送出され、制御モジュールにコマンドが送信され、カメラがアラームを引き起こしたセンサのロケーションに方向付けられる。カメラ（複数可）が適切なロケーションに方向付けられた後に、さらに画像解析するために、そのシーンにおけるアクティビティーの視覚的な証拠が入手される。
【００２９】
図５は、アラームを送出するように構成されるシステムの一例を示す。そのシステムは、カメラ５１０と、センサ５２０と、制御モジュール１１０とを備える。種々の実施形態において、カメラ５１０は固定されるか又は移動可能であり、たとえば、ウエブ対応のＰＴＺビデオカメラである。そのシステムは、１台又は複数台のカメラを備える。センサは種々のタイプの検知デバイス、たとえば、動きセンサを含む。センサは、アトミックアクティビティーを検出し、それを、有線又は無線リンクを介して制御モジュールに送信するように構成することができる。
【００３０】
制御モジュールは、アトミックアクティビティーを受信すると、プリミティブアクティビティーを検出し、カメラに対してコマンド５３５を出力する。そのコマンドは、対象となるアクティビティーを入手するのに最適なカメラのナビゲーションパラメーターを含む場合がある。一実施形態では、制御モジュールはポリシーモジュール５４０を用いて、コマンドを確定する。別の実施形態では、制御モジュールは監視データベース１３０に問い合わせて、コマンドを確定する。コマンドの一例は、センサ５２０によって検知されたユーザー５５０の運動を追跡することである。
【００３１】
以下でさらに詳細に説明されるように、一実施形態では、制御モジュールはイベントを検出してコマンドを発行する。
【００３２】
ポリシーモジュール
図９は、カメラをスケジュールするためのポリシーの一例を示す。いくつかの実施形態では、センサによって検知されるアクティビティーは資源要求と見なされ、その資源はカメラ９３０、たとえば、ＰＴＺカメラである。入ってくる全ての要求が待ち行列９２２及び９２３に編成される。或る時間間隔、たとえば、約１０ｍｓ毎に、制御モジュールは、その時間間隔内でアクティブである１組のセンサを確定する。最新の要求は、ｔを中心にした時間窓中に起動されるセンサ９１０の集合Ａ（ｔ）に追加される。起動集合Ａｉ（ｔ）内のセンサ毎に、可視集合ｖｉｓ（Ａｉ（ｔ））が確定される。
【００３３】
一般的に、アクティビティーの対応するロケーションを観測することができる２台以上のカメラ９３０及び９３１が存在する。センサ起動及びカメラの順序付けられた対毎に、割当て９２０のコストが定義される。カメラが可視集合Ａｉ（ｔ）内に存在しない場合には、割当てのコストは無限大である。可視集合ｖｉｓ（Ａｉ（ｔ））内のカメラの場合、割当てコストは、センサによって検知されるアクティビティーを得るために必要とされるＰＴＺパラメーターの変化であり、すなわち、検知されたプリミティブアクティビティーを得るために必要とされるカメラの状態変化である。
【００３４】
Ｓｋ（ｔ）がカメラＣｋ∈ｖｉｓ（Ａｉ（ｔ））の現在の状態である場合には、
【００３５】
【数１】
【００３６】
はセンサを観測するために必要とされる状態である。一実施形態では、
【００３７】
【数２】
【００３８】
は較正データベースから確定される。その際、割当てのコストは、以下の通りである。
【００３９】
【数３】
【００４０】
ただし、ｄ（．）はカメラの状態空間上の距離メトリックである。
【００４１】
別の実施形態では、カメラの状態は、現在のＰＴＺ値として定義される。すなわち、Ｓｋ（ｔ）＝（ｐ，ｔ，ｚ）である。この実施形態の１つの変形では、ズームパラメーターの代わりに、画像解析を用いて、顔の画像の解像度を高める。したがって、距離メトリックｄ（，）は現在のパンチルト値と要求されるパンチルト値との間のユークリッドノルムと定義される。したがって、第ｉのイベントＡｉ（ｔ）を観測するために必要とされるパラメーターは以下の通りであり、
【００４２】
【数４】
【００４３】
そのコストは以下の通りである。
【００４４】
【数５】
【００４５】
イベント
いくつかの実施形態では、さらに複雑なパターンを指定することが望ましい。本明細書において定義されるように、イベントは、複数のプリミティブアクティビティーとプリミティブアクティビティーに対する制約とを含むアクティビティーのパターンであり、プリミティブアクティビティーに対する制約は、時空間的、逐次的、かつ／又は同時発生的である。いくつかの実施形態では、イベントは、以下に説明されるようにペトリネット（ＰＮ）にマッピングされる。
【００４６】
屋内環境及び屋外環境における一般的なアクティビティーは多くの場合に、複数の人々及び物体を含み、通常、或る形の時間的な順序付け及び調整を伴う。たとえば、２人が大きな事務所スペースの待合室において会って、物、たとえばブリーフケースを交換するアクティビティーは、いくつかのプリミティブを含む。
２人が独立して待合室に入り；
その２人が互いの近くに立ち止まり；
一方から他方の人に物が渡され；そして、
２人が別れる。
【００４７】
そのアクティビティーは、同時に生じる２つの独立した運動によって開始する。それらの運動は時間的な同期点に達し、その時点でスーツケースが交換され、その後、２人が部屋から出るときに、再び２つの独立した動きに分かれる。そのように、独立した流れからの観測が時間的な離散点において同期に達する状況は、本発明の実施形態によって、ペトリネットの形式を用いてモデル化される。
【００４８】
ペトリネット
ペトリネット（ＰＮ）は、条件とイベントとの間の関係を記述する手段である。或る実施形態はＰＮを用いて、同時発生、同期及び資源共用のような挙動をモデル化及び解析する。
【００４９】
形式的に、ペトリネットは以下のように定義される。
ＰＮ＝｛Ｐ，Ｔ，→｝
【００５０】
ただし、Ｐ及びＴはそれぞれ、プレース及びトランジションの有限の互いに素な集合であり、すなわちＰ∩Ｔ＝φであり、演算子→は、プレースとトランジションとの間の関係であり、すなわち、
→⊆（Ｐ×Ｔ）∪（Ｔ×Ｐ）
である。
【００５１】
また、ＰＮでは、少なくとも１つの終了プレース及び少なくとも開始プレースが存在する。ノードｘ∈Ｐ∪Ｔの前集合は集合ｘ＝｛ｙ｜ｙ→ｘ｝である。ノードｘ∈Ｐ∪Ｔの後集合は集合ｘ＝｛ｙ｜ｘ→ｙ｝である。
【００５２】
図８Ａ及び図８Ｂはそれぞれ、同時発生及び同期の事例に対応する発火プロセスを示す。ペトリネットの動態（dynamics）はマーキングによって表される。マーキングは、ペトリネットのプレース、たとえば、入力プレース８２０及び出力プレース８３０へのトークンの割当てである。ペトリネットの実行は、現在のマーキングによって制御される。
【００５３】
トランジション８５０は、全ての入力プレースが１つのトークンを有する場合に限って発火可能である。トランジションが発火可能であるとき、そのトランジションは発火することができる。発火は、ペトリネットを記述する際に用いられる技術用語である。最も簡単な事例では、全ての発火可能なトランジションが発火することができる。また、それらの実施形態が満たされるべき他の制約を関連付けた後に、発火可能なトランジションが発火することができる。１つのトランジションが発火するとき、全ての発火許可（enabling）トークンが移動され、そのトークンはトランジションの各出力プレースに置かれる（後集合）。
【００５４】
図７は、ＰＮ７００にマッピングされる同時発生、同期及び順序付け制約の一例を示す。このＰＮでは、プレースはｐ１．．．ｐ６を付され、トランジションはｔ１．．．ｔ４を付される。プレースＰ１７１１及びＰ２７１２は開始プレースであり、Ｐ６７１３は終了プレースである。人Ａが開始プレース７１１において検出されるとき、プレースＰ１にトークンが置かれる。それに応じて、トランジションｔ１７２１が発火可能になるが、トランジションｔ１に関連付けられる制約が満たされるまで、たとえば、その人が事務所待合室に入るまで発火しない。これが生じた後に、トークンがプレースｐ１から移動され、プレースｐ３７３１に置かれる。同様に、別の人Ｂが開始プレース７１２において検出されるとき、プレースＰ２にトークンが置かれ、その人Ｂがラウンジに入った後に、トランジションｔ２７２２が発火する。それに応じて、プレースｐ２からトークンが移動され、プレースｐ４７３２に置かれる。
【００５５】
トランジションｔ３７４０の発火許可プレース７３１及び７３２がそれぞれトークンを有するとき、トランジションｔ３は、関連付けられる制約が生じるとき、すなわち、Ａ及びＢ２人が互いに接近するときに発火することができる状態になる。
【００５６】
その後、トランジションｔ３が発火し、両方のトークンが移動され、出力プレースｐ５７５０にトークンが置かれる。ここで、トランジションｔ４７６０は発火可能であり、発火することができる状態になる。２人の間でブリーフケースが交換されるときにトランジションｔ４が発火し、プレースｐ５からトークンが移動され、終了プレースｐ６に置かれる。トークンが終了プレースに達するとき、ＰＮ７００は完了する。
【００５７】
ペトリネットは、いくつかの実施形態によって、時系列データ内のイベントを表現及び認識するために用いられる。それらの実施形態は、プリミティブアクションと、それらのアクションに対する制約とに基づいてイベントを定義する。その実施形態では、プリミティブアクションは人間の運動パターンであり、それはセンサを用いて検出される。いくつかの実施形態では、制約は結合演算子、たとえば、「ＡＮＤ」、「ＯＲ」、「ＡＦＴＥＲ」、「ＢＥＦＯＲＥ」を用いて記述される。イベント及び制約はペトリネットにマッピングされる。
【００５８】
図６は、イベントを指定するように構成されるインターフェース１２１の一例を示す。このインターフェースを用いて、ユーザーはプリミティブアクティビティー６１０及び６２０を選択し、制約６３０、たとえば、「ＡＦＴＥＲ」を指定することができる。すなわち、プリミティブアクティビティー６２０は、プリミティブアクティビティー６１０の後に生じる。一実施形態では、イベントが検出される場合、アラーム６４０がトリガーされる。
【００５９】
本発明の精神及び範囲内で種々の他の適合及び変更が加えられる場合があることは理解されたい。それゆえ、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るような全ての変形及び変更を包含することである。
【特許請求の範囲】
【請求項１】
時系列データに基づいてカメラを方向付けるための方法であって、該時系列データは、環境内のセンサによって検知されるアトミックアクティビティーを表し、各該アトミックアクティビティーは、各該アトミックアクティビティーが検知される時間及びロケーションを含み、該方法は、
指定されたアトミックアクティビティーの時空間的パターンを与えるステップであって、該時空間的パターンは前記アトミックアクティビティーの前記時間及び前記ロケーションのみに基づき、それによって前記アトミックアクティビティーの時空間的シーケンスが指定されたプリミティブアクティビティーを形成する、与えるステップと、
前記時系列データにおいて、結果を生成するために、前記時空間的パターンに対応する検知されたプリミティブアクティビティーを検出するステップであって、該検出はプロセッサによって実行される、検出するステップと、
前記結果に基づいて前記カメラを方向付けるステップとを含む、時系列データに基づいてカメラを方向付けるための方法。
【請求項２】
前記アトミックアクティビティーは、前記時間において前記センサによって検知される動きであり、前記ロケーションは前記センサのロケーションである、請求項１に記載の方法。
【請求項３】
前記方向付けることは、
ポリシーに基づいて前記カメラを方向付けることをさらに含む、請求項１に記載の方法。
【請求項４】
新たなアトミックアクティビティーを検知すると、前記時空間的パターンをリアルタイムに検出することをさらに含む、請求項１に記載の方法。
【請求項５】
前記時系列データは監視データベース内に格納され、前記方法は、
前記監視データベースに問い合わせて、前記時空間的パターンを検出することをさらに含む、請求項１に記載の方法。
【請求項６】
前記センサは異種のセンサから成るネットワークを形成する、請求項１に記載の方法。
【請求項７】
前記指定されたプリミティブアクティビティーを指定するように構成されるインターフェースを提供することをさらに含む、請求項１に記載の方法。
【請求項８】
前記インターフェースは前記センサを特定し、それによって、前記センサのサブセットを指定することによって前記指定されたプリミティブアクティビティーが選択される、請求項７に記載の方法。
【請求項９】
前記インターフェースは見取り図を特定し、それによって、前記見取り図の一部を指定することによって前記指定されたプリミティブアクティビティーが選択される、請求項７に記載の方法。
【請求項１０】
前記指定されたプリミティブアクティビティーを前記センサのサブセットのシーケンスの有限状態機械（ＦＳＭ）としてモデル化することをさらに含み、前記サブセット内の各前記センサは前記ＦＳＭへの入力である、請求項１に記載の方法。
【請求項１１】
前記時空間的シーケンスを、前記センサのサブセットの順序付けられたシーケンスとして指定することをさらに含む、請求項１に記載の方法。
【請求項１２】
前記時空間的パターンは複数の指定されたアトミックアクティビティーを含む、請求項１に記載の方法。
【請求項１３】
「ＡＮＤ」、「ＯＲ」、「ＡＦＴＥＲ」、「ＢＥＦＯＲＥ」演算子を含む結合演算子を用いて、前記複数の指定されたアトミックアクティビティーに対する制約を指定することをさらに含む、請求項１２に記載の方法。
【請求項１４】
前記カメラはパンチルトズーム（ＰＴＺ）カメラであり、前記方向付けることは、
前記結果に基づいて前記カメラを配向すること及び／又はズーム調整することをさらに含む、請求項１に記載の方法。
【請求項１５】
前記検知されたプリミティブアクティビティーを待ち行列に追加すること、
前記検知されたプリミティブアクティビティーが前記カメラの視界内に入るように、１組のカメラから１つのカメラを確定すること、及び
前記検知されたプリミティブアクティビティーを入手するのに最適な前記カメラのパラメーターを求めること
をさらに含む、請求項１４に記載の方法。
【請求項１６】
前記カメラはＰＴＺパラメーターを有するパンチルトズーム（ＰＴＺ）カメラであり、前記方向付けることは、
前記検知されたプリミティブアクティビティーを入手するのに必要とされる前記ＰＴＺパラメーターの変化のコストを割り当てること、及び
前記コストに基づいて前記ＰＴＺパラメーターを変更すること
をさらに含む、請求項３に記載の方法。
【請求項１７】
時系列データに基づいてカメラを方向付けるためのシステムであって、該時系列データは、環境内のセンサによって検知されるアトミックアクティビティーを表し、各該アトミックアクティビティーは、各該アトミックアクティビティーが検知される時間及びロケーションを含み、該システムは、
指定されたアトミックアクティビティーの時空間的パターンを与える手段であって、該時空間的パターンは前記アトミックアクティビティーの前記時間及び前記ロケーションのみに基づき、それによって前記アトミックアクティビティーの時空間的シーケンスが指定されたプリミティブアクティビティーを形成する、与える手段と、
前記時系列データにおいて、前記時空間的パターンに対応する検知されたプリミティブアクティビティーを検出し、結果を生成するように構成される制御モジュールと、
前記結果に基づいて前記カメラを方向付ける手段と
を備える、時系列データに基づいてカメラを方向付けるためのシステム。
【請求項１８】
前記カメラを方向付けるためのポリシーを生成するポリシーモジュールをさらに備える、請求項１７に記載のシステム。
【請求項１９】
前記指定されたアトミックアクティビティーを指定するのに適したインターフェースを表示するように構成される表示デバイスをさらに備える、請求項１７に記載のシステム。
【請求項２０】
前記時系列データを格納するための監視データベースをさらに備える、請求項１７に記載のシステム。
【請求項１】
時系列データに基づいてカメラを方向付けるための方法であって、該時系列データは、環境内のセンサによって検知されるアトミックアクティビティーを表し、各該アトミックアクティビティーは、各該アトミックアクティビティーが検知される時間及びロケーションを含み、該方法は、
指定されたアトミックアクティビティーの時空間的パターンを与えるステップであって、該時空間的パターンは前記アトミックアクティビティーの前記時間及び前記ロケーションのみに基づき、それによって前記アトミックアクティビティーの時空間的シーケンスが指定されたプリミティブアクティビティーを形成する、与えるステップと、
前記時系列データにおいて、結果を生成するために、前記時空間的パターンに対応する検知されたプリミティブアクティビティーを検出するステップであって、該検出はプロセッサによって実行される、検出するステップと、
前記結果に基づいて前記カメラを方向付けるステップとを含む、時系列データに基づいてカメラを方向付けるための方法。
【請求項２】
前記アトミックアクティビティーは、前記時間において前記センサによって検知される動きであり、前記ロケーションは前記センサのロケーションである、請求項１に記載の方法。
【請求項３】
前記方向付けることは、
ポリシーに基づいて前記カメラを方向付けることをさらに含む、請求項１に記載の方法。
【請求項４】
新たなアトミックアクティビティーを検知すると、前記時空間的パターンをリアルタイムに検出することをさらに含む、請求項１に記載の方法。
【請求項５】
前記時系列データは監視データベース内に格納され、前記方法は、
前記監視データベースに問い合わせて、前記時空間的パターンを検出することをさらに含む、請求項１に記載の方法。
【請求項６】
前記センサは異種のセンサから成るネットワークを形成する、請求項１に記載の方法。
【請求項７】
前記指定されたプリミティブアクティビティーを指定するように構成されるインターフェースを提供することをさらに含む、請求項１に記載の方法。
【請求項８】
前記インターフェースは前記センサを特定し、それによって、前記センサのサブセットを指定することによって前記指定されたプリミティブアクティビティーが選択される、請求項７に記載の方法。
【請求項９】
前記インターフェースは見取り図を特定し、それによって、前記見取り図の一部を指定することによって前記指定されたプリミティブアクティビティーが選択される、請求項７に記載の方法。
【請求項１０】
前記指定されたプリミティブアクティビティーを前記センサのサブセットのシーケンスの有限状態機械（ＦＳＭ）としてモデル化することをさらに含み、前記サブセット内の各前記センサは前記ＦＳＭへの入力である、請求項１に記載の方法。
【請求項１１】
前記時空間的シーケンスを、前記センサのサブセットの順序付けられたシーケンスとして指定することをさらに含む、請求項１に記載の方法。
【請求項１２】
前記時空間的パターンは複数の指定されたアトミックアクティビティーを含む、請求項１に記載の方法。
【請求項１３】
「ＡＮＤ」、「ＯＲ」、「ＡＦＴＥＲ」、「ＢＥＦＯＲＥ」演算子を含む結合演算子を用いて、前記複数の指定されたアトミックアクティビティーに対する制約を指定することをさらに含む、請求項１２に記載の方法。
【請求項１４】
前記カメラはパンチルトズーム（ＰＴＺ）カメラであり、前記方向付けることは、
前記結果に基づいて前記カメラを配向すること及び／又はズーム調整することをさらに含む、請求項１に記載の方法。
【請求項１５】
前記検知されたプリミティブアクティビティーを待ち行列に追加すること、
前記検知されたプリミティブアクティビティーが前記カメラの視界内に入るように、１組のカメラから１つのカメラを確定すること、及び
前記検知されたプリミティブアクティビティーを入手するのに最適な前記カメラのパラメーターを求めること
をさらに含む、請求項１４に記載の方法。
【請求項１６】
前記カメラはＰＴＺパラメーターを有するパンチルトズーム（ＰＴＺ）カメラであり、前記方向付けることは、
前記検知されたプリミティブアクティビティーを入手するのに必要とされる前記ＰＴＺパラメーターの変化のコストを割り当てること、及び
前記コストに基づいて前記ＰＴＺパラメーターを変更すること
をさらに含む、請求項３に記載の方法。
【請求項１７】
時系列データに基づいてカメラを方向付けるためのシステムであって、該時系列データは、環境内のセンサによって検知されるアトミックアクティビティーを表し、各該アトミックアクティビティーは、各該アトミックアクティビティーが検知される時間及びロケーションを含み、該システムは、
指定されたアトミックアクティビティーの時空間的パターンを与える手段であって、該時空間的パターンは前記アトミックアクティビティーの前記時間及び前記ロケーションのみに基づき、それによって前記アトミックアクティビティーの時空間的シーケンスが指定されたプリミティブアクティビティーを形成する、与える手段と、
前記時系列データにおいて、前記時空間的パターンに対応する検知されたプリミティブアクティビティーを検出し、結果を生成するように構成される制御モジュールと、
前記結果に基づいて前記カメラを方向付ける手段と
を備える、時系列データに基づいてカメラを方向付けるためのシステム。
【請求項１８】
前記カメラを方向付けるためのポリシーを生成するポリシーモジュールをさらに備える、請求項１７に記載のシステム。
【請求項１９】
前記指定されたアトミックアクティビティーを指定するのに適したインターフェースを表示するように構成される表示デバイスをさらに備える、請求項１７に記載のシステム。
【請求項２０】
前記時系列データを格納するための監視データベースをさらに備える、請求項１７に記載のシステム。
【図１Ａ】
【図１Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１３９４５３（Ｐ２０１１−１３９４５３Ａ）
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１０−２７７５８３（Ｐ２０１０−２７７５８３）
【出願日】平成２２年１２月１４日（２０１０．１２．１４）
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願番号】特願２０１０−２７７５８３（Ｐ２０１０−２７７５８３）
【出願日】平成２２年１２月１４日（２０１０．１２．１４）
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
[ Back to top ]