情報処理装置
【課題】イベントが発生していない場合において、通常、所定の信号をユーザに視聴させつつ、イベントが発生した場合、それをユーザに通知することができるようにする。
【解決手段】特徴量抽出部１０２は、複数のセンサ１０１ａ乃至１０１ｎからセンサデータを取得し、各種特徴量を計算する。イベント判定部１０３が、各種特徴量に基づいて、イベントが発生したと判定した場合、呈示データ構築部１０４は、一般視聴信号（テレビジョン放送信号）の一部にイベント呈示データを挿入した呈示データを作成し、呈示部３に呈示させる。一方、イベントが発生していないと判定された場合、呈示データ構築部１０４は、一般視聴信号をそのまま呈示データとして呈示部３に出力する。本発明は、家庭用の監視システムに適用することができる。
【解決手段】特徴量抽出部１０２は、複数のセンサ１０１ａ乃至１０１ｎからセンサデータを取得し、各種特徴量を計算する。イベント判定部１０３が、各種特徴量に基づいて、イベントが発生したと判定した場合、呈示データ構築部１０４は、一般視聴信号（テレビジョン放送信号）の一部にイベント呈示データを挿入した呈示データを作成し、呈示部３に呈示させる。一方、イベントが発生していないと判定された場合、呈示データ構築部１０４は、一般視聴信号をそのまま呈示データとして呈示部３に出力する。本発明は、家庭用の監視システムに適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置に関し、特に、イベントが発生していない場合において、通常、所定の信号をユーザに視聴させつつ、イベントが発生した場合、それをユーザに通知することができるようにした情報処理装置に関する。
【背景技術】
【０００２】
従来、ホームセキュリティシステムとして、撮像装置から送信される監視画像を表示するモニタＴＶ(Television)を見ることにより、センサ情報を知る手法が提案されている（例えば、特許文献１参照）。
【０００３】
また、赤外線センサと画像センサが組み合わされた監視装置が、人体の有無および画策の有無を判定することにより、監視領域内に進入した人体を検出する手法が提案されている（例えば、特許文献２参照）。
【０００４】
これらの特許文献１および特許文献２に記載の発明においては、主に、特定の場所または特定の異常（イベント）が検出される。
【特許文献１】特開平８−１２４０７８号公報
【特許文献２】特開２０００−３３９５５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明はこのような状況に鑑みてなされたものであり、イベントが発生していない場合において、通常、所定の信号をユーザに視聴させつつ、イベントが発生した場合、それをユーザに通知することができるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の一側面の情報処理装置は、監視処理を実行する情報処理装置において、イベントが発生した場合、所定の信号に基づくデータに前記イベントを通知するためのイベントデータを挿入して、呈示データを作成するとともに、前記情報処理装置を遠隔制御する第１の他の情報処理装置に前記イベントを通知するための前記イベントデータで構成されるリモコン呈示データを作成する呈示データ作成手段を備え、前記呈示データ作成手段は、前記イベントが発生していない場合、前記所定の信号に基づく前記データのみを呈示データとして作成することを特徴とする。
【０００７】
前記呈示データ作成手段により作成された前記呈示データを呈示する呈示手段をさらに設けることができる。
【０００８】
第２の他の情報処理装置から送信されてくる前記イベントを通知するための通知用データを受信するイベント通知受信手段と、前記リモコン呈示データを前記第１の他の情報処理装置に送信する呈示データ送信手段と、前記第１の他の情報処理装置から送信された、前記リモコン呈示データに基づく判断信号を受信する判断信号受信手段と、前記判断信号受信手段により受信された前記判断信号を前記第２の他の情報処理装置に送信する判断信号送信手段とをさらに設け、前記呈示データ作成手段には、前記通知用データに基づく処理を実行させることができる。
【０００９】
前記イベント通知受信手段および前記判断信号送信手段の通信は、無線通信により行なわせることができる。
【００１０】
センサデータに基づいて、物体の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出された前記特徴量を取得し、判定パラメータに基づいて、イベントが発生したか否かを判定するイベント判定手段と、前記第１の他の情報処理装置から送信されてくる、前記リモコン呈示データに基づく判断信号を受信する受信手段と、前記受信手段により受信された前記判断信号に基づいて、制御処理を実行する制御手段とをさらに設け、前記呈示データ作成手段には、前記イベント判定手段の判定結果に基づいて、前記呈示データを作成させることができる。
【００１１】
前記制御手段には、前記イベント判定手段が前記イベントを判定するための前記判定パラメータを更新させ、前記特徴量抽出手段による特徴量抽出の処理を制御させ、第２の他の情報処理装置による前記センサデータの取得処理を制御する信号を、前記第２の他の情報処理装置に対して送信させることができる。
【００１２】
前記センサデータは、第２の他の情報処理装置から供給され、前記制御手段には、前記第２の他の情報処理装置に備えられる複数のセンサのオンまたはオフを切り換える信号を送信させることができる。
【００１３】
本発明の一側面においては、イベントが発生した場合には、所定の信号に基づくデータにイベントを通知するためのイベントデータを挿入して、呈示データが作成されるとともに、情報処理装置を遠隔制御する第１の他の情報処理装置にイベントを通知するためのイベントデータで構成されるリモコン呈示データが作成される。一方、イベントが発生していない場合には、所定の信号に基づくデータのみが呈示データとして作成される。
【発明の効果】
【００１４】
本発明によれば、イベントを通知することができる。また、本発明によれば、イベントが発生していない場合において、通常、所定の信号をユーザに視聴させつつ、イベントが発生した場合、それをユーザに通知することができる。
【発明を実施するための最良の形態】
【００１５】
図１は、本発明を適用した監視システム１０の構成例を表している。この構成例においては、図中左側の監視領域側にマルチセンサカメラ１が備えられており、図中右側の通知・呈示側に、処理ボックス２、呈示部３、および、処理ボックス２を遠隔操作するためのリモートコントローラ４が備えられている。マルチセンサカメラ１と処理ボックス２は、無線通信を行なう。
【００１６】
マルチセンサカメラ１には、複数のセンサが設けられており、各センサは、バッテリにより駆動される。また、各センサは、イベントを監視したい領域（必要な場所）に設置されている。イベントが発生した場合、処理ボックス２は、呈示画像および音声を構築し、呈示部３およびリモートコントローラ４に通知し、呈示させる。呈示部３は、例えば、一般のテレビジョン受像機とされる。この場合、呈示部３は、イベントが発生していない場合（通常）、一般の視聴信号（放送信号に基づく映像）を表示し、イベントが発生した場合、一般の視聴信号の一部分にイベント画像が挿入されたピクチャインピクチャの画像を表示する。なお、呈示部３は、テレビジョン受像機に限定されるものではなく、専用のモニタでもよい。また、表示される画像は、ピクチャインピクチャの画像ではなく、画面全体の画像としてもよい。
【００１７】
ユーザは、呈示されたイベントに対して、判断を行ない、判断の結果に基づいて、リモートコントローラ４から指令を入力することができる。例えば、イベントを今後も知らせて欲しいときは、そのことを、OKボタン（後述する図９のＯＫボタン２９１）を操作して指示することができる。このユーザからの判断の入力に基づいて、処理ボックス２により検出されるイベントが時間と共に変化し、ユーザが監視システム１０を使う度にユーザが意図するイベントのみが検出され、通知されるようになる。
【００１８】
マルチセンサカメラ１に搭載されている複数のセンサおよび信号処理部（図示せず）は必要な時に、必要なもののみが動作するため、無駄な消費電力を抑えることができる。
【００１９】
図２は、図１のマルチセンサカメラ１の機能的構成を示すブロック図である。
【００２０】
マルチセンサカメラ１には、カメラ２１、マイクロホン２２、赤外線センサ２３、その他のセンサ２４、信号処理部２５、送信部２６、受信部２７、およびバッテリ２８が設けられている。
【００２１】
信号処理部２５は、赤外線センサ２３、その他のセンサ２４など、複数のセンサから得られるデータに基づいて、イベントを検出し、イベントが発生した場合、イベント呈示に必要なデータを、送信部２６を介して処理ボックス２に送信する（処理ボックス２にイベントを通知する）。その他のセンサ２４は、例えば、明るさを検出するフォトセンサである場合、部屋の電気をつけたことを検知し、また、例えば、マイクロ波センサである場合、動いている物体の距離および動きを検出する。バッテリ２８は、マルチセンサカメラ１の各部に対して必要な電力を供給している。
【００２２】
受信部２７は、イベント通知に対応して処理ボックス２から送信されてくるユーザの判断信号、センサ制御信号、または、信号処理制御信号を受信し、信号処理部２５に供給する。信号処理部２５は、これらの信号に基づく処理を実行する。マルチセンサカメラ１がユーザ判断入力を取得することにより、イベント検出および呈示に必要なセンサ、信号処理部２５、送信部２６、および受信部２７のみを動作させることができるため、マルチセンサカメラ１の消費電力を抑えることができる。
【００２３】
また、このマルチセンサカメラ１は、小型、かつ、バッテリ駆動であり、さらに、無線通信機能を有しているため、大きなスペースを必要とせず、また、電源供給のための配線処理が不要なため、家庭内の様々な場所に、設置することができる。さらに、複数のセンサを搭載しているため、家庭内における様々なイベントを検知することができる。
【００２４】
図３は、図１の処理ボックス２の機能的構成を示すブロック図である。
【００２５】
受信部５１は、マルチセンサカメラ１の送信部２６から無線（電波）で送信された信号を受信し、信号処理部５２に供給する。信号処理部５２は、一般視聴信号（テレビジョン放送信号）を受信するとともに、受信部５１から供給された信号に基づく処理または呈示画像の構築を行なう。イベントが発生した場合、信号処理部５２は、呈示部３への呈示データを構築し、呈示部３に出力するとともに、リモートコントローラ４へのリモコン呈示データを構築し、送信部５３を介して、無線（赤外線または電波）でリモートコントローラ４に送信する。
【００２６】
受信部５４は、リモートコントローラ４から無線（赤外線または電波）で送信されたユーザの判断に基づく信号（ユーザ判断信号）を受信し、これを信号処理部５２に供給する。信号処理部５２は、このユーザ判断信号に基づく処理を実行するとともに、必要なデータを、送信部５５を介して、マルチセンサカメラ１に無線（電波）で送信する。
【００２７】
図４は、図１のリモートコントローラ４の機能的構成を示すブロック図である。
【００２８】
受信部８１は、処理ボックス２の送信部５３から無線（赤外線または電波）で送信された信号（例えば、リモコン呈示データ）を受信し、信号処理部８２に供給する。信号処理部８２は、取得した信号の復号または符号化など、信号に基づく処理を実行する。
【００２９】
リモコン呈示部８３は、信号処理部８２から送信された信号に基づく画像（文字、記号などを含む）を呈示する。ユーザ入力ＩＦ（インターフェース）部８４は、イベントに対するユーザからの判断に基づく入力を受け付け、入力に基づく信号を信号処理部８２に供給する。
【００３０】
イベントが発生した場合、受信部８１は、処理ボックス２の送信部５３から送信されてくるリモコン呈示データを受信し、信号処理部８２は、この呈示データに基づく画像をリモコン呈示部８３に呈示させる。ユーザにより、ユーザ入力ＩＦ部８４に判断が入力されると、ユーザ判断信号を信号処理部８２に供給する。信号処理部８２は、ユーザ判断信号を、送信部８５から、無線（赤外線または電波）で処理ボックス２に送信する。
【００３１】
ユーザによる、例えば、「今後も知らせて欲しいイベントである」、または、「今後知らせないでよいイベントである」などの判断を入力することができるように、リモートコントローラ４上に２つのボタン（例えば、後述する図９のＯＫボタン２９１とＮＧボタン２９２）が設けられる。マルチセンサカメラ１と処理ボックス２は、このユーザからの判断の入力に基づいて、処理を変化させる。
【００３２】
図２乃至図４のマルチセンサカメラ１、処理ボックス２、および、リモートコントローラ４により構成される図１の監視システム１０の主要部を接続して得られる原理的構成は、図５に示されるようになる。ただし、無線による通信路も有線の通信路として示されている。
【００３３】
図５の例における、複数のセンサ１０１ａ乃至センサ１０１ｎからなるセンサ１０１は、図２のマルチセンサカメラ１に対応させ、特徴量抽出部１０２、イベント判定部１０３、呈示データ構築部１０４、並びに、パラメータ制御部１２１、信号処理制御部１２２、および電源制御部１２３により構成される制御部１０８は、図３の処理ボックス２に対応させ、リモコン呈示部８３およびユーザ入力ＩＦ部８４は、図４のリモートコントローラ４に対応させることができる。ただし、この対応関係は任意であり、例えば、特徴量抽出部１０２、イベント判定部１０３、および制御部１０８のうちの一部または全部は、マルチセンサカメラ１側の構成として設けることも可能である（この例が、後述する図７に示されている）。
【００３４】
次に、図６のフローチャートを参照して、図５の監視システム１０により実行される処理を説明する。なお、この処理は、ユーザにより、監視領域における監視を開始するよう指令されたとき、開始される。
【００３５】
ステップＳ１において、特徴量抽出部１０２は、監視領域に設けられているセンサ１０１を構成する複数のセンサ１０１ａ，１０１ｂ，・・・，１０１ｎのそれぞれからセンサデータを取得する。
【００３６】
ステップＳ２において、特徴量抽出部１０２は、ステップＳ１の処理により取得した各種センサデータから各種特徴量を計算する。例えば、画像信号のフレーム間差分を取り、移動物体の位置を表すフレーム間差分の重心位置が計算される。あるいは、赤外線センサのデータの変化量が算出される。
【００３７】
ステップＳ３において、イベント判定部１０３は、特徴量抽出部１０２により計算された各種特徴量を取得する。
【００３８】
ステップＳ４において、イベント判定部１０３は、取得した各種特徴量に基づいて、イベントが発生したか否か（イベントであるか否か）を判定する。このととき、イベント判定部１０３は、自分自身に保持されているイベントを判定するための判定パラメータに基づいて、イベントを判定する。このパラメータは、パラメータ制御部１２１により制御され、更新される。ステップＳ４において、イベントであると判定された場合、処理はステップＳ５に進み、イベント判定部１０３は、イベントが発生したことを表すイベント発生信号と、イベント通知および呈示に必要なデータを呈示データ構築部１０４に供給する。
【００３９】
ステップＳ６において、呈示データ構築部１０４は、特徴量抽出部１０２からイベント発生信号、イベント通知および呈示に必要なデータを取得し、一般視聴信号（テレビジョン放送信号）の一部にイベント呈示データを挿入した呈示データを作成する。また、呈示データ構築部１０４は、イベント呈示データにより構成される（一般視聴信号を含まない）リモートコントローラ４用の呈示データ（以下、リモコン呈示データと称する）を作成する。
【００４０】
ステップＳ７において、呈示データ構築部１０４は、ステップＳ６の処理により作成した呈示データを呈示部３に出力し、呈示部３に呈示させる。また、呈示データ構築部１０４は、リモコン呈示データをリモコン呈示部８３に出力し、リモコン呈示部８３に呈示させる。
【００４１】
呈示データは、一般の視聴信号の一部にイベント呈示データを挿入して構成されているため、呈示部３には、ピクチャインピクチャの表示（例えば、後述する図１５に示されるような表示）が呈示される。また、リモコン呈示データは、イベント呈示データから構成されているため、リモコン呈示部８３には、イベントを表す表示（例えば、監視している場所の画像）のみが呈示される。
【００４２】
ユーザは、リモコン呈示部８３に通知および呈示されたイベント（画像および音声）を見て、判断（例えば、いま呈示されているイベントは、今後も知らせて欲しいイベントであるのか、または、今後しらせないでよいイベントであるのかの判断）を入力する。このとき、例えば、判断を入力させるように促す画像を、リモコン呈示部８３に、表示させるようにしてもよい。ユーザからの判断が入力されると、ステップＳ８において、ユーザ入力ＩＦ部８４は、ユーザからのイベントに対する判断の入力を取得する。ユーザ入力ＩＦ部８４は、取得したユーザからの判断の入力に基づくユーザ判断信号を、パラメータ制御部１２１、信号処理制御部１２２、および電源制御部１２３により構成される制御部１０８に供給する。
【００４３】
ステップＳ９において、パラメータ制御部１２１は、ステップＳ８の処理により取得したユーザ判断信号に基づいて、イベント判定部１０３に保持されているイベントを判定するための判定パラメータの更新を行ない、ユーザが意図するイベント検出が行なえるようにする。例えば、基準値以上の明るさが検出された場合、イベント検出信号が発生されるように設定されているとき、その基準値をより明るい基準値、またはより暗い基準値に変更することができる。
【００４４】
ステップＳ１０において、信号処理制御部１２２は、ユーザ判断信号（ステップＳ８の処理により取得したユーザ判断信号）に基づいて、特徴量抽出部１０２を制御する。具体的には、不要な特徴量の検出を中止するように制御したり、軽い処理（例えば、少ない数の特徴量を検出する処理）から、必要な場合に重い処理（より多い数の特徴量を検出し、より正確に判定できるようにする処理）に切り換えるなどの制御をする。例えば、後述する図１５に示されるような領域３２２（イベントとして検出して欲しい領域）と領域３２３（イベントとして検出する必要がない領域）のうち、領域３２３で人が撮影されたとしても、それを特徴量として検出させないようにすることができる。
【００４５】
ステップＳ１１において、電源制御部１２３は、ユーザ判断信号（ステップＳ８の処理により取得したユーザ判断信号）に基づいて、センサ１０１の電源をオンまたはオフするように制御する。具体的には、センサ１０１ａ乃至センサ１０１ｎのうち、特徴量抽出部１０２およびイベント判定部１０３で必要のないセンサの電源はオフするように制御する。これにより無駄なバッテリを消費するのを防ぐことができる。
【００４６】
ステップＳ１１の処理の後、処理はステップＳ１に戻り、同様の処理が繰り返される。
【００４７】
一方、ステップＳ４において、イベント判定部１０３により、イベントでないと判定された場合、処理はステップＳ１２に進み、呈示データ構築部１０４は、一般視聴信号（テレビジョン放送信号）をそのまま呈示データとして呈示部３に出力する。呈示部３は、一般視聴信号を呈示する。その後、処理はステップＳ１に戻り、それ以降の処理が繰り返される。
【００４８】
図６の処理により、ユーザは簡易な判断入力を行なうことにより、ユーザが意図するイベントを確実に検出することができ、かつ、必要な時のみ、各センサと処理部を動作するように制御することができるため、無駄な電力を消費することなく、マルチセンサカメラ１の低消費電力化が実現できる。
【００４９】
以下に、図７乃至図１８を参照して、監視システム（ホームセキュリティシステム）の具体例の１つを示す。
【００５０】
この例の場合、使用するセンサは、カメラ２０１および赤外線センサ２０２（図７）であり、ユーザは呈示されたイベントに対して「ＯＫ（今後もイベントとして検出して欲しい）」または「ＮＧ（今後はイベントとして検出しなくてもよい）」を入力する。また、この場合の、マルチセンサカメラ１の構成例は図７に示され、処理ボックス２の構成例は図８に示され、リモートコントローラ４の構成例は図９に示されている。さらに、各機器における処理を説明するフローチャートが図１０乃至図１４に示され、呈示部３に呈示される画像が図１５および図１６に示されている。また、リモコン呈示部２８３に呈示される画像が図１７および図１８に示されている。図中、図５と対応する部分については、同一の符号を付してあり、その説明は、繰り返しになるので省略する。
【００５１】
図７において、カメラ２０１と赤外線センサ２０２により取得されるセンサデータは、特徴量抽出部１０２に供給される。例えば、赤外線センサ２０２は、常にオンとされ、カメラ２０１は、電力消費を少なくするために通常はオフとされる（上述したように、制御部１０８により制御されている）。特徴量抽出部１０２は、赤外線センサ２０２により取得されたセンサデータから特徴量を抽出し、イベント判定部１０３に供給する。
【００５２】
イベントが発生したことの通知に使用される通知用データが特徴量抽出部１０２から符号化部２０３へ供給され、符号化部２０３は、これを符号化し、送信部２０４に供給する。イベントが発生した場合、送信部２０４は、符号化された通知用データを処理ボックス２へ送信する。また、処理ボックス２から送信されてくるユーザ判断信号は、受信部２０５により受信され、復号部２０６により復号された後、制御部１０８に供給される。制御部１０８は、上述したように、ユーザ判断信号に基づく処理を実行する。
【００５３】
具体的には、制御部１０８は、図５を参照して説明したように、イベント判定部１０３を、イベント判定のパラメータを更新するように制御したり、特徴量抽出部１０２を、画像の特徴量の抽出処理を開始したり、または停止するよう制御したり、カメラ２０１または赤外線センサ２０２を、オンまたはオフするよう制御する。
【００５４】
符号化部２０３、送信部２０４、受信部２０５、および復号部２０６も、イベントが発生したときのみ処理を実行させるようにすることで、無駄に電力を消費することなく、マルチセンサカメラ１を動作させることができる。
【００５５】
マルチセンサカメラ１の送信部２０４からイベント通知（通知用データ）が送信されて来た場合、通知用データは、図８の処理ボックス２の受信部２４１により受信され、復号部２４２により復号された後、呈示データ構築部１０４に供給される。呈示データ構築部１０４は、上述したように、一般視聴信号の一部にイベント信号を重畳した呈示データを作成し、呈示部３へ出力するとともに、イベントデータそのものを、リモコン呈示データとして符号化部２４３に符号化させ、送信部２４４に送信させる。マルチセンサカメラ１からイベント通知（通知用データ）が送信されて来ない場合（イベントが発生していない場合）、呈示データ構築部１０４は、一般視聴信号そのものを呈示データとして呈示部３へ出力し、呈示させる。
【００５６】
リモコン呈示データの送信に伴って、リモートコントローラ４から、ユーザ判断信号が送信されてくる。そこで、処理ボックス２の受信部２４５は、これを受信し、復号部２４６に復号させる。復号されたユーザ判断信号は、呈示データ構築部１０４および符号化部２４７に供給される。呈示データ構築部１０４は、ユーザ判断信号に基づいて、例えば、ピクチャインピクチャの画像を生成する処理を中止するなどの処理を実行する。符号化部２４７は、供給されたユーザ判断信号を符号化し、送信部２４８に送信させる。送信部２４８により送信されたユーザ判断信号は、マルチセンサカメラ１の受信部２０５に受信される。
【００５７】
処理ボックス２の送信部２４４からリモコン呈示データが送信されてきた場合、図９のリモートコントローラ４の受信部２８１は、これを受信し、復号部２８２に供給する。復号部２８２は、リモコン呈示データを復号し、復号されたリモコン呈示データに基づく画像をリモコン呈示部８３に呈示させる。
【００５８】
これに対して、ユーザは、ＯＫボタン２９１またはＮＧボタン２９２を操作することにより、判断（イベントとして検出する（ＯＫ）か、しない（ＮＧ）か）を入力することができる。
【００５９】
ユーザ入力ＩＦ８４は、ＯＫボタン２９１またはＮＧボタン２９２のうち、いずれか１つが操作されたことを検出し、ユーザ判断信号として符号化部２８３に供給する。符号化部２８３は、ユーザ判断信号を符号化し、送信部２８４に送信させる。送信部２８４は、ユーザ判断信号を、処理ボックス２の受信部２４５に送信する。
【００６０】
次に、図１０乃至図１４のフローチャートを参照して、図７のマルチセンサカメラ１、図８の処理ボックス２、および図９のリモートコントローラ４における処理を説明する。
【００６１】
最初に、図１０と図１１のフローチャートを参照して、図７のマルチセンサカメラ１における処理を説明する。なお、この処理は、ユーザにより、監視領域における監視を開始するよう指令されたとき、開始される。
【００６２】
ステップＳ５１において、必要であるとされているカメラ２０１と赤外線センサ２０２は、それぞれ画像データと検出データをセンサデータとして取得し、特徴量抽出部１０２に供給する。いまの例の場合、カメラ２０１と赤外線センサ２０２が両方とも動作している（必要である）ようにしたが、これに限定されず、例えば、赤外線センサ２０２のみ、または、カメラ２０１のみが動作しているものとしてもよい。
【００６３】
ステップＳ５２において、特徴量抽出部１０２は、必要な特徴量を計算する。具体的には、カメラ２０１が出力した画像データのフレーム間差分、フレーム間差分の重心位置、および赤外線センサ２０２が出力したセンサデータの変化量等の必要な特徴量を計算する。なお、必要な特徴量は時によって変換する。これは、制御部１０８により制御されるためである。特徴量抽出部１０２は、計算した各種特徴量を、イベント判定部１０３に供給するとともに、通知用データとして符号化部２０３に供給する。
【００６４】
ステップＳ５３において、イベント判定部１０３は、供給された各種特徴量（ステップＳ５２の処理により計算され、供給された各種特徴量）を取得する。
【００６５】
ステップＳ５４において、イベント判定部１０３は、取得した各種特徴量に基づいて、イベントが発生したか否か（イベントであるか否か）を判定する。このとき、イベント判定部１０３は、自分自身に保持されているイベントを判定するための判定パラメータに基づいて、イベントを判定する。このパラメータは、制御部１０８により制御され、更新される。ステップＳ５４において、イベントであると判定された場合、処理はステップＳ５５に進み、イベント判定部１０３は、イベント発生信号を符号化部２０３、送信部２０４、受信部２０５および復号部２０６に送信する。符号化部２０３、送信部２０４、受信部２０５および復号部２０６は、このイベント発生信号が供給されたとき動作状態となる。従って、イベント発生信号が供給されないとき、非動作状態（オフ状態）となっているので、電力が無駄に消費されるのを抑制することができる。
【００６６】
ステップＳ５６において、符号化部２０３は、ステップＳ５２の処理により特徴量抽出部１０２から送信された通知用データ（イベント通知用データ）を受信し、符号化し、送信部２０４に供給する。
【００６７】
ステップＳ５７において、送信部２０４は、符号化部２０３により符号化され、供給された通知用データを処理ボックス２に送信する。
【００６８】
処理ボックス２は、この通知用データを受信し（後述する図１２のステップＳ１０３）、これに対応するユーザ判断信号を送信してくる（後述する図１２のステップＳ１１２）。
【００６９】
そこで、ステップＳ５８において、受信部２０５は、ユーザ判断信号が送信されてきたか否かを判定する。ユーザ判断信号が送信されてきた場合、処理はステップＳ５９に進み、受信部２０５は、ユーザ判断信号を受信し、復号部２０６に供給する。
【００７０】
ステップＳ６０において、復号部２０６は、ユーザ判断信号を復号し、制御部１０８に供給する。
【００７１】
ステップＳ６１において、制御部１０８は、イベント判定部１０３のパラメータ変更制御、特徴量抽出部１０２の信号処理制御、およびセンサの電源制御などの制御を実行する。詳細は、図５と図６を参照して説明したので省略する。
【００７２】
ステップＳ５４においてイベントでないと判定された場合、ステップＳ５８においてユーザ判断信号が送信されてこないと判定された場合、または、ステップＳ６１の処理の後、処理はステップＳ５１に戻り、それ以降の処理が繰り返される。
【００７３】
次に、図１２と図１３を参照して、図１０と図１１のマルチセンサカメラ１の処理に対応する図８の処理ボックス２における処理を説明する。なお、この処理は、ユーザにより呈示部３に対して一般視聴信号（放送番組信号）に対応する画像の呈示または、監視領域における開始を開始するよう指令されたとき、開始される。
【００７４】
ステップＳ１０１において、受信部２４１は、イベント通知があるか否かを判定する。具体的には、受信部２４１は、マルチセンサカメラ１の送信部２０４から通知用データが送信されてきたか否かを判定する。ステップＳ１０１において、イベント通知がされないと判定された場合（通知用データが送信されてこないと判定された場合）、処理はステップＳ１０２に進み、呈示データ構築部１０４は、一般視聴信号をそのまま呈示データとして、呈示部３に出力し、呈示部３に呈示させる。その後、処理はステップＳ１０１に戻り、それ以降の処理が繰り返される。
【００７５】
ステップＳ１０１において、イベント通知があると判定された場合、ステップＳ１０３において、受信部２４１は、通知用データを受信し、復号部２４２に復号させる。復号部２４２は、復号した通知用データを呈示データ構築部１０４に供給する。
【００７６】
ステップＳ１０４において、呈示データ構築部１０４は、供給された通知用データを受信し、呈示データを作成する。具体的には、呈示データ構築部１０４は、一般視聴画像の一部にイベント画像を多重化させることで呈示データを作成する（ピクチャインピクチャとなる画像データを作成する）。その後、呈示データ構築部１０４は、作成した呈示データを呈示部３に出力し、呈示させる。
【００７７】
このとき、呈示部３には、図１５または図１６に示されるような画像が表示される。図１５の例の場合、呈示部３には、一般視聴画面３２０の一部に、イベント呈示領域３２１が呈示されている。イベント呈示領域３２１の、図中、左側の領域３２２と、右側の領域３２３のうち、右側の領域３２３に、カメラ２０１で撮影された人の画像が表示されている。このイベント呈示に対してユーザは、リモートコントローラ４のＯＫ（今後もイベントとして検出して欲しい）ボタン２９１、またはＮＯ（今後はイベントとして検出しなくてもよい）ボタン２９２を操作することで、判断を入力することになる。このユーザ判断信号がリモートコントローラ４から送信されてくる（後述する図１４のステップＳ１５６）。
【００７８】
いま、領域３２２と領域３２３のうち、左側の領域３２２が、ユーザがイベントとして検出して欲しい領域であるとすると、ユーザは、図１５に示されているようなイベントの呈示に対して、ＮＯボタン２９２を操作する。ユーザによりＮＯボタン２９２が操作された場合、これに対応するユーザ判断信号が、リモートコントローラ４から送信されてくる。処理ボックス２はこれを受信すると、それをマルチセンサカメラ１に送信する（後述するステップＳ１１２）。上述したように、マルチセンサカメラ１の制御部１０８は、このユーザ判断信号を受信すると、特徴量抽出部１０２を制御し、カメラ２０１の画角の右側の領域を特徴量抽出の範囲から除外する（図１１のステップＳ６１）。その結果、以後、画角の右側の領域で人が撮影されても、イベント発生信号が発生されず、左側の領域で人が撮影されたとき、イベント通知が行なわれる。これにより、例えば、図１６に示されるような呈示が行なわれるようになる。
【００７９】
ユーザによりＮＯボタン２９２が操作された場合、呈示部３には、一般視聴画像のみが呈示される。すなわち、イベント呈示領域３２１は表示されない。これによりユーザは無駄なイベントを呈示されることなく、必要な場所だけ、イベント呈示領域３２１を見ることができる。
【００８０】
図１２に戻って、ステップＳ１０５において、呈示データ構築部１０４は、リモコン呈示データを作成し、符号化部２４３に出力する。リモコン呈示データには、一般視聴信号は含まれず、リモコン呈示データは、通知用データそのものから構成されている。リモートコントローラ４は、リモコン呈示データを受信すると、対応する画像を図１７または図１８に示されるように表示する（後述する図１４のステップＳ１５３）。
【００８１】
ステップＳ１０６において、符号化部２４３は、ステップＳ１０５の処理により供給されたリモコン呈示データを符号化し、これを送信部２４４に供給する。
【００８２】
ステップＳ１０７において、送信部２４４は、ステップＳ１０６の処理により供給された、符号化されたリモコン呈示データをリモートコントローラ４に送信する。リモートコントローラ４は、これを受信し（後述する図１４のステップＳ１５１）、呈示した（後述する図１４のステップＳ１５３）後、ユーザにより入力された判断に基づく信号であるユーザ判断信号を送信してくる（後述する図１４のステップＳ１５６）。
【００８３】
そこで、ステップＳ１０８において、受信部２４５は、ユーザ判断信号が送信されてきたか否かを判定する。ユーザ判断信号が送信されてきたと判定された場合、ステップＳ１０９において、受信部２４５は、ユーザ判断信号を受信し、これを復号部２４６に供給する。
【００８４】
ステップＳ１１０において、復号部２４６は、ステップＳ１０９の処理により供給されたユーザ判断信号を復号し、これを呈示データ構築部１０４に供給するとともに、符号化部２４７に供給する。
【００８５】
ステップＳ１１１において、符号化部２４７は、ステップＳ１１０の処理により供給されたユーザ判断信号を符号化し、これを送信部２４８に供給する。
【００８６】
ステップＳ１１２において、送信部２４８は、ステップＳ１１１の処理により符号化され、供給されたユーザ判断信号をマルチセンサカメラ１に送信する。マルチセンサカメラ１は、上述したように、ユーザ判断信号に基づく処理を実行する（図１１のステップＳ６１）。
【００８７】
ステップＳ１１３において、呈示データ構築部１０４は、ステップＳ１１０の処理により復号部２４６により復号されたユーザ判断信号を取得し、ユーザ判断信号に基づく処理を実行する。
【００８８】
このとき、上述したように、呈示データ構築部１０４は、ユーザ判断信号に、呈示データの構築を停止するような信号（例えば、後述する図１７のＮＧボタン２９２が操作されたとされる信号）が含まれていた場合、イベント画像を含む呈示データの構築を停止するなどの処理を実行する。このとき、呈示部３には、イベント呈示領域３２１が呈示されない。
【００８９】
また、呈示データ構築部１０４は、ユーザ判断信号に、呈示データの構築を続けるような信号（例えば、後述する図１７のＯＫボタン２９１が操作されたとされる信号）が含まれていた場合、イベント画像を含む呈示データの構築を続ける処理を実行する。このとき、呈示部３には、図１６に示されるようなイベント呈示領域３２１が呈示される。
【００９０】
ステップＳ１０２の処理の後、ステップＳ１０８においてユーザ判断信号が送信されてこないと判定された場合、またはステップＳ１１３の処理の後、処理はステップＳ１０１に戻り、それ以降の処理が繰り返される。
【００９１】
次に、図１４を参照して、図１２と図１３の処理ボックス２の処理に対応する図９のリモートコントローラ４における処理を説明する。なお、この処理は、処理ボックス２の送信部２４４により、図１２のステップＳ１０７の処理が実行されたとき、開始される。
【００９２】
ステップＳ１５１において、受信部２８１は、処理ボックス２の送信部２４４から送信されてきた（図１２のステップＳ１０７の処理により処理ボックス２の送信部２４４から送信されてきた）リモコン呈示データを受信し、これを復号部２８２に供給する。
【００９３】
ステップＳ１５２において、復号部２８２は、ステップＳ１５１の処理により受信されたリモコン呈示データを復号し、復号したリモコン呈示データをリモコン呈示部８３に供給する。
【００９４】
ステップＳ１５３において、リモコン呈示部８３は、受信したリモコン呈示データに基づく画像を呈示する。
【００９５】
このとき、リモコン呈示部８３には、図１７または図１８に示されるような画像が表示される。この画像は、上述した図１５と図１６のイベント呈示領域３２１の画像と同様の画像である。すなわち、リモコン呈示データには、呈示部３に対して出力される呈示データのうちの、イベント呈示領域３２１に対応するデータのみが含まれている。
【００９６】
図１７の例の場合、リモコン呈示部８３には、リモコン呈示データに基づくイベントが呈示されている。リモコン呈示部８３の図中左側の領域２９３と右側の領域２９４のうち、左側の領域２９３が、ユーザがイベントとして検出して欲しい領域であるとすると、図１７に示されるように、右側の領域２９４に人の画像が表示されている場合、このイベント呈示に対してユーザは、ＯＫ（今後もイベントとして検出して欲しい）ボタン２９１とＮＯ（今後はイベントとして検出しなくてもよい）ボタン２９２のうち、ＮＯボタン２９２を操作する。これに対して、図１８に示されるように、左側の領域２９３に人の画像が表示されている場合、ユーザは、ＯＫボタン２９１を操作する。
【００９７】
そこで、ステップＳ１５４において、ユーザ入力ＩＦ部８４は、ユーザの判断が、入力されたか（ＯＫボタン２９１またはＮＧボタン２９２のいずれか１つが操作されたか）否かを判定する。ユーザの判断が入力されたと判定された場合、処理はステップＳ１５５に進み、ユーザ入力ＩＦ部８４は、ユーザの判断に基づく信号であるユーザ判断信号を符号化部２８３に供給し、符号化部２８３は、これを符号化する。その後、符号化部２８３は、符号化したユーザ判断信号を送信部２８４に供給する。
【００９８】
ステップＳ１５６において、送信部２８４は、符号化されたユーザ判断信号（ステップＳ１５４の処理により符号化部２８３により符号化されたユーザ判断信号）を、処理ボックス２に対して送信する。マルチセンサカメラ１と処理ボックス２はこれを受信し（図１１のステップＳ５９と図１２のステップＳ１０９）、上述したように、ユーザ判断信号に基づく処理を実行する。例えば、図１７に示されるような呈示に対してＮＧボタン２９２のユーザ判断信号が送信されてきた場合、マルチセンサカメラ１は、カメラ２０１で撮像される範囲（画角）のうち、右側の領域は、特徴量抽出の処理の対象外とする。その結果、以後、図１７に示されるような右側の領域２９４に人が表示されているような画像は、イベントとして送信してこなくなり、図１８に示されるような左側の領域２９３に人が表示されている画像がイベントの画像として呈示される。
【００９９】
ステップＳ１５４の処理において、ユーザの判断が入力されていないと判定された場合、またはステップＳ１５６の処理の後、処理はステップＳ１５１に戻り、それ以降の処理が繰り返される。
【０１００】
なお、マルチセンサカメラ１の処理の変化の例として、例えば、監視システム１０の利用を開始した後の所定の期間（ユーザの判断入力の回数が所定の回数を下回る場合）は、カメラ２０１と赤外線センサ２０２を常にオンするようにし、所定の期間の経過後（ユーザの判断入力の回数が所定の回数を上回った場合）は、カメラ２０１は通常オフとし、赤外線センサ２０２が反応したとき、初めてカメラ２０１をオンするように制御することもできる。
【０１０１】
また、イベント判定部１０３の処理に関しても、例えば、監視システム１０の利用を開始した後の所定の期間（ユーザの判断入力の回数が所定の回数を下回る場合）は、人（侵入者）の撮像位置（領域）がどこであったとしてもイベントとして出力するようにし、所定の期間の経過後（ユーザの判断入力の回数が所定の回数を上回った場合）は、ＯＫボタン２９１を操作することでユーザが指定した位置（領域）で人（侵入者）が撮像された場合にのみ、イベントとして出力するようにイベント判定部１０３の判定パラメータを変更させるようにすることもできる。
【０１０２】
以上の処理により、ユーザの判断に基づいて、動作するセンサを切り換え、さらに、ユーザの判断の繰り返しにより、マルチセンサカメラ１における処理を変化させることにより、ユーザが意図するイベントのみを検知および通知させるようにすることができ、かつ、必要なセンサ、信号処理等だけが動作するため、柔軟にイベントを検出および通知し、無駄な消費電力を抑えることができる。マルチセンサカメラ１は、バッテリ２８により駆動されるので、できるだけ電力消費を少なくするために、特徴量抽出部１０２、イベント判定部１０３、および制御部１０８の１つ以上を、処理ボックス２に収容するようにするのが好ましい。
【０１０３】
また、マルチセンサカメラ１の消費電力を抑えることができ、さらに小型化することができるため、様々な場所に手軽に設置できる。
【０１０４】
なお、以上の例は、監視システム１０を実現する一例であり、他にも、多数のシステム構成が考えられる。以下にその例を示す。
【０１０５】
例えば、使用するセンサは、カメラ、マイクロホン、赤外線センサに限らず、他のセンサを搭載することができる。また、検出するイベントも、上述した例に限られるものではない。
【０１０６】
また、例えば、マルチセンサカメラ１と処理ボックス２の間の通信は、無線通信に限られるものではなく、有線による通信であってもよい。
【０１０７】
また、マルチセンサカメラ１は、１台ではなく、複数設けることも可能である。
【０１０８】
さらに、呈示部３は、１つではなく、複数設けることも可能である。
【０１０９】
また、処理ボックス２は、呈示部３と別の筐体とせず、一体型とすることもできる。
【０１１０】
さらに、リモートコントローラ４にリモコン呈示部８３を設けずに、呈示部３のみの呈示としてもよい。
【０１１１】
また、リモートコントローラ４にイベントを呈示するのではなく、処理ボックス２にイベントの呈示部およびユーザの判断を入力するための入力ＩＦ部を設けることもできる。
【０１１２】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどの、記録媒体からインストールされる。この場合、上述した処理は、図１９に示されるようなパーソナルコンピュータ５００により実行される。
【０１１３】
図１９において、CPU（Central Processing Unit）５０１は、ROM(Read Only Memory)５０２に記憶されているプログラム、または、記憶部５０８からRAM(Random Access Memory)５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
【０１１４】
CPU５０１、ROM５０２、およびRAM５０３は、内部バス５０４を介して相互に接続されている。この内部バス５０４にはまた、入出力インターフェース５０５も接続されている。
【０１１５】
入出力インターフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT（Cathode Ray Tube），LCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、モデム、ターミナルアダプタなどより構成される通信部５０９が接続されている。通信部５０９は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行なう。
【０１１６】
入出力インターフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア５２１が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。
【０１１７】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１１８】
この記録媒体は、図１９に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア５２１よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０２や記憶部５０８が含まれるハードディスクなどで構成される。
【０１１９】
なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１２０】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【０１２１】
【図１】本発明を適用した監視システムの構成例を示す図である。
【図２】図１のマルチセンサカメラの機能的構成を示すブロック図である。
【図３】図１の処理ボックスの機能的構成を示すブロック図である。
【図４】図１のリモートコントローラの機能的構成を示すブロック図である。
【図５】図１の監視システムの原理的構成を示すブロック図である。
【図６】図５の監視システムにより実行されるイベント検出処理を説明するフローチャートである。
【図７】図１のマルチセンサカメラの構成例を示すブロック図である。
【図８】図１の処理ボックスの構成例を示すブロック図である。
【図９】図１のリモートコントローラの構成例を示すブロック図である。
【図１０】図７のマルチセンサカメラにおける処理を説明するフローチャートである。
【図１１】図７のマルチセンサカメラにおける処理を説明するフローチャートである。
【図１２】図８の処理ボックスにおける処理を説明するフローチャートである。
【図１３】図８の処理ボックスにおける処理を説明するフローチャートである。
【図１４】図９のリモートコントローラにおける処理を説明するフローチャートである。
【図１５】図１２のステップＳ１０４の処理における呈示例を示す図である。
【図１６】図１２のステップＳ１０４の処理における呈示例を示す図である。
【図１７】図１４のステップＳ１５３の処理における呈示例を示す図である。
【図１８】図１４のステップＳ１５３の処理における呈示例を示す図である。
【図１９】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１２２】
１ マルチセンサカメラ， ２ 処理ボックス， ３ 呈示部， ４ リモートコントローラ， １０ 監視システム， ８３ 呈示部， ８４ ユーザ入力ＩＦ部， １０１ センサ， １０２ 特徴量抽出部， １０３ イベント判定部， １０４ 呈示データ構築部， １０８ 制御部， １２１ パラメータ制御部， １２２ 信号処理制御部， １２３ 電源制御部， ２９１ ＯＫボタン， ２９２ ＮＧボタン
【技術分野】
【０００１】
本発明は、情報処理装置に関し、特に、イベントが発生していない場合において、通常、所定の信号をユーザに視聴させつつ、イベントが発生した場合、それをユーザに通知することができるようにした情報処理装置に関する。
【背景技術】
【０００２】
従来、ホームセキュリティシステムとして、撮像装置から送信される監視画像を表示するモニタＴＶ(Television)を見ることにより、センサ情報を知る手法が提案されている（例えば、特許文献１参照）。
【０００３】
また、赤外線センサと画像センサが組み合わされた監視装置が、人体の有無および画策の有無を判定することにより、監視領域内に進入した人体を検出する手法が提案されている（例えば、特許文献２参照）。
【０００４】
これらの特許文献１および特許文献２に記載の発明においては、主に、特定の場所または特定の異常（イベント）が検出される。
【特許文献１】特開平８−１２４０７８号公報
【特許文献２】特開２０００−３３９５５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明はこのような状況に鑑みてなされたものであり、イベントが発生していない場合において、通常、所定の信号をユーザに視聴させつつ、イベントが発生した場合、それをユーザに通知することができるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の一側面の情報処理装置は、監視処理を実行する情報処理装置において、イベントが発生した場合、所定の信号に基づくデータに前記イベントを通知するためのイベントデータを挿入して、呈示データを作成するとともに、前記情報処理装置を遠隔制御する第１の他の情報処理装置に前記イベントを通知するための前記イベントデータで構成されるリモコン呈示データを作成する呈示データ作成手段を備え、前記呈示データ作成手段は、前記イベントが発生していない場合、前記所定の信号に基づく前記データのみを呈示データとして作成することを特徴とする。
【０００７】
前記呈示データ作成手段により作成された前記呈示データを呈示する呈示手段をさらに設けることができる。
【０００８】
第２の他の情報処理装置から送信されてくる前記イベントを通知するための通知用データを受信するイベント通知受信手段と、前記リモコン呈示データを前記第１の他の情報処理装置に送信する呈示データ送信手段と、前記第１の他の情報処理装置から送信された、前記リモコン呈示データに基づく判断信号を受信する判断信号受信手段と、前記判断信号受信手段により受信された前記判断信号を前記第２の他の情報処理装置に送信する判断信号送信手段とをさらに設け、前記呈示データ作成手段には、前記通知用データに基づく処理を実行させることができる。
【０００９】
前記イベント通知受信手段および前記判断信号送信手段の通信は、無線通信により行なわせることができる。
【００１０】
センサデータに基づいて、物体の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出された前記特徴量を取得し、判定パラメータに基づいて、イベントが発生したか否かを判定するイベント判定手段と、前記第１の他の情報処理装置から送信されてくる、前記リモコン呈示データに基づく判断信号を受信する受信手段と、前記受信手段により受信された前記判断信号に基づいて、制御処理を実行する制御手段とをさらに設け、前記呈示データ作成手段には、前記イベント判定手段の判定結果に基づいて、前記呈示データを作成させることができる。
【００１１】
前記制御手段には、前記イベント判定手段が前記イベントを判定するための前記判定パラメータを更新させ、前記特徴量抽出手段による特徴量抽出の処理を制御させ、第２の他の情報処理装置による前記センサデータの取得処理を制御する信号を、前記第２の他の情報処理装置に対して送信させることができる。
【００１２】
前記センサデータは、第２の他の情報処理装置から供給され、前記制御手段には、前記第２の他の情報処理装置に備えられる複数のセンサのオンまたはオフを切り換える信号を送信させることができる。
【００１３】
本発明の一側面においては、イベントが発生した場合には、所定の信号に基づくデータにイベントを通知するためのイベントデータを挿入して、呈示データが作成されるとともに、情報処理装置を遠隔制御する第１の他の情報処理装置にイベントを通知するためのイベントデータで構成されるリモコン呈示データが作成される。一方、イベントが発生していない場合には、所定の信号に基づくデータのみが呈示データとして作成される。
【発明の効果】
【００１４】
本発明によれば、イベントを通知することができる。また、本発明によれば、イベントが発生していない場合において、通常、所定の信号をユーザに視聴させつつ、イベントが発生した場合、それをユーザに通知することができる。
【発明を実施するための最良の形態】
【００１５】
図１は、本発明を適用した監視システム１０の構成例を表している。この構成例においては、図中左側の監視領域側にマルチセンサカメラ１が備えられており、図中右側の通知・呈示側に、処理ボックス２、呈示部３、および、処理ボックス２を遠隔操作するためのリモートコントローラ４が備えられている。マルチセンサカメラ１と処理ボックス２は、無線通信を行なう。
【００１６】
マルチセンサカメラ１には、複数のセンサが設けられており、各センサは、バッテリにより駆動される。また、各センサは、イベントを監視したい領域（必要な場所）に設置されている。イベントが発生した場合、処理ボックス２は、呈示画像および音声を構築し、呈示部３およびリモートコントローラ４に通知し、呈示させる。呈示部３は、例えば、一般のテレビジョン受像機とされる。この場合、呈示部３は、イベントが発生していない場合（通常）、一般の視聴信号（放送信号に基づく映像）を表示し、イベントが発生した場合、一般の視聴信号の一部分にイベント画像が挿入されたピクチャインピクチャの画像を表示する。なお、呈示部３は、テレビジョン受像機に限定されるものではなく、専用のモニタでもよい。また、表示される画像は、ピクチャインピクチャの画像ではなく、画面全体の画像としてもよい。
【００１７】
ユーザは、呈示されたイベントに対して、判断を行ない、判断の結果に基づいて、リモートコントローラ４から指令を入力することができる。例えば、イベントを今後も知らせて欲しいときは、そのことを、OKボタン（後述する図９のＯＫボタン２９１）を操作して指示することができる。このユーザからの判断の入力に基づいて、処理ボックス２により検出されるイベントが時間と共に変化し、ユーザが監視システム１０を使う度にユーザが意図するイベントのみが検出され、通知されるようになる。
【００１８】
マルチセンサカメラ１に搭載されている複数のセンサおよび信号処理部（図示せず）は必要な時に、必要なもののみが動作するため、無駄な消費電力を抑えることができる。
【００１９】
図２は、図１のマルチセンサカメラ１の機能的構成を示すブロック図である。
【００２０】
マルチセンサカメラ１には、カメラ２１、マイクロホン２２、赤外線センサ２３、その他のセンサ２４、信号処理部２５、送信部２６、受信部２７、およびバッテリ２８が設けられている。
【００２１】
信号処理部２５は、赤外線センサ２３、その他のセンサ２４など、複数のセンサから得られるデータに基づいて、イベントを検出し、イベントが発生した場合、イベント呈示に必要なデータを、送信部２６を介して処理ボックス２に送信する（処理ボックス２にイベントを通知する）。その他のセンサ２４は、例えば、明るさを検出するフォトセンサである場合、部屋の電気をつけたことを検知し、また、例えば、マイクロ波センサである場合、動いている物体の距離および動きを検出する。バッテリ２８は、マルチセンサカメラ１の各部に対して必要な電力を供給している。
【００２２】
受信部２７は、イベント通知に対応して処理ボックス２から送信されてくるユーザの判断信号、センサ制御信号、または、信号処理制御信号を受信し、信号処理部２５に供給する。信号処理部２５は、これらの信号に基づく処理を実行する。マルチセンサカメラ１がユーザ判断入力を取得することにより、イベント検出および呈示に必要なセンサ、信号処理部２５、送信部２６、および受信部２７のみを動作させることができるため、マルチセンサカメラ１の消費電力を抑えることができる。
【００２３】
また、このマルチセンサカメラ１は、小型、かつ、バッテリ駆動であり、さらに、無線通信機能を有しているため、大きなスペースを必要とせず、また、電源供給のための配線処理が不要なため、家庭内の様々な場所に、設置することができる。さらに、複数のセンサを搭載しているため、家庭内における様々なイベントを検知することができる。
【００２４】
図３は、図１の処理ボックス２の機能的構成を示すブロック図である。
【００２５】
受信部５１は、マルチセンサカメラ１の送信部２６から無線（電波）で送信された信号を受信し、信号処理部５２に供給する。信号処理部５２は、一般視聴信号（テレビジョン放送信号）を受信するとともに、受信部５１から供給された信号に基づく処理または呈示画像の構築を行なう。イベントが発生した場合、信号処理部５２は、呈示部３への呈示データを構築し、呈示部３に出力するとともに、リモートコントローラ４へのリモコン呈示データを構築し、送信部５３を介して、無線（赤外線または電波）でリモートコントローラ４に送信する。
【００２６】
受信部５４は、リモートコントローラ４から無線（赤外線または電波）で送信されたユーザの判断に基づく信号（ユーザ判断信号）を受信し、これを信号処理部５２に供給する。信号処理部５２は、このユーザ判断信号に基づく処理を実行するとともに、必要なデータを、送信部５５を介して、マルチセンサカメラ１に無線（電波）で送信する。
【００２７】
図４は、図１のリモートコントローラ４の機能的構成を示すブロック図である。
【００２８】
受信部８１は、処理ボックス２の送信部５３から無線（赤外線または電波）で送信された信号（例えば、リモコン呈示データ）を受信し、信号処理部８２に供給する。信号処理部８２は、取得した信号の復号または符号化など、信号に基づく処理を実行する。
【００２９】
リモコン呈示部８３は、信号処理部８２から送信された信号に基づく画像（文字、記号などを含む）を呈示する。ユーザ入力ＩＦ（インターフェース）部８４は、イベントに対するユーザからの判断に基づく入力を受け付け、入力に基づく信号を信号処理部８２に供給する。
【００３０】
イベントが発生した場合、受信部８１は、処理ボックス２の送信部５３から送信されてくるリモコン呈示データを受信し、信号処理部８２は、この呈示データに基づく画像をリモコン呈示部８３に呈示させる。ユーザにより、ユーザ入力ＩＦ部８４に判断が入力されると、ユーザ判断信号を信号処理部８２に供給する。信号処理部８２は、ユーザ判断信号を、送信部８５から、無線（赤外線または電波）で処理ボックス２に送信する。
【００３１】
ユーザによる、例えば、「今後も知らせて欲しいイベントである」、または、「今後知らせないでよいイベントである」などの判断を入力することができるように、リモートコントローラ４上に２つのボタン（例えば、後述する図９のＯＫボタン２９１とＮＧボタン２９２）が設けられる。マルチセンサカメラ１と処理ボックス２は、このユーザからの判断の入力に基づいて、処理を変化させる。
【００３２】
図２乃至図４のマルチセンサカメラ１、処理ボックス２、および、リモートコントローラ４により構成される図１の監視システム１０の主要部を接続して得られる原理的構成は、図５に示されるようになる。ただし、無線による通信路も有線の通信路として示されている。
【００３３】
図５の例における、複数のセンサ１０１ａ乃至センサ１０１ｎからなるセンサ１０１は、図２のマルチセンサカメラ１に対応させ、特徴量抽出部１０２、イベント判定部１０３、呈示データ構築部１０４、並びに、パラメータ制御部１２１、信号処理制御部１２２、および電源制御部１２３により構成される制御部１０８は、図３の処理ボックス２に対応させ、リモコン呈示部８３およびユーザ入力ＩＦ部８４は、図４のリモートコントローラ４に対応させることができる。ただし、この対応関係は任意であり、例えば、特徴量抽出部１０２、イベント判定部１０３、および制御部１０８のうちの一部または全部は、マルチセンサカメラ１側の構成として設けることも可能である（この例が、後述する図７に示されている）。
【００３４】
次に、図６のフローチャートを参照して、図５の監視システム１０により実行される処理を説明する。なお、この処理は、ユーザにより、監視領域における監視を開始するよう指令されたとき、開始される。
【００３５】
ステップＳ１において、特徴量抽出部１０２は、監視領域に設けられているセンサ１０１を構成する複数のセンサ１０１ａ，１０１ｂ，・・・，１０１ｎのそれぞれからセンサデータを取得する。
【００３６】
ステップＳ２において、特徴量抽出部１０２は、ステップＳ１の処理により取得した各種センサデータから各種特徴量を計算する。例えば、画像信号のフレーム間差分を取り、移動物体の位置を表すフレーム間差分の重心位置が計算される。あるいは、赤外線センサのデータの変化量が算出される。
【００３７】
ステップＳ３において、イベント判定部１０３は、特徴量抽出部１０２により計算された各種特徴量を取得する。
【００３８】
ステップＳ４において、イベント判定部１０３は、取得した各種特徴量に基づいて、イベントが発生したか否か（イベントであるか否か）を判定する。このととき、イベント判定部１０３は、自分自身に保持されているイベントを判定するための判定パラメータに基づいて、イベントを判定する。このパラメータは、パラメータ制御部１２１により制御され、更新される。ステップＳ４において、イベントであると判定された場合、処理はステップＳ５に進み、イベント判定部１０３は、イベントが発生したことを表すイベント発生信号と、イベント通知および呈示に必要なデータを呈示データ構築部１０４に供給する。
【００３９】
ステップＳ６において、呈示データ構築部１０４は、特徴量抽出部１０２からイベント発生信号、イベント通知および呈示に必要なデータを取得し、一般視聴信号（テレビジョン放送信号）の一部にイベント呈示データを挿入した呈示データを作成する。また、呈示データ構築部１０４は、イベント呈示データにより構成される（一般視聴信号を含まない）リモートコントローラ４用の呈示データ（以下、リモコン呈示データと称する）を作成する。
【００４０】
ステップＳ７において、呈示データ構築部１０４は、ステップＳ６の処理により作成した呈示データを呈示部３に出力し、呈示部３に呈示させる。また、呈示データ構築部１０４は、リモコン呈示データをリモコン呈示部８３に出力し、リモコン呈示部８３に呈示させる。
【００４１】
呈示データは、一般の視聴信号の一部にイベント呈示データを挿入して構成されているため、呈示部３には、ピクチャインピクチャの表示（例えば、後述する図１５に示されるような表示）が呈示される。また、リモコン呈示データは、イベント呈示データから構成されているため、リモコン呈示部８３には、イベントを表す表示（例えば、監視している場所の画像）のみが呈示される。
【００４２】
ユーザは、リモコン呈示部８３に通知および呈示されたイベント（画像および音声）を見て、判断（例えば、いま呈示されているイベントは、今後も知らせて欲しいイベントであるのか、または、今後しらせないでよいイベントであるのかの判断）を入力する。このとき、例えば、判断を入力させるように促す画像を、リモコン呈示部８３に、表示させるようにしてもよい。ユーザからの判断が入力されると、ステップＳ８において、ユーザ入力ＩＦ部８４は、ユーザからのイベントに対する判断の入力を取得する。ユーザ入力ＩＦ部８４は、取得したユーザからの判断の入力に基づくユーザ判断信号を、パラメータ制御部１２１、信号処理制御部１２２、および電源制御部１２３により構成される制御部１０８に供給する。
【００４３】
ステップＳ９において、パラメータ制御部１２１は、ステップＳ８の処理により取得したユーザ判断信号に基づいて、イベント判定部１０３に保持されているイベントを判定するための判定パラメータの更新を行ない、ユーザが意図するイベント検出が行なえるようにする。例えば、基準値以上の明るさが検出された場合、イベント検出信号が発生されるように設定されているとき、その基準値をより明るい基準値、またはより暗い基準値に変更することができる。
【００４４】
ステップＳ１０において、信号処理制御部１２２は、ユーザ判断信号（ステップＳ８の処理により取得したユーザ判断信号）に基づいて、特徴量抽出部１０２を制御する。具体的には、不要な特徴量の検出を中止するように制御したり、軽い処理（例えば、少ない数の特徴量を検出する処理）から、必要な場合に重い処理（より多い数の特徴量を検出し、より正確に判定できるようにする処理）に切り換えるなどの制御をする。例えば、後述する図１５に示されるような領域３２２（イベントとして検出して欲しい領域）と領域３２３（イベントとして検出する必要がない領域）のうち、領域３２３で人が撮影されたとしても、それを特徴量として検出させないようにすることができる。
【００４５】
ステップＳ１１において、電源制御部１２３は、ユーザ判断信号（ステップＳ８の処理により取得したユーザ判断信号）に基づいて、センサ１０１の電源をオンまたはオフするように制御する。具体的には、センサ１０１ａ乃至センサ１０１ｎのうち、特徴量抽出部１０２およびイベント判定部１０３で必要のないセンサの電源はオフするように制御する。これにより無駄なバッテリを消費するのを防ぐことができる。
【００４６】
ステップＳ１１の処理の後、処理はステップＳ１に戻り、同様の処理が繰り返される。
【００４７】
一方、ステップＳ４において、イベント判定部１０３により、イベントでないと判定された場合、処理はステップＳ１２に進み、呈示データ構築部１０４は、一般視聴信号（テレビジョン放送信号）をそのまま呈示データとして呈示部３に出力する。呈示部３は、一般視聴信号を呈示する。その後、処理はステップＳ１に戻り、それ以降の処理が繰り返される。
【００４８】
図６の処理により、ユーザは簡易な判断入力を行なうことにより、ユーザが意図するイベントを確実に検出することができ、かつ、必要な時のみ、各センサと処理部を動作するように制御することができるため、無駄な電力を消費することなく、マルチセンサカメラ１の低消費電力化が実現できる。
【００４９】
以下に、図７乃至図１８を参照して、監視システム（ホームセキュリティシステム）の具体例の１つを示す。
【００５０】
この例の場合、使用するセンサは、カメラ２０１および赤外線センサ２０２（図７）であり、ユーザは呈示されたイベントに対して「ＯＫ（今後もイベントとして検出して欲しい）」または「ＮＧ（今後はイベントとして検出しなくてもよい）」を入力する。また、この場合の、マルチセンサカメラ１の構成例は図７に示され、処理ボックス２の構成例は図８に示され、リモートコントローラ４の構成例は図９に示されている。さらに、各機器における処理を説明するフローチャートが図１０乃至図１４に示され、呈示部３に呈示される画像が図１５および図１６に示されている。また、リモコン呈示部２８３に呈示される画像が図１７および図１８に示されている。図中、図５と対応する部分については、同一の符号を付してあり、その説明は、繰り返しになるので省略する。
【００５１】
図７において、カメラ２０１と赤外線センサ２０２により取得されるセンサデータは、特徴量抽出部１０２に供給される。例えば、赤外線センサ２０２は、常にオンとされ、カメラ２０１は、電力消費を少なくするために通常はオフとされる（上述したように、制御部１０８により制御されている）。特徴量抽出部１０２は、赤外線センサ２０２により取得されたセンサデータから特徴量を抽出し、イベント判定部１０３に供給する。
【００５２】
イベントが発生したことの通知に使用される通知用データが特徴量抽出部１０２から符号化部２０３へ供給され、符号化部２０３は、これを符号化し、送信部２０４に供給する。イベントが発生した場合、送信部２０４は、符号化された通知用データを処理ボックス２へ送信する。また、処理ボックス２から送信されてくるユーザ判断信号は、受信部２０５により受信され、復号部２０６により復号された後、制御部１０８に供給される。制御部１０８は、上述したように、ユーザ判断信号に基づく処理を実行する。
【００５３】
具体的には、制御部１０８は、図５を参照して説明したように、イベント判定部１０３を、イベント判定のパラメータを更新するように制御したり、特徴量抽出部１０２を、画像の特徴量の抽出処理を開始したり、または停止するよう制御したり、カメラ２０１または赤外線センサ２０２を、オンまたはオフするよう制御する。
【００５４】
符号化部２０３、送信部２０４、受信部２０５、および復号部２０６も、イベントが発生したときのみ処理を実行させるようにすることで、無駄に電力を消費することなく、マルチセンサカメラ１を動作させることができる。
【００５５】
マルチセンサカメラ１の送信部２０４からイベント通知（通知用データ）が送信されて来た場合、通知用データは、図８の処理ボックス２の受信部２４１により受信され、復号部２４２により復号された後、呈示データ構築部１０４に供給される。呈示データ構築部１０４は、上述したように、一般視聴信号の一部にイベント信号を重畳した呈示データを作成し、呈示部３へ出力するとともに、イベントデータそのものを、リモコン呈示データとして符号化部２４３に符号化させ、送信部２４４に送信させる。マルチセンサカメラ１からイベント通知（通知用データ）が送信されて来ない場合（イベントが発生していない場合）、呈示データ構築部１０４は、一般視聴信号そのものを呈示データとして呈示部３へ出力し、呈示させる。
【００５６】
リモコン呈示データの送信に伴って、リモートコントローラ４から、ユーザ判断信号が送信されてくる。そこで、処理ボックス２の受信部２４５は、これを受信し、復号部２４６に復号させる。復号されたユーザ判断信号は、呈示データ構築部１０４および符号化部２４７に供給される。呈示データ構築部１０４は、ユーザ判断信号に基づいて、例えば、ピクチャインピクチャの画像を生成する処理を中止するなどの処理を実行する。符号化部２４７は、供給されたユーザ判断信号を符号化し、送信部２４８に送信させる。送信部２４８により送信されたユーザ判断信号は、マルチセンサカメラ１の受信部２０５に受信される。
【００５７】
処理ボックス２の送信部２４４からリモコン呈示データが送信されてきた場合、図９のリモートコントローラ４の受信部２８１は、これを受信し、復号部２８２に供給する。復号部２８２は、リモコン呈示データを復号し、復号されたリモコン呈示データに基づく画像をリモコン呈示部８３に呈示させる。
【００５８】
これに対して、ユーザは、ＯＫボタン２９１またはＮＧボタン２９２を操作することにより、判断（イベントとして検出する（ＯＫ）か、しない（ＮＧ）か）を入力することができる。
【００５９】
ユーザ入力ＩＦ８４は、ＯＫボタン２９１またはＮＧボタン２９２のうち、いずれか１つが操作されたことを検出し、ユーザ判断信号として符号化部２８３に供給する。符号化部２８３は、ユーザ判断信号を符号化し、送信部２８４に送信させる。送信部２８４は、ユーザ判断信号を、処理ボックス２の受信部２４５に送信する。
【００６０】
次に、図１０乃至図１４のフローチャートを参照して、図７のマルチセンサカメラ１、図８の処理ボックス２、および図９のリモートコントローラ４における処理を説明する。
【００６１】
最初に、図１０と図１１のフローチャートを参照して、図７のマルチセンサカメラ１における処理を説明する。なお、この処理は、ユーザにより、監視領域における監視を開始するよう指令されたとき、開始される。
【００６２】
ステップＳ５１において、必要であるとされているカメラ２０１と赤外線センサ２０２は、それぞれ画像データと検出データをセンサデータとして取得し、特徴量抽出部１０２に供給する。いまの例の場合、カメラ２０１と赤外線センサ２０２が両方とも動作している（必要である）ようにしたが、これに限定されず、例えば、赤外線センサ２０２のみ、または、カメラ２０１のみが動作しているものとしてもよい。
【００６３】
ステップＳ５２において、特徴量抽出部１０２は、必要な特徴量を計算する。具体的には、カメラ２０１が出力した画像データのフレーム間差分、フレーム間差分の重心位置、および赤外線センサ２０２が出力したセンサデータの変化量等の必要な特徴量を計算する。なお、必要な特徴量は時によって変換する。これは、制御部１０８により制御されるためである。特徴量抽出部１０２は、計算した各種特徴量を、イベント判定部１０３に供給するとともに、通知用データとして符号化部２０３に供給する。
【００６４】
ステップＳ５３において、イベント判定部１０３は、供給された各種特徴量（ステップＳ５２の処理により計算され、供給された各種特徴量）を取得する。
【００６５】
ステップＳ５４において、イベント判定部１０３は、取得した各種特徴量に基づいて、イベントが発生したか否か（イベントであるか否か）を判定する。このとき、イベント判定部１０３は、自分自身に保持されているイベントを判定するための判定パラメータに基づいて、イベントを判定する。このパラメータは、制御部１０８により制御され、更新される。ステップＳ５４において、イベントであると判定された場合、処理はステップＳ５５に進み、イベント判定部１０３は、イベント発生信号を符号化部２０３、送信部２０４、受信部２０５および復号部２０６に送信する。符号化部２０３、送信部２０４、受信部２０５および復号部２０６は、このイベント発生信号が供給されたとき動作状態となる。従って、イベント発生信号が供給されないとき、非動作状態（オフ状態）となっているので、電力が無駄に消費されるのを抑制することができる。
【００６６】
ステップＳ５６において、符号化部２０３は、ステップＳ５２の処理により特徴量抽出部１０２から送信された通知用データ（イベント通知用データ）を受信し、符号化し、送信部２０４に供給する。
【００６７】
ステップＳ５７において、送信部２０４は、符号化部２０３により符号化され、供給された通知用データを処理ボックス２に送信する。
【００６８】
処理ボックス２は、この通知用データを受信し（後述する図１２のステップＳ１０３）、これに対応するユーザ判断信号を送信してくる（後述する図１２のステップＳ１１２）。
【００６９】
そこで、ステップＳ５８において、受信部２０５は、ユーザ判断信号が送信されてきたか否かを判定する。ユーザ判断信号が送信されてきた場合、処理はステップＳ５９に進み、受信部２０５は、ユーザ判断信号を受信し、復号部２０６に供給する。
【００７０】
ステップＳ６０において、復号部２０６は、ユーザ判断信号を復号し、制御部１０８に供給する。
【００７１】
ステップＳ６１において、制御部１０８は、イベント判定部１０３のパラメータ変更制御、特徴量抽出部１０２の信号処理制御、およびセンサの電源制御などの制御を実行する。詳細は、図５と図６を参照して説明したので省略する。
【００７２】
ステップＳ５４においてイベントでないと判定された場合、ステップＳ５８においてユーザ判断信号が送信されてこないと判定された場合、または、ステップＳ６１の処理の後、処理はステップＳ５１に戻り、それ以降の処理が繰り返される。
【００７３】
次に、図１２と図１３を参照して、図１０と図１１のマルチセンサカメラ１の処理に対応する図８の処理ボックス２における処理を説明する。なお、この処理は、ユーザにより呈示部３に対して一般視聴信号（放送番組信号）に対応する画像の呈示または、監視領域における開始を開始するよう指令されたとき、開始される。
【００７４】
ステップＳ１０１において、受信部２４１は、イベント通知があるか否かを判定する。具体的には、受信部２４１は、マルチセンサカメラ１の送信部２０４から通知用データが送信されてきたか否かを判定する。ステップＳ１０１において、イベント通知がされないと判定された場合（通知用データが送信されてこないと判定された場合）、処理はステップＳ１０２に進み、呈示データ構築部１０４は、一般視聴信号をそのまま呈示データとして、呈示部３に出力し、呈示部３に呈示させる。その後、処理はステップＳ１０１に戻り、それ以降の処理が繰り返される。
【００７５】
ステップＳ１０１において、イベント通知があると判定された場合、ステップＳ１０３において、受信部２４１は、通知用データを受信し、復号部２４２に復号させる。復号部２４２は、復号した通知用データを呈示データ構築部１０４に供給する。
【００７６】
ステップＳ１０４において、呈示データ構築部１０４は、供給された通知用データを受信し、呈示データを作成する。具体的には、呈示データ構築部１０４は、一般視聴画像の一部にイベント画像を多重化させることで呈示データを作成する（ピクチャインピクチャとなる画像データを作成する）。その後、呈示データ構築部１０４は、作成した呈示データを呈示部３に出力し、呈示させる。
【００７７】
このとき、呈示部３には、図１５または図１６に示されるような画像が表示される。図１５の例の場合、呈示部３には、一般視聴画面３２０の一部に、イベント呈示領域３２１が呈示されている。イベント呈示領域３２１の、図中、左側の領域３２２と、右側の領域３２３のうち、右側の領域３２３に、カメラ２０１で撮影された人の画像が表示されている。このイベント呈示に対してユーザは、リモートコントローラ４のＯＫ（今後もイベントとして検出して欲しい）ボタン２９１、またはＮＯ（今後はイベントとして検出しなくてもよい）ボタン２９２を操作することで、判断を入力することになる。このユーザ判断信号がリモートコントローラ４から送信されてくる（後述する図１４のステップＳ１５６）。
【００７８】
いま、領域３２２と領域３２３のうち、左側の領域３２２が、ユーザがイベントとして検出して欲しい領域であるとすると、ユーザは、図１５に示されているようなイベントの呈示に対して、ＮＯボタン２９２を操作する。ユーザによりＮＯボタン２９２が操作された場合、これに対応するユーザ判断信号が、リモートコントローラ４から送信されてくる。処理ボックス２はこれを受信すると、それをマルチセンサカメラ１に送信する（後述するステップＳ１１２）。上述したように、マルチセンサカメラ１の制御部１０８は、このユーザ判断信号を受信すると、特徴量抽出部１０２を制御し、カメラ２０１の画角の右側の領域を特徴量抽出の範囲から除外する（図１１のステップＳ６１）。その結果、以後、画角の右側の領域で人が撮影されても、イベント発生信号が発生されず、左側の領域で人が撮影されたとき、イベント通知が行なわれる。これにより、例えば、図１６に示されるような呈示が行なわれるようになる。
【００７９】
ユーザによりＮＯボタン２９２が操作された場合、呈示部３には、一般視聴画像のみが呈示される。すなわち、イベント呈示領域３２１は表示されない。これによりユーザは無駄なイベントを呈示されることなく、必要な場所だけ、イベント呈示領域３２１を見ることができる。
【００８０】
図１２に戻って、ステップＳ１０５において、呈示データ構築部１０４は、リモコン呈示データを作成し、符号化部２４３に出力する。リモコン呈示データには、一般視聴信号は含まれず、リモコン呈示データは、通知用データそのものから構成されている。リモートコントローラ４は、リモコン呈示データを受信すると、対応する画像を図１７または図１８に示されるように表示する（後述する図１４のステップＳ１５３）。
【００８１】
ステップＳ１０６において、符号化部２４３は、ステップＳ１０５の処理により供給されたリモコン呈示データを符号化し、これを送信部２４４に供給する。
【００８２】
ステップＳ１０７において、送信部２４４は、ステップＳ１０６の処理により供給された、符号化されたリモコン呈示データをリモートコントローラ４に送信する。リモートコントローラ４は、これを受信し（後述する図１４のステップＳ１５１）、呈示した（後述する図１４のステップＳ１５３）後、ユーザにより入力された判断に基づく信号であるユーザ判断信号を送信してくる（後述する図１４のステップＳ１５６）。
【００８３】
そこで、ステップＳ１０８において、受信部２４５は、ユーザ判断信号が送信されてきたか否かを判定する。ユーザ判断信号が送信されてきたと判定された場合、ステップＳ１０９において、受信部２４５は、ユーザ判断信号を受信し、これを復号部２４６に供給する。
【００８４】
ステップＳ１１０において、復号部２４６は、ステップＳ１０９の処理により供給されたユーザ判断信号を復号し、これを呈示データ構築部１０４に供給するとともに、符号化部２４７に供給する。
【００８５】
ステップＳ１１１において、符号化部２４７は、ステップＳ１１０の処理により供給されたユーザ判断信号を符号化し、これを送信部２４８に供給する。
【００８６】
ステップＳ１１２において、送信部２４８は、ステップＳ１１１の処理により符号化され、供給されたユーザ判断信号をマルチセンサカメラ１に送信する。マルチセンサカメラ１は、上述したように、ユーザ判断信号に基づく処理を実行する（図１１のステップＳ６１）。
【００８７】
ステップＳ１１３において、呈示データ構築部１０４は、ステップＳ１１０の処理により復号部２４６により復号されたユーザ判断信号を取得し、ユーザ判断信号に基づく処理を実行する。
【００８８】
このとき、上述したように、呈示データ構築部１０４は、ユーザ判断信号に、呈示データの構築を停止するような信号（例えば、後述する図１７のＮＧボタン２９２が操作されたとされる信号）が含まれていた場合、イベント画像を含む呈示データの構築を停止するなどの処理を実行する。このとき、呈示部３には、イベント呈示領域３２１が呈示されない。
【００８９】
また、呈示データ構築部１０４は、ユーザ判断信号に、呈示データの構築を続けるような信号（例えば、後述する図１７のＯＫボタン２９１が操作されたとされる信号）が含まれていた場合、イベント画像を含む呈示データの構築を続ける処理を実行する。このとき、呈示部３には、図１６に示されるようなイベント呈示領域３２１が呈示される。
【００９０】
ステップＳ１０２の処理の後、ステップＳ１０８においてユーザ判断信号が送信されてこないと判定された場合、またはステップＳ１１３の処理の後、処理はステップＳ１０１に戻り、それ以降の処理が繰り返される。
【００９１】
次に、図１４を参照して、図１２と図１３の処理ボックス２の処理に対応する図９のリモートコントローラ４における処理を説明する。なお、この処理は、処理ボックス２の送信部２４４により、図１２のステップＳ１０７の処理が実行されたとき、開始される。
【００９２】
ステップＳ１５１において、受信部２８１は、処理ボックス２の送信部２４４から送信されてきた（図１２のステップＳ１０７の処理により処理ボックス２の送信部２４４から送信されてきた）リモコン呈示データを受信し、これを復号部２８２に供給する。
【００９３】
ステップＳ１５２において、復号部２８２は、ステップＳ１５１の処理により受信されたリモコン呈示データを復号し、復号したリモコン呈示データをリモコン呈示部８３に供給する。
【００９４】
ステップＳ１５３において、リモコン呈示部８３は、受信したリモコン呈示データに基づく画像を呈示する。
【００９５】
このとき、リモコン呈示部８３には、図１７または図１８に示されるような画像が表示される。この画像は、上述した図１５と図１６のイベント呈示領域３２１の画像と同様の画像である。すなわち、リモコン呈示データには、呈示部３に対して出力される呈示データのうちの、イベント呈示領域３２１に対応するデータのみが含まれている。
【００９６】
図１７の例の場合、リモコン呈示部８３には、リモコン呈示データに基づくイベントが呈示されている。リモコン呈示部８３の図中左側の領域２９３と右側の領域２９４のうち、左側の領域２９３が、ユーザがイベントとして検出して欲しい領域であるとすると、図１７に示されるように、右側の領域２９４に人の画像が表示されている場合、このイベント呈示に対してユーザは、ＯＫ（今後もイベントとして検出して欲しい）ボタン２９１とＮＯ（今後はイベントとして検出しなくてもよい）ボタン２９２のうち、ＮＯボタン２９２を操作する。これに対して、図１８に示されるように、左側の領域２９３に人の画像が表示されている場合、ユーザは、ＯＫボタン２９１を操作する。
【００９７】
そこで、ステップＳ１５４において、ユーザ入力ＩＦ部８４は、ユーザの判断が、入力されたか（ＯＫボタン２９１またはＮＧボタン２９２のいずれか１つが操作されたか）否かを判定する。ユーザの判断が入力されたと判定された場合、処理はステップＳ１５５に進み、ユーザ入力ＩＦ部８４は、ユーザの判断に基づく信号であるユーザ判断信号を符号化部２８３に供給し、符号化部２８３は、これを符号化する。その後、符号化部２８３は、符号化したユーザ判断信号を送信部２８４に供給する。
【００９８】
ステップＳ１５６において、送信部２８４は、符号化されたユーザ判断信号（ステップＳ１５４の処理により符号化部２８３により符号化されたユーザ判断信号）を、処理ボックス２に対して送信する。マルチセンサカメラ１と処理ボックス２はこれを受信し（図１１のステップＳ５９と図１２のステップＳ１０９）、上述したように、ユーザ判断信号に基づく処理を実行する。例えば、図１７に示されるような呈示に対してＮＧボタン２９２のユーザ判断信号が送信されてきた場合、マルチセンサカメラ１は、カメラ２０１で撮像される範囲（画角）のうち、右側の領域は、特徴量抽出の処理の対象外とする。その結果、以後、図１７に示されるような右側の領域２９４に人が表示されているような画像は、イベントとして送信してこなくなり、図１８に示されるような左側の領域２９３に人が表示されている画像がイベントの画像として呈示される。
【００９９】
ステップＳ１５４の処理において、ユーザの判断が入力されていないと判定された場合、またはステップＳ１５６の処理の後、処理はステップＳ１５１に戻り、それ以降の処理が繰り返される。
【０１００】
なお、マルチセンサカメラ１の処理の変化の例として、例えば、監視システム１０の利用を開始した後の所定の期間（ユーザの判断入力の回数が所定の回数を下回る場合）は、カメラ２０１と赤外線センサ２０２を常にオンするようにし、所定の期間の経過後（ユーザの判断入力の回数が所定の回数を上回った場合）は、カメラ２０１は通常オフとし、赤外線センサ２０２が反応したとき、初めてカメラ２０１をオンするように制御することもできる。
【０１０１】
また、イベント判定部１０３の処理に関しても、例えば、監視システム１０の利用を開始した後の所定の期間（ユーザの判断入力の回数が所定の回数を下回る場合）は、人（侵入者）の撮像位置（領域）がどこであったとしてもイベントとして出力するようにし、所定の期間の経過後（ユーザの判断入力の回数が所定の回数を上回った場合）は、ＯＫボタン２９１を操作することでユーザが指定した位置（領域）で人（侵入者）が撮像された場合にのみ、イベントとして出力するようにイベント判定部１０３の判定パラメータを変更させるようにすることもできる。
【０１０２】
以上の処理により、ユーザの判断に基づいて、動作するセンサを切り換え、さらに、ユーザの判断の繰り返しにより、マルチセンサカメラ１における処理を変化させることにより、ユーザが意図するイベントのみを検知および通知させるようにすることができ、かつ、必要なセンサ、信号処理等だけが動作するため、柔軟にイベントを検出および通知し、無駄な消費電力を抑えることができる。マルチセンサカメラ１は、バッテリ２８により駆動されるので、できるだけ電力消費を少なくするために、特徴量抽出部１０２、イベント判定部１０３、および制御部１０８の１つ以上を、処理ボックス２に収容するようにするのが好ましい。
【０１０３】
また、マルチセンサカメラ１の消費電力を抑えることができ、さらに小型化することができるため、様々な場所に手軽に設置できる。
【０１０４】
なお、以上の例は、監視システム１０を実現する一例であり、他にも、多数のシステム構成が考えられる。以下にその例を示す。
【０１０５】
例えば、使用するセンサは、カメラ、マイクロホン、赤外線センサに限らず、他のセンサを搭載することができる。また、検出するイベントも、上述した例に限られるものではない。
【０１０６】
また、例えば、マルチセンサカメラ１と処理ボックス２の間の通信は、無線通信に限られるものではなく、有線による通信であってもよい。
【０１０７】
また、マルチセンサカメラ１は、１台ではなく、複数設けることも可能である。
【０１０８】
さらに、呈示部３は、１つではなく、複数設けることも可能である。
【０１０９】
また、処理ボックス２は、呈示部３と別の筐体とせず、一体型とすることもできる。
【０１１０】
さらに、リモートコントローラ４にリモコン呈示部８３を設けずに、呈示部３のみの呈示としてもよい。
【０１１１】
また、リモートコントローラ４にイベントを呈示するのではなく、処理ボックス２にイベントの呈示部およびユーザの判断を入力するための入力ＩＦ部を設けることもできる。
【０１１２】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどの、記録媒体からインストールされる。この場合、上述した処理は、図１９に示されるようなパーソナルコンピュータ５００により実行される。
【０１１３】
図１９において、CPU（Central Processing Unit）５０１は、ROM(Read Only Memory)５０２に記憶されているプログラム、または、記憶部５０８からRAM(Random Access Memory)５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
【０１１４】
CPU５０１、ROM５０２、およびRAM５０３は、内部バス５０４を介して相互に接続されている。この内部バス５０４にはまた、入出力インターフェース５０５も接続されている。
【０１１５】
入出力インターフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT（Cathode Ray Tube），LCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、モデム、ターミナルアダプタなどより構成される通信部５０９が接続されている。通信部５０９は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行なう。
【０１１６】
入出力インターフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア５２１が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。
【０１１７】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１１８】
この記録媒体は、図１９に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア５２１よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０２や記憶部５０８が含まれるハードディスクなどで構成される。
【０１１９】
なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１２０】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【０１２１】
【図１】本発明を適用した監視システムの構成例を示す図である。
【図２】図１のマルチセンサカメラの機能的構成を示すブロック図である。
【図３】図１の処理ボックスの機能的構成を示すブロック図である。
【図４】図１のリモートコントローラの機能的構成を示すブロック図である。
【図５】図１の監視システムの原理的構成を示すブロック図である。
【図６】図５の監視システムにより実行されるイベント検出処理を説明するフローチャートである。
【図７】図１のマルチセンサカメラの構成例を示すブロック図である。
【図８】図１の処理ボックスの構成例を示すブロック図である。
【図９】図１のリモートコントローラの構成例を示すブロック図である。
【図１０】図７のマルチセンサカメラにおける処理を説明するフローチャートである。
【図１１】図７のマルチセンサカメラにおける処理を説明するフローチャートである。
【図１２】図８の処理ボックスにおける処理を説明するフローチャートである。
【図１３】図８の処理ボックスにおける処理を説明するフローチャートである。
【図１４】図９のリモートコントローラにおける処理を説明するフローチャートである。
【図１５】図１２のステップＳ１０４の処理における呈示例を示す図である。
【図１６】図１２のステップＳ１０４の処理における呈示例を示す図である。
【図１７】図１４のステップＳ１５３の処理における呈示例を示す図である。
【図１８】図１４のステップＳ１５３の処理における呈示例を示す図である。
【図１９】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１２２】
１ マルチセンサカメラ， ２ 処理ボックス， ３ 呈示部， ４ リモートコントローラ， １０ 監視システム， ８３ 呈示部， ８４ ユーザ入力ＩＦ部， １０１ センサ， １０２ 特徴量抽出部， １０３ イベント判定部， １０４ 呈示データ構築部， １０８ 制御部， １２１ パラメータ制御部， １２２ 信号処理制御部， １２３ 電源制御部， ２９１ ＯＫボタン， ２９２ ＮＧボタン
【特許請求の範囲】
【請求項１】
監視処理を実行する情報処理装置において、
イベントが発生した場合、所定の信号に基づくデータに前記イベントを通知するためのイベントデータを挿入して、呈示データを作成するとともに、前記情報処理装置を遠隔制御する第１の他の情報処理装置に前記イベントを通知するための前記イベントデータで構成されるリモコン呈示データを作成する呈示データ作成手段を備え、
前記呈示データ作成手段は、前記イベントが発生していない場合、前記所定の信号に基づく前記データのみを呈示データとして作成する
ことを特徴とする情報処理装置。
【請求項２】
前記呈示データ作成手段により作成された前記呈示データを呈示する呈示手段をさらに備える
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
第２の他の情報処理装置から送信されてくる前記イベントを通知するための通知用データを受信するイベント通知受信手段と、
前記リモコン呈示データを前記第１の他の情報処理装置に送信する呈示データ送信手段と、
前記第１の他の情報処理装置から送信された、前記リモコン呈示データに基づく判断信号を受信する判断信号受信手段と、
前記判断信号受信手段により受信された前記判断信号を前記第２の他の情報処理装置に送信する判断信号送信手段とをさらに備え、
前記呈示データ作成手段は、前記通知用データに基づく処理を実行する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記イベント通知受信手段および前記判断信号送信手段の通信は、無線通信により行なわれる
ことを特徴とする請求項３に記載の情報処理装置。
【請求項５】
センサデータに基づいて、物体の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された前記特徴量を取得し、判定パラメータに基づいて、イベントが発生したか否かを判定するイベント判定手段と、
前記第１の他の情報処理装置から送信されてくる、前記リモコン呈示データに基づく判断信号を受信する受信手段と、
前記受信手段により受信された前記判断信号に基づいて、制御処理を実行する制御手段とをさらに備え、
前記呈示データ作成手段は、前記イベント判定手段の判定結果に基づいて、前記呈示データを作成する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記制御手段は、前記イベント判定手段が前記イベントを判定するための前記判定パラメータを更新し、前記特徴量抽出手段による特徴量抽出の処理を制御し、第２の他の情報処理装置による前記センサデータの取得処理を制御する信号を、前記第２の他の情報処理装置に対して送信する
ことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記センサデータは、第２の他の情報処理装置から供給され、
前記制御手段は、前記第２の他の情報処理装置に備えられる複数のセンサのオンまたはオフを切り換える信号を送信する
ことを特徴とする請求項５に記載の情報処理装置。
【請求項１】
監視処理を実行する情報処理装置において、
イベントが発生した場合、所定の信号に基づくデータに前記イベントを通知するためのイベントデータを挿入して、呈示データを作成するとともに、前記情報処理装置を遠隔制御する第１の他の情報処理装置に前記イベントを通知するための前記イベントデータで構成されるリモコン呈示データを作成する呈示データ作成手段を備え、
前記呈示データ作成手段は、前記イベントが発生していない場合、前記所定の信号に基づく前記データのみを呈示データとして作成する
ことを特徴とする情報処理装置。
【請求項２】
前記呈示データ作成手段により作成された前記呈示データを呈示する呈示手段をさらに備える
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
第２の他の情報処理装置から送信されてくる前記イベントを通知するための通知用データを受信するイベント通知受信手段と、
前記リモコン呈示データを前記第１の他の情報処理装置に送信する呈示データ送信手段と、
前記第１の他の情報処理装置から送信された、前記リモコン呈示データに基づく判断信号を受信する判断信号受信手段と、
前記判断信号受信手段により受信された前記判断信号を前記第２の他の情報処理装置に送信する判断信号送信手段とをさらに備え、
前記呈示データ作成手段は、前記通知用データに基づく処理を実行する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記イベント通知受信手段および前記判断信号送信手段の通信は、無線通信により行なわれる
ことを特徴とする請求項３に記載の情報処理装置。
【請求項５】
センサデータに基づいて、物体の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された前記特徴量を取得し、判定パラメータに基づいて、イベントが発生したか否かを判定するイベント判定手段と、
前記第１の他の情報処理装置から送信されてくる、前記リモコン呈示データに基づく判断信号を受信する受信手段と、
前記受信手段により受信された前記判断信号に基づいて、制御処理を実行する制御手段とをさらに備え、
前記呈示データ作成手段は、前記イベント判定手段の判定結果に基づいて、前記呈示データを作成する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記制御手段は、前記イベント判定手段が前記イベントを判定するための前記判定パラメータを更新し、前記特徴量抽出手段による特徴量抽出の処理を制御し、第２の他の情報処理装置による前記センサデータの取得処理を制御する信号を、前記第２の他の情報処理装置に対して送信する
ことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記センサデータは、第２の他の情報処理装置から供給され、
前記制御手段は、前記第２の他の情報処理装置に備えられる複数のセンサのオンまたはオフを切り換える信号を送信する
ことを特徴とする請求項５に記載の情報処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００６−３２３８３９（Ｐ２００６−３２３８３９Ａ）
【公開日】平成１８年１１月３０日（２００６．１１．３０）
【国際特許分類】
【出願番号】特願２００６−１２１５７３（Ｐ２００６−１２１５７３）
【出願日】平成１８年４月２６日（２００６．４．２６）
【分割の表示】特願２００２−３０３７９５（Ｐ２００２−３０３７９５）の分割
【原出願日】平成１４年１０月１８日（２００２．１０．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１８年１１月３０日（２００６．１１．３０）
【国際特許分類】
【出願日】平成１８年４月２６日（２００６．４．２６）
【分割の表示】特願２００２−３０３７９５（Ｐ２００２−３０３７９５）の分割
【原出願日】平成１４年１０月１８日（２００２．１０．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]