ネットワーク映像モニタリングシステム及びモニタ装置
【課題】複数のカメラによって撮影された映像データを効率よく確認する。
【解決手段】映像を撮影する複数のカメラと、カメラによって撮影された映像を検索し、カメラによって撮影された映像に基づいて生成された検索用情報をモニタ装置に送信する検索装置と、カメラによって撮影された映像を格納する映像蓄積装置と、撮影された映像を表示するモニタ装置と、を備える映像ネットワークシステムにおいて、モニタ装置は、検索用装置から受信した検索用情報に含まれる検索用画像を表示し、検索用装置から受信した検索用情報に基づいて、検索用情報に関連する映像の要否を判定し、検索用情報に関連する映像が必要と判定した場合に、映像蓄積装置に当該検索用情報に関連する映像を要求し、映像蓄積装置から取得した映像データを表示する。
【解決手段】映像を撮影する複数のカメラと、カメラによって撮影された映像を検索し、カメラによって撮影された映像に基づいて生成された検索用情報をモニタ装置に送信する検索装置と、カメラによって撮影された映像を格納する映像蓄積装置と、撮影された映像を表示するモニタ装置と、を備える映像ネットワークシステムにおいて、モニタ装置は、検索用装置から受信した検索用情報に含まれる検索用画像を表示し、検索用装置から受信した検索用情報に基づいて、検索用情報に関連する映像の要否を判定し、検索用情報に関連する映像が必要と判定した場合に、映像蓄積装置に当該検索用情報に関連する映像を要求し、映像蓄積装置から取得した映像データを表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラを備えるネットワーク映像モニタリングシステムに関する。
【背景技術】
【０００２】
ＷｅｂカメラなどのＩＰ接続可能な撮像装置が普及することにより、ＩＰネットワークを利用した広域・大規模監視システムを構築することが可能となった。このような監視システムでは、大量の監視画像を取得することが可能となり、多角的なモニタリングが可能となる。
【０００３】
しかし、取得された大量の監視画像をすべてモニタ装置に表示しようとすると、大量のモニタ装置が必要となり、効率的な監視システムを構成することができない。そこで、低精細度の監視画像の一覧（サムネイル画像）を表示し、選択された監視画像についてのみ高精細度の監視画像を表示する方法が提案されている。
【特許文献１】特開２００７−５３５６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、大量の監視画像が表示されると、前述した従来技術では、高精細度の監視画像表示する監視画像をサムネイル画像から選択することは困難である。このため、サムネイル画像に含まれる監視画像を効率よく確認するための手段が必要となる。例えば、大量の監視画像から重要な画像を抽出し、さらに関連する監視画像を効率的に検索する手段などである。
【０００５】
本発明では、大量の監視画像を効率よく確認するためのネットワーク映像モニタリングシステムを提示することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の代表的な一形態によれば、映像を撮影する複数のカメラと、前記カメラによって撮影された映像を表示するモニタ装置とを備える映像ネットワークシステムであって、前記カメラによって撮影された映像の検索用情報を生成する情報生成装置と、前記カメラによって撮影された映像を検索する検索装置と、前記カメラによって撮影された映像を格納する映像蓄積装置と、を備え、前記情報生成装置は、前記カメラによって撮影された映像を取得し、前記取得した映像から検索用情報を生成し、前記生成された検索用情報を前記検索装置に送信し、前記検索装置は、前記情報生成装置から受信した検索用情報を記憶装置に格納し、前記格納された検索用情報を前記モニタ装置に送信し、前記モニタ装置は、前記検索装置から受信した検索用情報に含まれる検索用画像を表示し、前記検索装置から受信した検索用情報に基づいて、前記検索用情報に関連する映像の要否を判定し、前記検索用情報に関連する映像が必要と判定した場合に、前記映像蓄積装置に当該検索用情報に関連する映像を要求し、前記映像蓄積装置は、前記モニタ装置からの映像の要求に従って、要求された映像データを要求元の前記モニタ装置に送信し、前記モニタ装置は、前記映像蓄積装置から取得した映像データを表示する。
【発明の効果】
【０００７】
本発明の一形態によれば、映像から作成された検索用情報に基づいて画像（映像）を検索することによって、効率的に映像を確認することができる。
【発明を実施するための最良の形態】
【０００８】
次に、本発明の実施の形態について、図面を参照して説明する。
【０００９】
図１は、本発明の実施の形態のネットワーク映像モニタリングシステムの一例を示すブロック図である。また、図２は、本発明の実施の形態のネットワーク映像モニタリングシステムの構成要素間の通信の概要を示すブロック図である。
【００１０】
図１において、ネットワーク映像モニタリングシステムは、複数のカメラ２２０を含むカメラ群２−０、２−１と、複数のカメラ２２０を制御し、所望のカメラ２２０の画像を表示する監視センタ１と、監視センタ１と各カメラ群２−０、２−１を接続するネットワーク１００と、監視センタ１のセンサ情報変換装置７に接続されてセンサノードからの情報を転送するセンサネットワーク８を主体に構成される。
【００１１】
ネットワーク映像モニタリングシステムは、建造物内などに複数のカメラ２２０を設置し、監視センタ１の管理者又は監視員が複数のカメラ２２０の画像を監視し、各カメラ２２０の画像を蓄積装置４に格納していくものである。
【００１２】
監視センタ１には、複数のカメラ２２０のサムネイル画像を表示し、所望のカメラ２２０の画像を高精細度の画像で表示する表示ＰＣ（モニタ装置）５を備え、管理者（又は監視員）が表示ＰＣ５のモニタ５０に表示されるサムネイル画像又は高精細度画像を監視する。また、表示ＰＣ５では、予め設定したセンサノードからのイベントを受信すると、このセンサノードの位置に対応するカメラ２２０の画像をモニタ５０に表示する。センサノードが所定の位置に固定されて、かつ、所定のカメラ２２０に対応付けられており、このセンサノードのイベントから当該カメラ２２０の画像を表示ＰＣ５に表示させることで、人や物の通過などを監視することができる。また、表示ＰＣ５では、管理者の操作によって指定したカメラ２２０の画像を高精細度で表示することができる。
【００１３】
監視センタ１は、上述の機能を実現するため、画像の表示を行う表示ＰＣ５と、カメラ群２−０、２−１から画像を要求して蓄積する蓄積装置４と、カメラ群２−０、２−１から画像のサムネイルと特徴量を取得して表示ＰＣ５に配信する検索ＰＣ（検索装置）６と、蓄積装置４からの画像の要求を後述するように変換するリクエスト変換装置３と、センサネットワーク８からの情報を後述するように変換し、カメラ２２０の識別子に対応付けるセンサ情報変換装置７から構成される。以下、各部の詳細について説明する。
【００１４】
＜カメラ群の構成＞
監視センタ１は、複数のカメラ群２−０、２−１を管理しており、各カメラ群は建造物などの所定の領域（例えば、各フロア）毎、あるいは、カメラ２２０の台数毎に設定され、ひとつのカメラ群２−０、２−１には複数のカメラ２２０とひとつの伝送制御装置２０が含まれる。なお、以下の説明では、カメラ群２−０、２−１の構成は同様であるので、同一のものに同一の符号を付して重複した説明を省略する。
【００１５】
所定の位置に設置されたカメラ２２０は、所定のフレームレートで所定の解像度の画像（動画）を撮像し、出力する。カメラ２２０は、カメラＰＣ（計算機）２１０接続される。
【００１６】
カメラＰＣ２１０は、ＣＰＵとメモリ及び通信インターフェースを備えた計算機であり、図２で示すように、カメラ２２０が撮影した動画を蓄積装置４からの要求に応じて１フレームずつ監視センタ１の蓄積装置４へ送信する。したがって、カメラＰＣ２１０は、蓄積装置４からの画像要求があったときにのみ、最新の１フレーム（画像）を蓄積装置４へ向けて送信し、その他のフレームについては後述するサムネイル画像の生成と特徴量の抽出が完了すると破棄する。
【００１７】
さらに、カメラＰＣ２１０は、図２で示すように、カメラ２２０が撮影した画像からサムネイル画像を生成し、また、画像の特徴量を抽出し、これらのサムネイル画像と特徴量を監視センタ１の検索ＰＣ６に送信する。サムネイル画像は、カメラ２２０が撮影した動画の解像度を縮小したものであり、例えば、カメラ２２０が６４０×４８０ドット（ＶＧＡ）の解像度の画像を出力する場合には、カメラＰＣ２１０はサムネイル画像として１２８×９６ドットの画像を生成する。また、カメラＰＣ２１０は、カメラ２２０が撮影した画像から、エッジ検出や輪郭検出など公知の手法によって、画像の特徴量を抽出する。例えば、画像の画素値情報を用いて、画像中の色情報やエッジパターンの分布を示す多次元ベクトルを生成し、主成分分析法などを用いて多次元ベクトルを次元圧縮して数十〜数百次元程度のベクトルを生成し、画像の特徴量とする。なお、色情報に基づいた特徴量抽出は、全体画像に対して格子状に構図分割を行い、分割された各領域の色ヒストグラムから作られる多次元ベクトルを、全体画像特徴量として用いる。ここで、全体画像の特徴を表している特徴量ならば、色情報ではなく輝度値や明度値などの情報やそれらを組み合わせたものを用いても良い。また、エッジパターンに基づいた特徴量抽出は、特徴的なエッジパターンを予め複数設定し、画像に対して格子状に構図分割を行い、各領域内に含まれるエッジパターン数を計数する。このエッジパターン数からヒストグラムを生成し、多次元ベクトルを生成する。なお、以下の説明では、カメラ２２０の原画像の解像度又はサムネイル画像よりも高精細度の画像を高精細度画像という。
【００１８】
各カメラＰＣ２１０から監視センタ１宛に送信された情報と、監視センタ１から各カメラＰＣ２１０又はカメラ２２０宛の情報は、伝送制御装置２０を介して転送される。
【００１９】
ここで、各カメラＰＣ２１０には所定の識別子（例えば、ＩＰアドレス）が予め付与されており、監視センタ１はこのＩＰアドレスによりカメラ２２０を特定する。
【００２０】
蓄積装置４は、画像を取得するカメラＰＣ２１０のＩＰアドレスを指定して画像要求をリクエスト変換装置３へ送信する。リクエスト変換装置３は、蓄積装置４からの画像要求の宛先を、後述するように各カメラ群の伝送制御装置２０のアドレスとポート番号に変換してネットワーク１００に送信する。
【００２１】
伝送制御装置２０は、ネットワーク１００を介してリクエスト変換装置３から画像要求を受信すると、画像要求のポート番号からカメラＰＣ２１０を特定し、画像要求を特定したカメラＰＣ２１０へ転送する。このため、カメラＰＣ２１０は、ポート番号とカメラＰＣ２１０の対応関係を示す転送先テーブル２３０を備える。なお、転送先テーブル２３０は、予め設定されたものである。
【００２２】
カメラＰＣ２１０は、伝送制御装置２０からの画像要求に対して最新の画像（高精細度画像）を１フレームだけ返信する。伝送制御装置２０は、カメラＰＣ２１０から受信した画像を、当該カメラＰＣ２１０を特定するポート番号に変換してからリクエスト変換装置３へ送信する。リクエスト変換装置３は、受信した画像のポート番号からカメラＰＣ２１０のＩＰアドレスに変換し、蓄積装置４へ送信する。蓄積装置４は、受信した画像の送信元のＩＰアドレスからカメラＰＣ２１０を特定して画像を格納していく。
【００２３】
伝送制御装置２０は、所定の数のカメラＰＣ２１０を配下に置き、リクエスト変換装置３から転送された画像要求をカメラＰＣ２１０に転送し、画像要求に対する返答を、後述するように優先度及びセンサ情報に基づいてフレームレートの制御を行う。優先度の制御を行うため、伝送制御装置２０は、優先度履歴テーブル２４０を備える。
【００２４】
また、伝送制御装置２０は、モニタリング対象の拠点側（つまり、カメラ群側）、リクエスト変換装置３は集約モニタリングを行う監視センタ１側に置き、その間は広域のネットワーク１００に接続されている。これにより、ネットワーク１００に流れるトラフィックを削減することが可能となる。
【００２５】
なお、本発明の実施の形態では、カメラＰＣ２１０とカメラ２２０が独立した構成を示したが、カメラＰＣ２１０とカメラ２２０が一体となった構成であっても良い。
【００２６】
＜監視センタの構成＞
次に、監視センタ１の構成要素について、図１及び図２を参照しながら以下に説明する。
【００２７】
蓄積装置４は、ＣＰＵ、メモリ、通信インターフェース及びストレージ装置を含む計算機で構成されて、多数のカメラＰＣ２１０を管理下に置き、各カメラＰＣ２１０に対して画像要求を送信して高精細画像を取得すると共に、表示ＰＣからの蓄積画像取得要求に対して高精細の画像を返信する。
【００２８】
センサ情報変換装置７は、ＣＰＵとメモリ及び通信インターフェースを備えた計算機で構成され、赤外線ノード８２０と名札センサ８１０と無線基地局８０からなるセンサネットワーク８から送信される情報を、伝送制御装置２０及び検索ＰＣ６が解釈可能なメッセージ形式及び送信手順に変換してそれぞれにメッセージを送信する。
【００２９】
センサ情報変換装置７は、センサノードの識別子から当該センサノードに対応するカメラＰＣ２１０の識別子を特定するセンサ−カメラ管理テーブル７０を備える。このセンサ−カメラ管理テーブル７０は、センサノードのうち固定ノードの識別子に対して、予め設定したカメラＰＣ２１０のＩＰアドレスを設定したもので、例えば、固定ノードの近傍を通過する人や物体を撮影可能なカメラ２２０に接続されたカメラＰＣ２１０のＩＰアドレスが設定される。
【００３０】
検索ＰＣ６は、ＣＰＵとメモリと通信インターフェース及びストレージ装置を備えた計算機で構成される。また、検索ＰＣ６は、カメラＰＣ２１０からの画像の特徴量及びサムネイル画像、及びセンサ情報変換装置７から受信したセンサ情報を格納し、表示ＰＣ５に対して検知情報（センサネットワークからのセンサ情報）とサムネイル画像を送付する。さらに、検索ＰＣ６は、伝送制御装置２０に対して優先すべきカメラＰＣ２１０の情報を送付する。
【００３１】
リクエスト変換装置３は、ＣＰＵ、メモリ及び通信インターフェースを備えた計算機で構成され、蓄積装置４とカメラＰＣ２１０の間の通信経路上に配置され、蓄積装置４からカメラＰＣ２１０に向かう画像要求を中継する際に、伝送制御装置２０を経由するようメッセージの送信元と送信先を変更し、かつ、伝送制御装置２０から蓄積装置４に向かうメッセージの送信元と送信先を変更する。
【００３２】
リクエスト変換装置３は、蓄積装置４からの画像要求に含まれる宛先（カメラＰＣ２１０のＩＰアドレス）を各カメラ群の伝送制御装置２０のＩＰアドレスとポート番号に変換し、送信元をリクエスト変換装置３に置き換えたメッセージを伝送制御装置２０に送信する。また、リクエスト変換装置３は伝送制御装置２０からの返信（画像）に含まれる宛先を蓄積装置４に変換し、送信元を返信に含まれるカメラＰＣ２１０のＩＰアドレスに変換したメッセージを蓄積装置４に送信する。このため、リクエスト変換装置３は、カメラＰＣ２１０のＩＰアドレスとポート番号を変換するためのアドレス変換テーブル３０を備える。
【００３３】
表示ＰＣ５は、ＣＰＵとメモリ及び通信インターフェースを備えた計算機で構成され、複数のカメラ２２０のサムネイル画像と、所望のカメラ２２０の画像を高精細度の画像をモニタ５０に表示する。なお、表示ＰＣ５の詳細な構成については、図５にて後述する。
【００３４】
表示ＰＣ５は、管理者又は監視員が指定したカメラＰＣ２１０の識別子（カメラＩＤ）を、フレームレートを優先するカメラＰＣ２１０として伝送制御装置２０に通知する。この通知に基づいて、伝送制御装置２０は優先度履歴テーブル２４０を更新する。
【００３５】
＜センサネットワーク＞
次に、センサネットワーク８について説明する。図１において、センサネットワーク８は、センサ情報変換装置７に接続された無線基地局８０と、無線ネットワーク８００を介して無線基地局８０に接続されたセンサノードから構成される。
【００３６】
本発明の実施の形態のセンサノードとしては、所定の位置に固定された固定ノードと、人や物体に装着される移動ノードから構成された例を示す。図１において、センサネットワーク８は、予め設定された識別子を赤外線発信機から送信する赤外線ノード８２０を固定ノードとして備える。また、センサネットワーク８は、移動ノードとして赤外線ノード８２０から受信した識別子を無線基地局８０へ送信する名札センサ８１０を備える。
【００３７】
図３は、本発明の実施の形態のネットワーク映像モニタリングシステムの映像配信処理を示す説明図である。
【００３８】
カメラＰＣ２１０は、画像登録プログラム４１０を実行する。画像登録プログラム４１０では、映像取得スレッド１１０、映像配信スレッド１２０、検索用情報登録スレッド１４０（図４参照）の三つのスレッドが並列に実行される。なお、各スレッドは繰り返し実行される。
【００３９】
蓄積装置４は、蓄積装置プログラム４３０を実行する。蓄積装置プログラム４３０は繰り返し実行される。
【００４０】
まず、映像取得スレッド１１０の処理について説明する。
【００４１】
映像取得スレッド１１０では、カメラ２２０が取得した映像データを取得して、メモリに設けられたバッファにフレーム画像として画像データを格納する（１１１）。
【００４２】
次に、バッファに格納されたフレーム画像を用いて、フレーム画像系列上における各画素値の平均値を画素値とする背景画像を計算する。そして、背景画像を新たに計算された背景画像に更新する（１１２）。
【００４３】
次に、フレーム画像と背景画像の差を画素値とする背景差分画像を計算する。そして、計算された背景差分画像及びフレーム画像をスレッド間通信１３０によって送信されるデータに設定する（１１３）。
【００４４】
その後、背景差分画像を、スレッド間通信（１３０）によって、背景差分画像を、映像取得スレッド１１０から映像配信スレッド１２０に送る。
【００４５】
検索用情報登録スレッド１４０では、蓄積装置４からの要求を受信すると（１２１）、スレッド間通信１３０によって送信されたデータから最新のフレーム画像を取得し（１２２）、取得したフレーム画像を映像蓄積サーバに送信する（１２３）。
【００４６】
次に、蓄積装置４によって実行される映像蓄積サーバプログラム４３０について説明する。
【００４７】
蓄積装置４は、所定のタイミングで（例えば、所定の時間間隔で、他のシステムによってイベントが検出されたときに）、カメラＰＣ２１０に対して高精細度画像要求を送信する（２２１）。そして、カメラ２２０によって撮影された映像データを取得すると（２２２）、取得した映像データの時間間隔を調整し、取得した映像データを記憶装置に格納する（２２３）。この映像データの時間間隔の調整は、カメラＰＣ２１０から取得した映像データに付された情報（例えば、当該映像データのフレームレート）を参照して、蓄積装置４に記録される形式のフレームレートに合わせた映像データの形式に変換して、変換された映像データを記録する。なお、映像データのフレームレートを高レートから低レートに変換する場合は、余剰なフレームを削除すればよい。一方、映像データのフレームレートを低レートから高レートに変換する場合は、前後の画像を不足するフレームとするか、不足するフレームを補完してもよい。
【００４８】
このように時間間隔が調整された映像データを記憶装置に格納するので、異なるフレームレートの画像データを統一した形式で格納することができる。
【００４９】
図４は、本発明の実施の形態のネットワーク映像モニタリングシステムの検索用情報登録処理の概要を示す説明図である。
【００５０】
まず、映像取得スレッド１１０の処理は、図３で前述したものと同じである。
【００５１】
検索用情報登録スレッド１４０では、スレッド間通信１３０によって送られたデータ（フレーム画像、背景差分画像）を取得すると（１４１）、イベント検出処理１４２によってイベントを検出する。そして、イベントが検出されない場合は（１４３の結果が「Ｎ」）、ステップ１４１に戻り、次の画像を取得する。一方、イベントが検出された場合は（１４３の結果が「Ｙ」）、画像特徴量を抽出する（１４４）。
【００５２】
その後、抽出された特徴量及び原映像データの識別子を含む検索用情報登録要求を検索ＰＣ６に送る（１４５）。なお、検索用情報登録要求には、原映像データの識別子ではなく、原映像データを撮影したカメラ２２０の識別子を含んでもよい。そして、検索サーバ２１から検索用情報の登録確認通知を受信すると（１４６）、ステップ１４１に戻り、次の画像を取得する。
【００５３】
次に、検索ＰＣ６によって実行される検索ＰＣプログラム４２０について説明する。
【００５４】
検索ＰＣ６は、カメラＰＣ２１０から検索用情報登録要求を受信した場合に（２１１）、受信した検索用情報（画像特徴量及び映像データの識別子）を記憶装置に格納する（２１２）。その後、カメラＰＣ２１０に、検索用情報の登録確認通知を送る（２１３）。なお、カメラＰＣ２１０は、検索用情報の格納後に、登録イベント通知を検索ＰＣ６に送信する。
【００５５】
図５は、本発明の実施の形態の表示ＰＣ５の構成の一例を示す図である。
【００５６】
表示ＰＣ５は、ＣＰＵ３０１、主メモリ３０２、入力部３０３、表示部３０４、通信部３０５、及び、記憶部３１０を備える。
【００５７】
ＣＰＵ３０１は、各種演算処理を実行する。主メモリ３０２は、ＣＰＵ３０１が各種演算処理を実行するためのプログラム及びデータを記憶する。入力部３０３は、表示ＰＣで実行される処理について、必要な情報の入力を受け付ける。入力部３０３は、例えば、キーボードなどである。表示部３０４は、カメラ２２０によって撮影された映像などを出力し、モニタ５０に表示する。
【００５８】
記憶部３１０は、各種演算処理を実行するためのプログラム及びデータを格納する。記憶部３１０に格納されたプログラムは、主メモリ３０２にロードされてからＣＰＵ３０１によって実行される。
【００５９】
記憶部３１０に格納されるプログラムには、ＯＳ３１１、イベント取得プログラム３１６、検索装置制御プログラム３１７、蓄積装置制御プログラム３１８、データ管理プログラム３１９、再生モード判定プログラム３２０、再生区間判定プログラム３２１、表示データ生成プログラム３２２、及び、データ送受信プログラム３２３が含まれる。
【００６０】
ＯＳ３１１は、表示ＰＣ５で実行されるオペレーティングシステムである。イベント取得プログラム３１６は、検索ＰＣ６によって検知されたイベントを取得する。
【００６１】
検索装置制御プログラム３１７は、検索ＰＣ６に、指定した画像を要求したり、指定された画像と類似する画像を要求したりする。
【００６２】
蓄積装置制御プログラム３１８は、高精細度の画像（映像）が蓄積されている蓄積装置４に指定した画像を要求する。データ管理プログラム３１９は、取得した画像データを管理する。
【００６３】
再生モード判定プログラム３２０は、蓄積装置４から取得した画像を再生するモードを判定する。再生モードについては、詳細を後述する。再生区間判定プログラム３２１は、蓄積装置４から取得した画像を再生する区間を判定する。
【００６４】
表示データ生成プログラム３２２は、取得された画像データを表示するためのデータを作成する。
【００６５】
データ送受信プログラム３２３は、検索ＰＣ６又は蓄積装置４に取得対象の画像に関連する情報を送信したり、検索ＰＣ６又は蓄積装置４から送信された画像を受信したりする。
【００６６】
記憶部３１０に格納されるデータには、カメラ情報データ３１２、蓄積装置情報データ３１３、再生モード判定用データ３１４、及び、表示待機情報データ３１５が含まれる。
【００６７】
カメラ情報データ３１２は、カメラ２２０に関する情報を格納する。例えば、カメラの識別情報（例えば、ＩＰアドレス）、カメラ２２０の配置情報などが格納される。
【００６８】
蓄積装置情報データ３１３は、複数の蓄積装置４がシステムに含まれる場合など、要求する監視画像が格納されている蓄積装置４を特定するために使用される。再生モード判定用データ３１４は、再生モードを判定するために必要な情報が格納される。
【００６９】
表示待機情報データ３１５は、検索ＰＣ６で検知されたイベントを表示ＰＣ５が取得し、蓄積装置４に格納された当該イベントに関連する画像を表示することができない場合に、当該イベントに関連する情報が格納される。表示ＰＣ５は、表示待機情報データ３１５に格納された情報に基づいて、順次画像を表示する。なお、表示待機情報データ３１５の詳細は、図７にて後述する。
【００７０】
図６は、本発明の実施の形態の蓄積装置４から受信した高精細度の画像（映像）を表示する手順を示すフローチャートである。本処理は、各プログラムを処理することによって実行され、検索ＰＣ６で検知されたイベントを取得した場合に、蓄積装置４から当該イベントに関連する高精細度の画像（映像）を取得し、表示する。
【００７１】
表示ＰＣ５は、イベント取得プログラム３１６を実行し、検索ＰＣ６で検知されたイベントを取得する（Ｓ１１０１）。イベントは、検索ＰＣ６において、センサ情報変換装置７から受信したセンサ情報に基づいて検知される。また、検索ＰＣ６において、カメラＰＣから取得されたフレーム画像及び背景差分画像からイベントを検出してもよい。具体的には、背景差分画像の画素値の２乗和を求め、求められた２乗和と所定の閾値とを比較することによって、動き成分の有無を判定する。その結果、求められた画素値の２乗和が大きい（動き成分が存在する）場合に、イベントが検出されたと判定する。
【００７２】
一定時間イベントが検知されない場合には、最終再生時間の古いカメラの映像を順次再生する。最終再生時間は、例えば、カメラ情報データ３１２に格納される。
【００７３】
表示ＰＣ５は、Ｓ１１０１の処理で取得されたイベントに関連する高精細度の監視画像を再生可能か否かを判定する（Ｓ１１０２）。Ｓ１１０２の処理でイベントに関連する高精細度の監視画像が再生可能でないと判定された場合には（Ｓ１１０３の結果が「Ｎ」）、当該イベントに関するデータを表示待機情報データ３１５に追加する（Ｓ１１０４）。表示待機情報データ３１５に格納されたデータに対応する映像は所定のタイミングで再生される。なお、映像が再生された場合には、対応するデータを表示待機情報データ３１５から削除する。
【００７４】
一方、表示ＰＣ５は、Ｓ１１０２の処理でイベントに関連する高精細度の監視画像が再生可能と判定された場合には（Ｓ１１０３の結果が「Ｙ」）、再生モード判定プログラム３２０を実行することによって、再生モードを判定する（Ｓ１１０５）。
【００７５】
再生モードには、ライブモード、通常再生モード、及び、リバース再生モードがある。ライブモードは、カメラから取得した映像を蓄積装置４がスルーして表示ＰＣ５に送信する。フレームレートが高く高精細であることが特徴である。通常再生モードは、蓄積装置４に保存された画像データを再生する。蓄積装置４に保存された画像データを再生するため、遅延して再生することができる。リバース再生モードは、蓄積装置４に保存された画像データを指定日時の画像から逆再生（リバース再生）する。新しい情報から映像を確認することができる。
【００７６】
さらに、モードの判定方法について説明すると、ネットワークのトラフィック量などからリアルタイムに画像を再生することが可能な場合には、ライブ再生とする。ライブ再生を実行できない場合に、取得されたイベントの最初の発報時刻から現在までの時間が所定の連続再生最大時間を超える場合には、最後の発報時刻からリバース再生する。一方、取得されたイベントの最初の発報時刻から現在までの時間が所定の連続再生最大時間以下の場合には、取得されたイベントの最初の発報時刻から通常再生する。所定の連続再生最大時間は、再生モード判定用データ３１４に格納されている。
【００７７】
なお、表示待機情報データ３１５に登録されたレコードが所定の数を超えた場合には、再生されていない画像が過剰に蓄積されることを防ぐため、事前に指定した割合でフレーム画像を間引いて高速再生する。
【００７８】
表示ＰＣ５は、判定された再生モードに対応する処理を実行する（Ｓ１１０６）。
【００７９】
表示ＰＣ５は、ライブモードで映像を再生する場合には、蓄積装置４からライブ再生用の映像を取得する（Ｓ１１１０）。ライブ再生用の画像とは、前述したように、蓄積装置４がカメラＰＣから受信した映像をスルーして表示ＰＣ５に送信された画像である。表示ＰＣ５は、取得した画像をモニタ５０に表示する（Ｓ１１１１）。
【００８０】
表示ＰＣ５は、通常再生モードで映像を再生する場合には、まず、再生区間判定プログラム３２１を実行し、再生区間を判定する（Ｓ１１２０）。通常再生モードの場合には、最初の発報時刻から映像を順次再生するため、最初の発報時刻を取得し、最新の発報時刻又は現在時刻までを再生区間とする。表示ＰＣ５は、判定された再生区間の映像を蓄積装置４から取得する（Ｓ１１２１）。さらに、取得した画像をモニタ５０に表示する（Ｓ１１２２）。
【００８１】
表示ＰＣ５は、リバース再生モードで映像を再生する場合には、まず、再生区間判定プログラム３２１を実行し、再生区間を判定する（Ｓ１１３０）。リバース再生モードの場合には、最新の発報時刻から映像をさかのぼって再生するため、最新の発報時刻から所定の連続再生最大時間ＰＴを再生区間とする。表示ＰＣ５は、判定された再生区間の映像を蓄積装置４から取得する（Ｓ１１３１）。さらに、取得した画像をモニタ５０に表示する（Ｓ１１３２）。
【００８２】
表示ＰＣ５は、映像の表示が完了すると、管理者（又は監視員）から表示終了の入力を受け付けたか否かを判定する（Ｓ１１０７）。表示終了の入力を受け付けていない場合には（Ｓ１１０７の結果が「Ｎ」）、Ｓ１１０１の処理に戻り、イベントを取得する。表示終了の入力を受け付けた場合には（Ｓ１１０７の結果が「Ｙ」）、本処理を終了する。
【００８３】
図７は、本発明の実施の形態の表示待機情報データ３１５の一例を示す図である。
【００８４】
表示待機情報データ３１５は、前述のように、イベント取得後に映像を再生できなかった場合に当該イベントに関連する情報を格納する。また、イベントを取得した場合には常に表示待機情報データ３１５にレコードを追加し、映像の再生は常に表示待機情報データ３１５を参照するようにしてもよい。
【００８５】
表示待機情報データ３１５は、カメラＩＤ３１５１、発報日時（最初）３１５２、発報日時（最新）３１５３、発報時間３１５４及び発報回数３１５５を含む。
【００８６】
カメラＩＤ３１５１は、イベントが検出された画像を撮影したカメラの識別子である。発報日時（最初）３１５２は、イベントを最初に検出した日時である。発報日時（最新）３１５３は、同一のイベントについての最新の発報日時である。発報時間３１５４は、最初の発報日時から最新の発報日時までの時間である。発報回数３１５５は、最初の発報から最新の発報までの間の発報回数である。
【００８７】
以上のイベントに関連する情報は、検索ＰＣ６から送信された検知情報に含まれる。なお、表示待機情報データ３１５に格納されたレコードに対応するイベントが再度取得された場合には、発報日時（最新）３１５３、発報時間３１５４及び発報回数３１５５を更新すればよい。また、同じイベントと推測される場合であっても、発報日時（最新）から所定の時間が経過している場合には別のイベントとして処理する。
【００８８】
また、表示待機情報データ３１５のレコードに対応する映像を再生する順序は、発報時間あたりの発報回数、すなわち、発報時間／発報回数の値が大きい順とする。また、発報回数の多い順又は発報時間の長い順に映像を再生してもよい。
【００８９】
図８は、本発明の実施の形態の画像（映像）を表示する画面の一例を示す図である。
【００９０】
図８に示す画面では、画面上部の監視映像には、高精細度の映像が表示される。画面下部の発報画像には、カメラごとに撮影された低精細度の画像の一覧（サムネイル画像）が表示される。
【００９１】
監視映像には、イベントが取得された画像、又は、管理者（又は監視員）によって選択された画像に対応する映像が表示される。監視映像は、蓄積装置４から取得した画像が表示される。
【００９２】
発報画像は、検索ＰＣ６から取得される。発報画像に含まれる個々の画像は、発報されるたびに更新され、発報されていない場合には定期的に画像を更新されるようにしてもよい。発報されていない画像を定期的に更新する場合には、発報されている画像と発報されていない画像とを区別して表示してもよい。また、表示されている画像が発報画像か否かを識別するための検知情報も検索ＰＣ６から受信し、ＣＰＵ３０１が表示データ生成プログラム３２２を実行することによって、発報画像か否かを識別可能に表示することができる。
【００９３】
管理者（又は監視員）は、発報画像を確認し、異常の可能性がある画像を選択し、選択された画像に基づいて関連する画像を検索することができる。
【００９４】
図９は、本発明の実施の形態の画像を検索するための処理手順を示すフローチャートである。
【００９５】
表示ＰＣ５は、サムネイル画像から内容（映像）を確認する画像の選択を受け付ける（Ｓ１２０１）。例えば、図８に示した画面のサムネイル画像から画像を選択する。
【００９６】
表示ＰＣ５は、Ｓ１２０１の処理で選択された画像に基づいて、キー画像の候補を取得する（Ｓ１２０２）。キー画像とは、映像を再生する目的又は検索元となる画像であって、映像を確認するためのキーとなる画像である。例えば、選択された画像では、確認したい人物の顔がはっきりと表示されていない場合など、選択された画像とともに、関連する画像を表示する。管理者（又は監視員）は、選択された画像及び関連する画像からキー画像を選択する。キー画像の候補を表示し、キー画像を選択する画面については、図１０にて後述する。
【００９７】
続いて、表示ＰＣ５は、キー画像の選択を受け付ける（Ｓ１２０３）。キー画像が選択されると、選択されたキー画像に基づいてさらに詳細に画像を検索する（Ｓ１２０４）。選択されたキー画像に基づく検索では、キー画像に写っている人物、撮影時期などに基づいて検索する。キー画像に写っている人物は、当該人物の顔画像から算出された特徴量に基づいて特定（検索）する。また、名札センサ８１０によって当該人物を特定できる場合には、センサ情報を利用することも可能である。
キー画像に基づいて画像を検索するための画面については、図１１にて後述する。
【００９８】
表示ＰＣ５は、画像の検索が完了すると、検索結果を表示する（Ｓ１２０５）。検索結果は、低精細度の画像一覧で表示される。検索結果を表示する画面については、図１１にて後述する。
【００９９】
管理者（又は監視員）は、一覧表示された画像を選択し、選択された画像に基づいて映像を再生したり、さらに、再検索を実行したりすることができる。
【０１００】
表示ＰＣ５は、検索結果から画像が選択され、映像の再生指示を受け付けた場合には（Ｓ１２０６の結果が「Ｙ」）、指定された再生方法で映像を表示する（Ｓ１２０７）。再生方法は、例えば、通常再生又はリバース再生である。
【０１０１】
表示ＰＣ５は、映像の再生指示を受け付けていない場合（Ｓ１２０６の結果が「Ｎ」）、又は、映像の再生が完了した場合には、終了指示を受け付けたか否かを判定する（Ｓ１２０８）。終了指示を受け付けていない場合には（Ｓ１２０８の結果が「Ｎ」）、図８に示した画面表示し、Ｓ１２０１の処理に戻る。終了指示を受け付けた場合には（Ｓ１２０８の結果が「Ｙ」）、本処理を終了する。
【０１０２】
図１０は、本発明の実施の形態のキー画像を選択するための画面の一例を示す図である。
【０１０３】
キー画像選択画面は、図８に示した画面のサムネイル画像を選択することによって表示される。
【０１０４】
キー画像選択画面の最上段には、選択された画像が前後フレーム画像とともに表示される。２段目以降の画像は、選択された画像を撮影したカメラの近くに設置されているカメラで同時期に撮影された画像を表示する。
【０１０５】
図１０に示すキー画像選択画面は、カメラ＃２によって撮影された画像が選択された場合を示している。カメラ＃２の近くに設置されているカメラ＃７、カメラ＃１１及びカメラ＃１の画像についても同様にキー画像の候補として取得され（図９のＳ１２０２）、表示される。
【０１０６】
さらに、キー画像が選択されると、サブメニュー６０が表示され、選択されたキー画像に基づいて、画像を検索、映像を再生（通常再生、リバース再生）、又は、詳細情報を表示するかを選択することができる。
【０１０７】
表示ＰＣ５は、選択されたキー画像に基づいて、画像検索を実行する場合には、検索画面を表示する。検索画面の一例については、図１１にて後述する。
【０１０８】
表示ＰＣ５は、選択されたキー画像に基づいて、通常再生を実行する場合には、蓄積装置４から対応する映像を取得し、再生する。この場合、選択されたキー画像が撮影された時点以降の映像を表示してもよいし、選択されたキー画像が撮影された時点よりも一定時間前からの映像を表示してもよい。
【０１０９】
表示ＰＣ５は、選択されたキー画像に基づいて、リバース再生を実行する場合には、選択されたキー画像が撮影された時点を起点として逆順に映像を表示する。
【０１１０】
表示ＰＣ５は、選択されたキー画像の詳細情報を表示する場合には、例えば、選択されたキー画像が撮影されたカメラの識別子、設置場所、撮影時刻、撮影された人物の情報などを表示する。
【０１１１】
図１１は、本発明の実施の形態の選択されたキー画像に基づいて画像を検索する画面の一例を示す図である。
【０１１２】
検索画面には、図１０に示したキー画像選択画面で選択されたキー画像に含まれる人物、又は、検索キー画像に含まれる人物に基づいて検索された低精細度の画像が、初期検索結果として表示される。検索結果は、画像に写っている人物の類似度の高い順に配列される。類似度は、一例として、顔画像内の目や口などの特定の部分に着目して、着目された各部分の特徴量を抽出し、抽出された各部分と保持されている顔の各部分との特徴量を比較することによって算出する（例えば、特開２００５−３５２７２７号公報参照）。
【０１１３】
さらに、絞り込み条件を入力することによって、検索された画像を絞り込むことができる。図１１には、撮影時刻に基づいて絞り込みを実行する例が記載されているが、他の条件で絞り込んでもよい。例えば、カメラの設置場所（撮影場所）で絞り込んでもよい。
【０１１４】
そして、検索結果の画像を選択すると、図１０に示したキー画像選択画面と同様に、サブメニュー６０が表示され、選択された画像に基づいて、画像を検索、映像を再生、又は、詳細情報を表示することができる。
【０１１５】
本発明の実施の形態によれば、多数のカメラによって撮影された映像の中から重要な映像を抽出して提示することによって、効率的に異常の有無を確認することができる。
【０１１６】
また、本発明の実施の形態によれば、確認対象の画像に関連する画像を容易に検索することができるため、蓄積画像のチェックを効率的に行うことができる。
【図面の簡単な説明】
【０１１７】
【図１】本発明の実施の形態のネットワーク映像モニタリングシステムの一例を示すブロック図である。
【図２】本発明の実施の形態のネットワーク映像モニタリングシステムの構成要素間の通信の概要を示すブロック図である。
【図３】本発明の実施の形態のネットワーク映像モニタリングシステムの映像配信処理を示す説明図である。
【図４】本発明の実施の形態のネットワーク映像モニタリングシステムの検索用情報登録処理の概要を示す説明図である。
【図５】本発明の実施の形態の表示ＰＣの構成の一例を示す図である。
【図６】本発明の実施の形態の蓄積装置から受信した高精細度の画像を表示する手順を示すフローチャートである。
【図７】本発明の実施の形態の表示待機情報データの一例を示す図である。
【図８】本発明の実施の形態の画像（映像）を表示する画面の一例を示す図である。
【図９】本発明の実施の形態の画像を検索するための手順を示すフローチャートである。
【図１０】本発明の実施の形態のキー画像を選択するための画面の一例を示す図である。
【図１１】本発明の実施の形態のキー画像に基づいて画像を検索する画面の一例を示す図である。
【符号の説明】
【０１１８】
１ 監視センタ
２ カメラ群
３ リクエスト変換装置
４ 蓄積装置
５ 表示ＰＣ
６ 検索ＰＣ
７ センサ情報変換装置
８ センサネットワーク
２０ 伝送制御装置
３０ アドレス変換テーブル
５０ モニタ
６０ サブメニュー
７０ カメラ管理テーブル
８０ 無線基地局
１００ ネットワーク
２１０ カメラＰＣ
２２０ カメラ
３０１ ＣＰＵ
３０２ 主メモリ
３０３ 入力部
３０４ 表示部
３０５ 通信部
３１０ 記憶部
３１２ カメラ情報データ
３１３ 蓄積装置情報データ
３１４ 再生モード判定用データ
３１５ 表示待機情報データ
３１６ イベント取得プログラム
３１７ 検索装置制御プログラム
３１８ 蓄積装置制御プログラム
３１９ データ管理プログラム
３２０ 再生モード判定プログラム
３２１ 再生区間判定プログラム
３２２ 表示データ生成プログラム
３２３ データ送受信プログラム
【技術分野】
【０００１】
本発明は、複数のカメラを備えるネットワーク映像モニタリングシステムに関する。
【背景技術】
【０００２】
ＷｅｂカメラなどのＩＰ接続可能な撮像装置が普及することにより、ＩＰネットワークを利用した広域・大規模監視システムを構築することが可能となった。このような監視システムでは、大量の監視画像を取得することが可能となり、多角的なモニタリングが可能となる。
【０００３】
しかし、取得された大量の監視画像をすべてモニタ装置に表示しようとすると、大量のモニタ装置が必要となり、効率的な監視システムを構成することができない。そこで、低精細度の監視画像の一覧（サムネイル画像）を表示し、選択された監視画像についてのみ高精細度の監視画像を表示する方法が提案されている。
【特許文献１】特開２００７−５３５６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、大量の監視画像が表示されると、前述した従来技術では、高精細度の監視画像表示する監視画像をサムネイル画像から選択することは困難である。このため、サムネイル画像に含まれる監視画像を効率よく確認するための手段が必要となる。例えば、大量の監視画像から重要な画像を抽出し、さらに関連する監視画像を効率的に検索する手段などである。
【０００５】
本発明では、大量の監視画像を効率よく確認するためのネットワーク映像モニタリングシステムを提示することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の代表的な一形態によれば、映像を撮影する複数のカメラと、前記カメラによって撮影された映像を表示するモニタ装置とを備える映像ネットワークシステムであって、前記カメラによって撮影された映像の検索用情報を生成する情報生成装置と、前記カメラによって撮影された映像を検索する検索装置と、前記カメラによって撮影された映像を格納する映像蓄積装置と、を備え、前記情報生成装置は、前記カメラによって撮影された映像を取得し、前記取得した映像から検索用情報を生成し、前記生成された検索用情報を前記検索装置に送信し、前記検索装置は、前記情報生成装置から受信した検索用情報を記憶装置に格納し、前記格納された検索用情報を前記モニタ装置に送信し、前記モニタ装置は、前記検索装置から受信した検索用情報に含まれる検索用画像を表示し、前記検索装置から受信した検索用情報に基づいて、前記検索用情報に関連する映像の要否を判定し、前記検索用情報に関連する映像が必要と判定した場合に、前記映像蓄積装置に当該検索用情報に関連する映像を要求し、前記映像蓄積装置は、前記モニタ装置からの映像の要求に従って、要求された映像データを要求元の前記モニタ装置に送信し、前記モニタ装置は、前記映像蓄積装置から取得した映像データを表示する。
【発明の効果】
【０００７】
本発明の一形態によれば、映像から作成された検索用情報に基づいて画像（映像）を検索することによって、効率的に映像を確認することができる。
【発明を実施するための最良の形態】
【０００８】
次に、本発明の実施の形態について、図面を参照して説明する。
【０００９】
図１は、本発明の実施の形態のネットワーク映像モニタリングシステムの一例を示すブロック図である。また、図２は、本発明の実施の形態のネットワーク映像モニタリングシステムの構成要素間の通信の概要を示すブロック図である。
【００１０】
図１において、ネットワーク映像モニタリングシステムは、複数のカメラ２２０を含むカメラ群２−０、２−１と、複数のカメラ２２０を制御し、所望のカメラ２２０の画像を表示する監視センタ１と、監視センタ１と各カメラ群２−０、２−１を接続するネットワーク１００と、監視センタ１のセンサ情報変換装置７に接続されてセンサノードからの情報を転送するセンサネットワーク８を主体に構成される。
【００１１】
ネットワーク映像モニタリングシステムは、建造物内などに複数のカメラ２２０を設置し、監視センタ１の管理者又は監視員が複数のカメラ２２０の画像を監視し、各カメラ２２０の画像を蓄積装置４に格納していくものである。
【００１２】
監視センタ１には、複数のカメラ２２０のサムネイル画像を表示し、所望のカメラ２２０の画像を高精細度の画像で表示する表示ＰＣ（モニタ装置）５を備え、管理者（又は監視員）が表示ＰＣ５のモニタ５０に表示されるサムネイル画像又は高精細度画像を監視する。また、表示ＰＣ５では、予め設定したセンサノードからのイベントを受信すると、このセンサノードの位置に対応するカメラ２２０の画像をモニタ５０に表示する。センサノードが所定の位置に固定されて、かつ、所定のカメラ２２０に対応付けられており、このセンサノードのイベントから当該カメラ２２０の画像を表示ＰＣ５に表示させることで、人や物の通過などを監視することができる。また、表示ＰＣ５では、管理者の操作によって指定したカメラ２２０の画像を高精細度で表示することができる。
【００１３】
監視センタ１は、上述の機能を実現するため、画像の表示を行う表示ＰＣ５と、カメラ群２−０、２−１から画像を要求して蓄積する蓄積装置４と、カメラ群２−０、２−１から画像のサムネイルと特徴量を取得して表示ＰＣ５に配信する検索ＰＣ（検索装置）６と、蓄積装置４からの画像の要求を後述するように変換するリクエスト変換装置３と、センサネットワーク８からの情報を後述するように変換し、カメラ２２０の識別子に対応付けるセンサ情報変換装置７から構成される。以下、各部の詳細について説明する。
【００１４】
＜カメラ群の構成＞
監視センタ１は、複数のカメラ群２−０、２−１を管理しており、各カメラ群は建造物などの所定の領域（例えば、各フロア）毎、あるいは、カメラ２２０の台数毎に設定され、ひとつのカメラ群２−０、２−１には複数のカメラ２２０とひとつの伝送制御装置２０が含まれる。なお、以下の説明では、カメラ群２−０、２−１の構成は同様であるので、同一のものに同一の符号を付して重複した説明を省略する。
【００１５】
所定の位置に設置されたカメラ２２０は、所定のフレームレートで所定の解像度の画像（動画）を撮像し、出力する。カメラ２２０は、カメラＰＣ（計算機）２１０接続される。
【００１６】
カメラＰＣ２１０は、ＣＰＵとメモリ及び通信インターフェースを備えた計算機であり、図２で示すように、カメラ２２０が撮影した動画を蓄積装置４からの要求に応じて１フレームずつ監視センタ１の蓄積装置４へ送信する。したがって、カメラＰＣ２１０は、蓄積装置４からの画像要求があったときにのみ、最新の１フレーム（画像）を蓄積装置４へ向けて送信し、その他のフレームについては後述するサムネイル画像の生成と特徴量の抽出が完了すると破棄する。
【００１７】
さらに、カメラＰＣ２１０は、図２で示すように、カメラ２２０が撮影した画像からサムネイル画像を生成し、また、画像の特徴量を抽出し、これらのサムネイル画像と特徴量を監視センタ１の検索ＰＣ６に送信する。サムネイル画像は、カメラ２２０が撮影した動画の解像度を縮小したものであり、例えば、カメラ２２０が６４０×４８０ドット（ＶＧＡ）の解像度の画像を出力する場合には、カメラＰＣ２１０はサムネイル画像として１２８×９６ドットの画像を生成する。また、カメラＰＣ２１０は、カメラ２２０が撮影した画像から、エッジ検出や輪郭検出など公知の手法によって、画像の特徴量を抽出する。例えば、画像の画素値情報を用いて、画像中の色情報やエッジパターンの分布を示す多次元ベクトルを生成し、主成分分析法などを用いて多次元ベクトルを次元圧縮して数十〜数百次元程度のベクトルを生成し、画像の特徴量とする。なお、色情報に基づいた特徴量抽出は、全体画像に対して格子状に構図分割を行い、分割された各領域の色ヒストグラムから作られる多次元ベクトルを、全体画像特徴量として用いる。ここで、全体画像の特徴を表している特徴量ならば、色情報ではなく輝度値や明度値などの情報やそれらを組み合わせたものを用いても良い。また、エッジパターンに基づいた特徴量抽出は、特徴的なエッジパターンを予め複数設定し、画像に対して格子状に構図分割を行い、各領域内に含まれるエッジパターン数を計数する。このエッジパターン数からヒストグラムを生成し、多次元ベクトルを生成する。なお、以下の説明では、カメラ２２０の原画像の解像度又はサムネイル画像よりも高精細度の画像を高精細度画像という。
【００１８】
各カメラＰＣ２１０から監視センタ１宛に送信された情報と、監視センタ１から各カメラＰＣ２１０又はカメラ２２０宛の情報は、伝送制御装置２０を介して転送される。
【００１９】
ここで、各カメラＰＣ２１０には所定の識別子（例えば、ＩＰアドレス）が予め付与されており、監視センタ１はこのＩＰアドレスによりカメラ２２０を特定する。
【００２０】
蓄積装置４は、画像を取得するカメラＰＣ２１０のＩＰアドレスを指定して画像要求をリクエスト変換装置３へ送信する。リクエスト変換装置３は、蓄積装置４からの画像要求の宛先を、後述するように各カメラ群の伝送制御装置２０のアドレスとポート番号に変換してネットワーク１００に送信する。
【００２１】
伝送制御装置２０は、ネットワーク１００を介してリクエスト変換装置３から画像要求を受信すると、画像要求のポート番号からカメラＰＣ２１０を特定し、画像要求を特定したカメラＰＣ２１０へ転送する。このため、カメラＰＣ２１０は、ポート番号とカメラＰＣ２１０の対応関係を示す転送先テーブル２３０を備える。なお、転送先テーブル２３０は、予め設定されたものである。
【００２２】
カメラＰＣ２１０は、伝送制御装置２０からの画像要求に対して最新の画像（高精細度画像）を１フレームだけ返信する。伝送制御装置２０は、カメラＰＣ２１０から受信した画像を、当該カメラＰＣ２１０を特定するポート番号に変換してからリクエスト変換装置３へ送信する。リクエスト変換装置３は、受信した画像のポート番号からカメラＰＣ２１０のＩＰアドレスに変換し、蓄積装置４へ送信する。蓄積装置４は、受信した画像の送信元のＩＰアドレスからカメラＰＣ２１０を特定して画像を格納していく。
【００２３】
伝送制御装置２０は、所定の数のカメラＰＣ２１０を配下に置き、リクエスト変換装置３から転送された画像要求をカメラＰＣ２１０に転送し、画像要求に対する返答を、後述するように優先度及びセンサ情報に基づいてフレームレートの制御を行う。優先度の制御を行うため、伝送制御装置２０は、優先度履歴テーブル２４０を備える。
【００２４】
また、伝送制御装置２０は、モニタリング対象の拠点側（つまり、カメラ群側）、リクエスト変換装置３は集約モニタリングを行う監視センタ１側に置き、その間は広域のネットワーク１００に接続されている。これにより、ネットワーク１００に流れるトラフィックを削減することが可能となる。
【００２５】
なお、本発明の実施の形態では、カメラＰＣ２１０とカメラ２２０が独立した構成を示したが、カメラＰＣ２１０とカメラ２２０が一体となった構成であっても良い。
【００２６】
＜監視センタの構成＞
次に、監視センタ１の構成要素について、図１及び図２を参照しながら以下に説明する。
【００２７】
蓄積装置４は、ＣＰＵ、メモリ、通信インターフェース及びストレージ装置を含む計算機で構成されて、多数のカメラＰＣ２１０を管理下に置き、各カメラＰＣ２１０に対して画像要求を送信して高精細画像を取得すると共に、表示ＰＣからの蓄積画像取得要求に対して高精細の画像を返信する。
【００２８】
センサ情報変換装置７は、ＣＰＵとメモリ及び通信インターフェースを備えた計算機で構成され、赤外線ノード８２０と名札センサ８１０と無線基地局８０からなるセンサネットワーク８から送信される情報を、伝送制御装置２０及び検索ＰＣ６が解釈可能なメッセージ形式及び送信手順に変換してそれぞれにメッセージを送信する。
【００２９】
センサ情報変換装置７は、センサノードの識別子から当該センサノードに対応するカメラＰＣ２１０の識別子を特定するセンサ−カメラ管理テーブル７０を備える。このセンサ−カメラ管理テーブル７０は、センサノードのうち固定ノードの識別子に対して、予め設定したカメラＰＣ２１０のＩＰアドレスを設定したもので、例えば、固定ノードの近傍を通過する人や物体を撮影可能なカメラ２２０に接続されたカメラＰＣ２１０のＩＰアドレスが設定される。
【００３０】
検索ＰＣ６は、ＣＰＵとメモリと通信インターフェース及びストレージ装置を備えた計算機で構成される。また、検索ＰＣ６は、カメラＰＣ２１０からの画像の特徴量及びサムネイル画像、及びセンサ情報変換装置７から受信したセンサ情報を格納し、表示ＰＣ５に対して検知情報（センサネットワークからのセンサ情報）とサムネイル画像を送付する。さらに、検索ＰＣ６は、伝送制御装置２０に対して優先すべきカメラＰＣ２１０の情報を送付する。
【００３１】
リクエスト変換装置３は、ＣＰＵ、メモリ及び通信インターフェースを備えた計算機で構成され、蓄積装置４とカメラＰＣ２１０の間の通信経路上に配置され、蓄積装置４からカメラＰＣ２１０に向かう画像要求を中継する際に、伝送制御装置２０を経由するようメッセージの送信元と送信先を変更し、かつ、伝送制御装置２０から蓄積装置４に向かうメッセージの送信元と送信先を変更する。
【００３２】
リクエスト変換装置３は、蓄積装置４からの画像要求に含まれる宛先（カメラＰＣ２１０のＩＰアドレス）を各カメラ群の伝送制御装置２０のＩＰアドレスとポート番号に変換し、送信元をリクエスト変換装置３に置き換えたメッセージを伝送制御装置２０に送信する。また、リクエスト変換装置３は伝送制御装置２０からの返信（画像）に含まれる宛先を蓄積装置４に変換し、送信元を返信に含まれるカメラＰＣ２１０のＩＰアドレスに変換したメッセージを蓄積装置４に送信する。このため、リクエスト変換装置３は、カメラＰＣ２１０のＩＰアドレスとポート番号を変換するためのアドレス変換テーブル３０を備える。
【００３３】
表示ＰＣ５は、ＣＰＵとメモリ及び通信インターフェースを備えた計算機で構成され、複数のカメラ２２０のサムネイル画像と、所望のカメラ２２０の画像を高精細度の画像をモニタ５０に表示する。なお、表示ＰＣ５の詳細な構成については、図５にて後述する。
【００３４】
表示ＰＣ５は、管理者又は監視員が指定したカメラＰＣ２１０の識別子（カメラＩＤ）を、フレームレートを優先するカメラＰＣ２１０として伝送制御装置２０に通知する。この通知に基づいて、伝送制御装置２０は優先度履歴テーブル２４０を更新する。
【００３５】
＜センサネットワーク＞
次に、センサネットワーク８について説明する。図１において、センサネットワーク８は、センサ情報変換装置７に接続された無線基地局８０と、無線ネットワーク８００を介して無線基地局８０に接続されたセンサノードから構成される。
【００３６】
本発明の実施の形態のセンサノードとしては、所定の位置に固定された固定ノードと、人や物体に装着される移動ノードから構成された例を示す。図１において、センサネットワーク８は、予め設定された識別子を赤外線発信機から送信する赤外線ノード８２０を固定ノードとして備える。また、センサネットワーク８は、移動ノードとして赤外線ノード８２０から受信した識別子を無線基地局８０へ送信する名札センサ８１０を備える。
【００３７】
図３は、本発明の実施の形態のネットワーク映像モニタリングシステムの映像配信処理を示す説明図である。
【００３８】
カメラＰＣ２１０は、画像登録プログラム４１０を実行する。画像登録プログラム４１０では、映像取得スレッド１１０、映像配信スレッド１２０、検索用情報登録スレッド１４０（図４参照）の三つのスレッドが並列に実行される。なお、各スレッドは繰り返し実行される。
【００３９】
蓄積装置４は、蓄積装置プログラム４３０を実行する。蓄積装置プログラム４３０は繰り返し実行される。
【００４０】
まず、映像取得スレッド１１０の処理について説明する。
【００４１】
映像取得スレッド１１０では、カメラ２２０が取得した映像データを取得して、メモリに設けられたバッファにフレーム画像として画像データを格納する（１１１）。
【００４２】
次に、バッファに格納されたフレーム画像を用いて、フレーム画像系列上における各画素値の平均値を画素値とする背景画像を計算する。そして、背景画像を新たに計算された背景画像に更新する（１１２）。
【００４３】
次に、フレーム画像と背景画像の差を画素値とする背景差分画像を計算する。そして、計算された背景差分画像及びフレーム画像をスレッド間通信１３０によって送信されるデータに設定する（１１３）。
【００４４】
その後、背景差分画像を、スレッド間通信（１３０）によって、背景差分画像を、映像取得スレッド１１０から映像配信スレッド１２０に送る。
【００４５】
検索用情報登録スレッド１４０では、蓄積装置４からの要求を受信すると（１２１）、スレッド間通信１３０によって送信されたデータから最新のフレーム画像を取得し（１２２）、取得したフレーム画像を映像蓄積サーバに送信する（１２３）。
【００４６】
次に、蓄積装置４によって実行される映像蓄積サーバプログラム４３０について説明する。
【００４７】
蓄積装置４は、所定のタイミングで（例えば、所定の時間間隔で、他のシステムによってイベントが検出されたときに）、カメラＰＣ２１０に対して高精細度画像要求を送信する（２２１）。そして、カメラ２２０によって撮影された映像データを取得すると（２２２）、取得した映像データの時間間隔を調整し、取得した映像データを記憶装置に格納する（２２３）。この映像データの時間間隔の調整は、カメラＰＣ２１０から取得した映像データに付された情報（例えば、当該映像データのフレームレート）を参照して、蓄積装置４に記録される形式のフレームレートに合わせた映像データの形式に変換して、変換された映像データを記録する。なお、映像データのフレームレートを高レートから低レートに変換する場合は、余剰なフレームを削除すればよい。一方、映像データのフレームレートを低レートから高レートに変換する場合は、前後の画像を不足するフレームとするか、不足するフレームを補完してもよい。
【００４８】
このように時間間隔が調整された映像データを記憶装置に格納するので、異なるフレームレートの画像データを統一した形式で格納することができる。
【００４９】
図４は、本発明の実施の形態のネットワーク映像モニタリングシステムの検索用情報登録処理の概要を示す説明図である。
【００５０】
まず、映像取得スレッド１１０の処理は、図３で前述したものと同じである。
【００５１】
検索用情報登録スレッド１４０では、スレッド間通信１３０によって送られたデータ（フレーム画像、背景差分画像）を取得すると（１４１）、イベント検出処理１４２によってイベントを検出する。そして、イベントが検出されない場合は（１４３の結果が「Ｎ」）、ステップ１４１に戻り、次の画像を取得する。一方、イベントが検出された場合は（１４３の結果が「Ｙ」）、画像特徴量を抽出する（１４４）。
【００５２】
その後、抽出された特徴量及び原映像データの識別子を含む検索用情報登録要求を検索ＰＣ６に送る（１４５）。なお、検索用情報登録要求には、原映像データの識別子ではなく、原映像データを撮影したカメラ２２０の識別子を含んでもよい。そして、検索サーバ２１から検索用情報の登録確認通知を受信すると（１４６）、ステップ１４１に戻り、次の画像を取得する。
【００５３】
次に、検索ＰＣ６によって実行される検索ＰＣプログラム４２０について説明する。
【００５４】
検索ＰＣ６は、カメラＰＣ２１０から検索用情報登録要求を受信した場合に（２１１）、受信した検索用情報（画像特徴量及び映像データの識別子）を記憶装置に格納する（２１２）。その後、カメラＰＣ２１０に、検索用情報の登録確認通知を送る（２１３）。なお、カメラＰＣ２１０は、検索用情報の格納後に、登録イベント通知を検索ＰＣ６に送信する。
【００５５】
図５は、本発明の実施の形態の表示ＰＣ５の構成の一例を示す図である。
【００５６】
表示ＰＣ５は、ＣＰＵ３０１、主メモリ３０２、入力部３０３、表示部３０４、通信部３０５、及び、記憶部３１０を備える。
【００５７】
ＣＰＵ３０１は、各種演算処理を実行する。主メモリ３０２は、ＣＰＵ３０１が各種演算処理を実行するためのプログラム及びデータを記憶する。入力部３０３は、表示ＰＣで実行される処理について、必要な情報の入力を受け付ける。入力部３０３は、例えば、キーボードなどである。表示部３０４は、カメラ２２０によって撮影された映像などを出力し、モニタ５０に表示する。
【００５８】
記憶部３１０は、各種演算処理を実行するためのプログラム及びデータを格納する。記憶部３１０に格納されたプログラムは、主メモリ３０２にロードされてからＣＰＵ３０１によって実行される。
【００５９】
記憶部３１０に格納されるプログラムには、ＯＳ３１１、イベント取得プログラム３１６、検索装置制御プログラム３１７、蓄積装置制御プログラム３１８、データ管理プログラム３１９、再生モード判定プログラム３２０、再生区間判定プログラム３２１、表示データ生成プログラム３２２、及び、データ送受信プログラム３２３が含まれる。
【００６０】
ＯＳ３１１は、表示ＰＣ５で実行されるオペレーティングシステムである。イベント取得プログラム３１６は、検索ＰＣ６によって検知されたイベントを取得する。
【００６１】
検索装置制御プログラム３１７は、検索ＰＣ６に、指定した画像を要求したり、指定された画像と類似する画像を要求したりする。
【００６２】
蓄積装置制御プログラム３１８は、高精細度の画像（映像）が蓄積されている蓄積装置４に指定した画像を要求する。データ管理プログラム３１９は、取得した画像データを管理する。
【００６３】
再生モード判定プログラム３２０は、蓄積装置４から取得した画像を再生するモードを判定する。再生モードについては、詳細を後述する。再生区間判定プログラム３２１は、蓄積装置４から取得した画像を再生する区間を判定する。
【００６４】
表示データ生成プログラム３２２は、取得された画像データを表示するためのデータを作成する。
【００６５】
データ送受信プログラム３２３は、検索ＰＣ６又は蓄積装置４に取得対象の画像に関連する情報を送信したり、検索ＰＣ６又は蓄積装置４から送信された画像を受信したりする。
【００６６】
記憶部３１０に格納されるデータには、カメラ情報データ３１２、蓄積装置情報データ３１３、再生モード判定用データ３１４、及び、表示待機情報データ３１５が含まれる。
【００６７】
カメラ情報データ３１２は、カメラ２２０に関する情報を格納する。例えば、カメラの識別情報（例えば、ＩＰアドレス）、カメラ２２０の配置情報などが格納される。
【００６８】
蓄積装置情報データ３１３は、複数の蓄積装置４がシステムに含まれる場合など、要求する監視画像が格納されている蓄積装置４を特定するために使用される。再生モード判定用データ３１４は、再生モードを判定するために必要な情報が格納される。
【００６９】
表示待機情報データ３１５は、検索ＰＣ６で検知されたイベントを表示ＰＣ５が取得し、蓄積装置４に格納された当該イベントに関連する画像を表示することができない場合に、当該イベントに関連する情報が格納される。表示ＰＣ５は、表示待機情報データ３１５に格納された情報に基づいて、順次画像を表示する。なお、表示待機情報データ３１５の詳細は、図７にて後述する。
【００７０】
図６は、本発明の実施の形態の蓄積装置４から受信した高精細度の画像（映像）を表示する手順を示すフローチャートである。本処理は、各プログラムを処理することによって実行され、検索ＰＣ６で検知されたイベントを取得した場合に、蓄積装置４から当該イベントに関連する高精細度の画像（映像）を取得し、表示する。
【００７１】
表示ＰＣ５は、イベント取得プログラム３１６を実行し、検索ＰＣ６で検知されたイベントを取得する（Ｓ１１０１）。イベントは、検索ＰＣ６において、センサ情報変換装置７から受信したセンサ情報に基づいて検知される。また、検索ＰＣ６において、カメラＰＣから取得されたフレーム画像及び背景差分画像からイベントを検出してもよい。具体的には、背景差分画像の画素値の２乗和を求め、求められた２乗和と所定の閾値とを比較することによって、動き成分の有無を判定する。その結果、求められた画素値の２乗和が大きい（動き成分が存在する）場合に、イベントが検出されたと判定する。
【００７２】
一定時間イベントが検知されない場合には、最終再生時間の古いカメラの映像を順次再生する。最終再生時間は、例えば、カメラ情報データ３１２に格納される。
【００７３】
表示ＰＣ５は、Ｓ１１０１の処理で取得されたイベントに関連する高精細度の監視画像を再生可能か否かを判定する（Ｓ１１０２）。Ｓ１１０２の処理でイベントに関連する高精細度の監視画像が再生可能でないと判定された場合には（Ｓ１１０３の結果が「Ｎ」）、当該イベントに関するデータを表示待機情報データ３１５に追加する（Ｓ１１０４）。表示待機情報データ３１５に格納されたデータに対応する映像は所定のタイミングで再生される。なお、映像が再生された場合には、対応するデータを表示待機情報データ３１５から削除する。
【００７４】
一方、表示ＰＣ５は、Ｓ１１０２の処理でイベントに関連する高精細度の監視画像が再生可能と判定された場合には（Ｓ１１０３の結果が「Ｙ」）、再生モード判定プログラム３２０を実行することによって、再生モードを判定する（Ｓ１１０５）。
【００７５】
再生モードには、ライブモード、通常再生モード、及び、リバース再生モードがある。ライブモードは、カメラから取得した映像を蓄積装置４がスルーして表示ＰＣ５に送信する。フレームレートが高く高精細であることが特徴である。通常再生モードは、蓄積装置４に保存された画像データを再生する。蓄積装置４に保存された画像データを再生するため、遅延して再生することができる。リバース再生モードは、蓄積装置４に保存された画像データを指定日時の画像から逆再生（リバース再生）する。新しい情報から映像を確認することができる。
【００７６】
さらに、モードの判定方法について説明すると、ネットワークのトラフィック量などからリアルタイムに画像を再生することが可能な場合には、ライブ再生とする。ライブ再生を実行できない場合に、取得されたイベントの最初の発報時刻から現在までの時間が所定の連続再生最大時間を超える場合には、最後の発報時刻からリバース再生する。一方、取得されたイベントの最初の発報時刻から現在までの時間が所定の連続再生最大時間以下の場合には、取得されたイベントの最初の発報時刻から通常再生する。所定の連続再生最大時間は、再生モード判定用データ３１４に格納されている。
【００７７】
なお、表示待機情報データ３１５に登録されたレコードが所定の数を超えた場合には、再生されていない画像が過剰に蓄積されることを防ぐため、事前に指定した割合でフレーム画像を間引いて高速再生する。
【００７８】
表示ＰＣ５は、判定された再生モードに対応する処理を実行する（Ｓ１１０６）。
【００７９】
表示ＰＣ５は、ライブモードで映像を再生する場合には、蓄積装置４からライブ再生用の映像を取得する（Ｓ１１１０）。ライブ再生用の画像とは、前述したように、蓄積装置４がカメラＰＣから受信した映像をスルーして表示ＰＣ５に送信された画像である。表示ＰＣ５は、取得した画像をモニタ５０に表示する（Ｓ１１１１）。
【００８０】
表示ＰＣ５は、通常再生モードで映像を再生する場合には、まず、再生区間判定プログラム３２１を実行し、再生区間を判定する（Ｓ１１２０）。通常再生モードの場合には、最初の発報時刻から映像を順次再生するため、最初の発報時刻を取得し、最新の発報時刻又は現在時刻までを再生区間とする。表示ＰＣ５は、判定された再生区間の映像を蓄積装置４から取得する（Ｓ１１２１）。さらに、取得した画像をモニタ５０に表示する（Ｓ１１２２）。
【００８１】
表示ＰＣ５は、リバース再生モードで映像を再生する場合には、まず、再生区間判定プログラム３２１を実行し、再生区間を判定する（Ｓ１１３０）。リバース再生モードの場合には、最新の発報時刻から映像をさかのぼって再生するため、最新の発報時刻から所定の連続再生最大時間ＰＴを再生区間とする。表示ＰＣ５は、判定された再生区間の映像を蓄積装置４から取得する（Ｓ１１３１）。さらに、取得した画像をモニタ５０に表示する（Ｓ１１３２）。
【００８２】
表示ＰＣ５は、映像の表示が完了すると、管理者（又は監視員）から表示終了の入力を受け付けたか否かを判定する（Ｓ１１０７）。表示終了の入力を受け付けていない場合には（Ｓ１１０７の結果が「Ｎ」）、Ｓ１１０１の処理に戻り、イベントを取得する。表示終了の入力を受け付けた場合には（Ｓ１１０７の結果が「Ｙ」）、本処理を終了する。
【００８３】
図７は、本発明の実施の形態の表示待機情報データ３１５の一例を示す図である。
【００８４】
表示待機情報データ３１５は、前述のように、イベント取得後に映像を再生できなかった場合に当該イベントに関連する情報を格納する。また、イベントを取得した場合には常に表示待機情報データ３１５にレコードを追加し、映像の再生は常に表示待機情報データ３１５を参照するようにしてもよい。
【００８５】
表示待機情報データ３１５は、カメラＩＤ３１５１、発報日時（最初）３１５２、発報日時（最新）３１５３、発報時間３１５４及び発報回数３１５５を含む。
【００８６】
カメラＩＤ３１５１は、イベントが検出された画像を撮影したカメラの識別子である。発報日時（最初）３１５２は、イベントを最初に検出した日時である。発報日時（最新）３１５３は、同一のイベントについての最新の発報日時である。発報時間３１５４は、最初の発報日時から最新の発報日時までの時間である。発報回数３１５５は、最初の発報から最新の発報までの間の発報回数である。
【００８７】
以上のイベントに関連する情報は、検索ＰＣ６から送信された検知情報に含まれる。なお、表示待機情報データ３１５に格納されたレコードに対応するイベントが再度取得された場合には、発報日時（最新）３１５３、発報時間３１５４及び発報回数３１５５を更新すればよい。また、同じイベントと推測される場合であっても、発報日時（最新）から所定の時間が経過している場合には別のイベントとして処理する。
【００８８】
また、表示待機情報データ３１５のレコードに対応する映像を再生する順序は、発報時間あたりの発報回数、すなわち、発報時間／発報回数の値が大きい順とする。また、発報回数の多い順又は発報時間の長い順に映像を再生してもよい。
【００８９】
図８は、本発明の実施の形態の画像（映像）を表示する画面の一例を示す図である。
【００９０】
図８に示す画面では、画面上部の監視映像には、高精細度の映像が表示される。画面下部の発報画像には、カメラごとに撮影された低精細度の画像の一覧（サムネイル画像）が表示される。
【００９１】
監視映像には、イベントが取得された画像、又は、管理者（又は監視員）によって選択された画像に対応する映像が表示される。監視映像は、蓄積装置４から取得した画像が表示される。
【００９２】
発報画像は、検索ＰＣ６から取得される。発報画像に含まれる個々の画像は、発報されるたびに更新され、発報されていない場合には定期的に画像を更新されるようにしてもよい。発報されていない画像を定期的に更新する場合には、発報されている画像と発報されていない画像とを区別して表示してもよい。また、表示されている画像が発報画像か否かを識別するための検知情報も検索ＰＣ６から受信し、ＣＰＵ３０１が表示データ生成プログラム３２２を実行することによって、発報画像か否かを識別可能に表示することができる。
【００９３】
管理者（又は監視員）は、発報画像を確認し、異常の可能性がある画像を選択し、選択された画像に基づいて関連する画像を検索することができる。
【００９４】
図９は、本発明の実施の形態の画像を検索するための処理手順を示すフローチャートである。
【００９５】
表示ＰＣ５は、サムネイル画像から内容（映像）を確認する画像の選択を受け付ける（Ｓ１２０１）。例えば、図８に示した画面のサムネイル画像から画像を選択する。
【００９６】
表示ＰＣ５は、Ｓ１２０１の処理で選択された画像に基づいて、キー画像の候補を取得する（Ｓ１２０２）。キー画像とは、映像を再生する目的又は検索元となる画像であって、映像を確認するためのキーとなる画像である。例えば、選択された画像では、確認したい人物の顔がはっきりと表示されていない場合など、選択された画像とともに、関連する画像を表示する。管理者（又は監視員）は、選択された画像及び関連する画像からキー画像を選択する。キー画像の候補を表示し、キー画像を選択する画面については、図１０にて後述する。
【００９７】
続いて、表示ＰＣ５は、キー画像の選択を受け付ける（Ｓ１２０３）。キー画像が選択されると、選択されたキー画像に基づいてさらに詳細に画像を検索する（Ｓ１２０４）。選択されたキー画像に基づく検索では、キー画像に写っている人物、撮影時期などに基づいて検索する。キー画像に写っている人物は、当該人物の顔画像から算出された特徴量に基づいて特定（検索）する。また、名札センサ８１０によって当該人物を特定できる場合には、センサ情報を利用することも可能である。
キー画像に基づいて画像を検索するための画面については、図１１にて後述する。
【００９８】
表示ＰＣ５は、画像の検索が完了すると、検索結果を表示する（Ｓ１２０５）。検索結果は、低精細度の画像一覧で表示される。検索結果を表示する画面については、図１１にて後述する。
【００９９】
管理者（又は監視員）は、一覧表示された画像を選択し、選択された画像に基づいて映像を再生したり、さらに、再検索を実行したりすることができる。
【０１００】
表示ＰＣ５は、検索結果から画像が選択され、映像の再生指示を受け付けた場合には（Ｓ１２０６の結果が「Ｙ」）、指定された再生方法で映像を表示する（Ｓ１２０７）。再生方法は、例えば、通常再生又はリバース再生である。
【０１０１】
表示ＰＣ５は、映像の再生指示を受け付けていない場合（Ｓ１２０６の結果が「Ｎ」）、又は、映像の再生が完了した場合には、終了指示を受け付けたか否かを判定する（Ｓ１２０８）。終了指示を受け付けていない場合には（Ｓ１２０８の結果が「Ｎ」）、図８に示した画面表示し、Ｓ１２０１の処理に戻る。終了指示を受け付けた場合には（Ｓ１２０８の結果が「Ｙ」）、本処理を終了する。
【０１０２】
図１０は、本発明の実施の形態のキー画像を選択するための画面の一例を示す図である。
【０１０３】
キー画像選択画面は、図８に示した画面のサムネイル画像を選択することによって表示される。
【０１０４】
キー画像選択画面の最上段には、選択された画像が前後フレーム画像とともに表示される。２段目以降の画像は、選択された画像を撮影したカメラの近くに設置されているカメラで同時期に撮影された画像を表示する。
【０１０５】
図１０に示すキー画像選択画面は、カメラ＃２によって撮影された画像が選択された場合を示している。カメラ＃２の近くに設置されているカメラ＃７、カメラ＃１１及びカメラ＃１の画像についても同様にキー画像の候補として取得され（図９のＳ１２０２）、表示される。
【０１０６】
さらに、キー画像が選択されると、サブメニュー６０が表示され、選択されたキー画像に基づいて、画像を検索、映像を再生（通常再生、リバース再生）、又は、詳細情報を表示するかを選択することができる。
【０１０７】
表示ＰＣ５は、選択されたキー画像に基づいて、画像検索を実行する場合には、検索画面を表示する。検索画面の一例については、図１１にて後述する。
【０１０８】
表示ＰＣ５は、選択されたキー画像に基づいて、通常再生を実行する場合には、蓄積装置４から対応する映像を取得し、再生する。この場合、選択されたキー画像が撮影された時点以降の映像を表示してもよいし、選択されたキー画像が撮影された時点よりも一定時間前からの映像を表示してもよい。
【０１０９】
表示ＰＣ５は、選択されたキー画像に基づいて、リバース再生を実行する場合には、選択されたキー画像が撮影された時点を起点として逆順に映像を表示する。
【０１１０】
表示ＰＣ５は、選択されたキー画像の詳細情報を表示する場合には、例えば、選択されたキー画像が撮影されたカメラの識別子、設置場所、撮影時刻、撮影された人物の情報などを表示する。
【０１１１】
図１１は、本発明の実施の形態の選択されたキー画像に基づいて画像を検索する画面の一例を示す図である。
【０１１２】
検索画面には、図１０に示したキー画像選択画面で選択されたキー画像に含まれる人物、又は、検索キー画像に含まれる人物に基づいて検索された低精細度の画像が、初期検索結果として表示される。検索結果は、画像に写っている人物の類似度の高い順に配列される。類似度は、一例として、顔画像内の目や口などの特定の部分に着目して、着目された各部分の特徴量を抽出し、抽出された各部分と保持されている顔の各部分との特徴量を比較することによって算出する（例えば、特開２００５−３５２７２７号公報参照）。
【０１１３】
さらに、絞り込み条件を入力することによって、検索された画像を絞り込むことができる。図１１には、撮影時刻に基づいて絞り込みを実行する例が記載されているが、他の条件で絞り込んでもよい。例えば、カメラの設置場所（撮影場所）で絞り込んでもよい。
【０１１４】
そして、検索結果の画像を選択すると、図１０に示したキー画像選択画面と同様に、サブメニュー６０が表示され、選択された画像に基づいて、画像を検索、映像を再生、又は、詳細情報を表示することができる。
【０１１５】
本発明の実施の形態によれば、多数のカメラによって撮影された映像の中から重要な映像を抽出して提示することによって、効率的に異常の有無を確認することができる。
【０１１６】
また、本発明の実施の形態によれば、確認対象の画像に関連する画像を容易に検索することができるため、蓄積画像のチェックを効率的に行うことができる。
【図面の簡単な説明】
【０１１７】
【図１】本発明の実施の形態のネットワーク映像モニタリングシステムの一例を示すブロック図である。
【図２】本発明の実施の形態のネットワーク映像モニタリングシステムの構成要素間の通信の概要を示すブロック図である。
【図３】本発明の実施の形態のネットワーク映像モニタリングシステムの映像配信処理を示す説明図である。
【図４】本発明の実施の形態のネットワーク映像モニタリングシステムの検索用情報登録処理の概要を示す説明図である。
【図５】本発明の実施の形態の表示ＰＣの構成の一例を示す図である。
【図６】本発明の実施の形態の蓄積装置から受信した高精細度の画像を表示する手順を示すフローチャートである。
【図７】本発明の実施の形態の表示待機情報データの一例を示す図である。
【図８】本発明の実施の形態の画像（映像）を表示する画面の一例を示す図である。
【図９】本発明の実施の形態の画像を検索するための手順を示すフローチャートである。
【図１０】本発明の実施の形態のキー画像を選択するための画面の一例を示す図である。
【図１１】本発明の実施の形態のキー画像に基づいて画像を検索する画面の一例を示す図である。
【符号の説明】
【０１１８】
１ 監視センタ
２ カメラ群
３ リクエスト変換装置
４ 蓄積装置
５ 表示ＰＣ
６ 検索ＰＣ
７ センサ情報変換装置
８ センサネットワーク
２０ 伝送制御装置
３０ アドレス変換テーブル
５０ モニタ
６０ サブメニュー
７０ カメラ管理テーブル
８０ 無線基地局
１００ ネットワーク
２１０ カメラＰＣ
２２０ カメラ
３０１ ＣＰＵ
３０２ 主メモリ
３０３ 入力部
３０４ 表示部
３０５ 通信部
３１０ 記憶部
３１２ カメラ情報データ
３１３ 蓄積装置情報データ
３１４ 再生モード判定用データ
３１５ 表示待機情報データ
３１６ イベント取得プログラム
３１７ 検索装置制御プログラム
３１８ 蓄積装置制御プログラム
３１９ データ管理プログラム
３２０ 再生モード判定プログラム
３２１ 再生区間判定プログラム
３２２ 表示データ生成プログラム
３２３ データ送受信プログラム
【特許請求の範囲】
【請求項１】
映像を撮影する複数のカメラと、前記カメラによって撮影された映像を表示するモニタ装置とを備える映像ネットワークシステムであって、
前記カメラによって撮影された映像の検索用情報を生成する情報生成装置と、
前記カメラによって撮影された映像を検索する検索装置と、
前記カメラによって撮影された映像を格納する映像蓄積装置と、を備え、
前記情報生成装置は、前記カメラによって撮影された映像を取得し、前記取得した映像から検索用情報を生成し、前記生成された検索用情報を前記検索装置に送信し、
前記検索装置は、前記情報生成装置から受信した検索用情報を記憶装置に格納し、前記格納された検索用情報を前記モニタ装置に送信し、
前記モニタ装置は、
前記検索用装置から受信した検索用情報に含まれる検索用画像を表示し、
前記検索用装置から受信した検索用情報に基づいて、前記検索用情報に関連する映像の要否を判定し、前記検索用情報に関連する映像が必要と判定した場合に、前記映像蓄積装置に当該検索用情報に関連する映像を要求し、
前記映像蓄積装置は、前記モニタ装置からの映像の要求に従って、要求された映像データを要求元の前記モニタ装置に送信し、
前記モニタ装置は、前記映像蓄積装置から取得した映像データを表示することを特徴とする映像ネットワークシステム。
【請求項２】
前記モニタ装置は、前記カメラごとに前記検索用画像を表示し、前記検索用画像の選択を受け付け、前記選択された検索用画像に基づいて、前記映像蓄積装置に映像を要求することを特徴とする請求項１に記載の映像ネットワークシステム。
【請求項３】
前記モニタ装置は、前記選択された検索用画像に関連する画像をさらに表示し、前記表示された画像から選択された画像に基づいて、前記映像蓄積装置に映像を要求することを特徴とする請求項２に記載の映像ネットワークシステム。
【請求項４】
前記モニタ装置は、前記映像蓄積装置に要求した映像データを即時再生できる場合には、前記カメラによって撮影された映像を前記映像蓄積装置を経由してそのまま受信することを特徴とする請求項１に記載の映像ネットワークシステム。
【請求項５】
前記モニタ装置は、
前記映像蓄積装置に要求した映像データを即時再生できない場合には、前記映像蓄積装置に要求した映像データの再生時間が所定の最大再生時間よりも大きいか否かを判定し、
前記映像蓄積装置に要求した映像データの再生時間が前記所定の最大再生時間よりも大きい場合には、前記映像蓄積装置から取得した映像データを時間を逆再生することを特徴とする請求項１に記載の映像ネットワークシステム。
【請求項６】
映像を撮影する複数のカメラを備える映像ネットワークシステムにおいて、前記カメラによって撮影された映像を表示するモニタ装置であって、
前記映像ネットワークシステムは、
前記カメラによって撮影された映像を検索し、前記カメラによって撮影された映像に基づいて生成された検索用情報を前記モニタ装置に送信する検索装置と、
前記カメラによって撮影された映像を格納する映像蓄積装置と、を備え、
前記モニタ装置は、
前記検索用装置から受信した検索用情報に含まれる検索用画像を表示し、
前記検索用装置から受信した検索用情報に基づいて、前記検索用情報に関連する映像の要否を判定し、前記検索用情報に関連する映像が必要と判定した場合に、前記映像蓄積装置に当該検索用情報に関連する映像を要求し、
前記映像蓄積装置から取得した映像データを表示することを特徴とするモニタ装置。
【請求項７】
前記モニタ装置は、前記カメラごとに前記検索用画像を表示し、前記検索用画像の選択を受け付け、前記選択された検索用画像に基づいて、前記映像蓄積装置に映像を要求することを特徴とする請求項６に記載のモニタ装置。
【請求項８】
前記モニタ装置は、前記選択された検索用画像に関連する画像をさらに表示し、前記表示された画像から選択された画像に基づいて、前記映像蓄積装置に映像を要求することを特徴とする請求項７に記載のモニタ装置。
【請求項９】
前記モニタ装置は、前記映像蓄積装置に要求した映像データを即時再生できる場合には、前記カメラによって撮影された映像を前記映像蓄積装置を経由してそのまま受信することを特徴とする請求項６に記載のモニタ装置。
【請求項１０】
前記モニタ装置は、
前記映像蓄積装置に要求した映像データを即時再生できない場合には、前記映像蓄積装置に要求した映像データの再生時間が所定の最大再生時間よりも大きいか否かを判定し、
前記映像蓄積装置に要求した映像データの再生時間が前記所定の最大再生時間よりも大きい場合には、前記映像蓄積装置から取得した映像データを時間を逆再生することを特徴とする請求項６に記載のモニタ装置。
【請求項１】
映像を撮影する複数のカメラと、前記カメラによって撮影された映像を表示するモニタ装置とを備える映像ネットワークシステムであって、
前記カメラによって撮影された映像の検索用情報を生成する情報生成装置と、
前記カメラによって撮影された映像を検索する検索装置と、
前記カメラによって撮影された映像を格納する映像蓄積装置と、を備え、
前記情報生成装置は、前記カメラによって撮影された映像を取得し、前記取得した映像から検索用情報を生成し、前記生成された検索用情報を前記検索装置に送信し、
前記検索装置は、前記情報生成装置から受信した検索用情報を記憶装置に格納し、前記格納された検索用情報を前記モニタ装置に送信し、
前記モニタ装置は、
前記検索用装置から受信した検索用情報に含まれる検索用画像を表示し、
前記検索用装置から受信した検索用情報に基づいて、前記検索用情報に関連する映像の要否を判定し、前記検索用情報に関連する映像が必要と判定した場合に、前記映像蓄積装置に当該検索用情報に関連する映像を要求し、
前記映像蓄積装置は、前記モニタ装置からの映像の要求に従って、要求された映像データを要求元の前記モニタ装置に送信し、
前記モニタ装置は、前記映像蓄積装置から取得した映像データを表示することを特徴とする映像ネットワークシステム。
【請求項２】
前記モニタ装置は、前記カメラごとに前記検索用画像を表示し、前記検索用画像の選択を受け付け、前記選択された検索用画像に基づいて、前記映像蓄積装置に映像を要求することを特徴とする請求項１に記載の映像ネットワークシステム。
【請求項３】
前記モニタ装置は、前記選択された検索用画像に関連する画像をさらに表示し、前記表示された画像から選択された画像に基づいて、前記映像蓄積装置に映像を要求することを特徴とする請求項２に記載の映像ネットワークシステム。
【請求項４】
前記モニタ装置は、前記映像蓄積装置に要求した映像データを即時再生できる場合には、前記カメラによって撮影された映像を前記映像蓄積装置を経由してそのまま受信することを特徴とする請求項１に記載の映像ネットワークシステム。
【請求項５】
前記モニタ装置は、
前記映像蓄積装置に要求した映像データを即時再生できない場合には、前記映像蓄積装置に要求した映像データの再生時間が所定の最大再生時間よりも大きいか否かを判定し、
前記映像蓄積装置に要求した映像データの再生時間が前記所定の最大再生時間よりも大きい場合には、前記映像蓄積装置から取得した映像データを時間を逆再生することを特徴とする請求項１に記載の映像ネットワークシステム。
【請求項６】
映像を撮影する複数のカメラを備える映像ネットワークシステムにおいて、前記カメラによって撮影された映像を表示するモニタ装置であって、
前記映像ネットワークシステムは、
前記カメラによって撮影された映像を検索し、前記カメラによって撮影された映像に基づいて生成された検索用情報を前記モニタ装置に送信する検索装置と、
前記カメラによって撮影された映像を格納する映像蓄積装置と、を備え、
前記モニタ装置は、
前記検索用装置から受信した検索用情報に含まれる検索用画像を表示し、
前記検索用装置から受信した検索用情報に基づいて、前記検索用情報に関連する映像の要否を判定し、前記検索用情報に関連する映像が必要と判定した場合に、前記映像蓄積装置に当該検索用情報に関連する映像を要求し、
前記映像蓄積装置から取得した映像データを表示することを特徴とするモニタ装置。
【請求項７】
前記モニタ装置は、前記カメラごとに前記検索用画像を表示し、前記検索用画像の選択を受け付け、前記選択された検索用画像に基づいて、前記映像蓄積装置に映像を要求することを特徴とする請求項６に記載のモニタ装置。
【請求項８】
前記モニタ装置は、前記選択された検索用画像に関連する画像をさらに表示し、前記表示された画像から選択された画像に基づいて、前記映像蓄積装置に映像を要求することを特徴とする請求項７に記載のモニタ装置。
【請求項９】
前記モニタ装置は、前記映像蓄積装置に要求した映像データを即時再生できる場合には、前記カメラによって撮影された映像を前記映像蓄積装置を経由してそのまま受信することを特徴とする請求項６に記載のモニタ装置。
【請求項１０】
前記モニタ装置は、
前記映像蓄積装置に要求した映像データを即時再生できない場合には、前記映像蓄積装置に要求した映像データの再生時間が所定の最大再生時間よりも大きいか否かを判定し、
前記映像蓄積装置に要求した映像データの再生時間が前記所定の最大再生時間よりも大きい場合には、前記映像蓄積装置から取得した映像データを時間を逆再生することを特徴とする請求項６に記載のモニタ装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−１７１４７２（Ｐ２００９−１７１４７２Ａ）
【公開日】平成２１年７月３０日（２００９．７．３０）
【国際特許分類】
【出願番号】特願２００８−９８６４（Ｐ２００８−９８６４）
【出願日】平成２０年１月１８日（２００８．１．１８）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２１年７月３０日（２００９．７．３０）
【国際特許分類】
【出願日】平成２０年１月１８日（２００８．１．１８）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]