画像ネットワークシステム、画像送信システム及び画像取得システム
【課題】カメラ群で撮影された画像データを、衛星回線を利用して監視センタで収集し監視する場合、カメラ数が増えるに従い通信帯域が逼迫する問題を解決する。
【解決手段】画像を撮影する複数のカメラ１０と、カメラによって撮影された画像を表示するモニタ１３とを備える画像ネットワークシステムにおいて、カメラによって撮影された画像データを管理するカメラサーバ２０、及びモニタからの画像要求及びカメラサーバからの画像データを中継する伝送制御サーバ３０を備え、カメラサーバは撮影した画像と予め撮影されていた背景画像との差分画像を算出して伝送制御サーバへ送信し、伝送制御サーバは差分画像と背景画像を用いてカメラ撮影画像を復元する。
【解決手段】画像を撮影する複数のカメラ１０と、カメラによって撮影された画像を表示するモニタ１３とを備える画像ネットワークシステムにおいて、カメラによって撮影された画像データを管理するカメラサーバ２０、及びモニタからの画像要求及びカメラサーバからの画像データを中継する伝送制御サーバ３０を備え、カメラサーバは撮影した画像と予め撮影されていた背景画像との差分画像を算出して伝送制御サーバへ送信し、伝送制御サーバは差分画像と背景画像を用いてカメラ撮影画像を復元する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラを備える画像ネットワークシステム、画像送信システム及び画像取得システムに関する。
【背景技術】
【０００２】
ＷｅｂカメラなどのＩＰ接続可能な撮像装置が普及することにより、ＩＰネットワークを利用した広域・大規模監視システムを構築することが可能となった。一方、カメラ台数が増えるに従い、ネットワーク帯域が逼迫するという問題がある。例えば、有線ネットワークを構築することが困難な地域では、衛星回線のネットワークを使用して、多数のカメラからの情報を収集することがある。その場合、狭帯域で効率よく画像を収集するシステムを構築する必要がある。
【０００３】
狭帯域でデータを収集する技術として、無線ネットワークで接続されたセンサデータに関して、センサノードが測定したデータのうち、変化の小さいデータを間引いて送信し、データの差分のみを送信することで通信量を削減する技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１２２７９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＩＰネットワークを利用した広域・大規模監視システム上で、狭帯域の回線を利用して画像を収集する場合、カメラ配置や撮影している対象による優先度に応じて、効率よく画像を収集するシステムが必要となる。
【０００６】
本発明は、複数のカメラで撮影した画像データを狭帯域下で効率よく収集する技術を提供するものである。また、カメラによって撮影された画像を画像処理することによって得られる動き検知の情報や、ユーザ指定の情報から、画像の転送の優先度を制御する手段を提供するものである。
【課題を解決するための手段】
【０００７】
本発明による画像ネットワークシステムは、画像を撮影するカメラ、カメラによって撮影された画像データを管理するカメラサーバ、伝送制御サーバ、カメラによって撮影された画像を表示するモニタを備える。伝送制御サーバは、モニタからの画像要求をカメラサーバに中継し、カメラサーバからの画像データをモニタに中継する。カメラサーバは、カメラが撮影した画像とカメラによって予め撮影されていた背景画像との差分画像を算出して差分画像を伝送制御サーバへ送信し、伝送制御サーバは、予め送信された背景画像と新たに送信された差分画像とを用いてカメラによって撮影された画像を復元し、復元した画像をモニタに送付する。
【０００８】
本発明による画像送信システムは、画像を撮影するカメラと、カメラによって撮影された画像データを管理するカメラサーバを備え、ネットワークを介して画像要求を受信したとき、カメラが撮影した画像を送信するシステムである。カメラサーバは、カメラが撮影した画像とカメラによって予め撮影されていた背景画像との差分画像を算出し、画像要求を受信したとき、差分画像と背景画像のＩＤを含む差分画像データを送信する。
【０００９】
また、複数のカメラによって撮影された画像をネットワークを介して取得する本発明の画像取得システムは、画像ＩＤが付与された画像を蓄積する画像蓄積手段、カメラＩＤを指定して、当該カメラによって撮影された画像と当該カメラによって予め撮影された背景画像との差分画像データをネットワークを介して要求する画像要求手段、差分画像と背景画像の画像ＩＤとを含む差分画像データを受信し、差分画像データに含まれる画像ＩＤを有する背景画像を画像蓄積手段から取得し、取得した背景画像と受信した差分画像とから指定したカメラによって撮影された画像を復元し、復元した画像を画像蓄積手段に保存する手段、受信済み画像の画像ＩＤを管理する画像ＩＤ管理手段、画像要求を受け付ける手段を有する。画像要求を受け付けたとき画像ＩＤ管理手段を参照し、要求された画像が受信済みの画像である場合には画像蓄積手段から画像を取得し、未受信の画像である場合には画像要求手段によってネットワークを通じて所望の画像を取得する。
【００１０】
各カメラが優先カメラか否かの情報を保持し、カメラによって撮影された画像に動きがあることを示す動き検知イベントを受信したとき、動き検知を行ったカメラが優先カメラである場合、画像要求手段からカメラを管理するカメラサーバへ画像要求を発行し、画像を取得する。また、動き検知イベントを受信したとき、動き検知を行ったカメラが優先カメラである場合、カメラの配置情報を参照して当該カメラ及びその周囲のカメラの画像取得間隔を短く設定し、他のカメラの画像取得間隔を長く設定するようにしてもよい。
【発明の効果】
【００１１】
本発明によれば、多数のカメラを備える画像ネットワークシステムにおいて、システムの負荷を減少することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の画像ネットワークシステムの構成例を示すブロック図である。
【図２】カメラサーバの機能を表すブロック図である。
【図３】伝送制御サーバの機能を表すブロック図である。
【図４】モニタ画面の例を示す図である。
【図５】差分画像データのフォーマットを示す図である。
【図６】作業計画書データのフォーマットを示す図である。
【図７】差分画像の算出方法と画像復元の方法を示す模式図である。
【図８】最新画像取得の手順を示すタイミングチャートである。
【図９】画像ＩＤ管理テーブルデータのフォーマットを示す図である。
【図１０】画像ＩＤデータのフォーマットを示す図である。
【図１１】カメラ配置図の例を示す図である。
【図１２】過去画像を取得する手順を示すフローチャートである。
【図１３】イベント検知結果に基づく画像取得の例を示すタイミングチャートである。
【図１４】伝送制御サーバにおける画像要求判断の手順を示すフローチャートである。
【図１５】検索要求処理の流れを示すシーケンス図である。
【発明を実施するための形態】
【００１３】
本発明の実施の形態について、図面を参照して説明する。
図１は、本発明の画像ネットワークシステムの構成例を示すブロック図である。
【００１４】
＜画像ネットワークシステムの構成＞
本実施の形態の画像ネットワークシステムは、監視対象であるモニタリング拠点と監視センタをネットワーク１００、例えば狭帯域の衛星回線で結んで構成される。モニタリング拠点には、複数のカメラ１０、カメラ１０に接続されたカメラサーバ２０、本システムで取り扱われる画像を検索する第１の検索サーバ１５、カメラ１０によって撮影された画像を蓄積する第１の画像蓄積サーバ１４、ＩＣＰ／ＩＰを通じてユーザへと画像を送信するＷｅｂサーバ４０が置かれる。また、監視センタには、ユーザリクエストにより画像の取得を行う伝送制御サーバ３０、カメラ１０によって撮影された画像を表示するモニタ１３、モニタに表示した画像等を蓄積する第２の画像蓄積サーバ１６、画像を検索する第２の検索サーバ１７が置かれる。さらに、本実施の形態の画像ネットワークシステムは、複数の移動ノード１１を無線ネットワークによって接続したセンサネットワークを備える。移動ノード１１は、作業者１８によって携帯されるＧＰＳなどの位置情報タグを備える。
【００１５】
本実施の形態の画像ネットワークシステムによると、建造物内などの複数の固定位置にカメラ１０が設置される。それぞれの固定カメラは、遠隔操作でパン・チルト・ズームが可能である。第１の画像蓄積サーバ１４は、各カメラ１０によって取得された画像を格納する。モニタ１３は監視センタに設置され、管理者又は監視員１９がモニタ１３を用いて複数のカメラ１０の画像を監視する。
【００１６】
また、本システムは、予め設定されたノード１１からのイベントを受信すると、イベントに関係する基地局１２の位置に対応するカメラ１０の画像をモニタ１３の画面に表示する。基地局１２は、既知の位置に固定されており、カメラ１０と対応付けられている。そして、ノード１１から送信されたイベントに基づいて、モニタ１３にイベント発生位置に対応するカメラ１０の画像を表示させることによって、人や物の通過などを監視することができる。また、モニタ１３は、管理者１９が操作部の操作によって選択したカメラ１０によって撮影された画像を第１の画像蓄積サーバ１４から取得して、選択されたカメラ１０によって撮影された画像を高精細度で表示することができる。
【００１７】
＜モニタリング拠点の構成＞
複数のカメラ１０は、複数のカメラ群に区分されており、各カメラ群は、建造物などの所定の領域（例えば、各フロア）毎、又は、所定台数のカメラ毎に設定されている。そして、カメラ群毎に１台のカメラサーバ２０が設置される。
【００１８】
カメラ１０は、レンズを含む光学系、画像を電気信号に変換する撮像部及び通信インターフェースを備える。カメラ１０としては、例えば、ＩＰネットワークに直接接続可能なＩＰカメラや、シリアルバスで接続可能なＵＳＢカメラを用いることができる。カメラ１０は、撮影対象領域に設置され、撮影対象領域の画像を撮影し、撮影された画像データを、所定のフレームレート及び解像度で出力する。カメラ１０は、ネットワーク又はシリアルバスを介してカメラサーバ２０に接続される。
【００１９】
カメラサーバ２０は、プロセッサ、メモリ及びネットワークインターフェースを備える計算機である。カメラサーバ２０は、所定の単位毎（例えば、１フレーム毎、１ＧＯＰ毎）にカメラ１０に対して画像要求を発行し、カメラ１０より画像データを受信する。画像要求を発行する間隔（フレームレート）は、任意に変更することが可能である。カメラサーバ２０を画像受信待機状態にし、カメラ１０が撮影した映像をカメラサーバ２０に送付し、カメラサーバが受信する毎に逐次処理してもよい。また、カメラ１０によって撮影された動画を第１の画像蓄積サーバ１４からの要求に応じて所定の単位毎（例えば、１フレーム毎、１ＧＯＰ毎）に第１の画像蓄積サーバ１４へ送信する。さらにまた、Ｗｅｂサーバ４０からの要求に従って、カメラ１０より画像を取得し、Ｗｅｂサーバ４０や第１の画像蓄積サーバ１４へと画像を送信することもできる。カメラサーバ２０は、画像要求があったときにのみ、最新の画像（例えば、１フレームの画像）を第１の画像蓄積サーバ１４又はＷｅｂサーバ４０、又は第１の画像蓄積サーバ１４とＷｅｂサーバ４０の両方へ送信し、その他の画像（例えば、過去のフレームの画像）は、後述するサムネイル画像１０６の生成及び特徴量１０５の抽出が完了すると、破棄する。
【００２０】
図２を参照して後述するが、カメラサーバ２０は、画像登録プログラムを実行することによって、カメラ１０によって撮影された画像データから画像特徴量を抽出する。画像特徴量の抽出は、動き検出や顔検出の技術を用いて、予め定められた動きや、予め定められた顔が撮影された画像データから抽出するようにしてもよい。さらに、カメラサーバ２０は、画像登録プログラムを実行することによって、撮影された画像データから低精細度の画像データ（サムネイル画像）を生成する。
【００２１】
サムネイル画像は、カメラ１０によって撮影された動画の解像度を小さくしたものである。例えば、カメラ１０が６４０×４８０ドット（ＶＧＡ）の解像度の画像を出力する場合には、カメラサーバ２０はサムネイル画像として１２８×９６ドットの画像を生成する。なお、以下の説明では、カメラ１０によって撮影された原画像のことを、又はサムネイル画像１０６よりも高解像度の画像を高精細度画像という。抽出された画像特徴量及び生成された低精細度画像データ（サムネイル画像）はネットワークを介して第１の検索サーバ１５に送られる。
【００２２】
図１には、１台のカメラサーバ２０を図示したが、複数のカメラサーバ２０が備わってもよい。また、１台のカメラサーバ２０に接続されるカメラ１０の数は、カメラサーバ２０に備わるリソースの容量によって任意に選択することができる。なお、カメラ１０に備わるプロセッサが画像登録プログラムを実行することによって、カメラサーバ２０の機能を備えてもよい。
【００２３】
カメラサーバ２０から第１の画像蓄積サーバ１４宛に送信される情報と、第１の画像蓄積サーバ１４からカメラサーバ２０宛に送信される情報は、ネットワークを介して転送される。
【００２４】
各カメラ１０には所定の識別子（例えば、ＩＰアドレス）が予め付与されている。第１の画像蓄積サーバ１４は、カメラ１０に付与された識別子によって、カメラ１０を特定する。
【００２５】
第１の画像蓄積サーバ１４は、プロセッサ、メモリ、記憶装置及びネットワークインターフェースを備える計算機である。第１の画像蓄積サーバ１４は、画像蓄積サーバプログラムを実行することによって、カメラサーバ２０に対して高精細度画像要求を送信し、カメラ１０によって撮影された画像（動画）データを取得し、取得した画像データを記憶装置に格納する。具体的には、第１の画像蓄積サーバ１４は、画像を取得するカメラサーバ２０のＩＰアドレス、及びカメラ識別子を指定して画像要求を送信する。
【００２６】
また、第１の画像蓄積サーバ１４は、カメラサーバ２０から送付される画像データ１０１を待ち受け、受信すると共に逐次保存しても良い。第１の画像蓄積サーバ１４は、画像データ１０１と共に送付されるカメラ１０の識別子と、該カメラ１０が撮影した時刻を、画像データ１０１と共に保存する。
【００２７】
また、第１の画像蓄積サーバ１４は、モニタ１３から伝送制御サーバ３０を中継して送られてきた画像要求に基づいて、格納されている画像データをモニタ１３に送信する。図には、第１の画像蓄積サーバ１４を１台だけ図示したが、複数台備わってもよい。
【００２８】
Ｗｅｂサーバ４０は、伝送制御サーバ３０から画像要求を受信すると、受信した画像要求の宛先を、後述するように各カメラ群のカメラサーバ２０、又は第１の画像蓄積サーバ１４のアドレスとポート番号に変換してネットワークに送信する。
【００２９】
Ｗｅｂサーバ４０は、ネットワークを介して画像要求を受信すると、画像要求の宛先ポート番号からカメラサーバ２０を特定し、特定したカメラサーバ２０へ画像要求を転送する。このため、Ｗｅｂサーバ４０は、ポート番号とカメラサーバ２０の対応関係を示す転送先テーブルを備える。転送先テーブルには、画像要求を受信したポートと、画像要求の転送先の宛先（例えば、ＵＲＬ）の対応が設定される。
【００３０】
カメラサーバ２０は、Ｗｅｂサーバ４０からの画像要求に対して最新の画像（高精細度画像）より算出した後述の差分画像データ１０４を所定の単位（例えば、１フレーム）だけ返信する。Ｗｅｂサーバ４０は、画像の送信元のカメラサーバ２０を特定するポート番号を宛先ポート番号に設定して、カメラサーバ２０から受信した画像を伝送制御サーバ３０へ送信する。
【００３１】
＜監視センタの構成＞
次に、監視センタの構成要素について説明する。
第２の画像蓄積サーバ１６は、前述したように、プロセッサ、メモリ、記憶装置及びネットワークインターフェースを備える計算機であり、カメラ１０によって撮影された画像データを記憶装置に格納する。
【００３２】
第２の検索サーバ１７は、伝送制御サーバ３０が受信した、又は伝送制御サーバ３０が生成した画像特徴量及び低精細度画像データを格納する。また、モニタ１３からの検索要求に基づいて、第２の画像蓄積サーバ１６に蓄積された画像データの特徴量を検索し、検索結果（画像データの識別子及び低精細度画像データ）をモニタ１３に返信する。なお、複数の画像検索サーバ１７が、第２の検索サーバ群を構成してもよい。
【００３３】
モニタ１３は、プロセッサ、メモリ、ネットワークインターフェース、操作部、及び表示部を備え、画像ネットワークシステムの管理者１９が操作する計算機であり、図４に示す通り、複数のカメラ１０よって撮影された画像データから選択された又は全ての画像データをモニタ１３の画面に表示する。具体的には、モニタ１３は、複数のカメラ１０によって撮影された画像のサムネイル画像（縮小画像）１１０１と該サムネイル画像を撮影したカメラのカメラＩＤ１６０１、所望のカメラ１０の画像の高精細度画像１１０２と該高精細度画像を撮影したカメラのカメラＩＤと、を表示する。なお、操作部は、ディスプレイとキーボードやマウスなどで構成される。
【００３４】
モニタ１３は、管理者１９が操作部の操作によって選択したカメラ１０によって撮影された画像を伝送制御サーバ３０を介して取得し、選択されたカメラ１０によって撮影された画像を転送する優先度を上げるように制御する。
【００３５】
伝送制御サーバ３０は、プロセッサ、メモリ及びネットワークインターフェースを備える計算機である。なお、アドレス変換機能を有するネットワーク機器（例えば、スイッチ、ルータ）であってもよい。伝送制御サーバ３０は、モニタ１３とカメラサーバ２０の間の論理的な通信経路上に配置され、モニタ１３からカメラサーバ２０に送信される画像要求を中継する際に、表示要求の画像が伝送済みか否かにより宛先を変更する。
【００３６】
具体的には、伝送制御サーバ３０は、モニタ１３から送信される画像要求に含まれる画像ＩＤがモニタ１３に表示済みの画像ＩＤの場合には監視センタの第２の画像蓄積サーバ１６から画像を取得し、画像要求に含まれる画像ＩＤがモニタに未表示の画像ＩＤの場合にはＷｅｂサーバ４０を通じて画像を取得する。このため、伝送制御サーバ３０は、画像ＩＤ管理テーブルを備える。
【００３７】
伝送制御サーバ３０は、モニタ１３から転送された画像要求をカメラサーバ２０に送付する際、画像要求先であるカメラ１０の優先度に基づき送付するか否かを制御する。この優先度は、モニタ１３から送信される優先カメラ情報に基づいて決定される。伝送制御サーバ３０によって転送される画像要求が優先制御されることによって、優先度が低い画像データは転送されづらくなる。そして、本実施の形態では、画像データが転送されないと次の画像要求が送信されないので、優先度が低い画像データの単位時間当たりに転送されるフレーム数は低下する。よって、優先度が低い画像データのフレームレートを低下させることができる。
【００３８】
本実施の形態では、伝送制御サーバ３０は監視センタ側、Ｗｅｂサーバ４０はモニタリング拠点側（すなわち、カメラ側）に設置される。また、伝送制御サーバ３０とＷｅｂサーバ４０との間は、ネットワーク１００によって接続されている。このように、伝送制御サーバ３０及びＷｅｂサーバ４０が協働することによって、ネットワーク１００によって転送されるトラフィックを削減することができる。
【００３９】
＜カメラサーバ＞
次に、カメラサーバ２０について図２を用いて説明する。
カメラサーバ２０は、カメラ通信部２０１、センサ通信部２０２、差分算出部２０３、特徴量算出部２０４、Ｗｅｂサーバ通信部２０５、蓄積サーバ通信部２０６、検索サーバ通信部２０７を備える。
【００４０】
カメラ通信部２０１は、カメラに対し所定の間隔（例えば、１秒間１０回。以下、該間隔をフレームレートと呼ぶ）で画像要求を発行し、カメラが撮影した画像データ１０１を受信する。センサ通信部２０２は、基地局１２が通信している移動ノード１１の識別子と、その基地局１２の識別子を、当該基地局１２より受信する。
【００４１】
特徴量算出部２０４は、カメラ１０によって撮影された画像データ１０１から画像特徴量１０５を抽出する。画像特徴量１０５の抽出には動き検出、顔検出の技術が用いられる。具体的には、予め撮影されている顔画像と画像データ１０１を比較し、画像データ１０１上に顔画像を走査しつつ類似度を算出する。類似度が閾値を超えた場合、顔画像有りとして検知情報を通知すると共に、輪郭情報と色情報を特徴量として算出する。さらに、特徴量算出部２０４は、撮影された画像データから低精細度の画像データ（サムネイル画像１０６）を生成する。算出された特徴量１０５及びサムネイル画像１０６には、当該画像を撮影したカメラＩＤと、撮影時刻、画像毎に割り振られる画像ＩＤが付与される。生成した特徴量１０５とサムネイル画像１０６は、検索サーバ通信部２０７を通じて、第１の検索サーバ１５へと送付される。
【００４２】
差分算出部２０３は、カメラ通信部２０１を通じて得られた画像データと、予め撮影されて第１の画像蓄積サーバ１４に格納されている背景画像データ１０３との差分値を算出する。差分値は画素毎に算出され、差分値の分散、ないし合計が設定値を超えた場合、背景更新要として背景更新イベントを発行する。また、背景更新イベントは、カメラのパン・チルト・ズームの設定情報が変更された際に発行しても良い。背景更新要の場合、差分検出部２０３は、画像データ１０１に背景画像ＩＤを付与することで背景画像データ１０３を生成し、蓄積サーバ通信部２０６を介して該背景画像データ１０３を第１の画像蓄積サーバ１４へと保存する。
【００４３】
蓄積サーバ通信部２０６は、第１の画像蓄積サーバ１４への画像データの登録、及び第１の画像蓄積サーバ１４からの画像データの取得を行う。第１の画像蓄積サーバ１４へと登録される画像データには、カメラ１０から取得した画像データ１０１や、差分画像データ１０４、背景画像データ１０３がある。蓄積サーバ通信部２０７は、画像データに、該画像を撮影したカメラＩＤと、撮影時刻、画像毎に割り振られる画像ＩＤを付与し、第１の画像蓄積サーバ１４へと登録する。
【００４４】
Ｗｅｂサーバ通信部２０５は、Ｗｅｂサーバ４０とデータの送受信を行う。Ｗｅｂサーバ通信部２０５は、Ｗｅｂサーバ４０からの要求に応じ、背景画像データ１０３、差分画像データ１０４、センサデータ１０２、イベント通知１０８を送付する。Ｗｅｂサーバ４０に送付される背景画像データには、その背景画像を撮影したカメラ１０のカメラＩＤが付与される。イベント通知１０８の内容は、イベントが発生したカメラのカメラＩＤと、イベント内容から成り、イベント内容は動き検知、顔検知、背景更新などがある。図５に、差分画像データ１０４のデータ形式を示す。すなわち、差分画像データ１０４は、画像ＩＤ８０１、差分画像データを算出する際に使用した背景の画像ＩＤ８０２、差分画像の元となった画像データ上での差分画像の位置を示す座標８０３、及び画像データ８０４を保持している。また、Ｗｅｂサーバ通信部２０５は、Ｗｅｂサーバ４０よりフレームレート設定１０７を受信する。フレームレート設定１０７は、対象となるカメラのカメラＩＤと、フレームレートが記述されている。フレームレート設定１０７を受信したカメラサーバ２０は、そのフレームレート設定の記述に従い、該当カメラのフレームレートの設定変更を行う。
【００４５】
＜伝送制御サーバ＞
次に、伝送制御サーバ３０の機能を、図３を用いて説明する。
伝送制御サーバ３０は、Ｗｅｂサーバ通信部３０１、フレームレート設定部３０２、画像復元部３０３、検索サーバ通信部３０４、蓄積サーバ通信部３０８、リクエスト受付部３０６、リクエスト処理部３０５、モニタ通信部３０７からなる。伝送制御サーバ３０は、Ｗｅｂサーバ通信部３０１を介してネットワークを通じて論理的に接続されているＷｅｂサーバ４０と通信を行い、背景画像データ１０３、差分画像データ１０４、センサデータ１０２、イベント通知１０８を取得する。
【００４６】
画像復元部３０３は、差分画像データ１０４から元画像の復元を行う。具体的には、差分画像データ１０４に記載の背景画像ＩＤ８０２を取得し、第２の画像蓄積サーバ１６から背景画像ＩＤ８０２に対応する背景画像データを取得する。そして、対応する背景画像がある場合、背景画像上の座標８０３の位置に差分画像データ８０４を上書きすることにより、元画像を復元する。差分画像データ１０４に対応する背景画像が無い場合、設計図３２２よりコンピュータグラフィックを用いて生成した背景画像上に、差分画像データ１０４を重ね合わせることにより、元画像を復元する。
【００４７】
リクエスト受付部３０６は、ユーザからの画像要求３１２を受け付ける。受け付けた画像要求３１２は、リクエスト処理部３０５にて図１２で後述するフローに従い解釈される。すなわち、該画像がモニタに未表示の場合にはＷｅｂサーバ通信部３０１を通じて画像データを取得する。該画像がモニタに表示済みである場合、蓄積サーバ通信部３０８を通じて第２の画像蓄積サーバ１６より画像データを取得する。そのため、伝送制御サーバ３０は、受信済みの画像のＩＤを管理する画像ＩＤ管理テーブル３０９を備える。取得した画像データ３１３は、モニタ通信部３０７を通じてモニタ１３へと送付される。
【００４８】
フレームレート設定部３０２は、Ｗｅｂサーバ４０と伝送制御サーバ３０の間のネットワークトラフィックが、設定値を超えないよう、各々のカメラのフレームレートの設定を行う。フレームレートは、作業計画書３２１やユーザリクエスト、イベント通知により変更される。具体的には、作業計画書３２１は、図６に示す通り、カメラＩＤ１６０１と、そのカメラの撮影範囲で作業する時間１４０１からなり、作業計画書３２１に基づき、作業が計画されている時間帯に作業が計画されている箇所を撮影しているカメラのカメラサーバで動き検知された場合はフレームレートを下げ、作業が計画されていない箇所を撮影しているカメラのカメラサーバで動き検知された場合はフレームレートを上げる。また、ユーザから画像取得リクエストのあったカメラのフレームレートを上げ、その他のカメラのフレームレートを下げる。すなわち、各カメラのフレームレートをｘi［ｆｐｓ］、ネットワーク帯域の上限をｆ［ｂｐｓ］、画像データの容量をｄ［ｂｉｔ］とした場合、次式の条件を満たすよう、各カメラのフレームレートの設定を行う。
【００４９】
【数１】
【００５０】
Ｗｅｂサーバ通信部３０１は、Ｗｅｂサーバ４０へのフレームレート設定１０７の発行や画像取得要求の発行を行い、Ｗｅｂサーバ４０から背景画像データ１０３や差分画像データ１０４などの画像データ、イベント通知１０８やセンサデータ１０２の取得を行う。イベント通知１０８が動き検知や顔検知の場合、フレームレート設定部３０２に問い合わせて、イベントが発生したカメラのフレームレートを変更するか、画像データやセンサデータ１０２を取得するかを決定する。イベント通知１０８が背景更新であった場合、伝送制御サーバ３０は背景画像要求を送信し、Ｗｅｂサーバ４０を通じて背景画像データ１０３を取得し、蓄積サーバ通信部３０８を通じて第２の画像蓄積サーバ１６へと保存する。
【００５１】
検索サーバ通信部３０４は、画像復元部３０３で復元した画像から算出した画像特徴量やサムネイル画像を第２の検索サーバへ登録したり、第２の検索サーバに画像ＩＤを特定して画像要求し、対応するサムネイル画像を取得するときに利用される。
【００５２】
＜ユーザリクエストによる画像の取得＞
次に、ユーザリクエストにより最新の画像をカメラから取得する際の手順について、図７の模式図、及び図８のタイミングチャートを用いて説明する。図７は、カメラサーバ２０で実行される撮影画像データ１０１と背景画像データ１０３から差分画像データ１０４を生成する処理、及び伝送制御サーバ３０で実行される背景画像データ１０３あるいは設計図３２２と差分画像データ１０４から画像データ１０１を復元する処理を模式的に示したものである。
【００５３】
図８を参照して、ユーザ（監督者）はモニタ１３を通じて、伝送制御サーバ３０へ最新画像要求３１２を送付する。ユーザによる最新画像要求３１２は、例えばモニタ１３上で１つのサムネイル画像を指定することにより、カメラＩＤを特定して行われる。伝送制御サーバ３０は、最新画像要求をリクエスト受付部３０６にて受信すると、リクエスト処理部３０５において差分画像要求４０１へと変換し、差分画像要求４０１をＷｅｂサーバ４０へと送信する。Ｗｅｂサーバ４０は、差分画像要求４０１を受信すると、カメラサーバ２０へと差分画像要求４０１を送付する。カメラサーバ２０は、差分画像要求４０１を受信すると、画像要求４０２を特定されたカメラＩＤのカメラ１０へと発行し、カメラ１０が撮影した画像データ１０１を受信する。その後、背景画像データ１０３を第１の画像蓄積サーバ１４より取得し、差分を抽出する（Ｓ４０３）ことにより差分画像データ１０４を生成し、該差分画像データ１０４をＷｅｂサーバ４０へと送付すると共に、第１の画像蓄積サーバ１４に保存し（Ｓ４０４）、画像特徴量の算出及びサムネイル画像の生成を行い、画像特徴量とサムネイル画像を第１の検索サーバ１５へと登録する（Ｓ４０５）。
【００５４】
Ｗｅｂサーバ４０は、カメラサーバ２０にて生成された差分画像データ１０４を受信すると、その差分画像データ１０４を伝送制御サーバ３０へと送付する。伝送制御サーバ３０は、差分画像データ１０４を受信すると、その差分画像データ１０４に対応する背景画像データ１０３を第２の画像蓄積サーバ１６より取得し（Ｓ４０６）、背景画像データ１０３上に差分画像データ１０４を配置することで画像データを復元する（Ｓ４０７）。背景画像データ１０３が未受信の場合、設計図３２２を参照しコンピュータグラフィックを用いることで背景画像データを生成することもできる。
【００５５】
その後、伝送制御サーバ３０は、復元した画像データ３１３をモニタ１３へと送付し、第２の蓄積サーバ１６へと保存し（Ｓ４０８）、復元した画像から画像特徴量及びサムネイル画像の生成を行い、画像特徴量とサムネイル画像を第２の検索サーバ１７へと登録する（Ｓ４０９）。また、伝送制御サーバ３０は、受信した画像の画像ＩＤを、図９に示されるデータフォーマットに従って、画像ＩＤ管理テーブル３０９へと保存する。画像ＩＤ管理テーブル３０９は、カメラＩＤ１６０１とフレームＩＤ１６０２、撮影時刻１６０３からなる画像ＩＤ８０１（図１０）から抜粋した、カメラＩＤ１６０１と、受信済みフレームＩＤ１５０１を保持する。通信帯域が逼迫している場合は、差分画像データの代わりに移動ノード１１の位置情報を含むセンサデータ１０２を通知するだけでもよく、センサデータ１０２を取得した伝送制御サーバ３０は、背景画像データ１０３上に作業者を表すアイコンを表示することで、画像を復元してもよい。
【００５６】
このようにしてユーザが指定して画像を取得する場合、その画像を撮影しているカメラは優先度が高いため、フレームレート設定部３０２は当該カメラのフレームレートを上げる。そして、カメラ配置図３２３を参照して、当該カメラの最近傍のカメラのフレームレートを次に高く、その他のカメラのフレームレートを低く設定する。カメラ配置図は、各カメラの隣接位置関係を保持した図である。図１１に示すカメラ配置図の例を用いて説明する。いま、ユーザが作業者１８を写しているカメラ１０ｂの最新画像を要求したとする。このとき、伝送制御サーバ３０のフレームレート設定部３０２は、カメラ１０ｂのフレームレートを例えば１０［ｆｐｓ］に設定する。そして、カメラ１０ｂの最近傍のカメラ１０ａ，１０ｃのフレームレートを例えば５［ｆｐｓ］に設定し、その他のカメラのフレームレートを例えば１［ｆｐｓ］に設定する。
【００５７】
フレームレートの設定情報１０７は、Ｗｅｂサーバ通信部３０１を介してＷｅｂサーバ４０へと送付され、Ｗｅｂサーバ４０は対応するカメラのカメラサーバ２０に対し該フレームレート設定１０７を送付し、該フレームレート設定１０７を受信したカメラサーバ２０は、該当するカメラのフレームレートを、フレームレート設定１０７に記載されたフレームレートに設定する。このような優先度の条件は、最終的にはシステムが適用される場所に依存するものである。
【００５８】
次に、ユーザリクエストにより過去画像を取得する際の伝送制御サーバ３０での処理の流れを、図１２のフローチャートを用いて説明する。
【００５９】
ユーザ１９はモニタ１３に表示されているアプリケーションを通じて、過去画像を指定する。過去画像が必要とされる場合の例としては、例えば、検索結果のサムネイル画像３１６を取得し、該サムネイル画像の元となった高精細画像を取得する場合や、過去の時刻や場所を指定して画像を取得する場合がある。
【００６０】
モニタ１３は、ユーザ１９から受け付けたリクエストを、画像ＩＤへと変換して、画像要求３１２として伝送制御サーバ３０へと送付する。伝送制御サーバ３０は、リクエスト受付部３０６にて画像要求を受け付ける（Ｓ６０１）と、リクエスト処理部３０５において該画像要求に含まれる画像ＩＤを抽出し、画像ＩＤ管理テーブル３０９に問い合わせて、取得済みフレームＩＤ１５０１に該フレームＩＤが存在するか否かを検索し（Ｓ６０２）、画像ＩＤの有無を判断する（Ｓ６０３）。
【００６１】
画像ＩＤ管理テーブル３０９に当該画像ＩＤがある場合、第２の画像蓄積サーバ１６に問い合わせて、該画像ＩＤに対応する画像データを取得し（Ｓ６０４）、モニタ１３へと画像を送信する（Ｓ６１０）。
【００６２】
画像ＩＤ管理テーブル３０９に当該画像ＩＤが無い場合、Ｗｅｂサーバ４０に差分画像要求を発行すると、Ｗｅｂサーバは該差分画像要求に含まれる画像ＩＤを取得し、第一の蓄積サーバ１４に画像ＩＤの有無を問い合わせ、第一の蓄積サーバに画像ＩＤが存在する場合、該当する画像を取得し、伝送制御サーバ３０へと送付する。伝送制御サーバは、画像データを復元すると共に、画像ＩＤ管理テーブル３０９に画像ＩＤを登録する。その後、第２の画像蓄積サーバ１６へと復元した画像データを保存し、画像特徴量を算出し検索サーバ１７へと登録する。そして、復元した画像データを、モニタへと送信する。
【００６３】
＜イベント検知による伝送制御＞
次に、イベント検知結果に基づき、通信帯域の制御を行う手順について、図１３のタイミングチャートを用いて説明する。
【００６４】
伝送制御サーバ３０は、Ｗｅｂサーバ４０に対して、イベント通知依頼７０１を発行すると、イベント待機状態（Ｓ７０２）となる。
【００６５】
カメラサーバ２０は、カメラ１０に対して所定の間隔（例えば１秒間隔）で画像要求４０２を発行する。カメラは画像要求４０２を受信すると、画像を撮影し、撮影した画像を画像データ１０１としてカメラサーバ２０へと送付する。カメラサーバ２０は、画像データ１０１を受信すると、当該カメラが撮影している範囲内で動きがないかを判定する（Ｓ７０３）。動き判定の方法には、背景差分、フレーム間差分、オプティカルフローなどがあり、どの方法を用いてもよい。動き判定の結果動きが無い場合には、該画像データを破棄又は蓄積サーバに登録し、再びカメラに対して画像要求４０２を発行し、カメラから画像データ１０１を受信し、動き判定を行う（Ｓ７０３）。動き判定の結果、動きがある場合には、Ｗｅｂサーバ４０に対し動き通知として発報７０４し、画像データ１０１から動き領域を切り出した差分画像を生成し（Ｓ７０５）、カメラサーバ内のキャッシュで保持する。その後、Ｗｅｂサーバ４０から差分画像の要求７０６を受信すると、差分画像データ７０７をＷｅｂサーバ４０へと送付する。
【００６６】
Ｗｅｂサーバ４０は、カメラサーバ２０より発報７０４を受信すると、伝送制御サーバ３０へとイベント通知７０８を行う。伝送制御サーバ３０は、イベント通知７０８を受信すると、図１４にて後述する画像要求判断を行う（Ｓ７０９）。判断の結果、画像要求が不要と判断された場合、Ｗｅｂサーバ４０に対して再びイベント通知依頼を発行７０１し、イベント待機状態（Ｓ７０２）になる。判断の結果、画像要求が必要とされた場合には、Ｗｅｂサーバ４０に対して差分画像要求７０６を発行する。
【００６７】
Ｗｅｂサーバ４０は、差分画像要求７０６を受信すると、カメラサーバ２０に対して差分画像要求７０６を発行し、カメラサーバ２０より該当する差分画像データ７０７を受信し、受信した差分画像データ７０７を伝送制御サーバ３０へと送付する。
【００６８】
伝送制御サーバ３０は、差分画像データ７０７を受信すると、該当する背景画像１０３を第２の画像蓄積サーバ１６より取得し、図７にて説明した通り、背景画像１０３上に差分画像データ７０７を配置することで画像データ１０１を復元し、復元した画像データ１０１をモニタ１３へと送付する。こうして監視が必要とされるカメラの撮影視野中に動きがあったときだけ、しかも動きがあった個所の画像だけが送付されるため、ネットワークの通信量を大きく削減することができる。
【００６９】
次に、伝送制御サーバ３０における画像要求判断（Ｓ７０９）のフローを、図１４のフローチャートを用いて説明する。
【００７０】
伝送制御サーバ３０は、Ｗｅｂサーバ４０よりイベント通知７０８を受信すると（Ｓ９０１）、イベントの起こったカメラＩＤにより、そのカメラが優先カメラか否かを判断する（Ｓ９０２）。カメラの優先順位はユーザが設定することもできるし、作業計画書３２１を参照し、作業予定場所か否かで判断することも可能である。例えば、作業予定の場所で動きがある場合には、想定内の動きであるため、その場所を撮影しているカメラは優先カメラでは無いと判断でき、作業予定外の場所で動きがある場合には、その動きは想定外のため、優先カメラであると判断する。また、作業者１８がボタンを押下するなどのイベントも考えられ、その場合はそのイベント発生個所のカメラは優先カメラであると判断する。このような優先度の条件は、最終的にはシステムが適用される場所に依存するものである。
【００７１】
また、伝送制御サーバ３０は、イベントの優先度に応じて、カメラのフレームレートの設定を行う。具体的には、イベントの起こったカメラが優先カメラである場合、当該カメラのフレームレートを高く（例えば１［ｆｐｓ］）設定し、カメラ配置図を参照してそのカメラの近傍のカメラのフレームレートを次に高く（例えば５［ｆｐｓ］）設定する。
【００７２】
特に、イベントが動き検知である場合、イベント検知したカメラで撮影された移動物体の移動方向を撮影しているカメラの優先度を高く設定し、フレームレートを高く設定する。そして、その他のカメラのフレームレートを低く設定する。図１１に示した例で説明すると、いま、カメラ１０ｂによって撮影された画像に基づいてカメラサーバで動き検知イベントが発生され、背景画像に対する複数の差分画像の時系列的な位置関係から撮影された移動物体１８の移動方向が図に矢印で示す方向であると判定されたとする。移動物体１８の移動方向は、動き検知イベントによって報知される。このとき、カメラ１０ｂが優先カメラであれば、カメラ１０ｂのフレームレートを例えば１０［ｆｐｓ］に設定する。そして、カメラ配置図を参照して、移動物体１８の移動方向のカメラ１０ｃ，１０ｄのフレームレートを例えば８［ｆｐｓ］に設定する。他のカメラのフレームレートは、例えば１［ｆｐｓ］に設定する。
【００７３】
フレームレートの設定情報１０７は、Ｗｅｂサーバ通信部３０１を介してＷｅｂサーバ４０へと送付され、Ｗｅｂサーバ４０は対応するカメラのカメラサーバ２０に対しフレームレート設定１０７を送付し、フレームレート設定１０７を受信したカメラサーバ２０は、該当するカメラのフレームレートを、フレームレート設定１０７に記載されたフレームレートに設定する。
【００７４】
イベントの起こったカメラＩＤが、優先カメラである場合は、Ｗｅｂサーバ４０に対して差分画像要求７０６を発行し（Ｓ９０３）、Ｗｅｂサーバ４０より差分画像データ７０７を受信し、差分画像データ７０７に記載の背景画像ＩＤに対応する背景画像１０３を第２の画像蓄積サーバ１６より取得し（Ｓ７１０）、図７に示す通り、背景画像１０３上に差分画像データ７０７を配置することで画像データを復元し（Ｓ７１１）、復元した画像データをモニタへと送付する。その後、イベント通知依頼７０１をＷｅｂサーバ４０へと発行し（Ｓ９０４）、イベント待機状態となる。
【００７５】
＜検索時の動作＞
検索時の動作に関して、図１５を用いて説明する。
図１５は、検索結果がモニタに未表示である場合の、検索要求処理の流れを示すシーケンス図である。ユーザはモニタ１３に表示されている画像を選択し、検索クエリとして検索サーバへと送信し、検索を行うことで、選択した画像と類似する画像を得ることができる。
【００７６】
モニタ１３はユーザから検索要求を受け付けると、検索要求に含まれる画像ＩＤを検索クエリ１２０１として伝送制御サーバ３０へと送付する。伝送制御サーバ３０は、検索クエリ１２０１を受け取ると、Ｗｅｂサーバ４０へとその検索クエリを送付する。Ｗｅｂサーバ４０は、検索クエリを受信すると、その検索クエリを第１の検索サーバ１５へと送信する。第１の検索サーバ１５は、検索クエリを受け取ると、第１の検索サーバ１５内に蓄積されている当該検索クエリに対応する画像の特徴量を取得し、その画像特徴量と類似度の高い画像の画像ＩＤ１２０３を導出する（Ｓ１２０２）。画像ＩＤ１２０３は、最も類似度の高い単一の画像ＩＤでも良く、類似度の高い順に複数個、例えば１０個の画像ＩＤを示しても良い。
【００７７】
導出された画像ＩＤ１２０３は、Ｗｅｂサーバ４０に送付される。Ｗｅｂサーバ４０は、画像ＩＤ１２０３を受信すると、伝送制御サーバ３０へと画像ＩＤ１２０３を送付する。伝送制御サーバ３０は、画像ＩＤ１２０３を受信すると、画像ＩＤ管理テーブル３０９を参照し、該当ＩＤが存在するか否かを判定する（Ｓ１２０４）。画像ＩＤ管理テーブル３０９内に、該当ＩＤが存在する場合は、監視センタにある第２の検索サーバ１７に対し、画像ＩＤを画像要求１２０５として発行する。第２の検索サーバ１７は、画像要求１２０５を受信すると、当該画像要求１２０５に記載の画像ＩＤに対応するサムネイル画像１２０６を取得し、伝送制御サーバ３０へと送付する。
【００７８】
一方、画像ＩＤ１２０３が画像ＩＤ管理テーブル３０９に存在しない場合は、モニタリング拠点にある第１の検索サーバ１５から検索結果を取得する必要がある。そのため、伝送制御サーバ３０は、画像ＩＤを画像要求１２０５としてＷｅｂサーバ４０へと送付し、Ｗｅｂサーバ４０はその画像要求１２０５を第１の検索サーバ１５へと送付する。第１の検索サーバ１５は、画像要求１２０５を受信すると、画像要求１２０５に記載された画像ＩＤに対応するサムネイル画像１２０６を取得し、Ｗｅｂサーバ４０へと送付する。Ｗｅｂサーバ４０は、サムネイル画像１２０６を受信すると、伝送制御サーバ３０へと送付する。
【００７９】
伝送制御サーバ３０は、サムネイル画像１２０６を受信すると、当該サムネイル画像１２０６を検索結果１２０７としてモニタ１３へと送付する。ユーザはアプリケーションを通じて、モニタに表示されているサムネイル画像の元となった高精細画像を、図１２の手順で取得することができる。
【００８０】
以上説明したように、本発明の実施の形態では、伝送制御サーバ、Ｗｅｂサーバ、カメラサーバが協働し、カメラサーバが差分画像を生成し、伝送制御サーバが差分画像と背景画像から元画像データを復元することで、ネットワーク帯域を節約することができる。また、伝送制御サーバが優先度を元に画像取得の判断やフレームレートの調整を行うことで、ネットワーク帯域を節約することができ、システムの負荷を軽減することができる。
【００８１】
画像データの転送の優先度を制御することによって、多数のカメラを備える監視システムにおける通信帯域を確保し、システムの負荷を軽減することができる。
【００８２】
さらに、動き判定により動きのあるカメラ画像を優先的にかつ高いフレームレートで表示でき、効率的な監視をすることができる。
【００８３】
また、移動ノードの位置情報を伝送制御サーバが解釈し、設計図上に該移動ノード位置を表示することで、センサデータのようなデータ量の少ないデータから画像データを復元することができ、システムの負荷を軽減することができる。
【符号の説明】
【００８４】
１０ カメラ
１１ 移動ノード
１２ 基地局
１３ モニタ
１４ 第１の画像蓄積サーバ
１５ 第１の検索サーバ
１６ 第２の画像蓄積サーバ
１７ 第２の検索サーバ
２０ カメラサーバ
３０ 伝送制御サーバ
４０ Ｗｅｂサーバ
１０１ 画像データ
１０３ 背景画像データ
１０４ 差分画像データ
２０３ 差分算出部
３０２ フレームレート設定部
３０３ 画像復元部
３０９ 画像ＩＤ管理テーブル
３２３ カメラ配置図
【技術分野】
【０００１】
本発明は、複数のカメラを備える画像ネットワークシステム、画像送信システム及び画像取得システムに関する。
【背景技術】
【０００２】
ＷｅｂカメラなどのＩＰ接続可能な撮像装置が普及することにより、ＩＰネットワークを利用した広域・大規模監視システムを構築することが可能となった。一方、カメラ台数が増えるに従い、ネットワーク帯域が逼迫するという問題がある。例えば、有線ネットワークを構築することが困難な地域では、衛星回線のネットワークを使用して、多数のカメラからの情報を収集することがある。その場合、狭帯域で効率よく画像を収集するシステムを構築する必要がある。
【０００３】
狭帯域でデータを収集する技術として、無線ネットワークで接続されたセンサデータに関して、センサノードが測定したデータのうち、変化の小さいデータを間引いて送信し、データの差分のみを送信することで通信量を削減する技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１２２７９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＩＰネットワークを利用した広域・大規模監視システム上で、狭帯域の回線を利用して画像を収集する場合、カメラ配置や撮影している対象による優先度に応じて、効率よく画像を収集するシステムが必要となる。
【０００６】
本発明は、複数のカメラで撮影した画像データを狭帯域下で効率よく収集する技術を提供するものである。また、カメラによって撮影された画像を画像処理することによって得られる動き検知の情報や、ユーザ指定の情報から、画像の転送の優先度を制御する手段を提供するものである。
【課題を解決するための手段】
【０００７】
本発明による画像ネットワークシステムは、画像を撮影するカメラ、カメラによって撮影された画像データを管理するカメラサーバ、伝送制御サーバ、カメラによって撮影された画像を表示するモニタを備える。伝送制御サーバは、モニタからの画像要求をカメラサーバに中継し、カメラサーバからの画像データをモニタに中継する。カメラサーバは、カメラが撮影した画像とカメラによって予め撮影されていた背景画像との差分画像を算出して差分画像を伝送制御サーバへ送信し、伝送制御サーバは、予め送信された背景画像と新たに送信された差分画像とを用いてカメラによって撮影された画像を復元し、復元した画像をモニタに送付する。
【０００８】
本発明による画像送信システムは、画像を撮影するカメラと、カメラによって撮影された画像データを管理するカメラサーバを備え、ネットワークを介して画像要求を受信したとき、カメラが撮影した画像を送信するシステムである。カメラサーバは、カメラが撮影した画像とカメラによって予め撮影されていた背景画像との差分画像を算出し、画像要求を受信したとき、差分画像と背景画像のＩＤを含む差分画像データを送信する。
【０００９】
また、複数のカメラによって撮影された画像をネットワークを介して取得する本発明の画像取得システムは、画像ＩＤが付与された画像を蓄積する画像蓄積手段、カメラＩＤを指定して、当該カメラによって撮影された画像と当該カメラによって予め撮影された背景画像との差分画像データをネットワークを介して要求する画像要求手段、差分画像と背景画像の画像ＩＤとを含む差分画像データを受信し、差分画像データに含まれる画像ＩＤを有する背景画像を画像蓄積手段から取得し、取得した背景画像と受信した差分画像とから指定したカメラによって撮影された画像を復元し、復元した画像を画像蓄積手段に保存する手段、受信済み画像の画像ＩＤを管理する画像ＩＤ管理手段、画像要求を受け付ける手段を有する。画像要求を受け付けたとき画像ＩＤ管理手段を参照し、要求された画像が受信済みの画像である場合には画像蓄積手段から画像を取得し、未受信の画像である場合には画像要求手段によってネットワークを通じて所望の画像を取得する。
【００１０】
各カメラが優先カメラか否かの情報を保持し、カメラによって撮影された画像に動きがあることを示す動き検知イベントを受信したとき、動き検知を行ったカメラが優先カメラである場合、画像要求手段からカメラを管理するカメラサーバへ画像要求を発行し、画像を取得する。また、動き検知イベントを受信したとき、動き検知を行ったカメラが優先カメラである場合、カメラの配置情報を参照して当該カメラ及びその周囲のカメラの画像取得間隔を短く設定し、他のカメラの画像取得間隔を長く設定するようにしてもよい。
【発明の効果】
【００１１】
本発明によれば、多数のカメラを備える画像ネットワークシステムにおいて、システムの負荷を減少することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の画像ネットワークシステムの構成例を示すブロック図である。
【図２】カメラサーバの機能を表すブロック図である。
【図３】伝送制御サーバの機能を表すブロック図である。
【図４】モニタ画面の例を示す図である。
【図５】差分画像データのフォーマットを示す図である。
【図６】作業計画書データのフォーマットを示す図である。
【図７】差分画像の算出方法と画像復元の方法を示す模式図である。
【図８】最新画像取得の手順を示すタイミングチャートである。
【図９】画像ＩＤ管理テーブルデータのフォーマットを示す図である。
【図１０】画像ＩＤデータのフォーマットを示す図である。
【図１１】カメラ配置図の例を示す図である。
【図１２】過去画像を取得する手順を示すフローチャートである。
【図１３】イベント検知結果に基づく画像取得の例を示すタイミングチャートである。
【図１４】伝送制御サーバにおける画像要求判断の手順を示すフローチャートである。
【図１５】検索要求処理の流れを示すシーケンス図である。
【発明を実施するための形態】
【００１３】
本発明の実施の形態について、図面を参照して説明する。
図１は、本発明の画像ネットワークシステムの構成例を示すブロック図である。
【００１４】
＜画像ネットワークシステムの構成＞
本実施の形態の画像ネットワークシステムは、監視対象であるモニタリング拠点と監視センタをネットワーク１００、例えば狭帯域の衛星回線で結んで構成される。モニタリング拠点には、複数のカメラ１０、カメラ１０に接続されたカメラサーバ２０、本システムで取り扱われる画像を検索する第１の検索サーバ１５、カメラ１０によって撮影された画像を蓄積する第１の画像蓄積サーバ１４、ＩＣＰ／ＩＰを通じてユーザへと画像を送信するＷｅｂサーバ４０が置かれる。また、監視センタには、ユーザリクエストにより画像の取得を行う伝送制御サーバ３０、カメラ１０によって撮影された画像を表示するモニタ１３、モニタに表示した画像等を蓄積する第２の画像蓄積サーバ１６、画像を検索する第２の検索サーバ１７が置かれる。さらに、本実施の形態の画像ネットワークシステムは、複数の移動ノード１１を無線ネットワークによって接続したセンサネットワークを備える。移動ノード１１は、作業者１８によって携帯されるＧＰＳなどの位置情報タグを備える。
【００１５】
本実施の形態の画像ネットワークシステムによると、建造物内などの複数の固定位置にカメラ１０が設置される。それぞれの固定カメラは、遠隔操作でパン・チルト・ズームが可能である。第１の画像蓄積サーバ１４は、各カメラ１０によって取得された画像を格納する。モニタ１３は監視センタに設置され、管理者又は監視員１９がモニタ１３を用いて複数のカメラ１０の画像を監視する。
【００１６】
また、本システムは、予め設定されたノード１１からのイベントを受信すると、イベントに関係する基地局１２の位置に対応するカメラ１０の画像をモニタ１３の画面に表示する。基地局１２は、既知の位置に固定されており、カメラ１０と対応付けられている。そして、ノード１１から送信されたイベントに基づいて、モニタ１３にイベント発生位置に対応するカメラ１０の画像を表示させることによって、人や物の通過などを監視することができる。また、モニタ１３は、管理者１９が操作部の操作によって選択したカメラ１０によって撮影された画像を第１の画像蓄積サーバ１４から取得して、選択されたカメラ１０によって撮影された画像を高精細度で表示することができる。
【００１７】
＜モニタリング拠点の構成＞
複数のカメラ１０は、複数のカメラ群に区分されており、各カメラ群は、建造物などの所定の領域（例えば、各フロア）毎、又は、所定台数のカメラ毎に設定されている。そして、カメラ群毎に１台のカメラサーバ２０が設置される。
【００１８】
カメラ１０は、レンズを含む光学系、画像を電気信号に変換する撮像部及び通信インターフェースを備える。カメラ１０としては、例えば、ＩＰネットワークに直接接続可能なＩＰカメラや、シリアルバスで接続可能なＵＳＢカメラを用いることができる。カメラ１０は、撮影対象領域に設置され、撮影対象領域の画像を撮影し、撮影された画像データを、所定のフレームレート及び解像度で出力する。カメラ１０は、ネットワーク又はシリアルバスを介してカメラサーバ２０に接続される。
【００１９】
カメラサーバ２０は、プロセッサ、メモリ及びネットワークインターフェースを備える計算機である。カメラサーバ２０は、所定の単位毎（例えば、１フレーム毎、１ＧＯＰ毎）にカメラ１０に対して画像要求を発行し、カメラ１０より画像データを受信する。画像要求を発行する間隔（フレームレート）は、任意に変更することが可能である。カメラサーバ２０を画像受信待機状態にし、カメラ１０が撮影した映像をカメラサーバ２０に送付し、カメラサーバが受信する毎に逐次処理してもよい。また、カメラ１０によって撮影された動画を第１の画像蓄積サーバ１４からの要求に応じて所定の単位毎（例えば、１フレーム毎、１ＧＯＰ毎）に第１の画像蓄積サーバ１４へ送信する。さらにまた、Ｗｅｂサーバ４０からの要求に従って、カメラ１０より画像を取得し、Ｗｅｂサーバ４０や第１の画像蓄積サーバ１４へと画像を送信することもできる。カメラサーバ２０は、画像要求があったときにのみ、最新の画像（例えば、１フレームの画像）を第１の画像蓄積サーバ１４又はＷｅｂサーバ４０、又は第１の画像蓄積サーバ１４とＷｅｂサーバ４０の両方へ送信し、その他の画像（例えば、過去のフレームの画像）は、後述するサムネイル画像１０６の生成及び特徴量１０５の抽出が完了すると、破棄する。
【００２０】
図２を参照して後述するが、カメラサーバ２０は、画像登録プログラムを実行することによって、カメラ１０によって撮影された画像データから画像特徴量を抽出する。画像特徴量の抽出は、動き検出や顔検出の技術を用いて、予め定められた動きや、予め定められた顔が撮影された画像データから抽出するようにしてもよい。さらに、カメラサーバ２０は、画像登録プログラムを実行することによって、撮影された画像データから低精細度の画像データ（サムネイル画像）を生成する。
【００２１】
サムネイル画像は、カメラ１０によって撮影された動画の解像度を小さくしたものである。例えば、カメラ１０が６４０×４８０ドット（ＶＧＡ）の解像度の画像を出力する場合には、カメラサーバ２０はサムネイル画像として１２８×９６ドットの画像を生成する。なお、以下の説明では、カメラ１０によって撮影された原画像のことを、又はサムネイル画像１０６よりも高解像度の画像を高精細度画像という。抽出された画像特徴量及び生成された低精細度画像データ（サムネイル画像）はネットワークを介して第１の検索サーバ１５に送られる。
【００２２】
図１には、１台のカメラサーバ２０を図示したが、複数のカメラサーバ２０が備わってもよい。また、１台のカメラサーバ２０に接続されるカメラ１０の数は、カメラサーバ２０に備わるリソースの容量によって任意に選択することができる。なお、カメラ１０に備わるプロセッサが画像登録プログラムを実行することによって、カメラサーバ２０の機能を備えてもよい。
【００２３】
カメラサーバ２０から第１の画像蓄積サーバ１４宛に送信される情報と、第１の画像蓄積サーバ１４からカメラサーバ２０宛に送信される情報は、ネットワークを介して転送される。
【００２４】
各カメラ１０には所定の識別子（例えば、ＩＰアドレス）が予め付与されている。第１の画像蓄積サーバ１４は、カメラ１０に付与された識別子によって、カメラ１０を特定する。
【００２５】
第１の画像蓄積サーバ１４は、プロセッサ、メモリ、記憶装置及びネットワークインターフェースを備える計算機である。第１の画像蓄積サーバ１４は、画像蓄積サーバプログラムを実行することによって、カメラサーバ２０に対して高精細度画像要求を送信し、カメラ１０によって撮影された画像（動画）データを取得し、取得した画像データを記憶装置に格納する。具体的には、第１の画像蓄積サーバ１４は、画像を取得するカメラサーバ２０のＩＰアドレス、及びカメラ識別子を指定して画像要求を送信する。
【００２６】
また、第１の画像蓄積サーバ１４は、カメラサーバ２０から送付される画像データ１０１を待ち受け、受信すると共に逐次保存しても良い。第１の画像蓄積サーバ１４は、画像データ１０１と共に送付されるカメラ１０の識別子と、該カメラ１０が撮影した時刻を、画像データ１０１と共に保存する。
【００２７】
また、第１の画像蓄積サーバ１４は、モニタ１３から伝送制御サーバ３０を中継して送られてきた画像要求に基づいて、格納されている画像データをモニタ１３に送信する。図には、第１の画像蓄積サーバ１４を１台だけ図示したが、複数台備わってもよい。
【００２８】
Ｗｅｂサーバ４０は、伝送制御サーバ３０から画像要求を受信すると、受信した画像要求の宛先を、後述するように各カメラ群のカメラサーバ２０、又は第１の画像蓄積サーバ１４のアドレスとポート番号に変換してネットワークに送信する。
【００２９】
Ｗｅｂサーバ４０は、ネットワークを介して画像要求を受信すると、画像要求の宛先ポート番号からカメラサーバ２０を特定し、特定したカメラサーバ２０へ画像要求を転送する。このため、Ｗｅｂサーバ４０は、ポート番号とカメラサーバ２０の対応関係を示す転送先テーブルを備える。転送先テーブルには、画像要求を受信したポートと、画像要求の転送先の宛先（例えば、ＵＲＬ）の対応が設定される。
【００３０】
カメラサーバ２０は、Ｗｅｂサーバ４０からの画像要求に対して最新の画像（高精細度画像）より算出した後述の差分画像データ１０４を所定の単位（例えば、１フレーム）だけ返信する。Ｗｅｂサーバ４０は、画像の送信元のカメラサーバ２０を特定するポート番号を宛先ポート番号に設定して、カメラサーバ２０から受信した画像を伝送制御サーバ３０へ送信する。
【００３１】
＜監視センタの構成＞
次に、監視センタの構成要素について説明する。
第２の画像蓄積サーバ１６は、前述したように、プロセッサ、メモリ、記憶装置及びネットワークインターフェースを備える計算機であり、カメラ１０によって撮影された画像データを記憶装置に格納する。
【００３２】
第２の検索サーバ１７は、伝送制御サーバ３０が受信した、又は伝送制御サーバ３０が生成した画像特徴量及び低精細度画像データを格納する。また、モニタ１３からの検索要求に基づいて、第２の画像蓄積サーバ１６に蓄積された画像データの特徴量を検索し、検索結果（画像データの識別子及び低精細度画像データ）をモニタ１３に返信する。なお、複数の画像検索サーバ１７が、第２の検索サーバ群を構成してもよい。
【００３３】
モニタ１３は、プロセッサ、メモリ、ネットワークインターフェース、操作部、及び表示部を備え、画像ネットワークシステムの管理者１９が操作する計算機であり、図４に示す通り、複数のカメラ１０よって撮影された画像データから選択された又は全ての画像データをモニタ１３の画面に表示する。具体的には、モニタ１３は、複数のカメラ１０によって撮影された画像のサムネイル画像（縮小画像）１１０１と該サムネイル画像を撮影したカメラのカメラＩＤ１６０１、所望のカメラ１０の画像の高精細度画像１１０２と該高精細度画像を撮影したカメラのカメラＩＤと、を表示する。なお、操作部は、ディスプレイとキーボードやマウスなどで構成される。
【００３４】
モニタ１３は、管理者１９が操作部の操作によって選択したカメラ１０によって撮影された画像を伝送制御サーバ３０を介して取得し、選択されたカメラ１０によって撮影された画像を転送する優先度を上げるように制御する。
【００３５】
伝送制御サーバ３０は、プロセッサ、メモリ及びネットワークインターフェースを備える計算機である。なお、アドレス変換機能を有するネットワーク機器（例えば、スイッチ、ルータ）であってもよい。伝送制御サーバ３０は、モニタ１３とカメラサーバ２０の間の論理的な通信経路上に配置され、モニタ１３からカメラサーバ２０に送信される画像要求を中継する際に、表示要求の画像が伝送済みか否かにより宛先を変更する。
【００３６】
具体的には、伝送制御サーバ３０は、モニタ１３から送信される画像要求に含まれる画像ＩＤがモニタ１３に表示済みの画像ＩＤの場合には監視センタの第２の画像蓄積サーバ１６から画像を取得し、画像要求に含まれる画像ＩＤがモニタに未表示の画像ＩＤの場合にはＷｅｂサーバ４０を通じて画像を取得する。このため、伝送制御サーバ３０は、画像ＩＤ管理テーブルを備える。
【００３７】
伝送制御サーバ３０は、モニタ１３から転送された画像要求をカメラサーバ２０に送付する際、画像要求先であるカメラ１０の優先度に基づき送付するか否かを制御する。この優先度は、モニタ１３から送信される優先カメラ情報に基づいて決定される。伝送制御サーバ３０によって転送される画像要求が優先制御されることによって、優先度が低い画像データは転送されづらくなる。そして、本実施の形態では、画像データが転送されないと次の画像要求が送信されないので、優先度が低い画像データの単位時間当たりに転送されるフレーム数は低下する。よって、優先度が低い画像データのフレームレートを低下させることができる。
【００３８】
本実施の形態では、伝送制御サーバ３０は監視センタ側、Ｗｅｂサーバ４０はモニタリング拠点側（すなわち、カメラ側）に設置される。また、伝送制御サーバ３０とＷｅｂサーバ４０との間は、ネットワーク１００によって接続されている。このように、伝送制御サーバ３０及びＷｅｂサーバ４０が協働することによって、ネットワーク１００によって転送されるトラフィックを削減することができる。
【００３９】
＜カメラサーバ＞
次に、カメラサーバ２０について図２を用いて説明する。
カメラサーバ２０は、カメラ通信部２０１、センサ通信部２０２、差分算出部２０３、特徴量算出部２０４、Ｗｅｂサーバ通信部２０５、蓄積サーバ通信部２０６、検索サーバ通信部２０７を備える。
【００４０】
カメラ通信部２０１は、カメラに対し所定の間隔（例えば、１秒間１０回。以下、該間隔をフレームレートと呼ぶ）で画像要求を発行し、カメラが撮影した画像データ１０１を受信する。センサ通信部２０２は、基地局１２が通信している移動ノード１１の識別子と、その基地局１２の識別子を、当該基地局１２より受信する。
【００４１】
特徴量算出部２０４は、カメラ１０によって撮影された画像データ１０１から画像特徴量１０５を抽出する。画像特徴量１０５の抽出には動き検出、顔検出の技術が用いられる。具体的には、予め撮影されている顔画像と画像データ１０１を比較し、画像データ１０１上に顔画像を走査しつつ類似度を算出する。類似度が閾値を超えた場合、顔画像有りとして検知情報を通知すると共に、輪郭情報と色情報を特徴量として算出する。さらに、特徴量算出部２０４は、撮影された画像データから低精細度の画像データ（サムネイル画像１０６）を生成する。算出された特徴量１０５及びサムネイル画像１０６には、当該画像を撮影したカメラＩＤと、撮影時刻、画像毎に割り振られる画像ＩＤが付与される。生成した特徴量１０５とサムネイル画像１０６は、検索サーバ通信部２０７を通じて、第１の検索サーバ１５へと送付される。
【００４２】
差分算出部２０３は、カメラ通信部２０１を通じて得られた画像データと、予め撮影されて第１の画像蓄積サーバ１４に格納されている背景画像データ１０３との差分値を算出する。差分値は画素毎に算出され、差分値の分散、ないし合計が設定値を超えた場合、背景更新要として背景更新イベントを発行する。また、背景更新イベントは、カメラのパン・チルト・ズームの設定情報が変更された際に発行しても良い。背景更新要の場合、差分検出部２０３は、画像データ１０１に背景画像ＩＤを付与することで背景画像データ１０３を生成し、蓄積サーバ通信部２０６を介して該背景画像データ１０３を第１の画像蓄積サーバ１４へと保存する。
【００４３】
蓄積サーバ通信部２０６は、第１の画像蓄積サーバ１４への画像データの登録、及び第１の画像蓄積サーバ１４からの画像データの取得を行う。第１の画像蓄積サーバ１４へと登録される画像データには、カメラ１０から取得した画像データ１０１や、差分画像データ１０４、背景画像データ１０３がある。蓄積サーバ通信部２０７は、画像データに、該画像を撮影したカメラＩＤと、撮影時刻、画像毎に割り振られる画像ＩＤを付与し、第１の画像蓄積サーバ１４へと登録する。
【００４４】
Ｗｅｂサーバ通信部２０５は、Ｗｅｂサーバ４０とデータの送受信を行う。Ｗｅｂサーバ通信部２０５は、Ｗｅｂサーバ４０からの要求に応じ、背景画像データ１０３、差分画像データ１０４、センサデータ１０２、イベント通知１０８を送付する。Ｗｅｂサーバ４０に送付される背景画像データには、その背景画像を撮影したカメラ１０のカメラＩＤが付与される。イベント通知１０８の内容は、イベントが発生したカメラのカメラＩＤと、イベント内容から成り、イベント内容は動き検知、顔検知、背景更新などがある。図５に、差分画像データ１０４のデータ形式を示す。すなわち、差分画像データ１０４は、画像ＩＤ８０１、差分画像データを算出する際に使用した背景の画像ＩＤ８０２、差分画像の元となった画像データ上での差分画像の位置を示す座標８０３、及び画像データ８０４を保持している。また、Ｗｅｂサーバ通信部２０５は、Ｗｅｂサーバ４０よりフレームレート設定１０７を受信する。フレームレート設定１０７は、対象となるカメラのカメラＩＤと、フレームレートが記述されている。フレームレート設定１０７を受信したカメラサーバ２０は、そのフレームレート設定の記述に従い、該当カメラのフレームレートの設定変更を行う。
【００４５】
＜伝送制御サーバ＞
次に、伝送制御サーバ３０の機能を、図３を用いて説明する。
伝送制御サーバ３０は、Ｗｅｂサーバ通信部３０１、フレームレート設定部３０２、画像復元部３０３、検索サーバ通信部３０４、蓄積サーバ通信部３０８、リクエスト受付部３０６、リクエスト処理部３０５、モニタ通信部３０７からなる。伝送制御サーバ３０は、Ｗｅｂサーバ通信部３０１を介してネットワークを通じて論理的に接続されているＷｅｂサーバ４０と通信を行い、背景画像データ１０３、差分画像データ１０４、センサデータ１０２、イベント通知１０８を取得する。
【００４６】
画像復元部３０３は、差分画像データ１０４から元画像の復元を行う。具体的には、差分画像データ１０４に記載の背景画像ＩＤ８０２を取得し、第２の画像蓄積サーバ１６から背景画像ＩＤ８０２に対応する背景画像データを取得する。そして、対応する背景画像がある場合、背景画像上の座標８０３の位置に差分画像データ８０４を上書きすることにより、元画像を復元する。差分画像データ１０４に対応する背景画像が無い場合、設計図３２２よりコンピュータグラフィックを用いて生成した背景画像上に、差分画像データ１０４を重ね合わせることにより、元画像を復元する。
【００４７】
リクエスト受付部３０６は、ユーザからの画像要求３１２を受け付ける。受け付けた画像要求３１２は、リクエスト処理部３０５にて図１２で後述するフローに従い解釈される。すなわち、該画像がモニタに未表示の場合にはＷｅｂサーバ通信部３０１を通じて画像データを取得する。該画像がモニタに表示済みである場合、蓄積サーバ通信部３０８を通じて第２の画像蓄積サーバ１６より画像データを取得する。そのため、伝送制御サーバ３０は、受信済みの画像のＩＤを管理する画像ＩＤ管理テーブル３０９を備える。取得した画像データ３１３は、モニタ通信部３０７を通じてモニタ１３へと送付される。
【００４８】
フレームレート設定部３０２は、Ｗｅｂサーバ４０と伝送制御サーバ３０の間のネットワークトラフィックが、設定値を超えないよう、各々のカメラのフレームレートの設定を行う。フレームレートは、作業計画書３２１やユーザリクエスト、イベント通知により変更される。具体的には、作業計画書３２１は、図６に示す通り、カメラＩＤ１６０１と、そのカメラの撮影範囲で作業する時間１４０１からなり、作業計画書３２１に基づき、作業が計画されている時間帯に作業が計画されている箇所を撮影しているカメラのカメラサーバで動き検知された場合はフレームレートを下げ、作業が計画されていない箇所を撮影しているカメラのカメラサーバで動き検知された場合はフレームレートを上げる。また、ユーザから画像取得リクエストのあったカメラのフレームレートを上げ、その他のカメラのフレームレートを下げる。すなわち、各カメラのフレームレートをｘi［ｆｐｓ］、ネットワーク帯域の上限をｆ［ｂｐｓ］、画像データの容量をｄ［ｂｉｔ］とした場合、次式の条件を満たすよう、各カメラのフレームレートの設定を行う。
【００４９】
【数１】
【００５０】
Ｗｅｂサーバ通信部３０１は、Ｗｅｂサーバ４０へのフレームレート設定１０７の発行や画像取得要求の発行を行い、Ｗｅｂサーバ４０から背景画像データ１０３や差分画像データ１０４などの画像データ、イベント通知１０８やセンサデータ１０２の取得を行う。イベント通知１０８が動き検知や顔検知の場合、フレームレート設定部３０２に問い合わせて、イベントが発生したカメラのフレームレートを変更するか、画像データやセンサデータ１０２を取得するかを決定する。イベント通知１０８が背景更新であった場合、伝送制御サーバ３０は背景画像要求を送信し、Ｗｅｂサーバ４０を通じて背景画像データ１０３を取得し、蓄積サーバ通信部３０８を通じて第２の画像蓄積サーバ１６へと保存する。
【００５１】
検索サーバ通信部３０４は、画像復元部３０３で復元した画像から算出した画像特徴量やサムネイル画像を第２の検索サーバへ登録したり、第２の検索サーバに画像ＩＤを特定して画像要求し、対応するサムネイル画像を取得するときに利用される。
【００５２】
＜ユーザリクエストによる画像の取得＞
次に、ユーザリクエストにより最新の画像をカメラから取得する際の手順について、図７の模式図、及び図８のタイミングチャートを用いて説明する。図７は、カメラサーバ２０で実行される撮影画像データ１０１と背景画像データ１０３から差分画像データ１０４を生成する処理、及び伝送制御サーバ３０で実行される背景画像データ１０３あるいは設計図３２２と差分画像データ１０４から画像データ１０１を復元する処理を模式的に示したものである。
【００５３】
図８を参照して、ユーザ（監督者）はモニタ１３を通じて、伝送制御サーバ３０へ最新画像要求３１２を送付する。ユーザによる最新画像要求３１２は、例えばモニタ１３上で１つのサムネイル画像を指定することにより、カメラＩＤを特定して行われる。伝送制御サーバ３０は、最新画像要求をリクエスト受付部３０６にて受信すると、リクエスト処理部３０５において差分画像要求４０１へと変換し、差分画像要求４０１をＷｅｂサーバ４０へと送信する。Ｗｅｂサーバ４０は、差分画像要求４０１を受信すると、カメラサーバ２０へと差分画像要求４０１を送付する。カメラサーバ２０は、差分画像要求４０１を受信すると、画像要求４０２を特定されたカメラＩＤのカメラ１０へと発行し、カメラ１０が撮影した画像データ１０１を受信する。その後、背景画像データ１０３を第１の画像蓄積サーバ１４より取得し、差分を抽出する（Ｓ４０３）ことにより差分画像データ１０４を生成し、該差分画像データ１０４をＷｅｂサーバ４０へと送付すると共に、第１の画像蓄積サーバ１４に保存し（Ｓ４０４）、画像特徴量の算出及びサムネイル画像の生成を行い、画像特徴量とサムネイル画像を第１の検索サーバ１５へと登録する（Ｓ４０５）。
【００５４】
Ｗｅｂサーバ４０は、カメラサーバ２０にて生成された差分画像データ１０４を受信すると、その差分画像データ１０４を伝送制御サーバ３０へと送付する。伝送制御サーバ３０は、差分画像データ１０４を受信すると、その差分画像データ１０４に対応する背景画像データ１０３を第２の画像蓄積サーバ１６より取得し（Ｓ４０６）、背景画像データ１０３上に差分画像データ１０４を配置することで画像データを復元する（Ｓ４０７）。背景画像データ１０３が未受信の場合、設計図３２２を参照しコンピュータグラフィックを用いることで背景画像データを生成することもできる。
【００５５】
その後、伝送制御サーバ３０は、復元した画像データ３１３をモニタ１３へと送付し、第２の蓄積サーバ１６へと保存し（Ｓ４０８）、復元した画像から画像特徴量及びサムネイル画像の生成を行い、画像特徴量とサムネイル画像を第２の検索サーバ１７へと登録する（Ｓ４０９）。また、伝送制御サーバ３０は、受信した画像の画像ＩＤを、図９に示されるデータフォーマットに従って、画像ＩＤ管理テーブル３０９へと保存する。画像ＩＤ管理テーブル３０９は、カメラＩＤ１６０１とフレームＩＤ１６０２、撮影時刻１６０３からなる画像ＩＤ８０１（図１０）から抜粋した、カメラＩＤ１６０１と、受信済みフレームＩＤ１５０１を保持する。通信帯域が逼迫している場合は、差分画像データの代わりに移動ノード１１の位置情報を含むセンサデータ１０２を通知するだけでもよく、センサデータ１０２を取得した伝送制御サーバ３０は、背景画像データ１０３上に作業者を表すアイコンを表示することで、画像を復元してもよい。
【００５６】
このようにしてユーザが指定して画像を取得する場合、その画像を撮影しているカメラは優先度が高いため、フレームレート設定部３０２は当該カメラのフレームレートを上げる。そして、カメラ配置図３２３を参照して、当該カメラの最近傍のカメラのフレームレートを次に高く、その他のカメラのフレームレートを低く設定する。カメラ配置図は、各カメラの隣接位置関係を保持した図である。図１１に示すカメラ配置図の例を用いて説明する。いま、ユーザが作業者１８を写しているカメラ１０ｂの最新画像を要求したとする。このとき、伝送制御サーバ３０のフレームレート設定部３０２は、カメラ１０ｂのフレームレートを例えば１０［ｆｐｓ］に設定する。そして、カメラ１０ｂの最近傍のカメラ１０ａ，１０ｃのフレームレートを例えば５［ｆｐｓ］に設定し、その他のカメラのフレームレートを例えば１［ｆｐｓ］に設定する。
【００５７】
フレームレートの設定情報１０７は、Ｗｅｂサーバ通信部３０１を介してＷｅｂサーバ４０へと送付され、Ｗｅｂサーバ４０は対応するカメラのカメラサーバ２０に対し該フレームレート設定１０７を送付し、該フレームレート設定１０７を受信したカメラサーバ２０は、該当するカメラのフレームレートを、フレームレート設定１０７に記載されたフレームレートに設定する。このような優先度の条件は、最終的にはシステムが適用される場所に依存するものである。
【００５８】
次に、ユーザリクエストにより過去画像を取得する際の伝送制御サーバ３０での処理の流れを、図１２のフローチャートを用いて説明する。
【００５９】
ユーザ１９はモニタ１３に表示されているアプリケーションを通じて、過去画像を指定する。過去画像が必要とされる場合の例としては、例えば、検索結果のサムネイル画像３１６を取得し、該サムネイル画像の元となった高精細画像を取得する場合や、過去の時刻や場所を指定して画像を取得する場合がある。
【００６０】
モニタ１３は、ユーザ１９から受け付けたリクエストを、画像ＩＤへと変換して、画像要求３１２として伝送制御サーバ３０へと送付する。伝送制御サーバ３０は、リクエスト受付部３０６にて画像要求を受け付ける（Ｓ６０１）と、リクエスト処理部３０５において該画像要求に含まれる画像ＩＤを抽出し、画像ＩＤ管理テーブル３０９に問い合わせて、取得済みフレームＩＤ１５０１に該フレームＩＤが存在するか否かを検索し（Ｓ６０２）、画像ＩＤの有無を判断する（Ｓ６０３）。
【００６１】
画像ＩＤ管理テーブル３０９に当該画像ＩＤがある場合、第２の画像蓄積サーバ１６に問い合わせて、該画像ＩＤに対応する画像データを取得し（Ｓ６０４）、モニタ１３へと画像を送信する（Ｓ６１０）。
【００６２】
画像ＩＤ管理テーブル３０９に当該画像ＩＤが無い場合、Ｗｅｂサーバ４０に差分画像要求を発行すると、Ｗｅｂサーバは該差分画像要求に含まれる画像ＩＤを取得し、第一の蓄積サーバ１４に画像ＩＤの有無を問い合わせ、第一の蓄積サーバに画像ＩＤが存在する場合、該当する画像を取得し、伝送制御サーバ３０へと送付する。伝送制御サーバは、画像データを復元すると共に、画像ＩＤ管理テーブル３０９に画像ＩＤを登録する。その後、第２の画像蓄積サーバ１６へと復元した画像データを保存し、画像特徴量を算出し検索サーバ１７へと登録する。そして、復元した画像データを、モニタへと送信する。
【００６３】
＜イベント検知による伝送制御＞
次に、イベント検知結果に基づき、通信帯域の制御を行う手順について、図１３のタイミングチャートを用いて説明する。
【００６４】
伝送制御サーバ３０は、Ｗｅｂサーバ４０に対して、イベント通知依頼７０１を発行すると、イベント待機状態（Ｓ７０２）となる。
【００６５】
カメラサーバ２０は、カメラ１０に対して所定の間隔（例えば１秒間隔）で画像要求４０２を発行する。カメラは画像要求４０２を受信すると、画像を撮影し、撮影した画像を画像データ１０１としてカメラサーバ２０へと送付する。カメラサーバ２０は、画像データ１０１を受信すると、当該カメラが撮影している範囲内で動きがないかを判定する（Ｓ７０３）。動き判定の方法には、背景差分、フレーム間差分、オプティカルフローなどがあり、どの方法を用いてもよい。動き判定の結果動きが無い場合には、該画像データを破棄又は蓄積サーバに登録し、再びカメラに対して画像要求４０２を発行し、カメラから画像データ１０１を受信し、動き判定を行う（Ｓ７０３）。動き判定の結果、動きがある場合には、Ｗｅｂサーバ４０に対し動き通知として発報７０４し、画像データ１０１から動き領域を切り出した差分画像を生成し（Ｓ７０５）、カメラサーバ内のキャッシュで保持する。その後、Ｗｅｂサーバ４０から差分画像の要求７０６を受信すると、差分画像データ７０７をＷｅｂサーバ４０へと送付する。
【００６６】
Ｗｅｂサーバ４０は、カメラサーバ２０より発報７０４を受信すると、伝送制御サーバ３０へとイベント通知７０８を行う。伝送制御サーバ３０は、イベント通知７０８を受信すると、図１４にて後述する画像要求判断を行う（Ｓ７０９）。判断の結果、画像要求が不要と判断された場合、Ｗｅｂサーバ４０に対して再びイベント通知依頼を発行７０１し、イベント待機状態（Ｓ７０２）になる。判断の結果、画像要求が必要とされた場合には、Ｗｅｂサーバ４０に対して差分画像要求７０６を発行する。
【００６７】
Ｗｅｂサーバ４０は、差分画像要求７０６を受信すると、カメラサーバ２０に対して差分画像要求７０６を発行し、カメラサーバ２０より該当する差分画像データ７０７を受信し、受信した差分画像データ７０７を伝送制御サーバ３０へと送付する。
【００６８】
伝送制御サーバ３０は、差分画像データ７０７を受信すると、該当する背景画像１０３を第２の画像蓄積サーバ１６より取得し、図７にて説明した通り、背景画像１０３上に差分画像データ７０７を配置することで画像データ１０１を復元し、復元した画像データ１０１をモニタ１３へと送付する。こうして監視が必要とされるカメラの撮影視野中に動きがあったときだけ、しかも動きがあった個所の画像だけが送付されるため、ネットワークの通信量を大きく削減することができる。
【００６９】
次に、伝送制御サーバ３０における画像要求判断（Ｓ７０９）のフローを、図１４のフローチャートを用いて説明する。
【００７０】
伝送制御サーバ３０は、Ｗｅｂサーバ４０よりイベント通知７０８を受信すると（Ｓ９０１）、イベントの起こったカメラＩＤにより、そのカメラが優先カメラか否かを判断する（Ｓ９０２）。カメラの優先順位はユーザが設定することもできるし、作業計画書３２１を参照し、作業予定場所か否かで判断することも可能である。例えば、作業予定の場所で動きがある場合には、想定内の動きであるため、その場所を撮影しているカメラは優先カメラでは無いと判断でき、作業予定外の場所で動きがある場合には、その動きは想定外のため、優先カメラであると判断する。また、作業者１８がボタンを押下するなどのイベントも考えられ、その場合はそのイベント発生個所のカメラは優先カメラであると判断する。このような優先度の条件は、最終的にはシステムが適用される場所に依存するものである。
【００７１】
また、伝送制御サーバ３０は、イベントの優先度に応じて、カメラのフレームレートの設定を行う。具体的には、イベントの起こったカメラが優先カメラである場合、当該カメラのフレームレートを高く（例えば１［ｆｐｓ］）設定し、カメラ配置図を参照してそのカメラの近傍のカメラのフレームレートを次に高く（例えば５［ｆｐｓ］）設定する。
【００７２】
特に、イベントが動き検知である場合、イベント検知したカメラで撮影された移動物体の移動方向を撮影しているカメラの優先度を高く設定し、フレームレートを高く設定する。そして、その他のカメラのフレームレートを低く設定する。図１１に示した例で説明すると、いま、カメラ１０ｂによって撮影された画像に基づいてカメラサーバで動き検知イベントが発生され、背景画像に対する複数の差分画像の時系列的な位置関係から撮影された移動物体１８の移動方向が図に矢印で示す方向であると判定されたとする。移動物体１８の移動方向は、動き検知イベントによって報知される。このとき、カメラ１０ｂが優先カメラであれば、カメラ１０ｂのフレームレートを例えば１０［ｆｐｓ］に設定する。そして、カメラ配置図を参照して、移動物体１８の移動方向のカメラ１０ｃ，１０ｄのフレームレートを例えば８［ｆｐｓ］に設定する。他のカメラのフレームレートは、例えば１［ｆｐｓ］に設定する。
【００７３】
フレームレートの設定情報１０７は、Ｗｅｂサーバ通信部３０１を介してＷｅｂサーバ４０へと送付され、Ｗｅｂサーバ４０は対応するカメラのカメラサーバ２０に対しフレームレート設定１０７を送付し、フレームレート設定１０７を受信したカメラサーバ２０は、該当するカメラのフレームレートを、フレームレート設定１０７に記載されたフレームレートに設定する。
【００７４】
イベントの起こったカメラＩＤが、優先カメラである場合は、Ｗｅｂサーバ４０に対して差分画像要求７０６を発行し（Ｓ９０３）、Ｗｅｂサーバ４０より差分画像データ７０７を受信し、差分画像データ７０７に記載の背景画像ＩＤに対応する背景画像１０３を第２の画像蓄積サーバ１６より取得し（Ｓ７１０）、図７に示す通り、背景画像１０３上に差分画像データ７０７を配置することで画像データを復元し（Ｓ７１１）、復元した画像データをモニタへと送付する。その後、イベント通知依頼７０１をＷｅｂサーバ４０へと発行し（Ｓ９０４）、イベント待機状態となる。
【００７５】
＜検索時の動作＞
検索時の動作に関して、図１５を用いて説明する。
図１５は、検索結果がモニタに未表示である場合の、検索要求処理の流れを示すシーケンス図である。ユーザはモニタ１３に表示されている画像を選択し、検索クエリとして検索サーバへと送信し、検索を行うことで、選択した画像と類似する画像を得ることができる。
【００７６】
モニタ１３はユーザから検索要求を受け付けると、検索要求に含まれる画像ＩＤを検索クエリ１２０１として伝送制御サーバ３０へと送付する。伝送制御サーバ３０は、検索クエリ１２０１を受け取ると、Ｗｅｂサーバ４０へとその検索クエリを送付する。Ｗｅｂサーバ４０は、検索クエリを受信すると、その検索クエリを第１の検索サーバ１５へと送信する。第１の検索サーバ１５は、検索クエリを受け取ると、第１の検索サーバ１５内に蓄積されている当該検索クエリに対応する画像の特徴量を取得し、その画像特徴量と類似度の高い画像の画像ＩＤ１２０３を導出する（Ｓ１２０２）。画像ＩＤ１２０３は、最も類似度の高い単一の画像ＩＤでも良く、類似度の高い順に複数個、例えば１０個の画像ＩＤを示しても良い。
【００７７】
導出された画像ＩＤ１２０３は、Ｗｅｂサーバ４０に送付される。Ｗｅｂサーバ４０は、画像ＩＤ１２０３を受信すると、伝送制御サーバ３０へと画像ＩＤ１２０３を送付する。伝送制御サーバ３０は、画像ＩＤ１２０３を受信すると、画像ＩＤ管理テーブル３０９を参照し、該当ＩＤが存在するか否かを判定する（Ｓ１２０４）。画像ＩＤ管理テーブル３０９内に、該当ＩＤが存在する場合は、監視センタにある第２の検索サーバ１７に対し、画像ＩＤを画像要求１２０５として発行する。第２の検索サーバ１７は、画像要求１２０５を受信すると、当該画像要求１２０５に記載の画像ＩＤに対応するサムネイル画像１２０６を取得し、伝送制御サーバ３０へと送付する。
【００７８】
一方、画像ＩＤ１２０３が画像ＩＤ管理テーブル３０９に存在しない場合は、モニタリング拠点にある第１の検索サーバ１５から検索結果を取得する必要がある。そのため、伝送制御サーバ３０は、画像ＩＤを画像要求１２０５としてＷｅｂサーバ４０へと送付し、Ｗｅｂサーバ４０はその画像要求１２０５を第１の検索サーバ１５へと送付する。第１の検索サーバ１５は、画像要求１２０５を受信すると、画像要求１２０５に記載された画像ＩＤに対応するサムネイル画像１２０６を取得し、Ｗｅｂサーバ４０へと送付する。Ｗｅｂサーバ４０は、サムネイル画像１２０６を受信すると、伝送制御サーバ３０へと送付する。
【００７９】
伝送制御サーバ３０は、サムネイル画像１２０６を受信すると、当該サムネイル画像１２０６を検索結果１２０７としてモニタ１３へと送付する。ユーザはアプリケーションを通じて、モニタに表示されているサムネイル画像の元となった高精細画像を、図１２の手順で取得することができる。
【００８０】
以上説明したように、本発明の実施の形態では、伝送制御サーバ、Ｗｅｂサーバ、カメラサーバが協働し、カメラサーバが差分画像を生成し、伝送制御サーバが差分画像と背景画像から元画像データを復元することで、ネットワーク帯域を節約することができる。また、伝送制御サーバが優先度を元に画像取得の判断やフレームレートの調整を行うことで、ネットワーク帯域を節約することができ、システムの負荷を軽減することができる。
【００８１】
画像データの転送の優先度を制御することによって、多数のカメラを備える監視システムにおける通信帯域を確保し、システムの負荷を軽減することができる。
【００８２】
さらに、動き判定により動きのあるカメラ画像を優先的にかつ高いフレームレートで表示でき、効率的な監視をすることができる。
【００８３】
また、移動ノードの位置情報を伝送制御サーバが解釈し、設計図上に該移動ノード位置を表示することで、センサデータのようなデータ量の少ないデータから画像データを復元することができ、システムの負荷を軽減することができる。
【符号の説明】
【００８４】
１０ カメラ
１１ 移動ノード
１２ 基地局
１３ モニタ
１４ 第１の画像蓄積サーバ
１５ 第１の検索サーバ
１６ 第２の画像蓄積サーバ
１７ 第２の検索サーバ
２０ カメラサーバ
３０ 伝送制御サーバ
４０ Ｗｅｂサーバ
１０１ 画像データ
１０３ 背景画像データ
１０４ 差分画像データ
２０３ 差分算出部
３０２ フレームレート設定部
３０３ 画像復元部
３０９ 画像ＩＤ管理テーブル
３２３ カメラ配置図
【特許請求の範囲】
【請求項１】
画像を撮影するカメラと、前記カメラによって撮影された画像を表示するモニタと、を備える画像ネットワークシステムであって、
前記カメラによって撮影された画像データを管理するカメラサーバと、
前記モニタからの画像要求を前記カメラサーバに中継し、前記カメラサーバからの画像データを前記モニタに中継する伝送制御サーバと、を備え、
前記カメラサーバは、前記カメラが撮影した画像と前記カメラによって予め撮影されていた背景画像との差分画像を算出して当該差分画像を前記伝送制御サーバへ送信し、
前記伝送制御サーバは、予め送信された前記背景画像と前記送信された差分画像とを用いて前記カメラによって撮影された画像を復元し、前記復元した画像を前記モニタに送付することを特徴とする画像ネットワークシステム。
【請求項２】
請求項１に記載の画像ネットワークシステムにおいて、
前記カメラサーバは、前記背景画像と前記カメラが撮影した新規な画像との画素毎の差分値の分散又は合計を算出し、それが設定値を超えたとき背景更新イベントを発行し、背景画像要求を受信したとき前記新規な画像を背景画像として送信し、
前記伝送制御サーバは、前記背景更新イベントを受信したとき、背景画像を要求する画像要求を前記カメラサーバに送信することを特徴とする画像ネットワークシステム。
【請求項３】
請求項１に記載の画像ネットワークシステムにおいて、
前記カメラサーバは複数のカメラによって撮影された画像データを管理し、前記画像要求のあったカメラの画像取得間隔を他のカメラの画像取得間隔より短く設定することを特徴とする画像ネットワークシステム。
【請求項４】
画像を撮影するカメラと、前記カメラによって撮影された画像データを管理するカメラサーバとを備え、ネットワークを介して画像要求を受信したとき前記カメラが撮影した画像を送信する画像送信システムにおいて、
前記カメラサーバは、前記カメラが撮影した画像と前記カメラによって予め撮影されていた背景画像との差分画像を算出し、前記画像要求を受信したとき、前記差分画像と前記背景画像のＩＤを含む差分画像データを送信することを特徴とする画像送信システム。
【請求項５】
請求項４に記載の画像送信システムにおいて、
前記カメラサーバは、前記背景画像と前記カメラが撮影した新規な画像との画素毎の差分値の分散又は合計を算出し、それが設定値を超えたとき、背景更新イベントを発行すると共に前記新規な画像を新たな背景画像としてＩＤを付して保存し、背景画像要求を受信したとき前記ＩＤを含む前記新たな背景画像のデータを送信することを特徴とする画像送信システム。
【請求項６】
請求項４に記載の画像送信システムにおいて、
前記カメラサーバは、前記カメラが撮影した画像と前記背景画像との差分を算出することで動きを検知し、動きを検知したとき動き検知イベントを送信するとともに前記カメラが撮影した画像と前記背景画像との差分画像を生成し、差分画像要求を受信したとき前記差分画像と前記背景画像のＩＤを含む差分画像データを送信することを特徴とする画像送信システム。
【請求項７】
請求項６に記載の画像送信粗ステムにおいて、
前記カメラサーバは、前記動き検知の際に動きの向きを算出し、前記動き検知イベントに動きの向きの情報を含ませて送信することを特徴とする画像送信システム。
【請求項８】
複数のカメラによって撮影された画像をネットワークを介して取得する画像取得システムであって、
画像ＩＤが付与された画像を蓄積する画像蓄積手段と、
カメラＩＤを指定して、当該カメラによって撮影された画像と当該カメラによって予め撮影された背景画像との差分画像データを、ネットワークを介して要求する画像要求手段と、
差分画像と背景画像の画像ＩＤとを含む差分画像データを受信し、当該差分画像データに含まれる画像ＩＤを有する背景画像を前記画像蓄積手段から取得し、前記取得した背景画像と前記受信した差分画像とから前記指定したカメラによって撮影された画像を復元し、復元した画像を前記画像蓄積手段に保存する手段と、
受信済み画像の画像ＩＤを管理する画像ＩＤ管理手段と、
画像要求を受け付ける手段とを有し、
画像要求を受け付けたとき前記画像ＩＤ管理手段を参照し、要求された画像が受信済みの画像である場合には前記画像蓄積手段から画像を取得し、未受信の画像である場合には前記画像要求手段によって前記ネットワークを通じて所望の画像を取得することを特徴とする画像取得システム。
【請求項９】
請求項８に記載の画像取得システムにおいて、
各カメラが優先カメラか否かの情報を保持し、
カメラによって撮影された画像に動きがあることを示す動き検知イベントを受信したとき、当該動き検知を行ったカメラが優先カメラである場合、前記画像要求手段から前記カメラを管理するカメラサーバへ画像要求を発行し、前記カメラサーバより画像を取得することを特徴とする画像取得システム。
【請求項１０】
請求項８に記載の画像取得システムにおいて、
各カメラが優先カメラか否かの情報とカメラの配置情報とを保持し、
カメラによって撮影された画像に動きがあることを示す動き検知イベントを受信したとき、当該動き検知を行ったカメラが優先カメラである場合、前記カメラの配置情報を参照して当該カメラ及びその周囲のカメラの画像取得間隔を短く設定し、他のカメラの画像取得間隔を長く設定することを特徴とする画像取得システム。
【請求項１１】
請求項８に記載の画像取得システムにおいて、
各カメラが優先カメラか否かの情報とカメラの配置情報とを保持し、
カメラによって撮影された画像に動きがあることを示す動き検知イベントを受信したとき、当該動き検知を行ったカメラが優先カメラである場合、前記カメラの配置情報を参照して動きの方向を撮影しているカメラの画像取得間隔を短く設定することを特徴とする画像取得システム。
【請求項１２】
請求項８に記載の画像取得システムにおいて、カメラの背景画像が変更されたことを知らせる背景変更イベントを受信したとき、前記画像要求手段から背景画像要求を発行し、変更された背景画像を取得することを特徴とする画像取得システム。
【請求項１】
画像を撮影するカメラと、前記カメラによって撮影された画像を表示するモニタと、を備える画像ネットワークシステムであって、
前記カメラによって撮影された画像データを管理するカメラサーバと、
前記モニタからの画像要求を前記カメラサーバに中継し、前記カメラサーバからの画像データを前記モニタに中継する伝送制御サーバと、を備え、
前記カメラサーバは、前記カメラが撮影した画像と前記カメラによって予め撮影されていた背景画像との差分画像を算出して当該差分画像を前記伝送制御サーバへ送信し、
前記伝送制御サーバは、予め送信された前記背景画像と前記送信された差分画像とを用いて前記カメラによって撮影された画像を復元し、前記復元した画像を前記モニタに送付することを特徴とする画像ネットワークシステム。
【請求項２】
請求項１に記載の画像ネットワークシステムにおいて、
前記カメラサーバは、前記背景画像と前記カメラが撮影した新規な画像との画素毎の差分値の分散又は合計を算出し、それが設定値を超えたとき背景更新イベントを発行し、背景画像要求を受信したとき前記新規な画像を背景画像として送信し、
前記伝送制御サーバは、前記背景更新イベントを受信したとき、背景画像を要求する画像要求を前記カメラサーバに送信することを特徴とする画像ネットワークシステム。
【請求項３】
請求項１に記載の画像ネットワークシステムにおいて、
前記カメラサーバは複数のカメラによって撮影された画像データを管理し、前記画像要求のあったカメラの画像取得間隔を他のカメラの画像取得間隔より短く設定することを特徴とする画像ネットワークシステム。
【請求項４】
画像を撮影するカメラと、前記カメラによって撮影された画像データを管理するカメラサーバとを備え、ネットワークを介して画像要求を受信したとき前記カメラが撮影した画像を送信する画像送信システムにおいて、
前記カメラサーバは、前記カメラが撮影した画像と前記カメラによって予め撮影されていた背景画像との差分画像を算出し、前記画像要求を受信したとき、前記差分画像と前記背景画像のＩＤを含む差分画像データを送信することを特徴とする画像送信システム。
【請求項５】
請求項４に記載の画像送信システムにおいて、
前記カメラサーバは、前記背景画像と前記カメラが撮影した新規な画像との画素毎の差分値の分散又は合計を算出し、それが設定値を超えたとき、背景更新イベントを発行すると共に前記新規な画像を新たな背景画像としてＩＤを付して保存し、背景画像要求を受信したとき前記ＩＤを含む前記新たな背景画像のデータを送信することを特徴とする画像送信システム。
【請求項６】
請求項４に記載の画像送信システムにおいて、
前記カメラサーバは、前記カメラが撮影した画像と前記背景画像との差分を算出することで動きを検知し、動きを検知したとき動き検知イベントを送信するとともに前記カメラが撮影した画像と前記背景画像との差分画像を生成し、差分画像要求を受信したとき前記差分画像と前記背景画像のＩＤを含む差分画像データを送信することを特徴とする画像送信システム。
【請求項７】
請求項６に記載の画像送信粗ステムにおいて、
前記カメラサーバは、前記動き検知の際に動きの向きを算出し、前記動き検知イベントに動きの向きの情報を含ませて送信することを特徴とする画像送信システム。
【請求項８】
複数のカメラによって撮影された画像をネットワークを介して取得する画像取得システムであって、
画像ＩＤが付与された画像を蓄積する画像蓄積手段と、
カメラＩＤを指定して、当該カメラによって撮影された画像と当該カメラによって予め撮影された背景画像との差分画像データを、ネットワークを介して要求する画像要求手段と、
差分画像と背景画像の画像ＩＤとを含む差分画像データを受信し、当該差分画像データに含まれる画像ＩＤを有する背景画像を前記画像蓄積手段から取得し、前記取得した背景画像と前記受信した差分画像とから前記指定したカメラによって撮影された画像を復元し、復元した画像を前記画像蓄積手段に保存する手段と、
受信済み画像の画像ＩＤを管理する画像ＩＤ管理手段と、
画像要求を受け付ける手段とを有し、
画像要求を受け付けたとき前記画像ＩＤ管理手段を参照し、要求された画像が受信済みの画像である場合には前記画像蓄積手段から画像を取得し、未受信の画像である場合には前記画像要求手段によって前記ネットワークを通じて所望の画像を取得することを特徴とする画像取得システム。
【請求項９】
請求項８に記載の画像取得システムにおいて、
各カメラが優先カメラか否かの情報を保持し、
カメラによって撮影された画像に動きがあることを示す動き検知イベントを受信したとき、当該動き検知を行ったカメラが優先カメラである場合、前記画像要求手段から前記カメラを管理するカメラサーバへ画像要求を発行し、前記カメラサーバより画像を取得することを特徴とする画像取得システム。
【請求項１０】
請求項８に記載の画像取得システムにおいて、
各カメラが優先カメラか否かの情報とカメラの配置情報とを保持し、
カメラによって撮影された画像に動きがあることを示す動き検知イベントを受信したとき、当該動き検知を行ったカメラが優先カメラである場合、前記カメラの配置情報を参照して当該カメラ及びその周囲のカメラの画像取得間隔を短く設定し、他のカメラの画像取得間隔を長く設定することを特徴とする画像取得システム。
【請求項１１】
請求項８に記載の画像取得システムにおいて、
各カメラが優先カメラか否かの情報とカメラの配置情報とを保持し、
カメラによって撮影された画像に動きがあることを示す動き検知イベントを受信したとき、当該動き検知を行ったカメラが優先カメラである場合、前記カメラの配置情報を参照して動きの方向を撮影しているカメラの画像取得間隔を短く設定することを特徴とする画像取得システム。
【請求項１２】
請求項８に記載の画像取得システムにおいて、カメラの背景画像が変更されたことを知らせる背景変更イベントを受信したとき、前記画像要求手段から背景画像要求を発行し、変更された背景画像を取得することを特徴とする画像取得システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−６０５３１（Ｐ２０１２−６０５３１Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−２０３５４７（Ｐ２０１０−２０３５４７）
【出願日】平成２２年９月１０日（２０１０．９．１０）
【出願人】（０００００５４５２）株式会社日立プラントテクノロジー (1,767)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月１０日（２０１０．９．１０）
【出願人】（０００００５４５２）株式会社日立プラントテクノロジー (1,767)
【Ｆターム（参考）】
[ Back to top ]