記録配信装置、記録配信方法及び監視システム
【課題】狭帯域のネットワーク環境でも、複数の画像を効率的に送信して、効果的に監視できるようにすること。
【解決手段】記録配信装置１００は、画像を撮像する画像撮像部１０１と、画像データを生成する画像符号化部１０９と、個別送信データを受信するデータ受信部１１４と、個別送信データから画像データを抽出する画像データ抽出部１１７と、画像符号化部１０９で生成された画像データ及び画像データ抽出部１１７で抽出された画像データから選択された画像データより１つの画像データを生成し、この１つの画像データを含む合成送信データを生成するデータ合成部１２０と、この合成送信データを送信するデータ送信部１２１と、を備える。
【解決手段】記録配信装置１００は、画像を撮像する画像撮像部１０１と、画像データを生成する画像符号化部１０９と、個別送信データを受信するデータ受信部１１４と、個別送信データから画像データを抽出する画像データ抽出部１１７と、画像符号化部１０９で生成された画像データ及び画像データ抽出部１１７で抽出された画像データから選択された画像データより１つの画像データを生成し、この１つの画像データを含む合成送信データを生成するデータ合成部１２０と、この合成送信データを送信するデータ送信部１２１と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの記録配信装置、画像データの記録配信方法、及び、画像データを用いた監視システムに関する。
【背景技術】
【０００２】
近年のネットワーク技術の向上と、画像符号化技術の向上とにより、ネットワークに接続された監視カメラを用いて遠隔地からセキュリティーの監視を行うことが行われている。このような遠隔監視においては、複数の監視カメラから送信された画像データを、ネットワークを介して、遠隔地のサーバーが受信して記録するとともに、監視者がこの記録画像を用いて異常発生時の画像を確認することが広く行われている。
【０００３】
また、監視カメラから送信された画像データの画像をリアルタイムで表示させ、遠隔地の監視者が異常を監視することも広く行われている。このような監視においては、監視カメラでの撮像画像の変化に応じて、異常を検出することも一般的に行われている。
【０００４】
このような複数の監視カメラを用いた遠隔地での監視においては、モニタに表示される画面を分割して、複数の監視カメラから送信されてくる画像データの画像を、同時にモニタに表示させることで、監視者が同時に複数の画像を視聴することが広く行われている。例えば、１６台の監視カメラから送信されてきた画像データの画像を表示する場合には、モニタに表示される画面を１６分割して、このモニタに、各々の監視カメラからの画像を同時に表示させることが行われている。また、この分割表示においては、モニタに、特定の監視カメラの画像のみを大きく表示させるように設定できる場合が多い。
【０００５】
しかしながら、監視員が、複数の監視カメラから送信されてくる画像を監視している際に、重要な画像を見つけだして、それらを関連付けて監視することは困難であった。例えば、複数の監視カメラから送られてくる画像にまたがって人物が移動していくような場合に、監視員が、それらを関連付けて監視することは困難であった。
【０００６】
このため、特許文献１では、複数のモーションディテクト付きＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）カメラを用いて、動きを検知したカメラの画像のみを遠隔地に送信し、遠隔地では、送信されてきた画像を１つのモニタに順次表示させるシステムが提案されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−９８５９２号公報（第７頁、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に記載されたシステムでは、複数のＩＰカメラが同時に動きを検知した場合には複数のＩＰカメラが同時に画像送信を行うため、データ量が急激に増加し、ネットワークの帯域が狭帯域の環境では画像の送信に時間がかかり重要なシーンの確認が遅れる等の問題があった。
【０００９】
そこで、本発明は上記のような課題を解決するためになされたものであり、狭帯域のネットワーク環境でも、複数の画像を効率的に送信して、効果的に監視することができるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一態様に係る記録配信装置は、
画像を撮像する画像撮像部と、
前記画像撮像部で撮像された画像の画像データを生成する画像符号化部と、
第１ネットワークから、画像データを含む個別送信データを受信するデータ受信部と、
前記個別送信データから画像データを抽出する画像データ抽出部と、
前記生成された画像データ及び前記抽出された画像データから選択された画像データより１つの画像データを生成し、当該１つの画像データを含む合成送信データを生成するデータ合成部と、
前記合成送信データを、第２ネットワークに送信するデータ送信部と、を備えること
を特徴とする。
【発明の効果】
【００１１】
本発明の一態様によれば、狭帯域のネットワーク環境でも、複数の画像を効率的に送信して、効果的に監視することができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態１に係る記録配信装置の構成を概略的に示すブロック図である。
【図２】実施の形態１に係る記録配信装置を用いた監視システムの構成を概略的に示す構成図である。
【図３】実施の形態１において、カメラの配置例を示す概略図である。
【図４】実施の形態１において、カメラで撮像された画像を示す概略図である。
【図５】実施の形態１において、カメラで撮像された画像を合成した合成画像の概略図である。
【図６】実施の形態１に係る記録配信装置がスレーブ装置である場合の処理を示すフローチャートである。
【図７】実施の形態１における重要度算出部が、重要度を算出する際に参照する重要度算出情報を示す概略図である。
【図８】（Ａ）及び（Ｂ）は、実施の形態１において、ある撮影条件下で撮像された画像に対して、重要度算出部が割り当てたスコアの値と、重要度算出部が算出した重要度の値の一例を示す概略図である。
【図９】実施の形態１における個別送信データのデータ構造を示す概略図である。
【図１０】実施の形態１に係る記録配信装置がマスタ装置である場合の処理を示すフローチャートである。
【図１１】（Ａ）〜（Ｔ）は、実施の形態１において、選択することのできる配置パターンの一例を示す概略図である。
【図１２】実施の形態１における合成送信データのデータ構造を示す概略図である。
【図１３】実施の形態２に係る記録配信装置の構成を概略的に示すブロック図である。
【図１４】実施の形態２に係る記録配信装置がスレーブ装置である場合の処理を示すフローチャートである。
【図１５】実施の形態２に係る記録配信装置がマスタ装置である場合の処理を示すフローチャートである。
【図１６】実施の形態３に係る記録配信装置の構成を概略的に示すブロック図である。
【図１７】実施の形態３に係る記録配信装置が行うグループ化抽出処理を説明するための概略図である。
【図１８】実施の形態４に係る記録配信装置の構成を概略的に示すブロック図である。
【図１９】実施の形態４における個別送信データのデータ構造を示す概略図である。
【図２０】実施の形態４における合成送信データのデータ構造を示す概略図である。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１は、実施の形態１に係る記録配信装置１００の構成を概略的に示すブロック図である。記録配信装置１００は、画像撮像部１０１と、画像解析部１０２と、外部情報入力部１０３と、外部情報解析部１０４と、音声入力部１０５と、音声解析部１０６と、メタデータ生成部１０７と、重要度算出部１０８と、画像符号化部１０９と、画像切出部１１０と、送信データ切替部１１１と、管理情報生成部１１２と、データ記録部１１３と、データ受信部１１４と、メタデータ抽出部１１５と、重要度抽出部１１６と、画像データ抽出部１１７と、重要度比較部１１８と、スケーリング部１１９と、データ合成部１２０と、データ送信部１２１とを備える。ここで、記録配信装置１００は、利用者の設定に基づいて、マスタ装置又はスレーブ装置のいずれかとして機能する。
【００１４】
なお、図１においては、記録配信装置１００に設けられる、あるいは、記録配信装置１００に接続される部分のうち、一部の部分、例えば、本装置の利用者が、記録の開始又は停止、マスタ装置又はスレーブ装置の設定等を指定するためのコマンド入力部、マスタ装置又はスレーブ装置等の設定を記憶する設定記憶部、機器の状態を表示する状態表示部、画像の符号化及び復号処理のために一時的にデータを格納するデータ一時格納部、一時的に格納されたデータを制御する制御部、並びに、出力された画像信号を表示する表示部等は、省略されている。
【００１５】
画像撮像部１０１は、画像を撮像し、当該画像に対応する電気信号である画像信号を生成する。そして、画像撮像部１０１は、生成された画像信号を画像解析部１０２及び画像符号化部１０９に与える。
【００１６】
画像解析部１０２は、画像撮像部１０１より与えられた画像信号に基づいて、画像撮像部１０１で撮像された画像を解析し、解析結果を示す解析結果データとして、画像解析データを生成する。例えば、画像解析部１０２は、画像撮像部１０１で撮像された画像に重要な部分が含まれているか否かを解析する。一例として、画像解析部１０２は、画像撮像部１０１で撮像された画像に基づいて、動き検知と、顔検出とを行う。そして、画像解析部１０２は、解析結果として、動きが検知された領域の割合と、動きが検知された場合（例えば、動きが検知された領域の割合が「０」ではない場合）には、動きが検知された領域の座標と、顔検出の有無と、顔が検出された場合には、顔が検出された領域の座標とを示すデータを含む画像解析データを生成し、この画像解析データをメタデータ生成部１０７に与える。
【００１７】
外部情報入力部１０３は、外部機器で生成された外部信号の入力を受け付ける。例えば、本実施の形態においては、外部信号は、センサ機器（図示せず）で生成された検出信号であるが、他の信号、例えば、エレベータで生成された運行信号等であってもよい。ここで、本実施の形態においては、センサ機器は、センシング対象が動いた場合、例えば、ドアが開いた場合に、その検出信号を出力するものとする。なお、本実施の形態では、外部情報入力部１０３は、１つ設けられているが、複数でもよい。
【００１８】
外部情報解析部１０４は、外部情報入力部１０３に入力された外部信号を解析し、その解析結果を示す解析結果データとして、外部入力データを生成する。例えば、本実施の形態においては、外部情報解析部１０４は、外部情報入力部１０３にセンサ機器からの外部信号が入力された際に、外部機器からの外部信号の入力があったことを示す外部入力データを生成し、外部情報入力部１０３にセンサ機器からの外部信号の入力がない場合には、外部機器からの外部信号の入力がないことを示す外部入力データを生成する。そして、外部情報解析部１０４は、生成された外部入力データをメタデータ生成部１０７に与える。
【００１９】
音声入力部１０５は、マイク（図示せず）等からの音声信号の入力を受け付ける。なお、本実施の形態では、音声入力部１０５は、１つ設けられているが、複数でもよい。
【００２０】
音声解析部１０６は、音声入力部１０５に入力された音声信号を解析し、その解析結果を示す解析結果データとして、音声入力データを生成する。例えば、音声解析部１０６は、音声入力部１０５に入力された音声信号から、音声の音量レベルを特定する。そして、音声解析部１０６は、予め定められた音量レベルの最大値に対する、特定された音量レベルの割合を算出し、この割合（音声入力割合）を示す音声入力データを生成する。そして、音声解析部１０６は、生成された音声入力データをメタデータ生成部１０７に与える。
【００２１】
以上のように、画像解析部１０２、外部情報解析部１０４及び音声解析部１０６は、監視対象の状態を複数の項目で解析する状態解析部を構成し、その解析結果を示す解析結果データをメタデータ生成部１０７に与える。
【００２２】
メタデータ生成部１０７は、画像解析部１０２、外部情報解析部１０４及び音声解析部１０６から与えられた解析結果データに基づいて、これらで解析された解析結果を含む部分メタデータを生成し、この部分メタデータを重要度算出部１０８に与える。そして、メタデータ生成部１０７は、部分メタデータに基づいて重要度算出部１０８で算出された重要度の値が与えられると、この重要度の値とこの部分メタデータとをデータ合成部１２０に与える。ここで、部分メタデータには、動きが検知された領域の割合と、動きが検知された場合には、動きが検知された領域の座標と、顔検出の有無と、顔が検出された場合には、顔が検出された領域の座標と、外部信号の入力の有無と、音声入力割合とを示すデータが少なくとも含まれている。
また、メタデータ生成部１０７は、画像解析部１０２から受け取った画像解析データを画像切出部１１０に与える。
【００２３】
重要度算出部１０８は、個別画像データの重要度を算出する。ここで、重要度算出部１０８は、画像解析部１０２、外部情報解析部１０４及び音声解析部１０６により構成される状態解析部から、メタデータ生成部１０７を介して、監視対象の状態を複数の項目で解析した解析結果を示す解析結果データを取得し、この解析結果に基づいて、個別画像データの重要度を算出する。例えば、重要度算出部１０８は、自装置である記録配信装置１００がスレーブ装置である場合には、メタデータ生成部１０７から与えられる部分メタデータから個別画像データの重要度を算出し、この重要度の値を、メタデータ生成部１０７に与える。また、重要度算出部１０８は、自装置である記録配信装置１００がマスタ装置である場合には、メタデータ生成部１０７から与えられる部分メタデータから個別画像データの重要度を算出し、この重要度の値を、メタデータ生成部１０７及び重要度比較部１１８に与える。なお、重要度の具体的な算出方法については、図７及び図８を用いて後述する。
【００２４】
画像符号化部１０９は、画像撮像部１０１から与えられた画像信号を符号化して、画像データを生成する。そして、画像符号化部１０９は、生成された画像データを、画像切出部１１０及び管理情報生成部１１２に与える。
【００２５】
画像切出部１１０は、メタデータ生成部１０７から与えられた画像解析データに基づいて、必要な場合には、画像撮像部１０１で撮像された画像の中の一部分を切り出す。ここで、画像切出部１１０は、画像解析部１０２が画像撮像部１０１で撮像された画像の中に重要な部分が含まれていると判断した場合には、この重要な部分を切り出す。例えば、画像切出部１１０は、画像解析部１０２で、動きが検知された領域、あるいは、顔が検出された領域が含まれるように、切り出し範囲を決定する。なお、１つの画像で、動きが検知され、かつ、顔も検出されている場合には、画像切出部１１０は、顔が検出された領域を優先して、顔が検出された領域が含まれるように切出し範囲を決定することが望ましい。また、画像切出部１１０は、画像符号化部１０９によって符号化された画像データを一度復号してから切り出し処理を行ってもよいし、また、符号化形式によっては、復号せずに切り出し処理を行ってもよい。
画像切出部１１０は、切出し処理が行われた後の画像データを、個別画像データとして、送信データ切替部１１１に与える。また、画像切出部１１０は、動きが検知されず、かつ、顔も検出されていない場合には、画像符号化部１０９から与えられた画像データをそのまま、個別画像データとして、送信データ切替部１１１に与える。
【００２６】
送信データ切替部１１１は、画像切出部１１０から与えられた個別画像データを出力する出力先を切り替える。例えば、送信データ切替部１１１は、自装置である記録配信装置１００がマスタ装置である場合には、個別画像データをスケーリング部１１９に与える。また、送信データ切替部１１１は、自装置である記録配信装置１００がスレーブ装置である場合には、個別画像データをデータ合成部１２０に与える。
【００２７】
管理情報生成部１１２は、画像符号化部１０９から与えられた画像データに対して一意となる固有識別子を生成する。また、管理情報生成部１１２は、画像符号化部１０９から与えられた画像データを、生成された固有識別子に対応付けて、データ記録部１１３に記録させる。さらに、管理情報生成部１１２は、生成された固有識別子をデータ合成部１２０に与える。
ここで、管理情報生成部１１２が生成する固有識別子について説明する。固有識別子は、画像データに対して一意となるものであればどのようなものであってもよいが、例えば、本実施の形態においては、固有識別子は、自装置である記録配信装置１００を識別するための識別情報である装置情報と、各々の画像データを識別するためのシーケンス番号とにより構成される。シーケンス番号は、日時情報で構成するのが望ましい。ここで、シーケンス番号として日時情報を用いる場合には、１秒間に複数の画像データが生成される場合もあるため、日時情報は、１秒以下の分解能を有するものとすることが望ましい。例えば、９０ｋＨｚの分解能を有する日時情報を用いることで、画像データに対して一意のシーケンス番号を付与することができる。
【００２８】
データ記録部１１３は、データを記録する。例えば、データ記録部１１３は、管理情報生成部１１２から与えられた画像データ及び固有識別子を対応付けて記録する。また、データ記録部１１３は、メタデータ生成部１０７から部分メタデータが与えられると、当該部分メタデータを、当該部分メタデータに対応する画像データに対応付けて記録する。さらに、データ記録部１１３は、自装置である記録配信装置１００がマスタ装置である場合には、データ合成部１２０から与えられた合成送信データを記録する。
ここで、データ記録部１１３は、内部にデータ蓄積用の媒体を備える。データ蓄積用の媒体は、ハードディスク、フラッシュメモリ、リムーバブルなＳＤメモリーカード等により構成することができる。
【００２９】
データ受信部１１４は、データを受信する。例えば、本実施の形態においては、データ受信部１１４は、他の記録配信装置１００から送られてきた個別送信データを受信する。
【００３０】
メタデータ抽出部１１５は、データ受信部１１４で受信された個別送信データから個別メタデータを抽出し、この個別メタデータを重要度抽出部１１６及びデータ合成部１２０に与える。
【００３１】
重要度抽出部１１６は、メタデータ抽出部１１５から与えられた個別メタデータより重要度の値を抽出し、この重要度の値を重要度比較部１１８に与える。
【００３２】
画像データ抽出部１１７は、データ受信部１１４で受信された個別送信データから個別画像データを抽出し、この個別画像データをスケーリング部１１９に与える。
【００３３】
重要度比較部１１８は、重要度算出部１０８で算出された、個別画像データの重要度の値、及び、重要度抽出部１１６で抽出された、各個別画像データの重要度の値、を比較して、個別画像データの画像を１つの画像データに合成する際の、個別画像データ毎のサイズ及び配置位置を特定する。そして、重要度比較部１１８は、個別画像データ毎のサイズをスケーリング部１１９に与え、個別画像データ毎の配置位置をデータ合成部１２０に与える。重要度比較部１１８が特定する各個別画像データのサイズ及び配置位置については、図１１を用いて後述する。
【００３４】
スケーリング部１１９は、重要度比較部１１８から受け取った個別画像データ毎のサイズに合わせて、送信データ切替部１１１及び画像データ抽出部１１７から与えられた個別画像データのサイズ（解像度）を変更する。そして、スケーリング部１１９は、サイズ変更後の個別画像データをデータ合成部１２０に与える。
【００３５】
データ合成部１２０は、画像データにメタデータを添付することにより送信データを生成し、この送信データをデータ送信部１２１に与える。
例えば、データ合成部１２０は、自装置である記録配信装置１００がスレーブ装置である場合には、メタデータ生成部１０７から与えられた部分メタデータ及び重要度の値と、管理情報生成部１１２から与えられた固有識別子とを含む個別メタデータを生成し、この個別メタデータを、送信データ切替部１１１から与えられた個別画像データに添付することで個別送信データを生成する。
また、データ合成部１２０は、自装置である記録配信装置１００がマスタ装置である場合には、スケーリング部１１９から与えられたサイズ変更後の個別画像データを、重要度比較部１１８から受け取った個別画像データ毎の配置位置に配置することで合成画像データを生成する。そして、データ合成部１２０は、自装置である記録配信装置１００がマスタ装置である場合には、メタデータ生成部１０７から与えられた部分メタデータ及び重要度の値と、管理情報生成部１１２から与えられた固有識別子と、メタデータ抽出部１１５から与えられた個別メタデータとを含む合成メタデータを生成する。そして、データ合成部１２０は、生成された合成画像データに合成メタデータを添付することで合成送信データを生成する。
そして、データ合成部１２０は、以上のようにして生成された個別送信データ又は合成送信データをデータ送信部１２１に与える。また、データ合成部１２０は、以上のようにして生成された合成送信データをデータ記録部１１３に記録させる。
【００３６】
データ送信部１２１は、ネットワークにデータを送信する。例えば、データ送信部１２１は、自装置である記録配信装置１００がスレーブ装置である場合には、データ合成部１２０から与えられた個別送信データを、ネットワークを介して、マスタ装置である記録配信装置１００に送信する。
また、データ送信部１２１は、自装置である記録配信装置１００がマスタ装置である場合には、データ合成部１２０から与えられた合成送信データを、ネットワークを介して、予め定められた装置に送信する。ここで、合成送信データの送信先となる、予め定められた装置は、マスタ装置である記録配信装置１００に個別送信データを送信する記録配信装置１００以外の装置である。例えば、予め定められた装置は、合成画像を表示する表示部を備える視聴装置であることが望ましい。
なお、自装置である記録配信装置１００がスレーブ装置である場合には、マスタ装置である記録配信装置１００の通信アドレスが、図示しない通信アドレス記憶部に記憶されているものとし、自装置である記録配信装置１００がマスタ装置である場合には、予め定められた装置の通信アドレスが、図示しない通信アドレス記憶部に記憶されているものとする。
【００３７】
図２は、記録配信装置１００を用いた監視システム１５０の構成を概略的に示す構成図である。監視システム１５０は、第１カメラ１５１と、第２カメラ１５２と、第３カメラ１５３と、第４カメラ１５４と、視聴装置１５５と、を備える。第１カメラ１５１、第２カメラ１５２、第３カメラ１５３及び第４カメラ１５４は、ネットワークハブ１５６を介して、ＬＡＮ（Ｌｏｃａｌ Ａｒｅ Ｎｅｔｗｏｒｋ）に接続されている。また、このＬＡＮには、第１ネットワークルータ１５７が接続されており、第１カメラ１５１、第２カメラ１５２、第３カメラ１５３及び第４カメラ１５４は、第１ネットワークルータ１５７を介してインターネット１５８に接続することができるように構成されている。また、視聴装置１５５は、第２ネットワークルータ１５９を介して、インターネット１５８に接続することができるように構成されている。
【００３８】
第１カメラ１５１、第２カメラ１５２、第３カメラ１５３及び第４カメラ１５４は、記録配信装置１００により構成されている。そして、第１カメラ１５１がマスタ装置に設定されており、第２カメラ１５２、第３カメラ１５３及び第４カメラ１５４がスレーブ装置に設定されている。
これらのカメラ１５１〜１５４は、監視対象とされたエリアに設置され、このエリアの画像を撮像する。そして、スレーブ装置である第２カメラ１５２、第３カメラ１５３及び第４カメラ１５４は、個別送信データを生成し、この個別送信データを、マスタ装置である第１カメラ１５１に送信する。そして、第１カメラ１５１は、自装置で撮像された画像から生成された個別画像データ、部分メタデータ、固有識別子、及び、第２カメラ１５２、第３カメラ１５３及び第４カメラ１５４から受信した個別送信データに基づいて、合成送信データを生成し、この合成送信データを視聴装置１５５に送信する。視聴装置１５５は、通常、遠隔地に設置されており、視聴装置１５５の利用者は、遠隔地から監視エリアを監視することができる。
【００３９】
視聴装置１５５は、図示されていないが、受信部と、画像処理部と、表示部とを少なくとも備えており、受信部で合成送信データを受信し、画像処理部でこの合成送信データから合成画像データを抽出し、表示部でこの合成画像データに対応する画像を表示する。また、視聴装置１５５は、さらに、視聴装置１５５の利用者からの指示の入力を受け付ける入力部を備えるように構成することもできる。そして、この入力部が利用者からメタデータの表示指示の入力を受け付けた場合に、画像処理部が、合成送信データから合成メタデータを抽出して、この合成メタデータに含まれている全部又は一部のデータを所定の表示形式にしたメタデータ画像データを生成し、表示部がこのメタデータ画像データに対応する画像を表示してもよい。なお、視聴装置１５５は、合成送信データを記録する記録部をさらに備えていてもよい。
【００４０】
以上のような構成により、監視システム１５０では、複数のカメラ１５２〜１５４で生成された複数の画像データが、ＬＡＮに接続されたマスタ装置としての第１カメラ１５１に送られ、この第１カメラ１５１は、これらの画像データと、自装置で撮像した画像に対応する画像データとを合成することで１つの合成画像データを生成し、この合成画像データを広域ネットワークに送信する。
【００４１】
なお、ここでは、カメラ４台で監視システム１５０を構成したが、カメラの台数は、この４台に限るものではなく、３台以下でも５台以上でもよい。
【００４２】
図３は、図２に示されているカメラ１５１〜１５４の配置例を示す概略図である。図示するようにカメラ１５１〜１５４は、監視対象としての部屋１６０内に、それぞれ異なる位置に配置されている。部屋１６０には、人が出入りするための扉１６１が設けられており、部屋１６０内には、被写体１６２が存在する。そして、カメラ１５１〜１５４は、被写体１６２をそれぞれ異なる位置から撮影する。また、扉１６１には、図示されてはいないが、センサ機器としての開閉センサが設けられており、この開閉センサは第４カメラ１５４の外部情報入力部１０３に接続されている。そして、開閉センサは、扉１６１が開かれたことを検出すると、その検出信号を第４カメラ１５４に出力する。
【００４３】
図４（Ａ）〜（Ｄ）は、図３に示されているカメラ１５１〜１５４で撮像された画像を示す概略図である。図４（Ａ）は、第１カメラ１５１で撮像された画像ＩＭ１を示す概略図である。図４（Ｂ）は、第２カメラ１５２で撮像された画像ＩＭ２を示す概略図である。図４（Ｃ）は、第３カメラ１５３で撮像された画像ＩＭ３を示す概略図である。図４（Ｄ）は、第１カメラ１５４で撮像された画像ＩＭ４を示す概略図である。
【００４４】
これらの画像ＩＭ１〜ＩＭ４は、同一の被写体１６２を、それぞれ異なる角度から撮影したものであるため、関連のある画像となる。しかしながら、これらの画像ＩＭ１〜ＩＭ４は、カメラの位置によって、重要な画像と、重要ではない画像とに区別できる。画像ＩＭ２では、被写体１６２が、他の画像よりも大きく写されている。画像ＩＭ１及び画像ＩＭ３では、被写体１６２が、画像ＩＭ２の次に大きく写されている。画像ＩＭ４では、被写体１６２が、他の画像ＩＭ１〜ＩＭ３よりも小さく写されているが、被写体１６２の顔が、正面に写っている。そして、記録配信装置１００の重要度算出部１０８は、これらの画像ＩＭ１〜ＩＭ４の状態に応じて、重要度を算出する。
【００４５】
図５は、カメラ１５１〜１５４で撮像された画像を合成した合成画像ＳＩＭの概略図である。合成画像ＳＩＭの領域＃１には、第１カメラ１５１で撮像された画像ＩＭ１（図４（Ａ）参照）をスケーリングした画像が合成される。領域＃２には、第２カメラ１５２で撮像された画像ＩＭ２（図４（Ｂ）参照）をスケーリングした画像が合成される。領域＃３には、第３カメラ１５３で撮像された画像ＩＭ３（図４（Ｃ）参照）をスケーリングした画像が合成される。領域＃４には、第４カメラ１５４で撮像された画像ＩＭ４からリッピングされた画像ＲＩＭ４（図４（Ｄ）参照）をスケーリングした画像が合成される。
【００４６】
次に、記録配信装置１００での動作を説明する。
図６は、記録配信装置１００がスレーブ装置である場合の処理を示すフローチャートである。
【００４７】
まず、画像撮像部１０１が画像を撮像する（Ｓ１０）と、画像撮像部１０１は、撮像された画像の画像信号を画像解析部１０２及び画像符号化部１０９に与える。そして、画像解析部１０２はステップＳ１１の処理を行い、画像符号化部１０９はステップＳ１４の処理を行う。
【００４８】
ステップＳ１１では、画像解析部１０２は、与えられた画像信号に基づいて、動き検知と、顔検出とを行い、これらの解析結果を含む画像解析データを生成し、この画像解析データをメタデータ生成部１０７に与える。この画像解析データには、例えば、動きが検知された領域の割合と、動きが検知された場合には、動きが検知された領域の座標と、顔検出の有無と、顔が検出された場合には、顔が検出された領域の座標とを示すデータが含まれる。
【００４９】
次に、メタデータ生成部１０７は、画像解析部１０２から与えられる画像解析データ、外部情報解析部１０４から与えられる外部入力データ、及び、音声解析部１０６から与えられる音声入力データに基づいて、部分メタデータを生成し、この部分メタデータを重要度算出部１０８に与える（Ｓ１２）。この部分メタデータには、動きが検知された場合には、動きが検知された領域の座標と、顔検出の有無と、顔が検出された場合には、顔が検出された領域の座標と、外部信号の入力の有無と、音声入力割合とを示すデータが少なくとも含まれている。
【００５０】
次に、重要度算出部１０８は、メタデータ生成部１０７から与えられた部分メタデータに基づいて、重要度を算出する（Ｓ１３）。そして、重要度算出部１０８は、算出された重要度の値をメタデータ生成部１０７に与える。メタデータ生成部１０７は、生成された部分メタデータと、重要度算出部１０８より与えられた重要度の値とをデータ合成部１２０に与える。
【００５１】
図７は、重要度を算出する際に、重要度算出部１０８が参照する重要度算出情報ＩＰＴを示す概略図である。重要度算出情報ＩＰＴは、項目番号欄ＩＰＴ１と、項目欄ＩＰＴ２と、条件欄ＩＰＴ３と、スコア欄ＩＰＴ４とを有するテーブル形式の情報である。
【００５２】
項目番号欄ＩＰＴ１は、重要度を算出する際に用いられる各々の項目を識別するための識別番号である項目番号を格納する。
項目欄ＩＰＴ２は、項目番号欄ＩＰＴ１で識別される項目の項目名を格納する。ここで、本実施の形態においては、「動き検知」、「顔検出」、「外部入力」及び「音声入力」の４つの項目を用いて重要度が算出される。
条件欄ＩＰＴ３は、項目番号欄ＩＰＴ１で識別される項目毎に、解析結果をスコア欄ＩＰＴ４に格納されているスコアに割り当てるための条件を格納する。
スコア欄ＩＰＴ４は、項目番号欄ＩＰＴ１で識別される項目の解析結果が、条件欄ＩＰＴ３に格納されている条件を満たしている場合に、重要度を計算するために割り当てられるスコアの値を格納する。図７の例では、項目番号ｉが「０」の動き検知では、撮像画像の全体が例えば８１（＝９×９）個のエリアに分割され、それぞれのエリアで、撮像画像に動きがあったかどうかが判定される。そして、動きのあったエリア数が全体の７０％以上であれば、Ｓｃｏｒｅ［０］の値は「１」となり、３１％〜６９％の場合には、Ｓｃｏｒｅ［０］の値は「０.５」となり、３０％以下の場合には、Ｓｃｏｒｅ［０］の値は「０」となる。また、項目番号ｉが「１」の顔検知では、撮像画像に人物の顔が含まれている場合には、Ｓｃｏｒｅ［１］の値は「１」となり、人物の顔が含まれていない場合には、Ｓｃｏｒｅ［１］の値は「０」となる。また、項目番号ｉが「２」の外部入力では、センサ入力がある場合には、Ｓｃｏｒｅ［２］の値は「１」となり、センサ入力がない場合には、Ｓｃｏｒｅ［２］の値は「０」となる。また、項目番号ｉが「３」の音声入力では、音声入力割合が７０％を超えていた場合には、Ｓｃｏｒｅ［３］の値は「１」となり、音声入力割合が３１％〜６９％の場合には、Ｓｃｏｒｅ［３］の値は「０.５」となり、音声入力割合が３０％以下の場合には、Ｓｃｏｒｅ［３］の値は「０」となる。
【００５３】
なお、この図７に示されている条件は、図７に示されているものに限定されるものではなく、例えば、項目番号ｉが「０」の動き検知で、Ｓｃｏｒｅ［０］の値が「１」となる条件を、動き検知エリア数が８０％以上としてもよい。また、項目番号ｉが「３」の音声入力では、条件として音声入力割合を用いているが、特定周波数の音声における音量レベルの割合、又は、より高度な音声認識を用いて、特定の音声条件を満たした場合により高いスコアの値が付与されるように構成されていてもよい。
【００５４】
そして、重要度算出部１０８は、例えば、図７に示されている重要度算出情報ＩＰＴを用いて、下記の（１）式により重要度（ＩＰ）を算出する。
【数１】
（１）式において、Ｓｃｏｒｅ［ｉ］は、項目番号ｉ毎のスコアの値であり、Ｗｅｉｇｈｔ［ｉ］は、項目番号ｉ毎の重み係数である。例えば、本実施の形態では、項目番号ｉが「０」の重み係数Ｗｅｉｇｈｔ［０］の値は「２」、項目番号ｉが「１」の重み係数Ｗｅｉｇｈｔ［１］の値は「４」、項目番号ｉが「２」の重み係数Ｗｅｉｇｈｔ［２］の値は「３」、項目番号ｉが「３」の重み係数Ｗｅｉｇｈｔ［３］の値は「１」とされているが、これらの値に限定されるものではない。
【００５５】
図８（Ａ）及び（Ｂ）は、図３に示されているカメラ１５１〜１５４において、ある撮影条件下で撮像された画像に対して、重要度算出部１０８が割り当てたスコアの値と、重要度算出部１０８が算出した重要度の値の一例を示す概略図である。
【００５６】
図８（Ａ）は、重要度算出部１０８が割り当てたスコアの値の一例を示している。例えば、第１カメラ１５１で撮像された画像では、中程度の動きが検知されているため、動き検知のスコアＳｃｏｒｅ［０］の値は「０.５」、また、顔は検出されていないため、顔検出のＳｃｏｒｅ［１］の値は「０」、センサ入力もなく、センサ入力のＳｃｏｒｅ［２］の値も「０」、音声信号の入力もなく、音声入力のＳｃｏｒｅ［３］の値も「０」となっている。第２カメラ１５２で撮像された画像では、被写体に近く、動きが検知された領域が広いため、動き検知のスコアＳｃｏｒｅ［０］の値は「１」、顔は検出されていないため、顔検知のＳｃｏｒｅ［１］の値は「０」、センサ入力もなく、センサ入力のＳｃｏｒｅ［２］の値も「０」、中程度の音声信号が入力されているため、音声入力のＳｃｏｒｅ［３］の値は「０.５」となっている。第３カメラ１５３で撮像された画像では、中程度の動きが検知されているため、動き検知のスコアＳｃｏｒｅ［０］の値は「０.５」、顔は検出されていないため、顔検出のＳｃｏｒｅ［１］の値は「０」、センサ入力もないため、センサ入力のＳｃｏｒｅ［２］の値も「０」、中程度の音声信号が入力されているため、音声入力のＳｃｏｒｅ［３］の値は「０.５」となっている。第４カメラ１５４で撮像された画像では、被写体からの距離が遠く、動きが検出されたエリアが狭いため、動き検知のＳｃｏｒｅ［０］の値は「０」、被写体の顔を正面から捉えていて、顔が検出されたため、顔検出のＳｃｏｒｅ［１］の値は「１」、ドアの開閉によりセンサ入力もあるため、センサ入力のＳｃｏｒｅ［２］の値は「１」、音声信号の入力はないため、音声入力のＳｃｏｒｅ［３］の値は「０」となっている。
【００５７】
図８（Ｂ）は、図８（Ａ）に示されているスコアの値に基づいて、重要度算出部１０８が算出した重要度の値の一例を示す概略図である。
重要度算出部１０８は、図８（Ａ）に示されているスコアの値を、（１）式に代入することにより、重要度を算出する。図８（Ｂ）に示されている例では、第１カメラ１５１で撮像された画像の重要度の値は「１．０」、第２カメラ１５２で撮像された画像の重要度の値は「２．５」、第３カメラ１５３で撮像された画像の重要度の値は「１．５」、第４カメラ１５４で撮像された画像の重要度の値は「７」となる。このように重要度を複数の項目を組み合わせて算出することで、例えば、動きは無いが顔を検知している場合や、動きは小さいが音声入力がある場合等、監視者にとってより重要な画像を総合的に判定することが可能となる。
【００５８】
図６の説明に戻り、ステップＳ１４では、画像符号化部１０９は、画像撮像部１０１から与えられた画像信号を符号化して、画像データを生成する。そして、画像符号化部１０９は、生成された画像データを、管理情報生成部１１２及び画像切出部１１０に与える。
【００５９】
次に、管理情報生成部１１２は、画像符号化部１０９から与えられた画像データに対して一意となる固有識別子を生成し、画像符号化部１０９から与えられた画像データと、この固有識別子とをデータ記録部１１３に与える（Ｓ１５）。例えば、管理情報生成部１１２は、生成された固有識別子を、画像データのフッタ部に付与して、データ記録部１１３に与える。
【００６０】
次に、データ記録部１１３は、管理情報生成部１１２から与えられた画像データと、固有識別子とを対応付けて記録する（Ｓ１６）。なお、データ記録部１１３は、メタデータ生成部１０７より、当該画像データの部分メタデータが送られてきた場合には、当該部分メタデータも当該画像データに対応付けて記録する。
【００６１】
ステップＳ１７では、画像切出部１１０は、個別画像データを生成する。例えば、画像切出部１１０は、メタデータ生成部１０７から与えられた部分メタデータに、動きが検知された領域を示すデータ及び顔が検出された領域を示すデータの少なくとも何れか一方が含まれている場合には、当該領域を含む範囲を、画像符号化部１０９から与えられた画像データより切り出す。そして、画像切出部１１０は、切り出した画像データを個別画像データとする。一方、画像切出部１１０は、メタデータ生成部１０７から与えられた部分メタデータに、動きが検知されていないことを示すデータが含まれており、かつ、顔が検出されていないことを示すデータが含まれている場合には、画像符号化部１０９から与えられた画像データを個別画像データとする。画像切出部１１０は、個別画像データを送信データ切替部１１１に与え、送信データ切替部１１１は、この個別画像データをデータ合成部１２０に与える。
【００６２】
次に、データ合成部１２０は、ステップＳ１３でメタデータ生成部１０７から与えられた部分メタデータ及び重要度の値と、ステップＳ１５で管理情報生成部１１２から与えられた固有識別子とを含む個別メタデータを生成し、この個別メタデータを、ステップＳ１７で送信データ切替部１１１から与えられた個別画像データに添付することで個別送信データを生成する（Ｓ１８）。そして、データ合成部１２０は、生成された個別送信データをデータ送信部１２１に与える。
【００６３】
ここで、図９は、個別送信データＩＩＤ１のデータ構造を示す概略図である。
個別送信データＩＩＤ１は、個別画像データＩＩＤ１１と、固有識別子ＩＩＤ１２と、重要度ＩＩＤ１３と、項目個数ＩＩＤ１４と、項目番号ＩＩＤ１５と、解析結果データサイズＩＩＤ１６と、解析結果ＩＩＤ１７とを有する。
個別画像データＩＩＤ１１は、ステップＳ１７で送信データ切替部１１１から与えられた個別画像データである。
固有識別子ＩＩＤ１２は、ステップＳ１５で管理情報生成部１１２から与えられた固有識別子である。この固有識別子ＩＩＤ１２により、個別画像データＩＩＤ１１が一意に識別される。
重要度ＩＩＤ１３は、ステップＳ１３でメタデータ生成部１０７から与えられた重要度の値である。
項目個数ＩＩＤ１４、項目番号ＩＩＤ１５、解析結果データサイズＩＩＤ１６及び解析結果ＩＩＤ１７は、ステップＳ１３でメタデータ生成部１０７から与えられた部分メタデータに含まれているデータである。
項目個数ＩＩＤ１４は、重要度を算出するために使用される項目の数を示すものであり、本実施の形態では、この個数は「４」になっている。そして、この項目個数ＩＩＤ１４で示される数だけ、項目番号ＩＩＤ１５と、解析結果データサイズＩＩＤ１６と、解析結果ＩＩＤ１７との組み合わせが格納される。項目番号ＩＩＤ１５は、重要度を算出するために用いられる各々の項目を識別するための識別番号であって、本実施の形態においては、「０」は動き検知、「１」は顔検出、「２」は外部入力、「３」は音声入力となっている。解析結果データサイズＩＩＤ１６は、解析結果ＩＩＤ１７のデータサイズを示す。解析結果ＩＩＤ１７は、項目番号ＩＩＤ１５で識別される項目に対応する解析結果を含む。本実施の形態では、項目番号ＩＩＤ１５が「０」の場合は、動きが検知された領域の割合、及び、動きが検知された場合には、動きが検知された領域の座標、項目番号ＩＩＤ１５が「１」の場合は、顔検出の有無、及び、顔が検出された場合には、顔が検出された領域の座標、項目番号ＩＩＤ１５が「２」の場合は、外部入力の有無、項目番号ＩＩＤ１５が「３」の場合は、音声入力割合を示すデータが、解析結果ＩＩＤ１７として格納される。
なお、固有識別子ＩＩＤ１２、重要度ＩＩＤ１３、項目個数ＩＩＤ１４、項目番号ＩＩＤ１５、解析結果データサイズＩＩＤ１６及び解析結果ＩＩＤ１７が、個別メタデータを構成する。
【００６４】
図６の説明に戻り、データ送信部１２１は、データ合成部１２０から与えられた個別送信データを、ネットワークを介して、マスタ装置である記録配信装置１００に送信する（Ｓ１９）。
【００６５】
図１０は、記録配信装置１００がマスタ装置である場合の処理を示すフローチャートである。ここで、図１０のステップＳ２０〜ステップＳ２７までの処理は、図６のステップＳ１０〜Ｓ１７までの処理と同様である。
【００６６】
ステップＳ２８では、データ受信部１１４が、スレーブ装置となっている他の記録配信装置１００から個別送信データを受信したか否かを判断する。そして、データ受信部１１４は、受信した個別送信データに受信した時刻を示すタイムスタンプを付与する。また、メタデータ抽出部１１５は、受信された個別送信データから個別メタデータを抽出して、この個別メタデータを重要度抽出部１１６及びデータ合成部１２０に与える。さらに、画像データ抽出部１１７は、受信された個別送信データから個別画像データを抽出して、この個別画像データをスケーリング部１１９に与える。そして、データ受信部１１４は、個別送信データを受信している場合（ステップＳ２８でＹｅｓ）には、ステップＳ２９の処理に進み、個別送信データを受信していない場合（ステップＳ２８でＮｏ）には、ステップＳ３１の処理に進む。
【００６７】
ステップＳ２９では、重要度抽出部１１６は、メタデータ抽出部１１５から与えられた個別メタデータに含まれている重要度の値を抽出する（Ｓ２９）。そして、重要度抽出部１１６は、抽出された重要度の値を重要度比較部１１８に与える。
【００６８】
次に、データ受信部１１４は、同一時刻のタイムスタンプが付与された全ての個別送信データから重要度の値が抽出されたか否かを判断する（Ｓ３０）。そして、データ受信部１１４は、同一時刻のタイムスタンプが付与された全ての個別送信データから重要度の値が抽出された場合（ステップＳ３０でＹｅｓ）、言い換えると、同一時刻のタイムスタンプが付与された個別送信データのうち、重要度の値が抽出されていない個別送信データが存在しない場合には、ステップＳ３１の処理に進む。一方、データ受信部１１４は、同一時刻のタイムスタンプが付与された全ての個別送信データからは重要度の値が抽出されていない場合（ステップＳ３０でＮｏ）、言い換えると、同一時刻のタイムスタンプが付与された個別送信データのうち、重要度の値が抽出されていない個別送信データが存在する場合には、ステップＳ２９の処理に戻る。
【００６９】
ステップＳ３１では、重要度比較部１１８は、重要度算出部１０８で算出された、個別画像データの重要度の値、及び、重要度抽出部１１６で抽出された、各個別画像データの重要度の値を比較して、各個別画像データの画像を１つの画像データに合成する際の、個別画像データ毎のサイズ及び配置位置を特定する。例えば、重要度比較部１１８は、合成画像データとして、個別画像データを配置するサイズ及び位置が予め定められた複数の配置パターンから、個別画像データ毎の重要度の値に応じて、１つの配置パターンを選択し、選択された配置パターンで、各個別画像データを配置するサイズ及び位置を特定する。そして、重要度比較部１１８は、特定されたサイズをスケーリング部１１９に与え、特定された配置位置をデータ合成部１２０に与える。
【００７０】
図１１（Ａ）〜（Ｔ）は、重要度比較部１１８で選択することのできる配置パターンの一例を示す概略図である。なお、図１１（Ａ）〜（Ｔ）は、ネットワークに接続されている記録配信装置１００が４つである場合の例であるが、この数については、４つに限定されるものではない。
図１１（Ａ）は、４つの個別画像データの重要度の値の全てが、予め定められた閾値よりも低い場合の配置パターンＳＩＰ１である。
図１１（Ｂ）〜（Ｅ）は、４つの個別画像データのうち、１つの個別画像データの重要度の値だけが、予め定められた閾値以上である場合の配置パターンＳＩＰ２〜ＳＩＰ５である。
図１１（Ｆ）〜（Ｉ）も、４つの個別画像データのうち、１つの個別画像データの重要度の値だけが、予め定められた閾値以上である場合の配置パターンＳＩＰ６〜ＳＩＰ９である。例えば、パターンＳＩＰ６〜ＳＩＰ９が選択される場合の閾値は、パターンＳＩＰ２〜ＳＩＰ５が選択される場合の閾値よりも大きな値となっていることが望ましい。
図１１（Ｊ）〜（Ｏ）は、４つの個別画像データのうち、２つの個別画像データの重要度の値だけが、予め定められた閾値以上である場合の配置パターンＳＩＰ１０〜ＳＩＰ１５である。
図１１（Ｐ）〜（Ｓ）は、４つの個別画像データのうち、３つの個別画像データの重要度の値だけが、予め定められた閾値以上である場合の配置パターンＳＩＰ１６〜ＳＩＰ１９である。
図１１（Ｔ）は、４つの個別画像データの重要度の値の全てが、予め定められた閾値以上である場合の配置パターンＳＩＰ２０である。
【００７１】
なお、重要度比較部１１８は、４つの記録配信装置１００の内、同一時刻に個別送信データを受信していないものがある場合には、個別送信データを受信していない記録配信装置１００に対応する個別画像データの重要度を「０」として、そのサイズ及び配置位置を特定する。そして、重要度比較部１１８は、スケーリング部１１９に、個別送信データを受信していない記録配信装置１００に対応する個別画像データを、例えば、黒画像データ等、予め定められた画像データで代用するように指示を出す。
【００７２】
図１０の説明に戻り、ステップＳ３２では、スケーリング部１１９は、重要度比較部１１８から与えられたサイズとなるように、各個別画像データのスケーリングを実行する。そして、スケーリング部１１９は、サイズ変更後の個別画像データをデータ合成部１２０に与える。この際、スケーリング部１１９は、個別画像データ毎に、縮小率又は拡大率を示すスケーリングエリア情報を添付する。また、黒画像データ等、予め定められた画像データで代用した場合には、代用された画像データに元の画像がないことを示す情報を添付する。
【００７３】
次に、データ合成部１２０は、ステップＳ３２でスケーリングされた個別画像データを、重要度比較部１１８から与えられた配置位置に配置することで合成画像データを生成する。また、データ合成部１２０は、ステップＳ２３でメタデータ生成部１０７から与えられた部分メタデータ及び重要度の値と、ステップＳ２５で管理情報生成部１１２から与えられた固有識別子と、ステップＳ２８でメタデータ抽出部１１５から与えられた個別メタデータとを含む合成メタデータを生成する。そして、データ合成部１２０は、生成された合成画像データに、生成された合成メタデータを添付することで合成送信データを生成する（Ｓ３３）。そして、データ合成部１２０は、生成された合成送信データをデータ送信部１２１に与える。
【００７４】
ここで、図１２は、合成送信データＳＩＤ１のデータ構造を示す概略図である。
合成送信データＳＩＤ１は、合成画像データＳＩＤ１１と、最大カメラ数ＳＩＤ１２と、各画像有無情報ＳＩＤ１３と、カメラ番号ＳＩＤ１４と、スケーリングエリアＳＩＤ１５と、固有識別子ＳＩＤ１６と、重要度ＳＩＤ１７と、項目個数ＳＩＤ１８と、項目番号ＳＩＤ１９と、解析結果データサイズＳＩＤ２０と、解析結果ＳＩＤ２１とを有する。
合成画像データＳＩＤ１１は、ステップＳ３３で、各個別画像データが合成された合成画像データである。
最大カメラ数ＳＩＤ１２は、合成画像データに合成される個別画像データを撮像するカメラ（記録配信装置１００）の最大数を示す。例えば、図２及び３の例では、最大カメラ数ＳＩＤ１２は、「４」である。
各画像有無情報ＳＩＤ１３は、カメラ（記録配信装置１００）毎に、撮像された個別画像データが合成画像データに合成されているか否かを示す情報である。例えば、各画像有無情報ＳＩＤ３は、ビットパターンの情報で明示される。例えば、図２及び３に示されている例では、４つのカメラ１５１〜１５４のうち、第１カメラ１５１、第２カメラ１５２及び第４カメラ１５４で撮像された画像の個別画像データが合成画像データに含まれており、第３カメラ１５３で撮像された画像の個別画像データの代わりに、黒画像データが代用された場合には、各画像有無情報ＳＩＤ１３は、「１０１１」と示されるものとする。
カメラ番号ＳＩＤ１４〜解析結果ＳＩＤ２１は、個別画像データが合成画像データに含まれているカメラ（記録配信装置１００）の数だけ設けられる。
カメラ番号ＳＩＤ１４は、カメラ（記録配信装置１００）を識別するための識別番号である。例えば、カメラ番号ＳＩＤ１４としては、固有識別子に含まれている装置情報が利用できる。
スケーリングエリアＳＩＤ１５は、カメラ番号ＳＩＤ１４で識別されるカメラ（記録配信装置１００）で撮像された画像の個別画像データに対して、スケーリング部１１９がスケーリングした縮小率又は拡大率を示す。
固有識別子ＳＩＤ１６は、カメラ番号ＳＩＤ１４で識別されるカメラ（記録配信装置１００）で撮像された画像の個別画像データの固有識別子である。これは、ステップＳ２５で、管理情報生成部１１２より与えられる。
なお、このように、４つのカメラの画像を１枚に合成して送信する際に、４つの個別画像データのそれぞれに付与された固有識別子を、合成画像データに付与して送信するため、遠隔地で合成画像データを記録した場合に、その合成画像データから元の個別画像データを特定することが可能となり、合成画像データからより詳細な個別画像データの確認を効率的に行うことができる。また、各カメラにおける画像の記録の際に、この固有識別子のリストを作成し、固有識別子と、画像データのアドレス情報とをペアで管理してもよく、このようにすると固有識別子の検索を高速で実行可能となる。
重要度ＳＩＤ１７は、カメラ番号ＳＩＤ１４で識別されるカメラ（記録配信装置１００）で撮像された画像の個別画像データの重要度の値である。これは、ステップＳ２３でメタデータ生成部１０７から与えられた部分メタデータ、又は、ステップＳ２９でメタデータ抽出部１１５から与えられた個別メタデータに含まれているものである。
項目個数ＳＩＤ１８、項目番号ＳＩＤ１９、解析結果データサイズＳＩＤ２０及び解析結果ＳＩＤ２１は、これは、ステップＳ２３でメタデータ生成部１０７から与えられた部分メタデータ、又は、ステップＳ２９でメタデータ抽出部１１５から与えられた個別メタデータに含まれているものである。項目個数ＳＩＤ１８、項目番号ＳＩＤ１９、解析結果データサイズＳＩＤ２０及び解析結果ＳＩＤ２１は、図９に示されている個別送信データＩＩＤ１の項目個数ＩＩＤ１４、項目番号ＩＩＤ１５、解析結果データサイズＩＩＤ１６及び解析結果ＩＩＤ１７と同様である。
【００７５】
図１０の説明に戻り、データ送信部１２１は、データ合成部１２０から与えられた合成送信データを、ネットワークを介して、予め定められた装置、例えば、視聴装置に送信する（Ｓ３４）。
【００７６】
なお、以上で説明した本実施の形態では、音声データそのものは外部に配信、あるいは、記録を行わない構成であるが、必要であれば、音声データの記録とネットワークへの送信を行ってもよい。ネットワークに音声データを送信する際には、複数装置の音声データを多重化して送信してもよいし、重要度の値に応じて、どれか１つの装置（例えば、重要度の最も高い装置）の音声データを送信してもよい。
【００７７】
以上のように、本実施の形態に係る記録配信装置１００、および、記録配信装置１００が行う記録配信方法によれば、複数の記録配信装置１００にまたがる重要画像を少ないデータ量で公衆回線に同時にのせられるため、狭帯域の環境でも複数の映像を関連付けた効率的な遠隔監視を行うことができる。
【００７８】
例えば、近年増加してきたフルハイビジョンと呼ばれる、解像度が１９２０×１０８０の監視映像の場合、高画質のモードでは、フレームレートが３０ｆｐｓ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）換算で、ビットレートが８Ｍｂｐｓ（Ｂｉｔ Ｐｅｒ Ｓｅｃｏｎｄ）程度のデータサイズとなる。また、標準画質のモードでは、前記条件においてそのビットレートは４Ｍｂｐｓ程度となる。本実施の形態において、例えば、図２及び３に示されている第１カメラ１５１と第２カメラ１５２とが高画質、第３カメラ１５３と第４カメラ１５４とが標準画質に設定され、各カメラ１５１〜１５４のフレームレートが、第１カメラ１５１では１５ｆｐｓ、第２カメラ１５２では１５ｆｐｓ、第３カメラ１５３では７．５ｆｐｓ、第４カメラ１５４では４ｆｐｓで設定されていたとする。この場合、各々のカメラ１５１〜１５４が、そのまま遠隔地に画像データを送信した場合には、図２に示されているインターネット１５８等の広域ネットワークには、４．７７Ｍｂｐｓのデータが毎秒送信されることとなる。一方、本実施の形態により４つのカメラ１５１〜１５４の画像を１枚の画像に合成して送信する場合、例えば４枚の画像の重要度の値がいずれも均等であった場合には、広域ネットワークには１．３８Ｍｂｐｓのデータが毎秒送信されることとなる。このケースでは、本実施の形態では、広域ネットワークへ送信するデータ量が、従来の方式の４．７７Ｍｂｐｓから１．３８Ｍｂｐｓまで約７１％削減されることとなる。
【００７９】
従来のように伝送するデータ量が４．７７Ｍｂｐｓでは、５Ｍｂｐｓ以上の回線帯域が必要となり、本実施の形態のように伝送するデータ量が１．３８Ｍｂｐｓでは、２Ｍｂｐｓ以上の回線帯域が必要となる。ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）を提供しているある環境の例では、５Ｍｂｐｓ以上の実行速度が出ている回線の比率は６０％であるのに対し、２Ｍｂｐｓ以上の実行速度が出ている回線の比率は９８％に達している。このため、この環境においては、本発明の効果によりほとんどのすべての回線でデータをスムーズに送信することができる。
【００８０】
また、以上のような記録配信装置１００、および、記録配信装置１００が行う記録配信方法によれば、記録配信装置１００が画像の合成を行うため、監視者の視聴装置では、画像の拡大縮小及び入れ替え等の処理が不要であり、近年増加している携帯端末のような、画像処理能力がＰＣ等に比べて低い装置においても、複数の画像を関連付けてスムーズに監視することができる。
【００８１】
また、以上に記載された記録配信装置１００、および、記録配信装置１００が行う記録配信方法によれば、合成画像データにおいて、各個別画像データの重要度の値に応じて、各個別画像データの画像サイズが自動的に変更されるため、監視者は、特に画面を切り替える等の操作をすることなく、重要な画像に常に着目して監視することができ、また、重要な事象を見逃すことなく細部の確認を行うことができる。
【００８２】
また、以上に記載された記録配信装置１００、および、記録配信装置１００が行う記録配信方法によれば、重要度の判定に、動き検知だけではなく複数の項目を組み合わせているため、動きのあるものだけでなく静止物にも対応することができるとともに、複数の項目に対して重み付けを行うことで、監視者が必要とする、より重要な画像に着目することができる。
【００８３】
さらに、以上に記載された記録配信装置１００、および、記録配信装置１００が行う記録配信方法によれば、画像の重要度に応じて、スレーブ装置となった各記録配信装置１００が画像の重要な部分のみを切り出してデータを送信するため、ＬＡＮにおけるトラフィックを低減することができるとともに、画像の切り出し処理を各記録配信装置１００に分散することで、マスタ装置である記録配信装置１００が画像合成を行う際の処理負荷を低減することができる。このため、記録配信装置１００を安価に製造することができる。
【００８４】
また、以上に記載された記録配信装置１００、および、記録配信装置１００が行う記録配信方法によれば、自装置で撮像された画像データが固有識別子とともに記録されるとともに、合成画像データにも合成された個別画像データの固有識別子が添付されているため、視聴者は、合成画像データに添付されている固有識別子に基づいて、元の個別画像データを容易に確認することができる。
【００８５】
さらに、以上に記載された記録配信装置１００、および、記録配信装置１００が行う記録配信方法によれば、記録配信装置１００の設置位置は、なんら制約を受けることなく、自由に設置しても本発明の効果が得られる。
【００８６】
実施の形態２．
次に、実施の形態２について説明する。
図１３は、実施の形態２に係る記録配信装置２００の構成を概略的に示すブロック図である。記録配信装置２００は、画像撮像部１０１と、画像解析部１０２と、外部情報入力部１０３と、外部情報解析部１０４と、音声入力部１０５と、音声解析部１０６と、メタデータ生成部１０７と、重要度算出部２０８と、画像符号化部１０９と、画像切出部１１０と、送信データ切替部２１１と、管理情報生成部１１２と、データ記録部１１３と、データ受信部１１４と、メタデータ抽出部１１５と、重要度抽出部１１６と、画像データ抽出部１１７と、重要度比較部２１８と、スケーリング部１１９と、データ合成部１２０と、データ送信部１２１と、閾値比較部２２２とを備える。ここで、実施の形態２に係る記録配信装置２００は、重要度算出部２０８、送信データ切替部２１１及び重要度比較部２１８での処理の点、並びに、閾値比較部２２２が備えられている点で、実施の形態１に係る記録配信装置１００と異なっている。実施の形態２に係る記録配信装置２００は、撮像された画像の個別画像データの重要度の値が予め定められている閾値を超えた場合に、合成画像データを含む合成送信データを作成し、ネットワークに送信する。
【００８７】
重要度算出部２０８は、実施の形態１における重要度算出部１０８と同様に、個別画像データの重要度を算出する。例えば、重要度算出部２０８は、自装置である記録配信装置２００がスレーブ装置である場合には、メタデータ生成部１０７から与えられる部分メタデータから個別画像データの重要度を算出し、この重要度の値を、メタデータ生成部１０７及び閾値比較部２２２に与える。また、重要度算出部２０８は、自装置である記録配信装置２００がマスタ装置である場合には、メタデータ生成部１０７から与えられる部分メタデータから個別画像データの重要度を算出し、この重要度の値を、メタデータ生成部１０７、重要度比較部２１８及び閾値比較部２２２に与える。
【００８８】
閾値比較部２２２は、重要度算出部２０８から与えられた重要度の値が、予め定められた閾値よりも大きいか否かを判断する。そして、閾値比較部２２２は、重要度算出部２０８から与えられた重要度の値が、予め定められた閾値よりも大きい場合には、送信データ切替部２１１に個別画像データを出力する指示を与え、重要度算出部２０８から与えられた重要度の値が、予め定められた閾値以下である場合には、送信データ切替部２１１に個別画像データを出力しない指示を与える。
【００８９】
送信データ切替部２１１は、実施の形態１における送信データ切替部１１１と同様に、画像切出部１１０から与えられた個別画像データを出力する出力先を切り替える。但し、本実施の形態においては、送信データ切替部２１１は、閾値比較部２２２より個別画像データを出力する指示が与えられた場合に、個別画像データを出力し、閾値比較部２２２より個別画像データを出力しない指示が与えられた場合には、個別画像データを出力しない。
【００９０】
重要度比較部２１８は、実施の形態１における重要度比較部１１８と同様の処理を行うが、自装置である記録配信装置２００がマスタ装置である場合に、重要度算出部２０８で算出された重要度の値が予め定められた閾値以下であると閾値比較部２２２が判断したときには、スレーブ装置である記録配信装置２００から個別送信データを受信しているか否かを判断する。例えば、重要度比較部２１８は、重要度抽出部１１６より重要度の値を受け取っている場合には、スレーブ装置である記録配信装置２００から個別送信データを受信していると判断する。そして、重要度比較部２１８は、スレーブ装置である記録配信装置２００から個別送信データを受信していると判断した場合には、実施の形態１における重要度比較部１１８と同様に重要度の値を比較する処理を行う。
【００９１】
次に、記録配信装置２００での動作を説明する。
図１４は、実施の形態２に係る記録配信装置２００がスレーブ装置である場合の処理を示すフローチャートである。ここで、図１４のステップＳ４０〜Ｓ４６までの処理は、図６のステップＳ１０〜Ｓ１６までの処理と同様である。但し、重要度算出部２０８は、ステップＳ４３で算出した重要度の値を閾値比較部２２２にも与える。
【００９２】
ステップＳ４７では、画像切出部１１０は、個別画像データを生成する。例えば、画像切出部１１０は、メタデータ生成部１０７から与えられた部分メタデータに、動きが検知された領域を示すデータ及び顔が検出された領域を示すデータの少なくとも何れか一方が含まれている場合には、当該領域を含む範囲を、画像符号化部１０９から与えられた画像データより切り出す。そして、画像切出部１１０は、切り出した画像データを個別画像データとする。一方、画像切出部１１０は、メタデータ生成部１０７から与えられた部分メタデータに、動きが検知されていないことを示すデータが含まれており、かつ、顔が検出されていないことを示すデータが含まれている場合には、画像符号化部１０９から与えられた画像データを個別画像データとする。そして、画像切出部１１０は、個別画像データを送信データ切替部２１１に与える。
【００９３】
次に、閾値比較部２２２は、ステップＳ４３で重要度算出部２０８より与えられた重要度の値が、予め定められている閾値を超えているか否かを判断する（Ｓ４８）。閾値比較部２２２は、閾値を超えている場合（ステップＳ４８でＹｅｓ）には、送信データ切替部２１１に個別画像データを出力する指示を与えて、ステップＳ４９の処理に進み、閾値を超えていない場合（ステップＳ４８でＮｏ）には、送信データ切替部２１１に個別画像データを出力しない指示を与えて、ステップＳ４０の処理に戻る。
ここで、送信データ切替部２１１は、閾値比較部２２２より、個別画像データを出力する指示を受けた場合には、ステップＳ４７で画像切出部１１０より与えられた個別画像データをデータ合成部１２０に与える。なお、送信データ切替部１１１は、閾値比較部２２２より、個別画像データを出力しない指示を受けた場合には、例えば、ステップＳ４７で画像切出部１１０より与えられた個別画像データを廃棄する。
【００９４】
次に、データ合成部１２０は、ステップＳ４３でメタデータ生成部１０７から与えられた部分メタデータ及び重要度の値と、ステップＳ４５で管理情報生成部１１２から与えられた固有識別子とを含む個別メタデータを生成し、この個別メタデータを、ステップＳ４８で送信データ切替部２１１から与えられた個別画像データに添付することで個別送信データを生成する（Ｓ４９）。そして、データ合成部１２０は、生成された個別送信データをデータ送信部１２１に与える。
【００９５】
次に、データ送信部１２１は、データ合成部１２０から与えられた個別送信データを、ネットワークを介して、マスタ装置である記録配信装置２００に送信する（Ｓ５０）。
【００９６】
図１５は、実施の形態２に係る記録配信装置２００がマスタ装置である場合の処理を示すフローチャートである。ここで、図１５のステップＳ６０〜ステップＳ７０までの処理は、図１０のステップＳ２０〜Ｓ３０までの処理と同様である。但し、重要度算出部２０８は、ステップＳ６３において算出された重要度の値を閾値比較部２２２にも与える。
【００９７】
ステップＳ７１では、閾値比較部２２２は、ステップＳ６３で重要度算出部２０８から与えられた重要度の値が、予め定められた閾値を超えているか否かを判断する。そして、閾値比較部２２２は、この重要度の値が予め定められた閾値以下である場合（ステップＳ７１でＮｏ）には、ステップＳ７２の処理に進み、この重要度の値が予め定められた閾値を超えている場合（ステップＳ７１でＹｅｓ）には、ステップＳ７３の処理に進む。
【００９８】
ステップＳ７２では、重要度比較部２１８は、スレーブ装置である記録配信装置２００から個別送信データを受信しているか否かを判断する。そして、重要度比較部２１８は、このような個別送信データを受信している場合（ステップＳ７２でＹｅｓ）には、ステップＳ７３の処理に進み、このような個別送信データを受信していない場合（ステップＳ７２でＮｏ）には、ステップＳ６０の処理に戻る。
【００９９】
ステップＳ７３では、重要度比較部２１８は、重要度算出部２０８で算出された、個別画像データの重要度の値、及び、重要度抽出部１１６で抽出された、各個別画像データの重要度の値を比較して、各個別画像データの画像を１つの画像データに合成する際の、各個別画像データのサイズ及び配置位置を特定する。そして、重要度比較部２１８は、特定されたサイズをスケーリング部１１９に与え、特定された配置位置をデータ合成部１２０に与える。
【０１００】
次に、スケーリング部１１９は、重要度比較部２１８から与えられたサイズとなるように、各個別画像データのスケーリングを実行する（Ｓ７４）。そして、スケーリング部１１９は、サイズ変更後の個別画像データをデータ合成部１２０に与える。この際、スケーリング部１１９は、個別画像データ毎に、縮小率又は拡大率を示すスケーリングエリア情報を添付する。また、スケーリング部１１９は、黒画像データ等、予め定められた画像データで代用した場合には、元の画像がないことを示す情報を添付する。
【０１０１】
次に、データ合成部１２０は、ステップＳ７４でスケーリングされた個別画像データを、重要度比較部２１８から与えられた配置位置に配置することで合成画像データを生成する。また、データ合成部１２０は、ステップＳ６３でメタデータ生成部１０７から与えられた部分メタデータ及び重要度の値と、ステップＳ６５で管理情報生成部１１２から与えられた固有識別子と、ステップＳ６８でメタデータ抽出部１１５から与えられた個別メタデータとを含む合成メタデータを生成する。そして、データ合成部１２０は、生成された合成画像データに、生成された合成メタデータを添付することで合成送信データを生成する（Ｓ７５）。そして、データ合成部１２０は、生成された合成送信データをデータ送信部１２１に与える。
ＬＡＮに接続されている全ての記録配信装置２００、例えば、図３に示されている設置例においては、４台のカメラ１５１〜１５４の画像の全てが重要であるわけではなく、重要度によって、カメラ１台分の画像のみが重要であるケース、又は、カメラ２台分の画像が重要であるケース等が発生する。このため、実施の形態２におけるデータ合成部１２０は、例えば、広域ネットワークに送信する画像がカメラ１台分の場合には、その１台のカメラの画像を全画面に表示されるようなサイズ及び位置に合成する。
【０１０２】
次に、データ送信部１２１は、データ合成部１２０から与えられた合成送信データを、ネットワークを介して、予め定められた装置、例えば、視聴装置に送信する（Ｓ７６）。
【０１０３】
以上のように、実施の形態２に係る記録配信装置２００によれば、複数の記録配信装置２００で撮像された画像のうち、少なくとも１台以上においてその画像の重要度の値が閾値を越えている場合、言い換えると、その画像が重要と判断された場合にのみ、広域ネットワークに対して合成画像データの送信が行われる。また、実施の形態２に係る記録配信装置２００によれば、ＬＡＮにおいても、画像の重要度の値が所定の閾値を超えた場合にのみ、スレーブ装置からマスタ装置に対して個別画像データの送信が行われる。このため、実施の形態２に係る記録配信装置２００によれば、広域ネットワーク及びＬＡＮの何れのネットワークにおいても、伝送するデータ量を削減することができる。従って、実施の形態１よりもネットワーク帯域が狭い環境でも、効率的な監視を行うことができる。
【０１０４】
また、実施の形態２に係る記録配信装置２００によれば、重要度の値が閾値を超えている画像、言い換えると、重要と判断された画像のみを合成画像として送信することで、重要な画像をより大きく表示可能となり、また、重要では無い画像を表示しないことで、監視者が重要な事象を見逃すといった問題がなくなる。
【０１０５】
なお、閾値比較部２２２で重要度を判定する閾値は、ＬＡＮに接続された全ての記録配信装置２００で同一の値が設定されていてもよいし、記録配信装置２００の設定位置や撮像対象等に応じて、記録配信装置２００毎に個別の値が設定されてもよい。
【０１０６】
実施の形態３．
次に、実施の形態３について説明する。
図１６は、実施の形態３に係る記録配信装置３００の構成を概略的に示すブロック図である。記録配信装置３００は、画像撮像部１０１と、画像解析部１０２と、外部情報入力部１０３と、外部情報解析部１０４と、音声入力部１０５と、音声解析部１０６と、メタデータ生成部３０７と、重要度算出部３０８と、画像符号化部１０９と、画像切出部３１０と、送信データ切替部１１１と、管理情報生成部１１２と、データ記録部１１３と、データ受信部１１４と、メタデータ抽出部１１５と、重要度抽出部３１６と、画像データ抽出部１１７と、重要度比較部３１８と、スケーリング部３１９と、データ合成部３２０と、データ送信部１２１と、タイマー部３２３と、グループ化抽出部３２４とを備える。実施の形態３に係る記録配信装置３００は、メタデータ生成部３０７、重要度算出部３０８、画像切出部３１０、重要度抽出部３１６、重要度比較部３１８、スケーリング部３１９及びデータ合成部３２０での処理の点、及び、タイマー部３２３及びグループ化抽出部３２４が備えられている点において、実施の形態１と異なっている。ここで、実施の形態３に係る記録配信装置３００は、所定の時間内に撮像された画像のなかから選択された画像を合成する。なお、記録配信装置３００が、スレーブ装置である場合の処理は、実施の形態１と同様である。
【０１０７】
メタデータ生成部３０７は、自装置である記録配信装置３００がスレーブ装置である場合には、実施の形態１におけるメタデータ生成部１０７と同様の処理を行う。
メタデータ生成部３０７は、自装置である記録配信装置３００がマスタ装置である場合には、画像解析部１０２、外部情報解析部１０４及び音声解析部１０６から与えられた解析結果データに基づいて、これらの解析部で解析された解析結果を含む部分メタデータを生成し、この部分メタデータに、画像解析部１０２で解析された画像を識別するための画像識別情報を添付して、重要度算出部３０８に与える。ここで、この画像識別情報としては、画像解析部１０２から画像解析データが入力される度に、所定の初期値からカウントアップしたカウント値が用いられればよい。
そして、メタデータ生成部３０７は、部分メタデータに基づいて重要度算出部３０８で算出された重要度の値と、この重要度の値を算出するために用いた部分メタデータに添付されていた画像識別情報とが与えられると、この重要度の値と、この重要度の値を算出するために用いられた部分メタデータとをデータ合成部３２０に与える。
また、メタデータ生成部３０７は、重要度算出部３０８から受け取った重要度の値を算出するために用いられた部分メタデータに含まれている画像解析データと、この画像解析データに対応する画像の画像識別情報とを画像切出部３１０に与える。
【０１０８】
重要度算出部３０８は、自装置である記録配信装置３００がスレーブ装置である場合には、実施の形態１における重要度算出部１０８と同様の処理を行う。
重要度算出部３０８は、自装置である記録配信装置３００がマスタ装置である場合には、メタデータ生成部３０７から与えられる部分メタデータから個別画像データの重要度を算出し、この重要度の値を、この重要度の値を算出するために用いた部分メタデータに添付されていた画像識別情報とともに、グループ化抽出部３２４に与える。そして、重要度算出部３０８は、グループ化抽出部３２４より、グループ化抽出部３２４で抽出された画像識別情報の通知を受けると、通知された画像識別情報と、この画像識別情報が添付されていた部分メタデータから算出された重要度の値と、をメタデータ生成部３０７及び重要度比較部３１８に与える。
【０１０９】
画像切出部３１０は、自装置である記録配信装置３００がスレーブ装置である場合には、実施の形態１における画像切出部１１０と同様の処理を行う。
画像切出部３１０は、自装置である記録配信装置３００がマスタ装置である場合には、メタデータ生成部３０７から与えられた画像識別情報に対応する画像データにおいて、メタデータ生成部３０７から与えられた画像解析データに基づいて、必要な場合には、画像撮像部１０１で撮像された画像の中の一部分を切り出す。そして、画像切出部３１０は、個別画像データを送信データ切替部１１１に与える。なお、本実施の形態においては、画像切出部３１０は、自装置である記録配信装置３００がマスタ装置である場合には、メタデータ生成部３０７から与えられた画像識別情報に対応しない画像データを破棄して、送信データ切替部１１１には出力しない。ここで、画像切出部３１０でも、画像符号化部１０９から画像データが与えられる度に、所定の初期値からカウントアップしたカウント値を算出しておき、このカウント値を画像識別情報として用いればよい。
【０１１０】
重要度抽出部３１６は、メタデータ抽出部１１５から与えられた個別メタデータより重要度の値及び固有識別子を抽出し、これらの重要度の値及び固有識別子をグループ化抽出部３２４に与える。
そして、重要度抽出部３１６は、グループ化抽出部３２４より、グループ化抽出部３２４により抽出された固有識別子の通知を受けると、通知された固有識別子と、この固有識別子に対応する個別画像データの重要度の値を重要度比較部３１８に与える。
【０１１１】
タイマー部３２３は、予め定められた時間をカウントする。そして、タイマー部３２３は、予め定められた時間がカウントされた場合には、予め定められた時間がカウントされたことをグループ化抽出部３２４に通知する。
【０１１２】
グループ化抽出部３２４は、タイマー部３２３からの通知間隔毎に、重要度算出部３０８から与えられた重要度の値が複数ある場合には、これらの中で最も値の大きい重要度に対応する画像識別情報をメタデータ生成部３０７に通知する。なお、グループ化抽出部３２４は、タイマー部３２３からの通知間隔内において、重要度算出部３０８から与えられた重要度の値が１つである場合には、この重要度の値に対応する画像識別情報をメタデータ生成部３０７に通知する。
また、グループ化抽出部３２４は、タイマー部３２３からの通知間隔毎に、重要度抽出部３１６から、同じスレーブ装置で生成された個別画像データの重要度の値が複数与えられた場合には、これらの中で最も値の大きい重要度に対応する固有識別子を重要度抽出部３１６に通知する。なお、グループ化抽出部３２４は、タイマー部３２３からの通知間隔内において、重要度抽出部３１６から、同じスレーブ装置で生成された個別画像データの重要度の値が１つ与えられた場合には、この重要度の値に対応する固有識別子を重要度抽出部３１６に通知する。
【０１１３】
重要度比較部３１８は、重要度算出部３０８及び重要度抽出部３１６から与えられた重要度の値を比較して、各個別画像データの画像を１つの画像データに合成する際の、各個別画像データのサイズ及び配置位置を特定する。そして、重要度比較部３１８は、画像識別情報又は固有識別子で識別される、各個別画像データのサイズをスケーリング部３１９に与え、画像識別情報又は固有識別子で識別される、各個別画像データの配置位置をデータ合成部３２０に与える。
【０１１４】
スケーリング部３１９は、重要度比較部３１８から受け取った、画像識別情報又は固有識別子で識別される、各個別画像データのサイズに合わせて、送信データ切替部１１１及び画像データ抽出部１１７から与えられた個別画像データのサイズを変更する。そして、スケーリング部３１９は、サイズ変更後の個別画像データをデータ合成部３２０に与える。なお、スケーリング部３１９は、重要度比較部１１８から与えられた固有識別子に対応しない個別画像データについては、破棄し、データ合成部３２０には、出力しない。
【０１１５】
データ合成部３２０は、自装置である記録配信装置３００がスレーブ装置である場合には、実施の形態１におけるデータ合成部１２０と同様の処理を行う。
データ合成部３２０は、自装置である記録配信装置３００がマスタ装置である場合には、重要度比較部３１８から受け取った、画像識別情報又は固有識別子で識別される各個別画像データの配置位置に合わせて、送信データ切替部１１１及びスケーリング部３１９から与えられた個別画像データを合成することで合成画像データを生成する。そして、データ合成部３２０は、メタデータ生成部３０７から与えられた部分メタデータ及び重要度の値と、管理情報生成部１１２から与えられた固有識別子のうち、重要度比較部３１８から受け取った画像識別子に対応するものと、メタデータ抽出部１１５から与えられた個別メタデータのうち、重要度比較部３１８から受け取った固有識別子に対応するものとを含む合成メタデータを生成する。そして、データ合成部３２０は、生成された合成画像データに合成メタデータを添付することで合成送信データを生成する。
そして、データ合成部３２０は、以上のようにして生成された合成送信データをデータ送信部１２１に与える。また、データ合成部１２０は、以上のようにして生成された合成送信データをデータ記録部１１３に記録させる。
【０１１６】
次に、図１７を用いて、実施の形態３に係る記録配信装置３００でのグループ化抽出処理について説明する。図１７は、実施の形態３に係る記録配信装置３００が行うグループ化抽出処理を説明するための概略図である。図１７において、第１カメラ、第２カメラ、第３カメラ及び第４カメラは、記録配信装置３００により実現されている。また、図１７において、横軸方向は時間軸であり、丸の記号は、各カメラの画像生成タイミングを示す。そして、縦の破線で区切られた区間が、タイマー部３２３で計時される一定の時間である。図１７では、この一定の時間を１つのグループとし、説明のために、それぞれのグループは、グループＡからグループＦとして、区別されている。
【０１１７】
図１７に示されているように、一般的に監視用途では、カメラの設置場所によって、例えば、４秒に１枚の撮像であったり、１秒に１枚の撮像であったり、あるいは、１秒間に４枚の撮像である等、撮像の間隔が異なる設定で運用される場合がある。
【０１１８】
本実施の形態に係る記録配信装置３００は、各グループ内で各カメラに対して最大１枚の画像を抽出する。１つグループの中に、あるカメラの画像が１枚だけである場合には、その画像が抽出され、１つグループの中に、あるカメラの画像が１枚もない場合には、画像は抽出されない。そして、１つグループの中に、あるカメラの画像が複数枚ある場合には、それら複数枚の画像の重要度の値を比較し、一番重要度の値の高いものが抽出される。
【０１１９】
グループＡの例では、第１カメラの画像は１枚だけであるため、この画像が第１カメラの画像として抽出される。第２カメラの画像も１枚だけであるため、この画像が第２カメラの画像として抽出される。第３カメラの画像は２枚あるため、これらの画像のうち、より重要度の値の高い方が第３カメラの画像として抽出される。第４カメラの画像は１枚だけであるため、この画像が第４カメラの画像として抽出される。このようにして抽出された画像が、グループＡの時間における合成画像データとして合成される。
【０１２０】
本実施の形態におけるグループ化のための一定の時間は、記録配信装置３００の設置される環境や監視対象によって予め設定されればよい。例えば、河川の状態等を監視するような場合には、一般的に単位時間当たりの重要度の値の変化は小さいため、グループ化のための一定の時間は、比較的長い時間、例えば、５秒等が設定されればよい。一方、人の動き等を監視するような場合には、この一定の時間は、比較的短い時間、例えば、０．５秒等が設定されればよい。グループ化のための一定の時間を小さくするほど、合成画像データに含まれている複数の画像データの相関度は高くなるが、送出されるデータ量は増加する。
【０１２１】
以上のように、実施の形態３に係る記録配信装置３００によれば、一定時間間隔において最も重要な画像が抽出されて合成され、この一定時間間隔における重要画像を１枚の画像で確認できるため、ネットワークに送信するデータ量を効率的に削減することができる。
【０１２２】
以上に記載された実施の形態３での処理を、実施の形態２に追加することも可能である。
【０１２３】
実施の形態４．
次に、実施の形態４について説明する。
図１８は、実施の形態４に係る記録配信装置４００の構成を概略的に示すブロック図である。記録配信装置４００は、画像撮像部１０１と、画像解析部１０２と、外部情報入力部１０３と、外部情報解析部１０４と、音声入力部１０５と、音声解析部１０６と、メタデータ生成部４０７と、重要度算出部１０８と、画像符号化部１０９と、画像切出部１１０と、送信データ切替部１１１と、管理情報生成部１１２と、データ記録部４１３と、データ受信部１１４と、メタデータ抽出部４１５と、重要度抽出部１１６と、画像データ抽出部４１７と、重要度比較部１１８と、スケーリング部４１９と、データ合成部４２０と、データ送信部１２１と、記録状態監視部４２５と、記録状態検知部４２６と、記録データ切替部４２７とを備える。実施の形態４に係る記録配信装置４００は、メタデータ生成部４０７、メタデータ抽出部４１５、画像データ抽出部４１７、スケーリング部４１９及びデータ合成部４２０での処理の点、データ記録部４１３に記録されているデータの点、並びに、記録状態監視部４２５、記録状態検知部４２６及び記録データ切替部４２７が備えられている点において、実施の形態１に係る記録配信装置１００と異なっている。
【０１２４】
記録状態監視部４２５は、データ記録部４１３で正常に記録が行われているか否かを監視する。例えば、データ記録部４１３は、ハードディスク又はフラッシュメモリ等の記憶媒体により実現されているが、一般的に、これら記憶媒体は、書き込み回数に応じた寿命、又は、部分的な故障等により、書き込みができなくなる場合がある。そして、記録状態監視部４２５は、何らかの理由により、データ記録部４１３で正常に記録されていないことを検知した場合、例えば、記録エラーを検知した場合等には、正常に記録が行われていないことをメタデータ生成部４０７に通知する。
【０１２５】
メタデータ生成部４０７は、画像解析部１０２、外部情報解析部１０４及び音声解析部１０６から与えられた解析結果データに基づいて、これらの解析部で解析された解析結果を含む部分メタデータを生成し、この部分メタデータを重要度算出部１０８に与える。また、メタデータ生成部４０７は、記録状態監視部４２５からの通知に基づいて、記録が正常に行われているか否かを示すフラグ情報を生成する。例えば、メタデータ生成部４０７は、記録状態監視部４２５から正常に記録が行われていないことが通知された場合には、記録が正常に行われていないことを示すフラグ情報を生成し、記録状態監視部４２５から正常に記録が行われていないことが通知されていない場合には、記録が正常に行われていることを示すフラグ情報を生成する。そして、メタデータ生成部４０７は、部分メタデータに基づいて重要度算出部１０８で算出された重要度の値が与えられると、この重要度の値と、この部分メタデータと、フラグ情報とをデータ合成部４２０に与える。
また、メタデータ生成部４０７は、画像解析部１０２から受け取った画像解析データを画像切出部１１０に与える。
【０１２６】
メタデータ抽出部４１５は、データ受信部１１４で受信された個別送信データから個別メタデータを抽出し、この個別メタデータを重要度抽出部１１６、データ合成部４２０及び記録状態検知部４２６に与える。
【０１２７】
画像データ抽出部４１７は、データ受信部１１４で受信された個別送信データから個別画像データを抽出し、この個別画像データを記録データ切替部４２７に与える。
【０１２８】
記録状態検知部４２６は、メタデータ抽出部４１５から与えられた個別メタデータに含まれているフラグ情報を確認し、このフラグ情報が、記録が正常に行われていないことを示す場合には、この個別メタデータを記録データ切替部４２７に与え、データ記録部４１３に個別画像データとともに記録する指示を出す。
【０１２９】
記録データ切替部４２７は、画像データ抽出部４１７から受け取った個別画像データをスケーリング部４１９に与える。また、記録データ切替部４２７は、記録状態検知部４２６からの記録指示に応じて、記録状態検知部４２６から受け取った個別メタデータに対応する個別画像データを、この個別メタデータとともに、データ記録部４１３に送る。
【０１３０】
データ記録部４１３は、データを記録する。例えば、データ記録部４１３は、管理情報生成部１１２から与えられた画像データ及び固有識別子を対応付けて記録する。また、データ記録部４１３は、メタデータ生成部４０７から部分メタデータが与えられると、当該部分メタデータを対応する画像データに対応付けて記録する。さらに、データ記録部４１３は、自装置である記録配信装置４００がマスタ装置である場合には、データ合成部４２０から与えられた合成送信データを記録する。また、データ記録部４１３は、記録データ切替部４２７から受け取った個別画像データ及び個別メタデータを記録する。
【０１３１】
スケーリング部４１９は、重要度比較部１１８から受け取った、各個別画像データのサイズに合わせて、送信データ切替部１１１及び記録データ切替部４２７から与えられた個別画像データのサイズを変更する。そして、スケーリング部４１９は、サイズ変更後の個別画像データをデータ合成部４２０に与える。
【０１３２】
データ合成部４２０は、画像データにメタデータを添付することにより送信データを生成し、この送信データをデータ送信部１２１に与える。
例えば、データ合成部４２０は、自装置である記録配信装置４００がスレーブ装置である場合には、メタデータ生成部４０７から与えられた部分メタデータ、重要度の値及びフラグ情報と、管理情報生成部１１２から与えられた固有識別子とを含む個別メタデータを生成し、この個別メタデータを、送信データ切替部１１１から与えられた個別画像データに添付することで個別送信データを生成する。
一方、データ合成部４２０は、自装置である記録配信装置４００がマスタ装置である場合には、スケーリング部４１９から与えられたサイズ変更後の個別画像データを、重要度比較部１１８から受け取った各個別画像データの配置位置に配置することで合成画像データを生成する。そして、データ合成部４２０は、自装置である記録配信装置４００がマスタ装置である場合には、メタデータ生成部４０７から与えられた部分メタデータ、重要度の値及びフラグ情報と、管理情報生成部１１２から与えられた固有識別子と、メタデータ抽出部４１５から与えられた個別メタデータとを含む合成メタデータを生成する。そして、データ合成部１２０は、生成された合成画像データに合成メタデータを添付することで合成送信データを生成する。
そして、データ合成部４２０は、以上のようにして生成された個別送信データ又は合成送信データをデータ送信部１２１に与える。また、データ合成部４２０は、以上のようにして生成された合成送信データをデータ記録部４１３に記録させる。
【０１３３】
図１９は、実施の形態４におけるデータ合成部４２０が生成する個別送信データＩＩＤ４のデータ構造を示す概略図である。
個別送信データＩＩＤ４は、個別画像データＩＩＤ４１と、固有識別子ＩＩＤ４２と、記録状態情報ＩＩＤ４３と、重要度ＩＩＤ４４と、項目個数ＩＩＤ４５と、項目番号ＩＩＤ４６と、解析結果データサイズＩＩＤ４７と、解析結果ＩＩＤ４８とを有する。ここで、個別送信データＩＩＤ４の個別画像データＩＩＤ４１、固有識別子ＩＩＤ４２、重要度ＩＩＤ４４、項目個数ＩＩＤ４５、項目番号ＩＩＤ４６、解析結果データサイズＩＩＤ４７及び解析結果ＩＩＤ４８は、図９に示されている個別送信データＩＩＤ１の個別画像データＩＩＤ１１、固有識別子ＩＩＤ１２、重要度ＩＩＤ１３、項目個数ＩＩＤ１４、項目番号ＩＩＤ１５、解析結果データサイズＩＩＤ１６及び解析結果ＩＩＤ１７と、それぞれ同様である。
記録状態情報ＩＩＤ４３は、メタデータ生成部４０７から送られてくるフラグ情報である。この記録状態情報ＩＩＤ４３を参照することにより、マスタ装置は、スレーブ装置の記録状態を検知することができる。
【０１３４】
図２０は、実施の形態４におけるデータ合成部４２０が生成する合成送信データＳＩＤ４のデータ構造を示す概略図である。
合成送信データＳＩＤ４は、合成画像データＳＩＤ４１と、最大カメラ数ＳＩＤ４２と、各画像有無情報ＳＩＤ４３と、各記録状態情報ＳＩＤ４４と、カメラ番号ＳＩＤ４５と、スケーリングエリアＳＩＤ４６と、固有識別子ＳＩＤ４７と、重要度ＳＩＤ４８と、項目個数ＳＩＤ４９と、項目番号ＳＩＤ５０と、解析結果データサイズＳＩＤ５１と、解析結果ＳＩＤ５２とを有する。ここで、合成送信データＳＩＤ４の合成画像データＳＩＤ４１、最大カメラ数ＳＩＤ４２、各画像有無情報ＳＩＤ４３、カメラ番号ＳＩＤ４５、スケーリングエリアＳＩＤ４６、固有識別子ＳＩＤ４７、重要度ＳＩＤ４８、項目個数ＳＩＤ４９、項目番号ＳＩＤ５０、解析結果データサイズＳＩＤ５１及び解析結果ＳＩＤ５２は、図１０に示されているＳＩＤ１の合成画像データＳＩＤ１１、最大カメラ数ＳＩＤ１２、各画像有無情報ＳＩＤ１３、カメラ番号ＳＩＤ１４、スケーリングエリアＳＩＤ１５、固有識別子ＳＩＤ１６、重要度ＳＩＤ１７、項目個数ＳＩＤ１８、項目番号ＳＩＤ１９、解析結果データサイズＳＩＤ２０及び解析結果ＳＩＤ２１と、それぞれ同様である。
各記録状態情報ＳＩＤ４４は、カメラ（記録配信装置４００）毎に、記録が正常に行われているか否かを示す情報である。例えば、各記録状態情報ＳＩＤ４４は、ビットパターンの情報で明示される。例えば、図２及び３に示されている例において、４つのカメラ１５１〜１５４のうち、第１カメラ１５１、第２カメラ１５２及び第４カメラ１５４では、記録が正常に行われており、第３カメラ１５３では、記録が正常に行われていない場合には、各記録状態情報ＳＩＤ４４は、「０００１」と示される。
【０１３５】
なお、個別送信データＩＩＤ４及び合成送信データＳＩＤ４のデータ構造は、図１９及び図２０にそれぞれ示されているデータ構造に限定されるものではない。図１９及び図２０に示されている情報が含まれていればよい。従って、本発明の効果に影響のないその他の情報、例えば、メーカー情報等が含まれていてもよい。
【０１３６】
以上のように、実施の形態４に係る記録配信装置４００によれば、ＬＡＮ接続された複数の記録配信装置４００の何れかにおいて、画像データを記録できなくなる不具合が発生した場合に、別の記録配信装置４００で、不具合の生じた記録配信装置４００で撮像された個別画像データを記録することができ、記録媒体の不具合により記録ができない問題を改善することができる。
【０１３７】
なお、以上に記載された実施の形態４での処理を、実施の形態２又は３に追加することも可能である。
【０１３８】
以上に記載された実施の形態１〜４では、記録配信装置１００〜４００は、自装置がスレーブ装置である場合に、自装置で撮像された画像の個別画像データに対して、重要度を算出して、この重要度を個別送信データに含めて、マスタ装置に送信している。この点、例えば、記録配信装置１００〜４００は、自装置がスレーブ装置である場合には、重要度を算出せず、重要度を算出するために必要な部分メタデータを個別送信データに含めて、マスタ装置に送信するようにしてもよい。このような場合には、マスタ装置である記録配信装置１００〜４００では、メタデータ抽出部１１５、４１５が、抽出された個別メタデータを重要度算出部１０８、２０８、３０８に与えて、重要度算出部１０８、２０８、３０８が、個別メタデータに含まれている部分メタデータに基づいて、スレーブ装置の個別画像データの優先度を算出するようにすればよい。
【０１３９】
また、以上に記載された実施の形態１〜４では、記録配信装置１００〜４００は、自装置がマスタ装置である場合に、個別画像データのスケーリングを行っているが、自装置がスレーブ装置である場合にも、重要度に対応したサイズに、個別画像データのスケーリングを行ってもよい。このような場合には、マスタ装置で、スレーブ装置から送られてきた個別画像データをスケーリングしなくてもよい。そして、スレーブ装置が、個別画像データをダウンサイズして送信することで、ＬＡＮにおける使用帯域も節約することができる。
【０１４０】
また、例えば、特許文献１に記載された技術では、複数のＩＰカメラで同時に動きが検出された場合には、動きが検出された画像のうち、関連する画像のみを連続してモニタに表示することができなくなるが、実施の形態１〜４に係る記録配信装置１００〜４００によれば、動きが検出された画像が合成されて１つの画像として表示されるため、複数の記録配信装置１００〜４００で撮像された画像に、同時に動きが検出された場合であっても、効率的に監視を行うことができる。
【０１４１】
さらに、特許文献１に記載された技術では、動きが検出された画像が１枚ずつモニタに表示されるため、重要な画像が複数のＩＰカメラにまたがって撮像された場合に、それらの画像を関連付けて管理し、同時に視聴することができず、重要な映像を見逃すといった問題があった。しかしながら、実施の形態１〜４に係る記録配信装置１００〜４００では、重要な映像が合成されて同時に視聴することができるため、このような問題が生じない。
【０１４２】
さらにまた、特許文献１に記載された技術では、動きを検知するモーションディテクト機能を用いて画像の切り替えを行うため、動きがあった場合にしか画像が送信されない。このため、例えば、立ち止まった人や、置き去りにされた物等動きのない画像はデータとして送信されることがなく、視聴することも記録することもできないという問題があった。しかしながら、実施の形態１〜４に係る記録配信装置１００〜４００では、動きが検出された場合だけでなく、例えば、センサ入力があった場合、顔が検出された場合、音声入力があった場合等、複数の項目から重要度を判定しているため、このような問題が生じない。
【０１４３】
加えて、送信されてきた画像データを１枚の画像として表示する従来技術では、一度に多量の画像データが送られてきた場合には、画像を順次１枚の画像として表示するために、モニタ側の装置に高い処理能力が必要であった。これに対して、実施の形態１〜４に係る記録配信装置１００〜４００では、送信側で画像が合成されるため、受信側の装置は高い処理能力を必要としない。
【符号の説明】
【０１４４】
１００，２００，３００，４００：記録配信装置、 １０１：画像撮像部、 １０２：画像解析部、 １０３：外部情報入力部、 １０４：外部情報解析部、 １０５：音声入力部、 １０６：音声解析部、 １０７，３０７，４０７：メタデータ生成部、 １０８，２０８，３０８：重要度算出部、 １０９：画像符号化部、 １１０，３１０：画像切出部、 １１１，２１１：送信データ切替部、 １１２：管理情報生成部、 １１３，４１３：データ記録部、 １１４：データ受信部、 １１５，４１５：メタデータ抽出部、 １１６，３１６：重要度抽出部、 １１７，４１７：画像データ抽出部、 １１８，２１８，３１８：重要度比較部、 １１９，３１９，４１９：スケーリング部、 １２０，３２０，４２０：データ合成部、 １２１：データ送信部、 ２２２：閾値比較部、 ３２３：タイマー部、 ３２４：グループ化抽出部、 ４２５：記録状態監視部、 ４２６：記録状態検知部、 ４２７：記録データ切替部。
【技術分野】
【０００１】
本発明は、画像データの記録配信装置、画像データの記録配信方法、及び、画像データを用いた監視システムに関する。
【背景技術】
【０００２】
近年のネットワーク技術の向上と、画像符号化技術の向上とにより、ネットワークに接続された監視カメラを用いて遠隔地からセキュリティーの監視を行うことが行われている。このような遠隔監視においては、複数の監視カメラから送信された画像データを、ネットワークを介して、遠隔地のサーバーが受信して記録するとともに、監視者がこの記録画像を用いて異常発生時の画像を確認することが広く行われている。
【０００３】
また、監視カメラから送信された画像データの画像をリアルタイムで表示させ、遠隔地の監視者が異常を監視することも広く行われている。このような監視においては、監視カメラでの撮像画像の変化に応じて、異常を検出することも一般的に行われている。
【０００４】
このような複数の監視カメラを用いた遠隔地での監視においては、モニタに表示される画面を分割して、複数の監視カメラから送信されてくる画像データの画像を、同時にモニタに表示させることで、監視者が同時に複数の画像を視聴することが広く行われている。例えば、１６台の監視カメラから送信されてきた画像データの画像を表示する場合には、モニタに表示される画面を１６分割して、このモニタに、各々の監視カメラからの画像を同時に表示させることが行われている。また、この分割表示においては、モニタに、特定の監視カメラの画像のみを大きく表示させるように設定できる場合が多い。
【０００５】
しかしながら、監視員が、複数の監視カメラから送信されてくる画像を監視している際に、重要な画像を見つけだして、それらを関連付けて監視することは困難であった。例えば、複数の監視カメラから送られてくる画像にまたがって人物が移動していくような場合に、監視員が、それらを関連付けて監視することは困難であった。
【０００６】
このため、特許文献１では、複数のモーションディテクト付きＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）カメラを用いて、動きを検知したカメラの画像のみを遠隔地に送信し、遠隔地では、送信されてきた画像を１つのモニタに順次表示させるシステムが提案されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−９８５９２号公報（第７頁、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に記載されたシステムでは、複数のＩＰカメラが同時に動きを検知した場合には複数のＩＰカメラが同時に画像送信を行うため、データ量が急激に増加し、ネットワークの帯域が狭帯域の環境では画像の送信に時間がかかり重要なシーンの確認が遅れる等の問題があった。
【０００９】
そこで、本発明は上記のような課題を解決するためになされたものであり、狭帯域のネットワーク環境でも、複数の画像を効率的に送信して、効果的に監視することができるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一態様に係る記録配信装置は、
画像を撮像する画像撮像部と、
前記画像撮像部で撮像された画像の画像データを生成する画像符号化部と、
第１ネットワークから、画像データを含む個別送信データを受信するデータ受信部と、
前記個別送信データから画像データを抽出する画像データ抽出部と、
前記生成された画像データ及び前記抽出された画像データから選択された画像データより１つの画像データを生成し、当該１つの画像データを含む合成送信データを生成するデータ合成部と、
前記合成送信データを、第２ネットワークに送信するデータ送信部と、を備えること
を特徴とする。
【発明の効果】
【００１１】
本発明の一態様によれば、狭帯域のネットワーク環境でも、複数の画像を効率的に送信して、効果的に監視することができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態１に係る記録配信装置の構成を概略的に示すブロック図である。
【図２】実施の形態１に係る記録配信装置を用いた監視システムの構成を概略的に示す構成図である。
【図３】実施の形態１において、カメラの配置例を示す概略図である。
【図４】実施の形態１において、カメラで撮像された画像を示す概略図である。
【図５】実施の形態１において、カメラで撮像された画像を合成した合成画像の概略図である。
【図６】実施の形態１に係る記録配信装置がスレーブ装置である場合の処理を示すフローチャートである。
【図７】実施の形態１における重要度算出部が、重要度を算出する際に参照する重要度算出情報を示す概略図である。
【図８】（Ａ）及び（Ｂ）は、実施の形態１において、ある撮影条件下で撮像された画像に対して、重要度算出部が割り当てたスコアの値と、重要度算出部が算出した重要度の値の一例を示す概略図である。
【図９】実施の形態１における個別送信データのデータ構造を示す概略図である。
【図１０】実施の形態１に係る記録配信装置がマスタ装置である場合の処理を示すフローチャートである。
【図１１】（Ａ）〜（Ｔ）は、実施の形態１において、選択することのできる配置パターンの一例を示す概略図である。
【図１２】実施の形態１における合成送信データのデータ構造を示す概略図である。
【図１３】実施の形態２に係る記録配信装置の構成を概略的に示すブロック図である。
【図１４】実施の形態２に係る記録配信装置がスレーブ装置である場合の処理を示すフローチャートである。
【図１５】実施の形態２に係る記録配信装置がマスタ装置である場合の処理を示すフローチャートである。
【図１６】実施の形態３に係る記録配信装置の構成を概略的に示すブロック図である。
【図１７】実施の形態３に係る記録配信装置が行うグループ化抽出処理を説明するための概略図である。
【図１８】実施の形態４に係る記録配信装置の構成を概略的に示すブロック図である。
【図１９】実施の形態４における個別送信データのデータ構造を示す概略図である。
【図２０】実施の形態４における合成送信データのデータ構造を示す概略図である。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１は、実施の形態１に係る記録配信装置１００の構成を概略的に示すブロック図である。記録配信装置１００は、画像撮像部１０１と、画像解析部１０２と、外部情報入力部１０３と、外部情報解析部１０４と、音声入力部１０５と、音声解析部１０６と、メタデータ生成部１０７と、重要度算出部１０８と、画像符号化部１０９と、画像切出部１１０と、送信データ切替部１１１と、管理情報生成部１１２と、データ記録部１１３と、データ受信部１１４と、メタデータ抽出部１１５と、重要度抽出部１１６と、画像データ抽出部１１７と、重要度比較部１１８と、スケーリング部１１９と、データ合成部１２０と、データ送信部１２１とを備える。ここで、記録配信装置１００は、利用者の設定に基づいて、マスタ装置又はスレーブ装置のいずれかとして機能する。
【００１４】
なお、図１においては、記録配信装置１００に設けられる、あるいは、記録配信装置１００に接続される部分のうち、一部の部分、例えば、本装置の利用者が、記録の開始又は停止、マスタ装置又はスレーブ装置の設定等を指定するためのコマンド入力部、マスタ装置又はスレーブ装置等の設定を記憶する設定記憶部、機器の状態を表示する状態表示部、画像の符号化及び復号処理のために一時的にデータを格納するデータ一時格納部、一時的に格納されたデータを制御する制御部、並びに、出力された画像信号を表示する表示部等は、省略されている。
【００１５】
画像撮像部１０１は、画像を撮像し、当該画像に対応する電気信号である画像信号を生成する。そして、画像撮像部１０１は、生成された画像信号を画像解析部１０２及び画像符号化部１０９に与える。
【００１６】
画像解析部１０２は、画像撮像部１０１より与えられた画像信号に基づいて、画像撮像部１０１で撮像された画像を解析し、解析結果を示す解析結果データとして、画像解析データを生成する。例えば、画像解析部１０２は、画像撮像部１０１で撮像された画像に重要な部分が含まれているか否かを解析する。一例として、画像解析部１０２は、画像撮像部１０１で撮像された画像に基づいて、動き検知と、顔検出とを行う。そして、画像解析部１０２は、解析結果として、動きが検知された領域の割合と、動きが検知された場合（例えば、動きが検知された領域の割合が「０」ではない場合）には、動きが検知された領域の座標と、顔検出の有無と、顔が検出された場合には、顔が検出された領域の座標とを示すデータを含む画像解析データを生成し、この画像解析データをメタデータ生成部１０７に与える。
【００１７】
外部情報入力部１０３は、外部機器で生成された外部信号の入力を受け付ける。例えば、本実施の形態においては、外部信号は、センサ機器（図示せず）で生成された検出信号であるが、他の信号、例えば、エレベータで生成された運行信号等であってもよい。ここで、本実施の形態においては、センサ機器は、センシング対象が動いた場合、例えば、ドアが開いた場合に、その検出信号を出力するものとする。なお、本実施の形態では、外部情報入力部１０３は、１つ設けられているが、複数でもよい。
【００１８】
外部情報解析部１０４は、外部情報入力部１０３に入力された外部信号を解析し、その解析結果を示す解析結果データとして、外部入力データを生成する。例えば、本実施の形態においては、外部情報解析部１０４は、外部情報入力部１０３にセンサ機器からの外部信号が入力された際に、外部機器からの外部信号の入力があったことを示す外部入力データを生成し、外部情報入力部１０３にセンサ機器からの外部信号の入力がない場合には、外部機器からの外部信号の入力がないことを示す外部入力データを生成する。そして、外部情報解析部１０４は、生成された外部入力データをメタデータ生成部１０７に与える。
【００１９】
音声入力部１０５は、マイク（図示せず）等からの音声信号の入力を受け付ける。なお、本実施の形態では、音声入力部１０５は、１つ設けられているが、複数でもよい。
【００２０】
音声解析部１０６は、音声入力部１０５に入力された音声信号を解析し、その解析結果を示す解析結果データとして、音声入力データを生成する。例えば、音声解析部１０６は、音声入力部１０５に入力された音声信号から、音声の音量レベルを特定する。そして、音声解析部１０６は、予め定められた音量レベルの最大値に対する、特定された音量レベルの割合を算出し、この割合（音声入力割合）を示す音声入力データを生成する。そして、音声解析部１０６は、生成された音声入力データをメタデータ生成部１０７に与える。
【００２１】
以上のように、画像解析部１０２、外部情報解析部１０４及び音声解析部１０６は、監視対象の状態を複数の項目で解析する状態解析部を構成し、その解析結果を示す解析結果データをメタデータ生成部１０７に与える。
【００２２】
メタデータ生成部１０７は、画像解析部１０２、外部情報解析部１０４及び音声解析部１０６から与えられた解析結果データに基づいて、これらで解析された解析結果を含む部分メタデータを生成し、この部分メタデータを重要度算出部１０８に与える。そして、メタデータ生成部１０７は、部分メタデータに基づいて重要度算出部１０８で算出された重要度の値が与えられると、この重要度の値とこの部分メタデータとをデータ合成部１２０に与える。ここで、部分メタデータには、動きが検知された領域の割合と、動きが検知された場合には、動きが検知された領域の座標と、顔検出の有無と、顔が検出された場合には、顔が検出された領域の座標と、外部信号の入力の有無と、音声入力割合とを示すデータが少なくとも含まれている。
また、メタデータ生成部１０７は、画像解析部１０２から受け取った画像解析データを画像切出部１１０に与える。
【００２３】
重要度算出部１０８は、個別画像データの重要度を算出する。ここで、重要度算出部１０８は、画像解析部１０２、外部情報解析部１０４及び音声解析部１０６により構成される状態解析部から、メタデータ生成部１０７を介して、監視対象の状態を複数の項目で解析した解析結果を示す解析結果データを取得し、この解析結果に基づいて、個別画像データの重要度を算出する。例えば、重要度算出部１０８は、自装置である記録配信装置１００がスレーブ装置である場合には、メタデータ生成部１０７から与えられる部分メタデータから個別画像データの重要度を算出し、この重要度の値を、メタデータ生成部１０７に与える。また、重要度算出部１０８は、自装置である記録配信装置１００がマスタ装置である場合には、メタデータ生成部１０７から与えられる部分メタデータから個別画像データの重要度を算出し、この重要度の値を、メタデータ生成部１０７及び重要度比較部１１８に与える。なお、重要度の具体的な算出方法については、図７及び図８を用いて後述する。
【００２４】
画像符号化部１０９は、画像撮像部１０１から与えられた画像信号を符号化して、画像データを生成する。そして、画像符号化部１０９は、生成された画像データを、画像切出部１１０及び管理情報生成部１１２に与える。
【００２５】
画像切出部１１０は、メタデータ生成部１０７から与えられた画像解析データに基づいて、必要な場合には、画像撮像部１０１で撮像された画像の中の一部分を切り出す。ここで、画像切出部１１０は、画像解析部１０２が画像撮像部１０１で撮像された画像の中に重要な部分が含まれていると判断した場合には、この重要な部分を切り出す。例えば、画像切出部１１０は、画像解析部１０２で、動きが検知された領域、あるいは、顔が検出された領域が含まれるように、切り出し範囲を決定する。なお、１つの画像で、動きが検知され、かつ、顔も検出されている場合には、画像切出部１１０は、顔が検出された領域を優先して、顔が検出された領域が含まれるように切出し範囲を決定することが望ましい。また、画像切出部１１０は、画像符号化部１０９によって符号化された画像データを一度復号してから切り出し処理を行ってもよいし、また、符号化形式によっては、復号せずに切り出し処理を行ってもよい。
画像切出部１１０は、切出し処理が行われた後の画像データを、個別画像データとして、送信データ切替部１１１に与える。また、画像切出部１１０は、動きが検知されず、かつ、顔も検出されていない場合には、画像符号化部１０９から与えられた画像データをそのまま、個別画像データとして、送信データ切替部１１１に与える。
【００２６】
送信データ切替部１１１は、画像切出部１１０から与えられた個別画像データを出力する出力先を切り替える。例えば、送信データ切替部１１１は、自装置である記録配信装置１００がマスタ装置である場合には、個別画像データをスケーリング部１１９に与える。また、送信データ切替部１１１は、自装置である記録配信装置１００がスレーブ装置である場合には、個別画像データをデータ合成部１２０に与える。
【００２７】
管理情報生成部１１２は、画像符号化部１０９から与えられた画像データに対して一意となる固有識別子を生成する。また、管理情報生成部１１２は、画像符号化部１０９から与えられた画像データを、生成された固有識別子に対応付けて、データ記録部１１３に記録させる。さらに、管理情報生成部１１２は、生成された固有識別子をデータ合成部１２０に与える。
ここで、管理情報生成部１１２が生成する固有識別子について説明する。固有識別子は、画像データに対して一意となるものであればどのようなものであってもよいが、例えば、本実施の形態においては、固有識別子は、自装置である記録配信装置１００を識別するための識別情報である装置情報と、各々の画像データを識別するためのシーケンス番号とにより構成される。シーケンス番号は、日時情報で構成するのが望ましい。ここで、シーケンス番号として日時情報を用いる場合には、１秒間に複数の画像データが生成される場合もあるため、日時情報は、１秒以下の分解能を有するものとすることが望ましい。例えば、９０ｋＨｚの分解能を有する日時情報を用いることで、画像データに対して一意のシーケンス番号を付与することができる。
【００２８】
データ記録部１１３は、データを記録する。例えば、データ記録部１１３は、管理情報生成部１１２から与えられた画像データ及び固有識別子を対応付けて記録する。また、データ記録部１１３は、メタデータ生成部１０７から部分メタデータが与えられると、当該部分メタデータを、当該部分メタデータに対応する画像データに対応付けて記録する。さらに、データ記録部１１３は、自装置である記録配信装置１００がマスタ装置である場合には、データ合成部１２０から与えられた合成送信データを記録する。
ここで、データ記録部１１３は、内部にデータ蓄積用の媒体を備える。データ蓄積用の媒体は、ハードディスク、フラッシュメモリ、リムーバブルなＳＤメモリーカード等により構成することができる。
【００２９】
データ受信部１１４は、データを受信する。例えば、本実施の形態においては、データ受信部１１４は、他の記録配信装置１００から送られてきた個別送信データを受信する。
【００３０】
メタデータ抽出部１１５は、データ受信部１１４で受信された個別送信データから個別メタデータを抽出し、この個別メタデータを重要度抽出部１１６及びデータ合成部１２０に与える。
【００３１】
重要度抽出部１１６は、メタデータ抽出部１１５から与えられた個別メタデータより重要度の値を抽出し、この重要度の値を重要度比較部１１８に与える。
【００３２】
画像データ抽出部１１７は、データ受信部１１４で受信された個別送信データから個別画像データを抽出し、この個別画像データをスケーリング部１１９に与える。
【００３３】
重要度比較部１１８は、重要度算出部１０８で算出された、個別画像データの重要度の値、及び、重要度抽出部１１６で抽出された、各個別画像データの重要度の値、を比較して、個別画像データの画像を１つの画像データに合成する際の、個別画像データ毎のサイズ及び配置位置を特定する。そして、重要度比較部１１８は、個別画像データ毎のサイズをスケーリング部１１９に与え、個別画像データ毎の配置位置をデータ合成部１２０に与える。重要度比較部１１８が特定する各個別画像データのサイズ及び配置位置については、図１１を用いて後述する。
【００３４】
スケーリング部１１９は、重要度比較部１１８から受け取った個別画像データ毎のサイズに合わせて、送信データ切替部１１１及び画像データ抽出部１１７から与えられた個別画像データのサイズ（解像度）を変更する。そして、スケーリング部１１９は、サイズ変更後の個別画像データをデータ合成部１２０に与える。
【００３５】
データ合成部１２０は、画像データにメタデータを添付することにより送信データを生成し、この送信データをデータ送信部１２１に与える。
例えば、データ合成部１２０は、自装置である記録配信装置１００がスレーブ装置である場合には、メタデータ生成部１０７から与えられた部分メタデータ及び重要度の値と、管理情報生成部１１２から与えられた固有識別子とを含む個別メタデータを生成し、この個別メタデータを、送信データ切替部１１１から与えられた個別画像データに添付することで個別送信データを生成する。
また、データ合成部１２０は、自装置である記録配信装置１００がマスタ装置である場合には、スケーリング部１１９から与えられたサイズ変更後の個別画像データを、重要度比較部１１８から受け取った個別画像データ毎の配置位置に配置することで合成画像データを生成する。そして、データ合成部１２０は、自装置である記録配信装置１００がマスタ装置である場合には、メタデータ生成部１０７から与えられた部分メタデータ及び重要度の値と、管理情報生成部１１２から与えられた固有識別子と、メタデータ抽出部１１５から与えられた個別メタデータとを含む合成メタデータを生成する。そして、データ合成部１２０は、生成された合成画像データに合成メタデータを添付することで合成送信データを生成する。
そして、データ合成部１２０は、以上のようにして生成された個別送信データ又は合成送信データをデータ送信部１２１に与える。また、データ合成部１２０は、以上のようにして生成された合成送信データをデータ記録部１１３に記録させる。
【００３６】
データ送信部１２１は、ネットワークにデータを送信する。例えば、データ送信部１２１は、自装置である記録配信装置１００がスレーブ装置である場合には、データ合成部１２０から与えられた個別送信データを、ネットワークを介して、マスタ装置である記録配信装置１００に送信する。
また、データ送信部１２１は、自装置である記録配信装置１００がマスタ装置である場合には、データ合成部１２０から与えられた合成送信データを、ネットワークを介して、予め定められた装置に送信する。ここで、合成送信データの送信先となる、予め定められた装置は、マスタ装置である記録配信装置１００に個別送信データを送信する記録配信装置１００以外の装置である。例えば、予め定められた装置は、合成画像を表示する表示部を備える視聴装置であることが望ましい。
なお、自装置である記録配信装置１００がスレーブ装置である場合には、マスタ装置である記録配信装置１００の通信アドレスが、図示しない通信アドレス記憶部に記憶されているものとし、自装置である記録配信装置１００がマスタ装置である場合には、予め定められた装置の通信アドレスが、図示しない通信アドレス記憶部に記憶されているものとする。
【００３７】
図２は、記録配信装置１００を用いた監視システム１５０の構成を概略的に示す構成図である。監視システム１５０は、第１カメラ１５１と、第２カメラ１５２と、第３カメラ１５３と、第４カメラ１５４と、視聴装置１５５と、を備える。第１カメラ１５１、第２カメラ１５２、第３カメラ１５３及び第４カメラ１５４は、ネットワークハブ１５６を介して、ＬＡＮ（Ｌｏｃａｌ Ａｒｅ Ｎｅｔｗｏｒｋ）に接続されている。また、このＬＡＮには、第１ネットワークルータ１５７が接続されており、第１カメラ１５１、第２カメラ１５２、第３カメラ１５３及び第４カメラ１５４は、第１ネットワークルータ１５７を介してインターネット１５８に接続することができるように構成されている。また、視聴装置１５５は、第２ネットワークルータ１５９を介して、インターネット１５８に接続することができるように構成されている。
【００３８】
第１カメラ１５１、第２カメラ１５２、第３カメラ１５３及び第４カメラ１５４は、記録配信装置１００により構成されている。そして、第１カメラ１５１がマスタ装置に設定されており、第２カメラ１５２、第３カメラ１５３及び第４カメラ１５４がスレーブ装置に設定されている。
これらのカメラ１５１〜１５４は、監視対象とされたエリアに設置され、このエリアの画像を撮像する。そして、スレーブ装置である第２カメラ１５２、第３カメラ１５３及び第４カメラ１５４は、個別送信データを生成し、この個別送信データを、マスタ装置である第１カメラ１５１に送信する。そして、第１カメラ１５１は、自装置で撮像された画像から生成された個別画像データ、部分メタデータ、固有識別子、及び、第２カメラ１５２、第３カメラ１５３及び第４カメラ１５４から受信した個別送信データに基づいて、合成送信データを生成し、この合成送信データを視聴装置１５５に送信する。視聴装置１５５は、通常、遠隔地に設置されており、視聴装置１５５の利用者は、遠隔地から監視エリアを監視することができる。
【００３９】
視聴装置１５５は、図示されていないが、受信部と、画像処理部と、表示部とを少なくとも備えており、受信部で合成送信データを受信し、画像処理部でこの合成送信データから合成画像データを抽出し、表示部でこの合成画像データに対応する画像を表示する。また、視聴装置１５５は、さらに、視聴装置１５５の利用者からの指示の入力を受け付ける入力部を備えるように構成することもできる。そして、この入力部が利用者からメタデータの表示指示の入力を受け付けた場合に、画像処理部が、合成送信データから合成メタデータを抽出して、この合成メタデータに含まれている全部又は一部のデータを所定の表示形式にしたメタデータ画像データを生成し、表示部がこのメタデータ画像データに対応する画像を表示してもよい。なお、視聴装置１５５は、合成送信データを記録する記録部をさらに備えていてもよい。
【００４０】
以上のような構成により、監視システム１５０では、複数のカメラ１５２〜１５４で生成された複数の画像データが、ＬＡＮに接続されたマスタ装置としての第１カメラ１５１に送られ、この第１カメラ１５１は、これらの画像データと、自装置で撮像した画像に対応する画像データとを合成することで１つの合成画像データを生成し、この合成画像データを広域ネットワークに送信する。
【００４１】
なお、ここでは、カメラ４台で監視システム１５０を構成したが、カメラの台数は、この４台に限るものではなく、３台以下でも５台以上でもよい。
【００４２】
図３は、図２に示されているカメラ１５１〜１５４の配置例を示す概略図である。図示するようにカメラ１５１〜１５４は、監視対象としての部屋１６０内に、それぞれ異なる位置に配置されている。部屋１６０には、人が出入りするための扉１６１が設けられており、部屋１６０内には、被写体１６２が存在する。そして、カメラ１５１〜１５４は、被写体１６２をそれぞれ異なる位置から撮影する。また、扉１６１には、図示されてはいないが、センサ機器としての開閉センサが設けられており、この開閉センサは第４カメラ１５４の外部情報入力部１０３に接続されている。そして、開閉センサは、扉１６１が開かれたことを検出すると、その検出信号を第４カメラ１５４に出力する。
【００４３】
図４（Ａ）〜（Ｄ）は、図３に示されているカメラ１５１〜１５４で撮像された画像を示す概略図である。図４（Ａ）は、第１カメラ１５１で撮像された画像ＩＭ１を示す概略図である。図４（Ｂ）は、第２カメラ１５２で撮像された画像ＩＭ２を示す概略図である。図４（Ｃ）は、第３カメラ１５３で撮像された画像ＩＭ３を示す概略図である。図４（Ｄ）は、第１カメラ１５４で撮像された画像ＩＭ４を示す概略図である。
【００４４】
これらの画像ＩＭ１〜ＩＭ４は、同一の被写体１６２を、それぞれ異なる角度から撮影したものであるため、関連のある画像となる。しかしながら、これらの画像ＩＭ１〜ＩＭ４は、カメラの位置によって、重要な画像と、重要ではない画像とに区別できる。画像ＩＭ２では、被写体１６２が、他の画像よりも大きく写されている。画像ＩＭ１及び画像ＩＭ３では、被写体１６２が、画像ＩＭ２の次に大きく写されている。画像ＩＭ４では、被写体１６２が、他の画像ＩＭ１〜ＩＭ３よりも小さく写されているが、被写体１６２の顔が、正面に写っている。そして、記録配信装置１００の重要度算出部１０８は、これらの画像ＩＭ１〜ＩＭ４の状態に応じて、重要度を算出する。
【００４５】
図５は、カメラ１５１〜１５４で撮像された画像を合成した合成画像ＳＩＭの概略図である。合成画像ＳＩＭの領域＃１には、第１カメラ１５１で撮像された画像ＩＭ１（図４（Ａ）参照）をスケーリングした画像が合成される。領域＃２には、第２カメラ１５２で撮像された画像ＩＭ２（図４（Ｂ）参照）をスケーリングした画像が合成される。領域＃３には、第３カメラ１５３で撮像された画像ＩＭ３（図４（Ｃ）参照）をスケーリングした画像が合成される。領域＃４には、第４カメラ１５４で撮像された画像ＩＭ４からリッピングされた画像ＲＩＭ４（図４（Ｄ）参照）をスケーリングした画像が合成される。
【００４６】
次に、記録配信装置１００での動作を説明する。
図６は、記録配信装置１００がスレーブ装置である場合の処理を示すフローチャートである。
【００４７】
まず、画像撮像部１０１が画像を撮像する（Ｓ１０）と、画像撮像部１０１は、撮像された画像の画像信号を画像解析部１０２及び画像符号化部１０９に与える。そして、画像解析部１０２はステップＳ１１の処理を行い、画像符号化部１０９はステップＳ１４の処理を行う。
【００４８】
ステップＳ１１では、画像解析部１０２は、与えられた画像信号に基づいて、動き検知と、顔検出とを行い、これらの解析結果を含む画像解析データを生成し、この画像解析データをメタデータ生成部１０７に与える。この画像解析データには、例えば、動きが検知された領域の割合と、動きが検知された場合には、動きが検知された領域の座標と、顔検出の有無と、顔が検出された場合には、顔が検出された領域の座標とを示すデータが含まれる。
【００４９】
次に、メタデータ生成部１０７は、画像解析部１０２から与えられる画像解析データ、外部情報解析部１０４から与えられる外部入力データ、及び、音声解析部１０６から与えられる音声入力データに基づいて、部分メタデータを生成し、この部分メタデータを重要度算出部１０８に与える（Ｓ１２）。この部分メタデータには、動きが検知された場合には、動きが検知された領域の座標と、顔検出の有無と、顔が検出された場合には、顔が検出された領域の座標と、外部信号の入力の有無と、音声入力割合とを示すデータが少なくとも含まれている。
【００５０】
次に、重要度算出部１０８は、メタデータ生成部１０７から与えられた部分メタデータに基づいて、重要度を算出する（Ｓ１３）。そして、重要度算出部１０８は、算出された重要度の値をメタデータ生成部１０７に与える。メタデータ生成部１０７は、生成された部分メタデータと、重要度算出部１０８より与えられた重要度の値とをデータ合成部１２０に与える。
【００５１】
図７は、重要度を算出する際に、重要度算出部１０８が参照する重要度算出情報ＩＰＴを示す概略図である。重要度算出情報ＩＰＴは、項目番号欄ＩＰＴ１と、項目欄ＩＰＴ２と、条件欄ＩＰＴ３と、スコア欄ＩＰＴ４とを有するテーブル形式の情報である。
【００５２】
項目番号欄ＩＰＴ１は、重要度を算出する際に用いられる各々の項目を識別するための識別番号である項目番号を格納する。
項目欄ＩＰＴ２は、項目番号欄ＩＰＴ１で識別される項目の項目名を格納する。ここで、本実施の形態においては、「動き検知」、「顔検出」、「外部入力」及び「音声入力」の４つの項目を用いて重要度が算出される。
条件欄ＩＰＴ３は、項目番号欄ＩＰＴ１で識別される項目毎に、解析結果をスコア欄ＩＰＴ４に格納されているスコアに割り当てるための条件を格納する。
スコア欄ＩＰＴ４は、項目番号欄ＩＰＴ１で識別される項目の解析結果が、条件欄ＩＰＴ３に格納されている条件を満たしている場合に、重要度を計算するために割り当てられるスコアの値を格納する。図７の例では、項目番号ｉが「０」の動き検知では、撮像画像の全体が例えば８１（＝９×９）個のエリアに分割され、それぞれのエリアで、撮像画像に動きがあったかどうかが判定される。そして、動きのあったエリア数が全体の７０％以上であれば、Ｓｃｏｒｅ［０］の値は「１」となり、３１％〜６９％の場合には、Ｓｃｏｒｅ［０］の値は「０.５」となり、３０％以下の場合には、Ｓｃｏｒｅ［０］の値は「０」となる。また、項目番号ｉが「１」の顔検知では、撮像画像に人物の顔が含まれている場合には、Ｓｃｏｒｅ［１］の値は「１」となり、人物の顔が含まれていない場合には、Ｓｃｏｒｅ［１］の値は「０」となる。また、項目番号ｉが「２」の外部入力では、センサ入力がある場合には、Ｓｃｏｒｅ［２］の値は「１」となり、センサ入力がない場合には、Ｓｃｏｒｅ［２］の値は「０」となる。また、項目番号ｉが「３」の音声入力では、音声入力割合が７０％を超えていた場合には、Ｓｃｏｒｅ［３］の値は「１」となり、音声入力割合が３１％〜６９％の場合には、Ｓｃｏｒｅ［３］の値は「０.５」となり、音声入力割合が３０％以下の場合には、Ｓｃｏｒｅ［３］の値は「０」となる。
【００５３】
なお、この図７に示されている条件は、図７に示されているものに限定されるものではなく、例えば、項目番号ｉが「０」の動き検知で、Ｓｃｏｒｅ［０］の値が「１」となる条件を、動き検知エリア数が８０％以上としてもよい。また、項目番号ｉが「３」の音声入力では、条件として音声入力割合を用いているが、特定周波数の音声における音量レベルの割合、又は、より高度な音声認識を用いて、特定の音声条件を満たした場合により高いスコアの値が付与されるように構成されていてもよい。
【００５４】
そして、重要度算出部１０８は、例えば、図７に示されている重要度算出情報ＩＰＴを用いて、下記の（１）式により重要度（ＩＰ）を算出する。
【数１】
（１）式において、Ｓｃｏｒｅ［ｉ］は、項目番号ｉ毎のスコアの値であり、Ｗｅｉｇｈｔ［ｉ］は、項目番号ｉ毎の重み係数である。例えば、本実施の形態では、項目番号ｉが「０」の重み係数Ｗｅｉｇｈｔ［０］の値は「２」、項目番号ｉが「１」の重み係数Ｗｅｉｇｈｔ［１］の値は「４」、項目番号ｉが「２」の重み係数Ｗｅｉｇｈｔ［２］の値は「３」、項目番号ｉが「３」の重み係数Ｗｅｉｇｈｔ［３］の値は「１」とされているが、これらの値に限定されるものではない。
【００５５】
図８（Ａ）及び（Ｂ）は、図３に示されているカメラ１５１〜１５４において、ある撮影条件下で撮像された画像に対して、重要度算出部１０８が割り当てたスコアの値と、重要度算出部１０８が算出した重要度の値の一例を示す概略図である。
【００５６】
図８（Ａ）は、重要度算出部１０８が割り当てたスコアの値の一例を示している。例えば、第１カメラ１５１で撮像された画像では、中程度の動きが検知されているため、動き検知のスコアＳｃｏｒｅ［０］の値は「０.５」、また、顔は検出されていないため、顔検出のＳｃｏｒｅ［１］の値は「０」、センサ入力もなく、センサ入力のＳｃｏｒｅ［２］の値も「０」、音声信号の入力もなく、音声入力のＳｃｏｒｅ［３］の値も「０」となっている。第２カメラ１５２で撮像された画像では、被写体に近く、動きが検知された領域が広いため、動き検知のスコアＳｃｏｒｅ［０］の値は「１」、顔は検出されていないため、顔検知のＳｃｏｒｅ［１］の値は「０」、センサ入力もなく、センサ入力のＳｃｏｒｅ［２］の値も「０」、中程度の音声信号が入力されているため、音声入力のＳｃｏｒｅ［３］の値は「０.５」となっている。第３カメラ１５３で撮像された画像では、中程度の動きが検知されているため、動き検知のスコアＳｃｏｒｅ［０］の値は「０.５」、顔は検出されていないため、顔検出のＳｃｏｒｅ［１］の値は「０」、センサ入力もないため、センサ入力のＳｃｏｒｅ［２］の値も「０」、中程度の音声信号が入力されているため、音声入力のＳｃｏｒｅ［３］の値は「０.５」となっている。第４カメラ１５４で撮像された画像では、被写体からの距離が遠く、動きが検出されたエリアが狭いため、動き検知のＳｃｏｒｅ［０］の値は「０」、被写体の顔を正面から捉えていて、顔が検出されたため、顔検出のＳｃｏｒｅ［１］の値は「１」、ドアの開閉によりセンサ入力もあるため、センサ入力のＳｃｏｒｅ［２］の値は「１」、音声信号の入力はないため、音声入力のＳｃｏｒｅ［３］の値は「０」となっている。
【００５７】
図８（Ｂ）は、図８（Ａ）に示されているスコアの値に基づいて、重要度算出部１０８が算出した重要度の値の一例を示す概略図である。
重要度算出部１０８は、図８（Ａ）に示されているスコアの値を、（１）式に代入することにより、重要度を算出する。図８（Ｂ）に示されている例では、第１カメラ１５１で撮像された画像の重要度の値は「１．０」、第２カメラ１５２で撮像された画像の重要度の値は「２．５」、第３カメラ１５３で撮像された画像の重要度の値は「１．５」、第４カメラ１５４で撮像された画像の重要度の値は「７」となる。このように重要度を複数の項目を組み合わせて算出することで、例えば、動きは無いが顔を検知している場合や、動きは小さいが音声入力がある場合等、監視者にとってより重要な画像を総合的に判定することが可能となる。
【００５８】
図６の説明に戻り、ステップＳ１４では、画像符号化部１０９は、画像撮像部１０１から与えられた画像信号を符号化して、画像データを生成する。そして、画像符号化部１０９は、生成された画像データを、管理情報生成部１１２及び画像切出部１１０に与える。
【００５９】
次に、管理情報生成部１１２は、画像符号化部１０９から与えられた画像データに対して一意となる固有識別子を生成し、画像符号化部１０９から与えられた画像データと、この固有識別子とをデータ記録部１１３に与える（Ｓ１５）。例えば、管理情報生成部１１２は、生成された固有識別子を、画像データのフッタ部に付与して、データ記録部１１３に与える。
【００６０】
次に、データ記録部１１３は、管理情報生成部１１２から与えられた画像データと、固有識別子とを対応付けて記録する（Ｓ１６）。なお、データ記録部１１３は、メタデータ生成部１０７より、当該画像データの部分メタデータが送られてきた場合には、当該部分メタデータも当該画像データに対応付けて記録する。
【００６１】
ステップＳ１７では、画像切出部１１０は、個別画像データを生成する。例えば、画像切出部１１０は、メタデータ生成部１０７から与えられた部分メタデータに、動きが検知された領域を示すデータ及び顔が検出された領域を示すデータの少なくとも何れか一方が含まれている場合には、当該領域を含む範囲を、画像符号化部１０９から与えられた画像データより切り出す。そして、画像切出部１１０は、切り出した画像データを個別画像データとする。一方、画像切出部１１０は、メタデータ生成部１０７から与えられた部分メタデータに、動きが検知されていないことを示すデータが含まれており、かつ、顔が検出されていないことを示すデータが含まれている場合には、画像符号化部１０９から与えられた画像データを個別画像データとする。画像切出部１１０は、個別画像データを送信データ切替部１１１に与え、送信データ切替部１１１は、この個別画像データをデータ合成部１２０に与える。
【００６２】
次に、データ合成部１２０は、ステップＳ１３でメタデータ生成部１０７から与えられた部分メタデータ及び重要度の値と、ステップＳ１５で管理情報生成部１１２から与えられた固有識別子とを含む個別メタデータを生成し、この個別メタデータを、ステップＳ１７で送信データ切替部１１１から与えられた個別画像データに添付することで個別送信データを生成する（Ｓ１８）。そして、データ合成部１２０は、生成された個別送信データをデータ送信部１２１に与える。
【００６３】
ここで、図９は、個別送信データＩＩＤ１のデータ構造を示す概略図である。
個別送信データＩＩＤ１は、個別画像データＩＩＤ１１と、固有識別子ＩＩＤ１２と、重要度ＩＩＤ１３と、項目個数ＩＩＤ１４と、項目番号ＩＩＤ１５と、解析結果データサイズＩＩＤ１６と、解析結果ＩＩＤ１７とを有する。
個別画像データＩＩＤ１１は、ステップＳ１７で送信データ切替部１１１から与えられた個別画像データである。
固有識別子ＩＩＤ１２は、ステップＳ１５で管理情報生成部１１２から与えられた固有識別子である。この固有識別子ＩＩＤ１２により、個別画像データＩＩＤ１１が一意に識別される。
重要度ＩＩＤ１３は、ステップＳ１３でメタデータ生成部１０７から与えられた重要度の値である。
項目個数ＩＩＤ１４、項目番号ＩＩＤ１５、解析結果データサイズＩＩＤ１６及び解析結果ＩＩＤ１７は、ステップＳ１３でメタデータ生成部１０７から与えられた部分メタデータに含まれているデータである。
項目個数ＩＩＤ１４は、重要度を算出するために使用される項目の数を示すものであり、本実施の形態では、この個数は「４」になっている。そして、この項目個数ＩＩＤ１４で示される数だけ、項目番号ＩＩＤ１５と、解析結果データサイズＩＩＤ１６と、解析結果ＩＩＤ１７との組み合わせが格納される。項目番号ＩＩＤ１５は、重要度を算出するために用いられる各々の項目を識別するための識別番号であって、本実施の形態においては、「０」は動き検知、「１」は顔検出、「２」は外部入力、「３」は音声入力となっている。解析結果データサイズＩＩＤ１６は、解析結果ＩＩＤ１７のデータサイズを示す。解析結果ＩＩＤ１７は、項目番号ＩＩＤ１５で識別される項目に対応する解析結果を含む。本実施の形態では、項目番号ＩＩＤ１５が「０」の場合は、動きが検知された領域の割合、及び、動きが検知された場合には、動きが検知された領域の座標、項目番号ＩＩＤ１５が「１」の場合は、顔検出の有無、及び、顔が検出された場合には、顔が検出された領域の座標、項目番号ＩＩＤ１５が「２」の場合は、外部入力の有無、項目番号ＩＩＤ１５が「３」の場合は、音声入力割合を示すデータが、解析結果ＩＩＤ１７として格納される。
なお、固有識別子ＩＩＤ１２、重要度ＩＩＤ１３、項目個数ＩＩＤ１４、項目番号ＩＩＤ１５、解析結果データサイズＩＩＤ１６及び解析結果ＩＩＤ１７が、個別メタデータを構成する。
【００６４】
図６の説明に戻り、データ送信部１２１は、データ合成部１２０から与えられた個別送信データを、ネットワークを介して、マスタ装置である記録配信装置１００に送信する（Ｓ１９）。
【００６５】
図１０は、記録配信装置１００がマスタ装置である場合の処理を示すフローチャートである。ここで、図１０のステップＳ２０〜ステップＳ２７までの処理は、図６のステップＳ１０〜Ｓ１７までの処理と同様である。
【００６６】
ステップＳ２８では、データ受信部１１４が、スレーブ装置となっている他の記録配信装置１００から個別送信データを受信したか否かを判断する。そして、データ受信部１１４は、受信した個別送信データに受信した時刻を示すタイムスタンプを付与する。また、メタデータ抽出部１１５は、受信された個別送信データから個別メタデータを抽出して、この個別メタデータを重要度抽出部１１６及びデータ合成部１２０に与える。さらに、画像データ抽出部１１７は、受信された個別送信データから個別画像データを抽出して、この個別画像データをスケーリング部１１９に与える。そして、データ受信部１１４は、個別送信データを受信している場合（ステップＳ２８でＹｅｓ）には、ステップＳ２９の処理に進み、個別送信データを受信していない場合（ステップＳ２８でＮｏ）には、ステップＳ３１の処理に進む。
【００６７】
ステップＳ２９では、重要度抽出部１１６は、メタデータ抽出部１１５から与えられた個別メタデータに含まれている重要度の値を抽出する（Ｓ２９）。そして、重要度抽出部１１６は、抽出された重要度の値を重要度比較部１１８に与える。
【００６８】
次に、データ受信部１１４は、同一時刻のタイムスタンプが付与された全ての個別送信データから重要度の値が抽出されたか否かを判断する（Ｓ３０）。そして、データ受信部１１４は、同一時刻のタイムスタンプが付与された全ての個別送信データから重要度の値が抽出された場合（ステップＳ３０でＹｅｓ）、言い換えると、同一時刻のタイムスタンプが付与された個別送信データのうち、重要度の値が抽出されていない個別送信データが存在しない場合には、ステップＳ３１の処理に進む。一方、データ受信部１１４は、同一時刻のタイムスタンプが付与された全ての個別送信データからは重要度の値が抽出されていない場合（ステップＳ３０でＮｏ）、言い換えると、同一時刻のタイムスタンプが付与された個別送信データのうち、重要度の値が抽出されていない個別送信データが存在する場合には、ステップＳ２９の処理に戻る。
【００６９】
ステップＳ３１では、重要度比較部１１８は、重要度算出部１０８で算出された、個別画像データの重要度の値、及び、重要度抽出部１１６で抽出された、各個別画像データの重要度の値を比較して、各個別画像データの画像を１つの画像データに合成する際の、個別画像データ毎のサイズ及び配置位置を特定する。例えば、重要度比較部１１８は、合成画像データとして、個別画像データを配置するサイズ及び位置が予め定められた複数の配置パターンから、個別画像データ毎の重要度の値に応じて、１つの配置パターンを選択し、選択された配置パターンで、各個別画像データを配置するサイズ及び位置を特定する。そして、重要度比較部１１８は、特定されたサイズをスケーリング部１１９に与え、特定された配置位置をデータ合成部１２０に与える。
【００７０】
図１１（Ａ）〜（Ｔ）は、重要度比較部１１８で選択することのできる配置パターンの一例を示す概略図である。なお、図１１（Ａ）〜（Ｔ）は、ネットワークに接続されている記録配信装置１００が４つである場合の例であるが、この数については、４つに限定されるものではない。
図１１（Ａ）は、４つの個別画像データの重要度の値の全てが、予め定められた閾値よりも低い場合の配置パターンＳＩＰ１である。
図１１（Ｂ）〜（Ｅ）は、４つの個別画像データのうち、１つの個別画像データの重要度の値だけが、予め定められた閾値以上である場合の配置パターンＳＩＰ２〜ＳＩＰ５である。
図１１（Ｆ）〜（Ｉ）も、４つの個別画像データのうち、１つの個別画像データの重要度の値だけが、予め定められた閾値以上である場合の配置パターンＳＩＰ６〜ＳＩＰ９である。例えば、パターンＳＩＰ６〜ＳＩＰ９が選択される場合の閾値は、パターンＳＩＰ２〜ＳＩＰ５が選択される場合の閾値よりも大きな値となっていることが望ましい。
図１１（Ｊ）〜（Ｏ）は、４つの個別画像データのうち、２つの個別画像データの重要度の値だけが、予め定められた閾値以上である場合の配置パターンＳＩＰ１０〜ＳＩＰ１５である。
図１１（Ｐ）〜（Ｓ）は、４つの個別画像データのうち、３つの個別画像データの重要度の値だけが、予め定められた閾値以上である場合の配置パターンＳＩＰ１６〜ＳＩＰ１９である。
図１１（Ｔ）は、４つの個別画像データの重要度の値の全てが、予め定められた閾値以上である場合の配置パターンＳＩＰ２０である。
【００７１】
なお、重要度比較部１１８は、４つの記録配信装置１００の内、同一時刻に個別送信データを受信していないものがある場合には、個別送信データを受信していない記録配信装置１００に対応する個別画像データの重要度を「０」として、そのサイズ及び配置位置を特定する。そして、重要度比較部１１８は、スケーリング部１１９に、個別送信データを受信していない記録配信装置１００に対応する個別画像データを、例えば、黒画像データ等、予め定められた画像データで代用するように指示を出す。
【００７２】
図１０の説明に戻り、ステップＳ３２では、スケーリング部１１９は、重要度比較部１１８から与えられたサイズとなるように、各個別画像データのスケーリングを実行する。そして、スケーリング部１１９は、サイズ変更後の個別画像データをデータ合成部１２０に与える。この際、スケーリング部１１９は、個別画像データ毎に、縮小率又は拡大率を示すスケーリングエリア情報を添付する。また、黒画像データ等、予め定められた画像データで代用した場合には、代用された画像データに元の画像がないことを示す情報を添付する。
【００７３】
次に、データ合成部１２０は、ステップＳ３２でスケーリングされた個別画像データを、重要度比較部１１８から与えられた配置位置に配置することで合成画像データを生成する。また、データ合成部１２０は、ステップＳ２３でメタデータ生成部１０７から与えられた部分メタデータ及び重要度の値と、ステップＳ２５で管理情報生成部１１２から与えられた固有識別子と、ステップＳ２８でメタデータ抽出部１１５から与えられた個別メタデータとを含む合成メタデータを生成する。そして、データ合成部１２０は、生成された合成画像データに、生成された合成メタデータを添付することで合成送信データを生成する（Ｓ３３）。そして、データ合成部１２０は、生成された合成送信データをデータ送信部１２１に与える。
【００７４】
ここで、図１２は、合成送信データＳＩＤ１のデータ構造を示す概略図である。
合成送信データＳＩＤ１は、合成画像データＳＩＤ１１と、最大カメラ数ＳＩＤ１２と、各画像有無情報ＳＩＤ１３と、カメラ番号ＳＩＤ１４と、スケーリングエリアＳＩＤ１５と、固有識別子ＳＩＤ１６と、重要度ＳＩＤ１７と、項目個数ＳＩＤ１８と、項目番号ＳＩＤ１９と、解析結果データサイズＳＩＤ２０と、解析結果ＳＩＤ２１とを有する。
合成画像データＳＩＤ１１は、ステップＳ３３で、各個別画像データが合成された合成画像データである。
最大カメラ数ＳＩＤ１２は、合成画像データに合成される個別画像データを撮像するカメラ（記録配信装置１００）の最大数を示す。例えば、図２及び３の例では、最大カメラ数ＳＩＤ１２は、「４」である。
各画像有無情報ＳＩＤ１３は、カメラ（記録配信装置１００）毎に、撮像された個別画像データが合成画像データに合成されているか否かを示す情報である。例えば、各画像有無情報ＳＩＤ３は、ビットパターンの情報で明示される。例えば、図２及び３に示されている例では、４つのカメラ１５１〜１５４のうち、第１カメラ１５１、第２カメラ１５２及び第４カメラ１５４で撮像された画像の個別画像データが合成画像データに含まれており、第３カメラ１５３で撮像された画像の個別画像データの代わりに、黒画像データが代用された場合には、各画像有無情報ＳＩＤ１３は、「１０１１」と示されるものとする。
カメラ番号ＳＩＤ１４〜解析結果ＳＩＤ２１は、個別画像データが合成画像データに含まれているカメラ（記録配信装置１００）の数だけ設けられる。
カメラ番号ＳＩＤ１４は、カメラ（記録配信装置１００）を識別するための識別番号である。例えば、カメラ番号ＳＩＤ１４としては、固有識別子に含まれている装置情報が利用できる。
スケーリングエリアＳＩＤ１５は、カメラ番号ＳＩＤ１４で識別されるカメラ（記録配信装置１００）で撮像された画像の個別画像データに対して、スケーリング部１１９がスケーリングした縮小率又は拡大率を示す。
固有識別子ＳＩＤ１６は、カメラ番号ＳＩＤ１４で識別されるカメラ（記録配信装置１００）で撮像された画像の個別画像データの固有識別子である。これは、ステップＳ２５で、管理情報生成部１１２より与えられる。
なお、このように、４つのカメラの画像を１枚に合成して送信する際に、４つの個別画像データのそれぞれに付与された固有識別子を、合成画像データに付与して送信するため、遠隔地で合成画像データを記録した場合に、その合成画像データから元の個別画像データを特定することが可能となり、合成画像データからより詳細な個別画像データの確認を効率的に行うことができる。また、各カメラにおける画像の記録の際に、この固有識別子のリストを作成し、固有識別子と、画像データのアドレス情報とをペアで管理してもよく、このようにすると固有識別子の検索を高速で実行可能となる。
重要度ＳＩＤ１７は、カメラ番号ＳＩＤ１４で識別されるカメラ（記録配信装置１００）で撮像された画像の個別画像データの重要度の値である。これは、ステップＳ２３でメタデータ生成部１０７から与えられた部分メタデータ、又は、ステップＳ２９でメタデータ抽出部１１５から与えられた個別メタデータに含まれているものである。
項目個数ＳＩＤ１８、項目番号ＳＩＤ１９、解析結果データサイズＳＩＤ２０及び解析結果ＳＩＤ２１は、これは、ステップＳ２３でメタデータ生成部１０７から与えられた部分メタデータ、又は、ステップＳ２９でメタデータ抽出部１１５から与えられた個別メタデータに含まれているものである。項目個数ＳＩＤ１８、項目番号ＳＩＤ１９、解析結果データサイズＳＩＤ２０及び解析結果ＳＩＤ２１は、図９に示されている個別送信データＩＩＤ１の項目個数ＩＩＤ１４、項目番号ＩＩＤ１５、解析結果データサイズＩＩＤ１６及び解析結果ＩＩＤ１７と同様である。
【００７５】
図１０の説明に戻り、データ送信部１２１は、データ合成部１２０から与えられた合成送信データを、ネットワークを介して、予め定められた装置、例えば、視聴装置に送信する（Ｓ３４）。
【００７６】
なお、以上で説明した本実施の形態では、音声データそのものは外部に配信、あるいは、記録を行わない構成であるが、必要であれば、音声データの記録とネットワークへの送信を行ってもよい。ネットワークに音声データを送信する際には、複数装置の音声データを多重化して送信してもよいし、重要度の値に応じて、どれか１つの装置（例えば、重要度の最も高い装置）の音声データを送信してもよい。
【００７７】
以上のように、本実施の形態に係る記録配信装置１００、および、記録配信装置１００が行う記録配信方法によれば、複数の記録配信装置１００にまたがる重要画像を少ないデータ量で公衆回線に同時にのせられるため、狭帯域の環境でも複数の映像を関連付けた効率的な遠隔監視を行うことができる。
【００７８】
例えば、近年増加してきたフルハイビジョンと呼ばれる、解像度が１９２０×１０８０の監視映像の場合、高画質のモードでは、フレームレートが３０ｆｐｓ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）換算で、ビットレートが８Ｍｂｐｓ（Ｂｉｔ Ｐｅｒ Ｓｅｃｏｎｄ）程度のデータサイズとなる。また、標準画質のモードでは、前記条件においてそのビットレートは４Ｍｂｐｓ程度となる。本実施の形態において、例えば、図２及び３に示されている第１カメラ１５１と第２カメラ１５２とが高画質、第３カメラ１５３と第４カメラ１５４とが標準画質に設定され、各カメラ１５１〜１５４のフレームレートが、第１カメラ１５１では１５ｆｐｓ、第２カメラ１５２では１５ｆｐｓ、第３カメラ１５３では７．５ｆｐｓ、第４カメラ１５４では４ｆｐｓで設定されていたとする。この場合、各々のカメラ１５１〜１５４が、そのまま遠隔地に画像データを送信した場合には、図２に示されているインターネット１５８等の広域ネットワークには、４．７７Ｍｂｐｓのデータが毎秒送信されることとなる。一方、本実施の形態により４つのカメラ１５１〜１５４の画像を１枚の画像に合成して送信する場合、例えば４枚の画像の重要度の値がいずれも均等であった場合には、広域ネットワークには１．３８Ｍｂｐｓのデータが毎秒送信されることとなる。このケースでは、本実施の形態では、広域ネットワークへ送信するデータ量が、従来の方式の４．７７Ｍｂｐｓから１．３８Ｍｂｐｓまで約７１％削減されることとなる。
【００７９】
従来のように伝送するデータ量が４．７７Ｍｂｐｓでは、５Ｍｂｐｓ以上の回線帯域が必要となり、本実施の形態のように伝送するデータ量が１．３８Ｍｂｐｓでは、２Ｍｂｐｓ以上の回線帯域が必要となる。ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）を提供しているある環境の例では、５Ｍｂｐｓ以上の実行速度が出ている回線の比率は６０％であるのに対し、２Ｍｂｐｓ以上の実行速度が出ている回線の比率は９８％に達している。このため、この環境においては、本発明の効果によりほとんどのすべての回線でデータをスムーズに送信することができる。
【００８０】
また、以上のような記録配信装置１００、および、記録配信装置１００が行う記録配信方法によれば、記録配信装置１００が画像の合成を行うため、監視者の視聴装置では、画像の拡大縮小及び入れ替え等の処理が不要であり、近年増加している携帯端末のような、画像処理能力がＰＣ等に比べて低い装置においても、複数の画像を関連付けてスムーズに監視することができる。
【００８１】
また、以上に記載された記録配信装置１００、および、記録配信装置１００が行う記録配信方法によれば、合成画像データにおいて、各個別画像データの重要度の値に応じて、各個別画像データの画像サイズが自動的に変更されるため、監視者は、特に画面を切り替える等の操作をすることなく、重要な画像に常に着目して監視することができ、また、重要な事象を見逃すことなく細部の確認を行うことができる。
【００８２】
また、以上に記載された記録配信装置１００、および、記録配信装置１００が行う記録配信方法によれば、重要度の判定に、動き検知だけではなく複数の項目を組み合わせているため、動きのあるものだけでなく静止物にも対応することができるとともに、複数の項目に対して重み付けを行うことで、監視者が必要とする、より重要な画像に着目することができる。
【００８３】
さらに、以上に記載された記録配信装置１００、および、記録配信装置１００が行う記録配信方法によれば、画像の重要度に応じて、スレーブ装置となった各記録配信装置１００が画像の重要な部分のみを切り出してデータを送信するため、ＬＡＮにおけるトラフィックを低減することができるとともに、画像の切り出し処理を各記録配信装置１００に分散することで、マスタ装置である記録配信装置１００が画像合成を行う際の処理負荷を低減することができる。このため、記録配信装置１００を安価に製造することができる。
【００８４】
また、以上に記載された記録配信装置１００、および、記録配信装置１００が行う記録配信方法によれば、自装置で撮像された画像データが固有識別子とともに記録されるとともに、合成画像データにも合成された個別画像データの固有識別子が添付されているため、視聴者は、合成画像データに添付されている固有識別子に基づいて、元の個別画像データを容易に確認することができる。
【００８５】
さらに、以上に記載された記録配信装置１００、および、記録配信装置１００が行う記録配信方法によれば、記録配信装置１００の設置位置は、なんら制約を受けることなく、自由に設置しても本発明の効果が得られる。
【００８６】
実施の形態２．
次に、実施の形態２について説明する。
図１３は、実施の形態２に係る記録配信装置２００の構成を概略的に示すブロック図である。記録配信装置２００は、画像撮像部１０１と、画像解析部１０２と、外部情報入力部１０３と、外部情報解析部１０４と、音声入力部１０５と、音声解析部１０６と、メタデータ生成部１０７と、重要度算出部２０８と、画像符号化部１０９と、画像切出部１１０と、送信データ切替部２１１と、管理情報生成部１１２と、データ記録部１１３と、データ受信部１１４と、メタデータ抽出部１１５と、重要度抽出部１１６と、画像データ抽出部１１７と、重要度比較部２１８と、スケーリング部１１９と、データ合成部１２０と、データ送信部１２１と、閾値比較部２２２とを備える。ここで、実施の形態２に係る記録配信装置２００は、重要度算出部２０８、送信データ切替部２１１及び重要度比較部２１８での処理の点、並びに、閾値比較部２２２が備えられている点で、実施の形態１に係る記録配信装置１００と異なっている。実施の形態２に係る記録配信装置２００は、撮像された画像の個別画像データの重要度の値が予め定められている閾値を超えた場合に、合成画像データを含む合成送信データを作成し、ネットワークに送信する。
【００８７】
重要度算出部２０８は、実施の形態１における重要度算出部１０８と同様に、個別画像データの重要度を算出する。例えば、重要度算出部２０８は、自装置である記録配信装置２００がスレーブ装置である場合には、メタデータ生成部１０７から与えられる部分メタデータから個別画像データの重要度を算出し、この重要度の値を、メタデータ生成部１０７及び閾値比較部２２２に与える。また、重要度算出部２０８は、自装置である記録配信装置２００がマスタ装置である場合には、メタデータ生成部１０７から与えられる部分メタデータから個別画像データの重要度を算出し、この重要度の値を、メタデータ生成部１０７、重要度比較部２１８及び閾値比較部２２２に与える。
【００８８】
閾値比較部２２２は、重要度算出部２０８から与えられた重要度の値が、予め定められた閾値よりも大きいか否かを判断する。そして、閾値比較部２２２は、重要度算出部２０８から与えられた重要度の値が、予め定められた閾値よりも大きい場合には、送信データ切替部２１１に個別画像データを出力する指示を与え、重要度算出部２０８から与えられた重要度の値が、予め定められた閾値以下である場合には、送信データ切替部２１１に個別画像データを出力しない指示を与える。
【００８９】
送信データ切替部２１１は、実施の形態１における送信データ切替部１１１と同様に、画像切出部１１０から与えられた個別画像データを出力する出力先を切り替える。但し、本実施の形態においては、送信データ切替部２１１は、閾値比較部２２２より個別画像データを出力する指示が与えられた場合に、個別画像データを出力し、閾値比較部２２２より個別画像データを出力しない指示が与えられた場合には、個別画像データを出力しない。
【００９０】
重要度比較部２１８は、実施の形態１における重要度比較部１１８と同様の処理を行うが、自装置である記録配信装置２００がマスタ装置である場合に、重要度算出部２０８で算出された重要度の値が予め定められた閾値以下であると閾値比較部２２２が判断したときには、スレーブ装置である記録配信装置２００から個別送信データを受信しているか否かを判断する。例えば、重要度比較部２１８は、重要度抽出部１１６より重要度の値を受け取っている場合には、スレーブ装置である記録配信装置２００から個別送信データを受信していると判断する。そして、重要度比較部２１８は、スレーブ装置である記録配信装置２００から個別送信データを受信していると判断した場合には、実施の形態１における重要度比較部１１８と同様に重要度の値を比較する処理を行う。
【００９１】
次に、記録配信装置２００での動作を説明する。
図１４は、実施の形態２に係る記録配信装置２００がスレーブ装置である場合の処理を示すフローチャートである。ここで、図１４のステップＳ４０〜Ｓ４６までの処理は、図６のステップＳ１０〜Ｓ１６までの処理と同様である。但し、重要度算出部２０８は、ステップＳ４３で算出した重要度の値を閾値比較部２２２にも与える。
【００９２】
ステップＳ４７では、画像切出部１１０は、個別画像データを生成する。例えば、画像切出部１１０は、メタデータ生成部１０７から与えられた部分メタデータに、動きが検知された領域を示すデータ及び顔が検出された領域を示すデータの少なくとも何れか一方が含まれている場合には、当該領域を含む範囲を、画像符号化部１０９から与えられた画像データより切り出す。そして、画像切出部１１０は、切り出した画像データを個別画像データとする。一方、画像切出部１１０は、メタデータ生成部１０７から与えられた部分メタデータに、動きが検知されていないことを示すデータが含まれており、かつ、顔が検出されていないことを示すデータが含まれている場合には、画像符号化部１０９から与えられた画像データを個別画像データとする。そして、画像切出部１１０は、個別画像データを送信データ切替部２１１に与える。
【００９３】
次に、閾値比較部２２２は、ステップＳ４３で重要度算出部２０８より与えられた重要度の値が、予め定められている閾値を超えているか否かを判断する（Ｓ４８）。閾値比較部２２２は、閾値を超えている場合（ステップＳ４８でＹｅｓ）には、送信データ切替部２１１に個別画像データを出力する指示を与えて、ステップＳ４９の処理に進み、閾値を超えていない場合（ステップＳ４８でＮｏ）には、送信データ切替部２１１に個別画像データを出力しない指示を与えて、ステップＳ４０の処理に戻る。
ここで、送信データ切替部２１１は、閾値比較部２２２より、個別画像データを出力する指示を受けた場合には、ステップＳ４７で画像切出部１１０より与えられた個別画像データをデータ合成部１２０に与える。なお、送信データ切替部１１１は、閾値比較部２２２より、個別画像データを出力しない指示を受けた場合には、例えば、ステップＳ４７で画像切出部１１０より与えられた個別画像データを廃棄する。
【００９４】
次に、データ合成部１２０は、ステップＳ４３でメタデータ生成部１０７から与えられた部分メタデータ及び重要度の値と、ステップＳ４５で管理情報生成部１１２から与えられた固有識別子とを含む個別メタデータを生成し、この個別メタデータを、ステップＳ４８で送信データ切替部２１１から与えられた個別画像データに添付することで個別送信データを生成する（Ｓ４９）。そして、データ合成部１２０は、生成された個別送信データをデータ送信部１２１に与える。
【００９５】
次に、データ送信部１２１は、データ合成部１２０から与えられた個別送信データを、ネットワークを介して、マスタ装置である記録配信装置２００に送信する（Ｓ５０）。
【００９６】
図１５は、実施の形態２に係る記録配信装置２００がマスタ装置である場合の処理を示すフローチャートである。ここで、図１５のステップＳ６０〜ステップＳ７０までの処理は、図１０のステップＳ２０〜Ｓ３０までの処理と同様である。但し、重要度算出部２０８は、ステップＳ６３において算出された重要度の値を閾値比較部２２２にも与える。
【００９７】
ステップＳ７１では、閾値比較部２２２は、ステップＳ６３で重要度算出部２０８から与えられた重要度の値が、予め定められた閾値を超えているか否かを判断する。そして、閾値比較部２２２は、この重要度の値が予め定められた閾値以下である場合（ステップＳ７１でＮｏ）には、ステップＳ７２の処理に進み、この重要度の値が予め定められた閾値を超えている場合（ステップＳ７１でＹｅｓ）には、ステップＳ７３の処理に進む。
【００９８】
ステップＳ７２では、重要度比較部２１８は、スレーブ装置である記録配信装置２００から個別送信データを受信しているか否かを判断する。そして、重要度比較部２１８は、このような個別送信データを受信している場合（ステップＳ７２でＹｅｓ）には、ステップＳ７３の処理に進み、このような個別送信データを受信していない場合（ステップＳ７２でＮｏ）には、ステップＳ６０の処理に戻る。
【００９９】
ステップＳ７３では、重要度比較部２１８は、重要度算出部２０８で算出された、個別画像データの重要度の値、及び、重要度抽出部１１６で抽出された、各個別画像データの重要度の値を比較して、各個別画像データの画像を１つの画像データに合成する際の、各個別画像データのサイズ及び配置位置を特定する。そして、重要度比較部２１８は、特定されたサイズをスケーリング部１１９に与え、特定された配置位置をデータ合成部１２０に与える。
【０１００】
次に、スケーリング部１１９は、重要度比較部２１８から与えられたサイズとなるように、各個別画像データのスケーリングを実行する（Ｓ７４）。そして、スケーリング部１１９は、サイズ変更後の個別画像データをデータ合成部１２０に与える。この際、スケーリング部１１９は、個別画像データ毎に、縮小率又は拡大率を示すスケーリングエリア情報を添付する。また、スケーリング部１１９は、黒画像データ等、予め定められた画像データで代用した場合には、元の画像がないことを示す情報を添付する。
【０１０１】
次に、データ合成部１２０は、ステップＳ７４でスケーリングされた個別画像データを、重要度比較部２１８から与えられた配置位置に配置することで合成画像データを生成する。また、データ合成部１２０は、ステップＳ６３でメタデータ生成部１０７から与えられた部分メタデータ及び重要度の値と、ステップＳ６５で管理情報生成部１１２から与えられた固有識別子と、ステップＳ６８でメタデータ抽出部１１５から与えられた個別メタデータとを含む合成メタデータを生成する。そして、データ合成部１２０は、生成された合成画像データに、生成された合成メタデータを添付することで合成送信データを生成する（Ｓ７５）。そして、データ合成部１２０は、生成された合成送信データをデータ送信部１２１に与える。
ＬＡＮに接続されている全ての記録配信装置２００、例えば、図３に示されている設置例においては、４台のカメラ１５１〜１５４の画像の全てが重要であるわけではなく、重要度によって、カメラ１台分の画像のみが重要であるケース、又は、カメラ２台分の画像が重要であるケース等が発生する。このため、実施の形態２におけるデータ合成部１２０は、例えば、広域ネットワークに送信する画像がカメラ１台分の場合には、その１台のカメラの画像を全画面に表示されるようなサイズ及び位置に合成する。
【０１０２】
次に、データ送信部１２１は、データ合成部１２０から与えられた合成送信データを、ネットワークを介して、予め定められた装置、例えば、視聴装置に送信する（Ｓ７６）。
【０１０３】
以上のように、実施の形態２に係る記録配信装置２００によれば、複数の記録配信装置２００で撮像された画像のうち、少なくとも１台以上においてその画像の重要度の値が閾値を越えている場合、言い換えると、その画像が重要と判断された場合にのみ、広域ネットワークに対して合成画像データの送信が行われる。また、実施の形態２に係る記録配信装置２００によれば、ＬＡＮにおいても、画像の重要度の値が所定の閾値を超えた場合にのみ、スレーブ装置からマスタ装置に対して個別画像データの送信が行われる。このため、実施の形態２に係る記録配信装置２００によれば、広域ネットワーク及びＬＡＮの何れのネットワークにおいても、伝送するデータ量を削減することができる。従って、実施の形態１よりもネットワーク帯域が狭い環境でも、効率的な監視を行うことができる。
【０１０４】
また、実施の形態２に係る記録配信装置２００によれば、重要度の値が閾値を超えている画像、言い換えると、重要と判断された画像のみを合成画像として送信することで、重要な画像をより大きく表示可能となり、また、重要では無い画像を表示しないことで、監視者が重要な事象を見逃すといった問題がなくなる。
【０１０５】
なお、閾値比較部２２２で重要度を判定する閾値は、ＬＡＮに接続された全ての記録配信装置２００で同一の値が設定されていてもよいし、記録配信装置２００の設定位置や撮像対象等に応じて、記録配信装置２００毎に個別の値が設定されてもよい。
【０１０６】
実施の形態３．
次に、実施の形態３について説明する。
図１６は、実施の形態３に係る記録配信装置３００の構成を概略的に示すブロック図である。記録配信装置３００は、画像撮像部１０１と、画像解析部１０２と、外部情報入力部１０３と、外部情報解析部１０４と、音声入力部１０５と、音声解析部１０６と、メタデータ生成部３０７と、重要度算出部３０８と、画像符号化部１０９と、画像切出部３１０と、送信データ切替部１１１と、管理情報生成部１１２と、データ記録部１１３と、データ受信部１１４と、メタデータ抽出部１１５と、重要度抽出部３１６と、画像データ抽出部１１７と、重要度比較部３１８と、スケーリング部３１９と、データ合成部３２０と、データ送信部１２１と、タイマー部３２３と、グループ化抽出部３２４とを備える。実施の形態３に係る記録配信装置３００は、メタデータ生成部３０７、重要度算出部３０８、画像切出部３１０、重要度抽出部３１６、重要度比較部３１８、スケーリング部３１９及びデータ合成部３２０での処理の点、及び、タイマー部３２３及びグループ化抽出部３２４が備えられている点において、実施の形態１と異なっている。ここで、実施の形態３に係る記録配信装置３００は、所定の時間内に撮像された画像のなかから選択された画像を合成する。なお、記録配信装置３００が、スレーブ装置である場合の処理は、実施の形態１と同様である。
【０１０７】
メタデータ生成部３０７は、自装置である記録配信装置３００がスレーブ装置である場合には、実施の形態１におけるメタデータ生成部１０７と同様の処理を行う。
メタデータ生成部３０７は、自装置である記録配信装置３００がマスタ装置である場合には、画像解析部１０２、外部情報解析部１０４及び音声解析部１０６から与えられた解析結果データに基づいて、これらの解析部で解析された解析結果を含む部分メタデータを生成し、この部分メタデータに、画像解析部１０２で解析された画像を識別するための画像識別情報を添付して、重要度算出部３０８に与える。ここで、この画像識別情報としては、画像解析部１０２から画像解析データが入力される度に、所定の初期値からカウントアップしたカウント値が用いられればよい。
そして、メタデータ生成部３０７は、部分メタデータに基づいて重要度算出部３０８で算出された重要度の値と、この重要度の値を算出するために用いた部分メタデータに添付されていた画像識別情報とが与えられると、この重要度の値と、この重要度の値を算出するために用いられた部分メタデータとをデータ合成部３２０に与える。
また、メタデータ生成部３０７は、重要度算出部３０８から受け取った重要度の値を算出するために用いられた部分メタデータに含まれている画像解析データと、この画像解析データに対応する画像の画像識別情報とを画像切出部３１０に与える。
【０１０８】
重要度算出部３０８は、自装置である記録配信装置３００がスレーブ装置である場合には、実施の形態１における重要度算出部１０８と同様の処理を行う。
重要度算出部３０８は、自装置である記録配信装置３００がマスタ装置である場合には、メタデータ生成部３０７から与えられる部分メタデータから個別画像データの重要度を算出し、この重要度の値を、この重要度の値を算出するために用いた部分メタデータに添付されていた画像識別情報とともに、グループ化抽出部３２４に与える。そして、重要度算出部３０８は、グループ化抽出部３２４より、グループ化抽出部３２４で抽出された画像識別情報の通知を受けると、通知された画像識別情報と、この画像識別情報が添付されていた部分メタデータから算出された重要度の値と、をメタデータ生成部３０７及び重要度比較部３１８に与える。
【０１０９】
画像切出部３１０は、自装置である記録配信装置３００がスレーブ装置である場合には、実施の形態１における画像切出部１１０と同様の処理を行う。
画像切出部３１０は、自装置である記録配信装置３００がマスタ装置である場合には、メタデータ生成部３０７から与えられた画像識別情報に対応する画像データにおいて、メタデータ生成部３０７から与えられた画像解析データに基づいて、必要な場合には、画像撮像部１０１で撮像された画像の中の一部分を切り出す。そして、画像切出部３１０は、個別画像データを送信データ切替部１１１に与える。なお、本実施の形態においては、画像切出部３１０は、自装置である記録配信装置３００がマスタ装置である場合には、メタデータ生成部３０７から与えられた画像識別情報に対応しない画像データを破棄して、送信データ切替部１１１には出力しない。ここで、画像切出部３１０でも、画像符号化部１０９から画像データが与えられる度に、所定の初期値からカウントアップしたカウント値を算出しておき、このカウント値を画像識別情報として用いればよい。
【０１１０】
重要度抽出部３１６は、メタデータ抽出部１１５から与えられた個別メタデータより重要度の値及び固有識別子を抽出し、これらの重要度の値及び固有識別子をグループ化抽出部３２４に与える。
そして、重要度抽出部３１６は、グループ化抽出部３２４より、グループ化抽出部３２４により抽出された固有識別子の通知を受けると、通知された固有識別子と、この固有識別子に対応する個別画像データの重要度の値を重要度比較部３１８に与える。
【０１１１】
タイマー部３２３は、予め定められた時間をカウントする。そして、タイマー部３２３は、予め定められた時間がカウントされた場合には、予め定められた時間がカウントされたことをグループ化抽出部３２４に通知する。
【０１１２】
グループ化抽出部３２４は、タイマー部３２３からの通知間隔毎に、重要度算出部３０８から与えられた重要度の値が複数ある場合には、これらの中で最も値の大きい重要度に対応する画像識別情報をメタデータ生成部３０７に通知する。なお、グループ化抽出部３２４は、タイマー部３２３からの通知間隔内において、重要度算出部３０８から与えられた重要度の値が１つである場合には、この重要度の値に対応する画像識別情報をメタデータ生成部３０７に通知する。
また、グループ化抽出部３２４は、タイマー部３２３からの通知間隔毎に、重要度抽出部３１６から、同じスレーブ装置で生成された個別画像データの重要度の値が複数与えられた場合には、これらの中で最も値の大きい重要度に対応する固有識別子を重要度抽出部３１６に通知する。なお、グループ化抽出部３２４は、タイマー部３２３からの通知間隔内において、重要度抽出部３１６から、同じスレーブ装置で生成された個別画像データの重要度の値が１つ与えられた場合には、この重要度の値に対応する固有識別子を重要度抽出部３１６に通知する。
【０１１３】
重要度比較部３１８は、重要度算出部３０８及び重要度抽出部３１６から与えられた重要度の値を比較して、各個別画像データの画像を１つの画像データに合成する際の、各個別画像データのサイズ及び配置位置を特定する。そして、重要度比較部３１８は、画像識別情報又は固有識別子で識別される、各個別画像データのサイズをスケーリング部３１９に与え、画像識別情報又は固有識別子で識別される、各個別画像データの配置位置をデータ合成部３２０に与える。
【０１１４】
スケーリング部３１９は、重要度比較部３１８から受け取った、画像識別情報又は固有識別子で識別される、各個別画像データのサイズに合わせて、送信データ切替部１１１及び画像データ抽出部１１７から与えられた個別画像データのサイズを変更する。そして、スケーリング部３１９は、サイズ変更後の個別画像データをデータ合成部３２０に与える。なお、スケーリング部３１９は、重要度比較部１１８から与えられた固有識別子に対応しない個別画像データについては、破棄し、データ合成部３２０には、出力しない。
【０１１５】
データ合成部３２０は、自装置である記録配信装置３００がスレーブ装置である場合には、実施の形態１におけるデータ合成部１２０と同様の処理を行う。
データ合成部３２０は、自装置である記録配信装置３００がマスタ装置である場合には、重要度比較部３１８から受け取った、画像識別情報又は固有識別子で識別される各個別画像データの配置位置に合わせて、送信データ切替部１１１及びスケーリング部３１９から与えられた個別画像データを合成することで合成画像データを生成する。そして、データ合成部３２０は、メタデータ生成部３０７から与えられた部分メタデータ及び重要度の値と、管理情報生成部１１２から与えられた固有識別子のうち、重要度比較部３１８から受け取った画像識別子に対応するものと、メタデータ抽出部１１５から与えられた個別メタデータのうち、重要度比較部３１８から受け取った固有識別子に対応するものとを含む合成メタデータを生成する。そして、データ合成部３２０は、生成された合成画像データに合成メタデータを添付することで合成送信データを生成する。
そして、データ合成部３２０は、以上のようにして生成された合成送信データをデータ送信部１２１に与える。また、データ合成部１２０は、以上のようにして生成された合成送信データをデータ記録部１１３に記録させる。
【０１１６】
次に、図１７を用いて、実施の形態３に係る記録配信装置３００でのグループ化抽出処理について説明する。図１７は、実施の形態３に係る記録配信装置３００が行うグループ化抽出処理を説明するための概略図である。図１７において、第１カメラ、第２カメラ、第３カメラ及び第４カメラは、記録配信装置３００により実現されている。また、図１７において、横軸方向は時間軸であり、丸の記号は、各カメラの画像生成タイミングを示す。そして、縦の破線で区切られた区間が、タイマー部３２３で計時される一定の時間である。図１７では、この一定の時間を１つのグループとし、説明のために、それぞれのグループは、グループＡからグループＦとして、区別されている。
【０１１７】
図１７に示されているように、一般的に監視用途では、カメラの設置場所によって、例えば、４秒に１枚の撮像であったり、１秒に１枚の撮像であったり、あるいは、１秒間に４枚の撮像である等、撮像の間隔が異なる設定で運用される場合がある。
【０１１８】
本実施の形態に係る記録配信装置３００は、各グループ内で各カメラに対して最大１枚の画像を抽出する。１つグループの中に、あるカメラの画像が１枚だけである場合には、その画像が抽出され、１つグループの中に、あるカメラの画像が１枚もない場合には、画像は抽出されない。そして、１つグループの中に、あるカメラの画像が複数枚ある場合には、それら複数枚の画像の重要度の値を比較し、一番重要度の値の高いものが抽出される。
【０１１９】
グループＡの例では、第１カメラの画像は１枚だけであるため、この画像が第１カメラの画像として抽出される。第２カメラの画像も１枚だけであるため、この画像が第２カメラの画像として抽出される。第３カメラの画像は２枚あるため、これらの画像のうち、より重要度の値の高い方が第３カメラの画像として抽出される。第４カメラの画像は１枚だけであるため、この画像が第４カメラの画像として抽出される。このようにして抽出された画像が、グループＡの時間における合成画像データとして合成される。
【０１２０】
本実施の形態におけるグループ化のための一定の時間は、記録配信装置３００の設置される環境や監視対象によって予め設定されればよい。例えば、河川の状態等を監視するような場合には、一般的に単位時間当たりの重要度の値の変化は小さいため、グループ化のための一定の時間は、比較的長い時間、例えば、５秒等が設定されればよい。一方、人の動き等を監視するような場合には、この一定の時間は、比較的短い時間、例えば、０．５秒等が設定されればよい。グループ化のための一定の時間を小さくするほど、合成画像データに含まれている複数の画像データの相関度は高くなるが、送出されるデータ量は増加する。
【０１２１】
以上のように、実施の形態３に係る記録配信装置３００によれば、一定時間間隔において最も重要な画像が抽出されて合成され、この一定時間間隔における重要画像を１枚の画像で確認できるため、ネットワークに送信するデータ量を効率的に削減することができる。
【０１２２】
以上に記載された実施の形態３での処理を、実施の形態２に追加することも可能である。
【０１２３】
実施の形態４．
次に、実施の形態４について説明する。
図１８は、実施の形態４に係る記録配信装置４００の構成を概略的に示すブロック図である。記録配信装置４００は、画像撮像部１０１と、画像解析部１０２と、外部情報入力部１０３と、外部情報解析部１０４と、音声入力部１０５と、音声解析部１０６と、メタデータ生成部４０７と、重要度算出部１０８と、画像符号化部１０９と、画像切出部１１０と、送信データ切替部１１１と、管理情報生成部１１２と、データ記録部４１３と、データ受信部１１４と、メタデータ抽出部４１５と、重要度抽出部１１６と、画像データ抽出部４１７と、重要度比較部１１８と、スケーリング部４１９と、データ合成部４２０と、データ送信部１２１と、記録状態監視部４２５と、記録状態検知部４２６と、記録データ切替部４２７とを備える。実施の形態４に係る記録配信装置４００は、メタデータ生成部４０７、メタデータ抽出部４１５、画像データ抽出部４１７、スケーリング部４１９及びデータ合成部４２０での処理の点、データ記録部４１３に記録されているデータの点、並びに、記録状態監視部４２５、記録状態検知部４２６及び記録データ切替部４２７が備えられている点において、実施の形態１に係る記録配信装置１００と異なっている。
【０１２４】
記録状態監視部４２５は、データ記録部４１３で正常に記録が行われているか否かを監視する。例えば、データ記録部４１３は、ハードディスク又はフラッシュメモリ等の記憶媒体により実現されているが、一般的に、これら記憶媒体は、書き込み回数に応じた寿命、又は、部分的な故障等により、書き込みができなくなる場合がある。そして、記録状態監視部４２５は、何らかの理由により、データ記録部４１３で正常に記録されていないことを検知した場合、例えば、記録エラーを検知した場合等には、正常に記録が行われていないことをメタデータ生成部４０７に通知する。
【０１２５】
メタデータ生成部４０７は、画像解析部１０２、外部情報解析部１０４及び音声解析部１０６から与えられた解析結果データに基づいて、これらの解析部で解析された解析結果を含む部分メタデータを生成し、この部分メタデータを重要度算出部１０８に与える。また、メタデータ生成部４０７は、記録状態監視部４２５からの通知に基づいて、記録が正常に行われているか否かを示すフラグ情報を生成する。例えば、メタデータ生成部４０７は、記録状態監視部４２５から正常に記録が行われていないことが通知された場合には、記録が正常に行われていないことを示すフラグ情報を生成し、記録状態監視部４２５から正常に記録が行われていないことが通知されていない場合には、記録が正常に行われていることを示すフラグ情報を生成する。そして、メタデータ生成部４０７は、部分メタデータに基づいて重要度算出部１０８で算出された重要度の値が与えられると、この重要度の値と、この部分メタデータと、フラグ情報とをデータ合成部４２０に与える。
また、メタデータ生成部４０７は、画像解析部１０２から受け取った画像解析データを画像切出部１１０に与える。
【０１２６】
メタデータ抽出部４１５は、データ受信部１１４で受信された個別送信データから個別メタデータを抽出し、この個別メタデータを重要度抽出部１１６、データ合成部４２０及び記録状態検知部４２６に与える。
【０１２７】
画像データ抽出部４１７は、データ受信部１１４で受信された個別送信データから個別画像データを抽出し、この個別画像データを記録データ切替部４２７に与える。
【０１２８】
記録状態検知部４２６は、メタデータ抽出部４１５から与えられた個別メタデータに含まれているフラグ情報を確認し、このフラグ情報が、記録が正常に行われていないことを示す場合には、この個別メタデータを記録データ切替部４２７に与え、データ記録部４１３に個別画像データとともに記録する指示を出す。
【０１２９】
記録データ切替部４２７は、画像データ抽出部４１７から受け取った個別画像データをスケーリング部４１９に与える。また、記録データ切替部４２７は、記録状態検知部４２６からの記録指示に応じて、記録状態検知部４２６から受け取った個別メタデータに対応する個別画像データを、この個別メタデータとともに、データ記録部４１３に送る。
【０１３０】
データ記録部４１３は、データを記録する。例えば、データ記録部４１３は、管理情報生成部１１２から与えられた画像データ及び固有識別子を対応付けて記録する。また、データ記録部４１３は、メタデータ生成部４０７から部分メタデータが与えられると、当該部分メタデータを対応する画像データに対応付けて記録する。さらに、データ記録部４１３は、自装置である記録配信装置４００がマスタ装置である場合には、データ合成部４２０から与えられた合成送信データを記録する。また、データ記録部４１３は、記録データ切替部４２７から受け取った個別画像データ及び個別メタデータを記録する。
【０１３１】
スケーリング部４１９は、重要度比較部１１８から受け取った、各個別画像データのサイズに合わせて、送信データ切替部１１１及び記録データ切替部４２７から与えられた個別画像データのサイズを変更する。そして、スケーリング部４１９は、サイズ変更後の個別画像データをデータ合成部４２０に与える。
【０１３２】
データ合成部４２０は、画像データにメタデータを添付することにより送信データを生成し、この送信データをデータ送信部１２１に与える。
例えば、データ合成部４２０は、自装置である記録配信装置４００がスレーブ装置である場合には、メタデータ生成部４０７から与えられた部分メタデータ、重要度の値及びフラグ情報と、管理情報生成部１１２から与えられた固有識別子とを含む個別メタデータを生成し、この個別メタデータを、送信データ切替部１１１から与えられた個別画像データに添付することで個別送信データを生成する。
一方、データ合成部４２０は、自装置である記録配信装置４００がマスタ装置である場合には、スケーリング部４１９から与えられたサイズ変更後の個別画像データを、重要度比較部１１８から受け取った各個別画像データの配置位置に配置することで合成画像データを生成する。そして、データ合成部４２０は、自装置である記録配信装置４００がマスタ装置である場合には、メタデータ生成部４０７から与えられた部分メタデータ、重要度の値及びフラグ情報と、管理情報生成部１１２から与えられた固有識別子と、メタデータ抽出部４１５から与えられた個別メタデータとを含む合成メタデータを生成する。そして、データ合成部１２０は、生成された合成画像データに合成メタデータを添付することで合成送信データを生成する。
そして、データ合成部４２０は、以上のようにして生成された個別送信データ又は合成送信データをデータ送信部１２１に与える。また、データ合成部４２０は、以上のようにして生成された合成送信データをデータ記録部４１３に記録させる。
【０１３３】
図１９は、実施の形態４におけるデータ合成部４２０が生成する個別送信データＩＩＤ４のデータ構造を示す概略図である。
個別送信データＩＩＤ４は、個別画像データＩＩＤ４１と、固有識別子ＩＩＤ４２と、記録状態情報ＩＩＤ４３と、重要度ＩＩＤ４４と、項目個数ＩＩＤ４５と、項目番号ＩＩＤ４６と、解析結果データサイズＩＩＤ４７と、解析結果ＩＩＤ４８とを有する。ここで、個別送信データＩＩＤ４の個別画像データＩＩＤ４１、固有識別子ＩＩＤ４２、重要度ＩＩＤ４４、項目個数ＩＩＤ４５、項目番号ＩＩＤ４６、解析結果データサイズＩＩＤ４７及び解析結果ＩＩＤ４８は、図９に示されている個別送信データＩＩＤ１の個別画像データＩＩＤ１１、固有識別子ＩＩＤ１２、重要度ＩＩＤ１３、項目個数ＩＩＤ１４、項目番号ＩＩＤ１５、解析結果データサイズＩＩＤ１６及び解析結果ＩＩＤ１７と、それぞれ同様である。
記録状態情報ＩＩＤ４３は、メタデータ生成部４０７から送られてくるフラグ情報である。この記録状態情報ＩＩＤ４３を参照することにより、マスタ装置は、スレーブ装置の記録状態を検知することができる。
【０１３４】
図２０は、実施の形態４におけるデータ合成部４２０が生成する合成送信データＳＩＤ４のデータ構造を示す概略図である。
合成送信データＳＩＤ４は、合成画像データＳＩＤ４１と、最大カメラ数ＳＩＤ４２と、各画像有無情報ＳＩＤ４３と、各記録状態情報ＳＩＤ４４と、カメラ番号ＳＩＤ４５と、スケーリングエリアＳＩＤ４６と、固有識別子ＳＩＤ４７と、重要度ＳＩＤ４８と、項目個数ＳＩＤ４９と、項目番号ＳＩＤ５０と、解析結果データサイズＳＩＤ５１と、解析結果ＳＩＤ５２とを有する。ここで、合成送信データＳＩＤ４の合成画像データＳＩＤ４１、最大カメラ数ＳＩＤ４２、各画像有無情報ＳＩＤ４３、カメラ番号ＳＩＤ４５、スケーリングエリアＳＩＤ４６、固有識別子ＳＩＤ４７、重要度ＳＩＤ４８、項目個数ＳＩＤ４９、項目番号ＳＩＤ５０、解析結果データサイズＳＩＤ５１及び解析結果ＳＩＤ５２は、図１０に示されているＳＩＤ１の合成画像データＳＩＤ１１、最大カメラ数ＳＩＤ１２、各画像有無情報ＳＩＤ１３、カメラ番号ＳＩＤ１４、スケーリングエリアＳＩＤ１５、固有識別子ＳＩＤ１６、重要度ＳＩＤ１７、項目個数ＳＩＤ１８、項目番号ＳＩＤ１９、解析結果データサイズＳＩＤ２０及び解析結果ＳＩＤ２１と、それぞれ同様である。
各記録状態情報ＳＩＤ４４は、カメラ（記録配信装置４００）毎に、記録が正常に行われているか否かを示す情報である。例えば、各記録状態情報ＳＩＤ４４は、ビットパターンの情報で明示される。例えば、図２及び３に示されている例において、４つのカメラ１５１〜１５４のうち、第１カメラ１５１、第２カメラ１５２及び第４カメラ１５４では、記録が正常に行われており、第３カメラ１５３では、記録が正常に行われていない場合には、各記録状態情報ＳＩＤ４４は、「０００１」と示される。
【０１３５】
なお、個別送信データＩＩＤ４及び合成送信データＳＩＤ４のデータ構造は、図１９及び図２０にそれぞれ示されているデータ構造に限定されるものではない。図１９及び図２０に示されている情報が含まれていればよい。従って、本発明の効果に影響のないその他の情報、例えば、メーカー情報等が含まれていてもよい。
【０１３６】
以上のように、実施の形態４に係る記録配信装置４００によれば、ＬＡＮ接続された複数の記録配信装置４００の何れかにおいて、画像データを記録できなくなる不具合が発生した場合に、別の記録配信装置４００で、不具合の生じた記録配信装置４００で撮像された個別画像データを記録することができ、記録媒体の不具合により記録ができない問題を改善することができる。
【０１３７】
なお、以上に記載された実施の形態４での処理を、実施の形態２又は３に追加することも可能である。
【０１３８】
以上に記載された実施の形態１〜４では、記録配信装置１００〜４００は、自装置がスレーブ装置である場合に、自装置で撮像された画像の個別画像データに対して、重要度を算出して、この重要度を個別送信データに含めて、マスタ装置に送信している。この点、例えば、記録配信装置１００〜４００は、自装置がスレーブ装置である場合には、重要度を算出せず、重要度を算出するために必要な部分メタデータを個別送信データに含めて、マスタ装置に送信するようにしてもよい。このような場合には、マスタ装置である記録配信装置１００〜４００では、メタデータ抽出部１１５、４１５が、抽出された個別メタデータを重要度算出部１０８、２０８、３０８に与えて、重要度算出部１０８、２０８、３０８が、個別メタデータに含まれている部分メタデータに基づいて、スレーブ装置の個別画像データの優先度を算出するようにすればよい。
【０１３９】
また、以上に記載された実施の形態１〜４では、記録配信装置１００〜４００は、自装置がマスタ装置である場合に、個別画像データのスケーリングを行っているが、自装置がスレーブ装置である場合にも、重要度に対応したサイズに、個別画像データのスケーリングを行ってもよい。このような場合には、マスタ装置で、スレーブ装置から送られてきた個別画像データをスケーリングしなくてもよい。そして、スレーブ装置が、個別画像データをダウンサイズして送信することで、ＬＡＮにおける使用帯域も節約することができる。
【０１４０】
また、例えば、特許文献１に記載された技術では、複数のＩＰカメラで同時に動きが検出された場合には、動きが検出された画像のうち、関連する画像のみを連続してモニタに表示することができなくなるが、実施の形態１〜４に係る記録配信装置１００〜４００によれば、動きが検出された画像が合成されて１つの画像として表示されるため、複数の記録配信装置１００〜４００で撮像された画像に、同時に動きが検出された場合であっても、効率的に監視を行うことができる。
【０１４１】
さらに、特許文献１に記載された技術では、動きが検出された画像が１枚ずつモニタに表示されるため、重要な画像が複数のＩＰカメラにまたがって撮像された場合に、それらの画像を関連付けて管理し、同時に視聴することができず、重要な映像を見逃すといった問題があった。しかしながら、実施の形態１〜４に係る記録配信装置１００〜４００では、重要な映像が合成されて同時に視聴することができるため、このような問題が生じない。
【０１４２】
さらにまた、特許文献１に記載された技術では、動きを検知するモーションディテクト機能を用いて画像の切り替えを行うため、動きがあった場合にしか画像が送信されない。このため、例えば、立ち止まった人や、置き去りにされた物等動きのない画像はデータとして送信されることがなく、視聴することも記録することもできないという問題があった。しかしながら、実施の形態１〜４に係る記録配信装置１００〜４００では、動きが検出された場合だけでなく、例えば、センサ入力があった場合、顔が検出された場合、音声入力があった場合等、複数の項目から重要度を判定しているため、このような問題が生じない。
【０１４３】
加えて、送信されてきた画像データを１枚の画像として表示する従来技術では、一度に多量の画像データが送られてきた場合には、画像を順次１枚の画像として表示するために、モニタ側の装置に高い処理能力が必要であった。これに対して、実施の形態１〜４に係る記録配信装置１００〜４００では、送信側で画像が合成されるため、受信側の装置は高い処理能力を必要としない。
【符号の説明】
【０１４４】
１００，２００，３００，４００：記録配信装置、 １０１：画像撮像部、 １０２：画像解析部、 １０３：外部情報入力部、 １０４：外部情報解析部、 １０５：音声入力部、 １０６：音声解析部、 １０７，３０７，４０７：メタデータ生成部、 １０８，２０８，３０８：重要度算出部、 １０９：画像符号化部、 １１０，３１０：画像切出部、 １１１，２１１：送信データ切替部、 １１２：管理情報生成部、 １１３，４１３：データ記録部、 １１４：データ受信部、 １１５，４１５：メタデータ抽出部、 １１６，３１６：重要度抽出部、 １１７，４１７：画像データ抽出部、 １１８，２１８，３１８：重要度比較部、 １１９，３１９，４１９：スケーリング部、 １２０，３２０，４２０：データ合成部、 １２１：データ送信部、 ２２２：閾値比較部、 ３２３：タイマー部、 ３２４：グループ化抽出部、 ４２５：記録状態監視部、 ４２６：記録状態検知部、 ４２７：記録データ切替部。
【特許請求の範囲】
【請求項１】
画像を撮像する画像撮像部と、
前記画像撮像部で撮像された画像の画像データを生成する画像符号化部と、
第１ネットワークから、画像データを含む個別送信データを受信するデータ受信部と、
前記個別送信データから画像データを抽出する画像データ抽出部と、
前記生成された画像データ及び前記抽出された画像データから選択された画像データより１つの画像データを生成し、当該１つの画像データを含む合成送信データを生成するデータ合成部と、
前記合成送信データを、第２ネットワークに送信するデータ送信部と、を備えること
を特徴とする記録配信装置。
【請求項２】
前記生成された画像データ及び前記抽出された画像データから選択された画像データのサイズを変更するスケーリング部をさらに備え、
前記データ合成部は、前記スケーリング部でサイズ変更済みの画像データから１つの画像データを生成すること
を特徴とする請求項１に記載の記録配信装置。
【請求項３】
前記生成された画像データの部分メタデータを生成するメタデータ生成部と、
前記個別送信データから個別メタデータを抽出するメタデータ抽出部と、をさらに備え、
前記データ合成部は、前記１つの画像データに、前記選択された画像データに対応する部分メタデータ及び個別メタデータの少なくとも何れか１つを合成することで、合成送信データを生成すること
を特徴とする請求項２に記載の記録配信装置。
【請求項４】
前記部分メタデータに基づいて、前記生成された画像データの重要度を算出する重要度算出部と、
前記個別メタデータから重要度を抽出する重要度抽出部と、
前記算出された重要度及び前記抽出された重要度から、前記選択された画像データのサイズ及び配置位置を特定する重要度比較部と、をさらに備え、
前記スケーリング部は、前記選択された画像データを、前記特定されたサイズに変更し、
前記データ合成部は、前記サイズ変更済みの画像データを、前記特定された配置位置に配置することで、前記１つの画像データを生成すること
を特徴とする請求項３に記載の記録配信装置。
【請求項５】
監視対象の状態を複数の項目で解析する状態解析部をさらに備え、
前記メタデータ生成部は、前記状態解析部での解析結果を前記部分メタデータに含め、
前記重要度算出部は、前記解析結果から、前記重要度を算出すること
を特徴とする請求項４に記載の記録配信装置。
【請求項６】
前記状態解析部は、前記撮像された画像に重要な部分が含まれているか否かを解析する画像解析部、外部の装置から外部信号が入力されたか否かを解析する外部情報解析部、及び、入力された音声の音量レベルを解析する音声解析部の少なくとも何れか１つを含むこと
を特徴とする請求項５に記載の記録配信装置。
【請求項７】
前記撮像された画像に重要な部分が含まれているか否かを解析する画像解析部と、
前記生成された画像データから、前記重要な部分を切り出す画像切出部と、をさらに備え、
前記スケーリング部は、前記切出し済みの画像データ及び前記抽出された画像データから選択された画像データのサイズを変更すること、
を特徴とする請求項２から４の何れか一項に記載の記録配信装置。
【請求項８】
前記スケーリング部は、前記生成された画像データ及び前記抽出された画像データの全てのサイズを変更すること
を特徴とする請求項２から７の何れか一項に記載の記録配信装置。
【請求項９】
前記重要度が予め定められた閾値以上であるか否かを判断する閾値比較部をさらに備え、
前記スケーリング部は、前記閾値比較部で、前記重要度が予め定められた閾値以上であると判断された画像データのサイズを変更すること
を特徴とする請求項２から７の何れか一項に記載の記録配信装置。
【請求項１０】
予め定められた時間を計時するタイマー部と、
前記予め定められた時間において撮像された画像から生成された複数の画像データの中で最も重要度の高い画像データを特定するとともに、前記予め定められた時間において、同じ送信元から受信された複数の個別送信データから抽出された画像データの中で最も重要度の高い画像データを特定するグループ化抽出部と、をさらに備え、
前記スケーリング部は、前記グループ化抽出部で特定された画像データのサイズを変更すること
を特徴とする請求項２から７の何れか一項に記載の記録配信装置。
【請求項１１】
前記生成された画像データを一意に識別するための固有識別子を生成する管理情報生成部と、
前記生成された画像データを、前記固有識別子に対応付けて記録するデータ記録部と、をさらに備え、
前記データ合成部は、前記選択された画像データに前記生成された画像データが含まれる場合には、前記１つの画像データに、前記生成された画像データの固有識別子をさらに合成すること
を特徴とする請求項１から１０の何れか一項に記載の記録配信装置。
【請求項１２】
前記個別送信データから、画像データが正しく記録されているか否かを示す記録状態情報を抽出し、当該記録状態情報に基づいて、前記個別送信データに含まれている画像データが正しく記録されているか否かを判断する記録状態検知部と、
前記記録状態検知部が、前記個別送信データに含まれている画像データが正しく記録されていないと判断した場合には、前記個別送信データに含まれている画像データを前記データ記憶部に記憶させる記録データ切替部と、をさらに備えること
を特徴とする請求項１１に記載の記録配信装置。
【請求項１３】
画像を撮像する撮像工程と、
前記撮像工程で撮像された画像の画像データを生成する画像符号化工程と、
第１ネットワークから、画像データを含む個別送信データを受信するデータ受信工程と、
前記個別送信データから画像データを抽出する画像データ抽出工程と、
前記生成された画像データ及び前記抽出された画像データから選択された画像データより１つの画像データを生成し、当該１つの画像データを含む合成送信データを生成するデータ合成工程と、
前記合成送信データを、第２ネットワークに送信するデータ送信工程と、を有すること
を特徴とする記録配信方法。
【請求項１４】
前記生成された画像データ及び前記抽出された画像データから選択された画像データのサイズを変更するスケーリング工程をさらに有し、
前記データ合成工程では、前記スケーリング工程でサイズ変更済みの画像データから１つの画像データを生成すること
を特徴とする請求項１３に記載の記録配信方法。
【請求項１５】
前記生成された画像データの部分メタデータを生成するメタデータ生成工程と、
前記個別送信データから個別メタデータを抽出するメタデータ抽出工程と、をさらに有し、
前記データ合成工程では、前記１つの画像データに、前記選択された画像データに対応する部分メタデータ及び個別メタデータの少なくとも何れか１つを合成することで、合成送信データを生成すること
を特徴とする請求項１４に記載の記録配信方法。
【請求項１６】
前記部分メタデータに基づいて、前記生成された画像データの重要度を算出する重要度算出工程と、
前記個別メタデータから重要度を抽出する重要度抽出工程と、
前記算出された重要度及び前記抽出された重要度から、前記選択された画像データのサイズ及び配置位置を特定する重要度比較工程と、をさらに有し、
前記スケーリング工程では、前記選択された画像データを、前記特定されたサイズに変更し、
前記データ合成工程では、前記サイズ変更済みの画像データを、前記特定された配置位置に配置することで、前記１つの画像データを生成すること
を特徴とする請求項１５に記載の記録配信方法。
【請求項１７】
監視対象の状態を複数の項目で解析する状態解析工程をさらに有し、
前記メタデータ生成工程では、前記状態解析工程での解析結果を前記部分メタデータに含め、
前記重要度算出工程では、前記解析結果から、前記重要度を算出すること
を特徴とする請求項１６に記載の記録配信方法。
【請求項１８】
前記状態解析工程は、前記撮像された画像に重要な部分が含まれているか否かを解析する画像解析工程、外部の装置から外部信号が入力されたか否かを解析する外部情報解析工程、及び、入力された音声の音量レベルを解析する音声解析工程の少なくとも何れか１つを含むこと
を特徴とする請求項１７に記載の記録配信方法。
【請求項１９】
第１ネットワークを介してデータを送受信するスレーブ装置と、前記第１ネットワーク及び第２ネットワークを介してデータを送受信するマスタ装置と、前記第２ネットワークを介してデータを送受信する視聴装置と、を備える監視システムであって、
前記スレーブ装置は、
画像を撮像する画像撮像部と、
前記画像撮像部で撮像された画像の画像データを生成する画像符号化部と、
前記画像データを含む個別送信データを生成するデータ合成部と、
前記第１のネットワークを介して、前記個別送信データを、前記マスタ装置に送信するデータ送信部と、を備え、
前記マスタ装置は、
画像を撮像する画像撮像部と、
前記画像撮像部で撮像された画像の画像データを生成する画像符号化部と、
前記第１ネットワークを介して、前記個別送信データを受信するデータ受信部と、
前記個別送信データから画像データを抽出する画像データ抽出部と、
前記生成された画像データ及び前記抽出された画像データから選択された画像データより１つの画像データを生成し、当該１つの画像データを含む合成送信データを生成するデータ合成部と、
前記合成送信データを、前記第２ネットワークを介して、前記視聴装置に送信するデータ送信部と、を備え、
前記視聴装置は、
前記第２ネットワークを介して、前記合成送信データを受信する受信部と、
前記合成送信データから、前記１つの画像データを抽出する画像処理部と、
前記１つの画像データに基づいて、画像を表示する表示部と、を備えること
を特徴とする監視システム。
【請求項１】
画像を撮像する画像撮像部と、
前記画像撮像部で撮像された画像の画像データを生成する画像符号化部と、
第１ネットワークから、画像データを含む個別送信データを受信するデータ受信部と、
前記個別送信データから画像データを抽出する画像データ抽出部と、
前記生成された画像データ及び前記抽出された画像データから選択された画像データより１つの画像データを生成し、当該１つの画像データを含む合成送信データを生成するデータ合成部と、
前記合成送信データを、第２ネットワークに送信するデータ送信部と、を備えること
を特徴とする記録配信装置。
【請求項２】
前記生成された画像データ及び前記抽出された画像データから選択された画像データのサイズを変更するスケーリング部をさらに備え、
前記データ合成部は、前記スケーリング部でサイズ変更済みの画像データから１つの画像データを生成すること
を特徴とする請求項１に記載の記録配信装置。
【請求項３】
前記生成された画像データの部分メタデータを生成するメタデータ生成部と、
前記個別送信データから個別メタデータを抽出するメタデータ抽出部と、をさらに備え、
前記データ合成部は、前記１つの画像データに、前記選択された画像データに対応する部分メタデータ及び個別メタデータの少なくとも何れか１つを合成することで、合成送信データを生成すること
を特徴とする請求項２に記載の記録配信装置。
【請求項４】
前記部分メタデータに基づいて、前記生成された画像データの重要度を算出する重要度算出部と、
前記個別メタデータから重要度を抽出する重要度抽出部と、
前記算出された重要度及び前記抽出された重要度から、前記選択された画像データのサイズ及び配置位置を特定する重要度比較部と、をさらに備え、
前記スケーリング部は、前記選択された画像データを、前記特定されたサイズに変更し、
前記データ合成部は、前記サイズ変更済みの画像データを、前記特定された配置位置に配置することで、前記１つの画像データを生成すること
を特徴とする請求項３に記載の記録配信装置。
【請求項５】
監視対象の状態を複数の項目で解析する状態解析部をさらに備え、
前記メタデータ生成部は、前記状態解析部での解析結果を前記部分メタデータに含め、
前記重要度算出部は、前記解析結果から、前記重要度を算出すること
を特徴とする請求項４に記載の記録配信装置。
【請求項６】
前記状態解析部は、前記撮像された画像に重要な部分が含まれているか否かを解析する画像解析部、外部の装置から外部信号が入力されたか否かを解析する外部情報解析部、及び、入力された音声の音量レベルを解析する音声解析部の少なくとも何れか１つを含むこと
を特徴とする請求項５に記載の記録配信装置。
【請求項７】
前記撮像された画像に重要な部分が含まれているか否かを解析する画像解析部と、
前記生成された画像データから、前記重要な部分を切り出す画像切出部と、をさらに備え、
前記スケーリング部は、前記切出し済みの画像データ及び前記抽出された画像データから選択された画像データのサイズを変更すること、
を特徴とする請求項２から４の何れか一項に記載の記録配信装置。
【請求項８】
前記スケーリング部は、前記生成された画像データ及び前記抽出された画像データの全てのサイズを変更すること
を特徴とする請求項２から７の何れか一項に記載の記録配信装置。
【請求項９】
前記重要度が予め定められた閾値以上であるか否かを判断する閾値比較部をさらに備え、
前記スケーリング部は、前記閾値比較部で、前記重要度が予め定められた閾値以上であると判断された画像データのサイズを変更すること
を特徴とする請求項２から７の何れか一項に記載の記録配信装置。
【請求項１０】
予め定められた時間を計時するタイマー部と、
前記予め定められた時間において撮像された画像から生成された複数の画像データの中で最も重要度の高い画像データを特定するとともに、前記予め定められた時間において、同じ送信元から受信された複数の個別送信データから抽出された画像データの中で最も重要度の高い画像データを特定するグループ化抽出部と、をさらに備え、
前記スケーリング部は、前記グループ化抽出部で特定された画像データのサイズを変更すること
を特徴とする請求項２から７の何れか一項に記載の記録配信装置。
【請求項１１】
前記生成された画像データを一意に識別するための固有識別子を生成する管理情報生成部と、
前記生成された画像データを、前記固有識別子に対応付けて記録するデータ記録部と、をさらに備え、
前記データ合成部は、前記選択された画像データに前記生成された画像データが含まれる場合には、前記１つの画像データに、前記生成された画像データの固有識別子をさらに合成すること
を特徴とする請求項１から１０の何れか一項に記載の記録配信装置。
【請求項１２】
前記個別送信データから、画像データが正しく記録されているか否かを示す記録状態情報を抽出し、当該記録状態情報に基づいて、前記個別送信データに含まれている画像データが正しく記録されているか否かを判断する記録状態検知部と、
前記記録状態検知部が、前記個別送信データに含まれている画像データが正しく記録されていないと判断した場合には、前記個別送信データに含まれている画像データを前記データ記憶部に記憶させる記録データ切替部と、をさらに備えること
を特徴とする請求項１１に記載の記録配信装置。
【請求項１３】
画像を撮像する撮像工程と、
前記撮像工程で撮像された画像の画像データを生成する画像符号化工程と、
第１ネットワークから、画像データを含む個別送信データを受信するデータ受信工程と、
前記個別送信データから画像データを抽出する画像データ抽出工程と、
前記生成された画像データ及び前記抽出された画像データから選択された画像データより１つの画像データを生成し、当該１つの画像データを含む合成送信データを生成するデータ合成工程と、
前記合成送信データを、第２ネットワークに送信するデータ送信工程と、を有すること
を特徴とする記録配信方法。
【請求項１４】
前記生成された画像データ及び前記抽出された画像データから選択された画像データのサイズを変更するスケーリング工程をさらに有し、
前記データ合成工程では、前記スケーリング工程でサイズ変更済みの画像データから１つの画像データを生成すること
を特徴とする請求項１３に記載の記録配信方法。
【請求項１５】
前記生成された画像データの部分メタデータを生成するメタデータ生成工程と、
前記個別送信データから個別メタデータを抽出するメタデータ抽出工程と、をさらに有し、
前記データ合成工程では、前記１つの画像データに、前記選択された画像データに対応する部分メタデータ及び個別メタデータの少なくとも何れか１つを合成することで、合成送信データを生成すること
を特徴とする請求項１４に記載の記録配信方法。
【請求項１６】
前記部分メタデータに基づいて、前記生成された画像データの重要度を算出する重要度算出工程と、
前記個別メタデータから重要度を抽出する重要度抽出工程と、
前記算出された重要度及び前記抽出された重要度から、前記選択された画像データのサイズ及び配置位置を特定する重要度比較工程と、をさらに有し、
前記スケーリング工程では、前記選択された画像データを、前記特定されたサイズに変更し、
前記データ合成工程では、前記サイズ変更済みの画像データを、前記特定された配置位置に配置することで、前記１つの画像データを生成すること
を特徴とする請求項１５に記載の記録配信方法。
【請求項１７】
監視対象の状態を複数の項目で解析する状態解析工程をさらに有し、
前記メタデータ生成工程では、前記状態解析工程での解析結果を前記部分メタデータに含め、
前記重要度算出工程では、前記解析結果から、前記重要度を算出すること
を特徴とする請求項１６に記載の記録配信方法。
【請求項１８】
前記状態解析工程は、前記撮像された画像に重要な部分が含まれているか否かを解析する画像解析工程、外部の装置から外部信号が入力されたか否かを解析する外部情報解析工程、及び、入力された音声の音量レベルを解析する音声解析工程の少なくとも何れか１つを含むこと
を特徴とする請求項１７に記載の記録配信方法。
【請求項１９】
第１ネットワークを介してデータを送受信するスレーブ装置と、前記第１ネットワーク及び第２ネットワークを介してデータを送受信するマスタ装置と、前記第２ネットワークを介してデータを送受信する視聴装置と、を備える監視システムであって、
前記スレーブ装置は、
画像を撮像する画像撮像部と、
前記画像撮像部で撮像された画像の画像データを生成する画像符号化部と、
前記画像データを含む個別送信データを生成するデータ合成部と、
前記第１のネットワークを介して、前記個別送信データを、前記マスタ装置に送信するデータ送信部と、を備え、
前記マスタ装置は、
画像を撮像する画像撮像部と、
前記画像撮像部で撮像された画像の画像データを生成する画像符号化部と、
前記第１ネットワークを介して、前記個別送信データを受信するデータ受信部と、
前記個別送信データから画像データを抽出する画像データ抽出部と、
前記生成された画像データ及び前記抽出された画像データから選択された画像データより１つの画像データを生成し、当該１つの画像データを含む合成送信データを生成するデータ合成部と、
前記合成送信データを、前記第２ネットワークを介して、前記視聴装置に送信するデータ送信部と、を備え、
前記視聴装置は、
前記第２ネットワークを介して、前記合成送信データを受信する受信部と、
前記合成送信データから、前記１つの画像データを抽出する画像処理部と、
前記１つの画像データに基づいて、画像を表示する表示部と、を備えること
を特徴とする監視システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１２−２２２７８０（Ｐ２０１２−２２２７８０Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８９９９８（Ｐ２０１１−８９９９８）
【出願日】平成２３年４月１４日（２０１１．４．１４）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月１４日（２０１１．４．１４）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]