説明

映像監視システム、映像情報配信装置およびクライアント装置

【課題】ライブ映像や蓄積映像の選択や映像表示を行うWebブラウザのUI部品の更新管理を、映像やアラームのメタ情報を用いて行うことで、プログラム変更の必要が無いUIの構築を可能にする。
【解決手段】それぞれの監視領域を撮像する複数のカメラ1のカメラIDやアラーム情報をメタ情報30,40として扱い、クライアント装置18において、映像情報配信装置17から適宜取得したメタ情報に基づいてWebブラウザ(閲覧手段6)のUI部品である、カメラ選択表示部品90、映像表示部品80およびアラームリスト表示部品70の表示形態を更新管理し、Webブラウザ上のカメラ選択表示部品やアラームリスト表示部品に対するユーザ操作(UIイベント)により、対応するメタ情報を用いた映像配信要求を映像情報配信装置に送信して必要なライブ映像または蓄積映像を取得し表示する。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、監視映像の選択画面や映像表示画面を管理する映像監視システム、当該システムに使用する映像情報配信装置およびクライアント装置に関するものである。
【背景技術】
【0002】
近年ネットワーク伝送の高速化や画像のデジタル化が進んだことにより、動画像をWeb配信するサービスが普及して来た。また、遠隔的に監視を行う映像監視システムにおいても、複数のカメラから取得した映像(ライブ映像や録画)とその映像に関連するメタ情報をWeb配信し、クライアント装置において受信した映像をWebブラウザにより画面表示し、かつメタ情報を用いて表示している映像を制御するシステムが普及しつつある。このような映像制御システムとして、カメラサーバ装置において、カメラのアングル範囲(パン、チルト、ズームの範囲)をメタ情報として生成してカメラ映像と共に配信し、クライアント装置において、ユーザがWebブラウザの映像画面に付随しているアングル範囲を調整した際に、該アングル範囲に対応するアクション(コマンドを送信してパン、チルト、ズームを変える)を実行することで映像を変えると共に、上記設定したアングル範囲に応じてカメラ映像に現われた被写体に関連する情報(例えば被写体に関する解説文、取り扱い説明書、メール作成画面など)をポップアップ表示するなどの情報提供を行う技術がある(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2000−341680号公報(図1)
【発明の概要】
【発明が解決しようとする課題】
【0004】
以上の特許文献1に記載された、メタ情報を伴って映像を配信再生する従来のシステムでは、メタ情報は選択表示された映像の画像をアレンジしたり、補足情報を付加したりするために使用されているもので、カメラ選択や選択された映像を直接表示することには使用されていない。したがって、配信側で予め定めたメタ情報に基づく既定の動作のみをクライアント側で行うだけのものであるため、メタ情報を変更する場合は、プログラムやシステムに精通している者でしか対応できなかった。また、従来のシステムでは、例えば監視領域におけるアラーム情報など、カメラ以外のデータに基づいた新規な表示動作を規定する場合には、カメラサーバ装置、クライアント装置におけるプログラムの大幅な修正が必要であった。
【0005】
この発明は、上記問題点を解決するためになされたもので、ライブ映像や蓄積映像の選択や映像表示を行うWebブラウザのユーザインタフェース(以下、UIとする)部品の更新管理を、映像やアラームのメタ情報を用いて行うことで、プログラム変更の必要が無いUIの構築を可能にする映像監視システム、映像情報配信装置およびクライアント装置を得ることを目的とする。
【課題を解決するための手段】
【0006】
この発明に係る映像監視システムは、映像情報配信装置がそれぞれの監視領域を撮像した複数カメラによるライブ映像またはそれらの蓄積映像を、インターネット回線を介してクライアント装置に適宜配信する映像監視システムにおいて、映像情報配信装置は、複数カメラの映像にカメラID、映像取得日時、監視領域におけるアラームの有無を関連付けて蓄積し、またアラームが有る場合にはその発生日時、発生場所、アラーム種別を含むアラーム情報を生成して蓄積し、クライアント装置から受信したメタ情報配信要求に含まれるメタ情報に応じたライブ映像または蓄積映像を配信し、またクライアント装置からのメタ情報配信要求に応じてライブ映像、蓄積映像に関連する映像メタ情報と、アラーム情報の履歴に関連するアラームメタ情報とを生成して配信し、クライアント装置は、映像情報配信装置から受信した映像メタ情報に基づいてWebブラウザ上でライブ映像を選択するためのカメラ選択表示部品の表示形態を更新管理し、また、受信したアラームメタ情報に基づいてWebブラウザ上で蓄積映像を選択するためのアラームリスト表示部品の表示形態を更新管理し、さらに、受信した映像メタ情報に基づいてWebブラウザ上で映像を表示するための映像表示部品の表示形態を更新管理し、映像情報配信装置との接続開始時およびカメラ選択表示部品もしくはアラームリスト表示部品に対するユーザ操作時に対応するメタ情報を用いて映像配信要求を生成し、また、当該映像配信要求の生成時および各表示部品の管理過程においてメタ情報配信要求を生成して映像情報配信装置に送信するようにしたものである。
【発明の効果】
【0007】
この発明によれば、それぞれの監視領域を撮像する複数のカメラのカメラIDやアラーム情報をメタ情報として扱い、クライアント装置において、映像情報配信装置から適宜取得したメタ情報に基づいてWebブラウザのUI部品である、カメラ選択表示部品、映像表示部品およびアラームリスト表示部品の表示形態を更新管理し、Webブラウザ上のカメラ選択表示部品やアラームリスト表示部品に対するユーザ操作により、対応するメタ情報を用いた映像配信要求を映像情報配信装置に送信して必要なライブ映像または蓄積映像を取得し表示するようにしている。したがって、プログラムを変更する必要の無いUIを構築でき、プログラムやシステムに精通していないユーザでも対応可能な映像監視システムを実現することができる。
【図面の簡単な説明】
【0008】
【図1】この発明の実施の形態1による映像監視システムの機能構成を示すブロック図である。
【図2】同実施の形態1に係る映像受信手段の動作手順を示すフローチャートである。
【図3】同実施の形態1に係る映像蓄積・出力手段の動作手順を示すフローチャートである。
【図4】同実施の形態1に係る記憶装置に格納される記憶フォーマットの構成を示す説明図である。
【図5】同実施の形態1に係るアラーム受信手段の動作手順を示すフローチャートである。
【図6】同実施の形態1に係る映像配信手段の動作手順を示すフローチャートである。
【図7】同実施の形態1に係るアラームメタ情報のデータ例を示す説明図である。
【図8】同実施の形態1に係る映像メタ情報のデータ例を示す説明図である。
【図9】同実施の形態1に係るクライアント装置における起動時の動作順序を示すシーケンス図である。
【図10】同実施の形態1に係るクライアント装置におけるメタ情報受信時の動作順序を示すシーケンス図である。
【図11】同実施の形態1に係るメタ情報受信手段の動作手順を示すフローチャートである。
【図12】同実施の形態1に係るメタ情報フィルタ手段の動作手順を示すフローチャートである。
【図13】同実施の形態1に係るメタ情報変換規則テーブルの例を示す説明図である。
【図14】同実施の形態1に係るメタ情報フィルタ手段で変換されたメタ情報のデータ構成例を示す説明図である。
【図15】同実施の形態1に係るメタ情報配信手段の動作手順を示すフローチャートである。
【図16】同実施の形態1に係るUI部品管理手段の動作手順を示すフローチャートである。
【図17】同実施の形態1に係るUI部品管理手段で管理するアラームリスト表示部品の例を示す説明図である。
【図18】同実施の形態1に係るUI部品管理手段で管理する映像表示部品の例を示す説明図である。
【図19】同実施の形態1に係るUI部品管理手段で管理するカメラ選択表示部品の例を示す説明図である。
【図20】同実施の形態1に係るUI部品管理手段で使用する管理メタデータテーブルの形式を示す説明図である。
【図21】同実施の形態1に係るアラームリスト表示部品に関する管理メタデータテーブルの例を示す説明図である。
【図22】同実施の形態1に係る映像表示部品に関する管理メタデータテーブルの例を示す説明図である。
【図23】同実施の形態1に係るカメラ選択部品の管理メタデータテーブルの例を示す説明図である。
【図24】同実施の形態1に係るWebブラウザで表示された受信アラームメタ情報の例を示す説明図である。
【図25】同実施の形態1に係るWebブラウザの初期画面の例を示す説明図である。
【図26】同実施の形態1に係るUIイベント発生時の動作順序を示すシーケンス図である。
【図27】この発明の実施の形態2による映像監視システムの機能構成を示すブロック図である。
【図28】同実施の形態2に係るWebブラウザの初期画面の例を示す説明図である。
【図29】同実施の形態2に係るメタ管理データ編集手段の編集対象とするメタデータを含むUIリストの例を示す説明図である。
【図30】この発明の実施の形態3による映像監視システムの機能構成を示すブロック図である。
【図31】同実施の形態3に係るUI操作履歴保持手段を動作させるための操作リストを示す説明図である。
【発明を実施するための形態】
【0009】
実施の形態1.
図1はこの発明の実施の形態1による映像監視システムの機能構成を示すブロック図である。
図において、映像情報配信装置17は、複数のカメラ1で撮像した映像を、クライアント装置18からの映像配信要求に応じてライブ映像または蓄積映像の状態で、インターネット13を介してクライアント装置18に配信する。クライアント装置18は、Webブラウザに対するユーザ操作により映像情報配信装置17に対して映像配信要求を出し、配信された映像をWebブラウザにより画面表示する。
映像情報配信装置17は、映像受信手段2、映像蓄積・出力手段3、アラーム受信手段4、映像配信手段5および記憶装置11を備えている。一方、クライアント装置18は、閲覧手段6、メタ情報受信手段7、メタ情報フィルタ手段8、メタ情報配信手段9、UI部品管理手段10および制御手段12を備えている。
ここで、閲覧手段6は、Webブラウザの機能に相当するもので、映像配信手段5が持つWebサーバと通信し、HTMLなどを受信し、所定のUI部品を用いて表示を行い、また表示するためのデータをWebブラウザ画面からユーザ操作により要求する手段である。制御手段12は、閲覧手段6からユーザ指示に従って出力されるイベントに応じて制御コード(映像配信要求、メタ情報配信要求)を映像配信手段5に対して送信すると共に、メタ情報フィルタ手段8、メタ情報配信手段9、UI部品管理手段10を制御する手段である。なお、制御手段12、閲覧手段6、メタ情報受信手段7は、図示しないルータ経由でインターネット回線13を介して映像配信手段5と接続されているものとする。
【0010】
次に、映像情報配信装置17の各部の動作について説明する。
複数のカメラ1は、それぞれ所定の監視領域を撮像した映像信号を出力すると共に、映像の動き情報を検出したモーション検出信号を出力する。映像受信手段2では、複数カメラ1からの映像信号、モーション検出信号を受信し、映像信号をデジタル変換、符号化してデジタル符号化映像を生成してカメラIDと共に出力し、またモーション検出信号を出力する。この映像受信手段2の詳細動作を図2のフローチャートに従って説明する。
映像受信手段2は、複数のカメラ1からの映像信号をそれぞれ取得する(ステップST101)。この場合の取得形態としては、例えばYUV映像信号とする。また、カメラ1で検出されたモーション検出信号を取得し、アラーム受信手段4に出力する(ステップST102)。このモーション検出信号とは、監視領域において発生する異常を映像上の変化として検出する信号で、例えば映像フレーム間の差分を取り、差分が一定以上であった場合にオン、それ以外はオフとなる信号である。モーション検出信号は、通常、映像信号の垂直帰線期間に重畳されている。映像受信手段2では、取得した映像信号をデジタル変換し、符号化することでデジタル符号化映像(以下、映像データとする)を生成する(ステップST103)。この符号化方法には、例えばJPEG(Joint Photographic coding Experts Group)符号化が用いられる。映像受信手段2は、次に、生成した映像データに、映像の出所を識別するカメラIDを付与して出力する(ステップST104)。この場合、出力される映像データは映像蓄積・出力手段3に与えられると共に、映像配信装置5にも与えられる。
なお、カメラには、映像信号をデジタル符号化した映像データを生成しカメラIDを付与して出力するものもあるので、その場合の映像受信手段2としては、各カメラからの映像データとモーション検出信号を分離する機能を持つだけのタイプを使用すればよいことになる。
【0011】
映像蓄積・出力手段3では、映像受信手段2から入力される映像データに、カメラID、映像の取得日時、アラーム情報を関連付けて既定のフォーマットにして記憶装置11に蓄積する。この映像蓄積・出力手段3の蓄積動作の詳細を図3のフローチャートに従って説明する。
映像蓄積・出力手段3は、記憶フォーマットを1フレーム分作成し、これに従った映像情報テーブルを作成する(ステップST201)。ここで言う記憶フォーマットは、図4に示すように、複数の映像データについて規定するもので、各映像データに対応するデータ項目とそのデータ部(フィールド)から構成されている。カメラID20は映像データの出所となる撮像カメラのID、日時21は映像データの撮像日時、映像22は映像データ自身、アラーム情報23はアラームの有無を表わす。次に、映像受信手段2から入力された映像データを、先に作成した映像情報テーブルの映像フィールド22に格納する(ステップST202)。引き続きアラーム受信手段4からのアラーム情報の取得を行い(ステップST203)、アラーム発生の有無を判定する(ステップST204)。アラームがあった場合には‘1’とし(ステップST205)、該当するカメラIDまたは接点番号と共に上記映像情報テーブルのアラーム情報フィールド23に格納する。一方、アラームが無かった場合には‘0’として(ステップST206)アラーム情報フィールド23に格納する。また、ST205およびST206のいずれの場合にも、OS等からシステム時間を取得し撮像日時として上記映像情報テーブルの日時フィールド21へ格納する(ステップST207)。次に、映像受信手段2からカメラIDを取得し(ステップST208)、上記映像情報テーブルのカメラIDフィールド21へ格納する。次に、各データを格納した映像情報テーブルを記憶装置11に蓄積する(ステップST209)。
【0012】
アラーム受信手段4には、モーション検出信号のほかに、接点情報が与えられており、これら異常状態を表すモーション検出信号、接点情報をアラーム情報として出力する。このアラーム受信手段4の詳細動作を図5のフローチャートに従って説明する。
アラーム受信手段4は、まず、監視領域に設置された異常を検知するセンサなどの接点の状態を表す接点情報を取得する(ステップST301)。また、映像受信手段2が出力するモーション検出信号を取得する(ステップST302)。取得した接点情報および/もしくはモーション検出信号をアラーム情報として映像蓄積・出力手段5へ出力する(ステップST303)。
【0013】
映像配信手段5では、クライアント装置18からの映像配信要求である制御コードを受信すると、その内容に応じた映像データとメタ情報を要求元のクライアント装置18に配信する。この映像配信手段5の詳細動作を図6のフローチャートに従って説明する。
映像配信手段5は、まず、クライアント装置18からの制御コードの受信の有無を判定する(ステップST401)。制御コードを受信した場合には、制御コードにおいて出力モードの変更があるかを判定する(ステップST402)。ここでは、映像配信手段5は、クライアント装置18からの映像配信要求に応じるための出力モードを保持しており、出力モードに基づいて動作の変更を行う。この出力モードとしては、「ライブ映像」とカメラIDの組み合わせ、および「蓄積映像」とカメラID、取得日時情報の組み合わせがある。出力モードに変更があった場合にはその出力モードを格納し(ステップST403)、次の処理ステップST404へ進む。一方、ST401で制御コードを受信しなかった場合およびST402で出力モードに変更なしの場合には、いずれもそのまま次の処理ステップST404へ進む。ST404では、上記出力モードがライブ映像であるかを判定する。出力モードがライブ映像である場合には、映像受信手段2が出力するカメラIDと合致する映像データを取得する(ステップST406)。一方、出力モードがライブ映像でない場合には、制御コード(映像配信要求)で指示している日時情報、カメラIDを用いて映像蓄積・出力手段3に対して蓄積映像の取得要求を行い、指示した日時情報、カメラIDに対応する映像データとアラーム情報を映像蓄積・出力手段3から取得する。(ステップST407)。この場合、取得要求を受けた映像蓄積・出力手段3は、図4に示した記憶フォーマットに基づいて、指示された日時情報・カメラIDに合致する映像データとアラーム情報を記憶装置11より読み出して映像配信手段5に出力する。
【0014】
さらに映像配信手段5は、ST406またはST407で取得したデータの中から映像データ以外のデータ、すなわち、ライブ映像の場合はカメラIDを、一方、蓄積映像の場合は日時情報、カメラIDを映像メタ情報として生成し、また、蓄積されているアラーム情報の履歴を抽出してアラームメタ情報として生成しクライアント装置18へ送信する(ステップST408)。ここで、メタ情報のフォーマットは、例えば図7、図8に示すように、RFC4627で規定されているJSON(JavaScript Object Notation)形式である。ここでは、アラーム情報をアラームメタ情報とし、映像関連情報(日時情報、カメラID)を映像メタ情報として出力する。
アラームメタ情報30は、図7に示すように、メタ情報キー部とメタ情報データ部をペアにした形式を持ち、アラーム発生の日時を表わすメタ情報キー部32にアラーム発生を表わす「アラーム日時」、メタ情報データ部33に実際の発生日時を「年/月/日 時:分:秒」の形で格納する。また、メタ情報キー部34にアラーム発生場所を表す「アラーム」、メタ情報データ部35にアラーム発生場所に設置されたカメラのID(例、Cam#02)あるいは接点の番号(例、接点#001)を格納する。さらに、メタ情報キー部36に「アラーム種別」、メタ情報データ部37に実際のアラームの種別がモーション検出であることを示す「MD」あるいは接点検出であることを示す「接点」を格納する。
【0015】
一方、映像メタ情報40は、図8に示すように、メタ情報キー部とメタ情報データ部をペアにした形式を持ち、メタ情報キー部41に「映像取得日時」、メタ情報データ部42に実際の取得日を「年/月/日 時:分:秒」の形で格納する。また、メタ情報キー部43に撮像カメラを識別する「カメラID」、メタ情報データ部44に実際のカメラID(例、Cam#02)を格納する。さらに、メタ情報キー部45に映像を蓄積している記憶装置を識別するための「機器ID」、メタ情報データ部46に実際の機器ID(例、12341000)を格納する。この機器IDは、例えば製造シリアル番号など機器を同定する文字列とする。
映像配信手段5は、クライアント装置18に対して、図示しないWebサーバを用いて、メタ情報を送信した後、次に映像データを送信する(ステップST409)。
【0016】
次にクライアント装置の動作について説明する。
最初に、クライアント装置18における起動時のシーケンスを図9に従って説明する。閲覧手段6のWebブラウザからのURI(Uniform Resource Identifier)により映像情報配信装置17の映像配信手段5内のWebサーバからHTMLと付随するJavascript(ECMAScript: Ecma Internationalにより策定されたScript言語)をHTTP(Hypertext Transfer Protocol)プロトコルにてダウンロードする。閲覧手段6は、ダウンロードした上記HTMLによりJavascriptで記述された制御手段12に起動通知を行う。この起動通知を受けた制御手段12は、メタ情報受信手段7、メタ情報フィルタ手段8、メタ情報配信手段9およびUI部品管理手段10を起動させる。UI部品管理手段10は、所定部品数インスタンスを生成し、また複数あるUI部品管理手段10のそれぞれはUI部品のHTMLを生成して制御手段12に自インスタンス情報とともに初期化完了通知を行う。この初期化完了通知に基づき、制御手段12はメタ情報配信手段9に対してUI部品管理手段10のインスタンス情報とともにUI部品初期化完了通知を出力する。メタ情報配信手段9は、制御手段12が出力したUI部品初期化完了通知に基づき、UI部品管理手段10のインスタンスを内部に保存する。
【0017】
次に、クライアント装置の各部のメタ情報受信時の動作について説明する。図10はクライアント装置18におけるメタ情報受信時のシーケンス図である。
メタ情報受信手段7は、先に説明した映像情報配信装置17の映像配信手段5から映像データとは個別に配信されるメタ情報を受信するが、その詳細動作を図11のフローチャートに従って説明する。
まず、メタ情報受信手段7は、HTTPリクエストを生成する(ステップST501)。例えば検索クエリに「?Image=live&meta=alarm」とした場合には、映像配信手段5の出力モードを「ライブ映像」とし、メタ情報をアラームメタ情報のみと指定する。次に、生成したHTTPリクエストを閲覧手段6に通知して、映像配信手段5に対してHTTP送信を行う(ステップST502)。これに対する映像配信手段5からのHTTPレスポンスを受信すると(ステップST503)、そのHTTPレスポンスの解析を行い(ステップST504)、HTTPレスポンス中のメタ情報を取得する(ステップST505)。次に、取得したメタ情報をメタ情報フィルタ手段8へ出力する(ステップST506)。
【0018】
メタ情報フィルタ手段8は、メタ情報受信手段7で取得したメタ情報を予め決められたメタ情報変換規則に基づいて変換する。このメタ情報フィルタ手段8の詳細動作を図12のフローチャートに従って説明する。
メタ情報フィルタ手段8は、メタ情報受信手段7で受信したメタ情報を取得し(ステップST601)、メタ情報のキー部と一致するメタ情報変換規則を取得する(ステップST602)。このメタ情報変換規則は、図13に示す形式のテーブルに格納されている。ここでは、今、メタ情報としてアラームメタ情報のみを受信しているとしているので、アラームのメタ情報変換規則の例について示す。メタ情報変換規則50には、置換対象文字列(アラームの発生箇所であるカメラIDや接点番号)51と置換文字列(置き換え後の文字列:実際のアラーム発生場所を表わす部屋やドア番号)52が規定されており、取得したメタ情報のデータ部文字列が置換対象文字列に合致した場合に、対応する置換文字列に置換できるようにしている。次に、内部変数iを0で初期化し(ステップST603)、変数iがメタ情報変換規則数と一致するかを判定する(ステップST604)。情報変換規則数と一致しない場合には、取得したメタ情報のデータ部文字列がメタ情報変換規則の置換対象文字列と一致するかを判定する(ステップST605)。置換対象文字列と一致する場合には、該メタ情報のデータ部をメタ情報変換規則の置換文字列に置き換えて(ステップST606)、次の処理ステップST607へ進む。一方、ST605の判定で一致しない場合には、そのまま次の処理ステップST607へ進む。ステップST607では、内部変数iをインクリメントしてST604の判定処理に進む。ST604の判定で内部変数iがメタ情報変換規則数と一致した場合には、メタ情報変換規則に従ってデータ部文字列が全て変換されたメタ情報をメタ情報配信手段9に出力する(ステップST608)。
【0019】
ここで、上記メタ情報フィルタ手段8による変換結果は、例えば図14に示すようなデータ構成となる。メタ情報変換規則テーブルに従って変換されたメタ情報60は、メタキーが日時のメタ情報61、アラームのメタ情報62、アラーム種別のメタ情報63で構成されている。この変換を行うことにより、カメラ(映像)やアラーム情報の出所を、例えば後述する図24に示すアラームリストとして表示した場合、実際の監視領域の場所名や接点取り付け箇所名とすることで、アラームの発生した監視対象を視覚的に即捉えることができるようになる。なお、上記メタ情報フィルタ手段8は、必ずしも設けなくてもよい。
【0020】
メタ情報配信手段9は、メタ情報フィルタ手段8で変換されたメタ情報を所定の規則に従って複数のUI部品管理手段10へ配信する。メタ情報配信手段9の詳細動作を図15のフローチャートに従って説明する。
メタ情報配信手段9は、まず、UI部品管理手段数(インスタンス数)を取得する(ステップST701)。次に、内部変数iを0で初期化し(ステップST702)、内部変数iがUI部品管理手段数と一致するか判定する(ステップST703)。一致しない場合には、メタ情報フィルタ手段8で変換されたメタ情報をUI部品管理手段10へ出力し(ステップST704)、次に内部変数iをインクリメントし(ステップST705)、ST703〜ST705の処理を繰り返す。ST703の処理で、やがて内部変数iがUI部品管理手段数と一致した場合には本処理を終了する。これにより全てのUI部品管理手段10のインスタンスへ変換後のメタ情報が通知される。
【0021】
次に、UI部品管理手段10の動作説明に入る前に、UI部品管理手段10で管理している各データについて説明する。
UI部品管理手段10では、閲覧手段6のWebブラウザによりデータ等を表示するために使用するUI部品として、アラーム情報をリスト表示するためのアラームリスト表示部品、映像を表示するための映像表示部品、およびカメラIDを選択するためのカメラ選択表示部品を管理している。アラームリスト表示部品70は、図17に例示するように、アラーム発生日時71、発生場所72およびアラーム種別73等からなるアラームメタ情報を表示するもので、表示されたアラームメタ情報をクリック等によりユーザ選択することで対応する蓄積映像を要求できるようにするものである。また、映像表示部品80は、図18に例示するように、ダウンロードした映像を表示する映像表示エリア81、映像の表示を制御する再生ボタン82、停止ボタン83、巻き戻しボタン84、早送りボタン85等で構成されている。また、カメラ選択表示部品90は、図19に例示するように、ライブ映像を要求するカメラ選択ボタン91〜94で構成されており、カメラ選択ボタンに付けたボタン番号「1」〜「4」は4台のカメラのカメラIDのいずれかに対応付けられている。この例のカメラ選択表示部品90では、4台のカメラのライブ映像しか選択できないが、後述する実施の形態2の方法により、ボタン番号に対するカメラIDを他のカメラのIDに置き換えることで、そのライブ映像も選択できるようになる。
【0022】
また、UI部品管理手段10では、各UI部品のメタデータを図20に示すような管理メタテーブルの形式を用いて管理している。この管理メタテーブルは、適合メタデータ、出力メタデータ、宛先UI部品、GUI部品インスタンスおよびマッチング対象データ等のデータ項目と、これらに対応する実際のメタデータを格納するデータ部を定めている。ここで、適合メタデータは、他のUI部品管理手段から出力されたメタデータと当該UI部品管理手段のそれとの照合を行うデータリストである。出力メタデータは、当該UI部品管理手段から他のUI部品管理手段へ渡すデータリストである。宛先UI部品は、「出力メタデータ」を送る先のUI部品管理手段のリストである。また、マッチング対象データは、当該UI部品管理手段が保持するメタデータで、実際のデータを指し、当該UI部品管理手段が受け取るメタデータと照合検索するデータである。この管理メタテーブル形式を用いて実際に作成されたアラームリスト表示部品の管理メタデータテーブルを図21に例示する。また、映像表示部品の管理メタデータテーブルを図22に例示する。同様、カメラ選択表示部品の各カメラ選択ボタンにおける管理メタデータテーブルを図23(a)〜(d)に例示する。ここで、例えば図21の宛先UI部品のデータ部における「*」印は、無条件に当てはまる場合を意味する。また、図23(a)〜(d)の適合メタデータ、マッチング対象データにおける「−」印は、常に条件には当てはまらないという意味を表わす。
【0023】
図17で示したアラームリスト表示部品を管理するUI部品管理手段10がWebブラウザ画面に表示したアラームリストの例を図24に示す。アラームリストは、アラーム情報の履歴がアラームメタ情報で表示されている。
また、図25は、Webブラウザの初期画面100を示すもので、ヘッダー、映像表示部品101、カメラ選択表示部品102、リスト表示部品(アラームメタ情報の場合はアラームリスト表示部品)103で構成されている。
【0024】
複数のUI部品管理手段10は、メタ情報配信手段9から入力されるメタ情報(映像メタ情報、アラームメタ情報)と映像配信手段5から受信する映像データに従ってそれぞれが管理するUI部品(ここでは、映像表示部品、カメラ選択表示部品、アラームリスト表示部品)の表示形態の変更を行う。
UI部品管理手段10の詳細動作を図16のフローチャートに従って説明する。
UI部品管理手段10は、まず、自らが保持する管理メタデータテーブルから適合メタデータを取得する(ステップST801)。ここで、図21のアラームリスト表示部品の管理メタデータテーブルの場合、適合メタデータのデータ部には「日時、発生場所、アラーム種別」が格納されている。同様に、図22の映像表示部品の管理メタデータテーブルの場合、適合メタデータのデータ部には「日時、カメラID」が格納されている。一方、図23のカメラ選択ボタンの管理メタデータテーブルの場合、カメラ選択ボタン「1」〜「4」(図19に示すボタン91〜94に相当するもの)の適合メタデータのデータ部にはデータが存在していない。
【0025】
次に、UI部品管理手段10は、メタ情報配信手段9から入力されるメタ情報に、対応する管理メタデータテーブルの適合メタデータのデータ部と一致するデータが存在するかを判定する(ステップST802)。ここで、例えば管理メタデータテーブルがアラームリスト表示部品のテーブルとし、入力メタ情報がアラームメタ情報であった場合は、適合メタデータのデータ部は「日時、発生場所、アラーム種別」であるから一致するが、映像メタ情報である場合には一致しないことになる。一致するデータが存在しなかった場合には、次の管理メタデータテーブルの適合メタデータを取得するためにステップST801の処理へ進む。一方、ST802の判定において適合メタデータのデータ部と一致するデータが存在した場合には、当該管理メタデータテーブルのマッチング対象データのデータ部にメタ情報が存在するかを判定する(ステップST803)。このケースでは、マッチング対象データにメタ情報が存在しているから、マッチングしたメタ情報のデータ部へ反映するためHTMLを再生成する(ステップST804)。すなわち、アラームリスト表示部品または映像表示部品の管理メタデータテーブルのマッチング対象データのデータ部の記述を更新する。
【0026】
これまでは、クライアント装置18において、メタ情報受信に対する動作について説明してきたが、次に、UI操作によるUIイベント発生時の動作について説明する。図26は、ユーザによるUIイベント発生時における動作順序を示すシーケンス図である。
操作者が閲覧手段6のWebブラウザ画面に対して操作を行う。UI操作は、Webブラウザ画面に表示されたカメラ選択ボタンとアラームリストに対して行うことができるが、ここでは、操作者が、例えば図25に示すWebブラウザ画面のカメラ選択ボタン「2」をクリックしたとする。閲覧手段6は、該ボタンのUIイベント通知を、該表示部品を管理しているUI部品管理手段10へ送る。UI部品管理手段10では、UIイベント受信通知、インスタンス、および管理メタデータテーブルの中の「出力メタデータ」を制御手段12へ出力する。カメラ選択ボタン「2」がクリックされた例の場合、該カメラ選択ボタンを管理しているUI部品管理手段10では、このUIイベントに対して図23(b)に示す管理メタデータの「出力メタデータ」の上記ボタン「2」に対応するカメラID「Cam#02」を制御手段12へ出力することになる。
【0027】
制御手段12は、UI部品管理手段10からUIイベント受信通知等のデータを受け取ると、まずクライアント装置における上述のメタ情報受信時の処理と同じ処理を行わせる。すなわち、カメラIDはメタ情報フィルタ手段8を介した後メタ情報配信手段9により各UI部品管理手段10のインスタンスへ通知される。通知を受けたUI部品管理手段10では、図16の破線表示の流れに従った処理を行う。管理メタデータテーブルの適合メタデータのデータ部とカメラIDが合致した場合には、上記カメラIDに従って保持するマッチング対象データのデータ部の更新を行う。例えば映像表示部品の管理メタデータテーブルにおいて、上記カメラIDが適合メタデータの既存のカメラIDと異なる場合は、マッチング対象データのデータ部の「映像メタ情報」として上記カメラIDが含まれていないから、UI部品管理手段10は、制御手段12に対してメタ情報をリクエストして映像メタ情報を取り寄せる必要がある(ステップST805)。この場合、制御手段12が映像配信手段5のWebサーバに送信する制御コードは、映像配信要求とメタ情報配信要求となる。映像配信要求としては前記ボタン「2」に対応するカメラID「Cam#02」のライブ映像が要求されることになる。そして、メタ情報受信手段7が、該リクエストに対するレスポンスであるメタ情報を受け取ると、そのメタ情報をUI部品管理手段10へ送信する。次に、UI部品管理手段10は、受け取ったメタ情報に関して「マッチング対象データ」内にメタ情報のデータが存在するか判定し(ステップST806)、存在する場合にはステップST804の処理へ進み、存在しない場合にはステップST802の処理へ進む。
【0028】
以上のように、この実施の形態1によれば、それぞれの監視領域を撮像する複数のカメラのカメラIDやアラーム情報をメタ情報として扱い、クライアント装置において、映像情報配信装置から適宜取得したメタ情報に基づいてWebブラウザのUI部品である、カメラ選択表示部品、映像表示部品およびアラームリスト表示部品の表示形態を更新管理し、Webブラウザ上のカメラ選択表示部品やアラームリスト表示部品に対するユーザ操作(UIイベント)により、対応するメタ情報を用いた映像配信要求を映像情報配信装置に送信して必要なライブ映像または蓄積映像を取得し表示するようにしている。したがって、この実施の形態1によれば、プログラムを変更する必要の無いUIを構築でき、プログラムやシステムに精通していないユーザでも対応可能な映像監視システムを実現することができる。従来はUIイベントとUI部品(表示部品)の機能は仕様に基づいて定めたものをプログラムによって実現していた。また、UI部品間は規定のデータを用いて決まった手順、フローで実行していた。そのため、外部からの変更は機器のリプレースやサービスマンなどによるソフトウェアのインストール作業が必要であったが、このような問題も無い。
【0029】
実施の形態2.
図27は、この発明の実施の形態2による映像監視システムの機能構成を示すブロック図である。図において、図1に相当する部分については同一符号を付し、その部分の説明は原則として省略する。この実施の形態2は、実施の形態1の構成に対してメタ管理データ編集手段14を設けたものである。メタ管理データ編集手段14は、UI部品管理手段10の管理メタデータテーブルの「適合メタデータ」、「出力メタデータ」の内容編集とその内容編集を行うGUIの提供を行う手段である。
この実施の形態2の場合、図28に示すような構成のWebブラウザの初期画面を用いる。図28の画面は、実施の形態1の図25の初期画面に加え、メタ管理データ編集手段14を起動するための「メタ情報編集」ボタン300を持つ構成となっている。
【0030】
次に、メタ管理データ編集手段14の動作を説明する。
操作者が図28の画面上の「メタ情報編集」ボタン300を押下操作すると、メタ管理データ編集手段14が起動する。メタ管理データ編集手段14は、閲覧手段6に対して、対象となるUI部品管理手段10のGUIインスタンスからユーザ選択させ、管理メタデータテーブルから編集可能なUIリストを作成して閲覧手段6のWebブラウザ画面に表示させる。閲覧手段6で表示されるUIリストは、例えば図29に示すような形式である。これは、図28のカメラ選択ボタン102を例とした場合のUIリストである。ここでは、例えば「適合メタデータ」310と「出力メタデータ」311がメタ管理データ編集手段14による編集対象となっているデータとしている。ユーザが、図29のUIリストにおいて、「出力メタデータ」のカメラID「Cam#01」を例えば「Cam#05」と変更したとする。メタ管理データ編集手段14は、この変更内容をUI部品管理手段10のインスタンスの管理メタデータに反映させる。図28において、カメラ選択表示部品102のカメラ選択ボタン「1」は当初カメラID「Cam#01」のカメラからのライブ映像を指定するもであったが、上記変更により、以降、該ボタン「1」はカメラIDが「Cam#05」であるカメラからのライブ映像を指定するものに変わる。図28の例では、カメラ選択ボタンが4個しか設定されていないが、システムの拡張で設置するカメラの増加が求められている場合、従来は4個を超えるカメラについてはプログラムを変更しないと増加カメラに対する選択ボタンは対応できなかったが、上記のように変更すれば、現存のカメラ選択ボタン数でも対応可能になる。
したがって、クライアント装置にメタ管理データ編集手段14を設けたことで、ユーザがUI部品管理手段10の管理メタデータの編集が可能となるため、UIのカスタマイズをプログラムの変更なしに行うことができ、またユーザの操作効率を向上させることができる。
【0031】
実施の形態3.
図30は、この発明の実施の形態3による映像監視システムの機能構成を示すブロック図である。図において、図27に相当する部分については同一符号を付し、その部分の説明は原則として省略する。この実施の形態3は、実施の形態2の構成に対してUI操作履歴保持手段15を設けたものである。UI操作履歴保持手段15は、Webブラウザに対してユーザが行った操作であるUIイベントの履歴を保持する手段である。
図31は、Webブラウザ画面に表示されたUI操作履歴保持手段15を動作させるための操作リストで、選択が可能なラジオボタンUI部品400と、UI操作履歴をUI部品管理手段10に付与するための選択項目401を示している。
【0032】
次に、動作について説明する。
ユーザがWebブラウザの画面からカメラ選択ボタンまたはアラームリストに対して映像配信要求を行うUI操作を行うと、閲覧手段6はそのUIイベントをUI操作履歴保持手段15に出力する。UI操作履歴保持手段15では、受け取ったUIイベントを操作履歴として保存する。上記実施の形態2と同様に、図28に示すWebブラウザ画面の「メタ情報編集」ボタン300を押下操作すると、メタ管理データ編集手段14が起動する。次に、ユーザは対象UI部品管理手段10のインスタンスを選択し、図31に示す操作リストから「UI操作履歴」401を選択する。「UI操作履歴」401が選択されたことにより、UI操作履歴保持手段15は保持していたUIイベントをUI部品管理手段10のインスタンスの管理メタデータの出力メタデータにUI操作履歴として付与する。次に、UI部品管理手段10のインスタンスの管理メタデータの出力メタデータに「履歴」があるUI部品管理手段10のインスタンスにUIイベントが発生した場合には、制御手段12はUI部品管理手段10内のUIイベントを、これまで発生した時系列順に閲覧手段6に対して出力してリスト表示する。
したがって、ユーザによるメタ情報に対する操作、すなわちUIイベントを付与することで、以降の処理で複数のUI操作を1つのボタンなどで再現することが可能となり、ユーザの操作効率を向上させることができる。上記複数のUI操作としては、例えば、カメラ選択ボタンを押下し、さらに再生ボタンを押下するなどである。
【0033】
実施の形態4.
この発明の実施の形態3による映像監視システムは、実施の形態2の図27または実施の形態3の図30と同じ構成である。
この実施の形態4では、制御手段12の拡張機能について説明する。
制御手段12は、ユーザが編集構築した全UI部品管理手段10の管理メタデータを映像配信手段5のWebサーバに送信して映像配信装置17で保存するようにする。そして、他のユーザのクライアント装置において、Webサーバからの提示に応じて上記保存している管理メタデータをダウンロードし、その装置のUI部品管理手段10に初期状態の該管理メタデータとして設定する。
編集された管理メタデータを映像配信装置17に送信しておき、以降、他のユーザの要求に応じてUI部品管理手段10の初期状態の該管理メタデータとすることで、UIカスタマイズ内容を一括で他のユーザのデータとしても使用することが可能となり、改めてUI部品管理手段10の管理メタデータの編集を行わずに、UIカスタマイズが可能となる。
【符号の説明】
【0034】
1 カメラ、2 映像受信手段、3 映像蓄積・出力手段、4 アラーム受信手段、5 映像配信手段、6 閲覧手段、7 メタ情報受信手段、8 メタ情報フィルタ手段、9 メタ情報配信手段、10 UI部品管理手段、11 記憶装置、12 制御手段、14 メタ管理データ編集手段、15 UI操作履歴保持手段、17 映像情報配信装置、18 クライアント装置、70 アラームリスト表示部品、80映像表示部品、90 カメラ選択表示部品。

【特許請求の範囲】
【請求項1】
映像情報配信装置がそれぞれの監視領域を撮像した複数カメラによるライブ映像またはそれらの蓄積映像を、インターネット回線を介してクライアント装置に適宜配信する映像監視システムにおいて、
前記映像情報配信装置は、
複数カメラの映像にカメラID、映像取得日時、監視領域におけるアラームの有無を関連付けて蓄積し、またアラームが有る場合にはその発生日時、発生場所、アラーム種別を含むアラーム情報を対応する蓄積映像に関連付けて蓄積し、
前記クライアント装置から受信した映像配信要求に含まれるメタ情報に応じてライブ映像または蓄積映像を配信し、また前記クライアント装置からのメタ情報配信要求に応じてライブ映像、蓄積映像に関連する映像メタ情報と、アラーム情報の履歴に関連するアラームメタ情報とを生成して配信し、
前記クライアント装置は、
前記映像情報配信装置から受信した映像メタ情報に基づいてWebブラウザ上でライブ映像を選択するためのカメラ選択表示部品の表示形態を更新管理し、
また、受信したアラームメタ情報に基づいてWebブラウザ上で蓄積映像を選択するためのアラームリスト表示部品の表示形態を更新管理し、
さらに、受信した映像メタ情報に基づいてWebブラウザ上で映像を表示するための映像表示部品の表示形態を更新管理し、
前記映像情報配信装置との接続開始時および前記カメラ選択表示部品もしくは前記アラームリスト表示部品に対するユーザ操作時に、対応するメタ情報を用いて映像配信要求を生成し、また、当該映像配信要求時および各表示部品の管理過程においてメタ情報配信要求を生成して前記映像情報配信装置に送信することを特徴とする映像監視システム。
【請求項2】
クライアント装置は、
映像情報配信装置から受信したメタ情報に基づいて、カメラ選択表示部品、アラームリスト表示部品および映像表示部品に対応付けるメタ情報を管理するそれぞれの管理メタデータテーブルを所定の形式に従って更新し、更新した各管理メタデータテーブルに基づいて対応する表示部品の表示形態を更新管理する表示部品毎のUI部品管理手段と、
前記受信したメタ情報を既定の規則に従って前記各UI部品管理手段へ配信するメタ情報配信手段を備えたことを特徴とする請求項1記載の映像監視システム。
【請求項3】
映像情報配信装置から受信したメタ情報の文字列を、予め決められたメタ情報変換規則に基づいて表示に適した文字列に変換するメタ情報フィルタ手段を備え、
メタ情報配信手段は、前記メタ情報フィルタ手段で変換された文字列のメタ情報を対応するUI部品管理手段へ配信し、
前記対応するUI部品管理手段は、自己が管理する表示部品上で表示するメタ情報を前記変換された文字列で表示することを特徴とする請求項2記載の映像監視システム。
【請求項4】
クライアント装置は、Webブラウザ画面上にユーザ操作用のメタ情報編集ボタンを表示し、当該メタ情報編集ボタンが操作された場合に起動し、UI部品管理手段の管理メタデータテーブルを基に所定のメタ情報を編集するためのUIリストを作成してWebブラウザの画面に表示し、当該UIリスト上のメタ情報がユーザ編集された場合に、当該編集されたメタ情報に基づいて前記UI部品管理手段の管理メタデータテーブルの対応するメタ情報を変更するメタ管理データ編集手段を備え、
前記UI部品管理手段は、前記変更された管理メタデータテーブルに基づいて変更後の動作を行うことを特徴とする請求項2記載の映像監視システム。
【請求項5】
クライアント装置は、Webブラウザに対して行われたUIイベントを保持し、Webブラウザ画面に表示された操作リストからUI操作履歴ラジオボタンが選択されることにより、前記保持していたUIイベントを対応するUI部品管理手段の管理メタデータにUI操作履歴として付与するUI操作履歴保持手段を備え、
前記クライアント装置は、UIイベントが発生した場合に、当該UIイベントに対応するUI部品管理手段の管理メタデータに存在するUI操作履歴をWebブラウザ画面にリスト表示することを特徴とする請求項4記載の映像監視システム。
【請求項6】
クライアント装置は、ユーザにより編集された全UI部品管理手段の管理メタデータを映像配信装置に送信して保存するようにし、
前記映像配信装置は、前記保存していた前記管理メタデータテーブルを要求に応じて他のユーザのクライアント装置にダウンロードして当該装置のUI部品管理手段の初期状態の管理メタデータとして設定するようにしたことを特徴とする請求項4または請求項5記載の映像監視システム。
【請求項7】
それぞれの監視領域を撮像した複数カメラによるライブ映像またはそれらの蓄積映像を、インターネット回線を介して前記クライアント装置に適宜配信する映像情報配信装置において、
複数カメラの映像にカメラID、映像取得日時、監視領域におけるアラームの有無を関連付けて蓄積し、またアラームが有る場合にはその発生日時、発生場所、アラーム種別を含むアラーム情報を対応する蓄積映像に関連付けて蓄積し、
前記クライアント装置から受信したメタ情報配信要求に含まれるメタ情報に応じてライブ映像または蓄積映像を配信し、またクライアント装置からのメタ情報配信要求に応じてライブ映像、蓄積映像に関連する映像メタ情報と、アラーム情報の履歴に関連するアラームメタ情報を生成して前記クライアント装置に配信することを特徴とする映像情報配信装置。
【請求項8】
映像情報配信装置からインターネット回線を介して適宜配信される、それぞれの監視領域を撮像した複数カメラによるライブ映像またはそれらの蓄積映像を受信するクライアント装置において、
前記映像情報配信装置から受信した映像メタ情報に基づいてWebブラウザ上でライブ映像を選択するためのカメラ選択表示部品の表示形態を更新管理し、
また、受信したアラームメタ情報に基づいてWebブラウザ上で蓄積映像を選択するためのアラームリスト表示部品の表示形態を更新管理し、
さらに、受信した映像メタ情報に基づいてWebブラウザ上で映像を表示するための映像表示部品の表示形態を更新管理し、
前記映像情報配信装置との接続開始時および前記カメラ選択表示部品もしくは前記アラームリスト表示部品に対するユーザ操作時に、対応するメタ情報を用いて映像配信要求を生成し、また、当該映像配信要求時および各表示部品の管理過程においてメタ情報配信要求を生成して前記映像情報配信装置に送信することを特徴とするクライアント装置。
【請求項9】
映像情報配信装置から受信したメタ情報に基づいて、カメラ選択表示部品、アラームリスト表示部品および映像表示部品に対応付けるメタ情報を管理するそれぞれの管理メタデータテーブルを所定の形式に従って更新し、更新した各管理メタデータテーブルに基づいて対応する表示部品の表示形態を更新管理する表示部品毎のUI部品管理手段と、
受信したメタ情報を既定の規則に従って前記各UI部品管理手段へ配信するメタ情報配信手段を備えたことを特徴とする請求項8記載のクライアント装置。
【請求項10】
映像情報配信装置から受信したメタ情報の文字列を、予め決められたメタ情報変換規則に基づいて表示に適した文字列に変換するメタ情報フィルタ手段を備え、
メタ情報配信手段は、前記メタ情報フィルタ手段で変換された文字列のメタ情報を対応するUI部品管理手段へ配信し、
前記対応するUI部品管理手段は、自己が管理する表示部品上で表示するメタ情報を前記変換された文字列で表示することを特徴とする請求項9記載のクライアント装置。
【請求項11】
Webブラウザ画面上にユーザ操作用のメタ情報編集ボタンを表示し、当該メタ情報編集ボタンが操作された場合に起動し、UI部品管理手段の管理メタデータテーブルを基に所定のメタ情報を編集するためのUIリストを作成してWebブラウザの画面に表示し、当該UIリスト上のメタ情報がユーザ編集された場合に、当該編集されたメタ情報に基づいて前記UI部品管理手段の管理メタデータテーブルの対応するメタ情報を変更するメタ管理データ編集手段を備え、
前記UI部品管理手段は、前記変更された管理メタデータテーブルに基づいて変更後の動作を行うことを特徴とする請求項9記載のクライアント装置。
【請求項12】
Webブラウザに対して行われたUIイベントを保持し、Webブラウザ画面に表示された操作リストからUI操作履歴ラジオボタンが選択されることにより、前記保持していたUIイベントを対応するUI部品管理手段の管理メタデータにUI操作履歴として付与するUI操作履歴保持手段を備え、
前記クライアント装置は、UIイベントが発生した場合に、当該UIイベントに対応するUI部品管理手段の管理メタデータに存在するUI操作履歴をWebブラウザ画面にリスト表示することを特徴とする請求項11記載のクライアント装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate


【公開番号】特開2010−161632(P2010−161632A)
【公開日】平成22年7月22日(2010.7.22)
【国際特許分類】
【出願番号】特願2009−2516(P2009−2516)
【出願日】平成21年1月8日(2009.1.8)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】