監視装置およびプログラム
【課題】 ストリーミング配信された監視画像の同期再生を行う際に、ボトルネックカメラ画像が存在している場合には、そのボトルネックカメラ画像への対策を講じることのできる監視装置を提供する。
【解決手段】 監視装置２は、カメラ５で撮影した監視画像が記録されている画像記録装置３と接続されており、画像記録装置３からストリーミング配信される複数の監視画像を同期再生によって表示する。監視装置２は、ストリーミング配信される複数の監視画像の各々が記憶部１８の受信バッファに蓄積されるときのデータ蓄積速度を算出して、データ蓄積速度が所定のしきい値以下である監視画像をボトルネックカメラ画像として検出し、ボトルネックカメラ画像に関する通知メッセージを表示部１２に表示する。
【解決手段】 監視装置２は、カメラ５で撮影した監視画像が記録されている画像記録装置３と接続されており、画像記録装置３からストリーミング配信される複数の監視画像を同期再生によって表示する。監視装置２は、ストリーミング配信される複数の監視画像の各々が記憶部１８の受信バッファに蓄積されるときのデータ蓄積速度を算出して、データ蓄積速度が所定のしきい値以下である監視画像をボトルネックカメラ画像として検出し、ボトルネックカメラ画像に関する通知メッセージを表示部１２に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影した監視画像が記録されている画像記録装置と接続されており、複数の画像記録装置からストリーミング配信される複数の監視画像を同期再生によって表示する監視装置に関する。
【背景技術】
【０００２】
従来、複数のカメラで撮影した監視画像を記録装置に保存すると共に、監視端末でこれら複数の監視画像を再生表示させることによって、複数の監視場所を監視する画像監視装置が利用されている。そして、監視画像を再生する手法の一つとして、再生を開始させたい時刻を指定することにより、複数のカメラの監視画像をその時刻から同期して再生させる「同期再生」という方法も提案されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１６３９２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、監視画像を再生する手法には、ストリーミング配信された監視画像（動画像）を再生表示する方法がある。ストリーミング配信された監視画像を再生する場合、スムーズに再生できるように（例えばコマ落ちや映像の途切れが発生しないように）するために、監視端末で受信した監視画像（画像フレーム）を所定時間分だけ予めバッファリングしておき、所定時間分のバッファリングが完了したら、当該バッファリングされたデータを利用して監視画像の再生が行われる。
【０００５】
しかしながら、ストリーミング配信された監視画像について、上述のような「同期再生」を行う場合、以下のような問題が生じるおそれがあった。すなわち、ストリーミング配信された監視画像を同期再生する場合、複数のカメラの動画像をバッファリングすることになる。ところが、この際、たとえ一箇所のカメラからの監視画像であっても、上記所定時間分のバッファリングが完了していなければ、同期再生が開始されないという問題があった。例えば、ネットワーク遅延等により、バッファリング速度が極端に遅いカメラの監視画像（以下、「ボトルネックカメラ画像」ともいう）が存在している場合、当該ボトルネックカメラ画像のバッファリングが完了するまで、なかなか同期再生されないという問題があった。
【０００６】
そこで、本発明は、ストリーミング配信された監視画像の同期再生を行う際に、ボトルネックカメラ画像が存在している場合には、ユーザに対して通知メッセージを表示することにより、そのボトルネックカメラ画像への対策を講じることを可能とする監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の監視装置は、カメラで撮影した監視画像が記録されている画像記録装置と接続されており、複数の前記画像記録装置からストリーミング配信される複数の前記監視画像を同期再生によって表示する監視装置であって、前記複数の監視画像を同期再生によって表示する表示部と、前記複数の画像記録装置からストリーミング配信される前記複数の監視画像を同期再生のために一時的に蓄積する記憶部と、前記ストリーミング配信される前記複数の監視画像の各々が前記記憶部に蓄積されるときのデータ蓄積速度を算出し、前記データ蓄積速度が所定のしきい値以下である監視画像をボトルネックカメラ画像として検出するボトルネック検出部と、前記ボトルネックカメラ画像に関する通知メッセージを前記表示部に表示する表示処理部と、を備えている。
【０００８】
これにより、カメラで撮影した監視画像が記録されている複数の画像記録装置からストリーミング配信される複数の監視画像を同期再生するときに、その複数の監視画像の中からボトルネックカメラ画像（データ蓄積速度が遅い監視画像）が検出された場合には、そのボトルネックカメラ画像に関する通知メッセージが表示される。これにより、ユーザは、ボトルネックカメラ画像が存在することを認識することができ、そのボトルネックカメラ画像への対策（例えば、ボトルネックカメラ画像の同期再生の停止や、ボトルネックカメラ画像のデータ蓄積速度にあわせたスロー同期再生など）を講じることが可能になる。
【０００９】
また、本発明の監視装置では、前記データ蓄積速度は、単位時間あたりに前記記憶部に蓄積される前記監視画像のフレーム数と、前記監視画像のフレームレートとに基づいて算出されてもよい。
【００１０】
これにより、単位時間あたりに蓄積される監視画像のフレーム数と監視画像のフレームレートとに基づいて、データ蓄積速度が適切に算出される。例えば、同期再生で表示する監視画像の画質（解像度やフレームレート）が異なる場合には、監視画像のデータサイズも異なることになり、したがって、監視画像の画質によって監視画像のバッファリングに要する時間が異なることになる。すなわち、監視画像の画質によってデータ受信レート（単位時間あたりに蓄積される監視画像のフレーム数）が異なることになる。そのような場合でも、単位時間あたりに蓄積される監視画像のフレーム数と監視画像のフレームレートとに基づいてデータ蓄積速度を算出することにより、監視画像の画質にかからわず適切なデータ蓄積速度を算出することができる。
【００１１】
また、本発明の監視装置では、前記しきい値を、前記ストリーミング配信される前記複数の監視画像のデータ蓄積速度の平均値から算出される値に変更するしきい値変更部を備えてもよい。
【００１２】
これにより、しきい値（ボトルネックカメラ画像の検出の基準として用いられる値）が、同期再生される監視画像のデータ蓄積速度の平均値から動的に算出される。例えば、監視装置側のネットワークトラフィック遅延により、全体的にデータ蓄積速度が遅い場合、しきい値が一定であると、すべての監視画像がボトルネックカメラ画像であると判定されてしまい、通知メッセージが頻繁に表示されるおそれがあるが、本発明では、しきい値が、動的に算出された適切な値に変更されるので、ボトルネックカメラ画像に関する通知メッセージが頻繁に表示されるのを抑えることができる。
【００１３】
また、本発明の監視装置では、前記通知メッセージは、前記ボトルネックカメラ画像の同期再生の中止をするか否かをユーザに確認するメッセージであり、前記メッセージに対して同期再生の中止を指示するユーザ入力が行われると、前記ボトルネックカメラ画像の同期再生が中止され、前記ボトルネックカメラ画像以外の監視画像の同期再生が行われてもよい。
【００１４】
これにより、ボトルネックカメラ画像が検出された場合に、そのボトルネックカメラ画像の同期再生を中止するか否かを確認する通知メッセージがユーザに提示される。この通知メッセージに対して、ユーザが同期再生の中止を指示するユーザ入力を行うと、そのボトルネックカメラ画像を除外した監視画像の同期再生が行われる。このようにして、ボトルネックカメラ画像を同期再生の対象から容易に除外することができ、スムーズな同期再生が可能になる。
【００１５】
また、本発明の監視装置では、前記通知メッセージは、前記ボトルネックカメラ画像のデータ蓄積速度にあわせたスロー同期再生を行うか否かをユーザに確認するメッセージであり、前記メッセージに対してスロー同期再生を指示するユーザ入力が行われると、前記ボトルネックカメラ画像のデータ蓄積速度にあわせた前記複数の監視画像のスロー同期再生が行われてもよい。
【００１６】
これにより、ボトルネックカメラ画像が検出された場合に、そのボトルネックカメラ画像のデータ蓄積速度にあわせたスロー同期再生を行うか否かを確認する通知メッセージがユーザに提示される。この通知メッセージに対して、ユーザがスロー同期再生を指示するユーザ入力を行うと、そのボトルネックカメラ画像のデータ蓄積速度にあわせたスロー同期再生が行われる。このようにして、ボトルネックカメラ画像のデータ蓄積速度に応じた適切な同期再生（スロー同期再生）を行うことが可能になる。
【００１７】
本発明のプログラムは、カメラで撮影した監視画像が記録されている複数の画像記録装置からストリーミング配信される複数の前記監視画像を同期再生によって表示するためのプログラムであって、前記プログラムは、コンピュータに、記憶部に、前記複数の画像記録装置からストリーミング配信される前記複数の監視画像を同期再生のために一時的に蓄積する処理と、前記ストリーミング配信される前記複数の監視画像の各々が前記記憶部に蓄積されるときのデータ蓄積速度を算出し、前記データ蓄積速度が所定のしきい値以下である監視画像をボトルネックカメラ画像として検出する処理と、前記複数の監視画像が同期再生によって表示される表示部に、前記ボトルネックカメラ画像に関する通知メッセージを表示する処理と、を実行させる。
【００１８】
このプログラムによっても、上記と同様に、ユーザは、ボトルネックカメラ画像が存在することを認識することができ、そのボトルネックカメラ画像への対策（例えば、ボトルネックカメラ画像の同期再生の停止や、ボトルネックカメラ画像のデータ蓄積速度にあわせたスロー同期再生など）を講じることが可能になる。
【発明の効果】
【００１９】
本発明によれば、ストリーミング配信された監視画像の同期再生を行う際に、ボトルネックカメラ画像が存在している場合には、ユーザに対して通知メッセージが表示されるので、そのボトルネックカメラ画像への対策を講じることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施の形態における画像監視システムの説明図
【図２】本発明の実施の形態における画像記録装置の構成を説明するための機能ブロック図
【図３】本発明の実施の形態における監視装置の構成を説明するための機能ブロック図
【図４】本発明の実施の形態における同期表示カメラ情報の説明図
【図５】本発明の実施の形態における遅延無視リストの説明図
【図６】本発明の実施の形態における監視装置の動作（メインフロー）を説明するためのフロー図
【図７】本発明の実施の形態におけるボトルネックカメラ画像の検出処理のフロー図
【図８】本発明の実施の形態におけるボトルネックカメラ画像の検出処理の説明図
【図９】本発明の実施の形態におけるボトルネックカメラ画像の検出処理（他の例）のフロー図
【図１０】本発明の実施の形態におけるスロー同期再生の確認メッセージの説明図
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態の監視装置について、図面を用いて説明する。本実施の形態では、画像監視システムに用いられる監視装置の場合を例示する。この監視装置は、カメラで撮影した監視画像が記録されている画像記録装置と接続されており、複数の画像記録装置からストリーミング配信される複数の前記監視画像を同期再生によって表示する機能を備えている。この機能は、監視装置のＨＤＤやメモリなどに格納されるプログラムによって実現される。
【００２２】
（画像監視システム）
まず、本発明の実施の形態の画像監視システムの構成を、図面を参照して説明する。図１は、本実施の形態の画像監視システムの一例を示す図である。図１に示すように、画像監視システム１は、監視装置２と画像記録装置３とで構成されている。監視装置２は、監視センターなどに設置される表示端末４（コンピュータ端末）で構成される。画像記録装置３は、監視物件の各所に設置されるカメラ５、または、監視物件に設置されカメラ５とＬＡＮを介して接続されるレコーダ６で構成される。この場合、カメラ５には、ＳＤカードなどが内蔵されており、監視画像を記録することができるようになっている。なお、レコーダ６は、必ずしも設けられていなくてもよい。
【００２３】
（画像記録装置）
つぎに、本実施の形態の画像記録装置３の構成について、図面を参照しながら説明する。図２は、本実施の形態の画像記録装置３の機能ブロック図である。図２に示すように、画像記録装置３は、監視画像が入力される入力部７と、ネットワークを介して監視装置２と通信する通信部８を備えている。なお、入力部７と通信部８は、共通のインターフェースで構成されていてもよい。
【００２４】
また、画像記録装置３は、ＣＰＵやマイコンで構成される制御部９と、大容量のＳＤカードやメモリやＨＤＤなどで構成される記憶部１０を備えている。記憶部１０には、カメラ５で撮影された監視画像（入力部７から入力された監視画像）の画像情報（画像データ）が記憶されている。なお、画像記録装置３の記憶部１０は、必ずしも画像記録装置３に内蔵されていなくてもよく、例えば、画像記録装置３の本体と別の場所に設けられ、ネットワークを介して画像記録装置３の本体と接続されているものでもよい。
【００２５】
（監視装置）
つづいて、本実施の形態の監視装置２の構成について、図面を参照して説明する。図３は、本実施の形態の監視装置２の機能ブロック図である。図３に示すように、監視装置２は、ユーザからの入力が行われる入力部１１と、カメラ５で撮影された複数の監視画像を同期再生によって表示する表示部１２と、ネットワークを介して画像記録装置３と通信する通信部１３を備えている。入力部１１は、例えば、キーボードやマウスなどで構成されており、表示部１２は、例えば、液晶モニタなどで構成されている。
【００２６】
また、監視装置２は、速度監視部１４と表示処理部１５としきい値変更部１６を有する制御部１７と、受信バッファを有する記憶部１８を備えている。制御部１７は、例えば、ＣＰＵやマイコンなどで構成されており、記憶部１８は、例えば、大容量のメモリやＨＤＤなどで構成されている。
【００２７】
速度監視部１４は、ストリーミング配信される複数の監視画像の各々が受信バッファに蓄積されるときのデータ蓄積速度Ｂ算出し、データ蓄積速度が所定のしきい値以下である監視画像を、ボトルネックカメラ画像として検出する。この速度監視部１４は、本発明のボトルネック検出部に相当する。しきい値変更部１６は、記憶部１８に記憶しているしきい値を、ストリーミング配信される複数の監視画像のデータ蓄積速度Ｂの平均値から算出される値に変更する。なお、データ蓄積速度Ｂは、単位時間あたりに受信バッファに蓄積される監視画像のフレーム数Ｆｎと、監視画像のフレームレートＦｒとに基づいて、計算式「Ｂ＝Ｆｎ／Ｆｒ」を用いて算出される。また、簡易的に、データ蓄積速度Ｂは、データ受信レート（Ｂ＝Ｆｎ）として算出されてもよい。
【００２８】
表示処理部１５は、検出されたボトルネックカメラ画像に関する通知メッセージを表示部１２に表示する。通知メッセージは、例えば、ボトルネックカメラ画像について「受信遅延」をユーザに通知するメッセージである（図８（ａ）参照）。また、通知メッセージは、同期再生を中止するか否かをユーザに確認するメッセージでもよい（図８（ｂ）参照）。また、通知メッセージは、スロー同期再生を行うか否かをユーザに確認するメッセージでもよい（図９参照）。
【００２９】
同期再生を中止するか否かの確認メッセージに対して、同期再生の中止を指示するユーザ入力が行われると、そのボトルネックカメラ画像（例えば、図８（ａ）の「カメラ３」の監視画像）の同期再生が中止され、そのボトルネックカメラ画像以外の監視画像（例えば、図８（ａ）の「カメラ１、２、４」の監視画像）の同期再生が行われる。また、スロー同期再生を行うか否かの確認メッセージに対して、スロー同期再生を指示するユーザ入力が行われると、複数の監視画像（例えば、図８（ａ）の「カメラ１〜４」の監視画像）のスロー同期再生が行われる。
【００３０】
ここで、「同期再生（通常の同期再生）」とは、再生を開始させたい時刻（再生時刻）をユーザが指定することにより、複数の監視画像（例えば、４つのカメラで撮影された監視画像）をその時刻（再生時刻）から同期して再生（通常の再生速度で再生）させることをいう。また、「スロー同期再生」とは、コマ落ちや映像の途切れが発生しないように、ボトルネックカメラ画像のデータ蓄積速度にあわせて、複数の監視画像をスローで同期して再生させることをいう。例えば、通常の再生（通常の同期再生）では、１フレーム／秒という再生速度で監視画像の再生が行われる場合に、スロー同期再生では、１フレーム／２秒という再生速度で監視画像の再生が行われる。
【００３１】
記憶部１８の受信バッファには、画像記録装置３からストリーミング配信される複数の監視画像のデータが同期再生のために一時的に蓄積される。バッファ時間（受信バッファに監視画像を一時的に蓄積する時間）は、監視装置２の初期設定時などに設定される。受信バッファは、現在受信している監視画像の数に応じた分だけ確保される。また、記憶部１８には、しきい値と同期表示カメラ情報と遅延無視リストが記憶されている。以下、記憶部１８に記憶される情報（しきい値と同期表示カメラ情報と遅延無視リスト）について、詳しく説明する。
【００３２】
しきい値は、受信バッファへのデータ蓄積速度を判定するために用いられる情報である。例えば、しきい値は、同期再生している監視画像のデータ蓄積速度の平均値から算出される。また、しきい値は、監視装置２の初期設定時などに、ユーザが入力部１１から手動で設定（登録）しておいてもよい。しきい値は、データ蓄積速度の平均値から算出される値に変更されてもよく、固定値であってもよい。
【００３３】
図４は、同期表示カメラ情報の説明図である。図４に示すように、同期表示カメラ情報は、表示部１２に複数の監視画像を同期表示するときの表示位置と、その監視画像を撮影したカメラ５の識別子（カメラＩＤ）を示した情報である。図４の例は、１つの画面に４つの監視画像を同期再生で表示するときの同期表示カメラ情報である。この図４の同期表示カメラ情報では、表示位置１（例えば、左上）に、カメラＩＤがＣ００１のカメラ５で撮影した監視画像が表示され、表示位置２（例えば、右上）に、カメラＩＤがＣ００２のカメラ５で撮影した監視画像が表示され、表示位置３（例えば、左下）に、カメラＩＤがＣ００３のカメラ５で撮影した監視画像が表示され、表示位置４（例えば、右下）に、カメラＩＤがＣ００４のカメラ５で撮影した監視画像が表示されることが示されている。
【００３４】
なお、１つの画面に同期再生で表示される監視画像の数は４つに限られず、任意の数の監視画像が表示されてよい。同期表示カメラ情報は、ユーザが監視画像を表示部１２に表示させるときに、ユーザが入力部１１を用いて手動で設定（指定）する。
【００３５】
図５は、遅延無視リストの説明図である。図５に示すように、遅延無視リストは、ボトルネックカメラ画像を撮影したカメラ５の識別子（カメラＩＤ）のリストであり、ボトルネックカメラ画像に関する通知メッセージの表示処理（後述する）を行う必要がないものに無視フラグが付されている。この遅延無視リストには、ボトルネックカメラ画像として検出されたが、後述する所定のユーザ入力（同期再生の中止、スロー同期再生の指示など）がなされなかった監視画像が登録される。図５の例では、カメラＩＤがＣ００１とＣ００３のカメラ５で撮影した監視画像が、遅延無視リストに登録されている。
【００３６】
以上のように構成された監視装置２について、図面を参照してその動作を説明する。
【００３７】
ここでは、まず、図６を参照して、監視装置２の動作のメインフローについて説明する。図６に示すように、本実施の形態の監視装置２を用いて監視画像の同期再生を行う場合には、監視装置２を起動させた後に、まず監視装置２で初期設定を行う（Ｓ１）。この初期設定では、例えば、バッファ時間の設定やしきい値の設定が行われる。
【００３８】
つぎに、ユーザ（利用者）は、監視装置２の入力部１１を用いて同期表示カメラ情報と再生時刻の入力を行う（Ｓ２）。同期表示カメラ情報の入力では、同期再生を行う複数のカメラ５が選択される。その後、監視装置２が、選択されたカメラ５の監視画像を記録している画像記録装置３に画像送信要求を送ると（Ｓ３）、画像記録装置３から監視装置２へそれらの監視画像がストリーミング配信される。
【００３９】
そして、監視装置２は、ストリーミング配信される複数の監視画像の中からボトルネックカメラ画像の検出処理を行って（Ｓ４）、監視画像の表示処理を行う（Ｓ５）。監視画像の表示処理では、複数の監視画像の同期再生またはスロー同期再生が行われる。そして、監視装置２は、同期再生の停止操作が行われると（Ｓ６）、監視画像の表示処理を終了する。
【００４０】
つぎに、ボトルネックカメラ画像の検出処理について、図面を参照して詳しく説明する。図７および図８には、ボトルネックカメラ画像の検出処理の一例が示されている。図７に示すように、ボトルネックカメラ画像の検出処理では、まず、単位時間あたりに受信バッファに蓄積される監視画像のフレーム数Ｆｎと、監視画像のフレームレートＦｒとに基づいて、データ蓄積速度Ｂ（＝Ｆｎ／Ｆｒ）を算出する（Ｓ１０）。そして、しきい値を、同期再生を行う監視画像のデータ蓄積速度Ｂの平均値から算出される値に変更する（Ｓ１１）。
【００４１】
つぎに、同期再生を行う複数の監視画像の中に「データ蓄積速度≦しきい値」となるボトルネックカメラ画像があるか否かの判定が行われる（Ｓ１２）。ボトルネックカメラ画像が検出された場合には、その監視画像（ボトルネックカメラ画像）を撮影したカメラ５が、遅延無視リストに登録されているか否かの判定が行われる（Ｓ１３）。そして、遅延無視リストに登録されていなかった場合には、通知メッセージが表示部１２に表示される（Ｓ１４）。
【００４２】
例えば、図８（ａ）に示すように、ボトルネックカメラ画像について「受信遅延」をユーザに通知するメッセージが表示される。または、図８（ｂ）に示すように、ボトルネックカメラ画像の同期再生を中止するか否かをユーザに確認するメッセージが表示される。なお、「受信遅延」をユーザに通知するメッセージを表示する場合には、遅延無視リストに登録されているか否かの判定（Ｓ１３）は、省略されてもよい。
【００４３】
上記のような通知メッセージに対して、同期再生の中止を指示するユーザ入力が行われると（Ｓ１５）、同期表示カメラ情報からボトルネックカメラ画像を撮影したカメラ５のカメラＩＤが削除される（Ｓ１６）。これにより、そのボトルネックカメラ画像（例えば、図８（ａ）の「カメラ３」の監視画像）の同期再生が中止され、そのボトルネックカメラ画像以外の監視画像（例えば、図８（ａ）の「カメラ１、２、４」の監視画像）の同期再生が行われる。
【００４４】
一方、上記のような通知メッセージに対して、同期再生の中止を指示するユーザ入力が行われなかった場合には（Ｓ１５）、そのボトルネックカメラ画像を撮影したカメラ５が遅延無視リストに登録される（Ｓ１７）。これにより、それ以降、そのボトルネックカメラ画像については、通知メッセージが表示部１２に表示されなくなる（Ｓ１３）。
【００４５】
図９および図１０には、ボトルネックカメラ画像の検出処理の他の例が示されている。図９に示すように、ボトルネックカメラ画像の検出処理の他の例でも、まず、単位時間あたりに受信バッファに蓄積される監視画像のフレーム数Ｆｎと、監視画像のフレームレートＦｒとに基づいて、データ蓄積速度Ｂ（＝Ｆｎ／Ｆｒ）を算出する（Ｓ１０）。そして、しきい値を、同期再生を行う監視画像のデータ蓄積速度Ｂの平均値から算出される値に変更する（Ｓ１１）。
【００４６】
つぎに、同期再生を行う複数の監視画像の中に「データ蓄積速度≦しきい値」となるボトルネックカメラ画像があるか否かの判定が行われる（Ｓ１２）。ボトルネックカメラ画像が検出された場合には、その監視画像（ボトルネックカメラ画像）を撮影したカメラ５が、遅延無視リストに登録されているか否かの判定が行われる（Ｓ１３）。そして、遅延無視リストに登録されていなかった場合には、通知メッセージが表示部１２に表示される（Ｓ２４）。例えば、図１０に示すように、スロー同期再生を行うか否かをユーザに確認するメッセージが表示される。
【００４７】
上記のような通知メッセージに対して、スロー同期再生を指示するユーザ入力が行われると（Ｓ２５）、スロー同期再生を行うことを示すフラグ（スロー再生フラグ）がオンにされ、複数の監視画像（例えば、図８（ａ）の「カメラ１〜４」の監視画像）について、ボトルネックカメラ画像のデータ蓄積速度にあわせたスロー同期再生が行われる（Ｓ２６）。
【００４８】
このような本実施の形態の監視装置２によれば、ストリーミング配信された監視画像の同期再生を行う際に、ボトルネックカメラ画像が存在している場合には、ユーザに対して通知メッセージが表示されるので、そのボトルネックカメラ画像への対策を講じることができる。
【００４９】
すなわち、本実施の形態では、カメラ５で撮影した監視画像が記録されている複数の画像記録装置３からストリーミング配信される複数の監視画像を同期再生するときに、その複数の監視画像の中からボトルネックカメラ画像（データ蓄積速度が遅い監視画像）が検出された場合には、そのボトルネックカメラ画像に関する通知メッセージが表示される。これにより、ユーザは、ボトルネックカメラ画像が存在することを認識することができ、そのボトルネックカメラ画像への対策（例えば、ボトルネックカメラ画像の同期再生の停止や、ボトルネックカメラ画像のデータ蓄積速度にあわせたスロー同期再生など）を講じることが可能になる。
【００５０】
例えば、ボトルネックカメラ画像が検出された場合に、図８（ｂ）に示すように、そのボトルネックカメラ画像の同期再生を中止するか否かを確認する通知メッセージがユーザに提示される。この通知メッセージに対して、ユーザが同期再生の中止を指示するユーザ入力を行うと、そのボトルネックカメラ画像を除外した監視画像の同期再生が行われる。このようにして、ボトルネックカメラ画像を同期再生の対象から容易に除外することができ、スムーズな同期再生が可能になる。
【００５１】
あるいは、ボトルネックカメラ画像が検出された場合に、図１０に示すように、そのボトルネックカメラ画像のデータ蓄積速度にあわせたスロー同期再生を行うか否かを確認する通知メッセージがユーザに提示される。この通知メッセージに対して、ユーザがスロー同期再生を指示するユーザ入力を行うと、そのボトルネックカメラ画像のデータ蓄積速度にあわせたスロー同期再生が行われる。このようにして、ボトルネックカメラ画像のデータ蓄積速度に応じた適切な同期再生（スロー同期再生）を行うことが可能になる。
【００５２】
また、本実施の形態では、単位時間あたりに蓄積される監視画像のフレーム数と監視画像のフレームレートとに基づいて、データ蓄積速度が適切に算出される。例えば、同期再生で表示する監視画像の画質（解像度やフレームレート）が異なる場合には、監視画像のデータサイズも異なることになり、したがって、監視画像の画質によって監視画像のバッファリングに要する時間が異なることになる。すなわち、監視画像の画質によってデータ受信レート（単位時間あたりに蓄積される監視画像のフレーム数）が異なることになる。そのような場合でも、単位時間あたりに蓄積される監視画像のフレーム数と監視画像のフレームレートとに基づいてデータ蓄積速度を算出することにより、監視画像の画質にかからわず適切なデータ蓄積速度を算出することができる。
【００５３】
また、本実施の形態では、しきい値（ボトルネックカメラ画像の検出の基準として用いられる値）が、同期再生される監視画像のデータ蓄積速度の平均値から動的に算出される。例えば、監視装置側のネットワークトラフィック遅延により、全体的にデータ蓄積速度が遅い場合、しきい値が一定であると、すべての監視画像がボトルネックカメラ画像であると判定されてしまい、通知メッセージが頻繁に表示されるおそれがあるが、本発明では、しきい値が、動的に算出された適切な値に変更されるので、ボトルネックカメラ画像に関する通知メッセージが頻繁に表示されるのを抑えることができる。
【００５４】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【産業上の利用可能性】
【００５５】
以上のように、本発明にかかる監視装置は、ボトルネックカメラ画像が存在している場合に、ユーザに対して通知メッセージが表示されるので、そのボトルネックカメラ画像への対策を講じることができるという効果を有し、ストリーミング配信された監視画像の同期再生を行う画像監視システム等に適用され、有用である。
【符号の説明】
【００５６】
１ 画像監視システム
２ 監視装置
３ 画像記録装置
４ 表示端末
５ カメラ
６ レコーダ
７ 入力部
８ 通信部
９ 制御部
１０ 記憶部
１１ 入力部
１２ 表示部
１３ 通信部
１４ 速度監視部
１５ 表示処理部
１６ しきい値変更部
１７ 制御部
１８ 記憶部
【技術分野】
【０００１】
本発明は、カメラで撮影した監視画像が記録されている画像記録装置と接続されており、複数の画像記録装置からストリーミング配信される複数の監視画像を同期再生によって表示する監視装置に関する。
【背景技術】
【０００２】
従来、複数のカメラで撮影した監視画像を記録装置に保存すると共に、監視端末でこれら複数の監視画像を再生表示させることによって、複数の監視場所を監視する画像監視装置が利用されている。そして、監視画像を再生する手法の一つとして、再生を開始させたい時刻を指定することにより、複数のカメラの監視画像をその時刻から同期して再生させる「同期再生」という方法も提案されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１６３９２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、監視画像を再生する手法には、ストリーミング配信された監視画像（動画像）を再生表示する方法がある。ストリーミング配信された監視画像を再生する場合、スムーズに再生できるように（例えばコマ落ちや映像の途切れが発生しないように）するために、監視端末で受信した監視画像（画像フレーム）を所定時間分だけ予めバッファリングしておき、所定時間分のバッファリングが完了したら、当該バッファリングされたデータを利用して監視画像の再生が行われる。
【０００５】
しかしながら、ストリーミング配信された監視画像について、上述のような「同期再生」を行う場合、以下のような問題が生じるおそれがあった。すなわち、ストリーミング配信された監視画像を同期再生する場合、複数のカメラの動画像をバッファリングすることになる。ところが、この際、たとえ一箇所のカメラからの監視画像であっても、上記所定時間分のバッファリングが完了していなければ、同期再生が開始されないという問題があった。例えば、ネットワーク遅延等により、バッファリング速度が極端に遅いカメラの監視画像（以下、「ボトルネックカメラ画像」ともいう）が存在している場合、当該ボトルネックカメラ画像のバッファリングが完了するまで、なかなか同期再生されないという問題があった。
【０００６】
そこで、本発明は、ストリーミング配信された監視画像の同期再生を行う際に、ボトルネックカメラ画像が存在している場合には、ユーザに対して通知メッセージを表示することにより、そのボトルネックカメラ画像への対策を講じることを可能とする監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の監視装置は、カメラで撮影した監視画像が記録されている画像記録装置と接続されており、複数の前記画像記録装置からストリーミング配信される複数の前記監視画像を同期再生によって表示する監視装置であって、前記複数の監視画像を同期再生によって表示する表示部と、前記複数の画像記録装置からストリーミング配信される前記複数の監視画像を同期再生のために一時的に蓄積する記憶部と、前記ストリーミング配信される前記複数の監視画像の各々が前記記憶部に蓄積されるときのデータ蓄積速度を算出し、前記データ蓄積速度が所定のしきい値以下である監視画像をボトルネックカメラ画像として検出するボトルネック検出部と、前記ボトルネックカメラ画像に関する通知メッセージを前記表示部に表示する表示処理部と、を備えている。
【０００８】
これにより、カメラで撮影した監視画像が記録されている複数の画像記録装置からストリーミング配信される複数の監視画像を同期再生するときに、その複数の監視画像の中からボトルネックカメラ画像（データ蓄積速度が遅い監視画像）が検出された場合には、そのボトルネックカメラ画像に関する通知メッセージが表示される。これにより、ユーザは、ボトルネックカメラ画像が存在することを認識することができ、そのボトルネックカメラ画像への対策（例えば、ボトルネックカメラ画像の同期再生の停止や、ボトルネックカメラ画像のデータ蓄積速度にあわせたスロー同期再生など）を講じることが可能になる。
【０００９】
また、本発明の監視装置では、前記データ蓄積速度は、単位時間あたりに前記記憶部に蓄積される前記監視画像のフレーム数と、前記監視画像のフレームレートとに基づいて算出されてもよい。
【００１０】
これにより、単位時間あたりに蓄積される監視画像のフレーム数と監視画像のフレームレートとに基づいて、データ蓄積速度が適切に算出される。例えば、同期再生で表示する監視画像の画質（解像度やフレームレート）が異なる場合には、監視画像のデータサイズも異なることになり、したがって、監視画像の画質によって監視画像のバッファリングに要する時間が異なることになる。すなわち、監視画像の画質によってデータ受信レート（単位時間あたりに蓄積される監視画像のフレーム数）が異なることになる。そのような場合でも、単位時間あたりに蓄積される監視画像のフレーム数と監視画像のフレームレートとに基づいてデータ蓄積速度を算出することにより、監視画像の画質にかからわず適切なデータ蓄積速度を算出することができる。
【００１１】
また、本発明の監視装置では、前記しきい値を、前記ストリーミング配信される前記複数の監視画像のデータ蓄積速度の平均値から算出される値に変更するしきい値変更部を備えてもよい。
【００１２】
これにより、しきい値（ボトルネックカメラ画像の検出の基準として用いられる値）が、同期再生される監視画像のデータ蓄積速度の平均値から動的に算出される。例えば、監視装置側のネットワークトラフィック遅延により、全体的にデータ蓄積速度が遅い場合、しきい値が一定であると、すべての監視画像がボトルネックカメラ画像であると判定されてしまい、通知メッセージが頻繁に表示されるおそれがあるが、本発明では、しきい値が、動的に算出された適切な値に変更されるので、ボトルネックカメラ画像に関する通知メッセージが頻繁に表示されるのを抑えることができる。
【００１３】
また、本発明の監視装置では、前記通知メッセージは、前記ボトルネックカメラ画像の同期再生の中止をするか否かをユーザに確認するメッセージであり、前記メッセージに対して同期再生の中止を指示するユーザ入力が行われると、前記ボトルネックカメラ画像の同期再生が中止され、前記ボトルネックカメラ画像以外の監視画像の同期再生が行われてもよい。
【００１４】
これにより、ボトルネックカメラ画像が検出された場合に、そのボトルネックカメラ画像の同期再生を中止するか否かを確認する通知メッセージがユーザに提示される。この通知メッセージに対して、ユーザが同期再生の中止を指示するユーザ入力を行うと、そのボトルネックカメラ画像を除外した監視画像の同期再生が行われる。このようにして、ボトルネックカメラ画像を同期再生の対象から容易に除外することができ、スムーズな同期再生が可能になる。
【００１５】
また、本発明の監視装置では、前記通知メッセージは、前記ボトルネックカメラ画像のデータ蓄積速度にあわせたスロー同期再生を行うか否かをユーザに確認するメッセージであり、前記メッセージに対してスロー同期再生を指示するユーザ入力が行われると、前記ボトルネックカメラ画像のデータ蓄積速度にあわせた前記複数の監視画像のスロー同期再生が行われてもよい。
【００１６】
これにより、ボトルネックカメラ画像が検出された場合に、そのボトルネックカメラ画像のデータ蓄積速度にあわせたスロー同期再生を行うか否かを確認する通知メッセージがユーザに提示される。この通知メッセージに対して、ユーザがスロー同期再生を指示するユーザ入力を行うと、そのボトルネックカメラ画像のデータ蓄積速度にあわせたスロー同期再生が行われる。このようにして、ボトルネックカメラ画像のデータ蓄積速度に応じた適切な同期再生（スロー同期再生）を行うことが可能になる。
【００１７】
本発明のプログラムは、カメラで撮影した監視画像が記録されている複数の画像記録装置からストリーミング配信される複数の前記監視画像を同期再生によって表示するためのプログラムであって、前記プログラムは、コンピュータに、記憶部に、前記複数の画像記録装置からストリーミング配信される前記複数の監視画像を同期再生のために一時的に蓄積する処理と、前記ストリーミング配信される前記複数の監視画像の各々が前記記憶部に蓄積されるときのデータ蓄積速度を算出し、前記データ蓄積速度が所定のしきい値以下である監視画像をボトルネックカメラ画像として検出する処理と、前記複数の監視画像が同期再生によって表示される表示部に、前記ボトルネックカメラ画像に関する通知メッセージを表示する処理と、を実行させる。
【００１８】
このプログラムによっても、上記と同様に、ユーザは、ボトルネックカメラ画像が存在することを認識することができ、そのボトルネックカメラ画像への対策（例えば、ボトルネックカメラ画像の同期再生の停止や、ボトルネックカメラ画像のデータ蓄積速度にあわせたスロー同期再生など）を講じることが可能になる。
【発明の効果】
【００１９】
本発明によれば、ストリーミング配信された監視画像の同期再生を行う際に、ボトルネックカメラ画像が存在している場合には、ユーザに対して通知メッセージが表示されるので、そのボトルネックカメラ画像への対策を講じることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施の形態における画像監視システムの説明図
【図２】本発明の実施の形態における画像記録装置の構成を説明するための機能ブロック図
【図３】本発明の実施の形態における監視装置の構成を説明するための機能ブロック図
【図４】本発明の実施の形態における同期表示カメラ情報の説明図
【図５】本発明の実施の形態における遅延無視リストの説明図
【図６】本発明の実施の形態における監視装置の動作（メインフロー）を説明するためのフロー図
【図７】本発明の実施の形態におけるボトルネックカメラ画像の検出処理のフロー図
【図８】本発明の実施の形態におけるボトルネックカメラ画像の検出処理の説明図
【図９】本発明の実施の形態におけるボトルネックカメラ画像の検出処理（他の例）のフロー図
【図１０】本発明の実施の形態におけるスロー同期再生の確認メッセージの説明図
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態の監視装置について、図面を用いて説明する。本実施の形態では、画像監視システムに用いられる監視装置の場合を例示する。この監視装置は、カメラで撮影した監視画像が記録されている画像記録装置と接続されており、複数の画像記録装置からストリーミング配信される複数の前記監視画像を同期再生によって表示する機能を備えている。この機能は、監視装置のＨＤＤやメモリなどに格納されるプログラムによって実現される。
【００２２】
（画像監視システム）
まず、本発明の実施の形態の画像監視システムの構成を、図面を参照して説明する。図１は、本実施の形態の画像監視システムの一例を示す図である。図１に示すように、画像監視システム１は、監視装置２と画像記録装置３とで構成されている。監視装置２は、監視センターなどに設置される表示端末４（コンピュータ端末）で構成される。画像記録装置３は、監視物件の各所に設置されるカメラ５、または、監視物件に設置されカメラ５とＬＡＮを介して接続されるレコーダ６で構成される。この場合、カメラ５には、ＳＤカードなどが内蔵されており、監視画像を記録することができるようになっている。なお、レコーダ６は、必ずしも設けられていなくてもよい。
【００２３】
（画像記録装置）
つぎに、本実施の形態の画像記録装置３の構成について、図面を参照しながら説明する。図２は、本実施の形態の画像記録装置３の機能ブロック図である。図２に示すように、画像記録装置３は、監視画像が入力される入力部７と、ネットワークを介して監視装置２と通信する通信部８を備えている。なお、入力部７と通信部８は、共通のインターフェースで構成されていてもよい。
【００２４】
また、画像記録装置３は、ＣＰＵやマイコンで構成される制御部９と、大容量のＳＤカードやメモリやＨＤＤなどで構成される記憶部１０を備えている。記憶部１０には、カメラ５で撮影された監視画像（入力部７から入力された監視画像）の画像情報（画像データ）が記憶されている。なお、画像記録装置３の記憶部１０は、必ずしも画像記録装置３に内蔵されていなくてもよく、例えば、画像記録装置３の本体と別の場所に設けられ、ネットワークを介して画像記録装置３の本体と接続されているものでもよい。
【００２５】
（監視装置）
つづいて、本実施の形態の監視装置２の構成について、図面を参照して説明する。図３は、本実施の形態の監視装置２の機能ブロック図である。図３に示すように、監視装置２は、ユーザからの入力が行われる入力部１１と、カメラ５で撮影された複数の監視画像を同期再生によって表示する表示部１２と、ネットワークを介して画像記録装置３と通信する通信部１３を備えている。入力部１１は、例えば、キーボードやマウスなどで構成されており、表示部１２は、例えば、液晶モニタなどで構成されている。
【００２６】
また、監視装置２は、速度監視部１４と表示処理部１５としきい値変更部１６を有する制御部１７と、受信バッファを有する記憶部１８を備えている。制御部１７は、例えば、ＣＰＵやマイコンなどで構成されており、記憶部１８は、例えば、大容量のメモリやＨＤＤなどで構成されている。
【００２７】
速度監視部１４は、ストリーミング配信される複数の監視画像の各々が受信バッファに蓄積されるときのデータ蓄積速度Ｂ算出し、データ蓄積速度が所定のしきい値以下である監視画像を、ボトルネックカメラ画像として検出する。この速度監視部１４は、本発明のボトルネック検出部に相当する。しきい値変更部１６は、記憶部１８に記憶しているしきい値を、ストリーミング配信される複数の監視画像のデータ蓄積速度Ｂの平均値から算出される値に変更する。なお、データ蓄積速度Ｂは、単位時間あたりに受信バッファに蓄積される監視画像のフレーム数Ｆｎと、監視画像のフレームレートＦｒとに基づいて、計算式「Ｂ＝Ｆｎ／Ｆｒ」を用いて算出される。また、簡易的に、データ蓄積速度Ｂは、データ受信レート（Ｂ＝Ｆｎ）として算出されてもよい。
【００２８】
表示処理部１５は、検出されたボトルネックカメラ画像に関する通知メッセージを表示部１２に表示する。通知メッセージは、例えば、ボトルネックカメラ画像について「受信遅延」をユーザに通知するメッセージである（図８（ａ）参照）。また、通知メッセージは、同期再生を中止するか否かをユーザに確認するメッセージでもよい（図８（ｂ）参照）。また、通知メッセージは、スロー同期再生を行うか否かをユーザに確認するメッセージでもよい（図９参照）。
【００２９】
同期再生を中止するか否かの確認メッセージに対して、同期再生の中止を指示するユーザ入力が行われると、そのボトルネックカメラ画像（例えば、図８（ａ）の「カメラ３」の監視画像）の同期再生が中止され、そのボトルネックカメラ画像以外の監視画像（例えば、図８（ａ）の「カメラ１、２、４」の監視画像）の同期再生が行われる。また、スロー同期再生を行うか否かの確認メッセージに対して、スロー同期再生を指示するユーザ入力が行われると、複数の監視画像（例えば、図８（ａ）の「カメラ１〜４」の監視画像）のスロー同期再生が行われる。
【００３０】
ここで、「同期再生（通常の同期再生）」とは、再生を開始させたい時刻（再生時刻）をユーザが指定することにより、複数の監視画像（例えば、４つのカメラで撮影された監視画像）をその時刻（再生時刻）から同期して再生（通常の再生速度で再生）させることをいう。また、「スロー同期再生」とは、コマ落ちや映像の途切れが発生しないように、ボトルネックカメラ画像のデータ蓄積速度にあわせて、複数の監視画像をスローで同期して再生させることをいう。例えば、通常の再生（通常の同期再生）では、１フレーム／秒という再生速度で監視画像の再生が行われる場合に、スロー同期再生では、１フレーム／２秒という再生速度で監視画像の再生が行われる。
【００３１】
記憶部１８の受信バッファには、画像記録装置３からストリーミング配信される複数の監視画像のデータが同期再生のために一時的に蓄積される。バッファ時間（受信バッファに監視画像を一時的に蓄積する時間）は、監視装置２の初期設定時などに設定される。受信バッファは、現在受信している監視画像の数に応じた分だけ確保される。また、記憶部１８には、しきい値と同期表示カメラ情報と遅延無視リストが記憶されている。以下、記憶部１８に記憶される情報（しきい値と同期表示カメラ情報と遅延無視リスト）について、詳しく説明する。
【００３２】
しきい値は、受信バッファへのデータ蓄積速度を判定するために用いられる情報である。例えば、しきい値は、同期再生している監視画像のデータ蓄積速度の平均値から算出される。また、しきい値は、監視装置２の初期設定時などに、ユーザが入力部１１から手動で設定（登録）しておいてもよい。しきい値は、データ蓄積速度の平均値から算出される値に変更されてもよく、固定値であってもよい。
【００３３】
図４は、同期表示カメラ情報の説明図である。図４に示すように、同期表示カメラ情報は、表示部１２に複数の監視画像を同期表示するときの表示位置と、その監視画像を撮影したカメラ５の識別子（カメラＩＤ）を示した情報である。図４の例は、１つの画面に４つの監視画像を同期再生で表示するときの同期表示カメラ情報である。この図４の同期表示カメラ情報では、表示位置１（例えば、左上）に、カメラＩＤがＣ００１のカメラ５で撮影した監視画像が表示され、表示位置２（例えば、右上）に、カメラＩＤがＣ００２のカメラ５で撮影した監視画像が表示され、表示位置３（例えば、左下）に、カメラＩＤがＣ００３のカメラ５で撮影した監視画像が表示され、表示位置４（例えば、右下）に、カメラＩＤがＣ００４のカメラ５で撮影した監視画像が表示されることが示されている。
【００３４】
なお、１つの画面に同期再生で表示される監視画像の数は４つに限られず、任意の数の監視画像が表示されてよい。同期表示カメラ情報は、ユーザが監視画像を表示部１２に表示させるときに、ユーザが入力部１１を用いて手動で設定（指定）する。
【００３５】
図５は、遅延無視リストの説明図である。図５に示すように、遅延無視リストは、ボトルネックカメラ画像を撮影したカメラ５の識別子（カメラＩＤ）のリストであり、ボトルネックカメラ画像に関する通知メッセージの表示処理（後述する）を行う必要がないものに無視フラグが付されている。この遅延無視リストには、ボトルネックカメラ画像として検出されたが、後述する所定のユーザ入力（同期再生の中止、スロー同期再生の指示など）がなされなかった監視画像が登録される。図５の例では、カメラＩＤがＣ００１とＣ００３のカメラ５で撮影した監視画像が、遅延無視リストに登録されている。
【００３６】
以上のように構成された監視装置２について、図面を参照してその動作を説明する。
【００３７】
ここでは、まず、図６を参照して、監視装置２の動作のメインフローについて説明する。図６に示すように、本実施の形態の監視装置２を用いて監視画像の同期再生を行う場合には、監視装置２を起動させた後に、まず監視装置２で初期設定を行う（Ｓ１）。この初期設定では、例えば、バッファ時間の設定やしきい値の設定が行われる。
【００３８】
つぎに、ユーザ（利用者）は、監視装置２の入力部１１を用いて同期表示カメラ情報と再生時刻の入力を行う（Ｓ２）。同期表示カメラ情報の入力では、同期再生を行う複数のカメラ５が選択される。その後、監視装置２が、選択されたカメラ５の監視画像を記録している画像記録装置３に画像送信要求を送ると（Ｓ３）、画像記録装置３から監視装置２へそれらの監視画像がストリーミング配信される。
【００３９】
そして、監視装置２は、ストリーミング配信される複数の監視画像の中からボトルネックカメラ画像の検出処理を行って（Ｓ４）、監視画像の表示処理を行う（Ｓ５）。監視画像の表示処理では、複数の監視画像の同期再生またはスロー同期再生が行われる。そして、監視装置２は、同期再生の停止操作が行われると（Ｓ６）、監視画像の表示処理を終了する。
【００４０】
つぎに、ボトルネックカメラ画像の検出処理について、図面を参照して詳しく説明する。図７および図８には、ボトルネックカメラ画像の検出処理の一例が示されている。図７に示すように、ボトルネックカメラ画像の検出処理では、まず、単位時間あたりに受信バッファに蓄積される監視画像のフレーム数Ｆｎと、監視画像のフレームレートＦｒとに基づいて、データ蓄積速度Ｂ（＝Ｆｎ／Ｆｒ）を算出する（Ｓ１０）。そして、しきい値を、同期再生を行う監視画像のデータ蓄積速度Ｂの平均値から算出される値に変更する（Ｓ１１）。
【００４１】
つぎに、同期再生を行う複数の監視画像の中に「データ蓄積速度≦しきい値」となるボトルネックカメラ画像があるか否かの判定が行われる（Ｓ１２）。ボトルネックカメラ画像が検出された場合には、その監視画像（ボトルネックカメラ画像）を撮影したカメラ５が、遅延無視リストに登録されているか否かの判定が行われる（Ｓ１３）。そして、遅延無視リストに登録されていなかった場合には、通知メッセージが表示部１２に表示される（Ｓ１４）。
【００４２】
例えば、図８（ａ）に示すように、ボトルネックカメラ画像について「受信遅延」をユーザに通知するメッセージが表示される。または、図８（ｂ）に示すように、ボトルネックカメラ画像の同期再生を中止するか否かをユーザに確認するメッセージが表示される。なお、「受信遅延」をユーザに通知するメッセージを表示する場合には、遅延無視リストに登録されているか否かの判定（Ｓ１３）は、省略されてもよい。
【００４３】
上記のような通知メッセージに対して、同期再生の中止を指示するユーザ入力が行われると（Ｓ１５）、同期表示カメラ情報からボトルネックカメラ画像を撮影したカメラ５のカメラＩＤが削除される（Ｓ１６）。これにより、そのボトルネックカメラ画像（例えば、図８（ａ）の「カメラ３」の監視画像）の同期再生が中止され、そのボトルネックカメラ画像以外の監視画像（例えば、図８（ａ）の「カメラ１、２、４」の監視画像）の同期再生が行われる。
【００４４】
一方、上記のような通知メッセージに対して、同期再生の中止を指示するユーザ入力が行われなかった場合には（Ｓ１５）、そのボトルネックカメラ画像を撮影したカメラ５が遅延無視リストに登録される（Ｓ１７）。これにより、それ以降、そのボトルネックカメラ画像については、通知メッセージが表示部１２に表示されなくなる（Ｓ１３）。
【００４５】
図９および図１０には、ボトルネックカメラ画像の検出処理の他の例が示されている。図９に示すように、ボトルネックカメラ画像の検出処理の他の例でも、まず、単位時間あたりに受信バッファに蓄積される監視画像のフレーム数Ｆｎと、監視画像のフレームレートＦｒとに基づいて、データ蓄積速度Ｂ（＝Ｆｎ／Ｆｒ）を算出する（Ｓ１０）。そして、しきい値を、同期再生を行う監視画像のデータ蓄積速度Ｂの平均値から算出される値に変更する（Ｓ１１）。
【００４６】
つぎに、同期再生を行う複数の監視画像の中に「データ蓄積速度≦しきい値」となるボトルネックカメラ画像があるか否かの判定が行われる（Ｓ１２）。ボトルネックカメラ画像が検出された場合には、その監視画像（ボトルネックカメラ画像）を撮影したカメラ５が、遅延無視リストに登録されているか否かの判定が行われる（Ｓ１３）。そして、遅延無視リストに登録されていなかった場合には、通知メッセージが表示部１２に表示される（Ｓ２４）。例えば、図１０に示すように、スロー同期再生を行うか否かをユーザに確認するメッセージが表示される。
【００４７】
上記のような通知メッセージに対して、スロー同期再生を指示するユーザ入力が行われると（Ｓ２５）、スロー同期再生を行うことを示すフラグ（スロー再生フラグ）がオンにされ、複数の監視画像（例えば、図８（ａ）の「カメラ１〜４」の監視画像）について、ボトルネックカメラ画像のデータ蓄積速度にあわせたスロー同期再生が行われる（Ｓ２６）。
【００４８】
このような本実施の形態の監視装置２によれば、ストリーミング配信された監視画像の同期再生を行う際に、ボトルネックカメラ画像が存在している場合には、ユーザに対して通知メッセージが表示されるので、そのボトルネックカメラ画像への対策を講じることができる。
【００４９】
すなわち、本実施の形態では、カメラ５で撮影した監視画像が記録されている複数の画像記録装置３からストリーミング配信される複数の監視画像を同期再生するときに、その複数の監視画像の中からボトルネックカメラ画像（データ蓄積速度が遅い監視画像）が検出された場合には、そのボトルネックカメラ画像に関する通知メッセージが表示される。これにより、ユーザは、ボトルネックカメラ画像が存在することを認識することができ、そのボトルネックカメラ画像への対策（例えば、ボトルネックカメラ画像の同期再生の停止や、ボトルネックカメラ画像のデータ蓄積速度にあわせたスロー同期再生など）を講じることが可能になる。
【００５０】
例えば、ボトルネックカメラ画像が検出された場合に、図８（ｂ）に示すように、そのボトルネックカメラ画像の同期再生を中止するか否かを確認する通知メッセージがユーザに提示される。この通知メッセージに対して、ユーザが同期再生の中止を指示するユーザ入力を行うと、そのボトルネックカメラ画像を除外した監視画像の同期再生が行われる。このようにして、ボトルネックカメラ画像を同期再生の対象から容易に除外することができ、スムーズな同期再生が可能になる。
【００５１】
あるいは、ボトルネックカメラ画像が検出された場合に、図１０に示すように、そのボトルネックカメラ画像のデータ蓄積速度にあわせたスロー同期再生を行うか否かを確認する通知メッセージがユーザに提示される。この通知メッセージに対して、ユーザがスロー同期再生を指示するユーザ入力を行うと、そのボトルネックカメラ画像のデータ蓄積速度にあわせたスロー同期再生が行われる。このようにして、ボトルネックカメラ画像のデータ蓄積速度に応じた適切な同期再生（スロー同期再生）を行うことが可能になる。
【００５２】
また、本実施の形態では、単位時間あたりに蓄積される監視画像のフレーム数と監視画像のフレームレートとに基づいて、データ蓄積速度が適切に算出される。例えば、同期再生で表示する監視画像の画質（解像度やフレームレート）が異なる場合には、監視画像のデータサイズも異なることになり、したがって、監視画像の画質によって監視画像のバッファリングに要する時間が異なることになる。すなわち、監視画像の画質によってデータ受信レート（単位時間あたりに蓄積される監視画像のフレーム数）が異なることになる。そのような場合でも、単位時間あたりに蓄積される監視画像のフレーム数と監視画像のフレームレートとに基づいてデータ蓄積速度を算出することにより、監視画像の画質にかからわず適切なデータ蓄積速度を算出することができる。
【００５３】
また、本実施の形態では、しきい値（ボトルネックカメラ画像の検出の基準として用いられる値）が、同期再生される監視画像のデータ蓄積速度の平均値から動的に算出される。例えば、監視装置側のネットワークトラフィック遅延により、全体的にデータ蓄積速度が遅い場合、しきい値が一定であると、すべての監視画像がボトルネックカメラ画像であると判定されてしまい、通知メッセージが頻繁に表示されるおそれがあるが、本発明では、しきい値が、動的に算出された適切な値に変更されるので、ボトルネックカメラ画像に関する通知メッセージが頻繁に表示されるのを抑えることができる。
【００５４】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【産業上の利用可能性】
【００５５】
以上のように、本発明にかかる監視装置は、ボトルネックカメラ画像が存在している場合に、ユーザに対して通知メッセージが表示されるので、そのボトルネックカメラ画像への対策を講じることができるという効果を有し、ストリーミング配信された監視画像の同期再生を行う画像監視システム等に適用され、有用である。
【符号の説明】
【００５６】
１ 画像監視システム
２ 監視装置
３ 画像記録装置
４ 表示端末
５ カメラ
６ レコーダ
７ 入力部
８ 通信部
９ 制御部
１０ 記憶部
１１ 入力部
１２ 表示部
１３ 通信部
１４ 速度監視部
１５ 表示処理部
１６ しきい値変更部
１７ 制御部
１８ 記憶部
【特許請求の範囲】
【請求項１】
カメラで撮影した監視画像が記録されている画像記録装置と接続されており、複数の前記画像記録装置からストリーミング配信される複数の前記監視画像を同期再生によって表示する監視装置であって、
前記複数の監視画像を同期再生によって表示する表示部と、
前記複数の画像記録装置からストリーミング配信される前記複数の監視画像を同期再生のために一時的に蓄積する記憶部と、
前記ストリーミング配信される前記複数の監視画像の各々が前記記憶部に蓄積されるときのデータ蓄積速度を算出し、前記データ蓄積速度が所定のしきい値以下である監視画像をボトルネックカメラ画像として検出するボトルネック検出部と、
前記ボトルネックカメラ画像に関する通知メッセージを前記表示部に表示する表示処理部と、
を備えることを特徴とする監視装置。
【請求項２】
前記データ蓄積速度は、単位時間あたりに前記記憶部に蓄積される前記監視画像のフレーム数と、前記監視画像のフレームレートとに基づいて算出される請求項１に記載の監視装置。
【請求項３】
前記しきい値を、前記ストリーミング配信される前記複数の監視画像のデータ蓄積速度の平均値から算出される値に変更するしきい値変更部を備える請求項１または請求項２に記載の監視装置。
【請求項４】
前記通知メッセージは、前記ボトルネックカメラ画像の同期再生の中止をするか否かをユーザに確認するメッセージであり、
前記メッセージに対して同期再生の中止を指示するユーザ入力が行われると、前記ボトルネックカメラ画像の同期再生が中止され、前記ボトルネックカメラ画像以外の監視画像の同期再生が行われる請求項１〜請求項３のいずれかに記載の監視装置。
【請求項５】
前記通知メッセージは、前記ボトルネックカメラ画像のデータ蓄積速度にあわせたスロー同期再生を行うか否かをユーザに確認するメッセージであり、
前記メッセージに対してスロー同期再生を指示するユーザ入力が行われると、前記ボトルネックカメラ画像のデータ蓄積速度にあわせた前記複数の監視画像のスロー同期再生が行われる請求項１〜請求項３のいずれかに記載の監視装置。
【請求項６】
カメラで撮影した監視画像が記録されている複数の画像記録装置からストリーミング配信される複数の前記監視画像を同期再生によって表示するためのプログラムであって、
前記プログラムは、コンピュータに、
記憶部に、前記複数の画像記録装置からストリーミング配信される前記複数の監視画像を同期再生のために一時的に蓄積する処理と、
前記ストリーミング配信される前記複数の監視画像の各々が前記記憶部に蓄積されるときのデータ蓄積速度を算出し、前記データ蓄積速度が所定のしきい値以下である監視画像をボトルネックカメラ画像として検出する処理と、
前記複数の監視画像が同期再生によって表示される表示部に、前記ボトルネックカメラ画像に関する通知メッセージを表示する処理と、
を実行させることを特徴とするプログラム。
【請求項１】
カメラで撮影した監視画像が記録されている画像記録装置と接続されており、複数の前記画像記録装置からストリーミング配信される複数の前記監視画像を同期再生によって表示する監視装置であって、
前記複数の監視画像を同期再生によって表示する表示部と、
前記複数の画像記録装置からストリーミング配信される前記複数の監視画像を同期再生のために一時的に蓄積する記憶部と、
前記ストリーミング配信される前記複数の監視画像の各々が前記記憶部に蓄積されるときのデータ蓄積速度を算出し、前記データ蓄積速度が所定のしきい値以下である監視画像をボトルネックカメラ画像として検出するボトルネック検出部と、
前記ボトルネックカメラ画像に関する通知メッセージを前記表示部に表示する表示処理部と、
を備えることを特徴とする監視装置。
【請求項２】
前記データ蓄積速度は、単位時間あたりに前記記憶部に蓄積される前記監視画像のフレーム数と、前記監視画像のフレームレートとに基づいて算出される請求項１に記載の監視装置。
【請求項３】
前記しきい値を、前記ストリーミング配信される前記複数の監視画像のデータ蓄積速度の平均値から算出される値に変更するしきい値変更部を備える請求項１または請求項２に記載の監視装置。
【請求項４】
前記通知メッセージは、前記ボトルネックカメラ画像の同期再生の中止をするか否かをユーザに確認するメッセージであり、
前記メッセージに対して同期再生の中止を指示するユーザ入力が行われると、前記ボトルネックカメラ画像の同期再生が中止され、前記ボトルネックカメラ画像以外の監視画像の同期再生が行われる請求項１〜請求項３のいずれかに記載の監視装置。
【請求項５】
前記通知メッセージは、前記ボトルネックカメラ画像のデータ蓄積速度にあわせたスロー同期再生を行うか否かをユーザに確認するメッセージであり、
前記メッセージに対してスロー同期再生を指示するユーザ入力が行われると、前記ボトルネックカメラ画像のデータ蓄積速度にあわせた前記複数の監視画像のスロー同期再生が行われる請求項１〜請求項３のいずれかに記載の監視装置。
【請求項６】
カメラで撮影した監視画像が記録されている複数の画像記録装置からストリーミング配信される複数の前記監視画像を同期再生によって表示するためのプログラムであって、
前記プログラムは、コンピュータに、
記憶部に、前記複数の画像記録装置からストリーミング配信される前記複数の監視画像を同期再生のために一時的に蓄積する処理と、
前記ストリーミング配信される前記複数の監視画像の各々が前記記憶部に蓄積されるときのデータ蓄積速度を算出し、前記データ蓄積速度が所定のしきい値以下である監視画像をボトルネックカメラ画像として検出する処理と、
前記複数の監視画像が同期再生によって表示される表示部に、前記ボトルネックカメラ画像に関する通知メッセージを表示する処理と、
を実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−２０９７３１（Ｐ２０１２−２０９７３１Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１１−７３３８７（Ｐ２０１１−７３３８７）
【出願日】平成２３年３月２９日（２０１１．３．２９）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願日】平成２３年３月２９日（２０１１．３．２９）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]