監視装置、監視方法及び監視システム
【課題】ネットワークを介して取得する映像フレームの欠損を防ぐこと。
【解決手段】監視群で撮像した監視映像による監視を行う場合に、監視場所の映像による映像フレームを生成するカメラ群と、カメラ群からネットワークを介して取得した映像フレームに含まれるＩフレームに基づいて、ネットワークの通信状況を解析して、監視カメラが送信するＩフレームの送信間隔を変更する変更通知を出力する通信状況解析部１１と、通信状況解析部１１を介して映像フレームを取得する映像バッファ部１２と、映像バッファ部１２より取得した映像フレームを組み立てた表示用フレームセットを、映像を表示する表示部１９に出力する再生部１４と、変更通知に基づいて、カメラ群が送信するＩフレームの送信間隔を変更する制御を行う送信間隔制御部１３と、を備える。
【解決手段】監視群で撮像した監視映像による監視を行う場合に、監視場所の映像による映像フレームを生成するカメラ群と、カメラ群からネットワークを介して取得した映像フレームに含まれるＩフレームに基づいて、ネットワークの通信状況を解析して、監視カメラが送信するＩフレームの送信間隔を変更する変更通知を出力する通信状況解析部１１と、通信状況解析部１１を介して映像フレームを取得する映像バッファ部１２と、映像バッファ部１２より取得した映像フレームを組み立てた表示用フレームセットを、映像を表示する表示部１９に出力する再生部１４と、変更通知に基づいて、カメラ群が送信するＩフレームの送信間隔を変更する制御を行う送信間隔制御部１３と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、監視カメラから映像データを取得する場合に、監視カメラと管理サーバ間のネットワークの通信状況を監視し、ネットワーク帯域を有効に利用可能な監視装置、監視方法及び監視システムに関する。
【背景技術】
【０００２】
従来、監視カメラと制御装置とをネットワークを介して接続した監視システムが用いられている。このような監視システムにおいて、監視カメラは、撮影した映像データを、ネットワークを介して制御装置に送信する。制御装置は、受信した映像データを記録するとともに、映像データを解析することで異常の発生を検出し、アラームを出力する。監視員は、モニタに表示される監視映像及び制御装置が出力したアラームの内容を確認しながら監視を行うことができる。
【０００３】
特許文献１には、ネットワークカメラで監視した映像を録画再生することにより、監視映像に異常を示す映像変化があるかを監視する技術について記載されている。
【０００４】
特許文献２には、故障等が発生した時にユーザ端末からメーカーＷｅｂサイトに速やかにアクセスし、故障状況検索や修理依頼等の対応を行える技術について記載されている。
【０００５】
特許文献３には、異常が発生した映像監視装置から別の映像監視装置に切替えることができる技術について記載されている。
【特許文献１】特開２００５−２６８９９６号公報
【特許文献２】特開２００６−１１９８０３号公報
【特許文献３】特開２００７−１７４５０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、従来の監視システムは、ＭＰＥＧ（Moving Picture Experts Group）規格に準拠した映像フレーム（以下、単に「ＭＰＥＧ映像フレーム」又は「映像フレーム」と称する。）を生成するＭＰＥＧ映像フレーム生成ネットワークカメラと、同じくＭＰＥＧ映像フレームを生成するＭＰＥＧ映像フレーム生成ネットワークデバイス（以下、カメラ群と称する。）を用いて、管理サーバに映像フレームを記録し、表示装置に映像を再生するものであった。映像フレームは、ＩフレームとＰフレームで構成される。Ｉフレームは、１フレームの全画素のデータを有する独立した１枚の画像データでありデータ量が大きい。一方、Ｐフレームは、Ｉフレームに対する差分データでありデータ量が小さい。しかし、１つのＩフレームに対して複数のＰフレームが存在するため、Ｉフレームからの時間の経過が大きくなるに従って、差分量が増えてしまう。このため、比較的動きが激しい映像の場合には、全体のデータ量が大きくなってしまうことがある。
【０００７】
従来、カメラ群から管理サーバに送信するＩフレームの送信間隔は一定であった。このため、ネットワーク帯域の使用量が増加して、ネットワーク帯域が圧迫されるようになっても、カメラ群は同じ送信間隔でＩフレームを送信するため、送信遅延が発生したり、Ｉフレームが管理サーバで取得できなかったりすることがあった。
【０００８】
また、ＩフレームはＰフレームよりデータ量が大きい。このため、Ｉフレームの送信間隔が短い場合、ネットワーク帯域の使用量が増加し、ネットワーク帯域に負荷を強いることになる。このような状況に対応するためには、従来の監視システムでは、Ｉフレームの送信間隔を人為的に制御するしかなかった。このため、ネットワーク帯域の使用量が増加して、ネットワーク帯域が過負荷状態となると、Ｉフレームの送信間隔によってはネットワークの通信状況が悪化してしまう場合があった。
【０００９】
また、Ｉフレームの送信間隔を長くすると、カメラ群が管理サーバに送信する映像フレームのデータ量が小さくなる。このため、ネットワークにかかる負荷は、送信間隔が短い場合よりも少なくなる。その反面、ネットワークの不具合などで切断が起こりやすくなり、Ｉフレームが欠損すると、欠損したＩフレームの前後のＰフレームも影響を受けるため、表示する映像の欠損範囲が大きくなってしまう。つまり、監視システムとして映像を取得できない時間が増加することとなる。
【００１０】
本発明はこのような状況に鑑みて成されたものであり、監視カメラからの映像を、ネットワークを介して取得する場合に、取得されるＩフレームの欠損を防ぐことを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、監視カメラで撮像した監視映像による監視を行う場合に、監視場所の映像による映像フレームを生成する監視カメラから、ネットワークを介して取得した映像フレームに含まれるＩフレームに基づいて、ネットワークの通信状況を解析して、監視カメラが送信するＩフレームの送信間隔を変更する変更通知を出力し、映像フレームを取得し、取得した映像フレームを組み立てた表示用フレームセットを、映像を表示する表示部に出力し、変更通知に基づいて、監視カメラが送信するＩフレームの送信間隔を変更する制御を行う。
【００１２】
このようにしたことで、ネットワークの通信状況を解析して、ネットワーク帯域の使用量に応じて、監視カメラが送信するＩフレームの送信間隔を制御することが可能となった。
【発明の効果】
【００１３】
本発明によれば、ネットワークの通信状況を解析して、ネットワーク帯域の使用量に応じて、監視カメラが送信するＩフレームの送信間隔を制御するため、ネットワークの帯域使用量の増減にかかわらず、Ｉフレームを欠損することなく取得して映像を表示できるという効果がある。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の第１の実施形態例について、図１〜図９を参照して説明する。本実施の形態例では、撮像対象物を撮像した映像から映像フレームを生成する撮像部を備えるネットワークカメラから、ネットワークを介して映像フレームを取得して映像を表示する場合に、ネットワーク帯域の使用量を監視して、ネットワークカメラから送信する映像フレームの送信間隔を制御する監視システム１０に適用した例としてある。
【００１５】
＜本発明のベースとなる環境＞
図１は、監視システム１０の接続構成例を示す図である。監視システム１０は、監視対象物を撮影し、映像フレームを生成するＭＰＥＧ映像フレーム生成ネットワークカメラ１ａ〜１ｎと、取得した映像フレームを解析、保存すると共に、映像を再生可能な監視装置として機能する管理クライアント３と、ＭＰＥＧ映像フレーム生成ネットワークカメラ１ａ〜１ｎと管理クライアント３とを接続するネットワーク２とで構成される。ＭＰＥＧ映像フレームには、ＩフレームとＰフレームが含まれる。
【００１６】
監視システム１０は、１台、もしくは複数台のＭＰＥＧ映像フレーム生成ネットワークカメラ１ａ〜１ｎを管理する。また、監視システム１０は、図示しないアナログ監視カメラから取得するアナログ映像データをデジタル映像データ（ＭＰＥＧ映像フレーム）に変換し、ネットワーク２を介して管理クライアント３に供給するＭＰＥＧ映像フレーム生成ネットワークデバイス４を管理する。
【００１７】
ＭＰＥＧ映像フレーム生成ネットワークカメラ１ａ〜１ｎと、ＭＰＥＧ映像フレーム生成ネットワークデバイス４（以下、単にカメラ群と称する。）が生成したＭＰＥＧ規格（ＭＰＥＧ２、ＭＰＥＧ４規格など）に準拠した映像フレームは、ネットワーク２を介して管理クライアント３に送信される。管理クライアント３は、ネットワーク２より映像フレームを取得し、保存する。本例の映像フレームには、Ｉフレームが含まれる。
【００１８】
管理クライアント３は、ネットワーク２の通信状況を解析する通信状況解析部１１と、取得した映像フレームを一時的に保存する映像バッファ部１２と、映像フレームを記録する映像記録部３１と、カメラ群が送信するＩフレームの送信間隔を変更する制御を行う送信間隔制御部１３と、映像バッファ部１２から映像フレームを取得する再生部１４と、再生部１４から取得した映像フレームに基づいて映像を表示する表示部１９と、Ｉフレームの送信間隔を変更するスケジュールを設定するスケジュール設定部１５と、設定したスケジュールを記録するスケジュール記録部３２と、を備える。
【００１９】
そして、管理クライアント３は、ＭＰＥＧ映像フレーム生成ネットワークカメラ１ａ〜１ｎと、ＭＰＥＧ映像フレーム生成ネットワークデバイス４毎に、個別に映像フレームを取得し、保存する。ただし、ネットワーク２の帯域使用量が大きくなった場合や、映像フレームを取得できない場合等のネットワーク環境の変更に応じてＩフレームの送信間隔を自動的に変更する。
【００２０】
[通信状況解析部]
通信状況解析部１１は、カメラ群から取得する映像フレームに含まれるＩフレームに基づいて、単位時間当たりのネットワーク２の帯域使用量を計測し、映像フレームの映像欠損率を解析する。映像欠損率は、カメラ群が送信した映像フレームのうち、通信状況解析部１１が取得できない映像フレームの比率を示す。その後、映像フレームを映像バッファ部１２に送信する。解析結果によって、映像欠損率が第１の閾値を超えた場合は、送信間隔制御部１３にＩフレームの送信間隔を小さくする変更通知を出力する。また、映像欠損率が第１の閾値を超えた場合であって、かつ、ネットワーク２の帯域使用量（帯域負荷）が第２の閾値を超えていると判断した場合は、送信間隔制御部１３に送信間隔を大きくするように、変更通知を出力する。また、ネットワーク２の通信状況を解析した結果、ネットワーク２が連続して切断と接続を繰り返していると判断した場合は、Ｉフレームの送信間隔を小さくする変更通知を出力する。
ネットワーク２の帯域使用量の増加と、映像欠損率の上昇が重なった場合、映像フレームが欠損する主な要因は、ネットワークの帯域使用量の増大であると考えられる。このため、優先してＩフレームの送信間隔を大きくする変更通知を送信間隔制御部１３に送る。
【００２１】
［映像バッファ部］
監視場所の映像による映像フレームを生成するカメラ群は、撮像した映像データを、可変長又は固定長の映像フレームに分割し、ネットワーク２を介して管理クライアント３に伝送する。映像バッファ部１２は、カメラ群から取得した映像フレームを、大容量のハードディスクドライブ等で構成された映像記録部３１に保存する。
また、映像バッファ部１２は、映像記録部３１から読み出した映像フレームを、再生部１４に供給する。このとき、映像バッファ部１２は、内蔵するＲＡＭ等のメモリに所定数の映像フレームを保存した後、再生部１４に映像フレームを供給する。
【００２２】
［映像記録部］
映像記録部３１は、カメラ群から受信した映像フレームを保存するデータベースである。映像記録部３１が保存する映像フレームの構成例は以下のとおりである。
・フレーム番号：映像フレームを一意に識別するために必要となる。
・フレームレート：カメラ群が管理クライアント３に送信する映像フレームの送信間隔を示す。フレームレートは、再生部１４が映像フレームを取得し、表示する間隔を得るために必要となる。
・フレーム本体：映像フレームの本体である。
[送信間隔制御部]
送信間隔制御部１３は、通信状況解析部１１又はスケジュール設定部１５から変更通知を受けとったときに、ネットワークカメラ／デバイスのＩフレームの送信間隔を設定する。
【００２３】
［再生部］
再生部１４は、映像バッファ部１２を介して映像フレームを取得する。そして、再生部１４は、取得した映像フレームから表示用フレームセットを作成し、表示部１９に送る。
【００２４】
［表示部］
表示部１９は、再生部１４から供給される表示用フレームセットを元にして、映像を表示する。表示部１９は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等で構成される。
【００２５】
［スケジュール設定部］
スケジュール設定部１５は、時間帯によりカメラ群が送信するＩフレームの送信間隔を変更するスケジュールを設定する。例えば、店舗における監視を想定した場合、営業時間内は人の動きなどで映像のデータ量が大きくなる。このため、Ｉフレームの送信間隔を大きくする。一方、夜間は画像欠損を防ぐために、Ｉフレームの送信間隔を小さくする。このように時間帯によって、異なるＩフレームの送信間隔を変更する設定を行う。ただし、スケジュールの値は、通信状況解析部１１の閾値を超える値を設定できない。また、スケジュールによる設定内容は、通信状況解析部１１による自動制御よりも適用の優先度が低くなる。
【００２６】
［スケジュール記録部］
スケジュール記録部３２は、スケジュール設定部１５が設定したスケジュールを保存する。スケジュール記録部３２が持つべき情報例は以下になる。
・スケジュール番号（又はスケジュール名）：スケジュール情報を一意に識別するために必要となる。
・開始時間：スケジュールを開始する年月日時分秒が定められる。
・終了時間：スケジュールを終了する年月日時分秒が定められる。
・送信間隔：Ｉフレームの送信間隔が設定される。
【００２７】
次に、各部の処理例について、図２〜図７のフローチャートを参照して説明する。
【００２８】
図２は、通信状況解析部１１が行う通信状況解析処理の例を示す。
初めに、通信状況解析部１１は、カメラ群から映像フレームを取得する（ステップＳ１）。そして、取得した映像フレームから、カメラ群が送信した映像フレームに対して、取得できない映像フレームの比率を示す映像欠損率を計算する（ステップＳ２）。そして、映像欠損率が第１の閾値を超えたか否かを判断する（ステップＳ３）。
【００２９】
映像欠損率が第１の閾値を超えていない場合、通信状況解析処理を終了する。一方、映像欠損率が第１の閾値を超えている場合、ネットワーク２の帯域使用量を計算する（ステップＳ４）。そして、ネットワーク２の帯域使用量が第１の閾値を超えたか否かを判断する（ステップＳ５）。
【００３０】
ネットワーク２の帯域使用量が第２の閾値を超えていない場合、通信状況解析処理を終了する。一方、ネットワーク２の帯域使用量が第２の閾値を超えている場合、Ｉフレームの送信間隔を変更する変更通知を作成する（ステップＳ６）。そして、送信間隔制御部１３に変更通知し（ステップＳ７）、通信状況解析処理の終了要求があるか否かを判断する（ステップＳ８）。
【００３１】
通信状況解析処理の終了要求がない場合、ステップＳ１に処理を移す。一方、通信状況解析処理の終了要求がある場合、通信状況解析処理を終了する。
【００３２】
図３は、映像バッファ部１２が行う映像再生処理の例を示す。
初めに、映像バッファ部１２は、通信状況解析部１１から映像フレームを取得する（ステップＳ１１）。そして、取得した映像フレームの保存が必要か否かを判断する（ステップＳ１２）。
【００３３】
取得した映像フレームの保存が必要でない場合、ステップＳ１６に処理を移す。一方、取得した映像フレームの保存が必要である場合、映像記録部３１に映像フレームを保存する（ステップＳ１３）。その後、保存した映像フレームを取得する必要があるか否かを判断する（ステップＳ１４）。
【００３４】
保存した映像フレームを映像記録部３１から取得しない場合、ステップＳ１６に処理を移す。一方、保存した映像フレームを映像記録部３１から取得する場合、映像記録部３１から映像フレームを取得する（ステップＳ１５）。そして、取得した映像フレームを、映像バッファ部１２が備えるメモリ上に格納する（ステップＳ１６）。
【００３５】
その後、通信状況解析部１１から映像フレームの送信を待つか否かを判断する（ステップＳ１７）。通信状況解析部１１から映像フレームの送信を待つ場合、ステップＳ１１の処理に戻って、通信状況解析部１１から映像フレームを継続して取得する。通信状況解析部１１からの映像フレームの送信を待たない場合、映像再生処理の終了要求があるか否かを判断する（ステップＳ１８）。
【００３６】
映像再生処理の終了要求がない場合、ステップＳ１５の処理に戻って、映像記録部３１から映像フレームを継続して取得する。一方、映像再生処理の終了要求がある場合、映像再生処理を終了する。
【００３７】
図４は、送信間隔制御部１３が行う送信間隔制御処理の例を示す。
初めに、送信間隔制御部１３は、通信状況解析部１１からＩフレームの送信間隔の変更通知を受け取る（ステップＳ３１）。そして、Ｉフレームの送信間隔の変更が必要か否かを判断する（ステップＳ３２）。
【００３８】
Ｉフレームの送信間隔の変更が必要でない場合、送信間隔制御処理を終了する。一方、Ｉフレームの送信間隔の変更が必要である場合、カメラ群に通知する通知内容を作成する（ステップＳ３３）。作成される通知内容には、変更するＩフレームの送信間隔に関する情報が含まれている。
【００３９】
そして、作成した通知内容を、ネットワーク２を介してカメラ群に送信し（ステップＳ３４）、送信間隔制御処理の終了要求があるか否かを判断する（ステップＳ３５）。
【００４０】
送信間隔制御処理の終了要求がない場合、ステップＳ３１に処理を移す。一方、送信間隔制御処理の終了要求がある場合、送信間隔制御処理を終了する。
【００４１】
図５は、スケジュール設定部１５が行うスケジュール設定処理の例を示す。
初めに、スケジュール設定部１５は、スケジュール記録部３２に保存されたスケジュールを読み出すことで、各スケジュールを処理する（ステップＳ４１）。そして、現在時刻がスケジュール内であるか否かを判断する（ステップＳ４２）。
【００４２】
スケジュール内でない場合、ステップＳ４１に処理を移す。一方、スケジュール内である場合、Ｉフレームの送信間隔の変更通知を含む通知内容を作成する（ステップＳ４３）。そして、作成した通知内容を送信間隔制御部１３に通知する（ステップＳ４４）。
【００４３】
次に、スケジュールの設定変更要求があるか否かを判断する（ステップＳ４５）。スケジュールの設定変更要求がない場合、ステップＳ４１に処理を移す。スケジュールの設定変更要求がある場合、スケジュールの設定を変更する（ステップＳ４６）。
【００４４】
その後、スケジュール設定部１５は、スケジュール設定処理の終了要求があるか否かを判断する（ステップＳ４７）。終了要求がない場合、ステップＳ４１に処理を移す。一方、終了要求がある場合、スケジュール設定処理を終了する。
【００４５】
図６は、再生部１４が行う再生処理の例を示す。
初めに、再生部１４は、映像バッファ部１２から映像フレームを取得する（ステップＳ５１）。そして、再生部１４は、表示部１９から再生指示があるか否かを判断する（ステップＳ５２）。
【００４６】
再生要求がない場合、再生処理を終了する。再生要求がある場合、映像フレームを組み立てた表示用フレームセットを作成する（ステップＳ５３）。その後、再生部１４は、再生処理の終了要求があるか否かを判断する（ステップＳ５４）。終了要求がない場合、ステップＳ５１に処理を移す。一方、終了要求がある場合、再生処理を終了する。
【００４７】
図７は、表示部１９が行う映像の表示処理の例を示す。
初めに、表示部１９は、再生部１４に、映像の再生指示を通知する（ステップＳ６１）。そして、再生部１４から表示用フレームセットを取得する（ステップＳ６２）。そして、表示部１９は、映像を表示する処理を行う（ステップＳ６３）。
【００４８】
その後、表示部１９は、映像の表示処理の終了要求があるか否かを判断する（ステップＳ６４）。終了要求がない場合、ステップＳ６２に処理を移す。一方、終了要求がある場合、映像の表示処理を終了する。
【００４９】
次に、各部を組み合わせた処理例について、図８と図９のシーケンス図を参照して説明する。
【００５０】
図８は、カメラ群から最適な送信間隔で映像フレームを取得する処理の例を示す。
初めに、通信状況解析部１１は、カメラ群から映像フレームを取得する（ステップＳ１０１）。そして、取得した映像フレームより、ネットワーク２の通信状況を解析する（ステップＳ１０２）。
【００５１】
映像バッファ部１２は、通信状況解析部１１から映像フレームを取得する（ステップＳ１０３）。映像バッファ部１２は、必要に応じて、映像フレームを映像記録部３１に保存する（ステップＳ１０４）。そして、映像バッファ部１２は、映像記録部３１から映像フレームを読み出す（ステップＳ１０５）。
【００５２】
再生部１４は、映像バッファ部１２から映像フレームを取得する（ステップＳ１０６）。そして、取得した映像フレームから表示用フレームセットを作成する（ステップＳ１０７）。表示部１９は、再生部１４から表示用フレームセットを取得し（ステップＳ１０８）、映像を表示する（ステップＳ１０９）。
【００５３】
送信間隔制御部１３は、通信状況解析部１１からＩフレームの送信間隔の変更通知を取得する（ステップＳ１１０）。そして、設定した送信間隔をカメラ群に通知する（ステップＳ１１１）。
このようにして、ネットワーク２の通信状況を解析することで、適切な送信間隔でカメラ群にＩフレームを送信する指示を行えるようになり、ネットワーク２の帯域使用量の増減に関係なく、映像フレームを取得することができる。
【００５４】
図９は、スケジュール毎にＩフレームの送信間隔を変更する処理の例を示す。
初めに、スケジュール設定部１５は、スケジュール記録部３２から、“開始時間”や“終了時間”、“Ｉフレームの送信間隔”等の内容を含むスケジュール設定情報を取得する（ステップＳ１２１）。
【００５５】
そして、スケジュール設定部１５は、設定されたスケジュール（開始時間）になると、送信間隔制御部１３にＩフレームの送信間隔の変更を指示する。送信間隔制御部１３は、スケジュール設定部１５からＩフレームの送信間隔の変更通知を受け取る（ステップＳ１２２）。
【００５６】
そして、送信間隔制御部１３は、設定したＩフレームの送信間隔をカメラ群に通知する（ステップＳ１２３）。
このようにして、予め定めたスケジュールに沿って、送信間隔を変更することが可能となる。
【００５７】
以上説明した第１の実施形態例に係る監視システム１０では、ネットワーク帯域の使用量に応じて、カメラ群が送信する映像フレームの送信間隔を制御するため、ネットワーク２の帯域使用量の増減にかかわらず、映像フレームを欠損することなく取得できる。このため、連続性を保った状態で映像を表示できるという効果がある。
【００５８】
また、Ｉフレームの送信間隔を変更するスケジュールを所定日時で設定するスケジュール設定部１５と、スケジュール設定部１５が設定したスケジュールを保存するスケジュール記録部３２と、を備えて、任意のスケジュールで送信間隔を変更することを可能としている。このため、ネットワーク帯域の使用量が予め分かっている場合に、時間帯によって送信間隔を変更することができるため、ネットワーク帯域の負荷を分散できると共に、映像フレームの欠損を防ぐことができるという効果がある。
【００５９】
また、映像記録部３１を備えるため、多くの映像フレームを保存できる。このため、監視者が長時間監視することが困難な時間帯（例えば、夜間監視）において、長時間分の映像フレームを保存し、後にまとめて表示できるという効果がある。
【００６０】
また、通信状況解析部１１は、映像欠損率が第１の閾値を超えた場合、Ｉフレームの送信間隔を小さくするよう、送信間隔制御部１３に変更通知を行う。この変更通知によって、通信状況解析部１１は、単位時間当りに取得するＩフレームの数が増えるため、実質的に映像欠損率を低くすることができるという効果がある。
【００６１】
また、通信状況解析部１１は、映像欠損率が第１の閾値を超えた場合であって、かつ、ネットワーク２の帯域使用量が第２の閾値より高いと判断した場合は、Ｉフレームの送信間隔を大きくするよう、送信間隔制御部１３に変更通知を行う。この変更通知によって、ネットワーク２の帯域使用量を減少させるため、ネットワーク２の帯域負荷を下げることができるという効果がある。
【００６２】
また、通信状況解析部１１は、ネットワーク２が連続して切断と接続を繰り返していると判断した場合は、映像フレームの送信間隔を小さくするよう、送信間隔制御部１３に変更通知を行う。この変更通知によって、ネットワーク２の通信状況が不安定になって、映像フレームの欠損が起きやすくなったとしても、通信状況解析部１１が取得する映像フレームが増加するため、映像フレームの欠損間隔を小さくすることができ、映像フレームの連続性を保つことができるという効果がある。
【００６３】
次に、本発明の第２の実施形態例について、図１０を参照して説明する。本実施の形態例においても、撮像対象物を撮像した映像から映像フレームを生成する撮像部を備えるカメラから、ネットワークを介して映像フレームを取得して映像を表示する場合に、ネットワークの帯域を監視して、ネットワークの帯域使用量を制御する監視システム４０に適用した例としてある。なお、図１０において、既に第１の実施の形態で説明した図１に対応する部分には同一符号を付し、詳細な説明を省略する。
【００６４】
図１０は、監視システム４０の内部構成例を示すブロック図である。
監視システム４０は、サーバ機能とクライアント機能を分割した管理サーバ５と閲覧用クライアント６で構成されたいわゆるクライアント／サーバシステムとしている。
管理サーバ５は、ＭＰＥＧ映像フレーム生成ネットワークカメラ１ａ〜１ｎから映像フレームを取得し、保存する。閲覧クライアント６は、管理サーバ５を介して映像フレームを取得し、所定の処理を施して映像表示を行う。管理サーバ５と閲覧クライアント６は、組み合わせることで監視装置として機能する。
【００６５】
管理サーバ５は、通信状況解析部１１と、映像バッファ部１２と、送信間隔制御部１３と、スケジュール設定部１５と、スケジュール記録部３２と、を備えている。
閲覧クライアント６は、再生部１４と、表示部１９と、を備えている。各部の処理は、既に説明した第１の実施の形態に係る監視システム１０で行われる処理と同様である。
【００６６】
監視システム４０においても、閲覧クライアント６は管理サーバ５から映像フレームを個別に取得できる。そして、管理サーバ５で取得した映像フレームを解析することで、ネットワーク２の帯域使用量を見積もることができる。そして、ネットワーク帯域の使用量に応じて、カメラ群が送信する映像フレームの送信間隔を制御するため、ネットワーク２の帯域使用量の増減にかかわらず、映像フレームを欠損することなく取得することができる。
【００６７】
以上説明した第２の実施の形態に係る監視システム４０の内部構成は、映像フレームを保存する管理サーバ５と、読み出した映像フレームに同期させて表示可能な閲覧クライアント６に分けている。そして、監視システム４０を構成する管理サーバ５と閲覧クライアント６は、分散配置することが可能である。また、閲覧クライアント６は、管理サーバ５から離して設置することができる。このため、閲覧クライアント６は、大容量の記録部を備える必要がなく、例えばノート型の軽量なコンピュータ装置で機能を実現できるという効果がある。また、監視システム４０の機能分散を図ることができるため、障害対応の強化を図ることができるという効果がある。
【００６８】
次に、本発明の第３の実施形態例について、図１１を参照して説明する。本実施の形態例においても、撮像対象物を撮像した映像から映像フレームを生成する撮像部を備えるカメラから、ネットワークを介して映像フレームを取得して映像を表示する場合に、ネットワークの帯域を監視して、ネットワークの帯域使用量を制御する監視システム５０に適用した例としてある。なお、図１１において、既に第１の実施の形態で説明した図１に対応する部分には同一符号を付し、詳細な説明を省略する。
【００６９】
図１１は、監視システム５０の内部構成例を示すブロック図である。
監視システム５０は、カメラ群と、サーバ機能とクライアント機能を分割した管理クライアント７と閲覧用クライアント８で構成している。管理クライアント７と閲覧クライアント８は、組み合わせることで監視装置として機能する。
管理クライアント７は、カメラ群から取得した映像フレームを保存し、所定の処理を施して映像表示を行う。
閲覧クライアント８は、管理クライアント７を介して映像フレームを取得し、所定の処理を施して映像表示を行う。
【００７０】
管理クライアント７は、通信状況解析部１１と、映像バッファ部１２と、送信間隔制御部１３と、再生部１４と、スケジュール設定部１５と、表示部１９と、映像記録部３１と、スケジュール記録部３２と、を備えている。
閲覧クライアント８は、再生部１４と、表示部１９と、を備えている。各部の処理は、既に説明した第１の実施の形態に係る監視システム１０で行われる処理と同様である。
【００７１】
以上説明した第３の実施の形態に係る監視システム５０の内部構成は、映像フレームを保存し、読み出した映像フレームに所定の処理を施して、映像を表示可能な管理クライアント７と、管理クライアント７から取得した映像フレームに所定の処理を施して、映像を表示可能な閲覧クライアント８に分けている。このように、監視システム５０を構成する管理クライアント７と閲覧クライアント８は、分散配置することが可能である。このため、閲覧クライアント８は、大容量の記録部を備える必要がなく、例えばノート型の軽量なコンピュータ装置で機能を実現できるという効果がある。また、監視システム５０の機能分散を図ることができるため、障害対応の強化を図ることができるという効果がある。
【００７２】
以上説明した第１〜第３の実施の形態に係る監視システムでは、様々なネットワークを介してデータを取得する場合に、ネットワーク帯域の使用量の増減にかかわらず、カメラ群が送信する映像フレームを任意の送信間隔で取得することが可能である。例えば、専用回線に比べて安く利用できる公共回線等は、ネットワーク帯域の使用量の変動が大きい。しかし、このような公共回線を用いたとしても、ネットワーク帯域の使用量の増減に応じて映像フレームの送信間隔を自動的に求めることができる。また、ネットワーク２の環境に応じた帯域使用量を自動的に変更できる。このため、従来の監視システムでは、ネットワーク帯域を必要以上に占有していたが、ネットワーク２の帯域使用量の増減に応じてカメラ群が送信する映像フレームの送信間隔を変更することにより、他のデータを用いて行う通信におけるネットワーク２に対する負担を減少できるという効果がある。
【００７３】
また、店舗等において、営業時間内外など、予め通信負荷の変化が顕著な環境では、送信間隔を変更するスケジュールを作成しておけば、時間ごとに最適な通信を維持することができるという効果がある。また、ネットワーク２に予期しない通信負荷がかかった場合であっても、自動的に映像フレームの送信間隔を変更できるため、カメラ群とサーバ間との常時接続性を維持できるという効果がある。
【００７４】
なお、上述した第１〜第３の実施の形態では、Ｉフレームについて送信間隔を制御するようにしたが、他のフレームであってもよい。例えば、ＰフレームやＢフレームであってもよい。また、他の規格に準拠した画像データを伝送する場合に適用してもよい。
【図面の簡単な説明】
【００７５】
【図１】本発明の第１の実施の形態における監視システムの内部構成例を示すブロック図である。
【図２】本発明の第１の実施の形態における通信状況解析部の通信状況解析処理の例を示すフローチャートである。
【図３】本発明の第１の実施の形態における映像バッファ部の映像再生処理の例を示すフローチャートである。
【図４】本発明の第１の実施の形態における送信間隔制御部の送信間隔制御処理の例を示すフローチャートである。
【図５】本発明の第１の実施の形態におけるスケジュール設定部のスケジュール設定処理の例を示すフローチャートである。
【図６】本発明の第１の実施の形態における再生部が行う再生処理の例を示すフローチャートである。
【図７】本発明の第１の実施の形態における表示部が行う映像の表示処理の例を示すフローチャートである。
【図８】本発明の第１の実施の形態におけるカメラ群から最適な送信間隔で映像フレームを取得する処理の例を示すシーケンス図である。
【図９】本発明の第１の実施の形態におけるスケジュール毎にＩフレームの送信間隔を変更する処理の例を示すシーケンス図である。
【図１０】本発明の第２の実施の形態における監視システムの内部構成例を示すブロック図である。
【図１１】本発明の第３の実施の形態における監視システムの内部構成例を示すブロック図である。
【符号の説明】
【００７６】
１ａ〜１ｎ…ＭＰＥＧ映像フレーム生成カメラ、２…ネットワーク、３…管理サーバ、４…ＭＰＥＧ映像フレーム生成ネットワークデバイス、１０…監視システム、１１…通信状況解析部、１２…映像バッファ部、１３…送信間隔制御部、１４…再生部、１５…スケジュール設定部、１９…表示部、３１…映像記録部、３２…スケジュール記録部、４０，５０…監視システム
【技術分野】
【０００１】
本発明は、例えば、監視カメラから映像データを取得する場合に、監視カメラと管理サーバ間のネットワークの通信状況を監視し、ネットワーク帯域を有効に利用可能な監視装置、監視方法及び監視システムに関する。
【背景技術】
【０００２】
従来、監視カメラと制御装置とをネットワークを介して接続した監視システムが用いられている。このような監視システムにおいて、監視カメラは、撮影した映像データを、ネットワークを介して制御装置に送信する。制御装置は、受信した映像データを記録するとともに、映像データを解析することで異常の発生を検出し、アラームを出力する。監視員は、モニタに表示される監視映像及び制御装置が出力したアラームの内容を確認しながら監視を行うことができる。
【０００３】
特許文献１には、ネットワークカメラで監視した映像を録画再生することにより、監視映像に異常を示す映像変化があるかを監視する技術について記載されている。
【０００４】
特許文献２には、故障等が発生した時にユーザ端末からメーカーＷｅｂサイトに速やかにアクセスし、故障状況検索や修理依頼等の対応を行える技術について記載されている。
【０００５】
特許文献３には、異常が発生した映像監視装置から別の映像監視装置に切替えることができる技術について記載されている。
【特許文献１】特開２００５−２６８９９６号公報
【特許文献２】特開２００６−１１９８０３号公報
【特許文献３】特開２００７−１７４５０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、従来の監視システムは、ＭＰＥＧ（Moving Picture Experts Group）規格に準拠した映像フレーム（以下、単に「ＭＰＥＧ映像フレーム」又は「映像フレーム」と称する。）を生成するＭＰＥＧ映像フレーム生成ネットワークカメラと、同じくＭＰＥＧ映像フレームを生成するＭＰＥＧ映像フレーム生成ネットワークデバイス（以下、カメラ群と称する。）を用いて、管理サーバに映像フレームを記録し、表示装置に映像を再生するものであった。映像フレームは、ＩフレームとＰフレームで構成される。Ｉフレームは、１フレームの全画素のデータを有する独立した１枚の画像データでありデータ量が大きい。一方、Ｐフレームは、Ｉフレームに対する差分データでありデータ量が小さい。しかし、１つのＩフレームに対して複数のＰフレームが存在するため、Ｉフレームからの時間の経過が大きくなるに従って、差分量が増えてしまう。このため、比較的動きが激しい映像の場合には、全体のデータ量が大きくなってしまうことがある。
【０００７】
従来、カメラ群から管理サーバに送信するＩフレームの送信間隔は一定であった。このため、ネットワーク帯域の使用量が増加して、ネットワーク帯域が圧迫されるようになっても、カメラ群は同じ送信間隔でＩフレームを送信するため、送信遅延が発生したり、Ｉフレームが管理サーバで取得できなかったりすることがあった。
【０００８】
また、ＩフレームはＰフレームよりデータ量が大きい。このため、Ｉフレームの送信間隔が短い場合、ネットワーク帯域の使用量が増加し、ネットワーク帯域に負荷を強いることになる。このような状況に対応するためには、従来の監視システムでは、Ｉフレームの送信間隔を人為的に制御するしかなかった。このため、ネットワーク帯域の使用量が増加して、ネットワーク帯域が過負荷状態となると、Ｉフレームの送信間隔によってはネットワークの通信状況が悪化してしまう場合があった。
【０００９】
また、Ｉフレームの送信間隔を長くすると、カメラ群が管理サーバに送信する映像フレームのデータ量が小さくなる。このため、ネットワークにかかる負荷は、送信間隔が短い場合よりも少なくなる。その反面、ネットワークの不具合などで切断が起こりやすくなり、Ｉフレームが欠損すると、欠損したＩフレームの前後のＰフレームも影響を受けるため、表示する映像の欠損範囲が大きくなってしまう。つまり、監視システムとして映像を取得できない時間が増加することとなる。
【００１０】
本発明はこのような状況に鑑みて成されたものであり、監視カメラからの映像を、ネットワークを介して取得する場合に、取得されるＩフレームの欠損を防ぐことを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、監視カメラで撮像した監視映像による監視を行う場合に、監視場所の映像による映像フレームを生成する監視カメラから、ネットワークを介して取得した映像フレームに含まれるＩフレームに基づいて、ネットワークの通信状況を解析して、監視カメラが送信するＩフレームの送信間隔を変更する変更通知を出力し、映像フレームを取得し、取得した映像フレームを組み立てた表示用フレームセットを、映像を表示する表示部に出力し、変更通知に基づいて、監視カメラが送信するＩフレームの送信間隔を変更する制御を行う。
【００１２】
このようにしたことで、ネットワークの通信状況を解析して、ネットワーク帯域の使用量に応じて、監視カメラが送信するＩフレームの送信間隔を制御することが可能となった。
【発明の効果】
【００１３】
本発明によれば、ネットワークの通信状況を解析して、ネットワーク帯域の使用量に応じて、監視カメラが送信するＩフレームの送信間隔を制御するため、ネットワークの帯域使用量の増減にかかわらず、Ｉフレームを欠損することなく取得して映像を表示できるという効果がある。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の第１の実施形態例について、図１〜図９を参照して説明する。本実施の形態例では、撮像対象物を撮像した映像から映像フレームを生成する撮像部を備えるネットワークカメラから、ネットワークを介して映像フレームを取得して映像を表示する場合に、ネットワーク帯域の使用量を監視して、ネットワークカメラから送信する映像フレームの送信間隔を制御する監視システム１０に適用した例としてある。
【００１５】
＜本発明のベースとなる環境＞
図１は、監視システム１０の接続構成例を示す図である。監視システム１０は、監視対象物を撮影し、映像フレームを生成するＭＰＥＧ映像フレーム生成ネットワークカメラ１ａ〜１ｎと、取得した映像フレームを解析、保存すると共に、映像を再生可能な監視装置として機能する管理クライアント３と、ＭＰＥＧ映像フレーム生成ネットワークカメラ１ａ〜１ｎと管理クライアント３とを接続するネットワーク２とで構成される。ＭＰＥＧ映像フレームには、ＩフレームとＰフレームが含まれる。
【００１６】
監視システム１０は、１台、もしくは複数台のＭＰＥＧ映像フレーム生成ネットワークカメラ１ａ〜１ｎを管理する。また、監視システム１０は、図示しないアナログ監視カメラから取得するアナログ映像データをデジタル映像データ（ＭＰＥＧ映像フレーム）に変換し、ネットワーク２を介して管理クライアント３に供給するＭＰＥＧ映像フレーム生成ネットワークデバイス４を管理する。
【００１７】
ＭＰＥＧ映像フレーム生成ネットワークカメラ１ａ〜１ｎと、ＭＰＥＧ映像フレーム生成ネットワークデバイス４（以下、単にカメラ群と称する。）が生成したＭＰＥＧ規格（ＭＰＥＧ２、ＭＰＥＧ４規格など）に準拠した映像フレームは、ネットワーク２を介して管理クライアント３に送信される。管理クライアント３は、ネットワーク２より映像フレームを取得し、保存する。本例の映像フレームには、Ｉフレームが含まれる。
【００１８】
管理クライアント３は、ネットワーク２の通信状況を解析する通信状況解析部１１と、取得した映像フレームを一時的に保存する映像バッファ部１２と、映像フレームを記録する映像記録部３１と、カメラ群が送信するＩフレームの送信間隔を変更する制御を行う送信間隔制御部１３と、映像バッファ部１２から映像フレームを取得する再生部１４と、再生部１４から取得した映像フレームに基づいて映像を表示する表示部１９と、Ｉフレームの送信間隔を変更するスケジュールを設定するスケジュール設定部１５と、設定したスケジュールを記録するスケジュール記録部３２と、を備える。
【００１９】
そして、管理クライアント３は、ＭＰＥＧ映像フレーム生成ネットワークカメラ１ａ〜１ｎと、ＭＰＥＧ映像フレーム生成ネットワークデバイス４毎に、個別に映像フレームを取得し、保存する。ただし、ネットワーク２の帯域使用量が大きくなった場合や、映像フレームを取得できない場合等のネットワーク環境の変更に応じてＩフレームの送信間隔を自動的に変更する。
【００２０】
[通信状況解析部]
通信状況解析部１１は、カメラ群から取得する映像フレームに含まれるＩフレームに基づいて、単位時間当たりのネットワーク２の帯域使用量を計測し、映像フレームの映像欠損率を解析する。映像欠損率は、カメラ群が送信した映像フレームのうち、通信状況解析部１１が取得できない映像フレームの比率を示す。その後、映像フレームを映像バッファ部１２に送信する。解析結果によって、映像欠損率が第１の閾値を超えた場合は、送信間隔制御部１３にＩフレームの送信間隔を小さくする変更通知を出力する。また、映像欠損率が第１の閾値を超えた場合であって、かつ、ネットワーク２の帯域使用量（帯域負荷）が第２の閾値を超えていると判断した場合は、送信間隔制御部１３に送信間隔を大きくするように、変更通知を出力する。また、ネットワーク２の通信状況を解析した結果、ネットワーク２が連続して切断と接続を繰り返していると判断した場合は、Ｉフレームの送信間隔を小さくする変更通知を出力する。
ネットワーク２の帯域使用量の増加と、映像欠損率の上昇が重なった場合、映像フレームが欠損する主な要因は、ネットワークの帯域使用量の増大であると考えられる。このため、優先してＩフレームの送信間隔を大きくする変更通知を送信間隔制御部１３に送る。
【００２１】
［映像バッファ部］
監視場所の映像による映像フレームを生成するカメラ群は、撮像した映像データを、可変長又は固定長の映像フレームに分割し、ネットワーク２を介して管理クライアント３に伝送する。映像バッファ部１２は、カメラ群から取得した映像フレームを、大容量のハードディスクドライブ等で構成された映像記録部３１に保存する。
また、映像バッファ部１２は、映像記録部３１から読み出した映像フレームを、再生部１４に供給する。このとき、映像バッファ部１２は、内蔵するＲＡＭ等のメモリに所定数の映像フレームを保存した後、再生部１４に映像フレームを供給する。
【００２２】
［映像記録部］
映像記録部３１は、カメラ群から受信した映像フレームを保存するデータベースである。映像記録部３１が保存する映像フレームの構成例は以下のとおりである。
・フレーム番号：映像フレームを一意に識別するために必要となる。
・フレームレート：カメラ群が管理クライアント３に送信する映像フレームの送信間隔を示す。フレームレートは、再生部１４が映像フレームを取得し、表示する間隔を得るために必要となる。
・フレーム本体：映像フレームの本体である。
[送信間隔制御部]
送信間隔制御部１３は、通信状況解析部１１又はスケジュール設定部１５から変更通知を受けとったときに、ネットワークカメラ／デバイスのＩフレームの送信間隔を設定する。
【００２３】
［再生部］
再生部１４は、映像バッファ部１２を介して映像フレームを取得する。そして、再生部１４は、取得した映像フレームから表示用フレームセットを作成し、表示部１９に送る。
【００２４】
［表示部］
表示部１９は、再生部１４から供給される表示用フレームセットを元にして、映像を表示する。表示部１９は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等で構成される。
【００２５】
［スケジュール設定部］
スケジュール設定部１５は、時間帯によりカメラ群が送信するＩフレームの送信間隔を変更するスケジュールを設定する。例えば、店舗における監視を想定した場合、営業時間内は人の動きなどで映像のデータ量が大きくなる。このため、Ｉフレームの送信間隔を大きくする。一方、夜間は画像欠損を防ぐために、Ｉフレームの送信間隔を小さくする。このように時間帯によって、異なるＩフレームの送信間隔を変更する設定を行う。ただし、スケジュールの値は、通信状況解析部１１の閾値を超える値を設定できない。また、スケジュールによる設定内容は、通信状況解析部１１による自動制御よりも適用の優先度が低くなる。
【００２６】
［スケジュール記録部］
スケジュール記録部３２は、スケジュール設定部１５が設定したスケジュールを保存する。スケジュール記録部３２が持つべき情報例は以下になる。
・スケジュール番号（又はスケジュール名）：スケジュール情報を一意に識別するために必要となる。
・開始時間：スケジュールを開始する年月日時分秒が定められる。
・終了時間：スケジュールを終了する年月日時分秒が定められる。
・送信間隔：Ｉフレームの送信間隔が設定される。
【００２７】
次に、各部の処理例について、図２〜図７のフローチャートを参照して説明する。
【００２８】
図２は、通信状況解析部１１が行う通信状況解析処理の例を示す。
初めに、通信状況解析部１１は、カメラ群から映像フレームを取得する（ステップＳ１）。そして、取得した映像フレームから、カメラ群が送信した映像フレームに対して、取得できない映像フレームの比率を示す映像欠損率を計算する（ステップＳ２）。そして、映像欠損率が第１の閾値を超えたか否かを判断する（ステップＳ３）。
【００２９】
映像欠損率が第１の閾値を超えていない場合、通信状況解析処理を終了する。一方、映像欠損率が第１の閾値を超えている場合、ネットワーク２の帯域使用量を計算する（ステップＳ４）。そして、ネットワーク２の帯域使用量が第１の閾値を超えたか否かを判断する（ステップＳ５）。
【００３０】
ネットワーク２の帯域使用量が第２の閾値を超えていない場合、通信状況解析処理を終了する。一方、ネットワーク２の帯域使用量が第２の閾値を超えている場合、Ｉフレームの送信間隔を変更する変更通知を作成する（ステップＳ６）。そして、送信間隔制御部１３に変更通知し（ステップＳ７）、通信状況解析処理の終了要求があるか否かを判断する（ステップＳ８）。
【００３１】
通信状況解析処理の終了要求がない場合、ステップＳ１に処理を移す。一方、通信状況解析処理の終了要求がある場合、通信状況解析処理を終了する。
【００３２】
図３は、映像バッファ部１２が行う映像再生処理の例を示す。
初めに、映像バッファ部１２は、通信状況解析部１１から映像フレームを取得する（ステップＳ１１）。そして、取得した映像フレームの保存が必要か否かを判断する（ステップＳ１２）。
【００３３】
取得した映像フレームの保存が必要でない場合、ステップＳ１６に処理を移す。一方、取得した映像フレームの保存が必要である場合、映像記録部３１に映像フレームを保存する（ステップＳ１３）。その後、保存した映像フレームを取得する必要があるか否かを判断する（ステップＳ１４）。
【００３４】
保存した映像フレームを映像記録部３１から取得しない場合、ステップＳ１６に処理を移す。一方、保存した映像フレームを映像記録部３１から取得する場合、映像記録部３１から映像フレームを取得する（ステップＳ１５）。そして、取得した映像フレームを、映像バッファ部１２が備えるメモリ上に格納する（ステップＳ１６）。
【００３５】
その後、通信状況解析部１１から映像フレームの送信を待つか否かを判断する（ステップＳ１７）。通信状況解析部１１から映像フレームの送信を待つ場合、ステップＳ１１の処理に戻って、通信状況解析部１１から映像フレームを継続して取得する。通信状況解析部１１からの映像フレームの送信を待たない場合、映像再生処理の終了要求があるか否かを判断する（ステップＳ１８）。
【００３６】
映像再生処理の終了要求がない場合、ステップＳ１５の処理に戻って、映像記録部３１から映像フレームを継続して取得する。一方、映像再生処理の終了要求がある場合、映像再生処理を終了する。
【００３７】
図４は、送信間隔制御部１３が行う送信間隔制御処理の例を示す。
初めに、送信間隔制御部１３は、通信状況解析部１１からＩフレームの送信間隔の変更通知を受け取る（ステップＳ３１）。そして、Ｉフレームの送信間隔の変更が必要か否かを判断する（ステップＳ３２）。
【００３８】
Ｉフレームの送信間隔の変更が必要でない場合、送信間隔制御処理を終了する。一方、Ｉフレームの送信間隔の変更が必要である場合、カメラ群に通知する通知内容を作成する（ステップＳ３３）。作成される通知内容には、変更するＩフレームの送信間隔に関する情報が含まれている。
【００３９】
そして、作成した通知内容を、ネットワーク２を介してカメラ群に送信し（ステップＳ３４）、送信間隔制御処理の終了要求があるか否かを判断する（ステップＳ３５）。
【００４０】
送信間隔制御処理の終了要求がない場合、ステップＳ３１に処理を移す。一方、送信間隔制御処理の終了要求がある場合、送信間隔制御処理を終了する。
【００４１】
図５は、スケジュール設定部１５が行うスケジュール設定処理の例を示す。
初めに、スケジュール設定部１５は、スケジュール記録部３２に保存されたスケジュールを読み出すことで、各スケジュールを処理する（ステップＳ４１）。そして、現在時刻がスケジュール内であるか否かを判断する（ステップＳ４２）。
【００４２】
スケジュール内でない場合、ステップＳ４１に処理を移す。一方、スケジュール内である場合、Ｉフレームの送信間隔の変更通知を含む通知内容を作成する（ステップＳ４３）。そして、作成した通知内容を送信間隔制御部１３に通知する（ステップＳ４４）。
【００４３】
次に、スケジュールの設定変更要求があるか否かを判断する（ステップＳ４５）。スケジュールの設定変更要求がない場合、ステップＳ４１に処理を移す。スケジュールの設定変更要求がある場合、スケジュールの設定を変更する（ステップＳ４６）。
【００４４】
その後、スケジュール設定部１５は、スケジュール設定処理の終了要求があるか否かを判断する（ステップＳ４７）。終了要求がない場合、ステップＳ４１に処理を移す。一方、終了要求がある場合、スケジュール設定処理を終了する。
【００４５】
図６は、再生部１４が行う再生処理の例を示す。
初めに、再生部１４は、映像バッファ部１２から映像フレームを取得する（ステップＳ５１）。そして、再生部１４は、表示部１９から再生指示があるか否かを判断する（ステップＳ５２）。
【００４６】
再生要求がない場合、再生処理を終了する。再生要求がある場合、映像フレームを組み立てた表示用フレームセットを作成する（ステップＳ５３）。その後、再生部１４は、再生処理の終了要求があるか否かを判断する（ステップＳ５４）。終了要求がない場合、ステップＳ５１に処理を移す。一方、終了要求がある場合、再生処理を終了する。
【００４７】
図７は、表示部１９が行う映像の表示処理の例を示す。
初めに、表示部１９は、再生部１４に、映像の再生指示を通知する（ステップＳ６１）。そして、再生部１４から表示用フレームセットを取得する（ステップＳ６２）。そして、表示部１９は、映像を表示する処理を行う（ステップＳ６３）。
【００４８】
その後、表示部１９は、映像の表示処理の終了要求があるか否かを判断する（ステップＳ６４）。終了要求がない場合、ステップＳ６２に処理を移す。一方、終了要求がある場合、映像の表示処理を終了する。
【００４９】
次に、各部を組み合わせた処理例について、図８と図９のシーケンス図を参照して説明する。
【００５０】
図８は、カメラ群から最適な送信間隔で映像フレームを取得する処理の例を示す。
初めに、通信状況解析部１１は、カメラ群から映像フレームを取得する（ステップＳ１０１）。そして、取得した映像フレームより、ネットワーク２の通信状況を解析する（ステップＳ１０２）。
【００５１】
映像バッファ部１２は、通信状況解析部１１から映像フレームを取得する（ステップＳ１０３）。映像バッファ部１２は、必要に応じて、映像フレームを映像記録部３１に保存する（ステップＳ１０４）。そして、映像バッファ部１２は、映像記録部３１から映像フレームを読み出す（ステップＳ１０５）。
【００５２】
再生部１４は、映像バッファ部１２から映像フレームを取得する（ステップＳ１０６）。そして、取得した映像フレームから表示用フレームセットを作成する（ステップＳ１０７）。表示部１９は、再生部１４から表示用フレームセットを取得し（ステップＳ１０８）、映像を表示する（ステップＳ１０９）。
【００５３】
送信間隔制御部１３は、通信状況解析部１１からＩフレームの送信間隔の変更通知を取得する（ステップＳ１１０）。そして、設定した送信間隔をカメラ群に通知する（ステップＳ１１１）。
このようにして、ネットワーク２の通信状況を解析することで、適切な送信間隔でカメラ群にＩフレームを送信する指示を行えるようになり、ネットワーク２の帯域使用量の増減に関係なく、映像フレームを取得することができる。
【００５４】
図９は、スケジュール毎にＩフレームの送信間隔を変更する処理の例を示す。
初めに、スケジュール設定部１５は、スケジュール記録部３２から、“開始時間”や“終了時間”、“Ｉフレームの送信間隔”等の内容を含むスケジュール設定情報を取得する（ステップＳ１２１）。
【００５５】
そして、スケジュール設定部１５は、設定されたスケジュール（開始時間）になると、送信間隔制御部１３にＩフレームの送信間隔の変更を指示する。送信間隔制御部１３は、スケジュール設定部１５からＩフレームの送信間隔の変更通知を受け取る（ステップＳ１２２）。
【００５６】
そして、送信間隔制御部１３は、設定したＩフレームの送信間隔をカメラ群に通知する（ステップＳ１２３）。
このようにして、予め定めたスケジュールに沿って、送信間隔を変更することが可能となる。
【００５７】
以上説明した第１の実施形態例に係る監視システム１０では、ネットワーク帯域の使用量に応じて、カメラ群が送信する映像フレームの送信間隔を制御するため、ネットワーク２の帯域使用量の増減にかかわらず、映像フレームを欠損することなく取得できる。このため、連続性を保った状態で映像を表示できるという効果がある。
【００５８】
また、Ｉフレームの送信間隔を変更するスケジュールを所定日時で設定するスケジュール設定部１５と、スケジュール設定部１５が設定したスケジュールを保存するスケジュール記録部３２と、を備えて、任意のスケジュールで送信間隔を変更することを可能としている。このため、ネットワーク帯域の使用量が予め分かっている場合に、時間帯によって送信間隔を変更することができるため、ネットワーク帯域の負荷を分散できると共に、映像フレームの欠損を防ぐことができるという効果がある。
【００５９】
また、映像記録部３１を備えるため、多くの映像フレームを保存できる。このため、監視者が長時間監視することが困難な時間帯（例えば、夜間監視）において、長時間分の映像フレームを保存し、後にまとめて表示できるという効果がある。
【００６０】
また、通信状況解析部１１は、映像欠損率が第１の閾値を超えた場合、Ｉフレームの送信間隔を小さくするよう、送信間隔制御部１３に変更通知を行う。この変更通知によって、通信状況解析部１１は、単位時間当りに取得するＩフレームの数が増えるため、実質的に映像欠損率を低くすることができるという効果がある。
【００６１】
また、通信状況解析部１１は、映像欠損率が第１の閾値を超えた場合であって、かつ、ネットワーク２の帯域使用量が第２の閾値より高いと判断した場合は、Ｉフレームの送信間隔を大きくするよう、送信間隔制御部１３に変更通知を行う。この変更通知によって、ネットワーク２の帯域使用量を減少させるため、ネットワーク２の帯域負荷を下げることができるという効果がある。
【００６２】
また、通信状況解析部１１は、ネットワーク２が連続して切断と接続を繰り返していると判断した場合は、映像フレームの送信間隔を小さくするよう、送信間隔制御部１３に変更通知を行う。この変更通知によって、ネットワーク２の通信状況が不安定になって、映像フレームの欠損が起きやすくなったとしても、通信状況解析部１１が取得する映像フレームが増加するため、映像フレームの欠損間隔を小さくすることができ、映像フレームの連続性を保つことができるという効果がある。
【００６３】
次に、本発明の第２の実施形態例について、図１０を参照して説明する。本実施の形態例においても、撮像対象物を撮像した映像から映像フレームを生成する撮像部を備えるカメラから、ネットワークを介して映像フレームを取得して映像を表示する場合に、ネットワークの帯域を監視して、ネットワークの帯域使用量を制御する監視システム４０に適用した例としてある。なお、図１０において、既に第１の実施の形態で説明した図１に対応する部分には同一符号を付し、詳細な説明を省略する。
【００６４】
図１０は、監視システム４０の内部構成例を示すブロック図である。
監視システム４０は、サーバ機能とクライアント機能を分割した管理サーバ５と閲覧用クライアント６で構成されたいわゆるクライアント／サーバシステムとしている。
管理サーバ５は、ＭＰＥＧ映像フレーム生成ネットワークカメラ１ａ〜１ｎから映像フレームを取得し、保存する。閲覧クライアント６は、管理サーバ５を介して映像フレームを取得し、所定の処理を施して映像表示を行う。管理サーバ５と閲覧クライアント６は、組み合わせることで監視装置として機能する。
【００６５】
管理サーバ５は、通信状況解析部１１と、映像バッファ部１２と、送信間隔制御部１３と、スケジュール設定部１５と、スケジュール記録部３２と、を備えている。
閲覧クライアント６は、再生部１４と、表示部１９と、を備えている。各部の処理は、既に説明した第１の実施の形態に係る監視システム１０で行われる処理と同様である。
【００６６】
監視システム４０においても、閲覧クライアント６は管理サーバ５から映像フレームを個別に取得できる。そして、管理サーバ５で取得した映像フレームを解析することで、ネットワーク２の帯域使用量を見積もることができる。そして、ネットワーク帯域の使用量に応じて、カメラ群が送信する映像フレームの送信間隔を制御するため、ネットワーク２の帯域使用量の増減にかかわらず、映像フレームを欠損することなく取得することができる。
【００６７】
以上説明した第２の実施の形態に係る監視システム４０の内部構成は、映像フレームを保存する管理サーバ５と、読み出した映像フレームに同期させて表示可能な閲覧クライアント６に分けている。そして、監視システム４０を構成する管理サーバ５と閲覧クライアント６は、分散配置することが可能である。また、閲覧クライアント６は、管理サーバ５から離して設置することができる。このため、閲覧クライアント６は、大容量の記録部を備える必要がなく、例えばノート型の軽量なコンピュータ装置で機能を実現できるという効果がある。また、監視システム４０の機能分散を図ることができるため、障害対応の強化を図ることができるという効果がある。
【００６８】
次に、本発明の第３の実施形態例について、図１１を参照して説明する。本実施の形態例においても、撮像対象物を撮像した映像から映像フレームを生成する撮像部を備えるカメラから、ネットワークを介して映像フレームを取得して映像を表示する場合に、ネットワークの帯域を監視して、ネットワークの帯域使用量を制御する監視システム５０に適用した例としてある。なお、図１１において、既に第１の実施の形態で説明した図１に対応する部分には同一符号を付し、詳細な説明を省略する。
【００６９】
図１１は、監視システム５０の内部構成例を示すブロック図である。
監視システム５０は、カメラ群と、サーバ機能とクライアント機能を分割した管理クライアント７と閲覧用クライアント８で構成している。管理クライアント７と閲覧クライアント８は、組み合わせることで監視装置として機能する。
管理クライアント７は、カメラ群から取得した映像フレームを保存し、所定の処理を施して映像表示を行う。
閲覧クライアント８は、管理クライアント７を介して映像フレームを取得し、所定の処理を施して映像表示を行う。
【００７０】
管理クライアント７は、通信状況解析部１１と、映像バッファ部１２と、送信間隔制御部１３と、再生部１４と、スケジュール設定部１５と、表示部１９と、映像記録部３１と、スケジュール記録部３２と、を備えている。
閲覧クライアント８は、再生部１４と、表示部１９と、を備えている。各部の処理は、既に説明した第１の実施の形態に係る監視システム１０で行われる処理と同様である。
【００７１】
以上説明した第３の実施の形態に係る監視システム５０の内部構成は、映像フレームを保存し、読み出した映像フレームに所定の処理を施して、映像を表示可能な管理クライアント７と、管理クライアント７から取得した映像フレームに所定の処理を施して、映像を表示可能な閲覧クライアント８に分けている。このように、監視システム５０を構成する管理クライアント７と閲覧クライアント８は、分散配置することが可能である。このため、閲覧クライアント８は、大容量の記録部を備える必要がなく、例えばノート型の軽量なコンピュータ装置で機能を実現できるという効果がある。また、監視システム５０の機能分散を図ることができるため、障害対応の強化を図ることができるという効果がある。
【００７２】
以上説明した第１〜第３の実施の形態に係る監視システムでは、様々なネットワークを介してデータを取得する場合に、ネットワーク帯域の使用量の増減にかかわらず、カメラ群が送信する映像フレームを任意の送信間隔で取得することが可能である。例えば、専用回線に比べて安く利用できる公共回線等は、ネットワーク帯域の使用量の変動が大きい。しかし、このような公共回線を用いたとしても、ネットワーク帯域の使用量の増減に応じて映像フレームの送信間隔を自動的に求めることができる。また、ネットワーク２の環境に応じた帯域使用量を自動的に変更できる。このため、従来の監視システムでは、ネットワーク帯域を必要以上に占有していたが、ネットワーク２の帯域使用量の増減に応じてカメラ群が送信する映像フレームの送信間隔を変更することにより、他のデータを用いて行う通信におけるネットワーク２に対する負担を減少できるという効果がある。
【００７３】
また、店舗等において、営業時間内外など、予め通信負荷の変化が顕著な環境では、送信間隔を変更するスケジュールを作成しておけば、時間ごとに最適な通信を維持することができるという効果がある。また、ネットワーク２に予期しない通信負荷がかかった場合であっても、自動的に映像フレームの送信間隔を変更できるため、カメラ群とサーバ間との常時接続性を維持できるという効果がある。
【００７４】
なお、上述した第１〜第３の実施の形態では、Ｉフレームについて送信間隔を制御するようにしたが、他のフレームであってもよい。例えば、ＰフレームやＢフレームであってもよい。また、他の規格に準拠した画像データを伝送する場合に適用してもよい。
【図面の簡単な説明】
【００７５】
【図１】本発明の第１の実施の形態における監視システムの内部構成例を示すブロック図である。
【図２】本発明の第１の実施の形態における通信状況解析部の通信状況解析処理の例を示すフローチャートである。
【図３】本発明の第１の実施の形態における映像バッファ部の映像再生処理の例を示すフローチャートである。
【図４】本発明の第１の実施の形態における送信間隔制御部の送信間隔制御処理の例を示すフローチャートである。
【図５】本発明の第１の実施の形態におけるスケジュール設定部のスケジュール設定処理の例を示すフローチャートである。
【図６】本発明の第１の実施の形態における再生部が行う再生処理の例を示すフローチャートである。
【図７】本発明の第１の実施の形態における表示部が行う映像の表示処理の例を示すフローチャートである。
【図８】本発明の第１の実施の形態におけるカメラ群から最適な送信間隔で映像フレームを取得する処理の例を示すシーケンス図である。
【図９】本発明の第１の実施の形態におけるスケジュール毎にＩフレームの送信間隔を変更する処理の例を示すシーケンス図である。
【図１０】本発明の第２の実施の形態における監視システムの内部構成例を示すブロック図である。
【図１１】本発明の第３の実施の形態における監視システムの内部構成例を示すブロック図である。
【符号の説明】
【００７６】
１ａ〜１ｎ…ＭＰＥＧ映像フレーム生成カメラ、２…ネットワーク、３…管理サーバ、４…ＭＰＥＧ映像フレーム生成ネットワークデバイス、１０…監視システム、１１…通信状況解析部、１２…映像バッファ部、１３…送信間隔制御部、１４…再生部、１５…スケジュール設定部、１９…表示部、３１…映像記録部、３２…スケジュール記録部、４０，５０…監視システム
【特許請求の範囲】
【請求項１】
監視カメラで撮像した監視映像による監視を行う監視装置において、
監視場所の映像による映像フレームを生成する前記監視カメラから、ネットワークを介して取得した前記映像フレームに含まれるＩフレームに基づいて、前記ネットワークの通信状況を解析して、前記監視カメラが送信するＩフレームの送信間隔を変更する変更通知を出力する通信状況解析部と、
前記通信状況解析部を介して前記映像フレームを取得する映像バッファ部と、
前記映像バッファ部より取得した前記映像フレームを組み立てた表示用フレームセットを、映像を表示する表示部に出力する再生部と、
前記変更通知に基づいて、前記監視カメラが送信する前記Ｉフレームの送信間隔を変更する制御を行う送信間隔制御部と、を備えたことを特徴とする
監視装置。
【請求項２】
請求項１記載の監視装置において、
前記Ｉフレームの送信間隔を変更するスケジュールを所定日時で設定し、前記スケジュールで、前記送信間隔制御部に前記変更通知を出力するスケジュール設定部と、
前記スケジュール設定部が設定した前記スケジュールを保存するスケジュール記録部と、を備えたことを特徴とする
監視装置。
【請求項３】
請求項２記載の監視装置において、
前記映像バッファ部によって前記映像フレームが保存され、保存された前記映像フレームが前記映像バッファ部によって読み出される映像記録部を備えたことを特徴とする
監視装置。
【請求項４】
請求項３記載の監視装置において、
前記通信状況解析部は、前記監視カメラが送信したＩフレームに対して、取得できない前記Ｉフレームの比率を示す映像欠損率が第１の閾値を超えた場合、前記Ｉフレームの送信間隔を小さくすることを特徴とする
監視装置。
【請求項５】
請求項３記載の監視装置において、
前記通信状況解析部は、前記監視カメラが送信したＩフレームに対して、取得できない前記Ｉフレームの比率を示す映像欠損率が第１の閾値を超えた場合であって、かつ、前記ネットワークの帯域使用量が第２の閾値より高いと判断した場合は、前記Ｉフレームの送信間隔を大きくすることを特徴とする
監視装置。
【請求項６】
請求項３記載の監視装置において、
前記通信状況解析部は、前記ネットワークが連続して切断と接続を繰り返していると判断した場合は、前記Ｉフレームの送信間隔を小さくすることを特徴とする
監視装置。
【請求項７】
監視カメラで撮像した監視映像による監視を行う監視方法において、
監視場所の映像による映像フレームを生成する前記監視カメラから、ネットワークを介して取得した前記映像フレームに含まれるＩフレームに基づいて、前記ネットワークの通信状況を解析して、前記監視カメラが送信するＩフレームの送信間隔を変更する変更通知を出力し、
前記映像フレームを取得し、
取得した前記映像フレームを組み立てた表示用フレームセットを、映像を表示する表示部に出力し、
前記変更通知に基づいて、前記監視カメラが送信する前記Ｉフレームの送信間隔を変更する制御を行うことを特徴とする
監視方法。
【請求項８】
監視映像による監視を行う監視システムにおいて、
監視場所の映像による映像フレームを生成する監視カメラと、
前記監視カメラからネットワークを介して取得した前記映像フレームに含まれるＩフレームに基づいて、前記ネットワークの通信状況を解析して、前記監視カメラが送信するＩフレームの送信間隔を変更する変更通知を出力する通信状況解析部と、
前記通信状況解析部を介して前記映像フレームを取得する映像バッファ部と、
前記映像バッファ部より取得した前記映像フレームを組み立てた表示用フレームセットを、映像を表示する表示部に出力する再生部と、
前記変更通知に基づいて、前記監視カメラが送信する前記Ｉフレームの送信間隔を変更する制御を行う送信間隔制御部と、を備えたことを特徴とする
監視システム。
【請求項１】
監視カメラで撮像した監視映像による監視を行う監視装置において、
監視場所の映像による映像フレームを生成する前記監視カメラから、ネットワークを介して取得した前記映像フレームに含まれるＩフレームに基づいて、前記ネットワークの通信状況を解析して、前記監視カメラが送信するＩフレームの送信間隔を変更する変更通知を出力する通信状況解析部と、
前記通信状況解析部を介して前記映像フレームを取得する映像バッファ部と、
前記映像バッファ部より取得した前記映像フレームを組み立てた表示用フレームセットを、映像を表示する表示部に出力する再生部と、
前記変更通知に基づいて、前記監視カメラが送信する前記Ｉフレームの送信間隔を変更する制御を行う送信間隔制御部と、を備えたことを特徴とする
監視装置。
【請求項２】
請求項１記載の監視装置において、
前記Ｉフレームの送信間隔を変更するスケジュールを所定日時で設定し、前記スケジュールで、前記送信間隔制御部に前記変更通知を出力するスケジュール設定部と、
前記スケジュール設定部が設定した前記スケジュールを保存するスケジュール記録部と、を備えたことを特徴とする
監視装置。
【請求項３】
請求項２記載の監視装置において、
前記映像バッファ部によって前記映像フレームが保存され、保存された前記映像フレームが前記映像バッファ部によって読み出される映像記録部を備えたことを特徴とする
監視装置。
【請求項４】
請求項３記載の監視装置において、
前記通信状況解析部は、前記監視カメラが送信したＩフレームに対して、取得できない前記Ｉフレームの比率を示す映像欠損率が第１の閾値を超えた場合、前記Ｉフレームの送信間隔を小さくすることを特徴とする
監視装置。
【請求項５】
請求項３記載の監視装置において、
前記通信状況解析部は、前記監視カメラが送信したＩフレームに対して、取得できない前記Ｉフレームの比率を示す映像欠損率が第１の閾値を超えた場合であって、かつ、前記ネットワークの帯域使用量が第２の閾値より高いと判断した場合は、前記Ｉフレームの送信間隔を大きくすることを特徴とする
監視装置。
【請求項６】
請求項３記載の監視装置において、
前記通信状況解析部は、前記ネットワークが連続して切断と接続を繰り返していると判断した場合は、前記Ｉフレームの送信間隔を小さくすることを特徴とする
監視装置。
【請求項７】
監視カメラで撮像した監視映像による監視を行う監視方法において、
監視場所の映像による映像フレームを生成する前記監視カメラから、ネットワークを介して取得した前記映像フレームに含まれるＩフレームに基づいて、前記ネットワークの通信状況を解析して、前記監視カメラが送信するＩフレームの送信間隔を変更する変更通知を出力し、
前記映像フレームを取得し、
取得した前記映像フレームを組み立てた表示用フレームセットを、映像を表示する表示部に出力し、
前記変更通知に基づいて、前記監視カメラが送信する前記Ｉフレームの送信間隔を変更する制御を行うことを特徴とする
監視方法。
【請求項８】
監視映像による監視を行う監視システムにおいて、
監視場所の映像による映像フレームを生成する監視カメラと、
前記監視カメラからネットワークを介して取得した前記映像フレームに含まれるＩフレームに基づいて、前記ネットワークの通信状況を解析して、前記監視カメラが送信するＩフレームの送信間隔を変更する変更通知を出力する通信状況解析部と、
前記通信状況解析部を介して前記映像フレームを取得する映像バッファ部と、
前記映像バッファ部より取得した前記映像フレームを組み立てた表示用フレームセットを、映像を表示する表示部に出力する再生部と、
前記変更通知に基づいて、前記監視カメラが送信する前記Ｉフレームの送信間隔を変更する制御を行う送信間隔制御部と、を備えたことを特徴とする
監視システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−４９５７７（Ｐ２００９−４９５７７Ａ）
【公開日】平成２１年３月５日（２００９．３．５）
【国際特許分類】
【出願番号】特願２００７−２１１９３５（Ｐ２００７−２１１９３５）
【出願日】平成１９年８月１５日（２００７．８．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年３月５日（２００９．３．５）
【国際特許分類】
【出願日】平成１９年８月１５日（２００７．８．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]