録画装置及び検索再生装置
【課題】本発明は、信号の伸張処理等の膨大な信号処理を必要とせずに、モーションのある映像を録画、検索再生できる、録画装置及び検索再生装置の提供を目的とするものである。
【解決手段】本発明にかかる録画装置は、圧縮された映像データの、各フレームデータのデータサイズに基づいて、時々刻々のモーションレベルを示すモーション情報を検出する検出手段としてのモーション検出モジュール１２２と、映像データの時刻情報と関連づけて、圧縮された映像データ及びモーション情報を記憶する記憶手段としての記憶装置１３とを備えることを特徴とする。
【解決手段】本発明にかかる録画装置は、圧縮された映像データの、各フレームデータのデータサイズに基づいて、時々刻々のモーションレベルを示すモーション情報を検出する検出手段としてのモーション検出モジュール１２２と、映像データの時刻情報と関連づけて、圧縮された映像データ及びモーション情報を記憶する記憶手段としての記憶装置１３とを備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データを録画する録画装置、及び、この映像データのモーション情報に基づいて映像の表示を行う検索再生装置に関するものである。
【背景技術】
【０００２】
従来の監視システム等における録画装置は、まず多数のカメラの映像を長時間録画する。そして、検索再生し、事件発生の有無等何か異常な状態が発生していなかったかを確認することによって、監視等を行う。よって映像の検索機能が重要であり、特にカメラが撮影した映像におけるモーションに基づいて検索することで、異常な状態を短時間で検索するためには有効である。ここでモーションとは、映像内における人物、物体等の位置変化、動き等を示すものである。
【０００３】
特許文献１に開示された監視システムは、監視ビデオカメラで撮像された画像を画像処理することにより、モーションのある画像を抽出し、さらに時刻情報を付加して、画像検索用の情報として記録している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２８２６７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで従来の監視システムにおいては、録画装置に録画した映像に各種の映像処理を施してモーションのある映像を検索するが、撮像手段としてＨ．２６４、ＭＰＥＧ４等で圧縮された映像データを配信するネットワークカメラを用いる場合、圧縮された映像データを録画装置において伸張し、さらに各種の映像処理を施してから検索データを作成する必要があった。
【０００６】
そのため、検索データの作成には膨大な信号処理が必要となり、これらの信号処理を行い得る高性能な信号処理装置を監視システムに用いることで、全体のコストが高くなってしまうという問題があった。
【０００７】
本発明は、上記のような問題を解決するためになされたものであり、膨大な信号処理を必要とせずにモーションのある映像を録画、検索再生できる録画装置及び検索再生装置の提供を目的とするものである。
【課題を解決するための手段】
【０００８】
本発明にかかる録画装置は、圧縮された映像データを取得する取得手段と、圧縮された前記映像データの、各フレームデータのデータサイズに基づいて、時々刻々のモーションレベルを示すモーション情報を検出する検出手段と、前記映像データの時刻情報と関連づけて、圧縮された前記映像データ及び前記モーション情報を記憶する記憶手段とを備えることを特徴とする。
【０００９】
また、本発明にかかる検索再生装置は、記憶手段から、前記モーション情報を読み出し、表示手段に表示させる第１読出し手段と、前記第１読出し手段による表示に基づいて、表示する映像の時刻を外部より選択可能な選択手段と、選択された前記時刻に関連する映像データを、前記記憶手段から読み出し、伸張して前記表示手段に表示させる第２読出し手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明にかかる録画装置によれば、圧縮された映像データを取得する取得手段と、圧縮された前記映像データの、各フレームデータのデータサイズに基づいて、時々刻々のモーションレベルを示すモーション情報を検出する検出手段と、前記映像データの時刻情報と関連づけて、圧縮された前記映像データ及び前記モーション情報を記憶する記憶手段とを備えることにより、圧縮された映像データを伸張せずに、そのデータサイズからモーション情報を得られるので、映像データの伸張処理や映像データの映像処理が削減でき、コストを抑えた録画装置を提供することが可能となる。
【００１１】
また、本発明にかかる検索再生装置によれば、記憶手段から、前記モーション情報を読み出し、表示手段に表示させる第１読出し手段と、前記第１読出し手段による表示に基づいて、表示する映像の時刻を外部より選択可能な選択手段と、選択された前記時刻に関連する映像データを、前記記憶手段から読み出し、伸張して前記表示手段に表示させる第２読出し手段とを備えることにより、膨大な信号処理を必要とせずに、モーション情報に基づいて時刻を選択でき、対応する映像を表示させることが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態１にかかる、監視システム構成を示す図である。
【図２】本発明の実施の形態１にかかる録画動作を説明する図である。
【図３】本発明の実施の形態１にかかる入力バッファ１２１に保存される映像データの構成を説明する図である。
【図４】本発明の実施の形態１にかかる映像データの各フレームのデータサイズを示す図である。
【図５】本発明の実施の形態１にかかるＰフレームのデータサイズを示す図である。
【図６】本発明の実施の形態１にかかるモーション検出のデータを示す図である。
【図７】本発明の実施の形態１にかかる検索動作及び再生動作を説明する図である。
【図８】本発明の実施の形態１にかかる監視用端末における再生画面を説明する図である。
【発明を実施するための形態】
【００１３】
＜Ａ．実施の形態１＞
＜Ａ−１．構成＞
図１は、本発明にかかる実施の形態１の、ネットワーク録画装置を使用した監視システムの構成を示すシステム構成図である。
【００１４】
ネットワーク１００は、インターネットや、ＬＡＮなどのネットワークであり、このネットワーク１００に、例えば、４台のネットワークカメラ２０ａ、ネットワークカメラ２０ｂ、ネットワークカメラ２０ｃ、ネットワークカメラ２０ｄ、２台の監視用端末３０ａ、監視用端末３０ｂ、１台のネットワーク録画装置１０が接続されているとする。それぞれの台数は、監視システムの構成として必要な台数を自由に決めることができる。
【００１５】
監視用端末３０ａ、監視用端末３０ｂは、パーソナルコンピュータ上で監視用のアプリケーションソフトウェアを動作させたものであり、ネットワークカメラからのライブ映像を表示したり、ネットワーク録画装置１０に録画された映像を検索し再生したり、また、ネットワーク録画装置１０に必要な設定を行ったりする機能を有する。監視用端末は、同一の監視システムの中に複数設置し、同時に操作することが可能である。
【００１６】
ネットワークカメラ２０ａ、ネットワークカメラ２０ｂ、ネットワークカメラ２０ｃ、ネットワークカメラ２０ｄは、監視用端末３０ａ、監視用端末３０ｂの要求により、圧縮された映像データを、ネットワーク１００を介して監視用端末３０ａ、監視用端末３０ｂに送る。監視用端末３０ａ、監視用端末３０ｂは、この圧縮された映像データを伸張し表示する。
【００１７】
また、ネットワークカメラ２０ａ、ネットワークカメラ２０ｂ、ネットワークカメラ２０ｃ、ネットワークカメラ２０ｄは、ネットワーク録画装置１０からの要求に基づき、録画用の圧縮された映像データを、ネットワーク１００を介してネットワーク録画装置１０に送る。ネットワーク録画装置１０は、この圧縮された映像データを録画する。
【００１８】
ネットワークカメラ２０ａ、ネットワークカメラ２０ｂ、ネットワークカメラ２０ｃ、ネットワークカメラ２０ｄから送られる映像データは、例えば、Ｈ．２６４映像圧縮方式で圧縮されている。これにより通信量を減らすことができる。例えば、インターネット回線などを使用し、ネットワーク１００の帯域があまり大きくない場合でも、正常に監視システムが機能する。
【００１９】
ネットワーク録画装置１０は、ネットワーク１００と接続するためのＩ／Ｆ１１（ＩｎｔｅｒＦａｃｅ）、各種制御を行うコントローラ１２、映像データや検索データを記憶する記憶装置１３を備えている。
【００２０】
コントローラ１２は、マイクロコンピューターで構成されており、内蔵されたプログラムによって各種制御を行う。記憶装置１３は、ハードディスクドライブで構成されており、映像データや検索データを記憶することができる。
【００２１】
＜Ａ−２−１．録画動作＞
次に、録画動作について説明する。図２は、本発明の実施の形態１にかかる、ネットワーク録画装置の録画動作を説明する機能構成図である。
【００２２】
図１に示した例えば４台のネットワークカメラ２０ａ、ネットワークカメラ２０ｂ、ネットワークカメラ２０ｃ、ネットワークカメラ２０ｄから、例えばＨ．２６４方式で圧縮された映像データがそれぞれ送られる。
【００２３】
コントローラ１２は、この圧縮された映像データを、取得手段としてのＩ／Ｆ１１を介して取得し、コントローラ１２の中の入力バッファ１２１に、ネットワークカメラごとに映像データを振り分けて一時保存する。このとき、映像データと、当該映像データの時刻情報とを関連づけし、取得時刻がわかるようにする。ここで時刻情報とは、例えばその映像が撮像された時刻を示す情報であり、映像のフレームごとに定義されるものである。
【００２４】
入力バッファ１２１に一時保存されている、Ｈ．２６４方式で圧縮された映像データは、図３に示すように、ＩフレームとＰフレームから構成されている。
【００２５】
Ｉフレームは、１画面全ての情報を有しているためデータサイズが大きい。一方Ｐフレームは、前画面との差分情報であるため、Ｉフレームに比べデータサイズが小さい。Ｐフレームのデータサイズは、前述のとおり差分情報であるため、モーション（動き）がなければ小さく、モーションがあればそのモーションに応じて大きくなるという特徴がある。
【００２６】
コントローラ１２は、各入力バッファ１２１から、取得した時刻順に、フレーム単位で映像データを取り出す。そしてその映像データに、カメラの識別情報や時刻情報を含むヘッダー情報を付加して、映像データ構築バッファ１２５に一時保存する。その後、記憶装置制御モジュール１２６を介して記憶装置１３に録画する。
【００２７】
＜Ａ−２−２．検索データ生成動作＞
一方、検索データ構築バッファ１２３上では、時刻検索を行うための検索データを構築し、映像データと関連づけして記憶装置１３に記憶する。
【００２８】
このときモーション検出モジュール１２２は、入力バッファ１２１中の映像データの各フレームサイズを分析して検索データを生成し、検索データ構築バッファ１２３上で、当該映像データの時刻情報と関連づけを行い、記憶装置１３に記憶する。
【００２９】
ここで、上記検索データの生成動作について具体的に説明する。図４は、ネットワークカメラからの取得したＨ．２６４圧縮データのフレームサイズ変化を示したグラフである。
【００３０】
ＧＯＶ（Ｇｒｏｕｐ ｏｆ Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ）が３２であるため、３２フレームに１フレームの割合で約３０ＫＢｙｔｅのＩフレームがある様子を示している。
【００３１】
図５は、Ｉフレームを取り除いたＰフレームのデータサイズの変化を示したグラフである。図５に示す場合では、０〜１９秒の間で、映像内において動く対象がなかったため、Ｐフレームのデータサイズは小さく抑えられている。２０〜２５秒の間で、例えばカメラの前を人が通り過ぎる等により映像にモーションが生じ、Ｐフレームのデータサイズが大きくなっている。
【００３２】
ここで、図４に示す各フレームのデータサイズから、図５に示すＰフレームのデータサイズに変換する処理として、各フレームのヘッダー解析を行い、Ｐフレームのみを抽出する処理を行う。ただし、抽出には他の変換処理を用いても良い。例えば、隣接する２つのフレームデータのデータサイズを比較し、その小さい方をモーションの検出処理に使用しても良い。通常ＩフレームはＰフレームよりサイズが大きく、かつ、Ｉフレーム同士は隣接することがないため、このような簡単な処理方法でもモーションの検出を行うことができる。
【００３３】
これらの変換処理は、データサイズのみを判断基準として行うので、Ｈ．２６４やＭＰＥＧ４等の異なるフォーマットのデータを用いても、同様に処理を行うことができる。
【００３４】
図６は、１秒当たりのＰフレームのデータサイズの最大値を、モーション情報（モーションレベル）としたグラフである。データサイズの単位時間は１秒に限るものではない。またモーション情報は、時々刻々のモーションレベルを示すものであり、所定の時間内におけるデータサイズの最大値、平均値等の、データサイズに基づく基準値を示すものであればよい。
【００３５】
このモーション情報を、当該映像データの時刻情報と関連づけることで、どの時刻に、例えば２０〜２５秒の間に、モーションがあったことがわかる。さらに、別途記憶されている映像データと組み合わせれば、どの映像におけるモーションであるかが特定できる。
【００３６】
検出手段としてのモーション検出モジュール１２２では、上記のような方法で、各ネットワークカメラにおける各時刻のモーション情報を検出し、検索データとして検索データ構築バッファ１２３に書き込む。さらに、その映像データの時刻情報との関連づけを行い、記憶装置１３に記憶される。
【００３７】
このように、Ｈ．２６４圧縮データのＰフレームのデータサイズからモーション情報を検出し、検索データを生成したので、簡単な処理で検索データを生成することができる。また、コントローラ１２に要求される性能を低く抑えることができるので、ネットワーク録画装置１０のコストを低くすることができる。
【００３８】
＜Ａ−２−３．検索、再生動作＞
図７は、本発明の実施の形態１にかかる検索、再生動作を説明する図である。
【００３９】
監視用端末３０ａ（または監視用端末３０ｂ）からネットワーク録画装置１０に対して、指定した時刻の検索データを要求すると、コントローラ１２は記憶装置１３から、要求された日付の検索データを、第１読出し手段としての検索データ読み出しバッファ１２７に読み出し、監視用端末３０ａにこの検索データを送信する。
【００４０】
監視用端末３０ａは、指定した時刻の検索データを受け取ると、画面にネットワークカメラごとのモーション情報（モーションレベル）のグラフを、例えば２４時間分表示する。モーション情報（モーションレベル）のデータは、検索データから検出する。
【００４１】
また必要に応じて、特定のネットワークカメラのモーション情報（モーションレベル）のグラフだけを表示したり、グラフの表示画面を拡大し、例えば１０〜１１時の１時間の範囲でグラフを表示したりすることもできる。
【００４２】
例えば監視用端末３０ａを使用しているユーザーは、画面に表示された各ネットワークカメラのモーションレベルの変化を参考にして、再生するネットワークカメラとその時刻とを決めて、再生の実行を要求する。この操作は、例えば画面に表示されたモーションレベルのグラフにカーソルを合わせ、再生ボタンを押すことで実行される。
【００４３】
監視用端末３０ａは、要求されたネットワークカメラ、時刻情報をもとに、検索データにおいて関連づけられている映像データの例えばＩＤを特定し、そのＩＤの映像データをネットワーク録画装置１０に要求する。
【００４４】
コントローラ１２は、記憶装置１３から指定されたＩＤの映像データを、第２読出し手段としての映像データ読出しバッファ１２８に読み出し、監視用端末３０ａに送信する。
【００４５】
監視用端末３０ａは、受信した映像データの中から、要求されたネットワークカメラの、指定された時刻の映像データを取り出し、伸張して映像を再生する。
【００４６】
再生画面の例を図８に示す。中央に再生映像３００が表示されており、時刻変更スライダー３０１で再生する時刻を変更することができる。現在再生している時刻を中心に、前後各５分（合計６００秒）のモーションレベルを、モーションレベルウィンドウ３０２に表示し、いつどの程度のモーションがあったかを知ることができる。このようにすることで、目的の映像を容易に見つけることができる。
【００４７】
また、時刻変更スライダー３０１を操作すると、指定した時刻の再生映像３００が表示されると共に、モーションレベルウィンドウ３０２に表示されているモーションレベルのデータも連動して表示されるので、広い範囲から動き（モーション）のある映像を見つけることも容易にできる。
【００４８】
このように、画面にモーションレベルのグラフを表示し再生時刻を選択するようにしたので、目的の再生映像を容易に探すことができる。なお、映像とモーション情報（モーションレベル）とを、同画面に表示すること態様に限定するものではない。
【００４９】
なお、本実施の形態では、映像データの圧縮方式としてＨ．２６４を示したが、他の圧縮方式でもよく、例えばＭＰＥＧ４などであってもよい。
【００５０】
＜Ａ−３．効果＞
本発明にかかる実施の形態１によれば、録画装置において、圧縮された映像データの、各フレームデータのデータサイズに基づいて、時々刻々のモーションレベルを示すモーション情報を検出する検出手段としてのモーション検出モジュール１２２と、映像データの時刻情報と関連づけて、圧縮された映像データ及びモーション情報を記憶する記憶手段としての記憶装置１３とを備えることで、圧縮された映像データを伸張せずに、そのデータサイズからモーション情報を得られるので、映像データの伸張処理や映像データの映像処理を削減でき、コストを抑えた録画装置を提供することが可能となる。
【００５１】
また、本発明にかかる実施の形態１によれば、録画装置において、取得手段としてのＩ／Ｆ１１が、Ｈ．２６４方式で圧縮された映像データを取得することで、Ｈ．２６４圧縮データのＰフレームのデータサイズからモーション情報を得ることができる。
【００５２】
また、本発明にかかる実施の形態１によれば、録画装置において、取得手段としてのＩ／Ｆ１１が、ＭＰＥＧ４方式で圧縮された映像データを取得することで、ＭＰＥＧ４に対応した圧縮映像データから、モーション情報を得ることができる。
【００５３】
本発明における方法では、データサイズのみに基づいてモーション情報を取得するので、Ｈ．２６４方式やＭＰＥＧ４方式等、異なるフォーマットのデータに対しても同一の処理で対応することができる。
【００５４】
また、本発明にかかる実施の形態１によれば、録画装置において、検出手段としてのモーション検出モジュール１２２は、隣接する各フレームデータのデータサイズを比較し、より小さいデータサイズに基づいて、モーション情報を検出することで、簡単な処理方法でモーションの検出を行うことができる。
【００５５】
また、本発明にかかる実施の形態１によれば、検索再生装置において、記憶手段としての記憶装置１３から、モーション情報を読み出し、表示手段に表示させる第１読出し手段としての検索データ読出しバッファ１２７と、検索データ読出しバッファ１２７による表示に基づいて、表示する映像の時刻を外部より選択可能な選択手段と、選択された時刻に関連する映像データを、記憶装置１３から読み出し、伸張して表示手段に表示させる第２読出し手段としての映像データ読出しバッファ１２８とを備えることで、映像データを伸張せずに、モーション情報から所望の時刻の映像を再生することができる。
【００５６】
また、本発明にかかる実施の形態１によれば、検索再生装置において、表示手段が、映像データとモーション情報とを、同時に表示することで、画面に表示したモーション情報から再生時刻を選択し、当該時刻の映像を容易に検索することができる。
【符号の説明】
【００５７】
１０ ネットワーク録画装置、１１ Ｉ／Ｆ、１２ コントローラ、１３ 記憶装置、２０ａ〜２０ｄ ネットワークカメラ、３０ａ，３０ｂ 監視用端末、１００ ネットワーク、１２１ 入力バッファ、１２２ モーション検出モジュール、１２３ 検索データ構築バッファ、１２５ 映像データ構築バッファ、１２６ 記憶装置制御モジュール、１２７ 検索データ読出しバッファ、１２８ 映像データ読出しバッファ、３００ 再生映像、３０１ 時刻変更スライダー、３０２ モーションレベルウィンドウ。
【技術分野】
【０００１】
本発明は、映像データを録画する録画装置、及び、この映像データのモーション情報に基づいて映像の表示を行う検索再生装置に関するものである。
【背景技術】
【０００２】
従来の監視システム等における録画装置は、まず多数のカメラの映像を長時間録画する。そして、検索再生し、事件発生の有無等何か異常な状態が発生していなかったかを確認することによって、監視等を行う。よって映像の検索機能が重要であり、特にカメラが撮影した映像におけるモーションに基づいて検索することで、異常な状態を短時間で検索するためには有効である。ここでモーションとは、映像内における人物、物体等の位置変化、動き等を示すものである。
【０００３】
特許文献１に開示された監視システムは、監視ビデオカメラで撮像された画像を画像処理することにより、モーションのある画像を抽出し、さらに時刻情報を付加して、画像検索用の情報として記録している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２８２６７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで従来の監視システムにおいては、録画装置に録画した映像に各種の映像処理を施してモーションのある映像を検索するが、撮像手段としてＨ．２６４、ＭＰＥＧ４等で圧縮された映像データを配信するネットワークカメラを用いる場合、圧縮された映像データを録画装置において伸張し、さらに各種の映像処理を施してから検索データを作成する必要があった。
【０００６】
そのため、検索データの作成には膨大な信号処理が必要となり、これらの信号処理を行い得る高性能な信号処理装置を監視システムに用いることで、全体のコストが高くなってしまうという問題があった。
【０００７】
本発明は、上記のような問題を解決するためになされたものであり、膨大な信号処理を必要とせずにモーションのある映像を録画、検索再生できる録画装置及び検索再生装置の提供を目的とするものである。
【課題を解決するための手段】
【０００８】
本発明にかかる録画装置は、圧縮された映像データを取得する取得手段と、圧縮された前記映像データの、各フレームデータのデータサイズに基づいて、時々刻々のモーションレベルを示すモーション情報を検出する検出手段と、前記映像データの時刻情報と関連づけて、圧縮された前記映像データ及び前記モーション情報を記憶する記憶手段とを備えることを特徴とする。
【０００９】
また、本発明にかかる検索再生装置は、記憶手段から、前記モーション情報を読み出し、表示手段に表示させる第１読出し手段と、前記第１読出し手段による表示に基づいて、表示する映像の時刻を外部より選択可能な選択手段と、選択された前記時刻に関連する映像データを、前記記憶手段から読み出し、伸張して前記表示手段に表示させる第２読出し手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明にかかる録画装置によれば、圧縮された映像データを取得する取得手段と、圧縮された前記映像データの、各フレームデータのデータサイズに基づいて、時々刻々のモーションレベルを示すモーション情報を検出する検出手段と、前記映像データの時刻情報と関連づけて、圧縮された前記映像データ及び前記モーション情報を記憶する記憶手段とを備えることにより、圧縮された映像データを伸張せずに、そのデータサイズからモーション情報を得られるので、映像データの伸張処理や映像データの映像処理が削減でき、コストを抑えた録画装置を提供することが可能となる。
【００１１】
また、本発明にかかる検索再生装置によれば、記憶手段から、前記モーション情報を読み出し、表示手段に表示させる第１読出し手段と、前記第１読出し手段による表示に基づいて、表示する映像の時刻を外部より選択可能な選択手段と、選択された前記時刻に関連する映像データを、前記記憶手段から読み出し、伸張して前記表示手段に表示させる第２読出し手段とを備えることにより、膨大な信号処理を必要とせずに、モーション情報に基づいて時刻を選択でき、対応する映像を表示させることが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態１にかかる、監視システム構成を示す図である。
【図２】本発明の実施の形態１にかかる録画動作を説明する図である。
【図３】本発明の実施の形態１にかかる入力バッファ１２１に保存される映像データの構成を説明する図である。
【図４】本発明の実施の形態１にかかる映像データの各フレームのデータサイズを示す図である。
【図５】本発明の実施の形態１にかかるＰフレームのデータサイズを示す図である。
【図６】本発明の実施の形態１にかかるモーション検出のデータを示す図である。
【図７】本発明の実施の形態１にかかる検索動作及び再生動作を説明する図である。
【図８】本発明の実施の形態１にかかる監視用端末における再生画面を説明する図である。
【発明を実施するための形態】
【００１３】
＜Ａ．実施の形態１＞
＜Ａ−１．構成＞
図１は、本発明にかかる実施の形態１の、ネットワーク録画装置を使用した監視システムの構成を示すシステム構成図である。
【００１４】
ネットワーク１００は、インターネットや、ＬＡＮなどのネットワークであり、このネットワーク１００に、例えば、４台のネットワークカメラ２０ａ、ネットワークカメラ２０ｂ、ネットワークカメラ２０ｃ、ネットワークカメラ２０ｄ、２台の監視用端末３０ａ、監視用端末３０ｂ、１台のネットワーク録画装置１０が接続されているとする。それぞれの台数は、監視システムの構成として必要な台数を自由に決めることができる。
【００１５】
監視用端末３０ａ、監視用端末３０ｂは、パーソナルコンピュータ上で監視用のアプリケーションソフトウェアを動作させたものであり、ネットワークカメラからのライブ映像を表示したり、ネットワーク録画装置１０に録画された映像を検索し再生したり、また、ネットワーク録画装置１０に必要な設定を行ったりする機能を有する。監視用端末は、同一の監視システムの中に複数設置し、同時に操作することが可能である。
【００１６】
ネットワークカメラ２０ａ、ネットワークカメラ２０ｂ、ネットワークカメラ２０ｃ、ネットワークカメラ２０ｄは、監視用端末３０ａ、監視用端末３０ｂの要求により、圧縮された映像データを、ネットワーク１００を介して監視用端末３０ａ、監視用端末３０ｂに送る。監視用端末３０ａ、監視用端末３０ｂは、この圧縮された映像データを伸張し表示する。
【００１７】
また、ネットワークカメラ２０ａ、ネットワークカメラ２０ｂ、ネットワークカメラ２０ｃ、ネットワークカメラ２０ｄは、ネットワーク録画装置１０からの要求に基づき、録画用の圧縮された映像データを、ネットワーク１００を介してネットワーク録画装置１０に送る。ネットワーク録画装置１０は、この圧縮された映像データを録画する。
【００１８】
ネットワークカメラ２０ａ、ネットワークカメラ２０ｂ、ネットワークカメラ２０ｃ、ネットワークカメラ２０ｄから送られる映像データは、例えば、Ｈ．２６４映像圧縮方式で圧縮されている。これにより通信量を減らすことができる。例えば、インターネット回線などを使用し、ネットワーク１００の帯域があまり大きくない場合でも、正常に監視システムが機能する。
【００１９】
ネットワーク録画装置１０は、ネットワーク１００と接続するためのＩ／Ｆ１１（ＩｎｔｅｒＦａｃｅ）、各種制御を行うコントローラ１２、映像データや検索データを記憶する記憶装置１３を備えている。
【００２０】
コントローラ１２は、マイクロコンピューターで構成されており、内蔵されたプログラムによって各種制御を行う。記憶装置１３は、ハードディスクドライブで構成されており、映像データや検索データを記憶することができる。
【００２１】
＜Ａ−２−１．録画動作＞
次に、録画動作について説明する。図２は、本発明の実施の形態１にかかる、ネットワーク録画装置の録画動作を説明する機能構成図である。
【００２２】
図１に示した例えば４台のネットワークカメラ２０ａ、ネットワークカメラ２０ｂ、ネットワークカメラ２０ｃ、ネットワークカメラ２０ｄから、例えばＨ．２６４方式で圧縮された映像データがそれぞれ送られる。
【００２３】
コントローラ１２は、この圧縮された映像データを、取得手段としてのＩ／Ｆ１１を介して取得し、コントローラ１２の中の入力バッファ１２１に、ネットワークカメラごとに映像データを振り分けて一時保存する。このとき、映像データと、当該映像データの時刻情報とを関連づけし、取得時刻がわかるようにする。ここで時刻情報とは、例えばその映像が撮像された時刻を示す情報であり、映像のフレームごとに定義されるものである。
【００２４】
入力バッファ１２１に一時保存されている、Ｈ．２６４方式で圧縮された映像データは、図３に示すように、ＩフレームとＰフレームから構成されている。
【００２５】
Ｉフレームは、１画面全ての情報を有しているためデータサイズが大きい。一方Ｐフレームは、前画面との差分情報であるため、Ｉフレームに比べデータサイズが小さい。Ｐフレームのデータサイズは、前述のとおり差分情報であるため、モーション（動き）がなければ小さく、モーションがあればそのモーションに応じて大きくなるという特徴がある。
【００２６】
コントローラ１２は、各入力バッファ１２１から、取得した時刻順に、フレーム単位で映像データを取り出す。そしてその映像データに、カメラの識別情報や時刻情報を含むヘッダー情報を付加して、映像データ構築バッファ１２５に一時保存する。その後、記憶装置制御モジュール１２６を介して記憶装置１３に録画する。
【００２７】
＜Ａ−２−２．検索データ生成動作＞
一方、検索データ構築バッファ１２３上では、時刻検索を行うための検索データを構築し、映像データと関連づけして記憶装置１３に記憶する。
【００２８】
このときモーション検出モジュール１２２は、入力バッファ１２１中の映像データの各フレームサイズを分析して検索データを生成し、検索データ構築バッファ１２３上で、当該映像データの時刻情報と関連づけを行い、記憶装置１３に記憶する。
【００２９】
ここで、上記検索データの生成動作について具体的に説明する。図４は、ネットワークカメラからの取得したＨ．２６４圧縮データのフレームサイズ変化を示したグラフである。
【００３０】
ＧＯＶ（Ｇｒｏｕｐ ｏｆ Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ）が３２であるため、３２フレームに１フレームの割合で約３０ＫＢｙｔｅのＩフレームがある様子を示している。
【００３１】
図５は、Ｉフレームを取り除いたＰフレームのデータサイズの変化を示したグラフである。図５に示す場合では、０〜１９秒の間で、映像内において動く対象がなかったため、Ｐフレームのデータサイズは小さく抑えられている。２０〜２５秒の間で、例えばカメラの前を人が通り過ぎる等により映像にモーションが生じ、Ｐフレームのデータサイズが大きくなっている。
【００３２】
ここで、図４に示す各フレームのデータサイズから、図５に示すＰフレームのデータサイズに変換する処理として、各フレームのヘッダー解析を行い、Ｐフレームのみを抽出する処理を行う。ただし、抽出には他の変換処理を用いても良い。例えば、隣接する２つのフレームデータのデータサイズを比較し、その小さい方をモーションの検出処理に使用しても良い。通常ＩフレームはＰフレームよりサイズが大きく、かつ、Ｉフレーム同士は隣接することがないため、このような簡単な処理方法でもモーションの検出を行うことができる。
【００３３】
これらの変換処理は、データサイズのみを判断基準として行うので、Ｈ．２６４やＭＰＥＧ４等の異なるフォーマットのデータを用いても、同様に処理を行うことができる。
【００３４】
図６は、１秒当たりのＰフレームのデータサイズの最大値を、モーション情報（モーションレベル）としたグラフである。データサイズの単位時間は１秒に限るものではない。またモーション情報は、時々刻々のモーションレベルを示すものであり、所定の時間内におけるデータサイズの最大値、平均値等の、データサイズに基づく基準値を示すものであればよい。
【００３５】
このモーション情報を、当該映像データの時刻情報と関連づけることで、どの時刻に、例えば２０〜２５秒の間に、モーションがあったことがわかる。さらに、別途記憶されている映像データと組み合わせれば、どの映像におけるモーションであるかが特定できる。
【００３６】
検出手段としてのモーション検出モジュール１２２では、上記のような方法で、各ネットワークカメラにおける各時刻のモーション情報を検出し、検索データとして検索データ構築バッファ１２３に書き込む。さらに、その映像データの時刻情報との関連づけを行い、記憶装置１３に記憶される。
【００３７】
このように、Ｈ．２６４圧縮データのＰフレームのデータサイズからモーション情報を検出し、検索データを生成したので、簡単な処理で検索データを生成することができる。また、コントローラ１２に要求される性能を低く抑えることができるので、ネットワーク録画装置１０のコストを低くすることができる。
【００３８】
＜Ａ−２−３．検索、再生動作＞
図７は、本発明の実施の形態１にかかる検索、再生動作を説明する図である。
【００３９】
監視用端末３０ａ（または監視用端末３０ｂ）からネットワーク録画装置１０に対して、指定した時刻の検索データを要求すると、コントローラ１２は記憶装置１３から、要求された日付の検索データを、第１読出し手段としての検索データ読み出しバッファ１２７に読み出し、監視用端末３０ａにこの検索データを送信する。
【００４０】
監視用端末３０ａは、指定した時刻の検索データを受け取ると、画面にネットワークカメラごとのモーション情報（モーションレベル）のグラフを、例えば２４時間分表示する。モーション情報（モーションレベル）のデータは、検索データから検出する。
【００４１】
また必要に応じて、特定のネットワークカメラのモーション情報（モーションレベル）のグラフだけを表示したり、グラフの表示画面を拡大し、例えば１０〜１１時の１時間の範囲でグラフを表示したりすることもできる。
【００４２】
例えば監視用端末３０ａを使用しているユーザーは、画面に表示された各ネットワークカメラのモーションレベルの変化を参考にして、再生するネットワークカメラとその時刻とを決めて、再生の実行を要求する。この操作は、例えば画面に表示されたモーションレベルのグラフにカーソルを合わせ、再生ボタンを押すことで実行される。
【００４３】
監視用端末３０ａは、要求されたネットワークカメラ、時刻情報をもとに、検索データにおいて関連づけられている映像データの例えばＩＤを特定し、そのＩＤの映像データをネットワーク録画装置１０に要求する。
【００４４】
コントローラ１２は、記憶装置１３から指定されたＩＤの映像データを、第２読出し手段としての映像データ読出しバッファ１２８に読み出し、監視用端末３０ａに送信する。
【００４５】
監視用端末３０ａは、受信した映像データの中から、要求されたネットワークカメラの、指定された時刻の映像データを取り出し、伸張して映像を再生する。
【００４６】
再生画面の例を図８に示す。中央に再生映像３００が表示されており、時刻変更スライダー３０１で再生する時刻を変更することができる。現在再生している時刻を中心に、前後各５分（合計６００秒）のモーションレベルを、モーションレベルウィンドウ３０２に表示し、いつどの程度のモーションがあったかを知ることができる。このようにすることで、目的の映像を容易に見つけることができる。
【００４７】
また、時刻変更スライダー３０１を操作すると、指定した時刻の再生映像３００が表示されると共に、モーションレベルウィンドウ３０２に表示されているモーションレベルのデータも連動して表示されるので、広い範囲から動き（モーション）のある映像を見つけることも容易にできる。
【００４８】
このように、画面にモーションレベルのグラフを表示し再生時刻を選択するようにしたので、目的の再生映像を容易に探すことができる。なお、映像とモーション情報（モーションレベル）とを、同画面に表示すること態様に限定するものではない。
【００４９】
なお、本実施の形態では、映像データの圧縮方式としてＨ．２６４を示したが、他の圧縮方式でもよく、例えばＭＰＥＧ４などであってもよい。
【００５０】
＜Ａ−３．効果＞
本発明にかかる実施の形態１によれば、録画装置において、圧縮された映像データの、各フレームデータのデータサイズに基づいて、時々刻々のモーションレベルを示すモーション情報を検出する検出手段としてのモーション検出モジュール１２２と、映像データの時刻情報と関連づけて、圧縮された映像データ及びモーション情報を記憶する記憶手段としての記憶装置１３とを備えることで、圧縮された映像データを伸張せずに、そのデータサイズからモーション情報を得られるので、映像データの伸張処理や映像データの映像処理を削減でき、コストを抑えた録画装置を提供することが可能となる。
【００５１】
また、本発明にかかる実施の形態１によれば、録画装置において、取得手段としてのＩ／Ｆ１１が、Ｈ．２６４方式で圧縮された映像データを取得することで、Ｈ．２６４圧縮データのＰフレームのデータサイズからモーション情報を得ることができる。
【００５２】
また、本発明にかかる実施の形態１によれば、録画装置において、取得手段としてのＩ／Ｆ１１が、ＭＰＥＧ４方式で圧縮された映像データを取得することで、ＭＰＥＧ４に対応した圧縮映像データから、モーション情報を得ることができる。
【００５３】
本発明における方法では、データサイズのみに基づいてモーション情報を取得するので、Ｈ．２６４方式やＭＰＥＧ４方式等、異なるフォーマットのデータに対しても同一の処理で対応することができる。
【００５４】
また、本発明にかかる実施の形態１によれば、録画装置において、検出手段としてのモーション検出モジュール１２２は、隣接する各フレームデータのデータサイズを比較し、より小さいデータサイズに基づいて、モーション情報を検出することで、簡単な処理方法でモーションの検出を行うことができる。
【００５５】
また、本発明にかかる実施の形態１によれば、検索再生装置において、記憶手段としての記憶装置１３から、モーション情報を読み出し、表示手段に表示させる第１読出し手段としての検索データ読出しバッファ１２７と、検索データ読出しバッファ１２７による表示に基づいて、表示する映像の時刻を外部より選択可能な選択手段と、選択された時刻に関連する映像データを、記憶装置１３から読み出し、伸張して表示手段に表示させる第２読出し手段としての映像データ読出しバッファ１２８とを備えることで、映像データを伸張せずに、モーション情報から所望の時刻の映像を再生することができる。
【００５６】
また、本発明にかかる実施の形態１によれば、検索再生装置において、表示手段が、映像データとモーション情報とを、同時に表示することで、画面に表示したモーション情報から再生時刻を選択し、当該時刻の映像を容易に検索することができる。
【符号の説明】
【００５７】
１０ ネットワーク録画装置、１１ Ｉ／Ｆ、１２ コントローラ、１３ 記憶装置、２０ａ〜２０ｄ ネットワークカメラ、３０ａ，３０ｂ 監視用端末、１００ ネットワーク、１２１ 入力バッファ、１２２ モーション検出モジュール、１２３ 検索データ構築バッファ、１２５ 映像データ構築バッファ、１２６ 記憶装置制御モジュール、１２７ 検索データ読出しバッファ、１２８ 映像データ読出しバッファ、３００ 再生映像、３０１ 時刻変更スライダー、３０２ モーションレベルウィンドウ。
【特許請求の範囲】
【請求項１】
圧縮された映像データを取得する取得手段と、
圧縮された前記映像データの、各フレームデータのデータサイズに基づいて、時々刻々のモーションレベルを示すモーション情報を検出する検出手段と、
前記映像データの時刻情報と関連づけて、圧縮された前記映像データ及び前記モーション情報を記憶する記憶手段とを備えることを特徴とする、
録画装置。
【請求項２】
前記取得手段が、Ｈ．２６４方式で圧縮された映像データを取得することを特徴とする、
請求項１に記載の録画装置。
【請求項３】
前記取得手段が、ＭＰＥＧ４方式で圧縮された映像データを取得することを特徴とする、
請求項１に記載の録画装置。
【請求項４】
前記検出手段は、隣接する各フレームデータのデータサイズを比較し、より小さいデータサイズに基づいて、前記モーション情報を検出することを特徴とする、
請求項１〜３のいずれかに記載の録画装置。
【請求項５】
請求項１〜４のいずれかに記載の前記記憶手段から、前記モーション情報を読み出し、表示手段に表示させる第１読出し手段と、
前記第１読出し手段による表示に基づいて、表示する映像の時刻を外部より選択可能な選択手段と、
選択された前記時刻に関連する映像データを、前記記憶手段から読み出し、伸張して前記表示手段に表示させる第２読出し手段とを備えることを特徴とする、
検索再生装置。
【請求項６】
前記表示手段が、前記映像データと前記モーション情報とを、同時に表示することを特徴とする、
請求項５に記載の検索再生装置。
【請求項１】
圧縮された映像データを取得する取得手段と、
圧縮された前記映像データの、各フレームデータのデータサイズに基づいて、時々刻々のモーションレベルを示すモーション情報を検出する検出手段と、
前記映像データの時刻情報と関連づけて、圧縮された前記映像データ及び前記モーション情報を記憶する記憶手段とを備えることを特徴とする、
録画装置。
【請求項２】
前記取得手段が、Ｈ．２６４方式で圧縮された映像データを取得することを特徴とする、
請求項１に記載の録画装置。
【請求項３】
前記取得手段が、ＭＰＥＧ４方式で圧縮された映像データを取得することを特徴とする、
請求項１に記載の録画装置。
【請求項４】
前記検出手段は、隣接する各フレームデータのデータサイズを比較し、より小さいデータサイズに基づいて、前記モーション情報を検出することを特徴とする、
請求項１〜３のいずれかに記載の録画装置。
【請求項５】
請求項１〜４のいずれかに記載の前記記憶手段から、前記モーション情報を読み出し、表示手段に表示させる第１読出し手段と、
前記第１読出し手段による表示に基づいて、表示する映像の時刻を外部より選択可能な選択手段と、
選択された前記時刻に関連する映像データを、前記記憶手段から読み出し、伸張して前記表示手段に表示させる第２読出し手段とを備えることを特徴とする、
検索再生装置。
【請求項６】
前記表示手段が、前記映像データと前記モーション情報とを、同時に表示することを特徴とする、
請求項５に記載の検索再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１９１３８７（Ｐ２０１２−１９１３８７Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５２５５３（Ｐ２０１１−５２５５３）
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]