映像監視表示装置および映像監視システム
【課題】複数の監視カメラでの監視対象映像データを伝送する伝送路の遅延差による映像の表示時間のずれ、監視カメラ間の映像同期信号のずれ、各エンコーダの基準周波数の差による復号映像の表示時間のずれをなくす。
【解決手段】映像表示の開始に際し、複数監視カメラの映像データ符号化時の基準時間共通化のため基準時間設定通知をし、複数の監視カメラからの映像ストリームを伝送路より受信し、各監視カメラ対応の複数の蓄積手段に格納し、映像ストリームから映像タイムスタンプ情報を抽出し、その到達時刻差から映像再生時刻決定手段で映像再生時刻を求め、映像再生時刻から夫々の映像タイムスタンプ情報に対応する映像ストリームを蓄積手段から復号手段に出力を開始し、復号手段で映像ストリームを復号し、複数の復号映像データを映像合成手段で合成し出力する、
【解決手段】映像表示の開始に際し、複数監視カメラの映像データ符号化時の基準時間共通化のため基準時間設定通知をし、複数の監視カメラからの映像ストリームを伝送路より受信し、各監視カメラ対応の複数の蓄積手段に格納し、映像ストリームから映像タイムスタンプ情報を抽出し、その到達時刻差から映像再生時刻決定手段で映像再生時刻を求め、映像再生時刻から夫々の映像タイムスタンプ情報に対応する映像ストリームを蓄積手段から復号手段に出力を開始し、復号手段で映像ストリームを復号し、複数の復号映像データを映像合成手段で合成し出力する、
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、監視カメラを設置し監視対象を監視するために用いられる映像監視システムおよびその映像監視システムに用いられる映像監視表示装置に関するものである。
【背景技術】
【０００２】
従来の監視装置および監視システムは、監視カメラが監視対象の映像を撮影し、エンコーダで、監視カメラから出力された映像信号をＭＰＥＧ２（Moving Picture coding Experts Group ２）トランスポートストリーム（以下ＭＰＥＧ−ＴＳと呼ぶ）などによりそれぞれ帯域圧縮する。送信手段は、ＭＰＥＧ−ＴＳを伝送路へ送信し、受信手段が受信した４つのＭＰＥＧ−ＴＳを、並列に並べられた４つのデコーダがそれぞれ復号する。画像合成手段は、復号された４つの映像を１つの映像に合成し、画像合成手段の効果により、モニタは画面が４分割され、それぞれに監視カメラの映像が表示されていた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１７９９１１号公報 図４
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の監視システムにおける監視カメラの映像入力は、それぞれの映像入力手段にて生成された同期信号が用いられるため同じ位相で入力されるとは限らない。また、映像信号を符号化する際のエンコーダの基準周波数はそれぞれの監視カメラに実装された電源制御発信機（ＶＣＸＯ）の周波数が用いられているため、それぞれの監視カメラ間において符号化される基準周波数は同一のものとは限らない。
さらに、従来の監視システムは、インターネットなど伝送路の状態によって監視カメラから映像監視表示装置まで到達する経路、トラフィックの状態により同一の遅延で伝送されるとは限らない。そのため、それぞれの監視カメラからの映像ストリーム（ＭＰＥＧ−ＴＳ）が伝送路上の遅延差により受信手段への到達時間に数フレーム期間の差が発生する場合もありうる。
そのような場合、複数の監視カメラにより同じ被写体を撮影する場合に、図９に示すようにそれぞれの監視カメラからの映像の表示時間にずれが生じるため、監視員は監視カメラからの監視対象の映像が見づらくなるという問題点があった。
【０００５】
また、監視カメラは、それぞれ位相の異なる映像同期信号がカメラから入力される。そのためエンコーダは、基準周波数を求めるための電圧制御発振器（ＶＣＸＯ）を持ち、それぞれのエンコーダはそれぞれ異なるＶＣＸＯにより動作している。そのため、それぞれのデコーダではエンコーダの周波数にＰＬＬ(Phase Locked Loop）ロックにより復号を行っており、それぞれのエンコーダの周波数偏差の異なるＶＣＸＯの周波数により復号が行われ、ずれが生じてくる。このずれに１フレーム期間以上の差が発生すると、表示される映像に対してもフレームずれが生じるという問題点がある。
【０００６】
この発明は上記のような問題点を解決するためになされたもので、伝送路の遅延差による映像の表示時間のずれをなくすこと、および、監視カメラの映像同期信号のずれや、それぞれのエンコーダの基準周波数の差による復号された映像の表示時間のずれをなくすことを目的とする
【課題を解決するための手段】
【０００７】
この発明に係る映像監視表示装置は、 監視対象を複数の監視カメラで撮影した映像データが符号化され生成された映像ストリームを伝送路を介して受信し、それぞれの映像ストリームを復号し、その復号された映像データを合成し、１つの映像データとして表示可能な信号を生成するものにおいて、
映像表示を開始するに際し、前記複数の監視カメラに対し、映像データを符号化する時の各基準時間を共通化するための基準設定通知をする基準時間設定通知手段、
複数の監視カメラから出力され映像ストリームを伝送路より受信する受信手段、
受信手段により受信した複数の映像ストリームを各監視カメラに対応して格納する複数の蓄積手段、
各蓄積手段に格納された映像ストリームから映像タイムスタンプ情報を抽出するタイムスタンプ抽出手段、
タイムスタンプ抽出手段により抽出されたそれぞれの映像タイムスタンプ情報を比較して複数の映像ストリームの到達時刻の差を求め、この到達時刻の差から映像再生時刻を求め、求められた映像再生時刻からそれぞれの映像タイムスタンプ情報に対応する映像ストリームを決定し、それぞれの蓄積手段から対応映像ストリーム出力を開始する映像再生時刻決定手段、
各蓄積手段から出力された映像ストリームをそれぞれ復号する複数の復号手段、
復号された映像データに対する映像タイムスタンプと共通の映像タイムスタンプから表示同期とのずれを判定する映像表示判定手段、
複数の復号手段で復号された複数の映像データを映像表示判定手段の判定結果に基づきフレーム処理し合成する映像合成手段、
合成された映像データを出力する映像出力手段
を備える。
【０００８】
また、この発明の映像監視システムは、
監視対象を撮影し、撮影した映像データを符号化して映像ストリームを生成し、この映像ストリームを伝送路に送信する複数の監視カメラと、
伝送路より受信した複数の映像ストリームを復号し、復号された映像データを合成し、１つの映像データとして表示可能な信号を生成する映像監視表示装置とを備え、
上記映像監視表示装置は前記段落［０００７］に記載の構成にされ、
上記複数の監視カメラは各々、監視対象を撮影した映像データを符号化して映像ストリームを生成する符号化手段、
上記映像監視表示装置からの符号化基準時間の設定の通知により複数の映像を符号化する複数の符号化手段に対して共通の符号化基準時間を与え、符号化基準時間が与えられたとき、符号化手段の符号化を一時停止する基準時間設定手段、
上記基準時間設定手段により、基準時間が与えられた際に、その基準時間より符号化手段の符号化を再開させる符号化再開手段
複数の符号化手段により符号化された映像ストリームを伝送路に送信する複数の送信手段を備える。
【発明の効果】
【０００９】
この発明に係る映像監視表示装置は、映像表示開始に際し、複数の監視カメラに対し、映像データ符号化時の基準時間を共通化する基準時間設定通知を行う基準時間設定通知手段、および各監視カメラから受信した映像ストリームから映像タイムスタンプ情報を抽出し、この各映像タイムスタンプ情報間の所定の関係から復号開始時刻を決定する映像再生時刻決定手段を備えるのでそれぞれの監視カメラとの間の伝送遅延により表示するタイミングがずれるような場合であっても、それぞれの監視カメラの映像ストリーム上の映像タイムスタンプを合わせることにより、ネットワーク上の遅延差による表示のずれを最小限にすることができる。
また、それぞれの監視カメラのエンコーダ２２の基準周波数に違いがある場合でも、映像監視表示装置３でその基準周波数の違いによる復号映像の表示ずれの発生を防ぎ、それぞれの監視カメラからの映像を同一の時間軸で表示することができる。
【図面の簡単な説明】
【００１０】
【図１】この発明の映像監視システムの一実施形態を示す構成図である。
【図２】監視カメラの内部構成図である。
【図３】映像監視表示装置の内部構成図である。
【図４】基準時間設定手段と基準時間設定通知手段の動作フローチャートである。
【図５】映像再生時刻決定手段および映像タイムスタンプ置き換え手段の動作説明用の図である。
【図６】映像監視表示装置における表示開始時のタイミング図である。
【図７】監視カメラの基準クロックが映像監視表示装置の基準クロックより遅い場合の映像監視表示装置における復号とフレームメモリからの読み出しタイミング図である。
【図８】監視カメラの基準クロックが映像監視表示装置の基準クロックより早い場合の映像監視表示装置における復号とフレームメモリからの読み出しタイミング図である。
【図９】従来装置における符号化および復号化のタイミング図である。
【発明を実施するための形態】
【００１１】
実施の形態１．
図１はこの発明の一実施の形態を示す複数の監視カメラと映像監視表示装置の構成図、図２は監視カメラの内部構成図、図３は映像監視表示装置の内部構成図である。
図１において、１は監視カメラからの監視映像ストリームデータを映像監視表示装置へ配信するための通信路としてのネットワークである。
２１、２２、２３、および２４は、被監視対象の映像を撮影しＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ等の映像符号化技術により帯域圧縮され監視映像ストリームデータを、ネットワークの伝送路を経由し映像監視表示装置へ送出する監視カメラである。
３は複数の監視カメラからの映像ストリームを受信し、復号処理およびそれぞれの復号された映像データを合成して１つの映像データとして出力する映像監視表示装置である。
４は映像監視表示装置からの映像データを表示するための映像表示装置である。
【００１２】
図２により、監視カメラおける構成について説明する。
監視カメラ２１，２２，２３，２４内部において、２０はカメラで撮影された映像データを入力するための映像入力手段、２１は入力された映像データを符号化するためにフレーム単位で格納するフレームメモリ、２２は映像データを帯域圧縮するためのエンコーダ、２３は符号化された符号化データを伝送するため送信バッファ、２４は符号化データを伝送路経由で監視映像表示装置３へ伝送を行うための送信手段、２５は監視映像表示装置３からの基準時間設定の通知に対して、監視カメラ内時刻の設定、および符号化のための基準時間の設定、および符号化の再開をエンコード再開手段２７へ通知する基準時間設定手段、２６は符号化のための基準時間を生成する基準時間生成手段、２７は基準時間設定手段２５からの符号化再開通知により符号化を再開する指示をエンコーダ２２へ通知するエンコード再開手段である。
【００１３】
図３における映像監視表示装置の構成について説明する。
３０は複数の監視カメラから伝送された映像ストリームをネットワーク１から受信し、それぞれの監視カメラに対する映像復号部３１１，３１２，３１３，３１４へ映像ストリームを出力するための受信手段、３１１，３１２，３１３，３１４はそれぞれの監視カメラから受信した映像ストリームを復号するための映像復号部である。
この復号部３１１〜３１４は、受信手段３０からの映像ストリームを格納しておくための受信バッファ３１１１，３１１２，３１１３，３１１４、映像ストリームを復号するデコーダ３１２１，３１２２，３１２３，３１２４、復号映像データをフレーム単位で格納するフレームメモリ、３１３１，３１３２，３１３３，３１３４、受信バッファに入力した映像ストリームから映像タイムスタンプを抽出するタイムスタンプ抽出手段３１４１，３１４２，３１４３，３１４４、映像タイムスタンプを共通の映像タイムスタンプに置き換えを行う映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４を備える。
【００１４】
３２は映像復号部３１１，３１２，３１３，３１４で復号された映像データを合成して１つの映像データを生成する映像合成手段、３３は映像データを映像表示装置４へ出力する映像出力手段、３４は表示開始の際、それぞれの監視カメラに対して基準時間の設定、符号化の再開を要求する基準時間通知手段、３５は監視映像表示装置の映像復号、および表示同期の基準となる発信器、３６はタイムスタンプ抽出手段３１４１，３１４２，３１４３，３１４４により抽出されたそれぞれの監視カメラからの映像ストリームの映像タイムスタンプからすべての監視カメラの映像ストリームを同時刻に開始するための映像再生時刻決定手段、３７はそれぞれの映像復号部３１１，３１２，３１３，３１４にて復号するための共通の映像タイムスタンプを生成する映像タイムスタンプ生成手段、３８は復号された映像データに対する映像タイムスタンプと共通の映像タイムスタンプから表示同期とのずれを判定しフレームメモリ３１３１，３１３２，３１３３，３１３４に対するフレーム制御を行うための映像表示判定手段である。
【００１５】
次に動作について説明する。
図１において、監視カメラ２１，２２，２３，２４は監視対象を撮影し、撮影した映像の符号化処理を行い、映像ストリームを生成してネットワーク１へ伝送する。
ここでは、符号化処理、および映像ストリームの生成方法として、ＭＰＥＧ２トランスポートストリーム（以下、映像ストリーム、あるいはＭＰＥＧ−ＴＳと呼ぶ）へ帯域圧縮する場合の例を説明する。
【００１６】
（表示開始）
表示の開始方法について、図２〜図６を用いて説明する。
図４が映像監視表示装置３にて、表示を開始するときのそれぞれの監視カメラ２１，２２，２３，２４と映像監視表示装置３間の信号の流れ、及び監視カメラ２１，２２，２３，２４の基準時間設定手段２５、映像監視表示装置３の基準時間設定通知手段３４、及び映像再生時刻決定手段３６の動作フローチャートである。
映像監視表示装置３は表示を開始する際に、基準時間設定通知手段３４により、映像監視表示装置３に接続される監視カメラ２１，２２，２３，２４に対して、ネットワーク１を介して、符号化基準時間設定通知を通知する。通知されたそれぞれの監視カメラ２１，２２，２３，２４は、基準時間設定手段２５により、当該通知を映像監視表示装置３から受信し、まずそれぞれの監視カメラ２１，２２，２３，２４内部の時刻の同期を行う。
【００１７】
ここでは、ネットワーク時刻同期システムとして一般的に用いられているＲＦＣ１３０５で定義されているＮＴＰ（Network Time Protocol）によりそれぞれの監視カメラ２１，２２，２３，２４は映像監視表示装置３との間で時刻の同期を行う。この際、基準時間設定手段２５はエンコード再開手段２７へエンコーダ２２の符号化の停止を通知し、エンコード再開手段２７は、この通知により、エンコーダ２２に対して符号化の停止を指示し符号化処理を停止する。
【００１８】
時刻の同期が行われたそれぞれの監視カメラ２１，２２，２３，２４では、その後,基準時間生成手段２６に対して、符号化を行うための基準時刻情報として、再生時刻の基準情報となるＳＴＣ（System Time Clock）情報の値の初期化の指示を行い、指示された基準時刻生成手段２６ではこのＳＴＣ情報の初期化を行い、その情報をエンコーダ２２へ設定する。
また、基準時間設定手段２５では、映像監視表示装置３の基準時間設定通知手段３４により通知された符号化基準時間設定通知内の符号化開始時刻情報の時刻と、先の監視カメラ２１，２２，２３，２４内部の時刻を比較し、開始時刻となった時、エンコーダ再開手段２７に対して、符号化の開始を行うための指示を通知する。エンコード再開手段２７では、この通知によりエンコーダ２２に対して符号化の開始を指示する。エンコード再開手段２７により符号化の開始を通知されたエンコーダ２２は、この通知されたタイミングでＭＰＥＧ−２の符号化を再開する。
【００１９】
次に、映像監視表示装置３の映像再生時刻決定手段３６の動作について説明する。
それぞれの監視カメラ２１，２２，２３，２４で生成された映像ストリームはネットワーク１を介して、図３に示す映像監視表示装置３の受信手段３０により受信され、受信手段３０によりそれぞれの監視カメラ２１，２２，２３，２４に対応する映像復号部３１１，３１２，３１３，３１４へと出力される。それぞれの監視カメラ２１，２２，２３，２４に対応する映像復号部３１１，３１２，３１３，３１４は受信手段３０から入力した映像ストリームを受信バッファ３１１１，３１１２，３１１３，３１１４へ一時格納を行うと共に、映像タイムスタンプ抽出手段３１４１，３１４２，３１４３，３１４４に対して映像ストリームを出力する。
【００２０】
映像タイムスタンプ抽出手段３１４１，３１４２，３１４３，３１４４では、ＭＰＥＧ２−ＴＳの映像ストリームの中から、復号映像の表示時刻を示す映像表示時刻情報であるＰＴＳ（Presentation Time Stamp）を抽出し、映像再生時刻決定手段３６へ通知する。
抽出された映像タイムスタンプＰＴＳは、図４のフローチャートに示すように映像再生時刻決定手段３６でＰＴＳが通知されたことを検出し、それぞれの監視カメラ２１，２２，２３，２４からの映像タイムスタンプ間の比較を行う。
この比較の方法を、図５を用いて説明する。
【００２１】
図５には、例として、それぞれの監視カメラ２１，２２，２３，２４にて映像フレームレートが２９．９７Ｈｚにより映像符号化されネットワークを介して伝送された、伝送映像ストリームから抽出された映像タイムスタンプを抽出順に並べたものである。
【００２２】
手順１
それぞれの監視カメラ２１，２２，２３，２４からの映像タイムスタンプの間隔を求めて、その間隔が以下のいずれにも該当しない間隔となった映像タイムスタンプを求める。
第１の間隔： ３００３
第２の間隔： １２０１２
第３の間隔： −６００６
図５の例では(3)の列に示す映像タイムスタンプ、監視カメラ２１より抽出されたタイムスタンプでは“１７６９６２”、監視カメラ２２では“１７７１７６”、監視カメラ２３，では“１７６８５３”、監視カメラ２４では“１７５９３８”がそれに該当する。
【００２３】
手順２
次に手順１で求められた、それぞれの監視カメラ２１，２２，２３，２４の映像ストリームに対する映像タイムスタンプで、一番映像監視表示装置３への到達時間の遅い映像ストリーム、つまり映像タイムスタンプとして、一番小さい値の映像タイムスタンプの映像ストリームを決定する。
図５の例では、監視カメラ２４より抽出された“１７５９３８”がそれに該当する。
【００２４】
手順３
次にそれぞれの監視カメラ２１，２２，２３，２４からの映像ストリームから手順１にて決定した映像タイムスタンプの存在する映像ストリームを受信バッファ３１１１，３１１２，３１１３，３１１４内から求め、該当するそれぞれの監視カメラ２１，２２，２３，２４の映像ストリームを受信バッファ３１１１，３１１２，３１１３，３１１４から後段の映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４へと同時に出力する。（映像タイムスタンプの置き換え処理については、次に説明する）
【００２５】
図６を例にして説明する。なお、図６〜図８において監視カメラ２１，２２，２３，２４は、それぞれ監視カメラ１，２，３、４と表示している。
監視カメラ４の映像タイムスタンプ（図内では監視カメラ４受信ＰＴＳ、以下同様）が“４００”のタイミングで、監視カメラ１の受信ＰＴＳでは“１００”、監視カメラ２の受信ＰＴＳでは“２００”、監視カメラ３の受信ＰＴＳでは“３００”、監視カメラ４の受信ＰＴＳが“４００”の存在する映像ストリームがそれぞれのデコーダ３１２１，３１２２，３１２３，３１２４へと入力される。
【００２６】
上記の手順にて、受信バッファ３１１１，３１１２，３１１３，３１１４から出力されたそれぞれの映像ストリームは、映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４を介し、デコーダ３１２１，３１２２，３１２３，３１２４へ入力され、ＭＰＥＧ−２映像復号処理が行われ、それぞれのデコーダ３１２１，３１２２，３１２３，３１２４にて復号された復号映像をフレームメモリ３１３１，３１３２，３１３３，３１３４へと記録される。このフレームメモリ３１３１，３１３２，３１３３，３１３４へ記録された復号映像は１フレーム単位に映像合成手段３２により読み出される。続いて、それぞれの復号映像は、縦横１／４に縮小され１枚の合成された復号映像が生成されて、映像出力手段３３により、４つの監視復号映像が合成された復号映像としてフレーム単位に表示装置４により表示される。
【００２７】
（タイムスタンプの置き換え処理の説明）
受信バッファ３１１１，３１１２，３１１３，３１１４から出力されたそれぞれの映像ストリームは、図３に示す映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４へ入力される。映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４では入力された映像ストリーム内の映像タイムスタンプの置き換えを行う。
ＭＰＥＧ２−ＴＳでは、対象とする置き換えタイムスタンプは、映像ＰＥＳ(Packetized Elementary Stream)内のＰＴＳ、復号時間を規定するＤＴＳ（Decoding Time Stamp）、及び再生時刻の基準情報となるＳＴＣの値であるＰＣＲ（Program Clock Reference）とする。
【００２８】
映像タイムスタンプ生成手段３７では、内部発信器３５により生成された２７ＭＨｚのクロックにより基準ＳＴＣを生成する。生成されたＳＴＣは映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４へ通知される。映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４では、映像再生時刻決定手段３６により受信バッファ３１１１，３１１２，３１１３，３１１４から映像ストリームが入力されたタイミングのＳＴＣを映像タイムスタンプの基準時刻情報TSbaseとして保持する。また、この基準時刻情報とそれぞれの映像ストリームが受信バッファ３１１１，３１１２，３１１３，３１１４から出力された初めの映像ストリームの映像タイムスタンプとの差分値を求め、それぞれの映像ストリームに対する基準時刻情報とのオフセット値TSoffset1、TSoffset2、TSoffset3、TSoffset4として以下のように求める。
【００２９】
演算式：
TSoffset1 = TSin1st1 - TSbase
TSoffset2 = TSin1st2 - TSbase
TSoffset3 = TSin1st3 - TSbase
TSoffset4 = TSin1st4 - TSbase
ここで、TSin1st1、TSin1st2、TSin1st3、TSin1st4：映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４に入力した最初の映像ストリーム内のタイムスタンプ、
TSbase：基準時刻情報としてのタイムスタンプ、
TSoffset1、TSoffset2、TSoffset3、TSoffset4：それぞれの映像ストリームの映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４に入力した最初の映像ストリーム内のタイムスタンプに対する基準時刻情報とのオフセット値である。
【００３０】
図６の例では、監視カメラ４の映像ストリームデコーダ４のそれぞれ入力“（５００−１００）”、“（５００−２００）”、“（５００−３００）”、“（５００−４００）”がそれにあたる。
図５では、置き換えられた監視カメラ２１〜２４の映像タイムスタンプの“０００２２００７”がこれにあたる。
【００３１】
次に、映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４では、それぞれの監視カメラ２１，２２，２３，２４の映像ストリームより映像タイムスタンプを抽出し、それぞれのタイムスタンプに対して以下の演算を行い、置き換えるタイムスタンプを生成する。
【００３２】
演算式：
TSout1 = TSin1 - TSoffset1
TSout2 = TSin2 - TSoffset2
TSout3 = TSin3 - TSoffset3
TSout4 = TSin4 - TSoffset4
ここで、TSin1、TSin2、TSin3、TSin4：映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４に入力した映像ストリーム内のタイムスタンプ、
TSoffset1、TSoffset2、TSoffset3、TSoffset4：それぞれの映像ストリームに対する基準時刻情報とのオフセット値、
TSout1、TSout2、TSout3、TSout4：映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４に入力した映像ストリーム内のタイムスタンプに対する置き換える映像タイムスタンプである。
【００３３】
図６の例では、監視カメラ１の映像ストリームデコーダ入力では“５０１ １０１−（５００−１００）”、“５０２ １０２−（５００−１００）”、“５０３ １０３−（５００−１００）”、“５０４ １０４−（５００−１００）”、監視カメラ２の映像ストリームデコーダ入力では“５０１ ２０１−（５００−２００）”、“５０２ ２０２−（５００−２００）”、“５０３ ２０３−（５００−２００）”、“５０４ ２０４−（５００−２００）”、監視カメラ３の映像ストリームデコーダ入力では“５０１ ３０１−（５００−３００）”、“５０２ ３０２−（５００−３００）”、“５０３ ３０３−（５００−３００）”、“５０４ ３０４−（５００−３００）”、監視カメラ４の映像ストリームデコーダ入力では“５０１ ４０１−（５００−４００）”、“５０２ ４０２−（５００−４００）”、“５０３ ４０３−（５００−４００）”、“５０４ ４０４−（５００−４００）”がそれにあたる。
【００３４】
上記の演算により求められたそれぞれの映像ストリーム映像ＰＥＳ内のＰＴＳ、ＤＴＳ、及びＰＣＲに対して映像タイムスタンプの置き換えを実施し、デコーダ３１２１，３１２２，３１２３，３１２４へ出力する。
【００３５】
次に、監視カメラ２１，２２，２３，２４のエンコーダ２２における符号化の基準周波数と映像監視表示装置３のデコーダ３１２１，３１２２，３１２３，３１２４における復号の基準周波数が同一（周波数ロック）していない場合の動作について図３、図７、および図８にて説明する。
図３のそれぞれの映像タイムスタンプ置き換え部により置き換えられた映像タイムスタンプの映像ストリームが入力されたそれぞれのデコーダ３１２１，３１２２，３１２３，３１２４では、それぞれのデコーダ３１２１，３１２２，３１２３，３１２４の持つＶＣＸＯにて、エンコーダ２２のＶＣＸＯの周波数にて生成された基準周波数にて符号化された映像ストリームの映像復号を行っている。そのため、この出力するための映像同期信号は、デコーダ３１２１，３１２２，３１２３，３１２４それぞれのＶＣＸＯの周波数にロックしているため、復号映像が生成されフレームメモリ３１３１，３１３２，３１３３，３１３４へ出力されるときに用いられる映像クロック信号、映像フレーム同期信号等はそれぞれのデコーダ３１２１，３１２２，３１２３，３１２４により異なっている。
【００３６】
デコーダ３１２１，３１２２，３１２３，３１２４にて復号された復号映像はそれぞれのデコーダ３１２１，３１２２，３１２３，３１２４の基準周波数にロックした映像クロック、映像フレーム同期信号によりフレームメモリ３１３１，３１３２，３１３３，３１３４へ出力される。
このときそれぞれのデコーダ３１２１，３１２２，３１２３，３１２４は、復号映像に対する復号時の映像タイムスタンプ、及びそれぞれのデコーダ３１２１，３１２２，３１２３，３１２４に対する映像フレーム同期信号を映像表示判定手段３８へ通知する。映像表示判定手段３８では、それぞれのデコーダ３１２１，３１２２，３１２３，３１２４より通知された映像フレーム同期信号により映像タイムスタンプ生成手段により生成された基準時刻情報であるＳＴＣ値をサンプリングし、１フレームあたりの基準時刻情報間隔を求める。
【００３７】
エンコーダ２２の基準周波数が発信器３５の周波数と同期している場合には、この基準時刻情報間隔は一定である。しかし、エンコーダ２２の基準周波数が発信器３５の周波数と同期していない場合には、以下のように基準時刻情報としてずれが生じてくる。
エンコーダ２２の基準周波数 ＜ 発信器３５の周波数
：１フレームあたりの基準時刻情報間隔が長くなる。・・・(1)
エンコーダ２２の基準周波数 ＞ 発信器３５の周波数
：１フレームあたりの基準時刻情報間隔が短くなる。・・・(2)
【００３８】
映像表示判定手段３８では、それぞれのデコーダ３１２１，３１２２，３１２３，３１２４による復号映像の映像フレーム同期信号による基準時刻情報間隔を監視し、映像フレーム同期タイミングと基準時刻情報間隔を判定し以下の処理を行う。
処理１： 基準時刻情報間隔が１フレーム分遅くなった場合：読み出す復号映像を先に読み出しを行った１フレームの映像の再読み出しを行う。（図７）
図７は、監視カメラ３の基準周波数が映像監視表示装置の発信器３５より遅い場合（段落番号［００３７］の(1)の場合）を示す。
映像同期タイミング５０３のタイムスタンプがα、監視カメラ３の復号映像データデコーダ出力５０１のタイムスタンプがβとすると（α−β＞Δ）（Δ＝３００３（フレームレートが２９．９７Ｈｚのとき））の条件に当てはまる場合には、映像同期タイミング５０３で、監視カメラ１，２，４では５０１の復号映像データを出力するのに対し、監視カメラ３は５０１の復号映像データのフレームメモリへの映像出力が完了していないため５００の復号映像データをフレームメモリから出力する。その後、監視カメラ１，２，４は５０２、５０３、５０４とフレームメモリから出力するのに対し監視カメラ３の復号映像データは１フレーム前の復号映像データ５０１，５０２，５０３をフレームメモリから出力する。
【００３９】
処理２： 基準時刻情報間隔が１フレーム分早くなった場合：読み出す復号映像を１フレーム分の読み飛ばしを行う。（図８）
図８は、監視カメラ３の基準周波数が映像監視表示装置の発信器３５より早い場合（段落番号［００３７］の(2)の場合）を示す。
映像同期タイミング５０２のタイムスタンプがα、監視カメラ３の復号映像データデコーダ出力５０３のタイムスタンプがγとすると（α−γ＜Δ）（Δ＝３００３（フレームレートが２９．９７Ｈｚのとき））の条件に当てはまる場合には、監視カメラ１，２，４では５０２の復号映像データを出力するのに対し、監視カメラ３は５０３の復号映像データのフレームメモリへの映像出力が出来るため５０３の復号映像データをフレームメモリから出力する。その後、監視カメラ１，２，４は５０３、５０４、５０５とフレームメモリから出力するのに対し監視カメラ３の復号映像データは１フレーム後の復号映像データ５０４，５０５，５０６をフレームメモリから出力する。
【００４０】
「実施の形態における効果」
以上のように、それぞれの監視カメラとの間の伝送遅延により表示するタイミングがずれるような場合であっても、それぞれの監視カメラ２１，２２，２３，２４の映像ストリーム上の映像タイムスタンプを合わせることにより、ネットワーク上の遅延差による表示のずれを最小限にすることができる。
また、それぞれの監視カメラ２１，２２，２３，２４のエンコーダ２２の基準周波数に違いがある場合でも、映像監視表示装置３でその基準周波数の違いによる復号映像の表示ずれの発生を防ぎ、それぞれの監視カメラ２１，２２，２３，２４からの映像を同一の時間軸で表示することができる。
【産業上の利用可能性】
【００４１】
この発明は防犯カメラや、人が立ち入りできない危険個所に設置された機器の運転状況を離れた場所でモニタする映像監視システムに広く利用される可能性がある。
【符号の説明】
【００４２】
１：ネットワーク、２１、２２、２３、２４：監視カメラ、３：映像監視表示装置、４：映像表示装置、２０：映像入力手段、２１：フレームメモリ、２２：エンコーダ、２３：送信バッファ、２４：送信手段、２５：基準時間設定手段、２６：基準時間生成手段、２７：エンコード再開手段、３０：受信手段、３１１，３１２，３１３，３１４：映像復号部、３１１１，３１１２，３１１３，３１１４：受信バッファ、３１２１，３１２２，３１２３，３１２４：デコーダ、３１３１，３１３２，３１３３，３１３４：フレームメモリ、３１４１，３１４２，３１４３，３１４４：タイムスタンプ抽出手段、３１５１，３１５２，３１５３，３１５４：映像タイムスタンプ置き換え手段、３２：映像合成手段、３３：映像出力手段、３４：基準時間通知手段、３５：発信器、３６：映像再生時刻決定手段、３７：映像タイムスタンプ生成手段、３８：映像表示判定手段。
【技術分野】
【０００１】
この発明は、監視カメラを設置し監視対象を監視するために用いられる映像監視システムおよびその映像監視システムに用いられる映像監視表示装置に関するものである。
【背景技術】
【０００２】
従来の監視装置および監視システムは、監視カメラが監視対象の映像を撮影し、エンコーダで、監視カメラから出力された映像信号をＭＰＥＧ２（Moving Picture coding Experts Group ２）トランスポートストリーム（以下ＭＰＥＧ−ＴＳと呼ぶ）などによりそれぞれ帯域圧縮する。送信手段は、ＭＰＥＧ−ＴＳを伝送路へ送信し、受信手段が受信した４つのＭＰＥＧ−ＴＳを、並列に並べられた４つのデコーダがそれぞれ復号する。画像合成手段は、復号された４つの映像を１つの映像に合成し、画像合成手段の効果により、モニタは画面が４分割され、それぞれに監視カメラの映像が表示されていた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１７９９１１号公報 図４
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の監視システムにおける監視カメラの映像入力は、それぞれの映像入力手段にて生成された同期信号が用いられるため同じ位相で入力されるとは限らない。また、映像信号を符号化する際のエンコーダの基準周波数はそれぞれの監視カメラに実装された電源制御発信機（ＶＣＸＯ）の周波数が用いられているため、それぞれの監視カメラ間において符号化される基準周波数は同一のものとは限らない。
さらに、従来の監視システムは、インターネットなど伝送路の状態によって監視カメラから映像監視表示装置まで到達する経路、トラフィックの状態により同一の遅延で伝送されるとは限らない。そのため、それぞれの監視カメラからの映像ストリーム（ＭＰＥＧ−ＴＳ）が伝送路上の遅延差により受信手段への到達時間に数フレーム期間の差が発生する場合もありうる。
そのような場合、複数の監視カメラにより同じ被写体を撮影する場合に、図９に示すようにそれぞれの監視カメラからの映像の表示時間にずれが生じるため、監視員は監視カメラからの監視対象の映像が見づらくなるという問題点があった。
【０００５】
また、監視カメラは、それぞれ位相の異なる映像同期信号がカメラから入力される。そのためエンコーダは、基準周波数を求めるための電圧制御発振器（ＶＣＸＯ）を持ち、それぞれのエンコーダはそれぞれ異なるＶＣＸＯにより動作している。そのため、それぞれのデコーダではエンコーダの周波数にＰＬＬ(Phase Locked Loop）ロックにより復号を行っており、それぞれのエンコーダの周波数偏差の異なるＶＣＸＯの周波数により復号が行われ、ずれが生じてくる。このずれに１フレーム期間以上の差が発生すると、表示される映像に対してもフレームずれが生じるという問題点がある。
【０００６】
この発明は上記のような問題点を解決するためになされたもので、伝送路の遅延差による映像の表示時間のずれをなくすこと、および、監視カメラの映像同期信号のずれや、それぞれのエンコーダの基準周波数の差による復号された映像の表示時間のずれをなくすことを目的とする
【課題を解決するための手段】
【０００７】
この発明に係る映像監視表示装置は、 監視対象を複数の監視カメラで撮影した映像データが符号化され生成された映像ストリームを伝送路を介して受信し、それぞれの映像ストリームを復号し、その復号された映像データを合成し、１つの映像データとして表示可能な信号を生成するものにおいて、
映像表示を開始するに際し、前記複数の監視カメラに対し、映像データを符号化する時の各基準時間を共通化するための基準設定通知をする基準時間設定通知手段、
複数の監視カメラから出力され映像ストリームを伝送路より受信する受信手段、
受信手段により受信した複数の映像ストリームを各監視カメラに対応して格納する複数の蓄積手段、
各蓄積手段に格納された映像ストリームから映像タイムスタンプ情報を抽出するタイムスタンプ抽出手段、
タイムスタンプ抽出手段により抽出されたそれぞれの映像タイムスタンプ情報を比較して複数の映像ストリームの到達時刻の差を求め、この到達時刻の差から映像再生時刻を求め、求められた映像再生時刻からそれぞれの映像タイムスタンプ情報に対応する映像ストリームを決定し、それぞれの蓄積手段から対応映像ストリーム出力を開始する映像再生時刻決定手段、
各蓄積手段から出力された映像ストリームをそれぞれ復号する複数の復号手段、
復号された映像データに対する映像タイムスタンプと共通の映像タイムスタンプから表示同期とのずれを判定する映像表示判定手段、
複数の復号手段で復号された複数の映像データを映像表示判定手段の判定結果に基づきフレーム処理し合成する映像合成手段、
合成された映像データを出力する映像出力手段
を備える。
【０００８】
また、この発明の映像監視システムは、
監視対象を撮影し、撮影した映像データを符号化して映像ストリームを生成し、この映像ストリームを伝送路に送信する複数の監視カメラと、
伝送路より受信した複数の映像ストリームを復号し、復号された映像データを合成し、１つの映像データとして表示可能な信号を生成する映像監視表示装置とを備え、
上記映像監視表示装置は前記段落［０００７］に記載の構成にされ、
上記複数の監視カメラは各々、監視対象を撮影した映像データを符号化して映像ストリームを生成する符号化手段、
上記映像監視表示装置からの符号化基準時間の設定の通知により複数の映像を符号化する複数の符号化手段に対して共通の符号化基準時間を与え、符号化基準時間が与えられたとき、符号化手段の符号化を一時停止する基準時間設定手段、
上記基準時間設定手段により、基準時間が与えられた際に、その基準時間より符号化手段の符号化を再開させる符号化再開手段
複数の符号化手段により符号化された映像ストリームを伝送路に送信する複数の送信手段を備える。
【発明の効果】
【０００９】
この発明に係る映像監視表示装置は、映像表示開始に際し、複数の監視カメラに対し、映像データ符号化時の基準時間を共通化する基準時間設定通知を行う基準時間設定通知手段、および各監視カメラから受信した映像ストリームから映像タイムスタンプ情報を抽出し、この各映像タイムスタンプ情報間の所定の関係から復号開始時刻を決定する映像再生時刻決定手段を備えるのでそれぞれの監視カメラとの間の伝送遅延により表示するタイミングがずれるような場合であっても、それぞれの監視カメラの映像ストリーム上の映像タイムスタンプを合わせることにより、ネットワーク上の遅延差による表示のずれを最小限にすることができる。
また、それぞれの監視カメラのエンコーダ２２の基準周波数に違いがある場合でも、映像監視表示装置３でその基準周波数の違いによる復号映像の表示ずれの発生を防ぎ、それぞれの監視カメラからの映像を同一の時間軸で表示することができる。
【図面の簡単な説明】
【００１０】
【図１】この発明の映像監視システムの一実施形態を示す構成図である。
【図２】監視カメラの内部構成図である。
【図３】映像監視表示装置の内部構成図である。
【図４】基準時間設定手段と基準時間設定通知手段の動作フローチャートである。
【図５】映像再生時刻決定手段および映像タイムスタンプ置き換え手段の動作説明用の図である。
【図６】映像監視表示装置における表示開始時のタイミング図である。
【図７】監視カメラの基準クロックが映像監視表示装置の基準クロックより遅い場合の映像監視表示装置における復号とフレームメモリからの読み出しタイミング図である。
【図８】監視カメラの基準クロックが映像監視表示装置の基準クロックより早い場合の映像監視表示装置における復号とフレームメモリからの読み出しタイミング図である。
【図９】従来装置における符号化および復号化のタイミング図である。
【発明を実施するための形態】
【００１１】
実施の形態１．
図１はこの発明の一実施の形態を示す複数の監視カメラと映像監視表示装置の構成図、図２は監視カメラの内部構成図、図３は映像監視表示装置の内部構成図である。
図１において、１は監視カメラからの監視映像ストリームデータを映像監視表示装置へ配信するための通信路としてのネットワークである。
２１、２２、２３、および２４は、被監視対象の映像を撮影しＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ等の映像符号化技術により帯域圧縮され監視映像ストリームデータを、ネットワークの伝送路を経由し映像監視表示装置へ送出する監視カメラである。
３は複数の監視カメラからの映像ストリームを受信し、復号処理およびそれぞれの復号された映像データを合成して１つの映像データとして出力する映像監視表示装置である。
４は映像監視表示装置からの映像データを表示するための映像表示装置である。
【００１２】
図２により、監視カメラおける構成について説明する。
監視カメラ２１，２２，２３，２４内部において、２０はカメラで撮影された映像データを入力するための映像入力手段、２１は入力された映像データを符号化するためにフレーム単位で格納するフレームメモリ、２２は映像データを帯域圧縮するためのエンコーダ、２３は符号化された符号化データを伝送するため送信バッファ、２４は符号化データを伝送路経由で監視映像表示装置３へ伝送を行うための送信手段、２５は監視映像表示装置３からの基準時間設定の通知に対して、監視カメラ内時刻の設定、および符号化のための基準時間の設定、および符号化の再開をエンコード再開手段２７へ通知する基準時間設定手段、２６は符号化のための基準時間を生成する基準時間生成手段、２７は基準時間設定手段２５からの符号化再開通知により符号化を再開する指示をエンコーダ２２へ通知するエンコード再開手段である。
【００１３】
図３における映像監視表示装置の構成について説明する。
３０は複数の監視カメラから伝送された映像ストリームをネットワーク１から受信し、それぞれの監視カメラに対する映像復号部３１１，３１２，３１３，３１４へ映像ストリームを出力するための受信手段、３１１，３１２，３１３，３１４はそれぞれの監視カメラから受信した映像ストリームを復号するための映像復号部である。
この復号部３１１〜３１４は、受信手段３０からの映像ストリームを格納しておくための受信バッファ３１１１，３１１２，３１１３，３１１４、映像ストリームを復号するデコーダ３１２１，３１２２，３１２３，３１２４、復号映像データをフレーム単位で格納するフレームメモリ、３１３１，３１３２，３１３３，３１３４、受信バッファに入力した映像ストリームから映像タイムスタンプを抽出するタイムスタンプ抽出手段３１４１，３１４２，３１４３，３１４４、映像タイムスタンプを共通の映像タイムスタンプに置き換えを行う映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４を備える。
【００１４】
３２は映像復号部３１１，３１２，３１３，３１４で復号された映像データを合成して１つの映像データを生成する映像合成手段、３３は映像データを映像表示装置４へ出力する映像出力手段、３４は表示開始の際、それぞれの監視カメラに対して基準時間の設定、符号化の再開を要求する基準時間通知手段、３５は監視映像表示装置の映像復号、および表示同期の基準となる発信器、３６はタイムスタンプ抽出手段３１４１，３１４２，３１４３，３１４４により抽出されたそれぞれの監視カメラからの映像ストリームの映像タイムスタンプからすべての監視カメラの映像ストリームを同時刻に開始するための映像再生時刻決定手段、３７はそれぞれの映像復号部３１１，３１２，３１３，３１４にて復号するための共通の映像タイムスタンプを生成する映像タイムスタンプ生成手段、３８は復号された映像データに対する映像タイムスタンプと共通の映像タイムスタンプから表示同期とのずれを判定しフレームメモリ３１３１，３１３２，３１３３，３１３４に対するフレーム制御を行うための映像表示判定手段である。
【００１５】
次に動作について説明する。
図１において、監視カメラ２１，２２，２３，２４は監視対象を撮影し、撮影した映像の符号化処理を行い、映像ストリームを生成してネットワーク１へ伝送する。
ここでは、符号化処理、および映像ストリームの生成方法として、ＭＰＥＧ２トランスポートストリーム（以下、映像ストリーム、あるいはＭＰＥＧ−ＴＳと呼ぶ）へ帯域圧縮する場合の例を説明する。
【００１６】
（表示開始）
表示の開始方法について、図２〜図６を用いて説明する。
図４が映像監視表示装置３にて、表示を開始するときのそれぞれの監視カメラ２１，２２，２３，２４と映像監視表示装置３間の信号の流れ、及び監視カメラ２１，２２，２３，２４の基準時間設定手段２５、映像監視表示装置３の基準時間設定通知手段３４、及び映像再生時刻決定手段３６の動作フローチャートである。
映像監視表示装置３は表示を開始する際に、基準時間設定通知手段３４により、映像監視表示装置３に接続される監視カメラ２１，２２，２３，２４に対して、ネットワーク１を介して、符号化基準時間設定通知を通知する。通知されたそれぞれの監視カメラ２１，２２，２３，２４は、基準時間設定手段２５により、当該通知を映像監視表示装置３から受信し、まずそれぞれの監視カメラ２１，２２，２３，２４内部の時刻の同期を行う。
【００１７】
ここでは、ネットワーク時刻同期システムとして一般的に用いられているＲＦＣ１３０５で定義されているＮＴＰ（Network Time Protocol）によりそれぞれの監視カメラ２１，２２，２３，２４は映像監視表示装置３との間で時刻の同期を行う。この際、基準時間設定手段２５はエンコード再開手段２７へエンコーダ２２の符号化の停止を通知し、エンコード再開手段２７は、この通知により、エンコーダ２２に対して符号化の停止を指示し符号化処理を停止する。
【００１８】
時刻の同期が行われたそれぞれの監視カメラ２１，２２，２３，２４では、その後,基準時間生成手段２６に対して、符号化を行うための基準時刻情報として、再生時刻の基準情報となるＳＴＣ（System Time Clock）情報の値の初期化の指示を行い、指示された基準時刻生成手段２６ではこのＳＴＣ情報の初期化を行い、その情報をエンコーダ２２へ設定する。
また、基準時間設定手段２５では、映像監視表示装置３の基準時間設定通知手段３４により通知された符号化基準時間設定通知内の符号化開始時刻情報の時刻と、先の監視カメラ２１，２２，２３，２４内部の時刻を比較し、開始時刻となった時、エンコーダ再開手段２７に対して、符号化の開始を行うための指示を通知する。エンコード再開手段２７では、この通知によりエンコーダ２２に対して符号化の開始を指示する。エンコード再開手段２７により符号化の開始を通知されたエンコーダ２２は、この通知されたタイミングでＭＰＥＧ−２の符号化を再開する。
【００１９】
次に、映像監視表示装置３の映像再生時刻決定手段３６の動作について説明する。
それぞれの監視カメラ２１，２２，２３，２４で生成された映像ストリームはネットワーク１を介して、図３に示す映像監視表示装置３の受信手段３０により受信され、受信手段３０によりそれぞれの監視カメラ２１，２２，２３，２４に対応する映像復号部３１１，３１２，３１３，３１４へと出力される。それぞれの監視カメラ２１，２２，２３，２４に対応する映像復号部３１１，３１２，３１３，３１４は受信手段３０から入力した映像ストリームを受信バッファ３１１１，３１１２，３１１３，３１１４へ一時格納を行うと共に、映像タイムスタンプ抽出手段３１４１，３１４２，３１４３，３１４４に対して映像ストリームを出力する。
【００２０】
映像タイムスタンプ抽出手段３１４１，３１４２，３１４３，３１４４では、ＭＰＥＧ２−ＴＳの映像ストリームの中から、復号映像の表示時刻を示す映像表示時刻情報であるＰＴＳ（Presentation Time Stamp）を抽出し、映像再生時刻決定手段３６へ通知する。
抽出された映像タイムスタンプＰＴＳは、図４のフローチャートに示すように映像再生時刻決定手段３６でＰＴＳが通知されたことを検出し、それぞれの監視カメラ２１，２２，２３，２４からの映像タイムスタンプ間の比較を行う。
この比較の方法を、図５を用いて説明する。
【００２１】
図５には、例として、それぞれの監視カメラ２１，２２，２３，２４にて映像フレームレートが２９．９７Ｈｚにより映像符号化されネットワークを介して伝送された、伝送映像ストリームから抽出された映像タイムスタンプを抽出順に並べたものである。
【００２２】
手順１
それぞれの監視カメラ２１，２２，２３，２４からの映像タイムスタンプの間隔を求めて、その間隔が以下のいずれにも該当しない間隔となった映像タイムスタンプを求める。
第１の間隔： ３００３
第２の間隔： １２０１２
第３の間隔： −６００６
図５の例では(3)の列に示す映像タイムスタンプ、監視カメラ２１より抽出されたタイムスタンプでは“１７６９６２”、監視カメラ２２では“１７７１７６”、監視カメラ２３，では“１７６８５３”、監視カメラ２４では“１７５９３８”がそれに該当する。
【００２３】
手順２
次に手順１で求められた、それぞれの監視カメラ２１，２２，２３，２４の映像ストリームに対する映像タイムスタンプで、一番映像監視表示装置３への到達時間の遅い映像ストリーム、つまり映像タイムスタンプとして、一番小さい値の映像タイムスタンプの映像ストリームを決定する。
図５の例では、監視カメラ２４より抽出された“１７５９３８”がそれに該当する。
【００２４】
手順３
次にそれぞれの監視カメラ２１，２２，２３，２４からの映像ストリームから手順１にて決定した映像タイムスタンプの存在する映像ストリームを受信バッファ３１１１，３１１２，３１１３，３１１４内から求め、該当するそれぞれの監視カメラ２１，２２，２３，２４の映像ストリームを受信バッファ３１１１，３１１２，３１１３，３１１４から後段の映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４へと同時に出力する。（映像タイムスタンプの置き換え処理については、次に説明する）
【００２５】
図６を例にして説明する。なお、図６〜図８において監視カメラ２１，２２，２３，２４は、それぞれ監視カメラ１，２，３、４と表示している。
監視カメラ４の映像タイムスタンプ（図内では監視カメラ４受信ＰＴＳ、以下同様）が“４００”のタイミングで、監視カメラ１の受信ＰＴＳでは“１００”、監視カメラ２の受信ＰＴＳでは“２００”、監視カメラ３の受信ＰＴＳでは“３００”、監視カメラ４の受信ＰＴＳが“４００”の存在する映像ストリームがそれぞれのデコーダ３１２１，３１２２，３１２３，３１２４へと入力される。
【００２６】
上記の手順にて、受信バッファ３１１１，３１１２，３１１３，３１１４から出力されたそれぞれの映像ストリームは、映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４を介し、デコーダ３１２１，３１２２，３１２３，３１２４へ入力され、ＭＰＥＧ−２映像復号処理が行われ、それぞれのデコーダ３１２１，３１２２，３１２３，３１２４にて復号された復号映像をフレームメモリ３１３１，３１３２，３１３３，３１３４へと記録される。このフレームメモリ３１３１，３１３２，３１３３，３１３４へ記録された復号映像は１フレーム単位に映像合成手段３２により読み出される。続いて、それぞれの復号映像は、縦横１／４に縮小され１枚の合成された復号映像が生成されて、映像出力手段３３により、４つの監視復号映像が合成された復号映像としてフレーム単位に表示装置４により表示される。
【００２７】
（タイムスタンプの置き換え処理の説明）
受信バッファ３１１１，３１１２，３１１３，３１１４から出力されたそれぞれの映像ストリームは、図３に示す映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４へ入力される。映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４では入力された映像ストリーム内の映像タイムスタンプの置き換えを行う。
ＭＰＥＧ２−ＴＳでは、対象とする置き換えタイムスタンプは、映像ＰＥＳ(Packetized Elementary Stream)内のＰＴＳ、復号時間を規定するＤＴＳ（Decoding Time Stamp）、及び再生時刻の基準情報となるＳＴＣの値であるＰＣＲ（Program Clock Reference）とする。
【００２８】
映像タイムスタンプ生成手段３７では、内部発信器３５により生成された２７ＭＨｚのクロックにより基準ＳＴＣを生成する。生成されたＳＴＣは映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４へ通知される。映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４では、映像再生時刻決定手段３６により受信バッファ３１１１，３１１２，３１１３，３１１４から映像ストリームが入力されたタイミングのＳＴＣを映像タイムスタンプの基準時刻情報TSbaseとして保持する。また、この基準時刻情報とそれぞれの映像ストリームが受信バッファ３１１１，３１１２，３１１３，３１１４から出力された初めの映像ストリームの映像タイムスタンプとの差分値を求め、それぞれの映像ストリームに対する基準時刻情報とのオフセット値TSoffset1、TSoffset2、TSoffset3、TSoffset4として以下のように求める。
【００２９】
演算式：
TSoffset1 = TSin1st1 - TSbase
TSoffset2 = TSin1st2 - TSbase
TSoffset3 = TSin1st3 - TSbase
TSoffset4 = TSin1st4 - TSbase
ここで、TSin1st1、TSin1st2、TSin1st3、TSin1st4：映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４に入力した最初の映像ストリーム内のタイムスタンプ、
TSbase：基準時刻情報としてのタイムスタンプ、
TSoffset1、TSoffset2、TSoffset3、TSoffset4：それぞれの映像ストリームの映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４に入力した最初の映像ストリーム内のタイムスタンプに対する基準時刻情報とのオフセット値である。
【００３０】
図６の例では、監視カメラ４の映像ストリームデコーダ４のそれぞれ入力“（５００−１００）”、“（５００−２００）”、“（５００−３００）”、“（５００−４００）”がそれにあたる。
図５では、置き換えられた監視カメラ２１〜２４の映像タイムスタンプの“０００２２００７”がこれにあたる。
【００３１】
次に、映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４では、それぞれの監視カメラ２１，２２，２３，２４の映像ストリームより映像タイムスタンプを抽出し、それぞれのタイムスタンプに対して以下の演算を行い、置き換えるタイムスタンプを生成する。
【００３２】
演算式：
TSout1 = TSin1 - TSoffset1
TSout2 = TSin2 - TSoffset2
TSout3 = TSin3 - TSoffset3
TSout4 = TSin4 - TSoffset4
ここで、TSin1、TSin2、TSin3、TSin4：映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４に入力した映像ストリーム内のタイムスタンプ、
TSoffset1、TSoffset2、TSoffset3、TSoffset4：それぞれの映像ストリームに対する基準時刻情報とのオフセット値、
TSout1、TSout2、TSout3、TSout4：映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４に入力した映像ストリーム内のタイムスタンプに対する置き換える映像タイムスタンプである。
【００３３】
図６の例では、監視カメラ１の映像ストリームデコーダ入力では“５０１ １０１−（５００−１００）”、“５０２ １０２−（５００−１００）”、“５０３ １０３−（５００−１００）”、“５０４ １０４−（５００−１００）”、監視カメラ２の映像ストリームデコーダ入力では“５０１ ２０１−（５００−２００）”、“５０２ ２０２−（５００−２００）”、“５０３ ２０３−（５００−２００）”、“５０４ ２０４−（５００−２００）”、監視カメラ３の映像ストリームデコーダ入力では“５０１ ３０１−（５００−３００）”、“５０２ ３０２−（５００−３００）”、“５０３ ３０３−（５００−３００）”、“５０４ ３０４−（５００−３００）”、監視カメラ４の映像ストリームデコーダ入力では“５０１ ４０１−（５００−４００）”、“５０２ ４０２−（５００−４００）”、“５０３ ４０３−（５００−４００）”、“５０４ ４０４−（５００−４００）”がそれにあたる。
【００３４】
上記の演算により求められたそれぞれの映像ストリーム映像ＰＥＳ内のＰＴＳ、ＤＴＳ、及びＰＣＲに対して映像タイムスタンプの置き換えを実施し、デコーダ３１２１，３１２２，３１２３，３１２４へ出力する。
【００３５】
次に、監視カメラ２１，２２，２３，２４のエンコーダ２２における符号化の基準周波数と映像監視表示装置３のデコーダ３１２１，３１２２，３１２３，３１２４における復号の基準周波数が同一（周波数ロック）していない場合の動作について図３、図７、および図８にて説明する。
図３のそれぞれの映像タイムスタンプ置き換え部により置き換えられた映像タイムスタンプの映像ストリームが入力されたそれぞれのデコーダ３１２１，３１２２，３１２３，３１２４では、それぞれのデコーダ３１２１，３１２２，３１２３，３１２４の持つＶＣＸＯにて、エンコーダ２２のＶＣＸＯの周波数にて生成された基準周波数にて符号化された映像ストリームの映像復号を行っている。そのため、この出力するための映像同期信号は、デコーダ３１２１，３１２２，３１２３，３１２４それぞれのＶＣＸＯの周波数にロックしているため、復号映像が生成されフレームメモリ３１３１，３１３２，３１３３，３１３４へ出力されるときに用いられる映像クロック信号、映像フレーム同期信号等はそれぞれのデコーダ３１２１，３１２２，３１２３，３１２４により異なっている。
【００３６】
デコーダ３１２１，３１２２，３１２３，３１２４にて復号された復号映像はそれぞれのデコーダ３１２１，３１２２，３１２３，３１２４の基準周波数にロックした映像クロック、映像フレーム同期信号によりフレームメモリ３１３１，３１３２，３１３３，３１３４へ出力される。
このときそれぞれのデコーダ３１２１，３１２２，３１２３，３１２４は、復号映像に対する復号時の映像タイムスタンプ、及びそれぞれのデコーダ３１２１，３１２２，３１２３，３１２４に対する映像フレーム同期信号を映像表示判定手段３８へ通知する。映像表示判定手段３８では、それぞれのデコーダ３１２１，３１２２，３１２３，３１２４より通知された映像フレーム同期信号により映像タイムスタンプ生成手段により生成された基準時刻情報であるＳＴＣ値をサンプリングし、１フレームあたりの基準時刻情報間隔を求める。
【００３７】
エンコーダ２２の基準周波数が発信器３５の周波数と同期している場合には、この基準時刻情報間隔は一定である。しかし、エンコーダ２２の基準周波数が発信器３５の周波数と同期していない場合には、以下のように基準時刻情報としてずれが生じてくる。
エンコーダ２２の基準周波数 ＜ 発信器３５の周波数
：１フレームあたりの基準時刻情報間隔が長くなる。・・・(1)
エンコーダ２２の基準周波数 ＞ 発信器３５の周波数
：１フレームあたりの基準時刻情報間隔が短くなる。・・・(2)
【００３８】
映像表示判定手段３８では、それぞれのデコーダ３１２１，３１２２，３１２３，３１２４による復号映像の映像フレーム同期信号による基準時刻情報間隔を監視し、映像フレーム同期タイミングと基準時刻情報間隔を判定し以下の処理を行う。
処理１： 基準時刻情報間隔が１フレーム分遅くなった場合：読み出す復号映像を先に読み出しを行った１フレームの映像の再読み出しを行う。（図７）
図７は、監視カメラ３の基準周波数が映像監視表示装置の発信器３５より遅い場合（段落番号［００３７］の(1)の場合）を示す。
映像同期タイミング５０３のタイムスタンプがα、監視カメラ３の復号映像データデコーダ出力５０１のタイムスタンプがβとすると（α−β＞Δ）（Δ＝３００３（フレームレートが２９．９７Ｈｚのとき））の条件に当てはまる場合には、映像同期タイミング５０３で、監視カメラ１，２，４では５０１の復号映像データを出力するのに対し、監視カメラ３は５０１の復号映像データのフレームメモリへの映像出力が完了していないため５００の復号映像データをフレームメモリから出力する。その後、監視カメラ１，２，４は５０２、５０３、５０４とフレームメモリから出力するのに対し監視カメラ３の復号映像データは１フレーム前の復号映像データ５０１，５０２，５０３をフレームメモリから出力する。
【００３９】
処理２： 基準時刻情報間隔が１フレーム分早くなった場合：読み出す復号映像を１フレーム分の読み飛ばしを行う。（図８）
図８は、監視カメラ３の基準周波数が映像監視表示装置の発信器３５より早い場合（段落番号［００３７］の(2)の場合）を示す。
映像同期タイミング５０２のタイムスタンプがα、監視カメラ３の復号映像データデコーダ出力５０３のタイムスタンプがγとすると（α−γ＜Δ）（Δ＝３００３（フレームレートが２９．９７Ｈｚのとき））の条件に当てはまる場合には、監視カメラ１，２，４では５０２の復号映像データを出力するのに対し、監視カメラ３は５０３の復号映像データのフレームメモリへの映像出力が出来るため５０３の復号映像データをフレームメモリから出力する。その後、監視カメラ１，２，４は５０３、５０４、５０５とフレームメモリから出力するのに対し監視カメラ３の復号映像データは１フレーム後の復号映像データ５０４，５０５，５０６をフレームメモリから出力する。
【００４０】
「実施の形態における効果」
以上のように、それぞれの監視カメラとの間の伝送遅延により表示するタイミングがずれるような場合であっても、それぞれの監視カメラ２１，２２，２３，２４の映像ストリーム上の映像タイムスタンプを合わせることにより、ネットワーク上の遅延差による表示のずれを最小限にすることができる。
また、それぞれの監視カメラ２１，２２，２３，２４のエンコーダ２２の基準周波数に違いがある場合でも、映像監視表示装置３でその基準周波数の違いによる復号映像の表示ずれの発生を防ぎ、それぞれの監視カメラ２１，２２，２３，２４からの映像を同一の時間軸で表示することができる。
【産業上の利用可能性】
【００４１】
この発明は防犯カメラや、人が立ち入りできない危険個所に設置された機器の運転状況を離れた場所でモニタする映像監視システムに広く利用される可能性がある。
【符号の説明】
【００４２】
１：ネットワーク、２１、２２、２３、２４：監視カメラ、３：映像監視表示装置、４：映像表示装置、２０：映像入力手段、２１：フレームメモリ、２２：エンコーダ、２３：送信バッファ、２４：送信手段、２５：基準時間設定手段、２６：基準時間生成手段、２７：エンコード再開手段、３０：受信手段、３１１，３１２，３１３，３１４：映像復号部、３１１１，３１１２，３１１３，３１１４：受信バッファ、３１２１，３１２２，３１２３，３１２４：デコーダ、３１３１，３１３２，３１３３，３１３４：フレームメモリ、３１４１，３１４２，３１４３，３１４４：タイムスタンプ抽出手段、３１５１，３１５２，３１５３，３１５４：映像タイムスタンプ置き換え手段、３２：映像合成手段、３３：映像出力手段、３４：基準時間通知手段、３５：発信器、３６：映像再生時刻決定手段、３７：映像タイムスタンプ生成手段、３８：映像表示判定手段。
【特許請求の範囲】
【請求項１】
監視対象を複数の監視カメラで撮影した映像データが符号化され生成された映像ストリームを伝送路を介して受信し、それぞれの映像ストリームを復号し、復号された映像データを合成し、1つの映像データとして表示可能な信号を生成する映像監視表示装置において、
映像表示を開始するに際し、前記複数の監視カメラに対し、映像データを符号化する時の各基準時間を共通化するための基準設定通知をする基準時間設定通知手段、
複数の監視カメラから出力され映像ストリームを伝送路より受信する受信手段、
受信手段により受信した複数の映像ストリームを各監視カメラに対応して格納する複数の蓄積手段、
各蓄積手段に格納された映像ストリームから映像タイムスタンプ情報を抽出するタイムスタンプ抽出手段、
タイムスタンプ抽出手段により抽出されたそれぞれの映像タイムスタンプ情報を比較して複数の映像ストリームの到達時刻の差を求め、この到達時刻の差から映像再生時刻を求め、求められた映像再生時刻からそれぞれの映像タイムスタンプ情報に対応する映像ストリームを決定し、それぞれの蓄積手段から対応映像ストリーム出力を開始する映像再生時刻決定手段、
各蓄積手段から出力された映像ストリームをそれぞれ復号する複数の復号手段、
復号された映像データに対する映像タイムスタンプと共通の映像タイムスタンプから表示同期とのずれを判定する映像表示判定手段、
複数の復号手段で復号された複数の映像データを映像表示判定手段の判定結果に基づきフレーム処理し合成する映像合成手段、
合成された映像データを出力する映像出力手段
を備えることを特徴とする映像監視表示装置。
【請求項２】
映像合成手段の前段に配設され、各復号手段で復号された映像データを記憶するフレームメモリ、
それぞれの復号手段に対して共通の映像タイムスタンプ情報を生成する映像タイムスタンプ生成手段、
タイムスタンプ抽出手段により抽出されたそれぞれの映像タイムスタンプ情報を比較し、複数の映像ストリームの到達時刻の差から映像再生時刻を求め、求められた映像再生時刻からそれぞれの映像タイムスタンプ情報に対応する映像ストリームを決定し、それぞれの映像ストリームの映像タイムスタンプを、映像タイムスタンプ生成手段により求められた同時刻である共通の映像タイムスタンプに置き換える映像タイムスタンプ置き換え手段、
映像タイムスタンプ置き換え手段により置き換えられた映像タイムスタンプを持つそれぞれの映像ストリームを復号手段への入力を開始する映像再生時刻決定手段、
共通の映像タイムスタンプに置き換えられたそれぞれの映像ストリームを、復号手段にて復号された映像に対する映像タイムスタンプが表示の基準となる表示時刻と比較し、その差分として１フレーム以上遅くなった際には、フレームメモリに記憶されている映像データを１フレーム分繰り返して表示する指示を映像フレームメモリに行う映像表示判定手段を備えることを特徴とする請求項１記載の映像監視表示装置。
【請求項３】
映像合成手段の前段に配設され、各復号手段で復号された映像データを記憶するフレームメモリ、
それぞれの復号手段に対して共通の映像タイムスタンプ情報を生成する映像タイムスタンプ生成手段、
タイムスタンプ抽出手段により抽出されたそれぞれの映像タイムスタンプ情報を比較し、複数の映像ストリームの到達時刻の差から映像再生時刻を求め、求められた映像再生時刻からそれぞれの映像タイムスタンプ情報に対応する映像ストリームを決定し、それぞれの映像ストリームの映像タイムスタンプを、映像タイムスタンプ生成手段により求められた同時刻である共通の映像タイムスタンプに置き換える映像タイムスタンプ置き換え手段、
映像タイムスタンプ置き換え手段により置き換えられた映像タイムスタンプを持つそれぞれの映像ストリームを復号手段への入力を開始する映像再生時刻決定手段、
共通の映像タイムスタンプに置き換えられたそれぞれの映像ストリームを、復号手段にて復号された映像に対する映像タイムスタンプが表示の基準となる表示時刻と比較し、その差分として１フレーム以上早くなった際には、フレームメモリに記憶されている映像データを１フレーム分飛び越して表示する指示を映像フレームメモリに行う映像表示判定手段を備えることを特徴とする請求項１記載の映像監視表示装置。
【請求項４】
それぞれの復号手段に対して共通の映像タイムスタンプ情報を生成する映像タイムスタンプ生成手段、
タイムスタンプ抽出手段により抽出されたそれぞれの映像タイムスタンプ情報を比較し、複数の映像ストリームの到達時刻の差から映像再生時刻を求め、求められた映像再生時刻からそれぞれの映像タイムスタンプ情報に対応する映像ストリームを決定し、それぞれの映像ストリームの映像タイムスタンプを、映像タイムスタンプ生成手段により求められた同時刻である共通の映像タイムスタンプに置き換える映像タイムスタンプ置き換え手段、
映像タイムスタンプ置き換え手段により置き換えられた映像タイムスタンプを持つそれぞれの映像ストリームを復号手段への入力を開始する映像再生時刻決定手段、
共通の映像タイムスタンプに置き換えられたそれぞれの映像ストリームを、復号手段にて復号された映像に対する映像タイムスタンプが表示の基準となる表示時刻と比較し、その差分として１フレーム以上遅くなった際には、上記映像タイムスタンプ置き換え手段が置き換える共通の映像タイムスタンプとして他の共通の映像タイムスタンプより１フレーム分加算したタイムスタンプに置き換える処理を映像タイムスタンプ置き換え手段に指示する映像表示判定手段を備えることを特徴とする請求項１記載の映像監視表示装置。
【請求項５】
それぞれの復号手段に対して共通の映像タイムスタンプ情報を生成する映像タイムスタンプ生成手段、
タイムスタンプ抽出手段により抽出されたそれぞれの映像タイムスタンプ情報を比較し、複数の映像ストリームの到達時刻の差から映像再生時刻を求め、求められた映像再生時刻からそれぞれの映像タイムスタンプ情報に対応する映像ストリームを決定し、それぞれの映像ストリームの映像タイムスタンプを、映像タイムスタンプ生成手段により求められた同時刻である共通の映像タイムスタンプに置き換える映像タイムスタンプ置き換え手段、
映像タイムスタンプ置き換え手段により置き換えられた映像タイムスタンプを持つそれぞれの映像ストリームを復号手段への入力を開始する映像再生時刻決定手段、
共通の映像タイムスタンプに置き換えられたそれぞれの映像ストリームを、復号手段にて復号された映像に対する映像タイムスタンプが表示の基準となる表示時刻と比較し、その差分として１フレーム以上早くなった際には、上記映像タイムスタンプ置き換え手段が置き換える共通の映像タイムスタンプとして他の共通の映像タイムスタンプより１フレーム分減算したタイムスタンプに置き換える処理を映像タイムスタンプ置き換え手段に指示する映像表示判定手段を備えることを特徴とする請求項１記載の映像監視表示装置。
【請求項６】
監視対象を撮影し、撮影した映像データを符号化して映像ストリームを生成し、この映像ストリームを伝送路に送信する複数の監視カメラと、
伝送路より受信した複数の映像ストリームを復号し、復号された映像データを合成し、1つの映像データとして表示可能な信号を生成する映像監視表示装置とを備えた映像監視システムにおいて、
上記映像監視表示装置は請求項１〜５の何れか1項に記載の構成にされ、
上記複数の監視カメラは各々、
監視対象を撮影した映像データを符号化して映像ストリームを生成する符号化手段、
上記映像監視表示装置からの符号化基準時間の設定の通知により複数の映像を符号化する複数の符号化手段に対して共通の符号化基準時間を与え、符号化基準時間が与えられたとき、符号化手段の符号化を一時停止する基準時間設定手段、
上記基準時間設定手段により、基準時間が与えられた際に、その基準時間より符号化手段の符号化を再開させる符号化再開手段
複数の符号化手段により符号化された映像ストリームを伝送路に送信する複数の送信手段を備えることを特徴とする映像監視システム。
【請求項１】
監視対象を複数の監視カメラで撮影した映像データが符号化され生成された映像ストリームを伝送路を介して受信し、それぞれの映像ストリームを復号し、復号された映像データを合成し、1つの映像データとして表示可能な信号を生成する映像監視表示装置において、
映像表示を開始するに際し、前記複数の監視カメラに対し、映像データを符号化する時の各基準時間を共通化するための基準設定通知をする基準時間設定通知手段、
複数の監視カメラから出力され映像ストリームを伝送路より受信する受信手段、
受信手段により受信した複数の映像ストリームを各監視カメラに対応して格納する複数の蓄積手段、
各蓄積手段に格納された映像ストリームから映像タイムスタンプ情報を抽出するタイムスタンプ抽出手段、
タイムスタンプ抽出手段により抽出されたそれぞれの映像タイムスタンプ情報を比較して複数の映像ストリームの到達時刻の差を求め、この到達時刻の差から映像再生時刻を求め、求められた映像再生時刻からそれぞれの映像タイムスタンプ情報に対応する映像ストリームを決定し、それぞれの蓄積手段から対応映像ストリーム出力を開始する映像再生時刻決定手段、
各蓄積手段から出力された映像ストリームをそれぞれ復号する複数の復号手段、
復号された映像データに対する映像タイムスタンプと共通の映像タイムスタンプから表示同期とのずれを判定する映像表示判定手段、
複数の復号手段で復号された複数の映像データを映像表示判定手段の判定結果に基づきフレーム処理し合成する映像合成手段、
合成された映像データを出力する映像出力手段
を備えることを特徴とする映像監視表示装置。
【請求項２】
映像合成手段の前段に配設され、各復号手段で復号された映像データを記憶するフレームメモリ、
それぞれの復号手段に対して共通の映像タイムスタンプ情報を生成する映像タイムスタンプ生成手段、
タイムスタンプ抽出手段により抽出されたそれぞれの映像タイムスタンプ情報を比較し、複数の映像ストリームの到達時刻の差から映像再生時刻を求め、求められた映像再生時刻からそれぞれの映像タイムスタンプ情報に対応する映像ストリームを決定し、それぞれの映像ストリームの映像タイムスタンプを、映像タイムスタンプ生成手段により求められた同時刻である共通の映像タイムスタンプに置き換える映像タイムスタンプ置き換え手段、
映像タイムスタンプ置き換え手段により置き換えられた映像タイムスタンプを持つそれぞれの映像ストリームを復号手段への入力を開始する映像再生時刻決定手段、
共通の映像タイムスタンプに置き換えられたそれぞれの映像ストリームを、復号手段にて復号された映像に対する映像タイムスタンプが表示の基準となる表示時刻と比較し、その差分として１フレーム以上遅くなった際には、フレームメモリに記憶されている映像データを１フレーム分繰り返して表示する指示を映像フレームメモリに行う映像表示判定手段を備えることを特徴とする請求項１記載の映像監視表示装置。
【請求項３】
映像合成手段の前段に配設され、各復号手段で復号された映像データを記憶するフレームメモリ、
それぞれの復号手段に対して共通の映像タイムスタンプ情報を生成する映像タイムスタンプ生成手段、
タイムスタンプ抽出手段により抽出されたそれぞれの映像タイムスタンプ情報を比較し、複数の映像ストリームの到達時刻の差から映像再生時刻を求め、求められた映像再生時刻からそれぞれの映像タイムスタンプ情報に対応する映像ストリームを決定し、それぞれの映像ストリームの映像タイムスタンプを、映像タイムスタンプ生成手段により求められた同時刻である共通の映像タイムスタンプに置き換える映像タイムスタンプ置き換え手段、
映像タイムスタンプ置き換え手段により置き換えられた映像タイムスタンプを持つそれぞれの映像ストリームを復号手段への入力を開始する映像再生時刻決定手段、
共通の映像タイムスタンプに置き換えられたそれぞれの映像ストリームを、復号手段にて復号された映像に対する映像タイムスタンプが表示の基準となる表示時刻と比較し、その差分として１フレーム以上早くなった際には、フレームメモリに記憶されている映像データを１フレーム分飛び越して表示する指示を映像フレームメモリに行う映像表示判定手段を備えることを特徴とする請求項１記載の映像監視表示装置。
【請求項４】
それぞれの復号手段に対して共通の映像タイムスタンプ情報を生成する映像タイムスタンプ生成手段、
タイムスタンプ抽出手段により抽出されたそれぞれの映像タイムスタンプ情報を比較し、複数の映像ストリームの到達時刻の差から映像再生時刻を求め、求められた映像再生時刻からそれぞれの映像タイムスタンプ情報に対応する映像ストリームを決定し、それぞれの映像ストリームの映像タイムスタンプを、映像タイムスタンプ生成手段により求められた同時刻である共通の映像タイムスタンプに置き換える映像タイムスタンプ置き換え手段、
映像タイムスタンプ置き換え手段により置き換えられた映像タイムスタンプを持つそれぞれの映像ストリームを復号手段への入力を開始する映像再生時刻決定手段、
共通の映像タイムスタンプに置き換えられたそれぞれの映像ストリームを、復号手段にて復号された映像に対する映像タイムスタンプが表示の基準となる表示時刻と比較し、その差分として１フレーム以上遅くなった際には、上記映像タイムスタンプ置き換え手段が置き換える共通の映像タイムスタンプとして他の共通の映像タイムスタンプより１フレーム分加算したタイムスタンプに置き換える処理を映像タイムスタンプ置き換え手段に指示する映像表示判定手段を備えることを特徴とする請求項１記載の映像監視表示装置。
【請求項５】
それぞれの復号手段に対して共通の映像タイムスタンプ情報を生成する映像タイムスタンプ生成手段、
タイムスタンプ抽出手段により抽出されたそれぞれの映像タイムスタンプ情報を比較し、複数の映像ストリームの到達時刻の差から映像再生時刻を求め、求められた映像再生時刻からそれぞれの映像タイムスタンプ情報に対応する映像ストリームを決定し、それぞれの映像ストリームの映像タイムスタンプを、映像タイムスタンプ生成手段により求められた同時刻である共通の映像タイムスタンプに置き換える映像タイムスタンプ置き換え手段、
映像タイムスタンプ置き換え手段により置き換えられた映像タイムスタンプを持つそれぞれの映像ストリームを復号手段への入力を開始する映像再生時刻決定手段、
共通の映像タイムスタンプに置き換えられたそれぞれの映像ストリームを、復号手段にて復号された映像に対する映像タイムスタンプが表示の基準となる表示時刻と比較し、その差分として１フレーム以上早くなった際には、上記映像タイムスタンプ置き換え手段が置き換える共通の映像タイムスタンプとして他の共通の映像タイムスタンプより１フレーム分減算したタイムスタンプに置き換える処理を映像タイムスタンプ置き換え手段に指示する映像表示判定手段を備えることを特徴とする請求項１記載の映像監視表示装置。
【請求項６】
監視対象を撮影し、撮影した映像データを符号化して映像ストリームを生成し、この映像ストリームを伝送路に送信する複数の監視カメラと、
伝送路より受信した複数の映像ストリームを復号し、復号された映像データを合成し、1つの映像データとして表示可能な信号を生成する映像監視表示装置とを備えた映像監視システムにおいて、
上記映像監視表示装置は請求項１〜５の何れか1項に記載の構成にされ、
上記複数の監視カメラは各々、
監視対象を撮影した映像データを符号化して映像ストリームを生成する符号化手段、
上記映像監視表示装置からの符号化基準時間の設定の通知により複数の映像を符号化する複数の符号化手段に対して共通の符号化基準時間を与え、符号化基準時間が与えられたとき、符号化手段の符号化を一時停止する基準時間設定手段、
上記基準時間設定手段により、基準時間が与えられた際に、その基準時間より符号化手段の符号化を再開させる符号化再開手段
複数の符号化手段により符号化された映像ストリームを伝送路に送信する複数の送信手段を備えることを特徴とする映像監視システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−２９９６９（Ｐ２０１１−２９９６９Ａ）
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願番号】特願２００９−１７４０３８（Ｐ２００９−１７４０３８）
【出願日】平成２１年７月２７日（２００９．７．２７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願日】平成２１年７月２７日（２００９．７．２７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]