説明

送信装置、受信システム、通信システム、送信方法、受信方法、及びプログラム

【課題】複数のカメラの映像信号をまとめて画像受像機に送るシステムにおいて、メインとなるカメラの映像を高画質に伝送するとともに、メインとなるカメラが切り換わった場合に、違和感を生じさせることなく映像を切り換える。
【解決手段】送信装置は、映像のパケット信号を生成するパケット信号生成部と、前記パケット信号を、他の送信装置と共通に使用される非同期伝送網を介して送信する送信部と、映像の圧縮レートを制御する圧縮レート制御部と、を備え、映像の圧縮レートの切り換わりのタイミングを示す切換タイミング情報を前記映像信号とともに送信する。

【発明の詳細な説明】
【技術分野】
【0001】
本開示は、送信装置、受信システム、通信システム、送信方法、受信方法、及びプログラムに関する。
【背景技術】
【0002】
従来から、例えば下記の特許文献1に記載されているように、複数のカメラとカメラコントロールユニット(CCU)を備えるシステムが知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平09−238277号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、イーサネット(登録商標)などのパケット伝送網を経由して、複数のカメラの映像から送られた映像信号を伝送する場合に、複数のカメラの映像信号をネットワークスイッチと称されるスイッチを介して1本のケーブルにまとめて画像受像機に送信することで、システムをより簡素に構成することができる。
【0005】
しかしながら、イーサネットケーブル1本で伝送できる伝送容量は限られているため、多数のカメラからの映像を伝送する場合、全てのカメラの映像を高画質にすると、全ての映像を伝送できなくなる事態が生じる。
【0006】
このため、メインとなるカメラだけを他のカメラよりも高画質とし、全体としての伝送量を抑えることが考えられる。しかし、この場合、メインとなるカメラを他のカメラに切り換えた際に、画質の変化が生じ、視聴者に違和感を与えてしまう。
【0007】
上記事情に鑑みれば、複数のカメラの映像信号をまとめて画像受像機に送るシステムにおいて、メインとなるカメラの映像を高画質に伝送するとともに、メインとなるカメラが切り換わった場合に、違和感を生じさせることなく映像を切り換えることが望ましい。
【課題を解決するための手段】
【0008】
本開示によれば、映像のパケット信号を生成するパケット信号生成部と、前記パケット信号を、他の送信装置と共通に使用される非同期伝送網を介して送信する送信部と、映像の圧縮レートを制御する圧縮レート制御部と、を備え、映像の圧縮レートの切り換わりのタイミングを示す切換タイミング情報を前記映像信号とともに送信する、送信装置が提供される。
【0009】
また、本開示によれば、非同期伝送網を介して複数のカメラから映像のパケット信号を受信する受信部と、前記パケット信号に含まれる、映像の圧縮レートの切換タイミング情報を取得する切換タイミング取得部と、前記切換タイミング情報に応じて前記複数のカメラの映像を切り換える切換部と、を備える、受信システムが提供される。
【0010】
また、本開示によれば、映像のパケット信号を生成するパケット信号生成部と、前記パケット信号を、他の送信装置と共通に使用される非同期伝送網を介して送信する送信部と、映像の圧縮レートを制御する圧縮レート制御部と、を有し、映像の圧縮レートの切り換わりのタイミングを示す切換タイミング情報を前記映像信号とともに送信する、送信装置と、前記非同期伝送網を介して複数の前記送信装置から映像のパケット信号を受信する受信部と、前記パケット信号に含まれる前記切換タイミング情報を取得する切換タイミング取得部と、前記切換タイミング情報に応じて前記複数のカメラの映像を切り換える切換部と、を備える、受信システムと、を備える、通信システムが提供される。
【0011】
また、本開示によれば、非同期伝送網を介して複数のカメラから映像のパケット信号を受信する受信部と、映像の圧縮レートの制御信号を送信する制御信号送信部と、少なくとも前記非同期伝送網の遅延時間を含む所定のパラメータに基づいて、映像の圧縮レートの切換タイミングを演算する切換タイミング演算部と、前記切換タイミングに基づいて前記複数のカメラの映像を切り換える切換制御部と、を備える、受信システムが提供される。
【発明の効果】
【0012】
本開示によれば、複数のカメラの映像信号をまとめて画像受像機に送るシステムにおいて、メインとなるカメラの映像を高画質に伝送するとともに、メインとなるカメラが切り換わった場合に、違和感を生じさせることなく映像を切り換えることができる。
【図面の簡単な説明】
【0013】
【図1】カメラ制御装置を用いたカメラ制御システムのブロック図である。
【図2】ビデオスイッチャーでのカメラの映像の切り換えのシーケンスを示す模式図である。
【図3】イーサネットを利用した場合のシステム構成を示す模式図である。
【図4】図3に示すシステムにおいて、例えば伝送遅延が10msのシステムの場合のシーケンスを示す模式図である。
【図5】一例として、カメラ側でのエンコードに6msの時間を要する場合を示す模式図である。
【図6】映像フレームのデータ(パケット信号)を示す模式図である。
【図7】RTPヘッダ(RTP Extension Header)にメインカメラである旨のフラグが付加されている場合に、ビデオスイッチャー側で行われる処理の流れを示すフローチャートである。
【図8】画像受像機の構成を示す模式図である。
【図9】カメラの構成を示す模式図である。
【図10】第2の実施形態において、映像が切り換わるタイミングを算出する手法を示す模式図である。
【発明を実施するための形態】
【0014】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0015】
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1−1.前提となる技術
1−2.本実施形態の概要
1−3.本実施形態の処理フロー
2.第2の実施形態
【0016】
1.第1の実施形態
1−1.前提となる技術
最初に、本開示の前提となる技術について説明する。図1は、カメラ制御装置を用いたカメラ制御システムのブロック図である。このカメラシステムは、一例としてテレビ局のスタジオなどで用いられるもので、カメラ制御装置として複数のCCU(カメラ・コントロール・ユニット)100と、各CCU100にカメラケーブルを介して接続された複数のカメラ(CHU(カメラ・ヘッド・ユニット))200と、CCU100との間でビデオ信号やリターンビデオ信号などの信号の送受信を行うビデオスイッチャー300と、各CHU200とCCU100の映像同期を取るために基準となる標準信号を出力する標準信号発生器400から構成されている。各カメラ200は、撮像光学系や撮像素子(CCD、CMOSセンサーなど)を含むカメラ部200Aと、撮像素子で取得した映像データを送信する送信機200Bとから構成されている。
【0017】
図1において、各CCU100は、標準信号発生器400からの基準信号に同期した映像信号をカメラ(CHU)200から受信する必要がある。そこで、CCU100は標準信号発生器400からの基準信号をカメラ200に伝送し、カメラ200ではこの基準信号に同期した映像信号をCCU100に伝送する。しかしながら、実際にはカメラ200とCCU100間のカメラケーブルの伝送遅延、CCU100の処理遅延などにより、ビデオスイッチャー300に到達する映像信号にタイミングの誤差が生じることになる。そこで、各CCU100からの映像信号がビデオスイッチャー300へ入力される段階でそれぞれタイミングが一致するように、カメラ200では、映像信号の送出タイミングの微調整を行っている。これにより、ビデオスイッチャー300でのCHU200からの映像信号の入力タイミングの同一性を保証することができる。
【0018】
ビデオスイッチャー300の役割は、複数のカメラ100からの入力を切り換えボタンなどの操作により切り換えることで、映像を瞬時に切り換えることである。また、映像を切り換える際に、ワイプ処理やストライプ処理を行ったり、或いは二画面合成処理等を行うこともビデオスイッチャー300の役割である。
【0019】
上述のように、各カメラ200では、映像信号の送出タイミングの微調整を行っている。このため、ビデオスイッチャー300での各カメラ200からの映像信号の入力タイミング、すなわちフレーム位相タイミングは、完全に揃った状態となるように調整が行われている。このように調整を施しておくことにより、ビデオスイッチャー300でカメラを切り換えたときに、フレームの切れ目で映像が乱れることが無く、綺麗にカメラ200の映像を切り換えることが可能になる。
【0020】
図2は、ビデオスイッチャー300でのカメラ200の映像の切り換えのシーケンスを示す模式図である。一般的に、カメラ200からビデオスイッチャー300までの伝送距離は、比較的長距離にはならず、また、画像の圧縮/伸張にかかる時間も生じない。このため、図2に示すように、カメラ100から出力された映像のフレームの先頭がビデオスイッチャー300に到達した時点における遅延時間は1ms未満と見込まれる。ここで、映像のフレーム間隔は、約33ms、すなわち60fps(フレーム/秒)とする。ビデオスイッチャー300上のスイッチ操作により、時刻t0でカメラ200の切り換え操作が行われると、実際の映像は、その操作が行われた後に受信した最初のフレームの先頭で切り換わることになる(時刻t1)。フレームの先頭がビデオスイッチャー300に到達した直後に切り換えを行った場合を考慮すると、切り換わりに要する最大の遅延時間は33msとなる。
【0021】
ところで、図1のようなライブ映像のカメラシステム(ライブプロダクションのカメラシステム)においても、画像を圧縮して、安価で汎用的なイーサネット(Ethernet(登録商標))を利用して、映像を同期伝送することが想定される。イーサネットを利用することにより、伝送距離を数10kmから200km程度にすることが可能であり、また、それ以上の伝送距離にすることも可能になる。仮に伝送距離を200kmとすると、伝送遅延は10ms程度となる。
【0022】
図3は、イーサネットを利用した場合のシステム構成を示す模式図である。イーサネットを利用する場合、複数のカメラ200A、カメラ200B、カメラ200Cを、ネットワークスイッチ500を介して1つの画像受像機(カメラ受像機)600に接続することができる。各カメラ200A,200B,200Cには、映像信号をイーサネットへ送出するための送信機210A,210B,210Cが設けられている。
【0023】
このように、図3に示すシステムでは、図1のような1対1(ポイントtoポイント)の接続とは異なり、イーサネットなどを用いたスター接続、すなわちネットワークスイッチ500(図3中ではスイッチングハブ(Sw Hub)と記載)による接続を用いている。これにより、複数のカメラ200A,200B,200Cの映像を1本のイーサケーブルに纏めて1つの画像受像機600に伝送することが可能となる。
【0024】
ここで、ネットワークとして、ギガビットイーサネット(Gigabit Ethernet)を利用するものとし、イーサネットケーブル1本で伝送できる伝送容量は最大で1Gbpsとする。ネットワークスイッチ500と画像受像機600の間の伝送容量は1Gbpsとなるので、各カメラ200A,200B,200Cの伝送レート(Rate)を440Mbpsとすると、ネットワークスイッチ500と画像受像機600の間では3本分の伝送となり、440Mbps×3=1320Mbpsとなり、全てを伝送することが困難になる。
【0025】
そこで、ビデオスイッチャー300で選択されているメインのカメラ200の伝送レート(Rate)は440Mbpsとして、それ以外のカメラの伝送レートは110Mbpsに低下させることを想定する。これにより、440Mbps+110Mbps×2=660Mbpsとなり、余裕をもって1Gbpsの伝送路に3本分のカメラ映像を伝送することが可能となる。なお、一例として、440Mbpsのメインのカメラ200の映像が実際の放送用の映像等として使用され、他の110Mbpsのカメラ200の映像はモニタリング用として使用される。
【0026】
図4は、図3に示すシステムにおいて、例えば伝送遅延が10msのシステムの場合のシーケンスを示す模式図である。ビデオスイッチャー300でカメラ200の切り換え操作が行われると、図1のシステムであればビデオスイッチャー300だけで映像信号の切換を行っていれば良かったが、図3のシステムでは、カメラの切り換えに合わせて伝送レート(Rate)の変更を行うため、伝送レートの制御信号をカメラ200側に伝送する。
【0027】
図4の例では、ビデオスイッチャー300で映像の切り換えを指示してから、その制御信号がカメラ200側に到達するまでに、10msの伝送遅延が生じている。このため、図4の例では、ビデオスイッチャー300における映像の切り換えタイミング(時刻t10)の後、次の最初のフレーム先頭位置(時刻t11)では、制御信号がカメラ200側に到達していないため、伝送レートを更新することができない。このため、更に1フレーム後の次のフレーム先頭位置(時刻t12)で伝送レートが更新され、時刻t13にて伝送レートが更新された映像がビデオスイッチャー300に到達することになる。従って、ビデオスイッチャー300では、制御信号に基づいて実際に伝送レートが更新された映像を時刻t13で受け取った際に、映像を切り換えることが可能となる。
【0028】
このように、ビデオスイッチャー300は、実際に伝送レート(Rate)が切り換わるタイミングで画像を切り換える必要があるが、ビデオスイッチャー300に接続されているカメラ200の遅延は一律ではない。このため、カメラ200によって、実際に伝送レート(Rate)が切り換わるタイミングがビデオスイッチャー300による切り換え指示の1フレーム後であったり、2フレーム後であったりするなど、切り換わるタイミングがまちまちになりバラツキが生じる。
【0029】
更に、カメラ側では、映像のエンコードが所定時間かけて行われるため、映像の切り換えの際には、エンコード時間を考慮する必要がある。詳細に説明すると、カメラ200側では、撮像素子(イメージャー)で撮像した画像をエンコード(Encode)処理するために、数ms〜数十msの時間を要する。図5は、一例として、カメラ200側でのエンコードに6msの時間を要する場合を示している。カメラ200では、実際のフレームの先頭が送出されるタイミング(時刻t20)よりも6msだけ前倒しした時刻t21において、映像のイメージャー入力に対してエンコード処理を行って、6ms後のエンコード処理終了後(時刻t20)にフレーム先頭として映像信号を出力し始めている。従って、伝送レートを切り換えるためには、フレームのエンコードを開始するタイミング(時刻t21)以前に制御信号がカメラ200に到達することが必要となる。時刻t21以前に制御信号がカメラ200に到達することにより、カメラ200は、時刻t20において、フレームの先頭から更新された伝送レートで送信することが可能である。
【0030】
従って、伝送レートの制御信号がカメラ200へ到着するタイミングが、フレームの先頭を送出するタイミング(時刻t20)以前であったとしても、エンコードに必要な時間(ここでは6msとする)よりも以前に到達していなければ、そのフレームの先頭から伝送レートを更新することはできない。このため、図5の例では、更新された伝送レートでカメラ200から送信できるのは、1フレーム後の時刻t22になる。そして、ビデオスイッチャー300では、更新された伝送レートのフレームがに到達する時刻t23において、実際に映像を切り換えることが可能となる。
【0031】
また、映像フレーム間予測を用いたエンコード方式によっては、伝送レートの変更に1フレームまで待つ必要がある。以上のように、ビデオスイッチャー300に接続される各カメラ200の伝送遅延、エンコード時間、エンコード方式等によって、ビデオスイッチャー300が実際に伝送レートが更新された映像信号を受信するタイミングはまちまちとなり、ビデオスイッチャー300が実際に伝送レートを更新するタイミングにバラツキが生じる。
【0032】
また、仮に、ビデオスイッチャー300の切り換え操作のタイミング(図4及び図5のt10)から、無条件に次のフレームの先頭で映像を切り替えることにすると、制御信号の到達の遅れやエンコード時間等の要因により、伝送レートの切り換えタイミングが遅いカメラ200が出現することが考えられる。そして、このようなカメラ200から送信された最初の数フレームの映像は、伝送レートの更新前であるため、低解像度の映像になるという問題が生じる。
【0033】
一方、最初から余裕をもって,ビデオスイッチャー300の切り換え操作のタイミングから、無条件に数フレーム(例えば5フレームなど)後に映像を切り換えることも考えられる。しかしながら、この場合、カメラ200側で伝送レートを更新した後も、ビデオスイッチャー300側ではメインとなるカメラ200の切り換えを行わない状況が生じるため、今度は、切り替え直前の数フレームの映像が低解像度になってしまうことが想定される。
【0034】
そこで、本実施形態は、上述のような伝送レートの制御を行うシステムにおいて、所望のタイミングで、且つ映像に劣化を生じさせることなく、映像を切り換えることを可能にするビデオスイッチャー制御方式を実現する。
【0035】
1−2.本実施形態の概要
本実施形態では、映像フレームの先頭にメインのカメラ200(メインの映像として選択されたカメラ)であることのフラグ(メインカメラフラグ)を付加して、このフラグを検出した場合に映像を切り換える。図6は、映像フレームのデータ(RTPパケット)を示す模式図である。メインのカメラ200であることを示すフラグは、図6に示すRTPヘッダ(RTP Header)、ピクチャヘッダ(Picture Header)などのヘッダに情報として付加することができる。なお、図6では省略しているが、UDP/IPネットワークの場合には、図6のデータの先頭にIPヘッダ(IP Header)が付加される。フラグはIPヘッダに付加しても良い。なお、ピクチャヘッダ(Picture Header)は、映像フレームの先頭に付加されるヘッダであり、映像のコーデック(Codec)により様々な呼称がある。
【0036】
1−3.本実施形態の処理フロー
図7は、RTPヘッダ(RTP Extension Header)にメインカメラである旨のフラグが付加されている場合に、ビデオスイッチャー300(画像受像機600)側で行われる処理の流れを示すフローチャートである。先ず、ステップS10では、ビデオスイッチャー300がカメラ200から送られた映像のパケットを受信する。次のステップS12では、RTP Extension Headerを抽出し、RTP Extension Headerの所定位置に書き込まれているメインカメラフラグを読み込む。
【0037】
次のステップS14では、メインカメラフラグが“1”であるか否かを判定し、メインカメラフラグが“1”の場合はステップS16へ進む。ステップS16に進んだ場合、メインカメラフラグが“1”であるため、フレームの切り換えの先頭パケットであると判断して、このパケットのデコード結果の映像出力から、ビデオスイッチャー300の映像を切り換える処理を行う。
【0038】
一方、ステップS14でメインカメラフラグが“1”でない場合は、ステップS18へ進む。ステップS18では、このパケットではフレームの切り換えが無いと判断して、ステップS10へ戻り、次のパケットの受信を行う。
【0039】
なお、上述した例では、パケットのHeaderのフラグに基づいて、切り換えの先頭位置を検出したが、専用のフラグを用いずに、その映像パケットの伝送レートやデータレングスを示すフィールドをビデオスイッチャー300(画像受像器310)で常に監視しておき,この値の変化点(伝送レートが高くなった時点、データレングスが長くなった時点)で画像を切り換えることも可能である。この場合、専用のフラグを用いることなく、画像を切り換えることができる。
【0040】
また、映像用のパケットで切り換えの先頭位置を判断するのではなく、映像用とは別の制御パケット(RTCPパケット)を用い、ビデオスイッチャー300が制御パケットを受信した場合に映像を切り換える構成にすることも可能である。
【0041】
なお、上述の処理は、ビデオスイッチャー300にて行うことができるが、ネットワークスイッチ500からパケットを直接受信する画像受像機310にて行うこともできる。
【0042】
1−4.画像受像機の構成例
図8は、上述した処理を実現するための画像受像機600の構成を示す模式図である。なお、画像受像機600とビデオスイッチャー300とは、一体に構成されていても良いし、別体に構成されていても良い。画像受像機600は、ネットワークスイッチ500から入力された各カメラ200の映像データ等をデコードする。図8に示すように、画像受像機600は、イーサPHY610、イーサMAC620、バッファ630、デコーダ640、信号解析部650、タイミング発生部660を有して構成される。
【0043】
ビデオスイッチャーは、切換タイミング演算部310、切換制御部320を備える。また、ビデオスイッチャーは、ユーザによるカメラ200の切換操作が入力される入力部(不図示)を備える。ユーザによるカメラ200の切換操作に基づいて、伝送レートの制御信号がイーサPHY610からカメラ200に送信される。
【0044】
図8に示す各構成要素は、回路(ハードウェア)、またはCPU(中央演算処理装置)とこれを機能させるためのプログラム(ソフトウェア)によって構成されることができる。この場合において、そのプログラムは、カメラ受像器400が備えるメモリなどの記憶媒体、または外部から接続される記憶媒体に格納されることができる。
【0045】
ネットワークから受信したA/Vパケットや制御パケットは、イーサPHY610、イーサMAC620を経由して、ジッタ吸収のためのバッファ630に入力される。信号解析部650は、映像フレームの先頭に挿入されたメインカメラフラグを抽出し、解析する。信号解析部650は、映像フレームの先頭に挿入されたメインカメラフラグを抽出した場合は、切換制御信号をビデオスイッチャー300へ送る。切換制御信号には、メインカメラとなるカメラを特定する情報を含む。
【0046】
デコーダ640は、バッファ630から送られたA/Vパケットや制御パケットなどのパケットをデコードする。デコーダ640の出力は、ビデオスイッチャー300へ送られる。
【0047】
ビデオスイッチャー300は、信号解析部650から切換制御信号を受信すると、メインカメラフラグが“1”である映像信号を送信したカメラ200がメインカメラとなるように映像信号を切り換える。これにより、メインカメラフラグが“1”の場合は、フレームの切り換えの先頭パケットであると判断して、このパケットのデコード結果の映像出力から、ビデオスイッチャー300の映像を切り換えることが可能となる。
【0048】
また、信号解析部650は、映像パケットの伝送レートやデータレングスを示すフィールドを常に監視し、この値の変化点(伝送レートが高くなった時点、データレングスが長くなった時点)を検出すると、切換制御信号をビデオスイッチャー300へ送る。これにより、専用のフラグを用いることなく、画像を切り換えることができる。
【0049】
更に、信号解析部650は、映像用とは別の制御パケット(RTCPパケット)を用いて映像を切り換える場合は、制御パケットを受信した時点で切換タイミング信号をビデオスイッチャー300へ送る。これにより、制御パケットに基づいて画像を切り換えることが可能となる。
【0050】
1−5.カメラの構成例
図9は、カメラ200の構成例を示す模式図である。図9に示すように、カメラ200は、CCDやCMOSなどの撮像センサ210、画像LSI220、エンコーダ230、バッファ240、イーサMAC250、イーサPHY260、切換タイミング情報挿入部270、タイミング発生部280、伝送レート制御情報取得部290を有して構成される。図9に示す各構成要素は、回路(ハードウェア)、またはCPU(中央演算処理装置)とこれを機能させるためのプログラム(ソフトウェア)によって構成されることができる。この場合において、そのプログラムは、カメラ(1)200が備えるメモリなどの記憶媒体、または外部から接続される記憶媒体に格納されることができる。
【0051】
撮像センサ210から取り込まれた映像データーは、画像LSI220で処理され、ネットワーク伝送に適したフォーマットにするためにエンコーダ230でエンコードされ、パケット化される。
【0052】
ここで、撮像センサ210、画像LSI220、エンコーダ230は、リファレンス信号から生成されたフレーム同期信号(Frame Sync.)とクロック(Clock)により動作タイミングが決定される。この動作タイミングは、タイミング発生部280で生成される。各カメラ200,300におけるフレーム同期信号のタイミングは、伝送路の遅延やエンコーダ230の遅延に応じて前倒しされ、画像受像機600におけるフレーム同期信号よりも早いタイミングに設定されることができる。これにより、画像受像機600では、伝送路の遅延やエンコーダ230の遅延による影響を受けることなく、カメラ受像器400におけるフレーム同期信号に同期したデコード映像を得ることができる。なお、カメラ200と画像受像機600とは、同一のリファレンス信号によって同期して動作することが可能である。
【0053】
伝送レート制御情報取得部290は、ビデオスイッチャー300側での映像の切換に応じて送信された伝送レートの制御情報を受信する。エンコーダ230は、伝送レートの制御情報に基づいて、映像データの圧縮率を制御する。伝送レートの制御情報には、メインカメラであることを示す情報が含まれることができる。
【0054】
また、切換タイミング情報挿入部270は、伝送レートの制御情報に基づいて、映像のパケット信号のヘッダに、メインカメラであることを示す情報を挿入する。上述の例では、切換タイミング情報挿入部270は、パケットのヘッダーにメインカメラフラグ“1”を設定する。また、その映像パケットの伝送レートやデータレングスを示すフィールドの変化点によりメインカメラであることの情報をパケットに挿入する場合は、切換タイミング情報挿入部270は、伝送レートの制御情報に基づいて、各フィールドに変化点を示す情報を挿入する。更に、映像用とは別の制御パケット(RTCPパケット)を用いる場合は、切換タイミング情報挿入部270は、制御パケットを映像用のパケットとは別に挿入する。
【0055】
エンコーダ230からパケットが出力された後、イーサMAC250に入力されるまでの時間を吸収(調整)するためにバッファ240が設けられている。パケット信号は、イーサMAC250で所定の手続きが行われた後、イーサPHY260で処理されてネットワークに送出される。イーサMAC250では、パケットに対して送信先のアドレスなどの制御情報を付加し、MACフレーム単位でデータの送信を行う。イーサPHY260では、ネットワークの物理的な接続・伝送方式に応じて、データが伝送網500に送信される。
【0056】
以上説明したように第1の実施形態によれば、受信した信号に基づいてメインカメラへの切り換えを行うことにより、ビデオスイッチャー300でカメラを切り換えたときに、切り換えの前後で伝送レートの低下による画像の劣化が生じてしまうことを確実に抑止できる。
【0057】
2.第2の実施形態
次に、本開示の第2の実施形態について説明する。第2の実施形態では、伝送遅延を測定して、この伝送遅延量とカメラ200側でエンコードに必要な時間を鑑みて、ビデオスイッチャー300側で映像が切り換わるタイミングを算出する。そして、ビデオスイッチャー300では、算出したタイミングで映像を切り換える。
【0058】
図10は、映像が切り換わるタイミングを算出する手法を示す模式図である。図10に示すように、カメラ200でのフレーム先頭パケットの送信時刻をT0,T1,T2・・・とする。また、ビデオスイッチャー300でのフレーム毎の反映時刻(フレーム毎の受信時刻)をT’0,T’1,T’2・・・とする。また、伝送レートの制御信号の伝送遅延時間をDとし、カメラ200でのエンコード時間をEとする。
【0059】
図10に示すように、フレームの周期を33msとすると、時刻T1はT0+33[ms]となる。時刻T1から伝送遅延時間Dとエンコード時間Eを減算した時刻
(T0 + 33)−E−Dよりも後に、ビデオスイッチャー300の切替え動作が行われた場合は、時刻 (T0 + 33)−E−Dよりも後に伝送レートの制御信号がビデオスイッチャー300から送信される。この場合、時刻T’1でビデオスイッチャー300に到着するパケットは、制御信号がカメラ200に到達する以前にエンコードされたものであるため、時刻T’1での実際の映像の切り換えは行なわず、時刻T’2で実際の映像を切り換えるように制御する。
【0060】
一方、時刻 (T0 + 33)−E−Dよりも以前にビデオスイッチャー300の切り換え動作が行われた場合には、時刻T’1で実際の映像を切り換えるように制御する。時刻T’1で到着するパケットは、制御信号がカメラ200に到達した後にエンコードされたものであるため、カメラ200側では伝送レートの変更等の処理が行われている。従って、この場合は、時刻T’1で実際の映像を切り換えるように制御する。
【0061】
このため、図8に示すように、ビデオスイッチャー300は、切換タイミング演算部310、及び切換制御部320を備えている。切換タイミング演算部310は、映像切り換えの動作が入力された時刻と、伝送遅延時間D、エンコード時間E等に基づいて、映像を実際に切り換えるタイミングを演算する。切換制御部320は、切換タイミング演算部310が演算したタイミングに基づいて、実際の映像の切り換えを行う。
【0062】
より詳細には、ビデオスイッチャー300の切り換え操作のタイミングの時刻Tが、以下の式(1)を満たす場合は、実際の映像の切り替えタイミングは時刻T’1となる。
(T0+33)−E−D ≦T<(T1+33)−E−D ・・・(1)
【0063】
同様に、ビデオスイッチャー300の切り換え操作のタイミングの時刻が、以下の式(2)を満たす場合は、実際の映像の切り替えタイミングは時刻T’2となる。
(T1+33)−E−D ≦T<(T2+33)−E−D
【0064】
なお、上記の例は、1フレームの周期を33msとした場合であり、エンコード処理を必要とした場合の例である。また、前提条件として,カメラ200とビデオスイッチャー300は時刻同期して動作しており、ビデオスイッチャー300側では、フレームパケットの送信時刻T0,T1,T2・・・を知ることが可能であるものとする。
【0065】
以上説明したように第2の実施形態によれば、伝送レートの制御信号の伝送遅延時間D、エンコード時間E等に応じて、ビデオスイッチャー300側で映像の切り換えタイミングを制御することができる。従って、最適なタイミングで映像を切り換えることができ、所望の伝送レートで映像を視認することが可能となる。
【0066】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0067】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)映像のパケット信号を生成するパケット信号生成部と、
前記パケット信号を、他の送信装置と共通に使用される非同期伝送網を介して送信する送信部と、
映像の圧縮レートを制御する圧縮レート制御部と、を備え、
映像の圧縮レートの切り換わりのタイミングを示す切換タイミング情報を前記映像信号とともに送信する、送信装置。
【0068】
(2)映像の圧縮レートの切り換わりのタイミングを示す切換タイミング情報を前記パケット信号に挿入する切換タイミング情報挿入部を備える、前記(1)に記載の送信装置。
【0069】
(3)前記切換タイミング情報挿入部は、前記切換タイミング情報として、前記パケット信号のヘッダに専用のフラグを挿入する、前記(2)に記載の送信装置。
【0070】
(4)前記切換タイミング情報挿入部は、前記切換タイミング情報として、前記パケット信号のヘッダに記載される伝送レート情報を用いて、前記タイミング情報を挿入する、前記(2)に記載の送信装置。
【0071】
(5)前記切換タイミング情報挿入部は、前記切換タイミング情報として、前記パケット信号のヘッダに記載されるデータレングスを用いて、前記タイミング情報を挿入する、前記(2)に記載の送信装置。
【0072】
(6)前記パケット信号のパケットとしてRTPパケットを用いる、前記(1)に記載の送信装置。
【0073】
(7)前記パケット信号のパケットとしてRTCPパケットを用いる、前記(1)に記載の送信装置。
【0074】
(8)非同期伝送網を介して複数のカメラから映像のパケット信号を受信する受信部と、
前記パケット信号に含まれる、映像の圧縮レートの切換タイミング情報を取得する切換タイミング取得部と、
前記切換タイミング情報に応じて前記複数のカメラの映像を切り換える切換部と、
を備える、受信システム。
【0075】
(9)前記切換タイミング情報は、前記パケット信号のヘッダに挿入された専用のフラグである、前記(8)に記載の受信システム。
【0076】
(10)前記切換タイミング情報は、前記パケット信号のヘッダに記載される伝送レート情報である、前記(8)に記載の受信システム。
【0077】
(11)前記切換タイミング情報は、前記パケット信号のヘッダに記載されるデータレングス情報である、前記(8)に記載の受信装置。
【0078】
(12)映像のパケット信号を生成するパケット信号生成部と、
前記パケット信号を、他の送信装置と共通に使用される非同期伝送網を介して送信する送信部と、
映像の圧縮レートを制御する圧縮レート制御部と、を有し、
映像の圧縮レートの切り換わりのタイミングを示す切換タイミング情報を前記映像信号とともに送信する、送信装置と、
前記非同期伝送網を介して複数の前記送信装置から映像のパケット信号を受信する受信部と、
前記パケット信号に含まれる前記切換タイミング情報を取得する切換タイミング取得部と、
前記切換タイミング情報に応じて前記複数のカメラの映像を切り換える切換部と、
を備える、受信システムと、
を備える、通信システム。
【0079】
(13)映像のパケット信号を生成することと、
前記パケット信号を、他の送信装置と共通に使用される非同期伝送網を介して送信すること、
映像の圧縮レートを制御することと、
映像の圧縮レートの切り換わりのタイミングを示す切換タイミング情報を前記パケット信号に挿入することと、
を備える、送信方法。
【0080】
(14)映像のパケット信号を生成する手段、
前記パケット信号を、他の送信装置と共通に使用される非同期伝送網を介して送信する手段、
映像の圧縮レートを制御する手段、
映像の圧縮レートの切り換わりのタイミングを示す切換タイミング情報を前記パケット信号に挿入する手段、
としてコンピュータを機能させるためのプログラム。
【0081】
(15)非同期伝送網を介して複数のカメラから映像のパケット信号を受信することと、
前記パケット信号に含まれる、映像の圧縮レートの切換タイミング情報を取得することと、
前記切換タイミング情報に応じて前記複数のカメラの映像を切り換えることと、
を備える、受信方法。
【0082】
(16)非同期伝送網を介して複数のカメラから映像のパケット信号を受信する手段、
前記パケット信号に含まれる、映像の圧縮レートの切換タイミング情報を取得する手段、
前記切換タイミング情報に応じて前記複数のカメラの映像を切り換える手段、
としてコンピュータを機能させるためのプログラム。
【0083】
(17)非同期伝送網を介して複数のカメラから映像のパケット信号を受信する受信部と、
映像の圧縮レートの制御信号を送信する制御信号送信部と、
少なくとも前記非同期伝送網の遅延時間を含む所定のパラメータに基づいて、映像の圧縮レートの切換タイミングを演算する切換タイミング演算部と、
前記切換タイミングに基づいて前記複数のカメラの映像を切り換える切換制御部と、
を備える、受信システム。
【0084】
(18)前記切換タイミング演算部は、前記遅延時間と送信側の装置における映像のエンコード時間とに基づいて、前記切換タイミングを演算する、請求項17に記載の受信システム。
【0085】
(19)非同期伝送網を介して複数のカメラから映像のパケット信号を受信することと、
映像の圧縮レートの制御信号を送信することと、
少なくとも前記非同期伝送網の遅延時間を含む所定のパラメータに基づいて、映像の圧縮レートの切換タイミングを演算することと、
前記切換タイミングに基づいて前記複数のカメラの映像を切り換えることと、
を備える、受信方法。
【0086】
(20)非同期伝送網を介して複数のカメラから映像のパケット信号を受信する手段、
映像の圧縮レートの制御信号を送信する手段、
少なくとも前記非同期伝送網の遅延時間を含む所定のパラメータに基づいて、映像の圧縮レートの切換タイミングを演算する手段、
前記切換タイミングに基づいて前記複数のカメラの映像を切り換える手段、
としてコンピュータを機能させるためのプログラム。
【符号の説明】
【0087】
200 カメラ
230 エンコーダ
250 イーサMAC
260 イーサPHY
270 切換タイミング情報挿入部
280 タイミング発生部
300 ビデオスイッチャー
310 切換タイミング演算部
320 切換制御部
600 画像受像機
610 イーサPHY
620 イーサMAC
650 信号解析部


【特許請求の範囲】
【請求項1】
映像のパケット信号を生成するパケット信号生成部と、
前記パケット信号を、他の送信装置と共通に使用される非同期伝送網を介して送信する送信部と、
映像の圧縮レートを制御する圧縮レート制御部と、を備え、
映像の圧縮レートの切り換わりのタイミングを示す切換タイミング情報を前記映像信号とともに送信する、送信装置。
【請求項2】
映像の圧縮レートの切り換わりのタイミングを示す切換タイミング情報を前記パケット信号に挿入する切換タイミング情報挿入部を備える、請求項1に記載の送信装置。
【請求項3】
前記切換タイミング情報挿入部は、前記切換タイミング情報として、前記パケット信号のヘッダに専用のフラグを挿入する、請求項2に記載の送信装置。
【請求項4】
前記切換タイミング情報挿入部は、前記切換タイミング情報として、前記パケット信号のヘッダに記載される伝送レート情報を用いて、前記タイミング情報を挿入する、請求項2に記載の送信装置。
【請求項5】
前記切換タイミング情報挿入部は、前記切換タイミング情報として、前記パケット信号のヘッダに記載されるデータレングスを用いて、前記タイミング情報を挿入する、請求項2に記載の送信装置。
【請求項6】
前記パケット信号のパケットとしてRTPパケットを用いる、請求項1に記載の送信装置。
【請求項7】
前記パケット信号のパケットとしてRTCPパケットを用いる、請求項1に記載の送信装置。
【請求項8】
非同期伝送網を介して複数のカメラから映像のパケット信号を受信する受信部と、
前記パケット信号に含まれる、映像の圧縮レートの切換タイミング情報を取得する切換タイミング取得部と、
前記切換タイミング情報に応じて前記複数のカメラの映像を切り換える切換制御部と、
を備える、受信システム。
【請求項9】
前記切換タイミング情報は、前記パケット信号のヘッダに挿入された専用のフラグである、請求項8に記載の受信システム。
【請求項10】
前記切換タイミング情報は、前記パケット信号のヘッダに記載される伝送レート情報である、請求項8に記載の受信システム。
【請求項11】
前記切換タイミング情報は、前記パケット信号のヘッダに記載されるデータレングス情報である、請求項8に記載の受信システム。
【請求項12】
映像のパケット信号を生成するパケット信号生成部と、
前記パケット信号を、他の送信装置と共通に使用される非同期伝送網を介して送信する送信部と、
映像の圧縮レートを制御する圧縮レート制御部と、を有し、
映像の圧縮レートの切り換わりのタイミングを示す切換タイミング情報を前記映像信号とともに送信する、送信装置と、
前記非同期伝送網を介して複数の前記送信装置から映像のパケット信号を受信する受信部と、
前記パケット信号に含まれる前記切換タイミング情報を取得する切換タイミング取得部と、
前記切換タイミング情報に応じて前記複数のカメラの映像を切り換える切換制御部と、
を備える、受信システムと、
を備える、通信システム。
【請求項13】
映像のパケット信号を生成することと、
前記パケット信号を、他の送信装置と共通に使用される非同期伝送網を介して送信すること、
映像の圧縮レートを制御することと、
映像の圧縮レートの切り換わりのタイミングを示す切換タイミング情報を前記パケット信号に挿入することと、
を備える、送信方法。
【請求項14】
映像のパケット信号を生成する手段、
前記パケット信号を、他の送信装置と共通に使用される非同期伝送網を介して送信する手段、
映像の圧縮レートを制御する手段、
映像の圧縮レートの切り換わりのタイミングを示す切換タイミング情報を前記パケット信号に挿入する手段、
としてコンピュータを機能させるためのプログラム。
【請求項15】
非同期伝送網を介して複数のカメラから映像のパケット信号を受信することと、
前記パケット信号に含まれる、映像の圧縮レートの切換タイミング情報を取得することと、
前記切換タイミング情報に応じて前記複数のカメラの映像を切り換えることと、
を備える、受信方法。
【請求項16】
非同期伝送網を介して複数のカメラから映像のパケット信号を受信する手段、
前記パケット信号に含まれる、映像の圧縮レートの切換タイミング情報を取得する手段、
前記切換タイミング情報に応じて前記複数のカメラの映像を切り換える手段、
としてコンピュータを機能させるためのプログラム。
【請求項17】
非同期伝送網を介して複数のカメラから映像のパケット信号を受信する受信部と、
映像の圧縮レートの制御信号を送信する制御信号送信部と、
少なくとも前記非同期伝送網の遅延時間を含む所定のパラメータに基づいて、映像の圧縮レートの切換タイミングを演算する切換タイミング演算部と、
前記切換タイミングに基づいて前記複数のカメラの映像を切り換える切換制御部と、
を備える、受信システム。
【請求項18】
前記切換タイミング演算部は、前記遅延時間と送信側の装置における映像のエンコード時間とに基づいて、前記切換タイミングを演算する、請求項17に記載の受信システム。
【請求項19】
非同期伝送網を介して複数のカメラから映像のパケット信号を受信することと、
映像の圧縮レートの制御信号を送信することと、
少なくとも前記非同期伝送網の遅延時間を含む所定のパラメータに基づいて、映像の圧縮レートの切換タイミングを演算することと、
前記切換タイミングに基づいて前記複数のカメラの映像を切り換えることと、
を備える、受信方法。
【請求項20】
非同期伝送網を介して複数のカメラから映像のパケット信号を受信する手段、
映像の圧縮レートの制御信号を送信する手段、
少なくとも前記非同期伝送網の遅延時間を含む所定のパラメータに基づいて、映像の圧縮レートの切換タイミングを演算する手段、
前記切換タイミングに基づいて前記複数のカメラの映像を切り換える手段、
としてコンピュータを機能させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate