カメラシステム、映像選択装置及び映像選択方法
【課題】複数のカメラ装置からの映像の中から所望の映像を選択することができ、且つシステム構成を簡素にすること。
【解決手段】本発明に係るカメラシステムは、撮像による映像信号をパケット化して出力する複数のカメラ装置200と、複数のカメラ装置200と接続され、複数のカメラ装置200から伝送される前記映像信号を中継する中継装置500と、を有し、中継装置500は、同期信号に基づいて複数のカメラ装置200間で同期されたそれぞれの映像信号を受信する受信部502と、映像を選択するための制御信号に基づいて、複数のカメラ装置から出力された映像信号を選択して出力するためのスイッチ部504と、を備える。
【解決手段】本発明に係るカメラシステムは、撮像による映像信号をパケット化して出力する複数のカメラ装置200と、複数のカメラ装置200と接続され、複数のカメラ装置200から伝送される前記映像信号を中継する中継装置500と、を有し、中継装置500は、同期信号に基づいて複数のカメラ装置200間で同期されたそれぞれの映像信号を受信する受信部502と、映像を選択するための制御信号に基づいて、複数のカメラ装置から出力された映像信号を選択して出力するためのスイッチ部504と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラシステム、映像選択装置及び映像選択方法に関する。
【背景技術】
【0002】
放送局などで用いるカメラシステムでは、映像信号を出力するカメラヘッドユニット(CHU)と、映像信号が入力されるカメラコントロールユニット(CCU)とが、トライアックスケーブルまたは光ファイバケーブルにより接続されている(特許文献1、2)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−057499号公報
【特許文献2】特開2005−064816号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、このようにCHUとCCUとをトライアックスケーブルまたは光ファイバケーブルにより1対1対応で接続した場合、CHUが撮影した映像信号は、CCUから取り出す必要がある。また、CHUに対するGEN−LOCK信号、コントロール信号、リターン映像信号などは、CCUから入力する必要がある。
【0005】
その結果、放送局などで用いるカメラシステムでは、CCUに多数のケーブルが接続されることがあり、その接続やケーブルの設置に手間がかかる。
【0006】
また、1個のカメラシステムとして構築した後にCHUなどを追加、交換、組み替えようとした場合、CCUのケーブル接続を変更する作業などに大変な手間がかかっている。
【0007】
このようにカメラシステムでは、CCUに対するケーブル接続数を減らし、システム変
更などを容易にすることが求められている。
【0008】
以上の観点から、複数のカメラに対して、同数のCCUを設けるシステムが考えられる。しかしながら、この場合、N台のCCUすべてが復号処理機能を有する必要があり、システムとしてのコスト上昇を避けることができない。また、各CCUとビデオライブスイッチャー間はカメラ台数分のケーブルで配線する必要があるが、実際に放送に使われる映像ソースは、例えばビデオライブスイッチャーで2つの画面をミックス処理するのであれば、2個の入力ソースが入力されればよく、カメラ全数分のケーブル入力の必要はない。このため、複数のカメラに対して同数のCCUを設けたシステムにおいてもシステム構成の中に冗長な部分が生じてしまう。
【0009】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、複数のカメラ装置からの映像の中から所望の映像を選択することができ、且つシステム構成を簡素にすることが可能な、新規かつ改良されたカメラシステム、映像選択装置及び映像選択方法を提供することにある。
【課題を解決するための手段】
【0010】
上記課題を解決するために、本発明のある観点によれば、撮像による映像信号をパケット化して出力する複数のカメラ装置と、前記複数のカメラ装置と接続され、前記複数のカメラ装置から伝送される前記映像信号を中継する中継装置と、を有し、前記中継装置は、同期信号に基づいて前記複数のカメラ装置間で同期されたそれぞれの前記映像信号を受信する受信部と、映像を選択するための制御信号に基づいて、前記複数のカメラ装置から出力された前記映像信号を選択して出力するためのスイッチ部と、を備える、カメラシステムが提供される。
【0011】
また、前記スイッチ部で選択された前記映像信号が入力され、前記映像信号を復号化して伝送するカメラ制御装置を更に備えるものであってもよい。
【0012】
また、前記中継装置は、複数の前記カメラ装置から伝送された前記映像信号に含まれるIPパケットを解析するIPパケット解析部を備え、前記スイッチ部は、外部入力に基づいて生成された制御信号と、前記IPパケットの解析結果とに基づいて前記制御信号に対応するIPパケットを選択するものであってもよい。
【0013】
また、前記スイッチ部は、映像フレームが切り替わる直前で前記映像信号を切替えることにより前記映像信号をフレーム単位で切替えるものであってもよい。
【0014】
また、前記スイッチ部は、前記制御信号に基づく前記映像信号の選択に伴う遅延量を考慮して前記映像信号の選択を行うものであってもよい。
【0015】
また、前記中継装置は、前記映像信号の選択による映像切り替え前後の映像信号の出力タイミングの遅延量を合わせる遅延制御部を備えるものであってもよい。
【0016】
また、前記中継装置は、前記映像信号の選択による映像切り替え前後の映像信号を復号する復号部と、前記映像信号の選択による映像切り替え前後の映像を同時に表示するためのエフェクト部と、を更に備えるものであってもよい。
【0017】
また、前記中継装置は、前記複数のカメラ装置から伝送された映像信号のそれぞれを復号する復号部と、前記復号部で復号された映像信号を合成して表示するための画像合成部と、を更に備えるものであってもよい。
【0018】
また、前記スイッチ部は、同時出力が可能な映像の最大数を考慮して、選択する映像信号を決定して制御するものであってもよい。
【0019】
また、前記カメラ装置は、映像符号化方法として、非圧縮の映像信号または圧縮した映像信号をパケット化するものであってもよい。
【0020】
また、前記カメラ装置は、映像符号化方法として、可逆圧縮した映像信号をパケット化するものであってもよい。
【0021】
また、上記課題を解決するために、本発明の別の観点によれば、同期信号に基づいて複数のカメラ装置間で同期されたそれぞれの映像信号を受信する受信部と、映像を選択するための制御信号に基づいて、前記複数のカメラ装置から出力された前記映像信号を選択して出力するためのスイッチ部と、を備える、映像選択装置が提供される。
【0022】
また、複数の前記カメラ装置から伝送された前記映像信号に含まれるIPパケットを解析するIPパケット解析部を備え、前記スイッチ部は、外部入力に基づいて生成された制御信号と、前記IPパケットの解析結果とに基づいて前記制御信号に対応するIPパケットを選択するものであってもよい。
【0023】
また、前記スイッチ部は、映像フレームが切り替わる直前で前記映像信号を切替えることにより前記映像信号をフレーム単位で切替えるものであってもよい。
【0024】
また、上記課題を解決するために、本発明の別の観点によれば、同期信号に基づいて複数のカメラ装置間で同期されたそれぞれの映像信号を受信するステップと、複数の前記カメラ装置から伝送された前記映像信号に含まれるIPパケットを解析するステップと、映像を選択するための制御信号と、前記IPパケットの情報に基づいて、前記複数のカメラ装置から出力された前記映像信号を選択するステップと、を備える、映像選択方法が提供される。
【発明の効果】
【0025】
本発明によれば、複数のカメラ装置からの映像の中から所望の映像を選択することができ、且つシステム構成を簡素にすることが可能となる。
【図面の簡単な説明】
【0026】
【図1】本発明の各実施形態に係るカメラシステムの概略構成図である。
【図2】第1の実施形態に係るシステムの構成を示す模式図である。
【図3】第1の実施形態の構成を詳細に示すブロック図である。
【図4】映像を符号化したデータを伝送する際に用いられる、RTPフォーマットのヘッダの構成を示す模式図である。
【図5】図4のRTPフォーマットのパラメータ情報を示す模式図である。
【図6】IPスイッチ部にて映像切り替えを行うスイッチ制御の処理フローを示すフローチャートである。
【図7】図6の制御における信号切り換えを説明するための模式図である。
【図8】ビデオフレーム単位で復号化処理を行う場合を示す模式図である。
【図9】第2の実施形態に係るシステムの構成を示す模式図である。
【図10】第2の実施形態の中継装置の構成を示す模式図である。
【図11】第3の実施形態に係る中継装置の構成を示す模式図である。
【図12】第3の実施形態の中継装置の詳細な構成を示す模式図である。
【発明を実施するための形態】
【0027】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0028】
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
(1)前提となる技術
(2)システム構成例
(3)スイッチ制御の処理手順
2.第2の実施形態
(1)システム構成例
3.第3の実施形態
(1)システム構成例
【0029】
1.第1の実施形態
(1)概要
本実施形態に係るカメラ制御システムは、カメラ映像信号をパケット化し、イーサネット(登録商標)等のケーブルを用いてIP伝送し、CCU受信ユニットでIPパケット受信して復号し、映像信号を出力するものである。このシステムにおいて、本実施形態では、複数のカメラの映像の中から所望の映像を選択するIPスイッチ機能と、カメラ映像の選択・制御・エフェクト機能を統合している。既存のシステムでは、複数のカメラと同数のCCUが必要であり、かつCCUとビデオスイッチャー間との配線が多かったが、本実施形態のシステムでは、ビデオスイッチャーの出力に必要な最大数のCCUだけを構成すればよい。また、IPスイッチと制御・選択機能、さらにはエフェクト機能の統合により、CCUの後段のビデオライブスイッチャーと同等の機能を汎用的なスイッチデバイスやイーサネット(登録商標)インタフェースを用いて実現することが可能となる。また、IPによって配線の簡素化や、システムの拡張等の変更や他のIP機器との統合が容易となる。
【0030】
図1は、本発明の各実施形態に係るカメラシステム100の概略構成図である。図1のカメラシステム100は、例えば放送局などで使用されるものであり、カメラヘッドユニット(CHU)200、カメラコントロールユニット(CCU)300を有する。CHU200およびCCU300は、ツイストペアケーブル400により中継装置500に接続されている。なお、ツイストペアケーブル400は、IEEE(The Institute of Electrical and Electronics Engineers, Inc.)802.3などに準拠したものを用いることができる。
【0031】
IEEE802.3は、パケットを用いたデータ通信システムの規格の一種であり、通信データを所定のデータ量ずつパケット化して通信する。このため、図1のカメラシステム100において、CHU200およびCCU300は、ビデオ信号、オーディオ信号、コントロール信号、GEN−LOCK信号などをパケット化し、非同期伝送路を通して伝送する。そして、図1のカメラシステム100では、CHU200とCCU300の途中の中継装置500から、撮像した本線ビデオ信号を含むビデオ信号、オーディオ信号、コントロール信号、GEN−LOCK信号などを取り出したり、または挿入したりすることができる。
【0032】
また、中継装置500は、CHU200が送信したビデオ信号、CCU300が送信したリターンビデオ信号を外部へ出力する。これらの映像は、たとえば各CHU200に接続されたモニタ機器、中継装置500に接続されたモニタ機器(図1において不図示)などで確認することができる。このように図1のカメラシステム100では、CHU200を用いた映像中継システムの構成、設置、運用を低コストで簡単に行うことができる。
【0033】
中継装置500は、複数のポートを備えたスイッチングハブの構成を含む。スイッチングハブは、各ポートから入力されたパケットの宛先に基づいて出力先のポートを選択し、当該パケットを選択したポートから出力する。また、パケットにブロードキャストアドレスが使用されている場合、スイッチングハブは、受信したパケットを基本的にすべてのポートから出力することもできる。
【0034】
既存のカメラシステムにおいては、複数のカメラ200(N台)に対して、CCU200も同数のN台存在する必要があり、CCU200の全出力を後段のビデオライブスイッチャーへ入力している。特にハイビジョン(HD)の映像においては、帯域の制約からビデオコーデックで符号化処理を行うことが多く、N台のCCU200の全てが復号処理機能を有する必要があり、システムとしてのコストは高くなる。
【0035】
また、こうした既存のシステムにおいて、各CCU200とビデオライブスイッチャー間は、HD−SDIのケーブルをN台分配線する必要がある。しかし、実際に放送に使われる映像ソースでは、例えばビデオライブスイッチャーで2つの画面をミックス処理するのであれば、2個の入力ソースが入力されればよく、N台分の入力の必要はない。より複雑なスイッチャーによるマルチソースを使ったエフェクト処理であっても、4画面程度を扱えれば良いことが多く、既存のシステム構成には冗長な部分が存在していた。以上の観点から最小の構成を考慮すると、例えば複数のCCUからの映像を選択して、エフェクトをしないで切替えのみを行って放送する場合には、CCU200は1つあれば良い。
【0036】
従って、ビデオライブスイッチャーやエフェクト処理に必要な数のCCU200に相当する機能があれば、N個の映像ソースに対してN個のCCU200を設ける必要はない。また、カメラからのソースをライブビデオスイッチャーで選択することと、IPスイッチでパケットを選択することは、ソースを選択することに関しては同等の機能を有する。
【0037】
このため、本実施形態では、ライブビデオスイッチャーとIPスイッチの機能・機器を統合制御することで、簡易な構成でシステム構築を可能としている。具体的には、本実施形態では、ライブビデオスイッチャーのように映像フレーム単位で処理を行い、且つ映像フレーム時間未満で処理する装置と同等の機能をIPスイッチを用いて統合制御し、映像フレームを検出してIPパケットをスイッチする。このような制御は、汎用のIPスイッチをベースとするため、安価にかつ柔軟にシステム構築できるシステムが可能となる。
【0038】
本実施形態では、放送局などにおけるライブビデオスイッチャーの機能と同等のことを、IPパケット化して伝送された映像等のデータにおいて行うことができる。すなわち、ライブビデオスイッチャーの映像切替え信号入力に対して、次のフレーム先頭からスイッチャーで映像信号が出力される。従って、IPパケット化の際に符号化して圧縮される場合には、フレーム遅延が生じないコーデック、例えばJPEG2000のラインベースコーデック、低遅延向けのラインベースコーデック、あるいはスライス単位でコーデックを行う。または、MPEG2やH.264/AVCのマクロブロック単位で低遅延処理するコーデックを使用する。これらのコーデックにより、1フレーム未満の符号化・復号化処理が可能である。
【0039】
(2)システム構成例
以下、第1の実施形態について詳細に説明する。図2は、第1の実施形態に係るシステムの構成を示す模式図である。本実施形態は、以下に説明する各実施形態の基本的な構成を示している。図2に示すように、本システムは、複数のカメラ(CHU)200(1〜N)、CCU300、中継装置500、切替え・選択制御部600を有して構成されている。各カメラ200と中継装置500、中継装置500とCCU300は、非同期伝送網によって接続されている。非同期伝送網としてイーサネット(登録商標)を例示できるが、これに限定されるものではない。
【0040】
各カメラ200は、映像をIPパケットにして出力するカメラである。映像データは、非圧縮データであっても、符号化されたデータであってもよく、インターネットプロトコルに準拠すべくIPパケット化される。また、カメラ200は、映像符号化方法として、可逆圧縮した映像信号をパケット化してもよい。IPスイッチ兼スイッチャー部500は、IPスイッチ部504とスイッチ制御部506を含み、切替え・選択制御部600からの指示により、入力された1〜Nのカメラ200の中から後段のCCU300へ入力するためのカメラのIPパケットを選択して出力する。出力されたIPパケットはCCU300で再構成され、HD−SDI信号へ変換されて出力される。
【0041】
図2に示す切替え・選択制御部600は、ビデオライブスイッチャーのコントロールパネルに相当し、放送などの映像として出力されるカメラ映像を選択したり切り替えるための指令が入力される。
【0042】
図3は、第1の実施形態の構成を詳細に示すブロック図であって、中継装置500の構成を詳細に示している。図3に示すように、中継装置500は、IPアドレス及びRTP情報を解析する解析部502、IPスイッチ部504、スイッチ制御部506、制御信号受信・解析・指令部508を備える。
【0043】
制御信号受信・解析・指令部508は、切替え・選択制御部600からの信号を受信し、受信データを解析し、カメラ200の切替え・選択のための指令を解析部502へ出力する。カメラ200からの入力データは、解析部502においてそのIPヘッダなどに基づいて送信先が判断され、切替え・選択指示に該当するデータか否かが解析される。解析結果はスイッチ制御部506へ出力される。スイッチ制御部506は、入力された解析結果を、IPスイッチ部504を制御するための制御信号に変換し、IPスイッチ部504へ制御信号を出力する。また、各カメラ200からのIPパケットデータは、解析部502からIPスイッチ部504へ送られる。IPスイッチ部504は、スイッチ制御部506から入力された制御信号に従って、スイッチング・テーブルに登録された新規宛先に基づいて、入力されたパケットの切替えや選択を行う。
【0044】
IPスイッチ部504は複数個のポートを有しており、解析部502から入力された各CHU200に対応する映像信号は、各ポートに入力される。また、1のポートはCCU300の出力ラインと接続されている。そして、IPスイッチ部504は、各CHU200に対応する映像信号が入力される各ポートにIPパケットが入力されると、新規宛先としてスイッチング・テーブルに登録された宛先と一致する送信先のポートを、CCU300への出力ラインが接続されたポートに接続する。これにより、IPスイッチ部504は、スイッチング・テーブルに登録された宛先に基づいて、複数のCHU200のうちの1の映像をCCU300に対して送信することができる。また、IPスイッチ部504は、切替え・選択制御部600からの信号を受信してから実際に映像信号を切り替えるまでの遅延量を考慮して映像信号の選択を行い、フレーム単位の映像切替えを円滑に行う。
【0045】
以上のように、中継装置500に各カメラ200からライブ映像のIPパケットが送信されると、各カメラ200は、エンコーダを備えており、映像データはエンコーダにてエンコード(符号化)されて、パケット化された後に中継装置500へ送られる。
【0046】
切替え・選択制御部600は、ユーザから所望のカメラ200の映像を選択する旨の操作入力を受けて、映像を選択するための制御信号を中継装置500へ送信する。制御信号受信・解析・指令部508は、制御信号を解析し、カメラ200の切替え、選択のための指令を解析部502へ出力する。
【0047】
解析部502は、制御信号の解析結果を受信すると、解析結果に含まれるユーザの所望のカメラ200のIPアドレスを検出し、スイッチ制御部506へ出力する。スイッチ制御部506は、受信した信号を、IPスイッチ部504を制御するための制御信号に変換し、IPスイッチ部504へ制御信号を出力する。IPスイッチ部504は、制御信号に従って、ユーザの所望のIPアドレスに基づいて入力パケットの切替えや選択を行い、ユーザの所望の映像のIPパケットをCCU300へ出力する。
【0048】
また、非同期伝送網を用いて映像伝送を行う場合、各CHU200と中継装置500の組み合わせ毎に伝送パスが異なるため、遅延量が異なることになる。このため、中継装置500は、同期信号発生器520からの基準信号をCHU200に伝送し、CHU200では、この基準信号に同期した映像信号を中継装置500に伝送する。なお、同期信号発生器520は、中継装置500と別個の装置として設けても良い。一方、基準信号に映像信号を同期させたとしても、各CHU200と中継装置500毎に伝送パスが異なるため、各CHU200の遅延量が異なることが想定される。このため、各CHU200と中継装置500間の遅延量は、解析部502で取得される。解析部502では、これら遅
延量の調停を行い、最適な遅延量を決定する。決定された遅延量はCHU200に通知され、CHU200では、映像バッファを適宜に設定することで、中継装置500に到達する映像信号のタイミングを揃える。遅延量の具体的な決定方法としては、最も遅延の大きいCHU200に対して、他のCHU200の遅延量が同一となるように映像バッファを調整する方法が挙げられる。なお、映像バッファの設定は中継装置500側で行っても良い。遅延量を合わせることで、映像切り替え時の映像の乱れを確実に抑止することができる。
【0049】
CCU300は、中継装置500のIPスイッチ部504から出力されたIPパケットを受信すると、IPパケットをデコード(復号化)し、HD−SDI等のビデオ信号として出力する。
【0050】
IPスイッチ部104で各カメラ200の映像の切り替えを行う際には、映像フレームを識別し、映像フレームを構成する先頭のデータを含むIPパケットから切替えを行う。以下では、映像フレームを識別するための手法について説明する。
【0051】
図4は、映像を符号化したデータを伝送する際に用いられる、RTP(Real-time Transfer Protocol)フォーマットのヘッダの構成を示す模式図である。このヘッダ情報は、格納される符号化方式によらず共通に定義されたものである。図5は、図4のRTPフォーマットのパラメータ情報を示す模式図である。映像フレームを識別するためには、図5で「M」と略されているマーカービットを用いる。通常、図5に示す「M」のマーカービットは、映像フレームの最終データを含むパケットに“1”を立てることが推奨されている。従って、IPスイッチ部504において、このマーカービット「M」を検出し、「M」が“0”
の場合は、同じIPアドレスからのパケットが次の映像フレームの先頭となる。また、「M」が“1” の場合は、同じIPアドレスからのパケットが終了することを識別できる。
【0052】
(3)スイッチ制御の処理手順
図6は、IPスイッチ部504にて映像切り替えを行うスイッチ制御の処理フローを示すフローチャートである。先ず、ステップS10では、切替え・選択制御部600から、ユーザの入力に応じた切替え・選択信号を受信する。受信後、次のステップS12では、IPスイッチ部504のスイッチング・テーブルに新規の宛先(IPアドレス)を登録する。但し、実際にスイッチ切替え制御が行われるまでは(ステップS20に到達するまでは)、新規宛先へのIPパケットの切換えは行われない。次に、ステップS14では、RTPヘッダを解析し、ユーザの入力に該当するIPアドレスを有するIPパケットのペイロード内のRTPパケットヘッダを解析する。
【0053】
次のステップS16では、RTPパケットヘッダのマーカービット「M」が“1”であるか否かを判定し、マーカービット「M」が“1”であれば、ステップS18に進み、解析したIPパケットを現宛先へ出力する。そして、次のステップS20にて、スイッチ切換制御を行い、新規宛先にスイッチング・テーブルを変更する。これにより、次のIPパケットは新規宛先のパケットに切り換えられる。一方、ステップS16でマーカービット「M」が“1”でなければ、ステップS22へ進み、次のIPパケットに対して同様にRTPヘッダの解析を行う(ステップS14)。以上の制御により、次の映像フレームの先頭から切り替えを行うことが可能となる。
【0054】
図7は、図6の制御における信号切り換えを説明するための模式図である。映像フレーム#1、#2、#3があり、各映像フレームはIPパケット化されて中継装置500に入力されるものとする。
【0055】
上述したように、ステップS10で切換え選択信号を受信すると、新規宛先がIPパケット部504のスイッチング・テーブルに登録されるが、図7に示すように、マーカービット「M」を検出してから新規宛先への変更が行われ(ステップS20)、スイッチのルーティング・テーブルが切り替わる。そして、テーブルが切り換わった時点で、IPパケットは新宛先ポートへ出力される。この制御により、IPスイッチの機能を用いて既存のライブビデオスイッチャーと同等の映像フレーム単位での切替え処理を行うことが可能となる。
【0056】
一方、図8は、ビデオフレーム単位で復号化処理を行う場合を示している。ビデオフレーム単位で復号化処理を行う場合、映像の1フレームのデータを全てバッファした後に復号化を行うため、映像を切り換える制御信号を受信してから1フレームのデータを最後まで受信し、更に1フレームのデータをデコードしてバッファするまでに所定の時間を要する。このため、図8に示すように、映像フレーム#1の途中で切替え・選択信号を受信した場合、映像フレーム#1のデータを最後まで受信し、更にデコードに要する時間の経過後、次のフレームシンクのタイミングで初めてフレーム#1を表示することができる。一方、図7では、宛先を変更した後、映像フレーム#2から切替え後の映像を表示することが可能である。このため、図8の場合、図7と比較して映像の切換えに大幅な遅延が生じてしまう。本実施形態では、図4に示すような複数ラインのブロック単位で符合化、復号化を行うため、映像を切り換える制御信号を受信した後、次のフレームから直に映像を切り換えることが可能である。
【0057】
また、本実施形態のシステムにおいて、同時出力に必要な映像の最大数を考慮して、切替え・選択制御部600が中継装置500(IPスイッチ)を用いて切替え・選択する映像チャネルを決定するようにしても良い。これにより、必要なCCU300のみで復号化処理を行って制御することが可能となる。
【0058】
なお、本実施形態では、映像フレームの選択について例示したが、オーディオデータを選択するものであってもよい。例えば映像フレームのフレーム単位に同期したオーディオを再生するようなシステムの場合、中継装置500は、映像と同様にオーディオのフレームの先頭を含むパケットを検出して、オーディオフレームの区切りでIPパケットを切替えることができる。
【0059】
以上説明したように第1の実施形態によれば、ビデオライブスイッチャーやエフェクト処理に必要な数のCCUに相当する機能があれば、N個のカメラ側ソースに対してN個のCCUを設ける必要はない。また、カメラからのソースをライブビデオスイッチャーで選択することと、IPスイッチでパケットを選択することは、ソースを選択することに関しては同等の機能を有することから、これらの機能・機器を統合制御することで簡易な構成でシステムを構築できる。従って、本実施形態によれば、映像フレームを検出してIPパケットをスイッチすることで、ライブスイッチャーのように映像フレーム単位でかつ映像フレーム時間未満で処理する装置と同等の機能を、IPスイッチを用いて統合制御することが可能となる。このような制御は汎用のIPスイッチをベースとするため、安価にかつ柔軟にシステム構築が可能である。
【0060】
例えばビデオライブスイッチャーの入力として最小限の数のソースが入力されればよく、CCU300の数を減らすことが可能となり、配線も少なく簡易な構成でシステムを実現できる。従って、既存のカメラシステムにおいては、複数のカメラN台に対して、CCUも同数のN台存在する必要があり、CCUの全出力を後段のビデオライブスイッチャーへ入力していたが、中継装置500にスイッチ機能を持たせることで構成を簡素にできる。
【0061】
また、汎用のスイッチを用いて、イーサネット(登録商標)ケーブルを使って伝送されたパケットの切り換えを行うことができるため、安価でかつPC等との親和性を良好にすることができ、システムの拡張等の変更や他のIP機器との統合が容易となるシステムを構築できる。例えば、同期信号、制御コマンド、音声、インカム、タリー映像、カメラへのリターン映像などもIPパケットで同一のケーブルに多重化することで簡素な構成にすることが可能である。
【0062】
2.第2の実施形態
(1)システム構成例
次に、本発明の第2の実施形態について説明する。図9は、第2の実施形態に係るシステムの構成を示す模式図である。第2の実施形態は、映像を切り換える際に、例えばフェードイン、フェードアウトなどの視覚的効果(エフェクト)を生じさせる場合に適用して好適である。第1の実施形態においては、CCU300は中継装置500の後段で処理を行っているが、第2の実施形態では、CCU300が中継装置500(IPスイッチ兼スイッチャー部)に統合されたシステムとなっている。従って、中継装置500からの出力としてHD−SDIなどの映像が出力される。
【0063】
図10は、第2の実施形態の中継装置500の構成を示す模式図である。図10に示すように、第2の実施形態の構成では、第1の実施形態の中継装置500の構成に対して、CCU302,304、ビデオスイッチャーエフェクト部510、符号化・パケット化部512が付加されている。また、第2の実施形態では、第1の実施形態の切換え・選択制御部600の代わりに切換え・選択・エフェクト制御部602が設けられている。
【0064】
IPスイッチ部504によるスイッチの制御は、第1の実施形態と同様である。第2の実施形態では、映像切り替え前後の2つの宛先の映像信号がそれぞれCCU302とCCU304に入力される。そして、CCU302とCCU304で復号化された出力データは、ビデオスイッチャーエフェクト部510においてエフェクト処理が行われる。
【0065】
ビデオスイッチャーエフェクト部510は、ワイプ・ミックスなどのエフェクト機能を有し、切替え・選択・エフェクト制御部602からの指示に基づいて処理を行う。ユーザは、映像切り替え時にエフェクト効果を生じさせたい場合は切替え・選択・エフェクト制御部602にその旨を入力する。例えばCCU302から出力された映像AとCCU304から出力された映像Bをワイプ・ミックスする場合、ビデオスイッチャーエフェクト部510は、切替え・選択・エフェクト制御部602に入力されたユーザ入力に基づいて映像Aと映像Bを合成する処理を行う。処理済み映像は、リターン信号としてカメラ200(1〜N)側のモニタへ出力するため、符号化・パケット化部512において符号化及びIPパケット化の処理が行われ、IPスイッチ部504へ入力される。処理済み映像は、IPスイッチ部504から解析部502を介してCHU200(1〜N)へリターンされて、各CHU200に付随するモニタ上に表示される。
【0066】
このように、本実施形態では、リターン信号がIPスイッチ部504を経由してCHU200(1〜N)へ出力され、マルチCCUと同等の機能をIP伝送により行うことが可能となる。これにより、各CHU200(1〜N)の操作者は、カメラ200側のモニタ上で現在選択されている映像、及び映像の切り換わり時のエフェクトを視認することができる。
【0067】
以上説明したように第2の実施形態によれば、中継装置500にエフェクト処理機能を持たせたことにより、映像のスイッチングとエフェクト処理を一括して行うことが可能となる。
【0068】
3.第3の実施形態
(1)システム構成例
次に、本発明の第3の実施形態について説明する。図11は、第3の実施形態に係る中継装置500の構成を示す模式図である。図11に示す構成は、図9に示す構成に対して中継装置500にモニタ700が接続されている。第3の実施形態では、第2の実施形態の構成に対して更に画面合成機能が付加され、CHU200(1〜N)の映像を1つのモニタ700上にて監視することを可能としたものである。
【0069】
図12は、第3の実施形態の中継装置500の詳細な構成を示す模式図である。図12に示すように、第3の実施形態では、図10に示した第2の実施形態の構成に加えて、全てのカメラ映像を処理するCCU514と、画面を合成する画像合成部516が付加されている。このCCU514をBタイプと称し、IPスイッチ部504に接続されたCCU302,304をAタイプと称することとする。BタイプのCCU514は、映像データをデコードする機能を備え、AタイプのCCU302,304と同等の機能のものであっても良い。また、BタイプのCCU514は、モニタ700に合成画像を表示させるものであるため、複数の画像の合成を行うための機能(品質)を有していればよく、例えば解像度の低い映像やフレームレートが小さい映像を処理するものでもよい。あるいは、BタイプのCCU514の代わりに、CPUを設け、CPUで映像をデコードして画像合成部516へ出力しても良い。
【0070】
CCU514は、IPスイッチ部504から出力される、全てのCHU200(1〜N)に対応する映像データをデコードし、画像合成部516へ出力する。画像合成部516は、デコードされた全てのCHU200(1〜N)に対応する映像データを一画面に合成し、外部のモニタ700に対して出力する。これにより、ユーザは、モニタ700を参照することにより、全てのCHU200(1〜N)の映像を視認することができる。そして、モニタ700の映像の中から所望の映像を選択して切換え・選択・エフェクト制御部602から入力することにより、ビデオスイッチャーエフェクト部510から所望の映像を出力させることができる。
【0071】
以上説明したように第3の実施形態によれば、CHU200とモニタ表示のための映像の合成機能を備えた中継装置500とを安価なIP伝送のためのイーサネット(登録商標)等で接続することにより、既存のIPスイッチでは実現できなかった、映像フレームレベルのビデオスイッチャー及びエフェクト機能が可能な簡易システムを実現することが可能となる。
【0072】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0073】
200 カメラ装置
500 中継装置
502 解析部(受信部)
504 IPスイッチ部
【技術分野】
【0001】
本発明は、カメラシステム、映像選択装置及び映像選択方法に関する。
【背景技術】
【0002】
放送局などで用いるカメラシステムでは、映像信号を出力するカメラヘッドユニット(CHU)と、映像信号が入力されるカメラコントロールユニット(CCU)とが、トライアックスケーブルまたは光ファイバケーブルにより接続されている(特許文献1、2)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−057499号公報
【特許文献2】特開2005−064816号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、このようにCHUとCCUとをトライアックスケーブルまたは光ファイバケーブルにより1対1対応で接続した場合、CHUが撮影した映像信号は、CCUから取り出す必要がある。また、CHUに対するGEN−LOCK信号、コントロール信号、リターン映像信号などは、CCUから入力する必要がある。
【0005】
その結果、放送局などで用いるカメラシステムでは、CCUに多数のケーブルが接続されることがあり、その接続やケーブルの設置に手間がかかる。
【0006】
また、1個のカメラシステムとして構築した後にCHUなどを追加、交換、組み替えようとした場合、CCUのケーブル接続を変更する作業などに大変な手間がかかっている。
【0007】
このようにカメラシステムでは、CCUに対するケーブル接続数を減らし、システム変
更などを容易にすることが求められている。
【0008】
以上の観点から、複数のカメラに対して、同数のCCUを設けるシステムが考えられる。しかしながら、この場合、N台のCCUすべてが復号処理機能を有する必要があり、システムとしてのコスト上昇を避けることができない。また、各CCUとビデオライブスイッチャー間はカメラ台数分のケーブルで配線する必要があるが、実際に放送に使われる映像ソースは、例えばビデオライブスイッチャーで2つの画面をミックス処理するのであれば、2個の入力ソースが入力されればよく、カメラ全数分のケーブル入力の必要はない。このため、複数のカメラに対して同数のCCUを設けたシステムにおいてもシステム構成の中に冗長な部分が生じてしまう。
【0009】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、複数のカメラ装置からの映像の中から所望の映像を選択することができ、且つシステム構成を簡素にすることが可能な、新規かつ改良されたカメラシステム、映像選択装置及び映像選択方法を提供することにある。
【課題を解決するための手段】
【0010】
上記課題を解決するために、本発明のある観点によれば、撮像による映像信号をパケット化して出力する複数のカメラ装置と、前記複数のカメラ装置と接続され、前記複数のカメラ装置から伝送される前記映像信号を中継する中継装置と、を有し、前記中継装置は、同期信号に基づいて前記複数のカメラ装置間で同期されたそれぞれの前記映像信号を受信する受信部と、映像を選択するための制御信号に基づいて、前記複数のカメラ装置から出力された前記映像信号を選択して出力するためのスイッチ部と、を備える、カメラシステムが提供される。
【0011】
また、前記スイッチ部で選択された前記映像信号が入力され、前記映像信号を復号化して伝送するカメラ制御装置を更に備えるものであってもよい。
【0012】
また、前記中継装置は、複数の前記カメラ装置から伝送された前記映像信号に含まれるIPパケットを解析するIPパケット解析部を備え、前記スイッチ部は、外部入力に基づいて生成された制御信号と、前記IPパケットの解析結果とに基づいて前記制御信号に対応するIPパケットを選択するものであってもよい。
【0013】
また、前記スイッチ部は、映像フレームが切り替わる直前で前記映像信号を切替えることにより前記映像信号をフレーム単位で切替えるものであってもよい。
【0014】
また、前記スイッチ部は、前記制御信号に基づく前記映像信号の選択に伴う遅延量を考慮して前記映像信号の選択を行うものであってもよい。
【0015】
また、前記中継装置は、前記映像信号の選択による映像切り替え前後の映像信号の出力タイミングの遅延量を合わせる遅延制御部を備えるものであってもよい。
【0016】
また、前記中継装置は、前記映像信号の選択による映像切り替え前後の映像信号を復号する復号部と、前記映像信号の選択による映像切り替え前後の映像を同時に表示するためのエフェクト部と、を更に備えるものであってもよい。
【0017】
また、前記中継装置は、前記複数のカメラ装置から伝送された映像信号のそれぞれを復号する復号部と、前記復号部で復号された映像信号を合成して表示するための画像合成部と、を更に備えるものであってもよい。
【0018】
また、前記スイッチ部は、同時出力が可能な映像の最大数を考慮して、選択する映像信号を決定して制御するものであってもよい。
【0019】
また、前記カメラ装置は、映像符号化方法として、非圧縮の映像信号または圧縮した映像信号をパケット化するものであってもよい。
【0020】
また、前記カメラ装置は、映像符号化方法として、可逆圧縮した映像信号をパケット化するものであってもよい。
【0021】
また、上記課題を解決するために、本発明の別の観点によれば、同期信号に基づいて複数のカメラ装置間で同期されたそれぞれの映像信号を受信する受信部と、映像を選択するための制御信号に基づいて、前記複数のカメラ装置から出力された前記映像信号を選択して出力するためのスイッチ部と、を備える、映像選択装置が提供される。
【0022】
また、複数の前記カメラ装置から伝送された前記映像信号に含まれるIPパケットを解析するIPパケット解析部を備え、前記スイッチ部は、外部入力に基づいて生成された制御信号と、前記IPパケットの解析結果とに基づいて前記制御信号に対応するIPパケットを選択するものであってもよい。
【0023】
また、前記スイッチ部は、映像フレームが切り替わる直前で前記映像信号を切替えることにより前記映像信号をフレーム単位で切替えるものであってもよい。
【0024】
また、上記課題を解決するために、本発明の別の観点によれば、同期信号に基づいて複数のカメラ装置間で同期されたそれぞれの映像信号を受信するステップと、複数の前記カメラ装置から伝送された前記映像信号に含まれるIPパケットを解析するステップと、映像を選択するための制御信号と、前記IPパケットの情報に基づいて、前記複数のカメラ装置から出力された前記映像信号を選択するステップと、を備える、映像選択方法が提供される。
【発明の効果】
【0025】
本発明によれば、複数のカメラ装置からの映像の中から所望の映像を選択することができ、且つシステム構成を簡素にすることが可能となる。
【図面の簡単な説明】
【0026】
【図1】本発明の各実施形態に係るカメラシステムの概略構成図である。
【図2】第1の実施形態に係るシステムの構成を示す模式図である。
【図3】第1の実施形態の構成を詳細に示すブロック図である。
【図4】映像を符号化したデータを伝送する際に用いられる、RTPフォーマットのヘッダの構成を示す模式図である。
【図5】図4のRTPフォーマットのパラメータ情報を示す模式図である。
【図6】IPスイッチ部にて映像切り替えを行うスイッチ制御の処理フローを示すフローチャートである。
【図7】図6の制御における信号切り換えを説明するための模式図である。
【図8】ビデオフレーム単位で復号化処理を行う場合を示す模式図である。
【図9】第2の実施形態に係るシステムの構成を示す模式図である。
【図10】第2の実施形態の中継装置の構成を示す模式図である。
【図11】第3の実施形態に係る中継装置の構成を示す模式図である。
【図12】第3の実施形態の中継装置の詳細な構成を示す模式図である。
【発明を実施するための形態】
【0027】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0028】
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
(1)前提となる技術
(2)システム構成例
(3)スイッチ制御の処理手順
2.第2の実施形態
(1)システム構成例
3.第3の実施形態
(1)システム構成例
【0029】
1.第1の実施形態
(1)概要
本実施形態に係るカメラ制御システムは、カメラ映像信号をパケット化し、イーサネット(登録商標)等のケーブルを用いてIP伝送し、CCU受信ユニットでIPパケット受信して復号し、映像信号を出力するものである。このシステムにおいて、本実施形態では、複数のカメラの映像の中から所望の映像を選択するIPスイッチ機能と、カメラ映像の選択・制御・エフェクト機能を統合している。既存のシステムでは、複数のカメラと同数のCCUが必要であり、かつCCUとビデオスイッチャー間との配線が多かったが、本実施形態のシステムでは、ビデオスイッチャーの出力に必要な最大数のCCUだけを構成すればよい。また、IPスイッチと制御・選択機能、さらにはエフェクト機能の統合により、CCUの後段のビデオライブスイッチャーと同等の機能を汎用的なスイッチデバイスやイーサネット(登録商標)インタフェースを用いて実現することが可能となる。また、IPによって配線の簡素化や、システムの拡張等の変更や他のIP機器との統合が容易となる。
【0030】
図1は、本発明の各実施形態に係るカメラシステム100の概略構成図である。図1のカメラシステム100は、例えば放送局などで使用されるものであり、カメラヘッドユニット(CHU)200、カメラコントロールユニット(CCU)300を有する。CHU200およびCCU300は、ツイストペアケーブル400により中継装置500に接続されている。なお、ツイストペアケーブル400は、IEEE(The Institute of Electrical and Electronics Engineers, Inc.)802.3などに準拠したものを用いることができる。
【0031】
IEEE802.3は、パケットを用いたデータ通信システムの規格の一種であり、通信データを所定のデータ量ずつパケット化して通信する。このため、図1のカメラシステム100において、CHU200およびCCU300は、ビデオ信号、オーディオ信号、コントロール信号、GEN−LOCK信号などをパケット化し、非同期伝送路を通して伝送する。そして、図1のカメラシステム100では、CHU200とCCU300の途中の中継装置500から、撮像した本線ビデオ信号を含むビデオ信号、オーディオ信号、コントロール信号、GEN−LOCK信号などを取り出したり、または挿入したりすることができる。
【0032】
また、中継装置500は、CHU200が送信したビデオ信号、CCU300が送信したリターンビデオ信号を外部へ出力する。これらの映像は、たとえば各CHU200に接続されたモニタ機器、中継装置500に接続されたモニタ機器(図1において不図示)などで確認することができる。このように図1のカメラシステム100では、CHU200を用いた映像中継システムの構成、設置、運用を低コストで簡単に行うことができる。
【0033】
中継装置500は、複数のポートを備えたスイッチングハブの構成を含む。スイッチングハブは、各ポートから入力されたパケットの宛先に基づいて出力先のポートを選択し、当該パケットを選択したポートから出力する。また、パケットにブロードキャストアドレスが使用されている場合、スイッチングハブは、受信したパケットを基本的にすべてのポートから出力することもできる。
【0034】
既存のカメラシステムにおいては、複数のカメラ200(N台)に対して、CCU200も同数のN台存在する必要があり、CCU200の全出力を後段のビデオライブスイッチャーへ入力している。特にハイビジョン(HD)の映像においては、帯域の制約からビデオコーデックで符号化処理を行うことが多く、N台のCCU200の全てが復号処理機能を有する必要があり、システムとしてのコストは高くなる。
【0035】
また、こうした既存のシステムにおいて、各CCU200とビデオライブスイッチャー間は、HD−SDIのケーブルをN台分配線する必要がある。しかし、実際に放送に使われる映像ソースでは、例えばビデオライブスイッチャーで2つの画面をミックス処理するのであれば、2個の入力ソースが入力されればよく、N台分の入力の必要はない。より複雑なスイッチャーによるマルチソースを使ったエフェクト処理であっても、4画面程度を扱えれば良いことが多く、既存のシステム構成には冗長な部分が存在していた。以上の観点から最小の構成を考慮すると、例えば複数のCCUからの映像を選択して、エフェクトをしないで切替えのみを行って放送する場合には、CCU200は1つあれば良い。
【0036】
従って、ビデオライブスイッチャーやエフェクト処理に必要な数のCCU200に相当する機能があれば、N個の映像ソースに対してN個のCCU200を設ける必要はない。また、カメラからのソースをライブビデオスイッチャーで選択することと、IPスイッチでパケットを選択することは、ソースを選択することに関しては同等の機能を有する。
【0037】
このため、本実施形態では、ライブビデオスイッチャーとIPスイッチの機能・機器を統合制御することで、簡易な構成でシステム構築を可能としている。具体的には、本実施形態では、ライブビデオスイッチャーのように映像フレーム単位で処理を行い、且つ映像フレーム時間未満で処理する装置と同等の機能をIPスイッチを用いて統合制御し、映像フレームを検出してIPパケットをスイッチする。このような制御は、汎用のIPスイッチをベースとするため、安価にかつ柔軟にシステム構築できるシステムが可能となる。
【0038】
本実施形態では、放送局などにおけるライブビデオスイッチャーの機能と同等のことを、IPパケット化して伝送された映像等のデータにおいて行うことができる。すなわち、ライブビデオスイッチャーの映像切替え信号入力に対して、次のフレーム先頭からスイッチャーで映像信号が出力される。従って、IPパケット化の際に符号化して圧縮される場合には、フレーム遅延が生じないコーデック、例えばJPEG2000のラインベースコーデック、低遅延向けのラインベースコーデック、あるいはスライス単位でコーデックを行う。または、MPEG2やH.264/AVCのマクロブロック単位で低遅延処理するコーデックを使用する。これらのコーデックにより、1フレーム未満の符号化・復号化処理が可能である。
【0039】
(2)システム構成例
以下、第1の実施形態について詳細に説明する。図2は、第1の実施形態に係るシステムの構成を示す模式図である。本実施形態は、以下に説明する各実施形態の基本的な構成を示している。図2に示すように、本システムは、複数のカメラ(CHU)200(1〜N)、CCU300、中継装置500、切替え・選択制御部600を有して構成されている。各カメラ200と中継装置500、中継装置500とCCU300は、非同期伝送網によって接続されている。非同期伝送網としてイーサネット(登録商標)を例示できるが、これに限定されるものではない。
【0040】
各カメラ200は、映像をIPパケットにして出力するカメラである。映像データは、非圧縮データであっても、符号化されたデータであってもよく、インターネットプロトコルに準拠すべくIPパケット化される。また、カメラ200は、映像符号化方法として、可逆圧縮した映像信号をパケット化してもよい。IPスイッチ兼スイッチャー部500は、IPスイッチ部504とスイッチ制御部506を含み、切替え・選択制御部600からの指示により、入力された1〜Nのカメラ200の中から後段のCCU300へ入力するためのカメラのIPパケットを選択して出力する。出力されたIPパケットはCCU300で再構成され、HD−SDI信号へ変換されて出力される。
【0041】
図2に示す切替え・選択制御部600は、ビデオライブスイッチャーのコントロールパネルに相当し、放送などの映像として出力されるカメラ映像を選択したり切り替えるための指令が入力される。
【0042】
図3は、第1の実施形態の構成を詳細に示すブロック図であって、中継装置500の構成を詳細に示している。図3に示すように、中継装置500は、IPアドレス及びRTP情報を解析する解析部502、IPスイッチ部504、スイッチ制御部506、制御信号受信・解析・指令部508を備える。
【0043】
制御信号受信・解析・指令部508は、切替え・選択制御部600からの信号を受信し、受信データを解析し、カメラ200の切替え・選択のための指令を解析部502へ出力する。カメラ200からの入力データは、解析部502においてそのIPヘッダなどに基づいて送信先が判断され、切替え・選択指示に該当するデータか否かが解析される。解析結果はスイッチ制御部506へ出力される。スイッチ制御部506は、入力された解析結果を、IPスイッチ部504を制御するための制御信号に変換し、IPスイッチ部504へ制御信号を出力する。また、各カメラ200からのIPパケットデータは、解析部502からIPスイッチ部504へ送られる。IPスイッチ部504は、スイッチ制御部506から入力された制御信号に従って、スイッチング・テーブルに登録された新規宛先に基づいて、入力されたパケットの切替えや選択を行う。
【0044】
IPスイッチ部504は複数個のポートを有しており、解析部502から入力された各CHU200に対応する映像信号は、各ポートに入力される。また、1のポートはCCU300の出力ラインと接続されている。そして、IPスイッチ部504は、各CHU200に対応する映像信号が入力される各ポートにIPパケットが入力されると、新規宛先としてスイッチング・テーブルに登録された宛先と一致する送信先のポートを、CCU300への出力ラインが接続されたポートに接続する。これにより、IPスイッチ部504は、スイッチング・テーブルに登録された宛先に基づいて、複数のCHU200のうちの1の映像をCCU300に対して送信することができる。また、IPスイッチ部504は、切替え・選択制御部600からの信号を受信してから実際に映像信号を切り替えるまでの遅延量を考慮して映像信号の選択を行い、フレーム単位の映像切替えを円滑に行う。
【0045】
以上のように、中継装置500に各カメラ200からライブ映像のIPパケットが送信されると、各カメラ200は、エンコーダを備えており、映像データはエンコーダにてエンコード(符号化)されて、パケット化された後に中継装置500へ送られる。
【0046】
切替え・選択制御部600は、ユーザから所望のカメラ200の映像を選択する旨の操作入力を受けて、映像を選択するための制御信号を中継装置500へ送信する。制御信号受信・解析・指令部508は、制御信号を解析し、カメラ200の切替え、選択のための指令を解析部502へ出力する。
【0047】
解析部502は、制御信号の解析結果を受信すると、解析結果に含まれるユーザの所望のカメラ200のIPアドレスを検出し、スイッチ制御部506へ出力する。スイッチ制御部506は、受信した信号を、IPスイッチ部504を制御するための制御信号に変換し、IPスイッチ部504へ制御信号を出力する。IPスイッチ部504は、制御信号に従って、ユーザの所望のIPアドレスに基づいて入力パケットの切替えや選択を行い、ユーザの所望の映像のIPパケットをCCU300へ出力する。
【0048】
また、非同期伝送網を用いて映像伝送を行う場合、各CHU200と中継装置500の組み合わせ毎に伝送パスが異なるため、遅延量が異なることになる。このため、中継装置500は、同期信号発生器520からの基準信号をCHU200に伝送し、CHU200では、この基準信号に同期した映像信号を中継装置500に伝送する。なお、同期信号発生器520は、中継装置500と別個の装置として設けても良い。一方、基準信号に映像信号を同期させたとしても、各CHU200と中継装置500毎に伝送パスが異なるため、各CHU200の遅延量が異なることが想定される。このため、各CHU200と中継装置500間の遅延量は、解析部502で取得される。解析部502では、これら遅
延量の調停を行い、最適な遅延量を決定する。決定された遅延量はCHU200に通知され、CHU200では、映像バッファを適宜に設定することで、中継装置500に到達する映像信号のタイミングを揃える。遅延量の具体的な決定方法としては、最も遅延の大きいCHU200に対して、他のCHU200の遅延量が同一となるように映像バッファを調整する方法が挙げられる。なお、映像バッファの設定は中継装置500側で行っても良い。遅延量を合わせることで、映像切り替え時の映像の乱れを確実に抑止することができる。
【0049】
CCU300は、中継装置500のIPスイッチ部504から出力されたIPパケットを受信すると、IPパケットをデコード(復号化)し、HD−SDI等のビデオ信号として出力する。
【0050】
IPスイッチ部104で各カメラ200の映像の切り替えを行う際には、映像フレームを識別し、映像フレームを構成する先頭のデータを含むIPパケットから切替えを行う。以下では、映像フレームを識別するための手法について説明する。
【0051】
図4は、映像を符号化したデータを伝送する際に用いられる、RTP(Real-time Transfer Protocol)フォーマットのヘッダの構成を示す模式図である。このヘッダ情報は、格納される符号化方式によらず共通に定義されたものである。図5は、図4のRTPフォーマットのパラメータ情報を示す模式図である。映像フレームを識別するためには、図5で「M」と略されているマーカービットを用いる。通常、図5に示す「M」のマーカービットは、映像フレームの最終データを含むパケットに“1”を立てることが推奨されている。従って、IPスイッチ部504において、このマーカービット「M」を検出し、「M」が“0”
の場合は、同じIPアドレスからのパケットが次の映像フレームの先頭となる。また、「M」が“1” の場合は、同じIPアドレスからのパケットが終了することを識別できる。
【0052】
(3)スイッチ制御の処理手順
図6は、IPスイッチ部504にて映像切り替えを行うスイッチ制御の処理フローを示すフローチャートである。先ず、ステップS10では、切替え・選択制御部600から、ユーザの入力に応じた切替え・選択信号を受信する。受信後、次のステップS12では、IPスイッチ部504のスイッチング・テーブルに新規の宛先(IPアドレス)を登録する。但し、実際にスイッチ切替え制御が行われるまでは(ステップS20に到達するまでは)、新規宛先へのIPパケットの切換えは行われない。次に、ステップS14では、RTPヘッダを解析し、ユーザの入力に該当するIPアドレスを有するIPパケットのペイロード内のRTPパケットヘッダを解析する。
【0053】
次のステップS16では、RTPパケットヘッダのマーカービット「M」が“1”であるか否かを判定し、マーカービット「M」が“1”であれば、ステップS18に進み、解析したIPパケットを現宛先へ出力する。そして、次のステップS20にて、スイッチ切換制御を行い、新規宛先にスイッチング・テーブルを変更する。これにより、次のIPパケットは新規宛先のパケットに切り換えられる。一方、ステップS16でマーカービット「M」が“1”でなければ、ステップS22へ進み、次のIPパケットに対して同様にRTPヘッダの解析を行う(ステップS14)。以上の制御により、次の映像フレームの先頭から切り替えを行うことが可能となる。
【0054】
図7は、図6の制御における信号切り換えを説明するための模式図である。映像フレーム#1、#2、#3があり、各映像フレームはIPパケット化されて中継装置500に入力されるものとする。
【0055】
上述したように、ステップS10で切換え選択信号を受信すると、新規宛先がIPパケット部504のスイッチング・テーブルに登録されるが、図7に示すように、マーカービット「M」を検出してから新規宛先への変更が行われ(ステップS20)、スイッチのルーティング・テーブルが切り替わる。そして、テーブルが切り換わった時点で、IPパケットは新宛先ポートへ出力される。この制御により、IPスイッチの機能を用いて既存のライブビデオスイッチャーと同等の映像フレーム単位での切替え処理を行うことが可能となる。
【0056】
一方、図8は、ビデオフレーム単位で復号化処理を行う場合を示している。ビデオフレーム単位で復号化処理を行う場合、映像の1フレームのデータを全てバッファした後に復号化を行うため、映像を切り換える制御信号を受信してから1フレームのデータを最後まで受信し、更に1フレームのデータをデコードしてバッファするまでに所定の時間を要する。このため、図8に示すように、映像フレーム#1の途中で切替え・選択信号を受信した場合、映像フレーム#1のデータを最後まで受信し、更にデコードに要する時間の経過後、次のフレームシンクのタイミングで初めてフレーム#1を表示することができる。一方、図7では、宛先を変更した後、映像フレーム#2から切替え後の映像を表示することが可能である。このため、図8の場合、図7と比較して映像の切換えに大幅な遅延が生じてしまう。本実施形態では、図4に示すような複数ラインのブロック単位で符合化、復号化を行うため、映像を切り換える制御信号を受信した後、次のフレームから直に映像を切り換えることが可能である。
【0057】
また、本実施形態のシステムにおいて、同時出力に必要な映像の最大数を考慮して、切替え・選択制御部600が中継装置500(IPスイッチ)を用いて切替え・選択する映像チャネルを決定するようにしても良い。これにより、必要なCCU300のみで復号化処理を行って制御することが可能となる。
【0058】
なお、本実施形態では、映像フレームの選択について例示したが、オーディオデータを選択するものであってもよい。例えば映像フレームのフレーム単位に同期したオーディオを再生するようなシステムの場合、中継装置500は、映像と同様にオーディオのフレームの先頭を含むパケットを検出して、オーディオフレームの区切りでIPパケットを切替えることができる。
【0059】
以上説明したように第1の実施形態によれば、ビデオライブスイッチャーやエフェクト処理に必要な数のCCUに相当する機能があれば、N個のカメラ側ソースに対してN個のCCUを設ける必要はない。また、カメラからのソースをライブビデオスイッチャーで選択することと、IPスイッチでパケットを選択することは、ソースを選択することに関しては同等の機能を有することから、これらの機能・機器を統合制御することで簡易な構成でシステムを構築できる。従って、本実施形態によれば、映像フレームを検出してIPパケットをスイッチすることで、ライブスイッチャーのように映像フレーム単位でかつ映像フレーム時間未満で処理する装置と同等の機能を、IPスイッチを用いて統合制御することが可能となる。このような制御は汎用のIPスイッチをベースとするため、安価にかつ柔軟にシステム構築が可能である。
【0060】
例えばビデオライブスイッチャーの入力として最小限の数のソースが入力されればよく、CCU300の数を減らすことが可能となり、配線も少なく簡易な構成でシステムを実現できる。従って、既存のカメラシステムにおいては、複数のカメラN台に対して、CCUも同数のN台存在する必要があり、CCUの全出力を後段のビデオライブスイッチャーへ入力していたが、中継装置500にスイッチ機能を持たせることで構成を簡素にできる。
【0061】
また、汎用のスイッチを用いて、イーサネット(登録商標)ケーブルを使って伝送されたパケットの切り換えを行うことができるため、安価でかつPC等との親和性を良好にすることができ、システムの拡張等の変更や他のIP機器との統合が容易となるシステムを構築できる。例えば、同期信号、制御コマンド、音声、インカム、タリー映像、カメラへのリターン映像などもIPパケットで同一のケーブルに多重化することで簡素な構成にすることが可能である。
【0062】
2.第2の実施形態
(1)システム構成例
次に、本発明の第2の実施形態について説明する。図9は、第2の実施形態に係るシステムの構成を示す模式図である。第2の実施形態は、映像を切り換える際に、例えばフェードイン、フェードアウトなどの視覚的効果(エフェクト)を生じさせる場合に適用して好適である。第1の実施形態においては、CCU300は中継装置500の後段で処理を行っているが、第2の実施形態では、CCU300が中継装置500(IPスイッチ兼スイッチャー部)に統合されたシステムとなっている。従って、中継装置500からの出力としてHD−SDIなどの映像が出力される。
【0063】
図10は、第2の実施形態の中継装置500の構成を示す模式図である。図10に示すように、第2の実施形態の構成では、第1の実施形態の中継装置500の構成に対して、CCU302,304、ビデオスイッチャーエフェクト部510、符号化・パケット化部512が付加されている。また、第2の実施形態では、第1の実施形態の切換え・選択制御部600の代わりに切換え・選択・エフェクト制御部602が設けられている。
【0064】
IPスイッチ部504によるスイッチの制御は、第1の実施形態と同様である。第2の実施形態では、映像切り替え前後の2つの宛先の映像信号がそれぞれCCU302とCCU304に入力される。そして、CCU302とCCU304で復号化された出力データは、ビデオスイッチャーエフェクト部510においてエフェクト処理が行われる。
【0065】
ビデオスイッチャーエフェクト部510は、ワイプ・ミックスなどのエフェクト機能を有し、切替え・選択・エフェクト制御部602からの指示に基づいて処理を行う。ユーザは、映像切り替え時にエフェクト効果を生じさせたい場合は切替え・選択・エフェクト制御部602にその旨を入力する。例えばCCU302から出力された映像AとCCU304から出力された映像Bをワイプ・ミックスする場合、ビデオスイッチャーエフェクト部510は、切替え・選択・エフェクト制御部602に入力されたユーザ入力に基づいて映像Aと映像Bを合成する処理を行う。処理済み映像は、リターン信号としてカメラ200(1〜N)側のモニタへ出力するため、符号化・パケット化部512において符号化及びIPパケット化の処理が行われ、IPスイッチ部504へ入力される。処理済み映像は、IPスイッチ部504から解析部502を介してCHU200(1〜N)へリターンされて、各CHU200に付随するモニタ上に表示される。
【0066】
このように、本実施形態では、リターン信号がIPスイッチ部504を経由してCHU200(1〜N)へ出力され、マルチCCUと同等の機能をIP伝送により行うことが可能となる。これにより、各CHU200(1〜N)の操作者は、カメラ200側のモニタ上で現在選択されている映像、及び映像の切り換わり時のエフェクトを視認することができる。
【0067】
以上説明したように第2の実施形態によれば、中継装置500にエフェクト処理機能を持たせたことにより、映像のスイッチングとエフェクト処理を一括して行うことが可能となる。
【0068】
3.第3の実施形態
(1)システム構成例
次に、本発明の第3の実施形態について説明する。図11は、第3の実施形態に係る中継装置500の構成を示す模式図である。図11に示す構成は、図9に示す構成に対して中継装置500にモニタ700が接続されている。第3の実施形態では、第2の実施形態の構成に対して更に画面合成機能が付加され、CHU200(1〜N)の映像を1つのモニタ700上にて監視することを可能としたものである。
【0069】
図12は、第3の実施形態の中継装置500の詳細な構成を示す模式図である。図12に示すように、第3の実施形態では、図10に示した第2の実施形態の構成に加えて、全てのカメラ映像を処理するCCU514と、画面を合成する画像合成部516が付加されている。このCCU514をBタイプと称し、IPスイッチ部504に接続されたCCU302,304をAタイプと称することとする。BタイプのCCU514は、映像データをデコードする機能を備え、AタイプのCCU302,304と同等の機能のものであっても良い。また、BタイプのCCU514は、モニタ700に合成画像を表示させるものであるため、複数の画像の合成を行うための機能(品質)を有していればよく、例えば解像度の低い映像やフレームレートが小さい映像を処理するものでもよい。あるいは、BタイプのCCU514の代わりに、CPUを設け、CPUで映像をデコードして画像合成部516へ出力しても良い。
【0070】
CCU514は、IPスイッチ部504から出力される、全てのCHU200(1〜N)に対応する映像データをデコードし、画像合成部516へ出力する。画像合成部516は、デコードされた全てのCHU200(1〜N)に対応する映像データを一画面に合成し、外部のモニタ700に対して出力する。これにより、ユーザは、モニタ700を参照することにより、全てのCHU200(1〜N)の映像を視認することができる。そして、モニタ700の映像の中から所望の映像を選択して切換え・選択・エフェクト制御部602から入力することにより、ビデオスイッチャーエフェクト部510から所望の映像を出力させることができる。
【0071】
以上説明したように第3の実施形態によれば、CHU200とモニタ表示のための映像の合成機能を備えた中継装置500とを安価なIP伝送のためのイーサネット(登録商標)等で接続することにより、既存のIPスイッチでは実現できなかった、映像フレームレベルのビデオスイッチャー及びエフェクト機能が可能な簡易システムを実現することが可能となる。
【0072】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0073】
200 カメラ装置
500 中継装置
502 解析部(受信部)
504 IPスイッチ部
【特許請求の範囲】
【請求項1】
撮像による映像信号をパケット化して出力する複数のカメラ装置と、
前記複数のカメラ装置と接続され、前記複数のカメラ装置から伝送される前記映像信号を中継する中継装置と、を有し、
前記中継装置は、
同期信号に基づいて前記複数のカメラ装置間で同期されたそれぞれの前記映像信号を受信する受信部と、
映像を選択するための制御信号に基づいて、前記複数のカメラ装置から出力された前記映像信号を選択して出力するためのスイッチ部と、
を備える、カメラシステム。
【請求項2】
前記スイッチ部で選択された前記映像信号が入力され、前記映像信号を復号化して伝送するカメラ制御装置を更に備える、請求項1に記載のカメラシステム。
【請求項3】
前記中継装置は、
複数の前記カメラ装置から伝送された前記映像信号に含まれるIPパケットを解析するIPパケット解析部を備え、
前記スイッチ部は、外部入力に基づいて生成された制御信号と、前記IPパケットの解析結果とに基づいて前記制御信号に対応するIPパケットを選択する、請求項1に記載のカメラシステム。
【請求項4】
前記スイッチ部は、映像フレームが切り替わる直前で前記映像信号を切替えることにより前記映像信号をフレーム単位で切替える、請求項1に記載のカメラシステム。
【請求項5】
前記スイッチ部は、前記制御信号に基づく前記映像信号の選択に伴う遅延量を考慮して前記映像信号の選択を行う、請求項1に記載のカメラシステム。
【請求項6】
前記中継装置は、前記映像信号の選択による映像切り替え前後の映像信号の出力タイミングの遅延量を合わせる遅延制御部を備える、請求項1に記載のカメラシステム。
【請求項7】
前記中継装置は、前記映像信号の選択による映像切り替え前後の映像信号を復号する復号部と、
前記映像信号の選択による映像切り替え前後の映像を同時に表示するためのエフェクト部と、を更に備える、請求項1に記載のカメラシステム。
【請求項8】
前記中継装置は、前記複数のカメラ装置から伝送された映像信号のそれぞれを復号する復号部と、
前記復号部で復号された映像信号を合成して表示するための画像合成部と、
を更に備える、請求項5に記載のカメラシステム。
【請求項9】
前記スイッチ部は、同時出力が可能な映像の最大数を考慮して、選択する映像信号を決定して制御する、請求項1に記載のカメラシステム。
【請求項10】
前記カメラ装置は、映像符号化方法として、非圧縮の映像信号または圧縮した映像信号をパケット化する、請求項1に記載のカメラシステム。
【請求項11】
前記カメラ装置は、映像符号化方法として、可逆圧縮した映像信号をパケット化する、請求項1に記載のカメラシステム。
【請求項12】
同期信号に基づいて複数のカメラ装置間で同期されたそれぞれの映像信号を受信する受信部と、
映像を選択するための制御信号に基づいて、前記複数のカメラ装置から出力された前記映像信号を選択して出力するためのスイッチ部と、
を備える、映像選択装置。
【請求項13】
複数の前記カメラ装置から伝送された前記映像信号に含まれるIPパケットを解析するIPパケット解析部を備え、
前記スイッチ部は、外部入力に基づいて生成された制御信号と、前記IPパケットの解析結果とに基づいて前記制御信号に対応するIPパケットを選択する、請求項12に記載の映像選択装置。
【請求項14】
前記スイッチ部は、映像フレームが切り替わる直前で前記映像信号を切替えることにより前記映像信号をフレーム単位で切替える、請求項12に記載の映像選択装置。
【請求項15】
同期信号に基づいて複数のカメラ装置間で同期されたそれぞれの映像信号を受信するステップと、
複数の前記カメラ装置から伝送された前記映像信号に含まれるIPパケットを解析するステップと、
映像を選択するための制御信号と、前記IPパケットの情報に基づいて、前記複数のカメラ装置から出力された前記映像信号を選択するステップと、
を備える、映像選択方法。
【請求項1】
撮像による映像信号をパケット化して出力する複数のカメラ装置と、
前記複数のカメラ装置と接続され、前記複数のカメラ装置から伝送される前記映像信号を中継する中継装置と、を有し、
前記中継装置は、
同期信号に基づいて前記複数のカメラ装置間で同期されたそれぞれの前記映像信号を受信する受信部と、
映像を選択するための制御信号に基づいて、前記複数のカメラ装置から出力された前記映像信号を選択して出力するためのスイッチ部と、
を備える、カメラシステム。
【請求項2】
前記スイッチ部で選択された前記映像信号が入力され、前記映像信号を復号化して伝送するカメラ制御装置を更に備える、請求項1に記載のカメラシステム。
【請求項3】
前記中継装置は、
複数の前記カメラ装置から伝送された前記映像信号に含まれるIPパケットを解析するIPパケット解析部を備え、
前記スイッチ部は、外部入力に基づいて生成された制御信号と、前記IPパケットの解析結果とに基づいて前記制御信号に対応するIPパケットを選択する、請求項1に記載のカメラシステム。
【請求項4】
前記スイッチ部は、映像フレームが切り替わる直前で前記映像信号を切替えることにより前記映像信号をフレーム単位で切替える、請求項1に記載のカメラシステム。
【請求項5】
前記スイッチ部は、前記制御信号に基づく前記映像信号の選択に伴う遅延量を考慮して前記映像信号の選択を行う、請求項1に記載のカメラシステム。
【請求項6】
前記中継装置は、前記映像信号の選択による映像切り替え前後の映像信号の出力タイミングの遅延量を合わせる遅延制御部を備える、請求項1に記載のカメラシステム。
【請求項7】
前記中継装置は、前記映像信号の選択による映像切り替え前後の映像信号を復号する復号部と、
前記映像信号の選択による映像切り替え前後の映像を同時に表示するためのエフェクト部と、を更に備える、請求項1に記載のカメラシステム。
【請求項8】
前記中継装置は、前記複数のカメラ装置から伝送された映像信号のそれぞれを復号する復号部と、
前記復号部で復号された映像信号を合成して表示するための画像合成部と、
を更に備える、請求項5に記載のカメラシステム。
【請求項9】
前記スイッチ部は、同時出力が可能な映像の最大数を考慮して、選択する映像信号を決定して制御する、請求項1に記載のカメラシステム。
【請求項10】
前記カメラ装置は、映像符号化方法として、非圧縮の映像信号または圧縮した映像信号をパケット化する、請求項1に記載のカメラシステム。
【請求項11】
前記カメラ装置は、映像符号化方法として、可逆圧縮した映像信号をパケット化する、請求項1に記載のカメラシステム。
【請求項12】
同期信号に基づいて複数のカメラ装置間で同期されたそれぞれの映像信号を受信する受信部と、
映像を選択するための制御信号に基づいて、前記複数のカメラ装置から出力された前記映像信号を選択して出力するためのスイッチ部と、
を備える、映像選択装置。
【請求項13】
複数の前記カメラ装置から伝送された前記映像信号に含まれるIPパケットを解析するIPパケット解析部を備え、
前記スイッチ部は、外部入力に基づいて生成された制御信号と、前記IPパケットの解析結果とに基づいて前記制御信号に対応するIPパケットを選択する、請求項12に記載の映像選択装置。
【請求項14】
前記スイッチ部は、映像フレームが切り替わる直前で前記映像信号を切替えることにより前記映像信号をフレーム単位で切替える、請求項12に記載の映像選択装置。
【請求項15】
同期信号に基づいて複数のカメラ装置間で同期されたそれぞれの映像信号を受信するステップと、
複数の前記カメラ装置から伝送された前記映像信号に含まれるIPパケットを解析するステップと、
映像を選択するための制御信号と、前記IPパケットの情報に基づいて、前記複数のカメラ装置から出力された前記映像信号を選択するステップと、
を備える、映像選択方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2011−259365(P2011−259365A)
【公開日】平成23年12月22日(2011.12.22)
【国際特許分類】
【出願番号】特願2010−134111(P2010−134111)
【出願日】平成22年6月11日(2010.6.11)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成23年12月22日(2011.12.22)
【国際特許分類】
【出願日】平成22年6月11日(2010.6.11)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]