説明

信号送信装置及び信号送信方法

【課題】倍密ベイヤ構造とした撮像素子から受け取った画像信号を現行の伝送フォーマットを用いて伝送する。
【解決手段】ベイヤ構造の画素密度を2倍にするとともに、ベイヤ構造に対して斜め45°に画素を配列した倍密ベイヤ構造の撮像素子から入力する画像信号に処理を施す。SAV/EAV多重部19−1〜19−8は、B,R画素から読出された画像信号を交互にHD−SDIにおけるCch相当のアクティブ領域に多重してB/Rchを生成する。一方、G画素から読出された画像信号を順にHD−SDIにおけるYch相当のアクティブ領域に多重してGchを生成する。そして、8B/10Bエンコーダは、HD−SDI相当のデータ構造としたB/Rch及びGchにおけるアクティブ領域並びにSAV,EAV,LN,CRCCを含めた補助データ領域を8B/10Bエンコーディングする。その後、8B/10Bエンコーダは、変換したシリアル・デジタルデータを出力する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば、倍密ベイヤ構造のイメージセンサから出力される画像信号を送信する場合に適用して好適な信号送信装置及び信号送信方法に関する。
【背景技術】
【0002】
従来、現行の1フレームが1920サンプル×1080ラインの画像信号(映像信号)であるHD(High Definition)信号を超える、超高精細映像信号の受像システムや撮像システムの開発が進んでいる。例えば、現行HDの4倍、16倍もの画素数を持つ次世代の放送方式であるUHDTV(Ultra High Definition TV)規格が、国際協会によって標準化が行われている。この国際協会には、ITU(International Telecommunication Union)やSMPTE(Society of Motion Picture and Television Engineers)がある。
ITUやSMPTEに提案されている映像規格は、1920サンプル×1080ラインの2倍、4倍のサンプル数、ライン数を持つ3840サンプル×2160ラインや7680サンプル×4320ラインの映像信号に関するものである。このうち、ITUで標準化されているものはLSDI(Large screen digital imagery)と呼ばれ、SMPTEに提案しているUHDTVと呼ばれる。
【0003】
ここで、SMPTE2048−1やSMPTE2036−1(UHDTV)で規定される4096規格における画素のサンプル構造は、図14に示す以下の2種類がある。
【0004】
図14は、4096規格のサンプル構造の例を示す説明図である。図14Aと図14Bの説明に用いるフレームは、4096サンプル×2160ラインで1フレーム(以下、4k×2k信号の1フレームとも称する。)を構成する。4096規格のサンプル構造は、以下の3種類がある。なお、SMPTE規格において、R′G′B′のように、ダッシュ「′」をつけた信号は、ガンマ補正などが施された信号を示す。
【0005】
図14Aは、R′G′B′,Y′Cb′Cr′ 4:4:4システムの例である。このシステムでは、全サンプルにRGB又はYCbCrのコンポーネントが含まれる。
図14Bは、Y′Cb′Cr′ 4:2:2システムの例である。このシステムでは、偶数サンプルにYCbCr、奇数サンプルにYのコンポーネントが含まれる。
【0006】
ここで、通常のベイヤ構造と倍密ベイヤ構造の違いについて図15を参照して説明する。
従来、ベイヤ構造の撮像素子を用いた撮像装置が一般に知られている。このような撮像素子は、色フィルタを介して被写体の像光を取込み、像光の強さに応じて画像信号を出力する。そして、後続の処理部が画像信号に所定の処理を施すことによって、撮像装置がビューファインダや外部の表示装置に画像を表示させることができる。撮像素子には、一般にR,G,B信号をそれぞれ出力可能なR,G,B画素が所定のパターンで配置されており、R,G,B画素をどのように配置するかによって、解像度が異なる。
【0007】
図15Aは、通常のベイヤ構造の例を示す。
通常のベイヤ構造では、対角線上にそれぞれ2個のG画素を配置し、この対角線に直交する対角線上にR,B画素を配置する構成としている。しかし、通常のベイヤ構造では、一番画素数の多いGchでも4K×2Kの半分の画素数しか得られない
【0008】
図15Bは、倍密ベイヤ構造の例を示す。
倍密ベイヤ構造では、図15Aに示した通常のベイヤ構造とした画素を45度斜めに配列する。この画素は、通常のベイヤ構造における画素に対して、縦横を半分にしたサイズとしてある。このため、倍密ベイヤではGchは4K×2Kの画素数に相当する解像度を持つ。その分、1つの画素のサイズは小さくなるが、斜めにすることで、通常のベイヤ構造でGchに4K×2Kの画素数を持たせる場合よりも小さくせずに済む。このため、解像度と感度をバランスよく両立でき、通常のベイヤ構造に対する利点となる。
【0009】
また、特許文献1には、4k×2k信号(4kサンプル×2kラインの超高解像度信号)の一種である3840×2160/30P,30/1.001P/4:4:4/12ビット信号を、ビットレート10Gbps以上で伝送する技術が開示されている。なお、[3840×2160/30P]と示した場合には、[水平方向の画素数]×[垂直方向のライン数]/[1秒当りのフレーム数]を示す。また、[4:4:4]は、原色信号伝送方式である場合、[赤信号R:緑信号G:青信号B]の比率を示し、色差信号伝送方式である場合、[輝度信号Y:第1色差信号Cb:第2色差信号Cr]の比率を示す。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特開2005−328494号公報
【発明の概要】
【発明が解決しようとする課題】
【0011】
ところで、従来、画像信号を送信する送信装置として放送用カメラが用いられ、画像信号を受信する受信装置としてCCUが用いられている。そして、画像信号のフレームレートには、23.98P,24P,25P,29.97P,30P,47.95P,48P,50P,59.94P,60P、量子化ビットは16ビットが用いられる。このため、画素数の増大に伴って、放送用カメラの消費電力も増大している。さらに、CCU等からのリモート給電が求められる放送用カメラから、CCUが備える信号処理部に対して、生データ(全データ)を光ファイバ等で伝送することが求められている。
【0012】
しかし、倍密ベイヤ構造とした撮像素子から受け取る映像信号を伝送するためのインターフェースあるいはインターフェースデータ構造の提案がなかったため、信号を伝送することができなかった。
【0013】
本発明は、このような状況に鑑みて成されたものであり、倍密ベイヤ構造とした撮像素子から受け取った画像信号を現行の伝送フォーマットを用いて伝送することを目的とする。
【課題を解決するための手段】
【0014】
本発明は、ベイヤ構造の画素密度を2倍にするとともに、ベイヤ構造に対して斜め45°に配列した画素配列である倍密ベイヤ構造の撮像素子から受け取った画像信号を処理する場合に適用される。この撮像素子における倍密ベイヤ構造は、B,G,R,G画素の順に読み出される第1のラインと、R,G,B,G画素の順に読み出される第2のラインと、を交互に水平方向に配置した構造である。
このとき、撮像素子から第1又は第2のライン毎に所定のサンプル数で読出されて入力する画像信号のうち、B,R画素から読出された画像信号を交互にHD−SDIにおけるCch相当のアクティブ領域に多重してB/Rchを生成する。
また、G画素から読出された画像信号を順にHD−SDIにおけるYch相当のアクティブ領域に多重してGchを生成する。
そして、HD−SDIのY又はCch相当のデータ構造としたB/Rch及びGchにおけるアクティブ領域並びに、SAV,EAV,LN,CRCCを含めた補助データ領域を、8B/10Bエンコーディングして変換したシリアル・デジタルデータを出力する。
【0015】
このようにしたことで、倍密ベイヤ構造の撮像素子から受け取った映像信号を多重して、8B/10Bエンコーディングして伝送することが可能となる。
【発明の効果】
【0016】
本発明によれば、倍密ベイヤ構造の撮像素子から受け取った映像信号のうち、B,R画素から読出された画像信号を交互にHD−SDIにおけるCch相当のアクティブ領域に多重してB/Rchを生成する。また、G画素から読出された画像信号を順にHD−SDIにおけるYch相当のアクティブ領域に多重してGchを生成する。このため、従来のHD−SDIの伝送フォーマットに類似したデータ形式で画像信号を伝送することが可能となる。また、新たな伝送線を設けることなく、従来用いられていた伝送線を利用できるので利便性が向上するという効果がある。
【図面の簡単な説明】
【0017】
【図1】本発明の第1の実施の形態に係るテレビジョン放送局用のカメラ伝送システムの全体構成を示す図である。
【図2】倍密ベイヤ構造の4k×2k画素が出力する映像信号の例を示す説明図である。
【図3】本発明の第1の実施の形態に係る放送用カメラの内部構成例を示すブロック図である。
【図4】本発明の第1の実施の形態に係るSAV/EAV多重部の内部構成例を示すブロック図である。
【図5】本発明の第1の実施の形態に係る信号処理部から6G信号を処理できる6GマルチプレクサFPGAに供給される信号処理の例を示す説明図である。
【図6】本発明の第1の実施の形態に係る5.94Gbpsで映像信号を伝送する際のデータ構造の例を示す説明図である。
【図7】本発明の第2の実施の形態に係る信号処理部から6G信号を処理できる6GマルチプレクサFPGAに供給される信号処理の例を示す説明図である。
【図8】本発明の第2の実施の形態に係る5.94Gbpsで映像信号を伝送する際のデータ構造の例を示す説明図である。
【図9】本発明の第3の実施の形態に係る信号処理部の内部構成例を示すブロック図である。
【図10】本発明の第3の実施の形態に係る10.692Gbpsで映像信号を伝送する際のデータ構造の例を示す説明図である。
【図11】本発明の第4の実施の形態に係る信号処理部の内部構成例を示すブロック図である。
【図12】本発明の第4の実施の形態に係る10.692Gbpsで映像信号を伝送する際のデータ構造の例を示す説明図である。
【図13】本発明の第5の実施の形態に係る倍密ベイヤシネスコの例を示す説明図である。
【図14】UHDTV規格のサンプル構造の例を示す説明図である。
【図15】倍密ベイヤ構造の4k×2k画素が出力する映像信号の例を示す説明図である。
【発明を実施するための形態】
【0018】
以下、発明を実施するための最良の形態(以下実施の形態とする。)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(倍密ベイヤ 4k/23.98P−30P/16ビット信号を8B/10B符号を用いて2chの5.94Gbpsで伝送する例)
2.第2の実施の形態(倍密ベイヤ 4k/47.95P−60P/16ビット信号を8B/10B符号を用いて4chの5.94Gbpsで伝送する例)
3.第3の実施の形態(倍密ベイヤ 4k/23.98P−30P/16ビット信号を8B/10B符号とスクランブルを用いて1chの10.692Gbpsで伝送する例)
4.第4の実施の形態(倍密ベイヤ 4k/47.95P−60P/16ビット信号を8B/10B符号とスクランブルを用いて2chの10.692Gbpsで伝送する例)
5.第5の実施の形態(倍密ベイヤシネスコ(縦横比が1:2.4) 4k/36P/16ビット信号を8B/10B符号とスクランブルを用いて1chの10.692Gbpsで伝送する例)
6.第6の実施の形態(倍密ベイヤシネスコ(縦横比が1:2.4) 4k/72P/16ビット信号を8B/10B符号とスクランブルを用いて2chの10.692Gbpsで伝送する例)
【0019】
<1.第1の実施の形態>
[倍密ベイヤ 4k/23.98P−30P/16ビット信号を8B/10B符号を用いて2chの5.94Gbpsで伝送する例]
【0020】
以下、本発明の第1の実施形態について、図1〜図6を参照して説明する。
ここでは、倍密ベイヤ 4k/23.98P−30P/16ビット信号を8B/10B符号を用いて2chの5.94Gbpsで伝送する例について説明する。4096×2160/23.98P,24P,25P,29.97P,30P/4:4:4,4:2:2/10ビット,12ビットの画素サンプルを間引く方式については以下の略記を用いる場合がある。すなわち、23.98P,24P,25P,29.97P,30Pを、「23.98P−30P」と略記する場合がある。また、5.94Gを、「6G」と略記する場合がある。また、例えば、「倍密ベイヤ4k/47.95P−60P/16ビット信号」と表記した場合、以下の意味とする。すなわち、倍密ベイヤ構造の撮像素子が4096×2160個の画素で構成され、画像信号のフレームレートが47.95P−60Pであって、画素が出力する画像信号の量子化ビットが16ビットという意味である。
【0021】
図1は、本実施の形態を適用したテレビジョン放送局用の信号伝送システム10の全体構成を示す図である。この信号伝送システム10は、複数台の放送用カメラ1とCCU(カメラコントロールユニット)2とで構成されており、各放送用カメラ1が光ファイバーケーブル3でCCU2に接続されている。放送用カメラ1は、シリアル・デジタル信号を送信する信号送信方法を適用した信号送信装置として用いられ、CCU2は、シリアル・デジタル信号を受信する信号受信方法を適用した信号受信装置として用いられる。そして、放送用カメラ1とCCU2を組み合わせた信号伝送システム10は、シリアル・デジタル信号を送受信する信号伝送システムとして用いられる。
【0022】
放送用カメラ1は、同一構成のものである。そして、放送用カメラ1は、4k×2k信号として、デジタルシネマ用の4096×2160/23.98P−60P/4:2:2ベイヤ構造/16ビット信号を生成し、CCU2に送信する信号送信装置として機能するカメラである。以下、4kサンプル×2kラインの超高解像度信号を、「4k×2k信号」と呼ぶ。
【0023】
CCU2は、各放送用カメラ1を制御したり、各放送用カメラ1から映像信号を受信したり、各放送用カメラ1のモニタに他の放送用カメラ1で撮影中の映像を表示させるための映像信号(リターンビデオ)を送信するユニットである。CCU2は、各放送用カメラ1から映像信号を受信する信号受信装置として機能する。
【0024】
図2は、倍密ベイヤ構造の4k×2k画素が出力する映像信号の例を示す。
本例の撮像素子(後述するイメージセンサ11)は、ベイヤ構造の画素密度を2倍にするとともに、ベイヤ構造に対して斜め45°に配列した画素配列である倍密ベイヤ構造としてあり、各画素が所定の読出しタイミングに応じて映像信号を出力する。倍密ベイヤ構造では、横方向の約8kサンプルの中にR,Bが約2kサンプル、Gb,Gr(GbとGrとは便宜的に表現を変えているが、同じもの)がそれぞれ約2kサンプル合わせて約4kサンプル存在する。そして、本例の撮像素子では、B,Gb,R,Gr画素の順に読み出される第1のラインと、R,Gr,B,Gb画素の順に読み出される第2のラインと、を交互に水平方向に配置した構造である。
【0025】
R,Gはそれぞれ有効ピクセル数が2048ピクセルであるが左右に各16ピクセルの追加有効エリア(のりしろ)を持ち、合計で有効ピクセル数は2080ピクセルである。Gr/Gbの有効ピクセル数は合わせて4096ピクセルであるが、左右に各32ピクセルの追加有効エリアを持ち、合計で有効ピクセル数は4160ピクセルである。縦方向の有効ピクセル数あるいはライン数は、2160ラインの上下に各22ラインの追加有効ライン(のりしろ)を持ち、合計で有効ライン数は2204ラインである。
【0026】
また、Hブランク領域は、1ラインがHDデータ構造の2倍になるように30Pでは(4400ピクセル×2ch−4160×2ピクセル)=240×2ピクセルである。図中には、24P,25PにおけるHブランク数を示す。Vブランク領域は、全ライン数がHDの2倍になるように、2250ライン−2204ライン=46ラインとして設計してある。
【0027】
図3は、放送用カメラ1の内部構成例を示す。
放送用カメラ1は、ベイヤ構造とされるイメージセンサ11と、イメージセンサ11から受け取った映像信号に適宜処理を施す信号処理部12と、を備える。イメージセンサ11には、例えば、CMOS(Complementary Metal Oxide Semiconductor)センサ又はCCD(Charge Coupled Devices)イメージャ等が用いられる。図15に示すベイヤ構造としたイメージセンサ11の4k信号は、例えば、左下から8ピクセル単位で読み出される。
【0028】
信号処理部12は、イメージセンサ11から受け取った映像信号を一時的に保存するRAM15と、RAM15から映像信号を読出す映像信号読出し部13と、を備える。また、信号処理部12は、イメージセンサ11に対して映像信号の読出しクロックを供給する読出しクロック供給部14と、を備える。
【0029】
また、信号処理部12は、映像信号読出し部13の信号読み出しの処理と、読出した映像信号をRAM18−1〜18−8に書き込む動作を制御する読出し/書込み制御部16を備える。
【0030】
また、信号処理部12は、センサ信号を並べ替えて、タイミング基準信号SAV、EAVに多重する信号多重部17を備える。信号多重部17は、8本の映像信号を出力するため、RAM18−1〜18−8と、SAV/EAV多重部19−1〜19−8を備える。信号多重部17は、イメージセンサ11から第1又は第2のライン毎に所定のサンプル数で読出されて入力する画像信号にデータを多重する。このとき、信号多重部17は、B,R画素から読出された画像信号を交互にHD−SDIにおけるCch相当のアクティブ領域に、SAV又はEAVの開始符号と共に多重してB/Rchを生成する。一方、信号多重部17は、G画素から読出された画像信号を順にHD−SDIにおけるYch相当のアクティブ領域に開始符号と共に多重してGchを生成する。
【0031】
読出し/書込み制御部16の制御によって、RAM15から読出された映像信号は、RAM18−1〜18−8にそれぞれ書き込まれる。このRAM18−1〜18−8は、図15における画像信号を8画素毎に読出す処理に対応して設けられており、1画素ずつRAM18−1〜18−8に書き込まれる。そして、SAV/EAV多重部19−1〜19−8は、RAM18−1〜18−8から読出した画像信号を並び替えて、SAV/EAVに多重した上で、1ピクセルを16ビットの画像信号として出力する。
【0032】
また、読出し/書込み制御部16は、RAM18−1〜18−8に書込みクロックを供給するだけでなく、SAV/EAVパルスと、148.5MHzのクロックを出力する。これらのパルスとクロックは、後続する不図示の処理部で用いられる。
【0033】
図4は、SAV/EAV多重部19−1〜19−8の内部構成例を示す。
SAV/EAV多重部19−1〜19−8は、SAV/EAV,LN,CRCCを計算するライン計算部22と、SAV/EAVのタイミングパルスを発生するSAV/EAVタイミングパルス発生部23を備える。
【0034】
RAM18−1〜18−8には、イメージセンサ11から入力した映像信号が保存される。この状態のまま映像信号を送信しても、信号受信装置は映像信号の区切り位置を認識できない。このため、ライン計算部22は、SAV/EAV/LN,CRCCの位置を計算する。
【0035】
SAV/EAVタイミングパルス発生部23は、読出し/書込み制御部16よりイメージセンサ11から画像信号を読出すタイミングを制御する読出しクロックと、有効映像期間のタイミング情報を受信する。このタイミング情報は、画像信号に映像データが重畳される有効映像期間の情報である。そして、SAV/EAVタイミングパルス発生部23は、HD−SDIのB/Rch又はGchにおけるアクティブ領域に画像信号を多重するタイミングパルスを発生する。
【0036】
また、SAV/EAV多重部19−1〜19−8は、RAM18−1〜18−8又はライン計算部22のいずれか一方に切替えを行って、RAM25にデータを書き込む制御を行う切替え制御部24を備える。切替え制御部24は、SAV/EAVタイミングパルス発生部23から受け取るタイミングパルスに基づいて、イメージセンサ11から画像信号を読出すタイミングを切替える。そして、読出しタイミングを切替えながらHD−SDIのB/Rch又はGchにおけるアクティブ領域に画像信号を多重したり、切り替えてSAV/EAV/LN、CRCCを多重したりする。
【0037】
図5は、信号処理部12から6G信号を処理できる6GマルチプレクサFPGA20に供給される信号処理の例を示す。以下、5.94Gbpsで伝送される映像信号を「6G信号」とも呼ぶ。
【0038】
信号処理部12は、B信号、Gb信号、R信号、Gr信号の順に画像信号を出力する。
放送用カメラ1は、6GマルチプレクサFPGA20を備えており、信号処理部12から受け取った画像信号を148.5MHzクロック毎に所定の順番に並び替える。6GマルチプレクサFPGA20には、SAV/EAVのタイミングで1クロックずつタイミングパルスが入力される。そして、SAV/EAVは信号処理部12であらかじめ多重されている。なお、図5において、6GマルチプレクサFPGA20と、信号処理部12は別の機能ブロックとして表現しているが、実際には、図3における信号処理部12の信号多重部17が6GマルチプレクサFPGA20に構成される。
【0039】
6GマルチプレクサFPGA20は、イメージセンサ11から入力する画像信号のフレームレートが23.98P,24P,25P,29.97P,30Pである場合に以下の処理を行う。この場合、イメージセンサ11が4096×2160個の画素で構成され、画素が出力する画像信号の量子化ビットが16ビットであることが必要である。
【0040】
6GマルチプレクサFPGA20は、一度に読出されたサンプルにおける偶数番目、又は奇数番目のサンプル毎に多重して2chのシリアル・デジタルデータを5.94Gbpsで出力する。このとき、6GマルチプレクサFPGA20は、B信号とR信号を1画素毎に交互に並び替える。同様に、6GマルチプレクサFPGA20は、Gb信号とGr信号を1画素毎に交互に並び替える。そして、8B/10Bエンコーダ21は、2chのデータストリームが入力すると、HD−SDIのB/Rch及びGchにおけるアクティブ領域並びに、SAV,EAV,LN,CRCCを含めた補助データ領域を、8B/10Bエンコーディングする。その後、8B/10Bエンコーダ21は、8B/10Bエンコーディングによって変換したシリアル・デジタルデータを出力する。
【0041】
このように、6GマルチプレクサFPGA20は、8ピクセル単位で読み出された映像信号を、読み出しクロックおよび信号配線を60P信号と揃える為に図5の様に折りたたむ。そして、6GマルチプレクサFPGA20は、4ピクセル単位に148.5MHzクロックで出力する。
【0042】
ここで、6GマルチプレクサFPGA20が出力する4ピクセルをそれぞれ、以下のように考える。
例えば、「B1,R1,B2,R2,B3,R3」を、HDのCch相当と考える。
また、「Gb1,Gr1,Gb2,Gr2,Gb3,Gr3」を、HDのYch相当と考える。
【0043】
この順番で映像信号を多重し、8B/10B変換すると、それぞれのchを5.94Gbpsで光または電気信号として伝送することができる。このように、出力する映像信号のデータ構造をHDのY/Cchと合わせたことで、HDの信号処理に慣れたエンジニアにフォーマットが理解されやすくなる。また、データ変換における認識ミスを防ぐことが出来る。
【0044】
ここで、各フレームレートにおける伝送レートを計算する。
[24P−30Pでの伝送レート計算]
(1)4400ピクセル×2250ライン×30P×16ビット×10/8=5.94Gbps
(2)5280ピクセル×2250ライン×25P×16ビット×10/8=5.94Gbps
(3)5500ピクセル×2250ライン×24P×16ビット×10/8=5.94Gbps
【0045】
なお、追加有効エリアを含めた有効エリアの識別のためにHDのSAV/EAVと同じくTRS(Timing Reference Signal)信号を多重した上で、次図6に示すデータ構造とする。
【0046】
図6は、5.94Gbpsで映像信号を伝送する際のデータ構造の例を示す。
ここでは、フレームレートが30PにおけるHD−SDIのCchに相当する6GbpsのLinkAのデータ構造と、HD−SDIのYchに相当する6GbpsのLinkBのデータ構造の例を示す。
【0047】
図6Aは、5.94GbpsのリンクAにおけるデータ構造の例を示す。
図6Bは、5.94GbpsのリンクBにおけるデータ構造の例を示す。
【0048】
リンクA,Bにおけるデータ構造において、信号多重部17は、HD−SDIのSAVが挿入される領域(16ビット)に、8B/10B変換する前の+k28.5,−k28.5,D0.0,D0.0,D0.0,D0.0,上位10ビットにXYZを挿入する。XYZは、SAVの開始符号として用いられ、SMPTE274M−2008のTable6やSMPTE292−2008のFigure2やAnnexEで定義される。
【0049】
また、リンクA,Bにおけるデータ構造において、信号多重部17は、HD−SDIのEAVが挿入される領域(16ビット)に、+k28.5,−k28.5,D0.0,D0.0,D0.0,D0.0を挿入する。また、EAVが挿入される領域に、上位10ビットにXYZ,上位10ビットにLN0,上位10ビットにLN1(L11を追加して2250ライン対応を可能にする),上位10ビットにCRC0,上位10ビットにCRC1を挿入する。
【0050】
ここで、以下の点に注意が必要である。
(1)全てのデータを8B/10B変換するので、バイトバウンダリを検出するためには2バイトのK28.5を設ければ十分である。
(2)8B/10B変換のみ行うので、使わないビットはリザーブ(=0〜としておいて問題ない。
(3)SMPTE 292に規定されるLNにLN11を追加して2250ラインを定義する。
【0051】
なお、XYZはHD−SDI(SMPTE274)で規定されるXYZであるが、FVH−ビットの0/1規定はベイヤ構造の4k信号の有効エリアを基準に規定する。例えば、有効ラインが2204ラインの範囲ではV=0、その外側のVブランクエリアではV=1とする。
【0052】
ここで、SAV/EAVを除いた6G_リンクA/BのHブランクにおけるデータ量を計算する。
(1)30P:(240-12(SAV/EAV))×16×10/8=4560ビット
(2)25P:(1120-12(SAV/EAV))×16×10/8=21260ビット
(3)24P:(1340-12(SAV/EAV))×16×10/8=26560ビット
【0053】
以上説明した第1の実施の形態に係る放送用カメラ1によれば、倍密ベイヤ構造とした撮像素子から読出した4k×2k/23.98P−30P/16ビット映像信号を、8B/10B符号を用いて2chの5.94Gbpsで伝送することができる。6GマルチプレクサFPGA20は、図6に示すデータ構造で規定されるSAV/EAVのタイミングで、図5に示すようにSAV/EAVを識別するためのパルスを受信する。このため、6GマルチプレクサFPGA20は、SAV、EAVに多重されたXYZを用いて、SAV/EAVの開始タイミングを識別できる。従って、HDに規定されるようなSAV/EAVを識別するための禁止コードを映像データに設ける必要がない。ここで、10ビット時000h−003h,3FCh−3FFh,12ビット時000h−00Fh,FF0h−FFFhはTRSやANCヘッダー用に使用されるため、映像データに使うことは禁止されており、これらの領域を禁止コードと呼ぶ。
【0054】
また、16ビット映像信号としてall“0”からall“1”までのデータを使用することが出来るので、映像表現において16ビットのような量子化ビット数が大きいときには極めて有効である。
【0055】
また、ANC/オーディオ信号を多重する必要がある場合には、16ビットの上位10ビットにHD−SDI用のANC/オーディオ規格であるSMPTE291やSMPTE299に準拠してデータを多重すればよい。このとき、信号多重部17は、画像信号にANC/オーディオデータが含まれる場合に、HD−SDIの水平補助データスペースに、ANC/オーディオデータを多重する。
【0056】
<第2の実施の形態:倍密ベイヤ4k/47.95P−60P/16ビット信号を8B/10B符号を用いて4chの5.94Gbpsで伝送>
【0057】
次に、本発明の第2の実施の形態に係る放送用カメラ1の動作例について、図7と図8を参照して説明する。
ここでは、倍密ベイヤ4k/47.95P−60P/16ビット信号を8B/10B符号を用いて4chの5.94Gbpsで伝送する方式について説明する。
【0058】
図7は、信号処理部12から受け取った6G信号に所定の処理を加えて出力する6GマルチプレクサFPGA20における信号の多重の例を示す。
【0059】
信号処理部12は、B信号、Gb信号、R信号、Gr信号の順に画像信号を出力する。放送用カメラ1が備える6GマルチプレクサFPGA20は、信号処理部12から受け取った画像信号を148.5MHzクロック毎に並び替える。6GマルチプレクサFPGA20には、SAV/EAVのタイミングで1クロックずつタイミングパルスが入力される。
【0060】
6GマルチプレクサFPGA20は、イメージセンサ11から入力する画像信号のフレームレートが47.95P,48P,50P,59.94P,60Pである場合に以下の処理を行う。この場合、イメージセンサ11が4096×2160個の画素で構成され、画素が出力する画像信号の量子化ビットが16ビットであることが必要である。
【0061】
6GマルチプレクサFPGA20は、一度に読出された画像信号のうち、半分の画像信号数毎に、画像信号の偶数番目、又は奇数番目の画像信号毎に多重して4chのシリアル・デジタルデータを5.94Gbpsで出力する。このとき、6GマルチプレクサFPGA20は、B信号とR信号を1画素毎に交互に並び替えて、8B/10B変換を行う。同様に、6GマルチプレクサFPGA20は、Gb信号とGr信号を1画素毎に交互に並び替え。そして、8B/10Bエンコーダ21は、2chのデータストリームが入力すると、HD−SDI相当のデータ構造としたB/Rch及びGchにおけるアクティブ領域を8B/10Bエンコーディングして変換したシリアル・デジタルデータを出力する。
【0062】
このように、6GマルチプレクサFPGA20は、8ピクセル単位で読み出された映像信号を、読み出しクロックおよび信号配線を60P信号と揃える為に図5の様に折りたたむ。そして、6GマルチプレクサFPGA20は、4ピクセル単位に148.5MHzクロックで出力する。
【0063】
図1に示す倍密ベイヤ構造の4k信号は、例えば左下から8ピクセル単位の148.5MHzクロックで読み出される。
6GマルチプレクサFPGA20が出力する4ピクセルをそれぞれ、以下のように考える。
(1)「B1,R1,B3,R3,B5,R5」を、HDのCch相当と考える。
(2)「Gb1,Gr1,Gb3,Gr3,Gb5,Gr5」をHDのYch相当と考える。
(3)「B2,R2,B4,R4,B6,R6」を、HDのCch相当と考える。
(4)「Gb2,Gr2,Gb4,Gr4,Gb6,Gr6」を、HDのYch相当と考える。
【0064】
この順番で多重し、8B/10B変換すると、それぞれのchを5.94Gbpsで光信号または電気信号として伝送出来る。データ構造をHDのY/Cchと合わせたことで、HD信号処理に慣れたエンジニアに理解されやすいと同時にミスを防ぐことが出来る。また、上位4ピクセルに関しては図3と同じ配線、クロック周波数で信号入出力できるので30P信号と60P信号の切り替え時に、クロック周波数の切り替えも必要なく、ハードウェア(回路規模)が少なくて済む。
【0065】
[47.95P−60Pでの伝送レート計算]
(1)4400ピクセル÷2×2250ライン×60P×16ビット×10/8=5.94Gbps
(2)5280ピクセル÷2×2250ライン×50P×16ビット×10/8=5.94Gbps
(3)5500ピクセル÷2×2250ライン×48P×16ビット×10/8=5.94Gbps
【0066】
なお、追加有効エリアを含めた有効エリアの識別のためにHDのSAV/EAVと同じくTRS(Timing Reference Signal)信号を多重した上で、図6に示した様なデータ構造とする。
【0067】
そして、本例のリンクA,Bにおけるデータ構造では、HD−SDIのSAV/EAVの代わりに、SAV(16ビット)に8B/10B変換前の+k28.5,−k28.5,D0.0,D0.0,D0.0,D0.0,上位10ビットにXYZを入れる。
【0068】
また、リンクA,Bにおけるデータ構造では、EAV(16ビット)に8B/10B変換前の+k28.5,−k28.5,D0.0,D0.0,D0.0,D0.0を挿入する。また、上位10ビットにXYZ,上位10ビットにLN0,上位10ビットにLN1(L11を追加して2250ライン対応を可能にする),上位10ビットにCRC0,上位10ビットにCRC1を挿入する。
【0069】
ここで、以下の点に注意が必要である。
(1)全てのデータを8B/10B変換するので、バイトバウンダリを検出するためには2バイトのK28.5を設ければ十分である。
(2)8B/10B変換のみ行うので、使わないビットはリザーブ(=0〜としておいて問題ない。
(3)SMPTE 292に規定されるLNにLN11を追加して2250ラインを定義する。
【0070】
XYZはHD−SDI(SMPTE274)で規定されるXYZであるが、FVH−ビットの0/1規定はベイヤ構造の4k信号の有効エリアを基準に規定する。例えば、有効ライン2204ラインの範囲ではV=0、その外側のVブランクエリアではV=1とする。
【0071】
[SAV/EAVを除いた6G_リンクA/B/C/DのHブランクのデータ量の計算]
(1)30P:(240÷2-12(SAV/EAV))×16×10/8=2160ビット
(2)25P:(1120÷2-12(SAV/EAV))×16×10/8=10960ビット
(3)24P:(1340÷2-12(SAV/EAV))×16×10/8=13160ビット
【0072】
図8は、HD−SDIのCch、Ych相当のデータ構造について示す。
ここでは、HD−SDIのCchに相当する6GbpsのLinkAのデータ構造と、HD−SDIのYchに相当する6GbpsのLinkBのデータ構造のうち、奇数サンプルのみ表示する。ここで、奇数サンプルとは、B,Rの奇数番目、Gb,Grの奇数番目のサンプルを意味する。偶数サンプルとは、B,Rの偶数番目、Gb,Grの偶数番目のサンプルを意味する。
【0073】
以上説明した第2の実施の形態に係る放送用カメラ1によれば、倍密ベイヤ構造とした撮像素子から読出した4k×2k/47.95P−60P/16ビット映像信号を、8B/10B符号を用いて4chの5.94Gbpsで伝送することが可能となる。6GマルチプレクサFPGA20は、図8に示すデータ構造で規定されるSAV/EAVのタイミングで、図7に示すようにSAV/EAVを識別するためのパルスを受信する。このため、6GマルチプレクサFPGA20は、図8に示すXYZを用いてSAV/EAVの開始タイミングを識別できる。従って、HDに規定されるようなSAV/EAV識別のための禁止コードを映像データに設ける必要がない。
【0074】
また、16ビットのall“0”からall“1”までのデータを活用することが出来る。このため、映像表現において16ビットのような量子化ビット数が大きいときには極めて有効である。
【0075】
また、ANC/オーディオ信号を多重する必要がある場合には、16ビットの上位10ビットにHD−SDI用のANC/オーディオ規格であるSMPTE291やSMPTE299に準拠してデータを多重する。
【0076】
<第3の実施の形態:倍密ベイヤ4k/23.98P−30P/16ビット信号を8B/10B符号とスクランブルを用いて1chの10.692Gbpsで伝送>
【0077】
次に、本発明の第3の実施の形態に係る放送用カメラ1の動作例について、図9と図10を参照して説明する。
ここでは、倍密ベイヤ4k/23.98P−30P/16ビット信号を8B/10B符号とスクランブルを用いて1chの10.692Gbpsで伝送する方式について説明する。
【0078】
図9は、信号処理部30の内部構成例を示す。
信号処理部30は、図3に示した信号処理部12から4k信号又は、これを2chの5.94Gbpsに多重した信号を受信する。そして、信号処理部30は、信号多重部17より入力したB/RchにおけるHD−SDI相当のデータ構造にした信号から多重されたTRSを検出するTRS検出部31−1を備える。また、信号処理部30は、信号多重部17より入力したGb/GrchにおけるHD−SDI相当のデータ構造にした信号から多重されたTRSを検出するTRS検出部31−2と、を備える。
【0079】
また、信号処理部30は、TRS検出部31−1によってTRSが検出されB/RchにおけるHD−SDI相当のデータ構造にした信号からアクティブ領域に8B/10Bエンコーディングする8B/10Bエンコーダ32を備える。また、信号処理部30は、8B/10Bエンコーディングされたデータを記憶するRAM34−1を備える。
【0080】
また、信号処理部30は、TRS検出部31−2によってTRSが検出されたGchにおけるHD−SDI相当のデータ構造にした信号からアクティブ領域にフレーム同期型スクランブルを掛けるスクランブラ33を備える。また、信号処理部30は、スクランブルされたデータを保存するRAM34−2を備える。
【0081】
また、信号処理部30は、RAM34−1,34−2から読出したデータを所定のデータ構造で保存するRAM35を備える。RAM34−1、34−2、35へのデータの書込みと読み出しは書込み制御部37の制御によって行われる。また、信号処理部30は、RAM35から読出したデータをパラレルデータからデジタルデータに変換するパラレル・シリアル変換部36を備える。パラレル・シリアル変換部36は、8B/10Bエンコーダ32及びスクランブラ33からパラレル入力するパラレル・デジタルデータを、シリアル・デジタルデータに変換して10.692Gbpsの伝送ストリームで出力する。
【0082】
次に、信号処理部30の動作例を説明する。
信号処理部30は、イメージセンサ11から入力する画像信号のフレームレートが23.98P,24P,25P,29.97P,30Pである場合に以下の処理を行う。この場合、イメージセンサ11が4096×2160個の画素で構成され、画素が出力する画像信号の量子化ビットが16ビットであることが必要である。
【0083】
TRS検出部31−1が、図15に示すベイヤ構造の4k信号あるいは、これを2chの5.94Gbpsに多重した信号を6GマルチプレクサFPGA20から受信すると、TRS信号より、SAV,EAVを検出する。8B/10Bエンコーダ32は、B/RchについてSAVの先頭から8B/10B変換を行う。このとき、8B/10Bエンコーダ32は、各ピクセルの映像信号を20ビットのデータ長に変換して、RAM34−1に保存する。
【0084】
一方、TRS検出部31−2がCb/Crchとした映像信号を受信すると、スクランブラ33は、この映像信号にフレーム同期型スクランブルを掛ける。フレーム同期型スクランブルは、例えば、SAVの次のアクティブ映像期間から、1フレームの期間あるいは1ラインの期間スクランブラの初期値をall“0”などの予め決められた値にセットしてスクランブルする処理である。そして、スクランブラ33は、各ピクセルの映像信号を16ビットのデータ長にスクランブルして、RAM34−2に保存する。
【0085】
ここで、フレーム同期型スクランブルは、フレームやラインの先頭など、あるタイミングで擬似ランダムパターンの生成多項式のレジスタ初期値をall“0”などの所定の値にセットし、Moduloの2の演算で入力データに足す処理である。映像信号を受信する信号受信装置では、同じ生成多項式のレジスタを信号送信装置と同じ値にセットしておく。そして、信号送信装置と同じタイミングで入力データにModulo2の演算を行うと、元のデータを再生することができる。
【0086】
次に、書込み制御部37は、HD−SDIと同様に、B/Rch,Gb/Grch,B/Rch,Gb/Grch,B/Rch,Gb/Grch…の順番で多重してRAM35に保存する。その後、パラレル・シリアル変換部36は、図10に示すデータ構造とした1chのシリアル・デジタルデータを10.692Gbpsで出力する。
【0087】
図10は、シングルリンクに全サンプルを多重した場合のデータ構造について示す。
ここでは、フレームレートが30Pの場合における、シングルリンクに全サンプルを多重した10.692Gbpsのデータ構造の例を示す。
【0088】
(1)BRchの場合:4400ピクセル×2250ライン×30P×16ビット×10/8=5.94Gbps
(2)Gb/Grchの場合: 4400ピクセル×2250ライン×30P×16ビット=4.752Gbps
(3)5.94Gbps+4.752Gbps=10.692Gbps
同様に、24P,25Pの場合も計算することができる。
【0089】
[SAV/EAVを除いたHブランクのデータ量の計算]
次に、Hブランクのデータ量を計算する。
(1)30P:(240-12(SAV/EAV))×2×16×36/32=8208ビット
(2)25P:(1120-12(SAV/EAV))×2×16×36/32=39888ビット
(3)24P:(1340-12(SAV/EAV))×2×16×36/32=47808ビット
【0090】
ANC/オーディオ信号を多重する必要がある場合には、16ビットの上位10ビットにHD−SDI用のANC/オーディオ規格であるSMPTE291やSMPTE299に準拠してデータを多重する。ここで、オーディオデータはB/Rchに多重し、オーディオコントロールパケットはGb/Grchに多重する。48kHzオーディオのオーディデータが16chである場合、31サンプル×4=124サンプルである。ここで、フレームレートが30Pの場合に、4400−4160=240サンプルである。そして、SAV/EAV/LN/CRCCを全て合わせると12サンプルであるため、残りの領域は、240−12=228サンプルである。このため、16chのオーディオデータに必要な124サンプルのデータ量を、228サンプルの領域に格納できる。つまり、この228サンプルの領域に、HD−SDIにオーディオデータを多重することが可能であると言える。
【0091】
ただし、30Pの場合、Hブランクのデータ量が最も少ないため、ANC/オーディオデータを多重するためのスペースを確保することが最も難しい。ここで、30Pの場合、48kHz÷30フレーム÷2250ライン=0.7111サンプルラインという結果が得られる。この結果は、1ラインに0.7111サンプル多重することが可能であることを示す。例えば、オーディオのサンプル(音声を取り込むこと)が一ラインの期間につき0.7111…と考えると、1/0.7111と求められる。これは、大まかには、3ラインに2回オーディオサンプルがあることを意味する。このため、問題なくANC/オーディオデータを多重出来ることが示される。
【0092】
以上説明した第3の実施の形態に係る信号処理部30によれば、倍密ベイヤ構造とした撮像素子から読出した4k×2k/23.98P−30P/16ビット映像信号を8B/10B符号とスクランブラを用いて1chの10.692Gbpsで伝送できる。ここで、TRS検出部31−1,31−2は、図10に示すデータ構造で規定されるSAV/EAVのタイミングで、SAV/EAVを識別し、SAV/EAVの開始タイミングを識別できる。
【0093】
また、16ビット映像信号としてall“0”からall“1”までのデータを使用することが出来るので、映像表現において16ビットのような量子化ビット数が大きいときには極めて有効である。
【0094】
また、ANC/オーディオ信号を多重する必要がある場合には、16ビットの上位10ビットにHD−SDI用のANC/オーディオ規格であるSMPTE291やSMPTE299に準拠してデータを多重すればよい。
【0095】
<第4の実施の形態:倍密ベイヤ4k/47.95P−60P/16ビット信号を8B/10B符号とスクランブルを用いて2chの10.692Gbpsで伝送>
【0096】
次に、本発明の第4の実施の形態に係る放送用カメラ1の動作例について、図11と図12を参照して説明する。
ここでは、倍密ベイヤ4k/47.95P−60P/16ビット信号を8B/10B符号とスクランブルを用いて2chの10.692Gbpsで伝送する方式について説明する。
【0097】
図11は、信号処理部40の内部構成例を示す。
【0098】
信号処理部40は、イメージセンサ11から入力する画像信号のフレームレートが47.95P,48P,50P,59.94P,60Pである場合に以下の処理を行う。この場合、イメージセンサ11が4096×2160個の画素で構成され、画素が出力する画像信号の量子化ビットが16ビットであることが必要である。
【0099】
信号処理部40は、信号多重部17から入力する奇数サンプルの画素のB/RchにおけるHD−SDIから多重されたTRSを検出するTRS検出部41−1を備える。また、信号処理部40は、信号多重部17から入力する奇数サンプルのGb/GrchにおけるHD−SDIから多重されたTRSを検出するTRS検出部41−2を備える。また、信号処理部40は、信号多重部17から入力する偶数サンプルの画素のB/RchにおけるHD−SDIから多重されたTRSを検出するTRS検出部41−3を備える。また、信号処理部40は、信号多重部17から入力する偶数サンプルの画素のGb/GrchにおけるHD−SDIから多重されたTRSを検出するTRS検出部41−4と、を備える。
【0100】
また、信号処理部40は、TRS検出部41−1によってTRSが検出されたB/RchにおけるHD−SDIのアクティブ領域に8B/10Bエンコーディングを行う8B/10Bエンコーダ42−1を備える。また、信号処理部40は、TRS検出部41−3によってTRSが検出されたB/RchにおけるHD−SDIのアクティブ領域に8B/10Bエンコーディングを行う8B/10Bエンコーダ42−2を備える。また、信号処理部40は、8B/10Bエンコーダ42−1,42−2によって、8B/10Bエンコーディングされたデータを記憶するRAM44−1,44−3と、を備える。
【0101】
また、信号処理部40は、TRS検出部41−2によってTRSが検出されたGb/GrchにおけるHD−SDIのアクティブ領域にフレーム同期型スクランブルを掛けるスクランブラ43−1を備える。また、信号処理部40は、TRS検出部41−4によってTRSが検出されたGb/GrchにおけるHD−SDIのアクティブ領域にフレーム同期型スクランブルを掛けるスクランブラ43−2を備える。また、信号処理部40は、スクランブラ43−1,43−2によってスクランブルされたデータを保存するRAM44−2,44−4と、を備える。
【0102】
また、信号処理部40は、RAM44−1,44−2から読出したデータを所定のデータ構造で保存するRAM45−1を備える。RAM44−1,44−2,45−1へのデータの書込みと読み出しは書込み制御部47−1の制御によって行われる。また、信号処理部40は、RAM44−3,44−4から読出したデータを所定のデータ構造で保存するRAM45−2を備える。RAM44−3,44−4か,45−2へのデータの書込みと読み出しは書込み制御部47−2の制御によって行われる。
【0103】
また、8B/10Bエンコーダ42−1及びスクランブラ43−1からパラレル入力するパラレル・デジタルデータは、RAM45−1に保存される。そして、信号処理部40は、RAM45−1から読出したパラレル・デジタルデータを、シリアル・デジタルデータに変換して10.692Gbpsの伝送フォーマットで出力するパラレル・シリアル変換部46−1を備える。
【0104】
また、8B/10Bエンコーダ42−2及びスクランブラ43−2からパラレル入力するパラレル・デジタルデータは、RAM45−2に保存される。そして、信号処理部40は、RAM45−2から読出したパラレル・デジタルデータを、シリアル・デジタルデータに変換して10.692Gbpsの伝送フォーマットで出力するパラレル・シリアル変換部46−2を備える。
【0105】
次に、信号処理部40の動作例を説明する。
信号処理部40には、B/Rch、Gb/Grchの奇数サンプルと、B/Rch、Gb/Grchの偶数サンプルがそれぞれ別に入力する。
TRS検出部41−1,41−3が、図15に示すベイヤ構造の4k信号あるいは、これを4chの5.94Gbpsに多重した信号を受信する。このとき、8B/10Bエンコーダ42−1,42−2は、図10に示すように、B/RchについてSAVの先頭から8B/10B変換を行う。このとき、8B/10Bエンコーダ42−1,42−2は、各ピクセルの映像信号を20ビットのデータ長に変換して、RAM44−1,44−3に保存する。
【0106】
一方、TRS検出部41−2,41−4がCb/Crchとした映像信号を受信すると、スクランブラ43−1,43−2は、この映像信号にフレーム同期型スクランブルを掛ける。このとき、スクランブラ43−1,43−2は、SAVの先頭から例えば1フレームの期間あるいは1ラインの期間スクランブラの初期値をall“0”などの予め決められた値にセットしてフレーム同期型スクランブルを掛ける。そして、スクランブラ43−1,43−2は、各ピクセルの映像信号を16ビットのデータ長にスクランブルして、RAM44−2,44−4に保存する。
【0107】
次に、書込み制御部47−1は、HD−SDIと同様にB/Rch,Gb/Grch,B/Rch,Gb/Grch,B/Rch,Gb/Grch…の順番で画像信号を多重してRAM45−1に保存する。その後、パラレル・シリアル変換部46−1は、図10に示すデータ構造の10.692Gbps信号として出力する。
【0108】
一方、書込み制御部47−2は、HD−SDIと同様にB/Rch,Gb/Grch,B/Rch,Gb/Grch,B/Rch,Gb/Grch…の順番で画像信号を多重してRAM45−2に保存する。その後、パラレル・シリアル変換部46−2は、図10に示すデータ構造とした10.692Gbps信号として出力する。このように、パラレル・シリアル変換部46−1,46−2は、2chのシリアル・デジタルデータを10.692Gbpsで出力する。
【0109】
(1)奇数/偶数サンプルB/Rchの場合:4400ピクセル÷2×2250ライン×60P×16ビット×10/8=5.94Gbps
(2)奇数/偶数サンプルGb/Grchの場合:4400ピクセル÷2×2250ライン×60P×16ビット=4.752Gbps
(3)5.94Gbps+4.752Gbps=10.692Gbps
同様に、24P,25Pの場合も計算することができる。
【0110】
[SAV/EAVを除いた10.692Gbps第1ch、第2chのHブランクのデータ量の計算]
(1)30P:(240÷2-12(SAV/EAV))×2×16×36/32=3888ビット
(2)25P:(1120÷2-12(SAV/EAV))×2×16×36/32=19728ビット
(3)24P:(1340÷2-12(SAV/EAV))×2×16×36/32=23688ビット
【0111】
ANC/オーディオ信号を多重する必要がある場合には、16ビットの上位10ビットにHD−SDI用のANC/オーディオ規格であるSMPTE291やSMPTE299に準拠してデータを多重する。そして、48kHzオーディオのオーディオデータが16chである場合、31バイト×4=124バイトである。これは、30Pにおける、(240÷2−12)×2=216サンプルよりも少ない値であるので、オーディオデータを多重することが可能である。
【0112】
なお、60Pの場合にHブランクのデータ量が最も少ない。このため、多重スペース確保が最も難しい。ここで、60Pの場合、48kHz÷60フレーム÷2250ライン=0.3555サンプルラインという結果が得られる。この結果は、1ラインに0.3555サンプル多重することが可能であることを示しており、(例えば、オーディオサンプルがあるラインが3ラインに1ライン)問題なくANC/オーディオデータを多重出来ることが示される。
【0113】
図12は、HD−SDIのCch、Ych相当のデータ構造について示す。
ここでは、フレームレートが60Pの場合における、デュアルリンクのLinkAに奇数サンプルを多重し、LinkBに偶数サンプルを多重した例を示す。
【0114】
以上説明した第4の実施の形態に係る信号処理部40によれば、倍密ベイヤ構造とした撮像素子から読出した4k×2k/47.95P−60P/16ビット映像信号を8B/10B符号とスクランブラを用いて2chの10.692Gbpsで伝送できる。図12に示すデータ構造で規定されるSAV/EAVのタイミングで、図11に示すようにSAV/EAVを識別するためのパルスを受信する。このため、6GマルチプレクサFPGA20は、SAV、EAVに多重されたXYZを用いて、SAV/EAVの開始タイミングを識別できる。
【0115】
また、16ビット映像信号としてall“0”からall“1”までのデータを使用することが出来るので、映像表現において16ビットのような量子化ビット数が大きいときには極めて有効である。
【0116】
また、ANC/オーディオ信号を多重する必要がある場合には、16ビットの上位10ビットにHD−SDI用のANC/オーディオ規格であるSMPTE291やSMPTE299に準拠してデータを多重すればよい。
【0117】
<第5の実施の形態:倍密ベイヤシネスコ(縦横比=1:2.4)4k/36P/16ビット信号を8B/10B符号とスクランブルを用いて1chの10.692Gbpsで伝送>
【0118】
次に、本発明の第5の実施の形態に係る放送用カメラ1の動作例について、図13を参照して説明する。
ここでは、倍密ベイヤシネスコ4k/36P/16ビット信号を8B/10B符号とスクランブルを用いて1chの10.692Gbpsで伝送する方式について説明する。
【0119】
図13は、倍密ベイヤシネスコの例を示す。
縦横比が1:2.4=1784:4096である36Pのシネスコデータを伝送する場合、全ライン数を1875ラインとする。ここで、横方向ののりしろを左右にそれぞれ32ピクセル設け、縦方向ののりしろを上下にそれぞれ22ピクセル設ける。このため、全画素数は、(4096+32×2)×(1784+22×2)=4160×1828となる。
このとき、次式が成り立つ。
10.692Gbps÷36P÷1875ライン=158400ビットライン
【0120】
信号処理部12からは図5と同じ方式で16ビットのビデオデータが供給される。縦横比が大きくなるためライン数は1875ラインに削減されてしまう。しかし、有効サンプル数は追加有効エリアやHブランクのピクセル数を含めても、第1の実施の形態に示した30Pにおける4k信号と同じである。このため、30Pにおける4k信号と、倍密ベイヤシネスコの画面の縦横比、フレームレートは異なるものの、データ構造は第3の実施の形態と同じ構造でシネスコ36Pを10.692Gbpsに多重して1ch伝送可能である。
【0121】
(1)B/Rchの場合:4400ピクセル×1875ライン×36P×16ヒ゛ット×10/8=5.94Gbps
(2)Gb/Grchの場合:4400ピクセル×1875ライン×36P×16ヒ゛ット=4.752Gbps
(3)5.94Gbps+4.752Gbps=10.692Gbps
ANC/オーディオ多重に関しても第3の実施の形態と同様に伝送できるため、ここでは説明を省略する。
【0122】
このように、第5の実施の形態に係る信号処理部30は、イメージセンサ11から入力する画像信号のフレームレートが36Pである場合に画像信号を多重する処理を行う。このとき、イメージセンサ11が縦横比を1:2.4として、4096×1785個の画素で構成され、画素が出力する画像信号の量子化ビットが16ビットであることが必要となる。そして、パラレル・シリアル変換部36は、1chのシリアル・デジタルデータを10.692Gbpsで出力する。
【0123】
以上説明した第5の実施の形態に係る信号処理部によれば、倍密ベイヤシネスコ(縦横比=1:2.4)とした撮像素子から読出した4k/36P/16ビット信号を8B/10B符号とスクランブルを用いて1chの10.692Gbpsで伝送できる。このため、TRS検出部31−1,31−2は、図10に示すデータ構造で規定されるSAV/EAVのタイミングで、SAV/EAVを識別し、SAV/EAVの開始タイミングを識別できる。
【0124】
<第6の実施の形態:倍密ベイヤシネスコ(縦横比が1:2.4)4k/72P/16ビット信号を8B/10B符号とスクランブルを用いて2chの10.692Gbpsで伝送>
【0125】
次に、本発明の第6の実施の形態に係る放送用カメラ1の動作例について説明する。
ここでは、倍密ベイヤシネスコ4k/72P/16ビット信号を8B/10B符号とスクランブルを用いて2chのシリアル・デジタルデータを10.692Gbpsで伝送する方式について説明する。
【0126】
信号処理部40は、イメージセンサ11から入力する画像信号のフレームレートが72Pである場合に以下の処理を行う。この場合、イメージセンサ11が4096×2160個の画素で構成され、画素が出力する画像信号の量子化ビットが16ビットであることが必要である。ここで、縦横比が1:2.4=1784:4096のシネスコデータ72P信号を伝送する場合には、全ライン数を1875ラインとする。
10.692Gbps÷72P÷1875ライン=79200ビットライン
【0127】
信号処理部12からは図5と同じ方式で16ビットデータが供給される。縦横比が大きくなるためライン数は1875ラインに削減される。しかし、有効サンプル数は追加有効エリアやHブランクのピクセル数を含めて第2の実施の形態に示した60Pにおける4k信号と同じである。このため、縦横比、フレームレートは異なるものの、データ構造は第4の実施の形態と同じ構造でシネスコ72Pを10.692Gbpsに多重して2chのシリアル・デジタルデータを伝送可能である。
【0128】
(1)奇数/偶数サンプルB/Rchの場合:4400ピクセル÷2×1875ライン×72P×16ビット×10/8=5.94Gbps
(2)奇数/偶数サンプルGb/Grchの場合:4400ピクセル÷2×1875ライン×72P×16ビット=4.752Gbps
(3)5.94Gbps+4.752Gbps=10.692Gbps
ANC/オーディオ多重に関しても第4の実施の形態と同様である。
【0129】
以上説明した第6の実施の形態に係る信号処理部によれば、倍密ベイヤシネスコ(縦横比=1:2.4)とした撮像素子から読出した4k/72P/16ビット信号を8B/10B符号とスクランブルを用いて2chの10.692Gbpsで伝送できる。このため、TRS検出部31−1,31−2は、図12に示すデータ構造で規定されるSAV/EAVのタイミングで、SAV/EAVを識別し、SAV/EAVの開始タイミングを識別できる。
【0130】
また、上述した第1〜第6の実施の形態に係る信号処理部によれば、以下の効果を奏する。
【0131】
倍密ベイヤ4k/23.98P−30Pと47.95P−60Pを、信号処理部12と6GマルチプレクサFPGA20を図5,図7に示した構成・配線にすることで、クロック周波数を変えることなく同一の148.5MHzクロックを使う。このため、23.98P−30Pと47.95P−60Pでクロックの接続や設定を変更せずに切り替えることが可能になるので、クロック系統のハードウェア(回路)規模が最小で済む。
【0132】
また、図5,図7に示したように、信号処理部12でSAV/EAVをデータの有効エリアの前後に多重し、SAV/EAVに合わせたタイミングパルスとSAV/EAVに多重されたXYZを用いてSAV/EAV識別を可能にした。このため、映像データに禁止コードを設ける必要がない。このおかげで、16ビット映像信号としてall“0”からall“1”まで使用することが可能になり、16ビットの映像信号を最大限活用することが出来るという効果がある。
【0133】
また、倍密ベイヤ構造の4k信号ならびにシネスコ信号を2chの5.94Gbps又は4ch、あるいは現行のSMPTE435と同じ伝送レートである1chの10.692Gbps又は2chに多重して伝送可能することが出来る。また、8B/10B符号を用いることで、HD−SDIにあるようなパソロジ信号の発生を回避し、市販の10GE用デバイスを活用することを可能となる。
【0134】
また、倍密ベイヤ4k/16ビット信号のインターフェースデータ構造を、HD−SDIのYch,Cchと類似のデータ構造に設計することで、HD信号に慣れているエンジニアの理解を得やすいと共に間違いを防ぐことが出来る。また、HD−SDIのXYZを用いることで有効フレームや有効ラインなどの区切りを定義することが可能である。
【0135】
また、本発明は上述した実施の形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
【符号の説明】
【0136】
1…放送用カメラ、2…CCU、3…光ファイバーケーブル、10…信号伝送システム、11…イメージセンサ、12…信号処理部、13…映像信号読出し部、14…読出しクロック供給部、15…RAM、16…読出し/書込み制御部、17…信号多重部、18−1〜18−8…RAM、19−1〜19−8…SAV/EAV多重部、20…6GマルチプレクサFPGA、22…ライン計算部、23…SAV/EAVタイミングパルス発生部、24…制御部、25…RAM

【特許請求の範囲】
【請求項1】
ベイヤ構造の画素密度を2倍にするとともに、前記ベイヤ構造に対して斜め45°に配列した画素配列である倍密ベイヤ構造の撮像素子であって、前記倍密ベイヤ構造は、B,G,R,G画素の順に読み出される第1のラインと、R,G,B,G画素の順に読み出される第2のラインと、を交互に水平方向に配置した構造である場合に、前記撮像素子から第1又は第2のライン毎に所定のサンプル数で読出されて入力する画像信号のうち、B,R画素から読出された画像信号を交互にHD−SDIにおけるCch相当のアクティブ領域に、SAV又はEAVの開始符号と共に多重してB/Rchを生成し、G画素から読出された画像信号を順にHD−SDIにおけるYch相当のアクティブ領域に前記開始符号と共に多重してGchを生成する多重部と、
前記HD−SDI相当のデータ構造としたB/Rch及びGchにおけるアクティブ領域ならびにSAV,EAV,LN,CRCCを含めた補助データ領域を8B/10Bエンコーディングして変換したシリアル・デジタルデータを出力する8B/10Bエンコーダと、を備える
信号送信装置。
【請求項2】
前記多重部は、前記画像信号にANC/オーディオデータが含まれる場合に、前記HD−SDIの水平補助データスペースに、前記ANC/オーディオデータを多重する
請求項1記載の信号送信装置。
【請求項3】
前記多重部は、
前記撮像素子から前記画像信号を読出すタイミングを制御する読出しクロックと、前記画像信号に映像データが重畳される有効映像期間の情報である有効映像期間のタイミング情報と、を受信して、前記HD−SDIのB/Rch又はGchにおけるアクティブ領域に画像信号を多重するタイミングパルスを発生するタイミングパルス発生部と、
前記タイミングパルス発生部から受け取る前記タイミングパルスに基づいて、前記撮像素子から画像信号を読出すタイミングを切替えて、前記HD−SDIのB/Rch又はGchにおけるアクティブ領域に画像信号を多重する切替え制御部と、を備える
請求項1又は2記載の信号送信装置。
【請求項4】
前記多重部は、前記HD−SDIのSAVが挿入される領域に、8B/10B変換前の+k28.5,−k28.5,D0.0,D0.0,D0.0,D0.0,上位10ビットに前記開始符号を挿入し、前記HD−SDIのEAVが挿入される領域に、8B/10B変換前の+k28.5,−k28.5,D0.0,D0.0,D0.0,D0.0、上位10ビットに前記開始符号,上位10ビットにLN0,上位10ビットにLN1,上位10ビットにCRC0,上位10ビットにCRC1を挿入する
請求項1〜3のいずれか1項に記載の信号送信装置。
【請求項5】
前記撮像素子から入力する前記画像信号のフレームレートが23.98P,24P,25P,29.97P,30Pであって、前記撮像素子が4096×2160個の画素で構成され、前記画素が出力する画像信号の量子化ビットが16ビットである場合に、
前記多重部は、一度に読出されたサンプルにおける偶数番目、又は奇数番目のサンプル毎に多重して2chの前記シリアル・デジタルデータを5.94Gbpsで出力する
請求項1〜4のいずれか1項に記載の信号送信装置。
【請求項6】
前記撮像素子から入力する前記画像信号のフレームレートが47.95P,48P,50P,59.94P,60Pであって、前記撮像素子が4096×2160個の画素で構成され、前記画素が出力する画像信号の量子化ビットが16ビットである場合に、前記多重部は、一度に読出された画像信号のうち、半分の画像信号数毎に、前記画像信号の偶数番目、又は奇数番目の画像信号毎に多重して4chの前記シリアル・デジタルデータを5.94Gbpsで出力する
請求項1〜4のいずれか1項に記載の信号送信装置。
【請求項7】
さらに、前記多重部から入力するB/RchにおけるHD−SDI相当のデータ構造にした信号からTRSを検出する第1のTRS検出部と、
前記第1のTRS検出部によってTRSが検出された前記B/RchにおけるHD−SDI相当のデータ構造にした信号のアクティブ領域に8B/10Bエンコーディングを行う8B/10Bエンコーダと、
前記多重部から入力するGchにおけるHD−SDI相当のデータ構造にした信号からTRSを検出する第2のTRS検出部と、
前記第2のTRS検出部によってTRSが検出された前記GchにおけるHD−SDI相当のデータ構造にした信号のアクティブ領域にフレーム同期型スクランブルを掛けるスクランブラと、
前記8B/10Bエンコーダ及び前記スクランブラからパラレル入力するパラレル・デジタルデータを、シリアル・デジタルデータに変換して出力するパラレル・シリアル変換部と、を備える
請求項1又は2記載の信号送信装置。
【請求項8】
前記撮像素子から入力する前記画像信号のフレームレートが23.98P,24P,25P,29.97P,30Pであって、前記撮像素子が4096×2160個の画素で構成され、前記画素が出力する画像信号の量子化ビットが16ビットである場合に、前記パラレル・シリアル変換部は、1chの前記シリアル・デジタルデータを10.692Gbpsで出力する
請求項7記載の信号送信装置。
【請求項9】
前記撮像素子から入力する前記画像信号のフレームレートが36Pであって、前記撮像素子が縦横比を1:2.4として、4096×1785個の画素で構成され、前記画素が出力する画像信号の量子化ビットが16ビットである場合に、前記パラレル・シリアル変換部は、1chの前記シリアル・デジタルデータを10.692Gbpsで出力する
請求項7記載の信号送信装置。
【請求項10】
さらに、前記多重部から入力する奇数サンプルの画素のB/RchにおけるHD−SDIからTRSを検出する第1のTRS検出部と、
前記第1のTRS検出部によってTRSが検出された前記B/RchにおけるHD−SDIのアクティブ領域に8B/10Bエンコーディングを行う第1の8B/10Bエンコーダと、
前記多重部から入力する奇数サンプルの画素のGchにおけるHD−SDIからTRSを検出する第2のTRS検出部と、
前記第2のTRS検出部によってTRSが検出された前記GchにおけるHD−SDIのアクティブ領域にフレーム同期型スクランブルを掛ける第1のスクランブラと、
前記第1の8B/10Bエンコーダ及び前記第1のスクランブラからパラレル入力するパラレル・デジタルデータを、シリアル・デジタルデータに変換して10.692Gbpsの伝送フォーマットで出力する第1のパラレル・シリアル変換部と、
パラレル・デジタルデータをシリアル・デジタルデータに変換して出力するパラレル・シリアル変換部と、
前記多重部から入力する偶数サンプルの画素のB/RchにおけるHD−SDIからTRSを検出する第3のTRS検出部と、
前記第3のTRS検出部によってTRSが検出された前記B/RchにおけるHD−SDIのアクティブ領域に8B/10Bエンコーディングを行う第2の8B/10Bエンコーダと、
前記多重部から入力する偶数サンプルの画素のGchにおけるHD−SDIからTRSを検出する第4のTRS検出部と、
前記第4のTRS検出部によってTRSが検出された前記GchにおけるHD−SDIのアクティブ領域にフレーム同期型スクランブルを掛ける第2のスクランブラと、
前記第2の8B/10Bエンコーダ及び前記第2のスクランブラからパラレル入力するパラレル・デジタルデータを、シリアル・デジタルデータに変換して出力する第2のパラレル・シリアル変換部と、
請求項1又は2記載の信号送信装置。
【請求項11】
前記撮像素子から入力する前記画像信号のフレームレートが47.95P,48P,50P,59.94P,60Pであって、前記撮像素子が4096×2160個の画素で構成され、前記画素が出力する画像信号の量子化ビットが16ビットである場合に、前記第1及び第2のパラレル・シリアル変換部は、2chの前記シリアル・デジタルデータを10.692Gbpsで出力する
請求項10記載の信号送信装置。
【請求項12】
前記撮像素子から入力する前記画像信号のフレームレートが72Pであって、前記撮像素子が縦横比を1:2.4として、4096×1785個の画素で構成され、前記画素が出力する画像信号の量子化ビットが16ビットである場合に、前記第1及び第2のパラレル・シリアル変換部は、2chの前記シリアル・デジタルデータを10.692Gbpsで出力する
請求項10記載の信号送信装置。
【請求項13】
ベイヤ構造の画素密度を2倍にするとともに、前記ベイヤ構造に対して斜め45°に配列した画素配列である倍密ベイヤ構造の撮像素子であって、前記倍密ベイヤ構造は、B,G,R,G画素の順に読み出される第1のラインと、R,G,B,G画素の順に読み出される第2のラインと、を交互に水平方向に配置した構造である場合に、前記撮像素子から第1又は第2のライン毎に所定のサンプル数で読出されて入力する画像信号のうち、B,R画素から読出された画像信号を交互にHD−SDIにおけるCch相当のアクティブ領域にSAV又はEAVの開始符号と共に多重してB/Rchを生成し、G画素から読出された画像信号を順にHD−SDIにおけるYch相当のアクティブ領域に前記開始符号と共に多重してGchを生成するステップと、
前記HD−SDI相当のデータ構造としたB/Rch及びGchにおけるアクティブ領域並びにSAV,EAV,LN,CRCCを含めた補助データ領域を8B/10Bエンコーディングして変換したシリアル・デジタルデータを出力するステップと、を含む
信号送信方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate


【公開番号】特開2011−182044(P2011−182044A)
【公開日】平成23年9月15日(2011.9.15)
【国際特許分類】
【出願番号】特願2010−42001(P2010−42001)
【出願日】平成22年2月26日(2010.2.26)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】