画像伝送装置、画像伝送方法、画像受信装置および画像受信方法
【課題】
画像伝送装置が伝送する画像データを圧縮して伝送し、現在規定されている画像サイズより大きなサイズの画像データを伝送する場合、画像データの伝送遅延時間最小化と高圧縮を簡易な構成で両立させる。
【解決手段】
画像データを圧縮し伝送する画像伝送方法において、Ｙ輝度信号との相関を用いた座標変換によりＣｂ又はＣｒ色差信号有効範囲を縮小する色差信号処理を行い、その結果得られたＹＣｂＣｒ輝度色差信号からなる画像データを圧縮処理し、圧縮処理された画像データを、非圧縮画像データのクロックと同期関係を持つクロック信号に同期した画像データを出力することを特徴とする画像伝送方法。
画像伝送装置が伝送する画像データを圧縮して伝送し、現在規定されている画像サイズより大きなサイズの画像データを伝送する場合、画像データの伝送遅延時間最小化と高圧縮を簡易な構成で両立させる。
【解決手段】
画像データを圧縮し伝送する画像伝送方法において、Ｙ輝度信号との相関を用いた座標変換によりＣｂ又はＣｒ色差信号有効範囲を縮小する色差信号処理を行い、その結果得られたＹＣｂＣｒ輝度色差信号からなる画像データを圧縮処理し、圧縮処理された画像データを、非圧縮画像データのクロックと同期関係を持つクロック信号に同期した画像データを出力することを特徴とする画像伝送方法。
【発明の詳細な説明】
【技術分野】
【０００１】
技術分野は、映像情報の送受信に関する。
【背景技術】
【０００２】
近年、デジタル画像処理で扱う画素数は、放送のＨＤ(High Definition：１９２０×１０８０画素)化、デジタルビデオカメラのイメージセンサやディスプレイの高画素化に伴い、年々増加している。
【０００３】
これらの画像データを機器間で伝送する方式について、ＨＤＭＩ(High-Definition Multimedia Interface （HDMI Licensing,LLCの登録商標）)規格やＶＥＳＡ(Video Electronics Standards Association)により策定されたDisplayPort（VESAの登録商標または商標）規格などがある。
【０００４】
前記のＨＤＭＩのデータ伝送方式において、特許文献１には、「非圧縮映像信号またはこの非圧縮映像信号に対して受信装置が対応可能な圧縮方式で圧縮処理を施して得られた圧縮映像信号を選択的に送信するものであり、伝送路の伝送ビットレート内で、所望のビットレートの映像信号を良好に送信できる」（特許文献１［００４８］参照）こと、また圧縮方式について、「データ圧縮部１２１-1〜１２１-nは、それぞれ、コーデック１１７から出力された非圧縮の映像信号を所定の圧縮比をもって圧縮処理し、圧縮された映像信号を出力する。データ圧縮部１２１-1〜１２１-nは、映像信号圧縮部を構成している。データ圧縮部１２１-1〜１２１-nは、それぞれ、互いに異なる圧縮方式でデータ圧縮処理を行う。例えば、圧縮方式としては、「ＲＬＥ（Run Length Encoding）」、「Ｗａｖｅｌｅｔ」、「ＳＢＭ（Super Bit Mapping（ソニーの登録商標））」、「ＬＬＶＣ（Low Latency Video Codec）」、「ＺＩＰ」等が考えられる」（特許文献１［００７７］参照）ことが記載されている。
【０００５】
また、HDMIにおいて、画像データは、ＴＭＤＳ(Transition Minimized Differential Signaling（Silicon Image, Inc.の登録商標）)方式のデータ伝送フォーマットが採用されており、その一例として特許文献２が示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２１３１１０号公報
【特許文献２】特表２００５−５１４８７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、いずれの先行技術文献においても、符号化による遅延時間を抑えながら、より大きなサイズの画像（「映像」とも言う。以下同じ。）データを伝送することは考慮されていない。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、画像データを圧縮し伝送する画像伝送装置において、輝度信号との相関を用いた座標変換によって色差信号のとりうる範囲を狭める色差信号処理を行う色差信号処理部と、輝度色差信号からなる画像データを所定の画素数からなる画像データ単位ブロック毎に圧縮処理する水平圧縮部と、輝度色差信号からなる画像データを所定の画素数からなる画像データ単位ブロック毎に圧縮処理する垂直圧縮部と、前記水平圧縮部の出力と前記垂直圧縮部の出力とを少なくとも１水平有効期間記憶する記憶部と、各画像データ単位ブロックの圧縮率と圧縮処理による画像劣化を示す指数に基づいて、圧縮符号方式を選定する圧縮率・画質評価部と、前記圧縮処理された画像データを出力するデータ転送部を有し、該データ転送部は圧縮された画像データと共に前記色差信号処理及び前記圧縮処理に関する圧縮符号情報を出力することを特徴とする。
【発明の効果】
【０００９】
上記手段によれば、より大きなサイズの画像データの伝送が可能となる。
【図面の簡単な説明】
【００１０】
【図１】第１実施例の画像伝送装置および画像受信装置の一例。
【図２】第１実施例の圧縮処理部の一例。
【図３】一般的なＹＣｂ空間の一例。
【図４】第１実施例のＹＣｂ空間の一例。
【図５】第１実施例のＹＣｂ空間の一例。
【図６】第１実施例のＹＣｂ空間とＹＣｒ空間の座標例。
【図７】第１実施例の圧縮する画像データの単位の一例。
【図８】第１実施例の圧縮する画像データの単位の一例。
【図９】第１実施例のエラー訂正符号生成部の一例。
【図１０】第１実施例のデータ伝送部の一例。
【図１１】第１実施例の画像データの有効／ブランキング期間の一例。
【図１２】第１実施例の圧縮符号情報パケットのヘッダの一例。
【図１３】第１実施例の圧縮符号情報パケットのデータの一例。
【図１４】第１実施例の圧縮符号情報パケットのヘッダの一例。
【図１５】第１実施例の圧縮符号情報パケットのデータの一例。
【図１６】第１実施例の圧縮符号情報の一例。
【図１７】第１実施例の画像受信装置のＥＤＩＤ記述の一例。
【図１８】第１実施例のデータ受信処理部の一例。
【図１９】第１実施例の伸張処理部の一例。
【図２０】第１実施例の伸張処理のタイミングの一例。
【図２１】第３実施例のデータ受信処理部の一例。
【図２２】第４実施例の圧縮処理部と選択部の一例。
【発明を実施するための形態】
【００１１】
従来、遅延時間を最小にする画像データ伝送方式として非圧縮画像データ伝送方式があるが、大きなサイズの画像データを送るには高速な伝送路を必要とする課題があった。その解決の為に、画像データを圧縮して伝送する方式が提案されているが、圧縮率を上げると遅延時間が大きくなる課題があり、さらには非圧縮画像データとのタイミング同期を実現しにくい課題があった。
【００１２】
以下の実施例では、画像データを圧縮して伝送する伝送方式において、画像伝送装置が伝送する画像データを圧縮して伝送する前にＹ輝度信号との相関関係を用いてＣｂ又はＣｒ色差信号を座標変換することによってＣｂ又はＣｒ色差信号の有効範囲を制限して画像データの圧縮効率を向上させるプレ処理と、元の非圧縮画像データが想定する画素クロック信号と同期した伝送クロックに基づいた圧縮画像データを伝送し、画像受信装置が圧縮画像データを伸張後にＹ輝度信号との相関関係を用いて制限されたＣｂ又はＣｒ色差信号を座標変換によって復元するポスト処理を行う。以下、この実施例を、図面を用いて説明する。
【実施例１】
【００１３】
以下本実施例における画像伝送装置および画像受信装置について説明する。
【００１４】
図１は、本実施例の画像伝送システムを示すブロック図であり、画像伝送装置１００と画像受信装置２００をケーブル３００で接続した構成である。
【００１５】
画像伝送装置１００は、画像データを伝送する画像伝送装置であり、デジタル放送を受信し視聴できるようにデコードした画像データや、カメラなどで撮影した画像データをＨＤＭＩケーブルなどにより、他の機器に画像データを出力する機器である。画像伝送装置１００の一例として、レコーダや、レコーダ機能を内蔵したデジタルＴＶや、レコーダ機能を内蔵したパソコンや、カムコーダや、カメラ機能を搭載した携帯電話などがある。
【００１６】
画像受信装置２００は、ＨＤＭＩケーブル等を使用して、画像データを入力しモニタに画像を出力する表示機器である。画像受信装置２００の一例として、デジタルＴＶや、ディスプレイ、プロジェクタなどがある。
【００１７】
ケーブル３００は、画像伝送装置１００と画像受信装置２００の機器間で画像データ等のデータ通信を行うデータ伝送路である。ケーブル３００の一例として、ＨＤＭＩ規格や、DisplayPort規格に対応した有線ケーブルもしくは、無線方式のデータ通信を行うデータ伝送路などがある。
【００１８】
まず、画像伝送装置１００の構成について説明する。
入力部１０１、１０２、１０３は、画像データを画像伝送装置１００に入力するための入力部である。入力部１０１に入力される画像データの一例としては、放送局または放送用衛星などの中継局からの電波として入力されるデジタル放送がある。入力部１０１には、この放送局または放送用衛星などの中継局からの電波が入力される。
【００１９】
入力部１０２に入力される画像データの一例としては、インターネットのブロードバンド接続を利用して、ネットワーク経由で配信されてくるデジタル放送や、情報コンテンツなどがある。
【００２０】
入力部１０３に入力される画像データの一例としては、入力部１０３に接続された外部の記録メディアに記録されているコンテンツや、画像伝送装置１００内に内蔵された記録メディア１０８に記録されているコンテンツがある。入力部１０３に接続された外部の記録メディア、もしくは画像伝送装置１００内に内蔵された記録メディア１０８の一例としては、光ディスク、磁気ディスク、半導体メモリなどがある。
【００２１】
チューナー受信処理部１０５は、入力された電波をビットストリームに変換する受信処理部であり、ここでＲＦ帯域（Radio Frequency）の電波はＩＦ帯域 (Intermediate Frequency) に周波数変換され、受信チャネルに依存しない一定の帯域の信号として、復調されたビットストリームに伝送のために施された変調操作を復調する。
【００２２】
ビットストリームの一例としては、ＭＰＥＧ２トランスポートストリーム(以降ＭＰＥＧ２−ＴＳとする)や、ＭＰＥＧ２−ＴＳに準じたフォーマットのビットストリーム等がある。以降のビットストリームは、ＭＰＥＧ２−ＴＳを代表として説明を行う。
【００２３】
前記チューナー受信処理部１０５は、さらに伝送途中で発生した符合の誤りを検出し訂正し、誤り訂正されたＭＰＥＧ２−ＴＳにつきスクランブルの解除を行った後、視聴もしくは記録を行うプログラムが多重化されている１トランスポンダ周波数を選択し、この選択した１トランスポンダ内のビットストリームを１プログラムのオーディオとビデオのパケットに分離化する。
【００２４】
前記チューナー受信処理部１０５からのＭＰＥＧ２−ＴＳは、データバス１８１を通してストリーム制御部１１１に供給される。ストリーム制御部１１１は、前記チューナー受信処理部１０５においてパケットを受信した時の間隔を保時する為に、受信したパケット内から時刻管理情報であるＰＴＳ(Presentation Time Stamp)と、ＭＰＥＧシステムの基準復号器内部のＳＴＣ(System Time Clock)を検出し、検出結果により補正したタイミングでタイムスタンプを付加する。前記タイムスタンプを付加したパケットをデコーダ１１２もしくは、記録メディア制御部１０７のどちらか一方、または双方に供給する。デコーダ１１２へのデータパス１８４は画像データを視聴する時の処理に用いられ、記録メディア制御部１０７へのデータパス１８３は、画像データを記録メディアに記録する時に用いられる。
【００２５】
前記ストリーム制御部１１１のデータバス１８２は、入力部１０２からネットワーク受信処理部１０６経由で入力されるＭＰＥＧ２−ＴＳが入力される。前記データパス１８２は、ネットワーク経由で配信されてくるデジタル放送もしくはデジタルコンテンツを取得する入力部である。
【００２６】
さらに前記ストリーム制御部１１１のデータバス１８３からは、入力部１０３に接続された外部の記録メディア、もしくは画像伝送装置１００内に内蔵された記録メディア１０８に記録されているデジタル放送もしくはデジタルコンテンツを、記録メディア制御部１０７により読み出したＭＰＥＧ２−ＴＳが入力される。前記ストリーム制御部１１１は、これらの入力のうち少なくとも1つ以上を選択し、デコーダ１１２に出力する。
【００２７】
デコーダ１１２は、前記ストリーム制御部１１１から入力されたＭＰＥＧ２−ＴＳをデコードし、生成した画像データを表示処理部１１３に出力する。表示処理部１１３は、入力された画像データに対して、例えばＯＳＤ（On Screen Display）の重畳処理や、拡大もしくは縮小処理を施した後、圧縮処理部１１４に出力する。
【００２８】
圧縮処理部１１４は、表示処理部１１３からの画像データに圧縮処理を施し、データ伝送部１１５に出力する。
【００２９】
データ伝送部１１５は、画像データを伝送に適した形式の信号に変換して出力部１１６から出力を行う。伝送に適した形式の信号の一例として、ケーブルによる伝送に適した形式がＨＤＭＩ規格に記載されている。ＨＤＭＩにおいて、画像データは、ＴＭＤＳ方式のデータ伝送フォーマットが採用されている。
【００３０】
入力部１０４は、画像伝送装置１００の動作を制御するための信号を入力するための入力部である。入力部１０４の一例として、リモコンの受信部などがある。入力部１０４からの制御信号は、ユーザーＩＦ１０９に供給される。前記ユーザーＩＦ１０９は、入力部１０４からの信号を制御部１１０に出力する。制御部１１０は、入力部１０４の信号に従い、画像伝送装置１００全体を制御する。制御部１１０の一例としては、マイクロプロセッサなどがある。画像伝送装置１００からの画像データは、ケーブル３００を介して画像受信装置２００に供給する。
【００３１】
次に画像受信装置２００の構成について説明する。
入力部２０１は、伝送に適した形式の信号が入力される。前記入力部２０１に入力された信号は、データ受信処理部２０５に供給される。
【００３２】
データ受信処理部２０５は、伝送に適した形式の信号から所定のデジタルデータに変換する処理を施し、伸張処理部２０６に変換したデジタルデータを出力する。
【００３３】
伸張処理部２０６は、前記画像伝送装置１００内の圧縮処理部１１４で圧縮された画像データを伸張し、表示処理部２０７に出力する。
【００３４】
表示処理部２０７は、入力された画像データに対して表示処理を施す。表示処理の一例としては、ＯＳＤ重畳処理、表示部２０８の解像度に変換するための拡大もしくは縮小処理、フレームレート変換処理などがある。表示処理部２０７の出力は表示部２０８に出力する。
【００３５】
表示部２０８は、入力された画像データを表示方式にあわせた信号に変換し画面に表示する。表示部２０８の一例として、液晶ディスプレイや、プラズマディスプレイや、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ)ディスプレイなどの表示部がある。
【００３６】
入力部２０２は、画像受信装置２００の動作を制御するための信号を入力するための入力部である。入力部２０２の一例として、リモコンの受信部などがある。入力部２０２からの制御信号は、ユーザーＩＦ２０３に供給される。前記ユーザーＩＦ２０３は、入力部２０２からの信号を制御部２０４に出力する。制御部２０４は、入力部２０２の信号に従い、画像受信装置２００全体を制御する制御部である。
【００３７】
図２は、圧縮処理部１１４の構成の一例を示すブロック図である。
入力部１３０は、圧縮処理部１１４へ画像データを入力するための入力部である。入力された画像データは、ＹＣｂＣｒ処理部１３１供給される。ＹＣｂＣｒ処理回路は、入力画像データがＲＧＢ原色信号であれば、その画像データに付与されたカラリメトリ情報に基づき所定の変換式を使用してＹＣｂＣｒ輝度色差信号に変換する。
【００３８】
カラリメトリ情報が付与されていない場合は、画像信号の水平や垂直周波数などのフォーマット情報から、例えばＨＤ画像であればＩＴＵ−Ｒ ＢＴ７０９（以降ＢＴ７０９と略す）、ＳＤ映像であればＩＴＵ−Ｒ ＢＴ６０１（以降ＢＴ６０１と略す）規定のカラリメトリ、変換式に基づいて変換処理を行う。入力画像データがＹＣｂＣｒ輝度色差信号である場合はこの変換処理は不要である。
【００３９】
さらに、ＣｂとＣｒの可変域を制限して後の圧縮処理の効率を上げるために、下記の色差信号処理も行う。図３は、ＨＤ画像に適用されるＢＴ７０９規定のＹＣｂ空間の説明図である。ＹとＣｂの値は正規化された値と８ｂｉｔ量子化された値を併記しているが、これらの定義はＢＴ７０９規格に詳述されている。通常は正規化Ｙが０〜１、正規化Ｃｂが−０．５〜＋０．５の範囲７０２が使われ、正規化Ｙが１を超える領域７０３をＯｖｅｒ Ｗｈｉｔｅ、０未満をＯｖｅｒ Ｂｌａｃｋと呼んでいる。点７０８と７０９、７１０、７１１で囲まれた平行四辺形状の領域７０７は、ＲＧＢ原色信号に変換した際に、各正規化Ｒ，Ｇ，Ｂの値が０〜１になる領域を示している。領域７０７の外は各正規化Ｒ，Ｇ，Ｂのいずれかが負になる領域を示しており、通常は使われない領域である。しかしながら、通常は使われない領域７０７の外側領域と領域７０５と領域７０６を利用して色表現範囲を広げたＩＥＣ ６１９９６ ２−４で定義されたｘｖＹＣＣ規格も知られている。
【００４０】
図４は、平行四辺形状の領域７０７を座標変換によって左右の辺をＹ軸と平行に変換した平行四辺形状の領域７１７を示している。図中の矢印は各座標の変換による移動を示している。座標変換によって座標が移動しない中心として正規化（Ｃｂ，Ｙ）＝（０，０．５）をとっている。座標変換を簡易化するため、Ｙは変換せず、Ｃｂ値のみ移動させている。Ｙを変換しないことによって、ＹＣｒ空間でも同様な座標変換によるＣｒ範囲縮小を施す場合でも、同じＹを共通に使える利点もある。
【００４１】
この座標変換の結果、平行四辺形状の領域７１７の正規化Ｃｂ範囲７１４は−０．２６９５〜０．２６９５と、変換前の平行四辺形状の領域７０７の正規化Ｃｂ範囲−０．５〜０．５に比べて約５４％に低減できる。正規化Ｃｂ範囲を狭めることで、後段の圧縮符号化を効率よく働かせることができる。
【００４２】
尚、図４からもわかるように、ｘｖＹＣＣ規格で定義される領域は全てではないが、平行四辺形状の領域７０７の周囲領域は、座標変換後の平行四辺形状の領域７１７の周囲に維持されており、ｘｖＹＣＣ規格で定義されるＣｂ領域の伝送ができる。この場合、正規化Ｃｂの伝送範囲としては、視感効果の高い平行四辺形状の領域７１７の周囲に、領域７０５と領域７０６の幅に相当する範囲を付加することが広色再現範囲実現に効果であり、例えば（−０．２６９５−０．０６７＝−０．３３６５）〜（０．２６９５＋０．０６３＝０．３３２５）となる。この場合でも、Ｃｂ可変範囲−０．５６７〜０．５６３に比べて約５９％の範囲に低減できる。
【００４３】
図５は８ｂｉｔｓ量子化時の座標変換演算をより簡易化したＹＣｂ空間の座標変換の例を示している。座標の移動しない中心点は量子化（Ｃｂ，Ｙ）＝（１２８，１２８）であり、正規化（Ｃｂ，Ｙ）＝（０，０．５１１４）の点に相当する。さらに、量子化Ｃｂの移動量は（量子化Ｙ−１２８）／２として、特に２進数での演算量を削減している。従って座標変換後の量子化Ｃｂは、（量子化Ｃｂ＋（量子化Ｙ−１２８）／２）となり、小数部分を切り捨てとする。座標変換後の平行四辺形状の領域７２７の正規化Ｃｂ範囲が−０．２８６１〜０．２８６１範囲と、図４に実施例よりは縮小効果は若干減るがそれでも約５７％に低減できる。尚、１２ｂｉｔ量子化とした場合は、量子化Ｃｂの移動量は（量子化Ｙ−２０４８）／２とすればよい。
【００４４】
図５で示した簡易化計算方法の利点は、座標変換演算量の低減だけでなく、移動量が整数である為に座標変換後に元の座標への復元演算において完全に復元できる可逆演算であることである。移動量を整数で定義しておけば、可逆演算である利点を実現できる。すなわち、上記の移動量（量子化Ｙ−１２８）／２だけでなく、（量子化Ｙ−１２８）×５／８などのような数式でもその結果を整数として処理すればよい。
【００４５】
図６は、ＢＴ７０９規格のＹＣｂ空間とＹＣｒ空間において、それぞれＣｂとＣｒの範囲を縮小する座標変換前後の、正規化ＲＧＢ原色信号が０〜１の範囲になる平行四辺形状の領域の頂点座標を示したものである。図４で説明した最小Ｃｂ範囲法と図５で説明した簡易処理法による座標変換結果を対比させている。各欄の１行目が正規化、２行目が８ｂｉｔ量子化、３行目が１２ｂｉｔ量子化、４行目が１２ｂｉｔ量子化、５行目が１６ｂｉｔ量子化した座標をそれぞれ記載している。これらの変換結果によって、Ｃｒについても、最小Ｃｒ範囲が約６４％、簡易処理のＣｒ範囲が約７２％に圧縮できることがわかる。
【００４６】
以上でその動作を説明してきたＹＣｂＣｒ処理部１３１の出力が、間引き処理部１３２、水平圧縮部１３３および垂直圧縮部１３４に供給される。
【００４７】
図７と図８は、入力部１３０に入力される画像データの一例を示す図である。水平方向にｎ画素、垂直方向にｍラインの輝度信号を示す。色差信号は、４４４フォーマットの場合、輝度信号と同じフォーマットとなる。画素数ｎ及びライン数ｍの一例としては、ｎ＝１９２０、ｍ＝１０８０のいわゆるフルＨＤ画像やｎ＝３８４０、ｍ＝２１６０のいわゆる４ｋ２ｋ画像などがある。
【００４８】
ここで、圧縮部１１４で圧縮する画像データの単位ブロックを、水平方向ｌ画素と垂直方向ｋ画素とする。図７において、５０１および５０２はｌ＝３２、ｋ＝１の例を示し、同じライン内で連続した３２画素のデータで構成する。この画像データの単位を水平圧縮部１３３が圧縮する。
【００４９】
図８において、５０３および５０４は、ｌ＝１６、ｋ＝２の例を示し、上下する２ライン間で連続する１６画素のデータで構成する。この画像データの単位ブロックを垂直圧縮部１３４が圧縮する。すなわち、垂直方向ｋ画素数（ライン数）が異なるｋ１とｋ２（ｋ１＜ｋ２）の画像データ単位ブロックを用意し、水平圧縮部１３３がｋ１の画像データ単位ブロックを、垂直圧縮部１３４がｋ２の画像データ単位ブロックを圧縮する。
【００５０】
ｋが大きいとラインメモリ量が増えて回路コストが上がり、処理時間が増加して映像表示がと遅延する原因となる。以下の説明ではｋ１＝１、ｋ２＝２としてコストと処理時間を抑える例を用いる。水平圧縮部１３３と垂直圧縮部１３４に加えてさらに異なるｋ３を持つ圧縮部を追加し、３個以上の圧縮部の出力を選択して用い、さらに圧縮効率を上げることもできる。
【００５１】
入力された色差信号が４２２フォーマットの場合は、色差信号のＣｂ成分とＣｒ成分が1画素ごとに入れ子のデータとなる。例えば４ｋ２ｋ画像においてＣｂ成分とＣｒ成分を合わせてｎ＝３８４０、ｍ＝２１６０の画像データとして扱ってもよい。一般にＣｂ成分同士、Ｃｒ成分同士の相関が高いので、Ｃｂ成分とＣｒ成分を分けて、ｎ＝１９２０、ｍ＝２１６０として扱うことにより、同一成分のみで圧縮する画像データの単位ブロックとすることによって、圧縮効率を高めることができる。
【００５２】
入力された色差信号が４２０フォーマットの場合は、色差信号のＣｂ成分とＣｒ成分がＹ信号４画素に対して１画素分のデータとなる。例えば４ｋ２ｋ画像においてＣｂ成分とＣｒ成分を合わせてｎ＝１９２０、ｍ＝２１６０の画像データとして扱ってもよい。一般にＣｂ成分同士、Ｃｒ成分同士の相関が高いので、Ｃｂ成分とＣｒ成分を分けて、ｎ＝１９２０、ｍ＝１０８０として扱うことにより、同一成分のみで圧縮する画像データの単位とすることによって、圧縮効率を高めることができる。
【００５３】
水平圧縮部１３３と垂直圧縮部１３４は、４４４フォーマットや４２２フォーマットの色差信号が入力された際に、所定の圧縮方式では所定の圧縮率に到達しない場合は４２２フォーマットや４２０フォーマットに間引いて圧縮効率を高めてもよい。
【００５４】
４２０処理部１３２は、４４４フォーマットや４２２フォーマットが入力された場合、所定の圧縮率に応じて４２２フォーマットや４２０フォーマットへ間引き処理を行う。
【００５５】
水平圧縮部１３３は、水平方向の複数の画像データに対して、圧縮を行う圧縮回路により構成される。圧縮方式の一例としては、水平方向にＷａｖｅｌｅｔ変換を演算し、その演算結果に対して、符号化した圧縮方式等で構成する。圧縮方式として、アダマール変換や、ランレングス符号化、ハフマン符号化、差分符号化などを適用してもよい。
【００５６】
垂直圧縮部１３４は、垂直方向の複数の画像データに対して、圧縮を行う圧縮回路により構成される。圧縮方式の一例としては、垂直方向に２ライン分、水平方向に１６画素分の画像データを圧縮する画像データの単位ブロックとして、まず垂直方向に対し差分をとり、次に水平方向に差分をとる。その結果に対して符号化する圧縮方式等で構成する。
【００５７】
間引き処理部１３２、水平圧縮部１３３および垂直圧縮部１３４の圧縮率は、元の非圧縮画像データに対して、例えば圧縮後の画像データを２／３や、１／２、１／３などの所定の圧縮率で圧縮可能な圧縮方式であればよい（しかし、本発明はこの圧縮率に限定されない）。この所定の圧縮率は、元の非圧縮画像データとケーブルで伝送できるデータ量の比から決まる。
【００５８】
水平圧縮部１３３、垂直圧縮部１３４の圧縮する画像データの単位は、圧縮処理による遅延量を少なくする画素数で構成する。圧縮する画像データの単位の一例として、３２画素を例にとって説明したが、６４画素や１２８画素などの単位としてもよい。
【００５９】
選択部１３５は、間引き処理部１３２と、水平圧縮部１３３もしくは、垂直圧縮部１３４の出力の内、所定の圧縮率を満たしかつ画質指数の高いものを選択し、エラー訂正符号生成部１３６に供給する。画質指数とは、例えば、圧縮画像データを復元した画像データと圧縮前の画像データの差異が小さいほど良い値を示す指数であればよい。圧縮ロスが発生せず、可逆符号化ができた場合が最高値である。
【００６０】
画質指数の計算を簡略化するため、圧縮方式別に画質指数の値を用意しておいてもよい。４４４フォーマットのまま圧縮して圧縮ロスが発生する場合よりも、４２２フォーマットへ間引き後に可逆符号化できた場合を高い画質指数に定義してもよい。圧縮によって逆にデータ量が増加してしまう場合は、４２２フォーマットや４２０フォーマットに間引いて圧縮や、量子化ｂｉｔ数を減らすことによって所定の圧縮率を達成させるが、その間引きや量子ｂｉｔ数減に応じた画質指数を設定する。
【００６１】
エラー訂正符号生成部１３６は、水平圧縮部１３３や垂直圧縮部１３４で圧縮された画像データの単位ごとにエラー訂正符号を演算し、圧縮された画像データに付加して、圧縮符号情報付加部１３７に出力する。エラー訂正の方式の一つとして、ＣＲＣ（Cyclic Redundancy Check）方式やパリティチェック方式などがある。
【００６２】
間引き処理部１３２で間引かれた画像データはエラー訂正符号を付与しなくてもよい。間引き処理の場合、エラーが生じても、該当画素と隣接した間引き画素のエラーであり、画面全体からみると画質への影響が少ないこと、さらにはケーブルのデータ伝送容量が限られている場合、エラー訂正符号を付与すると画素又は階調をより多く間引くことになり、画面全体の画質劣化につながるためである。伝送容量に余裕があれば間引き処理された画像データにもエラー訂正符号を付加して、エラー耐性を向上させてもよい。間引き画像データへのエラー訂正付加有無のメタデータを合せて伝送することによって、受信側でエラー訂正処理をするかどうかを判別させてもよい。また、間引き画像データと圧縮画像データでエラー訂正処理を変えてエラー耐性レベルを変えてもよいし、どのエラー訂正符号を付与したかを示す情報をメタデータとして加えてもよい。
【００６３】
圧縮符号情報付加部１３７は、エラー訂正符号付の圧縮画像データを後述する図１１の有効期間４０６に出力し、その直前の水平ブランキング期間４０４に圧縮方式を示す圧縮符号情報を出力する。また、別の方式としては、１ライン分のエラー訂正符号付の圧縮画像データ、及び圧縮方式を示す圧縮符号情報を、１ライン分の有効期間４０６内に伝送して伝送量の増大を図ってもよい。また、エラー訂正符号を水平ブランキング期間４０４に出力してエラー訂正の信頼性を向上させてもよい。
【００６４】
出力部１３８からは、圧縮符号情報付加化部１３７からのエラー訂正符号付圧縮画像データと、圧縮方式を示す圧縮符号情報が出力される。図示していないが、図２の各ブロックは、図１の制御部１１０の制御信号に従ってその動作を制御される。
【００６５】
図９は、エラー訂正符号生成部１３６の構成の一例を示すブロック図である。入力部１５０には圧縮された画像データが入力される。圧縮された画像データは、保持部１５５とエラー訂正符号演算部１５３に入力される。エラー訂正符号演算部１５３は、入力された圧縮された画像データに対して、生成多項式で巡回演算をする。
生成多項式の一例としては、
（数１）G(X)=X16+X12+X5+1
がある。この生成多項式は、入力された画像データ中の各ビットにつき排他的論理和をとり巡回演算する。演算の単位は圧縮する画像データの単位とする。
【００６６】
入力部１５１は、圧縮された画像データが入力されている期間を示す信号が入力され、タイミング生成部１５４に供給される。タイミング生成部１５４は、圧縮された画像データの有効期間をカウントし、圧縮する画像データの単位ブロック分の演算が処理されたことを示す信号をエラー訂正演算結果出力タイミング信号としてデータ保持部１５５に出力する。
【００６７】
さらに、タイミング生成回路１５４は、圧縮された画像データの入力期間を示すタイミング信号や、圧縮された画像データとエラー訂正符号演算結果を出力するタイミング信号なども合せてデータ保持部１５５び出力する。
【００６８】
データ保持部１５５は、タイミング生成部１５４の示すタイミングに従って、エラー訂正符号演算部１５３の演算結果と圧縮された画像データを例えばメモリやフリップフロップ、遅延素子等によって一時的に記憶し、それらを順次、出力部１５７へ出力する。
【００６９】
図１０は、データ伝送部１１５の構成の一例を示すブロック図である。
入力部１７０は、圧縮された画像データをシリアライザ１７４に出力する。また入力部１７２は、画像データのクロックが入力され、ＰＬＬ１７３と出力部１７７に出力する。画像データのクロックには、非圧縮画像データの標準的なタイミングフォーマットで使われる画素クロックに同期したクロックを用いる。
【００７０】
例えば、非圧縮画像データの画素クロックを２分周したクロックを用いてもよい。この場合、該非圧縮画像データが１２ｂｉｔｓの量子化画像データである場合は、クロックで１／２、量子化ｂｉｔ数で８／１２となるので、前記した所定の圧縮率は１／３以下を設定する必要がある。
【００７１】
クロックは２分周以外に、３／４逓倍や２／３逓倍としてもよい。非圧縮画像データの画素クロックに同期したクロックを圧縮画像データの伝送に使うことにより、受信側で非圧縮画像データを復元する場合に、伝送クロックの２倍や４／３倍、３／２倍などの逓倍したクロックを画素クロックとして使うことにより、復元データのジッタを最小化できる利点がある。
【００７２】
ＰＬＬ１７３は、入力されたクロックに対して逓倍化もしくは分周したクロックを生成する。逓倍化の一例としては、入力されたクロックの周波数に対して、５倍や１０倍などがある。ＰＬＬ１７３で生成するクロックは、1種類のクロックとしてもよいし、２種類のクロックとしてもよい。1種類のクロックの例としては、入力されたクロックの１０逓倍がある。また２種類のクロックの例としては、データ伝送量を優先した第１のクロック速度と、エラーの発生頻度を下げることを優先した第1のクロック速度より遅い速度の第２のクロック速度のクロックがある。速度の一例としては前記第1のクロック速度を入力クロックの１０逓倍、第２のクロック速度を入力クロックの５逓倍などがある。
【００７３】
ＰＬＬ１７３で生成した逓倍したクロックは、シリアライザ１７４に出力される。シリアライザ１７４は、入力されたＹＣｂＣｒ輝度色差信号の圧縮された画像データを、１０逓倍したクロックで１ｂｉｔずつシリアル化し、レベル変換部１７５に出力する。入力部１７２に入力された１クロックに対して、入力部１７０に入力されるデータが８ｂｉｔある場合、該８ｂｉｔデータを１０ｂｉｔにマッピングしてシリアル化したビットストリームのＤＣ成分を抑圧するＴＭＤＳ伝送方法などを用いてもよい。出力部１７６に接続されるケーブルが３本ある場合は、各ケーブル毎に上記シリアル処理を行うことによって、入力クロック当り２４ｂｉｔの圧縮された画像データを送ることができる。
【００７４】
レベル変換部１７５は、ケーブル伝送に適した形式の信号を出力部１７６経由で出力する。
【００７５】
図１１は、1フレーム期間の画像データが重畳される有効領域と画像データが重畳されないブランキング期間を示す図である。
【００７６】
４００で示す領域が垂直期間を示し、垂直期間４００は、垂直ブランキング期間４０１と垂直有効期間４０２から構成される。ＶＳＹＮＣ信号は、垂直ブランキング期間４０１の先頭から規定されたライン数の間を１とし、その他の垂直ブランキング期間と垂直有効期間４０２の間は０とした１ｂｉｔの信号である。規定されたライン数の一例としては、４ラインなどがある。
【００７７】
４０３で示す領域が水平期間を示し、水平期間４０３は、水平ブランキング期間４０４と水平有効期間４０５から構成される。ＨＳＹＮＣ信号は、水平ブランキング期間４０４の先頭から規定された画素数の間を１とし、その他の水平ブランキング期間と水平有効期間４０５の間は０とした１ｂｉｔの信号である。規定された画素数の一例としては、４０画素がある。
【００７８】
有効期間４０６は、垂直有効期間４０２と水平有効期間４０５の期間に囲まれた領域を示し、この期間に画像データが割り当てられる。また、ブランキング期間４０７は、垂直ブランキング期間４０１と水平ブランキング期間４０４の期間に囲まれた領域である。
【００７９】
本実施例においては、上記構成において、垂直ブランキング期間に圧縮伝送方式を示す情報を送信し、有効期間４０６に圧縮した画像データを送信し、そのラインの水平ブランキング期間４０４に各圧縮符号化の画像データ単位ブロック毎に選択された圧縮符号情報を送信する。ブランキング期間４０７は、音声データやその他の付属データをパケット化したデータを伝送している。
【００８０】
この音声データ等のパケットをブランキング期間４０７で信頼性のあるパケットを送る方法は、例えば特表２００５−５１４８７３号公報に開示されている。
【００８１】
この構成で、ブランキング期間のパケットのデータに対しては誤り訂正符号が入っているため、伝送路で発生したエラーに対して補正ができエラー耐性が強くなる。また、ブランキング期間のパケットのデータ伝送用のデータは、物理的に異なる２つのチャンネルに伝送する構成とし、一定時間ごとに伝送するチャンネルを切り替えているため、片側のチャンネルでバースト的に発生したエラーに対して、他方のチャンネルが影響されないため、データエラーの補正を行うことができる。エラーの訂正率は、水平有効期間が１０−９に対して、水平ブランキング期間は１０−１４の改善効果がある。
【００８２】
この先行技術文献では、有効期間４０６では１クロック当り２４ｂｉｔの画像データを伝送し、ブランキング期間４０７では３ｂｙｔｅのヘッダと２８ｂｙｔｅのデータで構成される１パケットを３２クロック期間で伝送している。
【００８３】
例えば、水平３８４０有効画素、垂直２１６０有効ライン、ＹＣｂＣｒ輝度色差信号各１２ｂｉｔを４４４フォーマット、フレーム周波数６０Ｈｚで伝送する場合、８９１ＭＨｚと非常に高いクロック周波数が必要となる。高クロック周波数は送受信部のコストがかかるだけでなく、画像を安定に送ることができるケーブル長も短くなり使い勝手が悪くなる。
【００８４】
本実施例によれば、２／３の圧縮で５９４ＭＨｚ、１／３の圧縮で２９７ＭＨｚと、実用的なクロック周波数に近づけることができる。また、ＹＣｂＣｒ輝度色差信号各８ｂｉｔの４４４フォーマットや、各１２ｂｉｔの４２２フォーマットにおいては、１／２の圧縮で２９７ＭＨｚの実用的なクロック周波数にすることができる。
【００８５】
水平３８４０有効画素、垂直２１６０有効ラインにおいて、例えば、水平５６０ブランキング画素、垂直９０ブランキングラインになる。以下、水平３８４０有効画素、垂直２１６０有効ライン、ＹＣｂＣｒ輝度色差信号各１２ｂｉｔを４４４フォーマット、フレーム周波数６０Ｈｚの映像信号を１／３に圧縮する場合を例にとって説明する。
【００８６】
圧縮後のクロック周波数は２９７ＭＨｚで、水平１９４０有効画素、垂直２１６０有効ライン、水平２８０ブランキング画素、垂直９０ブランキングラインという条件で伝送すると、受信側で２倍の周波数である原クロック５９４ＭＨｚを安定に再生しやすい。水平有効画素期間では、１画素当りＹＣｂＣｒ輝度色差各１２ｂｉｔ計３６ｂｉｔを１／３の１２ｂｉｔに圧縮すれば、圧縮後の１画素当り２４ｂｉｔ伝送できるので原画素の２画素分の伝送が可能となり、圧縮後のクロック周波数は原クロックの半分となる。
【００８７】
３２クロック当り１パケットが伝送できるので、圧縮後の水平２８０ブランキング画素では最大８パケットの伝送が可能となる。一方、音声データは１パケット当り２４ｂｉｔ×８ｃｈの伝送ができる。画像データの水平周波数は１３５ｋＨｚ（＝６０Ｈｚ×（２１６０＋９０））なので、１９２ｋＨｚサンプルの２４ｂｉｔリニアＰＣＭ音声を８ｃｈ伝送する場合は１水平ブランキング期間中に最大２パケット必要である。残りの６パケット、１６８ｂｙｔｅ(=２８ｂｙｔｅ×６パケット）以内で圧縮符号方式情報を記述できることが望ましい。
【００８８】
一方、前述した３２画素を単位ブロックとして圧縮する場合、水平３８４０有効画素なので１２０ブロック分のＹＣｂＣｒ輝度色差信号の各圧縮符号方式情報、計３６０個分の記述スペースが必要である。圧縮符号情報を例えば２ｂｉｔで表現すると、９０ｂｙｅ分の記述スペースとなり、４パケットで伝送できるので、１９２ｋＨｚ、８ｃｈの大容量音声データ伝送と両立できる。図１２〜図１５にパケットの一例を示す。
【００８９】
図１２と図１４がパケットのヘッダの一例であり、最初のヘッダブロックＨＢ０に本発明の圧縮符号化伝送方式に関する情報であることを示す共通のヘッダタイプ０Ｂｈを記述する。ＨＢ１の各ｂｉｔとＨＢ２のＢｉｔ４〜７は将来拡張用として０としている。ＨＢ２のＢｉｔ０〜３に示すＥｃｏ＿Ｐａｃｋｅｔ＃がフレーム内での識別を示している。図１３と図１５がヘッダに続けて伝送される２８ｂｙｔｅのデータの一例である。
【００９０】
図１２のヘッダにおいて、Ｅｃｏ＿Ｐａｃｋｅｔ＃は０ｈを割り当て、図１２のヘッダと図１３のデータから構成されるパケットが各フレーム内の共通情報であることを示す。このパケットは垂直ブランキング期間中に配置され、各画像フレームに少なくとも１回送信される。以下、図１３のデータの内容を説明する。
【００９１】
Ｃｏｌｏｒ＿Ｓａｍｐｌは、カラーサンプル情報を示し、例えば０がＹＣｂＣｒ４４４フォーマット、１がＹＣｂＣｒ４２２フォーマット、２がＹＣｂＣｒ４２０フォーマット、３がＲＧＢ４４４フォーマットを示し、４〜７は将来拡張用である。４２２や４２０フォーマットではさらにＣｂＣｒのサンプル位置情報を示すＢｉｔを追加で割り当ててもよい。
【００９２】
ＣＤはＣｏｌｏｒ Ｄｅｐｔｈであり、例えば４ｈは各ＹＣｂＣｒ成分８ｂｉｔの計２４ｂｉｔ Ｃｏｌｏｒ、５ｈは各ＹＣｂＣｒ成分１０ｂｉｔの計３０ｂｉｔ Ｃｏｌｏｒ、６ｈは各ＹＣｂＣｒ成分１２ｂｉｔの計３６ｂｉｔ Ｃｏｌｏｒ、７ｈは各ＹＣｂＣｒ成分１６ｂｉｔの計４８ｂｉｔ Ｃｏｌｏｒを示し、その他は将来拡張用である。この定義はＨＤＭＩが既定するＤｅｅｐ Ｃｏｌｏｒ Ｍｏｄｅの定義に準じている。
【００９３】
Ｅｃｏ＿ＣｂＣｒは、図４や図５で説明したＣｂやＣｒの座標変換の適用情報を示している。０であれば座標変換未適用、１は図５で説明した簡易座標変換、２は図４で説明したＣｂやＣｒの範囲を最小化した座標変換、３はＣｂＣｒ範囲を最小化にした上でさらに係数圧縮した座標変換を示す。４〜７は将来拡張用である。Ｃｏｌｏｒ＿ＳａｍｐｌがＲＧＢ４４４フォーマットを指定する場合は、この座標変換は無効なので未適用の０を記述すればよい。次に係数圧縮について、説明する。
【００９４】
図４に示すＣｂ範囲最小化の座標変換を行った場合、Ｃｂの有効範囲領域は８ｂｉｔ量子化時に６８〜１８８の範囲であり、範囲幅は１２１と１ｂｉｔ少ない７ｂｉｔで表現できる。しかし、図６の最小Ｃｒ範囲では８ｂｉｔ量子化時に５７〜１９９の範囲と範囲幅で１４３と７ｂｉｔでは表現できない。
【００９５】
また、ｘｖＹＣＣなどの拡張色空間をある程度表現したい場合もあるので、係数縮小を行い１ｂｉｔ少ないデータで表現できるようにするものである。ＣｂとＣｒの各縮小係数は、図１３のＣｂ＿ＦａｃｔｏｒとＣｒ＿Ｆａｃｔｏｒの各８ｂｉｔデータを２５６で割った値で示す。但し、００ｈ表記は縮小係数１．００すなわち係数圧縮しないことを示す。また、係数縮小後の量子化ｂｉｔ数は元空間の量子化ｂｉｔ数に比べて、Ｃｂ＿ＦａｃｔｏｒやＣｒ＿Ｆａｃｔｏｒが１２９〜２５５と０は１ｂｉｔ、６５〜１２８は２ｂｉｔ、３３〜６４は３ｂｉｔ、１７〜３２は４ｂｉｔ減らすものとする。Ｙ輝度信号に対して、ＣｂＣｒ色差信号の階調数を減らしても画質上への影響は比較的小さいので、本手法によるデータ量圧縮は効果的である。
【００９６】
例えば座標変換前の画像データが８ｂｉｔであって、Ｅｃｏ＿ＣｂＣｒ＝”３”、Ｃｂ＿Ｆａｃｔｏｒを００ｈ（すなわち係数縮小なし）と設定した場合、ＲＧＢ原色信号換算値がいずれも正となるＣｂ範囲６８〜１８８（１２８が正規化Ｃｂ＝０．０に相当）は、４〜１２４（６４が正規化Ｃｂ＝０．０に相当）へ変換される。７ｂｉｔ化時において、６４を正規化ＣｂＣｒの０．００として量子化データは１〜１２６を用いる。座標変換前の０と２５５はそれぞれ０と１２７として伝送する。座標変換前が１２ｂｉｔであって、Ｃｂ＿Ｆａｃｔｏｒが１２８の場合は。係数圧縮後のデータは２ｂｉｔ少ない１０ｂｉｔとなり、５１２を正規化Ｃｂの０．００として量子化データは１〜１０２２を用いる。座標変換前の０と４０９５は０と１０２３として伝送する。
【００９７】
このように、ＣｂやＣｒ色差信号のｂｉｔ数を圧縮すれば、後段の水平又は垂直圧縮部などを使わないでも、ＹＣｂＣｒ輝度色差信号各８ｂｉｔの合計２４ｂｉｔを１画素として非圧縮伝送の代わりに。Ｙ輝度信号に１０ｂｉｔ、ＣｂＣｒ色差信号各７ｂｉｔの合計２４ｂｉｔを１画素として非圧縮伝送もできる。視感度の高いＹ輝度信号に２ｂｉｔを追加して伝送することにより滑らかな階調表現が実現できる。この場合、従来のＹ輝度信号８ｂｉｔには１０ｂｉｔのＹ輝度信号の上位８ｂｉｔを、ＣｂとＣｒ色差信号各８ｂｉｔの上位７ｂｉｔには７ｂｉｔに縮小したＣｂとＣｒ色差信号を、ＣｂとＣｒ色差信号各８ｂｉｔの下位１ｂｉｔには１０ｂｉｔのＹ輝度信号の下位２ｂｉｔを１ｂｉｔずつ割り当てるとよい。この割り当てにより、万一、このｂｉｔ割り当てを誤解釈して従来のＹＣｂＣｒ輝度色差信号各８ｂｉｔ割り当てと扱った場合でも、その画質への影響を軽減することができる。
【００９８】
尚、上記は座標変換後に係数圧縮と言う２ステップ演算を示唆しているが、これを合せて１つの座標変換としてあつかうと演算量を軽減できる。さらにはＲＧＢ原色信号が入力される場合は、ＹＣｂＣｒ輝度色差信号へ変換するマトリクス演算の係数に反映させれば１回の演算でよい。
【００９９】
Ｅｃｏ＿ＦＬＭは、フレーム内の全ブロックの圧縮符号方式が同一である場合に１とし、ブロック毎に設定する場合を０としている。１の場合は、後述するＥｃｏ−ＣＤ０とＥｃｏ−ＣＤ１、Ｅｃｏ−ＣＤ２にそれぞれＹ、Ｃｂ、Ｃｒの圧縮符号方式を記述する。
【０１００】
ＣＫ＿ＮとＣＫ＿Ｍは、その比（ＣＫ＿Ｎ／ＣＭ＿Ｍ）が、非圧縮画像データの画素クロックと、圧縮後のデータを伝送する通信路のクロック例えばＴＭＤＳクロックとの周波数比を示す。例えばＣＭ＿Ｎ＝１でＣＫ＿Ｍ＝２であれば、４ｋ２ｋの場合の非圧縮画像データの画素クロック５９４ＭＨｚに対して伝送系のＴＭＤＳクロックは１／２の２９７ＭＨｚとなる。
【０１０１】
Ｅｃｏ＿Ｂｌｏｃｋは圧縮画素単位ブロックの画素数を示している。Ｅｃｏ＿ＣＤ０〜Ｅｃｏ＿ＣＤ３は、各画像データ単位ブロックに適用する圧縮符号化情報の候補を４種類示すものである。図１６に一例を示すように、圧縮する画像データ単位の圧縮符号情報Ｅｃｏ＿Ｃｏｄｅから４種類を選択する。
【０１０２】
図１４のヘッダと図１５のデータからなるパケットは、各水平ブランキング期間に１個以上伝送される。図１４のヘッダ中のＥｃｏ＿Ｐａｃｋｅｔ＃は、各ラインに伝送される本パケットのシリアル番号を示すものであり、１から始まり順次１ずつ増やしていく。図１５に示すＣｏｄｅ＿０〜Ｃｏｄｅ＿１１１は、図１３のＥｃｏ＿ＣＤ０〜Ｅｃｏ＿ＣＤ３で記述した４種類の圧縮符号化情報から選択した番号を、各画像データ単位ブロックにおいて、各Ｙ、Ｃｂ，Ｃｒ成分を順番に記述する。例えば、最初の画像データ単位ブロックのＹ成分の圧縮符号情報を示すＣｏｄｅ＿０が１であれば、Ｅｃｏ＿ＣＤ１を指す。Ｅｃｏ＿ＣＤ１が１０を示していれば、図１６から原画像のデータの４４４フォーマットＹ成分を差分符号化方式で圧縮したデータであることを示している。
【０１０３】
図８に示した垂直２ラインを画像データ単位ブロックとする場合は、１ライン目のＣｏｄｅ＿０が画像データ単位ブロック５０３の圧縮符号情報を、２ライン目のＣｏｄｅ＿０が画像データ単位ブロック５０４の圧縮符号情報を示す。
【０１０４】
図１３のＣｏｌｏｒ＿Ｓａｍｐｌが４４４フォーマットを示している場合は、Ｃｏｄｅ＿１は、第１画像データ単位ブロックのＣｂの圧縮符号情報、Ｃｏｄｅ＿２は第１画像データ単位のＣｒの圧縮符号情報、Ｃｏｄｅ＿３は第２画像データ単位ブロックのＹの圧縮符号情報を示す。Ｃｏｌｏｒ＿Ｓａｍｐｌが４２０フォーマットを示している場合は、Ｃｏｄｅ＿１は、第２画像データ単位ブロックのＹの圧縮符号情報、Ｃｏｄｅ＿２は第１と第２画像データ単位のＣｂ（偶数ラインではＣｒ）の圧縮符号情報、Ｃｏｄｅ＿３は第３画像データ単位ブロックのＹの圧縮符号情報を示す。Ｃｏｌｏｒ＿Ｓａｍｐｌが４２２フォーマットを示している場合は、Ｃｏｄｅ＿１は、第１と第２画像データ単位ブロックのＣｂの圧縮符号情報、Ｃｏｄｅ＿２は第第２画像データ単位のＹの圧縮符号情報、Ｃｏｄｅ＿３は第１と第２画像データ単位ブロックのＣｂの圧縮符号情報を示す。
【０１０５】
また、Ｃｏｄｅ＿０が０であれば、Ｅｃｏ＿ＣＤ０を指し、Ｅｃｏ＿ＣＤ０が６を示していれば図１６から、原画像のデータの４４４フォーマット各Ｙ、Ｃｂ、Ｃｒ成分１２ｂｉｔデータを４２０フォーマット８ビットに間引いていることを示している。この場合は、Ｙ成分のＣｏｄｅ＿０のみでＣｂとＣｒの伝送形態が決まる為、Ｃｂ成分を示すＣｏｄｅ＿１やＣｒ成分を示すＣｏｄｅ＿２の情報は不要であり、０を記述しておくよい。
【０１０６】
さて、図１に図示していないが、画像受信装置２００には画像受信装置２００の性能を示すＥＤＩＤ（Enhanced Extended Display Identification Data）を格納したＲＯＭが搭載されている。このＲＯＭの中に画像受信装置２００が圧縮伸張に対応しているか否かを判別する情報を付加してもよい。これにより、画像伝送装置１００は、画像受信装置２００のＥＤＩＤを格納したＲＯＭから、圧縮伸張に対応しているか否かを判別する情報を読出し、対応している装置であれば、圧縮した画像データを伝送し、非対応の装置であれば、圧縮せず従来のサイズで画像を送信することにより、圧縮処理に非対応の画像受信装置とも互換性を保つことができる。
【０１０７】
また、画像受信装置が圧縮に非対応であり、従来の画像サイズであることを表示部２０８に表示することにより、ユーザーに通知することがきる。
【０１０８】
このＥＤＩＤの記述例を図１７に示す。図１７は、ＨＤＭＩ−ＶＳＤＢと称される領域へ拡張子した例を示している。６Ｂｙｔｅ目のＢｉｔ２に本発明の圧縮符号化伝送方式への対応可否を示すＥｃｏ＿ｔｒａｎｓｆｅｒフラグを設ける。本領域は予約領域として扱われてきたので、非対応のレガシー機器では０と記載されており、対応機器のみ１と記載することによって後方互換性を維持できる。このＥｃｏ＿ｔｒａｎｓｆｅｒフラグが１の場合、Ｂｙｔｅ９とＢｙｔｅ１０の記述が有効となる。Ｂｉｔ０と１のＥｃｏ＿ＣｂＣｒは、ＣｂＣｒ色差信号の座標変換対応可否を示し、図１３のＥｃｏ＿ＣｂＣｒの下位２ｂｉｔに相当する。０であれば座標変換未対応、１は簡易座標変換対応、２は簡易座標変換に加えてＣｂやＣｒの範囲を最小化した座標変換にも対応、３は簡易座標変換に加えてＣｂＣｒ範囲を最小化にした上でさらに係数圧縮した座標変換する機能も３方式全部の座標変換にも対応していることを示している。
【０１０９】
Ｂｌｏｃｋ＿６４とＢｌｏｃｋ＿１２８は、圧縮する画像データ単位ブロックの大きさがそれぞれ６４画素、１２８画素に対応することを示すフラグである。画像データ単位ブロックの大きさ３２画素は本圧縮画像データ伝送対応における必須モードと定義して、ＥＤＩＤ記述スペース節約のため、あえて表記していない。Ｅｃｏ−Ｃｏｄｅ１〜４は、それぞれ、図１６に一例を示した圧縮符号化方式、Ｗａｖｅｌｅｔ変換、ランレングス符号化、ハフマン符号化、差分符号化に対応していることを示すフラグである。ＣＬＫ＿１、ＣＬＫ＿３／４、ＣＬＫ＿１／２は、それぞれ非圧縮画像データクロックに対する、ＴＭＤＳ伝送クロックの周波数が１倍、３／４倍、１／２倍となるモードに対応していることを示すフラグである。
【０１１０】
また、画像伝送装置１００を携帯機器として使用する場合に、バッテリー駆動の装置となるため、画像伝送装置１００の消費電力が連続使用時間に影響する。この場合、画像データを圧縮して伝送しデータ伝送量を下げ、消費電力を低減できる。この効果は、画像伝送装置１００の動作モードとして、例えば「省電力モード」などの機能を付加し、外部から電源が供給されている場合は、非圧縮の画像データで伝送し、バッテリーで駆動されている場合は、画像データを圧縮して伝送することにより、連続使用時間を長く設定することができる。
【０１１１】
図１８は、データ受信処理部２０５の構成の一例を示すブロック図である。
入力部２２０は、画像伝送装置１００のレベル変換部１７５にて変換された信号をレベル変換部２２２に出力する。レベル変換部２２２は、画像伝送装置１００でレベル変換された信号をデジタル信号に変換しデシリアライザ２２３に出力する。レベル変換の一例としては、差動信号をシングルエンド信号への変換がある。
【０１１２】
入力部２２１は、画像伝送装置１００から出力されたクロックを入力しＰＬＬ２２４に出力する。ＰＬＬ２２４は、入力されたクロックの１０倍のクロックを生成し、デシリアライザ２２３に出力する。またＰＬＬ２２４は、画像受信装置２００内で使用する画素クロックを出力部２２６から出力する。原画像の非圧縮画像データの画素クロックを画像表示装置２００内で用いる場合は、入力クロックを図１３のパケットデータに基づき、ＰＬＬ２２４が（ＣＫ＿Ｍ／ＣＫ＿Ｎ）倍に逓倍したクロックを出力部２２６から出力する。
【０１１３】
デシリアライザ２２３は、シリアル化されたデータをＰＬＬ２２４からのクロックでパラレル化し、出力部２２５から出力する。デシリアライザ２２３は、１０倍のクロックのデータをパラレル化して所定の例えばＴＭＤＳ復号により８ｂｉｔパラレルデータとして出力部２２５から出力する。
【０１１４】
図１９は、伸張処理部２０６の構成の一例を示すブロック図である。また、図２０は、伸張処理部２０６の処理概念を示すタイミング説明図である。
入力部２５０は、伸張処理部２０６のデータ入力部である。入力部２５０に入力されるデータには、画像データの同期信号を示すＨＳＹＮＣ（図２０（ａ））およびＶＳＹＮＣと、有効期間４０６に圧縮された画像データ５１２と５１４、水平ブランキング期間４０４に圧縮符号情報５１１と５１３がある。入力部２５１には復元後の非圧縮画像データの画素クロックや、圧縮画像データクロック等が入力される。
【０１１５】
ＨＳＹＮＣ、ＶＳＹＮＣ、圧縮画像データクロックと復元後の非圧縮画像データの画素クロックは、タイミング生成部２５２に供給される。タイミング生成部２５２は、入力されたＨＳＹＮＣ、ＶＳＹＮＣによりカウンタを制御し、垂直ブランキング期間４０１、垂直有効期間４０２、水平ブランキング期間４０４、水平有効期間４０５、有効期間４０６などのタイミングを始め、伸張処理部内の各ブロックの制御に必要なタイミングを生成し出力する。
【０１１６】
圧縮符号情報抽出部２５３は、水平ブランキング期間に送られてくる各画像データ単位ブロックの圧縮符号情報を抽出して圧縮符号情報記憶部２５４に記憶させる。その記憶期間を図２０（ｃ）に示す。圧縮符号情報５１１は続く圧縮画像データ５１２に対応したデータであるので、同情報を２ライン目の圧縮符号情報５１３が来るまでの記憶期間５１５で十分である。しかし、例えば２ラインの画像データを垂直圧縮させている場合は、垂直伸張用圧縮符号情報５１６だけは２ライン目の圧縮画像データを伸張させる期間まで保持させる必要がある。
【０１１７】
水平有効期間内に送られてくる圧縮画像データはエラー訂正部２５５で伝送系のエラー訂正処理を行う。 エラー訂正部２５５は、圧縮された画像データの単位ごとに、エラー訂正符号生成部１３６と同じエラー訂正符号を演算する。前記演算結果と符号検出部２５３から入力されるエラー訂正符号とを比較し、比較結果が異なっている場合は、エラー訂正処理を行う。エラー訂正処理の一例としては、ＣＲＣ演算がある。また、エラー検出のみを行い以降の処理でエラーを補間してもよい。
【０１１８】
水平有効期間内に送られてくる圧縮画像データの内、間引き画像データはエラー訂正部２５５を通さず、直接選択部２５８へ入力している（図１９の矢印２６３）。単なる間引き画像データの場合、エラーがあってもそのエラーは該当画素及び隣接した間引き画素に限定され、画面全体の画質を著しく劣化させるものではないこと、さらにはエラー訂正符号を付加するとさらに多くの画素又は階調を間引くことになって画面全体の画質劣化につながる点を考慮した為である。もちろん、データ転送帯域に余裕があれば、間引き画像データにもエラー訂正処理を付加してもよい。
【０１１９】
圧縮符号情報記憶部２５４の情報を基に、水平伸張部２５６や垂直伸張部２５７で画像データを伸張して選択部２５８へ出力する。水平伸張部２５６出力（図２０（ｄ））は圧縮画像データ５１２と５１４から復号にかかる時間だけ遅れた水平伸張画像データ５１８と５１９を出力する。垂直伸張部２５７出力（図２０（ｅ））は、例えば２ライン画像データ用いた圧縮符号化方式の場合、２ライン期間に渡って１ライン目と２ライン目の垂直伸張画像データ５２０と５２１として出力される。
【０１２０】
選択部２５８は、圧縮符号情報記憶部の情報に基づき、入力部２５０へ入力される画像データと、水平伸張部２５６の出力、垂直伸張部２５７出力を適宜選択して間引き復元部２５９へ出力する。上記したように、最も遅れて出力される垂直伸張部出力５２１に合せて、復元画像データ５２２が入力圧縮画像データ５１２よりも１ライン以上遅れて出力することになる。このようなタイミング調整の為、詳細説明は省略するが、選択部２５８の入力画像データは各伸張方式による処理遅延を適宜吸収するためのメモリ（図示せず）を有する。
【０１２１】
間引き復元部２５９は、圧縮符号情報記憶部２５４の情報を基に、間引き画像データから間引き部の画像データを復元する。間引き復元には、図２の間引き処理部１３２の間引き対応の他、水平圧縮部１３３や垂直圧縮部１３４が４４４フォーマットから４２２への間引き処理を施している場合にも対応し、間引き種別に応じた復元を行う。また、出力部２６１が４４４フォーマットではなく４２２や４２０フォーマット画像データを要求する場合は、間引きの復元処理を停止又は間引きフォーマット変換などを行ってもよい。
【０１２２】
間引き復元部２５９は、エラー訂正部２５５からの信号が該当画像データのエラー有を示しており、かつ水平方向に圧縮されていた場合は左右画像から補完し、垂直方向に圧縮されていた場合は、1ライン前のデータから補完する処理を施してもよい。
【０１２３】
この構成により、エラーが発生した場合においても相関性が高い画像データにおきかえることができるため、伝送エラーによる画像への影響を少なくすることができる。また圧縮する画像データの単位が十数画素であるため、置き換える画素の範囲もすくなくすむため、伝送エラーの影響をすくなくすることができる。また、圧縮伸張による処理遅延も図２０（ｆ）に示すように1ラインで抑えることができる。
【０１２４】
間引き復元部２５９の出力を入力とするＹＣｂＣｒ処理部２６０は、図１３に示したパケットデータ情報Ｅｃｏ＿ＣｂＣｒとＣｂ＿Ｆａｃｔｏｒ、Ｃｒ＿Ｆａｃｔｏｒを基に、縮小されていたＣｂとＣｒを復元する色差信号処理を担当する。また、出力部２６１がＲＧＢ原色信号を要求する場合は、ＲＧＢ原色信号への変換処理を行う。このように、ＹＣｂＣｒ処理部２６０は、画像伝送装置における図２のＹＣｂＣｒ処理部１３１の逆動作を行う位置付けであり、詳細説明は省略する。
【０１２５】
以上で説明した本実施例によれば、画像伝送装置が伝送する画像データを圧縮して伝送することにより、現在規定している伝送路に、現在規定されている画像サイズより大きなサイズの画像データを伝送することが可能になり、さらに、画像データの伝送領域よりも、エラー耐性を高めた領域にエラー検出や訂正符号を付加することによって、エラー耐性が高い画像伝送を行うことができる。
【０１２６】
また、現在規定されている画像サイズの画像データを伝送する場合においては、所定時間当たりのデータ伝送量、もしくはデータ伝送クロックを下げることができるため、エラーの発生頻度を下げることができ、且つ、伝送路でのエラーに対して信頼性の高いシステムを構築することができる。
【０１２７】
また、伝送路でエラーが発生して完全なエラー訂正ができない場合においても、エラーによる画質劣化が目立たないエラー処理を行うシステムを実現することができる。
【実施例２】
【０１２８】
実施例１において、垂直圧縮の画像データ単位ブロックは図８のように２行以上複数ラインにまたがるため、図２０に示すように圧縮画像データに対して１水平周期以上の遅延が生じている。この遅延時間を軽減する為に、垂直圧縮の画像データ単位ブロックも図７の水平圧縮の画像データ単位ブロックと同じ１ラインとする。この場合は、垂直圧縮は前ラインに対する差分の符号化などの符号化方式に限定されるが、実施例１に比べて処理遅延時間が軽減できる利点がある。
【実施例３】
【０１２９】
実施例１では、画像データ単位ブロック毎の圧縮符号情報を信頼性の高い水平ブランキング期間中のパケットを用いて伝送したが、図２０に示すように、受信機側で圧縮符号情報を１水平周期近く保持する必要があった。また、送信機側では、圧縮符号情報を該当するラインの圧縮画像データの直前の水平ブランキング期間に配置する為に、圧縮画像データをラインメモリに記憶させてほぼ１水平周期遅らせて出力させる必要があり、回路規模の増大と画像信号の伝達遅延時間が大きくなる課題があった。そこで、実施例３では、圧画像データ単位の圧縮符号情報を水平ブランキング期間ではなく、水平有効期間内の圧縮画像データと一緒に伝送する方式を採用する。
【０１３０】
有効期間内に送るべきデータが圧縮画像データだけでなく圧縮符号情報も一緒に送ろうとすると、圧縮画像データの圧縮率を上げざるを得ず、復元時の画像の画質劣化が大きくなる懸念がある。その対策として、水平ブランキング期間を音声データ伝送パケット２個分を送れる程度まで縮小し、水平有効期間を広げる。
【０１３１】
４ｋ２ｋ画像データを非圧縮画像の画素クロック５９４ＭＨｚの半分の２９７ＭＨｚクロックで伝送する場合、実施例１では、水平有効期間１９２０、水平ブランキング期間２８０であった。音声パケット２個分の伝送期間と前後のガードバンドを含めて水平ブランキング期間は９６程度あればよいので、残り１８４を水平有効期間を増やせる。水平有効期間１９２０を約９．５％程度拡大できる効果がある。
【０１３２】
この実施例３の場合、水平同期信号の位置や幅などが所定の非圧縮画像データの標準タイミングからずれる為、受信側で非圧縮画像データ再生時に、画像データに付与されているＳＶＤ（Short Video Descriptor）メタデータを参考にして、標準タイミングフォーマットとなるようタイミングを復元するとよい。
【０１３３】
図２１に、伸張処理部２０６の構成の一例を示すブロック図を示す。図１９と同様な機能を持つブロックには同じ番号を付している。その差異は、エラー訂正回路２５５の出力部に第２の映像符号情報抽出部２６３が加わり、間引き画像データとして入力２５０から直接ではなくエラー訂正部２５５を通して選択部２５８の入力（図２１の矢印２６４参照）になっている点である。
実施例１では、圧縮符号情報抽出部２５３は垂直ブランキング期間内の圧縮符号情報（図１２と図１３のパケット）と、水平ブランキング期間内の圧縮符号情報（図１４と図１５のパケット）を抽出していた。本実施例では、圧縮符号情報抽出部は垂直ブランキング期間内のフレーム内共通情報のみ抽出し、圧縮符号情報記憶部２５４で記憶する。
【０１３４】
本実施例では、各圧縮画像データ単位ブロックの圧縮符号情報がブランキング期間内でエラー訂正処理が施されているパケットで送る代わりに、他の圧縮画像データと同様なエラー訂正処理を加えている。このため、第２の圧縮符号情報抽出部２６２が、エラー訂正部２５５のエラー訂正処理後のデータと、フレーム単位で抽出された圧縮符合情報記憶部２５４の出力から、各圧縮画像データ単位ブロックの圧縮符号情報を抽出して、水平伸張部２５６や垂直伸張部２５７、選択部２５８へ出力している。
【０１３５】
本実施例では、各圧縮画像データ単位ブロックの圧縮画像データと圧縮符号情報がタイミング的に近接しているので、１水平周期に渡る圧縮符号情報記憶は、フレーム内共通の圧縮符号情報を除いて不要となるので、回路規模を削減できる効果がある。
【０１３６】
さらに、本実施例では、実施例１に比べて前述したように、水平有効期間が９．５％拡張できるので、エラー訂正符号を追加して伝送している。このため、間引き画像データに対してもエラー訂正部２５５の出力２６４として選択部２５８へ入力されているので、間引き画像データのエラーを抑圧でき、よりエラー耐性の強い画像データ伝送が実現できる。
【実施例４】
【０１３７】
図２に示した画像伝送装置の圧縮処理部の例において、間引き処理部１３２と水平圧縮部１３３、垂直圧縮部１３４、選択部１３５の実現例を図２２に示す。
【０１３８】
３１１と３１２、３１３は入力部であり、それぞれＹ輝度信号、Ｃｂ色差信号、Ｃｒ色差信号が入力される。間引き処理部１３２は、Ｃｂ間引き部３２２とＣｒ間引き部３２３から構成され、入力されたＹ輝度信号はそのまま、Ｃｂ色差信号はＣｂ間引き部３２２で間引きされた信号が、Ｃｒ色差信号はＣｒ間引き部３２３で間引きされた信号が記憶部３５１へ出力されて記憶される。
【０１３９】
尚、４２０フォーマットとして用いる場合は、ライン単位またはフレーム単位でＣｂ色差信号とＣｒ色差信号を選択読出し部３５３が交互に選択読出しを行えばよい。
【０１４０】
このＣｂ間引き部３２２とＣｒ間引き部３２３の出力を流用することによって、水平圧縮部１３３と垂直圧縮１３４の４２２フォーマット変換機能を切換スイッチ３３４と３３５、３４４、３４５で簡単に実現している。
【０１４１】
水平圧縮部１３３は、Ｙ水平圧縮部３３１と、Ｃｂ水平圧縮部３３２、Ｃｒ水平圧縮部３３３、切換スイッチ３３４、３３５から構成される。入力部３１１に入力されたＹ輝度信号はＹ水平圧縮部３３１で所定の圧縮画像データ単位ブロック毎に圧縮され、記憶部３５１へ出力して記憶される。入力部３１２に入力されたＣｂ色差信号と、Ｃｂ間引き部３２２の出力である間引きＣｂ色差信号のいずれかを切換スイッチ３３４が選んだ後、Ｃｂ水平圧縮部３３２がで所定の圧縮画像データ単位ブロック毎に圧縮して、記憶部３５１へ出力して記憶される。入力部３１３に入力されたＣｒ色差信号と、Ｃｒ間引き部３２３の出力である間引きＣｒ色差信号のいずれかを切換スイッチ３３５が選んだ後、Ｃｒ水平圧縮部３３３がで所定の圧縮画像データ単位ブロック毎に圧縮して、記憶部３５１へ出力して記憶される。
【０１４２】
垂直圧縮部１３４は、Ｙ垂直圧縮部３４１と、Ｃｂ垂直圧縮部３４２、Ｃｒ垂直圧縮部３４３、切換スイッチ３４４、３４５から構成される。入力部３１１に入力されたＹ輝度信号はＹ垂直圧縮部３４１で所定の圧縮画像データ単位ブロック毎に圧縮され、記憶部３５１へ出力して記憶される。入力部３１２に入力されたＣｂ色差信号と、Ｃｂ間引き部３２２の出力である間引きＣｂ色差信号のいずれかを切換スイッチ３4４が選んだ後、Ｃｂ垂直圧縮部３４２がで所定の圧縮画像データ単位ブロック毎に圧縮して、記憶部３５１へ出力して記憶される。入力部３１３に入力されたＣｒ色差信号と、Ｃｒ間引き部３２３の出力である間引きＣｒ色差信号のいずれかを切換スイッチ３4５が選んだ後、Ｃｒ垂直圧縮部３４３がで所定の圧縮画像データ単位ブロック毎に圧縮して、記憶部３５１へ出力して記憶される。
【０１４３】
Ｃｂ間引き部３２２と、Ｃｒ間引き部３２３、Ｙ水平圧縮部３３１、Ｃｂ水平圧縮部３３２、Ｃｒ水平圧縮部３３３、Ｙ垂直圧縮部３４１、Ｃｂ垂直圧縮部３４２、Ｃｒ垂直圧縮部３４３は、それぞれ間引き又は圧縮時に各圧縮画像データ単位ブロック毎に画質指数を計算し、圧縮画像データと共に記憶部３５１に記憶させる。
【０１４４】
画質指数とは、例えば、入力部３１１と３１２、３１３に入力される非圧縮のＹＣｂＣｒ輝度色差信号に対し、それぞれのブロックが間引き又は圧縮した画像データを非圧縮画像データに復元したＹＣｂＣｒ輝度色差信号との差を信号成分毎かつ画素毎に求め、それらの２乗合計と定義するとよい。計算を簡略化するため、２乗合計に代えて絶対値の合計や、最大値を各圧縮画像データ単位ブロックの画質指数としてもよい。また、各圧縮処理において得られる評価指数や圧縮によって切り捨てられる係数から概略値を推定してもよい。また、画質への影響が大きいと考えられるＹ輝度信号の二乗誤差の和にさらに係数をかけて、Ｃｂ色差信号やＣｒ色差信号より重視してもよい。さらに、実施例１で述べたように、CbCr色差信号を係数圧縮して量子化ｂｉｔ数を減らしている場合は、それに応じて逆にＣｂＣｒ色差信号の画質指数計算用係数を大きめに設定してもよい。
【０１４５】
選択部１３５は、記憶部３５１と圧縮率・画質評価部３５２、選択読出し部３５３、出力部３５４から構成される。圧縮率・画質評価部３５２は、記憶部３５１に記憶された各圧縮画像データの画質指数とデータ量を基に、各水平有効期間中に伝送できるデータ量の中で、画面算対の画質指数の合計値または最大の画質指数が最小となる組合せを選び出してその組合せ情報を、選択読出し部３５３に伝える。選択読出し部３５３は、圧縮率・画質評価部３５２の指示に基づき、記憶部３５１から指定された間引き又は圧縮された画像データを順番に読出し、出力部３５４へ送る。
【０１４６】
水平周期単位では垂直圧縮部の正しい画質指数や圧縮画像データが得られないので、圧縮画像データ単位ブロックの垂直ライン数（画素数）分の圧縮画像データと画質指数を記憶部３５１に保管し、その垂直ライン数単位で、画面算対の画質指数の合計値または最大の画質指数が最小となる組合せを選び出してその組合せ情報を、選択読出し部３５３に伝えるとなおよい。
【０１４７】
切換スイッチ３３４と３３５、３４４、３４５は、ＣｂＣｒ色差信号の圧縮を間引き前信号を対象にするか間引き後の信号を対象にするかを切換える働きをしている。どちらを選ぶかは、圧縮前の非圧縮画像データと、画像データを伝送するケーブルで伝送できる画像データ量の比から計算される圧縮率がある判定値より小さい場合は間引き後の信号、大きければ間引き前と判断してもよい。判定値は、水平圧縮部や垂直圧縮部の圧縮アルゴリズムにも依存するが、例えば１／２〜４／５の範囲に設定するとよい。
【０１４８】
切換スイッチ３３４と３３５、３４４、３４５は一斉に切換えてもよいし、上記の判定値をスイッチ毎に設定して個別に切換えてもよい。また、これらの切換スイッチを使用せず、Cb水平圧縮部３３２とCr水平圧縮部３３３、Ｃｂ垂直圧縮部３４２、Ｃｒ垂直圧縮部３４３を２つずつ備え。間引き前と間引き後の双方の信号をそれぞれ圧縮して記憶部３５１に記憶させてもよい。圧縮率・画質評価部３５２の選択範囲を広げ、より高画質な画像データの伝送ができる。
【０１４９】
本実施例は、圧縮処理部のより具体的な実現例を示したものであり、これまで述べてきた実施例１〜３と組み合わせて使用できることは明らかである。
【実施例５】
【０１５０】
画像受信装置の他の実施例を、図１を用いて説明する。圧縮画像データを受信して伸張しそれを表示処理部で処理後表示する点については、これまで述べてきた実施例１〜４と同じである。本実施例では、伸張処理部２０６から表示処理部２０７へ伸張された非圧縮画像データと共に、各圧縮画像データ単位ブロックの圧縮符号情報や、エラー訂正処理時に得られる伝送エラー情報を伝送する点。
【０１５１】
当該構成により、表示処理部における解像度（または画素数）変換処理や、超解像処理、画像ノイズ抑圧処理などを、前記圧縮符号情報や伝送エラー情報に応じて、各圧縮画像データブロック毎に処理方法を切換えることで、圧縮画像伝送における画質劣化を最小限に抑えることができる。
【符号の説明】
【０１５２】
100 画像伝送装置
101,102,103,104,130,150,151,170,172,201,202,220,221,250,251,311,312,313 入力部
105 チューナー受信処理部
106 ネットワーク受信処理部
107 記録メディア制御部
108 記録メディア
109,203ユーザーＩＦ
110,204 制御部
111 ストリーム制御部
112 デコーダ
113,207 表示処理部
114 圧縮処理部
115 データ伝送部
116,138,157,176,177,225,226,261,354 出力部
131 ＹＣｂＣｒ処理部
132 間引き処理部
133 水平圧縮部
134 垂直圧縮部
135,258 選択部
136 エラー訂正符号生成部
137 圧縮符号情報付加部
153 エラー訂正符号演算部
154, 251タイミング生成部
155 データ保持部
173,224 ＰＬＬ
174 シリアライザ
175,222 レベル変換部
200 画像受信装置
205 データ受信処理部
206 伸張処理部
208 表示部
223 デシリアライザ
253,262 圧縮符号情報抽出部
254 圧縮符号情報記憶部
255 エラー訂正部
256 水平伸張部
257 垂直伸張部
259 間引き復元部
260 ＹＣｂＣｒ処理部
300 ケーブル
322 Cb間引き部
322 Cr間引き部
331 Y水平圧縮部
332 Cb水平圧縮部
333 Cr水平圧縮部
334,335,336 切換スイッチ
341 Y垂直圧縮部
342 Cb垂直圧縮部
343 Cr垂直圧縮部
351 記憶部
352 圧縮率・画質評価部
353 選択読出し部
400 垂直期間
401 垂直ブランキング期間
402 垂直有効期間
403 水平期間
404 水平ブランキング期間
405 水平有効期間
406 有効期間
407 ブランキング期間
501,502,503,504 圧縮する画像データの単位
512,514 圧縮された画像データ
511,513,515,516,517 圧縮符号情報
518,519 水平伸張画像データ
520,521 垂直伸張画像データ
522 復元画像データ
【技術分野】
【０００１】
技術分野は、映像情報の送受信に関する。
【背景技術】
【０００２】
近年、デジタル画像処理で扱う画素数は、放送のＨＤ(High Definition：１９２０×１０８０画素)化、デジタルビデオカメラのイメージセンサやディスプレイの高画素化に伴い、年々増加している。
【０００３】
これらの画像データを機器間で伝送する方式について、ＨＤＭＩ(High-Definition Multimedia Interface （HDMI Licensing,LLCの登録商標）)規格やＶＥＳＡ(Video Electronics Standards Association)により策定されたDisplayPort（VESAの登録商標または商標）規格などがある。
【０００４】
前記のＨＤＭＩのデータ伝送方式において、特許文献１には、「非圧縮映像信号またはこの非圧縮映像信号に対して受信装置が対応可能な圧縮方式で圧縮処理を施して得られた圧縮映像信号を選択的に送信するものであり、伝送路の伝送ビットレート内で、所望のビットレートの映像信号を良好に送信できる」（特許文献１［００４８］参照）こと、また圧縮方式について、「データ圧縮部１２１-1〜１２１-nは、それぞれ、コーデック１１７から出力された非圧縮の映像信号を所定の圧縮比をもって圧縮処理し、圧縮された映像信号を出力する。データ圧縮部１２１-1〜１２１-nは、映像信号圧縮部を構成している。データ圧縮部１２１-1〜１２１-nは、それぞれ、互いに異なる圧縮方式でデータ圧縮処理を行う。例えば、圧縮方式としては、「ＲＬＥ（Run Length Encoding）」、「Ｗａｖｅｌｅｔ」、「ＳＢＭ（Super Bit Mapping（ソニーの登録商標））」、「ＬＬＶＣ（Low Latency Video Codec）」、「ＺＩＰ」等が考えられる」（特許文献１［００７７］参照）ことが記載されている。
【０００５】
また、HDMIにおいて、画像データは、ＴＭＤＳ(Transition Minimized Differential Signaling（Silicon Image, Inc.の登録商標）)方式のデータ伝送フォーマットが採用されており、その一例として特許文献２が示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２１３１１０号公報
【特許文献２】特表２００５−５１４８７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、いずれの先行技術文献においても、符号化による遅延時間を抑えながら、より大きなサイズの画像（「映像」とも言う。以下同じ。）データを伝送することは考慮されていない。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、画像データを圧縮し伝送する画像伝送装置において、輝度信号との相関を用いた座標変換によって色差信号のとりうる範囲を狭める色差信号処理を行う色差信号処理部と、輝度色差信号からなる画像データを所定の画素数からなる画像データ単位ブロック毎に圧縮処理する水平圧縮部と、輝度色差信号からなる画像データを所定の画素数からなる画像データ単位ブロック毎に圧縮処理する垂直圧縮部と、前記水平圧縮部の出力と前記垂直圧縮部の出力とを少なくとも１水平有効期間記憶する記憶部と、各画像データ単位ブロックの圧縮率と圧縮処理による画像劣化を示す指数に基づいて、圧縮符号方式を選定する圧縮率・画質評価部と、前記圧縮処理された画像データを出力するデータ転送部を有し、該データ転送部は圧縮された画像データと共に前記色差信号処理及び前記圧縮処理に関する圧縮符号情報を出力することを特徴とする。
【発明の効果】
【０００９】
上記手段によれば、より大きなサイズの画像データの伝送が可能となる。
【図面の簡単な説明】
【００１０】
【図１】第１実施例の画像伝送装置および画像受信装置の一例。
【図２】第１実施例の圧縮処理部の一例。
【図３】一般的なＹＣｂ空間の一例。
【図４】第１実施例のＹＣｂ空間の一例。
【図５】第１実施例のＹＣｂ空間の一例。
【図６】第１実施例のＹＣｂ空間とＹＣｒ空間の座標例。
【図７】第１実施例の圧縮する画像データの単位の一例。
【図８】第１実施例の圧縮する画像データの単位の一例。
【図９】第１実施例のエラー訂正符号生成部の一例。
【図１０】第１実施例のデータ伝送部の一例。
【図１１】第１実施例の画像データの有効／ブランキング期間の一例。
【図１２】第１実施例の圧縮符号情報パケットのヘッダの一例。
【図１３】第１実施例の圧縮符号情報パケットのデータの一例。
【図１４】第１実施例の圧縮符号情報パケットのヘッダの一例。
【図１５】第１実施例の圧縮符号情報パケットのデータの一例。
【図１６】第１実施例の圧縮符号情報の一例。
【図１７】第１実施例の画像受信装置のＥＤＩＤ記述の一例。
【図１８】第１実施例のデータ受信処理部の一例。
【図１９】第１実施例の伸張処理部の一例。
【図２０】第１実施例の伸張処理のタイミングの一例。
【図２１】第３実施例のデータ受信処理部の一例。
【図２２】第４実施例の圧縮処理部と選択部の一例。
【発明を実施するための形態】
【００１１】
従来、遅延時間を最小にする画像データ伝送方式として非圧縮画像データ伝送方式があるが、大きなサイズの画像データを送るには高速な伝送路を必要とする課題があった。その解決の為に、画像データを圧縮して伝送する方式が提案されているが、圧縮率を上げると遅延時間が大きくなる課題があり、さらには非圧縮画像データとのタイミング同期を実現しにくい課題があった。
【００１２】
以下の実施例では、画像データを圧縮して伝送する伝送方式において、画像伝送装置が伝送する画像データを圧縮して伝送する前にＹ輝度信号との相関関係を用いてＣｂ又はＣｒ色差信号を座標変換することによってＣｂ又はＣｒ色差信号の有効範囲を制限して画像データの圧縮効率を向上させるプレ処理と、元の非圧縮画像データが想定する画素クロック信号と同期した伝送クロックに基づいた圧縮画像データを伝送し、画像受信装置が圧縮画像データを伸張後にＹ輝度信号との相関関係を用いて制限されたＣｂ又はＣｒ色差信号を座標変換によって復元するポスト処理を行う。以下、この実施例を、図面を用いて説明する。
【実施例１】
【００１３】
以下本実施例における画像伝送装置および画像受信装置について説明する。
【００１４】
図１は、本実施例の画像伝送システムを示すブロック図であり、画像伝送装置１００と画像受信装置２００をケーブル３００で接続した構成である。
【００１５】
画像伝送装置１００は、画像データを伝送する画像伝送装置であり、デジタル放送を受信し視聴できるようにデコードした画像データや、カメラなどで撮影した画像データをＨＤＭＩケーブルなどにより、他の機器に画像データを出力する機器である。画像伝送装置１００の一例として、レコーダや、レコーダ機能を内蔵したデジタルＴＶや、レコーダ機能を内蔵したパソコンや、カムコーダや、カメラ機能を搭載した携帯電話などがある。
【００１６】
画像受信装置２００は、ＨＤＭＩケーブル等を使用して、画像データを入力しモニタに画像を出力する表示機器である。画像受信装置２００の一例として、デジタルＴＶや、ディスプレイ、プロジェクタなどがある。
【００１７】
ケーブル３００は、画像伝送装置１００と画像受信装置２００の機器間で画像データ等のデータ通信を行うデータ伝送路である。ケーブル３００の一例として、ＨＤＭＩ規格や、DisplayPort規格に対応した有線ケーブルもしくは、無線方式のデータ通信を行うデータ伝送路などがある。
【００１８】
まず、画像伝送装置１００の構成について説明する。
入力部１０１、１０２、１０３は、画像データを画像伝送装置１００に入力するための入力部である。入力部１０１に入力される画像データの一例としては、放送局または放送用衛星などの中継局からの電波として入力されるデジタル放送がある。入力部１０１には、この放送局または放送用衛星などの中継局からの電波が入力される。
【００１９】
入力部１０２に入力される画像データの一例としては、インターネットのブロードバンド接続を利用して、ネットワーク経由で配信されてくるデジタル放送や、情報コンテンツなどがある。
【００２０】
入力部１０３に入力される画像データの一例としては、入力部１０３に接続された外部の記録メディアに記録されているコンテンツや、画像伝送装置１００内に内蔵された記録メディア１０８に記録されているコンテンツがある。入力部１０３に接続された外部の記録メディア、もしくは画像伝送装置１００内に内蔵された記録メディア１０８の一例としては、光ディスク、磁気ディスク、半導体メモリなどがある。
【００２１】
チューナー受信処理部１０５は、入力された電波をビットストリームに変換する受信処理部であり、ここでＲＦ帯域（Radio Frequency）の電波はＩＦ帯域 (Intermediate Frequency) に周波数変換され、受信チャネルに依存しない一定の帯域の信号として、復調されたビットストリームに伝送のために施された変調操作を復調する。
【００２２】
ビットストリームの一例としては、ＭＰＥＧ２トランスポートストリーム(以降ＭＰＥＧ２−ＴＳとする)や、ＭＰＥＧ２−ＴＳに準じたフォーマットのビットストリーム等がある。以降のビットストリームは、ＭＰＥＧ２−ＴＳを代表として説明を行う。
【００２３】
前記チューナー受信処理部１０５は、さらに伝送途中で発生した符合の誤りを検出し訂正し、誤り訂正されたＭＰＥＧ２−ＴＳにつきスクランブルの解除を行った後、視聴もしくは記録を行うプログラムが多重化されている１トランスポンダ周波数を選択し、この選択した１トランスポンダ内のビットストリームを１プログラムのオーディオとビデオのパケットに分離化する。
【００２４】
前記チューナー受信処理部１０５からのＭＰＥＧ２−ＴＳは、データバス１８１を通してストリーム制御部１１１に供給される。ストリーム制御部１１１は、前記チューナー受信処理部１０５においてパケットを受信した時の間隔を保時する為に、受信したパケット内から時刻管理情報であるＰＴＳ(Presentation Time Stamp)と、ＭＰＥＧシステムの基準復号器内部のＳＴＣ(System Time Clock)を検出し、検出結果により補正したタイミングでタイムスタンプを付加する。前記タイムスタンプを付加したパケットをデコーダ１１２もしくは、記録メディア制御部１０７のどちらか一方、または双方に供給する。デコーダ１１２へのデータパス１８４は画像データを視聴する時の処理に用いられ、記録メディア制御部１０７へのデータパス１８３は、画像データを記録メディアに記録する時に用いられる。
【００２５】
前記ストリーム制御部１１１のデータバス１８２は、入力部１０２からネットワーク受信処理部１０６経由で入力されるＭＰＥＧ２−ＴＳが入力される。前記データパス１８２は、ネットワーク経由で配信されてくるデジタル放送もしくはデジタルコンテンツを取得する入力部である。
【００２６】
さらに前記ストリーム制御部１１１のデータバス１８３からは、入力部１０３に接続された外部の記録メディア、もしくは画像伝送装置１００内に内蔵された記録メディア１０８に記録されているデジタル放送もしくはデジタルコンテンツを、記録メディア制御部１０７により読み出したＭＰＥＧ２−ＴＳが入力される。前記ストリーム制御部１１１は、これらの入力のうち少なくとも1つ以上を選択し、デコーダ１１２に出力する。
【００２７】
デコーダ１１２は、前記ストリーム制御部１１１から入力されたＭＰＥＧ２−ＴＳをデコードし、生成した画像データを表示処理部１１３に出力する。表示処理部１１３は、入力された画像データに対して、例えばＯＳＤ（On Screen Display）の重畳処理や、拡大もしくは縮小処理を施した後、圧縮処理部１１４に出力する。
【００２８】
圧縮処理部１１４は、表示処理部１１３からの画像データに圧縮処理を施し、データ伝送部１１５に出力する。
【００２９】
データ伝送部１１５は、画像データを伝送に適した形式の信号に変換して出力部１１６から出力を行う。伝送に適した形式の信号の一例として、ケーブルによる伝送に適した形式がＨＤＭＩ規格に記載されている。ＨＤＭＩにおいて、画像データは、ＴＭＤＳ方式のデータ伝送フォーマットが採用されている。
【００３０】
入力部１０４は、画像伝送装置１００の動作を制御するための信号を入力するための入力部である。入力部１０４の一例として、リモコンの受信部などがある。入力部１０４からの制御信号は、ユーザーＩＦ１０９に供給される。前記ユーザーＩＦ１０９は、入力部１０４からの信号を制御部１１０に出力する。制御部１１０は、入力部１０４の信号に従い、画像伝送装置１００全体を制御する。制御部１１０の一例としては、マイクロプロセッサなどがある。画像伝送装置１００からの画像データは、ケーブル３００を介して画像受信装置２００に供給する。
【００３１】
次に画像受信装置２００の構成について説明する。
入力部２０１は、伝送に適した形式の信号が入力される。前記入力部２０１に入力された信号は、データ受信処理部２０５に供給される。
【００３２】
データ受信処理部２０５は、伝送に適した形式の信号から所定のデジタルデータに変換する処理を施し、伸張処理部２０６に変換したデジタルデータを出力する。
【００３３】
伸張処理部２０６は、前記画像伝送装置１００内の圧縮処理部１１４で圧縮された画像データを伸張し、表示処理部２０７に出力する。
【００３４】
表示処理部２０７は、入力された画像データに対して表示処理を施す。表示処理の一例としては、ＯＳＤ重畳処理、表示部２０８の解像度に変換するための拡大もしくは縮小処理、フレームレート変換処理などがある。表示処理部２０７の出力は表示部２０８に出力する。
【００３５】
表示部２０８は、入力された画像データを表示方式にあわせた信号に変換し画面に表示する。表示部２０８の一例として、液晶ディスプレイや、プラズマディスプレイや、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ)ディスプレイなどの表示部がある。
【００３６】
入力部２０２は、画像受信装置２００の動作を制御するための信号を入力するための入力部である。入力部２０２の一例として、リモコンの受信部などがある。入力部２０２からの制御信号は、ユーザーＩＦ２０３に供給される。前記ユーザーＩＦ２０３は、入力部２０２からの信号を制御部２０４に出力する。制御部２０４は、入力部２０２の信号に従い、画像受信装置２００全体を制御する制御部である。
【００３７】
図２は、圧縮処理部１１４の構成の一例を示すブロック図である。
入力部１３０は、圧縮処理部１１４へ画像データを入力するための入力部である。入力された画像データは、ＹＣｂＣｒ処理部１３１供給される。ＹＣｂＣｒ処理回路は、入力画像データがＲＧＢ原色信号であれば、その画像データに付与されたカラリメトリ情報に基づき所定の変換式を使用してＹＣｂＣｒ輝度色差信号に変換する。
【００３８】
カラリメトリ情報が付与されていない場合は、画像信号の水平や垂直周波数などのフォーマット情報から、例えばＨＤ画像であればＩＴＵ−Ｒ ＢＴ７０９（以降ＢＴ７０９と略す）、ＳＤ映像であればＩＴＵ−Ｒ ＢＴ６０１（以降ＢＴ６０１と略す）規定のカラリメトリ、変換式に基づいて変換処理を行う。入力画像データがＹＣｂＣｒ輝度色差信号である場合はこの変換処理は不要である。
【００３９】
さらに、ＣｂとＣｒの可変域を制限して後の圧縮処理の効率を上げるために、下記の色差信号処理も行う。図３は、ＨＤ画像に適用されるＢＴ７０９規定のＹＣｂ空間の説明図である。ＹとＣｂの値は正規化された値と８ｂｉｔ量子化された値を併記しているが、これらの定義はＢＴ７０９規格に詳述されている。通常は正規化Ｙが０〜１、正規化Ｃｂが−０．５〜＋０．５の範囲７０２が使われ、正規化Ｙが１を超える領域７０３をＯｖｅｒ Ｗｈｉｔｅ、０未満をＯｖｅｒ Ｂｌａｃｋと呼んでいる。点７０８と７０９、７１０、７１１で囲まれた平行四辺形状の領域７０７は、ＲＧＢ原色信号に変換した際に、各正規化Ｒ，Ｇ，Ｂの値が０〜１になる領域を示している。領域７０７の外は各正規化Ｒ，Ｇ，Ｂのいずれかが負になる領域を示しており、通常は使われない領域である。しかしながら、通常は使われない領域７０７の外側領域と領域７０５と領域７０６を利用して色表現範囲を広げたＩＥＣ ６１９９６ ２−４で定義されたｘｖＹＣＣ規格も知られている。
【００４０】
図４は、平行四辺形状の領域７０７を座標変換によって左右の辺をＹ軸と平行に変換した平行四辺形状の領域７１７を示している。図中の矢印は各座標の変換による移動を示している。座標変換によって座標が移動しない中心として正規化（Ｃｂ，Ｙ）＝（０，０．５）をとっている。座標変換を簡易化するため、Ｙは変換せず、Ｃｂ値のみ移動させている。Ｙを変換しないことによって、ＹＣｒ空間でも同様な座標変換によるＣｒ範囲縮小を施す場合でも、同じＹを共通に使える利点もある。
【００４１】
この座標変換の結果、平行四辺形状の領域７１７の正規化Ｃｂ範囲７１４は−０．２６９５〜０．２６９５と、変換前の平行四辺形状の領域７０７の正規化Ｃｂ範囲−０．５〜０．５に比べて約５４％に低減できる。正規化Ｃｂ範囲を狭めることで、後段の圧縮符号化を効率よく働かせることができる。
【００４２】
尚、図４からもわかるように、ｘｖＹＣＣ規格で定義される領域は全てではないが、平行四辺形状の領域７０７の周囲領域は、座標変換後の平行四辺形状の領域７１７の周囲に維持されており、ｘｖＹＣＣ規格で定義されるＣｂ領域の伝送ができる。この場合、正規化Ｃｂの伝送範囲としては、視感効果の高い平行四辺形状の領域７１７の周囲に、領域７０５と領域７０６の幅に相当する範囲を付加することが広色再現範囲実現に効果であり、例えば（−０．２６９５−０．０６７＝−０．３３６５）〜（０．２６９５＋０．０６３＝０．３３２５）となる。この場合でも、Ｃｂ可変範囲−０．５６７〜０．５６３に比べて約５９％の範囲に低減できる。
【００４３】
図５は８ｂｉｔｓ量子化時の座標変換演算をより簡易化したＹＣｂ空間の座標変換の例を示している。座標の移動しない中心点は量子化（Ｃｂ，Ｙ）＝（１２８，１２８）であり、正規化（Ｃｂ，Ｙ）＝（０，０．５１１４）の点に相当する。さらに、量子化Ｃｂの移動量は（量子化Ｙ−１２８）／２として、特に２進数での演算量を削減している。従って座標変換後の量子化Ｃｂは、（量子化Ｃｂ＋（量子化Ｙ−１２８）／２）となり、小数部分を切り捨てとする。座標変換後の平行四辺形状の領域７２７の正規化Ｃｂ範囲が−０．２８６１〜０．２８６１範囲と、図４に実施例よりは縮小効果は若干減るがそれでも約５７％に低減できる。尚、１２ｂｉｔ量子化とした場合は、量子化Ｃｂの移動量は（量子化Ｙ−２０４８）／２とすればよい。
【００４４】
図５で示した簡易化計算方法の利点は、座標変換演算量の低減だけでなく、移動量が整数である為に座標変換後に元の座標への復元演算において完全に復元できる可逆演算であることである。移動量を整数で定義しておけば、可逆演算である利点を実現できる。すなわち、上記の移動量（量子化Ｙ−１２８）／２だけでなく、（量子化Ｙ−１２８）×５／８などのような数式でもその結果を整数として処理すればよい。
【００４５】
図６は、ＢＴ７０９規格のＹＣｂ空間とＹＣｒ空間において、それぞれＣｂとＣｒの範囲を縮小する座標変換前後の、正規化ＲＧＢ原色信号が０〜１の範囲になる平行四辺形状の領域の頂点座標を示したものである。図４で説明した最小Ｃｂ範囲法と図５で説明した簡易処理法による座標変換結果を対比させている。各欄の１行目が正規化、２行目が８ｂｉｔ量子化、３行目が１２ｂｉｔ量子化、４行目が１２ｂｉｔ量子化、５行目が１６ｂｉｔ量子化した座標をそれぞれ記載している。これらの変換結果によって、Ｃｒについても、最小Ｃｒ範囲が約６４％、簡易処理のＣｒ範囲が約７２％に圧縮できることがわかる。
【００４６】
以上でその動作を説明してきたＹＣｂＣｒ処理部１３１の出力が、間引き処理部１３２、水平圧縮部１３３および垂直圧縮部１３４に供給される。
【００４７】
図７と図８は、入力部１３０に入力される画像データの一例を示す図である。水平方向にｎ画素、垂直方向にｍラインの輝度信号を示す。色差信号は、４４４フォーマットの場合、輝度信号と同じフォーマットとなる。画素数ｎ及びライン数ｍの一例としては、ｎ＝１９２０、ｍ＝１０８０のいわゆるフルＨＤ画像やｎ＝３８４０、ｍ＝２１６０のいわゆる４ｋ２ｋ画像などがある。
【００４８】
ここで、圧縮部１１４で圧縮する画像データの単位ブロックを、水平方向ｌ画素と垂直方向ｋ画素とする。図７において、５０１および５０２はｌ＝３２、ｋ＝１の例を示し、同じライン内で連続した３２画素のデータで構成する。この画像データの単位を水平圧縮部１３３が圧縮する。
【００４９】
図８において、５０３および５０４は、ｌ＝１６、ｋ＝２の例を示し、上下する２ライン間で連続する１６画素のデータで構成する。この画像データの単位ブロックを垂直圧縮部１３４が圧縮する。すなわち、垂直方向ｋ画素数（ライン数）が異なるｋ１とｋ２（ｋ１＜ｋ２）の画像データ単位ブロックを用意し、水平圧縮部１３３がｋ１の画像データ単位ブロックを、垂直圧縮部１３４がｋ２の画像データ単位ブロックを圧縮する。
【００５０】
ｋが大きいとラインメモリ量が増えて回路コストが上がり、処理時間が増加して映像表示がと遅延する原因となる。以下の説明ではｋ１＝１、ｋ２＝２としてコストと処理時間を抑える例を用いる。水平圧縮部１３３と垂直圧縮部１３４に加えてさらに異なるｋ３を持つ圧縮部を追加し、３個以上の圧縮部の出力を選択して用い、さらに圧縮効率を上げることもできる。
【００５１】
入力された色差信号が４２２フォーマットの場合は、色差信号のＣｂ成分とＣｒ成分が1画素ごとに入れ子のデータとなる。例えば４ｋ２ｋ画像においてＣｂ成分とＣｒ成分を合わせてｎ＝３８４０、ｍ＝２１６０の画像データとして扱ってもよい。一般にＣｂ成分同士、Ｃｒ成分同士の相関が高いので、Ｃｂ成分とＣｒ成分を分けて、ｎ＝１９２０、ｍ＝２１６０として扱うことにより、同一成分のみで圧縮する画像データの単位ブロックとすることによって、圧縮効率を高めることができる。
【００５２】
入力された色差信号が４２０フォーマットの場合は、色差信号のＣｂ成分とＣｒ成分がＹ信号４画素に対して１画素分のデータとなる。例えば４ｋ２ｋ画像においてＣｂ成分とＣｒ成分を合わせてｎ＝１９２０、ｍ＝２１６０の画像データとして扱ってもよい。一般にＣｂ成分同士、Ｃｒ成分同士の相関が高いので、Ｃｂ成分とＣｒ成分を分けて、ｎ＝１９２０、ｍ＝１０８０として扱うことにより、同一成分のみで圧縮する画像データの単位とすることによって、圧縮効率を高めることができる。
【００５３】
水平圧縮部１３３と垂直圧縮部１３４は、４４４フォーマットや４２２フォーマットの色差信号が入力された際に、所定の圧縮方式では所定の圧縮率に到達しない場合は４２２フォーマットや４２０フォーマットに間引いて圧縮効率を高めてもよい。
【００５４】
４２０処理部１３２は、４４４フォーマットや４２２フォーマットが入力された場合、所定の圧縮率に応じて４２２フォーマットや４２０フォーマットへ間引き処理を行う。
【００５５】
水平圧縮部１３３は、水平方向の複数の画像データに対して、圧縮を行う圧縮回路により構成される。圧縮方式の一例としては、水平方向にＷａｖｅｌｅｔ変換を演算し、その演算結果に対して、符号化した圧縮方式等で構成する。圧縮方式として、アダマール変換や、ランレングス符号化、ハフマン符号化、差分符号化などを適用してもよい。
【００５６】
垂直圧縮部１３４は、垂直方向の複数の画像データに対して、圧縮を行う圧縮回路により構成される。圧縮方式の一例としては、垂直方向に２ライン分、水平方向に１６画素分の画像データを圧縮する画像データの単位ブロックとして、まず垂直方向に対し差分をとり、次に水平方向に差分をとる。その結果に対して符号化する圧縮方式等で構成する。
【００５７】
間引き処理部１３２、水平圧縮部１３３および垂直圧縮部１３４の圧縮率は、元の非圧縮画像データに対して、例えば圧縮後の画像データを２／３や、１／２、１／３などの所定の圧縮率で圧縮可能な圧縮方式であればよい（しかし、本発明はこの圧縮率に限定されない）。この所定の圧縮率は、元の非圧縮画像データとケーブルで伝送できるデータ量の比から決まる。
【００５８】
水平圧縮部１３３、垂直圧縮部１３４の圧縮する画像データの単位は、圧縮処理による遅延量を少なくする画素数で構成する。圧縮する画像データの単位の一例として、３２画素を例にとって説明したが、６４画素や１２８画素などの単位としてもよい。
【００５９】
選択部１３５は、間引き処理部１３２と、水平圧縮部１３３もしくは、垂直圧縮部１３４の出力の内、所定の圧縮率を満たしかつ画質指数の高いものを選択し、エラー訂正符号生成部１３６に供給する。画質指数とは、例えば、圧縮画像データを復元した画像データと圧縮前の画像データの差異が小さいほど良い値を示す指数であればよい。圧縮ロスが発生せず、可逆符号化ができた場合が最高値である。
【００６０】
画質指数の計算を簡略化するため、圧縮方式別に画質指数の値を用意しておいてもよい。４４４フォーマットのまま圧縮して圧縮ロスが発生する場合よりも、４２２フォーマットへ間引き後に可逆符号化できた場合を高い画質指数に定義してもよい。圧縮によって逆にデータ量が増加してしまう場合は、４２２フォーマットや４２０フォーマットに間引いて圧縮や、量子化ｂｉｔ数を減らすことによって所定の圧縮率を達成させるが、その間引きや量子ｂｉｔ数減に応じた画質指数を設定する。
【００６１】
エラー訂正符号生成部１３６は、水平圧縮部１３３や垂直圧縮部１３４で圧縮された画像データの単位ごとにエラー訂正符号を演算し、圧縮された画像データに付加して、圧縮符号情報付加部１３７に出力する。エラー訂正の方式の一つとして、ＣＲＣ（Cyclic Redundancy Check）方式やパリティチェック方式などがある。
【００６２】
間引き処理部１３２で間引かれた画像データはエラー訂正符号を付与しなくてもよい。間引き処理の場合、エラーが生じても、該当画素と隣接した間引き画素のエラーであり、画面全体からみると画質への影響が少ないこと、さらにはケーブルのデータ伝送容量が限られている場合、エラー訂正符号を付与すると画素又は階調をより多く間引くことになり、画面全体の画質劣化につながるためである。伝送容量に余裕があれば間引き処理された画像データにもエラー訂正符号を付加して、エラー耐性を向上させてもよい。間引き画像データへのエラー訂正付加有無のメタデータを合せて伝送することによって、受信側でエラー訂正処理をするかどうかを判別させてもよい。また、間引き画像データと圧縮画像データでエラー訂正処理を変えてエラー耐性レベルを変えてもよいし、どのエラー訂正符号を付与したかを示す情報をメタデータとして加えてもよい。
【００６３】
圧縮符号情報付加部１３７は、エラー訂正符号付の圧縮画像データを後述する図１１の有効期間４０６に出力し、その直前の水平ブランキング期間４０４に圧縮方式を示す圧縮符号情報を出力する。また、別の方式としては、１ライン分のエラー訂正符号付の圧縮画像データ、及び圧縮方式を示す圧縮符号情報を、１ライン分の有効期間４０６内に伝送して伝送量の増大を図ってもよい。また、エラー訂正符号を水平ブランキング期間４０４に出力してエラー訂正の信頼性を向上させてもよい。
【００６４】
出力部１３８からは、圧縮符号情報付加化部１３７からのエラー訂正符号付圧縮画像データと、圧縮方式を示す圧縮符号情報が出力される。図示していないが、図２の各ブロックは、図１の制御部１１０の制御信号に従ってその動作を制御される。
【００６５】
図９は、エラー訂正符号生成部１３６の構成の一例を示すブロック図である。入力部１５０には圧縮された画像データが入力される。圧縮された画像データは、保持部１５５とエラー訂正符号演算部１５３に入力される。エラー訂正符号演算部１５３は、入力された圧縮された画像データに対して、生成多項式で巡回演算をする。
生成多項式の一例としては、
（数１）G(X)=X16+X12+X5+1
がある。この生成多項式は、入力された画像データ中の各ビットにつき排他的論理和をとり巡回演算する。演算の単位は圧縮する画像データの単位とする。
【００６６】
入力部１５１は、圧縮された画像データが入力されている期間を示す信号が入力され、タイミング生成部１５４に供給される。タイミング生成部１５４は、圧縮された画像データの有効期間をカウントし、圧縮する画像データの単位ブロック分の演算が処理されたことを示す信号をエラー訂正演算結果出力タイミング信号としてデータ保持部１５５に出力する。
【００６７】
さらに、タイミング生成回路１５４は、圧縮された画像データの入力期間を示すタイミング信号や、圧縮された画像データとエラー訂正符号演算結果を出力するタイミング信号なども合せてデータ保持部１５５び出力する。
【００６８】
データ保持部１５５は、タイミング生成部１５４の示すタイミングに従って、エラー訂正符号演算部１５３の演算結果と圧縮された画像データを例えばメモリやフリップフロップ、遅延素子等によって一時的に記憶し、それらを順次、出力部１５７へ出力する。
【００６９】
図１０は、データ伝送部１１５の構成の一例を示すブロック図である。
入力部１７０は、圧縮された画像データをシリアライザ１７４に出力する。また入力部１７２は、画像データのクロックが入力され、ＰＬＬ１７３と出力部１７７に出力する。画像データのクロックには、非圧縮画像データの標準的なタイミングフォーマットで使われる画素クロックに同期したクロックを用いる。
【００７０】
例えば、非圧縮画像データの画素クロックを２分周したクロックを用いてもよい。この場合、該非圧縮画像データが１２ｂｉｔｓの量子化画像データである場合は、クロックで１／２、量子化ｂｉｔ数で８／１２となるので、前記した所定の圧縮率は１／３以下を設定する必要がある。
【００７１】
クロックは２分周以外に、３／４逓倍や２／３逓倍としてもよい。非圧縮画像データの画素クロックに同期したクロックを圧縮画像データの伝送に使うことにより、受信側で非圧縮画像データを復元する場合に、伝送クロックの２倍や４／３倍、３／２倍などの逓倍したクロックを画素クロックとして使うことにより、復元データのジッタを最小化できる利点がある。
【００７２】
ＰＬＬ１７３は、入力されたクロックに対して逓倍化もしくは分周したクロックを生成する。逓倍化の一例としては、入力されたクロックの周波数に対して、５倍や１０倍などがある。ＰＬＬ１７３で生成するクロックは、1種類のクロックとしてもよいし、２種類のクロックとしてもよい。1種類のクロックの例としては、入力されたクロックの１０逓倍がある。また２種類のクロックの例としては、データ伝送量を優先した第１のクロック速度と、エラーの発生頻度を下げることを優先した第1のクロック速度より遅い速度の第２のクロック速度のクロックがある。速度の一例としては前記第1のクロック速度を入力クロックの１０逓倍、第２のクロック速度を入力クロックの５逓倍などがある。
【００７３】
ＰＬＬ１７３で生成した逓倍したクロックは、シリアライザ１７４に出力される。シリアライザ１７４は、入力されたＹＣｂＣｒ輝度色差信号の圧縮された画像データを、１０逓倍したクロックで１ｂｉｔずつシリアル化し、レベル変換部１７５に出力する。入力部１７２に入力された１クロックに対して、入力部１７０に入力されるデータが８ｂｉｔある場合、該８ｂｉｔデータを１０ｂｉｔにマッピングしてシリアル化したビットストリームのＤＣ成分を抑圧するＴＭＤＳ伝送方法などを用いてもよい。出力部１７６に接続されるケーブルが３本ある場合は、各ケーブル毎に上記シリアル処理を行うことによって、入力クロック当り２４ｂｉｔの圧縮された画像データを送ることができる。
【００７４】
レベル変換部１７５は、ケーブル伝送に適した形式の信号を出力部１７６経由で出力する。
【００７５】
図１１は、1フレーム期間の画像データが重畳される有効領域と画像データが重畳されないブランキング期間を示す図である。
【００７６】
４００で示す領域が垂直期間を示し、垂直期間４００は、垂直ブランキング期間４０１と垂直有効期間４０２から構成される。ＶＳＹＮＣ信号は、垂直ブランキング期間４０１の先頭から規定されたライン数の間を１とし、その他の垂直ブランキング期間と垂直有効期間４０２の間は０とした１ｂｉｔの信号である。規定されたライン数の一例としては、４ラインなどがある。
【００７７】
４０３で示す領域が水平期間を示し、水平期間４０３は、水平ブランキング期間４０４と水平有効期間４０５から構成される。ＨＳＹＮＣ信号は、水平ブランキング期間４０４の先頭から規定された画素数の間を１とし、その他の水平ブランキング期間と水平有効期間４０５の間は０とした１ｂｉｔの信号である。規定された画素数の一例としては、４０画素がある。
【００７８】
有効期間４０６は、垂直有効期間４０２と水平有効期間４０５の期間に囲まれた領域を示し、この期間に画像データが割り当てられる。また、ブランキング期間４０７は、垂直ブランキング期間４０１と水平ブランキング期間４０４の期間に囲まれた領域である。
【００７９】
本実施例においては、上記構成において、垂直ブランキング期間に圧縮伝送方式を示す情報を送信し、有効期間４０６に圧縮した画像データを送信し、そのラインの水平ブランキング期間４０４に各圧縮符号化の画像データ単位ブロック毎に選択された圧縮符号情報を送信する。ブランキング期間４０７は、音声データやその他の付属データをパケット化したデータを伝送している。
【００８０】
この音声データ等のパケットをブランキング期間４０７で信頼性のあるパケットを送る方法は、例えば特表２００５−５１４８７３号公報に開示されている。
【００８１】
この構成で、ブランキング期間のパケットのデータに対しては誤り訂正符号が入っているため、伝送路で発生したエラーに対して補正ができエラー耐性が強くなる。また、ブランキング期間のパケットのデータ伝送用のデータは、物理的に異なる２つのチャンネルに伝送する構成とし、一定時間ごとに伝送するチャンネルを切り替えているため、片側のチャンネルでバースト的に発生したエラーに対して、他方のチャンネルが影響されないため、データエラーの補正を行うことができる。エラーの訂正率は、水平有効期間が１０−９に対して、水平ブランキング期間は１０−１４の改善効果がある。
【００８２】
この先行技術文献では、有効期間４０６では１クロック当り２４ｂｉｔの画像データを伝送し、ブランキング期間４０７では３ｂｙｔｅのヘッダと２８ｂｙｔｅのデータで構成される１パケットを３２クロック期間で伝送している。
【００８３】
例えば、水平３８４０有効画素、垂直２１６０有効ライン、ＹＣｂＣｒ輝度色差信号各１２ｂｉｔを４４４フォーマット、フレーム周波数６０Ｈｚで伝送する場合、８９１ＭＨｚと非常に高いクロック周波数が必要となる。高クロック周波数は送受信部のコストがかかるだけでなく、画像を安定に送ることができるケーブル長も短くなり使い勝手が悪くなる。
【００８４】
本実施例によれば、２／３の圧縮で５９４ＭＨｚ、１／３の圧縮で２９７ＭＨｚと、実用的なクロック周波数に近づけることができる。また、ＹＣｂＣｒ輝度色差信号各８ｂｉｔの４４４フォーマットや、各１２ｂｉｔの４２２フォーマットにおいては、１／２の圧縮で２９７ＭＨｚの実用的なクロック周波数にすることができる。
【００８５】
水平３８４０有効画素、垂直２１６０有効ラインにおいて、例えば、水平５６０ブランキング画素、垂直９０ブランキングラインになる。以下、水平３８４０有効画素、垂直２１６０有効ライン、ＹＣｂＣｒ輝度色差信号各１２ｂｉｔを４４４フォーマット、フレーム周波数６０Ｈｚの映像信号を１／３に圧縮する場合を例にとって説明する。
【００８６】
圧縮後のクロック周波数は２９７ＭＨｚで、水平１９４０有効画素、垂直２１６０有効ライン、水平２８０ブランキング画素、垂直９０ブランキングラインという条件で伝送すると、受信側で２倍の周波数である原クロック５９４ＭＨｚを安定に再生しやすい。水平有効画素期間では、１画素当りＹＣｂＣｒ輝度色差各１２ｂｉｔ計３６ｂｉｔを１／３の１２ｂｉｔに圧縮すれば、圧縮後の１画素当り２４ｂｉｔ伝送できるので原画素の２画素分の伝送が可能となり、圧縮後のクロック周波数は原クロックの半分となる。
【００８７】
３２クロック当り１パケットが伝送できるので、圧縮後の水平２８０ブランキング画素では最大８パケットの伝送が可能となる。一方、音声データは１パケット当り２４ｂｉｔ×８ｃｈの伝送ができる。画像データの水平周波数は１３５ｋＨｚ（＝６０Ｈｚ×（２１６０＋９０））なので、１９２ｋＨｚサンプルの２４ｂｉｔリニアＰＣＭ音声を８ｃｈ伝送する場合は１水平ブランキング期間中に最大２パケット必要である。残りの６パケット、１６８ｂｙｔｅ(=２８ｂｙｔｅ×６パケット）以内で圧縮符号方式情報を記述できることが望ましい。
【００８８】
一方、前述した３２画素を単位ブロックとして圧縮する場合、水平３８４０有効画素なので１２０ブロック分のＹＣｂＣｒ輝度色差信号の各圧縮符号方式情報、計３６０個分の記述スペースが必要である。圧縮符号情報を例えば２ｂｉｔで表現すると、９０ｂｙｅ分の記述スペースとなり、４パケットで伝送できるので、１９２ｋＨｚ、８ｃｈの大容量音声データ伝送と両立できる。図１２〜図１５にパケットの一例を示す。
【００８９】
図１２と図１４がパケットのヘッダの一例であり、最初のヘッダブロックＨＢ０に本発明の圧縮符号化伝送方式に関する情報であることを示す共通のヘッダタイプ０Ｂｈを記述する。ＨＢ１の各ｂｉｔとＨＢ２のＢｉｔ４〜７は将来拡張用として０としている。ＨＢ２のＢｉｔ０〜３に示すＥｃｏ＿Ｐａｃｋｅｔ＃がフレーム内での識別を示している。図１３と図１５がヘッダに続けて伝送される２８ｂｙｔｅのデータの一例である。
【００９０】
図１２のヘッダにおいて、Ｅｃｏ＿Ｐａｃｋｅｔ＃は０ｈを割り当て、図１２のヘッダと図１３のデータから構成されるパケットが各フレーム内の共通情報であることを示す。このパケットは垂直ブランキング期間中に配置され、各画像フレームに少なくとも１回送信される。以下、図１３のデータの内容を説明する。
【００９１】
Ｃｏｌｏｒ＿Ｓａｍｐｌは、カラーサンプル情報を示し、例えば０がＹＣｂＣｒ４４４フォーマット、１がＹＣｂＣｒ４２２フォーマット、２がＹＣｂＣｒ４２０フォーマット、３がＲＧＢ４４４フォーマットを示し、４〜７は将来拡張用である。４２２や４２０フォーマットではさらにＣｂＣｒのサンプル位置情報を示すＢｉｔを追加で割り当ててもよい。
【００９２】
ＣＤはＣｏｌｏｒ Ｄｅｐｔｈであり、例えば４ｈは各ＹＣｂＣｒ成分８ｂｉｔの計２４ｂｉｔ Ｃｏｌｏｒ、５ｈは各ＹＣｂＣｒ成分１０ｂｉｔの計３０ｂｉｔ Ｃｏｌｏｒ、６ｈは各ＹＣｂＣｒ成分１２ｂｉｔの計３６ｂｉｔ Ｃｏｌｏｒ、７ｈは各ＹＣｂＣｒ成分１６ｂｉｔの計４８ｂｉｔ Ｃｏｌｏｒを示し、その他は将来拡張用である。この定義はＨＤＭＩが既定するＤｅｅｐ Ｃｏｌｏｒ Ｍｏｄｅの定義に準じている。
【００９３】
Ｅｃｏ＿ＣｂＣｒは、図４や図５で説明したＣｂやＣｒの座標変換の適用情報を示している。０であれば座標変換未適用、１は図５で説明した簡易座標変換、２は図４で説明したＣｂやＣｒの範囲を最小化した座標変換、３はＣｂＣｒ範囲を最小化にした上でさらに係数圧縮した座標変換を示す。４〜７は将来拡張用である。Ｃｏｌｏｒ＿ＳａｍｐｌがＲＧＢ４４４フォーマットを指定する場合は、この座標変換は無効なので未適用の０を記述すればよい。次に係数圧縮について、説明する。
【００９４】
図４に示すＣｂ範囲最小化の座標変換を行った場合、Ｃｂの有効範囲領域は８ｂｉｔ量子化時に６８〜１８８の範囲であり、範囲幅は１２１と１ｂｉｔ少ない７ｂｉｔで表現できる。しかし、図６の最小Ｃｒ範囲では８ｂｉｔ量子化時に５７〜１９９の範囲と範囲幅で１４３と７ｂｉｔでは表現できない。
【００９５】
また、ｘｖＹＣＣなどの拡張色空間をある程度表現したい場合もあるので、係数縮小を行い１ｂｉｔ少ないデータで表現できるようにするものである。ＣｂとＣｒの各縮小係数は、図１３のＣｂ＿ＦａｃｔｏｒとＣｒ＿Ｆａｃｔｏｒの各８ｂｉｔデータを２５６で割った値で示す。但し、００ｈ表記は縮小係数１．００すなわち係数圧縮しないことを示す。また、係数縮小後の量子化ｂｉｔ数は元空間の量子化ｂｉｔ数に比べて、Ｃｂ＿ＦａｃｔｏｒやＣｒ＿Ｆａｃｔｏｒが１２９〜２５５と０は１ｂｉｔ、６５〜１２８は２ｂｉｔ、３３〜６４は３ｂｉｔ、１７〜３２は４ｂｉｔ減らすものとする。Ｙ輝度信号に対して、ＣｂＣｒ色差信号の階調数を減らしても画質上への影響は比較的小さいので、本手法によるデータ量圧縮は効果的である。
【００９６】
例えば座標変換前の画像データが８ｂｉｔであって、Ｅｃｏ＿ＣｂＣｒ＝”３”、Ｃｂ＿Ｆａｃｔｏｒを００ｈ（すなわち係数縮小なし）と設定した場合、ＲＧＢ原色信号換算値がいずれも正となるＣｂ範囲６８〜１８８（１２８が正規化Ｃｂ＝０．０に相当）は、４〜１２４（６４が正規化Ｃｂ＝０．０に相当）へ変換される。７ｂｉｔ化時において、６４を正規化ＣｂＣｒの０．００として量子化データは１〜１２６を用いる。座標変換前の０と２５５はそれぞれ０と１２７として伝送する。座標変換前が１２ｂｉｔであって、Ｃｂ＿Ｆａｃｔｏｒが１２８の場合は。係数圧縮後のデータは２ｂｉｔ少ない１０ｂｉｔとなり、５１２を正規化Ｃｂの０．００として量子化データは１〜１０２２を用いる。座標変換前の０と４０９５は０と１０２３として伝送する。
【００９７】
このように、ＣｂやＣｒ色差信号のｂｉｔ数を圧縮すれば、後段の水平又は垂直圧縮部などを使わないでも、ＹＣｂＣｒ輝度色差信号各８ｂｉｔの合計２４ｂｉｔを１画素として非圧縮伝送の代わりに。Ｙ輝度信号に１０ｂｉｔ、ＣｂＣｒ色差信号各７ｂｉｔの合計２４ｂｉｔを１画素として非圧縮伝送もできる。視感度の高いＹ輝度信号に２ｂｉｔを追加して伝送することにより滑らかな階調表現が実現できる。この場合、従来のＹ輝度信号８ｂｉｔには１０ｂｉｔのＹ輝度信号の上位８ｂｉｔを、ＣｂとＣｒ色差信号各８ｂｉｔの上位７ｂｉｔには７ｂｉｔに縮小したＣｂとＣｒ色差信号を、ＣｂとＣｒ色差信号各８ｂｉｔの下位１ｂｉｔには１０ｂｉｔのＹ輝度信号の下位２ｂｉｔを１ｂｉｔずつ割り当てるとよい。この割り当てにより、万一、このｂｉｔ割り当てを誤解釈して従来のＹＣｂＣｒ輝度色差信号各８ｂｉｔ割り当てと扱った場合でも、その画質への影響を軽減することができる。
【００９８】
尚、上記は座標変換後に係数圧縮と言う２ステップ演算を示唆しているが、これを合せて１つの座標変換としてあつかうと演算量を軽減できる。さらにはＲＧＢ原色信号が入力される場合は、ＹＣｂＣｒ輝度色差信号へ変換するマトリクス演算の係数に反映させれば１回の演算でよい。
【００９９】
Ｅｃｏ＿ＦＬＭは、フレーム内の全ブロックの圧縮符号方式が同一である場合に１とし、ブロック毎に設定する場合を０としている。１の場合は、後述するＥｃｏ−ＣＤ０とＥｃｏ−ＣＤ１、Ｅｃｏ−ＣＤ２にそれぞれＹ、Ｃｂ、Ｃｒの圧縮符号方式を記述する。
【０１００】
ＣＫ＿ＮとＣＫ＿Ｍは、その比（ＣＫ＿Ｎ／ＣＭ＿Ｍ）が、非圧縮画像データの画素クロックと、圧縮後のデータを伝送する通信路のクロック例えばＴＭＤＳクロックとの周波数比を示す。例えばＣＭ＿Ｎ＝１でＣＫ＿Ｍ＝２であれば、４ｋ２ｋの場合の非圧縮画像データの画素クロック５９４ＭＨｚに対して伝送系のＴＭＤＳクロックは１／２の２９７ＭＨｚとなる。
【０１０１】
Ｅｃｏ＿Ｂｌｏｃｋは圧縮画素単位ブロックの画素数を示している。Ｅｃｏ＿ＣＤ０〜Ｅｃｏ＿ＣＤ３は、各画像データ単位ブロックに適用する圧縮符号化情報の候補を４種類示すものである。図１６に一例を示すように、圧縮する画像データ単位の圧縮符号情報Ｅｃｏ＿Ｃｏｄｅから４種類を選択する。
【０１０２】
図１４のヘッダと図１５のデータからなるパケットは、各水平ブランキング期間に１個以上伝送される。図１４のヘッダ中のＥｃｏ＿Ｐａｃｋｅｔ＃は、各ラインに伝送される本パケットのシリアル番号を示すものであり、１から始まり順次１ずつ増やしていく。図１５に示すＣｏｄｅ＿０〜Ｃｏｄｅ＿１１１は、図１３のＥｃｏ＿ＣＤ０〜Ｅｃｏ＿ＣＤ３で記述した４種類の圧縮符号化情報から選択した番号を、各画像データ単位ブロックにおいて、各Ｙ、Ｃｂ，Ｃｒ成分を順番に記述する。例えば、最初の画像データ単位ブロックのＹ成分の圧縮符号情報を示すＣｏｄｅ＿０が１であれば、Ｅｃｏ＿ＣＤ１を指す。Ｅｃｏ＿ＣＤ１が１０を示していれば、図１６から原画像のデータの４４４フォーマットＹ成分を差分符号化方式で圧縮したデータであることを示している。
【０１０３】
図８に示した垂直２ラインを画像データ単位ブロックとする場合は、１ライン目のＣｏｄｅ＿０が画像データ単位ブロック５０３の圧縮符号情報を、２ライン目のＣｏｄｅ＿０が画像データ単位ブロック５０４の圧縮符号情報を示す。
【０１０４】
図１３のＣｏｌｏｒ＿Ｓａｍｐｌが４４４フォーマットを示している場合は、Ｃｏｄｅ＿１は、第１画像データ単位ブロックのＣｂの圧縮符号情報、Ｃｏｄｅ＿２は第１画像データ単位のＣｒの圧縮符号情報、Ｃｏｄｅ＿３は第２画像データ単位ブロックのＹの圧縮符号情報を示す。Ｃｏｌｏｒ＿Ｓａｍｐｌが４２０フォーマットを示している場合は、Ｃｏｄｅ＿１は、第２画像データ単位ブロックのＹの圧縮符号情報、Ｃｏｄｅ＿２は第１と第２画像データ単位のＣｂ（偶数ラインではＣｒ）の圧縮符号情報、Ｃｏｄｅ＿３は第３画像データ単位ブロックのＹの圧縮符号情報を示す。Ｃｏｌｏｒ＿Ｓａｍｐｌが４２２フォーマットを示している場合は、Ｃｏｄｅ＿１は、第１と第２画像データ単位ブロックのＣｂの圧縮符号情報、Ｃｏｄｅ＿２は第第２画像データ単位のＹの圧縮符号情報、Ｃｏｄｅ＿３は第１と第２画像データ単位ブロックのＣｂの圧縮符号情報を示す。
【０１０５】
また、Ｃｏｄｅ＿０が０であれば、Ｅｃｏ＿ＣＤ０を指し、Ｅｃｏ＿ＣＤ０が６を示していれば図１６から、原画像のデータの４４４フォーマット各Ｙ、Ｃｂ、Ｃｒ成分１２ｂｉｔデータを４２０フォーマット８ビットに間引いていることを示している。この場合は、Ｙ成分のＣｏｄｅ＿０のみでＣｂとＣｒの伝送形態が決まる為、Ｃｂ成分を示すＣｏｄｅ＿１やＣｒ成分を示すＣｏｄｅ＿２の情報は不要であり、０を記述しておくよい。
【０１０６】
さて、図１に図示していないが、画像受信装置２００には画像受信装置２００の性能を示すＥＤＩＤ（Enhanced Extended Display Identification Data）を格納したＲＯＭが搭載されている。このＲＯＭの中に画像受信装置２００が圧縮伸張に対応しているか否かを判別する情報を付加してもよい。これにより、画像伝送装置１００は、画像受信装置２００のＥＤＩＤを格納したＲＯＭから、圧縮伸張に対応しているか否かを判別する情報を読出し、対応している装置であれば、圧縮した画像データを伝送し、非対応の装置であれば、圧縮せず従来のサイズで画像を送信することにより、圧縮処理に非対応の画像受信装置とも互換性を保つことができる。
【０１０７】
また、画像受信装置が圧縮に非対応であり、従来の画像サイズであることを表示部２０８に表示することにより、ユーザーに通知することがきる。
【０１０８】
このＥＤＩＤの記述例を図１７に示す。図１７は、ＨＤＭＩ−ＶＳＤＢと称される領域へ拡張子した例を示している。６Ｂｙｔｅ目のＢｉｔ２に本発明の圧縮符号化伝送方式への対応可否を示すＥｃｏ＿ｔｒａｎｓｆｅｒフラグを設ける。本領域は予約領域として扱われてきたので、非対応のレガシー機器では０と記載されており、対応機器のみ１と記載することによって後方互換性を維持できる。このＥｃｏ＿ｔｒａｎｓｆｅｒフラグが１の場合、Ｂｙｔｅ９とＢｙｔｅ１０の記述が有効となる。Ｂｉｔ０と１のＥｃｏ＿ＣｂＣｒは、ＣｂＣｒ色差信号の座標変換対応可否を示し、図１３のＥｃｏ＿ＣｂＣｒの下位２ｂｉｔに相当する。０であれば座標変換未対応、１は簡易座標変換対応、２は簡易座標変換に加えてＣｂやＣｒの範囲を最小化した座標変換にも対応、３は簡易座標変換に加えてＣｂＣｒ範囲を最小化にした上でさらに係数圧縮した座標変換する機能も３方式全部の座標変換にも対応していることを示している。
【０１０９】
Ｂｌｏｃｋ＿６４とＢｌｏｃｋ＿１２８は、圧縮する画像データ単位ブロックの大きさがそれぞれ６４画素、１２８画素に対応することを示すフラグである。画像データ単位ブロックの大きさ３２画素は本圧縮画像データ伝送対応における必須モードと定義して、ＥＤＩＤ記述スペース節約のため、あえて表記していない。Ｅｃｏ−Ｃｏｄｅ１〜４は、それぞれ、図１６に一例を示した圧縮符号化方式、Ｗａｖｅｌｅｔ変換、ランレングス符号化、ハフマン符号化、差分符号化に対応していることを示すフラグである。ＣＬＫ＿１、ＣＬＫ＿３／４、ＣＬＫ＿１／２は、それぞれ非圧縮画像データクロックに対する、ＴＭＤＳ伝送クロックの周波数が１倍、３／４倍、１／２倍となるモードに対応していることを示すフラグである。
【０１１０】
また、画像伝送装置１００を携帯機器として使用する場合に、バッテリー駆動の装置となるため、画像伝送装置１００の消費電力が連続使用時間に影響する。この場合、画像データを圧縮して伝送しデータ伝送量を下げ、消費電力を低減できる。この効果は、画像伝送装置１００の動作モードとして、例えば「省電力モード」などの機能を付加し、外部から電源が供給されている場合は、非圧縮の画像データで伝送し、バッテリーで駆動されている場合は、画像データを圧縮して伝送することにより、連続使用時間を長く設定することができる。
【０１１１】
図１８は、データ受信処理部２０５の構成の一例を示すブロック図である。
入力部２２０は、画像伝送装置１００のレベル変換部１７５にて変換された信号をレベル変換部２２２に出力する。レベル変換部２２２は、画像伝送装置１００でレベル変換された信号をデジタル信号に変換しデシリアライザ２２３に出力する。レベル変換の一例としては、差動信号をシングルエンド信号への変換がある。
【０１１２】
入力部２２１は、画像伝送装置１００から出力されたクロックを入力しＰＬＬ２２４に出力する。ＰＬＬ２２４は、入力されたクロックの１０倍のクロックを生成し、デシリアライザ２２３に出力する。またＰＬＬ２２４は、画像受信装置２００内で使用する画素クロックを出力部２２６から出力する。原画像の非圧縮画像データの画素クロックを画像表示装置２００内で用いる場合は、入力クロックを図１３のパケットデータに基づき、ＰＬＬ２２４が（ＣＫ＿Ｍ／ＣＫ＿Ｎ）倍に逓倍したクロックを出力部２２６から出力する。
【０１１３】
デシリアライザ２２３は、シリアル化されたデータをＰＬＬ２２４からのクロックでパラレル化し、出力部２２５から出力する。デシリアライザ２２３は、１０倍のクロックのデータをパラレル化して所定の例えばＴＭＤＳ復号により８ｂｉｔパラレルデータとして出力部２２５から出力する。
【０１１４】
図１９は、伸張処理部２０６の構成の一例を示すブロック図である。また、図２０は、伸張処理部２０６の処理概念を示すタイミング説明図である。
入力部２５０は、伸張処理部２０６のデータ入力部である。入力部２５０に入力されるデータには、画像データの同期信号を示すＨＳＹＮＣ（図２０（ａ））およびＶＳＹＮＣと、有効期間４０６に圧縮された画像データ５１２と５１４、水平ブランキング期間４０４に圧縮符号情報５１１と５１３がある。入力部２５１には復元後の非圧縮画像データの画素クロックや、圧縮画像データクロック等が入力される。
【０１１５】
ＨＳＹＮＣ、ＶＳＹＮＣ、圧縮画像データクロックと復元後の非圧縮画像データの画素クロックは、タイミング生成部２５２に供給される。タイミング生成部２５２は、入力されたＨＳＹＮＣ、ＶＳＹＮＣによりカウンタを制御し、垂直ブランキング期間４０１、垂直有効期間４０２、水平ブランキング期間４０４、水平有効期間４０５、有効期間４０６などのタイミングを始め、伸張処理部内の各ブロックの制御に必要なタイミングを生成し出力する。
【０１１６】
圧縮符号情報抽出部２５３は、水平ブランキング期間に送られてくる各画像データ単位ブロックの圧縮符号情報を抽出して圧縮符号情報記憶部２５４に記憶させる。その記憶期間を図２０（ｃ）に示す。圧縮符号情報５１１は続く圧縮画像データ５１２に対応したデータであるので、同情報を２ライン目の圧縮符号情報５１３が来るまでの記憶期間５１５で十分である。しかし、例えば２ラインの画像データを垂直圧縮させている場合は、垂直伸張用圧縮符号情報５１６だけは２ライン目の圧縮画像データを伸張させる期間まで保持させる必要がある。
【０１１７】
水平有効期間内に送られてくる圧縮画像データはエラー訂正部２５５で伝送系のエラー訂正処理を行う。 エラー訂正部２５５は、圧縮された画像データの単位ごとに、エラー訂正符号生成部１３６と同じエラー訂正符号を演算する。前記演算結果と符号検出部２５３から入力されるエラー訂正符号とを比較し、比較結果が異なっている場合は、エラー訂正処理を行う。エラー訂正処理の一例としては、ＣＲＣ演算がある。また、エラー検出のみを行い以降の処理でエラーを補間してもよい。
【０１１８】
水平有効期間内に送られてくる圧縮画像データの内、間引き画像データはエラー訂正部２５５を通さず、直接選択部２５８へ入力している（図１９の矢印２６３）。単なる間引き画像データの場合、エラーがあってもそのエラーは該当画素及び隣接した間引き画素に限定され、画面全体の画質を著しく劣化させるものではないこと、さらにはエラー訂正符号を付加するとさらに多くの画素又は階調を間引くことになって画面全体の画質劣化につながる点を考慮した為である。もちろん、データ転送帯域に余裕があれば、間引き画像データにもエラー訂正処理を付加してもよい。
【０１１９】
圧縮符号情報記憶部２５４の情報を基に、水平伸張部２５６や垂直伸張部２５７で画像データを伸張して選択部２５８へ出力する。水平伸張部２５６出力（図２０（ｄ））は圧縮画像データ５１２と５１４から復号にかかる時間だけ遅れた水平伸張画像データ５１８と５１９を出力する。垂直伸張部２５７出力（図２０（ｅ））は、例えば２ライン画像データ用いた圧縮符号化方式の場合、２ライン期間に渡って１ライン目と２ライン目の垂直伸張画像データ５２０と５２１として出力される。
【０１２０】
選択部２５８は、圧縮符号情報記憶部の情報に基づき、入力部２５０へ入力される画像データと、水平伸張部２５６の出力、垂直伸張部２５７出力を適宜選択して間引き復元部２５９へ出力する。上記したように、最も遅れて出力される垂直伸張部出力５２１に合せて、復元画像データ５２２が入力圧縮画像データ５１２よりも１ライン以上遅れて出力することになる。このようなタイミング調整の為、詳細説明は省略するが、選択部２５８の入力画像データは各伸張方式による処理遅延を適宜吸収するためのメモリ（図示せず）を有する。
【０１２１】
間引き復元部２５９は、圧縮符号情報記憶部２５４の情報を基に、間引き画像データから間引き部の画像データを復元する。間引き復元には、図２の間引き処理部１３２の間引き対応の他、水平圧縮部１３３や垂直圧縮部１３４が４４４フォーマットから４２２への間引き処理を施している場合にも対応し、間引き種別に応じた復元を行う。また、出力部２６１が４４４フォーマットではなく４２２や４２０フォーマット画像データを要求する場合は、間引きの復元処理を停止又は間引きフォーマット変換などを行ってもよい。
【０１２２】
間引き復元部２５９は、エラー訂正部２５５からの信号が該当画像データのエラー有を示しており、かつ水平方向に圧縮されていた場合は左右画像から補完し、垂直方向に圧縮されていた場合は、1ライン前のデータから補完する処理を施してもよい。
【０１２３】
この構成により、エラーが発生した場合においても相関性が高い画像データにおきかえることができるため、伝送エラーによる画像への影響を少なくすることができる。また圧縮する画像データの単位が十数画素であるため、置き換える画素の範囲もすくなくすむため、伝送エラーの影響をすくなくすることができる。また、圧縮伸張による処理遅延も図２０（ｆ）に示すように1ラインで抑えることができる。
【０１２４】
間引き復元部２５９の出力を入力とするＹＣｂＣｒ処理部２６０は、図１３に示したパケットデータ情報Ｅｃｏ＿ＣｂＣｒとＣｂ＿Ｆａｃｔｏｒ、Ｃｒ＿Ｆａｃｔｏｒを基に、縮小されていたＣｂとＣｒを復元する色差信号処理を担当する。また、出力部２６１がＲＧＢ原色信号を要求する場合は、ＲＧＢ原色信号への変換処理を行う。このように、ＹＣｂＣｒ処理部２６０は、画像伝送装置における図２のＹＣｂＣｒ処理部１３１の逆動作を行う位置付けであり、詳細説明は省略する。
【０１２５】
以上で説明した本実施例によれば、画像伝送装置が伝送する画像データを圧縮して伝送することにより、現在規定している伝送路に、現在規定されている画像サイズより大きなサイズの画像データを伝送することが可能になり、さらに、画像データの伝送領域よりも、エラー耐性を高めた領域にエラー検出や訂正符号を付加することによって、エラー耐性が高い画像伝送を行うことができる。
【０１２６】
また、現在規定されている画像サイズの画像データを伝送する場合においては、所定時間当たりのデータ伝送量、もしくはデータ伝送クロックを下げることができるため、エラーの発生頻度を下げることができ、且つ、伝送路でのエラーに対して信頼性の高いシステムを構築することができる。
【０１２７】
また、伝送路でエラーが発生して完全なエラー訂正ができない場合においても、エラーによる画質劣化が目立たないエラー処理を行うシステムを実現することができる。
【実施例２】
【０１２８】
実施例１において、垂直圧縮の画像データ単位ブロックは図８のように２行以上複数ラインにまたがるため、図２０に示すように圧縮画像データに対して１水平周期以上の遅延が生じている。この遅延時間を軽減する為に、垂直圧縮の画像データ単位ブロックも図７の水平圧縮の画像データ単位ブロックと同じ１ラインとする。この場合は、垂直圧縮は前ラインに対する差分の符号化などの符号化方式に限定されるが、実施例１に比べて処理遅延時間が軽減できる利点がある。
【実施例３】
【０１２９】
実施例１では、画像データ単位ブロック毎の圧縮符号情報を信頼性の高い水平ブランキング期間中のパケットを用いて伝送したが、図２０に示すように、受信機側で圧縮符号情報を１水平周期近く保持する必要があった。また、送信機側では、圧縮符号情報を該当するラインの圧縮画像データの直前の水平ブランキング期間に配置する為に、圧縮画像データをラインメモリに記憶させてほぼ１水平周期遅らせて出力させる必要があり、回路規模の増大と画像信号の伝達遅延時間が大きくなる課題があった。そこで、実施例３では、圧画像データ単位の圧縮符号情報を水平ブランキング期間ではなく、水平有効期間内の圧縮画像データと一緒に伝送する方式を採用する。
【０１３０】
有効期間内に送るべきデータが圧縮画像データだけでなく圧縮符号情報も一緒に送ろうとすると、圧縮画像データの圧縮率を上げざるを得ず、復元時の画像の画質劣化が大きくなる懸念がある。その対策として、水平ブランキング期間を音声データ伝送パケット２個分を送れる程度まで縮小し、水平有効期間を広げる。
【０１３１】
４ｋ２ｋ画像データを非圧縮画像の画素クロック５９４ＭＨｚの半分の２９７ＭＨｚクロックで伝送する場合、実施例１では、水平有効期間１９２０、水平ブランキング期間２８０であった。音声パケット２個分の伝送期間と前後のガードバンドを含めて水平ブランキング期間は９６程度あればよいので、残り１８４を水平有効期間を増やせる。水平有効期間１９２０を約９．５％程度拡大できる効果がある。
【０１３２】
この実施例３の場合、水平同期信号の位置や幅などが所定の非圧縮画像データの標準タイミングからずれる為、受信側で非圧縮画像データ再生時に、画像データに付与されているＳＶＤ（Short Video Descriptor）メタデータを参考にして、標準タイミングフォーマットとなるようタイミングを復元するとよい。
【０１３３】
図２１に、伸張処理部２０６の構成の一例を示すブロック図を示す。図１９と同様な機能を持つブロックには同じ番号を付している。その差異は、エラー訂正回路２５５の出力部に第２の映像符号情報抽出部２６３が加わり、間引き画像データとして入力２５０から直接ではなくエラー訂正部２５５を通して選択部２５８の入力（図２１の矢印２６４参照）になっている点である。
実施例１では、圧縮符号情報抽出部２５３は垂直ブランキング期間内の圧縮符号情報（図１２と図１３のパケット）と、水平ブランキング期間内の圧縮符号情報（図１４と図１５のパケット）を抽出していた。本実施例では、圧縮符号情報抽出部は垂直ブランキング期間内のフレーム内共通情報のみ抽出し、圧縮符号情報記憶部２５４で記憶する。
【０１３４】
本実施例では、各圧縮画像データ単位ブロックの圧縮符号情報がブランキング期間内でエラー訂正処理が施されているパケットで送る代わりに、他の圧縮画像データと同様なエラー訂正処理を加えている。このため、第２の圧縮符号情報抽出部２６２が、エラー訂正部２５５のエラー訂正処理後のデータと、フレーム単位で抽出された圧縮符合情報記憶部２５４の出力から、各圧縮画像データ単位ブロックの圧縮符号情報を抽出して、水平伸張部２５６や垂直伸張部２５７、選択部２５８へ出力している。
【０１３５】
本実施例では、各圧縮画像データ単位ブロックの圧縮画像データと圧縮符号情報がタイミング的に近接しているので、１水平周期に渡る圧縮符号情報記憶は、フレーム内共通の圧縮符号情報を除いて不要となるので、回路規模を削減できる効果がある。
【０１３６】
さらに、本実施例では、実施例１に比べて前述したように、水平有効期間が９．５％拡張できるので、エラー訂正符号を追加して伝送している。このため、間引き画像データに対してもエラー訂正部２５５の出力２６４として選択部２５８へ入力されているので、間引き画像データのエラーを抑圧でき、よりエラー耐性の強い画像データ伝送が実現できる。
【実施例４】
【０１３７】
図２に示した画像伝送装置の圧縮処理部の例において、間引き処理部１３２と水平圧縮部１３３、垂直圧縮部１３４、選択部１３５の実現例を図２２に示す。
【０１３８】
３１１と３１２、３１３は入力部であり、それぞれＹ輝度信号、Ｃｂ色差信号、Ｃｒ色差信号が入力される。間引き処理部１３２は、Ｃｂ間引き部３２２とＣｒ間引き部３２３から構成され、入力されたＹ輝度信号はそのまま、Ｃｂ色差信号はＣｂ間引き部３２２で間引きされた信号が、Ｃｒ色差信号はＣｒ間引き部３２３で間引きされた信号が記憶部３５１へ出力されて記憶される。
【０１３９】
尚、４２０フォーマットとして用いる場合は、ライン単位またはフレーム単位でＣｂ色差信号とＣｒ色差信号を選択読出し部３５３が交互に選択読出しを行えばよい。
【０１４０】
このＣｂ間引き部３２２とＣｒ間引き部３２３の出力を流用することによって、水平圧縮部１３３と垂直圧縮１３４の４２２フォーマット変換機能を切換スイッチ３３４と３３５、３４４、３４５で簡単に実現している。
【０１４１】
水平圧縮部１３３は、Ｙ水平圧縮部３３１と、Ｃｂ水平圧縮部３３２、Ｃｒ水平圧縮部３３３、切換スイッチ３３４、３３５から構成される。入力部３１１に入力されたＹ輝度信号はＹ水平圧縮部３３１で所定の圧縮画像データ単位ブロック毎に圧縮され、記憶部３５１へ出力して記憶される。入力部３１２に入力されたＣｂ色差信号と、Ｃｂ間引き部３２２の出力である間引きＣｂ色差信号のいずれかを切換スイッチ３３４が選んだ後、Ｃｂ水平圧縮部３３２がで所定の圧縮画像データ単位ブロック毎に圧縮して、記憶部３５１へ出力して記憶される。入力部３１３に入力されたＣｒ色差信号と、Ｃｒ間引き部３２３の出力である間引きＣｒ色差信号のいずれかを切換スイッチ３３５が選んだ後、Ｃｒ水平圧縮部３３３がで所定の圧縮画像データ単位ブロック毎に圧縮して、記憶部３５１へ出力して記憶される。
【０１４２】
垂直圧縮部１３４は、Ｙ垂直圧縮部３４１と、Ｃｂ垂直圧縮部３４２、Ｃｒ垂直圧縮部３４３、切換スイッチ３４４、３４５から構成される。入力部３１１に入力されたＹ輝度信号はＹ垂直圧縮部３４１で所定の圧縮画像データ単位ブロック毎に圧縮され、記憶部３５１へ出力して記憶される。入力部３１２に入力されたＣｂ色差信号と、Ｃｂ間引き部３２２の出力である間引きＣｂ色差信号のいずれかを切換スイッチ３4４が選んだ後、Ｃｂ垂直圧縮部３４２がで所定の圧縮画像データ単位ブロック毎に圧縮して、記憶部３５１へ出力して記憶される。入力部３１３に入力されたＣｒ色差信号と、Ｃｒ間引き部３２３の出力である間引きＣｒ色差信号のいずれかを切換スイッチ３4５が選んだ後、Ｃｒ垂直圧縮部３４３がで所定の圧縮画像データ単位ブロック毎に圧縮して、記憶部３５１へ出力して記憶される。
【０１４３】
Ｃｂ間引き部３２２と、Ｃｒ間引き部３２３、Ｙ水平圧縮部３３１、Ｃｂ水平圧縮部３３２、Ｃｒ水平圧縮部３３３、Ｙ垂直圧縮部３４１、Ｃｂ垂直圧縮部３４２、Ｃｒ垂直圧縮部３４３は、それぞれ間引き又は圧縮時に各圧縮画像データ単位ブロック毎に画質指数を計算し、圧縮画像データと共に記憶部３５１に記憶させる。
【０１４４】
画質指数とは、例えば、入力部３１１と３１２、３１３に入力される非圧縮のＹＣｂＣｒ輝度色差信号に対し、それぞれのブロックが間引き又は圧縮した画像データを非圧縮画像データに復元したＹＣｂＣｒ輝度色差信号との差を信号成分毎かつ画素毎に求め、それらの２乗合計と定義するとよい。計算を簡略化するため、２乗合計に代えて絶対値の合計や、最大値を各圧縮画像データ単位ブロックの画質指数としてもよい。また、各圧縮処理において得られる評価指数や圧縮によって切り捨てられる係数から概略値を推定してもよい。また、画質への影響が大きいと考えられるＹ輝度信号の二乗誤差の和にさらに係数をかけて、Ｃｂ色差信号やＣｒ色差信号より重視してもよい。さらに、実施例１で述べたように、CbCr色差信号を係数圧縮して量子化ｂｉｔ数を減らしている場合は、それに応じて逆にＣｂＣｒ色差信号の画質指数計算用係数を大きめに設定してもよい。
【０１４５】
選択部１３５は、記憶部３５１と圧縮率・画質評価部３５２、選択読出し部３５３、出力部３５４から構成される。圧縮率・画質評価部３５２は、記憶部３５１に記憶された各圧縮画像データの画質指数とデータ量を基に、各水平有効期間中に伝送できるデータ量の中で、画面算対の画質指数の合計値または最大の画質指数が最小となる組合せを選び出してその組合せ情報を、選択読出し部３５３に伝える。選択読出し部３５３は、圧縮率・画質評価部３５２の指示に基づき、記憶部３５１から指定された間引き又は圧縮された画像データを順番に読出し、出力部３５４へ送る。
【０１４６】
水平周期単位では垂直圧縮部の正しい画質指数や圧縮画像データが得られないので、圧縮画像データ単位ブロックの垂直ライン数（画素数）分の圧縮画像データと画質指数を記憶部３５１に保管し、その垂直ライン数単位で、画面算対の画質指数の合計値または最大の画質指数が最小となる組合せを選び出してその組合せ情報を、選択読出し部３５３に伝えるとなおよい。
【０１４７】
切換スイッチ３３４と３３５、３４４、３４５は、ＣｂＣｒ色差信号の圧縮を間引き前信号を対象にするか間引き後の信号を対象にするかを切換える働きをしている。どちらを選ぶかは、圧縮前の非圧縮画像データと、画像データを伝送するケーブルで伝送できる画像データ量の比から計算される圧縮率がある判定値より小さい場合は間引き後の信号、大きければ間引き前と判断してもよい。判定値は、水平圧縮部や垂直圧縮部の圧縮アルゴリズムにも依存するが、例えば１／２〜４／５の範囲に設定するとよい。
【０１４８】
切換スイッチ３３４と３３５、３４４、３４５は一斉に切換えてもよいし、上記の判定値をスイッチ毎に設定して個別に切換えてもよい。また、これらの切換スイッチを使用せず、Cb水平圧縮部３３２とCr水平圧縮部３３３、Ｃｂ垂直圧縮部３４２、Ｃｒ垂直圧縮部３４３を２つずつ備え。間引き前と間引き後の双方の信号をそれぞれ圧縮して記憶部３５１に記憶させてもよい。圧縮率・画質評価部３５２の選択範囲を広げ、より高画質な画像データの伝送ができる。
【０１４９】
本実施例は、圧縮処理部のより具体的な実現例を示したものであり、これまで述べてきた実施例１〜３と組み合わせて使用できることは明らかである。
【実施例５】
【０１５０】
画像受信装置の他の実施例を、図１を用いて説明する。圧縮画像データを受信して伸張しそれを表示処理部で処理後表示する点については、これまで述べてきた実施例１〜４と同じである。本実施例では、伸張処理部２０６から表示処理部２０７へ伸張された非圧縮画像データと共に、各圧縮画像データ単位ブロックの圧縮符号情報や、エラー訂正処理時に得られる伝送エラー情報を伝送する点。
【０１５１】
当該構成により、表示処理部における解像度（または画素数）変換処理や、超解像処理、画像ノイズ抑圧処理などを、前記圧縮符号情報や伝送エラー情報に応じて、各圧縮画像データブロック毎に処理方法を切換えることで、圧縮画像伝送における画質劣化を最小限に抑えることができる。
【符号の説明】
【０１５２】
100 画像伝送装置
101,102,103,104,130,150,151,170,172,201,202,220,221,250,251,311,312,313 入力部
105 チューナー受信処理部
106 ネットワーク受信処理部
107 記録メディア制御部
108 記録メディア
109,203ユーザーＩＦ
110,204 制御部
111 ストリーム制御部
112 デコーダ
113,207 表示処理部
114 圧縮処理部
115 データ伝送部
116,138,157,176,177,225,226,261,354 出力部
131 ＹＣｂＣｒ処理部
132 間引き処理部
133 水平圧縮部
134 垂直圧縮部
135,258 選択部
136 エラー訂正符号生成部
137 圧縮符号情報付加部
153 エラー訂正符号演算部
154, 251タイミング生成部
155 データ保持部
173,224 ＰＬＬ
174 シリアライザ
175,222 レベル変換部
200 画像受信装置
205 データ受信処理部
206 伸張処理部
208 表示部
223 デシリアライザ
253,262 圧縮符号情報抽出部
254 圧縮符号情報記憶部
255 エラー訂正部
256 水平伸張部
257 垂直伸張部
259 間引き復元部
260 ＹＣｂＣｒ処理部
300 ケーブル
322 Cb間引き部
322 Cr間引き部
331 Y水平圧縮部
332 Cb水平圧縮部
333 Cr水平圧縮部
334,335,336 切換スイッチ
341 Y垂直圧縮部
342 Cb垂直圧縮部
343 Cr垂直圧縮部
351 記憶部
352 圧縮率・画質評価部
353 選択読出し部
400 垂直期間
401 垂直ブランキング期間
402 垂直有効期間
403 水平期間
404 水平ブランキング期間
405 水平有効期間
406 有効期間
407 ブランキング期間
501,502,503,504 圧縮する画像データの単位
512,514 圧縮された画像データ
511,513,515,516,517 圧縮符号情報
518,519 水平伸張画像データ
520,521 垂直伸張画像データ
522 復元画像データ
【特許請求の範囲】
【請求項１】
画像データを圧縮し伝送する画像伝送装置において、
輝度信号との相関を用いた座標変換によって色差信号のとりうる範囲を狭める色差信号処理を行う色差信号処理部と、
輝度色差信号からなる画像データを所定の画素数からなる画像データ単位ブロック毎に圧縮処理する水平圧縮部と、
輝度色差信号からなる画像データを所定の画素数からなる画像データ単位ブロック毎に圧縮処理する垂直圧縮部と、
前記水平圧縮部の出力と前記垂直圧縮部の出力とを少なくとも１水平有効期間記憶する記憶部と、
各画像データ単位ブロックの圧縮率と圧縮処理による画像劣化を示す指数に基づいて、圧縮符号方式を選定する圧縮率・画質評価部と、
前記圧縮処理された画像データを出力するデータ転送部と、を有し、
該データ転送部は圧縮された画像データと共に前記色差信号処理及び前記圧縮処理に関する圧縮符号情報を出力することを特徴とする画像伝送装置。
【請求項２】
請求項１に記載の画像伝送装置において、
前記画像データに基づいてクロック信号を生成するクロック信号生成部を有し、
前記データ転送部は、前記信号生成部の出力するクロックに同期して前記圧縮画像データを出力することを特徴とした画像伝送装置。
【請求項３】
画像データを圧縮し伝送する画像伝送方法において、
輝度信号との相関を用いた座標変換によって色差信号のとりうる範囲を狭める色差信号処理を行うステップと、
輝度色差信号からなる画像データを所定の画素数からなる画像データ単位ブロック毎に水平方向に圧縮処理するステップと
輝度色差信号からなる画像データを所定の画素数からなる画像データ単位ブロック毎に垂直方向に圧縮処理するステップと、
前記水平方向に圧縮処理されたデータと前記垂直方向に圧縮処理されたデータとを少なくとも１水平有効期間記憶するステップと、
各画像データ単位ブロックの圧縮率と圧縮処理による画像劣化を示す指数に基づいて、圧縮符号方式を選定するステップと、
圧縮処理された画像データを前記色差信号処理と前記圧縮処理に関する圧縮符号情報と共に出力するステップと、を有することを特徴とする画像伝送方法。
【請求項４】
請求項３に記載の画像伝送方法において、
前記画像データに基づいてクロック信号を生成するステップと、
前記生成したクロックに同期して前記圧縮画像データを出力するステップと、を有することを特徴とした画像伝送方法。
【請求項５】
圧縮された画像データを受信する画像受信装置において、
圧縮された画像データと当該圧縮された画像データの圧縮処理に関する圧縮符号情報を受信する入力部と、
前記入力部に入力された圧縮符号情報に基づいて前記入力部に入力された圧縮された画像データ伸張する伸張部と、
前記入力部に入力された圧縮符号情報に基づいて、前記伸張部にて伸張された輝度色差形式の画像データに対して輝度信号との相関を用いた座標変換を行い、当該画像データを色差信号として出力する色差信号処理部と、
圧縮画像データ単位ブロック毎の圧縮符号情報及び／または伝送エラー情報に応じて受信した画像データに対する信号処理を変化させる表示信号処理部と、を有することを特徴とした画像受信装置。
【請求項６】
圧縮された画像データを受信する画像受信方法において、
圧縮された画像データと当該圧縮された画像データの圧縮処理に関する圧縮符号情報を受信するステップと、
前記受信した圧縮符号情報に基づいて前記受信した圧縮された画像データ伸張するステップと、
前記受信した圧縮符号情報に基づいて、前記伸張した輝度色差形式の画像データに対して輝度信号との相関を用いた座標変換を行い、当該画像データを色差信号として出力するステップと、
圧縮画像データ単位ブロック毎の圧縮符号情報及び／または伝送エラー情報に応じて受信した画像データに対する信号処理を変化させるステップと、を有することを特徴とした画像受信方法。
【請求項１】
画像データを圧縮し伝送する画像伝送装置において、
輝度信号との相関を用いた座標変換によって色差信号のとりうる範囲を狭める色差信号処理を行う色差信号処理部と、
輝度色差信号からなる画像データを所定の画素数からなる画像データ単位ブロック毎に圧縮処理する水平圧縮部と、
輝度色差信号からなる画像データを所定の画素数からなる画像データ単位ブロック毎に圧縮処理する垂直圧縮部と、
前記水平圧縮部の出力と前記垂直圧縮部の出力とを少なくとも１水平有効期間記憶する記憶部と、
各画像データ単位ブロックの圧縮率と圧縮処理による画像劣化を示す指数に基づいて、圧縮符号方式を選定する圧縮率・画質評価部と、
前記圧縮処理された画像データを出力するデータ転送部と、を有し、
該データ転送部は圧縮された画像データと共に前記色差信号処理及び前記圧縮処理に関する圧縮符号情報を出力することを特徴とする画像伝送装置。
【請求項２】
請求項１に記載の画像伝送装置において、
前記画像データに基づいてクロック信号を生成するクロック信号生成部を有し、
前記データ転送部は、前記信号生成部の出力するクロックに同期して前記圧縮画像データを出力することを特徴とした画像伝送装置。
【請求項３】
画像データを圧縮し伝送する画像伝送方法において、
輝度信号との相関を用いた座標変換によって色差信号のとりうる範囲を狭める色差信号処理を行うステップと、
輝度色差信号からなる画像データを所定の画素数からなる画像データ単位ブロック毎に水平方向に圧縮処理するステップと
輝度色差信号からなる画像データを所定の画素数からなる画像データ単位ブロック毎に垂直方向に圧縮処理するステップと、
前記水平方向に圧縮処理されたデータと前記垂直方向に圧縮処理されたデータとを少なくとも１水平有効期間記憶するステップと、
各画像データ単位ブロックの圧縮率と圧縮処理による画像劣化を示す指数に基づいて、圧縮符号方式を選定するステップと、
圧縮処理された画像データを前記色差信号処理と前記圧縮処理に関する圧縮符号情報と共に出力するステップと、を有することを特徴とする画像伝送方法。
【請求項４】
請求項３に記載の画像伝送方法において、
前記画像データに基づいてクロック信号を生成するステップと、
前記生成したクロックに同期して前記圧縮画像データを出力するステップと、を有することを特徴とした画像伝送方法。
【請求項５】
圧縮された画像データを受信する画像受信装置において、
圧縮された画像データと当該圧縮された画像データの圧縮処理に関する圧縮符号情報を受信する入力部と、
前記入力部に入力された圧縮符号情報に基づいて前記入力部に入力された圧縮された画像データ伸張する伸張部と、
前記入力部に入力された圧縮符号情報に基づいて、前記伸張部にて伸張された輝度色差形式の画像データに対して輝度信号との相関を用いた座標変換を行い、当該画像データを色差信号として出力する色差信号処理部と、
圧縮画像データ単位ブロック毎の圧縮符号情報及び／または伝送エラー情報に応じて受信した画像データに対する信号処理を変化させる表示信号処理部と、を有することを特徴とした画像受信装置。
【請求項６】
圧縮された画像データを受信する画像受信方法において、
圧縮された画像データと当該圧縮された画像データの圧縮処理に関する圧縮符号情報を受信するステップと、
前記受信した圧縮符号情報に基づいて前記受信した圧縮された画像データ伸張するステップと、
前記受信した圧縮符号情報に基づいて、前記伸張した輝度色差形式の画像データに対して輝度信号との相関を用いた座標変換を行い、当該画像データを色差信号として出力するステップと、
圧縮画像データ単位ブロック毎の圧縮符号情報及び／または伝送エラー情報に応じて受信した画像データに対する信号処理を変化させるステップと、を有することを特徴とした画像受信方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１３−３１０２５（Ｐ２０１３−３１０２５Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１１−１６６１８３（Ｐ２０１１−１６６１８３）
【出願日】平成２３年７月２９日（２０１１．７．２９）
【出願人】（５０９１８９４４４）日立コンシューマエレクトロニクス株式会社 (998)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２３年７月２９日（２０１１．７．２９）
【出願人】（５０９１８９４４４）日立コンシューマエレクトロニクス株式会社 (998)
【Ｆターム（参考）】
[ Back to top ]