説明

画像伝送装置、画像伝送方法、画像受信装置および画像受信方法

【課題】より大きなサイズの画像データを、より忠実に保ちながら伝送することが可能な画像伝送装置を提供する。
【解決手段】画像データを伝送する画像伝送装置であって、画像データを圧縮する圧縮処理部と、圧縮処理部で圧縮した圧縮画像データを出力する出力部とを有し、出力部は、圧縮画像データを第一の期間と当該第一の期間とは異なる第二の期間とに分けて出力することにより、より大きなサイズの画像データを、より忠実に保ちながら伝送する。

【発明の詳細な説明】
【技術分野】
【0001】
技術分野は、映像情報の送受信に関する。
【背景技術】
【0002】
近年、デジタル画像処理で扱う画素数は、一般ユーザ向けディスプレイの4k2k(3840×2160画素)化、放送のHD(High Definition:1920×1080画素)化、デジタルビデオカメラのイメージセンサやディスプレイの高画素化に伴い、年々増加している。
【0003】
これらの画像データを機器間で伝送する方式について、HDMI(High-Definition Multimedia Interface(HDMI Licensing,LLCの登録商標))規格やVESA(Video Electronics Standards Association)により策定されたDisplayPort(VESAの登録商標または商標)規格などがある。
【0004】
前記のHDMIのデータ伝送方式において、特許文献1には、「非圧縮映像信号またはこの非圧縮映像信号に対して受信装置が対応可能な圧縮方式で圧縮処理を施して得られた圧縮映像信号を選択的に送信するものであり、伝送路の伝送ビットレート内で、所望のビットレートの映像信号を良好に送信できる」(特許文献1[0048]参照)こと、また圧縮方式について、「データ圧縮部121-1〜121-nは、それぞれ、コーデック117から出力された非圧縮の映像信号を所定の圧縮比をもって圧縮処理し、圧縮された映像信号を出力する。データ圧縮部121-1〜121-nは、映像信号圧縮部を構成している。データ圧縮部121-1〜121-nは、それぞれ、互いに異なる圧縮方式でデータ圧縮処理を行う。例えば、圧縮方式としては、「RLE(Run Length Encoding)」、「Wavelet」、「SBM(Super Bit Mapping(ソニーの登録商標))」、「LLVC(Low Latency Video Codec)」、「ZIP」等が考えられる」(特許文献1[0077]参照)ことが記載されている。
【0005】
また、HDMIにおいて、画像データは、TMDS(Transition Minimized Differential Signaling(Silicon Image, Inc.の登録商標))方式のデータ伝送フォーマットが採用されており、その一例として特許文献2が示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2009−213110号公報
【特許文献2】特表2005−514873号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、いずれの先行技術文献にも、より大きなサイズの画像(「映像」とも言う。以下同じ。)データをより忠実に保ちながら伝送することについては考慮が無い。
【課題を解決するための手段】
【0008】
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
【0009】
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、画像データを伝送する画像伝送装置であって、画像データを圧縮する圧縮処理部と、圧縮処理部で圧縮した圧縮画像データを出力する出力部とを有し、出力部は、圧縮画像データを第一の期間と当該第一の期間とは異なる第二の期間とに分けて出力することを特徴とする。
【発明の効果】
【0010】
上記手段によれば、より大きなサイズの画像データを、より忠実に保ちながら伝送することが可能となる。
【図面の簡単な説明】
【0011】
【図1】第1実施例の画像伝送装置および画像受信装置の一例。
【図2】第1実施例の画像データの有効/ブランキング期間の一例。
【図3】第1実施例の圧縮する画像データの単位の一例。
【図4】第1実施例の圧縮する画像データの単位の一例。
【図5】第1実施例の主圧縮符号情報と副圧縮符号情報と圧縮画像データの構成の一例。
【図6】第1実施例のデータ転送のタイミングの一例。
【図7】第1実施例の圧縮処理部の一例。
【図8】第1実施例の圧縮処理部の一例。
【図9】第1実施例の圧縮処理部の一例。
【図10】第1実施例の圧縮部Aの一例。
【図11】第1実施例の圧縮部Aの一例。
【図12】第1実施例のエラー訂正符号生成部の一例。
【図13】第1実施例のデータ伝送部の一例。
【図14】第1実施例の圧縮符号情報パケットのヘッダの一例。
【図15】第1実施例の圧縮符号情報パケットのデータの一例。
【図16】第1実施例の圧縮符号情報パケットのヘッダの一例。
【図17】第1実施例の圧縮符号情報パケットのデータの一例。
【図18】第1実施例の圧縮符号情報の一例。
【図19】第1実施例の画像受信装置のEDID記述の一例。
【図20】第1実施例のデータ受信処理部の一例。
【図21】第1実施例の伸張処理部の一例。
【図22】第1実施例の伸張処理部の一例。
【図23】第1実施例の伸張処理部の一例。
【図24】第1実施例の伸張処理部の一例。
【図25】第1実施例のデータ転送のタイミングの一例。
【図26】第1実施例のデータ転送のタイミングの一例。
【図27】第1実施例の圧縮符号情報の一例。
【図28】第1実施例の圧縮符号情報の一例。
【発明を実施するための形態】
【0012】
従来、遅延時間を最小にする画像データ伝送方式として非圧縮画像データ伝送方式があるが、大きなサイズの画像データを送るには高速な伝送路を必要とする課題があった。その解決の為に、画像データを圧縮して伝送する方式が提案されているが、伝送路上でエラーが発生すると、複数画素で構成される圧縮ブロック単位で、表示画像が乱れてしまう課題があった。また、高いエラー耐性が確保されているブランキング期間で伝送できるデータ量は、有効画素期間で伝送できるデータ量よりも少ないという課題があった。
【0013】
本実施例では、画像データを圧縮して伝送する伝送方式において、圧縮ブロック単位毎に圧縮して、圧縮符号情報を生成し、圧縮符号情報の内、重要性の高い圧縮符号情報(以下、主圧縮符号情報と呼ぶ)をエラー耐性の高いブランキング期間で伝送することで、この課題解決を図った。なお、その他の圧縮符号情報(以下、副圧縮符号情報と呼ぶ)は、圧縮画像データと同様、有効期間で伝送する。以下、この実施例を、図面を用いて説明する。
【実施例1】
【0014】
以下、本実施例による画像伝送装置および画像受信装置の実施形態について説明する。
【0015】
図1は、本実施例の画像伝送システムを示すブロック図であり、画像送信装置100と画像受信装置200をケーブル300で接続した構成である。
【0016】
画像送信装置100は、画像データを伝送する画像送信装置であり、デジタル放送を受信し視聴できるようにデコードした画像データや、記録媒体に記録された画像データ、カメラなどで撮影した画像データをHDMIケーブルなどにより、他の機器に出力する機器である。画像送信装置100の一例として、レコーダ、レコーダ機能を内蔵したデジタルTV、レコーダ機能を内蔵したパソコン、カメラ機能やレコーダ機能を搭載した携帯電話、カムコーダなどがある。
【0017】
画像受信装置200は、HDMIケーブル等を使用して、画像データを入力しモニタに画像を出力する表示機器である。画像受信装置200の一例として、デジタルTVや、ディスプレイ、プロジェクタ、携帯電話、サイネージ機器などがある。
【0018】
ケーブル300は、画像送信装置100と画像受信装置200の機器間で画像データ等のデータ通信を行うデータ伝送路である。ケーブル300の一例として、HDMI規格や、DisplayPort規格に対応した有線ケーブルもしくは、無線方式のデータ通信を行うデータ伝送路などがある。
【0019】
まず、画像送信装置100の構成について説明する。
入力部101、102、103は、画像データを画像送信装置100に入力するための入力部である。入力部101に入力され、チューナー受信処理部105で処理される画像データの一例としては、放送局または放送用衛星などの中継局からの電波として入力されるデジタル放送がある。入力部101には、この放送局または放送用衛星などの中継局からの電波が入力される。
【0020】
入力部102に入力され、ネットワーク受信処理部106で処理される画像データの一例としては、インターネットのブロードバンド接続を利用して、ネットワーク経由で配信されてくるデジタル放送や、情報コンテンツなどがある。
【0021】
入力部103に入力され、記録メディア制御部107で処理される画像データの一例としては、入力部103に接続された外部の記録メディアに記録されているコンテンツがある。また、記録メディア制御部107で処理される映像データの一例としては、画像送信装置100内に内蔵された記録メディア108に記録されているコンテンツもある。入力部103に接続された外部の記録メディア、もしくは画像送信装置100内に内蔵された記録メディア108の一例としては、光ディスク、磁気ディスク、半導体メモリなどがある。
【0022】
チューナー受信処理部105は、入力された電波をビットストリームに変換する受信処理部であり、ここでRF帯域(Radio Frequency)の電波はIF帯域 (Intermediate Frequency) に周波数変換され、受信チャネルに依存しない一定の帯域の信号として、復調されたビットストリームに伝送のために施された変調操作を復調する。
【0023】
ビットストリームの一例としては、MPEG2トランスポートストリーム(以降MPEG2−TSとする)や、MPEG2−TSに準じたフォーマットのビットストリーム等がある。以降のビットストリームは、MPEG2−TSを代表として説明を行う。
【0024】
前記チューナー受信処理部105は、さらに伝送途中で発生した符合の誤りを検出し訂正し、誤り訂正されたMPEG2−TSにつきスクランブルの解除を行った後、視聴もしくは記録を行うプログラムが多重化されている1トランスポンダ周波数を選択し、この選択した1トランスポンダ内のビットストリームを1プログラムのオーディオとビデオのパケットに分離化する。
【0025】
前記チューナー受信処理部105からのMPEG2−TSは、データバス181を介してストリーム制御部111に供給される。ストリーム制御部111は、前記チューナー受信処理部105においてパケットを受信した時の間隔を保時する為に、受信したパケット内から時刻管理情報であるPTS(Presentation Time Stamp)と、MPEGシステムの基準復号器内部のSTC(System Time Clock)を検出し、検出結果により補正したタイミングでタイムスタンプを付加する。
【0026】
前記タイムスタンプを付加したパケットをデコーダ部112もしくは、記録メディア制御部107のどちらか一方、または双方に供給する。デコーダ部112へのデータパス194は画像データを視聴する時の処理に用いられ、記録メディア制御部107へのデータパス193は、画像データを記録メディアに記録する時に用いられる。
【0027】
前記ストリーム制御部111のデータバス192は、入力部102からネットワーク受信処理部106経由で入力されるMPEG2−TSが入力される。前記データパス192は、ネットワーク経由で配信されてくるデジタル放送もしくはデジタルコンテンツを取得する入力部である。
【0028】
さらに入力部103に接続された外部の記録メディア、もしくは画像送信装置100内に内蔵された記録メディア108に記録されているデジタル放送もしくはデジタルコンテンツは、記録メディア制御部107によりMPEG2−TSとして読み出され、データバス193を介して前記ストリーム制御部111へ入力される。前記ストリーム制御部111は、これらの入力のうち少なくとも1つ以上を選択し、デコーダ部112に出力する。
【0029】
デコーダ部112は、前記ストリーム制御部111から入力されたMPEG2−TSをデコードし、生成した画像データを表示処理部113に出力する。表示処理部113は、入力された画像データに対して、例えばOSD(On Screen Display)の重畳処理や、回転、拡大もしくは縮小処理、フレームレート変換処理を施した後、圧縮処理部114に出力する。
【0030】
圧縮処理部114は、表示処理部113からの画像データに圧縮処理を施し、データ転送部115に出力する。
【0031】
データ転送部115は、圧縮処理部114で圧縮された画像データ(以後、圧縮画像データと呼ぶ)を伝送に適した形式の信号に変換して出力部116から出力を行う。画像データの伝送に関して、ケーブル伝送に適した形式の信号の一例がHDMI規格に記載されている。HDMIにおいて、画像データは、TMDS方式のデータ伝送フォーマットが採用されている。
【0032】
入力部104は、画像送信装置100の動作を制御するための信号を入力するための入力部である。入力部104の一例として、リモコンから送信される信号の受信部や、装置本体に備え付けられたボタンなどがある。入力部104からの制御信号は、ユーザーIF109に供給される。前記ユーザーIF109は、入力部104からの信号を制御部110に出力する。制御部110は、入力部104の信号に従い、画像送信装置100全体を制御する。制御部110の一例としては、マイクロプロセッサなどがある。画像送信装置100からの画像データは、ケーブル300を介して画像受信装置200に供給する。
【0033】
次に画像受信装置200の構成について説明する。
入力部201は、ケーブル伝送に適した形式の信号が入力される。前記入力部201に入力された信号は、データ受信処理部205に供給される。
【0034】
データ受信処理部205は、ケーブル伝送に適した形式の信号から所定のデジタルデータに変換する処理を施し、伸張処理部206に変換したデジタルデータを出力する。
【0035】
伸張処理部206は、前記画像送信装置100内の圧縮処理部114で施した圧縮処理を伸張し、画像データを生成し、表示処理部207に出力する。
【0036】
表示処理部207は、入力された画像データに対して表示処理を施す。表示処理の一例としては、OSD重畳処理、表示部208の解像度に変換するための拡大もしくは縮小処理、回転処理、フレームレート変換処理などがある。表示処理部207の出力は表示部208に出力する。
【0037】
表示部208は、入力された画像データを表示方式にあわせた信号に変換し画面に表示する。表示部208の一例として、液晶ディスプレイや、プラズマディスプレイや、有機EL(Electro−Luminescence)ディスプレイ、プロジェクタ投影ディスプレイなどの表示部がある。
【0038】
入力部202は、画像受信装置200の動作を制御するための信号を入力するための入力部である。入力部202の一例として、リモコンから送信される信号の受信部や、装置本体に備え付けられたボタンなどがある。入力部202からの制御信号は、ユーザーIF203に供給される。前記ユーザーIF203は、入力部202からの信号を制御部204に出力する。制御部204は、入力部202の信号に従い、画像受信装置200全体を制御する制御部である。
【0039】
図2は、1フレーム期間の画像データが伝送される有効領域と画像データが伝送されないブランキング期間を示す図である。
【0040】
400で示す領域が垂直期間を示し、垂直期間400は、垂直ブランキング期間401と垂直有効期間402から構成される。VSYNC信号は、垂直ブランキング期間401の先頭から規定されたライン数の間を1とし、その他の垂直ブランキング期間と垂直有効期間402の間は0とした1bitの信号である。規定されたライン数の一例としては、4ラインなどがある。
【0041】
403で示す領域が水平期間を示し、水平期間403は、水平ブランキング期間404と水平有効期間405から構成される。HSYNC信号は、水平ブランキング期間404の先頭から規定された画素数の間を1とし、その他の水平ブランキング期間と水平有効期間405の間は0とした1bitの信号である。規定された画素数の一例としては、40画素がある。
【0042】
有効期間406は、垂直有効期間402と水平有効期間405の期間に囲まれた領域を示し、この期間に画像データが割り当てられる。また、ブランキング期間407は、垂直ブランキング期間401と水平ブランキング期間404の期間に囲まれた領域である。
【0043】
本実施例においては、上記構成において、有効期間406に圧縮画像データと副圧縮符号情報を送信し、ブランキング期間407に主圧縮符号情報を送信する。
【0044】
ブランキング期間407は、音声データやその他の付属データをパケット化したデータを伝送している。
【0045】
この音声データ等のパケットをブランキング期間407で信頼性のあるパケットを送る方法は、例えば特表2005−514873号公報に開示されている。
【0046】
この構成で、ブランキング期間のパケットのデータに対しては誤り訂正符号が入っているため、伝送路で発生したエラーに対して補正ができエラー耐性が強くなる。また、ブランキング期間のパケットのデータ伝送用のデータは、物理的に異なる2つのチャンネルに伝送する構成とし、一定時間ごとに伝送するチャンネルを切り替えているため、片側のチャンネルでバースト的に発生したエラーに対して、他方のチャンネルが影響されないため、データエラーの補正を行うことができる。エラーの訂正率は、水平有効期間が10−9に対して、水平ブランキング期間は10−14の改善効果がある。
【0047】
この例では、有効期間406では1クロック当り24bitの画像データを伝送し、ブランキング期間407では3byteのヘッダと28byteのデータで構成される1パケットを32クロック期間で伝送している。
【0048】
例えば、水平3840有効画素、垂直2160有効ライン、YCbCr輝度色差信号の各12bitを444フォーマット、フレーム周波数60Hzで伝送する場合、891MHzと非常に高いクロック周波数が必要となる。高クロック周波数は送受信部のコストがかかるだけでなく、画像を安定に送ることができるケーブル長も短くなり使い勝手が悪くなる。
【0049】
本実施例によれば、2/3の圧縮で594MHz、1/3の圧縮で297MHzと、実用的なクロック周波数に近づけることができる。また、YCbCr輝度色差信号の各8bitの444フォーマットや、各12bitの422フォーマットにおいては、1/2の圧縮で297MHzの実用的なクロック周波数にすることができる。
【0050】
水平3840有効画素、垂直2160有効ラインにおいて、例えば、水平ブランキング期間は水平560ブランキング画素、垂直ブランキング期間は垂直90ブランキングラインになる。以下、水平3840有効画素、垂直2160有効ライン、YCbCr輝度色差信号の各12bitを444フォーマット、フレーム周波数60Hzの映像信号を1/3に圧縮する場合を例にとって説明する。
【0051】
圧縮後のクロック周波数は297MHzで、水平1940有効画素、垂直2160有効ライン、水平280ブランキング画素、垂直90ブランキングラインという条件で伝送すると、受信側で2倍の周波数である原クロック594MHzを安定に再生しやすい。水平有効画素期間では、1画素当りYCbCr輝度色差信号の各12bit計36bitを1/3の12bitに圧縮すれば、圧縮後の1画素当り24bit伝送できるので原画素の2画素分の伝送が可能となり、圧縮後のクロック周波数は原クロックの半分となる。
【0052】
32クロック当り1パケットが伝送できるので、圧縮後の水平280ブランキング画素では最大8パケットの伝送が可能となる。一方、音声データは1パケット当り24bit×8chの伝送ができる。画像データの水平周波数は135kHz(=60Hz×(2160+90))なので、192kHzサンプルの24bitリニアPCM音声を8ch伝送する場合は1水平ブランキング期間中に最大2パケット必要である。残りの6パケット、168byte(=28byte×6パケット)以内で圧縮符号方式情報を記述できることが望ましい。
【0053】
一方、前述した32画素を単位ブロックとして圧縮する場合、水平3840有効画素なので120ブロック分のYCbCr輝度色差信号の各圧縮符号方式情報、計360個分の記述スペースが必要である。主圧縮符号情報を例えば3bitで表現すると、135byte分の記述スペースとなり、5パケットで伝送できるので、192kHz、8chの大容量音声データ伝送と両立できる。
【0054】
図3と図4は、圧縮処理部114に入力される画像データの一例を示す図である。水平方向にn画素、垂直方向にmラインの輝度信号を示す。色差信号は、444フォーマットの場合、輝度信号と同じフォーマットとなる。画素数n及びライン数mの一例としては、n=1920、m=1080のいわゆるフルHD画像やn=3840、m=2160のいわゆる4k2k画像などがある。
【0055】
ここで、圧縮処理部114で圧縮する画像データの単位ブロック(以下、圧縮ブロックと呼ぶ)を、水平方向l画素と垂直方向k画素とする。図3において、501および502はl=32、k=1の例を示し、同じライン内で連続した32画素のデータで構成する。この画像データの単位で、圧縮処理部114は圧縮を行う。
【0056】
図4において、503および504は、l=16、k=2の例を示し、上下2ライン間で連続する16画素のデータで構成する。この画像データの単位で、圧縮処理部114は圧縮を行う。圧縮処理として、水平圧縮部と垂直圧縮部を有し、垂直方向k画素数(ライン数)が異なるk1とk2(k1<k2)の画像データ単位ブロックを用意し、水平圧縮部がk1の画像データ単位ブロックを、垂直圧縮部134がk2の画像データ単位ブロックを圧縮しても良い。
【0057】
圧縮する画像データの単位の一例として、32画素を例にとって説明したが、64画素や128画素などの単位としてもよい。
【0058】
入力された色差信号が422フォーマットの場合は、色差信号のCb成分とCr成分が1画素ごとに入れ子のデータとなる。例えば4k2k画像においてCb成分とCr成分を合わせてn=3840、m=2160の画像データとして扱ってもよい。一般にCb成分同士、Cr成分同士の相関が高いので、Cb成分とCr成分を分けて、n=1920、m=2160として扱うことにより、同一成分のみで圧縮する画像データの単位ブロックとすることによって、圧縮効率を高めることができる。
【0059】
入力された色差信号が420フォーマットの場合は、色差信号のCb成分とCr成分がY信号4画素に対して1画素分のデータとなる。例えば4k2k画像においてCb成分とCr成分を合わせてn=1920、m=2160の画像データとして扱ってもよい。一般にCb成分同士、Cr成分同士の相関が高いので、Cb成分とCr成分を分けて、n=1920、m=1080として扱うことにより、同一成分のみで圧縮する画像データの単位とすることによって、圧縮効率を高めることができる。
【0060】
圧縮符号情報は、主圧縮符号情報と副圧縮符号情報で構成される。主圧縮符号情報と副圧縮符号情報を元に、圧縮画像データから元の画像データへ伸張処理を行うことができる。
【0061】
主圧縮符号情報だけで、簡易な伸張処理または、一部伸張処理を行うことができる。
【0062】
主圧縮符号情報は、副圧縮符号情報に比べて、よりエラー耐性の高い伝送路で伝送する。本実施例では、有効期間406に圧縮画像データと副圧縮符号情報を伝送し、ブランキング期間407に主圧縮符号情報を伝送する。主圧縮符号情報のブランキング期間407での伝送例として、ライン単位で共通の主圧縮符号情報を垂直ブランキング期間401で伝送し、同一ライン中の圧縮ブロックに対する主圧縮符号情報を水平ブランキング期間404で伝送する方法がある。
【0063】
上記の構成をとることで、伝送エラー率の高い伝送路において、副圧縮符号情報にエラーが発生した場合でも、主圧縮符号情報にエラーが発生する確率は大幅に低下する。このため、伝送エラー率の高い伝送路上で、副圧縮符号情報にエラーが発生した場合、主圧縮符号情報を用いて簡易伸張した画像データまたは一部伸張した画像データをエラー補正に用いることで、表示の乱れを抑制することができる。また、主圧縮符号情報に、圧縮ブロックサイズを含めることで、副圧縮符号情報にエラーが発生した場合、表示の乱れを圧縮ブロック内に抑えることができる。
【0064】
また、圧縮符号情報は、主圧縮符号情報または副圧縮符号情報のみで構成しても良い。
【0065】
圧縮符号情報および圧縮画像データの構成例を図5に示す。
【0066】
本例では、圧縮ブロック600の単位が、サブ圧縮ブロック610、620で構成され、各サブ圧縮ブロック610、620が、画素611、612、613、614および、画素621、622、623、624で構成されている。
【0067】
圧縮後の圧縮ブロックの構成の一例を630に示す。圧縮ブロック630は、圧縮符号情報631と圧縮画像データ632で構成される。圧縮画像データ632は、画素データ611、612、613、614、621、622、623、624を圧縮することで生成される圧縮画像データである。圧縮符号情報631は、圧縮処理で生成される情報である。本構成において、圧縮符号情報を有効期間406で伝送した場合、伝送エラー率の高い場合には圧縮符号情報に対してもエラーが発生する確率が高くなり、結果、圧縮ブロック単位で表示の乱れが発生し易くなるという課題がある。また、圧縮符号情報をブランキング期間407で伝送した場合、有効期間406に比べて伝送可能なデータ量が大幅に少なくなるため、圧縮符号情報量の削減が課題となる。
【0068】
圧縮後の圧縮ブロックの構成の別の一例を640に示す。本例では、圧縮符号情報を主圧縮符号情報641と、副圧縮符号情報642、644の2種類で構成する。圧縮ブロック640は、主圧縮符号情報641と、副圧縮符号情報642および644と、圧縮画像データ643および645で構成される。圧縮画像データ643は、サブ圧縮ブロック610に属する画像データ611、612、613、614を圧縮することで生成される圧縮画像データである。副圧縮符号情報642は、画素データ611、612、613、614に対する圧縮処理で生成される情報である。圧縮画像データ645は、サブ圧縮ブロック620に属する画像データ621、622、623、624を圧縮することで生成される圧縮画像データである。副圧縮符号情報644は、画素データ621、622、623、624に対する圧縮処理で生成される情報である。
【0069】
圧縮後の圧縮ブロックの構成の別の一例を650に示す。本例では、圧縮符号情報を主圧縮符号情報651と、副圧縮符号情報652の2種類で構成する。圧縮ブロック650は、主圧縮符号情報651と、副圧縮符号情報652と、圧縮画像データ653で構成される。圧縮画像データ653は、圧縮ブロック600に含まれる画像データ611、612、613、614、621、622、623、624を圧縮することで生成される圧縮画像データである。主圧縮符号情報651および副圧縮符号情報652は、圧縮ブロック600に対する圧縮処理で生成される情報である。
【0070】
圧縮後の圧縮ブロックの構成の別の一例を660に示す。本例と、圧縮後の圧縮ブロック650との差異は、副圧縮符号情報662が、圧縮後の圧縮ブロック650における副圧縮符号情報652に対してさらに圧縮をかけた情報であるという点である。ここでは図示していないが、主圧縮符号情報651に対して更に圧縮をかけることで、伝送データ量の削減を図っても良い。
【0071】
前記圧縮後の圧縮ブロック640、650、660の構成をとった場合、主圧縮符号情報を、副圧縮符号情報よりエラー耐性の高い伝送路で伝送することで、エラー耐性の高い伝送路に伝送するデータ量を抑えつつ、表示画像(復元画像)に対する伝送エラーの影響を抑えることが可能となる。
【0072】
図6は、図5に示す圧縮後の圧縮ブロック640、650、660に対する伝送タイミングの説明図である。700および702は有効期間406であり、701は水平ブランキング期間404である。710、711、712は有効期間700で伝送される圧縮前の1ライン分の画像データである。本例では、3個の圧縮ブロック710、711、712に対して、圧縮処理を行う。
730は、圧縮ブロック710、711、712に対する圧縮処理で生成される主圧縮符号情報である。731,732,733は、圧縮ブロック710、711、712に対する圧縮処理で生成される圧縮ブロックである。圧縮ブロックは、圧縮画像データと、圧縮処理で生成される副圧縮符号情報で構成される。圧縮後の圧縮ブロック731の構成の一例として、740、750、760を示す。これらは、それぞれ図5に示すサブ圧縮ブロック640、650、660に対応する。
【0073】
主圧縮符号情報730は、有効期間700、702よりもエラー耐性の高い水平ブランキング期間701で伝送する。また、画像データ710に対する圧縮処理で生成される圧縮画像データと副圧縮符号情報で構成される圧縮後の圧縮ブロック731、732、733は、水平ブランキング期間701の次の有効期間702で伝送する。なお、主圧縮符号情報の一部または全てを垂直ブランキング期間401で伝送しても良い。
【0074】
主圧縮符号情報と副圧縮符号情報の一例を、図28を用いて説明する。
【0075】
圧縮ブロック920の単位が水平32画素であり、サブ圧縮ブロック921、922、923、924の単位が8画素である圧縮処理を行う場合を考える。先頭のサブ圧縮ブロック921に対する圧縮符号情報926を主圧縮符号情報とし、それ以外の3個のサブ圧縮ブロックに対する圧縮符号情報927、928、929を副圧縮符号情報とする。
【0076】
主圧縮符号情報は、先頭のサブ圧縮ブロック921に対する圧縮符号情報926と、サブ圧縮ブロック921の伸張処理に用いるその他の圧縮符号情報(例えば、各サブ圧縮ブロックに共通の共通圧縮符号情報925など)で構成される。
【0077】
副圧縮符号情報は、2番目以降のサブ圧縮ブロック922、923、924に対する圧縮符号情報927、928、929で構成される。
【0078】
本例の構成をとることで、伝送エラー率の高い伝送路上で、副圧縮符号情報にエラーが発生した場合、主圧縮符号情報を用いて伸張した、先頭のサブ圧縮ブロックに属する画像データをエラー補正に用いることで、表示の乱れを抑制することができる。エラー補正の一例として、主圧縮符号情報により伸張した各圧縮ブロックの先頭のサブ圧縮ブロックに属する画像データから、エラーが発生したサブ圧縮ブロックに属する補完画像を生成して表示する方法がある。
【0079】
伝送路の一例として、副圧縮符号情報(図28(c))と圧縮部出力(図28(d))を有効期間406で伝送し、主圧縮符号情報を、よりエラー耐性の高い水平ブランキング期間404で伝送する方法がある。
【0080】
主圧縮符号情報と副圧縮符号情報の別の一例を、図27を用いて説明する。
【0081】
圧縮ブロック900の単位が水平32画素であり、サブ圧縮ブロック901、902、903、904の単位が8画素である圧縮処理を行う場合を考える。
【0082】
第一の圧縮部(圧縮部A133)では、サブ圧縮ブロック901、902、903、904に対してサブ圧縮ブロック単位で第一の圧縮処理を行い、サブ圧縮ブロック単位の副圧縮符号情報(第一圧縮符号情報905、906、907、908)と圧縮画像データ(第一圧縮画像データ909、910、911、912)を生成する。第二の圧縮部(圧縮部B134)では、入力された4個のサブ圧縮ブロック単位の圧縮画像データ(第一圧縮画像データ909、910、911、912)に対して、更に第二の圧縮処理を行い、1個の主圧縮符号情報(第二圧縮符号情報914)と圧縮画像データ(第二圧縮画像データ914)と圧縮画像データ(第二の圧縮画像データ915)を生成する。主圧縮符号情報を、副圧縮符号情報(第一圧縮符号情報905、906、907、908)や圧縮画像データ(第二の圧縮画像データ915)の伝送路よりもエラー耐性の高い伝送路で伝送することで、伝送エラー率が高い伝送路においても、サブ圧縮ブロック単位までの伸張処理を行うことができ、エラーの影響範囲をサブ圧縮ブロック範囲内に抑えることが可能となる。
【0083】
第二圧縮符号情報914に加えて、第一圧縮符号情報905、906、907、908で共通な圧縮符号情報913を主圧縮符号情報として伝送することで、更にエラー耐性を高めることができる。
【0084】
圧縮符号情報の別の一例として、例えば圧縮ブロック単位が水平32画素であり、サブ圧縮ブロック単位が8画素であり、サブ圧縮ブロック単位ごとにサイズ情報が付加される圧縮処理を行う場合を考える。サブ圧縮ブロック単位ごとのサイズ情報の総和、すなわち圧縮ブロック単位のサイズ情報を主圧縮符号情報に含め、サブ圧縮ブロック単位ごとにサイズ情報を副圧縮符号情報に含める。主圧縮符号情報を、よりエラー耐性の高い伝送路で伝送することで、伝送エラー率が高い伝送路において、副圧縮符号情報でエラーが発生した場合、主画像符号情報を元に圧縮ブロック単位のサイズを生成し、そのサイズ分、伸張処理を飛ばすことで、次の圧縮ブロックへのエラーの影響を防ぐことができる。
【0085】
エラー耐性の高い伝送路において、伝送可能なデータ量に余裕がある場合には、各サブ圧縮ブロックに対するサイズ情報を全て、主圧縮符号情報として伝送しても良い。この場合、副圧縮符号情報でエラーが発生した場合、主画像符号情報を元にエラーが発生したサブ圧縮ブロックのサイズを生成し、そのサイズ分、伸張処理を行わないことで、他のサブ圧縮ブロックへのエラーの影響を防ぐことができる。
【0086】
図7は、圧縮処理部114の構成の一例を示すブロック図である。
入力部130は、圧縮処理部114へ画像データを入力するための入力部である。
【0087】
入力された画像データは、圧縮部A133、圧縮部B134、圧縮部C135に供給される。
圧縮部A133、圧縮部B134、圧縮部C135は、入力された画像データに対して、それぞれ異なる圧縮処理を行い、圧縮符号情報と圧縮画像データを生成する。なお、制御信号131により指定された圧縮部以外は、圧縮処理を行わないまたは動作クロック自体を止めることで、消費電力を削減することも可能である。
【0088】
圧縮部A133、圧縮部B134、圧縮部C135は、圧縮ブロックを構成する複数の画像データに対して、圧縮を行う圧縮回路により構成される。圧縮方式の一例としては、水平方向にWavelet変換を演算し、その演算結果に対して、符号化した圧縮方式等で構成する。圧縮方式として、アダマール変換や、ランレングス符号化、ハフマン符号化、差分符号化などを適用してもよい。
【0089】
また、別の圧縮方式の一例として、垂直方向の複数の画像データに対して、圧縮を行う圧縮回路により構成される。圧縮方式の一例としては、垂直方向に2ライン分、水平方向に16画素分の画像データを圧縮する画像データの単位ブロックとして、まず垂直方向に対し差分をとり、次に水平方向に差分をとる。その結果に対して符号化する圧縮方式等で構成する。
【0090】
また、別の圧縮方式の一例として、444フォーマットや422フォーマットの色差信号が入力された際に、422フォーマットや420フォーマットに間引く回路により構成される。444フォーマットや422フォーマットが入力された場合、後述する図8で示す圧縮処理部114の構成において、所定の圧縮率を超えた場合には、422フォーマットや420フォーマットへ間引き処理を行っても良い。
【0091】
ここで、圧縮率とは、圧縮前のデータ量と圧縮後のデータ量の比である。例えば、圧縮前のデータ量が100、圧縮後のデータ量が30の場合、圧縮率は30%となる。したがって、高い圧縮率ほど圧縮後のデータ量が多くなり、画質劣化が少ない。
【0092】
図10は、圧縮部A133の構成の一例を示すブロック図である。
【0093】
入力部150は、圧縮部A133へ画像データを入力するための入力部である。
【0094】
入力部151は、圧縮部A133を制御するための制御信号を入力するための入力部である。
【0095】
第一の圧縮部153は、入力された画像データに対して圧縮処理を行い、圧縮符号情報と圧縮画像データを生成するブロックである。第一の圧縮部153で生成された圧縮符号情報は、圧縮符号情報生成部155に供給される。また、第一の圧縮部153で生成された圧縮画像データは選択部156に供給される。
【0096】
圧縮符号情報生成部155は、入力された圧縮符号情報から、主圧縮符号情報と副圧縮符号情報を生成するブロックである。圧縮符号情報生成部155は、生成した主圧縮符号情報と副圧縮符号情報を一時的に記憶するメモリを有してもよい。
【0097】
選択部156は、第一の圧縮部153から供給された圧縮画像データと、圧縮符号情報生成部155から供給された主圧縮符号情報および副圧縮符号情報を選択して出力するブロックである。
【0098】
図11は、圧縮部A133の構成の別の一例を示すブロック図である。
【0099】
入力部160は、圧縮部A133へ画像データを入力するための入力部である。
【0100】
入力部161は、圧縮部A133を制御するための制御信号を入力するための入力部である。
【0101】
第一の圧縮部163は、入力された画像データに対して第一の圧縮処理を行い、副圧縮符号情報と圧縮画像データを生成するブロックである。第一の圧縮部163で生成された副圧縮符号情報は、選択部166に供給される。また、第一の圧縮部163で生成された圧縮画像データは、第二の圧縮部164に供給される。
【0102】
第二の圧縮部164は、入力された圧縮画像データに対して第二の圧縮処理を行い、主圧縮符号情報と圧縮画像データを生成するブロックである。第二の圧縮部164で生成された主圧縮符号情報および圧縮画像データは、選択部166に供給される。
【0103】
選択部166は、第一の圧縮部163から供給された副圧縮符号情報と、第二の圧縮部164から供給された主圧縮符号情報および圧縮画像データを選択して出力するブロックである。
【0104】
本例の構成により、図27で示す2段階の圧縮処理を行うことが可能となる。また、本例では、2つの圧縮部を例にとり説明したが、3段階以上の圧縮部を設けてもよい。
【0105】
以上でその動作を説明してきた圧縮部A133、圧縮部B134、圧縮部C135の出力が、選択部136に供給される。
【0106】
本例では、3つの圧縮部133、134、135を有する圧縮処理部を用いて説明したが、圧縮部が1個または2個だけ有してもよいし、4個以上の圧縮部を有してもよい。
【0107】
選択部136は、圧縮部A133、圧縮部B134、圧縮部C135の内、所定の圧縮率を満たしかつ画質指数の高いものを選択し、エラー訂正符号生成部137に供給する。画質指数とは、例えば、圧縮画像データを復元した画像データと圧縮前の画像データの差異が小さいほど良い値を示す指数がある。圧縮ロスが発生せず、可逆符号化ができた場合が最高値である。画質指数の計算を簡略化するため、圧縮方式別に画質指数の値を用意しておいてもよい。444フォーマットのまま圧縮して圧縮ロスが発生する場合よりも、422フォーマットへ間引き後に可逆符号化できた場合を高い画質指数に定義してもよい。圧縮によって逆にデータ量が増加してしまう場合は、422フォーマットや420フォーマットに間引いて圧縮や、量子化bit数を減らすことによって所定の圧縮率を達成させるが、その間引きや量子bit数減に応じた画質指数を設定する。
【0108】
また、入力部131から入力される制御信号によって、圧縮部A133、圧縮部B134、圧縮部C135の何れか1つの動作を有効にして、その他2つは動作を停止しても良い。この場合、選択部136には、入力部131から、動作が有効である圧縮部を示す制御情報を入力する。選択部136は、該制御情報を元に、動作が有効である圧縮部の出力信号をエラー訂正符号生成部137に出力する。
【0109】
エラー訂正符号生成部136は、圧縮部A133、圧縮部B134、圧縮部C135で圧縮された画像データ(圧縮画像データ)の単位ごとにエラー訂正符号を演算し、圧縮画像データに付加して、メモリ制御部139に出力する。エラー訂正の方式の一つとして、CRC(Cyclic Redundancy Check)方式やパリティチェック方式などがある。
【0110】
データ伝送容量に応じて、エラー訂正符号を付加するか否かを判別しても良い。ケーブルのデータ伝送容量が限られている場合、エラー訂正符号を付与すると画素又は階調をより多く間引くことになり、画面全体の画質劣化につながるためである。伝送容量に余裕があれば圧縮画像データにエラー訂正符号を付加して、エラー耐性を向上させてもよい。圧縮画像データへのエラー訂正付加有無のメタデータを合せて伝送することによって、受信側でエラー訂正処理をするかどうかを判別させてもよい。また、適用する圧縮方式によってエラー訂正処理を変えてエラー耐性レベルを変えてもよいし、どのエラー訂正符号を付与したかを示す情報をメタデータとして加えてもよい。また、エラー訂正処理を行わず、入力データをそのまま出力してもよい。
【0111】
メモリ制御部139は、エラー符号生成部137から供給される圧縮画像データと主圧縮符号情報と副圧縮符号情報を一時的にメモリ部140に蓄積する。また、副圧縮符号情報と圧縮画像データを、メモリ部140から読み出して、有効期間406に出力する。また、主圧縮符号情報をメモリ部140から読み出して、圧縮画像データを出力する有効期間406の直前の水平ブランキング期間404に出力する。また、別の方式としては、1ライン分のエラー訂正符号付の圧縮画像データ、主圧縮符号情報および副圧縮符号情報のいずれも、1ライン分の有効期間406内に伝送して伝送量の増大を図ってもよい。また、エラー訂正符号を主圧縮符号情報に含めて、水平ブランキング期間404に出力することで、エラー訂正の信頼性を向上させてもよい。
【0112】
出力部132は、前記メモリ制御部139からの圧縮画像データと、主圧縮符号情報と、副圧縮符号情報が出力される。図示していないが、図7の各ブロックは、図1の制御部110の制御信号に従ってその動作を制御される。
【0113】
図12は、エラー訂正符号生成部136の構成の一例を示すブロック図である。入力部170には圧縮画像データが入力される。圧縮画像データは、保持部175とエラー訂正符号演算部173に入力される。エラー訂正符号演算部173は、入力された圧縮画像データに対して、生成多項式で巡回演算をする。
生成多項式の一例としては、
(数1)G(X)=X16+X12+X5+1
がある。この生成多項式は、入力された圧縮画像データ中の各ビットにつき排他的論理和をとり巡回演算する。演算の単位は圧縮画像データの単位とする。
【0114】
入力部171は、圧縮画像データが入力されている期間を示す信号が入力され、タイミング生成部174に供給される。タイミング生成部174は、圧縮画像データの有効期間をカウントし圧縮する画像データの単位ブロック分の演算が処理されたことを示す信号をエラー訂正演算結果出力タイミング信号として、データ保持部175に出力する。さらに、タイミング生成回路174は、圧縮画像データの入力期間を示すタイミング信号や、圧縮画像データとエラー訂正符号演算結果を出力するタイミング信号なども合せてデータ保持部175に出力する。
【0115】
データ保持部175は、タイミング生成部174の示すタイミングに従って、エラー訂正符号演算部173の演算結果と圧縮画像データを例えばメモリやフリップフロップ、遅延素子等によって一時的に記憶し、それらを順次、出力部132へ出力する。
【0116】
図13は、データ転送部115の構成の一例を示すブロック図である。
入力部180は、圧縮画像データをシリアライザ部184に出力する。また入力部181は、画像データのクロックが入力され、PLL186と出力部182に出力する。
【0117】
画像データのクロックには、非圧縮画像データの標準的なタイミングフォーマットで使われる画素クロックに同期したクロックを用いる。例えば、非圧縮画像データの画素クロックを2分周したクロックを用いてもよい。この場合、該非圧縮画像データが12bitsの量子化画像データである場合は、クロックで1/2、量子化bit数で8/12となるので、前記した所定の圧縮率は1/3以下を設定する必要がある。クロックは2分周以外に、3/4逓倍や2/3逓倍としてもよい。非圧縮画像データの画素クロックに同期したクロックを圧縮画像データの伝送に使うことにより、受信側で非圧縮画像データを復元する場合に、伝送クロックの2倍や4/3倍、3/2倍などの逓倍したクロックを画素クロックとして使うことにより。復元データのジッタを最小化できる利点がある。
【0118】
PLL186は、入力されたクロックに対して逓倍化もしくは分周したクロックを生成する。逓倍化の一例としては、入力されたクロックの周波数に対して、5倍や10倍などがある。PLL186で生成するクロックは、1種類のクロックとしてもよいし、2種類のクロックとしてもよい。1種類のクロックの例としては、入力されたクロックの10逓倍がある。また2種類のクロックの例としては、データ伝送量を優先した第1のクロック速度と、エラーの発生頻度を下げることを優先した第1のクロック速度より遅い速度の第2のクロック速度のクロックがある。速度の一例としては前記第1のクロック速度を入力クロックの10逓倍、第2のクロック速度を入力クロックの5逓倍などがある。
【0119】
PLL186で生成した逓倍したクロックをシリアライザ部184に出力する。
【0120】
シリアライザ184は、入力されたYCbCr輝度色差信号の圧縮画像データを、10逓倍したクロックで1bitずつシリアル化し、レベル変換部185に出力する。入力部181に入力された1クロックに対して、入力部180に入力されるデータが8bitある場合、該8bitデータを10bitにマッピングしてシリアル化したビットストリームのDC成分を抑圧するTMDS伝送方法などを用いてもよい。出力部176に接続されるケーブルが3本ある場合は、各ケーブル毎に上記シリアル処理を行うことによって、入力クロック当り24bitの圧縮画像データを送ることができる。
【0121】
レベル変換部185は、ケーブル伝送に適した形式の信号を出力部182経由で出力する。
【0122】
図8は、圧縮処理部114の構成の別の一例を示すブロック図である。
【0123】
メモリ制御部142は、エラー符号生成部137から供給される圧縮画像データと主圧縮符号情報と副圧縮符号情報を一時的にメモリ部140に蓄積する。また、副圧縮符号情報と圧縮画像データを、メモリ部140から読み出して、有効期間406に出力する。また、主圧縮符号情報をメモリ部140から読み出して、圧縮画像データを出力する有効期間406の直前の水平ブランキング期間404に出力する。さらに、圧縮画像データを、メモリ部140から読み出して、選択部141へ供給することができる。
【0124】
選択部141は、入力部130から入力される画像データと、メモリ制御部142から供給される圧縮画像データ143のいずれかを選択して、圧縮部A133、圧縮部B134、圧縮部C135に供給するブロックである。また、入力部130から入力される画像データを所定の圧縮部へ出力すると共に、圧縮画像データ143を別の圧縮部へ出力してもよい。本例の構成により、図27で示す2段階の圧縮処理を行うことが可能となる。また、さら3段階以上の圧縮処理を行なってもよい。
【0125】
図9は、圧縮処理部114の構成の別の一例を示すブロック図である。
【0126】
選択部138は、エラー符号生成部137から供給される主圧縮符号情報と副圧縮符号情報をメモリ制御部145に出力し、エラー符号生成部137から供給される圧縮画像データを選択部144に出力する。
【0127】
メモリ制御部145は、選択部138から供給される主圧縮符号情報と副圧縮符号情報を一時的にメモリ部140に蓄積する。また、副圧縮符号情報を、メモリ部140から読み出して、選択部144を介して後述する有効期間406に出力する。また、主圧縮符号情報をメモリ部140から読み出して、選択部144を介して、副圧縮符号情報を出力する有効期間406の直前の水平ブランキング期間404に出力する。
【0128】
選択部144は、選択部138から供給される圧縮画像データと、メモリ制御部145から供給される主圧縮符号情報と副圧縮符号情報を選択して、出力部132に出力するブロックである。
【0129】
本例において、選択部138が、副圧縮符号情報を、圧縮画像データと共に、メモリ制御部145を介さず、直接選択部144に出力してもよい。この場合、メモリ制御部145は主圧縮符号情報に対するメモリ書き込みおよび読み出し処理を行う。本例の構成をとることで、送信機100側のメモリ部140が有するメモリ量を少なく抑えることができる。
【0130】
図14〜図17に主圧縮符号情報の一部を伝送するパケットの一例を示す。
【0131】
図14と図16がパケットのヘッダの一例であり、最初のヘッダブロックHB0に本発明の圧縮符号化伝送方式に関する情報であることを示す共通のヘッダタイプ0Bhを記述する。HB1の各bitとHB2のBit4〜7は将来拡張用として0としている。HB2のBit0〜3に示すEco_Packet#がフレーム内での識別を示している。図15と図17がヘッダに続けて伝送される28byteのデータの一例である。
【0132】
図14のヘッダにおいて、Eco_Packet#は0hを割り当て、図14のヘッダと図15のデータから構成されるパケットが各フレーム内の共通情報(主圧縮符号情報)であることを示す。このパケットは垂直ブランキング期間中に配置され、各画像フレームに少なくとも1回送信される。以下、図15のデータの内容を説明する。
【0133】
Color_Sampleは、カラーサンプル情報を示し、例えば0がYCbCr輝度色差信号で444フォーマット(以後、YCbCr444と呼ぶ)、1がYCbCr輝度色差信号で422フォーマット(以後、YCbCr422と呼ぶ)、2がYCbCr輝度色差信号で420フォーマット(以後、YCbCr420と呼ぶ)、3がRGB信号で444フォーマット(以後、RGB444と呼ぶ)を示し、4〜7は将来拡張用である。422フォーマットや420フォーマットではさらにCbCrのサンプル位置情報を示すBitを追加で割り当ててもよい。
【0134】
Eco_Memは、後述する図16および図17で示す主圧縮符号情報の一部を伝送するパケットを、圧縮画像データを伝送する有効期間406の直前の水平ブランキング期間に伝送する場合には0とし、圧縮画像データを伝送する有効期間406の直後の水平ブランキング期間に伝送する場合には1としている。
【0135】
CDはColor Depthであり、例えば4hは各YCbCr成分8bitの計24bit Color、5hは各YCbCr成分10bitの計30bit Color、6hは各YCbCr成分12bitの計36bit Color、7hは各YCbCr成分16bitの計48bit Colorを示し、その他は将来拡張用である。この定義はHDMIが既定するDeep Color Modeの定義に準じている。
【0136】
Eco_FLMは、フレーム内の全ブロックの圧縮符号方式が同一である場合に1とし、ブロック毎に設定する場合を0としている。1の場合は、後述するEco−CD0とEco−CD1、Eco−CD2にそれぞれY、Cb、Crの圧縮符号方式を記述する。
【0137】
CK_NとCK_Mは、その比(CK_N/CM_M)が、非圧縮画像データの画素クロックと、圧縮後のデータを伝送する通信路のクロック例えばTMDSクロックとの周波数比を示す。例えばCM_N=1でCK_M=2であれば、4k2kの場合の非圧縮画像データの画素クロック594MHzに対して伝送系のTMDSクロックは1/2の297MHzとなる。
【0138】
Eco_Blockは圧縮ブロックを構成する画素数を示している。
【0139】
Eco_CD0〜Eco_CD3は、各画像データ単位ブロックに適用する圧縮符号化情報の候補を4種類示すものである。図18に一例を示すように、圧縮する画像データ単位の圧縮符号情報Eco_Codeから4種類を選択する。
【0140】
図16のヘッダと図17のデータからなるパケットは、各水平ブランキング期間に1個以上伝送される。図16のヘッダ中のEco_Packet#は、各ラインに伝送される本パケットのシリアル番号を示すものであり、1から始まり順次1ずつ増やしていく。
【0141】
Eco_length_0〜Eco_length_39は、有効期間406を伝送する圧縮ブロックのサイズ情報を示している。サイズ情報の一例としては、圧縮ブロックのビットサイズ、バイトサイズがある。また、圧縮ブロックのビットサイズ、バイトサイズの元となる情報でも良い。例えば、圧縮ブロックサイズS_Blockが32bitから64bitまでの2飛びの値をとる場合、以下の式で圧縮ブロックのビットサイズを定義する方法がある。
【0142】
(数2)S_Block=32 +(2×Eco_length_# )(#は0〜39)
上記例では、Eco_length_#は4bitとなる。
【0143】
Eco_length_#は、Y、Cb、Cr毎に規定しても良いし、YとCbとCrの圧縮ブロックサイズを足し合わせた値で規定しても良い。後者の場合、Eco_length_#の伝送量を1/3に削減することができる。
【0144】
圧縮ブロック単位に規定される圧縮符号情報は、副圧縮符号情報として、圧縮画像データと共に、有効期間406中に伝送する。副圧縮符号情報の種類としては、Eco_Error_0〜39やCode_0〜Code_39がある。
【0145】
Eco_Error0〜Eco_Error39は、エラー符号化方式を示している。エラー符号化方式は、エラー訂正符号生成部136において、有効期間406に伝送するデータに対して演算するエラー訂正符号化の方式である。エラー訂正符号化方式の一つとして、CRC(Cyclic Redundancy Check)方式やパリティチェック方式などがある。
【0146】
Code_0〜Code_39は、図15のEco_CD0〜Eco_CD3で記述した4種類の圧縮符号化情報から選択した番号を、各画像データ単位ブロックにおいて、各Y、Cb,Cr成分を順番に記述する。例えば、最初の画像データ単位ブロックのY成分の圧縮符号情報を示すCode_0が1であれば、Eco_CD1を指す。Eco_CD1が10を示していれば、図18から原画像のデータの444フォーマットY成分を差分符号化方式で圧縮したデータであることを示している。
【0147】
図4に示した垂直2ラインを画像データ単位ブロックとする場合は、1ライン目のCode_0が画像データ単位ブロック503の圧縮符号情報を、2ライン目のCode_0が画像データ単位ブロック504の圧縮符号情報を示す。
【0148】
図15のColor_Sampleが444フォーマットを示している場合は、Code_1は、第1画像データ単位ブロックのCbの圧縮符号情報、Code_2は第1画像データ単位のCrの圧縮符号情報、Code_3は第2画像データ単位ブロックのYの圧縮符号情報を示す。Color_Sampleが420フォーマットを示している場合は、Code_1は、第2画像データ単位ブロックのYの圧縮符号情報、Code_2は第1と第2画像データ単位のCb(偶数ラインではCr)の圧縮符号情報、Code_3は第3画像データ単位ブロックのYの圧縮符号情報を示す。Color_Sampleが422フォーマットを示している場合は、Code_1は、第1と第2画像データ単位ブロックのCbの圧縮符号情報、Code_2は第第2画像データ単位のYの圧縮符号情報、Code_3は第1と第2画像データ単位ブロックのCbの圧縮符号情報を示す。
【0149】
また、Code_0が0であれば、Eco_CD0を指し、Eco_CD0が6を示していれば図18から、原画像のデータの444フォーマット各Y、Cb、Cr成分12bitデータを420フォーマット8ビットに間引いていることを示している。この場合は、Y成分のCode_0のみでCbとCrの伝送形態が決まる為、Cb成分を示すCode_1やCr成分を示すCode_2の情報は不要であり、0を記述しておくよい。
【0150】
さて、図1に図示していないが、画像受信装置200には画像受信装置200の性能を示すEDID(Enhanced Extended Display Identification Data)を格納したROMが搭載されている。このROMの中に画像受信装置200が圧縮伸張に対応しているか否かを判別する情報を付加してもよい。これにより、画像伝送装置100は、画像受信装置200のEDIDを格納したROMから、圧縮伸張に対応しているか否かを判別する情報を読出し、対応している装置であれば、圧縮した画像データを伝送し、非対応の装置であれば、圧縮せず従来のサイズで画像を送信することにより、圧縮処理に非対応の画像受信装置とも互換性を保つことができる。また、有効期間406に圧縮符号情報を伝送するためのエラー訂正符号化方式に対応しているか否かを判別する情報を読出し、対応している装置であれば、エラー訂正符号化処理を行い、圧縮符号情報として伝送し、非対応の装置であれば、エラー訂正符号化処理を行わずに送信することにより、圧縮処理に非対応の画像受信装置とも互換性を保つことができる。また、非対応の装置の場合、ブランキング期間407におけるパケットのエラー訂正機能を用いて伝送エラーに対する耐性を高めても良い。また、画像受信装置が圧縮に非対応であり、従来の画像サイズであることや、エラー訂正符号化に非対応の旨を表示部208に表示することにより、ユーザーに通知することがきる。
【0151】
このEDIDの記述例を図19に示す。図19は、HDMI−VSDBと称される領域へ拡張した例を示している。
【0152】
6Byte目のBit2に本実施例の圧縮符号化伝送方式への対応可否を示すEco_transferフラグを設ける。本領域は予約領域として扱われてきたので、非対応のレガシー機器では0と記載されており、対応機器のみ1と記載することによって後方互換性を維持できる。このEco_transferフラグが1の場合、Byte9とByte10の記述が有効となる。
【0153】
Block_64とBlock_128は、圧縮する画像データ単位ブロックの大きさがそれぞれ64画素、128画素に対応することを示すフラグである。画像データ単位ブロックの大きさ32画素は本圧縮画像データ伝送対応における必須モードと定義して、EDID記述スペース節約のため、あえて表記していない。
【0154】
Eco−Code1〜4は、それぞれ、図18に一例を示した圧縮符号化方式、Wavelet変換、ランレングス符号化、ハフマン符号化、差分符号化に対応していることを示すフラグである。
【0155】
CLK_1、CLK_3/4、CLK_1/2は、それぞれ非圧縮画像データクロックに対する、TMDS伝送クロックの周波数が1倍、3/4倍、1/2倍となるモードに対応していることを示すフラグである。
【0156】
Eco_Error_1〜4は、それぞれに規定されたエラー符号化方式に対応している場合には1を、非対応の場合には0となるフラグである。
【0157】
Eco_Memは、主圧縮符号情報が、圧縮画像データを伝送する有効期間406の直前の水平ブランキング期間に伝送する場合に対応している場合には1とし、圧縮画像データを伝送する有効期間406の直後の水平ブランキング期間に伝送する場合には2としている。3は共に対応している場合を示し、0はどちらにも対応していない場合を示す。
【0158】
また、画像伝送装置100を携帯機器として使用する場合に、バッテリー駆動の装置となるため、画像伝送装置100の消費電力が連続使用時間に影響する。この場合、画像データを圧縮して伝送しデータ伝送量を下げ、消費電力を低減できる。この効果は、画像伝送装置100の動作モードとして、例えば「省電力モード」などの機能を付加し、外部から電源が供給されている場合は、非圧縮の画像データで伝送し、バッテリーで駆動されている場合は、画像データを圧縮して伝送することにより、連続使用時間を長く設定することができる。
【0159】
図20は、データ受信処理部205の構成の一例を示すブロック図である。
入力部220は、画像送信装置100のレベル変換部175にて変換された信号をレベル変換部22に出力する。
【0160】
レベル変換部224は、画像送信装置100でレベル変換された信号をデジタル信号に変換しデシリアライザ部225に出力する。レベル変換の一例としては、差動信号のシングルエンド信号への変換がある。
入力部221は、画像送信装置100から出力されたクロックを入力しPLL226に出力する。PLL226は、入力されたクロックの10倍のクロックを生成し、デシリアライザ部225に出力する。またPLL226は、画像受信装置200内で使用する画素クロックを出力部222から出力する。原画像の非圧縮画像データの画素クロックを画像表示装置200内で用いる場合は、入力クロックを図13のパケットデータに基づき、PLL226が(CK_M/CK_N)倍に逓倍したクロックを出力部223から出力する。
【0161】
デシリアライザ部225は、シリアル化されたデータをPLL226からのクロックでパラレル化し、出力部222から出力する。デシリアライザ部225は、10倍のクロックのデータをパラレル化して所定の例えばTMDS復号により8bitパラレルデータとして出力部222から出力する。
【0162】
図21は、伸張処理部206の構成の一例を示すブロック図である。また、図26は、図4に示す圧縮ブロックに対する伸張処理部206の処理概念を示すタイミング説明図である。
入力部230は、伸張処理部206のデータ入力部である。入力部230に入力されるデータには、画像データの同期信号を示すHSYNC(図26(a))およびVSYNCと、有効期間406に圧縮画像データおよび副圧縮符号情報812と814、水平ブランキング期間404に主圧縮符号情報811と813がある。入力部231には復元後の非圧縮画像データの画素クロックや、圧縮画像データクロック等が入力される。
【0163】
HSYNC、VSYNC、圧縮画像データクロックと復元後の非圧縮画像データの画素クロックは、タイミング生成部236に供給される。タイミング生成部236は、入力されたHSYNC、VSYNCによりカウンタを制御し、垂直ブランキング期間401、垂直有効期間402、水平ブランキング期間404、水平有効期間405、有効期間406などのタイミングを始め、伸張処理部内の各ブロックの制御に必要なタイミングを生成し出力する。
【0164】
圧縮符号情報抽出部233は、水平ブランキング期間に送られてくる各画像データ単位ブロックの圧縮符号情報を抽出して圧縮符号情報記憶部234に記憶させる。
【0165】
その記憶期間を図26(c)に示す。主圧縮符号情報811は、続く圧縮画像データ812に対応したデータであるので、同情報を2ライン目の主圧縮符号情報813が来るまでの記憶期間815で十分である。しかし、例えば2ラインの画像データを垂直圧縮させている場合は、垂直伸張用圧縮符号情報816だけは2ライン目の圧縮画像データを伸張させる期間まで保持させる必要がある。
【0166】
水平有効期間内に送られてくる圧縮画像データはエラー訂正部235で伝送系のエラー訂正処理を行う。 エラー訂正部235は、圧縮画像データ単位ごとに、エラー訂正符号生成部137と同じエラー訂正符号を演算する。前記演算結果と圧縮符合情報抽出部233から入力されるエラー訂正符号とを比較し、比較結果が異なっている場合は、エラー訂正処理を行う。エラー訂正処理の一例としては、CRC演算がある。また、エラー検出のみを行い以降の処理でエラーを補間してもよい。
【0167】
入力された圧縮画像データは、伸張部A237、伸張部B238、伸張部C239に供給される。
伸張部A237、伸張部B238、伸張部C239は、圧縮符号情報記憶部234の情報を基に、入力された圧縮画像データに対して、それぞれ異なる伸張処理を行い、伸張された画像データを生成し、選択部261へ出力する。
【0168】
図26(d)(e)は、図4に示す圧縮ブロックに対して、伸張部A237で水平伸張処理、伸張部B238で垂直伸張処理を行った場合の各伸張部の出力データを示す。水平伸張画像データ818および819は伸張部A237の出力データ、垂直伸張画像データ820および821は伸張部B237の出力データを示す。
【0169】
選択部261は、圧縮符号情報記憶部234の情報に基づき、入力部230へ入力される画像データと、伸張部A237の出力と、伸張部B238の出力と、伸張部C239の出力とを適宜選択して、復元画像データ824として、出力部232へ出力する(図26(f))。
【0170】
図25は、図3に示す圧縮ブロックに対して、伸張部A237で水平伸張処理を行った場合の伸張処理部206の処理概念を示すタイミング説明図である。
【0171】
入力部230は、伸張処理部206のデータ入力部である。入力部230に入力されるデータには、画像データの同期信号を示すHSYNC(図26(a))およびVSYNCと、有効期間406に圧縮画像データおよび副圧縮符号情報802と804、水平ブランキング期間404に主圧縮符号情報801と803がある。入力部231には復元後の非圧縮画像データの画素クロックや、圧縮画像データクロック等が入力される。
【0172】
圧縮符号情報抽出部233は、水平ブランキング期間に送られてくる各画像データ単位ブロックの圧縮符号情報を抽出して圧縮符号情報記憶部234に記憶させる。
【0173】
その記憶期間を図25(c)に示す。主圧縮符号情報801は、続く圧縮画像データ802に対応したデータであるので、同情報を2ライン目の主圧縮符号情報803が来るまでの記憶期間805で十分である。
【0174】
入力された圧縮画像データは、伸張部A237にて水平伸張処理されて、伸張された画像データである水平伸張画像データ806および807を生成し、選択部261へ出力する(図25(d))。
【0175】
選択部261は、圧縮符号情報記憶部234の情報に基づき、入力部230へ入力される画像データと、伸張部A237の出力と、伸張部B238の出力と、伸張部C239の出力とを適宜選択して、復元画像データ808および809として、出力部232へ出力する(図25(f))。
【0176】
図22は、伸張処理部206の構成の一例を示すブロック図である。本例は、副圧縮符号情報を、水平ブランキング期間404ではなく、有効期間406内の圧縮画像データと一緒に伝送する方式を採用した場合の伸張処理部の一例である。
【0177】
有効期間406内に送るべきデータが圧縮画像データだけでなく圧縮符号情報も一緒に送る場合、圧縮方式によっては、圧縮画像データの圧縮率を下げざるを得なければならない場合があり、この場合、復元時の画像の画質劣化が大きくなる懸念がある。その対策として、水平ブランキング期間を、音声データ伝送パケット2個分を送れる程度まで縮小し、水平有効期間を広げる。4k2k画像データを非圧縮画像の画素クロック594MHzの半分の297MHzクロックで伝送する場合、実施例1では、水平有効期間1920、水平ブランキング期間280であった。音声パケット2個分の伝送期間と前後のガードバンドを含めて水平ブランキング期間は96程度あればよいので、残り184を水平有効期間を増やせる。水平有効期間1920を約9.5%程度拡大できる効果がある。
【0178】
本例の場合、水平同期信号の位置や幅などが所定の非圧縮画像データの標準タイミングからずれる為、受信側で非圧縮画像データ再生時に、画像データに付与されているSVD(Short Video Descriptor)メタデータを参考にして、標準タイミングフォーマットとなるようタイミングを復元するとよい。
【0179】
図22では、図21と同様な機能を持つブロックには同じ番号を付している。その差異は、エラー訂正回路255の出力部に第2の映像符号情報抽出部250が加わっている点である。
図21の例では、圧縮符号情報抽出部233は垂直ブランキング期間内の圧縮符号情報(図14と図15のパケット)と、水平ブランキング期間内の圧縮符号情報(図16と図17のパケット)を抽出していた。本例では、圧縮符号情報抽出部233は垂直ブランキング期間または水平ブランキング期間に伝送される主圧縮符号情報のみ抽出し、圧縮符号情報記憶部234で記憶する。
【0180】
本例では、圧縮符号情報がブランキング期間内でエラー訂正処理が施されているパケットで送る代わりに、他の圧縮画像データと同様なエラー訂正処理を加えている。このため、第2の圧縮符号情報抽出部250から出力されるエラー訂正部255のエラー訂正処理後の主圧縮符号情報と、圧縮符号情報記憶部234から出力される副圧縮符号情報を、伸張部A237、伸張部B238、伸張部C239、選択部251へ出力している。
【0181】
本例では、圧縮画像データと圧縮符号情報がタイミング的に近接しているので、1水平周期に渡る圧縮符号情報記憶は、フレーム内共通の圧縮符号情報を除いて不要となるので、回路規模を削減できる効果がある。
【0182】
図23は、伸張処理部206の構成の別の一例を示すブロック図である。
【0183】
図23では、図21と同様な機能を持つブロックには同じ番号を付している。その差異は、各伸張部の前段に、選択部260が加わっている点である。
【0184】
選択部261は、圧縮符号情報記憶部234の情報に基づき、入力部230へ入力される画像データと、伸張部A237の出力と、伸張部B238の出力と、伸張部C239の出力とを適宜選択して、出力部232へ出力する。選択部261は、さらに、伸張部A237の出力と、伸張部B238の出力と、伸張部C239の出力のいずれかを選択して、選択部260に出力することができる。本構成の方式を採用することで、入力部230に入力される圧縮画像データに対して、2方式以上の伸張処理を行うことができる。
【0185】
また、図示していないが、伸張部A237の出力と、伸張部B238の出力と、伸張部C239の出力のいずれかを選択して、圧縮符号情報記憶部234に出力してもよい。この構成をとることで、例えば、図5の圧縮された副圧縮符号情報660の伸張処理を行うことができる。
【0186】
図24は、伸張処理部206の構成の別の一例を示すブロック図である。図24では、図22と同様な機能を持つブロックには同じ番号を付している。その差異は、入力部230の後段に記憶部270が加わっている点である。
【0187】
選択部271は、図22で示した選択部251の機能に加えて、選択したデータを記憶部270に出力する機能を有する。記憶部270は、入力部230から入力される主圧縮符号情報、副圧縮符号情報、圧縮画像データ、および選択部271から供給される伸張データを一時的に記憶し、後段のブロックへ供給するブロックである。このような構成とすることで、入力部230に入力されるデータに対して、複数段の伸張処理が可能となる。1段の伸張処理のみの場合には、選択部271から記憶部270へのデータ供給はなくてもよい。
【0188】
この構成をとることで、例えば、図8や図11で示す方法で圧縮された圧縮画像データに対する伸張処理を行うことが可能となる。
【0189】
以上で説明した本実施例によれば、画像伝送装置が伝送する画像データを圧縮して伝送することにより、現在規定している伝送路に、現在規定されている画像サイズより大きなサイズの画像データを伝送することが可能になり、さらに、画像データの伝送領域よりもエラー耐性を高めた領域に、圧縮符号情報の一部である主圧縮符号情報を伝送することによって、エラー耐性が高い圧縮画像伝送を行うことができる。
【0190】
また、現在規定されている画像サイズの画像データを伝送する場合においては、所定時間当たりのデータ伝送量、もしくはデータ伝送クロックを下げることができるため、エラーの発生頻度を下げることができ、且つ、伝送路でのエラーに対して信頼性の高いシステムを構築することができる。
【0191】
また、伝送路でエラーが発生して完全なエラー訂正ができない場合においても、エラーによる画質劣化が目立たないエラー処理を行うシステムを実現することができる。
【符号の説明】
【0192】
100 画像伝送装置
101 入力部
102 入力部
103 入力部
104 入力部
105 チューナ受信処理部
106 ネットワーク受信処理部
107 記録メディア制御部
108 記録メディア
109 ユーザIF部
110 制御部
111 ストリーム制御部
112 デコーダ部
113 表示処理部
114 圧縮処理部
115 データ転送部
116 出力部
191 データバス
192 データバス
193 データバス
200 画像受信装置
201 入力部
202 入力部
203 ユーザIF部
204 制御部
205 データ受信処理部
206 伸張処理部
207 表示処理部
208 表示部
300 ケーブル

【特許請求の範囲】
【請求項1】
画像データを伝送する画像伝送装置であって、
画像データを圧縮する圧縮処理部と、
前記圧縮処理部で圧縮した圧縮画像データを出力する出力部とを有し、
前記出力部は、圧縮画像データを第一の期間と当該第一の期間とは異なる第二の期間とに分けて出力することを特徴とする画像伝送装置。
【請求項2】
画像データを圧縮し伝送する画像伝送装置において、
画像データを圧縮処理して、圧縮画像データと、圧縮処理に関する圧縮符号情報とを生成する圧縮処理部と、
前記圧縮画像データを伝送する第一の期間と、前記第一の期間よりもエラー耐性の高い第二の期間とを切り替えて出力するデータ転送部と、を備え、
前記データ転送部は、前記圧縮符号情報を、前記第一の期間と前記第二の期間とに分けて出力すること
を特徴とする画像伝送装置。
【請求項3】
請求項2に記載の画像伝送装置において、
前記第二の期間が水平ブランキング期間または垂直ブランキング期間であることを特徴とする画像伝送装置
【請求項4】
請求項2に記載の画像伝送装置において、
前記圧縮処理部は、第一の圧縮処理及び当該第一の圧縮処理の後に行われる第二の圧縮処理を行い、
前記データ転送部は、少なくとも前記第二の圧縮処理に関する圧縮符号情報を前記第二の期間に出力することを特徴とする画像伝送装置
【請求項5】
請求項2に記載の画像伝送装置において、
前記圧縮処理部は、前記第一の期間に出力される圧縮符号情報及び第二の期間に出力される圧縮符号情報のうち、少なくともいずれか一方に対して、さらに圧縮処理を行うことを特徴とする画像伝送装置
【請求項6】
圧縮された画像データを受信する画像受信装置において、
第一の期間で圧縮された画像データ及び圧縮処理に関する圧縮符号情報の一部を受信し、第一の期間とは異なる第二の期間で前記圧縮に関する圧縮符号情報の残りを受信する受信部と、
前記受信部で受信した圧縮符号情報に基づいて前記受信部で受信した圧縮された画像データを伸長する伸長部と、を有し、
前記伸長部は、第一の期間で受信した圧縮符号情報にエラーが発生した圧縮ブロックにおいて、第二の期間で受信した圧縮符号情報を用いて前記圧縮された画像データを伸張することを特徴とする画像受信装置。
【請求項7】
画像伝送装置から画像データを伝送する画像伝送方法であって、
画像データを圧縮するステップと、
圧縮した圧縮画像データを出力するステップとを有し、
圧縮画像データを第一の期間と当該第一の期間とは異なる第二の期間とに分けて出力することを特徴とする画像伝送方法。
【請求項8】
画像伝送装置から画像データを伝送する画像伝送方法において、
画像データを圧縮処理して、圧縮画像データと、圧縮処理に関する圧縮符号情報とを生成するステップと、
前記圧縮画像データを伝送する第一の期間と、前記第一の期間よりもエラー耐性の高い第二の期間とを切り替えて出力するステップと、を備え、
前記圧縮符号情報を、前記第一の期間と前記第二の期間とに分けて出力することを特徴とする画像伝送方法。
【請求項9】
画像受信装置で圧縮された画像データを受信する画像受信方法において、
第一の期間で圧縮された画像データ及び圧縮処理に関する圧縮符号情報の一部を受信し、第一の期間とは異なる第二の期間で前記圧縮に関する圧縮符号情報の残りを受信するステップと、
受信した圧縮符号情報に基づいて受信した圧縮された画像データを伸長するステップと、を有し、
第一の期間で受信した圧縮符号情報にエラーが発生した圧縮ブロックにおいて、第二の期間で受信した圧縮符号情報を用いて前記圧縮された画像データを伸張することを特徴とする画像受信方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate