ビデオ画像符号化における適応型補間を用いた、データ送信処理方法およびデータ受信処理方法
【課題】効率的なデータ送信処理方法およびデータ受信処理方法を提供する。
【解決手段】送信機により、１つの画像から第１の解像度の画像データと該第１の解像度より高い第２の解像度の画像データとを形成し、補間によって第１の解像度の画像データから第２の解像度の画像データを求めるための補間パラメータを、第２の解像度の画像データの品質を考慮して、複数の補間パラメータから選択して定め、第１の解像度の画像データと補間により求めることのできるものを除く第２の解像度の画像データと定められた補間パラメータの記述データとを送信し、ここで、補間パラメータは補間のために画像境界でどのように画像データを連続させるかを表す画像境界での補間法則を含む。
【解決手段】送信機により、１つの画像から第１の解像度の画像データと該第１の解像度より高い第２の解像度の画像データとを形成し、補間によって第１の解像度の画像データから第２の解像度の画像データを求めるための補間パラメータを、第２の解像度の画像データの品質を考慮して、複数の補間パラメータから選択して定め、第１の解像度の画像データと補間により求めることのできるものを除く第２の解像度の画像データと定められた補間パラメータの記述データとを送信し、ここで、補間パラメータは補間のために画像境界でどのように画像データを連続させるかを表す画像境界での補間法則を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデータ送信処理方法およびデータ受信処理方法に関する。
【背景技術】
【０００２】
通信システムでは送信局と受信局とのあいだでメッセージが伝送される。通信システムの特別なものとして無線通信システムがある。無線通信システムでは、例えば音声情報、画像情報、ビデオ情報、ショートメッセージサービスＳＭＳ、マルチメディアメッセージングサービスＭＭＳまたは他のデータが電磁波により無線インタフェースを介して送信局と受信局とのあいだで伝送される。これらの送信局および受信局は無線通信システムの具体的な形態に応じて多様に構成でき、例えば加入者無線局、中継局、または、基地局または無線アクセスポイントなどのネットワーク無線装置でありうる。移動無線通信システムの場合、加入者無線局の少なくとも一部は移動無線局である。電磁波の送信は個々の装置に対して設定されている周波数帯域内の搬送波周波数によって行われる。
【０００３】
移動無線通信システムは、例えばＧＳＭ（Global System for Mobile Communication）規格またはＵＭＴＳ（Universal Mobile Telecommunications System）規格に準拠するセルラシステムとして、複数の基地局、これらの基地局を監視および制御する装置およびその他のネットワーク装置などから成るネットワークインフラストラクチャによって構築されていることが多い。このように局所的なシステムを階層的に包括して広域編成されているネットワークのほか、一般に空間的に明確に限定された無線カバーエリアを有する無線ローカルネットワークＷＬＡＮ（Wireless Local Area Network）も存在している。
【０００４】
通信システムにおいて伝送される情報の１つに画像またはビデオがあり、これは画像シーケンスとして扱われる。画像データまたはビデオデータの伝送に必要なデータレートに基づいて、特に無線通信システムでは、画像データまたはビデオデータに適した符号化プロセスが用いられている。このときスケーラブル情報が用いられ、スケーラブル情報の伝送の際には、基本情報およびこの基本情報を補足する情報が伝送される。スケーラブル情報は、受信局が基本情報のみを復号化するか、基本情報および補足情報の一部を復号化するか、または、基本情報および補足情報の全てを復号化しないかに応じて、低減された品質で受信局に存在できる特性を有する。画像データまたはビデオデータのスケーラビリティは複数のスケーリング次元、例えば個々の画像の空間的解像度に関連して定まる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
したがって本発明の基礎とする課題は、効率的なデータ送信処理方法およびデータ受信処理方法を提供することである。また本発明はこうした方法を実行するのに適した装置を提供することも課題とする。
【課題を解決するための手段】
【０００６】
本発明の第１のデータ送信処理方法によれば、送信機により、１つの画像から第１の解像度の画像データと該第１の解像度より高い第２の解像度の画像データとが形成され、補間により第１の解像度の画像データから第２の解像度の画像データを求めるための少なくとも１つの補間パラメータが、第２の解像度の画像データの品質を考慮して、複数の補間パラメータから選択して定められ、第１の解像度の画像データと補間により求めることのできるものを除く第２の解像度の画像データと定められた少なくとも１つの補間パラメータの記述データとが送信され、ここで、少なくとも１つの補間パラメータは補間のために画像境界でどのように画像データを連続させるかを表す画像境界での補間法則を含む。
【０００７】
本発明の第１のデータ受信処理方法によれば、受信機により、画像のうち少なくとも第１の解像度の画像データおよび少なくとも１つの補間パラメータの記述データが受信され、補間により第１の解像度の画像データから該第１の解像度よりも高い第２の解像度の画像データを求めるために、受信された少なくとも１つの補間パラメータの記述データが評価されて、補間のために画像境界でどのように画像データを連続させるかを表す画像境界での補間法則を含む少なくとも１つの補間パラメータが求められ、求められた少なくとも１つの補間パラメータを用いて第１の解像度の画像データから第２の解像度の画像データが求められる。
【図面の簡単な説明】
【０００８】
【図１】無線通信システムの概略図である。
【図２】補間方法の概略図である。
【図３】１つの画像を複数のブロックに分割する様子を示す図である。
【発明を実施するための形態】
【０００９】
有利な実施形態および発展形態は従属請求項に記載されている。
【００１０】
データ処理は有利にはビデオデータすなわち画像シーケンスに対して行われる。画像は複数の画像データ、特に個々のピクセルの有する数値から成る。送信機、有利にはビデオエンコーダまたは画像エンコーダには、少なくとも２つの解像度の画像データが存在する。解像度とはピクセル数を表し、解像度が高いということはより多くのピクセルを有することを意味する。
【００１１】
送信機側では少なくとも１つの補間パラメータが定められる。少なくとも１つの補間パラメータを用いて第１の解像度の画像データから補間により第２の解像度の画像が求められる。少なくとも１つの補間パラメータは、第１の解像度の画像データから第２の解像度の画像データを求めるためのプロトコルまたはプロトコルの具体的な構成を表している。この場合、少なくとも１つの補間パラメータおよび第１の解像度の画像データのほか、第２の解像度の画像データを求めるための他のパラメータも送信することができる。つまり、補間により求められる第２の解像度の画像データは第１の解像度の画像データのみから求められるとは限らない。有利には少なくとも１つの補間パラメータは第２の解像度の画像全体に関連しているが、第２の解像度の画像の所定の領域のみに関連するのであってもよい。さらに、他の領域の画像データは例えば他の補間パラメータによって求められるように送信することもできるし、また補間パラメータを用いずに求められるように送信することもできる。
【００１２】
少なくとも１つの補間パラメータが定められた後、第２の解像度の画像データの少なくとも一部が送信される。ここで送信機は定められた少なくとも１つの補間パラメータを考慮して送信を行う。有利には、少なくとも１つの補間パラメータを用いて補間により求めることのできる画像データは送信されない。送信すべき第２の解像度の画像データの範囲および構造は少なくとも１つの補間パラメータに依存して定められる。
【００１３】
画像データおよび定められた少なくとも１つの補間パラメータの記述データの送信は有利には無線によって行われるが、他の伝送技術によって行われてもよい。有利には、画像データおよび定められた少なくとも１つの補間パラメータの記述データは共通の１つのメッセージとして送信される。これに代えて、画像データと定められた少なくとも１つの補間パラメータの記述データとを個別のメッセージとして送信することもできる。
【００１４】
本発明の有利な実施形態によれば、少なくとも１つの補間パラメータを定めるために複数の補間パラメータからの選択が行われ、選択の際には少なくとも１つの補間パラメータを用いて求められる第２の解像度の画像データの品質が考慮される。少なくとも１つの補間パラメータの選択は所定のアルゴリズム、例えばレートディストーション最適化アルゴリズムにしたがって行われる。
【００１５】
上述した本発明の第１のデータ送信処理方法の実施形態を本発明の第１のデータ受信処理方法の実施形態へ移行させて用いることができる。
【００１６】
本発明の有利な実施形態によれば、少なくとも１つの補間パラメータの記述データは専ら少なくとも１つの補間パラメータに関する情報を含む。
【００１７】
本発明の第２のデータ送信処理方法によれば、送信機側で１つの画像から第１の解像度の画像データと第１の解像度より高い第２の解像度の画像データとが形成され、補間により第１の解像度の画像データから第２の解像度の画像データを求めるための少なくとも１つの補間パラメータが第２の解像度の画像の少なくとも１つの第２の領域に関する情報および／または第１の解像度の画像の少なくとも１つの領域に関する情報が評価されて定められ、少なくとも複数の第１の解像度の画像データおよび第２の解像度の画像データおよび第２の解像度の画像の少なくとも１つの第２の領域に関する情報および／または第１の解像度の画像の少なくとも１つの領域に関する情報が送信され、ここで第２の解像度の画像データの送信は定められた少なくとも１つの補間パラメータに依存して行われる。
【００１８】
上述した本発明の第１のデータ送信処理方法の実施形態を本発明の第２のデータ送信処理方法の実施形態へ移行させて用いることができる。
【００１９】
本発明の第２のデータ送信処理方法では、少なくとも１つの補間パラメータを定めるために、現在観察されている第２の解像度の画像の第１の領域に関連しない情報が評価される。当該の情報は第２の解像度の画像の１つまたは複数の他の領域に関連する。これに加えてまたはこれに代えて、第１の解像度の画像の１つまたは複数の領域に関する情報、すなわち、第１の解像度の画像の第１の領域に関する情報および／または第１の解像度の画像の１つまたは複数の他の領域に関する情報を用いてもよい。
【００２０】
本発明の第２のデータ受信処理方法によれば、受信機側で画像のうち少なくとも第１の解像度の画像データおよび第２の解像度の画像の少なくとも１つの第２の領域に関する情報および／または第１の解像度の画像の少なくとも１つの領域に関する情報が受信され、補間により第１の解像度の画像データから第１の解像度よりも高い第２の解像度の画像データを求めるために、第２の解像度の画像の少なくとも１つの第２の領域に関する情報および／または第１の解像度の画像の少なくとも１つの領域に関する情報が評価されて少なくとも１つの補間パラメータが求められ、求められた少なくとも１つの補間パラメータを用いて第２の解像度の画像の第１の領域の画像データが求められる。
【００２１】
上述した本発明の第２のデータ送信処理方法の実施形態を本発明の第２のデータ受信処理方法の実施形態へ移行させて用いることができる。
【００２２】
本発明の方法の有利な実施形態によれば、第２の解像度の画像の少なくとも１つの第２の領域に関する情報および／または第１の解像度の画像の少なくとも１つの領域に関する情報は、第２の解像度の画像の少なくとも１つの第２の領域に対する補間パラメータ、第１の解像度の画像の少なくとも１つの領域に対する補間パラメータ、第２の解像度の画像の少なくとも１つの第２の領域の復号化結果に依存する第２の解像度の画像の第１の領域の符号化・復号化情報（例えばイントラ符号化モード）、第２の解像度の画像の少なくとも１つの第２の領域のブロックサイズ、第１の解像度の画像の少なくとも１つの領域のブロックサイズ（例えば、動き推定・動き補償のためのブロックサイズまたは周波数領域での画像変換のためのブロックサイズ）、第２の解像度の画像の少なくとも１つの第２の領域の符号化・復号化に関する情報、および／または、第１の解像度の画像の少なくとも１つの領域の符号化・復号化に関する情報（例えばブロックモード）を含む。
【００２３】
本発明の有利な実施形態によれば、少なくとも１つの補間パラメータを求めるために、第２の解像度の画像の少なくとも１つの第２の領域に関する情報および／または第１の解像度の画像の少なくとも１つの領域に関する情報のほか、ビデオデータの要素である各画像間の時間的相関に関する情報も用いられる。
【００２４】
少なくとも１つの補間パラメータはフィルタリングパラメータ、特にフィルタリングの次数および重み、画像領域サイズ、および／または画像境界での補間法則を含む。画像境界での補間法則とは、有利には、補間のために画像境界でどのように画像データを連続させるかを表すものである。
【００２５】
有利には、時機に応じて本発明の第１のデータ送信処理方法と第２のデータ送信処理方法とが適用され、または、１つまたは複数の所定の補間パラメータに応じて本発明の第１のデータ送信処理方法と第２のデータ送信処理方法とが適用される。同様のことが本発明の第１のデータ受信処理方法と第２のデータ受信処理方法とにも当てはまる。
【００２６】
本発明による送信機および受信機は特に本発明による方法を実行するのに適しており、このことは上述した実施形態および発展形態にも当てはまる。このために送信機および受信機は適切な手段を有する。本発明の送信機および受信機は相互に接続された複数の装置により実現することもできる。
【実施例】
【００２７】
以下に本発明を実施例に基づいて詳細に説明する。
【００２８】
図１には、エンコーダＥＮＣＯＤＥＲおよびデコーダＤＥＣＯＤＥＲを含む無線通信システムの概略図が示されている。エンコーダＥＮＣＯＤＥＲはビデオデータＶＩＤＥＯを符号化し、無線によりスケーラブルビデオデータＳＣＡＬＡＢＬＥ ＶＩＤＥＯ ＳＴＲＥＡＭとしてデコーダＤＥＣＯＤＥＲへ送信する。以下ではエンコーダＥＮＣＯＤＥＲとデコーダＤＥＣＯＤＥＲとのあいだの伝送は無線により行われるものとするが、本発明は他の伝送技術にも適用可能である。ビデオシーケンスＶＩＤＥＯのスケーラブル符号化の際には、スケーラブルビデオデータＳＣＡＬＡＢＬＥ ＶＩＤＥＯ ＤＡＴＡにより、解像度ごとに画像を複数回伝送するのではなく、それぞれ異なる解像度の複数の画像を同時に伝送するために、以下に説明するステップが実行される。
【００２９】
まず、ビデオシーケンスＶＩＤＥＯのオリジナル画像がサブサンプリングおよび／またはローパスフィルタリングされ、低解像度の画像すなわち小さいサイズの画像が形成される。図１では、オリジナル画像は４ＣＩＦ（４×Common Intermediate Format）すなわち７０４×５７６ピクセルに相応し、１段低い解像度の画像はＣＩＦ（Common Intermediate Format）すなわち３５２×２８８ピクセルに相応し、さらに１段低い解像度の画像はＱＣＩＦ（Quarter Common Intermediate Format）すなわち１７６×１４４ピクセルに相応する。
【００３０】
４ＣＩＦ，ＣＩＦ，ＱＣＩＦのビデオシーケンスはコーディングステップＣＯＤＩＮＧで個別に符号化される。同じ情報または類似の情報が複数回伝送されるのを回避して符号化効率を高めるために、符号化要素、例えば画像の動きベクトル、ピクセル値、ブロックモードなどのモード情報が１段低い解像度の画像から予測される。つまり、解像度ＱＣＩＦの符号化要素から解像度ＣＩＦの画像の符号化要素が計算され、解像度ＣＩＦの画像の符号化要素から解像度４ＣＩＦの画像の符号化要素が計算される。所定の画像のピクセル値の予測には補間が用いられ、１段低い解像度の画像のピクセル値から観察している解像度の同じ画像のピクセル値が求められる。
【００３１】
予測値は送信機側でどのデータをデコーダＤＥＣＯＤＥＲへ伝送すべきかを定めるために用いられる。すなわちスケーラブルビデオデータＳＣＡＬＡＢＬＥ ＶＩＤＥＯ ＳＴＲＥＡＭは、符号化によって形成された４ＣＩＦビデオシーケンスおよびＣＩＦビデオシーケンスの全体ではなく、規模の低減されたその一部である。なぜならデコーダＤＥＣＯＤＥＲは伝送されなかったデータを予測によって求めることができるからである。エンコーダＥＮＣＯＤＥＲでは画像ごとにまた画像の解像度ごとに異なる補間プロセスが定められており、当該の画像および解像度に関してデコーダＤＥＣＯＤＥＲへ送信すべきデータが使用されている補間プロセスに依存して選択される。受信機側の品質要求および端末機の能力に応じて、デコーダＤＥＣＯＤＥＲはスケーラブルビデオデータＳＣＡＬＡＢＬＥ ＶＩＤＥＯ ＳＴＲＥＡＭの解像度を抽出でき、場合によっては高い解像度の画像の不要な情報を復号化せずに済む。
【００３２】
補間の際には、新たなピクセル値すなわちより高い解像度の画像のピクセル値が、既存のピクセル値すなわち１段低い解像度の画像のピクセル値から求められる。これは一般にフィルタリングを介して行われる。ここでは、計算コストを低減するために、１つの画像に対して水平フィルタリングと垂直フィルタリングとに分解された２次元フィルタリングが行われる。２つのフィルタリングを順次に行ってもよい。
【００３３】
図２には画像サイズを倍化する実施例における１次元フィルタリングが示されている。図２の上方ラインの白丸は低い解像度の画像のピクセルに相応する。低い解像度のピクセルにはまず１つ置きのピクセル位置に値０が補充される。このことは中央ラインの白丸および０を含む丸により表されている。フィルタリングの際に、ピクセル値にはフィルタリング重みが乗算され、重みづけされた各ピクセル値が加算される。図２では重みは−１／１６，０，９／１６，１６／１６，９／１６，０，−１／１６である。低い解像度の画像のピクセル値を重みづけして加算することにより、１段高い解像度の画像の各ピクセル値が図２の下方ラインの×印で表されているように形成される。このプロセスは解像度が高くなるごとに反復され、フィルタ重みはそのつど位置１つぶんずつシフトされる。図２のフィルタ重みの実施例では、低い解像度の画像のピクセル位置にあるピクセル値に対して、低い解像度の画像のピクセル値が高い解像度の画像のピクセル値へ引き渡される。
【００３４】
図２には４タブフィルタリングの様子が示されている。４タブとは４つのフィルタ重み、すなわち具体的には−１／１６，９／１６，９／１６，−１／１６が存在することを表している。別の実施例として、フィルタ重み１／２，１／２を用いる２タブフィルタリングや、フィルタ重み１／３２，−５／３２，２０／３２，２０／３２，−５／３２，１／３２を用いる６タブフィルタリングを行ってもよい。
【００３５】
前述した補間は画像領域全体にわたって行うことができる。ただし画像を複数の領域へ分割し、領域ごとにフィルタリングを行うこともできる。図３には例として１６×１６ピクセルの画像を分割する様子が示されている。この画像は、図示されているように、横長２分割の１６×８ピクセルのブロック、縦長２分割の８×１６ピクセルのブロック、４分割の８×８ピクセルのブロック、横長８分割の８×４ピクセルのブロック、縦長８分割の４×８ピクセルのブロック、または、１６分割の４×４ピクセルのブロックなど、さまざまに分割可能である。
【００３６】
１つの画像または１つのブロックの境界ではフィルタリングの計算に必要なピクセルが画像またはブロックの外に位置している。コンスタントボーダーエクステンション法として知られる手段により、画像の境界部では観察領域の外に位置するピクセルの値を用いて問題を解決することができる。ミラー法として知られる別の手段によれば、画像またはブロックの境界のピクセル値が鏡像化され、鏡像化により形成されたピクセルがフィルタリングの計算に用いられる。
【００３７】
例えば、従来技術の文献H. Schwarz, T. Hinz, D. Marpe, T. Wiegand, "Further improvements of the HHI proposal for SVC CE 1" M11398, Palma, Spanien, Oct. 2004には、エンコーダが種々の画像の時間的相関により定められる画像タイプに依存して受信機に既知の補間プロセスを用いることが説明されている。
【００３８】
本発明によれば、エンコーダＥＮＣＯＤＥＲは、画像ごとにかつ解像度ごとに適切な補間パラメータを選択する。補間パラメータはフィルタリングパラメータ、ブロックサイズ、および画像境界またはブロック境界でピクセル値を形成するための法則である。これらのパラメータは具体的には上述した通りであるが、別のパラメータを用いることもできる。エンコーダＥＮＣＯＤＥＲは上述した補間パラメータのほか、補間の際に利用可能な別のパラメータを選択することもできる。補間パラメータの選択は適応的に行われる。つまり補間パラメータは処理すべき画像または処理すべき画像領域に依存して選択される。基本的には同じタイプの画像に同じ補間パラメータは用いられない。使用される補間パラメータは、同じタイプの画像であっても、実際に送信される画像に応じてフレキシブルに変更される。
【００３９】
適切な補間パラメータを選択するために、有利には、レートディストーション最適化法が行われる。つまり、エンコーダＥＮＣＯＤＥＲは種々の補間パラメータを用いて形成される画像の品質を比較し、当該の補間パラメータを用いた画像の無線伝送に必要なデータレートに関連してこれを設定する。所定のデータレートで最も高品質の画像の得られる補間パラメータ、または、或る程度の画像品質でデータレートが最も低くて済む補間パラメータが使用される。補間パラメータが固定されていた従来技術とは異なり、本発明によれば、同じデータレートできわめて高い品質、または品質に比してきわめて低いデータレートが達成される。
【００４０】
所定の解像度で受信された画像データから１段高い解像度の画像データを補間により求めるためには、エンコーダＥＮＣＯＤＥＲにおいて使用された補間パラメータがデコーダＤＥＣＯＤＥＲに既知となっていなければならない。このために、エンコーダＥＮＣＯＤＥＲは使用した補間パラメータをデコーダＤＥＣＯＤＥＲへ明示的にシグナリングすることができる。明示的なシグナリングにおいては、補間パラメータはページ情報としてデコーダＤＥＣＯＤＥＲへ伝送される。これは従来技術で用いられているシンタクスエレメントから独立に行うことができる。ただし有利には、新たなブロックモードを導入して従来技術で用いられているシンタクスエレメントを拡張し、明示的なシグナリングを行ってもよい。明示的なシグナリングにおいて、エンコーダＥＮＣＯＤＥＲから、使用すべき補間パラメータの記述データとして専ら用いられる情報エレメントが送信される。デコーダＤＥＣＯＤＥＲはこの情報エレメントから明示的かつ直接に使用すべき補間パラメータを取り出すことができる。
【００４１】
明示的なシグナリングに代えてまたはこれに加えて、デコーダＤＥＣＯＤＥＲは使用すべき補間パラメータを他の情報から求めることができる。すなわち、或る画像領域に対する補間パラメータを求めるために、他の画像領域を利用することができる。他のブロックの補間パラメータの利用とは、画像の或るブロックに対する補間パラメータを同じ画像の１つまたは複数の他のブロックの補間パラメータから計算することである。例えばエンコーダＥＮＣＯＤＥＲが画像の少なくとも１つのブロックの補間パラメータをデコーダＤＥＣＯＤＥＲへ報知すれば、デコーダＤＥＣＯＤＥＲはそのブロックの補間パラメータから求めるべきブロックの補間パラメータを計算することができる。
【００４２】
またシグナリングにイントラ符号化モードを利用してもよい。これによりエンコーダＥＮＣＯＤＥＲは、画像の１つまたは複数のブロックの復号化結果が同じ画像の他のブロックの復号化に用いられていることをデコーダＤＥＣＯＤＥＲへ報知できる。これは種々のブロックの補間パラメータに適用可能である。例えば、イントラ符号化モードがデコーダＤＥＣＯＤＥＲに示された場合、画像の第１のブロックの復号化結果が同じ画像の第２のブロックの復号化計算に用いられており、デコーダＤＥＣＯＤＥＲは第１のブロックの補間パラメータを第２のブロックの補間パラメータとして用いることができる。上述のパラメータに加えて、補間パラメータを求めるために、種々の画像の時間的相関の情報が利用される。すなわち、
・符号化すべき領域の動き推定および動き補償のためのブロックサイズ、
・既に符号化された隣接する領域または他の領域の動き推定および動き補償のためのブロックサイズ、
・周波数領域での画像変換に用いられたブロックサイズ、すなわち、高い解像度の画像の符号化すべき領域のピクセルから低い解像度の画像の符号化すべき領域のピクセルへの移行に用いられたブロックサイズ、
・隣接する領域および符号化すべき領域の低い解像度でのブロックモード、
・予測モード
などである。
【００４３】
補間パラメータを求めるために、上述したパラメータの組み合わせを用いることもできる。暗示的なシグナリングにおいては、デコーダＤＥＣＯＤＥＲはその時点で観察されている画像領域の補間パラメータに関連しない情報を受信する。デコーダＤＥＣＯＤＥＲは補間パラメータを求めるために当該の情報を用いる。補間パラメータがデコーダＤＥＣＯＤＥＲに明示的にシグナリングされない場合、エンコーダＥＮＣＯＤＥＲとデコーダＤＥＣＯＤＥＲとは所定の情報から補間パラメータを求めるプロトコルについて同じものを用いなければならない。例えばイントラ符号化モードが補間パラメータの暗示的シグナリングに用いられる場合、エンコーダＥＮＣＯＤＥＲはデコーダＤＥＣＯＤＥＲへ伝送されるイントラ符号化モードから補間パラメータを定め、デコーダＤＥＣＯＤＥＲへ送信すべき画像データを選択する際にこの補間パラメータを用いる。デコーダＤＥＣＯＤＥＲではイントラ符号化モードから補間パラメータを求めるプロトコルが既知であり、デコーダＤＥＣＯＤＥＲはエンコーダＥＮＣＯＤＥＲと同じ補間パラメータを用いることができる。
【００４４】
各補間パラメータを相互に依存させることもできる。例えば領域またはブロックのサイズが小さいとき、次数の小さいフィルタリングを行うと有利である。種々の補間パラメータのあいだに依存関係が存在するのであれば、明示的なシグナリングにおいて全ての補間パラメータを報告しなくて済む。また、１つまたは複数の補間パラメータを固定に維持し、残りの補間パラメータの構成のみをデコーダＤＥＣＯＤＥＲへシグナリングするか、デコーダＤＥＣＯＤＥＲで求めるようにしてもよい。
【００４５】
有利には、補間パラメータの明示的シグナリング方法と補間パラメータの暗示的シグナリング方法との組み合わせがデコーダＤＥＣＯＤＥＲで他の情報から補間パラメータを求めることにより行われる。デコーダＤＥＣＯＤＥＲで補間パラメータを求めることにより必要なページ情報の量が低減され、有効情報の伝送に用いることのできる無線リソースが増大する。暗示的シグナリング方法において他の情報から補間パラメータを求めたことに起因して誤った補間パラメータが得られ、これにより品質が劣化する場合、明示的シグナリング方法によってレートディストーション最適化法を用いて品質を高めることができる。
【技術分野】
【０００１】
本発明はデータ送信処理方法およびデータ受信処理方法に関する。
【背景技術】
【０００２】
通信システムでは送信局と受信局とのあいだでメッセージが伝送される。通信システムの特別なものとして無線通信システムがある。無線通信システムでは、例えば音声情報、画像情報、ビデオ情報、ショートメッセージサービスＳＭＳ、マルチメディアメッセージングサービスＭＭＳまたは他のデータが電磁波により無線インタフェースを介して送信局と受信局とのあいだで伝送される。これらの送信局および受信局は無線通信システムの具体的な形態に応じて多様に構成でき、例えば加入者無線局、中継局、または、基地局または無線アクセスポイントなどのネットワーク無線装置でありうる。移動無線通信システムの場合、加入者無線局の少なくとも一部は移動無線局である。電磁波の送信は個々の装置に対して設定されている周波数帯域内の搬送波周波数によって行われる。
【０００３】
移動無線通信システムは、例えばＧＳＭ（Global System for Mobile Communication）規格またはＵＭＴＳ（Universal Mobile Telecommunications System）規格に準拠するセルラシステムとして、複数の基地局、これらの基地局を監視および制御する装置およびその他のネットワーク装置などから成るネットワークインフラストラクチャによって構築されていることが多い。このように局所的なシステムを階層的に包括して広域編成されているネットワークのほか、一般に空間的に明確に限定された無線カバーエリアを有する無線ローカルネットワークＷＬＡＮ（Wireless Local Area Network）も存在している。
【０００４】
通信システムにおいて伝送される情報の１つに画像またはビデオがあり、これは画像シーケンスとして扱われる。画像データまたはビデオデータの伝送に必要なデータレートに基づいて、特に無線通信システムでは、画像データまたはビデオデータに適した符号化プロセスが用いられている。このときスケーラブル情報が用いられ、スケーラブル情報の伝送の際には、基本情報およびこの基本情報を補足する情報が伝送される。スケーラブル情報は、受信局が基本情報のみを復号化するか、基本情報および補足情報の一部を復号化するか、または、基本情報および補足情報の全てを復号化しないかに応じて、低減された品質で受信局に存在できる特性を有する。画像データまたはビデオデータのスケーラビリティは複数のスケーリング次元、例えば個々の画像の空間的解像度に関連して定まる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
したがって本発明の基礎とする課題は、効率的なデータ送信処理方法およびデータ受信処理方法を提供することである。また本発明はこうした方法を実行するのに適した装置を提供することも課題とする。
【課題を解決するための手段】
【０００６】
本発明の第１のデータ送信処理方法によれば、送信機により、１つの画像から第１の解像度の画像データと該第１の解像度より高い第２の解像度の画像データとが形成され、補間により第１の解像度の画像データから第２の解像度の画像データを求めるための少なくとも１つの補間パラメータが、第２の解像度の画像データの品質を考慮して、複数の補間パラメータから選択して定められ、第１の解像度の画像データと補間により求めることのできるものを除く第２の解像度の画像データと定められた少なくとも１つの補間パラメータの記述データとが送信され、ここで、少なくとも１つの補間パラメータは補間のために画像境界でどのように画像データを連続させるかを表す画像境界での補間法則を含む。
【０００７】
本発明の第１のデータ受信処理方法によれば、受信機により、画像のうち少なくとも第１の解像度の画像データおよび少なくとも１つの補間パラメータの記述データが受信され、補間により第１の解像度の画像データから該第１の解像度よりも高い第２の解像度の画像データを求めるために、受信された少なくとも１つの補間パラメータの記述データが評価されて、補間のために画像境界でどのように画像データを連続させるかを表す画像境界での補間法則を含む少なくとも１つの補間パラメータが求められ、求められた少なくとも１つの補間パラメータを用いて第１の解像度の画像データから第２の解像度の画像データが求められる。
【図面の簡単な説明】
【０００８】
【図１】無線通信システムの概略図である。
【図２】補間方法の概略図である。
【図３】１つの画像を複数のブロックに分割する様子を示す図である。
【発明を実施するための形態】
【０００９】
有利な実施形態および発展形態は従属請求項に記載されている。
【００１０】
データ処理は有利にはビデオデータすなわち画像シーケンスに対して行われる。画像は複数の画像データ、特に個々のピクセルの有する数値から成る。送信機、有利にはビデオエンコーダまたは画像エンコーダには、少なくとも２つの解像度の画像データが存在する。解像度とはピクセル数を表し、解像度が高いということはより多くのピクセルを有することを意味する。
【００１１】
送信機側では少なくとも１つの補間パラメータが定められる。少なくとも１つの補間パラメータを用いて第１の解像度の画像データから補間により第２の解像度の画像が求められる。少なくとも１つの補間パラメータは、第１の解像度の画像データから第２の解像度の画像データを求めるためのプロトコルまたはプロトコルの具体的な構成を表している。この場合、少なくとも１つの補間パラメータおよび第１の解像度の画像データのほか、第２の解像度の画像データを求めるための他のパラメータも送信することができる。つまり、補間により求められる第２の解像度の画像データは第１の解像度の画像データのみから求められるとは限らない。有利には少なくとも１つの補間パラメータは第２の解像度の画像全体に関連しているが、第２の解像度の画像の所定の領域のみに関連するのであってもよい。さらに、他の領域の画像データは例えば他の補間パラメータによって求められるように送信することもできるし、また補間パラメータを用いずに求められるように送信することもできる。
【００１２】
少なくとも１つの補間パラメータが定められた後、第２の解像度の画像データの少なくとも一部が送信される。ここで送信機は定められた少なくとも１つの補間パラメータを考慮して送信を行う。有利には、少なくとも１つの補間パラメータを用いて補間により求めることのできる画像データは送信されない。送信すべき第２の解像度の画像データの範囲および構造は少なくとも１つの補間パラメータに依存して定められる。
【００１３】
画像データおよび定められた少なくとも１つの補間パラメータの記述データの送信は有利には無線によって行われるが、他の伝送技術によって行われてもよい。有利には、画像データおよび定められた少なくとも１つの補間パラメータの記述データは共通の１つのメッセージとして送信される。これに代えて、画像データと定められた少なくとも１つの補間パラメータの記述データとを個別のメッセージとして送信することもできる。
【００１４】
本発明の有利な実施形態によれば、少なくとも１つの補間パラメータを定めるために複数の補間パラメータからの選択が行われ、選択の際には少なくとも１つの補間パラメータを用いて求められる第２の解像度の画像データの品質が考慮される。少なくとも１つの補間パラメータの選択は所定のアルゴリズム、例えばレートディストーション最適化アルゴリズムにしたがって行われる。
【００１５】
上述した本発明の第１のデータ送信処理方法の実施形態を本発明の第１のデータ受信処理方法の実施形態へ移行させて用いることができる。
【００１６】
本発明の有利な実施形態によれば、少なくとも１つの補間パラメータの記述データは専ら少なくとも１つの補間パラメータに関する情報を含む。
【００１７】
本発明の第２のデータ送信処理方法によれば、送信機側で１つの画像から第１の解像度の画像データと第１の解像度より高い第２の解像度の画像データとが形成され、補間により第１の解像度の画像データから第２の解像度の画像データを求めるための少なくとも１つの補間パラメータが第２の解像度の画像の少なくとも１つの第２の領域に関する情報および／または第１の解像度の画像の少なくとも１つの領域に関する情報が評価されて定められ、少なくとも複数の第１の解像度の画像データおよび第２の解像度の画像データおよび第２の解像度の画像の少なくとも１つの第２の領域に関する情報および／または第１の解像度の画像の少なくとも１つの領域に関する情報が送信され、ここで第２の解像度の画像データの送信は定められた少なくとも１つの補間パラメータに依存して行われる。
【００１８】
上述した本発明の第１のデータ送信処理方法の実施形態を本発明の第２のデータ送信処理方法の実施形態へ移行させて用いることができる。
【００１９】
本発明の第２のデータ送信処理方法では、少なくとも１つの補間パラメータを定めるために、現在観察されている第２の解像度の画像の第１の領域に関連しない情報が評価される。当該の情報は第２の解像度の画像の１つまたは複数の他の領域に関連する。これに加えてまたはこれに代えて、第１の解像度の画像の１つまたは複数の領域に関する情報、すなわち、第１の解像度の画像の第１の領域に関する情報および／または第１の解像度の画像の１つまたは複数の他の領域に関する情報を用いてもよい。
【００２０】
本発明の第２のデータ受信処理方法によれば、受信機側で画像のうち少なくとも第１の解像度の画像データおよび第２の解像度の画像の少なくとも１つの第２の領域に関する情報および／または第１の解像度の画像の少なくとも１つの領域に関する情報が受信され、補間により第１の解像度の画像データから第１の解像度よりも高い第２の解像度の画像データを求めるために、第２の解像度の画像の少なくとも１つの第２の領域に関する情報および／または第１の解像度の画像の少なくとも１つの領域に関する情報が評価されて少なくとも１つの補間パラメータが求められ、求められた少なくとも１つの補間パラメータを用いて第２の解像度の画像の第１の領域の画像データが求められる。
【００２１】
上述した本発明の第２のデータ送信処理方法の実施形態を本発明の第２のデータ受信処理方法の実施形態へ移行させて用いることができる。
【００２２】
本発明の方法の有利な実施形態によれば、第２の解像度の画像の少なくとも１つの第２の領域に関する情報および／または第１の解像度の画像の少なくとも１つの領域に関する情報は、第２の解像度の画像の少なくとも１つの第２の領域に対する補間パラメータ、第１の解像度の画像の少なくとも１つの領域に対する補間パラメータ、第２の解像度の画像の少なくとも１つの第２の領域の復号化結果に依存する第２の解像度の画像の第１の領域の符号化・復号化情報（例えばイントラ符号化モード）、第２の解像度の画像の少なくとも１つの第２の領域のブロックサイズ、第１の解像度の画像の少なくとも１つの領域のブロックサイズ（例えば、動き推定・動き補償のためのブロックサイズまたは周波数領域での画像変換のためのブロックサイズ）、第２の解像度の画像の少なくとも１つの第２の領域の符号化・復号化に関する情報、および／または、第１の解像度の画像の少なくとも１つの領域の符号化・復号化に関する情報（例えばブロックモード）を含む。
【００２３】
本発明の有利な実施形態によれば、少なくとも１つの補間パラメータを求めるために、第２の解像度の画像の少なくとも１つの第２の領域に関する情報および／または第１の解像度の画像の少なくとも１つの領域に関する情報のほか、ビデオデータの要素である各画像間の時間的相関に関する情報も用いられる。
【００２４】
少なくとも１つの補間パラメータはフィルタリングパラメータ、特にフィルタリングの次数および重み、画像領域サイズ、および／または画像境界での補間法則を含む。画像境界での補間法則とは、有利には、補間のために画像境界でどのように画像データを連続させるかを表すものである。
【００２５】
有利には、時機に応じて本発明の第１のデータ送信処理方法と第２のデータ送信処理方法とが適用され、または、１つまたは複数の所定の補間パラメータに応じて本発明の第１のデータ送信処理方法と第２のデータ送信処理方法とが適用される。同様のことが本発明の第１のデータ受信処理方法と第２のデータ受信処理方法とにも当てはまる。
【００２６】
本発明による送信機および受信機は特に本発明による方法を実行するのに適しており、このことは上述した実施形態および発展形態にも当てはまる。このために送信機および受信機は適切な手段を有する。本発明の送信機および受信機は相互に接続された複数の装置により実現することもできる。
【実施例】
【００２７】
以下に本発明を実施例に基づいて詳細に説明する。
【００２８】
図１には、エンコーダＥＮＣＯＤＥＲおよびデコーダＤＥＣＯＤＥＲを含む無線通信システムの概略図が示されている。エンコーダＥＮＣＯＤＥＲはビデオデータＶＩＤＥＯを符号化し、無線によりスケーラブルビデオデータＳＣＡＬＡＢＬＥ ＶＩＤＥＯ ＳＴＲＥＡＭとしてデコーダＤＥＣＯＤＥＲへ送信する。以下ではエンコーダＥＮＣＯＤＥＲとデコーダＤＥＣＯＤＥＲとのあいだの伝送は無線により行われるものとするが、本発明は他の伝送技術にも適用可能である。ビデオシーケンスＶＩＤＥＯのスケーラブル符号化の際には、スケーラブルビデオデータＳＣＡＬＡＢＬＥ ＶＩＤＥＯ ＤＡＴＡにより、解像度ごとに画像を複数回伝送するのではなく、それぞれ異なる解像度の複数の画像を同時に伝送するために、以下に説明するステップが実行される。
【００２９】
まず、ビデオシーケンスＶＩＤＥＯのオリジナル画像がサブサンプリングおよび／またはローパスフィルタリングされ、低解像度の画像すなわち小さいサイズの画像が形成される。図１では、オリジナル画像は４ＣＩＦ（４×Common Intermediate Format）すなわち７０４×５７６ピクセルに相応し、１段低い解像度の画像はＣＩＦ（Common Intermediate Format）すなわち３５２×２８８ピクセルに相応し、さらに１段低い解像度の画像はＱＣＩＦ（Quarter Common Intermediate Format）すなわち１７６×１４４ピクセルに相応する。
【００３０】
４ＣＩＦ，ＣＩＦ，ＱＣＩＦのビデオシーケンスはコーディングステップＣＯＤＩＮＧで個別に符号化される。同じ情報または類似の情報が複数回伝送されるのを回避して符号化効率を高めるために、符号化要素、例えば画像の動きベクトル、ピクセル値、ブロックモードなどのモード情報が１段低い解像度の画像から予測される。つまり、解像度ＱＣＩＦの符号化要素から解像度ＣＩＦの画像の符号化要素が計算され、解像度ＣＩＦの画像の符号化要素から解像度４ＣＩＦの画像の符号化要素が計算される。所定の画像のピクセル値の予測には補間が用いられ、１段低い解像度の画像のピクセル値から観察している解像度の同じ画像のピクセル値が求められる。
【００３１】
予測値は送信機側でどのデータをデコーダＤＥＣＯＤＥＲへ伝送すべきかを定めるために用いられる。すなわちスケーラブルビデオデータＳＣＡＬＡＢＬＥ ＶＩＤＥＯ ＳＴＲＥＡＭは、符号化によって形成された４ＣＩＦビデオシーケンスおよびＣＩＦビデオシーケンスの全体ではなく、規模の低減されたその一部である。なぜならデコーダＤＥＣＯＤＥＲは伝送されなかったデータを予測によって求めることができるからである。エンコーダＥＮＣＯＤＥＲでは画像ごとにまた画像の解像度ごとに異なる補間プロセスが定められており、当該の画像および解像度に関してデコーダＤＥＣＯＤＥＲへ送信すべきデータが使用されている補間プロセスに依存して選択される。受信機側の品質要求および端末機の能力に応じて、デコーダＤＥＣＯＤＥＲはスケーラブルビデオデータＳＣＡＬＡＢＬＥ ＶＩＤＥＯ ＳＴＲＥＡＭの解像度を抽出でき、場合によっては高い解像度の画像の不要な情報を復号化せずに済む。
【００３２】
補間の際には、新たなピクセル値すなわちより高い解像度の画像のピクセル値が、既存のピクセル値すなわち１段低い解像度の画像のピクセル値から求められる。これは一般にフィルタリングを介して行われる。ここでは、計算コストを低減するために、１つの画像に対して水平フィルタリングと垂直フィルタリングとに分解された２次元フィルタリングが行われる。２つのフィルタリングを順次に行ってもよい。
【００３３】
図２には画像サイズを倍化する実施例における１次元フィルタリングが示されている。図２の上方ラインの白丸は低い解像度の画像のピクセルに相応する。低い解像度のピクセルにはまず１つ置きのピクセル位置に値０が補充される。このことは中央ラインの白丸および０を含む丸により表されている。フィルタリングの際に、ピクセル値にはフィルタリング重みが乗算され、重みづけされた各ピクセル値が加算される。図２では重みは−１／１６，０，９／１６，１６／１６，９／１６，０，−１／１６である。低い解像度の画像のピクセル値を重みづけして加算することにより、１段高い解像度の画像の各ピクセル値が図２の下方ラインの×印で表されているように形成される。このプロセスは解像度が高くなるごとに反復され、フィルタ重みはそのつど位置１つぶんずつシフトされる。図２のフィルタ重みの実施例では、低い解像度の画像のピクセル位置にあるピクセル値に対して、低い解像度の画像のピクセル値が高い解像度の画像のピクセル値へ引き渡される。
【００３４】
図２には４タブフィルタリングの様子が示されている。４タブとは４つのフィルタ重み、すなわち具体的には−１／１６，９／１６，９／１６，−１／１６が存在することを表している。別の実施例として、フィルタ重み１／２，１／２を用いる２タブフィルタリングや、フィルタ重み１／３２，−５／３２，２０／３２，２０／３２，−５／３２，１／３２を用いる６タブフィルタリングを行ってもよい。
【００３５】
前述した補間は画像領域全体にわたって行うことができる。ただし画像を複数の領域へ分割し、領域ごとにフィルタリングを行うこともできる。図３には例として１６×１６ピクセルの画像を分割する様子が示されている。この画像は、図示されているように、横長２分割の１６×８ピクセルのブロック、縦長２分割の８×１６ピクセルのブロック、４分割の８×８ピクセルのブロック、横長８分割の８×４ピクセルのブロック、縦長８分割の４×８ピクセルのブロック、または、１６分割の４×４ピクセルのブロックなど、さまざまに分割可能である。
【００３６】
１つの画像または１つのブロックの境界ではフィルタリングの計算に必要なピクセルが画像またはブロックの外に位置している。コンスタントボーダーエクステンション法として知られる手段により、画像の境界部では観察領域の外に位置するピクセルの値を用いて問題を解決することができる。ミラー法として知られる別の手段によれば、画像またはブロックの境界のピクセル値が鏡像化され、鏡像化により形成されたピクセルがフィルタリングの計算に用いられる。
【００３７】
例えば、従来技術の文献H. Schwarz, T. Hinz, D. Marpe, T. Wiegand, "Further improvements of the HHI proposal for SVC CE 1" M11398, Palma, Spanien, Oct. 2004には、エンコーダが種々の画像の時間的相関により定められる画像タイプに依存して受信機に既知の補間プロセスを用いることが説明されている。
【００３８】
本発明によれば、エンコーダＥＮＣＯＤＥＲは、画像ごとにかつ解像度ごとに適切な補間パラメータを選択する。補間パラメータはフィルタリングパラメータ、ブロックサイズ、および画像境界またはブロック境界でピクセル値を形成するための法則である。これらのパラメータは具体的には上述した通りであるが、別のパラメータを用いることもできる。エンコーダＥＮＣＯＤＥＲは上述した補間パラメータのほか、補間の際に利用可能な別のパラメータを選択することもできる。補間パラメータの選択は適応的に行われる。つまり補間パラメータは処理すべき画像または処理すべき画像領域に依存して選択される。基本的には同じタイプの画像に同じ補間パラメータは用いられない。使用される補間パラメータは、同じタイプの画像であっても、実際に送信される画像に応じてフレキシブルに変更される。
【００３９】
適切な補間パラメータを選択するために、有利には、レートディストーション最適化法が行われる。つまり、エンコーダＥＮＣＯＤＥＲは種々の補間パラメータを用いて形成される画像の品質を比較し、当該の補間パラメータを用いた画像の無線伝送に必要なデータレートに関連してこれを設定する。所定のデータレートで最も高品質の画像の得られる補間パラメータ、または、或る程度の画像品質でデータレートが最も低くて済む補間パラメータが使用される。補間パラメータが固定されていた従来技術とは異なり、本発明によれば、同じデータレートできわめて高い品質、または品質に比してきわめて低いデータレートが達成される。
【００４０】
所定の解像度で受信された画像データから１段高い解像度の画像データを補間により求めるためには、エンコーダＥＮＣＯＤＥＲにおいて使用された補間パラメータがデコーダＤＥＣＯＤＥＲに既知となっていなければならない。このために、エンコーダＥＮＣＯＤＥＲは使用した補間パラメータをデコーダＤＥＣＯＤＥＲへ明示的にシグナリングすることができる。明示的なシグナリングにおいては、補間パラメータはページ情報としてデコーダＤＥＣＯＤＥＲへ伝送される。これは従来技術で用いられているシンタクスエレメントから独立に行うことができる。ただし有利には、新たなブロックモードを導入して従来技術で用いられているシンタクスエレメントを拡張し、明示的なシグナリングを行ってもよい。明示的なシグナリングにおいて、エンコーダＥＮＣＯＤＥＲから、使用すべき補間パラメータの記述データとして専ら用いられる情報エレメントが送信される。デコーダＤＥＣＯＤＥＲはこの情報エレメントから明示的かつ直接に使用すべき補間パラメータを取り出すことができる。
【００４１】
明示的なシグナリングに代えてまたはこれに加えて、デコーダＤＥＣＯＤＥＲは使用すべき補間パラメータを他の情報から求めることができる。すなわち、或る画像領域に対する補間パラメータを求めるために、他の画像領域を利用することができる。他のブロックの補間パラメータの利用とは、画像の或るブロックに対する補間パラメータを同じ画像の１つまたは複数の他のブロックの補間パラメータから計算することである。例えばエンコーダＥＮＣＯＤＥＲが画像の少なくとも１つのブロックの補間パラメータをデコーダＤＥＣＯＤＥＲへ報知すれば、デコーダＤＥＣＯＤＥＲはそのブロックの補間パラメータから求めるべきブロックの補間パラメータを計算することができる。
【００４２】
またシグナリングにイントラ符号化モードを利用してもよい。これによりエンコーダＥＮＣＯＤＥＲは、画像の１つまたは複数のブロックの復号化結果が同じ画像の他のブロックの復号化に用いられていることをデコーダＤＥＣＯＤＥＲへ報知できる。これは種々のブロックの補間パラメータに適用可能である。例えば、イントラ符号化モードがデコーダＤＥＣＯＤＥＲに示された場合、画像の第１のブロックの復号化結果が同じ画像の第２のブロックの復号化計算に用いられており、デコーダＤＥＣＯＤＥＲは第１のブロックの補間パラメータを第２のブロックの補間パラメータとして用いることができる。上述のパラメータに加えて、補間パラメータを求めるために、種々の画像の時間的相関の情報が利用される。すなわち、
・符号化すべき領域の動き推定および動き補償のためのブロックサイズ、
・既に符号化された隣接する領域または他の領域の動き推定および動き補償のためのブロックサイズ、
・周波数領域での画像変換に用いられたブロックサイズ、すなわち、高い解像度の画像の符号化すべき領域のピクセルから低い解像度の画像の符号化すべき領域のピクセルへの移行に用いられたブロックサイズ、
・隣接する領域および符号化すべき領域の低い解像度でのブロックモード、
・予測モード
などである。
【００４３】
補間パラメータを求めるために、上述したパラメータの組み合わせを用いることもできる。暗示的なシグナリングにおいては、デコーダＤＥＣＯＤＥＲはその時点で観察されている画像領域の補間パラメータに関連しない情報を受信する。デコーダＤＥＣＯＤＥＲは補間パラメータを求めるために当該の情報を用いる。補間パラメータがデコーダＤＥＣＯＤＥＲに明示的にシグナリングされない場合、エンコーダＥＮＣＯＤＥＲとデコーダＤＥＣＯＤＥＲとは所定の情報から補間パラメータを求めるプロトコルについて同じものを用いなければならない。例えばイントラ符号化モードが補間パラメータの暗示的シグナリングに用いられる場合、エンコーダＥＮＣＯＤＥＲはデコーダＤＥＣＯＤＥＲへ伝送されるイントラ符号化モードから補間パラメータを定め、デコーダＤＥＣＯＤＥＲへ送信すべき画像データを選択する際にこの補間パラメータを用いる。デコーダＤＥＣＯＤＥＲではイントラ符号化モードから補間パラメータを求めるプロトコルが既知であり、デコーダＤＥＣＯＤＥＲはエンコーダＥＮＣＯＤＥＲと同じ補間パラメータを用いることができる。
【００４４】
各補間パラメータを相互に依存させることもできる。例えば領域またはブロックのサイズが小さいとき、次数の小さいフィルタリングを行うと有利である。種々の補間パラメータのあいだに依存関係が存在するのであれば、明示的なシグナリングにおいて全ての補間パラメータを報告しなくて済む。また、１つまたは複数の補間パラメータを固定に維持し、残りの補間パラメータの構成のみをデコーダＤＥＣＯＤＥＲへシグナリングするか、デコーダＤＥＣＯＤＥＲで求めるようにしてもよい。
【００４５】
有利には、補間パラメータの明示的シグナリング方法と補間パラメータの暗示的シグナリング方法との組み合わせがデコーダＤＥＣＯＤＥＲで他の情報から補間パラメータを求めることにより行われる。デコーダＤＥＣＯＤＥＲで補間パラメータを求めることにより必要なページ情報の量が低減され、有効情報の伝送に用いることのできる無線リソースが増大する。暗示的シグナリング方法において他の情報から補間パラメータを求めたことに起因して誤った補間パラメータが得られ、これにより品質が劣化する場合、明示的シグナリング方法によってレートディストーション最適化法を用いて品質を高めることができる。
【特許請求の範囲】
【請求項１】
送信機が、
１つの画像から、第１の解像度の画像データと、該第１の解像度より高い第２の解像度の画像データとを形成し、
補間によって第１の解像度の画像データから第２の解像度の画像データを求めるための少なくとも１つの補間パラメータを、第２の解像度の画像データの品質を考慮して、複数の補間パラメータから選択して定め、
第１の解像度の画像データと、補間により求めることのできるものを除く第２の解像度の画像データと、定められた少なくとも１つの補間パラメータの記述データとを送信し、
ここで、少なくとも１つの補間パラメータは補間のために画像境界でどのように画像データを連続させるかを表す画像境界での補間法則を含む
ことを特徴とするデータ送信処理方法。
【請求項２】
受信機が、
画像のうち少なくとも第１の解像度の画像データおよび少なくとも１つの補間パラメータの記述データを受信し、
補間によって第１の解像度の画像データから該第１の解像度よりも高い第２の解像度の画像データを求めるために、受信された少なくとも１つの補間パラメータの記述データを評価して、補間のために画像境界でどのように画像データを連続させるかを表す画像境界での補間法則を含む少なくとも１つの補間パラメータを求め、
求められた少なくとも１つの補間パラメータを用いて第１の解像度の画像データから第２の解像度の画像データを求める
ことを特徴とするデータ受信処理方法。
【請求項１】
送信機が、
１つの画像から、第１の解像度の画像データと、該第１の解像度より高い第２の解像度の画像データとを形成し、
補間によって第１の解像度の画像データから第２の解像度の画像データを求めるための少なくとも１つの補間パラメータを、第２の解像度の画像データの品質を考慮して、複数の補間パラメータから選択して定め、
第１の解像度の画像データと、補間により求めることのできるものを除く第２の解像度の画像データと、定められた少なくとも１つの補間パラメータの記述データとを送信し、
ここで、少なくとも１つの補間パラメータは補間のために画像境界でどのように画像データを連続させるかを表す画像境界での補間法則を含む
ことを特徴とするデータ送信処理方法。
【請求項２】
受信機が、
画像のうち少なくとも第１の解像度の画像データおよび少なくとも１つの補間パラメータの記述データを受信し、
補間によって第１の解像度の画像データから該第１の解像度よりも高い第２の解像度の画像データを求めるために、受信された少なくとも１つの補間パラメータの記述データを評価して、補間のために画像境界でどのように画像データを連続させるかを表す画像境界での補間法則を含む少なくとも１つの補間パラメータを求め、
求められた少なくとも１つの補間パラメータを用いて第１の解像度の画像データから第２の解像度の画像データを求める
ことを特徴とするデータ受信処理方法。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１２−１０３８８（Ｐ２０１２−１０３８８Ａ）
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願番号】特願２０１１−１７９１０７（Ｐ２０１１−１７９１０７）
【出願日】平成２３年８月１８日（２０１１．８．１８）
【分割の表示】特願２００８−５０５８５９（Ｐ２００８−５０５８５９）の分割
【原出願日】平成１８年３月３０日（２００６．３．３０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＧＳＭ
【出願人】（３９００３９４１３）シーメンス アクチエンゲゼルシヤフト (2,104)
【氏名又は名称原語表記】Ｓｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ
【住所又は居所原語表記】Ｗｉｔｔｅｌｓｂａｃｈｅｒｐｌａｔｚ ２， Ｄ−８０３３３ Ｍｕｅｎｃｈｅｎ， Ｇｅｒｍａｎｙ
【Ｆターム（参考）】
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願日】平成２３年８月１８日（２０１１．８．１８）
【分割の表示】特願２００８−５０５８５９（Ｐ２００８−５０５８５９）の分割
【原出願日】平成１８年３月３０日（２００６．３．３０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＧＳＭ
【出願人】（３９００３９４１３）シーメンス アクチエンゲゼルシヤフト (2,104)
【氏名又は名称原語表記】Ｓｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ
【住所又は居所原語表記】Ｗｉｔｔｅｌｓｂａｃｈｅｒｐｌａｔｚ ２， Ｄ−８０３３３ Ｍｕｅｎｃｈｅｎ， Ｇｅｒｍａｎｙ
【Ｆターム（参考）】
[ Back to top ]