1つの画像または一連の画像を符号化し、また復号する方法、対応する装置、コンピュータプログラムおよび信号
本発明は、予め決められたグループ化基準と変換されたブロックを読み取るための予め決められた経路とに従って係数のグループ内に分散された変換ブロックの1セットの係数を含む変換ブロックが各々の画像ブロックに関連している少なくとも2つの画像ブロックに各画像が分割される、1つのデータストリームを生成する1つの画像または一連の画像を符号化する方法に関する。本発明によればこのような方法は、変換されたブロックの各々に関して、少なくとも2つの可能なタイプの中から選択される1シリーズの係数のタイプに基づいて決定されるシリーズであって、少なくとも1グループの係数に対応する1シリーズの係数を符号化するステップと、画像または一連の画像または画像の一部分に関して選択された1シリーズの係数のタイプを表す合図をデータストリームに挿入するステップとを含む。
【発明の詳細な説明】
【技術分野】
【0001】
1.技術分野
本発明の分野は、画像または画像列の符号化および復号の分野である。
【0002】
より具体的には本発明は、1つ以上のブロックへの画像の変換から導き出される1つ以上の画像を表す係数の符号化と復号とに関する。
【0003】
本発明は特に、しかし排他的でなく、複数層または複数レベルの階層構造を有する拡大縮小可能な画像または画像ビデオ列の符号化と復号とに適用され得る。
【0004】
本出願によれば本発明は、層間予測による動き補正された時間的変換と階層化表現とに基づく拡大縮小可能ビデオ符号化に関連して位置付けられる。
【0005】
2.従来技術
簡単・明瞭のために、画像または拡大縮小可能な画像列の符号化と復号とに関する従来技術についてのみ以下に詳述する。
【0006】
2.1 拡大縮小可能ビデオ符号化の一般原理
今日では、データ伝送システムが極めて幅広い種々のタイプのデータアクセスを有する複数のクライアントのために機能するという意味で異種である多くのデータ伝送システムが存在する。このようにして、世界的規模のネットワーク、例えばインターネットは、パソコン(PC)タイプの端末および無線電話の両方からアクセス可能である。より一般的にはネットワークアクセス帯域幅、クライアント端末の処理能力およびそれらのスクリーンのサイズは、ユーザによって大きく変わる。従って例えば第1のクライアントは1024kb/sのADSL(非対称ディジタル加入者線)ビットレートを有する強力なPCからインターネットにアクセスし得るが、第2のクライアントは低いビットレートでモデムに接続されたPDA(パーソナルディジタルアシスタント)タイプの端末から同時に同じデータにアクセスしようと試みる可能性がある。
【0007】
ここで大抵のビデオ符号器は、符号化されたシーケンス全体に対応する単一の圧縮されたストリームを生成する。従って数人のクライアントが復号して観察するためにこの圧縮されたファイルを利用したければ、クライアントは圧縮ファイル全体をダウンロードするか、流し出させるか、しなければならないであろう。
【0008】
従って、ビットレートならびに画像解像度の点からこれら種々のユーザの異なる要件に適応したデータストリームをこれらのユーザに提案することが必要である。この必要性は、特に下記:
UMTS(ユニバーサル移動体通信サービス)(タイプ)無線通信端末、パソコンまたはADSLアクセスを有するテレビ端末などにアクセス可能なビデオオンデマンド(VOD)サービス、
セッション可動性(例えばテレビセット上で開始されたビデオセッションのPDA上での、またはGPRS(一般パケット無線サービス)上で開始されたセッションのUMTS移動体上での続行)、
セッション継続性(帯域幅を新しいアプリケーションと共用することに関連する)、
独自のビデオ符号化が標準精細度SDを有するクライアントならびに高精細HD端末を有するクライアントにサービスすることを可能にすべきである高精細テレビ、
独自の符号化がUMTSアクセスとインターネットアクセスの両方を有するクライアントの要件を満たさなければならないビデオ会議、
など
に関連するアプリケーションのために幅広い種々のアクセスおよび処理能力を有するクライアントにアクセス可能なアプリケーションに関して、益々大きい。
【0009】
これらの種々の要件を満足させるために、適応可能な品質と変化可能な空間・時間解像度とを可能にする拡大縮小可能画像符号化アルゴリズムが開発されてきた。これらの技法では符号器は、複数の層のうちの各層がより高いレベルの層にネストされる(入れ子にされる)階層構造を有する圧縮されたストリームを生成する。例えば第1のデータ層は、PDAタイプの端末によって復号され得る256ビット/秒でストリームを搬送し、第2の相補的データ層は、より強力なパソコンタイプの端末によって第1のストリームに対する相補的ストリームとして復号され得る、より高い解像度を有するストリームを256キロビット/秒で搬送する。この例でこれら2つのネストされた層を搬送するために必要とされるビットレートは、512キロビット/秒である。
【0010】
従ってこの種の符号化アルゴリズムは、拡大縮小可能な数個の層に構成された単一の圧縮されたストリームの生成が種々の特性を有する数人の顧客にサービスできる全てのアプリケーションのために極めて有用である。
【0011】
これらの拡大縮小可能ビデオ符号化アルゴリズムの一部は現在、ITU(国際電気通信連合)とISO(国際標準化機構)との間で設立されたジョイントビデオチーム(JVT)ワーキンググループに関連するMPEG(動画エキスパートグループ)規格によって採用されている。
【0012】
特にJVT SVC(拡大縮小可能ビデオ符号化)ワーキンググループによって最近選ばれたモデルは、JSVM(Joint Scalable Video Model)と呼ばれ、層間予測と階層的B画像への時間的分解とによるAVC(アドバンスドビデオ符号化)タイプのソリューションに基づく拡大縮小可能符号器に基づいている。このモデルは、J.Reichel,M.Wien and H.Schwarzの「Joint Scalable Video Model JSVM−4」2005年10月、ニースによる文献JVT−Q202に、より詳細に記載されている。JVTワーキンググループは特に、時間、空間および品質次元の中間粒子拡大縮小可能性を有するストリームの供給のための規格を提案するという目標を有する。
【0013】
2.2 JSVM符号器
2.2.1 符号器の主な特徴
図1は、ピラミッド構造を有するこの種のJSVM符号器の構造を示す。ビデオ入力成分10は、ダイアディック(2成分)サブサンプリング(2D空間デシメーション、参照符号11)を受ける。
【0014】
それからサブサンプリングされたストリームの各々は、階層的B画像タイプの時間的分解12を受ける。ビデオ列の低解像度バージョンは、低空間解像度r0のための復号可能最大ビットレートに対応する所与のビットレートR r0 maxにまで符号化される(この低解像度バージョンは、ビットレートR r0 maxが得られるまでビットレートR r0 minを有する基本層と向上層に符号化されるが、この基本レベルはAVC適合性がある)。
【0015】
次により高い層は、下記の形式の剰余の符号化によって前の再構成されてオーバーサンプリングされたレベルからの減算によって符号化される。
基本レベル、
この場合としてビットマップのマルチパス符号化によって得られた1つ以上の向上層が存在し得る(以下、微粒子拡大縮小可能性と呼ばれる)。予測剰余は、解像度riに関して復号可能な最大ビットレートに対応するビットレートR ri maxにまで符号化される。
【0016】
特に階層的B画像タイプフィルタリングユニット12は、動き符号化ブロック13〜15に供給される動き情報16と層間予測モジュール18に供給されるテクスチャ情報17とを送達する。層間予測モジュール18から出力された予測データは、信号の精緻化レベルで機能する変換およびエントロピー符号化ブロック20に送られる。このブロック20から来るデータは特に、より低いレベルからの2D空間的補間19を取得するために使用される。最後に多重化モデル21が、一般的な圧縮データストリームに生成された種々のサブストリームを順序付ける。
【0017】
2.2.2.進行性定量化による符号化
JSVM符号器によって使用される符号化技法が進行性定量化技法であることは特に留意され得る。
【0018】
より具体的にはこの技法は第一に、送信されるべきデータを表す種々の係数を第1の粗い定量化ステップによって定量化することにある。それからこれら種々の係数は再構成され、再構成された係数の値と定量化された値との間の差が計算される。
【0019】
それからこの進行性定量化技法に従って、この差は第1のステップより細かい第2の定量化ステップによって定量化される。
【0020】
このようにしてこの手順は、ある一定の数の定量化ステップで繰り返し続けられる。各定量化ステップの結果は「FGS Pass」(FSGパス)と呼ばれる。
【0021】
より具体的には再び、定量化された係数は各定量化ステップで2つのパスにおいて符号化される。
新しい有意の係数、すなわち前の定量化ステップでゼロ値によって符号化された係数を符号化するために使用される第1の有意パス。これらの新しい有意の係数に関して係数の符号とその振幅とが符号化される。
前の定量化ステップで既に有意であった係数の精緻化/符号化を可能にする第2の精緻化パス。これらの係数に関して精緻化値0、+1または−1が符号化される。
【0022】
特に、有意な係数はその符号化値がゼロとは異なる係数であることが想起され得る。
【0023】
1.1.1 FGS層の巡回符号化
JSVMタイプの符号器に関して古典的に符号化される画像は3つの成分を含む。輝度成分と、各々が典型的には輝度成分の1/4サイズである2つのクロミナンス成分(すなわち半分の幅と高さとを有する)。ただ1つの輝度成分を有する画像を処理することも可能であることが想起され得る。
【0024】
古典的にはこれらの画像は、16×16ピクセルのサイズのマクロブロックに細分され、それから各マクロブロックはブロックに再細分される。それから輝度成分に関して、4×4ピクセルブロック、さもなければ8×8ピクセルブロック上で精緻化層の符号化が行われる。クロミナンス成分に関して4×4ピクセルブロック上で精緻化層の符号化が行われる。
【0025】
図2Aを参照すると、符号器ブロックに対して係数の走査の「ジグザグ」順についての説明が与えられている。この順序は、1ブロック内の空間周波数のスケジューリングによって説明され得る。
【0026】
より明確にはブロックの第1の係数は、低い周波数(離散コサイン変換DCTの係数DC)に対応し、そのグループの最も重要な情報の一片を表す。その他の係数は、高い周波数(離散コサイン変換DCTのAC係数)に対応し、これらの高い周波数のエネルギーは水平方向、垂直方向および斜め方向に減少する。
【0027】
このようにして図2Aを参照しながら説明されたジグザグ走査の意味にしたがうと、高い周波数の減少が追跡されることがそれに見られる。従って益々小さくなる、あるいはゼロに等しくさえなる係数を有する高い確率が得られる。
【0028】
より具体的には、係数を符号化するために有意情報について符号化が行われ、係数が有意係数であるか非有意係数であるかどうかを見出し、有意係数であればこの係数の符号と振幅とを見出すことを可能にする。
【0029】
古典的にはこれらの係数の符号化は、範囲内での符号化(すなわち定量化されたゼロ値を有する全ての係数が共にグループ化される符号化)によって行われる。
【0030】
言い換えれば係数の「範囲」を符号化するために第一に、ジグザグ順の全ての残りの非有意係数の有意情報は、新しく有意な係数が得られるまで符号化される。それから新しく有意な係数が符号化される。より具体的には用語「範囲」または「グループ」は、その位置が連続している係数であって、ブロックの先頭または有意係数の位置の後のいずれかから始まり、本発明者らが符号化(または復号)有意パスを考える場合には次の有意係数の後で終了する間隔に含まれる係数の1グループを意味すると理解される。この場合特に、用語「有意グループ」を使用することが可能である。本発明者らが符号化(または復号)精緻化パスを考えるならば、用語「範囲」または「係数のグループ」は、単に精緻化されるべき係数を意味すると理解される。この場合、用語「精緻化グループ」を使用することが可能である。
【0031】
言い換えれば範囲の符号化は、1つの新しく有意な係数の符号化として、また演算が有意パスにある場合にはこの係数の前に置かれた残り全ての非有意係数の符号化として、定義され、また演算が精緻化パスにあれば既に有意な係数の精緻さの符号化の場合として定義される。
【0032】
例えば図2Bに示されたブロックを符号化するために下記の表記法、
係数が有意係数であることを示すためにS;
係数が非有意係数であることを示すためにNS;
ブロックの最後の有意係数が符号化されたか否かを示すためにLS;が使用される。より具体的にはLSは2つの値を取り得る。例えばLS=1であれば、これはこの係数がブロックの最後の有意係数であって、この最後の有意係数の後に位置する全ての係数が非有意であることを意味する。従ってこれら全ての非有意係数の有意性の符号化は回避される。このようにして図2Bを参照すると、符号化は次の通りである。NS、NS、NS、Sは有意係数の符号、有意係数の値(または振幅)、LS、NS、NS、NS、Sは有意係数の符号、有意係数LSの値(または振幅)。
【0033】
ブロックのこの経路における走査の時に前の定量化ステップで(すなわち前の繰り返しで)既に有意であった係数が到達されれば、この有意パスのときにこれらの係数に関して何も符号化されない。
【0034】
文献「Scalable Video Coding Joint Working Draft 4」2005年10月、ニース、Joint Video Team of the ISO/IEC MPEG and ITU−T VCEG,JVT−Q201に定義されたもののような、古典的JSVM符号器における精緻化層の符号化は繰り返し行われることが想起され得る。
【0035】
このようにして各繰り返しにおいて、画像の全てのマクロブロックは走査される。各マクロブロックに関して、全ての輝度ブロックとクロミナンスブロックが走査される。各輝度およびクロミナンスブロックに関して、1つの範囲が古典的技法に従って符号化され、それから演算は次のブロックに進み、以下同様にマクロブロックの全てのブロックに進んで行く。
【0036】
全てのマクロブロックが走査されたとき、演算は各ブロックに関して各ブロックの第2の範囲が符号化される次の繰り返しに進む。このようにして画像の全てのブロックの全ての有意係数が符号化されるまで、繰り返しは続けられる。
【0037】
このように図2Bを参照して説明された例では、ブロックの全ての有意係数を符号化するために2回の繰り返しが必要である。
【0038】
1つの有意係数が符号化されると、この有意係数の前に置かれた非有意係数に対応する数個の係数が実際に符号化されることが発生することは留意されなくてはならない。従って、あるブロックの第2の有意係数の符号化は、ジグザグ順にブロック内の第2の位置に配置された係数に対して符号化が有効に行われることを必ずしも意味しない。同様にあるブロックの符号化されるべきn番目の有意係数は必ずしも、全てのブロックに関して同じ場所に配置される必要はない。
【0039】
最後に、画像の全ての有意係数が符号化されると、精緻化された係数が次の繰り返しで符号化される。
【0040】
画像の各マクロブロックとそれからこのマクロブロックの各輝度ブロックとクロミナンスブロックが走査される。各ブロックに関してブロックの第1の係数が調査される。係数が前の定量化ステップで(すなわち前の繰り返しで)有意であったとすれば、その精緻さが符号化される。さもなければ、何も符号化されない。それから演算は次のブロックに進み、全てのブロックが走査されるまで、以下同様である。
【0041】
次の繰り返しでは、全てのブロックの精緻化されるべき第2の係数の精緻さが符号化される。このようにしてこれらの演算は、精緻化されるべき係数の全ての精緻さが符号化されるまで反復される。
【0042】
この演算はまた、クロミナンスおよび輝度成分の係数の符号化のインタレース(飛び越し走査)の制御を可能にするパラメータを使用する。従って所定の繰り返しに関して輝度係数だけ、あるいは輝度およびクロミナンス係数を符号化することが可能である。
【0043】
従って、繰り返しによるこの符号化技法は、精緻化層の係数をインタレースして、特に精緻化層が切り詰められる場合に画像の再構築のより良好な品質を保証するために使用される。
【0044】
2.3.SVCストリームの構文
今度は図3を参照して本発明者らは、図1の多重化モジュール21の出力で得られたSVCストリームの構造を提示する。
【0045】
符号器の出力における圧縮されたデータストリームは、ユニット各々が時刻Tに対応するアクセスユニットあるいはAUであって、ネットワーク抽象層ユニットあるいはNALUと呼ばれるネットワークに関する1つ以上の基本アクセスデータユニット(パケット)を含むアクセスユニットあるいはAUに構成される。
【0046】
各NALUは空間・時間分解、空間解像度レベルおよび定量化レベルから導き出される1セットのマクロブロック(スライスとも呼ばれる)をグループ化する1つの画像または画像部分と関連していることが想起され得る。基本ユニットにおけるこの構造化は、過渡に大きな空間解像度または時間周波数解像度または符号化品質を有するNALUを除去する際にビットレートおよび/または空間・時間解像度の点から整合を達成するために使用される。
【0047】
より具体的にはここに提示された関連において、画像の各FGSパス(または精緻化層)はNALUに挿入される。
【0048】
このようにして図3は、時刻T0に対応するアクセスユニットAU1 31と時刻T1に対応するAU2 32とを示す。より明確にはアクセスユニットAU31は時刻T0に対応する6個のNALU311〜316を含む。第1のNALU311は、空間レベルS0とFGS/CGSレベルE0とを表す。第2のNALU312は、空間レベルS0とFGS/CGSレベルE1とを表す。最後に、最後のNALU316は、空間レベルS2とFGS/CGSレベルE1とを表す。
【0049】
2.従来技術の欠点
この従来技術の符号化技法の1つの欠点は、目標速度を達成するためにNALUとも呼ばれるパケットの成分データを切り詰めることが必要であり得ることである。
【0050】
ここで精緻化層の係数のインタレースを可能にする繰り返しによって精緻化層を符号化するための古典的技法は、復号器の高い複雑さを意味するが、トレードオフとしてこれは、精緻化層が符号器または伝送のいずれかにおいて切り詰められるときに、ある画像の全てのマクロブロックを順次に処理する方法によるよりも高い再構築品質を与える。
【0051】
実際に各ブロックの係数のインタレース化は復号関係における頻繁な変化を意味し、従ってコンピュータのキャッシュ内に含まれる情報の頻繁な変化は復号のレベルで増加した複雑さを招く。
【0052】
精緻化層の切り詰めは必ずしも必要でないことも留意され得る。
【0053】
実際に、この技法は全ての精緻化層を同じ比率で切り詰めることによって符号化されたストリームのための目標ビットレートを達成するために使用され得るが、文献「JVT−Q081 Layered quality opt of JSVM3 and closed−loop」においてI.Amonou、N.Cammas、S.Kervadec、S.Pateuxによって提示されたように、JSVM符号器の品質レベルの使用は、精緻化層が切り詰められる場合と比較して同時に品質を改善しながら精緻化層を切り詰めることなしに、互いに関する画像の精緻化層の順序付けと目標ビットレートの達成とを可能にする。
【0054】
この関係において繰り返しによる符号化は、いかなる圧縮利得も与えず、より高い複雑さを保つ。
【0055】
3.発明の目標
本発明は特に、従来技術のこれらの欠点を克服することを目標としている。
【0056】
より具体的には、使用される符号化のタイプの関数として復号のレベルに複雑さを適応させる画像および/またはビデオ列を符号化し、また復号する技法を提供することは本発明の目標である。
【0057】
特に、ストリームの層状構成に依存する、拡大縮小可能ビデオ画像および/またはビデオ列の符号化と復号とへの適用に関連して、J.Reichel,M.Wien and H.Schwarzによる文献JVT−Q202、「Joint Scalable Video Model JSVM−4」2005年10月、ニースにおいてJVTワーキンググループによって提案されたJSVMモデル技法の改良であるこの種の技法を提供することは本発明の目標である。
【0058】
画像の切り詰めが必要とされるときに古典的復号の複雑さを保つために、また画像の切り詰めが必要とされないときに復号の複雑さを減らすために、使用され得るこの種の技法を提案することは本発明のもう1つの目標である。
【0059】
実現が簡単であって資源(帯域幅、処理能力など)の点からほとんど費用がかからず、またいかなる特定の複雑さも主要な処理演算も導入しないこの種の技法を提供することも本発明の目標である。
【発明の開示】
【発明が解決しようとする課題】
【0060】
4.発明の要約
これらの目標ならびに以下ここに現れる他のものは、予め決められたグループ化基準と変換されたブロックを読み取るための予め決められた走査経路とに従って係数の1グループ内に、または複数のグループ間に分散された変換ブロックの1セットの係数を含む変換ブロックが各々の画像ブロックに関連している少なくとも2つの画像ブロックに各画像が細分される、1つのデータストリームを生成する1つの画像または一連の画像の符号化のための方法によって達成される。
【課題を解決するための手段】
【0061】
本発明によればこの符号化方法は、変換されるブロックの各々に関して下記のステップ、
この1シリーズの係数が予め決められた数M個のグループの係数を含む第1のタイプのシリーズと、
識別される走査経路における予め決められた最大位置Nに関して、上記シリーズが最大位置Nを含むグループと、存在するのであれば走査経路に沿って先行する全てのグループとを含む第2のタイプのシリーズとを含む少なくとも2つの可能なタイプの中から選択される1シリーズの係数のタイプの関数として決定される、少なくとも1グループの係数に対応する1シリーズの係数を符号化するためのステップと、
画像または一連の画像または画像の一部分に関して選択されたタイプの1シリーズの係数を表す一片の情報のデータストリームへの挿入のステップとを含む。
【0062】
このようにして本発明は、1シリーズの係数のタイプの選択と、選択されたタイプに基づいて決定される1シリーズの係数の符号化と、データストリームの復号のレベルにおいて復号器が符号化するときに使用されるタイプの1シリーズの係数を読み取ってそれ自身を自動的に復号の複雑さを減らすために使用される符号化に適応させることができるように、選択されたシリーズのタイプのデータストリームへの挿入と、への完全に新規な発明的アプローチに依存する。
【0063】
符号化されるべき1シリーズの係数は、第1のタイプのシリーズに従って、予め決められた数M個のグループの係数を含み得る。従ってこのシリーズは、単一グループの係数、または予め決められた数のグループの係数(2より大きいか2に等しい)、または再び、考えられているブロックの全ての係数に対応し得る。
【0064】
第2のタイプの1シリーズの係数によればこのシリーズは、予め決められた読み取り走査経路に従って位置Nに配置された係数を含むグループと、存在するのであれば位置Nに配置された係数を含むグループであって予め決められた読み取り走査経路に従って先行する全てのグループとを含み得る。
【0065】
好都合にもこの読み取り走査経路は、図2Aを参照して説明されたジグザグ経路である。
【0066】
好ましくはデータストリームは、連続する精緻化レベルにおけるネストされたデータ層の階層構造を有し、この符号化方法は繰り返しの各々がこれらのレベルの1つに対応し、符号化ステップを実行する繰り返し符号化を実行する。
【0067】
このようにして本発明は、拡大縮小可能ビデオ信号の符号化に特によく適している。
【0068】
特に第2のタイプのシリーズに関して、
最大位置Nを含むグループを含むシリーズが前の繰り返しで符号化されたときにはこのシリーズは空であり、
最大位置Nを含むグループを含むシリーズが前の繰り返しで符号化されていなかったときにはこのシリーズは、予め決められた最大位置を含むグループと、存在するのであれば前の繰り返しで既に符号化されたシリーズに属さない走査経路に沿って先行する全てのグループとを含む。
【0069】
従って前の繰り返しのときに既に符号化された係数を考慮に入れることは次の繰り返しのときに可能である。従って空のシリーズは、前の繰り返しにおいてこのシリーズに含まれるグループが既に符号化されていたことを示す。
【0070】
本発明の有利な特徴によればこれらの繰り返しの各々は、下記のパス、
有意パスと
精緻化パスとのうちの少なくとも1つを実現し、
符号化ステップは実現される単数または複数のパスに適用され、
実現される単数または複数のパスのタイプを示すパラメータはこのタイプの1シリーズの係数を表す情報に随伴する。
【0071】
従ってストリーム内で種々の情報を符号化することは可能であり、これらの情報は使用される符号化技法に復号器が容易に適応することを可能にし、それによって復号の複雑さを単純にする。
【0072】
特に、パスが有意パスであるときには、予め決められたグループ化基準は、読み取り走査経路に沿って接した第1の有意係数で終了する1セットの連続する非有意係数として1グループを定義する。パスが精緻化パスであるときには、予め決められたグループ化基準は、このグループを一意の有意係数として定義する。
【0073】
好都合にも1シリーズの係数のタイプを表すこの情報は、各繰り返しに関して数Mまたは位置Nの値を定義するベクトルを含む、実施についての1つの情報を伴う。
【0074】
このベクトルは、デフォルト設定によって知られることが可能であり、従って前もって決定されるか、ストリーム内で直接符号化されることが可能である。従ってこのベクトルは、係数の位置Nの定義が各繰り返しで達成されることを可能にする。例えば、このベクトルは、4×4サイズのブロックに関しては[1,3,10,16]に等しく、あるいは8×8サイズのブロックに関しては[3,10,36,64]に等しい。
【0075】
アプリケーションに関するこの情報はまた、符号化される範囲の数を指定し得る(グループの数Mを定義する)。
【0076】
本発明の有利な特徴によればソース画像は、符号化されるべき少なくとも2つの成分に分解され、符号化はこれらの成分の各々に適用される。
【0077】
例えば、ある画像は1つの輝度成分と2つのクロミナンス成分とを含んでおり、符号化はこれら3つの成分の各々に適用される。
【0078】
本発明はまた、予め決められたグループ化基準と変換されたブロックを読み取るための予め決められた走査経路とに従って係数の1グループ内に、または複数のグループ間に分散された変換ブロックの1セットの係数を含む変換ブロックが各々の画像ブロックに関連している少なくとも2つの画像ブロックに各画像が細分される、1つのデータストリームを生成する1つの画像または一連の画像の符号化のための装置に関係している。
【0079】
本発明によればこのような装置は、
この1シリーズの係数が予め決められた数M個のグループの係数を含む第1のタイプのシリーズと、
識別される走査経路における予め決められた最大位置Nに関して、上記シリーズが最大位置Nを含むグループと、存在するのであれば走査経路に沿って先行する全てのグループとを含む第2のタイプのシリーズと、
を含む少なくとも2つの可能なタイプの中から選択される1シリーズの係数のタイプの関数として決定される1シリーズであって、少なくとも1グループの係数に対応する1シリーズの係数を符号化する手段と、
画像または一連の画像または画像の一部分に関して選択された1シリーズの係数のタイプを表す一片の情報のデータストリームへの挿入の手段とを含む。
【0080】
このような装置は特に、前述の符号化方法を実行できる。
【0081】
特にデータストリームは、連続する精緻化レベルにおけるネストされたデータ層の階層構造を有し、符号化手段は、繰り返しの各々がこれらのレベルの1つに対応する(また符号化ステップを実行する)繰り返し符号化を実現することができる。
【0082】
本発明はまた、予め決められたグループ化基準と変換されたブロックを読み取るための予め決められた走査経路とに従って係数の1グループ内に、または複数のグループ間に分散された変換ブロックの1セットの係数を含む変換ブロックが各々の画像ブロックに関連している少なくとも2つの画像ブロックに各画像が細分される1つの画像または一連の画像を表すデータストリームの復号のための方法に関する。
【0083】
本発明によればこのような復号方法は、
この1シリーズの係数が予め決められた数M個のグループの係数を含む第1のタイプのシリーズと、
識別される走査経路における予め決められた最大位置Nに関して、上記シリーズが最大位置Nを含むグループと、存在するのであれば走査経路に沿って先行する全てのグループとを含む第2のタイプのシリーズと、
を含む少なくとも2つの可能なタイプから画像または一連の画像または画像部分に適用される1シリーズの係数のタイプを読み取るステップと、
各変換されたブロックに関して、この読み取りステップによって送達された1シリーズの係数のタイプによる1シリーズの係数を考慮に入れる復号ステップとを含む。
【0084】
このような復号ステップは特に、前述の符号化方法に従って符号化されたデータストリームを受信することに適している。
【0085】
このようにしてデータストリームは連続する精緻化レベルでネストされたデータ層になっている階層構造を有することができる。
【0086】
特に繰り返しの各々がこれらのレベルの1つに対応する繰り返し符号化をこのストリームが受けるならば、第2のタイプのシリーズに関して下記のことを有する。
最大位置Nを含むグループを含むシリーズが前の繰り返しで符号化されたときにはこのシリーズは空である、
最大位置Nを含むグループを含むシリーズが前の繰り返しで符号化されていなかったときにはこのシリーズは、予め決められた最大位置を含むグループと、存在するのであれば前の繰り返しで既に符号化されたシリーズに属さない走査経路に沿った前の全てのグループとを含む。
【0087】
本発明はまた、予め決められたグループ化基準と変換されたブロックを読み取るための予め決められた走査経路とに従って係数の1グループ内に、または複数のグループ間に分散された変換ブロックの1セットの係数を含む変換ブロックが各々の画像ブロックに関連している少なくとも2つの画像ブロックに各画像が細分される1つの画像または1連の画像を表すデータストリームの復号のための装置に関する。
【0088】
本発明によればこのような復号装置は、
この1シリーズの係数が予め決められた数M個のグループの係数を含む第1のタイプのシリーズと、
識別される走査経路における予め決められた最大位置Nに関して、上記シリーズが最大位置Nを含むグループと、存在するのであれば走査経路に沿った全ての先行するグループとを含む第2のタイプのシリーズと、
を含む少なくとも2つの可能なタイプから画像または一連の画像または画像の一部分に適用される1シリーズの係数のタイプを読み取る手段と、
各変換されたブロックに関して、この読み取りステップによって送達されたタイプの1シリーズの係数に従って1シリーズの係数を考慮に入れる復号手段とを含む。
【0089】
このような装置は特に、前述の復号方法を実行できる。その結果としてこの装置は、前述の符号化装置によって符号化されたデータストリームを受信することに適応している。
【0090】
このデータストリームは特に、連続する精緻化レベルにおけるネストされたデータ層の階層構造を有することができる。
【0091】
本発明はまた、予め決められたグループ化基準と変換されたブロックを読み取るための予め決められた走査経路とに従って係数の1グループ内に、または複数のグループ間に分散された変換ブロックの1セットの係数を含む変換ブロックが各々の画像ブロックに関連している少なくとも2つの画像ブロックに各画像が細分される1つの画像または1連の画像を表すデータストリームを表す信号に関する。
【0092】
本発明によればこのような信号は、
このシリーズの係数が予め決められた数M個のグループの係数を含む第1のタイプのシリーズと、
識別される走査経路における予め決められた最大位置Nに関して、上記シリーズが最大位置Nを含むグループと、存在するのであれば走査経路に沿って先行する全てのグループとを含む第2のタイプのシリーズと、
を含む少なくとも2つの可能なタイプから画像または一連の画像または画像部分に適用される、1シリーズの係数のタイプを表す1片の情報を伝達する。
【0093】
このような信号は特に、前述の符号化方法に従って符号化されたデータストリームを含むことができる。この信号は当然のことながら、本発明による符号化方法に関連する種々の特徴を含むことができる。
【0094】
このようにしてこのデータストリームは、連続する精緻化レベルにおけるネストされたデータ層の階層構造を提供することができ、上記ストリームは繰り返し符号化を受け、これらの繰り返しの各々は上記レベルの1つに対応している。この場合、第2のタイプのシリーズに関して、
最大位置Nを含むグループを含むシリーズが前の繰り返しで符号化されていたときにはこのシリーズは空であり、
最大位置Nを含むグループを含むシリーズが前の繰り返しで符号化されていなかったときにはこのシリーズは、予め決められた最大位置を含むグループと、存在するのであれば前の繰り返しで既に符号化されたシリーズに属さない走査経路に沿って先行する全てのグループとを含む。
【0095】
最後に本発明は、通信ネットワークからダウンロード可能な、および/またはコンピュータ可読キャリアに記憶された、および/または前述の符号化方法の実行のためのプログラムコード命令を含むマイクロプロセッサによって実行可能な、コンピュータプログラム製品と、通信ネットワークからダウンロード可能な、および/またはコンピュータ可読キャリアに記憶された、および/または前述の符号化方法の実行のためのプログラムコード命令を含むマイクロプロセッサによって実行可能な、コンピュータプログラム製品とに関する。
【0096】
本発明の他の特徴と利点は、単なる例示的で非網羅的な例として与えられた好ましい実施形態の上記説明から、および下記の付属図面から明らかになるであろう。
【発明を実施するための最良の形態】
【0097】
7.発明の実施形態の説明
本発明の一般的原理は、画像を表す1セットの係数の間の1シリーズの係数であって、少なくとも2つのタイプの中から選択された1シリーズの係数のタイプの関数として決定される、符号化されるべき1シリーズの係数の符号化に依存する。
【0098】
本発明によれば本説明は、例えば離散コサイン変換(DCT)によって、変換ブロックがブロックの各々に関連する少なくとも2つのブロックに細分される画像を考える。説明の単純さと明瞭さのために、用語「ブロック」はここでは、画像の細分化と変換から導き出されるブロックを意味すると理解される。
【0099】
更に簡単化と明瞭さのために、画像または拡大縮小可能な画像列の符号化と復号とを可能にする本発明による単に1つの好ましい実施形態の詳細な説明が、下記に提供される。当業者は、この教示を非拡大縮小可能画像列または画像の符号化と復号とに容易に拡張する。
【0100】
本発明のこの好ましい実施形態による符号化方法は好都合にも、データストリームを生成するネストされたデータ層の階層構造の1レベルを各繰り返しにおいて符号化する繰り返しの方法である。
【0101】
従って各繰り返しにおいて1つの画像(または画像部分)は、1ブロックずつ走査され、これらのブロックのうちの各々のブロックの少なくともある一定の係数は、少なくとも2つの可能なタイプの中から選択された1シリーズの係数のタイプに従って符号化される。
【0102】
本発明のこの好ましい実施形態によればこれらの係数は、新しい有意係数、すなわち前の繰り返し時にゼロ値で符号化された係数の符号化を可能にする有意パスに従って、および/または前の繰り返し時に既に有意であった係数の精緻化/符号化を可能にする精緻化パスに従って、各繰り返し時に1つまたは2つのパスにおいて符号化され得る。
【0103】
用語、係数の「グループ」(または範囲)は、
本発明者らが有意な符号化(または復号)パスを考える場合には、係数の位置が連続している1グループの係数であって、1ブロックの先頭または1有意係数の位置の後のいずれかから始まって次の有意係数の後で終わる間隔に含まれる1グループの係数、
本発明者らが符号化(または復号)精緻化パスを考える場合には、精緻化されるべき単一の係数を意味すると理解される。
【0104】
用語「有意なグループ」は特に、有意なパスのときに得られるグループを指し、用語「精緻化グループ」は、精緻化パスのときに得られるグループを指す。
【0105】
ここで図4を参照して本発明者らは、本発明のこの好ましい実施形態による符号化方法の一般原理を提示する。
【0106】
この好ましい実施形態によれば、入力ビデオ成分41(画像、画像列または画像部分)は第一に、これら成分が少なくとも2つのブロックに細分され、これらのブロックの各々が1セットの係数を含むこのブロックに関連する変換ブロックを有する処理演算42を受ける。
【0107】
次の選択ステップ43のときに、1シリーズの係数のタイプが少なくとも2つの可能なタイプの中から選択される。
【0108】
より具体的には1シリーズの係数のタイプは、Mが予め決められた整数であるM個のグループの係数に1シリーズの係数が対応する第1のタイプと、1シリーズが予め決められた最大位置Nに配置された係数を含むグループと、存在するのであればジグザグな読み取り走査経路に在る、このグループに先行する全てのグループとを含む第2のタイプとを含む数個の可能なタイプの中から選択される。
【0109】
より具体的には、位置Nに局所化された係数を含むグループを含むシリーズが前の繰り返し時に既に符号化されていたときには、現在の繰り返し時に考えられるシリーズはゼロであるということが仮定されている。これに対して、位置Nに局所化された係数を含むグループを含むシリーズが前の繰り返し時にまだ符号化されていなかったときには、現在の繰り返し時に考えられるシリーズは位置Nに配置された係数を含むグループと、存在するのであればジグザグな読み取り走査経路内のこのグループに先行する全てのグループとを含む。
【0110】
このようにして数Nは、考えられているブロック内の位置であって、繰り返しの関数として定義されて、デフォルト設定によって知られストリーム内で符号化されたベクトルによって与えられるジグザグな走査経路が後に続く位置に対応する。例えばこのデフォルトベクトルは、4×4サイズのブロックに関しては[1,3,10,16]に等しく、あるいは8×8サイズのブロックに関しては[3,10,36,64]に等しい。
【0111】
本発明のこの好ましい実施形態によれば、このようにして1シリーズは、
1グループの係数(ここではM=1であるこの符号化は「モード0」で表される)に、または
考えられているブロックの1セットの係数(ここではこの符号化は「モード1」で表される)に、または
繰り返しの関数としての最大位置Nの関数として定義される1セットのグループ(ここではこの符号化は「モード2」で表される)に、または再び
M個のグループの係数(ここではこの符号化は「モード3」で表される)に、対応する。
【0112】
図5A〜5Dは特に、従来技術を参照して説明されたジグザグ順での係数の走査時の1ブロックの係数の符号化のためのこれら種々のシリーズを示す。
【0113】
このようにして図5Aは、「モード0」による第1のタイプの1シリーズの係数の符号化を示す。この場合のシリーズ51は、単一グループを含む。「0」はこの係数が新しく有意な係数ではない(これが前の繰り返しで有意な係数であるとして符号化されたか、あるいはこれが非有意な係数であるとして符号化されてこの現在の繰り返し時に非有意のままに留まっている)ことを意味し、また「1」はこの係数が新しく有意である(これが前の繰り返しにおいて値ゼロで符号化されて、この現在の繰り返しで有意になる)ことを意味することが想起され得る。従ってシリーズ51は、グループ0,0,0,1、係数符号、係数値に対応する。
【0114】
図5Bは、Nを6に等しくする場合の「モード2」による1シリーズの第2のタイプの係数の符号化を示す。シリーズ52は、ブロックのジグザグ経路に沿った位置6(図5Bにおいて521で参照される)に局所化された係数を含むグループと、これらのグループが前の繰り返しで既に符号化された係数を含まなければ、この経路の順序でこのグループに先行するグループとを含む。
【0115】
図5Cは、シリーズ53がM=2としてM個のグループの係数に対応する「モード3」による1シリーズの第1のタイプの符号化を示す。
【0116】
最後に図5Dは、シリーズ54が考えられているブロックの全ての係数に対応する「モード1」による第1のタイプの1シリーズの係数の符号化を示す。
【0117】
図4に戻って、一旦1シリーズの係数のタイプが選択されると、本発明のこの好ましい実施形態による符号化方法は、符号化ステップ44のときに、連続する層の階層構造の第1のレベル(第1の繰り返し)に関して、選択されたタイプの関数として決定される第1のブロックの1シリーズの係数を符号化し、それから第2のブロックを、以下同様に最後のブロック(45)まで符号化する。それからこの演算は、連続する層の階層構造の第2のレベル(第2の繰り返し46)に進み、選択されたタイプの関数として決定される第1のブロックの1シリーズの係数の新しい符号化が行われ、それから第2のブロックの係数、以下同様に第2のレベルの最後のブロック(45)まで符号化が行われる。このようにして階層構造のデータの各層が符号化される。
【0118】
第2のタイプのシリーズに関して最大位置Nを含むグループを含むシリーズが前の繰り返しで符号化されていたならば、このシリーズは空である。さもなければ、このシリーズは予め決められた最大位置を含むグループと、読み取り走査経路に従って先行する全てのグループ(このようなグループが存在すれば)とを含む。モード0とモード3に関しては符号化されるべきいかなるグループももはや残っていなければ、このシリーズは空である。
【0119】
一旦異なるレベルと異なるブロックとが符号化されると、本発明の符号器は、画像に関して、または画像列に関して、または画像の一部分に関して選択された1シリーズの係数のタイプを表す一片の情報が挿入される全データストリーム47を送達する。
【0120】
従って復号器は、選択された1シリーズの係数のタイプを表す情報を読み取ることができ、また特に精緻化層の復号のために使用される符号化モードに自動的に適応できる。従って本発明は、低い複雑さまたは適応できる複雑さの復号を有する可能性を提供する。
【0121】
1シリーズの係数の選択されたタイプを表すこの一片の情報はまた、例えば各繰り返しに関して数Mまたは位置Nの値を定義するベクトルを含む、実施についての一片の情報を伴い得る。
【0122】
従って符号化されたデータストリーム47は、第1に精緻化層の符号化のために特に復号器によって使用される選択された1シリーズの係数のタイプと、第2にこの符号化がモード2(位置Nを定義する際に)を実施するならば各繰り返しで得られる係数の位置を、または符号化がモード3(グループの数Mを定義する際に)を実施するならば符号化されるべき範囲の数を、定義するベクトルに関する1つ以上のビットとを示す2つの情報要素を伝達できる。
【0123】
説明された本発明の好ましい実施形態によればこれらの情報要素は、時間的画像または画像部分(スライスとも呼ばれる)に関するデータパケットのヘッダーにおいて、すなわちこの階層構造の各層のデータパケットのヘッダーにおいてストリーム47に挿入される。
【0124】
更に、ここではbInterlacedSigRefと呼ばれるパラメータをストリーム47に加えることも可能である。このパラメータbInterlacedSigRefは、所与の繰り返しに関して、有意係数のグループおよび/または精緻化係数のグループが符号化されるかどうかを示す。
【0125】
本方法はまた、本方法が符号化されるべき係数のシリーズを決定するために単に第2のタイプのシリーズを使用することに備えることができる点でも注目に値する。
【0126】
本発明の不可欠の部分である付録Aを参照すると、今度は本発明によるストリーム47に挿入された要素がイタリックで示されている拡大縮小可能な画像のヘッダーの構文の一例が示されている。この構文に関連する意味規則は、文献「Scalable Video Coding Joint Working Draft 4」、Joint Video Team (JVT) of the ISO/IEC MPEG and ITU−T VCEG,JVT−Q201,October 2005,Niceに、より明確に説明されている。
【0127】
ここで説明されるのは、単に本発明の好ましい実施形態によるストリーム47に挿入された要素の構造である。
【0128】
【表1】
【0129】
特にフィールドfgs coding modeは、復号器が圧縮されたデータストリームの、特に精緻化層の復号時に読み取ることができる符号化時に選択された1シリーズの係数のタイプを示すために使用される。
【0130】
特に、第1のタイプのシリーズが予め決められた数M個のグループの係数を含む1シリーズの係数を決定し、M=1であればこの符号化は「モード0」と表され;Mが考えられているブロックの係数のセットを含むならばこの符号化は「モード1」で表され;Mが予め決められた整数グループの係数に対応するならばこの符号化は「モード3」と表されることが想起される。
【0131】
第2のタイプのシリーズ(「モード2」)は、位置Nを含むグループと、位置Nを含むグループが前の繰り返しで符号化されていなければ、読み取り走査経路に沿ってこれに先行する全てのグループ(これらが存在すれば)とを含む1シリーズの係数を決定する;なければ、これは空シリーズである。
【0132】
これらの用語を大まかに使用して表記「モード0」、「モード1」、「モード2」および「モード3」もまた、対応する復号モードを表す。
【0133】
従ってフィールドfgs coding modeが値0を取るならば、それはこの符号化が「モード0」タイプによる第1のタイプのシリーズの係数に従って行われることを意味し、従って復号が各繰り返しにおいてこれらのブロックの各ブロックに関して1ブロックごとに1グループの復号を可能にしなければならないことを意味する。
【0134】
値1は、この符号化が「モード1」による第1のタイプのシリーズの係数に従って行われることを示し、従って復号が1つの繰り返しにおいて各ブロックの全ての係数の復号を可能にしなければならないことを示す。この「モード1」は、1ブロックの有意タイプおよび/または精緻化タイプのこれら全てのグループが1つの繰り返しで復号される精緻化層の低い複雑さの復号に対応する。
【0135】
値2は、この符号化が「モード2」による第2のタイプのシリーズの係数に従って行われることを示し、従ってこれがデフォルト設定によって、または一定または可変のベクトルによって各繰り返しにおいて定義された位置Nに達するまで復号が1セットのグループの1繰り返しごとに復号を可能にしなければならないことを示す。
【0136】
最後に値3は、この符号化が「モード3」による第1のタイプのシリーズの係数に従って行われることを示し、従って復号がM個のグループの1繰り返しごとに復号を可能にしなければならないことを示す。この数Mは一定であり得る。
【0137】
フラグvect4×4 presence flagとvect8×8 presence flagはそれぞれ、サイズが4×4ピクセルのブロックとサイズが8×8ピクセルのブロックとに関してモード2の場合に最大位置Nを定義するベクトルの存在を示す。
【0138】
より明確には、フラグの値が1に等しければ、このフラグに対応するベクトルはストリーム内に存在する。
【0139】
更にモード2の場合、変数num iter codedは、4×4ブロックおよび/または8×8ブロックに関してベクトルに含まれる値の数を示す。変数scanIndex blk4×4[i]は、グループが繰り返しiにおいて復号されなければならない4×4ブロックの係数の最大位置を示す。変数scanIndex blk8×8[i]は、グループが繰り返しiにおいて復号されなければならない8×8ブロックの係数の最大位置を示す。
【0140】
モードがモード2であって、4×4ブロック(またはそれぞれ8×8ブロック)に関するベクトルが存在しなければ、このベクトルはこのベクトルの値を4で割る際に(このベクトルの値にそれぞれ4を掛ける際に)8×8ブロック(またはそれぞれ4×4ブロック)に関するベクトルから推定される。
【0141】
これらのベクトルのどれも存在しなければ、4×4ブロックに関して値[1,3,10,16]を、また8×8ブロックに関して値[3,10,36,64]を有するデフォルトベクトルを使用することが選択される。
【0142】
このようにして各デフォルト値は、係数のブロックの予め決められた周波数ゾーン(4×4ブロックに関しては1から16の範囲、8×8ブロックに関しては1から64の範囲にある位置インデックス)に対応する。
【0143】
図6は特に、4×4サイズのブロックに関して考えられたデフォルトベクトルの周波数帯域を示す。このようにして参照符号61はジグザグ読み取り走査経路による位置1を示し、参照符号62は位置3を示し、参照符号63は位置10を示し、参照符号64はベクトル[1,3,10,16]において定義された位置16を示す。
【0144】
モード3の場合、num range coded変数は、各繰り返しで復号されるべき範囲またはグループの数を示す。
【0145】
最後に前述の全てのモード0〜3において、変数interlaced sig ref flagが1に等しければ、有意性の範囲および精緻化の範囲は各繰り返しで復号される。逆に変数interlaced sig ref flagが0に等しければ、有意性の範囲または精緻化の範囲は各繰り返しで復号される。
【0146】
後者の場合には精緻化範囲は、画像の全ての有意範囲が復号されたときにだけ復号される。
【0147】
今度は図7を参照して本発明者らは、本発明の復号方法の一般原理を提示する。
【0148】
特に、この復号方法の選択はデータストリームに存在していて復号器が読み取ったばかりである値fgs coding modeによって与えられる。
【0149】
上記に示されたように本発明のこの好ましい実施形態によれば、精緻化層を復号する4つのモードが選び出され、これらのモードは各繰り返しにおいて復号される範囲の数によって区別される。
モード0:各繰り返しで1ブロック当たり1つの範囲が復号される;
モード1:各繰り返しで各ブロックの全ての範囲が復号される;
モード2:各繰り返しで、Nが繰り返しの関数である位置Nがブロック内で到達されるまで、ある数の範囲が復号される;
モード3:各繰り返しで、一定数M個の範囲が復号される。
【0150】
第一に、この説明においてここで使用されたいくつかの表記が紹介される。
iterは、復号時に実行される繰り返しの回数に対応する;
completeLumaSigは、全ての輝度ブロックに関する全ての有意グループが復号されたかどうかを示すブール値である;
completeLumaRefは、全ての輝度ブロックの全ての精緻化グループが復号されたかどうかを示すブール値である;
completeChromaSigは、全てのクロミナンスブロックの全ての有意グループが復号されたかどうかを示すブール値である;
completeChromaRefは、全てのクロミナンスブロックの全ての精緻化グループが復号されたかどうかを示すブール値である;
bInterlacedChromaは、同じ繰り返し時にクロミナンスおよび輝度ブロックのグループが復号されたかどうかを示すブール値である;
interlaced sig ref flagは、有意および精緻化グループがインタレースされるかどうかを示すブール値である。その値はストリームから復号される;
completeLumaSigBl(iBloc)は、輝度ブロックiBlocの全ての有意グループが復号されたかどうかを示すブール値である;
completeLumaRefBl(iBloc)は、輝度ブロックiBlocの全ての精緻化グループが復号されたかどうかを示すブール値である;
completeChromaSigBl(iBloc)は、クロミナンスブロックiBlocの全ての有意グループが復号されたかどうかを示すブール値である;
completeChromaRefBl(iBloc)は、クロミナンスブロックiBlocの全ての精緻化グループが復号されたかどうかを示すブール値である。
【0151】
初期設定
初期設定ステップ71のときに、パラメータiterは値0を取り、completeLumaSigは値FALSE(偽)を取り、completeLumaRefは値FALSEを取り、completeChromaSigは値FALSEを取り、completeChromaRefは値FALSEを取る。画像の全てのブロックiBlocに関してcompleteLumaSigBl(iBloc)は値FALSEを取り、completeLumaRefBl(iBloc)は値FALSEを取り、completeChromaSigBl(iBloc)は値FALSEを取り、completeChromaRefBl(iBloc)は値FALSEを取る。
【0152】
マクロブロックの走査
その後ステップ72で、画像の各マクロブロックが走査される。各マクロブロックに関して変数completeLumaSigの値は、ステップ73「Test completeLumaSig」において見られる。変数completeLumaSigがFALSE(731)に等しければ、ステップ74で有意パスはマクロブロックの各輝度ブロックに関して復号されて、演算はステップ75に進む。
【0153】
変数completeLumaSigの値がTRUE(732)に行くならば、変数interlaced sig refの値はテストステップ75(test interlaced sig ref)のときに見られる。このテストは、interlaced sig refがTRUEに等しければ、あるいはcompleteLumaSigが真に等しくて、completeLumaRefがFALSEに等しければ、値TRUE(751)を与える。さもなければ(752)、このテストはFALSEを与える。テストinterlaced sig refがTRUEに等しければ、精緻化パスはマクロブロックの各輝度ブロックに関してステップ76で復号される。
【0154】
それから変数bInterlacedChromaはテストステップ77テスト「bInterlacedChroma」で見られる。これは、bInterlacedChromaがTRUEに等しくて、iterChroma(iter)がTRUEを与えるならば、あるいはcompleteLumaSigがTRUEに等しくてcompleteLumaRefがTRUEに等しければ、TRUE(771)を与える。「test bInterlacedChroma」77がFALSE(772)に等しければ、演算はステップ82に進む。「test bInterlacedChroma」77がTRUE(771)に等しければ、変数completeChromaSigの値は、ステップ78「Test completeChromaSig」のときに考慮される。completeChromaSigがFALSE(781)に等しければ、マクロブロックの各クロミナンスブロックに関して、有意パスはステップ79のときに符号化される。
【0155】
それから変数interlaced sig refは、テストステップ80のときに再びテストされる。このテストは、interlaced sig refがTRUEに等しければ、あるいはcompleteChromaSigがTRUEに等しくて、completeChromaRefがFALSEに等しければ、TRUE(801)を与える。さもなければ(802)、このテストは値FALSEを与える。テストが値TRUE(801)を与えれば、ステップ81のときに精緻化パスはマクロブロックの各クロミナンスブロックに関して復号され、それから演算はステップ82に進む。
【0156】
最後にステップ82で、考慮されているマクロブロックが画像の、または画像の現在部分の最後のマクロブロックであるかどうかを見るためにテストが行われる。それが最後のマクロブロックでなければ(821)、次のマクロブロックに対して繰り返し(83)が実行される。考慮されているマクロブロックが画像の、または画像の現在部分の最後のマクロブロックであれば(822)、演算は変数completeSig,Refを更新するためにステップ84に進む。それから終了テストが実行される85。
【0157】
変数completeSig,Refの更新(84)
変数completeSig,Refを更新するためのステップは、変数completeLumaSigとcompleteLumaRefとcompleteChromaSigとcompleteChromaRefとを更新する。
【0158】
より具体的には、
completeLumaSigは、画像の全てのiBlocブロックに関してcompleteLumaSigBl(iBloc)がTRUEに等しければ、値TRUEを取る;
completeLumaRefは、画像の全てのiBlocブロックに関してcompleteLumaRefBl(iBloc)がTRUEに等しければ、値TRUEを取る;
completeChromaSigは、画像の全てのiBlocブロックに関してcompleteChromaSigBl(iBloc)がTRUEに等しければ、値TRUEを取る;
completeChromaRefは、画像の全てのiBlocブロックに関してcompleteChromaRefBl(iBloc)がTRUEに等しければ、値TRUEを取る。
【0159】
終了テスト(85)
終了テストは、completeLumaSigがTRUEに等しくて、completeLumaRefがTRUEに等しくて、completeChromaSigがTRUEに等しくて、またcompleteChromaRefがTRUEに等しければ、TRUE(851)を与える。終了テストがFALSEに等しければ(852)、演算は次の繰り返し(iter++)に進む。さもなければ、復号は終了する(86)。
【0160】
関数iterChroma(iter)
この関数は、輝度およびクロミナンス範囲がインタレースされて、また繰り返しiterにおいてクロミナンス範囲が復号されなくてはならないならば、値TRUEを与える。この関数は、クロミナンスおよび輝度係数のインタレース化を制御するために使用される。
【0161】
例えば文献「Joint Scalable Video Model JSVM−4」2005年10月、ニース,JVT−Q202に定義されたように、JSVM4符号器/復号器は、(iter+offset iter)モジュロ3が0に等しければiterChroma(iter)はTRUEに等しいとして、単に3個の有意復号パスごとにクロミナンスパスを復号することを提示している。このパラメータoffset iterは第1のクロミナンス符号化繰り返しが符号化される輝度符号化繰り返しを定義するために使用されるパラメータである。
【0162】
有意および精緻化パスの復号
第一に、グループの復号は、
有意パスの場合には、
ブロックの先頭(または有意係数の直後)と次の新しく有意な係数の直前との間に位置する残り全ての非有意係数の復号と;
次の新しく有意な係数の復号と、に;また
精緻化パスの場合には、
既に有意な係数の精緻さの復号に、
対応することが想起され得る。
【0163】
これらの係数の走査は、ジグザグ順に行われる。クロミナンスブロックと輝度ブロックとの復号は同じ方法で行われる。
【0164】
モード0の場合には各ブロックに関して、1グループが復号される。演算がブロックの終端にあれば、現在ブロックのブールパラメータcompleteCompPassBlはTRUEに位置付けられる。ここで、変数Compはこのブロックが輝度ブロックであればLumaを、ブロックがクロミナンスブロックであればChromaを示し、また変数Passは復号されたパスが有意パスであればSigを、また復号されたパスが精緻化パスであればRefを示す。
【0165】
モード1の場合には各ブロックに関して、全てのグループが復号されて、現在ブロックのcompleteCompPassBlはTRUEに位置付けられる。
【0166】
モード2の場合には各ブロックに関して、scanIndex blkkx[i]に等しいブロック内の最大位置N、ここでiは現在の繰り返し番号であり、kxkはブロックのタイプ(輝度ブロックに関しては4×4または8×8あるいはクロミナンスブロックに関しては4×4)である。それから最後に復号された係数の位置が位置Nより小さい限り、範囲が復号される。演算がブロックの終端にあれば、現在ブロックのcompleteCompPassBlはTRUEに位置付けられる。
【0167】
モード3の場合には各ブロックに関して、num range coded(num range coded=M)に等しい数のグループが復号される。演算がブロックの終端にあれば、現在ブロックのcompleteCompPassBlはTRUEに位置付けられる。
【0168】
図8は、前述の符号化方法を実施して画像または画像列を符号化するための装置のハードウエア構造を示す。
【0169】
この種の符号化装置は、メモリM87と、例えばマイクロプロセッサμPを備えてコンピュータプログラムPg89によって駆動される処理ユニットP88とを含む。初期設定時にコンピュータプログラムPg89のコード命令は例えばRAMにロードされ、それから処理ユニットP88のプロセッサによって実行される。入力において処理ユニットP88はビデオ入力成分41(画像、画像列または画像部分)を受信する。処理ユニット88のマイクロプロセッサμPはプログラムPg89の命令に従って、図4を参照しながら前に説明された符号化方法のステップを実行する。処理ユニット88は符号化されたデータストリーム47を出力する。
【0170】
図9は、例えば図8の符号化装置によって生成された符号化されたデータストリームを復号するための装置のハードウエア構造を示す。
【0171】
この種の復号装置は、メモリM90と、例えばマイクロプロセッサμPを備えてコンピュータプログラムPg92によって駆動される処理ユニットP91とを含む。初期設定時にコンピュータプログラムPg92のコード命令は例えばRAMにロードされ、それから処理ユニット91のプロセッサによって実行される。入力において処理ユニット91は復号されるべき符号化されたデータのストリーム93を受信する。処理ユニット91のマイクロプロセッサμPはプログラムPg92の命令に従って、図7を参照しながら前に説明された復号方法のステップを実行する。処理ユニット91は復号されたビデオ成分41(画像、画像列または画像部分)を出力する。
【0172】
付録A
【0173】
【表2A】
【表2B】
【表2C】
【図面の簡単な説明】
【0174】
【図1】従来技術を参照して既に説明された、JSVMタイプの符号器を示す。
【図2A】これも従来技術を参照して提示された、画像を形成するブロックの係数のジグザグ経路を示す。
【図2B】これも従来技術を参照して提示された、画像を形成するブロックの係数のジグザグ経路を示す。
【図3】これも従来技術を参照して提示された、従来技術によるSVCタイプのストリームの構造を記述する図である。
【図4】本発明による符号化方法の一般原理を示す。
【図5A】図4の方法によるブロックの係数の符号化のための異なる可能なタイプのシリーズを示す。
【図5B】図4の方法によるブロックの係数の符号化のための異なる可能なタイプのシリーズを示す。
【図5C】図4の方法によるブロックの係数の符号化のための異なる可能なタイプのシリーズを示す。
【図5D】図4の方法によるブロックの係数の符号化のための異なる可能なタイプのシリーズを示す。
【図6】本発明の1変形版による4×4サイズのブロックのために考慮されたデフォルトベクトルの周波数帯域を示す。
【図7】本発明による復号方法の一般原理を記述する図である。
【図8】本発明による符号化装置と復号装置の単純化されたハードウエア構造を示す。
【図9】本発明による符号化装置と復号装置の単純化されたハードウエア構造を示す。
【技術分野】
【0001】
1.技術分野
本発明の分野は、画像または画像列の符号化および復号の分野である。
【0002】
より具体的には本発明は、1つ以上のブロックへの画像の変換から導き出される1つ以上の画像を表す係数の符号化と復号とに関する。
【0003】
本発明は特に、しかし排他的でなく、複数層または複数レベルの階層構造を有する拡大縮小可能な画像または画像ビデオ列の符号化と復号とに適用され得る。
【0004】
本出願によれば本発明は、層間予測による動き補正された時間的変換と階層化表現とに基づく拡大縮小可能ビデオ符号化に関連して位置付けられる。
【0005】
2.従来技術
簡単・明瞭のために、画像または拡大縮小可能な画像列の符号化と復号とに関する従来技術についてのみ以下に詳述する。
【0006】
2.1 拡大縮小可能ビデオ符号化の一般原理
今日では、データ伝送システムが極めて幅広い種々のタイプのデータアクセスを有する複数のクライアントのために機能するという意味で異種である多くのデータ伝送システムが存在する。このようにして、世界的規模のネットワーク、例えばインターネットは、パソコン(PC)タイプの端末および無線電話の両方からアクセス可能である。より一般的にはネットワークアクセス帯域幅、クライアント端末の処理能力およびそれらのスクリーンのサイズは、ユーザによって大きく変わる。従って例えば第1のクライアントは1024kb/sのADSL(非対称ディジタル加入者線)ビットレートを有する強力なPCからインターネットにアクセスし得るが、第2のクライアントは低いビットレートでモデムに接続されたPDA(パーソナルディジタルアシスタント)タイプの端末から同時に同じデータにアクセスしようと試みる可能性がある。
【0007】
ここで大抵のビデオ符号器は、符号化されたシーケンス全体に対応する単一の圧縮されたストリームを生成する。従って数人のクライアントが復号して観察するためにこの圧縮されたファイルを利用したければ、クライアントは圧縮ファイル全体をダウンロードするか、流し出させるか、しなければならないであろう。
【0008】
従って、ビットレートならびに画像解像度の点からこれら種々のユーザの異なる要件に適応したデータストリームをこれらのユーザに提案することが必要である。この必要性は、特に下記:
UMTS(ユニバーサル移動体通信サービス)(タイプ)無線通信端末、パソコンまたはADSLアクセスを有するテレビ端末などにアクセス可能なビデオオンデマンド(VOD)サービス、
セッション可動性(例えばテレビセット上で開始されたビデオセッションのPDA上での、またはGPRS(一般パケット無線サービス)上で開始されたセッションのUMTS移動体上での続行)、
セッション継続性(帯域幅を新しいアプリケーションと共用することに関連する)、
独自のビデオ符号化が標準精細度SDを有するクライアントならびに高精細HD端末を有するクライアントにサービスすることを可能にすべきである高精細テレビ、
独自の符号化がUMTSアクセスとインターネットアクセスの両方を有するクライアントの要件を満たさなければならないビデオ会議、
など
に関連するアプリケーションのために幅広い種々のアクセスおよび処理能力を有するクライアントにアクセス可能なアプリケーションに関して、益々大きい。
【0009】
これらの種々の要件を満足させるために、適応可能な品質と変化可能な空間・時間解像度とを可能にする拡大縮小可能画像符号化アルゴリズムが開発されてきた。これらの技法では符号器は、複数の層のうちの各層がより高いレベルの層にネストされる(入れ子にされる)階層構造を有する圧縮されたストリームを生成する。例えば第1のデータ層は、PDAタイプの端末によって復号され得る256ビット/秒でストリームを搬送し、第2の相補的データ層は、より強力なパソコンタイプの端末によって第1のストリームに対する相補的ストリームとして復号され得る、より高い解像度を有するストリームを256キロビット/秒で搬送する。この例でこれら2つのネストされた層を搬送するために必要とされるビットレートは、512キロビット/秒である。
【0010】
従ってこの種の符号化アルゴリズムは、拡大縮小可能な数個の層に構成された単一の圧縮されたストリームの生成が種々の特性を有する数人の顧客にサービスできる全てのアプリケーションのために極めて有用である。
【0011】
これらの拡大縮小可能ビデオ符号化アルゴリズムの一部は現在、ITU(国際電気通信連合)とISO(国際標準化機構)との間で設立されたジョイントビデオチーム(JVT)ワーキンググループに関連するMPEG(動画エキスパートグループ)規格によって採用されている。
【0012】
特にJVT SVC(拡大縮小可能ビデオ符号化)ワーキンググループによって最近選ばれたモデルは、JSVM(Joint Scalable Video Model)と呼ばれ、層間予測と階層的B画像への時間的分解とによるAVC(アドバンスドビデオ符号化)タイプのソリューションに基づく拡大縮小可能符号器に基づいている。このモデルは、J.Reichel,M.Wien and H.Schwarzの「Joint Scalable Video Model JSVM−4」2005年10月、ニースによる文献JVT−Q202に、より詳細に記載されている。JVTワーキンググループは特に、時間、空間および品質次元の中間粒子拡大縮小可能性を有するストリームの供給のための規格を提案するという目標を有する。
【0013】
2.2 JSVM符号器
2.2.1 符号器の主な特徴
図1は、ピラミッド構造を有するこの種のJSVM符号器の構造を示す。ビデオ入力成分10は、ダイアディック(2成分)サブサンプリング(2D空間デシメーション、参照符号11)を受ける。
【0014】
それからサブサンプリングされたストリームの各々は、階層的B画像タイプの時間的分解12を受ける。ビデオ列の低解像度バージョンは、低空間解像度r0のための復号可能最大ビットレートに対応する所与のビットレートR r0 maxにまで符号化される(この低解像度バージョンは、ビットレートR r0 maxが得られるまでビットレートR r0 minを有する基本層と向上層に符号化されるが、この基本レベルはAVC適合性がある)。
【0015】
次により高い層は、下記の形式の剰余の符号化によって前の再構成されてオーバーサンプリングされたレベルからの減算によって符号化される。
基本レベル、
この場合としてビットマップのマルチパス符号化によって得られた1つ以上の向上層が存在し得る(以下、微粒子拡大縮小可能性と呼ばれる)。予測剰余は、解像度riに関して復号可能な最大ビットレートに対応するビットレートR ri maxにまで符号化される。
【0016】
特に階層的B画像タイプフィルタリングユニット12は、動き符号化ブロック13〜15に供給される動き情報16と層間予測モジュール18に供給されるテクスチャ情報17とを送達する。層間予測モジュール18から出力された予測データは、信号の精緻化レベルで機能する変換およびエントロピー符号化ブロック20に送られる。このブロック20から来るデータは特に、より低いレベルからの2D空間的補間19を取得するために使用される。最後に多重化モデル21が、一般的な圧縮データストリームに生成された種々のサブストリームを順序付ける。
【0017】
2.2.2.進行性定量化による符号化
JSVM符号器によって使用される符号化技法が進行性定量化技法であることは特に留意され得る。
【0018】
より具体的にはこの技法は第一に、送信されるべきデータを表す種々の係数を第1の粗い定量化ステップによって定量化することにある。それからこれら種々の係数は再構成され、再構成された係数の値と定量化された値との間の差が計算される。
【0019】
それからこの進行性定量化技法に従って、この差は第1のステップより細かい第2の定量化ステップによって定量化される。
【0020】
このようにしてこの手順は、ある一定の数の定量化ステップで繰り返し続けられる。各定量化ステップの結果は「FGS Pass」(FSGパス)と呼ばれる。
【0021】
より具体的には再び、定量化された係数は各定量化ステップで2つのパスにおいて符号化される。
新しい有意の係数、すなわち前の定量化ステップでゼロ値によって符号化された係数を符号化するために使用される第1の有意パス。これらの新しい有意の係数に関して係数の符号とその振幅とが符号化される。
前の定量化ステップで既に有意であった係数の精緻化/符号化を可能にする第2の精緻化パス。これらの係数に関して精緻化値0、+1または−1が符号化される。
【0022】
特に、有意な係数はその符号化値がゼロとは異なる係数であることが想起され得る。
【0023】
1.1.1 FGS層の巡回符号化
JSVMタイプの符号器に関して古典的に符号化される画像は3つの成分を含む。輝度成分と、各々が典型的には輝度成分の1/4サイズである2つのクロミナンス成分(すなわち半分の幅と高さとを有する)。ただ1つの輝度成分を有する画像を処理することも可能であることが想起され得る。
【0024】
古典的にはこれらの画像は、16×16ピクセルのサイズのマクロブロックに細分され、それから各マクロブロックはブロックに再細分される。それから輝度成分に関して、4×4ピクセルブロック、さもなければ8×8ピクセルブロック上で精緻化層の符号化が行われる。クロミナンス成分に関して4×4ピクセルブロック上で精緻化層の符号化が行われる。
【0025】
図2Aを参照すると、符号器ブロックに対して係数の走査の「ジグザグ」順についての説明が与えられている。この順序は、1ブロック内の空間周波数のスケジューリングによって説明され得る。
【0026】
より明確にはブロックの第1の係数は、低い周波数(離散コサイン変換DCTの係数DC)に対応し、そのグループの最も重要な情報の一片を表す。その他の係数は、高い周波数(離散コサイン変換DCTのAC係数)に対応し、これらの高い周波数のエネルギーは水平方向、垂直方向および斜め方向に減少する。
【0027】
このようにして図2Aを参照しながら説明されたジグザグ走査の意味にしたがうと、高い周波数の減少が追跡されることがそれに見られる。従って益々小さくなる、あるいはゼロに等しくさえなる係数を有する高い確率が得られる。
【0028】
より具体的には、係数を符号化するために有意情報について符号化が行われ、係数が有意係数であるか非有意係数であるかどうかを見出し、有意係数であればこの係数の符号と振幅とを見出すことを可能にする。
【0029】
古典的にはこれらの係数の符号化は、範囲内での符号化(すなわち定量化されたゼロ値を有する全ての係数が共にグループ化される符号化)によって行われる。
【0030】
言い換えれば係数の「範囲」を符号化するために第一に、ジグザグ順の全ての残りの非有意係数の有意情報は、新しく有意な係数が得られるまで符号化される。それから新しく有意な係数が符号化される。より具体的には用語「範囲」または「グループ」は、その位置が連続している係数であって、ブロックの先頭または有意係数の位置の後のいずれかから始まり、本発明者らが符号化(または復号)有意パスを考える場合には次の有意係数の後で終了する間隔に含まれる係数の1グループを意味すると理解される。この場合特に、用語「有意グループ」を使用することが可能である。本発明者らが符号化(または復号)精緻化パスを考えるならば、用語「範囲」または「係数のグループ」は、単に精緻化されるべき係数を意味すると理解される。この場合、用語「精緻化グループ」を使用することが可能である。
【0031】
言い換えれば範囲の符号化は、1つの新しく有意な係数の符号化として、また演算が有意パスにある場合にはこの係数の前に置かれた残り全ての非有意係数の符号化として、定義され、また演算が精緻化パスにあれば既に有意な係数の精緻さの符号化の場合として定義される。
【0032】
例えば図2Bに示されたブロックを符号化するために下記の表記法、
係数が有意係数であることを示すためにS;
係数が非有意係数であることを示すためにNS;
ブロックの最後の有意係数が符号化されたか否かを示すためにLS;が使用される。より具体的にはLSは2つの値を取り得る。例えばLS=1であれば、これはこの係数がブロックの最後の有意係数であって、この最後の有意係数の後に位置する全ての係数が非有意であることを意味する。従ってこれら全ての非有意係数の有意性の符号化は回避される。このようにして図2Bを参照すると、符号化は次の通りである。NS、NS、NS、Sは有意係数の符号、有意係数の値(または振幅)、LS、NS、NS、NS、Sは有意係数の符号、有意係数LSの値(または振幅)。
【0033】
ブロックのこの経路における走査の時に前の定量化ステップで(すなわち前の繰り返しで)既に有意であった係数が到達されれば、この有意パスのときにこれらの係数に関して何も符号化されない。
【0034】
文献「Scalable Video Coding Joint Working Draft 4」2005年10月、ニース、Joint Video Team of the ISO/IEC MPEG and ITU−T VCEG,JVT−Q201に定義されたもののような、古典的JSVM符号器における精緻化層の符号化は繰り返し行われることが想起され得る。
【0035】
このようにして各繰り返しにおいて、画像の全てのマクロブロックは走査される。各マクロブロックに関して、全ての輝度ブロックとクロミナンスブロックが走査される。各輝度およびクロミナンスブロックに関して、1つの範囲が古典的技法に従って符号化され、それから演算は次のブロックに進み、以下同様にマクロブロックの全てのブロックに進んで行く。
【0036】
全てのマクロブロックが走査されたとき、演算は各ブロックに関して各ブロックの第2の範囲が符号化される次の繰り返しに進む。このようにして画像の全てのブロックの全ての有意係数が符号化されるまで、繰り返しは続けられる。
【0037】
このように図2Bを参照して説明された例では、ブロックの全ての有意係数を符号化するために2回の繰り返しが必要である。
【0038】
1つの有意係数が符号化されると、この有意係数の前に置かれた非有意係数に対応する数個の係数が実際に符号化されることが発生することは留意されなくてはならない。従って、あるブロックの第2の有意係数の符号化は、ジグザグ順にブロック内の第2の位置に配置された係数に対して符号化が有効に行われることを必ずしも意味しない。同様にあるブロックの符号化されるべきn番目の有意係数は必ずしも、全てのブロックに関して同じ場所に配置される必要はない。
【0039】
最後に、画像の全ての有意係数が符号化されると、精緻化された係数が次の繰り返しで符号化される。
【0040】
画像の各マクロブロックとそれからこのマクロブロックの各輝度ブロックとクロミナンスブロックが走査される。各ブロックに関してブロックの第1の係数が調査される。係数が前の定量化ステップで(すなわち前の繰り返しで)有意であったとすれば、その精緻さが符号化される。さもなければ、何も符号化されない。それから演算は次のブロックに進み、全てのブロックが走査されるまで、以下同様である。
【0041】
次の繰り返しでは、全てのブロックの精緻化されるべき第2の係数の精緻さが符号化される。このようにしてこれらの演算は、精緻化されるべき係数の全ての精緻さが符号化されるまで反復される。
【0042】
この演算はまた、クロミナンスおよび輝度成分の係数の符号化のインタレース(飛び越し走査)の制御を可能にするパラメータを使用する。従って所定の繰り返しに関して輝度係数だけ、あるいは輝度およびクロミナンス係数を符号化することが可能である。
【0043】
従って、繰り返しによるこの符号化技法は、精緻化層の係数をインタレースして、特に精緻化層が切り詰められる場合に画像の再構築のより良好な品質を保証するために使用される。
【0044】
2.3.SVCストリームの構文
今度は図3を参照して本発明者らは、図1の多重化モジュール21の出力で得られたSVCストリームの構造を提示する。
【0045】
符号器の出力における圧縮されたデータストリームは、ユニット各々が時刻Tに対応するアクセスユニットあるいはAUであって、ネットワーク抽象層ユニットあるいはNALUと呼ばれるネットワークに関する1つ以上の基本アクセスデータユニット(パケット)を含むアクセスユニットあるいはAUに構成される。
【0046】
各NALUは空間・時間分解、空間解像度レベルおよび定量化レベルから導き出される1セットのマクロブロック(スライスとも呼ばれる)をグループ化する1つの画像または画像部分と関連していることが想起され得る。基本ユニットにおけるこの構造化は、過渡に大きな空間解像度または時間周波数解像度または符号化品質を有するNALUを除去する際にビットレートおよび/または空間・時間解像度の点から整合を達成するために使用される。
【0047】
より具体的にはここに提示された関連において、画像の各FGSパス(または精緻化層)はNALUに挿入される。
【0048】
このようにして図3は、時刻T0に対応するアクセスユニットAU1 31と時刻T1に対応するAU2 32とを示す。より明確にはアクセスユニットAU31は時刻T0に対応する6個のNALU311〜316を含む。第1のNALU311は、空間レベルS0とFGS/CGSレベルE0とを表す。第2のNALU312は、空間レベルS0とFGS/CGSレベルE1とを表す。最後に、最後のNALU316は、空間レベルS2とFGS/CGSレベルE1とを表す。
【0049】
2.従来技術の欠点
この従来技術の符号化技法の1つの欠点は、目標速度を達成するためにNALUとも呼ばれるパケットの成分データを切り詰めることが必要であり得ることである。
【0050】
ここで精緻化層の係数のインタレースを可能にする繰り返しによって精緻化層を符号化するための古典的技法は、復号器の高い複雑さを意味するが、トレードオフとしてこれは、精緻化層が符号器または伝送のいずれかにおいて切り詰められるときに、ある画像の全てのマクロブロックを順次に処理する方法によるよりも高い再構築品質を与える。
【0051】
実際に各ブロックの係数のインタレース化は復号関係における頻繁な変化を意味し、従ってコンピュータのキャッシュ内に含まれる情報の頻繁な変化は復号のレベルで増加した複雑さを招く。
【0052】
精緻化層の切り詰めは必ずしも必要でないことも留意され得る。
【0053】
実際に、この技法は全ての精緻化層を同じ比率で切り詰めることによって符号化されたストリームのための目標ビットレートを達成するために使用され得るが、文献「JVT−Q081 Layered quality opt of JSVM3 and closed−loop」においてI.Amonou、N.Cammas、S.Kervadec、S.Pateuxによって提示されたように、JSVM符号器の品質レベルの使用は、精緻化層が切り詰められる場合と比較して同時に品質を改善しながら精緻化層を切り詰めることなしに、互いに関する画像の精緻化層の順序付けと目標ビットレートの達成とを可能にする。
【0054】
この関係において繰り返しによる符号化は、いかなる圧縮利得も与えず、より高い複雑さを保つ。
【0055】
3.発明の目標
本発明は特に、従来技術のこれらの欠点を克服することを目標としている。
【0056】
より具体的には、使用される符号化のタイプの関数として復号のレベルに複雑さを適応させる画像および/またはビデオ列を符号化し、また復号する技法を提供することは本発明の目標である。
【0057】
特に、ストリームの層状構成に依存する、拡大縮小可能ビデオ画像および/またはビデオ列の符号化と復号とへの適用に関連して、J.Reichel,M.Wien and H.Schwarzによる文献JVT−Q202、「Joint Scalable Video Model JSVM−4」2005年10月、ニースにおいてJVTワーキンググループによって提案されたJSVMモデル技法の改良であるこの種の技法を提供することは本発明の目標である。
【0058】
画像の切り詰めが必要とされるときに古典的復号の複雑さを保つために、また画像の切り詰めが必要とされないときに復号の複雑さを減らすために、使用され得るこの種の技法を提案することは本発明のもう1つの目標である。
【0059】
実現が簡単であって資源(帯域幅、処理能力など)の点からほとんど費用がかからず、またいかなる特定の複雑さも主要な処理演算も導入しないこの種の技法を提供することも本発明の目標である。
【発明の開示】
【発明が解決しようとする課題】
【0060】
4.発明の要約
これらの目標ならびに以下ここに現れる他のものは、予め決められたグループ化基準と変換されたブロックを読み取るための予め決められた走査経路とに従って係数の1グループ内に、または複数のグループ間に分散された変換ブロックの1セットの係数を含む変換ブロックが各々の画像ブロックに関連している少なくとも2つの画像ブロックに各画像が細分される、1つのデータストリームを生成する1つの画像または一連の画像の符号化のための方法によって達成される。
【課題を解決するための手段】
【0061】
本発明によればこの符号化方法は、変換されるブロックの各々に関して下記のステップ、
この1シリーズの係数が予め決められた数M個のグループの係数を含む第1のタイプのシリーズと、
識別される走査経路における予め決められた最大位置Nに関して、上記シリーズが最大位置Nを含むグループと、存在するのであれば走査経路に沿って先行する全てのグループとを含む第2のタイプのシリーズとを含む少なくとも2つの可能なタイプの中から選択される1シリーズの係数のタイプの関数として決定される、少なくとも1グループの係数に対応する1シリーズの係数を符号化するためのステップと、
画像または一連の画像または画像の一部分に関して選択されたタイプの1シリーズの係数を表す一片の情報のデータストリームへの挿入のステップとを含む。
【0062】
このようにして本発明は、1シリーズの係数のタイプの選択と、選択されたタイプに基づいて決定される1シリーズの係数の符号化と、データストリームの復号のレベルにおいて復号器が符号化するときに使用されるタイプの1シリーズの係数を読み取ってそれ自身を自動的に復号の複雑さを減らすために使用される符号化に適応させることができるように、選択されたシリーズのタイプのデータストリームへの挿入と、への完全に新規な発明的アプローチに依存する。
【0063】
符号化されるべき1シリーズの係数は、第1のタイプのシリーズに従って、予め決められた数M個のグループの係数を含み得る。従ってこのシリーズは、単一グループの係数、または予め決められた数のグループの係数(2より大きいか2に等しい)、または再び、考えられているブロックの全ての係数に対応し得る。
【0064】
第2のタイプの1シリーズの係数によればこのシリーズは、予め決められた読み取り走査経路に従って位置Nに配置された係数を含むグループと、存在するのであれば位置Nに配置された係数を含むグループであって予め決められた読み取り走査経路に従って先行する全てのグループとを含み得る。
【0065】
好都合にもこの読み取り走査経路は、図2Aを参照して説明されたジグザグ経路である。
【0066】
好ましくはデータストリームは、連続する精緻化レベルにおけるネストされたデータ層の階層構造を有し、この符号化方法は繰り返しの各々がこれらのレベルの1つに対応し、符号化ステップを実行する繰り返し符号化を実行する。
【0067】
このようにして本発明は、拡大縮小可能ビデオ信号の符号化に特によく適している。
【0068】
特に第2のタイプのシリーズに関して、
最大位置Nを含むグループを含むシリーズが前の繰り返しで符号化されたときにはこのシリーズは空であり、
最大位置Nを含むグループを含むシリーズが前の繰り返しで符号化されていなかったときにはこのシリーズは、予め決められた最大位置を含むグループと、存在するのであれば前の繰り返しで既に符号化されたシリーズに属さない走査経路に沿って先行する全てのグループとを含む。
【0069】
従って前の繰り返しのときに既に符号化された係数を考慮に入れることは次の繰り返しのときに可能である。従って空のシリーズは、前の繰り返しにおいてこのシリーズに含まれるグループが既に符号化されていたことを示す。
【0070】
本発明の有利な特徴によればこれらの繰り返しの各々は、下記のパス、
有意パスと
精緻化パスとのうちの少なくとも1つを実現し、
符号化ステップは実現される単数または複数のパスに適用され、
実現される単数または複数のパスのタイプを示すパラメータはこのタイプの1シリーズの係数を表す情報に随伴する。
【0071】
従ってストリーム内で種々の情報を符号化することは可能であり、これらの情報は使用される符号化技法に復号器が容易に適応することを可能にし、それによって復号の複雑さを単純にする。
【0072】
特に、パスが有意パスであるときには、予め決められたグループ化基準は、読み取り走査経路に沿って接した第1の有意係数で終了する1セットの連続する非有意係数として1グループを定義する。パスが精緻化パスであるときには、予め決められたグループ化基準は、このグループを一意の有意係数として定義する。
【0073】
好都合にも1シリーズの係数のタイプを表すこの情報は、各繰り返しに関して数Mまたは位置Nの値を定義するベクトルを含む、実施についての1つの情報を伴う。
【0074】
このベクトルは、デフォルト設定によって知られることが可能であり、従って前もって決定されるか、ストリーム内で直接符号化されることが可能である。従ってこのベクトルは、係数の位置Nの定義が各繰り返しで達成されることを可能にする。例えば、このベクトルは、4×4サイズのブロックに関しては[1,3,10,16]に等しく、あるいは8×8サイズのブロックに関しては[3,10,36,64]に等しい。
【0075】
アプリケーションに関するこの情報はまた、符号化される範囲の数を指定し得る(グループの数Mを定義する)。
【0076】
本発明の有利な特徴によればソース画像は、符号化されるべき少なくとも2つの成分に分解され、符号化はこれらの成分の各々に適用される。
【0077】
例えば、ある画像は1つの輝度成分と2つのクロミナンス成分とを含んでおり、符号化はこれら3つの成分の各々に適用される。
【0078】
本発明はまた、予め決められたグループ化基準と変換されたブロックを読み取るための予め決められた走査経路とに従って係数の1グループ内に、または複数のグループ間に分散された変換ブロックの1セットの係数を含む変換ブロックが各々の画像ブロックに関連している少なくとも2つの画像ブロックに各画像が細分される、1つのデータストリームを生成する1つの画像または一連の画像の符号化のための装置に関係している。
【0079】
本発明によればこのような装置は、
この1シリーズの係数が予め決められた数M個のグループの係数を含む第1のタイプのシリーズと、
識別される走査経路における予め決められた最大位置Nに関して、上記シリーズが最大位置Nを含むグループと、存在するのであれば走査経路に沿って先行する全てのグループとを含む第2のタイプのシリーズと、
を含む少なくとも2つの可能なタイプの中から選択される1シリーズの係数のタイプの関数として決定される1シリーズであって、少なくとも1グループの係数に対応する1シリーズの係数を符号化する手段と、
画像または一連の画像または画像の一部分に関して選択された1シリーズの係数のタイプを表す一片の情報のデータストリームへの挿入の手段とを含む。
【0080】
このような装置は特に、前述の符号化方法を実行できる。
【0081】
特にデータストリームは、連続する精緻化レベルにおけるネストされたデータ層の階層構造を有し、符号化手段は、繰り返しの各々がこれらのレベルの1つに対応する(また符号化ステップを実行する)繰り返し符号化を実現することができる。
【0082】
本発明はまた、予め決められたグループ化基準と変換されたブロックを読み取るための予め決められた走査経路とに従って係数の1グループ内に、または複数のグループ間に分散された変換ブロックの1セットの係数を含む変換ブロックが各々の画像ブロックに関連している少なくとも2つの画像ブロックに各画像が細分される1つの画像または一連の画像を表すデータストリームの復号のための方法に関する。
【0083】
本発明によればこのような復号方法は、
この1シリーズの係数が予め決められた数M個のグループの係数を含む第1のタイプのシリーズと、
識別される走査経路における予め決められた最大位置Nに関して、上記シリーズが最大位置Nを含むグループと、存在するのであれば走査経路に沿って先行する全てのグループとを含む第2のタイプのシリーズと、
を含む少なくとも2つの可能なタイプから画像または一連の画像または画像部分に適用される1シリーズの係数のタイプを読み取るステップと、
各変換されたブロックに関して、この読み取りステップによって送達された1シリーズの係数のタイプによる1シリーズの係数を考慮に入れる復号ステップとを含む。
【0084】
このような復号ステップは特に、前述の符号化方法に従って符号化されたデータストリームを受信することに適している。
【0085】
このようにしてデータストリームは連続する精緻化レベルでネストされたデータ層になっている階層構造を有することができる。
【0086】
特に繰り返しの各々がこれらのレベルの1つに対応する繰り返し符号化をこのストリームが受けるならば、第2のタイプのシリーズに関して下記のことを有する。
最大位置Nを含むグループを含むシリーズが前の繰り返しで符号化されたときにはこのシリーズは空である、
最大位置Nを含むグループを含むシリーズが前の繰り返しで符号化されていなかったときにはこのシリーズは、予め決められた最大位置を含むグループと、存在するのであれば前の繰り返しで既に符号化されたシリーズに属さない走査経路に沿った前の全てのグループとを含む。
【0087】
本発明はまた、予め決められたグループ化基準と変換されたブロックを読み取るための予め決められた走査経路とに従って係数の1グループ内に、または複数のグループ間に分散された変換ブロックの1セットの係数を含む変換ブロックが各々の画像ブロックに関連している少なくとも2つの画像ブロックに各画像が細分される1つの画像または1連の画像を表すデータストリームの復号のための装置に関する。
【0088】
本発明によればこのような復号装置は、
この1シリーズの係数が予め決められた数M個のグループの係数を含む第1のタイプのシリーズと、
識別される走査経路における予め決められた最大位置Nに関して、上記シリーズが最大位置Nを含むグループと、存在するのであれば走査経路に沿った全ての先行するグループとを含む第2のタイプのシリーズと、
を含む少なくとも2つの可能なタイプから画像または一連の画像または画像の一部分に適用される1シリーズの係数のタイプを読み取る手段と、
各変換されたブロックに関して、この読み取りステップによって送達されたタイプの1シリーズの係数に従って1シリーズの係数を考慮に入れる復号手段とを含む。
【0089】
このような装置は特に、前述の復号方法を実行できる。その結果としてこの装置は、前述の符号化装置によって符号化されたデータストリームを受信することに適応している。
【0090】
このデータストリームは特に、連続する精緻化レベルにおけるネストされたデータ層の階層構造を有することができる。
【0091】
本発明はまた、予め決められたグループ化基準と変換されたブロックを読み取るための予め決められた走査経路とに従って係数の1グループ内に、または複数のグループ間に分散された変換ブロックの1セットの係数を含む変換ブロックが各々の画像ブロックに関連している少なくとも2つの画像ブロックに各画像が細分される1つの画像または1連の画像を表すデータストリームを表す信号に関する。
【0092】
本発明によればこのような信号は、
このシリーズの係数が予め決められた数M個のグループの係数を含む第1のタイプのシリーズと、
識別される走査経路における予め決められた最大位置Nに関して、上記シリーズが最大位置Nを含むグループと、存在するのであれば走査経路に沿って先行する全てのグループとを含む第2のタイプのシリーズと、
を含む少なくとも2つの可能なタイプから画像または一連の画像または画像部分に適用される、1シリーズの係数のタイプを表す1片の情報を伝達する。
【0093】
このような信号は特に、前述の符号化方法に従って符号化されたデータストリームを含むことができる。この信号は当然のことながら、本発明による符号化方法に関連する種々の特徴を含むことができる。
【0094】
このようにしてこのデータストリームは、連続する精緻化レベルにおけるネストされたデータ層の階層構造を提供することができ、上記ストリームは繰り返し符号化を受け、これらの繰り返しの各々は上記レベルの1つに対応している。この場合、第2のタイプのシリーズに関して、
最大位置Nを含むグループを含むシリーズが前の繰り返しで符号化されていたときにはこのシリーズは空であり、
最大位置Nを含むグループを含むシリーズが前の繰り返しで符号化されていなかったときにはこのシリーズは、予め決められた最大位置を含むグループと、存在するのであれば前の繰り返しで既に符号化されたシリーズに属さない走査経路に沿って先行する全てのグループとを含む。
【0095】
最後に本発明は、通信ネットワークからダウンロード可能な、および/またはコンピュータ可読キャリアに記憶された、および/または前述の符号化方法の実行のためのプログラムコード命令を含むマイクロプロセッサによって実行可能な、コンピュータプログラム製品と、通信ネットワークからダウンロード可能な、および/またはコンピュータ可読キャリアに記憶された、および/または前述の符号化方法の実行のためのプログラムコード命令を含むマイクロプロセッサによって実行可能な、コンピュータプログラム製品とに関する。
【0096】
本発明の他の特徴と利点は、単なる例示的で非網羅的な例として与えられた好ましい実施形態の上記説明から、および下記の付属図面から明らかになるであろう。
【発明を実施するための最良の形態】
【0097】
7.発明の実施形態の説明
本発明の一般的原理は、画像を表す1セットの係数の間の1シリーズの係数であって、少なくとも2つのタイプの中から選択された1シリーズの係数のタイプの関数として決定される、符号化されるべき1シリーズの係数の符号化に依存する。
【0098】
本発明によれば本説明は、例えば離散コサイン変換(DCT)によって、変換ブロックがブロックの各々に関連する少なくとも2つのブロックに細分される画像を考える。説明の単純さと明瞭さのために、用語「ブロック」はここでは、画像の細分化と変換から導き出されるブロックを意味すると理解される。
【0099】
更に簡単化と明瞭さのために、画像または拡大縮小可能な画像列の符号化と復号とを可能にする本発明による単に1つの好ましい実施形態の詳細な説明が、下記に提供される。当業者は、この教示を非拡大縮小可能画像列または画像の符号化と復号とに容易に拡張する。
【0100】
本発明のこの好ましい実施形態による符号化方法は好都合にも、データストリームを生成するネストされたデータ層の階層構造の1レベルを各繰り返しにおいて符号化する繰り返しの方法である。
【0101】
従って各繰り返しにおいて1つの画像(または画像部分)は、1ブロックずつ走査され、これらのブロックのうちの各々のブロックの少なくともある一定の係数は、少なくとも2つの可能なタイプの中から選択された1シリーズの係数のタイプに従って符号化される。
【0102】
本発明のこの好ましい実施形態によればこれらの係数は、新しい有意係数、すなわち前の繰り返し時にゼロ値で符号化された係数の符号化を可能にする有意パスに従って、および/または前の繰り返し時に既に有意であった係数の精緻化/符号化を可能にする精緻化パスに従って、各繰り返し時に1つまたは2つのパスにおいて符号化され得る。
【0103】
用語、係数の「グループ」(または範囲)は、
本発明者らが有意な符号化(または復号)パスを考える場合には、係数の位置が連続している1グループの係数であって、1ブロックの先頭または1有意係数の位置の後のいずれかから始まって次の有意係数の後で終わる間隔に含まれる1グループの係数、
本発明者らが符号化(または復号)精緻化パスを考える場合には、精緻化されるべき単一の係数を意味すると理解される。
【0104】
用語「有意なグループ」は特に、有意なパスのときに得られるグループを指し、用語「精緻化グループ」は、精緻化パスのときに得られるグループを指す。
【0105】
ここで図4を参照して本発明者らは、本発明のこの好ましい実施形態による符号化方法の一般原理を提示する。
【0106】
この好ましい実施形態によれば、入力ビデオ成分41(画像、画像列または画像部分)は第一に、これら成分が少なくとも2つのブロックに細分され、これらのブロックの各々が1セットの係数を含むこのブロックに関連する変換ブロックを有する処理演算42を受ける。
【0107】
次の選択ステップ43のときに、1シリーズの係数のタイプが少なくとも2つの可能なタイプの中から選択される。
【0108】
より具体的には1シリーズの係数のタイプは、Mが予め決められた整数であるM個のグループの係数に1シリーズの係数が対応する第1のタイプと、1シリーズが予め決められた最大位置Nに配置された係数を含むグループと、存在するのであればジグザグな読み取り走査経路に在る、このグループに先行する全てのグループとを含む第2のタイプとを含む数個の可能なタイプの中から選択される。
【0109】
より具体的には、位置Nに局所化された係数を含むグループを含むシリーズが前の繰り返し時に既に符号化されていたときには、現在の繰り返し時に考えられるシリーズはゼロであるということが仮定されている。これに対して、位置Nに局所化された係数を含むグループを含むシリーズが前の繰り返し時にまだ符号化されていなかったときには、現在の繰り返し時に考えられるシリーズは位置Nに配置された係数を含むグループと、存在するのであればジグザグな読み取り走査経路内のこのグループに先行する全てのグループとを含む。
【0110】
このようにして数Nは、考えられているブロック内の位置であって、繰り返しの関数として定義されて、デフォルト設定によって知られストリーム内で符号化されたベクトルによって与えられるジグザグな走査経路が後に続く位置に対応する。例えばこのデフォルトベクトルは、4×4サイズのブロックに関しては[1,3,10,16]に等しく、あるいは8×8サイズのブロックに関しては[3,10,36,64]に等しい。
【0111】
本発明のこの好ましい実施形態によれば、このようにして1シリーズは、
1グループの係数(ここではM=1であるこの符号化は「モード0」で表される)に、または
考えられているブロックの1セットの係数(ここではこの符号化は「モード1」で表される)に、または
繰り返しの関数としての最大位置Nの関数として定義される1セットのグループ(ここではこの符号化は「モード2」で表される)に、または再び
M個のグループの係数(ここではこの符号化は「モード3」で表される)に、対応する。
【0112】
図5A〜5Dは特に、従来技術を参照して説明されたジグザグ順での係数の走査時の1ブロックの係数の符号化のためのこれら種々のシリーズを示す。
【0113】
このようにして図5Aは、「モード0」による第1のタイプの1シリーズの係数の符号化を示す。この場合のシリーズ51は、単一グループを含む。「0」はこの係数が新しく有意な係数ではない(これが前の繰り返しで有意な係数であるとして符号化されたか、あるいはこれが非有意な係数であるとして符号化されてこの現在の繰り返し時に非有意のままに留まっている)ことを意味し、また「1」はこの係数が新しく有意である(これが前の繰り返しにおいて値ゼロで符号化されて、この現在の繰り返しで有意になる)ことを意味することが想起され得る。従ってシリーズ51は、グループ0,0,0,1、係数符号、係数値に対応する。
【0114】
図5Bは、Nを6に等しくする場合の「モード2」による1シリーズの第2のタイプの係数の符号化を示す。シリーズ52は、ブロックのジグザグ経路に沿った位置6(図5Bにおいて521で参照される)に局所化された係数を含むグループと、これらのグループが前の繰り返しで既に符号化された係数を含まなければ、この経路の順序でこのグループに先行するグループとを含む。
【0115】
図5Cは、シリーズ53がM=2としてM個のグループの係数に対応する「モード3」による1シリーズの第1のタイプの符号化を示す。
【0116】
最後に図5Dは、シリーズ54が考えられているブロックの全ての係数に対応する「モード1」による第1のタイプの1シリーズの係数の符号化を示す。
【0117】
図4に戻って、一旦1シリーズの係数のタイプが選択されると、本発明のこの好ましい実施形態による符号化方法は、符号化ステップ44のときに、連続する層の階層構造の第1のレベル(第1の繰り返し)に関して、選択されたタイプの関数として決定される第1のブロックの1シリーズの係数を符号化し、それから第2のブロックを、以下同様に最後のブロック(45)まで符号化する。それからこの演算は、連続する層の階層構造の第2のレベル(第2の繰り返し46)に進み、選択されたタイプの関数として決定される第1のブロックの1シリーズの係数の新しい符号化が行われ、それから第2のブロックの係数、以下同様に第2のレベルの最後のブロック(45)まで符号化が行われる。このようにして階層構造のデータの各層が符号化される。
【0118】
第2のタイプのシリーズに関して最大位置Nを含むグループを含むシリーズが前の繰り返しで符号化されていたならば、このシリーズは空である。さもなければ、このシリーズは予め決められた最大位置を含むグループと、読み取り走査経路に従って先行する全てのグループ(このようなグループが存在すれば)とを含む。モード0とモード3に関しては符号化されるべきいかなるグループももはや残っていなければ、このシリーズは空である。
【0119】
一旦異なるレベルと異なるブロックとが符号化されると、本発明の符号器は、画像に関して、または画像列に関して、または画像の一部分に関して選択された1シリーズの係数のタイプを表す一片の情報が挿入される全データストリーム47を送達する。
【0120】
従って復号器は、選択された1シリーズの係数のタイプを表す情報を読み取ることができ、また特に精緻化層の復号のために使用される符号化モードに自動的に適応できる。従って本発明は、低い複雑さまたは適応できる複雑さの復号を有する可能性を提供する。
【0121】
1シリーズの係数の選択されたタイプを表すこの一片の情報はまた、例えば各繰り返しに関して数Mまたは位置Nの値を定義するベクトルを含む、実施についての一片の情報を伴い得る。
【0122】
従って符号化されたデータストリーム47は、第1に精緻化層の符号化のために特に復号器によって使用される選択された1シリーズの係数のタイプと、第2にこの符号化がモード2(位置Nを定義する際に)を実施するならば各繰り返しで得られる係数の位置を、または符号化がモード3(グループの数Mを定義する際に)を実施するならば符号化されるべき範囲の数を、定義するベクトルに関する1つ以上のビットとを示す2つの情報要素を伝達できる。
【0123】
説明された本発明の好ましい実施形態によればこれらの情報要素は、時間的画像または画像部分(スライスとも呼ばれる)に関するデータパケットのヘッダーにおいて、すなわちこの階層構造の各層のデータパケットのヘッダーにおいてストリーム47に挿入される。
【0124】
更に、ここではbInterlacedSigRefと呼ばれるパラメータをストリーム47に加えることも可能である。このパラメータbInterlacedSigRefは、所与の繰り返しに関して、有意係数のグループおよび/または精緻化係数のグループが符号化されるかどうかを示す。
【0125】
本方法はまた、本方法が符号化されるべき係数のシリーズを決定するために単に第2のタイプのシリーズを使用することに備えることができる点でも注目に値する。
【0126】
本発明の不可欠の部分である付録Aを参照すると、今度は本発明によるストリーム47に挿入された要素がイタリックで示されている拡大縮小可能な画像のヘッダーの構文の一例が示されている。この構文に関連する意味規則は、文献「Scalable Video Coding Joint Working Draft 4」、Joint Video Team (JVT) of the ISO/IEC MPEG and ITU−T VCEG,JVT−Q201,October 2005,Niceに、より明確に説明されている。
【0127】
ここで説明されるのは、単に本発明の好ましい実施形態によるストリーム47に挿入された要素の構造である。
【0128】
【表1】
【0129】
特にフィールドfgs coding modeは、復号器が圧縮されたデータストリームの、特に精緻化層の復号時に読み取ることができる符号化時に選択された1シリーズの係数のタイプを示すために使用される。
【0130】
特に、第1のタイプのシリーズが予め決められた数M個のグループの係数を含む1シリーズの係数を決定し、M=1であればこの符号化は「モード0」と表され;Mが考えられているブロックの係数のセットを含むならばこの符号化は「モード1」で表され;Mが予め決められた整数グループの係数に対応するならばこの符号化は「モード3」と表されることが想起される。
【0131】
第2のタイプのシリーズ(「モード2」)は、位置Nを含むグループと、位置Nを含むグループが前の繰り返しで符号化されていなければ、読み取り走査経路に沿ってこれに先行する全てのグループ(これらが存在すれば)とを含む1シリーズの係数を決定する;なければ、これは空シリーズである。
【0132】
これらの用語を大まかに使用して表記「モード0」、「モード1」、「モード2」および「モード3」もまた、対応する復号モードを表す。
【0133】
従ってフィールドfgs coding modeが値0を取るならば、それはこの符号化が「モード0」タイプによる第1のタイプのシリーズの係数に従って行われることを意味し、従って復号が各繰り返しにおいてこれらのブロックの各ブロックに関して1ブロックごとに1グループの復号を可能にしなければならないことを意味する。
【0134】
値1は、この符号化が「モード1」による第1のタイプのシリーズの係数に従って行われることを示し、従って復号が1つの繰り返しにおいて各ブロックの全ての係数の復号を可能にしなければならないことを示す。この「モード1」は、1ブロックの有意タイプおよび/または精緻化タイプのこれら全てのグループが1つの繰り返しで復号される精緻化層の低い複雑さの復号に対応する。
【0135】
値2は、この符号化が「モード2」による第2のタイプのシリーズの係数に従って行われることを示し、従ってこれがデフォルト設定によって、または一定または可変のベクトルによって各繰り返しにおいて定義された位置Nに達するまで復号が1セットのグループの1繰り返しごとに復号を可能にしなければならないことを示す。
【0136】
最後に値3は、この符号化が「モード3」による第1のタイプのシリーズの係数に従って行われることを示し、従って復号がM個のグループの1繰り返しごとに復号を可能にしなければならないことを示す。この数Mは一定であり得る。
【0137】
フラグvect4×4 presence flagとvect8×8 presence flagはそれぞれ、サイズが4×4ピクセルのブロックとサイズが8×8ピクセルのブロックとに関してモード2の場合に最大位置Nを定義するベクトルの存在を示す。
【0138】
より明確には、フラグの値が1に等しければ、このフラグに対応するベクトルはストリーム内に存在する。
【0139】
更にモード2の場合、変数num iter codedは、4×4ブロックおよび/または8×8ブロックに関してベクトルに含まれる値の数を示す。変数scanIndex blk4×4[i]は、グループが繰り返しiにおいて復号されなければならない4×4ブロックの係数の最大位置を示す。変数scanIndex blk8×8[i]は、グループが繰り返しiにおいて復号されなければならない8×8ブロックの係数の最大位置を示す。
【0140】
モードがモード2であって、4×4ブロック(またはそれぞれ8×8ブロック)に関するベクトルが存在しなければ、このベクトルはこのベクトルの値を4で割る際に(このベクトルの値にそれぞれ4を掛ける際に)8×8ブロック(またはそれぞれ4×4ブロック)に関するベクトルから推定される。
【0141】
これらのベクトルのどれも存在しなければ、4×4ブロックに関して値[1,3,10,16]を、また8×8ブロックに関して値[3,10,36,64]を有するデフォルトベクトルを使用することが選択される。
【0142】
このようにして各デフォルト値は、係数のブロックの予め決められた周波数ゾーン(4×4ブロックに関しては1から16の範囲、8×8ブロックに関しては1から64の範囲にある位置インデックス)に対応する。
【0143】
図6は特に、4×4サイズのブロックに関して考えられたデフォルトベクトルの周波数帯域を示す。このようにして参照符号61はジグザグ読み取り走査経路による位置1を示し、参照符号62は位置3を示し、参照符号63は位置10を示し、参照符号64はベクトル[1,3,10,16]において定義された位置16を示す。
【0144】
モード3の場合、num range coded変数は、各繰り返しで復号されるべき範囲またはグループの数を示す。
【0145】
最後に前述の全てのモード0〜3において、変数interlaced sig ref flagが1に等しければ、有意性の範囲および精緻化の範囲は各繰り返しで復号される。逆に変数interlaced sig ref flagが0に等しければ、有意性の範囲または精緻化の範囲は各繰り返しで復号される。
【0146】
後者の場合には精緻化範囲は、画像の全ての有意範囲が復号されたときにだけ復号される。
【0147】
今度は図7を参照して本発明者らは、本発明の復号方法の一般原理を提示する。
【0148】
特に、この復号方法の選択はデータストリームに存在していて復号器が読み取ったばかりである値fgs coding modeによって与えられる。
【0149】
上記に示されたように本発明のこの好ましい実施形態によれば、精緻化層を復号する4つのモードが選び出され、これらのモードは各繰り返しにおいて復号される範囲の数によって区別される。
モード0:各繰り返しで1ブロック当たり1つの範囲が復号される;
モード1:各繰り返しで各ブロックの全ての範囲が復号される;
モード2:各繰り返しで、Nが繰り返しの関数である位置Nがブロック内で到達されるまで、ある数の範囲が復号される;
モード3:各繰り返しで、一定数M個の範囲が復号される。
【0150】
第一に、この説明においてここで使用されたいくつかの表記が紹介される。
iterは、復号時に実行される繰り返しの回数に対応する;
completeLumaSigは、全ての輝度ブロックに関する全ての有意グループが復号されたかどうかを示すブール値である;
completeLumaRefは、全ての輝度ブロックの全ての精緻化グループが復号されたかどうかを示すブール値である;
completeChromaSigは、全てのクロミナンスブロックの全ての有意グループが復号されたかどうかを示すブール値である;
completeChromaRefは、全てのクロミナンスブロックの全ての精緻化グループが復号されたかどうかを示すブール値である;
bInterlacedChromaは、同じ繰り返し時にクロミナンスおよび輝度ブロックのグループが復号されたかどうかを示すブール値である;
interlaced sig ref flagは、有意および精緻化グループがインタレースされるかどうかを示すブール値である。その値はストリームから復号される;
completeLumaSigBl(iBloc)は、輝度ブロックiBlocの全ての有意グループが復号されたかどうかを示すブール値である;
completeLumaRefBl(iBloc)は、輝度ブロックiBlocの全ての精緻化グループが復号されたかどうかを示すブール値である;
completeChromaSigBl(iBloc)は、クロミナンスブロックiBlocの全ての有意グループが復号されたかどうかを示すブール値である;
completeChromaRefBl(iBloc)は、クロミナンスブロックiBlocの全ての精緻化グループが復号されたかどうかを示すブール値である。
【0151】
初期設定
初期設定ステップ71のときに、パラメータiterは値0を取り、completeLumaSigは値FALSE(偽)を取り、completeLumaRefは値FALSEを取り、completeChromaSigは値FALSEを取り、completeChromaRefは値FALSEを取る。画像の全てのブロックiBlocに関してcompleteLumaSigBl(iBloc)は値FALSEを取り、completeLumaRefBl(iBloc)は値FALSEを取り、completeChromaSigBl(iBloc)は値FALSEを取り、completeChromaRefBl(iBloc)は値FALSEを取る。
【0152】
マクロブロックの走査
その後ステップ72で、画像の各マクロブロックが走査される。各マクロブロックに関して変数completeLumaSigの値は、ステップ73「Test completeLumaSig」において見られる。変数completeLumaSigがFALSE(731)に等しければ、ステップ74で有意パスはマクロブロックの各輝度ブロックに関して復号されて、演算はステップ75に進む。
【0153】
変数completeLumaSigの値がTRUE(732)に行くならば、変数interlaced sig refの値はテストステップ75(test interlaced sig ref)のときに見られる。このテストは、interlaced sig refがTRUEに等しければ、あるいはcompleteLumaSigが真に等しくて、completeLumaRefがFALSEに等しければ、値TRUE(751)を与える。さもなければ(752)、このテストはFALSEを与える。テストinterlaced sig refがTRUEに等しければ、精緻化パスはマクロブロックの各輝度ブロックに関してステップ76で復号される。
【0154】
それから変数bInterlacedChromaはテストステップ77テスト「bInterlacedChroma」で見られる。これは、bInterlacedChromaがTRUEに等しくて、iterChroma(iter)がTRUEを与えるならば、あるいはcompleteLumaSigがTRUEに等しくてcompleteLumaRefがTRUEに等しければ、TRUE(771)を与える。「test bInterlacedChroma」77がFALSE(772)に等しければ、演算はステップ82に進む。「test bInterlacedChroma」77がTRUE(771)に等しければ、変数completeChromaSigの値は、ステップ78「Test completeChromaSig」のときに考慮される。completeChromaSigがFALSE(781)に等しければ、マクロブロックの各クロミナンスブロックに関して、有意パスはステップ79のときに符号化される。
【0155】
それから変数interlaced sig refは、テストステップ80のときに再びテストされる。このテストは、interlaced sig refがTRUEに等しければ、あるいはcompleteChromaSigがTRUEに等しくて、completeChromaRefがFALSEに等しければ、TRUE(801)を与える。さもなければ(802)、このテストは値FALSEを与える。テストが値TRUE(801)を与えれば、ステップ81のときに精緻化パスはマクロブロックの各クロミナンスブロックに関して復号され、それから演算はステップ82に進む。
【0156】
最後にステップ82で、考慮されているマクロブロックが画像の、または画像の現在部分の最後のマクロブロックであるかどうかを見るためにテストが行われる。それが最後のマクロブロックでなければ(821)、次のマクロブロックに対して繰り返し(83)が実行される。考慮されているマクロブロックが画像の、または画像の現在部分の最後のマクロブロックであれば(822)、演算は変数completeSig,Refを更新するためにステップ84に進む。それから終了テストが実行される85。
【0157】
変数completeSig,Refの更新(84)
変数completeSig,Refを更新するためのステップは、変数completeLumaSigとcompleteLumaRefとcompleteChromaSigとcompleteChromaRefとを更新する。
【0158】
より具体的には、
completeLumaSigは、画像の全てのiBlocブロックに関してcompleteLumaSigBl(iBloc)がTRUEに等しければ、値TRUEを取る;
completeLumaRefは、画像の全てのiBlocブロックに関してcompleteLumaRefBl(iBloc)がTRUEに等しければ、値TRUEを取る;
completeChromaSigは、画像の全てのiBlocブロックに関してcompleteChromaSigBl(iBloc)がTRUEに等しければ、値TRUEを取る;
completeChromaRefは、画像の全てのiBlocブロックに関してcompleteChromaRefBl(iBloc)がTRUEに等しければ、値TRUEを取る。
【0159】
終了テスト(85)
終了テストは、completeLumaSigがTRUEに等しくて、completeLumaRefがTRUEに等しくて、completeChromaSigがTRUEに等しくて、またcompleteChromaRefがTRUEに等しければ、TRUE(851)を与える。終了テストがFALSEに等しければ(852)、演算は次の繰り返し(iter++)に進む。さもなければ、復号は終了する(86)。
【0160】
関数iterChroma(iter)
この関数は、輝度およびクロミナンス範囲がインタレースされて、また繰り返しiterにおいてクロミナンス範囲が復号されなくてはならないならば、値TRUEを与える。この関数は、クロミナンスおよび輝度係数のインタレース化を制御するために使用される。
【0161】
例えば文献「Joint Scalable Video Model JSVM−4」2005年10月、ニース,JVT−Q202に定義されたように、JSVM4符号器/復号器は、(iter+offset iter)モジュロ3が0に等しければiterChroma(iter)はTRUEに等しいとして、単に3個の有意復号パスごとにクロミナンスパスを復号することを提示している。このパラメータoffset iterは第1のクロミナンス符号化繰り返しが符号化される輝度符号化繰り返しを定義するために使用されるパラメータである。
【0162】
有意および精緻化パスの復号
第一に、グループの復号は、
有意パスの場合には、
ブロックの先頭(または有意係数の直後)と次の新しく有意な係数の直前との間に位置する残り全ての非有意係数の復号と;
次の新しく有意な係数の復号と、に;また
精緻化パスの場合には、
既に有意な係数の精緻さの復号に、
対応することが想起され得る。
【0163】
これらの係数の走査は、ジグザグ順に行われる。クロミナンスブロックと輝度ブロックとの復号は同じ方法で行われる。
【0164】
モード0の場合には各ブロックに関して、1グループが復号される。演算がブロックの終端にあれば、現在ブロックのブールパラメータcompleteCompPassBlはTRUEに位置付けられる。ここで、変数Compはこのブロックが輝度ブロックであればLumaを、ブロックがクロミナンスブロックであればChromaを示し、また変数Passは復号されたパスが有意パスであればSigを、また復号されたパスが精緻化パスであればRefを示す。
【0165】
モード1の場合には各ブロックに関して、全てのグループが復号されて、現在ブロックのcompleteCompPassBlはTRUEに位置付けられる。
【0166】
モード2の場合には各ブロックに関して、scanIndex blkkx[i]に等しいブロック内の最大位置N、ここでiは現在の繰り返し番号であり、kxkはブロックのタイプ(輝度ブロックに関しては4×4または8×8あるいはクロミナンスブロックに関しては4×4)である。それから最後に復号された係数の位置が位置Nより小さい限り、範囲が復号される。演算がブロックの終端にあれば、現在ブロックのcompleteCompPassBlはTRUEに位置付けられる。
【0167】
モード3の場合には各ブロックに関して、num range coded(num range coded=M)に等しい数のグループが復号される。演算がブロックの終端にあれば、現在ブロックのcompleteCompPassBlはTRUEに位置付けられる。
【0168】
図8は、前述の符号化方法を実施して画像または画像列を符号化するための装置のハードウエア構造を示す。
【0169】
この種の符号化装置は、メモリM87と、例えばマイクロプロセッサμPを備えてコンピュータプログラムPg89によって駆動される処理ユニットP88とを含む。初期設定時にコンピュータプログラムPg89のコード命令は例えばRAMにロードされ、それから処理ユニットP88のプロセッサによって実行される。入力において処理ユニットP88はビデオ入力成分41(画像、画像列または画像部分)を受信する。処理ユニット88のマイクロプロセッサμPはプログラムPg89の命令に従って、図4を参照しながら前に説明された符号化方法のステップを実行する。処理ユニット88は符号化されたデータストリーム47を出力する。
【0170】
図9は、例えば図8の符号化装置によって生成された符号化されたデータストリームを復号するための装置のハードウエア構造を示す。
【0171】
この種の復号装置は、メモリM90と、例えばマイクロプロセッサμPを備えてコンピュータプログラムPg92によって駆動される処理ユニットP91とを含む。初期設定時にコンピュータプログラムPg92のコード命令は例えばRAMにロードされ、それから処理ユニット91のプロセッサによって実行される。入力において処理ユニット91は復号されるべき符号化されたデータのストリーム93を受信する。処理ユニット91のマイクロプロセッサμPはプログラムPg92の命令に従って、図7を参照しながら前に説明された復号方法のステップを実行する。処理ユニット91は復号されたビデオ成分41(画像、画像列または画像部分)を出力する。
【0172】
付録A
【0173】
【表2A】
【表2B】
【表2C】
【図面の簡単な説明】
【0174】
【図1】従来技術を参照して既に説明された、JSVMタイプの符号器を示す。
【図2A】これも従来技術を参照して提示された、画像を形成するブロックの係数のジグザグ経路を示す。
【図2B】これも従来技術を参照して提示された、画像を形成するブロックの係数のジグザグ経路を示す。
【図3】これも従来技術を参照して提示された、従来技術によるSVCタイプのストリームの構造を記述する図である。
【図4】本発明による符号化方法の一般原理を示す。
【図5A】図4の方法によるブロックの係数の符号化のための異なる可能なタイプのシリーズを示す。
【図5B】図4の方法によるブロックの係数の符号化のための異なる可能なタイプのシリーズを示す。
【図5C】図4の方法によるブロックの係数の符号化のための異なる可能なタイプのシリーズを示す。
【図5D】図4の方法によるブロックの係数の符号化のための異なる可能なタイプのシリーズを示す。
【図6】本発明の1変形版による4×4サイズのブロックのために考慮されたデフォルトベクトルの周波数帯域を示す。
【図7】本発明による復号方法の一般原理を記述する図である。
【図8】本発明による符号化装置と復号装置の単純化されたハードウエア構造を示す。
【図9】本発明による符号化装置と復号装置の単純化されたハードウエア構造を示す。
【特許請求の範囲】
【請求項1】
1つのデータストリームを生成する1つの画像または一連の画像の符号化方法であって、
各画像は、1セットの係数を含む変換ブロックが各々の画像ブロックに関連している少なくとも2つの画像ブロックに細分され、
前記変換ブロックの1セットの係数は、予め決められたグループ化基準と変換されたブロックを読み取るための予め決められた走査経路とに従って係数の1グループ内に、または複数のグループ間に分散され、
前記符号化方法は、前記変換されたブロックの各々に関して、
少なくとも1グループの係数に対応する1シリーズの係数を符号化するためのステップであって、前記1シリーズは、少なくとも2つの可能なタイプの中から選択される1シリーズの係数のタイプの関数として決定され、前記2つの可能なタイプは、前記1シリーズの係数が予め決められた数M個のグループの係数を含む第1のシリーズタイプと、識別された前記走査経路における予め決められた最大位置Nに関して、前記シリーズが前記最大位置Nを含むグループと、存在するのであれば前記走査経路に沿って先行する全てのグループとを含む第2のシリーズタイプとを含む、ステップと、
前記画像または一連の画像または前記画像の一部分に関して選択された1シリーズの係数の前記タイプを表す一片の情報の前記データストリームへの挿入のステップと
を含む、符号化方法。
【請求項2】
前記データストリームは、連続する精緻化レベルにおけるネストされたデータ層の階層構造を有することと、前記方法は繰り返しの各々が前記レベルの1つに対応し、前記符号化ステップを実行する繰り返し符号化を実現することとを特徴とする、請求項1に記載の符号化方法。
【請求項3】
前記第2のシリーズタイプに関して、
前記最大位置Nを含む前記グループを含む前記シリーズが前の繰り返しで符号化されていたときには前記シリーズは空であり、
前記最大位置Nを含む前記グループを含む前記シリーズが前の繰り返しで符号化されていなかったときには前記シリーズは、前記予め決められた最大位置を含むグループと、存在するのであれば前の繰り返しで既に符号化されたシリーズに属さない前記走査経路に沿って先行する全てのグループとを含むことを特徴とする、請求項2に記載の符号化方法。
【請求項4】
前記繰り返しの各々は、
有意パスと、
精緻化パスと、
のうちの少なくとも1つを実施し、
前記符号化ステップは実施された単数または複数のパスに適用されることと、
実施された前記パスのタイプを示すパラメータは1シリーズの係数の前記タイプを表す前記1片の情報に随伴することとを特徴とする、請求項2および3のいずれか一項に記載の符号化方法。
【請求項5】
前記パスが有意パスであるときには、前記予め決められたグループ化基準は、前記読み取り走査経路に沿って接した第1の有意係数で終了する1セットの連続する非有意係数として1グループを定義し、前記パスが精緻化パスであるときには、前記予め決められたグループ化基準は、1グループを一意の有意係数として定義することを特徴とする、請求項4に記載の符号化方法。
【請求項6】
1シリーズの係数の前記タイプを表す前記一片の情報は、各繰り返しに関して前記数Mまたは前記位置Nの値を定義するベクトルを含む、実施についての一片の情報を伴うことを特徴とする、請求項2〜5のいずれか一項に記載の符号化方法。
【請求項7】
ソース画像が符号化される少なくとも2つの成分に分解されることと、前記符号化が前記成分の各々に適用されることとを特徴とする、請求項1〜6のいずれか一項に記載の符号化方法。
【請求項8】
1つのデータストリームを生成する1つの画像または一連の画像の符号化装置であって、
各画像は、1セットの係数を含む変換ブロックが各々の画像ブロックに関連している少なくとも2つの画像ブロックに細分され、
前記変換ブロックの1セットの係数は、予め決められたグループ化基準と変換されたブロックを読み取るための予め決められた走査経路とに従って係数の1グループ内に、または複数のグループ間に分散され、
前記符号化装置は、
少なくとも1グループの係数に対応する1シリーズの係数を符号化する手段であって、前記1シリーズは、少なくとも2つの可能なタイプの中から選択される1シリーズの係数のタイプの関数として決定され、前記2つの可能なタイプは、前記1シリーズの係数が予め決められた数M個のグループの係数を含む第1のシリーズタイプと、識別された前記走査経路における予め決められた最大位置Nに関して、前記シリーズが前記最大位置Nを含むグループと、存在するのであれば前記走査経路に沿って先行する全てのグループとを含む第2のシリーズタイプとを含む、手段と、
前記画像または一連の画像または前記画像の一部分に関して選択された1シリーズの係数の前記タイプを表す一片の情報の前記データストリームへの挿入の手段と
を備える、符号化装置。
【請求項9】
前記ストリームは、連続する精緻化レベルにおけるネストされたデータ層の階層構造を有し、前記符号化手段は繰り返しの各々が前記レベルの1つに対応する繰り返し符号化を実行することと、
前記第2のシリーズタイプに関して、
前記最大位置Nを含む前記グループを含む前記シリーズが前の繰り返しで符号化されていたときには前記シリーズは空であり、
前記最大位置Nを含む前記グループを含む前記シリーズが前の繰り返しで符号化されていなかったときには前記シリーズは、前記予め決められた最大位置を含むグループと、存在するのであれば前の繰り返しで既に符号化されたシリーズに属さない前記走査経路に沿って先行する全てのグループとを含むことを特徴とする、請求項8に記載の符号化装置。
【請求項10】
通信ネットワークからダウンロード可能な、および/またはコンピュータ可読キャリアに記憶された、および/またはマイクロプロセッサによって実行可能なコンピュータプログラム製品であって、請求項1〜7の少なくとも一項に記載の符号化方法の実行のためのプログラムコード命令を含むことを特徴とする、コンピュータプログラム製品。
【請求項11】
1つの画像または一連の画像を表すデータストリームの復号のための方法であって、
各画像は、1セットの係数を含む変換ブロックが各々の画像ブロックに関連している少なくとも2つの画像ブロックに細分され、
前記変換ブロックの1セットの係数は、予め決められたグループ化基準と変換されたブロックを読み取るための予め決められた走査経路とに従って係数の1グループ内に、または複数のグループ間に分散され、
前記復号方法は、
前記1シリーズの係数が予め決められた数M個のグループの係数を含む第1のシリーズタイプと、識別された走査経路における予め決められた最大位置Nに関して、前記シリーズが前記最大位置Nを含むグループと、存在するのであれば前記走査経路に沿って先行する全てのグループとを含む第2のシリーズタイプとを含む少なくとも2つの可能なタイプの中から前記画像または一連の画像または画像部分に適用される1シリーズの係数のタイプを読み取るステップと、
各変換されたブロックに関して、前記読み取りステップによって送達された1シリーズの係数のタイプに従って1シリーズの係数を考慮して復号するステップと
を含む、復号方法。
【請求項12】
前記データストリームは連続する精緻化レベルにおけるネストされたデータ層の階層構造を有し、前記ストリームは繰り返し符号化を受け、前記繰り返しの各々は前記レベルの1つに対応することと、
前記第2のシリーズタイプに関して、
前記最大位置Nを含む前記グループを含む前記シリーズが前の繰り返しで符号化されていたときには前記シリーズは空であり、
前記最大位置Nを含む前記グループを含む前記シリーズが前の繰り返しで符号化されていなかったときには前記シリーズは、前記予め決められた最大位置を含むグループと、存在するのであれば前の繰り返しで既に符号化されたシリーズに属さない前記走査経路に沿って先行する全てのグループとを含むこととを特徴とする、請求項11に記載の復号方法。
【請求項13】
1つの画像または一連の画像を表すデータストリームの復号のための装置であって、
各画像は、1セットの係数を含む変換ブロックが各々の画像ブロックに関連している少なくとも2つの画像ブロックに細分され、
前記変換ブロックの1セットの係数は、予め決められたグループ化基準と変換されたブロックを読み取るための予め決められた走査経路とに従って係数の1グループ内に、または複数のグループ間に分散され、
前記復号装置は、
前記1シリーズの係数が予め決められた数M個のグループの係数を含む第1のシリーズタイプと、識別された前記走査経路における予め決められた最大位置Nに関して、前記シリーズが前記最大位置Nを含むグループと、存在するのであれば前記走査経路に沿って先行する全てのグループとを含む第2のシリーズタイプとを含む少なくとも2つの可能なタイプの中から前記画像または一連の画像または画像部分に適用される1シリーズの係数のタイプを読み取る手段と、
各変換されたブロックに関して、前記読み取りステップによって送達された1シリーズの係数のタイプに従って1シリーズの係数を考慮して復号する手段と
を含む、復号装置。
【請求項14】
前記データストリームは連続する精緻化レベルにおけるネストされたデータ層の階層構造を有し、前記ストリームは繰り返し符号化を受け、前記繰り返しの各々は前記レベルの1つに対応することと、
前記第2のシリーズタイプに関して、
前記最大位置Nを含む前記グループを含む前記シリーズが前の繰り返しで符号化されていたときには前記シリーズは空であり、
前記最大位置Nを含む前記グループを含む前記シリーズが前の繰り返しで符号化されていなかったときには前記シリーズは、前記予め決められた最大位置を含むグループと、存在するのであれば前の繰り返しで既に符号化されたシリーズに属さない前記走査経路に沿って先行する全てのグループとを含むこととを特徴とする、請求項13に記載の復号装置。
【請求項15】
通信ネットワークからダウンロード可能な、および/またはコンピュータ可読キャリアに記憶された、および/またはマイクロプロセッサによって実行可能なコンピュータプログラム製品であって、請求項11および12の少なくとも一項に記載の復号方法の実行のためのプログラムコード命令を含むことを特徴とする、コンピュータプログラム製品。
【請求項16】
1つの画像または一連の画像を表すデータストリームを表す信号であって、
各画像は、1セットの係数を含む変換ブロックが各々の画像ブロックに関連している少なくとも2つの画像ブロックに細分され、
前記変換ブロックの1セットの係数は、予め決められたグループ化基準と変換されたブロックを読み取るための予め決められた走査経路とに従って係数の1グループ内に、または複数のグループ間に分散され、
前記信号は、
前記1シリーズの係数が予め決められた数M個のグループの係数を含む第1のシリーズタイプと、
識別された走査経路における予め決められた最大位置Nに関して、前記シリーズが前記最大位置Nを含むグループと、存在するのであれば前記走査経路に沿って先行する全てのグループとを含む第2のシリーズタイプと
を含む少なくとも2つの可能なタイプの中から前記画像または一連の画像または前記画像の一部分に適用される1シリーズの係数のタイプを表す一片の情報を伝達する、信号。
【請求項17】
前記データストリームは連続する精緻化レベルにおけるネストされたデータ層の階層構造を有し、前記ストリームは繰り返し符号化を受け、前記繰り返しの各々は前記レベルの1つに対応することと、
前記第2のシリーズタイプに関して、
前記最大位置Nを含む前記グループを含む前記シリーズが前の繰り返しで符号化されていたときには前記シリーズは空であり、
前記最大位置Nを含む前記グループを含む前記シリーズが前の繰り返しで符号化されていなかったときには前記シリーズは、前記予め決められた最大位置を含むグループと、存在するのであれば前の繰り返しで既に符号化されたシリーズに属さない前記走査経路に沿って先行する全てのグループとを含むこととを特徴とする、請求項16に記載の信号。
【請求項1】
1つのデータストリームを生成する1つの画像または一連の画像の符号化方法であって、
各画像は、1セットの係数を含む変換ブロックが各々の画像ブロックに関連している少なくとも2つの画像ブロックに細分され、
前記変換ブロックの1セットの係数は、予め決められたグループ化基準と変換されたブロックを読み取るための予め決められた走査経路とに従って係数の1グループ内に、または複数のグループ間に分散され、
前記符号化方法は、前記変換されたブロックの各々に関して、
少なくとも1グループの係数に対応する1シリーズの係数を符号化するためのステップであって、前記1シリーズは、少なくとも2つの可能なタイプの中から選択される1シリーズの係数のタイプの関数として決定され、前記2つの可能なタイプは、前記1シリーズの係数が予め決められた数M個のグループの係数を含む第1のシリーズタイプと、識別された前記走査経路における予め決められた最大位置Nに関して、前記シリーズが前記最大位置Nを含むグループと、存在するのであれば前記走査経路に沿って先行する全てのグループとを含む第2のシリーズタイプとを含む、ステップと、
前記画像または一連の画像または前記画像の一部分に関して選択された1シリーズの係数の前記タイプを表す一片の情報の前記データストリームへの挿入のステップと
を含む、符号化方法。
【請求項2】
前記データストリームは、連続する精緻化レベルにおけるネストされたデータ層の階層構造を有することと、前記方法は繰り返しの各々が前記レベルの1つに対応し、前記符号化ステップを実行する繰り返し符号化を実現することとを特徴とする、請求項1に記載の符号化方法。
【請求項3】
前記第2のシリーズタイプに関して、
前記最大位置Nを含む前記グループを含む前記シリーズが前の繰り返しで符号化されていたときには前記シリーズは空であり、
前記最大位置Nを含む前記グループを含む前記シリーズが前の繰り返しで符号化されていなかったときには前記シリーズは、前記予め決められた最大位置を含むグループと、存在するのであれば前の繰り返しで既に符号化されたシリーズに属さない前記走査経路に沿って先行する全てのグループとを含むことを特徴とする、請求項2に記載の符号化方法。
【請求項4】
前記繰り返しの各々は、
有意パスと、
精緻化パスと、
のうちの少なくとも1つを実施し、
前記符号化ステップは実施された単数または複数のパスに適用されることと、
実施された前記パスのタイプを示すパラメータは1シリーズの係数の前記タイプを表す前記1片の情報に随伴することとを特徴とする、請求項2および3のいずれか一項に記載の符号化方法。
【請求項5】
前記パスが有意パスであるときには、前記予め決められたグループ化基準は、前記読み取り走査経路に沿って接した第1の有意係数で終了する1セットの連続する非有意係数として1グループを定義し、前記パスが精緻化パスであるときには、前記予め決められたグループ化基準は、1グループを一意の有意係数として定義することを特徴とする、請求項4に記載の符号化方法。
【請求項6】
1シリーズの係数の前記タイプを表す前記一片の情報は、各繰り返しに関して前記数Mまたは前記位置Nの値を定義するベクトルを含む、実施についての一片の情報を伴うことを特徴とする、請求項2〜5のいずれか一項に記載の符号化方法。
【請求項7】
ソース画像が符号化される少なくとも2つの成分に分解されることと、前記符号化が前記成分の各々に適用されることとを特徴とする、請求項1〜6のいずれか一項に記載の符号化方法。
【請求項8】
1つのデータストリームを生成する1つの画像または一連の画像の符号化装置であって、
各画像は、1セットの係数を含む変換ブロックが各々の画像ブロックに関連している少なくとも2つの画像ブロックに細分され、
前記変換ブロックの1セットの係数は、予め決められたグループ化基準と変換されたブロックを読み取るための予め決められた走査経路とに従って係数の1グループ内に、または複数のグループ間に分散され、
前記符号化装置は、
少なくとも1グループの係数に対応する1シリーズの係数を符号化する手段であって、前記1シリーズは、少なくとも2つの可能なタイプの中から選択される1シリーズの係数のタイプの関数として決定され、前記2つの可能なタイプは、前記1シリーズの係数が予め決められた数M個のグループの係数を含む第1のシリーズタイプと、識別された前記走査経路における予め決められた最大位置Nに関して、前記シリーズが前記最大位置Nを含むグループと、存在するのであれば前記走査経路に沿って先行する全てのグループとを含む第2のシリーズタイプとを含む、手段と、
前記画像または一連の画像または前記画像の一部分に関して選択された1シリーズの係数の前記タイプを表す一片の情報の前記データストリームへの挿入の手段と
を備える、符号化装置。
【請求項9】
前記ストリームは、連続する精緻化レベルにおけるネストされたデータ層の階層構造を有し、前記符号化手段は繰り返しの各々が前記レベルの1つに対応する繰り返し符号化を実行することと、
前記第2のシリーズタイプに関して、
前記最大位置Nを含む前記グループを含む前記シリーズが前の繰り返しで符号化されていたときには前記シリーズは空であり、
前記最大位置Nを含む前記グループを含む前記シリーズが前の繰り返しで符号化されていなかったときには前記シリーズは、前記予め決められた最大位置を含むグループと、存在するのであれば前の繰り返しで既に符号化されたシリーズに属さない前記走査経路に沿って先行する全てのグループとを含むことを特徴とする、請求項8に記載の符号化装置。
【請求項10】
通信ネットワークからダウンロード可能な、および/またはコンピュータ可読キャリアに記憶された、および/またはマイクロプロセッサによって実行可能なコンピュータプログラム製品であって、請求項1〜7の少なくとも一項に記載の符号化方法の実行のためのプログラムコード命令を含むことを特徴とする、コンピュータプログラム製品。
【請求項11】
1つの画像または一連の画像を表すデータストリームの復号のための方法であって、
各画像は、1セットの係数を含む変換ブロックが各々の画像ブロックに関連している少なくとも2つの画像ブロックに細分され、
前記変換ブロックの1セットの係数は、予め決められたグループ化基準と変換されたブロックを読み取るための予め決められた走査経路とに従って係数の1グループ内に、または複数のグループ間に分散され、
前記復号方法は、
前記1シリーズの係数が予め決められた数M個のグループの係数を含む第1のシリーズタイプと、識別された走査経路における予め決められた最大位置Nに関して、前記シリーズが前記最大位置Nを含むグループと、存在するのであれば前記走査経路に沿って先行する全てのグループとを含む第2のシリーズタイプとを含む少なくとも2つの可能なタイプの中から前記画像または一連の画像または画像部分に適用される1シリーズの係数のタイプを読み取るステップと、
各変換されたブロックに関して、前記読み取りステップによって送達された1シリーズの係数のタイプに従って1シリーズの係数を考慮して復号するステップと
を含む、復号方法。
【請求項12】
前記データストリームは連続する精緻化レベルにおけるネストされたデータ層の階層構造を有し、前記ストリームは繰り返し符号化を受け、前記繰り返しの各々は前記レベルの1つに対応することと、
前記第2のシリーズタイプに関して、
前記最大位置Nを含む前記グループを含む前記シリーズが前の繰り返しで符号化されていたときには前記シリーズは空であり、
前記最大位置Nを含む前記グループを含む前記シリーズが前の繰り返しで符号化されていなかったときには前記シリーズは、前記予め決められた最大位置を含むグループと、存在するのであれば前の繰り返しで既に符号化されたシリーズに属さない前記走査経路に沿って先行する全てのグループとを含むこととを特徴とする、請求項11に記載の復号方法。
【請求項13】
1つの画像または一連の画像を表すデータストリームの復号のための装置であって、
各画像は、1セットの係数を含む変換ブロックが各々の画像ブロックに関連している少なくとも2つの画像ブロックに細分され、
前記変換ブロックの1セットの係数は、予め決められたグループ化基準と変換されたブロックを読み取るための予め決められた走査経路とに従って係数の1グループ内に、または複数のグループ間に分散され、
前記復号装置は、
前記1シリーズの係数が予め決められた数M個のグループの係数を含む第1のシリーズタイプと、識別された前記走査経路における予め決められた最大位置Nに関して、前記シリーズが前記最大位置Nを含むグループと、存在するのであれば前記走査経路に沿って先行する全てのグループとを含む第2のシリーズタイプとを含む少なくとも2つの可能なタイプの中から前記画像または一連の画像または画像部分に適用される1シリーズの係数のタイプを読み取る手段と、
各変換されたブロックに関して、前記読み取りステップによって送達された1シリーズの係数のタイプに従って1シリーズの係数を考慮して復号する手段と
を含む、復号装置。
【請求項14】
前記データストリームは連続する精緻化レベルにおけるネストされたデータ層の階層構造を有し、前記ストリームは繰り返し符号化を受け、前記繰り返しの各々は前記レベルの1つに対応することと、
前記第2のシリーズタイプに関して、
前記最大位置Nを含む前記グループを含む前記シリーズが前の繰り返しで符号化されていたときには前記シリーズは空であり、
前記最大位置Nを含む前記グループを含む前記シリーズが前の繰り返しで符号化されていなかったときには前記シリーズは、前記予め決められた最大位置を含むグループと、存在するのであれば前の繰り返しで既に符号化されたシリーズに属さない前記走査経路に沿って先行する全てのグループとを含むこととを特徴とする、請求項13に記載の復号装置。
【請求項15】
通信ネットワークからダウンロード可能な、および/またはコンピュータ可読キャリアに記憶された、および/またはマイクロプロセッサによって実行可能なコンピュータプログラム製品であって、請求項11および12の少なくとも一項に記載の復号方法の実行のためのプログラムコード命令を含むことを特徴とする、コンピュータプログラム製品。
【請求項16】
1つの画像または一連の画像を表すデータストリームを表す信号であって、
各画像は、1セットの係数を含む変換ブロックが各々の画像ブロックに関連している少なくとも2つの画像ブロックに細分され、
前記変換ブロックの1セットの係数は、予め決められたグループ化基準と変換されたブロックを読み取るための予め決められた走査経路とに従って係数の1グループ内に、または複数のグループ間に分散され、
前記信号は、
前記1シリーズの係数が予め決められた数M個のグループの係数を含む第1のシリーズタイプと、
識別された走査経路における予め決められた最大位置Nに関して、前記シリーズが前記最大位置Nを含むグループと、存在するのであれば前記走査経路に沿って先行する全てのグループとを含む第2のシリーズタイプと
を含む少なくとも2つの可能なタイプの中から前記画像または一連の画像または前記画像の一部分に適用される1シリーズの係数のタイプを表す一片の情報を伝達する、信号。
【請求項17】
前記データストリームは連続する精緻化レベルにおけるネストされたデータ層の階層構造を有し、前記ストリームは繰り返し符号化を受け、前記繰り返しの各々は前記レベルの1つに対応することと、
前記第2のシリーズタイプに関して、
前記最大位置Nを含む前記グループを含む前記シリーズが前の繰り返しで符号化されていたときには前記シリーズは空であり、
前記最大位置Nを含む前記グループを含む前記シリーズが前の繰り返しで符号化されていなかったときには前記シリーズは、前記予め決められた最大位置を含むグループと、存在するのであれば前の繰り返しで既に符号化されたシリーズに属さない前記走査経路に沿って先行する全てのグループとを含むこととを特徴とする、請求項16に記載の信号。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図6】
【図7】
【図8】
【図9】
【図2A】
【図2B】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図6】
【図7】
【図8】
【図9】
【公表番号】特表2009−522891(P2009−522891A)
【公表日】平成21年6月11日(2009.6.11)
【国際特許分類】
【出願番号】特願2008−548987(P2008−548987)
【出願日】平成18年12月26日(2006.12.26)
【国際出願番号】PCT/EP2006/070210
【国際公開番号】WO2007/077178
【国際公開日】平成19年7月12日(2007.7.12)
【出願人】(591034154)フランス テレコム (290)
【Fターム(参考)】
【公表日】平成21年6月11日(2009.6.11)
【国際特許分類】
【出願日】平成18年12月26日(2006.12.26)
【国際出願番号】PCT/EP2006/070210
【国際公開番号】WO2007/077178
【国際公開日】平成19年7月12日(2007.7.12)
【出願人】(591034154)フランス テレコム (290)
【Fターム(参考)】
[ Back to top ]