ウェーブレット画像の符号化方法及び対応する復号化方法
本発明は、画像に関連した階層的なメッシュを有する画像を符号化し、前記メッシュのウェーブレットによる符号化を含む方法に関する。本発明によれば、１つのこうした符号化方法には、画像の様々な領域に選択的に適用される少なくとも２つの種類のウェーブレットを使用することが含まれる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の技術分野は静止画像又は動画の符号化の分野、特に、ビデオシーケンスの連続した画像の符号化の分野に関するが、これに限定されることはない。より具体的には、本発明は、画像がそれ自体に関連したメッシュを有し、ウェーブレット法として周知の方法を実行する画像の符号化または復号化技術に関する。本発明は、特にWim Sweldensによる文献、「The Lifting Scheme : A Construction of Second-Generation Wavelets」、SIAM Journal on Mathematical Analysis、第２９巻、第２号、ページ５１１〜５４６、１９９８年、の中で示された第２世代のウェーブレットに適用できるが、これに限定されることはない。
【背景技術】
【０００２】
新しい送信ネットワーク（ｘＤＳＬ、ＧＰＲＳ及びＵＭＴＳを使用する携帯電話など）の開発は、画像の符号化及びディジタルビデオの圧縮技術が長期にわたるサービス品質（ＱｏＳ）において起こり得る変動に加えて、ネットワークの異質性に適合する必要があることを意味する。これら全ての要素を静止画像又は動画の符号化の中で考慮することにより、最終的なユーザに最適な視覚品質を与える必要がある。
【０００３】
今までのところ、ＩＳＯ／ＭＰＥＧ（「International Organization for Standardization/Moving Picture Coding Expert Group」）及び／又はＩＴＵ−Ｔ（「International Telecommunication Union-Telecommunication Standardization Sector」）が提案した技術のような、時間ベースの予測及びブロック構造に基づいた離散コサイン変換（Discrete Cosine Transformation）による符号化技術などの幾つかの周知の画像符号化技術がある。
【０００４】
ブロックベースのＤＣＴ変換による符号化に基づいた従来技術に特有な符号化技術（MicrosoftのWindows Media、RealMediaのReal One、Divx（登録商標）など）、又はさらに本願の所有者が出願したフランス特許出願第２７８１９０７号（「Method for the encoding of a source mesh taking account of discontinuities, and corresponding applications」）及び第２８２５８５５号（Methods and devices for the encoding and decoding of images implementing nested images, corresponding program, signal and application）も存在する。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、これら様々な従来技術の画像符号化技術には、特にビットレートが極めて低いアプリケーション又は送信ネットワークに対して多くの欠点がある。
【０００６】
例えば、ブロックベースの符号化技術では、強い影響すなわちアーチファクトが見えてしまい、画像を復元した場合の視覚品質が大きく低下する。ＭＰＥＧ−４又はＩＴＵ−Ｔ／Ｈ．２６３形の符号化方法は、特に、全ての符号化計算及び演算に対する媒体として使用される固定長の硬直したブロック構造のために、現在ではその限界に達していると考えられている。同様に、ウェーブレットを用いる技術に関しては、「リンギング」としても周知の過剰振動効果（over-oscillation effect）により、ユーザにとって極めて不快なぼやけた描画（fuzzy rendering）及び画像上にウェーブレットを「見ている」ような印象が与えられる。
【０００７】
より高いビットレートを用いるアプリケーション又は送信ネットワークに関しては、これらの様々な技術は符号化効率の限界を達成するために用いることはできない。
【０００８】
最後に、これらの従来技術のいずれによっても、画像の本来備わっている特性を考慮に入れて、ある画像の符号化を最適化することはできない。
【０００９】
さらに、ビデオシーケンスの符号化の場合には、あるいは、送信及び符号化されるデータの量を減少させるために、例えば、シーケンスから本来の画像及び補間された画像を取り去ることによって、エラー画像を計算することや、又は動きの予測／補償によって決定される画像を計算することは一般的な方法である。例えば、本願の所有者が出願した、「Method for the construction of at least one image interpolated between two images of a moving sequence, corresponding methods of encoding and decoding, signal and data carrier」という名称のフランス特許出願第００１０９１７号を参照することができる。
【００１０】
現在は、これら従来の符号化技術のいずれも、こうしたエラー画像の特定の内容に適合させたものではない。エラー画像は一般に、輪郭、テクスチャー、あるいはまた特異点のような高い周波数のみを含んでいる。
【００１１】
本発明は、従来技術のこれらの欠点を克服することを特に目的とする。
【００１２】
より具体的に言うと、本発明の目的は、符号化の結果を従来技術と比較して最適にする静止画像又は動画を符号化するための技術を提供することである。
【００１３】
本発明の別の目的は、符号化装置から到来し、画像の復号化及び復元の装置まで通信ネットワークによって送信されるデータの量を削減することができるような種類の手法を実現することである。
【００１４】
また本発明の目的は、拡張性のある、すなわち送信ネットワークの変動及び特にこうしたネットワークのビットレートの変化に適合するような種類の技術を実現することである。
【００１５】
また本発明の目的は、画像の符号化又は画像のシーケンス用の情報を低いビットレートで送信できるような種類の技術を実現することである。
【００１６】
本発明の別の目的は、符号化された画像及び特にこの画像の不連続領域を復元する場合に高い視覚品質を達成できるような技術を実現することである。
【００１７】
また本発明の目的は、エラー画像の符号化に適しているこういう種類の技術を提供することである。
【００１８】
本発明のさらに別の目的は、実現するのに簡単で僅かな費用しかかからないような種類の技術を提供することである。
【課題を解決するための手段】
【００１９】
本願で後に現れるこれらの目的及び別の目的は、前記メッシュのウェーブレット符号化を実行して、階層的なメッシュが関連付けされた画像を符号化する方法の手段によって達成される。
【００２０】
本発明によれば、前記符号化方法は、前記画像の別個のゾーンに選択的に適用された少なくとも２つの種類のウェーブレットを用いる。
【００２１】
このように、本発明は静止画像又は動画の符号化、特にビデオシーケンスの画像の符号化に対する全体的に新しく創意に富んだ方式を基にしている。実際に、本発明は、W. Dahmenが発表した「Decomposition of refinable spaces and applications to operator equations」、Numer. Algor.、Ｎｏ．５、１９９３年、ページ２２９〜２４５、並びにJ. M. Carnicer、W. Dahmen及びJ.M. Penaによる「Local decomposition of refinable spaces」、Appl. Comp. Harm. Anal. 3、１９９６年、ページ１２７〜１５３、などの特に第２世代のウェーブレットを用いる革新的なウェーブレット技術に基づいて画像を符号化するだけでなく、画像の別個のゾーンに対して異なる種類のウェーブレットを適用することにより、前記符号化を最適化することを提案する。
【００２２】
実際に、本願の発明者らは、様々な種類の現在のウェーブレットが明確な符号化特性を有しているという事実が重要であると考えている。このため、発明者らは、符号化特性が各ゾーンの内容に最も適した種類のウェーブレットを画像の異なるゾーンに適用することによって、これらの様々な特性を利用すると考えている。
【００２３】
こうして、特性が異なる画像の領域に対してウェーブレットによる符号化を適用する場合、同じ画像の符号化に対して必要なら幾つかの種類の別個のウェーブレットを用いることによって、画像の全体的な符号化が最適化される。
【００２４】
この種の符号化方法は、下記のようなステップ、すなわち、
少なくとも２つの別個の性質のゾーンに前記画像を分割するステップであって、各ゾーンの性質が前記ゾーン内の前記メッシュの少なくとも１つの特性パラメータの関数である、ステップと、
前記ゾーンのそれぞれに対して、前記ゾーンの前記メッシュの前記符号化を最適にすることができるウェーブレットの種類を、少なくとも前記性質の関数として割り当てるステップと、
を含むことが好ましい。
【００２５】
この画像の全てのゾーンが同じ性質であるという意味で画像が均質である場合、画像は分割されはしないが、画像の符号化を全体的に最適にすることができる種類のウェーブレットが画像全体に直接割り当てられることは無論理解されよう。
【００２６】
前記メッシュの前記特性パラメータは、前記ゾーン内の前記メッシュの密度を考慮したものとすることが好ましい。
【００２７】
実際に、ゾーンのある点におけるメッシュの密度、及びこの点を含む領域内のメッシュの密度により、本願で以下に一層詳細に説明されるように、検討されるゾーンがテクスチャー、輪郭又は特異点のゾーンであるかどうかを決定することができる。
【００２８】
本発明の好ましい特徴によれば、前記ゾーンの前記性質は、下記、すなわち、
少なくとも１種類のテクスチャーと、
少なくとも１種類の輪郭と、
少なくとも１種類の特異点と、
少なくとも１種類の色と、
少なくとも１種類の形状と
を含むグループに属する。
【００２９】
本発明の好ましい特徴によれば、前記ウェーブレットの種類は、下記、すなわち、
ループ形ウェーブレットと、
バタフライ形ウェーブレット（Butterfly wavelet）と、
キャットマル・クラーク（Catmull-Clark）形ウェーブレットと、
アフィン形ウェーブレット（affine wavelet）と
を含むグループに属する。
【００３０】
当業者は、本発明は上述した種類のウェーブレットに限定されず、それらは単に例証するために示されたものであることは容易に理解されよう。
【００３１】
前記ゾーンのそれぞれに対して、この種の符号化方法は、前記ゾーンの更新点（updating point）において前記メッシュに関連したスカラー値と、前記更新点に隣接する少なくとも幾つかの点において前記メッシュに関連した前記スカラー値とを考慮して、前記メッシュに対して前記ゾーンに割り当てられた前記ウェーブレットの種類の係数を適用するステップを含むことが好ましい。
【００３２】
前記スカラー値が、下記、すなわち、
前記メッシュの輝度と、
前記メッシュの少なくとも１つのクロミナンス成分と
を含むグループに属する前記メッシュのパラメータを表すことが好ましい。
【００３３】
このように、例えば、メッシュを適用する点（すなわち、更新点）において位置が取られて、この点におけるクロミナンス成分が検討される。次に、この同じクロミナンス成分の値が、図７ａから図７ｄを参照して本願の後で一層詳細に説明されるように、ウェーブレット係数をそれに応じて（重み付けによって）適用するために、この更新点に隣接する点において検討される。
【００３４】
この種の符号化方法は、下記、すなわち、
ゼロ・ツリー形（zero-tree type）の手法と、
ＥＢＣＯＴ形の手法と
を含むグループに属する手法を用いて前記ウェーブレット係数を符号化するステップをさらに含むことが好ましい。
【００３５】
前記画像が連続した画像のシーケンスに属する場合、前記方法が前記画像の前記ウェーブレット係数を前記シーケンス内の前記画像に先行又は後続する少なくとも１つの画像のウェーブレット係数と比較するステップをさらに含み、前記先行又は後続する画像のウェーブレット係数と同一である前記画像のウェーブレット係数に対する前記符号化するステップの実行を避けることが好ましい。
【００３６】
このように、送信されるデータの量が減少される。このことは、低いビットレートで動作する送信ネットワークの場合や、復元端末の能力が低い場合に特に好適である。ウェーブレット係数が別の画像に対して前に送信された係数に等しい場合、ゼロの組及びウェーブレット係数を見つけることができる場所を示すことができる表示（例えば、これらの係数が既に復号化装置によって受信されている前の画像に対する表示）を送信するだけで十分である。
【００３７】
この種の符号化方法が連続した画像のシーケンスを符号化することができ、前記画像が前記シーケンスの本来の画像と動きの予測または補償によって作られた画像とを比較することによって得られたエラー画像であり、前記画像が符号化される少なくとも１つのエラー領域であって、少なくとも１つのほぼ空となり得る領域を含むことが好ましい。
【００３８】
当然のことながら、本来の画像が予測された画像と完全に等しい場合、エラー画像は空であり、このため符号化されるべきいかなるエラー領域も含まない。逆に、本来の画像が予測された画像とあらゆる点で異なる場合は、エラー画像はいかなる空き領域も含まない。
【００３９】
前記分割するステップが、しきい値を設定することによって前記画像の前記エラー領域を検出するステップを含み、これにより前記画像の少なくとも１つの領域が所定のしきい値よりも大きいエラーを有することを決定できるようにすることが好ましい。
【００４０】
このしきい値を、アプリケーション又は検討される送信ネットワークの制約に基づいて、あるいはまた得られる復元品質の関数としてパラメータ化することができる。
【００４１】
本発明の第１の好ましい別の実施形態によれば、前記分割するステップは、平行六面体状のブロック内で前記検出されたエラー領域の少なくとも幾つかをグループ化するステップも含む。
【００４２】
前記分割するステップが、同じ性質のブロックの集合の形式で、前記画像の前記ゾーンを作るステップを含むことが好ましい。
【００４３】
これにより、同じウェーブレット処理が、同じ性質の全てのブロックに、例えこれらのブロックが画像内で互いに離れていても適用される。
【００４４】
本発明の第２の好ましい別の実施形態によれば、前記分割するステップは前記検出されたエラー領域から前記画像の前記ゾーンを作るステップを含み、これにより、クワッドツリー（quadtree）形の手法を用いる。
【００４５】
本発明はウェーブレットで符号化された階層的なメッシュが関連付けされた画像を復号化し、ゾーンのそれぞれのメッシュの符号化に割り当てられたウェーブレットの種類に関する情報の関数として、前記画像の前記別個のゾーンに対して選択的な復号化を実行する方法にも関係する。
【００４６】
このように、画像は符号化の間に別個の性質の少なくとも２つのゾーンに分割され、ゾーンの性質は前記ゾーン内の前記メッシュの少なくとも１つの特性パラメータの関数であるため、本発明の復号化方法には下記のステップ、すなわち、
符号化された画像を示すストリームから各ゾーンのメッシュの符号化に割り当てられたウェーブレットの種類に関する情報を抽出するステップ、
ゾーンのそれぞれに対して、こうした情報の関数として、ゾーンのメッシュを復号化するステップ、
が含まれる。
【００４７】
本発明はウェーブレットで符号化された階層的なメッシュが関連付けされた画像を符号化し、前記メッシュをウェーブレットで符号化するための手段を実行し、また前記画像の別個のゾーンに対して少なくとも２つの種類のウェーブレットを選択的に適用する手段を含む装置にも関連する。
【００４８】
このため、本発明の符号化装置は下記の手段、すなわち、
ゾーンの性質が前記ゾーン内のメッシュの少なくとも１つの特性パラメータの関数となるように、少なくとも２つの別個の性質のゾーンに画像を分割する手段と、
前記ゾーンの前記メッシュの前記符号化を最適にすることができる少なくとも１つのウェーブレットの種類を、前記ゾーンの性質の関数として、前記ゾーンのそれぞれに対して割り当てる手段と
を含む。
【００４９】
本発明はウェーブレットで符号化された階層的なメッシュが関連付けされた画像を復号化し、ゾーンそれぞれのメッシュの符号化に割り当てられたウェーブレットの種類に関する情報の関数として、前記画像の前記別個のゾーンに対して選択的な復号化を行う手段を含む装置にも関係する。
【００５０】
画像は符号化の間に別個の性質の少なくとも２つのゾーンに分割され、ゾーンの性質は前記ゾーン内の前記メッシュの少なくとも１つの特性パラメータの関数であるため、本発明の復号化方法には下記の手段と、すなわち、
符号化された画像を示すストリームから各ゾーンのメッシュの符号化に割り当てられたウェーブレットの種類に関する情報を抽出する手段と、
ゾーンのそれぞれに対して、情報の関数として、ゾーンのメッシュを復号化する手段と
が含まれる。
【００５１】
本発明は、ウェーブレットで符号化された階層的なメッシュが関連付けされた画像を示す信号にも関連する。本発明によれば、少なくとも２種類のウェーブレットが符号化の間に前記画像の別個のゾーンに選択的に適用される場合、前記ゾーンのそれぞれのメッシュの符号化に割り当てられる前記種類のウェーブレットに関する情報がこの種の信号により伝達される。
【００５２】
画像が符号化の間に少なくとも２つの別個の性質のゾーンに分割され、ゾーンの性質はゾーン内のメッシュの少なくとも１つの特性パラメータの関数であるため、本発明の信号は各ゾーンのメッシュの符号化に割り当てられるウェーブレットの種類に関する情報を伝達する。
【００５３】
こうした信号は、それぞれが前記画像の前記ゾーンの１つに関連付けられるパケットの形式で構成され、前記パケットのそれぞれは、下記のフィールド、すなわち、
パケットの開始を示すフィールドと、
前記パケットの識別子を伝達するフィールドと、
情報ヘッダフィールドと、
前記ゾーンに割り当てられた前記ウェーブレットの種類に関する前記情報の一部を含むフィールドと、
前記ゾーンの前記メッシュに適用されるウェーブレット係数を含むフィールドと、
前記画像の前記メッシュの形式に関するフィールドと、
パケットの終了を示すフィールドと
を含むことが好ましい。
【００５４】
前記情報ヘッダフィールドが、
前記ゾーンのウェーブレット係数の数に関するサブフィールドと、
前記メッシュの前記形式の関数として、前記画像の前記ゾーンを示すサブフィールドと、
前記ウェーブレット係数に対して用いられるビットマップの数に関するサブフィールドと
を含むことが好ましい。
【００５５】
この方法は、下記、すなわち、
ビデオのストリーミングと、
ビデオ記憶と、
ビデオ会議と、
ビデオオンデマンドと、
ビデオメールと
を含むグループに属する少なくとも１つの分野に対して用いる本願で前に説明された符号化方法及び復号化方法の用途にも関係する。
【００５６】
本発明の他の特徴及び利点は、単純で例証となる限定されることはない実施例によって与えられた好ましい実施形態の以下の説明及び添付した図面からより明瞭に見えてくるであろう。
【発明を実施するための最良の形態】
【００５７】
本発明の一般的な原理は、様々な種類のウェーブレット、特に第２世代のウェーブレットを画像の種々の領域に適用して、符号化特性が検討するゾーンの内容に適した種類のウェーブレットを選択することによって、画像の全体的な符号化を最適にすることに基づいている。
【００５８】
本発明の実施形態を詳細に説明する前に、ビデオの符号化並びにメッシュ、リフティング及び第２世代のウェーブレットの概念に関して、幾つかの簡単な注意を行う。実際に、本発明は特に、これらの様々な考え方に基づいて、ビデオシーケンスの符号化についての一般的な状況の中で用いられる。
【００５９】
例えば、文献ISO/IEC (ITU-T SG8) JTC1/SC29 WG1 (JPEG/JBIG), JPEG2000 Part I Final Committee Draft, Document N1646R、２０００年３月、の中で説明されるビデオの符号化に関する一般的な原理は、種々の方法（4:4:4 / 4:2:2 / 4:2:0...）でサンプリングされたＹＵＶ面（輝度／クロミナンスｒ／クロミナンスｂ）の中で示された一連の画像の形式でディジタルビデオを説明することから構成する。符号化システムは、連続した画像内の空間及び時間の冗長度を考慮して、この表示を変化させることから成る。このため、（例えば、ＤＣＴ又はウェーブレット形の）変換が、一連の互いに依存する画像を得るために適用される。
【００６０】
これらの画像は、各画像の種類が良く測定された特性を有するＩ／Ｂ／Ｐの順で順序付けられる。Ｉ画像は「内部」（intra）画像とも呼ばれて、静止画像と同じ方法で符号化され、他のシーケンスの画像に対する基準としての役目をする。Ｐ画像は「予測された」(predicted)画像とも呼ばれて、２種の情報、すなわち、動きが補償されたエラー情報及び運動ベクトルを含む。これら２つの情報は、Ｉ形又はＰ形の１つ以上の前の画像から導き出される。Ｂ画像も「双方向」画像と呼ばれて、これら２種の情報を含むが、２つの基準すなわちＩ形又はＰ形の後方基準及び前方基準に基づいている。
【００６１】
このことは、検討するビデオシーケンスの全体を復元可能にするために、従来の方法で符号化された内部画像「Ｉ」及び次に各連続画像に関する運動ベクトル及びエラーを送信すれば十分であることを意味する。
【００６２】
静止画像又はビデオシーケンスを符号化するための周知の技術も、符号化すべき画像に関連付けされた階層的なメッシュを使用することに依存している。このため、例えば、灰色レベルに符号化された静止画像を検討してみる。この画像は、パラメータ面の分離された表示と考えることができる。このため、任意のメッシュを画像のあるゾーン又は画像全体のいずれかに適用することができる。階層的な細分を用いて（適用できる又は適用できない場合がある）、このメッシュは規則的に又は不規則に導き出すように作られる。このように、「階層」は、計算されたエラーが所定のしきい値の上にある画像の領域の中でのみ、メッシュの細分を通して利用できる。メッシュの基本的な技術に関する一般的な見解は、文献ISO/IEC (ITU-T SG8) JTC1/SC29 WG1 (JPEG/JBIG), JPEG2000 Part I Final Committee Draft, Document N1646R、２０００年３月、の中にも示されている。
【００６３】
幾つかの画像符号化技術は、また特にW. Sweldensによる「The Lifting Scheme : A New Philosophy in Bi-Orthogonal Wavelets Constructions」、Proc. SPIE 2529, １９９５年、ページ６８〜６９、の中で説明された、「リフティング」として周知のウェーブレット分解方法に基づいている。リフティングはごく最近見出され、通常のコンボリューションによる方法よりも単純で高速なウェーブレット分解(decomposition)方法として一般的になっている。リフティングにより、分析のマトリックスに対する簡単な行および列の演算を行うことにより、再構成(reconstruction)を簡単に行うことができる。
【００６４】
図１ａ及び図１ｂを参照して、「リフティング」分解の一般的な方式及び関連付けされた多相マトリックス(associated polyphase matrix)の形式をここで考察する。
【００６５】
一般的な方法には、信号を２つの偶数値のサンプル１２及び奇数値のサンプル１３に分離する動作１１と、奇数値のサンプルを偶数値のサンプルの関数として予測する動作とが含まれる。一旦予測動作が行われると、信号の更新がその初期特性を保存するために行われる。このアルゴリズムは、要望どおり何回も繰り返すことができる。リフティングによる表現により、信号の分析１４及び合成１５を可能にする多相マトリックスの考え方がもたらされる。
【００６６】
図１ｂは、下記のように多相マトリックスＰ（ｚ）に連結された(concatenated)「リフティング」方式を一層具体的に示す。
【数１】
ここで、ｓi（ｚ）及びｔi（ｚ）は２つのローランの多項式であり、Ａ及びＢは標準化の係数である。
【００６７】
最後に、特に本発明との関連で実行される第２世代のウェーブレットが、数学の世界から到来する新しい変換を構成することが想起される。
【００６８】
この変換は、最初にW. Dahmenによる「Decomposition of refinable spaces and applications to operator equations」、Numer. Algor., No. 5、１９９３年、ページ２２９〜２４５、及びJ. M. Carnicer、 W. Dahmen 及び J.M. Penaによる「Local decomposition of refinable spaces」、Appl. Comp. Harm. Anal. 3、１９９６年、ページ１２７〜１５３、の中で紹介され、次にW.Sweldensによる「The Lifting Scheme : A Construction of Second Generation Wavelets」、１９９６年１１月、SIAM Journal on Mathematical Analysis、並びにW. Sweldens 及び P. Schroderによる「Building Your Own Wavelet at Home」、第２章、Technical report 1995, Industrial Mathematics Initiative、の中で開発された。
【００６９】
ウェーブレットは分析空間の不規則な細分から作られ、平均化及び重み付けられた補間方法に基づいている。Ｌ2（Ｒ）の中で一般に使用されるベクトル積は、重み付けられた内部ベクトル積になる。これらのウェーブレットは、コンパクトなサポート（台）及び間隔に対する分析に特に良く適合される。しかしながら、それらのウェーブレットは、本願で上述されたリフティング方法によって作られているため、第１世代のウェーブレットすなわち良好な時間／周波数の局所性及び高い計算速度という特性を保持している。
【００７０】
M. Lounsbery、T. DeRose及びJ. Warrenは「Multiresolution Analysis for Surfaces of Arbitrary Topological Type」、ACM Transactions on Graphics、１９９４年、の中で、これらのウェーブレットを任意の表面構造に対して適用することを考えた。本発明では、これらのウェーブレットは、表面を構成するメッシュに対して適用される。この表面のトポロジーは任意のトポロジーとすることができる。
【００７１】
これらの第２世代のウェーブレットを正確に定義するために、発明者らは、先ず第一にこれらのウェーブレットが第１世代のウェーブレットと呼ばれるものと共通して有している特性を思い起こし、次に第２世代のウェーブレットから分かり、また特に本発明との関連で利用される別の特性を示す。
【００７２】
［第１世代及び第２世代のウェーブレットに共通する特性］
Ｐ１：ウェーブレットはＬ2（Ｒ）に対するRiezベース並びにLebesgue、Lipchitz、Sobolev及びBesovの空間などの多種多様な関数の空間に対する「均一」なベースを形成する。このことは、引用される空間のどのような関数もウェーブレットの基底で分解することができ、この分解はこの関数に対するノルム（初期空間のノルム）として均一に収束する。
Ｐ２：均一な基底に関する分解係数は知られている（あるいは、容易に見つけることができる）。しかも、ウェーブレットが直交していること、すなわちデュアルウェーブレットは、周知である（二重直交（bi-orthogonal）の場合）。
Ｐ３：ウェーブレット及びデュアルウェーブレットは、空間及び周波数の中で局所的な特性を有する。幾つかのウェーブレットはさらにコンパクトなサポートを有する（本発明はこうしたウェーブレットを使用することが好ましいが、これに限定されることはない）。周波数局在化の特性は、ウェーブレットの規則性（高い周波数に対して）及びゼロ多項式モーメント（zero polynomial moment）の数（低い周波数に対して）から直接生じる。
Ｐ４：ウェーブレットは、マルチ分解度分析（multiresolution analysis）の中で使用することができる。このことにより、ＦＷＴ（高速ウェーブレット変換）がもたらされる。このＦＷＴにより、関数からウェーブレット係数まで「線形時間（linear time）」で進むことができる。
【００７３】
［第２世代のウェーブレットを特徴付ける別の特性］
Ｑ１：第１世代のウェーブレットはＲnで定義された関数に対する基底を提供するが、幾つかのアプリケーション（データの細分化、一般的なドメイン内の偏微分方程式の解、又は任意のトポロジーのメッシュに対するウェーブレットの適用など）は、曲線、面又はそれらの取り合わせのようなＲnの任意のドメインに対して定義されるウェーブレットを必要とする。
Ｑ２：微分形式の対角化、曲線及び面の分析、並びに重み付けされた近似値は、重み付けされた測定値に適合された基底を必要とする。しかしながら、第１世代のウェーブレットは、並行移動（translation）における不変測度（invariant measurement）（典型的には、ルベーグ測度）のある空間に対してのみ基底を提供する。
Ｑ３：多くの実際の問題は、不規則なサンプリングによるデータに適合したアルゴリズムを必要とするが、第１世代のウェーブレットは規則正しく行われたサンプリングデータに対してのみ分析を可能にする。
【００７４】
したがって、第２世代のウェーブレットの構造を要約するために、次の原理が強調される。
【００７５】
マルチ分解分析の間は、スケール関数が展開する従来の空間は、下記の式のように値Ｖkであると仮定される。
【数２】
分析の空間は、バナッハ空間（Banach Space）（Ｒｅｆ Ｂ）の中に位置を取って拡大される。こうして、下記の式のように、第２世代のウェーブレットが得られる。
【数３】
分布の意味に取られるスカラー積がバナッハ空間の中で定義され、双対空間の再定義が可能にされる。再定義の条件は、下記の式のようになる（マトリックス形式）。
φｋ-1＝Ｐφk
ここで、Ｐは任意の不特定のマトリックスである。
【００７６】
ビデオ符号化技術を理解するために必要な概念に関するこれら幾つかの説明をした後で、図２を参照して、本発明の一般的な原理に関する一層詳細な説明をこれから行う。
【００７７】
参照番号２１の画像を検討する。この画像は、符号化される静止画像又はビデオシーケンスの画像の１つとすることができる。参照番号２３の階層的なメッシュがそれに結合されている。図２では、このメッシュは一部だけが画像２１に重なり合った規則的なメッシュである。無論、このメッシュは不規則なメッシュとすることもできるし、画像２１の全体に重なるものともできる。
【００７８】
本発明の一般原則は、画像２１の中に性質の異なるゾーンを特定し、これらのゾーンに対して、特性が検討されているゾーンの内容に良く適合する異なる種類のウェーブレットを適用することである。このため、図２の画像２１を、それぞれがＴ１，Ｔ２及びＴ３と参照番号が付いた複数のゾーン２２に分割することができる。
【００７９】
可能な程度まで、参照番号Ｔ１，Ｔ２及びＴ３のゾーンが長方形のブロックの形式で、又は処理を容易にするために、集団にされた長方形のブロックの組で作られる。
【００８０】
このように、画像２１の太陽２４に対応する組２２の参照番号Ｔ３のゾーンは、太陽２４を包含する長方形である。しかしながら、画像２１の不規則なレリーフ２５に対応する参照番号Ｔ１のゾーンは、階段の形状をしており、これはレリーフ２５の形状にできるだけ接近して従う平行６面体のブロックの組に対応する。
【００８１】
ゾーンＴ１は画像２１のテクスチャーゾーンであり、一方ゾーンＴ２は画像２１の分離された特異点を取り囲み、またゾーンＴ３の太陽は主に輪郭によって定義される。
【００８２】
このため、本発明によれば、これらの各ゾーンの符号化に最も密接に対応する種類のウェーブレットが選択される。本発明の１つの特定の実施形態では、テクスチャーゾーンＴ１に対しては、このようにバタフライ形のウェーブレットが適用するように選択され、一方特異点ゾーンＴ２及び輪郭ゾーンＴ３は、それぞれアフィン形ウェーブレット及びループ形ウェーブレットによって符号化されることが好ましい。
【００８３】
このような方法で、画像２１の符号化及び適合された端末上でのその復元の品質の両方を最適化することができる。
【００８４】
下記の表は、符号化されるゾーンの性質の関数として様々な種類のウェーブレットを、本発明に基づいて選択する好ましい基準を要約している。
【表１】
【００８５】
他の種類のウェーブレットも、無論、本発明の枠組みの中で実現できる。本発明は、単に上記の表の中で説明された種類のウェーブレット及びゾーンの性質に決して限定されることはない。
【００８６】
上記の表は、特に、自然の物体の場合と非自然の物体の場合との間の輪郭に関して区別を行っていることに注意されたい。実際に、自然の物体は、非自然の物体よりも一層不確実な輪郭によって決定される。このため、周波数に関しては、自然の物体は非自然の物体とは異なり、明確なピークを有していない。従って、処理される物体の関数として、２つの事例の間を区別する必要がある。
【００８７】
これら２種類の物体を区別する１つの基準は、例えば、輪郭に対応付けられた灰色レベルに適用される多方向性の高域フィルタによってフィルタ処理された画像に対してしきい値を設定することによって得ることができる。
【００８８】
ここで、ビデオシーケンスを符号化するという一般的な状況のもとで、本発明の特定の実施形態を提示することにする。特定のステップの１つは、本発明を実行することに対応する。
【００８９】
この種の符号化技術は、本願で上述されたビデオの符号化及びリフティング技術に特に依存する。
【００９０】
Ｉ／（ｎ）Ｂ／Ｐ形の方式を検討する。ここで、ｎは正又は０の値であり、Ｉは「内部」画像を指定し、Ｂは双方向画像であり、Ｐは予測された画像である。実施例を示すために、ＭＰＥＧ、例えば、ＭＰＥＧ−４形の符号化がエラー画像を除いて実行され、エラー画像に関しては、本発明はメッシュ及び第２世代のウェーブレット符号化法を用いて実行することが検討される。
【００９１】
無論、ＭＰＥＧ−４の符号化を等価の技術に基づいた任意の種類の符号化によって置き換えることは考えることができる。この等価の技術には、時間ベースの予測及びブロック構造に基づいた離散コサイン変換（ＤＣＴ）、並びに発生する情報に対するエントロピー定量化及び符号化演算を用いる技術が含まれる。特に、ITU-T/H.264 又は MPEG-4 AVC符号化法（特に、Joint Final Committee Draft of Joint Video Specification (ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC)、Thomas Wiegand、Klagenfurt、２００２年７月２２日、の中で説明されたような）は、本発明の内容から逸脱することなく、ＭＰＥＧ−４の符号化に取って代わることができる。
【００９２】
符号化装置すなわちエンコーダに入る検討されるビデオシーケンスの各画像に対して、この装置は、ＭＰＥＧ−４の符号化モジュール（歪み／ビットレートのトレードオフによる最適化の機能付き又はなし）又は歪み／ビットレートの最適化に基づいた特定の符号化モジュールを用いて、それを符号化することを決定する。歪み／ビットレートのトレードオフによる最適化は画像の品質とその大きさとの間に妥協をもたらすこと、すなわち、このように、歪み／ビットレートのトレードオフによる最適化は最良の可能な妥協を得ることを目的とする最適化を提供することを想起されたい。
【００９３】
Ｐ形及びＢ形画像に対する動きの予測は、ＭＰＥＧ−４規格の中で規定されたブロックマッチング技術に基づいて実行される。
【００９４】
エラーの符号化に関しては、本発明を実行することによって達成される。メッシュベースの第２世代のウェーブレットをこのようにエラー画像に変換することにより、関連する符号化費用を極めて低くして、画像の不連続性（輪郭、テクスチャー、特異点など）に対して良好な表示を行うことができる。このように、本発明は先ず第１に画像に対して様々な種類の特異点を考慮に入れ、第２には適当なウェーブレットのモジュールを選択してこれらの画像を処理するため、本発明は圧縮効率を極めて高くすることができる。
【００９５】
本発明が本願で関係するビデオシーケンスを符号化する第１のステップは、内部（Ｉ）画像を符号化することに関連付けられる。この符号化するステップは、例えば、ＭＰＥＧ−４の場合のようにＤＣＴ変換を使用すること、又は例えば、W. Dahmenが「Decomposition of refinable spaces and applications to operator equations」、No. Algor.、Ｎｏ５、１９９３年、ページ２２９〜２４５、の中で説明したような、第１世代のウェーブレットの符号化法を適用することに依存する。
【００９６】
ビデオシーケンスを符号化する第２のステップについては、そのステップは予測された画像Ｐ及び双方向画像Ｂの符号化に関係する。これらの画像は、先ず最初に、例えば「ブロックマッチング」法（G.J. Sullivan 及びR.L. Bakerによって「Motion compensation for video compression using control grid interpolation」、International Conference on Acoustics, Speech, and Signal Processing、１９９１年、ICASSP-91、第４巻、ページ２７１３〜２７１６、の中で説明された）などの従来の予測／補償方法によって運動補償され、次に対応するエラー画像が記憶される。
【００９７】
このように、エラー画像は正確な画像をシーケンスから引き去ることによって得られ、また画像は運動を補償または予測することによって組み立てられる。この後者が正確な画像とは異なる場合、エラー画像には符号化する必要がある少なくとも１つのエラー領域が含まれる。正確な画像及び運動の補償によって得られた画像の少なくとも幾つかの部分が全く同じである場合、エラー画像は符号化ストリームを送信する間にゼロの値を送信するために十分な少なくとも１つの実質的にゼロの領域も有する。
【００９８】
第３のステップの間に、エラー情報及び運動情報が分離され、動作はしきい値設定動作によってエラー画像の中のエラー領域を検出することに集中する。「ｅ」を許容しきい値と仮定すると、エラー領域はこのしきい値以上の値を有するエラー画像の全ての領域であると認識される。
【００９９】
本発明の第１の別の実施形態では、これらのエラー領域はブロックによって（四辺形のゾーンを有するように）一緒にされる。ブロックのグルーピングは、各ブロックをテクスチャー、色、形状、輪郭、分離された特異点に関する情報に対応する少なくとも１つの特性に結び付けることによって得られる。この特徴付けにより、ゾーンを別個の性質にするという形式でブロックのグルーピング及び画像の分割を行うことが可能にされ、これにより、適当な種類のウェーブレットを適用することによるその最適な変換により、分割された各ゾーンの符号化が可能にされる。
【０１００】
図３に示された本発明の第２の別の実施形態では、画像は「クワッドツリー（quadtree）」形の技術に基づいて、性質が異なる内部ゾーンに分割される。
【０１０１】
例えば参照番号３２〜３４の３つのエラー領域を含む画像３１を検討する。動作は連続的な繰返し（ステップ１からステップ４）によって実行される。すなわち、画像３１を４つの正方形のゾーンに分割する場合、これらのゾーンのそれぞれは４つの正方形の下位のゾーン（sub-zone）に細分され、この動作が順番に反復されて、こうして得られた正方形のメッシュが画像３１の参照番号３２，３３又は３４のエラー領域の中に含まれると考えることができるまで継続される。
【０１０２】
画像の異なるエラーブロックの検出が（前述した２つの別の実施形態の１つに基づいて）行われた後で、図２を参照して説明されたように、画像は性質が異なるゾーンに細分される。これらの画像は異なるウェーブレットによって符号化され、選択されたウェーブレットの特性の関数として符号化の最適化を可能にする。
【０１０３】
ゾーンの性質は、例えば、ゾーンを覆うメッシュの密度によって決定することができる。このため、検討するゾーンのメッシュの密度が高い場合は、これはテクスチャーゾーンであると推定することができる。
【０１０４】
それに対して、画像の特異点を含むゾーンは、メッシュの密度は画像の点の周りでは高く、隣接する点では極めて密度が低いゾーンである。その部分の輪郭ゾーンは、メッシュの密度が一方方向に高いことによって特徴付けられる。 第４のステップでは、図４に示すように、画像の別個の性質のゾーン（四辺形の形状が好ましい）が決定された後で、通常の密度のメッシュがゾーンのそれぞれに対して適用される。メッシュの密度は、画像の関数として調整することができるパラメータである。図４は、カメラマンを示す画像に適用された通常のメッシュを例証する。このメッシュは、千鳥状に配置された行配列を有する形状である。それは不規則な細分化及び第２世代のウェーブレットの使用を可能にする。
【０１０５】
第５の処理のステップの間に、第１の別の実施形態によれば、動作は図４の通常の密度のメッシュで始まり、所定のデビット歪み基準（debit-distortion criteria）に基づいて、また検討する画像のゾーンの異なる特性の関数として（例えば、テクスチャーゾーン、輪郭ゾーン、又は特定ゾーン）「最適な」粗いメッシュに向かってそれを発展させる。
【０１０６】
図５ａから図５ｄは、それぞれ反復数３，６，９及び１６の、図４のメッシュの発展を示す。
【０１０７】
より具体的には、画像を読み取り、図４の通常のメッシュを作成した後で、三角形のメッシュの最適化Ｌ2、三角形の合併、次にリッジの交換を行う動作を含む連続的な反復が実行される。次にメッシュのノードの位置が定量化され、その後で幾何学的な最適化が実行される。実際に、どのメッシュも上下反対になっていないことを検証する必要がある。このため、各三角形は時計回りの動作として周知の動作の中で試験される。最終的な点の定量化は必要である。次に、定量化Ｌ2に戻る。このループは望ましい回数だけ行われ、連続した反復の数は独自のものにすることができる符号化のパラメータを構成する。
【０１０８】
図５ｅから図５ｇは、検討する画像がエラー画像の場合、ビデオシーケンスを符号化する第５のステップを例証する。これにより、図５ｅは、フォアマンシーケンス（Foreman sequence）として周知のビデオシーケンスから引き出されたエラー画像を示す。図５ｆは、規則的にメッシュが付けられたフォアマンシーケンスから引き出されたエラー画像を示す。最後に、図５ｇは、本発明のゾーン検索アルゴリズムを何回か繰り返した後の、メッシュが付けられたフォアマンシーケンスから引き出されたエラー画像を示す。
【０１０９】
ビデオシーケンスを符号化するこの第５のステップも、第２の別の実施形態に基づいて実行することができる。この場合、「粗い」メッシュが検討する画像に適用され、次にこの粗いメッシュは連続的な細分化によって洗練される。この種の粗いメッシュを発生するには、等距離の点が画像の輪郭、テクスチャー、及び特異点上に配置され、これにより、今度はカバーするゾーンを慎重な（すなわち、適応性のある）方法で網状にすることができる。標準的な１から４の細分化がこの時実行されて、洗練することによって最終的なある程度規則正しいメッシュ付けが得られる。
【０１１０】
例えば、P. Gioiaが「Reducing the number of wavelet coefficients by geometric partitioning」、Computational Geometry, Theory and Applications、第１４巻、１９９９年、ページ２５〜４８、の中で説明した技術に基づいて処理を行うことは可能である。
【０１１１】
シーケンスを符号化する第６のステップは、図６に示すようなエッジの管理に関係する。これを行うために、この方法は（周期化法（periodization method）として周知の方法によれば）トーラス６２が付いた平面メッシュ６１（行が千鳥状になったメッシュ）の同相写像、あるいはまた従来のデータの対称化を使用する。この目的のために、画像は不確実な境界（すなわち、メッシュの１つの方向に向けられていない境界）上に配置された対角線を反転して拡大される。時代区分及び対称化方式は、画像に関して重要であることが分かる。その理由は、その方式は、ウェーブレット係数の統計的分布のスキューイング（skewing）が送信されないようにするため、バイエキスポーネンシャル法則（bi-exponential law）に向かって収束することを可能にするためである。
【０１１２】
第７のステップでは、第２世代のウェーブレットが画像のメッシュに適用される。例えば、この目的のために、M. Lounsbery、T. DeRose、及びJ. Warrenによって提案された方法、「Multiresolution Analysis for Surfaces of Arbitrary Topological Type」、ACM Transactions on Graphics、１９９４年、が、検討されるゾーンの性質の関数として本発明に基づいて選択された種類のウェーブレット（例えば、ループ又はバタフライ形のウェーブレット）と一緒に適用される。
【０１１３】
ウェーブレットは、ゾーンの更新点（これは１つの特定の実施例では中心点である）におけるメッシュに関連したスカラー値を考慮して、また隣接点においてはこの同じスカラー値の関数としてメッシュに適用される。このスカラー値は、例えば、検討するメッシュの点の輝度又はこの同じ点のクロミナンスの構成要素とすることができる。この後に、図７ａから図７ｄで重み付けられたウェーブレットの分解が例示される。
【０１１４】
図７ａはバタフライ形ウェーブレットを示す。この図で、参照番号７０の中心点はメッシュの適用点を示し、他の点はメッシュの隣接点における補間係数を示す。前述したように、このウェーブレットはテクスチャーの管理に特に適切である。
【０１１５】
言い換えると、メッシュの特性パラメータ（例えば、幾つかの点における画像の輝度）は、例えば、M. Lounsbery、T. DeRose及びJ. Warrenが上記の文献の中で説明したように、第２世代のウェーブレットによる分析のステップに基づいて、別のノードを参照番号７０に加えることが必要か及び／又は好ましいかを決定するために研究される。
【０１１６】
図７ｂから図７ｄは、それぞれ、ループ、アフィン及びキャットマル・クラーク形ウェーブレットを示す。これらの図面では、参照番号７０の点は、更新点とも呼ばれるもので、メッシュを適用する点を示す。他の点はまた、メッシュに隣接する点上の補間係数を示す。
【０１１７】
前述した方法で進めることによって、ウェーブレット係数が検討する画像のゾーンの特定のメッシュに対してこのように得られる。この動作は全体の画像に対して実行され、またビデオシーケンスの場合は、全てのＰ／Ｂ画像に対して実行される。処理されるデータの種類（例えば、テクスチャー、輪郭、形状など）に最適なウェーブレットが、メッシュの各部分に対して適用される。
【０１１８】
上述したように、関連するゾーンの性質を決定するために、ある点の周りのメッシュ及びこの点の周りの領域のメッシュの密度を使って処理することが可能である。このため、画像の点Ａにおいて、メッシュの密度は高い（その２つの連続する隣接部に対して）が、この領域の周りではメッシュが空である場合、これは分離された特異点であると言われる。この場合、アフィンウェーブレットが適用される。この領域の周りでメッシュの密度がまだ高い場合、それはテクスチャーであると言われ、バタフライ形ウェーブレットが適用されることが好ましい。輪郭を特徴付けるために、メッシュの密度が方向に沿って検出される（メッシュの密度が特定の方向に沿って高い場合）。
【０１１９】
ビデオシーケンスの符号化の関連において、シーケンスの連続画像の相互依存性も考慮に入れる。このため、１つの画像から他の画像に移る場合、メッシュの一部（又はメッシュの全体でさえも）は同じとすることができる。このため、シーケンスの先行する画像に対して変更されているメッシュのこれらのノードのみを、復号化端末又は復元端末に送信することは適当である。エンコーダは、他のノードは変わっていないと考える。同様に、特定のメッシュに適用されたウェーブレットは、大抵の場合、ある画像から他の画像に変化しないで留まる。ウェーブレットが同じ状態に留まる場合、このレベルでは情報は送信されない。
【０１２０】
第８のステップでは、前に取得されたウェーブレット係数が符号化される。これを行うために、ゼロツリー形の技術（例えば、J.M. Shapiroが「Embedded Image Coding Using Zerotree of Wavelet Coefficients」、IEEE Transactions on Signal Processing、第４１巻、Ｎｏ．１２、１９９３年１２月、ページ３４４５〜３４６１、の中で説明したような）又はＥＢＣＯＴ形の技術（例えば、D. Taubmanが「High Performance Scalable Image Compression with EBCOT」、IEEE Transactions on Image Processing、第９巻、Ｎｏ．７、２０００年７月、の中で提示したような）を実行して、ウェーブレット係数を分類及び定量化する。
【０１２１】
ビデオシーケンスを符号化する第９のステップは、これらのウェーブレット係数の整形に関する。この整形動作は、ＭＰＥＧ−４規格が関係する文献ISO/IEC JTC 1/SC 29/WG 11、N4973、AFX Verification Model 8、Klagenfurt、オーストリア、２００２年７月、の中で提案された方法に基づいて行われる。関心のあるゾーンすなわち高いエラーゾーンに応じて、受信及び復号化の間にパケットが他に関連して強調される。
【０１２２】
他の方法は、パケットの中に含まれるエラーの量に応じて、優先順位の「順序」によってウェーブレット係数を送信することにある。それ故に、データは次の形式で送信される、すなわち、パケット数／情報のヘッダ（係数の数、画像のゾーン、ビットマップの数など）／ウェーブレットの種類／ウェーブレット係数／メッシュ情報である。データはこのようにチャネルに送信され、次に復号化又は記憶するために受信される。
【０１２３】
本発明によれば、信号の構造は定義されることが好ましい。この信号の構造は連続するパケットの形式で編成され、これらのパケット自身のそれぞれは次のフィールドから構成する、すなわち、パケットの開始／パケット番号／情報ヘッダ／ウェーブレットの種類／ウェーブレット係数／メッシュの形状／パケットの終了、から構成する。
【０１２４】
パケット番号フィールドは、パケットの寸法の順序の中に割り当てられたパケットの識別子を含む。
【０１２５】
情報ヘッダフィールドは、次のサブフィールドを含む、すなわち、
ウェーブレット係数の数（処理される画像のゾーンの中の全数）、
検討される画像のゾーン（「メッシュの形状」フィールドによって特に提供された情報の関数として）、
ビットマップの数（ウェーブレット係数を符号化するために使用される）。
【０１２６】
「ウェーブレットの種類」フィールドは、検討するゾーンに適用されるウェーブレットが、例えばループ形、バタフライ形、キャットマル・クラーク形のウェーブレットであるか、あるいはまたアフィン形ウェーブレット、又は検討するゾーンの性質に基づいて選択される何らかの他の種類であるかどうかを示す。
【０１２７】
「メッシュの形状」フィールドに関しては、そのフィールドは、（頂点及びリッジの形状の中の）基本的なメッシュを送信することができる。
【０１２８】
例えば、本発明に基づいて別個の性質の２つのゾーンに分割され、第１のゾーンがバタフライ形ウェーブレットによって符号化され、第２のゾーンがループ形ウェーブレットによって符号化される画像の符号化を検討する場合、送信され符号化されたシーケンスを伝達する本発明の信号は、次の形式を含むことが好ましい、すなわち、
画像の開始
パッケージの開始／No 145 / 250 coeff / vertex5, ridge2,4,5; vertex45, ridge 56,54,87... / 256 / バタフライ/ (10,25,14), (25,54,84),(...),(25,36,10)／パッケージの終了
パッケージの開始／No 260 / 130 coeff/ vertex14, ridge8,41,5; vertex7, ridge 21,47,21... / 256 / ループ/ (1,5,8), (2,4,42),(...),(52,20,10)／パッケージの終了
画像の終了。
【０１２９】
本発明は、各ウェーブレットの種類に関連して、エンコーダとデコーダとの間の定義済みのコードも提供して、ウェーブレットの種類フィールドの内容を簡潔にする。これにより、識別子１をループ形ウェーブレットに、識別子２をバタフライ形ウェーブレットに、識別子３をキャットマル・クラーク形ウェーブレットに、また識別子４をアフィン形ウェーブレットに割り当てるように考えることができる。ウェーブレットの種類フィールドは、この場合、２ビットで符号化することができる。
【０１３０】
復号化方法は、符号化方法を二重にした方法である。上記のパッケージを搬送する信号を受信すると、復号化装置は画像に対して定義されたゾーンのそれぞれに適用されたウェーブレットの種類に関する情報をその信号から抜き出し、復号化の間に使用されたウェーブレットの種類の関数としてこれらのゾーンのそれぞれに選択的な復号化を適用する。
【０１３１】
このように、最適な視覚品質の画像が得られ、これは安価な符号化費用で実現される。
【図面の簡単な説明】
【０１３２】
【図１】図１（ａ）及び図１（ｂ）は、特にW. Sweldensによって「The Lifting Scheme: A New Philosophy in Bi Orthogonal Wavelets Constructions」、Proc. SPIE 2529、１９９５年、ページ６８〜６９、の中で説明されたような分解を高める一般的な方式を示す図である。
【図２】画像の異なるゾーンの特性に適合したウェーブレット変換の選択によって、本発明の一般的な原理を説明する図である。
【図３】画像がエラー画像の場合、クワッドツリー形の技術に基づいて、図２の画像を異なるゾーンに分割する原理を説明する図である。
【図４】本発明に基づいて画像に適用された標準的な密度のメッシュを例示する図である。
【図５ａ−５ｇ】本発明の枠組みの中で実行される画像のメッシュを細分する種々のステップを例示する図である。
【図６】本発明の枠組みの中のエッジの管理の原理を示す図である。
【図７ａ−７ｄ】本発明に基づいて画像の種々のゾーンに適用することができる様々なウェーブレット方式を示す図である。
【技術分野】
【０００１】
本発明の技術分野は静止画像又は動画の符号化の分野、特に、ビデオシーケンスの連続した画像の符号化の分野に関するが、これに限定されることはない。より具体的には、本発明は、画像がそれ自体に関連したメッシュを有し、ウェーブレット法として周知の方法を実行する画像の符号化または復号化技術に関する。本発明は、特にWim Sweldensによる文献、「The Lifting Scheme : A Construction of Second-Generation Wavelets」、SIAM Journal on Mathematical Analysis、第２９巻、第２号、ページ５１１〜５４６、１９９８年、の中で示された第２世代のウェーブレットに適用できるが、これに限定されることはない。
【背景技術】
【０００２】
新しい送信ネットワーク（ｘＤＳＬ、ＧＰＲＳ及びＵＭＴＳを使用する携帯電話など）の開発は、画像の符号化及びディジタルビデオの圧縮技術が長期にわたるサービス品質（ＱｏＳ）において起こり得る変動に加えて、ネットワークの異質性に適合する必要があることを意味する。これら全ての要素を静止画像又は動画の符号化の中で考慮することにより、最終的なユーザに最適な視覚品質を与える必要がある。
【０００３】
今までのところ、ＩＳＯ／ＭＰＥＧ（「International Organization for Standardization/Moving Picture Coding Expert Group」）及び／又はＩＴＵ−Ｔ（「International Telecommunication Union-Telecommunication Standardization Sector」）が提案した技術のような、時間ベースの予測及びブロック構造に基づいた離散コサイン変換（Discrete Cosine Transformation）による符号化技術などの幾つかの周知の画像符号化技術がある。
【０００４】
ブロックベースのＤＣＴ変換による符号化に基づいた従来技術に特有な符号化技術（MicrosoftのWindows Media、RealMediaのReal One、Divx（登録商標）など）、又はさらに本願の所有者が出願したフランス特許出願第２７８１９０７号（「Method for the encoding of a source mesh taking account of discontinuities, and corresponding applications」）及び第２８２５８５５号（Methods and devices for the encoding and decoding of images implementing nested images, corresponding program, signal and application）も存在する。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、これら様々な従来技術の画像符号化技術には、特にビットレートが極めて低いアプリケーション又は送信ネットワークに対して多くの欠点がある。
【０００６】
例えば、ブロックベースの符号化技術では、強い影響すなわちアーチファクトが見えてしまい、画像を復元した場合の視覚品質が大きく低下する。ＭＰＥＧ−４又はＩＴＵ−Ｔ／Ｈ．２６３形の符号化方法は、特に、全ての符号化計算及び演算に対する媒体として使用される固定長の硬直したブロック構造のために、現在ではその限界に達していると考えられている。同様に、ウェーブレットを用いる技術に関しては、「リンギング」としても周知の過剰振動効果（over-oscillation effect）により、ユーザにとって極めて不快なぼやけた描画（fuzzy rendering）及び画像上にウェーブレットを「見ている」ような印象が与えられる。
【０００７】
より高いビットレートを用いるアプリケーション又は送信ネットワークに関しては、これらの様々な技術は符号化効率の限界を達成するために用いることはできない。
【０００８】
最後に、これらの従来技術のいずれによっても、画像の本来備わっている特性を考慮に入れて、ある画像の符号化を最適化することはできない。
【０００９】
さらに、ビデオシーケンスの符号化の場合には、あるいは、送信及び符号化されるデータの量を減少させるために、例えば、シーケンスから本来の画像及び補間された画像を取り去ることによって、エラー画像を計算することや、又は動きの予測／補償によって決定される画像を計算することは一般的な方法である。例えば、本願の所有者が出願した、「Method for the construction of at least one image interpolated between two images of a moving sequence, corresponding methods of encoding and decoding, signal and data carrier」という名称のフランス特許出願第００１０９１７号を参照することができる。
【００１０】
現在は、これら従来の符号化技術のいずれも、こうしたエラー画像の特定の内容に適合させたものではない。エラー画像は一般に、輪郭、テクスチャー、あるいはまた特異点のような高い周波数のみを含んでいる。
【００１１】
本発明は、従来技術のこれらの欠点を克服することを特に目的とする。
【００１２】
より具体的に言うと、本発明の目的は、符号化の結果を従来技術と比較して最適にする静止画像又は動画を符号化するための技術を提供することである。
【００１３】
本発明の別の目的は、符号化装置から到来し、画像の復号化及び復元の装置まで通信ネットワークによって送信されるデータの量を削減することができるような種類の手法を実現することである。
【００１４】
また本発明の目的は、拡張性のある、すなわち送信ネットワークの変動及び特にこうしたネットワークのビットレートの変化に適合するような種類の技術を実現することである。
【００１５】
また本発明の目的は、画像の符号化又は画像のシーケンス用の情報を低いビットレートで送信できるような種類の技術を実現することである。
【００１６】
本発明の別の目的は、符号化された画像及び特にこの画像の不連続領域を復元する場合に高い視覚品質を達成できるような技術を実現することである。
【００１７】
また本発明の目的は、エラー画像の符号化に適しているこういう種類の技術を提供することである。
【００１８】
本発明のさらに別の目的は、実現するのに簡単で僅かな費用しかかからないような種類の技術を提供することである。
【課題を解決するための手段】
【００１９】
本願で後に現れるこれらの目的及び別の目的は、前記メッシュのウェーブレット符号化を実行して、階層的なメッシュが関連付けされた画像を符号化する方法の手段によって達成される。
【００２０】
本発明によれば、前記符号化方法は、前記画像の別個のゾーンに選択的に適用された少なくとも２つの種類のウェーブレットを用いる。
【００２１】
このように、本発明は静止画像又は動画の符号化、特にビデオシーケンスの画像の符号化に対する全体的に新しく創意に富んだ方式を基にしている。実際に、本発明は、W. Dahmenが発表した「Decomposition of refinable spaces and applications to operator equations」、Numer. Algor.、Ｎｏ．５、１９９３年、ページ２２９〜２４５、並びにJ. M. Carnicer、W. Dahmen及びJ.M. Penaによる「Local decomposition of refinable spaces」、Appl. Comp. Harm. Anal. 3、１９９６年、ページ１２７〜１５３、などの特に第２世代のウェーブレットを用いる革新的なウェーブレット技術に基づいて画像を符号化するだけでなく、画像の別個のゾーンに対して異なる種類のウェーブレットを適用することにより、前記符号化を最適化することを提案する。
【００２２】
実際に、本願の発明者らは、様々な種類の現在のウェーブレットが明確な符号化特性を有しているという事実が重要であると考えている。このため、発明者らは、符号化特性が各ゾーンの内容に最も適した種類のウェーブレットを画像の異なるゾーンに適用することによって、これらの様々な特性を利用すると考えている。
【００２３】
こうして、特性が異なる画像の領域に対してウェーブレットによる符号化を適用する場合、同じ画像の符号化に対して必要なら幾つかの種類の別個のウェーブレットを用いることによって、画像の全体的な符号化が最適化される。
【００２４】
この種の符号化方法は、下記のようなステップ、すなわち、
少なくとも２つの別個の性質のゾーンに前記画像を分割するステップであって、各ゾーンの性質が前記ゾーン内の前記メッシュの少なくとも１つの特性パラメータの関数である、ステップと、
前記ゾーンのそれぞれに対して、前記ゾーンの前記メッシュの前記符号化を最適にすることができるウェーブレットの種類を、少なくとも前記性質の関数として割り当てるステップと、
を含むことが好ましい。
【００２５】
この画像の全てのゾーンが同じ性質であるという意味で画像が均質である場合、画像は分割されはしないが、画像の符号化を全体的に最適にすることができる種類のウェーブレットが画像全体に直接割り当てられることは無論理解されよう。
【００２６】
前記メッシュの前記特性パラメータは、前記ゾーン内の前記メッシュの密度を考慮したものとすることが好ましい。
【００２７】
実際に、ゾーンのある点におけるメッシュの密度、及びこの点を含む領域内のメッシュの密度により、本願で以下に一層詳細に説明されるように、検討されるゾーンがテクスチャー、輪郭又は特異点のゾーンであるかどうかを決定することができる。
【００２８】
本発明の好ましい特徴によれば、前記ゾーンの前記性質は、下記、すなわち、
少なくとも１種類のテクスチャーと、
少なくとも１種類の輪郭と、
少なくとも１種類の特異点と、
少なくとも１種類の色と、
少なくとも１種類の形状と
を含むグループに属する。
【００２９】
本発明の好ましい特徴によれば、前記ウェーブレットの種類は、下記、すなわち、
ループ形ウェーブレットと、
バタフライ形ウェーブレット（Butterfly wavelet）と、
キャットマル・クラーク（Catmull-Clark）形ウェーブレットと、
アフィン形ウェーブレット（affine wavelet）と
を含むグループに属する。
【００３０】
当業者は、本発明は上述した種類のウェーブレットに限定されず、それらは単に例証するために示されたものであることは容易に理解されよう。
【００３１】
前記ゾーンのそれぞれに対して、この種の符号化方法は、前記ゾーンの更新点（updating point）において前記メッシュに関連したスカラー値と、前記更新点に隣接する少なくとも幾つかの点において前記メッシュに関連した前記スカラー値とを考慮して、前記メッシュに対して前記ゾーンに割り当てられた前記ウェーブレットの種類の係数を適用するステップを含むことが好ましい。
【００３２】
前記スカラー値が、下記、すなわち、
前記メッシュの輝度と、
前記メッシュの少なくとも１つのクロミナンス成分と
を含むグループに属する前記メッシュのパラメータを表すことが好ましい。
【００３３】
このように、例えば、メッシュを適用する点（すなわち、更新点）において位置が取られて、この点におけるクロミナンス成分が検討される。次に、この同じクロミナンス成分の値が、図７ａから図７ｄを参照して本願の後で一層詳細に説明されるように、ウェーブレット係数をそれに応じて（重み付けによって）適用するために、この更新点に隣接する点において検討される。
【００３４】
この種の符号化方法は、下記、すなわち、
ゼロ・ツリー形（zero-tree type）の手法と、
ＥＢＣＯＴ形の手法と
を含むグループに属する手法を用いて前記ウェーブレット係数を符号化するステップをさらに含むことが好ましい。
【００３５】
前記画像が連続した画像のシーケンスに属する場合、前記方法が前記画像の前記ウェーブレット係数を前記シーケンス内の前記画像に先行又は後続する少なくとも１つの画像のウェーブレット係数と比較するステップをさらに含み、前記先行又は後続する画像のウェーブレット係数と同一である前記画像のウェーブレット係数に対する前記符号化するステップの実行を避けることが好ましい。
【００３６】
このように、送信されるデータの量が減少される。このことは、低いビットレートで動作する送信ネットワークの場合や、復元端末の能力が低い場合に特に好適である。ウェーブレット係数が別の画像に対して前に送信された係数に等しい場合、ゼロの組及びウェーブレット係数を見つけることができる場所を示すことができる表示（例えば、これらの係数が既に復号化装置によって受信されている前の画像に対する表示）を送信するだけで十分である。
【００３７】
この種の符号化方法が連続した画像のシーケンスを符号化することができ、前記画像が前記シーケンスの本来の画像と動きの予測または補償によって作られた画像とを比較することによって得られたエラー画像であり、前記画像が符号化される少なくとも１つのエラー領域であって、少なくとも１つのほぼ空となり得る領域を含むことが好ましい。
【００３８】
当然のことながら、本来の画像が予測された画像と完全に等しい場合、エラー画像は空であり、このため符号化されるべきいかなるエラー領域も含まない。逆に、本来の画像が予測された画像とあらゆる点で異なる場合は、エラー画像はいかなる空き領域も含まない。
【００３９】
前記分割するステップが、しきい値を設定することによって前記画像の前記エラー領域を検出するステップを含み、これにより前記画像の少なくとも１つの領域が所定のしきい値よりも大きいエラーを有することを決定できるようにすることが好ましい。
【００４０】
このしきい値を、アプリケーション又は検討される送信ネットワークの制約に基づいて、あるいはまた得られる復元品質の関数としてパラメータ化することができる。
【００４１】
本発明の第１の好ましい別の実施形態によれば、前記分割するステップは、平行六面体状のブロック内で前記検出されたエラー領域の少なくとも幾つかをグループ化するステップも含む。
【００４２】
前記分割するステップが、同じ性質のブロックの集合の形式で、前記画像の前記ゾーンを作るステップを含むことが好ましい。
【００４３】
これにより、同じウェーブレット処理が、同じ性質の全てのブロックに、例えこれらのブロックが画像内で互いに離れていても適用される。
【００４４】
本発明の第２の好ましい別の実施形態によれば、前記分割するステップは前記検出されたエラー領域から前記画像の前記ゾーンを作るステップを含み、これにより、クワッドツリー（quadtree）形の手法を用いる。
【００４５】
本発明はウェーブレットで符号化された階層的なメッシュが関連付けされた画像を復号化し、ゾーンのそれぞれのメッシュの符号化に割り当てられたウェーブレットの種類に関する情報の関数として、前記画像の前記別個のゾーンに対して選択的な復号化を実行する方法にも関係する。
【００４６】
このように、画像は符号化の間に別個の性質の少なくとも２つのゾーンに分割され、ゾーンの性質は前記ゾーン内の前記メッシュの少なくとも１つの特性パラメータの関数であるため、本発明の復号化方法には下記のステップ、すなわち、
符号化された画像を示すストリームから各ゾーンのメッシュの符号化に割り当てられたウェーブレットの種類に関する情報を抽出するステップ、
ゾーンのそれぞれに対して、こうした情報の関数として、ゾーンのメッシュを復号化するステップ、
が含まれる。
【００４７】
本発明はウェーブレットで符号化された階層的なメッシュが関連付けされた画像を符号化し、前記メッシュをウェーブレットで符号化するための手段を実行し、また前記画像の別個のゾーンに対して少なくとも２つの種類のウェーブレットを選択的に適用する手段を含む装置にも関連する。
【００４８】
このため、本発明の符号化装置は下記の手段、すなわち、
ゾーンの性質が前記ゾーン内のメッシュの少なくとも１つの特性パラメータの関数となるように、少なくとも２つの別個の性質のゾーンに画像を分割する手段と、
前記ゾーンの前記メッシュの前記符号化を最適にすることができる少なくとも１つのウェーブレットの種類を、前記ゾーンの性質の関数として、前記ゾーンのそれぞれに対して割り当てる手段と
を含む。
【００４９】
本発明はウェーブレットで符号化された階層的なメッシュが関連付けされた画像を復号化し、ゾーンそれぞれのメッシュの符号化に割り当てられたウェーブレットの種類に関する情報の関数として、前記画像の前記別個のゾーンに対して選択的な復号化を行う手段を含む装置にも関係する。
【００５０】
画像は符号化の間に別個の性質の少なくとも２つのゾーンに分割され、ゾーンの性質は前記ゾーン内の前記メッシュの少なくとも１つの特性パラメータの関数であるため、本発明の復号化方法には下記の手段と、すなわち、
符号化された画像を示すストリームから各ゾーンのメッシュの符号化に割り当てられたウェーブレットの種類に関する情報を抽出する手段と、
ゾーンのそれぞれに対して、情報の関数として、ゾーンのメッシュを復号化する手段と
が含まれる。
【００５１】
本発明は、ウェーブレットで符号化された階層的なメッシュが関連付けされた画像を示す信号にも関連する。本発明によれば、少なくとも２種類のウェーブレットが符号化の間に前記画像の別個のゾーンに選択的に適用される場合、前記ゾーンのそれぞれのメッシュの符号化に割り当てられる前記種類のウェーブレットに関する情報がこの種の信号により伝達される。
【００５２】
画像が符号化の間に少なくとも２つの別個の性質のゾーンに分割され、ゾーンの性質はゾーン内のメッシュの少なくとも１つの特性パラメータの関数であるため、本発明の信号は各ゾーンのメッシュの符号化に割り当てられるウェーブレットの種類に関する情報を伝達する。
【００５３】
こうした信号は、それぞれが前記画像の前記ゾーンの１つに関連付けられるパケットの形式で構成され、前記パケットのそれぞれは、下記のフィールド、すなわち、
パケットの開始を示すフィールドと、
前記パケットの識別子を伝達するフィールドと、
情報ヘッダフィールドと、
前記ゾーンに割り当てられた前記ウェーブレットの種類に関する前記情報の一部を含むフィールドと、
前記ゾーンの前記メッシュに適用されるウェーブレット係数を含むフィールドと、
前記画像の前記メッシュの形式に関するフィールドと、
パケットの終了を示すフィールドと
を含むことが好ましい。
【００５４】
前記情報ヘッダフィールドが、
前記ゾーンのウェーブレット係数の数に関するサブフィールドと、
前記メッシュの前記形式の関数として、前記画像の前記ゾーンを示すサブフィールドと、
前記ウェーブレット係数に対して用いられるビットマップの数に関するサブフィールドと
を含むことが好ましい。
【００５５】
この方法は、下記、すなわち、
ビデオのストリーミングと、
ビデオ記憶と、
ビデオ会議と、
ビデオオンデマンドと、
ビデオメールと
を含むグループに属する少なくとも１つの分野に対して用いる本願で前に説明された符号化方法及び復号化方法の用途にも関係する。
【００５６】
本発明の他の特徴及び利点は、単純で例証となる限定されることはない実施例によって与えられた好ましい実施形態の以下の説明及び添付した図面からより明瞭に見えてくるであろう。
【発明を実施するための最良の形態】
【００５７】
本発明の一般的な原理は、様々な種類のウェーブレット、特に第２世代のウェーブレットを画像の種々の領域に適用して、符号化特性が検討するゾーンの内容に適した種類のウェーブレットを選択することによって、画像の全体的な符号化を最適にすることに基づいている。
【００５８】
本発明の実施形態を詳細に説明する前に、ビデオの符号化並びにメッシュ、リフティング及び第２世代のウェーブレットの概念に関して、幾つかの簡単な注意を行う。実際に、本発明は特に、これらの様々な考え方に基づいて、ビデオシーケンスの符号化についての一般的な状況の中で用いられる。
【００５９】
例えば、文献ISO/IEC (ITU-T SG8) JTC1/SC29 WG1 (JPEG/JBIG), JPEG2000 Part I Final Committee Draft, Document N1646R、２０００年３月、の中で説明されるビデオの符号化に関する一般的な原理は、種々の方法（4:4:4 / 4:2:2 / 4:2:0...）でサンプリングされたＹＵＶ面（輝度／クロミナンスｒ／クロミナンスｂ）の中で示された一連の画像の形式でディジタルビデオを説明することから構成する。符号化システムは、連続した画像内の空間及び時間の冗長度を考慮して、この表示を変化させることから成る。このため、（例えば、ＤＣＴ又はウェーブレット形の）変換が、一連の互いに依存する画像を得るために適用される。
【００６０】
これらの画像は、各画像の種類が良く測定された特性を有するＩ／Ｂ／Ｐの順で順序付けられる。Ｉ画像は「内部」（intra）画像とも呼ばれて、静止画像と同じ方法で符号化され、他のシーケンスの画像に対する基準としての役目をする。Ｐ画像は「予測された」(predicted)画像とも呼ばれて、２種の情報、すなわち、動きが補償されたエラー情報及び運動ベクトルを含む。これら２つの情報は、Ｉ形又はＰ形の１つ以上の前の画像から導き出される。Ｂ画像も「双方向」画像と呼ばれて、これら２種の情報を含むが、２つの基準すなわちＩ形又はＰ形の後方基準及び前方基準に基づいている。
【００６１】
このことは、検討するビデオシーケンスの全体を復元可能にするために、従来の方法で符号化された内部画像「Ｉ」及び次に各連続画像に関する運動ベクトル及びエラーを送信すれば十分であることを意味する。
【００６２】
静止画像又はビデオシーケンスを符号化するための周知の技術も、符号化すべき画像に関連付けされた階層的なメッシュを使用することに依存している。このため、例えば、灰色レベルに符号化された静止画像を検討してみる。この画像は、パラメータ面の分離された表示と考えることができる。このため、任意のメッシュを画像のあるゾーン又は画像全体のいずれかに適用することができる。階層的な細分を用いて（適用できる又は適用できない場合がある）、このメッシュは規則的に又は不規則に導き出すように作られる。このように、「階層」は、計算されたエラーが所定のしきい値の上にある画像の領域の中でのみ、メッシュの細分を通して利用できる。メッシュの基本的な技術に関する一般的な見解は、文献ISO/IEC (ITU-T SG8) JTC1/SC29 WG1 (JPEG/JBIG), JPEG2000 Part I Final Committee Draft, Document N1646R、２０００年３月、の中にも示されている。
【００６３】
幾つかの画像符号化技術は、また特にW. Sweldensによる「The Lifting Scheme : A New Philosophy in Bi-Orthogonal Wavelets Constructions」、Proc. SPIE 2529, １９９５年、ページ６８〜６９、の中で説明された、「リフティング」として周知のウェーブレット分解方法に基づいている。リフティングはごく最近見出され、通常のコンボリューションによる方法よりも単純で高速なウェーブレット分解(decomposition)方法として一般的になっている。リフティングにより、分析のマトリックスに対する簡単な行および列の演算を行うことにより、再構成(reconstruction)を簡単に行うことができる。
【００６４】
図１ａ及び図１ｂを参照して、「リフティング」分解の一般的な方式及び関連付けされた多相マトリックス(associated polyphase matrix)の形式をここで考察する。
【００６５】
一般的な方法には、信号を２つの偶数値のサンプル１２及び奇数値のサンプル１３に分離する動作１１と、奇数値のサンプルを偶数値のサンプルの関数として予測する動作とが含まれる。一旦予測動作が行われると、信号の更新がその初期特性を保存するために行われる。このアルゴリズムは、要望どおり何回も繰り返すことができる。リフティングによる表現により、信号の分析１４及び合成１５を可能にする多相マトリックスの考え方がもたらされる。
【００６６】
図１ｂは、下記のように多相マトリックスＰ（ｚ）に連結された(concatenated)「リフティング」方式を一層具体的に示す。
【数１】
ここで、ｓi（ｚ）及びｔi（ｚ）は２つのローランの多項式であり、Ａ及びＢは標準化の係数である。
【００６７】
最後に、特に本発明との関連で実行される第２世代のウェーブレットが、数学の世界から到来する新しい変換を構成することが想起される。
【００６８】
この変換は、最初にW. Dahmenによる「Decomposition of refinable spaces and applications to operator equations」、Numer. Algor., No. 5、１９９３年、ページ２２９〜２４５、及びJ. M. Carnicer、 W. Dahmen 及び J.M. Penaによる「Local decomposition of refinable spaces」、Appl. Comp. Harm. Anal. 3、１９９６年、ページ１２７〜１５３、の中で紹介され、次にW.Sweldensによる「The Lifting Scheme : A Construction of Second Generation Wavelets」、１９９６年１１月、SIAM Journal on Mathematical Analysis、並びにW. Sweldens 及び P. Schroderによる「Building Your Own Wavelet at Home」、第２章、Technical report 1995, Industrial Mathematics Initiative、の中で開発された。
【００６９】
ウェーブレットは分析空間の不規則な細分から作られ、平均化及び重み付けられた補間方法に基づいている。Ｌ2（Ｒ）の中で一般に使用されるベクトル積は、重み付けられた内部ベクトル積になる。これらのウェーブレットは、コンパクトなサポート（台）及び間隔に対する分析に特に良く適合される。しかしながら、それらのウェーブレットは、本願で上述されたリフティング方法によって作られているため、第１世代のウェーブレットすなわち良好な時間／周波数の局所性及び高い計算速度という特性を保持している。
【００７０】
M. Lounsbery、T. DeRose及びJ. Warrenは「Multiresolution Analysis for Surfaces of Arbitrary Topological Type」、ACM Transactions on Graphics、１９９４年、の中で、これらのウェーブレットを任意の表面構造に対して適用することを考えた。本発明では、これらのウェーブレットは、表面を構成するメッシュに対して適用される。この表面のトポロジーは任意のトポロジーとすることができる。
【００７１】
これらの第２世代のウェーブレットを正確に定義するために、発明者らは、先ず第一にこれらのウェーブレットが第１世代のウェーブレットと呼ばれるものと共通して有している特性を思い起こし、次に第２世代のウェーブレットから分かり、また特に本発明との関連で利用される別の特性を示す。
【００７２】
［第１世代及び第２世代のウェーブレットに共通する特性］
Ｐ１：ウェーブレットはＬ2（Ｒ）に対するRiezベース並びにLebesgue、Lipchitz、Sobolev及びBesovの空間などの多種多様な関数の空間に対する「均一」なベースを形成する。このことは、引用される空間のどのような関数もウェーブレットの基底で分解することができ、この分解はこの関数に対するノルム（初期空間のノルム）として均一に収束する。
Ｐ２：均一な基底に関する分解係数は知られている（あるいは、容易に見つけることができる）。しかも、ウェーブレットが直交していること、すなわちデュアルウェーブレットは、周知である（二重直交（bi-orthogonal）の場合）。
Ｐ３：ウェーブレット及びデュアルウェーブレットは、空間及び周波数の中で局所的な特性を有する。幾つかのウェーブレットはさらにコンパクトなサポートを有する（本発明はこうしたウェーブレットを使用することが好ましいが、これに限定されることはない）。周波数局在化の特性は、ウェーブレットの規則性（高い周波数に対して）及びゼロ多項式モーメント（zero polynomial moment）の数（低い周波数に対して）から直接生じる。
Ｐ４：ウェーブレットは、マルチ分解度分析（multiresolution analysis）の中で使用することができる。このことにより、ＦＷＴ（高速ウェーブレット変換）がもたらされる。このＦＷＴにより、関数からウェーブレット係数まで「線形時間（linear time）」で進むことができる。
【００７３】
［第２世代のウェーブレットを特徴付ける別の特性］
Ｑ１：第１世代のウェーブレットはＲnで定義された関数に対する基底を提供するが、幾つかのアプリケーション（データの細分化、一般的なドメイン内の偏微分方程式の解、又は任意のトポロジーのメッシュに対するウェーブレットの適用など）は、曲線、面又はそれらの取り合わせのようなＲnの任意のドメインに対して定義されるウェーブレットを必要とする。
Ｑ２：微分形式の対角化、曲線及び面の分析、並びに重み付けされた近似値は、重み付けされた測定値に適合された基底を必要とする。しかしながら、第１世代のウェーブレットは、並行移動（translation）における不変測度（invariant measurement）（典型的には、ルベーグ測度）のある空間に対してのみ基底を提供する。
Ｑ３：多くの実際の問題は、不規則なサンプリングによるデータに適合したアルゴリズムを必要とするが、第１世代のウェーブレットは規則正しく行われたサンプリングデータに対してのみ分析を可能にする。
【００７４】
したがって、第２世代のウェーブレットの構造を要約するために、次の原理が強調される。
【００７５】
マルチ分解分析の間は、スケール関数が展開する従来の空間は、下記の式のように値Ｖkであると仮定される。
【数２】
分析の空間は、バナッハ空間（Banach Space）（Ｒｅｆ Ｂ）の中に位置を取って拡大される。こうして、下記の式のように、第２世代のウェーブレットが得られる。
【数３】
分布の意味に取られるスカラー積がバナッハ空間の中で定義され、双対空間の再定義が可能にされる。再定義の条件は、下記の式のようになる（マトリックス形式）。
φｋ-1＝Ｐφk
ここで、Ｐは任意の不特定のマトリックスである。
【００７６】
ビデオ符号化技術を理解するために必要な概念に関するこれら幾つかの説明をした後で、図２を参照して、本発明の一般的な原理に関する一層詳細な説明をこれから行う。
【００７７】
参照番号２１の画像を検討する。この画像は、符号化される静止画像又はビデオシーケンスの画像の１つとすることができる。参照番号２３の階層的なメッシュがそれに結合されている。図２では、このメッシュは一部だけが画像２１に重なり合った規則的なメッシュである。無論、このメッシュは不規則なメッシュとすることもできるし、画像２１の全体に重なるものともできる。
【００７８】
本発明の一般原則は、画像２１の中に性質の異なるゾーンを特定し、これらのゾーンに対して、特性が検討されているゾーンの内容に良く適合する異なる種類のウェーブレットを適用することである。このため、図２の画像２１を、それぞれがＴ１，Ｔ２及びＴ３と参照番号が付いた複数のゾーン２２に分割することができる。
【００７９】
可能な程度まで、参照番号Ｔ１，Ｔ２及びＴ３のゾーンが長方形のブロックの形式で、又は処理を容易にするために、集団にされた長方形のブロックの組で作られる。
【００８０】
このように、画像２１の太陽２４に対応する組２２の参照番号Ｔ３のゾーンは、太陽２４を包含する長方形である。しかしながら、画像２１の不規則なレリーフ２５に対応する参照番号Ｔ１のゾーンは、階段の形状をしており、これはレリーフ２５の形状にできるだけ接近して従う平行６面体のブロックの組に対応する。
【００８１】
ゾーンＴ１は画像２１のテクスチャーゾーンであり、一方ゾーンＴ２は画像２１の分離された特異点を取り囲み、またゾーンＴ３の太陽は主に輪郭によって定義される。
【００８２】
このため、本発明によれば、これらの各ゾーンの符号化に最も密接に対応する種類のウェーブレットが選択される。本発明の１つの特定の実施形態では、テクスチャーゾーンＴ１に対しては、このようにバタフライ形のウェーブレットが適用するように選択され、一方特異点ゾーンＴ２及び輪郭ゾーンＴ３は、それぞれアフィン形ウェーブレット及びループ形ウェーブレットによって符号化されることが好ましい。
【００８３】
このような方法で、画像２１の符号化及び適合された端末上でのその復元の品質の両方を最適化することができる。
【００８４】
下記の表は、符号化されるゾーンの性質の関数として様々な種類のウェーブレットを、本発明に基づいて選択する好ましい基準を要約している。
【表１】
【００８５】
他の種類のウェーブレットも、無論、本発明の枠組みの中で実現できる。本発明は、単に上記の表の中で説明された種類のウェーブレット及びゾーンの性質に決して限定されることはない。
【００８６】
上記の表は、特に、自然の物体の場合と非自然の物体の場合との間の輪郭に関して区別を行っていることに注意されたい。実際に、自然の物体は、非自然の物体よりも一層不確実な輪郭によって決定される。このため、周波数に関しては、自然の物体は非自然の物体とは異なり、明確なピークを有していない。従って、処理される物体の関数として、２つの事例の間を区別する必要がある。
【００８７】
これら２種類の物体を区別する１つの基準は、例えば、輪郭に対応付けられた灰色レベルに適用される多方向性の高域フィルタによってフィルタ処理された画像に対してしきい値を設定することによって得ることができる。
【００８８】
ここで、ビデオシーケンスを符号化するという一般的な状況のもとで、本発明の特定の実施形態を提示することにする。特定のステップの１つは、本発明を実行することに対応する。
【００８９】
この種の符号化技術は、本願で上述されたビデオの符号化及びリフティング技術に特に依存する。
【００９０】
Ｉ／（ｎ）Ｂ／Ｐ形の方式を検討する。ここで、ｎは正又は０の値であり、Ｉは「内部」画像を指定し、Ｂは双方向画像であり、Ｐは予測された画像である。実施例を示すために、ＭＰＥＧ、例えば、ＭＰＥＧ−４形の符号化がエラー画像を除いて実行され、エラー画像に関しては、本発明はメッシュ及び第２世代のウェーブレット符号化法を用いて実行することが検討される。
【００９１】
無論、ＭＰＥＧ−４の符号化を等価の技術に基づいた任意の種類の符号化によって置き換えることは考えることができる。この等価の技術には、時間ベースの予測及びブロック構造に基づいた離散コサイン変換（ＤＣＴ）、並びに発生する情報に対するエントロピー定量化及び符号化演算を用いる技術が含まれる。特に、ITU-T/H.264 又は MPEG-4 AVC符号化法（特に、Joint Final Committee Draft of Joint Video Specification (ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC)、Thomas Wiegand、Klagenfurt、２００２年７月２２日、の中で説明されたような）は、本発明の内容から逸脱することなく、ＭＰＥＧ−４の符号化に取って代わることができる。
【００９２】
符号化装置すなわちエンコーダに入る検討されるビデオシーケンスの各画像に対して、この装置は、ＭＰＥＧ−４の符号化モジュール（歪み／ビットレートのトレードオフによる最適化の機能付き又はなし）又は歪み／ビットレートの最適化に基づいた特定の符号化モジュールを用いて、それを符号化することを決定する。歪み／ビットレートのトレードオフによる最適化は画像の品質とその大きさとの間に妥協をもたらすこと、すなわち、このように、歪み／ビットレートのトレードオフによる最適化は最良の可能な妥協を得ることを目的とする最適化を提供することを想起されたい。
【００９３】
Ｐ形及びＢ形画像に対する動きの予測は、ＭＰＥＧ−４規格の中で規定されたブロックマッチング技術に基づいて実行される。
【００９４】
エラーの符号化に関しては、本発明を実行することによって達成される。メッシュベースの第２世代のウェーブレットをこのようにエラー画像に変換することにより、関連する符号化費用を極めて低くして、画像の不連続性（輪郭、テクスチャー、特異点など）に対して良好な表示を行うことができる。このように、本発明は先ず第１に画像に対して様々な種類の特異点を考慮に入れ、第２には適当なウェーブレットのモジュールを選択してこれらの画像を処理するため、本発明は圧縮効率を極めて高くすることができる。
【００９５】
本発明が本願で関係するビデオシーケンスを符号化する第１のステップは、内部（Ｉ）画像を符号化することに関連付けられる。この符号化するステップは、例えば、ＭＰＥＧ−４の場合のようにＤＣＴ変換を使用すること、又は例えば、W. Dahmenが「Decomposition of refinable spaces and applications to operator equations」、No. Algor.、Ｎｏ５、１９９３年、ページ２２９〜２４５、の中で説明したような、第１世代のウェーブレットの符号化法を適用することに依存する。
【００９６】
ビデオシーケンスを符号化する第２のステップについては、そのステップは予測された画像Ｐ及び双方向画像Ｂの符号化に関係する。これらの画像は、先ず最初に、例えば「ブロックマッチング」法（G.J. Sullivan 及びR.L. Bakerによって「Motion compensation for video compression using control grid interpolation」、International Conference on Acoustics, Speech, and Signal Processing、１９９１年、ICASSP-91、第４巻、ページ２７１３〜２７１６、の中で説明された）などの従来の予測／補償方法によって運動補償され、次に対応するエラー画像が記憶される。
【００９７】
このように、エラー画像は正確な画像をシーケンスから引き去ることによって得られ、また画像は運動を補償または予測することによって組み立てられる。この後者が正確な画像とは異なる場合、エラー画像には符号化する必要がある少なくとも１つのエラー領域が含まれる。正確な画像及び運動の補償によって得られた画像の少なくとも幾つかの部分が全く同じである場合、エラー画像は符号化ストリームを送信する間にゼロの値を送信するために十分な少なくとも１つの実質的にゼロの領域も有する。
【００９８】
第３のステップの間に、エラー情報及び運動情報が分離され、動作はしきい値設定動作によってエラー画像の中のエラー領域を検出することに集中する。「ｅ」を許容しきい値と仮定すると、エラー領域はこのしきい値以上の値を有するエラー画像の全ての領域であると認識される。
【００９９】
本発明の第１の別の実施形態では、これらのエラー領域はブロックによって（四辺形のゾーンを有するように）一緒にされる。ブロックのグルーピングは、各ブロックをテクスチャー、色、形状、輪郭、分離された特異点に関する情報に対応する少なくとも１つの特性に結び付けることによって得られる。この特徴付けにより、ゾーンを別個の性質にするという形式でブロックのグルーピング及び画像の分割を行うことが可能にされ、これにより、適当な種類のウェーブレットを適用することによるその最適な変換により、分割された各ゾーンの符号化が可能にされる。
【０１００】
図３に示された本発明の第２の別の実施形態では、画像は「クワッドツリー（quadtree）」形の技術に基づいて、性質が異なる内部ゾーンに分割される。
【０１０１】
例えば参照番号３２〜３４の３つのエラー領域を含む画像３１を検討する。動作は連続的な繰返し（ステップ１からステップ４）によって実行される。すなわち、画像３１を４つの正方形のゾーンに分割する場合、これらのゾーンのそれぞれは４つの正方形の下位のゾーン（sub-zone）に細分され、この動作が順番に反復されて、こうして得られた正方形のメッシュが画像３１の参照番号３２，３３又は３４のエラー領域の中に含まれると考えることができるまで継続される。
【０１０２】
画像の異なるエラーブロックの検出が（前述した２つの別の実施形態の１つに基づいて）行われた後で、図２を参照して説明されたように、画像は性質が異なるゾーンに細分される。これらの画像は異なるウェーブレットによって符号化され、選択されたウェーブレットの特性の関数として符号化の最適化を可能にする。
【０１０３】
ゾーンの性質は、例えば、ゾーンを覆うメッシュの密度によって決定することができる。このため、検討するゾーンのメッシュの密度が高い場合は、これはテクスチャーゾーンであると推定することができる。
【０１０４】
それに対して、画像の特異点を含むゾーンは、メッシュの密度は画像の点の周りでは高く、隣接する点では極めて密度が低いゾーンである。その部分の輪郭ゾーンは、メッシュの密度が一方方向に高いことによって特徴付けられる。 第４のステップでは、図４に示すように、画像の別個の性質のゾーン（四辺形の形状が好ましい）が決定された後で、通常の密度のメッシュがゾーンのそれぞれに対して適用される。メッシュの密度は、画像の関数として調整することができるパラメータである。図４は、カメラマンを示す画像に適用された通常のメッシュを例証する。このメッシュは、千鳥状に配置された行配列を有する形状である。それは不規則な細分化及び第２世代のウェーブレットの使用を可能にする。
【０１０５】
第５の処理のステップの間に、第１の別の実施形態によれば、動作は図４の通常の密度のメッシュで始まり、所定のデビット歪み基準（debit-distortion criteria）に基づいて、また検討する画像のゾーンの異なる特性の関数として（例えば、テクスチャーゾーン、輪郭ゾーン、又は特定ゾーン）「最適な」粗いメッシュに向かってそれを発展させる。
【０１０６】
図５ａから図５ｄは、それぞれ反復数３，６，９及び１６の、図４のメッシュの発展を示す。
【０１０７】
より具体的には、画像を読み取り、図４の通常のメッシュを作成した後で、三角形のメッシュの最適化Ｌ2、三角形の合併、次にリッジの交換を行う動作を含む連続的な反復が実行される。次にメッシュのノードの位置が定量化され、その後で幾何学的な最適化が実行される。実際に、どのメッシュも上下反対になっていないことを検証する必要がある。このため、各三角形は時計回りの動作として周知の動作の中で試験される。最終的な点の定量化は必要である。次に、定量化Ｌ2に戻る。このループは望ましい回数だけ行われ、連続した反復の数は独自のものにすることができる符号化のパラメータを構成する。
【０１０８】
図５ｅから図５ｇは、検討する画像がエラー画像の場合、ビデオシーケンスを符号化する第５のステップを例証する。これにより、図５ｅは、フォアマンシーケンス（Foreman sequence）として周知のビデオシーケンスから引き出されたエラー画像を示す。図５ｆは、規則的にメッシュが付けられたフォアマンシーケンスから引き出されたエラー画像を示す。最後に、図５ｇは、本発明のゾーン検索アルゴリズムを何回か繰り返した後の、メッシュが付けられたフォアマンシーケンスから引き出されたエラー画像を示す。
【０１０９】
ビデオシーケンスを符号化するこの第５のステップも、第２の別の実施形態に基づいて実行することができる。この場合、「粗い」メッシュが検討する画像に適用され、次にこの粗いメッシュは連続的な細分化によって洗練される。この種の粗いメッシュを発生するには、等距離の点が画像の輪郭、テクスチャー、及び特異点上に配置され、これにより、今度はカバーするゾーンを慎重な（すなわち、適応性のある）方法で網状にすることができる。標準的な１から４の細分化がこの時実行されて、洗練することによって最終的なある程度規則正しいメッシュ付けが得られる。
【０１１０】
例えば、P. Gioiaが「Reducing the number of wavelet coefficients by geometric partitioning」、Computational Geometry, Theory and Applications、第１４巻、１９９９年、ページ２５〜４８、の中で説明した技術に基づいて処理を行うことは可能である。
【０１１１】
シーケンスを符号化する第６のステップは、図６に示すようなエッジの管理に関係する。これを行うために、この方法は（周期化法（periodization method）として周知の方法によれば）トーラス６２が付いた平面メッシュ６１（行が千鳥状になったメッシュ）の同相写像、あるいはまた従来のデータの対称化を使用する。この目的のために、画像は不確実な境界（すなわち、メッシュの１つの方向に向けられていない境界）上に配置された対角線を反転して拡大される。時代区分及び対称化方式は、画像に関して重要であることが分かる。その理由は、その方式は、ウェーブレット係数の統計的分布のスキューイング（skewing）が送信されないようにするため、バイエキスポーネンシャル法則（bi-exponential law）に向かって収束することを可能にするためである。
【０１１２】
第７のステップでは、第２世代のウェーブレットが画像のメッシュに適用される。例えば、この目的のために、M. Lounsbery、T. DeRose、及びJ. Warrenによって提案された方法、「Multiresolution Analysis for Surfaces of Arbitrary Topological Type」、ACM Transactions on Graphics、１９９４年、が、検討されるゾーンの性質の関数として本発明に基づいて選択された種類のウェーブレット（例えば、ループ又はバタフライ形のウェーブレット）と一緒に適用される。
【０１１３】
ウェーブレットは、ゾーンの更新点（これは１つの特定の実施例では中心点である）におけるメッシュに関連したスカラー値を考慮して、また隣接点においてはこの同じスカラー値の関数としてメッシュに適用される。このスカラー値は、例えば、検討するメッシュの点の輝度又はこの同じ点のクロミナンスの構成要素とすることができる。この後に、図７ａから図７ｄで重み付けられたウェーブレットの分解が例示される。
【０１１４】
図７ａはバタフライ形ウェーブレットを示す。この図で、参照番号７０の中心点はメッシュの適用点を示し、他の点はメッシュの隣接点における補間係数を示す。前述したように、このウェーブレットはテクスチャーの管理に特に適切である。
【０１１５】
言い換えると、メッシュの特性パラメータ（例えば、幾つかの点における画像の輝度）は、例えば、M. Lounsbery、T. DeRose及びJ. Warrenが上記の文献の中で説明したように、第２世代のウェーブレットによる分析のステップに基づいて、別のノードを参照番号７０に加えることが必要か及び／又は好ましいかを決定するために研究される。
【０１１６】
図７ｂから図７ｄは、それぞれ、ループ、アフィン及びキャットマル・クラーク形ウェーブレットを示す。これらの図面では、参照番号７０の点は、更新点とも呼ばれるもので、メッシュを適用する点を示す。他の点はまた、メッシュに隣接する点上の補間係数を示す。
【０１１７】
前述した方法で進めることによって、ウェーブレット係数が検討する画像のゾーンの特定のメッシュに対してこのように得られる。この動作は全体の画像に対して実行され、またビデオシーケンスの場合は、全てのＰ／Ｂ画像に対して実行される。処理されるデータの種類（例えば、テクスチャー、輪郭、形状など）に最適なウェーブレットが、メッシュの各部分に対して適用される。
【０１１８】
上述したように、関連するゾーンの性質を決定するために、ある点の周りのメッシュ及びこの点の周りの領域のメッシュの密度を使って処理することが可能である。このため、画像の点Ａにおいて、メッシュの密度は高い（その２つの連続する隣接部に対して）が、この領域の周りではメッシュが空である場合、これは分離された特異点であると言われる。この場合、アフィンウェーブレットが適用される。この領域の周りでメッシュの密度がまだ高い場合、それはテクスチャーであると言われ、バタフライ形ウェーブレットが適用されることが好ましい。輪郭を特徴付けるために、メッシュの密度が方向に沿って検出される（メッシュの密度が特定の方向に沿って高い場合）。
【０１１９】
ビデオシーケンスの符号化の関連において、シーケンスの連続画像の相互依存性も考慮に入れる。このため、１つの画像から他の画像に移る場合、メッシュの一部（又はメッシュの全体でさえも）は同じとすることができる。このため、シーケンスの先行する画像に対して変更されているメッシュのこれらのノードのみを、復号化端末又は復元端末に送信することは適当である。エンコーダは、他のノードは変わっていないと考える。同様に、特定のメッシュに適用されたウェーブレットは、大抵の場合、ある画像から他の画像に変化しないで留まる。ウェーブレットが同じ状態に留まる場合、このレベルでは情報は送信されない。
【０１２０】
第８のステップでは、前に取得されたウェーブレット係数が符号化される。これを行うために、ゼロツリー形の技術（例えば、J.M. Shapiroが「Embedded Image Coding Using Zerotree of Wavelet Coefficients」、IEEE Transactions on Signal Processing、第４１巻、Ｎｏ．１２、１９９３年１２月、ページ３４４５〜３４６１、の中で説明したような）又はＥＢＣＯＴ形の技術（例えば、D. Taubmanが「High Performance Scalable Image Compression with EBCOT」、IEEE Transactions on Image Processing、第９巻、Ｎｏ．７、２０００年７月、の中で提示したような）を実行して、ウェーブレット係数を分類及び定量化する。
【０１２１】
ビデオシーケンスを符号化する第９のステップは、これらのウェーブレット係数の整形に関する。この整形動作は、ＭＰＥＧ−４規格が関係する文献ISO/IEC JTC 1/SC 29/WG 11、N4973、AFX Verification Model 8、Klagenfurt、オーストリア、２００２年７月、の中で提案された方法に基づいて行われる。関心のあるゾーンすなわち高いエラーゾーンに応じて、受信及び復号化の間にパケットが他に関連して強調される。
【０１２２】
他の方法は、パケットの中に含まれるエラーの量に応じて、優先順位の「順序」によってウェーブレット係数を送信することにある。それ故に、データは次の形式で送信される、すなわち、パケット数／情報のヘッダ（係数の数、画像のゾーン、ビットマップの数など）／ウェーブレットの種類／ウェーブレット係数／メッシュ情報である。データはこのようにチャネルに送信され、次に復号化又は記憶するために受信される。
【０１２３】
本発明によれば、信号の構造は定義されることが好ましい。この信号の構造は連続するパケットの形式で編成され、これらのパケット自身のそれぞれは次のフィールドから構成する、すなわち、パケットの開始／パケット番号／情報ヘッダ／ウェーブレットの種類／ウェーブレット係数／メッシュの形状／パケットの終了、から構成する。
【０１２４】
パケット番号フィールドは、パケットの寸法の順序の中に割り当てられたパケットの識別子を含む。
【０１２５】
情報ヘッダフィールドは、次のサブフィールドを含む、すなわち、
ウェーブレット係数の数（処理される画像のゾーンの中の全数）、
検討される画像のゾーン（「メッシュの形状」フィールドによって特に提供された情報の関数として）、
ビットマップの数（ウェーブレット係数を符号化するために使用される）。
【０１２６】
「ウェーブレットの種類」フィールドは、検討するゾーンに適用されるウェーブレットが、例えばループ形、バタフライ形、キャットマル・クラーク形のウェーブレットであるか、あるいはまたアフィン形ウェーブレット、又は検討するゾーンの性質に基づいて選択される何らかの他の種類であるかどうかを示す。
【０１２７】
「メッシュの形状」フィールドに関しては、そのフィールドは、（頂点及びリッジの形状の中の）基本的なメッシュを送信することができる。
【０１２８】
例えば、本発明に基づいて別個の性質の２つのゾーンに分割され、第１のゾーンがバタフライ形ウェーブレットによって符号化され、第２のゾーンがループ形ウェーブレットによって符号化される画像の符号化を検討する場合、送信され符号化されたシーケンスを伝達する本発明の信号は、次の形式を含むことが好ましい、すなわち、
画像の開始
パッケージの開始／No 145 / 250 coeff / vertex5, ridge2,4,5; vertex45, ridge 56,54,87... / 256 / バタフライ/ (10,25,14), (25,54,84),(...),(25,36,10)／パッケージの終了
パッケージの開始／No 260 / 130 coeff/ vertex14, ridge8,41,5; vertex7, ridge 21,47,21... / 256 / ループ/ (1,5,8), (2,4,42),(...),(52,20,10)／パッケージの終了
画像の終了。
【０１２９】
本発明は、各ウェーブレットの種類に関連して、エンコーダとデコーダとの間の定義済みのコードも提供して、ウェーブレットの種類フィールドの内容を簡潔にする。これにより、識別子１をループ形ウェーブレットに、識別子２をバタフライ形ウェーブレットに、識別子３をキャットマル・クラーク形ウェーブレットに、また識別子４をアフィン形ウェーブレットに割り当てるように考えることができる。ウェーブレットの種類フィールドは、この場合、２ビットで符号化することができる。
【０１３０】
復号化方法は、符号化方法を二重にした方法である。上記のパッケージを搬送する信号を受信すると、復号化装置は画像に対して定義されたゾーンのそれぞれに適用されたウェーブレットの種類に関する情報をその信号から抜き出し、復号化の間に使用されたウェーブレットの種類の関数としてこれらのゾーンのそれぞれに選択的な復号化を適用する。
【０１３１】
このように、最適な視覚品質の画像が得られ、これは安価な符号化費用で実現される。
【図面の簡単な説明】
【０１３２】
【図１】図１（ａ）及び図１（ｂ）は、特にW. Sweldensによって「The Lifting Scheme: A New Philosophy in Bi Orthogonal Wavelets Constructions」、Proc. SPIE 2529、１９９５年、ページ６８〜６９、の中で説明されたような分解を高める一般的な方式を示す図である。
【図２】画像の異なるゾーンの特性に適合したウェーブレット変換の選択によって、本発明の一般的な原理を説明する図である。
【図３】画像がエラー画像の場合、クワッドツリー形の技術に基づいて、図２の画像を異なるゾーンに分割する原理を説明する図である。
【図４】本発明に基づいて画像に適用された標準的な密度のメッシュを例示する図である。
【図５ａ−５ｇ】本発明の枠組みの中で実行される画像のメッシュを細分する種々のステップを例示する図である。
【図６】本発明の枠組みの中のエッジの管理の原理を示す図である。
【図７ａ−７ｄ】本発明に基づいて画像の種々のゾーンに適用することができる様々なウェーブレット方式を示す図である。
【特許請求の範囲】
【請求項１】
階層的なメッシュのウェーブレット符号化を実行してこの階層的なメッシュが関連付けされた画像を符号化する方法であって、前記画像の別個のゾーンに選択的に適用される少なくとも２つの種類のウェーブレットを用いることを特徴とする符号化方法。
【請求項２】
少なくとも２つの別個の性質を有するゾーンに前記画像を分割するステップであって、各ゾーンの性質が前記ゾーン内の前記メッシュの少なくとも１つの特性パラメータの関数である、ステップと、
前記ゾーンのそれぞれに対して、前記ゾーンにおけるメッシュの符号化を最適にすることができるウェーブレットの種類を、少なくとも前記性質の関数として割り当てるステップと
を含むことを特徴とする、請求項１に記載の符号化方法。
【請求項３】
前記メッシュの前記特性パラメータが、前記ゾーン内の前記メッシュの密度を考慮したものであることを特徴とする請求項２に記載の符号化方法。
【請求項４】
前記ゾーンの前記性質が、
少なくとも１種類のテクスチャーと、
少なくとも１種類の輪郭と、
少なくとも１種類の特異点と、
少なくとも１種類の色と、
少なくとも１種類の形状と
を含むグループに属することを特徴とする請求項２または３に記載の符号化方法。
【請求項５】
前記ウェーブレットの種類が、
ループ形ウェーブレットと、
バタフライ形ウェーブレット（Butterfly wavelet）と、
キャットマル・クラーク（Catmull-Clark）形ウェーブレットと、
アフィン形ウェーブレット（affine wavelet）と
を含むグループに属することを特徴とする請求項１から４のいずれかに記載の符号化方法。
【請求項６】
前記ゾーンのそれぞれに対して、前記ゾーンの更新点において前記メッシュに関連したスカラー値と、前記更新点に隣接する少なくとも幾つかの点において前記メッシュに関連した前記スカラー値とを考慮して、前記ゾーンに割り当てられた前記種類のウェーブレット係数を前記メッシュに適用するステップを含むことを特徴とする請求項１から５のいずれかに記載の符号化方法。
【請求項７】
前記スカラー値が、
前記メッシュの輝度と、
前記メッシュの少なくとも１つのクロミナンス成分と
を含むグループに属する前記メッシュのパラメータを表すことを特徴とする請求項６に記載の符号化方法。
【請求項８】
ゼロ・ツリー形の手法と、
ＥＢＣＯＴ形の手法と
を含むグループに属する手法を用いて前記ウェーブレット係数を符号化するステップをさらに含むことを特徴とする請求項６または７に記載の符号化方法。
【請求項９】
前記画像が連続した画像のシーケンスに属する場合、前記画像の前記ウェーブレット係数を前記シーケンス内の前記画像に先行又は後続する少なくとも１つの画像のウェーブレット係数と比較するステップをさらに含み、前記先行又は後続する画像のウェーブレット係数と同一である前記画像のウェーブレット係数に対する前記符号化するステップの実行を避けることを特徴とする請求項６から８のいずれかに記載の符号化方法。
【請求項１０】
連続した画像のシーケンスを符号化することができ、
前記画像が前記シーケンスの本来の画像と動きの予測または補償によって作られた画像とを比較することによって得られたエラー画像であり、
前記画像が符号化される、少なくとも１つのエラー領域であって、少なくとも１つのほぼ空となり得る領域を含むことを特徴とする請求項１から９のいずれかに記載の符号化方法。
【請求項１１】
前記分割するステップが、しきい値を設定することによって前記画像の前記エラー領域を検出するステップを含み、これにより前記画像の少なくとも１つの領域が所定のしきい値よりも大きいエラーを有することを決定できるようにすることを特徴とする請求項１０に記載の符号化方法。
【請求項１２】
前記分割するステップが、平行六面体状のブロック内で前記検出されたエラーゾーンの少なくとも幾つかをグループ化するステップも含むことを特徴とする請求項１１に記載の符号化方法。
【請求項１３】
前記分割するステップが、同じ性質のブロックの集合の形式で、前記画像の前記ゾーンを作るステップを含むことを特徴とする請求項１２に記載の符号化方法。
【請求項１４】
前記分割するステップが前記検出されたエラー領域から前記画像の前記ゾーンを作るステップを含み、これにより、クワッドツリー形の手法を用いることを特徴とする請求項１１に記載の符号化方法。
【請求項１５】
ウェーブレットで符号化された階層的なメッシュが関連付けされた画像を復号化する方法であって、
ゾーンのそれぞれのメッシュの符号化に割り当てられたウェーブレットの種類に関する情報の関数として、前記画像の前記別個のゾーンに対して選択的な復号化を実行することを特徴とする復号化する方法。
【請求項１６】
ウェーブレットで符号化された階層的なメッシュが関連付けされた画像を復号化し、前記メッシュをウェーブレットで符号化するための手段を実行する装置であって、
前記画像の別個のゾーンに対して少なくとも２つの種類のウェーブレットを選択的に適用する手段を含むことを特徴とする装置。
【請求項１７】
ウェーブレットで符号化された階層的なメッシュが関連付けされた画像を復号化する装置が、ゾーンそれぞれのメッシュの符号化に割り当てられたウェーブレットの種類に関する情報の関数として、前記画像の前記別個のゾーンに対して選択的な復号化を行う手段を含むことを特徴とする装置。
【請求項１８】
ウェーブレットで符号化された階層的なメッシュが関連付けされた画像を示す信号であって、
少なくとも２種類のウェーブレットが符号化の間に前記画像の別個のゾーンに選択的に適用される場合、前記ゾーンのそれぞれのメッシュの符号化に割り当てられる前記種類のウェーブレットに関する情報を前記信号が伝達することを特徴とする信号。
【請求項１９】
それぞれが前記画像の前記ゾーンの１つに関連付けられるパケットの形式で構成され、前記パケットのそれぞれは、下記のフィールド、すなわち、
パケットの開始を示すフィールドと、
前記パケットの識別子を伝達するフィールドと、
情報ヘッダフィールドと、
前記ゾーンに割り当てられた前記ウェーブレットの種類に関する前記情報の一部を含むフィールドと、
前記ゾーンの前記メッシュに適用されるウェーブレット係数を含むフィールドと、
前記画像の前記メッシュの形式に関するフィールドと、
パケットの終了を示すフィールドと
を含むことを特徴とする請求項１８に記載の信号。
【請求項２０】
前記情報ヘッダフィールドが、
前記ゾーンのウェーブレット係数の数に関するサブフィールドと、
前記メッシュの前記形式の関数として、前記画像の前記ゾーンを示すサブフィールドと、
前記ウェーブレット係数に対して用いられるビットマップの数に関するサブフィールドと
を含むことを特徴とする請求項１９に記載の信号。
【請求項２１】
ビデオのストリーミングと、
ビデオ記憶と、
ビデオ会議と、
ビデオオンデマンドと、
ビデオメールと
を含むグループに属する少なくともいずれかの分野に対して用いる、請求項１〜１４のいずれかに記載の符号化方法または請求項１５に記載の復号化方法の用途。
【請求項１】
階層的なメッシュのウェーブレット符号化を実行してこの階層的なメッシュが関連付けされた画像を符号化する方法であって、前記画像の別個のゾーンに選択的に適用される少なくとも２つの種類のウェーブレットを用いることを特徴とする符号化方法。
【請求項２】
少なくとも２つの別個の性質を有するゾーンに前記画像を分割するステップであって、各ゾーンの性質が前記ゾーン内の前記メッシュの少なくとも１つの特性パラメータの関数である、ステップと、
前記ゾーンのそれぞれに対して、前記ゾーンにおけるメッシュの符号化を最適にすることができるウェーブレットの種類を、少なくとも前記性質の関数として割り当てるステップと
を含むことを特徴とする、請求項１に記載の符号化方法。
【請求項３】
前記メッシュの前記特性パラメータが、前記ゾーン内の前記メッシュの密度を考慮したものであることを特徴とする請求項２に記載の符号化方法。
【請求項４】
前記ゾーンの前記性質が、
少なくとも１種類のテクスチャーと、
少なくとも１種類の輪郭と、
少なくとも１種類の特異点と、
少なくとも１種類の色と、
少なくとも１種類の形状と
を含むグループに属することを特徴とする請求項２または３に記載の符号化方法。
【請求項５】
前記ウェーブレットの種類が、
ループ形ウェーブレットと、
バタフライ形ウェーブレット（Butterfly wavelet）と、
キャットマル・クラーク（Catmull-Clark）形ウェーブレットと、
アフィン形ウェーブレット（affine wavelet）と
を含むグループに属することを特徴とする請求項１から４のいずれかに記載の符号化方法。
【請求項６】
前記ゾーンのそれぞれに対して、前記ゾーンの更新点において前記メッシュに関連したスカラー値と、前記更新点に隣接する少なくとも幾つかの点において前記メッシュに関連した前記スカラー値とを考慮して、前記ゾーンに割り当てられた前記種類のウェーブレット係数を前記メッシュに適用するステップを含むことを特徴とする請求項１から５のいずれかに記載の符号化方法。
【請求項７】
前記スカラー値が、
前記メッシュの輝度と、
前記メッシュの少なくとも１つのクロミナンス成分と
を含むグループに属する前記メッシュのパラメータを表すことを特徴とする請求項６に記載の符号化方法。
【請求項８】
ゼロ・ツリー形の手法と、
ＥＢＣＯＴ形の手法と
を含むグループに属する手法を用いて前記ウェーブレット係数を符号化するステップをさらに含むことを特徴とする請求項６または７に記載の符号化方法。
【請求項９】
前記画像が連続した画像のシーケンスに属する場合、前記画像の前記ウェーブレット係数を前記シーケンス内の前記画像に先行又は後続する少なくとも１つの画像のウェーブレット係数と比較するステップをさらに含み、前記先行又は後続する画像のウェーブレット係数と同一である前記画像のウェーブレット係数に対する前記符号化するステップの実行を避けることを特徴とする請求項６から８のいずれかに記載の符号化方法。
【請求項１０】
連続した画像のシーケンスを符号化することができ、
前記画像が前記シーケンスの本来の画像と動きの予測または補償によって作られた画像とを比較することによって得られたエラー画像であり、
前記画像が符号化される、少なくとも１つのエラー領域であって、少なくとも１つのほぼ空となり得る領域を含むことを特徴とする請求項１から９のいずれかに記載の符号化方法。
【請求項１１】
前記分割するステップが、しきい値を設定することによって前記画像の前記エラー領域を検出するステップを含み、これにより前記画像の少なくとも１つの領域が所定のしきい値よりも大きいエラーを有することを決定できるようにすることを特徴とする請求項１０に記載の符号化方法。
【請求項１２】
前記分割するステップが、平行六面体状のブロック内で前記検出されたエラーゾーンの少なくとも幾つかをグループ化するステップも含むことを特徴とする請求項１１に記載の符号化方法。
【請求項１３】
前記分割するステップが、同じ性質のブロックの集合の形式で、前記画像の前記ゾーンを作るステップを含むことを特徴とする請求項１２に記載の符号化方法。
【請求項１４】
前記分割するステップが前記検出されたエラー領域から前記画像の前記ゾーンを作るステップを含み、これにより、クワッドツリー形の手法を用いることを特徴とする請求項１１に記載の符号化方法。
【請求項１５】
ウェーブレットで符号化された階層的なメッシュが関連付けされた画像を復号化する方法であって、
ゾーンのそれぞれのメッシュの符号化に割り当てられたウェーブレットの種類に関する情報の関数として、前記画像の前記別個のゾーンに対して選択的な復号化を実行することを特徴とする復号化する方法。
【請求項１６】
ウェーブレットで符号化された階層的なメッシュが関連付けされた画像を復号化し、前記メッシュをウェーブレットで符号化するための手段を実行する装置であって、
前記画像の別個のゾーンに対して少なくとも２つの種類のウェーブレットを選択的に適用する手段を含むことを特徴とする装置。
【請求項１７】
ウェーブレットで符号化された階層的なメッシュが関連付けされた画像を復号化する装置が、ゾーンそれぞれのメッシュの符号化に割り当てられたウェーブレットの種類に関する情報の関数として、前記画像の前記別個のゾーンに対して選択的な復号化を行う手段を含むことを特徴とする装置。
【請求項１８】
ウェーブレットで符号化された階層的なメッシュが関連付けされた画像を示す信号であって、
少なくとも２種類のウェーブレットが符号化の間に前記画像の別個のゾーンに選択的に適用される場合、前記ゾーンのそれぞれのメッシュの符号化に割り当てられる前記種類のウェーブレットに関する情報を前記信号が伝達することを特徴とする信号。
【請求項１９】
それぞれが前記画像の前記ゾーンの１つに関連付けられるパケットの形式で構成され、前記パケットのそれぞれは、下記のフィールド、すなわち、
パケットの開始を示すフィールドと、
前記パケットの識別子を伝達するフィールドと、
情報ヘッダフィールドと、
前記ゾーンに割り当てられた前記ウェーブレットの種類に関する前記情報の一部を含むフィールドと、
前記ゾーンの前記メッシュに適用されるウェーブレット係数を含むフィールドと、
前記画像の前記メッシュの形式に関するフィールドと、
パケットの終了を示すフィールドと
を含むことを特徴とする請求項１８に記載の信号。
【請求項２０】
前記情報ヘッダフィールドが、
前記ゾーンのウェーブレット係数の数に関するサブフィールドと、
前記メッシュの前記形式の関数として、前記画像の前記ゾーンを示すサブフィールドと、
前記ウェーブレット係数に対して用いられるビットマップの数に関するサブフィールドと
を含むことを特徴とする請求項１９に記載の信号。
【請求項２１】
ビデオのストリーミングと、
ビデオ記憶と、
ビデオ会議と、
ビデオオンデマンドと、
ビデオメールと
を含むグループに属する少なくともいずれかの分野に対して用いる、請求項１〜１４のいずれかに記載の符号化方法または請求項１５に記載の復号化方法の用途。
【図１】
【図２】
【図３】
【図４】
【図６】
【図２】
【図３】
【図４】
【図６】
【公表番号】特表２００６−５１１１７５（Ｐ２００６−５１１１７５Ａ）
【公表日】平成１８年３月３０日（２００６．３．３０）
【国際特許分類】
【出願番号】特願２００４−５６３２８９（Ｐ２００４−５６３２８９）
【出願日】平成１５年１２月１９日（２００３．１２．１９）
【国際出願番号】ＰＣＴ／ＦＲ２００３／００３８４６
【国際公開番号】ＷＯ２００４／０５９９８２
【国際公開日】平成１６年７月１５日（２００４．７．１５）
【出願人】（５９１０３４１５４）フランス テレコム ソシエテ アノニム (290)
【Ｆターム（参考）】
【公表日】平成１８年３月３０日（２００６．３．３０）
【国際特許分類】
【出願日】平成１５年１２月１９日（２００３．１２．１９）
【国際出願番号】ＰＣＴ／ＦＲ２００３／００３８４６
【国際公開番号】ＷＯ２００４／０５９９８２
【国際公開日】平成１６年７月１５日（２００４．７．１５）
【出願人】（５９１０３４１５４）フランス テレコム ソシエテ アノニム (290)
【Ｆターム（参考）】
[ Back to top ]