ウェーブレット画像の符号化方法及び対応する復号化方法
【課題】ネットワークの伝送帯域の変動に容易に対応できる符号化方法。
【解決手段】画像に関連した階層的なメッシュを有する画像を符号化し、前記メッシュのウェーブレットによる符号化を含む方法に関する。１つの符号化方法には、画像の様々な領域に選択的に適用される少なくとも２つの種類のウェーブレットを使用することが含まれる。
【解決手段】画像に関連した階層的なメッシュを有する画像を符号化し、前記メッシュのウェーブレットによる符号化を含む方法に関する。１つの符号化方法には、画像の様々な領域に選択的に適用される少なくとも２つの種類のウェーブレットを使用することが含まれる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の技術分野は静止画像又は動画の符号化の分野、特に、ビデオシーケンスの連続
した画像の符号化の分野に関するが、これに限定されることはない。より具体的には、本
発明は、画像がそれ自体に関連したメッシュを有し、ウェーブレット法として周知の方法
を実行する画像の符号化または復号化技術に関する。本発明は、特にWim Sweldensによる
文献、「The Lifting Scheme : A Construction of Second-Generation Wavelets」、SIA
M Journal on Mathematical Analysis、第２９巻、第２号、ページ５１１〜５４６、１９
９８年、の中で示された第２世代のウェーブレットに適用できるが、これに限定されるこ
とはない。
【背景技術】
【０００２】
新しい送信ネットワーク（ｘＤＳＬ、ＧＰＲＳ及びＵＭＴＳを使用する携帯電話など）
の開発は、画像の符号化及びディジタルビデオの圧縮技術が長期にわたるサービス品質（
ＱｏＳ）において起こり得る変動に加えて、ネットワークの異質性に適合する必要がある
ことを意味する。これら全ての要素を静止画像又は動画の符号化の中で考慮することによ
り、最終的なユーザに最適な視覚品質を与える必要がある。
【０００３】
今までのところ、ＩＳＯ／ＭＰＥＧ（「International Organization for Standardiza
tion/Moving Picture Coding Expert Group」）及び／又はＩＴＵ−Ｔ（「International
Telecommunication Union-Telecommunication Standardization Sector」）が提案した
技術のような、時間ベースの予測及びブロック構造に基づいた離散コサイン変換（Discre
te Cosine Transformation）による符号化技術などの幾つかの周知の画像符号化技術があ
る。
【０００４】
ブロックベースのＤＣＴ変換による符号化に基づいた従来技術に特有な符号化技術（Mi
crosoftのWindows（登録商標）Media、RealMediaのReal One、Divx（登録商標）など）、又はさらに本願の所有者が出願したフランス特許出願第２７８１９０７号（「Method for the encoding of a source mesh taking account of discontinuities, and corresponding applications」）及び第２８２５８５５号（Methods and devices for the encoding and decoding of images implementing nested images, corresponding program, signal and application）も存在する。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、これら様々な従来技術の画像符号化技術には、特にビットレートが極め
て低いアプリケーション又は送信ネットワークに対して多くの欠点がある。
【０００６】
例えば、ブロックベースの符号化技術では、強い影響すなわちアーチファクトが見えて
しまい、画像を復元した場合の視覚品質が大きく低下する。ＭＰＥＧ−４又はＩＴＵ−Ｔ
／Ｈ．２６３形の符号化方法は、特に、全ての符号化計算及び演算に対する媒体として使
用される固定長の硬直したブロック構造のために、現在ではその限界に達していると考え
られている。同様に、ウェーブレットを用いる技術に関しては、「リンギング」としても
周知の過剰振動効果（over-oscillation effect）により、ユーザにとって極めて不快な
ぼやけた描画（fuzzy rendering）及び画像上にウェーブレットを「見ている」ような印
象が与えられる。
【０００７】
より高いビットレートを用いるアプリケーション又は送信ネットワークに関しては、こ
れらの様々な技術は符号化効率の限界を達成するために用いることはできない。
【０００８】
最後に、これらの従来技術のいずれによっても、画像の本来備わっている特性を考慮に
入れて、ある画像の符号化を最適化することはできない。
【０００９】
さらに、ビデオシーケンスの符号化の場合には、あるいは、送信及び符号化されるデー
タの量を減少させるために、例えば、シーケンスから本来の画像及び補間された画像を取
り去ることによって、エラー画像を計算することや、又は動きの予測／補償によって決定
される画像を計算することは一般的な方法である。例えば、本願の所有者が出願した、「
Method for the construction of at least one image interpolated between two image
s of a moving sequence, corresponding methods of encoding and decoding, signal a
nd data carrier」という名称のフランス特許出願第００１０９１７号を参照することが
できる。
【００１０】
現在は、これら従来の符号化技術のいずれも、こうしたエラー画像の特定の内容に適合
させたものではない。エラー画像は一般に、輪郭、テクスチャー、あるいはまた特異点の
ような高い周波数のみを含んでいる。
【００１１】
本発明は、従来技術のこれらの欠点を克服することを特に目的とする。
【００１２】
より具体的に言うと、本発明の目的は、符号化の結果を従来技術と比較して最適にする
静止画像又は動画を符号化するための技術を提供することである。
【００１３】
本発明の別の目的は、符号化装置から到来し、画像の復号化及び復元の装置まで通信ネ
ットワークによって送信されるデータの量を削減することができるような種類の手法を実
現することである。
【００１４】
また本発明の目的は、拡張性のある、すなわち送信ネットワークの変動及び特にこうし
たネットワークのビットレートの変化に適合するような種類の技術を実現することである
。
【００１５】
また本発明の目的は、画像の符号化又は画像のシーケンス用の情報を低いビットレート
で送信できるような種類の技術を実現することである。
【００１６】
本発明の別の目的は、符号化された画像及び特にこの画像の不連続領域を復元する場合
に高い視覚品質を達成できるような技術を実現することである。
【００１７】
また本発明の目的は、エラー画像の符号化に適しているこういう種類の技術を提供する
ことである。
【００１８】
本発明のさらに別の目的は、実現するのに簡単で僅かな費用しかかからないような種類
の技術を提供することである。
【課題を解決するための手段】
【００１９】
本願で後に現れるこれらの目的及び別の目的は、前記メッシュのウェーブレット符号化
を実行して、階層的なメッシュが関連付けされた画像を符号化する方法の手段によって達
成される。
【００２０】
本発明によれば、前記符号化方法は、前記画像の別個のゾーンに選択的に適用された少
なくとも２つの種類のウェーブレットを用いる。
【００２１】
このように、本発明は静止画像又は動画の符号化、特にビデオシーケンスの画像の符号
化に対する全体的に新しく創意に富んだ方式を基にしている。実際に、本発明は、W. Dah
menが発表した「Decomposition of refinable spaces and applications to operator eq
uations」、Numer. Algor.、Ｎｏ．５、１９９３年、ページ２２９〜２４５、並びにJ. M
. Carnicer、W. Dahmen及びJ.M. Penaによる「Local decomposition of refinable space
s」、Appl. Comp. Harm. Anal. 3、１９９６年、ページ１２７〜１５３、などの特に第２
世代のウェーブレットを用いる革新的なウェーブレット技術に基づいて画像を符号化する
だけでなく、画像の別個のゾーンに対して異なる種類のウェーブレットを適用することに
より、前記符号化を最適化することを提案する。
【００２２】
実際に、本願の発明者らは、様々な種類の現在のウェーブレットが明確な符号化特性を
有しているという事実が重要であると考えている。このため、発明者らは、符号化特性が
各ゾーンの内容に最も適した種類のウェーブレットを画像の異なるゾーンに適用すること
によって、これらの様々な特性を利用すると考えている。
【００２３】
こうして、特性が異なる画像の領域に対してウェーブレットによる符号化を適用する場
合、同じ画像の符号化に対して必要なら幾つかの種類の別個のウェーブレットを用いるこ
とによって、画像の全体的な符号化が最適化される。
【００２４】
この種の符号化方法は、下記のようなステップ、すなわち、
少なくとも２つの別個の性質のゾーンに前記画像を分割するステップであって、各ゾー
ンの性質が前記ゾーン内の前記メッシュの少なくとも１つの特性パラメータの関数である
、ステップと、
前記ゾーンのそれぞれに対して、前記ゾーンの前記メッシュの前記符号化を最適にする
ことができるウェーブレットの種類を、少なくとも前記性質の関数として割り当てるステ
ップと、
を含むことが好ましい。
【００２５】
この画像の全てのゾーンが同じ性質であるという意味で画像が均質である場合、画像は
分割されはしないが、画像の符号化を全体的に最適にすることができる種類のウェーブレ
ットが画像全体に直接割り当てられることは無論理解されよう。
【００２６】
前記メッシュの前記特性パラメータは、前記ゾーン内の前記メッシュの密度を考慮した
ものとすることが好ましい。
【００２７】
実際に、ゾーンのある点におけるメッシュの密度、及びこの点を含む領域内のメッシュ
の密度により、本願で以下に一層詳細に説明されるように、検討されるゾーンがテクスチ
ャー、輪郭又は特異点のゾーンであるかどうかを決定することができる。
【００２８】
本発明の好ましい特徴によれば、前記ゾーンの前記性質は、下記、すなわち、
少なくとも１種類のテクスチャーと、
少なくとも１種類の輪郭と、
少なくとも１種類の特異点と、
少なくとも１種類の色と、
少なくとも１種類の形状と
を含むグループに属する。
【００２９】
本発明の好ましい特徴によれば、前記ウェーブレットの種類は、下記、すなわち、
ループ形ウェーブレットと、
バタフライ形ウェーブレット（Butterfly wavelet）と、
キャットマル・クラーク（Catmull-Clark）形ウェーブレットと、
アフィン形ウェーブレット（affine wavelet）と
を含むグループに属する。
【００３０】
当業者は、本発明は上述した種類のウェーブレットに限定されず、それらは単に例証す
るために示されたものであることは容易に理解されよう。
【００３１】
前記ゾーンのそれぞれに対して、この種の符号化方法は、前記ゾーンの更新点（updati
ng point）において前記メッシュに関連したスカラー値と、前記更新点に隣接する少なく
とも幾つかの点において前記メッシュに関連した前記スカラー値とを考慮して、前記メッ
シュに対して前記ゾーンに割り当てられた前記ウェーブレットの種類の係数を適用するス
テップを含むことが好ましい。
【００３２】
前記スカラー値が、下記、すなわち、
前記メッシュの輝度と、
前記メッシュの少なくとも１つのクロミナンス成分と
を含むグループに属する前記メッシュのパラメータを表すことが好ましい。
【００３３】
このように、例えば、メッシュを適用する点（すなわち、更新点）において位置が取ら
れて、この点におけるクロミナンス成分が検討される。次に、この同じクロミナンス成分
の値が、図７ａから図７ｄを参照して本願の後で一層詳細に説明されるように、ウェーブ
レット係数をそれに応じて（重み付けによって）適用するために、この更新点に隣接する
点において検討される。
【００３４】
この種の符号化方法は、下記、すなわち、
ゼロ・ツリー形（zero-tree type）の手法と、
ＥＢＣＯＴ形の手法と
を含むグループに属する手法を用いて前記ウェーブレット係数を符号化するステップを
さらに含むことが好ましい。
【００３５】
前記画像が連続した画像のシーケンスに属する場合、前記方法が前記画像の前記ウェー
ブレット係数を前記シーケンス内の前記画像に先行又は後続する少なくとも１つの画像の
ウェーブレット係数と比較するステップをさらに含み、前記先行又は後続する画像のウェ
ーブレット係数と同一である前記画像のウェーブレット係数に対する前記符号化するステ
ップの実行を避けることが好ましい。
【００３６】
このように、送信されるデータの量が減少される。このことは、低いビットレートで動
作する送信ネットワークの場合や、復元端末の能力が低い場合に特に好適である。ウェー
ブレット係数が別の画像に対して前に送信された係数に等しい場合、ゼロの組及びウェー
ブレット係数を見つけることができる場所を示すことができる表示（例えば、これらの係
数が既に復号化装置によって受信されている前の画像に対する表示）を送信するだけで十
分である。
【００３７】
この種の符号化方法が連続した画像のシーケンスを符号化することができ、前記画像が
前記シーケンスの本来の画像と動きの予測または補償によって作られた画像とを比較する
ことによって得られたエラー画像であり、前記画像が符号化される少なくとも１つのエラ
ー領域であって、少なくとも１つのほぼ空となり得る領域を含むことが好ましい。
【００３８】
当然のことながら、本来の画像が予測された画像と完全に等しい場合、エラー画像は空
であり、このため符号化されるべきいかなるエラー領域も含まない。逆に、本来の画像が
予測された画像とあらゆる点で異なる場合は、エラー画像はいかなる空き領域も含まない
。
【００３９】
前記分割するステップが、しきい値を設定することによって前記画像の前記エラー領域
を検出するステップを含み、これにより前記画像の少なくとも１つの領域が所定のしきい
値よりも大きいエラーを有することを決定できるようにすることが好ましい。
【００４０】
このしきい値を、アプリケーション又は検討される送信ネットワークの制約に基づいて
、あるいはまた得られる復元品質の関数としてパラメータ化することができる。
【００４１】
本発明の第１の好ましい別の実施形態によれば、前記分割するステップは、平行六面体
状のブロック内で前記検出されたエラー領域の少なくとも幾つかをグループ化するステッ
プも含む。
【００４２】
前記分割するステップが、同じ性質のブロックの集合の形式で、前記画像の前記ゾーン
を作るステップを含むことが好ましい。
【００４３】
これにより、同じウェーブレット処理が、同じ性質の全てのブロックに、例えこれらの
ブロックが画像内で互いに離れていても適用される。
【００４４】
本発明の第２の好ましい別の実施形態によれば、前記分割するステップは前記検出され
たエラー領域から前記画像の前記ゾーンを作るステップを含み、これにより、クワッドツ
リー（quadtree）形の手法を用いる。
【００４５】
本発明はウェーブレットで符号化された階層的なメッシュが関連付けされた画像を復号
化し、ゾーンのそれぞれのメッシュの符号化に割り当てられたウェーブレットの種類に関
する情報の関数として、前記画像の前記別個のゾーンに対して選択的な復号化を実行する
方法にも関係する。
【００４６】
このように、画像は符号化の間に別個の性質の少なくとも２つのゾーンに分割され、ゾ
ーンの性質は前記ゾーン内の前記メッシュの少なくとも１つの特性パラメータの関数であ
るため、本発明の復号化方法には下記のステップ、すなわち、
符号化された画像を示すストリームから各ゾーンのメッシュの符号化に割り当てられた
ウェーブレットの種類に関する情報を抽出するステップ、
ゾーンのそれぞれに対して、こうした情報の関数として、ゾーンのメッシュを復号化す
るステップ、
が含まれる。
【００４７】
本発明はウェーブレットで符号化された階層的なメッシュが関連付けされた画像を符号
化し、前記メッシュをウェーブレットで符号化するための手段を実行し、また前記画像の
別個のゾーンに対して少なくとも２つの種類のウェーブレットを選択的に適用する手段を
含む装置にも関連する。
【００４８】
このため、本発明の符号化装置は下記の手段、すなわち、
ゾーンの性質が前記ゾーン内のメッシュの少なくとも１つの特性パラメータの関数とな
るように、少なくとも２つの別個の性質のゾーンに画像を分割する手段と、
前記ゾーンの前記メッシュの前記符号化を最適にすることができる少なくとも１つのウ
ェーブレットの種類を、前記ゾーンの性質の関数として、前記ゾーンのそれぞれに対して
割り当てる手段と
を含む。
【００４９】
本発明はウェーブレットで符号化された階層的なメッシュが関連付けされた画像を復号
化し、ゾーンそれぞれのメッシュの符号化に割り当てられたウェーブレットの種類に関す
る情報の関数として、前記画像の前記別個のゾーンに対して選択的な復号化を行う手段を
含む装置にも関係する。
【００５０】
画像は符号化の間に別個の性質の少なくとも２つのゾーンに分割され、ゾーンの性質は
前記ゾーン内の前記メッシュの少なくとも１つの特性パラメータの関数であるため、本発
明の復号化方法には下記の手段と、すなわち、
符号化された画像を示すストリームから各ゾーンのメッシュの符号化に割り当てられた
ウェーブレットの種類に関する情報を抽出する手段と、
ゾーンのそれぞれに対して、情報の関数として、ゾーンのメッシュを復号化する手段と
が含まれる。
【００５１】
本発明は、ウェーブレットで符号化された階層的なメッシュが関連付けされた画像を示
す信号にも関連する。本発明によれば、少なくとも２種類のウェーブレットが符号化の間
に前記画像の別個のゾーンに選択的に適用される場合、前記ゾーンのそれぞれのメッシュ
の符号化に割り当てられる前記種類のウェーブレットに関する情報がこの種の信号により
伝達される。
【００５２】
画像が符号化の間に少なくとも２つの別個の性質のゾーンに分割され、ゾーンの性質は
ゾーン内のメッシュの少なくとも１つの特性パラメータの関数であるため、本発明の信号
は各ゾーンのメッシュの符号化に割り当てられるウェーブレットの種類に関する情報を伝
達する。
【００５３】
こうした信号は、それぞれが前記画像の前記ゾーンの１つに関連付けられるパケットの
形式で構成され、前記パケットのそれぞれは、下記のフィールド、すなわち、
パケットの開始を示すフィールドと、
前記パケットの識別子を伝達するフィールドと、
情報ヘッダフィールドと、
前記ゾーンに割り当てられた前記ウェーブレットの種類に関する前記情報の一部を含む
フィールドと、
前記ゾーンの前記メッシュに適用されるウェーブレット係数を含むフィールドと、
前記画像の前記メッシュの形式に関するフィールドと、
パケットの終了を示すフィールドと
を含むことが好ましい。
【００５４】
前記情報ヘッダフィールドが、
前記ゾーンのウェーブレット係数の数に関するサブフィールドと、
前記メッシュの前記形式の関数として、前記画像の前記ゾーンを示すサブフィールドと
、
前記ウェーブレット係数に対して用いられるビットマップの数に関するサブフィールド
と
を含むことが好ましい。
【００５５】
この方法は、下記、すなわち、
ビデオのストリーミングと、
ビデオ記憶と、
ビデオ会議と、
ビデオオンデマンドと、
ビデオメールと
を含むグループに属する少なくとも１つの分野に対して用いる本願で前に説明された符
号化方法及び復号化方法の用途にも関係する。
【００５６】
本発明の他の特徴及び利点は、単純で例証となる限定されることはない実施例によって
与えられた好ましい実施形態の以下の説明及び添付した図面からより明瞭に見えてくるで
あろう。
【図面の簡単な説明】
【００５７】
【図１】図１ａ及び図１ｂは、特にW. Sweldensによって「The Lifting Scheme: A New Philosophy in Bi Orthogonal Wavelets Constructions」、Proc. SPIE 2529、１９９５年、ページ６８〜６９、の中で説明されたような分解を高める一般的な方式を示す図である。
【図２】画像の異なるゾーンの特性に適合したウェーブレット変換の選択によって、本発明の一般的な原理を説明する図である。
【図３】画像がエラー画像の場合、クワッドツリー形の技術に基づいて、図２の画像を異なるゾーンに分割する原理を説明する図である。
【図４】本発明に基づいて画像に適用された標準的な密度のメッシュを例示する図である。
【図５ａ】本発明の枠組みの中で実行される画像のメッシュを細分するステップを例示する図である。
【図５ｂ】本発明の枠組みの中で実行される画像のメッシュを細分するステップを例示する図である。
【図５ｃ】本発明の枠組みの中で実行される画像のメッシュを細分するステップを例示する図である。
【図５ｄ】本発明の枠組みの中で実行される画像のメッシュを細分するステップを例示する図である。
【図５ｅ】本発明の枠組みの中で実行される画像のメッシュを細分するステップを例示する図である。
【図５ｆ】本発明の枠組みの中で実行される画像のメッシュを細分するステップを例示する図である。
【図５ｇ】本発明の枠組みの中で実行される画像のメッシュを細分するステップを例示する図である。
【図６】本発明の枠組みの中のエッジの管理の原理を示す図である。
【図７】図７ａから図７ｄは本発明に基づいて画像の種々のゾーンに適用することができる様々なウェーブレット方式を示す図である。
【発明を実施するための最良の形態】
【００５８】
本発明の一般的な原理は、様々な種類のウェーブレット、特に第２世代のウェーブレッ
トを画像の種々の領域に適用して、符号化特性が検討するゾーンの内容に適した種類のウ
ェーブレットを選択することによって、画像の全体的な符号化を最適にすることに基づい
ている。
【００５９】
本発明の実施形態を詳細に説明する前に、ビデオの符号化並びにメッシュ、リフティン
グ及び第２世代のウェーブレットの概念に関して、幾つかの簡単な注意を行う。実際に、
本発明は特に、これらの様々な考え方に基づいて、ビデオシーケンスの符号化についての
一般的な状況の中で用いられる。
【００６０】
例えば、文献ISO/IEC (ITU-T SG8) JTC1/SC29 WG1 (JPEG/JBIG), JPEG2000 Part I Fin
al Committee Draft, Document N1646R、２０００年３月、の中で説明されるビデオの符
号化に関する一般的な原理は、種々の方法（4:4:4 / 4:2:2 / 4:2:0...）でサンプリング
されたＹＵＶ面（輝度／クロミナンスｒ／クロミナンスｂ）の中で示された一連の画像の
形式でディジタルビデオを説明することから構成する。符号化システムは、連続した画像
内の空間及び時間の冗長度を考慮して、この表示を変化させることから成る。このため、
（例えば、ＤＣＴ又はウェーブレット形の）変換が、一連の互いに依存する画像を得るた
めに適用される。
【００６１】
これらの画像は、各画像の種類が良く測定された特性を有するＩ／Ｂ／Ｐの順で順序付
けられる。Ｉ画像は「内部」（intra）画像とも呼ばれて、静止画像と同じ方法で符号化
され、他のシーケンスの画像に対する基準としての役目をする。Ｐ画像は「予測された」
(predicted)画像とも呼ばれて、２種の情報、すなわち、動きが補償されたエラー情報及
び運動ベクトルを含む。これら２つの情報は、Ｉ形又はＰ形の１つ以上の前の画像から導
き出される。Ｂ画像も「双方向」画像と呼ばれて、これら２種の情報を含むが、２つの基
準すなわちＩ形又はＰ形の後方基準及び前方基準に基づいている。
【００６２】
このことは、検討するビデオシーケンスの全体を復元可能にするために、従来の方法で
符号化された内部画像「Ｉ」及び次に各連続画像に関する運動ベクトル及びエラーを送信
すれば十分であることを意味する。
【００６３】
静止画像又はビデオシーケンスを符号化するための周知の技術も、符号化すべき画像に
関連付けされた階層的なメッシュを使用することに依存している。このため、例えば、灰
色レベルに符号化された静止画像を検討してみる。この画像は、パラメータ面の分離され
た表示と考えることができる。このため、任意のメッシュを画像のあるゾーン又は画像全
体のいずれかに適用することができる。階層的な細分を用いて（適用できる又は適用でき
ない場合がある）、このメッシュは規則的に又は不規則に導き出すように作られる。この
ように、「階層」は、計算されたエラーが所定のしきい値の上にある画像の領域の中での
み、メッシュの細分を通して利用できる。メッシュの基本的な技術に関する一般的な見解
は、文献ISO/IEC (ITU-T SG8) JTC1/SC29 WG1 (JPEG/JBIG), JPEG2000 Part I Final Com
mittee Draft, Document N1646R、２０００年３月、の中にも示されている。
【００６４】
幾つかの画像符号化技術は、また特にW. Sweldensによる「The Lifting Scheme : A Ne
w Philosophy in Bi-Orthogonal Wavelets Constructions」、Proc. SPIE 2529, １９９
５年、ページ６８〜６９、の中で説明された、「リフティング」として周知のウェーブレ
ット分解方法に基づいている。リフティングはごく最近見出され、通常のコンボリューシ
ョンによる方法よりも単純で高速なウェーブレット分解(decomposition)方法として一般
的になっている。リフティングにより、分析のマトリックスに対する簡単な行および列の
演算を行うことにより、再構成(reconstruction)を簡単に行うことができる。
【００６５】
図１ａ及び図１ｂを参照して、「リフティング」分解の一般的な方式及び関連付けされ
た多相マトリックス(associated polyphase matrix)の形式をここで考察する。
【００６６】
一般的な方法には、信号を２つの偶数値のサンプル１２及び奇数値のサンプル１３に分
離する動作１１と、奇数値のサンプルを偶数値のサンプルの関数として予測する動作とが
含まれる。一旦予測動作が行われると、信号の更新がその初期特性を保存するために行わ
れる。このアルゴリズムは、要望どおり何回も繰り返すことができる。リフティングによ
る表現により、信号の分析１４及び合成１５を可能にする多相マトリックスの考え方がも
たらされる。
【００６７】
図１ｂは、下記のように多相マトリックスＰ（ｚ）に連結された(concatenated)「リフ
ティング」方式を一層具体的に示す。
【数１】
ここで、ｓi（ｚ）及びｔi（ｚ）は２つのローランの多項式であり、Ａ及びＢは標準化
の係数である。
【００６８】
最後に、特に本発明との関連で実行される第２世代のウェーブレットが、数学の世界か
ら到来する新しい変換を構成することが想起される。
【００６９】
この変換は、最初にW. Dahmenによる「Decomposition of refinable spaces and appli
cations to operator equations」、Numer. Algor., No. 5、１９９３年、ページ２２９
〜２４５、及びJ. M. Carnicer、 W. Dahmen 及び J.M. Penaによる「Local decompositi
on of refinable spaces」、Appl. Comp. Harm. Anal. 3、１９９６年、ページ１２７〜
１５３、の中で紹介され、次にW.Sweldensによる「The Lifting Scheme : A Constructio
n of Second Generation Wavelets」、１９９６年１１月、SIAM Journal on Mathematica
l Analysis、並びにW. Sweldens 及び P. Schroderによる「Building Your Own Wavelet
at Home」、第２章、Technical report 1995, Industrial Mathematics Initiative、の
中で開発された。
【００７０】
ウェーブレットは分析空間の不規則な細分から作られ、平均化及び重み付けられた補間
方法に基づいている。Ｌ2（Ｒ）の中で一般に使用されるベクトル積は、重み付けられた
内部ベクトル積になる。これらのウェーブレットは、コンパクトなサポート（台）及び間
隔に対する分析に特に良く適合される。しかしながら、それらのウェーブレットは、本願
で上述されたリフティング方法によって作られているため、第１世代のウェーブレットす
なわち良好な時間／周波数の局所性及び高い計算速度という特性を保持している。
【００７１】
M. Lounsbery、T. DeRose及びJ. Warrenは「Multiresolution Analysis for Surfaces
of Arbitrary Topological Type」、ACM Transactions on Graphics、１９９４年、の中
で、これらのウェーブレットを任意の表面構造に対して適用することを考えた。本発明で
は、これらのウェーブレットは、表面を構成するメッシュに対して適用される。この表面
のトポロジーは任意のトポロジーとすることができる。
【００７２】
これらの第２世代のウェーブレットを正確に定義するために、発明者らは、先ず第一に
これらのウェーブレットが第１世代のウェーブレットと呼ばれるものと共通して有してい
る特性を思い起こし、次に第２世代のウェーブレットから分かり、また特に本発明との関
連で利用される別の特性を示す。
【００７３】
［第１世代及び第２世代のウェーブレットに共通する特性］
Ｐ１：ウェーブレットはＬ2（Ｒ）に対するRiezベース並びにLebesgue、Lipchitz、Sob
olev及びBesovの空間などの多種多様な関数の空間に対する「均一」なベースを形成する
。このことは、引用される空間のどのような関数もウェーブレットの基底で分解すること
ができ、この分解はこの関数に対するノルム（初期空間のノルム）として均一に収束する
。
Ｐ２：均一な基底に関する分解係数は知られている（あるいは、容易に見つけることが
できる）。しかも、ウェーブレットが直交していること、すなわちデュアルウェーブレッ
トは、周知である（二重直交（bi-orthogonal）の場合）。
Ｐ３：ウェーブレット及びデュアルウェーブレットは、空間及び周波数の中で局所的な
特性を有する。幾つかのウェーブレットはさらにコンパクトなサポートを有する（本発明
はこうしたウェーブレットを使用することが好ましいが、これに限定されることはない）
。周波数局在化の特性は、ウェーブレットの規則性（高い周波数に対して）及びゼロ多項
式モーメント（zero polynomial moment）の数（低い周波数に対して）から直接生じる。
Ｐ４：ウェーブレットは、マルチ分解度分析（multiresolution analysis）の中で使用
することができる。このことにより、ＦＷＴ（高速ウェーブレット変換）がもたらされる
。このＦＷＴにより、関数からウェーブレット係数まで「線形時間（linear time）」で
進むことができる。
【００７４】
［第２世代のウェーブレットを特徴付ける別の特性］
Ｑ１：第１世代のウェーブレットはＲnで定義された関数に対する基底を提供するが、
幾つかのアプリケーション（データの細分化、一般的なドメイン内の偏微分方程式の解、
又は任意のトポロジーのメッシュに対するウェーブレットの適用など）は、曲線、面又は
それらの取り合わせのようなＲnの任意のドメインに対して定義されるウェーブレットを
必要とする。
Ｑ２：微分形式の対角化、曲線及び面の分析、並びに重み付けされた近似値は、重み付
けされた測定値に適合された基底を必要とする。しかしながら、第１世代のウェーブレッ
トは、並行移動（translation）における不変測度（invariant measurement）（典型的に
は、ルベーグ測度）のある空間に対してのみ基底を提供する。
Ｑ３：多くの実際の問題は、不規則なサンプリングによるデータに適合したアルゴリズ
ムを必要とするが、第１世代のウェーブレットは規則正しく行われたサンプリングデータ
に対してのみ分析を可能にする。
【００７５】
したがって、第２世代のウェーブレットの構造を要約するために、次の原理が強調され
る。
【００７６】
マルチ分解分析の間は、スケール関数が展開する従来の空間は、下記の式のように値Ｖ
kであると仮定される。
【数２】
分析の空間は、バナッハ空間（Banach Space）（Ｒｅｆ Ｂ）の中に位置を取って拡大さ
れる。こうして、下記の式のように、第２世代のウェーブレットが得られる。
【数３】
分布の意味に取られるスカラー積がバナッハ空間の中で定義され、双対空間の再定義が可
能にされる。再定義の条件は、下記の式のようになる（マトリックス形式）。
φｋ-1＝Ｐφk
ここで、Ｐは任意の不特定のマトリックスである。
【００７７】
ビデオ符号化技術を理解するために必要な概念に関するこれら幾つかの説明をした後で
、図２を参照して、本発明の一般的な原理に関する一層詳細な説明をこれから行う。
【００７８】
参照番号２１の画像を検討する。この画像は、符号化される静止画像又はビデオシーケ
ンスの画像の１つとすることができる。参照番号２３の階層的なメッシュがそれに結合さ
れている。図２では、このメッシュは一部だけが画像２１に重なり合った規則的なメッシ
ュである。無論、このメッシュは不規則なメッシュとすることもできるし、画像２１の全
体に重なるものともできる。
【００７９】
本発明の一般原則は、画像２１の中に性質の異なるゾーンを特定し、これらのゾーンに
対して、特性が検討されているゾーンの内容に良く適合する異なる種類のウェーブレット
を適用することである。このため、図２の画像２１を、それぞれがＴ１，Ｔ２及びＴ３と
参照番号が付いた複数のゾーン２２に分割することができる。
【００８０】
可能な程度まで、参照番号Ｔ１，Ｔ２及びＴ３のゾーンが長方形のブロックの形式で、
又は処理を容易にするために、集団にされた長方形のブロックの組で作られる。
【００８１】
このように、画像２１の太陽２４に対応する組２２の参照番号Ｔ３のゾーンは、太陽２
４を包含する長方形である。しかしながら、画像２１の不規則なレリーフ２５に対応する
参照番号Ｔ１のゾーンは、階段の形状をしており、これはレリーフ２５の形状にできるだ
け接近して従う平行６面体のブロックの組に対応する。
【００８２】
ゾーンＴ１は画像２１のテクスチャーゾーンであり、一方ゾーンＴ２は画像２１の分離
された特異点を取り囲み、またゾーンＴ３の太陽は主に輪郭によって定義される。
【００８３】
このため、本発明によれば、これらの各ゾーンの符号化に最も密接に対応する種類のウ
ェーブレットが選択される。本発明の１つの特定の実施形態では、テクスチャーゾーンＴ
１に対しては、このようにバタフライ形のウェーブレットが適用するように選択され、一
方特異点ゾーンＴ２及び輪郭ゾーンＴ３は、それぞれアフィン形ウェーブレット及びルー
プ形ウェーブレットによって符号化されることが好ましい。
【００８４】
このような方法で、画像２１の符号化及び適合された端末上でのその復元の品質の両方
を最適化することができる。
【００８５】
下記の表は、符号化されるゾーンの性質の関数として様々な種類のウェーブレットを、
本発明に基づいて選択する好ましい基準を要約している。
【表１】
【００８６】
他の種類のウェーブレットも、無論、本発明の枠組みの中で実現できる。本発明は、単
に上記の表の中で説明された種類のウェーブレット及びゾーンの性質に決して限定される
ことはない。
【００８７】
上記の表は、特に、自然の物体の場合と非自然の物体の場合との間の輪郭に関して区別
を行っていることに注意されたい。実際に、自然の物体は、非自然の物体よりも一層不確
実な輪郭によって決定される。このため、周波数に関しては、自然の物体は非自然の物体
とは異なり、明確なピークを有していない。従って、処理される物体の関数として、２つ
の事例の間を区別する必要がある。
【００８８】
これら２種類の物体を区別する１つの基準は、例えば、輪郭に対応付けられた灰色レベ
ルに適用される多方向性の高域フィルタによってフィルタ処理された画像に対してしきい
値を設定することによって得ることができる。
【００８９】
ここで、ビデオシーケンスを符号化するという一般的な状況のもとで、本発明の特定の
実施形態を提示することにする。特定のステップの１つは、本発明を実行することに対応
する。
【００９０】
この種の符号化技術は、本願で上述されたビデオの符号化及びリフティング技術に特に
依存する。
【００９１】
Ｉ／（ｎ）Ｂ／Ｐ形の方式を検討する。ここで、ｎは正又は０の値であり、Ｉは「内部
」画像を指定し、Ｂは双方向画像であり、Ｐは予測された画像である。実施例を示すため
に、ＭＰＥＧ、例えば、ＭＰＥＧ−４形の符号化がエラー画像を除いて実行され、エラー
画像に関しては、本発明はメッシュ及び第２世代のウェーブレット符号化法を用いて実行
することが検討される。
【００９２】
無論、ＭＰＥＧ−４の符号化を等価の技術に基づいた任意の種類の符号化によって置き
換えることは考えることができる。この等価の技術には、時間ベースの予測及びブロック
構造に基づいた離散コサイン変換（ＤＣＴ）、並びに発生する情報に対するエントロピー
定量化及び符号化演算を用いる技術が含まれる。特に、ITU-T/H.264 又は MPEG-4 AVC符
号化法（特に、Joint Final Committee Draft of Joint Video Specification (ITU-T Re
c. H.264 | ISO/IEC 14496-10 AVC)、Thomas Wiegand、Klagenfurt、２００２年７月２２
日、の中で説明されたような）は、本発明の内容から逸脱することなく、ＭＰＥＧ−４の
符号化に取って代わることができる。
【００９３】
符号化装置すなわちエンコーダに入る検討されるビデオシーケンスの各画像に対して、
この装置は、ＭＰＥＧ−４の符号化モジュール（歪み／ビットレートのトレードオフによ
る最適化の機能付き又はなし）又は歪み／ビットレートの最適化に基づいた特定の符号化
モジュールを用いて、それを符号化することを決定する。歪み／ビットレートのトレード
オフによる最適化は画像の品質とその大きさとの間に妥協をもたらすこと、すなわち、こ
のように、歪み／ビットレートのトレードオフによる最適化は最良の可能な妥協を得るこ
とを目的とする最適化を提供することを想起されたい。
【００９４】
Ｐ形及びＢ形画像に対する動きの予測は、ＭＰＥＧ−４規格の中で規定されたブロック
マッチング技術に基づいて実行される。
【００９５】
エラーの符号化に関しては、本発明を実行することによって達成される。メッシュベー
スの第２世代のウェーブレットをこのようにエラー画像に変換することにより、関連する
符号化費用を極めて低くして、画像の不連続性（輪郭、テクスチャー、特異点など）に対
して良好な表示を行うことができる。このように、本発明は先ず第１に画像に対して様々
な種類の特異点を考慮に入れ、第２には適当なウェーブレットのモジュールを選択してこ
れらの画像を処理するため、本発明は圧縮効率を極めて高くすることができる。
【００９６】
本発明が本願で関係するビデオシーケンスを符号化する第１のステップは、内部（Ｉ）
画像を符号化することに関連付けられる。この符号化するステップは、例えば、ＭＰＥＧ
−４の場合のようにＤＣＴ変換を使用すること、又は例えば、W. Dahmenが「Decompositi
on of refinable spaces and applications to operator equations」、No. Algor.、Ｎ
ｏ５、１９９３年、ページ２２９〜２４５、の中で説明したような、第１世代のウェーブ
レットの符号化法を適用することに依存する。
【００９７】
ビデオシーケンスを符号化する第２のステップについては、そのステップは予測された
画像Ｐ及び双方向画像Ｂの符号化に関係する。これらの画像は、先ず最初に、例えば「ブ
ロックマッチング」法（G.J. Sullivan 及びR.L. Bakerによって「Motion compensation
for video compression using control grid interpolation」、International Conferen
ce on Acoustics, Speech, and Signal Processing、１９９１年、ICASSP-91、第４巻、
ページ２７１３〜２７１６、の中で説明された）などの従来の予測／補償方法によって運
動補償され、次に対応するエラー画像が記憶される。
【００９８】
このように、エラー画像は正確な画像をシーケンスから引き去ることによって得られ、
また画像は運動を補償または予測することによって組み立てられる。この後者が正確な画
像とは異なる場合、エラー画像には符号化する必要がある少なくとも１つのエラー領域が
含まれる。正確な画像及び運動の補償によって得られた画像の少なくとも幾つかの部分が
全く同じである場合、エラー画像は符号化ストリームを送信する間にゼロの値を送信する
ために十分な少なくとも１つの実質的にゼロの領域も有する。
【００９９】
第３のステップの間に、エラー情報及び運動情報が分離され、動作はしきい値設定動作
によってエラー画像の中のエラー領域を検出することに集中する。「ｅ」を許容しきい値
と仮定すると、エラー領域はこのしきい値以上の値を有するエラー画像の全ての領域であ
ると認識される。
【０１００】
本発明の第１の別の実施形態では、これらのエラー領域はブロックによって（四辺形の
ゾーンを有するように）一緒にされる。ブロックのグルーピングは、各ブロックをテクス
チャー、色、形状、輪郭、分離された特異点に関する情報に対応する少なくとも１つの特
性に結び付けることによって得られる。この特徴付けにより、ゾーンを別個の性質にする
という形式でブロックのグルーピング及び画像の分割を行うことが可能にされ、これによ
り、適当な種類のウェーブレットを適用することによるその最適な変換により、分割され
た各ゾーンの符号化が可能にされる。
【０１０１】
図３に示された本発明の第２の別の実施形態では、画像は「クワッドツリー（quadtree
）」形の技術に基づいて、性質が異なる内部ゾーンに分割される。
【０１０２】
例えば参照番号３２〜３４の３つのエラー領域を含む画像３１を検討する。動作は連続
的な繰返し（ステップ１からステップ４）によって実行される。すなわち、画像３１を４
つの正方形のゾーンに分割する場合、これらのゾーンのそれぞれは４つの正方形の下位の
ゾーン（sub-zone）に細分され、この動作が順番に反復されて、こうして得られた正方形
のメッシュが画像３１の参照番号３２，３３又は３４のエラー領域の中に含まれると考え
ることができるまで継続される。
【０１０３】
画像の異なるエラーブロックの検出が（前述した２つの別の実施形態の１つに基づいて
）行われた後で、図２を参照して説明されたように、画像は性質が異なるゾーンに細分さ
れる。これらの画像は異なるウェーブレットによって符号化され、選択されたウェーブレ
ットの特性の関数として符号化の最適化を可能にする。
【０１０４】
ゾーンの性質は、例えば、ゾーンを覆うメッシュの密度によって決定することができる
。このため、検討するゾーンのメッシュの密度が高い場合は、これはテクスチャーゾーン
であると推定することができる。
【０１０５】
それに対して、画像の特異点を含むゾーンは、メッシュの密度は画像の点の周りでは高
く、隣接する点では極めて密度が低いゾーンである。その部分の輪郭ゾーンは、メッシュ
の密度が一方方向に高いことによって特徴付けられる。 第４のステップでは、図４に示
すように、画像の別個の性質のゾーン（四辺形の形状が好ましい）が決定された後で、通
常の密度のメッシュがゾーンのそれぞれに対して適用される。メッシュの密度は、画像の
関数として調整することができるパラメータである。図４は、カメラマンを示す画像に適
用された通常のメッシュを例証する。このメッシュは、千鳥状に配置された行配列を有す
る形状である。それは不規則な細分化及び第２世代のウェーブレットの使用を可能にする
。
【０１０６】
第５の処理のステップの間に、第１の別の実施形態によれば、動作は図４の通常の密度
のメッシュで始まり、所定のデビット歪み基準（debit-distortion criteria）に基づい
て、また検討する画像のゾーンの異なる特性の関数として（例えば、テクスチャーゾーン
、輪郭ゾーン、又は特定ゾーン）「最適な」粗いメッシュに向かってそれを発展させる。
【０１０７】
図５ａから図５ｄは、それぞれ反復数３，６，９及び１６の、図４のメッシュの発展を
示す。
【０１０８】
より具体的には、画像を読み取り、図４の通常のメッシュを作成した後で、三角形のメ
ッシュの最適化Ｌ2、三角形の合併、次にリッジの交換を行う動作を含む連続的な反復が
実行される。次にメッシュのノードの位置が定量化され、その後で幾何学的な最適化が実
行される。実際に、どのメッシュも上下反対になっていないことを検証する必要がある。
このため、各三角形は時計回りの動作として周知の動作の中で試験される。最終的な点の
定量化は必要である。次に、定量化Ｌ2に戻る。このループは望ましい回数だけ行われ、
連続した反復の数は独自のものにすることができる符号化のパラメータを構成する。
【０１０９】
図５ｅから図５ｇは、検討する画像がエラー画像の場合、ビデオシーケンスを符号化す
る第５のステップを例証する。これにより、図５ｅは、フォアマンシーケンス（Foreman
sequence）として周知のビデオシーケンスから引き出されたエラー画像を示す。図５ｆは
、規則的にメッシュが付けられたフォアマンシーケンスから引き出されたエラー画像を示
す。最後に、図５ｇは、本発明のゾーン検索アルゴリズムを何回か繰り返した後の、メッ
シュが付けられたフォアマンシーケンスから引き出されたエラー画像を示す。
【０１１０】
ビデオシーケンスを符号化するこの第５のステップも、第２の別の実施形態に基づいて
実行することができる。この場合、「粗い」メッシュが検討する画像に適用され、次にこ
の粗いメッシュは連続的な細分化によって洗練される。この種の粗いメッシュを発生する
には、等距離の点が画像の輪郭、テクスチャー、及び特異点上に配置され、これにより、
今度はカバーするゾーンを慎重な（すなわち、適応性のある）方法で網状にすることがで
きる。標準的な１から４の細分化がこの時実行されて、洗練することによって最終的なあ
る程度規則正しいメッシュ付けが得られる。
【０１１１】
例えば、P. Gioiaが「Reducing the number of wavelet coefficients by geometric p
artitioning」、Computational Geometry, Theory and Applications、第１４巻、１９９
９年、ページ２５〜４８、の中で説明した技術に基づいて処理を行うことは可能である。
【０１１２】
シーケンスを符号化する第６のステップは、図６に示すようなエッジの管理に関係する
。これを行うために、この方法は（周期化法（periodization method）として周知の方法
によれば）トーラス６２が付いた平面メッシュ６１（行が千鳥状になったメッシュ）の同
相写像、あるいはまた従来のデータの対称化を使用する。この目的のために、画像は不確
実な境界（すなわち、メッシュの１つの方向に向けられていない境界）上に配置された対
角線を反転して拡大される。時代区分及び対称化方式は、画像に関して重要であることが
分かる。その理由は、その方式は、ウェーブレット係数の統計的分布のスキューイング（
skewing）が送信されないようにするため、バイエキスポーネンシャル法則（bi-exponent
ial law）に向かって収束することを可能にするためである。
【０１１３】
第７のステップでは、第２世代のウェーブレットが画像のメッシュに適用される。例え
ば、この目的のために、M. Lounsbery、T. DeRose、及びJ. Warrenによって提案された方
法、「Multiresolution Analysis for Surfaces of Arbitrary Topological Type」、ACM
Transactions on Graphics、１９９４年、が、検討されるゾーンの性質の関数として本
発明に基づいて選択された種類のウェーブレット（例えば、ループ又はバタフライ形のウ
ェーブレット）と一緒に適用される。
【０１１４】
ウェーブレットは、ゾーンの更新点（これは１つの特定の実施例では中心点である）に
おけるメッシュに関連したスカラー値を考慮して、また隣接点においてはこの同じスカラ
ー値の関数としてメッシュに適用される。このスカラー値は、例えば、検討するメッシュ
の点の輝度又はこの同じ点のクロミナンスの構成要素とすることができる。この後に、図
７ａから図７ｄで重み付けられたウェーブレットの分解が例示される。
【０１１５】
図７ａはバタフライ形ウェーブレットを示す。この図で、参照番号７０の中心点はメッ
シュの適用点を示し、他の点はメッシュの隣接点における補間係数を示す。前述したよう
に、このウェーブレットはテクスチャーの管理に特に適切である。
【０１１６】
言い換えると、メッシュの特性パラメータ（例えば、幾つかの点における画像の輝度）
は、例えば、M. Lounsbery、T. DeRose及びJ. Warrenが上記の文献の中で説明したように
、第２世代のウェーブレットによる分析のステップに基づいて、別のノードを参照番号７
０に加えることが必要か及び／又は好ましいかを決定するために研究される。
【０１１７】
図７ｂから図７ｄは、それぞれ、ループ、アフィン及びキャットマル・クラーク形ウェ
ーブレットを示す。これらの図面では、参照番号７０の点は、更新点とも呼ばれるもので
、メッシュを適用する点を示す。他の点はまた、メッシュに隣接する点上の補間係数を示
す。
【０１１８】
前述した方法で進めることによって、ウェーブレット係数が検討する画像のゾーンの特
定のメッシュに対してこのように得られる。この動作は全体の画像に対して実行され、ま
たビデオシーケンスの場合は、全てのＰ／Ｂ画像に対して実行される。処理されるデータ
の種類（例えば、テクスチャー、輪郭、形状など）に最適なウェーブレットが、メッシュ
の各部分に対して適用される。
【０１１９】
上述したように、関連するゾーンの性質を決定するために、ある点の周りのメッシュ及
びこの点の周りの領域のメッシュの密度を使って処理することが可能である。このため、
画像の点Ａにおいて、メッシュの密度は高い（その２つの連続する隣接部に対して）が、
この領域の周りではメッシュが空である場合、これは分離された特異点であると言われる
。この場合、アフィンウェーブレットが適用される。この領域の周りでメッシュの密度が
まだ高い場合、それはテクスチャーであると言われ、バタフライ形ウェーブレットが適用
されることが好ましい。輪郭を特徴付けるために、メッシュの密度が方向に沿って検出さ
れる（メッシュの密度が特定の方向に沿って高い場合）。
【０１２０】
ビデオシーケンスの符号化の関連において、シーケンスの連続画像の相互依存性も考慮
に入れる。このため、１つの画像から他の画像に移る場合、メッシュの一部（又はメッシ
ュの全体でさえも）は同じとすることができる。このため、シーケンスの先行する画像に
対して変更されているメッシュのこれらのノードのみを、復号化端末又は復元端末に送信
することは適当である。エンコーダは、他のノードは変わっていないと考える。同様に、
特定のメッシュに適用されたウェーブレットは、大抵の場合、ある画像から他の画像に変
化しないで留まる。ウェーブレットが同じ状態に留まる場合、このレベルでは情報は送信
されない。
【０１２１】
第８のステップでは、前に取得されたウェーブレット係数が符号化される。これを行う
ために、ゼロツリー形の技術（例えば、J.M. Shapiroが「Embedded Image Coding Using
Zerotree of Wavelet Coefficients」、IEEE Transactions on Signal Processing、第４
１巻、Ｎｏ．１２、１９９３年１２月、ページ３４４５〜３４６１、の中で説明したよう
な）又はＥＢＣＯＴ形の技術（例えば、D. Taubmanが「High Performance Scalable Imag
e Compression with EBCOT」、IEEE Transactions on Image Processing、第９巻、Ｎｏ
．７、２０００年７月、の中で提示したような）を実行して、ウェーブレット係数を分類
及び定量化する。
【０１２２】
ビデオシーケンスを符号化する第９のステップは、これらのウェーブレット係数の整形
に関する。この整形動作は、ＭＰＥＧ−４規格が関係する文献ISO/IEC JTC 1/SC 29/WG 1
1、N4973、AFX Verification Model 8、Klagenfurt、オーストリア、２００２年７月、の
中で提案された方法に基づいて行われる。関心のあるゾーンすなわち高いエラーゾーンに
応じて、受信及び復号化の間にパケットが他に関連して強調される。
【０１２３】
他の方法は、パケットの中に含まれるエラーの量に応じて、優先順位の「順序」によっ
てウェーブレット係数を送信することにある。それ故に、データは次の形式で送信される
、すなわち、パケット数／情報のヘッダ（係数の数、画像のゾーン、ビットマップの数な
ど）／ウェーブレットの種類／ウェーブレット係数／メッシュ情報である。データはこの
ようにチャネルに送信され、次に復号化又は記憶するために受信される。
【０１２４】
本発明によれば、信号の構造は定義されることが好ましい。この信号の構造は連続する
パケットの形式で編成され、これらのパケット自身のそれぞれは次のフィールドから構成
する、すなわち、パケットの開始／パケット番号／情報ヘッダ／ウェーブレットの種類／
ウェーブレット係数／メッシュの形状／パケットの終了、から構成する。
【０１２５】
パケット番号フィールドは、パケットの寸法の順序の中に割り当てられたパケットの識
別子を含む。
【０１２６】
情報ヘッダフィールドは、次のサブフィールドを含む、すなわち、
ウェーブレット係数の数（処理される画像のゾーンの中の全数）、
検討される画像のゾーン（「メッシュの形状」フィールドによって特に提供された情報
の関数として）、
ビットマップの数（ウェーブレット係数を符号化するために使用される）。
【０１２７】
「ウェーブレットの種類」フィールドは、検討するゾーンに適用されるウェーブレット
が、例えばループ形、バタフライ形、キャットマル・クラーク形のウェーブレットである
か、あるいはまたアフィン形ウェーブレット、又は検討するゾーンの性質に基づいて選択
される何らかの他の種類であるかどうかを示す。
【０１２８】
「メッシュの形状」フィールドに関しては、そのフィールドは、（頂点及びリッジの形
状の中の）基本的なメッシュを送信することができる。
【０１２９】
例えば、本発明に基づいて別個の性質の２つのゾーンに分割され、第１のゾーンがバタ
フライ形ウェーブレットによって符号化され、第２のゾーンがループ形ウェーブレットに
よって符号化される画像の符号化を検討する場合、送信され符号化されたシーケンスを伝
達する本発明の信号は、次の形式を含むことが好ましい、すなわち、
画像の開始
パッケージの開始／No 145 / 250 coeff / vertex5, ridge2,4,5; vertex45, ridge 56
,54,87... / 256 / バタフライ/ (10,25,14), (25,54,84),(...),(25,36,10)／パッケー
ジの終了
パッケージの開始／No 260 / 130 coeff/ vertex14, ridge8,41,5; vertex7, ridge 21
,47,21... / 256 / ループ/ (1,5,8), (2,4,42),(...),(52,20,10)／パッケージの終了
画像の終了。
【０１３０】
本発明は、各ウェーブレットの種類に関連して、エンコーダとデコーダとの間の定義済
みのコードも提供して、ウェーブレットの種類フィールドの内容を簡潔にする。これによ
り、識別子１をループ形ウェーブレットに、識別子２をバタフライ形ウェーブレットに、
識別子３をキャットマル・クラーク形ウェーブレットに、また識別子４をアフィン形ウェ
ーブレットに割り当てるように考えることができる。ウェーブレットの種類フィールドは
、この場合、２ビットで符号化することができる。
【０１３１】
復号化方法は、符号化方法を二重にした方法である。上記のパッケージを搬送する信号
を受信すると、復号化装置は画像に対して定義されたゾーンのそれぞれに適用されたウェ
ーブレットの種類に関する情報をその信号から抜き出し、復号化の間に使用されたウェー
ブレットの種類の関数としてこれらのゾーンのそれぞれに選択的な復号化を適用する。
【０１３２】
このように、最適な視覚品質の画像が得られ、これは安価な符号化費用で実現される。
【技術分野】
【０００１】
本発明の技術分野は静止画像又は動画の符号化の分野、特に、ビデオシーケンスの連続
した画像の符号化の分野に関するが、これに限定されることはない。より具体的には、本
発明は、画像がそれ自体に関連したメッシュを有し、ウェーブレット法として周知の方法
を実行する画像の符号化または復号化技術に関する。本発明は、特にWim Sweldensによる
文献、「The Lifting Scheme : A Construction of Second-Generation Wavelets」、SIA
M Journal on Mathematical Analysis、第２９巻、第２号、ページ５１１〜５４６、１９
９８年、の中で示された第２世代のウェーブレットに適用できるが、これに限定されるこ
とはない。
【背景技術】
【０００２】
新しい送信ネットワーク（ｘＤＳＬ、ＧＰＲＳ及びＵＭＴＳを使用する携帯電話など）
の開発は、画像の符号化及びディジタルビデオの圧縮技術が長期にわたるサービス品質（
ＱｏＳ）において起こり得る変動に加えて、ネットワークの異質性に適合する必要がある
ことを意味する。これら全ての要素を静止画像又は動画の符号化の中で考慮することによ
り、最終的なユーザに最適な視覚品質を与える必要がある。
【０００３】
今までのところ、ＩＳＯ／ＭＰＥＧ（「International Organization for Standardiza
tion/Moving Picture Coding Expert Group」）及び／又はＩＴＵ−Ｔ（「International
Telecommunication Union-Telecommunication Standardization Sector」）が提案した
技術のような、時間ベースの予測及びブロック構造に基づいた離散コサイン変換（Discre
te Cosine Transformation）による符号化技術などの幾つかの周知の画像符号化技術があ
る。
【０００４】
ブロックベースのＤＣＴ変換による符号化に基づいた従来技術に特有な符号化技術（Mi
crosoftのWindows（登録商標）Media、RealMediaのReal One、Divx（登録商標）など）、又はさらに本願の所有者が出願したフランス特許出願第２７８１９０７号（「Method for the encoding of a source mesh taking account of discontinuities, and corresponding applications」）及び第２８２５８５５号（Methods and devices for the encoding and decoding of images implementing nested images, corresponding program, signal and application）も存在する。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、これら様々な従来技術の画像符号化技術には、特にビットレートが極め
て低いアプリケーション又は送信ネットワークに対して多くの欠点がある。
【０００６】
例えば、ブロックベースの符号化技術では、強い影響すなわちアーチファクトが見えて
しまい、画像を復元した場合の視覚品質が大きく低下する。ＭＰＥＧ−４又はＩＴＵ−Ｔ
／Ｈ．２６３形の符号化方法は、特に、全ての符号化計算及び演算に対する媒体として使
用される固定長の硬直したブロック構造のために、現在ではその限界に達していると考え
られている。同様に、ウェーブレットを用いる技術に関しては、「リンギング」としても
周知の過剰振動効果（over-oscillation effect）により、ユーザにとって極めて不快な
ぼやけた描画（fuzzy rendering）及び画像上にウェーブレットを「見ている」ような印
象が与えられる。
【０００７】
より高いビットレートを用いるアプリケーション又は送信ネットワークに関しては、こ
れらの様々な技術は符号化効率の限界を達成するために用いることはできない。
【０００８】
最後に、これらの従来技術のいずれによっても、画像の本来備わっている特性を考慮に
入れて、ある画像の符号化を最適化することはできない。
【０００９】
さらに、ビデオシーケンスの符号化の場合には、あるいは、送信及び符号化されるデー
タの量を減少させるために、例えば、シーケンスから本来の画像及び補間された画像を取
り去ることによって、エラー画像を計算することや、又は動きの予測／補償によって決定
される画像を計算することは一般的な方法である。例えば、本願の所有者が出願した、「
Method for the construction of at least one image interpolated between two image
s of a moving sequence, corresponding methods of encoding and decoding, signal a
nd data carrier」という名称のフランス特許出願第００１０９１７号を参照することが
できる。
【００１０】
現在は、これら従来の符号化技術のいずれも、こうしたエラー画像の特定の内容に適合
させたものではない。エラー画像は一般に、輪郭、テクスチャー、あるいはまた特異点の
ような高い周波数のみを含んでいる。
【００１１】
本発明は、従来技術のこれらの欠点を克服することを特に目的とする。
【００１２】
より具体的に言うと、本発明の目的は、符号化の結果を従来技術と比較して最適にする
静止画像又は動画を符号化するための技術を提供することである。
【００１３】
本発明の別の目的は、符号化装置から到来し、画像の復号化及び復元の装置まで通信ネ
ットワークによって送信されるデータの量を削減することができるような種類の手法を実
現することである。
【００１４】
また本発明の目的は、拡張性のある、すなわち送信ネットワークの変動及び特にこうし
たネットワークのビットレートの変化に適合するような種類の技術を実現することである
。
【００１５】
また本発明の目的は、画像の符号化又は画像のシーケンス用の情報を低いビットレート
で送信できるような種類の技術を実現することである。
【００１６】
本発明の別の目的は、符号化された画像及び特にこの画像の不連続領域を復元する場合
に高い視覚品質を達成できるような技術を実現することである。
【００１７】
また本発明の目的は、エラー画像の符号化に適しているこういう種類の技術を提供する
ことである。
【００１８】
本発明のさらに別の目的は、実現するのに簡単で僅かな費用しかかからないような種類
の技術を提供することである。
【課題を解決するための手段】
【００１９】
本願で後に現れるこれらの目的及び別の目的は、前記メッシュのウェーブレット符号化
を実行して、階層的なメッシュが関連付けされた画像を符号化する方法の手段によって達
成される。
【００２０】
本発明によれば、前記符号化方法は、前記画像の別個のゾーンに選択的に適用された少
なくとも２つの種類のウェーブレットを用いる。
【００２１】
このように、本発明は静止画像又は動画の符号化、特にビデオシーケンスの画像の符号
化に対する全体的に新しく創意に富んだ方式を基にしている。実際に、本発明は、W. Dah
menが発表した「Decomposition of refinable spaces and applications to operator eq
uations」、Numer. Algor.、Ｎｏ．５、１９９３年、ページ２２９〜２４５、並びにJ. M
. Carnicer、W. Dahmen及びJ.M. Penaによる「Local decomposition of refinable space
s」、Appl. Comp. Harm. Anal. 3、１９９６年、ページ１２７〜１５３、などの特に第２
世代のウェーブレットを用いる革新的なウェーブレット技術に基づいて画像を符号化する
だけでなく、画像の別個のゾーンに対して異なる種類のウェーブレットを適用することに
より、前記符号化を最適化することを提案する。
【００２２】
実際に、本願の発明者らは、様々な種類の現在のウェーブレットが明確な符号化特性を
有しているという事実が重要であると考えている。このため、発明者らは、符号化特性が
各ゾーンの内容に最も適した種類のウェーブレットを画像の異なるゾーンに適用すること
によって、これらの様々な特性を利用すると考えている。
【００２３】
こうして、特性が異なる画像の領域に対してウェーブレットによる符号化を適用する場
合、同じ画像の符号化に対して必要なら幾つかの種類の別個のウェーブレットを用いるこ
とによって、画像の全体的な符号化が最適化される。
【００２４】
この種の符号化方法は、下記のようなステップ、すなわち、
少なくとも２つの別個の性質のゾーンに前記画像を分割するステップであって、各ゾー
ンの性質が前記ゾーン内の前記メッシュの少なくとも１つの特性パラメータの関数である
、ステップと、
前記ゾーンのそれぞれに対して、前記ゾーンの前記メッシュの前記符号化を最適にする
ことができるウェーブレットの種類を、少なくとも前記性質の関数として割り当てるステ
ップと、
を含むことが好ましい。
【００２５】
この画像の全てのゾーンが同じ性質であるという意味で画像が均質である場合、画像は
分割されはしないが、画像の符号化を全体的に最適にすることができる種類のウェーブレ
ットが画像全体に直接割り当てられることは無論理解されよう。
【００２６】
前記メッシュの前記特性パラメータは、前記ゾーン内の前記メッシュの密度を考慮した
ものとすることが好ましい。
【００２７】
実際に、ゾーンのある点におけるメッシュの密度、及びこの点を含む領域内のメッシュ
の密度により、本願で以下に一層詳細に説明されるように、検討されるゾーンがテクスチ
ャー、輪郭又は特異点のゾーンであるかどうかを決定することができる。
【００２８】
本発明の好ましい特徴によれば、前記ゾーンの前記性質は、下記、すなわち、
少なくとも１種類のテクスチャーと、
少なくとも１種類の輪郭と、
少なくとも１種類の特異点と、
少なくとも１種類の色と、
少なくとも１種類の形状と
を含むグループに属する。
【００２９】
本発明の好ましい特徴によれば、前記ウェーブレットの種類は、下記、すなわち、
ループ形ウェーブレットと、
バタフライ形ウェーブレット（Butterfly wavelet）と、
キャットマル・クラーク（Catmull-Clark）形ウェーブレットと、
アフィン形ウェーブレット（affine wavelet）と
を含むグループに属する。
【００３０】
当業者は、本発明は上述した種類のウェーブレットに限定されず、それらは単に例証す
るために示されたものであることは容易に理解されよう。
【００３１】
前記ゾーンのそれぞれに対して、この種の符号化方法は、前記ゾーンの更新点（updati
ng point）において前記メッシュに関連したスカラー値と、前記更新点に隣接する少なく
とも幾つかの点において前記メッシュに関連した前記スカラー値とを考慮して、前記メッ
シュに対して前記ゾーンに割り当てられた前記ウェーブレットの種類の係数を適用するス
テップを含むことが好ましい。
【００３２】
前記スカラー値が、下記、すなわち、
前記メッシュの輝度と、
前記メッシュの少なくとも１つのクロミナンス成分と
を含むグループに属する前記メッシュのパラメータを表すことが好ましい。
【００３３】
このように、例えば、メッシュを適用する点（すなわち、更新点）において位置が取ら
れて、この点におけるクロミナンス成分が検討される。次に、この同じクロミナンス成分
の値が、図７ａから図７ｄを参照して本願の後で一層詳細に説明されるように、ウェーブ
レット係数をそれに応じて（重み付けによって）適用するために、この更新点に隣接する
点において検討される。
【００３４】
この種の符号化方法は、下記、すなわち、
ゼロ・ツリー形（zero-tree type）の手法と、
ＥＢＣＯＴ形の手法と
を含むグループに属する手法を用いて前記ウェーブレット係数を符号化するステップを
さらに含むことが好ましい。
【００３５】
前記画像が連続した画像のシーケンスに属する場合、前記方法が前記画像の前記ウェー
ブレット係数を前記シーケンス内の前記画像に先行又は後続する少なくとも１つの画像の
ウェーブレット係数と比較するステップをさらに含み、前記先行又は後続する画像のウェ
ーブレット係数と同一である前記画像のウェーブレット係数に対する前記符号化するステ
ップの実行を避けることが好ましい。
【００３６】
このように、送信されるデータの量が減少される。このことは、低いビットレートで動
作する送信ネットワークの場合や、復元端末の能力が低い場合に特に好適である。ウェー
ブレット係数が別の画像に対して前に送信された係数に等しい場合、ゼロの組及びウェー
ブレット係数を見つけることができる場所を示すことができる表示（例えば、これらの係
数が既に復号化装置によって受信されている前の画像に対する表示）を送信するだけで十
分である。
【００３７】
この種の符号化方法が連続した画像のシーケンスを符号化することができ、前記画像が
前記シーケンスの本来の画像と動きの予測または補償によって作られた画像とを比較する
ことによって得られたエラー画像であり、前記画像が符号化される少なくとも１つのエラ
ー領域であって、少なくとも１つのほぼ空となり得る領域を含むことが好ましい。
【００３８】
当然のことながら、本来の画像が予測された画像と完全に等しい場合、エラー画像は空
であり、このため符号化されるべきいかなるエラー領域も含まない。逆に、本来の画像が
予測された画像とあらゆる点で異なる場合は、エラー画像はいかなる空き領域も含まない
。
【００３９】
前記分割するステップが、しきい値を設定することによって前記画像の前記エラー領域
を検出するステップを含み、これにより前記画像の少なくとも１つの領域が所定のしきい
値よりも大きいエラーを有することを決定できるようにすることが好ましい。
【００４０】
このしきい値を、アプリケーション又は検討される送信ネットワークの制約に基づいて
、あるいはまた得られる復元品質の関数としてパラメータ化することができる。
【００４１】
本発明の第１の好ましい別の実施形態によれば、前記分割するステップは、平行六面体
状のブロック内で前記検出されたエラー領域の少なくとも幾つかをグループ化するステッ
プも含む。
【００４２】
前記分割するステップが、同じ性質のブロックの集合の形式で、前記画像の前記ゾーン
を作るステップを含むことが好ましい。
【００４３】
これにより、同じウェーブレット処理が、同じ性質の全てのブロックに、例えこれらの
ブロックが画像内で互いに離れていても適用される。
【００４４】
本発明の第２の好ましい別の実施形態によれば、前記分割するステップは前記検出され
たエラー領域から前記画像の前記ゾーンを作るステップを含み、これにより、クワッドツ
リー（quadtree）形の手法を用いる。
【００４５】
本発明はウェーブレットで符号化された階層的なメッシュが関連付けされた画像を復号
化し、ゾーンのそれぞれのメッシュの符号化に割り当てられたウェーブレットの種類に関
する情報の関数として、前記画像の前記別個のゾーンに対して選択的な復号化を実行する
方法にも関係する。
【００４６】
このように、画像は符号化の間に別個の性質の少なくとも２つのゾーンに分割され、ゾ
ーンの性質は前記ゾーン内の前記メッシュの少なくとも１つの特性パラメータの関数であ
るため、本発明の復号化方法には下記のステップ、すなわち、
符号化された画像を示すストリームから各ゾーンのメッシュの符号化に割り当てられた
ウェーブレットの種類に関する情報を抽出するステップ、
ゾーンのそれぞれに対して、こうした情報の関数として、ゾーンのメッシュを復号化す
るステップ、
が含まれる。
【００４７】
本発明はウェーブレットで符号化された階層的なメッシュが関連付けされた画像を符号
化し、前記メッシュをウェーブレットで符号化するための手段を実行し、また前記画像の
別個のゾーンに対して少なくとも２つの種類のウェーブレットを選択的に適用する手段を
含む装置にも関連する。
【００４８】
このため、本発明の符号化装置は下記の手段、すなわち、
ゾーンの性質が前記ゾーン内のメッシュの少なくとも１つの特性パラメータの関数とな
るように、少なくとも２つの別個の性質のゾーンに画像を分割する手段と、
前記ゾーンの前記メッシュの前記符号化を最適にすることができる少なくとも１つのウ
ェーブレットの種類を、前記ゾーンの性質の関数として、前記ゾーンのそれぞれに対して
割り当てる手段と
を含む。
【００４９】
本発明はウェーブレットで符号化された階層的なメッシュが関連付けされた画像を復号
化し、ゾーンそれぞれのメッシュの符号化に割り当てられたウェーブレットの種類に関す
る情報の関数として、前記画像の前記別個のゾーンに対して選択的な復号化を行う手段を
含む装置にも関係する。
【００５０】
画像は符号化の間に別個の性質の少なくとも２つのゾーンに分割され、ゾーンの性質は
前記ゾーン内の前記メッシュの少なくとも１つの特性パラメータの関数であるため、本発
明の復号化方法には下記の手段と、すなわち、
符号化された画像を示すストリームから各ゾーンのメッシュの符号化に割り当てられた
ウェーブレットの種類に関する情報を抽出する手段と、
ゾーンのそれぞれに対して、情報の関数として、ゾーンのメッシュを復号化する手段と
が含まれる。
【００５１】
本発明は、ウェーブレットで符号化された階層的なメッシュが関連付けされた画像を示
す信号にも関連する。本発明によれば、少なくとも２種類のウェーブレットが符号化の間
に前記画像の別個のゾーンに選択的に適用される場合、前記ゾーンのそれぞれのメッシュ
の符号化に割り当てられる前記種類のウェーブレットに関する情報がこの種の信号により
伝達される。
【００５２】
画像が符号化の間に少なくとも２つの別個の性質のゾーンに分割され、ゾーンの性質は
ゾーン内のメッシュの少なくとも１つの特性パラメータの関数であるため、本発明の信号
は各ゾーンのメッシュの符号化に割り当てられるウェーブレットの種類に関する情報を伝
達する。
【００５３】
こうした信号は、それぞれが前記画像の前記ゾーンの１つに関連付けられるパケットの
形式で構成され、前記パケットのそれぞれは、下記のフィールド、すなわち、
パケットの開始を示すフィールドと、
前記パケットの識別子を伝達するフィールドと、
情報ヘッダフィールドと、
前記ゾーンに割り当てられた前記ウェーブレットの種類に関する前記情報の一部を含む
フィールドと、
前記ゾーンの前記メッシュに適用されるウェーブレット係数を含むフィールドと、
前記画像の前記メッシュの形式に関するフィールドと、
パケットの終了を示すフィールドと
を含むことが好ましい。
【００５４】
前記情報ヘッダフィールドが、
前記ゾーンのウェーブレット係数の数に関するサブフィールドと、
前記メッシュの前記形式の関数として、前記画像の前記ゾーンを示すサブフィールドと
、
前記ウェーブレット係数に対して用いられるビットマップの数に関するサブフィールド
と
を含むことが好ましい。
【００５５】
この方法は、下記、すなわち、
ビデオのストリーミングと、
ビデオ記憶と、
ビデオ会議と、
ビデオオンデマンドと、
ビデオメールと
を含むグループに属する少なくとも１つの分野に対して用いる本願で前に説明された符
号化方法及び復号化方法の用途にも関係する。
【００５６】
本発明の他の特徴及び利点は、単純で例証となる限定されることはない実施例によって
与えられた好ましい実施形態の以下の説明及び添付した図面からより明瞭に見えてくるで
あろう。
【図面の簡単な説明】
【００５７】
【図１】図１ａ及び図１ｂは、特にW. Sweldensによって「The Lifting Scheme: A New Philosophy in Bi Orthogonal Wavelets Constructions」、Proc. SPIE 2529、１９９５年、ページ６８〜６９、の中で説明されたような分解を高める一般的な方式を示す図である。
【図２】画像の異なるゾーンの特性に適合したウェーブレット変換の選択によって、本発明の一般的な原理を説明する図である。
【図３】画像がエラー画像の場合、クワッドツリー形の技術に基づいて、図２の画像を異なるゾーンに分割する原理を説明する図である。
【図４】本発明に基づいて画像に適用された標準的な密度のメッシュを例示する図である。
【図５ａ】本発明の枠組みの中で実行される画像のメッシュを細分するステップを例示する図である。
【図５ｂ】本発明の枠組みの中で実行される画像のメッシュを細分するステップを例示する図である。
【図５ｃ】本発明の枠組みの中で実行される画像のメッシュを細分するステップを例示する図である。
【図５ｄ】本発明の枠組みの中で実行される画像のメッシュを細分するステップを例示する図である。
【図５ｅ】本発明の枠組みの中で実行される画像のメッシュを細分するステップを例示する図である。
【図５ｆ】本発明の枠組みの中で実行される画像のメッシュを細分するステップを例示する図である。
【図５ｇ】本発明の枠組みの中で実行される画像のメッシュを細分するステップを例示する図である。
【図６】本発明の枠組みの中のエッジの管理の原理を示す図である。
【図７】図７ａから図７ｄは本発明に基づいて画像の種々のゾーンに適用することができる様々なウェーブレット方式を示す図である。
【発明を実施するための最良の形態】
【００５８】
本発明の一般的な原理は、様々な種類のウェーブレット、特に第２世代のウェーブレッ
トを画像の種々の領域に適用して、符号化特性が検討するゾーンの内容に適した種類のウ
ェーブレットを選択することによって、画像の全体的な符号化を最適にすることに基づい
ている。
【００５９】
本発明の実施形態を詳細に説明する前に、ビデオの符号化並びにメッシュ、リフティン
グ及び第２世代のウェーブレットの概念に関して、幾つかの簡単な注意を行う。実際に、
本発明は特に、これらの様々な考え方に基づいて、ビデオシーケンスの符号化についての
一般的な状況の中で用いられる。
【００６０】
例えば、文献ISO/IEC (ITU-T SG8) JTC1/SC29 WG1 (JPEG/JBIG), JPEG2000 Part I Fin
al Committee Draft, Document N1646R、２０００年３月、の中で説明されるビデオの符
号化に関する一般的な原理は、種々の方法（4:4:4 / 4:2:2 / 4:2:0...）でサンプリング
されたＹＵＶ面（輝度／クロミナンスｒ／クロミナンスｂ）の中で示された一連の画像の
形式でディジタルビデオを説明することから構成する。符号化システムは、連続した画像
内の空間及び時間の冗長度を考慮して、この表示を変化させることから成る。このため、
（例えば、ＤＣＴ又はウェーブレット形の）変換が、一連の互いに依存する画像を得るた
めに適用される。
【００６１】
これらの画像は、各画像の種類が良く測定された特性を有するＩ／Ｂ／Ｐの順で順序付
けられる。Ｉ画像は「内部」（intra）画像とも呼ばれて、静止画像と同じ方法で符号化
され、他のシーケンスの画像に対する基準としての役目をする。Ｐ画像は「予測された」
(predicted)画像とも呼ばれて、２種の情報、すなわち、動きが補償されたエラー情報及
び運動ベクトルを含む。これら２つの情報は、Ｉ形又はＰ形の１つ以上の前の画像から導
き出される。Ｂ画像も「双方向」画像と呼ばれて、これら２種の情報を含むが、２つの基
準すなわちＩ形又はＰ形の後方基準及び前方基準に基づいている。
【００６２】
このことは、検討するビデオシーケンスの全体を復元可能にするために、従来の方法で
符号化された内部画像「Ｉ」及び次に各連続画像に関する運動ベクトル及びエラーを送信
すれば十分であることを意味する。
【００６３】
静止画像又はビデオシーケンスを符号化するための周知の技術も、符号化すべき画像に
関連付けされた階層的なメッシュを使用することに依存している。このため、例えば、灰
色レベルに符号化された静止画像を検討してみる。この画像は、パラメータ面の分離され
た表示と考えることができる。このため、任意のメッシュを画像のあるゾーン又は画像全
体のいずれかに適用することができる。階層的な細分を用いて（適用できる又は適用でき
ない場合がある）、このメッシュは規則的に又は不規則に導き出すように作られる。この
ように、「階層」は、計算されたエラーが所定のしきい値の上にある画像の領域の中での
み、メッシュの細分を通して利用できる。メッシュの基本的な技術に関する一般的な見解
は、文献ISO/IEC (ITU-T SG8) JTC1/SC29 WG1 (JPEG/JBIG), JPEG2000 Part I Final Com
mittee Draft, Document N1646R、２０００年３月、の中にも示されている。
【００６４】
幾つかの画像符号化技術は、また特にW. Sweldensによる「The Lifting Scheme : A Ne
w Philosophy in Bi-Orthogonal Wavelets Constructions」、Proc. SPIE 2529, １９９
５年、ページ６８〜６９、の中で説明された、「リフティング」として周知のウェーブレ
ット分解方法に基づいている。リフティングはごく最近見出され、通常のコンボリューシ
ョンによる方法よりも単純で高速なウェーブレット分解(decomposition)方法として一般
的になっている。リフティングにより、分析のマトリックスに対する簡単な行および列の
演算を行うことにより、再構成(reconstruction)を簡単に行うことができる。
【００６５】
図１ａ及び図１ｂを参照して、「リフティング」分解の一般的な方式及び関連付けされ
た多相マトリックス(associated polyphase matrix)の形式をここで考察する。
【００６６】
一般的な方法には、信号を２つの偶数値のサンプル１２及び奇数値のサンプル１３に分
離する動作１１と、奇数値のサンプルを偶数値のサンプルの関数として予測する動作とが
含まれる。一旦予測動作が行われると、信号の更新がその初期特性を保存するために行わ
れる。このアルゴリズムは、要望どおり何回も繰り返すことができる。リフティングによ
る表現により、信号の分析１４及び合成１５を可能にする多相マトリックスの考え方がも
たらされる。
【００６７】
図１ｂは、下記のように多相マトリックスＰ（ｚ）に連結された(concatenated)「リフ
ティング」方式を一層具体的に示す。
【数１】
ここで、ｓi（ｚ）及びｔi（ｚ）は２つのローランの多項式であり、Ａ及びＢは標準化
の係数である。
【００６８】
最後に、特に本発明との関連で実行される第２世代のウェーブレットが、数学の世界か
ら到来する新しい変換を構成することが想起される。
【００６９】
この変換は、最初にW. Dahmenによる「Decomposition of refinable spaces and appli
cations to operator equations」、Numer. Algor., No. 5、１９９３年、ページ２２９
〜２４５、及びJ. M. Carnicer、 W. Dahmen 及び J.M. Penaによる「Local decompositi
on of refinable spaces」、Appl. Comp. Harm. Anal. 3、１９９６年、ページ１２７〜
１５３、の中で紹介され、次にW.Sweldensによる「The Lifting Scheme : A Constructio
n of Second Generation Wavelets」、１９９６年１１月、SIAM Journal on Mathematica
l Analysis、並びにW. Sweldens 及び P. Schroderによる「Building Your Own Wavelet
at Home」、第２章、Technical report 1995, Industrial Mathematics Initiative、の
中で開発された。
【００７０】
ウェーブレットは分析空間の不規則な細分から作られ、平均化及び重み付けられた補間
方法に基づいている。Ｌ2（Ｒ）の中で一般に使用されるベクトル積は、重み付けられた
内部ベクトル積になる。これらのウェーブレットは、コンパクトなサポート（台）及び間
隔に対する分析に特に良く適合される。しかしながら、それらのウェーブレットは、本願
で上述されたリフティング方法によって作られているため、第１世代のウェーブレットす
なわち良好な時間／周波数の局所性及び高い計算速度という特性を保持している。
【００７１】
M. Lounsbery、T. DeRose及びJ. Warrenは「Multiresolution Analysis for Surfaces
of Arbitrary Topological Type」、ACM Transactions on Graphics、１９９４年、の中
で、これらのウェーブレットを任意の表面構造に対して適用することを考えた。本発明で
は、これらのウェーブレットは、表面を構成するメッシュに対して適用される。この表面
のトポロジーは任意のトポロジーとすることができる。
【００７２】
これらの第２世代のウェーブレットを正確に定義するために、発明者らは、先ず第一に
これらのウェーブレットが第１世代のウェーブレットと呼ばれるものと共通して有してい
る特性を思い起こし、次に第２世代のウェーブレットから分かり、また特に本発明との関
連で利用される別の特性を示す。
【００７３】
［第１世代及び第２世代のウェーブレットに共通する特性］
Ｐ１：ウェーブレットはＬ2（Ｒ）に対するRiezベース並びにLebesgue、Lipchitz、Sob
olev及びBesovの空間などの多種多様な関数の空間に対する「均一」なベースを形成する
。このことは、引用される空間のどのような関数もウェーブレットの基底で分解すること
ができ、この分解はこの関数に対するノルム（初期空間のノルム）として均一に収束する
。
Ｐ２：均一な基底に関する分解係数は知られている（あるいは、容易に見つけることが
できる）。しかも、ウェーブレットが直交していること、すなわちデュアルウェーブレッ
トは、周知である（二重直交（bi-orthogonal）の場合）。
Ｐ３：ウェーブレット及びデュアルウェーブレットは、空間及び周波数の中で局所的な
特性を有する。幾つかのウェーブレットはさらにコンパクトなサポートを有する（本発明
はこうしたウェーブレットを使用することが好ましいが、これに限定されることはない）
。周波数局在化の特性は、ウェーブレットの規則性（高い周波数に対して）及びゼロ多項
式モーメント（zero polynomial moment）の数（低い周波数に対して）から直接生じる。
Ｐ４：ウェーブレットは、マルチ分解度分析（multiresolution analysis）の中で使用
することができる。このことにより、ＦＷＴ（高速ウェーブレット変換）がもたらされる
。このＦＷＴにより、関数からウェーブレット係数まで「線形時間（linear time）」で
進むことができる。
【００７４】
［第２世代のウェーブレットを特徴付ける別の特性］
Ｑ１：第１世代のウェーブレットはＲnで定義された関数に対する基底を提供するが、
幾つかのアプリケーション（データの細分化、一般的なドメイン内の偏微分方程式の解、
又は任意のトポロジーのメッシュに対するウェーブレットの適用など）は、曲線、面又は
それらの取り合わせのようなＲnの任意のドメインに対して定義されるウェーブレットを
必要とする。
Ｑ２：微分形式の対角化、曲線及び面の分析、並びに重み付けされた近似値は、重み付
けされた測定値に適合された基底を必要とする。しかしながら、第１世代のウェーブレッ
トは、並行移動（translation）における不変測度（invariant measurement）（典型的に
は、ルベーグ測度）のある空間に対してのみ基底を提供する。
Ｑ３：多くの実際の問題は、不規則なサンプリングによるデータに適合したアルゴリズ
ムを必要とするが、第１世代のウェーブレットは規則正しく行われたサンプリングデータ
に対してのみ分析を可能にする。
【００７５】
したがって、第２世代のウェーブレットの構造を要約するために、次の原理が強調され
る。
【００７６】
マルチ分解分析の間は、スケール関数が展開する従来の空間は、下記の式のように値Ｖ
kであると仮定される。
【数２】
分析の空間は、バナッハ空間（Banach Space）（Ｒｅｆ Ｂ）の中に位置を取って拡大さ
れる。こうして、下記の式のように、第２世代のウェーブレットが得られる。
【数３】
分布の意味に取られるスカラー積がバナッハ空間の中で定義され、双対空間の再定義が可
能にされる。再定義の条件は、下記の式のようになる（マトリックス形式）。
φｋ-1＝Ｐφk
ここで、Ｐは任意の不特定のマトリックスである。
【００７７】
ビデオ符号化技術を理解するために必要な概念に関するこれら幾つかの説明をした後で
、図２を参照して、本発明の一般的な原理に関する一層詳細な説明をこれから行う。
【００７８】
参照番号２１の画像を検討する。この画像は、符号化される静止画像又はビデオシーケ
ンスの画像の１つとすることができる。参照番号２３の階層的なメッシュがそれに結合さ
れている。図２では、このメッシュは一部だけが画像２１に重なり合った規則的なメッシ
ュである。無論、このメッシュは不規則なメッシュとすることもできるし、画像２１の全
体に重なるものともできる。
【００７９】
本発明の一般原則は、画像２１の中に性質の異なるゾーンを特定し、これらのゾーンに
対して、特性が検討されているゾーンの内容に良く適合する異なる種類のウェーブレット
を適用することである。このため、図２の画像２１を、それぞれがＴ１，Ｔ２及びＴ３と
参照番号が付いた複数のゾーン２２に分割することができる。
【００８０】
可能な程度まで、参照番号Ｔ１，Ｔ２及びＴ３のゾーンが長方形のブロックの形式で、
又は処理を容易にするために、集団にされた長方形のブロックの組で作られる。
【００８１】
このように、画像２１の太陽２４に対応する組２２の参照番号Ｔ３のゾーンは、太陽２
４を包含する長方形である。しかしながら、画像２１の不規則なレリーフ２５に対応する
参照番号Ｔ１のゾーンは、階段の形状をしており、これはレリーフ２５の形状にできるだ
け接近して従う平行６面体のブロックの組に対応する。
【００８２】
ゾーンＴ１は画像２１のテクスチャーゾーンであり、一方ゾーンＴ２は画像２１の分離
された特異点を取り囲み、またゾーンＴ３の太陽は主に輪郭によって定義される。
【００８３】
このため、本発明によれば、これらの各ゾーンの符号化に最も密接に対応する種類のウ
ェーブレットが選択される。本発明の１つの特定の実施形態では、テクスチャーゾーンＴ
１に対しては、このようにバタフライ形のウェーブレットが適用するように選択され、一
方特異点ゾーンＴ２及び輪郭ゾーンＴ３は、それぞれアフィン形ウェーブレット及びルー
プ形ウェーブレットによって符号化されることが好ましい。
【００８４】
このような方法で、画像２１の符号化及び適合された端末上でのその復元の品質の両方
を最適化することができる。
【００８５】
下記の表は、符号化されるゾーンの性質の関数として様々な種類のウェーブレットを、
本発明に基づいて選択する好ましい基準を要約している。
【表１】
【００８６】
他の種類のウェーブレットも、無論、本発明の枠組みの中で実現できる。本発明は、単
に上記の表の中で説明された種類のウェーブレット及びゾーンの性質に決して限定される
ことはない。
【００８７】
上記の表は、特に、自然の物体の場合と非自然の物体の場合との間の輪郭に関して区別
を行っていることに注意されたい。実際に、自然の物体は、非自然の物体よりも一層不確
実な輪郭によって決定される。このため、周波数に関しては、自然の物体は非自然の物体
とは異なり、明確なピークを有していない。従って、処理される物体の関数として、２つ
の事例の間を区別する必要がある。
【００８８】
これら２種類の物体を区別する１つの基準は、例えば、輪郭に対応付けられた灰色レベ
ルに適用される多方向性の高域フィルタによってフィルタ処理された画像に対してしきい
値を設定することによって得ることができる。
【００８９】
ここで、ビデオシーケンスを符号化するという一般的な状況のもとで、本発明の特定の
実施形態を提示することにする。特定のステップの１つは、本発明を実行することに対応
する。
【００９０】
この種の符号化技術は、本願で上述されたビデオの符号化及びリフティング技術に特に
依存する。
【００９１】
Ｉ／（ｎ）Ｂ／Ｐ形の方式を検討する。ここで、ｎは正又は０の値であり、Ｉは「内部
」画像を指定し、Ｂは双方向画像であり、Ｐは予測された画像である。実施例を示すため
に、ＭＰＥＧ、例えば、ＭＰＥＧ−４形の符号化がエラー画像を除いて実行され、エラー
画像に関しては、本発明はメッシュ及び第２世代のウェーブレット符号化法を用いて実行
することが検討される。
【００９２】
無論、ＭＰＥＧ−４の符号化を等価の技術に基づいた任意の種類の符号化によって置き
換えることは考えることができる。この等価の技術には、時間ベースの予測及びブロック
構造に基づいた離散コサイン変換（ＤＣＴ）、並びに発生する情報に対するエントロピー
定量化及び符号化演算を用いる技術が含まれる。特に、ITU-T/H.264 又は MPEG-4 AVC符
号化法（特に、Joint Final Committee Draft of Joint Video Specification (ITU-T Re
c. H.264 | ISO/IEC 14496-10 AVC)、Thomas Wiegand、Klagenfurt、２００２年７月２２
日、の中で説明されたような）は、本発明の内容から逸脱することなく、ＭＰＥＧ−４の
符号化に取って代わることができる。
【００９３】
符号化装置すなわちエンコーダに入る検討されるビデオシーケンスの各画像に対して、
この装置は、ＭＰＥＧ−４の符号化モジュール（歪み／ビットレートのトレードオフによ
る最適化の機能付き又はなし）又は歪み／ビットレートの最適化に基づいた特定の符号化
モジュールを用いて、それを符号化することを決定する。歪み／ビットレートのトレード
オフによる最適化は画像の品質とその大きさとの間に妥協をもたらすこと、すなわち、こ
のように、歪み／ビットレートのトレードオフによる最適化は最良の可能な妥協を得るこ
とを目的とする最適化を提供することを想起されたい。
【００９４】
Ｐ形及びＢ形画像に対する動きの予測は、ＭＰＥＧ−４規格の中で規定されたブロック
マッチング技術に基づいて実行される。
【００９５】
エラーの符号化に関しては、本発明を実行することによって達成される。メッシュベー
スの第２世代のウェーブレットをこのようにエラー画像に変換することにより、関連する
符号化費用を極めて低くして、画像の不連続性（輪郭、テクスチャー、特異点など）に対
して良好な表示を行うことができる。このように、本発明は先ず第１に画像に対して様々
な種類の特異点を考慮に入れ、第２には適当なウェーブレットのモジュールを選択してこ
れらの画像を処理するため、本発明は圧縮効率を極めて高くすることができる。
【００９６】
本発明が本願で関係するビデオシーケンスを符号化する第１のステップは、内部（Ｉ）
画像を符号化することに関連付けられる。この符号化するステップは、例えば、ＭＰＥＧ
−４の場合のようにＤＣＴ変換を使用すること、又は例えば、W. Dahmenが「Decompositi
on of refinable spaces and applications to operator equations」、No. Algor.、Ｎ
ｏ５、１９９３年、ページ２２９〜２４５、の中で説明したような、第１世代のウェーブ
レットの符号化法を適用することに依存する。
【００９７】
ビデオシーケンスを符号化する第２のステップについては、そのステップは予測された
画像Ｐ及び双方向画像Ｂの符号化に関係する。これらの画像は、先ず最初に、例えば「ブ
ロックマッチング」法（G.J. Sullivan 及びR.L. Bakerによって「Motion compensation
for video compression using control grid interpolation」、International Conferen
ce on Acoustics, Speech, and Signal Processing、１９９１年、ICASSP-91、第４巻、
ページ２７１３〜２７１６、の中で説明された）などの従来の予測／補償方法によって運
動補償され、次に対応するエラー画像が記憶される。
【００９８】
このように、エラー画像は正確な画像をシーケンスから引き去ることによって得られ、
また画像は運動を補償または予測することによって組み立てられる。この後者が正確な画
像とは異なる場合、エラー画像には符号化する必要がある少なくとも１つのエラー領域が
含まれる。正確な画像及び運動の補償によって得られた画像の少なくとも幾つかの部分が
全く同じである場合、エラー画像は符号化ストリームを送信する間にゼロの値を送信する
ために十分な少なくとも１つの実質的にゼロの領域も有する。
【００９９】
第３のステップの間に、エラー情報及び運動情報が分離され、動作はしきい値設定動作
によってエラー画像の中のエラー領域を検出することに集中する。「ｅ」を許容しきい値
と仮定すると、エラー領域はこのしきい値以上の値を有するエラー画像の全ての領域であ
ると認識される。
【０１００】
本発明の第１の別の実施形態では、これらのエラー領域はブロックによって（四辺形の
ゾーンを有するように）一緒にされる。ブロックのグルーピングは、各ブロックをテクス
チャー、色、形状、輪郭、分離された特異点に関する情報に対応する少なくとも１つの特
性に結び付けることによって得られる。この特徴付けにより、ゾーンを別個の性質にする
という形式でブロックのグルーピング及び画像の分割を行うことが可能にされ、これによ
り、適当な種類のウェーブレットを適用することによるその最適な変換により、分割され
た各ゾーンの符号化が可能にされる。
【０１０１】
図３に示された本発明の第２の別の実施形態では、画像は「クワッドツリー（quadtree
）」形の技術に基づいて、性質が異なる内部ゾーンに分割される。
【０１０２】
例えば参照番号３２〜３４の３つのエラー領域を含む画像３１を検討する。動作は連続
的な繰返し（ステップ１からステップ４）によって実行される。すなわち、画像３１を４
つの正方形のゾーンに分割する場合、これらのゾーンのそれぞれは４つの正方形の下位の
ゾーン（sub-zone）に細分され、この動作が順番に反復されて、こうして得られた正方形
のメッシュが画像３１の参照番号３２，３３又は３４のエラー領域の中に含まれると考え
ることができるまで継続される。
【０１０３】
画像の異なるエラーブロックの検出が（前述した２つの別の実施形態の１つに基づいて
）行われた後で、図２を参照して説明されたように、画像は性質が異なるゾーンに細分さ
れる。これらの画像は異なるウェーブレットによって符号化され、選択されたウェーブレ
ットの特性の関数として符号化の最適化を可能にする。
【０１０４】
ゾーンの性質は、例えば、ゾーンを覆うメッシュの密度によって決定することができる
。このため、検討するゾーンのメッシュの密度が高い場合は、これはテクスチャーゾーン
であると推定することができる。
【０１０５】
それに対して、画像の特異点を含むゾーンは、メッシュの密度は画像の点の周りでは高
く、隣接する点では極めて密度が低いゾーンである。その部分の輪郭ゾーンは、メッシュ
の密度が一方方向に高いことによって特徴付けられる。 第４のステップでは、図４に示
すように、画像の別個の性質のゾーン（四辺形の形状が好ましい）が決定された後で、通
常の密度のメッシュがゾーンのそれぞれに対して適用される。メッシュの密度は、画像の
関数として調整することができるパラメータである。図４は、カメラマンを示す画像に適
用された通常のメッシュを例証する。このメッシュは、千鳥状に配置された行配列を有す
る形状である。それは不規則な細分化及び第２世代のウェーブレットの使用を可能にする
。
【０１０６】
第５の処理のステップの間に、第１の別の実施形態によれば、動作は図４の通常の密度
のメッシュで始まり、所定のデビット歪み基準（debit-distortion criteria）に基づい
て、また検討する画像のゾーンの異なる特性の関数として（例えば、テクスチャーゾーン
、輪郭ゾーン、又は特定ゾーン）「最適な」粗いメッシュに向かってそれを発展させる。
【０１０７】
図５ａから図５ｄは、それぞれ反復数３，６，９及び１６の、図４のメッシュの発展を
示す。
【０１０８】
より具体的には、画像を読み取り、図４の通常のメッシュを作成した後で、三角形のメ
ッシュの最適化Ｌ2、三角形の合併、次にリッジの交換を行う動作を含む連続的な反復が
実行される。次にメッシュのノードの位置が定量化され、その後で幾何学的な最適化が実
行される。実際に、どのメッシュも上下反対になっていないことを検証する必要がある。
このため、各三角形は時計回りの動作として周知の動作の中で試験される。最終的な点の
定量化は必要である。次に、定量化Ｌ2に戻る。このループは望ましい回数だけ行われ、
連続した反復の数は独自のものにすることができる符号化のパラメータを構成する。
【０１０９】
図５ｅから図５ｇは、検討する画像がエラー画像の場合、ビデオシーケンスを符号化す
る第５のステップを例証する。これにより、図５ｅは、フォアマンシーケンス（Foreman
sequence）として周知のビデオシーケンスから引き出されたエラー画像を示す。図５ｆは
、規則的にメッシュが付けられたフォアマンシーケンスから引き出されたエラー画像を示
す。最後に、図５ｇは、本発明のゾーン検索アルゴリズムを何回か繰り返した後の、メッ
シュが付けられたフォアマンシーケンスから引き出されたエラー画像を示す。
【０１１０】
ビデオシーケンスを符号化するこの第５のステップも、第２の別の実施形態に基づいて
実行することができる。この場合、「粗い」メッシュが検討する画像に適用され、次にこ
の粗いメッシュは連続的な細分化によって洗練される。この種の粗いメッシュを発生する
には、等距離の点が画像の輪郭、テクスチャー、及び特異点上に配置され、これにより、
今度はカバーするゾーンを慎重な（すなわち、適応性のある）方法で網状にすることがで
きる。標準的な１から４の細分化がこの時実行されて、洗練することによって最終的なあ
る程度規則正しいメッシュ付けが得られる。
【０１１１】
例えば、P. Gioiaが「Reducing the number of wavelet coefficients by geometric p
artitioning」、Computational Geometry, Theory and Applications、第１４巻、１９９
９年、ページ２５〜４８、の中で説明した技術に基づいて処理を行うことは可能である。
【０１１２】
シーケンスを符号化する第６のステップは、図６に示すようなエッジの管理に関係する
。これを行うために、この方法は（周期化法（periodization method）として周知の方法
によれば）トーラス６２が付いた平面メッシュ６１（行が千鳥状になったメッシュ）の同
相写像、あるいはまた従来のデータの対称化を使用する。この目的のために、画像は不確
実な境界（すなわち、メッシュの１つの方向に向けられていない境界）上に配置された対
角線を反転して拡大される。時代区分及び対称化方式は、画像に関して重要であることが
分かる。その理由は、その方式は、ウェーブレット係数の統計的分布のスキューイング（
skewing）が送信されないようにするため、バイエキスポーネンシャル法則（bi-exponent
ial law）に向かって収束することを可能にするためである。
【０１１３】
第７のステップでは、第２世代のウェーブレットが画像のメッシュに適用される。例え
ば、この目的のために、M. Lounsbery、T. DeRose、及びJ. Warrenによって提案された方
法、「Multiresolution Analysis for Surfaces of Arbitrary Topological Type」、ACM
Transactions on Graphics、１９９４年、が、検討されるゾーンの性質の関数として本
発明に基づいて選択された種類のウェーブレット（例えば、ループ又はバタフライ形のウ
ェーブレット）と一緒に適用される。
【０１１４】
ウェーブレットは、ゾーンの更新点（これは１つの特定の実施例では中心点である）に
おけるメッシュに関連したスカラー値を考慮して、また隣接点においてはこの同じスカラ
ー値の関数としてメッシュに適用される。このスカラー値は、例えば、検討するメッシュ
の点の輝度又はこの同じ点のクロミナンスの構成要素とすることができる。この後に、図
７ａから図７ｄで重み付けられたウェーブレットの分解が例示される。
【０１１５】
図７ａはバタフライ形ウェーブレットを示す。この図で、参照番号７０の中心点はメッ
シュの適用点を示し、他の点はメッシュの隣接点における補間係数を示す。前述したよう
に、このウェーブレットはテクスチャーの管理に特に適切である。
【０１１６】
言い換えると、メッシュの特性パラメータ（例えば、幾つかの点における画像の輝度）
は、例えば、M. Lounsbery、T. DeRose及びJ. Warrenが上記の文献の中で説明したように
、第２世代のウェーブレットによる分析のステップに基づいて、別のノードを参照番号７
０に加えることが必要か及び／又は好ましいかを決定するために研究される。
【０１１７】
図７ｂから図７ｄは、それぞれ、ループ、アフィン及びキャットマル・クラーク形ウェ
ーブレットを示す。これらの図面では、参照番号７０の点は、更新点とも呼ばれるもので
、メッシュを適用する点を示す。他の点はまた、メッシュに隣接する点上の補間係数を示
す。
【０１１８】
前述した方法で進めることによって、ウェーブレット係数が検討する画像のゾーンの特
定のメッシュに対してこのように得られる。この動作は全体の画像に対して実行され、ま
たビデオシーケンスの場合は、全てのＰ／Ｂ画像に対して実行される。処理されるデータ
の種類（例えば、テクスチャー、輪郭、形状など）に最適なウェーブレットが、メッシュ
の各部分に対して適用される。
【０１１９】
上述したように、関連するゾーンの性質を決定するために、ある点の周りのメッシュ及
びこの点の周りの領域のメッシュの密度を使って処理することが可能である。このため、
画像の点Ａにおいて、メッシュの密度は高い（その２つの連続する隣接部に対して）が、
この領域の周りではメッシュが空である場合、これは分離された特異点であると言われる
。この場合、アフィンウェーブレットが適用される。この領域の周りでメッシュの密度が
まだ高い場合、それはテクスチャーであると言われ、バタフライ形ウェーブレットが適用
されることが好ましい。輪郭を特徴付けるために、メッシュの密度が方向に沿って検出さ
れる（メッシュの密度が特定の方向に沿って高い場合）。
【０１２０】
ビデオシーケンスの符号化の関連において、シーケンスの連続画像の相互依存性も考慮
に入れる。このため、１つの画像から他の画像に移る場合、メッシュの一部（又はメッシ
ュの全体でさえも）は同じとすることができる。このため、シーケンスの先行する画像に
対して変更されているメッシュのこれらのノードのみを、復号化端末又は復元端末に送信
することは適当である。エンコーダは、他のノードは変わっていないと考える。同様に、
特定のメッシュに適用されたウェーブレットは、大抵の場合、ある画像から他の画像に変
化しないで留まる。ウェーブレットが同じ状態に留まる場合、このレベルでは情報は送信
されない。
【０１２１】
第８のステップでは、前に取得されたウェーブレット係数が符号化される。これを行う
ために、ゼロツリー形の技術（例えば、J.M. Shapiroが「Embedded Image Coding Using
Zerotree of Wavelet Coefficients」、IEEE Transactions on Signal Processing、第４
１巻、Ｎｏ．１２、１９９３年１２月、ページ３４４５〜３４６１、の中で説明したよう
な）又はＥＢＣＯＴ形の技術（例えば、D. Taubmanが「High Performance Scalable Imag
e Compression with EBCOT」、IEEE Transactions on Image Processing、第９巻、Ｎｏ
．７、２０００年７月、の中で提示したような）を実行して、ウェーブレット係数を分類
及び定量化する。
【０１２２】
ビデオシーケンスを符号化する第９のステップは、これらのウェーブレット係数の整形
に関する。この整形動作は、ＭＰＥＧ−４規格が関係する文献ISO/IEC JTC 1/SC 29/WG 1
1、N4973、AFX Verification Model 8、Klagenfurt、オーストリア、２００２年７月、の
中で提案された方法に基づいて行われる。関心のあるゾーンすなわち高いエラーゾーンに
応じて、受信及び復号化の間にパケットが他に関連して強調される。
【０１２３】
他の方法は、パケットの中に含まれるエラーの量に応じて、優先順位の「順序」によっ
てウェーブレット係数を送信することにある。それ故に、データは次の形式で送信される
、すなわち、パケット数／情報のヘッダ（係数の数、画像のゾーン、ビットマップの数な
ど）／ウェーブレットの種類／ウェーブレット係数／メッシュ情報である。データはこの
ようにチャネルに送信され、次に復号化又は記憶するために受信される。
【０１２４】
本発明によれば、信号の構造は定義されることが好ましい。この信号の構造は連続する
パケットの形式で編成され、これらのパケット自身のそれぞれは次のフィールドから構成
する、すなわち、パケットの開始／パケット番号／情報ヘッダ／ウェーブレットの種類／
ウェーブレット係数／メッシュの形状／パケットの終了、から構成する。
【０１２５】
パケット番号フィールドは、パケットの寸法の順序の中に割り当てられたパケットの識
別子を含む。
【０１２６】
情報ヘッダフィールドは、次のサブフィールドを含む、すなわち、
ウェーブレット係数の数（処理される画像のゾーンの中の全数）、
検討される画像のゾーン（「メッシュの形状」フィールドによって特に提供された情報
の関数として）、
ビットマップの数（ウェーブレット係数を符号化するために使用される）。
【０１２７】
「ウェーブレットの種類」フィールドは、検討するゾーンに適用されるウェーブレット
が、例えばループ形、バタフライ形、キャットマル・クラーク形のウェーブレットである
か、あるいはまたアフィン形ウェーブレット、又は検討するゾーンの性質に基づいて選択
される何らかの他の種類であるかどうかを示す。
【０１２８】
「メッシュの形状」フィールドに関しては、そのフィールドは、（頂点及びリッジの形
状の中の）基本的なメッシュを送信することができる。
【０１２９】
例えば、本発明に基づいて別個の性質の２つのゾーンに分割され、第１のゾーンがバタ
フライ形ウェーブレットによって符号化され、第２のゾーンがループ形ウェーブレットに
よって符号化される画像の符号化を検討する場合、送信され符号化されたシーケンスを伝
達する本発明の信号は、次の形式を含むことが好ましい、すなわち、
画像の開始
パッケージの開始／No 145 / 250 coeff / vertex5, ridge2,4,5; vertex45, ridge 56
,54,87... / 256 / バタフライ/ (10,25,14), (25,54,84),(...),(25,36,10)／パッケー
ジの終了
パッケージの開始／No 260 / 130 coeff/ vertex14, ridge8,41,5; vertex7, ridge 21
,47,21... / 256 / ループ/ (1,5,8), (2,4,42),(...),(52,20,10)／パッケージの終了
画像の終了。
【０１３０】
本発明は、各ウェーブレットの種類に関連して、エンコーダとデコーダとの間の定義済
みのコードも提供して、ウェーブレットの種類フィールドの内容を簡潔にする。これによ
り、識別子１をループ形ウェーブレットに、識別子２をバタフライ形ウェーブレットに、
識別子３をキャットマル・クラーク形ウェーブレットに、また識別子４をアフィン形ウェ
ーブレットに割り当てるように考えることができる。ウェーブレットの種類フィールドは
、この場合、２ビットで符号化することができる。
【０１３１】
復号化方法は、符号化方法を二重にした方法である。上記のパッケージを搬送する信号
を受信すると、復号化装置は画像に対して定義されたゾーンのそれぞれに適用されたウェ
ーブレットの種類に関する情報をその信号から抜き出し、復号化の間に使用されたウェー
ブレットの種類の関数としてこれらのゾーンのそれぞれに選択的な復号化を適用する。
【０１３２】
このように、最適な視覚品質の画像が得られ、これは安価な符号化費用で実現される。
【特許請求の範囲】
【請求項１】
階層的なメッシュのウェーブレット符号化を実行してこの階層的なメッシュが関連付け
された画像を符号化する方法であって、前記画像の別個のゾーンに選択的に適用される少
なくとも２つの種類のウェーブレットを用いることを特徴とする符号化方法。
【請求項２】
少なくとも２つの別個の性質を有するゾーンに前記画像を分割するステップであって、
各ゾーンの性質が前記ゾーン内の前記メッシュの少なくとも１つの特性パラメータの関数
である、ステップと、
前記ゾーンのそれぞれに対して、前記ゾーンにおけるメッシュの符号化を最適にするこ
とができるウェーブレットの種類を、少なくとも前記性質の関数として割り当てるステッ
プと
を含むことを特徴とする、請求項１に記載の符号化方法。
【請求項３】
前記メッシュの前記特性パラメータが、前記ゾーン内の前記メッシュの密度を考慮した
ものであることを特徴とする請求項２に記載の符号化方法。
【請求項４】
前記ゾーンの前記性質が、
少なくとも１種類のテクスチャーと、
少なくとも１種類の輪郭と、
少なくとも１種類の特異点と、
少なくとも１種類の色と、
少なくとも１種類の形状と
を含むグループに属することを特徴とする請求項２または３に記載の符号化方法。
【請求項５】
前記ウェーブレットの種類が、
ループ形ウェーブレットと、
バタフライ形ウェーブレット（Butterfly wavelet）と、
キャットマル・クラーク（Catmull-Clark）形ウェーブレットと、
アフィン形ウェーブレット（affine wavelet）と
を含むグループに属することを特徴とする請求項１から４のいずれかに記載の符号化方
法。
【請求項６】
前記ゾーンのそれぞれに対して、前記ゾーンの更新点において前記メッシュに関連した
スカラー値と、前記更新点に隣接する少なくとも幾つかの点において前記メッシュに関連
した前記スカラー値とを考慮して、前記ゾーンに割り当てられた前記種類のウェーブレッ
ト係数を前記メッシュに適用するステップを含むことを特徴とする請求項１から５のいず
れかに記載の符号化方法。
【請求項７】
前記スカラー値が、
前記メッシュの輝度と、
前記メッシュの少なくとも１つのクロミナンス成分と
を含むグループに属する前記メッシュのパラメータを表すことを特徴とする請求項６に
記載の符号化方法。
【請求項８】
ゼロ・ツリー形の手法と、
ＥＢＣＯＴ形の手法と
を含むグループに属する手法を用いて前記ウェーブレット係数を符号化するステップをさ
らに含むことを特徴とする請求項６または７に記載の符号化方法。
【請求項９】
前記画像が連続した画像のシーケンスに属する場合、前記画像の前記ウェーブレット係
数を前記シーケンス内の前記画像に先行又は後続する少なくとも１つの画像のウェーブレ
ット係数と比較するステップをさらに含み、前記先行又は後続する画像のウェーブレット
係数と同一である前記画像のウェーブレット係数に対する前記符号化するステップの実行
を避けることを特徴とする請求項６から８のいずれかに記載の符号化方法。
【請求項１０】
連続した画像のシーケンスを符号化することができ、
前記画像が前記シーケンスの本来の画像と動きの予測または補償によって作られた画像
とを比較することによって得られたエラー画像であり、
前記画像が符号化される、少なくとも１つのエラー領域であって、少なくとも１つのほ
ぼ空となり得る領域を含むことを特徴とする請求項１から９のいずれかに記載の符号化方
法。
【請求項１１】
前記分割するステップが、しきい値を設定することによって前記画像の前記エラー領域
を検出するステップを含み、これにより前記画像の少なくとも１つの領域が所定のしきい
値よりも大きいエラーを有することを決定できるようにすることを特徴とする請求項１０
に記載の符号化方法。
【請求項１２】
前記分割するステップが、平行六面体状のブロック内で前記検出されたエラーゾーンの
少なくとも幾つかをグループ化するステップも含むことを特徴とする請求項１１に記載の
符号化方法。
【請求項１３】
前記分割するステップが、同じ性質のブロックの集合の形式で、前記画像の前記ゾーン
を作るステップを含むことを特徴とする請求項１２に記載の符号化方法。
【請求項１４】
前記分割するステップが前記検出されたエラー領域から前記画像の前記ゾーンを作るス
テップを含み、これにより、クワッドツリー形の手法を用いることを特徴とする請求項１
１に記載の符号化方法。
【請求項１５】
ウェーブレットで符号化された階層的なメッシュが関連付けされた画像を復号化する方
法であって、
ゾーンのそれぞれのメッシュの符号化に割り当てられたウェーブレットの種類に関する
情報の関数として、前記画像の前記別個のゾーンに対して選択的な復号化を実行すること
を特徴とする復号化する方法。
【請求項１６】
ウェーブレットで符号化された階層的なメッシュが関連付けされた画像を復号化し、前
記メッシュをウェーブレットで符号化するための手段を実行する装置であって、
前記画像の別個のゾーンに対して少なくとも２つの種類のウェーブレットを選択的に適
用する手段を含むことを特徴とする装置。
【請求項１７】
ウェーブレットで符号化された階層的なメッシュが関連付けされた画像を復号化する装
置が、ゾーンそれぞれのメッシュの符号化に割り当てられたウェーブレットの種類に関す
る情報の関数として、前記画像の前記別個のゾーンに対して選択的な復号化を行う手段を
含むことを特徴とする装置。
【請求項１８】
ウェーブレットで符号化された階層的なメッシュが関連付けされた画像を示す信号であ
って、
少なくとも２種類のウェーブレットが符号化の間に前記画像の別個のゾーンに選択的に
適用される場合、前記ゾーンのそれぞれのメッシュの符号化に割り当てられる前記種類の
ウェーブレットに関する情報を前記信号が伝達することを特徴とする信号。
【請求項１９】
それぞれが前記画像の前記ゾーンの１つに関連付けられるパケットの形式で構成され、
前記パケットのそれぞれは、下記のフィールド、すなわち、
パケットの開始を示すフィールドと、
前記パケットの識別子を伝達するフィールドと、
情報ヘッダフィールドと、
前記ゾーンに割り当てられた前記ウェーブレットの種類に関する前記情報の一部を含む
フィールドと、
前記ゾーンの前記メッシュに適用されるウェーブレット係数を含むフィールドと、
前記画像の前記メッシュの形式に関するフィールドと、
パケットの終了を示すフィールドと
を含むことを特徴とする請求項１８に記載の信号。
【請求項２０】
前記情報ヘッダフィールドが、
前記ゾーンのウェーブレット係数の数に関するサブフィールドと、
前記メッシュの前記形式の関数として、前記画像の前記ゾーンを示すサブフィールドと
、
前記ウェーブレット係数に対して用いられるビットマップの数に関するサブフィールド
と
を含むことを特徴とする請求項１９に記載の信号。
【請求項２１】
ビデオのストリーミングと、
ビデオ記憶と、
ビデオ会議と、
ビデオオンデマンドと、
ビデオメールと
を含むグループに属する少なくともいずれかの分野に対して用いる、請求項１〜１４の
いずれかに記載の符号化方法または請求項１５に記載の復号化方法の用途。
【請求項１】
階層的なメッシュのウェーブレット符号化を実行してこの階層的なメッシュが関連付け
された画像を符号化する方法であって、前記画像の別個のゾーンに選択的に適用される少
なくとも２つの種類のウェーブレットを用いることを特徴とする符号化方法。
【請求項２】
少なくとも２つの別個の性質を有するゾーンに前記画像を分割するステップであって、
各ゾーンの性質が前記ゾーン内の前記メッシュの少なくとも１つの特性パラメータの関数
である、ステップと、
前記ゾーンのそれぞれに対して、前記ゾーンにおけるメッシュの符号化を最適にするこ
とができるウェーブレットの種類を、少なくとも前記性質の関数として割り当てるステッ
プと
を含むことを特徴とする、請求項１に記載の符号化方法。
【請求項３】
前記メッシュの前記特性パラメータが、前記ゾーン内の前記メッシュの密度を考慮した
ものであることを特徴とする請求項２に記載の符号化方法。
【請求項４】
前記ゾーンの前記性質が、
少なくとも１種類のテクスチャーと、
少なくとも１種類の輪郭と、
少なくとも１種類の特異点と、
少なくとも１種類の色と、
少なくとも１種類の形状と
を含むグループに属することを特徴とする請求項２または３に記載の符号化方法。
【請求項５】
前記ウェーブレットの種類が、
ループ形ウェーブレットと、
バタフライ形ウェーブレット（Butterfly wavelet）と、
キャットマル・クラーク（Catmull-Clark）形ウェーブレットと、
アフィン形ウェーブレット（affine wavelet）と
を含むグループに属することを特徴とする請求項１から４のいずれかに記載の符号化方
法。
【請求項６】
前記ゾーンのそれぞれに対して、前記ゾーンの更新点において前記メッシュに関連した
スカラー値と、前記更新点に隣接する少なくとも幾つかの点において前記メッシュに関連
した前記スカラー値とを考慮して、前記ゾーンに割り当てられた前記種類のウェーブレッ
ト係数を前記メッシュに適用するステップを含むことを特徴とする請求項１から５のいず
れかに記載の符号化方法。
【請求項７】
前記スカラー値が、
前記メッシュの輝度と、
前記メッシュの少なくとも１つのクロミナンス成分と
を含むグループに属する前記メッシュのパラメータを表すことを特徴とする請求項６に
記載の符号化方法。
【請求項８】
ゼロ・ツリー形の手法と、
ＥＢＣＯＴ形の手法と
を含むグループに属する手法を用いて前記ウェーブレット係数を符号化するステップをさ
らに含むことを特徴とする請求項６または７に記載の符号化方法。
【請求項９】
前記画像が連続した画像のシーケンスに属する場合、前記画像の前記ウェーブレット係
数を前記シーケンス内の前記画像に先行又は後続する少なくとも１つの画像のウェーブレ
ット係数と比較するステップをさらに含み、前記先行又は後続する画像のウェーブレット
係数と同一である前記画像のウェーブレット係数に対する前記符号化するステップの実行
を避けることを特徴とする請求項６から８のいずれかに記載の符号化方法。
【請求項１０】
連続した画像のシーケンスを符号化することができ、
前記画像が前記シーケンスの本来の画像と動きの予測または補償によって作られた画像
とを比較することによって得られたエラー画像であり、
前記画像が符号化される、少なくとも１つのエラー領域であって、少なくとも１つのほ
ぼ空となり得る領域を含むことを特徴とする請求項１から９のいずれかに記載の符号化方
法。
【請求項１１】
前記分割するステップが、しきい値を設定することによって前記画像の前記エラー領域
を検出するステップを含み、これにより前記画像の少なくとも１つの領域が所定のしきい
値よりも大きいエラーを有することを決定できるようにすることを特徴とする請求項１０
に記載の符号化方法。
【請求項１２】
前記分割するステップが、平行六面体状のブロック内で前記検出されたエラーゾーンの
少なくとも幾つかをグループ化するステップも含むことを特徴とする請求項１１に記載の
符号化方法。
【請求項１３】
前記分割するステップが、同じ性質のブロックの集合の形式で、前記画像の前記ゾーン
を作るステップを含むことを特徴とする請求項１２に記載の符号化方法。
【請求項１４】
前記分割するステップが前記検出されたエラー領域から前記画像の前記ゾーンを作るス
テップを含み、これにより、クワッドツリー形の手法を用いることを特徴とする請求項１
１に記載の符号化方法。
【請求項１５】
ウェーブレットで符号化された階層的なメッシュが関連付けされた画像を復号化する方
法であって、
ゾーンのそれぞれのメッシュの符号化に割り当てられたウェーブレットの種類に関する
情報の関数として、前記画像の前記別個のゾーンに対して選択的な復号化を実行すること
を特徴とする復号化する方法。
【請求項１６】
ウェーブレットで符号化された階層的なメッシュが関連付けされた画像を復号化し、前
記メッシュをウェーブレットで符号化するための手段を実行する装置であって、
前記画像の別個のゾーンに対して少なくとも２つの種類のウェーブレットを選択的に適
用する手段を含むことを特徴とする装置。
【請求項１７】
ウェーブレットで符号化された階層的なメッシュが関連付けされた画像を復号化する装
置が、ゾーンそれぞれのメッシュの符号化に割り当てられたウェーブレットの種類に関す
る情報の関数として、前記画像の前記別個のゾーンに対して選択的な復号化を行う手段を
含むことを特徴とする装置。
【請求項１８】
ウェーブレットで符号化された階層的なメッシュが関連付けされた画像を示す信号であ
って、
少なくとも２種類のウェーブレットが符号化の間に前記画像の別個のゾーンに選択的に
適用される場合、前記ゾーンのそれぞれのメッシュの符号化に割り当てられる前記種類の
ウェーブレットに関する情報を前記信号が伝達することを特徴とする信号。
【請求項１９】
それぞれが前記画像の前記ゾーンの１つに関連付けられるパケットの形式で構成され、
前記パケットのそれぞれは、下記のフィールド、すなわち、
パケットの開始を示すフィールドと、
前記パケットの識別子を伝達するフィールドと、
情報ヘッダフィールドと、
前記ゾーンに割り当てられた前記ウェーブレットの種類に関する前記情報の一部を含む
フィールドと、
前記ゾーンの前記メッシュに適用されるウェーブレット係数を含むフィールドと、
前記画像の前記メッシュの形式に関するフィールドと、
パケットの終了を示すフィールドと
を含むことを特徴とする請求項１８に記載の信号。
【請求項２０】
前記情報ヘッダフィールドが、
前記ゾーンのウェーブレット係数の数に関するサブフィールドと、
前記メッシュの前記形式の関数として、前記画像の前記ゾーンを示すサブフィールドと
、
前記ウェーブレット係数に対して用いられるビットマップの数に関するサブフィールド
と
を含むことを特徴とする請求項１９に記載の信号。
【請求項２１】
ビデオのストリーミングと、
ビデオ記憶と、
ビデオ会議と、
ビデオオンデマンドと、
ビデオメールと
を含むグループに属する少なくともいずれかの分野に対して用いる、請求項１〜１４の
いずれかに記載の符号化方法または請求項１５に記載の復号化方法の用途。
【図１】
【図２】
【図３】
【図７】
【図４】
【図５ａ】
【図５ｂ】
【図５ｃ】
【図５ｄ】
【図５ｅ】
【図５ｆ】
【図５ｇ】
【図６】
【図２】
【図３】
【図７】
【図４】
【図５ａ】
【図５ｂ】
【図５ｃ】
【図５ｄ】
【図５ｅ】
【図５ｆ】
【図５ｇ】
【図６】
【公開番号】特開２０１０−２０６８２２（Ｐ２０１０−２０６８２２Ａ）
【公開日】平成２２年９月１６日（２０１０．９．１６）
【国際特許分類】
【出願番号】特願２０１０−９８６１０（Ｐ２０１０−９８６１０）
【出願日】平成２２年４月２２日（２０１０．４．２２）
【分割の表示】特願２００４−５６３２８９（Ｐ２００４−５６３２８９）の分割
【原出願日】平成１５年１２月１９日（２００３．１２．１９）
【出願人】（５９１０３４１５４）フランス・テレコム (290)
【Ｆターム（参考）】
【公開日】平成２２年９月１６日（２０１０．９．１６）
【国際特許分類】
【出願日】平成２２年４月２２日（２０１０．４．２２）
【分割の表示】特願２００４−５６３２８９（Ｐ２００４−５６３２８９）の分割
【原出願日】平成１５年１２月１９日（２００３．１２．１９）
【出願人】（５９１０３４１５４）フランス・テレコム (290)
【Ｆターム（参考）】
[ Back to top ]