画像シーケンスを符号化する方法または復号する方法および装置
【課題】エラーに対し許容力のある画像シーケンスの符号化を実現し、殊にその際、画像シーケンスの画像品質に関して妨害を受けたチャネルをできるかぎり効率よく利用できるようにする。
【解決手段】画像シーケンスに対し基本情報と付加情報を求めるために、基本情報を情報源符号化方式に基づき求め、この情報源符号化により画像シーケンスと符号化済み画像シーケンスとの間で残留誤差情報が生成されるステップと、この残留誤差情報を段階的に表すため、残留誤差情報を複数の周波数領域に分割し段階的にスケーリングすることにより付加情報を生成するステップと、これら基本情報と付加情報とに基づき画像シーケンスを符号化し、付加情報によって符号化品質の漸進的改善を行う。
【解決手段】画像シーケンスに対し基本情報と付加情報を求めるために、基本情報を情報源符号化方式に基づき求め、この情報源符号化により画像シーケンスと符号化済み画像シーケンスとの間で残留誤差情報が生成されるステップと、この残留誤差情報を段階的に表すため、残留誤差情報を複数の周波数領域に分割し段階的にスケーリングすることにより付加情報を生成するステップと、これら基本情報と付加情報とに基づき画像シーケンスを符号化し、付加情報によって符号化品質の漸進的改善を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像シーケンスを符号化または復号する方法および装置に関する。
【背景技術】
【０００２】
文献［１］から、画像圧縮方法ならびにそれに対応した装置が知られている。公知の方法はＭＰＥＧ規格において符号化方式として用いられ、基本的には動き補償を伴うハイブリッドＤＣＴ（Discrete Cosine Transformation）である。同様の方法はｎ×６４ｋｂｉｔ／ｓの画像電話（ＣＣＩＴＴ勧告Ｈ．２６１）、３４Ｍｂｉｔ／ｓもしくは４５Ｍｂｉｔ／ｓのＴＶコントリビューション（ＣＣＲ勧告７２３）、さらには１．２Ｍｂｉｔ／ｓのマルチメディアアプリケーション（ＩＳＯ−ＭＰＥＧ−１）のために利用される。ハイブリッドＤＣＴは、相前後する画像の類似関係を利用した時間的処理段と１つの画像内の相関を利用した位置的処理段とから成る。
【０００３】
位置的な処理（イントラフレーム符号化）は、実質的に古典的なＤＣＴ符号化に対応する。画像が８×８後の画素から成る複数のブロックに分解され、それらがＤＣＴによりそれぞれ周波数領域に変換される。その結果、８×８個の係数から成るマトリックスが生じ、これは変換された画像ブロックにおける２次元の空間周波数を反映している。周波数０（直流成分）をもつ係数は画像ブロックの平均グレー値を表す。
【０００４】
変換後、データ伸長が行われる。とはいえ自然の原画像では直流成分（ＤＣ値）を中心にエネルギーの集中が起こる一方、最高周波数の係数はたいていほぼゼロである。
【０００５】
次のステップにおいて係数のスペクトル重み付けが行われ、その結果、高周波の係数の振幅精度が低減されることになる。ここでは人間の目の性質が利用され、すなわち人間の目の分解能精度は低い空間周波数よりも高い空間周波数の方が劣る。
【０００６】
データ圧縮の第２のステップは適応量子化のかたちで行われ、これにより係数の振幅精度がいっそう低減され、もしくは小さい振幅はゼロにセットされる。この場合、量子化のスケールは出力バッファの占有状態に依存する。バッファが空であれば細かい量子化が行われて多くのデータが生成されるのに対し、バッファがいっぱいであれば粗い量子化が行われてデータ量が減少する。
【０００７】
量子化後、ブロックが対角線上で走査され（ジグザグスキャニング "zigzag"-Scanning）、ついでエントロピー符号化が行われて、これによってさらにデータ低減が行われる。このために２つの効果が利用される：
１）振幅値の統計。高い振幅値は低い振幅値よりもまれにしか発生せず、したがってめったにない事象には長い符号語が割り当てられ頻度の高い事象には短い符号語が割り当てられる（可変長符号化 Variable-Length-Coding VLC）。このようすれば平均的には、固定語長による符号化よりもデータレートが低くなる。ついでＶＬＣの可変のレートがバッファメモリ内で平滑化される。
【０００８】
２）特定の値の後にはたいていのケースでは０だけしか続かない点を利用する。これらのゼロすべての代わりにＥＯＢ（End Of Block）符号だけが伝送され、このことで画像データ圧縮の際に大きな符号化利得が得られるようになる。この場合、たとえば５１２ｂｉｔという出力レートの代わりにこのブロックのために４６ｂｉｔだけを伝送すればよく、このことは１１を超える圧縮係数に対応する。
【０００９】
時間的処理（インターフレーム符号化）によりさらに圧縮利得が得られる。差分画像の符号化のためには原画よりも僅かなデータレートしか必要とされず、その理由は振幅値がはるかに低いからである。
【００１０】
たしかに画像内の運動が僅かであるときには時間的な差もごく僅かである。これに対して画像内の運動が大きければ差も大きくなり、符号化も難しくなる。この理由で画像間運動が測定され（動き予測）、差分形成前に補償される（動き補償）。この場合、動き情報が画像情報とともに伝送され、その際、通常はマクロブロック（たとえば４つの８×８画像ブロック）ごとに１つの運動ベクトルだけが用いられる。
【００１１】
予測を利用する代わりに動き補償された双方向予測を用いると、さらに小さい差分画像振幅値が得られる。
【００１２】
動き補償されるハイブリッド符号化器の場合には画像信号自体が変換されるのではなく、時間的な差分信号が変換される。この理由で符号化器は時間的な反復ループも有しており、それというのも予測器は予測値をすでに伝送された（符号化された）画像の値から計算しなければならないからである。同一の時間的な反復ループが復号器内に存在しており、それによって符号化器と復号器は完全に同期合わせされた状態にある。
【００１３】
ＭＰＥＧ−２符号化方式には主として３つの異なる画像処理手法がある：
Ｉピクチャ：Ｉピクチャの場合には時間的予測が用いられず、すなわち画像値がそのまま変換されて符号化される。Ｉピクチャを用いる目的は、時間的に過ぎ去ったことに関する情報を用いずに復号プロセスを新たに開始できるようにするため、もしくは伝送エラー発生時に再同期合わせを実現するためである。
【００１４】
Ｐピクチャ：Ｐピクチャに基づき時間的予測が行われ、時間的予測誤差に対しＤＣＴが適用される。
【００１５】
Ｂピクチャ：Ｂピクチャの場合には時間的な双方向誤差が計算され、ついで変換される。双方向予測は基本的に適応的に動作し、つまり順方向予測、逆方向予測あるいは補間が許される。
【００１６】
１つの画像シーケンスはＭＰＥＧ−２符号化ではいわゆるＧＯＰ（Group Of Pictures）に分けられる。まずはじめＩピクチャのｎ個の画像によってＧＯＰが形成される。各Ｐピクチャ間の間隔はｍで表され、この場合、各Ｐピクチャ間にそれぞれｍ−１個のＢピクチャが存在する。しかしＭＰＥＧシンタックスによれば、ｍとｎをどのように選定するのかはユーザに委ねられている。ｍ＝１はＢピクチャが使用されないことを意味し、ｎ＝１はＩピクチャだけが符号化されることを意味する。
【００１７】
文献［２］から、ブロックベースの画像符号化方式において動き予測をする方法が知られている。この場合に前提とするのは、１つのディジタル画像のもつ画素がたとえば８×８個の画素または１６×１６個の画素から成る画像ブロックにまとめられていることである。必要に応じて１つの画像ブロックが複数の画像ブロックをもっていてもよい。このための一例は６個の画像ブロックをもつマクロブロックであり、これらの画像ブロックのうち４つの画像ブロックは輝度情報のために、２つの画像ブロックは色情報のために設けられている。
【００１８】
画像シーケンスにおいて符号化すべき画像のためにその画像の画像ブロックを考慮しながら以下の方法が行われる：
動き予測を実行しようとする画像ブロックのために時間的に先行する画像（先行の画像ブロック）において、その先行画像中の同じ関連位置に存在していた画像ブロックに基づき誤差量に関する値が求められる。この目的で有利には、画素に割り当てられた画像ブロックと先行の画像ブロックの符号化情報における差の絶対値の和が求められる。ここで符号化情報とは輝度情報（ルミナンス値）および／または色情報（クロミナンス値）のことであり、これらはそれぞれ１つの画素に割り当てられている。
【００１９】
時間的に先行する画像における出発位置を中心とした所定のサイズおよび形状の探索空間において、それぞれ先行の画像ブロックの同じサイズの領域について１画素分または半画素分だけずらして誤差量に関する値が求められる。
【００２０】
ｎｘｎ画素のサイズの探索空間においてｎ2の（誤差）値が生じる。この場合、時間的に先行する画像において、誤差量が最小の誤差値になるずらされた先行の画像ブロックが求められる。この画像ブロックについて、この先行の画像ブロックが動き予測が実行されることになる符号化すべき画像の画像ブロックと最良に一致するものとする。
【００２１】
動き予測の結果は、符号化すべき画像内の画像ブロックと時間的に先行する画像内の選択された画像ブロックとの間のずれを表す動きベクトルである。
【００２２】
画像データの圧縮は、動きベクトルと誤差信号の符号化により達成される。
【００２３】
たとえば１つの画像の各ブロックごとに動き予測が実行される。
【００２４】
オブジェクトベースの画像圧縮方法は、任意の境界をもつ複数のオブジェクトへ画像を分解することに基づく。個々のオブジェクトは様々な「ビデオ・オブジェクト・プラン "Video Object Plans"」で互いに別個に符号化され、伝送され、受信機（復号器）において再び合成される。上述のように慣用の符号化方式の場合、画像全体が矩形の画像ブロックに分割される。この方式はオブジェクトベースの画像ブロックにおいても受け継がれ、その際、符号化すべきオブジェクトが矩形のブロックに分割され、各ブロックごとに別個に動き補償を伴う動き予測が実行される。
【００２５】
妨害を受けた通信チャネルを介して、たとえば移動（無線）チャネルまたは損失の伴う有線チャネルを介して、画像シーケンス（画像データ）を伝送する場合、画像データの一部分が失われてしまう可能性がある。画像データのこのような損失は、程度の差こそあれ広い画像範囲にわたり激しい品質の落ち込みというかたちで現れる。上述のように動き補償を伴った動き予測の画像符号化／画像復号方法を使用する場合、伝送チャネルにより再びエラーのない伝送が保証されても、画像障害は消滅しない。その理由は、動き予測にあたり１回現れたエラーは次のフレーム（イントラピクチャ）の伝送まで存続するからである。したがってひどく妨害を及ぼすエラーの伝播ないしは蔓延が生じてしまう。
【００２６】
Ｈ．２６１，Ｈ．２６３，ＭＰＥＧ−１／２／４という周知の規格によるビデオデータ圧縮方式は、動き補償された予測（誤り訂正を伴う動き予測）および変換ベースの残留誤差符号化（residual error coding）を用いており、その際に有利には変換符号化として離散コサイン変換が使われる。ＭＰＥＧ−２にはスケーラビリティ符号化（階層符号化）に対する提案が含まれている。これによれば１つの画像は所定の画像品質をもつ基本情報と付加情報とに分割され、付加情報は完全な画像品質（十分な画像品質）を形成するために付加的に符号化されて伝送される。付加情報の領域で伝送エラーが発生しても、個々の画像を基本情報により形成された品質で常に確実に再構成できるようになる。
【先行技術文献】
【非特許文献】
【００２７】
【非特許文献１】J. De Lameillieure, R. Schaefer: "MPEG-2-Bildcodierung fuer das digitale Fernsehen", Fernseh- und Kino-Technik, 48. Jahrgang, No. 3/1994, p. 99-107
【非特許文献２】M. Bierling: "Displacement Estimation by Hierachical Blockmatching", SPIE, Vol. 1001, Visual Communications and Image Processing '88, p. 942-951, 1988
【発明の概要】
【発明が解決しようとする課題】
【００２８】
本発明の課題は、エラーに対し許容力のある画像シーケンスの符号化を実現することであり、殊にその際、画像シーケンスの画像品質に関して妨害を受けたチャネルをできるかぎり効率よく利用できるようにすることである。
【課題を解決するための手段】
【００２９】
この課題は独立請求項の特徴部分に記載の構成により解決される。従属請求項には本発明の有利な実施形態が示されている。
【００３０】
この課題を解決するため画像シーケンス符号化方法において、以下のステップに基づき画像シーケンスに対し基本情報と付加情報が求められる。すなわち、
１）情報源符号化方式に基づき基本情報が求められ、その際、情報源符号化にあたり画像シーケンスと符号化済みの画像シーケンスとの間で残留誤差情報（residual error information）が生じる。
２）残留誤差情報を複数の周波数領域に分割して段階的にスケーリングすることで残留誤差情報を段階的に表すための付加情報が生成される。
【００３１】
そしてこれらの基本情報と付加情報とに基づき画像シーケンスが符号化され、その際に付加情報によって符号化品質の漸進的改善が保証される。
【００３２】
この場合に殊に有利であるのは、既存の情報源符号化器つまりたとえば変換と量子化とエントロピー符号化から成るシステムによって、符号化された画像シーケンスの所定の基本品質が保証されることである。しかもこのことから有利には伝送チャネルの残りの帯域幅に依存して付加情報を伝送することができ、それによって画像シーケンスを徐々に（漸進的に）品質改善することができるようになる。たとえばこの場合、付加情報の伝送にあたり、符号化すべき個々の画像の品質改善を考慮して付加情報の重要な部分がまず最初に送られる。さらに有利には、この画像の品質の向上がその画像について均等に行われる。
【００３３】
１つの実施形態によれば、画像シーケンスはビットストリームとして１つのチャネルを介して受信機へ伝送される。たとえばそのチャネルは妨害を受けている可能性があり、その結果、そのチャネルにおいては妨害発生中、本来利用可能な帯域幅を使えなくなってしまう。ここで言及しておくと情報源符号化において基本情報を利用することができ、この基本情報は付加情報に基づき（段階的に）拡張され、チャネルを介してビットストリームのかたちで受信機へ伝送される。チャネルに関して重要であるのは、それが妨害に依存して場合によっては強く変動する帯域幅を有していることである。そのような妨害は予測不可能であるかまたは予測困難であるため、付加情報を使用しなければチャネル帯域幅の急激な落ち込みにより、受信機において画像シーケンスをもはや識別できなくなってしまうか、もしくは品質が著しく劣化して識別されることになってしまう。たとえばエラーの加わっているチャネルに対しても形成された基本情報によって、符号化された画像シーケンスの所定の基本品質が保証されて、その品質が上述の付加情報に基づき（段階的に）改善される。チャネルで妨害が発生すると付加情報の一部分が失われるが、その結果、たいていの事例では基本情報により保証される画像品質に対し段階的な改善が依然として保証されるようになる。この目的で有利には付加情報は、実現可能な画像の改善にとって重要な情報がまず最初にチャネルを介して（ビットストリーム内で）伝送されるよう準備処理される。
【００３４】
考えられる１つの適用形態によれば、安定したつまりほとんど妨害を受けていない伝送チャネルであっても、受信機において画像シーケンスを様々な品質で呼び出すことができる。品質スケーリングは上述のやり方によって行われる。考えられる適用分野は「ビデオ・オン・デマンド」アプリケーションであって、これが基礎とするのは、ユーザが自身により事前に設定した品質で受信を行う意志を示し、ユーザはその品質に対してのみ支払いを行うことである。
【００３５】
残留誤差情報を画像領域内または変換領域内の差分画像に基づき求めることができる。このような変換領域を成す変換の一例は離散コサイン変換（ＤＣＴ変換）である。この変換領域内で、目下の変換画像と画像シーケンスにおいて時間的に先行する逆変換された画像との差を求めることができる。ここで逆変換されたとは、たとえば量子化後に目下の画像の逆量子化が行われることを意味し、それによって目下の画像に対し損失の伴う画像が得られ、これは目下の画像とは残留誤差情報の分だけ相違することになる。逆量子化された画像に対しさらに逆変換をかけるならば、変換されていない画像領域内における残留誤差の伴う画像を受け取る（画像領域内の残留誤差情報）。
【００３６】
さらに別の実施形態によれば、情報源符号化方式は標準化された画像符号化方式である。ここではたとえばＭＰＥＧ規格またはＨ．２６ｘ規格による画像符号化方式とすることができる。
【００３７】
さらに付加的な実施形態によれば複数の周波数領域への分割が、付加情報が画像シーケンスの各画像ごとにそれらの重要性に従い伝送されるように実行される。
【００３８】
本発明のさらに別の実施形態によれば、所定量の値の付加情報に対しそれらの所定量のすべての値について反復的にそれぞれ最上位ビットがビットストリームに送り込まれる。このようにすれば、まずはじめにビットストリームにおいて受信機へ最上位ビットが伝送されるようになる。したがってビットストリームが途切れても、個々の画像のために伝送される情報がその画像について可能なかぎり最高の品質で表示される。上述の反復ループにおいて後続の実行処理が確実になって、最上位ビットの次に続くビットが伝送され、その場合にはこのビットがまだ伝送されていない最も上位のビットとなる。さてここでチャネル内の妨害が発生した場合、伝送すべき所定量の値についてそれぞれ最も重要な（「最高の」）ビットは伝送されてしまっている状態とすることができる。このとき、ｎビットの値の分解能である残りのビットをゼロで埋めることができる。
【００３９】
なお、説明したシナリオの前提となるのは、画像シーケンスが符号化器の側で符号化され既述のチャネルを介して復号器へ伝送されることである。復号器は基本情報および可能なかぎり付加情報を復元するために用いられ、たとえば得られた画像シーケンスを表示する。
【００４０】
この場合、付加情報を用いてどのように処理すべきであるかについて、つまり基本情報に基づき得られた画像品質の改善のためどの程度まで付加情報を処理すべきかについて、受信側で復号器が把握しているようにしなければならない。したがって情報源符号化は、結果として基本情報を供給する機能的な基本層を成している。基本層に対し拡張層が設けられており、これによって付加的なサービスが提供され、つまり付加情報に基づきたとえばブロック符号化された個々の画像ごとに画像品質の改善がもたらされる。さらにこの拡張層の上に、あるいはその一部分として、アプリケーション（層）を設けることができ、これによりたとえば上述のビデオ・オン・デマンド・アプリケーションなどにおいて明示的に制御可能に所定の画像品質が実行される。したがってユーザは復号器の側において、アプリケーション（層）内でそのユーザに適した予備選択を行うことができる。この場合、対応する画像品質は基本層および拡張層により、すなわち基本情報および付加情報に基づき提供される。このようにして選択モードおよびそれと結びつけられたビデオ・オン・デマンド・アプリケーションで使われた帯域幅に対する決算モードを提供することができる。顧客は自身の要求された帯域幅に対し支払いを行う。このシナリオではチャネルはシステムのボトルネックを成さない。
【００４１】
さらに１つの実施形態によれば、付加情報を求める際に基本情報が考慮される。この場合、殊に有利であるのは、基本情報においてすでに損失の生じがちな画像符号化が行われており、それが付加情報の決定に効率的に算入可能な特定の結果を与えることである。
【００４２】
たとえば後処理（"Post-Processing"）の際に付加情報をビットストリームに挿入することができる。この種の後処理の利点は殊に、付加情報のどの部分がどのような品質改善に作用するかを識別できることであり、つまりは品質改善にとって重要な部分をまず最初にビットストリームに挿入できることである。
【００４３】
さらに課題解決のため、既述の方法のいずれか１つにより符号化された画像シーケンスの復号方法が提供される。
【００４４】
また、課題解決のため画像シーケンスの符号化装置が提供され、この装置はプロセッサユニットを有しており、これは以下のように構成されている。すなわち、
ａ）画像シーケンスに対し基本情報と付加情報を求めるために、
１）情報源符号化方式に基づき基本情報を求め、この情報源符号化により画像シーケンスと符号化済みの画像シーケンスとの間で残留誤差情報が生成されるステップと、
２）残留誤差情報を段階的に表すため、この残留誤差情報を複数の周波数領域に分割し段階的にスケーリングすることにより付加情報を生成するステップと、
を実行し、
ｂ）基本情報と付加情報とに基づき画像シーケンスを符号化し、この付加情報によって符号化品質の漸進的改善を行う、
ように構成されている。
【００４５】
さらに課題解決のため画像シーケンスの復号方法が提供され、この装置はプロセッサユニットを有しており、このプロセッサユニットは、画像シーケンスの各画像を基本情報と付加情報とに基づき復元可能であるように構成されている。たとえばこの装置は、基本情報と付加情報を適切に評価する復号器である。さらにこの復号器は所定のサービスを要求することができ、そのサービスとは種々の付加情報のかたちで表され、たとえば所定の解像度におけるビデオ・オン・デマンドであり、これは基本情報と付加情報の組み合わせによってはじめて達成される。
【００４６】
これらの装置は、本発明の個々の方法あるいはそれらの既述の実施形態の実施に殊に適している。
【００４７】
次に、図面を参照しながら本発明の実施例について説明する。
【図面の簡単な説明】
【００４８】
【図１】情報源符号化方法を示す図
【図２】付加情報を求めるための第１の実施形態を示す図
【図３】付加情報を求めるための第２の実施形態を示す図
【図４】基本情報と付加情報を１つにビットストリームにまとめチャネルを介して伝送する様子を示す図
【図５】周波数または係数をグループ分けする様子を示す図
【図６】ビットプレーンを示す図
【図７】画像符号化器を示す図
【図８】プロセッサユニットを示す図
【発明を実施するための形態】
【００４９】
図１には、情報源符号化方法について示す図が描かれている。第１の有利にはブロックベースの画像Ｂ１ １０１に対し変換１０２が行われる。この種の変換の一例は離散コサイン変換（ＤＣＴ変換）である。その結果、ブロック１０３において変換係数が得られる。量子化部１０４において画像Ｂ１ １０１は損失を伴ってマッピングされる。エントロピー符号化部１０５により基本情報１１２が供給される。量子化された損失の伴った画像Ｂ１ １０１は逆量子化され（ブロック（１０６参照）、その結果、対応する変換係数１０７および逆変換１０８によって第２の画像Ｂ２ １０９が供給され、これは第１の画像Ｂ１ １０１に対し残留誤差情報を有しており、すなわち画像品質が低減されている。両方の画像Ｂ１とＢ２の間の残留誤差は量子化誤差（ブロック１０４参照）に起因するものであり、これは意図的に甘受しているものであって、それというのも基本情報内でデータ圧縮を達成し、質的に劣る伝送チャネルに関しても伝送が保証されるよう基本情報を定めることができるようにするためである。たとえば帯域幅のごく僅かなベースチャネルがあるので、高いデータ圧縮率は画像シーケンス伝送のための前提条件である。
【００５０】
さらに図１には、第１の残留誤差情報ｒｅｓｔ＿１ １１０と第２の残留誤差情報ｒｅｓｔ＿２ １１１が描かれている。これら２つの残留誤差情報は図２および図３に示されているようにして後続処理され、それぞれ付加情報２０６もしくは３０６が生成される。原理的には完全な符号化および残留誤差情報の伝送により、基本情報と生成すべき付加情報とに基づいて画像Ｂ１の完全な再構成が可能となる。
【００５１】
図２には、付加情報を求めるための第１の実施形態が示されている。図１で説明した第１の残留誤差情報ｒｅｓｔ＿１ １１０は、第１の画像Ｂ１と第２の画像Ｂ２（図１の１０１と１０９を参照）との間の差に基づき得られる。したがってその結果として差分画像Ｂ＿ｄｉｆｆ ２０１が得られる。この差分画像Ｂ＿ｄｉｆｆ ２０１はサブバンド分解部２０２へ導かれる。サブバンド分解２０２をたとえばウェーブレット変換もしくはウェーブレットパケット変換によって構成することができる。その結果、差分画像２０１について別個に、ローパス成分およびハイパス成分もしくはローパス成分とハイパス成分のミックスされたものがそれぞれ得られる。フィルタリングされたこれらの情報はエントロピー符号化部へ導かれ、これは有利には品質スケーラブルなかたちで実行される（ブロック２０４参照）。ブロック２０５においてデータに対し後処理が施され、その目的は基本情報１１２だけから成る符号化された画像Ｂ１の品質をできるかぎり向上させることにある。このことはたとえば、最初に最大の改善が生じるよう付加情報を求め、この改善自体が符号化された画像のできるかぎりすべてのブロックに均等にあてはまるようにすることによって行われる。この目的を達成するための後処理の特別な可能性については後述する。
【００５２】
図３には、付加情報を求めるための別の実施形態が描かれている。図１に示されているように残留誤差情報ｒｅｓｔ＿２ １１１は、第１の画像Ｂ１と第２の画像Ｂ２の差からそれぞれ変換空間（図１のブロック１０３および１０７を参照）内で求められる。その結果、ブロックベースで表された差分画像３０１が変換空間内で得られ、その際、各ブロックごとに決められた周波数成分がまえもって与えられている。ＤＣＴ変換の結果として１つの直流成分と多数の交流成分が生じる。ステップ３０２において、それぞれすべての直流成分もしくは個々の周波数のすべての交流成分がまとめられるよう、これらの周波数帯域が分類しなおされる。このことはブロック３０３でシンボリックに表されており、これはブロック３０１と同じ情報をもっているけれども、すべてのブロックに関する個々の周波数領域もしくは直流成分に対する係数がまとめられている。このような分類のメカニズムについては図５のところでも説明する。周波数帯域の再分類後、縁とエントロピー符号化３０４が行われ、これは品質スケーラブルなかたちで実行される。そのあとで後処理３０５が実行され、それによって付加情報３０６が得られ、これは品質向上に関して重要な成分がまず最初にビットストリームを介して伝送されるように構成されている。
【００５３】
図４には、既述の基本情報１１２と付加情報（２０６または３０６参照）を１つのビットストリーム４０１に統合する様子が描かれている。この統合は符号化器４０４の側で行われる。ビットストリーム４０１はチャネル４０２を介して受信機もしくは復号器４０３へ伝送される。このチャネルは所定の帯域幅を有しており、その帯域は場合によっては何らかの妨害の影響を受けて、帯域幅自体が変動する可能性がある。そこでチャネルの帯域幅をできるかぎり効率的に利用して、受信機において画像シーケンスをできるかぎり最良の品質で描くことができるようにする目的が生じる。基本情報１１２によりビットストリーム４０１の一部分として所定の基本品質が保証され、これは基本的にチャネルを介して広範囲にわたり障害のない状態で受信機に到来し復号可能である。それによって生じる画像シーケンスの品質は改善の余地がある。この品質改善は付加情報によって達成される。付加情報はビットストリーム４０１に添えられ、やはりチャネル４０２を介して受信機または復号器４０３へ伝送される。ビットストリームはビット列をなしており、この場合、基本的に各画像ごとに１つの特定の時間窓が使われる。ここでチャネルの帯域幅がこの時間窓内で変動すると、データがすべては受信機には到来しなくなる可能性があり、したがってどの付加情報をどの順序でビットストリームに組み込むのかを綿密に選定する必要がある。
【００５４】
この理由で上述のように、基本情報の大きな改善に寄与する部分ができるだけ早めにビットストリームに組み込まれるよう、付加情報が構成されている。さらに格別有利であるのは、画像の品質改善を受けもつ付加情報が画像全体において均等に品質改善作用を及ぼすようにすることである。このことは、重要な情報すなわち大きい改善を可能にする残留誤差情報の部分を符号化された画像のすべてのブロックに関して均等にビットストリームに組み込むことにより保証され、このようにすることで受信機の側で、どれだけ多くの付加情報を既述の時間窓内で伝送できたかに応じて、画像のすべてのブロックに対して均等な改善が行われるようになる。この目的でたとえば上述の周波数帯域の再分類が用いられる。この場合、周波数帯域再分類の目的は、まずはじめに画像のすべてのブロックに対し大きな改善を施し、ついで徐々に品質をいっそう改善していくことである。その間に付加情報のビットストリームが途切れると、そのときまでに画像のほぼ最適な改善が達成され、それによって提供された帯域幅が効率的に利用されたことになる。
【００５５】
図５には、周波数（係数）の上述のグループ分けもしくは再分類について描かれている。
【００５６】
部分５０１には、変換された画像（図３の３０３）の一部分が描かれている。この画像には、有利には８×８または１６×１６個のピクセルをもつ複数の画像ブロックが含まれており、マクロブロックも含まれている。４×４個のピクセルサイズここでは変換領域の係数をもつこの種のマイクロブロックが、ブロック５０２として表されている。ブロック５０２は複数の係数を有しており、これらの係数の一部分が係数Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１として表されている。マクロブロック５０２と同様に画像５０１内にはそれ以降のマイクロブロックが形成されている。一例として各マクロブロックごとに最初の係数Ａ２〜Ａ９が示されている。有利には第１の係数は直流成分であり、これは画像の改善に重要な役割を果たす。再分類後、ブロック５０３内に描かれているような構造が生じる。変換された画像３０１もしくは５０１は、種々の係数の個数と同じ個数のサブブロックが生じるよう分類しなおされる。たとえばブロック５０３には、変換された画像３０１もしくは５０１のすべてのマクロブロックにおけるすべての直流成分を有するサブブロック５０４が含まれている。ブロック５０４における直流成分は係数Ａ１〜Ａ９として表されている。これと同様に、それぞれ同じ種類のすべての交流成分Ｂ〜Ｅがまとめられている。
【００５７】
このようにしてきわめて有利なかたちで付加情報内において、すべてのマクロブロックについて均等な改善を達成できるようになる。
【００５８】
さて、付加情報の一部分として少なくとも、画像のすべてのマクロブロックに対し図５のブロック５０４として描かれている直流成分を受信機へ伝送しなければならない。この場合にもやはり、伝送された付加情報に基づきどのようにしてできるかぎり効率的な改善を達成できるか、ということが問題となる。ここで殊に不利となるのは、最初に係数Ａ１を完全な分解能で伝送し、ついで係数Ａ２を完全な分解能でただちに伝送することである。そうではなく有利であるのは、係数Ａ１の重要な成分を伝送した後、係数Ａ２の重要な成分を伝送するという具合に行うことである。このようにすれば、付加情報を効率的かつ早期にすべての係数Ａ１〜Ａ９について、つまり考慮の対象となるマクロブロックについて、確実に改善が達成されるようになり、これによれば改善の分解能自体を段階的にあとから追加することができる。ここで改善の分解能は各々係数をもつビットの個数に係わるものである。
【００５９】
図６はこの関係を示す図である。図６にはビットプレーンが描かれている。ここでは図５のサブブロック５０４およびそれに付随する説明を参照されたい。既述のように、各係数Ａ１〜Ａ９はｎビットの分解能をもっている。図６に示した例ではｎは６である。したがって各係数ごとに最上位ビット（Most Significant Bit, MSB）が存在する。ビットストリームにおける付加情報の効率的な利用に関して有利であるのは、まずはじめにすべての係数Ａ１〜Ａ９について最上位ビットを伝送することである。その後、残りの上位のビットが伝送され、という具合にして伝送が行われる。
【００６０】
ここで留意したいのは、係数Ａ１〜Ａ９は単に一部分を成しているにすぎず、それによって付加情報の効率的な編成のやり方を示そうというものである。
【００６１】
ビットストリームが伝送すべき付加情報内の特定の個所で途切れた場合には既述のメカニズムにより、すでに伝送された付加情報が画像を復号器側で効率的に改善するようになる。
【００６２】
既述のやり方をさらに洗練して、後処理（ブロック２０５および３０５）のところで付加情報の前処理を行うようにし、それらの付加情報の伝送順序に従い最初に個々の画像ができるかぎり改善されるようにすることもできる。したがってたとえばＲＤ最適化（"Rate Distortion" 最適化）に関して後処理を行うことができる。これによれば付加情報は、できるかぎり大きい改善を生じさせる付加情報すなわち歪みや残留誤差を最大に低減する付加情報がまずはじめにビットストリームにおかれるよう再編成される。
【００６３】
さらに基本情報を効率増大のために使用することができる。つまりたとえばブロックベースの基本層符号化における種々の量子化パラメータを利用して、符号化時に省くことのできる重要でない領域を推定することができる。
【００６４】
次に後続処理について説明する。
【００６５】
周波数領域（周波数帯域）における残留誤差もしくは残留誤差情報の再分類：
残留誤差の本来の符号化の前に、それぞれ同じ周波数のサブバンドにおいて残留誤差情報の再分類が行われる。ブロックベースの変換から出発して、ｉ番目のブロックの（ｎ，ｍ）変換係数が（ｎ，ｍ）周波数帯域のｉ番目の個所に伝送される（図５参照）。
【００６６】
ビットプレーン割り当て
残留誤差の表し方として、基本層においてつまり基本情報を供給する情報源符号化において実現される量子化に依存して、ある係数に対しビットプレーンを明示的に割り当てることが挙げられる。この場合、基本層の相応の量子化インターバルが付加情報に対する後続処理のためその周縁とともに再構成される。そしてビットプレーンは、該当するインターバルを２つの半部に連続的に分解することにより得られる。正のオリジナル係数が左側もしくは右側の部分インターバルに存在していれば、目下のビットプレーンにおいて残留誤差に対しゼロもしくは１が割り当てられる。負の係数については鏡像的に同じことがあてはまる。
【００６７】
その際、インターバル分割の最大数に従ってビットプレーンの最大数がまえもって与えられ、したがってビットプレーンの個々の数は基本層における個々の量子化に依存することになる。基本層において粗い量子化の行われた係数には、（量子化の細かさに応じて）すでに細かい量子化の行われた係数よりも多くのビットプレーンが与えられる。このようにして得られた係数あたりいくつのビットを送信すべきであるかという情報を、微細化をあとで送信するために利用することもできる。
【００６８】
ビットプレーン割り当てのこのようなコンセプトによればブロックベースの変換を用いるとき、たとえばビットレートコントロールなどにより呼び出されて、基本層において量子化パラメータをブロックに依存して（位置に依存して）選択することによって、付加情報生成のための層（拡張層）における不均一性が効率的に補償されるようになる。個々のマクロブロックのための量子化パラメータが１つの画像内で強く変動した場合、この変動は拡張層において送信された各ビットプレーンによって低減され、そのようにして（基本情報と付加情報の考慮された）均等な量子化が追求され、このことは復号器側での均等な品質の点で反映される。
【００６９】
係数は拡張層において復号された情報に依存して再構成される。基本層の初期の量子化インターバルから出発してこのインターバルは、係数のためのビットが復号される頻度で微細化される。これに続いて、結果として生じたインターバル内で再構成値の割り当てがたとえばインターバル中心点によって行われる。
【００７０】
既述のビットプレーン割り当て法により残留誤差を表現することの別の利点は、拡張層において初回に重要になる係数のためだけに極性符号情報が送信されることである。
【００７１】
参照残留による残留誤差表現：
オリジナルのものと再構成したものとの間で残留を明示的に計算するほか、基本層の再構成された係数の（仮想の）参照値と対応するオリジナル係数との間の差分形成も、残留誤差表現の別の可能性を成すものである。この場合、正の（負の）係数のときに基本層の量子化インターバルの左側（右側）の周縁にセットされる参照値を利用することで、不必要な極性符号情報を送る必要がなくなる。さらに各サブバンドごとに、初回にサブバンド係数が重要とされるビットプレーンを識別して、ゼロプレーンの不必要な符号化を避けるようにする。
【００７２】
拡張層のためのサブバンドベースの符号化技術
１．有意（significance）情報もしくは微細化（refinement）情報
符号化により各係数ごとに２つの状態すなわち有意状態と微細化状態とが区別される。この場合、１つの係数はそれにとって有意な情報が存在しなくなるまで、つまり再構成にあたりその係数がゼロにマッピングされることになるまで、有意状態にある。ここでその有意性の指示が待ち受けられ、その際、係数はｋ番目のビットプレーンにおいてその振幅ａが
２k≦｜ａ｜＜２k+1
の範囲にあるとき有意になる。第１回目に「１」が送信されると、係数はこの「１」の符号化後にその状態を変化させ、係数は微細化状態に移行して、すべての後続のビットが微細化ビットとして表される。
【００７３】
係数の目下の状態はバイナリ値の有意マトリックスによって記述される。これは継続的に講師更新される。このマトリックス中の「１」は、係数がすでにその有意性を指示してしまっており、したがって微細化状態にあることを意味する。また、０は有意状態に対応し、つまりその係数にとって有意性が待ち受けられている。
【００７４】
有意マトリックスに基づき、目下符号化すべきビットを（フラクタルビットプレーン）のどの実行処理においてどのルーチンで処理すべきかが判定される。この場合、有意マトリックスは１つのビットの符号後、ただちに更新される。
【００７５】
拡張層における符号化において残留誤差を対象としているので、符号化のため基本層からできるかぎり多くの情報を利用するのが重要である。つまりたとえば、拡張層において符号化の開始にあたり有意マトリックスを基本層からの有意情報によって初期化するのが有効である。
【００７６】
２．符号化ツール
係数およびその状態の周囲に依存して目下のビットを符号化するため様々なルーチンが用いられる。ここで共通することは、すべてのルーチンはバイナリシンボルの適応算術符号化を利用することであり、その際、コンテクスト形成によりルーチンの効率が適切なやり方でサポートされる。
【００７７】
有意ルーチン（significance routine）：
有意情報の符号化はコンテクスト形成により行われ、これにはそのつど目下符号化すべき係数のすぐ周囲からの有意状態が算入される。
【００７８】
極性符号ルーチン：
極性符号情報の符号化にあたり、目下符号化すべき係数のすぐ周囲の極性符号情報から成るコンテクストが利用される。しかしこのルーチンが呼び出されるのは、係数が初回にその有意性を示したときだけである。
【００７９】
非有意のゼロをまとめるルーチン：
あるビットプレーンにおける有意なままのゼロにおいて有意情報を効率的に符号化するために、ゼロスペース（ゼロツリー）もしくはランレングスを用いることができる。
【００８０】
微細化ルーチン（refining routine）：
微細化ビットの符号化は上方のビットプレーンにおいて行われ、つまり最初に有意が現れた後、コンテクスト形成により行われ、これには隣り合う係数の有意状態が関与する。その下に位置するビットプレーンにおいては１つの適応モデルだけが用いられる。
【００８１】
３．フラクタルビットプレーンのコンセプト
慣用のビットプレーン符号化器は、１つの実行処理における適切なルーチンにより１つのビットプレーンのビットを相前後して符号化する。フラクタルビットプレーンの着想によれば、複数の実行処理において目下符号化すべきビットプレーンをスキャンし、それらの状態とそれらの周囲に従い１つのフラクタルビットプレーンにビットを割り当てる。
【００８２】
したがって１つのバンド内の基礎を成すスキャン順序よりも所定の重要性の方が優先される（場所よりも優先）。ＲＤファンクション（RD = Rate Distortion）に強く最適に影響を及ぼすことの予期される情報を、まずはじめに送信すべきである。このコンセプトによってはじめて、１つのビットプレーン内で最適なＲＤカットオフポイントをみつけることもでき、つまりは細分性を高めることもできる。
【００８３】
有利にはビットプレーンごとに少なくとも３つの実行処理がある。１つのビットプレーンにおける最初の実行処理により、係数が有意な周辺に存在しているという条件のもとでのみ有意情報が符号化される。２番目の実行処理において細分化情報そのものが符号化される一方、３つめの処理において、まだ欠けている残りの有意情報が符号化される。３つの実行処理すべてに上述のような個々の符号化ルーチンが割り当てられる。
【００８４】
択一的に、最後の２つの実行処理を順序を変えて実行してもよい。
【００８５】
４．個々のサブバンドもしくは細分の処理順序
後処理２０５または３０５内であとからＲＤ最適化する可能性がないのであれば、個々のバンドもしくは成分の処理順序ひいてはそれらに対応するビットストリーム中の配分を定める必要がある。バンド配置に関しては、ジグザグスキャンが適しているとみなすことができる。
【００８６】
補足的レート／歪み最適化（後処理）
効率を高めるための別のツールはあとから補足的にレート／歪み最適化を行うことである。補足的にとはこの事例では、本来の符号化後にビットストリーム中の個々の符号セグメントを新たに配列しなおすことである。このコンセプトの前提となるのは、ビットストリームが（独立した符号化により）符号セグメントに分解可能であり、かつ個々のセグメントのレート／歪み特性に関する情報が存在することである。この場合、符号セグメントのサイズはスケーラビリティの細かさに作用を及ぼす。
【００８７】
図７には、ブロックベースのブロック符号化法を実施するための回路が示されている。時間的に相前後するディジタル化画像をもつ符号化すべきビデオデータストリームは画像符号化ユニット１２０１へ供給される。ディジタル化画像はマクロブロック１２０２に分割され、ここで各マクロブロックは１６×１６個の画素をもつ。マクロブロック１２０２には４つの画像ブロック１２０３，１２０４，１２０５，１２０６が含まれており、ここで各画像ブロックは８×８個の画素をもち、それらの画素にはルミナンス値（輝度値）が割り当てられている。さらに各マクロブロック１２０２には２つのクロミナンスブロック１２０７，１２０８が含まれており、それらの画素にはクロミナンス値（色差値）が割り当てられている。
【００８８】
択一的に各画像ブロックに４×４個の画素サイズをもたせてもよい。この場合にはそれに応じてマクロブロックに１６個の画像ブロックが含まれる。これは有利にはＨ．２６Ｌテストモデルにおいて使用される。
【００８９】
各画像ブロックは変換符号化ユニット１２０９へ供給される。差分画像符号化にあたり、時間的に先行する画像の画像ブロックにおける符号化すべき値が目下符号化すべき画像ブロックから減算され、差分画像情報１２１０だけが変換符号化ユニット（離散コサイン変換ＤＣＴ）１２０９へ供給される。この目的で接続ライン１２３４を介して、目下のマクロブロック１２０２が動き予測ユニット１２２９へ伝送される。変換符号化ユニット１２０９において、符号化すべき画像ブロックつまり差分画像ブロックのためにスペクトル係数１２１１が形成され、量子化ユニット１２１２へ供給される。量子化されたスペクトル係数１２１３はスキャンユニット１２１４へも供給されるし、帰還経路内の逆量子化ユニット１２１５へも供給される。たとえばジグザグスキャン方式などのスキャン方式が実行された後、スキャンされたスペクトル拡散係数１２３２に対し、エントロピー符号化がそのために設けられたエントロピー符号化ユニット１２１６において実行される。エントロピー符号化されたスペクトル係数は符号化画像データ１２１７としてチャネルを介して、有利には有線または無線区間を介して、復号器へ伝送される。
【００９０】
逆量子化ユニット１２１５において、量子化されたスペクトル係数１２１３の逆量子化が行われる。このようにして得られたスペクトル係数１２１８は逆変換符号化ユニット１２１９（逆離散コサイン変換ＩＤＣＴ）へ供給される。再構成された符号化値（差分符号化値とも称する）１２２０は、差分画像モードにおいて加算器１２２１へ供給される。加算器１２２１はさらに画像ブロックの符号化値も受け取り、これは時間的に先行する画像から動き補償がすでに実行された後で得られる。加算器１２２１により再構成された画像ブロック１２２２が形成され、画像メモリ１２２３内に格納される。
【００９１】
この画像メモリ１２２３から、再構成された画像ブロック１２２２のクロミナンス値１２２４が動き補償ユニット１２２５へ供給される。輝度値１２２６のために補間がそのために設けられた補間ユニット１２２７において行われる。この補間に基づき個々の画像ブロックに含まれている輝度値の個数が有利には２倍にされる。すべての輝度値１２２８は動き補償ユニット１２２５にも動き予測ユニット１２２９にも供給される。動き予測ユニット１２２９はさらに接続ライン１２３４を介して、そのつど符号化すべきマクロブロック（１６×１６個の画素）の画像ブロックを受け取る。動き予測ユニット１２２９において、補間された輝度値を考慮して動き予測が行われる（「半画素ベースの動き予測」）。有利には動き予測において、目下符号化すべきマクロブロック１２０２と時間的に先行する画像から再構成されたマクロブロックの個々の輝度値における絶対的な差が求められる。
【００９２】
動き予測の結果として動きベクトル１２３０が得られ、この動きベクトル１２３０によって、時間的に先行する画像から選択されたマクロブロックと符号化すべきマクロブロック１２０２との位置的なずれが表される。
【００９３】
動き予測ユニット１２２９により求められたマクロブロックに関して輝度情報もクロミナンス情報もこの動きベクトル１２３０の分だけずらされて、マクロブロック１２０２の符号化値から減算される（デー多経路１２３１参照）。
【００９４】
図８にはプロセッサユニットＰＲＺＥが描かれている。このプロセッサユニットＰＲＺＥはプロセッサＣＰＵとメモリＭＥＭと入出力インタフェースＩＯＳとを有しており、このインタフェースはインタフェースＩＦＣを介して様々なやり方で利用される。グラフィックインタフェースを介して出力をモニタＭＯＮで見たり、および／またはプリンタＰＲＴでプリントアウトされる。入力はマウスＭＡＳまたはキーボードＴＡＳＴによって行われる。さらにプロセッサユニットＰＲＺＥはデータバスＢＵＳを有しており、これによりメモリＭＥＭ、プロセッサＣＰＵおよび入出力インタフェースＩＯＳの接続が保証される。さらにデータバスＢＵＳに、付加的なコンポーネントたとえば付加的なメモリ、データ記憶装置（ハードディスク）あるいはスキャナなどをつなげることができる。
【符号の説明】
【００９５】
１０１ 第１の画像
１０２ 画像変換部
１０３ 変換係数を取得するブロック
１０４ 量子化部
１０５ エントロピー符号化部
１０６ 逆量子化ブロック
１０９ 第２の画像
１１０ 第１の残留誤差情報
１１１ 第２の残留誤差情報
２０１ 差分画像
２０２ サブバンド分解部
２０４ エントロピー符号化部
２０５ 後処理部
【技術分野】
【０００１】
本発明は、画像シーケンスを符号化または復号する方法および装置に関する。
【背景技術】
【０００２】
文献［１］から、画像圧縮方法ならびにそれに対応した装置が知られている。公知の方法はＭＰＥＧ規格において符号化方式として用いられ、基本的には動き補償を伴うハイブリッドＤＣＴ（Discrete Cosine Transformation）である。同様の方法はｎ×６４ｋｂｉｔ／ｓの画像電話（ＣＣＩＴＴ勧告Ｈ．２６１）、３４Ｍｂｉｔ／ｓもしくは４５Ｍｂｉｔ／ｓのＴＶコントリビューション（ＣＣＲ勧告７２３）、さらには１．２Ｍｂｉｔ／ｓのマルチメディアアプリケーション（ＩＳＯ−ＭＰＥＧ−１）のために利用される。ハイブリッドＤＣＴは、相前後する画像の類似関係を利用した時間的処理段と１つの画像内の相関を利用した位置的処理段とから成る。
【０００３】
位置的な処理（イントラフレーム符号化）は、実質的に古典的なＤＣＴ符号化に対応する。画像が８×８後の画素から成る複数のブロックに分解され、それらがＤＣＴによりそれぞれ周波数領域に変換される。その結果、８×８個の係数から成るマトリックスが生じ、これは変換された画像ブロックにおける２次元の空間周波数を反映している。周波数０（直流成分）をもつ係数は画像ブロックの平均グレー値を表す。
【０００４】
変換後、データ伸長が行われる。とはいえ自然の原画像では直流成分（ＤＣ値）を中心にエネルギーの集中が起こる一方、最高周波数の係数はたいていほぼゼロである。
【０００５】
次のステップにおいて係数のスペクトル重み付けが行われ、その結果、高周波の係数の振幅精度が低減されることになる。ここでは人間の目の性質が利用され、すなわち人間の目の分解能精度は低い空間周波数よりも高い空間周波数の方が劣る。
【０００６】
データ圧縮の第２のステップは適応量子化のかたちで行われ、これにより係数の振幅精度がいっそう低減され、もしくは小さい振幅はゼロにセットされる。この場合、量子化のスケールは出力バッファの占有状態に依存する。バッファが空であれば細かい量子化が行われて多くのデータが生成されるのに対し、バッファがいっぱいであれば粗い量子化が行われてデータ量が減少する。
【０００７】
量子化後、ブロックが対角線上で走査され（ジグザグスキャニング "zigzag"-Scanning）、ついでエントロピー符号化が行われて、これによってさらにデータ低減が行われる。このために２つの効果が利用される：
１）振幅値の統計。高い振幅値は低い振幅値よりもまれにしか発生せず、したがってめったにない事象には長い符号語が割り当てられ頻度の高い事象には短い符号語が割り当てられる（可変長符号化 Variable-Length-Coding VLC）。このようすれば平均的には、固定語長による符号化よりもデータレートが低くなる。ついでＶＬＣの可変のレートがバッファメモリ内で平滑化される。
【０００８】
２）特定の値の後にはたいていのケースでは０だけしか続かない点を利用する。これらのゼロすべての代わりにＥＯＢ（End Of Block）符号だけが伝送され、このことで画像データ圧縮の際に大きな符号化利得が得られるようになる。この場合、たとえば５１２ｂｉｔという出力レートの代わりにこのブロックのために４６ｂｉｔだけを伝送すればよく、このことは１１を超える圧縮係数に対応する。
【０００９】
時間的処理（インターフレーム符号化）によりさらに圧縮利得が得られる。差分画像の符号化のためには原画よりも僅かなデータレートしか必要とされず、その理由は振幅値がはるかに低いからである。
【００１０】
たしかに画像内の運動が僅かであるときには時間的な差もごく僅かである。これに対して画像内の運動が大きければ差も大きくなり、符号化も難しくなる。この理由で画像間運動が測定され（動き予測）、差分形成前に補償される（動き補償）。この場合、動き情報が画像情報とともに伝送され、その際、通常はマクロブロック（たとえば４つの８×８画像ブロック）ごとに１つの運動ベクトルだけが用いられる。
【００１１】
予測を利用する代わりに動き補償された双方向予測を用いると、さらに小さい差分画像振幅値が得られる。
【００１２】
動き補償されるハイブリッド符号化器の場合には画像信号自体が変換されるのではなく、時間的な差分信号が変換される。この理由で符号化器は時間的な反復ループも有しており、それというのも予測器は予測値をすでに伝送された（符号化された）画像の値から計算しなければならないからである。同一の時間的な反復ループが復号器内に存在しており、それによって符号化器と復号器は完全に同期合わせされた状態にある。
【００１３】
ＭＰＥＧ−２符号化方式には主として３つの異なる画像処理手法がある：
Ｉピクチャ：Ｉピクチャの場合には時間的予測が用いられず、すなわち画像値がそのまま変換されて符号化される。Ｉピクチャを用いる目的は、時間的に過ぎ去ったことに関する情報を用いずに復号プロセスを新たに開始できるようにするため、もしくは伝送エラー発生時に再同期合わせを実現するためである。
【００１４】
Ｐピクチャ：Ｐピクチャに基づき時間的予測が行われ、時間的予測誤差に対しＤＣＴが適用される。
【００１５】
Ｂピクチャ：Ｂピクチャの場合には時間的な双方向誤差が計算され、ついで変換される。双方向予測は基本的に適応的に動作し、つまり順方向予測、逆方向予測あるいは補間が許される。
【００１６】
１つの画像シーケンスはＭＰＥＧ−２符号化ではいわゆるＧＯＰ（Group Of Pictures）に分けられる。まずはじめＩピクチャのｎ個の画像によってＧＯＰが形成される。各Ｐピクチャ間の間隔はｍで表され、この場合、各Ｐピクチャ間にそれぞれｍ−１個のＢピクチャが存在する。しかしＭＰＥＧシンタックスによれば、ｍとｎをどのように選定するのかはユーザに委ねられている。ｍ＝１はＢピクチャが使用されないことを意味し、ｎ＝１はＩピクチャだけが符号化されることを意味する。
【００１７】
文献［２］から、ブロックベースの画像符号化方式において動き予測をする方法が知られている。この場合に前提とするのは、１つのディジタル画像のもつ画素がたとえば８×８個の画素または１６×１６個の画素から成る画像ブロックにまとめられていることである。必要に応じて１つの画像ブロックが複数の画像ブロックをもっていてもよい。このための一例は６個の画像ブロックをもつマクロブロックであり、これらの画像ブロックのうち４つの画像ブロックは輝度情報のために、２つの画像ブロックは色情報のために設けられている。
【００１８】
画像シーケンスにおいて符号化すべき画像のためにその画像の画像ブロックを考慮しながら以下の方法が行われる：
動き予測を実行しようとする画像ブロックのために時間的に先行する画像（先行の画像ブロック）において、その先行画像中の同じ関連位置に存在していた画像ブロックに基づき誤差量に関する値が求められる。この目的で有利には、画素に割り当てられた画像ブロックと先行の画像ブロックの符号化情報における差の絶対値の和が求められる。ここで符号化情報とは輝度情報（ルミナンス値）および／または色情報（クロミナンス値）のことであり、これらはそれぞれ１つの画素に割り当てられている。
【００１９】
時間的に先行する画像における出発位置を中心とした所定のサイズおよび形状の探索空間において、それぞれ先行の画像ブロックの同じサイズの領域について１画素分または半画素分だけずらして誤差量に関する値が求められる。
【００２０】
ｎｘｎ画素のサイズの探索空間においてｎ2の（誤差）値が生じる。この場合、時間的に先行する画像において、誤差量が最小の誤差値になるずらされた先行の画像ブロックが求められる。この画像ブロックについて、この先行の画像ブロックが動き予測が実行されることになる符号化すべき画像の画像ブロックと最良に一致するものとする。
【００２１】
動き予測の結果は、符号化すべき画像内の画像ブロックと時間的に先行する画像内の選択された画像ブロックとの間のずれを表す動きベクトルである。
【００２２】
画像データの圧縮は、動きベクトルと誤差信号の符号化により達成される。
【００２３】
たとえば１つの画像の各ブロックごとに動き予測が実行される。
【００２４】
オブジェクトベースの画像圧縮方法は、任意の境界をもつ複数のオブジェクトへ画像を分解することに基づく。個々のオブジェクトは様々な「ビデオ・オブジェクト・プラン "Video Object Plans"」で互いに別個に符号化され、伝送され、受信機（復号器）において再び合成される。上述のように慣用の符号化方式の場合、画像全体が矩形の画像ブロックに分割される。この方式はオブジェクトベースの画像ブロックにおいても受け継がれ、その際、符号化すべきオブジェクトが矩形のブロックに分割され、各ブロックごとに別個に動き補償を伴う動き予測が実行される。
【００２５】
妨害を受けた通信チャネルを介して、たとえば移動（無線）チャネルまたは損失の伴う有線チャネルを介して、画像シーケンス（画像データ）を伝送する場合、画像データの一部分が失われてしまう可能性がある。画像データのこのような損失は、程度の差こそあれ広い画像範囲にわたり激しい品質の落ち込みというかたちで現れる。上述のように動き補償を伴った動き予測の画像符号化／画像復号方法を使用する場合、伝送チャネルにより再びエラーのない伝送が保証されても、画像障害は消滅しない。その理由は、動き予測にあたり１回現れたエラーは次のフレーム（イントラピクチャ）の伝送まで存続するからである。したがってひどく妨害を及ぼすエラーの伝播ないしは蔓延が生じてしまう。
【００２６】
Ｈ．２６１，Ｈ．２６３，ＭＰＥＧ−１／２／４という周知の規格によるビデオデータ圧縮方式は、動き補償された予測（誤り訂正を伴う動き予測）および変換ベースの残留誤差符号化（residual error coding）を用いており、その際に有利には変換符号化として離散コサイン変換が使われる。ＭＰＥＧ−２にはスケーラビリティ符号化（階層符号化）に対する提案が含まれている。これによれば１つの画像は所定の画像品質をもつ基本情報と付加情報とに分割され、付加情報は完全な画像品質（十分な画像品質）を形成するために付加的に符号化されて伝送される。付加情報の領域で伝送エラーが発生しても、個々の画像を基本情報により形成された品質で常に確実に再構成できるようになる。
【先行技術文献】
【非特許文献】
【００２７】
【非特許文献１】J. De Lameillieure, R. Schaefer: "MPEG-2-Bildcodierung fuer das digitale Fernsehen", Fernseh- und Kino-Technik, 48. Jahrgang, No. 3/1994, p. 99-107
【非特許文献２】M. Bierling: "Displacement Estimation by Hierachical Blockmatching", SPIE, Vol. 1001, Visual Communications and Image Processing '88, p. 942-951, 1988
【発明の概要】
【発明が解決しようとする課題】
【００２８】
本発明の課題は、エラーに対し許容力のある画像シーケンスの符号化を実現することであり、殊にその際、画像シーケンスの画像品質に関して妨害を受けたチャネルをできるかぎり効率よく利用できるようにすることである。
【課題を解決するための手段】
【００２９】
この課題は独立請求項の特徴部分に記載の構成により解決される。従属請求項には本発明の有利な実施形態が示されている。
【００３０】
この課題を解決するため画像シーケンス符号化方法において、以下のステップに基づき画像シーケンスに対し基本情報と付加情報が求められる。すなわち、
１）情報源符号化方式に基づき基本情報が求められ、その際、情報源符号化にあたり画像シーケンスと符号化済みの画像シーケンスとの間で残留誤差情報（residual error information）が生じる。
２）残留誤差情報を複数の周波数領域に分割して段階的にスケーリングすることで残留誤差情報を段階的に表すための付加情報が生成される。
【００３１】
そしてこれらの基本情報と付加情報とに基づき画像シーケンスが符号化され、その際に付加情報によって符号化品質の漸進的改善が保証される。
【００３２】
この場合に殊に有利であるのは、既存の情報源符号化器つまりたとえば変換と量子化とエントロピー符号化から成るシステムによって、符号化された画像シーケンスの所定の基本品質が保証されることである。しかもこのことから有利には伝送チャネルの残りの帯域幅に依存して付加情報を伝送することができ、それによって画像シーケンスを徐々に（漸進的に）品質改善することができるようになる。たとえばこの場合、付加情報の伝送にあたり、符号化すべき個々の画像の品質改善を考慮して付加情報の重要な部分がまず最初に送られる。さらに有利には、この画像の品質の向上がその画像について均等に行われる。
【００３３】
１つの実施形態によれば、画像シーケンスはビットストリームとして１つのチャネルを介して受信機へ伝送される。たとえばそのチャネルは妨害を受けている可能性があり、その結果、そのチャネルにおいては妨害発生中、本来利用可能な帯域幅を使えなくなってしまう。ここで言及しておくと情報源符号化において基本情報を利用することができ、この基本情報は付加情報に基づき（段階的に）拡張され、チャネルを介してビットストリームのかたちで受信機へ伝送される。チャネルに関して重要であるのは、それが妨害に依存して場合によっては強く変動する帯域幅を有していることである。そのような妨害は予測不可能であるかまたは予測困難であるため、付加情報を使用しなければチャネル帯域幅の急激な落ち込みにより、受信機において画像シーケンスをもはや識別できなくなってしまうか、もしくは品質が著しく劣化して識別されることになってしまう。たとえばエラーの加わっているチャネルに対しても形成された基本情報によって、符号化された画像シーケンスの所定の基本品質が保証されて、その品質が上述の付加情報に基づき（段階的に）改善される。チャネルで妨害が発生すると付加情報の一部分が失われるが、その結果、たいていの事例では基本情報により保証される画像品質に対し段階的な改善が依然として保証されるようになる。この目的で有利には付加情報は、実現可能な画像の改善にとって重要な情報がまず最初にチャネルを介して（ビットストリーム内で）伝送されるよう準備処理される。
【００３４】
考えられる１つの適用形態によれば、安定したつまりほとんど妨害を受けていない伝送チャネルであっても、受信機において画像シーケンスを様々な品質で呼び出すことができる。品質スケーリングは上述のやり方によって行われる。考えられる適用分野は「ビデオ・オン・デマンド」アプリケーションであって、これが基礎とするのは、ユーザが自身により事前に設定した品質で受信を行う意志を示し、ユーザはその品質に対してのみ支払いを行うことである。
【００３５】
残留誤差情報を画像領域内または変換領域内の差分画像に基づき求めることができる。このような変換領域を成す変換の一例は離散コサイン変換（ＤＣＴ変換）である。この変換領域内で、目下の変換画像と画像シーケンスにおいて時間的に先行する逆変換された画像との差を求めることができる。ここで逆変換されたとは、たとえば量子化後に目下の画像の逆量子化が行われることを意味し、それによって目下の画像に対し損失の伴う画像が得られ、これは目下の画像とは残留誤差情報の分だけ相違することになる。逆量子化された画像に対しさらに逆変換をかけるならば、変換されていない画像領域内における残留誤差の伴う画像を受け取る（画像領域内の残留誤差情報）。
【００３６】
さらに別の実施形態によれば、情報源符号化方式は標準化された画像符号化方式である。ここではたとえばＭＰＥＧ規格またはＨ．２６ｘ規格による画像符号化方式とすることができる。
【００３７】
さらに付加的な実施形態によれば複数の周波数領域への分割が、付加情報が画像シーケンスの各画像ごとにそれらの重要性に従い伝送されるように実行される。
【００３８】
本発明のさらに別の実施形態によれば、所定量の値の付加情報に対しそれらの所定量のすべての値について反復的にそれぞれ最上位ビットがビットストリームに送り込まれる。このようにすれば、まずはじめにビットストリームにおいて受信機へ最上位ビットが伝送されるようになる。したがってビットストリームが途切れても、個々の画像のために伝送される情報がその画像について可能なかぎり最高の品質で表示される。上述の反復ループにおいて後続の実行処理が確実になって、最上位ビットの次に続くビットが伝送され、その場合にはこのビットがまだ伝送されていない最も上位のビットとなる。さてここでチャネル内の妨害が発生した場合、伝送すべき所定量の値についてそれぞれ最も重要な（「最高の」）ビットは伝送されてしまっている状態とすることができる。このとき、ｎビットの値の分解能である残りのビットをゼロで埋めることができる。
【００３９】
なお、説明したシナリオの前提となるのは、画像シーケンスが符号化器の側で符号化され既述のチャネルを介して復号器へ伝送されることである。復号器は基本情報および可能なかぎり付加情報を復元するために用いられ、たとえば得られた画像シーケンスを表示する。
【００４０】
この場合、付加情報を用いてどのように処理すべきであるかについて、つまり基本情報に基づき得られた画像品質の改善のためどの程度まで付加情報を処理すべきかについて、受信側で復号器が把握しているようにしなければならない。したがって情報源符号化は、結果として基本情報を供給する機能的な基本層を成している。基本層に対し拡張層が設けられており、これによって付加的なサービスが提供され、つまり付加情報に基づきたとえばブロック符号化された個々の画像ごとに画像品質の改善がもたらされる。さらにこの拡張層の上に、あるいはその一部分として、アプリケーション（層）を設けることができ、これによりたとえば上述のビデオ・オン・デマンド・アプリケーションなどにおいて明示的に制御可能に所定の画像品質が実行される。したがってユーザは復号器の側において、アプリケーション（層）内でそのユーザに適した予備選択を行うことができる。この場合、対応する画像品質は基本層および拡張層により、すなわち基本情報および付加情報に基づき提供される。このようにして選択モードおよびそれと結びつけられたビデオ・オン・デマンド・アプリケーションで使われた帯域幅に対する決算モードを提供することができる。顧客は自身の要求された帯域幅に対し支払いを行う。このシナリオではチャネルはシステムのボトルネックを成さない。
【００４１】
さらに１つの実施形態によれば、付加情報を求める際に基本情報が考慮される。この場合、殊に有利であるのは、基本情報においてすでに損失の生じがちな画像符号化が行われており、それが付加情報の決定に効率的に算入可能な特定の結果を与えることである。
【００４２】
たとえば後処理（"Post-Processing"）の際に付加情報をビットストリームに挿入することができる。この種の後処理の利点は殊に、付加情報のどの部分がどのような品質改善に作用するかを識別できることであり、つまりは品質改善にとって重要な部分をまず最初にビットストリームに挿入できることである。
【００４３】
さらに課題解決のため、既述の方法のいずれか１つにより符号化された画像シーケンスの復号方法が提供される。
【００４４】
また、課題解決のため画像シーケンスの符号化装置が提供され、この装置はプロセッサユニットを有しており、これは以下のように構成されている。すなわち、
ａ）画像シーケンスに対し基本情報と付加情報を求めるために、
１）情報源符号化方式に基づき基本情報を求め、この情報源符号化により画像シーケンスと符号化済みの画像シーケンスとの間で残留誤差情報が生成されるステップと、
２）残留誤差情報を段階的に表すため、この残留誤差情報を複数の周波数領域に分割し段階的にスケーリングすることにより付加情報を生成するステップと、
を実行し、
ｂ）基本情報と付加情報とに基づき画像シーケンスを符号化し、この付加情報によって符号化品質の漸進的改善を行う、
ように構成されている。
【００４５】
さらに課題解決のため画像シーケンスの復号方法が提供され、この装置はプロセッサユニットを有しており、このプロセッサユニットは、画像シーケンスの各画像を基本情報と付加情報とに基づき復元可能であるように構成されている。たとえばこの装置は、基本情報と付加情報を適切に評価する復号器である。さらにこの復号器は所定のサービスを要求することができ、そのサービスとは種々の付加情報のかたちで表され、たとえば所定の解像度におけるビデオ・オン・デマンドであり、これは基本情報と付加情報の組み合わせによってはじめて達成される。
【００４６】
これらの装置は、本発明の個々の方法あるいはそれらの既述の実施形態の実施に殊に適している。
【００４７】
次に、図面を参照しながら本発明の実施例について説明する。
【図面の簡単な説明】
【００４８】
【図１】情報源符号化方法を示す図
【図２】付加情報を求めるための第１の実施形態を示す図
【図３】付加情報を求めるための第２の実施形態を示す図
【図４】基本情報と付加情報を１つにビットストリームにまとめチャネルを介して伝送する様子を示す図
【図５】周波数または係数をグループ分けする様子を示す図
【図６】ビットプレーンを示す図
【図７】画像符号化器を示す図
【図８】プロセッサユニットを示す図
【発明を実施するための形態】
【００４９】
図１には、情報源符号化方法について示す図が描かれている。第１の有利にはブロックベースの画像Ｂ１ １０１に対し変換１０２が行われる。この種の変換の一例は離散コサイン変換（ＤＣＴ変換）である。その結果、ブロック１０３において変換係数が得られる。量子化部１０４において画像Ｂ１ １０１は損失を伴ってマッピングされる。エントロピー符号化部１０５により基本情報１１２が供給される。量子化された損失の伴った画像Ｂ１ １０１は逆量子化され（ブロック（１０６参照）、その結果、対応する変換係数１０７および逆変換１０８によって第２の画像Ｂ２ １０９が供給され、これは第１の画像Ｂ１ １０１に対し残留誤差情報を有しており、すなわち画像品質が低減されている。両方の画像Ｂ１とＢ２の間の残留誤差は量子化誤差（ブロック１０４参照）に起因するものであり、これは意図的に甘受しているものであって、それというのも基本情報内でデータ圧縮を達成し、質的に劣る伝送チャネルに関しても伝送が保証されるよう基本情報を定めることができるようにするためである。たとえば帯域幅のごく僅かなベースチャネルがあるので、高いデータ圧縮率は画像シーケンス伝送のための前提条件である。
【００５０】
さらに図１には、第１の残留誤差情報ｒｅｓｔ＿１ １１０と第２の残留誤差情報ｒｅｓｔ＿２ １１１が描かれている。これら２つの残留誤差情報は図２および図３に示されているようにして後続処理され、それぞれ付加情報２０６もしくは３０６が生成される。原理的には完全な符号化および残留誤差情報の伝送により、基本情報と生成すべき付加情報とに基づいて画像Ｂ１の完全な再構成が可能となる。
【００５１】
図２には、付加情報を求めるための第１の実施形態が示されている。図１で説明した第１の残留誤差情報ｒｅｓｔ＿１ １１０は、第１の画像Ｂ１と第２の画像Ｂ２（図１の１０１と１０９を参照）との間の差に基づき得られる。したがってその結果として差分画像Ｂ＿ｄｉｆｆ ２０１が得られる。この差分画像Ｂ＿ｄｉｆｆ ２０１はサブバンド分解部２０２へ導かれる。サブバンド分解２０２をたとえばウェーブレット変換もしくはウェーブレットパケット変換によって構成することができる。その結果、差分画像２０１について別個に、ローパス成分およびハイパス成分もしくはローパス成分とハイパス成分のミックスされたものがそれぞれ得られる。フィルタリングされたこれらの情報はエントロピー符号化部へ導かれ、これは有利には品質スケーラブルなかたちで実行される（ブロック２０４参照）。ブロック２０５においてデータに対し後処理が施され、その目的は基本情報１１２だけから成る符号化された画像Ｂ１の品質をできるかぎり向上させることにある。このことはたとえば、最初に最大の改善が生じるよう付加情報を求め、この改善自体が符号化された画像のできるかぎりすべてのブロックに均等にあてはまるようにすることによって行われる。この目的を達成するための後処理の特別な可能性については後述する。
【００５２】
図３には、付加情報を求めるための別の実施形態が描かれている。図１に示されているように残留誤差情報ｒｅｓｔ＿２ １１１は、第１の画像Ｂ１と第２の画像Ｂ２の差からそれぞれ変換空間（図１のブロック１０３および１０７を参照）内で求められる。その結果、ブロックベースで表された差分画像３０１が変換空間内で得られ、その際、各ブロックごとに決められた周波数成分がまえもって与えられている。ＤＣＴ変換の結果として１つの直流成分と多数の交流成分が生じる。ステップ３０２において、それぞれすべての直流成分もしくは個々の周波数のすべての交流成分がまとめられるよう、これらの周波数帯域が分類しなおされる。このことはブロック３０３でシンボリックに表されており、これはブロック３０１と同じ情報をもっているけれども、すべてのブロックに関する個々の周波数領域もしくは直流成分に対する係数がまとめられている。このような分類のメカニズムについては図５のところでも説明する。周波数帯域の再分類後、縁とエントロピー符号化３０４が行われ、これは品質スケーラブルなかたちで実行される。そのあとで後処理３０５が実行され、それによって付加情報３０６が得られ、これは品質向上に関して重要な成分がまず最初にビットストリームを介して伝送されるように構成されている。
【００５３】
図４には、既述の基本情報１１２と付加情報（２０６または３０６参照）を１つのビットストリーム４０１に統合する様子が描かれている。この統合は符号化器４０４の側で行われる。ビットストリーム４０１はチャネル４０２を介して受信機もしくは復号器４０３へ伝送される。このチャネルは所定の帯域幅を有しており、その帯域は場合によっては何らかの妨害の影響を受けて、帯域幅自体が変動する可能性がある。そこでチャネルの帯域幅をできるかぎり効率的に利用して、受信機において画像シーケンスをできるかぎり最良の品質で描くことができるようにする目的が生じる。基本情報１１２によりビットストリーム４０１の一部分として所定の基本品質が保証され、これは基本的にチャネルを介して広範囲にわたり障害のない状態で受信機に到来し復号可能である。それによって生じる画像シーケンスの品質は改善の余地がある。この品質改善は付加情報によって達成される。付加情報はビットストリーム４０１に添えられ、やはりチャネル４０２を介して受信機または復号器４０３へ伝送される。ビットストリームはビット列をなしており、この場合、基本的に各画像ごとに１つの特定の時間窓が使われる。ここでチャネルの帯域幅がこの時間窓内で変動すると、データがすべては受信機には到来しなくなる可能性があり、したがってどの付加情報をどの順序でビットストリームに組み込むのかを綿密に選定する必要がある。
【００５４】
この理由で上述のように、基本情報の大きな改善に寄与する部分ができるだけ早めにビットストリームに組み込まれるよう、付加情報が構成されている。さらに格別有利であるのは、画像の品質改善を受けもつ付加情報が画像全体において均等に品質改善作用を及ぼすようにすることである。このことは、重要な情報すなわち大きい改善を可能にする残留誤差情報の部分を符号化された画像のすべてのブロックに関して均等にビットストリームに組み込むことにより保証され、このようにすることで受信機の側で、どれだけ多くの付加情報を既述の時間窓内で伝送できたかに応じて、画像のすべてのブロックに対して均等な改善が行われるようになる。この目的でたとえば上述の周波数帯域の再分類が用いられる。この場合、周波数帯域再分類の目的は、まずはじめに画像のすべてのブロックに対し大きな改善を施し、ついで徐々に品質をいっそう改善していくことである。その間に付加情報のビットストリームが途切れると、そのときまでに画像のほぼ最適な改善が達成され、それによって提供された帯域幅が効率的に利用されたことになる。
【００５５】
図５には、周波数（係数）の上述のグループ分けもしくは再分類について描かれている。
【００５６】
部分５０１には、変換された画像（図３の３０３）の一部分が描かれている。この画像には、有利には８×８または１６×１６個のピクセルをもつ複数の画像ブロックが含まれており、マクロブロックも含まれている。４×４個のピクセルサイズここでは変換領域の係数をもつこの種のマイクロブロックが、ブロック５０２として表されている。ブロック５０２は複数の係数を有しており、これらの係数の一部分が係数Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１として表されている。マクロブロック５０２と同様に画像５０１内にはそれ以降のマイクロブロックが形成されている。一例として各マクロブロックごとに最初の係数Ａ２〜Ａ９が示されている。有利には第１の係数は直流成分であり、これは画像の改善に重要な役割を果たす。再分類後、ブロック５０３内に描かれているような構造が生じる。変換された画像３０１もしくは５０１は、種々の係数の個数と同じ個数のサブブロックが生じるよう分類しなおされる。たとえばブロック５０３には、変換された画像３０１もしくは５０１のすべてのマクロブロックにおけるすべての直流成分を有するサブブロック５０４が含まれている。ブロック５０４における直流成分は係数Ａ１〜Ａ９として表されている。これと同様に、それぞれ同じ種類のすべての交流成分Ｂ〜Ｅがまとめられている。
【００５７】
このようにしてきわめて有利なかたちで付加情報内において、すべてのマクロブロックについて均等な改善を達成できるようになる。
【００５８】
さて、付加情報の一部分として少なくとも、画像のすべてのマクロブロックに対し図５のブロック５０４として描かれている直流成分を受信機へ伝送しなければならない。この場合にもやはり、伝送された付加情報に基づきどのようにしてできるかぎり効率的な改善を達成できるか、ということが問題となる。ここで殊に不利となるのは、最初に係数Ａ１を完全な分解能で伝送し、ついで係数Ａ２を完全な分解能でただちに伝送することである。そうではなく有利であるのは、係数Ａ１の重要な成分を伝送した後、係数Ａ２の重要な成分を伝送するという具合に行うことである。このようにすれば、付加情報を効率的かつ早期にすべての係数Ａ１〜Ａ９について、つまり考慮の対象となるマクロブロックについて、確実に改善が達成されるようになり、これによれば改善の分解能自体を段階的にあとから追加することができる。ここで改善の分解能は各々係数をもつビットの個数に係わるものである。
【００５９】
図６はこの関係を示す図である。図６にはビットプレーンが描かれている。ここでは図５のサブブロック５０４およびそれに付随する説明を参照されたい。既述のように、各係数Ａ１〜Ａ９はｎビットの分解能をもっている。図６に示した例ではｎは６である。したがって各係数ごとに最上位ビット（Most Significant Bit, MSB）が存在する。ビットストリームにおける付加情報の効率的な利用に関して有利であるのは、まずはじめにすべての係数Ａ１〜Ａ９について最上位ビットを伝送することである。その後、残りの上位のビットが伝送され、という具合にして伝送が行われる。
【００６０】
ここで留意したいのは、係数Ａ１〜Ａ９は単に一部分を成しているにすぎず、それによって付加情報の効率的な編成のやり方を示そうというものである。
【００６１】
ビットストリームが伝送すべき付加情報内の特定の個所で途切れた場合には既述のメカニズムにより、すでに伝送された付加情報が画像を復号器側で効率的に改善するようになる。
【００６２】
既述のやり方をさらに洗練して、後処理（ブロック２０５および３０５）のところで付加情報の前処理を行うようにし、それらの付加情報の伝送順序に従い最初に個々の画像ができるかぎり改善されるようにすることもできる。したがってたとえばＲＤ最適化（"Rate Distortion" 最適化）に関して後処理を行うことができる。これによれば付加情報は、できるかぎり大きい改善を生じさせる付加情報すなわち歪みや残留誤差を最大に低減する付加情報がまずはじめにビットストリームにおかれるよう再編成される。
【００６３】
さらに基本情報を効率増大のために使用することができる。つまりたとえばブロックベースの基本層符号化における種々の量子化パラメータを利用して、符号化時に省くことのできる重要でない領域を推定することができる。
【００６４】
次に後続処理について説明する。
【００６５】
周波数領域（周波数帯域）における残留誤差もしくは残留誤差情報の再分類：
残留誤差の本来の符号化の前に、それぞれ同じ周波数のサブバンドにおいて残留誤差情報の再分類が行われる。ブロックベースの変換から出発して、ｉ番目のブロックの（ｎ，ｍ）変換係数が（ｎ，ｍ）周波数帯域のｉ番目の個所に伝送される（図５参照）。
【００６６】
ビットプレーン割り当て
残留誤差の表し方として、基本層においてつまり基本情報を供給する情報源符号化において実現される量子化に依存して、ある係数に対しビットプレーンを明示的に割り当てることが挙げられる。この場合、基本層の相応の量子化インターバルが付加情報に対する後続処理のためその周縁とともに再構成される。そしてビットプレーンは、該当するインターバルを２つの半部に連続的に分解することにより得られる。正のオリジナル係数が左側もしくは右側の部分インターバルに存在していれば、目下のビットプレーンにおいて残留誤差に対しゼロもしくは１が割り当てられる。負の係数については鏡像的に同じことがあてはまる。
【００６７】
その際、インターバル分割の最大数に従ってビットプレーンの最大数がまえもって与えられ、したがってビットプレーンの個々の数は基本層における個々の量子化に依存することになる。基本層において粗い量子化の行われた係数には、（量子化の細かさに応じて）すでに細かい量子化の行われた係数よりも多くのビットプレーンが与えられる。このようにして得られた係数あたりいくつのビットを送信すべきであるかという情報を、微細化をあとで送信するために利用することもできる。
【００６８】
ビットプレーン割り当てのこのようなコンセプトによればブロックベースの変換を用いるとき、たとえばビットレートコントロールなどにより呼び出されて、基本層において量子化パラメータをブロックに依存して（位置に依存して）選択することによって、付加情報生成のための層（拡張層）における不均一性が効率的に補償されるようになる。個々のマクロブロックのための量子化パラメータが１つの画像内で強く変動した場合、この変動は拡張層において送信された各ビットプレーンによって低減され、そのようにして（基本情報と付加情報の考慮された）均等な量子化が追求され、このことは復号器側での均等な品質の点で反映される。
【００６９】
係数は拡張層において復号された情報に依存して再構成される。基本層の初期の量子化インターバルから出発してこのインターバルは、係数のためのビットが復号される頻度で微細化される。これに続いて、結果として生じたインターバル内で再構成値の割り当てがたとえばインターバル中心点によって行われる。
【００７０】
既述のビットプレーン割り当て法により残留誤差を表現することの別の利点は、拡張層において初回に重要になる係数のためだけに極性符号情報が送信されることである。
【００７１】
参照残留による残留誤差表現：
オリジナルのものと再構成したものとの間で残留を明示的に計算するほか、基本層の再構成された係数の（仮想の）参照値と対応するオリジナル係数との間の差分形成も、残留誤差表現の別の可能性を成すものである。この場合、正の（負の）係数のときに基本層の量子化インターバルの左側（右側）の周縁にセットされる参照値を利用することで、不必要な極性符号情報を送る必要がなくなる。さらに各サブバンドごとに、初回にサブバンド係数が重要とされるビットプレーンを識別して、ゼロプレーンの不必要な符号化を避けるようにする。
【００７２】
拡張層のためのサブバンドベースの符号化技術
１．有意（significance）情報もしくは微細化（refinement）情報
符号化により各係数ごとに２つの状態すなわち有意状態と微細化状態とが区別される。この場合、１つの係数はそれにとって有意な情報が存在しなくなるまで、つまり再構成にあたりその係数がゼロにマッピングされることになるまで、有意状態にある。ここでその有意性の指示が待ち受けられ、その際、係数はｋ番目のビットプレーンにおいてその振幅ａが
２k≦｜ａ｜＜２k+1
の範囲にあるとき有意になる。第１回目に「１」が送信されると、係数はこの「１」の符号化後にその状態を変化させ、係数は微細化状態に移行して、すべての後続のビットが微細化ビットとして表される。
【００７３】
係数の目下の状態はバイナリ値の有意マトリックスによって記述される。これは継続的に講師更新される。このマトリックス中の「１」は、係数がすでにその有意性を指示してしまっており、したがって微細化状態にあることを意味する。また、０は有意状態に対応し、つまりその係数にとって有意性が待ち受けられている。
【００７４】
有意マトリックスに基づき、目下符号化すべきビットを（フラクタルビットプレーン）のどの実行処理においてどのルーチンで処理すべきかが判定される。この場合、有意マトリックスは１つのビットの符号後、ただちに更新される。
【００７５】
拡張層における符号化において残留誤差を対象としているので、符号化のため基本層からできるかぎり多くの情報を利用するのが重要である。つまりたとえば、拡張層において符号化の開始にあたり有意マトリックスを基本層からの有意情報によって初期化するのが有効である。
【００７６】
２．符号化ツール
係数およびその状態の周囲に依存して目下のビットを符号化するため様々なルーチンが用いられる。ここで共通することは、すべてのルーチンはバイナリシンボルの適応算術符号化を利用することであり、その際、コンテクスト形成によりルーチンの効率が適切なやり方でサポートされる。
【００７７】
有意ルーチン（significance routine）：
有意情報の符号化はコンテクスト形成により行われ、これにはそのつど目下符号化すべき係数のすぐ周囲からの有意状態が算入される。
【００７８】
極性符号ルーチン：
極性符号情報の符号化にあたり、目下符号化すべき係数のすぐ周囲の極性符号情報から成るコンテクストが利用される。しかしこのルーチンが呼び出されるのは、係数が初回にその有意性を示したときだけである。
【００７９】
非有意のゼロをまとめるルーチン：
あるビットプレーンにおける有意なままのゼロにおいて有意情報を効率的に符号化するために、ゼロスペース（ゼロツリー）もしくはランレングスを用いることができる。
【００８０】
微細化ルーチン（refining routine）：
微細化ビットの符号化は上方のビットプレーンにおいて行われ、つまり最初に有意が現れた後、コンテクスト形成により行われ、これには隣り合う係数の有意状態が関与する。その下に位置するビットプレーンにおいては１つの適応モデルだけが用いられる。
【００８１】
３．フラクタルビットプレーンのコンセプト
慣用のビットプレーン符号化器は、１つの実行処理における適切なルーチンにより１つのビットプレーンのビットを相前後して符号化する。フラクタルビットプレーンの着想によれば、複数の実行処理において目下符号化すべきビットプレーンをスキャンし、それらの状態とそれらの周囲に従い１つのフラクタルビットプレーンにビットを割り当てる。
【００８２】
したがって１つのバンド内の基礎を成すスキャン順序よりも所定の重要性の方が優先される（場所よりも優先）。ＲＤファンクション（RD = Rate Distortion）に強く最適に影響を及ぼすことの予期される情報を、まずはじめに送信すべきである。このコンセプトによってはじめて、１つのビットプレーン内で最適なＲＤカットオフポイントをみつけることもでき、つまりは細分性を高めることもできる。
【００８３】
有利にはビットプレーンごとに少なくとも３つの実行処理がある。１つのビットプレーンにおける最初の実行処理により、係数が有意な周辺に存在しているという条件のもとでのみ有意情報が符号化される。２番目の実行処理において細分化情報そのものが符号化される一方、３つめの処理において、まだ欠けている残りの有意情報が符号化される。３つの実行処理すべてに上述のような個々の符号化ルーチンが割り当てられる。
【００８４】
択一的に、最後の２つの実行処理を順序を変えて実行してもよい。
【００８５】
４．個々のサブバンドもしくは細分の処理順序
後処理２０５または３０５内であとからＲＤ最適化する可能性がないのであれば、個々のバンドもしくは成分の処理順序ひいてはそれらに対応するビットストリーム中の配分を定める必要がある。バンド配置に関しては、ジグザグスキャンが適しているとみなすことができる。
【００８６】
補足的レート／歪み最適化（後処理）
効率を高めるための別のツールはあとから補足的にレート／歪み最適化を行うことである。補足的にとはこの事例では、本来の符号化後にビットストリーム中の個々の符号セグメントを新たに配列しなおすことである。このコンセプトの前提となるのは、ビットストリームが（独立した符号化により）符号セグメントに分解可能であり、かつ個々のセグメントのレート／歪み特性に関する情報が存在することである。この場合、符号セグメントのサイズはスケーラビリティの細かさに作用を及ぼす。
【００８７】
図７には、ブロックベースのブロック符号化法を実施するための回路が示されている。時間的に相前後するディジタル化画像をもつ符号化すべきビデオデータストリームは画像符号化ユニット１２０１へ供給される。ディジタル化画像はマクロブロック１２０２に分割され、ここで各マクロブロックは１６×１６個の画素をもつ。マクロブロック１２０２には４つの画像ブロック１２０３，１２０４，１２０５，１２０６が含まれており、ここで各画像ブロックは８×８個の画素をもち、それらの画素にはルミナンス値（輝度値）が割り当てられている。さらに各マクロブロック１２０２には２つのクロミナンスブロック１２０７，１２０８が含まれており、それらの画素にはクロミナンス値（色差値）が割り当てられている。
【００８８】
択一的に各画像ブロックに４×４個の画素サイズをもたせてもよい。この場合にはそれに応じてマクロブロックに１６個の画像ブロックが含まれる。これは有利にはＨ．２６Ｌテストモデルにおいて使用される。
【００８９】
各画像ブロックは変換符号化ユニット１２０９へ供給される。差分画像符号化にあたり、時間的に先行する画像の画像ブロックにおける符号化すべき値が目下符号化すべき画像ブロックから減算され、差分画像情報１２１０だけが変換符号化ユニット（離散コサイン変換ＤＣＴ）１２０９へ供給される。この目的で接続ライン１２３４を介して、目下のマクロブロック１２０２が動き予測ユニット１２２９へ伝送される。変換符号化ユニット１２０９において、符号化すべき画像ブロックつまり差分画像ブロックのためにスペクトル係数１２１１が形成され、量子化ユニット１２１２へ供給される。量子化されたスペクトル係数１２１３はスキャンユニット１２１４へも供給されるし、帰還経路内の逆量子化ユニット１２１５へも供給される。たとえばジグザグスキャン方式などのスキャン方式が実行された後、スキャンされたスペクトル拡散係数１２３２に対し、エントロピー符号化がそのために設けられたエントロピー符号化ユニット１２１６において実行される。エントロピー符号化されたスペクトル係数は符号化画像データ１２１７としてチャネルを介して、有利には有線または無線区間を介して、復号器へ伝送される。
【００９０】
逆量子化ユニット１２１５において、量子化されたスペクトル係数１２１３の逆量子化が行われる。このようにして得られたスペクトル係数１２１８は逆変換符号化ユニット１２１９（逆離散コサイン変換ＩＤＣＴ）へ供給される。再構成された符号化値（差分符号化値とも称する）１２２０は、差分画像モードにおいて加算器１２２１へ供給される。加算器１２２１はさらに画像ブロックの符号化値も受け取り、これは時間的に先行する画像から動き補償がすでに実行された後で得られる。加算器１２２１により再構成された画像ブロック１２２２が形成され、画像メモリ１２２３内に格納される。
【００９１】
この画像メモリ１２２３から、再構成された画像ブロック１２２２のクロミナンス値１２２４が動き補償ユニット１２２５へ供給される。輝度値１２２６のために補間がそのために設けられた補間ユニット１２２７において行われる。この補間に基づき個々の画像ブロックに含まれている輝度値の個数が有利には２倍にされる。すべての輝度値１２２８は動き補償ユニット１２２５にも動き予測ユニット１２２９にも供給される。動き予測ユニット１２２９はさらに接続ライン１２３４を介して、そのつど符号化すべきマクロブロック（１６×１６個の画素）の画像ブロックを受け取る。動き予測ユニット１２２９において、補間された輝度値を考慮して動き予測が行われる（「半画素ベースの動き予測」）。有利には動き予測において、目下符号化すべきマクロブロック１２０２と時間的に先行する画像から再構成されたマクロブロックの個々の輝度値における絶対的な差が求められる。
【００９２】
動き予測の結果として動きベクトル１２３０が得られ、この動きベクトル１２３０によって、時間的に先行する画像から選択されたマクロブロックと符号化すべきマクロブロック１２０２との位置的なずれが表される。
【００９３】
動き予測ユニット１２２９により求められたマクロブロックに関して輝度情報もクロミナンス情報もこの動きベクトル１２３０の分だけずらされて、マクロブロック１２０２の符号化値から減算される（デー多経路１２３１参照）。
【００９４】
図８にはプロセッサユニットＰＲＺＥが描かれている。このプロセッサユニットＰＲＺＥはプロセッサＣＰＵとメモリＭＥＭと入出力インタフェースＩＯＳとを有しており、このインタフェースはインタフェースＩＦＣを介して様々なやり方で利用される。グラフィックインタフェースを介して出力をモニタＭＯＮで見たり、および／またはプリンタＰＲＴでプリントアウトされる。入力はマウスＭＡＳまたはキーボードＴＡＳＴによって行われる。さらにプロセッサユニットＰＲＺＥはデータバスＢＵＳを有しており、これによりメモリＭＥＭ、プロセッサＣＰＵおよび入出力インタフェースＩＯＳの接続が保証される。さらにデータバスＢＵＳに、付加的なコンポーネントたとえば付加的なメモリ、データ記憶装置（ハードディスク）あるいはスキャナなどをつなげることができる。
【符号の説明】
【００９５】
１０１ 第１の画像
１０２ 画像変換部
１０３ 変換係数を取得するブロック
１０４ 量子化部
１０５ エントロピー符号化部
１０６ 逆量子化ブロック
１０９ 第２の画像
１１０ 第１の残留誤差情報
１１１ 第２の残留誤差情報
２０１ 差分画像
２０２ サブバンド分解部
２０４ エントロピー符号化部
２０５ 後処理部
【特許請求の範囲】
【請求項１】
画像シーケンスの符号化方法において、
ａ）画像シーケンスに対し基本情報と付加情報を求めるために、
１）基本情報を情報源符号化方式に基づき求め、該情報源符号化により前記画像シーケンスと符号化済み画像シーケンスとの間で残留誤差情報が生成されるステップと、
２）該残留誤差情報を段階的に表すため、該残留誤差情報を複数の周波数領域に分割し段階的にスケーリングすることにより付加情報を生成するステップと、
を実行し、
ｂ）前記の基本情報と付加情報とに基づき画像シーケンスを符号化し、該付加情報によって符号化品質の漸進的改善を行うことを特徴とする、
画像シーケンスの符号化方法。
【請求項２】
請求項１記載の方法に従い符号化された画像シーケンスの復号方法において、
画像シーケンスの各画像を前記の基本情報と付加情報とに基づき復元することを特徴とする復号化方法。
【請求項３】
画像シーケンスの符号化装置において、
プロセッサユニットが設けられており、該プロセッサユニットは、
ａ）画像シーケンスに対し基本情報と付加情報を求めるために、
３）情報源符号化方式に基づき基本情報を求め、該情報源符号化により前記画像シーケンスと符号化済み画像シーケンスとの間で残留誤差情報が生成されるステップと、
４）残留誤差情報を段階的に表すため、該残留誤差情報を複数の周波数領域に分割し段階的にスケーリングすることにより付加情報を生成するステップと、
を実行し、
ｂ）前記の基本情報と付加情報とに基づき画像シーケンスを符号化し、該付加情報によって符号化品質の漸進的改善を行うことを特徴とする、
画像シーケンスの符号化装置。
【請求項４】
画像シーケンスの復号装置においてプロセッサユニットが設けられており、該プロセッサユニットは、画像シーケンスの各画像を前記の基本情報と付加情報とに基づき復元することを特徴とする、
画像シーケンスの復号化装置。
【請求項１】
画像シーケンスの符号化方法において、
ａ）画像シーケンスに対し基本情報と付加情報を求めるために、
１）基本情報を情報源符号化方式に基づき求め、該情報源符号化により前記画像シーケンスと符号化済み画像シーケンスとの間で残留誤差情報が生成されるステップと、
２）該残留誤差情報を段階的に表すため、該残留誤差情報を複数の周波数領域に分割し段階的にスケーリングすることにより付加情報を生成するステップと、
を実行し、
ｂ）前記の基本情報と付加情報とに基づき画像シーケンスを符号化し、該付加情報によって符号化品質の漸進的改善を行うことを特徴とする、
画像シーケンスの符号化方法。
【請求項２】
請求項１記載の方法に従い符号化された画像シーケンスの復号方法において、
画像シーケンスの各画像を前記の基本情報と付加情報とに基づき復元することを特徴とする復号化方法。
【請求項３】
画像シーケンスの符号化装置において、
プロセッサユニットが設けられており、該プロセッサユニットは、
ａ）画像シーケンスに対し基本情報と付加情報を求めるために、
３）情報源符号化方式に基づき基本情報を求め、該情報源符号化により前記画像シーケンスと符号化済み画像シーケンスとの間で残留誤差情報が生成されるステップと、
４）残留誤差情報を段階的に表すため、該残留誤差情報を複数の周波数領域に分割し段階的にスケーリングすることにより付加情報を生成するステップと、
を実行し、
ｂ）前記の基本情報と付加情報とに基づき画像シーケンスを符号化し、該付加情報によって符号化品質の漸進的改善を行うことを特徴とする、
画像シーケンスの符号化装置。
【請求項４】
画像シーケンスの復号装置においてプロセッサユニットが設けられており、該プロセッサユニットは、画像シーケンスの各画像を前記の基本情報と付加情報とに基づき復元することを特徴とする、
画像シーケンスの復号化装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１５１８９４（Ｐ２０１２−１５１８９４Ａ）
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願番号】特願２０１２−８２１７９（Ｐ２０１２−８２１７９）
【出願日】平成２４年３月３０日（２０１２．３．３０）
【分割の表示】特願２００１−５８３０５１（Ｐ２００１−５８３０５１）の分割
【原出願日】平成１３年５月３日（２００１．５．３）
【出願人】（３９００３９４１３）シーメンス アクチエンゲゼルシヤフト (2,104)
【氏名又は名称原語表記】Ｓｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ
【住所又は居所原語表記】Ｗｉｔｔｅｌｓｂａｃｈｅｒｐｌａｔｚ ２， Ｄ−８０３３３ Ｍｕｅｎｃｈｅｎ， Ｇｅｒｍａｎｙ
【Ｆターム（参考）】
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願日】平成２４年３月３０日（２０１２．３．３０）
【分割の表示】特願２００１−５８３０５１（Ｐ２００１−５８３０５１）の分割
【原出願日】平成１３年５月３日（２００１．５．３）
【出願人】（３９００３９４１３）シーメンス アクチエンゲゼルシヤフト (2,104)
【氏名又は名称原語表記】Ｓｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ
【住所又は居所原語表記】Ｗｉｔｔｅｌｓｂａｃｈｅｒｐｌａｔｚ ２， Ｄ−８０３３３ Ｍｕｅｎｃｈｅｎ， Ｇｅｒｍａｎｙ
【Ｆターム（参考）】
[ Back to top ]