可変サブバンド処理を行う圧縮レート制御システム及び方法
本発明のシステム、方法及びコンピュータプログラムプロダクトは、複数の並列サブバンドを介してデータストリームを処理し、この際、第１のサブバンドが第２のサブバンドとは異なるようにデータストリームを処理するようにすることにより、データ圧縮において微細なレート制御を行うようにする。従来のように全ての係数に対し１つの共通のシフトパラメータを提供する代わりに、別々の各ゼロラン圧縮記憶領域、すなわちパイルに対し別々のシフト量子化パラメータを提供しうる。このような各記憶領域、すなわちパイルに対するパラメータ値は、圧縮した出力ファイル内に記録しうる。別々のシフト量子化パラメータは、データを圧縮している際に動的に調整することもできる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデータ圧縮に関するものであり、特に圧縮出力のビットレートを制御することに関するものである。
【０００２】
本出願は、
“RATE CONTROL WITH VARIABLE SUBBAND QUANTIZATION ”の名称で２００４年９月２１日に出願された米国特許出願第60/612,311号と、
“SPLIT TABLE ENTROPY CODING”の名称で２００４年９月２２日に出願された米国特許出願第60/612,652号と、
“PERMUTATION PROCRASTINATION ”の名称で２００４年９月２２日に出願された米国特許出願第60/612,651号と、
“MOBILE IMAGING APPLICATION, DEVICE ARCHITECTURE, AND SERVICE PLATFORM ARCHITECTURE”の名称で２００４年１０月１２日に出願された米国特許出願第60/618,558号と、
“VIDEO MONITORING APPLICATION, DEVICE ARCHITECTURES, AND SYSTEM ARCHITECTURE”の名称で２００４年１０月１３日に出願された米国特許出願第60/618,938号と、
“MOBILE IMAGING APPLICATION, DEVICE ARCHITECTURE, AND SERVICE PLATFORM ARCHITECTURE AND SERVICES ”の名称で２００５年２月１６日に出願された米国特許出願第60/654,058号と
の仮出願の優先権を主張するものであるが、これらの各仮出願は全て参考のために記載したものである。
【０００３】
本出願は、
“MULTIPLE CODEC-IMAGER SYSTEM AND METHOD ”の名称で２００４年９月１６日に出願された米国特許出願第10/944,437号であり、２００５年５月１９日に公開された米国特許出願公開第US2005/0104752号の一部継続出願、
“SYSTEM, METHOD AND COMPUTER PROGRAM PRODUCT FOR IMAGE AND VIDEO TRANSCODING ”の名称で２００３年４月１７日に出願された米国特許出願第10/418,4649号であり、２００３年１１月６日に公開された米国特許出願公開第US2003/0206597号の一部継続出願、
“WAVELET TRANSFORM SYSTEM, METHOD AND COMPUTER PROGRAM PRODUCT ”の名称で２００３年４月１７日に出願された米国特許出願第10/418,4649号であり、２００３年１０月２３日に公開された米国特許出願公開第US2003/0198395号の一部継続出願、
“PILE-PROCESSING AND METHOD FOR PARALLEL PROCESSORS”の名称で２００３年５月２８日に出願された米国特許出願第10/447,455号であり、２００３年１２月１１日に公開された米国特許出願公開第US2003/0229773号の一部継続出願、
“CHROMA TEMPORAL RATE REDUCTION AND HIGH-QUALITY PAUSE SYSTEM AND METHOD ”の名称で２００３年５月２８日に出願された米国特許出願第10/447,514号であり、２００３年１２月２５日に公開された米国特許出願公開第US2003/0235340号の一部継続出願、
“SYSTEM AND METHOD FOR TEMPORAL OUT-OF-ORDER COMPRESSION AND MULTI-SOURCE COMPRESSION RATE CONTROL ”の名称で２００４年９月２９日に出願された米国特許出願第10/955,240号であり、２００５年５月１９日に公開された米国特許出願公開第US2005/0105609号の一部継続出願
であるが、これらの一部継続出願は全て参考のために記載したものである。参考のために記載するが、本出願には、
“MULTIPLE CODEC-IMAGER SYSTEM AND METHOD ”の名称で２００４年１１月３０日に発行された米国特許 6,825,780号及び
“SYSTEM AND METHOD FOR A DYADIC-MONOTONIC(DM) CODEC”の名称で２００５年１月２５日に発行された米国特許 6,847,317号
をも関連している。
【背景技術】
【０００４】
静止画像及びビデオをそのままデジタル化するには多くの“ビット”を必要とする。従って、記録、転送及びその他の使用の為には、画像及びビデオを圧縮するのが一般的である。殆どの、画像及びビデオコンプレッサは、基本的なアーキテクチャを共有してこれに変化を与えている。この基本的なアーキテクチャは、図１に示すように、３段、すなわち、変換段と、量子化段と、エントロピーコーディング段とを有する。
【０００５】
画質と、プロセッサ条件（すなわち、費用／電力消費量）と、圧縮比（すなわち、得られるデータ転送速度）とのバランスをとることにより、データ通信のストリーム（流れ）に必要とするデータ転送速度を低減させるのに、ビデオ“コーデック(codec )”（コンプレッサ／デコンプレッサ）が用いられている。現在得られるデータ圧縮手段は、異なるレンジのトレードオフを提供するとともに、各々が特定の分野の必要性を満足するように最適化されている複数のコーデックプロファイルを生ぜしめる。
【０００６】
ビデオコンプレッサにおける変換段の目的は、ソース画像又はシーケンスにおける局部的な類似性及びパターンの利点をとることにより、ソース画像のエネルギー又は情報をできるだけコンパクトな形態に収縮させることである。コンプレッサは、“ティピカル”入力で良好に動作するとともにこれらの欠落を無視して、“ランダム”又は“パスオロジカル（pathological）”入力を圧縮するように設計されている。
【０００７】
ＭＰＥＧ‐２のような多くの画像圧縮及びビデオ圧縮方法は、変換段として離散コサイン変換（ＤＣＴ）を用いている。
【０００８】
ＭＰＥＧ−４テクスチュアのような幾つかのより新規な画像圧縮及びビデオ圧縮方法は、変換段として種々のウェーブレット変換を用いている。
【０００９】
ウェーブレット変換には、一次元又はそれよりも多い次元の何れかで一組のデータにウェーブレットフィルタ対を繰り返し適用することが含まれている。画像圧縮の場合、２Ｄ（水平及び垂直）ウェーブレット変換を用いることができる。ビデオデータストリームの場合、３Ｄ（水平、垂直及び時間）ウェーブレット変換を用いることができる。
【００１０】
従来技術の図２には、現在得られる種々の圧縮アルゴリズムのうちのトレードオフの一例１００を示す。図示するように、このような圧縮アルゴリズムは、ウェーブレットに基づくコーデック１０２と、種々のＭＰＥＧビデオ分布プロファイルを含む、ＤＣＴに基づくコーデック１０４とを有する。
【００１１】
２Ｄ及び３Ｄウェーブレットは、ＤＣＴに基づくコーデックアルゴリズムとは相違して、その画質が良く、圧縮比に融通性がある為に、高く評価されており、依然として画像の標準化となっているＪＰＥＧ２０００に対しウェーブレットアルゴリズムを採用することをＪＰＥＧ委員に指示するものである。しかし、残念ながら、殆どのウェーブレットを実行するのに、極めて複雑なアルゴリズムが用いられており、代案のＤＣＴに比べて多量の処理電力が必要となる。更に、ウェーブレットは３Ｄウェーブレットを特に困難とする独特な課題を時間圧縮に対し課する。
【００１２】
上述した理由で、ウェーブレットは、ＭＰＥＧのような高容量の標準規格であるコーデックよりも価格的に優位性のある利点を提供するものではなく、従って、すき間産業で採用されているにすぎない。従って、３つの主たる市場区分に主眼を置いた低電力及び低価格に最適な３Ｄウェーブレットを商業的に実現可能にする必要がある。
【００１３】
例えば、小型ビデオカメラが広く用いられるようになってきており、信号をデジタル処理する利点が明白となっている。例えば、幾つかの国での携帯電話市場の最も成長の速い部分は、画像及びビデオクリップ能力を有する電話に対するものである。殆どのデジタルスチルカメラはビデオクリップ特性を有している。携帯電話市場では、これらのスチル画像及び短いビデオクリップを伝送するのに、装置のバッテリの容量をより多くすることを要求している。現存のビデオ符号化の標準規格及びデジタル信号プロセッサが更に多くの負担をバッテリに加えている。
【００１４】
他の新規な適用分野は、視聴者が生のテレビジョン及びビデオ録画プログラミングを一時停止しうるようにするパーソナルビデオレコーダ（ＰＶＲ）である。これらの装置は、ビデオ記録するデジタルハードディスク記録装置を用いており、ケーブルからのアナログビデオをビデオ圧縮する必要がある。これらの特徴をピクチュア・イン・ピクチュア（画像中の画像）及びウオッチ・ファイル・レコード（記録中の視聴）として提供するためには、これらの装置が複数のビデオ圧縮エンコーダを必要とする。
【００１５】
成長している他の適用分野は、監視及び警備ビデオ用のデジタルビデオレコーダ（ＤＶＲ）である。この場合も、記録すべき入力ビデオの各チャネルに対し圧縮符号化が必要となる。便利で融通性のあるデジタルネットワーク伝送アーキテクチャの利点をとるためには、ビデオがしばしばカメラにおいてデジタル化される。旧来の多重化レコーダアーキテクチャの場合でも、多チャネル圧縮エンコーダが用いられている。
【００１６】
低電力及び低価格に最適で商業的に実現可能な圧縮機構により利益を得る多数の他の市場が存在すること、勿論である。
時間的圧縮
【００１７】
ビデオ圧縮法は通常、ビデオシーケンス（動画像列）の各画像を別々に圧縮する以上のことをする。ビデオシーケンスにおける画像はしばしば、時間的に近いシーケンス中の他の画像に類似している。圧縮はこの類似性を考慮することにより改善しうる。このようにすることを“時間的圧縮”と称されている。ＭＰＥＧで用いられている時間的圧縮の１つの通常の方法は、動き検出（モーションサーチ）法である。この方法では、圧縮される画像の各領域が、前の画像における領域を検出するパターンとして用いられる。最も一致したものを選択し、これとの相違のみを圧縮することにより領域を表す。
【００１８】
時間的圧縮の他の方法は、空間（水平及び垂直）方向における、しかし２つ以上の画像の対応する画素又は係数に作用するウェーブレットを用いるものである。このウェーブレットは、３“方向”である水平、垂直及び時間に対する３Ｄウェーブレットと称される。
【００１９】
上述した何れかの方法又は他の方法による時間的圧縮は、当該画像とその前の画像とを一緒に圧縮する。一般には、多数の画像が時間的に一緒に圧縮される。本発明の例では、この画像の組を画像群、すなわちＧＯＰ（Group of Pictures ）と称する。
サブバンド
【００２０】
ウェーブレット変換の出力には、一般に幾つかの画素に亘って共通な情報である“ローパス”又は“スケール（拡大縮小）”又は“加算”情報を表す係数が含まれている。更に、この出力には、一般に画素がこれらの共通な情報からいかに相違しているかを表す“ハイパス”又は“ウェーブレット”又は“差”情報も含まれている。ウェーブレットフィルタを繰り返し適用することにより、出力におけるこれらの種類の情報の組み合わせを種々に異ならせる。個々の各組み合わせが“サブバンド”と称されている。この技術用語は周波数領域の観点から生じたものであるが、一般には、周波数帯域に正確に一致するものではない。
【００２１】
ウェーブレット変換は、その出力の異なるサブバンドに極めて異なる値分布を生ぜしめる。原画素に亘って広がった情報はサブバンドの幾つかに集中され、他のサブバンドを殆どゼロにする。このことが圧縮にとって望ましいことである。
ゼロラン（Run-of-Zeros）圧縮
【００２２】
ある画像及びビデオ圧縮アルゴリズムにおける中間工程は、“ピリング”により実行しうるゼロラン消去工程である（同時継続出願である米国特許出願第2003/0229773号明細書参照）。ゼロラン工程では、サブバンド（又はサブバンド群）の係数がそのままで極めて有効に圧縮される。このゼロラン工程により、ゼロ値の連続がデータから消去され、これらのゼロ値が生じていた記録は維持されている。ゼロラン消去工程はアルゴリズム中のいかなる個所でも適用しうる。一例では、量子化段の直後でエントロピーコーディングの前にこのゼロラン消去工程を適用する。ゼロラン後は、後続の工程をより一層迅速に計算できる。その理由は、これらの工程は、重要な（ゼロでない）情報に関し動作させる必要があるだけである為である。
【００２３】
ピリングは、多数の値を並列に処理する計算エンジンに関する大きな値を有している。その理由は、これが、利用可能な並列性の利点が得られるゼロ消去を行う方法である為である。これに対し、他の方法のゼロラン消去（ランレングスコーディング）は代表的に、エントロピーコーディング中にゼロを消去するのに要するのと同じ程度の時間を要する。
各サブバンド当たりの記憶領域
【００２４】
本発明によるある圧縮実施例では、各サブバンドに対し又は類似のサブバンドの群に対し別々のゼロラン圧縮段領域、すなわちパイルを構成するか、或いはある場合には１つのサブバンドに対し複数の領域を構成するのが有利である。利点は、サブバンドの結果やアルゴリズムの他の細部が得られるようになるシーケンスから得られる。従って、１つの画像又はＧＯＰに対する中間表示領域として１つの記憶領域が存在するのではなく、一組の記憶領域、すなわちパイルが存在する。
レート制御
【００２５】
圧縮量、すなわち、生じる出力ビットのレートを調整する１つの方法は、計算の量子化段において廃棄する情報の量を変化させることである。量子化は通常、各係数を予め選択した数で、すなわち、“量子化パラメータ”で除算し、この除算の残りを廃棄することにより行われる。従って、計数値の範囲が同じ単一値、すなわち、除算の商により表されるようになる。
【００２６】
圧縮された画像又はＧＯＰが解凍されると、逆量子化処理工程により商に（既知の）量子化パラメータが乗算される。これにより、係数が他の計算のためのこれらのもとの値の範囲に復元される。
【００２７】
しかし、除算（又はこれと同等の乗算）は、多くの実施においては、消費電力及び時間の点で且つハードウェアの価格において高価な処理である。
【００２８】
他の方法では、量子化が、除算（又は乗算）の代わりに、２のべきである約数に制限される。このようにすることにより、２進数に関するビットシフト演算により量子化を実行しうるという利点が得られる。シフト演算は、多くの実施において極めて廉価な演算である。実施の一例は、集積回路（ＦＰＧＡ又はＡＳＩＣ）である。すなわち、乗算回路は極めて大型となるが、シフタ回路はより一層小型となる。又、多くのコンピュータでは、乗算を達成するのに必要とする時間が長くなるか、又はシフト演算に比べて並列性の実行が少なくなる。
【００２９】
シフト演算による量子化は計算を極めて有効にするが、ある目的に対しては欠点も有する。すなわち、圧縮レート（出力ビットレート）を粗調整しうるにすぎない。本発明の観点によれば、実際に、量子化のシフトパラメータを可能な最小量、すなわち、＋１或いは−１だけ変化させることにより、得られるビットレートをほぼ２倍変化させるようになるということが分かる。このようになることは、ある種の圧縮分野に対しては完全に許容しうる。しかし、他の分野にとっては、より一層微細な制御が必要となる。
【００３０】
従って、シフト演算による量子化及びその関連の効率を破棄することなく、微細なレート制御の要求を満足させる必要がある。
概要
【００３１】
データ圧縮システムにおける微細レート制御のための本発明の観点によるシステム、方法及びコンピュータプログラムプロダクトを開示する。データストリームを複数の並列サブバンドにより量子化し、この場合、第１のサブバンドのデータを第２のサブバンドのデータとは異なるように処理する。更に、本発明の観点によれば、画像の個々の各サブバンドを量子化工程で個別の方法で処理しうるようにする。更に、個々のサブバンドの群を同一の又は類似の方法で処理しうるようにするとともに、同じ画像に関連するサブバンドの他の群を他の同一の又は類似の方法で処理しうるようにする。更に、本発明の他の観点によれば、個々の各サブバンドを量子化工程中にその独自の方法で処理しうるようにする。
【００３２】
本発明の追加の観点によれば、サブバンドデータの異なる、又は同一の、又は類似の処理を、変換工程、又は量子化工程、又はエントロピーコーディング工程の何れかで、或いは、変換工程と量子化工程とエントロピーコーディング工程との各々で行いうるようにする。更に、全てのサブバンドデータの独特の処理を、変換工程と量子化工程とエントロピーコーディング工程との各々で行い、その結果、第１のサブバンドのデータが量子化工程中に第１の方法で処理され、第２のサブバンドのデータが量子化工程中に第２の方法で処理されるとともに、更に、その結果得られた第１のサブバンドのデータがエントロピーコーディング工程中に第３の方法で処理され、しかも得られた第２のサブバンドのデータがエントロピーコーディング工程中に第４の方法で処理されるようにしうる。従って、個々のサブバンドは変換工程、量子化工程及びエントロピーコーディング工程中に種々の方法で処理しうることが分かる。更に、サブバンドの幾つかの群を第１の同一又は類似の方法で処理するとともに、サブバンドの他の幾つかの群を第２の同一又は類似の方法で処理するようにすることもできる。
【００３３】
本発明の一例では、従来のように全ての係数に対し１つの共通のシフトパラメータを与えるようにするのではなく、別々の各ゼロラン圧縮記憶領域、すなわちパイルに対し別々のシフト量子化パラメータを与えるようにする。このような各領域、すなわちパイルに対するパラメータ値は圧縮出力ファイル内に記録することができる。このようにすることにより、シフト量子化の効果を破棄することなしに、従来技術にみられる粗さ問題を解決する。
【００３４】
本発明は、量子化パラメータを全ての係数に均一に適用することにより生じる最も近い２つのレート間に有効ビットレートの範囲を定め、これにより圧縮を微細制御するようにする。更に、得られる計算効率は、ほぼ正確に、純粋なシフト量子化の効率となる。その理由は、代表的に、各係数に適用される演算は依然としてシフト演算である為である。
【００３５】
本発明の他の観点によれば、別々のシフト量子化パラメータを、データを圧縮している際に動的に調整する。このような調整は、圧縮処理に沿うどこかのデータストリームから取出したフィードバック又はフィードフォワード測定から得られる。或いはまた、入力データ又は出力データのパラメータの変化から調整が得られるようにしうる。例えば、（携帯電話の信号強度が変化している場合のような）もとの画質又は出力帯域幅の利用可能性は、“オンザフライ”で別々のシフト量子化パラメータを個々に変化させることにより圧縮処理に微調整を与えうるようになる。
【実施例】
【００３６】
図１は、本発明の一実施例によるデータ圧縮／解凍用フレームワーク２００を示す。このフレームワーク２００には、コーダ部分２０１と、デコーダ部分２０３とが含まれており、これらが相俟って“コーデック”を構成している。ファイル２０８内に記憶するデータを圧縮するために、コーダ部分２０１には、変換モジュール２０２と、量子化器２０４と、エントロピーエンコーダ２０６とが含まれている。このようなファイル２０８の解凍を行うために、デコーダ部分２０３には、エントロピーデコーダ２１０と、逆量子化器２１２と、逆変換モジュール２１４とが含まれており、使用データ（すなわち、ビデオデータ等の場合には、見るためのデータ）を解凍する。
【００３７】
使用に際しては、変換モジュール２０２が、非相関の目的で（ビデオデータの場合には）複数の画素の可逆変換、しばしば線形変換を行う。次に、量子化器２０４が、変換値の量子化を行い、その後エントロピーエンコーダ２０６が量子化変換係数のエントロピーコーディングに関与しうるようになる。
【００３８】
シフト量子化の効果を破棄することなしに、上述した従来技術の粗さ問題を解決するために、量子化を一般化させる。本発明によれば、前述したように全ての係数に対し１つの共通のシフトパラメータを用いる代わりに、別々の各ゼロラン圧縮記憶領域、すなわちパイルに対し別々のシフトパラメータを適用するようにする。このような各領域、すなわちパイルに対するパラメータ値は、圧縮出力ファイル中に記録する。パイルは、圧縮されたゼロ（又は他の共通値）の列でデータが表わされているデータ記憶構造である。サブバンドは数個の別々のパイル、すなわち記憶領域を有しうることに注意すべきである。或いはまた、パイル、すなわち記憶領域は数個の別々のサブバンドを有しうる。
【００３９】
この解決策によれば、量子化パラメータを全ての係数に均一に適用することにより得られる最も近い２つのレート間に有効ビットレートの範囲が定められる。例えば、１つ（サブバンドｘ）を除く全てのサブバンドが同じ量子化パラメータＱを用い、この１つ（サブバンドｘ）がＱ＋１を用いる場合を考慮する。量子化工程から得られる全ビットレートは、量子化で全てのサブバンドに対しＱを用いた場合に比べて減少するが、全てのサブバンドに対しＱ＋１を用いた場合のようには減少しない。これにより、Ｑ又はＱ＋１を均一に適用することにより達成されるレート間の中間ビットレートを提供し、圧縮を良好に微細制御する。
【００４０】
この場合の計算効率は殆ど正確に、純粋なシフト量子化の計算効率となる。その理由は、代表的に、各係数に適用される演算が依然としてシフト演算である為である。本例では、いかなる個数のサブバンドをも用いることができる。４〜１００個のサブバンドが代表的なものである。３２個のサブバンドが最も代表的なものである。
パラメータの選択
【００４１】
上述した方法では、Ｐ個のサブバンド領域の場合、１つのサブバンド領域における量子化パラメータを増大させることにより、全てのサブバンドに対し量子化パラメータを増大させる場合に比べ、出力レートを１／Ｐ倍しか影響を及ぼさないものと推測しうる。しかし、通常はこのようにはならない。その理由は、別々のサブバンド領域が通常有する重要情報の量は極めて異なっている為である。従って、（他のサブバンドに比べて）比較的多量の重要な係数を有するサブバンドに特定の量子化パラメータを適用することにより、他のサブバンドに比べて比較的少量の重要な係数を有する別のサブバンドに同じ量子化パラメータを適用する場合よりも大きな影響を量子化の正味の有効なビットレートに及ぼす。
【００４２】
本発明の種々の実施例では、変更しうるのはエントロピーコーディング工程において適用されるパラメータのみではなく、別々の記憶領域に適用されるエントロピーコーディング技術の実際の選択を変更しうることに注意すべきである。例えば、１つの記憶領域のエントロピーコーディングに対しハフマンテーブル技術を適用しうるとともに、他の記憶領域には別のハフマンテーブル技術を適用しうる。更に、指数ゴロム（Golomb）符号化のような他の技術を第２又は第３の記憶領域に適用することができる。同様に、追加の技術又はこれら技術のパラメータを別々の記憶領域に別々に適用しうる。更に、上述した変更の各々を動的に適用しうる。
【００４３】
ある実施例では、特定の記憶領域の処理で適用された技術又はパラメータの状態に対応する兆候を記録するか、又はデコーダに伝達して圧縮信号の復号を可能にしうるようにすることにも注意すべきである。ある実施例では、圧縮で用いられた技術又はパラメータの状態を、復号される圧縮データの構造から識別しうるようにする。本発明の追加の観点によれば、エンコーダの論理に相当する同じ論理をもってデコーダをプログラミングし、デコーダがエンコーダの状態を追尾しうるようにすることができる。
【００４４】
従って、最良には所望の圧縮レートに近似する一組の量子化パラメータを選択するために、量子化が調整される領域の予想寸法と、サブバンド領域における調整の予想効果とを考慮することができる。このことは、以下に概説する処理例のような簡単な反復処理により達成することができる。
量子化パラメータの調整例１
【００４５】
一例のアルゴリズムは、初期化により与えられた一組のパラメータ、或いは前の画像又はＧＯＰから持ち越された一組のパラメータから始まる。各ゼロラン圧縮領域Ｐに対してこれらのＱ［Ｐ］を呼び出す。又、圧縮出力レートにファクタＣで表わされる所望変化をもたらす。この場合、Ｑ値を１だけ変化させると、このＱ値を用いている圧縮の部分からの出力レートにおいてファクタＦを変化させるものと仮定する。又、Ｃ＜Ｆ及び１／Ｆ＜１／Ｃであるものとする。領域は寸法Ｓ［Ｐ］を有する。このアルゴリズムの目的のために、これらの寸法は測定寸法ではなく推定値とすることができる。
【００４６】
工程１
Ｃ＝１である場合、何もせずに調整処理を終了する。
Ｃ＞１である場合、Ｄ＝Ｆ−１を設定する。
Ｃ＜１である場合、Ｄ＝（１／Ｆ）−１を設定する。
全てのサブバンド領域の寸法の合計としてのＳを計算する。
Ｔ＝Ｓを設定する。
【００４７】
工程２
量子化パラメータがまだ変更されていないサブバンド領域Ｐを選択する。
Ｔ＝Ｔ＋Ｄ・Ｓ［Ｐ］を計算する。
Ｃ＞１である場合、Ｑ［Ｐ］＝Ｑ［Ｐ］−１を設定する。
Ｃ＜１である場合、Ｑ［Ｐ］＝Ｑ［Ｐ］＋１を設定する。
【００４８】
工程３
ＴがＣ・Ｓに充分近似している場合には、調整処理を終了する。
工程２に進む。
【００４９】
上述した例の種々の改良を、例えば以下の例におけるように行うことができる。
調整例２
【００５０】
上述したアルゴリズムの工程３において、テスト“充分近似”を幾つかの方法の何れかで行うことができる。このテストの１つの簡単なものは以下の通りである。
テスト３
（Ｃ＞１及びＴ＞Ｃ・Ｓ）である場合、又は（Ｃ＜１及びＴ＜Ｃ・Ｓ）である場合、…
【００５１】
このテストにより、評価したレート調整が特定の調整を越えると直ちに反復を停止させる。
【００５２】
上述したのに代わる他の実施例は、評価したレートが特定の調整を越えた場合にその工程の直前の工程に戻るようにすることである。更に他の実施例は、特定の調整Ｃを挟む２つの工程間の選択を、例えば、特定のレートに近い方の評価を得る一方の工程を選択することにより行うようにするものである。
利点
【００５３】
調整例１のアルゴリズムの処理は、量子化変化が互いに１つの工程内に保持されるという特性を有する。Ｑ値は何れも１だけ変化するか、又は全く変化せず、変化は全て同じ方向である。この処理は、工程２におけるＰの選択に関する情報を保持して、アルゴリズムの多くの実行（すなわち、多くの順次の画像又はＧＯＰの圧縮演算）に対してその特性を維持することにより、容易に拡張させることができる。このようにすることがしばしば望まれる。その理由は、量子化の調整により、圧縮出力レートに関してのみならず、画質に関して（すなわち、圧縮処理に起因する解凍画像又はビデオにおける雑音又はアーチファクトに関して）も同様に効果を与えうる為である。
【００５４】
しかし、Ｑ値を同等の１つの工程内に保持するというこの特性は、必ずしも必要ではなく、しばしば他の事項を考慮して緩和させることができることに注意すべきである。
【００５５】
サブバンドにより処理パラメータを変えるには、上述したようにシフトパラメータを適用する代わりに、乗算又は除算或いはその他の量子化技術を用いることを含めることができる。
【００５６】
最初に“ローパス”、続いて“ハイパス”のように重要性の順番でサブバンドを導入して、Ｑ値の選択時に重要性の少ないサブバンドを最初にダウングレードさせるようにすることができる。このようにすると、画質を犠牲にして、高い全圧縮レートを選択すると、画像の基本特性を表わすサブバンドは、画像の極めて微細なディテールのみを表わすサブバンドよりも前にダウングレードされない。画像の特性に基づいてダウングレードさせるための種々のサブバンドを選択するのにルックアップテーブルを用いることもできる。例えば、特定の画像の全圧縮レートを高めるためには、その画像が“戸外のライブアクション”のような特定の種類のものである場合にサブバンドを特定の順序でダウングレードさせることができる。画像が“低レベルの照明”、“ポートレイトビデオ”、“静止画像”“景色”等のような他の種類のものである場合には、各サブバンドのＱ値を変えるためにルックアップテーブルが異なる順序及び大きさの双方又はいずれか一方を提供する。
他の実施例
【００５７】
上述したようにサブバンドの量子化パラメータに対し変更するのは、特定のデータストリームに対し予め決定した固定のものにするか、又はデータが圧縮されている際に動的に調整するようにすることができる。動的調整の一例では、出力データを図１に示す圧縮処理２０１の終了時に（すなわち、エントロピーエンコーダ２０６の後に）サンプリングしうるようにする。測定したビットレートが大きすぎる場合には、この情報を１つ以上のサブバンドのシフトパラメータを変えるアルゴリズムに帰還させて、ビットレートを所望のレベル或いは範囲に降下させるようにしうる。測定したビットレートが所望レベル又は範囲よりも低い場合には、１つ以上のサブバンドのシフトパラメータを逆方向に変えてビットレートを増大させることができる。これにより圧縮レートを低くして画質を高める。この構成による１つの利点は、画像が携帯電話回線のような固定帯域幅システムを経て伝送されるが、画質はできるだけ良好に維持されるようにするのに丁度充分に圧縮されるということである。
【００５８】
データは、圧縮処理２０１の出力側においてのみ、測定又はサンプリングする必要がない。例えば、圧縮処理２０１の入力側でデータを測定しうる。又、異なる画像或いは画像部分を、これらが圧縮処理２０１に供給される際に、より高いビットレートを生じるようにしうる。例えば、ソース画質又は寸法が増大した際に、高いビットレートを生ぜしめることができる。複数のカメラの出力を、圧縮のために１つのデータストリームに多重化するビデオ監視システムで高いビットレートを生ぜしめることもできる。用いるカメラの個数が増大する場合には、ソースデータレートが増大する。このようなフィードフォワード構造では、ソースデータレートで測定された変化に応答して量子化器２０４の下流で１つ以上のサブバンドのシフトパラメータを変化させるのが望ましい。このフィードフォワード構造を用いる１つの利点は、測定したソースデータが量子化器２０４に到達する前に、又は少なくとも前述したフィードバック構造によりパラメータが変化される場合よりもすぐに、シフトパラメータを変えることができるということである。他の利点は、フィードフォワード測定に基づいて下流で実際の処理工程を除外することができるということである。このようにすることにより、全体の処理時間を増やすか、又は電力消費量を減少させるか、又はこれらの双方を達成することができる。
【００５９】
上述したように、データを圧縮処理２０１の前又は後に測定する動的システムを用いることができる。又、データを圧縮処理２０１内の１つ以上の点で測定する類似の動的システムを施行することができる。例えば、シフトパラメータに影響を及ぼすのに用いるデータを、変換段２０２内で、又はこの変換段２０２と量子化器段２０４との間で、又は量子化器段２０４内で、又は量子化器段２０４とエントロピーコーダ段２０６との間で、又はエントロピーコーダ段２０６内で、又はこれらの任意の組み合わせで測定或いはサンプリングすることができる。処理中データを測定するのが早くなればなるほど、このデータに基づいて変更を行うのを速くすることができる。処理中データを測定するのが遅くなればなるほど、所望の出力データがより一層正確になる確率が高くなる。同様に、代表的な変換段２０２、量子化器段２０４及びエントロピーコーダ段２０６のアーキテクチャを有さない圧縮処理全体における種々の点でデータを測定又はサンプリングすることができる。
【００６０】
本発明によれば、圧縮処理２０１におけるどこかでデータの測定を行うことなく又はサンプルをとることなくしてもシフトパラメータを動的に変化させることができる。例えば、他のパラメータを変化させることにより、圧縮処理２０１に動的変化を行うのを望ましいものとすることができる。例えば、圧縮データを１つ以上のファイル２０８内に記憶させることができる。現在のファイルの寸法が変化するか、又はファイル中のデータが容量に近づいていることを表している場合には、圧縮比を増大させ、これにより出力ビットレートを減少させてファイルスペースを節約するのが望ましい。他の例によれば、圧縮データを携帯電話回線を介して伝送しうるようにする。信号強度が増大又は減少するにつれ、それに応答して圧縮処理の特性を動的に変化させるのが望ましい。
【００６１】
上述した処理調整は動的に行う為、画像の群におけるある画像、又は１つの画像のある部分を他の画像又は他の部分と異なるように圧縮することができる。このようにすることにより、資源を極めて有効に利用しうるようにしうる。しかし、画像の同様な部分、又は隣接部分、又はこれらの双方の部分が異なるように圧縮される為に、これらの部分が顕著に相違するといったような不所望な影響も生ぜしめるおそれもある。このような影響は、相違を全てのシフトパラメータに対し１つに保つことにより改善することができる。これに代えて、又は組み合わせて、ラスタ走査ではなく、スパイラル走査を用いることもできる。多くの画像における最も重要なデータは中央の方にある為、中央部分において低い圧縮レートを用いることにより、中央部分のディテールをより微細に保つことができる。或いはまた、画像の中央、水平線、隅部等でサンプリングを行うことができる。
【００６２】
変換段２０２及びエントロピーエンコーダ段２０６は、量子化器段２０４に対する上述した例で説明したのと同様な方法で、並列サブバンドでのデータストリームの処理を行うこともできることを理解すべきである。同様に、これらの段における各サブバンドが異なる符号化技術を用いることができる。各サブバンドの処理に影響を及ぼすパラメータは、別々のサブバンドの各々において且つ別々の段２０２、２０４及び２０６の各々において静的に又は動的に調整することができる。
【００６３】
上述したことは、本発明の好適実施例を完全に説明したものであるが、種々の変更及び等価な手段を採用しうるものである。従って、上述した説明は本発明の範囲を制限するものとしてとらえるべきものではなく、本発明の範囲は特許請求の範囲により規定されるものである。
【図面の簡単な説明】
【００６４】
【図１】図１は、本発明の一実施例によるデータ圧縮／解凍用フレームワークを示すブロック線図である。
【図２】図２は、現在得られる種々の圧縮アルゴリズムのうちのトレードオフの一例を示す説明図である。
【技術分野】
【０００１】
本発明はデータ圧縮に関するものであり、特に圧縮出力のビットレートを制御することに関するものである。
【０００２】
本出願は、
“RATE CONTROL WITH VARIABLE SUBBAND QUANTIZATION ”の名称で２００４年９月２１日に出願された米国特許出願第60/612,311号と、
“SPLIT TABLE ENTROPY CODING”の名称で２００４年９月２２日に出願された米国特許出願第60/612,652号と、
“PERMUTATION PROCRASTINATION ”の名称で２００４年９月２２日に出願された米国特許出願第60/612,651号と、
“MOBILE IMAGING APPLICATION, DEVICE ARCHITECTURE, AND SERVICE PLATFORM ARCHITECTURE”の名称で２００４年１０月１２日に出願された米国特許出願第60/618,558号と、
“VIDEO MONITORING APPLICATION, DEVICE ARCHITECTURES, AND SYSTEM ARCHITECTURE”の名称で２００４年１０月１３日に出願された米国特許出願第60/618,938号と、
“MOBILE IMAGING APPLICATION, DEVICE ARCHITECTURE, AND SERVICE PLATFORM ARCHITECTURE AND SERVICES ”の名称で２００５年２月１６日に出願された米国特許出願第60/654,058号と
の仮出願の優先権を主張するものであるが、これらの各仮出願は全て参考のために記載したものである。
【０００３】
本出願は、
“MULTIPLE CODEC-IMAGER SYSTEM AND METHOD ”の名称で２００４年９月１６日に出願された米国特許出願第10/944,437号であり、２００５年５月１９日に公開された米国特許出願公開第US2005/0104752号の一部継続出願、
“SYSTEM, METHOD AND COMPUTER PROGRAM PRODUCT FOR IMAGE AND VIDEO TRANSCODING ”の名称で２００３年４月１７日に出願された米国特許出願第10/418,4649号であり、２００３年１１月６日に公開された米国特許出願公開第US2003/0206597号の一部継続出願、
“WAVELET TRANSFORM SYSTEM, METHOD AND COMPUTER PROGRAM PRODUCT ”の名称で２００３年４月１７日に出願された米国特許出願第10/418,4649号であり、２００３年１０月２３日に公開された米国特許出願公開第US2003/0198395号の一部継続出願、
“PILE-PROCESSING AND METHOD FOR PARALLEL PROCESSORS”の名称で２００３年５月２８日に出願された米国特許出願第10/447,455号であり、２００３年１２月１１日に公開された米国特許出願公開第US2003/0229773号の一部継続出願、
“CHROMA TEMPORAL RATE REDUCTION AND HIGH-QUALITY PAUSE SYSTEM AND METHOD ”の名称で２００３年５月２８日に出願された米国特許出願第10/447,514号であり、２００３年１２月２５日に公開された米国特許出願公開第US2003/0235340号の一部継続出願、
“SYSTEM AND METHOD FOR TEMPORAL OUT-OF-ORDER COMPRESSION AND MULTI-SOURCE COMPRESSION RATE CONTROL ”の名称で２００４年９月２９日に出願された米国特許出願第10/955,240号であり、２００５年５月１９日に公開された米国特許出願公開第US2005/0105609号の一部継続出願
であるが、これらの一部継続出願は全て参考のために記載したものである。参考のために記載するが、本出願には、
“MULTIPLE CODEC-IMAGER SYSTEM AND METHOD ”の名称で２００４年１１月３０日に発行された米国特許 6,825,780号及び
“SYSTEM AND METHOD FOR A DYADIC-MONOTONIC(DM) CODEC”の名称で２００５年１月２５日に発行された米国特許 6,847,317号
をも関連している。
【背景技術】
【０００４】
静止画像及びビデオをそのままデジタル化するには多くの“ビット”を必要とする。従って、記録、転送及びその他の使用の為には、画像及びビデオを圧縮するのが一般的である。殆どの、画像及びビデオコンプレッサは、基本的なアーキテクチャを共有してこれに変化を与えている。この基本的なアーキテクチャは、図１に示すように、３段、すなわち、変換段と、量子化段と、エントロピーコーディング段とを有する。
【０００５】
画質と、プロセッサ条件（すなわち、費用／電力消費量）と、圧縮比（すなわち、得られるデータ転送速度）とのバランスをとることにより、データ通信のストリーム（流れ）に必要とするデータ転送速度を低減させるのに、ビデオ“コーデック(codec )”（コンプレッサ／デコンプレッサ）が用いられている。現在得られるデータ圧縮手段は、異なるレンジのトレードオフを提供するとともに、各々が特定の分野の必要性を満足するように最適化されている複数のコーデックプロファイルを生ぜしめる。
【０００６】
ビデオコンプレッサにおける変換段の目的は、ソース画像又はシーケンスにおける局部的な類似性及びパターンの利点をとることにより、ソース画像のエネルギー又は情報をできるだけコンパクトな形態に収縮させることである。コンプレッサは、“ティピカル”入力で良好に動作するとともにこれらの欠落を無視して、“ランダム”又は“パスオロジカル（pathological）”入力を圧縮するように設計されている。
【０００７】
ＭＰＥＧ‐２のような多くの画像圧縮及びビデオ圧縮方法は、変換段として離散コサイン変換（ＤＣＴ）を用いている。
【０００８】
ＭＰＥＧ−４テクスチュアのような幾つかのより新規な画像圧縮及びビデオ圧縮方法は、変換段として種々のウェーブレット変換を用いている。
【０００９】
ウェーブレット変換には、一次元又はそれよりも多い次元の何れかで一組のデータにウェーブレットフィルタ対を繰り返し適用することが含まれている。画像圧縮の場合、２Ｄ（水平及び垂直）ウェーブレット変換を用いることができる。ビデオデータストリームの場合、３Ｄ（水平、垂直及び時間）ウェーブレット変換を用いることができる。
【００１０】
従来技術の図２には、現在得られる種々の圧縮アルゴリズムのうちのトレードオフの一例１００を示す。図示するように、このような圧縮アルゴリズムは、ウェーブレットに基づくコーデック１０２と、種々のＭＰＥＧビデオ分布プロファイルを含む、ＤＣＴに基づくコーデック１０４とを有する。
【００１１】
２Ｄ及び３Ｄウェーブレットは、ＤＣＴに基づくコーデックアルゴリズムとは相違して、その画質が良く、圧縮比に融通性がある為に、高く評価されており、依然として画像の標準化となっているＪＰＥＧ２０００に対しウェーブレットアルゴリズムを採用することをＪＰＥＧ委員に指示するものである。しかし、残念ながら、殆どのウェーブレットを実行するのに、極めて複雑なアルゴリズムが用いられており、代案のＤＣＴに比べて多量の処理電力が必要となる。更に、ウェーブレットは３Ｄウェーブレットを特に困難とする独特な課題を時間圧縮に対し課する。
【００１２】
上述した理由で、ウェーブレットは、ＭＰＥＧのような高容量の標準規格であるコーデックよりも価格的に優位性のある利点を提供するものではなく、従って、すき間産業で採用されているにすぎない。従って、３つの主たる市場区分に主眼を置いた低電力及び低価格に最適な３Ｄウェーブレットを商業的に実現可能にする必要がある。
【００１３】
例えば、小型ビデオカメラが広く用いられるようになってきており、信号をデジタル処理する利点が明白となっている。例えば、幾つかの国での携帯電話市場の最も成長の速い部分は、画像及びビデオクリップ能力を有する電話に対するものである。殆どのデジタルスチルカメラはビデオクリップ特性を有している。携帯電話市場では、これらのスチル画像及び短いビデオクリップを伝送するのに、装置のバッテリの容量をより多くすることを要求している。現存のビデオ符号化の標準規格及びデジタル信号プロセッサが更に多くの負担をバッテリに加えている。
【００１４】
他の新規な適用分野は、視聴者が生のテレビジョン及びビデオ録画プログラミングを一時停止しうるようにするパーソナルビデオレコーダ（ＰＶＲ）である。これらの装置は、ビデオ記録するデジタルハードディスク記録装置を用いており、ケーブルからのアナログビデオをビデオ圧縮する必要がある。これらの特徴をピクチュア・イン・ピクチュア（画像中の画像）及びウオッチ・ファイル・レコード（記録中の視聴）として提供するためには、これらの装置が複数のビデオ圧縮エンコーダを必要とする。
【００１５】
成長している他の適用分野は、監視及び警備ビデオ用のデジタルビデオレコーダ（ＤＶＲ）である。この場合も、記録すべき入力ビデオの各チャネルに対し圧縮符号化が必要となる。便利で融通性のあるデジタルネットワーク伝送アーキテクチャの利点をとるためには、ビデオがしばしばカメラにおいてデジタル化される。旧来の多重化レコーダアーキテクチャの場合でも、多チャネル圧縮エンコーダが用いられている。
【００１６】
低電力及び低価格に最適で商業的に実現可能な圧縮機構により利益を得る多数の他の市場が存在すること、勿論である。
時間的圧縮
【００１７】
ビデオ圧縮法は通常、ビデオシーケンス（動画像列）の各画像を別々に圧縮する以上のことをする。ビデオシーケンスにおける画像はしばしば、時間的に近いシーケンス中の他の画像に類似している。圧縮はこの類似性を考慮することにより改善しうる。このようにすることを“時間的圧縮”と称されている。ＭＰＥＧで用いられている時間的圧縮の１つの通常の方法は、動き検出（モーションサーチ）法である。この方法では、圧縮される画像の各領域が、前の画像における領域を検出するパターンとして用いられる。最も一致したものを選択し、これとの相違のみを圧縮することにより領域を表す。
【００１８】
時間的圧縮の他の方法は、空間（水平及び垂直）方向における、しかし２つ以上の画像の対応する画素又は係数に作用するウェーブレットを用いるものである。このウェーブレットは、３“方向”である水平、垂直及び時間に対する３Ｄウェーブレットと称される。
【００１９】
上述した何れかの方法又は他の方法による時間的圧縮は、当該画像とその前の画像とを一緒に圧縮する。一般には、多数の画像が時間的に一緒に圧縮される。本発明の例では、この画像の組を画像群、すなわちＧＯＰ（Group of Pictures ）と称する。
サブバンド
【００２０】
ウェーブレット変換の出力には、一般に幾つかの画素に亘って共通な情報である“ローパス”又は“スケール（拡大縮小）”又は“加算”情報を表す係数が含まれている。更に、この出力には、一般に画素がこれらの共通な情報からいかに相違しているかを表す“ハイパス”又は“ウェーブレット”又は“差”情報も含まれている。ウェーブレットフィルタを繰り返し適用することにより、出力におけるこれらの種類の情報の組み合わせを種々に異ならせる。個々の各組み合わせが“サブバンド”と称されている。この技術用語は周波数領域の観点から生じたものであるが、一般には、周波数帯域に正確に一致するものではない。
【００２１】
ウェーブレット変換は、その出力の異なるサブバンドに極めて異なる値分布を生ぜしめる。原画素に亘って広がった情報はサブバンドの幾つかに集中され、他のサブバンドを殆どゼロにする。このことが圧縮にとって望ましいことである。
ゼロラン（Run-of-Zeros）圧縮
【００２２】
ある画像及びビデオ圧縮アルゴリズムにおける中間工程は、“ピリング”により実行しうるゼロラン消去工程である（同時継続出願である米国特許出願第2003/0229773号明細書参照）。ゼロラン工程では、サブバンド（又はサブバンド群）の係数がそのままで極めて有効に圧縮される。このゼロラン工程により、ゼロ値の連続がデータから消去され、これらのゼロ値が生じていた記録は維持されている。ゼロラン消去工程はアルゴリズム中のいかなる個所でも適用しうる。一例では、量子化段の直後でエントロピーコーディングの前にこのゼロラン消去工程を適用する。ゼロラン後は、後続の工程をより一層迅速に計算できる。その理由は、これらの工程は、重要な（ゼロでない）情報に関し動作させる必要があるだけである為である。
【００２３】
ピリングは、多数の値を並列に処理する計算エンジンに関する大きな値を有している。その理由は、これが、利用可能な並列性の利点が得られるゼロ消去を行う方法である為である。これに対し、他の方法のゼロラン消去（ランレングスコーディング）は代表的に、エントロピーコーディング中にゼロを消去するのに要するのと同じ程度の時間を要する。
各サブバンド当たりの記憶領域
【００２４】
本発明によるある圧縮実施例では、各サブバンドに対し又は類似のサブバンドの群に対し別々のゼロラン圧縮段領域、すなわちパイルを構成するか、或いはある場合には１つのサブバンドに対し複数の領域を構成するのが有利である。利点は、サブバンドの結果やアルゴリズムの他の細部が得られるようになるシーケンスから得られる。従って、１つの画像又はＧＯＰに対する中間表示領域として１つの記憶領域が存在するのではなく、一組の記憶領域、すなわちパイルが存在する。
レート制御
【００２５】
圧縮量、すなわち、生じる出力ビットのレートを調整する１つの方法は、計算の量子化段において廃棄する情報の量を変化させることである。量子化は通常、各係数を予め選択した数で、すなわち、“量子化パラメータ”で除算し、この除算の残りを廃棄することにより行われる。従って、計数値の範囲が同じ単一値、すなわち、除算の商により表されるようになる。
【００２６】
圧縮された画像又はＧＯＰが解凍されると、逆量子化処理工程により商に（既知の）量子化パラメータが乗算される。これにより、係数が他の計算のためのこれらのもとの値の範囲に復元される。
【００２７】
しかし、除算（又はこれと同等の乗算）は、多くの実施においては、消費電力及び時間の点で且つハードウェアの価格において高価な処理である。
【００２８】
他の方法では、量子化が、除算（又は乗算）の代わりに、２のべきである約数に制限される。このようにすることにより、２進数に関するビットシフト演算により量子化を実行しうるという利点が得られる。シフト演算は、多くの実施において極めて廉価な演算である。実施の一例は、集積回路（ＦＰＧＡ又はＡＳＩＣ）である。すなわち、乗算回路は極めて大型となるが、シフタ回路はより一層小型となる。又、多くのコンピュータでは、乗算を達成するのに必要とする時間が長くなるか、又はシフト演算に比べて並列性の実行が少なくなる。
【００２９】
シフト演算による量子化は計算を極めて有効にするが、ある目的に対しては欠点も有する。すなわち、圧縮レート（出力ビットレート）を粗調整しうるにすぎない。本発明の観点によれば、実際に、量子化のシフトパラメータを可能な最小量、すなわち、＋１或いは−１だけ変化させることにより、得られるビットレートをほぼ２倍変化させるようになるということが分かる。このようになることは、ある種の圧縮分野に対しては完全に許容しうる。しかし、他の分野にとっては、より一層微細な制御が必要となる。
【００３０】
従って、シフト演算による量子化及びその関連の効率を破棄することなく、微細なレート制御の要求を満足させる必要がある。
概要
【００３１】
データ圧縮システムにおける微細レート制御のための本発明の観点によるシステム、方法及びコンピュータプログラムプロダクトを開示する。データストリームを複数の並列サブバンドにより量子化し、この場合、第１のサブバンドのデータを第２のサブバンドのデータとは異なるように処理する。更に、本発明の観点によれば、画像の個々の各サブバンドを量子化工程で個別の方法で処理しうるようにする。更に、個々のサブバンドの群を同一の又は類似の方法で処理しうるようにするとともに、同じ画像に関連するサブバンドの他の群を他の同一の又は類似の方法で処理しうるようにする。更に、本発明の他の観点によれば、個々の各サブバンドを量子化工程中にその独自の方法で処理しうるようにする。
【００３２】
本発明の追加の観点によれば、サブバンドデータの異なる、又は同一の、又は類似の処理を、変換工程、又は量子化工程、又はエントロピーコーディング工程の何れかで、或いは、変換工程と量子化工程とエントロピーコーディング工程との各々で行いうるようにする。更に、全てのサブバンドデータの独特の処理を、変換工程と量子化工程とエントロピーコーディング工程との各々で行い、その結果、第１のサブバンドのデータが量子化工程中に第１の方法で処理され、第２のサブバンドのデータが量子化工程中に第２の方法で処理されるとともに、更に、その結果得られた第１のサブバンドのデータがエントロピーコーディング工程中に第３の方法で処理され、しかも得られた第２のサブバンドのデータがエントロピーコーディング工程中に第４の方法で処理されるようにしうる。従って、個々のサブバンドは変換工程、量子化工程及びエントロピーコーディング工程中に種々の方法で処理しうることが分かる。更に、サブバンドの幾つかの群を第１の同一又は類似の方法で処理するとともに、サブバンドの他の幾つかの群を第２の同一又は類似の方法で処理するようにすることもできる。
【００３３】
本発明の一例では、従来のように全ての係数に対し１つの共通のシフトパラメータを与えるようにするのではなく、別々の各ゼロラン圧縮記憶領域、すなわちパイルに対し別々のシフト量子化パラメータを与えるようにする。このような各領域、すなわちパイルに対するパラメータ値は圧縮出力ファイル内に記録することができる。このようにすることにより、シフト量子化の効果を破棄することなしに、従来技術にみられる粗さ問題を解決する。
【００３４】
本発明は、量子化パラメータを全ての係数に均一に適用することにより生じる最も近い２つのレート間に有効ビットレートの範囲を定め、これにより圧縮を微細制御するようにする。更に、得られる計算効率は、ほぼ正確に、純粋なシフト量子化の効率となる。その理由は、代表的に、各係数に適用される演算は依然としてシフト演算である為である。
【００３５】
本発明の他の観点によれば、別々のシフト量子化パラメータを、データを圧縮している際に動的に調整する。このような調整は、圧縮処理に沿うどこかのデータストリームから取出したフィードバック又はフィードフォワード測定から得られる。或いはまた、入力データ又は出力データのパラメータの変化から調整が得られるようにしうる。例えば、（携帯電話の信号強度が変化している場合のような）もとの画質又は出力帯域幅の利用可能性は、“オンザフライ”で別々のシフト量子化パラメータを個々に変化させることにより圧縮処理に微調整を与えうるようになる。
【実施例】
【００３６】
図１は、本発明の一実施例によるデータ圧縮／解凍用フレームワーク２００を示す。このフレームワーク２００には、コーダ部分２０１と、デコーダ部分２０３とが含まれており、これらが相俟って“コーデック”を構成している。ファイル２０８内に記憶するデータを圧縮するために、コーダ部分２０１には、変換モジュール２０２と、量子化器２０４と、エントロピーエンコーダ２０６とが含まれている。このようなファイル２０８の解凍を行うために、デコーダ部分２０３には、エントロピーデコーダ２１０と、逆量子化器２１２と、逆変換モジュール２１４とが含まれており、使用データ（すなわち、ビデオデータ等の場合には、見るためのデータ）を解凍する。
【００３７】
使用に際しては、変換モジュール２０２が、非相関の目的で（ビデオデータの場合には）複数の画素の可逆変換、しばしば線形変換を行う。次に、量子化器２０４が、変換値の量子化を行い、その後エントロピーエンコーダ２０６が量子化変換係数のエントロピーコーディングに関与しうるようになる。
【００３８】
シフト量子化の効果を破棄することなしに、上述した従来技術の粗さ問題を解決するために、量子化を一般化させる。本発明によれば、前述したように全ての係数に対し１つの共通のシフトパラメータを用いる代わりに、別々の各ゼロラン圧縮記憶領域、すなわちパイルに対し別々のシフトパラメータを適用するようにする。このような各領域、すなわちパイルに対するパラメータ値は、圧縮出力ファイル中に記録する。パイルは、圧縮されたゼロ（又は他の共通値）の列でデータが表わされているデータ記憶構造である。サブバンドは数個の別々のパイル、すなわち記憶領域を有しうることに注意すべきである。或いはまた、パイル、すなわち記憶領域は数個の別々のサブバンドを有しうる。
【００３９】
この解決策によれば、量子化パラメータを全ての係数に均一に適用することにより得られる最も近い２つのレート間に有効ビットレートの範囲が定められる。例えば、１つ（サブバンドｘ）を除く全てのサブバンドが同じ量子化パラメータＱを用い、この１つ（サブバンドｘ）がＱ＋１を用いる場合を考慮する。量子化工程から得られる全ビットレートは、量子化で全てのサブバンドに対しＱを用いた場合に比べて減少するが、全てのサブバンドに対しＱ＋１を用いた場合のようには減少しない。これにより、Ｑ又はＱ＋１を均一に適用することにより達成されるレート間の中間ビットレートを提供し、圧縮を良好に微細制御する。
【００４０】
この場合の計算効率は殆ど正確に、純粋なシフト量子化の計算効率となる。その理由は、代表的に、各係数に適用される演算が依然としてシフト演算である為である。本例では、いかなる個数のサブバンドをも用いることができる。４〜１００個のサブバンドが代表的なものである。３２個のサブバンドが最も代表的なものである。
パラメータの選択
【００４１】
上述した方法では、Ｐ個のサブバンド領域の場合、１つのサブバンド領域における量子化パラメータを増大させることにより、全てのサブバンドに対し量子化パラメータを増大させる場合に比べ、出力レートを１／Ｐ倍しか影響を及ぼさないものと推測しうる。しかし、通常はこのようにはならない。その理由は、別々のサブバンド領域が通常有する重要情報の量は極めて異なっている為である。従って、（他のサブバンドに比べて）比較的多量の重要な係数を有するサブバンドに特定の量子化パラメータを適用することにより、他のサブバンドに比べて比較的少量の重要な係数を有する別のサブバンドに同じ量子化パラメータを適用する場合よりも大きな影響を量子化の正味の有効なビットレートに及ぼす。
【００４２】
本発明の種々の実施例では、変更しうるのはエントロピーコーディング工程において適用されるパラメータのみではなく、別々の記憶領域に適用されるエントロピーコーディング技術の実際の選択を変更しうることに注意すべきである。例えば、１つの記憶領域のエントロピーコーディングに対しハフマンテーブル技術を適用しうるとともに、他の記憶領域には別のハフマンテーブル技術を適用しうる。更に、指数ゴロム（Golomb）符号化のような他の技術を第２又は第３の記憶領域に適用することができる。同様に、追加の技術又はこれら技術のパラメータを別々の記憶領域に別々に適用しうる。更に、上述した変更の各々を動的に適用しうる。
【００４３】
ある実施例では、特定の記憶領域の処理で適用された技術又はパラメータの状態に対応する兆候を記録するか、又はデコーダに伝達して圧縮信号の復号を可能にしうるようにすることにも注意すべきである。ある実施例では、圧縮で用いられた技術又はパラメータの状態を、復号される圧縮データの構造から識別しうるようにする。本発明の追加の観点によれば、エンコーダの論理に相当する同じ論理をもってデコーダをプログラミングし、デコーダがエンコーダの状態を追尾しうるようにすることができる。
【００４４】
従って、最良には所望の圧縮レートに近似する一組の量子化パラメータを選択するために、量子化が調整される領域の予想寸法と、サブバンド領域における調整の予想効果とを考慮することができる。このことは、以下に概説する処理例のような簡単な反復処理により達成することができる。
量子化パラメータの調整例１
【００４５】
一例のアルゴリズムは、初期化により与えられた一組のパラメータ、或いは前の画像又はＧＯＰから持ち越された一組のパラメータから始まる。各ゼロラン圧縮領域Ｐに対してこれらのＱ［Ｐ］を呼び出す。又、圧縮出力レートにファクタＣで表わされる所望変化をもたらす。この場合、Ｑ値を１だけ変化させると、このＱ値を用いている圧縮の部分からの出力レートにおいてファクタＦを変化させるものと仮定する。又、Ｃ＜Ｆ及び１／Ｆ＜１／Ｃであるものとする。領域は寸法Ｓ［Ｐ］を有する。このアルゴリズムの目的のために、これらの寸法は測定寸法ではなく推定値とすることができる。
【００４６】
工程１
Ｃ＝１である場合、何もせずに調整処理を終了する。
Ｃ＞１である場合、Ｄ＝Ｆ−１を設定する。
Ｃ＜１である場合、Ｄ＝（１／Ｆ）−１を設定する。
全てのサブバンド領域の寸法の合計としてのＳを計算する。
Ｔ＝Ｓを設定する。
【００４７】
工程２
量子化パラメータがまだ変更されていないサブバンド領域Ｐを選択する。
Ｔ＝Ｔ＋Ｄ・Ｓ［Ｐ］を計算する。
Ｃ＞１である場合、Ｑ［Ｐ］＝Ｑ［Ｐ］−１を設定する。
Ｃ＜１である場合、Ｑ［Ｐ］＝Ｑ［Ｐ］＋１を設定する。
【００４８】
工程３
ＴがＣ・Ｓに充分近似している場合には、調整処理を終了する。
工程２に進む。
【００４９】
上述した例の種々の改良を、例えば以下の例におけるように行うことができる。
調整例２
【００５０】
上述したアルゴリズムの工程３において、テスト“充分近似”を幾つかの方法の何れかで行うことができる。このテストの１つの簡単なものは以下の通りである。
テスト３
（Ｃ＞１及びＴ＞Ｃ・Ｓ）である場合、又は（Ｃ＜１及びＴ＜Ｃ・Ｓ）である場合、…
【００５１】
このテストにより、評価したレート調整が特定の調整を越えると直ちに反復を停止させる。
【００５２】
上述したのに代わる他の実施例は、評価したレートが特定の調整を越えた場合にその工程の直前の工程に戻るようにすることである。更に他の実施例は、特定の調整Ｃを挟む２つの工程間の選択を、例えば、特定のレートに近い方の評価を得る一方の工程を選択することにより行うようにするものである。
利点
【００５３】
調整例１のアルゴリズムの処理は、量子化変化が互いに１つの工程内に保持されるという特性を有する。Ｑ値は何れも１だけ変化するか、又は全く変化せず、変化は全て同じ方向である。この処理は、工程２におけるＰの選択に関する情報を保持して、アルゴリズムの多くの実行（すなわち、多くの順次の画像又はＧＯＰの圧縮演算）に対してその特性を維持することにより、容易に拡張させることができる。このようにすることがしばしば望まれる。その理由は、量子化の調整により、圧縮出力レートに関してのみならず、画質に関して（すなわち、圧縮処理に起因する解凍画像又はビデオにおける雑音又はアーチファクトに関して）も同様に効果を与えうる為である。
【００５４】
しかし、Ｑ値を同等の１つの工程内に保持するというこの特性は、必ずしも必要ではなく、しばしば他の事項を考慮して緩和させることができることに注意すべきである。
【００５５】
サブバンドにより処理パラメータを変えるには、上述したようにシフトパラメータを適用する代わりに、乗算又は除算或いはその他の量子化技術を用いることを含めることができる。
【００５６】
最初に“ローパス”、続いて“ハイパス”のように重要性の順番でサブバンドを導入して、Ｑ値の選択時に重要性の少ないサブバンドを最初にダウングレードさせるようにすることができる。このようにすると、画質を犠牲にして、高い全圧縮レートを選択すると、画像の基本特性を表わすサブバンドは、画像の極めて微細なディテールのみを表わすサブバンドよりも前にダウングレードされない。画像の特性に基づいてダウングレードさせるための種々のサブバンドを選択するのにルックアップテーブルを用いることもできる。例えば、特定の画像の全圧縮レートを高めるためには、その画像が“戸外のライブアクション”のような特定の種類のものである場合にサブバンドを特定の順序でダウングレードさせることができる。画像が“低レベルの照明”、“ポートレイトビデオ”、“静止画像”“景色”等のような他の種類のものである場合には、各サブバンドのＱ値を変えるためにルックアップテーブルが異なる順序及び大きさの双方又はいずれか一方を提供する。
他の実施例
【００５７】
上述したようにサブバンドの量子化パラメータに対し変更するのは、特定のデータストリームに対し予め決定した固定のものにするか、又はデータが圧縮されている際に動的に調整するようにすることができる。動的調整の一例では、出力データを図１に示す圧縮処理２０１の終了時に（すなわち、エントロピーエンコーダ２０６の後に）サンプリングしうるようにする。測定したビットレートが大きすぎる場合には、この情報を１つ以上のサブバンドのシフトパラメータを変えるアルゴリズムに帰還させて、ビットレートを所望のレベル或いは範囲に降下させるようにしうる。測定したビットレートが所望レベル又は範囲よりも低い場合には、１つ以上のサブバンドのシフトパラメータを逆方向に変えてビットレートを増大させることができる。これにより圧縮レートを低くして画質を高める。この構成による１つの利点は、画像が携帯電話回線のような固定帯域幅システムを経て伝送されるが、画質はできるだけ良好に維持されるようにするのに丁度充分に圧縮されるということである。
【００５８】
データは、圧縮処理２０１の出力側においてのみ、測定又はサンプリングする必要がない。例えば、圧縮処理２０１の入力側でデータを測定しうる。又、異なる画像或いは画像部分を、これらが圧縮処理２０１に供給される際に、より高いビットレートを生じるようにしうる。例えば、ソース画質又は寸法が増大した際に、高いビットレートを生ぜしめることができる。複数のカメラの出力を、圧縮のために１つのデータストリームに多重化するビデオ監視システムで高いビットレートを生ぜしめることもできる。用いるカメラの個数が増大する場合には、ソースデータレートが増大する。このようなフィードフォワード構造では、ソースデータレートで測定された変化に応答して量子化器２０４の下流で１つ以上のサブバンドのシフトパラメータを変化させるのが望ましい。このフィードフォワード構造を用いる１つの利点は、測定したソースデータが量子化器２０４に到達する前に、又は少なくとも前述したフィードバック構造によりパラメータが変化される場合よりもすぐに、シフトパラメータを変えることができるということである。他の利点は、フィードフォワード測定に基づいて下流で実際の処理工程を除外することができるということである。このようにすることにより、全体の処理時間を増やすか、又は電力消費量を減少させるか、又はこれらの双方を達成することができる。
【００５９】
上述したように、データを圧縮処理２０１の前又は後に測定する動的システムを用いることができる。又、データを圧縮処理２０１内の１つ以上の点で測定する類似の動的システムを施行することができる。例えば、シフトパラメータに影響を及ぼすのに用いるデータを、変換段２０２内で、又はこの変換段２０２と量子化器段２０４との間で、又は量子化器段２０４内で、又は量子化器段２０４とエントロピーコーダ段２０６との間で、又はエントロピーコーダ段２０６内で、又はこれらの任意の組み合わせで測定或いはサンプリングすることができる。処理中データを測定するのが早くなればなるほど、このデータに基づいて変更を行うのを速くすることができる。処理中データを測定するのが遅くなればなるほど、所望の出力データがより一層正確になる確率が高くなる。同様に、代表的な変換段２０２、量子化器段２０４及びエントロピーコーダ段２０６のアーキテクチャを有さない圧縮処理全体における種々の点でデータを測定又はサンプリングすることができる。
【００６０】
本発明によれば、圧縮処理２０１におけるどこかでデータの測定を行うことなく又はサンプルをとることなくしてもシフトパラメータを動的に変化させることができる。例えば、他のパラメータを変化させることにより、圧縮処理２０１に動的変化を行うのを望ましいものとすることができる。例えば、圧縮データを１つ以上のファイル２０８内に記憶させることができる。現在のファイルの寸法が変化するか、又はファイル中のデータが容量に近づいていることを表している場合には、圧縮比を増大させ、これにより出力ビットレートを減少させてファイルスペースを節約するのが望ましい。他の例によれば、圧縮データを携帯電話回線を介して伝送しうるようにする。信号強度が増大又は減少するにつれ、それに応答して圧縮処理の特性を動的に変化させるのが望ましい。
【００６１】
上述した処理調整は動的に行う為、画像の群におけるある画像、又は１つの画像のある部分を他の画像又は他の部分と異なるように圧縮することができる。このようにすることにより、資源を極めて有効に利用しうるようにしうる。しかし、画像の同様な部分、又は隣接部分、又はこれらの双方の部分が異なるように圧縮される為に、これらの部分が顕著に相違するといったような不所望な影響も生ぜしめるおそれもある。このような影響は、相違を全てのシフトパラメータに対し１つに保つことにより改善することができる。これに代えて、又は組み合わせて、ラスタ走査ではなく、スパイラル走査を用いることもできる。多くの画像における最も重要なデータは中央の方にある為、中央部分において低い圧縮レートを用いることにより、中央部分のディテールをより微細に保つことができる。或いはまた、画像の中央、水平線、隅部等でサンプリングを行うことができる。
【００６２】
変換段２０２及びエントロピーエンコーダ段２０６は、量子化器段２０４に対する上述した例で説明したのと同様な方法で、並列サブバンドでのデータストリームの処理を行うこともできることを理解すべきである。同様に、これらの段における各サブバンドが異なる符号化技術を用いることができる。各サブバンドの処理に影響を及ぼすパラメータは、別々のサブバンドの各々において且つ別々の段２０２、２０４及び２０６の各々において静的に又は動的に調整することができる。
【００６３】
上述したことは、本発明の好適実施例を完全に説明したものであるが、種々の変更及び等価な手段を採用しうるものである。従って、上述した説明は本発明の範囲を制限するものとしてとらえるべきものではなく、本発明の範囲は特許請求の範囲により規定されるものである。
【図面の簡単な説明】
【００６４】
【図１】図１は、本発明の一実施例によるデータ圧縮／解凍用フレームワークを示すブロック線図である。
【図２】図２は、現在得られる種々の圧縮アルゴリズムのうちのトレードオフの一例を示す説明図である。
【特許請求の範囲】
【請求項１】
複数のサブバンドを介してデータストリームを処理する処理工程を具えるデータ圧縮方法において、第１のサブバンドが第２のサブバンドとは異なるようにデータストリームを処理するようにするデータ圧縮方法。
【請求項２】
請求項１に記載のデータ圧縮方法において、前記処理工程が量子化工程を有するデータ圧縮方法。
【請求項３】
請求項２に記載のデータ圧縮方法において、シフトパラメータを適用することにより、前記第１及び第２のサブバンドの各々がデータストリームを量子化するようにし、前記第１のサブバンドのシフトパラメータを前記第２のサブバンドのシフトパラメータと異ならせるデータ圧縮方法。
【請求項４】
請求項３に記載のデータ圧縮方法において、前記第１のサブバンドをローパスサブバンドとし、前記第２のサブバンドをハイパスサブバンドとするデータ圧縮方法。
【請求項５】
請求項１に記載のデータ圧縮方法において、この方法が更に、前記第１又は第２のサブバンドとは異なるようにデータを処理する第３のサブバンドを有するようにするデータ圧縮方法。
【請求項６】
請求項５に記載のデータ圧縮方法において、シフトパラメータを適用することにより、前記第１、第２及び第３のサブバンドの各々がデータストリームを量子化するようにし、前記第１、第２及び第３のサブバンドの各々のシフトパラメータを互いに異ならせるデータ圧縮方法。
【請求項７】
請求項２に記載のデータ圧縮方法において、第１のシフトパラメータ又はこれとは異なる第２のシフトパラメータを適用することにより、複数のサブバンドの各々がデータを量子化するようにするデータ圧縮方法。
【請求項８】
請求項７に記載のデータ圧縮方法において、前記第１のシフトパラメータを前記第２のシフトパラメータと１だけ異ならせるデータ圧縮方法。
【請求項９】
請求項１に記載のデータ圧縮方法において、少なくとも１つのサブバンドの処理を動的に変えるようにするデータ圧縮方法。
【請求項１０】
請求項９に記載のデータ圧縮方法において、少なくとも１つのサブバンドの処理を、圧縮レート条件の変化に応答して変えるようにするデータ圧縮方法。
【請求項１１】
請求項９に記載のデータ圧縮方法において、少なくとも１つのサブバンドの処理を、下流測定からのフィードバックに応答して変えるようにするデータ圧縮方法。
【請求項１２】
請求項９に記載のデータ圧縮方法において、少なくとも１つのサブバンドの処理を、入力パラメータの変化に応答して変えるようにするデータ圧縮方法。
【請求項１３】
請求項９に記載のデータ圧縮方法において、少なくとも１つのサブバンドの処理を、上流測定からのフィードフォワード信号に応答して変えるようにするデータ圧縮方法。
【請求項１】
複数のサブバンドを介してデータストリームを処理する処理工程を具えるデータ圧縮方法において、第１のサブバンドが第２のサブバンドとは異なるようにデータストリームを処理するようにするデータ圧縮方法。
【請求項２】
請求項１に記載のデータ圧縮方法において、前記処理工程が量子化工程を有するデータ圧縮方法。
【請求項３】
請求項２に記載のデータ圧縮方法において、シフトパラメータを適用することにより、前記第１及び第２のサブバンドの各々がデータストリームを量子化するようにし、前記第１のサブバンドのシフトパラメータを前記第２のサブバンドのシフトパラメータと異ならせるデータ圧縮方法。
【請求項４】
請求項３に記載のデータ圧縮方法において、前記第１のサブバンドをローパスサブバンドとし、前記第２のサブバンドをハイパスサブバンドとするデータ圧縮方法。
【請求項５】
請求項１に記載のデータ圧縮方法において、この方法が更に、前記第１又は第２のサブバンドとは異なるようにデータを処理する第３のサブバンドを有するようにするデータ圧縮方法。
【請求項６】
請求項５に記載のデータ圧縮方法において、シフトパラメータを適用することにより、前記第１、第２及び第３のサブバンドの各々がデータストリームを量子化するようにし、前記第１、第２及び第３のサブバンドの各々のシフトパラメータを互いに異ならせるデータ圧縮方法。
【請求項７】
請求項２に記載のデータ圧縮方法において、第１のシフトパラメータ又はこれとは異なる第２のシフトパラメータを適用することにより、複数のサブバンドの各々がデータを量子化するようにするデータ圧縮方法。
【請求項８】
請求項７に記載のデータ圧縮方法において、前記第１のシフトパラメータを前記第２のシフトパラメータと１だけ異ならせるデータ圧縮方法。
【請求項９】
請求項１に記載のデータ圧縮方法において、少なくとも１つのサブバンドの処理を動的に変えるようにするデータ圧縮方法。
【請求項１０】
請求項９に記載のデータ圧縮方法において、少なくとも１つのサブバンドの処理を、圧縮レート条件の変化に応答して変えるようにするデータ圧縮方法。
【請求項１１】
請求項９に記載のデータ圧縮方法において、少なくとも１つのサブバンドの処理を、下流測定からのフィードバックに応答して変えるようにするデータ圧縮方法。
【請求項１２】
請求項９に記載のデータ圧縮方法において、少なくとも１つのサブバンドの処理を、入力パラメータの変化に応答して変えるようにするデータ圧縮方法。
【請求項１３】
請求項９に記載のデータ圧縮方法において、少なくとも１つのサブバンドの処理を、上流測定からのフィードフォワード信号に応答して変えるようにするデータ圧縮方法。
【図１】
【図２】
【図２】
【公表番号】特表２００８−５１４１３９（Ｐ２００８−５１４１３９Ａ）
【公表日】平成２０年５月１日（２００８．５．１）
【国際特許分類】
【出願番号】特願２００７−５３２６７１（Ｐ２００７−５３２６７１）
【出願日】平成１７年９月２１日（２００５．９．２１）
【国際出願番号】ＰＣＴ／ＵＳ２００５／０３４０２５
【国際公開番号】ＷＯ２００６／０３４４１６
【国際公開日】平成１８年３月３０日（２００６．３．３０）
【出願人】（５０７０９１７３８）ドロップレット テクノロジー インコーポレイテッド (8)
【Ｆターム（参考）】
【公表日】平成２０年５月１日（２００８．５．１）
【国際特許分類】
【出願日】平成１７年９月２１日（２００５．９．２１）
【国際出願番号】ＰＣＴ／ＵＳ２００５／０３４０２５
【国際公開番号】ＷＯ２００６／０３４４１６
【国際公開日】平成１８年３月３０日（２００６．３．３０）
【出願人】（５０７０９１７３８）ドロップレット テクノロジー インコーポレイテッド (8)
【Ｆターム（参考）】
[ Back to top ]