圧縮符号化装置、圧縮符号化方法およびプログラム
【課題】少ない演算量で且つ高速に、画像データを圧縮符号化するとともに、ノイズを除去しながら目標画質に適合する圧縮画像を得る。
【解決手段】ウェーブレット変換部は画像信号をウェーブレット変換して変換係数を生成する。関心領域設定部は画像信号に関心領域を設定する。量子化部は、関心領域（ＲＯＩ部）３６〜３９と非関心領域（非ＲＯＩ部）４０のうち、設定情報の優先度の高いＲＯＩ部ほど他の領域に比べて変換係数を下位ビット側にビットシフトさせる。符号量制御部は変換係数に符号化を施して得られる符号化データに対して、所望のノイズ除去効果が得られるまで、当該符号化データの一部を下位ビットから切り捨てるレート制御を行う。
【解決手段】ウェーブレット変換部は画像信号をウェーブレット変換して変換係数を生成する。関心領域設定部は画像信号に関心領域を設定する。量子化部は、関心領域（ＲＯＩ部）３６〜３９と非関心領域（非ＲＯＩ部）４０のうち、設定情報の優先度の高いＲＯＩ部ほど他の領域に比べて変換係数を下位ビット側にビットシフトさせる。符号量制御部は変換係数に符号化を施して得られる符号化データに対して、所望のノイズ除去効果が得られるまで、当該符号化データの一部を下位ビットから切り捨てるレート制御を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像圧縮伸長技術で使用される圧縮符号化装置、圧縮符号化方法に関する。
【背景技術】
【０００２】
画像データの次世代の高能率符号化方式として、ＩＳＯ（国際標準化機構）やＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門）によって、ＪＰＥＧ２０００（Joint Photographic Experts Group 2000）方式が策定されている。ＪＰＥＧ２０００方式は、現在主流のＪＰＥＧ（Joint Photographic Experts Group）方式と比べて優れた機能を有するものであり、直交変換としてＤＷＴ（離散ウェーブレット変換；Discrete Wavelet Transform）を採用し、エントロピー符号化に、ビットプレーン符号化を行うＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）と称する方法を採用する点に特徴がある。
【０００３】
図２３は、ＪＰＥＧ２０００方式に基づいた画像の圧縮符号化を行う圧縮符号化装置１００の概略構成を示す機能ブロック図である。以下、この図２３を参照しつつ、ＪＰＥＧ２０００方式の圧縮符号化手順について概説する。
【０００４】
この圧縮符号化装置１００に入力する画像信号は、ＤＣレベルシフト部１０２で必要に応じてＤＣレベル変換を施された後に、色空間変換部１０３に出力される。次に、色空間変換部１０３は、ＤＣレベルシフト部１０２から入力する信号の色空間を変換する。ここで、例えば、色空間変換部１０３に入力するＲＧＢ信号はＹＣｂＣｒ信号（輝度信号Ｙと色差信号Ｃｂ，Ｃｒからなる信号）に変換される。
【０００５】
次に、タイリング部１０４は、色空間変換部１０３から入力する画像信号を、複数の矩形状の「タイル」と称する領域成分に分割してＤＷＴ部１０５に出力する。ＤＷＴ部１０５は、タイリング部１０４から入力する画像信号に対してタイル単位で整数型または実数型のＤＷＴを施し、その結果得られる変換係数を出力する。ＤＷＴでは、２次元画像信号に対して、高域成分（高周波数成分）と低域成分（低周波数成分）とに分割する１次元フィルタが垂直方向と水平方向の順に適用される。ＪＰＥＧ２０００の基本方式では、垂直方向と水平方向との双方向に低域側に分割した帯域成分のみを再帰的に帯域分割していくオクターブ分割方式が採用されている。またその再帰的に帯域分割した回数は、分解レベル（decomposition level）と呼ばれる。
【０００６】
図２４は、オクターブ分割方式に従って、分解レベル３のＤＷＴを施された２次元画像１２０を示す模式図である。分解レベル１では、２次元画像１２０は、垂直方向と水平方向とに前述の１次元フィルタを順次適用することで、ＨＨ１，ＨＬ１，ＬＨ１およびＬＬ１（図示せず）の４つの帯域成分に分割される。ここで、「Ｈ」は高域成分を、「Ｌ」は低域成分をそれぞれ示している。例えば、ＨＬ１は、分解レベル１における水平方向の高域成分Ｈと垂直方向の低域成分Ｌとからなる帯域成分である。その表記法を一般化して、「ＸＹｎ」（Ｘ，ＹはＨ，Ｌの何れか；ｎは１以上の整数）は、分解レベルｎにおける水平方向の帯域成分Ｘと垂直方向の帯域成分Ｙとからなる帯域成分を指すものとする。
【０００７】
分解レベル２では、低域成分ＬＬ１は、ＨＨ２，ＨＬ２，ＬＨ２およびＬＬ２（図示せず）に帯域分割される。更に、分解レベル３では、低域成分ＬＬ２は、ＨＨ３，ＨＬ３，ＬＨ３およびＬＬ３に帯域分割される。以上で生成された帯域成分ＨＨ１〜ＬＬ３を配列したのが図２４である。図２４では、３次の分解レベルの例が示されているが、ＪＰＥＧ２０００方式では、一般に、３次〜８次程度の分解レベルが採用される。
【０００８】
次に、量子化部１０６は、ＤＷＴ部１０５から出力された変換係数を、必要に応じてスカラー量子化する機能を有する。また量子化部１０６は、ＲＯＩ部１０７による関心領域（ＲＯＩ；Region Of Interest）の画質を優先させるビットシフト処理を行う機能も有している。尚、可逆（ロスレス）変換を行う場合には、量子化部１０６でのスカラー量子化は行われない。ＪＰＥＧ２０００方式では、この量子化部１０６でのスカラー量子化と後述するポスト量子化（truncation）との２種類の量子化手段が用意されている。
【０００９】
ＲＯＩの代表的な利用方法としては、ＪＰＥＧ２０００のオプション機能に指定されるＭａｘ−ｓｈｉｆｔ法がある。
【００１０】
Ｍａｘｓｈｉｆｔ法は、ＲＯＩ部分を任意の形で指定し、その部分を高画質に圧縮する一方、非ＲＯＩ部分を低画質に圧縮するものである。具体的には、まず原画像に対してウェーブレット変換を行ってウェーブレット係数の分布を得た後、これらの分布の中で、非ＲＯＩ部分に相当する係数分布の最も大きなウェーブレット係数の値Ｖｍを求めておく。そして、Ｓ＞＝ｍａｘ（Ｖｍ）となるようなビット数Ｓを求め、ＲＯＩ部分のウェーブレット係数のみを増大する方向へＳビットだけシフトさせる。例えば、Ｖｍの値が十進数で「２５５」（即ち、二進数で「１１１１１１１１」）である場合には、Ｓ＝８ビットであり、またＶｍの値が十進数で「１２８」（即ち、二進数で「１０００００００」）である場合にも同様にＳ＝８ビットであるため、この場合にはＲＯＩ部分のウェーブレット係数を増大する方向へＳ＝８ビットだけシフトさせることになる。これにより、ＲＯＩ部分については非ＲＯＩ部分に比べて圧縮率を低く設定でき、ＲＯＩ部分について高画質の圧縮データを得ることが可能となる。
【００１１】
次に、量子化部１０６から出力された変換係数は、上述のＥＢＣＯＴに従って、係数ビットモデリング部１０８と算術符号化部１０９とで、ブロックベースのエントロピー符号化を施され、符号量制御部１１０でレートを制御される。具体的には、係数ビットモデリング部１０８は、入力する変換係数の帯域成分を１６×１６や３２×３２や６４×６４程度の「コードブロック」と称する領域に分割し、更に、各コードブロックを、各ビットの２次元配列で構成される複数のビットプレーンに分解する。
【００１２】
図２５は、複数のコードブロック１２１，１２１，１２１，…に分解された２次元画像１２０を示す模式図である。また、図２６は、このコードブロック１２１を構成するｎ枚のビットプレーン１２２0〜１２２n-1（ｎ：自然数）を示す模式図である。図２６に示すように、コードブロック１２１中の１点の変換係数の２進値１２３が"０１１…０"である場合、この２進値１２３を構成するビットは、それぞれ、ビットプレーン１２２n-1，１２２n-2，１２２n-3，…，１２２0に属するように分解される。図中のビットプレーン１２２n-1は、変換係数の最上位ビット（ＭＳＢ）のみからなる最上位ビットプレーンを表し、ビットプレーン１２２0は、その最下位ビット（ＬＳＢ）のみからなる最下位ビットプレーンを表している。
【００１３】
更に、係数ビットモデリング部１０８は、各ビットプレーン１２２k（ｋ＝０〜ｎ−１）内の各ビットのコンテクスト（context）判定を行い、図２７に示すように、各ビットの有意性（判定結果）に応じて、ビットプレーン１２２kを３種類の符号化パス、すなわち、ＳＩＧパス（SIGnificance propagation pass），ＭＲパス（Magnitude Refinement pass），ＣＬパス（CLeanup pass）に分解する。各符号化パスに関するコンテクスト判定のアルゴリズムは、ＥＢＣＯＴで定められている。それによれば、「有意である」とは、これまでの符号化処理において注目係数がゼロでないとわかっている状態のことを意味し、「有意で無い」とは、係数値がゼロであるか、或いはゼロである可能性がある状態のことを意味する。
【００１４】
係数ビットモデリング部１０８は、ＳＩＧパス（有意な係数が周囲にある有意でない係数の符号化パス）、ＭＲパス（有意な係数の符号化パス）およびＣＬパス（ＳＩＧパス，ＭＲパスに該当しない残りの係数情報の符号化パス）の３種類の符号化パスでビットプレーン符号化を実行する。ビットプレーン符号化は、最上位ビットプレーンから最下位ビットプレーンにかけて、各ビットプレーンのビットを４ビット単位で走査し、有意な係数が存在するか否かを判定することで行われる。有意で無い係数（０ビット）のみで構成されるビットプレーンの数はパケットヘッダに記録され、有意な係数が最初に出現したビットプレーンから実際の符号化が開始される。その符号化開始のビットプレーンはＣＬパスのみで符号化され、当該ビットプレーンよりも下位のビットプレーンは、上記３種類の符号化パスで順次符号化される。
【００１５】
尚、図２８に、レート（符号量；Ｒ）と歪み（Ｄ）の関係を表すＲ−Ｄ曲線を示す。このＲ−Ｄ曲線中、Ｒ1はビットプレーン符号化前のレート、Ｒ2はビットプレーン符号化後のレート、Ｄ1はビットプレーン符号化前の歪み、Ｄ2はビットプレーン符号化後の歪み、をそれぞれ示している。また、Ａ，Ｂ，Ｃは、上述の符号化パスを表すラベルである。効率的な符号化を行うには、開始点Ｐ1（Ｒ1，Ｄ1）から終了点Ｐ2（Ｒ2，Ｄ2）へ向かう経路のうち、凸曲線のＣ−Ｂ−Ａの経路よりも、凹曲線のＡ−Ｂ−Ｃの経路を採用するのが好ましい。このような凹曲線を実現するには、ＭＳＢプレーンからＬＳＢプレーンに向けて符号化すればよいことが知られている。
【００１６】
次に、算術符号化部１０９は、ＭＱコーダを用いて、係数ビットモデリング部１０８からの係数列に対して、コンテクストの判定結果に基づいて符号化パス単位で算術符号化を実行する。尚、この算術符号化部１０９で、係数ビットモデリング部１０８から入力する係数列の一部を算術符号化させないバイパス処理を行うモードもある。
【００１７】
次に、符号量制御部１１０は、算術符号化部１０９が出力した符号列の下位ビットプレーンを切り捨てるポスト量子化を行うことで、最終符号量を制御する。そして、ビットストリーム生成部１１１は、符号量制御部１１０が出力した符号列と付加情報（ヘッダ情報，レイヤー構成、スケーラビリティ情報、量子化テーブルなど）とを多重化したビットストリームを生成し、圧縮画像として出力する。
【００１８】
以上のような構成を有する圧縮符号化装置において、画像データのデータ量を圧縮するための方法としては、例えば、符号量制御部１１０におけるレート制御方法を利用するレート・歪み最適化（R-D optimization）と称する手法が採用されている（非特許文献１参照）。
【先行技術文献】
【非特許文献】
【００１９】
【非特許文献１】David S. Taubman and Michael W. Marcellin, "JPEG2000 IMAGE COMPRESSION FUNDAMENTALS, STANDARDS AND PRACTICE," Kluwer Academic Publishers
【発明の概要】
【発明が解決しようとする課題】
【００２０】
しかしながら、この手法では、（１）レートに対する歪量を各符号化パスで一々算出する必要があり、また或る符号化レートにおける最適解を推定しなければならず、演算量が多大になりリアルタイム性が低下する、（２）各符号化パスで算出した歪量を保存するためのメモリが必要になる、という問題がある。
【００２１】
特に、圧縮符号化装置の動作性能に直接影響する量子化や符号量制御については、効率よく高速に、かつ高画質を維持しながら、処理を実現する方法が望まれている。
【００２２】
また、例えば人物撮影において美肌効果を得たい場合、従来の手法では、圧縮符号化装置の前段にノイズ除去フィルタ（美肌フィルタ）を配置し、ノイズ除去フィルタによって撮影画像に対してノイズ除去処理を行った後に、圧縮符号化装置によって画像圧縮処理を行っている。しかしながら、この手法では、（１）ノイズ除去処理を行った後に画像圧縮処理を行うため、ノイズ除去処理によってせっかくノイズが除去されても、続く画像圧縮処理に起因して新たな歪みが生じる、（２）ノイズ除去フィルタと圧縮符号化装置との２段構成のため、処理が複雑化する、という問題がある。
【００２３】
以上の問題等に鑑みて本発明が課題とするところは、少ない演算量で且つ高速に、画像データを圧縮符号化することにある。また、ノイズを除去しながら目標画質に適合する圧縮画像を得ることをも目的とする。
【課題を解決するための手段】
【００２４】
第１の発明に係る圧縮符号化装置は、画像信号を圧縮符号化する圧縮符号化装置であって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、目標画質を示す量子化パラメータを、フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、前記画像信号に関心領域を設定する関心領域設定部と、前記変換係数に対して、前記量子化ステップサイズに基づく量子化および並べ替えと、前記関心領域の設定情報に基づく並べ替えおよびビットシフトと、を施し、前記ビットシフトにおいて前記設定情報の優先度の高い関心領域ほど他の領域に比べて前記変換係数を下位ビット側にビットシフトする量子化部と、前記量子化部から入力される前記変換係数をエントロピー符号化するエントロピー符号化部と、所望のノイズ除去効果が得られるまで、前記エントロピー符号化部の出力する符号化データの一部を下位ビットから切り捨てるレート制御を行う符号量制御部と、を備えることを特徴とする。
【００２５】
第２の発明に係る圧縮符号化装置は、画像信号を圧縮符号化する圧縮符号化装置であって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、前記画像信号に関心領域を設定する関心領域設定部と、前記変換係数の量子化を行う量子化部と、前記量子化部から入力される前記変換係数をエントロピー符号化するエントロピー符号化部と、前記エントロピー符号化部の出力する符号化データに対して、前記関心領域の設定情報に基づく並べ替えおよびビットシフトを施した符号列を生成し、所望のノイズ除去効果が得られるまで、前記符号列の一部を下位ビットから切り捨てるレート制御を行い、前記ビットシフトにおいて前記設定情報の優先度の高い関心領域ほど他の領域に比べて前記符号化データを下位ビット側にビットシフトする符号量制御部と、を備えることを特徴とする。
【００２６】
第３の発明に係る圧縮符号化装置は、第２の発明に係る圧縮符号化装置であって、さらに、目標画質を示す量子化パラメータを、フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部、を備え、前記量子化部は、前記量子化ステップサイズに基づいて前記変換係数の量子化を行い、前記符号量制御部は、前記量子化ステップサイズに基づいて前記符号化データの並べ替えを行うことを特徴とする。
【００２７】
第４の発明に係る圧縮符号化装置は、第１ないし第３のいずれかの発明に係る圧縮符号化装置であって、前記関心領域設定部は、設定した各関心領域に優先度を付与し、前記関心領域の設定情報に基づく前記ビットシフトのシフト量は前記優先度に応じて決定されることを特徴とする。
【００２８】
第５の発明に係る圧縮符号化装置は、第１ないし第４のいずれかの発明に係る圧縮符号化装置であって、前記符号量制御部は、前記レート制御の切り捨て対象をビットプレーン単位で決定することを特徴とする。
【００２９】
第６の発明に係る圧縮符号化装置は、第１ないし第４のいずれかの発明に係る圧縮符号化装置であって、前記符号量制御部は、前記レート制御の切り捨て対象をパス単位で決定することを特徴とする。
【００３０】
第７の発明に係る圧縮符号化装置は、第１、第３ないし第６のいずれかの発明に係る圧縮符号化装置であって、前記画質制御部は、フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求めることを特徴とする。
【００３１】
第８の発明に係る圧縮符号化装置は、第１、第３ないし第７のいずれかの発明に係る圧縮符号化装置であって、前記画質制御部は、前記量子化ステップサイズが所定の数値より小さいときは、前記量子化ステップサイズが前記所定の数値以上になる２の累乗を乗算して得られた値を前記量子化ステップサイズとすることを特徴とする。
【００３２】
第９の発明に係る圧縮符号化装置は、第８の発明に係る圧縮符号化装置であって、前記量子化ステップサイズが前記画質制御部において２の累乗を乗算して求めた値であるときは、当該量子化ステップサイズに基づく並べ替えを行うときに、前記変換係数または前記符号化データを、前記２の累乗の指数に対応するビット数分だけビットシフトすることを特徴とする。
【００３３】
第１０の発明に係る圧縮符号化装置は、第１または第２の発明に係る圧縮符号化装置であって、前記符号量制御部は、Viewing distanceを変更可能であり、変更後のViewing distanceについてのenergy weighting factorと、変更後のViewing distanceについてのenergy weighting factorの比に基づく量だけ、前記符号列をビットシフトすることを特徴とする。
【００３４】
第１１の発明に係る圧縮符号化方法は、画像信号を圧縮符号化する圧縮符号化方法であって、（ａ）ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成する工程と、（ｂ）目標画質を示す量子化パラメータを、フィルタ係数のノルムで除算して量子化ステップサイズを求める工程と、（ｃ）前記画像信号に関心領域を設定する工程と、（ｄ）前記変換係数に対して、前記量子化ステップサイズに基づく量子化および並べ替えと、前記関心領域の設定情報に基づく並べ替えおよびビットシフトと、を施し、前記ビットシフトにおいて前記設定情報の優先度の高い関心領域ほど他の領域に比べて前記変換係数を下位ビット側にビットシフトする工程と、（ｅ）前記工程（ｄ）の処理を施した前記変換係数をエントロピー符号化する工程と、（ｆ）所望のノイズ除去効果が得られるまで、前記工程（ｅ）で符号化した符号化データの符号化データの一部を下位ビットから切り捨てるレート制御を行う工程と、を備えることを特徴とする。
【００３５】
第１２の発明に係る圧縮符号化方法は、画像信号を圧縮符号化する圧縮符号化方法であって、（ａ）ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成する工程と、（ｂ）前記画像信号に関心領域を設定する工程と、（ｃ）前記変換係数の量子化を行う工程と、（ｄ）前記工程（ｃ）で量子化した前記変換係数をエントロピー符号化する工程と、（ｅ）前記工程（ｄ）で符号化した符号化データに対して、前記関心領域の設定情報に基づく並べ替えおよびビットシフトを施した符号列を生成し、所望のノイズ除去効果が得られるまで、前記符号列の一部を下位ビットから切り捨てるレート制御を行い、前記ビットシフトにおいて前記設定情報の優先度の高い関心領域ほど他の領域に比べて前記符号化データを下位ビット側にビットシフトする工程と、を備えることを特徴とする。
【００３６】
第１３の発明に係る圧縮符号化方法は、第１２の発明に係る圧縮符号化方法であって、前記量子化を行う工程は、目標画質を示す量子化パラメータを、フィルタ係数のノルムで除算して量子化ステップサイズを求める工程と、前記量子化ステップサイズに基づく前記変換係数の量子化を行う工程と、を含み、前記符号化データを並べ替える工程は、前記量子化ステップサイズに基づく前記符号化データの並べ替えを行う工程、を含むことを特徴とする。
【００３７】
第１４の発明に係る圧縮符号化方法は、第１１ないし第１３のいずれかの発明に係る圧縮符号化方法であって、前記関心領域を設定する工程は、設定した各関心領域に優先度を付与する工程、を含み、前記関心領域の設定情報に基づくビットシフトを行う工程は、前記優先度に応じて決定された所定のビット数分だけビットシフトする工程、を含むことを特徴とする。
【００３８】
第１５の発明に係る圧縮符号化方法は、第１１ないし第１４のいずれかの発明に係る圧縮符号化方法であって、前記レート制御を行う工程は、前記レート制御の切り捨て対象をビットプレーン単位で決定する工程、を含むことを特徴とする。
【００３９】
第１６の発明に係る圧縮符号化方法は、第１１ないし第１４のいずれかの発明に係る圧縮符号化方法であって、前記レート制御を行う工程は、前記レート制御の切り捨て対象をパス単位で決定する工程、を含むことを特徴とする。
【００４０】
第１７の発明に係る圧縮符号化方法は、第１１、第１３ないし第１６のいずれかの発明に係る圧縮符号化方法であって、前記量子化ステップサイズを求める工程は、フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求める工程、を含むことを特徴とする。
【００４１】
第１８の発明に係る圧縮符号化方法は、第１１、第１３ないし第１７のいずれかの発明に係る圧縮符号化方法であって、前記量子化ステップサイズを求める工程は、前記量子化ステップサイズが所定の数値より小さいときは、前記量子化ステップサイズが前記所定の数値以上になる２の累乗を乗算して得られた値を前記量子化ステップサイズとする工程、を含むことを特徴とする。
【００４２】
第１９の発明に係る圧縮符号化方法は、第１８の発明に係る圧縮符号化方法であって、前記量子化ステップサイズに基づく並べ替えを行う工程は、前記量子化ステップサイズが２の累乗を乗算して求めた値であるときは、当該量子化ステップサイズで量子化された前記変換係数または前記符号化データを、前記２の累乗の指数に対応するビット数分だけビットシフトして前記符号列を生成する工程、を含むことを特徴とする。
【００４３】
第２０の発明に係るプログラムは、マイクロプロセッサに画像信号を圧縮符号化させるためのプログラムであって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、目標画質を示す量子化パラメータを、フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、前記画像信号に関心領域を設定する関心領域設定部と、前記変換係数に対して、前記量子化ステップサイズに基づく量子化および並べ替えと、前記関心領域の設定情報に基づく並べ替えおよびビットシフトと、を施し、前記ビットシフトにおいて前記設定情報の優先度の高い関心領域ほど他の領域に比べて前記変換係数を下位ビット側にビットシフトする量子化部と、前記量子化部から入力される前記変換係数をエントロピー符号化するエントロピー符号化部と、所望のノイズ除去効果が得られるまで、前記エントロピー符号化部の出力する符号化データの一部を下位ビットから切り捨てるレート制御を行う符号量制御部として、前記マイクロプロセッサを機能させることを特徴とする。
【００４４】
第２１の発明に係るプログラムは、マイクロプロセッサに画像信号を圧縮符号化させるためのプログラムであって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、前記画像信号に関心領域を設定する関心領域設定部と、前記変換係数の量子化を行う量子化部と、前記量子化部から入力される前記変換係数をエントロピー符号化するエントロピー符号化部と、前記エントロピー符号化部の出力する符号化データに対して、前記関心領域の設定情報に基づく並べ替えおよびビットシフトを施した符号列を生成し、所望のノイズ除去効果が得られるまで、前記符号列の一部を下位ビットから切り捨てるレート制御を行い、前記ビットシフトにおいて前記設定情報の優先度の高い関心領域ほど他の領域に比べて前記符号化データを下位ビット側にビットシフトする符号量制御部として、前記マイクロプロセッサを機能させることを特徴とする。
【００４５】
第２２の発明に係るプログラムは、第２１の発明に係るプログラムであって、さらに、目標画質を示す量子化パラメータを、フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部として、前記マイクロプロセッサを機能させると共に、前記マイクロプロセッサを前記量子化部として機能させるときは、前記量子化ステップサイズに基づいて前記変換係数の量子化を行うように機能させ、前記マイクロプロセッサを前記符号量制御部として機能させるときは、前記量子化ステップサイズに基づいて前記符号化データの並べ替えを行うように機能させることを特徴とする。
【００４６】
第２３の発明に係るプログラムは、第２０ないし第２２のいずれかの発明に係るプログラムであって、前記マイクロプロセッサを前記関心領域設定部として機能させるときに、設定した各関心領域に優先度を付与するように機能させ、前記マイクロプロセッサで前記関心領域の設定情報に基づく前記ビットシフトを行うときに、前記優先度に応じて決定された所定のビット数分だけビットシフトするように機能させることを特徴とする。
【００４７】
第２４の発明に係るプログラムは、第２０ないし第２３のいずれかの発明に係るプログラムであって、前記マイクロプロセッサを前記符号量制御部として機能させるときは、前記レート制御の切り捨て対象をビットプレーン単位で決定するように機能させることを特徴とする。
【００４８】
第２５の発明に係るプログラムは、第２０ないし第２３のいずれかの発明に係るプログラムであって、前記マイクロプロセッサを前記符号量制御部として機能させるときは、前記レート制御の切り捨て対象をパス単位で決定するように機能させることを特徴とする。
【００４９】
第２６の発明に係るプログラムは、第２０、第２２ないし第２５のいずれかの発明に係るプログラムであって、前記マイクロプロセッサを前記画質制御部として機能させるときは、フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求めるように機能させることを特徴とする。
【００５０】
第２７の発明に係るプログラムは、第２０、第２２ないし第２６のいずれかの発明に係るプログラムであって、前記マイクロプロセッサを前記画質制御部として機能させるときは、前記量子化ステップサイズが所定の数値より小さいときは、前記量子化ステップサイズが前記所定の数値以上になる２の累乗を乗算して得られた値を前記量子化ステップサイズとするように機能させることを特徴とする。
【００５１】
第２８の発明に係るプログラムは、第２７の発明に係るプログラムであって、前記マイクロプロセッサで前記量子化ステップサイズに基づく並べ替えを行うときに、前記量子化ステップサイズが前記画質制御部において２の累乗を乗算して求めた値であるときは、前記変換係数または前記符号化データを、前記２の累乗の指数に対応するビット数分だけビットシフトするように機能させることを特徴とする。
【発明の効果】
【００５２】
第１、第１１および第２０の発明によれば、関心領域に対してノイズ除去効果のある目標画質に適合する圧縮画像を容易に生成することができる。
【００５３】
第２、第１２および第２１の発明によれば、関心領域に対してノイズ除去効果のある目標画質に適合する圧縮画像を容易に生成することができる。また、ＪＰＥＧ２０００のオプション機能であるＭａｘ−Ｓｈｉｆｔ法を利用できない圧縮符号化装置においても処理を実現することができる。
【００５４】
第３、第１３および第２２の発明によれば、目標画質に従って量子化によるデータの圧縮率を制御しながら、最適解を推定する処理が必要な従来技術に比べて少ない演算量で高速な量子化を行うことが可能である。
【００５５】
第４、第１４および第２３の発明によれば、複数の関心領域の各々に優先度を設定することで、所望の領域の画質を維持しながら目標画質に適合する圧縮画像を生成することができる。
【００５６】
第５、第１５および第２４の発明によれば、目標画質に合わせてビットプレーン単位で符号量を細かくかつ効率的にレート制御することができる。
【００５７】
第６、第１６および第２５の発明によれば、目標画質に合わせてパス単位で符号量を細かくかつ効率的にレート制御することができる。
【００５８】
第７、第１７および第２６の発明によれば、人間の視覚評価に適した高い表示画質を有する圧縮画像を容易に生成することが可能である。
【００５９】
第８、第１８および第２７の発明によれば、目標画質に従って効率良く量子化する装置を容易に実現することができる。
【００６０】
第９、第１９および第２８の発明によれば、目標画質に適合する圧縮画像を画質を維持しながら効率良く生成することができる。
【００６１】
第１０の発明によれば、圧縮用の量子化値で符号化した画像も、ノイズ除去効果のある目標画質となるよう制御することができる。
【図面の簡単な説明】
【００６２】
【図１】この発明の第１の実施の形態に係る圧縮符号化装置の概略構成を示す図である。
【図２】Energy weighting factorの数値テーブルを示す図である。
【図３】Energy weighting factorの数値テーブルを示す図である。
【図４】Energy weighting factorの数値テーブルを示す図である。
【図５】輝度信号のウェーブレット平面を示す図である。
【図６】ＹＵＶ４２２形式の色差信号のウェーブレット平面を示す図である。
【図７】ＹＵＶ４２０形式の色差信号のウェーブレット平面を示す図である。
【図８】符号列のビットシフトの処理を示す図である。
【図９】符号列の並べ替えの処理を示す図である。
【図１０】ＹＵＶ形式の符号列の並べ替えおよびビットシフトの処理を示す図である。
【図１１】この発明の第２の実施の形態に係る圧縮符号化装置の概略構成を示す図である。
【図１２】原画像の例を示す図である。
【図１３】図１２の原画像に対して設定された単一のマスク領域を示す図である。
【図１４】図１３のマスク領域をウェーブレット平面に展開した状態を示す図である。
【図１５】逆ウェーブレット５×３フィルタにおける低域側及び高域側と入力側との間のマスク領域の対応関係を示す図である。
【図１６】逆ウェーブレット９×７フィルタにおける低域側及び高域側と入力側との間のマスク領域の対応関係を示す図である。
【図１７】画像データのＲＯＩ部分の設定例を示す図である。
【図１８】図１７のＲＯＩ設定情報をウェーブレット平面に展開した状態を示す図である。
【図１９】図１７のＲＯＩ設定情報に基づく符号列の並べ替えおよびビットシフトの処理を示す図である。
【図２０】第２の実施の形態の変形例に係る圧縮符号化装置の概略構成を示す図である。
【図２１】この発明の第３の実施の形態に係る符号列の並べ替えおよびビットシフトの処理を示す図である。
【図２２】この発明の第４の実施の形態に係る符号列の並べ替えおよびビットシフトの処理を示す図である。
【図２３】ＪＰＥＧ２０００方式による圧縮符号化装置の概略構成を示す図である。
【図２４】オクターブ分割方式に従って帯域分割された２次元画像を示す模式図である。
【図２５】複数のコードブロックに分解された２次元画像を示す模式図である。
【図２６】コードブロックを構成する複数枚のビットプレーンを示す模式図である。
【図２７】３種類の符号化パスを示す模式図である。
【図２８】レートと歪みの関係を表すＲ−Ｄ曲線を示す図である。
【図２９】量子化部でのＲＯＩ部分のシフトを示す図である。
【発明を実施するための形態】
【００６３】
（第１の実施の形態）
｛圧縮符号化装置｝
図１は、本発明の実施形態に係る圧縮符号化装置１の概略構成を示す機能ブロック図である。この圧縮符号化装置１の構成と機能について概説した後に、本実施形態に係る量子化方法および符号化方法について詳説する。
【００６４】
この圧縮符号化装置１は、ＤＣレベルシフト部１０、色空間変換部１１、タイリング部１２、ＤＷＴ部１３、量子化部１４、係数ビットモデリング部２０、算術符号化部（エントロピー符号化部）２１、符号量制御部２２、画質制御部２３およびビットストリーム生成部１７を備えて構成される。
【００６５】
尚、この圧縮符号化装置１を構成する各処理部１０〜１４，１７，２０〜２３の全部または一部は、ハードウェアで構成されてもよいし、マイクロプロセッサを機能させるプログラムで構成されていてもよい。
【００６６】
この圧縮符号化装置１に入力した画像信号は、ＤＣレベルシフト部１０で必要に応じてＤＣレベル変換を施された後に、色空間変換部１１に出力される。色空間変換部１１は入力信号を色空間変換して出力する。ＪＰＥＧ２０００方式によれば、色空間変換として、可逆変換用のＲＣＴ（Reversible Component Transformation）と、非可逆変換用のＩＣＴ（Irreversible Component Transformation）とが用意されており、何れか一方を適宜選択できる。これにより、例えば、入力するＲＧＢ信号をＹＣｂＣｒ信号或いはＹＵＶ信号に変換する。
【００６７】
次に、タイリング部１２は、色空間変換部１１から入力する画像信号を、複数の矩形状の「タイル」と称する領域成分に分割してＤＷＴ部１３に出力する。尚、必ずしも、画像信号をタイルに分割する必要は無く、１フレーム分の画像信号をそのまま次段の機能ブロックに出力してもよい。
【００６８】
次に、ＤＷＴ部１３は、タイリング部１２から入力する画像信号に対してタイル単位で整数型または実数型のＤＷＴを施すことで、上記オクターブ分割方式に従って画像信号を高域成分と低域成分とに再帰的に帯域分割する。その結果、図２４に示したような複数の帯域成分（サブバンド）ＨＨ１〜ＬＬ３の変換係数が生成され量子化部１４に出力される。具体的には、実数型ＤＷＴであれば、９×７タップ、５×３タップまたは７×５タイプなどのフィルタが使用され、整数型ＤＷＴであれば、５×３タップまたは１３×７タップなどのフィルタが使用される。また、これらフィルタの処理を畳み込み演算で実行してもよいし、或いは、畳み込み演算よりも効率的なリフティング構成（Lifting scheme）で実行してもよい。
【００６９】
量子化部１４は、ＤＷＴ部１３から入力する変換係数を、画質制御部２３で決定される量子化パラメータに従って、スカラー量子化する機能を有する。また量子化部１４は、所定のビットシフト処理を行う機能も有している。量子化部１４による量子化およびビットシフト処理の方法については後述する。
【００７０】
次に、量子化部１４から出力された変換係数ＱＤは、係数ビットモデリング部２０と算術符号化部２１とで、ブロックベースのエントロピー符号化を施され、符号量制御部２２でレートを制御される。
【００７１】
係数ビットモデリング部２０は、図２３に示した係数ビットモデリング部１０８と同様に、入力する変換係数ＱＤの帯域成分を３２×３２や６４×６４程度のコードブロックに分割し、更に、各コードブロックを、各ビットを２次元配列して構成される複数のビットプレーンに分解する。この結果、各コードブロックは、図２６に示したような複数のビットプレーン１２２0〜１２２n-1に分解される。
【００７２】
次に、算術符号化部２１は、係数ビットモデリング部２０から入力する符号化データＢＤを算術符号化し、その結果得た符号化データＡＤを符号量制御部２２に出力する。ここで、算術符号化部２１は、前記符号化対象の一部を算術符号化せずに、当該符号化対象をそのまま符号化データＡＤに含めて出力するバイパス処理を行う場合もある。尚、本実施の形態では算術符号化を採用するが、本発明はこれに限らず、他の方式のエントロピー符号化を採用しても構わない。
【００７３】
次に、符号量制御部２２は、画質制御部２３からの指示に基づいて、算術符号化部２１から入力する符号化データＡＤのレートを制御する機能を有する。すなわち、符号量制御部２２は、目標符号量（最終的な圧縮画像の符号量）を考慮しつつ、画面全体に対して所望のノイズ除去効果（人物撮影では美肌効果）を得るために、符号化データＡＤを、帯域成分単位あるいはビットプレーン単位、パス単位で優先度の低いものから順に切り捨てるというポスト量子化を実行する機能を有する。符号量制御部２２でのレート制御の方法については後述する。
【００７４】
そして、ビットストリーム生成部１７は、符号量制御部２２から出力された符号化データＣＤと付加情報（ヘッダ情報，レイヤー構成，スケーラビリティ，量子化テーブルなど）とを多重化したビットストリームを生成し、圧縮画像として外部に出力する。
【００７５】
｛量子化｝
次に、図１に示した画質制御部２３および量子化部１４によって実現される量子化の処理内容について説明する。
【００７６】
画質制御部２３は、外部から供給される目標画質情報（高画質，標準画質，低画質，解像度情報など）に基づいて、ＤＷＴ部１３から入力する変換係数を量子化部１４で量子化するときの量子化ステップサイズΔbを決定する機能を有する。以下、量子化ステップサイズΔbの決定方法について説明する。
【００７７】
ＤＷＴ部１３によって、原画像が図２４に示すように、「ＸＹｎ」（Ｘ，Ｙは高域成分Ｈまたは低域成分Ｌの何れか。ｎは分解レベル。）のサブバンド（帯域成分）に分割されたときに、各サブバンドの量子化に用いる量子化ステップサイズΔbを、次式（１）のように設定する。
【００７８】
【数１】
【００７９】
ここで、Ｑpは、目標画質情報に従って入力される正の数、すなわち量子化パラメータであって、高画質であるほど小さな値を入力する。量子化パラメータＱpは、利用者が直接数値を入力して指定する態様であってもよいし、例えば、予め、目標画質情報を示す「高画質、標準画質、低画質」といった所定の指示語と量子化パラメータＱpの数値とを関連づけた所定のテーブルを備えておき、利用者が所望する画像データの圧縮後の目標画質を指示語によって指定することで、当該テーブルにおいて関連づけられた量子化パラメータＱpの値を読み出して利用する態様であっても構わない。
【００８０】
Ｑbは、各サブバンドにおける量子化係数であって、合成フィルタ係数のノルムとして、次式（２）で表される。
【００８１】
【数２】
【００８２】
ここで、サブバンドｂの重み係数Ｇbは、次式（３）に従って算出される。
【００８３】
【数３】
【００８４】
上式（３）中、ｓb［ｎ］は、サブバンドｂの１次元合成フィルタ係数を示している。また、記号‖ｘ‖は、ベクトルｘに関するノルムを示す。
【００８５】
上述した非特許文献１に記載される数式（４．３９）と（４．４０）によれば、分解レベル１における低域成分Ｌ１の１次元合成フィルタ係数ｓL[1]［ｎ］と、同分解レベルにおける高域成分Ｈ１の１次元合成フィルタ係数ｓH[1]［ｎ］とは、次式（４）に従って算出される。
【００８６】
【数４】
【００８７】
ここで、上式（４）中、ｇ0［ｎ］は、画像信号を帯域分割する順変換フィルタのローパス・フィルタ係数、ｇ1［ｎ］は、そのハイパス・フィルタ係数をそれぞれ示している。
【００８８】
また、分解レベルｄ（ｄ＝１，２，…，Ｄ）における低域成分Ｌｄの１次元合成フィルタ係数ｓL[d]［ｎ］と、同分解レベルにおける高域成分Ｈｄの１次元合成フィルタ係数ｓH[d]［ｎ］とは、次式（５）に従って算出される。
【００８９】
【数５】
【００９０】
そして、分解レベルｄにおける低域成分Ｌｄの１次元合成フィルタ係数のノルムの二乗は、次式（６）に従って算出される。
【００９１】
【数６】
【００９２】
高域成分Ｈｄの１次元合成フィルタ係数のノルムの二乗も、上式（６）と同様にして算出することができる。
【００９３】
１次元合成フィルタ係数のノルムの二乗の計算結果を表１に示す。表中のｎは分解レベルを示しており、例えばＧＬ1とは、低域成分Ｌの分解レベル１における計算結果を示している。
【００９４】
【表１】
【００９５】
次に、分解レベルｄ（ｄ＝１，２，…，Ｄ；Ｄは整数）における帯域成分ＬＬＤ，ＨＬｄ，ＬＨｄ，ＨＨｄの２次元合成フィルタ係数は、上記１次元合成フィルタ係数の積で表現することができ、帯域成分ｂの２次元の重み係数Ｇbも、１次元の重み係数の積で表現することができる。具体的には、２次元合成フィルタ係数と２次元の重み係数とは、次式（７）に従って算出される。
【００９６】
【数７】
【００９７】
上式（７）中、添字ＬＬ［Ｄ］はサブバンドＬＬＤを示し，ＨＬ［ｄ］，ＬＨ［ｄ］およびＨＨ［ｄ］はそれぞれサブバンドＨＬｄ，ＬＨｄおよびＨＨｄを表している。
【００９８】
重み係数Ｇbの平方根がノルムである。以下の表２および表３に、表１から求めた２次元の重み係数Ｇbに関する計算結果を示す。表２には（９，７）フィルタ（９×７タップのフィルタ）の各帯域成分のノルムの二乗の数値を、表３には表２に対応するノルムの数値をそれぞれ示す。
【００９９】
【表２】
【０１００】
【表３】
【０１０１】
例えば、輝度信号Ｙ、色差信号ＵおよびＶの全てについて、同じく量子化パラメータＱp＝１６として、表３に示した値から上式（１）および（２）を利用して求めた輝度信号Ｙ、色差信号ＵおよびＶの量子化ステップサイズΔbは、表４のようになる。
【０１０２】
【表４】
【０１０３】
尚、輝度信号Ｙ、色差信号ＵおよびＶのそれぞれについて、量子化ステップサイズΔbを求めるのに利用する量子化パラメータＱpは、必ずしも同じ値をとる必要はなく、画像データの内容に応じて、異なる値を利用しても構わない。例えば、色成分を強調したい場合に、色差信号ＵおよびＶに利用する量子化パラメータＱpを輝度信号Ｙに比して小さくするなど、画像データの内容等を考慮して、それぞれについて適当な量子化パラメータＱpを利用すればよい。
【０１０４】
画質制御部２３では、このようにして量子化ステップサイズΔbを求め、これを量子化部１４に通知する。そして、量子化部１４では、各サブバンド毎に、通知された量子化ステップサイズΔbに従って量子化を行う。
【０１０５】
ただし、量子化ステップサイズΔbの値が１より小さくなる場合には、１以上の値となるように２の累乗を乗算してから用いる。例えば、上述した方法で計算した結果、求められたサブバンドＬＬ５の量子化ステップサイズΔbは０．４７１６３であるが、実際に画像データを量子化するときには、この値に２2を乗算して量子化ステップサイズΔb＝１．８８６５２として量子化を行う。同様に、サブバンドＨＬ５では、量子化ステップサイズΔb＝０．９３２０４に２を乗算して、量子化ステップサイズΔb＝１．８６４０８として量子化を行う。このように量子化ステップサイズΔbを、量子化を実現する量子化器の性能に基づいて所定の数値に変換する機能を有することで、量子化器の構成を簡素化することが可能であり、本来の量子化の目的であるデータ量の圧縮を達成することもできる。尚、量子化ステップサイズΔbを１以上の値としたのは一例であって、量子化器の機能によって、例えば１／２以上の値を利用する量子化器であれば、量子化ステップサイズΔbを１／２以上になるように変換すればよい。すなわち、量子化器の扱う下限値が１／２mであれば、全ての量子化ステップサイズΔbが、１／２m以上になるように２の累乗を乗算してから利用する態様であればよい。
【０１０６】
また、画質制御部２３では、上述した方法のほか、人間の視覚特性を考慮して量子化ステップサイズΔbを決定することもできる。その方法は以下の通りである。
【０１０７】
上述した非特許文献１のChapter 16には、ＣＳＦ（Contrast Sensitivity Function of human visual system ）に基づいた重み付けＷＭＳＥ（Weighted Mean Squared Error；WMSE）が記載されている。これを利用して、圧縮符号化後の画像データに対する人間の視覚評価を改善するために、上式（２）を次式（８）に修正する。
【０１０８】
【数８】
【０１０９】
ここで、上式（８）中、Ｗb[i]csfは、サブバンドｂ［ｉ］の"energy weighting factor"と呼ばれており、Ｗb[i]csfの推奨数値は、「INTERNATIONAL STANDARD ISO/IEC 15444-1ITU-T RECOMMENDATION T.800 Information technology - JPEG 2000 image coding system: Core coding system」の文献（以下、非特許文献２と呼ぶ。）に記載されている。図２〜図４に、非特許文献２に記載される"energy weighting factor"の数値を示す。
【０１１０】
図２〜図４中の"level"および "Lev"は分解レベルを、"Comp"は輝度成分Ｙと色差成分Ｃｂ, Ｃｒをそれぞれ示しており、"Viewing distance（視距離）"が1000，1700, 2000, 3000, 4000の例が示されている。また、"Viewing distance 1000", "Viewing distance 1700", "Viewing distance 2000", "Viewing distance 3000", "Viewing distance 4000"は、それぞれ、100dpi，170dpi，200dpi，300dpi，400dpiのディスプレイまたは印刷物を１０インチ離れて見たときの視距離を意味する。
【０１１１】
例えば、カラーの画像データについて、量子化ステップサイズΔbを求める具体的な方法を以下に説明する。尚、色空間については、ＲＧＢ信号から成るカラーの入力画像を、色空間変換部１１においてＹＵＶ４２２またはＹＵＶ４２０形式の色空間データに変換したものとする。
【０１１２】
ＹＵＶ４２２またはＹＵＶ４２０形式の画像データについては、色差信号ＵおよびＶは、輝度信号Ｙに比べ、そのデータ量がそれぞれ１／２および１／４となっている。輝度信号ＹにＤＷＴを施したウェーブレット平面は図５のように表すことができるが、データ量が１／２であることを、図５に示したウェーブレット平面に対して水平方向にＤＷＴを一回施したものと同等であると仮定すれば、図６中の散点部がＹＵＶ４２２形式の色差信号ＵおよびＶのウェーブレット平面となる。同様に、データ量が１／４であることを、図５に示したウェーブレット平面に対して水平方向および垂直方向にＤＷＴを一回ずつ施したものと同等であると仮定すれば、図７中の散点部がＹＵＶ４２０形式の色差信号ＵおよびＶのウェーブレット平面となる。
【０１１３】
ＹＵＶ４２２形式では、図６に示したように水平成分について垂直成分より一回多くフィルタリングすると仮定するので、２次元合成フィルタ係数と２次元の重み係数は、上式（７）に対して、次式（９）のように表すことができる。
【０１１４】
【数９】
【０１１５】
また、ＹＵＶ４２０形式では、同様に、図７に示したように水平成分および垂直成分について一回ずつ多くフィルタリングすると仮定するので、上式（７）に対して、次式（１０）のように表すことができる。
【０１１６】
【数１０】
【０１１７】
よって、表１に示した値から上式（９）および（１０）を利用して、ＹＵＶ４２２およびＹＵＶ４２０形式の色差信号のノルムを求めると表５および表６のようになる。
【０１１８】
【表５】
【０１１９】
【表６】
【０１２０】
次に、energy weighting factor Ｗb[i]csfについて、非特許文献１の記載によれば、サブバンドｂ[ｉ]のenergy weighting factor Ｗb[i]csfは１次元の水平および垂直方向の各帯域成分のenergy weighting factorの積として、次式（１１）で表される。
【０１２１】
【数１１】
【０１２２】
ＹＵＶ４２２またはＹＵＶ４２０形式の画像データにおける輝度信号Ｙに係るenergy weighting factorは、上式（１１）で求めることができる。尚、ＹＵＶ４４４形式であれば、輝度信号および色差信号ともに上式（１１）で求められる。
【０１２３】
ＹＵＶ４２２形式の色差信号ＵおよびＶについては、上述したように水平成分について垂直成分より一回多くフィルタリングすると仮定しているので、そのenergy weighting factorは、上式（１１）に対して次式（１２）のように表すことができる。
【０１２４】
【数１２】
【０１２５】
また、ＹＵＶ４２０形式の色差信号ＵおよびＶについては、同様に、水平成分および垂直成分について一回ずつ多くフィルタリングすると仮定しているので、そのenergy weighting factorは、上式（１１）に対して次式（１３）のように表すことができる。
【０１２６】
【数１３】
【０１２７】
非特許文献２の記載から求められるViewing distance 1000、Viewing distance 1700、およびViewing distance 3000の色差信号ＵおよびＶのenergy weighting factorの値を表７〜表９に示す。ここで、以下の表も含め、表中のＣｂおよびＣｒはそれぞれ色差信号ＵおよびＶを示している。
【０１２８】
【表７】
【０１２９】
【表８】
【０１３０】
【表９】
【０１３１】
そして、表７〜表９に示した値から、上式（１１）〜（１３）を利用して求めたＹＵＶ４２２およびＹＵＶ４２０形式の画像データに係るenergy weighting factorが表１０〜表１２および表１３〜表１５である。
【０１３２】
【表１０】
【０１３３】
【表１１】
【０１３４】
【表１２】
【０１３５】
【表１３】
【０１３６】
【表１４】
【０１３７】
【表１５】
【０１３８】
このようにして求めた表５および表６のノルムの値を上式（１）および（２）に代入すれば通常の量子化ステップサイズΔbが、表５および表６のノルムの値と、表１０〜表１５のenergy weighting factorの値とを上式（１）および（８）に代入すれば、人間の視覚特性を考慮して視覚的重み付けを行った量子化ステップサイズΔbが求められる。
【０１３９】
例えば、輝度信号Ｙ、色差信号ＵおよびＶの全てについて、同じく量子化パラメータＱp＝１６として、ＹＵＶ４２２形式のカラーの画像データにおいてViewing distance（視距離）3000の視覚的重み付けを行ったときの輝度信号Ｙ、色差信号ＵおよびＶの量子化ステップサイズΔbは、表５に示すノルムの値、表１２に示すenergy weighting factorの値、および上式（１），（８）を用いて求められる。その結果を表１６〜表１８に示す。
【０１４０】
【表１６】
【０１４１】
【表１７】
【０１４２】
【表１８】
【０１４３】
尚、輝度信号Ｙ、色差信号ＵおよびＶのそれぞれについて、量子化ステップサイズΔbを求めるのに利用する量子化パラメータＱpは、必ずしも同じ値をとる必要はなく、画像データの内容に応じて、異なる値を利用しても構わない。例えば、色成分を強調したい場合に、色差信号ＵおよびＶに利用する量子化パラメータＱpを輝度信号Ｙに比して小さくするなど、画像データの内容等を考慮して、それぞれについて適当な量子化パラメータＱpを利用すればよい。同様に、energy weighting factorの値についても、異なる値を利用しても構わないし、用いなくても良い。
【０１４４】
画質制御部２３では、このようにして量子化ステップサイズΔbを求め、これを量子化部１４に通知する。そして、量子化部１４では、各サブバンド毎に、通知された量子化ステップサイズΔbに従って量子化を行う。このとき、量子化ステップサイズΔbが１より小さければ、２の累乗を乗算して１以上の値にしてから利用するのは、上述したのと同様である。
【０１４５】
以上のように、本実施の形態では、量子化によって画質を制御することにより、ノイズ除去効果（美肌効果）のある目標画質に応じた厳密な制御を行うことが可能である。このとき最適解を求めるような複雑な処理を必要としないため、少ない演算量で高速に処理することが可能である。また、人間の視覚特性を考慮し、圧縮後に高い表示画質を有する圧縮画像を生成することもできる。
【０１４６】
｛並べ替えおよびビットシフト｝
図１に示した量子化部１４は、量子化ステップサイズΔbに基づいて、量子化データの並べ替えとビットシフト処理を行う。
【０１４７】
より小さい量子化ステップサイズΔbで量子化を行ったデータを優先してより多くの符号量を割り当て、レート制御による切り捨ての影響を受けないようにビットシフト処理を行うことで、符号化処理による画質劣化を回避または抑制することができる。
【０１４８】
以下に、量子化ステップサイズΔbに基づく並べ替えおよびビットシフトの処理について説明する。
【０１４９】
まず、目標画質として所定の量子化パラメータＱpの値が指定されると、この値に基づいて、画質制御部２３が、上述したように量子化ステップサイズΔbを算出し、これを量子化部１４に通知する。
【０１５０】
量子化部１４では、量子化ステップサイズΔbが通知されると、この値に基づいて、ＤＷＴ部１３がＤＷＴを施した後の画像データを上述したように量子化する。
【０１５１】
そして、量子化部１４は、量子化を行った後のデータを、量子化ステップサイズΔbの大きさに従って、その値が小さい順（昇順）に並べ替える。
【０１５２】
上述したように１以上になるよう変換した量子化ステップサイズΔbを利用して量子化されたデータについては、変換前の量子化ステップサイズΔbに基づいて並べ替えを行うが、このとき、量子化ステップサイズΔbを変換するときに乗算した２の累乗の指数に対応するビット数だけデータを左にビットシフトする処理を行う。具体的な処理の態様は以下の通りである。
【０１５３】
例えば、表４において、サブバンドＬＬ５の量子化ステップサイズΔbは０．４７１６３であるが、実際に画像データを量子化するときには、この値に２2を乗算して１．８８６５２を量子化ステップサイズΔbとして量子化を行う。よって、サブバンドＬＬ５のデータは、量子化ステップサイズΔbの変換のために乗算した２2の指数に対応して、２ビット左へシフトされる。同様に、サブバンドＨＬ５では、量子化ステップサイズΔb＝０，９３２０４に２を乗算して、量子化ステップサイズΔb＝１．８６４０８として量子化を行う。よって、サブバンドＨＬ５の符号化データＡＤを、乗算した２の指数に対応して１ビット左へシフトされる。すなわち、２mを乗算した量子化ステップサイズΔbにより量子化した場合、該当するデータを指数ｍの分だけ左シフトすることで、データの優先度を調節するのである。
【０１５４】
表４に示す量子化ステップサイズΔbに基づいて、このようなビットシフトの処理を施した変換係数を図８に示す。図中、＊印を伏した符号列は、量子化ステップサイズΔbの値を量子化に際して変換したものを示し、符号列の各ビットに伏した番号０，１，…，９は、当該ビットが属するビットプレーン番号を示している。ここで、ＬＳＢ番号＝０、ＭＳＢ番号＝９である。
【０１５５】
次に、各変換係数を、量子化に用いた量子化ステップサイズΔbの小さい順（昇順）に並べ替える。図８では、矢印で示した部分の量子化ステップサイズΔbの値が昇順となっていないため、これらを入れ替える。このようにして並べ替えを行った符号列を図９に示す。図９中の矢印は図８からその位置が変更された符号列を示している。
【０１５６】
また、カラーの画像の場合や視覚的重み付けを考慮して量子化ステップサイズΔbを計算した場合も同様の処理を行う。
【０１５７】
例えば、上述したように、量子化パラメータＱp＝１６として、ＹＵＶ４２２形式のカラーの画像データにおいて、Viewing distance（視距離）3000の視覚的重み付けを行ったときの輝度信号Ｙ、色差信号ＵおよびＶの量子化ステップサイズΔbは、表１６〜表１８に示した通りである。
【０１５８】
ここで、表１６〜表１８中の量子化ステップサイズΔbが１より小さいものは、上述したように２の累乗を乗算した上で量子化に用いられる。そして、変換後の量子化ステップサイズΔbによって量子化されたデータは、元の量子化ステップサイズΔbに乗算した２の累乗の指数に対応するビット数分だけ左シフトされる。
【０１５９】
カラー画像の場合、輝度信号Ｙ、色差信号ＵおよびＶのそれぞれについてデータが存在するが、これらのデータも信号毎に区別せず、全てのデータについて量子化ステップサイズΔbが昇順となるように並べ替えを行う。その結果得られた変換係数を図１０に示す。図中、ＹＬＬ５とは、輝度信号ＹのサブバンドＬＬ５のデータであることを示している。
【０１６０】
このように、輝度信号Ｙ、色差信号ＵおよびＶの全てのデータについて、上述したようなビットシフトと並べ替えの処理を行う。
【０１６１】
量子化部１４から出力された変換係数ＱＤは、係数ビットモデリング部２０と算術符号化部２１とで、ブロックベースのエントロピー符号化を施され、符号量制御部２２でレートを制御される。
【０１６２】
｛符号量制御｝
符号量制御部２２では、量子化部１４が量子化を行った後、係数ビットモデリング部２０および算術符号化部２１によって処理が施された符号化データＡＤのレート制御を行う。
【０１６３】
符号量制御部２２は、図１０に示すように並べ替えおよびビットシフトが施された符号列に対して、所望のノイズ除去効果が得られるようにデータの切り捨てを行う。データの切り捨ては、右端のビットから順に行う。例えば、図１０に示すＶＨＬ４の番号０のビットデータから、下方向へＹＨＨ５の番号０のビットデータ…と順に削除してゆく。そして、ＹＨＨ１までのビットデータを切り捨てれば目標とするノイズ除去効果が得られるとすれば、該当する図１０中の散点部のデータを切り捨てる。このとき、ＹＨＨ１のデータまで切り捨てても所望のノイズ除去効果が得られないときは、続いて、ＶＬＬ４の番号０のビットデータから、下方向へＵＬＬ４の番号０のビットデータ、ＹＬＨ５の番号０のビットデータ…と順に削除してゆく。
【０１６４】
尚、ビットデータ（ビットプレーン）は、図２７に示すようにＳＩＧパス，ＭＲパス，ＣＬパスに分解できる。符号量制御部２２によるレート制御は、上述したようにビットプレーン単位で行う態様の他、パス単位で行う態様であっても構わない。
【０１６５】
この場合、符号量制御部２２は、ＶＨＬ４の番号０のＣＬパスから、下方向へＹＨＨ５の番号０のＣＬパス…と順にＣＬパスを削除してゆく。ＹＨＨ１の番号０のＣＬパスまで削除しても所望のノイズ除去効果を得られないときは、続いて、ＶＨＬ４に戻って、ＶＨＬ４の番号０のＭＲパス、下方向へＹＨＨ５の番号０のＭＲパス…、ＹＨＨ１の番号０のＭＲパス…と順にＭＲパスを削除してゆく。所望のノイズ除去効果が得られるまで、ビットデータの削除が続けられる。
【０１６６】
また、符号量制御部２２に入力される段階で、既に利用者が意図する目標画質が得られていれば、上述したレート制御は行う必要はない。
【０１６７】
このように本実施の形態に係る圧縮符号化装置１によれば、量子化ステップサイズΔbの値に従って並べ替えとビットシフトを行い、さらに各サブバンドのビットデータまたはパスを、所望のノイズ除去効果が得られるまで（つまり所望の目標画質となるまで）、下位ビットから削除してゆくことで、レート制御を行う。これにより、画面全体に対して所望のノイズ除去効果を得ることができる。
【０１６８】
また、従来のように、レート・歪み最適化処理のために各符号化パスにおける歪み量を算出せずに済むため、リアルタイム性が高く、オーバーヘッドが大幅に低減した高効率のレート制御を実現できる。
【０１６９】
なお、量子化ステップサイズに基づく並び替え及びビットシフト処理は必ずしも量子化部１４で実行される必要はなく、例えば符号量制御部２２で実行されても良い。この場合、符号量制御部２２は量子化ステップサイズΔｂに基づいて符号化データＡＤに並び替え及びビットシフトを施した後、データの切り捨てを行う。この場合、量子化部１４がビットシフトに係る機能を有さない圧縮符号化装置においても、符号量制御部２２の機能及び動作の変更のみで、本実施の形態を実現することができる。
【０１７０】
（第２の実施の形態）
｛圧縮符号化装置｝
図１１は、本発明の第２の実施形態に係る圧縮符号化装置１の概略構成を示す機能ブロック図である。図１に示した第１の実施の形態に係る圧縮符号化装置１に、ＲＯＩ部１５が追加されている。
【０１７１】
尚、この圧縮符号化装置１を構成する各処理部１０〜１５，１７，２０〜２３の全部または一部は、ハードウェアで構成されてもよいし、マイクロプロセッサを機能させるプログラムで構成されていてもよい。
【０１７２】
以下、本実施の形態における圧縮符号化の構成および動作について、第１の実施の形態と異なる点を中心に説明する。
【０１７３】
量子化部１４は、ＤＷＴ部１３から入力する変換係数を、画質制御部２３で決定される量子化パラメータに従って、スカラー量子化する機能を有する。また量子化部１４は、ＲＯＩ部１５によって設定された関心領域（以下、ＲＯＩ（Region Of Interest）部分と記す）に対して、ノイズ除去効果を得るためのビットシフト処理を行う機能も有している。ＲＯＩ部１５によるＲＯＩ部分の設定方法、および量子化部１４によるＲＯＩ部分を考慮したビットシフト処理の方法については後述する。
【０１７４】
符号量制御部２２は、画質制御部２３からの指示に基づいて、算術符号化部２１から入力する符号化データＡＤのレートを制御する機能を有する。すなわち、符号量制御部２２は、目標符号量（最終的な圧縮画像の符号量）を考慮しつつ、ＲＯＩ部分に対してノイズ除去効果を得るために、符号化データＡＤを、帯域成分単位あるいはビットプレーン単位、パス単位で優先度の低いものから順に切り捨てるというポスト量子化を実行する機能を有する。符号量制御部２２でのレート制御の方法については後述する。
【０１７５】
｛ＲＯＩ部分の設定｝
図１１に示したＲＯＩ部１５は、画像データの中で後述するレート制御によるノイズ除去効果を得たい領域をＲＯＩ部分として設定する。
【０１７６】
以下に、ＲＯＩ部分の設定方法について説明する。
【０１７７】
ＲＯＩ部１５は、ウェーブレット変換が施された画像データに対して、重要な部分をＲＯＩ部分として指定するためのマスク信号を与える。例えば、図１２のような人物の画像データ（原画像）３０において、美肌効果を得たい額より下の顔部分のみをＲＯＩ部分とする場合、図１３（ａ）の白抜き部分に示すように単一のマスク領域３１を設定し、これをＲＯＩ部分として指定する。
【０１７８】
このマスク領域３１は、原画像３０をディスプレイ装置の画面で見ながら、所謂マウス等のポインティング入力デバイスを用いて原画像３０に対応して指定することができる。あるいは、画像データを解析することによって、例えば、肌色部分を含む所定領域を抽出する等、自動的にマスク領域３１が指定される態様であっても構わない。
【０１７９】
尚、図１３（ａ）は、原画像３０に対して単一のＲＯＩ部分を指定した例であるが、例えば図１３（ｂ）の白抜き部分に示すように、左目部分、右目部分、鼻および口を含む部分というように複数の領域をＲＯＩ部分として指定してもよい。この場合、これらの部分はそれぞれ異なったマスク信号により規定される。
【０１８０】
そして、全てのＲＯＩ部分についてのマスク領域３１を除去した残りの部分が非ＲＯＩ部分３２（図１３（ａ），（ｂ））となる。
【０１８１】
ここで、複数のマスク信号が与えられた場合には、その複数のマスク信号に対して優先度をつけることもできる。この優先度が高いほど、情報量、例えばビットレートが低くなり、美肌効果が高くなることになる。
【０１８２】
そして、マスク領域３１をウェーブレット平面に展開してマスク信号を生成する（図１４）。
【０１８３】
ここで、マスク信号をウェーブレット平面に相当する部分に変換する方法はウェーブレット変換のフィルタのタップ数に依存する。
【０１８４】
例えば、図１５のようにウェーブレット変換の演算処理においてリバーシブル（Reversible）５×３フィルタ（分解側のローパスフィルタのタップ数が５タップで分解側のハイパスフィルタのタップ数が３タップであるフィルタ）を適用するものとすると、原画像の偶数番目（２ｎ番目）の画素データがＲＯＩ部分として指定されている場合には、ローパスフィルタ（低域側）３３のｎ番目のデータと、ハイパスフィルタ（高域側）３４の（ｎ−１）番目及びｎ番目のデータとがＲＯＩ部分であるものとして、マスク信号をウェーブレット平面に展開する。また、原画像の奇数番目（２ｎ＋１番目）の画素データがＲＯＩ部分として指定されている場合には、ローパスフィルタ（低域側）３３のｎ番目及び（ｎ＋１）番目のデータと、ハイパスフィルタ（高域側）３４の（ｎ−１）番目、ｎ番目及び（ｎ＋１）番目のデータとがＲＯＩ部分であるものとして、マスク信号をウェーブレット平面に展開する。図１５は原画像と最初の階層のウェーブレット平面との対応関係のみを示しているが、より深い階層の展開についても同様の再帰的な展開が行われる。
【０１８５】
あるいは、例えば、図１６のようにウェーブレット変換の演算処理においてドビュッシー（Daubechies）９×７フィルタ（分解側のローパスフィルタのタップ数が９タップで分解側のハイパスフィルタのタップ数が７タップであるフィルタ）を適用するものとすると、原画像の偶数番目（２ｎ番目）の画素データがＲＯＩ部分として指定されている場合には、ローパスフィルタ（低域側）３３の（ｎ−１）番目、ｎ番目及び（ｎ＋１）番目のデータと、ハイパスフィルタ（高域側）３４の（ｎ−２）番目、（ｎ−１）番目、ｎ番目及び（ｎ＋１）番目のデータとがＲＯＩ部分であるものとして、マスク信号をウェーブレット平面に展開する。また、原画像の奇数番目（２ｎ＋１番目）の画素データがＲＯＩ部分として指定されている場合には、ローパスフィルタ（低域側）３３の（ｎ−１）番目、ｎ番目、（ｎ＋１）番目及び（ｎ＋２）番目のデータと、ハイパスフィルタ（高域側）３４の（ｎ−２）番目、（ｎ−１）番目、ｎ番目、（ｎ＋１）番目及び（ｎ＋２）番目のデータとがＲＯＩ部分であるものとして、マスク信号をウェーブレット平面に展開する。図１６は原画像と最初の階層のウェーブレット平面との対応関係のみを示しているが、より深い階層の展開についても同様の再帰的な展開が行われる。
【０１８６】
尚、図１５及び図１６の対応関係について、原画像の或る画素データとの対応による非ＲＯＩ部分と、原画像の他の画素データとの対応によるＲＯＩ部分とが重なり合う場合は、当該部分はＲＯＩ部分であるものとして、マスク信号をウェーブレット平面に展開する。また、マスク信号の変換方法についてはリバーシブル（Reversible）５×３フィルタの場合と、ドビュッシー（Daubechies）９×７フィルタの場合の各々について説明したが、後述する符号量制御についてはドビュッシー（Daubechies）９×７フィルタを例にして説明している。
【０１８７】
図１４（ａ）中の白抜き部分３１ａは、上記のようにして図１３（ａ）に示したマスク領域（ＲＯＩ部分）３１をウェーブレット平面に展開した領域（以下「展開マスク領域」と称す）であり、この展開マスク領域３１ａに対応したマスク信号が生成され、ウェーブレット変換された画像データに与えられる。図１４（ａ）中の符号３２ａは非ＲＯＩ部分３２がウェーブレット平面に展開された領域（以下「展開非マスク領域」と称す）を示している。またマスク領域（ＲＯＩ部分）３１と非ＲＯＩ部分３２とが重なり合う部分においてはマスク領域（ＲＯＩ部分）３１を、それぞれ選択して割り当てる。即ち、より高い優先度を選択して割り当てる。
【０１８８】
図１３（ｂ）に示したように複数のＲＯＩ部分がマスク領域３１として設定された場合には、図１４（ｂ）に示すようにウェーブレット平面上に展開されるマスク領域３１ａも複数になる。このようにウェーブレット平面上に展開された各マスク領域３１ａが複数である場合には、ここで優先度をつけることもできる。上述のように、原画像に対して複数のＲＯＩ部分３１を設定している場合は、各ＲＯＩ部分３１毎にウェーブレット平面上に展開マスク領域３１ａが生成される。一のＲＯＩ部分３１に対応する全ての展開マスク領域３１ａに対しては、当該ＲＯＩ部分３１の優先度に基づいた同一の優先度をつけ、最終的に全ての展開マスク領域３１ａに優先度を設定する。
【０１８９】
原画像に対して複数のＲＯＩ部分３１を設定している場合、ウェーブレット平面上のローパスフィルタ（低域側）３３を通過した部分において、複数の展開マスク領域３１ａが重なり合うことがあり得る。この場合は、その重なり合った部分について、重なり合った複数の展開マスク領域３１ａのうち優先度の高い方の展開マスク領域３１ａであるとして優先度を決定する。
【０１９０】
ウェーブレット変換された画像データにおいて、どのマスク信号にもかからなかった部分が展開非マスク領域３２ａとなる。展開非マスク領域３２ａの優先度は、全ての展開マスク領域３１ａよりも低くなる。
【０１９１】
このように、複数のＲＯＩ部分を設定し、各ＲＯＩ部分について優先度を設定することも可能である。
【０１９２】
設定されたＲＯＩ部分に係る情報は、量子化部１４に入力される。
【０１９３】
｛並べ替えおよびビットシフト｝
図１１に示した量子化部１４は、量子化ステップサイズΔb、および上述したＲＯＩ部１５から通知されたＲＯＩ部分の設定情報に基づいて、量子化データの並べ替えとビットシフト処理を行う。
【０１９４】
より小さい量子化ステップサイズΔbで量子化を行ったデータを優先してより多くの符号量を割り当て、レート制御による切り捨ての影響を受けないようにビットシフト処理を行うことは、上記第１の実施の形態と同様である。
【０１９５】
以下、ＲＯＩ部分の設定情報に基づくビットシフト処理について説明する。
【０１９６】
上述したように、本発明では、白黒画像およびカラー画像、さらにこれらに視覚的重み付けを考慮した場合、の処理を行うことができるが、以下では、図１０に示した量子化パラメータＱp＝１６として、ＹＵＶ４２２形式のカラーの画像データにおいて、Viewing distance（視距離）3000の視覚的重み付けを行ったときのカラー画像を用いて、処理の詳細を説明する。
【０１９７】
まず、ＲＯＩ部１５によって、上述したようにＲＯＩ部分と非ＲＯＩ部分が設定され、その設定情報が量子化部１４に通知される。設定情報には、各画素データがＲＯＩ部分であるか非ＲＯＩ部分であるかを示す情報の他、複数のＲＯＩ部分について優先度が設定された場合には当該優先度に係る情報も含まれる。
【０１９８】
量子化部１４は、通知されたＲＯＩ部分の設定情報に基づいて、図１０の状態にある変換係数を、さらにＲＯＩ部分と非ＲＯＩ部分のデータに分ける。
【０１９９】
図１０では、上述したように量子化ステップサイズΔbに基づいてビットシフトと並べ替えの処理を施された変換係数を、図５に示すサブバンド毎に示している。図５と図１４の対応から分かるように、実際には、図１０に示した各サブバンドの変換係数には、図１４に示したＲＯＩ部分３１ａと非ＲＯＩ部分３２ａの両方のデータが含まれている。
【０２００】
ここで、本実施の形態では、図１７に示すように、画像データ上に４つのＲＯＩ部分３６〜３９と非ＲＯＩ部分４０とが設定されたものとする。また、各ＲＯＩ部分について、ＲＯＩ部分３６、ＲＯＩ部分３７、ＲＯＩ部分３８、ＲＯＩ部分３９の順に優先度が設定されたものとする。ＲＯＩ部１５は、これらのＲＯＩ部分および優先度の情報に基づいて、上述したようにＲＯＩ部分をウェーブレット平面へ展開する。
【０２０１】
ただし、ＲＯＩ部分の展開は、ＤＷＴを施してウェーブレット平面に展開した画像データを所定の大きさの矩形領域に分割したコードブロック毎に行う。具体的には、例えば、各サブバンドを縦３２画素×横３２画素というように所定の大きさのコードブロックに分割し、コードブロック毎に、ＲＯＩ部分であるか否かとＲＯＩ部分である場合にはその優先度とが割り当てられて、ウェーブレット平面上に展開される。
【０２０２】
尚、複数のＲＯＩ部分、またはＲＯＩ部分と非ＲＯＩ部分、の両方が、一のコードブロック内に含まれるような場合には、当該コードブロックに対しては、優先度の高いＲＯＩ部分、またはＲＯＩ部分、をそれぞれ選択して割り当てる。即ち、より高い優先度を選択して割り当てる。もしくは、一のコードブロック内に含まれるＲＯＩ部分及び非ＲＯＩ部分の割合に応じて、新たな優先度を設定してもよい。
【０２０３】
その結果、図１７に示したＲＯＩ部分および優先度の設定に対しては、図１８に示すようなウェーブレット平面が展開されることとなる。図１８において各サブバンドを構成している矩形がコードブロックを示している。
【０２０４】
このようにして設定されたＲＯＩ部分に係る設定情報が、図１１に示した量子化部１４に入力される。
【０２０５】
図１０では、図５に示すサブバンド毎に示しているが、図５と図１８の対応から分かるように、実際には、図１０に示した各サブバンドのデータには、図１８に示した４つのＲＯＩ部分３６ａ〜３９ａと非ＲＯＩ部分４０ａの全てのデータが含まれている。
【０２０６】
量子化部１４は、ＲＯＩ部１５から通知されたＲＯＩ部分の設定情報に基づいて、図１０に示した符号列を、図１９に示すように、４つのＲＯＩ部分３６〜３９のデータと非ＲＯＩ部分４０のデータとに分離する。
【０２０７】
さらに、量子化部１４は、ＲＯＩ部分３６〜３９の各データを所定のビット数分だけ右方向へビットシフトする。このとき、複数のＲＯＩ部分が設定されている場合には、その優先度に応じて、優先度が高いほどシフト量を大きく設定する。
【０２０８】
例えば図１９では、非ＲＯＩ部分４０のデータに対して、最も優先度の低いＲＯＩ部分３９は１ビット（Ｖml＝−１）、次に優先度が高いＲＯＩ部分３８は２ビット（Ｖml＝−２）、次に優先度が高いＲＯＩ部分３７は３ビット（Ｖml＝−３）、最も優先度の高いＲＯＩ部分３６は４ビット（Ｖml＝−４）、それぞれ右方向へビットシフトされている。
【０２０９】
尚、ＲＯＩ部分３６〜３９のデータおよび非ＲＯＩ部分４０のデータのシフト量は、予め設定された所定のビット数分であってもよいし、目標とするノイズ除去効果や圧縮符号化後の画像データの画質等に応じて、任意の値に変更する態様であっても構わない。
【０２１０】
また、ＲＯＩ部分３６〜３９のデータおよび非ＲＯＩ部分４０のデータは、図１９に示すように優先度の高い部分のデータから順に並べる態様に限るものではなく、例えば優先度の低い部分のデータから順に並べる態様等であっても構わない。データの並びは、例えば、後述する符号量制御においては下位ビットプレーンほどノイズ成分などの高調波成分を含んでいるため、目標画質に収めるためには下位ビットプレーンを対象にしたレート制御が有効である点、このときのレート制御によるデータの削除の順と各部分３６〜４０の優先度の関係、各部分３６〜４０の画像データの内容、等を考慮して決定する。
【０２１１】
量子化部１４から出力された変換係数ＱＤは、係数ビットモデリング部２０と算術符号化部２１とで、ブロックベースのエントロピー符号化を施され、符号量制御部２２でレートを制御される。
【０２１２】
尚、非特許文献２で規格化されているＪＰＥＧ２０００ Ｐａｒｔ１では、Ｍａｘ−Ｓｈｉｆｔ法を用いる場合のみ、量子化部１４でＲＯＩ部分と非ＲＯＩ部分との２種類に分けてシフトすることが許されている。従ってそのシフト量は、図２９に示すように、ＲＯＩ部分の最大値分を右シフトするということになる。ＲＯＩの形状はコードブロック単位である必要はなく、図１４に示したＲＯＩ部分３１ａと非ＲＯＩ部分３２ａのウェーブレット平面状の係数単位でシフトしてもよい。
【０２１３】
そのため、量子化部１４で複数のＲＯＩに関して任意のシフト量の優先度を設定するためには、非特許文献２で規格化されているＪＰＥＧ２０００ Ｐａｒｔ１を拡張する必要がある。各サブバンドのマスクの形状データと各ＲＯＩの優先度を示すシフト量を拡張データとして保存することになる。各サブバンドのマスクの形状データは、コードブロック単位でもよいし、ウェーブレット平面状の係数単位であってもよい。マスクの形状データをコードブロック単位で保存した場合は、保存すべきデータ量を減らすことができる。
【０２１４】
｛符号量制御｝
符号量制御部２２では、量子化部１４が量子化を行った後、係数ビットモデリング部２０および算術符号化部２１によって処理が施された符号化データＡＤのレート制御を行う。
【０２１５】
符号量制御部２２は、図１９に示すように並べ替えおよびビットシフトが施された符号列に対して、目標のノイズ除去効果が得られるように（つまり目標の画質が得られるように）、データの切り捨てを行う。データの切り捨ては、右端のビットから順に行う。例えば、図１９に示すＲＯＩ部分３６の符号列のＶＨＬ４の番号０のビットデータから、下方向へＹＨＨ５の番号０のビットデータ…と順に削除してゆく。そして、ＹＨＨ１までのビットデータを切り捨てれば目標とするノイズ除去効果が達成されるとすれば、該当する図１９中の散点部のデータを切り捨てる。このとき、ＹＨＨ１のデータまで切り捨てても目標の画質が得られないときは、続いて、ＲＯＩ部分３６のＶＬＬ４の番号０のビットデータから、下方向へＵＬＬ４の番号０のビットデータ、ＹＬＨ５の番号０のビットデータ…と順に削除してゆく。ビットデータの削除は、目標画質が得られるまで続けられる。
【０２１６】
尚、ビットデータ（ビットプレーン）は、図２７に示すようにＳＩＧパス，ＭＲパス，ＣＬパスに分解できる。符号量制御部２２によるレート制御は、上述したようにビットプレーン単位で行う態様の他、パス単位で行う態様であっても構わない。
【０２１７】
このように本実施の形態に係る圧縮符号化装置１によれば、量子化ステップサイズΔbの値に従って並べ替えとビットシフトを行い、さらにＲＯＩ部分の設定情報に基づいて並べ替えとビットシフトを行った各サブバンドのビットデータまたはパスを、所望のノイズ除去効果が得られるまで（つまり所望の目標画質となるまで）、下位ビットから削除してゆくことで、レート制御を行う。その結果、ノイズ除去効果のある目標画質になるよう、厳密に制御することが可能となる。
【０２１８】
また、従来のように、レート・歪み最適化処理のために各符号化パスにおける歪み量を算出せずに済むため、リアルタイム性が高く、オーバーヘッドが大幅に低減した高効率のレート制御を実現できる。画像圧縮により、ノイズを除去した画像を生成することが可能となる。
【０２１９】
また、優先度の高いＲＯＩ部分から順に、データの切り捨てが行われる。そのため、優先度の高いＲＯＩ部分の情報がレート制御によってノイズ成分などの高周波成分を含んでいる部分を優先的に除去でき、優先度の高いＲＯＩ部分のノイズ除去効果のある目標画質になるよう厳密に制御したまま圧縮符号化することが可能となる。
【０２２０】
例えば人間の肌などをＲＯＩ部分としてレート制御することにより、肌のシワやシミなどをノイズ成分として除去することができるため、美肌効果を得ることができる。
【０２２１】
図２０は、本実施の形態の変形例を示すブロック図である。図１１に示した例と異なるのは、ＲＯＩ部１５で設定したＲＯＩ部分に係る情報が、量子化部１４ではなく符号量制御部２２に入力される点である。
【０２２２】
図１１に示した例では、量子化の段階で量子化ステップサイズに基づくデータの並べ替えおよびビットシフトの処理と、ＲＯＩ部分の設定情報に基づくデータの並べ替えおよびビットシフトの処理と、を行っている。これに対し、図２０に示した例では、量子化部１４では、量子化ステップサイズに基づく量子化のみを行う。そして、量子化部１４から出力され係数ビットモデリング部２０および算術符号化部２１によるブロックベースのエントロピー符号化を施された後、符号量制御部２２がレート制御を行う際に、量子化ステップサイズに基づく並べ替えおよびビットシフトの処理と、ＲＯＩ部分の設定情報に基づくデータの並べ替えおよびビットシフトの処理が行われる。ＲＯＩ部分の設定情報に基づくデータの並べ替えおよびビットシフトの処理を、量子化部１４ではなく符号量制御部２２が行うということ以外は、図１１に示した例と同様であるため、詳細な説明は省略する。
【０２２３】
図２０に示した例では、並べ替えおよびビットシフトの処理を全て符号量制御部２２で行っている。従って、量子化部１４がビットシフトに係る機能を有さない圧縮符号化装置においても、符号量制御部２２の機能および動作の変更のみで、本実施の形態を実現することができる。
【０２２４】
（第３の実施の形態）
第１の実施の形態では、量子化ステップサイズΔbを用いて量子化した後、符号量制御処理に基づいてノイズ除去効果（美肌効果）のある目標画質なるように、データの切り捨てを行った。各サブバンドの量子化に用いる量子化ステップサイズΔbは、式（１）と、合成フィルタ係数のノルムを用いた式（２）、または、非特許文献２に記載される"energy weighting factor"の数値及び合成フィルタ係数のノルムの積を用いた式（８）とによって決定されていた。
【０２２５】
これに対し、本実施の形態では、量子化ステップサイズΔbを用いて量子化した後、符号量制御処理において"energy weighting factor"の数値で異なる"Viewing distance（視距離）"を適応する場合についての実施例について述べる。
【０２２６】
以下、本実施の形態における圧縮符号化装置の構成および動作について、第１の実施の形態と異なる点を中心に説明する。
【０２２７】
符号量制御処理において異なる"Viewing distance（視距離）"を用いた量子化ステップサイズΔb’を次式（１４）とする。
【０２２８】
【数１４】
【０２２９】
ここで、Ｑp’は、符号量制御処理における目標画質情報に従って入力される正の数、すなわち量子化パラメータであって、高画質であるほど小さな値を入力する。Ｑb’は、合成フィルタ係数のノルムを用いた式（２）、または、非特許文献２に記載される"energy weighting factor"の数値と合成フィルタ係数のノルムの積を用いた式（８）と同様である。
【０２３０】
Δb’とΔbの関係を次式（１５）のように規定する。
【０２３１】
【数１５】
【０２３２】
ここで、αは、各サブバンドの量子化に用いる量子化ステップサイズΔbに対する、符号量制御処理における量子化ステップサイズΔb’の重みとなる。
【０２３３】
例えば、第１の実施の形態では、輝度信号Ｙ、色差信号ＵおよびＶの全てについて、量子化パラメータＱp＝１６として、ＹＵＶ４２２形式のカラーの画像データにおいてViewing distance（視距離）3000の視覚的重み付けを行ったときの輝度信号Ｙ、色差信号ＵおよびＶの量子化ステップサイズΔbは、表１６〜表１８に示されている。符号量制御処理において輝度信号Ｙ、色差信号ＵおよびＶの全てについて、量子化パラメータＱp’＝１６として、ＹＵＶ４２２形式のカラーの画像データにおいてViewing distance（視距離）1000の視覚的重み付けを行ったときの輝度信号Ｙ、色差信号ＵおよびＶの量子化ステップサイズΔb’になるようなαは、次式（１６）となる。
【０２３４】
【数１６】
【０２３５】
量子化ステップサイズΔb’の重みαは、符号量制御部２２で画質制御部２３から通知された量子化ステップサイズΔbと符号量制御部２２に入力する目標画質情報とによって決定される。
【０２３６】
｛並べ替えおよびビットシフト｝
このように求められた、符号量制御処理において異なる"Viewing distance（視距離）"を用いた量子化ステップサイズΔb’と量子化ステップサイズの重みαとに基づいて、第１の実施の形態と同様に、並べ替えおよびビットシフトを行う。
【０２３７】
図１に示した符号量制御部２２は、符号量制御部２２内で計算された量子化ステップサイズの重みαを用いて、次式（１７）のようにビットシフトするビット数Ｓを決定する。
【０２３８】
【数１７】
【０２３９】
ここで、ＲＯＵＮＤは小数点を丸める関数であり、切捨て、切り上げ、四捨五入が考えられる。値が正の場合は左シフトし、負の場合は右シフトする。式（１６）のViewing distance（視距離）3000の量子化ステップサイズΔbとViewing distance（視距離）1000の量子化ステップサイズΔb’で四捨五入した場合のビットシフトするビット数Ｓの例を表１９〜表２１に示す。
【０２４０】
【表１９】
【０２４１】
【表２０】
【０２４２】
【表２１】
【０２４３】
次に、各符号列を、符号量制御部２２で求められた量子化ステップサイズΔb’に基づいて、第１の実施の形態と同様にΔb’の小さい順（昇順）に並べ替える。表１９〜表２１のビットシフトするビット数Ｓに対応する量子化ステップサイズΔb’を表２２〜表２４に示す。量子化ステップサイズΔb’は並び替えにのみ用いられる。
【０２４４】
【表２２】
【０２４５】
【表２３】
【０２４６】
【表２４】
【０２４７】
本実施の形態でも、画質制御部２３では、量子化ステップサイズΔbを求め、これを量子化部１４に通知する。そして、量子化部１４では、各サブバンド毎に、通知された量子化ステップサイズΔbに従って量子化を行う。このとき、量子化ステップサイズΔbが１より小さければ、２の累乗を乗算して１以上の値にしてから利用するのは、上述したのと同様である。
【０２４８】
従って、実際のシフト量は上記のシフト量と式（１７）のシフト量の合計になる。
【０２４９】
｛符号量制御処理｝
次に、図１に示した符号量制御部２２の処理内容について説明する。第１の実施の形態との違いは、図２１に示すように、量子化ステップサイズの重みαに基づいて決定されたビットシフトするビット数Ｓによるシフト分の違いだけである。図２１に示すように、例えばＹＨＨ１に関しては８ビット左にシフトされており、ＵＨＨ１に関しては４ビット左にシフトされている。
【０２５０】
この結果、符号量制御部２２で"Viewing distance（視距離）"を自由に変更することができるため、圧縮用の量子化値で符号化した画像も、符号量制御部２２でノイズ除去効果（美肌効果）のある目標画質となるよう厳密に制御することが可能である。
【０２５１】
なお、第１の実施の形態と同様に、並び替え及びビットシフトの処理を全て符号量制御部２２で行っても良い。この場合、量子化部１４がビットシフトに係る機能を有さない圧縮符号化装置においても、符号量制御部２２の機能及び動作の変更のみで、本実施の形態を実現することができる。
【０２５２】
（第４の実施の形態）
第２の実施の形態では、量子化ステップサイズΔbを用いて量子化した後、各ＲＯＩで優先度をつけてビットシフトすることにより、符号量制御処理に基づいてノイズ除去効果（美肌効果）のある目標画質となるようにデータの切り捨てを行った。
【０２５３】
これに対し、本実施の形態では、第３の実施の形態と同様に、量子化ステップサイズΔbを用いて量子化した後、符号量制御処理において"energy weighting factor"の数値で異なる"Viewing distance（視距離）"を各ＲＯＩに適応する場合についての実施例について述べる。
【０２５４】
以下、本実施の形態における圧縮符号化の構成および動作について、第１〜第３の実施の形態と異なる点を中心に説明する。圧縮符号化装置、量子化、ＲＯＩ部分の設定は、第２の実施の形態と同じである。
【０２５５】
｛並べ替えおよびビットシフト｝
図１１または図２０に示した量子化部１４は、画質制御部２３から通知された量子化ステップサイズに基づいて、入力された符号化データＡＤの並べ替えおよびビットシフトの処理を行う。このとき、１以上になるように変換した量子化ステップサイズを利用して量子化した変換係数については、変換時に乗算した２の累乗の指数に対応するビット数だけ左方向にビットシフトする。
【０２５６】
例えば、第３の実施の形態と同様に、量子化パラメータＱp＝１６として、ＹＵＶ４２２形式のカラーの画像データにおいて、Viewing distance（視距離）3000の視覚的重み付けを行って量子化されたものに、符号量制御処理において量子化パラメータＱp’＝１６として、ＹＵＶ４２２形式のカラーの画像データにおいてViewing distance（視距離）1000の視覚的重み付け行った量子化ステップサイズに基づく並べ替えおよびビットシフトの処理を行うと、図２２に示すような符号列が得られる。
【０２５７】
次に、図１１に示した量子化部１４または図２０に示した符号量制御部２２は、図１０に示した符号列に対し、さらにＲＯＩ部１５から通知されたＲＯＩ部分の設定情報に基づく並べ替えおよびビットシフトの処理を行う。非ＲＯＩ部分よりもＲＯＩ部分の符号量をより多く切り捨てるよう処理することで、符号化処理によるＲＯＩ部分のノイズ除去効果（美肌効果）が期待できる。
【０２５８】
まず、図１１に示した量子化部１４または図２０に示した符号量制御部２２は、上述したように量子化ステップサイズΔb’に基づいて並べ替えとビットシフトの処理を施された符号化列を、ＲＯＩ部１５から通知されたＲＯＩ部分の設定情報に基づいてＲＯＩ部分と非ＲＯＩ部分のデータに分ける。
【０２５９】
図５と図１８の対応から分かるように、実際には、図１０に示した各サブバンドのデータには、図１８に示した４つのＲＯＩ部分３６ａ〜３９ａと非ＲＯＩ部分４０ａの全てのデータが含まれている。
【０２６０】
図１１に示した量子化部１４または図２０に示した符号量制御部２２は、ＲＯＩ部１５から通知されたＲＯＩ部分の設定情報に基づいて、図１０に示した符号列を、図１９に示したように、４つのＲＯＩ部分３６〜３９のデータと非ＲＯＩ部分４０のデータとに分離する。
【０２６１】
各ＲＯＩを設定した領域に対し、符号量制御処理において異なる"Viewing distance（視距離）"を用いた量子化ステップサイズΔb’を用いるため、第３の実施の形態で用いたように、式（１７）の量子化ステップサイズの重みαを用いてビットシフトするビット数Ｓを各ＲＯＩに適用する。
【０２６２】
図１９では、各ＲＯＩ部分に対して優先度をつけて全体をビットシフトしていただけであった。図２１と同様に、各ＲＯＩ部分に対しても、量子化ステップサイズΔbで用いた"Viewing distance（視距離）"を符号量制御処理において"energy weighting factor"の数値で異なる"Viewing distance（視距離）"に変更できる。
【０２６３】
図２２では、ＲＯＩ部分３６，３７についてはViewing distance 1000で、ＲＯＩ部分３８，３９及び非ＲＯＩ部分４０についてはViewing distance 3000で、符号量制御処理を行っている。
【０２６４】
｛符号量制御｝
符号量制御部２２は、図２２に示したように並べ替えられた符号列に対して、ノイズ除去効果（美肌効果）のある目標画質となるようにデータの切り捨てを行う。データの切り捨ては、右端のビットから順に行う。例えば、図２２に示すＲＯＩ部分３６のＶＨＬ４の番号０のビットデータから、下方向へＹＨＨ５の番号０のビットデータ…と順に削除してゆく。そして、ＹＨＨ３までのビットデータを切り捨てれば目標画質になるとすれば、該当する部分のデータを切り捨てる。このとき、ＹＨＨ３までのデータまで切り捨てても目標画質とならないときは、続いて、ＲＯＩ部分３６のＶＬＬ４の番号０のビットデータから、下方向へＵＬＬ４の番号０のビットデータ…と順に削除してゆく。ビットデータの削除は、右側に位置するビットから順に、目標画質となるまで続けられる。
【０２６５】
第３の実施の形態と同様に第４の実施の形態においても、図１１に示した量子化部１４または図２０に示した符号量制御部２２で"Viewing distance（視距離）"を自由に変更することができるため、圧縮用の量子化値で符号化した画像も、ノイズ除去効果（美肌効果）のある目標画質となるよう厳密に制御することが可能となる。
【０２６６】
なお、第２の実施の形態と同様に、並び替え及びビットシフトの処理を全て符号量制御部２２で行っても良い。この場合、量子化部１４がビットシフトに係る機能を有さない圧縮符号化装置においても、符号量制御部２２の機能及び動作の変更のみで、本実施の形態を実現することができる。
【符号の説明】
【０２６７】
１ 圧縮符号化装置
１０ ＤＣレベルシフト部
１１ 色空間変換部
１２ タイリング部
１３ ＤＷＴ部
１４ 量子化部
１５ ＲＯＩ部
１７ ビットストリーム生成部
２０ 係数ビットモデリング部
２１ 算術符号化部
２２ 符号量制御部
２３ 画質制御部
【技術分野】
【０００１】
本発明は、画像圧縮伸長技術で使用される圧縮符号化装置、圧縮符号化方法に関する。
【背景技術】
【０００２】
画像データの次世代の高能率符号化方式として、ＩＳＯ（国際標準化機構）やＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門）によって、ＪＰＥＧ２０００（Joint Photographic Experts Group 2000）方式が策定されている。ＪＰＥＧ２０００方式は、現在主流のＪＰＥＧ（Joint Photographic Experts Group）方式と比べて優れた機能を有するものであり、直交変換としてＤＷＴ（離散ウェーブレット変換；Discrete Wavelet Transform）を採用し、エントロピー符号化に、ビットプレーン符号化を行うＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）と称する方法を採用する点に特徴がある。
【０００３】
図２３は、ＪＰＥＧ２０００方式に基づいた画像の圧縮符号化を行う圧縮符号化装置１００の概略構成を示す機能ブロック図である。以下、この図２３を参照しつつ、ＪＰＥＧ２０００方式の圧縮符号化手順について概説する。
【０００４】
この圧縮符号化装置１００に入力する画像信号は、ＤＣレベルシフト部１０２で必要に応じてＤＣレベル変換を施された後に、色空間変換部１０３に出力される。次に、色空間変換部１０３は、ＤＣレベルシフト部１０２から入力する信号の色空間を変換する。ここで、例えば、色空間変換部１０３に入力するＲＧＢ信号はＹＣｂＣｒ信号（輝度信号Ｙと色差信号Ｃｂ，Ｃｒからなる信号）に変換される。
【０００５】
次に、タイリング部１０４は、色空間変換部１０３から入力する画像信号を、複数の矩形状の「タイル」と称する領域成分に分割してＤＷＴ部１０５に出力する。ＤＷＴ部１０５は、タイリング部１０４から入力する画像信号に対してタイル単位で整数型または実数型のＤＷＴを施し、その結果得られる変換係数を出力する。ＤＷＴでは、２次元画像信号に対して、高域成分（高周波数成分）と低域成分（低周波数成分）とに分割する１次元フィルタが垂直方向と水平方向の順に適用される。ＪＰＥＧ２０００の基本方式では、垂直方向と水平方向との双方向に低域側に分割した帯域成分のみを再帰的に帯域分割していくオクターブ分割方式が採用されている。またその再帰的に帯域分割した回数は、分解レベル（decomposition level）と呼ばれる。
【０００６】
図２４は、オクターブ分割方式に従って、分解レベル３のＤＷＴを施された２次元画像１２０を示す模式図である。分解レベル１では、２次元画像１２０は、垂直方向と水平方向とに前述の１次元フィルタを順次適用することで、ＨＨ１，ＨＬ１，ＬＨ１およびＬＬ１（図示せず）の４つの帯域成分に分割される。ここで、「Ｈ」は高域成分を、「Ｌ」は低域成分をそれぞれ示している。例えば、ＨＬ１は、分解レベル１における水平方向の高域成分Ｈと垂直方向の低域成分Ｌとからなる帯域成分である。その表記法を一般化して、「ＸＹｎ」（Ｘ，ＹはＨ，Ｌの何れか；ｎは１以上の整数）は、分解レベルｎにおける水平方向の帯域成分Ｘと垂直方向の帯域成分Ｙとからなる帯域成分を指すものとする。
【０００７】
分解レベル２では、低域成分ＬＬ１は、ＨＨ２，ＨＬ２，ＬＨ２およびＬＬ２（図示せず）に帯域分割される。更に、分解レベル３では、低域成分ＬＬ２は、ＨＨ３，ＨＬ３，ＬＨ３およびＬＬ３に帯域分割される。以上で生成された帯域成分ＨＨ１〜ＬＬ３を配列したのが図２４である。図２４では、３次の分解レベルの例が示されているが、ＪＰＥＧ２０００方式では、一般に、３次〜８次程度の分解レベルが採用される。
【０００８】
次に、量子化部１０６は、ＤＷＴ部１０５から出力された変換係数を、必要に応じてスカラー量子化する機能を有する。また量子化部１０６は、ＲＯＩ部１０７による関心領域（ＲＯＩ；Region Of Interest）の画質を優先させるビットシフト処理を行う機能も有している。尚、可逆（ロスレス）変換を行う場合には、量子化部１０６でのスカラー量子化は行われない。ＪＰＥＧ２０００方式では、この量子化部１０６でのスカラー量子化と後述するポスト量子化（truncation）との２種類の量子化手段が用意されている。
【０００９】
ＲＯＩの代表的な利用方法としては、ＪＰＥＧ２０００のオプション機能に指定されるＭａｘ−ｓｈｉｆｔ法がある。
【００１０】
Ｍａｘｓｈｉｆｔ法は、ＲＯＩ部分を任意の形で指定し、その部分を高画質に圧縮する一方、非ＲＯＩ部分を低画質に圧縮するものである。具体的には、まず原画像に対してウェーブレット変換を行ってウェーブレット係数の分布を得た後、これらの分布の中で、非ＲＯＩ部分に相当する係数分布の最も大きなウェーブレット係数の値Ｖｍを求めておく。そして、Ｓ＞＝ｍａｘ（Ｖｍ）となるようなビット数Ｓを求め、ＲＯＩ部分のウェーブレット係数のみを増大する方向へＳビットだけシフトさせる。例えば、Ｖｍの値が十進数で「２５５」（即ち、二進数で「１１１１１１１１」）である場合には、Ｓ＝８ビットであり、またＶｍの値が十進数で「１２８」（即ち、二進数で「１０００００００」）である場合にも同様にＳ＝８ビットであるため、この場合にはＲＯＩ部分のウェーブレット係数を増大する方向へＳ＝８ビットだけシフトさせることになる。これにより、ＲＯＩ部分については非ＲＯＩ部分に比べて圧縮率を低く設定でき、ＲＯＩ部分について高画質の圧縮データを得ることが可能となる。
【００１１】
次に、量子化部１０６から出力された変換係数は、上述のＥＢＣＯＴに従って、係数ビットモデリング部１０８と算術符号化部１０９とで、ブロックベースのエントロピー符号化を施され、符号量制御部１１０でレートを制御される。具体的には、係数ビットモデリング部１０８は、入力する変換係数の帯域成分を１６×１６や３２×３２や６４×６４程度の「コードブロック」と称する領域に分割し、更に、各コードブロックを、各ビットの２次元配列で構成される複数のビットプレーンに分解する。
【００１２】
図２５は、複数のコードブロック１２１，１２１，１２１，…に分解された２次元画像１２０を示す模式図である。また、図２６は、このコードブロック１２１を構成するｎ枚のビットプレーン１２２0〜１２２n-1（ｎ：自然数）を示す模式図である。図２６に示すように、コードブロック１２１中の１点の変換係数の２進値１２３が"０１１…０"である場合、この２進値１２３を構成するビットは、それぞれ、ビットプレーン１２２n-1，１２２n-2，１２２n-3，…，１２２0に属するように分解される。図中のビットプレーン１２２n-1は、変換係数の最上位ビット（ＭＳＢ）のみからなる最上位ビットプレーンを表し、ビットプレーン１２２0は、その最下位ビット（ＬＳＢ）のみからなる最下位ビットプレーンを表している。
【００１３】
更に、係数ビットモデリング部１０８は、各ビットプレーン１２２k（ｋ＝０〜ｎ−１）内の各ビットのコンテクスト（context）判定を行い、図２７に示すように、各ビットの有意性（判定結果）に応じて、ビットプレーン１２２kを３種類の符号化パス、すなわち、ＳＩＧパス（SIGnificance propagation pass），ＭＲパス（Magnitude Refinement pass），ＣＬパス（CLeanup pass）に分解する。各符号化パスに関するコンテクスト判定のアルゴリズムは、ＥＢＣＯＴで定められている。それによれば、「有意である」とは、これまでの符号化処理において注目係数がゼロでないとわかっている状態のことを意味し、「有意で無い」とは、係数値がゼロであるか、或いはゼロである可能性がある状態のことを意味する。
【００１４】
係数ビットモデリング部１０８は、ＳＩＧパス（有意な係数が周囲にある有意でない係数の符号化パス）、ＭＲパス（有意な係数の符号化パス）およびＣＬパス（ＳＩＧパス，ＭＲパスに該当しない残りの係数情報の符号化パス）の３種類の符号化パスでビットプレーン符号化を実行する。ビットプレーン符号化は、最上位ビットプレーンから最下位ビットプレーンにかけて、各ビットプレーンのビットを４ビット単位で走査し、有意な係数が存在するか否かを判定することで行われる。有意で無い係数（０ビット）のみで構成されるビットプレーンの数はパケットヘッダに記録され、有意な係数が最初に出現したビットプレーンから実際の符号化が開始される。その符号化開始のビットプレーンはＣＬパスのみで符号化され、当該ビットプレーンよりも下位のビットプレーンは、上記３種類の符号化パスで順次符号化される。
【００１５】
尚、図２８に、レート（符号量；Ｒ）と歪み（Ｄ）の関係を表すＲ−Ｄ曲線を示す。このＲ−Ｄ曲線中、Ｒ1はビットプレーン符号化前のレート、Ｒ2はビットプレーン符号化後のレート、Ｄ1はビットプレーン符号化前の歪み、Ｄ2はビットプレーン符号化後の歪み、をそれぞれ示している。また、Ａ，Ｂ，Ｃは、上述の符号化パスを表すラベルである。効率的な符号化を行うには、開始点Ｐ1（Ｒ1，Ｄ1）から終了点Ｐ2（Ｒ2，Ｄ2）へ向かう経路のうち、凸曲線のＣ−Ｂ−Ａの経路よりも、凹曲線のＡ−Ｂ−Ｃの経路を採用するのが好ましい。このような凹曲線を実現するには、ＭＳＢプレーンからＬＳＢプレーンに向けて符号化すればよいことが知られている。
【００１６】
次に、算術符号化部１０９は、ＭＱコーダを用いて、係数ビットモデリング部１０８からの係数列に対して、コンテクストの判定結果に基づいて符号化パス単位で算術符号化を実行する。尚、この算術符号化部１０９で、係数ビットモデリング部１０８から入力する係数列の一部を算術符号化させないバイパス処理を行うモードもある。
【００１７】
次に、符号量制御部１１０は、算術符号化部１０９が出力した符号列の下位ビットプレーンを切り捨てるポスト量子化を行うことで、最終符号量を制御する。そして、ビットストリーム生成部１１１は、符号量制御部１１０が出力した符号列と付加情報（ヘッダ情報，レイヤー構成、スケーラビリティ情報、量子化テーブルなど）とを多重化したビットストリームを生成し、圧縮画像として出力する。
【００１８】
以上のような構成を有する圧縮符号化装置において、画像データのデータ量を圧縮するための方法としては、例えば、符号量制御部１１０におけるレート制御方法を利用するレート・歪み最適化（R-D optimization）と称する手法が採用されている（非特許文献１参照）。
【先行技術文献】
【非特許文献】
【００１９】
【非特許文献１】David S. Taubman and Michael W. Marcellin, "JPEG2000 IMAGE COMPRESSION FUNDAMENTALS, STANDARDS AND PRACTICE," Kluwer Academic Publishers
【発明の概要】
【発明が解決しようとする課題】
【００２０】
しかしながら、この手法では、（１）レートに対する歪量を各符号化パスで一々算出する必要があり、また或る符号化レートにおける最適解を推定しなければならず、演算量が多大になりリアルタイム性が低下する、（２）各符号化パスで算出した歪量を保存するためのメモリが必要になる、という問題がある。
【００２１】
特に、圧縮符号化装置の動作性能に直接影響する量子化や符号量制御については、効率よく高速に、かつ高画質を維持しながら、処理を実現する方法が望まれている。
【００２２】
また、例えば人物撮影において美肌効果を得たい場合、従来の手法では、圧縮符号化装置の前段にノイズ除去フィルタ（美肌フィルタ）を配置し、ノイズ除去フィルタによって撮影画像に対してノイズ除去処理を行った後に、圧縮符号化装置によって画像圧縮処理を行っている。しかしながら、この手法では、（１）ノイズ除去処理を行った後に画像圧縮処理を行うため、ノイズ除去処理によってせっかくノイズが除去されても、続く画像圧縮処理に起因して新たな歪みが生じる、（２）ノイズ除去フィルタと圧縮符号化装置との２段構成のため、処理が複雑化する、という問題がある。
【００２３】
以上の問題等に鑑みて本発明が課題とするところは、少ない演算量で且つ高速に、画像データを圧縮符号化することにある。また、ノイズを除去しながら目標画質に適合する圧縮画像を得ることをも目的とする。
【課題を解決するための手段】
【００２４】
第１の発明に係る圧縮符号化装置は、画像信号を圧縮符号化する圧縮符号化装置であって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、目標画質を示す量子化パラメータを、フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、前記画像信号に関心領域を設定する関心領域設定部と、前記変換係数に対して、前記量子化ステップサイズに基づく量子化および並べ替えと、前記関心領域の設定情報に基づく並べ替えおよびビットシフトと、を施し、前記ビットシフトにおいて前記設定情報の優先度の高い関心領域ほど他の領域に比べて前記変換係数を下位ビット側にビットシフトする量子化部と、前記量子化部から入力される前記変換係数をエントロピー符号化するエントロピー符号化部と、所望のノイズ除去効果が得られるまで、前記エントロピー符号化部の出力する符号化データの一部を下位ビットから切り捨てるレート制御を行う符号量制御部と、を備えることを特徴とする。
【００２５】
第２の発明に係る圧縮符号化装置は、画像信号を圧縮符号化する圧縮符号化装置であって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、前記画像信号に関心領域を設定する関心領域設定部と、前記変換係数の量子化を行う量子化部と、前記量子化部から入力される前記変換係数をエントロピー符号化するエントロピー符号化部と、前記エントロピー符号化部の出力する符号化データに対して、前記関心領域の設定情報に基づく並べ替えおよびビットシフトを施した符号列を生成し、所望のノイズ除去効果が得られるまで、前記符号列の一部を下位ビットから切り捨てるレート制御を行い、前記ビットシフトにおいて前記設定情報の優先度の高い関心領域ほど他の領域に比べて前記符号化データを下位ビット側にビットシフトする符号量制御部と、を備えることを特徴とする。
【００２６】
第３の発明に係る圧縮符号化装置は、第２の発明に係る圧縮符号化装置であって、さらに、目標画質を示す量子化パラメータを、フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部、を備え、前記量子化部は、前記量子化ステップサイズに基づいて前記変換係数の量子化を行い、前記符号量制御部は、前記量子化ステップサイズに基づいて前記符号化データの並べ替えを行うことを特徴とする。
【００２７】
第４の発明に係る圧縮符号化装置は、第１ないし第３のいずれかの発明に係る圧縮符号化装置であって、前記関心領域設定部は、設定した各関心領域に優先度を付与し、前記関心領域の設定情報に基づく前記ビットシフトのシフト量は前記優先度に応じて決定されることを特徴とする。
【００２８】
第５の発明に係る圧縮符号化装置は、第１ないし第４のいずれかの発明に係る圧縮符号化装置であって、前記符号量制御部は、前記レート制御の切り捨て対象をビットプレーン単位で決定することを特徴とする。
【００２９】
第６の発明に係る圧縮符号化装置は、第１ないし第４のいずれかの発明に係る圧縮符号化装置であって、前記符号量制御部は、前記レート制御の切り捨て対象をパス単位で決定することを特徴とする。
【００３０】
第７の発明に係る圧縮符号化装置は、第１、第３ないし第６のいずれかの発明に係る圧縮符号化装置であって、前記画質制御部は、フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求めることを特徴とする。
【００３１】
第８の発明に係る圧縮符号化装置は、第１、第３ないし第７のいずれかの発明に係る圧縮符号化装置であって、前記画質制御部は、前記量子化ステップサイズが所定の数値より小さいときは、前記量子化ステップサイズが前記所定の数値以上になる２の累乗を乗算して得られた値を前記量子化ステップサイズとすることを特徴とする。
【００３２】
第９の発明に係る圧縮符号化装置は、第８の発明に係る圧縮符号化装置であって、前記量子化ステップサイズが前記画質制御部において２の累乗を乗算して求めた値であるときは、当該量子化ステップサイズに基づく並べ替えを行うときに、前記変換係数または前記符号化データを、前記２の累乗の指数に対応するビット数分だけビットシフトすることを特徴とする。
【００３３】
第１０の発明に係る圧縮符号化装置は、第１または第２の発明に係る圧縮符号化装置であって、前記符号量制御部は、Viewing distanceを変更可能であり、変更後のViewing distanceについてのenergy weighting factorと、変更後のViewing distanceについてのenergy weighting factorの比に基づく量だけ、前記符号列をビットシフトすることを特徴とする。
【００３４】
第１１の発明に係る圧縮符号化方法は、画像信号を圧縮符号化する圧縮符号化方法であって、（ａ）ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成する工程と、（ｂ）目標画質を示す量子化パラメータを、フィルタ係数のノルムで除算して量子化ステップサイズを求める工程と、（ｃ）前記画像信号に関心領域を設定する工程と、（ｄ）前記変換係数に対して、前記量子化ステップサイズに基づく量子化および並べ替えと、前記関心領域の設定情報に基づく並べ替えおよびビットシフトと、を施し、前記ビットシフトにおいて前記設定情報の優先度の高い関心領域ほど他の領域に比べて前記変換係数を下位ビット側にビットシフトする工程と、（ｅ）前記工程（ｄ）の処理を施した前記変換係数をエントロピー符号化する工程と、（ｆ）所望のノイズ除去効果が得られるまで、前記工程（ｅ）で符号化した符号化データの符号化データの一部を下位ビットから切り捨てるレート制御を行う工程と、を備えることを特徴とする。
【００３５】
第１２の発明に係る圧縮符号化方法は、画像信号を圧縮符号化する圧縮符号化方法であって、（ａ）ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成する工程と、（ｂ）前記画像信号に関心領域を設定する工程と、（ｃ）前記変換係数の量子化を行う工程と、（ｄ）前記工程（ｃ）で量子化した前記変換係数をエントロピー符号化する工程と、（ｅ）前記工程（ｄ）で符号化した符号化データに対して、前記関心領域の設定情報に基づく並べ替えおよびビットシフトを施した符号列を生成し、所望のノイズ除去効果が得られるまで、前記符号列の一部を下位ビットから切り捨てるレート制御を行い、前記ビットシフトにおいて前記設定情報の優先度の高い関心領域ほど他の領域に比べて前記符号化データを下位ビット側にビットシフトする工程と、を備えることを特徴とする。
【００３６】
第１３の発明に係る圧縮符号化方法は、第１２の発明に係る圧縮符号化方法であって、前記量子化を行う工程は、目標画質を示す量子化パラメータを、フィルタ係数のノルムで除算して量子化ステップサイズを求める工程と、前記量子化ステップサイズに基づく前記変換係数の量子化を行う工程と、を含み、前記符号化データを並べ替える工程は、前記量子化ステップサイズに基づく前記符号化データの並べ替えを行う工程、を含むことを特徴とする。
【００３７】
第１４の発明に係る圧縮符号化方法は、第１１ないし第１３のいずれかの発明に係る圧縮符号化方法であって、前記関心領域を設定する工程は、設定した各関心領域に優先度を付与する工程、を含み、前記関心領域の設定情報に基づくビットシフトを行う工程は、前記優先度に応じて決定された所定のビット数分だけビットシフトする工程、を含むことを特徴とする。
【００３８】
第１５の発明に係る圧縮符号化方法は、第１１ないし第１４のいずれかの発明に係る圧縮符号化方法であって、前記レート制御を行う工程は、前記レート制御の切り捨て対象をビットプレーン単位で決定する工程、を含むことを特徴とする。
【００３９】
第１６の発明に係る圧縮符号化方法は、第１１ないし第１４のいずれかの発明に係る圧縮符号化方法であって、前記レート制御を行う工程は、前記レート制御の切り捨て対象をパス単位で決定する工程、を含むことを特徴とする。
【００４０】
第１７の発明に係る圧縮符号化方法は、第１１、第１３ないし第１６のいずれかの発明に係る圧縮符号化方法であって、前記量子化ステップサイズを求める工程は、フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求める工程、を含むことを特徴とする。
【００４１】
第１８の発明に係る圧縮符号化方法は、第１１、第１３ないし第１７のいずれかの発明に係る圧縮符号化方法であって、前記量子化ステップサイズを求める工程は、前記量子化ステップサイズが所定の数値より小さいときは、前記量子化ステップサイズが前記所定の数値以上になる２の累乗を乗算して得られた値を前記量子化ステップサイズとする工程、を含むことを特徴とする。
【００４２】
第１９の発明に係る圧縮符号化方法は、第１８の発明に係る圧縮符号化方法であって、前記量子化ステップサイズに基づく並べ替えを行う工程は、前記量子化ステップサイズが２の累乗を乗算して求めた値であるときは、当該量子化ステップサイズで量子化された前記変換係数または前記符号化データを、前記２の累乗の指数に対応するビット数分だけビットシフトして前記符号列を生成する工程、を含むことを特徴とする。
【００４３】
第２０の発明に係るプログラムは、マイクロプロセッサに画像信号を圧縮符号化させるためのプログラムであって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、目標画質を示す量子化パラメータを、フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、前記画像信号に関心領域を設定する関心領域設定部と、前記変換係数に対して、前記量子化ステップサイズに基づく量子化および並べ替えと、前記関心領域の設定情報に基づく並べ替えおよびビットシフトと、を施し、前記ビットシフトにおいて前記設定情報の優先度の高い関心領域ほど他の領域に比べて前記変換係数を下位ビット側にビットシフトする量子化部と、前記量子化部から入力される前記変換係数をエントロピー符号化するエントロピー符号化部と、所望のノイズ除去効果が得られるまで、前記エントロピー符号化部の出力する符号化データの一部を下位ビットから切り捨てるレート制御を行う符号量制御部として、前記マイクロプロセッサを機能させることを特徴とする。
【００４４】
第２１の発明に係るプログラムは、マイクロプロセッサに画像信号を圧縮符号化させるためのプログラムであって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、前記画像信号に関心領域を設定する関心領域設定部と、前記変換係数の量子化を行う量子化部と、前記量子化部から入力される前記変換係数をエントロピー符号化するエントロピー符号化部と、前記エントロピー符号化部の出力する符号化データに対して、前記関心領域の設定情報に基づく並べ替えおよびビットシフトを施した符号列を生成し、所望のノイズ除去効果が得られるまで、前記符号列の一部を下位ビットから切り捨てるレート制御を行い、前記ビットシフトにおいて前記設定情報の優先度の高い関心領域ほど他の領域に比べて前記符号化データを下位ビット側にビットシフトする符号量制御部として、前記マイクロプロセッサを機能させることを特徴とする。
【００４５】
第２２の発明に係るプログラムは、第２１の発明に係るプログラムであって、さらに、目標画質を示す量子化パラメータを、フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部として、前記マイクロプロセッサを機能させると共に、前記マイクロプロセッサを前記量子化部として機能させるときは、前記量子化ステップサイズに基づいて前記変換係数の量子化を行うように機能させ、前記マイクロプロセッサを前記符号量制御部として機能させるときは、前記量子化ステップサイズに基づいて前記符号化データの並べ替えを行うように機能させることを特徴とする。
【００４６】
第２３の発明に係るプログラムは、第２０ないし第２２のいずれかの発明に係るプログラムであって、前記マイクロプロセッサを前記関心領域設定部として機能させるときに、設定した各関心領域に優先度を付与するように機能させ、前記マイクロプロセッサで前記関心領域の設定情報に基づく前記ビットシフトを行うときに、前記優先度に応じて決定された所定のビット数分だけビットシフトするように機能させることを特徴とする。
【００４７】
第２４の発明に係るプログラムは、第２０ないし第２３のいずれかの発明に係るプログラムであって、前記マイクロプロセッサを前記符号量制御部として機能させるときは、前記レート制御の切り捨て対象をビットプレーン単位で決定するように機能させることを特徴とする。
【００４８】
第２５の発明に係るプログラムは、第２０ないし第２３のいずれかの発明に係るプログラムであって、前記マイクロプロセッサを前記符号量制御部として機能させるときは、前記レート制御の切り捨て対象をパス単位で決定するように機能させることを特徴とする。
【００４９】
第２６の発明に係るプログラムは、第２０、第２２ないし第２５のいずれかの発明に係るプログラムであって、前記マイクロプロセッサを前記画質制御部として機能させるときは、フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求めるように機能させることを特徴とする。
【００５０】
第２７の発明に係るプログラムは、第２０、第２２ないし第２６のいずれかの発明に係るプログラムであって、前記マイクロプロセッサを前記画質制御部として機能させるときは、前記量子化ステップサイズが所定の数値より小さいときは、前記量子化ステップサイズが前記所定の数値以上になる２の累乗を乗算して得られた値を前記量子化ステップサイズとするように機能させることを特徴とする。
【００５１】
第２８の発明に係るプログラムは、第２７の発明に係るプログラムであって、前記マイクロプロセッサで前記量子化ステップサイズに基づく並べ替えを行うときに、前記量子化ステップサイズが前記画質制御部において２の累乗を乗算して求めた値であるときは、前記変換係数または前記符号化データを、前記２の累乗の指数に対応するビット数分だけビットシフトするように機能させることを特徴とする。
【発明の効果】
【００５２】
第１、第１１および第２０の発明によれば、関心領域に対してノイズ除去効果のある目標画質に適合する圧縮画像を容易に生成することができる。
【００５３】
第２、第１２および第２１の発明によれば、関心領域に対してノイズ除去効果のある目標画質に適合する圧縮画像を容易に生成することができる。また、ＪＰＥＧ２０００のオプション機能であるＭａｘ−Ｓｈｉｆｔ法を利用できない圧縮符号化装置においても処理を実現することができる。
【００５４】
第３、第１３および第２２の発明によれば、目標画質に従って量子化によるデータの圧縮率を制御しながら、最適解を推定する処理が必要な従来技術に比べて少ない演算量で高速な量子化を行うことが可能である。
【００５５】
第４、第１４および第２３の発明によれば、複数の関心領域の各々に優先度を設定することで、所望の領域の画質を維持しながら目標画質に適合する圧縮画像を生成することができる。
【００５６】
第５、第１５および第２４の発明によれば、目標画質に合わせてビットプレーン単位で符号量を細かくかつ効率的にレート制御することができる。
【００５７】
第６、第１６および第２５の発明によれば、目標画質に合わせてパス単位で符号量を細かくかつ効率的にレート制御することができる。
【００５８】
第７、第１７および第２６の発明によれば、人間の視覚評価に適した高い表示画質を有する圧縮画像を容易に生成することが可能である。
【００５９】
第８、第１８および第２７の発明によれば、目標画質に従って効率良く量子化する装置を容易に実現することができる。
【００６０】
第９、第１９および第２８の発明によれば、目標画質に適合する圧縮画像を画質を維持しながら効率良く生成することができる。
【００６１】
第１０の発明によれば、圧縮用の量子化値で符号化した画像も、ノイズ除去効果のある目標画質となるよう制御することができる。
【図面の簡単な説明】
【００６２】
【図１】この発明の第１の実施の形態に係る圧縮符号化装置の概略構成を示す図である。
【図２】Energy weighting factorの数値テーブルを示す図である。
【図３】Energy weighting factorの数値テーブルを示す図である。
【図４】Energy weighting factorの数値テーブルを示す図である。
【図５】輝度信号のウェーブレット平面を示す図である。
【図６】ＹＵＶ４２２形式の色差信号のウェーブレット平面を示す図である。
【図７】ＹＵＶ４２０形式の色差信号のウェーブレット平面を示す図である。
【図８】符号列のビットシフトの処理を示す図である。
【図９】符号列の並べ替えの処理を示す図である。
【図１０】ＹＵＶ形式の符号列の並べ替えおよびビットシフトの処理を示す図である。
【図１１】この発明の第２の実施の形態に係る圧縮符号化装置の概略構成を示す図である。
【図１２】原画像の例を示す図である。
【図１３】図１２の原画像に対して設定された単一のマスク領域を示す図である。
【図１４】図１３のマスク領域をウェーブレット平面に展開した状態を示す図である。
【図１５】逆ウェーブレット５×３フィルタにおける低域側及び高域側と入力側との間のマスク領域の対応関係を示す図である。
【図１６】逆ウェーブレット９×７フィルタにおける低域側及び高域側と入力側との間のマスク領域の対応関係を示す図である。
【図１７】画像データのＲＯＩ部分の設定例を示す図である。
【図１８】図１７のＲＯＩ設定情報をウェーブレット平面に展開した状態を示す図である。
【図１９】図１７のＲＯＩ設定情報に基づく符号列の並べ替えおよびビットシフトの処理を示す図である。
【図２０】第２の実施の形態の変形例に係る圧縮符号化装置の概略構成を示す図である。
【図２１】この発明の第３の実施の形態に係る符号列の並べ替えおよびビットシフトの処理を示す図である。
【図２２】この発明の第４の実施の形態に係る符号列の並べ替えおよびビットシフトの処理を示す図である。
【図２３】ＪＰＥＧ２０００方式による圧縮符号化装置の概略構成を示す図である。
【図２４】オクターブ分割方式に従って帯域分割された２次元画像を示す模式図である。
【図２５】複数のコードブロックに分解された２次元画像を示す模式図である。
【図２６】コードブロックを構成する複数枚のビットプレーンを示す模式図である。
【図２７】３種類の符号化パスを示す模式図である。
【図２８】レートと歪みの関係を表すＲ−Ｄ曲線を示す図である。
【図２９】量子化部でのＲＯＩ部分のシフトを示す図である。
【発明を実施するための形態】
【００６３】
（第１の実施の形態）
｛圧縮符号化装置｝
図１は、本発明の実施形態に係る圧縮符号化装置１の概略構成を示す機能ブロック図である。この圧縮符号化装置１の構成と機能について概説した後に、本実施形態に係る量子化方法および符号化方法について詳説する。
【００６４】
この圧縮符号化装置１は、ＤＣレベルシフト部１０、色空間変換部１１、タイリング部１２、ＤＷＴ部１３、量子化部１４、係数ビットモデリング部２０、算術符号化部（エントロピー符号化部）２１、符号量制御部２２、画質制御部２３およびビットストリーム生成部１７を備えて構成される。
【００６５】
尚、この圧縮符号化装置１を構成する各処理部１０〜１４，１７，２０〜２３の全部または一部は、ハードウェアで構成されてもよいし、マイクロプロセッサを機能させるプログラムで構成されていてもよい。
【００６６】
この圧縮符号化装置１に入力した画像信号は、ＤＣレベルシフト部１０で必要に応じてＤＣレベル変換を施された後に、色空間変換部１１に出力される。色空間変換部１１は入力信号を色空間変換して出力する。ＪＰＥＧ２０００方式によれば、色空間変換として、可逆変換用のＲＣＴ（Reversible Component Transformation）と、非可逆変換用のＩＣＴ（Irreversible Component Transformation）とが用意されており、何れか一方を適宜選択できる。これにより、例えば、入力するＲＧＢ信号をＹＣｂＣｒ信号或いはＹＵＶ信号に変換する。
【００６７】
次に、タイリング部１２は、色空間変換部１１から入力する画像信号を、複数の矩形状の「タイル」と称する領域成分に分割してＤＷＴ部１３に出力する。尚、必ずしも、画像信号をタイルに分割する必要は無く、１フレーム分の画像信号をそのまま次段の機能ブロックに出力してもよい。
【００６８】
次に、ＤＷＴ部１３は、タイリング部１２から入力する画像信号に対してタイル単位で整数型または実数型のＤＷＴを施すことで、上記オクターブ分割方式に従って画像信号を高域成分と低域成分とに再帰的に帯域分割する。その結果、図２４に示したような複数の帯域成分（サブバンド）ＨＨ１〜ＬＬ３の変換係数が生成され量子化部１４に出力される。具体的には、実数型ＤＷＴであれば、９×７タップ、５×３タップまたは７×５タイプなどのフィルタが使用され、整数型ＤＷＴであれば、５×３タップまたは１３×７タップなどのフィルタが使用される。また、これらフィルタの処理を畳み込み演算で実行してもよいし、或いは、畳み込み演算よりも効率的なリフティング構成（Lifting scheme）で実行してもよい。
【００６９】
量子化部１４は、ＤＷＴ部１３から入力する変換係数を、画質制御部２３で決定される量子化パラメータに従って、スカラー量子化する機能を有する。また量子化部１４は、所定のビットシフト処理を行う機能も有している。量子化部１４による量子化およびビットシフト処理の方法については後述する。
【００７０】
次に、量子化部１４から出力された変換係数ＱＤは、係数ビットモデリング部２０と算術符号化部２１とで、ブロックベースのエントロピー符号化を施され、符号量制御部２２でレートを制御される。
【００７１】
係数ビットモデリング部２０は、図２３に示した係数ビットモデリング部１０８と同様に、入力する変換係数ＱＤの帯域成分を３２×３２や６４×６４程度のコードブロックに分割し、更に、各コードブロックを、各ビットを２次元配列して構成される複数のビットプレーンに分解する。この結果、各コードブロックは、図２６に示したような複数のビットプレーン１２２0〜１２２n-1に分解される。
【００７２】
次に、算術符号化部２１は、係数ビットモデリング部２０から入力する符号化データＢＤを算術符号化し、その結果得た符号化データＡＤを符号量制御部２２に出力する。ここで、算術符号化部２１は、前記符号化対象の一部を算術符号化せずに、当該符号化対象をそのまま符号化データＡＤに含めて出力するバイパス処理を行う場合もある。尚、本実施の形態では算術符号化を採用するが、本発明はこれに限らず、他の方式のエントロピー符号化を採用しても構わない。
【００７３】
次に、符号量制御部２２は、画質制御部２３からの指示に基づいて、算術符号化部２１から入力する符号化データＡＤのレートを制御する機能を有する。すなわち、符号量制御部２２は、目標符号量（最終的な圧縮画像の符号量）を考慮しつつ、画面全体に対して所望のノイズ除去効果（人物撮影では美肌効果）を得るために、符号化データＡＤを、帯域成分単位あるいはビットプレーン単位、パス単位で優先度の低いものから順に切り捨てるというポスト量子化を実行する機能を有する。符号量制御部２２でのレート制御の方法については後述する。
【００７４】
そして、ビットストリーム生成部１７は、符号量制御部２２から出力された符号化データＣＤと付加情報（ヘッダ情報，レイヤー構成，スケーラビリティ，量子化テーブルなど）とを多重化したビットストリームを生成し、圧縮画像として外部に出力する。
【００７５】
｛量子化｝
次に、図１に示した画質制御部２３および量子化部１４によって実現される量子化の処理内容について説明する。
【００７６】
画質制御部２３は、外部から供給される目標画質情報（高画質，標準画質，低画質，解像度情報など）に基づいて、ＤＷＴ部１３から入力する変換係数を量子化部１４で量子化するときの量子化ステップサイズΔbを決定する機能を有する。以下、量子化ステップサイズΔbの決定方法について説明する。
【００７７】
ＤＷＴ部１３によって、原画像が図２４に示すように、「ＸＹｎ」（Ｘ，Ｙは高域成分Ｈまたは低域成分Ｌの何れか。ｎは分解レベル。）のサブバンド（帯域成分）に分割されたときに、各サブバンドの量子化に用いる量子化ステップサイズΔbを、次式（１）のように設定する。
【００７８】
【数１】
【００７９】
ここで、Ｑpは、目標画質情報に従って入力される正の数、すなわち量子化パラメータであって、高画質であるほど小さな値を入力する。量子化パラメータＱpは、利用者が直接数値を入力して指定する態様であってもよいし、例えば、予め、目標画質情報を示す「高画質、標準画質、低画質」といった所定の指示語と量子化パラメータＱpの数値とを関連づけた所定のテーブルを備えておき、利用者が所望する画像データの圧縮後の目標画質を指示語によって指定することで、当該テーブルにおいて関連づけられた量子化パラメータＱpの値を読み出して利用する態様であっても構わない。
【００８０】
Ｑbは、各サブバンドにおける量子化係数であって、合成フィルタ係数のノルムとして、次式（２）で表される。
【００８１】
【数２】
【００８２】
ここで、サブバンドｂの重み係数Ｇbは、次式（３）に従って算出される。
【００８３】
【数３】
【００８４】
上式（３）中、ｓb［ｎ］は、サブバンドｂの１次元合成フィルタ係数を示している。また、記号‖ｘ‖は、ベクトルｘに関するノルムを示す。
【００８５】
上述した非特許文献１に記載される数式（４．３９）と（４．４０）によれば、分解レベル１における低域成分Ｌ１の１次元合成フィルタ係数ｓL[1]［ｎ］と、同分解レベルにおける高域成分Ｈ１の１次元合成フィルタ係数ｓH[1]［ｎ］とは、次式（４）に従って算出される。
【００８６】
【数４】
【００８７】
ここで、上式（４）中、ｇ0［ｎ］は、画像信号を帯域分割する順変換フィルタのローパス・フィルタ係数、ｇ1［ｎ］は、そのハイパス・フィルタ係数をそれぞれ示している。
【００８８】
また、分解レベルｄ（ｄ＝１，２，…，Ｄ）における低域成分Ｌｄの１次元合成フィルタ係数ｓL[d]［ｎ］と、同分解レベルにおける高域成分Ｈｄの１次元合成フィルタ係数ｓH[d]［ｎ］とは、次式（５）に従って算出される。
【００８９】
【数５】
【００９０】
そして、分解レベルｄにおける低域成分Ｌｄの１次元合成フィルタ係数のノルムの二乗は、次式（６）に従って算出される。
【００９１】
【数６】
【００９２】
高域成分Ｈｄの１次元合成フィルタ係数のノルムの二乗も、上式（６）と同様にして算出することができる。
【００９３】
１次元合成フィルタ係数のノルムの二乗の計算結果を表１に示す。表中のｎは分解レベルを示しており、例えばＧＬ1とは、低域成分Ｌの分解レベル１における計算結果を示している。
【００９４】
【表１】
【００９５】
次に、分解レベルｄ（ｄ＝１，２，…，Ｄ；Ｄは整数）における帯域成分ＬＬＤ，ＨＬｄ，ＬＨｄ，ＨＨｄの２次元合成フィルタ係数は、上記１次元合成フィルタ係数の積で表現することができ、帯域成分ｂの２次元の重み係数Ｇbも、１次元の重み係数の積で表現することができる。具体的には、２次元合成フィルタ係数と２次元の重み係数とは、次式（７）に従って算出される。
【００９６】
【数７】
【００９７】
上式（７）中、添字ＬＬ［Ｄ］はサブバンドＬＬＤを示し，ＨＬ［ｄ］，ＬＨ［ｄ］およびＨＨ［ｄ］はそれぞれサブバンドＨＬｄ，ＬＨｄおよびＨＨｄを表している。
【００９８】
重み係数Ｇbの平方根がノルムである。以下の表２および表３に、表１から求めた２次元の重み係数Ｇbに関する計算結果を示す。表２には（９，７）フィルタ（９×７タップのフィルタ）の各帯域成分のノルムの二乗の数値を、表３には表２に対応するノルムの数値をそれぞれ示す。
【００９９】
【表２】
【０１００】
【表３】
【０１０１】
例えば、輝度信号Ｙ、色差信号ＵおよびＶの全てについて、同じく量子化パラメータＱp＝１６として、表３に示した値から上式（１）および（２）を利用して求めた輝度信号Ｙ、色差信号ＵおよびＶの量子化ステップサイズΔbは、表４のようになる。
【０１０２】
【表４】
【０１０３】
尚、輝度信号Ｙ、色差信号ＵおよびＶのそれぞれについて、量子化ステップサイズΔbを求めるのに利用する量子化パラメータＱpは、必ずしも同じ値をとる必要はなく、画像データの内容に応じて、異なる値を利用しても構わない。例えば、色成分を強調したい場合に、色差信号ＵおよびＶに利用する量子化パラメータＱpを輝度信号Ｙに比して小さくするなど、画像データの内容等を考慮して、それぞれについて適当な量子化パラメータＱpを利用すればよい。
【０１０４】
画質制御部２３では、このようにして量子化ステップサイズΔbを求め、これを量子化部１４に通知する。そして、量子化部１４では、各サブバンド毎に、通知された量子化ステップサイズΔbに従って量子化を行う。
【０１０５】
ただし、量子化ステップサイズΔbの値が１より小さくなる場合には、１以上の値となるように２の累乗を乗算してから用いる。例えば、上述した方法で計算した結果、求められたサブバンドＬＬ５の量子化ステップサイズΔbは０．４７１６３であるが、実際に画像データを量子化するときには、この値に２2を乗算して量子化ステップサイズΔb＝１．８８６５２として量子化を行う。同様に、サブバンドＨＬ５では、量子化ステップサイズΔb＝０．９３２０４に２を乗算して、量子化ステップサイズΔb＝１．８６４０８として量子化を行う。このように量子化ステップサイズΔbを、量子化を実現する量子化器の性能に基づいて所定の数値に変換する機能を有することで、量子化器の構成を簡素化することが可能であり、本来の量子化の目的であるデータ量の圧縮を達成することもできる。尚、量子化ステップサイズΔbを１以上の値としたのは一例であって、量子化器の機能によって、例えば１／２以上の値を利用する量子化器であれば、量子化ステップサイズΔbを１／２以上になるように変換すればよい。すなわち、量子化器の扱う下限値が１／２mであれば、全ての量子化ステップサイズΔbが、１／２m以上になるように２の累乗を乗算してから利用する態様であればよい。
【０１０６】
また、画質制御部２３では、上述した方法のほか、人間の視覚特性を考慮して量子化ステップサイズΔbを決定することもできる。その方法は以下の通りである。
【０１０７】
上述した非特許文献１のChapter 16には、ＣＳＦ（Contrast Sensitivity Function of human visual system ）に基づいた重み付けＷＭＳＥ（Weighted Mean Squared Error；WMSE）が記載されている。これを利用して、圧縮符号化後の画像データに対する人間の視覚評価を改善するために、上式（２）を次式（８）に修正する。
【０１０８】
【数８】
【０１０９】
ここで、上式（８）中、Ｗb[i]csfは、サブバンドｂ［ｉ］の"energy weighting factor"と呼ばれており、Ｗb[i]csfの推奨数値は、「INTERNATIONAL STANDARD ISO/IEC 15444-1ITU-T RECOMMENDATION T.800 Information technology - JPEG 2000 image coding system: Core coding system」の文献（以下、非特許文献２と呼ぶ。）に記載されている。図２〜図４に、非特許文献２に記載される"energy weighting factor"の数値を示す。
【０１１０】
図２〜図４中の"level"および "Lev"は分解レベルを、"Comp"は輝度成分Ｙと色差成分Ｃｂ, Ｃｒをそれぞれ示しており、"Viewing distance（視距離）"が1000，1700, 2000, 3000, 4000の例が示されている。また、"Viewing distance 1000", "Viewing distance 1700", "Viewing distance 2000", "Viewing distance 3000", "Viewing distance 4000"は、それぞれ、100dpi，170dpi，200dpi，300dpi，400dpiのディスプレイまたは印刷物を１０インチ離れて見たときの視距離を意味する。
【０１１１】
例えば、カラーの画像データについて、量子化ステップサイズΔbを求める具体的な方法を以下に説明する。尚、色空間については、ＲＧＢ信号から成るカラーの入力画像を、色空間変換部１１においてＹＵＶ４２２またはＹＵＶ４２０形式の色空間データに変換したものとする。
【０１１２】
ＹＵＶ４２２またはＹＵＶ４２０形式の画像データについては、色差信号ＵおよびＶは、輝度信号Ｙに比べ、そのデータ量がそれぞれ１／２および１／４となっている。輝度信号ＹにＤＷＴを施したウェーブレット平面は図５のように表すことができるが、データ量が１／２であることを、図５に示したウェーブレット平面に対して水平方向にＤＷＴを一回施したものと同等であると仮定すれば、図６中の散点部がＹＵＶ４２２形式の色差信号ＵおよびＶのウェーブレット平面となる。同様に、データ量が１／４であることを、図５に示したウェーブレット平面に対して水平方向および垂直方向にＤＷＴを一回ずつ施したものと同等であると仮定すれば、図７中の散点部がＹＵＶ４２０形式の色差信号ＵおよびＶのウェーブレット平面となる。
【０１１３】
ＹＵＶ４２２形式では、図６に示したように水平成分について垂直成分より一回多くフィルタリングすると仮定するので、２次元合成フィルタ係数と２次元の重み係数は、上式（７）に対して、次式（９）のように表すことができる。
【０１１４】
【数９】
【０１１５】
また、ＹＵＶ４２０形式では、同様に、図７に示したように水平成分および垂直成分について一回ずつ多くフィルタリングすると仮定するので、上式（７）に対して、次式（１０）のように表すことができる。
【０１１６】
【数１０】
【０１１７】
よって、表１に示した値から上式（９）および（１０）を利用して、ＹＵＶ４２２およびＹＵＶ４２０形式の色差信号のノルムを求めると表５および表６のようになる。
【０１１８】
【表５】
【０１１９】
【表６】
【０１２０】
次に、energy weighting factor Ｗb[i]csfについて、非特許文献１の記載によれば、サブバンドｂ[ｉ]のenergy weighting factor Ｗb[i]csfは１次元の水平および垂直方向の各帯域成分のenergy weighting factorの積として、次式（１１）で表される。
【０１２１】
【数１１】
【０１２２】
ＹＵＶ４２２またはＹＵＶ４２０形式の画像データにおける輝度信号Ｙに係るenergy weighting factorは、上式（１１）で求めることができる。尚、ＹＵＶ４４４形式であれば、輝度信号および色差信号ともに上式（１１）で求められる。
【０１２３】
ＹＵＶ４２２形式の色差信号ＵおよびＶについては、上述したように水平成分について垂直成分より一回多くフィルタリングすると仮定しているので、そのenergy weighting factorは、上式（１１）に対して次式（１２）のように表すことができる。
【０１２４】
【数１２】
【０１２５】
また、ＹＵＶ４２０形式の色差信号ＵおよびＶについては、同様に、水平成分および垂直成分について一回ずつ多くフィルタリングすると仮定しているので、そのenergy weighting factorは、上式（１１）に対して次式（１３）のように表すことができる。
【０１２６】
【数１３】
【０１２７】
非特許文献２の記載から求められるViewing distance 1000、Viewing distance 1700、およびViewing distance 3000の色差信号ＵおよびＶのenergy weighting factorの値を表７〜表９に示す。ここで、以下の表も含め、表中のＣｂおよびＣｒはそれぞれ色差信号ＵおよびＶを示している。
【０１２８】
【表７】
【０１２９】
【表８】
【０１３０】
【表９】
【０１３１】
そして、表７〜表９に示した値から、上式（１１）〜（１３）を利用して求めたＹＵＶ４２２およびＹＵＶ４２０形式の画像データに係るenergy weighting factorが表１０〜表１２および表１３〜表１５である。
【０１３２】
【表１０】
【０１３３】
【表１１】
【０１３４】
【表１２】
【０１３５】
【表１３】
【０１３６】
【表１４】
【０１３７】
【表１５】
【０１３８】
このようにして求めた表５および表６のノルムの値を上式（１）および（２）に代入すれば通常の量子化ステップサイズΔbが、表５および表６のノルムの値と、表１０〜表１５のenergy weighting factorの値とを上式（１）および（８）に代入すれば、人間の視覚特性を考慮して視覚的重み付けを行った量子化ステップサイズΔbが求められる。
【０１３９】
例えば、輝度信号Ｙ、色差信号ＵおよびＶの全てについて、同じく量子化パラメータＱp＝１６として、ＹＵＶ４２２形式のカラーの画像データにおいてViewing distance（視距離）3000の視覚的重み付けを行ったときの輝度信号Ｙ、色差信号ＵおよびＶの量子化ステップサイズΔbは、表５に示すノルムの値、表１２に示すenergy weighting factorの値、および上式（１），（８）を用いて求められる。その結果を表１６〜表１８に示す。
【０１４０】
【表１６】
【０１４１】
【表１７】
【０１４２】
【表１８】
【０１４３】
尚、輝度信号Ｙ、色差信号ＵおよびＶのそれぞれについて、量子化ステップサイズΔbを求めるのに利用する量子化パラメータＱpは、必ずしも同じ値をとる必要はなく、画像データの内容に応じて、異なる値を利用しても構わない。例えば、色成分を強調したい場合に、色差信号ＵおよびＶに利用する量子化パラメータＱpを輝度信号Ｙに比して小さくするなど、画像データの内容等を考慮して、それぞれについて適当な量子化パラメータＱpを利用すればよい。同様に、energy weighting factorの値についても、異なる値を利用しても構わないし、用いなくても良い。
【０１４４】
画質制御部２３では、このようにして量子化ステップサイズΔbを求め、これを量子化部１４に通知する。そして、量子化部１４では、各サブバンド毎に、通知された量子化ステップサイズΔbに従って量子化を行う。このとき、量子化ステップサイズΔbが１より小さければ、２の累乗を乗算して１以上の値にしてから利用するのは、上述したのと同様である。
【０１４５】
以上のように、本実施の形態では、量子化によって画質を制御することにより、ノイズ除去効果（美肌効果）のある目標画質に応じた厳密な制御を行うことが可能である。このとき最適解を求めるような複雑な処理を必要としないため、少ない演算量で高速に処理することが可能である。また、人間の視覚特性を考慮し、圧縮後に高い表示画質を有する圧縮画像を生成することもできる。
【０１４６】
｛並べ替えおよびビットシフト｝
図１に示した量子化部１４は、量子化ステップサイズΔbに基づいて、量子化データの並べ替えとビットシフト処理を行う。
【０１４７】
より小さい量子化ステップサイズΔbで量子化を行ったデータを優先してより多くの符号量を割り当て、レート制御による切り捨ての影響を受けないようにビットシフト処理を行うことで、符号化処理による画質劣化を回避または抑制することができる。
【０１４８】
以下に、量子化ステップサイズΔbに基づく並べ替えおよびビットシフトの処理について説明する。
【０１４９】
まず、目標画質として所定の量子化パラメータＱpの値が指定されると、この値に基づいて、画質制御部２３が、上述したように量子化ステップサイズΔbを算出し、これを量子化部１４に通知する。
【０１５０】
量子化部１４では、量子化ステップサイズΔbが通知されると、この値に基づいて、ＤＷＴ部１３がＤＷＴを施した後の画像データを上述したように量子化する。
【０１５１】
そして、量子化部１４は、量子化を行った後のデータを、量子化ステップサイズΔbの大きさに従って、その値が小さい順（昇順）に並べ替える。
【０１５２】
上述したように１以上になるよう変換した量子化ステップサイズΔbを利用して量子化されたデータについては、変換前の量子化ステップサイズΔbに基づいて並べ替えを行うが、このとき、量子化ステップサイズΔbを変換するときに乗算した２の累乗の指数に対応するビット数だけデータを左にビットシフトする処理を行う。具体的な処理の態様は以下の通りである。
【０１５３】
例えば、表４において、サブバンドＬＬ５の量子化ステップサイズΔbは０．４７１６３であるが、実際に画像データを量子化するときには、この値に２2を乗算して１．８８６５２を量子化ステップサイズΔbとして量子化を行う。よって、サブバンドＬＬ５のデータは、量子化ステップサイズΔbの変換のために乗算した２2の指数に対応して、２ビット左へシフトされる。同様に、サブバンドＨＬ５では、量子化ステップサイズΔb＝０，９３２０４に２を乗算して、量子化ステップサイズΔb＝１．８６４０８として量子化を行う。よって、サブバンドＨＬ５の符号化データＡＤを、乗算した２の指数に対応して１ビット左へシフトされる。すなわち、２mを乗算した量子化ステップサイズΔbにより量子化した場合、該当するデータを指数ｍの分だけ左シフトすることで、データの優先度を調節するのである。
【０１５４】
表４に示す量子化ステップサイズΔbに基づいて、このようなビットシフトの処理を施した変換係数を図８に示す。図中、＊印を伏した符号列は、量子化ステップサイズΔbの値を量子化に際して変換したものを示し、符号列の各ビットに伏した番号０，１，…，９は、当該ビットが属するビットプレーン番号を示している。ここで、ＬＳＢ番号＝０、ＭＳＢ番号＝９である。
【０１５５】
次に、各変換係数を、量子化に用いた量子化ステップサイズΔbの小さい順（昇順）に並べ替える。図８では、矢印で示した部分の量子化ステップサイズΔbの値が昇順となっていないため、これらを入れ替える。このようにして並べ替えを行った符号列を図９に示す。図９中の矢印は図８からその位置が変更された符号列を示している。
【０１５６】
また、カラーの画像の場合や視覚的重み付けを考慮して量子化ステップサイズΔbを計算した場合も同様の処理を行う。
【０１５７】
例えば、上述したように、量子化パラメータＱp＝１６として、ＹＵＶ４２２形式のカラーの画像データにおいて、Viewing distance（視距離）3000の視覚的重み付けを行ったときの輝度信号Ｙ、色差信号ＵおよびＶの量子化ステップサイズΔbは、表１６〜表１８に示した通りである。
【０１５８】
ここで、表１６〜表１８中の量子化ステップサイズΔbが１より小さいものは、上述したように２の累乗を乗算した上で量子化に用いられる。そして、変換後の量子化ステップサイズΔbによって量子化されたデータは、元の量子化ステップサイズΔbに乗算した２の累乗の指数に対応するビット数分だけ左シフトされる。
【０１５９】
カラー画像の場合、輝度信号Ｙ、色差信号ＵおよびＶのそれぞれについてデータが存在するが、これらのデータも信号毎に区別せず、全てのデータについて量子化ステップサイズΔbが昇順となるように並べ替えを行う。その結果得られた変換係数を図１０に示す。図中、ＹＬＬ５とは、輝度信号ＹのサブバンドＬＬ５のデータであることを示している。
【０１６０】
このように、輝度信号Ｙ、色差信号ＵおよびＶの全てのデータについて、上述したようなビットシフトと並べ替えの処理を行う。
【０１６１】
量子化部１４から出力された変換係数ＱＤは、係数ビットモデリング部２０と算術符号化部２１とで、ブロックベースのエントロピー符号化を施され、符号量制御部２２でレートを制御される。
【０１６２】
｛符号量制御｝
符号量制御部２２では、量子化部１４が量子化を行った後、係数ビットモデリング部２０および算術符号化部２１によって処理が施された符号化データＡＤのレート制御を行う。
【０１６３】
符号量制御部２２は、図１０に示すように並べ替えおよびビットシフトが施された符号列に対して、所望のノイズ除去効果が得られるようにデータの切り捨てを行う。データの切り捨ては、右端のビットから順に行う。例えば、図１０に示すＶＨＬ４の番号０のビットデータから、下方向へＹＨＨ５の番号０のビットデータ…と順に削除してゆく。そして、ＹＨＨ１までのビットデータを切り捨てれば目標とするノイズ除去効果が得られるとすれば、該当する図１０中の散点部のデータを切り捨てる。このとき、ＹＨＨ１のデータまで切り捨てても所望のノイズ除去効果が得られないときは、続いて、ＶＬＬ４の番号０のビットデータから、下方向へＵＬＬ４の番号０のビットデータ、ＹＬＨ５の番号０のビットデータ…と順に削除してゆく。
【０１６４】
尚、ビットデータ（ビットプレーン）は、図２７に示すようにＳＩＧパス，ＭＲパス，ＣＬパスに分解できる。符号量制御部２２によるレート制御は、上述したようにビットプレーン単位で行う態様の他、パス単位で行う態様であっても構わない。
【０１６５】
この場合、符号量制御部２２は、ＶＨＬ４の番号０のＣＬパスから、下方向へＹＨＨ５の番号０のＣＬパス…と順にＣＬパスを削除してゆく。ＹＨＨ１の番号０のＣＬパスまで削除しても所望のノイズ除去効果を得られないときは、続いて、ＶＨＬ４に戻って、ＶＨＬ４の番号０のＭＲパス、下方向へＹＨＨ５の番号０のＭＲパス…、ＹＨＨ１の番号０のＭＲパス…と順にＭＲパスを削除してゆく。所望のノイズ除去効果が得られるまで、ビットデータの削除が続けられる。
【０１６６】
また、符号量制御部２２に入力される段階で、既に利用者が意図する目標画質が得られていれば、上述したレート制御は行う必要はない。
【０１６７】
このように本実施の形態に係る圧縮符号化装置１によれば、量子化ステップサイズΔbの値に従って並べ替えとビットシフトを行い、さらに各サブバンドのビットデータまたはパスを、所望のノイズ除去効果が得られるまで（つまり所望の目標画質となるまで）、下位ビットから削除してゆくことで、レート制御を行う。これにより、画面全体に対して所望のノイズ除去効果を得ることができる。
【０１６８】
また、従来のように、レート・歪み最適化処理のために各符号化パスにおける歪み量を算出せずに済むため、リアルタイム性が高く、オーバーヘッドが大幅に低減した高効率のレート制御を実現できる。
【０１６９】
なお、量子化ステップサイズに基づく並び替え及びビットシフト処理は必ずしも量子化部１４で実行される必要はなく、例えば符号量制御部２２で実行されても良い。この場合、符号量制御部２２は量子化ステップサイズΔｂに基づいて符号化データＡＤに並び替え及びビットシフトを施した後、データの切り捨てを行う。この場合、量子化部１４がビットシフトに係る機能を有さない圧縮符号化装置においても、符号量制御部２２の機能及び動作の変更のみで、本実施の形態を実現することができる。
【０１７０】
（第２の実施の形態）
｛圧縮符号化装置｝
図１１は、本発明の第２の実施形態に係る圧縮符号化装置１の概略構成を示す機能ブロック図である。図１に示した第１の実施の形態に係る圧縮符号化装置１に、ＲＯＩ部１５が追加されている。
【０１７１】
尚、この圧縮符号化装置１を構成する各処理部１０〜１５，１７，２０〜２３の全部または一部は、ハードウェアで構成されてもよいし、マイクロプロセッサを機能させるプログラムで構成されていてもよい。
【０１７２】
以下、本実施の形態における圧縮符号化の構成および動作について、第１の実施の形態と異なる点を中心に説明する。
【０１７３】
量子化部１４は、ＤＷＴ部１３から入力する変換係数を、画質制御部２３で決定される量子化パラメータに従って、スカラー量子化する機能を有する。また量子化部１４は、ＲＯＩ部１５によって設定された関心領域（以下、ＲＯＩ（Region Of Interest）部分と記す）に対して、ノイズ除去効果を得るためのビットシフト処理を行う機能も有している。ＲＯＩ部１５によるＲＯＩ部分の設定方法、および量子化部１４によるＲＯＩ部分を考慮したビットシフト処理の方法については後述する。
【０１７４】
符号量制御部２２は、画質制御部２３からの指示に基づいて、算術符号化部２１から入力する符号化データＡＤのレートを制御する機能を有する。すなわち、符号量制御部２２は、目標符号量（最終的な圧縮画像の符号量）を考慮しつつ、ＲＯＩ部分に対してノイズ除去効果を得るために、符号化データＡＤを、帯域成分単位あるいはビットプレーン単位、パス単位で優先度の低いものから順に切り捨てるというポスト量子化を実行する機能を有する。符号量制御部２２でのレート制御の方法については後述する。
【０１７５】
｛ＲＯＩ部分の設定｝
図１１に示したＲＯＩ部１５は、画像データの中で後述するレート制御によるノイズ除去効果を得たい領域をＲＯＩ部分として設定する。
【０１７６】
以下に、ＲＯＩ部分の設定方法について説明する。
【０１７７】
ＲＯＩ部１５は、ウェーブレット変換が施された画像データに対して、重要な部分をＲＯＩ部分として指定するためのマスク信号を与える。例えば、図１２のような人物の画像データ（原画像）３０において、美肌効果を得たい額より下の顔部分のみをＲＯＩ部分とする場合、図１３（ａ）の白抜き部分に示すように単一のマスク領域３１を設定し、これをＲＯＩ部分として指定する。
【０１７８】
このマスク領域３１は、原画像３０をディスプレイ装置の画面で見ながら、所謂マウス等のポインティング入力デバイスを用いて原画像３０に対応して指定することができる。あるいは、画像データを解析することによって、例えば、肌色部分を含む所定領域を抽出する等、自動的にマスク領域３１が指定される態様であっても構わない。
【０１７９】
尚、図１３（ａ）は、原画像３０に対して単一のＲＯＩ部分を指定した例であるが、例えば図１３（ｂ）の白抜き部分に示すように、左目部分、右目部分、鼻および口を含む部分というように複数の領域をＲＯＩ部分として指定してもよい。この場合、これらの部分はそれぞれ異なったマスク信号により規定される。
【０１８０】
そして、全てのＲＯＩ部分についてのマスク領域３１を除去した残りの部分が非ＲＯＩ部分３２（図１３（ａ），（ｂ））となる。
【０１８１】
ここで、複数のマスク信号が与えられた場合には、その複数のマスク信号に対して優先度をつけることもできる。この優先度が高いほど、情報量、例えばビットレートが低くなり、美肌効果が高くなることになる。
【０１８２】
そして、マスク領域３１をウェーブレット平面に展開してマスク信号を生成する（図１４）。
【０１８３】
ここで、マスク信号をウェーブレット平面に相当する部分に変換する方法はウェーブレット変換のフィルタのタップ数に依存する。
【０１８４】
例えば、図１５のようにウェーブレット変換の演算処理においてリバーシブル（Reversible）５×３フィルタ（分解側のローパスフィルタのタップ数が５タップで分解側のハイパスフィルタのタップ数が３タップであるフィルタ）を適用するものとすると、原画像の偶数番目（２ｎ番目）の画素データがＲＯＩ部分として指定されている場合には、ローパスフィルタ（低域側）３３のｎ番目のデータと、ハイパスフィルタ（高域側）３４の（ｎ−１）番目及びｎ番目のデータとがＲＯＩ部分であるものとして、マスク信号をウェーブレット平面に展開する。また、原画像の奇数番目（２ｎ＋１番目）の画素データがＲＯＩ部分として指定されている場合には、ローパスフィルタ（低域側）３３のｎ番目及び（ｎ＋１）番目のデータと、ハイパスフィルタ（高域側）３４の（ｎ−１）番目、ｎ番目及び（ｎ＋１）番目のデータとがＲＯＩ部分であるものとして、マスク信号をウェーブレット平面に展開する。図１５は原画像と最初の階層のウェーブレット平面との対応関係のみを示しているが、より深い階層の展開についても同様の再帰的な展開が行われる。
【０１８５】
あるいは、例えば、図１６のようにウェーブレット変換の演算処理においてドビュッシー（Daubechies）９×７フィルタ（分解側のローパスフィルタのタップ数が９タップで分解側のハイパスフィルタのタップ数が７タップであるフィルタ）を適用するものとすると、原画像の偶数番目（２ｎ番目）の画素データがＲＯＩ部分として指定されている場合には、ローパスフィルタ（低域側）３３の（ｎ−１）番目、ｎ番目及び（ｎ＋１）番目のデータと、ハイパスフィルタ（高域側）３４の（ｎ−２）番目、（ｎ−１）番目、ｎ番目及び（ｎ＋１）番目のデータとがＲＯＩ部分であるものとして、マスク信号をウェーブレット平面に展開する。また、原画像の奇数番目（２ｎ＋１番目）の画素データがＲＯＩ部分として指定されている場合には、ローパスフィルタ（低域側）３３の（ｎ−１）番目、ｎ番目、（ｎ＋１）番目及び（ｎ＋２）番目のデータと、ハイパスフィルタ（高域側）３４の（ｎ−２）番目、（ｎ−１）番目、ｎ番目、（ｎ＋１）番目及び（ｎ＋２）番目のデータとがＲＯＩ部分であるものとして、マスク信号をウェーブレット平面に展開する。図１６は原画像と最初の階層のウェーブレット平面との対応関係のみを示しているが、より深い階層の展開についても同様の再帰的な展開が行われる。
【０１８６】
尚、図１５及び図１６の対応関係について、原画像の或る画素データとの対応による非ＲＯＩ部分と、原画像の他の画素データとの対応によるＲＯＩ部分とが重なり合う場合は、当該部分はＲＯＩ部分であるものとして、マスク信号をウェーブレット平面に展開する。また、マスク信号の変換方法についてはリバーシブル（Reversible）５×３フィルタの場合と、ドビュッシー（Daubechies）９×７フィルタの場合の各々について説明したが、後述する符号量制御についてはドビュッシー（Daubechies）９×７フィルタを例にして説明している。
【０１８７】
図１４（ａ）中の白抜き部分３１ａは、上記のようにして図１３（ａ）に示したマスク領域（ＲＯＩ部分）３１をウェーブレット平面に展開した領域（以下「展開マスク領域」と称す）であり、この展開マスク領域３１ａに対応したマスク信号が生成され、ウェーブレット変換された画像データに与えられる。図１４（ａ）中の符号３２ａは非ＲＯＩ部分３２がウェーブレット平面に展開された領域（以下「展開非マスク領域」と称す）を示している。またマスク領域（ＲＯＩ部分）３１と非ＲＯＩ部分３２とが重なり合う部分においてはマスク領域（ＲＯＩ部分）３１を、それぞれ選択して割り当てる。即ち、より高い優先度を選択して割り当てる。
【０１８８】
図１３（ｂ）に示したように複数のＲＯＩ部分がマスク領域３１として設定された場合には、図１４（ｂ）に示すようにウェーブレット平面上に展開されるマスク領域３１ａも複数になる。このようにウェーブレット平面上に展開された各マスク領域３１ａが複数である場合には、ここで優先度をつけることもできる。上述のように、原画像に対して複数のＲＯＩ部分３１を設定している場合は、各ＲＯＩ部分３１毎にウェーブレット平面上に展開マスク領域３１ａが生成される。一のＲＯＩ部分３１に対応する全ての展開マスク領域３１ａに対しては、当該ＲＯＩ部分３１の優先度に基づいた同一の優先度をつけ、最終的に全ての展開マスク領域３１ａに優先度を設定する。
【０１８９】
原画像に対して複数のＲＯＩ部分３１を設定している場合、ウェーブレット平面上のローパスフィルタ（低域側）３３を通過した部分において、複数の展開マスク領域３１ａが重なり合うことがあり得る。この場合は、その重なり合った部分について、重なり合った複数の展開マスク領域３１ａのうち優先度の高い方の展開マスク領域３１ａであるとして優先度を決定する。
【０１９０】
ウェーブレット変換された画像データにおいて、どのマスク信号にもかからなかった部分が展開非マスク領域３２ａとなる。展開非マスク領域３２ａの優先度は、全ての展開マスク領域３１ａよりも低くなる。
【０１９１】
このように、複数のＲＯＩ部分を設定し、各ＲＯＩ部分について優先度を設定することも可能である。
【０１９２】
設定されたＲＯＩ部分に係る情報は、量子化部１４に入力される。
【０１９３】
｛並べ替えおよびビットシフト｝
図１１に示した量子化部１４は、量子化ステップサイズΔb、および上述したＲＯＩ部１５から通知されたＲＯＩ部分の設定情報に基づいて、量子化データの並べ替えとビットシフト処理を行う。
【０１９４】
より小さい量子化ステップサイズΔbで量子化を行ったデータを優先してより多くの符号量を割り当て、レート制御による切り捨ての影響を受けないようにビットシフト処理を行うことは、上記第１の実施の形態と同様である。
【０１９５】
以下、ＲＯＩ部分の設定情報に基づくビットシフト処理について説明する。
【０１９６】
上述したように、本発明では、白黒画像およびカラー画像、さらにこれらに視覚的重み付けを考慮した場合、の処理を行うことができるが、以下では、図１０に示した量子化パラメータＱp＝１６として、ＹＵＶ４２２形式のカラーの画像データにおいて、Viewing distance（視距離）3000の視覚的重み付けを行ったときのカラー画像を用いて、処理の詳細を説明する。
【０１９７】
まず、ＲＯＩ部１５によって、上述したようにＲＯＩ部分と非ＲＯＩ部分が設定され、その設定情報が量子化部１４に通知される。設定情報には、各画素データがＲＯＩ部分であるか非ＲＯＩ部分であるかを示す情報の他、複数のＲＯＩ部分について優先度が設定された場合には当該優先度に係る情報も含まれる。
【０１９８】
量子化部１４は、通知されたＲＯＩ部分の設定情報に基づいて、図１０の状態にある変換係数を、さらにＲＯＩ部分と非ＲＯＩ部分のデータに分ける。
【０１９９】
図１０では、上述したように量子化ステップサイズΔbに基づいてビットシフトと並べ替えの処理を施された変換係数を、図５に示すサブバンド毎に示している。図５と図１４の対応から分かるように、実際には、図１０に示した各サブバンドの変換係数には、図１４に示したＲＯＩ部分３１ａと非ＲＯＩ部分３２ａの両方のデータが含まれている。
【０２００】
ここで、本実施の形態では、図１７に示すように、画像データ上に４つのＲＯＩ部分３６〜３９と非ＲＯＩ部分４０とが設定されたものとする。また、各ＲＯＩ部分について、ＲＯＩ部分３６、ＲＯＩ部分３７、ＲＯＩ部分３８、ＲＯＩ部分３９の順に優先度が設定されたものとする。ＲＯＩ部１５は、これらのＲＯＩ部分および優先度の情報に基づいて、上述したようにＲＯＩ部分をウェーブレット平面へ展開する。
【０２０１】
ただし、ＲＯＩ部分の展開は、ＤＷＴを施してウェーブレット平面に展開した画像データを所定の大きさの矩形領域に分割したコードブロック毎に行う。具体的には、例えば、各サブバンドを縦３２画素×横３２画素というように所定の大きさのコードブロックに分割し、コードブロック毎に、ＲＯＩ部分であるか否かとＲＯＩ部分である場合にはその優先度とが割り当てられて、ウェーブレット平面上に展開される。
【０２０２】
尚、複数のＲＯＩ部分、またはＲＯＩ部分と非ＲＯＩ部分、の両方が、一のコードブロック内に含まれるような場合には、当該コードブロックに対しては、優先度の高いＲＯＩ部分、またはＲＯＩ部分、をそれぞれ選択して割り当てる。即ち、より高い優先度を選択して割り当てる。もしくは、一のコードブロック内に含まれるＲＯＩ部分及び非ＲＯＩ部分の割合に応じて、新たな優先度を設定してもよい。
【０２０３】
その結果、図１７に示したＲＯＩ部分および優先度の設定に対しては、図１８に示すようなウェーブレット平面が展開されることとなる。図１８において各サブバンドを構成している矩形がコードブロックを示している。
【０２０４】
このようにして設定されたＲＯＩ部分に係る設定情報が、図１１に示した量子化部１４に入力される。
【０２０５】
図１０では、図５に示すサブバンド毎に示しているが、図５と図１８の対応から分かるように、実際には、図１０に示した各サブバンドのデータには、図１８に示した４つのＲＯＩ部分３６ａ〜３９ａと非ＲＯＩ部分４０ａの全てのデータが含まれている。
【０２０６】
量子化部１４は、ＲＯＩ部１５から通知されたＲＯＩ部分の設定情報に基づいて、図１０に示した符号列を、図１９に示すように、４つのＲＯＩ部分３６〜３９のデータと非ＲＯＩ部分４０のデータとに分離する。
【０２０７】
さらに、量子化部１４は、ＲＯＩ部分３６〜３９の各データを所定のビット数分だけ右方向へビットシフトする。このとき、複数のＲＯＩ部分が設定されている場合には、その優先度に応じて、優先度が高いほどシフト量を大きく設定する。
【０２０８】
例えば図１９では、非ＲＯＩ部分４０のデータに対して、最も優先度の低いＲＯＩ部分３９は１ビット（Ｖml＝−１）、次に優先度が高いＲＯＩ部分３８は２ビット（Ｖml＝−２）、次に優先度が高いＲＯＩ部分３７は３ビット（Ｖml＝−３）、最も優先度の高いＲＯＩ部分３６は４ビット（Ｖml＝−４）、それぞれ右方向へビットシフトされている。
【０２０９】
尚、ＲＯＩ部分３６〜３９のデータおよび非ＲＯＩ部分４０のデータのシフト量は、予め設定された所定のビット数分であってもよいし、目標とするノイズ除去効果や圧縮符号化後の画像データの画質等に応じて、任意の値に変更する態様であっても構わない。
【０２１０】
また、ＲＯＩ部分３６〜３９のデータおよび非ＲＯＩ部分４０のデータは、図１９に示すように優先度の高い部分のデータから順に並べる態様に限るものではなく、例えば優先度の低い部分のデータから順に並べる態様等であっても構わない。データの並びは、例えば、後述する符号量制御においては下位ビットプレーンほどノイズ成分などの高調波成分を含んでいるため、目標画質に収めるためには下位ビットプレーンを対象にしたレート制御が有効である点、このときのレート制御によるデータの削除の順と各部分３６〜４０の優先度の関係、各部分３６〜４０の画像データの内容、等を考慮して決定する。
【０２１１】
量子化部１４から出力された変換係数ＱＤは、係数ビットモデリング部２０と算術符号化部２１とで、ブロックベースのエントロピー符号化を施され、符号量制御部２２でレートを制御される。
【０２１２】
尚、非特許文献２で規格化されているＪＰＥＧ２０００ Ｐａｒｔ１では、Ｍａｘ−Ｓｈｉｆｔ法を用いる場合のみ、量子化部１４でＲＯＩ部分と非ＲＯＩ部分との２種類に分けてシフトすることが許されている。従ってそのシフト量は、図２９に示すように、ＲＯＩ部分の最大値分を右シフトするということになる。ＲＯＩの形状はコードブロック単位である必要はなく、図１４に示したＲＯＩ部分３１ａと非ＲＯＩ部分３２ａのウェーブレット平面状の係数単位でシフトしてもよい。
【０２１３】
そのため、量子化部１４で複数のＲＯＩに関して任意のシフト量の優先度を設定するためには、非特許文献２で規格化されているＪＰＥＧ２０００ Ｐａｒｔ１を拡張する必要がある。各サブバンドのマスクの形状データと各ＲＯＩの優先度を示すシフト量を拡張データとして保存することになる。各サブバンドのマスクの形状データは、コードブロック単位でもよいし、ウェーブレット平面状の係数単位であってもよい。マスクの形状データをコードブロック単位で保存した場合は、保存すべきデータ量を減らすことができる。
【０２１４】
｛符号量制御｝
符号量制御部２２では、量子化部１４が量子化を行った後、係数ビットモデリング部２０および算術符号化部２１によって処理が施された符号化データＡＤのレート制御を行う。
【０２１５】
符号量制御部２２は、図１９に示すように並べ替えおよびビットシフトが施された符号列に対して、目標のノイズ除去効果が得られるように（つまり目標の画質が得られるように）、データの切り捨てを行う。データの切り捨ては、右端のビットから順に行う。例えば、図１９に示すＲＯＩ部分３６の符号列のＶＨＬ４の番号０のビットデータから、下方向へＹＨＨ５の番号０のビットデータ…と順に削除してゆく。そして、ＹＨＨ１までのビットデータを切り捨てれば目標とするノイズ除去効果が達成されるとすれば、該当する図１９中の散点部のデータを切り捨てる。このとき、ＹＨＨ１のデータまで切り捨てても目標の画質が得られないときは、続いて、ＲＯＩ部分３６のＶＬＬ４の番号０のビットデータから、下方向へＵＬＬ４の番号０のビットデータ、ＹＬＨ５の番号０のビットデータ…と順に削除してゆく。ビットデータの削除は、目標画質が得られるまで続けられる。
【０２１６】
尚、ビットデータ（ビットプレーン）は、図２７に示すようにＳＩＧパス，ＭＲパス，ＣＬパスに分解できる。符号量制御部２２によるレート制御は、上述したようにビットプレーン単位で行う態様の他、パス単位で行う態様であっても構わない。
【０２１７】
このように本実施の形態に係る圧縮符号化装置１によれば、量子化ステップサイズΔbの値に従って並べ替えとビットシフトを行い、さらにＲＯＩ部分の設定情報に基づいて並べ替えとビットシフトを行った各サブバンドのビットデータまたはパスを、所望のノイズ除去効果が得られるまで（つまり所望の目標画質となるまで）、下位ビットから削除してゆくことで、レート制御を行う。その結果、ノイズ除去効果のある目標画質になるよう、厳密に制御することが可能となる。
【０２１８】
また、従来のように、レート・歪み最適化処理のために各符号化パスにおける歪み量を算出せずに済むため、リアルタイム性が高く、オーバーヘッドが大幅に低減した高効率のレート制御を実現できる。画像圧縮により、ノイズを除去した画像を生成することが可能となる。
【０２１９】
また、優先度の高いＲＯＩ部分から順に、データの切り捨てが行われる。そのため、優先度の高いＲＯＩ部分の情報がレート制御によってノイズ成分などの高周波成分を含んでいる部分を優先的に除去でき、優先度の高いＲＯＩ部分のノイズ除去効果のある目標画質になるよう厳密に制御したまま圧縮符号化することが可能となる。
【０２２０】
例えば人間の肌などをＲＯＩ部分としてレート制御することにより、肌のシワやシミなどをノイズ成分として除去することができるため、美肌効果を得ることができる。
【０２２１】
図２０は、本実施の形態の変形例を示すブロック図である。図１１に示した例と異なるのは、ＲＯＩ部１５で設定したＲＯＩ部分に係る情報が、量子化部１４ではなく符号量制御部２２に入力される点である。
【０２２２】
図１１に示した例では、量子化の段階で量子化ステップサイズに基づくデータの並べ替えおよびビットシフトの処理と、ＲＯＩ部分の設定情報に基づくデータの並べ替えおよびビットシフトの処理と、を行っている。これに対し、図２０に示した例では、量子化部１４では、量子化ステップサイズに基づく量子化のみを行う。そして、量子化部１４から出力され係数ビットモデリング部２０および算術符号化部２１によるブロックベースのエントロピー符号化を施された後、符号量制御部２２がレート制御を行う際に、量子化ステップサイズに基づく並べ替えおよびビットシフトの処理と、ＲＯＩ部分の設定情報に基づくデータの並べ替えおよびビットシフトの処理が行われる。ＲＯＩ部分の設定情報に基づくデータの並べ替えおよびビットシフトの処理を、量子化部１４ではなく符号量制御部２２が行うということ以外は、図１１に示した例と同様であるため、詳細な説明は省略する。
【０２２３】
図２０に示した例では、並べ替えおよびビットシフトの処理を全て符号量制御部２２で行っている。従って、量子化部１４がビットシフトに係る機能を有さない圧縮符号化装置においても、符号量制御部２２の機能および動作の変更のみで、本実施の形態を実現することができる。
【０２２４】
（第３の実施の形態）
第１の実施の形態では、量子化ステップサイズΔbを用いて量子化した後、符号量制御処理に基づいてノイズ除去効果（美肌効果）のある目標画質なるように、データの切り捨てを行った。各サブバンドの量子化に用いる量子化ステップサイズΔbは、式（１）と、合成フィルタ係数のノルムを用いた式（２）、または、非特許文献２に記載される"energy weighting factor"の数値及び合成フィルタ係数のノルムの積を用いた式（８）とによって決定されていた。
【０２２５】
これに対し、本実施の形態では、量子化ステップサイズΔbを用いて量子化した後、符号量制御処理において"energy weighting factor"の数値で異なる"Viewing distance（視距離）"を適応する場合についての実施例について述べる。
【０２２６】
以下、本実施の形態における圧縮符号化装置の構成および動作について、第１の実施の形態と異なる点を中心に説明する。
【０２２７】
符号量制御処理において異なる"Viewing distance（視距離）"を用いた量子化ステップサイズΔb’を次式（１４）とする。
【０２２８】
【数１４】
【０２２９】
ここで、Ｑp’は、符号量制御処理における目標画質情報に従って入力される正の数、すなわち量子化パラメータであって、高画質であるほど小さな値を入力する。Ｑb’は、合成フィルタ係数のノルムを用いた式（２）、または、非特許文献２に記載される"energy weighting factor"の数値と合成フィルタ係数のノルムの積を用いた式（８）と同様である。
【０２３０】
Δb’とΔbの関係を次式（１５）のように規定する。
【０２３１】
【数１５】
【０２３２】
ここで、αは、各サブバンドの量子化に用いる量子化ステップサイズΔbに対する、符号量制御処理における量子化ステップサイズΔb’の重みとなる。
【０２３３】
例えば、第１の実施の形態では、輝度信号Ｙ、色差信号ＵおよびＶの全てについて、量子化パラメータＱp＝１６として、ＹＵＶ４２２形式のカラーの画像データにおいてViewing distance（視距離）3000の視覚的重み付けを行ったときの輝度信号Ｙ、色差信号ＵおよびＶの量子化ステップサイズΔbは、表１６〜表１８に示されている。符号量制御処理において輝度信号Ｙ、色差信号ＵおよびＶの全てについて、量子化パラメータＱp’＝１６として、ＹＵＶ４２２形式のカラーの画像データにおいてViewing distance（視距離）1000の視覚的重み付けを行ったときの輝度信号Ｙ、色差信号ＵおよびＶの量子化ステップサイズΔb’になるようなαは、次式（１６）となる。
【０２３４】
【数１６】
【０２３５】
量子化ステップサイズΔb’の重みαは、符号量制御部２２で画質制御部２３から通知された量子化ステップサイズΔbと符号量制御部２２に入力する目標画質情報とによって決定される。
【０２３６】
｛並べ替えおよびビットシフト｝
このように求められた、符号量制御処理において異なる"Viewing distance（視距離）"を用いた量子化ステップサイズΔb’と量子化ステップサイズの重みαとに基づいて、第１の実施の形態と同様に、並べ替えおよびビットシフトを行う。
【０２３７】
図１に示した符号量制御部２２は、符号量制御部２２内で計算された量子化ステップサイズの重みαを用いて、次式（１７）のようにビットシフトするビット数Ｓを決定する。
【０２３８】
【数１７】
【０２３９】
ここで、ＲＯＵＮＤは小数点を丸める関数であり、切捨て、切り上げ、四捨五入が考えられる。値が正の場合は左シフトし、負の場合は右シフトする。式（１６）のViewing distance（視距離）3000の量子化ステップサイズΔbとViewing distance（視距離）1000の量子化ステップサイズΔb’で四捨五入した場合のビットシフトするビット数Ｓの例を表１９〜表２１に示す。
【０２４０】
【表１９】
【０２４１】
【表２０】
【０２４２】
【表２１】
【０２４３】
次に、各符号列を、符号量制御部２２で求められた量子化ステップサイズΔb’に基づいて、第１の実施の形態と同様にΔb’の小さい順（昇順）に並べ替える。表１９〜表２１のビットシフトするビット数Ｓに対応する量子化ステップサイズΔb’を表２２〜表２４に示す。量子化ステップサイズΔb’は並び替えにのみ用いられる。
【０２４４】
【表２２】
【０２４５】
【表２３】
【０２４６】
【表２４】
【０２４７】
本実施の形態でも、画質制御部２３では、量子化ステップサイズΔbを求め、これを量子化部１４に通知する。そして、量子化部１４では、各サブバンド毎に、通知された量子化ステップサイズΔbに従って量子化を行う。このとき、量子化ステップサイズΔbが１より小さければ、２の累乗を乗算して１以上の値にしてから利用するのは、上述したのと同様である。
【０２４８】
従って、実際のシフト量は上記のシフト量と式（１７）のシフト量の合計になる。
【０２４９】
｛符号量制御処理｝
次に、図１に示した符号量制御部２２の処理内容について説明する。第１の実施の形態との違いは、図２１に示すように、量子化ステップサイズの重みαに基づいて決定されたビットシフトするビット数Ｓによるシフト分の違いだけである。図２１に示すように、例えばＹＨＨ１に関しては８ビット左にシフトされており、ＵＨＨ１に関しては４ビット左にシフトされている。
【０２５０】
この結果、符号量制御部２２で"Viewing distance（視距離）"を自由に変更することができるため、圧縮用の量子化値で符号化した画像も、符号量制御部２２でノイズ除去効果（美肌効果）のある目標画質となるよう厳密に制御することが可能である。
【０２５１】
なお、第１の実施の形態と同様に、並び替え及びビットシフトの処理を全て符号量制御部２２で行っても良い。この場合、量子化部１４がビットシフトに係る機能を有さない圧縮符号化装置においても、符号量制御部２２の機能及び動作の変更のみで、本実施の形態を実現することができる。
【０２５２】
（第４の実施の形態）
第２の実施の形態では、量子化ステップサイズΔbを用いて量子化した後、各ＲＯＩで優先度をつけてビットシフトすることにより、符号量制御処理に基づいてノイズ除去効果（美肌効果）のある目標画質となるようにデータの切り捨てを行った。
【０２５３】
これに対し、本実施の形態では、第３の実施の形態と同様に、量子化ステップサイズΔbを用いて量子化した後、符号量制御処理において"energy weighting factor"の数値で異なる"Viewing distance（視距離）"を各ＲＯＩに適応する場合についての実施例について述べる。
【０２５４】
以下、本実施の形態における圧縮符号化の構成および動作について、第１〜第３の実施の形態と異なる点を中心に説明する。圧縮符号化装置、量子化、ＲＯＩ部分の設定は、第２の実施の形態と同じである。
【０２５５】
｛並べ替えおよびビットシフト｝
図１１または図２０に示した量子化部１４は、画質制御部２３から通知された量子化ステップサイズに基づいて、入力された符号化データＡＤの並べ替えおよびビットシフトの処理を行う。このとき、１以上になるように変換した量子化ステップサイズを利用して量子化した変換係数については、変換時に乗算した２の累乗の指数に対応するビット数だけ左方向にビットシフトする。
【０２５６】
例えば、第３の実施の形態と同様に、量子化パラメータＱp＝１６として、ＹＵＶ４２２形式のカラーの画像データにおいて、Viewing distance（視距離）3000の視覚的重み付けを行って量子化されたものに、符号量制御処理において量子化パラメータＱp’＝１６として、ＹＵＶ４２２形式のカラーの画像データにおいてViewing distance（視距離）1000の視覚的重み付け行った量子化ステップサイズに基づく並べ替えおよびビットシフトの処理を行うと、図２２に示すような符号列が得られる。
【０２５７】
次に、図１１に示した量子化部１４または図２０に示した符号量制御部２２は、図１０に示した符号列に対し、さらにＲＯＩ部１５から通知されたＲＯＩ部分の設定情報に基づく並べ替えおよびビットシフトの処理を行う。非ＲＯＩ部分よりもＲＯＩ部分の符号量をより多く切り捨てるよう処理することで、符号化処理によるＲＯＩ部分のノイズ除去効果（美肌効果）が期待できる。
【０２５８】
まず、図１１に示した量子化部１４または図２０に示した符号量制御部２２は、上述したように量子化ステップサイズΔb’に基づいて並べ替えとビットシフトの処理を施された符号化列を、ＲＯＩ部１５から通知されたＲＯＩ部分の設定情報に基づいてＲＯＩ部分と非ＲＯＩ部分のデータに分ける。
【０２５９】
図５と図１８の対応から分かるように、実際には、図１０に示した各サブバンドのデータには、図１８に示した４つのＲＯＩ部分３６ａ〜３９ａと非ＲＯＩ部分４０ａの全てのデータが含まれている。
【０２６０】
図１１に示した量子化部１４または図２０に示した符号量制御部２２は、ＲＯＩ部１５から通知されたＲＯＩ部分の設定情報に基づいて、図１０に示した符号列を、図１９に示したように、４つのＲＯＩ部分３６〜３９のデータと非ＲＯＩ部分４０のデータとに分離する。
【０２６１】
各ＲＯＩを設定した領域に対し、符号量制御処理において異なる"Viewing distance（視距離）"を用いた量子化ステップサイズΔb’を用いるため、第３の実施の形態で用いたように、式（１７）の量子化ステップサイズの重みαを用いてビットシフトするビット数Ｓを各ＲＯＩに適用する。
【０２６２】
図１９では、各ＲＯＩ部分に対して優先度をつけて全体をビットシフトしていただけであった。図２１と同様に、各ＲＯＩ部分に対しても、量子化ステップサイズΔbで用いた"Viewing distance（視距離）"を符号量制御処理において"energy weighting factor"の数値で異なる"Viewing distance（視距離）"に変更できる。
【０２６３】
図２２では、ＲＯＩ部分３６，３７についてはViewing distance 1000で、ＲＯＩ部分３８，３９及び非ＲＯＩ部分４０についてはViewing distance 3000で、符号量制御処理を行っている。
【０２６４】
｛符号量制御｝
符号量制御部２２は、図２２に示したように並べ替えられた符号列に対して、ノイズ除去効果（美肌効果）のある目標画質となるようにデータの切り捨てを行う。データの切り捨ては、右端のビットから順に行う。例えば、図２２に示すＲＯＩ部分３６のＶＨＬ４の番号０のビットデータから、下方向へＹＨＨ５の番号０のビットデータ…と順に削除してゆく。そして、ＹＨＨ３までのビットデータを切り捨てれば目標画質になるとすれば、該当する部分のデータを切り捨てる。このとき、ＹＨＨ３までのデータまで切り捨てても目標画質とならないときは、続いて、ＲＯＩ部分３６のＶＬＬ４の番号０のビットデータから、下方向へＵＬＬ４の番号０のビットデータ…と順に削除してゆく。ビットデータの削除は、右側に位置するビットから順に、目標画質となるまで続けられる。
【０２６５】
第３の実施の形態と同様に第４の実施の形態においても、図１１に示した量子化部１４または図２０に示した符号量制御部２２で"Viewing distance（視距離）"を自由に変更することができるため、圧縮用の量子化値で符号化した画像も、ノイズ除去効果（美肌効果）のある目標画質となるよう厳密に制御することが可能となる。
【０２６６】
なお、第２の実施の形態と同様に、並び替え及びビットシフトの処理を全て符号量制御部２２で行っても良い。この場合、量子化部１４がビットシフトに係る機能を有さない圧縮符号化装置においても、符号量制御部２２の機能及び動作の変更のみで、本実施の形態を実現することができる。
【符号の説明】
【０２６７】
１ 圧縮符号化装置
１０ ＤＣレベルシフト部
１１ 色空間変換部
１２ タイリング部
１３ ＤＷＴ部
１４ 量子化部
１５ ＲＯＩ部
１７ ビットストリーム生成部
２０ 係数ビットモデリング部
２１ 算術符号化部
２２ 符号量制御部
２３ 画質制御部
【特許請求の範囲】
【請求項１】
画像信号を圧縮符号化する圧縮符号化装置であって、
ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
目標画質を示す量子化パラメータを、フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、
前記画像信号に関心領域を設定する関心領域設定部と、
前記変換係数に対して、前記量子化ステップサイズに基づく量子化および並べ替えと、前記関心領域の設定情報に基づく並べ替えおよびビットシフトと、を施し、前記ビットシフトにおいて前記設定情報の優先度の高い関心領域ほど他の領域に比べて前記変換係数を下位ビット側にビットシフトする量子化部と、
前記量子化部から入力される前記変換係数をエントロピー符号化するエントロピー符号化部と、
所望のノイズ除去効果が得られるまで、前記エントロピー符号化部の出力する符号化データの一部を下位ビットから切り捨てるレート制御を行う符号量制御部と、
を備えることを特徴とする圧縮符号化装置。
【請求項２】
画像信号を圧縮符号化する圧縮符号化装置であって、
ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
前記画像信号に関心領域を設定する関心領域設定部と、
前記変換係数の量子化を行う量子化部と、
前記量子化部から入力される前記変換係数をエントロピー符号化するエントロピー符号化部と、
前記エントロピー符号化部の出力する符号化データに対して、前記関心領域の設定情報に基づく並べ替えおよびビットシフトを施した符号列を生成し、所望のノイズ除去効果が得られるまで、前記符号列の一部を下位ビットから切り捨てるレート制御を行い、前記ビットシフトにおいて前記設定情報の優先度の高い関心領域ほど他の領域に比べて前記符号化データを下位ビット側にビットシフトする符号量制御部と、
を備えることを特徴とする圧縮符号化装置。
【請求項３】
請求項２に記載の圧縮符号化装置であって、さらに、
目標画質を示す量子化パラメータを、フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部、
を備え、
前記量子化部は、前記量子化ステップサイズに基づいて前記変換係数の量子化を行い、
前記符号量制御部は、前記量子化ステップサイズに基づいて前記符号化データの並べ替えを行うことを特徴とする圧縮符号化装置。
【請求項４】
請求項１ないし請求項３のいずれかに記載の圧縮符号化装置であって、
前記関心領域設定部は、設定した各関心領域に優先度を付与し、
前記関心領域の設定情報に基づく前記ビットシフトのシフト量は前記優先度に応じて決定されることを特徴とする圧縮符号化装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の圧縮符号化装置であって、
前記符号量制御部は、前記レート制御の切り捨て対象をビットプレーン単位で決定することを特徴とする圧縮符号化装置。
【請求項６】
請求項１ないし請求項４のいずれかに記載の圧縮符号化装置であって、
前記符号量制御部は、前記レート制御の切り捨て対象をパス単位で決定することを特徴とする圧縮符号化装置。
【請求項７】
請求項１、請求項３ないし請求項６のいずれかに記載の圧縮符号化装置であって、
前記画質制御部は、フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求めることを特徴とする圧縮符号化装置。
【請求項８】
請求項１、請求項３ないし請求項７のいずれかに記載の圧縮符号化装置であって、
前記画質制御部は、前記量子化ステップサイズが所定の数値より小さいときは、前記量子化ステップサイズが前記所定の数値以上になる２の累乗を乗算して得られた値を前記量子化ステップサイズとすることを特徴とする圧縮符号化装置。
【請求項９】
請求項８に記載の圧縮符号化装置であって、
前記量子化ステップサイズが前記画質制御部において２の累乗を乗算して求めた値であるときは、当該量子化ステップサイズに基づく並べ替えを行うときに、前記変換係数または前記符号化データを、前記２の累乗の指数に対応するビット数分だけビットシフトすることを特徴とする圧縮符号化装置。
【請求項１０】
請求項１または２に記載の圧縮符号化装置であって、
前記符号量制御部は、Viewing distanceを変更可能であり、変更後のViewing distanceについてのenergy weighting factorと、変更後のViewing distanceについてのenergy weighting factorの比に基づく量だけ、前記符号列をビットシフトすることを特徴とする圧縮符号化装置。
【請求項１１】
画像信号を圧縮符号化する圧縮符号化方法であって、
（ａ）ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成する工程と、
（ｂ）目標画質を示す量子化パラメータを、フィルタ係数のノルムで除算して量子化ステップサイズを求める工程と、
（ｃ）前記画像信号に関心領域を設定する工程と、
（ｄ）前記変換係数に対して、前記量子化ステップサイズに基づく量子化および並べ替えと、前記関心領域の設定情報に基づく並べ替えおよびビットシフトと、を施し、前記ビットシフトにおいて前記設定情報の優先度の高い関心領域ほど他の領域に比べて前記変換係数を下位ビット側にビットシフトする工程と、
（ｅ）前記工程（ｄ）の処理を施した前記変換係数をエントロピー符号化する工程と、
（ｆ）所望のノイズ除去効果が得られるまで、前記工程（ｅ）で符号化した符号化データの符号化データの一部を下位ビットから切り捨てるレート制御を行う工程と、
を備えることを特徴とする圧縮符号化方法。
【請求項１２】
画像信号を圧縮符号化する圧縮符号化方法であって、
（ａ）ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成する工程と、
（ｂ）前記画像信号に関心領域を設定する工程と、
（ｃ）前記変換係数の量子化を行う工程と、
（ｄ）前記工程（ｃ）で量子化した前記変換係数をエントロピー符号化する工程と、
（ｅ）前記工程（ｄ）で符号化した符号化データに対して、前記関心領域の設定情報に基づく並べ替えおよびビットシフトを施した符号列を生成し、所望のノイズ除去効果が得られるまで、前記符号列の一部を下位ビットから切り捨てるレート制御を行い、前記ビットシフトにおいて前記設定情報の優先度の高い関心領域ほど他の領域に比べて前記符号化データを下位ビット側にビットシフトする工程と、
を備えることを特徴とする圧縮符号化方法。
【請求項１３】
請求項１２に記載の圧縮符号化方法であって、
前記量子化を行う工程は、
目標画質を示す量子化パラメータを、フィルタ係数のノルムで除算して量子化ステップサイズを求める工程と、
前記量子化ステップサイズに基づく前記変換係数の量子化を行う工程と、
を含み、
前記符号化データを並べ替える工程は、
前記量子化ステップサイズに基づく前記符号化データの並べ替えを行う工程、
を含むことを特徴とする圧縮符号化方法。
【請求項１４】
請求項１１ないし請求項１３のいずれかに記載の圧縮符号化方法であって、
前記関心領域を設定する工程は、
設定した各関心領域に優先度を付与する工程、
を含み、
前記関心領域の設定情報に基づくビットシフトを行う工程は、
前記優先度に応じて決定された所定のビット数分だけビットシフトする工程、
を含むことを特徴とする圧縮符号化方法。
【請求項１５】
請求項１１ないし請求項１４のいずれかに記載の圧縮符号化方法であって、
前記レート制御を行う工程は、
前記レート制御の切り捨て対象をビットプレーン単位で決定する工程、
を含むことを特徴とする圧縮符号化方法。
【請求項１６】
請求項１１ないし請求項１４のいずれかに記載の圧縮符号化方法であって、
前記レート制御を行う工程は、
前記レート制御の切り捨て対象をパス単位で決定する工程、
を含むことを特徴とする圧縮符号化方法。
【請求項１７】
請求項１１、請求項１３ないし請求項１６のいずれかに記載の圧縮符号化方法であって、
前記量子化ステップサイズを求める工程は、
フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求める工程、
を含むことを特徴とする圧縮符号化方法。
【請求項１８】
請求項１１、請求項１３ないし請求項１７のいずれかに記載の圧縮符号化方法であって、
前記量子化ステップサイズを求める工程は、
前記量子化ステップサイズが所定の数値より小さいときは、前記量子化ステップサイズが前記所定の数値以上になる２の累乗を乗算して得られた値を前記量子化ステップサイズとする工程、
を含むことを特徴とする圧縮符号化方法。
【請求項１９】
請求項１８に記載の圧縮符号化方法であって、
前記量子化ステップサイズに基づく並べ替えを行う工程は、
前記量子化ステップサイズが２の累乗を乗算して求めた値であるときは、当該量子化ステップサイズで量子化された前記変換係数または前記符号化データを、前記２の累乗の指数に対応するビット数分だけビットシフトして前記符号列を生成する工程、
を含むことを特徴とする圧縮符号化方法。
【請求項２０】
マイクロプロセッサに画像信号を圧縮符号化させるためのプログラムであって、
ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
目標画質を示す量子化パラメータを、フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、
前記画像信号に関心領域を設定する関心領域設定部と、
前記変換係数に対して、前記量子化ステップサイズに基づく量子化および並べ替えと、前記関心領域の設定情報に基づく並べ替えおよびビットシフトと、を施し、前記ビットシフトにおいて前記設定情報の優先度の高い関心領域ほど他の領域に比べて前記変換係数を下位ビット側にビットシフトする量子化部と、
前記量子化部から入力される前記変換係数をエントロピー符号化するエントロピー符号化部と、
所望のノイズ除去効果が得られるまで、前記エントロピー符号化部の出力する符号化データの一部を下位ビットから切り捨てるレート制御を行う符号量制御部として、
前記マイクロプロセッサを機能させることを特徴とするプログラム。
【請求項２１】
マイクロプロセッサに画像信号を圧縮符号化させるためのプログラムであって、
ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
前記画像信号に関心領域を設定する関心領域設定部と、
前記変換係数の量子化を行う量子化部と、
前記量子化部から入力される前記変換係数をエントロピー符号化するエントロピー符号化部と、
前記エントロピー符号化部の出力する符号化データに対して、前記関心領域の設定情報に基づく並べ替えおよびビットシフトを施した符号列を生成し、所望のノイズ除去効果が得られるまで、前記符号列の一部を下位ビットから切り捨てるレート制御を行い、前記ビットシフトにおいて前記設定情報の優先度の高い関心領域ほど他の領域に比べて前記符号化データを下位ビット側にビットシフトする符号量制御部として、
前記マイクロプロセッサを機能させることを特徴とするプログラム。
【請求項２２】
請求項２１に記載のプログラムであって、さらに、
目標画質を示す量子化パラメータを、フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部として、
前記マイクロプロセッサを機能させると共に、
前記マイクロプロセッサを前記量子化部として機能させるときは、
前記量子化ステップサイズに基づいて前記変換係数の量子化を行うように機能させ、
前記マイクロプロセッサを前記符号量制御部として機能させるときは、
前記量子化ステップサイズに基づいて前記符号化データの並べ替えを行うように機能させることを特徴とするプログラム。
【請求項２３】
請求項２０ないし請求項２２のいずれかに記載のプログラムであって、
前記マイクロプロセッサを前記関心領域設定部として機能させるときに、
設定した各関心領域に優先度を付与するように機能させ、
前記マイクロプロセッサで前記関心領域の設定情報に基づく前記ビットシフトを行うときに、
前記優先度に応じて決定された所定のビット数分だけビットシフトするように機能させることを特徴とするプログラム。
【請求項２４】
請求項２０ないし請求項２３のいずれかに記載のプログラムであって、
前記マイクロプロセッサを前記符号量制御部として機能させるときは、
前記レート制御の切り捨て対象をビットプレーン単位で決定するように機能させることを特徴とするプログラム。
【請求項２５】
請求項２０ないし請求項２３のいずれかに記載のプログラムであって、
前記マイクロプロセッサを前記符号量制御部として機能させるときは、
前記レート制御の切り捨て対象をパス単位で決定するように機能させることを特徴とするプログラム。
【請求項２６】
請求項２０、請求項２２ないし請求項２５のいずれかに記載のプログラムであって、
前記マイクロプロセッサを前記画質制御部として機能させるときは、
フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求めるように機能させることを特徴とするプログラム。
【請求項２７】
請求項２０、請求項２２ないし請求項２６のいずれかに記載のプログラムであって、
前記マイクロプロセッサを前記画質制御部として機能させるときは、
前記量子化ステップサイズが所定の数値より小さいときは、前記量子化ステップサイズが前記所定の数値以上になる２の累乗を乗算して得られた値を前記量子化ステップサイズとするように機能させることを特徴とするプログラム。
【請求項２８】
請求項２７に記載のプログラムであって、
前記マイクロプロセッサで前記量子化ステップサイズに基づく並べ替えを行うときに、
前記量子化ステップサイズが前記画質制御部において２の累乗を乗算して求めた値であるときは、前記変換係数または前記符号化データを、前記２の累乗の指数に対応するビット数分だけビットシフトするように機能させることを特徴とするプログラム。
【請求項１】
画像信号を圧縮符号化する圧縮符号化装置であって、
ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
目標画質を示す量子化パラメータを、フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、
前記画像信号に関心領域を設定する関心領域設定部と、
前記変換係数に対して、前記量子化ステップサイズに基づく量子化および並べ替えと、前記関心領域の設定情報に基づく並べ替えおよびビットシフトと、を施し、前記ビットシフトにおいて前記設定情報の優先度の高い関心領域ほど他の領域に比べて前記変換係数を下位ビット側にビットシフトする量子化部と、
前記量子化部から入力される前記変換係数をエントロピー符号化するエントロピー符号化部と、
所望のノイズ除去効果が得られるまで、前記エントロピー符号化部の出力する符号化データの一部を下位ビットから切り捨てるレート制御を行う符号量制御部と、
を備えることを特徴とする圧縮符号化装置。
【請求項２】
画像信号を圧縮符号化する圧縮符号化装置であって、
ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
前記画像信号に関心領域を設定する関心領域設定部と、
前記変換係数の量子化を行う量子化部と、
前記量子化部から入力される前記変換係数をエントロピー符号化するエントロピー符号化部と、
前記エントロピー符号化部の出力する符号化データに対して、前記関心領域の設定情報に基づく並べ替えおよびビットシフトを施した符号列を生成し、所望のノイズ除去効果が得られるまで、前記符号列の一部を下位ビットから切り捨てるレート制御を行い、前記ビットシフトにおいて前記設定情報の優先度の高い関心領域ほど他の領域に比べて前記符号化データを下位ビット側にビットシフトする符号量制御部と、
を備えることを特徴とする圧縮符号化装置。
【請求項３】
請求項２に記載の圧縮符号化装置であって、さらに、
目標画質を示す量子化パラメータを、フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部、
を備え、
前記量子化部は、前記量子化ステップサイズに基づいて前記変換係数の量子化を行い、
前記符号量制御部は、前記量子化ステップサイズに基づいて前記符号化データの並べ替えを行うことを特徴とする圧縮符号化装置。
【請求項４】
請求項１ないし請求項３のいずれかに記載の圧縮符号化装置であって、
前記関心領域設定部は、設定した各関心領域に優先度を付与し、
前記関心領域の設定情報に基づく前記ビットシフトのシフト量は前記優先度に応じて決定されることを特徴とする圧縮符号化装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の圧縮符号化装置であって、
前記符号量制御部は、前記レート制御の切り捨て対象をビットプレーン単位で決定することを特徴とする圧縮符号化装置。
【請求項６】
請求項１ないし請求項４のいずれかに記載の圧縮符号化装置であって、
前記符号量制御部は、前記レート制御の切り捨て対象をパス単位で決定することを特徴とする圧縮符号化装置。
【請求項７】
請求項１、請求項３ないし請求項６のいずれかに記載の圧縮符号化装置であって、
前記画質制御部は、フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求めることを特徴とする圧縮符号化装置。
【請求項８】
請求項１、請求項３ないし請求項７のいずれかに記載の圧縮符号化装置であって、
前記画質制御部は、前記量子化ステップサイズが所定の数値より小さいときは、前記量子化ステップサイズが前記所定の数値以上になる２の累乗を乗算して得られた値を前記量子化ステップサイズとすることを特徴とする圧縮符号化装置。
【請求項９】
請求項８に記載の圧縮符号化装置であって、
前記量子化ステップサイズが前記画質制御部において２の累乗を乗算して求めた値であるときは、当該量子化ステップサイズに基づく並べ替えを行うときに、前記変換係数または前記符号化データを、前記２の累乗の指数に対応するビット数分だけビットシフトすることを特徴とする圧縮符号化装置。
【請求項１０】
請求項１または２に記載の圧縮符号化装置であって、
前記符号量制御部は、Viewing distanceを変更可能であり、変更後のViewing distanceについてのenergy weighting factorと、変更後のViewing distanceについてのenergy weighting factorの比に基づく量だけ、前記符号列をビットシフトすることを特徴とする圧縮符号化装置。
【請求項１１】
画像信号を圧縮符号化する圧縮符号化方法であって、
（ａ）ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成する工程と、
（ｂ）目標画質を示す量子化パラメータを、フィルタ係数のノルムで除算して量子化ステップサイズを求める工程と、
（ｃ）前記画像信号に関心領域を設定する工程と、
（ｄ）前記変換係数に対して、前記量子化ステップサイズに基づく量子化および並べ替えと、前記関心領域の設定情報に基づく並べ替えおよびビットシフトと、を施し、前記ビットシフトにおいて前記設定情報の優先度の高い関心領域ほど他の領域に比べて前記変換係数を下位ビット側にビットシフトする工程と、
（ｅ）前記工程（ｄ）の処理を施した前記変換係数をエントロピー符号化する工程と、
（ｆ）所望のノイズ除去効果が得られるまで、前記工程（ｅ）で符号化した符号化データの符号化データの一部を下位ビットから切り捨てるレート制御を行う工程と、
を備えることを特徴とする圧縮符号化方法。
【請求項１２】
画像信号を圧縮符号化する圧縮符号化方法であって、
（ａ）ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成する工程と、
（ｂ）前記画像信号に関心領域を設定する工程と、
（ｃ）前記変換係数の量子化を行う工程と、
（ｄ）前記工程（ｃ）で量子化した前記変換係数をエントロピー符号化する工程と、
（ｅ）前記工程（ｄ）で符号化した符号化データに対して、前記関心領域の設定情報に基づく並べ替えおよびビットシフトを施した符号列を生成し、所望のノイズ除去効果が得られるまで、前記符号列の一部を下位ビットから切り捨てるレート制御を行い、前記ビットシフトにおいて前記設定情報の優先度の高い関心領域ほど他の領域に比べて前記符号化データを下位ビット側にビットシフトする工程と、
を備えることを特徴とする圧縮符号化方法。
【請求項１３】
請求項１２に記載の圧縮符号化方法であって、
前記量子化を行う工程は、
目標画質を示す量子化パラメータを、フィルタ係数のノルムで除算して量子化ステップサイズを求める工程と、
前記量子化ステップサイズに基づく前記変換係数の量子化を行う工程と、
を含み、
前記符号化データを並べ替える工程は、
前記量子化ステップサイズに基づく前記符号化データの並べ替えを行う工程、
を含むことを特徴とする圧縮符号化方法。
【請求項１４】
請求項１１ないし請求項１３のいずれかに記載の圧縮符号化方法であって、
前記関心領域を設定する工程は、
設定した各関心領域に優先度を付与する工程、
を含み、
前記関心領域の設定情報に基づくビットシフトを行う工程は、
前記優先度に応じて決定された所定のビット数分だけビットシフトする工程、
を含むことを特徴とする圧縮符号化方法。
【請求項１５】
請求項１１ないし請求項１４のいずれかに記載の圧縮符号化方法であって、
前記レート制御を行う工程は、
前記レート制御の切り捨て対象をビットプレーン単位で決定する工程、
を含むことを特徴とする圧縮符号化方法。
【請求項１６】
請求項１１ないし請求項１４のいずれかに記載の圧縮符号化方法であって、
前記レート制御を行う工程は、
前記レート制御の切り捨て対象をパス単位で決定する工程、
を含むことを特徴とする圧縮符号化方法。
【請求項１７】
請求項１１、請求項１３ないし請求項１６のいずれかに記載の圧縮符号化方法であって、
前記量子化ステップサイズを求める工程は、
フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求める工程、
を含むことを特徴とする圧縮符号化方法。
【請求項１８】
請求項１１、請求項１３ないし請求項１７のいずれかに記載の圧縮符号化方法であって、
前記量子化ステップサイズを求める工程は、
前記量子化ステップサイズが所定の数値より小さいときは、前記量子化ステップサイズが前記所定の数値以上になる２の累乗を乗算して得られた値を前記量子化ステップサイズとする工程、
を含むことを特徴とする圧縮符号化方法。
【請求項１９】
請求項１８に記載の圧縮符号化方法であって、
前記量子化ステップサイズに基づく並べ替えを行う工程は、
前記量子化ステップサイズが２の累乗を乗算して求めた値であるときは、当該量子化ステップサイズで量子化された前記変換係数または前記符号化データを、前記２の累乗の指数に対応するビット数分だけビットシフトして前記符号列を生成する工程、
を含むことを特徴とする圧縮符号化方法。
【請求項２０】
マイクロプロセッサに画像信号を圧縮符号化させるためのプログラムであって、
ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
目標画質を示す量子化パラメータを、フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、
前記画像信号に関心領域を設定する関心領域設定部と、
前記変換係数に対して、前記量子化ステップサイズに基づく量子化および並べ替えと、前記関心領域の設定情報に基づく並べ替えおよびビットシフトと、を施し、前記ビットシフトにおいて前記設定情報の優先度の高い関心領域ほど他の領域に比べて前記変換係数を下位ビット側にビットシフトする量子化部と、
前記量子化部から入力される前記変換係数をエントロピー符号化するエントロピー符号化部と、
所望のノイズ除去効果が得られるまで、前記エントロピー符号化部の出力する符号化データの一部を下位ビットから切り捨てるレート制御を行う符号量制御部として、
前記マイクロプロセッサを機能させることを特徴とするプログラム。
【請求項２１】
マイクロプロセッサに画像信号を圧縮符号化させるためのプログラムであって、
ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
前記画像信号に関心領域を設定する関心領域設定部と、
前記変換係数の量子化を行う量子化部と、
前記量子化部から入力される前記変換係数をエントロピー符号化するエントロピー符号化部と、
前記エントロピー符号化部の出力する符号化データに対して、前記関心領域の設定情報に基づく並べ替えおよびビットシフトを施した符号列を生成し、所望のノイズ除去効果が得られるまで、前記符号列の一部を下位ビットから切り捨てるレート制御を行い、前記ビットシフトにおいて前記設定情報の優先度の高い関心領域ほど他の領域に比べて前記符号化データを下位ビット側にビットシフトする符号量制御部として、
前記マイクロプロセッサを機能させることを特徴とするプログラム。
【請求項２２】
請求項２１に記載のプログラムであって、さらに、
目標画質を示す量子化パラメータを、フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部として、
前記マイクロプロセッサを機能させると共に、
前記マイクロプロセッサを前記量子化部として機能させるときは、
前記量子化ステップサイズに基づいて前記変換係数の量子化を行うように機能させ、
前記マイクロプロセッサを前記符号量制御部として機能させるときは、
前記量子化ステップサイズに基づいて前記符号化データの並べ替えを行うように機能させることを特徴とするプログラム。
【請求項２３】
請求項２０ないし請求項２２のいずれかに記載のプログラムであって、
前記マイクロプロセッサを前記関心領域設定部として機能させるときに、
設定した各関心領域に優先度を付与するように機能させ、
前記マイクロプロセッサで前記関心領域の設定情報に基づく前記ビットシフトを行うときに、
前記優先度に応じて決定された所定のビット数分だけビットシフトするように機能させることを特徴とするプログラム。
【請求項２４】
請求項２０ないし請求項２３のいずれかに記載のプログラムであって、
前記マイクロプロセッサを前記符号量制御部として機能させるときは、
前記レート制御の切り捨て対象をビットプレーン単位で決定するように機能させることを特徴とするプログラム。
【請求項２５】
請求項２０ないし請求項２３のいずれかに記載のプログラムであって、
前記マイクロプロセッサを前記符号量制御部として機能させるときは、
前記レート制御の切り捨て対象をパス単位で決定するように機能させることを特徴とするプログラム。
【請求項２６】
請求項２０、請求項２２ないし請求項２５のいずれかに記載のプログラムであって、
前記マイクロプロセッサを前記画質制御部として機能させるときは、
フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求めるように機能させることを特徴とするプログラム。
【請求項２７】
請求項２０、請求項２２ないし請求項２６のいずれかに記載のプログラムであって、
前記マイクロプロセッサを前記画質制御部として機能させるときは、
前記量子化ステップサイズが所定の数値より小さいときは、前記量子化ステップサイズが前記所定の数値以上になる２の累乗を乗算して得られた値を前記量子化ステップサイズとするように機能させることを特徴とするプログラム。
【請求項２８】
請求項２７に記載のプログラムであって、
前記マイクロプロセッサで前記量子化ステップサイズに基づく並べ替えを行うときに、
前記量子化ステップサイズが前記画質制御部において２の累乗を乗算して求めた値であるときは、前記変換係数または前記符号化データを、前記２の累乗の指数に対応するビット数分だけビットシフトするように機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【公開番号】特開２０１１−１６６７９５（Ｐ２０１１−１６６７９５Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１１−４８８９９（Ｐ２０１１−４８８９９）
【出願日】平成２３年３月７日（２０１１．３．７）
【分割の表示】特願２００６−２３７９６１（Ｐ２００６−２３７９６１）の分割
【原出願日】平成１８年９月１日（２００６．９．１）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２３年３月７日（２０１１．３．７）
【分割の表示】特願２００６−２３７９６１（Ｐ２００６−２３７９６１）の分割
【原出願日】平成１８年９月１日（２００６．９．１）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
[ Back to top ]