画像データ符号化装置ならびにその動作制御方法およびそのプログラム
【課題】復号される画像の画質を微調整できるようにする。
【解決手段】JPEG2000などによるウェーブレット変換，２値算術符号化，パスごとの符号化コード列の分割などが行われ，復号画像が所望の歪率の範囲をもつ第１のレイヤ110，第２のレイヤ120が生成される。第１のレイヤ110の総符号量が目標符号量よりも少ない場合には，第２のレイヤ120に含まれる符号化データ列ｄ21などのうち画質への影響が少ない符号化データ列ｄ21の中のパスまでの符号化コード121が第１のレイヤ110に加算される。第１のレイヤ110の総符号量が目標符号量よりも大きい場合には，第１のレイヤ110に含まれる符号化データ列ｄ11などのうち画質への影響が少ない符号化データ列ｄ1mの中の符号化コード111が第１のレイヤ110から削除される。第１のレイヤ110から得られる画像の画質を微調整できる。
【解決手段】JPEG2000などによるウェーブレット変換，２値算術符号化，パスごとの符号化コード列の分割などが行われ，復号画像が所望の歪率の範囲をもつ第１のレイヤ110，第２のレイヤ120が生成される。第１のレイヤ110の総符号量が目標符号量よりも少ない場合には，第２のレイヤ120に含まれる符号化データ列ｄ21などのうち画質への影響が少ない符号化データ列ｄ21の中のパスまでの符号化コード121が第１のレイヤ110に加算される。第１のレイヤ110の総符号量が目標符号量よりも大きい場合には，第１のレイヤ110に含まれる符号化データ列ｄ11などのうち画質への影響が少ない符号化データ列ｄ1mの中の符号化コード111が第１のレイヤ110から削除される。第１のレイヤ110から得られる画像の画質を微調整できる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は，画像データ符号化装置ならびにその動作制御方法およびそのプログラムに関する。
【背景技術】
【０００２】
JPEG（Joint Photographic Experts Group）2000は，JPEGに比べて圧縮率を高くしてもノイズが少ない。JPEG2000ではウェーブレット変換が行われた後に，EBCOT (Embedded Block Coding with Optimized Truncation) と呼ばれる符号化が行われる（非特許文献１）。また，JPEG2000のような符号化において，全体の符号量が目標の符号量になるように符号列の一部を切り捨てるもの（特許文献１），レート制御のためのディストーションスロープ等の計算を行い，符号破棄によりレート制御を行うもの（特許文献２），符号化の単位であるコード・ブロックのサイズを調整するもの（特許文献３），圧縮された符号データを効率的に再圧縮するもの（特許文献４），高画質で符号化するもの（特許文献５）などもある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2005-192087号公報
【特許文献２】特開2006-287487号公報
【特許文献３】特開2010-213059号公報
【特許文献４】特開2004-88164号公報
【特許文献５】特開2003-244443号公報
【非特許文献】
【０００４】
【非特許文献１】J. Li and S. Lei, “An embedded still image coder with rate-distortion optimization”, SPIE: Visual Communication and Image Processing, volume 3309, pp. 36-47, San Jose, CA, Jan. 1998.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら，非特許文献１に記載のものでは，符号量を微細に調節できず，画像ごとに画質が大きく変化することが多い。また，特許文献１から５に記載のものでは，画質を細かく調整することができない。
【０００６】
この発明は，画質を細かく調整できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
この発明による画像データ符号化装置は，画像データを周波数成分の異なる複数のサブ・バンドに分割することによりサブ・バンド係数を得るサブ・バンド分割手段，上記サブ・バンド分割手段において得られたサブ・バンド係数を複数のコード・ブロックに分割するコード・ブロック分割手段，上記コード・ブロック分割手段によって分割されたコード・ブロックに含まれるサブ・バンド係数に対しビット・プレーンごとに符号化パスを生成し，符号化パス内で２値符号化して符号化データを得る符号化手段，上記符号化手段によって得られた符号化データのうち，画像に復号したときの歪率が所定の範囲内となる符号化データを，符号化パス単位で決定する決定手段，上記符号化手段による符号化および上記決定手段による符号化データの決定を上記コード・ブロック分割手段によって分割された複数のコード・ブロックについて繰り返して，画像に復号したときの歪率が所定の範囲内となる符号化データの集まりである符号化データ量調整対象のレイヤを生成するレイヤ生成手段，および上記レイヤ生成手段によって生成されたレイヤに含まれる符号化データのデータ量が目標データ量となるように，上記符号化手段によって得られた符号化データのうち符号化データ量調整対象のレイヤに含まれている符号化データであって，画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤに加える，あるいは画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤから削除する符号化データ量調整手段を備えていることを特徴とする。
【０００８】
この発明は，上記画像データ符号化装置に適した動作制御方法も提供している。すなわち，この方法は，サブ・バンド分割手段が，画像データを周波数成分の異なる複数のサブ・バンドに分割することによりサブ・バンド係数を得，コード・ブロック分割手段が，上記サブ・バンド分割手段において得られたサブ・バンド係数を複数のコード・ブロックに分割し，符号化手段が，上記コード・ブロック分割手段によって分割されたコード・ブロックに含まれるサブ・バンド係数に対しビット・プレーンごとに符号化パスを生成し，符号化パス内で２値符号化して符号化データを得，決定手段が，上記符号化手段によって得られた符号化データのうち，画像に復号したときの歪率が所定の範囲内となる符号化データを，符号化パス単位で決定し，レイヤ生成手段が，上記符号化手段による符号化および上記決定手段による符号化データの決定を上記コード・ブロック分割手段によって分割された複数のコード・ブロックについて繰り返して，画像に復号したときの歪率が所定の範囲内となる符号化データの集まりである符号化データ量調整対象のレイヤを生成し，符号化データ量調整手段が，上記レイヤ生成手段によって生成されたレイヤに含まれる符号化データのデータ量が目標データ量となるように，上記符号化手段によって得られた符号化データのうち符号化データ量調整対象のレイヤに含まれている符号化データであって，画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤに加える，あるいは画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤから削除するものである。
【０００９】
この発明は，上記画像データ符号化装置の動作制御方法を実施するためのコンピュータが読み取り可能なプログラムおよびそのプログラムを格納した記録媒体も提供している。
【００１０】
この発明によると，画像データがサブ・バンドに分割されてサブ・バンド係数が得られる。得られたサブ・バンド係数は，複数のコード・ブロックに分割される。分割されたコード・ブロックに含まれるサブ・バンド係数に対しビット・プレーンごとに符号化パスを生成し，符号化パス内で２値符号化して符号化データが得られる。得られた符号化データのうち，画像に復号したときの歪率が所定の範囲内となる符号化データが，符号化パス単位で決定される。このような符号化および符号化データの決定が複数のコード・ブロックについて繰り返され，画像に復号されたときの歪率が所定の範囲内となる符号化データの集まりである符号化データ量調整対象のレイヤが生成される。生成されたレイヤに含まれる符号化データのデータ量が目標データ量となるように，符号化データ量調整対象のレイヤに含まれている符号化データであって，画質に与える影響の少ない符号化データが符号化パス単位で符号化データ量調整対象のレイヤに加えられる，あるいは画質に与える影響の少ない符号化データが符号化パス単位で符号化データ量調整対象のレイヤから削除される。符号化データが符号化パス単位で，符号化データ量調整対象のレイヤに含まれる符号化データのデータ量を細かく変化させることができるので，レイヤによって表わされる画像の画質を細かく変えることができる。画質の微調整が可能となる。
【００１１】
たとえば，低周波数成分よりも高周波数成分のサブ・バンド係数が符号化された符号化データが画質に影響の少ない符号化データである。
【００１２】
画像データは，たとえば，カラー画像を表わすカラー画像データである。この場合，カラー画像データが，輝度データと色データとに分けられるデータ分割手段をさらに備える。そして，上記データ分割手段によって分割された輝度データと色データとのそれぞれのデータごとに上記サブ・バンド分割手段による処理，上記符号化手段による処理，上記決定手段による処理が行われる。上記レイヤ生成手段は，たとえば，画像に復号したときの歪率が所定の範囲内となる輝度データおよび色データについての符号化データの集まりである符号化データ量調整対象のレイヤを生成するものであり，輝度データよりも色データについてのサブ・バンド係数が符号化された符号化データが画質に与える影響の少ない符号化データである。
【００１３】
上記サブ・バンド分割手段は，たとえば，画像データをウェーブレット変換することにより，周波数成分の異なるサブ・バンドに分割してウェーブレット変換係数を得るものである。
【図面の簡単な説明】
【００１４】
【図１】画像データ符号化装置の電気的構成を示すブロック図である。
【図２】画像データ符号化装置の処理手順を示すフローチャートの一部である。
【図３】画像データ符号化装置の処理手順を示すフローチャートの一部である。
【図４】コンポーネント分割の様子を示している。
【図５】ウェーブレット変換の様子を示している。
【図６】ビット・プレーンを示している。
【図７】コード・ブロック分割の様子を示している。
【図８】２値算術符号化およびパスごとに分割する処理の様子を示している。
【図９】符号化データを加える様子を示している。
【図１０】（Ａ）および（Ｂ）はレイヤを示している。
【実施例】
【００１５】
図１は，この発明の実施例を示すもので，画像データ符号化装置の電気的構成を示すブロック図である。
【００１６】
画像データ符号化装置の全体の動作は，ＣＰＵ１によって統括される。
【００１７】
画像データ符号化装置には，ＣＤ−ＲＯＭ（コンパクト・ディスク・リード・オンリ・メモリ）ドライブ10が含まれている。このＣＤ−ＲＯＭドライブ10に，後述する動作プログラムが格納されているＣＤ−ＲＯＭ11が装填される。すると，ＣＤ−ＲＯＭ11に格納されている動作プログラムが読み取られ，読み取られた動作プログラムが画像データ符号化装置にインストールされる。動作プログラムはＲＯＭ２に記憶される。もちろん，動作プログラムはＣＤ−ＲＯＭ11に限らず，メモリ・カードその他の記録媒体に格納されていてもよい。また，ネットワークを介して送信される動作プログラムを画像データ符号化装置において受信し，受信した動作プログラムが画像データ符号化装置にインストールされるようにしてもよい。
【００１８】
この実施例による画像データ符号化装置は，カラー画像データ（必ずしもカラー画像でなくともよい）に対してJPEG（Joint Photographic Experts Group）2000にもとづく圧縮を行うものである。画像データ符号化装置には，外部ハードディスク装置などの外部記憶装置６が含まれている。外部記憶装置６には，多数のカラー画像データが格納されている。また，外部記憶装置６には，インターフェイス７を介してスキャナ８およびディジタル・カメラ９も接続されている。
【００１９】
画像データ符号化装置には，所定のデータ等を一時的に記憶するＲＡＭ３，表示装置４および指令等を画像データ符号化装置に与えるキーボード５も接続されている。
【００２０】
図２および図３は，画像符号化装置の処理手順を示すフローチャートである。
【００２１】
符号化すべきカラー画像データが外部記憶装置６から読み取られる（ステップ21）。カラー画像データは，外部記憶装置６に記憶されているものではなく，スキャナ８によって読み取られたもの，ディジタル・カメラ９に記憶されているもの，その他の装置等から与えられるものでもよい。読み取られたカラー画像データはＹデータ，ＵデータおよびＶデータにコンポーネント分割（色空間変換）が行われる（ステップ22）。コンポーネント分割によって，輝度成分を表わすＹデータならびに色成分を表わすＵデータおよびＶデータに分けられるが，輝度データＹならびに色差データＣｒおよびＣｂ，赤色成分，緑色成分および青色成分のＲＧＢデータなどにコンポーネント分割してもよい。
【００２２】
図４は，コンポーネント分割の様子を示している。上述のようにカラー画像データ41がコンポーネント分割されることにより，Ｙデータ51，Ｕデータ52およびＶデータ53が得られる。
【００２３】
図２に戻って，コンポーネント分割により得られたＹデータ51，Ｕデータ52およびＶデータ53がウェーブレット変換される（ステップ23）。ウェーブレット変換されることにより，Ｙデータ51，Ｕデータ52およびＶデータ53がサブバンド分割され，ウェーブレット変換係数（サブバンド係数）が得られる（ステップ24）。
【００２４】
図５は，Ｙデータ51がウェーブレット変換された様子を示している。Ｙデータ51だけでなくＵデータ52およびＶデータ53についてもウェーブレット変換が行われる。この実施例では，３回のウェーブレット変換が行われ，１ＨＨ，１ＬＨ，１ＨＬ，２ＨＨ，２ＬＨ，２ＨＬ，３ＨＨ，３ＬＨ，３ＨＬおよび３ＬＬの９つの帯域に分割されている。必ずしも９つの帯域に分割するのではなく，９つ以外の帯域に分割してもよい。
【００２５】
図６は，ウェーブレット変換により得られた１ＬＨの帯域の詳細を示している。
【００２６】
１ＬＨの帯域は，たとえば，９個のビット・プレーン61から構成されている。図６において最上位のビット・プレーン61がウェーブレット変換係数のMSB（Most Significant Bit）に相当し，最下位のビット・プレーン61がウェーブレット変換係数のLSB（Least Significant Bit）に相当する。図６においては１ＨＬの帯域のみが図示されているが他の帯域についても同様である。
【００２７】
図２に戻って，ウェーブレット変換が行われると，ウェーブレット変換係数は複数のコード・ブロックに分割される（ステップ24）。
【００２８】
図７はウェーブレット変換係数が複数のコード・ブロック71に分割される様子を示している。コード・ブロック分割により複数のコード・ブロック71が得られる。図７においては１ＨＬの帯域のみが複数のコード・ブロック71に分割されているが，１ＨＬ以外の帯域も複数のコード・ブロック71に分割される。また，図７においては１ＨＬの帯域が４つのコード・ブロック71に分割されているが，４つ以外のコード・ブロックに分割されてもよい。
【００２９】
図２に戻って，コード・ブロック71に分割されると，コード・ブロック71ごとにすべてのコード・ブロック71が２値算術符号化される（ステップ25）。２値算術符号化されると，Ｒ−Ｄ制御が行われる（ステップ26）。
【００３０】
図８は，２値算術符号化等の処理を示している。
【００３１】
所望のコード・ブロック71が２値算術符号化されることにより，１または０で表わされる符号化コード列80が得られる。２値算術符号化はパス情報をもとに処理が行われる。符号化パスはウェーブレット変換係数の状態を表わすもので，符号化パスごとに分割することができ，その分割位置が記憶される。たとえば，符号Ｐ１，Ｐ２およびＰ３で示す位置の符号化コードが，パスが行われた符号化コードの最後の位置を示しているものとする。符号Ｐ１，Ｐ２およびＰ３の間ならびに符号Ｐ３以降の符号化コード列を，それぞれパス０，パス１，パス２およびパス３と呼ぶことにする。一つのコード・ブロック71に対応する符号化コード列80がパスごとに分割されると，パス０の符号化コード列91，パス１の符号化コード列92，パス２の符号化コード列93およびパス３の符号化コード列94が得られる。
【００３２】
図９は，分割されたパス０からパス３の符号化コード列91から93が加えられる様子を示している。
【００３３】
パスごとに分割された符号化コード列が組み合わされることにより，画像が復号される。Ｒ−Ｄ制御では，所定の歪率が与えられ，所定の歪率の範囲の歪率となるように符号化コード列が組み合わされる。たとえば，歪率が0.5以下となるように画像が復号される場合において，パス０の符号化コード列91，パス１の符号化コード列92およびパス２の符号化コード列93を組み合わせると歪率が0.5以下となるが，さらにパス３の符号化コード列94を組み合わせた場合には歪率が0.5以下とはならないときには，パス０の符号化コード列91，パス１の符号化コード列92およびパス２の符号化コード列93が組み合わせられ，パス３の符号化コード列94は組み合わせられない。このように，たとえば，復号画像の歪率が0.5以下となる符号化コード列が組み合わせられたもの（符号化データの決定）がすべてのコード・ブロックについて集められ，第１のレイヤが構成される。また，第２のレイヤには第１のレイヤに含まれていない符号化コード列のうち，上述のように，組み合わせることにより所定の歪率（例えば，0.5から0.8の歪率）となる符号化コード列が集められる。第１のレイヤに含まれる符号化データの総符号量が目標符号量となるように歪率が変更させられながら，上述の処理が行われる（Ｒ−Ｄ制御）。
【００３４】
図10（Ａ）および（Ｂ）は，レイヤの一例を示している。
【００３５】
図10（Ａ）は，第１のレイヤ110を示している。第１のレイヤ110は，復号画像の歪率が0.5以下となる符号化コード列ｄ11，ｄ12，ｄ13，ｄ1n，ｄ1mなどの集りである。
【００３６】
図10（Ｂ）は，第２のレイヤ120を示している。第２のレイヤ120は，復号画像の歪率が0.5から0.8となる符号化コード列ｄ21，ｄ22，ｄ23，ｄ2n，ｄ2mなどの集りである。
【００３７】
上述のように，レイヤ内の符号化データの総符号量が目標符号量となるようにＲ−Ｄ制御が行われるが，Ｒ−Ｄ制御では歪率を変えるとレイヤに含まれる符号化データが極端に増減してしまうので，レイヤ内の符号化データの総符号量が目標符号量となるように微調整することは難しい。この実施例では，レイヤ内の符号化データの総符号量が目標符号量となるように微調整し，かつ画質を微調整できるようにするものである。第１のレイヤ110内の符号化データの総符号量が目標符号量となるように調整するものとする。
【００３８】
図３を参照して，所定の第１のレイヤ（画質を微調整するレイヤ。符号化データ量調整対象のレイヤ。）101の符号量が目標符号量と等しいかどうかが確認される（ステップ27）。上述したＲ−Ｄ制御により得られる所定の第１のレイヤ110の符号量が目標符号量と等しくなっていると（ステップ27でＹＥＳ），その第１のレイヤ110内の符号化データが書き出される（ステップ34）。
【００３９】
上述したＲ−Ｄ制御により得られる所定の第１のレイヤ110の符号量が目標符号量と等しくなっていなければ（ステップ27でＮＯ），他のレイヤである第２のレイヤ120に含まれる符号化データ列のうち，画質への影響が少ない符号化コード列のパス情報が取得される（ステップ28）。取得されたパス情報から得られる，画質への影響が少ない符号化コード列のパス数が０であれば，符号がないため，次に画質への影響が少ない符号化コード列のパス情報が取得される（ステップ28）。画質への影響が少なく，かつパスが行われている符号化データ列についてのパス情報が取得されることとなる。
【００４０】
輝度データについての符号化コード列よりも色についての符号化コード列が画質への影響が少ない。また，画像の低周波数成分を表わす符号化コード列よりも画像の高周波数成分を表わす符号化コード列の方が画質への影響が少ない。たとえば，図５に示す１ＨＨの帯域から得られる符号化コード列が画質への影響が一番少ない。このように，どのような符号化コード列が画質への影響が少ないかどうかはあらかじめ定められている。
【００４１】
所定の第１のレイヤ110の符号量が目標符号量以下であれば（ステップ30でＮＯ），他のレイヤである第２のレイヤ120に含まれている符号化コード列ｄ21，ｄ22，ｄ23，ｄ2n，ｄ2mなどの中から画質への影響が少ない符号化コード列のパスまでの符号化コードが第２のレイヤ120から削除され，かつ削除された符号化コードが所定の第１のレイヤ110に加えられる（ステップ31）。
【００４２】
どのような符号化コード列が画質への影響が少ないかは上述したようにあらかじめ定められている。たとえば，Ｙ（輝度）データの符号化コード列よりもＵまたはＶ（色）データのコード列の方が画質への影響が少なく，かつ低周波数成分のウェーブレット変換係数を表わす符号化コード列よりも高周波数成分のウェーブレット変換係数を表わす符号化コード列の方が画質への影響が少ない。このために，ＵまたはＶ（色）データであり，かつ高周波数成分である１ＨＨの帯域のウェーブレット変換係数を表わす符号化コード列が，もっとも画質への影響が少ないものとなる。そのような符号化コード列についてパス処理が行われていれば，その符号化コード列のパス処理が行われた位置までの符号化コードが第１のレイヤ110に加えられる。たとえば，第２のレイヤ120に含まれている符号化コード列ｄ21，ｄ22，ｄ23，ｄ2n，ｄ2mなどのうち，符号化コード列ｄ21が，ＵまたはＶ（色）データであり，かつ高周波数成分である１ＨＨの帯域のウェーブレット変換係数を表わすコード・ブロックについての符号化コード列であったものとする。しかも，この符号化コード列ｄ21はパス処理が行われており，パスごとに符号化コード121，122および123に分けられるものとする。すると，符号化コード列ｄ21を構成する符号化コード121が第２のレイヤ120から削除され，その削除された符号化コード121が第１のレイヤ110に加えられる。
【００４３】
第１のレイヤ110には符号化コード121が加えられるので，第１のレイヤ110に含まれるすべての符号化コード列から復号される画像の画質がわずかに向上する。画質を微調整できるようになる。
【００４４】
図３を参照して，所定の第１のレイヤ110の符号量と他のレイヤである第２のレイヤ120の符号量との大小関係がステップ30における判断の結果と変化していなければ（ステップ33でＮＯ），第１のレイヤ110の符号量は目標符号量の近傍となっていないと考えられる。ステップ27から32までの処理が繰り返される。たとえば，上述したのと同様に，第２のレイヤ120の符号化コード列ｄ21の符号化コード122が第２のレイヤ120から削除され，削除された符号化コード122が第１のレイヤ110に加えられる。
【００４５】
符号化コード122が第１のレイヤ110に加えられても第１のレイヤ110の符号量が目標符号量に近づかなければ,ステップ27からの処理が再び繰り返される。第２のレイヤ120に含まれる符号化コード列のうち，符号化コード列ｄ21の残りの符号化コード123においてパス数が０であり（ステップ29でＹＥＳ），パス処理が行われていなければ，符号化コード列ｄ21以外の符号化コード列であり，かつ画質への影響が次に少ない（または同じ）他の符号化コード列のうちパス処理が行われている符号化コードが第２のレイヤ120から削除され，削除された符号化コードが第１のレイヤ110に加えられる。
【００４６】
所定の第１のレイヤ110の符号量と他のレイヤである第２のレイヤ120の符号量との大小関係がステップ30における判断の結果と変化すると（ステップ33でＹＥＳ），第１のレイヤ110の符号量は目標符号量の近傍となったものと考えられる。すると，第１のレイヤ110に含まれる符号化コード列が符号化された画像を表わすコードとして書き出される（ステップ34）。このように書き出されたコードを復号することにより，画質が微調整された画像が得られる。
【００４７】
所定の第１のレイヤ110の符号量が目標符号量よりも大きければ（ステップ30でＹＥＳ），第１のレイヤ110の符号量を減らすために，第１のレイヤ110に含まれている符号化コード列のうち画質への影響が少ない符号化コード列のパスまでの符号化コードが削除される。削除された符号化コードが第２のレイヤ120に加えられる（ステップ32）。
【００４８】
たとえば，第１のレイヤ110に含まれる符号化コード列ｄ11，ｄ12，ｄ13，ｄ1n，ｄ1mなどのうち符号化コード列ｄ1mが画質への影響が少ない符号化コード列であったものとする。符号化コード列ｄ1mのうちパス処理によって区切られる符号化コード111が第１のレイヤ110から削除される。削除された符号化コード111は第２のレイヤ120に加えられる。
【００４９】
上述したように，ステップ30の判断での第１のレイヤ110の符号量と目標符号量との大小関係が変化しなければ（ステップ33），ステップ27からの処理が繰り返される。たとえば，画質への影響が少ない符号化データ列ｄ1mから符号化データ112が削除され，削除された符号化データ112が第２レイヤ120に加えられる。依然として，ステップ30の判断での第１のレイヤ110の符号量と目標符号量との大小関係が変化しなければ（ステップ33），第１のレイヤ110から符号化データの削除が行われるが，たとえば，符号化データ列ｄ1mの符号化データ113にパスが無ければ，符号化データ列ｄ1m以外の画質の影響が少ない他の符号化データ列であってパスがある符号化データが第１のレイヤ110から削除される。
【００５０】
第１のレイヤ110の符号量が目標符号量以下となり，ステップ30の判断での第１のレイヤ110の符号量と目標符号量との大小関係が変化すると（ステップ33），第１レイヤ110に含まれている符号化データ列が書き出される（ステップ34）。
【００５１】
このように，第１のレイヤ110に含まれる符号化コード列から復号される画像の画質を微調整できるようになる。上述の実施例では，第１のレイヤ110の符号量を調整しているが，第１のレイヤ110に限らず，第２のレイヤ120，その他のレイヤの符号量を調整できることはいうまでもない。また，上述の実施例では，カラー画像データについて説明しているが，カラー画像データではなく，白黒画像データについてもこの実施例を適用できる。白黒画像データについてこの実施例を適用する場合には，上述したコンポーネント分割は不要となる。また，白黒画像データの場合には，色画像データが含まれていないので画質への影響がある符号化データかどうかの判断は色画像データについては考慮されずに，高周波数成分の符号化データほど画質への影響が少ないものとされる。たとえば，１ＨＨ，１ＨＬまたは１ＬＨ，２ＨＨ，２ＨＬまたは２ＬＨ，３ＨＨ，３ＨＬまたは３ＬＨ，３ＬＬの順で画質への影響が少ないものとされる。
【００５２】
上述の実施例では，ソフトウェアによる制御が行われているが，一部またはすべてをハードウェアによる制御としてもよい。また，上述の実施例では２値算術符号化が行われているがウェーブレット変換係数が２値化できれば２値算術符号化に限らない。
【符号の説明】
【００５３】
１ ＣＰＵ
11 ＣＤ−ＲＯＭ
41 カラー画像データ
51 Ｙデータ
52 Ｕデータ
53 Ｖデータ
61 ビット・プレーン
71 コード・ブロック
80，ｄ11，ｄ12，ｄ13，ｄ1n，ｄ1m，ｄ21，ｄ22，ｄ23，ｄ2n，ｄ2m 符号化コード列
110，120 レイヤ
【技術分野】
【０００１】
この発明は，画像データ符号化装置ならびにその動作制御方法およびそのプログラムに関する。
【背景技術】
【０００２】
JPEG（Joint Photographic Experts Group）2000は，JPEGに比べて圧縮率を高くしてもノイズが少ない。JPEG2000ではウェーブレット変換が行われた後に，EBCOT (Embedded Block Coding with Optimized Truncation) と呼ばれる符号化が行われる（非特許文献１）。また，JPEG2000のような符号化において，全体の符号量が目標の符号量になるように符号列の一部を切り捨てるもの（特許文献１），レート制御のためのディストーションスロープ等の計算を行い，符号破棄によりレート制御を行うもの（特許文献２），符号化の単位であるコード・ブロックのサイズを調整するもの（特許文献３），圧縮された符号データを効率的に再圧縮するもの（特許文献４），高画質で符号化するもの（特許文献５）などもある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2005-192087号公報
【特許文献２】特開2006-287487号公報
【特許文献３】特開2010-213059号公報
【特許文献４】特開2004-88164号公報
【特許文献５】特開2003-244443号公報
【非特許文献】
【０００４】
【非特許文献１】J. Li and S. Lei, “An embedded still image coder with rate-distortion optimization”, SPIE: Visual Communication and Image Processing, volume 3309, pp. 36-47, San Jose, CA, Jan. 1998.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら，非特許文献１に記載のものでは，符号量を微細に調節できず，画像ごとに画質が大きく変化することが多い。また，特許文献１から５に記載のものでは，画質を細かく調整することができない。
【０００６】
この発明は，画質を細かく調整できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
この発明による画像データ符号化装置は，画像データを周波数成分の異なる複数のサブ・バンドに分割することによりサブ・バンド係数を得るサブ・バンド分割手段，上記サブ・バンド分割手段において得られたサブ・バンド係数を複数のコード・ブロックに分割するコード・ブロック分割手段，上記コード・ブロック分割手段によって分割されたコード・ブロックに含まれるサブ・バンド係数に対しビット・プレーンごとに符号化パスを生成し，符号化パス内で２値符号化して符号化データを得る符号化手段，上記符号化手段によって得られた符号化データのうち，画像に復号したときの歪率が所定の範囲内となる符号化データを，符号化パス単位で決定する決定手段，上記符号化手段による符号化および上記決定手段による符号化データの決定を上記コード・ブロック分割手段によって分割された複数のコード・ブロックについて繰り返して，画像に復号したときの歪率が所定の範囲内となる符号化データの集まりである符号化データ量調整対象のレイヤを生成するレイヤ生成手段，および上記レイヤ生成手段によって生成されたレイヤに含まれる符号化データのデータ量が目標データ量となるように，上記符号化手段によって得られた符号化データのうち符号化データ量調整対象のレイヤに含まれている符号化データであって，画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤに加える，あるいは画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤから削除する符号化データ量調整手段を備えていることを特徴とする。
【０００８】
この発明は，上記画像データ符号化装置に適した動作制御方法も提供している。すなわち，この方法は，サブ・バンド分割手段が，画像データを周波数成分の異なる複数のサブ・バンドに分割することによりサブ・バンド係数を得，コード・ブロック分割手段が，上記サブ・バンド分割手段において得られたサブ・バンド係数を複数のコード・ブロックに分割し，符号化手段が，上記コード・ブロック分割手段によって分割されたコード・ブロックに含まれるサブ・バンド係数に対しビット・プレーンごとに符号化パスを生成し，符号化パス内で２値符号化して符号化データを得，決定手段が，上記符号化手段によって得られた符号化データのうち，画像に復号したときの歪率が所定の範囲内となる符号化データを，符号化パス単位で決定し，レイヤ生成手段が，上記符号化手段による符号化および上記決定手段による符号化データの決定を上記コード・ブロック分割手段によって分割された複数のコード・ブロックについて繰り返して，画像に復号したときの歪率が所定の範囲内となる符号化データの集まりである符号化データ量調整対象のレイヤを生成し，符号化データ量調整手段が，上記レイヤ生成手段によって生成されたレイヤに含まれる符号化データのデータ量が目標データ量となるように，上記符号化手段によって得られた符号化データのうち符号化データ量調整対象のレイヤに含まれている符号化データであって，画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤに加える，あるいは画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤから削除するものである。
【０００９】
この発明は，上記画像データ符号化装置の動作制御方法を実施するためのコンピュータが読み取り可能なプログラムおよびそのプログラムを格納した記録媒体も提供している。
【００１０】
この発明によると，画像データがサブ・バンドに分割されてサブ・バンド係数が得られる。得られたサブ・バンド係数は，複数のコード・ブロックに分割される。分割されたコード・ブロックに含まれるサブ・バンド係数に対しビット・プレーンごとに符号化パスを生成し，符号化パス内で２値符号化して符号化データが得られる。得られた符号化データのうち，画像に復号したときの歪率が所定の範囲内となる符号化データが，符号化パス単位で決定される。このような符号化および符号化データの決定が複数のコード・ブロックについて繰り返され，画像に復号されたときの歪率が所定の範囲内となる符号化データの集まりである符号化データ量調整対象のレイヤが生成される。生成されたレイヤに含まれる符号化データのデータ量が目標データ量となるように，符号化データ量調整対象のレイヤに含まれている符号化データであって，画質に与える影響の少ない符号化データが符号化パス単位で符号化データ量調整対象のレイヤに加えられる，あるいは画質に与える影響の少ない符号化データが符号化パス単位で符号化データ量調整対象のレイヤから削除される。符号化データが符号化パス単位で，符号化データ量調整対象のレイヤに含まれる符号化データのデータ量を細かく変化させることができるので，レイヤによって表わされる画像の画質を細かく変えることができる。画質の微調整が可能となる。
【００１１】
たとえば，低周波数成分よりも高周波数成分のサブ・バンド係数が符号化された符号化データが画質に影響の少ない符号化データである。
【００１２】
画像データは，たとえば，カラー画像を表わすカラー画像データである。この場合，カラー画像データが，輝度データと色データとに分けられるデータ分割手段をさらに備える。そして，上記データ分割手段によって分割された輝度データと色データとのそれぞれのデータごとに上記サブ・バンド分割手段による処理，上記符号化手段による処理，上記決定手段による処理が行われる。上記レイヤ生成手段は，たとえば，画像に復号したときの歪率が所定の範囲内となる輝度データおよび色データについての符号化データの集まりである符号化データ量調整対象のレイヤを生成するものであり，輝度データよりも色データについてのサブ・バンド係数が符号化された符号化データが画質に与える影響の少ない符号化データである。
【００１３】
上記サブ・バンド分割手段は，たとえば，画像データをウェーブレット変換することにより，周波数成分の異なるサブ・バンドに分割してウェーブレット変換係数を得るものである。
【図面の簡単な説明】
【００１４】
【図１】画像データ符号化装置の電気的構成を示すブロック図である。
【図２】画像データ符号化装置の処理手順を示すフローチャートの一部である。
【図３】画像データ符号化装置の処理手順を示すフローチャートの一部である。
【図４】コンポーネント分割の様子を示している。
【図５】ウェーブレット変換の様子を示している。
【図６】ビット・プレーンを示している。
【図７】コード・ブロック分割の様子を示している。
【図８】２値算術符号化およびパスごとに分割する処理の様子を示している。
【図９】符号化データを加える様子を示している。
【図１０】（Ａ）および（Ｂ）はレイヤを示している。
【実施例】
【００１５】
図１は，この発明の実施例を示すもので，画像データ符号化装置の電気的構成を示すブロック図である。
【００１６】
画像データ符号化装置の全体の動作は，ＣＰＵ１によって統括される。
【００１７】
画像データ符号化装置には，ＣＤ−ＲＯＭ（コンパクト・ディスク・リード・オンリ・メモリ）ドライブ10が含まれている。このＣＤ−ＲＯＭドライブ10に，後述する動作プログラムが格納されているＣＤ−ＲＯＭ11が装填される。すると，ＣＤ−ＲＯＭ11に格納されている動作プログラムが読み取られ，読み取られた動作プログラムが画像データ符号化装置にインストールされる。動作プログラムはＲＯＭ２に記憶される。もちろん，動作プログラムはＣＤ−ＲＯＭ11に限らず，メモリ・カードその他の記録媒体に格納されていてもよい。また，ネットワークを介して送信される動作プログラムを画像データ符号化装置において受信し，受信した動作プログラムが画像データ符号化装置にインストールされるようにしてもよい。
【００１８】
この実施例による画像データ符号化装置は，カラー画像データ（必ずしもカラー画像でなくともよい）に対してJPEG（Joint Photographic Experts Group）2000にもとづく圧縮を行うものである。画像データ符号化装置には，外部ハードディスク装置などの外部記憶装置６が含まれている。外部記憶装置６には，多数のカラー画像データが格納されている。また，外部記憶装置６には，インターフェイス７を介してスキャナ８およびディジタル・カメラ９も接続されている。
【００１９】
画像データ符号化装置には，所定のデータ等を一時的に記憶するＲＡＭ３，表示装置４および指令等を画像データ符号化装置に与えるキーボード５も接続されている。
【００２０】
図２および図３は，画像符号化装置の処理手順を示すフローチャートである。
【００２１】
符号化すべきカラー画像データが外部記憶装置６から読み取られる（ステップ21）。カラー画像データは，外部記憶装置６に記憶されているものではなく，スキャナ８によって読み取られたもの，ディジタル・カメラ９に記憶されているもの，その他の装置等から与えられるものでもよい。読み取られたカラー画像データはＹデータ，ＵデータおよびＶデータにコンポーネント分割（色空間変換）が行われる（ステップ22）。コンポーネント分割によって，輝度成分を表わすＹデータならびに色成分を表わすＵデータおよびＶデータに分けられるが，輝度データＹならびに色差データＣｒおよびＣｂ，赤色成分，緑色成分および青色成分のＲＧＢデータなどにコンポーネント分割してもよい。
【００２２】
図４は，コンポーネント分割の様子を示している。上述のようにカラー画像データ41がコンポーネント分割されることにより，Ｙデータ51，Ｕデータ52およびＶデータ53が得られる。
【００２３】
図２に戻って，コンポーネント分割により得られたＹデータ51，Ｕデータ52およびＶデータ53がウェーブレット変換される（ステップ23）。ウェーブレット変換されることにより，Ｙデータ51，Ｕデータ52およびＶデータ53がサブバンド分割され，ウェーブレット変換係数（サブバンド係数）が得られる（ステップ24）。
【００２４】
図５は，Ｙデータ51がウェーブレット変換された様子を示している。Ｙデータ51だけでなくＵデータ52およびＶデータ53についてもウェーブレット変換が行われる。この実施例では，３回のウェーブレット変換が行われ，１ＨＨ，１ＬＨ，１ＨＬ，２ＨＨ，２ＬＨ，２ＨＬ，３ＨＨ，３ＬＨ，３ＨＬおよび３ＬＬの９つの帯域に分割されている。必ずしも９つの帯域に分割するのではなく，９つ以外の帯域に分割してもよい。
【００２５】
図６は，ウェーブレット変換により得られた１ＬＨの帯域の詳細を示している。
【００２６】
１ＬＨの帯域は，たとえば，９個のビット・プレーン61から構成されている。図６において最上位のビット・プレーン61がウェーブレット変換係数のMSB（Most Significant Bit）に相当し，最下位のビット・プレーン61がウェーブレット変換係数のLSB（Least Significant Bit）に相当する。図６においては１ＨＬの帯域のみが図示されているが他の帯域についても同様である。
【００２７】
図２に戻って，ウェーブレット変換が行われると，ウェーブレット変換係数は複数のコード・ブロックに分割される（ステップ24）。
【００２８】
図７はウェーブレット変換係数が複数のコード・ブロック71に分割される様子を示している。コード・ブロック分割により複数のコード・ブロック71が得られる。図７においては１ＨＬの帯域のみが複数のコード・ブロック71に分割されているが，１ＨＬ以外の帯域も複数のコード・ブロック71に分割される。また，図７においては１ＨＬの帯域が４つのコード・ブロック71に分割されているが，４つ以外のコード・ブロックに分割されてもよい。
【００２９】
図２に戻って，コード・ブロック71に分割されると，コード・ブロック71ごとにすべてのコード・ブロック71が２値算術符号化される（ステップ25）。２値算術符号化されると，Ｒ−Ｄ制御が行われる（ステップ26）。
【００３０】
図８は，２値算術符号化等の処理を示している。
【００３１】
所望のコード・ブロック71が２値算術符号化されることにより，１または０で表わされる符号化コード列80が得られる。２値算術符号化はパス情報をもとに処理が行われる。符号化パスはウェーブレット変換係数の状態を表わすもので，符号化パスごとに分割することができ，その分割位置が記憶される。たとえば，符号Ｐ１，Ｐ２およびＰ３で示す位置の符号化コードが，パスが行われた符号化コードの最後の位置を示しているものとする。符号Ｐ１，Ｐ２およびＰ３の間ならびに符号Ｐ３以降の符号化コード列を，それぞれパス０，パス１，パス２およびパス３と呼ぶことにする。一つのコード・ブロック71に対応する符号化コード列80がパスごとに分割されると，パス０の符号化コード列91，パス１の符号化コード列92，パス２の符号化コード列93およびパス３の符号化コード列94が得られる。
【００３２】
図９は，分割されたパス０からパス３の符号化コード列91から93が加えられる様子を示している。
【００３３】
パスごとに分割された符号化コード列が組み合わされることにより，画像が復号される。Ｒ−Ｄ制御では，所定の歪率が与えられ，所定の歪率の範囲の歪率となるように符号化コード列が組み合わされる。たとえば，歪率が0.5以下となるように画像が復号される場合において，パス０の符号化コード列91，パス１の符号化コード列92およびパス２の符号化コード列93を組み合わせると歪率が0.5以下となるが，さらにパス３の符号化コード列94を組み合わせた場合には歪率が0.5以下とはならないときには，パス０の符号化コード列91，パス１の符号化コード列92およびパス２の符号化コード列93が組み合わせられ，パス３の符号化コード列94は組み合わせられない。このように，たとえば，復号画像の歪率が0.5以下となる符号化コード列が組み合わせられたもの（符号化データの決定）がすべてのコード・ブロックについて集められ，第１のレイヤが構成される。また，第２のレイヤには第１のレイヤに含まれていない符号化コード列のうち，上述のように，組み合わせることにより所定の歪率（例えば，0.5から0.8の歪率）となる符号化コード列が集められる。第１のレイヤに含まれる符号化データの総符号量が目標符号量となるように歪率が変更させられながら，上述の処理が行われる（Ｒ−Ｄ制御）。
【００３４】
図10（Ａ）および（Ｂ）は，レイヤの一例を示している。
【００３５】
図10（Ａ）は，第１のレイヤ110を示している。第１のレイヤ110は，復号画像の歪率が0.5以下となる符号化コード列ｄ11，ｄ12，ｄ13，ｄ1n，ｄ1mなどの集りである。
【００３６】
図10（Ｂ）は，第２のレイヤ120を示している。第２のレイヤ120は，復号画像の歪率が0.5から0.8となる符号化コード列ｄ21，ｄ22，ｄ23，ｄ2n，ｄ2mなどの集りである。
【００３７】
上述のように，レイヤ内の符号化データの総符号量が目標符号量となるようにＲ−Ｄ制御が行われるが，Ｒ−Ｄ制御では歪率を変えるとレイヤに含まれる符号化データが極端に増減してしまうので，レイヤ内の符号化データの総符号量が目標符号量となるように微調整することは難しい。この実施例では，レイヤ内の符号化データの総符号量が目標符号量となるように微調整し，かつ画質を微調整できるようにするものである。第１のレイヤ110内の符号化データの総符号量が目標符号量となるように調整するものとする。
【００３８】
図３を参照して，所定の第１のレイヤ（画質を微調整するレイヤ。符号化データ量調整対象のレイヤ。）101の符号量が目標符号量と等しいかどうかが確認される（ステップ27）。上述したＲ−Ｄ制御により得られる所定の第１のレイヤ110の符号量が目標符号量と等しくなっていると（ステップ27でＹＥＳ），その第１のレイヤ110内の符号化データが書き出される（ステップ34）。
【００３９】
上述したＲ−Ｄ制御により得られる所定の第１のレイヤ110の符号量が目標符号量と等しくなっていなければ（ステップ27でＮＯ），他のレイヤである第２のレイヤ120に含まれる符号化データ列のうち，画質への影響が少ない符号化コード列のパス情報が取得される（ステップ28）。取得されたパス情報から得られる，画質への影響が少ない符号化コード列のパス数が０であれば，符号がないため，次に画質への影響が少ない符号化コード列のパス情報が取得される（ステップ28）。画質への影響が少なく，かつパスが行われている符号化データ列についてのパス情報が取得されることとなる。
【００４０】
輝度データについての符号化コード列よりも色についての符号化コード列が画質への影響が少ない。また，画像の低周波数成分を表わす符号化コード列よりも画像の高周波数成分を表わす符号化コード列の方が画質への影響が少ない。たとえば，図５に示す１ＨＨの帯域から得られる符号化コード列が画質への影響が一番少ない。このように，どのような符号化コード列が画質への影響が少ないかどうかはあらかじめ定められている。
【００４１】
所定の第１のレイヤ110の符号量が目標符号量以下であれば（ステップ30でＮＯ），他のレイヤである第２のレイヤ120に含まれている符号化コード列ｄ21，ｄ22，ｄ23，ｄ2n，ｄ2mなどの中から画質への影響が少ない符号化コード列のパスまでの符号化コードが第２のレイヤ120から削除され，かつ削除された符号化コードが所定の第１のレイヤ110に加えられる（ステップ31）。
【００４２】
どのような符号化コード列が画質への影響が少ないかは上述したようにあらかじめ定められている。たとえば，Ｙ（輝度）データの符号化コード列よりもＵまたはＶ（色）データのコード列の方が画質への影響が少なく，かつ低周波数成分のウェーブレット変換係数を表わす符号化コード列よりも高周波数成分のウェーブレット変換係数を表わす符号化コード列の方が画質への影響が少ない。このために，ＵまたはＶ（色）データであり，かつ高周波数成分である１ＨＨの帯域のウェーブレット変換係数を表わす符号化コード列が，もっとも画質への影響が少ないものとなる。そのような符号化コード列についてパス処理が行われていれば，その符号化コード列のパス処理が行われた位置までの符号化コードが第１のレイヤ110に加えられる。たとえば，第２のレイヤ120に含まれている符号化コード列ｄ21，ｄ22，ｄ23，ｄ2n，ｄ2mなどのうち，符号化コード列ｄ21が，ＵまたはＶ（色）データであり，かつ高周波数成分である１ＨＨの帯域のウェーブレット変換係数を表わすコード・ブロックについての符号化コード列であったものとする。しかも，この符号化コード列ｄ21はパス処理が行われており，パスごとに符号化コード121，122および123に分けられるものとする。すると，符号化コード列ｄ21を構成する符号化コード121が第２のレイヤ120から削除され，その削除された符号化コード121が第１のレイヤ110に加えられる。
【００４３】
第１のレイヤ110には符号化コード121が加えられるので，第１のレイヤ110に含まれるすべての符号化コード列から復号される画像の画質がわずかに向上する。画質を微調整できるようになる。
【００４４】
図３を参照して，所定の第１のレイヤ110の符号量と他のレイヤである第２のレイヤ120の符号量との大小関係がステップ30における判断の結果と変化していなければ（ステップ33でＮＯ），第１のレイヤ110の符号量は目標符号量の近傍となっていないと考えられる。ステップ27から32までの処理が繰り返される。たとえば，上述したのと同様に，第２のレイヤ120の符号化コード列ｄ21の符号化コード122が第２のレイヤ120から削除され，削除された符号化コード122が第１のレイヤ110に加えられる。
【００４５】
符号化コード122が第１のレイヤ110に加えられても第１のレイヤ110の符号量が目標符号量に近づかなければ,ステップ27からの処理が再び繰り返される。第２のレイヤ120に含まれる符号化コード列のうち，符号化コード列ｄ21の残りの符号化コード123においてパス数が０であり（ステップ29でＹＥＳ），パス処理が行われていなければ，符号化コード列ｄ21以外の符号化コード列であり，かつ画質への影響が次に少ない（または同じ）他の符号化コード列のうちパス処理が行われている符号化コードが第２のレイヤ120から削除され，削除された符号化コードが第１のレイヤ110に加えられる。
【００４６】
所定の第１のレイヤ110の符号量と他のレイヤである第２のレイヤ120の符号量との大小関係がステップ30における判断の結果と変化すると（ステップ33でＹＥＳ），第１のレイヤ110の符号量は目標符号量の近傍となったものと考えられる。すると，第１のレイヤ110に含まれる符号化コード列が符号化された画像を表わすコードとして書き出される（ステップ34）。このように書き出されたコードを復号することにより，画質が微調整された画像が得られる。
【００４７】
所定の第１のレイヤ110の符号量が目標符号量よりも大きければ（ステップ30でＹＥＳ），第１のレイヤ110の符号量を減らすために，第１のレイヤ110に含まれている符号化コード列のうち画質への影響が少ない符号化コード列のパスまでの符号化コードが削除される。削除された符号化コードが第２のレイヤ120に加えられる（ステップ32）。
【００４８】
たとえば，第１のレイヤ110に含まれる符号化コード列ｄ11，ｄ12，ｄ13，ｄ1n，ｄ1mなどのうち符号化コード列ｄ1mが画質への影響が少ない符号化コード列であったものとする。符号化コード列ｄ1mのうちパス処理によって区切られる符号化コード111が第１のレイヤ110から削除される。削除された符号化コード111は第２のレイヤ120に加えられる。
【００４９】
上述したように，ステップ30の判断での第１のレイヤ110の符号量と目標符号量との大小関係が変化しなければ（ステップ33），ステップ27からの処理が繰り返される。たとえば，画質への影響が少ない符号化データ列ｄ1mから符号化データ112が削除され，削除された符号化データ112が第２レイヤ120に加えられる。依然として，ステップ30の判断での第１のレイヤ110の符号量と目標符号量との大小関係が変化しなければ（ステップ33），第１のレイヤ110から符号化データの削除が行われるが，たとえば，符号化データ列ｄ1mの符号化データ113にパスが無ければ，符号化データ列ｄ1m以外の画質の影響が少ない他の符号化データ列であってパスがある符号化データが第１のレイヤ110から削除される。
【００５０】
第１のレイヤ110の符号量が目標符号量以下となり，ステップ30の判断での第１のレイヤ110の符号量と目標符号量との大小関係が変化すると（ステップ33），第１レイヤ110に含まれている符号化データ列が書き出される（ステップ34）。
【００５１】
このように，第１のレイヤ110に含まれる符号化コード列から復号される画像の画質を微調整できるようになる。上述の実施例では，第１のレイヤ110の符号量を調整しているが，第１のレイヤ110に限らず，第２のレイヤ120，その他のレイヤの符号量を調整できることはいうまでもない。また，上述の実施例では，カラー画像データについて説明しているが，カラー画像データではなく，白黒画像データについてもこの実施例を適用できる。白黒画像データについてこの実施例を適用する場合には，上述したコンポーネント分割は不要となる。また，白黒画像データの場合には，色画像データが含まれていないので画質への影響がある符号化データかどうかの判断は色画像データについては考慮されずに，高周波数成分の符号化データほど画質への影響が少ないものとされる。たとえば，１ＨＨ，１ＨＬまたは１ＬＨ，２ＨＨ，２ＨＬまたは２ＬＨ，３ＨＨ，３ＨＬまたは３ＬＨ，３ＬＬの順で画質への影響が少ないものとされる。
【００５２】
上述の実施例では，ソフトウェアによる制御が行われているが，一部またはすべてをハードウェアによる制御としてもよい。また，上述の実施例では２値算術符号化が行われているがウェーブレット変換係数が２値化できれば２値算術符号化に限らない。
【符号の説明】
【００５３】
１ ＣＰＵ
11 ＣＤ−ＲＯＭ
41 カラー画像データ
51 Ｙデータ
52 Ｕデータ
53 Ｖデータ
61 ビット・プレーン
71 コード・ブロック
80，ｄ11，ｄ12，ｄ13，ｄ1n，ｄ1m，ｄ21，ｄ22，ｄ23，ｄ2n，ｄ2m 符号化コード列
110，120 レイヤ
【特許請求の範囲】
【請求項１】
画像データを周波数成分の異なる複数のサブ・バンドに分割することによりサブ・バンド係数を得るサブ・バンド分割手段，
上記サブ・バンド分割手段において得られたサブ・バンド係数を複数のコード・ブロックに分割するコード・ブロック分割手段，
上記コード・ブロック分割手段によって分割されたコード・ブロックに含まれるサブ・バンド係数に対しビット・プレーンごとに符号化パスを生成し，符号化パス内で２値符号化して符号化データを得る符号化手段，
上記符号化手段によって得られた符号化データのうち，画像に復号したときの歪率が所定の範囲内となる符号化データを，符号化パス単位で決定する決定手段，
上記符号化手段による符号化および上記決定手段による符号化データの決定を上記コード・ブロック分割手段によって分割された複数のコード・ブロックについて繰り返して，画像に復号したときの歪率が所定の範囲内となる符号化データの集まりである符号化データ量調整対象のレイヤを生成するレイヤ生成手段，および
上記レイヤ生成手段によって生成されたレイヤに含まれる符号化データのデータ量が目標データ量となるように，上記符号化手段によって得られた符号化データのうち符号化データ量調整対象のレイヤに含まれている符号化データであって，画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤに加える，あるいは画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤから削除する符号化データ量調整手段，
を備えた画像データ符号化装置。
【請求項２】
低周波数成分よりも高周波数成分のサブ・バンド係数が符号化された符号化データが画質に影響の少ない符号化データである，
請求項１に記載の画像データ符号化装置。
【請求項３】
画像データはカラー画像を表わすカラー画像データであり，
カラー画像データが，輝度データと色データとに分けられるデータ分割手段をさらに備え，
上記データ分割手段によって分割された輝度データと色データとのそれぞれのデータごとに上記サブ・バンド分割手段による処理，上記符号化手段による処理，上記決定手段による処理を行い，
上記レイヤ生成手段は，
画像に復号したときの歪率が所定の範囲内となる輝度データおよび色データについての符号化データの集まりである符号化データ量調整対象のレイヤを生成するものであり，
輝度データよりも色データについてのサブ・バンド係数が符号化された符号化データが画質に与える影響の少ない符号化データである，
請求項１または２に記載の画像データ符号化装置。
【請求項４】
上記サブ・バンド分割手段は，
画像データをウェーブレット変換することにより，周波数成分の異なるサブ・バンドに分割してウェーブレット変換係数を得るものである，
請求項１から３のうち，いずれか一項に記載の画像データ符号化装置。
【請求項５】
サブ・バンド分割手段が，画像データを周波数成分の異なる複数のサブ・バンドに分割することによりサブ・バンド係数を得，
コード・ブロック分割手段が，上記サブ・バンド分割手段において得られたサブ・バンド係数を複数のコード・ブロックに分割し，
符号化手段が，上記コード・ブロック分割手段によって分割されたコード・ブロックに含まれるサブ・バンド係数に対しビット・プレーンごとに符号化パスを生成し，符号化パス内で２値符号化して符号化データを得，
決定手段が，上記符号化手段によって得られた符号化データのうち，画像に復号したときの歪率が所定の範囲内となる符号化データを，符号化パス単位で決定し，
レイヤ生成手段が，上記符号化手段による符号化および上記決定手段による符号化データの決定を上記コード・ブロック分割手段によって分割された複数のコード・ブロックについて繰り返して，画像に復号したときの歪率が所定の範囲内となる符号化データの集まりである符号化データ量調整対象のレイヤを生成し，
符号化データ量調整手段が，上記レイヤ生成手段によって生成されたレイヤに含まれる符号化データのデータ量が目標データ量となるように，上記符号化手段によって得られた符号化データのうち符号化データ量調整対象のレイヤに含まれている符号化データであって，画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤに加える，あるいは画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤから削除する，
画像データ符号化装置の動作制御方法。
【請求項６】
画像データ符号化装置のコンピュータを制御するプログラムであって，
画像データを周波数成分の異なる複数のサブ・バンドに分割することによりサブ・バンド係数を取得させ，
取得されたサブ・バンド係数を複数のコード・ブロックに分割させ，
分割されたコード・ブロックに含まれるサブ・バンド係数に対しビット・プレーンごとに符号化パスを生成し，符号化パス内で２値符号化して符号化データを取得させ，
取得された符号化データのうち，画像に復号したときの歪率が所定の範囲内となる符号化データを，符号化パス単位で決定させ，
符号化および符号化データの決定を分割された複数のコード・ブロックについて繰り返して，画像に復号したときの歪率が所定の範囲内となる符号化データの集まりである符号化データ量調整対象のレイヤを生成させ，
生成されたレイヤに含まれる符号化データのデータ量が目標データ量となるように，取得された符号化データのうち符号化データ量調整対象のレイヤに含まれている符号化データであって，画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤに加える，あるいは画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤから削除するように画像データ符号化装置のコンピュータを制御するコンピュータが読み取り可能なプログラム。
【請求項７】
請求項６に記載の上記プログラムを格納した記録媒体。
【請求項１】
画像データを周波数成分の異なる複数のサブ・バンドに分割することによりサブ・バンド係数を得るサブ・バンド分割手段，
上記サブ・バンド分割手段において得られたサブ・バンド係数を複数のコード・ブロックに分割するコード・ブロック分割手段，
上記コード・ブロック分割手段によって分割されたコード・ブロックに含まれるサブ・バンド係数に対しビット・プレーンごとに符号化パスを生成し，符号化パス内で２値符号化して符号化データを得る符号化手段，
上記符号化手段によって得られた符号化データのうち，画像に復号したときの歪率が所定の範囲内となる符号化データを，符号化パス単位で決定する決定手段，
上記符号化手段による符号化および上記決定手段による符号化データの決定を上記コード・ブロック分割手段によって分割された複数のコード・ブロックについて繰り返して，画像に復号したときの歪率が所定の範囲内となる符号化データの集まりである符号化データ量調整対象のレイヤを生成するレイヤ生成手段，および
上記レイヤ生成手段によって生成されたレイヤに含まれる符号化データのデータ量が目標データ量となるように，上記符号化手段によって得られた符号化データのうち符号化データ量調整対象のレイヤに含まれている符号化データであって，画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤに加える，あるいは画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤから削除する符号化データ量調整手段，
を備えた画像データ符号化装置。
【請求項２】
低周波数成分よりも高周波数成分のサブ・バンド係数が符号化された符号化データが画質に影響の少ない符号化データである，
請求項１に記載の画像データ符号化装置。
【請求項３】
画像データはカラー画像を表わすカラー画像データであり，
カラー画像データが，輝度データと色データとに分けられるデータ分割手段をさらに備え，
上記データ分割手段によって分割された輝度データと色データとのそれぞれのデータごとに上記サブ・バンド分割手段による処理，上記符号化手段による処理，上記決定手段による処理を行い，
上記レイヤ生成手段は，
画像に復号したときの歪率が所定の範囲内となる輝度データおよび色データについての符号化データの集まりである符号化データ量調整対象のレイヤを生成するものであり，
輝度データよりも色データについてのサブ・バンド係数が符号化された符号化データが画質に与える影響の少ない符号化データである，
請求項１または２に記載の画像データ符号化装置。
【請求項４】
上記サブ・バンド分割手段は，
画像データをウェーブレット変換することにより，周波数成分の異なるサブ・バンドに分割してウェーブレット変換係数を得るものである，
請求項１から３のうち，いずれか一項に記載の画像データ符号化装置。
【請求項５】
サブ・バンド分割手段が，画像データを周波数成分の異なる複数のサブ・バンドに分割することによりサブ・バンド係数を得，
コード・ブロック分割手段が，上記サブ・バンド分割手段において得られたサブ・バンド係数を複数のコード・ブロックに分割し，
符号化手段が，上記コード・ブロック分割手段によって分割されたコード・ブロックに含まれるサブ・バンド係数に対しビット・プレーンごとに符号化パスを生成し，符号化パス内で２値符号化して符号化データを得，
決定手段が，上記符号化手段によって得られた符号化データのうち，画像に復号したときの歪率が所定の範囲内となる符号化データを，符号化パス単位で決定し，
レイヤ生成手段が，上記符号化手段による符号化および上記決定手段による符号化データの決定を上記コード・ブロック分割手段によって分割された複数のコード・ブロックについて繰り返して，画像に復号したときの歪率が所定の範囲内となる符号化データの集まりである符号化データ量調整対象のレイヤを生成し，
符号化データ量調整手段が，上記レイヤ生成手段によって生成されたレイヤに含まれる符号化データのデータ量が目標データ量となるように，上記符号化手段によって得られた符号化データのうち符号化データ量調整対象のレイヤに含まれている符号化データであって，画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤに加える，あるいは画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤから削除する，
画像データ符号化装置の動作制御方法。
【請求項６】
画像データ符号化装置のコンピュータを制御するプログラムであって，
画像データを周波数成分の異なる複数のサブ・バンドに分割することによりサブ・バンド係数を取得させ，
取得されたサブ・バンド係数を複数のコード・ブロックに分割させ，
分割されたコード・ブロックに含まれるサブ・バンド係数に対しビット・プレーンごとに符号化パスを生成し，符号化パス内で２値符号化して符号化データを取得させ，
取得された符号化データのうち，画像に復号したときの歪率が所定の範囲内となる符号化データを，符号化パス単位で決定させ，
符号化および符号化データの決定を分割された複数のコード・ブロックについて繰り返して，画像に復号したときの歪率が所定の範囲内となる符号化データの集まりである符号化データ量調整対象のレイヤを生成させ，
生成されたレイヤに含まれる符号化データのデータ量が目標データ量となるように，取得された符号化データのうち符号化データ量調整対象のレイヤに含まれている符号化データであって，画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤに加える，あるいは画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤから削除するように画像データ符号化装置のコンピュータを制御するコンピュータが読み取り可能なプログラム。
【請求項７】
請求項６に記載の上記プログラムを格納した記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−２４９１６７（Ｐ２０１２−２４９１６７Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１２０６１８（Ｐ２０１１−１２０６１８）
【出願日】平成２３年５月３０日（２０１１．５．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月３０日（２０１１．５．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]