画像処理装置および画像処理方法
【課題】画像の圧縮処理と色変換処理を同時に行うことにより、著しく画質を損なうことなく色変換対象の画素数を削減できるようにし、処理の高速化を図る。
【解決手段】高周波成分処理部では、必要であれば非常に簡単な（すなわち計算量が少ない）色変換を低画質色変換部２１にて施した後、高周波成分計算部２２で周波数変換を施す。低周波成分処理部では、まずＬＰＦ（低周波通過フィルタ）２３と、サブサンプリング部２４による間引き処理とによって、原画像をサブサンプリングし、画素数の少ない縮小画像を得る。この縮小画像に対して高度な（すなわち計算量の多い）色変換を高画質色変換部２５によって施す。そして、低周波成分計算部２７にて、色変換後の縮小画像に対して周波数変換を施す。この周波数変換によって得られた値は合成部２７に送られ、高周波成分計算部２２で得られた周波数成分値に低域成分の値として使用される。
【解決手段】高周波成分処理部では、必要であれば非常に簡単な（すなわち計算量が少ない）色変換を低画質色変換部２１にて施した後、高周波成分計算部２２で周波数変換を施す。低周波成分処理部では、まずＬＰＦ（低周波通過フィルタ）２３と、サブサンプリング部２４による間引き処理とによって、原画像をサブサンプリングし、画素数の少ない縮小画像を得る。この縮小画像に対して高度な（すなわち計算量の多い）色変換を高画質色変換部２５によって施す。そして、低周波成分計算部２７にて、色変換後の縮小画像に対して周波数変換を施す。この周波数変換によって得られた値は合成部２７に送られ、高周波成分計算部２２で得られた周波数成分値に低域成分の値として使用される。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は入出力デバイス等に応じて画像データの色変換処理を行う機能を有する画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】カラープリンタ、カラーディスプレイ、カラースキャナ等の画像入出力装置においては、各々の物理特性のばらつきのため、原画像のＲＧＢ等の信号を直接使用することができないのが一般的であり、そのため、入出力の前に各々の特性に合わせた色変換を行う必要がある。
【０００３】また、人の顔をきれいに見せるために肌色系の色に少し赤みを加えると言った、単に見栄えを良くするために色変換を行う場合もある。実際にはさらにＲＧＢ→ＣＭＹＫといった色空間変換も行われる場合も多い。
【０００４】一般に、このような変換によって高画質を得るためには単純な線形変換では不充分であり、色変換テーブルと多次式の組み合わせによって行われる。色変換の方式は大まかに分類すると（ａ）数式による変換（ｂ）変換テーブル参照による変換（ＬＵＴ）
（ｃ）変換テーブル参照と数式の組み合わせによる変換の３種類がある。
【０００５】（ａ）数式による変換数式による変換の最も単純な例として、
【０００６】
【数１】
【０００７】といった１次元の変換式が考えられる。すなわち原画素の各色の値（Ｒ，Ｇ，Ｂ）の１次式に変換係数ａnnを掛けて補正画素値（Ｒ′，Ｇ′，Ｂ′）を得る。
【０００８】この式（１）の計算量を乗算回数で数えると９回であるが、これを全画素（Ｎ個とする）に対して適用する必要があるので、全体では９Ｎ回の乗算が必要になる。
【０００９】色空間上のあらゆる点において満足な色変換をしたい、という現実の用途に耐えるためには、このような１次元の変換では十分な画質が得られないため、高次の項を導入する必要があるが、それにより計算量は著しく増大する。
【００１０】例えば２次の項を導入しただけでも、
【００１１】
【数２】
【００１２】というように、１画素あたり２７回の乗算が必要になる。
【００１３】現実にはこれでも不満足な場合が多いため、数式のみによる色変換が採用されることは稀である。
【００１４】（ｂ）テーブル参照方式全ての色に対して個別に変換色を定義したテーブルを参照する方法である。
【００１５】あらゆる変換が可能である利点がある反面、テーブルの大きさが膨大になるという欠点がある。例えば２４ビットの色空間では、２２４ｘ２４ビットすなわち４８ＭＢｙｔｅのテーブルが必要になる。
【００１６】（ｃ）変換テーブル参照と数式の組み合わせによる変換色空間上でサンプリングした代表色（例えばＲ，Ｇ，Ｂそれぞれを１６等分割する点など）について変換テーブルを用意しておき、その他の色については近傍の代表色数個から数式を用いて算出する方式。
【００１７】テーブルの大きさが小さく済み、数式で補完する領域が小さいため比較的簡単な数式で良好な色変換が可能である。
【００１８】現実にはこの方式が多く採用されており、色空間の分割方法や近傍点の選出方法、補完方法などでさまざまな方式が提案されている。ただし、この方式をもってしても、全画素に対して少なくとも数回ずつの乗算／除算を行う必要は避けられず、なお計算量が非常に多いという問題は無くならず、さらに高速な方式が望まれている。
【００１９】ところで、最近では、画像データサイズの低減等の目的から、ＪＰＥＧなどの圧縮方式が広く利用されている。ＪＰＥＧは、ＩＳＯとＩＴＵにより規格化されている、多階調画像（カラー画像を含む）の圧縮方式である。
【００２０】
【発明が解決しようとする課題】しかし、現在、画像圧縮技術と色変換技術は全く別個のものとして扱われており、現実の用途においても、出力系：圧縮画像→（伸張）→原画像→（色変換）→出力用画像入力系：入力画像→（色変換）→原画像（圧縮）→圧縮画像というように、逐次的に処理されている。例えば、プリンタを例にとると、（１）ＪＰＥＧ圧縮された画像を伸張した後、（２）色変換を施して出力する、という逐次的な処理が行われている。
【００２１】このように画像の圧縮・伸張と色変換の処理を別々に行った場合、色変換は圧縮前または伸張後の画素数の多い生の画像データに対して施されるため、色変換の処理に多くの処理時間が必要となる。画像の入出力処理では、さらに圧縮・伸張処理に要する時間が加わるので、それに要する時間は膨大となる。
【００２２】本発明は上述の事情に鑑みてなされたものであり、画像の圧縮・伸張処理と色変換処理を同時に行うことにより、著しく画質を損なうことなく色変換対象の画素数を削減できるようにし、非常に高速な処理を実現することが可能な画像処理装置および画像処理方法を提供することを目的とする。
【００２３】
【課題を解決するための手段】上述の課題を解決するため、本発明は、周波数変換を用いて画像データを圧縮符号化する画像処理装置において、原画像データをサブサンプリングして縮小画像データを作成する縮小画像作成手段と、前記縮小画像作成手段によって得られた縮小画像データを色変換する色変換手段と、前記色変換手段によって色変換された後の縮小画像データに対して周波数変換を施し、その変換結果を前記原画像データの低域周波数成分値として求める第１の周波数変換手段と、前記原画像データに対して周波数変換を施し、その変換結果を用いて前記原画像データの高域周波数成分値を求める第２の周波数変換手段と、前記第１の周波数変換手段によって求められた低域周波数成分値と前記第２の周波数変換手段によって求められた高域周波数成分値とを合成して、前記原画像データの周波数成分値を生成する手段とを具備することを特徴とする。
【００２４】この画像処理装置の処理は、低域周波数成分値を求める処理と、高域周波数成分値を求める処理とに分けられる。低域周波数成分値を求める処理では、まず、サブサンプリングによって得られた画素数の少ない縮小画像に対して色変換を行った後、その色変換後の画像に対してＤＣＴ（離散コサイン変換）やウェーブレット（Ｗａｖｅｌｅｔ）変換による周波数変換（直交変換）が施され、その周波数変換によって得られた縮小画像の周波数成分値が原画像の低域周波数成分値として求められる。一方、高域周波数成分値を求める処理では、色変換処理は行われず、原画像データに対して周波数変換が直接的に施され、その周波数変換によって得られた周波数成分値が原画像の高域周波数成分値として求められる。そして、これら低域周波数成分値と高域周波数成分値とを合成することにより、高域および低域の双方を含む原画像の周波数成分値が求められる。この合成は、例えばＤＣＴを使用する場合を例に取ると、色変換せずに原画像データに対して周波数変換を施すことによって得られた８ｘ８のＤＣＴ係数の内、低域周波数成分を構成する左上側のいくつかのＤＣＴ係数を、縮小画像から得られた周波数成分値に置き換えること等によって容易に実現することが出来る。
【００２５】このように周波数変換処理を低域周波数成分側と高域周波数成分側とに分け、高域周波数成分に対しては色変換を行わず、画質に対する影響の大きい低域周波数成分に対してのみ色変換処理を施すという、圧縮・色変換同時処理方式により、色変換対象の画素数を減らすことが出来るようになり、画質を損なうことなく処理の高速化を図ることが可能となる。
【００２６】また、本発明は、周波数変換を用いて圧縮符号化された画像データを復号する画像処理装置において、前記圧縮符号化された画像データを復号して、その周波数成分値を求める手段と、前記圧縮符号化された画像データの周波数成分値の中から低域周波数成分値を抽出し、その抽出した低域周波数成分値に対して逆周波数変換を施すことによって縮小画像データを生成する第１の画像データ生成手段と、前記第１の画像データ生成手段によって得られた縮小画像データを色変換する色変換手段と、前記色変換手段によって色変換された後の縮小画像データを元の画像データサイズに復元する画像サイズ復元手段と、前記低域周波数成分値を除外した状態で、前記圧縮符号化された画像データの周波数成分値に対して逆周波数変換を施すことによって画像データを生成する第２の画像データ生成手段と、前記画像サイズ復元手段によって得られた画像データと前記第２の画像データ生成手段によって得られた画像データとを合成して、前記圧縮符号化された画像データの復号画像を生成する手段とを具備することを特徴とする。
【００２７】このように、圧縮符号化された画像の伸張処理を行う際にも、逆周波数変換処理を低域周波数成分側と高域周波数成分側とに分け、高域周波数成分に対しては色変換を行わず、画質に対する影響の大きい低域周波数成分に対してのみ色変換処理を施すという、伸張・色変換同時処理方式を用いることにより、色変換対象の画素数を減らすことが出来るようになり、画質を損なうことなく処理の高速化を図ることが可能となる。
【００２８】画像データの周波数成分値を低域側と高域側とに分割するための境界は予め固定的に決定しておけばよいが、さらに、高域側の周波数成分値の中に所定のしきい値よりも高レベルの周波数成分値が存在するか否かを検出し、所定のしきい値よりも高レベルの周波数成分値が存在する場合には、その周波数成分値の空間位置に応じて境界を動的に変更するという、機能を設けることが好ましい。これにより、高域周波数成分に色変換を施さないことによる色変換誤差の影響を低減でき、より高画質の画像を得ることが可能となる。
【００２９】また、階層符号化された画像データを復号する際には、解像度の異なる複数の画像データの内、高解像度の画像データから得られた復号画像データに対しては色変換を行わず、低解像度の画像データから得られた復号画像データに対してのみ色変換処理を施し、そしてそれら復号画像データを合成するという、簡単な処理のみで、画質を損なうことなく、処理の高速化を図ることができる。
【００３０】
【発明の実施の形態】以下、図面を参照して本発明の実施形態を説明する。
［第１実施形態］図１には、本発明の第１実施形態に係る画像処理装置の構成が示されている。ここでは、スキャナ１１とホストコンピュータ１２とから構成されるカラースキャナシステムを例示して説明する。カラースキャナ１１のメカ部１３で読み取られたカラー画像データは色変換圧縮モジュール１４に処理対象の原画像データとして送られ、そこで色変換処理と圧縮処理を同時に行う色変換・圧縮処理が実行される。色変換処理では、カラースキャナ１１のデバイス特性に合った色補正を行うための色変換や、人の好みに応じた画像を得るための色変換、あるいはＣＭＹ−ＲＧＢの間で色空間を変換するための色変換などが行われる。また、圧縮処理では、ＪＰＥＧなどによる圧縮方式で画像データの圧縮符号化が行われる。
【００３１】色変換圧縮モジュール１４によって得られた圧縮画像データは記録媒体や通信媒体を介してホストコンピュータ１５に送られ、そのホストコンピュータ１５内のディスク装置１５などに記録される。ディスク装置１５に記録された圧縮画像データはアプリケーションプログラムに渡され、ディスプレイやプリンタなどの出力装置に出力される。なお、色変換圧縮モジュール１４はホストコンピュータ１２側にあってもよい。
【００３２】色変換圧縮モジュール１４による色変換圧縮処理では、周波数変換（ＤＣＴ，Ｗａｖｅｌｅｔ変換等）を用いて画像を圧縮する際に、高周波成分を計算するときは入力画像の値を色変換せずに、もしくは非常に単純な変換を用い、低周波成分を計算するときにはＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）と間引きとによるサブサンプリングによって画素数を削減し、そのサブサンプリングされた縮小画像に対して色変換処理を施し、得られた画像に対して通常の計算を行う、という方式が用いられる。
【００３３】（ＪＰＥＧ）ここで、図２および図３を用いて、周波数変換（ＤＣＴ，Ｗａｖｅｌｅｔ変換等）を用いた画像圧縮処理の原理について説明する。図２はＤＣＴの基底関数（１次元８画素の場合）を示しており、また図３はＷａｖｅｌｅｔ変換の基底関数（１次元８画素の場合）と基底周波数スペクトルを示している。
【００３４】前述したように、ＪＰＥＧは多階調画像（カラー画像を含む）の圧縮方式であり、その方式の根幹として、周波数変換（直交変換）であるＤＣＴ（Ｄｅｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ，離散コサイン変換）を採用している。周波数変換は、空間的な「位置」に対するレベルの集合である原画像を、「変化の度合い」ごとのレベルの集合に変換する。すなわち、より緩やかな変化を表す「低周波成分」（図２：より左上の関数）と急峻な変化を表す「高周波成分」（図２：より右下の関数）の和に分解し、それぞれに掛ける係数の集合で表現する手法である。
【００３５】画像の圧縮に周波数変換を用いる主な理由として、次の２点がある。
【００３６】（ａ）自然画像を周波数変換すると、低周波成分に高レベルが集中し、高周波成分はほとんど０付近になるという性質がある。この性質を利用し、連続する０をランレングス的に符号化することにより、圧縮効果が得られる。
【００３７】（ｂ）人間の視覚特性として、高周波成分が欠落してもほとんど気付かないという性質がある。したがって、高周波成分は大きく量子化して情報量を削減してしまっても現実上問題にならない。また、これによって０付近の値が全て０に収束され、上記（ａ）の効果がさらに上がる。
【００３８】（階層符号化モード）ＪＰＥＧでは、画質を上げるためのオプションとして、階層化モードも定義されている。
【００３９】ＪＰＥＧでは、計算量の削減のため、画像を８ｘ８画素のブロックに分割し、各ブロックにＤＣＴをかけている。このため、圧縮率を上げると１ブロックが１画素のように見えてしまうブロックノイズが発生する。階層化モードは次の手順でこれを抑制する。
【００４０】（１）原画像に適切なＬＰＦをかけた後、縦横とも４：１でサブサンプリング（標本化）し、これによって１／１６のサイズの縮小画像を作成する。
【００４１】（２）出来上がった１／１６サイズの縮小画像を８ｘ８画素のブロックに分割し、ＤＣＴをかけて圧縮する。これによって、低解像度（４：１）の圧縮画像を得る。
【００４２】（３）１／１６のサイズの縮小画像を原サイズに復元した画像と原画像との差分画像を作り、適切なＬＰＦをかけたあと縦横とも２：１にサブサンプリングして、１／４のサイズの縮小画像を作成する。これにＤＣＴをかけて圧縮する。これによって、２：１の圧縮画像を得る。
【００４３】（４）１／４のサイズの縮小画像を原サイズに復元した画像と原画像との差分画像を作り、同様にＤＣＴをかけて圧縮する。これによって、高解像度（１：１）の圧縮画像を得る。
【００４４】以上の処理により、実質的に３２ｘ３２画素のブロックの処理ということになり、ブロックノイズが低減される。
【００４５】（Ｗａｖｅｌｅｔ変換を用いた画像圧縮）現在のＪＰＥＧではサポートされていないが、２０００年に規格化予定のＪＰＥＧ２０００では、ＤＣＴに代わってＷａｖｅｌｅｔ変換が採用される予定となっている。
【００４６】Ｗａｖｅｌｅｔ変換は、正弦波の代わりに図３（ａ）（ｂ）に示すような、空間的にも周波数的にも局在性の良い関数を選び、それらのスケーリングとシフトで構成される基底関数を用いる。
【００４７】ＤＣＴでの係数が周波数成分のみを持つのに対し、Ｗａｖｅｌｅｔ変換の係数は、低周波成分については周波数情報を多く持ち、高周波成分については空間情報（位置情報）を多く持つという特性がある。原画像、ＤＣＴ、Ｗａｖｅｌｅｔ変換の空間情報・周波数情報の分解能力を直感的に理解するための図を図４に示す。
【００４８】Ｗａｖｅｌｅｔ変換を用いると圧縮率の向上が期待できるほか、対象画素数が大きくなっても変換のための計算量がＤＣＴほどは増加しないため、明示的にブロック分割を行う必要がなくなるという効果がある。
【００４９】（色変換圧縮モジュール）次に、図１の色変換圧縮モジュール１４の構成について説明する。
【００５０】図１に示されているように、色変換圧縮モジュール１４は、低画質色変換部２１、高周波成分計算部２２、ＬＰＦ２３、サブサンプリング部２４、高画質色変換部２５、低周波成分計算部２６、合成部２７、および符号生成部２８から構成されている。色変換圧縮モジュール１４では、周波数変換処理は、高周波成分側と低周波成分側とに分けて行われる。図中、上側にある低画質色変換部２１および高周波成分計算部２２が高周波成分用の処理部である。低画質色変換部２１は必要な応じて設けられるものであり、無くてもよい。下側にあるＬＰＦ２３、サブサンプリング部２４、高画質色変換部２５、低周波成分計算部２６が高周波成分用の処理部である。
【００５１】原画像は、高周波成分を処理する部分（上部分）と低周波成分を処理する部分（下部分）に渡される。高周波成分処理部では、必要であれば非常に簡単な（すなわち計算量が少ない）色変換を低画質色変換部２１にて施した後、高周波成分計算部２２で周波数変換を施す。
【００５２】低周波成分処理部では、まずＬＰＦ（低周波通過フィルタ）２３と、サブサンプリング部２４による間引き処理とによって、原画像をサブサンプリングし、画素数の少ない縮小画像を得る。この縮小画像に対して高度な（すなわち計算量の多い）色変換を高画質色変換部２５によって施す。そして、低周波成分計算部２７にて、色変換後の縮小画像に対して周波数変換を施す。この周波数変換によって得られた値は、低域周波数成分値として合成部２７に送られる。
【００５３】合成部２７では、高周波成分計算部２２で得られた周波数成分値の中の高域側の周波数成分値と、低周波成分計算部２７で得られた低域周波数成分値とが合成され、高域および低域の双方を含む原画像の周波数成分値が求められる。そして、符号生成部２８によって量子化、可変長符号化などの処理が施されることにより、圧縮画像が生成される。
【００５４】図５には、周波数変換としてＤＣＴを使用した場合の色変換・圧縮処理の具体例が示されている。
【００５５】原画像の８ｘ８画素のブロック（１）は高周波成分処理部および低周波成分処理部にそれぞれ送られる。高周波成分処理部では、８ｘ８画素のブロック（１）に対してＤＣＴが施され、８ｘ８のＤＣＴ係数（２）が求められる。低周波成分処理部では、８ｘ８画素のブロック（１）がＬＰＦと間引きによってサブサンプリングされ、例えば４ｘ４の縮小画像（３）が作成される。４ｘ４の縮小画像（３）に対して色変換処理（４）が施され、色変換後の４ｘ４の縮小画像（５）が作成される。色変換後の４ｘ４の縮小画像（５）にはＤＣＴが施され、４ｘ４のＤＣＴ係数（６）が求められる。４ｘ４のＤＣＴ係数（６）は、８ｘ８のＤＣＴ係数（２）の内で低域周波数成分を構成する左上側の４ｘ４のＤＣＴ係数として、８ｘ８のＤＣＴ係数（２）に埋め込まれる。この合成処理によって、高域および低域の双方を含む原画像の８ｘ８のＤＣＴ係数（７）が作成される。
【００５６】以上の処理は８ｘ８画素のブロック毎に繰り返し実行される。
【００５７】このように周波数変換処理を低域周波数成分側と高域周波数成分側とに分け、高域周波数成分に対しては色変換を行わず、画質に対する影響の大きい低域周波数成分に対してのみ色変換処理を施すという、圧縮・色変換同時処理方式により、色変換対象の画素数を減らすことが出来るようになり、画質を損なうことなく処理の高速化を図ることが可能となる。
【００５８】（ＤＣＴにおける低周波成分・高周波成分分割例）図６に、ＤＣＴの場合の低周波成分と高周波成分の分割例を示す。
【００５９】８ｘ８画素のブロックをＤＣＴで変換した場合、前述したように周波数領域でも８ｘ８個の成分になる。図６の各桝目が１個の周波数成分を表し、右にあるものほど横方向に高周波、下にあるものほど縦方向に高周波の成分になる。すなわち、左上ほど低周波成分、右下ほど高周波成分を表している。
【００６０】各小図では、斜線の成分が色変換対象となる低周波成分を示している。
【００６１】図６の（ａ）（ｂ）の例は、正方形で低周波と高周波を切り分ける方法を示している。（ａ）は図５で説明した例に相当するものであり、縦横とも最高周波数の１／２以下の周波数の成分を色変換対象として選定する。これらの成分を計算する場合、前述のように、２：１のサブサンプリングによって原画像から１／４サイズの縮小画像を得て、それを色変換した後の画像をＤＣＴによって変換すればよい。この場合、ＬＰＦは縦横とも最高周波数の１／２以下の周波数を通すものを利用することが好ましい。このように２：１のサブサンプリング画像に対して色変換を施した後、周波数成分を計算してやれば、色変換に関する計算量は１／４（縦，横それぞれ１／２）で済むことになる。同様に（ｂ）では、４：１サブサンプリングが可能であり、計算量は１／１６となる。
【００６２】（ｃ）のように２の階乗でないところに境界を設けることも原理的には可能であるが、この場合のサンプリングレートは４：３であり、サンプリング処理自体に補完処理が必要になるので（ｘ＝３／４の座標の値はｘ＝１とｘ＝２の値から補完して計算する必要がある）、あまり効率は良くない。
【００６３】（ｄ）は長方形に選ぶ方法で、横方向の情報に特別な意味がある場合などに有効である。この場合の色変換計算量は縦が１／４、横が１／２、あわせて１／８となる。
【００６４】（ｅ）は三角形に選ぶ方法で、理論的な計算量は（ａ）と変わらず、画質はやや劣ることになるが、ＬＰＥＧの符号生成の際にこの順でランレングス的な符号化を行うので、実装上では有効な場合もある。
【００６５】（Ｗａｖｅｌｅｔ変換における低周波成分・高周波成分分割例）図７は、Ｗａｖｅｌｅｔ変換を用いる場合の低周波成分・高周波成分の分割例である。
【００６６】図中の実線は周波数を区切り、破線は同周波数内の空間位置を区切っている。図は８ｘ８画素の場合の成分を示しているが、Ｗａｖｅｌｅｔ変換ではブロック分割は必ずしも必要ではないので、実際に扱う係数はもっと大きな正方形または長方形となる。
【００６７】低周波成分の選び方は基本的にはＤＣＴと同じであり、正方形，長方形，三角形等が考えられる。基本的には実線部分に境界を持たせることになる。破線部分に境界を持たせるのも全く無意味ではなく、画像を部分的に高画質にしたいときに有効である。例えば（ｂ）の例では、画像の中心部分がより高画質になる。
【００６８】なお、画質については、次の２つの理由から、従来の全画素色変換よりも劣ることになる。
【００６９】（１）高周波成分に色変換を適用しないため、この分の補正誤差がでる。
【００７０】（２）サブサンプリング画像を原画像サイズに復元する際に、間の画素がＬＰＦで補完されるが、色変換自体は線形変換ではないため、正確な補正色が補完されるわけではない。例えば、色変換前の２：１サンプリング画像において隣接する画素の色が（１００，０，０）と（１１０，０，０）であり、これらの色変換後の値が（１０２，０，０）と（１１４，０，０）であると仮定した場合、復元される中間点の画素の値は提案方式では例えば（１０８，０，０）となるが、厳密には（１０５，０，０）に対する変換色が入るべきであり、それが（１０８，０，０）とは限らない。
【００７１】しかし、（１）に関しては、「高周波成分は元々値が小さい」「高周波成分の誤差は人間には知覚されにくい」という性質から、現実に問題になるほどの誤差ではなく、また（２）についても、一般的には近傍色は変換色も近傍色になるため、サンプル間の色の変化量の絶対値が大きくなければほとんど問題にならない誤差となる。
【００７２】［第２実施形態］図８には、本発明の第２実施形態に係る画像処理装置の構成が示されている。ここでは、ホストコンピュータ３１とカラープリンタ３２とから構成されるカラープリンタシステムを例示して説明する。ホストコンピュータ３１のディスク装置３３には、アプリケーションプログラムによって作成された画像や、スキャナ、カメラなどの入力装置によって入力された画像データがＪＰＥＧなどによって圧縮符号化された状態で保存されている。この圧縮画像データは記録媒体や通信媒体を介してカラープリンタ３２の色変換伸張モジュール３４に送られる。色変換伸張モジュール３４はホスト側にあっても良い。
【００７３】色変換伸張モジュール３４では、圧縮画像データに対して色変換処理と伸張処理を同時に行うという色変換・伸張処理が施される。色変換処理では、カラープリンタ３２のデバイス特性に合った色補正を行うための色変換や、人の好みに応じた画像を得るための色変換、あるいはＲＧＢ−ＣＭＹの間で色空間を変換するための色変換などが行われる。また、伸張処理ではＪＰＥＧなどによる圧縮方式で圧縮されている画像データの復号化が行われ、これによって印刷画像が作成される。この印刷画像がプリンタメカ部３５に送られて、そこでプリントアウトされる。
【００７４】色変換伸張モジュール３４による色変換伸張処理では、周波数変換を用いて圧縮された画像を伸張する際に、低周波成分を伸張するときには逆周波数変換（逆ＤＣＴ）によってサブサンプリング画像を得て、得られた画像に対して色変換処理を施し、高周波成分を伸張するときには色変換を行わない、という方式が用いられる。
【００７５】（色変換伸張モジュール）色変換伸張モジュール３４は、図示のように、復号生成部４１、高周波成分復元部４２、低周波成分復元部４３、高画質色変換部４４、画像サイズ復元部４５、および合成部４６から構成されている。
【００７６】圧縮符号化された画像データはまず復号生成部４１にて可変長復号化、逆量子化などの処理が施され、周波数成分値（ＤＣＴ係数等）に復号される。周波数成分値は、高周波復元処理部（上部分）と低周波復元処理部（下部分）にそれぞれ渡される。高周波成分復元部４２では、周波数成分値から低周波成分が除外された状態で逆周波数変換が行われ、これにより、高周波成分の周波数成分値に対応する画像が復元される。低周波成分少画像復元部４２では、まず周波数成分値の中から低周波成分のみが抽出され、その低周波成分の周波数成分値に対して逆周波数変換が行われる。これにより、画素数の少ない縮小画像が復元される。縮小画像は高画質色変換部４４にて高度な（すなわち計算量の多い）色変換が施された後、画像サイズ復元部４５に送られ、そこで適切なＬＰＦおよび補間処理を受けて原画像のサイズに復元される。
【００７７】２つの流れで作成された画像を合成部４６で合成することで、最終的な復元画像が得られる。低周波成分・高周波成分の分割方法やその効果については実施形態１と同様である。
【００７８】図９には、周波数変換としてＤＣＴを使用した場合の色変換・伸張処理の具体例が示されている。
【００７９】圧縮符号化された画像データの８ｘ８のＤＣＴ係数（１）は高周波成分処理部および低周波成分処理部にそれぞれ送られる。高周波成分処理部では、まず、８ｘ８のＤＣＴ係数（１）の中の例えば左上の４ｘ４のＤＣＴ係数を全て０に置き換えることなどによって、低周波成分を除外した８ｘ８のＤＣＴ係数（２）が生成される。低周波成分を除外した８ｘ８のＤＣＴ係数（２）に対して逆ＤＣＴを施すことにより、８ｘ８画素のブロック画像（３）が復元される。低周波成分処理部では、８ｘ８のＤＣＴ係数（１）の中から低周波成分を抽出する処理が行われ、左上の４ｘ４のＤＣＴ係数（４）のみが取り出される。４ｘ４のＤＣＴ係数（４）に対して４ｘ４の逆ＤＣＴを施すことにより、４ｘ４画素の縮小画像（５）が生成される。４ｘ４の縮小画像（５）に対して色変換処理（６）が施され、そして、その色変換後の４ｘ４の縮小画像を補間によって拡大することにより、８ｘ８画素のブロック画像（７）が復元される。８ｘ８画素のブロック画像（３）と（７）とを加算することにより、最終的な復元画像（８）が得られる。
【００８０】以上の処理は８ｘ８のＤＣＴ係数のブロック毎に繰り返し実行される。
【００８１】このように、圧縮符号化された画像の伸張処理を行う際にも、逆周波数変換処理を低域周波数成分側と高域周波数成分側とに分け、高域周波数成分に対しては色変換を行わず、画質に対する影響の大きい低域周波数成分に対してのみ色変換処理を施すという、伸張・色変換同時処理方式を用いることにより、色変換対象の画素数を減らすことが出来るようになり、画質を損なうことなく処理の高速化を図ることが可能となる。
【００８２】［第３実施形態］次に、階層化モードによって階層符号化された画像データを色変換・伸張処理する場合の方式を第３実施形態として説明する。
【００８３】この場合、図８の色変換伸張モジュール３４には、図１０のように、３つの復号・逆ＤＣＴ部５１，５２，５３と、高画質色変換部５４と、画像サイズ復元部５５と、図示しない合成部とから構成される。
【００８４】階層化モードで送受信されるデータは、図１１に示すように、複数のサンプリングレートの画像で構成される。４：１の低解像度の圧縮画像データは復号・逆ＤＣＴ部５１で復号処理され、４：１の低解像度画像に復元される。同様に、２：１の中解像度の圧縮画像データと１：１の高解像度の圧縮画像データは復号・逆ＤＣＴ部５２，５３でそれぞれ復号処理され、２：１の中解像度差分画像と１：１の高解像度差分画像に復元される。
【００８５】本方式では、サンプリング密度のより低い画像（４：１と２：１画像など）に対しては色変換を適用し、サンプリング密度の高い画像（１：１画像）に対しては適用しない。すなわち、４：１の低解像度画像についてのみ、あるいは４：１の低解像度画像と２：１の中解像度差分画像に対しては、高画質色変換部５４にて高度な色変換が施される。そして、色変換後の画像が画像サイズ復元部５５にて原画像大に復元される。これらの画像を合成部にて加算することにより、完全な復元画像を得ることができる。
【００８６】合成の手法は何通りか考えられる。２：１の中解像度画像の復元は、４：１の低解像度画像を２：１に拡大した画像と２：１の中解像度差分画像との加算によって得られる。この２：１の中解像度画像を１：１に拡大した画像と１：１の高解像度差分画像との加算によって、１：１の完全な復元画像を得ることができる。
【００８７】［第４実施形態］次に、第４実施形態として、第２実施形態の色変換伸張モジュール３４に適用されるサンプリングレート切換方式について説明する。
【００８８】この場合、図１２に示されているように、色変換伸張モジュール３４には周波数成分分割決定部６１が追加される。周波数成分分割決定部６１は、基本的には、圧縮符号化された画像データの周波数成分値を予め決められた境界で低域側と高域側とに分割するためのものであるが、本例ではその境界を処理対象の画像に合わせて変更する処理が行われる。
【００８９】すなわち、実施形態２の方式では、実施形態１と同様の手法を用いることにより低周波成分と高周波成分の分割を固定的に行っていた。高周波成分に色変換を適用しないことによって色変換誤差が生じることはすでに述べたが、高周波成分が大きいほど色誤差が大きくなる傾向がある。
【００９０】そこで、本方式では、高周波成分が大きいブロック（８ｘ８等のブロック）について色変換の対象画素数を増やす方法を取る。
【００９１】具体的な手順の例を以下に示す。
【００９２】まず、標準の低周波成分を図１３（ａ）の斜線部のように取る。他の高域周波数成分に大きなＤＣＴ係数値がなければこのまま分割し、この場合の色変換対象画像は縦横とも４：１、計算量は１／１６である。
【００９３】ここで、図１３（ｂ）の塗りつぶし域に大きな値がある場合、図１３（ｂ）の斜線領域を低周波成分と分類する。この場合の色変換対象画像は縦４：１、横２：１の画像となり、計算量は１／８となる。すなわち、大きい値を持つ成分を囲む長方形で囲むように低周波成分を選択する。図１３（ｃ）の太線で示した境界線でサンプリング間隔が変化するので、これに沿って長方形を選択しても良い。
【００９４】高周波成分の大きさの判定としては・各成分ごとにしきい値と比較する、・各部分長方形内の値の和（もしくは２乗和）としきい値を比較する、などがある。実際はカラー画像なので８ｘ８マトリックスはブロックごとに３個づつ存在するので（Ｙ，Ｃｒ，Ｃｂ）、それらの間で和を取る方法もある。
【００９５】このようにして、周波数成分分割決定部６１ではブロック毎に動的に境界位置が決定される。
【００９６】［第５実施形態］次に、第５実施形態として、第２実施形態の色変換伸張モジュール３４に適用されるサンプリングレート切換方式（Ｗａｖｅｌｅｔ）を説明する。
【００９７】図１４にサンプリングレート切換方式（Ｗａｖｅｌｅｔ変換）を適用した色変換伸張モジュール３４の構成を示す。色変換伸張モジュール３４には、第２実施形態の構成に加え、成分分割・レート決定部６２が追加される。
【００９８】成分分割・レート決定部６２による処理は基本的には実施形態４と同じで、高周波成分が大きい値を持つ場合は色変換対象領域を増やす制御を行う。Ｗａｖｅｌｅｔ変換の場合は、ＤＣＴの８ｘ８ブロック等のような固定的な空間分割は行われず、成分自体が個々に空間上のある領域に対応するため、ＤＣＴよりも柔軟な切り分けが可能になる。
【００９９】図１５は、成分分割の例を示したもので、簡単のため１次元１６画素の例を示している。
【０１００】標準の低周波部分を順斜線（／／の斜線）とし、塗りつぶし部分に大きい値の高周波成分が存在するとする。順斜線の成分は低周波復元部分に渡し、４：１のサンプリングレートで色変換を施した後、原画像サイズに復元する。さらに、塗りつぶし部分の係数とそれと同じ位置を含むより低周波よりの成分（逆斜線部分）も低周波復元部分に渡され、色変換を施し（逆斜線部分も含めて復元しないと色変換が正しく計算ができない）、当該部分を原画像サイズに復元する。この部分画像で、上で復元した低域成分の画像の該当部分を置きかえる。図１５の例では、左から１１番目，１２番目の画素を置きかえる。（実際にはＷａｖｅｌｅｔの基底関数の選び方によって該当部分の範囲は異なる。）他の部分（白部分）は高周波復元部分に渡し、色変換を施さない。
【０１０１】このように、大きい値の高周波成分が存在する場合には、それに対応する空間位置の周波数成分値についても色変換対象に含めるように境界を変更することにより、重要な部分については高い精度の色変換を施すことができる。
【０１０２】なお、以上の各実施形態で説明した色変換・圧縮処理、色変換・伸張処理はハードウェア／ソフトウェアのどちらで実現することもできる。ソフトウェアで実現した場合、その処理手順はブロック図で説明した処理の流れに対応することになる。また、色変換のパラメータはデバイスの特性に合わせて予め決定しておけばよいが、ユーザからの操作に応じてそのパラメータを変更できるように機能を持たせておくことにより、ユーザの好みに応じた色変換を行うことが可能となる。
【０１０３】
【発明の効果】以上説明したように、本発明によれば、画像の圧縮・伸張処理と色変換処理を同時に行うことにより、著しく画質を損なうことなく色変換対象の画素数を削減できるようになり、非常に高速な処理を実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る画像処理装置の構成例を示すブロック図。
【図２】同実施形態の画像処理装置で使用されるＤＣＴの基底関数を説明するための図。
【図３】同実施形態の画像処理装置で使用されるＷａｖｅｌｅｔ変換の基底関数を説明するための図。
【図４】同実施形態の画像処理装置で使用されるＷａｖｅｌｅｔ変換の特徴を説明するための図。
【図５】同実施形態の画像処理装置における色変換・圧縮処理の手順を説明するための図。
【図６】同実施形態の画像処理装置における低周波成分と高周波成分の第１の分割例を示す図。
【図７】同実施形態の画像処理装置における低周波成分と高周波成分の第２の分割例を示す図。
【図８】本発明の第２実施形態に係る画像処理装置の構成例を示すブロック図。
【図９】同実施形態の画像処理装置における色変換・伸張処理の手順を説明するための図。
【図１０】本発明の第３実施形態に係る画像処理装置の構成例を示すブロック図。
【図１１】同実施形態で伸張処理の対象となる階層符号化された画像データの構造を示す図。
【図１２】本発明の第４実施形態に係る画像処理装置の構成例を示すブロック図。
【図１３】同実施形態における低周波／高周波境界決定処理方式を説明するための図。
【図１４】本発明の第５実施形態に係る画像処理装置の構成例を示すブロック図。
【図１５】同実施形態における低周波／高周波境界決定処理方式を説明するための図。
【符号の説明】
１４…色変換圧縮モジュール
２１…低画質色変換部
２２…高周波成分計算部
２３…ＬＰＦ
２４…サブサンプリング部
２５…高画質色変換部
２６…低周波成分計算部
２７…合成部
２８…符号生成部
３４…色変換伸張モジュール
４１…復号生成部
４２…高周波成分復元部
４３…低周波成分少画素復元部
４４…高画質色変換部
４５…画像サイズ復元部
４６…合成部
【０００１】
【発明の属する技術分野】本発明は入出力デバイス等に応じて画像データの色変換処理を行う機能を有する画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】カラープリンタ、カラーディスプレイ、カラースキャナ等の画像入出力装置においては、各々の物理特性のばらつきのため、原画像のＲＧＢ等の信号を直接使用することができないのが一般的であり、そのため、入出力の前に各々の特性に合わせた色変換を行う必要がある。
【０００３】また、人の顔をきれいに見せるために肌色系の色に少し赤みを加えると言った、単に見栄えを良くするために色変換を行う場合もある。実際にはさらにＲＧＢ→ＣＭＹＫといった色空間変換も行われる場合も多い。
【０００４】一般に、このような変換によって高画質を得るためには単純な線形変換では不充分であり、色変換テーブルと多次式の組み合わせによって行われる。色変換の方式は大まかに分類すると（ａ）数式による変換（ｂ）変換テーブル参照による変換（ＬＵＴ）
（ｃ）変換テーブル参照と数式の組み合わせによる変換の３種類がある。
【０００５】（ａ）数式による変換数式による変換の最も単純な例として、
【０００６】
【数１】
【０００７】といった１次元の変換式が考えられる。すなわち原画素の各色の値（Ｒ，Ｇ，Ｂ）の１次式に変換係数ａnnを掛けて補正画素値（Ｒ′，Ｇ′，Ｂ′）を得る。
【０００８】この式（１）の計算量を乗算回数で数えると９回であるが、これを全画素（Ｎ個とする）に対して適用する必要があるので、全体では９Ｎ回の乗算が必要になる。
【０００９】色空間上のあらゆる点において満足な色変換をしたい、という現実の用途に耐えるためには、このような１次元の変換では十分な画質が得られないため、高次の項を導入する必要があるが、それにより計算量は著しく増大する。
【００１０】例えば２次の項を導入しただけでも、
【００１１】
【数２】
【００１２】というように、１画素あたり２７回の乗算が必要になる。
【００１３】現実にはこれでも不満足な場合が多いため、数式のみによる色変換が採用されることは稀である。
【００１４】（ｂ）テーブル参照方式全ての色に対して個別に変換色を定義したテーブルを参照する方法である。
【００１５】あらゆる変換が可能である利点がある反面、テーブルの大きさが膨大になるという欠点がある。例えば２４ビットの色空間では、２２４ｘ２４ビットすなわち４８ＭＢｙｔｅのテーブルが必要になる。
【００１６】（ｃ）変換テーブル参照と数式の組み合わせによる変換色空間上でサンプリングした代表色（例えばＲ，Ｇ，Ｂそれぞれを１６等分割する点など）について変換テーブルを用意しておき、その他の色については近傍の代表色数個から数式を用いて算出する方式。
【００１７】テーブルの大きさが小さく済み、数式で補完する領域が小さいため比較的簡単な数式で良好な色変換が可能である。
【００１８】現実にはこの方式が多く採用されており、色空間の分割方法や近傍点の選出方法、補完方法などでさまざまな方式が提案されている。ただし、この方式をもってしても、全画素に対して少なくとも数回ずつの乗算／除算を行う必要は避けられず、なお計算量が非常に多いという問題は無くならず、さらに高速な方式が望まれている。
【００１９】ところで、最近では、画像データサイズの低減等の目的から、ＪＰＥＧなどの圧縮方式が広く利用されている。ＪＰＥＧは、ＩＳＯとＩＴＵにより規格化されている、多階調画像（カラー画像を含む）の圧縮方式である。
【００２０】
【発明が解決しようとする課題】しかし、現在、画像圧縮技術と色変換技術は全く別個のものとして扱われており、現実の用途においても、出力系：圧縮画像→（伸張）→原画像→（色変換）→出力用画像入力系：入力画像→（色変換）→原画像（圧縮）→圧縮画像というように、逐次的に処理されている。例えば、プリンタを例にとると、（１）ＪＰＥＧ圧縮された画像を伸張した後、（２）色変換を施して出力する、という逐次的な処理が行われている。
【００２１】このように画像の圧縮・伸張と色変換の処理を別々に行った場合、色変換は圧縮前または伸張後の画素数の多い生の画像データに対して施されるため、色変換の処理に多くの処理時間が必要となる。画像の入出力処理では、さらに圧縮・伸張処理に要する時間が加わるので、それに要する時間は膨大となる。
【００２２】本発明は上述の事情に鑑みてなされたものであり、画像の圧縮・伸張処理と色変換処理を同時に行うことにより、著しく画質を損なうことなく色変換対象の画素数を削減できるようにし、非常に高速な処理を実現することが可能な画像処理装置および画像処理方法を提供することを目的とする。
【００２３】
【課題を解決するための手段】上述の課題を解決するため、本発明は、周波数変換を用いて画像データを圧縮符号化する画像処理装置において、原画像データをサブサンプリングして縮小画像データを作成する縮小画像作成手段と、前記縮小画像作成手段によって得られた縮小画像データを色変換する色変換手段と、前記色変換手段によって色変換された後の縮小画像データに対して周波数変換を施し、その変換結果を前記原画像データの低域周波数成分値として求める第１の周波数変換手段と、前記原画像データに対して周波数変換を施し、その変換結果を用いて前記原画像データの高域周波数成分値を求める第２の周波数変換手段と、前記第１の周波数変換手段によって求められた低域周波数成分値と前記第２の周波数変換手段によって求められた高域周波数成分値とを合成して、前記原画像データの周波数成分値を生成する手段とを具備することを特徴とする。
【００２４】この画像処理装置の処理は、低域周波数成分値を求める処理と、高域周波数成分値を求める処理とに分けられる。低域周波数成分値を求める処理では、まず、サブサンプリングによって得られた画素数の少ない縮小画像に対して色変換を行った後、その色変換後の画像に対してＤＣＴ（離散コサイン変換）やウェーブレット（Ｗａｖｅｌｅｔ）変換による周波数変換（直交変換）が施され、その周波数変換によって得られた縮小画像の周波数成分値が原画像の低域周波数成分値として求められる。一方、高域周波数成分値を求める処理では、色変換処理は行われず、原画像データに対して周波数変換が直接的に施され、その周波数変換によって得られた周波数成分値が原画像の高域周波数成分値として求められる。そして、これら低域周波数成分値と高域周波数成分値とを合成することにより、高域および低域の双方を含む原画像の周波数成分値が求められる。この合成は、例えばＤＣＴを使用する場合を例に取ると、色変換せずに原画像データに対して周波数変換を施すことによって得られた８ｘ８のＤＣＴ係数の内、低域周波数成分を構成する左上側のいくつかのＤＣＴ係数を、縮小画像から得られた周波数成分値に置き換えること等によって容易に実現することが出来る。
【００２５】このように周波数変換処理を低域周波数成分側と高域周波数成分側とに分け、高域周波数成分に対しては色変換を行わず、画質に対する影響の大きい低域周波数成分に対してのみ色変換処理を施すという、圧縮・色変換同時処理方式により、色変換対象の画素数を減らすことが出来るようになり、画質を損なうことなく処理の高速化を図ることが可能となる。
【００２６】また、本発明は、周波数変換を用いて圧縮符号化された画像データを復号する画像処理装置において、前記圧縮符号化された画像データを復号して、その周波数成分値を求める手段と、前記圧縮符号化された画像データの周波数成分値の中から低域周波数成分値を抽出し、その抽出した低域周波数成分値に対して逆周波数変換を施すことによって縮小画像データを生成する第１の画像データ生成手段と、前記第１の画像データ生成手段によって得られた縮小画像データを色変換する色変換手段と、前記色変換手段によって色変換された後の縮小画像データを元の画像データサイズに復元する画像サイズ復元手段と、前記低域周波数成分値を除外した状態で、前記圧縮符号化された画像データの周波数成分値に対して逆周波数変換を施すことによって画像データを生成する第２の画像データ生成手段と、前記画像サイズ復元手段によって得られた画像データと前記第２の画像データ生成手段によって得られた画像データとを合成して、前記圧縮符号化された画像データの復号画像を生成する手段とを具備することを特徴とする。
【００２７】このように、圧縮符号化された画像の伸張処理を行う際にも、逆周波数変換処理を低域周波数成分側と高域周波数成分側とに分け、高域周波数成分に対しては色変換を行わず、画質に対する影響の大きい低域周波数成分に対してのみ色変換処理を施すという、伸張・色変換同時処理方式を用いることにより、色変換対象の画素数を減らすことが出来るようになり、画質を損なうことなく処理の高速化を図ることが可能となる。
【００２８】画像データの周波数成分値を低域側と高域側とに分割するための境界は予め固定的に決定しておけばよいが、さらに、高域側の周波数成分値の中に所定のしきい値よりも高レベルの周波数成分値が存在するか否かを検出し、所定のしきい値よりも高レベルの周波数成分値が存在する場合には、その周波数成分値の空間位置に応じて境界を動的に変更するという、機能を設けることが好ましい。これにより、高域周波数成分に色変換を施さないことによる色変換誤差の影響を低減でき、より高画質の画像を得ることが可能となる。
【００２９】また、階層符号化された画像データを復号する際には、解像度の異なる複数の画像データの内、高解像度の画像データから得られた復号画像データに対しては色変換を行わず、低解像度の画像データから得られた復号画像データに対してのみ色変換処理を施し、そしてそれら復号画像データを合成するという、簡単な処理のみで、画質を損なうことなく、処理の高速化を図ることができる。
【００３０】
【発明の実施の形態】以下、図面を参照して本発明の実施形態を説明する。
［第１実施形態］図１には、本発明の第１実施形態に係る画像処理装置の構成が示されている。ここでは、スキャナ１１とホストコンピュータ１２とから構成されるカラースキャナシステムを例示して説明する。カラースキャナ１１のメカ部１３で読み取られたカラー画像データは色変換圧縮モジュール１４に処理対象の原画像データとして送られ、そこで色変換処理と圧縮処理を同時に行う色変換・圧縮処理が実行される。色変換処理では、カラースキャナ１１のデバイス特性に合った色補正を行うための色変換や、人の好みに応じた画像を得るための色変換、あるいはＣＭＹ−ＲＧＢの間で色空間を変換するための色変換などが行われる。また、圧縮処理では、ＪＰＥＧなどによる圧縮方式で画像データの圧縮符号化が行われる。
【００３１】色変換圧縮モジュール１４によって得られた圧縮画像データは記録媒体や通信媒体を介してホストコンピュータ１５に送られ、そのホストコンピュータ１５内のディスク装置１５などに記録される。ディスク装置１５に記録された圧縮画像データはアプリケーションプログラムに渡され、ディスプレイやプリンタなどの出力装置に出力される。なお、色変換圧縮モジュール１４はホストコンピュータ１２側にあってもよい。
【００３２】色変換圧縮モジュール１４による色変換圧縮処理では、周波数変換（ＤＣＴ，Ｗａｖｅｌｅｔ変換等）を用いて画像を圧縮する際に、高周波成分を計算するときは入力画像の値を色変換せずに、もしくは非常に単純な変換を用い、低周波成分を計算するときにはＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）と間引きとによるサブサンプリングによって画素数を削減し、そのサブサンプリングされた縮小画像に対して色変換処理を施し、得られた画像に対して通常の計算を行う、という方式が用いられる。
【００３３】（ＪＰＥＧ）ここで、図２および図３を用いて、周波数変換（ＤＣＴ，Ｗａｖｅｌｅｔ変換等）を用いた画像圧縮処理の原理について説明する。図２はＤＣＴの基底関数（１次元８画素の場合）を示しており、また図３はＷａｖｅｌｅｔ変換の基底関数（１次元８画素の場合）と基底周波数スペクトルを示している。
【００３４】前述したように、ＪＰＥＧは多階調画像（カラー画像を含む）の圧縮方式であり、その方式の根幹として、周波数変換（直交変換）であるＤＣＴ（Ｄｅｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ，離散コサイン変換）を採用している。周波数変換は、空間的な「位置」に対するレベルの集合である原画像を、「変化の度合い」ごとのレベルの集合に変換する。すなわち、より緩やかな変化を表す「低周波成分」（図２：より左上の関数）と急峻な変化を表す「高周波成分」（図２：より右下の関数）の和に分解し、それぞれに掛ける係数の集合で表現する手法である。
【００３５】画像の圧縮に周波数変換を用いる主な理由として、次の２点がある。
【００３６】（ａ）自然画像を周波数変換すると、低周波成分に高レベルが集中し、高周波成分はほとんど０付近になるという性質がある。この性質を利用し、連続する０をランレングス的に符号化することにより、圧縮効果が得られる。
【００３７】（ｂ）人間の視覚特性として、高周波成分が欠落してもほとんど気付かないという性質がある。したがって、高周波成分は大きく量子化して情報量を削減してしまっても現実上問題にならない。また、これによって０付近の値が全て０に収束され、上記（ａ）の効果がさらに上がる。
【００３８】（階層符号化モード）ＪＰＥＧでは、画質を上げるためのオプションとして、階層化モードも定義されている。
【００３９】ＪＰＥＧでは、計算量の削減のため、画像を８ｘ８画素のブロックに分割し、各ブロックにＤＣＴをかけている。このため、圧縮率を上げると１ブロックが１画素のように見えてしまうブロックノイズが発生する。階層化モードは次の手順でこれを抑制する。
【００４０】（１）原画像に適切なＬＰＦをかけた後、縦横とも４：１でサブサンプリング（標本化）し、これによって１／１６のサイズの縮小画像を作成する。
【００４１】（２）出来上がった１／１６サイズの縮小画像を８ｘ８画素のブロックに分割し、ＤＣＴをかけて圧縮する。これによって、低解像度（４：１）の圧縮画像を得る。
【００４２】（３）１／１６のサイズの縮小画像を原サイズに復元した画像と原画像との差分画像を作り、適切なＬＰＦをかけたあと縦横とも２：１にサブサンプリングして、１／４のサイズの縮小画像を作成する。これにＤＣＴをかけて圧縮する。これによって、２：１の圧縮画像を得る。
【００４３】（４）１／４のサイズの縮小画像を原サイズに復元した画像と原画像との差分画像を作り、同様にＤＣＴをかけて圧縮する。これによって、高解像度（１：１）の圧縮画像を得る。
【００４４】以上の処理により、実質的に３２ｘ３２画素のブロックの処理ということになり、ブロックノイズが低減される。
【００４５】（Ｗａｖｅｌｅｔ変換を用いた画像圧縮）現在のＪＰＥＧではサポートされていないが、２０００年に規格化予定のＪＰＥＧ２０００では、ＤＣＴに代わってＷａｖｅｌｅｔ変換が採用される予定となっている。
【００４６】Ｗａｖｅｌｅｔ変換は、正弦波の代わりに図３（ａ）（ｂ）に示すような、空間的にも周波数的にも局在性の良い関数を選び、それらのスケーリングとシフトで構成される基底関数を用いる。
【００４７】ＤＣＴでの係数が周波数成分のみを持つのに対し、Ｗａｖｅｌｅｔ変換の係数は、低周波成分については周波数情報を多く持ち、高周波成分については空間情報（位置情報）を多く持つという特性がある。原画像、ＤＣＴ、Ｗａｖｅｌｅｔ変換の空間情報・周波数情報の分解能力を直感的に理解するための図を図４に示す。
【００４８】Ｗａｖｅｌｅｔ変換を用いると圧縮率の向上が期待できるほか、対象画素数が大きくなっても変換のための計算量がＤＣＴほどは増加しないため、明示的にブロック分割を行う必要がなくなるという効果がある。
【００４９】（色変換圧縮モジュール）次に、図１の色変換圧縮モジュール１４の構成について説明する。
【００５０】図１に示されているように、色変換圧縮モジュール１４は、低画質色変換部２１、高周波成分計算部２２、ＬＰＦ２３、サブサンプリング部２４、高画質色変換部２５、低周波成分計算部２６、合成部２７、および符号生成部２８から構成されている。色変換圧縮モジュール１４では、周波数変換処理は、高周波成分側と低周波成分側とに分けて行われる。図中、上側にある低画質色変換部２１および高周波成分計算部２２が高周波成分用の処理部である。低画質色変換部２１は必要な応じて設けられるものであり、無くてもよい。下側にあるＬＰＦ２３、サブサンプリング部２４、高画質色変換部２５、低周波成分計算部２６が高周波成分用の処理部である。
【００５１】原画像は、高周波成分を処理する部分（上部分）と低周波成分を処理する部分（下部分）に渡される。高周波成分処理部では、必要であれば非常に簡単な（すなわち計算量が少ない）色変換を低画質色変換部２１にて施した後、高周波成分計算部２２で周波数変換を施す。
【００５２】低周波成分処理部では、まずＬＰＦ（低周波通過フィルタ）２３と、サブサンプリング部２４による間引き処理とによって、原画像をサブサンプリングし、画素数の少ない縮小画像を得る。この縮小画像に対して高度な（すなわち計算量の多い）色変換を高画質色変換部２５によって施す。そして、低周波成分計算部２７にて、色変換後の縮小画像に対して周波数変換を施す。この周波数変換によって得られた値は、低域周波数成分値として合成部２７に送られる。
【００５３】合成部２７では、高周波成分計算部２２で得られた周波数成分値の中の高域側の周波数成分値と、低周波成分計算部２７で得られた低域周波数成分値とが合成され、高域および低域の双方を含む原画像の周波数成分値が求められる。そして、符号生成部２８によって量子化、可変長符号化などの処理が施されることにより、圧縮画像が生成される。
【００５４】図５には、周波数変換としてＤＣＴを使用した場合の色変換・圧縮処理の具体例が示されている。
【００５５】原画像の８ｘ８画素のブロック（１）は高周波成分処理部および低周波成分処理部にそれぞれ送られる。高周波成分処理部では、８ｘ８画素のブロック（１）に対してＤＣＴが施され、８ｘ８のＤＣＴ係数（２）が求められる。低周波成分処理部では、８ｘ８画素のブロック（１）がＬＰＦと間引きによってサブサンプリングされ、例えば４ｘ４の縮小画像（３）が作成される。４ｘ４の縮小画像（３）に対して色変換処理（４）が施され、色変換後の４ｘ４の縮小画像（５）が作成される。色変換後の４ｘ４の縮小画像（５）にはＤＣＴが施され、４ｘ４のＤＣＴ係数（６）が求められる。４ｘ４のＤＣＴ係数（６）は、８ｘ８のＤＣＴ係数（２）の内で低域周波数成分を構成する左上側の４ｘ４のＤＣＴ係数として、８ｘ８のＤＣＴ係数（２）に埋め込まれる。この合成処理によって、高域および低域の双方を含む原画像の８ｘ８のＤＣＴ係数（７）が作成される。
【００５６】以上の処理は８ｘ８画素のブロック毎に繰り返し実行される。
【００５７】このように周波数変換処理を低域周波数成分側と高域周波数成分側とに分け、高域周波数成分に対しては色変換を行わず、画質に対する影響の大きい低域周波数成分に対してのみ色変換処理を施すという、圧縮・色変換同時処理方式により、色変換対象の画素数を減らすことが出来るようになり、画質を損なうことなく処理の高速化を図ることが可能となる。
【００５８】（ＤＣＴにおける低周波成分・高周波成分分割例）図６に、ＤＣＴの場合の低周波成分と高周波成分の分割例を示す。
【００５９】８ｘ８画素のブロックをＤＣＴで変換した場合、前述したように周波数領域でも８ｘ８個の成分になる。図６の各桝目が１個の周波数成分を表し、右にあるものほど横方向に高周波、下にあるものほど縦方向に高周波の成分になる。すなわち、左上ほど低周波成分、右下ほど高周波成分を表している。
【００６０】各小図では、斜線の成分が色変換対象となる低周波成分を示している。
【００６１】図６の（ａ）（ｂ）の例は、正方形で低周波と高周波を切り分ける方法を示している。（ａ）は図５で説明した例に相当するものであり、縦横とも最高周波数の１／２以下の周波数の成分を色変換対象として選定する。これらの成分を計算する場合、前述のように、２：１のサブサンプリングによって原画像から１／４サイズの縮小画像を得て、それを色変換した後の画像をＤＣＴによって変換すればよい。この場合、ＬＰＦは縦横とも最高周波数の１／２以下の周波数を通すものを利用することが好ましい。このように２：１のサブサンプリング画像に対して色変換を施した後、周波数成分を計算してやれば、色変換に関する計算量は１／４（縦，横それぞれ１／２）で済むことになる。同様に（ｂ）では、４：１サブサンプリングが可能であり、計算量は１／１６となる。
【００６２】（ｃ）のように２の階乗でないところに境界を設けることも原理的には可能であるが、この場合のサンプリングレートは４：３であり、サンプリング処理自体に補完処理が必要になるので（ｘ＝３／４の座標の値はｘ＝１とｘ＝２の値から補完して計算する必要がある）、あまり効率は良くない。
【００６３】（ｄ）は長方形に選ぶ方法で、横方向の情報に特別な意味がある場合などに有効である。この場合の色変換計算量は縦が１／４、横が１／２、あわせて１／８となる。
【００６４】（ｅ）は三角形に選ぶ方法で、理論的な計算量は（ａ）と変わらず、画質はやや劣ることになるが、ＬＰＥＧの符号生成の際にこの順でランレングス的な符号化を行うので、実装上では有効な場合もある。
【００６５】（Ｗａｖｅｌｅｔ変換における低周波成分・高周波成分分割例）図７は、Ｗａｖｅｌｅｔ変換を用いる場合の低周波成分・高周波成分の分割例である。
【００６６】図中の実線は周波数を区切り、破線は同周波数内の空間位置を区切っている。図は８ｘ８画素の場合の成分を示しているが、Ｗａｖｅｌｅｔ変換ではブロック分割は必ずしも必要ではないので、実際に扱う係数はもっと大きな正方形または長方形となる。
【００６７】低周波成分の選び方は基本的にはＤＣＴと同じであり、正方形，長方形，三角形等が考えられる。基本的には実線部分に境界を持たせることになる。破線部分に境界を持たせるのも全く無意味ではなく、画像を部分的に高画質にしたいときに有効である。例えば（ｂ）の例では、画像の中心部分がより高画質になる。
【００６８】なお、画質については、次の２つの理由から、従来の全画素色変換よりも劣ることになる。
【００６９】（１）高周波成分に色変換を適用しないため、この分の補正誤差がでる。
【００７０】（２）サブサンプリング画像を原画像サイズに復元する際に、間の画素がＬＰＦで補完されるが、色変換自体は線形変換ではないため、正確な補正色が補完されるわけではない。例えば、色変換前の２：１サンプリング画像において隣接する画素の色が（１００，０，０）と（１１０，０，０）であり、これらの色変換後の値が（１０２，０，０）と（１１４，０，０）であると仮定した場合、復元される中間点の画素の値は提案方式では例えば（１０８，０，０）となるが、厳密には（１０５，０，０）に対する変換色が入るべきであり、それが（１０８，０，０）とは限らない。
【００７１】しかし、（１）に関しては、「高周波成分は元々値が小さい」「高周波成分の誤差は人間には知覚されにくい」という性質から、現実に問題になるほどの誤差ではなく、また（２）についても、一般的には近傍色は変換色も近傍色になるため、サンプル間の色の変化量の絶対値が大きくなければほとんど問題にならない誤差となる。
【００７２】［第２実施形態］図８には、本発明の第２実施形態に係る画像処理装置の構成が示されている。ここでは、ホストコンピュータ３１とカラープリンタ３２とから構成されるカラープリンタシステムを例示して説明する。ホストコンピュータ３１のディスク装置３３には、アプリケーションプログラムによって作成された画像や、スキャナ、カメラなどの入力装置によって入力された画像データがＪＰＥＧなどによって圧縮符号化された状態で保存されている。この圧縮画像データは記録媒体や通信媒体を介してカラープリンタ３２の色変換伸張モジュール３４に送られる。色変換伸張モジュール３４はホスト側にあっても良い。
【００７３】色変換伸張モジュール３４では、圧縮画像データに対して色変換処理と伸張処理を同時に行うという色変換・伸張処理が施される。色変換処理では、カラープリンタ３２のデバイス特性に合った色補正を行うための色変換や、人の好みに応じた画像を得るための色変換、あるいはＲＧＢ−ＣＭＹの間で色空間を変換するための色変換などが行われる。また、伸張処理ではＪＰＥＧなどによる圧縮方式で圧縮されている画像データの復号化が行われ、これによって印刷画像が作成される。この印刷画像がプリンタメカ部３５に送られて、そこでプリントアウトされる。
【００７４】色変換伸張モジュール３４による色変換伸張処理では、周波数変換を用いて圧縮された画像を伸張する際に、低周波成分を伸張するときには逆周波数変換（逆ＤＣＴ）によってサブサンプリング画像を得て、得られた画像に対して色変換処理を施し、高周波成分を伸張するときには色変換を行わない、という方式が用いられる。
【００７５】（色変換伸張モジュール）色変換伸張モジュール３４は、図示のように、復号生成部４１、高周波成分復元部４２、低周波成分復元部４３、高画質色変換部４４、画像サイズ復元部４５、および合成部４６から構成されている。
【００７６】圧縮符号化された画像データはまず復号生成部４１にて可変長復号化、逆量子化などの処理が施され、周波数成分値（ＤＣＴ係数等）に復号される。周波数成分値は、高周波復元処理部（上部分）と低周波復元処理部（下部分）にそれぞれ渡される。高周波成分復元部４２では、周波数成分値から低周波成分が除外された状態で逆周波数変換が行われ、これにより、高周波成分の周波数成分値に対応する画像が復元される。低周波成分少画像復元部４２では、まず周波数成分値の中から低周波成分のみが抽出され、その低周波成分の周波数成分値に対して逆周波数変換が行われる。これにより、画素数の少ない縮小画像が復元される。縮小画像は高画質色変換部４４にて高度な（すなわち計算量の多い）色変換が施された後、画像サイズ復元部４５に送られ、そこで適切なＬＰＦおよび補間処理を受けて原画像のサイズに復元される。
【００７７】２つの流れで作成された画像を合成部４６で合成することで、最終的な復元画像が得られる。低周波成分・高周波成分の分割方法やその効果については実施形態１と同様である。
【００７８】図９には、周波数変換としてＤＣＴを使用した場合の色変換・伸張処理の具体例が示されている。
【００７９】圧縮符号化された画像データの８ｘ８のＤＣＴ係数（１）は高周波成分処理部および低周波成分処理部にそれぞれ送られる。高周波成分処理部では、まず、８ｘ８のＤＣＴ係数（１）の中の例えば左上の４ｘ４のＤＣＴ係数を全て０に置き換えることなどによって、低周波成分を除外した８ｘ８のＤＣＴ係数（２）が生成される。低周波成分を除外した８ｘ８のＤＣＴ係数（２）に対して逆ＤＣＴを施すことにより、８ｘ８画素のブロック画像（３）が復元される。低周波成分処理部では、８ｘ８のＤＣＴ係数（１）の中から低周波成分を抽出する処理が行われ、左上の４ｘ４のＤＣＴ係数（４）のみが取り出される。４ｘ４のＤＣＴ係数（４）に対して４ｘ４の逆ＤＣＴを施すことにより、４ｘ４画素の縮小画像（５）が生成される。４ｘ４の縮小画像（５）に対して色変換処理（６）が施され、そして、その色変換後の４ｘ４の縮小画像を補間によって拡大することにより、８ｘ８画素のブロック画像（７）が復元される。８ｘ８画素のブロック画像（３）と（７）とを加算することにより、最終的な復元画像（８）が得られる。
【００８０】以上の処理は８ｘ８のＤＣＴ係数のブロック毎に繰り返し実行される。
【００８１】このように、圧縮符号化された画像の伸張処理を行う際にも、逆周波数変換処理を低域周波数成分側と高域周波数成分側とに分け、高域周波数成分に対しては色変換を行わず、画質に対する影響の大きい低域周波数成分に対してのみ色変換処理を施すという、伸張・色変換同時処理方式を用いることにより、色変換対象の画素数を減らすことが出来るようになり、画質を損なうことなく処理の高速化を図ることが可能となる。
【００８２】［第３実施形態］次に、階層化モードによって階層符号化された画像データを色変換・伸張処理する場合の方式を第３実施形態として説明する。
【００８３】この場合、図８の色変換伸張モジュール３４には、図１０のように、３つの復号・逆ＤＣＴ部５１，５２，５３と、高画質色変換部５４と、画像サイズ復元部５５と、図示しない合成部とから構成される。
【００８４】階層化モードで送受信されるデータは、図１１に示すように、複数のサンプリングレートの画像で構成される。４：１の低解像度の圧縮画像データは復号・逆ＤＣＴ部５１で復号処理され、４：１の低解像度画像に復元される。同様に、２：１の中解像度の圧縮画像データと１：１の高解像度の圧縮画像データは復号・逆ＤＣＴ部５２，５３でそれぞれ復号処理され、２：１の中解像度差分画像と１：１の高解像度差分画像に復元される。
【００８５】本方式では、サンプリング密度のより低い画像（４：１と２：１画像など）に対しては色変換を適用し、サンプリング密度の高い画像（１：１画像）に対しては適用しない。すなわち、４：１の低解像度画像についてのみ、あるいは４：１の低解像度画像と２：１の中解像度差分画像に対しては、高画質色変換部５４にて高度な色変換が施される。そして、色変換後の画像が画像サイズ復元部５５にて原画像大に復元される。これらの画像を合成部にて加算することにより、完全な復元画像を得ることができる。
【００８６】合成の手法は何通りか考えられる。２：１の中解像度画像の復元は、４：１の低解像度画像を２：１に拡大した画像と２：１の中解像度差分画像との加算によって得られる。この２：１の中解像度画像を１：１に拡大した画像と１：１の高解像度差分画像との加算によって、１：１の完全な復元画像を得ることができる。
【００８７】［第４実施形態］次に、第４実施形態として、第２実施形態の色変換伸張モジュール３４に適用されるサンプリングレート切換方式について説明する。
【００８８】この場合、図１２に示されているように、色変換伸張モジュール３４には周波数成分分割決定部６１が追加される。周波数成分分割決定部６１は、基本的には、圧縮符号化された画像データの周波数成分値を予め決められた境界で低域側と高域側とに分割するためのものであるが、本例ではその境界を処理対象の画像に合わせて変更する処理が行われる。
【００８９】すなわち、実施形態２の方式では、実施形態１と同様の手法を用いることにより低周波成分と高周波成分の分割を固定的に行っていた。高周波成分に色変換を適用しないことによって色変換誤差が生じることはすでに述べたが、高周波成分が大きいほど色誤差が大きくなる傾向がある。
【００９０】そこで、本方式では、高周波成分が大きいブロック（８ｘ８等のブロック）について色変換の対象画素数を増やす方法を取る。
【００９１】具体的な手順の例を以下に示す。
【００９２】まず、標準の低周波成分を図１３（ａ）の斜線部のように取る。他の高域周波数成分に大きなＤＣＴ係数値がなければこのまま分割し、この場合の色変換対象画像は縦横とも４：１、計算量は１／１６である。
【００９３】ここで、図１３（ｂ）の塗りつぶし域に大きな値がある場合、図１３（ｂ）の斜線領域を低周波成分と分類する。この場合の色変換対象画像は縦４：１、横２：１の画像となり、計算量は１／８となる。すなわち、大きい値を持つ成分を囲む長方形で囲むように低周波成分を選択する。図１３（ｃ）の太線で示した境界線でサンプリング間隔が変化するので、これに沿って長方形を選択しても良い。
【００９４】高周波成分の大きさの判定としては・各成分ごとにしきい値と比較する、・各部分長方形内の値の和（もしくは２乗和）としきい値を比較する、などがある。実際はカラー画像なので８ｘ８マトリックスはブロックごとに３個づつ存在するので（Ｙ，Ｃｒ，Ｃｂ）、それらの間で和を取る方法もある。
【００９５】このようにして、周波数成分分割決定部６１ではブロック毎に動的に境界位置が決定される。
【００９６】［第５実施形態］次に、第５実施形態として、第２実施形態の色変換伸張モジュール３４に適用されるサンプリングレート切換方式（Ｗａｖｅｌｅｔ）を説明する。
【００９７】図１４にサンプリングレート切換方式（Ｗａｖｅｌｅｔ変換）を適用した色変換伸張モジュール３４の構成を示す。色変換伸張モジュール３４には、第２実施形態の構成に加え、成分分割・レート決定部６２が追加される。
【００９８】成分分割・レート決定部６２による処理は基本的には実施形態４と同じで、高周波成分が大きい値を持つ場合は色変換対象領域を増やす制御を行う。Ｗａｖｅｌｅｔ変換の場合は、ＤＣＴの８ｘ８ブロック等のような固定的な空間分割は行われず、成分自体が個々に空間上のある領域に対応するため、ＤＣＴよりも柔軟な切り分けが可能になる。
【００９９】図１５は、成分分割の例を示したもので、簡単のため１次元１６画素の例を示している。
【０１００】標準の低周波部分を順斜線（／／の斜線）とし、塗りつぶし部分に大きい値の高周波成分が存在するとする。順斜線の成分は低周波復元部分に渡し、４：１のサンプリングレートで色変換を施した後、原画像サイズに復元する。さらに、塗りつぶし部分の係数とそれと同じ位置を含むより低周波よりの成分（逆斜線部分）も低周波復元部分に渡され、色変換を施し（逆斜線部分も含めて復元しないと色変換が正しく計算ができない）、当該部分を原画像サイズに復元する。この部分画像で、上で復元した低域成分の画像の該当部分を置きかえる。図１５の例では、左から１１番目，１２番目の画素を置きかえる。（実際にはＷａｖｅｌｅｔの基底関数の選び方によって該当部分の範囲は異なる。）他の部分（白部分）は高周波復元部分に渡し、色変換を施さない。
【０１０１】このように、大きい値の高周波成分が存在する場合には、それに対応する空間位置の周波数成分値についても色変換対象に含めるように境界を変更することにより、重要な部分については高い精度の色変換を施すことができる。
【０１０２】なお、以上の各実施形態で説明した色変換・圧縮処理、色変換・伸張処理はハードウェア／ソフトウェアのどちらで実現することもできる。ソフトウェアで実現した場合、その処理手順はブロック図で説明した処理の流れに対応することになる。また、色変換のパラメータはデバイスの特性に合わせて予め決定しておけばよいが、ユーザからの操作に応じてそのパラメータを変更できるように機能を持たせておくことにより、ユーザの好みに応じた色変換を行うことが可能となる。
【０１０３】
【発明の効果】以上説明したように、本発明によれば、画像の圧縮・伸張処理と色変換処理を同時に行うことにより、著しく画質を損なうことなく色変換対象の画素数を削減できるようになり、非常に高速な処理を実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る画像処理装置の構成例を示すブロック図。
【図２】同実施形態の画像処理装置で使用されるＤＣＴの基底関数を説明するための図。
【図３】同実施形態の画像処理装置で使用されるＷａｖｅｌｅｔ変換の基底関数を説明するための図。
【図４】同実施形態の画像処理装置で使用されるＷａｖｅｌｅｔ変換の特徴を説明するための図。
【図５】同実施形態の画像処理装置における色変換・圧縮処理の手順を説明するための図。
【図６】同実施形態の画像処理装置における低周波成分と高周波成分の第１の分割例を示す図。
【図７】同実施形態の画像処理装置における低周波成分と高周波成分の第２の分割例を示す図。
【図８】本発明の第２実施形態に係る画像処理装置の構成例を示すブロック図。
【図９】同実施形態の画像処理装置における色変換・伸張処理の手順を説明するための図。
【図１０】本発明の第３実施形態に係る画像処理装置の構成例を示すブロック図。
【図１１】同実施形態で伸張処理の対象となる階層符号化された画像データの構造を示す図。
【図１２】本発明の第４実施形態に係る画像処理装置の構成例を示すブロック図。
【図１３】同実施形態における低周波／高周波境界決定処理方式を説明するための図。
【図１４】本発明の第５実施形態に係る画像処理装置の構成例を示すブロック図。
【図１５】同実施形態における低周波／高周波境界決定処理方式を説明するための図。
【符号の説明】
１４…色変換圧縮モジュール
２１…低画質色変換部
２２…高周波成分計算部
２３…ＬＰＦ
２４…サブサンプリング部
２５…高画質色変換部
２６…低周波成分計算部
２７…合成部
２８…符号生成部
３４…色変換伸張モジュール
４１…復号生成部
４２…高周波成分復元部
４３…低周波成分少画素復元部
４４…高画質色変換部
４５…画像サイズ復元部
４６…合成部
【特許請求の範囲】
【請求項１】 周波数変換を用いて画像データを圧縮符号化する画像処理装置において、原画像データをサブサンプリングして縮小画像データを作成する縮小画像作成手段と、前記縮小画像作成手段によって得られた縮小画像データを色変換する色変換手段と、前記色変換手段によって色変換された後の縮小画像データに対して周波数変換を施し、その変換結果を前記原画像データの低域周波数成分値として求める第１の周波数変換手段と、前記原画像データに対して周波数変換を施し、その変換結果を用いて前記原画像データの高域周波数成分値を求める第２の周波数変換手段と、前記第１の周波数変換手段によって求められた低域周波数成分値と前記第２の周波数変換手段によって求められた高域周波数成分値とを合成して、前記原画像データの周波数成分値を生成する手段とを具備することを特徴とする画像処理装置。
【請求項２】 前記縮小画像作成手段は、低域通過型フィルタと間引き処理によって原画像データをサブサンプリングすることを特徴とする請求項１記載の画像処理装置。
【請求項３】 周波数変換を用いて圧縮符号化された画像データを復号する画像処理装置において、前記圧縮符号化された画像データを復号して、その周波数成分値を求める手段と、前記圧縮符号化された画像データの周波数成分値の中から低域周波数成分値を抽出し、その抽出した低域周波数成分値に対して逆周波数変換を施すことによって縮小画像データを生成する第１の画像データ生成手段と、前記第１の画像データ生成手段によって得られた縮小画像データを色変換する色変換手段と、前記色変換手段によって色変換された後の縮小画像データを元の画像データサイズに復元する画像サイズ復元手段と、前記低域周波数成分値を除外した状態で、前記圧縮符号化された画像データの周波数成分値に対して逆周波数変換を施すことによって画像データを生成する第２の画像データ生成手段と、前記画像サイズ復元手段によって得られた画像データと前記第２の画像データ生成手段によって得られた画像データとを合成して、前記圧縮符号化された画像データの復号画像を生成する手段とを具備することを特徴とする画像処理装置。
【請求項４】 前記圧縮符号化された画像データの周波数成分値を予め決められた境界で低域側と高域側とに分割するための分割手段をさらに具備し、前記分割手段は、高域側の周波数成分値の中に所定のしきい値よりも高レベルの周波数成分値が存在するか否かを検出する手段と、前記所定のしきい値よりも高レベルの周波数成分値が存在する場合には、その周波数成分値の空間位置に応じて、前記周波数成分値を低域側と高域側とに分割するための境界を変更する手段とを含むことを特徴とする請求項４記載の画像処理装置。
【請求項５】 階層符号化された画像データを復号する画像処理装置において、前記階層符号化された画像データに含まれる、解像度の異なる複数の画像データそれぞれに対して復号処理を施す手段と、前記解像度の異なる複数の画像データの内、低解像度の画像データから得られた復号画像データに対してのみ色変換処理を施す色変換手段と、前記色変換手段によって色変換された後の復号画像データを元の画像データサイズに復元する画像サイズ復元手段と、前記解像度の異なる複数の画像データの内、高解像度の画像データから得られた復号画像データと、前記画像サイズ復元手段によって得られた復号画像データとを合成することによって、前記階層符号化された画像データの復号画像を生成する手段とを具備することを特徴とする画像処理装置。
【請求項６】 画像データを圧縮符号化する画像処理方法において、原画像データをサブサンプリングして縮小画像データを作成する縮小画像作成ステップと、前記縮小画像作成ステップによって得られた縮小画像データを色変換する色変換ステップと、前記色変換ステップによって色変換された後の縮小画像データに対して周波数変換を施し、その変換結果を前記原画像データの低域周波数成分値として求める第１の周波数変換ステップと、前記原画像データに対して周波数変換を施し、その変換結果を用いて前記原画像データの高域周波数成分値を求める第２の周波数変換ステップと、前記第１の周波数変換ステップによって求められた低域周波数成分値と前記第２の周波数変換ステップによって求められた高域周波数成分値とを合成して、前記原画像データの周波数成分値を生成するステップとを具備することを特徴とする画像処理方法。
【請求項７】 圧縮符号化された画像データを復号する画像処理方法において、前記圧縮符号化された画像データを復号して、その周波数成分値を求めるステップと、前記圧縮符号化された画像データの周波数成分値の中から低域周波数成分値を抽出し、その抽出した低域周波数成分値に対して逆周波数変換を施すことによって縮小画像データを生成する第１の画像データ生成ステップと、前記第１の画像データ生成手段によって得られた縮小画像データを色変換する色変換ステップと、前記色変換手段によって色変換された後の縮小画像データを元の画像データサイズに復元する画像サイズ復元ステップと、前記低域周波数成分値を除外した状態で、前記圧縮符号化された画像データの周波数成分値に対して逆周波数変換を施すことによって画像データを生成する第２の画像データ生成ステップと、前記画像サイズ復元ステップによって得られた画像データと前記第２の画像データ生成ステップによって得られた画像データとを合成して、前記圧縮符号化された画像データの復号画像を生成するステップとを具備することを特徴とする画像処理方法。
【請求項８】 前記圧縮符号化された画像データの周波数成分値を予め決められた境界で低域側と高域側とに分割するための分割ステップをさらに具備し、前記分割ステップは、高域側の周波数成分値の中に所定のしきい値よりも高レベルの周波数成分値が存在するか否かを検出し、前記所定のしきい値よりも高レベルの周波数成分値が存在する場合には、その周波数成分値の空間位置に応じて、前記周波数成分値を低域側と高域側とに分割するための境界を変更することを特徴とする請求項７記載の画像処理方法。
【請求項９】 階層符号化された画像データを復号する画像処理方法において、前記階層符号化された画像データに含まれる、解像度の異なる複数の画像データそれぞれに対して復号処理を施すステップと、前記解像度の異なる複数の画像データの内、低解像度の画像データから得られた復号画像データに対してのみ色変換処理を施す色変換ステップと、前記色変換ステップによって色変換された後の復号画像データを元の画像データサイズに復元する画像サイズ復元ステップと、前記解像度の異なる複数の画像データの内、高解像度の画像データから得られた復号画像データと、前記画像サイズ復元ステップによって得られた復号画像データとを合成することによって、前記階層符号化された画像データの復号画像を生成するステップとを具備することを特徴とする画像処理方法。
【請求項１】 周波数変換を用いて画像データを圧縮符号化する画像処理装置において、原画像データをサブサンプリングして縮小画像データを作成する縮小画像作成手段と、前記縮小画像作成手段によって得られた縮小画像データを色変換する色変換手段と、前記色変換手段によって色変換された後の縮小画像データに対して周波数変換を施し、その変換結果を前記原画像データの低域周波数成分値として求める第１の周波数変換手段と、前記原画像データに対して周波数変換を施し、その変換結果を用いて前記原画像データの高域周波数成分値を求める第２の周波数変換手段と、前記第１の周波数変換手段によって求められた低域周波数成分値と前記第２の周波数変換手段によって求められた高域周波数成分値とを合成して、前記原画像データの周波数成分値を生成する手段とを具備することを特徴とする画像処理装置。
【請求項２】 前記縮小画像作成手段は、低域通過型フィルタと間引き処理によって原画像データをサブサンプリングすることを特徴とする請求項１記載の画像処理装置。
【請求項３】 周波数変換を用いて圧縮符号化された画像データを復号する画像処理装置において、前記圧縮符号化された画像データを復号して、その周波数成分値を求める手段と、前記圧縮符号化された画像データの周波数成分値の中から低域周波数成分値を抽出し、その抽出した低域周波数成分値に対して逆周波数変換を施すことによって縮小画像データを生成する第１の画像データ生成手段と、前記第１の画像データ生成手段によって得られた縮小画像データを色変換する色変換手段と、前記色変換手段によって色変換された後の縮小画像データを元の画像データサイズに復元する画像サイズ復元手段と、前記低域周波数成分値を除外した状態で、前記圧縮符号化された画像データの周波数成分値に対して逆周波数変換を施すことによって画像データを生成する第２の画像データ生成手段と、前記画像サイズ復元手段によって得られた画像データと前記第２の画像データ生成手段によって得られた画像データとを合成して、前記圧縮符号化された画像データの復号画像を生成する手段とを具備することを特徴とする画像処理装置。
【請求項４】 前記圧縮符号化された画像データの周波数成分値を予め決められた境界で低域側と高域側とに分割するための分割手段をさらに具備し、前記分割手段は、高域側の周波数成分値の中に所定のしきい値よりも高レベルの周波数成分値が存在するか否かを検出する手段と、前記所定のしきい値よりも高レベルの周波数成分値が存在する場合には、その周波数成分値の空間位置に応じて、前記周波数成分値を低域側と高域側とに分割するための境界を変更する手段とを含むことを特徴とする請求項４記載の画像処理装置。
【請求項５】 階層符号化された画像データを復号する画像処理装置において、前記階層符号化された画像データに含まれる、解像度の異なる複数の画像データそれぞれに対して復号処理を施す手段と、前記解像度の異なる複数の画像データの内、低解像度の画像データから得られた復号画像データに対してのみ色変換処理を施す色変換手段と、前記色変換手段によって色変換された後の復号画像データを元の画像データサイズに復元する画像サイズ復元手段と、前記解像度の異なる複数の画像データの内、高解像度の画像データから得られた復号画像データと、前記画像サイズ復元手段によって得られた復号画像データとを合成することによって、前記階層符号化された画像データの復号画像を生成する手段とを具備することを特徴とする画像処理装置。
【請求項６】 画像データを圧縮符号化する画像処理方法において、原画像データをサブサンプリングして縮小画像データを作成する縮小画像作成ステップと、前記縮小画像作成ステップによって得られた縮小画像データを色変換する色変換ステップと、前記色変換ステップによって色変換された後の縮小画像データに対して周波数変換を施し、その変換結果を前記原画像データの低域周波数成分値として求める第１の周波数変換ステップと、前記原画像データに対して周波数変換を施し、その変換結果を用いて前記原画像データの高域周波数成分値を求める第２の周波数変換ステップと、前記第１の周波数変換ステップによって求められた低域周波数成分値と前記第２の周波数変換ステップによって求められた高域周波数成分値とを合成して、前記原画像データの周波数成分値を生成するステップとを具備することを特徴とする画像処理方法。
【請求項７】 圧縮符号化された画像データを復号する画像処理方法において、前記圧縮符号化された画像データを復号して、その周波数成分値を求めるステップと、前記圧縮符号化された画像データの周波数成分値の中から低域周波数成分値を抽出し、その抽出した低域周波数成分値に対して逆周波数変換を施すことによって縮小画像データを生成する第１の画像データ生成ステップと、前記第１の画像データ生成手段によって得られた縮小画像データを色変換する色変換ステップと、前記色変換手段によって色変換された後の縮小画像データを元の画像データサイズに復元する画像サイズ復元ステップと、前記低域周波数成分値を除外した状態で、前記圧縮符号化された画像データの周波数成分値に対して逆周波数変換を施すことによって画像データを生成する第２の画像データ生成ステップと、前記画像サイズ復元ステップによって得られた画像データと前記第２の画像データ生成ステップによって得られた画像データとを合成して、前記圧縮符号化された画像データの復号画像を生成するステップとを具備することを特徴とする画像処理方法。
【請求項８】 前記圧縮符号化された画像データの周波数成分値を予め決められた境界で低域側と高域側とに分割するための分割ステップをさらに具備し、前記分割ステップは、高域側の周波数成分値の中に所定のしきい値よりも高レベルの周波数成分値が存在するか否かを検出し、前記所定のしきい値よりも高レベルの周波数成分値が存在する場合には、その周波数成分値の空間位置に応じて、前記周波数成分値を低域側と高域側とに分割するための境界を変更することを特徴とする請求項７記載の画像処理方法。
【請求項９】 階層符号化された画像データを復号する画像処理方法において、前記階層符号化された画像データに含まれる、解像度の異なる複数の画像データそれぞれに対して復号処理を施すステップと、前記解像度の異なる複数の画像データの内、低解像度の画像データから得られた復号画像データに対してのみ色変換処理を施す色変換ステップと、前記色変換ステップによって色変換された後の復号画像データを元の画像データサイズに復元する画像サイズ復元ステップと、前記解像度の異なる複数の画像データの内、高解像度の画像データから得られた復号画像データと、前記画像サイズ復元ステップによって得られた復号画像データとを合成することによって、前記階層符号化された画像データの復号画像を生成するステップとを具備することを特徴とする画像処理方法。
【図１２】
【図１３】
【図１】
【図２】
【図５】
【図７】
【図１１】
【図１５】
【図３】
【図４】
【図６】
【図１０】
【図１４】
【図８】
【図９】
【図１３】
【図１】
【図２】
【図５】
【図７】
【図１１】
【図１５】
【図３】
【図４】
【図６】
【図１０】
【図１４】
【図８】
【図９】
【公開番号】特開２００１−８６３４５（Ｐ２００１−８６３４５Ａ）
【公開日】平成１３年３月３０日（２００１．３．３０）
【国際特許分類】
【出願番号】特願平１１−２５７７０４
【出願日】平成１１年９月１０日（１９９９．９．１０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成１３年３月３０日（２００１．３．３０）
【国際特許分類】
【出願日】平成１１年９月１０日（１９９９．９．１０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]