圧縮符号化装置、および復号装置
【課題】ライン単位で画像処理を行う画像処理デバイスに非可逆圧縮符号化データと可逆圧縮符号化データの両方のデコードを行わせることを可能にする。
【解決手段】ＲＧＢ形式の画像データをＹＣｂＣｒ形式の画像データに変換し、そのＣｂ成分の画像データおよびＣｒ成分の画像データに対して一定の割合で画素を間引く縮小処理と当該縮小処理にて間引かれなかった画素で当該縮小処理にて間引かれた画素を補間する拡張処理、および何れかの成分の画像データの構成ビット数を削減する量子化処理からなる非可逆変換処理を施す。そして、Ｙ成分、Ｃｂ成分およびＣｒ成分の画像データの各々に対して、処理対象画素をラスタスキャン順に１画素ずつ選択し、予測符号化処理と可変長符号化処理とを組み合わせた可逆圧縮符号化処理を行って非可逆圧縮データを生成する。
【解決手段】ＲＧＢ形式の画像データをＹＣｂＣｒ形式の画像データに変換し、そのＣｂ成分の画像データおよびＣｒ成分の画像データに対して一定の割合で画素を間引く縮小処理と当該縮小処理にて間引かれなかった画素で当該縮小処理にて間引かれた画素を補間する拡張処理、および何れかの成分の画像データの構成ビット数を削減する量子化処理からなる非可逆変換処理を施す。そして、Ｙ成分、Ｃｂ成分およびＣｒ成分の画像データの各々に対して、処理対象画素をラスタスキャン順に１画素ずつ選択し、予測符号化処理と可変長符号化処理とを組み合わせた可逆圧縮符号化処理を行って非可逆圧縮データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを圧縮符号化する技術に関する。
【背景技術】
【０００２】
ゲーム機などに用いられる画像処理デバイスの一例としてラインバッファ方式の画像処理ＬＳＩ（Large Scale Integration）が挙げられる。この種の画像処理ＬＳＩでは、ゲームキャラクタなどのスプライト画像を表す画像データが予め格納されたスプライトパターンメモリから、ゲームの進行に合わせて画像データを読み出し、拡大や縮小、回転などの編集を施してライン（水平走査線）単位でバッファ（以下、ラインバッファ）に書き込み、そのラインバッファの格納内容に応じた画像をＬＣＤ（Liquid Crystal Display）などの表示装置に順次表示させる、といった処理が行われる。
【０００３】
この種の画像処理ＬＳＩの商品価値はスプライト描画性能（各ラインにて表示可能なスプライト画像の総ドット数）によって大きく左右される。各ラインにて表示可能なスプライト画像の総ドット数は、単位時間当たりに画像処理ＬＳＩで処理可能な画像データのデータ量に依存するので、画像処理ＬＳＩのスプライト描画性能はスプライトパターンメモリとの間のデータ転送量に一部依存することとなる。しかし、現状ではスプライトパターンメモリと画像処理ＬＳＩとの間のデータ転送量には限界があり、充分なスプライト描画性能を得られないことが多い。そこで、このようなデータ転送量の限界があることを前提として充分なスプライト描画性能を得られるようにするために、スプライトの画像データに圧縮符号化（例えば、フレーム単位での圧縮符号化）を施してスプライトパターンメモリに格納し、スプライト１つ当たりのデータ転送量を削減することが行われている。
【０００４】
画像データの圧縮符号化技術は、可逆圧縮符号化技術と非可逆圧縮符号化技術とに大別される。可逆圧縮符号化技術の一例としては予測符号化とハフマン符号化などの可変長符号化とを併用したものが挙げられ、非可逆圧縮符号化技術の一例としては直交変換を利用したものが挙げられる。可逆圧縮符号化技術には、高い圧縮率は得られないものの、圧縮符号化前の画像データを完全に復元することができるといった特徴があり、逆に、非可逆圧縮符号化技術には、元の画像データを完全には復元できないものの、高い圧縮率が得られる、といった特徴がある。一般にゲーム機などに組み込まれる画像処理ＬＳＩにおいては、可逆圧縮符号化技術が採用されることが多い。これは、ゲームキャラクタはグラフィックデザイナ等によってデザインされたデザイン性の高いものが多く、元の画像データを完全に復元することが望まれる場合が多いからである。
【先行技術文献】
【非特許文献】
【０００５】
【特許文献１】特開平４−１７５０６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来、この種の画像処理デバイスは静止画の表示に用いられることが一般的であったが、近年では、静止画を利用した簡単な動画の表示にも利用したいといったニーズが高まっている。このように静止画を利用して動画を表現する場合、画像に動きがあるため、多少画質が劣化したとしても人の目では殆ど感知することができない。したがって、静止画を用いて表現される動画の場合、外部メモリ容量及びデータ転送量を削減するという観点からは非可逆圧縮符号化アルゴリズムを用いることが好ましい場合も多い。そこで、可逆圧縮符号化された画像データ（例えば、静止画の画像データ）と非可逆圧縮符号化された画像データ（例えば、動画を表現するための静止画の画像データ）の両方のデコードを行えるような画像処理デバイス（或いは、そのような画像処理デバイスにおける画像処理アルゴリズム）を創出することができれば、市場における商品価値も非常に高いものとなると考えられる。従来、フレーム単位で画像処理を行う画像処理アルゴリズムにおいては、可逆圧縮符号化および非可逆圧縮符号化の両者に対応するものもあったが、ライン単位で画像処理を行う画像処理アルゴリズムにおいては、このようなものはなかった。
本発明は、上記課題に鑑みて為されたものであり、ライン単位で画像処理を行う画像処理デバイスに非可逆圧縮符号化データと可逆圧縮符号化データの両方のデコードを行わせることを可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明は、画像を構成する複数の画素の各々の第１色成分〜第３色成分を示す各画素データを取得し、各画素について前記各色成分の画素データの一次結合で表される３種類の新たな画素データを生成する座標変換手段と、前記座標変換手段により得られる３種類の画素データを受け取り、それら画素データのうちの少なくとも１種類に対して、一定の割合で画素データを間引く縮小処理、および当該縮小処理にて間引かれなかった画素データで当該縮小処理にて間引かれた画素データを補間する拡張処理を施して出力する非可逆変換手段と、前記非可逆変換手段より出力される前記３種類の画素データの各々について、ラスタスキャン順に１つずつ処理対象画素を選択し、当該処理対象画素についての画素データの予測値を当該処理対象画素の近傍に位置する周辺画素の画素データから算出し当該予測値と実際の画素データとの差分である予測誤差を算出する予測符号化処理と当該予測誤差を可変長符号化する可変長符号化処理とを施して圧縮符号化データに変換する可逆圧縮符号化手段とを具備することを特徴とする圧縮符号化装置を提供する。なお、本発明の別の態様においては、コンピュータを上記各手段として機能させることを特徴とする圧縮符号化プログラムを提供しても良い。
【０００８】
このような圧縮符号化装置または圧縮符号化プログラムによって行われる演算のうち、予測符号化処理と可変長符号化処理とを組み合わせた可逆圧縮符号化処理では、前述したように圧縮符号化前の画像データを完全に復元することができる可逆圧縮符号化データが生成される。しかし、可逆圧縮符号化処理の前段で行われる画素の間引きおよび補間は非可逆演算であるため、本発明に係る圧縮符号化装置またはプログラムによる画像データの圧縮符号化全体としては非可逆圧縮符号化である。このような非可逆圧縮符号化により得られた圧縮符号化データの復号化については、以下の手順で行えば良い。すなわち、当該非可逆圧縮符号化データに対して可変長符号化処理の逆演算である可変長復号化処理、予測符号化処理の逆演算である逆予測符号化処理、座標変換処理の逆演算である逆座標変換処理を順次施して第１色成分から第３色成分の各画素データを復元すれば良い。
【０００９】
ここで注目すべき点は、本発明に係る圧縮符号化装置または圧縮符号化プログラムによって行われる画像データの圧縮符号化処理を構成する演算のうちの可逆圧縮符号化処理は、従来のラインバッファ方式の画像処理デバイスにおける可逆圧縮符号化処理と共通するという点である。このため、本発明によれば、非可逆圧縮符号化データと可逆圧縮符号化データの両者のデコードを以下の要領で１つの画像処理デバイスに行わせることが可能になる。まず、スプライトパターンメモリには、予測符号化処理と可変長符号化処理とを併用した可逆圧縮符号化処理により得られた可逆圧縮符号化データと本発明に係る圧縮符号化装置により得られる非可逆圧縮符号化データの各々を格納しておく。そして、これらの圧縮符号化データのデコードを行う画像処理デバイスには以下の処理を行わせるのである。すなわち、スプライトパターンメモリから読み出した圧縮符号化データが可逆圧縮符号化データである場合には、従来と同様に可変長復号化処理と逆予測符号化処理とを順次行ってそのデコードを行う。これに対して、非可逆圧縮符号化データである場合には、可変長復号化処理、逆予測符号化処理、および逆座標変換処理を順次行って第１色成分から第３色成分の各画像データを復元するのである。なお、特許文献１には、直交変換と量子化と符号化とを併用した非可逆圧縮符号化技術において、圧縮符号化対象の画像を表す原画像信号に直交変換、量子化、逆量子化および逆直交変換を施して得られる画像信号（以下、準原画像信号）と上記原画像信号との差が小さい場合に、原画像信号に代えて準原画像信号を非可逆圧縮符号化し、この非可逆圧縮符号化による画質の劣化を最小限に抑える技術が開示されている。しかし、この特許文献１に開示された技術は、非可逆圧縮符号化データと可逆圧縮符号化データの両方のデコードを一つの装置で実現するものではない。
【００１０】
より好ましい態様においては、前記非可逆変換手段は、水平走査線方向に並んだ複数の画素についての前記予測誤差が少なくとも１つおきにゼロ（０）となるように前記縮小処理および前記拡張処理を実行することを特徴とする。詳細については後述するが、このような態様によれば、予測符号化処理にて予測誤差が連続して０となる可能性が高くなる。可変長符号化処理にてゼロランレングス符号化を採用するような態様においては、０となる予測誤差の連続数が大きくなるほど画像データの圧縮率を更に高めることが可能になる。
【００１１】
また、別の好ましい態様においては、前記非可逆変換手段は、前記縮小処理および前記拡張処理を施した画素データと前記縮小処理および前記拡張処理を施さなかった画素データの少なくとも１種類に対してビット数を削減する量子化処理を更に施すとともに、当該量子化処理を施した画素データの種類および削減したビット数を示す量子化モード信号を出力することを特徴とする。このような量子化処理を施すことによって、画像データの圧縮率を更に高めることが可能になる。なお、このような態様の圧縮符号化装置により圧縮符号化された圧縮符号化データを復号する復号装置の構成としては、以下のものが考えられる。すなわち、上記圧縮符号化データと前記量子化モード信号とを取得する取得手段と、前記取得手段により取得された圧縮符号化データに前記可変長符号化処理の逆演算である可変長復号化処理と前記予測符号化処理の逆演算である逆予測符号化処理とを施し、圧縮符号化前の前記３種類の画素データを復号する可逆復号手段と、前記可逆復号手段により得られた前記３種類の画素データのうち前記量子化モード信号の示す種類のものに対して、当該量子化モード信号の示すビット数分だけビット数を補間する逆量子処理を施して出力する逆量子化手段と、前記逆量子化手段による処理を経た前記３種類の画素データに対して、前記座標変換手段における演算の逆演算を施して第１色成分〜第３色成分を示す各画素データを復元する逆座標変換手段とを有することを特徴とする復号装置、である。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態である圧縮符号化装置１００および復号装置２００を含む画像データの圧縮符号化伝送システムの一例を示す図である。
【図２】同圧縮符号化装置１００が実行する縮小処理１３１における画素の間引き、および拡張処理１３２における画素の補完について説明するための図である。
【図３】同圧縮符号化装置１００が実行する予測符号化処理１４１の内容を示す図である。
【図４】同予測符号化処理１４１にて算出される予測誤差の一例を示す図である。
【図５】同圧縮符号化装置１００が実行する予測誤差変換処理１４２の内容を示す図である。
【図６】予測誤差の構成ビット数（符号ビットを除く）が６ビットである場合を例に予測誤差変換処理１４２の処理内容を詳細に示す図である。
【図７】同圧縮符号化装置１００が実行する可変長符号化処理１４３にて使用される変換テーブルを示す図である。
【図８】本実施形態の効果を説明するための図である。
【図９】本発明の一実施形態である画像処理ＬＳＩ３００の構成例を示す図である。
【図１０】圧縮符号化情報の一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照しつつ本発明の実施形態について説明する。
図１は、本発明の一実施形態である圧縮符号化装置１００と復号装置２００とを含み、画像データの非可逆圧縮符号化伝送を行うシステムの構成例を示す図である。圧縮符号化装置１００は、入力された画像データに非可逆圧縮符号化を施して非可逆圧縮符号化データを生成する。ここで、画像データとは、画像を構成する複数の画素の各々の色を第１色成分から第３色成分（本実施形態では、Ｒ、ＧおよびＢの３つの色成分）の強度で表す画素データの集合体であり、本実施形態では、各色成分の強度を０から２５５の値（すなわち、８ビットのデータ：したがって、1画素あたり３×８＝２４ビットのデータ）で表現するものが用いられる。図１に示すシステムにおいては、圧縮符号化装置１００により生成される非可逆圧縮符号化データをＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などの記録媒体に書き込んで配布したり、インターネットなどの電気通信回線経由のダウンロードで配布したりすることで画像データの非可逆圧縮符号化伝送が実現される。図１の復号装置２００は、上記のようにして伝送される非可逆圧縮符号化データに復号化を施し、画像データを復元する装置である。
【００１４】
まず、圧縮符号化装置１００について説明する。
図１の圧縮符号化装置１００は、例えばＤＳＰ（Digital Signal Processor）などのコンピュータである。この圧縮符号化装置１００には、本実施形態の非可逆圧縮符号化処理をコンピュータに実行させるプログラム（以下、非可逆圧縮符号化プログラム）が予めインストールされている。圧縮符号化装置１００は、この非可逆圧縮符号化プログラムにしたがって、本実施形態の特徴を顕著に示す非可逆圧縮符号化処理を実行する。図１に示すように、この非可逆圧縮符号化処理は、色成分分離処理１１０、座標変換処理１２０、非可逆変換処理１３０、および、可逆圧縮符号化処理１４０を含んでいる。なお、本実施形態では、これら各処理をソフトウェアで実現するが、色成分分離処理１１０を実行する色成分分離手段、座標変換処理１２０を実行する座標変換手段、非可逆変換処理１３０を実行する非可逆変換手段、および可逆圧縮符号化処理１４０を実行する可逆圧縮符号化手段の各々を電子回路で構成し、これら各手段を組み合わせて圧縮符号化装置１００を構成しても勿論良い。
【００１５】
色成分分離処理１１０は、圧縮符号化装置１００による圧縮符号化の対象となる画像データ（以下、原画像データ）をＲ、ＧおよびＢの各色成分の画像データに分離する処理である。Ｒ成分の画像データとは、原画像データの表す画像（以下、原画像）を構成する各画素のＲ成分の強度を表す8ビットの画素データの集合体であり、Ｇ成分の画像データは、原画像を構成する各画素のＧ成分の強度を表す8ビットの画素データの集合体、Ｂ成分の画像データは、原画像を構成する各画素のＢ成分の強度を表す8ビットの画素データの集合体である。
【００１６】
本実施形態の座標変換処理１２０は、ＲＧＢ表色系の画像データからＹＣｂＣｒ表色系の画像データへの変換（すなわち、色空間の変換）処理である。この座標変換処理１２０では、Ｒ成分、Ｇ成分およびＢ成分の各画像データから、以下の式（１）にしたがってＹ成分、Ｃｂ成分およびＣｒ成分の画像データが生成される。なお、以下の式（１）において、Ｒ，ＧおよびＢの各々は、Ｒ成分、Ｇ成分およびＢ成分の各画素データであり、Ｙ，ＣｂおよびＣｒの各々は、Ｙ成分、Ｃｂ成分およびＣｒ成分の各画素データである。このような変換を行う理由については後に明らかにする。
Ｙ ＝ ０．２５７×Ｒ＋０．５０４×Ｇ＋０．０９８×Ｂ＋１６
Ｃｂ＝−０．１４８×Ｒ−０．２９１×Ｇ＋０．４３９×Ｂ＋１２８
Ｃｒ＝ ０．４３９×Ｒ−０．３６８×Ｇ−０．０７１×Ｂ＋１２８
・・・（１）
【００１７】
非可逆変換処理１３０は、可逆圧縮符号化処理１４０における圧縮率を高めるためにその前段で行われる処理である。図１に示すように、非可逆変換処理１３０は、縮小処理１３１、拡張処理１３２、および量子化処理１３３を含んでいる。
図１に示すように、縮小処理１３１および拡張処理１３２においては、座標変換処理１２０により生成される３種類の新たな画像データのうちＣｂ成分およびＣｒ成分の画像データのみが処理対象となる。縮小処理１３１は、図２（Ａ）に示すように、Ｃｂ成分およびＣｒ成分の画像データを２×２画素のマトリクス状に区分けし、各マトリクスにて左上隅の画素に対応する画素データを除く３つの画素データを削除する処理（すなわち、４画素当たり３画素の割合で画素を間引く処理）である。一方、拡張処理１３２は、図２（Ｂ）に示すように、縮小処理１３１にて間引かれなかった画素データ（上記２×２画素のマトリクスにて左上隅に位置する画素の画素データ）を用いて上記間引いた画素データを補間する処理である。ここで注目すべき点は、画像データの圧縮率を向上させるという観点から言えば、図２（Ａ）に示すＹＣｂＣｒ４１１形式の画像データを圧縮符号化する場合のほうが、図２（Ｂ）に示すＹＣｂＣｒ４４４形式の画像データを圧縮符号化する場合に比較して圧縮率が高くなるにも関わらず拡張処理１３２を行ってＹＣｂＣｒ４１１形式の画像データをＹＣｂＣｒ４４４形式の画像データに変換している点である。このような変換を行う理由については、復号装置２００における処理の説明にて明らかにする。なお、非可逆変換処理１３０においてＹ成分の画像データに対して縮小処理１３１および拡張処理１３２を施さないのは、Ｙ成分の画像データは各画素の輝度を表すものであり、画素データの間引きを行ってしまうと画質の劣化が顕著に現れるからである。また、本実施形態にてＲＧＢ表色系の画像データを座標変換処理１２０によりＹＣｂＣｒ表色系の画像データに変換した後に非可逆変換処理１３０を施すようにしたのも、上記縮小処理１３１、拡張処理１３２および量子化処理１３３による画質の劣化を回避するためである。
【００１８】
量子化処理１３３は、Ｙ成分、Ｃｂ成分およびＣｒ成分の画像データの何れか、或いは全てを処理対象とし、処理対象の画像データを構成する各画素データのビット数を削減する処理である。表１は量子化処理１３３にて参照される量子化モードテーブルの一例を示すものである。この量子化モードテーブルについては、非可逆圧縮符号化プログラムに予め埋め込んでおいても良く、また、非可逆圧縮符号化プログラムとは別個に圧縮符号化装置１００に記憶させておいても良い。表１に示すように量子化モードテーブルには、量子化モードを示すモード値（本実施形態では、０〜６までの６種類の値、なお、モード値＝０は量子化処理１３３を施さないことを示す）に対応付けてそのモード値の示す量子化モードにおける各成分の削減ビット数を規定する量子化係数（表１では、Ｙ成分量子化係数、Ｃｂ成分量子化係数およびＣｒ成分量子化係数）が格納されている。量子化処理１３３では、予め設定されたモード値（或いは、外部から与えられる量子化モード信号の示すモード値）に対応する量子化係数が量子化モードテーブルから読み出され、その量子化係数に応じたビット数分の右論理シフトを該当する成分の画素データに施すことで、そのモード値に応じた量子化が実現される。
【表１】
【００１９】
例えば、モード値＝１が予め設定されている場合には、Ｙ成分の画像データに対してのみ、画素データのビット数を１ビット削減する処理（１ビットの右論理シフト）が施され、モード値＝２が予め設定されている場合には、Ｙ成分、Ｃｂ成分およびＣｒ成分の各画像データに対して画素データのビット数を１ビット削減する処理が施される。図１に示すように、本実施形態では、非可逆変換処理１３０を経た画像データに対して可逆圧縮符号化処理１４０が施され、その処理結果である非可逆圧縮符号化データが復号装置２００による復号化の対象となる。後述するように可逆圧縮符号化処理１４０は予測符号化と可変長符号化とを併用した典型的な可逆演算であるが、その前段で各々非可逆演算からなる非可逆変換処理１３０が施されるため、圧縮符号化装置１００における圧縮符号化演算は全体として非可逆演算となるのである。また、本実施形態では、図１に示すように、量子化処理１３３における量子化モードのモード値を示す量子化モード信号が圧縮符号化装置１００から復号装置２００に与えられる。この量子化モード信号は、復号装置２００にて上記量子化処理の逆演算である逆量子化処理を行う際に利用される。
【００２０】
可逆圧縮符号化処理１４０は、図１に示すように、予測符号化処理１４１、予測誤差変換処理１４２、および、可変長符号化処理１４３を含んでいる。予測符号化処理１４１では、図３に示すように、圧縮符号化対象の画像を構成する各画素の中から対象画素Ｘがラスタスキャン順に選択される。そして、対象画素Ｘの近傍の画素の画素データから対象画素についての画素データの予測値Ｍｘが算出され、この予測値Ｍｘと対象画素の画素データの実際値との差分である予測誤差Ｘ−Ｍｘが算出される。
【００２１】
具体的には、予測符号化処理１４１では、次のアルゴリズムに従って、予測値Ｍｘが算出される。まず、対象画素Ｘの左隣の画素Ｘａの画素データがＸａ、対象画素の直上の画素Ｘｂの画素データがＸｂ、対象画素の左上の画素Ｘｃの画素データがＸｃである場合において、これらの３つの画素データの最大値ｍａｘ（Ｘａ、Ｘｂ、Ｘｃ）を求め、Ｘｃ＝ｍａｘ（Ｘａ、Ｘｂ、Ｘｃ）であるか否かを判断する。この判断結果が肯定的である場合において、Ｘｂ＜Ｘａであれば、予測値ＭｘをＸｂとし、Ｘａ＜Ｘｂであれば予測値ＭｘをＸａとする。一方、Ｘｃ＝ｍａｘ（Ｘａ、Ｘｂ、Ｘｃ）でない場合、３つの画素データの最小値ｍｉｎ（Ｘａ、Ｘｂ、Ｘｃ）を求め、Ｘｃ＝ｍｉｎ（Ｘａ、Ｘｂ、Ｘｃ）であるか否かを判断する。この判断結果が肯定的である場合において、Ｘｂ＞Ｘａであれば、予測値ＭｘをＸｂとし、Ｘａ＞Ｘｂであれば予測値ＭｘをＸａとする。そして、Ｘｃ＝ｍａｘ（Ｘａ、Ｘｂ、Ｘｃ）でもなく、Ｘｃ＝ｍｉｎ（Ｘａ、Ｘｂ、Ｘｃ）でもない場合、すなわち、Ｘｃ＞ｍｉｎ（Ｘａ、Ｘｂ、Ｘｃ）であり、かつ、Ｘｃ＜ｍａｘ（Ｘａ、Ｘｂ、Ｘｃ）である場合、Ｍｘ＝Ｘａ＋Ｘｂ−Ｘｃを予測値Ｍｘとする。そして、このようにして得られる予測値Ｍｘと対象画素Ｘの画素データの実際値との差分である予測誤差Ｘ−Ｍｘを算出するのである。
【００２２】
さて、予測符号化処理１４１においては、上記の要領で予測誤差の算出が行われるのであるが、本実施形態では、前述した非可逆変換処理１３０により、Ｃｂ成分の画像データとＣｒ成分の画像データは、図４に示すように、同一の値を有する４個の画素データがマトリクス状に並ぶように変換されている。このため、上記マトリクス状に並んだ４つの画素のうち右下隅に位置するものの予測誤差は必ずゼロとなる。詳細については後述するが、予測誤差がゼロとなる画素が多いほど、圧縮符号化データのデータサイズは小さくなる（換言すれば、圧縮率は高くなる）。
【００２３】
予測誤差変換処理１４２は、予測符号化処理１４１により算出される予測誤差の符号ビットを反転すると当該予測誤差の絶対値が減少する場合に当該予測誤差の符号ビットを反転させる処理である。この予測誤差変換処理１４２が行う変換処理の内容は、予測誤差の構成ビット数、すなわち、圧縮符号化の対象となる画像データを構成する各画素データの構成ビット数により異なったものとなる。図５は、予測誤差の構成ビット数（符号ビットを除く）が８ビット、６ビット、５ビット、４ビットの各場合について、入力データである予測誤差と予測誤差変換処理１４２を経た出力データとの関係を示したものである。なお、図５では、符号を反転した場合に絶対値が小さくなる入力データのみについて入力データと出力データとの関係が示されており、符号を反転した場合に絶対値が小さくならない入力データ（すなわち、符号反転されることなくそのまま出力データとなる入力データ）については、入力データと出力データとの関係の図示は省略されている。
【００２４】
図６は、予測誤差の構成ビット数（符号ビットを除く）が６ビットである場合について、予測誤差変換処理１４２の入力データと出力データとの関係を示している。この図において、矢印は変換の方向を示している。本実施形態において取り扱う各成分の画素データおよび予測誤差等の２進の数値データは、２の補数形式で負の数の表現を行う。この場合において、予測誤差の構成ビット数（符号ビットを除く）が６ビットであるとすると、正の値では絶対値が３２以上の予測誤差は符号ビットを反転したときの絶対値が元の絶対値以下になる。そこで、絶対値が２６−１＝３２以上の正の予測誤差は符号ビットの反転を行う。また、負の値でも絶対値が３２以上の予測誤差（すなわち、−３２以下の負の値）は符号ビットを反転したときの絶対値が元の絶対値以下となる。そこで、絶対値が３２以上の負の予測誤差は符号ビットの反転を行う。予測誤差の構成ビット数が異なる他の場合についても同様であり、図５に示すように、予測誤差の構成ビット数が８ビットである場合には絶対値が２８−１＝１２８以上である予測誤差が符号反転の対象となり、予測誤差の構成ビット数が５ビットである場合には絶対値が２５−１＝１６以上である予測誤差が符号反転の対象となり、予測誤差の構成ビット数が４ビットである場合には絶対値が２４−１＝８以上である予測誤差が符号反転の対象となる。
【００２５】
可変長符号化処理１４３は、予測誤差変換処理１４２を経た予測誤差を可変長符号に変換する処理である。上述したように、予測符号化処理１４１では、圧縮符号化の対象となる画像を構成する各画素の中からラスタスキャン順に対象画素Ｘが選択され、予測誤差が算出される。本実施形態では、予測符号化処理１４１によりラスタスキャン順に算出される予測誤差に対してそのままの順序で予測誤差変換処理１４２および可変長符号化処理１４３が施され、可変長符号に変換される。このようにして得られる可変長符号の集合体が、圧縮符号化装置１００の出力データたる非可逆圧縮符号化データとなるのである。
【００２６】
図７は、可変長符号化処理１４３において、予測誤差を可変長符号に変換する際に参照される変換テーブルの内容を示す図である。この変換テーブルについても、前述した量子化モードテーブルと同様に非可逆圧縮符号化プログラムに埋め込んでおいても良く、また、非可逆圧縮符号化プログラムとは別個に圧縮符号化装置１００に記憶させておいても良い。図７において、符号化対象は、予測誤差変換処理１４２を経た予測誤差である。Ｓは符号長が同じである可変長符号に割り当てられた可変長符号のグループ番号である。１つの可変長符号は、符号と付加ビットとにより構成されている。ここで、符号は、その可変長符号が属するグループを他のグループと区別するための識別情報である。また、付加ビットは、ある符号を持った可変長符号のグループ内において、各可変長符号を他の可変長符号と区別するための識別情報である。
【００２７】
図７に示すように、０以外の絶対値を持った符号化対象は、絶対値が小さいもの程、少ないビット長の符号および付加ビットからなる可変長符号に変換される。例えば絶対値が１である２種類の符号化対象−１、１は、符号０１が割り当てられたグループ番号Ｓ＝１の可変長符号に変換され、２種類の符号化対象−１、１の各々付加ビット０、１により区別される。また、絶対値が２〜３の範囲に属する４種類の符号化対象−３、−２、２、３は、符号１０が割り当てられたグループ番号Ｓ＝２の可変長符号に変換され、４種類の符号化対象−３、−２、２、３は各々付加ビット００、０１、１０、１１により区別される。以下、同様であり、符号化対象は、各々連続した絶対値を持ったグループに分けられ、大きな絶対値を持った符号化対象のグループ程、ビット長の大きな符号が割り当てられる。また、絶対値が２５６である符号化対象のグループを除き、大きな絶対値を持った符号化対象のグループ程、グループを構成する符号化対象の個数は大きくなり、それらを区別するための付加ビットのビット長も長くなる。なお、本実施形態で取り扱う予測誤差の構成ビット数（符号ビットを除く）は最大８ビットであり、−２５６および２５６は、いずれもオーバーフロー状態を表わす。従って、−２５６および２５６は、符号が１１１１１１１１０であり、付加ビットのない同じ可変長符号に変換される。
【００２８】
絶対値が０である符号化対象は、ＺＲＬ（Zero Run Length）、すなわち、０の連続長が可変長符号に変換される。例えばＺＲＬ＝１は、符号０００が割り当てられたグループ番号Ｓ＝９の可変長符号に変換される。また、２〜３の範囲に属する２種類のＺＲＬ＝２、３は、符号００１０が割り当てられたグループ番号Ｓ＝１０の可変長符号に変換され、２種類のＺＲＬ＝２、３は各々付加ビット０、１により区別される。また、４〜７の範囲に属する４種類のＺＲＬ＝４、５、６、７は、符号００１１０が割り当てられたグループ番号Ｓ＝１１の可変長符号に変換され、４種類のＺＲＬ＝４、５、６、７は各々付加ビット００、０１、１０、１１により区別される。以下、同様であり、ＺＲＬは、各々連続したＺＲＬからなるグループに分けられ、大きなＺＲＬのグループ程、ビット長の大きな符号が割り当てられる。また、大きなＺＲＬのグループ程、グループを構成するＺＲＬの個数は大きくなり、それらを区別するための付加ビットのビット長も長くなる。さらに本実施形態では、圧縮率を高めるために、ＡＬＬ０という予測誤差の発生形態が想定されている。このＡＬＬ０は、着目している画素の予測誤差が０であり、かつ、その画素が属するラインのその画素以降の全ての画素の予測誤差が０である状態である。本実施形態においてこのＡＬＬ０は、符号が００１１１０であり、付加ビットのない可変長符号に変換される。前述したように、本実施形態では、Ｃｂ成分画像データおよびＣｒ成分画像データについては縮小処理１３１および拡張処理１３２を施すことによって、水平走査線方向に並んだ複数の画素の予測誤差は、必ず１つおきに０になり、０の連続長が長くなり易くなっている。このため、本実施形態では、ＺＲＬを利用して効率的に可変長符号化を行い、圧縮率を高めることができると期待されるのである。
以上が本実施形態による圧縮符号化装置１００の詳細である。
【００２９】
図８は、幾つかのサンプル動画像を用いて行った圧縮符号化装置１００についての圧縮性能評価の評価結果を示す図である。図８（Ａ）から図８（Ｃ）では、２４ビットフルカラーのサンプル動画像（各画素の色をＲ、ＧおよびＢの各成分の強度で表し、各成分の強度を各々8ビット、合計２４ビットで表した動画）を可逆圧縮（図８では、「２４ＬＳ」と表記）した場合、モード値＝０〜６の各量子化モードで本実施形態の非可逆圧縮符号化を行った場合、および２４ビットフルカラーの動画像を8ビットに減色して可逆圧縮符号化を施した場合の各々における動画の進行に伴う圧縮率の推移が表されている。図８（Ａ）は、サンプル動画像が人物と器物を含む動画像（本性能評価では、走行中のバイクについての動画）である場合の圧縮率の推移を、図８（Ｂ）はサンプル動画像が所謂アニメメーション的な絵柄の動画像である場合の圧縮率の推移を、図８（Ｃ）はサンプル動画像が風景画のような動画像（本性能評価では、さんご礁を泳ぎ回る魚の動画）である場合の圧縮率の推移を表すグラフである。なお、図８（Ａ）、図８（Ｂ）および図８（Ｃ）の各グラフにおいて縦軸は圧縮率であり、横軸は動画を構成するフレームのフレーム番号である。
【００３０】
図８（Ａ）、図８（Ｂ）および図８（Ｃ）の各々を参照すれば明らかなように、何れの場合においても、２４ビットフルカラーの動画像を各画素の色を8ビットで表す動画に減色して可逆圧縮符号化を施した場合（図８では、「２４→８LS」と表記）と、モード値＝２の量子化（表１を参照すれば明らかように、Ｙ成分およびＣｂ成分の各画素データを1ビット削減する量子化）を施した場合とでは、サンプル動画を構成する全てのフレームに亘って略等しい圧縮率が得られていることが判る。ここで、２４ビットフルカラーの動画像を8ビットに減色して可逆圧縮符号化を施した場合を評価基準としたのは、液晶ディスプレイなどの一般的な表示装置で表示可能な階調数は、8ビット２５６階調であることが多く、上記のような減色が行われる頻度は非常に高いと考えられるからである。また、本実施形態の非可逆圧縮符号化方式を画質面から評価すると、上記各サンプル動画像に対してモード値＝２の量子化を施した場合には、原画像に対して殆ど画質の劣化が感知されないことが判明した。つまり、本実施形態の圧縮符号化装置１００によれば、画質の劣化を最小限に抑えつつ、２４ビット→8ビット減色＋可逆圧縮符号化を行った場合と同等の圧縮率を実現することができるのである。もっとも、２４ビット→8ビット減色＋可逆圧縮符号化の場合は、カラーパレットデータが必要になるため、このカラーパレットデータも含めて圧縮符号化後の画像データのデータサイズを計算すると、モード値＝２の本実施形態の非可逆圧縮符号化のほうが高い圧縮率を得られると言える。
【００３１】
次に復号装置２００について説明する。
復号装置２００も、圧縮符号化装置１００と同様のＤＳＰなどのコンピュータに本実施形態の復号処理を実現するプログラム（以下、復号プログラム）をインストールしたものである。復号装置２００は、この復号プログラムにしたがって、可逆復号処理２１０、逆量子化処理２２０、逆座標変換処理２３０、および色成分結合処理２４０を実行する。なお、本実施形態では、これら各処理をソフトウェアで実現するが、可逆復号処理２１０を実行する可逆復号手段、逆量子化処理２２０を実行する逆量子化手段、逆座標変換処理２３０を実行する逆座標変換手段、および、色成分結合処理２４０を実行する色成分結合手段の各々を電子回路で構成し、これら各手段を組み合わせて復号装置２００を構成しても勿論良い。
【００３２】
図１に示すように、可逆復号処理２１０は、可変長復号化処理２１１と逆予測符号化処理２１２とを含んでいる。可変長復号化処理２１１は、前述した可変長符号化処理１４３の逆演算であり、可変長符号化処理１４３にて用いているものと同じ変換テーブルを使用し、符号と付加ビットとからなる可変長符号を可変長符号化前の予測誤差に戻す処理である。一方、逆予測符号化処理２１２は、予測符号化処理１４１の逆演算に相当する処理である。この逆予測符号化処理２１２では、可変長復号化処理２１１により得られる予測誤差から、その予測誤差に応じた成分の画像データ（すなわち、Ｙ成分、Ｃｂ成分およびＣｒ成分の各画像データ）への変換が行われる。さらに詳述すると、Ｙ成分、Ｃｂ成分およびＣｒ成分のうちのある成分に関し、図３に示す３個の画素Ｘｃ、Ｘｂ、Ｘａの画素データが既に復号化されている状態において、画素Ｘの予測誤差が可変長復号化処理２１１により得られた場合、この逆予測符号化処理２１２では、予測符号化処理１４１と同様なアルゴリズムに従い、画素Ｘｃ、Ｘｂ、Ｘａの各画素データから画素Ｘの画素データの予測値ＭＸが算出される。そして、この予測値ＭＸに画素Ｘの予測誤差を加算することにより画素Ｘの画素データが算出されるのである。圧縮符号化装置１００から出力される非可逆圧縮符号化データに対して可逆復号処理２１０を施すことにより、圧縮符号化装置１００にて可逆圧縮符号化処理１４０が施される前の画像データ（すなわち、量子化処理１３３を経たＹＣｂＣｒ表色系の画像データ）が完全に復元されるのである。
【００３３】
本実施形態では、前掲式（１）にしたがって生成されるＹ成分、Ｃｂ成分およびＣｒ成分の各画素データは正の値を有し、これら各画素データに量子化処理１３３を施して得られるデータも０以上の値を有する。そこで、逆予測符号化処理２１２では、予測符号化前の各成分の画素データが正の値であることを前提とし、予測値ＭＸと予測誤差の加算結果において符号ビットを除く部分を復号結果たる各成分の画素データとする。従って、本実施形態では、予測誤差における符号ビットを除く部分の内容が同じであれば、予測誤差が符号ビット“０”を有する正の値であるか符号ビット“１”を有する負の値であるかによらず、その予測誤差から同じ画素データが復元される。圧縮符号化装置１００にて予測誤差変換処理１４２を行うのは、予測誤差の符号ビットの“１”／“０”が復号結果に影響を与えないという点を利用し、可変長符号化処理１４３における符号化対象（予測誤差）をより絶対値の小さな値とし、変換後の可変長符号のビット長を短くする（すなわち、圧縮符号化データのデータ量を削減し、圧縮率を高める）ためである。この点に関し、一例を挙げて説明すると、次のようになる。
【００３４】
まず、Ｙ成分、Ｃｂ成分およびＣｒ成分の各画像データおよび予測誤差の構成ビット数（符号ビットを除く）が６ビットであり、図７における対象画素Ｘの画素データが５９ｄ（ｄは１０進）、予測値が１０ｄ、予測誤差が４９ｄ＝０１１０００１ｂ（ｂは２進。先頭の“０”は符号ビット）であったとする。ここで、仮に予測誤差変換処理１４２を行わなかったとすると、圧縮符号化装置１００および復号装置２００の処理内容は次のようになる。まず、圧縮符号化装置１００が実行する可変長符号化処理１４３では、図７に示す変換テーブルに従い、予測誤差４９ｄはグループ番号Ｓ＝６のグループに属する符号１１１１１０および付加ビット１１０００１からなる１２ビットの可変長符号に変換されて出力される。復号装置２００が実行する可変長復号化処理２１１においては、この可変長符号が予測誤差４９ｄに変換される。そして、逆予測符号化処理２１２では、次式に示すように、予測値である１０ｄ＝０００１０１０ｂと予測誤差である４９ｄ＝０１１０００１ｂの２進加算が行われ、対象画素Ｘの画素データ５９ｄが復元される。
０００１０１０ｂ＋０１１０００１ｂ＝０１１１０１１ｂ
＝５９ｄ
……（２）
【００３５】
これに対し、予測誤差変換処理１４２を含む圧縮符号化を行う場合の圧縮符号化装置１００と復号装置２００の処理内容は次のようになる。まず、図６に示すように、予測誤差である４９ｄは、２進数に変換すると、０１１０００１ｂ（ｂは２進。先頭の“０”は符号ビット）となる。この２進数の先頭の符号ビットを“０”から“１”に反転すると、図７に示すように、符号ビットの反転後の２進数１１１０００１ｂに対応した１０進数は−１５ｄとなり、符号ビットの反転前の４９ｄよりも絶対値の小さな値となる。そこで、圧縮符号化装置１００が実行する予測誤差変換処理１４２の出力データは、符号ビットを反転した予測誤差１１１０００１ｂ＝−１５ｄとなる。この予測誤差変換処理１４２に後続する可変長符号化処理１４３は、図７の変換テーブルに従い、この予測誤差１１１０００１ｂ＝−１５ｄは、グループ番号Ｓ＝４のグループに属する符号１１１０および付加ビット００００からなる８ビットの可変長符号に変換され、出力される。復号装置２００が実行する可変長復号化処理２１１では、この可変長符号が予測誤差１１１０００１ｂ＝−１５ｄに変換される。そして、この可変長復号化処理２１１に後続する逆予測符号化処理２１２では、次式に示すように、予測値である１０ｄ＝０００１０１０ｂと予測誤差である−１５ｄ＝１１１０００１ｂの２進加算が行われる。
０００１０１０ｂ＋１１１０００１ｂ＝１１１１０１１ｂ ……（３）
【００３６】
そして、逆予測符号化処理２１２では、この加算結果１１１１０１１ｂの先頭の符号ビット“１”が無視され、対象画素Ｘの画素データを、１１１０１１ｂ＝５９ｄとする。このように、復号結果である画素データは予測値と予測誤差の構成ビットのうち符号ビットを除く部分のみにより決定される。そこで、本実施形態における圧縮符号化装置１００では、予測誤差の符号ビットを反転させた場合において予測誤差の絶対値が小さくなる場合には、予測誤差変換処理１４２にて予測誤差の符号反転を行った後に可変長符号化処理１４３を施し、圧縮符号化データを構成する可変長符号のビット長を短縮しているのである。
以上が可逆復号処理２１０の処理内容である。
ここで、注目すべき点は、可逆復号処理２１０は、予測符号化と可変長符号化とを併用した圧縮符号化アルゴリズムにより可逆圧縮符号化された画像データを復号する処理と何ら変わらないという点である。このため、可逆復号処理２１０を実行するデコード回路（図１では図示略）としては、予測符号化と可変長符号化とを併用した圧縮符号化アルゴリズムにより可逆圧縮符号化された画像データのデコードを行う従来のものをそのまま用いることができる。したがって、本実施形態の復号装置２００によれば、圧縮符号化装置１００により得られた非可逆圧縮符号化データのデコードと上記可逆圧縮符号化データのデコードの両方を行うことができるのである。仮に圧縮符号化装置１００側で拡張処理１３２が行われていないとしたならば、この拡張処理１３２に相当する処理を復号装置２００側で行う必要があり、従来のデコード回路をそのまま用いることはできず、何らかの変更を加えなければならない。また、ラインバッファ方式の画像処理ＬＳＩに組み込まれる場合のように、ライン単位でデコードを行う必要がある場合には、ラインをまたぐ拡張処理は複雑なものとなるため、デコード回路に加える変更も複雑なものとなってしまう。本実施形態では、圧縮符号化装置１００側で拡張処理１３２を行うようにしたため、予測符号化と可変長符号化とを併用した圧縮符号化アルゴリズムにより可逆圧縮符号化された画像データのデコードを行うデコード回路をそのまま用いて復号装置２００を構成することができ、これが圧縮符号化装置１００にて拡張処理１３２を行う理由である。
【００３７】
逆量子化処理２２０は、前述した量子化処理１３３の逆演算であり、量子化処理１３３にて構成ビットの削減が行われた画素データについてその構成ビットを補間する処理である。前述したように、圧縮符号化装置１００で行われる量子化処理１３３にて構成ビットの削除が行われる画素データおよび削除されるビット数は、圧縮符号化装置１００から復号装置２００へ送られる量子化モード信号の信号値で表される。この逆量子化処理２２０では、上記量子化モード信号の信号値に応じて、以下の表２に示す要領で各成分の画像データの補間が行われる。
【表２】
【００３８】
例えば、モード値＝１の場合、圧縮符号化装置１００が実行する量子化処理１３３では、Ｙ成分の画素データの構成ビット数は、１ビット削減され、７ビットとなっている（表２では、Ｙ[６：０]と表記）。これに対して、復号装置２００が実行する逆量子化処理２２０では、Ｙ成分の画素データの最上位ビットから上記削除したビット数分のビット（この例では、Ｙ[６]）を、その最下位ビットの後ろに付加することで、Ｙ成分の画素データの構成ビット数は８ビットに復元されるのである。
【００３９】
逆量子化処理２２０に後続して実行される逆座標変換処理２３０は、前述した座標変換処理１２０の逆演算であり、ＹＣｂＣｒ表色系の画像データをＲＧＢ表色系の画像データに変換する処理である。この逆座標変換処理２３０では、逆量子化処理２２０を経たＹ成分、Ｃｂ成分およびＣｒ成分の各画像データを用いて以下の式（４）に示す演算を行うことにより、Ｒ成分、Ｇ成分およびＢ成分の各画像データへの変換が行われる。
Ｒ＝１．１６４×（Ｙ−１６）＋１．５９６×（Ｃｒ−１２８）
Ｇ＝１．１６４×（Ｙ−１６）−０．３９１×（Ｃｂ−１２８）−０．８１３×（Ｃｒ−１２８）
Ｂ＝１．１６４×（Ｙ−１６）＋２．０１８×（Ｃｂ−１２８）
・・・（４）
【００４０】
そして、色成分結合処理２４０は、色成分分離処理１１０の逆演算であり、逆座標変換処理２３０を経たＲ成分、Ｇ成分およびＢ成分の各画像データから、原画像データと同一形式の画像データを復元する処理である。
以上が本実施形態による圧縮符号化装置１００および復号装置２００の詳細である。
【００４１】
次いで、圧縮符号化装置１００により圧縮符号化された画像データのデコードを行う他の実施形態について説明する。
図９は、本発明の他の実施形態であるラインバッファ方式の画像処理ＬＳＩ３００の構成例を示すブロック図である。この画像処理ＬＳＩ３００は、例えばゲーム機などに組み込まれ、そのゲーム機の制御中枢として機能するＣＰＵ（Central Processing Unit）４０２による制御下でゲームキャラクタ等を表すスプライト画像をモニタ４０３に表示させるものである。より詳細に説明すると、図９のスプライトパターンメモリ４０１には、スプライトの画像データに可逆圧縮符号化（本実施形態では、予測符号化処理１４１、予測誤差変換処理１４２および可変長符号化処理１４３を併用した圧縮符号化処理）を施して得られる可逆圧縮符号化データと、スプライトの画像データに圧縮符号化装置１００による非可逆圧縮符号化を施して得られる非可逆圧縮符号化データが格納されている。画像処理ＬＳＩ３００は、ＣＰＵ４０２による制御の下、可逆圧縮符号化データ或いは非可逆圧縮符号化データ（以下、両者を「圧縮符号化データ」と総称する場合がある）をスプライトパターンメモリ４０１から読み出し、その圧縮符号化方式に対応したデコード方式で復号し、その復号結果である画像データに応じたスプライト画像をライン単位でモニタ４０３に表示させるものである。なお、図９では、画像処理ＬＳＩ３００を構成する要素のうち、圧縮符号化データの復号化および再生に関与している部分のみが図示されており、それ以外の要素の図示は省略されている。
【００４２】
スプライトパターンメモリ４０１は、複数種類のスプライト画像の各々の圧縮符号化データを記憶したメモリであり、例えばＲＯＭ（Read Only Memory）により構成されている。
【００４３】
画像処理ＬＳＩ３００において、ＣＰＵＩ／Ｆ（インタフェース）３０１は、ＣＰＵ４０２から制御情報を受け取る装置である。記憶部３０２は、ＣＰＵＩ／Ｆ３０１を介してＣＰＵ４０２から与えられる制御情報を記憶する装置であり、例えばＲＡＭ（Random Access Memory）により構成されている。ＣＰＵ４０２から記憶部３０２に与えられる制御情報には、復号化および再生の対象であるスプライト画像の圧縮符号化データのスプライトパターンメモリ４０１内の格納先アドレス、モニタ４０３の表示画面におけるスプライト画像の表示位置、スプライト画像の拡大・縮小に関する指示、圧縮符号化情報等が含まれる。図１０に示すように、圧縮符号化情報には、その圧縮符号化情報に対応する圧縮符号化データの圧縮符号化方式を示す符号化方式識別子が含まれている。また、非可逆圧縮符号化データについての圧縮符号化情報には、その非可逆圧縮符号化データを得る際の量子化処理１３３における量子化モードを示すモード識別子も含まれている。
【００４４】
制御部３０３は、記憶部３０２に記憶された制御情報に従って画像処理ＬＳＩ３００内の各部の制御を行う制御中枢である。パターンメモリＩ／Ｆ３０４は、制御部３０３による制御の下、記憶部３０２に記憶された制御情報に含まれている格納先アドレスの示す記憶領域に格納されている圧縮符号化データをスプライトパターンメモリ４０１から取得する取得手段の役割を果たす。パターンデータデコーダ３０５は、前述した可逆復号処理２１０を実行する装置である。このパターンデータデコーダ３０５は、制御部３０３による制御の下、スプライトパターンメモリ４０１からパターンメモリＩ／Ｆ３０４を介してスプライト画像の圧縮符号化データを受け取り、可変長復号化処理２１１および逆予測符号化処理２１２を行う。例えば、スプライトパターンメモリ４０１からパターンデータデコーダ３０５に与えられる圧縮符号化データが可逆圧縮符号化データである場合には、可変長復号化処理２１１および逆予測符号化処理２１２を経て可逆圧縮符号化前の画像データ（ＲＧＢ表色系の画像データ）が完全に復元され出力されることとなる。一方、非可逆圧縮符号化データがパターンデータデコーダ３０５に与えられる場合には、オリジナルの画像データ（ＲＧＢ表色系の画像データ）に色成分分離処理１１０、座標変換処理１２０、非可逆変換処理１３０および量子化処理１３３を順次施して得られる画像データ（ＹＣｂＣｒ表色系の画像データ）が復元されることになる。
【００４５】
パターンデータデコーダ３０５から出力される画像データがＲＧＢ表色系のものである場合、この画像データはスプライトレンダリングプロセッサ３０８によるレンダリングを経て１ライン分ずつラインバッファ３０９Ａ（或いは、３０９Ｂ）に格納される。一方、パターンデータデコーダ３０５から出力される画像データがＹＣｂＣｒ表色系のものである場合は、この画像データは、逆量子化部３０６および逆座標変換部３０７による処理を経てＲＧＢ表色系の画像データに変換され、スプライトレンダリングプロセッサ３０８に与えられる。図９の逆量子化部３０６は、圧縮符号化情報に含まれているモード識別子にしたがって前述した逆量子化処理２２０を実行する装置であり、逆座標変換部３０７は、前述した逆座標変換処理２３０を実行する装置である。
【００４６】
前述したように、パターンデータデコーダ３０５から出力される画像データがＲＧＢ表色系のものか、それとも、ＹＣｂＣｒ表色系のものかについては、デコード元となった圧縮符号化データが可逆圧縮符号化データであるのか、それとも非可逆圧縮符号化データであるのかにより定まる。そして、デコード対象の圧縮符号化データが可逆圧縮符号化データであるのか、それとも、非可逆圧縮符号化データであるのかについては、記憶部３０２から取得される圧縮符号化情報を参照して判定することができる。このため、制御部３０３は、記憶部３０２から取得した圧縮符号化情報に含まれている符号化方式識別子により、可逆圧縮符号化データであると判定される場合には、スプライトレンダリングプロセッサ３０８と、ラインバッファ３０９Ａおよび３０９Ｂとを制御することにより、モニタ４０３に表示させるスプライト画像の画像データを１ライン単位（１水平走査線単位）で生成しモニタ４０３の表示画面に反映させる処理を行う。一方、上記符号化方式識別子により、非可逆圧縮符号化データであると判定される場合には、制御部３０３は、さらに、逆量子化部３０６および逆座標変換部３０７の制御を行い、モニタ４０３に表示させるスプライト画像の画像データを１ライン単位（１水平走査線単位）で生成しモニタ４０３の表示画面に反映させる処理を行う。
【００４７】
さらに詳述すると、ラインバッファ３０９Ａおよび３０９Ｂは、モニタ４０３の１ライン分の画像データを記憶する容量を各々有している。制御部３０３は、これらのラインバッファ３０９Ａおよび３０９Ｂを交互に使用し、例えばラインバッファ３０９Ａ内の１ライン分の画像データがモニタ４０３に表示される期間には、ラインバッファ３０９Ｂに次の１ライン分の画像データを書き込むレンダリングをスプライトレンダリングプロセッサ３０８に実行させ、ラインバッファ３０９Ｂ内の１ライン分の画像データがモニタ４０３に表示される期間には、ラインバッファ３０９Ａに次の１ライン分の画素データを書き込むレンダリングをスプライトレンダリングプロセッサ３０８に実行させる。また、制御部３０３は、スプライトレンダリングプロセッサ３０８が行うレンダリングに間に合うように、レンダリングの対象となる１ライン分のスプライト画像の画像データをパターンデータデコーダ３０５（或いは、パターンデータデコーダ３０５、逆量子化部３０６および逆座標変換部３０７）に出力させるための制御を行う。ここで、モニタ４０３の１ラインに複数種類のスプライト画像を表示させる場合もある。そのような場合、制御部３０３は、表示対象である全てのスプライト画像の１ライン分の画像データを得るために必要な圧縮符号化データをスプライトパターンメモリ４０１から読み出してパターンデータデコーダ３０５に供給し、その復号化を行わせるための制御を行う。
【００４８】
表示コントローラ３１１、画像データコントローラ３１０およびモニタＩ／Ｆ３１２は、ラインバッファ３０９Ａおよび３０９Ｂから交互に１ライン分の画像データを読み出してモニタ４０３に供給し、モニタ４０３に画像を表示させる手段である。さらに詳述すると、表示コントローラ３１１は、垂直同期信号および水平同期信号をモニタＩ／Ｆ３１２を介してモニタ４０３に供給するとともに、水平同期信号に同期して、画像データコントローラ３１０に画像データの読み出し指令を送る。画像データコントローラ３１０は、画像データの読み出し指令を受け取る毎に、ラインバッファ３０９Ａおよび３０９Ｂを交互に選択し、選択したラインバッファから１ライン分の画像データを読み出し、モニタＩ／Ｆ３１２を介してモニタ４０３に送るのである。
以上が画像処理ＬＳＩ３００の構成である。
【００４９】
以上のような構成としたため、本実施形態によれば、非可逆圧縮符号化データと可逆圧縮符号化データの両方を一つの画像処理ＬＳＩ３００によりデコードすることが可能になる。加えて、画像処理ＬＳＩ３００の構成のうち、逆量子化部３０６と逆座標変換部３０７を除いた部分については、可逆圧縮符号化データのデコードを行う既存の画像処理ＬＳＩにおけるものをそのまま流用することができる。つまり、本実施形態によれば、既存の画像処理ＬＳＩの構成要素を最大限に利用しつつ、非可逆圧縮符号化データと可逆圧縮符号化データの両方を一つの画像処理ＬＳＩでデコードすることが可能になるのである。
【００５０】
以上、本発明の一実施形態について説明したが、この実施形態に以下に述べる変形を加えても勿論良い。
（１）上述した実施形態では、スプライトパターンメモリ４０１に可逆圧縮符号化データと非可逆圧縮符号化データの両者が格納されていたが、非可逆圧縮符号化データのみを格納しておいても勿論良い。スプライトパターンメモリ４０１に非可逆圧縮符号化データのみを格納しておく態様においては、圧縮符号化情報に符号化方式識別子を含めておく必要はない。また、非可逆圧縮符号化データを得るための量子化処理における量子化モードが予め固定されている場合には、モード識別子を圧縮符号化情報に含めておく必要はない。また、圧縮符号化データと対応付けて圧縮符号化情報をスプライトパターンメモリ４０１に格納しておいても良く、この場合、ＣＰＵ４０２から制御部３０３に与える制御情報に圧縮符号化情報を含めておく必要はない。
【００５１】
（２）上述した実施形態では、量子化処理１３３を施しておくことで、可逆圧縮符号化処理１４０を施す画像データの何れかの成分の構成ビット数を削減したが、このような量子化処理は必ずしも必須ではなく、省略しても勿論良い。なお、量子化処理１３３を省略して得られた非可逆圧縮符号化データのデコードにおいては逆量子化処理を行う必要がないことは勿論である。また、本実施形態では、予測符号化処理１４１により得られた予測誤差に予測誤差変換処理１４２を施した後に可変長符号化処理１４３を施したが、予測誤差変換処理１４２を省略しても勿論良い。
【００５２】
（３）上述した実施形態では、非可逆変換処理１３０（特に、縮小処理１３１および拡張処理１３２）を施すことによる画質の劣化を最小限に抑えるために、その前段においてＲＧＢ表色系からＹＣｂＣｒ表色系への座標変換処理１２０を行ったが、ＬＵＶ表色系への座標変換であっても勿論良い。他にも、ＲＧＢ→ＹＵＶ、ＲＧＢ→ＹＩＱ、ＲＧＢ→Ｌａｂ、ＲＧＢ→ＨＬＳ、ＲＧＢ→ＨＳＶ、ＲＧＢ→ＣＭＹ、ＲＧＢ→ＣＭＹＫなどの各種座標変換を利用することが考えられる。これらの座標変換は、前掲式（１）を参照すれば明らかなように、一般に、変換前の表色系における第１色成分から第３色成分の各画素データの一次結合で変換後の表色系における各成分を表す演算である。つまり、座標変換処理１２０における演算は、画像を構成する複数の画素の各々について、変換前の表色系における第１色成分から第３色成分の各画素データの一次結合で新たな３種類の画素データを算出するような演算に一般化することができる。例えば、ＲＧＢの各成分の画素データから、Ｒ成分の画素データ、Ｇ成分とＲ成分の差分（Ｇ−Ｒ）を表す画素データ、およびＢ成分とＲ成分の差分（Ｂ−Ｒ）を表す画素データに変換する演算であっても良く、同様に、Ｇ成分、Ｒ成分とＧ成分の差分（Ｒ−Ｇ）およびＢ成分とＧ成分の差分（Ｂ−Ｇ）の各々を表す画素データに変換する演算や、Ｂ成分、Ｒ成分とＢ成分の差分（Ｒ−Ｂ）、Ｇ成分とＢ成分の差分（Ｇ−Ｂ）の各々を表す画素データに変換する演算であっても良い。
【００５３】
なお、第１色成分から第３色成分の各画素データの一次結合で新たな３種類の画素データを算出するような演算の内容によっては、上記新たな画素データが０以上の値になるとは限らず、負の値となることも考えられる。しかし、本実施形態の逆予測符号化処理２１２では、予測符号化前の画素データが０以上の値であることを前提としているため、上記新たな画素データが負の値となることは不都合である。そこで、座標変換処理１２０により得られる新たな画素データが負の値となり得る場合には、上記新たな画素データに対してレベルシフト処理（例えば、一定の正の値の加算）を施し、画素データが必ずゼロ以上の値となるようにすれば良い。また、このようなレベルシフト処理を行う場合には、画質の劣化が顕著となることを避けるため、非可逆変換処理１３０の前段で行っておくことが望ましい。
【００５４】
（４）上述した実施形態では、圧縮符号化装置１００に本発明の特徴を顕著に示す非可逆圧縮符号化処理（図１の色成分分離処理１１０、座標変換処理１２０、非可逆変換処理１３０、および可逆圧縮符号化処理１４０）を実行させた。しかし、圧縮符号化対象の画像データに対して可逆圧縮符号化処理１４０のみを圧縮符号化装置１００に実行させて可逆圧縮符号化データを生成させることができることは言うまでもない。そこで、圧縮符号化対象の画像データに対して上記非可逆圧縮符号化処理を施すのか、それとも、可逆圧縮符号化処理１４０を施すのかを圧縮符号化装置１００の利用者に指示させ、その指示内容に応じた処理を圧縮符号化装置１００に実行させるようにしても良い。このような態様によれば、可逆圧縮符号化データと非可逆圧縮符号化データの両方を１つの圧縮符号化装置１００で生成することが可能になる。
【００５５】
（５）上述した実施形態では、本実施形態の特徴を顕著に示す画像データの非可逆圧縮処理を実現するための非可逆圧縮符号化プログラムが圧縮符号化装置１００に予めインストールされていたが、例えばＣＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体に上記非可逆圧縮プログラムを書き込んで配布しても良く、インターネットなどの電気通信回線経由のダウンロードにより配布しても良い。復号プログラムについても同様に、コンピュータ読み取り可能な記録媒体に書き込んで配布しても良く、また、電気通信回線経由のダウンロードにより配布しても良い。
【符号の説明】
【００５６】
１００…圧縮符号化装置、１１０…色成分分離処理、１２０…座標変換処理、１３０…非可逆変換処理、１３１…縮小処理、１３２…拡張処理、１３３…量子化処理、１４０…可逆圧縮符号化処理、１４１…予測符号化処理、１４２…予測誤差変換処理、１４３…可変長符号化処理、２００…復号装置、２１０…可逆復号処理、２１１…可変長復号化処理、２１２…逆予測符号化処理、２２０…逆量子化処理、２３０…逆座標変換処理、２４０…色成分結合処理、３００…画像処理ＬＳＩ、３０１…ＣＰＵＩ／Ｆ、３０２…記憶部、３０３…制御部、３０４…パターンメモリＩ／Ｆ、３０５…パターンデータデコーダ、３０６…逆量子化部、３０７…逆座標変換部、３０８…スプライトレンダリングプロセッサ、３０９Ａ，３０９Ｂ…ラインバッファ、３１０…画像データコントローラ、３１１…表示コントローラ、３１２…モニタＩ／Ｆ、４０１…スプライトパターンメモリ、４０２…ＣＰＵ、４０３…モニタ。
【技術分野】
【０００１】
本発明は、画像データを圧縮符号化する技術に関する。
【背景技術】
【０００２】
ゲーム機などに用いられる画像処理デバイスの一例としてラインバッファ方式の画像処理ＬＳＩ（Large Scale Integration）が挙げられる。この種の画像処理ＬＳＩでは、ゲームキャラクタなどのスプライト画像を表す画像データが予め格納されたスプライトパターンメモリから、ゲームの進行に合わせて画像データを読み出し、拡大や縮小、回転などの編集を施してライン（水平走査線）単位でバッファ（以下、ラインバッファ）に書き込み、そのラインバッファの格納内容に応じた画像をＬＣＤ（Liquid Crystal Display）などの表示装置に順次表示させる、といった処理が行われる。
【０００３】
この種の画像処理ＬＳＩの商品価値はスプライト描画性能（各ラインにて表示可能なスプライト画像の総ドット数）によって大きく左右される。各ラインにて表示可能なスプライト画像の総ドット数は、単位時間当たりに画像処理ＬＳＩで処理可能な画像データのデータ量に依存するので、画像処理ＬＳＩのスプライト描画性能はスプライトパターンメモリとの間のデータ転送量に一部依存することとなる。しかし、現状ではスプライトパターンメモリと画像処理ＬＳＩとの間のデータ転送量には限界があり、充分なスプライト描画性能を得られないことが多い。そこで、このようなデータ転送量の限界があることを前提として充分なスプライト描画性能を得られるようにするために、スプライトの画像データに圧縮符号化（例えば、フレーム単位での圧縮符号化）を施してスプライトパターンメモリに格納し、スプライト１つ当たりのデータ転送量を削減することが行われている。
【０００４】
画像データの圧縮符号化技術は、可逆圧縮符号化技術と非可逆圧縮符号化技術とに大別される。可逆圧縮符号化技術の一例としては予測符号化とハフマン符号化などの可変長符号化とを併用したものが挙げられ、非可逆圧縮符号化技術の一例としては直交変換を利用したものが挙げられる。可逆圧縮符号化技術には、高い圧縮率は得られないものの、圧縮符号化前の画像データを完全に復元することができるといった特徴があり、逆に、非可逆圧縮符号化技術には、元の画像データを完全には復元できないものの、高い圧縮率が得られる、といった特徴がある。一般にゲーム機などに組み込まれる画像処理ＬＳＩにおいては、可逆圧縮符号化技術が採用されることが多い。これは、ゲームキャラクタはグラフィックデザイナ等によってデザインされたデザイン性の高いものが多く、元の画像データを完全に復元することが望まれる場合が多いからである。
【先行技術文献】
【非特許文献】
【０００５】
【特許文献１】特開平４−１７５０６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来、この種の画像処理デバイスは静止画の表示に用いられることが一般的であったが、近年では、静止画を利用した簡単な動画の表示にも利用したいといったニーズが高まっている。このように静止画を利用して動画を表現する場合、画像に動きがあるため、多少画質が劣化したとしても人の目では殆ど感知することができない。したがって、静止画を用いて表現される動画の場合、外部メモリ容量及びデータ転送量を削減するという観点からは非可逆圧縮符号化アルゴリズムを用いることが好ましい場合も多い。そこで、可逆圧縮符号化された画像データ（例えば、静止画の画像データ）と非可逆圧縮符号化された画像データ（例えば、動画を表現するための静止画の画像データ）の両方のデコードを行えるような画像処理デバイス（或いは、そのような画像処理デバイスにおける画像処理アルゴリズム）を創出することができれば、市場における商品価値も非常に高いものとなると考えられる。従来、フレーム単位で画像処理を行う画像処理アルゴリズムにおいては、可逆圧縮符号化および非可逆圧縮符号化の両者に対応するものもあったが、ライン単位で画像処理を行う画像処理アルゴリズムにおいては、このようなものはなかった。
本発明は、上記課題に鑑みて為されたものであり、ライン単位で画像処理を行う画像処理デバイスに非可逆圧縮符号化データと可逆圧縮符号化データの両方のデコードを行わせることを可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明は、画像を構成する複数の画素の各々の第１色成分〜第３色成分を示す各画素データを取得し、各画素について前記各色成分の画素データの一次結合で表される３種類の新たな画素データを生成する座標変換手段と、前記座標変換手段により得られる３種類の画素データを受け取り、それら画素データのうちの少なくとも１種類に対して、一定の割合で画素データを間引く縮小処理、および当該縮小処理にて間引かれなかった画素データで当該縮小処理にて間引かれた画素データを補間する拡張処理を施して出力する非可逆変換手段と、前記非可逆変換手段より出力される前記３種類の画素データの各々について、ラスタスキャン順に１つずつ処理対象画素を選択し、当該処理対象画素についての画素データの予測値を当該処理対象画素の近傍に位置する周辺画素の画素データから算出し当該予測値と実際の画素データとの差分である予測誤差を算出する予測符号化処理と当該予測誤差を可変長符号化する可変長符号化処理とを施して圧縮符号化データに変換する可逆圧縮符号化手段とを具備することを特徴とする圧縮符号化装置を提供する。なお、本発明の別の態様においては、コンピュータを上記各手段として機能させることを特徴とする圧縮符号化プログラムを提供しても良い。
【０００８】
このような圧縮符号化装置または圧縮符号化プログラムによって行われる演算のうち、予測符号化処理と可変長符号化処理とを組み合わせた可逆圧縮符号化処理では、前述したように圧縮符号化前の画像データを完全に復元することができる可逆圧縮符号化データが生成される。しかし、可逆圧縮符号化処理の前段で行われる画素の間引きおよび補間は非可逆演算であるため、本発明に係る圧縮符号化装置またはプログラムによる画像データの圧縮符号化全体としては非可逆圧縮符号化である。このような非可逆圧縮符号化により得られた圧縮符号化データの復号化については、以下の手順で行えば良い。すなわち、当該非可逆圧縮符号化データに対して可変長符号化処理の逆演算である可変長復号化処理、予測符号化処理の逆演算である逆予測符号化処理、座標変換処理の逆演算である逆座標変換処理を順次施して第１色成分から第３色成分の各画素データを復元すれば良い。
【０００９】
ここで注目すべき点は、本発明に係る圧縮符号化装置または圧縮符号化プログラムによって行われる画像データの圧縮符号化処理を構成する演算のうちの可逆圧縮符号化処理は、従来のラインバッファ方式の画像処理デバイスにおける可逆圧縮符号化処理と共通するという点である。このため、本発明によれば、非可逆圧縮符号化データと可逆圧縮符号化データの両者のデコードを以下の要領で１つの画像処理デバイスに行わせることが可能になる。まず、スプライトパターンメモリには、予測符号化処理と可変長符号化処理とを併用した可逆圧縮符号化処理により得られた可逆圧縮符号化データと本発明に係る圧縮符号化装置により得られる非可逆圧縮符号化データの各々を格納しておく。そして、これらの圧縮符号化データのデコードを行う画像処理デバイスには以下の処理を行わせるのである。すなわち、スプライトパターンメモリから読み出した圧縮符号化データが可逆圧縮符号化データである場合には、従来と同様に可変長復号化処理と逆予測符号化処理とを順次行ってそのデコードを行う。これに対して、非可逆圧縮符号化データである場合には、可変長復号化処理、逆予測符号化処理、および逆座標変換処理を順次行って第１色成分から第３色成分の各画像データを復元するのである。なお、特許文献１には、直交変換と量子化と符号化とを併用した非可逆圧縮符号化技術において、圧縮符号化対象の画像を表す原画像信号に直交変換、量子化、逆量子化および逆直交変換を施して得られる画像信号（以下、準原画像信号）と上記原画像信号との差が小さい場合に、原画像信号に代えて準原画像信号を非可逆圧縮符号化し、この非可逆圧縮符号化による画質の劣化を最小限に抑える技術が開示されている。しかし、この特許文献１に開示された技術は、非可逆圧縮符号化データと可逆圧縮符号化データの両方のデコードを一つの装置で実現するものではない。
【００１０】
より好ましい態様においては、前記非可逆変換手段は、水平走査線方向に並んだ複数の画素についての前記予測誤差が少なくとも１つおきにゼロ（０）となるように前記縮小処理および前記拡張処理を実行することを特徴とする。詳細については後述するが、このような態様によれば、予測符号化処理にて予測誤差が連続して０となる可能性が高くなる。可変長符号化処理にてゼロランレングス符号化を採用するような態様においては、０となる予測誤差の連続数が大きくなるほど画像データの圧縮率を更に高めることが可能になる。
【００１１】
また、別の好ましい態様においては、前記非可逆変換手段は、前記縮小処理および前記拡張処理を施した画素データと前記縮小処理および前記拡張処理を施さなかった画素データの少なくとも１種類に対してビット数を削減する量子化処理を更に施すとともに、当該量子化処理を施した画素データの種類および削減したビット数を示す量子化モード信号を出力することを特徴とする。このような量子化処理を施すことによって、画像データの圧縮率を更に高めることが可能になる。なお、このような態様の圧縮符号化装置により圧縮符号化された圧縮符号化データを復号する復号装置の構成としては、以下のものが考えられる。すなわち、上記圧縮符号化データと前記量子化モード信号とを取得する取得手段と、前記取得手段により取得された圧縮符号化データに前記可変長符号化処理の逆演算である可変長復号化処理と前記予測符号化処理の逆演算である逆予測符号化処理とを施し、圧縮符号化前の前記３種類の画素データを復号する可逆復号手段と、前記可逆復号手段により得られた前記３種類の画素データのうち前記量子化モード信号の示す種類のものに対して、当該量子化モード信号の示すビット数分だけビット数を補間する逆量子処理を施して出力する逆量子化手段と、前記逆量子化手段による処理を経た前記３種類の画素データに対して、前記座標変換手段における演算の逆演算を施して第１色成分〜第３色成分を示す各画素データを復元する逆座標変換手段とを有することを特徴とする復号装置、である。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態である圧縮符号化装置１００および復号装置２００を含む画像データの圧縮符号化伝送システムの一例を示す図である。
【図２】同圧縮符号化装置１００が実行する縮小処理１３１における画素の間引き、および拡張処理１３２における画素の補完について説明するための図である。
【図３】同圧縮符号化装置１００が実行する予測符号化処理１４１の内容を示す図である。
【図４】同予測符号化処理１４１にて算出される予測誤差の一例を示す図である。
【図５】同圧縮符号化装置１００が実行する予測誤差変換処理１４２の内容を示す図である。
【図６】予測誤差の構成ビット数（符号ビットを除く）が６ビットである場合を例に予測誤差変換処理１４２の処理内容を詳細に示す図である。
【図７】同圧縮符号化装置１００が実行する可変長符号化処理１４３にて使用される変換テーブルを示す図である。
【図８】本実施形態の効果を説明するための図である。
【図９】本発明の一実施形態である画像処理ＬＳＩ３００の構成例を示す図である。
【図１０】圧縮符号化情報の一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照しつつ本発明の実施形態について説明する。
図１は、本発明の一実施形態である圧縮符号化装置１００と復号装置２００とを含み、画像データの非可逆圧縮符号化伝送を行うシステムの構成例を示す図である。圧縮符号化装置１００は、入力された画像データに非可逆圧縮符号化を施して非可逆圧縮符号化データを生成する。ここで、画像データとは、画像を構成する複数の画素の各々の色を第１色成分から第３色成分（本実施形態では、Ｒ、ＧおよびＢの３つの色成分）の強度で表す画素データの集合体であり、本実施形態では、各色成分の強度を０から２５５の値（すなわち、８ビットのデータ：したがって、1画素あたり３×８＝２４ビットのデータ）で表現するものが用いられる。図１に示すシステムにおいては、圧縮符号化装置１００により生成される非可逆圧縮符号化データをＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などの記録媒体に書き込んで配布したり、インターネットなどの電気通信回線経由のダウンロードで配布したりすることで画像データの非可逆圧縮符号化伝送が実現される。図１の復号装置２００は、上記のようにして伝送される非可逆圧縮符号化データに復号化を施し、画像データを復元する装置である。
【００１４】
まず、圧縮符号化装置１００について説明する。
図１の圧縮符号化装置１００は、例えばＤＳＰ（Digital Signal Processor）などのコンピュータである。この圧縮符号化装置１００には、本実施形態の非可逆圧縮符号化処理をコンピュータに実行させるプログラム（以下、非可逆圧縮符号化プログラム）が予めインストールされている。圧縮符号化装置１００は、この非可逆圧縮符号化プログラムにしたがって、本実施形態の特徴を顕著に示す非可逆圧縮符号化処理を実行する。図１に示すように、この非可逆圧縮符号化処理は、色成分分離処理１１０、座標変換処理１２０、非可逆変換処理１３０、および、可逆圧縮符号化処理１４０を含んでいる。なお、本実施形態では、これら各処理をソフトウェアで実現するが、色成分分離処理１１０を実行する色成分分離手段、座標変換処理１２０を実行する座標変換手段、非可逆変換処理１３０を実行する非可逆変換手段、および可逆圧縮符号化処理１４０を実行する可逆圧縮符号化手段の各々を電子回路で構成し、これら各手段を組み合わせて圧縮符号化装置１００を構成しても勿論良い。
【００１５】
色成分分離処理１１０は、圧縮符号化装置１００による圧縮符号化の対象となる画像データ（以下、原画像データ）をＲ、ＧおよびＢの各色成分の画像データに分離する処理である。Ｒ成分の画像データとは、原画像データの表す画像（以下、原画像）を構成する各画素のＲ成分の強度を表す8ビットの画素データの集合体であり、Ｇ成分の画像データは、原画像を構成する各画素のＧ成分の強度を表す8ビットの画素データの集合体、Ｂ成分の画像データは、原画像を構成する各画素のＢ成分の強度を表す8ビットの画素データの集合体である。
【００１６】
本実施形態の座標変換処理１２０は、ＲＧＢ表色系の画像データからＹＣｂＣｒ表色系の画像データへの変換（すなわち、色空間の変換）処理である。この座標変換処理１２０では、Ｒ成分、Ｇ成分およびＢ成分の各画像データから、以下の式（１）にしたがってＹ成分、Ｃｂ成分およびＣｒ成分の画像データが生成される。なお、以下の式（１）において、Ｒ，ＧおよびＢの各々は、Ｒ成分、Ｇ成分およびＢ成分の各画素データであり、Ｙ，ＣｂおよびＣｒの各々は、Ｙ成分、Ｃｂ成分およびＣｒ成分の各画素データである。このような変換を行う理由については後に明らかにする。
Ｙ ＝ ０．２５７×Ｒ＋０．５０４×Ｇ＋０．０９８×Ｂ＋１６
Ｃｂ＝−０．１４８×Ｒ−０．２９１×Ｇ＋０．４３９×Ｂ＋１２８
Ｃｒ＝ ０．４３９×Ｒ−０．３６８×Ｇ−０．０７１×Ｂ＋１２８
・・・（１）
【００１７】
非可逆変換処理１３０は、可逆圧縮符号化処理１４０における圧縮率を高めるためにその前段で行われる処理である。図１に示すように、非可逆変換処理１３０は、縮小処理１３１、拡張処理１３２、および量子化処理１３３を含んでいる。
図１に示すように、縮小処理１３１および拡張処理１３２においては、座標変換処理１２０により生成される３種類の新たな画像データのうちＣｂ成分およびＣｒ成分の画像データのみが処理対象となる。縮小処理１３１は、図２（Ａ）に示すように、Ｃｂ成分およびＣｒ成分の画像データを２×２画素のマトリクス状に区分けし、各マトリクスにて左上隅の画素に対応する画素データを除く３つの画素データを削除する処理（すなわち、４画素当たり３画素の割合で画素を間引く処理）である。一方、拡張処理１３２は、図２（Ｂ）に示すように、縮小処理１３１にて間引かれなかった画素データ（上記２×２画素のマトリクスにて左上隅に位置する画素の画素データ）を用いて上記間引いた画素データを補間する処理である。ここで注目すべき点は、画像データの圧縮率を向上させるという観点から言えば、図２（Ａ）に示すＹＣｂＣｒ４１１形式の画像データを圧縮符号化する場合のほうが、図２（Ｂ）に示すＹＣｂＣｒ４４４形式の画像データを圧縮符号化する場合に比較して圧縮率が高くなるにも関わらず拡張処理１３２を行ってＹＣｂＣｒ４１１形式の画像データをＹＣｂＣｒ４４４形式の画像データに変換している点である。このような変換を行う理由については、復号装置２００における処理の説明にて明らかにする。なお、非可逆変換処理１３０においてＹ成分の画像データに対して縮小処理１３１および拡張処理１３２を施さないのは、Ｙ成分の画像データは各画素の輝度を表すものであり、画素データの間引きを行ってしまうと画質の劣化が顕著に現れるからである。また、本実施形態にてＲＧＢ表色系の画像データを座標変換処理１２０によりＹＣｂＣｒ表色系の画像データに変換した後に非可逆変換処理１３０を施すようにしたのも、上記縮小処理１３１、拡張処理１３２および量子化処理１３３による画質の劣化を回避するためである。
【００１８】
量子化処理１３３は、Ｙ成分、Ｃｂ成分およびＣｒ成分の画像データの何れか、或いは全てを処理対象とし、処理対象の画像データを構成する各画素データのビット数を削減する処理である。表１は量子化処理１３３にて参照される量子化モードテーブルの一例を示すものである。この量子化モードテーブルについては、非可逆圧縮符号化プログラムに予め埋め込んでおいても良く、また、非可逆圧縮符号化プログラムとは別個に圧縮符号化装置１００に記憶させておいても良い。表１に示すように量子化モードテーブルには、量子化モードを示すモード値（本実施形態では、０〜６までの６種類の値、なお、モード値＝０は量子化処理１３３を施さないことを示す）に対応付けてそのモード値の示す量子化モードにおける各成分の削減ビット数を規定する量子化係数（表１では、Ｙ成分量子化係数、Ｃｂ成分量子化係数およびＣｒ成分量子化係数）が格納されている。量子化処理１３３では、予め設定されたモード値（或いは、外部から与えられる量子化モード信号の示すモード値）に対応する量子化係数が量子化モードテーブルから読み出され、その量子化係数に応じたビット数分の右論理シフトを該当する成分の画素データに施すことで、そのモード値に応じた量子化が実現される。
【表１】
【００１９】
例えば、モード値＝１が予め設定されている場合には、Ｙ成分の画像データに対してのみ、画素データのビット数を１ビット削減する処理（１ビットの右論理シフト）が施され、モード値＝２が予め設定されている場合には、Ｙ成分、Ｃｂ成分およびＣｒ成分の各画像データに対して画素データのビット数を１ビット削減する処理が施される。図１に示すように、本実施形態では、非可逆変換処理１３０を経た画像データに対して可逆圧縮符号化処理１４０が施され、その処理結果である非可逆圧縮符号化データが復号装置２００による復号化の対象となる。後述するように可逆圧縮符号化処理１４０は予測符号化と可変長符号化とを併用した典型的な可逆演算であるが、その前段で各々非可逆演算からなる非可逆変換処理１３０が施されるため、圧縮符号化装置１００における圧縮符号化演算は全体として非可逆演算となるのである。また、本実施形態では、図１に示すように、量子化処理１３３における量子化モードのモード値を示す量子化モード信号が圧縮符号化装置１００から復号装置２００に与えられる。この量子化モード信号は、復号装置２００にて上記量子化処理の逆演算である逆量子化処理を行う際に利用される。
【００２０】
可逆圧縮符号化処理１４０は、図１に示すように、予測符号化処理１４１、予測誤差変換処理１４２、および、可変長符号化処理１４３を含んでいる。予測符号化処理１４１では、図３に示すように、圧縮符号化対象の画像を構成する各画素の中から対象画素Ｘがラスタスキャン順に選択される。そして、対象画素Ｘの近傍の画素の画素データから対象画素についての画素データの予測値Ｍｘが算出され、この予測値Ｍｘと対象画素の画素データの実際値との差分である予測誤差Ｘ−Ｍｘが算出される。
【００２１】
具体的には、予測符号化処理１４１では、次のアルゴリズムに従って、予測値Ｍｘが算出される。まず、対象画素Ｘの左隣の画素Ｘａの画素データがＸａ、対象画素の直上の画素Ｘｂの画素データがＸｂ、対象画素の左上の画素Ｘｃの画素データがＸｃである場合において、これらの３つの画素データの最大値ｍａｘ（Ｘａ、Ｘｂ、Ｘｃ）を求め、Ｘｃ＝ｍａｘ（Ｘａ、Ｘｂ、Ｘｃ）であるか否かを判断する。この判断結果が肯定的である場合において、Ｘｂ＜Ｘａであれば、予測値ＭｘをＸｂとし、Ｘａ＜Ｘｂであれば予測値ＭｘをＸａとする。一方、Ｘｃ＝ｍａｘ（Ｘａ、Ｘｂ、Ｘｃ）でない場合、３つの画素データの最小値ｍｉｎ（Ｘａ、Ｘｂ、Ｘｃ）を求め、Ｘｃ＝ｍｉｎ（Ｘａ、Ｘｂ、Ｘｃ）であるか否かを判断する。この判断結果が肯定的である場合において、Ｘｂ＞Ｘａであれば、予測値ＭｘをＸｂとし、Ｘａ＞Ｘｂであれば予測値ＭｘをＸａとする。そして、Ｘｃ＝ｍａｘ（Ｘａ、Ｘｂ、Ｘｃ）でもなく、Ｘｃ＝ｍｉｎ（Ｘａ、Ｘｂ、Ｘｃ）でもない場合、すなわち、Ｘｃ＞ｍｉｎ（Ｘａ、Ｘｂ、Ｘｃ）であり、かつ、Ｘｃ＜ｍａｘ（Ｘａ、Ｘｂ、Ｘｃ）である場合、Ｍｘ＝Ｘａ＋Ｘｂ−Ｘｃを予測値Ｍｘとする。そして、このようにして得られる予測値Ｍｘと対象画素Ｘの画素データの実際値との差分である予測誤差Ｘ−Ｍｘを算出するのである。
【００２２】
さて、予測符号化処理１４１においては、上記の要領で予測誤差の算出が行われるのであるが、本実施形態では、前述した非可逆変換処理１３０により、Ｃｂ成分の画像データとＣｒ成分の画像データは、図４に示すように、同一の値を有する４個の画素データがマトリクス状に並ぶように変換されている。このため、上記マトリクス状に並んだ４つの画素のうち右下隅に位置するものの予測誤差は必ずゼロとなる。詳細については後述するが、予測誤差がゼロとなる画素が多いほど、圧縮符号化データのデータサイズは小さくなる（換言すれば、圧縮率は高くなる）。
【００２３】
予測誤差変換処理１４２は、予測符号化処理１４１により算出される予測誤差の符号ビットを反転すると当該予測誤差の絶対値が減少する場合に当該予測誤差の符号ビットを反転させる処理である。この予測誤差変換処理１４２が行う変換処理の内容は、予測誤差の構成ビット数、すなわち、圧縮符号化の対象となる画像データを構成する各画素データの構成ビット数により異なったものとなる。図５は、予測誤差の構成ビット数（符号ビットを除く）が８ビット、６ビット、５ビット、４ビットの各場合について、入力データである予測誤差と予測誤差変換処理１４２を経た出力データとの関係を示したものである。なお、図５では、符号を反転した場合に絶対値が小さくなる入力データのみについて入力データと出力データとの関係が示されており、符号を反転した場合に絶対値が小さくならない入力データ（すなわち、符号反転されることなくそのまま出力データとなる入力データ）については、入力データと出力データとの関係の図示は省略されている。
【００２４】
図６は、予測誤差の構成ビット数（符号ビットを除く）が６ビットである場合について、予測誤差変換処理１４２の入力データと出力データとの関係を示している。この図において、矢印は変換の方向を示している。本実施形態において取り扱う各成分の画素データおよび予測誤差等の２進の数値データは、２の補数形式で負の数の表現を行う。この場合において、予測誤差の構成ビット数（符号ビットを除く）が６ビットであるとすると、正の値では絶対値が３２以上の予測誤差は符号ビットを反転したときの絶対値が元の絶対値以下になる。そこで、絶対値が２６−１＝３２以上の正の予測誤差は符号ビットの反転を行う。また、負の値でも絶対値が３２以上の予測誤差（すなわち、−３２以下の負の値）は符号ビットを反転したときの絶対値が元の絶対値以下となる。そこで、絶対値が３２以上の負の予測誤差は符号ビットの反転を行う。予測誤差の構成ビット数が異なる他の場合についても同様であり、図５に示すように、予測誤差の構成ビット数が８ビットである場合には絶対値が２８−１＝１２８以上である予測誤差が符号反転の対象となり、予測誤差の構成ビット数が５ビットである場合には絶対値が２５−１＝１６以上である予測誤差が符号反転の対象となり、予測誤差の構成ビット数が４ビットである場合には絶対値が２４−１＝８以上である予測誤差が符号反転の対象となる。
【００２５】
可変長符号化処理１４３は、予測誤差変換処理１４２を経た予測誤差を可変長符号に変換する処理である。上述したように、予測符号化処理１４１では、圧縮符号化の対象となる画像を構成する各画素の中からラスタスキャン順に対象画素Ｘが選択され、予測誤差が算出される。本実施形態では、予測符号化処理１４１によりラスタスキャン順に算出される予測誤差に対してそのままの順序で予測誤差変換処理１４２および可変長符号化処理１４３が施され、可変長符号に変換される。このようにして得られる可変長符号の集合体が、圧縮符号化装置１００の出力データたる非可逆圧縮符号化データとなるのである。
【００２６】
図７は、可変長符号化処理１４３において、予測誤差を可変長符号に変換する際に参照される変換テーブルの内容を示す図である。この変換テーブルについても、前述した量子化モードテーブルと同様に非可逆圧縮符号化プログラムに埋め込んでおいても良く、また、非可逆圧縮符号化プログラムとは別個に圧縮符号化装置１００に記憶させておいても良い。図７において、符号化対象は、予測誤差変換処理１４２を経た予測誤差である。Ｓは符号長が同じである可変長符号に割り当てられた可変長符号のグループ番号である。１つの可変長符号は、符号と付加ビットとにより構成されている。ここで、符号は、その可変長符号が属するグループを他のグループと区別するための識別情報である。また、付加ビットは、ある符号を持った可変長符号のグループ内において、各可変長符号を他の可変長符号と区別するための識別情報である。
【００２７】
図７に示すように、０以外の絶対値を持った符号化対象は、絶対値が小さいもの程、少ないビット長の符号および付加ビットからなる可変長符号に変換される。例えば絶対値が１である２種類の符号化対象−１、１は、符号０１が割り当てられたグループ番号Ｓ＝１の可変長符号に変換され、２種類の符号化対象−１、１の各々付加ビット０、１により区別される。また、絶対値が２〜３の範囲に属する４種類の符号化対象−３、−２、２、３は、符号１０が割り当てられたグループ番号Ｓ＝２の可変長符号に変換され、４種類の符号化対象−３、−２、２、３は各々付加ビット００、０１、１０、１１により区別される。以下、同様であり、符号化対象は、各々連続した絶対値を持ったグループに分けられ、大きな絶対値を持った符号化対象のグループ程、ビット長の大きな符号が割り当てられる。また、絶対値が２５６である符号化対象のグループを除き、大きな絶対値を持った符号化対象のグループ程、グループを構成する符号化対象の個数は大きくなり、それらを区別するための付加ビットのビット長も長くなる。なお、本実施形態で取り扱う予測誤差の構成ビット数（符号ビットを除く）は最大８ビットであり、−２５６および２５６は、いずれもオーバーフロー状態を表わす。従って、−２５６および２５６は、符号が１１１１１１１１０であり、付加ビットのない同じ可変長符号に変換される。
【００２８】
絶対値が０である符号化対象は、ＺＲＬ（Zero Run Length）、すなわち、０の連続長が可変長符号に変換される。例えばＺＲＬ＝１は、符号０００が割り当てられたグループ番号Ｓ＝９の可変長符号に変換される。また、２〜３の範囲に属する２種類のＺＲＬ＝２、３は、符号００１０が割り当てられたグループ番号Ｓ＝１０の可変長符号に変換され、２種類のＺＲＬ＝２、３は各々付加ビット０、１により区別される。また、４〜７の範囲に属する４種類のＺＲＬ＝４、５、６、７は、符号００１１０が割り当てられたグループ番号Ｓ＝１１の可変長符号に変換され、４種類のＺＲＬ＝４、５、６、７は各々付加ビット００、０１、１０、１１により区別される。以下、同様であり、ＺＲＬは、各々連続したＺＲＬからなるグループに分けられ、大きなＺＲＬのグループ程、ビット長の大きな符号が割り当てられる。また、大きなＺＲＬのグループ程、グループを構成するＺＲＬの個数は大きくなり、それらを区別するための付加ビットのビット長も長くなる。さらに本実施形態では、圧縮率を高めるために、ＡＬＬ０という予測誤差の発生形態が想定されている。このＡＬＬ０は、着目している画素の予測誤差が０であり、かつ、その画素が属するラインのその画素以降の全ての画素の予測誤差が０である状態である。本実施形態においてこのＡＬＬ０は、符号が００１１１０であり、付加ビットのない可変長符号に変換される。前述したように、本実施形態では、Ｃｂ成分画像データおよびＣｒ成分画像データについては縮小処理１３１および拡張処理１３２を施すことによって、水平走査線方向に並んだ複数の画素の予測誤差は、必ず１つおきに０になり、０の連続長が長くなり易くなっている。このため、本実施形態では、ＺＲＬを利用して効率的に可変長符号化を行い、圧縮率を高めることができると期待されるのである。
以上が本実施形態による圧縮符号化装置１００の詳細である。
【００２９】
図８は、幾つかのサンプル動画像を用いて行った圧縮符号化装置１００についての圧縮性能評価の評価結果を示す図である。図８（Ａ）から図８（Ｃ）では、２４ビットフルカラーのサンプル動画像（各画素の色をＲ、ＧおよびＢの各成分の強度で表し、各成分の強度を各々8ビット、合計２４ビットで表した動画）を可逆圧縮（図８では、「２４ＬＳ」と表記）した場合、モード値＝０〜６の各量子化モードで本実施形態の非可逆圧縮符号化を行った場合、および２４ビットフルカラーの動画像を8ビットに減色して可逆圧縮符号化を施した場合の各々における動画の進行に伴う圧縮率の推移が表されている。図８（Ａ）は、サンプル動画像が人物と器物を含む動画像（本性能評価では、走行中のバイクについての動画）である場合の圧縮率の推移を、図８（Ｂ）はサンプル動画像が所謂アニメメーション的な絵柄の動画像である場合の圧縮率の推移を、図８（Ｃ）はサンプル動画像が風景画のような動画像（本性能評価では、さんご礁を泳ぎ回る魚の動画）である場合の圧縮率の推移を表すグラフである。なお、図８（Ａ）、図８（Ｂ）および図８（Ｃ）の各グラフにおいて縦軸は圧縮率であり、横軸は動画を構成するフレームのフレーム番号である。
【００３０】
図８（Ａ）、図８（Ｂ）および図８（Ｃ）の各々を参照すれば明らかなように、何れの場合においても、２４ビットフルカラーの動画像を各画素の色を8ビットで表す動画に減色して可逆圧縮符号化を施した場合（図８では、「２４→８LS」と表記）と、モード値＝２の量子化（表１を参照すれば明らかように、Ｙ成分およびＣｂ成分の各画素データを1ビット削減する量子化）を施した場合とでは、サンプル動画を構成する全てのフレームに亘って略等しい圧縮率が得られていることが判る。ここで、２４ビットフルカラーの動画像を8ビットに減色して可逆圧縮符号化を施した場合を評価基準としたのは、液晶ディスプレイなどの一般的な表示装置で表示可能な階調数は、8ビット２５６階調であることが多く、上記のような減色が行われる頻度は非常に高いと考えられるからである。また、本実施形態の非可逆圧縮符号化方式を画質面から評価すると、上記各サンプル動画像に対してモード値＝２の量子化を施した場合には、原画像に対して殆ど画質の劣化が感知されないことが判明した。つまり、本実施形態の圧縮符号化装置１００によれば、画質の劣化を最小限に抑えつつ、２４ビット→8ビット減色＋可逆圧縮符号化を行った場合と同等の圧縮率を実現することができるのである。もっとも、２４ビット→8ビット減色＋可逆圧縮符号化の場合は、カラーパレットデータが必要になるため、このカラーパレットデータも含めて圧縮符号化後の画像データのデータサイズを計算すると、モード値＝２の本実施形態の非可逆圧縮符号化のほうが高い圧縮率を得られると言える。
【００３１】
次に復号装置２００について説明する。
復号装置２００も、圧縮符号化装置１００と同様のＤＳＰなどのコンピュータに本実施形態の復号処理を実現するプログラム（以下、復号プログラム）をインストールしたものである。復号装置２００は、この復号プログラムにしたがって、可逆復号処理２１０、逆量子化処理２２０、逆座標変換処理２３０、および色成分結合処理２４０を実行する。なお、本実施形態では、これら各処理をソフトウェアで実現するが、可逆復号処理２１０を実行する可逆復号手段、逆量子化処理２２０を実行する逆量子化手段、逆座標変換処理２３０を実行する逆座標変換手段、および、色成分結合処理２４０を実行する色成分結合手段の各々を電子回路で構成し、これら各手段を組み合わせて復号装置２００を構成しても勿論良い。
【００３２】
図１に示すように、可逆復号処理２１０は、可変長復号化処理２１１と逆予測符号化処理２１２とを含んでいる。可変長復号化処理２１１は、前述した可変長符号化処理１４３の逆演算であり、可変長符号化処理１４３にて用いているものと同じ変換テーブルを使用し、符号と付加ビットとからなる可変長符号を可変長符号化前の予測誤差に戻す処理である。一方、逆予測符号化処理２１２は、予測符号化処理１４１の逆演算に相当する処理である。この逆予測符号化処理２１２では、可変長復号化処理２１１により得られる予測誤差から、その予測誤差に応じた成分の画像データ（すなわち、Ｙ成分、Ｃｂ成分およびＣｒ成分の各画像データ）への変換が行われる。さらに詳述すると、Ｙ成分、Ｃｂ成分およびＣｒ成分のうちのある成分に関し、図３に示す３個の画素Ｘｃ、Ｘｂ、Ｘａの画素データが既に復号化されている状態において、画素Ｘの予測誤差が可変長復号化処理２１１により得られた場合、この逆予測符号化処理２１２では、予測符号化処理１４１と同様なアルゴリズムに従い、画素Ｘｃ、Ｘｂ、Ｘａの各画素データから画素Ｘの画素データの予測値ＭＸが算出される。そして、この予測値ＭＸに画素Ｘの予測誤差を加算することにより画素Ｘの画素データが算出されるのである。圧縮符号化装置１００から出力される非可逆圧縮符号化データに対して可逆復号処理２１０を施すことにより、圧縮符号化装置１００にて可逆圧縮符号化処理１４０が施される前の画像データ（すなわち、量子化処理１３３を経たＹＣｂＣｒ表色系の画像データ）が完全に復元されるのである。
【００３３】
本実施形態では、前掲式（１）にしたがって生成されるＹ成分、Ｃｂ成分およびＣｒ成分の各画素データは正の値を有し、これら各画素データに量子化処理１３３を施して得られるデータも０以上の値を有する。そこで、逆予測符号化処理２１２では、予測符号化前の各成分の画素データが正の値であることを前提とし、予測値ＭＸと予測誤差の加算結果において符号ビットを除く部分を復号結果たる各成分の画素データとする。従って、本実施形態では、予測誤差における符号ビットを除く部分の内容が同じであれば、予測誤差が符号ビット“０”を有する正の値であるか符号ビット“１”を有する負の値であるかによらず、その予測誤差から同じ画素データが復元される。圧縮符号化装置１００にて予測誤差変換処理１４２を行うのは、予測誤差の符号ビットの“１”／“０”が復号結果に影響を与えないという点を利用し、可変長符号化処理１４３における符号化対象（予測誤差）をより絶対値の小さな値とし、変換後の可変長符号のビット長を短くする（すなわち、圧縮符号化データのデータ量を削減し、圧縮率を高める）ためである。この点に関し、一例を挙げて説明すると、次のようになる。
【００３４】
まず、Ｙ成分、Ｃｂ成分およびＣｒ成分の各画像データおよび予測誤差の構成ビット数（符号ビットを除く）が６ビットであり、図７における対象画素Ｘの画素データが５９ｄ（ｄは１０進）、予測値が１０ｄ、予測誤差が４９ｄ＝０１１０００１ｂ（ｂは２進。先頭の“０”は符号ビット）であったとする。ここで、仮に予測誤差変換処理１４２を行わなかったとすると、圧縮符号化装置１００および復号装置２００の処理内容は次のようになる。まず、圧縮符号化装置１００が実行する可変長符号化処理１４３では、図７に示す変換テーブルに従い、予測誤差４９ｄはグループ番号Ｓ＝６のグループに属する符号１１１１１０および付加ビット１１０００１からなる１２ビットの可変長符号に変換されて出力される。復号装置２００が実行する可変長復号化処理２１１においては、この可変長符号が予測誤差４９ｄに変換される。そして、逆予測符号化処理２１２では、次式に示すように、予測値である１０ｄ＝０００１０１０ｂと予測誤差である４９ｄ＝０１１０００１ｂの２進加算が行われ、対象画素Ｘの画素データ５９ｄが復元される。
０００１０１０ｂ＋０１１０００１ｂ＝０１１１０１１ｂ
＝５９ｄ
……（２）
【００３５】
これに対し、予測誤差変換処理１４２を含む圧縮符号化を行う場合の圧縮符号化装置１００と復号装置２００の処理内容は次のようになる。まず、図６に示すように、予測誤差である４９ｄは、２進数に変換すると、０１１０００１ｂ（ｂは２進。先頭の“０”は符号ビット）となる。この２進数の先頭の符号ビットを“０”から“１”に反転すると、図７に示すように、符号ビットの反転後の２進数１１１０００１ｂに対応した１０進数は−１５ｄとなり、符号ビットの反転前の４９ｄよりも絶対値の小さな値となる。そこで、圧縮符号化装置１００が実行する予測誤差変換処理１４２の出力データは、符号ビットを反転した予測誤差１１１０００１ｂ＝−１５ｄとなる。この予測誤差変換処理１４２に後続する可変長符号化処理１４３は、図７の変換テーブルに従い、この予測誤差１１１０００１ｂ＝−１５ｄは、グループ番号Ｓ＝４のグループに属する符号１１１０および付加ビット００００からなる８ビットの可変長符号に変換され、出力される。復号装置２００が実行する可変長復号化処理２１１では、この可変長符号が予測誤差１１１０００１ｂ＝−１５ｄに変換される。そして、この可変長復号化処理２１１に後続する逆予測符号化処理２１２では、次式に示すように、予測値である１０ｄ＝０００１０１０ｂと予測誤差である−１５ｄ＝１１１０００１ｂの２進加算が行われる。
０００１０１０ｂ＋１１１０００１ｂ＝１１１１０１１ｂ ……（３）
【００３６】
そして、逆予測符号化処理２１２では、この加算結果１１１１０１１ｂの先頭の符号ビット“１”が無視され、対象画素Ｘの画素データを、１１１０１１ｂ＝５９ｄとする。このように、復号結果である画素データは予測値と予測誤差の構成ビットのうち符号ビットを除く部分のみにより決定される。そこで、本実施形態における圧縮符号化装置１００では、予測誤差の符号ビットを反転させた場合において予測誤差の絶対値が小さくなる場合には、予測誤差変換処理１４２にて予測誤差の符号反転を行った後に可変長符号化処理１４３を施し、圧縮符号化データを構成する可変長符号のビット長を短縮しているのである。
以上が可逆復号処理２１０の処理内容である。
ここで、注目すべき点は、可逆復号処理２１０は、予測符号化と可変長符号化とを併用した圧縮符号化アルゴリズムにより可逆圧縮符号化された画像データを復号する処理と何ら変わらないという点である。このため、可逆復号処理２１０を実行するデコード回路（図１では図示略）としては、予測符号化と可変長符号化とを併用した圧縮符号化アルゴリズムにより可逆圧縮符号化された画像データのデコードを行う従来のものをそのまま用いることができる。したがって、本実施形態の復号装置２００によれば、圧縮符号化装置１００により得られた非可逆圧縮符号化データのデコードと上記可逆圧縮符号化データのデコードの両方を行うことができるのである。仮に圧縮符号化装置１００側で拡張処理１３２が行われていないとしたならば、この拡張処理１３２に相当する処理を復号装置２００側で行う必要があり、従来のデコード回路をそのまま用いることはできず、何らかの変更を加えなければならない。また、ラインバッファ方式の画像処理ＬＳＩに組み込まれる場合のように、ライン単位でデコードを行う必要がある場合には、ラインをまたぐ拡張処理は複雑なものとなるため、デコード回路に加える変更も複雑なものとなってしまう。本実施形態では、圧縮符号化装置１００側で拡張処理１３２を行うようにしたため、予測符号化と可変長符号化とを併用した圧縮符号化アルゴリズムにより可逆圧縮符号化された画像データのデコードを行うデコード回路をそのまま用いて復号装置２００を構成することができ、これが圧縮符号化装置１００にて拡張処理１３２を行う理由である。
【００３７】
逆量子化処理２２０は、前述した量子化処理１３３の逆演算であり、量子化処理１３３にて構成ビットの削減が行われた画素データについてその構成ビットを補間する処理である。前述したように、圧縮符号化装置１００で行われる量子化処理１３３にて構成ビットの削除が行われる画素データおよび削除されるビット数は、圧縮符号化装置１００から復号装置２００へ送られる量子化モード信号の信号値で表される。この逆量子化処理２２０では、上記量子化モード信号の信号値に応じて、以下の表２に示す要領で各成分の画像データの補間が行われる。
【表２】
【００３８】
例えば、モード値＝１の場合、圧縮符号化装置１００が実行する量子化処理１３３では、Ｙ成分の画素データの構成ビット数は、１ビット削減され、７ビットとなっている（表２では、Ｙ[６：０]と表記）。これに対して、復号装置２００が実行する逆量子化処理２２０では、Ｙ成分の画素データの最上位ビットから上記削除したビット数分のビット（この例では、Ｙ[６]）を、その最下位ビットの後ろに付加することで、Ｙ成分の画素データの構成ビット数は８ビットに復元されるのである。
【００３９】
逆量子化処理２２０に後続して実行される逆座標変換処理２３０は、前述した座標変換処理１２０の逆演算であり、ＹＣｂＣｒ表色系の画像データをＲＧＢ表色系の画像データに変換する処理である。この逆座標変換処理２３０では、逆量子化処理２２０を経たＹ成分、Ｃｂ成分およびＣｒ成分の各画像データを用いて以下の式（４）に示す演算を行うことにより、Ｒ成分、Ｇ成分およびＢ成分の各画像データへの変換が行われる。
Ｒ＝１．１６４×（Ｙ−１６）＋１．５９６×（Ｃｒ−１２８）
Ｇ＝１．１６４×（Ｙ−１６）−０．３９１×（Ｃｂ−１２８）−０．８１３×（Ｃｒ−１２８）
Ｂ＝１．１６４×（Ｙ−１６）＋２．０１８×（Ｃｂ−１２８）
・・・（４）
【００４０】
そして、色成分結合処理２４０は、色成分分離処理１１０の逆演算であり、逆座標変換処理２３０を経たＲ成分、Ｇ成分およびＢ成分の各画像データから、原画像データと同一形式の画像データを復元する処理である。
以上が本実施形態による圧縮符号化装置１００および復号装置２００の詳細である。
【００４１】
次いで、圧縮符号化装置１００により圧縮符号化された画像データのデコードを行う他の実施形態について説明する。
図９は、本発明の他の実施形態であるラインバッファ方式の画像処理ＬＳＩ３００の構成例を示すブロック図である。この画像処理ＬＳＩ３００は、例えばゲーム機などに組み込まれ、そのゲーム機の制御中枢として機能するＣＰＵ（Central Processing Unit）４０２による制御下でゲームキャラクタ等を表すスプライト画像をモニタ４０３に表示させるものである。より詳細に説明すると、図９のスプライトパターンメモリ４０１には、スプライトの画像データに可逆圧縮符号化（本実施形態では、予測符号化処理１４１、予測誤差変換処理１４２および可変長符号化処理１４３を併用した圧縮符号化処理）を施して得られる可逆圧縮符号化データと、スプライトの画像データに圧縮符号化装置１００による非可逆圧縮符号化を施して得られる非可逆圧縮符号化データが格納されている。画像処理ＬＳＩ３００は、ＣＰＵ４０２による制御の下、可逆圧縮符号化データ或いは非可逆圧縮符号化データ（以下、両者を「圧縮符号化データ」と総称する場合がある）をスプライトパターンメモリ４０１から読み出し、その圧縮符号化方式に対応したデコード方式で復号し、その復号結果である画像データに応じたスプライト画像をライン単位でモニタ４０３に表示させるものである。なお、図９では、画像処理ＬＳＩ３００を構成する要素のうち、圧縮符号化データの復号化および再生に関与している部分のみが図示されており、それ以外の要素の図示は省略されている。
【００４２】
スプライトパターンメモリ４０１は、複数種類のスプライト画像の各々の圧縮符号化データを記憶したメモリであり、例えばＲＯＭ（Read Only Memory）により構成されている。
【００４３】
画像処理ＬＳＩ３００において、ＣＰＵＩ／Ｆ（インタフェース）３０１は、ＣＰＵ４０２から制御情報を受け取る装置である。記憶部３０２は、ＣＰＵＩ／Ｆ３０１を介してＣＰＵ４０２から与えられる制御情報を記憶する装置であり、例えばＲＡＭ（Random Access Memory）により構成されている。ＣＰＵ４０２から記憶部３０２に与えられる制御情報には、復号化および再生の対象であるスプライト画像の圧縮符号化データのスプライトパターンメモリ４０１内の格納先アドレス、モニタ４０３の表示画面におけるスプライト画像の表示位置、スプライト画像の拡大・縮小に関する指示、圧縮符号化情報等が含まれる。図１０に示すように、圧縮符号化情報には、その圧縮符号化情報に対応する圧縮符号化データの圧縮符号化方式を示す符号化方式識別子が含まれている。また、非可逆圧縮符号化データについての圧縮符号化情報には、その非可逆圧縮符号化データを得る際の量子化処理１３３における量子化モードを示すモード識別子も含まれている。
【００４４】
制御部３０３は、記憶部３０２に記憶された制御情報に従って画像処理ＬＳＩ３００内の各部の制御を行う制御中枢である。パターンメモリＩ／Ｆ３０４は、制御部３０３による制御の下、記憶部３０２に記憶された制御情報に含まれている格納先アドレスの示す記憶領域に格納されている圧縮符号化データをスプライトパターンメモリ４０１から取得する取得手段の役割を果たす。パターンデータデコーダ３０５は、前述した可逆復号処理２１０を実行する装置である。このパターンデータデコーダ３０５は、制御部３０３による制御の下、スプライトパターンメモリ４０１からパターンメモリＩ／Ｆ３０４を介してスプライト画像の圧縮符号化データを受け取り、可変長復号化処理２１１および逆予測符号化処理２１２を行う。例えば、スプライトパターンメモリ４０１からパターンデータデコーダ３０５に与えられる圧縮符号化データが可逆圧縮符号化データである場合には、可変長復号化処理２１１および逆予測符号化処理２１２を経て可逆圧縮符号化前の画像データ（ＲＧＢ表色系の画像データ）が完全に復元され出力されることとなる。一方、非可逆圧縮符号化データがパターンデータデコーダ３０５に与えられる場合には、オリジナルの画像データ（ＲＧＢ表色系の画像データ）に色成分分離処理１１０、座標変換処理１２０、非可逆変換処理１３０および量子化処理１３３を順次施して得られる画像データ（ＹＣｂＣｒ表色系の画像データ）が復元されることになる。
【００４５】
パターンデータデコーダ３０５から出力される画像データがＲＧＢ表色系のものである場合、この画像データはスプライトレンダリングプロセッサ３０８によるレンダリングを経て１ライン分ずつラインバッファ３０９Ａ（或いは、３０９Ｂ）に格納される。一方、パターンデータデコーダ３０５から出力される画像データがＹＣｂＣｒ表色系のものである場合は、この画像データは、逆量子化部３０６および逆座標変換部３０７による処理を経てＲＧＢ表色系の画像データに変換され、スプライトレンダリングプロセッサ３０８に与えられる。図９の逆量子化部３０６は、圧縮符号化情報に含まれているモード識別子にしたがって前述した逆量子化処理２２０を実行する装置であり、逆座標変換部３０７は、前述した逆座標変換処理２３０を実行する装置である。
【００４６】
前述したように、パターンデータデコーダ３０５から出力される画像データがＲＧＢ表色系のものか、それとも、ＹＣｂＣｒ表色系のものかについては、デコード元となった圧縮符号化データが可逆圧縮符号化データであるのか、それとも非可逆圧縮符号化データであるのかにより定まる。そして、デコード対象の圧縮符号化データが可逆圧縮符号化データであるのか、それとも、非可逆圧縮符号化データであるのかについては、記憶部３０２から取得される圧縮符号化情報を参照して判定することができる。このため、制御部３０３は、記憶部３０２から取得した圧縮符号化情報に含まれている符号化方式識別子により、可逆圧縮符号化データであると判定される場合には、スプライトレンダリングプロセッサ３０８と、ラインバッファ３０９Ａおよび３０９Ｂとを制御することにより、モニタ４０３に表示させるスプライト画像の画像データを１ライン単位（１水平走査線単位）で生成しモニタ４０３の表示画面に反映させる処理を行う。一方、上記符号化方式識別子により、非可逆圧縮符号化データであると判定される場合には、制御部３０３は、さらに、逆量子化部３０６および逆座標変換部３０７の制御を行い、モニタ４０３に表示させるスプライト画像の画像データを１ライン単位（１水平走査線単位）で生成しモニタ４０３の表示画面に反映させる処理を行う。
【００４７】
さらに詳述すると、ラインバッファ３０９Ａおよび３０９Ｂは、モニタ４０３の１ライン分の画像データを記憶する容量を各々有している。制御部３０３は、これらのラインバッファ３０９Ａおよび３０９Ｂを交互に使用し、例えばラインバッファ３０９Ａ内の１ライン分の画像データがモニタ４０３に表示される期間には、ラインバッファ３０９Ｂに次の１ライン分の画像データを書き込むレンダリングをスプライトレンダリングプロセッサ３０８に実行させ、ラインバッファ３０９Ｂ内の１ライン分の画像データがモニタ４０３に表示される期間には、ラインバッファ３０９Ａに次の１ライン分の画素データを書き込むレンダリングをスプライトレンダリングプロセッサ３０８に実行させる。また、制御部３０３は、スプライトレンダリングプロセッサ３０８が行うレンダリングに間に合うように、レンダリングの対象となる１ライン分のスプライト画像の画像データをパターンデータデコーダ３０５（或いは、パターンデータデコーダ３０５、逆量子化部３０６および逆座標変換部３０７）に出力させるための制御を行う。ここで、モニタ４０３の１ラインに複数種類のスプライト画像を表示させる場合もある。そのような場合、制御部３０３は、表示対象である全てのスプライト画像の１ライン分の画像データを得るために必要な圧縮符号化データをスプライトパターンメモリ４０１から読み出してパターンデータデコーダ３０５に供給し、その復号化を行わせるための制御を行う。
【００４８】
表示コントローラ３１１、画像データコントローラ３１０およびモニタＩ／Ｆ３１２は、ラインバッファ３０９Ａおよび３０９Ｂから交互に１ライン分の画像データを読み出してモニタ４０３に供給し、モニタ４０３に画像を表示させる手段である。さらに詳述すると、表示コントローラ３１１は、垂直同期信号および水平同期信号をモニタＩ／Ｆ３１２を介してモニタ４０３に供給するとともに、水平同期信号に同期して、画像データコントローラ３１０に画像データの読み出し指令を送る。画像データコントローラ３１０は、画像データの読み出し指令を受け取る毎に、ラインバッファ３０９Ａおよび３０９Ｂを交互に選択し、選択したラインバッファから１ライン分の画像データを読み出し、モニタＩ／Ｆ３１２を介してモニタ４０３に送るのである。
以上が画像処理ＬＳＩ３００の構成である。
【００４９】
以上のような構成としたため、本実施形態によれば、非可逆圧縮符号化データと可逆圧縮符号化データの両方を一つの画像処理ＬＳＩ３００によりデコードすることが可能になる。加えて、画像処理ＬＳＩ３００の構成のうち、逆量子化部３０６と逆座標変換部３０７を除いた部分については、可逆圧縮符号化データのデコードを行う既存の画像処理ＬＳＩにおけるものをそのまま流用することができる。つまり、本実施形態によれば、既存の画像処理ＬＳＩの構成要素を最大限に利用しつつ、非可逆圧縮符号化データと可逆圧縮符号化データの両方を一つの画像処理ＬＳＩでデコードすることが可能になるのである。
【００５０】
以上、本発明の一実施形態について説明したが、この実施形態に以下に述べる変形を加えても勿論良い。
（１）上述した実施形態では、スプライトパターンメモリ４０１に可逆圧縮符号化データと非可逆圧縮符号化データの両者が格納されていたが、非可逆圧縮符号化データのみを格納しておいても勿論良い。スプライトパターンメモリ４０１に非可逆圧縮符号化データのみを格納しておく態様においては、圧縮符号化情報に符号化方式識別子を含めておく必要はない。また、非可逆圧縮符号化データを得るための量子化処理における量子化モードが予め固定されている場合には、モード識別子を圧縮符号化情報に含めておく必要はない。また、圧縮符号化データと対応付けて圧縮符号化情報をスプライトパターンメモリ４０１に格納しておいても良く、この場合、ＣＰＵ４０２から制御部３０３に与える制御情報に圧縮符号化情報を含めておく必要はない。
【００５１】
（２）上述した実施形態では、量子化処理１３３を施しておくことで、可逆圧縮符号化処理１４０を施す画像データの何れかの成分の構成ビット数を削減したが、このような量子化処理は必ずしも必須ではなく、省略しても勿論良い。なお、量子化処理１３３を省略して得られた非可逆圧縮符号化データのデコードにおいては逆量子化処理を行う必要がないことは勿論である。また、本実施形態では、予測符号化処理１４１により得られた予測誤差に予測誤差変換処理１４２を施した後に可変長符号化処理１４３を施したが、予測誤差変換処理１４２を省略しても勿論良い。
【００５２】
（３）上述した実施形態では、非可逆変換処理１３０（特に、縮小処理１３１および拡張処理１３２）を施すことによる画質の劣化を最小限に抑えるために、その前段においてＲＧＢ表色系からＹＣｂＣｒ表色系への座標変換処理１２０を行ったが、ＬＵＶ表色系への座標変換であっても勿論良い。他にも、ＲＧＢ→ＹＵＶ、ＲＧＢ→ＹＩＱ、ＲＧＢ→Ｌａｂ、ＲＧＢ→ＨＬＳ、ＲＧＢ→ＨＳＶ、ＲＧＢ→ＣＭＹ、ＲＧＢ→ＣＭＹＫなどの各種座標変換を利用することが考えられる。これらの座標変換は、前掲式（１）を参照すれば明らかなように、一般に、変換前の表色系における第１色成分から第３色成分の各画素データの一次結合で変換後の表色系における各成分を表す演算である。つまり、座標変換処理１２０における演算は、画像を構成する複数の画素の各々について、変換前の表色系における第１色成分から第３色成分の各画素データの一次結合で新たな３種類の画素データを算出するような演算に一般化することができる。例えば、ＲＧＢの各成分の画素データから、Ｒ成分の画素データ、Ｇ成分とＲ成分の差分（Ｇ−Ｒ）を表す画素データ、およびＢ成分とＲ成分の差分（Ｂ−Ｒ）を表す画素データに変換する演算であっても良く、同様に、Ｇ成分、Ｒ成分とＧ成分の差分（Ｒ−Ｇ）およびＢ成分とＧ成分の差分（Ｂ−Ｇ）の各々を表す画素データに変換する演算や、Ｂ成分、Ｒ成分とＢ成分の差分（Ｒ−Ｂ）、Ｇ成分とＢ成分の差分（Ｇ−Ｂ）の各々を表す画素データに変換する演算であっても良い。
【００５３】
なお、第１色成分から第３色成分の各画素データの一次結合で新たな３種類の画素データを算出するような演算の内容によっては、上記新たな画素データが０以上の値になるとは限らず、負の値となることも考えられる。しかし、本実施形態の逆予測符号化処理２１２では、予測符号化前の画素データが０以上の値であることを前提としているため、上記新たな画素データが負の値となることは不都合である。そこで、座標変換処理１２０により得られる新たな画素データが負の値となり得る場合には、上記新たな画素データに対してレベルシフト処理（例えば、一定の正の値の加算）を施し、画素データが必ずゼロ以上の値となるようにすれば良い。また、このようなレベルシフト処理を行う場合には、画質の劣化が顕著となることを避けるため、非可逆変換処理１３０の前段で行っておくことが望ましい。
【００５４】
（４）上述した実施形態では、圧縮符号化装置１００に本発明の特徴を顕著に示す非可逆圧縮符号化処理（図１の色成分分離処理１１０、座標変換処理１２０、非可逆変換処理１３０、および可逆圧縮符号化処理１４０）を実行させた。しかし、圧縮符号化対象の画像データに対して可逆圧縮符号化処理１４０のみを圧縮符号化装置１００に実行させて可逆圧縮符号化データを生成させることができることは言うまでもない。そこで、圧縮符号化対象の画像データに対して上記非可逆圧縮符号化処理を施すのか、それとも、可逆圧縮符号化処理１４０を施すのかを圧縮符号化装置１００の利用者に指示させ、その指示内容に応じた処理を圧縮符号化装置１００に実行させるようにしても良い。このような態様によれば、可逆圧縮符号化データと非可逆圧縮符号化データの両方を１つの圧縮符号化装置１００で生成することが可能になる。
【００５５】
（５）上述した実施形態では、本実施形態の特徴を顕著に示す画像データの非可逆圧縮処理を実現するための非可逆圧縮符号化プログラムが圧縮符号化装置１００に予めインストールされていたが、例えばＣＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体に上記非可逆圧縮プログラムを書き込んで配布しても良く、インターネットなどの電気通信回線経由のダウンロードにより配布しても良い。復号プログラムについても同様に、コンピュータ読み取り可能な記録媒体に書き込んで配布しても良く、また、電気通信回線経由のダウンロードにより配布しても良い。
【符号の説明】
【００５６】
１００…圧縮符号化装置、１１０…色成分分離処理、１２０…座標変換処理、１３０…非可逆変換処理、１３１…縮小処理、１３２…拡張処理、１３３…量子化処理、１４０…可逆圧縮符号化処理、１４１…予測符号化処理、１４２…予測誤差変換処理、１４３…可変長符号化処理、２００…復号装置、２１０…可逆復号処理、２１１…可変長復号化処理、２１２…逆予測符号化処理、２２０…逆量子化処理、２３０…逆座標変換処理、２４０…色成分結合処理、３００…画像処理ＬＳＩ、３０１…ＣＰＵＩ／Ｆ、３０２…記憶部、３０３…制御部、３０４…パターンメモリＩ／Ｆ、３０５…パターンデータデコーダ、３０６…逆量子化部、３０７…逆座標変換部、３０８…スプライトレンダリングプロセッサ、３０９Ａ，３０９Ｂ…ラインバッファ、３１０…画像データコントローラ、３１１…表示コントローラ、３１２…モニタＩ／Ｆ、４０１…スプライトパターンメモリ、４０２…ＣＰＵ、４０３…モニタ。
【特許請求の範囲】
【請求項１】
画像を構成する複数の画素の各々の第１色成分〜第３色成分を示す各画素データを取得し、各画素について前記各色成分の画素データの一次結合で表される３種類の新たな画素データを生成する座標変換手段と、
前記座標変換手段により得られる３種類の画素データを受け取り、それら画素データのうちの少なくとも１種類に対して、一定の割合で画素データを間引く縮小処理、および当該縮小処理にて間引かれなかった画素データで当該縮小処理にて間引かれた画素データを補間する拡張処理を施して出力する非可逆変換手段と、
前記非可逆変換手段より出力される前記３種類の画素データの各々について、ラスタスキャン順に１つずつ処理対象画素を選択し、当該処理対象画素についての画素データの予測値を当該処理対象画素の近傍に位置する周辺画素の画素データから算出し当該予測値と実際の画素データとの差分である予測誤差を算出する予測符号化処理と当該予測誤差を可変長符号化する可変長符号化処理とを施して圧縮符号化データに変換する可逆圧縮符号化手段と
を具備することを特徴とする圧縮符号化装置。
【請求項２】
前記非可逆変換手段は、水平走査線方向に並んだ複数の画素についての前記予測誤差が少なくとも１つおきにゼロとなるように前記縮小処理および前記拡張処理を実行することを特徴とする請求項１に記載の圧縮符号化装置。
【請求項３】
前記非可逆変換手段は、前記縮小処理および前記拡張処理を施した画素データと前記縮小処理および前記拡張処理を施さなかった画素データの少なくとも１種類に対してビット数を削減する量子化処理を更に施すとともに、当該量子化処理を施した画素データの種類および削減したビット数を示す量子化モード信号を出力することを特徴とする請求項１または２に記載の圧縮符号化装置。
【請求項４】
請求項３に記載の圧縮符号化装置により生成された圧縮符号化データと前記量子化モード信号とを取得する取得手段と、
前記取得手段により取得された圧縮符号化データに前記可変長符号化処理の逆演算である可変長復号化処理と前記予測符号化処理の逆演算である逆予測符号化処理とを施し、圧縮符号化前の前記３種類の画素データを復号する可逆復号手段と、
前記可逆復号手段により得られた前記３種類の画素データのうち前記量子化モード信号の示す種類のものに対して、当該量子化モード信号の示すビット数分だけビット数を補間する逆量子処理を施して出力する逆量子化手段と、
前記逆量子化手段による処理を経た前記３種類の画素データに対して、前記座標変換手段における演算の逆演算を施して第１色成分〜第３色成分を示す各画素データを復元する逆座標変換手段と、
を有することを特徴とする復号装置。
【請求項１】
画像を構成する複数の画素の各々の第１色成分〜第３色成分を示す各画素データを取得し、各画素について前記各色成分の画素データの一次結合で表される３種類の新たな画素データを生成する座標変換手段と、
前記座標変換手段により得られる３種類の画素データを受け取り、それら画素データのうちの少なくとも１種類に対して、一定の割合で画素データを間引く縮小処理、および当該縮小処理にて間引かれなかった画素データで当該縮小処理にて間引かれた画素データを補間する拡張処理を施して出力する非可逆変換手段と、
前記非可逆変換手段より出力される前記３種類の画素データの各々について、ラスタスキャン順に１つずつ処理対象画素を選択し、当該処理対象画素についての画素データの予測値を当該処理対象画素の近傍に位置する周辺画素の画素データから算出し当該予測値と実際の画素データとの差分である予測誤差を算出する予測符号化処理と当該予測誤差を可変長符号化する可変長符号化処理とを施して圧縮符号化データに変換する可逆圧縮符号化手段と
を具備することを特徴とする圧縮符号化装置。
【請求項２】
前記非可逆変換手段は、水平走査線方向に並んだ複数の画素についての前記予測誤差が少なくとも１つおきにゼロとなるように前記縮小処理および前記拡張処理を実行することを特徴とする請求項１に記載の圧縮符号化装置。
【請求項３】
前記非可逆変換手段は、前記縮小処理および前記拡張処理を施した画素データと前記縮小処理および前記拡張処理を施さなかった画素データの少なくとも１種類に対してビット数を削減する量子化処理を更に施すとともに、当該量子化処理を施した画素データの種類および削減したビット数を示す量子化モード信号を出力することを特徴とする請求項１または２に記載の圧縮符号化装置。
【請求項４】
請求項３に記載の圧縮符号化装置により生成された圧縮符号化データと前記量子化モード信号とを取得する取得手段と、
前記取得手段により取得された圧縮符号化データに前記可変長符号化処理の逆演算である可変長復号化処理と前記予測符号化処理の逆演算である逆予測符号化処理とを施し、圧縮符号化前の前記３種類の画素データを復号する可逆復号手段と、
前記可逆復号手段により得られた前記３種類の画素データのうち前記量子化モード信号の示す種類のものに対して、当該量子化モード信号の示すビット数分だけビット数を補間する逆量子処理を施して出力する逆量子化手段と、
前記逆量子化手段による処理を経た前記３種類の画素データに対して、前記座標変換手段における演算の逆演算を施して第１色成分〜第３色成分を示す各画素データを復元する逆座標変換手段と、
を有することを特徴とする復号装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−１５１４０（Ｐ２０１１−１５１４０Ａ）
【公開日】平成２３年１月２０日（２０１１．１．２０）
【国際特許分類】
【出願番号】特願２００９−１５６９９１（Ｐ２００９−１５６９９１）
【出願日】平成２１年７月１日（２００９．７．１）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２３年１月２０日（２０１１．１．２０）
【国際特許分類】
【出願日】平成２１年７月１日（２００９．７．１）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]