画像符号化装置、画像復号化装置、画像データ処理装置、画像符号化方法、及び、画像復号化方法
【課題】 画像データをＢＴＣ符号化方式によりデータ圧縮する際に生成される符号化圧縮データのデータ量を更に削減可能な画像符号化装置を提供する。
【解決手段】 画像データを複数画素からなる単位ブロックに分割する画像データ分割手段１１、単位ブロック内の各要素値の平均値を算出する平均値算出手段１２、各要素値の分布のバラツキ度の大小を判定してフラグビットを生成するバラツキ度判定手段１３、各要素値と平均値の各大小比較結果を示す比較結果データを生成する比較結果データ生成手段１４、各要素値と平均値の各差分値に基づく偏差値を算出する偏差値算出手段１５、及び、フラグビットの値に応じて符号化データを、バラツキ度が小さい場合は平均値とフラグビットを合成して生成し、バラツキ度が大きい場合は平均値とフラグビットと比較結果データと偏差値を合成して生成する符号化データ生成手段１６を備える。
【解決手段】 画像データを複数画素からなる単位ブロックに分割する画像データ分割手段１１、単位ブロック内の各要素値の平均値を算出する平均値算出手段１２、各要素値の分布のバラツキ度の大小を判定してフラグビットを生成するバラツキ度判定手段１３、各要素値と平均値の各大小比較結果を示す比較結果データを生成する比較結果データ生成手段１４、各要素値と平均値の各差分値に基づく偏差値を算出する偏差値算出手段１５、及び、フラグビットの値に応じて符号化データを、バラツキ度が小さい場合は平均値とフラグビットを合成して生成し、バラツキ度が大きい場合は平均値とフラグビットと比較結果データと偏差値を合成して生成する符号化データ生成手段１６を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを圧縮する画像符号化装置及び方法、並びに、圧縮された画像データを伸張する画像復号化装置及び方法に関し、更に、当該画像符号化装置と画像復号化装置を使用した画像データ処理装置に関する。
【背景技術】
【０００２】
入力された画像データを小さな画素ブロックに分割し、符号化圧縮する手法として、ＢＴＣ（Ｂｌｏｃｋ Ｔｒｕｎｃａｔｉｏｎ Ｃｏｄｉｎｇ）符号化方式が考案され、画像表示装置に応用されている（例えば、特許文献１及び特許文献２参照）。
【０００３】
従来のＢＴＣ符号化方式による符号化処理及び復号化処理の手順と原理を図１５、図１７及び図１８に示す。従来のＢＴＣ符号化方式では、複数画素からなる画像データをＮ×Ｎ（通常Ｎ＝２または４）の小さな画素ブロックに分割し、この画素ブロック単位で処理が実施される。以下の説明では、Ｎ＝２として説明を行う。
【０００４】
図１５（Ａ）に示すように、先ず、画像データを２×２画素の画素ブロックに分割する（ステップ＃１）。ここで、図１５（Ｂ）に示すように、各画素値をＰｉｊ（ｉ＝０，１、ｊ＝０，１）で表すこととする。各画素ブロックの４つの画素値（各画素がＲＧＢ成分の各階調データ或いは輝度データ等で構成される場合は、画素値はＲＧＢ各成分或いは輝度の階調値を示す）の平均値ＡＶＧを、以下の数１の算出式に基づいて算出する（ステップ＃２）。
【０００５】
【数１】
【０００６】
引き続き、各画素ブロックの４つの画素値Ｐｉｊと平均値ＡＶＧの大小比較を行い、画素値Ｐｉｊが平均値ＡＶＧより大きい場合“０”、小さい場合“１”と符号化し、“０”と“１”で構成される２行２列の比較結果データＣｉｊ（ｉ＝０，１、ｊ＝０，１）を作成する（ステップ＃３）。次に、各画素ブロックの４つの画素値Ｐｉｊの平均値ＡＶＧからの偏差を示す偏差値ＳＤを、以下の数２の算出式に基づいて算出する（ステップ＃４）。
【０００７】
【数２】
【０００８】
そして、図１６に示すように、ステップ＃２で算出した平均値ＡＶＧと、ステップ＃３で作成した比較結果データＣｉｊと、ステップ＃４で算出した偏差値ＳＤを合成して、各画素ブロックの符号化データを生成し（ステップ＃５）、画像メモリ内に格納する（ステップ＃６）。
【０００９】
上記のステップ＃１〜ステップ＃６までの処理を全ての画素ブロックについて繰り返し実行する。
【００１０】
次に、上記要領で生成され、画像メモリ内に格納された符号化データを元の画像データのデータ形式に復号化して画像表示する処理手順について、図１７（Ａ）を参照して説明する。
【００１１】
先ず、画像メモリに格納された各画素ブロックの符号化データから、平均値ＡＶＧと比較結果データＣｉｊと偏差値ＳＤを夫々読み出す（ステップ＃７）。次に、各画素ブロックの復号化後の画素値を、図１７（Ｂ）に示すように、Ｐ’ｉｊ（ｉ＝０，１、ｊ＝０，１）で表し、各画素値Ｐ’ｉｊを、平均値ＡＶＧと比較結果データＣｉｊと偏差値ＳＤを用いて、以下の要領で作成する（ステップ＃８）。比較結果データＣｉｊが“０”の場合、Ｐ’ｉｊ＝ＡＶＧ＋ＳＤ、比較結果データＣｉｊが“１”の場合、Ｐ’ｉｊ＝ＡＶＧ−ＳＤとする。復号化後の画素値Ｐ’ｉｊは、符号化前の画像データの画素ブロックの画素値Ｐｉｊと同じデータ形式及びデータ長（８ビットデータ）である。上記のステップ＃７及び＃８の処理を全ての画素ブロックについて繰り返し実行し、復号化された各画素ブロックの画像データを、画像表示装置に出力して画像表示する（ステップ＃９）。
【００１２】
図１８は、１つの画素ブロックの各画素値Ｐｉｊの具体的数値に対する、図１５（Ａ）に示す符号化処理で生成される符号化データと、図１７（Ａ）に示す復号化処理で生成される１つの画素ブロックの各画素値Ｐ’ｉｊの一例を示す。図１８では、８ビットデータ（２５６階調）を想定した２×２画素の画素ブロックの各画素値Ｐｉｊは、Ｐ００＝１２０、Ｐ０１＝１３１、Ｐ１０＝１５４、Ｐ１１＝１０１である。
【００１３】
先ず、図１５（Ａ）のステップ＃２で、数１の算出式に基づいて平均値ＡＶＧを算出すると、１２７（＝（１２０＋１３１＋１５４＋１０１）／４）となる。尚、数１の演算では小数点以下は四捨五入する。ステップ＃３では、比較結果データＣｉｊは、Ｐ００とＰ１１は平均値ＡＶＧ（＝１２７）より小さいので、Ｃ００＝Ｃ１１＝１となり、Ｐ０１とＰ１０は平均値ＡＶＧ（＝１２７）より大きいので、Ｃ０１＝Ｃ１０＝０と算出される。更に、ステップ＃４で、数２の算出式に基づいて偏差値ＳＤを算出すると、１６（＝（｜１２０−１２７｜＋｜１３１−１２７｜＋｜１５４−１２７｜＋｜１０１−１２７｜）／４）となる。尚、数２の演算では小数点以下は四捨五入する。符号化データは、８ビットの平均値ＡＶＧと、４ビットの比較結果データＣｉｊと、８ビットの偏差値ＳＤで構成され、合計２０ビットのデータとなる。符号化前の１つの２×２画素の画素ブロックは合計３２ビットのデータであったので、データ量の圧縮率は６２．５％（＝２０／３２×１００）である。
【００１４】
次に、ステップ＃７で、各画素ブロックの２０ビットの符号化データを読み出して、ステップ＃８で、読み出した平均値ＡＶＧ（＝１２７）と比較結果データＣｉｊと偏差値ＳＤ（＝１６）より、各画素ブロックの８ビットの画素値Ｐ’ｉｊを復号化すると、Ｐ’００＝Ｐ’１１＝１２７−１６＝１１１、Ｐ’０１＝Ｐ’１０＝１２７＋１６＝１４３となる。
【００１５】
【特許文献１】特開２００１−８２０６号公報
【特許文献２】特許第３６９４００４号明細書
【特許文献３】特許第２６１６６５２号明細書
【特許文献４】特許第３７７０３８０号明細書
【発明の開示】
【発明が解決しようとする課題】
【００１６】
従来のＢＴＣ符号化処理方法は、上述の如く、また、上記特許文献１にも開示されているように、画像データを複数の画素ブロックに分割し、画素ブロック内の各画素値の平均値ＡＶＧ、各画素値の偏差値ＳＤと、“０”と“１”で構成される比較結果データＣｉｊによる２値化処理を行い、符号化するものである。
【００１７】
しかしながら、従来のＢＴＣ符号化処理方法では、図１９（Ａ）に示すように画素ブロックの各画素値Ｐｉｊが全て同じである場合、平均値ＡＶＧは画素ブロックの各画素値Ｐｉｊと同じ値となり、偏差値ＳＤが０となる。比較結果データＣｉｊも全て０となり、当該符号化データに基づいて復号化した各画素値Ｐ’ｉｊは、元の画素ブロック内のＰｉｊ、つまり、平均値ＡＶＧと同じなる。この場合、符号化データを復号化する処理において、平均値ＡＶＧ以外のデータは有効に利用されておらず、符号化データ中の比較結果データＣｉｊと偏差値ＳＤは、不必要に符号化データのメモリ容量を費やしていることになる。
【００１８】
また、図１９（Ｂ）に示すように画素ブロックの画素値Ｐｉｊの１つが、他の画素値と値が１だけ違う場合、例えば、Ｐ００＝Ｐ１０＝Ｐ１１＝１１４、Ｐ０１＝１１３の場合では、平均値ＡＶＧは画素値１１４と等しく、偏差値ＳＤが０となり、比較結果データＣｉｊは、Ｃ００＝Ｃ１０＝Ｃ１１＝０、Ｐ０１＝１となる。当該符号化データに基づいて復号化した各画素値Ｐ’ｉｊは、各画素値Ｐｉｊが全て同じである場合と同様に、全て平均値ＡＶＧと同じなる。画素ブロックの画素値Ｐｉｊの１つが、他の画素値と値が１だけ違う場合においても、各画素値Ｐｉｊが全て同じである場合と同様に、平均値ＡＶＧ以外のデータは有効に利用されておらず、符号化データ中の比較結果データＣｉｊと偏差値ＳＤは、不必要に符号化データのメモリ容量を費やしていることになる。
【００１９】
つまり、従来のＢＴＣ符号化処理方法では、画素ブロックの各画素値Ｐｉｊが全て同じか、或いは、相互に近似して画素値間の差が顕著でない場合には、符号化データ中の比較結果データＣｉｊと偏差値ＳＤは、不必要に符号化データのメモリ容量を費やしていることになる。従って、元の画像データを画素ブロックに分割したときの各画素ブロックに、画素値間の差が顕著でない画素ブロックが、全画素ブロックに対して相当程度含まれる場合は、符号化データを格納する画像メモリのメモリ容量が不必要に多く使用され、有効に利用されていない結果となっている。
【００２０】
一方、画像データ処理装置に関しては、液晶表示装置において、１フレーム分の画像データ（階調データ）を格納する画像メモリを用意し、表示するフレームの階調データと１フレーム前の階調データを比較して、当該比較結果に基づいて階調データを補正し、所望の階調データ表示を所望の応答速度で到達するよう処理するオーバードライブ手法が提案されている（例えば、上記特許文献３及び特許文献４参照）。
【００２１】
上述のオーバードライブ手法では、必ず１フレーム分の画像データが必要であり、解像度の増大に伴い、画像データを保持する画像メモリの容量も必然と増大する欠点を持っている。この画像メモリに記憶する画像データを圧縮し、画像メモリの記憶容量を削減する方法として、上記特許文献２に示す従来のＢＴＣ符号化処理方法に代表されるような既存の圧縮手法により、画像メモリの記憶容量を削減する方法が考案されている。しかし、上述の如く、従来のＢＴＣ符号化処理方法では、符号化データを格納する画像メモリのメモリ容量が不必要に多く使用され、有効に利用されていないため、画像メモリの記憶容量を有効に利用できないという欠点がある。
【００２２】
本発明は、上記問題点に鑑みてなされたものであり、その目的は、所定の画素数をデータ保持単位とする画素データからなる画像データをＢＴＣ符号化方式によりデータ圧縮する際に生成される符号化圧縮データのデータ量を更に削減可能な画像符号化装置及び方法、並びに、当該符号化圧縮データを伸張する画像復号化装置及び方法を提供し、第２に、当該画像符号化装置と画像復号化装置を使用した画像データ処理装置を提供する点にある。
【課題を解決するための手段】
【００２３】
上記目的を達成するための本発明に係る画像符号化装置は、所定の画素数をデータ保持単位とする画素データからなる画像データを相互に隣接する複数の前記データ保持単位からなる単位ブロックに分割する画像データ分割手段と、前記単位ブロック毎に、前記画像データ分割手段により生成された前記単位ブロック内の前記各データ保持単位の要素値の平均値を算出する平均値算出手段と、前記単位ブロック毎に、前記単位ブロック内の前記各データ保持単位の要素値の分布のバラツキ度の大小を予め設定された判定基準に基づいて判定して当該判定結果を示すフラグビットを生成するバラツキ度判定手段と、前記単位ブロック毎に、前記単位ブロック内の前記各データ保持単位の要素値と前記平均値算出手段で算出された前記平均値の各大小比較結果を示す比較結果データを生成する比較結果データ生成手段と、前記単位ブロック毎に、前記単位ブロック内の前記各データ保持単位の要素値と前記平均値算出手段で算出された前記平均値の各差分値に基づく前記単位ブロック内の前記各データ保持単位の要素値の前記平均値からの平均的な偏差度を示す偏差値を算出する偏差値算出手段と、前記単位ブロック毎に、前記バラツキ度判定手段により生成された前記フラグビットの値に応じて、前記バラツキ度が小さい場合は、前記平均値と前記フラグビットを合成して符号化データを生成し、前記バラツキ度が大きい場合は、前記平均値と前記フラグビットと前記比較結果データと前記偏差値を合成して符号化データを生成する符号化データ生成手段と、備えてなることを第１の特徴とする。
【００２４】
上記第１の特徴の画像符号化装置によれば、ＢＴＣ符号化処理による画像データの圧縮が行えるとともに、単位ブロック（従来のＢＴＣ符号化処理方法における画素ブロックに相当）の各要素値（従来の画素値に相当）が全て同じか或いは相互に近似して要素値間の差が顕著でない場合には、符号化データが比較結果データと偏差値を含まないデータ構成であるため、当該場合において、符号化処理後の画像データ全体のデータ量を更に圧縮することができるため、不必要に符号化データのメモリ容量を費やすことが回避できる。
【００２５】
ここで、本発明に係る画像符号化装置による単位ブロック毎の符号化データは、従来のＢＴＣ符号化処理方法における画素ブロックの符号化データには無い、フラグビットを含むため、その分のデータ量が増加するが、通常の画像データでは、各要素値が全て同じか或いは相互に近似して要素値間の差が顕著でない単位ブロックが相当数存在するので、比較結果データと偏差値を含まない単位ブロックにおけるデータ削減量の方が、フラグビットによるデータ増加量を大きく上回るため、画像データ全体としてデータ量の圧縮が実現できる。
【００２６】
本発明に係る画像符号化装置は、上記第１の特徴に加えて、更に、前記バラツキ度判定手段は、前記単位ブロック内の全ての前記データ保持単位において、前記データ保持単位の要素値と前記平均値算出手段で算出された前記平均値の差分値の絶対値が所定の判定閾値より小さい場合に、前記バラツキ度が小さいと判定し、それ以外の場合に、前記バラツキ度が大きいと判定することを第２の特徴とする。
【００２７】
本発明に係る画像符号化装置は、上記第１の特徴に加えて、更に、前記バラツキ度判定手段は、前記偏差値が所定の判定閾値より小さい場合に、前記バラツキ度が小さいと判定し、前記偏差値が前記所定の判定閾値以上の場合に、前記バラツキ度が大きいと判定することを第３の特徴とする。
【００２８】
上記第２または第３の特徴の画像符号化装置によれば、前記バラツキ度判定手段が、前記単位ブロック内の前記各データ保持単位の要素値の分布のバラツキ度の大小を、夫々の判定基準で判定することができる。つまり、第２の特徴における差分値は個々の要素値のバラツキ度を示しており、第３の特徴の偏差値は各要素値の平均的なバラツキ度を示しているため、何れの場合にも、バラツキ度の大小を判定することができる。
【００２９】
本発明に係る画像符号化装置は、上記第１乃至第３の何れかの特徴に加えて、更に、前記符号化データ生成手段は、前記フラグビットの値に関係なく全ての前記単位ブロックに対して、前記平均値と前記フラグビットからなる第１符号化データを生成し、前記フラグビットの値に応じて前記バラツキ度の大きい前記単位ブロックであるか否かを識別して、前記バラツキ度の大きい前記単位ブロックに対してのみ、前記比較結果データと前記偏差値からなる第２符号化データを生成することを第４の特徴とする。
【００３０】
上記第４の特徴の画像符号化装置によれば、符号化データ全体を第１符号化データと第２符号化データに分離して画像メモリ等に格納することができる。従って、単位ブロック毎に符号長の異なる符号化データの集合として扱う必要がなくなり、符号化データを格納する画像メモリ等の構成を簡単化できる。また、単位ブロック毎の符号化データを合成する場合には、第１符号化データを読み出し、バラツキ度の大きい単位ブロックについてのみ、追加で第２符号化データを読み出して第１符号化データと合成することで、符号化データを得ることが可能となる。
【００３１】
本発明に係る画像符号化装置は、上記第４の特徴に加えて、更に、前記符号化データを格納する画像メモリを備え、前記画像メモリのメモリ空間が、前記第１符号化データを格納する第１領域と、前記第２符号化データを格納する第２領域に区分されて構成されていることを第５の特徴とする。
【００３２】
上記第５の特徴の画像符号化装置によれば、上記第４の特徴の画像符号化装置の作用効果を具体的に実現することができる。
【００３３】
本発明に係る画像符号化装置は、上記何れかの特徴に加えて、更に、前記符号化データ生成手段は、前記単位ブロック毎に順次前記符号化データを生成している過程で、前記符号化データの累積データ量が所定の上限値を超える場合には、当該符号化データ、及び、それ以降に生成する前記符号化データを、前記比較結果データと前記偏差値を合成せずに生成し、前記バラツキ度判定手段が使用する前記判定基準を、前記バラツキ度が小さく判定され易いように変更することを第６の特徴とする。
【００３４】
上記第６の特徴の画像符号化装置によれば、符号化データ全体のデータ量を所定範囲内に抑えることができるため、全ての単位ブロックの符号化データを記憶容量の固定された画像メモリ等に記憶することができ、後工程で符号化データを復号化する場合に、データが欠落するのを未然に防止できる。更に、次回以降に符号化処理する画像データに対して、符号化データ全体のデータ量が制限された条件下で、全ての単位ブロックに対してより適切にバラツキ度の大小判定を行うことができ、相対的にバラツキ度の大きい単位ブロックに対して、バラツキ度を反映した復号化に必要な比較結果データと偏差値を付加した符号化データを作成することが可能となる。
【００３５】
本発明に係る画像符号化装置は、上記何れかの特徴に加えて、更に、前記画素データが１画素中の複数の異なる色成分の各階調データで構成されている場合、１画素中の１つの色成分を前記データ保持単位として扱い、前記画像データ分割手段、前記平均値算出手段、前記バラツキ度判定手段、前記比較結果データ生成手段、前記偏差値算出手段、及び、前記符号化データ生成手段は、夫々の処理を色成分別に処理することを第７の特徴とする。
【００３６】
上記第７の特徴の画像符号化装置によれば、ＲＧＢフォーマット等の画素データが１画素中の複数の異なる色成分の各階調データで構成されている場合の画像データに対して、従来のＢＴＣ符号化処理方法より圧縮後のデータ量を低減できるデータ圧縮が可能となる。
【００３７】
本発明に係る画像符号化装置は、上記第１乃至第６の何れかの特徴に加えて、更に、前記画素データが、画素単位の輝度データと、画素単位または相互に隣接する２画素または４画素単位の２種類の色差データで構成されている場合、前記輝度データについては、１画素を前記データ保持単位として扱い、前記２種類の色差データについては、１、２または４画素を前記データ保持単位として扱い、前記画像データ分割手段、前記平均値算出手段、前記バラツキ度判定手段、前記比較結果データ生成手段、前記偏差値算出手段、及び、前記符号化データ生成手段は、夫々の処理を前記輝度データと前記２種類の色差データのデータ別に処理することを第８の特徴とする。
【００３８】
上記第８の特徴の画像符号化装置によれば、ＹＵＶフォーマット、ＹＵＶ４２２フォーマット、ＹＵＶ４１１フォーマット等の画素データが、画素単位の輝度データと、画素単位または相互に隣接する２画素または４画素単位の２種類の色差データで構成されている場合の画像データに対して、従来のＢＴＣ符号化処理方法より圧縮後のデータ量を低減できるデータ圧縮が可能となる。
【００３９】
本発明に係る画像符号化装置は、上記第８の特徴に加えて、更に、前記画素データが画素単位の色成分別の階調データで構成されている原画像データを、前記画素データが画素単位の輝度データと、画素単位または相互に隣接する２画素または４画素単位の２種類の色差データで構成される画像データに変換する画像フォーマット変換手段を備えることを第９の特徴とする。
【００４０】
上記第９の特徴の画像符号化装置によれば、ＲＧＢフォーマット等の画素データが１画素中の複数の異なる色成分の各階調データで構成されている場合の原画像データを、画像フォーマット変換手段によって、ＹＵＶ４２２フォーマットやＹＵＶ４１１フォーマット等の画素データが、画素単位の輝度データと、相互に隣接する２画素または４画素単位の２種類の色差データで構成されている場合の画像データに変換してから、上記第８の特徴の符号化処理を行うため、色差データのデータ量を低減してから符号化処理を行うので、更に圧縮後のデータ量を低減できるデータ圧縮が可能となる。
【００４１】
本発明に係る画像復号化装置は、上記第１乃至第６の何れかの特徴の画像符号化装置で符号化された前記符号化データを前記データ保持単位の画素データからなる画像データに復号化する画像復号化装置であって、前記単位ブロック毎に、前記符号化データを構成する前記平均値と前記フラグビット、または、前記平均値と前記フラグビットと前記比較結果データと前記偏差値を、個別に読み出すデータ読み出し手段と、前記データ読み出し手段が読み出した前記フラグビットの値に基づいて、前記単位ブロック内の前記各データ保持単位の要素値の分布のバラツキ度の大小を識別するバラツキ度識別手段と、前記バラツキ度識別手段により前記バラツキ度が大きいと識別された前記単位ブロックに対して、前記データ読み出し手段が読み出した前記平均値と前記比較結果データと前記偏差値に基づいて復号化データを生成する第１復号化手段と、前記バラツキ度識別手段により前記バラツキ度が小さいと識別された前記単位ブロックに対して、前記データ読み出し手段が読み出した前記平均値に基づいて復号化データを生成する第２復号化手段と、を備えてなることを第１の特徴とする。
【００４２】
上記第１の特徴の画像復号化装置によれば、本発明に係る画像符号化装置で符号化された符号化データは、バラツキ度が大きい単位ブロックについては、平均値と比較結果データと偏差値を具備するため、第１復号化手段によって各要素値のバラツキを反映して、元の画素データと同じデータ長に伸張された各要素値の復号化データを生成することができ、また、バラツキ度が小さい単位ブロックについては、符号化データが比較結果データと偏差値を具備しないため、第２復号化手段によって各要素値のバラツキが小さいので、そのバラツキを無視して平均値に基づいて、元の画素データと同じデータ長に伸張された各要素値の復号化データを生成することができ、上記第１乃至第６の何れかの特徴の画像符号化装置で符号化された符号化データの復号化（データ伸張）に適した画像復号化装置が提供される。
【００４３】
本発明に係る画像復号化装置は、上記第１の特徴に加えて、更に、前記第１復号化手段は、前記単位ブロック内の復号化後の前記各データ保持単位の要素値を、前記各データ保持単位に対応する前記比較結果データに基づいて、前記平均値に対して前記偏差値を加算或いは減算することにより算出し、前記第２復号化手段は、前記単位ブロック内の復号化後の前記各データ保持単位の要素値を全て前記平均値とすることを第２の特徴とする。
【００４４】
上記第２の特徴の画像復号化装置によれば、上記第１の特徴の画像復号化装置の作用効果を奏する第１復号化手段と第２復号化手段を、具体的且つ簡易的に実現することができる。
【００４５】
本発明に係る画像復号化装置は、上記第１または第２の特徴に加えて、更に、前記データ読み出し手段は、前記符号化データから前記平均値と前記フラグビットを読み出す第１データ読み出し手段と、前記バラツキ度識別手段により前記バラツキ度が大きいと識別された場合に、前記符号化データから更に前記比較結果データと前記偏差値を読み出す第２データ読み出し手段を備えてなることを第３の特徴とする。
【００４６】
上記第３の特徴の画像復号化装置によれば、データ読み出し手段が第１データ読み出し手段と第２データ読み出し手段に分けて構成されているので、第１データ読み出し手段は、読み出し対象の単位ブロックのバラツキ度の大小に関係なく、符号化データの平均値とフラグビットを読み出すことでき、第２データ読み出し手段は、バラツキ度が大きい単位ブロックに対してのみ、符号化データの比較結果データと偏差値を読み出すことができるため、画像符号化装置側で全ての単位ブロックの平均値とフラグビットを１塊の記憶領域に記憶し、バラツキ度が大きい単位ブロックの比較結果データと偏差値を別の１塊の記憶領域に記憶しておく場合に、各記憶領域から個別に平均値とフラグビット、及び、比較結果データと偏差値を分離して効率的に読み出すデータ読み出し手段が実現できる。また、第１データ読み出し手段が読み出す符号化データのデータ幅、第２データ読み出し手段が読み出す符号化データのデータ幅は、夫々固定であるので、第１データ読み出し手段及び第２データ読み出し手段のハードウェア構成を簡単化できる。
【００４７】
本発明に係る画像データ処理装置は、上記第１乃至第４の何れかの特徴の画像符号化装置と、前記画像符号化装置が符号化した符号化データを格納する画像メモリと、前記画像メモリが格納する符号化データを復号化する上記第１乃至第３の何れかの特徴の画像復号化装置と、を備えてなることを特徴とする。
【００４８】
上記特徴の画像データ処理装置によれば、画像表示に係る画像データとして、従来のＢＴＣ符号化処理方法より更にデータ量を圧縮して保存されたデータを扱うことが可能となり、画像データの一時保存に必要なメモリ容量の削減が可能となる。
【００４９】
本発明に係る画像符号化方法は、所定の画素数をデータ保持単位とする画素データからなる画像データを相互に隣接する複数の前記データ保持単位からなる単位ブロックに分割する画像データ分割工程と、前記単位ブロック毎に、前記画像データ分割工程で生成された前記単位ブロック内の前記各データ保持単位の要素値の平均値を算出する平均値算出工程と、前記単位ブロック毎に、前記単位ブロック内の前記各データ保持単位の要素値の分布のバラツキ度の大小を予め設定された判定基準に基づいて判定して当該判定結果を示すフラグビットを生成するバラツキ度判定工程と、前記単位ブロック毎に、前記単位ブロック内の前記各データ保持単位の要素値と前記平均値算出工程で算出された前記平均値の各大小比較結果を示す比較結果データを生成する比較結果データ生成工程と、前記単位ブロック毎に、前記単位ブロック内の前記各データ保持単位の要素値と前記平均値算出工程で算出された前記平均値の各差分値に基づく前記単位ブロック内の前記各データ保持単位の要素値の前記平均値からの平均的な偏差度を示す偏差値を算出する偏差値算出工程と、前記単位ブロック毎に、前記バラツキ度判定工程で生成された前記フラグビットの値に応じて、前記バラツキ度が小さい場合は、前記平均値と前記フラグビットを合成して符号化データを生成し、前記バラツキ度が大きい場合は、前記平均値と前記フラグビットと前記比較結果データと前記偏差値を合成して符号化データを生成する符号化データ生成工程と、備えてなることを特徴とする。
【００５０】
上記特徴の画像符号化方法によれば、ＢＴＣ符号化処理による画像データの圧縮が行えるとともに、単位ブロックの各要素値が全て同じか或いは相互に近似して要素値間の差が顕著でない場合には、符号化データが比較結果データと偏差値を含まないデータ構成であるため、当該場合において、符号化処理後の画像データ全体のデータ量を更に圧縮することができるため、不必要に符号化データのメモリ容量を費やすことが回避できる。
【００５１】
ここで、本発明に係る画像符号化方法による単位ブロック毎の符号化データは、従来のＢＴＣ符号化処理方法における画素ブロックの符号化データには無い、フラグビットを含むため、その分のデータ量が増加するが、通常の画像データでは、各要素値が全て同じか或いは相互に近似して要素値間の差が顕著でない単位ブロックが相当数存在するので、比較結果データと偏差値を含まない単位ブロックにおけるデータ削減量の方が、フラグビットによるデータ増加量を大きく上回るため、画像データ全体としてデータ量の圧縮が実現できる。
【００５２】
本発明に係る画像復号化方法は、上記特徴の画像符号化方法で符号化された前記符号化データを符号化前のデータ形式に復号化する画像復号化方法であって、前記単位ブロック毎に、前記符号化データを構成する前記平均値と前記フラグビットを、個別に読み出す第１データ読み出し工程と、前記データ読み出し工程で読み出した前記フラグビットの値に基づいて、前記単位ブロック内の前記各データ保持単位の要素値の分布のバラツキ度の大小を識別するバラツキ度識別工程と、前記バラツキ度識別工程において前記バラツキ度が大きいと識別された場合に、前記符号化データを構成する前記比較結果データと前記偏差値を、個別に読み出すデータ第２読み出し工程と、前記バラツキ度識別工程において前記バラツキ度が大きいと識別された場合に、前記第１データ読み出し工程で読み出した前記平均値と、前記第２データ読み出し工程で読み出した前記比較結果データと前記偏差値に基づいて復号化データを生成する第１復号化工程と、前記バラツキ度識別工程において前記バラツキ度が小さいと識別された場合に、前記第１データ読み出し工程で読み出した前記平均値に基づいて復号化データを生成する第２復号化工程と、を備えてなることを特徴とする。
【００５３】
上記特徴の画像復号化方法によれば、本発明に係る画像符号方法で符号化された符号化データは、バラツキ度が大きい単位ブロックについては、平均値と比較結果データと偏差値を具備するため、第１及び第２データ読み出し工程で平均値と比較結果データと偏差値を読み出し、第１復号化工程において各要素値のバラツキを反映して、元の画素データと同じデータ長に伸張された各要素値の復号化データを生成することができ、また、バラツキ度が小さい単位ブロックについては、符号化データが比較結果データと偏差値を具備しないため、第２復号化工程において各要素値のバラツキが小さいので、そのバラツキを無視して第１データ読み出し工程で読み出した平均値に基づいて、元の画素データと同じデータ長に伸張された各要素値の復号化データを生成することができ、本発明に係る画像符号化方法で符号化された符号化データの復号化（データ伸張）に適した画像復号化方法が提供される。
【発明を実施するための最良の形態】
【００５４】
次に、本発明に係る画像符号化装置及び方法（以下、適宜「本発明符号化装置」及び「本発明符号化方法」と称す）、本発明に係る画像復号化装置及び方法（以下、適宜「本発明復号化装置」及び「本発明復号化方法」と称す）、及び、本発明符号化装置及び本発明復号化装置を備えた画像データ処理装置について、図面を参照して説明する。
【００５５】
〈第１実施形態〉
先ず、本発明符号化装置と本発明復号化装置の概略のシステム構成について説明する。図１に示すように、本発明符号化装置１０は、画像データ分割手段１１、平均値算出手段１２、バラツキ度判定手段１３、比較結果データ生成手段１４、偏差値算出手段１５、符号化データ生成手段１６、及び、画像メモリ１７を備えて構成され、本発明復号化装置２０は、データ読み出し手段２１、バラツキ度識別手段２２、第１復号化手段２３、及び、第２復号化手段２４を備えて構成される。
【００５６】
画像データ分割手段１１は、所定の画素数（例えば、１、２または４画素）をデータ保持単位とする画素データからなる画像データを相互に隣接する複数のデータ保持単位からなる単位ブロックに分割する。本第１実施形態では、符号化処理対象の画像データとして、図２に示すように、解像度がＶＧＡ（Ｘ方向：６４０画素、Ｙ方向：４８０画素）、色表示形式がＲＧＢフォーマット（色の３原色、Ｒ：赤、Ｇ：緑、Ｂ：青の各階調データで色表示を行う）、階調がＲＧＢ各８ビットの１６７７万色データであって、１画素のＲＧＢ各成分をデータ保持単位とする画素データからなる画像データを想定する。以下、説明の便宜上、符号化処理対象の画像データを、符号化処理後の画像データと区別するために、適宜、「１次画像データ」と称す場合がある。
【００５７】
また、単位ブロックは、従来のＢＴＣ符号化方式のＮ×Ｎ画素ブロック（通常Ｎ＝２または４）に該当するもので、本第１実施形態では、図３に示すように、ＲＧＢ各色成分当たり２×２画素で構成される画素ブロックを使用する。従って、１次画像データのＲＧＢ各成分は、画像データ分割手段１１によって、Ｘ方向に３２０ブロック、Ｙ方向に２４０ブロックの単位ブロックに分割される。尚、ＲＧＢ各成分の単位ブロックを構成する４つの画素の要素値（ＲＧＢ階調値０〜２５５の８ビットデータ）は、適宜、図３に示すように、Ｐｉｊ（ｉ＝０，１、ｊ＝０，１）で表す。
【００５８】
平均値算出手段１２は、各単位ブロックの４つの要素値Ｐｉｊの平均値ＡＶＧを、従来のＢＴＣ符号化方式と同様に、以下の数３の算出式に基づいて算出して、後の処理のために一時的に記憶する。本第１実施形態では、各要素値Ｐｉｊが８ビットデータであるので、平均値ＡＶＧも同じく８ビットデータである。
【００５９】
【数３】
【００６０】
バラツキ度判定手段１３は、各単位ブロックの４つの要素値Ｐｉｊの分布のバラツキ度の大小を予め設定された判定基準に基づいて判定して当該判定結果を示す１ビットのフラグビットＦＬＧを生成する。本第１実施形態では、単位ブロック毎に、各要素値Ｐｉｊと平均値ＡＶＧの差分の絶対値（｜Ｐｉｊ−ＡＶＧ｜）が予め定められた閾値Ｄｔｈ以上か未満であるかの大小比較判定を行い、単位ブロック内の４つの画素の内の少なくとも１つの要素値において、当該絶対値（｜Ｐｉｊ−ＡＶＧ｜）が閾値Ｄｔｈ以上の場合には、バラツキ度が大きいと判定して、フラグビットＦＬＧを“１”に設定する。また、単位ブロック内の４つの画素の全ての要素値において、当該絶対値（｜Ｐｉｊ−ＡＶＧ｜）が閾値Ｄｔｈ未満の場合には、バラツキ度が小さいと判定して、フラグビットＦＬＧを“０”に設定する。
【００６１】
比較結果データ生成手段１４は、単位ブロック毎に、単位ブロック内の４つの要素値Ｐｉｊと平均値ＡＶＧの各大小比較結果を示す４ビットの比較結果データを生成する。各単位ブロックの大小比較結果は、各要素値Ｐｉｊに１対１で対応するもので、Ｃｉｊ（ｉ＝０，１、ｊ＝０，１）で表す。ここで、Ｐｉｊ＞ＡＶＧの場合にＣｉｊ＝０、Ｐｉｊ≦ＡＶＧの場合にＣｉｊ＝１となる。
【００６２】
偏差値算出手段１５は、単位ブロック毎に、単位ブロック内の４つの要素値Ｐｉｊと平均値ＡＶＧの各差分値に基づく各要素値Ｐｉｊの平均値ＡＶＧからの平均的な偏差度を示す偏差値ＳＤを、従来のＢＴＣ符号化方式と同様に、以下の数４の算出式に基づいて算出して、後の処理のために一時的に記憶する。本第１実施形態では、各要素値Ｐｉｊが８ビットデータであるので、偏差値ＳＤも同じく８ビットデータとする。
【００６３】
【数４】
【００６４】
符号化データ生成手段１６は、単位ブロック毎に、フラグビットＦＬＧの値に応じて、バラツキ度が小さい場合（ＦＬＧ＝０）は、平均値ＡＶＧとフラグビットＦＬＧを合成して９ビットの符号化データＥＣＤ９（第１符号化データに相当）を生成し、バラツキ度が大きい場合（ＦＬＧ＝１）は、平均値ＡＶＧとフラグビットＦＬＧと比較結果データＣｉｊと偏差値ＳＤを合成して２１ビットの符号化データＥＣＤ２１を生成し、夫々画像メモリ１７に格納する。尚、符号化データＥＣＤ２１は、比較結果データＣｉｊと偏差値ＳＤを１２ビットの部分符号化データＥＣＤ１２（第２符号化データに相当）と捉えれば、９ビットの符号化データＥＣＤ９と１２ビットの部分符号化データＥＣＤ１２を合成したものとなる。図４に、符号化データＥＣＤ９及び符号化データＥＣＤ２１のデータ構成を模式的に示す。
【００６５】
画像メモリ１７は、符号化データＥＣＤ９及びＥＣＤ２１を格納するための記憶装置または記憶手段であり、符号化データ記憶用の専用メモリとして構成されるか、或いは、他のデータ等の記憶にも使用される汎用メモリの一部記憶領域を符号化データ記憶用に占用する形態で構成されている。尚、本第１実施形態では、画像メモリ１７は、本発明符号化装置１０に付属する構成であるが、本発明復号化装置２０に付属する構成、或いは、本発明符号化装置１０及び本発明復号化装置２０とは独立して設ける構成であっても構わない。
【００６６】
符号化データＥＣＤ９またはＥＣＤ２１の画像メモリ１７への格納方法は、画像メモリ１７の構成に依存して、２通りの方法が考えられる。尚、Ｘ方向に３２０、Ｙ方向に２４０の合計７６８００（＝３２０×２４０）の単位ブロックを逐次選択する手順は、例えば、左上隅に位置する単位ブロックから順に開始し、＋Ｘ方向（右方向）に３２０ブロック走査し、１段ずつ−Ｙ方向（下方向）に移動して、右方向の走査を２４０回繰り返し、最終的に右下隅の単位ブロックを選択して終了する。
【００６７】
符号化データの画像メモリ１７への第１の格納方法は、画像メモリ１７が、図５に示すように、９ビットの符号化データＥＣＤ９を格納するための９ビットのデータ幅の第１領域と、１２ビットの部分符号化データＥＣＤ１２を格納するための１２ビットのデータ幅の第２領域に区分して構成されている場合に特化された格納方法である。この場合、符号化データ生成手段１６は、逐次選択された単位ブロック毎に、フラグビットＦＬＧの値に関係なく、符号化データＥＣＤ９を生成して、画像メモリ１７の９ビット幅の第１領域に並列的に格納する。画像メモリ１７の第１領域に格納した後、フラグビットＦＬＧの値が“１”の場合にのみ、部分符号化データＥＣＤ１２を生成して、画像メモリ１７の１２ビット幅の第２領域に並列的に、しかも、１つ前のフラグビットＦＬＧの値が“１”の単位ブロックの部分符号化データＥＣＤ１２を格納したアドレスに連続して格納する。ここで、画像メモリ１７の第１領域のアドレス深さは、全ての単位ブロック分（７６８００）が用意されているのに対して、第２領域のアドレス深さは、例えば、第１領域のアドレス深さの半分（３８４００）が用意されている。つまり、全単位ブロックの内、各要素値Ｐｉｊのバラツキ度の大きい単位ブロック（ＦＬＧ＝１）は、閾値Ｄｔｈを適切に設定することで、半分以下に抑えることができるとの経験則に基づいている。従って、第２領域のアドレス深さは、閾値Ｄｔｈの設定値に応じて変化する。
【００６８】
符号化データの画像メモリ１７への第２の格納方法は、画像メモリ１７が、１ビット幅のＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）メモリで構成されている場合に特化された格納方法である。この場合、符号化データ生成手段１６は、逐次選択された単位ブロック毎に、フラグビットＦＬＧの値に関係なく、符号化データＥＣＤ９を生成して、画像メモリ１７に、平均値ＡＶＧ、フラグビットＦＬＧの順に１ビットずつ記憶し、フラグビットＦＬＧの値が“１”の場合にのみ、引き続き部分符号化データＥＣＤ１２を生成して符号化データＥＣＤ９の後に１ビットずつ記憶する。或いは、符号化データ生成手段１６は、フラグビットＦＬＧの値が“０”の場合、符号化データＥＣＤ９を生成して、画像メモリ１７に、平均値ＡＶＧ、フラグビットＦＬＧの順に１ビットずつ記憶し、フラグビットＦＬＧの値が“１”の場合、符号化データＥＣＤ２１を生成して、前半の符号化データＥＣＤ９の部分を平均値ＡＶＧ、フラグビットＦＬＧの順に１ビットずつ記憶し、引き続き、後半の部分符号化データＥＣＤ１２を１ビットずつ記憶する。ここで、画像メモリ１７の記憶容量は、全ての単位ブロック分（７６８００）の９ビットの符号化データＥＣＤ９の格納用の７６８００×９ビットと、全体の半分の単位ブロック（３８４００）の１２ビットの部分符号化データＥＣＤ１２の格納用の３８４００×１２ビットを合計したビット数（１１５２０００）がＲＧＢ各成分に用意されている。つまり、全単位ブロックの内、各要素値Ｐｉｊのバラツキ度の大きい単位ブロック（ＦＬＧ＝１）は、後述するように、閾値Ｄｔｈを適切に設定することで、半数以下に抑えることができるとの経験則に基づいている。従って、画像メモリ１７の記憶容量は、閾値Ｄｔｈの設定値に応じて変化する。
【００６９】
データ読み出し手段２１は、単位ブロック毎に、画像メモリ１７に格納された符号化データＥＣＤ９またはＥＣＤ２１を各別に読み出すように構成されている。具体的には、データ読み出し手段２１は、符号化データＥＣＤ９を読み出す第１データ読み出し手段２１ａと部分符号化データＥＣＤ１２を読み出す第２データ読み出し手段２１ｂで構成されている。
【００７０】
バラツキ度識別手段２２は、第１データ読み出し手段２１ａが読み出した符号化データＥＣＤ９のフラグビットＦＬＧの値に基づいて、単位ブロック内の各要素値Ｐｉｊの分布のバラツキ度の大小を識別する。
【００７１】
データ読み出し手段２１が、画像メモリ１７から符号化データＥＣＤ９またはＥＣＤ２１を読み出す方法は、符号化データＥＣＤ９またはＥＣＤ２１の画像メモリ１７への格納方法と同様に、画像メモリ１７の構成に依存して、２通りの方法が考えられる。
【００７２】
符号化データの画像メモリ１７からの第１の読み出し方法は、上述した符号化データの画像メモリ１７への第１の格納方法に対応するものであり、画像メモリ１７が、９ビットの符号化データＥＣＤ９を格納するための９ビットのデータ幅の第１領域と、１２ビットの部分符号化データＥＣＤ１２を格納するための１２ビットのデータ幅の第２領域に区分して構成されている場合に特化された読み出し方法である。この場合、第１データ読み出し手段２１ａが、逐次選択された単位ブロック毎に、フラグビットＦＬＧの値に関係なく、画像メモリ１７の９ビット幅の第１領域から９ビットの符号化データＥＣＤ９を各ビット並列的に読み出す。そして、読み出した符号化データＥＣＤ９の内のフラグビットＦＬＧの値が“１”の場合にのみ、第２データ読み出し手段２１ｂが、画像メモリ１７の１２ビット幅の第２領域から１２ビットの部分符号化データＥＣＤ１２を各ビット並列的に読み出す。
【００７３】
ここで、画像メモリ１７の第１領域には、全ての単位ブロックの符号化データＥＣＤ９が、単位ブロックの走査順に格納されているので、同じく単位ブロックの走査順に読み出すことで、対応する単位ブロックの符号化データＥＣＤ９が正しく読み出される。また、画像メモリ１７の第２領域には、フラグビットＦＬＧの値が“１”のバラツキ度の大きい単位ブロックの部分符号化データＥＣＤ１２だけが、単位ブロックの走査順に連続的に格納されているので、つまり、フラグビットＦＬＧの値が“０”のバラツキ度の小さい単位ブロックの記憶領域を空けずに詰めて格納されているので、対応する単位ブロックの部分符号化データＥＣＤ１２が単位ブロック毎に順番に正しく読み出される。
【００７４】
符号化データの画像メモリ１７からの第２の読み出し方法は、上述した符号化データの画像メモリ１７への第２の格納方法に対応するものであり、画像メモリ１７が、１ビット幅のＦＩＦＯメモリで構成されている場合に特化された読み出し方法である。この場合、第１データ読み出し手段２１ａが、逐次選択された単位ブロック毎に、フラグビットＦＬＧの値に関係なく、画像メモリ１７から９ビットの符号化データＥＣＤ９を１ビットずつシリアルに読み出す。そして、読み出した符号化データＥＣＤ９の内のフラグビットＦＬＧの値が“１”の場合にのみ、第２データ読み出し手段２１ｂが、引き続き画像メモリ１７から１２ビットの部分符号化データＥＣＤ１２を１ビットずつシリアルに読み出す。
【００７５】
ここで、画像メモリ１７には、全ての単位ブロックの符号化データＥＣＤ９またはＥＣＤ２１が、単位ブロックの走査順に格納されているので、同じく単位ブロックの走査順に全ての単位ブロックの符号化データＥＣＤ９またはＥＣＤ２１に共通してその先頭部分に位置する符号化データＥＣＤ９を読み出すことで、対応する単位ブロックの符号化データＥＣＤ９が正しく読み出される。また、フラグビットＦＬＧの値が“１”のバラツキ度の大きい単位ブロックの符号化データＥＣＤ２１は、符号化データＥＣＤ９の後に部分符号化データＥＣＤ１２が追加されているので、フラグビットＦＬＧの値が“１”の場合は、当該単位ブロックの符号化データＥＣＤ２１を読み出すことができる。また、フラグビットＦＬＧの値が“０”の場合は、次の操作順の単位ブロックの符号化データＥＣＤ９またはＥＣＤ２１を読み出すことができる。つまり、フラグビットＦＬＧの値を確認することで、最初に読み出した符号化データＥＣＤ９で当該単位ブロックの符号化データが完結しているのか、まだその後に部分符号化データＥＣＤ１２が読み出されずに残っているのかが分かるのである。
【００７６】
第１復号化手段２３は、バラツキ度識別手段２２によりバラツキ度が大きいと識別された単位ブロックに対して、データ読み出し手段２１が読み出した符号化データＥＣＤ２１の平均値ＡＶＧと比較結果データＣｉｊと偏差値ＳＤに基づいて復号化データＰ’ｉｊ（ｉ＝０，１、ｊ＝０，１）を生成する。復号化データＰ’ｉｊは、当該単位ブロックの復号化後の要素値を表しており、符号化前の要素値Ｐｉｊに夫々対応する。具体的には、従来のＢＴＣ符号化方式と同様に、比較結果データＣｉｊが“０”の場合、Ｐ’ｉｊ＝ＡＶＧ＋ＳＤ、比較結果データＣｉｊが“１”の場合、Ｐ’ｉｊ＝ＡＶＧ−ＳＤとする。
【００７７】
第２復号化手段２４は、バラツキ度識別手段２２によりバラツキ度が小さいと識別された単位ブロックに対して、データ読み出し手段２１が読み出した符号化データＥＣＤ９の平均値ＡＶＧに基づいて復号化データＰ’ｉｊ（ｉ＝０，１、ｊ＝０，１）を生成する。具体的には、従来のＢＴＣ符号化方式とは異なり、符号化データＥＣＤ９には比較結果データＣｉｊ及び偏差値ＳＤは含まれていないので、これらのデータは用いずに、各復号化データＰ’ｉｊを一律に平均値ＡＶＧとする。
【００７８】
第１復号化手段２３または第２復号化手段２４で復号化された復号化データＰ’ｉｊは、符号化前の単位ブロックの要素値Ｐｉｊと同じデータ形式及びデータ長（８ビットのＲＧＢデータ）である。
【００７９】
以上、本発明符号化装置１０を構成する各手段１１〜１６、及び、本発明復号化装置２０を構成する各手段２１〜２４について詳細に説明したが、これらの各手段は、マイクロプロセッサやマイクロコンピュータ上において夫々の機能をコンピュータプログラムの実行により実現するソフトウェア手段による構成、或いは、夫々の機能をハードウェアで実現するハードウェア手段による構成、更には、ソフトウェア手段とハードウェア手段を折衷した構成の何れの構成であっても良い。
【００８０】
次に、本発明符号化装置１０が本発明符号化方法によるＢＴＣ符号化処理（データ圧縮処理）を実行する手順について、図６を参照して説明する。尚、図６は、本発明符号化方法の概略の処理手順を示すフローチャートである。
【００８１】
先ず、本発明符号化装置１０が１次画像データ（例えば、ＶＧＡ、ＲＧＢフォーマットデータ）を受け取ると、画像データ分割手段１１が、１次画像データを相互に隣接する複数のデータ保持単位からなる単位ブロックに分割する（画像データ分割工程：ステップ＃１１）。単位ブロックは、一例として図３に示す２×２画素で構成される画素ブロックを使用する。
【００８２】
次に、平均値算出手段１２が、順番に選択された１つの単位ブロックの４つの要素値Ｐｉｊの平均値ＡＶＧを上記数３の算出式により算出する（平均値算出工程：ステップ＃１２）。尚、数３の演算では小数点以下は四捨五入する。
【００８３】
引き続き、バラツキ度判定手段１３が、当該選択されている単位ブロック内の４つの要素値Ｐｉｊの分布のバラツキ度の大小を上述の要領で判定して、その判定結果に基づいてフラグビットＦＬＧに“０”または“１”を設定する（バラツキ度判定工程：ステップ＃１３）。
【００８４】
上記ステップ＃１３においてフラグビットＦＬＧに“１”が設定された場合、比較結果データ生成手段１４が、当該選択されている単位ブロック内の４つの要素値Ｐｉｊと平均値ＡＶＧの各大小比較結果を示す４ビットの比較結果データＣｉｊを上述の要領で生成する（比較結果データ生成工程：ステップ＃１４）。
【００８５】
ステップ＃１４に引き続き、偏差値算出手段１５が、単位ブロック内の４つの要素値Ｐｉｊと平均値ＡＶＧの各差分値に基づく各要素値Ｐｉｊの平均値ＡＶＧからの平均的な偏差度を示す偏差値ＳＤを、上記数４の算出式に基づいて算出する（偏差値算出工程：ステップ＃１５）。尚、数４の演算では小数点以下は四捨五入する。
【００８６】
ステップ＃１５に引き続き、符号化データ生成手段１６が、ステップ＃１２〜＃１５で算出した平均値ＡＶＧとフラグビットＦＬＧと比較結果データＣｉｊと偏差値ＳＤを合成して２１ビットの符号化データＥＣＤ２１を生成し、画像メモリ１７に格納する（符号化データ生成工程１：ステップ＃１６）。
【００８７】
上記ステップ＃１３においてフラグビットＦＬＧに“０”が設定された場合、比較結果データ生成手段１４による比較結果データＣｉｊの算出、及び、偏差値算出手段１５による偏差値ＳＤの算出を実行せずに、符号化データ生成手段１６が、ステップ＃１２及び＃１３で算出した平均値ＡＶＧとフラグビットＦＬＧを合成して９ビットの符号化データＥＣＤ９を生成し、画像メモリ１７に格納する（符号化データ生成工程２：ステップ＃１７）。
【００８８】
上記符号化データ生成工程１及び２では、符号化データＥＣＤ２１及びＥＣＤ９の画像メモリ１７に格納は、上述の第１または第２の格納方法の何れかによって行なわれるので、重複する説明は割愛する。
【００８９】
１つの単位ブロックに対してステップ＃１６または＃１７の符号化データ生成工程が終了すると、終了した単位ブロックが最後の単位ブロックか否かを判定し（ステップ＃１８）、最後の単位ブロックでない場合は、次の単位ブロックを選択して（ステップ＃１９）、ステップ＃１２〜＃１８までの処理を、最後の単位ブロックと判定されるまで繰り返す。尚、同じ単位ブロックのＲＧＢ各成分について、ステップ＃１２〜＃１７の各処理は３回実行される。
【００９０】
次に、本発明復号化装置２０が本発明復号化方法によるＢＴＣ復号化処理（データ伸張処理）を実行する手順について、図７を参照して説明する。尚、図７は、本発明復号化方法の概略の処理手順を示すフローチャートである。
【００９１】
先ず、第１データ読み出し手段２１ａが、順番に選択された１つの単位ブロックの符号化データＥＣＤ９またはＥＣＤ２１の内の符号化データＥＣＤ９を構成する８ビットの平均値ＡＶＧと１ビットのフラグビットＦＬＧを、画像メモリ１７から読み出す（第１データ読み出し工程：ステップ＃２１）。符号化データＥＣＤ９の読み出し方法は、画像メモリ１７の構成に応じた上記第１または第２の読み出し方法によって行う。
【００９２】
引き続き、バラツキ度識別手段２２が、ステップ＃２１で読み出したフラグビットＦＬＧの値に基づいて、フラグビットＦＬＧの値が“１”の場合は、当該単位ブロック内の各要素値Ｐｉｊの分布のバラツキ度が大きいと識別し、逆に、フラグビットＦＬＧの値が“０”の場合は、バラツキ度が小さいと識別する（バラツキ度識別工程：ステップ＃２２）。
【００９３】
ステップ＃２２でバラツキ度が大きいと識別された場合（ＦＬＧ＝１）、第２データ読み出し手段２１ｂが、符号化データＥＣＤ２１の部分符号化データＥＣＤ１２を構成する４ビットの比較結果データＣｉｊ（ｉ＝０，１、ｊ＝０，１）と８ビットの偏差値ＳＤを、個別に読み出す（第２データ読み出し工程：ステップ＃２３）。部分符号化データＥＣＤ１２の読み出し方法は、画像メモリ１７の構成に応じた上記第１または第２の読み出し方法によって行う。
【００９４】
ステップ＃２３に引き続いて、第１復号化手段２３が、ステップ＃２１で読み出した平均値ＡＶＧと、ステップ＃２３で読み出した比較結果データＣｉｊと偏差値ＳＤに基づいて、当該単位ブロック内の各要素値の復号化データＰ’ｉｊを生成して、復号化データＰ’ｉｊを表示出力する画像表示装置に出力する（第１復号化工程：ステップ＃２４）。具体的には、従来のＢＴＣ符号化方式と同様に、比較結果データＣｉｊが“０”の場合、Ｐ’ｉｊ＝ＡＶＧ＋ＳＤ、比較結果データＣｉｊが“１”の場合、Ｐ’ｉｊ＝ＡＶＧ−ＳＤとする。
【００９５】
ステップ＃２２でバラツキ度が小さいと識別された場合（ＦＬＧ＝０）、第２データ読み出し手段２１ｂによる比較結果データＣｉｊと偏差値ＳＤの読み出しは行わずに、第２復号化手段２４が、当該単位ブロック内の４つの要素値の復号化データＰ’ｉｊを、一律にステップ＃２１で読み出した平均値ＡＶＧとして生成して、その復号化データＰ’ｉｊを画像表示装置に出力する（第２復号化工程：ステップ＃２５）。
【００９６】
１つの単位ブロックに対して第１または第２復号化工程（ステップ＃２４または＃２５）が終了すると、終了した単位ブロックが最後の単位ブロックか否かを判定し（ステップ＃２６）、最後の単位ブロックでない場合は、次の単位ブロックを選択して（ステップ＃２７）、ステップ＃２１〜＃２６までの処理を、最後の単位ブロックと判定されるまで繰り返す。尚、同じ単位ブロックのＲＧＢ各成分について、ステップ＃２１〜＃２５の各処理は３回実行される。
【００９７】
図８に、１つの単位ブロックにおける本発明符号化方法及び本発明復号化方法の処理結果の具体例を示す。
【００９８】
単位ブロックの２５６階調の要素値Ｐｉｊが、Ｐ００＝１２０、Ｐ１０＝１３１、Ｐ０１＝１５４、Ｐ１１＝１０１の場合で、閾値Ｄｔｈが１３に設定されている場合（Ａ）と２９に設定されている場合（Ｂ）について説明する。平均値ＡＶＧは、閾値Ｄｔｈに関係なく、１２７と算出される。バラツキ度の大小を判定するために、要素値Ｐｉｊと平均値ＡＶＧの差分の絶対値｜Ｐｉｊ−ＡＶＧ｜を算出すると、（７，５，２８，２６）となる。閾値Ｄｔｈが１３に設定されている場合（Ａ）は、２つの要素値で閾値Ｄｔｈ以上となり、バラツキ度が大きいと判定され、フラグビットＦＬＧは“１”に設定される。一方、閾値Ｄｔｈが２９に設定されている場合（Ｂ）では、全ての要素値で閾値Ｄｔｈ未満となり、バラツキ度が小さいと判定され、フラグビットＦＬＧは“０”に設定される。何れのケースにおいても、比較結果データＣｉｊは、（１，０，０，１）であり、偏差値ＳＤは１６である。しかし、閾値Ｄｔｈが１３に設定されている場合（Ａ）は、フラグビットＦＬＧが“１”であるので、２１ビットの符号化データＥＣＤ２１が生成され、画像メモリに格納される。また、復号化処理では、復号化データＰ’ｉｊが、比較結果データＣｉｊが“０”の場合、Ｐ’ｉｊ＝ＡＶＧ＋ＳＤ、比較結果データＣｉｊが“１”の場合、Ｐ’ｉｊ＝ＡＶＧ−ＳＤと計算されるので、Ｐ’００＝１１１、Ｐ’１０＝１４３、Ｐ’０１＝１４３、Ｐ’１１＝１１１と復号化される。一方、閾値Ｄｔｈが２９に設定されている場合（Ｂ）では、フラグビットＦＬＧが“０”であるので、９ビットの符号化データＥＣＤ９が生成される。また、復号化処理では、復号化データＰ’ｉｊが一律に平均値ＡＶＧ（＝１２７）に復号化される。
【００９９】
次に、本発明符号化装置１０によって符号化された画像データの１次画像データからのデータ圧縮率について検討する。
【０１００】
上述の説明と同様、１次画像データとして、上述したＲＧＢ各８ビットの１６７７万色のＶＧＡデータを想定すると、１次画像データのデータ量は、（６４０×４８０）画素×２４ビット＝７３７２８００ビットである。同じデータ量の１次画像データに対して、従来のＢＴＣ符号化方式による符号化処理を施した場合、ＲＧＢの１成分当たりの単位ブロック（２×２画素、３２ビット）が、８ビットの平均値ＡＶＧと４ビットの比較結果データＣｉｊと８ビットの偏差値ＳＤの合計２０ビットの符号化データに変換されるため、データ圧縮率は６２．５％（＝２０／３２×１００）、全体のデータ量は４６０８０００ビットとなる。
【０１０１】
これに対して、本発明符号化装置１０によって符号化された画像データは、単位ブロック（２×２画素、３２ビット）の各要素値Ｐｉｊのバラツキ度の大小に応じて、９ビットまたは２１ビットの符号化データＥＣＤ９またはＥＣＤ２１に変換されるため、符号長が一定でない。全ての単位ブロックのバラツキ度が大きい場合は、データ圧縮率は６５．６２５％（＝２１／３２×１００）、全体のデータ量は４８３８４００ビットとなり、従来のＢＴＣ符号化方式による符号化処理より圧縮率が上昇して悪化するが、逆に、全ての単位ブロックのバラツキ度が小さい場合は、データ圧縮率は２８．１２５％（＝９／３２×１００）、全体のデータ量は２０７３６００ビットとなり、従来のＢＴＣ符号化方式による符号化処理より大幅に圧縮率が減少して圧縮後のデータ量を低減できる。従って、全ての単位ブロックの約８．３４％（１９２００ブロック）を超える単位ブロックにおいてバラツキ度が小さいと、圧縮率が従来のＢＴＣ符号化方式によるデータ圧縮率（６２．５％）より低下する。
【０１０２】
１次画像データが、写真画像や動画像の自然画像のデータである場合は、単位ブロックサイズが小さければ、単位ブロック内の全ての要素において、各要素値Ｐｉｊとその平均値ＡＶＧとの差分の絶対値（｜Ｐｉｊ−ＡＶＧ｜）は小さく抑制される可能性が大きくなると考えられる。即ち、単位ブロックサイズが２×２画素の場合では、単位ブロック内の４つの要素値Ｐｉｊが殆ど同じ値となり、当該差分の絶対値が所定の閾値Ｄｔｈ未満となる単位ブロックの存在比率が高くなることが期待される。
【０１０３】
幾枚かの写真画像を用いて検証した結果、閾値Ｄｔｈを１３と設定した場合（要素値Ｐｉｊは０〜２５５）、全ての単位ブロックの約７０％の単位ブロックが、当該差分の絶対値が閾値Ｄｔｈ（＝１３）未満、つまり、バラツキ度が小さいと判定され、画像データ全体でのデータ圧縮率は略４０％になるという結果が得られた。従来のＢＴＣ符号化方式では、データ圧縮率は６２．５％であったので、２０％以上の圧縮率低減が図れることが分かる。
【０１０４】
上記検証結果を更に詳細に見ると、上記の幾枚かの写真画像例では、９ビットの符号化データＥＣＤ９と２１ビットの符号化データＥＣＤ２１の生成比率が概ね７：３であるので、更に余裕を見て、符号化データＥＣＤ２１の生成比率を全単位ブロックに対して５０％以下と想定して画像メモリの記憶容量をＲＧＢ各成分に対して１１５２０００ビット確保すれば、全ての単位ブロックに対して、２つの符号化データＥＣＤ９及びＥＣＤ２１を確実に格納することが可能となる。
【０１０５】
〈第２実施形態〉
次に、本発明符号化装置及び方法、本発明復号化装置及び方法の第２実施形態について図９〜図１２を参照して説明する。
【０１０６】
上記第１実施形態では、１次画像データとして、色表示形式がＲＧＢフォーマットのデータを想定したが、色表示形式としては、ＲＧＢフォーマット以外に、ＹＵＶフォーマット（Ｙ：輝度、Ｕ、Ｖ：色差の各階調データで色表示を行う）であっても、同様に各成分の要素値Ｐｉｊに対して本発明符号化方法による符号化処理及び本発明復号化方法による復号化処理を行うことが可能である。
【０１０７】
更に、人間の視覚特性は、輝度に敏感であるが、色差には鈍感であるため、１画素毎に、輝度データ（Ｙ）及び２種類の色差データ（Ｕ、Ｖ）を夫々備える非圧縮型（ＲＧＢデータを基準とする）のＹＵＶフォーマット（ＹＵＶ４４４）に対して、２種類の色差データ（Ｕ、Ｖ）を、水平方向に隣接する２画素毎或いは水平垂直方向に隣接する２画素（２×２画素）毎に１つずつ設けることで、画像データを圧縮することが可能である。この場合、２画素または４画素中の１画素または３画素を間引くか、平均を取ることで１つの要素値を作成する。
【０１０８】
斯かる圧縮型のＹＵＶフォーマットとして、ＹＵＶ４２２フォーマット、ＹＵＶ４１１フォーマット等がある。図９に、４×４画素分のＲＧＢデータに対応する、ＹＵＶ４２２フォーマットとＹＵＶ４１１フォーマットのデータ構成を模式的に示す図であり、各ＹＵＶフォーマットにおける各成分のデータ量及びＲＧＢフォーマットからのデータ圧縮率を示している。
【０１０９】
以下の数５及び数６に、ＲＧＢフォーマットと非圧縮型ＹＵＶフォーマット（ＹＵＶ４４４）の間の各成分間の変換式を示す。
【０１１０】
【数５】
【０１１１】
【数６】
【０１１２】
本第２実施形態では、図２に示すようなＲＧＢデータを入力画像データとして受け付けた後に、ＹＵＶフォーマットに変換して１次画像データを生成した後に、当該ＹＵＶフォーマットの１次画像データに対して、上記第１実施形態と同様の処理手順で本発明符号化方法による符号化処理を施して、単位ブロック毎に符号化データＥＣＤ９またはＥＣＤ２１を生成して画像メモリに格納する。
【０１１３】
また、本第２実施形態では、画像メモリに格納された単位ブロック毎の符号化データＥＣＤ９またはＥＣＤ２１を、上記第１実施形態と同様の処理手順で本発明復号化方法による復号化処理を施して、符号化前の単位ブロックの各要素値Ｐｉｊに対応するＹＵＶフォーマットの復号化データＰ’ｉｊを生成し、当該ＹＵＶフォーマットの復号化データＰ’ｉｊをＲＧＢフォーマットに逆変換して、画像表示装置に出力する。
【０１１４】
従って、第２実施形態に係る本発明符号化装置３０は、図１０に示すように、画像データ分割手段１１、平均値算出手段１２、バラツキ度判定手段１３、比較結果データ生成手段１４、偏差値算出手段１５、符号化データ生成手段１６、及び、画像メモリ１７に加えて、前処理手段としての色表示形式をＲＧＢフォーマットからＹＵＶフォーマットに変換するフォーマット変換手段３１を備えて構成される。更に、第２実施形態に係る本発明復号化装置４０は、図１０に示すように、データ読み出し手段２１、バラツキ度識別手段２２、第１復号化手段２３、及び、第２復号化手段２４に加えて、後処理手段としての色表示形式をＹＵＶフォーマットからＲＧＢフォーマットに逆変換するフォーマット逆変換手段４１を備えて構成される。本発明符号化装置３０については、フォーマット変換手段３１以外は、第１実施形態と同じであるので、重複する説明は割愛する。また、本発明復号化装置４０については、フォーマット逆変換手段４１以外は、第１実施形態と同じであるので、同様に重複する説明は割愛する。
【０１１５】
尚、以下の説明において、本第２実施形態では、ＹＵＶフォーマットとして圧縮型のＹＵＶ４１１フォーマットを用いる場合について説明する。
【０１１６】
フォーマット変換手段３１は、各画素のＲＧＢ成分値を上記数５の変換式に基づいてＹＵＶ成分値を算出した後に、２×２画素分の色差データＵ、Ｖについて、夫々平均値を算出して各要素値とする。尚、色差データＵ、Ｖ夫々の平均値を算出する代わりに、２×２画素分の色差データＵ、Ｖの何れか１画素の色差データＵ、Ｖを代表値として抽出しても構わない。以上、フォーマット変換手段３１により生成されたＹＵＶフォーマットの１次画像データは、輝度データ（Ｙ）は６４０×４８０×８ビット、２種類の色差データ（Ｕ、Ｖ）は夫々、３２０×２４０×８ビットのデータ量となっている。色差データ（Ｕ、Ｖ）については、２×２画素が１データ保持単位となっている。
【０１１７】
フォーマット逆変換手段４１は、復号化された色差データ（Ｕ、Ｖ）の各要素値Ｐ’ｉｊ（２×２画素分）を各画素の色差データ（Ｕ、Ｖ）として、復号化された輝度データ（Ｙ）の各要素値Ｐ’ｉｊ（１画素分）と共に、上記数６の変換式に基づいてＲＧＢ成分値を算出する。尚、上記第１実施形態では、第１復号化手段２３と第２復号化手段２４が、復号化データＰ’ｉｊをそのまま画像表示装置に出力する構成であったが、本第２実施形態では、ＲＧＢフォーマットへのフォーマット逆変換処理を伴うので、第１復号化手段２３と第２復号化手段２４は、復号化データＰ’ｉｊを画像表示装置に出力せずに、フォーマット逆変換手段４１に出力し、フォーマット逆変換手段４１がフォーマット逆変換処理後のＲＧＢフォーマットの復号化データを画像表示装置に出力する。
【０１１８】
本第２実施形態で追加となったフォーマット変換手段３１及びフォーマット逆変換手段４１は、マイクロプロセッサやマイクロコンピュータ上において夫々の機能をコンピュータプログラムの実行により実現するソフトウェア手段による構成、或いは、夫々の機能をハードウェアで実現するハードウェア手段による構成、更には、ソフトウェア手段とハードウェア手段を折衷した構成の何れの構成であっても良い。
【０１１９】
次に、本発明符号化装置３０が本発明符号化方法によるＢＴＣ符号化処理（データ圧縮処理）を実行する手順について、図１１を参照して説明する。尚、図１１は、第２実施形態に係る本発明符号化方法の概略の処理手順を示すフローチャートである。
【０１２０】
先ず、本発明符号化装置３０が入力画像データ（ＶＧＡ、ＲＧＢフォーマットデータ）を受け取ると、フォーマット変換手段３１が、ＹＵＶ４１１フォーマットの１次画像データに変換する（フォーマット変換工程：ステップ＃１０）。
【０１２１】
引き続き、画像データ分割手段１１が、１次画像データを相互に隣接する複数のデータ保持単位からなる単位ブロックに分割する（画像データ分割工程：ステップ＃１１）。単位ブロックは、輝度データ（Ｙ）については、２×２画素で構成される画素ブロックを使用し、色差データ（Ｕ、Ｖ）については、２×２データ保持単位（４×４画素）で構成される画素ブロックを使用する。従って、単位ブロックの総数は、輝度データ（Ｙ）については、３２０×２４０ブロックであり、色差データ（Ｕ、Ｖ）については、夫々１６０×１２０ブロックである。
【０１２２】
以下、輝度データ（Ｙ）及び色差データ（Ｕ、Ｖ）の成分毎に、図６に示す第１実施形態の処理手順と同様に、ステップ＃１２〜＃１８までの処理を、輝度データ（Ｙ）及び２つの色差データ（Ｕ、Ｖ）の全ての単位ブロックについて繰り返し実行する。バラツキ度判定工程（ステップ＃１３）で使用する閾値Ｄｔｈは、例えば第１実施形態と同様の「１３」を使用する。尚、閾値Ｄｔｈは、輝度データ（Ｙ）及び色差データ（Ｕ、Ｖ）の夫々に対してシミュレーション等で個々に検証した値を別途使用するようにするのも好ましい。
【０１２３】
次に、本発明復号化装置４０が本発明復号化方法によるＢＴＣ復号化処理（データ伸張処理）を実行する手順について、図１２を参照して説明する。尚、図１２は、本発明復号化方法の概略の処理手順を示すフローチャートである。
【０１２４】
図７に示す第１実施形態の処理手順と同様に、ステップ＃２１〜＃２５までの処理を、ＹＵＶ４１１データの各成分の選択された単位ブロックについて実行する。但し、第１または第２復号化工程（ステップ＃２４または＃２５）では、復号化データＰ’ｉｊの画像表示装置への出力は行わない。
【０１２５】
同じ２×２画素に対応する輝度データ（Ｙ）と２つの色差データ（Ｕ、Ｖ）復号化データＰ’ｉｊが生成されると、フォーマット逆変換手段４１が、復号化された色差データ（Ｕ、Ｖ）の各要素値Ｐ’ｉｊ（２×２画素分）を各画素の色差データ（Ｕ、Ｖ）として、復号化された輝度データ（Ｙ）の各要素値Ｐ’ｉｊ（１画素分）と共に、上記数６の変換式に基づいてＲＧＢ成分値を算出し、フォーマット逆変換処理後のＲＧＢフォーマットの復号化データを画像表示装置に出力する（フォーマット逆変換工程：ステップ＃２８）。尚、２つの色差データ（Ｕ、Ｖ）の各１単位ブロックは、輝度データ（Ｙ）の４単位ブロックに対応し、２つの色差データ（Ｕ、Ｖ）の復号化された夫々４つの要素値Ｐ’ｉｊ（１つの要素値は２×２画素分に対応する）は、輝度データ（Ｙ）の４単位ブロックの１ずつに対応する。図９のＹＵＶ４１１フォーマットの図を参照すれば、輝度データ（Ｙ）の１つの単位ブロックの４つの要素値（Ｙ００，Ｙ０１，Ｙ１０，Ｙ１１）は、輝度データ（Ｕ）の１つの要素値（Ｕ００−１１）に対応する。つまり、色差データ（Ｕ、Ｖ）の各１つの単位ブロックの復号化データは４つに分割され、輝度データ（Ｙ）の４つの単位ブロックの復号化データに対して各別に使用される。従って、ステップ＃２１〜＃２５までの処理は、色差データ（Ｕ、Ｖ）ついては、輝度データ（Ｙ）の４回に１回の頻度で処理される。
【０１２６】
ステップ＃２７のフォーマット逆変換工程が終了すると、終了した単位ブロックが最後の単位ブロックか否かを判定し（ステップ＃２６）、最後の単位ブロックでない場合は、次の単位ブロックを選択して（ステップ＃２７）、ステップ＃２１からステップ＃２６までの処理を、最後の単位ブロックと判定されるまで繰り返す。
【０１２７】
次に、本発明符号化装置３０によって符号化された画像データの入力画像データからのデータ圧縮率について検討する。
【０１２８】
フォーマット変換手段３１により、入力画像データから１次画像データへのフォーマット変換によりデータ量は５０％に減少している。ＹＵＶ４１１フォーマットについても、第１実施形態と同様の条件（閾値Ｄｔｈ＝１３）で符号化処理した場合、１次画像データに対するデータ圧縮率が約４０％となるため、ＲＧＢフォーマットの入力画像データからのデータ圧縮率は２０％まで下げることが可能となる。
【０１２９】
〈第３実施形態〉
次に、本発明符号化装置及び方法の第３実施形態について、図１３を参照して説明する。第３実施形態に係る本発明符号化装置及び方法は、上記第１実施形態及び第２実施形態におけるバラツキ度判定手段１３及びバラツキ度判定工程（ステップ＃１３）を変更した実施形態となっている。
【０１３０】
上記第１実施形態及び第２実施形態では、所定の閾値Ｄｔｈ（例えば１３）の条件下において、２×２画素内での要素値のバラツキ度の小さい単位ブロックが全体の半分以上存在する標準的な写真画像や動画像の自然画像を１次画像データとして想定し、画像メモリの記憶容量を設定したが、設定した閾値Ｄｔｈに対して、単位ブロック内の要素値のバラツキ度が大きい単位ブロックが当初の予想より多い場合は、単位ブロックを順次選択して、図６に示すステップ＃１２〜＃１８までの処理を、最後の単位ブロックと判定されるまで繰り返すと、最後の単位ブロックに至る前に、画像メモリの記憶容量を使い果たして、最後の方の何ブロックかの単位ブロックについては、バラツキ度の大小に関係なく符号化データＥＣＤ９またはＥＣＤ２１を画像メモリに格納できなくなる可能性が生じる。
【０１３１】
従って、本第３実施形態では、斯かる画像メモリの記憶容量不足を未然に防止するために、バラツキ度判定手段１３が、図６に示すバラツキ度判定工程（ステップ＃１３）に代えて図１３に示すバラツキ度判定工程（ステップ＃１３０）を実行する。先ず、バラツキ度が大きいと判定した単位ブロックの累積カウント数Ｍが、ＲＧＢまたはＹＵＶ各成分の単位ブロックの総数の半分（ＲＧＢデータでは３４５６０００）以下か否かを判定する（ステップ＃１３１）。ステップ＃１３１の判定で累積カウント数Ｍが単位ブロックの全数の半分以下の場合は、画像メモリ内に符号化データＥＣＤ２１の内の１２ビットの部分符号化データＥＣＤ１２を作成する十分な記憶容量が残されているので、第１実施形態と同じバラツキ度判定工程（ステップ＃１３）によりバラツキ度の判定を行い、フラグビットＦＬＧを設定する（ステップ＃１３２）。次に、フラグビットＦＬＧを“１”に設定した場合は、累積カウント数Ｍを１カウントアップして（Ｍ＝Ｍ＋１、ステップ＃１３３）、ステップ＃１４に移行する。また、ステップ＃１３２において、フラグビットＦＬＧを“０”に設定した場合は、累積カウント数Ｍをカウントアップせずに、ステップ＃１７に移行する。尚、累積カウント数Ｍの初期値は０である。一方、ステップ＃１３１の判定で累積カウント数Ｍが単位ブロックの全数の半分より大きい場合は、画像メモリ内に９ビットの符号化データＥＣＤ９用の記憶容量を確保した後の余剰部分に、符号化データＥＣＤ２１の内の１２ビットの部分符号化データＥＣＤ１２を作成する十分な記憶容量が残されていないので、各要素値Ｐｉｊと平均値ＡＶＧの差分の絶対値（｜Ｐｉｊ−ＡＶＧ｜）に基づくバラツキ度の大小判定は行わずに、強制的にバラツキ度が小さいとして、フラグビットＦＬＧを“０”に設定して（ステップ＃１３４）、フラグビットＦＬＧに“０”が設定された場合のステップ＃１７に強制的に移行する。
【０１３２】
バラツキ度判定工程が異なる以外は、上記第１実施形態及び第２実施形態と同じであるので、重複する説明は割愛する。
【０１３３】
更に、全てのブロック単位に対して符号化データ生成工程１または２が終了した後に、累積カウント数Ｍが単位ブロックの全数の半分を超過している場合は、その超過分に応じて、次の１次画像データの符号化処理に対応すべく閾値Ｄｔｈの値を高く設定し直す閾値再設定工程を設ける。ここで、超過分に関係なく、閾値Ｄｔｈの値を１だけ高くするようにしても良い。
【０１３４】
逆に、閾値再設定工程において、累積カウント数Ｍが単位ブロックの全数の半分以下で、その余剰数が所定の規定値以上の場合には、次の１次画像データの符号化処理に対応すべく閾値Ｄｔｈの値を高く設定し直す処理を追加しても構わない。ここで、余剰数に関係なく、閾値Ｄｔｈの値を１だけ低くするようにしても良い。
【０１３５】
〈別実施形態〉
〈１〉上記各実施形態において、本発明符号化装置１０、３０の偏差値算出手段１５は、偏差値ＳＤを上記数４の算出式に基づいて算出したが、数４の算出式に代えて標準偏差を算出する下記数７の算出式に基づいて算出しても良い。
【０１３６】
【数７】
【０１３７】
〈２〉上記各実施形態において、本発明符号化装置１０、３０のバラツキ度判定手段１３は、各単位ブロックの４つの要素値Ｐｉｊの分布のバラツキ度を、単位ブロック内の４つの画素の内の少なくとも１つの要素値において、当該絶対値（｜Ｐｉｊ−ＡＶＧ｜）が閾値Ｄｔｈ以上の場合には大きいと判定し、単位ブロック内の４つの画素の全ての要素値において、当該絶対値（｜Ｐｉｊ−ＡＶＧ｜）が閾値Ｄｔｈ未満の場合には小さいと判定したが、絶対値（｜Ｐｉｊ−ＡＶＧ｜）と閾値Ｄｔｈの大小比較に基づく判定基準に代えて、偏差値算出手段１５が算出した偏差値ＳＤが、所定の閾値以上の場合にバラツキ度が大きいと判定し、所定の閾値未満の場合にバラツキ度が小さいと判定する判定基準を用いても構わない。
【０１３８】
但し、この場合は、バラツキ度判定手段１３がバラツキ度の大小判定を行う前に、単位ブロックのバラツキ度に関係なく、偏差値算出手段１５が偏差値ＳＤを予め算出しておく必要があるため、図６及び図１１に示す本発明符号化方法の処理手順において、ステップ＃１５の偏差値算出工程を、ステップ＃１２の平均値算出工程とステップ＃１３のバラツキ度判定工程の間に処理するように、工程順を変更する。
【０１３９】
〈３〉上記各実施形態では、偏差値ＳＤのビット数を、単位ブロックの要素値Ｐｉｊのビット数と同数としたが、１ビット減らしても良い。つまり、各要素値Ｐｉｊが８ビットの階調データの場合では、偏差値ＳＤも８ビットとしたが、１ビット減らして７ビットとしても良い。具体的に説明すると、要素値Ｐｉｊが２５６階調（階調値０〜２５５）では、数３により算出した平均値ＡＶＧも階調値０〜２５５を取り得るが、数４により算出した偏差値ＳＤは、各要素値Ｐｉｊ（ｉ＝０，１、ｊ＝０，１）が、０，０，２５５，２５５の場合にバラツキ度が最大となって、「１２８」となる。この偏差値ＳＤの最大値「１２８」は、「１２７．５」を四捨五入した結果であるので、これを「１２７」とすれば、偏差値ＳＤは７ビットで表すことができる。従って、２１ビットの符号化データＥＣＤ２１は１ビット少ない２０ビットの符号化データとすることができる。これにより、画像メモリ１７の記憶容量を更に節減できる。
【０１４０】
この場合、偏差値ＳＤで減った１ビットは、フラッグビットＦＬＧとして使用することで、バラツキ度の大きい単位ブロックの符号化データが、従来のＢＴＣ符号化方式による符号化データと同ビット数となるので、バラツキ度の小さい単位ブロックが少なくとも１つ存在すれば、本発明符号化装置及び方法によって、従来のＢＴＣ符号化方式と比較してデータ圧縮率が確実に低下して圧縮後のデータ量が低減することになる。
【０１４１】
〈４〉上記各実施形態では、単位ブロックのサイズは、２×２画素或いは２×２データ保持単位としたが、当該サイズを縦横２倍の４×４画素或いは４×４データ保持単位としても構わない。但し、単位ブロックサイズを単純に大きくしただけでは、復号化後の画像データの各要素値Ｐ’ｉｊの１次画像データの要素値Ｐｉｊからの乖離が大きくなり画像品質の劣化度が大きくなるので、平均値ＡＶＧを所定の基準で算出される要素値Ｐｉｊ（ｉ＝０〜３、ｊ＝０〜３）の代表値に置き換え、偏差値ＳＤを量子化刻みに置き換え、比較結果データＣｉｊ（ｉ＝０〜３、ｊ＝０〜３）の夫々を要素値Ｐｉｊと代表値の差分を量子化刻みで量子化した２ビット以上の階調値で表すように変更しても構わない。このように単位ブロックサイズを拡大した場合でも、単位ブロック内の要素値Ｐｉｊ間のバラツキ度が小さい場合において、上記各実施形態と同様に、比較結果データＣｉｊ（または階調値データ）及び偏差値ＳＤ（または量子化刻みデータ）を省略することで、データ圧縮率を低下させて圧縮後のデータ量を低減できる。
【０１４２】
〈５〉上記各実施形態では、本発明復号化装置２０の第１復号化手段２３及び第２復号化手段２４は、復号化データＰ’ｉｊを画像表示装置に出力し、本発明復号化装置４０のフォーマット逆変換手段４１は、ＹＵＶフォーマットの復号化データＰ’ｉｊをＲＧＢフォーマットに逆変換処理した後の復号化データを画像表示装置に出力する適用例を説明したが、夫々の復号化データを画像表示装置に直接出力する場合に適用するのではなく、図１４に示すように、１フレーム前の画像データとして当該復号化データを使用し、本発明符号化装置１０、３０及び本発明復号化装置２０、４０を介さずに画像表示装置（例えば、液晶表示装置５０）に直接出力する現行フレームの画像データ（階調データ）と、画像メモリに格納された１フレーム前の画像データ（階調データ）とを比較して、現行フレームの画像データの階調を補正する適用例も考えられる。図１４に示す適用例では、本発明復号化装置２０、４０の出力画像データ（１フレーム前の階調データ）と、本発明符号化装置１０、３０の入力画像データ（現行フレームの階調データ）は、階調値を比較して判定するルックアップテーブル５１に入力され、ルックアップテーブル５１の出力によって現行フレームの階調データが補正される構成となっている。当該適用例においても、従来のＢＴＣ符号化処理方法でデータ圧縮する場合より、１フレーム前の画像データを格納する画像メモリの記憶容量を低減できる。尚、図１４では、液晶表示装置５０内部の詳細な回路構成は、例えば、上記特許文献２〜４において公知であるので、記載を省略している。
【０１４３】
〈６〉上記各実施形態では、１次画像データとして、ＲＧＢフォーマットまたはＹＵＶフォーマットの各成分が８ビット（２５６階調）の６４０×４８０画素のデータを想定したが、色表示形式、各成分の階調数、解像度は、上記各実施形態の画像データに限定されるものではない。色表示形式、各成分の階調数、解像度は適宜変更可能である。また、画像データはカラー画像に限定されるものではなく、モノクローム画像でも良い。
【０１４４】
〈７〉上記各実施形態では、１、２または４画素のデータ保持単位としたが、これ以外の画素数のデータ保持単位とすることも可能である。例えば、縦×横が４×４画素の１６画素のデータ保持単位とすることもできる。しかし、データ保持単位の画素数、即ち単位ブロックを構成する画素数が多いほど、圧縮後のデータ量をより少なくする圧縮が可能になるが、画質がより劣化することになり、画質劣化の観点からは１、２または４画素のデータ保持単位とすることが好ましい。
【０１４５】
〈８〉上記各実施形態では、バラツキ度に関する判定結果を示すフラグビットを１ビットとしたが、これよりも大きいビット数のフラグビットを用いることも可能である。しかし、フラグビットを１ビットした方が、それよりも大きいビット数のフラグビットを用いるよりも、データ量を抑えることができるので好ましい。
【産業上の利用可能性】
【０１４６】
本発明は、画像データを圧縮する画像符号化装置及び方法、並びに、圧縮された画像データを伸張する画像復号化装置及び方法に利用可能であり、例えば、液晶表示装置を駆動する階調データを補正するオーバードライブ手法におけるフレーム画像データを一時的に保存する画像メモリの記憶容量の削減に応用できる。
【図面の簡単な説明】
【０１４７】
【図１】本発明に係る画像符号化装置と画像復号化装置の第１実施形態におけるシステム構成例を示すブロック図
【図２】符号化処理対象のＲＧＢフォーマット画像データの構成例を示す図
【図３】本発明に係る画像符号化方法及び画像復号化方法で用いる単位ブロックの構成例を示す図
【図４】本発明に係る画像符号化装置で生成される２種類の符号化データのデータ構成を模式的に示す図
【図５】本発明に係る画像符号化装置で使用する画像メモリの構成例を示す図
【図６】本発明に係る画像符号化方法の第１実施形態における概略の処理手順の一例を示す工程図
【図７】本発明に係る画像復号化方法の第１実施形態における概略の処理手順の一例を示す工程図
【図８】本発明に係る画像符号化方法及び画像復号化方法の第１実施形態における処理結果の一具体例を示す図
【図９】４×４画素分のＲＧＢデータに対応する、ＹＵＶ４２２フォーマットとＹＵＶ４１１フォーマットのデータ構成を模式的に示す図
【図１０】本発明に係る画像符号化装置と画像復号化装置の第２実施形態におけるシステム構成例を示すブロック図
【図１１】本発明に係る画像符号化方法の第２実施形態における概略の処理手順の一例を示す工程図
【図１２】本発明に係る画像符号化方法の第２実施形態における概略の処理手順の一例を示す工程図
【図１３】本発明に係る画像符号化方法の第３実施形態におけるバラツキ度判定工程の処理手順を示す工程図
【図１４】本発明に係る画像符号化装置と画像復号化装置の一適用例を示すブロック図
【図１５】従来のＢＴＣ符号化方式による符号化処理の処理手順の一例を示す工程図と２×２画素の画素ブロックの構成例を示す図
【図１６】従来のＢＴＣ符号化方式による符号化データの構成例を示す図
【図１７】従来のＢＴＣ符号化方式による復号化処理の処理手順の一例を示す工程図と復号化データの構成例を示す図
【図１８】従来のＢＴＣ符号化方式による符号化方式と復号化処理の具体例を示す図
【図１９】従来のＢＴＣ符号化方式による符号化方式と復号化処理の画素ブロックの画素値間の差が顕著でない場合の具体例を示す図
【符号の説明】
【０１４８】
１０、３０： 本発明に係る画像符号化装置
１１： 画像データ分割手段
１２： 平均値算出手段
１３： バラツキ度判定手段
１４： 比較結果データ生成手段
１５： 偏差値算出手段
１６： 符号化データ生成手段
１７： 画像メモリ
２０、４０： 本発明に係る画像復号化装置
２１： データ読み出し手段
２１ａ： 第１データ読み出し手段
２１ｂ： 第２データ読み出し手段
２２： バラツキ度識別手段
２３： 第１復号化手段
２４： 第２復号化手段
３１： フォーマット変換手段
４１： フォーマット逆変換手段
５０： 液晶表示装置
５１： ルックアップテーブル
【技術分野】
【０００１】
本発明は、画像データを圧縮する画像符号化装置及び方法、並びに、圧縮された画像データを伸張する画像復号化装置及び方法に関し、更に、当該画像符号化装置と画像復号化装置を使用した画像データ処理装置に関する。
【背景技術】
【０００２】
入力された画像データを小さな画素ブロックに分割し、符号化圧縮する手法として、ＢＴＣ（Ｂｌｏｃｋ Ｔｒｕｎｃａｔｉｏｎ Ｃｏｄｉｎｇ）符号化方式が考案され、画像表示装置に応用されている（例えば、特許文献１及び特許文献２参照）。
【０００３】
従来のＢＴＣ符号化方式による符号化処理及び復号化処理の手順と原理を図１５、図１７及び図１８に示す。従来のＢＴＣ符号化方式では、複数画素からなる画像データをＮ×Ｎ（通常Ｎ＝２または４）の小さな画素ブロックに分割し、この画素ブロック単位で処理が実施される。以下の説明では、Ｎ＝２として説明を行う。
【０００４】
図１５（Ａ）に示すように、先ず、画像データを２×２画素の画素ブロックに分割する（ステップ＃１）。ここで、図１５（Ｂ）に示すように、各画素値をＰｉｊ（ｉ＝０，１、ｊ＝０，１）で表すこととする。各画素ブロックの４つの画素値（各画素がＲＧＢ成分の各階調データ或いは輝度データ等で構成される場合は、画素値はＲＧＢ各成分或いは輝度の階調値を示す）の平均値ＡＶＧを、以下の数１の算出式に基づいて算出する（ステップ＃２）。
【０００５】
【数１】
【０００６】
引き続き、各画素ブロックの４つの画素値Ｐｉｊと平均値ＡＶＧの大小比較を行い、画素値Ｐｉｊが平均値ＡＶＧより大きい場合“０”、小さい場合“１”と符号化し、“０”と“１”で構成される２行２列の比較結果データＣｉｊ（ｉ＝０，１、ｊ＝０，１）を作成する（ステップ＃３）。次に、各画素ブロックの４つの画素値Ｐｉｊの平均値ＡＶＧからの偏差を示す偏差値ＳＤを、以下の数２の算出式に基づいて算出する（ステップ＃４）。
【０００７】
【数２】
【０００８】
そして、図１６に示すように、ステップ＃２で算出した平均値ＡＶＧと、ステップ＃３で作成した比較結果データＣｉｊと、ステップ＃４で算出した偏差値ＳＤを合成して、各画素ブロックの符号化データを生成し（ステップ＃５）、画像メモリ内に格納する（ステップ＃６）。
【０００９】
上記のステップ＃１〜ステップ＃６までの処理を全ての画素ブロックについて繰り返し実行する。
【００１０】
次に、上記要領で生成され、画像メモリ内に格納された符号化データを元の画像データのデータ形式に復号化して画像表示する処理手順について、図１７（Ａ）を参照して説明する。
【００１１】
先ず、画像メモリに格納された各画素ブロックの符号化データから、平均値ＡＶＧと比較結果データＣｉｊと偏差値ＳＤを夫々読み出す（ステップ＃７）。次に、各画素ブロックの復号化後の画素値を、図１７（Ｂ）に示すように、Ｐ’ｉｊ（ｉ＝０，１、ｊ＝０，１）で表し、各画素値Ｐ’ｉｊを、平均値ＡＶＧと比較結果データＣｉｊと偏差値ＳＤを用いて、以下の要領で作成する（ステップ＃８）。比較結果データＣｉｊが“０”の場合、Ｐ’ｉｊ＝ＡＶＧ＋ＳＤ、比較結果データＣｉｊが“１”の場合、Ｐ’ｉｊ＝ＡＶＧ−ＳＤとする。復号化後の画素値Ｐ’ｉｊは、符号化前の画像データの画素ブロックの画素値Ｐｉｊと同じデータ形式及びデータ長（８ビットデータ）である。上記のステップ＃７及び＃８の処理を全ての画素ブロックについて繰り返し実行し、復号化された各画素ブロックの画像データを、画像表示装置に出力して画像表示する（ステップ＃９）。
【００１２】
図１８は、１つの画素ブロックの各画素値Ｐｉｊの具体的数値に対する、図１５（Ａ）に示す符号化処理で生成される符号化データと、図１７（Ａ）に示す復号化処理で生成される１つの画素ブロックの各画素値Ｐ’ｉｊの一例を示す。図１８では、８ビットデータ（２５６階調）を想定した２×２画素の画素ブロックの各画素値Ｐｉｊは、Ｐ００＝１２０、Ｐ０１＝１３１、Ｐ１０＝１５４、Ｐ１１＝１０１である。
【００１３】
先ず、図１５（Ａ）のステップ＃２で、数１の算出式に基づいて平均値ＡＶＧを算出すると、１２７（＝（１２０＋１３１＋１５４＋１０１）／４）となる。尚、数１の演算では小数点以下は四捨五入する。ステップ＃３では、比較結果データＣｉｊは、Ｐ００とＰ１１は平均値ＡＶＧ（＝１２７）より小さいので、Ｃ００＝Ｃ１１＝１となり、Ｐ０１とＰ１０は平均値ＡＶＧ（＝１２７）より大きいので、Ｃ０１＝Ｃ１０＝０と算出される。更に、ステップ＃４で、数２の算出式に基づいて偏差値ＳＤを算出すると、１６（＝（｜１２０−１２７｜＋｜１３１−１２７｜＋｜１５４−１２７｜＋｜１０１−１２７｜）／４）となる。尚、数２の演算では小数点以下は四捨五入する。符号化データは、８ビットの平均値ＡＶＧと、４ビットの比較結果データＣｉｊと、８ビットの偏差値ＳＤで構成され、合計２０ビットのデータとなる。符号化前の１つの２×２画素の画素ブロックは合計３２ビットのデータであったので、データ量の圧縮率は６２．５％（＝２０／３２×１００）である。
【００１４】
次に、ステップ＃７で、各画素ブロックの２０ビットの符号化データを読み出して、ステップ＃８で、読み出した平均値ＡＶＧ（＝１２７）と比較結果データＣｉｊと偏差値ＳＤ（＝１６）より、各画素ブロックの８ビットの画素値Ｐ’ｉｊを復号化すると、Ｐ’００＝Ｐ’１１＝１２７−１６＝１１１、Ｐ’０１＝Ｐ’１０＝１２７＋１６＝１４３となる。
【００１５】
【特許文献１】特開２００１−８２０６号公報
【特許文献２】特許第３６９４００４号明細書
【特許文献３】特許第２６１６６５２号明細書
【特許文献４】特許第３７７０３８０号明細書
【発明の開示】
【発明が解決しようとする課題】
【００１６】
従来のＢＴＣ符号化処理方法は、上述の如く、また、上記特許文献１にも開示されているように、画像データを複数の画素ブロックに分割し、画素ブロック内の各画素値の平均値ＡＶＧ、各画素値の偏差値ＳＤと、“０”と“１”で構成される比較結果データＣｉｊによる２値化処理を行い、符号化するものである。
【００１７】
しかしながら、従来のＢＴＣ符号化処理方法では、図１９（Ａ）に示すように画素ブロックの各画素値Ｐｉｊが全て同じである場合、平均値ＡＶＧは画素ブロックの各画素値Ｐｉｊと同じ値となり、偏差値ＳＤが０となる。比較結果データＣｉｊも全て０となり、当該符号化データに基づいて復号化した各画素値Ｐ’ｉｊは、元の画素ブロック内のＰｉｊ、つまり、平均値ＡＶＧと同じなる。この場合、符号化データを復号化する処理において、平均値ＡＶＧ以外のデータは有効に利用されておらず、符号化データ中の比較結果データＣｉｊと偏差値ＳＤは、不必要に符号化データのメモリ容量を費やしていることになる。
【００１８】
また、図１９（Ｂ）に示すように画素ブロックの画素値Ｐｉｊの１つが、他の画素値と値が１だけ違う場合、例えば、Ｐ００＝Ｐ１０＝Ｐ１１＝１１４、Ｐ０１＝１１３の場合では、平均値ＡＶＧは画素値１１４と等しく、偏差値ＳＤが０となり、比較結果データＣｉｊは、Ｃ００＝Ｃ１０＝Ｃ１１＝０、Ｐ０１＝１となる。当該符号化データに基づいて復号化した各画素値Ｐ’ｉｊは、各画素値Ｐｉｊが全て同じである場合と同様に、全て平均値ＡＶＧと同じなる。画素ブロックの画素値Ｐｉｊの１つが、他の画素値と値が１だけ違う場合においても、各画素値Ｐｉｊが全て同じである場合と同様に、平均値ＡＶＧ以外のデータは有効に利用されておらず、符号化データ中の比較結果データＣｉｊと偏差値ＳＤは、不必要に符号化データのメモリ容量を費やしていることになる。
【００１９】
つまり、従来のＢＴＣ符号化処理方法では、画素ブロックの各画素値Ｐｉｊが全て同じか、或いは、相互に近似して画素値間の差が顕著でない場合には、符号化データ中の比較結果データＣｉｊと偏差値ＳＤは、不必要に符号化データのメモリ容量を費やしていることになる。従って、元の画像データを画素ブロックに分割したときの各画素ブロックに、画素値間の差が顕著でない画素ブロックが、全画素ブロックに対して相当程度含まれる場合は、符号化データを格納する画像メモリのメモリ容量が不必要に多く使用され、有効に利用されていない結果となっている。
【００２０】
一方、画像データ処理装置に関しては、液晶表示装置において、１フレーム分の画像データ（階調データ）を格納する画像メモリを用意し、表示するフレームの階調データと１フレーム前の階調データを比較して、当該比較結果に基づいて階調データを補正し、所望の階調データ表示を所望の応答速度で到達するよう処理するオーバードライブ手法が提案されている（例えば、上記特許文献３及び特許文献４参照）。
【００２１】
上述のオーバードライブ手法では、必ず１フレーム分の画像データが必要であり、解像度の増大に伴い、画像データを保持する画像メモリの容量も必然と増大する欠点を持っている。この画像メモリに記憶する画像データを圧縮し、画像メモリの記憶容量を削減する方法として、上記特許文献２に示す従来のＢＴＣ符号化処理方法に代表されるような既存の圧縮手法により、画像メモリの記憶容量を削減する方法が考案されている。しかし、上述の如く、従来のＢＴＣ符号化処理方法では、符号化データを格納する画像メモリのメモリ容量が不必要に多く使用され、有効に利用されていないため、画像メモリの記憶容量を有効に利用できないという欠点がある。
【００２２】
本発明は、上記問題点に鑑みてなされたものであり、その目的は、所定の画素数をデータ保持単位とする画素データからなる画像データをＢＴＣ符号化方式によりデータ圧縮する際に生成される符号化圧縮データのデータ量を更に削減可能な画像符号化装置及び方法、並びに、当該符号化圧縮データを伸張する画像復号化装置及び方法を提供し、第２に、当該画像符号化装置と画像復号化装置を使用した画像データ処理装置を提供する点にある。
【課題を解決するための手段】
【００２３】
上記目的を達成するための本発明に係る画像符号化装置は、所定の画素数をデータ保持単位とする画素データからなる画像データを相互に隣接する複数の前記データ保持単位からなる単位ブロックに分割する画像データ分割手段と、前記単位ブロック毎に、前記画像データ分割手段により生成された前記単位ブロック内の前記各データ保持単位の要素値の平均値を算出する平均値算出手段と、前記単位ブロック毎に、前記単位ブロック内の前記各データ保持単位の要素値の分布のバラツキ度の大小を予め設定された判定基準に基づいて判定して当該判定結果を示すフラグビットを生成するバラツキ度判定手段と、前記単位ブロック毎に、前記単位ブロック内の前記各データ保持単位の要素値と前記平均値算出手段で算出された前記平均値の各大小比較結果を示す比較結果データを生成する比較結果データ生成手段と、前記単位ブロック毎に、前記単位ブロック内の前記各データ保持単位の要素値と前記平均値算出手段で算出された前記平均値の各差分値に基づく前記単位ブロック内の前記各データ保持単位の要素値の前記平均値からの平均的な偏差度を示す偏差値を算出する偏差値算出手段と、前記単位ブロック毎に、前記バラツキ度判定手段により生成された前記フラグビットの値に応じて、前記バラツキ度が小さい場合は、前記平均値と前記フラグビットを合成して符号化データを生成し、前記バラツキ度が大きい場合は、前記平均値と前記フラグビットと前記比較結果データと前記偏差値を合成して符号化データを生成する符号化データ生成手段と、備えてなることを第１の特徴とする。
【００２４】
上記第１の特徴の画像符号化装置によれば、ＢＴＣ符号化処理による画像データの圧縮が行えるとともに、単位ブロック（従来のＢＴＣ符号化処理方法における画素ブロックに相当）の各要素値（従来の画素値に相当）が全て同じか或いは相互に近似して要素値間の差が顕著でない場合には、符号化データが比較結果データと偏差値を含まないデータ構成であるため、当該場合において、符号化処理後の画像データ全体のデータ量を更に圧縮することができるため、不必要に符号化データのメモリ容量を費やすことが回避できる。
【００２５】
ここで、本発明に係る画像符号化装置による単位ブロック毎の符号化データは、従来のＢＴＣ符号化処理方法における画素ブロックの符号化データには無い、フラグビットを含むため、その分のデータ量が増加するが、通常の画像データでは、各要素値が全て同じか或いは相互に近似して要素値間の差が顕著でない単位ブロックが相当数存在するので、比較結果データと偏差値を含まない単位ブロックにおけるデータ削減量の方が、フラグビットによるデータ増加量を大きく上回るため、画像データ全体としてデータ量の圧縮が実現できる。
【００２６】
本発明に係る画像符号化装置は、上記第１の特徴に加えて、更に、前記バラツキ度判定手段は、前記単位ブロック内の全ての前記データ保持単位において、前記データ保持単位の要素値と前記平均値算出手段で算出された前記平均値の差分値の絶対値が所定の判定閾値より小さい場合に、前記バラツキ度が小さいと判定し、それ以外の場合に、前記バラツキ度が大きいと判定することを第２の特徴とする。
【００２７】
本発明に係る画像符号化装置は、上記第１の特徴に加えて、更に、前記バラツキ度判定手段は、前記偏差値が所定の判定閾値より小さい場合に、前記バラツキ度が小さいと判定し、前記偏差値が前記所定の判定閾値以上の場合に、前記バラツキ度が大きいと判定することを第３の特徴とする。
【００２８】
上記第２または第３の特徴の画像符号化装置によれば、前記バラツキ度判定手段が、前記単位ブロック内の前記各データ保持単位の要素値の分布のバラツキ度の大小を、夫々の判定基準で判定することができる。つまり、第２の特徴における差分値は個々の要素値のバラツキ度を示しており、第３の特徴の偏差値は各要素値の平均的なバラツキ度を示しているため、何れの場合にも、バラツキ度の大小を判定することができる。
【００２９】
本発明に係る画像符号化装置は、上記第１乃至第３の何れかの特徴に加えて、更に、前記符号化データ生成手段は、前記フラグビットの値に関係なく全ての前記単位ブロックに対して、前記平均値と前記フラグビットからなる第１符号化データを生成し、前記フラグビットの値に応じて前記バラツキ度の大きい前記単位ブロックであるか否かを識別して、前記バラツキ度の大きい前記単位ブロックに対してのみ、前記比較結果データと前記偏差値からなる第２符号化データを生成することを第４の特徴とする。
【００３０】
上記第４の特徴の画像符号化装置によれば、符号化データ全体を第１符号化データと第２符号化データに分離して画像メモリ等に格納することができる。従って、単位ブロック毎に符号長の異なる符号化データの集合として扱う必要がなくなり、符号化データを格納する画像メモリ等の構成を簡単化できる。また、単位ブロック毎の符号化データを合成する場合には、第１符号化データを読み出し、バラツキ度の大きい単位ブロックについてのみ、追加で第２符号化データを読み出して第１符号化データと合成することで、符号化データを得ることが可能となる。
【００３１】
本発明に係る画像符号化装置は、上記第４の特徴に加えて、更に、前記符号化データを格納する画像メモリを備え、前記画像メモリのメモリ空間が、前記第１符号化データを格納する第１領域と、前記第２符号化データを格納する第２領域に区分されて構成されていることを第５の特徴とする。
【００３２】
上記第５の特徴の画像符号化装置によれば、上記第４の特徴の画像符号化装置の作用効果を具体的に実現することができる。
【００３３】
本発明に係る画像符号化装置は、上記何れかの特徴に加えて、更に、前記符号化データ生成手段は、前記単位ブロック毎に順次前記符号化データを生成している過程で、前記符号化データの累積データ量が所定の上限値を超える場合には、当該符号化データ、及び、それ以降に生成する前記符号化データを、前記比較結果データと前記偏差値を合成せずに生成し、前記バラツキ度判定手段が使用する前記判定基準を、前記バラツキ度が小さく判定され易いように変更することを第６の特徴とする。
【００３４】
上記第６の特徴の画像符号化装置によれば、符号化データ全体のデータ量を所定範囲内に抑えることができるため、全ての単位ブロックの符号化データを記憶容量の固定された画像メモリ等に記憶することができ、後工程で符号化データを復号化する場合に、データが欠落するのを未然に防止できる。更に、次回以降に符号化処理する画像データに対して、符号化データ全体のデータ量が制限された条件下で、全ての単位ブロックに対してより適切にバラツキ度の大小判定を行うことができ、相対的にバラツキ度の大きい単位ブロックに対して、バラツキ度を反映した復号化に必要な比較結果データと偏差値を付加した符号化データを作成することが可能となる。
【００３５】
本発明に係る画像符号化装置は、上記何れかの特徴に加えて、更に、前記画素データが１画素中の複数の異なる色成分の各階調データで構成されている場合、１画素中の１つの色成分を前記データ保持単位として扱い、前記画像データ分割手段、前記平均値算出手段、前記バラツキ度判定手段、前記比較結果データ生成手段、前記偏差値算出手段、及び、前記符号化データ生成手段は、夫々の処理を色成分別に処理することを第７の特徴とする。
【００３６】
上記第７の特徴の画像符号化装置によれば、ＲＧＢフォーマット等の画素データが１画素中の複数の異なる色成分の各階調データで構成されている場合の画像データに対して、従来のＢＴＣ符号化処理方法より圧縮後のデータ量を低減できるデータ圧縮が可能となる。
【００３７】
本発明に係る画像符号化装置は、上記第１乃至第６の何れかの特徴に加えて、更に、前記画素データが、画素単位の輝度データと、画素単位または相互に隣接する２画素または４画素単位の２種類の色差データで構成されている場合、前記輝度データについては、１画素を前記データ保持単位として扱い、前記２種類の色差データについては、１、２または４画素を前記データ保持単位として扱い、前記画像データ分割手段、前記平均値算出手段、前記バラツキ度判定手段、前記比較結果データ生成手段、前記偏差値算出手段、及び、前記符号化データ生成手段は、夫々の処理を前記輝度データと前記２種類の色差データのデータ別に処理することを第８の特徴とする。
【００３８】
上記第８の特徴の画像符号化装置によれば、ＹＵＶフォーマット、ＹＵＶ４２２フォーマット、ＹＵＶ４１１フォーマット等の画素データが、画素単位の輝度データと、画素単位または相互に隣接する２画素または４画素単位の２種類の色差データで構成されている場合の画像データに対して、従来のＢＴＣ符号化処理方法より圧縮後のデータ量を低減できるデータ圧縮が可能となる。
【００３９】
本発明に係る画像符号化装置は、上記第８の特徴に加えて、更に、前記画素データが画素単位の色成分別の階調データで構成されている原画像データを、前記画素データが画素単位の輝度データと、画素単位または相互に隣接する２画素または４画素単位の２種類の色差データで構成される画像データに変換する画像フォーマット変換手段を備えることを第９の特徴とする。
【００４０】
上記第９の特徴の画像符号化装置によれば、ＲＧＢフォーマット等の画素データが１画素中の複数の異なる色成分の各階調データで構成されている場合の原画像データを、画像フォーマット変換手段によって、ＹＵＶ４２２フォーマットやＹＵＶ４１１フォーマット等の画素データが、画素単位の輝度データと、相互に隣接する２画素または４画素単位の２種類の色差データで構成されている場合の画像データに変換してから、上記第８の特徴の符号化処理を行うため、色差データのデータ量を低減してから符号化処理を行うので、更に圧縮後のデータ量を低減できるデータ圧縮が可能となる。
【００４１】
本発明に係る画像復号化装置は、上記第１乃至第６の何れかの特徴の画像符号化装置で符号化された前記符号化データを前記データ保持単位の画素データからなる画像データに復号化する画像復号化装置であって、前記単位ブロック毎に、前記符号化データを構成する前記平均値と前記フラグビット、または、前記平均値と前記フラグビットと前記比較結果データと前記偏差値を、個別に読み出すデータ読み出し手段と、前記データ読み出し手段が読み出した前記フラグビットの値に基づいて、前記単位ブロック内の前記各データ保持単位の要素値の分布のバラツキ度の大小を識別するバラツキ度識別手段と、前記バラツキ度識別手段により前記バラツキ度が大きいと識別された前記単位ブロックに対して、前記データ読み出し手段が読み出した前記平均値と前記比較結果データと前記偏差値に基づいて復号化データを生成する第１復号化手段と、前記バラツキ度識別手段により前記バラツキ度が小さいと識別された前記単位ブロックに対して、前記データ読み出し手段が読み出した前記平均値に基づいて復号化データを生成する第２復号化手段と、を備えてなることを第１の特徴とする。
【００４２】
上記第１の特徴の画像復号化装置によれば、本発明に係る画像符号化装置で符号化された符号化データは、バラツキ度が大きい単位ブロックについては、平均値と比較結果データと偏差値を具備するため、第１復号化手段によって各要素値のバラツキを反映して、元の画素データと同じデータ長に伸張された各要素値の復号化データを生成することができ、また、バラツキ度が小さい単位ブロックについては、符号化データが比較結果データと偏差値を具備しないため、第２復号化手段によって各要素値のバラツキが小さいので、そのバラツキを無視して平均値に基づいて、元の画素データと同じデータ長に伸張された各要素値の復号化データを生成することができ、上記第１乃至第６の何れかの特徴の画像符号化装置で符号化された符号化データの復号化（データ伸張）に適した画像復号化装置が提供される。
【００４３】
本発明に係る画像復号化装置は、上記第１の特徴に加えて、更に、前記第１復号化手段は、前記単位ブロック内の復号化後の前記各データ保持単位の要素値を、前記各データ保持単位に対応する前記比較結果データに基づいて、前記平均値に対して前記偏差値を加算或いは減算することにより算出し、前記第２復号化手段は、前記単位ブロック内の復号化後の前記各データ保持単位の要素値を全て前記平均値とすることを第２の特徴とする。
【００４４】
上記第２の特徴の画像復号化装置によれば、上記第１の特徴の画像復号化装置の作用効果を奏する第１復号化手段と第２復号化手段を、具体的且つ簡易的に実現することができる。
【００４５】
本発明に係る画像復号化装置は、上記第１または第２の特徴に加えて、更に、前記データ読み出し手段は、前記符号化データから前記平均値と前記フラグビットを読み出す第１データ読み出し手段と、前記バラツキ度識別手段により前記バラツキ度が大きいと識別された場合に、前記符号化データから更に前記比較結果データと前記偏差値を読み出す第２データ読み出し手段を備えてなることを第３の特徴とする。
【００４６】
上記第３の特徴の画像復号化装置によれば、データ読み出し手段が第１データ読み出し手段と第２データ読み出し手段に分けて構成されているので、第１データ読み出し手段は、読み出し対象の単位ブロックのバラツキ度の大小に関係なく、符号化データの平均値とフラグビットを読み出すことでき、第２データ読み出し手段は、バラツキ度が大きい単位ブロックに対してのみ、符号化データの比較結果データと偏差値を読み出すことができるため、画像符号化装置側で全ての単位ブロックの平均値とフラグビットを１塊の記憶領域に記憶し、バラツキ度が大きい単位ブロックの比較結果データと偏差値を別の１塊の記憶領域に記憶しておく場合に、各記憶領域から個別に平均値とフラグビット、及び、比較結果データと偏差値を分離して効率的に読み出すデータ読み出し手段が実現できる。また、第１データ読み出し手段が読み出す符号化データのデータ幅、第２データ読み出し手段が読み出す符号化データのデータ幅は、夫々固定であるので、第１データ読み出し手段及び第２データ読み出し手段のハードウェア構成を簡単化できる。
【００４７】
本発明に係る画像データ処理装置は、上記第１乃至第４の何れかの特徴の画像符号化装置と、前記画像符号化装置が符号化した符号化データを格納する画像メモリと、前記画像メモリが格納する符号化データを復号化する上記第１乃至第３の何れかの特徴の画像復号化装置と、を備えてなることを特徴とする。
【００４８】
上記特徴の画像データ処理装置によれば、画像表示に係る画像データとして、従来のＢＴＣ符号化処理方法より更にデータ量を圧縮して保存されたデータを扱うことが可能となり、画像データの一時保存に必要なメモリ容量の削減が可能となる。
【００４９】
本発明に係る画像符号化方法は、所定の画素数をデータ保持単位とする画素データからなる画像データを相互に隣接する複数の前記データ保持単位からなる単位ブロックに分割する画像データ分割工程と、前記単位ブロック毎に、前記画像データ分割工程で生成された前記単位ブロック内の前記各データ保持単位の要素値の平均値を算出する平均値算出工程と、前記単位ブロック毎に、前記単位ブロック内の前記各データ保持単位の要素値の分布のバラツキ度の大小を予め設定された判定基準に基づいて判定して当該判定結果を示すフラグビットを生成するバラツキ度判定工程と、前記単位ブロック毎に、前記単位ブロック内の前記各データ保持単位の要素値と前記平均値算出工程で算出された前記平均値の各大小比較結果を示す比較結果データを生成する比較結果データ生成工程と、前記単位ブロック毎に、前記単位ブロック内の前記各データ保持単位の要素値と前記平均値算出工程で算出された前記平均値の各差分値に基づく前記単位ブロック内の前記各データ保持単位の要素値の前記平均値からの平均的な偏差度を示す偏差値を算出する偏差値算出工程と、前記単位ブロック毎に、前記バラツキ度判定工程で生成された前記フラグビットの値に応じて、前記バラツキ度が小さい場合は、前記平均値と前記フラグビットを合成して符号化データを生成し、前記バラツキ度が大きい場合は、前記平均値と前記フラグビットと前記比較結果データと前記偏差値を合成して符号化データを生成する符号化データ生成工程と、備えてなることを特徴とする。
【００５０】
上記特徴の画像符号化方法によれば、ＢＴＣ符号化処理による画像データの圧縮が行えるとともに、単位ブロックの各要素値が全て同じか或いは相互に近似して要素値間の差が顕著でない場合には、符号化データが比較結果データと偏差値を含まないデータ構成であるため、当該場合において、符号化処理後の画像データ全体のデータ量を更に圧縮することができるため、不必要に符号化データのメモリ容量を費やすことが回避できる。
【００５１】
ここで、本発明に係る画像符号化方法による単位ブロック毎の符号化データは、従来のＢＴＣ符号化処理方法における画素ブロックの符号化データには無い、フラグビットを含むため、その分のデータ量が増加するが、通常の画像データでは、各要素値が全て同じか或いは相互に近似して要素値間の差が顕著でない単位ブロックが相当数存在するので、比較結果データと偏差値を含まない単位ブロックにおけるデータ削減量の方が、フラグビットによるデータ増加量を大きく上回るため、画像データ全体としてデータ量の圧縮が実現できる。
【００５２】
本発明に係る画像復号化方法は、上記特徴の画像符号化方法で符号化された前記符号化データを符号化前のデータ形式に復号化する画像復号化方法であって、前記単位ブロック毎に、前記符号化データを構成する前記平均値と前記フラグビットを、個別に読み出す第１データ読み出し工程と、前記データ読み出し工程で読み出した前記フラグビットの値に基づいて、前記単位ブロック内の前記各データ保持単位の要素値の分布のバラツキ度の大小を識別するバラツキ度識別工程と、前記バラツキ度識別工程において前記バラツキ度が大きいと識別された場合に、前記符号化データを構成する前記比較結果データと前記偏差値を、個別に読み出すデータ第２読み出し工程と、前記バラツキ度識別工程において前記バラツキ度が大きいと識別された場合に、前記第１データ読み出し工程で読み出した前記平均値と、前記第２データ読み出し工程で読み出した前記比較結果データと前記偏差値に基づいて復号化データを生成する第１復号化工程と、前記バラツキ度識別工程において前記バラツキ度が小さいと識別された場合に、前記第１データ読み出し工程で読み出した前記平均値に基づいて復号化データを生成する第２復号化工程と、を備えてなることを特徴とする。
【００５３】
上記特徴の画像復号化方法によれば、本発明に係る画像符号方法で符号化された符号化データは、バラツキ度が大きい単位ブロックについては、平均値と比較結果データと偏差値を具備するため、第１及び第２データ読み出し工程で平均値と比較結果データと偏差値を読み出し、第１復号化工程において各要素値のバラツキを反映して、元の画素データと同じデータ長に伸張された各要素値の復号化データを生成することができ、また、バラツキ度が小さい単位ブロックについては、符号化データが比較結果データと偏差値を具備しないため、第２復号化工程において各要素値のバラツキが小さいので、そのバラツキを無視して第１データ読み出し工程で読み出した平均値に基づいて、元の画素データと同じデータ長に伸張された各要素値の復号化データを生成することができ、本発明に係る画像符号化方法で符号化された符号化データの復号化（データ伸張）に適した画像復号化方法が提供される。
【発明を実施するための最良の形態】
【００５４】
次に、本発明に係る画像符号化装置及び方法（以下、適宜「本発明符号化装置」及び「本発明符号化方法」と称す）、本発明に係る画像復号化装置及び方法（以下、適宜「本発明復号化装置」及び「本発明復号化方法」と称す）、及び、本発明符号化装置及び本発明復号化装置を備えた画像データ処理装置について、図面を参照して説明する。
【００５５】
〈第１実施形態〉
先ず、本発明符号化装置と本発明復号化装置の概略のシステム構成について説明する。図１に示すように、本発明符号化装置１０は、画像データ分割手段１１、平均値算出手段１２、バラツキ度判定手段１３、比較結果データ生成手段１４、偏差値算出手段１５、符号化データ生成手段１６、及び、画像メモリ１７を備えて構成され、本発明復号化装置２０は、データ読み出し手段２１、バラツキ度識別手段２２、第１復号化手段２３、及び、第２復号化手段２４を備えて構成される。
【００５６】
画像データ分割手段１１は、所定の画素数（例えば、１、２または４画素）をデータ保持単位とする画素データからなる画像データを相互に隣接する複数のデータ保持単位からなる単位ブロックに分割する。本第１実施形態では、符号化処理対象の画像データとして、図２に示すように、解像度がＶＧＡ（Ｘ方向：６４０画素、Ｙ方向：４８０画素）、色表示形式がＲＧＢフォーマット（色の３原色、Ｒ：赤、Ｇ：緑、Ｂ：青の各階調データで色表示を行う）、階調がＲＧＢ各８ビットの１６７７万色データであって、１画素のＲＧＢ各成分をデータ保持単位とする画素データからなる画像データを想定する。以下、説明の便宜上、符号化処理対象の画像データを、符号化処理後の画像データと区別するために、適宜、「１次画像データ」と称す場合がある。
【００５７】
また、単位ブロックは、従来のＢＴＣ符号化方式のＮ×Ｎ画素ブロック（通常Ｎ＝２または４）に該当するもので、本第１実施形態では、図３に示すように、ＲＧＢ各色成分当たり２×２画素で構成される画素ブロックを使用する。従って、１次画像データのＲＧＢ各成分は、画像データ分割手段１１によって、Ｘ方向に３２０ブロック、Ｙ方向に２４０ブロックの単位ブロックに分割される。尚、ＲＧＢ各成分の単位ブロックを構成する４つの画素の要素値（ＲＧＢ階調値０〜２５５の８ビットデータ）は、適宜、図３に示すように、Ｐｉｊ（ｉ＝０，１、ｊ＝０，１）で表す。
【００５８】
平均値算出手段１２は、各単位ブロックの４つの要素値Ｐｉｊの平均値ＡＶＧを、従来のＢＴＣ符号化方式と同様に、以下の数３の算出式に基づいて算出して、後の処理のために一時的に記憶する。本第１実施形態では、各要素値Ｐｉｊが８ビットデータであるので、平均値ＡＶＧも同じく８ビットデータである。
【００５９】
【数３】
【００６０】
バラツキ度判定手段１３は、各単位ブロックの４つの要素値Ｐｉｊの分布のバラツキ度の大小を予め設定された判定基準に基づいて判定して当該判定結果を示す１ビットのフラグビットＦＬＧを生成する。本第１実施形態では、単位ブロック毎に、各要素値Ｐｉｊと平均値ＡＶＧの差分の絶対値（｜Ｐｉｊ−ＡＶＧ｜）が予め定められた閾値Ｄｔｈ以上か未満であるかの大小比較判定を行い、単位ブロック内の４つの画素の内の少なくとも１つの要素値において、当該絶対値（｜Ｐｉｊ−ＡＶＧ｜）が閾値Ｄｔｈ以上の場合には、バラツキ度が大きいと判定して、フラグビットＦＬＧを“１”に設定する。また、単位ブロック内の４つの画素の全ての要素値において、当該絶対値（｜Ｐｉｊ−ＡＶＧ｜）が閾値Ｄｔｈ未満の場合には、バラツキ度が小さいと判定して、フラグビットＦＬＧを“０”に設定する。
【００６１】
比較結果データ生成手段１４は、単位ブロック毎に、単位ブロック内の４つの要素値Ｐｉｊと平均値ＡＶＧの各大小比較結果を示す４ビットの比較結果データを生成する。各単位ブロックの大小比較結果は、各要素値Ｐｉｊに１対１で対応するもので、Ｃｉｊ（ｉ＝０，１、ｊ＝０，１）で表す。ここで、Ｐｉｊ＞ＡＶＧの場合にＣｉｊ＝０、Ｐｉｊ≦ＡＶＧの場合にＣｉｊ＝１となる。
【００６２】
偏差値算出手段１５は、単位ブロック毎に、単位ブロック内の４つの要素値Ｐｉｊと平均値ＡＶＧの各差分値に基づく各要素値Ｐｉｊの平均値ＡＶＧからの平均的な偏差度を示す偏差値ＳＤを、従来のＢＴＣ符号化方式と同様に、以下の数４の算出式に基づいて算出して、後の処理のために一時的に記憶する。本第１実施形態では、各要素値Ｐｉｊが８ビットデータであるので、偏差値ＳＤも同じく８ビットデータとする。
【００６３】
【数４】
【００６４】
符号化データ生成手段１６は、単位ブロック毎に、フラグビットＦＬＧの値に応じて、バラツキ度が小さい場合（ＦＬＧ＝０）は、平均値ＡＶＧとフラグビットＦＬＧを合成して９ビットの符号化データＥＣＤ９（第１符号化データに相当）を生成し、バラツキ度が大きい場合（ＦＬＧ＝１）は、平均値ＡＶＧとフラグビットＦＬＧと比較結果データＣｉｊと偏差値ＳＤを合成して２１ビットの符号化データＥＣＤ２１を生成し、夫々画像メモリ１７に格納する。尚、符号化データＥＣＤ２１は、比較結果データＣｉｊと偏差値ＳＤを１２ビットの部分符号化データＥＣＤ１２（第２符号化データに相当）と捉えれば、９ビットの符号化データＥＣＤ９と１２ビットの部分符号化データＥＣＤ１２を合成したものとなる。図４に、符号化データＥＣＤ９及び符号化データＥＣＤ２１のデータ構成を模式的に示す。
【００６５】
画像メモリ１７は、符号化データＥＣＤ９及びＥＣＤ２１を格納するための記憶装置または記憶手段であり、符号化データ記憶用の専用メモリとして構成されるか、或いは、他のデータ等の記憶にも使用される汎用メモリの一部記憶領域を符号化データ記憶用に占用する形態で構成されている。尚、本第１実施形態では、画像メモリ１７は、本発明符号化装置１０に付属する構成であるが、本発明復号化装置２０に付属する構成、或いは、本発明符号化装置１０及び本発明復号化装置２０とは独立して設ける構成であっても構わない。
【００６６】
符号化データＥＣＤ９またはＥＣＤ２１の画像メモリ１７への格納方法は、画像メモリ１７の構成に依存して、２通りの方法が考えられる。尚、Ｘ方向に３２０、Ｙ方向に２４０の合計７６８００（＝３２０×２４０）の単位ブロックを逐次選択する手順は、例えば、左上隅に位置する単位ブロックから順に開始し、＋Ｘ方向（右方向）に３２０ブロック走査し、１段ずつ−Ｙ方向（下方向）に移動して、右方向の走査を２４０回繰り返し、最終的に右下隅の単位ブロックを選択して終了する。
【００６７】
符号化データの画像メモリ１７への第１の格納方法は、画像メモリ１７が、図５に示すように、９ビットの符号化データＥＣＤ９を格納するための９ビットのデータ幅の第１領域と、１２ビットの部分符号化データＥＣＤ１２を格納するための１２ビットのデータ幅の第２領域に区分して構成されている場合に特化された格納方法である。この場合、符号化データ生成手段１６は、逐次選択された単位ブロック毎に、フラグビットＦＬＧの値に関係なく、符号化データＥＣＤ９を生成して、画像メモリ１７の９ビット幅の第１領域に並列的に格納する。画像メモリ１７の第１領域に格納した後、フラグビットＦＬＧの値が“１”の場合にのみ、部分符号化データＥＣＤ１２を生成して、画像メモリ１７の１２ビット幅の第２領域に並列的に、しかも、１つ前のフラグビットＦＬＧの値が“１”の単位ブロックの部分符号化データＥＣＤ１２を格納したアドレスに連続して格納する。ここで、画像メモリ１７の第１領域のアドレス深さは、全ての単位ブロック分（７６８００）が用意されているのに対して、第２領域のアドレス深さは、例えば、第１領域のアドレス深さの半分（３８４００）が用意されている。つまり、全単位ブロックの内、各要素値Ｐｉｊのバラツキ度の大きい単位ブロック（ＦＬＧ＝１）は、閾値Ｄｔｈを適切に設定することで、半分以下に抑えることができるとの経験則に基づいている。従って、第２領域のアドレス深さは、閾値Ｄｔｈの設定値に応じて変化する。
【００６８】
符号化データの画像メモリ１７への第２の格納方法は、画像メモリ１７が、１ビット幅のＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）メモリで構成されている場合に特化された格納方法である。この場合、符号化データ生成手段１６は、逐次選択された単位ブロック毎に、フラグビットＦＬＧの値に関係なく、符号化データＥＣＤ９を生成して、画像メモリ１７に、平均値ＡＶＧ、フラグビットＦＬＧの順に１ビットずつ記憶し、フラグビットＦＬＧの値が“１”の場合にのみ、引き続き部分符号化データＥＣＤ１２を生成して符号化データＥＣＤ９の後に１ビットずつ記憶する。或いは、符号化データ生成手段１６は、フラグビットＦＬＧの値が“０”の場合、符号化データＥＣＤ９を生成して、画像メモリ１７に、平均値ＡＶＧ、フラグビットＦＬＧの順に１ビットずつ記憶し、フラグビットＦＬＧの値が“１”の場合、符号化データＥＣＤ２１を生成して、前半の符号化データＥＣＤ９の部分を平均値ＡＶＧ、フラグビットＦＬＧの順に１ビットずつ記憶し、引き続き、後半の部分符号化データＥＣＤ１２を１ビットずつ記憶する。ここで、画像メモリ１７の記憶容量は、全ての単位ブロック分（７６８００）の９ビットの符号化データＥＣＤ９の格納用の７６８００×９ビットと、全体の半分の単位ブロック（３８４００）の１２ビットの部分符号化データＥＣＤ１２の格納用の３８４００×１２ビットを合計したビット数（１１５２０００）がＲＧＢ各成分に用意されている。つまり、全単位ブロックの内、各要素値Ｐｉｊのバラツキ度の大きい単位ブロック（ＦＬＧ＝１）は、後述するように、閾値Ｄｔｈを適切に設定することで、半数以下に抑えることができるとの経験則に基づいている。従って、画像メモリ１７の記憶容量は、閾値Ｄｔｈの設定値に応じて変化する。
【００６９】
データ読み出し手段２１は、単位ブロック毎に、画像メモリ１７に格納された符号化データＥＣＤ９またはＥＣＤ２１を各別に読み出すように構成されている。具体的には、データ読み出し手段２１は、符号化データＥＣＤ９を読み出す第１データ読み出し手段２１ａと部分符号化データＥＣＤ１２を読み出す第２データ読み出し手段２１ｂで構成されている。
【００７０】
バラツキ度識別手段２２は、第１データ読み出し手段２１ａが読み出した符号化データＥＣＤ９のフラグビットＦＬＧの値に基づいて、単位ブロック内の各要素値Ｐｉｊの分布のバラツキ度の大小を識別する。
【００７１】
データ読み出し手段２１が、画像メモリ１７から符号化データＥＣＤ９またはＥＣＤ２１を読み出す方法は、符号化データＥＣＤ９またはＥＣＤ２１の画像メモリ１７への格納方法と同様に、画像メモリ１７の構成に依存して、２通りの方法が考えられる。
【００７２】
符号化データの画像メモリ１７からの第１の読み出し方法は、上述した符号化データの画像メモリ１７への第１の格納方法に対応するものであり、画像メモリ１７が、９ビットの符号化データＥＣＤ９を格納するための９ビットのデータ幅の第１領域と、１２ビットの部分符号化データＥＣＤ１２を格納するための１２ビットのデータ幅の第２領域に区分して構成されている場合に特化された読み出し方法である。この場合、第１データ読み出し手段２１ａが、逐次選択された単位ブロック毎に、フラグビットＦＬＧの値に関係なく、画像メモリ１７の９ビット幅の第１領域から９ビットの符号化データＥＣＤ９を各ビット並列的に読み出す。そして、読み出した符号化データＥＣＤ９の内のフラグビットＦＬＧの値が“１”の場合にのみ、第２データ読み出し手段２１ｂが、画像メモリ１７の１２ビット幅の第２領域から１２ビットの部分符号化データＥＣＤ１２を各ビット並列的に読み出す。
【００７３】
ここで、画像メモリ１７の第１領域には、全ての単位ブロックの符号化データＥＣＤ９が、単位ブロックの走査順に格納されているので、同じく単位ブロックの走査順に読み出すことで、対応する単位ブロックの符号化データＥＣＤ９が正しく読み出される。また、画像メモリ１７の第２領域には、フラグビットＦＬＧの値が“１”のバラツキ度の大きい単位ブロックの部分符号化データＥＣＤ１２だけが、単位ブロックの走査順に連続的に格納されているので、つまり、フラグビットＦＬＧの値が“０”のバラツキ度の小さい単位ブロックの記憶領域を空けずに詰めて格納されているので、対応する単位ブロックの部分符号化データＥＣＤ１２が単位ブロック毎に順番に正しく読み出される。
【００７４】
符号化データの画像メモリ１７からの第２の読み出し方法は、上述した符号化データの画像メモリ１７への第２の格納方法に対応するものであり、画像メモリ１７が、１ビット幅のＦＩＦＯメモリで構成されている場合に特化された読み出し方法である。この場合、第１データ読み出し手段２１ａが、逐次選択された単位ブロック毎に、フラグビットＦＬＧの値に関係なく、画像メモリ１７から９ビットの符号化データＥＣＤ９を１ビットずつシリアルに読み出す。そして、読み出した符号化データＥＣＤ９の内のフラグビットＦＬＧの値が“１”の場合にのみ、第２データ読み出し手段２１ｂが、引き続き画像メモリ１７から１２ビットの部分符号化データＥＣＤ１２を１ビットずつシリアルに読み出す。
【００７５】
ここで、画像メモリ１７には、全ての単位ブロックの符号化データＥＣＤ９またはＥＣＤ２１が、単位ブロックの走査順に格納されているので、同じく単位ブロックの走査順に全ての単位ブロックの符号化データＥＣＤ９またはＥＣＤ２１に共通してその先頭部分に位置する符号化データＥＣＤ９を読み出すことで、対応する単位ブロックの符号化データＥＣＤ９が正しく読み出される。また、フラグビットＦＬＧの値が“１”のバラツキ度の大きい単位ブロックの符号化データＥＣＤ２１は、符号化データＥＣＤ９の後に部分符号化データＥＣＤ１２が追加されているので、フラグビットＦＬＧの値が“１”の場合は、当該単位ブロックの符号化データＥＣＤ２１を読み出すことができる。また、フラグビットＦＬＧの値が“０”の場合は、次の操作順の単位ブロックの符号化データＥＣＤ９またはＥＣＤ２１を読み出すことができる。つまり、フラグビットＦＬＧの値を確認することで、最初に読み出した符号化データＥＣＤ９で当該単位ブロックの符号化データが完結しているのか、まだその後に部分符号化データＥＣＤ１２が読み出されずに残っているのかが分かるのである。
【００７６】
第１復号化手段２３は、バラツキ度識別手段２２によりバラツキ度が大きいと識別された単位ブロックに対して、データ読み出し手段２１が読み出した符号化データＥＣＤ２１の平均値ＡＶＧと比較結果データＣｉｊと偏差値ＳＤに基づいて復号化データＰ’ｉｊ（ｉ＝０，１、ｊ＝０，１）を生成する。復号化データＰ’ｉｊは、当該単位ブロックの復号化後の要素値を表しており、符号化前の要素値Ｐｉｊに夫々対応する。具体的には、従来のＢＴＣ符号化方式と同様に、比較結果データＣｉｊが“０”の場合、Ｐ’ｉｊ＝ＡＶＧ＋ＳＤ、比較結果データＣｉｊが“１”の場合、Ｐ’ｉｊ＝ＡＶＧ−ＳＤとする。
【００７７】
第２復号化手段２４は、バラツキ度識別手段２２によりバラツキ度が小さいと識別された単位ブロックに対して、データ読み出し手段２１が読み出した符号化データＥＣＤ９の平均値ＡＶＧに基づいて復号化データＰ’ｉｊ（ｉ＝０，１、ｊ＝０，１）を生成する。具体的には、従来のＢＴＣ符号化方式とは異なり、符号化データＥＣＤ９には比較結果データＣｉｊ及び偏差値ＳＤは含まれていないので、これらのデータは用いずに、各復号化データＰ’ｉｊを一律に平均値ＡＶＧとする。
【００７８】
第１復号化手段２３または第２復号化手段２４で復号化された復号化データＰ’ｉｊは、符号化前の単位ブロックの要素値Ｐｉｊと同じデータ形式及びデータ長（８ビットのＲＧＢデータ）である。
【００７９】
以上、本発明符号化装置１０を構成する各手段１１〜１６、及び、本発明復号化装置２０を構成する各手段２１〜２４について詳細に説明したが、これらの各手段は、マイクロプロセッサやマイクロコンピュータ上において夫々の機能をコンピュータプログラムの実行により実現するソフトウェア手段による構成、或いは、夫々の機能をハードウェアで実現するハードウェア手段による構成、更には、ソフトウェア手段とハードウェア手段を折衷した構成の何れの構成であっても良い。
【００８０】
次に、本発明符号化装置１０が本発明符号化方法によるＢＴＣ符号化処理（データ圧縮処理）を実行する手順について、図６を参照して説明する。尚、図６は、本発明符号化方法の概略の処理手順を示すフローチャートである。
【００８１】
先ず、本発明符号化装置１０が１次画像データ（例えば、ＶＧＡ、ＲＧＢフォーマットデータ）を受け取ると、画像データ分割手段１１が、１次画像データを相互に隣接する複数のデータ保持単位からなる単位ブロックに分割する（画像データ分割工程：ステップ＃１１）。単位ブロックは、一例として図３に示す２×２画素で構成される画素ブロックを使用する。
【００８２】
次に、平均値算出手段１２が、順番に選択された１つの単位ブロックの４つの要素値Ｐｉｊの平均値ＡＶＧを上記数３の算出式により算出する（平均値算出工程：ステップ＃１２）。尚、数３の演算では小数点以下は四捨五入する。
【００８３】
引き続き、バラツキ度判定手段１３が、当該選択されている単位ブロック内の４つの要素値Ｐｉｊの分布のバラツキ度の大小を上述の要領で判定して、その判定結果に基づいてフラグビットＦＬＧに“０”または“１”を設定する（バラツキ度判定工程：ステップ＃１３）。
【００８４】
上記ステップ＃１３においてフラグビットＦＬＧに“１”が設定された場合、比較結果データ生成手段１４が、当該選択されている単位ブロック内の４つの要素値Ｐｉｊと平均値ＡＶＧの各大小比較結果を示す４ビットの比較結果データＣｉｊを上述の要領で生成する（比較結果データ生成工程：ステップ＃１４）。
【００８５】
ステップ＃１４に引き続き、偏差値算出手段１５が、単位ブロック内の４つの要素値Ｐｉｊと平均値ＡＶＧの各差分値に基づく各要素値Ｐｉｊの平均値ＡＶＧからの平均的な偏差度を示す偏差値ＳＤを、上記数４の算出式に基づいて算出する（偏差値算出工程：ステップ＃１５）。尚、数４の演算では小数点以下は四捨五入する。
【００８６】
ステップ＃１５に引き続き、符号化データ生成手段１６が、ステップ＃１２〜＃１５で算出した平均値ＡＶＧとフラグビットＦＬＧと比較結果データＣｉｊと偏差値ＳＤを合成して２１ビットの符号化データＥＣＤ２１を生成し、画像メモリ１７に格納する（符号化データ生成工程１：ステップ＃１６）。
【００８７】
上記ステップ＃１３においてフラグビットＦＬＧに“０”が設定された場合、比較結果データ生成手段１４による比較結果データＣｉｊの算出、及び、偏差値算出手段１５による偏差値ＳＤの算出を実行せずに、符号化データ生成手段１６が、ステップ＃１２及び＃１３で算出した平均値ＡＶＧとフラグビットＦＬＧを合成して９ビットの符号化データＥＣＤ９を生成し、画像メモリ１７に格納する（符号化データ生成工程２：ステップ＃１７）。
【００８８】
上記符号化データ生成工程１及び２では、符号化データＥＣＤ２１及びＥＣＤ９の画像メモリ１７に格納は、上述の第１または第２の格納方法の何れかによって行なわれるので、重複する説明は割愛する。
【００８９】
１つの単位ブロックに対してステップ＃１６または＃１７の符号化データ生成工程が終了すると、終了した単位ブロックが最後の単位ブロックか否かを判定し（ステップ＃１８）、最後の単位ブロックでない場合は、次の単位ブロックを選択して（ステップ＃１９）、ステップ＃１２〜＃１８までの処理を、最後の単位ブロックと判定されるまで繰り返す。尚、同じ単位ブロックのＲＧＢ各成分について、ステップ＃１２〜＃１７の各処理は３回実行される。
【００９０】
次に、本発明復号化装置２０が本発明復号化方法によるＢＴＣ復号化処理（データ伸張処理）を実行する手順について、図７を参照して説明する。尚、図７は、本発明復号化方法の概略の処理手順を示すフローチャートである。
【００９１】
先ず、第１データ読み出し手段２１ａが、順番に選択された１つの単位ブロックの符号化データＥＣＤ９またはＥＣＤ２１の内の符号化データＥＣＤ９を構成する８ビットの平均値ＡＶＧと１ビットのフラグビットＦＬＧを、画像メモリ１７から読み出す（第１データ読み出し工程：ステップ＃２１）。符号化データＥＣＤ９の読み出し方法は、画像メモリ１７の構成に応じた上記第１または第２の読み出し方法によって行う。
【００９２】
引き続き、バラツキ度識別手段２２が、ステップ＃２１で読み出したフラグビットＦＬＧの値に基づいて、フラグビットＦＬＧの値が“１”の場合は、当該単位ブロック内の各要素値Ｐｉｊの分布のバラツキ度が大きいと識別し、逆に、フラグビットＦＬＧの値が“０”の場合は、バラツキ度が小さいと識別する（バラツキ度識別工程：ステップ＃２２）。
【００９３】
ステップ＃２２でバラツキ度が大きいと識別された場合（ＦＬＧ＝１）、第２データ読み出し手段２１ｂが、符号化データＥＣＤ２１の部分符号化データＥＣＤ１２を構成する４ビットの比較結果データＣｉｊ（ｉ＝０，１、ｊ＝０，１）と８ビットの偏差値ＳＤを、個別に読み出す（第２データ読み出し工程：ステップ＃２３）。部分符号化データＥＣＤ１２の読み出し方法は、画像メモリ１７の構成に応じた上記第１または第２の読み出し方法によって行う。
【００９４】
ステップ＃２３に引き続いて、第１復号化手段２３が、ステップ＃２１で読み出した平均値ＡＶＧと、ステップ＃２３で読み出した比較結果データＣｉｊと偏差値ＳＤに基づいて、当該単位ブロック内の各要素値の復号化データＰ’ｉｊを生成して、復号化データＰ’ｉｊを表示出力する画像表示装置に出力する（第１復号化工程：ステップ＃２４）。具体的には、従来のＢＴＣ符号化方式と同様に、比較結果データＣｉｊが“０”の場合、Ｐ’ｉｊ＝ＡＶＧ＋ＳＤ、比較結果データＣｉｊが“１”の場合、Ｐ’ｉｊ＝ＡＶＧ−ＳＤとする。
【００９５】
ステップ＃２２でバラツキ度が小さいと識別された場合（ＦＬＧ＝０）、第２データ読み出し手段２１ｂによる比較結果データＣｉｊと偏差値ＳＤの読み出しは行わずに、第２復号化手段２４が、当該単位ブロック内の４つの要素値の復号化データＰ’ｉｊを、一律にステップ＃２１で読み出した平均値ＡＶＧとして生成して、その復号化データＰ’ｉｊを画像表示装置に出力する（第２復号化工程：ステップ＃２５）。
【００９６】
１つの単位ブロックに対して第１または第２復号化工程（ステップ＃２４または＃２５）が終了すると、終了した単位ブロックが最後の単位ブロックか否かを判定し（ステップ＃２６）、最後の単位ブロックでない場合は、次の単位ブロックを選択して（ステップ＃２７）、ステップ＃２１〜＃２６までの処理を、最後の単位ブロックと判定されるまで繰り返す。尚、同じ単位ブロックのＲＧＢ各成分について、ステップ＃２１〜＃２５の各処理は３回実行される。
【００９７】
図８に、１つの単位ブロックにおける本発明符号化方法及び本発明復号化方法の処理結果の具体例を示す。
【００９８】
単位ブロックの２５６階調の要素値Ｐｉｊが、Ｐ００＝１２０、Ｐ１０＝１３１、Ｐ０１＝１５４、Ｐ１１＝１０１の場合で、閾値Ｄｔｈが１３に設定されている場合（Ａ）と２９に設定されている場合（Ｂ）について説明する。平均値ＡＶＧは、閾値Ｄｔｈに関係なく、１２７と算出される。バラツキ度の大小を判定するために、要素値Ｐｉｊと平均値ＡＶＧの差分の絶対値｜Ｐｉｊ−ＡＶＧ｜を算出すると、（７，５，２８，２６）となる。閾値Ｄｔｈが１３に設定されている場合（Ａ）は、２つの要素値で閾値Ｄｔｈ以上となり、バラツキ度が大きいと判定され、フラグビットＦＬＧは“１”に設定される。一方、閾値Ｄｔｈが２９に設定されている場合（Ｂ）では、全ての要素値で閾値Ｄｔｈ未満となり、バラツキ度が小さいと判定され、フラグビットＦＬＧは“０”に設定される。何れのケースにおいても、比較結果データＣｉｊは、（１，０，０，１）であり、偏差値ＳＤは１６である。しかし、閾値Ｄｔｈが１３に設定されている場合（Ａ）は、フラグビットＦＬＧが“１”であるので、２１ビットの符号化データＥＣＤ２１が生成され、画像メモリに格納される。また、復号化処理では、復号化データＰ’ｉｊが、比較結果データＣｉｊが“０”の場合、Ｐ’ｉｊ＝ＡＶＧ＋ＳＤ、比較結果データＣｉｊが“１”の場合、Ｐ’ｉｊ＝ＡＶＧ−ＳＤと計算されるので、Ｐ’００＝１１１、Ｐ’１０＝１４３、Ｐ’０１＝１４３、Ｐ’１１＝１１１と復号化される。一方、閾値Ｄｔｈが２９に設定されている場合（Ｂ）では、フラグビットＦＬＧが“０”であるので、９ビットの符号化データＥＣＤ９が生成される。また、復号化処理では、復号化データＰ’ｉｊが一律に平均値ＡＶＧ（＝１２７）に復号化される。
【００９９】
次に、本発明符号化装置１０によって符号化された画像データの１次画像データからのデータ圧縮率について検討する。
【０１００】
上述の説明と同様、１次画像データとして、上述したＲＧＢ各８ビットの１６７７万色のＶＧＡデータを想定すると、１次画像データのデータ量は、（６４０×４８０）画素×２４ビット＝７３７２８００ビットである。同じデータ量の１次画像データに対して、従来のＢＴＣ符号化方式による符号化処理を施した場合、ＲＧＢの１成分当たりの単位ブロック（２×２画素、３２ビット）が、８ビットの平均値ＡＶＧと４ビットの比較結果データＣｉｊと８ビットの偏差値ＳＤの合計２０ビットの符号化データに変換されるため、データ圧縮率は６２．５％（＝２０／３２×１００）、全体のデータ量は４６０８０００ビットとなる。
【０１０１】
これに対して、本発明符号化装置１０によって符号化された画像データは、単位ブロック（２×２画素、３２ビット）の各要素値Ｐｉｊのバラツキ度の大小に応じて、９ビットまたは２１ビットの符号化データＥＣＤ９またはＥＣＤ２１に変換されるため、符号長が一定でない。全ての単位ブロックのバラツキ度が大きい場合は、データ圧縮率は６５．６２５％（＝２１／３２×１００）、全体のデータ量は４８３８４００ビットとなり、従来のＢＴＣ符号化方式による符号化処理より圧縮率が上昇して悪化するが、逆に、全ての単位ブロックのバラツキ度が小さい場合は、データ圧縮率は２８．１２５％（＝９／３２×１００）、全体のデータ量は２０７３６００ビットとなり、従来のＢＴＣ符号化方式による符号化処理より大幅に圧縮率が減少して圧縮後のデータ量を低減できる。従って、全ての単位ブロックの約８．３４％（１９２００ブロック）を超える単位ブロックにおいてバラツキ度が小さいと、圧縮率が従来のＢＴＣ符号化方式によるデータ圧縮率（６２．５％）より低下する。
【０１０２】
１次画像データが、写真画像や動画像の自然画像のデータである場合は、単位ブロックサイズが小さければ、単位ブロック内の全ての要素において、各要素値Ｐｉｊとその平均値ＡＶＧとの差分の絶対値（｜Ｐｉｊ−ＡＶＧ｜）は小さく抑制される可能性が大きくなると考えられる。即ち、単位ブロックサイズが２×２画素の場合では、単位ブロック内の４つの要素値Ｐｉｊが殆ど同じ値となり、当該差分の絶対値が所定の閾値Ｄｔｈ未満となる単位ブロックの存在比率が高くなることが期待される。
【０１０３】
幾枚かの写真画像を用いて検証した結果、閾値Ｄｔｈを１３と設定した場合（要素値Ｐｉｊは０〜２５５）、全ての単位ブロックの約７０％の単位ブロックが、当該差分の絶対値が閾値Ｄｔｈ（＝１３）未満、つまり、バラツキ度が小さいと判定され、画像データ全体でのデータ圧縮率は略４０％になるという結果が得られた。従来のＢＴＣ符号化方式では、データ圧縮率は６２．５％であったので、２０％以上の圧縮率低減が図れることが分かる。
【０１０４】
上記検証結果を更に詳細に見ると、上記の幾枚かの写真画像例では、９ビットの符号化データＥＣＤ９と２１ビットの符号化データＥＣＤ２１の生成比率が概ね７：３であるので、更に余裕を見て、符号化データＥＣＤ２１の生成比率を全単位ブロックに対して５０％以下と想定して画像メモリの記憶容量をＲＧＢ各成分に対して１１５２０００ビット確保すれば、全ての単位ブロックに対して、２つの符号化データＥＣＤ９及びＥＣＤ２１を確実に格納することが可能となる。
【０１０５】
〈第２実施形態〉
次に、本発明符号化装置及び方法、本発明復号化装置及び方法の第２実施形態について図９〜図１２を参照して説明する。
【０１０６】
上記第１実施形態では、１次画像データとして、色表示形式がＲＧＢフォーマットのデータを想定したが、色表示形式としては、ＲＧＢフォーマット以外に、ＹＵＶフォーマット（Ｙ：輝度、Ｕ、Ｖ：色差の各階調データで色表示を行う）であっても、同様に各成分の要素値Ｐｉｊに対して本発明符号化方法による符号化処理及び本発明復号化方法による復号化処理を行うことが可能である。
【０１０７】
更に、人間の視覚特性は、輝度に敏感であるが、色差には鈍感であるため、１画素毎に、輝度データ（Ｙ）及び２種類の色差データ（Ｕ、Ｖ）を夫々備える非圧縮型（ＲＧＢデータを基準とする）のＹＵＶフォーマット（ＹＵＶ４４４）に対して、２種類の色差データ（Ｕ、Ｖ）を、水平方向に隣接する２画素毎或いは水平垂直方向に隣接する２画素（２×２画素）毎に１つずつ設けることで、画像データを圧縮することが可能である。この場合、２画素または４画素中の１画素または３画素を間引くか、平均を取ることで１つの要素値を作成する。
【０１０８】
斯かる圧縮型のＹＵＶフォーマットとして、ＹＵＶ４２２フォーマット、ＹＵＶ４１１フォーマット等がある。図９に、４×４画素分のＲＧＢデータに対応する、ＹＵＶ４２２フォーマットとＹＵＶ４１１フォーマットのデータ構成を模式的に示す図であり、各ＹＵＶフォーマットにおける各成分のデータ量及びＲＧＢフォーマットからのデータ圧縮率を示している。
【０１０９】
以下の数５及び数６に、ＲＧＢフォーマットと非圧縮型ＹＵＶフォーマット（ＹＵＶ４４４）の間の各成分間の変換式を示す。
【０１１０】
【数５】
【０１１１】
【数６】
【０１１２】
本第２実施形態では、図２に示すようなＲＧＢデータを入力画像データとして受け付けた後に、ＹＵＶフォーマットに変換して１次画像データを生成した後に、当該ＹＵＶフォーマットの１次画像データに対して、上記第１実施形態と同様の処理手順で本発明符号化方法による符号化処理を施して、単位ブロック毎に符号化データＥＣＤ９またはＥＣＤ２１を生成して画像メモリに格納する。
【０１１３】
また、本第２実施形態では、画像メモリに格納された単位ブロック毎の符号化データＥＣＤ９またはＥＣＤ２１を、上記第１実施形態と同様の処理手順で本発明復号化方法による復号化処理を施して、符号化前の単位ブロックの各要素値Ｐｉｊに対応するＹＵＶフォーマットの復号化データＰ’ｉｊを生成し、当該ＹＵＶフォーマットの復号化データＰ’ｉｊをＲＧＢフォーマットに逆変換して、画像表示装置に出力する。
【０１１４】
従って、第２実施形態に係る本発明符号化装置３０は、図１０に示すように、画像データ分割手段１１、平均値算出手段１２、バラツキ度判定手段１３、比較結果データ生成手段１４、偏差値算出手段１５、符号化データ生成手段１６、及び、画像メモリ１７に加えて、前処理手段としての色表示形式をＲＧＢフォーマットからＹＵＶフォーマットに変換するフォーマット変換手段３１を備えて構成される。更に、第２実施形態に係る本発明復号化装置４０は、図１０に示すように、データ読み出し手段２１、バラツキ度識別手段２２、第１復号化手段２３、及び、第２復号化手段２４に加えて、後処理手段としての色表示形式をＹＵＶフォーマットからＲＧＢフォーマットに逆変換するフォーマット逆変換手段４１を備えて構成される。本発明符号化装置３０については、フォーマット変換手段３１以外は、第１実施形態と同じであるので、重複する説明は割愛する。また、本発明復号化装置４０については、フォーマット逆変換手段４１以外は、第１実施形態と同じであるので、同様に重複する説明は割愛する。
【０１１５】
尚、以下の説明において、本第２実施形態では、ＹＵＶフォーマットとして圧縮型のＹＵＶ４１１フォーマットを用いる場合について説明する。
【０１１６】
フォーマット変換手段３１は、各画素のＲＧＢ成分値を上記数５の変換式に基づいてＹＵＶ成分値を算出した後に、２×２画素分の色差データＵ、Ｖについて、夫々平均値を算出して各要素値とする。尚、色差データＵ、Ｖ夫々の平均値を算出する代わりに、２×２画素分の色差データＵ、Ｖの何れか１画素の色差データＵ、Ｖを代表値として抽出しても構わない。以上、フォーマット変換手段３１により生成されたＹＵＶフォーマットの１次画像データは、輝度データ（Ｙ）は６４０×４８０×８ビット、２種類の色差データ（Ｕ、Ｖ）は夫々、３２０×２４０×８ビットのデータ量となっている。色差データ（Ｕ、Ｖ）については、２×２画素が１データ保持単位となっている。
【０１１７】
フォーマット逆変換手段４１は、復号化された色差データ（Ｕ、Ｖ）の各要素値Ｐ’ｉｊ（２×２画素分）を各画素の色差データ（Ｕ、Ｖ）として、復号化された輝度データ（Ｙ）の各要素値Ｐ’ｉｊ（１画素分）と共に、上記数６の変換式に基づいてＲＧＢ成分値を算出する。尚、上記第１実施形態では、第１復号化手段２３と第２復号化手段２４が、復号化データＰ’ｉｊをそのまま画像表示装置に出力する構成であったが、本第２実施形態では、ＲＧＢフォーマットへのフォーマット逆変換処理を伴うので、第１復号化手段２３と第２復号化手段２４は、復号化データＰ’ｉｊを画像表示装置に出力せずに、フォーマット逆変換手段４１に出力し、フォーマット逆変換手段４１がフォーマット逆変換処理後のＲＧＢフォーマットの復号化データを画像表示装置に出力する。
【０１１８】
本第２実施形態で追加となったフォーマット変換手段３１及びフォーマット逆変換手段４１は、マイクロプロセッサやマイクロコンピュータ上において夫々の機能をコンピュータプログラムの実行により実現するソフトウェア手段による構成、或いは、夫々の機能をハードウェアで実現するハードウェア手段による構成、更には、ソフトウェア手段とハードウェア手段を折衷した構成の何れの構成であっても良い。
【０１１９】
次に、本発明符号化装置３０が本発明符号化方法によるＢＴＣ符号化処理（データ圧縮処理）を実行する手順について、図１１を参照して説明する。尚、図１１は、第２実施形態に係る本発明符号化方法の概略の処理手順を示すフローチャートである。
【０１２０】
先ず、本発明符号化装置３０が入力画像データ（ＶＧＡ、ＲＧＢフォーマットデータ）を受け取ると、フォーマット変換手段３１が、ＹＵＶ４１１フォーマットの１次画像データに変換する（フォーマット変換工程：ステップ＃１０）。
【０１２１】
引き続き、画像データ分割手段１１が、１次画像データを相互に隣接する複数のデータ保持単位からなる単位ブロックに分割する（画像データ分割工程：ステップ＃１１）。単位ブロックは、輝度データ（Ｙ）については、２×２画素で構成される画素ブロックを使用し、色差データ（Ｕ、Ｖ）については、２×２データ保持単位（４×４画素）で構成される画素ブロックを使用する。従って、単位ブロックの総数は、輝度データ（Ｙ）については、３２０×２４０ブロックであり、色差データ（Ｕ、Ｖ）については、夫々１６０×１２０ブロックである。
【０１２２】
以下、輝度データ（Ｙ）及び色差データ（Ｕ、Ｖ）の成分毎に、図６に示す第１実施形態の処理手順と同様に、ステップ＃１２〜＃１８までの処理を、輝度データ（Ｙ）及び２つの色差データ（Ｕ、Ｖ）の全ての単位ブロックについて繰り返し実行する。バラツキ度判定工程（ステップ＃１３）で使用する閾値Ｄｔｈは、例えば第１実施形態と同様の「１３」を使用する。尚、閾値Ｄｔｈは、輝度データ（Ｙ）及び色差データ（Ｕ、Ｖ）の夫々に対してシミュレーション等で個々に検証した値を別途使用するようにするのも好ましい。
【０１２３】
次に、本発明復号化装置４０が本発明復号化方法によるＢＴＣ復号化処理（データ伸張処理）を実行する手順について、図１２を参照して説明する。尚、図１２は、本発明復号化方法の概略の処理手順を示すフローチャートである。
【０１２４】
図７に示す第１実施形態の処理手順と同様に、ステップ＃２１〜＃２５までの処理を、ＹＵＶ４１１データの各成分の選択された単位ブロックについて実行する。但し、第１または第２復号化工程（ステップ＃２４または＃２５）では、復号化データＰ’ｉｊの画像表示装置への出力は行わない。
【０１２５】
同じ２×２画素に対応する輝度データ（Ｙ）と２つの色差データ（Ｕ、Ｖ）復号化データＰ’ｉｊが生成されると、フォーマット逆変換手段４１が、復号化された色差データ（Ｕ、Ｖ）の各要素値Ｐ’ｉｊ（２×２画素分）を各画素の色差データ（Ｕ、Ｖ）として、復号化された輝度データ（Ｙ）の各要素値Ｐ’ｉｊ（１画素分）と共に、上記数６の変換式に基づいてＲＧＢ成分値を算出し、フォーマット逆変換処理後のＲＧＢフォーマットの復号化データを画像表示装置に出力する（フォーマット逆変換工程：ステップ＃２８）。尚、２つの色差データ（Ｕ、Ｖ）の各１単位ブロックは、輝度データ（Ｙ）の４単位ブロックに対応し、２つの色差データ（Ｕ、Ｖ）の復号化された夫々４つの要素値Ｐ’ｉｊ（１つの要素値は２×２画素分に対応する）は、輝度データ（Ｙ）の４単位ブロックの１ずつに対応する。図９のＹＵＶ４１１フォーマットの図を参照すれば、輝度データ（Ｙ）の１つの単位ブロックの４つの要素値（Ｙ００，Ｙ０１，Ｙ１０，Ｙ１１）は、輝度データ（Ｕ）の１つの要素値（Ｕ００−１１）に対応する。つまり、色差データ（Ｕ、Ｖ）の各１つの単位ブロックの復号化データは４つに分割され、輝度データ（Ｙ）の４つの単位ブロックの復号化データに対して各別に使用される。従って、ステップ＃２１〜＃２５までの処理は、色差データ（Ｕ、Ｖ）ついては、輝度データ（Ｙ）の４回に１回の頻度で処理される。
【０１２６】
ステップ＃２７のフォーマット逆変換工程が終了すると、終了した単位ブロックが最後の単位ブロックか否かを判定し（ステップ＃２６）、最後の単位ブロックでない場合は、次の単位ブロックを選択して（ステップ＃２７）、ステップ＃２１からステップ＃２６までの処理を、最後の単位ブロックと判定されるまで繰り返す。
【０１２７】
次に、本発明符号化装置３０によって符号化された画像データの入力画像データからのデータ圧縮率について検討する。
【０１２８】
フォーマット変換手段３１により、入力画像データから１次画像データへのフォーマット変換によりデータ量は５０％に減少している。ＹＵＶ４１１フォーマットについても、第１実施形態と同様の条件（閾値Ｄｔｈ＝１３）で符号化処理した場合、１次画像データに対するデータ圧縮率が約４０％となるため、ＲＧＢフォーマットの入力画像データからのデータ圧縮率は２０％まで下げることが可能となる。
【０１２９】
〈第３実施形態〉
次に、本発明符号化装置及び方法の第３実施形態について、図１３を参照して説明する。第３実施形態に係る本発明符号化装置及び方法は、上記第１実施形態及び第２実施形態におけるバラツキ度判定手段１３及びバラツキ度判定工程（ステップ＃１３）を変更した実施形態となっている。
【０１３０】
上記第１実施形態及び第２実施形態では、所定の閾値Ｄｔｈ（例えば１３）の条件下において、２×２画素内での要素値のバラツキ度の小さい単位ブロックが全体の半分以上存在する標準的な写真画像や動画像の自然画像を１次画像データとして想定し、画像メモリの記憶容量を設定したが、設定した閾値Ｄｔｈに対して、単位ブロック内の要素値のバラツキ度が大きい単位ブロックが当初の予想より多い場合は、単位ブロックを順次選択して、図６に示すステップ＃１２〜＃１８までの処理を、最後の単位ブロックと判定されるまで繰り返すと、最後の単位ブロックに至る前に、画像メモリの記憶容量を使い果たして、最後の方の何ブロックかの単位ブロックについては、バラツキ度の大小に関係なく符号化データＥＣＤ９またはＥＣＤ２１を画像メモリに格納できなくなる可能性が生じる。
【０１３１】
従って、本第３実施形態では、斯かる画像メモリの記憶容量不足を未然に防止するために、バラツキ度判定手段１３が、図６に示すバラツキ度判定工程（ステップ＃１３）に代えて図１３に示すバラツキ度判定工程（ステップ＃１３０）を実行する。先ず、バラツキ度が大きいと判定した単位ブロックの累積カウント数Ｍが、ＲＧＢまたはＹＵＶ各成分の単位ブロックの総数の半分（ＲＧＢデータでは３４５６０００）以下か否かを判定する（ステップ＃１３１）。ステップ＃１３１の判定で累積カウント数Ｍが単位ブロックの全数の半分以下の場合は、画像メモリ内に符号化データＥＣＤ２１の内の１２ビットの部分符号化データＥＣＤ１２を作成する十分な記憶容量が残されているので、第１実施形態と同じバラツキ度判定工程（ステップ＃１３）によりバラツキ度の判定を行い、フラグビットＦＬＧを設定する（ステップ＃１３２）。次に、フラグビットＦＬＧを“１”に設定した場合は、累積カウント数Ｍを１カウントアップして（Ｍ＝Ｍ＋１、ステップ＃１３３）、ステップ＃１４に移行する。また、ステップ＃１３２において、フラグビットＦＬＧを“０”に設定した場合は、累積カウント数Ｍをカウントアップせずに、ステップ＃１７に移行する。尚、累積カウント数Ｍの初期値は０である。一方、ステップ＃１３１の判定で累積カウント数Ｍが単位ブロックの全数の半分より大きい場合は、画像メモリ内に９ビットの符号化データＥＣＤ９用の記憶容量を確保した後の余剰部分に、符号化データＥＣＤ２１の内の１２ビットの部分符号化データＥＣＤ１２を作成する十分な記憶容量が残されていないので、各要素値Ｐｉｊと平均値ＡＶＧの差分の絶対値（｜Ｐｉｊ−ＡＶＧ｜）に基づくバラツキ度の大小判定は行わずに、強制的にバラツキ度が小さいとして、フラグビットＦＬＧを“０”に設定して（ステップ＃１３４）、フラグビットＦＬＧに“０”が設定された場合のステップ＃１７に強制的に移行する。
【０１３２】
バラツキ度判定工程が異なる以外は、上記第１実施形態及び第２実施形態と同じであるので、重複する説明は割愛する。
【０１３３】
更に、全てのブロック単位に対して符号化データ生成工程１または２が終了した後に、累積カウント数Ｍが単位ブロックの全数の半分を超過している場合は、その超過分に応じて、次の１次画像データの符号化処理に対応すべく閾値Ｄｔｈの値を高く設定し直す閾値再設定工程を設ける。ここで、超過分に関係なく、閾値Ｄｔｈの値を１だけ高くするようにしても良い。
【０１３４】
逆に、閾値再設定工程において、累積カウント数Ｍが単位ブロックの全数の半分以下で、その余剰数が所定の規定値以上の場合には、次の１次画像データの符号化処理に対応すべく閾値Ｄｔｈの値を高く設定し直す処理を追加しても構わない。ここで、余剰数に関係なく、閾値Ｄｔｈの値を１だけ低くするようにしても良い。
【０１３５】
〈別実施形態〉
〈１〉上記各実施形態において、本発明符号化装置１０、３０の偏差値算出手段１５は、偏差値ＳＤを上記数４の算出式に基づいて算出したが、数４の算出式に代えて標準偏差を算出する下記数７の算出式に基づいて算出しても良い。
【０１３６】
【数７】
【０１３７】
〈２〉上記各実施形態において、本発明符号化装置１０、３０のバラツキ度判定手段１３は、各単位ブロックの４つの要素値Ｐｉｊの分布のバラツキ度を、単位ブロック内の４つの画素の内の少なくとも１つの要素値において、当該絶対値（｜Ｐｉｊ−ＡＶＧ｜）が閾値Ｄｔｈ以上の場合には大きいと判定し、単位ブロック内の４つの画素の全ての要素値において、当該絶対値（｜Ｐｉｊ−ＡＶＧ｜）が閾値Ｄｔｈ未満の場合には小さいと判定したが、絶対値（｜Ｐｉｊ−ＡＶＧ｜）と閾値Ｄｔｈの大小比較に基づく判定基準に代えて、偏差値算出手段１５が算出した偏差値ＳＤが、所定の閾値以上の場合にバラツキ度が大きいと判定し、所定の閾値未満の場合にバラツキ度が小さいと判定する判定基準を用いても構わない。
【０１３８】
但し、この場合は、バラツキ度判定手段１３がバラツキ度の大小判定を行う前に、単位ブロックのバラツキ度に関係なく、偏差値算出手段１５が偏差値ＳＤを予め算出しておく必要があるため、図６及び図１１に示す本発明符号化方法の処理手順において、ステップ＃１５の偏差値算出工程を、ステップ＃１２の平均値算出工程とステップ＃１３のバラツキ度判定工程の間に処理するように、工程順を変更する。
【０１３９】
〈３〉上記各実施形態では、偏差値ＳＤのビット数を、単位ブロックの要素値Ｐｉｊのビット数と同数としたが、１ビット減らしても良い。つまり、各要素値Ｐｉｊが８ビットの階調データの場合では、偏差値ＳＤも８ビットとしたが、１ビット減らして７ビットとしても良い。具体的に説明すると、要素値Ｐｉｊが２５６階調（階調値０〜２５５）では、数３により算出した平均値ＡＶＧも階調値０〜２５５を取り得るが、数４により算出した偏差値ＳＤは、各要素値Ｐｉｊ（ｉ＝０，１、ｊ＝０，１）が、０，０，２５５，２５５の場合にバラツキ度が最大となって、「１２８」となる。この偏差値ＳＤの最大値「１２８」は、「１２７．５」を四捨五入した結果であるので、これを「１２７」とすれば、偏差値ＳＤは７ビットで表すことができる。従って、２１ビットの符号化データＥＣＤ２１は１ビット少ない２０ビットの符号化データとすることができる。これにより、画像メモリ１７の記憶容量を更に節減できる。
【０１４０】
この場合、偏差値ＳＤで減った１ビットは、フラッグビットＦＬＧとして使用することで、バラツキ度の大きい単位ブロックの符号化データが、従来のＢＴＣ符号化方式による符号化データと同ビット数となるので、バラツキ度の小さい単位ブロックが少なくとも１つ存在すれば、本発明符号化装置及び方法によって、従来のＢＴＣ符号化方式と比較してデータ圧縮率が確実に低下して圧縮後のデータ量が低減することになる。
【０１４１】
〈４〉上記各実施形態では、単位ブロックのサイズは、２×２画素或いは２×２データ保持単位としたが、当該サイズを縦横２倍の４×４画素或いは４×４データ保持単位としても構わない。但し、単位ブロックサイズを単純に大きくしただけでは、復号化後の画像データの各要素値Ｐ’ｉｊの１次画像データの要素値Ｐｉｊからの乖離が大きくなり画像品質の劣化度が大きくなるので、平均値ＡＶＧを所定の基準で算出される要素値Ｐｉｊ（ｉ＝０〜３、ｊ＝０〜３）の代表値に置き換え、偏差値ＳＤを量子化刻みに置き換え、比較結果データＣｉｊ（ｉ＝０〜３、ｊ＝０〜３）の夫々を要素値Ｐｉｊと代表値の差分を量子化刻みで量子化した２ビット以上の階調値で表すように変更しても構わない。このように単位ブロックサイズを拡大した場合でも、単位ブロック内の要素値Ｐｉｊ間のバラツキ度が小さい場合において、上記各実施形態と同様に、比較結果データＣｉｊ（または階調値データ）及び偏差値ＳＤ（または量子化刻みデータ）を省略することで、データ圧縮率を低下させて圧縮後のデータ量を低減できる。
【０１４２】
〈５〉上記各実施形態では、本発明復号化装置２０の第１復号化手段２３及び第２復号化手段２４は、復号化データＰ’ｉｊを画像表示装置に出力し、本発明復号化装置４０のフォーマット逆変換手段４１は、ＹＵＶフォーマットの復号化データＰ’ｉｊをＲＧＢフォーマットに逆変換処理した後の復号化データを画像表示装置に出力する適用例を説明したが、夫々の復号化データを画像表示装置に直接出力する場合に適用するのではなく、図１４に示すように、１フレーム前の画像データとして当該復号化データを使用し、本発明符号化装置１０、３０及び本発明復号化装置２０、４０を介さずに画像表示装置（例えば、液晶表示装置５０）に直接出力する現行フレームの画像データ（階調データ）と、画像メモリに格納された１フレーム前の画像データ（階調データ）とを比較して、現行フレームの画像データの階調を補正する適用例も考えられる。図１４に示す適用例では、本発明復号化装置２０、４０の出力画像データ（１フレーム前の階調データ）と、本発明符号化装置１０、３０の入力画像データ（現行フレームの階調データ）は、階調値を比較して判定するルックアップテーブル５１に入力され、ルックアップテーブル５１の出力によって現行フレームの階調データが補正される構成となっている。当該適用例においても、従来のＢＴＣ符号化処理方法でデータ圧縮する場合より、１フレーム前の画像データを格納する画像メモリの記憶容量を低減できる。尚、図１４では、液晶表示装置５０内部の詳細な回路構成は、例えば、上記特許文献２〜４において公知であるので、記載を省略している。
【０１４３】
〈６〉上記各実施形態では、１次画像データとして、ＲＧＢフォーマットまたはＹＵＶフォーマットの各成分が８ビット（２５６階調）の６４０×４８０画素のデータを想定したが、色表示形式、各成分の階調数、解像度は、上記各実施形態の画像データに限定されるものではない。色表示形式、各成分の階調数、解像度は適宜変更可能である。また、画像データはカラー画像に限定されるものではなく、モノクローム画像でも良い。
【０１４４】
〈７〉上記各実施形態では、１、２または４画素のデータ保持単位としたが、これ以外の画素数のデータ保持単位とすることも可能である。例えば、縦×横が４×４画素の１６画素のデータ保持単位とすることもできる。しかし、データ保持単位の画素数、即ち単位ブロックを構成する画素数が多いほど、圧縮後のデータ量をより少なくする圧縮が可能になるが、画質がより劣化することになり、画質劣化の観点からは１、２または４画素のデータ保持単位とすることが好ましい。
【０１４５】
〈８〉上記各実施形態では、バラツキ度に関する判定結果を示すフラグビットを１ビットとしたが、これよりも大きいビット数のフラグビットを用いることも可能である。しかし、フラグビットを１ビットした方が、それよりも大きいビット数のフラグビットを用いるよりも、データ量を抑えることができるので好ましい。
【産業上の利用可能性】
【０１４６】
本発明は、画像データを圧縮する画像符号化装置及び方法、並びに、圧縮された画像データを伸張する画像復号化装置及び方法に利用可能であり、例えば、液晶表示装置を駆動する階調データを補正するオーバードライブ手法におけるフレーム画像データを一時的に保存する画像メモリの記憶容量の削減に応用できる。
【図面の簡単な説明】
【０１４７】
【図１】本発明に係る画像符号化装置と画像復号化装置の第１実施形態におけるシステム構成例を示すブロック図
【図２】符号化処理対象のＲＧＢフォーマット画像データの構成例を示す図
【図３】本発明に係る画像符号化方法及び画像復号化方法で用いる単位ブロックの構成例を示す図
【図４】本発明に係る画像符号化装置で生成される２種類の符号化データのデータ構成を模式的に示す図
【図５】本発明に係る画像符号化装置で使用する画像メモリの構成例を示す図
【図６】本発明に係る画像符号化方法の第１実施形態における概略の処理手順の一例を示す工程図
【図７】本発明に係る画像復号化方法の第１実施形態における概略の処理手順の一例を示す工程図
【図８】本発明に係る画像符号化方法及び画像復号化方法の第１実施形態における処理結果の一具体例を示す図
【図９】４×４画素分のＲＧＢデータに対応する、ＹＵＶ４２２フォーマットとＹＵＶ４１１フォーマットのデータ構成を模式的に示す図
【図１０】本発明に係る画像符号化装置と画像復号化装置の第２実施形態におけるシステム構成例を示すブロック図
【図１１】本発明に係る画像符号化方法の第２実施形態における概略の処理手順の一例を示す工程図
【図１２】本発明に係る画像符号化方法の第２実施形態における概略の処理手順の一例を示す工程図
【図１３】本発明に係る画像符号化方法の第３実施形態におけるバラツキ度判定工程の処理手順を示す工程図
【図１４】本発明に係る画像符号化装置と画像復号化装置の一適用例を示すブロック図
【図１５】従来のＢＴＣ符号化方式による符号化処理の処理手順の一例を示す工程図と２×２画素の画素ブロックの構成例を示す図
【図１６】従来のＢＴＣ符号化方式による符号化データの構成例を示す図
【図１７】従来のＢＴＣ符号化方式による復号化処理の処理手順の一例を示す工程図と復号化データの構成例を示す図
【図１８】従来のＢＴＣ符号化方式による符号化方式と復号化処理の具体例を示す図
【図１９】従来のＢＴＣ符号化方式による符号化方式と復号化処理の画素ブロックの画素値間の差が顕著でない場合の具体例を示す図
【符号の説明】
【０１４８】
１０、３０： 本発明に係る画像符号化装置
１１： 画像データ分割手段
１２： 平均値算出手段
１３： バラツキ度判定手段
１４： 比較結果データ生成手段
１５： 偏差値算出手段
１６： 符号化データ生成手段
１７： 画像メモリ
２０、４０： 本発明に係る画像復号化装置
２１： データ読み出し手段
２１ａ： 第１データ読み出し手段
２１ｂ： 第２データ読み出し手段
２２： バラツキ度識別手段
２３： 第１復号化手段
２４： 第２復号化手段
３１： フォーマット変換手段
４１： フォーマット逆変換手段
５０： 液晶表示装置
５１： ルックアップテーブル
【特許請求の範囲】
【請求項１】
所定の画素数をデータ保持単位とする画素データからなる画像データを相互に隣接する複数の前記データ保持単位からなる単位ブロックに分割する画像データ分割手段と、
前記単位ブロック毎に、前記画像データ分割手段により生成された前記単位ブロック内の前記各データ保持単位の要素値の平均値を算出する平均値算出手段と、
前記単位ブロック毎に、前記単位ブロック内の前記各データ保持単位の要素値の分布のバラツキ度の大小を予め設定された判定基準に基づいて判定して当該判定結果を示すフラグビットを生成するバラツキ度判定手段と、
前記単位ブロック毎に、前記単位ブロック内の前記各データ保持単位の要素値と前記平均値算出手段で算出された前記平均値の各大小比較結果を示す比較結果データを生成する比較結果データ生成手段と、
前記単位ブロック毎に、前記単位ブロック内の前記各データ保持単位の要素値と前記平均値算出手段で算出された前記平均値の各差分値に基づく前記単位ブロック内の前記各データ保持単位の要素値の前記平均値からの平均的な偏差度を示す偏差値を算出する偏差値算出手段と、
前記単位ブロック毎に、前記バラツキ度判定手段により生成された前記フラグビットの値に応じて、前記バラツキ度が小さい場合は、前記平均値と前記フラグビットを合成して符号化データを生成し、前記バラツキ度が大きい場合は、前記平均値と前記フラグビットと前記比較結果データと前記偏差値を合成して符号化データを生成する符号化データ生成手段と、備えてなることを特徴とする画像符号化装置。
【請求項２】
前記バラツキ度判定手段は、前記単位ブロック内の全ての前記データ保持単位において、前記データ保持単位の要素値と前記平均値算出手段で算出された前記平均値の差分値の絶対値が所定の判定閾値より小さい場合に、前記バラツキ度が小さいと判定し、それ以外の場合に、前記バラツキ度が大きいと判定することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記バラツキ度判定手段は、前記偏差値が所定の判定閾値より小さい場合に、前記バラツキ度が小さいと判定し、前記偏差値が前記所定の判定閾値以上の場合に、前記バラツキ度が大きいと判定することを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
前記符号化データ生成手段は、前記フラグビットの値に関係なく全ての前記単位ブロックに対して、前記平均値と前記フラグビットからなる第１符号化データを生成し、前記フラグビットの値に応じて前記バラツキ度の大きい前記単位ブロックであるか否かを識別して、前記バラツキ度の大きい前記単位ブロックに対してのみ、前記比較結果データと前記偏差値からなる第２符号化データを生成することを特徴とする請求項１〜３の何れか１項に記載の画像符号化装置。
【請求項５】
前記符号化データを格納する画像メモリを備え、前記画像メモリのメモリ空間が、前記第１符号化データを格納する第１領域と、前記第２符号化データを格納する第２領域に区分されて構成されていることを特徴とする請求項４に記載の画像符号化装置。
【請求項６】
前記符号化データ生成手段は、前記単位ブロック毎に順次前記符号化データを生成している過程で、前記符号化データの累積データ量が所定の上限値を超える場合には、当該符号化データ、及び、それ以降に生成する前記符号化データを、前記比較結果データと前記偏差値を合成せずに生成し、
前記バラツキ度判定手段が使用する前記判定基準を、前記バラツキ度が小さく判定され易いように変更することを特徴とする請求項１〜５の何れか１項に記載の画像符号化装置。
【請求項７】
前記画素データが１画素中の複数の異なる色成分の各階調データで構成されている場合、１画素中の１つの色成分を前記データ保持単位として扱い、前記画像データ分割手段、前記平均値算出手段、前記バラツキ度判定手段、前記比較結果データ生成手段、前記偏差値算出手段、及び、前記符号化データ生成手段は、夫々の処理を色成分別に処理することを特徴とする請求項１〜６の何れか１項に記載の画像符号化装置。
【請求項８】
前記画素データが、画素単位の輝度データと、画素単位または相互に隣接する２画素または４画素単位の２種類の色差データで構成されている場合、前記輝度データについては、１画素を前記データ保持単位として扱い、前記２種類の色差データについては、１、２または４画素を前記データ保持単位として扱い、前記画像データ分割手段、前記平均値算出手段、前記バラツキ度判定手段、前記比較結果データ生成手段、前記偏差値算出手段、及び、前記符号化データ生成手段は、夫々の処理を前記輝度データと前記２種類の色差データのデータ別に処理することを特徴とする請求項１〜６の何れか１項に記載の画像符号化装置。
【請求項９】
前記画素データが画素単位の色成分別の階調データで構成されている原画像データを、前記画素データが画素単位の輝度データと、画素単位または相互に隣接する２画素または４画素単位の２種類の色差データで構成される画像データに変換する画像フォーマット変換手段を備えることを特徴とする請求項８に記載の画像符号化装置。
【請求項１０】
請求項１〜６の何れか１項に記載の画像符号化装置で符号化された前記符号化データを前記データ保持単位の画素データからなる画像データに復号化する画像復号化装置であって、
前記単位ブロック毎に、前記符号化データを構成する前記平均値と前記フラグビット、または、前記平均値と前記フラグビットと前記比較結果データと前記偏差値を、個別に読み出すデータ読み出し手段と、
前記データ読み出し手段が読み出した前記フラグビットの値に基づいて、前記単位ブロック内の前記各データ保持単位の要素値の分布のバラツキ度の大小を識別するバラツキ度識別手段と、
前記バラツキ度識別手段により前記バラツキ度が大きいと識別された前記単位ブロックに対して、前記データ読み出し手段が読み出した前記平均値と前記比較結果データと前記偏差値に基づいて復号化データを生成する第１復号化手段と、
前記バラツキ度識別手段により前記バラツキ度が小さいと識別された前記単位ブロックに対して、前記データ読み出し手段が読み出した前記平均値に基づいて復号化データを生成する第２復号化手段と、を備えてなることを特徴とする画像復号化装置。
【請求項１１】
前記第１復号化手段は、前記単位ブロック内の復号化後の前記各データ保持単位の要素値を、前記各データ保持単位に対応する前記比較結果データに基づいて、前記平均値に対して前記偏差値を加算或いは減算することにより算出し、
前記第２復号化手段は、前記単位ブロック内の復号化後の前記各データ保持単位の要素値を全て前記平均値とすることを特徴とする請求項１０に記載の画像復号化装置。
【請求項１２】
前記データ読み出し手段は、前記符号化データから前記平均値と前記フラグビットを読み出す第１データ読み出し手段と、前記バラツキ度識別手段により前記バラツキ度が大きいと識別された場合に、前記符号化データから更に前記比較結果データと前記偏差値を読み出す第２データ読み出し手段を備えてなることを特徴とする請求項１０または１１に記載の画像復号化装置。
【請求項１３】
請求項１〜４の何れか１項に記載の画像符号化装置と、
前記画像符号化装置が符号化した符号化データを格納する画像メモリと、
前記画像メモリが格納する符号化データを復号化する請求項１０〜１２の何れか１項に記載の画像復号化装置と、を備えてなることを特徴とする画像データ処理装置。
【請求項１４】
所定の画素数をデータ保持単位とする画素データからなる画像データを相互に隣接する複数の前記データ保持単位からなる単位ブロックに分割する画像データ分割工程と、
前記単位ブロック毎に、前記画像データ分割工程で生成された前記単位ブロック内の前記各データ保持単位の要素値の平均値を算出する平均値算出工程と、
前記単位ブロック毎に、前記単位ブロック内の前記各データ保持単位の要素値の分布のバラツキ度の大小を予め設定された判定基準に基づいて判定して当該判定結果を示すフラグビットを生成するバラツキ度判定工程と、
前記単位ブロック毎に、前記単位ブロック内の前記各データ保持単位の要素値と前記平均値算出工程で算出された前記平均値の各大小比較結果を示す比較結果データを生成する比較結果データ生成工程と、
前記単位ブロック毎に、前記単位ブロック内の前記各データ保持単位の要素値と前記平均値算出工程で算出された前記平均値の各差分値に基づく前記単位ブロック内の前記各データ保持単位の要素値の前記平均値からの平均的な偏差度を示す偏差値を算出する偏差値算出工程と、
前記単位ブロック毎に、前記バラツキ度判定工程で生成された前記フラグビットの値に応じて、前記バラツキ度が小さい場合は、前記平均値と前記フラグビットを合成して符号化データを生成し、前記バラツキ度が大きい場合は、前記平均値と前記フラグビットと前記比較結果データと前記偏差値を合成して符号化データを生成する符号化データ生成工程と、備えてなることを特徴とする画像符号化方法。
【請求項１５】
請求項１４に記載の画像符号化方法で符号化された前記符号化データを符号化前のデータ形式に復号化する画像復号化方法であって、
前記単位ブロック毎に、前記符号化データを構成する前記平均値と前記フラグビットを、個別に読み出す第１データ読み出し工程と、
前記データ読み出し工程で読み出した前記フラグビットの値に基づいて、前記単位ブロック内の前記各データ保持単位の要素値の分布のバラツキ度の大小を識別するバラツキ度識別工程と、
前記バラツキ度識別工程において前記バラツキ度が大きいと識別された場合に、前記符号化データを構成する前記比較結果データと前記偏差値を、個別に読み出すデータ第２読み出し工程と、
前記バラツキ度識別工程において前記バラツキ度が大きいと識別された場合に、前記第１データ読み出し工程で読み出した前記平均値と、前記第２データ読み出し工程で読み出した前記比較結果データと前記偏差値に基づいて復号化データを生成する第１復号化工程と、
前記バラツキ度識別工程において前記バラツキ度が小さいと識別された場合に、前記第１データ読み出し工程で読み出した前記平均値に基づいて復号化データを生成する第２復号化工程と、を備えてなることを特徴とする画像復号化方法。
【請求項１】
所定の画素数をデータ保持単位とする画素データからなる画像データを相互に隣接する複数の前記データ保持単位からなる単位ブロックに分割する画像データ分割手段と、
前記単位ブロック毎に、前記画像データ分割手段により生成された前記単位ブロック内の前記各データ保持単位の要素値の平均値を算出する平均値算出手段と、
前記単位ブロック毎に、前記単位ブロック内の前記各データ保持単位の要素値の分布のバラツキ度の大小を予め設定された判定基準に基づいて判定して当該判定結果を示すフラグビットを生成するバラツキ度判定手段と、
前記単位ブロック毎に、前記単位ブロック内の前記各データ保持単位の要素値と前記平均値算出手段で算出された前記平均値の各大小比較結果を示す比較結果データを生成する比較結果データ生成手段と、
前記単位ブロック毎に、前記単位ブロック内の前記各データ保持単位の要素値と前記平均値算出手段で算出された前記平均値の各差分値に基づく前記単位ブロック内の前記各データ保持単位の要素値の前記平均値からの平均的な偏差度を示す偏差値を算出する偏差値算出手段と、
前記単位ブロック毎に、前記バラツキ度判定手段により生成された前記フラグビットの値に応じて、前記バラツキ度が小さい場合は、前記平均値と前記フラグビットを合成して符号化データを生成し、前記バラツキ度が大きい場合は、前記平均値と前記フラグビットと前記比較結果データと前記偏差値を合成して符号化データを生成する符号化データ生成手段と、備えてなることを特徴とする画像符号化装置。
【請求項２】
前記バラツキ度判定手段は、前記単位ブロック内の全ての前記データ保持単位において、前記データ保持単位の要素値と前記平均値算出手段で算出された前記平均値の差分値の絶対値が所定の判定閾値より小さい場合に、前記バラツキ度が小さいと判定し、それ以外の場合に、前記バラツキ度が大きいと判定することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記バラツキ度判定手段は、前記偏差値が所定の判定閾値より小さい場合に、前記バラツキ度が小さいと判定し、前記偏差値が前記所定の判定閾値以上の場合に、前記バラツキ度が大きいと判定することを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
前記符号化データ生成手段は、前記フラグビットの値に関係なく全ての前記単位ブロックに対して、前記平均値と前記フラグビットからなる第１符号化データを生成し、前記フラグビットの値に応じて前記バラツキ度の大きい前記単位ブロックであるか否かを識別して、前記バラツキ度の大きい前記単位ブロックに対してのみ、前記比較結果データと前記偏差値からなる第２符号化データを生成することを特徴とする請求項１〜３の何れか１項に記載の画像符号化装置。
【請求項５】
前記符号化データを格納する画像メモリを備え、前記画像メモリのメモリ空間が、前記第１符号化データを格納する第１領域と、前記第２符号化データを格納する第２領域に区分されて構成されていることを特徴とする請求項４に記載の画像符号化装置。
【請求項６】
前記符号化データ生成手段は、前記単位ブロック毎に順次前記符号化データを生成している過程で、前記符号化データの累積データ量が所定の上限値を超える場合には、当該符号化データ、及び、それ以降に生成する前記符号化データを、前記比較結果データと前記偏差値を合成せずに生成し、
前記バラツキ度判定手段が使用する前記判定基準を、前記バラツキ度が小さく判定され易いように変更することを特徴とする請求項１〜５の何れか１項に記載の画像符号化装置。
【請求項７】
前記画素データが１画素中の複数の異なる色成分の各階調データで構成されている場合、１画素中の１つの色成分を前記データ保持単位として扱い、前記画像データ分割手段、前記平均値算出手段、前記バラツキ度判定手段、前記比較結果データ生成手段、前記偏差値算出手段、及び、前記符号化データ生成手段は、夫々の処理を色成分別に処理することを特徴とする請求項１〜６の何れか１項に記載の画像符号化装置。
【請求項８】
前記画素データが、画素単位の輝度データと、画素単位または相互に隣接する２画素または４画素単位の２種類の色差データで構成されている場合、前記輝度データについては、１画素を前記データ保持単位として扱い、前記２種類の色差データについては、１、２または４画素を前記データ保持単位として扱い、前記画像データ分割手段、前記平均値算出手段、前記バラツキ度判定手段、前記比較結果データ生成手段、前記偏差値算出手段、及び、前記符号化データ生成手段は、夫々の処理を前記輝度データと前記２種類の色差データのデータ別に処理することを特徴とする請求項１〜６の何れか１項に記載の画像符号化装置。
【請求項９】
前記画素データが画素単位の色成分別の階調データで構成されている原画像データを、前記画素データが画素単位の輝度データと、画素単位または相互に隣接する２画素または４画素単位の２種類の色差データで構成される画像データに変換する画像フォーマット変換手段を備えることを特徴とする請求項８に記載の画像符号化装置。
【請求項１０】
請求項１〜６の何れか１項に記載の画像符号化装置で符号化された前記符号化データを前記データ保持単位の画素データからなる画像データに復号化する画像復号化装置であって、
前記単位ブロック毎に、前記符号化データを構成する前記平均値と前記フラグビット、または、前記平均値と前記フラグビットと前記比較結果データと前記偏差値を、個別に読み出すデータ読み出し手段と、
前記データ読み出し手段が読み出した前記フラグビットの値に基づいて、前記単位ブロック内の前記各データ保持単位の要素値の分布のバラツキ度の大小を識別するバラツキ度識別手段と、
前記バラツキ度識別手段により前記バラツキ度が大きいと識別された前記単位ブロックに対して、前記データ読み出し手段が読み出した前記平均値と前記比較結果データと前記偏差値に基づいて復号化データを生成する第１復号化手段と、
前記バラツキ度識別手段により前記バラツキ度が小さいと識別された前記単位ブロックに対して、前記データ読み出し手段が読み出した前記平均値に基づいて復号化データを生成する第２復号化手段と、を備えてなることを特徴とする画像復号化装置。
【請求項１１】
前記第１復号化手段は、前記単位ブロック内の復号化後の前記各データ保持単位の要素値を、前記各データ保持単位に対応する前記比較結果データに基づいて、前記平均値に対して前記偏差値を加算或いは減算することにより算出し、
前記第２復号化手段は、前記単位ブロック内の復号化後の前記各データ保持単位の要素値を全て前記平均値とすることを特徴とする請求項１０に記載の画像復号化装置。
【請求項１２】
前記データ読み出し手段は、前記符号化データから前記平均値と前記フラグビットを読み出す第１データ読み出し手段と、前記バラツキ度識別手段により前記バラツキ度が大きいと識別された場合に、前記符号化データから更に前記比較結果データと前記偏差値を読み出す第２データ読み出し手段を備えてなることを特徴とする請求項１０または１１に記載の画像復号化装置。
【請求項１３】
請求項１〜４の何れか１項に記載の画像符号化装置と、
前記画像符号化装置が符号化した符号化データを格納する画像メモリと、
前記画像メモリが格納する符号化データを復号化する請求項１０〜１２の何れか１項に記載の画像復号化装置と、を備えてなることを特徴とする画像データ処理装置。
【請求項１４】
所定の画素数をデータ保持単位とする画素データからなる画像データを相互に隣接する複数の前記データ保持単位からなる単位ブロックに分割する画像データ分割工程と、
前記単位ブロック毎に、前記画像データ分割工程で生成された前記単位ブロック内の前記各データ保持単位の要素値の平均値を算出する平均値算出工程と、
前記単位ブロック毎に、前記単位ブロック内の前記各データ保持単位の要素値の分布のバラツキ度の大小を予め設定された判定基準に基づいて判定して当該判定結果を示すフラグビットを生成するバラツキ度判定工程と、
前記単位ブロック毎に、前記単位ブロック内の前記各データ保持単位の要素値と前記平均値算出工程で算出された前記平均値の各大小比較結果を示す比較結果データを生成する比較結果データ生成工程と、
前記単位ブロック毎に、前記単位ブロック内の前記各データ保持単位の要素値と前記平均値算出工程で算出された前記平均値の各差分値に基づく前記単位ブロック内の前記各データ保持単位の要素値の前記平均値からの平均的な偏差度を示す偏差値を算出する偏差値算出工程と、
前記単位ブロック毎に、前記バラツキ度判定工程で生成された前記フラグビットの値に応じて、前記バラツキ度が小さい場合は、前記平均値と前記フラグビットを合成して符号化データを生成し、前記バラツキ度が大きい場合は、前記平均値と前記フラグビットと前記比較結果データと前記偏差値を合成して符号化データを生成する符号化データ生成工程と、備えてなることを特徴とする画像符号化方法。
【請求項１５】
請求項１４に記載の画像符号化方法で符号化された前記符号化データを符号化前のデータ形式に復号化する画像復号化方法であって、
前記単位ブロック毎に、前記符号化データを構成する前記平均値と前記フラグビットを、個別に読み出す第１データ読み出し工程と、
前記データ読み出し工程で読み出した前記フラグビットの値に基づいて、前記単位ブロック内の前記各データ保持単位の要素値の分布のバラツキ度の大小を識別するバラツキ度識別工程と、
前記バラツキ度識別工程において前記バラツキ度が大きいと識別された場合に、前記符号化データを構成する前記比較結果データと前記偏差値を、個別に読み出すデータ第２読み出し工程と、
前記バラツキ度識別工程において前記バラツキ度が大きいと識別された場合に、前記第１データ読み出し工程で読み出した前記平均値と、前記第２データ読み出し工程で読み出した前記比較結果データと前記偏差値に基づいて復号化データを生成する第１復号化工程と、
前記バラツキ度識別工程において前記バラツキ度が小さいと識別された場合に、前記第１データ読み出し工程で読み出した前記平均値に基づいて復号化データを生成する第２復号化工程と、を備えてなることを特徴とする画像復号化方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００９−１１１８２１（Ｐ２００９−１１１８２１Ａ）
【公開日】平成２１年５月２１日（２００９．５．２１）
【国際特許分類】
【出願番号】特願２００７−２８３１０７（Ｐ２００７−２８３１０７）
【出願日】平成１９年１０月３１日（２００７．１０．３１）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２１年５月２１日（２００９．５．２１）
【国際特許分類】
【出願日】平成１９年１０月３１日（２００７．１０．３１）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]