説明

画像圧縮回路、画像圧縮方法、半導体装置、およびスマートフォン

【課題】本発明は、画像データの圧縮率を低下させることなく、圧縮した画像データの画質の劣化を抑えることができる画像圧縮回路、画像圧縮方法、半導体装置、およびスマートフォンを提供する。
【解決手段】本発明に係る画像圧縮回路1は、画像演算部11、圧縮方式決定部12、圧縮処理部13を備える。圧縮方式決定部12は、画素の輝度Yのバラツキ、または画素の輝度Yおよび彩度Sのバラツキに基づいて、隣接する4つの画素の画像データのバラツキを判断し、隣接する4つの画素の画像データのバラツキが小さい場合、量子化誤差の小さいRGB色空間で表現する1つまたは2つの画素の画像データに圧縮(RGB888方式、RGB787方式)し、隣接する4つの画素の画像データのバラツキが大きい場合、4つの画素の輝度と、量子化誤差の大きいYCbCr色空間で表現する2つの画素の画像データとを含むデータに圧縮(YCbCr422方式)する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像圧縮回路、画像圧縮方法、半導体装置およびスマートフォンに関し、特に、隣接する4つの画素の画像データを圧縮する画像圧縮回路、画像圧縮方法、半導体装置およびスマートフォンに関する。
【背景技術】
【0002】
近年、表示装置は、画像の高精細化に伴い、処理する画像データの情報量が増えるとともに、動画の画質を向上させるために、1フレーム前の画像データと、現フレームの画像データとを比較する画像処理などを行なう場合がある。そのため、表示装置に画像を表示する表示ドライバは、1フレーム前の画像データと、現フレームの画像データとを比較する画像処理を行なうために、1フレーム前の画像データを格納することができるメモリを備える必要がある。
【0003】
しかし、表示ドライバのメモリは、画像の高精細化に伴い、1フレームの画像データの情報量が多くなり、大容量となる。また、表示ドライバのチップサイズに制約がある場合、表示ドライバのメモリは、容量を確保することができず、1フレームの画像データを格納することができない。
【0004】
そこで、1フレームの画像データをメモリに格納させるために、表示ドライバは、画像データを圧縮する画像圧縮回路を備えている。画像圧縮回路では、RGB色空間で表現する各画素の画像データを、YCbCr色空間で表現する各画素の画像データに変換して、画像データを圧縮する。また、画像圧縮回路は、表示ドライバに用いる以外に、ゲーム機などの画像処理デバイスにも用いることができる。特許文献1に開示してある画像処理デバイスは、背景画像の手前にゲームキャラクタ等のスプライトの画像を重ねて表示させるオーバレイ表示が行われる場合、画像圧縮回路が、スプライトパターンメモリに格納する画像データを圧縮している。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2011−15139号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、画像圧縮回路が、RGB色空間で表現する各画素の画像データを、YCbCr色空間で表現する各画素の画像データに変換して、画像データを単純に圧縮した場合、圧縮した画像データの画質が劣化するという問題があった。
【0007】
また、画像圧縮回路は、圧縮した画像データの画質の劣化を抑えると、画像データの圧縮率が低下し、画像圧縮データの情報量が多くなるという問題があった。
【0008】
それゆえに、本発明は、上記問題点を解決するためになされたものであり、画像データの圧縮率を低下させることなく、圧縮した画像データの画質の劣化を抑えることができる画像圧縮回路、画像圧縮方法、半導体装置、およびスマートフォンを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明に係る画像圧縮回路、または画像圧縮方法は、RGB色空間で表現する各画素の画像データから、各画素の輝度を演算し、画像演算部で演算した各画素の輝度に基づき、すべての画素の輝度のバラツキが所定の範囲内にある場合、RGB色空間で表現する各画素の画像データを圧縮する第1RGB圧縮方式に決定する。また、本発明に係る画像圧縮回路、または画像圧縮方法は、すべての画素の輝度のバラツキが所定の範囲内にない場合、各画素の輝度に基づいて各画素を2つのグループに分け、2つに分けたグループのそれぞれにおいて、グループに含まれる画素の輝度のバラツキが所定の範囲内にある場合、第1RGB圧縮方式と異なる、RGB色空間で表現する各画素の画像データを圧縮する第2RGB圧縮方式に、2つに分けたグループのうち少なくとも1つにおいて、グループに含まれる画素の輝度のバラツキが所定の範囲内にない場合、YCbCr圧縮方式にそれぞれ決定する。さらに、本発明に係る画像圧縮回路、または画像圧縮方法は、決定した方式に基づき、第1RGB圧縮方式の場合、RGB色空間で表現する1つの画素の画像データに圧縮し、第2RGB圧縮方式の場合、それぞれのグループにおいてRGB色空間で表現する1つの画素の画像データに圧縮し、YCbCr圧縮方式の場合、4つの画素の輝度と、それぞれのグループにおいてYCbCr色空間で表現する1つの画素の画像データとを含むデータに圧縮する。
【0010】
本発明に係る別の画像圧縮回路、または画像圧縮方法は、RGB色空間で表現する各画素の画像データから、各画素の輝度および彩度を演算し、画像演算部で演算した各画素の輝度および彩度に基づき、すべての画素の輝度および彩度のバラツキが所定の範囲内にある場合、RGB色空間で表現する各画素の画像データを圧縮する第1RGB圧縮方式に決定する。また、本発明に係る別の画像圧縮回路、または画像圧縮方法は、すべての画素の輝度および彩度のバラツキが所定の範囲内にない場合、各画素の彩度に基づいて各画素を2つのグループに分け、2つに分けたグループのそれぞれにおいて、グループに含まれる画素の輝度および彩度のバラツキが所定の範囲内にある場合、第1RGB圧縮方式と異なる、RGB色空間で表現する各画素の画像データを圧縮する第2RGB圧縮方式に、2つに分けたグループのうち少なくとも1つにおいて、グループに含まれる画素の輝度および彩度のバラツキが所定の範囲内にない場合、YCbCr圧縮方式にそれぞれ決定する。さらに、本発明に係る別の画像圧縮回路、または画像圧縮方法は、決定した方式に基づき、第1RGB圧縮方式の場合、RGB色空間で表現する1つの画素の画像データに圧縮し、第2RGB圧縮方式の場合、それぞれのグループにおいてRGB色空間で表現する1つの画素の画像データに圧縮し、YCbCr圧縮方式の場合、4つの画素の輝度と、それぞれのグループにおいてYCbCr色空間で表現する1つの画素の画像データとを含むデータに圧縮する。
【0011】
好ましくは、各画素の輝度または彩度の平均値以上の画素を含むグループと、各画素の輝度または彩度の平均値未満の画素を含むグループとに分ける。
【0012】
好ましくは、各画素の輝度または彩度を昇順または降順に並べ、差分値が最も大きくなる輝度または彩度の間でグループを分ける。
【0013】
各画素の輝度または彩度の標準偏差が所定値より小さい場合、各画素の輝度または彩度の平均値以上の画素を含むグループと、各画素の輝度または彩度の平均値未満の画素を含むグループとに分け、各画素の輝度または彩度の標準偏差が所定値以上の場合、各画素の輝度または彩度を昇順または降順に並べ、差分値が最も大きくなる輝度または彩度の間でグループを分ける。
【0014】
好ましくは、第1RGB圧縮方式は、RGB色空間で表現する4つの画素の画像データを、RGB色空間で表現する4つの画素のいずれか1つの画素の画像データと、画像データの圧縮および伸長に必要となる圧縮情報とを含むデータに圧縮する。
【0015】
好ましくは、第1RGB圧縮方式は、RGB色空間で表現する4つの画素の画像データを、RGB色空間で表現する4つの画素の画像データの平均値、最小値または最大値と、画像データの圧縮および伸長に必要となる圧縮情報とを含むデータに圧縮する。
【0016】
好ましくは、第2RGB圧縮方式は、RGB色空間で表現する4つの画素の画像データを、それぞれのグループに対し、RGB色空間で表現する1つの画素の画像データと、圧縮情報とを含むデータに圧縮する。
【0017】
好ましくは、第2RGB圧縮方式は、RGB色空間で表現する4つの画素の画像データを、それぞれのグループに対し、RGB色空間で表現するグループ内の画素の画像データの平均値、最小値または最大値と、圧縮情報とを含むデータに圧縮する。
【0018】
好ましくは、第2RGB圧縮方式は、RGB色空間で表現する4つの画素の画像データを、1つの画素の画像データを含む第1グループと、3つの画素の画像データを含む第2グループとに分ける場合、第1グループに含まれる画素の画像データと、第2グループに含まれる画素の画像データの中央値と、圧縮情報とを含むデータに圧縮する。
【0019】
好ましくは、第2RGB圧縮方式は、RGB色空間で表現する4つの画素の画像データを、1つの画素の画像データを含む第1グループと、3つの画素の画像データを含む第2グループとに分ける場合、第1グループに含まれる画素の画像データと、第2グループに含まれる画素の輝度を昇順または降順に並べ、差分値が小さい方の2つの画素の画像データの平均値、最小値または最大値と、圧縮情報とを含むデータに圧縮する。
【0020】
好ましくは、第2RGB圧縮方式は、RGB色空間で表現する4つの画素の画像データを、1つの画素の画像データを含む第1グループと、3つの画素の画像データを含む第2グループとに分ける場合、第1グループに含まれる画素の画像データと、第2グループに含まれる画素の輝度を昇順または降順に並べ、差分値が小さい方の2つの画素の輝度の標準偏差が所定値以上のとき、3つの画素の画像データの平均値と、圧縮情報とを含むデータに圧縮する。
【0021】
好ましくは、YCbCr圧縮方式は、RGB色空間で表現する4つの画素の画像データを、各画素の輝度と、それぞれのグループに対し、1つの画素の色差と、圧縮情報とを含むデータに圧縮する。
【0022】
好ましくは、YCbCr圧縮方式は、RGB色空間で表現する4つの画素の画像データを、各画素の輝度と、それぞれのグループに対し、グループ内の画素の色差の平均値、最小値または最大値と、圧縮情報とを含むデータに圧縮する。
【0023】
好ましくは、YCbCr圧縮方式は、RGB色空間で表現する4つの画素の画像データを、各画素の輝度と、第1グループに含まれる画素の色差と、第2グループに含まれる画素の色差の中央値と、圧縮情報とを含むデータに圧縮する。
【0024】
好ましくは、YCbCr圧縮方式は、RGB色空間で表現する4つの画素の画像データを、各画素の輝度と、第1グループに含まれる画素の色差と、第2グループに含まれる画素の彩度を昇順または降順に並べ、差分値が小さい方の2つの画素の色差の平均値、最小値または最大値と、圧縮情報とを含むデータに圧縮する。
【0025】
好ましくは、YCbCr圧縮方式は、RGB色空間で表現する4つの画素の画像データを、第1グループに含まれる画素の色差と、第2グループに含まれる画素の彩度を昇順または降順に並べ、差分値が小さい方の2つの画素の彩度の標準偏差が所定値以上のとき、3つの画素の色差の平均値と、圧縮情報とを含むデータに圧縮する。
【0026】
好ましくは、圧縮情報は、それぞれのグループに含まれる画素の組合わせを示すペア情報と、圧縮方式を選択する選択情報とを含む。
【0027】
好ましくは、第2RGB圧縮方式は、赤および青で表現する画像データの情報量を、緑で表現する画像データの情報量に比べて減らしてある。
【0028】
好ましくは、所定の範囲を、画素の輝度、または画素の輝度および彩度の標準偏差で規定してある。
【0029】
好ましくは、第1RGB圧縮方式は、第2RGB圧縮方式およびYCbCr圧縮方式で圧縮したデータとビット数を揃えるために付加する付加ビットに、圧縮するデータに含まれる画像データとの差分値が最も大きくなる画素の差分データを割当てる。
【0030】
好ましくは、第1RGB圧縮方式は、第2RGB圧縮方式およびYCbCr圧縮方式で圧縮したデータとビット数を揃えるために付加する付加ビットに、圧縮するデータに含まれる画像データとの差分値が大きくなる方の2つの画素の差分データを割当てる。
【0031】
本発明に係る半導体装置は、入力した画像データを、圧縮画像データに圧縮する本発明に係る画像圧縮回路と、画像圧縮回路で圧縮した圧縮画像データを格納するメモリ回路とを備える。
【0032】
本発明に係るスマートフォンは、撮像部と、ユーザ操作を受付ける操作部と、画像を表示する表示部と、前記撮像部で撮影された画像データを圧縮する本発明に係る画像圧縮回路とを備える。
【0033】
また、本発明に係る別のスマートフォンは、本発明に係る半導体装置と、前記メモリ回路に格納された前記圧縮画像データを伸長する画像伸長回路とを備える。
【発明の効果】
【0034】
本発明に係る画像圧縮回路、または画像圧縮方法では、画素の輝度のバラツキ、または画素の輝度および彩度のバラツキに基づいて、隣接する4つの画素の画像データのバラツキを判断し、隣接する4つの画素の画像データのバラツキが小さい場合、量子化誤差の小さいRGB色空間で表現する1つまたは2つの画素の画像データに圧縮し、隣接する4つの画素の画像データのバラツキが大きい場合、4つの画素の輝度と、量子化誤差の大きいYCbCr色空間で表現する2つの画素の画像データに圧縮するので、画像データの圧縮率を低下させることなく、圧縮した画像データの画質の劣化を抑えることができる。
【0035】
本発明に係る半導体装置は、本発明に係る画像圧縮回路を備えているので、画像データの圧縮率を低下させることなく、圧縮した画像データの画質の劣化を抑えることができ、所望の画質を有する画像データを処理する構成であっても、メモリ回路に格納させる容量を小さくして、小型化することができる。
【図面の簡単な説明】
【0036】
【図1】本発明の実施の形態1に係る画像圧縮回路の構成を示す概略図である。
【図2】本発明の実施の形態1に係る画像圧縮回路の圧縮方式決定部が、各画素を二つのグループに分ける処理を説明するための模式図である。
【図3】本発明の実施の形態1に係る画像圧縮回路の圧縮方式決定部が、グループに含まれる画素の輝度のバラツキを判断する処理を説明するための模式図である。
【図4】ペア情報Smapを説明するための模式図である。
【図5】本発明の実施の形態1に係る画像圧縮回路の動作を説明するためのフローチャートである。
【図6】本発明の実施の形態2に係る画像圧縮回路の動作を説明するためのフローチャートである。
【図7】本発明の実施の形態2に係る画像圧縮回路の圧縮方式決定部が、各画素を二つのグループに分ける処理を説明するための模式図である。
【図8】本発明の実施の形態2に係る画像圧縮回路の圧縮方式決定部が、グループに含まれる画素の輝度、彩度のバラツキを判断する処理を説明するための模式図である。
【図9】本発明の実施の形態2に係る画像圧縮回路が圧縮した圧縮画像データの画質を評価した結果を示す図である。
【図10】本発明の実施の形態3に係る半導体装置の構成を示す概略図である。
【図11】本発明の実施の形態1に係る画像圧縮回路でRGB888方式を用いて画像データを圧縮する場合に、ダミービットに割当てる情報を説明するための模式図である。
【図12】本発明の実施の形態1に係る画像圧縮回路でRGB888方式を用いて画像データを圧縮する場合に、ダミービットに割当てる別の情報を説明するための模式図である。
【図13】本発明の実施の形態1または2に係る画像圧縮回路を含む携帯情報端末装置の外観図である。
【発明を実施するための形態】
【0037】
以下、本発明に係る実施の形態について図面を参照して説明する。
(実施の形態1)
図1は、本発明の実施の形態1に係る画像圧縮回路の構成を示す概略図である。図1に示す画像圧縮回路1は、隣接する4つの画素の画像データを圧縮する回路である。隣接する4つの画素には、2画素×2画素にマトリックス状に配置してある4つの画素や、行方向に連続した4つの画素の画素などを含む。以下の実施の形態では、隣接する4つの画素は、2画素×2画素にマトリックス状に配置してある4つの画素として説明する。
【0038】
図1には、画像圧縮回路1以外に、画像圧縮回路1で圧縮した圧縮画像データを格納するためのメモリ(RAM:Random Access Memory)2と、メモリ2に格納してある圧縮画像データを取出し、取出した圧縮画像データを伸長する画像伸長回路3とを図示してある。なお、画像圧縮回路1および画像伸長回路3は、CPU(Central Processing Unit)などの演算回路で実行されるプログラムとしてソフトウェアで構成しても、ロジック
回路を組合わせてハードウェアで構成してもよい。
【0039】
画像圧縮回路1は、画像演算部11、圧縮方式決定部12、圧縮処理部13を含んでいる。画像演算部11は、RGB色空間で表現する4つの画素の画像データから、各画素の輝度Yを演算する。具体的に、輝度Yは、画像データの色成分を赤(RED)、緑(GREEN)、青(BLUE)とすると、式1に示す変換式を用いて演算することができる。
【0040】
【数1】

【0041】
式1に示す変換式は、ITU(International Telecommunication Union)の規格(
ITU−R601)で決められている。輝度Y、色成分である赤(RED)、緑(GREEN)、青(BLUE)のそれぞれは、“0”〜“255”までの256階調の数値で表現される。なお、赤(RED)、緑(GREEN)、青(BLUE)のそれぞれの数値が“0”である場合、画像データは、黒の画像である。また、赤(RED)、緑(GREEN)、青(BLUE)のそれぞれの数値が“255”である場合、画像データは、白の画像である。
【0042】
圧縮方式決定部12は、画像演算部11で演算した各画素の輝度Yに基づき、圧縮方式を決定する。
【0043】
具体的に、圧縮方式決定部12は、各画素の輝度Yのバラツキが小さい場合、量子化誤差の小さい、RGB色空間で表現する画像データを圧縮する方式に、各画素の輝度Yのバラツキが大きい場合、量子化誤差の大きい、YCbCr色空間で表現する画像データを圧縮する方式に決定する。RGB色空間で表現する画像データを圧縮する方式には、RGB色空間で表現する4つの画素の画像データを、RGB色空間で表現する1つの画素の画像データに圧縮する方式(RGB888方式(第1RGB圧縮方式))や、RGB色空間で表現する4つの画素の画像データを、二つのグループのそれぞれにおいてRGB色空間で表現する1つの画素の画像データに圧縮する方式(RGB787方式(第2RGB圧縮方式))がある。YCbCr色空間で表現する画像データを圧縮する方式には、4つの画素の輝度と、二つのグループのそれぞれにおいてYCbCr色空間で表現する1つの画素の画像データとを含むデータに圧縮する方式(YCbCr422方式(YCbCr圧縮方式))がある。
【0044】
圧縮方式決定部12は、すべての画素の輝度のバラツキが第1範囲内にある場合、圧縮する方式をRGB888方式に決定する。また、圧縮方式決定部12は、すべての画素の輝度のバラツキが第1範囲内にない場合、各画素の輝度に基づいて各画素を2つのグループに分ける。図2は、本発明の実施の形態1に係る画像圧縮回路1の圧縮方式決定部12が、各画素を二つのグループに分ける処理を説明するための模式図である。画像演算部11は、図2に示す画素P0〜P3のそれぞれの輝度Y0〜Y3を演算する。圧縮方式決定部12は、演算した輝度Y0〜Y3の平均値を閾値Ythとして、輝度Y0〜Y3を、図2に示すようにupperグループ(輝度Y1〜Y3)と、lowerグループ(輝度Y0)とに分けることで、画素P1〜P3をupperグループ、画素P0をlowerグループに分ける。
【0045】
さらに、圧縮方式決定部12は、2つに分けたグループのそれぞれにおいて、グループに含まれる画素の輝度のバラツキが第2範囲内にある場合、圧縮する方式をRGB787方式に、2つに分けたグループのうち少なくとも1つにおいて、グループに含まれる画素の輝度のバラツキが第2範囲内にない場合、圧縮する方式をYCbCr422方式にそれぞれ決定する。ここで、第1範囲は、第2範囲と同じ範囲であっても、異なる範囲であってもよい。
【0046】
図3は、本発明の実施の形態1に係る画像圧縮回路1の圧縮方式決定部12が、グループに含まれる画素の輝度のバラツキを判断する処理を説明するための模式図である。図3に示すupperグループには、画素P1〜P3の輝度Y1〜Y3が含まれ、輝度Y1〜Y3のバラツキ(たとえば、標準偏差)ΔYが、第2範囲内にあるか否かを圧縮方式決定部12で判断する。lowerグループには、画素P0の輝度Y0のみが含まれているので、圧縮方式決定部12は、バラツキを判断しないが、複数の輝度Yが含まれている場合は、upperグループと同様の判断を行なう。
【0047】
圧縮処理部13は、圧縮方式決定部12で決定した方式に基づき、RGB888方式、RGB787方式およびYCbCr422方式のいずれかの方式で画像データを圧縮画像データに圧縮する。YCbCr422方式は、4つの画素の輝度と、それぞれのグループにおいてYCbCr色空間で表現する1つの画素の画像データとを含むデータ(4:2:2フォーマットのデータ)に圧縮する。
【0048】
RGB888方式は、RGB色空間で表現する4つの画素の画像データを、RGB色空間で表現する1つの画素の画像データに圧縮する方式である。たとえば、色成分である赤(RED)、緑(GREEN)、青(BLUE)のそれぞれが8ビットであれば、RGB色空間で表現する4つの画素の画像データは、8ビット×3色成分×4つの画素=96ビット必要である。しかし、4つの画素の輝度Yのバラツキが小さい(標準偏差が第1範囲内)場合、4つの画素の画像データは、それぞれ同じような画像であると判断できる。そのため、RGB888方式は、4つの画素の画像データを1つの画素の画像データで代表することで、96ビットの4つの画素の画像データを24ビットの1つの画素の画像データに圧縮する。代表する画素の画像データを算出する方法には、4つの画素のいずれか1つの画素の画像データとする場合、輝度Yの最大値または最小値となる画素の画像データとする場合、画素の画像データの平均値とする場合、差分値や標準偏差を用いて算出した値とする場合などがある。
【0049】
RGB888方式は、24ビットの1つの画素の画像データに、画像データの圧縮および伸長に必要となる圧縮情報(4ビット)を付加している。圧縮情報には、それぞれのグループに含まれる画素の組合わせを示すペア情報Smap(3ビット)と、圧縮方式を選択する選択情報(1ビット)とが含まれている。選択情報は、RGB色空間で表現する画像データを圧縮するのか、YCbCr色空間で表現する画像データを圧縮するのかを示す情報である。たとえば、選択情報は、RGB色空間で表現する画像データを圧縮する場合”0”と、YCbCr色空間で表現する画像データを圧縮する場合”1”と表す。
【0050】
ペア情報Smapは、upperグループに含まれる画素と、lowerグループに含まれる画素との組合わせを示す情報である。図4は、ペア情報Smapを説明するための模式図である。図4に示すペア情報Smapでは、upperグループに含まれる画素P0、lowerグループに含まれる画素P1〜P3との組合わせ、またはupperグループに含まれる画素P1〜P3、lowerグループに含まれる画素P0との組合わせを、”0x0”と表す。
【0051】
同様に、図4に示すペア情報Smapでは、upperグループに含まれる画素P1、lowerグループに含まれる画素P0,P2,P3との組合わせ、またはupperグループに含まれる画素P0,P2,P3、lowerグループに含まれる画素P1との組合わせを、”0x1”と表す。図4に示すペア情報Smapでは、upperグループに含まれる画素P2、lowerグループに含まれる画素P0,P1,P3との組合わせ、またはupperグループに含まれる画素P0,P1,P3、lowerグループに含まれる画素P2との組合わせを、”0x2”と表す。図4に示すペア情報Smapでは、upperグループに含まれる画素P3、lowerグループに含まれる画素P0〜P2との組合わせ、またはupperグループに含まれる画素P0〜P2、lowerグループに含まれる画素P3との組合わせを、”0x3”と表す。
【0052】
また、図4に示すペア情報Smapでは、upperグループに含まれる画素P0,P1、lowerグループに含まれる画素P2,P3との組合わせ、またはupperグループに含まれる画素P2,P3、lowerグループに含まれる画素P0,P1との組合わせを、”0x4”と表す。図4に示すペア情報Smapでは、upperグループに含まれる画素P0,P2、lowerグループに含まれる画素P1,P3との組合わせ、またはupperグループに含まれる画素P1,P3、lowerグループに含まれる画素P0,P2との組合わせを、”0x5”と表す。図4に示すペア情報Smapでは、upperグループに含まれる画素P0,P3、lowerグループに含まれる画素P1,P2との組合わせ、またはupperグループに含まれる画素P1,P2、lowerグループに含まれる画素P0,P3との組合わせを、”0x6”と表す。
【0053】
さらに、図4に示すペア情報Smapでは、4つの画素をグループに分けない場合、”0x7”と表す。そのため、RGB888方式は、4つの画素をグループに分けない場合であるため、ペア情報Smapを”0x7”とし、RGB色空間で表現する画像データを圧縮するので選択情報を”0”とする。
【0054】
また、RGB888方式は、後述するRGB787方式やYCbCr422方式の圧縮率(たとえば1/2とする)と合わせるため(ビット数を揃えるため)に20ビットのダミービット(RGB787方式やYCbCr422方式で圧縮したデータとビット数を揃えるために付加する付加ビット)を、24ビットの1つの画素の画像データ、および4ビットの圧縮情報に付加している。そのため、RGB888方式は、96ビットの4つの画素の画像データを48ビットの圧縮画像データに圧縮する。
【0055】
ここで、20ビットのダミービットに、”0”または”1”の情報を単に割当ててもよいが、圧縮するデータに含まれる画像データとの差分データを割当ててもよい。具体的に、圧縮するデータに含まれる画像データとの差分値が最も大きくなる画素の画像データをダミービットに割当てる場合について説明する。図11は、本発明の実施の形態1に係る画像圧縮回路でRGB888方式を用いて画像データを圧縮する場合に、ダミービットに割当てる情報を説明するための模式図である。図11に示すダミービットには、圧縮するデータに含まれる画像データとの差分値が最も大きくなる画素の差分データを割当てる。この差分データには、割当てる画素がどの画素であるかを示す画素情報(2ビット)と、割当てる画素の色成分ごとの差分値を示す差分情報(18ビット)とを含んでいる。
【0056】
画素情報は、差分値が最も大きくなる画素が画素P0なら”00”、画素P1なら”01”、画素P2なら”10”、画素P3なら”11”の2ビットの画素情報をダミービットに割当てる。差分情報は、差分値が最も大きくなる画素の赤(RED)、緑(GREEN)、および青(BLUE)のそれぞれの色成分の差分情報(6ビット)が含まれている。なお、各色成分の差分情報(6ビット)には、画像データとの差分の絶対値を示す差分値(5ビット)と、差分値の符号(1ビット)とが含まれている。
【0057】
以上のように、ダミービットに、圧縮するデータに含まれる画像データとの差分値が最も大きくなる画素の差分データを割当てることで、圧縮するデータに含まれる画像データに対して最も色成分の異なる画素の画像データを圧縮するデータに含めることができる。そのため、単に、RGB888方式を用いて画像データを圧縮する場合に比べて、ダミービットに、画素の差分データを割当てたデータの方が画質が向上する。また、画素の差分データを割当てビットがダミービットであるため、圧縮するデータのデータ量が増加することがない。
【0058】
ダミービットに割当てる画素の差分データは、画像データとの差分値が最も大きくなる画素の差分データのみに限定されるものではない。図12は、本発明の実施の形態1に係る画像圧縮回路でRGB888方式を用いて画像データを圧縮する場合に、ダミービットに割当てる別の情報を説明するための模式図である。図12に示すダミービットには、圧縮するデータに含まれる画像データとの差分値が最も大きくなる方の2つの画素の差分データを割当てる。具体的に、圧縮するデータに含まれる画像データとの差分値が最も大きくなる画素の差分データ(12ビット)と、次に大きくなる画素の差分データ(8ビット)とをダミービットに割当てる。
【0059】
最も大きくなる画素の差分データ(12ビット)には、画素情報(2ビット)、赤(RED)、緑(GREEN)、および青(BLUE)のそれぞれの色成分の差分情報(3ビット+4ビット+3ビット=10ビット)が含まれている。次に大きくなる画素の差分データ(8ビット)には、画素情報(2ビット)、赤(RED)、緑(GREEN)、および青(BLUE)のそれぞれの色成分の差分情報(2ビット+2ビット+2ビット=6ビット)が含まれている。なお、赤(RED)、緑(GREEN)、および青(BLUE)のそれぞれの色成分の差分情報におけるビット数は例示であるが、人間の目にとって感度の良い緑(GREEN)の色成分の差分情報を、他の色成分の差分情報よりビットを多く割当てることで、圧縮するデータの画質が向上する。
【0060】
さらに、3ビットの赤(RED)および青(BLUE)のそれぞれの色成分の差分情報には、差分値(2ビット)と、差分値の符号(1ビット)とが含まれている。4ビットの緑(GREEN)の色成分の差分情報には、差分値(3ビット)と、差分値の符号(1ビット)とが含まれている。また、2ビットの赤(RED)、緑(GREEN)、および青(BLUE)のそれぞれの色成分の差分情報には、差分値(1ビット)と、差分値の符号(1ビット)とが含まれている。
【0061】
RGB787方式は、RGB色空間で表現する4つの画素の画像データを、upperグループに含まれるRGB色空間で表現する1つの画素の画像データと、lowerグループに含まれるRGB色空間で表現する1つの画素の画像データとに圧縮する方式である。4つの画素の輝度Yのバラツキは大きい(標準偏差が第1範囲外)であるが、upperグループおよびlowerグループに含まれる画素の輝度Yのバラツキは、それぞれ小さい(標準偏差が第2範囲内)場合、それぞれのグループ内の画素の画像データは、同じような画像であると判断できる。そのため、RGB787方式は、4つの画素の画像データを、upperグループに含まれる1つの画素の画像データと、lowerグループに含まれる1つの画素の画像データとで代表することで、96ビットの4つの画素の画像データを48ビットの2つの画素の画像データに圧縮する。upperグループ、またはlowerグループを代表する画素の画像データを算出する方法には、輝度Yの最大値または最小値となる画素の画像データとする場合、画素の画像データの平均値とする場合、差分値や標準偏差を用いて算出した値とする場合などがある。
【0062】
たとえば、RGB787方式は、upperグループ、またはlowerグループ内に3つの画素が含まれる場合、中央値の輝度Yの画素を、グループを代表する画素の画像データとして算出する。また、RGB787方式は、3つの画素の輝度Yを昇順または降順に並べ、差分値が小さい方の2つの画素の画素データの平均値(最小値、または最大値でもよい)を、グループを代表する画素の画像データとして算出する。さらに、RGB787方式は、3つの画素の輝度Yを昇順または降順に並べ、差分値が小さい方の2つの画素の輝度Yの標準偏差が所定値以上の場合、3つの画素の画像データの平均値を、グループを代表する画素の画像データとして算出する。なお、RGB787方式は、upperグループと、lowerグループとで異なる方法でグループを代表する画素の画像データを算出してもよい。
【0063】
しかし、RGB787方式でも、48ビットの2つの画素の画像データに、画像データの圧縮および伸長に必要となる圧縮情報(4ビット)を付加する必要がある。そのため、RGB787方式の圧縮率を1/2とする場合、単純に96ビットの4つの画素の画像データを48ビットの2つの画素の画像データに圧縮するだけでは、圧縮情報(4ビット)を付加することができない。そこで、RGB787方式では、色成分である赤(RED)、緑(GREEN)、青(BLUE)のうち、人間の目にとって感度の良い緑(GREEN)の色成分を除く、赤(RED)および青(BLUE)の色成分を表すビットを8ビットから7ビットにすることで、圧縮情報(4ビット)を付加しても1/2の圧縮率を確保している。
【0064】
つまり、RGB787方式は、96ビットの4つの画素の画像データを44ビット(赤(RED)=7ビット、緑(GREEN)=8ビット、青(BLUE)=7ビットとなる1つの画素の画像データ(22ビット)×2)の2つの画素の画像データに圧縮する。
【0065】
圧縮情報は、RGB888方式と同様に、それぞれのグループに含まれる画素の組合わせを示すペア情報Smap(3ビット)と、圧縮方式を選択する選択情報(1ビット)とが含まれている。
【0066】
YCbCr422方式は、RGB色空間で表現する4つの画素の画像データを、4つの画素の輝度Yと、upperグループに含まれるYCbCr色空間で表現する1つの画素の画像データ(色差)と、lowerグループに含まれるYCbCr色空間で表現する1つの画素の画像データ(色差)とを含むデータに圧縮する方式である。4つの画素の輝度Yのバラツキが大きく(標準偏差が第1範囲外)、upperグループおよびlowerグループに含まれる画素の輝度Yのバラツキも、少なくともいずれが一方のグループが大きい(標準偏差が第2範囲外)場合、4つの画素の画像データは、同じような画像であると判断できない。そのため、YCbCr422方式は、4つの画素の画像データを、4つの画素の輝度Y(6ビット×4)と、upperグループに含まれる1つの画素の画像データ(色差:Cb=5ビット、Cr=5ビット)と、lowerグループに含まれる1つの画素の画像データ(色差:Cb=5ビット、Cr=5ビット)とで代表することで、96ビットの4つの画素の画像データを44ビットの画像データに圧縮する。
【0067】
ここで、圧縮処理部13は、RGB色空間で表現する画像データから、YCbCr色空間で表現する画像データへの変換を、式2に示す変換式を用いて演算することができる。
【0068】
【数2】

【0069】
式2に示す変換式は、ITUの規格(ITU−R601)で決められている。輝度Y、色成分である赤(RED)、緑(GREEN)、青(BLUE)のそれぞれは、“0”〜“255”までの256階調の数値で表現される。なお、赤(RED)、緑(GREEN)、青(BLUE)のそれぞれの数値が“0”である場合、画像データは、黒の画像である。また、赤(RED)、緑(GREEN)、青(BLUE)のそれぞれの数値が“255”である場合、画像データは、白の画像である。
【0070】
YCbCr422方式でも、44ビットの画像データに、画像データの圧縮および伸長に必要となる圧縮情報(4ビット)を付加する必要がある。そのため、YCbCr422方式の圧縮率は、1/2となる。なお、圧縮情報は、RGB888方式と同様に、それぞれのグループに含まれる画素の組合わせを示すペア情報Smap(3ビット)と、圧縮方式を選択する選択情報(1ビット)とが含まれている。
【0071】
YCbCr422方式でも、upperグループ、またはlowerグループを代表する画素の色差を算出する方法には、彩度Sの最大値または最小値となる画素の色差とする場合、画素の色差の平均値とする場合、差分値や標準偏差を用いて算出した値とする場合などがある。
【0072】
たとえば、YCbCr422方式は、upperグループ、またはlowerグループ内に3つの画素が含まれる場合、中央値の彩度Sの画素を、グループを代表する画素の色差として算出する。また、YCbCr422方式は、3つの画素の彩度Sを昇順または降順に並べ、差分値が小さい方の2つの画素の色差の平均値(最小値、または最大値でもよい)を、グループを代表する画素の色差として算出する。さらに、YCbCr422方式は、3つの画素の彩度Sを昇順または降順に並べ、差分値が小さい方の2つの画素の彩度Sの標準偏差が所定値以上の場合、3つの画素の色差の平均値を、グループを代表する画素の色差として算出する。なお、YCbCr422方式は、upperグループと、lowerグループとで異なる方法でグループを代表する画素の色差を算出してもよい。
【0073】
図1に戻って、画像圧縮回路1で圧縮した圧縮画像データは、メモリ2に格納される。メモリ2は、圧縮画像データを格納することができれば、DRAM(Dynamic Random Access Memory)、SRAM(Static Random Access Memory)など種類を問わない。
【0074】
画像伸長回路3は、伸長方式決定部31、伸長処理部32を含んでいる。伸長方式決定部31は、メモリ2から圧縮画像データを取出し、取出した圧縮画像データの圧縮した方式を圧縮情報に基づいて判断して、圧縮した方式に対応する伸長方式を決定する。伸長方式決定部31は、決定した伸長方式の情報を含む方式決定信号と、圧縮画像データとを伸長処理部32に出力する。
【0075】
伸長処理部32は、伸長方式決定部31から出力した方式決定信号に基づき、RGB888方式、RGB787方式およびYCbCr422方式のいずれかの伸長方式で圧縮画像データを、RGB色空間で表現する4つの画素の画像データに伸長する。
【0076】
次に、本発明の実施の形態1に係る画像圧縮回路1の動作について説明する。図5は、本発明の実施の形態1に係る画像圧縮回路1の動作を説明するためのフローチャートである。まず、画像演算部11は、RGB色空間で表現する4つの画素の画像データから、各画素の輝度Yを演算する(ステップS21)。
【0077】
次に、圧縮方式決定部12は、画像演算部11で演算した4つの画素の輝度Yの標準偏差を算出し、算出した標準偏差が第1範囲内にあるか否かを判断する(ステップS22)。圧縮方式決定部12は、算出した標準偏差が第1範囲内にあると判断した場合(ステップS22:YES)、圧縮する方式をRGB888方式に決定する。圧縮処理部13は、圧縮方式決定部12で決定した方式に従い、RGB888方式で画像データを圧縮画像データに圧縮する(ステップS23)。
【0078】
次に、圧縮方式決定部12は、算出した標準偏差が第1範囲内にないと判断した場合(ステップS22:NO)、輝度Yに基づいて、upperグループと、lowerグループとに分ける(ステップS24)。圧縮方式決定部12は、図2で示したように、4つの画素の輝度Yの閾値Yth以上の輝度Yをupperグループと、閾値Yth未満の輝度Yをlowerグループとに分ける。
【0079】
次に、圧縮方式決定部12は、各グループごとに輝度Yの標準偏差を算出し、すべてのグループの輝度Yの標準偏差が第2範囲内にあるか否かを判断する(ステップS25)。圧縮方式決定部12は、すべてのグループの輝度Yの標準偏差が第2範囲内にあると判断した場合(ステップS25:YES)、圧縮する方式をRGB787方式に決定する。圧縮処理部13は、圧縮方式決定部12で決定した方式に従い、RGB787方式で画像データを圧縮画像データに圧縮する(ステップS26)。
【0080】
圧縮方式決定部12は、すべてのグループの輝度Yの標準偏差が第2範囲内にないと判断した場合(ステップS25:NO)、圧縮する方式をYCbCr422方式に決定する。圧縮処理部13は、圧縮方式決定部12で決定した方式に従い、YCbCr422方式で画像データを圧縮画像データに圧縮する(ステップS27)。
【0081】
以上のように、本発明の実施の形態1に係る画像圧縮回路1は、画素の輝度Yのバラツキに基づいて、隣接する4つの画素の画像データのバラツキを判断し、隣接する4つの画素の画像データのバラツキが小さい場合、量子化誤差の小さいRGB色空間で表現する1つまたは2つの画素の画像データに圧縮し、隣接する4つの画素の画像データのバラツキが大きい場合、4つの画素の輝度と、量子化誤差の大きいYCbCr色空間で表現する2つの画素の画像データに圧縮するので、画像データの圧縮率を低下させることなく、圧縮した画像データの画質の劣化を抑えることができる。
【0082】
なお、本発明の実施の形態1に係る圧縮方式決定部12は、4つの画素の輝度Yの平均値(閾値Yth)で、各画素の輝度Yをupperグループと、lowerグループとに分ける場合に限定されるものではなく、各画素の輝度Yを昇順または降順に並べ、差分値が最も大きくなる輝度Yの間でupperグループと、lowerグループとに分けても良い。たとえば、各画素の輝度Yが、“10”、“20”、“100”、“120”の場合、それぞれの差分値は“10”、“80”、“20”となるので、輝度Yが“20”と輝度Yが“100”との間でupperグループと、lowerグループとに分ける。また、圧縮方式決定部12は、各画素の輝度Yの標準偏差が所定値より小さい場合、輝度Yの平均値を用い、各画素の輝度Yの標準偏差が所定値以上の場合、差分値を用いてupperグループと、lowerグループとに分けても良い。
【0083】
(実施の形態2)
本発明の実施の形態2に係る画像圧縮回路は、図1に示す実施の形態1に係る画像圧縮回路1の構成と同じ構成であるため、詳細な説明を繰り返さない。なお、本発明の実施の形態2に係る画像圧縮回路の各構成要素は、実施の形態1に係る画像圧縮回路1の各構成要素と同じ符号を付して説明する。図6は、本発明の実施の形態2に係る画像圧縮回路1の動作を説明するためのフローチャートである。
【0084】
まず、画像演算部11は、RGB色空間で表現する4つの画素の画像データから、各画素の輝度Y、色差Cb,Cr,Cgを演算する(ステップS61)。具体的に、輝度Yは、画像データの色成分を赤(RED)、緑(GREEN)、青(BLUE)とすると、前述の式1に示す変換式を用いて演算することができ、色差Cb,Cr,Cgは、式3に示す変換式を用いて演算することができる。
【0085】
【数3】

【0086】
式1,3に示す変換式は、ITUの規格(ITU−R601)で決められている。輝度Y、色成分である赤(RED)、緑(GREEN)、青(BLUE)のそれぞれは、“0”〜“255”までの256階調の数値で表現される。なお、赤(RED)、緑(GREEN)、青(BLUE)のそれぞれの数値が“0”である場合、画像データは、黒の画像である。また、赤(RED)、緑(GREEN)、青(BLUE)のそれぞれの数値が“255”である場合、画像データは、白の画像である。
【0087】
次に、画像演算部11は、演算した色差Cb,Cr,Cgから彩度Sを演算する(ステップS62)。具体的に、彩度Sは、式4に示す変換式を用いて演算することができる。彩度Sは、“0”〜“186.47”までの数値で表現される。
【0088】
【数4】

【0089】
次に、圧縮方式決定部12は、画像演算部11で演算した4つの画素の輝度Y、彩度Sのそれぞれの標準偏差を算出し、算出したそれぞれの標準偏差が第1範囲内にあるか否かを判断する(ステップS63)。圧縮方式決定部12は、算出したそれぞれの標準偏差が第1範囲内にあると判断した場合(ステップS63:YES)、圧縮する方式をRGB888方式に決定する。圧縮処理部13は、圧縮方式決定部12で決定した方式に従い、RGB888方式で画像データを圧縮画像データに圧縮する(ステップS64)。
【0090】
次に、圧縮方式決定部12は、算出したそれぞれの標準偏差が第1範囲内にないと判断した場合(ステップS63:NO)、彩度Sに基づいて、upperグループと、lowerグループとに分ける(ステップS65)。図7は、本発明の実施の形態2に係る画像圧縮回路1の圧縮方式決定部12が、各画素を二つのグループに分ける処理を説明するための模式図である。画像演算部11は、図7に示す画素P0〜P3のそれぞれの彩度S0〜S3を演算する。圧縮方式決定部12は、演算した彩度S0〜S3の平均値を閾値Sthとして、彩度S0〜S3を、図7に示すようにupperグループ(彩度S1〜S3)と、lowerグループ(彩度S0)とに分けることで、画素P1〜P3をupperグループ、画素P0をlowerグループに分ける。
【0091】
次に、圧縮方式決定部12は、各グループごとに輝度Y、彩度Sの標準偏差を算出し、すべてのグループの輝度Y、彩度Sの標準偏差が第2範囲内にあるか否かを判断する(ステップS66)。図8は、本発明の実施の形態2に係る画像圧縮回路1の圧縮方式決定部12が、グループに含まれる画素の輝度、彩度のバラツキを判断する処理を説明するための模式図である。図8(a)は、画素P0〜P3の輝度Y0〜Y3をプロットした図で、図8(b)は、画素P0〜P3の彩度S0〜S3をプロットした図である。
【0092】
図8(a)に示すupperグループには、画素P1〜P3の輝度Y1〜Y3が含まれ、輝度Y1〜Y3のバラツキ(たとえば、標準偏差)ΔYが、第2範囲内にあるか否かを圧縮方式決定部12で判断する。lowerグループには、画素P0の輝度Y0のみが含まれているので、圧縮方式決定部12は、バラツキを判断しないが、複数の輝度Yが含まれている場合は、upperグループと同様の判断を行なう。
【0093】
図8(b)に示すupperグループには、画素P1〜P3の彩度S1〜S3が含まれ、彩度S1〜S3のバラツキ(たとえば、標準偏差)ΔSが、第2範囲内にあるか否かを圧縮方式決定部12で判断する。lowerグループには、画素P0の彩度S0のみが含まれているので、圧縮方式決定部12は、バラツキを判断しないが、複数の彩度Sが含まれている場合は、upperグループと同様の判断を行なう。
【0094】
図6に戻って、圧縮方式決定部12は、すべてのグループの輝度Y、彩度Sの標準偏差が第2範囲内にあると判断した場合(ステップS66:YES)、圧縮する方式をRGB787方式に決定する。圧縮処理部13は、圧縮方式決定部12で決定した方式に従い、RGB787方式で画像データを圧縮画像データに圧縮する(ステップS67)。
【0095】
圧縮方式決定部12は、すべてのグループの輝度Y、彩度Sの標準偏差が第2範囲内にないと判断した場合(ステップS66:NO)、圧縮する方式をYCbCr422方式に決定する。圧縮処理部13は、圧縮方式決定部12で決定した方式に従い、YCbCr422方式で画像データを圧縮画像データに圧縮する(ステップS68)。
【0096】
図9は、本発明の実施の形態2に係る画像圧縮回路1が圧縮した圧縮画像データの画質を評価した結果を示す図である。図9に示す縦軸は、画質の評価を示すPSNR(Peak Signal to Noise Ratio)値である。なお、PSNR値は、デシベル[dB]の単位で表現されるが、図9では、評価した結果を含む任意の範囲のみを切出して表示してあるため、特に単位を表示していない。図9に示す横軸は、RGB色空間で表現する各画素の画像データを、YCbCr色空間で表現する各画素の画像データに単純に変換して圧縮した圧縮画像データの画質(従来)と、実施の形態2に係る画像圧縮回路1で圧縮した圧縮画像データの画質とを示してある。
【0097】
また、図9には、白地に数色の文字を表示してある文字画像A、多色で描写した絵の絵画画像B、デジタルカメラで風景を撮像した風景画像C、デジタルカメラで人物を撮像した人物画像Dのそれぞれの画質を評価した結果を示してある。文字画像Aの場合、実施の形態2に係る画像圧縮回路1で圧縮した圧縮画像データの画質は、従来に比べてPSNR値の改善があった。絵画画像Bおよび風景画像Cの場合、実施の形態2に係る画像圧縮回路1で圧縮した圧縮画像データの画質は、従来に比べてPSNR値の改善があり、文字画像Aの場合よりも大きな改善があった。人物画像Dの場合、実施の形態2に係る画像圧縮回路1で圧縮した圧縮画像データの画質は、従来に比べてPSNR値の改善があり、文字画像Aの場合と同じ程度の改善があった。
【0098】
以上のように、本発明の実施の形態2に係る画像圧縮回路1は、画素の輝度Yおよび彩度Sのバラツキに基づいて、隣接する4つの画素の画像データのバラツキを判断し、隣接する4つの画素の画像データのバラツキが小さい場合、量子化誤差の小さいRGB色空間で表現する1つまたは2つの画素の画像データに圧縮し、隣接する4つの画素の画像データのバラツキが大きい場合、4つの画素の輝度と、量子化誤差の大きいYCbCr色空間で表現する2つの画素の画像データに圧縮するので、画像データの圧縮率を低下させることなく、圧縮した画像データの画質の劣化を抑えることができる。
【0099】
なお、本発明の実施の形態2に係る圧縮方式決定部12は、4つの画素の彩度Sの平均値(閾値Sth)で、各画素の彩度Sをupperグループと、lowerグループとに分ける場合に限定されるものではなく、各画素の彩度Sを昇順または降順に並べ、差分値が最も大きくなる彩度Sの間でupperグループと、lowerグループとに分けても良い。たとえば、各画素の彩度Sが、“10”、“20”、“100”、“120”の場合、それぞれの差分値は“10”、“80”、“20”となるので、彩度Sが“20”と彩度Sが“100”との間でupperグループと、lowerグループとに分ける。また、圧縮方式決定部12は、各画素の彩度Sの標準偏差が所定値より小さい場合、彩度Sの平均値を用い、各画素の彩度Sの標準偏差が所定値以上の場合、差分値を用いてupperグループと、lowerグループとに分けても良い。
【0100】
(実施の形態3)
図10は、本発明の実施の形態3に係る半導体装置の構成を示す概略図である。図10に示す半導体装置100は、たとえば液晶表示装置に画像を表示させる表示ドライバである。半導体装置100は、実施の形態1または2に記載の画像圧縮回路1、メモリ2、画像伸長回路3を含んでいる。さらに、半導体装置100は、フレームメモリ4、ラインバッファ5、レジスタ6、FIFO(first-in first-out)回路7、データ比較回路8、
画像処理回路9を含んでいる。
【0101】
フレームメモリ4は、入力する画像データをフレーム単位で保持する。ラインバッファ5は、画像圧縮回路1で処理する画像データをライン単位で一時的に保持する。レジスタ6は、画像圧縮回路1の設定情報を保持する。FIFO回路7は、画像圧縮回路1で圧縮した画像圧縮データをメモリ2に格納したり、メモリ2に格納した画像圧縮データを画像伸長回路3に取出したりするときに、画像圧縮データを先入れ先出しでメモリ2に格納、メモリ2から取出す処理を行なう。
【0102】
データ比較回路8は、メモリ2に格納した1フレーム前の画像圧縮データを画像伸長回路3で伸長した画像データと、画像圧縮回路1で圧縮した現フレームの画像圧縮データを画像伸長回路3で伸長した画像データとを比較する。画像処理回路9は、データ比較回路8で比較した結果に基づき、現フレームの画像圧縮データに対して所定の処理を行ない、所定の処理を行なった画像圧縮データを出力する。
【0103】
以上のように、本発明の実施の形態3に係る半導体装置100は、画像圧縮回路に実施の形態1または2に記載の画像圧縮回路1を備えているので、画像データの圧縮率を低下させることなく、圧縮した画像データの画質の劣化を抑えることができ、メモリ2の容量を小さくして、小型化することができる。
【0104】
なお、半導体装置100は、画像伸長回路3や画像処理回路9などを備えているが、少なくとも実施の形態1または2に記載の画像圧縮回路1と、画像圧縮回路1で圧縮した圧縮画像データを格納するメモリ2とを備えていれば、メモリ2の容量を大きくする必要がなく、小型化することができる。また、フレームメモリ4に対してもメモリ2と同様に適用することができるので、フレームメモリ4も小型化することができる。
【0105】
(アプリケーション)
実施の形態1または2に記載の画像圧縮回路1および画像伸長回路3は、画像データを取扱う種種のアプリケーションに搭載することが可能である。該アプリケーションに画像圧縮回路1および画像伸長回路3を搭載する場合、実施の形態3に記載の半導体装置100としてアプリケーションに画像圧縮回路1および画像伸長回路3を搭載しても、画像圧縮回路1および画像伸長回路3をアプリケーションの回路に直接組込んでアプリケーションに画像圧縮回路1および画像伸長回路3を搭載してもよい。また、画像圧縮回路1をアプリケーションの回路に直接組込み、画像伸長回路3は別のICとしてアプリケーションに搭載してもよい。
【0106】
画像圧縮回路1および画像伸長回路3を搭載するアプリケーションとして、例えば、携帯情報端末装置(携帯電話、スマートフォン、タブレットPCなど)がある。図13は、本発明の実施の形態1または2に係る画像圧縮回路1および画像伸長回路3を含む携帯情報端末装置の外観図である。図13に示す携帯情報端末装置200は、本体の前面や背面に搭載される撮像部201と、ユーザ操作を受付ける操作部202(各種ボタンやタッチパネルなど)と、文字や画像(撮影画像やメディア再生画像など)を表示する表示部203とを有する。携帯情報端末装置200に含まれる画像圧縮回路1(図示せず)は、撮像部201で撮像した画像データに対して前述した処理を行ない、画像データを圧縮する。同じく携帯情報端末装置200に含まれる画像伸長回路3は、画像圧縮回路1によって圧縮された画像データに対して前述した処理を行ない、画像データを伸長する。携帯情報端末装置200は、画像圧縮回路1を備えているので、画像データの圧縮率を低下させることなく、圧縮した画像データの画質の劣化を抑えることができ、搭載しているメモリ(図示せず)に記憶させるデータ量を減らすことができる。
【0107】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0108】
1 画像圧縮回路、2 メモリ、3 画像伸長回路、4 フレームメモリ、5 ラインバッファ、6 レジスタ、7 FIFO回路、8 データ比較回路、9 画像処理回路、11 画像演算部、12 圧縮方式決定部、13 圧縮処理部、31 伸長方式決定部、32 伸長処理部、100 半導体装置、200 携帯情報端末装置、201 撮像部、202 操作部、203 表示部。

【特許請求の範囲】
【請求項1】
隣接する4つの画素の画像データを圧縮する画像圧縮回路であって、
RGB色空間で表現する各画素の前記画像データから、各画素の輝度を演算する画像演算部と、
前記画像演算部で演算した各画素の輝度に基づき、すべての画素の輝度のバラツキが所定の範囲内にある場合、RGB色空間で表現する各画素の前記画像データを圧縮する第1RGB圧縮方式に、すべての画素の輝度のバラツキが前記所定の範囲内にない場合、各画素の輝度に基づいて各画素を2つのグループに分け、2つに分けた前記グループのそれぞれにおいて、前記グループに含まれる画素の輝度のバラツキが前記所定の範囲内にある場合、前記第1RGB圧縮方式と異なる、RGB色空間で表現する各画素の前記画像データを圧縮する第2RGB圧縮方式に、2つに分けた前記グループのうち少なくとも1つにおいて、前記グループに含まれる画素の輝度のバラツキが前記所定の範囲内にない場合、YCbCr圧縮方式にそれぞれ決定する圧縮方式決定部と、
前記圧縮方式決定部で決定した方式に基づき、前記第1RGB圧縮方式の場合、RGB色空間で表現する1つの画素の前記画像データに圧縮し、前記第2RGB圧縮方式の場合、それぞれの前記グループにおいてRGB色空間で表現する1つの画素の前記画像データに圧縮し、前記YCbCr圧縮方式の場合、4つの画素の輝度と、それぞれの前記グループにおいてYCbCr色空間で表現する1つの画素の前記画像データとを含むデータに圧縮する圧縮処理部と
を備える画像圧縮回路。
【請求項2】
隣接する4つの画素の画像データを圧縮する画像圧縮回路であって、
RGB色空間で表現する各画素の前記画像データから、各画素の輝度および彩度を演算する画像演算部と、
前記画像演算部で演算した各画素の輝度および彩度に基づき、すべての画素の輝度および彩度のバラツキが所定の範囲内にある場合、RGB色空間で表現する各画素の前記画像データを圧縮する第1RGB圧縮方式に、すべての画素の輝度および彩度のバラツキが前記所定の範囲内にない場合、各画素の彩度に基づいて各画素を2つのグループに分け、2つに分けた前記グループのそれぞれにおいて、前記グループに含まれる画素の輝度および彩度のバラツキが前記所定の範囲内にある場合、前記第1RGB圧縮方式と異なる、RGB色空間で表現する各画素の前記画像データを圧縮する第2RGB圧縮方式に、2つに分けた前記グループのうち少なくとも1つにおいて、前記グループに含まれる画素の輝度および彩度のバラツキが前記所定の範囲内にない場合、YCbCr圧縮方式にそれぞれ決定する圧縮方式決定部と、
前記圧縮方式決定部で決定した方式に基づき、前記第1RGB圧縮方式の場合、RGB色空間で表現する1つの画素の前記画像データに圧縮し、前記第2RGB圧縮方式の場合、それぞれの前記グループにおいてRGB色空間で表現する1つの画素の前記画像データに圧縮し、前記YCbCr圧縮方式の場合、4つの画素の輝度と、それぞれの前記グループにおいてYCbCr色空間で表現する1つの画素の前記画像データとを含むデータに圧縮する圧縮処理部と
を備える画像圧縮回路。
【請求項3】
前記圧縮方式決定部は、各画素の輝度の平均値以上の画素を含む前記グループと、各画素の輝度の平均値未満の画素を含む前記グループとに分ける、請求項1に記載の画像圧縮回路。
【請求項4】
前記圧縮方式決定部は、各画素の輝度を昇順または降順に並べ、差分値が最も大きくなる輝度の間で前記グループを分ける、請求項1に記載の画像圧縮回路。
【請求項5】
前記圧縮方式決定部は、各画素の輝度の標準偏差が所定値より小さい場合、各画素の輝度の平均値以上の画素を含む前記グループと、各画素の輝度の平均値未満の画素を含む前記グループとに分け、各画素の輝度の標準偏差が所定値以上の場合、各画素の輝度を昇順または降順に並べ、差分値が最も大きくなる輝度の間で前記グループを分ける、請求項1に記載の画像圧縮回路。
【請求項6】
前記圧縮方式決定部は、各画素の彩度の平均値以上の画素を含む前記グループと、各画素の彩度の平均値未満の画素を含む前記グループとに分ける、請求項2に記載の画像圧縮回路。
【請求項7】
前記圧縮方式決定部は、各画素の彩度を昇順または降順に並べ、差分値が最も大きくなる彩度の間で前記グループを分ける請求項2に記載の画像圧縮回路。
【請求項8】
前記圧縮方式決定部は、各画素の彩度の標準偏差が所定値より小さい場合、各画素の彩度の平均値以上の画素を含む前記グループと、各画素の彩度の平均値未満の画素を含む前記グループとに分け、各画素の彩度の標準偏差が所定値以上の場合、各画素の彩度を昇順または降順に並べ、差分値が最も大きくなる彩度の間で前記グループを分ける、請求項2に記載の画像圧縮回路。
【請求項9】
前記第1RGB圧縮方式は、RGB色空間で表現する4つの画素の前記画像データを、RGB色空間で表現する4つの画素のいずれか1つの画素の前記画像データと、前記画像データの圧縮および伸長に必要となる圧縮情報とを含むデータに圧縮する、請求項1〜請求項8のいずれか一項に記載の画像圧縮回路。
【請求項10】
前記第1RGB圧縮方式は、RGB色空間で表現する4つの画素の前記画像データを、RGB色空間で表現する4つの画素の前記画像データの平均値、最小値または最大値と、前記画像データの圧縮および伸長に必要となる圧縮情報とを含むデータに圧縮する、請求項1〜請求項8のいずれか一項に記載の画像圧縮回路。
【請求項11】
前記第2RGB圧縮方式は、RGB色空間で表現する4つの画素の前記画像データを、それぞれの前記グループに対し、RGB色空間で表現する1つの画素の前記画像データと、前記圧縮情報とを含むデータに圧縮する、請求項9または請求項10に記載の画像圧縮回路。
【請求項12】
前記第2RGB圧縮方式は、RGB色空間で表現する4つの画素の前記画像データを、それぞれの前記グループに対し、RGB色空間で表現する前記グループ内の画素の前記画像データの平均値、最小値または最大値と、前記圧縮情報とを含むデータに圧縮する、請求項9または請求項10に記載の画像圧縮回路。
【請求項13】
前記第2RGB圧縮方式は、RGB色空間で表現する4つの画素の前記画像データを、1つの画素の前記画像データを含む第1グループと、3つの画素の前記画像データを含む第2グループとに分ける場合、前記第1グループに含まれる画素の前記画像データと、前記第2グループに含まれる画素の前記画像データの中央値と、前記圧縮情報とを含むデータに圧縮する、請求項9または請求項10に記載の画像圧縮回路。
【請求項14】
前記第2RGB圧縮方式は、RGB色空間で表現する4つの画素の前記画像データを、1つの画素の前記画像データを含む第1グループと、3つの画素の前記画像データを含む第2グループとに分ける場合、前記第1グループに含まれる画素の前記画像データと、前記第2グループに含まれる画素の輝度を昇順または降順に並べ、差分値が小さい方の2つの画素の前記画像データの平均値、最小値または最大値と、前記圧縮情報とを含むデータに圧縮する、請求項9または請求項10に記載の画像圧縮回路。
【請求項15】
前記第2RGB圧縮方式は、RGB色空間で表現する4つの画素の前記画像データを、1つの画素の前記画像データを含む第1グループと、3つの画素の前記画像データを含む第2グループとに分ける場合、前記第1グループに含まれる画素の前記画像データと、前記第2グループに含まれる画素の輝度を昇順または降順に並べ、差分値が小さい方の2つの画素の輝度の標準偏差が所定値以上のとき、3つの画素の前記画像データの平均値と、前記圧縮情報とを含むデータに圧縮する、請求項9または請求項10に記載の画像圧縮回路。
【請求項16】
前記YCbCr圧縮方式は、RGB色空間で表現する4つの画素の前記画像データを、各画素の輝度と、それぞれの前記グループに対し、1つの画素の色差と、前記圧縮情報とを含むデータに圧縮する請求項11〜請求項15のいずれか一項に記載の画像圧縮回路。
【請求項17】
前記YCbCr圧縮方式は、RGB色空間で表現する4つの画素の前記画像データを、各画素の輝度と、それぞれの前記グループに対し、前記グループ内の画素の色差の平均値、最小値または最大値と、前記圧縮情報とを含むデータに圧縮する、請求項11〜請求項15のいずれか一項に記載の画像圧縮回路。
【請求項18】
前記YCbCr圧縮方式は、RGB色空間で表現する4つの画素の前記画像データを、各画素の輝度と、前記第1グループに含まれる画素の色差と、前記第2グループに含まれる画素の色差の中央値と、前記圧縮情報とを含むデータに圧縮する、請求項13〜請求項15のいずれか一項に記載の画像圧縮回路。
【請求項19】
前記YCbCr圧縮方式は、RGB色空間で表現する4つの画素の前記画像データを、各画素の輝度と、前記第1グループに含まれる画素の色差と、前記第2グループに含まれる画素の彩度を昇順または降順に並べ、差分値が小さい方の2つの画素の色差の平均値、最小値または最大値と、前記圧縮情報とを含むデータに圧縮する、請求項13〜請求項15のいずれか一項に記載の画像圧縮回路。
【請求項20】
前記YCbCr圧縮方式は、RGB色空間で表現する4つの画素の前記画像データを、前記第1グループに含まれる画素の色差と、前記第2グループに含まれる画素の彩度を昇順または降順に並べ、差分値が小さい方の2つの画素の彩度の標準偏差が所定値以上のとき、3つの画素の色差の平均値と、前記圧縮情報とを含むデータに圧縮する、請求項13〜請求項15に記載の画像圧縮回路。
【請求項21】
前記圧縮情報は、それぞれの前記グループに含まれる画素の組合わせを示すペア情報と、圧縮方式を選択する選択情報とを含む、請求項9〜請求項20のいずれか一項に記載の画像圧縮回路。
【請求項22】
前記第2RGB圧縮方式は、赤および青で表現する前記画像データの情報量を、緑で表現する前記画像データの情報量に比べて減らしてある、請求項1〜請求項21のいずれか一項に記載の画像圧縮回路。
【請求項23】
入力した画像データを、圧縮画像データに圧縮する請求項1〜請求項22のいずれか一項に記載の画像圧縮回路と、
前記画像圧縮回路で圧縮した前記圧縮画像データを格納するメモリ回路と、
を備える半導体装置。
【請求項24】
隣接する4つの画素の画像データを圧縮する画像圧縮方法であって、
RGB色空間で表現する各画素の前記画像データから、各画素の輝度を演算する第1ステップと、
演算した各画素の輝度に基づき、すべての画素の輝度のバラツキが所定の範囲内にある場合、RGB色空間で表現する各画素の前記画像データを圧縮する第1RGB圧縮方式に、すべての画素の輝度のバラツキが前記所定の範囲内にない場合、各画素の輝度に基づいて各画素を2つのグループに分け、2つに分けた前記グループのそれぞれにおいて、前記グループに含まれる画素の輝度のバラツキが前記所定の範囲内にある場合、前記第1RGB圧縮方式と異なる、RGB色空間で表現する各画素の前記画像データを圧縮する第2RGB圧縮方式に、2つに分けた前記グループのうち少なくとも1つにおいて、前記グループに含まれる画素の輝度のバラツキが前記所定の範囲内にない場合、YCbCr圧縮方式にそれぞれ決定する第2ステップと、
決定した方式に基づき、前記第1RGB圧縮方式の場合、RGB色空間で表現する1つの画素の前記画像データに圧縮し、前記第2RGB圧縮方式の場合、それぞれの前記グループにおいてRGB色空間で表現する1つの画素の前記画像データに圧縮し、前記YCbCr圧縮方式の場合、4つの画素の輝度と、それぞれの前記グループにおいてYCbCr色空間で表現する1つの画素の前記画像データとを含むデータに圧縮する第3ステップと
を含む画像圧縮方法。
【請求項25】
隣接する4つの画素の画像データを圧縮する画像圧縮方法であって、
RGB色空間で表現する各画素の前記画像データから、各画素の輝度および彩度を演算する第1ステップと、
演算した各画素の輝度および彩度に基づき、すべての画素の輝度および彩度のバラツキが所定の範囲内にある場合、RGB色空間で表現する各画素の前記画像データを圧縮する第1RGB圧縮方式に、すべての画素の輝度および彩度のバラツキが前記所定の範囲内にない場合、各画素の彩度に基づいて各画素を2つのグループに分け、2つに分けた前記グループのそれぞれにおいて、前記グループに含まれる画素の輝度および彩度のバラツキが前記所定の範囲内にある場合、前記第1RGB圧縮方式と異なる、RGB色空間で表現する各画素の前記画像データを圧縮する第2RGB圧縮方式に、2つに分けた前記グループのうち少なくとも1つにおいて、前記グループに含まれる画素の輝度および彩度のバラツキが前記所定の範囲内にない場合、YCbCr圧縮方式にそれぞれ決定する第2ステップと、
決定した方式に基づき、前記第1RGB圧縮方式の場合、RGB色空間で表現する1つの画素の前記画像データに圧縮し、前記第2RGB圧縮方式の場合、それぞれの前記グループにおいてRGB色空間で表現する1つの画素の前記画像データに圧縮し、前記YCbCr圧縮方式の場合、4つの画素の輝度と、それぞれの前記グループにおいてYCbCr色空間で表現する1つの画素の前記画像データとを含むデータに圧縮する第3ステップと
を含む画像圧縮方法。
【請求項26】
前記第1RGB圧縮方式は、前記第2RGB圧縮方式および前記YCbCr圧縮方式で圧縮したデータとビット数を揃えるために付加する付加ビットに、圧縮するデータに含まれる前記画像データとの差分値が最も大きくなる画素の差分データを割当てる、請求項9または請求項10に記載の画像圧縮回路。
【請求項27】
前記第1RGB圧縮方式は、前記第2RGB圧縮方式および前記YCbCr圧縮方式で圧縮したデータとビット数を揃えるために付加する付加ビットに、圧縮するデータに含まれる前記画像データとの差分値が大きくなる方の2つの画素の差分データを割当てる、請求項9または請求項10に記載の画像圧縮回路。
【請求項28】
撮像部と、ユーザ操作を受付ける操作部と、画像を表示する表示部と、前記撮像部で撮影された画像データを圧縮する請求項1〜請求項22のいずれか1項に記載の画像圧縮回路とを備える、スマートフォン。
【請求項29】
請求項23に記載の半導体装置と、前記メモリ回路に格納された前記圧縮画像データを伸長する画像伸長回路とを備える、スマートフォン。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2013−66162(P2013−66162A)
【公開日】平成25年4月11日(2013.4.11)
【国際特許分類】
【出願番号】特願2012−116523(P2012−116523)
【出願日】平成24年5月22日(2012.5.22)
【出願人】(000116024)ローム株式会社 (3,539)
【Fターム(参考)】