説明

画像制御装置

【課題】画質の劣化を抑えつつメモリのデータ転送量を削減するように画像データを符号化する画像制御装置を提供すること。
【解決手段】フォーマット変換部10は、各画素成分の階調が複数ビットで表現される第1のフォーマットの画像データ2の各画素成分を所定のビットグループに分割し、ビットグループをビット深度に基づいて結合して第2のフォーマットの画像データに変換する。画像符号化部20は、フォーマット変換された画像データに対して複数の符号化方式で符号化を行ない、符号化データの画質指標に応じて符号化方式を選択して対応する符号化データを出力する。メモリ入力制御部30は、選択された符号化方式に応じて、第2のフォーマットの画像データを構成する複数の画素成分を格納するメモリ領域を割り当て、複数の画素成分ごとにまとめて格納する。したがって、画質の劣化を抑えつつ、復号化するときのメモリ転送量を削減することが可能となる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データの符号化および復号化に関し、特に、画質の劣化を抑えつつ画像データの任意の位置の画素値を取り出せるように画像データを符号化し、その符号化データを復号化する画像制御装置に関する。
【背景技術】
【0002】
近年、情報処理装置の高機能化、多機能化が進んでおり、それに搭載される画像制御装置に要求される機能も多様化してきている。たとえば、その1つとして低画質の表示と高画質の表示との間の変換を実現するためのRGBフォーマットの変換機能を挙げることができる。これに関連する技術として、下記の特許文献1に開示された発明がある。
【0003】
特許文献1に開示された発明は、メモリの使用効率の向上やアドレッシングの簡素化を図れるメモリコントローラ、表示コントローラおよびメモリ制御方法を提供することを目的とする。メモリコントローラは、分割部と、アドレスジェネレータとを含む。
【0004】
分割部は、第1の色成分のビット数がI1ビット、第2の色成分のビット数がI2ビット、第3の色成分のビット数がI3ビットである画素データが入力された場合に、入力された画素データを、第1の色成分のビット数がJ1ビット、第2の色成分のビット数がJ2ビット、第3の色成分のビット数がJ3ビットとなる基本データ部分(J1+J2+J3=2M)と、第1の色成分のビット数がK1ビット、第2の色成分のビット数がK2ビット、第3の色成分のビット数がK3ビットとなる拡張データ部分(K1+K2+K3=2N)とに分割する。
【0005】
また、アドレスジェネレータは、メモリの基本データ格納領域に基本データ部分を書き込み、拡張データ格納領域に拡張データ部分を書き込むためのアクセスアドレスを生成する。
【0006】
そして、低画質の表示要求がある場合には、基本データ部分のみを読み出して表示を行なう。また、高画質の表示要求がある場合には、基本データ部分と拡張データ部分とを読み出して表示を行なう。これによって、低画質表示の場合の画像データ転送量を削減することができる。
【0007】
さらに、画像データのビットグループの分割法およびビットグループのメモリへの格納法を制御することにより、メモリの使用効率およびメモリアクセスのアドレッシングを容易に行なうことができる。
【0008】
一方、下記の非特許文献1は、JPEG(Joint Photographic Experts Group)の符号化方式および復号化方式を規定している。JPEGにおいては、画像データを符号化する場合には、画像を8×8画素のブロックに分割し、そのブロック単位で離散コサイン変換を行なって画像データを空間領域から周波数領域に変換する。そして、変換されたデータを量子化によって情報量を削減し、ハフマン符号を用いたエントロピー符号化によってデータの生起確率の高低に応じた異なる長さの符号を割り当てて、いわゆる可変長符号化を行なう。また、符号化された画像データを復号化する場合には、画像データの符号化の逆手順を実行する。
【0009】
また、下記の非特許文献2は、標準テレビ放送向けの規格を規定しており、NTSC(National Television System Committee)、PAL(Phase Alternation by Line)などに対応し、画面のアスペクト比4:3および16:9に対応する。色成分としては、RGB4:4:4と色差(Y,Cb,Cr)4:2:2とが規定されている。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特開2006−184792号公報
【非特許文献】
【0011】
【非特許文献1】国際標準規格 ISO/IEC 10918:1994
【非特許文献2】ITU−R BT.601規格
【発明の概要】
【発明が解決しようとする課題】
【0012】
上述の特許文献1は、RGBフォーマットの画像データを所定のビットグループに分割して基本データ部分と拡張データ部分とを生成してメモリに格納する。しかしながら、フォーマット変換を行なった画像データをすべてメモリに格納しているため、高解像度の画像データを扱う場合には、メモリ容量が膨大になってしまうといった問題があった。
【0013】
また、非特許文献1に規定されるJPEGを用いて画像データを符号化した場合、処理が複雑なため処理時間が長くなってしまう。また、可変長符号化を用いているため、任意の位置の画像データと符号化データとが1対1に対応していない。そのため、任意の位置の画像データを得るためには、一定範囲の符号化データを復号化してその画像データを得なければならず、処理が複雑になったり、処理時間が長くなったりするといった問題があった。
【0014】
本発明は、上記問題点を解決するためになされたものであり、その目的は、画質の劣化を抑えつつメモリのデータ転送量を削減するように画像データを符号化する画像制御装置を提供することである。
【課題を解決するための手段】
【0015】
本発明の一実施例によれば、画像データを符号化してメモリに格納する画像制御装置が提供される。フォーマット変換部は、各画素成分の階調が複数ビットで表現される第1のフォーマットの画像データの各画素成分を所定のビットグループに分割し、ビットグループをビット深度に基づいて結合して第2のフォーマットの画像データに変換する。画像符号化部は、フォーマット変換部によって第2のフォーマットに変換された画像データに対して複数の符号化方式で符号化を行ない、符号化データの画質指標に応じて符号化方式を選択して対応する符号化データを出力する。メモリ入力制御部は、画像符号化部によって選択された符号化方式に応じて、第2のフォーマットの画像データを構成する複数の画素成分を格納するメモリ領域を割り当て、複数の画素成分ごとにまとめて符号化データ用メモリに格納する。
【発明の効果】
【0016】
本発明の一実施例によれば、画像符号化部が、フォーマット変換部によって第2のフォーマットに変換された画像データに対して複数の符号化方式で符号化を行ない、符号化データの画質指標に応じて符号化方式を選択するので、画質の劣化を抑えることが可能となる。また、メモリ入力制御部は、画像符号化部によって選択された符号化方式に応じて、第2のフォーマットの画像データを構成する複数の画素成分を格納するメモリ領域を割り当て、複数の画素成分ごとにまとめて符号化データ用メモリに格納するので、復号化するときのメモリ転送量を削減することが可能となる。
【図面の簡単な説明】
【0017】
【図1】本発明の第1の実施の形態における画像制御装置の概略構成を示すブロック図である。
【図2】フォーマット変換部10によるフォーマット変換を説明するための図である。
【図3】画像符号化部20の構成例を示す図である。
【図4】符号化部によって行なわれる符号化方式の種類を説明するための図である。
【図5】図4に示す間引き方式を説明するための図である。
【発明を実施するための形態】
【0018】
(第1の実施の形態)
図1は、本発明の第1の実施の形態における画像制御装置の概略構成を示すブロック図である。この画像制御装置1は、外部から入力された元画像データ2を符号化し、符号化データを復号化してその復号化画像データ3を外部に出力するものであり、フォーマット変換部10と、画像符号化部20と、メモリ入力制御部30と、符号化データ用メモリ40と、符号化方式情報用メモリ50と、メモリ出力制御部60と、画像復号化部70とを含む。
【0019】
図2は、フォーマット変換部10によるフォーマット変換を説明するための図である。図2(a)は、元画像データ2を示しており、一例としてRGB888フォーマットの場合を示している。図2(a)においては、RGB成分を“a”〜“i”の9個のビットグループに分割している。
【0020】
R成分は、上位3ビットの“a”と、中間2ビットの“b”と、下位3ビットの“c”とに分割される。G成分は、上位3ビットの“d”と、中間3ビットの“e”と、下位2ビットの“f”とに分割される。また、B成分は、上位2ビットの“g”と、中間3ビットの“h”と、下位3ビットの“i”とに分割される。
【0021】
図2(b)は、フォーマット変換後の画像データの一例を示しており、分割したビットグループをビット深度に基づいて結合することにより生成される。U成分は、RGB成分の各上位ビットを結合して生成されており、“a”と“d”と“g”とで構成される。C成分は、RGB成分の各中間ビットを結合して生成されており、“b”と“e”と“h”とで構成される。また、L成分は、RGB成分の各下位ビットを結合して生成されており、“c”と“f”と“i”とで構成される。
【0022】
図2(b)に示すように、RGB888フォーマットのビットマップ画像をUCL888フォーマットに変換することにより、U成分のみでRGB332フォーマットを表現することができる。また、U成分とC成分とでRGB565フォーマット、RGB333フォーマット、RGB444フォーマットなどを表現することができる。もちろん、UCL成分すべてでRGB888フォーマットも表現することができる。なお、ビットグループの分割数、結合の組み合わせ方、結合後の成分数などは図2に示すものに限られるものではなく、任意の数や組み合わせを選択することができる。
【0023】
画像符号化部20は、フォーマット変換部10によって生成されたUCLフォーマットの画像データを任意の圧縮率で符号化を行なう。
【0024】
図3は、画像符号化部20の構成例を示す図である。この画像符号化部20は、圧縮率21およびフォーマット変換部10から出力された画像データ22を受けて符号化を行ない、符号化方式情報23および符号化データ24を出力するものであり、符号化部A〜D(200〜203)と、PSNR算出部A〜D(210〜213)と、フレームバッファA〜D(220〜223)と、比較器230と、マルチプレクサ240とを含む。
【0025】
符号化部A〜D(200〜203)は、圧縮率21および画像データ22を受け、画像データ22に対してそれぞれ異なる方式の符号化を行なう。
【0026】
PSNR算出部A〜D(210〜213)は、符号化部A〜D(200〜203)のそれぞれに対応して設けられており、符号化部A〜D(200〜203)から出力された符号化データの画質指標PSNR(Peak Signal to Noise Rate)を算出して比較器230に出力すると共に、符号化データをそれぞれフレームバッファA〜D(220〜223)に格納する。なお、画質を判定するための画質指標として、SSIM(Structural Similarity)などのようなPSNR以外の方式を用いることも可能である。
【0027】
比較器230は、PSNR算出部A〜D(210〜213)から出力されるPSNR値を比較することにより各符号化データの画質を判定し、最もPSNR値が良い符号化方式に関する情報を2ビットの符号化方式情報23としてマルチプレクサ240および符号化方式情報用メモリ50に出力する。
【0028】
マルチプレクサ240は、比較器230から出力される符号化方式情報23を受け、フレームバッファA〜D(220〜223)に格納される4つの符号化データの中から、符号化方式情報23に対応する符号化データを選択して符号化データ24として出力する。
【0029】
図3に示す画像符号化部20においては、1組の符号化部、PSNR算出部およびフレームバッファで1つの符号化方式に対応した符号化処理を行ない、これを4並列にすることによって4種類の符号化方式による符号化処理を並列に行なっている。なお、符号化部、PSNR算出部およびフレームバッファの組の数を増減することによって並列数を変更することも可能である。さらに、1組の符号化部、PSNR算出部およびフレームバッファによって複数の符号化方式に対応する処理をパイプライン処理するようにしてもよい。
【0030】
図4は、符号化部によって行なわれる符号化方式の種類を説明するための図である。また、図5は、図4に示す間引き方式を説明するための図である。図4においては、一例として圧縮率2/3が指定されたときを示しており、間引きによって画像データを圧縮する場合を示している。図4においては、UCLの各成分に対して間引きを行なわない場合は“4”を、1/2の間引きを行なう場合は“2”を記載している。
【0031】
図4に示す符号化方式(1)〜(3)は、複数画素の中の1つの画素の値を代表とし、この画素の値を複数画素のすべての値として用いる間引き方式である。UCLの中の2成分に対して1/2の代表間引きを行なうことにより画像データを全体として2/3に圧縮する。
【0032】
図5(a)は、代表間引きを行う場合の一例を示しており、4つの画素の値“α”、“β”、“γ”、“δ”の中から“α”が代表として選択され、4つの画素のすべての値として“α”が用いられる場合を示している。
【0033】
図4に示す符号化方式(4)〜(6)は、複数画素の値の平均値を成分単位で計算して、この平均値を複数画素の成分ごとの値として用いる間引き方式である。UCLの中の2成分に対して1/2の平均間引きを行なうことにより画像データを全体として2/3に圧縮する。
【0034】
図5(b)は、成分単位で平均間引きを行なう場合の一例を示しており、4つの画素の値“α”、“β”、“γ”、“δ”の平均値“ε”を計算し、4つの画素のすべての値として“ε”が用いられる場合を示している。
【0035】
図4に示す符号化方式(7)〜(9)は、複数画素の値の平均値をビットグループ単位で計算して、この平均値を結合して複数画素の成分ごとの値として用いる間引き方式である。UCLの中の2成分に対して1/2の平均間引きを行なうことにより画像データを全体として2/3に圧縮する。
【0036】
図5(c)は、ビットグループ単位で平均間引きを行なう場合の一例を示しており、L成分に対する平均間引きを示している。4つの画素“α”、“β”、“γ”、“δ”のL成分のビットグループ単位で平均値が計算される。
【0037】
たとえば、図2(b)に示すL成分の“c”に対応するビットグループの平均値を計算する場合には、4つの画素の“α_c”、“β_c”、“γ_c”、“δ_c”の平均値である“ζ_c”が計算される。同様にして、L成分の“f”に対応するビットグループの平均値“ζ_f”と、L成分の“i”に対応するビットグループの平均値ζ_i”とが計算される。これら“ζ_c”、“ζ_f”およびζ_i”が結合されて平均値“ζ”が生成される。
【0038】
メモリ入力制御部30は、画像符号化部20から出力される符号化方式情報23を参照してUCL各成分の符号化データ量を判定し、その符号化データ量に応じてメモリ領域に空きができないようにメモリ領域の割り付けを行ない、符号化データ用メモリ40に対するアドレスを生成して出力することにより符号化データ24を効率的に格納する。
【0039】
たとえば、図4に示す符号化方式(1)が選択された場合、U成分が間引きされておらず、C成分およびL成分が1/2に間引きされている。このとき、メモリ入力制御部30は、U成分を格納するメモリ領域に対して、C成分を格納するメモリ領域およびL成分を格納するメモリ領域をそれぞれ1/2として割り当て、U成分、C成分およびL成分をそれぞれのメモリ領域にまとめて格納するようにアドレッシングを行なって符号化データ用メモリ40に格納する。
【0040】
メモリ出力制御部60は、符号化方式情報用メモリ50に格納される符号化方式情報23および表示フォーマット情報80を参照して、符号化データ用メモリ40に格納される符号化データの出力を制御する。
【0041】
たとえば、表示フォーマット情報80がRGB332フォーマットを示していれば、メモリ出力制御部60は、符号化方式情報23に基づいて符号化データ用メモリ40からU成分だけを読み出すようにアドレスを生成し、符号化データ用メモリ40に出力する。
【0042】
また、表示フォーマット情報80がRGB565フォーマットを示していれば、メモリ出力制御部60は、符号化方式情報23に基づいて符号化データ用メモリ40からU成分とC成分とを読み出すようにアドレスを生成し、符号化データ用メモリ40に出力する。
【0043】
このように、UCLフォーマットの各成分をまとめて符号化データ用メモリ40に格納しておき、メモリ出力制御部60が表示フォーマットに必要な符号化データのみを符号化データ用メモリ40から読み出すことで、符号化データ用メモリ40のデータ転送量を削減する。
【0044】
画像復号化部70は、符号化方式情報用メモリ50に格納される符号化方式情報23および表示フォーマット情報80を参照して、符号化データ用メモリ40から出力される符号化データを復号化して復号化画像データ3を外部に出力する。たとえば、図4に示す符号化方式(1)で画像データが符号化されている場合、間引きされているC成分およびL成分に代表値を与えることにより画像データを復号化する。
【0045】
以上説明したように、本実施の形態における画像制御装置によれば、フォーマット変換部10が、RBGフォーマットなどのように各画素成分の階調が複数ビットで表現されるフォーマットの画像データを所定のビットグループに分割する。そして、ビットグループをビット深度に応じて結合してUCL成分を生成し、成分ごとにまとめてメモリに格納するようにしたので、RGB332フォーマットやRGB565フォーマットなどのような表示フォーマットの画像データを読み出すときに、メモリ転送量を削減することが可能となった。
【0046】
また、画像符号化部20が、フォーマット変換された画像データに対して複数の符号化方式に対応する符号化を行ない、最も画質が良いと判定された符号化データを選択するようにしたので、同一の符号化データ量で符号化を行ないつつ画質の劣化を防止することが可能となった。
【0047】
また、画像符号化部20が、圧縮率21に応じて画像データ全体に対して同一の間引き率で間引きを行なって符号化を行なうようにしたので、画像データの任意の位置と符号化データとの対応が1対1となり、任意の位置の画像データを容易に取得することができる。したがって、組み込み型表示機器の処理としてよく利用されるBitBLT(Bit Block Transfer)処理などのような、任意点の画像データの読み書きが頻繁に発生する処理で利用することができる。
【0048】
また、メモリ入力制御部30が、符号化方式情報23に応じてUCL各成分の符号化データ量を判定し、その符号化データ量に応じてメモリ領域を割り当てるようにしたので、符号化データを効率的にメモリに格納することが可能となった。
【0049】
また、メモリ出力制御部60が、符号化方式情報23および表示フォーマット情報80に応じて必要な符号化データのみを読み出すようにしたので、メモリのデータ転送量を削減することが可能となった。
【0050】
また、画像復号化部70が、符号化方式情報23および表示フォーマット情報80に応じて復号化を行なうようにしたので、JPEGなどのような複雑な復号化処理が不要となり、処理時間を短縮することが可能となった。
【0051】
(第2の実施の形態)
第1の実施の形態においては、画像制御装置を構成するフォーマット変換部10、画像符号化部20、メモリ入力制御部30、メモリ出力制御部60、および画像復号化部70がハードウェアによって実現されるとして説明した。
【0052】
本発明の第2の実施の形態においては、画像制御装置の構成部分の一部をソフトウェアによって置換するものである。たとえば、組み込み型表示機器のソース画像として本実施の形態における画像制御装置によって符号化した符号化データを用いる場合を考える。
【0053】
組み込み型表示機器で使用するソース画像データは、事前に生成してメモリに格納しておけばよく、画像の符号化処理にリアルタイム性が要求されない場合が多い。そこで、本実施の形態においては、図1に示す画像制御装置の構成のうち、フォーマット変換部10、画像符号化部20およびメモリ入力制御部30をソフトウェアで実現し、それ以外の構成部分を専用のハードウェアで実装する。ソフトウェアで実現する構成部分については、図示しないCPU(Central Processing Unit)がメモリに記憶されるプログラムを実行することによって実現する。
【0054】
画像符号化部20による画像符号化には時間的制約がないため、符号化方式の種類を増加させたり、画質指標として処理量は多いが精度の高いSIMMなどの方式を使用したりできる。そのため、事前により多くの符号化方式で画像データを符号化した後、その画質を精度の高い画質指標を用いて評価でき、より高画質でデータ量の少ないソース画像データを生成することができる。
【0055】
以上説明したように、本実施の形態における画像制御装置によれば、フォーマット変換部10、画像符号化部20およびメモリ入力制御部30をソフトウェアで実現し、それ以外の構成部分をハードウェアで実装するようにした。そのため、第1の実施の形態において説明した効果に加えて、組み込み型表示機器における復号化処理をリアルタイムで行なうことができると共に、組み込み型表示機器のソース画像データ用のメモリを削減することが可能となった。
【0056】
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0057】
1 画像制御装置、2 元画像データ、3 復号化画像データ、10 フォーマット変換部、20 画像符号化部、21 圧縮率、22 画像データ、23 符号化方式情報、24 符号化データ、30 メモリ入力制御部、40 符号化データ用メモリ、50 符号化方式情報用メモリ、60 メモリ出力制御部、70 画像復号化部、80 表示フォーマット情報、200〜203 符号化部、210〜213 PSNR算出部、220〜223 フレームバッファ、230 比較器、240 マルチプレクサ。

【特許請求の範囲】
【請求項1】
各画素成分の階調が複数ビットで表現される第1のフォーマットの画像データの各画素成分を所定のビットグループに分割し、該ビットグループをビット深度に基づいて結合して第2のフォーマットの画像データに変換するフォーマット変換手段と、
前記フォーマット変換手段によって第2のフォーマットに変換された画像データに対して複数の符号化方式で符号化を行ない、符号化データの画質指標に応じて符号化方式を選択して対応する符号化データを出力する画像符号化手段と、
前記画像符号化手段によって出力される符号化データのメモリへの入力を制御するメモリ入力制御手段とを含む画像制御装置。
【請求項2】
前記第1のフォーマットの画像データは、3つの画素成分によって構成され、
前記第2のフォーマットの画像データは、前記3つの画素成分をそれぞれ上位ビット、中間ビットおよび下位ビットの3つのビットグループに分割し、対応するビットグループを結合して生成された3つの画素成分によって構成される、請求項1記載の画像制御装置。
【請求項3】
前記画像符号化手段は、前記フォーマット変換手段によって前記第2のフォーマットに変換された画像データおよび圧縮率に基づいて、複数の符号化方式で符号化を行なう複数の符号化手段と、
前記複数の符号化手段のそれぞれに対応して設けられ、符号化データの画質指標を算出する複数の画質指標算出手段と、
前記複数の画質指標算出手段によって算出された画質指標を比較して、前記複数の符号化方式の中から画質が最良の符号化方式を選択する比較手段と、
前記比較手段によって選択された符号化方式に対応する符号化データを選択して出力する選択手段とを含む、請求項1または2記載の画像制御装置。
【請求項4】
前記メモリ入力制御手段は、前記画像符号化手段によって選択された符号化方式に応じて、前記第2のフォーマットの画像データを構成する複数の画素成分を格納するメモリ領域を割り当て、前記複数の画素成分ごとにまとめて前記メモリに格納する、請求項1〜3のいずれかに記載の画像制御装置。
【請求項5】
前記画像制御装置はさらに、前記画像符号化手段によって選択された符号化方式および表示フォーマット情報に基づいて、前記メモリに格納される符号化データの中から復号化に必要となる画素成分の符号化データを出力するよう前記メモリを制御するメモリ出力制御手段と、
前記メモリ出力制御手段による制御によって前記メモリから出力される符号化データを復号化する画像復号化手段とを含む、請求項1〜4のいずれかに記載の画像制御装置。
【請求項6】
前記メモリ出力制御手段は、前記表示フォーマット情報に応じて前記メモリに格納される符号化データの中から、上位ビットに対応するビットグループのみの画素成分、上位ビットおよび中間ビットに対応するビットグループの画素成分、またはすべてのビットグループの画素成分のいずれかを出力するよう前記メモリを制御する、請求項5記載の画像制御装置。
【請求項7】
前記画像復号化手段は、前記画像符号化手段によって選択された符号化方式および表示フォーマット情報に基づいて、前記メモリから出力される符号化データを復号化する、請求項5または6記載の画像制御装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2010−276686(P2010−276686A)
【公開日】平成22年12月9日(2010.12.9)
【国際特許分類】
【出願番号】特願2009−126539(P2009−126539)
【出願日】平成21年5月26日(2009.5.26)
【出願人】(302062931)ルネサスエレクトロニクス株式会社 (8,021)
【Fターム(参考)】