画像符号化装置、画像符号化方法、画像符号化用記録媒体、画像符号化用プログラム
【課題】MRCモデルにおける前景画像を高速にして最適に符号化して画質向上できる画像符号化装置を提供する。
【解決手段】この画像符号化装置では、HDD2上に記録された原画像がCPU4からの命令でRAM3上に読み込まれると、CPU4はRAM3上の原画像を読み込んで画像符号化処理及びそれらへの量子化処理を施してMRCモデルに対する符号化を行う。CPU4は、カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び非絵柄部の形状を表わす画像である第3の画像を生成する画像生成手段、並びにここで生成した第1の画像乃至第3の画像を個別に符号化する画像符号化手段を備え、画像符号化手段が有する第1の画像及び第2の画像を周波数変換して符号化する周波数変換符号化手段は、第2の画像における高周波成分の量子化の程度を、第1の画像における高周波成分の量子化の程度よりも強くする。
【解決手段】この画像符号化装置では、HDD2上に記録された原画像がCPU4からの命令でRAM3上に読み込まれると、CPU4はRAM3上の原画像を読み込んで画像符号化処理及びそれらへの量子化処理を施してMRCモデルに対する符号化を行う。CPU4は、カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び非絵柄部の形状を表わす画像である第3の画像を生成する画像生成手段、並びにここで生成した第1の画像乃至第3の画像を個別に符号化する画像符号化手段を備え、画像符号化手段が有する第1の画像及び第2の画像を周波数変換して符号化する周波数変換符号化手段は、第2の画像における高周波成分の量子化の程度を、第1の画像における高周波成分の量子化の程度よりも強くする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、MRC(ミクストラスターコンテント)モデルにおける前景画像を高速にして最適に符号化する画像符号化装置、画像符号化方法、画像符号化用記録媒体、画像符号化用プログラムに関する。
【背景技術】
【0002】
従来、MRCモデルに関連する技術としては、例えば高圧縮率時の文字・線画の劣化防止を図るため、画像データを第1の画像データ、第2の画像データ、及び第1の画像データ及び第2の画像データの何れかを選択する選択データの3つのデータに分離し、それぞれ符号化した圧縮データを入力して画像を合成復元する画像処理装置(特許文献1参照)や、MRCにおいてマスクを分割し、部分画像へのアクセス性を向上させるためのJPM符号化データを生成する符号化処理装置、符号化処理方法、プログラム及び情報記録媒体(特許文献2参照)等が挙げられる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
上述した特許文献1にはMRCモデルの基本構成が開示され、特許文献2にはMRCにおいてマスクを分割して部分画像へのアクセス性を向上させる技術が開示されており、これらのMRCモデルで符号化する場合には、一般に高圧縮率化のために前景画像や背景画像を高い圧縮率(例えば1/40)で圧縮するが、こうした高い圧縮率下では量子化の巧拙が画質に大きく影響するため、前景画像や背景画像を圧縮する際に適用する量子化は、最適化されている必要がある。
【0004】
ここで、MRC符号の作成法としては、前景画像を減色し、前景画像を数色(極端な場合には一色)で表現する方法が典型的である。こうした減色を用いれば、前景画像は人工画像的になり、人工画像用の符号化方式を用いて高い圧縮率を得ることができる。
【0005】
しかしながら、減色を行う方式は、減色のための処理時間を要し、しかも減色のための画質劣化を生じる。この減色による画質劣化を防ぐためには、一色で表現する領域を狭くする必要があるが、そのためには前景画像を多くの部分画像に分割する必要が生じ、何れにしても処理時間が必要となる(そもそもMRCモデルでは、前景画像・背景画像の生成のために多くの処理時間を必要とするため、符号化にかける時間は極力少なくしたいという事情がある)。また、前景画像と背景画像との分離を完全に行うことは困難であり、本来背景画像であるべき部分が前景画像として分離された場合、これが減色されてしまうと、画像欠陥として認識されてしまうという問題もある。
【0006】
したがって、MRC符号を高速に作成しようと思えば、前景画像を余り減色・分割することなく、高速にして高い圧縮率で符号化できる手法が必要である。前景画像の減色を省略する場合には、スキャンによってノイズが重畳された状態の前景画像を圧縮する必要があるため、人工画像用の符号化方式で高い圧縮率を得ることはできない。それ故、減色を省略して高い圧縮率を得るためには、前景画像・背景画像の両方に周波数変換を利用した方式(自然画像用の符号化方式)を適用することになる。
【0007】
ところが、減色を行わない以上、前景画像の量子化については最適化を行いたいところであるが、減色を行わない理由が高速化処理であるため、最適化に余り処理時間をかけることはできない。例えば画像の特徴量や内容を解析し、それに応じて符号化方式や量子化方式を選択する手法は知られているが、こうした解析は一般に処理量が多く、採用することは困難である。
【0008】
要するに、上述したMRCモデルに係る特許文献1や特許文献2に開示された技術では、前景画像を高速にして最適に符号化して画質向上できるものでないという問題がある。
【0009】
本発明は、このような問題点を解決すべくなされたもので、その技術的課題(目的)は、MRCモデルにおける前景画像を高速にして最適に符号化して画質向上できる画像符号化装置、画像符号化方法、画像符号化用記録媒体、画像符号化用プログラムを提供することにある。
【課題を解決するための手段】
【0010】
本発明は、上記技術的課題を解決したものであり、請求項1に係る発明は、カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成手段と、前記画像生成手段で生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化手段と、を備えた画像符号化装置であって、前記画像符号化手段は、前記第1の画像及び前記第2の画像を周波数変換して符号化する周波数変換符号化手段を有し、前記周波数変換符号化手段は、前記第2の画像における高周波成分の量子化の程度を、前記第1の画像における高周波成分の量子化の程度よりも強くすることを特徴とする。
【0011】
請求項2に係る発明は、カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成手段と、前記画像生成手段で生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化手段と、を備えた画像符号化装置であって、前記画像符号化手段は、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化する輝度・色差変換符号化手段を有し、前記輝度・色差変換符号化手段は、前記第2の画像における輝度の量子化の程度に対する色差成分の量子化量の程度を、前記第1の画像における輝度の量子化の程度に対する色差成分の量子化量の程度よりも小さくすることを特徴とする。
【0012】
請求項3に係る発明は、カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成手段と、前記画像生成手段で生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化手段と、を備えた画像符号化装置であって、前記画像符号化手段は、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化する輝度・色差変換符号化手段を有し、前記輝度・色差変換符号化手段は、前記第2の画像における輝度の高周波成分を最も量子化すると共に、前記第1の画像における色差の高周波成分を最も量子化することを特徴とする。
【0013】
請求項4に係る発明は、上記請求項1〜3の何れか1項に記載の画像符号化装置において、前記画像符号化手段は、前記量子化の処理を周波数係数の量子化、周波数係数の下位ビットの破棄、当該量子化及び当該破棄の組合せの何れかにより行うことを特徴とする。請求項4に係る発明によれば、MRCにおける画像の機能を周波数成分及び輝度・色差成分の両方に反映する場合において、具体的な量子化を実現することができる。
【0014】
請求項5に係る発明は、カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成ステップと、前記画像生成ステップで生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化ステップと、を有する画像符号化方法であって、前記画像符号化ステップは、前記第1の画像及び前記第2の画像を周波数変換して符号化し、当該第2の画像における高周波成分の量子化の程度を、当該第1の画像における高周波成分の量子化の程度よりも強くする周波数変換符号化ステップを有することを特徴とする。
【0015】
請求項6に係る発明は、カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成ステップと、前記画像生成ステップで生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化ステップと、を有する画像符号化方法であって、前記画像符号化ステップは、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化し、当該第2の画像における輝度の量子化の程度に対する色差成分の量子化量の程度を、当該第1の画像における輝度の量子化の程度に対する色差成分の量子化量の程度よりも小さくする輝度・色差変換符号化ステップを有することを特徴とする。
【0016】
請求項7に係る発明は、カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成ステップと、前記画像生成ステップで生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化ステップと、を有する画像符号化方法であって、前記画像符号化ステップは、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化し、当該第2の画像における輝度の高周波成分を最も量子化すると共に、当該第1の画像における色差の高周波成分を最も量子化する輝度・色差変換符号化ステップを有することを特徴とする。
【0017】
請求項8に係る発明は、上記請求項5〜7の何れか1項に記載の画像符号化方法において、前記画像符号化ステップは、前記量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、当該量子化及び当該破棄の組合せの何れかにより行うことを特徴とする。
【0018】
請求項9に係る発明は、カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成ステップの処理情報と、前記画像生成ステップで生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化ステップの処理情報と、を記録した画像符号化用記録媒体であって、前記画像符号化ステップの処理情報は、前記第1の画像及び前記第2の画像を周波数変換して符号化し、当該第2の画像における高周波成分の量子化の程度を、当該第1の画像における高周波成分の量子化の程度よりも強くする周波数変換符号化ステップの処理情報と、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化し、当該第2の画像における輝度の量子化の程度に対する色差成分の量子化量の程度を、当該第1の画像における輝度の量子化の程度に対する色差成分の量子化量の程度よりも小さくする第1の輝度・色差変換符号化ステップの処理情報と、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化し、当該第2の画像における輝度の高周波成分を最も量子化すると共に、当該第1の画像における色差の高周波成分を最も量子化する第2の輝度・色差変換符号化ステップの処理情報との少なくとも1つを有することを特徴とする。
【0019】
請求項10に係る発明は、上記請求項9記載の画像符号化用記録媒体において、前記画像符号化ステップの処理情報は、前記量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、当該量子化及び当該破棄の組合せの何れかにより行う指示情報を含むことを特徴とする。
【0020】
請求項11に係る発明は、カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成ステップの処理情報と、前記画像生成ステップで生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化ステップの処理情報と、を有すると共に、情報処理装置に実行させるための画像符号化用プログラムであって、前記画像符号化ステップの処理情報は、前記第1の画像及び前記第2の画像を周波数変換して符号化し、当該第2の画像における高周波成分の量子化の程度を、当該第1の画像における高周波成分の量子化の程度よりも強くする周波数変換符号化ステップの処理情報と、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化し、当該第2の画像における輝度の量子化の程度に対する色差成分の量子化量の程度を、当該第1の画像における輝度の量子化の程度に対する色差成分の量子化量の程度よりも小さくする第1の輝度・色差変換符号化ステップの処理情報と、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化し、当該第2の画像における輝度の高周波成分を最も量子化すると共に、当該第1の画像における色差の高周波成分を最も量子化する第2の輝度・色差変換符号化ステップの処理情報との少なくとも1つを有することを特徴とする。
【0021】
請求項12に係る発明は、上記請求項11記載の画像符号化用プログラムにおいて、前記画像符号化ステップの処理情報は、前記量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、当該量子化及び当該破棄の組合せの何れかにより行う指示情報を含むことを特徴とする。
【発明の効果】
【0022】
請求項1又は5記載の発明の技術的要旨によれば、MRCにおける画像の機能を周波数成分の量子化に反映して符号化を行うことが可能となる。請求項2又は6記載の発明の技術的要旨によれば、MRCにおける画像の機能を輝度・色差成分の量子化に反映して符号化を行うことが可能となる。請求項3又は7記載の発明の技術的要旨によれば、MRCにおける画像の機能を周波数成分及び輝度・色差成分の両方に反映して符号化を行うことが可能となる。請求項4又は8記載の発明の技術的要旨によれば、MRCにおける画像の機能を周波数成分や輝度・色差成分、或いはそれらの両方に反映する場合の何れにおいても、具体的な量子化を実現することができる。請求項9又は10記載の発明の技術的要旨によれば、上記効果を網羅した記録媒体を提供することができる。請求項11又は12記載の発明の技術的要旨によれば、上記効果を網羅したプログラムを提供することができる。
【図面の簡単な説明】
【0023】
【図1】本発明の実施例1に係る画像符号化装置の基本構成を示したブロック図である。
【図2】JPEG2000の符号化処理を説明するためのフローチャートである。
【図3】16×16の画像の輝度コンポ−ネントに対して、ウェーブレット変換を2次元で施す過程におけるDCレベルシフト後の原画像と座標系、ミラーリングを例示したものである。
【図4】図3の過程における垂直方向へのフィルタリング後の係数の配列を例示したものである。
【図5】図3の過程における水平方向へのフィルタリング後の係数の配列を例示したものである。
【図6】図3の過程における並べ替えた係数の配列を例示したものである。
【図7】図3の過程で説明したウェーブレット変換を2回施して並べ替えた係数の配列を例示したものである。
【図8】デコンポジションレベルと解像度レベルとの関係を例示したものである。
【図9】画像(タイル)、サブバンド、プリシンクト、コードブロックの関係を例示したものである。
【図10】本発明の実施例1の画像符号化装置によるMRCモデルの概略構成を示したものである。
【図11】本発明の実施例1の画像符号化装置によるMRCモデルの画像符号化の動作処理を示したフローチャートである。
【図12】図11に示す画像符号化の動作処理で用いられるSobelフィルタのSobelオペレータとしての第1の重みマトリクスを例示したものである。
【図13】図11に示す画像符号化の動作処理で用いられるSobelフィルタのSobelオペレータとしての第2の重みマトリクスを例示したものである。
【図14】図11に示す画像符号化の動作処理で絵柄部画像の前景1を符号化するときのYCbCr信号に対する信号処理に係る符号化しない下位ビットプレーン数を例示したもので、(a)はY信号に関するもの、(b)はCb信号に関するもの、(c)はCr信号に関するものである。
【図15】図11に示す画像符号化の動作処理で文字(線画)の色画像の前景2を第1の手法により符号化するときのYCbCr信号に対する信号処理に係る符号化しない下位ビットプレーン数を例示したもので、(a)はY信号に関するもの、(b)はCb信号に関するもの、(c)はCr信号に関するものである。
【図16】図11に示す画像符号化の動作処理で文字(線画)の色画像の前景2を第2の手法により符号化するときのYCbCr信号に対する信号処理に係る符号化しない下位ビットプレーン数を例示したもので、(a)はY信号に関するもの、(b)はCb信号に関するもの、(c)はCr信号に関するものである。
【図17】図11に示す画像符号化の動作処理で文字(線画)の色画像の前景2を第3の手法により符号化するときのYCbCr信号に対する信号処理に係る符号化しない下位ビットプレーン数を例示したもので、(a)はY信号に関するもの、(b)はCb信号に関するもの、(c)はCr信号に関するものである。
【図18】本発明の実施例2に係る画像符号化装置によるMRCモデルの画像符号化の動作処理を示したフローチャートである。
【図19】一般的に適用される色画像を符号化するときのYCbCr信号に対する信号処理に係る視覚特性未考慮の量子化ステップ数(JPEG2000の9×7フィルタと共に用いられる典型的なもの)を例示したもので、(a)はY信号に関するもの、(b)はCb信号に関するもの、(c)はCr信号に関するものである。
【図20】一般的に適用される色画像を符号化するときのYCbCr信号に対する信号処理に係る視覚感度(JPEG2000の9×7フィルタと共に用いられる典型的なもの)を例示したもので、(a)はY信号に関するもの、(b)はCb信号に関するもの、(c)はCr信号に関するものである。
【図21】図18に示す画像符号化の動作処理で絵柄部画像の前景1を符号化するときのYCbCr信号に対する信号処理に係る視覚特性考慮の量子化ステップ数(JPEG2000の9×7フィルタと共に用いられる典型的なもの)を例示したもので、(a)はY信号に関するもの、(b)はCb信号に関するもの、(c)はCr信号に関するものである。
【図22】図18に示す係る画像符号化の動作処理で文字(線画)の色画像の前景2を符号化するときのYCbCr信号に対する信号処理に係る視覚特性考慮の量子化ステップ数を例示したもので、(a)はY信号に関するもの、(b)はCb信号に関するもの、(c)はCr信号に関するものである。
【図23】本発明の実施例3に係る画像符号化装置によるMRCモデルの画像符号化の動作処理を示したフローチャートである。
【発明を実施するための形態】
【0024】
以下に、本発明の画像符号化装置、画像符号化方法、画像符号化用記録媒体、画像符号化用プログラムについて、図面を参照して詳細に説明する。
【0025】
最初に、本発明の技術的な着眼点を説明する。本出願人は、減色を行わない前景画像を高速にして最適に符号化するに際し、MRCモデルの持つ構造・機能に着目し、前景画像に対して周波数変換と量子化を用いた符号化とを採用する場合、「前景画像は色」というレイヤ自体が持つ機能を考慮すると、画像の内容を解析することなしに係る機能の差を量子化に反映することができることを見い出した。これまでは、前景画像に対して係る機能を反映した量子化はなされていない。
【0026】
技術的課題で説明したように、前景画像が持つ情報は色であって形状ではないが、色成分が主に画像の低周波成分であるのに対し、形状成分は画像の高周波成分(エッジ成分)である。即ち、前景画像においては、積極的に高周波、さらに言えば輝度の高周波を量子化すべきと考えられる。これに対して背景画像は、文字・線画を除いた絵柄部分であるから、ほぼ通常の自然画像に対する量子化が適用可能である。
【0027】
そこで、本発明の画像符号化方法では、カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び非絵柄部の形状を表わす画像である第3の画像を生成する画像生成ステップと、画像生成ステップで生成した第1の画像乃至第3の画像を個別に符号化する画像符号化ステップと、を有するものであって、画像符号化ステップは、第1の画像及び第2の画像を周波数変換して符号化し、第2の画像における高周波成分の量子化の程度を、第1の画像における高周波成分の量子化の程度よりも強くする周波数変換符号化ステップを有するものとする。この第1の画像符号化方法によれば、MRCにおける画像の機能を周波数成分の量子化に反映して符号化を行うことができる。
【0028】
ところで、通常符号化においては、輝度・色差変換を行い、輝度毎、色差毎に量子化を行う。通常の自然画においては、色よりも輝度に敏感な人間の視覚特性を反映して、輝度の量子化の程度<<色差の量子化の程度とするのが一般的である。
【0029】
しかしながら、MRCの前景画像においては、自然画像ではあっても、輝度の量子化の程度<色差の量子化の程度、或いは輝度の量子化の程度≒色差の量子化の程度とする要件のように、輝度と色差の量子化の割合を背景画像のそれとは変えることが望ましい。
【0030】
こうした点を考慮した第2の画像符号化方法は、第1の画像符号化方法の場合と同様な画像生成ステップ、画像符号化ステップを有するものであって、画像符号化ステップは、第1の画像及び第2の画像を輝度・色差変換して符号化し、第2の画像における輝度の量子化の程度に対する色差成分の量子化量の程度(色差の量子化の程度/輝度の量子化量)を、第1の画像における輝度の量子化の程度に対する色差成分の量子化量の程度よりも小さくする輝度・色差変換符号化ステップを有するものとする。この第2の画像符号化方法によれば、MRCにおける画像の機能を輝度・色差成分の量子化に反映して符号化を行うことができる。
【0031】
更に、上述した論点により前景画像において最も量子化すべきは輝度の高周波成分であり、背景画像において最も量子化すべきは色差の高周波成分である。
【0032】
こうした点を考慮した第3の画像符号化方法は、第1の画像符号化方法の場合と同様な画像生成ステップ、画像符号化ステップを有するものであって、画像符号化ステップは、第1の画像及び第2の画像を輝度・色差変換して符号化し、第2の画像における輝度の高周波成分を最も量子化すると共に、第1の画像における色差の高周波成分を最も量子化する輝度・色差変換符号化ステップを有するものとする。この第3の画像符号化方法によれば、MRCにおける画像の機能を周波数成分および輝度・色差成分の両方に反映して符号化を行うことができる。
【0033】
ところで、上記各画像符号化方法における量子化は、符号化方式や符号化パラメータの選択によって実現形態が異なり、第1番目として、周波数係数の線形量子化や非線形量子化を行う場合(例えば係数を値Sで除算する場合と、第2番目として、周波数係数の下位ビットを符号化しない方式であって、周波数係数の下位ビットを符号化はするものの最終的には破棄する場合と、第3番目として、上記第1番目及び第2番目の両方を同時に適用できる場合との3通りがある。
【0034】
第2番目の量子化におけるビットプレーンn枚分の符号化省略や破棄は、第1番目の量子化において係数を2のn乗で除算することと等価であり、第3番目の量子化は、S×(2のn乗)で係数を除算するのと等価である。
【0035】
こうした点を考慮した画像符号化方法は、上記各画像符号化方法において、画像符号化ステップは、量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、量子化及び破棄の組合せの何れかにより行うものである。この手法を適用すれば、MRCにおける画像の機能を周波数成分及び輝度・色差成分の両方に反映する場合において、具体的な量子化を実現することができる。
【実施例1】
【0036】
図1は、本発明の実施例1に係る画像符号化装置の基本構成を示したブロック図である。この画像符号化装置は、上述した各画像符号化方法及びそれらに対する量子化手法を適用可能なもので、データバス1を介してHDD2と、パーソナルコンピュータ(PC)内のRAM3及びCPU4とが接続され、情報処理システムの規格仕様で構成されている。
【0037】
この画像符号化装置では、原画像(オリジナルカラー画像)の符号化を以下の流れで行う。第1番目として、HDD2上に記録された原画像がCPU4からの命令によってRAM3上に読み込まれる。第2番目として、CPU4はRAM3上の原画像を読み込み、本願発明の各画像符号化処理及びそれらに対する量子化処理を施してMRCモデルに対する符号化を行う。第3番目として、CPU4は符号化後のデータをRAM3上の別の領域に書き込む。第4番目として、CPU4からの命令によりRAM3から符号化後のデータ(画像)を読み出してHDD2上に記録する。
【0038】
ここでのCPU4は、カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び非絵柄部の形状を表わす画像である第3の画像を生成する画像生成手段、並びにその画像生成手段で生成した第1の画像乃至第3の画像を個別に符号化する画像符号化手段として働く。画像符号化手段は、第1の画像及び第2の画像を周波数変換して符号化する周波数変換符号化手段を有し、周波数変換符号化手段は、第2の画像における高周波成分の量子化の程度を、第1の画像における高周波成分の量子化の程度よりも強くする機能構成を持つ。
【0039】
また、画像符号化手段は、第1の画像及び第2の画像を輝度・色差変換して符号化する輝度・色差変換符号化手段を有し、輝度・色差変換符号化手段は、第2の画像における輝度の量子化の程度に対する色差成分の量子化量の程度(色差の量子化の程度/輝度の量子化量)を、第1の画像における輝度の量子化の程度に対する色差成分の量子化量の程度よりも小さくする機能構成を持つものであっても良い。
【0040】
更に、画像符号化手段は、第1の画像及び第2の画像を輝度・色差変換して符号化する輝度・色差変換符号化手段を有し、輝度・色差変換符号化手段は、第2の画像における輝度の高周波成分を最も量子化すると共に、第1の画像における色差の高周波成分を最も量子化する機能構成を持つものであっても良い。
【0041】
何れの機能構成の場合にも、画像符号化手段は、量子化の処理を周波数係数の量子化、周波数係数の下位ビットの破棄、量子化及び破棄の組合せの何れかにより行うことが好ましい。
【0042】
ところで、CPU4の機能構成で画像符号化処理を行う構成でなく、上述した各画像符号化方法を適用した画像生成ステップの処理情報と、画像符号化ステップの処理情報と、を記録した画像符号化用記録媒体(ハードディスク等)をHDD2により読み込ませて同等な処理動作を行わせることも可能である。
【0043】
この場合、画像符号化用記録媒体における画像符号化ステップの処理情報は、第1の画像及び第2の画像を周波数変換して符号化し、第2の画像における高周波成分の量子化の程度を、第1の画像における高周波成分の量子化の程度よりも強くする周波数変換符号化ステップの処理情報と、第1の画像及び第2の画像を輝度・色差変換して符号化し、第2の画像における輝度の量子化の程度に対する色差成分の量子化量の程度(色差の量子化の程度/輝度の量子化量)を、第1の画像における輝度の量子化の程度に対する色差成分の量子化量の程度よりも小さくする第1の輝度・色差変換符号化ステップの処理情報と、第1の画像及び第2の画像を輝度・色差変換して符号化し、第2の画像における輝度の高周波成分を最も量子化すると共に、第1の画像における色差の高周波成分を最も量子化する第2の輝度・色差変換符号化ステップの処理情報との少なくとも1つを有するものであれば良い。但し、この画像符号化用記録媒体については、画像符号化ステップの処理情報が量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、量子化及び破棄の組合せの何れかにより行う指示情報を含むものであれば良い。
【0044】
同様に、上述した各画像符号化方法を適用した画像生成ステップの処理情報と、画像符号化ステップの処理情報と、を有する画像符号化用プログラムをCPU4に実行させて同等な処理動作を行わせることも可能である。
【0045】
こうした場合、画像符号化用プログラムにおける画像符号化ステップの処理情報は、上述した場合と同様な周波数変換符号化ステップの処理情報と、第1の輝度・色差変換符号化ステップの処理情報と、第2の輝度・色差変換符号化ステップの処理情報との少なくとも1つを有するものであれば良い。但し、この画像符号化用プログラムについても、画像符号化ステップの処理情報が量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、量子化及び破棄の組合せの何れかにより行う指示情報を含むものであれば良い。
【0046】
以下は実施例1の具体的な説明に先立ち、実施例1中で使用するJPEG2000の符号化方式の概要について説明する。
【0047】
JPEG2000とは、2001年に国際標準になったJPEG後継の画像符号化方式であり、その符号化処理は、概ね図2に示すような流れで行われる。
【0048】
先ず、画像は矩形のタイルに分割(分割数≧1)されると共に、各タイルは例えばRGBの3コンポ−ネントで構成されるカラー画像の圧縮時にDCレベルシフトした後、輝度・色差コンポ−ネントへのコンポ−ネント変換(色変換)を行う。
【0049】
DCレベルシフトおよび色変換の後、ウェーブレット変換がなされ、必要に応じてサブバンド毎に量子化が行われた後、サブバンド毎に上位ビットプレーンから(必要な)下位ビットプレーンまでをビットプレーン符号化(ビットプレーンを単位としたエントロピー符号化)する。更に、(不要な符号を破棄し)必要な符号をまとめて、パケットを生成した後、パケットを並べて符号形成する。
【0050】
また伸張時には、ビットプレーン復号(ビットプレーン単位でのエントロピー復号)後、逆量子化を経て得られたコンポ−ネント毎のウェーブレット係数に対して、逆ウェーブレット変換が施され、その後に逆色変換がなされてRGBの画素値に戻ることを示している。
【0051】
ここで、JPEG2000のDCレベルシフトの変換式、逆変換式は、Ssiz(i)を原画像の各コンポーネントi(RGB画像ならi=0、1、2)のビット深さから1を減じたものとし、2^Ssiz(i)を2のSsiz(i)乗を意味し、I(x、y)を座標(x、y)における原信号値(画素値)とした場合、順変換については、I(x、y)←I(x、y)−2^Ssiz(i)なる関係で表わされ、逆変換については、I(x、y)←I(x、y)+2^Ssiz(i)なる関係で表わされる。
【0052】
このDCレベルシフトは、RGB信号値のような正の数である場合に、順変換では各信号値から信号のダイナミックレンジの半分を減算するレベルシフトを、逆変換では各信号値に信号のダイナミックレンジの半分を加算するレベルシフトを行うものである。但し、このレベルシフトはYCbCr信号のCb、Cr信号のような符号付き整数には適用されない。
【0053】
また、JPEG2000では、コンポ−ネント変換(色変換)として可逆変換(RCT)と非可逆変換(ICT)とが定義されている。
【0054】
可逆変換(RCT)についての順変換は、Y0(x、y)=floor((I0(x、y)+2*(I1(x、y)+I2(x、y))/4)、Y1(x、y)=I2(x、y)−I1(x、y)、Y2(x、y)=I0(x、y)−I1(x、y)で表わされ、逆変換は、I1(x、y)=Y0(x、y)−floor((Y2(x、y)+Y1(x、y))/4)、I0(x、y)=Y2(x、y)+I1(x、y)、I2(x、y)=Y1(x、y)+I1(x、y)で表わされる。
【0055】
各式中のIは原信号、Yは変換後の信号を示し、IやYに続く0〜2はサフィックスである。RGB信号ならばI信号においてI0=R、I1=G、I2=B、Y信号においてY0=Y、Y1=Cb、Y2=Crと表わされる。またfloor(X)は、実数Xについて、Xを越えず、且つXに最も近い整数に置換する関数である。
【0056】
非可逆変換(ICT)についての順変換は、Y0(x、y)=0.299*I0(x、y)+0.587*I1(x、y)+0.144*I2(x、y)、Y1(x、y)=−0.1675*I0(x、y)−0.33126*I1(x、y)+0.5*I2(x、y)、Y2(x、y)=0.5*I0(x、y)−0.41869*I1(x、y)−0.08131*I2(x、y)で表わされ、逆変換は、I0(x、y)=Y0(x、y)+1.402*Y2(x、y)、I1(x、y)=Y0(x、y)−0.34413*Y1(x、y)−0.71414*Y2(x、y)、I2(x、y)=Y0(x、y)+1.772*Y1(x、y)で表わされる。
【0057】
各式中のIは原信号、Yは変換後の信号を示す。RGB信号ならばI信号においてI0=R、I1=G、I2=B、Y信号においてI0=Y、I1=Cb、I2=Crと表わされる。
【0058】
そして、変換後のコンポ−ネント(タイルコンポ−ネントと呼ばれる)は、ウェーブレット変換によって、LL、HL、LH、HHと略称される4つのサブバンドに分割される。因みに、LLサブバンドに対して再帰的にウェーブレット変換(デコンポジション)を繰返すと、最終的に1つのLLサブバンドと複数のHL、LH、HHサブバンドとが生成される。
【0059】
ここで、JPEG2000で使用される5×3ウェーブレット変換、及び9×7ウェーブレット変換(いずれか一方を選択して使用する)について説明する。
【0060】
5×3ウェーブレット変換とは、5画素を用いて1つのローパスフィルタの出力(ローパス係数)が得られ、3画素を用いて1つのハイパスフィルタの出力(ハイパス係数)が得られる変換である。同様に9×7ウェーブレット変換とは、9画素を用いて1つのローパスフィルタの出力(ローパス係数)が得られ、7画素を用いて1つのハイパスフィルタの出力(ハイパス係数)が得られる変換である。これらの主たる相違は、フィルタの範囲の違いであり、偶数位置中心にローパスフィルタ、奇数位置中心にハイパスフィルタが施される点は同様である。
【0061】
5×3ウェーブレット変換の変換式における順変換は、第1ステップのC(2i+1)=P(2i+1)−floor((P(2i)+P(2i+2))/2)、第2ステップのC(2i)=P(2i)+floor((C(2i−1)+C(2i+1)+2)/4)で表わされ、逆変換は、第1ステップのP(2i)=C(2i)−floor((C(2i−1)+C(2i+1)+2)/4)、第2ステップのP(2i+1)=C(2i+1)+floor((P(2i)+P(2i+2))/2)で表わされる。
【0062】
9×7ウェーブレット変換の変換式における順変換は、第1ステップのC(2n+1)=P(2n+1)+α*(P(2n)+P(2n+2))、第2ステップのC(2n)=P(2n)+β*(C(2n−1)+C(2n+1))、第3ステップのC(2n+1)=P(2n+1)+γ*(C(2n)+C(2n+2))、第4ステップのC(2n)=C(2n)+δ*(C(2n−1)+C(2n+1))、第5ステップのC(2n+1)=K*C(2n+1)、第6ステップのC(2n)=(1/K)*C(2n)で表わされ、逆変換は、第1ステップのP(2n)=K*C(2n)、第2ステップのP(2n+1)=(1/K)*C(2n+1)、第3ステップのP(2n)=X(2n)−δ*(P(2n−1)+P(2n+1))、第4ステップのP(2n+1)=P(2n+1)−γ*(P(2n)+P(2n+2))、第5ステップのP(2n)=P(2n)−β*(P(2n−1)+P(2n+2))、第6ステップのP(2n)=P(2n+1)−α*(P(2n)+P(2n+2))で表わされる。
【0063】
但し、ここではα=−1.586134342059924、β=−0.052980118572961、γ=0.882911075530934、δ=0.443506852043971、K=1.230174104914001とする。
【0064】
次に、ウェーブレット変換の手順、並びにデコンポジションレベル、解像度レベル、サブバンドの定義について説明する。
【0065】
図3は、16×16の画像の輝度コンポ−ネントに対して、ウェーブレット変換(5×3変換)を2次元(垂直方向および水平方向)で施す過程におけるDCレベルシフト後の原画像と座標系、ミラーリングを例示したものである。図4は、上記同過程における垂直方向へのフィルタリング後の係数の配列を例示したものである。図5は、上記同過程における水平方向へのフィルタリング後の係数の配列を例示したものである。図6は、上記同過程における並べ替えた係数の配列を例示したものである。
【0066】
図3を参照すれば、xy座標をとり、或るxについて、y座標がyである画素の画素値をP(y)(0≦y≦15)と表わす。JPEG2000では、先ず垂直方向(Y座標方向)にy座標が奇数(y=2i+1)の画素を中心にハイパスフィルタを施して係数C(2i+1)を取得し、次にy座標が偶数(y=2i)の画素を中心にローパスフィルタを施して係数C(2i)を取得するようにし、こうした処理を全てのxについて行う。ここで、ハイパスフィルタ、ローパスフィルタは、順に上述した第1ステップ、第2ステップの関係式で表わされる。尚、画像の端部にフィルタを施す場合には、中心となる画素に対して隣接画素が十分に存在しないことがあり、こうした場合はミラーリングと呼ばれる手法によって適宜画素値を補うことになる。ミラーリングとは、画像端部の外側に仮想的な画素を想定し、画像端部の画素を対称軸として、端部の内側の画素値を、端部の外側の画素に対して線対称にコピーする周知の手法である。ミラーリングは画像(タイル)の上下左右の4端全てで行われる。
【0067】
説明を簡単にするため、ハイパスフィルタで得られる係数をH、ローパスフィルタで得られる係数をLと表記すれば、垂直方向の変換によって図3に示した画像は図4に示されるようなL係数、H係数の配列へと変換される。
【0068】
引き続き、今度は図4に示されるような係数配列に対して、先ず水平方向にx座標が奇数(y=2i+1)の係数を中心にハイパスフィルタを施し、次にx座標が偶数(x=2i)の係数を中心にローパスフィルタを施すようにし、これらの処理を全てのyについて行う。この場合、第1ステップ、第2ステップのP(2i)等は係数値を表わすものと読み替える。
【0069】
更に、今度は図4に示される係数配列に対して、先ず水平方向にx座標が奇数(y=2i+1)の係数を中心にハイパスフィルタを施し、次にx座標が偶数(x=2i)の係数を中心にローパスフィルタを施すようにし、これらに処理を全てのyについて行う。この場合、第1ステップ、第2ステップのP(2i)等は係数値を表わすものと読み替える。
【0070】
同様に、説明を簡単にするため、上述したL係数を中心にローパスフィルタを施して得られる係数をLL、L係数を中心にハイパスフィルタを施して得られる係数をHL、H係数を中心にローパスフィルタを施して得られる係数をLH、H係数を中心にハイパスフィルタを施して得られる係数をHHと表記すれば、図4に示される係数配列は、図5に示されるような係数配列へと変換される。ここで同一の記号を付した係数群は、サブバンドと呼ばれ、図5に示される形態では4つのサブバンドで構成される。
【0071】
以上は、垂直・水平の各方向に対して各1回のウェーブレット変換(1回のデコンポジション(分解))が終了し、上述したLL係数だけを集めて図6に示されるようにサブバンド毎に集め、LLサブバンドだけ取り出すと、丁度原画像の1/2の解像度の“画像”が得られる。因みに、このようにサブバンド毎に分類することはデインターリーブと呼ばれ、図1を参照して説明したような処理状態に配置することはインターリーブと呼ばれる。
【0072】
2回目のウェーブレット変換は、LLサブバンドを原画像と見なして、上述した場合と同様の変換を行えば良い。この場合、並べ替えを行うと、図7に示されるような形態となる。ここでの係数の接頭の1や2は、水平・垂直に関し各何回のウェーブレット変換で係数が得られたかを示しており、デコンポジションレベルと呼ばれる。
【0073】
図8は、デコンポジションレベルと解像度レベルとの関係を例示したものである。ここでは、解像度レベルがデコンポジションレベルとほぼ逆の関係にあることを示している。
【0074】
以上の説明において、1次元のみのウェーブレット変換を行う場合には、何れかの方向だけの処理を行えば良く、その何れかの方向に関してウェーブレット変換を行った回数がデコンポジションレベルとなる。
【0075】
ウェーブレットフィルタとして9×7フィルタを選択した場合には、上述した分割の後、サブバンド毎に係数の線形量子化が成されるが、5×3フィルタを選択した場合には、サブバンド毎の線形量子化はしない仕様となっている。
【0076】
次なる処理として、各サブバンドはプリシンクトとよばれる矩形に分割される。プリシンクトとは、サブバンドを矩形に分割したものをHL、LH、HHの3つのサブバンドについて集めたもので、大まかな意味では画像中の場所(Position)を表わすものである。プリシンクトは3つで1纏まりであるが、LLサブバンドを分割した場合には1つで1纏まりとなる。また、プリシンクトはサブバンドと同じサイズにでき、プリシンクトをさらに矩形に分割したものがコードブロックである。
【0077】
図9は、画像(タイル)、サブバンド、プリシンクト、コードブロックの関係を例示したものである。ここでは、物理的な大きさの序列として、画像≧タイル>サブバンド≧プリシンクト≧コードブロックとなることを示している。
【0078】
以上に説明した分割を行った後、係数のエントロピー符号化(ビットプレーン単位でのビットプレーン符号化)がプリシンクト単位でコードブロック毎であって、ビットプレーン順に成される。実施例1では、図2で説明したように、最上位ビットプレーンからテーブルで予め規定された下位ビットプレーンまでをビットプレーン符号化する。このような条件で必要な符号としてみなすと、不要な符号は存在しない。これらの「最上位ビットプレーンからテーブルで予め規定された下位ビットプレーンまで」の符号に対して、ヘッダをつけたものをパケットと呼ぶ。パケットヘッダには、パケットに含まれる符号に関する情報が含まれ、各パケットは独立に扱うことができる。いわばパケットは符号の単位である。
【0079】
そして、全てのプリシンクト(=全てのコードブロック=全てのサブバンド)に関して、パケットを並べて符号を形成する。
【0080】
以下は、以上に説明した処理内容を前提として、実施例1の画像符号化装置の技術的概要を説明する。
【0081】
図10は、実施例1の画像符号化装置によるMRCモデルの概略構成を示したものである。図11は、係る画像符号化装置によるMRCモデルの画像符号化の動作処理を示したフローチャートである。
【0082】
図10を参照すれば、ここでのMRCモデルは、ベースページとなる白色の背景上に、黒色の第1のマスク1(MMR仕様)、淡いモスグリーン色を基調として所定箇所にプリンタの絵柄部を持つ第1の前景1(JPEG2000仕様)、印字部を保つ無色透明基調の第1のマスク2(MMR仕様)、赤紫色及び黄緑色が2色分けされた第2の前景2(JPEG2000仕様)を順に重ねたイメージ構成のものである。合成画像(画像符号化処理後のものとする)上では、プリンタの絵柄の形状輪郭及び色彩が鮮明となり、印字部分が赤紫色部分と黄緑色部分とに分けられている様子を示している。
【0083】
図11に示す画像符号化の動作処理では、先ず原画像を入力すると、原画像に対して画素単位で、文字(線画)を構成する画素(以下、文字画素とする)であるか否かを判別し、第2のマスク2を作成(ステップS1)する。
【0084】
これは公知の像域判別技術によって行われ、本例では原画像の各画素に対し、エッジ検出オペレータとして周知のSobelフィルタを作用させる。Sobelフィルタは、注目画素を中心とした上下左右の9つの画素に対して、図12に示される第1の重みマトリクスを乗算してその和HSを算出し、同様に図13に示される第2のマトリクスを乗算してその和VSを算出する。そして、(HS^2+VS^2の)平方根をフィルタの出力値とする。このフィルタの出力値が例えば30以上の場合に、注目画素が文字画素であると判断し、注目画素位置の値を1にし、それ以外の画素の値を0にすることで、第2のマスク2を生成する。尚、二値画像の場合、黒=1、白=0が通例である。
【0085】
次に、文字(線画)領域に属さない画素(以下、非文字画素とする)の色を、画素の最も近傍に位置する文字画素の色で置換し、第2の前景2を作成(ステップS2)する。この処理は、画像内の全ての非文字画素に対して行われるため、図11で説明したように、画像は文字の色で置換される。原画像の文字の色が一色の場合、画像自体が一色になる。
【0086】
次に、原画像おける文字(線画)領域の画素の色を、画素の最も近傍に位置する非文字画素の色で置換し、第1の前景1を作成(ステップS3)する。尚、ここでの前景1は、背景と呼ばれても良い。
【0087】
引き続き、原画像と同じサイズの画素値1の画像として第1のマスク1を作成(ステップS4)、原画像と同じサイズの白い画像として背景画像を作成(ステップS5)する。
【0088】
そして、第1の前景1を5×3フィルタを用いて2回デコンポジションし、図14に示される条件でJPEG2000仕様による符号化(ステップS6)し、同様に第2の前景2を5×3フィルタを用いて2回デコンポジションし、図15、図16、または図17に示される条件でJPEG2000仕様による符号化(ステップS7)した後、第1のマスク1、第2のマスク2(共に2値画像)を、周知のMMR仕様で符号化(ステップS8)する。
【0089】
最後に、背景をJPM仕様で符号化(エントロピー符号化は行わず、符号として背景色を指定する:ステップS9)し、全ての前景、マスク、背景の符号を結合し、所望のヘッダを付してJPMの符号を取得(ステップS10)する。
【0090】
上述した図14は、絵柄部画像である前景1を符号化するときのYCbCr信号に対する信号処理に係る符号化しない下位ビットプレーン数を例示したもので、同図(a)はY信号に関するもの、同図(b)はCb信号に関するもの、同図(c)はCr信号に関するものである。
【0091】
ここで、図14で例示するように絵柄部画像である前景1においては、輝度よりも色差に関して、符号化しない下位ビットプレーン数を多くしており、輝度の量子化の程度を色差の量子化の程度よりも強くしている。尚、RCTにおいては、輝度のビット数よりも色差のビット数の方が1ビット多くなるが、図14から明らかであるように、符号化しない下位ビットプレーン数の差はそれ以上である。
【0092】
図15は、上述した画像符号化の動作処理で文字(線画)の色画像の前景2を第1の手法により符号化するときのYCbCr信号に対する信号処理に係る符号化しない下位ビットプレーン数を例示したもので、同図(a)はY信号に関するもの、同図(b)はCb信号に関するもの、同図(c)はCr信号に関するものである。
【0093】
ここでの第1の手法とは、前述した第1の画像符号化方法に対応するもので、図15では太枠領域に示されるように、色を表わす画像である前景2においては、高周波成分であるデコンポジションレベル1において、輝度及び色差に関し、前景1よりも符号化しない下位ビットプレーン数を多くしており、高周波成分の量子化の程度を前景2よりも強くしている。
【0094】
図16は、上述した画像符号化の動作処理で文字(線画)の色画像の前景2を第2の手法により符号化するときのYCbCr信号に対する信号処理に係る符号化しない下位ビットプレーン数を例示したもので、同図(a)はY信号に関するもの、同図(b)はCb信号に関するもの、同図(c)はCr信号に関するものである。
【0095】
ここでの第2の手法とは、前述した第2の画像符号化方法に対応するもので、図16では図14との対比で明らかなように、前景1においては、輝度の高周波の量子化の程度>>色差の高周波の量子化の程度であるにも拘わらず、前景2においては、輝度の高周波の量子化の程度≒色差の高周波の量子化の程度としており、輝度と色差の量子化の割合を前景1、2で変えている。即ち、第2の画像における輝度の量子化の程度に対する色差成分の量子化量の程度(色差の量子化の程度/輝度の量子化量)を、第1の画像のそれよりも小さくしている。尚、前景1に関して符号化しない下位ビットプレーン数は図14と同じものを採用している。
【0096】
図17は、上述した画像符号化の動作処理で文字(線画)の色画像の前景2を第3の手法により符号化するときのYCbCr信号に対する信号処理に係る符号化しない下位ビットプレーン数を例示したもので、同図(a)はY信号に関するもの、同図(b)はCb信号に関するもの、同図(c)はCr信号に関するものである。
【0097】
ここでの第3の手法とは、前述した第3の画像符号化方法に対応するもので、図17では図14との対比で明らかなように、前景1においては色差の高周波を最も量子化しているが、図17では輝度の高周波を最も量子化している。尚、ここでも前景1に関して符号化しない下位ビットプレーン数は図14と同じものを採用している。
【実施例2】
【0098】
図18は、本発明の実施例2に係る画像符号化装置によるMRCモデルの画像符号化の動作処理を示したフローチャートである。ここでの画像符号化の動作処理は、図11で説明したもの比べれば、前景1及び前景2に対して9×7フィルタを用いて2回デコンポジションし、係数を線形量子化した後、全ビットプレーンを符号化する点が相違している。
【0099】
具体的に云えば、図18に示す画像符号化の動作処理では、原画像の入力後、前述した図11の動作処理の場合と同様に、画素単位で、文字(線画)を構成する文字画素であるか否かを判別し、第2のマスク2を作成(ステップS11)する処理、文字(線画)領域に属さない非文字画素の色を、画素の最も近傍に位置する文字画素の色で置換し、第2の前景2を作成(ステップS12)する処理、原画像おける文字(線画)領域の画素の色を、画素の最も近傍に位置する非文字画素の色で置換し、第1の前景1を作成(ステップS13)する処理、原画像と同じサイズの画素値1の画像として第1のマスク1を作成(ステップS14)する処理、原画像と同じサイズの白い画像として背景画像を作成(ステップS15)する処理を行う。
【0100】
そして、第1の前景1を9×7フィルタを用いて2回デコンポジションし、図21に示される条件で量子化した後、全ビットプレーンを符号化(ステップS16)し、同様に第2の前景2を9×7フィルタを用いて2回デコンポジションし、図22に示される条件で量子化した後、全ビットプレーンを符号化(ステップS17)する。
【0101】
この後は、図11の動作処理の場合と同様に、第1のマスク1、第2のマスク2(共に2値画像)を、周知のMMR仕様で符号化(ステップS18)する処理、背景をJPM仕様で符号化(エントロピー符号化は行わず、符号として背景色を指定する:ステップS19)する処理、全ての前景、マスク、背景の符号を結合し、所望のヘッダを付してJPMの符号を取得(ステップS20)する処理を行う。
【0102】
以下、ここでの実施例2における線形量子化について説明する。図19は、一般的な色画像を符号化するときのYCbCr信号に対する信号処理に係る視覚特性未考慮の量子化ステップ数(JPEG2000の9×7フィルタと共に用いられる典型的なもの)を例示したもので、同図(a)はY信号に関するもの、同図(b)はCb信号に関するもの、同図(c)はCr信号に関するものである。量子化ステップ数は、9×7フィルタのサブバンドゲインの平方根の逆数に、定数を乗じた値として求められる。
【0103】
図20は、一般的な色画像を符号化するときのYCbCr信号に対する信号処理に係る視覚感度(JPEG2000の9×7フィルタと共に用いられる典型的なもの)を例示したもので、同図(a)はY信号に関するもの、同図(b)はCb信号に関するもの、同図(c)はCr信号に関するものである。視覚感度は、その値が大きい程、そのサブバンドに生じる誤差の視覚的な影響が大きいことを示す。
【0104】
図21は、係る画像符号化の動作処理で絵柄部画像の前景1を符号化するときのYCbCr信号に対する信号処理に係る視覚特性考慮の量子化ステップ数(JPEG2000の9×7フィルタと共に用いられる典型的なもの)を例示したもので、同図(a)はY信号に関するもの、同図(b)はCb信号に関するもの、同図(c)はCr信号に関するものである。上述した視覚特性未考慮の量子化ステップ数では、視覚感度の影響を対策できないため、JPEG2000では、サブバンドゲインから求めた量子化ステップ数を視覚感度で除算して、図21に示されるような視覚特性を考慮した量子化ステップ数を算出することが望ましい。
【0105】
図22は、係る画像符号化の動作処理で文字(線画)の色画像の前景2を符号化するときのYCbCr信号に対する信号処理に係る視覚特性考慮の量子化ステップ数を例示したもので、同図(a)はY信号に関するもの、同図(b)はCb信号に関するもの、同図(c)はCr信号に関するものである。
【0106】
即ち、ここでの実施例2において、前景2に関しては、図22の量子化ステップ数を適用する。そして、前景1に関しては、図21の量子化ステップ数を適用する。
【0107】
図22から明らかなように、前景2においては、高周波成分であるデコンポジションレベル1において、輝度及び色差に関し、前景1よりも量子化ステップ数が大きく、前景2における色差の量子化ステップ数/輝度の量子化ステップ数値は、前景1におけるそれよりも小さくしている。また、図21では色差の高周波を最も量子化しているが、図22では、輝度の高周波を最も量子化している。
【実施例3】
【0108】
図23は、本発明の実施例3に係る画像符号化装置によるMRCモデルの画像符号化の動作処理を示したフローチャートである。ここでの画像符号化の動作処理は、図11で説明したもの比べれば、前景1及び前景2に対して9×7フィルタを用いて2回デコンポジションし、且つ所定の下位ビットプレーンの符号化を省略して量子化を実行する点が相違している。
【0109】
具体的に云えば、図23に示す画像符号化の動作処理では、原画像の入力後、前述した図11の動作処理の場合と同様に、画素単位で、文字(線画)を構成する文字画素であるか否かを判別し、第2のマスク2を作成(ステップS21)する処理、文字(線画)領域に属さない非文字画素の色を、画素の最も近傍に位置する文字画素の色で置換し、第2の前景2を作成(ステップS22)する処理、原画像おける文字(線画)領域の画素の色を、画素の最も近傍に位置する非文字画素の色で置換し、第1の前景1を作成(ステップS23)する処理、原画像と同じサイズの画素値1の画像として第1のマスク1を作成(ステップS24)する処理、原画像と同じサイズの白い画像として背景画像を作成(ステップS25)する処理を行う。
【0110】
そして、第1の前景1を9×7フィルタを用いて2回デコンポジションし、図21に示される条件で量子化した後、図14に示される条件で符号化(ステップS26)し、同様に第2の前景2を9×7フィルタを用いて2回デコンポジションし、図22に示される条件で量子化した後、図15に示される条件で符号化(ステップS27)する。
【0111】
この後は、図11の動作処理の場合と同様に、第1のマスク1、第2のマスク2(共に2値画像)を、周知のMMR仕様で符号化(ステップS28)する処理、背景をJPM仕様で符号化(エントロピー符号化は行わず、符号として背景色を指定する:ステップS29)する処理、全ての前景、マスク、背景の符号を結合し、所望のヘッダを付してJPMの符号を取得(ステップS30)する処理を行う。
【0112】
ここで、JPMにおける背景に対する各レイアウトオブジェクトの配置や大きさの情報については、レイアウトオブジェクトのIDや重ね順、縦横の画素数、背景に対する配置上のオフセットをLayout Object Header Boxに記載する。また、各レイアウトオブジェクトを構成する前景、背景の配置や大きさの情報については、背景に対する配置上のオフセットをObject Header Boxに記載する。更に、各オブジェクトの画素数は、各オブジェクトの符号中に記載する。
【0113】
尚、以上に説明した各実施例ではファイルフォーマットとしてJPMを用いたが、MRCタイプであれば何でも良く、MRCタイプのPDFもその範疇である。また、各実施例では、周波数変換にウェーブレット変換を用いた場合を例示したが、これに限定されるものではなく、離散コサイン変換に代表される他の周波数変換を適用することも可能である。更に、上述した「高周波成分」とは、最も周波数の高い帯域(の係数)だけを示す場合と、少なくとも最も周波数の高い帯域(の係数)を含み、且つ最も低域の帯域(の係数)は含まない場合との2通りを示すものである。
【産業上の利用可能性】
【0114】
本発明は、汎用的な画像処理装置や画像形成装置の他、マルチレイヤの画像を符号化する装置全般に応用できる。
【符号の説明】
【0115】
1 データバス
2 HDD
3 RAM
4 CPU
【先行技術文献】
【特許文献】
【0116】
【特許文献1】特許第3275807号
【特許文献2】特開2007−5844号公報
【技術分野】
【0001】
本発明は、MRC(ミクストラスターコンテント)モデルにおける前景画像を高速にして最適に符号化する画像符号化装置、画像符号化方法、画像符号化用記録媒体、画像符号化用プログラムに関する。
【背景技術】
【0002】
従来、MRCモデルに関連する技術としては、例えば高圧縮率時の文字・線画の劣化防止を図るため、画像データを第1の画像データ、第2の画像データ、及び第1の画像データ及び第2の画像データの何れかを選択する選択データの3つのデータに分離し、それぞれ符号化した圧縮データを入力して画像を合成復元する画像処理装置(特許文献1参照)や、MRCにおいてマスクを分割し、部分画像へのアクセス性を向上させるためのJPM符号化データを生成する符号化処理装置、符号化処理方法、プログラム及び情報記録媒体(特許文献2参照)等が挙げられる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
上述した特許文献1にはMRCモデルの基本構成が開示され、特許文献2にはMRCにおいてマスクを分割して部分画像へのアクセス性を向上させる技術が開示されており、これらのMRCモデルで符号化する場合には、一般に高圧縮率化のために前景画像や背景画像を高い圧縮率(例えば1/40)で圧縮するが、こうした高い圧縮率下では量子化の巧拙が画質に大きく影響するため、前景画像や背景画像を圧縮する際に適用する量子化は、最適化されている必要がある。
【0004】
ここで、MRC符号の作成法としては、前景画像を減色し、前景画像を数色(極端な場合には一色)で表現する方法が典型的である。こうした減色を用いれば、前景画像は人工画像的になり、人工画像用の符号化方式を用いて高い圧縮率を得ることができる。
【0005】
しかしながら、減色を行う方式は、減色のための処理時間を要し、しかも減色のための画質劣化を生じる。この減色による画質劣化を防ぐためには、一色で表現する領域を狭くする必要があるが、そのためには前景画像を多くの部分画像に分割する必要が生じ、何れにしても処理時間が必要となる(そもそもMRCモデルでは、前景画像・背景画像の生成のために多くの処理時間を必要とするため、符号化にかける時間は極力少なくしたいという事情がある)。また、前景画像と背景画像との分離を完全に行うことは困難であり、本来背景画像であるべき部分が前景画像として分離された場合、これが減色されてしまうと、画像欠陥として認識されてしまうという問題もある。
【0006】
したがって、MRC符号を高速に作成しようと思えば、前景画像を余り減色・分割することなく、高速にして高い圧縮率で符号化できる手法が必要である。前景画像の減色を省略する場合には、スキャンによってノイズが重畳された状態の前景画像を圧縮する必要があるため、人工画像用の符号化方式で高い圧縮率を得ることはできない。それ故、減色を省略して高い圧縮率を得るためには、前景画像・背景画像の両方に周波数変換を利用した方式(自然画像用の符号化方式)を適用することになる。
【0007】
ところが、減色を行わない以上、前景画像の量子化については最適化を行いたいところであるが、減色を行わない理由が高速化処理であるため、最適化に余り処理時間をかけることはできない。例えば画像の特徴量や内容を解析し、それに応じて符号化方式や量子化方式を選択する手法は知られているが、こうした解析は一般に処理量が多く、採用することは困難である。
【0008】
要するに、上述したMRCモデルに係る特許文献1や特許文献2に開示された技術では、前景画像を高速にして最適に符号化して画質向上できるものでないという問題がある。
【0009】
本発明は、このような問題点を解決すべくなされたもので、その技術的課題(目的)は、MRCモデルにおける前景画像を高速にして最適に符号化して画質向上できる画像符号化装置、画像符号化方法、画像符号化用記録媒体、画像符号化用プログラムを提供することにある。
【課題を解決するための手段】
【0010】
本発明は、上記技術的課題を解決したものであり、請求項1に係る発明は、カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成手段と、前記画像生成手段で生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化手段と、を備えた画像符号化装置であって、前記画像符号化手段は、前記第1の画像及び前記第2の画像を周波数変換して符号化する周波数変換符号化手段を有し、前記周波数変換符号化手段は、前記第2の画像における高周波成分の量子化の程度を、前記第1の画像における高周波成分の量子化の程度よりも強くすることを特徴とする。
【0011】
請求項2に係る発明は、カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成手段と、前記画像生成手段で生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化手段と、を備えた画像符号化装置であって、前記画像符号化手段は、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化する輝度・色差変換符号化手段を有し、前記輝度・色差変換符号化手段は、前記第2の画像における輝度の量子化の程度に対する色差成分の量子化量の程度を、前記第1の画像における輝度の量子化の程度に対する色差成分の量子化量の程度よりも小さくすることを特徴とする。
【0012】
請求項3に係る発明は、カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成手段と、前記画像生成手段で生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化手段と、を備えた画像符号化装置であって、前記画像符号化手段は、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化する輝度・色差変換符号化手段を有し、前記輝度・色差変換符号化手段は、前記第2の画像における輝度の高周波成分を最も量子化すると共に、前記第1の画像における色差の高周波成分を最も量子化することを特徴とする。
【0013】
請求項4に係る発明は、上記請求項1〜3の何れか1項に記載の画像符号化装置において、前記画像符号化手段は、前記量子化の処理を周波数係数の量子化、周波数係数の下位ビットの破棄、当該量子化及び当該破棄の組合せの何れかにより行うことを特徴とする。請求項4に係る発明によれば、MRCにおける画像の機能を周波数成分及び輝度・色差成分の両方に反映する場合において、具体的な量子化を実現することができる。
【0014】
請求項5に係る発明は、カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成ステップと、前記画像生成ステップで生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化ステップと、を有する画像符号化方法であって、前記画像符号化ステップは、前記第1の画像及び前記第2の画像を周波数変換して符号化し、当該第2の画像における高周波成分の量子化の程度を、当該第1の画像における高周波成分の量子化の程度よりも強くする周波数変換符号化ステップを有することを特徴とする。
【0015】
請求項6に係る発明は、カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成ステップと、前記画像生成ステップで生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化ステップと、を有する画像符号化方法であって、前記画像符号化ステップは、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化し、当該第2の画像における輝度の量子化の程度に対する色差成分の量子化量の程度を、当該第1の画像における輝度の量子化の程度に対する色差成分の量子化量の程度よりも小さくする輝度・色差変換符号化ステップを有することを特徴とする。
【0016】
請求項7に係る発明は、カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成ステップと、前記画像生成ステップで生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化ステップと、を有する画像符号化方法であって、前記画像符号化ステップは、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化し、当該第2の画像における輝度の高周波成分を最も量子化すると共に、当該第1の画像における色差の高周波成分を最も量子化する輝度・色差変換符号化ステップを有することを特徴とする。
【0017】
請求項8に係る発明は、上記請求項5〜7の何れか1項に記載の画像符号化方法において、前記画像符号化ステップは、前記量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、当該量子化及び当該破棄の組合せの何れかにより行うことを特徴とする。
【0018】
請求項9に係る発明は、カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成ステップの処理情報と、前記画像生成ステップで生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化ステップの処理情報と、を記録した画像符号化用記録媒体であって、前記画像符号化ステップの処理情報は、前記第1の画像及び前記第2の画像を周波数変換して符号化し、当該第2の画像における高周波成分の量子化の程度を、当該第1の画像における高周波成分の量子化の程度よりも強くする周波数変換符号化ステップの処理情報と、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化し、当該第2の画像における輝度の量子化の程度に対する色差成分の量子化量の程度を、当該第1の画像における輝度の量子化の程度に対する色差成分の量子化量の程度よりも小さくする第1の輝度・色差変換符号化ステップの処理情報と、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化し、当該第2の画像における輝度の高周波成分を最も量子化すると共に、当該第1の画像における色差の高周波成分を最も量子化する第2の輝度・色差変換符号化ステップの処理情報との少なくとも1つを有することを特徴とする。
【0019】
請求項10に係る発明は、上記請求項9記載の画像符号化用記録媒体において、前記画像符号化ステップの処理情報は、前記量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、当該量子化及び当該破棄の組合せの何れかにより行う指示情報を含むことを特徴とする。
【0020】
請求項11に係る発明は、カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成ステップの処理情報と、前記画像生成ステップで生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化ステップの処理情報と、を有すると共に、情報処理装置に実行させるための画像符号化用プログラムであって、前記画像符号化ステップの処理情報は、前記第1の画像及び前記第2の画像を周波数変換して符号化し、当該第2の画像における高周波成分の量子化の程度を、当該第1の画像における高周波成分の量子化の程度よりも強くする周波数変換符号化ステップの処理情報と、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化し、当該第2の画像における輝度の量子化の程度に対する色差成分の量子化量の程度を、当該第1の画像における輝度の量子化の程度に対する色差成分の量子化量の程度よりも小さくする第1の輝度・色差変換符号化ステップの処理情報と、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化し、当該第2の画像における輝度の高周波成分を最も量子化すると共に、当該第1の画像における色差の高周波成分を最も量子化する第2の輝度・色差変換符号化ステップの処理情報との少なくとも1つを有することを特徴とする。
【0021】
請求項12に係る発明は、上記請求項11記載の画像符号化用プログラムにおいて、前記画像符号化ステップの処理情報は、前記量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、当該量子化及び当該破棄の組合せの何れかにより行う指示情報を含むことを特徴とする。
【発明の効果】
【0022】
請求項1又は5記載の発明の技術的要旨によれば、MRCにおける画像の機能を周波数成分の量子化に反映して符号化を行うことが可能となる。請求項2又は6記載の発明の技術的要旨によれば、MRCにおける画像の機能を輝度・色差成分の量子化に反映して符号化を行うことが可能となる。請求項3又は7記載の発明の技術的要旨によれば、MRCにおける画像の機能を周波数成分及び輝度・色差成分の両方に反映して符号化を行うことが可能となる。請求項4又は8記載の発明の技術的要旨によれば、MRCにおける画像の機能を周波数成分や輝度・色差成分、或いはそれらの両方に反映する場合の何れにおいても、具体的な量子化を実現することができる。請求項9又は10記載の発明の技術的要旨によれば、上記効果を網羅した記録媒体を提供することができる。請求項11又は12記載の発明の技術的要旨によれば、上記効果を網羅したプログラムを提供することができる。
【図面の簡単な説明】
【0023】
【図1】本発明の実施例1に係る画像符号化装置の基本構成を示したブロック図である。
【図2】JPEG2000の符号化処理を説明するためのフローチャートである。
【図3】16×16の画像の輝度コンポ−ネントに対して、ウェーブレット変換を2次元で施す過程におけるDCレベルシフト後の原画像と座標系、ミラーリングを例示したものである。
【図4】図3の過程における垂直方向へのフィルタリング後の係数の配列を例示したものである。
【図5】図3の過程における水平方向へのフィルタリング後の係数の配列を例示したものである。
【図6】図3の過程における並べ替えた係数の配列を例示したものである。
【図7】図3の過程で説明したウェーブレット変換を2回施して並べ替えた係数の配列を例示したものである。
【図8】デコンポジションレベルと解像度レベルとの関係を例示したものである。
【図9】画像(タイル)、サブバンド、プリシンクト、コードブロックの関係を例示したものである。
【図10】本発明の実施例1の画像符号化装置によるMRCモデルの概略構成を示したものである。
【図11】本発明の実施例1の画像符号化装置によるMRCモデルの画像符号化の動作処理を示したフローチャートである。
【図12】図11に示す画像符号化の動作処理で用いられるSobelフィルタのSobelオペレータとしての第1の重みマトリクスを例示したものである。
【図13】図11に示す画像符号化の動作処理で用いられるSobelフィルタのSobelオペレータとしての第2の重みマトリクスを例示したものである。
【図14】図11に示す画像符号化の動作処理で絵柄部画像の前景1を符号化するときのYCbCr信号に対する信号処理に係る符号化しない下位ビットプレーン数を例示したもので、(a)はY信号に関するもの、(b)はCb信号に関するもの、(c)はCr信号に関するものである。
【図15】図11に示す画像符号化の動作処理で文字(線画)の色画像の前景2を第1の手法により符号化するときのYCbCr信号に対する信号処理に係る符号化しない下位ビットプレーン数を例示したもので、(a)はY信号に関するもの、(b)はCb信号に関するもの、(c)はCr信号に関するものである。
【図16】図11に示す画像符号化の動作処理で文字(線画)の色画像の前景2を第2の手法により符号化するときのYCbCr信号に対する信号処理に係る符号化しない下位ビットプレーン数を例示したもので、(a)はY信号に関するもの、(b)はCb信号に関するもの、(c)はCr信号に関するものである。
【図17】図11に示す画像符号化の動作処理で文字(線画)の色画像の前景2を第3の手法により符号化するときのYCbCr信号に対する信号処理に係る符号化しない下位ビットプレーン数を例示したもので、(a)はY信号に関するもの、(b)はCb信号に関するもの、(c)はCr信号に関するものである。
【図18】本発明の実施例2に係る画像符号化装置によるMRCモデルの画像符号化の動作処理を示したフローチャートである。
【図19】一般的に適用される色画像を符号化するときのYCbCr信号に対する信号処理に係る視覚特性未考慮の量子化ステップ数(JPEG2000の9×7フィルタと共に用いられる典型的なもの)を例示したもので、(a)はY信号に関するもの、(b)はCb信号に関するもの、(c)はCr信号に関するものである。
【図20】一般的に適用される色画像を符号化するときのYCbCr信号に対する信号処理に係る視覚感度(JPEG2000の9×7フィルタと共に用いられる典型的なもの)を例示したもので、(a)はY信号に関するもの、(b)はCb信号に関するもの、(c)はCr信号に関するものである。
【図21】図18に示す画像符号化の動作処理で絵柄部画像の前景1を符号化するときのYCbCr信号に対する信号処理に係る視覚特性考慮の量子化ステップ数(JPEG2000の9×7フィルタと共に用いられる典型的なもの)を例示したもので、(a)はY信号に関するもの、(b)はCb信号に関するもの、(c)はCr信号に関するものである。
【図22】図18に示す係る画像符号化の動作処理で文字(線画)の色画像の前景2を符号化するときのYCbCr信号に対する信号処理に係る視覚特性考慮の量子化ステップ数を例示したもので、(a)はY信号に関するもの、(b)はCb信号に関するもの、(c)はCr信号に関するものである。
【図23】本発明の実施例3に係る画像符号化装置によるMRCモデルの画像符号化の動作処理を示したフローチャートである。
【発明を実施するための形態】
【0024】
以下に、本発明の画像符号化装置、画像符号化方法、画像符号化用記録媒体、画像符号化用プログラムについて、図面を参照して詳細に説明する。
【0025】
最初に、本発明の技術的な着眼点を説明する。本出願人は、減色を行わない前景画像を高速にして最適に符号化するに際し、MRCモデルの持つ構造・機能に着目し、前景画像に対して周波数変換と量子化を用いた符号化とを採用する場合、「前景画像は色」というレイヤ自体が持つ機能を考慮すると、画像の内容を解析することなしに係る機能の差を量子化に反映することができることを見い出した。これまでは、前景画像に対して係る機能を反映した量子化はなされていない。
【0026】
技術的課題で説明したように、前景画像が持つ情報は色であって形状ではないが、色成分が主に画像の低周波成分であるのに対し、形状成分は画像の高周波成分(エッジ成分)である。即ち、前景画像においては、積極的に高周波、さらに言えば輝度の高周波を量子化すべきと考えられる。これに対して背景画像は、文字・線画を除いた絵柄部分であるから、ほぼ通常の自然画像に対する量子化が適用可能である。
【0027】
そこで、本発明の画像符号化方法では、カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び非絵柄部の形状を表わす画像である第3の画像を生成する画像生成ステップと、画像生成ステップで生成した第1の画像乃至第3の画像を個別に符号化する画像符号化ステップと、を有するものであって、画像符号化ステップは、第1の画像及び第2の画像を周波数変換して符号化し、第2の画像における高周波成分の量子化の程度を、第1の画像における高周波成分の量子化の程度よりも強くする周波数変換符号化ステップを有するものとする。この第1の画像符号化方法によれば、MRCにおける画像の機能を周波数成分の量子化に反映して符号化を行うことができる。
【0028】
ところで、通常符号化においては、輝度・色差変換を行い、輝度毎、色差毎に量子化を行う。通常の自然画においては、色よりも輝度に敏感な人間の視覚特性を反映して、輝度の量子化の程度<<色差の量子化の程度とするのが一般的である。
【0029】
しかしながら、MRCの前景画像においては、自然画像ではあっても、輝度の量子化の程度<色差の量子化の程度、或いは輝度の量子化の程度≒色差の量子化の程度とする要件のように、輝度と色差の量子化の割合を背景画像のそれとは変えることが望ましい。
【0030】
こうした点を考慮した第2の画像符号化方法は、第1の画像符号化方法の場合と同様な画像生成ステップ、画像符号化ステップを有するものであって、画像符号化ステップは、第1の画像及び第2の画像を輝度・色差変換して符号化し、第2の画像における輝度の量子化の程度に対する色差成分の量子化量の程度(色差の量子化の程度/輝度の量子化量)を、第1の画像における輝度の量子化の程度に対する色差成分の量子化量の程度よりも小さくする輝度・色差変換符号化ステップを有するものとする。この第2の画像符号化方法によれば、MRCにおける画像の機能を輝度・色差成分の量子化に反映して符号化を行うことができる。
【0031】
更に、上述した論点により前景画像において最も量子化すべきは輝度の高周波成分であり、背景画像において最も量子化すべきは色差の高周波成分である。
【0032】
こうした点を考慮した第3の画像符号化方法は、第1の画像符号化方法の場合と同様な画像生成ステップ、画像符号化ステップを有するものであって、画像符号化ステップは、第1の画像及び第2の画像を輝度・色差変換して符号化し、第2の画像における輝度の高周波成分を最も量子化すると共に、第1の画像における色差の高周波成分を最も量子化する輝度・色差変換符号化ステップを有するものとする。この第3の画像符号化方法によれば、MRCにおける画像の機能を周波数成分および輝度・色差成分の両方に反映して符号化を行うことができる。
【0033】
ところで、上記各画像符号化方法における量子化は、符号化方式や符号化パラメータの選択によって実現形態が異なり、第1番目として、周波数係数の線形量子化や非線形量子化を行う場合(例えば係数を値Sで除算する場合と、第2番目として、周波数係数の下位ビットを符号化しない方式であって、周波数係数の下位ビットを符号化はするものの最終的には破棄する場合と、第3番目として、上記第1番目及び第2番目の両方を同時に適用できる場合との3通りがある。
【0034】
第2番目の量子化におけるビットプレーンn枚分の符号化省略や破棄は、第1番目の量子化において係数を2のn乗で除算することと等価であり、第3番目の量子化は、S×(2のn乗)で係数を除算するのと等価である。
【0035】
こうした点を考慮した画像符号化方法は、上記各画像符号化方法において、画像符号化ステップは、量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、量子化及び破棄の組合せの何れかにより行うものである。この手法を適用すれば、MRCにおける画像の機能を周波数成分及び輝度・色差成分の両方に反映する場合において、具体的な量子化を実現することができる。
【実施例1】
【0036】
図1は、本発明の実施例1に係る画像符号化装置の基本構成を示したブロック図である。この画像符号化装置は、上述した各画像符号化方法及びそれらに対する量子化手法を適用可能なもので、データバス1を介してHDD2と、パーソナルコンピュータ(PC)内のRAM3及びCPU4とが接続され、情報処理システムの規格仕様で構成されている。
【0037】
この画像符号化装置では、原画像(オリジナルカラー画像)の符号化を以下の流れで行う。第1番目として、HDD2上に記録された原画像がCPU4からの命令によってRAM3上に読み込まれる。第2番目として、CPU4はRAM3上の原画像を読み込み、本願発明の各画像符号化処理及びそれらに対する量子化処理を施してMRCモデルに対する符号化を行う。第3番目として、CPU4は符号化後のデータをRAM3上の別の領域に書き込む。第4番目として、CPU4からの命令によりRAM3から符号化後のデータ(画像)を読み出してHDD2上に記録する。
【0038】
ここでのCPU4は、カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び非絵柄部の形状を表わす画像である第3の画像を生成する画像生成手段、並びにその画像生成手段で生成した第1の画像乃至第3の画像を個別に符号化する画像符号化手段として働く。画像符号化手段は、第1の画像及び第2の画像を周波数変換して符号化する周波数変換符号化手段を有し、周波数変換符号化手段は、第2の画像における高周波成分の量子化の程度を、第1の画像における高周波成分の量子化の程度よりも強くする機能構成を持つ。
【0039】
また、画像符号化手段は、第1の画像及び第2の画像を輝度・色差変換して符号化する輝度・色差変換符号化手段を有し、輝度・色差変換符号化手段は、第2の画像における輝度の量子化の程度に対する色差成分の量子化量の程度(色差の量子化の程度/輝度の量子化量)を、第1の画像における輝度の量子化の程度に対する色差成分の量子化量の程度よりも小さくする機能構成を持つものであっても良い。
【0040】
更に、画像符号化手段は、第1の画像及び第2の画像を輝度・色差変換して符号化する輝度・色差変換符号化手段を有し、輝度・色差変換符号化手段は、第2の画像における輝度の高周波成分を最も量子化すると共に、第1の画像における色差の高周波成分を最も量子化する機能構成を持つものであっても良い。
【0041】
何れの機能構成の場合にも、画像符号化手段は、量子化の処理を周波数係数の量子化、周波数係数の下位ビットの破棄、量子化及び破棄の組合せの何れかにより行うことが好ましい。
【0042】
ところで、CPU4の機能構成で画像符号化処理を行う構成でなく、上述した各画像符号化方法を適用した画像生成ステップの処理情報と、画像符号化ステップの処理情報と、を記録した画像符号化用記録媒体(ハードディスク等)をHDD2により読み込ませて同等な処理動作を行わせることも可能である。
【0043】
この場合、画像符号化用記録媒体における画像符号化ステップの処理情報は、第1の画像及び第2の画像を周波数変換して符号化し、第2の画像における高周波成分の量子化の程度を、第1の画像における高周波成分の量子化の程度よりも強くする周波数変換符号化ステップの処理情報と、第1の画像及び第2の画像を輝度・色差変換して符号化し、第2の画像における輝度の量子化の程度に対する色差成分の量子化量の程度(色差の量子化の程度/輝度の量子化量)を、第1の画像における輝度の量子化の程度に対する色差成分の量子化量の程度よりも小さくする第1の輝度・色差変換符号化ステップの処理情報と、第1の画像及び第2の画像を輝度・色差変換して符号化し、第2の画像における輝度の高周波成分を最も量子化すると共に、第1の画像における色差の高周波成分を最も量子化する第2の輝度・色差変換符号化ステップの処理情報との少なくとも1つを有するものであれば良い。但し、この画像符号化用記録媒体については、画像符号化ステップの処理情報が量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、量子化及び破棄の組合せの何れかにより行う指示情報を含むものであれば良い。
【0044】
同様に、上述した各画像符号化方法を適用した画像生成ステップの処理情報と、画像符号化ステップの処理情報と、を有する画像符号化用プログラムをCPU4に実行させて同等な処理動作を行わせることも可能である。
【0045】
こうした場合、画像符号化用プログラムにおける画像符号化ステップの処理情報は、上述した場合と同様な周波数変換符号化ステップの処理情報と、第1の輝度・色差変換符号化ステップの処理情報と、第2の輝度・色差変換符号化ステップの処理情報との少なくとも1つを有するものであれば良い。但し、この画像符号化用プログラムについても、画像符号化ステップの処理情報が量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、量子化及び破棄の組合せの何れかにより行う指示情報を含むものであれば良い。
【0046】
以下は実施例1の具体的な説明に先立ち、実施例1中で使用するJPEG2000の符号化方式の概要について説明する。
【0047】
JPEG2000とは、2001年に国際標準になったJPEG後継の画像符号化方式であり、その符号化処理は、概ね図2に示すような流れで行われる。
【0048】
先ず、画像は矩形のタイルに分割(分割数≧1)されると共に、各タイルは例えばRGBの3コンポ−ネントで構成されるカラー画像の圧縮時にDCレベルシフトした後、輝度・色差コンポ−ネントへのコンポ−ネント変換(色変換)を行う。
【0049】
DCレベルシフトおよび色変換の後、ウェーブレット変換がなされ、必要に応じてサブバンド毎に量子化が行われた後、サブバンド毎に上位ビットプレーンから(必要な)下位ビットプレーンまでをビットプレーン符号化(ビットプレーンを単位としたエントロピー符号化)する。更に、(不要な符号を破棄し)必要な符号をまとめて、パケットを生成した後、パケットを並べて符号形成する。
【0050】
また伸張時には、ビットプレーン復号(ビットプレーン単位でのエントロピー復号)後、逆量子化を経て得られたコンポ−ネント毎のウェーブレット係数に対して、逆ウェーブレット変換が施され、その後に逆色変換がなされてRGBの画素値に戻ることを示している。
【0051】
ここで、JPEG2000のDCレベルシフトの変換式、逆変換式は、Ssiz(i)を原画像の各コンポーネントi(RGB画像ならi=0、1、2)のビット深さから1を減じたものとし、2^Ssiz(i)を2のSsiz(i)乗を意味し、I(x、y)を座標(x、y)における原信号値(画素値)とした場合、順変換については、I(x、y)←I(x、y)−2^Ssiz(i)なる関係で表わされ、逆変換については、I(x、y)←I(x、y)+2^Ssiz(i)なる関係で表わされる。
【0052】
このDCレベルシフトは、RGB信号値のような正の数である場合に、順変換では各信号値から信号のダイナミックレンジの半分を減算するレベルシフトを、逆変換では各信号値に信号のダイナミックレンジの半分を加算するレベルシフトを行うものである。但し、このレベルシフトはYCbCr信号のCb、Cr信号のような符号付き整数には適用されない。
【0053】
また、JPEG2000では、コンポ−ネント変換(色変換)として可逆変換(RCT)と非可逆変換(ICT)とが定義されている。
【0054】
可逆変換(RCT)についての順変換は、Y0(x、y)=floor((I0(x、y)+2*(I1(x、y)+I2(x、y))/4)、Y1(x、y)=I2(x、y)−I1(x、y)、Y2(x、y)=I0(x、y)−I1(x、y)で表わされ、逆変換は、I1(x、y)=Y0(x、y)−floor((Y2(x、y)+Y1(x、y))/4)、I0(x、y)=Y2(x、y)+I1(x、y)、I2(x、y)=Y1(x、y)+I1(x、y)で表わされる。
【0055】
各式中のIは原信号、Yは変換後の信号を示し、IやYに続く0〜2はサフィックスである。RGB信号ならばI信号においてI0=R、I1=G、I2=B、Y信号においてY0=Y、Y1=Cb、Y2=Crと表わされる。またfloor(X)は、実数Xについて、Xを越えず、且つXに最も近い整数に置換する関数である。
【0056】
非可逆変換(ICT)についての順変換は、Y0(x、y)=0.299*I0(x、y)+0.587*I1(x、y)+0.144*I2(x、y)、Y1(x、y)=−0.1675*I0(x、y)−0.33126*I1(x、y)+0.5*I2(x、y)、Y2(x、y)=0.5*I0(x、y)−0.41869*I1(x、y)−0.08131*I2(x、y)で表わされ、逆変換は、I0(x、y)=Y0(x、y)+1.402*Y2(x、y)、I1(x、y)=Y0(x、y)−0.34413*Y1(x、y)−0.71414*Y2(x、y)、I2(x、y)=Y0(x、y)+1.772*Y1(x、y)で表わされる。
【0057】
各式中のIは原信号、Yは変換後の信号を示す。RGB信号ならばI信号においてI0=R、I1=G、I2=B、Y信号においてI0=Y、I1=Cb、I2=Crと表わされる。
【0058】
そして、変換後のコンポ−ネント(タイルコンポ−ネントと呼ばれる)は、ウェーブレット変換によって、LL、HL、LH、HHと略称される4つのサブバンドに分割される。因みに、LLサブバンドに対して再帰的にウェーブレット変換(デコンポジション)を繰返すと、最終的に1つのLLサブバンドと複数のHL、LH、HHサブバンドとが生成される。
【0059】
ここで、JPEG2000で使用される5×3ウェーブレット変換、及び9×7ウェーブレット変換(いずれか一方を選択して使用する)について説明する。
【0060】
5×3ウェーブレット変換とは、5画素を用いて1つのローパスフィルタの出力(ローパス係数)が得られ、3画素を用いて1つのハイパスフィルタの出力(ハイパス係数)が得られる変換である。同様に9×7ウェーブレット変換とは、9画素を用いて1つのローパスフィルタの出力(ローパス係数)が得られ、7画素を用いて1つのハイパスフィルタの出力(ハイパス係数)が得られる変換である。これらの主たる相違は、フィルタの範囲の違いであり、偶数位置中心にローパスフィルタ、奇数位置中心にハイパスフィルタが施される点は同様である。
【0061】
5×3ウェーブレット変換の変換式における順変換は、第1ステップのC(2i+1)=P(2i+1)−floor((P(2i)+P(2i+2))/2)、第2ステップのC(2i)=P(2i)+floor((C(2i−1)+C(2i+1)+2)/4)で表わされ、逆変換は、第1ステップのP(2i)=C(2i)−floor((C(2i−1)+C(2i+1)+2)/4)、第2ステップのP(2i+1)=C(2i+1)+floor((P(2i)+P(2i+2))/2)で表わされる。
【0062】
9×7ウェーブレット変換の変換式における順変換は、第1ステップのC(2n+1)=P(2n+1)+α*(P(2n)+P(2n+2))、第2ステップのC(2n)=P(2n)+β*(C(2n−1)+C(2n+1))、第3ステップのC(2n+1)=P(2n+1)+γ*(C(2n)+C(2n+2))、第4ステップのC(2n)=C(2n)+δ*(C(2n−1)+C(2n+1))、第5ステップのC(2n+1)=K*C(2n+1)、第6ステップのC(2n)=(1/K)*C(2n)で表わされ、逆変換は、第1ステップのP(2n)=K*C(2n)、第2ステップのP(2n+1)=(1/K)*C(2n+1)、第3ステップのP(2n)=X(2n)−δ*(P(2n−1)+P(2n+1))、第4ステップのP(2n+1)=P(2n+1)−γ*(P(2n)+P(2n+2))、第5ステップのP(2n)=P(2n)−β*(P(2n−1)+P(2n+2))、第6ステップのP(2n)=P(2n+1)−α*(P(2n)+P(2n+2))で表わされる。
【0063】
但し、ここではα=−1.586134342059924、β=−0.052980118572961、γ=0.882911075530934、δ=0.443506852043971、K=1.230174104914001とする。
【0064】
次に、ウェーブレット変換の手順、並びにデコンポジションレベル、解像度レベル、サブバンドの定義について説明する。
【0065】
図3は、16×16の画像の輝度コンポ−ネントに対して、ウェーブレット変換(5×3変換)を2次元(垂直方向および水平方向)で施す過程におけるDCレベルシフト後の原画像と座標系、ミラーリングを例示したものである。図4は、上記同過程における垂直方向へのフィルタリング後の係数の配列を例示したものである。図5は、上記同過程における水平方向へのフィルタリング後の係数の配列を例示したものである。図6は、上記同過程における並べ替えた係数の配列を例示したものである。
【0066】
図3を参照すれば、xy座標をとり、或るxについて、y座標がyである画素の画素値をP(y)(0≦y≦15)と表わす。JPEG2000では、先ず垂直方向(Y座標方向)にy座標が奇数(y=2i+1)の画素を中心にハイパスフィルタを施して係数C(2i+1)を取得し、次にy座標が偶数(y=2i)の画素を中心にローパスフィルタを施して係数C(2i)を取得するようにし、こうした処理を全てのxについて行う。ここで、ハイパスフィルタ、ローパスフィルタは、順に上述した第1ステップ、第2ステップの関係式で表わされる。尚、画像の端部にフィルタを施す場合には、中心となる画素に対して隣接画素が十分に存在しないことがあり、こうした場合はミラーリングと呼ばれる手法によって適宜画素値を補うことになる。ミラーリングとは、画像端部の外側に仮想的な画素を想定し、画像端部の画素を対称軸として、端部の内側の画素値を、端部の外側の画素に対して線対称にコピーする周知の手法である。ミラーリングは画像(タイル)の上下左右の4端全てで行われる。
【0067】
説明を簡単にするため、ハイパスフィルタで得られる係数をH、ローパスフィルタで得られる係数をLと表記すれば、垂直方向の変換によって図3に示した画像は図4に示されるようなL係数、H係数の配列へと変換される。
【0068】
引き続き、今度は図4に示されるような係数配列に対して、先ず水平方向にx座標が奇数(y=2i+1)の係数を中心にハイパスフィルタを施し、次にx座標が偶数(x=2i)の係数を中心にローパスフィルタを施すようにし、これらの処理を全てのyについて行う。この場合、第1ステップ、第2ステップのP(2i)等は係数値を表わすものと読み替える。
【0069】
更に、今度は図4に示される係数配列に対して、先ず水平方向にx座標が奇数(y=2i+1)の係数を中心にハイパスフィルタを施し、次にx座標が偶数(x=2i)の係数を中心にローパスフィルタを施すようにし、これらに処理を全てのyについて行う。この場合、第1ステップ、第2ステップのP(2i)等は係数値を表わすものと読み替える。
【0070】
同様に、説明を簡単にするため、上述したL係数を中心にローパスフィルタを施して得られる係数をLL、L係数を中心にハイパスフィルタを施して得られる係数をHL、H係数を中心にローパスフィルタを施して得られる係数をLH、H係数を中心にハイパスフィルタを施して得られる係数をHHと表記すれば、図4に示される係数配列は、図5に示されるような係数配列へと変換される。ここで同一の記号を付した係数群は、サブバンドと呼ばれ、図5に示される形態では4つのサブバンドで構成される。
【0071】
以上は、垂直・水平の各方向に対して各1回のウェーブレット変換(1回のデコンポジション(分解))が終了し、上述したLL係数だけを集めて図6に示されるようにサブバンド毎に集め、LLサブバンドだけ取り出すと、丁度原画像の1/2の解像度の“画像”が得られる。因みに、このようにサブバンド毎に分類することはデインターリーブと呼ばれ、図1を参照して説明したような処理状態に配置することはインターリーブと呼ばれる。
【0072】
2回目のウェーブレット変換は、LLサブバンドを原画像と見なして、上述した場合と同様の変換を行えば良い。この場合、並べ替えを行うと、図7に示されるような形態となる。ここでの係数の接頭の1や2は、水平・垂直に関し各何回のウェーブレット変換で係数が得られたかを示しており、デコンポジションレベルと呼ばれる。
【0073】
図8は、デコンポジションレベルと解像度レベルとの関係を例示したものである。ここでは、解像度レベルがデコンポジションレベルとほぼ逆の関係にあることを示している。
【0074】
以上の説明において、1次元のみのウェーブレット変換を行う場合には、何れかの方向だけの処理を行えば良く、その何れかの方向に関してウェーブレット変換を行った回数がデコンポジションレベルとなる。
【0075】
ウェーブレットフィルタとして9×7フィルタを選択した場合には、上述した分割の後、サブバンド毎に係数の線形量子化が成されるが、5×3フィルタを選択した場合には、サブバンド毎の線形量子化はしない仕様となっている。
【0076】
次なる処理として、各サブバンドはプリシンクトとよばれる矩形に分割される。プリシンクトとは、サブバンドを矩形に分割したものをHL、LH、HHの3つのサブバンドについて集めたもので、大まかな意味では画像中の場所(Position)を表わすものである。プリシンクトは3つで1纏まりであるが、LLサブバンドを分割した場合には1つで1纏まりとなる。また、プリシンクトはサブバンドと同じサイズにでき、プリシンクトをさらに矩形に分割したものがコードブロックである。
【0077】
図9は、画像(タイル)、サブバンド、プリシンクト、コードブロックの関係を例示したものである。ここでは、物理的な大きさの序列として、画像≧タイル>サブバンド≧プリシンクト≧コードブロックとなることを示している。
【0078】
以上に説明した分割を行った後、係数のエントロピー符号化(ビットプレーン単位でのビットプレーン符号化)がプリシンクト単位でコードブロック毎であって、ビットプレーン順に成される。実施例1では、図2で説明したように、最上位ビットプレーンからテーブルで予め規定された下位ビットプレーンまでをビットプレーン符号化する。このような条件で必要な符号としてみなすと、不要な符号は存在しない。これらの「最上位ビットプレーンからテーブルで予め規定された下位ビットプレーンまで」の符号に対して、ヘッダをつけたものをパケットと呼ぶ。パケットヘッダには、パケットに含まれる符号に関する情報が含まれ、各パケットは独立に扱うことができる。いわばパケットは符号の単位である。
【0079】
そして、全てのプリシンクト(=全てのコードブロック=全てのサブバンド)に関して、パケットを並べて符号を形成する。
【0080】
以下は、以上に説明した処理内容を前提として、実施例1の画像符号化装置の技術的概要を説明する。
【0081】
図10は、実施例1の画像符号化装置によるMRCモデルの概略構成を示したものである。図11は、係る画像符号化装置によるMRCモデルの画像符号化の動作処理を示したフローチャートである。
【0082】
図10を参照すれば、ここでのMRCモデルは、ベースページとなる白色の背景上に、黒色の第1のマスク1(MMR仕様)、淡いモスグリーン色を基調として所定箇所にプリンタの絵柄部を持つ第1の前景1(JPEG2000仕様)、印字部を保つ無色透明基調の第1のマスク2(MMR仕様)、赤紫色及び黄緑色が2色分けされた第2の前景2(JPEG2000仕様)を順に重ねたイメージ構成のものである。合成画像(画像符号化処理後のものとする)上では、プリンタの絵柄の形状輪郭及び色彩が鮮明となり、印字部分が赤紫色部分と黄緑色部分とに分けられている様子を示している。
【0083】
図11に示す画像符号化の動作処理では、先ず原画像を入力すると、原画像に対して画素単位で、文字(線画)を構成する画素(以下、文字画素とする)であるか否かを判別し、第2のマスク2を作成(ステップS1)する。
【0084】
これは公知の像域判別技術によって行われ、本例では原画像の各画素に対し、エッジ検出オペレータとして周知のSobelフィルタを作用させる。Sobelフィルタは、注目画素を中心とした上下左右の9つの画素に対して、図12に示される第1の重みマトリクスを乗算してその和HSを算出し、同様に図13に示される第2のマトリクスを乗算してその和VSを算出する。そして、(HS^2+VS^2の)平方根をフィルタの出力値とする。このフィルタの出力値が例えば30以上の場合に、注目画素が文字画素であると判断し、注目画素位置の値を1にし、それ以外の画素の値を0にすることで、第2のマスク2を生成する。尚、二値画像の場合、黒=1、白=0が通例である。
【0085】
次に、文字(線画)領域に属さない画素(以下、非文字画素とする)の色を、画素の最も近傍に位置する文字画素の色で置換し、第2の前景2を作成(ステップS2)する。この処理は、画像内の全ての非文字画素に対して行われるため、図11で説明したように、画像は文字の色で置換される。原画像の文字の色が一色の場合、画像自体が一色になる。
【0086】
次に、原画像おける文字(線画)領域の画素の色を、画素の最も近傍に位置する非文字画素の色で置換し、第1の前景1を作成(ステップS3)する。尚、ここでの前景1は、背景と呼ばれても良い。
【0087】
引き続き、原画像と同じサイズの画素値1の画像として第1のマスク1を作成(ステップS4)、原画像と同じサイズの白い画像として背景画像を作成(ステップS5)する。
【0088】
そして、第1の前景1を5×3フィルタを用いて2回デコンポジションし、図14に示される条件でJPEG2000仕様による符号化(ステップS6)し、同様に第2の前景2を5×3フィルタを用いて2回デコンポジションし、図15、図16、または図17に示される条件でJPEG2000仕様による符号化(ステップS7)した後、第1のマスク1、第2のマスク2(共に2値画像)を、周知のMMR仕様で符号化(ステップS8)する。
【0089】
最後に、背景をJPM仕様で符号化(エントロピー符号化は行わず、符号として背景色を指定する:ステップS9)し、全ての前景、マスク、背景の符号を結合し、所望のヘッダを付してJPMの符号を取得(ステップS10)する。
【0090】
上述した図14は、絵柄部画像である前景1を符号化するときのYCbCr信号に対する信号処理に係る符号化しない下位ビットプレーン数を例示したもので、同図(a)はY信号に関するもの、同図(b)はCb信号に関するもの、同図(c)はCr信号に関するものである。
【0091】
ここで、図14で例示するように絵柄部画像である前景1においては、輝度よりも色差に関して、符号化しない下位ビットプレーン数を多くしており、輝度の量子化の程度を色差の量子化の程度よりも強くしている。尚、RCTにおいては、輝度のビット数よりも色差のビット数の方が1ビット多くなるが、図14から明らかであるように、符号化しない下位ビットプレーン数の差はそれ以上である。
【0092】
図15は、上述した画像符号化の動作処理で文字(線画)の色画像の前景2を第1の手法により符号化するときのYCbCr信号に対する信号処理に係る符号化しない下位ビットプレーン数を例示したもので、同図(a)はY信号に関するもの、同図(b)はCb信号に関するもの、同図(c)はCr信号に関するものである。
【0093】
ここでの第1の手法とは、前述した第1の画像符号化方法に対応するもので、図15では太枠領域に示されるように、色を表わす画像である前景2においては、高周波成分であるデコンポジションレベル1において、輝度及び色差に関し、前景1よりも符号化しない下位ビットプレーン数を多くしており、高周波成分の量子化の程度を前景2よりも強くしている。
【0094】
図16は、上述した画像符号化の動作処理で文字(線画)の色画像の前景2を第2の手法により符号化するときのYCbCr信号に対する信号処理に係る符号化しない下位ビットプレーン数を例示したもので、同図(a)はY信号に関するもの、同図(b)はCb信号に関するもの、同図(c)はCr信号に関するものである。
【0095】
ここでの第2の手法とは、前述した第2の画像符号化方法に対応するもので、図16では図14との対比で明らかなように、前景1においては、輝度の高周波の量子化の程度>>色差の高周波の量子化の程度であるにも拘わらず、前景2においては、輝度の高周波の量子化の程度≒色差の高周波の量子化の程度としており、輝度と色差の量子化の割合を前景1、2で変えている。即ち、第2の画像における輝度の量子化の程度に対する色差成分の量子化量の程度(色差の量子化の程度/輝度の量子化量)を、第1の画像のそれよりも小さくしている。尚、前景1に関して符号化しない下位ビットプレーン数は図14と同じものを採用している。
【0096】
図17は、上述した画像符号化の動作処理で文字(線画)の色画像の前景2を第3の手法により符号化するときのYCbCr信号に対する信号処理に係る符号化しない下位ビットプレーン数を例示したもので、同図(a)はY信号に関するもの、同図(b)はCb信号に関するもの、同図(c)はCr信号に関するものである。
【0097】
ここでの第3の手法とは、前述した第3の画像符号化方法に対応するもので、図17では図14との対比で明らかなように、前景1においては色差の高周波を最も量子化しているが、図17では輝度の高周波を最も量子化している。尚、ここでも前景1に関して符号化しない下位ビットプレーン数は図14と同じものを採用している。
【実施例2】
【0098】
図18は、本発明の実施例2に係る画像符号化装置によるMRCモデルの画像符号化の動作処理を示したフローチャートである。ここでの画像符号化の動作処理は、図11で説明したもの比べれば、前景1及び前景2に対して9×7フィルタを用いて2回デコンポジションし、係数を線形量子化した後、全ビットプレーンを符号化する点が相違している。
【0099】
具体的に云えば、図18に示す画像符号化の動作処理では、原画像の入力後、前述した図11の動作処理の場合と同様に、画素単位で、文字(線画)を構成する文字画素であるか否かを判別し、第2のマスク2を作成(ステップS11)する処理、文字(線画)領域に属さない非文字画素の色を、画素の最も近傍に位置する文字画素の色で置換し、第2の前景2を作成(ステップS12)する処理、原画像おける文字(線画)領域の画素の色を、画素の最も近傍に位置する非文字画素の色で置換し、第1の前景1を作成(ステップS13)する処理、原画像と同じサイズの画素値1の画像として第1のマスク1を作成(ステップS14)する処理、原画像と同じサイズの白い画像として背景画像を作成(ステップS15)する処理を行う。
【0100】
そして、第1の前景1を9×7フィルタを用いて2回デコンポジションし、図21に示される条件で量子化した後、全ビットプレーンを符号化(ステップS16)し、同様に第2の前景2を9×7フィルタを用いて2回デコンポジションし、図22に示される条件で量子化した後、全ビットプレーンを符号化(ステップS17)する。
【0101】
この後は、図11の動作処理の場合と同様に、第1のマスク1、第2のマスク2(共に2値画像)を、周知のMMR仕様で符号化(ステップS18)する処理、背景をJPM仕様で符号化(エントロピー符号化は行わず、符号として背景色を指定する:ステップS19)する処理、全ての前景、マスク、背景の符号を結合し、所望のヘッダを付してJPMの符号を取得(ステップS20)する処理を行う。
【0102】
以下、ここでの実施例2における線形量子化について説明する。図19は、一般的な色画像を符号化するときのYCbCr信号に対する信号処理に係る視覚特性未考慮の量子化ステップ数(JPEG2000の9×7フィルタと共に用いられる典型的なもの)を例示したもので、同図(a)はY信号に関するもの、同図(b)はCb信号に関するもの、同図(c)はCr信号に関するものである。量子化ステップ数は、9×7フィルタのサブバンドゲインの平方根の逆数に、定数を乗じた値として求められる。
【0103】
図20は、一般的な色画像を符号化するときのYCbCr信号に対する信号処理に係る視覚感度(JPEG2000の9×7フィルタと共に用いられる典型的なもの)を例示したもので、同図(a)はY信号に関するもの、同図(b)はCb信号に関するもの、同図(c)はCr信号に関するものである。視覚感度は、その値が大きい程、そのサブバンドに生じる誤差の視覚的な影響が大きいことを示す。
【0104】
図21は、係る画像符号化の動作処理で絵柄部画像の前景1を符号化するときのYCbCr信号に対する信号処理に係る視覚特性考慮の量子化ステップ数(JPEG2000の9×7フィルタと共に用いられる典型的なもの)を例示したもので、同図(a)はY信号に関するもの、同図(b)はCb信号に関するもの、同図(c)はCr信号に関するものである。上述した視覚特性未考慮の量子化ステップ数では、視覚感度の影響を対策できないため、JPEG2000では、サブバンドゲインから求めた量子化ステップ数を視覚感度で除算して、図21に示されるような視覚特性を考慮した量子化ステップ数を算出することが望ましい。
【0105】
図22は、係る画像符号化の動作処理で文字(線画)の色画像の前景2を符号化するときのYCbCr信号に対する信号処理に係る視覚特性考慮の量子化ステップ数を例示したもので、同図(a)はY信号に関するもの、同図(b)はCb信号に関するもの、同図(c)はCr信号に関するものである。
【0106】
即ち、ここでの実施例2において、前景2に関しては、図22の量子化ステップ数を適用する。そして、前景1に関しては、図21の量子化ステップ数を適用する。
【0107】
図22から明らかなように、前景2においては、高周波成分であるデコンポジションレベル1において、輝度及び色差に関し、前景1よりも量子化ステップ数が大きく、前景2における色差の量子化ステップ数/輝度の量子化ステップ数値は、前景1におけるそれよりも小さくしている。また、図21では色差の高周波を最も量子化しているが、図22では、輝度の高周波を最も量子化している。
【実施例3】
【0108】
図23は、本発明の実施例3に係る画像符号化装置によるMRCモデルの画像符号化の動作処理を示したフローチャートである。ここでの画像符号化の動作処理は、図11で説明したもの比べれば、前景1及び前景2に対して9×7フィルタを用いて2回デコンポジションし、且つ所定の下位ビットプレーンの符号化を省略して量子化を実行する点が相違している。
【0109】
具体的に云えば、図23に示す画像符号化の動作処理では、原画像の入力後、前述した図11の動作処理の場合と同様に、画素単位で、文字(線画)を構成する文字画素であるか否かを判別し、第2のマスク2を作成(ステップS21)する処理、文字(線画)領域に属さない非文字画素の色を、画素の最も近傍に位置する文字画素の色で置換し、第2の前景2を作成(ステップS22)する処理、原画像おける文字(線画)領域の画素の色を、画素の最も近傍に位置する非文字画素の色で置換し、第1の前景1を作成(ステップS23)する処理、原画像と同じサイズの画素値1の画像として第1のマスク1を作成(ステップS24)する処理、原画像と同じサイズの白い画像として背景画像を作成(ステップS25)する処理を行う。
【0110】
そして、第1の前景1を9×7フィルタを用いて2回デコンポジションし、図21に示される条件で量子化した後、図14に示される条件で符号化(ステップS26)し、同様に第2の前景2を9×7フィルタを用いて2回デコンポジションし、図22に示される条件で量子化した後、図15に示される条件で符号化(ステップS27)する。
【0111】
この後は、図11の動作処理の場合と同様に、第1のマスク1、第2のマスク2(共に2値画像)を、周知のMMR仕様で符号化(ステップS28)する処理、背景をJPM仕様で符号化(エントロピー符号化は行わず、符号として背景色を指定する:ステップS29)する処理、全ての前景、マスク、背景の符号を結合し、所望のヘッダを付してJPMの符号を取得(ステップS30)する処理を行う。
【0112】
ここで、JPMにおける背景に対する各レイアウトオブジェクトの配置や大きさの情報については、レイアウトオブジェクトのIDや重ね順、縦横の画素数、背景に対する配置上のオフセットをLayout Object Header Boxに記載する。また、各レイアウトオブジェクトを構成する前景、背景の配置や大きさの情報については、背景に対する配置上のオフセットをObject Header Boxに記載する。更に、各オブジェクトの画素数は、各オブジェクトの符号中に記載する。
【0113】
尚、以上に説明した各実施例ではファイルフォーマットとしてJPMを用いたが、MRCタイプであれば何でも良く、MRCタイプのPDFもその範疇である。また、各実施例では、周波数変換にウェーブレット変換を用いた場合を例示したが、これに限定されるものではなく、離散コサイン変換に代表される他の周波数変換を適用することも可能である。更に、上述した「高周波成分」とは、最も周波数の高い帯域(の係数)だけを示す場合と、少なくとも最も周波数の高い帯域(の係数)を含み、且つ最も低域の帯域(の係数)は含まない場合との2通りを示すものである。
【産業上の利用可能性】
【0114】
本発明は、汎用的な画像処理装置や画像形成装置の他、マルチレイヤの画像を符号化する装置全般に応用できる。
【符号の説明】
【0115】
1 データバス
2 HDD
3 RAM
4 CPU
【先行技術文献】
【特許文献】
【0116】
【特許文献1】特許第3275807号
【特許文献2】特開2007−5844号公報
【特許請求の範囲】
【請求項1】
カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成手段と、前記画像生成手段で生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化手段と、を備えた画像符号化装置であって、前記画像符号化手段は、前記第1の画像及び前記第2の画像を周波数変換して符号化する周波数変換符号化手段を有し、前記周波数変換符号化手段は、前記第2の画像における高周波成分の量子化の程度を、前記第1の画像における高周波成分の量子化の程度よりも強くすることを特徴とする画像符号化装置。
【請求項2】
カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成手段と、前記画像生成手段で生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化手段と、を備えた画像符号化装置であって、前記画像符号化手段は、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化する輝度・色差変換符号化手段を有し、前記輝度・色差変換符号化手段は、前記第2の画像における輝度の量子化の程度に対する色差成分の量子化量の程度を、前記第1の画像における輝度の量子化の程度に対する色差成分の量子化量の程度よりも小さくすることを特徴とする画像符号化装置。
【請求項3】
カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成手段と、前記画像生成手段で生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化手段と、を備えた画像符号化装置であって、前記画像符号化手段は、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化する輝度・色差変換符号化手段を有し、前記輝度・色差変換符号化手段は、前記第2の画像における輝度の高周波成分を最も量子化すると共に、前記第1の画像における色差の高周波成分を最も量子化することを特徴とする画像符号化装置。
【請求項4】
請求項1〜3の何れか1項に記載の画像符号化装置において、前記画像符号化手段は、前記量子化の処理を周波数係数の量子化、周波数係数の下位ビットの破棄、当該量子化及び当該破棄の組合せの何れかにより行うことを特徴とする画像符号化装置。
【請求項5】
カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成ステップと、前記画像生成ステップで生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化ステップと、を有する画像符号化方法であって、前記画像符号化ステップは、前記第1の画像及び前記第2の画像を周波数変換して符号化し、当該第2の画像における高周波成分の量子化の程度を、当該第1の画像における高周波成分の量子化の程度よりも強くする周波数変換符号化ステップを有することを特徴とする画像符号化方法。
【請求項6】
カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成ステップと、前記画像生成ステップで生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化ステップと、を有する画像符号化方法であって、前記画像符号化ステップは、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化し、当該第2の画像における輝度の量子化の程度に対する色差成分の量子化量の程度を、当該第1の画像における輝度の量子化の程度に対する色差成分の量子化量の程度よりも小さくする輝度・色差変換符号化ステップを有することを特徴とする画像符号化方法。
【請求項7】
カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成ステップと、前記画像生成ステップで生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化ステップと、を有する画像符号化方法であって、前記画像符号化ステップは、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化し、当該第2の画像における輝度の高周波成分を最も量子化すると共に、当該第1の画像における色差の高周波成分を最も量子化する輝度・色差変換符号化ステップを有することを特徴とする画像符号化方法。
【請求項8】
請求項5〜7の何れか1項に記載の画像符号化方法において、前記画像符号化ステップは、前記量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、当該量子化及び当該破棄の組合せの何れかにより行うことを特徴とする画像符号化方法。
【請求項9】
カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成ステップの処理情報と、前記画像生成ステップで生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化ステップの処理情報と、を記録した画像符号化用記録媒体であって、前記画像符号化ステップの処理情報は、前記第1の画像及び前記第2の画像を周波数変換して符号化し、当該第2の画像における高周波成分の量子化の程度を、当該第1の画像における高周波成分の量子化の程度よりも強くする周波数変換符号化ステップの処理情報と、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化し、当該第2の画像における輝度の量子化の程度に対する色差成分の量子化量の程度を、当該第1の画像における輝度の量子化の程度に対する色差成分の量子化量の程度よりも小さくする第1の輝度・色差変換符号化ステップの処理情報と、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化し、当該第2の画像における輝度の高周波成分を最も量子化すると共に、当該第1の画像における色差の高周波成分を最も量子化する第2の輝度・色差変換符号化ステップの処理情報との少なくとも1つを有することを特徴とする画像符号化用記録媒体。
【請求項10】
請求項9記載の画像符号化用記録媒体において、前記画像符号化ステップの処理情報は、前記量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、当該量子化及び当該破棄の組合せの何れかにより行う指示情報を含むことを特徴とする画像符号化用記録媒体。
【請求項11】
カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成ステップの処理情報と、前記画像生成ステップで生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化ステップの処理情報と、を有すると共に、情報処理装置に実行させるための画像符号化用プログラムであって、前記画像符号化ステップの処理情報は、前記第1の画像及び前記第2の画像を周波数変換して符号化し、当該第2の画像における高周波成分の量子化の程度を、当該第1の画像における高周波成分の量子化の程度よりも強くする周波数変換符号化ステップの処理情報と、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化し、当該第2の画像における輝度の量子化の程度に対する色差成分の量子化量の程度を、当該第1の画像における輝度の量子化の程度に対する色差成分の量子化量の程度よりも小さくする第1の輝度・色差変換符号化ステップの処理情報と、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化し、当該第2の画像における輝度の高周波成分を最も量子化すると共に、当該第1の画像における色差の高周波成分を最も量子化する第2の輝度・色差変換符号化ステップの処理情報との少なくとも1つを有することを特徴とする画像符号化用プログラム。
【請求項12】
請求項11記載の画像符号化用プログラムにおいて、前記画像符号化ステップの処理情報は、前記量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、当該量子化及び当該破棄の組合せの何れかにより行う指示情報を含むことを特徴とする画像符号化用プログラム。
【請求項1】
カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成手段と、前記画像生成手段で生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化手段と、を備えた画像符号化装置であって、前記画像符号化手段は、前記第1の画像及び前記第2の画像を周波数変換して符号化する周波数変換符号化手段を有し、前記周波数変換符号化手段は、前記第2の画像における高周波成分の量子化の程度を、前記第1の画像における高周波成分の量子化の程度よりも強くすることを特徴とする画像符号化装置。
【請求項2】
カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成手段と、前記画像生成手段で生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化手段と、を備えた画像符号化装置であって、前記画像符号化手段は、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化する輝度・色差変換符号化手段を有し、前記輝度・色差変換符号化手段は、前記第2の画像における輝度の量子化の程度に対する色差成分の量子化量の程度を、前記第1の画像における輝度の量子化の程度に対する色差成分の量子化量の程度よりも小さくすることを特徴とする画像符号化装置。
【請求項3】
カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成手段と、前記画像生成手段で生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化手段と、を備えた画像符号化装置であって、前記画像符号化手段は、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化する輝度・色差変換符号化手段を有し、前記輝度・色差変換符号化手段は、前記第2の画像における輝度の高周波成分を最も量子化すると共に、前記第1の画像における色差の高周波成分を最も量子化することを特徴とする画像符号化装置。
【請求項4】
請求項1〜3の何れか1項に記載の画像符号化装置において、前記画像符号化手段は、前記量子化の処理を周波数係数の量子化、周波数係数の下位ビットの破棄、当該量子化及び当該破棄の組合せの何れかにより行うことを特徴とする画像符号化装置。
【請求項5】
カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成ステップと、前記画像生成ステップで生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化ステップと、を有する画像符号化方法であって、前記画像符号化ステップは、前記第1の画像及び前記第2の画像を周波数変換して符号化し、当該第2の画像における高周波成分の量子化の程度を、当該第1の画像における高周波成分の量子化の程度よりも強くする周波数変換符号化ステップを有することを特徴とする画像符号化方法。
【請求項6】
カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成ステップと、前記画像生成ステップで生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化ステップと、を有する画像符号化方法であって、前記画像符号化ステップは、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化し、当該第2の画像における輝度の量子化の程度に対する色差成分の量子化量の程度を、当該第1の画像における輝度の量子化の程度に対する色差成分の量子化量の程度よりも小さくする輝度・色差変換符号化ステップを有することを特徴とする画像符号化方法。
【請求項7】
カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成ステップと、前記画像生成ステップで生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化ステップと、を有する画像符号化方法であって、前記画像符号化ステップは、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化し、当該第2の画像における輝度の高周波成分を最も量子化すると共に、当該第1の画像における色差の高周波成分を最も量子化する輝度・色差変換符号化ステップを有することを特徴とする画像符号化方法。
【請求項8】
請求項5〜7の何れか1項に記載の画像符号化方法において、前記画像符号化ステップは、前記量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、当該量子化及び当該破棄の組合せの何れかにより行うことを特徴とする画像符号化方法。
【請求項9】
カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成ステップの処理情報と、前記画像生成ステップで生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化ステップの処理情報と、を記録した画像符号化用記録媒体であって、前記画像符号化ステップの処理情報は、前記第1の画像及び前記第2の画像を周波数変換して符号化し、当該第2の画像における高周波成分の量子化の程度を、当該第1の画像における高周波成分の量子化の程度よりも強くする周波数変換符号化ステップの処理情報と、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化し、当該第2の画像における輝度の量子化の程度に対する色差成分の量子化量の程度を、当該第1の画像における輝度の量子化の程度に対する色差成分の量子化量の程度よりも小さくする第1の輝度・色差変換符号化ステップの処理情報と、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化し、当該第2の画像における輝度の高周波成分を最も量子化すると共に、当該第1の画像における色差の高周波成分を最も量子化する第2の輝度・色差変換符号化ステップの処理情報との少なくとも1つを有することを特徴とする画像符号化用記録媒体。
【請求項10】
請求項9記載の画像符号化用記録媒体において、前記画像符号化ステップの処理情報は、前記量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、当該量子化及び当該破棄の組合せの何れかにより行う指示情報を含むことを特徴とする画像符号化用記録媒体。
【請求項11】
カラーの入力画像から絵柄部画像である第1の画像、非絵柄部の色を表わす画像である第2の画像、及び当該非絵柄部の形状を表わす画像である第3の画像を生成する画像生成ステップの処理情報と、前記画像生成ステップで生成した前記第1の画像乃至前記第3の画像を個別に符号化する画像符号化ステップの処理情報と、を有すると共に、情報処理装置に実行させるための画像符号化用プログラムであって、前記画像符号化ステップの処理情報は、前記第1の画像及び前記第2の画像を周波数変換して符号化し、当該第2の画像における高周波成分の量子化の程度を、当該第1の画像における高周波成分の量子化の程度よりも強くする周波数変換符号化ステップの処理情報と、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化し、当該第2の画像における輝度の量子化の程度に対する色差成分の量子化量の程度を、当該第1の画像における輝度の量子化の程度に対する色差成分の量子化量の程度よりも小さくする第1の輝度・色差変換符号化ステップの処理情報と、前記第1の画像及び前記第2の画像を輝度・色差変換して符号化し、当該第2の画像における輝度の高周波成分を最も量子化すると共に、当該第1の画像における色差の高周波成分を最も量子化する第2の輝度・色差変換符号化ステップの処理情報との少なくとも1つを有することを特徴とする画像符号化用プログラム。
【請求項12】
請求項11記載の画像符号化用プログラムにおいて、前記画像符号化ステップの処理情報は、前記量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、当該量子化及び当該破棄の組合せの何れかにより行う指示情報を含むことを特徴とする画像符号化用プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図9】
【図10】
【公開番号】特開2010−220070(P2010−220070A)
【公開日】平成22年9月30日(2010.9.30)
【国際特許分類】
【出願番号】特願2009−66676(P2009−66676)
【出願日】平成21年3月18日(2009.3.18)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
【公開日】平成22年9月30日(2010.9.30)
【国際特許分類】
【出願日】平成21年3月18日(2009.3.18)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
[ Back to top ]