画像処理装置及び画像処理方法
【課題】マルチレイヤ画像を合成した時に得られる画像の劣化を抑えつつデータ量を制限量以下に抑えたＰＤＦファイル等のマルチレイヤ構造データを生成する。
【解決手段】入力画像からマスク（選択）画像、前景画像、背景画像を分離生成し、マスク画像のＭＭＲ符号化データ、背景画像と前景画像のＪＰＥＧＦ２０００符号化データを、フォーマット記述を付加して結合してＰＤＦファイルを生成する。例えば、符号割り当て優先度の低い背景画像のＪＰＥＧ２０００符号化データについて符号削除により符号量を制御することにより、ＰＤＦファイルのデータ量を制限量以下に抑える。
【解決手段】入力画像からマスク（選択）画像、前景画像、背景画像を分離生成し、マスク画像のＭＭＲ符号化データ、背景画像と前景画像のＪＰＥＧＦ２０００符号化データを、フォーマット記述を付加して結合してＰＤＦファイルを生成する。例えば、符号割り当て優先度の低い背景画像のＪＰＥＧ２０００符号化データについて符号削除により符号量を制御することにより、ＰＤＦファイルのデータ量を制限量以下に抑える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スキャン画像等からマルチレイヤ画像データを生成する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
入力画像を、その画像の領域から得られる特徴に基づいてフォーマット変換し、文字画像と自然画画像と、そのどちらの画像を選択するかを示すマスク画像（選択データ）とからなるマルチレイヤ構造に分解することで、文字のエッジを保ち、自然画領域が滑らかな画質を保ちながらデータ量を小さくする技術が知られている（例えば特許文献１参照）。
【０００３】
ところで、メール送受信システムでは、大容量のデータを送受信することによるシステムの速度低下の防止や、システムのディスク容量を使い切ってしまうことによって他のアカウントが使用できなくなるなどの不具合の防止するため、送信や受信のデータ容量の上限を設定するケースが多い。
【０００４】
このようなケースにおいて、データ容量の上限を超えて送信しようとした場合、通常は送信側でその処理が失敗する。また、受信側の容量上限を超えた容量を送信した場合、送信側では処理が成功するが、受信側で処理を失敗するので結果的にデータを届けることが出来なくなる。
【０００５】
以上のような背景において、マルチレイヤ構造を利用した圧縮によって生成されるマルチレイヤ構造データのデータ量を、所定もしくは指定された限度量以下に制御できれば、メール送受信のみならず、データ利用において望ましいことである。さらに、送受信される画像データの容量の制限下においては、より画質劣化が少ないデータを出力することが望ましい。
【０００６】
なお、特許文献２には、マルチレイヤ画像変換時のバッファ容量制限に対応するため、送信時に相手のバッファサイズに合わせた帯状領域に分割して送信し、その際に、帯状に分割した境界においてズレの不具合を生じないよう、１ラインのすべての画素が所定の色であるラインの開始ラインまたは終了ラインを検出し、そのラインで分割する、という技術が開示されている。
【０００７】
また、特許文献３には、ＪＰＥＧ２０００符号化過程において、指定した圧縮率で符号を生成するように制御するレートコントロール技術が開示されている。この例にあるように、ＪＰＥＧ２０００は、解像度又は画質のスケーラビリティを持ち、解像度や画質をオリジナルより落とすことによって、生成される符号量を柔軟に変化させることが容易である。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
よって、本発明の目的は、マルチレイヤ画像を合成した時に得られる画像の劣化を抑えつつ、データ量を限度量以下に抑えたマルチレイヤ構造データを生成することができる画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００９】
請求項１の発明は、
入力画像から該入力画像の特徴に基づいて複数の派生画像を分離生成し、前記各派生画像を別々に符号化し、前記複数の派生画像の符号化データを結合してマルチレイヤ構造データを生成する画像処理装置において、
前記マルチレイヤ構造データのデータ量が制限量以下となるように、前記複数の派生画像中の符号割り当て優先度が低い少なくとも一つの派生画像の符号化データについて符号量を制御する手段を有することを特徴とする画像処理装置である。
【００１０】
請求項２の発明は、請求項１の発明に係る画像処理装置において、
前記少なくとも一つの派生画像の符号化データは、その符号の削除により画質を多段階に制御可能な符号化データであって、
前記符号量を制御する手段は、前記少なくとも一つの派生画像の符号化データについて符号削除により符号量を制御することを特徴するものである。
【００１１】
請求項３の発明は、請求項２の発明に係る画像処理装置において、
前記符号量を制御する手段は、前記少なくとも一つの派生画像の符号化データについて符号の並べ替え処理を行ってから符号削除を行うことを特徴とするものである。
【００１２】
請求項４の発明は、請求項２の発明に係る画像処理装置において、
前記少なくとも一つの派生画像の符号化データについて部分符号ごとに優先度が付けられており、
前記符号量を制御する手段は、前記少なくとも一つの派生画像の符号データについて、優先度の低い部分符号から優先度の高い部分符号へと順に符号削除を行うことを特徴とするものである。
【００１３】
請求項５の発明は、請求項１の発明に係る画像処理装置において、
前記符号量を制御する手段は、前記少なくとも一つの派生画像の符号化過程において符号化データの符号量を制御することを特徴とするものである。
【００１４】
請求項６の発明は、
入力画像から該入力画像の特徴に基づいて複数の派生画像を分離生成し、前記各派生画像を別々に符号化し、前記複数の派生画像の符号化データを結合してマルチレイヤ構造データを生成する画像処理方法において、
前記マルチレイヤ構造データのデータ量が制限量以下となるように、前記複数の派生画像中の符号割り当て優先度が低い少なくとも一つの派生画像の符号化データについて符号量を制御することを特徴とする画像処理方法である。
【００１５】
請求項７の発明は、請求項６の発明に係る画像処理方法において、
前記少なくとも一つの派生画像の符号化データは、その符号の削除により画質を多段階に制御可能な符号化データであって、
前記少なくとも一つの派生画像の符号化データについて符号削除により符号量を制御することを特徴するものである。
【００１６】
請求項８の発明は、請求項７の発明に係る画像処理方法において、
前記少なくとも一つの派生画像の符号化データについて符号の並べ替え処理を行ってから符号削除を行うことを特徴とするものである。
【００１７】
請求項９の発明は、請求項７の発明に係る画像処理方法において、
前記少なくとも一つの派生画像の符号化データについて部分符号ごとに優先度が付けられており、
前記少なくとも一つの派生画像の符号データについて、優先度の低い部分符号から優先度の高い部分符号へと順に符号削除を行うことを特徴とするものである。
【００１８】
請求項１０の発明は、請求項６の発明に係る画像処理方法において、前記少なくとも一つの派生画像の符号化過程において符号化データの符号量を制御することを特徴とするものである。
【発明の効果】
【００１９】
本発明の画像処理装置又は画像処理方法によれば、マルチレイヤ画像を合成した時に得られる画像の劣化を抑えつつ、データ量を限度量以下に抑えたマルチレイヤ構造データを生成することができる。
【図面の簡単な説明】
【００２０】
【図１】レイヤ画像（派生画像）の分離生成の説明図である。
【図２】レイヤ画像毎の符号化の説明図である。
【図３】本発明に係る画像処理装置が用いられるシステム例の説明図である。
【図４】本発明に係る画像処理装置の内部構成例を示すブロック図である。
【図５】実施例１における処理説明のためのフローチャートである。
【図６】符号削除前後の出力データ量を説明するための図である。
【図７】符号並べ替えの説明のための図である。
【図８】実施例２における処理説明のためのフローチャートである。
【図９】実施例３における処理説明のためのフローチャートである。
【図１０】ＪＢＩＧ２の符号化領域の説明図である。
【図１１】ＪＢＩＧ２のテキスト符号化プロセスの説明図である。
【図１２】符号の優先度付けの例を示す図である。
【発明を実施するための形態】
【００２１】
まず、マルチレイヤ構造を利用した画像圧縮方法について簡単に説明する。
【００２２】
図１は、ＭＲＣ（ミクスト・ラスター・コンテント）構成のフォーマットに変換する例を示しており、入力画像１から、３つのレイヤ画像すなわち背景画像４と前景画像３とマスク画像２とを分離生成する。マスク画像とは、マスク画像中のある画素について、マルチレイヤ画像合成時に、背景画素と前景画素のどちらを選択するかを表した選択データのことである。
【００２３】
なお、ＭＲＣは、図１の構成に限定されず、背景画像と、その上に重ね合わされる、透過画素を含んだ複数の前景画像に分離される構成などが存在するが、ここでは簡単のため図１の構成を例に説明する。
【００２４】
次に、入力画像１から複数のレイヤ画像（ここでは、マスク画像２、前景画像、背景画像）を分離生成する方法について説明する。
【００２５】
スキャンされた画像を入力画像１とし、入力画像１から画像のエッジ強度、明度などの特徴を抽出する。通常、画像中の文字領域と自然画領域とでは、エッジや、画素であるサンプルの周波数が異なるので、文字領域と自然画領域を分離するために必要な特徴としてエッジ強度や明度などの特徴を抽出することができる。
【００２６】
抽出した入力画像の特徴に基づいて分離情報を生成する。分離情報とは、入力画像１の各画素を背景と前景のどちらに分離するかを表す情報である。つまり、分離情報は、マルチレイヤ合成時に、背景と前景のどちらの画素を重ね合わせに選択するかという情報であるマスク画像を生成するために直接扱う情報である。
【００２７】
分離情報によりマスク画像２を生成する。マスク画像は、前述したように、重ね合わせに背景と前景のどちらの画素を選択するかを示したもので、二値データであらわされることが多い。例えば、マスク画像は、背景の画素を使う画素を０、前景の画素を使う画素を１とした二値のビットマップデータとして生成される。マスク画像２は、画像中の文字などのディテールを形成するので、入力画像と同じ解像度の画像として生成するのが一般に好ましい。
【００２８】
また、入力画像１と、入力画像の各画素を背景、前景のどちらに分離するかを表す分離情報とを入力として、背景画像４と前景画像３を生成する。背景画像４と前景画像３の生成の基本的な考え方は、分離情報によって背景とされる入力画像１中の画素から背景画像４を生成し、分離情報によって前景とされる入力画像１中の画素から前景画像３を生成するというものである。
【００２９】
なお、圧縮率向上の目的で、前景画像３と背景画像４について解像度を下げる解像度変換を施したり、背景画像生成の際に入力画像１から前景画像４を除去した部分を近傍画素で穴埋めしたりするような処理を行っても良い。
【００３０】
次に、生成されたレイヤ画像（マスク画像２、背景画像３、前景画像４）をそれぞれ別個に圧縮する。すなわち、図２に示すように、マスク画像２については、それが二値画像であれば、二値画像符号化方式である例えばＭＭＲ（あるいはＪＢＩＧ、ＪＩＢＧ２など）を用いて圧縮し、多値画像である背景画像４と前景画像３についてはそれぞれ多値画像符号化方式を用いて圧縮する。背景画像４や前景画像３の符号量制御を行う場合、背景画像４や前景画像３の符号化方式として例えばＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１，ＩＴＵ−ＴＴ．８００）が用いられる。
【００３１】
最後に、マスク画像２、背景画像４、前景画像３の符号化データを結合してＰＤＦなどのマルチレイヤ構造データを生成する。例えばＰＤＦの場合、レイヤの重ね合わせのための下地画像データ、上から重ねる画素の選択データ、上から重ねる画像データ、各データの画素数、各データのフィルタ形式を示したファイルとなる。
【００３２】
以上の説明を踏まえ、本発明の実施形態について以下に詳述する。
【００３３】
図３は、本発明の一実施形態に係る画像処理装置１０１が、画像入力装置１０２及び画像送信装置１０３と連携して、ネットワーク１０５上のクライアントコンピュータ１０４へ、マルチレイヤ構造データを送信するシステムの構成例を示している。ここで、画像入力装置１０２は、典型的にはスキャナなどの光学読み取り装置である。画像送信装置１０３は、メールサーバやネットワーク上のクライアントコンピュータ１０４に対してデータの読み書きを行うＳＭＢサーバなどを指す。
【００３４】
図４は、画像処理装置１０１の内部構成の一例を示すブロック図である。この例では、画像処理装置１０１は、入力画像から複数のレイヤ画像（派生画像）を分離生成する画像分離部１５１、それら複数のレイヤ画像をそれぞれ別個に符号化する符号化部１５２、レイヤ画像の符号化データから符号を削除することより符号量制御を行う符号量制御部１５３、符号量制御後の各レイヤ画像の符号化データを結合してＰＤＦファイルのようなマルチレイヤ構造データを生成するマルチレイヤ構造化部１５４、生成されたＰＤＦファイル等のマルチレイヤ構造データの保存に利用されるハードディスク（ＨＤＤ）１５５、当該装置の動作を制御するシステム制御部１５６から構成される。出力データすなわちＰＤＦファイルなどのマルチレイヤ構造データに関するデータ量の制限量（後述）の指定などをユーザが行うためのユーザ入力部１５７を、画像処理装置１０１に備えることができる。なお、データ量の制限量の指定をネットワーク上のクライアントコンピュータ１０４から行う構成等も可能である。制限量として予め固定値を設定しておく場合には、制限量をユーザが指定するための手段を備える必要はない。
【００３５】
以下、画像処理装置１０１における処理について、いくつかの実施例を挙げ具体的に説明する。
【実施例１】
【００３６】
図５は、本実施例に係る画像処理装置１０１の処理を説明するためのフローチャートである。以下、図５に示す処理フローに沿って説明する。
【００３７】
＜ステップ２０１＞ 画像分離部１５１において、画像入力装置１０２から取り込まれた入力画像からエッジなどの局所的な特徴を抽出し、抽出した特徴に基づいて入力画像上の各画素を文字画素と絵柄画素のいずれかに分離する。そして、入力画像上の各画素が文字画素なのか絵柄画素なのかを二値情報で示すマスク（選択）画像と、文字画素の色情報から作られる前景画像と、絵柄画素の色情報から作られる背景画像の３つレイヤ画像（派生画像）を生成する。
【００３８】
＜ステップ２０２＞ 符号化部１５２において、画像分離部１５１で生成された各レイヤ画像をそれぞれ別個に符号化して圧縮する。マスク画像は二値データであるため、二値画像符号化方式である例えばMMRにより符号化する。ただし、マスク画像の符号化方式として、ＭＭＲ以外のＪＢＩＧ、ＪＢＩＧ２などを用いてもよい。前景画像と背景画像は多値データであるため、それぞれ多値画像符号化方式であるＪＰＥＧ２０００を用いて符号化する。ＪＰＥＧ２０００符号化データは、符号削除によって画質を多段階に制御可能な符号化データであり、符号削除により符号量制御を行う場合に好適である。
【００３９】
＜ステップ２０３＞ 符号量制御部１５３において、前ステップで得られた３つのレイヤ画像の符号化データをそのまま（符号削減を行うことなく）結合して出力データであるマルチレイヤ構造データを生成した場合におけるデータ量（出力データ量）を算出する。この出力データ量は、図６の上段に示すように、ステップ２０２で得られたマスク（選択）画像、背景画像及び前景画像の符号化データのデータ量に、マルチレイヤ構造化に関わるフォーマット記述のためのデータ量を加算することにより求まる。例えば、マルチレイヤ構造データとしてＰＤＦファイルを生成する場合、ＰＤＦファイルのフォーマット記述としてページオブジェクト記述、コンテンツオブジェクト記述、画像マスクオブジェクト記述、画像オブジェクト記述、そして画像の符号化方式を示すフィルタ記述があるので、これらのフォーマット記述のデータ量と各レイヤ画像の符号化データのデータ量を加算した値が出力データ量となる。
【００４０】
＜ステップ２０４＞ 符号量制御部１５３において、前ステップで算出された出力データ量が制限量以内であるか否か判定する。なお、制限量は、予め決められた固定値である場合と、ユーザ入力部１５７等を通じてユーザにより指定された値である場合とがある。出力データ量が制限量以内であれば符号削除による符号量制御の必要はないのでステップ２０８のマルチレイヤ構造化処理に進むが、出力データ量が制限量を超えているならば次のステップ２０４へ進む。
【００４１】
＜ステップ２０５＞ 符号量制御部１５３において、ステップ２０３で算出された出力データ量から制限量を減算して制限量オーバー分を算出し、この制限量オーバー分より制御対象レイヤ画像（ここでは背景画像とする）の符号量が大きいか判定する。制御対象レイヤ画像の符号量が制限量オーバー分以下と判定した場合（ステップ２０５，ｎｏ）、制御対象レイヤ画像の符号の削除によっては最終的な出力データ量を制限量以内に収めることは不可能であるため、システム制御部１５６はエラー制御を行う（ステップ２０６）。制御対象レイヤ画像の符号量が制限量オーバー分を超えている場合（ステップ２０５，ｙｅｓ）、処理は次ステップ２０７に進む。
【００４２】
＜ステップ２０７＞ 符号量制御部１５３において、制御対象レイヤ画像である背景画像のＪＰＥＧ２０００符号化データより、前ステップで算出された制限量オーバー分の符号を削除することにより、図６の下段に示すように、出力データ量を制限量以内に調整する。
【００４３】
なお、符号の削除方法であるが、最も単純には、ＪＰＥＧ２０００符号化データの末尾から制限量オーバー分の符号を削除すればよい。ＪＰＥＧ２０００のデコーダは、符号が無くなった時点でエントロピー復号であるＭＱデコードを中断し、その時点までの復号結果を使って画像を生成することができるからである。
【００４４】
しかし、符号削除による画質劣化を極力目立たなくするために、符号量制御部１５３において、例えば、図７の上段に示すように異なった解像度の符号が散在しているような符号化データを、下段に示すように同じ解像度の符号をまとめ低解像度のものから順に並ぶように符号の並べ替えを行ってから、末尾の符号より順に削除するようにしてもよい。
【００４５】
ここで例にしているＪＰＥＧ２０００の符号化データの場合、基本仕様では５種類の符号の並び順（プログレッションオーダ）が定義されている。例えば、ポジション（Ｐ）順に符号を並べたＰＣＲＬプログレッションオーダの符号化データの場合、末尾から符号を削除すると、画像の空間的な一部領域の画質劣化が目立って好ましくない。このような符号化データの場合、レイヤ（Ｌ）順に符号を並べたＬＲＣＰプログレッションオーダ、あるいは、解像度（Ｒ）順に符号を並べたＲＬＣＰプログレッションオーダに符号の並べ替えを行った後に符号化データの末尾より符号削除を行うならば、符号削除により画像全体で緩やかに画質が落ちるようになるので、符号削除による画質劣化は目立ちにくくなる。ＪＰＥＧ２０００の符号化データは、符号状態のまま（復号することなく）、そのような符号の並べ換えを行ってプログレッションオーダの異なった符号化データを容易に再構成可能である。かかる符号の並べ替えを行ってから符号削除を行う態様も、実施例に含まれる。
【００４６】
ここまで触れなかったが、本実施例においては、背景画像に低い符号割り当て優先度が設定され、マスク画像と前景画像には高い符号割り当て優先度が設定されている。符号削除による符号量制御は、符号割り当て優先度がいレイヤ画像の符号データを対象として実行されるため、ここでは背景画像の符号化データのみが符号量制御対象となった。
【００４７】
しかし、例えば、背景画像に対し最も低い符号割り当て優先度を設定し、前景画像に対し次に低い符号割り当て優先度を設定し、マスク画像に高い符号割り当て優先度を設定することも可能である。そして、ステップ２０７で、符号割り当て優先度の最も低い背景画像の符号データを符号量制御対象として符号削除による符号量制御を行い、それでは必要な符号量削減ができない場合に、符号割り当て優先度が次に低い前景画像の符号化データを対象として符号削除を行うようにすることも可能である。このような態様も本実施例に包含される。
【００４８】
＜ステップ２０８＞ マルチレイヤ構造化部１５４において、前ステップまでに得られた各レイヤの符号化データを必要なフォーマット記述を付加して結合し（図６参照）、マルチレイヤ構造データ（ファイル）を生成する。ここではマルチレイヤ構造データとしてＰＤＦファイルを生成するものとすると、ページオブジェクトの構成、画像の重ね合わせの順番、マスク画像の指定などをフォーマット記述として加える。また、画像符号のフィルタ指定には符号の長さを記述する項目があるが、長さは前ステップで削除した後の符号量を記述する。生成されたＰＤＦファイルは例えばＨＤＤ１５５書き込まれる。
【００４９】
＜ステップ２０９＞ システム制御部１５６により、ＨＤＤ１５５に書き込まれたＰＤＦファイルが読み出されて画像送信装置１０３へ渡される。画像送信装置１０３は、例えばメールサーバの機能を含み、渡されたＰＤＦファイルを添付したメールを作成し、送信先のクライアントコンピュータ１０４のメールアドレスを指定してネットワーク１０５を介し送信することになる。
【実施例２】
【００５０】
図８は、本実施例に係る画像処理装置１０１の処理を説明するためのフローチャートである。以下、図８に示す処理フローに沿って説明する。
【００５１】
＜ステップ３０１＞ 図５のステップ２０１と同様に、画像分離部１５１において入力画像からマスク画像、前景画像、背景画像という３つのレイヤ画像（派生画像）を分離生成する。
【００５２】
＜ステップ３０２＞ 符号化部１５２において、３つのレイヤ画像のうち、符号量の制御対象でないレイヤ画像のみ符号する。ここでは、マスク画像と前景画像に対し高い符号割り当て優先度が設定され、背景画像に対し低い符号割り当て優先度が設定されており、背景画像だけを符号量の制御対象とし、マスク画像および前景画像について符号化する。各レイヤ画像に用いる符号化方式は図５のステップ２０２の場合と同様である。
【００５３】
＜ステップ３０３＞ 符号量制御部１５３において、前ステップで得られた符号量制御対象でないマスク画像と前景画像の符号化データのデータ量と、ＰＤＦのォーマット記述に必要なデータ量とを加算した値を、出力データ量として求める。
【００５４】
＜ステップ３０４＞ 符号量制御部１５３において、前ステップで算出した出力データ量が、ユーザにより指定された又は予め決められた制限量以内であるか判定する。出力データ量が制限量を超えている場合、制御対象である背景画像の符号を収容する余地はないので、システム制御部１５６はエラー制御を行う（ステップ３０５）。出力データ量が制限量以内であれば次のステップ３０６の処理に進む。
【００５５】
＜ステップ３０６＞ 符号量制御部１５３において、ステップ３０３で算出された符号量制御対象レイヤ画像の符号を含まない出力データ量を制限量から差し引いた値を許容符号量として求める。
【００５６】
＜ステップ３０７＞ 符号化部１５２において符号量制御対象である背景画像のＪＰＥＧ２０００符号化を行う。ただし、前ステップで算出した許容符号量を符号化部１５２に指定し、符号化部１５２において符号化過程で符号量が指定された許容符号量を超えないように符号量制御を行う。このようなＪＰＥＧ２０００の符号化過程での符号量制御に関しては、例えば特許文献３、その他の数多くの文献で明らかにされているので、これ以上は説明しない。
【００５７】
なお、符号化部１５２において許容符号量を指定しないで符号化を行わせ、生成された符号化データに対し符号量制御部１５３で符号削除により符号量を許容符号量以下まで削減するようにすることも可能であり、かかる態様も本実施例に包含される。
【００５８】
＜ステップ３０８＞ 図５のステップ２０８の場合と同様に、マルチレイヤ構造化部１５４において、ステップ３０２で生成されたマスク画像と前景画像の符号化データと、ステップ３０７で生成された背景画像の符号化データとを、必要なフォーマット記述を付加して結合しマルチレイヤ構造データであるＰＤＦファイルを生成する。このＰＤＦファイルはＨＤＤ１５５に書き込まれる。
【００５９】
＜ステップ３０９＞ 図５のステップ２０９と同様に、システム制御部１５６によりＨＤＤ１５５からＰＤＦファイルが読み出されて画像送信装置１０３へ渡される。このＰＤＦファイルは、メールの添付ファイルなどとして送信先のクライアントコンピュータ１０４へ送信されることになる。
【実施例３】
【００６０】
図９は、本実施例に係る画像処理装置１０１の処理を説明するためのフローチャートである。以下、図９に示す処理フローに沿って説明する。
【００６１】
＜ステップ４０１＞ 図５のステップ２０１と同様に、画像分離部１５１において、入力画像から３つのレイヤ画像（派生画像）、すなわちマスク画像と前景画像と背景画像を分離生成する。
【００６２】
＜ステップ４０２＞ 符号化部１５２において、各レイヤ画像を別々に符号化する。前記実施例１，２の場合と同様に、前景画像と背景画像は多値画像符号化方式のＪＰＥＧ２０００で符号化するが、マスク画像については、ＭＭＲではなくＪＢＩＧ２（ＩＴＵ−ＴＴ．８８）で符号化する。
【００６３】
ＪＢＩＧ２はロスレス符号化もロッシー符号化も可能であり、ロッシー符号化によれば画質劣化は生じるが符号量を小さくすることができる。図１０にＪＢＩＧ２の符号化領域を示し、図１１にＪＢＩＧ２のテキスト符号化プロセスを示す。
【００６４】
ＪＢＩＧ２の符号化領域は、図１０に示すように、「テキスト領域」「一般補正領域」「一般領域」「ハーフトーン領域」の４つに分かれる。
【００６５】
これら４領域のうち、テキスト領域については、図１１に示すように、画像中に現れるシンボルを検出してビットマップのパターンを作り（「シンボル切り分け」）、そのシンボルを「シンボル辞書」に登録する。切り出されたシンボルはシンボル辞書に登録されているシンボルと比較される（「シンボル比較」）。シンボル比較で一致した場合、つまり画像中に登録済みのシンボルと同様のシンボルが現れたときには、シンボルのビットマップではなく、比較が一致した登録済みシンボルのインデックスと画像上での当該シンボルの位置を符号化する（「符号化」）。「一般補正領域」は、「テキスト領域」で一致させたシンボルとの差異を補正するビットマップを符号化する。すなわち、図１１において、切り出されたシンボルと登録済みシンボルとが「シンボル比較」で一致すると判断されたときに、それらシンボルの差分を補正するビットマップが「シンボル補正」で生成され、このビットマップ（「補正」）が符号化される。シンボル辞書に登録されたシンボルも符号化される。なお、「ハーフトーン領域」は中間調処理やディザ処理されたビットマップを符号化し、「一般領域」は残りの孤立点などを符号化する。
【００６６】
ＪＢＩＧ２においてロッシー符号化する方法はいくつか存在するが、例えば符号化時に一般補正領域の符号化を行わない方法（図１１における「シンボル補正」の処理を省く）や、符号化後に「一般補正領域」の符号を削除する方法により、ロスレス符号化の場合より符号量を確実に減らすことができる。
【００６７】
＜ステップ４０３＞ 符号量制御部１５３において、３つのレイヤ画像の符号化データの削除可能な符号（後述）を削除したときの、それら符号化データの合計データ量と、フォーマット記述のためのデータ量とを加算した値を出力データ量として算出する。
【００６８】
＜ステップ４０４＞ 符号量制御部１５３において、前ステップで算出した出力データ量が制限量以内であるか判定する。出力データ量が制限量を超える場合、符号削除によって最終的な出力データ（ＰＤＦファイル）のデータ量を制限量以内に減らすことは不可能であるので、システム制御部１５６でエラー制御を行う（ステップ４０５）。出力データ量が制限量以内と判定したときには次ステップ４０６の処理に進む。
【００６９】
＜ステップ４０６＞ 本実施例では、各レイヤ画像の符号化データに部分符号毎の優先度を付け、優先度の低い部分符号から優先度の高い部分符号へと順に符号削除を行って、出力データ量を制限量まで減少させる。
【００７０】
前景画像と背景画像のＪＰＥＧ２０００符号化データの場合、解像度や品質を高める部分を部分符号と考えて優先度を付ける。同様に、マスク画像のＪＢＩＧ２符号化データにおける一般補正領域符号やハーフトーン符号を、画質を高める部分符号と捉えて優先度を付ける。
【００７１】
このような優先度付けの例を図１２に示す。この例の場合、まず、最も優先度の低い、前景画像のＪＰＥＧ２０００符号化データ中の解像度レベル５の符号を削除し、さらに符号削除が必要ならば、次に優先度の低い、背景画像のＪＰＥＧ２０００符号化データ中の解像度レベル５の符号を削除し、さらに符号削除が必要ならば、マスク画像のＪＢＩＧ２符号化データ中の一般補正領域符号を削除する。さらに符号削除が必要ならば、前景画像のＪＰＥＧ２０００符号化データ中の解像度レベル４の符号、背景画像のＪＰＥＧ２０００符号化データの解像度レベル４の符号、マスク画像のＪＢＩＧ２符号化データの一般領域符号というように順に符号削除を行う。このような優先度の低い部分符号から優先度の高い部分符号へと順に削除して出力データ量を制御することで、マルチレイヤ画像を合成したときの画質劣化を目立ちにくくすることができる。
【００７２】
なお、ステップ４０３における「削除可能な符号」とは、図１２の例のように符号削除の順位付けがなされた符号のことである。
【００７３】
ここまでの説明及び図１２から理解されるように、本実施例においては、マスク画像、前景画像、背景画像に対し同等の符号割り当て優先度が設定されているので、これらレイヤ画像間での符号量削除の先後は、図１２に示したような部分符号ごとに付けられた優先度のみにより決まる。
【００７４】
ただし、例えば、マスク画像に対し高い符号割り当て優先度を設定し、前景画像と背景画像に対し低い符号割り当て優先度を設定し、符号割り当て優先度の低い前景画像と背景画像についてのみ図１２に示すような部分符号ごとの優先度を設定することもできる。この場合、符号割り当て優先度の低い前景画像と背景画像の符号化データを対象として、部分符号ごとに設定された優先度の低い符号から高い符号へと順に符号削除を行って出力データ量を限度量以下まで削減することになる。かかる態様も本実施例に包含される。
【００７５】
＜ステップ４０７＞ 図５のステップ２０８と同様に、マルチレイヤ構造化部１５４において、前ステップで必要な符号削除が行われた各レイヤ画像の符号化データを、必要なフォーマット記述を付加して結合することによりマルチレイヤ構造データであるＰＤＦファイルを生成する。このＰＤＦファイルはＨＤＤ１５５に書き込まれる。
【００７６】
＜ステップ４０８＞ 図５のステップ２０９と同様に、ＨＤＤ１５４からＰＤＦファイルが読み出されて画像送信装置１０３へ渡される。
【００７７】
なお、以上の説明は、本発明の画像処理方法の説明を兼ねていることは明らかである。よって、画像処理方法についての説明は繰り返さない。
【００７８】
また、以上の各実施例に係る画像処理装置の処理フローの各工程をコンピュータに実行させるプログラム、及び、同プログラムが記録されているコンピュータが読み取り可能な各種の記録媒体も本発明に包含される。
【符号の説明】
【００７９】
１ 入力画像
２ マスク画像
３ 前景画像
４ 背景画像
１０１ 画像処理装置
１０２ 画像入力装置
１０３ 画像送信装置
１０４ クライアントコンピュータ
１０５ ネットワーク
１５１ 画像分離部
１５２ 符号化部
１５３ 符号量制御部
１５４ マルチレイヤ構造化部
１５５ ＨＤＤ
１５６ システム制御部
１５７ ユーザ入力部
【先行技術文献】
【特許文献】
【００８０】
【特許文献１】特開２００８−２３６１６９号公報
【特許文献２】特許第３７６５１７７号公報
【特許文献３】特許第４０６４２７９号公報
【技術分野】
【０００１】
本発明は、スキャン画像等からマルチレイヤ画像データを生成する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
入力画像を、その画像の領域から得られる特徴に基づいてフォーマット変換し、文字画像と自然画画像と、そのどちらの画像を選択するかを示すマスク画像（選択データ）とからなるマルチレイヤ構造に分解することで、文字のエッジを保ち、自然画領域が滑らかな画質を保ちながらデータ量を小さくする技術が知られている（例えば特許文献１参照）。
【０００３】
ところで、メール送受信システムでは、大容量のデータを送受信することによるシステムの速度低下の防止や、システムのディスク容量を使い切ってしまうことによって他のアカウントが使用できなくなるなどの不具合の防止するため、送信や受信のデータ容量の上限を設定するケースが多い。
【０００４】
このようなケースにおいて、データ容量の上限を超えて送信しようとした場合、通常は送信側でその処理が失敗する。また、受信側の容量上限を超えた容量を送信した場合、送信側では処理が成功するが、受信側で処理を失敗するので結果的にデータを届けることが出来なくなる。
【０００５】
以上のような背景において、マルチレイヤ構造を利用した圧縮によって生成されるマルチレイヤ構造データのデータ量を、所定もしくは指定された限度量以下に制御できれば、メール送受信のみならず、データ利用において望ましいことである。さらに、送受信される画像データの容量の制限下においては、より画質劣化が少ないデータを出力することが望ましい。
【０００６】
なお、特許文献２には、マルチレイヤ画像変換時のバッファ容量制限に対応するため、送信時に相手のバッファサイズに合わせた帯状領域に分割して送信し、その際に、帯状に分割した境界においてズレの不具合を生じないよう、１ラインのすべての画素が所定の色であるラインの開始ラインまたは終了ラインを検出し、そのラインで分割する、という技術が開示されている。
【０００７】
また、特許文献３には、ＪＰＥＧ２０００符号化過程において、指定した圧縮率で符号を生成するように制御するレートコントロール技術が開示されている。この例にあるように、ＪＰＥＧ２０００は、解像度又は画質のスケーラビリティを持ち、解像度や画質をオリジナルより落とすことによって、生成される符号量を柔軟に変化させることが容易である。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
よって、本発明の目的は、マルチレイヤ画像を合成した時に得られる画像の劣化を抑えつつ、データ量を限度量以下に抑えたマルチレイヤ構造データを生成することができる画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００９】
請求項１の発明は、
入力画像から該入力画像の特徴に基づいて複数の派生画像を分離生成し、前記各派生画像を別々に符号化し、前記複数の派生画像の符号化データを結合してマルチレイヤ構造データを生成する画像処理装置において、
前記マルチレイヤ構造データのデータ量が制限量以下となるように、前記複数の派生画像中の符号割り当て優先度が低い少なくとも一つの派生画像の符号化データについて符号量を制御する手段を有することを特徴とする画像処理装置である。
【００１０】
請求項２の発明は、請求項１の発明に係る画像処理装置において、
前記少なくとも一つの派生画像の符号化データは、その符号の削除により画質を多段階に制御可能な符号化データであって、
前記符号量を制御する手段は、前記少なくとも一つの派生画像の符号化データについて符号削除により符号量を制御することを特徴するものである。
【００１１】
請求項３の発明は、請求項２の発明に係る画像処理装置において、
前記符号量を制御する手段は、前記少なくとも一つの派生画像の符号化データについて符号の並べ替え処理を行ってから符号削除を行うことを特徴とするものである。
【００１２】
請求項４の発明は、請求項２の発明に係る画像処理装置において、
前記少なくとも一つの派生画像の符号化データについて部分符号ごとに優先度が付けられており、
前記符号量を制御する手段は、前記少なくとも一つの派生画像の符号データについて、優先度の低い部分符号から優先度の高い部分符号へと順に符号削除を行うことを特徴とするものである。
【００１３】
請求項５の発明は、請求項１の発明に係る画像処理装置において、
前記符号量を制御する手段は、前記少なくとも一つの派生画像の符号化過程において符号化データの符号量を制御することを特徴とするものである。
【００１４】
請求項６の発明は、
入力画像から該入力画像の特徴に基づいて複数の派生画像を分離生成し、前記各派生画像を別々に符号化し、前記複数の派生画像の符号化データを結合してマルチレイヤ構造データを生成する画像処理方法において、
前記マルチレイヤ構造データのデータ量が制限量以下となるように、前記複数の派生画像中の符号割り当て優先度が低い少なくとも一つの派生画像の符号化データについて符号量を制御することを特徴とする画像処理方法である。
【００１５】
請求項７の発明は、請求項６の発明に係る画像処理方法において、
前記少なくとも一つの派生画像の符号化データは、その符号の削除により画質を多段階に制御可能な符号化データであって、
前記少なくとも一つの派生画像の符号化データについて符号削除により符号量を制御することを特徴するものである。
【００１６】
請求項８の発明は、請求項７の発明に係る画像処理方法において、
前記少なくとも一つの派生画像の符号化データについて符号の並べ替え処理を行ってから符号削除を行うことを特徴とするものである。
【００１７】
請求項９の発明は、請求項７の発明に係る画像処理方法において、
前記少なくとも一つの派生画像の符号化データについて部分符号ごとに優先度が付けられており、
前記少なくとも一つの派生画像の符号データについて、優先度の低い部分符号から優先度の高い部分符号へと順に符号削除を行うことを特徴とするものである。
【００１８】
請求項１０の発明は、請求項６の発明に係る画像処理方法において、前記少なくとも一つの派生画像の符号化過程において符号化データの符号量を制御することを特徴とするものである。
【発明の効果】
【００１９】
本発明の画像処理装置又は画像処理方法によれば、マルチレイヤ画像を合成した時に得られる画像の劣化を抑えつつ、データ量を限度量以下に抑えたマルチレイヤ構造データを生成することができる。
【図面の簡単な説明】
【００２０】
【図１】レイヤ画像（派生画像）の分離生成の説明図である。
【図２】レイヤ画像毎の符号化の説明図である。
【図３】本発明に係る画像処理装置が用いられるシステム例の説明図である。
【図４】本発明に係る画像処理装置の内部構成例を示すブロック図である。
【図５】実施例１における処理説明のためのフローチャートである。
【図６】符号削除前後の出力データ量を説明するための図である。
【図７】符号並べ替えの説明のための図である。
【図８】実施例２における処理説明のためのフローチャートである。
【図９】実施例３における処理説明のためのフローチャートである。
【図１０】ＪＢＩＧ２の符号化領域の説明図である。
【図１１】ＪＢＩＧ２のテキスト符号化プロセスの説明図である。
【図１２】符号の優先度付けの例を示す図である。
【発明を実施するための形態】
【００２１】
まず、マルチレイヤ構造を利用した画像圧縮方法について簡単に説明する。
【００２２】
図１は、ＭＲＣ（ミクスト・ラスター・コンテント）構成のフォーマットに変換する例を示しており、入力画像１から、３つのレイヤ画像すなわち背景画像４と前景画像３とマスク画像２とを分離生成する。マスク画像とは、マスク画像中のある画素について、マルチレイヤ画像合成時に、背景画素と前景画素のどちらを選択するかを表した選択データのことである。
【００２３】
なお、ＭＲＣは、図１の構成に限定されず、背景画像と、その上に重ね合わされる、透過画素を含んだ複数の前景画像に分離される構成などが存在するが、ここでは簡単のため図１の構成を例に説明する。
【００２４】
次に、入力画像１から複数のレイヤ画像（ここでは、マスク画像２、前景画像、背景画像）を分離生成する方法について説明する。
【００２５】
スキャンされた画像を入力画像１とし、入力画像１から画像のエッジ強度、明度などの特徴を抽出する。通常、画像中の文字領域と自然画領域とでは、エッジや、画素であるサンプルの周波数が異なるので、文字領域と自然画領域を分離するために必要な特徴としてエッジ強度や明度などの特徴を抽出することができる。
【００２６】
抽出した入力画像の特徴に基づいて分離情報を生成する。分離情報とは、入力画像１の各画素を背景と前景のどちらに分離するかを表す情報である。つまり、分離情報は、マルチレイヤ合成時に、背景と前景のどちらの画素を重ね合わせに選択するかという情報であるマスク画像を生成するために直接扱う情報である。
【００２７】
分離情報によりマスク画像２を生成する。マスク画像は、前述したように、重ね合わせに背景と前景のどちらの画素を選択するかを示したもので、二値データであらわされることが多い。例えば、マスク画像は、背景の画素を使う画素を０、前景の画素を使う画素を１とした二値のビットマップデータとして生成される。マスク画像２は、画像中の文字などのディテールを形成するので、入力画像と同じ解像度の画像として生成するのが一般に好ましい。
【００２８】
また、入力画像１と、入力画像の各画素を背景、前景のどちらに分離するかを表す分離情報とを入力として、背景画像４と前景画像３を生成する。背景画像４と前景画像３の生成の基本的な考え方は、分離情報によって背景とされる入力画像１中の画素から背景画像４を生成し、分離情報によって前景とされる入力画像１中の画素から前景画像３を生成するというものである。
【００２９】
なお、圧縮率向上の目的で、前景画像３と背景画像４について解像度を下げる解像度変換を施したり、背景画像生成の際に入力画像１から前景画像４を除去した部分を近傍画素で穴埋めしたりするような処理を行っても良い。
【００３０】
次に、生成されたレイヤ画像（マスク画像２、背景画像３、前景画像４）をそれぞれ別個に圧縮する。すなわち、図２に示すように、マスク画像２については、それが二値画像であれば、二値画像符号化方式である例えばＭＭＲ（あるいはＪＢＩＧ、ＪＩＢＧ２など）を用いて圧縮し、多値画像である背景画像４と前景画像３についてはそれぞれ多値画像符号化方式を用いて圧縮する。背景画像４や前景画像３の符号量制御を行う場合、背景画像４や前景画像３の符号化方式として例えばＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１，ＩＴＵ−ＴＴ．８００）が用いられる。
【００３１】
最後に、マスク画像２、背景画像４、前景画像３の符号化データを結合してＰＤＦなどのマルチレイヤ構造データを生成する。例えばＰＤＦの場合、レイヤの重ね合わせのための下地画像データ、上から重ねる画素の選択データ、上から重ねる画像データ、各データの画素数、各データのフィルタ形式を示したファイルとなる。
【００３２】
以上の説明を踏まえ、本発明の実施形態について以下に詳述する。
【００３３】
図３は、本発明の一実施形態に係る画像処理装置１０１が、画像入力装置１０２及び画像送信装置１０３と連携して、ネットワーク１０５上のクライアントコンピュータ１０４へ、マルチレイヤ構造データを送信するシステムの構成例を示している。ここで、画像入力装置１０２は、典型的にはスキャナなどの光学読み取り装置である。画像送信装置１０３は、メールサーバやネットワーク上のクライアントコンピュータ１０４に対してデータの読み書きを行うＳＭＢサーバなどを指す。
【００３４】
図４は、画像処理装置１０１の内部構成の一例を示すブロック図である。この例では、画像処理装置１０１は、入力画像から複数のレイヤ画像（派生画像）を分離生成する画像分離部１５１、それら複数のレイヤ画像をそれぞれ別個に符号化する符号化部１５２、レイヤ画像の符号化データから符号を削除することより符号量制御を行う符号量制御部１５３、符号量制御後の各レイヤ画像の符号化データを結合してＰＤＦファイルのようなマルチレイヤ構造データを生成するマルチレイヤ構造化部１５４、生成されたＰＤＦファイル等のマルチレイヤ構造データの保存に利用されるハードディスク（ＨＤＤ）１５５、当該装置の動作を制御するシステム制御部１５６から構成される。出力データすなわちＰＤＦファイルなどのマルチレイヤ構造データに関するデータ量の制限量（後述）の指定などをユーザが行うためのユーザ入力部１５７を、画像処理装置１０１に備えることができる。なお、データ量の制限量の指定をネットワーク上のクライアントコンピュータ１０４から行う構成等も可能である。制限量として予め固定値を設定しておく場合には、制限量をユーザが指定するための手段を備える必要はない。
【００３５】
以下、画像処理装置１０１における処理について、いくつかの実施例を挙げ具体的に説明する。
【実施例１】
【００３６】
図５は、本実施例に係る画像処理装置１０１の処理を説明するためのフローチャートである。以下、図５に示す処理フローに沿って説明する。
【００３７】
＜ステップ２０１＞ 画像分離部１５１において、画像入力装置１０２から取り込まれた入力画像からエッジなどの局所的な特徴を抽出し、抽出した特徴に基づいて入力画像上の各画素を文字画素と絵柄画素のいずれかに分離する。そして、入力画像上の各画素が文字画素なのか絵柄画素なのかを二値情報で示すマスク（選択）画像と、文字画素の色情報から作られる前景画像と、絵柄画素の色情報から作られる背景画像の３つレイヤ画像（派生画像）を生成する。
【００３８】
＜ステップ２０２＞ 符号化部１５２において、画像分離部１５１で生成された各レイヤ画像をそれぞれ別個に符号化して圧縮する。マスク画像は二値データであるため、二値画像符号化方式である例えばMMRにより符号化する。ただし、マスク画像の符号化方式として、ＭＭＲ以外のＪＢＩＧ、ＪＢＩＧ２などを用いてもよい。前景画像と背景画像は多値データであるため、それぞれ多値画像符号化方式であるＪＰＥＧ２０００を用いて符号化する。ＪＰＥＧ２０００符号化データは、符号削除によって画質を多段階に制御可能な符号化データであり、符号削除により符号量制御を行う場合に好適である。
【００３９】
＜ステップ２０３＞ 符号量制御部１５３において、前ステップで得られた３つのレイヤ画像の符号化データをそのまま（符号削減を行うことなく）結合して出力データであるマルチレイヤ構造データを生成した場合におけるデータ量（出力データ量）を算出する。この出力データ量は、図６の上段に示すように、ステップ２０２で得られたマスク（選択）画像、背景画像及び前景画像の符号化データのデータ量に、マルチレイヤ構造化に関わるフォーマット記述のためのデータ量を加算することにより求まる。例えば、マルチレイヤ構造データとしてＰＤＦファイルを生成する場合、ＰＤＦファイルのフォーマット記述としてページオブジェクト記述、コンテンツオブジェクト記述、画像マスクオブジェクト記述、画像オブジェクト記述、そして画像の符号化方式を示すフィルタ記述があるので、これらのフォーマット記述のデータ量と各レイヤ画像の符号化データのデータ量を加算した値が出力データ量となる。
【００４０】
＜ステップ２０４＞ 符号量制御部１５３において、前ステップで算出された出力データ量が制限量以内であるか否か判定する。なお、制限量は、予め決められた固定値である場合と、ユーザ入力部１５７等を通じてユーザにより指定された値である場合とがある。出力データ量が制限量以内であれば符号削除による符号量制御の必要はないのでステップ２０８のマルチレイヤ構造化処理に進むが、出力データ量が制限量を超えているならば次のステップ２０４へ進む。
【００４１】
＜ステップ２０５＞ 符号量制御部１５３において、ステップ２０３で算出された出力データ量から制限量を減算して制限量オーバー分を算出し、この制限量オーバー分より制御対象レイヤ画像（ここでは背景画像とする）の符号量が大きいか判定する。制御対象レイヤ画像の符号量が制限量オーバー分以下と判定した場合（ステップ２０５，ｎｏ）、制御対象レイヤ画像の符号の削除によっては最終的な出力データ量を制限量以内に収めることは不可能であるため、システム制御部１５６はエラー制御を行う（ステップ２０６）。制御対象レイヤ画像の符号量が制限量オーバー分を超えている場合（ステップ２０５，ｙｅｓ）、処理は次ステップ２０７に進む。
【００４２】
＜ステップ２０７＞ 符号量制御部１５３において、制御対象レイヤ画像である背景画像のＪＰＥＧ２０００符号化データより、前ステップで算出された制限量オーバー分の符号を削除することにより、図６の下段に示すように、出力データ量を制限量以内に調整する。
【００４３】
なお、符号の削除方法であるが、最も単純には、ＪＰＥＧ２０００符号化データの末尾から制限量オーバー分の符号を削除すればよい。ＪＰＥＧ２０００のデコーダは、符号が無くなった時点でエントロピー復号であるＭＱデコードを中断し、その時点までの復号結果を使って画像を生成することができるからである。
【００４４】
しかし、符号削除による画質劣化を極力目立たなくするために、符号量制御部１５３において、例えば、図７の上段に示すように異なった解像度の符号が散在しているような符号化データを、下段に示すように同じ解像度の符号をまとめ低解像度のものから順に並ぶように符号の並べ替えを行ってから、末尾の符号より順に削除するようにしてもよい。
【００４５】
ここで例にしているＪＰＥＧ２０００の符号化データの場合、基本仕様では５種類の符号の並び順（プログレッションオーダ）が定義されている。例えば、ポジション（Ｐ）順に符号を並べたＰＣＲＬプログレッションオーダの符号化データの場合、末尾から符号を削除すると、画像の空間的な一部領域の画質劣化が目立って好ましくない。このような符号化データの場合、レイヤ（Ｌ）順に符号を並べたＬＲＣＰプログレッションオーダ、あるいは、解像度（Ｒ）順に符号を並べたＲＬＣＰプログレッションオーダに符号の並べ替えを行った後に符号化データの末尾より符号削除を行うならば、符号削除により画像全体で緩やかに画質が落ちるようになるので、符号削除による画質劣化は目立ちにくくなる。ＪＰＥＧ２０００の符号化データは、符号状態のまま（復号することなく）、そのような符号の並べ換えを行ってプログレッションオーダの異なった符号化データを容易に再構成可能である。かかる符号の並べ替えを行ってから符号削除を行う態様も、実施例に含まれる。
【００４６】
ここまで触れなかったが、本実施例においては、背景画像に低い符号割り当て優先度が設定され、マスク画像と前景画像には高い符号割り当て優先度が設定されている。符号削除による符号量制御は、符号割り当て優先度がいレイヤ画像の符号データを対象として実行されるため、ここでは背景画像の符号化データのみが符号量制御対象となった。
【００４７】
しかし、例えば、背景画像に対し最も低い符号割り当て優先度を設定し、前景画像に対し次に低い符号割り当て優先度を設定し、マスク画像に高い符号割り当て優先度を設定することも可能である。そして、ステップ２０７で、符号割り当て優先度の最も低い背景画像の符号データを符号量制御対象として符号削除による符号量制御を行い、それでは必要な符号量削減ができない場合に、符号割り当て優先度が次に低い前景画像の符号化データを対象として符号削除を行うようにすることも可能である。このような態様も本実施例に包含される。
【００４８】
＜ステップ２０８＞ マルチレイヤ構造化部１５４において、前ステップまでに得られた各レイヤの符号化データを必要なフォーマット記述を付加して結合し（図６参照）、マルチレイヤ構造データ（ファイル）を生成する。ここではマルチレイヤ構造データとしてＰＤＦファイルを生成するものとすると、ページオブジェクトの構成、画像の重ね合わせの順番、マスク画像の指定などをフォーマット記述として加える。また、画像符号のフィルタ指定には符号の長さを記述する項目があるが、長さは前ステップで削除した後の符号量を記述する。生成されたＰＤＦファイルは例えばＨＤＤ１５５書き込まれる。
【００４９】
＜ステップ２０９＞ システム制御部１５６により、ＨＤＤ１５５に書き込まれたＰＤＦファイルが読み出されて画像送信装置１０３へ渡される。画像送信装置１０３は、例えばメールサーバの機能を含み、渡されたＰＤＦファイルを添付したメールを作成し、送信先のクライアントコンピュータ１０４のメールアドレスを指定してネットワーク１０５を介し送信することになる。
【実施例２】
【００５０】
図８は、本実施例に係る画像処理装置１０１の処理を説明するためのフローチャートである。以下、図８に示す処理フローに沿って説明する。
【００５１】
＜ステップ３０１＞ 図５のステップ２０１と同様に、画像分離部１５１において入力画像からマスク画像、前景画像、背景画像という３つのレイヤ画像（派生画像）を分離生成する。
【００５２】
＜ステップ３０２＞ 符号化部１５２において、３つのレイヤ画像のうち、符号量の制御対象でないレイヤ画像のみ符号する。ここでは、マスク画像と前景画像に対し高い符号割り当て優先度が設定され、背景画像に対し低い符号割り当て優先度が設定されており、背景画像だけを符号量の制御対象とし、マスク画像および前景画像について符号化する。各レイヤ画像に用いる符号化方式は図５のステップ２０２の場合と同様である。
【００５３】
＜ステップ３０３＞ 符号量制御部１５３において、前ステップで得られた符号量制御対象でないマスク画像と前景画像の符号化データのデータ量と、ＰＤＦのォーマット記述に必要なデータ量とを加算した値を、出力データ量として求める。
【００５４】
＜ステップ３０４＞ 符号量制御部１５３において、前ステップで算出した出力データ量が、ユーザにより指定された又は予め決められた制限量以内であるか判定する。出力データ量が制限量を超えている場合、制御対象である背景画像の符号を収容する余地はないので、システム制御部１５６はエラー制御を行う（ステップ３０５）。出力データ量が制限量以内であれば次のステップ３０６の処理に進む。
【００５５】
＜ステップ３０６＞ 符号量制御部１５３において、ステップ３０３で算出された符号量制御対象レイヤ画像の符号を含まない出力データ量を制限量から差し引いた値を許容符号量として求める。
【００５６】
＜ステップ３０７＞ 符号化部１５２において符号量制御対象である背景画像のＪＰＥＧ２０００符号化を行う。ただし、前ステップで算出した許容符号量を符号化部１５２に指定し、符号化部１５２において符号化過程で符号量が指定された許容符号量を超えないように符号量制御を行う。このようなＪＰＥＧ２０００の符号化過程での符号量制御に関しては、例えば特許文献３、その他の数多くの文献で明らかにされているので、これ以上は説明しない。
【００５７】
なお、符号化部１５２において許容符号量を指定しないで符号化を行わせ、生成された符号化データに対し符号量制御部１５３で符号削除により符号量を許容符号量以下まで削減するようにすることも可能であり、かかる態様も本実施例に包含される。
【００５８】
＜ステップ３０８＞ 図５のステップ２０８の場合と同様に、マルチレイヤ構造化部１５４において、ステップ３０２で生成されたマスク画像と前景画像の符号化データと、ステップ３０７で生成された背景画像の符号化データとを、必要なフォーマット記述を付加して結合しマルチレイヤ構造データであるＰＤＦファイルを生成する。このＰＤＦファイルはＨＤＤ１５５に書き込まれる。
【００５９】
＜ステップ３０９＞ 図５のステップ２０９と同様に、システム制御部１５６によりＨＤＤ１５５からＰＤＦファイルが読み出されて画像送信装置１０３へ渡される。このＰＤＦファイルは、メールの添付ファイルなどとして送信先のクライアントコンピュータ１０４へ送信されることになる。
【実施例３】
【００６０】
図９は、本実施例に係る画像処理装置１０１の処理を説明するためのフローチャートである。以下、図９に示す処理フローに沿って説明する。
【００６１】
＜ステップ４０１＞ 図５のステップ２０１と同様に、画像分離部１５１において、入力画像から３つのレイヤ画像（派生画像）、すなわちマスク画像と前景画像と背景画像を分離生成する。
【００６２】
＜ステップ４０２＞ 符号化部１５２において、各レイヤ画像を別々に符号化する。前記実施例１，２の場合と同様に、前景画像と背景画像は多値画像符号化方式のＪＰＥＧ２０００で符号化するが、マスク画像については、ＭＭＲではなくＪＢＩＧ２（ＩＴＵ−ＴＴ．８８）で符号化する。
【００６３】
ＪＢＩＧ２はロスレス符号化もロッシー符号化も可能であり、ロッシー符号化によれば画質劣化は生じるが符号量を小さくすることができる。図１０にＪＢＩＧ２の符号化領域を示し、図１１にＪＢＩＧ２のテキスト符号化プロセスを示す。
【００６４】
ＪＢＩＧ２の符号化領域は、図１０に示すように、「テキスト領域」「一般補正領域」「一般領域」「ハーフトーン領域」の４つに分かれる。
【００６５】
これら４領域のうち、テキスト領域については、図１１に示すように、画像中に現れるシンボルを検出してビットマップのパターンを作り（「シンボル切り分け」）、そのシンボルを「シンボル辞書」に登録する。切り出されたシンボルはシンボル辞書に登録されているシンボルと比較される（「シンボル比較」）。シンボル比較で一致した場合、つまり画像中に登録済みのシンボルと同様のシンボルが現れたときには、シンボルのビットマップではなく、比較が一致した登録済みシンボルのインデックスと画像上での当該シンボルの位置を符号化する（「符号化」）。「一般補正領域」は、「テキスト領域」で一致させたシンボルとの差異を補正するビットマップを符号化する。すなわち、図１１において、切り出されたシンボルと登録済みシンボルとが「シンボル比較」で一致すると判断されたときに、それらシンボルの差分を補正するビットマップが「シンボル補正」で生成され、このビットマップ（「補正」）が符号化される。シンボル辞書に登録されたシンボルも符号化される。なお、「ハーフトーン領域」は中間調処理やディザ処理されたビットマップを符号化し、「一般領域」は残りの孤立点などを符号化する。
【００６６】
ＪＢＩＧ２においてロッシー符号化する方法はいくつか存在するが、例えば符号化時に一般補正領域の符号化を行わない方法（図１１における「シンボル補正」の処理を省く）や、符号化後に「一般補正領域」の符号を削除する方法により、ロスレス符号化の場合より符号量を確実に減らすことができる。
【００６７】
＜ステップ４０３＞ 符号量制御部１５３において、３つのレイヤ画像の符号化データの削除可能な符号（後述）を削除したときの、それら符号化データの合計データ量と、フォーマット記述のためのデータ量とを加算した値を出力データ量として算出する。
【００６８】
＜ステップ４０４＞ 符号量制御部１５３において、前ステップで算出した出力データ量が制限量以内であるか判定する。出力データ量が制限量を超える場合、符号削除によって最終的な出力データ（ＰＤＦファイル）のデータ量を制限量以内に減らすことは不可能であるので、システム制御部１５６でエラー制御を行う（ステップ４０５）。出力データ量が制限量以内と判定したときには次ステップ４０６の処理に進む。
【００６９】
＜ステップ４０６＞ 本実施例では、各レイヤ画像の符号化データに部分符号毎の優先度を付け、優先度の低い部分符号から優先度の高い部分符号へと順に符号削除を行って、出力データ量を制限量まで減少させる。
【００７０】
前景画像と背景画像のＪＰＥＧ２０００符号化データの場合、解像度や品質を高める部分を部分符号と考えて優先度を付ける。同様に、マスク画像のＪＢＩＧ２符号化データにおける一般補正領域符号やハーフトーン符号を、画質を高める部分符号と捉えて優先度を付ける。
【００７１】
このような優先度付けの例を図１２に示す。この例の場合、まず、最も優先度の低い、前景画像のＪＰＥＧ２０００符号化データ中の解像度レベル５の符号を削除し、さらに符号削除が必要ならば、次に優先度の低い、背景画像のＪＰＥＧ２０００符号化データ中の解像度レベル５の符号を削除し、さらに符号削除が必要ならば、マスク画像のＪＢＩＧ２符号化データ中の一般補正領域符号を削除する。さらに符号削除が必要ならば、前景画像のＪＰＥＧ２０００符号化データ中の解像度レベル４の符号、背景画像のＪＰＥＧ２０００符号化データの解像度レベル４の符号、マスク画像のＪＢＩＧ２符号化データの一般領域符号というように順に符号削除を行う。このような優先度の低い部分符号から優先度の高い部分符号へと順に削除して出力データ量を制御することで、マルチレイヤ画像を合成したときの画質劣化を目立ちにくくすることができる。
【００７２】
なお、ステップ４０３における「削除可能な符号」とは、図１２の例のように符号削除の順位付けがなされた符号のことである。
【００７３】
ここまでの説明及び図１２から理解されるように、本実施例においては、マスク画像、前景画像、背景画像に対し同等の符号割り当て優先度が設定されているので、これらレイヤ画像間での符号量削除の先後は、図１２に示したような部分符号ごとに付けられた優先度のみにより決まる。
【００７４】
ただし、例えば、マスク画像に対し高い符号割り当て優先度を設定し、前景画像と背景画像に対し低い符号割り当て優先度を設定し、符号割り当て優先度の低い前景画像と背景画像についてのみ図１２に示すような部分符号ごとの優先度を設定することもできる。この場合、符号割り当て優先度の低い前景画像と背景画像の符号化データを対象として、部分符号ごとに設定された優先度の低い符号から高い符号へと順に符号削除を行って出力データ量を限度量以下まで削減することになる。かかる態様も本実施例に包含される。
【００７５】
＜ステップ４０７＞ 図５のステップ２０８と同様に、マルチレイヤ構造化部１５４において、前ステップで必要な符号削除が行われた各レイヤ画像の符号化データを、必要なフォーマット記述を付加して結合することによりマルチレイヤ構造データであるＰＤＦファイルを生成する。このＰＤＦファイルはＨＤＤ１５５に書き込まれる。
【００７６】
＜ステップ４０８＞ 図５のステップ２０９と同様に、ＨＤＤ１５４からＰＤＦファイルが読み出されて画像送信装置１０３へ渡される。
【００７７】
なお、以上の説明は、本発明の画像処理方法の説明を兼ねていることは明らかである。よって、画像処理方法についての説明は繰り返さない。
【００７８】
また、以上の各実施例に係る画像処理装置の処理フローの各工程をコンピュータに実行させるプログラム、及び、同プログラムが記録されているコンピュータが読み取り可能な各種の記録媒体も本発明に包含される。
【符号の説明】
【００７９】
１ 入力画像
２ マスク画像
３ 前景画像
４ 背景画像
１０１ 画像処理装置
１０２ 画像入力装置
１０３ 画像送信装置
１０４ クライアントコンピュータ
１０５ ネットワーク
１５１ 画像分離部
１５２ 符号化部
１５３ 符号量制御部
１５４ マルチレイヤ構造化部
１５５ ＨＤＤ
１５６ システム制御部
１５７ ユーザ入力部
【先行技術文献】
【特許文献】
【００８０】
【特許文献１】特開２００８−２３６１６９号公報
【特許文献２】特許第３７６５１７７号公報
【特許文献３】特許第４０６４２７９号公報
【特許請求の範囲】
【請求項１】
入力画像から該入力画像の特徴に基づいて複数の派生画像を分離生成し、前記各派生画像を別々に符号化し、前記複数の派生画像の符号化データを結合してマルチレイヤ構造データを生成する画像処理装置において、
前記マルチレイヤ構造データのデータ量が制限量以下となるように、前記複数の派生画像中の符号割り当て優先度が低い少なくとも一つの派生画像の符号化データについて符号量を制御する手段を有することを特徴とする画像処理装置。
【請求項２】
前記少なくとも一つの派生画像の符号化データは、その符号の削除により画質を多段階に制御可能な符号化データであって、
前記符号量を制御する手段は、前記少なくとも一つの派生画像の符号化データについて符号削除により符号量を制御する、
ことを特徴する請求項１記載の画像処理装置。
【請求項３】
前記符号量を制御する手段は、前記少なくとも一つの派生画像の符号化データについて符号の並べ替え処理を行ってから符号削除を行う、
ことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記少なくとも一つの派生画像の符号化データについて部分符号ごとに優先度が付けられており、
前記符号量を制御する手段は、前記少なくとも一つの派生画像の符号データについて、優先度の低い部分符号から優先度の高い部分符号へと順に符号削除を行う、
ことを特徴とする請求項２記載の画像処理装置。
【請求項５】
前記符号量を制御する手段は、前記少なくとも一つの派生画像の符号化過程において符号化データの符号量を制御する、
ことを特徴とする請求項１記載の画像処理装置。
【請求項６】
入力画像から該入力画像の特徴に基づいて複数の派生画像を分離生成し、前記各派生画像を別々に符号化し、前記複数の派生画像の符号化データを結合してマルチレイヤ構造データを生成する画像処理方法において、
前記マルチレイヤ構造データのデータ量が制限量以下となるように、前記複数の派生画像中の符号割り当て優先度が低い少なくとも一つの派生画像の符号化データについて符号量を制御する、
ことを特徴とする画像処理方法。
【請求項７】
前記少なくとも一つの派生画像の符号化データは、その符号の削除により画質を多段階に制御可能な符号化データであって、
前記少なくとも一つの派生画像の符号化データについて符号削除により符号量を制御する、
ことを特徴する請求項６記載の画像処理方法。
【請求項８】
前記少なくとも一つの派生画像の符号化データについて符号の並べ替え処理を行ってから符号削除を行う、
ことを特徴とする請求項７記載の画像処理方法。
【請求項９】
前記少なくとも一つの派生画像の符号化データについて部分符号ごとに優先度が付けられており、
前記少なくとも一つの派生画像の符号データについて、優先度の低い部分符号から優先度の高い部分符号へと順に符号削除を行う、
ことを特徴とする請求項７記載の画像処理方法。
【請求項１０】
前記少なくとも一つの派生画像の符号化過程において符号化データの符号量を制御することを特徴とする請求項６記載の画像処理方法。
【請求項１】
入力画像から該入力画像の特徴に基づいて複数の派生画像を分離生成し、前記各派生画像を別々に符号化し、前記複数の派生画像の符号化データを結合してマルチレイヤ構造データを生成する画像処理装置において、
前記マルチレイヤ構造データのデータ量が制限量以下となるように、前記複数の派生画像中の符号割り当て優先度が低い少なくとも一つの派生画像の符号化データについて符号量を制御する手段を有することを特徴とする画像処理装置。
【請求項２】
前記少なくとも一つの派生画像の符号化データは、その符号の削除により画質を多段階に制御可能な符号化データであって、
前記符号量を制御する手段は、前記少なくとも一つの派生画像の符号化データについて符号削除により符号量を制御する、
ことを特徴する請求項１記載の画像処理装置。
【請求項３】
前記符号量を制御する手段は、前記少なくとも一つの派生画像の符号化データについて符号の並べ替え処理を行ってから符号削除を行う、
ことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記少なくとも一つの派生画像の符号化データについて部分符号ごとに優先度が付けられており、
前記符号量を制御する手段は、前記少なくとも一つの派生画像の符号データについて、優先度の低い部分符号から優先度の高い部分符号へと順に符号削除を行う、
ことを特徴とする請求項２記載の画像処理装置。
【請求項５】
前記符号量を制御する手段は、前記少なくとも一つの派生画像の符号化過程において符号化データの符号量を制御する、
ことを特徴とする請求項１記載の画像処理装置。
【請求項６】
入力画像から該入力画像の特徴に基づいて複数の派生画像を分離生成し、前記各派生画像を別々に符号化し、前記複数の派生画像の符号化データを結合してマルチレイヤ構造データを生成する画像処理方法において、
前記マルチレイヤ構造データのデータ量が制限量以下となるように、前記複数の派生画像中の符号割り当て優先度が低い少なくとも一つの派生画像の符号化データについて符号量を制御する、
ことを特徴とする画像処理方法。
【請求項７】
前記少なくとも一つの派生画像の符号化データは、その符号の削除により画質を多段階に制御可能な符号化データであって、
前記少なくとも一つの派生画像の符号化データについて符号削除により符号量を制御する、
ことを特徴する請求項６記載の画像処理方法。
【請求項８】
前記少なくとも一つの派生画像の符号化データについて符号の並べ替え処理を行ってから符号削除を行う、
ことを特徴とする請求項７記載の画像処理方法。
【請求項９】
前記少なくとも一つの派生画像の符号化データについて部分符号ごとに優先度が付けられており、
前記少なくとも一つの派生画像の符号データについて、優先度の低い部分符号から優先度の高い部分符号へと順に符号削除を行う、
ことを特徴とする請求項７記載の画像処理方法。
【請求項１０】
前記少なくとも一つの派生画像の符号化過程において符号化データの符号量を制御することを特徴とする請求項６記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−６６４９９（Ｐ２０１１−６６４９９Ａ）
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願番号】特願２００９−２１３１０８（Ｐ２００９−２１３１０８）
【出願日】平成２１年９月１５日（２００９．９．１５）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願日】平成２１年９月１５日（２００９．９．１５）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]