説明

画像処理装置及び画像処理方法

【課題】文字と写真、絵等が混在する画像を高圧縮する画像処理装置において、ユーザが画像圧縮の結果を事前に予測できるようにする。
【解決手段】マスクデータ生成の際にエラー発生可能な箇所を判定する手段と、該判定されたエラー発生可能な箇所の位置と範囲の情報を記録する手段と、マスクデータと各画像レイヤーに加えて、エラー発生可能な箇所の位置と範囲の情報から、重ね合わせ画像を生成する手段とを設ける。エラー発生可能な箇所は、画像の明度変化を測定し、該測定された画像の明度変化にもとづいて判定する。具体的には、明度変化が緩やかな箇所に対応するマスクデータ中の画素有効領域をエラー発生可能な箇所と判定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、文字と写真、絵等が混在する画像を高度に圧縮する画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
文字と写真、絵等が混在する画像を高い圧縮率で圧縮する手法として、文字や写真など特徴ある画像毎に分離し、それぞれに適した圧縮を行い、マスクデータと共に重ね合わせて一つのドキュメント(例えば高圧縮PDF)とする高圧縮技術がある。
【0003】
例えば、図6に示すように、画像を前景(第一画像)と、背景(第二画像)とに分離すると共に、前景又は背景を選択可能なマスクデータを生成し、それぞれを圧縮符号化していた。また、画像を再現する際は、圧縮符号化した前景、背景及びマスクデータをそれぞれ伸長復号化し、マスクデータに基づいて、前景又は背景を選択していた。さらには、第三画像(黒文字)までを用い、より高度な圧縮を行うことも提案されている(特許文献1)。
【0004】
ところで、マスクデータの生成は、明度や文字認識によって行われるため、完全ではなく、図6に示すように、人間の目から見てエラーを含む場合が多々ある。高圧縮PDFにおいては、マスクデータに応じて、統合画像を生成するため、マスクデータのエラーは、文字の視認性を阻害する主要因となる。
【0005】
しかし、今までのシステムにおいては、高圧縮PDFの画像がどのようになっているか、重ね合わせられる各レイヤーのデータを画像展開(ラスタライズ)しない限り、どのような画像が得られたか分からない問題があった。一般的に複数レイヤーを重ね合わせた画像のラスタライズには多くの演算とメモリが必要となるため、コストの限定された組込み機器においては、PDFの生成結果を得ることが困難であり、ユーザーが画像圧縮の結果を確認することが出来ない問題があった。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の課題は、高圧縮PDF等における各レイヤーのデータを画像展開することなく、比較的簡単に、ユーザが画像圧縮の結果を事前に予測することが可能な画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【0007】
本発明は、画像からマスクデータを生成し、該マスクデータをもとに、画像を複数の画像レイヤーに分離し、マスクデータと各画像レイヤーごとに圧縮を行う画像処理装置において、マスクデータ生成の際にエラー発生可能な箇所を判定する手段と、該判定されたエラー発生可能な箇所の位置と範囲の情報を記録する手段と、マスクデータと各画像レイヤーに加えて、エラー発生可能な箇所の位置と範囲の情報から、重ね合わせ画像を生成する手段とを有することを特徴としている。
【0008】
一実施例では、画像の明度変化を測定し、該測定された画像の明度変化にもとづいて、エラー発生可能な箇所を判定する。具体的には、明度変化が緩やかな箇所に対応するマスクデータ中の画素有効領域をエラー発生可能な箇所と判定する。
【0009】
別の実施例では、マスクデータ生成に用いられる黒連結成分の外接矩形の大きさにもとづいて、エラー発生可能な箇所を判定する。具体的には、外接矩形の大きさが所定の閾値の間にある箇所に対応するマスクデータ中の画素有効領域をエラー発生可能な箇所と判定する。また、外接矩形の大きさに応じて、エラー発生可能な箇所の範囲を決める。
【発明の効果】
【0010】
本発明によれば、高圧縮PDF等を構成する各画像レイヤーを生成する際に、画像破壊が起きそうな箇所の重ね合わせ結果を得ることができ、ユーザが画像圧縮の結果を事前に予測することが可能になる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施例1の画像処理装置の全体構成図である。
【図2】明度変化によりエラー発生可能性箇所の判定を説明する図である。
【図3】重ね合わせ画像生成範囲を説明する図である。
【図4】重ね合わせ画像生成に用いるテーブルの具体例を示すである。
【図5】本発明の実施例2の画像処理装置の全体構成図である。
【図6】高圧縮PDFの重ね合わせを説明する図である。
【図7】マスクデータのエラー発生を説明する図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態を図面を用いて詳しく説明する。
【実施例1】
【0013】
本実施例は、マスクデータを生成する際にエラー(画像破壊)が発生しやすいと考えられる箇所を画像の明度変化によって推定するものである。マスクデータのエラー発生箇所はマスクデータの生成ロジックによって異なるが、多くの場合、前景と背景で明度差が少ない箇所はどのような手法によっても、分離が困難である。そこで、本実施例では、マスクデータ生成と平行して、画像の明度変化を測定し、明度変化が小さい箇所に対応するマスクデータ中の画素有効領域をエラーが発生しやすい箇所と判定して、マスクデータ中の当該箇所の座標を抽出する。この抽出した座標を含む所定範囲について、各レイヤーの画像とマスクデータを用いて重ね合わせ画像を生成し表示することで、画像破壊が生じやす箇所を事前に予測することができる。
【0014】
図1に、本実施例にかかる画像処理装置の一例の全体構成図を示す。画像読取部101によって文字と写真、絵等が混在するドキュメント画像を読み取り、画像補正部102によって、この読み取られた画像についてシェーディングやその他の、必要な補正の処理を行う。また、画像補正部102では、画像の拡大縮小などのデジタル変倍処理を行うこともできる。
【0015】
マスク生成部103は、画像補正部102によって必要な補正処理の施された画像を入力して、文字等の前景あるいはそれ以外の背景の画像を選択可能なマスクデータ(選択データ)を生成する。マスクデータの生成手法は、種々の手法が知られているが、本実施例では、明度によってマスクデータを生成するとする。マスクデータは、選択する画像の画素(有効画素)が“1”、それ以外の画素が“0”を示す2値画像である。
【0016】
第一画像生成部104は、マスクデータに基づいて、必要な補正処理の施された画像(ドキュメント画像)から前景等の第一画像を分離・生成する。第二画像生成部105は、同様にマスクデータに基づいて、ドキュメント画像から前景以外の第二画像を分離・生成する。このような第一画像や第二画像などを画像レイヤーと称す。第一画像圧縮部106は、第一画像生成部104で生成された第一画像を該第一画像に適した圧縮手法で圧縮して第一圧縮画像を生成し、第二画像圧縮部107は、第二画像生成部105で生成された第二画像を該第二画像に適した圧縮手法で圧縮して第二圧縮画像を生成する。また、マスク圧縮部108は、マスク生成部103で生成されたマスクデータを圧縮して圧縮マスクデータを生成する。
【0017】
データ統合部109は、第一画像圧縮部106、第二画像圧縮部107、マスク圧縮部108でそれぞれ生成された第一圧縮画像、第二圧縮画像及び圧縮マスクデータを一つの画像ファイル上で統合して統合画像(例えば高圧縮PDF)を生成する。
【0018】
これらのマスクデータ生成、画像分離、画像圧縮、画像統合の動作は従来技術と同様である。本実施例は、このうち、マスクデータの生成の際にエラーが発生しやすい箇所を明度変化を利用して抽出し、これら箇所を含む周囲の重ね合わせ画像をプレビュー可能とするものである。以下、本実施例の特徴的構成・動作を説明する。
【0019】
図1において、明度変化測定部110は、画像補正部102によって必要な補正処理の施された画像を入力して、画素ごとに明度変化量(明度変化率)を測定する。明度変化量は一方向のみでもよいが、主走査・副走査の二方向の明度変化量を合わせることで、より確実な明度変化量を測定することができる。この明度変化量の測定には、微分フィルタ(例えば、Sobelフィルタ、Prewittフィルタ等)を用いる。
【0020】
エラー発生判定部111は、明度変化測定部110で測定された明度変化量とマスク生成部103で生成されたマスクデータを入力して、明度変化が小さい箇所に対応するマスクデータ中の画素有効領域(1と判定された画素領域)をエラーが発生しやすい箇所として抽出する。具体的には、図2に示すように、生成されたマスクデータにおいて、明度の変化量が所定の閾値以上(明度変化が急峻)で、マスク画素有効と判定された箇所a,cは、正常とするが、明度変化量が所定の閾値以下(明度変化が緩やか)で、マスク画素有効と判定された箇所bは、エラー可能性ありとする。エラー発生判定部111は、マスクデータ中のエラー可能性ありと判定された箇所の明度変化量とその座標を出力する。
【0021】
重ね合わせ画像範囲設定部112は、エラー発生判定部111にてマスクデータ中のエラー発生しやすいと判定された箇所の座標をもとに、後述の重ね合わせ画像を生成する範囲(合成画像をプレビューする表示範囲)のサイズを設定する。例えば、表示画面は事前に分かっているため、解像度と表示画面サイズから適切なサイズを算出し、上記座標を含んだ形で、その決められた大きさの矩形を決定する。図3の(a)に、この場合のエラー発生可能性領域と重ね合わせ画像生成範囲の関係の一例を示す。
【0022】
重ね合わせ画像範囲設定部112は、明度変化量と、マスクデータ中のエラー発生しやすいと判定された箇所(エラー発生可能性領域)の座標及び重ね合わせ生成範囲の情報をテーブル113に記録する。図3にテーブル113の一例を示す。テーブル113のエントリーは有限である。そのため、テーブル113のデータを明度変化量の小さい順にソートし、所定以上のデータは破棄するようにしてもよい。
【0023】
画像合成部114は、第一画像生成部104、第二画像生成部105、マスク生成部103で生成された第一画像、第二画像、マスクデータと共にテーブル113からエラー発生可能性領域の座標及び重ね合わせ画像生成範囲の情報を入力して、マスクデータを生成する際にエラー発生(画像破壊)が起こりうる箇所の周囲について、各レイヤーの画像とマスクデータを用いて重ね合わせて合成画像を生成する。この生成された合成画像を表示(プレビュー)することで、ユーザは画像破壊の起こりそうな箇所を確認することができる。また、各レイヤーの画像は圧縮前のものであるため、重ね合わせの方法は、パソコン等のPCビューアなどによって表示される表示方法と同様のものを用いることができる。
【実施例2】
【0024】
本実施例は、マスクデータを生成する際にエラー(画像破壊)が発生しやすいと考えられる箇所を黒連結成分の外接矩形によって推定するものである。マスクデータとして文字マスクデータ(文字選択データ)を生成する際には、黒連結成分の外接矩形の大きさによって文字成分を抽出する方法がある(例えば特許文献2)。この場合、外接矩形がある程度大きければ文字と見なされる。極端に小さい場合はノイズや網点などであり文字成分として見なされない。この場合、文字と見なされないほど小さいが、ノイズとみなされるよりは大きいと判断される場合、マスクデータとしてエラーとなりえる。そこで、本実施例では、外接矩形サイズが所定閾値の間である場合、エラーが発生しやすいとみなし、マスクデータ中の当該箇所の座標を抽出する。これ以外は実施例1と基本的に同様である。
【0025】
図5に、本実施例に係る画像処理装置の一例の全体構成図を示す。図5において、画像読取部101、画像補正部102、第一及び第二画像生成部104,105、第一及び第二画像圧縮部106,107、マスク圧縮部108、データ統合部109の動作は、図1と同様であるので説明を省略する。以下、図1と異なる点について説明する。
【0026】
マスク生成部103では、次のようにしてマスクデータ(文字選択データ)を生成する。まず、画像補正部102によって必要な補正処理の施された画像(ドキュメント画像)を所定の閾値で2値化して2値化画像を生成する。次に、この2値化画像について、黒連結成分を調べてその外接矩形を抽出し、この外接矩形の大きさによって文字部分(前景)を選択し、それ以外の部分(背景)は除去することで、マスクデータ(文字選択データ)を生成する。すなわち、マスクデータは、選択する画像(ここでは文字)の画素(有効画素)が“1”、それ以外の画素が“0”を示す2値画像である。
【0027】
エラー発生判定部211は、マスク生成部103からマスクデータと共に外接矩形サイズ情報を入力して、外接矩形サイズが予め定めた2つの閾値の間にある箇所に対応するマスクデータ中の画素有効領域(1と判定された画素領域)をエラーが発生しやすい箇所(エラー発生可能性領域)として抽出する。そして、エラー発生判定部211は、このマスクデータ中のスラー発生可能性ありと判定された個所の座標とその外接矩形サイズの情報を出力する。
【0028】
重ね合わせ画像範囲設定部212は、エラー発生判定部211にてマスクデータ中のエラー発生しやすいと判定された箇所の座標をもとに、重ね合わせ画像を生成する範囲のサイズを設定する。ここで、サイズを固定する方法は実施例1と同様でよい。サイズを可変にする方法は、本実施例では外接矩形のサイズによってエラーが発生すると推定できるので、その周囲の外接矩形の大きさを確認し、それらを含んだ領域を重ね合わせ画像生成範囲と設定すればよい。先の図3(b)はこれを示している。
【0029】
重ね合わせ画像範囲設定部212は、外接矩形サイズと、マスクデータ中のエラー発生しやすいと判定された箇所(エラー発生可能性領域)の座標及び重ね合わせ生成範囲の情報をテーブル213に記録する。このテーブル213は図4において明度変化量を外接矩形のサイズに置き換えたにすぎない。
【0030】
画像合成部214は、第一画像生成部104、第二画像生成部105、マスク生成部103で生成された第一画像、第二画像、マスクデータと共にテーブル113からエラー発生可能性領域の座標及び重ね合わせ画像生成範囲の情報を入力して、マスクデータを生成する際にエラー発生(画像破壊)が起こりうる箇所の周囲について、各レイヤーの画像とマスクデータを用いて重ね合わせて合成画像を生成する。この生成された合成画像を表示(プレビュー)することで、実施例1と同様に、ユーザは画像破壊の起こりそうな箇所を確認することができる。また、各レイヤーの画像は圧縮前のものであるため、重ね合わせの方法は、パソコン等のPCビューアなどによって表示される表示方法と同様のものを用いることができる。
【0031】
高圧縮PDFにおいて期待される重ね合わせ画像はドキュメント全面についてであるが、ドキュメントの画像サイズは一般的に大きい。例えば300dpi A4サイズで3508×4961であり、これは一般的な液晶などより大きな画素サイズである。この場合、
(i)LCDなどの一般的表示装置で全面を表示することが困難
(ii)重ねあわせ画像を得るには多くのメモリと演算を必要とする
(iii)画像破壊が生じた箇所を視認することが難しい
ことから、画像全体の重ねあわせ画像を生成するのは非常に高コストかつ閲覧性が悪いものとなる。
【0032】
上記各実施形態によれば、画像の一部、すなわち画像破壊が起きる可能性がある箇所の周囲についてのみ重ね合わせ処理を実施し、保持、表示することで、(i)〜(iii)の問題はすべて解消される。また、重ね合わせは、エラー範囲を特定していることからCPUなどの処理によっても現実的なスピードで実行することが可能である。一方、各レイヤーの変倍とマスク画像と各レイヤー画像での論理演算で構成されることからハード化することも容易である。
【符号の説明】
【0033】
101 画像読取部
102 画像補正部
103 マスク生成部
104 第一画像生成部
105 第二画像生成部
106 第一画像圧縮部
107 第二画像圧縮部
108 マスク圧縮部
109 データ統合部
110 明度変化測定部
111 エラー発生判定部
112 重ね合わせ画像範囲設定部
113 テーブル
114 画像合成部
211 エラー発生判定部
212 重ね合わせ画像範囲設定部
213 テーブル
214 画像合成部
【先行技術文献】
【特許文献】
【0034】
【特許文献1】特許第4476172号公報
【特許文献2】特許第4558232号公報

【特許請求の範囲】
【請求項1】
画像からマスクデータを生成し、前記マスクデータをもとに、前記画像を複数の画像レイヤーに分離し、前記マスクデータと各画像レイヤーごとに圧縮して統合する画像処理装置において、
前記マスクデータ生成の際にエラー発生可能な箇所を判定する第1手段と、
前記エラー発生可能な箇所の位置と範囲の情報を記録する第2手段と、
前記マスクデータと各画像レイヤーに加えて、前記エラー発生可能な箇所の位置と範囲の情報から、重ね合わせ画像を生成する第3手段と、
を有することを特徴とする画像処理装置。
【請求項2】
前記画像の明度変化を測定する第4手段を更に有し、
前記第1手段は、前記測定された画像の明度変化にもとづいて、前記エラー発生可能な箇所を判定する、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記第1手段は、前記明度変化が緩やかな箇所に対応する前記マスクデータ中の画素有効領域をエラー発生可能な箇所と判定する、
ことを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記第1手段は、マスクデータ生成に用いられる黒連結成分の外接矩形の大きさにもとづいて、前記エラー発生可能な箇所を判定する、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項5】
前記第1手段は、前記外接矩形の大きさが所定の閾値の間にある箇所に対応する前記マスクデータ中の画素有効領域をエラー発生可能な箇所と判定する、
ことを特徴とする請求項4に記載の画像処理装置。
【請求項6】
前記第1手段は、前記外接矩形の大きさに応じて、前記エラー発生可能な箇所の範囲を決める、
ことを特徴とする請求項4もしくは5に記載の画像処理装置。
【請求項7】
画像からマスクデータを生成し、前記マスクデータをもとに、前記画像を複数の画像レイヤーに分離し、前記マスクデータと各画像レイヤーごとに圧縮して統合する画像処理方法において、
前記マスクデータ生成の際にエラー発生可能な箇所を判定する第1ステップと、
前記エラー発生可能な箇所の位置と範囲の情報を記録する第2ステップと、
前記マスクデータと各画像レイヤーに加えて、前記エラー発生可能な箇所の位置と範囲の情報から、重ね合わせ画像を生成する第3ステップと、
を有することを特徴とする画像処理方法。
【請求項8】
前記画像の明度変化を測定する第4ステップを更に有し、
前記第1ステップは、前記測定された画像の明度変化にもとづいて、前記エラー発生可能な箇所を判定する、
ことを特徴とする請求項7に記載の画像処理方法。
【請求項9】
前記第1ステップは、前記明度変化が緩やかな箇所に対応する前記マスクデータ中の画素有効領域をエラー発生可能な箇所と判定する、
ことを特徴とする請求項8に記載の画像処理方法。
【請求項10】
前記第1ステップは、マスクデータ生成に用いられる黒連結成分の外接矩形の大きさにもとづいて、前記エラー発生可能な箇所を判定する、
ことを特徴とする請求項7に記載の画像処理方法。
【請求項11】
前記第1ステップは、前記外接矩形の大きさが所定の閾値の間にある箇所に対応する前記マスクデータ中の画素有効領域をエラー発生可能な箇所と判定する、
ことを特徴とする請求項10に記載の画像処理方法。
【請求項12】
前記第1ステップは、前記外接矩形の大きさに応じて、前記エラー発生可能な箇所の範囲を決める、
ことを特徴とする請求項10もしくは11に記載の画像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図7】
image rotate

【図6】
image rotate