画像処理装置及び画像処理方法
【課題】カラー画像に含まれるオブジェクト画像とそのオブジェクト画像との境界で偽色が発生するのを防止する。
【解決手段】入力したカラー画像の複数の色成分のうちの少なくとも1つ以上の色成分の解像度が他の色成分の解像度より粗い画像を下地画像として保持する。オブジェクト画像を含む矩形領域を抽出し、その矩形領域においてオブジェクト画像の領域と背景画像の領域とを特定し、下地画像において、当該特定されたオブジェクト画像の穴埋め処理を行う。そして、穴埋め処理では、オブジェクト画像と下地画像との境界と、オブジェクト画像と背景画像との境界とでそれぞれ異なる穴埋め処理を行う。
【解決手段】入力したカラー画像の複数の色成分のうちの少なくとも1つ以上の色成分の解像度が他の色成分の解像度より粗い画像を下地画像として保持する。オブジェクト画像を含む矩形領域を抽出し、その矩形領域においてオブジェクト画像の領域と背景画像の領域とを特定し、下地画像において、当該特定されたオブジェクト画像の穴埋め処理を行う。そして、穴埋め処理では、オブジェクト画像と下地画像との境界と、オブジェクト画像と背景画像との境界とでそれぞれ異なる穴埋め処理を行う。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理方法に関するものである。
【背景技術】
【0002】
近年、情報の電子化が進み、紙文書をそのまま保存するのではなく、スキャナ等によりスキャンして電子化して保存したり、電子データを他の装置に送信したりするシステムが普及してきている。送信コストを削減するため、電子化された文書に対して高い圧縮性が要求されている。一方、電子化データを部分的に編集できる再利用性と、拡大しても縮小しても画質が落ちない高画質性とが要求されている。
【0003】
ところが、文書画像に文字領域や写真領域が混在する場合は、文字領域に適した圧縮を行うと画質は良いが圧縮率が低くなり、また写真領域に適した圧縮を行うと圧縮率は高いが文字が劣化してしまうという問題がある。そこで、電子化された文書画像を文字領域と写真領域に分離し、文字領域は文字領域に適した圧縮を行い、更に、写真領域は文字の画素を周囲の画素値で埋めた後に写真領域に適した圧縮を行う。そして、圧縮された文字画像と背景画像とを一緒に出力する技術が提案されている(例えば、特許文献1、2参照)。
【0004】
また、再利用性と高画質性が重視される文字領域をベクトルデータに変換し、それ以外の容易にベクトル化で再現できない写真領域などをJPEGで圧縮し、各領域の圧縮結果を合成して出力する。これにより、文書画像の高圧縮性、再利用性、高画質性を実現する技術が提案されている(例えば、特許文献3参照)。
【0005】
更に、ベクトル処理対象を文字や線画以外に拡大し、文書画像の高圧縮性、再利用性、高画質性を向上させる技術も提案されている(例えば、特許文献4参照)。特許文献4では、写真などの自然画に比べ、物体の輪郭(オブジェクトの境界)が明瞭で、出現色も限られているなどの特徴を有している特定画像(例えば、イラスト)をベクトル化する。この特定画像を「クリップアート画像」と称す。
【0006】
また、特許文献5では、文字領域を含んだ文書画像に対してベクトル化可能な領域をベクトル化し、そのベクトル化結果をベクトル層に置く。また、ベクトル化された領域を周囲の背景画素値で穴埋め(塗り潰し)し、穴埋め後の画像のJPEG圧縮結果をJPEG層に置く。このようにして、ベクトル層データとJPEG層データからなる文書ファイルを作成する。
【0007】
また、特許文献6では、入力画像から元解像度の二値画像と半分の解像度の多値画像を生成し、分離処理と文字領域の変換処理は前者の二値画像に、背景領域の変換処理は後者の多値画像に対して処理をおこなっている。例えば入力画像がA4サイズ、24bit/pixelで約24MBの場合、入力画像を二値化して得られる二値画像は約1MB、入力画像の解像度を半分にして得られる画像は約6MBである。従って、これら2つの画像を生成した後に元の入力画像を破棄することで、およそ1/4の画像用メモリで電子化処理を行うことのできる手法が提案されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開平07−236062号公報
【特許文献2】特開2005−012768号公報
【特許文献3】特開2004−265384号公報
【特許文献4】特開2006−344069号公報
【特許文献5】特開2007−305034号公報
【特許文献6】特開2004−128881号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
一方、クリップアート領域を矩形領域で定義し、文書画像に対して、クリップアート領域101をベクトル化した後に周辺の画素値で塗りつぶす場合、次のような問題が生じると考えられる。
【0010】
例えば、図1に示すようなクリップアート領域(イラスト領域)101を矩形で表したときに、他の領域(写真領域102)がクリップアート領域の背景部分に重なることがある。このとき、矩形のクリップアート領域101全体を周辺の画素値で塗り潰すと、図2に示すように、クリップアート領域101と重なる他の領域201が塗り潰しにより消えてしまい、再生時に、写真領域102の画像を再現できない。そのため、クリップアート領域101の矩形全体を塗り潰すのではなく、クリップアート領域101内において、背景領域と背景以外の領域(即ち、前景となるオブジェクト領域(イラスト本体部分))とに切り分ける。そして、その背景以外の領域(オブジェクト領域(前景領域))のみを塗り潰す方法を本出願人は特願2008-120763において提案している。
【0011】
この方法によれば、圧縮性の高い合成文書ファイルを生成することができ、且つ、周囲に重なる領域が存在する場合でも、元の画像が再現できる。
【0012】
図1に示す文書画像の例に対しては、図3に示すように、クリップアート領域101に含まれるオブジェクト領域(イラストの本体部分)のみに対して穴埋め処理を行う。即ち、クリップアート領域101の背景以外の領域(オブジェクト領域)を塗り潰すことにより、重なる写真の部分には何も影響を与えないというものである。
【0013】
この例では、クリップアート領域101を含む文書画像を入力し、入力した文書画像を二値画像データに変換し、この二値画像データを用いて文字、グラフィックス、表などの複数種類の領域に分離する領域分離処理を行ってクリップアート領域を抽出する。更に、このクリップアート領域に対応する文書画像の色に基づいて、色の類似度によりクリップアート領域を複数の領域に領域分割する。この領域分割の結果からクリップアート領域内で背景領域とすべき領域を特定する。そして、文書画像において、背景領域とすべき領域の色情報を背景色とし、クリップアート領域内のオブジェクト領域(背景以外の領域)を背景色で塗り潰す。一方、クリップアート領域内のオブジェクト領域の画像はクリップアートのベクトルデータに変換する。オブジェクト領域(背景以外の領域)を塗りつぶした後の文書画像を下地画像としてJPEG圧縮し、当該圧縮した下地画像のJPEGデータを、クリップアート領域のベクトルデータが下地画像の上に描画されるようにしたファイル形式で出力する。
【0014】
このように、クリップアート領域と重なる他の領域がある文書画像に対してもクリップアート領域と重なる他の領域が塗り潰しにより消えてしまうことがない。また、元の画像を再現することが可能となり、高圧縮性、再利用性、高画質性を向上させた文書画像処理方法を提案している。
【0015】
一方、このような処理を画像処理装置に実装する場合、穴埋めされるべき下地画像をそのまま保持すると多くのメモリが必要となり、装置コストを押し上げる要因となる。このため、本発明では、対象とする画像を、スキャナでの三原色に基づく光電走査により得られるRGB色空間上でのカラー画像形式を変換して処理する。例えば、公知のYCrCb色空間のように、明るさ成分(Y)と色成分(Cr,Cb)とに分けたカラー空間上で表現された形式に変換する。そして、システムで許されるメモリ容量制限に比して、より大きなサイズの入力画像にベクトル化処理を施すために、下地画像の解像度を低くする。例えば、入力画像の明るさ成分と色成分との比率が(Y:Cr:Cb=4:4:4)であるとき、下地画像の色成分(Cr,Cb)の解像度を半分に落とす。これにより、画素数の比率がY:Cr:Cb=4:1:1になるように変換され、下地画像で必要となるデータ量が減る。尚、ベクトル化対象オブジェクト(クリップアート領域のオブジェクト部分など)に関しては、入力画像の解像度で処理を行う。
【0016】
このようにすることで、カラー画像を三色成分に基づくRGB形式で解像度を落とすことなく保持する場合に比して、半分のデータ量で下地画像を扱うことができる。言い換えれば、倍のサイズの画像データを処理することが可能となる。尚、明るさ成分Yの解像度よりもCrCbの解像度の方を落とすのは、人間の目の特性が、色成分CrCbよりも明るさ成分Yに敏感なためである。
【0017】
しかしながら、このような構成では、矩形境界部分と背景境界部分とで、色成分の解像度の差異と塗り潰しの色とに基づく偽色が発生する場合があり、出力画像の画質を損なう要因となり得る。尚、矩形境界部分とは、ベクトル化対象オブジェクトとその外接矩形領域外との境界であり、例えば、矩形のクリップアート領域内のオブジェクト領域とクリップアート領域外の下地画像との境界である。また、背景境界部分とは、ベクトル化対象オブジェクトとその外接矩形内におけるベクトル化対象オブジェクト以外の背景領域との境界であり、例えば、矩形のクリップアート領域内のオブジェクト領域と背景領域との境界である。
【0018】
ここで、上述の境界部分で発生する偽色の原因を、図4〜図6を用いて説明する。図4は、カラー画像の明るさ成分(Y成分)の様子を示す図である。図5は、カラー画像の色成分(Cr成分)の様子を示す図である。図6は、カラー画像の色成分(Cb成分)の様子を示す図である。図4では、Y:Cr:Cb=4:1:1のように、Cr,Cb成分の解像度をY成分に比べて低くした際のY成分の様子を表している。また同様に、図5と図6はそれぞれCr成分とCb成分の様子を表している。
【0019】
図4の401、図5の501、図6の601は、YCrCbカラー空間上でのY:Cr:Cb=4:1:1の形式の画像データにおける、Y成分の解像度での2×2画素領域に対応するCr成分、Cb成分を表している。つまり、Y成分での2×2画素領域(Y11,Y12,Y13,Y14)が、Cr成分、Cb成分では1画素として対応する。
【0020】
また、図4の402、図5の502、図6の602は、それぞれ入力されたカラー画像(原画像)のベクトル化対象オブジェクトが存在する位置を示す例である。解像度が原画像と同じく高いY成分上では、対象オブジェクトの形状が画素境界に一致している。一方、解像度を原画像の半分にしているCr成分上とCb成分上では、対象オブジェクトの形状が色成分CrCbの画素境界には必ずしも一致しない。即ち、対象オブジェクトの境界部分が、色成分Cr,Cb上の画素の1/4や1/2の面積で部分的にかかっている状態になっている場合がある。
【0021】
このような境界部分の色成分(Cr,Cb)は、オブジェクト側の色情報に統一するか、下地の色情報に統一するか、或いはオブジェクト側の色情報と下地の色情報を部分的にかかる面積比を考慮した平均色にする、などが考えられる。
【0022】
このような状況でディスプレイへの表示やプリンタでの印刷のために、各色同一の解像度を持つ三色成分に基づくRGB形式に変換すると、上述の何れの方法で処理しても境界部分で偽色が生成される原因となる。つまり、画素境界色情報は、境界部で、元々のスキャナでの三原色に基づく光電走査によって得られたRGB色空間上でのカラー画像とは異なる色(偽色)が生成され、違和感を与えることとなってしまう。
【0023】
このような偽色は、クリップアート領域内の背景領域とオブジェクト領域(背景領域以外の領域)との境界部分、及びクリップアート領域と下地領域との境界部分の少なくとも何れかで発生する可能性がある。この様子を図7A〜図7Gを用いて説明する。
【0024】
図7A〜図7Gは、背景領域とオブジェクト領域との境界部分や、オブジェクト領域と下地領域との境界部分で発生する偽色を説明するための図である。図7Aは、クリップアート領域を含む文書画像の例を表している。701はベクトル化対象としてのクリップアート領域の位置を示すものであり、クリップアート領域の外接矩形からなるオブジェクト外接矩形である。また、図7Bは、そのオブジェクト外接矩形701内の画像を抽出した状態を表している。702はクリップアート領域内(オブジェクト外接矩形内)における背景であり、クリップアート領域を色の類似度により複数の領域に領域分割した結果から、背景領域として特定される。背景領域の特定は、例えば、クリップアート領域内の画像を類似する色に基づいてクラスタリングし、更に、クリップアート領域の外接矩形の境界に接する画素数が最も多いクラスタを背景領域のクラスタとする手法を用いる。そして、図7Aに示す704は下地である。
【0025】
また、図7Cは、背景領域703をベクトル化対象から外し、背景以外の領域(ベクトル化対象オブジェクト)のみを表現している。尚、背景領域703に対応する背景702から背景色が求められる。図7Cにおいて、705はオブジェクト領域(背景以外の領域)と下地704との境界部を示し、706はオブジェクト領域(背景以外の領域)と背景702との境界部を示している。また、図7Dは、下地画像において塗り潰し対象となる背景以外の領域707を示している。また、図7Eは、境界部705と境界部706の双方を背景以外の領域707と区別することなく、背景702から求めた背景色で塗り潰した状態である。
【0026】
また、図7Fは、下地画像において、図7Eに示すようにクリップアート領域内のオブジェクト部分を背景色で塗り潰し、更に、クリップアート領域のオブジェクト部分のベクトル結果を重畳表示したものである。この場合、下地画像におけるオブジェクト部分は背景色で塗り潰されているので、708に示すように、境界部706は問題が無いものの、境界部705に該当する部分は塗り潰し色(背景色)と下地画像の色との差異が大きい。そして、ベクトル化されたオブジェクト部分を重畳表示したとき、オブジェクト部分と下地画像との解像度の違いにより、偽色が発生してしまう。
【0027】
一方、境界部705と境界部706の両方を背景色ではなく下地色で塗り潰すことにすると、今度は、下地画像との境界部705に関しては偽色が発生しないものの、背景領域との境界部706に関して偽色が発生することになる。
【0028】
本発明の目的の1つは、カラー画像に含まれるオブジェクト画像とそのオブジェクト画像との境界で偽色が発生するのを防止することである。
【0029】
更に、領域解析処理(領域分離処理)や、ベクトル変換処理などに用いる画像は、それぞれの処理の精度を維持するのに十分な解像度、色域等の情報量をもっていなければ、高画質、高再利用性といった特長をもった電子データを生成することは不可能である。一方で、各処理で要求される情報量には差があり、一律に情報量の多い画像をすべての処理に入力すると余分なメモリを消費してしまい、処理も遅くなってしまうという問題がある。
【0030】
例えば、生成される電子データの文字部分に高い画質が要求される場合、文字領域の変換処理に対してより高い解像度の画像を入力する必要がある。例えば3〜5ポイントの小さな文字の画像から、外見を忠実に再現するベクトルデータを生成するためには600dpi程度の高解像度画像が必要となる。一方、領域解析処理(画像内を文字領域、クリップアート領域、写真領域などに分離)用の画像は300dpiあれば十分で、それ以上の高解像度はメモリ量の増加、処理速度の低下を招くだけではなく、ノイズ量の増大による処理精度低下の虞もある。また領域を分離できればいいので、局所的には2値、画像全体でもせいぜいN値程度になるように前処理によって量子化されているほうが、処理速度の高速化の観点上好ましい。更に、クリップアート領域をベクトル化する処理に対しては、文字領域の処理ほど高い解像度を必要とせずに300dpi程度の中解像度画像が適している。また、ベクトル結果において視覚上オリジナルと一致する色を再現するためには、入力画像における1画素あたりのビット数は十分に多くなければならない。しかし、上述した説明のように輝度Yに対して色差Cb,Crが1/2の解像度を持つようにすれば、画像データのサイズを抑えることができる。
【0031】
本発明は、クリップアート領域や文字領域を含む入力文書画像を、領域解析処理(領域分離処理)、文字のベクトル化処理、クリップアートのベクトル化処理それぞれに適した3つの画像に変換し、各処理を行うことを目的とする。
【課題を解決するための手段】
【0032】
本発明は、カラー画像における複数の色成分のうちの少なくとも1つ以上の色成分の解像度が他の色成分の解像度より低い第1の画像を生成する画像生成手段と、
前記画像生成手段で生成された第1の画像を下地画像として保持する保持手段と、
オブジェクト画像を含む矩形領域を抽出する領域抽出手段と、
前記領域抽出手段で抽出された矩形領域内において、前記オブジェクト画像の領域と背景画像の領域とを特定する特定手段と、
前記下地画像について、前記特定手段で特定されたオブジェクト画像に対応する領域の穴埋め処理を行う穴埋め処理手段とを有し、
前記穴埋め処理手段は、前記オブジェクト画像と前記下地画像との境界と前記オブジェクト画像と前記背景画像との境界とでそれぞれ異なる穴埋め処理を行うことを特徴とする。
【発明の効果】
【0033】
本発明によれば、カラー画像に含まれるオブジェクト画像とそのオブジェクト画像との境界でカラー画像とは異なる色が発生するのを防止することが可能となる。
【0034】
また、本発明によれば、クリップアート領域や文字領域を含む入力文書画像を、領域分離処理、文字のベクトル化処理、クリップアートのベクトル化処理それぞれに適した3つの画像に変換し、各画像に対してそれぞれの処理を行う。このようにすることで、メモリの消費を抑えながら、高い処理精度で高画質・高再利用性の電子データを生成することが可能になる。
【図面の簡単な説明】
【0035】
【図1】クリップアート領域を含む文書画像の一例を示す図。
【図2】クリップアート領域を全体に下地部分として塗り潰し、JPEGで圧縮した場合の問題を示す図。
【図3】クリップアート領域の背景以外の領域を塗り潰し、写真領域に影響を与えない場合を示す図。
【図4】カラー画像の明るさ成分(Y成分)の様子を示す図。
【図5】カラー画像の色成分(Cr成分)の様子を示す図。
【図6】カラー画像の色成分(Cb成分)の様子を示す図。
【図7−1】、
【図7−2】背景領域と背景領域以外の領域との境界部分やクリップアート領域と下地領域との境界部分に発生する偽色を説明するための図。
【図8】本実施形態における画像処理装置の構成の一例を示すブロック図。
【図9】本実施形態における画像処理装置を実現するハードウェア構成を示すブロック図。
【図10】本実施形態における穴埋め処理を含む画像処理全体を示すフローチャート。
【図11】本実施形態における穴埋め処理の詳細を示すフローチャート。
【図12】他の実施形態における処理の構成を説明する図。
【図13】他の実施形態における処理を示すフローチャート。
【図14】領域解析処理と属性判定処理の詳細を示す図。
【図15】図画部ベクトル化処理を示す図。
【図16】ベクトル化処理S1520の詳細な処理を示す図。
【図17】ページ描画情報生成処理で生成されたページ描画情報の一例を示す図。
【図18】電子ドキュメントの一例を示す図。
【発明を実施するための形態】
【0036】
以下、図面を参照しながら発明を実施するための形態について詳細に説明する。本実施形態では、画像処理装置を用いたクリップアート画像の領域における穴埋め処理を詳細に説明する。
【0037】
図8は、本実施形態における画像処理装置の構成の一例を示すブロック図である。入力部801はカラー文書をスキャンし、入力画像データとして入力する。領域抽出部802は入力部801より入力された入力画像データからクリップアートを含む領域をクリップアート領域として抽出する。例えば、入力画像を二値画像データに変換し、この二値画像データを用いて文字、グラフィックス、表等の複数種類の領域に分離する領域分離処理を行い、クリップアート画像の領域を求める。そして、領域分離処理により求めたクリップアート画像の領域(クリップアート領域)を抽出する。
【0038】
領域分割部803は領域抽出部802で抽出されたクリップアート領域における各画素の色特徴に基づき、領域を分割する。背景領域特定部804は領域分割部803での領域分割の結果に基づき、クリップアート領域の背景画像と背景色とを特定する。背景領域の特定は、例えばクリップアート領域内の画像を類似する色に基づいてクラスタリングし、更にクリップアート領域の外接矩形の境界に接する画素数が最も多いクラスタを背景領域のクラスタとする手法を用いる。
【0039】
ベクトル化部805は背景領域特定部804による特定の結果と領域分割部803による領域分割の結果とに基づき背景以外の部分(前景となるオブジェクト画像)をベクトル化する。ワークメモリA806は処理途中の画像データなどを一時的に保持する。ワークメモリB807は処理途中の各種情報(領域属性情報)を保持する。
【0040】
低解像度化部808は入力部801で入力された入力画像データよりも複数の色成分のうちの少なくとも1つ以上の色成分の解像度が粗い画像データ(第1の画像)を生成する。高解像度化部809は低解像度化部808で生成された第1の画像を、入力部801で入力された入力画像データの解像度と等しい解像度の画像データに戻す。
【0041】
画像メモリ810は低解像度化部808で生成された第1の画像を下地画像として保持する。穴埋め部811は背景領域特定部804で特定された背景領域以外の領域(オブジェクト領域)に対応するオブジェクト画像(下地画像又は背景画像との境界を含む)の穴埋め処理を行う。
【0042】
データ出力部812はベクトル化部805でベクトル化されたベクトルデータを含むオブジェクト層と、穴埋め部811で穴埋め処理された下地画像のオブジェクト層とを含む層構造をもつファイル形式の画像情報を生成して出力する。例えば、PDFフォーマットにして出力する。
【0043】
図9は、本実施形態における画像処理装置を実現するハードウェア構成を示すブロック図である。図9において、イメージスキャナ901はI/O902を介してバス900に接続され、図1に示す入力部801として機能する。CPU910はROM920に格納されたプログラムを実行する。これにより、CPU910は領域抽出部802、領域分割部803、背景領域特定部804、ベクトル化部805、低解像度化部808、高解像度化部809、穴埋め部811、データ出力部812として機能する。また、RAM930は、ワークメモリA806、ワークメモリB807、画像メモリ810として機能する。
【0044】
外部記憶部940には、I/O941を介してハードディスク(HDD)942がバス900に接続されている。外部出力装置950にはI/O951を介してプリンタ952がバス900に接続されている。外部記憶部940、画像出力装置950、ネットワークI/F960は、データ出力部812からのデータ出力先となるものである。また、予め外部記憶部940に格納される画像データを入力する場合には、この外部記憶部940が事実上の入力部となる。
【0045】
以上の構成において、背景領域の境界又は矩形境界における穴埋め処理を、図10及び図11を用いて説明する。図10に示すS1001〜S1007及び図11に示すS1101〜S1109はCPU910によって実行される処理のステップである。
【0046】
図10は、本実施形態における穴埋め処理を含む画像処理全体を示すフローチャートである。まず、S1001において、入力部801よりカラー文書の画像データを入力する。ここでは、必要に応じてワークメモリA806に、一旦入力中の画像データを部分的にバッファリングしながら順次RGBデータを図4〜図6を用いて説明したY:Cr:Cb=4:1:1の形式に低解像度化し、RAM930上の既定の領域に保持する。本実施形態では、Cr成分、Cb成分の解像度を低解像度化している。
【0047】
尚、低解像度化部808で行われるRGB色空間上のデータからYCrCb色空間上のデータへデータ形式を変換する方法は、よく知られた公知の変換方法であるので、ここでは詳述しない。
【0048】
次に、S1002において、低解像度化されてRAM930上に保持されている画像データを部分的に順次元のRGBデータに高解像度化しながらワークメモリA806に保持する。そして、領域抽出部802は、再生された画像データからクリップアートを含む領域をクリップアート領域として抽出し、その領域属性情報をRAM930上のワークメモリB807に出力する。例えば、画像を二値画像データに変換し、この二値画像データを用いて文字、グラフィックス、表等の複数種類の領域に分離する領域分離処理を行って、クリップアート領域を抽出する。
【0049】
尚、高解像度化部809で行われるYCrCb色空間上のデータからRGB色空間上のデータへデータ形式を変換する方法は、よく知られた公知の変換方法であるので、ここでは詳述しない。
【0050】
次に、S1003では、S1002で得られたクリップアート領域の領域属性情報を参照して、領域分割部803が、当該クリップアート領域にある各画素の色特徴に基づき、色の類似度により複数の領域に領域分割する。即ち、クリップアート領域内の画像を類似する色に基づいてクラスタリングする。ここで得られたクリップアート領域の領域分割の結果を、RAM930上のワークメモリB807の領域に出力する。
【0051】
次に、S1004では、背景領域特定部804が、S1003で得られたクリップアート領域の領域分割の結果を参照して当該クリップアート領域における背景領域を特定する。例えば、背景領域の特定は、クリップアート領域の外接矩形の境界に接する画素数が最も多いクラスタを背景領域のクラスタとする手法を用いる。ここで特定された背景領域の情報である背景領域情報と、背景領域の色情報である背景色情報をRAM930上のワークメモリB807に出力する。
【0052】
次に、S1005では、ベクトル化部805が、S1004で特定された背景領域情報に基づき、当該クリップアート領域内における背景以外の領域を、オブジェクト部としてベクトル化する。ここでベクトル化結果をRAM930上のワークメモリB807に出力する。
【0053】
次に、S1006では、上述の背景領域情報に基づき、背景領域とそれ以外のオブジェクト領域とが判別できるビットマップ形式の画像(背景マスク画像)を生成する。そして、該ビットマップ形式の背景マスク画像を参照して当該クリップアート領域内におけるオブジェクト領域に対応する部分の穴埋め処理を行う。そして、穴埋め処理された下地画像は、Y:Cr:Cb=4:1:1の形式でRAM930上の既定の領域に穴埋め処理済の背景画像データとして保持される。このS1006における穴埋め処理の詳細は、図11を用いて更に詳述する。
【0054】
次に、S1007では、上述のオブジェクト部のベクトル化結果と穴埋め処理済の背景画像データから、オブジェクト層と背景画像層とを含む層構造をもつ画像情報を生成して出力する。
【0055】
次に、図10に示すS1006におけるオブジェクト部の穴埋め処理の詳細を、図11を用いて説明する。まず、S1101では、処理対象であるクリップアート領域内の背景領域に基づき、背景領域を判別するための情報を、高解像度化され、且つ1画素1ビットで生成された2値のビットマップ画像(背景識別用画像)として生成する。背景領域とオブジェクト領域とを画素値がそれぞれ1か0かで判別できる形式に生成しながらワークメモリA806に保持し、当該クリップアート領域の背景色情報をワークメモリB807より読み出す。その際に、当該クリップアート領域に対応する画像データのラスター走査順での処理の準備として、一連の初期化処理を行う。そして、一連の初期化処理が終了すると、ラスター走査順にクリップアート領域に対応する部分の穴埋め処理を開始する。
【0056】
次に、S1102では、当該クリップアート領域に対応する部分のY:Cr:Cb=4:1:1の形式で低解像度化されてRAM930上に保持されている画像データのCrデータ(Cbデータでも良い)をラスター走査する。この時点でのラスター走査順の注目位置における画素が上述した境界部705でもなく、かつ境界部706でもない背景領域内にある画素か否かを判定する。具体的には、この時点でのラスター走査順の注目位置における画素が上述のビットマップ画像(背景識別用画像)上での対応部分(2×2画素の領域が対応する)の2×2画素の4画素のうち、全てが背景領域の画素であるか否かを調べる。そして、4画素全てが背景画素であれば境界以外の背景領域であると判定する。
【0057】
判定した結果、注目画素が境界以外の背景領域の画素である場合、S1107へ進み、境界以外の背景領域の画素でない場合、S1103へ進む。S1103では、S1102と同様に、注目画素が境界部706に相当する画素(即ち、背景領域とオブジェクト領域(クリップアート領域内における背景以外の領域)との境界)であるか否かを判定する。つまり、その時点でのラスター走査順の注目位置における画素が上述のビットマップ画像(背景識別用画像)上の対応部分の2×2画素の4画素のうちどの画素が背景領域の画素で、4画素中の残る画素が全てオブジェクト領域の画素であるか否かを調べる。この条件を満たす場合、注目画素は境界部706に相当する画素(即ち、背景領域とオブジェクト領域との境界)であると判定する。
【0058】
判定した結果、注目画素が背景領域とオブジェクト領域との境界に相当する場合、S1108へ進み、背景領域とオブジェクト領域との境界に相当しない場合には、S1104へ進む。S1104では、上述した判定処理と同様に、注目画素が境界部705に相当する画素(即ち、下地領域とオブジェクト領域との境界)であるか否かを判定する。つまり、注目画素が上述のビットマップ画像(背景識別用画像)上での対応部分(2×2画素の領域が対応する)の2×2画素の4画素のうち、何れかの画素がオブジェクト領域の画素で、かつ4画素中の残る画素の何れかが下地領域の画素であるか否かを調べる。この条件を満たす場合、注目画素は境界部705に相当する画素(即ち、下地領域とオブジェクト領域との境界)であると判定する。
【0059】
判定した結果、注目画素が下地領域とオブジェクト領域との境界に相当する場合、S1109へ進み、下地領域とオブジェクト領域との境界に相当しない場合には、S1105へ進む。S1105では、注目画素が、オブジェクト領域(前景となるオブジェクト本体)の画素の場合となっているので、背景色(Y,Cr,Cb)で穴埋めを行う。即ち、低解像度化されてRAM30上に保持されている画像データ上で、その時点でのラスター走査順の注目位置における画素のCbデータ、Crデータ、Yデータを背景色データから得られる各値に置き換える。ここで背景色データは、RGBデータで保持しているので、これをYCrCbに変換して得られる。
【0060】
次に、S1106では、当該クリップアート領域に対応する画像データのラスター走査順での処理が当該領域の最終画素まで進んだか否かを判断する。判断した結果、最終画素まで終了したのであれば、この一連の処理を終えて終了し、終了していない場合には、S1107へ進む。S1107では、注目する位置の画素(注目画素)を次の位置の画素に進め、S1102に戻る。
【0061】
一方、S1108では、注目画素は境界部706に相当する画素(即ち、背景領域とオブジェクト領域との境界)であるので、注目画素のCbとCrのみを、背景色データから得られる各値に置き換える。即ち、図7Gに示すように、境界部706が背景色データで穴埋め処理される。ここで背景色データは、RGBデータで保持しているので、これをYCrCbに変換して得られる。そしてS1108の処理を終えると、上述したS1106へ進む。
【0062】
一方、S1109では、注目画素は境界部705に相当する画素(即ち、下地領域とオブジェクト領域との境界)であるので、注目画素のY,Cb,Crはそのままの値として残し、背景色のデータに置き換えない。即ち、境界部705は、図7Gに示すように下地領域の色で穴埋め処理される。そしてS1109の処理を終えると、上述したS1106へ進む。
【0063】
本実施形態によれば、カラー文書のページ内のベクトル化対象オブジェクトと、これを含む外接矩形領域外の背景とが異なる解像度のデータで構成されている場合でも、境界部分に偽色が発生しない。境界部分は、ベクトル化対象オブジェクトとその外接矩形領域外との矩形境界部分や、ベクトル化対象オブジェクトとその外接矩形内におけるベクトル化対象オブジェクト以外の背景領域との境界部分である。
【0064】
従って、システムの許容メモリ容量に比してより大きなサイズの画像入力に対しても、出力画質を損なうことなくベクトル化処理を施すことが可能となる。
【0065】
本実施形態では、入力画像をRGB形式の画像から一旦Y:Cr:Cb=4:1:1の形式に変換するのを、ワークメモリA806上にバッファリングしながらCPU910によるソフトウェア処理で行った。しかし、公知の技術で構成可能な専用のハードウェアを用いて行うように構成しても良い。このような処理をハードウェアで構成すると、装置のコストが上昇する半面、処理時間の短縮化を図ることができる。
【0066】
また、本実施形態では、入力画像全体をRGB形式の画像として保持すること無く、処理するのを前提として説明したが、本発明はこれだけに限らない。入力画像を一旦RGB形式の画像としてハードディスクのような外部記憶装置に格納した後、改めて、この外部記憶装置から読み出して同様な処理を行うように構成しても良い。
【0067】
また、本実施形態では、入力画像をスキャナで読み取った文書画像として処理するのを前提として説明したが、本発明はこれだけに限らない。即ち、デジタルカメラで撮像された画像(静止画)やビデオカメラで撮影された動画像を入力画像として構成しても良い。
【0068】
これらの入力画像の場合、静止画であればJPEG、動画像であれば、MPEGなどが用いられる。既にY:Cr:Cb=4:1:1のような複数の色成分のうちの少なくとも1つ以上の色成分の解像度が粗い画像として入力されるのが一般的な画像に対して、背景領域とそれ以外の領域(オブジェクト部)とに分ける。このオブジェクト部にベクトル化などの処理を加えて背景領域と再合成するような場合にも、本発明は適用可能であるのは言うまでもない。
【0069】
[他の実施形態]
次に、図面を参照しながら本発明に係る他の実施形態を詳細に説明する。上述した実施形態では、クリップアート領域の穴埋め処理について詳しく説明したが、他の実施形態では、クリップアート領域と文字領域とに対して処理するときの詳細を示す。他の実施形態は、図9に示すようなハードウェア構成を有する画像処理装置で実現可能である。
【0070】
図12は、他の実施形態における処理の構成を説明する図である。ここでS1221〜S1230は画像やその他のデータを電子的に処理するステップを表す。また、1201〜1211は各ステップに対して入力されるデータや、各ステップで生成されたデータである。
【0071】
尚、図12に示す各処理は、図9に示すCPU910がコンピュータプログラムを実行することによって実現されるものとするが、その一部又は全部を電気回路で構成するようにしても構わない。また、各処理は図13のフローチャートに示された順番で処理されるものとする。以下に、各処理の詳細を説明する。
【0072】
図12に示す各処理は、入力画像の解像度や色空間を変換し、他の処理に適した画像を生成する画像生成処理である。色空間変換及び解像度変換は公知の方法を用いる。
【0073】
領域解析用画像生成処理S1221は、入力画像1201を領域解析処理S1224での処理に適した画像1202へ変換する。領域解析処理S1224で処理対象にする画像1202は、多値の中解像度の画像が適している。そのため、領域解析用画像生成処理S1221では、入力画像1201(例えば、色空間RGBで解像度600dpiの画像)を、色空間YCrCbで解像度300dpiの画像に変換する。その後、色の量子化を行い、画素当たりのビット数を削減した領域解析用画像(第2の画像)1202を生成する。
【0074】
文字部ベクトル化処理用画像生成処理S1222は、入力画像1201を文字部ベクトル化処理S1225での処理に適した画像(第3の画像)1203へ変換する。一般的に、文字の大きさは、ページの大きさよりもかなり小さい。従って、文字部ベクトル化処理S1225で処理対象にする画像1203は、高解像度画像が適している。文字部ベクトル化処理用画像生成処理S1222は、入力画像1201から輝度情報のYのみを取り出すことにより、グレースケール(輝度画像)で解像度600dpiの文字部ベクトル化処理用画像1203を生成する。
【0075】
図画部ベクトル化処理用画像生成処理S1223は、入力画像1201を図画部ベクトル化処理S1227での処理に適した画像へ変換する。図画領域(即ち、クリップアート(イラスト)や写真画像の領域)においては、色の情報が重要である。よって、図画部ベクトル化処理S1227で処理対象にする画像は、カラーで中解像度の画像が適している。図画部ベクトル化処理用画像生成処理S1223は、入力画像1201の解像度の比率がY:Cr:Cb=4:4:4からY:Cr:Cb=4:1:1となるように、色成分の解像度を低く変換することで図画部ベクトル化処理用画像1204を生成する。尚、明るさ成分Yの解像度よりもCrCbの解像度の方を落とすのは、人間の目の特性が、色成分CrCbよりも明るさ成分Yに敏感なためである。画像1204は背景の下地画像を生成する際にも用いられることになるが、色差の解像度が輝度の解像度の半分であったとしても視覚上に与える影響は軽微である。
【0076】
領域解析処理(領域分離処理)S1224は、入力画像中の文字部、図画部などを判別することにより、複数の領域に分離する。ここでは公知のカラー画像を領域分割する技術を用いることができる。例えば、特許文献WO2006/066325の技術を用いることが可能である。
【0077】
図14に示す(A)は、領域解析処理S1224が実行する領域解析処理のフローである。S1410では、入力画像を色量子化し、類似する色を持つ領域を統合し易くする。S1420では、色量子化された画像から色情報に基づいて領域を抽出し、当該抽出した領域の属性(即ち、文字、図画部、ページ背景等の属性)を判定する。
【0078】
図14に示す(B)は、S1420における属性判定処理の詳細を示す。S1421では、色量子化後の画像から同色と判断した画素の連結成分を抽出することにより、カラー連結成分の情報に変換する。即ち、連結成分とは、同じ色(または類似色)を有し、且つ連結する(接触する)画素のグループである。
【0079】
次に、S1422では、カラー連結成分を、カラー連結成分の統計値(当該カレー連結成分の外接矩形、画素数、境界線長さ、平均色など)に基づいて属性の分類を行う。そして、S1423では、カラー連結成分の位置的な包含関係に基づいてグループ化を行い、S1424で、グループ化した連結成分から領域情報1205を生成する。領域情報1205には、各連結成分の領域についての属性情報(文字、線画、写真、クリップアート(イラスト)、表、枠、ページ背景など)と位置情報とが含まれ、更に、グループ化した連結成分の領域同士の関係が木構造の情報として含まれる。また、以下で実行する領域ごとの処理結果は、領域情報に記録される。
【0080】
文字部ベクトル化処理S1225で行われる文字部分のベクトル変換処理の詳細を説明する。領域情報1205に基づき文字領域の位置を特定し、文字部ベクトル化処理用画像1203における文字領域から文字画像の連結成分を取得し、当該連結成分の輪郭をベクトルデータに変換する。文字部ベクトル化処理用画像1203は高解像度画像であるので、文字画像の連結成分の輪郭がより正確に得られ、高精度なベクトルデータが得られる。また、文字色(文字画像の色情報)に関しては、領域解析処理S1224で得た当該文字領域の色情報に基づいて特定する。尚、連結成分の輪郭をベクトルデータに変換する技術は公知の技術を用いることが可能であるが、その一例を以下に示す。
【0081】
まず、文字画像が高解像度グレースケール画像である場合は2値化処理を行い、文字の画素の輪郭追跡処理を行い、文字の連結成分の輪郭を取得する。そして、文字の連結成分の輪郭を直線及び/又は曲線の組み合わせとして表現するために、連結画素の輪郭を構成する画素列を複数の区間(画素列)に区切るための「角」を検出する。ここで、「角」とは曲率が極大となる点であり、角によって分割された各区間の画素列を、直線或いは曲線で近似する。直線への近似は最小二乗法等により実行し、曲線への近似は3次スプライン関数などを用いる。輪郭を構成する画素列を各区間に分割する角の画素は、近似直線や近似曲線における始端又は終端となる。最初は、連結成分の外側の輪郭のベクトル化処理を行い、更にベクトル化された輪郭内部に内輪郭が存在するか否かを判断し、内輪郭が存在するときにはその輪郭を構成する画素列をベクトル化する。例えば、黒画素の連結画素をベクトル化する場合には、最初に黒画素の外側の輪郭をベクトルデータに変換し、更に、その内部に白画素が存在すれば、内部の黒画素と白画素の境界の輪郭をベクトル化する。そして、再帰的に反転画素の内輪郭をベクトル化していく。このように、連結成分の輪郭の区分線近似を用いれば、文字部のアウトラインをベクトルデータに変換することができる。
【0082】
尚、連結成分の線幅がほぼ一定である区間に関しては、次のようにしてベクトルデータに変換するようにしても良い。即ち、ある注目区間で連結成分の輪郭線同士が近接し、当該輪郭線の間の距離がほぼ一定であると判断した場合、当該2つの輪郭線をひとまとめにし、太さを持った線として表現することができる。例えば、2つの輪郭線の間の中心線を直線又は曲線で近似し、更にその輪郭線間の距離の平均値を当該近似直線又は近似曲線の太さとする。このようにして変換したベクトルデータと連結成分の色情報(文字色情報)とを、文字ベクトル1206として領域情報に記録する。
【0083】
文字部穴埋め処理S1226は、文字領域についての穴埋め処理を行う。本実施形態では、公知の技術である、文字画素部分を文字画素の周囲画素の平均色で塗る方法を使用する。ここでは、領域情報1205から文字領域の画素連結成分を取り出し、文字穴埋めメモリに画像として展開する。このメモリに展開した画素位置と図形ベクトル化処理画像の位置を重ね合わせて、図画部ベクトル化処理用画像1204上における文字画素部分を特定する。
【0084】
次に、図画部ベクトル化処理用画像1204において特定された文字画素部分の周辺画素の平均色を算出する。最後に、図画部ベクトル化処理用画像1204において特定された文字画素部分を、当該算出した平均色で塗りつぶす。これにより、文字ベクトル化された領域が、その周囲の背景色で塗りつぶされ、文字がない図画部ベクトル化処理用の画像が生成されることになる。
【0085】
図画部ベクトル化処理S1227は、図画領域部分をベクトル変換する。図画部ベクトル化処理について図15を用いて説明する。S1510では、領域情報1205から図画領域(写真、クリップアート(イラスト))の情報を取得し、該当する領域の画像をベクトル処理可能か判定する。例えば、領域情報の属性を参照し、クリップアートであれば、ベクトル化処理可能と判断する。但し、複雑な画像の領域をベクトル化処理対象にすると、計算量が多くなり処理速度も低下するので、ベクトル化処理の対象外にしても良い。例えば、クリップアート領域を色量子化したときに、各色の連結領域の数が非常に多いと判断された場合、当該図画領域のベクトル化処理は不可能と判定しても良い。
【0086】
ここで、ベクトル化処理可能と判定された場合は(S1510でYES)S1520へ遷移し、図画領域のベクトル化処理を行い、図画ベクトルを生成する。一方、ベクトル化処理不可能と判定された場合は(S1510でNO)S1530へ遷移し、ラスター画像切り出し処理を行う。S1530では、図画部ベクトル化処理用画像1204から該当する領域を切り出し、矩形写真画像を生成する。S1520で生成される図画ベクトル1207やS1530で生成される矩形写真画像1208は、領域情報に記録される。
【0087】
次に、S1520の詳細を、図16を用いて説明する。図16の各処理S1521〜S1524は、図15で図示したベクトル化処理S1520の詳細な処理を示す。また、画像などの情報1601〜1604は、図画部ベクトル化及び穴埋め用として確保されたワークメモリに記録される。
【0088】
高解像度化処理S1521は、複数の色成分のうち少なくとも1つ以上の色成分の解像度が粗い画像を、入力画像の解像度と等しい解像度の画像に戻す処理である。この実施形態では、図画部ベクトル化処理用画像1204がY:Cb:Cr=4:1:1の画像であり、これを入力画像と等しい解像度を有するRGB画像へ変換する。即ち、RGB画像1601は、高解像度化処理S1521で変換された高解像度画像である。
【0089】
クリップアート領域分割処理S1522は、領域情報1205に基づいてRGB画像1601におけるクリップアート領域を特定し、当該クリップアート領域内の各画素の色特徴に基づいて色毎の領域に分割する処理である。即ち、クリップアート領域分割処理S1522は、クリップアート領域内の各画素を色毎にクラスタリングするものであり、前述した実施形態の領域分割部803と同等の処理を行う。
【0090】
クリップアート領域内背景同定処理S1523は、クリップアート領域分割処理S1522で分割された色毎の領域とクリップアート領域の周辺の色とに基づき、クリップアート領域内の背景部分と背景色を同定する処理である。クリップアート領域内背景同定処理S1523は前述した実施形態の背景領域特定部804と同等の処理を行う。
【0091】
クリップアートベクトル化処理S1524は、まず背景領域同定処理S1523の同定結果とクリップアート領域分割処理S1522の領域分割結果とに基づき、クリップアート領域内の背景以外の部分(即ち、前景となるオブジェクト画像の部分)を特定する。そして、当該特定された背景以外の部分をベクトル化することにより図画ベクトル1207を生成する。
【0092】
メモリ1604には、処理途中の各種情報が中間情報として保持され、クリップアート領域内背景同定処理S1523の同定結果として得られた背景領域情報1603とクリップアート内背景色1602とが保持される。尚、その他にもクリップアートベクトル化処理途中で生成される各種の情報が保持される。背景領域情報1603及びクリップアート内背景色1602は、後述する図画部穴うめ処理S1228の入力情報となる。
【0093】
図画部穴埋め処理S1228は、文字部穴埋め処理S1226での処理後の図画部ベクトル化処理用画像1204において、当該画像内の図画領域(図画部)に対する穴埋め処理を行う。図画部穴埋め処理S1228は、図画部ベクトル化処理S1227における出力結果が図画ベクトルか、矩形写真画像かによって異なる穴埋め処理方法で処理を行う。図画領域が矩形写真画像の場合、該当する矩形写真画像領域の周辺画素の平均値を用いて文字部穴埋め処理S1226での処理後の図画部ベクトル化処理用画像1204における当該矩形写真画像に相当する領域の穴埋め処理を行う。
【0094】
一方、図画部ベクトル化処理S1227により図画ベクトル化された場合(即ち、クリップアート領域であった場合)、図画部穴埋め処理S1228は、前述した実施形態の図11と同様の処理を行うことにより穴埋め処理を行う。このようにして、図画ベクトル化対象となったクリップアート領域と、これを含む外接矩形領域外の背景とが異なる解像度のデータで構成されている場合でも、境界部分に偽色が発生しない。ここで境界部分とは、ベクトル化対象オブジェクトと下地領域との境界部分やベクトル化対象オブジェクトとその外接矩形内における背景領域との境界部分である。即ち、メモリ消費を抑えるために、図画部ベクトル化処理に入力する画像の色差解像度を輝度に対して低くしても、偽色を発生することなくベクトル化処理と穴埋め処理とを施すことが可能となる。
【0095】
このようにして、図画部穴埋め処理S1228は、図画領域の穴埋め処理を行った下地画像1209を生成する。即ち、下地画像1209は、図画部ベクトル化処理用画像1204に対して、文字部穴埋め処理S1226による文字部穴埋め処理と図画部穴埋め処理S1228による図画部穴埋め処理とが行われて生成された画像である。
【0096】
ページ描画情報生成処理S1229は、各処理により生成されたデータ及び領域情報を一つにまとめる。ページ描画情報生成処理で生成されたページ描画情報1210の一例を図17に示す。図17に示す1710はページ描画情報生成処理S1229で生成されたページ描画情報1210の全体構成例である。テキストオブジェクト1711は、領域解析処理S1224が文字と判断した領域の位置情報と、文字部ベクトル化処理S1225によりベクトル変換された文字ベクトル1206とを保持する。写真オブジェクト1712は、写真画像1208と当該領域の位置情報とが保持される。また、クリップアートオブジェクト1713には、クリップアートの図画ベクトル1207とその位置情報とが保持される。また、下地オブジェクト1714には穴埋めされた下地画像1209と位置情報とが保持される。また、プロパティ1715には、入力データに関する情報(例えば、ページ数、ページサイズ、入力機器情報、タイムスタンプなど)が保持される。
【0097】
電子ファイル生成処理S1230は、ページ描画情報1210を電子ファイル1211に変換する。この実施形態では、PCで再生や編集等が可能な電子ファイルへ変換する。図18に示す電子ドキュメント2110は、この実施形態の説明のために作られた仮想的なXMLフォーマットに従って作られた電子ファイル1210の例である。図18に示す2111は図17の背景オブジェクト1714の下地画像データを1ページ全体に描画する記述の例である。また、2112は写真オブジェクト1712内の写真画像を位置情報により指定された位置に描画する記述である。また、2113はクリップアートオブジェクト1713内の図画ベクトルをページ内の指定位置に描画する記述である。更に、2114は文字オブジェクト1711内の文字ベクトルをページ内の指定位置に描画する記述である。
【0098】
図18の電子ドキュメントを受信したPCでは、2111〜2114に記述された情報を順に描画することで、背景、写真、図画ベクトル、文字ベクトルを重ね合わせて元の文書と同等の外観を有すページ画像を再生可能である。また、2111〜2114の記述それぞれをオブジェクトとして編集用途に供することも可能である。
【0099】
尚、図18はあくまで一例であり、他のフォーマットを用いて記述しても良い。例えば、PDF、XPS、SVGなどのグラフィックページ記述、Office Open XML、Open Document Formatなどのページ編集データ記述などを用いても良い。
【0100】
以上説明した画像処理装置において必要となるメモリの使用量について説明する。ここでは、A4サイズ、600dpi、24bit/pixelのカラー文書画像を入力した場合の例を説明する。この例では、入力画像1201に対して必要なメモリサイズは約100MBである。領域解析用画像1202に対して必要なメモリサイズは、入力画像の色分布などによっても異なるが、ページ全体を2bitで表現したとすれば300dpiの場合、約2MBである。文字部ベクトル化処理用画像1203に対して必要なメモリサイズは、600dpiの8bit/pixelの場合で約33MBである。図画部ベクトル化処理用画像1204に対して必要なメモリサイズは、輝度300dpi、色差150dpiの場合で約13MBである。各処理用画像を生成した後に入力画像1201を削除することで、100MB必要であったメモリサイズが合計48MBになり、約2分の1のメモリ削減効果がある。
【0101】
以上説明したように、この実施形態では、クリップアート領域及び文字領域を含む入力文書画像を、領域の分離処理、文字のベクトル化処理、クリップアートのベクトル化処理それぞれに適した3つの画像に変換する。そして、各画像を対応する処理に入力して電子化を行うことで、画像に必要なメモリの消費を抑えながら高い処理精度で高画質・高再利用性の電子データを生成することができる。
【0102】
加えて、輝度に対して色差の解像度が間引かれた画像に対してクリップアート領域のベクトル化処理を行い、同領域に適切な穴埋め処理を行うようにした。このようにすることにより、偽色が発生せず、画質を損なわない下地画像の生成を可能とし、メモリの消費を抑えながら高画質の電子データを生成することが可能となる。
【0103】
また、上述した実施形態2では、文字画像とクリップアートとをベクトル化したが、これに加えて、線画(ラインアート)や、表(枠)の罫線をベクトルデータに変換するようにしてもよい。線画(ラインアート)や罫線のベクトル変換処理は、公知の技術を適用することが可能であるが、例えば、上述した文字部ベクトル化処理と同様に、線画や罫線の輪郭に基づいてベクトルデータへ変換するようにすればよい。線画や罫線をベクトルデータへ変換する場合、高精度な変換が望まれるのであれば、文字画像と同様に文字部ベクトル化処理用画像1203を用いてベクトルデータへ変換すればよい。このとき、線画や罫線の色情報は、領域解析部S1224で得た色情報に基づいて決定すればよい。
【0104】
ただし、線画(ラインアート)は複数色で構成される場合もあるので、その場合は図画部ベクトル化処理用画像1204を用いて図画部ベクトル化処理S1227と同様の処理でベクトルデータへ変換するようにしても良い。
【0105】
[変形例]
以上、実施形態例を詳述したが、本発明は、例えばシステム、装置、方法、プログラム若しくは記憶媒体(記録媒体)等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また一つの機器からなる装置に適用しても良い。
【0106】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム(実施形態では図に示すフローチャートに対応したプログラム)を、システム或いは装置に直接或いは遠隔から供給する。そして、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【0107】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【0108】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
【0109】
プログラムを供給するための記録媒体としては、例えば以下のようなものがある。フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)。
【0110】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。即ち、ホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
【0111】
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布する。そして、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【0112】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他にも、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【0113】
さらに、コンピュータにより読み取り可能な記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後にも前述した実施形態の機能が実現される。即ち、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現される。
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理方法に関するものである。
【背景技術】
【0002】
近年、情報の電子化が進み、紙文書をそのまま保存するのではなく、スキャナ等によりスキャンして電子化して保存したり、電子データを他の装置に送信したりするシステムが普及してきている。送信コストを削減するため、電子化された文書に対して高い圧縮性が要求されている。一方、電子化データを部分的に編集できる再利用性と、拡大しても縮小しても画質が落ちない高画質性とが要求されている。
【0003】
ところが、文書画像に文字領域や写真領域が混在する場合は、文字領域に適した圧縮を行うと画質は良いが圧縮率が低くなり、また写真領域に適した圧縮を行うと圧縮率は高いが文字が劣化してしまうという問題がある。そこで、電子化された文書画像を文字領域と写真領域に分離し、文字領域は文字領域に適した圧縮を行い、更に、写真領域は文字の画素を周囲の画素値で埋めた後に写真領域に適した圧縮を行う。そして、圧縮された文字画像と背景画像とを一緒に出力する技術が提案されている(例えば、特許文献1、2参照)。
【0004】
また、再利用性と高画質性が重視される文字領域をベクトルデータに変換し、それ以外の容易にベクトル化で再現できない写真領域などをJPEGで圧縮し、各領域の圧縮結果を合成して出力する。これにより、文書画像の高圧縮性、再利用性、高画質性を実現する技術が提案されている(例えば、特許文献3参照)。
【0005】
更に、ベクトル処理対象を文字や線画以外に拡大し、文書画像の高圧縮性、再利用性、高画質性を向上させる技術も提案されている(例えば、特許文献4参照)。特許文献4では、写真などの自然画に比べ、物体の輪郭(オブジェクトの境界)が明瞭で、出現色も限られているなどの特徴を有している特定画像(例えば、イラスト)をベクトル化する。この特定画像を「クリップアート画像」と称す。
【0006】
また、特許文献5では、文字領域を含んだ文書画像に対してベクトル化可能な領域をベクトル化し、そのベクトル化結果をベクトル層に置く。また、ベクトル化された領域を周囲の背景画素値で穴埋め(塗り潰し)し、穴埋め後の画像のJPEG圧縮結果をJPEG層に置く。このようにして、ベクトル層データとJPEG層データからなる文書ファイルを作成する。
【0007】
また、特許文献6では、入力画像から元解像度の二値画像と半分の解像度の多値画像を生成し、分離処理と文字領域の変換処理は前者の二値画像に、背景領域の変換処理は後者の多値画像に対して処理をおこなっている。例えば入力画像がA4サイズ、24bit/pixelで約24MBの場合、入力画像を二値化して得られる二値画像は約1MB、入力画像の解像度を半分にして得られる画像は約6MBである。従って、これら2つの画像を生成した後に元の入力画像を破棄することで、およそ1/4の画像用メモリで電子化処理を行うことのできる手法が提案されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開平07−236062号公報
【特許文献2】特開2005−012768号公報
【特許文献3】特開2004−265384号公報
【特許文献4】特開2006−344069号公報
【特許文献5】特開2007−305034号公報
【特許文献6】特開2004−128881号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
一方、クリップアート領域を矩形領域で定義し、文書画像に対して、クリップアート領域101をベクトル化した後に周辺の画素値で塗りつぶす場合、次のような問題が生じると考えられる。
【0010】
例えば、図1に示すようなクリップアート領域(イラスト領域)101を矩形で表したときに、他の領域(写真領域102)がクリップアート領域の背景部分に重なることがある。このとき、矩形のクリップアート領域101全体を周辺の画素値で塗り潰すと、図2に示すように、クリップアート領域101と重なる他の領域201が塗り潰しにより消えてしまい、再生時に、写真領域102の画像を再現できない。そのため、クリップアート領域101の矩形全体を塗り潰すのではなく、クリップアート領域101内において、背景領域と背景以外の領域(即ち、前景となるオブジェクト領域(イラスト本体部分))とに切り分ける。そして、その背景以外の領域(オブジェクト領域(前景領域))のみを塗り潰す方法を本出願人は特願2008-120763において提案している。
【0011】
この方法によれば、圧縮性の高い合成文書ファイルを生成することができ、且つ、周囲に重なる領域が存在する場合でも、元の画像が再現できる。
【0012】
図1に示す文書画像の例に対しては、図3に示すように、クリップアート領域101に含まれるオブジェクト領域(イラストの本体部分)のみに対して穴埋め処理を行う。即ち、クリップアート領域101の背景以外の領域(オブジェクト領域)を塗り潰すことにより、重なる写真の部分には何も影響を与えないというものである。
【0013】
この例では、クリップアート領域101を含む文書画像を入力し、入力した文書画像を二値画像データに変換し、この二値画像データを用いて文字、グラフィックス、表などの複数種類の領域に分離する領域分離処理を行ってクリップアート領域を抽出する。更に、このクリップアート領域に対応する文書画像の色に基づいて、色の類似度によりクリップアート領域を複数の領域に領域分割する。この領域分割の結果からクリップアート領域内で背景領域とすべき領域を特定する。そして、文書画像において、背景領域とすべき領域の色情報を背景色とし、クリップアート領域内のオブジェクト領域(背景以外の領域)を背景色で塗り潰す。一方、クリップアート領域内のオブジェクト領域の画像はクリップアートのベクトルデータに変換する。オブジェクト領域(背景以外の領域)を塗りつぶした後の文書画像を下地画像としてJPEG圧縮し、当該圧縮した下地画像のJPEGデータを、クリップアート領域のベクトルデータが下地画像の上に描画されるようにしたファイル形式で出力する。
【0014】
このように、クリップアート領域と重なる他の領域がある文書画像に対してもクリップアート領域と重なる他の領域が塗り潰しにより消えてしまうことがない。また、元の画像を再現することが可能となり、高圧縮性、再利用性、高画質性を向上させた文書画像処理方法を提案している。
【0015】
一方、このような処理を画像処理装置に実装する場合、穴埋めされるべき下地画像をそのまま保持すると多くのメモリが必要となり、装置コストを押し上げる要因となる。このため、本発明では、対象とする画像を、スキャナでの三原色に基づく光電走査により得られるRGB色空間上でのカラー画像形式を変換して処理する。例えば、公知のYCrCb色空間のように、明るさ成分(Y)と色成分(Cr,Cb)とに分けたカラー空間上で表現された形式に変換する。そして、システムで許されるメモリ容量制限に比して、より大きなサイズの入力画像にベクトル化処理を施すために、下地画像の解像度を低くする。例えば、入力画像の明るさ成分と色成分との比率が(Y:Cr:Cb=4:4:4)であるとき、下地画像の色成分(Cr,Cb)の解像度を半分に落とす。これにより、画素数の比率がY:Cr:Cb=4:1:1になるように変換され、下地画像で必要となるデータ量が減る。尚、ベクトル化対象オブジェクト(クリップアート領域のオブジェクト部分など)に関しては、入力画像の解像度で処理を行う。
【0016】
このようにすることで、カラー画像を三色成分に基づくRGB形式で解像度を落とすことなく保持する場合に比して、半分のデータ量で下地画像を扱うことができる。言い換えれば、倍のサイズの画像データを処理することが可能となる。尚、明るさ成分Yの解像度よりもCrCbの解像度の方を落とすのは、人間の目の特性が、色成分CrCbよりも明るさ成分Yに敏感なためである。
【0017】
しかしながら、このような構成では、矩形境界部分と背景境界部分とで、色成分の解像度の差異と塗り潰しの色とに基づく偽色が発生する場合があり、出力画像の画質を損なう要因となり得る。尚、矩形境界部分とは、ベクトル化対象オブジェクトとその外接矩形領域外との境界であり、例えば、矩形のクリップアート領域内のオブジェクト領域とクリップアート領域外の下地画像との境界である。また、背景境界部分とは、ベクトル化対象オブジェクトとその外接矩形内におけるベクトル化対象オブジェクト以外の背景領域との境界であり、例えば、矩形のクリップアート領域内のオブジェクト領域と背景領域との境界である。
【0018】
ここで、上述の境界部分で発生する偽色の原因を、図4〜図6を用いて説明する。図4は、カラー画像の明るさ成分(Y成分)の様子を示す図である。図5は、カラー画像の色成分(Cr成分)の様子を示す図である。図6は、カラー画像の色成分(Cb成分)の様子を示す図である。図4では、Y:Cr:Cb=4:1:1のように、Cr,Cb成分の解像度をY成分に比べて低くした際のY成分の様子を表している。また同様に、図5と図6はそれぞれCr成分とCb成分の様子を表している。
【0019】
図4の401、図5の501、図6の601は、YCrCbカラー空間上でのY:Cr:Cb=4:1:1の形式の画像データにおける、Y成分の解像度での2×2画素領域に対応するCr成分、Cb成分を表している。つまり、Y成分での2×2画素領域(Y11,Y12,Y13,Y14)が、Cr成分、Cb成分では1画素として対応する。
【0020】
また、図4の402、図5の502、図6の602は、それぞれ入力されたカラー画像(原画像)のベクトル化対象オブジェクトが存在する位置を示す例である。解像度が原画像と同じく高いY成分上では、対象オブジェクトの形状が画素境界に一致している。一方、解像度を原画像の半分にしているCr成分上とCb成分上では、対象オブジェクトの形状が色成分CrCbの画素境界には必ずしも一致しない。即ち、対象オブジェクトの境界部分が、色成分Cr,Cb上の画素の1/4や1/2の面積で部分的にかかっている状態になっている場合がある。
【0021】
このような境界部分の色成分(Cr,Cb)は、オブジェクト側の色情報に統一するか、下地の色情報に統一するか、或いはオブジェクト側の色情報と下地の色情報を部分的にかかる面積比を考慮した平均色にする、などが考えられる。
【0022】
このような状況でディスプレイへの表示やプリンタでの印刷のために、各色同一の解像度を持つ三色成分に基づくRGB形式に変換すると、上述の何れの方法で処理しても境界部分で偽色が生成される原因となる。つまり、画素境界色情報は、境界部で、元々のスキャナでの三原色に基づく光電走査によって得られたRGB色空間上でのカラー画像とは異なる色(偽色)が生成され、違和感を与えることとなってしまう。
【0023】
このような偽色は、クリップアート領域内の背景領域とオブジェクト領域(背景領域以外の領域)との境界部分、及びクリップアート領域と下地領域との境界部分の少なくとも何れかで発生する可能性がある。この様子を図7A〜図7Gを用いて説明する。
【0024】
図7A〜図7Gは、背景領域とオブジェクト領域との境界部分や、オブジェクト領域と下地領域との境界部分で発生する偽色を説明するための図である。図7Aは、クリップアート領域を含む文書画像の例を表している。701はベクトル化対象としてのクリップアート領域の位置を示すものであり、クリップアート領域の外接矩形からなるオブジェクト外接矩形である。また、図7Bは、そのオブジェクト外接矩形701内の画像を抽出した状態を表している。702はクリップアート領域内(オブジェクト外接矩形内)における背景であり、クリップアート領域を色の類似度により複数の領域に領域分割した結果から、背景領域として特定される。背景領域の特定は、例えば、クリップアート領域内の画像を類似する色に基づいてクラスタリングし、更に、クリップアート領域の外接矩形の境界に接する画素数が最も多いクラスタを背景領域のクラスタとする手法を用いる。そして、図7Aに示す704は下地である。
【0025】
また、図7Cは、背景領域703をベクトル化対象から外し、背景以外の領域(ベクトル化対象オブジェクト)のみを表現している。尚、背景領域703に対応する背景702から背景色が求められる。図7Cにおいて、705はオブジェクト領域(背景以外の領域)と下地704との境界部を示し、706はオブジェクト領域(背景以外の領域)と背景702との境界部を示している。また、図7Dは、下地画像において塗り潰し対象となる背景以外の領域707を示している。また、図7Eは、境界部705と境界部706の双方を背景以外の領域707と区別することなく、背景702から求めた背景色で塗り潰した状態である。
【0026】
また、図7Fは、下地画像において、図7Eに示すようにクリップアート領域内のオブジェクト部分を背景色で塗り潰し、更に、クリップアート領域のオブジェクト部分のベクトル結果を重畳表示したものである。この場合、下地画像におけるオブジェクト部分は背景色で塗り潰されているので、708に示すように、境界部706は問題が無いものの、境界部705に該当する部分は塗り潰し色(背景色)と下地画像の色との差異が大きい。そして、ベクトル化されたオブジェクト部分を重畳表示したとき、オブジェクト部分と下地画像との解像度の違いにより、偽色が発生してしまう。
【0027】
一方、境界部705と境界部706の両方を背景色ではなく下地色で塗り潰すことにすると、今度は、下地画像との境界部705に関しては偽色が発生しないものの、背景領域との境界部706に関して偽色が発生することになる。
【0028】
本発明の目的の1つは、カラー画像に含まれるオブジェクト画像とそのオブジェクト画像との境界で偽色が発生するのを防止することである。
【0029】
更に、領域解析処理(領域分離処理)や、ベクトル変換処理などに用いる画像は、それぞれの処理の精度を維持するのに十分な解像度、色域等の情報量をもっていなければ、高画質、高再利用性といった特長をもった電子データを生成することは不可能である。一方で、各処理で要求される情報量には差があり、一律に情報量の多い画像をすべての処理に入力すると余分なメモリを消費してしまい、処理も遅くなってしまうという問題がある。
【0030】
例えば、生成される電子データの文字部分に高い画質が要求される場合、文字領域の変換処理に対してより高い解像度の画像を入力する必要がある。例えば3〜5ポイントの小さな文字の画像から、外見を忠実に再現するベクトルデータを生成するためには600dpi程度の高解像度画像が必要となる。一方、領域解析処理(画像内を文字領域、クリップアート領域、写真領域などに分離)用の画像は300dpiあれば十分で、それ以上の高解像度はメモリ量の増加、処理速度の低下を招くだけではなく、ノイズ量の増大による処理精度低下の虞もある。また領域を分離できればいいので、局所的には2値、画像全体でもせいぜいN値程度になるように前処理によって量子化されているほうが、処理速度の高速化の観点上好ましい。更に、クリップアート領域をベクトル化する処理に対しては、文字領域の処理ほど高い解像度を必要とせずに300dpi程度の中解像度画像が適している。また、ベクトル結果において視覚上オリジナルと一致する色を再現するためには、入力画像における1画素あたりのビット数は十分に多くなければならない。しかし、上述した説明のように輝度Yに対して色差Cb,Crが1/2の解像度を持つようにすれば、画像データのサイズを抑えることができる。
【0031】
本発明は、クリップアート領域や文字領域を含む入力文書画像を、領域解析処理(領域分離処理)、文字のベクトル化処理、クリップアートのベクトル化処理それぞれに適した3つの画像に変換し、各処理を行うことを目的とする。
【課題を解決するための手段】
【0032】
本発明は、カラー画像における複数の色成分のうちの少なくとも1つ以上の色成分の解像度が他の色成分の解像度より低い第1の画像を生成する画像生成手段と、
前記画像生成手段で生成された第1の画像を下地画像として保持する保持手段と、
オブジェクト画像を含む矩形領域を抽出する領域抽出手段と、
前記領域抽出手段で抽出された矩形領域内において、前記オブジェクト画像の領域と背景画像の領域とを特定する特定手段と、
前記下地画像について、前記特定手段で特定されたオブジェクト画像に対応する領域の穴埋め処理を行う穴埋め処理手段とを有し、
前記穴埋め処理手段は、前記オブジェクト画像と前記下地画像との境界と前記オブジェクト画像と前記背景画像との境界とでそれぞれ異なる穴埋め処理を行うことを特徴とする。
【発明の効果】
【0033】
本発明によれば、カラー画像に含まれるオブジェクト画像とそのオブジェクト画像との境界でカラー画像とは異なる色が発生するのを防止することが可能となる。
【0034】
また、本発明によれば、クリップアート領域や文字領域を含む入力文書画像を、領域分離処理、文字のベクトル化処理、クリップアートのベクトル化処理それぞれに適した3つの画像に変換し、各画像に対してそれぞれの処理を行う。このようにすることで、メモリの消費を抑えながら、高い処理精度で高画質・高再利用性の電子データを生成することが可能になる。
【図面の簡単な説明】
【0035】
【図1】クリップアート領域を含む文書画像の一例を示す図。
【図2】クリップアート領域を全体に下地部分として塗り潰し、JPEGで圧縮した場合の問題を示す図。
【図3】クリップアート領域の背景以外の領域を塗り潰し、写真領域に影響を与えない場合を示す図。
【図4】カラー画像の明るさ成分(Y成分)の様子を示す図。
【図5】カラー画像の色成分(Cr成分)の様子を示す図。
【図6】カラー画像の色成分(Cb成分)の様子を示す図。
【図7−1】、
【図7−2】背景領域と背景領域以外の領域との境界部分やクリップアート領域と下地領域との境界部分に発生する偽色を説明するための図。
【図8】本実施形態における画像処理装置の構成の一例を示すブロック図。
【図9】本実施形態における画像処理装置を実現するハードウェア構成を示すブロック図。
【図10】本実施形態における穴埋め処理を含む画像処理全体を示すフローチャート。
【図11】本実施形態における穴埋め処理の詳細を示すフローチャート。
【図12】他の実施形態における処理の構成を説明する図。
【図13】他の実施形態における処理を示すフローチャート。
【図14】領域解析処理と属性判定処理の詳細を示す図。
【図15】図画部ベクトル化処理を示す図。
【図16】ベクトル化処理S1520の詳細な処理を示す図。
【図17】ページ描画情報生成処理で生成されたページ描画情報の一例を示す図。
【図18】電子ドキュメントの一例を示す図。
【発明を実施するための形態】
【0036】
以下、図面を参照しながら発明を実施するための形態について詳細に説明する。本実施形態では、画像処理装置を用いたクリップアート画像の領域における穴埋め処理を詳細に説明する。
【0037】
図8は、本実施形態における画像処理装置の構成の一例を示すブロック図である。入力部801はカラー文書をスキャンし、入力画像データとして入力する。領域抽出部802は入力部801より入力された入力画像データからクリップアートを含む領域をクリップアート領域として抽出する。例えば、入力画像を二値画像データに変換し、この二値画像データを用いて文字、グラフィックス、表等の複数種類の領域に分離する領域分離処理を行い、クリップアート画像の領域を求める。そして、領域分離処理により求めたクリップアート画像の領域(クリップアート領域)を抽出する。
【0038】
領域分割部803は領域抽出部802で抽出されたクリップアート領域における各画素の色特徴に基づき、領域を分割する。背景領域特定部804は領域分割部803での領域分割の結果に基づき、クリップアート領域の背景画像と背景色とを特定する。背景領域の特定は、例えばクリップアート領域内の画像を類似する色に基づいてクラスタリングし、更にクリップアート領域の外接矩形の境界に接する画素数が最も多いクラスタを背景領域のクラスタとする手法を用いる。
【0039】
ベクトル化部805は背景領域特定部804による特定の結果と領域分割部803による領域分割の結果とに基づき背景以外の部分(前景となるオブジェクト画像)をベクトル化する。ワークメモリA806は処理途中の画像データなどを一時的に保持する。ワークメモリB807は処理途中の各種情報(領域属性情報)を保持する。
【0040】
低解像度化部808は入力部801で入力された入力画像データよりも複数の色成分のうちの少なくとも1つ以上の色成分の解像度が粗い画像データ(第1の画像)を生成する。高解像度化部809は低解像度化部808で生成された第1の画像を、入力部801で入力された入力画像データの解像度と等しい解像度の画像データに戻す。
【0041】
画像メモリ810は低解像度化部808で生成された第1の画像を下地画像として保持する。穴埋め部811は背景領域特定部804で特定された背景領域以外の領域(オブジェクト領域)に対応するオブジェクト画像(下地画像又は背景画像との境界を含む)の穴埋め処理を行う。
【0042】
データ出力部812はベクトル化部805でベクトル化されたベクトルデータを含むオブジェクト層と、穴埋め部811で穴埋め処理された下地画像のオブジェクト層とを含む層構造をもつファイル形式の画像情報を生成して出力する。例えば、PDFフォーマットにして出力する。
【0043】
図9は、本実施形態における画像処理装置を実現するハードウェア構成を示すブロック図である。図9において、イメージスキャナ901はI/O902を介してバス900に接続され、図1に示す入力部801として機能する。CPU910はROM920に格納されたプログラムを実行する。これにより、CPU910は領域抽出部802、領域分割部803、背景領域特定部804、ベクトル化部805、低解像度化部808、高解像度化部809、穴埋め部811、データ出力部812として機能する。また、RAM930は、ワークメモリA806、ワークメモリB807、画像メモリ810として機能する。
【0044】
外部記憶部940には、I/O941を介してハードディスク(HDD)942がバス900に接続されている。外部出力装置950にはI/O951を介してプリンタ952がバス900に接続されている。外部記憶部940、画像出力装置950、ネットワークI/F960は、データ出力部812からのデータ出力先となるものである。また、予め外部記憶部940に格納される画像データを入力する場合には、この外部記憶部940が事実上の入力部となる。
【0045】
以上の構成において、背景領域の境界又は矩形境界における穴埋め処理を、図10及び図11を用いて説明する。図10に示すS1001〜S1007及び図11に示すS1101〜S1109はCPU910によって実行される処理のステップである。
【0046】
図10は、本実施形態における穴埋め処理を含む画像処理全体を示すフローチャートである。まず、S1001において、入力部801よりカラー文書の画像データを入力する。ここでは、必要に応じてワークメモリA806に、一旦入力中の画像データを部分的にバッファリングしながら順次RGBデータを図4〜図6を用いて説明したY:Cr:Cb=4:1:1の形式に低解像度化し、RAM930上の既定の領域に保持する。本実施形態では、Cr成分、Cb成分の解像度を低解像度化している。
【0047】
尚、低解像度化部808で行われるRGB色空間上のデータからYCrCb色空間上のデータへデータ形式を変換する方法は、よく知られた公知の変換方法であるので、ここでは詳述しない。
【0048】
次に、S1002において、低解像度化されてRAM930上に保持されている画像データを部分的に順次元のRGBデータに高解像度化しながらワークメモリA806に保持する。そして、領域抽出部802は、再生された画像データからクリップアートを含む領域をクリップアート領域として抽出し、その領域属性情報をRAM930上のワークメモリB807に出力する。例えば、画像を二値画像データに変換し、この二値画像データを用いて文字、グラフィックス、表等の複数種類の領域に分離する領域分離処理を行って、クリップアート領域を抽出する。
【0049】
尚、高解像度化部809で行われるYCrCb色空間上のデータからRGB色空間上のデータへデータ形式を変換する方法は、よく知られた公知の変換方法であるので、ここでは詳述しない。
【0050】
次に、S1003では、S1002で得られたクリップアート領域の領域属性情報を参照して、領域分割部803が、当該クリップアート領域にある各画素の色特徴に基づき、色の類似度により複数の領域に領域分割する。即ち、クリップアート領域内の画像を類似する色に基づいてクラスタリングする。ここで得られたクリップアート領域の領域分割の結果を、RAM930上のワークメモリB807の領域に出力する。
【0051】
次に、S1004では、背景領域特定部804が、S1003で得られたクリップアート領域の領域分割の結果を参照して当該クリップアート領域における背景領域を特定する。例えば、背景領域の特定は、クリップアート領域の外接矩形の境界に接する画素数が最も多いクラスタを背景領域のクラスタとする手法を用いる。ここで特定された背景領域の情報である背景領域情報と、背景領域の色情報である背景色情報をRAM930上のワークメモリB807に出力する。
【0052】
次に、S1005では、ベクトル化部805が、S1004で特定された背景領域情報に基づき、当該クリップアート領域内における背景以外の領域を、オブジェクト部としてベクトル化する。ここでベクトル化結果をRAM930上のワークメモリB807に出力する。
【0053】
次に、S1006では、上述の背景領域情報に基づき、背景領域とそれ以外のオブジェクト領域とが判別できるビットマップ形式の画像(背景マスク画像)を生成する。そして、該ビットマップ形式の背景マスク画像を参照して当該クリップアート領域内におけるオブジェクト領域に対応する部分の穴埋め処理を行う。そして、穴埋め処理された下地画像は、Y:Cr:Cb=4:1:1の形式でRAM930上の既定の領域に穴埋め処理済の背景画像データとして保持される。このS1006における穴埋め処理の詳細は、図11を用いて更に詳述する。
【0054】
次に、S1007では、上述のオブジェクト部のベクトル化結果と穴埋め処理済の背景画像データから、オブジェクト層と背景画像層とを含む層構造をもつ画像情報を生成して出力する。
【0055】
次に、図10に示すS1006におけるオブジェクト部の穴埋め処理の詳細を、図11を用いて説明する。まず、S1101では、処理対象であるクリップアート領域内の背景領域に基づき、背景領域を判別するための情報を、高解像度化され、且つ1画素1ビットで生成された2値のビットマップ画像(背景識別用画像)として生成する。背景領域とオブジェクト領域とを画素値がそれぞれ1か0かで判別できる形式に生成しながらワークメモリA806に保持し、当該クリップアート領域の背景色情報をワークメモリB807より読み出す。その際に、当該クリップアート領域に対応する画像データのラスター走査順での処理の準備として、一連の初期化処理を行う。そして、一連の初期化処理が終了すると、ラスター走査順にクリップアート領域に対応する部分の穴埋め処理を開始する。
【0056】
次に、S1102では、当該クリップアート領域に対応する部分のY:Cr:Cb=4:1:1の形式で低解像度化されてRAM930上に保持されている画像データのCrデータ(Cbデータでも良い)をラスター走査する。この時点でのラスター走査順の注目位置における画素が上述した境界部705でもなく、かつ境界部706でもない背景領域内にある画素か否かを判定する。具体的には、この時点でのラスター走査順の注目位置における画素が上述のビットマップ画像(背景識別用画像)上での対応部分(2×2画素の領域が対応する)の2×2画素の4画素のうち、全てが背景領域の画素であるか否かを調べる。そして、4画素全てが背景画素であれば境界以外の背景領域であると判定する。
【0057】
判定した結果、注目画素が境界以外の背景領域の画素である場合、S1107へ進み、境界以外の背景領域の画素でない場合、S1103へ進む。S1103では、S1102と同様に、注目画素が境界部706に相当する画素(即ち、背景領域とオブジェクト領域(クリップアート領域内における背景以外の領域)との境界)であるか否かを判定する。つまり、その時点でのラスター走査順の注目位置における画素が上述のビットマップ画像(背景識別用画像)上の対応部分の2×2画素の4画素のうちどの画素が背景領域の画素で、4画素中の残る画素が全てオブジェクト領域の画素であるか否かを調べる。この条件を満たす場合、注目画素は境界部706に相当する画素(即ち、背景領域とオブジェクト領域との境界)であると判定する。
【0058】
判定した結果、注目画素が背景領域とオブジェクト領域との境界に相当する場合、S1108へ進み、背景領域とオブジェクト領域との境界に相当しない場合には、S1104へ進む。S1104では、上述した判定処理と同様に、注目画素が境界部705に相当する画素(即ち、下地領域とオブジェクト領域との境界)であるか否かを判定する。つまり、注目画素が上述のビットマップ画像(背景識別用画像)上での対応部分(2×2画素の領域が対応する)の2×2画素の4画素のうち、何れかの画素がオブジェクト領域の画素で、かつ4画素中の残る画素の何れかが下地領域の画素であるか否かを調べる。この条件を満たす場合、注目画素は境界部705に相当する画素(即ち、下地領域とオブジェクト領域との境界)であると判定する。
【0059】
判定した結果、注目画素が下地領域とオブジェクト領域との境界に相当する場合、S1109へ進み、下地領域とオブジェクト領域との境界に相当しない場合には、S1105へ進む。S1105では、注目画素が、オブジェクト領域(前景となるオブジェクト本体)の画素の場合となっているので、背景色(Y,Cr,Cb)で穴埋めを行う。即ち、低解像度化されてRAM30上に保持されている画像データ上で、その時点でのラスター走査順の注目位置における画素のCbデータ、Crデータ、Yデータを背景色データから得られる各値に置き換える。ここで背景色データは、RGBデータで保持しているので、これをYCrCbに変換して得られる。
【0060】
次に、S1106では、当該クリップアート領域に対応する画像データのラスター走査順での処理が当該領域の最終画素まで進んだか否かを判断する。判断した結果、最終画素まで終了したのであれば、この一連の処理を終えて終了し、終了していない場合には、S1107へ進む。S1107では、注目する位置の画素(注目画素)を次の位置の画素に進め、S1102に戻る。
【0061】
一方、S1108では、注目画素は境界部706に相当する画素(即ち、背景領域とオブジェクト領域との境界)であるので、注目画素のCbとCrのみを、背景色データから得られる各値に置き換える。即ち、図7Gに示すように、境界部706が背景色データで穴埋め処理される。ここで背景色データは、RGBデータで保持しているので、これをYCrCbに変換して得られる。そしてS1108の処理を終えると、上述したS1106へ進む。
【0062】
一方、S1109では、注目画素は境界部705に相当する画素(即ち、下地領域とオブジェクト領域との境界)であるので、注目画素のY,Cb,Crはそのままの値として残し、背景色のデータに置き換えない。即ち、境界部705は、図7Gに示すように下地領域の色で穴埋め処理される。そしてS1109の処理を終えると、上述したS1106へ進む。
【0063】
本実施形態によれば、カラー文書のページ内のベクトル化対象オブジェクトと、これを含む外接矩形領域外の背景とが異なる解像度のデータで構成されている場合でも、境界部分に偽色が発生しない。境界部分は、ベクトル化対象オブジェクトとその外接矩形領域外との矩形境界部分や、ベクトル化対象オブジェクトとその外接矩形内におけるベクトル化対象オブジェクト以外の背景領域との境界部分である。
【0064】
従って、システムの許容メモリ容量に比してより大きなサイズの画像入力に対しても、出力画質を損なうことなくベクトル化処理を施すことが可能となる。
【0065】
本実施形態では、入力画像をRGB形式の画像から一旦Y:Cr:Cb=4:1:1の形式に変換するのを、ワークメモリA806上にバッファリングしながらCPU910によるソフトウェア処理で行った。しかし、公知の技術で構成可能な専用のハードウェアを用いて行うように構成しても良い。このような処理をハードウェアで構成すると、装置のコストが上昇する半面、処理時間の短縮化を図ることができる。
【0066】
また、本実施形態では、入力画像全体をRGB形式の画像として保持すること無く、処理するのを前提として説明したが、本発明はこれだけに限らない。入力画像を一旦RGB形式の画像としてハードディスクのような外部記憶装置に格納した後、改めて、この外部記憶装置から読み出して同様な処理を行うように構成しても良い。
【0067】
また、本実施形態では、入力画像をスキャナで読み取った文書画像として処理するのを前提として説明したが、本発明はこれだけに限らない。即ち、デジタルカメラで撮像された画像(静止画)やビデオカメラで撮影された動画像を入力画像として構成しても良い。
【0068】
これらの入力画像の場合、静止画であればJPEG、動画像であれば、MPEGなどが用いられる。既にY:Cr:Cb=4:1:1のような複数の色成分のうちの少なくとも1つ以上の色成分の解像度が粗い画像として入力されるのが一般的な画像に対して、背景領域とそれ以外の領域(オブジェクト部)とに分ける。このオブジェクト部にベクトル化などの処理を加えて背景領域と再合成するような場合にも、本発明は適用可能であるのは言うまでもない。
【0069】
[他の実施形態]
次に、図面を参照しながら本発明に係る他の実施形態を詳細に説明する。上述した実施形態では、クリップアート領域の穴埋め処理について詳しく説明したが、他の実施形態では、クリップアート領域と文字領域とに対して処理するときの詳細を示す。他の実施形態は、図9に示すようなハードウェア構成を有する画像処理装置で実現可能である。
【0070】
図12は、他の実施形態における処理の構成を説明する図である。ここでS1221〜S1230は画像やその他のデータを電子的に処理するステップを表す。また、1201〜1211は各ステップに対して入力されるデータや、各ステップで生成されたデータである。
【0071】
尚、図12に示す各処理は、図9に示すCPU910がコンピュータプログラムを実行することによって実現されるものとするが、その一部又は全部を電気回路で構成するようにしても構わない。また、各処理は図13のフローチャートに示された順番で処理されるものとする。以下に、各処理の詳細を説明する。
【0072】
図12に示す各処理は、入力画像の解像度や色空間を変換し、他の処理に適した画像を生成する画像生成処理である。色空間変換及び解像度変換は公知の方法を用いる。
【0073】
領域解析用画像生成処理S1221は、入力画像1201を領域解析処理S1224での処理に適した画像1202へ変換する。領域解析処理S1224で処理対象にする画像1202は、多値の中解像度の画像が適している。そのため、領域解析用画像生成処理S1221では、入力画像1201(例えば、色空間RGBで解像度600dpiの画像)を、色空間YCrCbで解像度300dpiの画像に変換する。その後、色の量子化を行い、画素当たりのビット数を削減した領域解析用画像(第2の画像)1202を生成する。
【0074】
文字部ベクトル化処理用画像生成処理S1222は、入力画像1201を文字部ベクトル化処理S1225での処理に適した画像(第3の画像)1203へ変換する。一般的に、文字の大きさは、ページの大きさよりもかなり小さい。従って、文字部ベクトル化処理S1225で処理対象にする画像1203は、高解像度画像が適している。文字部ベクトル化処理用画像生成処理S1222は、入力画像1201から輝度情報のYのみを取り出すことにより、グレースケール(輝度画像)で解像度600dpiの文字部ベクトル化処理用画像1203を生成する。
【0075】
図画部ベクトル化処理用画像生成処理S1223は、入力画像1201を図画部ベクトル化処理S1227での処理に適した画像へ変換する。図画領域(即ち、クリップアート(イラスト)や写真画像の領域)においては、色の情報が重要である。よって、図画部ベクトル化処理S1227で処理対象にする画像は、カラーで中解像度の画像が適している。図画部ベクトル化処理用画像生成処理S1223は、入力画像1201の解像度の比率がY:Cr:Cb=4:4:4からY:Cr:Cb=4:1:1となるように、色成分の解像度を低く変換することで図画部ベクトル化処理用画像1204を生成する。尚、明るさ成分Yの解像度よりもCrCbの解像度の方を落とすのは、人間の目の特性が、色成分CrCbよりも明るさ成分Yに敏感なためである。画像1204は背景の下地画像を生成する際にも用いられることになるが、色差の解像度が輝度の解像度の半分であったとしても視覚上に与える影響は軽微である。
【0076】
領域解析処理(領域分離処理)S1224は、入力画像中の文字部、図画部などを判別することにより、複数の領域に分離する。ここでは公知のカラー画像を領域分割する技術を用いることができる。例えば、特許文献WO2006/066325の技術を用いることが可能である。
【0077】
図14に示す(A)は、領域解析処理S1224が実行する領域解析処理のフローである。S1410では、入力画像を色量子化し、類似する色を持つ領域を統合し易くする。S1420では、色量子化された画像から色情報に基づいて領域を抽出し、当該抽出した領域の属性(即ち、文字、図画部、ページ背景等の属性)を判定する。
【0078】
図14に示す(B)は、S1420における属性判定処理の詳細を示す。S1421では、色量子化後の画像から同色と判断した画素の連結成分を抽出することにより、カラー連結成分の情報に変換する。即ち、連結成分とは、同じ色(または類似色)を有し、且つ連結する(接触する)画素のグループである。
【0079】
次に、S1422では、カラー連結成分を、カラー連結成分の統計値(当該カレー連結成分の外接矩形、画素数、境界線長さ、平均色など)に基づいて属性の分類を行う。そして、S1423では、カラー連結成分の位置的な包含関係に基づいてグループ化を行い、S1424で、グループ化した連結成分から領域情報1205を生成する。領域情報1205には、各連結成分の領域についての属性情報(文字、線画、写真、クリップアート(イラスト)、表、枠、ページ背景など)と位置情報とが含まれ、更に、グループ化した連結成分の領域同士の関係が木構造の情報として含まれる。また、以下で実行する領域ごとの処理結果は、領域情報に記録される。
【0080】
文字部ベクトル化処理S1225で行われる文字部分のベクトル変換処理の詳細を説明する。領域情報1205に基づき文字領域の位置を特定し、文字部ベクトル化処理用画像1203における文字領域から文字画像の連結成分を取得し、当該連結成分の輪郭をベクトルデータに変換する。文字部ベクトル化処理用画像1203は高解像度画像であるので、文字画像の連結成分の輪郭がより正確に得られ、高精度なベクトルデータが得られる。また、文字色(文字画像の色情報)に関しては、領域解析処理S1224で得た当該文字領域の色情報に基づいて特定する。尚、連結成分の輪郭をベクトルデータに変換する技術は公知の技術を用いることが可能であるが、その一例を以下に示す。
【0081】
まず、文字画像が高解像度グレースケール画像である場合は2値化処理を行い、文字の画素の輪郭追跡処理を行い、文字の連結成分の輪郭を取得する。そして、文字の連結成分の輪郭を直線及び/又は曲線の組み合わせとして表現するために、連結画素の輪郭を構成する画素列を複数の区間(画素列)に区切るための「角」を検出する。ここで、「角」とは曲率が極大となる点であり、角によって分割された各区間の画素列を、直線或いは曲線で近似する。直線への近似は最小二乗法等により実行し、曲線への近似は3次スプライン関数などを用いる。輪郭を構成する画素列を各区間に分割する角の画素は、近似直線や近似曲線における始端又は終端となる。最初は、連結成分の外側の輪郭のベクトル化処理を行い、更にベクトル化された輪郭内部に内輪郭が存在するか否かを判断し、内輪郭が存在するときにはその輪郭を構成する画素列をベクトル化する。例えば、黒画素の連結画素をベクトル化する場合には、最初に黒画素の外側の輪郭をベクトルデータに変換し、更に、その内部に白画素が存在すれば、内部の黒画素と白画素の境界の輪郭をベクトル化する。そして、再帰的に反転画素の内輪郭をベクトル化していく。このように、連結成分の輪郭の区分線近似を用いれば、文字部のアウトラインをベクトルデータに変換することができる。
【0082】
尚、連結成分の線幅がほぼ一定である区間に関しては、次のようにしてベクトルデータに変換するようにしても良い。即ち、ある注目区間で連結成分の輪郭線同士が近接し、当該輪郭線の間の距離がほぼ一定であると判断した場合、当該2つの輪郭線をひとまとめにし、太さを持った線として表現することができる。例えば、2つの輪郭線の間の中心線を直線又は曲線で近似し、更にその輪郭線間の距離の平均値を当該近似直線又は近似曲線の太さとする。このようにして変換したベクトルデータと連結成分の色情報(文字色情報)とを、文字ベクトル1206として領域情報に記録する。
【0083】
文字部穴埋め処理S1226は、文字領域についての穴埋め処理を行う。本実施形態では、公知の技術である、文字画素部分を文字画素の周囲画素の平均色で塗る方法を使用する。ここでは、領域情報1205から文字領域の画素連結成分を取り出し、文字穴埋めメモリに画像として展開する。このメモリに展開した画素位置と図形ベクトル化処理画像の位置を重ね合わせて、図画部ベクトル化処理用画像1204上における文字画素部分を特定する。
【0084】
次に、図画部ベクトル化処理用画像1204において特定された文字画素部分の周辺画素の平均色を算出する。最後に、図画部ベクトル化処理用画像1204において特定された文字画素部分を、当該算出した平均色で塗りつぶす。これにより、文字ベクトル化された領域が、その周囲の背景色で塗りつぶされ、文字がない図画部ベクトル化処理用の画像が生成されることになる。
【0085】
図画部ベクトル化処理S1227は、図画領域部分をベクトル変換する。図画部ベクトル化処理について図15を用いて説明する。S1510では、領域情報1205から図画領域(写真、クリップアート(イラスト))の情報を取得し、該当する領域の画像をベクトル処理可能か判定する。例えば、領域情報の属性を参照し、クリップアートであれば、ベクトル化処理可能と判断する。但し、複雑な画像の領域をベクトル化処理対象にすると、計算量が多くなり処理速度も低下するので、ベクトル化処理の対象外にしても良い。例えば、クリップアート領域を色量子化したときに、各色の連結領域の数が非常に多いと判断された場合、当該図画領域のベクトル化処理は不可能と判定しても良い。
【0086】
ここで、ベクトル化処理可能と判定された場合は(S1510でYES)S1520へ遷移し、図画領域のベクトル化処理を行い、図画ベクトルを生成する。一方、ベクトル化処理不可能と判定された場合は(S1510でNO)S1530へ遷移し、ラスター画像切り出し処理を行う。S1530では、図画部ベクトル化処理用画像1204から該当する領域を切り出し、矩形写真画像を生成する。S1520で生成される図画ベクトル1207やS1530で生成される矩形写真画像1208は、領域情報に記録される。
【0087】
次に、S1520の詳細を、図16を用いて説明する。図16の各処理S1521〜S1524は、図15で図示したベクトル化処理S1520の詳細な処理を示す。また、画像などの情報1601〜1604は、図画部ベクトル化及び穴埋め用として確保されたワークメモリに記録される。
【0088】
高解像度化処理S1521は、複数の色成分のうち少なくとも1つ以上の色成分の解像度が粗い画像を、入力画像の解像度と等しい解像度の画像に戻す処理である。この実施形態では、図画部ベクトル化処理用画像1204がY:Cb:Cr=4:1:1の画像であり、これを入力画像と等しい解像度を有するRGB画像へ変換する。即ち、RGB画像1601は、高解像度化処理S1521で変換された高解像度画像である。
【0089】
クリップアート領域分割処理S1522は、領域情報1205に基づいてRGB画像1601におけるクリップアート領域を特定し、当該クリップアート領域内の各画素の色特徴に基づいて色毎の領域に分割する処理である。即ち、クリップアート領域分割処理S1522は、クリップアート領域内の各画素を色毎にクラスタリングするものであり、前述した実施形態の領域分割部803と同等の処理を行う。
【0090】
クリップアート領域内背景同定処理S1523は、クリップアート領域分割処理S1522で分割された色毎の領域とクリップアート領域の周辺の色とに基づき、クリップアート領域内の背景部分と背景色を同定する処理である。クリップアート領域内背景同定処理S1523は前述した実施形態の背景領域特定部804と同等の処理を行う。
【0091】
クリップアートベクトル化処理S1524は、まず背景領域同定処理S1523の同定結果とクリップアート領域分割処理S1522の領域分割結果とに基づき、クリップアート領域内の背景以外の部分(即ち、前景となるオブジェクト画像の部分)を特定する。そして、当該特定された背景以外の部分をベクトル化することにより図画ベクトル1207を生成する。
【0092】
メモリ1604には、処理途中の各種情報が中間情報として保持され、クリップアート領域内背景同定処理S1523の同定結果として得られた背景領域情報1603とクリップアート内背景色1602とが保持される。尚、その他にもクリップアートベクトル化処理途中で生成される各種の情報が保持される。背景領域情報1603及びクリップアート内背景色1602は、後述する図画部穴うめ処理S1228の入力情報となる。
【0093】
図画部穴埋め処理S1228は、文字部穴埋め処理S1226での処理後の図画部ベクトル化処理用画像1204において、当該画像内の図画領域(図画部)に対する穴埋め処理を行う。図画部穴埋め処理S1228は、図画部ベクトル化処理S1227における出力結果が図画ベクトルか、矩形写真画像かによって異なる穴埋め処理方法で処理を行う。図画領域が矩形写真画像の場合、該当する矩形写真画像領域の周辺画素の平均値を用いて文字部穴埋め処理S1226での処理後の図画部ベクトル化処理用画像1204における当該矩形写真画像に相当する領域の穴埋め処理を行う。
【0094】
一方、図画部ベクトル化処理S1227により図画ベクトル化された場合(即ち、クリップアート領域であった場合)、図画部穴埋め処理S1228は、前述した実施形態の図11と同様の処理を行うことにより穴埋め処理を行う。このようにして、図画ベクトル化対象となったクリップアート領域と、これを含む外接矩形領域外の背景とが異なる解像度のデータで構成されている場合でも、境界部分に偽色が発生しない。ここで境界部分とは、ベクトル化対象オブジェクトと下地領域との境界部分やベクトル化対象オブジェクトとその外接矩形内における背景領域との境界部分である。即ち、メモリ消費を抑えるために、図画部ベクトル化処理に入力する画像の色差解像度を輝度に対して低くしても、偽色を発生することなくベクトル化処理と穴埋め処理とを施すことが可能となる。
【0095】
このようにして、図画部穴埋め処理S1228は、図画領域の穴埋め処理を行った下地画像1209を生成する。即ち、下地画像1209は、図画部ベクトル化処理用画像1204に対して、文字部穴埋め処理S1226による文字部穴埋め処理と図画部穴埋め処理S1228による図画部穴埋め処理とが行われて生成された画像である。
【0096】
ページ描画情報生成処理S1229は、各処理により生成されたデータ及び領域情報を一つにまとめる。ページ描画情報生成処理で生成されたページ描画情報1210の一例を図17に示す。図17に示す1710はページ描画情報生成処理S1229で生成されたページ描画情報1210の全体構成例である。テキストオブジェクト1711は、領域解析処理S1224が文字と判断した領域の位置情報と、文字部ベクトル化処理S1225によりベクトル変換された文字ベクトル1206とを保持する。写真オブジェクト1712は、写真画像1208と当該領域の位置情報とが保持される。また、クリップアートオブジェクト1713には、クリップアートの図画ベクトル1207とその位置情報とが保持される。また、下地オブジェクト1714には穴埋めされた下地画像1209と位置情報とが保持される。また、プロパティ1715には、入力データに関する情報(例えば、ページ数、ページサイズ、入力機器情報、タイムスタンプなど)が保持される。
【0097】
電子ファイル生成処理S1230は、ページ描画情報1210を電子ファイル1211に変換する。この実施形態では、PCで再生や編集等が可能な電子ファイルへ変換する。図18に示す電子ドキュメント2110は、この実施形態の説明のために作られた仮想的なXMLフォーマットに従って作られた電子ファイル1210の例である。図18に示す2111は図17の背景オブジェクト1714の下地画像データを1ページ全体に描画する記述の例である。また、2112は写真オブジェクト1712内の写真画像を位置情報により指定された位置に描画する記述である。また、2113はクリップアートオブジェクト1713内の図画ベクトルをページ内の指定位置に描画する記述である。更に、2114は文字オブジェクト1711内の文字ベクトルをページ内の指定位置に描画する記述である。
【0098】
図18の電子ドキュメントを受信したPCでは、2111〜2114に記述された情報を順に描画することで、背景、写真、図画ベクトル、文字ベクトルを重ね合わせて元の文書と同等の外観を有すページ画像を再生可能である。また、2111〜2114の記述それぞれをオブジェクトとして編集用途に供することも可能である。
【0099】
尚、図18はあくまで一例であり、他のフォーマットを用いて記述しても良い。例えば、PDF、XPS、SVGなどのグラフィックページ記述、Office Open XML、Open Document Formatなどのページ編集データ記述などを用いても良い。
【0100】
以上説明した画像処理装置において必要となるメモリの使用量について説明する。ここでは、A4サイズ、600dpi、24bit/pixelのカラー文書画像を入力した場合の例を説明する。この例では、入力画像1201に対して必要なメモリサイズは約100MBである。領域解析用画像1202に対して必要なメモリサイズは、入力画像の色分布などによっても異なるが、ページ全体を2bitで表現したとすれば300dpiの場合、約2MBである。文字部ベクトル化処理用画像1203に対して必要なメモリサイズは、600dpiの8bit/pixelの場合で約33MBである。図画部ベクトル化処理用画像1204に対して必要なメモリサイズは、輝度300dpi、色差150dpiの場合で約13MBである。各処理用画像を生成した後に入力画像1201を削除することで、100MB必要であったメモリサイズが合計48MBになり、約2分の1のメモリ削減効果がある。
【0101】
以上説明したように、この実施形態では、クリップアート領域及び文字領域を含む入力文書画像を、領域の分離処理、文字のベクトル化処理、クリップアートのベクトル化処理それぞれに適した3つの画像に変換する。そして、各画像を対応する処理に入力して電子化を行うことで、画像に必要なメモリの消費を抑えながら高い処理精度で高画質・高再利用性の電子データを生成することができる。
【0102】
加えて、輝度に対して色差の解像度が間引かれた画像に対してクリップアート領域のベクトル化処理を行い、同領域に適切な穴埋め処理を行うようにした。このようにすることにより、偽色が発生せず、画質を損なわない下地画像の生成を可能とし、メモリの消費を抑えながら高画質の電子データを生成することが可能となる。
【0103】
また、上述した実施形態2では、文字画像とクリップアートとをベクトル化したが、これに加えて、線画(ラインアート)や、表(枠)の罫線をベクトルデータに変換するようにしてもよい。線画(ラインアート)や罫線のベクトル変換処理は、公知の技術を適用することが可能であるが、例えば、上述した文字部ベクトル化処理と同様に、線画や罫線の輪郭に基づいてベクトルデータへ変換するようにすればよい。線画や罫線をベクトルデータへ変換する場合、高精度な変換が望まれるのであれば、文字画像と同様に文字部ベクトル化処理用画像1203を用いてベクトルデータへ変換すればよい。このとき、線画や罫線の色情報は、領域解析部S1224で得た色情報に基づいて決定すればよい。
【0104】
ただし、線画(ラインアート)は複数色で構成される場合もあるので、その場合は図画部ベクトル化処理用画像1204を用いて図画部ベクトル化処理S1227と同様の処理でベクトルデータへ変換するようにしても良い。
【0105】
[変形例]
以上、実施形態例を詳述したが、本発明は、例えばシステム、装置、方法、プログラム若しくは記憶媒体(記録媒体)等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また一つの機器からなる装置に適用しても良い。
【0106】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム(実施形態では図に示すフローチャートに対応したプログラム)を、システム或いは装置に直接或いは遠隔から供給する。そして、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【0107】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【0108】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
【0109】
プログラムを供給するための記録媒体としては、例えば以下のようなものがある。フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)。
【0110】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。即ち、ホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
【0111】
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布する。そして、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【0112】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他にも、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【0113】
さらに、コンピュータにより読み取り可能な記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後にも前述した実施形態の機能が実現される。即ち、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現される。
【特許請求の範囲】
【請求項1】
カラー画像における複数の色成分のうちの少なくとも1つ以上の色成分の解像度が他の色成分の解像度より低い第1の画像を生成する画像生成手段と、
前記画像生成手段で生成された第1の画像を下地画像として保持する保持手段と、
オブジェクト画像を含む矩形領域を抽出する領域抽出手段と、
前記領域抽出手段で抽出された矩形領域において、前記オブジェクト画像の領域と背景画像の領域とを特定する特定手段と、
前記下地画像について、前記特定手段で特定されたオブジェクト画像に対応する領域の穴埋め処理を行う穴埋め処理手段とを有し、
前記穴埋め処理手段は、前記オブジェクト画像と前記下地画像との境界と前記オブジェクト画像と前記背景画像との境界とでそれぞれ異なる穴埋め処理を行うことを特徴とする画像処理装置。
【請求項2】
前記穴埋め処理手段は、前記オブジェクト画像と前記下地画像との境界を前記下地画像の色で穴埋め処理し、前記オブジェクト画像と前記背景画像との境界を前記背景画像の色で穴埋め処理し、前記境界でない前記オブジェクト画像に対応する領域を、前記背景画像の色で穴埋め処理することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記下地画像を高解像度化する高解像度化手段を更に有し、
前記特定手段は、前記高解像度化手段で高解像度化された画像の色特徴に基づいて前記矩形領域を複数の領域に分割し、更に当該分割された複数の領域に基づいて前記オブジェクト画像の領域と前記背景画像の領域とを特定することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記特定手段で特定されたオブジェクト画像をベクトル化するベクトル化手段と、
前記ベクトル化手段でベクトル化されたオブジェクト画像のベクトルデータと、前記穴埋め処理手段で穴埋め処理された下地画像のデータとを含むデータを出力する出力手段とを更に有することを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。
【請求項5】
前記オブジェクト画像とは、クリップアート画像であり、
前記領域抽出手段は、前記クリップアート画像を含む矩形領域を抽出することを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。
【請求項6】
前記画像生成手段は、前記カラー画像に対して、YCrCb色空間上におけるCr成分及びCb成分の少なくとも何れかの解像度を低下させることにより、前記カラー画像における複数の色成分のうちの少なくとも1つ以上の色成分の解像度が他の色成分の解像度より低い画像を生成することを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。
【請求項7】
前記カラー画像の解像度を低下させ、色の量子化を行い第2の画像を生成する手段と、
前記カラー画像の輝度情報に基づく第3の画像を生成する手段と、
前記第2の画像に対して領域解析処理を行う領域解析手段と、
前記領域解析手段で文字領域と解析された領域に対して、前記第3の画像における文字画像のベクトル化処理を行うことにより文字画像のベクトルデータを生成する文字部ベクトル化手段と、
前記下地画像について、前記文字画像に対応する領域の穴埋め処理を行う文字穴埋め処理手段と、
を更に有することを特徴とする請求項1乃至6の何れか1項に記載の画像処理装置。
【請求項8】
前記カラー画像は、前記第1の画像と前記第2の画像と前記第3の画像を生成した後に削除されることを特徴とする請求項7に記載の画像処理装置。
【請求項9】
カラー画像における複数の色成分のうちの少なくとも1つ以上の色成分の解像度が他の色成分の解像度より低い第1の画像を生成する手段と、
前記カラー画像の解像度を低下させ、色量子化した第2の画像を生成する手段と、
前記カラー画像の輝度情報に基づく第3の画像を生成する手段と、
前記第2の画像に対して領域解析処理を行う領域解析手段と、
前記領域解析手段で文字領域と解析された領域に対して、前記第3の画像における文字画像のベクトル化処理を行うことにより文字画像のベクトルデータを生成する文字部ベクトル化手段と、
前記第1の画像に対して、前記文字部ベクトル化手段でベクトル化処理された文字画像に対応する領域の穴埋め処理を行う文字部穴埋め処理手段と、
前記領域解析手段で図画領域と解析された領域に対して、前記文字穴埋め処理手段で穴埋め処理された第1の画像における前記図画領域のベクトル化処理を行うことにより図画のベクトルデータを生成する図画部ベクトル化手段と、
前記文字穴埋め処理手段で穴埋め処理された第1の画像に対して、前記図画部ベクトル化手段でベクトル化処理された図画領域に対応する領域の穴埋め処理を行う図画部穴埋め処理手段と、
前記文字部ベクトル化手段で生成された文字画像のベクトルデータと、前記図画部ベクトル化手段で生成された図画のベクトルデータと、前記文字部穴埋め処理手段及び前記図画部穴埋め処理手段により穴埋め処理された第1の画像とを含む電子ファイルを生成する電子ファイル生成手段と、
を有することを特徴とする画像処理装置。
【請求項10】
前記図画部ベクトル化手段は、前記領域解析手段で図画領域と解析された領域のうち、ベクトル化処理が可能と判定された領域に対してベクトル化処理を行うことにより図画のベクトルデータを生成し、ベクトル化処理が不可能と判定された領域に対しては該当する領域のラスター画像を切り出して矩形領域の画像を生成し、
前記電子ファイル生成手段は、前記文字部ベクトル化手段で生成された文字画像のベクトルデータと、前記図画部ベクトル化手段で生成された図画のベクトルデータ及び前記矩形領域の画像と、前記文字部穴埋め処理手段及び前記図画部穴埋め処理手段により穴埋め処理された第1の画像とを含む電子ファイルを生成することを特徴とする請求項9に記載の画像処理装置。
【請求項11】
画像生成手段が、カラー画像における複数の色成分のうちの少なくとも1つ以上の色成分の解像度が他の色成分の解像度より低い第1の画像を生成する画像生成工程と、
保持手段が、前記画像生成工程で生成された第1の画像を下地画像として保持する保持工程と、
領域抽出手段が、オブジェクト画像を含む矩形領域を抽出する領域抽出工程と、
特定手段が、前記領域抽出工程で抽出された矩形領域において、前記オブジェクト画像の領域と背景画像の領域とを特定する特定工程と、
穴埋め処理手段が、前記下地画像について、前記特定工程で特定されたオブジェクト画像に対応する領域の穴埋め処理を行う穴埋め処理工程とを有し、
前記穴埋め処理工程では、前記オブジェクト画像と前記下地画像との境界部分と、前記オブジェクト画像と前記背景画像との境界部分とでそれぞれ異なる穴埋め処理を行うことを特徴とする画像処理方法。
【請求項12】
第1の画像を生成する手段が、カラー画像における複数の色成分のうちの少なくとも1つ以上の色成分の解像度が他の色成分の解像度より低い第1の画像を生成する工程と、
第2の画像を生成する手段が、前記カラー画像の解像度を低下させ、色量子化した第2の画像を生成する工程と、
第3の画像を生成する手段が、前記カラー画像の輝度情報に基づく第3の画像を生成する工程と、
領域解析手段が、前記第2の画像に対して領域解析処理を行う領域解析工程と、
文字部ベクトル化手段が、前記領域解析工程で文字領域と解析された領域に対して、前記第3の画像における文字画像のベクトル化処理を行うことにより文字画像のベクトルデータを生成する文字部ベクトル化工程と、
文字部穴埋め処理手段が、前記第1の画像に対して、前記文字部ベクトル化工程でベクトル化処理された文字画像に対応する領域の穴埋め処理を行う文字部穴埋め処理工程と、
図画部ベクトル化手段が、前記領域解析工程で図画領域と解析された領域に対して、前記文字穴埋め処理工程で穴埋め処理された第1の画像における前記図画領域のベクトル化処理を行うことにより図画のベクトルデータを生成する図画部ベクトル化工程と、
図画部穴埋め処理手段が、前記文字穴埋め処理工程で穴埋め処理された第1の画像に対して、前記図画部ベクトル化工程でベクトル化処理された図画領域に対応する領域の穴埋め処理を行う図画部穴埋め処理工程と、
電子ファイル生成手段が、前記文字部ベクトル化工程で生成された文字画像のベクトルデータと、前記図画部ベクトル化工程で生成された図画のベクトルデータと、前記文字部穴埋め処理工程及び前記図画部穴埋め処理工程により穴埋め処理された第1の画像とを含む電子ファイルを生成する電子ファイル生成工程と、
を有することを特徴とする画像処理方法。
【請求項13】
コンピュータを請求項1乃至10の何れか1項に記載の画像処理装置として機能させるためのプログラム。
【請求項14】
請求項13に記載のプログラムを記録したコンピュータにより読み取り可能な記録媒体。
【請求項1】
カラー画像における複数の色成分のうちの少なくとも1つ以上の色成分の解像度が他の色成分の解像度より低い第1の画像を生成する画像生成手段と、
前記画像生成手段で生成された第1の画像を下地画像として保持する保持手段と、
オブジェクト画像を含む矩形領域を抽出する領域抽出手段と、
前記領域抽出手段で抽出された矩形領域において、前記オブジェクト画像の領域と背景画像の領域とを特定する特定手段と、
前記下地画像について、前記特定手段で特定されたオブジェクト画像に対応する領域の穴埋め処理を行う穴埋め処理手段とを有し、
前記穴埋め処理手段は、前記オブジェクト画像と前記下地画像との境界と前記オブジェクト画像と前記背景画像との境界とでそれぞれ異なる穴埋め処理を行うことを特徴とする画像処理装置。
【請求項2】
前記穴埋め処理手段は、前記オブジェクト画像と前記下地画像との境界を前記下地画像の色で穴埋め処理し、前記オブジェクト画像と前記背景画像との境界を前記背景画像の色で穴埋め処理し、前記境界でない前記オブジェクト画像に対応する領域を、前記背景画像の色で穴埋め処理することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記下地画像を高解像度化する高解像度化手段を更に有し、
前記特定手段は、前記高解像度化手段で高解像度化された画像の色特徴に基づいて前記矩形領域を複数の領域に分割し、更に当該分割された複数の領域に基づいて前記オブジェクト画像の領域と前記背景画像の領域とを特定することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記特定手段で特定されたオブジェクト画像をベクトル化するベクトル化手段と、
前記ベクトル化手段でベクトル化されたオブジェクト画像のベクトルデータと、前記穴埋め処理手段で穴埋め処理された下地画像のデータとを含むデータを出力する出力手段とを更に有することを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。
【請求項5】
前記オブジェクト画像とは、クリップアート画像であり、
前記領域抽出手段は、前記クリップアート画像を含む矩形領域を抽出することを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。
【請求項6】
前記画像生成手段は、前記カラー画像に対して、YCrCb色空間上におけるCr成分及びCb成分の少なくとも何れかの解像度を低下させることにより、前記カラー画像における複数の色成分のうちの少なくとも1つ以上の色成分の解像度が他の色成分の解像度より低い画像を生成することを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。
【請求項7】
前記カラー画像の解像度を低下させ、色の量子化を行い第2の画像を生成する手段と、
前記カラー画像の輝度情報に基づく第3の画像を生成する手段と、
前記第2の画像に対して領域解析処理を行う領域解析手段と、
前記領域解析手段で文字領域と解析された領域に対して、前記第3の画像における文字画像のベクトル化処理を行うことにより文字画像のベクトルデータを生成する文字部ベクトル化手段と、
前記下地画像について、前記文字画像に対応する領域の穴埋め処理を行う文字穴埋め処理手段と、
を更に有することを特徴とする請求項1乃至6の何れか1項に記載の画像処理装置。
【請求項8】
前記カラー画像は、前記第1の画像と前記第2の画像と前記第3の画像を生成した後に削除されることを特徴とする請求項7に記載の画像処理装置。
【請求項9】
カラー画像における複数の色成分のうちの少なくとも1つ以上の色成分の解像度が他の色成分の解像度より低い第1の画像を生成する手段と、
前記カラー画像の解像度を低下させ、色量子化した第2の画像を生成する手段と、
前記カラー画像の輝度情報に基づく第3の画像を生成する手段と、
前記第2の画像に対して領域解析処理を行う領域解析手段と、
前記領域解析手段で文字領域と解析された領域に対して、前記第3の画像における文字画像のベクトル化処理を行うことにより文字画像のベクトルデータを生成する文字部ベクトル化手段と、
前記第1の画像に対して、前記文字部ベクトル化手段でベクトル化処理された文字画像に対応する領域の穴埋め処理を行う文字部穴埋め処理手段と、
前記領域解析手段で図画領域と解析された領域に対して、前記文字穴埋め処理手段で穴埋め処理された第1の画像における前記図画領域のベクトル化処理を行うことにより図画のベクトルデータを生成する図画部ベクトル化手段と、
前記文字穴埋め処理手段で穴埋め処理された第1の画像に対して、前記図画部ベクトル化手段でベクトル化処理された図画領域に対応する領域の穴埋め処理を行う図画部穴埋め処理手段と、
前記文字部ベクトル化手段で生成された文字画像のベクトルデータと、前記図画部ベクトル化手段で生成された図画のベクトルデータと、前記文字部穴埋め処理手段及び前記図画部穴埋め処理手段により穴埋め処理された第1の画像とを含む電子ファイルを生成する電子ファイル生成手段と、
を有することを特徴とする画像処理装置。
【請求項10】
前記図画部ベクトル化手段は、前記領域解析手段で図画領域と解析された領域のうち、ベクトル化処理が可能と判定された領域に対してベクトル化処理を行うことにより図画のベクトルデータを生成し、ベクトル化処理が不可能と判定された領域に対しては該当する領域のラスター画像を切り出して矩形領域の画像を生成し、
前記電子ファイル生成手段は、前記文字部ベクトル化手段で生成された文字画像のベクトルデータと、前記図画部ベクトル化手段で生成された図画のベクトルデータ及び前記矩形領域の画像と、前記文字部穴埋め処理手段及び前記図画部穴埋め処理手段により穴埋め処理された第1の画像とを含む電子ファイルを生成することを特徴とする請求項9に記載の画像処理装置。
【請求項11】
画像生成手段が、カラー画像における複数の色成分のうちの少なくとも1つ以上の色成分の解像度が他の色成分の解像度より低い第1の画像を生成する画像生成工程と、
保持手段が、前記画像生成工程で生成された第1の画像を下地画像として保持する保持工程と、
領域抽出手段が、オブジェクト画像を含む矩形領域を抽出する領域抽出工程と、
特定手段が、前記領域抽出工程で抽出された矩形領域において、前記オブジェクト画像の領域と背景画像の領域とを特定する特定工程と、
穴埋め処理手段が、前記下地画像について、前記特定工程で特定されたオブジェクト画像に対応する領域の穴埋め処理を行う穴埋め処理工程とを有し、
前記穴埋め処理工程では、前記オブジェクト画像と前記下地画像との境界部分と、前記オブジェクト画像と前記背景画像との境界部分とでそれぞれ異なる穴埋め処理を行うことを特徴とする画像処理方法。
【請求項12】
第1の画像を生成する手段が、カラー画像における複数の色成分のうちの少なくとも1つ以上の色成分の解像度が他の色成分の解像度より低い第1の画像を生成する工程と、
第2の画像を生成する手段が、前記カラー画像の解像度を低下させ、色量子化した第2の画像を生成する工程と、
第3の画像を生成する手段が、前記カラー画像の輝度情報に基づく第3の画像を生成する工程と、
領域解析手段が、前記第2の画像に対して領域解析処理を行う領域解析工程と、
文字部ベクトル化手段が、前記領域解析工程で文字領域と解析された領域に対して、前記第3の画像における文字画像のベクトル化処理を行うことにより文字画像のベクトルデータを生成する文字部ベクトル化工程と、
文字部穴埋め処理手段が、前記第1の画像に対して、前記文字部ベクトル化工程でベクトル化処理された文字画像に対応する領域の穴埋め処理を行う文字部穴埋め処理工程と、
図画部ベクトル化手段が、前記領域解析工程で図画領域と解析された領域に対して、前記文字穴埋め処理工程で穴埋め処理された第1の画像における前記図画領域のベクトル化処理を行うことにより図画のベクトルデータを生成する図画部ベクトル化工程と、
図画部穴埋め処理手段が、前記文字穴埋め処理工程で穴埋め処理された第1の画像に対して、前記図画部ベクトル化工程でベクトル化処理された図画領域に対応する領域の穴埋め処理を行う図画部穴埋め処理工程と、
電子ファイル生成手段が、前記文字部ベクトル化工程で生成された文字画像のベクトルデータと、前記図画部ベクトル化工程で生成された図画のベクトルデータと、前記文字部穴埋め処理工程及び前記図画部穴埋め処理工程により穴埋め処理された第1の画像とを含む電子ファイルを生成する電子ファイル生成工程と、
を有することを特徴とする画像処理方法。
【請求項13】
コンピュータを請求項1乃至10の何れか1項に記載の画像処理装置として機能させるためのプログラム。
【請求項14】
請求項13に記載のプログラムを記録したコンピュータにより読み取り可能な記録媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7−1】
【図7−2】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7−1】
【図7−2】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2010−33541(P2010−33541A)
【公開日】平成22年2月12日(2010.2.12)
【国際特許分類】
【出願番号】特願2009−118040(P2009−118040)
【出願日】平成21年5月14日(2009.5.14)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成22年2月12日(2010.2.12)
【国際特許分類】
【出願日】平成21年5月14日(2009.5.14)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]