画像処理装置及び画像処理プログラム
【課題】高速に高品質の拡大した文字画像が得られる画像処理装置及び画像処理プログラムを提供する。
【解決手段】切出部1が入力画像から文字部分画像を切り出す。二値化部2で各文字部分画像を二値化した二値文字画像をもとに、抽出部3は、類似する文字に対応する二値文字画像を抽出する。多値文字画像取得部4は、抽出部3で抽出されたそれぞれの二値文字画像に対応する文字部分画像を取得し、取得したそれぞれの文字部分画像を多値文字画像に変換する。拡大部5は、まず多値文字画像を拡大し、拡大した多値文字画像の重心を算出する。そして算出した重心に従って拡大した多値文字画像を位置合わせして重ね合わせ、平均値を算出して拡大文字画像を得る。この拡大文字画像をもとに、逆変換部6は、各文字部分画像に対応する拡大された文字部分画像を得る。
【解決手段】切出部1が入力画像から文字部分画像を切り出す。二値化部2で各文字部分画像を二値化した二値文字画像をもとに、抽出部3は、類似する文字に対応する二値文字画像を抽出する。多値文字画像取得部4は、抽出部3で抽出されたそれぞれの二値文字画像に対応する文字部分画像を取得し、取得したそれぞれの文字部分画像を多値文字画像に変換する。拡大部5は、まず多値文字画像を拡大し、拡大した多値文字画像の重心を算出する。そして算出した重心に従って拡大した多値文字画像を位置合わせして重ね合わせ、平均値を算出して拡大文字画像を得る。この拡大文字画像をもとに、逆変換部6は、各文字部分画像に対応する拡大された文字部分画像を得る。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理プログラムに関するものである。
【背景技術】
【0002】
一般に画像を拡大して解像度を高くすると、画像の解像度と倍率の関係から、輪郭部分がぼけたり、曲線の輪郭がでこぼこする、あるいは、線幅や線の間隔が不揃いになる場合がある。特に画像中の文字については、このような影響を受けやすく、拡大された画像における文字の品質が著しく低下する。図17は、文字画像を拡大する際の画像品質の説明図である。図17(A)は元となる文字画像を示し、この文字画像を拡大して得ようとする文字画像を図17(B)に示している。しかし、文字の大きさや拡大前後の解像度の関係によっては、図17(C)に図示の都合上点々で示すように、輪郭部分にぼけが生じてしまうことがある。あるいは図17(D)に示すように、斜めの輪郭部分がでこぼこになり、また線幅や線の間隔が不揃いになってしまうことがある。
【0003】
特許文献1には、文字画像の斜め線をスムージングすることによって、文字の解像度を向上させる手法が記載されている。また特許文献2には、エッジ方向に基づいて画像を拡大する手法が記載されている。さらに特許文献3には、画像輪郭の傾斜部のぎざぎざの要因になる段差部を判別し、ぎざぎざの要因の判別結果に基づいて画素置換(白黒反転)を行う手法が記載されている。これらの手法はいずれも、画像の局所的な滑らかさを仮定して拡大(解像度変換)処理を行うものである。従って、その仮定が正しいか否かは分からない。例えば、線が交差している部分や、分岐している部分において、斜め線などと誤って判断し、角部が再現されない場合も発生する。
【0004】
画像を拡大する別の従来技術として、撮像位置がずれた複数の低解像度画像から、一枚の高解像画像を生成する手法がある。図18は、従来の画像拡大方法の一例の説明図である。図18(A)、(B)、(C)、(D)は、それぞれ1/2画素ずれた低解像度画像の一例である。また図18(E)は、図18(A)、(B)、(C)、(D)に示した4つの低解像度画像から生成された高解像度画像の一例を示している。ここでは、図18(A)に示した低解像度画像の各画素をa、図18(B)に示した低解像度画像の各画素をb、図18(C)に示した低解像度画像の各画素をc、図18(D)に示した低解像度画像の各画素をdとし、それぞれの低解像度画像の画素を図18(E)に示すように並べたものである。
【0005】
このような技術を用いる場合、撮像方向を変えた複数台の撮像装置を用いたり、あるいは撮像の際に用いる光学系をずらして複数回の撮像を行い、位置がずれた低解像度画像を取得する必要がある。
【0006】
例えば非特許文献1には、映像中の複数の低解像度画像から、上述の手法により一枚の高解像画像を生成する手法が記載されている。本手法では、最初から高解像度画像を得るために撮像した映像を入力としている訳ではないため、低解像度画像と高解像度画像の画素位置をどのように合わせるかが問題となる。一般に、画像全体についての位置合わせを正確に行うことは難しい。その理由として、例えば膨大な演算量が必要となり、また動きが大きすぎる場合の位置合わせ方法や任意の画像に対する位置合わせ方法が確立されていないことなどが挙げられる。
【0007】
【特許文献1】特開平6−225122号公報
【特許文献2】特開平6−311351号公報
【特許文献3】特開平8−310057号公報
【非特許文献1】S.C.Park,M,K,Park,M,G,Kang,“Super−Resolution Image Reconstruction: A technical Overview”,IEEE Signal Processing Magagine,2003.5,pp.21−36
【発明の開示】
【発明が解決しようとする課題】
【0008】
本発明は、本発明の構成を有しない場合に比べて高速に、高品質の拡大した文字画像を得ることができる画像処理装置及び画像処理プログラムを提供することを目的とするものである。
【課題を解決するための手段】
【0009】
本願請求項1に記載の発明は、画像中から文字部分画像を切り出す切出手段と、前記切出手段で切り出された前記文字部分画像を二値化して二値文字画像を得る二値化手段と、前記二値化手段で得た前記二値文字画像のうち類似する文字に対応するものを抽出する抽出手段と、前記抽出手段で抽出されたそれぞれの前記二値文字画像に対応する前記切出手段で切り出された前記文字部分画像から多値文字画像を得る多値文字画像取得手段と、前記多値文字画像取得手段で得た前記多値文字画像をそれぞれ拡大して位置合わせし重ね合わせることにより拡大文字画像を得る拡大手段を有することを特徴とする画像処理装置である。
【0010】
本願請求項2に記載の発明は、請求項1に記載の画像処理装置の前記多値文字画像取得手段が、前記抽出手段で抽出されたそれぞれの二値文字画像に対応する前記切出手段で切り出された文字部分画像のカラーの画素値を濃淡の多値に変換して多値文字画像を得るものであり、さらに、前記拡大手段で得た前記拡大文字画像の濃淡をそれぞれの前記文字部分画像のカラーに応じた画素値に変換する逆変換手段を有することを特徴とする画像処理装置である。
【0011】
本願請求項3に記載の発明は、請求項2に記載の画像処理装置の前記多値文字画像取得手段が、前記多値文字画像の画素値が取る範囲を予め定めた範囲に正規化することを特徴とする画像処理装置である。
【0012】
本願請求項4に記載の発明は、請求項1に記載の画像処理装置の前記多値文字画像取得手段が、前記抽出手段で抽出されたそれぞれの二値文字画像に対応する前記切出手段で切り出された文字部分画像の濃淡の画素値を予め定めた範囲に正規化して多値文字画像を得るものであり、さらに、前記多値文字画像取得手段で行った正規化の逆変換により前記拡大手段で得た前記拡大文字画像の画素値を得る逆変換手段を有することを特徴とする画像処理装置である。
【0013】
本願請求項5に記載の発明は、請求項2から請求項4のいずれか1項に記載の画像処理装置の前記多値文字画像取得手段が、前記文字部分画像中の文字形状領域の画素及び文字の境界から予め定めた数の画素を除く背景の画素については、背景を表す予め定めた値に変換することを特徴とする画像処理装置である。
【0014】
本願請求項6に記載の発明は、請求項2から請求項5のいずれか1項に記載の画像処理装置の前記多値文字画像取得手段が、それぞれの多値文字画像における文字形状領域と背景領域の画素値の大小関係を統一することを特徴とする画像処理装置である。
【0015】
本願請求項7に記載の発明は、コンピュータに、請求項1から請求項6のいずれか1項に記載の画像処理装置の機能を実行させることを特徴とする画像処理プログラムである。
【発明の効果】
【0016】
本願請求項1に記載の発明によれば、本構成を有していない場合に比較して、高速に、高品質の拡大した文字画像を得ることができるという効果がある。
【0017】
本願請求項2に記載の発明によれば、本構成を有していない場合に比較して、高速に、それぞれの元の文字画像に対応した高品質の拡大した文字画像を得ることができる。
【0018】
本願請求項3に記載の発明によれば、それぞれの文字部分画像の色や濃度によらずに、拡大後の基礎となる高品質の拡大した文字画像を得ることができる。
【0019】
本願請求項4に記載の発明によれば、それぞれの文字部分画像の濃度によらずに得た拡大後の高品質の文字画像から、それぞれの元の文字画像に対応した高品質の拡大した文字画像を得ることができる。
【0020】
本願請求項5に記載の発明によれば、請求項2から請求項4のいずれか1項に記載の発明の効果に加え、文字の背景部分による影響を抑えることができる。
【0021】
本願請求項6に記載の発明によれば、請求項2から請求項5のいずれか1項に記載の発明の効果に加え、濃度の関係や色の関係が反転した文字についても処理対象とすることができる。
【0022】
本願請求項7に記載の発明によれば、請求項1から請求項6のいずれか1項に記載の発明の効果を奏することができる。
【発明を実施するための最良の形態】
【0023】
図1は、本発明の実施の一形態を示す構成図である。図中、1は切出部、2は二値化部、3は抽出部、4は多値文字画像取得部、5は拡大部、6は逆変換部である。
【0024】
切出部1は、受け取った入力画像中から文字部分画像を切り出す。対象とする入力画像は1つに限らず、複数の入力画像を処理対象としてもよい。文字の領域を特定する方法としては、例えば画像データを2値化し、連続する黒または白の画素塊を抽出する手法、あるいは、文字列と文字間隔を推定し、ひとつの文字領域を推定する手法など、公知の手法を適用すればよい。受け取った入力画像中から、特定された文字の領域を文字部分画像として切り出せばよい。切り出した文字部分画像は、二値化部2と多値文字画像取得部4に渡される。なお、文字部分画像では、文字の部分の画素とそれ以外の背景の部分の画素が存在する。文字の部分の画素で形成される領域を文字形状領域、それ以外の背景の部分の画素で形成される領域を背景領域と呼ぶことにする。
【0025】
二値化部2は、切出部1で切り出した文字部分画像を二値化して二値文字画像を得る。この二値化処理では、例えば背景領域が0、文字形状領域が1などの取り決めに従って二値化し、文字の形状を表す二値文字画像を得ればよい。例えば切出部1が受け取った入力画像がカラー画像の場合には、画像中に色文字が存在する場合があり、この場合にも文字形状領域と背景領域とが分かるように二値化する。例えば切出部1が受け取った入力画像が二値画像の場合でも、白抜き文字などが存在する場合があり、この場合においても、文字形状領域と背景領域の値が他の文字と共通化されるように二値化する。なお、切出部1で二値化して文字部分画像の切出を行っている場合には、その際に切り出した文字画像を二値文字画像としてもよい。
【0026】
抽出部3は、二値化部2で得た二値文字画像のうち、類似する文字に対応するものを抽出する。例えば、各々の文字部分画像同士のパターンマッチングを行い、予め定めた類似度を有する文字部分画像を抽出する方法や、一つの文字部分画像を一つのベクトルデータとして扱い、クラスタリングによって予め定めた距離の範囲内となるベクトルデータを抽出する方法など、公知の手法を用いて行えばよい。二値化部2で二値化しているため、カラー画像や多値画像を対象として抽出処理を行う場合に比べ高速に抽出処理が行われる。
【0027】
多値文字画像取得部4は、抽出部3で抽出されたそれぞれの二値文字画像に対応する文字部分画像を切出部1から取得し、取得したそれぞれの文字部分画像から多値文字画像を得る。例えば切出部1が受け取った入力画像がカラー画像の場合には文字形状領域と背景領域の色値を濃淡の多値に変換する。あるいは、明度などに着目して濃淡の多値に変換し、処理を簡単化してもよい。変換の際には、変換後の値が予め定めた範囲となるように正規化するとよい。また、それぞれの多値文字画像における文字形状領域と背景領域の画素値の大小関係を統一し、例えば通常の文字と白抜き文字などを共通に扱えるようにする。さらに、文字部分画像中の文字形状領域の画素及び文字の境界から予め定めた数の画素を除いた、背景の画素については、背景を表す予め定めた値に変換する。これにより背景の画素値が文字形状領域に与える影響を低減する。なお、各文字部分画像に対してどのような変換を行って多値文字画像を得たかを示す情報、例えば文字形状領域、背景領域の色や濃度などの情報を、逆変換部6に伝える。
【0028】
拡大部5は、多値文字画像取得部4で得たそれぞれの多値文字画像を、予め与えられた倍率で拡大して位置合わせし、重ね合わせることにより拡大文字画像を得る。それぞれの多値文字画像の拡大手法としては、例えば2次元線形補間法など、周知の手法を適用すればよい。また、位置合わせの方法としては、例えば拡大した多値文字画像中の文字の重心を算出し、その重心が合うように拡大した多値文字画像の位置を合わせればよい。あるいは、拡大した多値文字画像間の相関を算出し、相関が高くなるように位置を合わせてもよい。もちろん、他の手法を用いて位置合わせを行ってもよい。位置合わせは、拡大後の画素単位でもよいし、あるいは1画素以下の単位で行い、重ね合わせの際にズレ量に応じた重み付けを行ってもよい。重ね合わせは、位置合わせした複数の拡大した多値文字画像の画素値の平均を算出すればよい。得られた多値の拡大文字画像は、与えられた画像中に存在する複数の文字画像の平均的な拡大画像であり、そのまま出力してもよい。この例では、次の逆変換部6に拡大文字画像を渡す。
【0029】
逆変換部6は、拡大部5から渡された拡大文字画像の濃淡を、その拡大文字画像を生成する際に使用したそれぞれの文字部分画像のカラーに応じた画素値に変換し、それぞれの多値文字画像(文字部分画像)に対応する拡大した文字部分画像を得る。この処理は、基本的には多値文字画像取得部4で行った変換の手法を逆に行えばよく、多値文字画像取得部4における変換の際の情報を多値文字画像取得部4から受け取るとよい。あるいは、それぞれの文字部分画像を参照して変換処理を行ってもよい。
【0030】
なお、多値文字画像取得部4、拡大部5、逆変換部6の動作は、抽出部3で類似するとして抽出された二値文字画像ごとに行う。従って、それぞれの異なる文字について、文字ごとに、多値文字画像取得部4、拡大部5、逆変換部6の処理を行うことになる。なお、字体が異なる場合には別の文字として扱う。また、大きさが異なる文字については、予め決めた範囲より大きさが異なれば別の文字として扱うようにすればよい。あるいは、拡大処理の際に大きさを合わせて重ね合わせるように構成してもよい。この場合、元の文字を拡大した大きさまで、拡大文字画像を逆変換部6でさらに拡大または縮小する必要がある。
【0031】
図2は、本発明の実施の一形態における動作の一例を示すフローチャートである。S51において、切出部1が入力画像を受け取ると、その入力画像から文字部分画像を切り出す。S52において、二値化部2は、切出部1で切り出した各文字部分画像を二値化して二値文字画像を得る。S53において、抽出部3は、二値化部2で得た二値文字画像のうち、類似する文字に対応するものを抽出する。
【0032】
S54において、S51で切り出した文字部分画像のうち、多値文字画像取得部4は、抽出部3で抽出されたそれぞれの二値文字画像に対応する文字部分画像を取得し、取得したそれぞれの文字部分画像を多値文字画像に変換する。
【0033】
拡大部5は、まずS55において、S54で得た多値文字画像を、それぞれ、予め与えられた倍率で拡大する。S56において、拡大した多値文字画像のそれぞれについて、この例では位置合わせのための重心を算出する。そしてS57において、S56で算出した重心が合うように、拡大した多値文字画像を位置合わせして重ね合わせ、例えば画素値の平均値を算出して拡大文字画像を得る。
【0034】
S58において、逆変換部6は、S57で得た拡大文字画像をもとに、例えば各文字部分画像に対してS54で多値文字画像取得部4が行った変換の逆変換などによって、それぞれの文字部分画像に対応する拡大された文字部分画像を得る。
【0035】
この動作例では、位置合わせのためにS56で重心を求めているが、位置合わせのための指標は重心に限られない。また、拡大文字画像を得る際の重ね合わせ処理として、画素値の平均を算出する例を示しているが、これに限らず、例えば1画素以下のズレ量をもとに図18において説明した方法により拡大文字画像を得てもよい。
【0036】
以下、上述の動作例について、具体例を用いながらさらに説明して行く。図3は、本発明の実施の一形態の動作の一例における二値文字画像を抽出するまでの動作の具体例の説明図である。図3(A)は切出部1が受け取った入力画像の具体例を示している。この入力画像中には、3個の文字「2」と、2個の文字「C」が含まれている。なお、図示の都合上、色の違う文字については文字内部に斜線を施して示している。
【0037】
切出部1は、図3(A)に示した入力画像から、それぞれの文字部分画像を切り出す。切り出されたそれぞれの文字部分画像を図3(B)に示している。
【0038】
二値化部2は、切出部1で切り出されたそれぞれの文字部分画像を二値化して二値文字画像を得る。図3(B)に示した文字部分画像を二値化した二値文字画像の例を図3(C)に示している。二値化により、色の成分は消失している。また、反転して白抜きとなっていた文字についても、値を他の文字と共通化している。なお、図3(C)においては、文字形状領域を黒く、背景領域を白く示している。例えば2値のうち、文字形状領域を1、背景領域を0に対応付ければよい。
【0039】
抽出部3は、図3(C)に示す二値文字画像の中から、類似する文字の二値文字画像を抽出する。この例では、図3(D)に示すように、文字「2」に対応する3つの二値文字画像が抽出され、また、文字「C」に対応する2つの二値文字画像が抽出される。
【0040】
図4は、本発明の実施の一形態の動作の一例における二値文字画像を抽出してから多値文字画像を取得するまでの動作の具体例の説明図である。図4(A)には図3(D)に示した二値文字画像を示している。また、図4(B)には、図3(A)に示した画像を再掲している。抽出部3から類似する文字について二値文字画像が抽出されると、多値文字画像取得部4は、それぞれの二値文字画像に対応する文字部分画像を多値文字画像に変換する。例えば、図4(A)に示した各二値文字画像に対応する文字部分画像を図4(C)に示しており、それぞれの文字部分画像を多値文字画像に変換する。変換して取得した多値文字画像を図4(D)に示している。
【0041】
文字部分画像から多値文字画像への変換処理についてさらに説明する。例えば背景が白で文字が黒であれば、多値文字画像の値の範囲の一方端を背景領域の値とし、他方端を文字形状領域の値とすれば、多値文字画像が得られる。カラーの文字においても濃淡の多値に変換することになる。
【0042】
図5は、輝度値による多値化処理の一例の説明図である。図5(A)に示す文字部分画像の例は、文字形状領域が青、背景領域が赤の場合を示している。カラーの文字の場合にも、簡易には輝度値(濃度値)に応じた値に変換すればよい。図5に示した例の場合には、図5(B)に示すように各画素の色を輝度軸に投影し、その際の輝度値あるいは輝度値を正規化した値を多値文字画像の画素値とすればよい。得られた多値文字画像を図5(C)に示している。
【0043】
図6は、多値化処理の別の例の説明図である。図6(A)に示した文字部分画像の例では、文字形状領域が赤、背景領域が青の場合を示している。一般には文字部分画像における画素値は、文字形状領域の色の群と背景領域の色の群とに分かれる。この2つの群を代表する色を求め、画素値空間において代表する色を結ぶ直線を仮想的な濃度軸とし、文字部分画像における各画素値を仮想的な濃度軸における値に変換する。図6(C)において、この仮想的な濃度軸を太線で示している。また、得られた多値文字画像を図5(D)に示している。
【0044】
文字形状領域の色の群と背景領域の色の群に分ける際には、例えば抽出部3から渡される二値文字画像(図6(B))を参照して行えばよい。また、代表の色は、各群に属する色値の平均値を求めればよい。
【0045】
図7は、多値化処理の別の例における多値文字画像への変換方法の一例の説明図である。図6(C)に示したように、文字形状領域と背景領域の2つの代表色を結ぶ直線を仮想的な濃度軸とするが、その一方の代表色からの仮想的な濃度軸における距離を値とすればよい。図7において、3次元画像空間XYZにおける2つの代表色をD1=(Xd1,Yd1,Zd1),D2=(Xd2,Yd2,Zd2)とし、文字部分画像中のある画素値をM(X,Y,Z)とする。この場合、代表色D1を原点に移動し、次に仮想的な濃度軸をZ軸回りにθz回転し、Y軸回りにθy回転すれば、仮想的な濃度軸はX軸となる。このことから、与えられた画素値Mについてもこのような変換を行って得られた画素値M’=(X’,Y’,Z’)のX’の値が仮想的な濃度軸における値となる。すなわち、
X’=cosθy・cosθz・(X−Xd1)
− cosθy・sinθz・(Y−Yd1)
+ sinθy・(Z−Zd1)
によって、変換された多値文字画像の画素値が得られる。
【0046】
図8は、多値化処理のさらに別の例の説明図である。この例では、文字形状領域または背景領域のいずれかの代表色からの距離を濃淡の値とする例を示している。一方の代表色をD=(Xd,Yd,Zd)とし、変換する文字部分画像中の画素値をM(X,Y,Z)とすると、変換後の多値文字画像の画素値Kは
K={(X−Xd)2 +(Y−Yd)2 +(Z−Zd)2 }1/2
により求めればよい。
【0047】
ここでは3つの変換方法を示したが、そのほかの方法を用いて文字部分画像から多値文字画像への変換を行ってもよいことは言うまでもない。
【0048】
図9は、多値化処理による変換前後の具体例の説明図である。多値化処理の際には、多値文字画像の画素値の大小と、文字形状領域、背景領域の色との対応関係を統一しておくとよい。例えば図9(A)に示したように文字形状領域が黒く背景領域が白い場合でも、図9(B)に示したように文字形状領域が白く背景領域が黒い場合でも、図9(C)に示す多値文字画像が得られるようにする。これにより、拡大部5で重ね合わせる際に反転された文字画像が打ち消す方向に作用せず、統一的に扱えるようになる。
【0049】
例えば図5に示した方法であれば、文字形状領域の輝度値と背景領域の輝度値との関係に応じて多値文字画像の画素値の大小を切り替えればよい。例えば、背景領域の輝度値が文字形状領域の輝度値よりも大きい(明るい)場合には、輝度値が大きいほど多値文字画像の値が大きくなるように変換し、文字形状領域の輝度値が背景領域の輝度値よりも大きい(明るい)場合には、輝度値が小さいほど多値文字画像の値が大きくなるように変換すればよい。もちろん、逆の変換であってもかまわない。また、例えば図6,図7に示した方法であれば、図7に示したD1,D2と文字形状領域の代表色、背景領域の代表色との対応関係を統一しておけばよい。例えば、D1が文字形状領域の代表色、D2が背景領域の代表色となるように設定すればよい。もちろん、逆にD1が背景領域の代表色、D2が文字形状領域の代表色であってもかまわない。また図8に示した方法についても、代表色Dとして文字形状領域の代表色とするか、背景領域の代表色とするかを決めておけばよい。
【0050】
また、上述のようにして得られた多値文字画像の値を、あらかじめ設定されている値の範囲に正規化するとよい。例えば1つの文字部分画像について上述の方法により算出された値の最大値と最小値を、多値文字画像の値の範囲の最大値と最小値になるように変換すればよい。あるいは、文字形状領域の代表色を多値文字画像の値の範囲における一方端の値とし、背景領域の代表色を多値文字画像の値の範囲における他方端の値として正規化し、多値文字画像の値の範囲を逸脱する値についてはいずれかの代表色に対応する値に集約するように変換するなど、他の変換方法を採用してもよい。変換の際には、線形に変換するほか、γ補正を行うなど、非線形の変換を行ってもよい。例えば文字形状領域と背景領域の色が近接していると、図9(D)に斜線で示しているように、算出された値の範囲が狭くなる場合がある。このような場合でも、正規化によって、図9(E)に示すように多値文字画像の値の範囲を活用した変換が行われることになる。
【0051】
なお、多値文字画像に変換する前に、文字部分画像に対して背景処理を施しておくとよい。背景の画素値にばらつきがあると、拡大部5における拡大文字画像の生成に影響がある。そのため、背景処理によって背景の画素値を統一した画素値に置き換えておくとよい。この背景処理は、図9(F)に点線で示した、文字形状領域の画素及び文字の境界から予め定めた数の画素の範囲を除いて行うとよい。文字の境界から予め定めた数の範囲の背景領域の画素については、拡大部5により拡大文字画像を生成する際に、文字の境界部分の再現性に影響するため、値の統一を行わない方がよい。このほか、文字部分画像内に存在するノイズの除去処理をあらかじめ行っておくとよい。
【0052】
また、上述の特に図6,図7で説明した方法で多値文字画像に変換する場合、算出した文字形状領域と背景領域の代表色の情報を逆変換部6に伝えるとよい。もちろん、他の方法においても代表色を算出して逆変換部6に伝えてもよい。
【0053】
図10は、本発明の実施の一形態の動作の一例における多値文字画像を取得してから拡大文字画像を得るまでの動作の具体例の説明図である。上述のようにして多値文字画像が得られたら、拡大部5において、拡大文字画像を得る処理を行う。図10(A)には図4(D)に示した多値文字画像を示している。ここでは各多値文字画像を、図10(A’)に示すように平行四辺形により示す。
【0054】
まず、各多値文字画像を与えられた倍率で拡大する。この状態を図10(B)に示している。そして、拡大した多値文字画像の位置合わせを行う。例えば文字の重心位置の画素を合わせたり、相関が高くなるように合わせたりすればよい。位置合わせした状態を図10(C)に示している。なお位置合わせは、抽出部3で類似しているとされた二値文字画像に対応して得られている拡大した多値文字画像について行う。図10(C)に示した例では、文字「2」に類似しているとされた二値文字画像に対応して得られている拡大した多値文字画像について位置合わせし、これとは別に、文字「C」に類似しているとされた二値文字画像に対応して得られている拡大した多値文字画像についての位置合わせを行う。
【0055】
そして、位置合わせを行った拡大した多値文字画像について重ね合わせ処理を行う。例えば、位置合わせしたそれぞれの拡大した多値文字画像間で、位置が対応する画素値について平均値を算出し、拡大文字画像の画素値とすればよい。重ね合わせ処理を行った状態を図10(D)に示しており、その文字「2」及び文字「C」の拡大文字画像の一例を図10(D’)に示している。重ね合わせるもととなる文字部分画像は、類似している文字の画像であっても、受け取った入力画像中の別の部分を切り出しているため、位置合わせを行っても1画素以下のずれが生じていると考えられる。重ね合わせ処理によってずれが平均化され、特に文字の輪郭部分における拡大の際に生じたぎざぎざ感が軽減し、画質が向上する。
【0056】
なお、それぞれの拡大した多値文字画像は位置合わせによってずれている場合があるため、重ね合わせるべき画素が減少してしまう場合がある。このような画素は背景であると考えられ、文字に影響することはないので、そのまま値を算出してもよいし、拡大文字画像から除外してもよい。また、抽出部3で類似しているとして抽出された二値文字画像が、1つである場合など、予め設定された数以下の場合には、例えば予め用意しておいた多値文字画像あるいは拡大した多値文字画像との重ね合わせ処理を行うとよい。あるいは、対応する多値文字画像を別途生成して重ね合わせ処理を行うように構成してもよい。
【0057】
図11は、本発明の実施の一形態の動作の一例における拡大文字画像を得てから拡大した文字部分画像を得るまでの動作の具体例の説明図である。拡大文字画像が得られたら、逆変換部6により、拡大文字画像をもとに各文字部分画像に対応する拡大した文字部分画像を得る。図11(A)には拡大部5で得られた拡大文字画像を示し、逆変換部6により得た拡大した文字部分画像を図11(B)に示している。また、図11(A)に示した拡大文字画像を得る際に用いた多値文字画像に対応する文字部分画像を図11(C)に示している。
【0058】
切出部1で得た文字部分画像には、白黒の文字だけでなく、色文字や反転した文字なども含まれている。逆変換部6では、濃淡の多値で表現された拡大文字画像を、例えばカラーの拡大された文字部分画像に変換する。これにより、図11(C)に示したそれぞれの文字部分画像は、図11(B)に示したように拡大された文字部分画像に変換される。
【0059】
この逆変換部6による変換処理は、多値文字画像取得部4で文字部分画像から多値文字画像を得る際に得た情報、例えば、文字形状領域及び背景領域の代表色の情報を利用して、多値文字画像の濃淡の画素値をカラーの画素値に変換すればよい。
【0060】
図12は、逆変換部における変換処理の一例の説明図である。ここでは、図6(A)に示した文字部分画像に対応する拡大した文字部分画像を得る場合について示している。上述のように、図6(A)に示した文字部分画像においては、文字形状領域が赤、背景領域が青であり、それぞれの領域の代表色を結ぶ直線を仮想的な濃度軸として多値文字画像を得た。逆変換部6は、この際の文字形状領域と背景領域の代表色の情報を多値文字画像取得部4から受け取り、2つの代表色を通る直線を仮想的な濃度軸とする(図12(B))。そして、図12(A)に示した拡大文字画像の例における文字側の濃度を、文字部分画像から得た文字形状領域の代表色に、また背景側の濃度を、文字部分画像から得た背景領域の代表色に対応付け、拡大文字画像の各画素の濃度値を、仮想的な濃度軸上の色に変換してゆく。この例では文字側の濃度値を赤、背景側の濃度値を青とし、赤と青を通る色空間中の直線を濃度軸とし、この濃度軸上の色に拡大文字画像の各画素の濃度値を変換して行くことになる。これにより、図12(C)に示すように、文字形状領域が赤、背景領域が青の拡大された文字部分画像が得られる。なお、図示の都合上、色の違いは斜線の違いにより示している。
【0061】
多値文字画像取得部4から代表色の情報を受け取れない場合には、逆変換部6において文字部分画像から文字形状領域の代表色と背景領域の代表色を求め、上述のようにして拡大文字画像から拡大した文字部分画像に変換すればよい。
【0062】
また、処理を簡単化するため、多値文字画像を2値化し、文字部分画像から得られた文字形状領域の代表色と背景領域の代表色を割り付けて、拡大した文字部分画像を得てもよい。
【0063】
このようにして逆変換部6で得られる拡大した文字部分画像は、一般的な黒文字だけでなく、白抜き文字や、朱書き文字などのカラー文字についても高品質の拡大された文字部分画像を提供している。
【0064】
図13は、本発明の実施の一形態の第1の応用例を示す構成図である。図中、11は文字画像配置部である。上述のようにして得られた拡大された文字部分画像は、例えば切出部1が受け取った入力画像を予め定めた倍率で拡大した画像中に貼り付けてゆくことにより、文字に関しては高画質に拡大した画像が得られる。利用者が画像を参照する場合、特に文字については高品質が要求される。そのため、本発明により生成した拡大した文字部分画像を使用することにより、高品質の文字が使用された拡大画像が得られる。
【0065】
図13に示した例では、文字画像配置部11においてこのような貼り付け処理を行う。すなわち文字画像配置部11は、切出部1が受け取った入力画像と、切出部1が切り出した文字部分画像の位置を受け取り、入力画像を拡大して拡大画像を得るとともに、文字部分画像の位置に対応する拡大後の位置を算出し、拡大画像の算出された位置に、逆変換部6で得られた拡大した文字部分画像を配置してゆく。これにより、拡大画像に高品質の文字部分画像が配置されることになる。
【0066】
なお、入力画像の拡大方法には、公知の方法を用いればよい。また、入力画像の背景が白などの単色であれば、拡大処理を行わなくても、入力画像を予め定めた倍率で拡大した大きさの単色の画像を拡大画像として用意し、その拡大画像に拡大した文字部分画像を配置してゆけばよい。
【0067】
図14は、文字画像配置部の動作の具体例の説明図である。図14(A)には切出部1が受け取った入力画像を示しており、図14(B)には、逆変換部6から出力された拡大された文字部分画像を示している。また、ここでは入力画像を拡大した大きさの拡大画像を図14(C)に示している。入力画像を拡大した大きさの拡大画像に、図14(B)に示したそれぞれの拡大された文字部分画像を配置してゆく。これによって、図14(C)に示した拡大画像が得られる。得られた拡大画像では、本発明によって拡大された文字部分画像が配置されていることから、文字について高品質の画像となっている。
【0068】
図15は、本発明の実施の一形態の第2の応用例を示す構成図である。図中、12は符号記憶部である。この応用例では、切出部1が受け取った入力画像を予め定めた倍率で拡大した画像を符号記憶部12に記憶しておき、後で出力する構成例を示している。
【0069】
符号記憶部12は、拡大部5で得た拡大文字画像と、その拡大文字画像を生成する際に用いたそれぞれの文字部分画像の入力画像中の位置または入力画像を拡大した拡大画像中の位置と、それぞれの文字部分画像の文字形状領域および背景領域の代表色などの情報を符号として記憶しておく。拡大文字画像は複数の文字に共通して保持すればよく、また拡大文字画像は多値であり、拡大していても画像全体に比べて大きさは小さいため、符号量は少なくて済む。なお、入力画像中に文字以外の背景が含まれている場合、入力画像または拡大画像、あるいは入力画像または拡大画像から文字部分を除去して、圧縮して符号記憶部12に記憶させておくとよい。この場合、文字部分は別途保存していることから、文字の高品質再現を考慮しなくてもよく、高圧縮率で圧縮してもかまわない。
【0070】
拡大画像を出力する場合には、圧縮された入力画像または拡大画像が記憶されていれば復元し、記憶されていなければ入力画像を予め定めた倍率で拡大した大きさの拡大画像を用意し、上述の逆変換部6および図13で示した文字画像配置部11の処理を行って、高品質の拡大された文字部分画像を拡大画像に配置してゆけばよい。このようにして、符号化して記憶していた拡大画像が出力される。
【0071】
なお、ここでは符号を符号記憶部12に記憶させる例を示したが、この符号を伝送路を通じて伝送してもよい。符号を受信した他の装置では、上述の逆変換部6および文字画像配置部11の処理を行って、高品質の拡大された文字部分画像を配置し、拡大画像を得るように構成すればよい。
【0072】
図16は、本発明の実施の一形態またはその応用例で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。図中、21はプログラム、22はコンピュータ、31は光磁気ディスク、32は光ディスク、33は磁気ディスク、34はメモリ、41はCPU、42は内部メモリ、43は読取部、44はハードディスク、45はインタフェース、46は通信部である。
【0073】
上述の本発明の実施の一形態またはその応用例で説明した各部の機能の一部または全部を、コンピュータにより実行可能なプログラム21によって実現してもよい。その場合、そのプログラム21およびそのプログラムが用いるデータなどは、コンピュータが読み取り可能な記憶媒体に記憶させておけばよい。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取部43に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取部43にプログラムの記述内容を伝達するものである。例えば、光磁気ディスク31,光ディスク32(CDやDVDなどを含む)、磁気ディスク33,メモリ34(ICカード、メモリカードなどを含む)等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。
【0074】
これらの記憶媒体にプログラム21を格納しておき、例えばコンピュータ22の読取部43あるいはインタフェース45にこれらの記憶媒体を装着することによって、コンピュータからプログラム21を読み出し、内部メモリ42またはハードディスク44に記憶し、CPU41によってプログラム21を実行することによって、上述の本発明の実施の一形態またはその応用例で説明した機能の一部又は全部が実現される。あるいは、通信路を介してプログラム21をコンピュータ22に転送し、コンピュータ22では通信部46でプログラム21を受信して内部メモリ42またはハードディスク44に記憶し、CPU41によってプログラム21を実行することによって実現してもよい。
【0075】
コンピュータ22には、このほかインタフェース45を介して様々な装置と接続してもよい。例えば情報を表示する表示手段や利用者からの情報を受け付ける受付手段等も接続されていてもよい。また、例えば画像形成装置がインタフェース45を介して接続され、拡大画像を形成して出力する構成でもよい。さらにインタフェース45を介して画像読取装置が接続され、画像読取装置で読み取った画像を入力画像として使用するように構成してもよい。
【図面の簡単な説明】
【0076】
【図1】本発明の実施の一形態を示す構成図である。
【図2】本発明の実施の一形態における動作の一例を示すフローチャートである。
【図3】本発明の実施の一形態の動作の一例における二値文字画像を抽出するまでの動作の具体例の説明図である。
【図4】本発明の実施の一形態の動作の一例における二値文字画像を抽出してから多値文字画像を取得するまでの動作の具体例の説明図である。
【図5】輝度値による多値化処理の一例の説明図である。
【図6】多値化処理の別の例の説明図である。
【図7】多値化処理の別の例における多値文字画像への変換方法の一例の説明図である。
【図8】多値化処理のさらに別の例の説明図である。
【図9】多値化処理による変換前後の具体例の説明図である。
【図10】本発明の実施の一形態の動作の一例における多値文字画像を取得してから拡大文字画像を得るまでの動作の具体例の説明図である。
【図11】本発明の実施の一形態の動作の一例における拡大文字画像を得てから拡大した文字部分画像を得るまでの動作の具体例の説明図である。
【図12】逆変換部における変換処理の一例の説明図である。
【図13】本発明の実施の一形態の第1の応用例を示す構成図である。
【図14】文字画像配置部の動作の具体例の説明図である。
【図15】本発明の実施の一形態の第2の応用例を示す構成図である。
【図16】本発明の実施の一形態またはその応用例で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。
【図17】文字画像を拡大する際の画像品質の説明図である。
【図18】従来の画像拡大方法の一例の説明図である。
【符号の説明】
【0077】
1…切出部、2…二値化部、3…抽出部、4…多値文字画像取得部、5…拡大部、6…逆変換部、11…文字画像配置部、12…符号記憶部、21…プログラム、22…コンピュータ、31…光磁気ディスク、32…光ディスク、33…磁気ディスク、34…メモリ、41…CPU、42…内部メモリ、43…読取部、44…ハードディスク、45…インタフェース、46…通信部。
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理プログラムに関するものである。
【背景技術】
【0002】
一般に画像を拡大して解像度を高くすると、画像の解像度と倍率の関係から、輪郭部分がぼけたり、曲線の輪郭がでこぼこする、あるいは、線幅や線の間隔が不揃いになる場合がある。特に画像中の文字については、このような影響を受けやすく、拡大された画像における文字の品質が著しく低下する。図17は、文字画像を拡大する際の画像品質の説明図である。図17(A)は元となる文字画像を示し、この文字画像を拡大して得ようとする文字画像を図17(B)に示している。しかし、文字の大きさや拡大前後の解像度の関係によっては、図17(C)に図示の都合上点々で示すように、輪郭部分にぼけが生じてしまうことがある。あるいは図17(D)に示すように、斜めの輪郭部分がでこぼこになり、また線幅や線の間隔が不揃いになってしまうことがある。
【0003】
特許文献1には、文字画像の斜め線をスムージングすることによって、文字の解像度を向上させる手法が記載されている。また特許文献2には、エッジ方向に基づいて画像を拡大する手法が記載されている。さらに特許文献3には、画像輪郭の傾斜部のぎざぎざの要因になる段差部を判別し、ぎざぎざの要因の判別結果に基づいて画素置換(白黒反転)を行う手法が記載されている。これらの手法はいずれも、画像の局所的な滑らかさを仮定して拡大(解像度変換)処理を行うものである。従って、その仮定が正しいか否かは分からない。例えば、線が交差している部分や、分岐している部分において、斜め線などと誤って判断し、角部が再現されない場合も発生する。
【0004】
画像を拡大する別の従来技術として、撮像位置がずれた複数の低解像度画像から、一枚の高解像画像を生成する手法がある。図18は、従来の画像拡大方法の一例の説明図である。図18(A)、(B)、(C)、(D)は、それぞれ1/2画素ずれた低解像度画像の一例である。また図18(E)は、図18(A)、(B)、(C)、(D)に示した4つの低解像度画像から生成された高解像度画像の一例を示している。ここでは、図18(A)に示した低解像度画像の各画素をa、図18(B)に示した低解像度画像の各画素をb、図18(C)に示した低解像度画像の各画素をc、図18(D)に示した低解像度画像の各画素をdとし、それぞれの低解像度画像の画素を図18(E)に示すように並べたものである。
【0005】
このような技術を用いる場合、撮像方向を変えた複数台の撮像装置を用いたり、あるいは撮像の際に用いる光学系をずらして複数回の撮像を行い、位置がずれた低解像度画像を取得する必要がある。
【0006】
例えば非特許文献1には、映像中の複数の低解像度画像から、上述の手法により一枚の高解像画像を生成する手法が記載されている。本手法では、最初から高解像度画像を得るために撮像した映像を入力としている訳ではないため、低解像度画像と高解像度画像の画素位置をどのように合わせるかが問題となる。一般に、画像全体についての位置合わせを正確に行うことは難しい。その理由として、例えば膨大な演算量が必要となり、また動きが大きすぎる場合の位置合わせ方法や任意の画像に対する位置合わせ方法が確立されていないことなどが挙げられる。
【0007】
【特許文献1】特開平6−225122号公報
【特許文献2】特開平6−311351号公報
【特許文献3】特開平8−310057号公報
【非特許文献1】S.C.Park,M,K,Park,M,G,Kang,“Super−Resolution Image Reconstruction: A technical Overview”,IEEE Signal Processing Magagine,2003.5,pp.21−36
【発明の開示】
【発明が解決しようとする課題】
【0008】
本発明は、本発明の構成を有しない場合に比べて高速に、高品質の拡大した文字画像を得ることができる画像処理装置及び画像処理プログラムを提供することを目的とするものである。
【課題を解決するための手段】
【0009】
本願請求項1に記載の発明は、画像中から文字部分画像を切り出す切出手段と、前記切出手段で切り出された前記文字部分画像を二値化して二値文字画像を得る二値化手段と、前記二値化手段で得た前記二値文字画像のうち類似する文字に対応するものを抽出する抽出手段と、前記抽出手段で抽出されたそれぞれの前記二値文字画像に対応する前記切出手段で切り出された前記文字部分画像から多値文字画像を得る多値文字画像取得手段と、前記多値文字画像取得手段で得た前記多値文字画像をそれぞれ拡大して位置合わせし重ね合わせることにより拡大文字画像を得る拡大手段を有することを特徴とする画像処理装置である。
【0010】
本願請求項2に記載の発明は、請求項1に記載の画像処理装置の前記多値文字画像取得手段が、前記抽出手段で抽出されたそれぞれの二値文字画像に対応する前記切出手段で切り出された文字部分画像のカラーの画素値を濃淡の多値に変換して多値文字画像を得るものであり、さらに、前記拡大手段で得た前記拡大文字画像の濃淡をそれぞれの前記文字部分画像のカラーに応じた画素値に変換する逆変換手段を有することを特徴とする画像処理装置である。
【0011】
本願請求項3に記載の発明は、請求項2に記載の画像処理装置の前記多値文字画像取得手段が、前記多値文字画像の画素値が取る範囲を予め定めた範囲に正規化することを特徴とする画像処理装置である。
【0012】
本願請求項4に記載の発明は、請求項1に記載の画像処理装置の前記多値文字画像取得手段が、前記抽出手段で抽出されたそれぞれの二値文字画像に対応する前記切出手段で切り出された文字部分画像の濃淡の画素値を予め定めた範囲に正規化して多値文字画像を得るものであり、さらに、前記多値文字画像取得手段で行った正規化の逆変換により前記拡大手段で得た前記拡大文字画像の画素値を得る逆変換手段を有することを特徴とする画像処理装置である。
【0013】
本願請求項5に記載の発明は、請求項2から請求項4のいずれか1項に記載の画像処理装置の前記多値文字画像取得手段が、前記文字部分画像中の文字形状領域の画素及び文字の境界から予め定めた数の画素を除く背景の画素については、背景を表す予め定めた値に変換することを特徴とする画像処理装置である。
【0014】
本願請求項6に記載の発明は、請求項2から請求項5のいずれか1項に記載の画像処理装置の前記多値文字画像取得手段が、それぞれの多値文字画像における文字形状領域と背景領域の画素値の大小関係を統一することを特徴とする画像処理装置である。
【0015】
本願請求項7に記載の発明は、コンピュータに、請求項1から請求項6のいずれか1項に記載の画像処理装置の機能を実行させることを特徴とする画像処理プログラムである。
【発明の効果】
【0016】
本願請求項1に記載の発明によれば、本構成を有していない場合に比較して、高速に、高品質の拡大した文字画像を得ることができるという効果がある。
【0017】
本願請求項2に記載の発明によれば、本構成を有していない場合に比較して、高速に、それぞれの元の文字画像に対応した高品質の拡大した文字画像を得ることができる。
【0018】
本願請求項3に記載の発明によれば、それぞれの文字部分画像の色や濃度によらずに、拡大後の基礎となる高品質の拡大した文字画像を得ることができる。
【0019】
本願請求項4に記載の発明によれば、それぞれの文字部分画像の濃度によらずに得た拡大後の高品質の文字画像から、それぞれの元の文字画像に対応した高品質の拡大した文字画像を得ることができる。
【0020】
本願請求項5に記載の発明によれば、請求項2から請求項4のいずれか1項に記載の発明の効果に加え、文字の背景部分による影響を抑えることができる。
【0021】
本願請求項6に記載の発明によれば、請求項2から請求項5のいずれか1項に記載の発明の効果に加え、濃度の関係や色の関係が反転した文字についても処理対象とすることができる。
【0022】
本願請求項7に記載の発明によれば、請求項1から請求項6のいずれか1項に記載の発明の効果を奏することができる。
【発明を実施するための最良の形態】
【0023】
図1は、本発明の実施の一形態を示す構成図である。図中、1は切出部、2は二値化部、3は抽出部、4は多値文字画像取得部、5は拡大部、6は逆変換部である。
【0024】
切出部1は、受け取った入力画像中から文字部分画像を切り出す。対象とする入力画像は1つに限らず、複数の入力画像を処理対象としてもよい。文字の領域を特定する方法としては、例えば画像データを2値化し、連続する黒または白の画素塊を抽出する手法、あるいは、文字列と文字間隔を推定し、ひとつの文字領域を推定する手法など、公知の手法を適用すればよい。受け取った入力画像中から、特定された文字の領域を文字部分画像として切り出せばよい。切り出した文字部分画像は、二値化部2と多値文字画像取得部4に渡される。なお、文字部分画像では、文字の部分の画素とそれ以外の背景の部分の画素が存在する。文字の部分の画素で形成される領域を文字形状領域、それ以外の背景の部分の画素で形成される領域を背景領域と呼ぶことにする。
【0025】
二値化部2は、切出部1で切り出した文字部分画像を二値化して二値文字画像を得る。この二値化処理では、例えば背景領域が0、文字形状領域が1などの取り決めに従って二値化し、文字の形状を表す二値文字画像を得ればよい。例えば切出部1が受け取った入力画像がカラー画像の場合には、画像中に色文字が存在する場合があり、この場合にも文字形状領域と背景領域とが分かるように二値化する。例えば切出部1が受け取った入力画像が二値画像の場合でも、白抜き文字などが存在する場合があり、この場合においても、文字形状領域と背景領域の値が他の文字と共通化されるように二値化する。なお、切出部1で二値化して文字部分画像の切出を行っている場合には、その際に切り出した文字画像を二値文字画像としてもよい。
【0026】
抽出部3は、二値化部2で得た二値文字画像のうち、類似する文字に対応するものを抽出する。例えば、各々の文字部分画像同士のパターンマッチングを行い、予め定めた類似度を有する文字部分画像を抽出する方法や、一つの文字部分画像を一つのベクトルデータとして扱い、クラスタリングによって予め定めた距離の範囲内となるベクトルデータを抽出する方法など、公知の手法を用いて行えばよい。二値化部2で二値化しているため、カラー画像や多値画像を対象として抽出処理を行う場合に比べ高速に抽出処理が行われる。
【0027】
多値文字画像取得部4は、抽出部3で抽出されたそれぞれの二値文字画像に対応する文字部分画像を切出部1から取得し、取得したそれぞれの文字部分画像から多値文字画像を得る。例えば切出部1が受け取った入力画像がカラー画像の場合には文字形状領域と背景領域の色値を濃淡の多値に変換する。あるいは、明度などに着目して濃淡の多値に変換し、処理を簡単化してもよい。変換の際には、変換後の値が予め定めた範囲となるように正規化するとよい。また、それぞれの多値文字画像における文字形状領域と背景領域の画素値の大小関係を統一し、例えば通常の文字と白抜き文字などを共通に扱えるようにする。さらに、文字部分画像中の文字形状領域の画素及び文字の境界から予め定めた数の画素を除いた、背景の画素については、背景を表す予め定めた値に変換する。これにより背景の画素値が文字形状領域に与える影響を低減する。なお、各文字部分画像に対してどのような変換を行って多値文字画像を得たかを示す情報、例えば文字形状領域、背景領域の色や濃度などの情報を、逆変換部6に伝える。
【0028】
拡大部5は、多値文字画像取得部4で得たそれぞれの多値文字画像を、予め与えられた倍率で拡大して位置合わせし、重ね合わせることにより拡大文字画像を得る。それぞれの多値文字画像の拡大手法としては、例えば2次元線形補間法など、周知の手法を適用すればよい。また、位置合わせの方法としては、例えば拡大した多値文字画像中の文字の重心を算出し、その重心が合うように拡大した多値文字画像の位置を合わせればよい。あるいは、拡大した多値文字画像間の相関を算出し、相関が高くなるように位置を合わせてもよい。もちろん、他の手法を用いて位置合わせを行ってもよい。位置合わせは、拡大後の画素単位でもよいし、あるいは1画素以下の単位で行い、重ね合わせの際にズレ量に応じた重み付けを行ってもよい。重ね合わせは、位置合わせした複数の拡大した多値文字画像の画素値の平均を算出すればよい。得られた多値の拡大文字画像は、与えられた画像中に存在する複数の文字画像の平均的な拡大画像であり、そのまま出力してもよい。この例では、次の逆変換部6に拡大文字画像を渡す。
【0029】
逆変換部6は、拡大部5から渡された拡大文字画像の濃淡を、その拡大文字画像を生成する際に使用したそれぞれの文字部分画像のカラーに応じた画素値に変換し、それぞれの多値文字画像(文字部分画像)に対応する拡大した文字部分画像を得る。この処理は、基本的には多値文字画像取得部4で行った変換の手法を逆に行えばよく、多値文字画像取得部4における変換の際の情報を多値文字画像取得部4から受け取るとよい。あるいは、それぞれの文字部分画像を参照して変換処理を行ってもよい。
【0030】
なお、多値文字画像取得部4、拡大部5、逆変換部6の動作は、抽出部3で類似するとして抽出された二値文字画像ごとに行う。従って、それぞれの異なる文字について、文字ごとに、多値文字画像取得部4、拡大部5、逆変換部6の処理を行うことになる。なお、字体が異なる場合には別の文字として扱う。また、大きさが異なる文字については、予め決めた範囲より大きさが異なれば別の文字として扱うようにすればよい。あるいは、拡大処理の際に大きさを合わせて重ね合わせるように構成してもよい。この場合、元の文字を拡大した大きさまで、拡大文字画像を逆変換部6でさらに拡大または縮小する必要がある。
【0031】
図2は、本発明の実施の一形態における動作の一例を示すフローチャートである。S51において、切出部1が入力画像を受け取ると、その入力画像から文字部分画像を切り出す。S52において、二値化部2は、切出部1で切り出した各文字部分画像を二値化して二値文字画像を得る。S53において、抽出部3は、二値化部2で得た二値文字画像のうち、類似する文字に対応するものを抽出する。
【0032】
S54において、S51で切り出した文字部分画像のうち、多値文字画像取得部4は、抽出部3で抽出されたそれぞれの二値文字画像に対応する文字部分画像を取得し、取得したそれぞれの文字部分画像を多値文字画像に変換する。
【0033】
拡大部5は、まずS55において、S54で得た多値文字画像を、それぞれ、予め与えられた倍率で拡大する。S56において、拡大した多値文字画像のそれぞれについて、この例では位置合わせのための重心を算出する。そしてS57において、S56で算出した重心が合うように、拡大した多値文字画像を位置合わせして重ね合わせ、例えば画素値の平均値を算出して拡大文字画像を得る。
【0034】
S58において、逆変換部6は、S57で得た拡大文字画像をもとに、例えば各文字部分画像に対してS54で多値文字画像取得部4が行った変換の逆変換などによって、それぞれの文字部分画像に対応する拡大された文字部分画像を得る。
【0035】
この動作例では、位置合わせのためにS56で重心を求めているが、位置合わせのための指標は重心に限られない。また、拡大文字画像を得る際の重ね合わせ処理として、画素値の平均を算出する例を示しているが、これに限らず、例えば1画素以下のズレ量をもとに図18において説明した方法により拡大文字画像を得てもよい。
【0036】
以下、上述の動作例について、具体例を用いながらさらに説明して行く。図3は、本発明の実施の一形態の動作の一例における二値文字画像を抽出するまでの動作の具体例の説明図である。図3(A)は切出部1が受け取った入力画像の具体例を示している。この入力画像中には、3個の文字「2」と、2個の文字「C」が含まれている。なお、図示の都合上、色の違う文字については文字内部に斜線を施して示している。
【0037】
切出部1は、図3(A)に示した入力画像から、それぞれの文字部分画像を切り出す。切り出されたそれぞれの文字部分画像を図3(B)に示している。
【0038】
二値化部2は、切出部1で切り出されたそれぞれの文字部分画像を二値化して二値文字画像を得る。図3(B)に示した文字部分画像を二値化した二値文字画像の例を図3(C)に示している。二値化により、色の成分は消失している。また、反転して白抜きとなっていた文字についても、値を他の文字と共通化している。なお、図3(C)においては、文字形状領域を黒く、背景領域を白く示している。例えば2値のうち、文字形状領域を1、背景領域を0に対応付ければよい。
【0039】
抽出部3は、図3(C)に示す二値文字画像の中から、類似する文字の二値文字画像を抽出する。この例では、図3(D)に示すように、文字「2」に対応する3つの二値文字画像が抽出され、また、文字「C」に対応する2つの二値文字画像が抽出される。
【0040】
図4は、本発明の実施の一形態の動作の一例における二値文字画像を抽出してから多値文字画像を取得するまでの動作の具体例の説明図である。図4(A)には図3(D)に示した二値文字画像を示している。また、図4(B)には、図3(A)に示した画像を再掲している。抽出部3から類似する文字について二値文字画像が抽出されると、多値文字画像取得部4は、それぞれの二値文字画像に対応する文字部分画像を多値文字画像に変換する。例えば、図4(A)に示した各二値文字画像に対応する文字部分画像を図4(C)に示しており、それぞれの文字部分画像を多値文字画像に変換する。変換して取得した多値文字画像を図4(D)に示している。
【0041】
文字部分画像から多値文字画像への変換処理についてさらに説明する。例えば背景が白で文字が黒であれば、多値文字画像の値の範囲の一方端を背景領域の値とし、他方端を文字形状領域の値とすれば、多値文字画像が得られる。カラーの文字においても濃淡の多値に変換することになる。
【0042】
図5は、輝度値による多値化処理の一例の説明図である。図5(A)に示す文字部分画像の例は、文字形状領域が青、背景領域が赤の場合を示している。カラーの文字の場合にも、簡易には輝度値(濃度値)に応じた値に変換すればよい。図5に示した例の場合には、図5(B)に示すように各画素の色を輝度軸に投影し、その際の輝度値あるいは輝度値を正規化した値を多値文字画像の画素値とすればよい。得られた多値文字画像を図5(C)に示している。
【0043】
図6は、多値化処理の別の例の説明図である。図6(A)に示した文字部分画像の例では、文字形状領域が赤、背景領域が青の場合を示している。一般には文字部分画像における画素値は、文字形状領域の色の群と背景領域の色の群とに分かれる。この2つの群を代表する色を求め、画素値空間において代表する色を結ぶ直線を仮想的な濃度軸とし、文字部分画像における各画素値を仮想的な濃度軸における値に変換する。図6(C)において、この仮想的な濃度軸を太線で示している。また、得られた多値文字画像を図5(D)に示している。
【0044】
文字形状領域の色の群と背景領域の色の群に分ける際には、例えば抽出部3から渡される二値文字画像(図6(B))を参照して行えばよい。また、代表の色は、各群に属する色値の平均値を求めればよい。
【0045】
図7は、多値化処理の別の例における多値文字画像への変換方法の一例の説明図である。図6(C)に示したように、文字形状領域と背景領域の2つの代表色を結ぶ直線を仮想的な濃度軸とするが、その一方の代表色からの仮想的な濃度軸における距離を値とすればよい。図7において、3次元画像空間XYZにおける2つの代表色をD1=(Xd1,Yd1,Zd1),D2=(Xd2,Yd2,Zd2)とし、文字部分画像中のある画素値をM(X,Y,Z)とする。この場合、代表色D1を原点に移動し、次に仮想的な濃度軸をZ軸回りにθz回転し、Y軸回りにθy回転すれば、仮想的な濃度軸はX軸となる。このことから、与えられた画素値Mについてもこのような変換を行って得られた画素値M’=(X’,Y’,Z’)のX’の値が仮想的な濃度軸における値となる。すなわち、
X’=cosθy・cosθz・(X−Xd1)
− cosθy・sinθz・(Y−Yd1)
+ sinθy・(Z−Zd1)
によって、変換された多値文字画像の画素値が得られる。
【0046】
図8は、多値化処理のさらに別の例の説明図である。この例では、文字形状領域または背景領域のいずれかの代表色からの距離を濃淡の値とする例を示している。一方の代表色をD=(Xd,Yd,Zd)とし、変換する文字部分画像中の画素値をM(X,Y,Z)とすると、変換後の多値文字画像の画素値Kは
K={(X−Xd)2 +(Y−Yd)2 +(Z−Zd)2 }1/2
により求めればよい。
【0047】
ここでは3つの変換方法を示したが、そのほかの方法を用いて文字部分画像から多値文字画像への変換を行ってもよいことは言うまでもない。
【0048】
図9は、多値化処理による変換前後の具体例の説明図である。多値化処理の際には、多値文字画像の画素値の大小と、文字形状領域、背景領域の色との対応関係を統一しておくとよい。例えば図9(A)に示したように文字形状領域が黒く背景領域が白い場合でも、図9(B)に示したように文字形状領域が白く背景領域が黒い場合でも、図9(C)に示す多値文字画像が得られるようにする。これにより、拡大部5で重ね合わせる際に反転された文字画像が打ち消す方向に作用せず、統一的に扱えるようになる。
【0049】
例えば図5に示した方法であれば、文字形状領域の輝度値と背景領域の輝度値との関係に応じて多値文字画像の画素値の大小を切り替えればよい。例えば、背景領域の輝度値が文字形状領域の輝度値よりも大きい(明るい)場合には、輝度値が大きいほど多値文字画像の値が大きくなるように変換し、文字形状領域の輝度値が背景領域の輝度値よりも大きい(明るい)場合には、輝度値が小さいほど多値文字画像の値が大きくなるように変換すればよい。もちろん、逆の変換であってもかまわない。また、例えば図6,図7に示した方法であれば、図7に示したD1,D2と文字形状領域の代表色、背景領域の代表色との対応関係を統一しておけばよい。例えば、D1が文字形状領域の代表色、D2が背景領域の代表色となるように設定すればよい。もちろん、逆にD1が背景領域の代表色、D2が文字形状領域の代表色であってもかまわない。また図8に示した方法についても、代表色Dとして文字形状領域の代表色とするか、背景領域の代表色とするかを決めておけばよい。
【0050】
また、上述のようにして得られた多値文字画像の値を、あらかじめ設定されている値の範囲に正規化するとよい。例えば1つの文字部分画像について上述の方法により算出された値の最大値と最小値を、多値文字画像の値の範囲の最大値と最小値になるように変換すればよい。あるいは、文字形状領域の代表色を多値文字画像の値の範囲における一方端の値とし、背景領域の代表色を多値文字画像の値の範囲における他方端の値として正規化し、多値文字画像の値の範囲を逸脱する値についてはいずれかの代表色に対応する値に集約するように変換するなど、他の変換方法を採用してもよい。変換の際には、線形に変換するほか、γ補正を行うなど、非線形の変換を行ってもよい。例えば文字形状領域と背景領域の色が近接していると、図9(D)に斜線で示しているように、算出された値の範囲が狭くなる場合がある。このような場合でも、正規化によって、図9(E)に示すように多値文字画像の値の範囲を活用した変換が行われることになる。
【0051】
なお、多値文字画像に変換する前に、文字部分画像に対して背景処理を施しておくとよい。背景の画素値にばらつきがあると、拡大部5における拡大文字画像の生成に影響がある。そのため、背景処理によって背景の画素値を統一した画素値に置き換えておくとよい。この背景処理は、図9(F)に点線で示した、文字形状領域の画素及び文字の境界から予め定めた数の画素の範囲を除いて行うとよい。文字の境界から予め定めた数の範囲の背景領域の画素については、拡大部5により拡大文字画像を生成する際に、文字の境界部分の再現性に影響するため、値の統一を行わない方がよい。このほか、文字部分画像内に存在するノイズの除去処理をあらかじめ行っておくとよい。
【0052】
また、上述の特に図6,図7で説明した方法で多値文字画像に変換する場合、算出した文字形状領域と背景領域の代表色の情報を逆変換部6に伝えるとよい。もちろん、他の方法においても代表色を算出して逆変換部6に伝えてもよい。
【0053】
図10は、本発明の実施の一形態の動作の一例における多値文字画像を取得してから拡大文字画像を得るまでの動作の具体例の説明図である。上述のようにして多値文字画像が得られたら、拡大部5において、拡大文字画像を得る処理を行う。図10(A)には図4(D)に示した多値文字画像を示している。ここでは各多値文字画像を、図10(A’)に示すように平行四辺形により示す。
【0054】
まず、各多値文字画像を与えられた倍率で拡大する。この状態を図10(B)に示している。そして、拡大した多値文字画像の位置合わせを行う。例えば文字の重心位置の画素を合わせたり、相関が高くなるように合わせたりすればよい。位置合わせした状態を図10(C)に示している。なお位置合わせは、抽出部3で類似しているとされた二値文字画像に対応して得られている拡大した多値文字画像について行う。図10(C)に示した例では、文字「2」に類似しているとされた二値文字画像に対応して得られている拡大した多値文字画像について位置合わせし、これとは別に、文字「C」に類似しているとされた二値文字画像に対応して得られている拡大した多値文字画像についての位置合わせを行う。
【0055】
そして、位置合わせを行った拡大した多値文字画像について重ね合わせ処理を行う。例えば、位置合わせしたそれぞれの拡大した多値文字画像間で、位置が対応する画素値について平均値を算出し、拡大文字画像の画素値とすればよい。重ね合わせ処理を行った状態を図10(D)に示しており、その文字「2」及び文字「C」の拡大文字画像の一例を図10(D’)に示している。重ね合わせるもととなる文字部分画像は、類似している文字の画像であっても、受け取った入力画像中の別の部分を切り出しているため、位置合わせを行っても1画素以下のずれが生じていると考えられる。重ね合わせ処理によってずれが平均化され、特に文字の輪郭部分における拡大の際に生じたぎざぎざ感が軽減し、画質が向上する。
【0056】
なお、それぞれの拡大した多値文字画像は位置合わせによってずれている場合があるため、重ね合わせるべき画素が減少してしまう場合がある。このような画素は背景であると考えられ、文字に影響することはないので、そのまま値を算出してもよいし、拡大文字画像から除外してもよい。また、抽出部3で類似しているとして抽出された二値文字画像が、1つである場合など、予め設定された数以下の場合には、例えば予め用意しておいた多値文字画像あるいは拡大した多値文字画像との重ね合わせ処理を行うとよい。あるいは、対応する多値文字画像を別途生成して重ね合わせ処理を行うように構成してもよい。
【0057】
図11は、本発明の実施の一形態の動作の一例における拡大文字画像を得てから拡大した文字部分画像を得るまでの動作の具体例の説明図である。拡大文字画像が得られたら、逆変換部6により、拡大文字画像をもとに各文字部分画像に対応する拡大した文字部分画像を得る。図11(A)には拡大部5で得られた拡大文字画像を示し、逆変換部6により得た拡大した文字部分画像を図11(B)に示している。また、図11(A)に示した拡大文字画像を得る際に用いた多値文字画像に対応する文字部分画像を図11(C)に示している。
【0058】
切出部1で得た文字部分画像には、白黒の文字だけでなく、色文字や反転した文字なども含まれている。逆変換部6では、濃淡の多値で表現された拡大文字画像を、例えばカラーの拡大された文字部分画像に変換する。これにより、図11(C)に示したそれぞれの文字部分画像は、図11(B)に示したように拡大された文字部分画像に変換される。
【0059】
この逆変換部6による変換処理は、多値文字画像取得部4で文字部分画像から多値文字画像を得る際に得た情報、例えば、文字形状領域及び背景領域の代表色の情報を利用して、多値文字画像の濃淡の画素値をカラーの画素値に変換すればよい。
【0060】
図12は、逆変換部における変換処理の一例の説明図である。ここでは、図6(A)に示した文字部分画像に対応する拡大した文字部分画像を得る場合について示している。上述のように、図6(A)に示した文字部分画像においては、文字形状領域が赤、背景領域が青であり、それぞれの領域の代表色を結ぶ直線を仮想的な濃度軸として多値文字画像を得た。逆変換部6は、この際の文字形状領域と背景領域の代表色の情報を多値文字画像取得部4から受け取り、2つの代表色を通る直線を仮想的な濃度軸とする(図12(B))。そして、図12(A)に示した拡大文字画像の例における文字側の濃度を、文字部分画像から得た文字形状領域の代表色に、また背景側の濃度を、文字部分画像から得た背景領域の代表色に対応付け、拡大文字画像の各画素の濃度値を、仮想的な濃度軸上の色に変換してゆく。この例では文字側の濃度値を赤、背景側の濃度値を青とし、赤と青を通る色空間中の直線を濃度軸とし、この濃度軸上の色に拡大文字画像の各画素の濃度値を変換して行くことになる。これにより、図12(C)に示すように、文字形状領域が赤、背景領域が青の拡大された文字部分画像が得られる。なお、図示の都合上、色の違いは斜線の違いにより示している。
【0061】
多値文字画像取得部4から代表色の情報を受け取れない場合には、逆変換部6において文字部分画像から文字形状領域の代表色と背景領域の代表色を求め、上述のようにして拡大文字画像から拡大した文字部分画像に変換すればよい。
【0062】
また、処理を簡単化するため、多値文字画像を2値化し、文字部分画像から得られた文字形状領域の代表色と背景領域の代表色を割り付けて、拡大した文字部分画像を得てもよい。
【0063】
このようにして逆変換部6で得られる拡大した文字部分画像は、一般的な黒文字だけでなく、白抜き文字や、朱書き文字などのカラー文字についても高品質の拡大された文字部分画像を提供している。
【0064】
図13は、本発明の実施の一形態の第1の応用例を示す構成図である。図中、11は文字画像配置部である。上述のようにして得られた拡大された文字部分画像は、例えば切出部1が受け取った入力画像を予め定めた倍率で拡大した画像中に貼り付けてゆくことにより、文字に関しては高画質に拡大した画像が得られる。利用者が画像を参照する場合、特に文字については高品質が要求される。そのため、本発明により生成した拡大した文字部分画像を使用することにより、高品質の文字が使用された拡大画像が得られる。
【0065】
図13に示した例では、文字画像配置部11においてこのような貼り付け処理を行う。すなわち文字画像配置部11は、切出部1が受け取った入力画像と、切出部1が切り出した文字部分画像の位置を受け取り、入力画像を拡大して拡大画像を得るとともに、文字部分画像の位置に対応する拡大後の位置を算出し、拡大画像の算出された位置に、逆変換部6で得られた拡大した文字部分画像を配置してゆく。これにより、拡大画像に高品質の文字部分画像が配置されることになる。
【0066】
なお、入力画像の拡大方法には、公知の方法を用いればよい。また、入力画像の背景が白などの単色であれば、拡大処理を行わなくても、入力画像を予め定めた倍率で拡大した大きさの単色の画像を拡大画像として用意し、その拡大画像に拡大した文字部分画像を配置してゆけばよい。
【0067】
図14は、文字画像配置部の動作の具体例の説明図である。図14(A)には切出部1が受け取った入力画像を示しており、図14(B)には、逆変換部6から出力された拡大された文字部分画像を示している。また、ここでは入力画像を拡大した大きさの拡大画像を図14(C)に示している。入力画像を拡大した大きさの拡大画像に、図14(B)に示したそれぞれの拡大された文字部分画像を配置してゆく。これによって、図14(C)に示した拡大画像が得られる。得られた拡大画像では、本発明によって拡大された文字部分画像が配置されていることから、文字について高品質の画像となっている。
【0068】
図15は、本発明の実施の一形態の第2の応用例を示す構成図である。図中、12は符号記憶部である。この応用例では、切出部1が受け取った入力画像を予め定めた倍率で拡大した画像を符号記憶部12に記憶しておき、後で出力する構成例を示している。
【0069】
符号記憶部12は、拡大部5で得た拡大文字画像と、その拡大文字画像を生成する際に用いたそれぞれの文字部分画像の入力画像中の位置または入力画像を拡大した拡大画像中の位置と、それぞれの文字部分画像の文字形状領域および背景領域の代表色などの情報を符号として記憶しておく。拡大文字画像は複数の文字に共通して保持すればよく、また拡大文字画像は多値であり、拡大していても画像全体に比べて大きさは小さいため、符号量は少なくて済む。なお、入力画像中に文字以外の背景が含まれている場合、入力画像または拡大画像、あるいは入力画像または拡大画像から文字部分を除去して、圧縮して符号記憶部12に記憶させておくとよい。この場合、文字部分は別途保存していることから、文字の高品質再現を考慮しなくてもよく、高圧縮率で圧縮してもかまわない。
【0070】
拡大画像を出力する場合には、圧縮された入力画像または拡大画像が記憶されていれば復元し、記憶されていなければ入力画像を予め定めた倍率で拡大した大きさの拡大画像を用意し、上述の逆変換部6および図13で示した文字画像配置部11の処理を行って、高品質の拡大された文字部分画像を拡大画像に配置してゆけばよい。このようにして、符号化して記憶していた拡大画像が出力される。
【0071】
なお、ここでは符号を符号記憶部12に記憶させる例を示したが、この符号を伝送路を通じて伝送してもよい。符号を受信した他の装置では、上述の逆変換部6および文字画像配置部11の処理を行って、高品質の拡大された文字部分画像を配置し、拡大画像を得るように構成すればよい。
【0072】
図16は、本発明の実施の一形態またはその応用例で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。図中、21はプログラム、22はコンピュータ、31は光磁気ディスク、32は光ディスク、33は磁気ディスク、34はメモリ、41はCPU、42は内部メモリ、43は読取部、44はハードディスク、45はインタフェース、46は通信部である。
【0073】
上述の本発明の実施の一形態またはその応用例で説明した各部の機能の一部または全部を、コンピュータにより実行可能なプログラム21によって実現してもよい。その場合、そのプログラム21およびそのプログラムが用いるデータなどは、コンピュータが読み取り可能な記憶媒体に記憶させておけばよい。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取部43に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取部43にプログラムの記述内容を伝達するものである。例えば、光磁気ディスク31,光ディスク32(CDやDVDなどを含む)、磁気ディスク33,メモリ34(ICカード、メモリカードなどを含む)等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。
【0074】
これらの記憶媒体にプログラム21を格納しておき、例えばコンピュータ22の読取部43あるいはインタフェース45にこれらの記憶媒体を装着することによって、コンピュータからプログラム21を読み出し、内部メモリ42またはハードディスク44に記憶し、CPU41によってプログラム21を実行することによって、上述の本発明の実施の一形態またはその応用例で説明した機能の一部又は全部が実現される。あるいは、通信路を介してプログラム21をコンピュータ22に転送し、コンピュータ22では通信部46でプログラム21を受信して内部メモリ42またはハードディスク44に記憶し、CPU41によってプログラム21を実行することによって実現してもよい。
【0075】
コンピュータ22には、このほかインタフェース45を介して様々な装置と接続してもよい。例えば情報を表示する表示手段や利用者からの情報を受け付ける受付手段等も接続されていてもよい。また、例えば画像形成装置がインタフェース45を介して接続され、拡大画像を形成して出力する構成でもよい。さらにインタフェース45を介して画像読取装置が接続され、画像読取装置で読み取った画像を入力画像として使用するように構成してもよい。
【図面の簡単な説明】
【0076】
【図1】本発明の実施の一形態を示す構成図である。
【図2】本発明の実施の一形態における動作の一例を示すフローチャートである。
【図3】本発明の実施の一形態の動作の一例における二値文字画像を抽出するまでの動作の具体例の説明図である。
【図4】本発明の実施の一形態の動作の一例における二値文字画像を抽出してから多値文字画像を取得するまでの動作の具体例の説明図である。
【図5】輝度値による多値化処理の一例の説明図である。
【図6】多値化処理の別の例の説明図である。
【図7】多値化処理の別の例における多値文字画像への変換方法の一例の説明図である。
【図8】多値化処理のさらに別の例の説明図である。
【図9】多値化処理による変換前後の具体例の説明図である。
【図10】本発明の実施の一形態の動作の一例における多値文字画像を取得してから拡大文字画像を得るまでの動作の具体例の説明図である。
【図11】本発明の実施の一形態の動作の一例における拡大文字画像を得てから拡大した文字部分画像を得るまでの動作の具体例の説明図である。
【図12】逆変換部における変換処理の一例の説明図である。
【図13】本発明の実施の一形態の第1の応用例を示す構成図である。
【図14】文字画像配置部の動作の具体例の説明図である。
【図15】本発明の実施の一形態の第2の応用例を示す構成図である。
【図16】本発明の実施の一形態またはその応用例で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。
【図17】文字画像を拡大する際の画像品質の説明図である。
【図18】従来の画像拡大方法の一例の説明図である。
【符号の説明】
【0077】
1…切出部、2…二値化部、3…抽出部、4…多値文字画像取得部、5…拡大部、6…逆変換部、11…文字画像配置部、12…符号記憶部、21…プログラム、22…コンピュータ、31…光磁気ディスク、32…光ディスク、33…磁気ディスク、34…メモリ、41…CPU、42…内部メモリ、43…読取部、44…ハードディスク、45…インタフェース、46…通信部。
【特許請求の範囲】
【請求項1】
画像中から文字部分画像を切り出す切出手段と、前記切出手段で切り出された前記文字部分画像を二値化して二値文字画像を得る二値化手段と、前記二値化手段で得た前記二値文字画像のうち類似する文字に対応するものを抽出する抽出手段と、前記抽出手段で抽出されたそれぞれの前記二値文字画像に対応する前記切出手段で切り出された前記文字部分画像から多値文字画像を得る多値文字画像取得手段と、前記多値文字画像取得手段で得た前記多値文字画像をそれぞれ拡大して位置合わせし重ね合わせることにより拡大文字画像を得る拡大手段を有することを特徴とする画像処理装置。
【請求項2】
前記多値文字画像取得手段は、前記抽出手段で抽出されたそれぞれの二値文字画像に対応する前記切出手段で切り出された文字部分画像のカラーの画素値を濃淡の多値に変換して多値文字画像を得るものであり、さらに、前記拡大手段で得た前記拡大文字画像の濃淡をそれぞれの前記文字部分画像のカラーに応じた画素値に変換する逆変換手段を有することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記多値文字画像取得手段は、前記多値文字画像の画素値が取る範囲を予め定めた範囲に正規化することを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記多値文字画像取得手段は、前記抽出手段で抽出されたそれぞれの二値文字画像に対応する前記切出手段で切り出された文字部分画像の濃淡の画素値を予め定めた範囲に正規化して多値文字画像を得るものであり、さらに、前記多値文字画像取得手段で行った正規化の逆変換により前記拡大手段で得た前記拡大文字画像の画素値を得る逆変換手段を有することを特徴とする請求項1に記載の画像処理装置。
【請求項5】
前記多値文字画像取得手段は、前記文字部分画像中の文字形状領域の画素及び文字の境界から予め定めた数の画素を除く背景の画素については、背景を表す予め定めた値に変換することを特徴とする請求項2から請求項4のいずれか1項に記載の画像処理装置。
【請求項6】
前記多値文字画像取得手段は、それぞれの多値文字画像における文字形状領域と背景領域の画素値の大小関係を統一することを特徴とする請求項2から請求項5のいずれか1項に記載の画像処理装置。
【請求項7】
コンピュータに、請求項1から請求項6のいずれか1項に記載の画像処理装置の機能を実行させることを特徴とする画像処理プログラム。
【請求項1】
画像中から文字部分画像を切り出す切出手段と、前記切出手段で切り出された前記文字部分画像を二値化して二値文字画像を得る二値化手段と、前記二値化手段で得た前記二値文字画像のうち類似する文字に対応するものを抽出する抽出手段と、前記抽出手段で抽出されたそれぞれの前記二値文字画像に対応する前記切出手段で切り出された前記文字部分画像から多値文字画像を得る多値文字画像取得手段と、前記多値文字画像取得手段で得た前記多値文字画像をそれぞれ拡大して位置合わせし重ね合わせることにより拡大文字画像を得る拡大手段を有することを特徴とする画像処理装置。
【請求項2】
前記多値文字画像取得手段は、前記抽出手段で抽出されたそれぞれの二値文字画像に対応する前記切出手段で切り出された文字部分画像のカラーの画素値を濃淡の多値に変換して多値文字画像を得るものであり、さらに、前記拡大手段で得た前記拡大文字画像の濃淡をそれぞれの前記文字部分画像のカラーに応じた画素値に変換する逆変換手段を有することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記多値文字画像取得手段は、前記多値文字画像の画素値が取る範囲を予め定めた範囲に正規化することを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記多値文字画像取得手段は、前記抽出手段で抽出されたそれぞれの二値文字画像に対応する前記切出手段で切り出された文字部分画像の濃淡の画素値を予め定めた範囲に正規化して多値文字画像を得るものであり、さらに、前記多値文字画像取得手段で行った正規化の逆変換により前記拡大手段で得た前記拡大文字画像の画素値を得る逆変換手段を有することを特徴とする請求項1に記載の画像処理装置。
【請求項5】
前記多値文字画像取得手段は、前記文字部分画像中の文字形状領域の画素及び文字の境界から予め定めた数の画素を除く背景の画素については、背景を表す予め定めた値に変換することを特徴とする請求項2から請求項4のいずれか1項に記載の画像処理装置。
【請求項6】
前記多値文字画像取得手段は、それぞれの多値文字画像における文字形状領域と背景領域の画素値の大小関係を統一することを特徴とする請求項2から請求項5のいずれか1項に記載の画像処理装置。
【請求項7】
コンピュータに、請求項1から請求項6のいずれか1項に記載の画像処理装置の機能を実行させることを特徴とする画像処理プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2010−81053(P2010−81053A)
【公開日】平成22年4月8日(2010.4.8)
【国際特許分類】
【出願番号】特願2008−244382(P2008−244382)
【出願日】平成20年9月24日(2008.9.24)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】
【公開日】平成22年4月8日(2010.4.8)
【国際特許分類】
【出願日】平成20年9月24日(2008.9.24)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】
[ Back to top ]