画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体
【課題】 スキャン画像内の文字サイズに関係なく画像の主走査方向の歪み補正における精度の高精度化を図る。
【解決手段】 スキャン画像内の文字サイズに合わせて変更される閾値(第1閾値および第2閾値)を用いて抽出された黒画素ランを基に縦成分矩形を抽出し、縦成分矩形間の主走査方向および副走査方向の距離を基に文字行を抽出する。すなわち、文字サイズに合わせて閾値を変更する(例えば、英文画像のように文字が小さい場合にはランとして登録する時の長さの最小値を小さくする)ことで、確実に縦成分矩形を抽出できるようになり縦成分矩形の抽出漏れを防止するとともに、このようにして抽出された縦成分矩形を用いることで隣接する文字の接触を防止する。このような縦成分矩形から近似曲線を求めることにより、スキャン画像内の文字サイズに関係なく画像の主走査方向の歪み補正における精度の高精度化を図ることができる。
【解決手段】 スキャン画像内の文字サイズに合わせて変更される閾値(第1閾値および第2閾値)を用いて抽出された黒画素ランを基に縦成分矩形を抽出し、縦成分矩形間の主走査方向および副走査方向の距離を基に文字行を抽出する。すなわち、文字サイズに合わせて閾値を変更する(例えば、英文画像のように文字が小さい場合にはランとして登録する時の長さの最小値を小さくする)ことで、確実に縦成分矩形を抽出できるようになり縦成分矩形の抽出漏れを防止するとともに、このようにして抽出された縦成分矩形を用いることで隣接する文字の接触を防止する。このような縦成分矩形から近似曲線を求めることにより、スキャン画像内の文字サイズに関係なく画像の主走査方向の歪み補正における精度の高精度化を図ることができる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、書籍原稿画像を画像読取手段により読み取ったスキャン画像の歪みを補正する画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体に関する。
【背景技術】
【0002】
フラットベッドスキャナを用いて読み取る原稿の多くはシート状の原稿であり、コンタクトガラス上に開閉自在の圧板を設け、コンタクトガラス上に原稿を載置した後に圧板を閉じて原稿をスキャンするようにしている。しかし、原稿としてはシート状のものに限られず、書籍原稿(本、冊子など)も原稿として扱われることがあり、そのような場合にもコンタクトガラス上に書籍原稿を載置し、原稿をスキャンすることになる。
【0003】
ところが、原稿として書籍原稿を用いた場合には、図71に示すように、書籍原稿100のページ綴じ部101がコンタクトガラス102から浮き上がってしまう。このように書籍原稿100のページ綴じ部101がコンタクトガラス102から浮き上がってしまった場合には、ページ綴じ部101が焦点面から離れてしまうため、浮き上がった部分のスキャン画像には、画像歪み、影、文字ぼけなどの画像劣化が発生する。劣化した画像のページ綴じ部101は読みにくく、OCRにより文字認識処理を行うときの認識率が著しく低下する。特に、厚手製本ではその割合が高く、また、書籍原稿100のページ綴じ部101を焦点面から離れないように加圧作業した場合には、書籍原稿100自体を破損してしまうこともある。
【0004】
このような問題を解決すべく、画像の濃度情報から物体の3次元形状を推定する方法を用いて、画像の歪みを補正する方法が提案されている。このような画像の濃度情報から物体の3次元形状を推定する方法としては、非特許文献1に記載されているShape from Shadingと呼ばれる方法が代表的な例である。
【0005】
また、特許文献1には、三角測量方式により書籍の形状を測定し、歪みを補正する方法が提案されている。
【0006】
さらに、特許文献2には、読み取りスキャン画像のページ外形の形状を用いて書籍表面の3次元形状を推定する方法が提案されている。
【0007】
しかしながら、前述したShape from Shadingと呼ばれる方法によれば、計算量が多く、歪み補正処理の計算時間が長いので、実用化は困難である。
【0008】
また、特許文献1に記載されている方法によれば、三角測量方式により書籍の形状を測定するための特別な形状計測装置が必要になるため、適当ではない。
【0009】
さらに、特許文献2に記載されている方法によれば、少ない計算量で歪み補正ができるが、ページ外形が画像中に完全に収まりきれずに途中で切れているような場合には有効な補正ができない。
【0010】
そこで、本出願人は、ページ外形が途中で切れているような読み取りスキャン画像であっても、その歪みを少ない計算量で有効に補正することができる画像歪み補正装置を特願2002-247643にて提案している。特願2002-247643によれば、ページ外形だけではなく文字行情報および罫線情報を用いて画像の歪みを補正し、しかも、スキャナ(画像読取手段)の固有パラメータ(レンズの焦点面距離、スキャン光軸の位置(アドレス))を利用していないので、任意のスキャナの出力画像を補正できる。
【0011】
【非特許文献1】T. Wada, H. Uchida and T. Matsuyama, “Shape from Shading with Interreflections under a Proximal Light Source: Distortion-Free Copying of an Unfolded Book”, International Journal Computer Vision 24(2), 125-135(1997)
【特許文献1】特開平5-161002号公報
【特許文献2】特開平11-41455号公報
【発明の開示】
【発明が解決しようとする課題】
【0012】
しかしながら、上述したようなページ外形が途中で切れているような読み取りスキャン画像であっても、その歪みを少ない計算量で有効に補正することができる画像歪み補正装置によれば、ページ外形ではなく、文字行情報および罫線情報を用いて画像の歪みを補正するようにしているが、まだ、完全とはいえず、解決されねばならない課題が存在する。
【0013】
例えば、歪み補正するための手がかりとして文字行を利用する従来方式では、文字単位の矩形を抽出し、それらの矩形から主走査方向の補正では近似曲線を求めている。ところが、図72に示すように、英文画像では、日本語で書かれた画像と異なりアルファベット文字で書かれているために文字のアスペクト比がさまざまであり、また、文字間の間隔が狭くなる場合もある。そのため、英文画像に対して矩形抽出を行うと、水平方向に隣接する文字同士が複数個接触し一つの矩形として抽出されてしまう場合がある。このように文字同士が複数個接触し一つの矩形として抽出された矩形を基に歪み補正を行うと、主走査方向の歪み補正に悪影響を及ぼすことがある。
【0014】
より詳細には、主走査方向の歪み補正では、矩形抽出後、行統合して、行内の矩形から近似曲線を生成し、それを基に補正を行っている。そこで、文字同士が接触した矩形から行を生成しようとすると、図73に示すように、複数分の行が一行と誤認識されやすく不適切な行が生成されることがある。そして、行統合した一行内にある実際に存在する文字数よりも矩形数が減る。そのため、一行内にある矩形の中心座標を基に生成される近似曲線は、不安定となってしまう問題点がある。
【0015】
また、例えば、歪み補正するための手がかりとして文字行を利用する従来方式では、文字単位の矩形を抽出し、副走査方向の補正では矩形の縦横比(アスペクト比)から副走査方向変倍率を算出し補正を行っている。しかしながら、図74に示すように、英文画像では、日本語で書かれた画像と異なりアルファベット文字で書かれているために文字のアスペクト比がさまざまであるため、副走査方向の歪み補正に悪影響を及ぼすことがある。
【0016】
より詳細には、副走査方向の歪み補正では、矩形抽出後、文字外接矩形に関して、アスペクト比、即ち(文字の横辺の長さ)/(文字の縦辺の長さ)を利用する。歪んだ画像では、歪み領域と非歪み領域でこのアスペクト比が異なる。例えば、非歪み領域で、アスペクト比が1である矩形は、歪み領域では、一般に1以下の値となる。ここで、副走査方向の補正方式はまず、画像をページ綴じ部に平行な複数の短冊領域に分割する。そして、各短冊領域について、そこに含まれる文字外接矩形のアスペクト比の平均を求め、その算出したアスペクト比の平均を基に副走査方向変倍率を決定する。ところが、図74(a)に示すように日本語で書かれた画像に関してはアスペクト比が1に近い文字が多いため、副走査方向の補正の精度は良好であったが、英語で書かれた画像に関しては問題が生じる。英文画像は、矩形抽出の際に文字同士が接触する矩形が多いことと、図74(b)に示すようにアルファベット文字のアスペクト比にもともとばらつきがあるため、文字外接矩形のアスペクト比から副走査方向変倍率を算出すると不適切な値になってしまうという問題点がある。
【0017】
本発明は、スキャン画像内の文字サイズに関係なく画像の主走査方向の歪み補正における精度の高精度化を図ることができる画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体を提供することを目的とする。
【0018】
本発明は、スキャン画像内の文字サイズに関係なく画像の副走査方向の歪み補正における精度の高精度化を図ることができる画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【0019】
請求項1記載の発明の画像歪み補正装置は、画像読取手段の主走査方向に対してページ綴じ部がほぼ平行となるようにスキャン面の上もしくは下に接触した書籍原稿画像を前記画像読取手段により読み取ったスキャン画像の歪みを当該スキャン画像内の文字行の形状を基に補正する画像歪み補正装置において、前記スキャン画像内の文字のサイズを算出するサイズ算出手段と、算出した文字サイズに応じ、黒画素ランの抽出に用いる閾値を設定する第1の閾値設定手段と、前記スキャン画像から主走査方向に前記閾値の数の黒画素が連結する黒画素ランのみを抽出するラン抽出手段と、抽出した黒画素ランを基に縦成分のみの矩形を縦成分矩形として抽出する縦成分矩形抽出手段と、抽出した縦成分矩形間の主走査方向および副走査方向の距離を基に文字行を抽出する文字行抽出手段と、抽出した文字行の中から、前記スキャン画像の歪み補正に利用するための文字行を決定する文字行決定手段と、決定した文字行中に存在する各縦成分矩形を基に近似曲線を算出する近似曲線算出手段と、を備える。
【0020】
したがって、スキャン画像内の文字サイズに合わせて変更される閾値を用いて抽出された黒画素ランを基に縦成分矩形が抽出され、縦成分矩形間の主走査方向および副走査方向の距離を基に文字行が抽出される。すなわち、文字サイズに合わせて閾値を変更する(例えば、英文画像のように文字が小さい場合にはランとして登録する時の長さの最小値を小さくする)ことで、確実に縦成分矩形を抽出できるようになり縦成分矩形の抽出漏れが防止されるとともに、このようにして抽出された縦成分矩形を用いることで隣接する文字の接触が防止される。このような縦成分矩形から近似曲線を求めることにより、スキャン画像内の文字サイズに関係なく画像の主走査方向の歪み補正における精度の高精度化を図ることが可能になる。
【0021】
請求項2記載の発明は、請求項1記載の画像歪み補正装置において、前記サイズ算出手段により算出した文字サイズに応じ、縦成分矩形の主走査方向の長さを規定する第3閾値を設定する第2の閾値設定手段と、前記縦成分矩形抽出手段により抽出した縦成分矩形の主走査方向の長さが前記第3閾値以上の場合、当該縦成分矩形の長さを当該第3閾値の長さに縮める縮小手段と、を備える。
【0022】
したがって、文字サイズに応じて縦成分矩形の主走査方向の長さを規定する第3閾値が設定され、縦成分矩形の主走査方向の長さが第3閾値以上の場合、当該縦成分矩形の長さが当該第3閾値の長さに縮められることにより、小さい文字の縦成分矩形を極端に短くすることを防止しつつ主走査方向に矩形が接触するのを防ぐことが可能になるので、複数分の行が一行と誤認識されやすいという事態が回避され、安定した行統合が可能になる。
【0023】
請求項3記載の発明は、請求項1または2記載の画像歪み補正装置において、前記サイズ算出手段により算出した文字サイズに応じ、前記文字行抽出手段における文字行を抽出する際の主走査方向の統合距離である第4閾値を設定する第3の閾値設定手段を備え、前記文字行抽出手段は、前記第4閾値により規定された文字行を抽出する際の主走査方向の統合距離に従って文字行を抽出する。
【0024】
したがって、文字行を抽出する際の主走査方向の統合距離である第4閾値が文字サイズに応じて設定され、第4閾値により規定された文字行を抽出する際の主走査方向の統合距離に従って文字行が抽出される。これにより、英語文のように日本語文に比べて主走査方向の矩形間距離が短くなるような場合には、行抽出時の主走査方向の統合距離である第4閾値を小さくすることで、過剰な行統合を回避することが可能になる。
【0025】
なお、スキャン画像内の文字のサイズを算出するサイズ算出手段においては、請求項4記載の発明のように、前記スキャン画像中に前記文字サイズの算出を行うための領域を指定し、この指定領域内における標準的な文字の外接矩形を抽出し、抽出した文字の外接矩形の主走査方向における距離を前記文字サイズとして算出する。そして、前記スキャン画像のページ綴じ部を境にした左右両側に前記文字サイズの算出を行うための領域を指定した場合には、請求項5記載の発明のように、指定領域の何れかで前記文字サイズが算出されなかった場合、前記文字サイズが算出された側の前記文字サイズを採用し、請求項6記載の発明のように、指定領域の両方で前記文字サイズが算出されなかった場合、予め定められた一定の値を前記文字サイズとし、請求項7記載の発明のように、指定領域の両方で算出された前記文字サイズを比較し、小さい方の前記文字サイズを両方の前記文字サイズとして採用する。
【0026】
また、抽出した文字行の中から、前記スキャン画像の歪み補正に利用するための文字行を決定する文字行決定手段においては、請求項8記載の発明のように、ページ綴じ部付近まで最も食い込んでいる矩形に包摂される罫線を前記スキャン画像の歪み補正に利用するための罫線と決定し、または、請求項9記載の発明のように、副走査方向の長さが最も長い矩形に包摂される罫線を前記スキャン画像の歪み補正に利用するための罫線と決定し、もしくは、請求項10記載の発明のように、前記スキャン画像のページ外形に最も近い矩形に包摂される罫線を前記スキャン画像の歪み補正に利用するための罫線と決定する。また、請求項11記載の発明のように、前記スキャン画像の歪み補正に利用するための罫線を、ページ綴じ部付近まで最も食い込んでいる矩形に包摂される罫線、副走査方向の長さが最も長い矩形に包摂される罫線、前記スキャン画像のページ外形に最も近い矩形に包摂される罫線の順に決定するようにしても良い。
【0027】
請求項12記載の発明は、請求項1ないし11のいずれか一記載の画像歪み補正装置において、主走査方向の歪み補正後の各文字行内にて隣接する縦成分矩形の中心座標間の副走査方向の距離を矩形間距離として検出する距離検出手段と、主走査方向の歪み補正後の画像を主走査方向に平行な方向を長辺とする短冊状の複数の領域に分割し、各短冊領域内での矩形間距離の平均を基に非歪み領域と歪み領域で矩形間距離が同じになるような前記スキャン画像の短冊領域毎の副走査方向変倍率を算出する変倍率算出手段と、を備え、前記短冊領域の幅は、前記サイズ算出手段により算出した文字サイズに基づいて決定される。
【0028】
したがって、文字サイズに基づいて短冊領域の幅が決定され、この幅に基づいて縦成分矩形の中心座標間の距離の平均が短冊単位で求められ、非歪み領域と歪み領域で矩形間距離が同じになるような副走査方向変倍率が算出される。すなわち、文字サイズに合わせて閾値を変更する(例えば、英文画像のように文字が小さい場合には短冊領域の幅を小さくする)ことで、短冊領域毎の副走査方向変倍率の精度を高精度にすることが可能になる。これにより、スキャン画像内の文字サイズに関係なく画像の副走査方向の歪み補正における精度の高精度化を図ることが可能になる。
【0029】
請求項13記載の発明の画像読取装置は、原稿画像を読み取る画像読取手段と、この画像読取手段により読み取られたスキャン画像の補正を行う請求項1ないし12のいずれか一記載の画像歪み補正装置と、を備える。
【0030】
したがって、請求項1ないし12のいずれか一記載の発明と同様の作用を奏する画像読取装置が得られる。
【0031】
請求項14記載の発明の画像形成装置は、原稿画像を読み取る画像読取手段と、この画像読取手段により読み取られたスキャン画像の補正を行う請求項1ないし12のいずれか一記載の画像歪み補正装置と、この画像歪み補正装置から出力される画像データに基づいた画像を用紙上に印刷する画像印刷装置と、を備える。
【0032】
したがって、請求項1ないし12のいずれか一記載の発明と同様の作用を奏する画像形成装置が得られる。
【0033】
請求項15記載の発明のプログラムは、画像読取手段の主走査方向に対してページ綴じ部がほぼ平行となるようにスキャン面の上もしくは下に接触した書籍原稿画像を前記画像読取手段により読み取ったスキャン画像の歪みを当該スキャン画像内の文字行の形状を基に補正する処理をコンピュータに実行させるプログラムであって、前記コンピュータに、前記スキャン画像内の文字のサイズを算出するサイズ算出機能と、算出した文字サイズに応じ、黒画素ランの抽出に用いる閾値を設定する第1の閾値設定機能と、前記スキャン画像から主走査方向に前記閾値の数の黒画素が連結する黒画素ランのみを抽出するラン抽出機能と、抽出した黒画素ランを基に縦成分のみの矩形を縦成分矩形として抽出する縦成分矩形抽出機能と、抽出した縦成分矩形間の主走査方向および副走査方向の距離を基に文字行を抽出する文字行抽出機能と、抽出した文字行の中から、前記スキャン画像の歪み補正に利用するための文字行を決定する文字行決定機能と、決定した文字行中に存在する各縦成分矩形を基に近似曲線を算出する近似曲線算出機能と、を実行させる。
【0034】
したがって、スキャン画像内の文字サイズに合わせて変更される閾値を用いて抽出された黒画素ランを基に縦成分矩形が抽出され、縦成分矩形間の主走査方向および副走査方向の距離を基に文字行が抽出される。すなわち、文字サイズに合わせて閾値を変更する(例えば、英文画像のように文字が小さい場合にはランとして登録する時の長さの最小値を小さくする)ことで、確実に縦成分矩形を抽出できるようになり縦成分矩形の抽出漏れが防止されるとともに、このようにして抽出された縦成分矩形を用いることで隣接する文字の接触が防止される。このような縦成分矩形から近似曲線を求めることにより、スキャン画像内の文字サイズに関係なく画像の主走査方向の歪み補正における精度の高精度化を図ることが可能になる。
【0035】
請求項16記載の発明は、請求項15記載のプログラムにおいて、前記サイズ算出機能により算出した文字サイズに応じ、縦成分矩形の主走査方向の長さを規定する第3閾値を設定する第2の閾値設定機能と、前記縦成分矩形抽出機能により抽出した縦成分矩形の主走査方向の長さが前記第3閾値以上の場合、当該縦成分矩形の長さを当該第3閾値の長さに縮める縮小機能と、を前記コンピュータに実行させる。
【0036】
したがって、文字サイズに応じて縦成分矩形の主走査方向の長さを規定する第3閾値が設定され、縦成分矩形の主走査方向の長さが第3閾値以上の場合、当該縦成分矩形の長さが当該第3閾値の長さに縮められることにより、小さい文字の縦成分矩形を極端に短くすることを防止しつつ主走査方向に矩形が接触するのを防ぐことが可能になるので、複数分の行が一行と誤認識されやすいという事態が回避され、安定した行統合が可能になる。
【0037】
請求項17記載の発明は、請求項15または16記載のプログラムにおいて、前記サイズ算出機能により算出した文字サイズに応じ、前記文字行抽出機能における文字行を抽出する際の主走査方向の統合距離である第4閾値を設定する第3の閾値設定機能を前記コンピュータに実行させ、前記文字行抽出機能は、前記第4閾値により規定された文字行を抽出する際の主走査方向の統合距離に従って文字行を抽出する。
【0038】
したがって、文字行を抽出する際の主走査方向の統合距離である第4閾値が文字サイズに応じて設定され、第4閾値により規定された文字行を抽出する際の主走査方向の統合距離に従って文字行が抽出される。これにより、英語文のように日本語文に比べて主走査方向の矩形間距離が短くなるような場合には、行抽出時の主走査方向の統合距離である第4閾値を小さくすることで、過剰な行統合を回避することが可能になる。
【0039】
なお、スキャン画像内の文字のサイズを算出するサイズ算出手段においては、請求項18記載の発明のように、前記スキャン画像中に前記文字サイズの算出を行うための領域を指定し、この指定領域内における標準的な文字の外接矩形を抽出し、抽出した文字の外接矩形の主走査方向における距離を前記文字サイズとして算出する。そして、前記スキャン画像のページ綴じ部を境にした左右両側に前記文字サイズの算出を行うための領域を指定した場合には、請求項19記載の発明のように、指定領域の何れかで前記文字サイズが算出されなかった場合、前記文字サイズが算出された側の前記文字サイズを採用し、請求項20記載の発明のように、指定領域の両方で前記文字サイズが算出されなかった場合、予め定められた一定の値を前記文字サイズとし、請求項21記載の発明のように、指定領域の両方で算出された前記文字サイズを比較し、小さい方の前記文字サイズを両方の前記文字サイズとして採用する。
【0040】
また、抽出した文字行の中から、前記スキャン画像の歪み補正に利用するための文字行を決定する文字行決定機能においては、請求項22記載の発明のように、ページ綴じ部付近まで最も食い込んでいる矩形に包摂される罫線を前記スキャン画像の歪み補正に利用するための罫線と決定し、または、請求項23記載の発明のように、副走査方向の長さが最も長い矩形に包摂される罫線を前記スキャン画像の歪み補正に利用するための罫線と決定し、もしくは、請求項24記載の発明のように、前記スキャン画像のページ外形に最も近い矩形に包摂される罫線を前記スキャン画像の歪み補正に利用するための罫線と決定する。また、請求項25記載の発明のように、前記スキャン画像の歪み補正に利用するための罫線を、ページ綴じ部付近まで最も食い込んでいる矩形に包摂される罫線、副走査方向の長さが最も長い矩形に包摂される罫線、前記スキャン画像のページ外形に最も近い矩形に包摂される罫線の順に決定するようにしても良い。
【0041】
請求項26記載の発明は、請求項15ないし25のいずれか一記載のプログラムにおいて、主走査方向の歪み補正後の各文字行内にて隣接する縦成分矩形の中心座標間の副走査方向の距離を矩形間距離として検出する距離検出機能と、主走査方向の歪み補正後の画像を主走査方向に平行な方向を長辺とする短冊状の複数の領域に分割し、各短冊領域内での矩形間距離の平均を基に非歪み領域と歪み領域で矩形間距離が同じになるような前記スキャン画像の短冊領域毎の副走査方向変倍率を算出する変倍率算出機能と、を前記コンピュータに実行させ、前記短冊領域の幅は、前記サイズ算出手段により算出した文字サイズに基づいて決定される。
【0042】
したがって、文字サイズに基づいて短冊領域の幅が決定され、この幅に基づいて縦成分矩形の中心座標間の距離の平均が短冊単位で求められ、非歪み領域と歪み領域で矩形間距離が同じになるような副走査方向変倍率が算出される。すなわち、文字サイズに合わせて閾値を変更する(例えば、英文画像のように文字が小さい場合には短冊領域の幅を小さくする)ことで、短冊領域毎の副走査方向変倍率の精度を高精度にすることが可能になる。これにより、スキャン画像内の文字サイズに関係なく画像の副走査方向の歪み補正における精度の高精度化を図ることが可能になる。
【0043】
請求項27記載の発明の記憶媒体は、請求項15ないし26のいずれか一記載のプログラムを記憶する。
【0044】
したがって、請求項15ないし26のいずれか一記載のプログラムを有体物の形態で取り扱うことが可能となる。
【発明の効果】
【0045】
本発明によれば、スキャン画像内の文字サイズに合わせて変更される閾値を用いて抽出された黒画素ランを基に縦成分矩形を抽出し、縦成分矩形間の主走査方向および副走査方向の距離を基に文字行を抽出する。すなわち、文字サイズに合わせて閾値を変更する(例えば、英文画像のように文字が小さい場合にはランとして登録する時の長さの最小値を小さくする)ことで、確実に縦成分矩形を抽出できるようになり縦成分矩形の抽出漏れを防止するとともに、このようにして抽出された縦成分矩形を用いることで隣接する文字の接触を防止する。このような縦成分矩形から近似曲線を求めることにより、スキャン画像内の文字サイズに関係なく画像の主走査方向の歪み補正における精度の高精度化を図ることができる。
【0046】
本発明によれば、文字サイズに基づいて短冊領域の幅を決定し、この幅に基づいて縦成分矩形の中心座標間の距離の平均を短冊単位で求め、非歪み領域と歪み領域で矩形間距離が同じになるような副走査方向変倍率を算出する。すなわち、文字サイズに合わせて閾値を変更する(例えば、英文画像のように文字が小さい場合には短冊領域の幅を小さくする)ことで、短冊領域毎の副走査方向変倍率の精度を高精度にすることができるので、スキャン画像内の文字サイズに関係なく画像の副走査方向の歪み補正における精度の高精度化を図ることができる。
【発明を実施するための最良の形態】
【0047】
[第一の実施の形態]
本発明の第一の実施の形態を図1ないし図56に基づいて説明する。本実施の形態の画像歪み補正装置は画像形成装置であるデジタル複写機に備えられており、画像読取装置としてはデジタル複写機のスキャナ部が適用されている。
【0048】
ここで、図1はスキャナ部1の構成を示す縦断正面図である。図1に示すように、スキャナ部1は、原稿を載置するコンタクトガラス2と、原稿の露光用の露光ランプ3および第一反射ミラー4からなる第一走行体5と、第二反射ミラー6および第三反射ミラー7からなる第二走行体8と、原稿の画像を読み取る撮像素子としてのCCD(Charge Coupled Device)9と、このCCD9に結像させるためのレンズユニット10と、原稿を載置する基準になるとともにコンタクトガラス2のズレや外れを防止する原稿スケール11と、この原稿スケール11の下側に設置されたシェーディング補正用の白基準板12と、フレーム14とを備えている。CCD9はセンサボード13上に形成されている。
【0049】
原稿の走査時には、第一走行体5および第二走行体8はステッピングモータ24(図3参照)によって副走査方向に移動する。すなわち、第一走行体5および第二走行体8がコンタクトガラス2の下を走行して、露光ランプ3で原稿を露光走査し、その反射光を第一反射ミラー4、第二反射ミラー6および第三反射ミラー7で反射して、レンズユニット10を通してCCD9に結像させる。ここに、画像読取手段が実現されている。
【0050】
このようなスキャナ部1は、このスキャナ部1で読み取られた原稿の画像に基づく画像データに応じ、例えば電子写真方式で用紙上に画像の形成を行う画像印刷装置であるプリンタ部(図示せず)を備えるデジタル複写機16に搭載されている。図2は、スキャナ部1を搭載したデジタル複写機16の上部部分を示す斜視図である。図2に示すように、スキャナ部1には、コンタクトガラス2に対して開閉自在な圧板17と、この圧板17の開閉を検出する開閉センサ18とが設けられている。なお、デジタル複写機16に備えられるプリンタとしては、電子写真方式のほか、インクジェット方式、昇華型熱転写方式、銀塩写真方式、直接感熱記録方式、溶融型熱転写方式など、種々の印刷方式を適用することができる。その具体的な構成については周知であるため、詳細な説明は省略する。
【0051】
図3は、スキャナ部1の制御系の電気的な接続を示すブロック図である。図3に示すように、この制御系は、スキャナ部1の全体を制御するメイン制御部19に、CCD9で読み取った画像データに各種の画像処理を施す回路である画像処理部20と、第一走行体5および第二走行体8を制御する回路である走行体制御部21と、デジタル複写機16への各種操作を受け付け、また、各種メッセージを表示する操作パネル22と、CCD9で読み取った画像データや所定のデータ等を記憶するメモリ23とが接続されている。なお、操作パネル22には、コピー開始を宣言するためのコピースタートキー等が設けられている。また、走行体制御部21には、露光ランプ3と、第一走行体5および第二走行体8を駆動するステッピングモータ24と、第一走行体5および第二走行体8がホームポジションにあるか否かを検出するスキャナホームポジションセンサ(HPセンサ)25と、開閉センサ18とが接続されている。
【0052】
ここで、図4は画像処理部20の基本的な内部構成を示すブロック図である。図4に示すように、画像処理部20は、原稿をCCD9により読み取ったアナログ画像信号の増幅処理やデジタル変換処理等を行うアナログビデオ処理部26、シェーディング補正処理を行うシェーディング補正処理部27、シェーディング補正処理後のデジタル画像信号に、MTF補正、変倍処理、γ補正等の各種画像データ処理を行いスキャン画像を生成する画像データ処理部28から構成されている。以上のような画像処理後のデジタル画像信号は、メイン制御部19を介してプリンタ部に送信されて、画像形成に供される。
【0053】
メイン制御部19は、図5に示すように、各部を集中的に制御するCPU(Central Processing Unit)31を備えており、このCPU31には、BIOSなどを記憶した読出し専用メモリであるROM(Read Only Memory)32と、各種データを書換え可能に記憶してCPU31の作業エリアとして機能するRAM(Random Access Memory)33とがバス34で接続されており、マイクロコンピュータを構成している。さらにバス34には、制御プログラムが記憶されたHDD35と、CD(Compact Disc)−ROM37を読み取るCD−ROMドライブ36と、プリンタ部等との通信を司るインタフェース(I/F)38とが接続されている。
【0054】
図5に示すCD−ROM37は、この発明の記憶媒体を実施するものであり、所定の制御プログラムが記憶されている。CPU31は、CD−ROM37に記憶されている制御プログラムをCD−ROMドライブ36で読み取り、HDD35にインストールする。これにより、メイン制御部19は、後述するような各種の処理を行うことが可能な状態となる。
【0055】
なお、記憶媒体としては、CD−ROM37のみならず、DVDなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることができる。また、インターネットなどのネットワークからプログラムをダウンロードし、HDD35にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のOS(Operating System)上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をOSに肩代わりさせるものであってもよいし、ワープロソフトなど所定のアプリケーションソフトやOSなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【0056】
次に、メイン制御部19に設けられたCPU31が制御プログラムに基づいて実行する各種処理の内容について説明する。ここでは、CPU31が実行する処理のうち、本実施の形態のスキャナ部1が備える特長的な機能であるスキャン画像の歪み補正機能を実現するスキャン画像の歪み補正処理についてのみ説明する。すなわち、メイン制御部19は画像歪み補正装置として機能するものである。
【0057】
図6は、スキャン画像の歪み補正処理の流れを概略的に示すフローチャートである。なお、ここでは、図7に示すように、書籍原稿40がそのページ綴じ部41とスキャナ部1の画像読み取りの主走査方向とが平行になるように位置させてコンタクトガラス2に載置されている場合について説明する。
【0058】
まず、ステップS1において、画像データ処理部28から出力されたコンタクトガラス2に載置されている書籍原稿40のスキャン画像を入力する。ここで、図8は入力した画像の一例を示したものである。そして、図9に示すように、入力された書籍原稿40のスキャン画像には、ページ綴じ部41の近傍において歪みが生じている。
【0059】
次いで、書籍原稿40のスキャン画像(例えば、モノクロ多値画像)の最適2値化処理を実行し(ステップS2)、副走査方向の黒画素(スキャン画像の画素の中でその濃度値が予め定めた濃度値よりも濃い画素)数のヒストグラムを求める(ステップS3)。図10は、図8に示した画像の綴じ部境界線左側の黒画素ヒストグラムである。図10中の横軸は、主走査方向の黒画素(スキャン画像の画素の中でその濃度値が予め定めた濃度値よりも濃い画素)の位置を示し、図10中の縦軸は、その位置毎の黒画素数を示すものである。なお、ページ綴じ部41のスキャン画像である綴じ部境界線としては、スキャン画像中の画素の中でその濃度値が最も濃い画素が位置する副走査方向の位置が選択される。
【0060】
なお、スキャン画像がカラー多値画像の場合における2値化処理は、例えばRGB成分の何れか一つの成分に着目し(例えばG成分)、G成分の所定の濃度閾値よりも大きいものを黒画素とし、G成分の所定の濃度閾値よりも小さいものを白画素とすれば良い。また、RGBを色変換して輝度成分と色差成分とに分け、輝度成分で閾値処理を行うようにしても良い。
【0061】
続くステップS4においては、ページ外形/罫線/文字行の抽出処理を実行する。ここで、図11は、ページ外形/罫線/文字行の抽出処理の流れを概略的に示すフローチャートである。
【0062】
[スキャン画像からのページ外形の抽出]
まず、ステップS41におけるスキャン画像からのページ外形の抽出処理について説明する。ここで、図12は上端にページ外形が存在するスキャン画像の一例を示す説明図、図13は図12に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。図13に示すヒストグラムのx軸はスキャン画像の主走査方向(図12の上下方向)を示すものであり、スキャン画像の上端はヒストグラムの左端に対応付けられている。なお、ページ外形が下端に存在するスキャン画像の場合には、スキャン画像の下端がヒストグラムの右端に対応付けられることになる。したがって、図12に示すようにスキャン画像の上端にページ外形が存在する場合、スキャン画像の上部に黒い帯が現れることから、図13に示すヒストグラムの左端には高い縦棒が現れることになる。本実施の形態では、このような特性を利用して、スキャン画像にページ外形が存在するか否かの判断を行う。
【0063】
より具体的には、図13に示すように、綴じ部境界線からスキャン画像の左端(図12の左端)までの距離AO、ヒストグラム縦棒の高さBOとし、その比率を下記に示す式(1)により算出し、
【0064】
【数1】
【0065】
算出された比率kが、予め定められた閾値よりも大きい場合に、スキャン画像にページ外形が存在すると判断する。
【0066】
なお、スキャン画像の上下にページ外形が存在する場合には、ヒストグラムの左右両端に高い縦棒が現れることになるので、このような場合には、ヒストグラムの左右両端の高い縦棒に基づいてスキャン画像にページ外形が存在するか否かの判断がそれぞれ実行される。
【0067】
以上の処理により、スキャン画像にページ外形が存在すると判断された場合には、左右ページの上下辺のいずれにページ外形が存在しているのかという情報とともにページ外形を抽出し、RAM33に一時的に記憶する。
【0068】
なお、このスキャン画像にページ外形が存在するか否かの判断処理は、スキャン画像の綴じ部境界線を境にした左右ページ毎に実行される。
【0069】
[スキャン画像からの罫線の抽出]
続くステップS42においては、スキャン画像からの罫線の抽出処理を実行する。ステップS42におけるスキャン画像からの罫線の抽出処理について説明する。
【0070】
[罫線候補の検出]
ここで、図14は罫線が存在するスキャン画像の一例を示す説明図である。本実施の形態では、罫線の矩形抽出を導入し、図14に示すようなスキャン画像に存在する罫線を1つの矩形として抽出する。なお、詳細については後述するが、ただ単に矩形抽出を行うだけでは罫線が単独で抽出できない場合もあるために、本実施の形態では、ランの登録に制限を設けた矩形抽出を行う。
【0071】
図15は、2値化した画像に矩形抽出を施した結果を示す説明図である。図15に示すように、黒画素が連結している箇所が1つの矩形として抽出される。図15に示すように、罫線が存在していれば、副走査方向に細長い矩形として抽出されることから、細長い矩形の有無や抽出した矩形の形状(長さ・縦横比)や位置を基に罫線の有無の判定を行う。
【0072】
ただし、ただ単に矩形抽出を行うだけでは、罫線が単独で抽出できない場合もある。図16に示すように、罫線がノイズと接触している場合、ノイズを含む矩形が抽出されてしまう。また、図17のような表が含まれる画像の場合は、副走査方向の罫線は主走査方向の罫線と交差するため、表全体が1つの矩形として抽出され罫線が単独で抽出できない。
【0073】
[ランの登録に制限を設けた矩形抽出]
そこで、罫線を単独で抽出するために、ランの登録に制限を設けた矩形抽出を行う。図16に示すような罫線とノイズが接触している画像に対して、主走査方向(垂直方向)に一定値未満のランのみを登録し矩形を抽出すると、図18に示すように罫線を構成する黒画素は登録対象のランとなるが、ノイズを構成する黒画素はランとして登録されない。罫線を構成する黒画素を対象として矩形抽出を行うため、罫線を単独で抽出することができる。
【0074】
なお、罫線を矩形抽出するにあたって、副走査方向(水平方向)に長いランのみを対象に矩形抽出を行う方法もあるが、この方法だと綴じ部付近の歪み部分は矩形内に含まれない。ところが、本実施の形態の方式を用いることにより、罫線の綴じ部付近の歪み部分も矩形内に含めることが可能となり、より正確な罫線の位置や長さを検出することが出来る。
【0075】
[矩形統合]
表など、副走査方向(水平方向)の罫線と主走査方向(垂直方向)の罫線とが交差している画像に矩形抽出を行うと、主走査方向の罫線はランとして登録されないため、副走査方向に矩形が細切れに抽出されてしまう。すると、図19に示すように、副走査方向に長い罫線があるにもかかわらず、その罫線は1つの矩形として抽出されず、複数の細切れの矩形となって抽出される。
【0076】
そこで、矩形統合を行う。副走査方向における距離が一定値以下の矩形同士を統合する。図20は、矩形統合を施した例である。矩形統合は、図20に示すように、細切れになっていた矩形を1つの矩形に統合し、罫線の矩形を抽出するものである。この矩形統合は、かすれた罫線や点線の罫線に対して行っても、罫線全体が1つの矩形として抽出されるため有効な方法である。
【0077】
[最適罫線の選択]
次いで、一定値未満のランのみを登録した矩形抽出を行い、副走査方向に細長い矩形の有無にて罫線の有無を判定する。このような罫線の有無の判定は、画像の左上・左下・右上・右下の4箇所それぞれにおいて行う。例えば、図21に示す画像の場合、左上にのみ罫線が存在しないということになる。ある箇所にて複数罫線が存在する場合は、補正に利用する罫線を以下の優先順位で決定する。
【0078】
1.綴じ部付近まで食い込んでいる罫線
例えば、図21に示す画像の右下の場合、綴じ部付近まで食い込んでいる罫線が補正に利用される。
【0079】
2.長さが長い方の罫線
例えば、図21に示す画像の右上の場合、双方の罫線は綴じ部付近まで食い込んでいるため、長さが長い方の罫線が補正に利用される。
【0080】
3.位置が外側の罫線
例えば、図21に示す画像の左下の場合、双方の罫線は綴じ部付近まで食い込んでいて、なおかつ、長さがほぼ同じため、画像の外側に位置する罫線が補正に利用される。
【0081】
[最適罫線の座標値検出]
以上のようにして最適罫線を選択した後、各罫線の座標値を検出する。罫線の位置座標は、抽出された矩形の座標から得ることができる。なお、特殊な例として、副走査方向に細長い矩形の位置が画像の上端や下端に接している場合は、その矩形がノイズである可能性を考慮して、罫線とはみなさないものとする。また、左右のページそれぞれで細長い矩形が抽出された場合(例えば、左上と右上、左下と右下)、画像によっては、綴じ部をまたがる形で左右ページの矩形が統合されることがある。すると、水平方向画像全体に細長い矩形が抽出されることから、抽出された矩形にそのような特徴が見られた場合は、綴じ部位置を境にその矩形を分割する。
【0082】
以上の処理により、スキャン画像に罫線が存在すると判断された場合には、左右各ページのいずれの位置に罫線が存在しているのかという情報とともに罫線を抽出し、RAM33に一時的に記憶する。
【0083】
[スキャン画像からの文字行の抽出]
続くステップS43においては、スキャン画像からの文字行の抽出処理を実行する。ステップS43におけるスキャン画像からの文字行の抽出処理について説明する。本実施の形態においては、まず、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別を行う。
【0084】
[文字行の判別]
スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別手法について説明する。ここで、図22は図8に示した画像の副走査方向の黒白反転数ヒストグラムである。図22中の横軸は、副走査方向(左右方向)の黒画素(スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素)の主走査方向上での位置を示し、図22中の縦軸は、その位置毎の黒画素数を示すものである。また、図23は図8に示した画像の主走査方向の黒白反転数ヒストグラムである。図23中の横軸は、主走査方向(上下方向)の黒画素(スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素)の副走査方向上での位置を示し、図23中の縦軸は、その位置毎の黒画素数を示すものである。画像中の文字が横書きの図8に示したようなスキャン画像の場合、図22に示すような副走査方向のヒストグラムは激しく変化するが、図23に示すような主走査方向のヒストグラムの変化は少ない。また、特に図示しないが、スキャン画像中の文字行が縦書き文字行である場合には、主走査方向のヒストグラムは激しく変化するが、副走査方向のヒストグラムの変化は少ない。
【0085】
上述したような判別手法は、具体的には下記に示す各式により実現される。まず、下記に示す式(2)により、
【0086】
【数2】
【0087】
主走査方向yの位置でのヒストグラム値Pnt(y)の平均値meanHが算出される。ここで、heightは画像の高さである。
そして、下記に示す式(3)により、
【0088】
【数3】
【0089】
副走査方向のヒストグラムの主走査方向に関する分散σHが得られる。
同様に、下記に示す式(4)により、
【0090】
【数4】
【0091】
副走査方向xの位置でのヒストグラム値Pnt(x)の平均値meanVが算出される。ここで、widthは画像の幅である。
そして、下記に示す式(5)により、
【0092】
【数5】
【0093】
主走査方向のヒストグラムの副走査方向に関する分散σvが得られる。
【0094】
上述したようにスキャン画像中の文字行が横書き文字行である場合には、副走査方向のヒストグラムの主走査方向に関する分散σHが、主走査方向のヒストグラムの副走査方向に関する分散σvより大きい。逆に、スキャン画像中の文字行が縦書き文字行である場合には、主走査方向のヒストグラムの副走査方向に関する分散σvが、副走査方向のヒストグラムの主走査方向に関する分散σHより大きい。つまり、分散σHと分散σvとの比較により、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別が可能になっている。
【0095】
なお、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別に、黒白反転数ヒストグラムを用いたのは、文字行と写真部分との混同を避けるためである。一般に、黒画素ヒストグラムの値が同程度の場合、文字領域のほうが写真領域よりも黒白反転数ヒストグラムの値が大きくなるからである。
【0096】
[横書き文字行候補の検出]
以上のようにして横書き文字行と判別された場合、横書き文字行候補を検出する。従来方式では、文字単位の外接矩形を抽出して横書き文字行候補を検出するようにしていたが、矩形を抽出する際に隣接する文字同士が接触して複数の文字が一つの矩形となる問題点があった。そこで、本実施の形態では、ランの長さに制限を設けて文字の縦成分のみの矩形を抽出することで不適切なランを排除し、隣接する文字が接触しないようにする。ここで、縦成分とは文字の垂直方向の成分のことである。このように文字の縦成分のみの矩形を抽出する理由は、アルファベット(a〜z)文字のアスペクト比は一定ではないが、文字に含まれる垂直方向の成分のピッチが一定に近いためである。具体的には、文字と思われる黒画素の集合部分であるランを探索し、ランが発見された時にはランの終始座標の長さが主走査方向に予め定めた第1閾値以上かつ予め定めた第2閾値以下であればランとして登録する(ラン抽出手段)。
【0097】
ここで、縦成分の矩形を抽出する際のランの長さの閾値について説明する。本実施の形態においては、ランの長さの閾値(第1閾値及び第2閾値)を書かれている文字サイズに合わせて切り替えるようにしている。このように文字サイズに合わせて閾値を切り替えるようにするのは、小さい文字の英文画像においては、縦成分の矩形を抽出する際にランの長さの閾値が適切でないと、登録されるべきランも排除されてしまうことがあり、抽出される縦成分の矩形数も減ってしまうという問題があるからである。以下において、文字サイズに合わせた閾値の切り替え手法について詳述する。
【0098】
文字サイズに合わせた閾値(第1閾値及び第2閾値)の切り替えは、英文画像の文字サイズ(標準矩形サイズ)を算出し(サイズ算出手段)、その値を基にランとして登録するための閾値を変更することにより行われる(第1の閾値設定手段)。標準矩形サイズの算出は、以下に示す処理手順により行われる。
1.図24に示すように、スキャン画像の綴じ部を境にした左右両側において、標準矩形サイズの算出を行うための領域Zをそれぞれ指定する。例えば、図24に示す指定領域Zは、スキャン画像の高さの1/3〜2/3、スキャン画像の左右両側の幅の1/3〜2/3の部分である。このような指定領域Zは、歪みが生じておらず、かつ、スキャン画像のページ外形から一定距離だけ離れていることが望ましい。
2.図24に示すように、指定領域Z内の文字の外接矩形を抽出する。指定領域Z内の文字の外接矩形の抽出については周知の技術であるので、その説明は省略する。
3.2で抽出した文字の外接矩形の中で、指定領域Zに接している文字の外接矩形、規定外の文字の外接矩形は排除し、図25に示すように残った文字の外接矩形(図25中、網掛けを施した矩形)の主走査方向における距離W(W=Xe−Xs)を算出する。図26に示すように、Xsは外接矩形の主走査方向の開始座標、Xeは終止座標である。また、規定外の文字の外接矩形とは、矩形抽出の際に隣接する文字同士がくっついて抽出されてしまい、高さや幅が極端に大きい外接矩形である。
4.3の計算結果を基に、下記の式により標準矩形サイズを算出する。
標準矩形サイズ=各外接矩形の主走査方向における距離Wの総和/外接矩形の数
5.4の計算結果を基に、標準矩形サイズは以下のように設定する。
・スキャン画像の綴じ部を境にした左右両側の何れかの標準矩形サイズが0の場合、0でない方の標準矩形サイズを採用する。
・スキャン画像の綴じ部を境にした左右両側の両方が0の場合、予め定められた一定の値を標準矩形サイズとする。
・スキャン画像の綴じ部を境にした左右両側で比較をし、小さい方の標準矩形サイズを両方の標準矩形サイズとして採用する。
以上により算出された標準矩形サイズが標準サイズ以下の場合には、登録するランの長さの閾値の最小値を小さくする。すなわち、英文画像のように文字が小さい場合には、ランとして登録する時の長さの最小値を小さくすることにより、小さい文字の縦成分矩形を抽出できるようになり、最適な縦成分矩形の抽出を行うことができるようになる。
【0099】
このようにして登録したランを基に縦成分のみの矩形抽出を行う(縦成分矩形抽出手段)。ここで、横書き文字行候補の検出の結果の一例を図27に示す。
【0100】
加えて、本実施の形態においては、縦成分の矩形を抽出後、縦成分の矩形の長さを主走査方向にある一定の長さに縮める。このように縦成分の矩形の長さを主走査方向に縮めるのは、従来方式では、複数分の行が一行と誤認識されやすいという問題点があったからである。すなわち、縦成分の矩形の長さを主走査方向に縮めることにより、主走査方向に矩形が接触するのを防ぎ、安定した行統合が可能になる。ここで、図28は縦成分矩形を縮める手法を示す説明図である。図28に示すように、縦成分の矩形の主走査方向の開始座標をXs、終止座標をXe、中心座標をZとして、Zを基準に上部分と下部分を縮め、主走査方向に閾値(第3閾値)以下になるようにすることで、縦成分矩形を縮める(縮小手段)。このように縦成分矩形を主走査方向に縮める長さの閾値は、前述した標準矩形サイズに基づいて決定される(第2の閾値設定手段)。このように縦成分矩形を主走査方向に縮める長さの閾値を標準矩形サイズに基づいて決定するのは、文字サイズに関係なく一定の値で縮めてしまうと、短い縦成分矩形の場合には縦成分矩形としての長さが短くなってしまい、行抽出が不安定になるからである。以下において、縦成分矩形を主走査方向に縮める長さの閾値の計算手法について詳述する。
【0101】
縦成分矩形を主走査方向に縮める長さの閾値Kは、前述した標準矩形サイズを基に、下記の式により算出される。
長さの閾値K=標準矩形サイズ/5+縦成分矩形を縮めるときの最小値
この計算式によれば、標準矩形サイズが5増加するごとに区切り、5増加に対して閾値Kを1増加させる。また、計算式の縦成分矩形を縮めるときの最小値は、解像度毎に定めているため、閾値Kも解像度毎に対応している。図29は、縦成分矩形を主走査方向に縮める長さの閾値Kの計算結果の一例をグラフ化したものである。なお、図29に示すグラフは、200dpiの場合を示している。すなわち、英文画像のように文字が小さい場合には、縦成分矩形を主走査方向に縮める長さの閾値Kを小さくすることにより、小さい文字の縦成分矩形を極端に短くすることがなくなり、確実に文字行を抽出できるようになる。
【0102】
ここで、縦成分矩形を縮めた横書き文字行候補の検出の結果の一例を図30に示す。図30(a)は縦成分矩形を縮める前、図30(b)は縦成分矩形を縮めた後である。
【0103】
以上のようにして文字の縦成分矩形を抽出し、主走査方向に縦成分矩形を縮めた後、図31に示すように、主走査方向間に隣接する矩形の行統合を行い、文字行を抽出する(文字行抽出手段)。ここで、矩形の行統合を行った場合、主走査方向間に隣接する矩形間の距離を一定にすると、文字が小さい英文画像の場合は主走査方向間に隣接する矩形間の距離は小さいために、過剰に行を統合するという問題が発生する。特に、英語文は、日本語文に比べて主走査方向の矩形間距離が短くなるため、行抽出時の主走査方向の統合距離の閾値を厳しくする必要がある。そこで、本実施の形態においては、行抽出時の主走査方向の統合距離の閾値(第4閾値)を、前述した標準矩形サイズに基づいて決定する(第3の閾値設定手段)。すなわち、標準矩形サイズに基づいて標準的な文字サイズでないと判定された場合は、行抽出時の主走査方向の統合距離の閾値を小さくするようにする。
【0104】
なお、縦成分矩形から行統合を行うとノイズの行が統合されることがある。ノイズの行内にある縦成分の矩形から生成される近似曲線は補正に適さない。そこで、長さがある一定以下の行はノイズとみなして、補正に利用しないようにする。これらの方法を行うと、安定した近似曲線を得る可能性が高くなる。
【0105】
次いで、一行内の縦成分矩形の中心座標を基に近似曲線を生成する。ここで、図32(a)は縦成分矩形による近似曲線の生成を示す説明図、(b)は行を拡大して示す説明図である。
【0106】
[最適横書き文字行の選択]
次に、抽出した横書き文字行の中から歪み補正に最適な横書き文字行を選択する(文字行決定手段)。複数の横書き文字行が検出される場合、どの横書き文字行を用いて歪み補正するかを選択する必要がある。最適な横書き文字行の選択基準の一例としては、前述した最適な罫線の選択基準と基本的に同様であって、補正に利用する横書き文字行を以下の優先順位で決定する。
【0107】
1.綴じ部付近まで食い込んでいる横書き文字行
例えば、図33に示す画像の右下の場合、綴じ部付近まで食い込んでいる横書き文字行が補正に利用される。
【0108】
2.長さが長い方の横書き文字行
例えば、図33に示す画像の右上の場合、双方の横書き文字行は綴じ部付近まで食い込んでいるため、長さが長い方の横書き文字行が補正に利用される。
【0109】
3.位置が外側の横書き文字行
例えば、図33に示す画像の左下の場合、双方の横書き文字行は綴じ部付近まで食い込んでいて、なおかつ、長さがほぼ同じため、画像の外側に位置する横書き文字行が補正に利用される。
【0110】
なお、本実施の形態においては、図34に示すように、ページ外形に歪みを生じている部分がまだらに読み取られているような場合に、この部分Eを横書き文字行として認識する場合がある。そのため、綴じ部境界線Dを跨いでいる横書き文字行や、ページ外形の上端又は下端近傍の横書き文字行は補正に利用しないようにする。これにより、安定した近似曲線を得る可能性が高くなる。
【0111】
[最適横書き文字行の座標値の決定]
最適な横書き文字行が選択された場合には、横書き文字行の(主走査方向の)座標値を決定する(近似曲線算出手段)。横書き文字行の(主走査方向の)座標値は、横書き文字行内の各縦成分矩形主走査方向の中心点を連結し、直線部分と曲線部分とを近似して抽出することにより横書き文字行の(主走査方向の)座標値を決定することになる。より詳細には、図33に示すDは綴じ部境界線であり、BDの間は多項式近似曲線で(主走査方向の)座標値を推定し、一番左端のAとBとの間は近似直線の値で(主走査方向の)座標値を推定する。
【0112】
以上の処理により、スキャン画像に横書き文字行が存在すると判断された場合には、左右各ページのいずれの位置に横書き文字行が存在しているのかという情報とともに横書き文字行を抽出し、RAM33に一時的に記憶する。
【0113】
[縦書き文字行に基づく横書き文字行の抽出]
次に、各縦書き文字行から横書き文字行を抽出する。
【0114】
図35は、各縦書き文字行からの横書き文字行の抽出処理の流れを概略的に示すフローチャートである。図35に示すように、まず、縦書き文字行の行切り出し矩形を抽出する(ステップS201)。なお、縦書き文字行の行切り出し矩形の抽出処理は、OCR等で一般に用いられている周知の技術をそのまま利用することができるので、その説明は省略する。図36は、抽出した行切り出し矩形を例示的に示す説明図である。
【0115】
次いで、縦書き文字行の先頭(もしくは末尾)のy座標が最大(もしくは最小)の縦書き文字行を抽出し、さらに、そこから予め定めた距離範囲内に先頭(もしくは末尾)が存在する縦書き文字行を抽出する(ステップS202)。より具体的には、図36に示した例においては、図37に示すように、縦書き文字行の先頭文字のy座標が最大の縦書き文字行はAで示した縦書き文字行である。そして、その先頭位置から予め定めた距離範囲h内に存在する行先頭文字は、図37中、黒丸“●”で示した文字である。すなわち、黒丸“●”で示す文字を含む縦書き文字行のみを抽出し、それ以外の縦書き文字行B,Cは除外する。なお、hはスキャン画像の解像度によって定められる定数である。
【0116】
次に、抽出した縦書き文字行の先頭(もしくは末尾)のy座標に関してヒストグラムを構成する(ステップS203)。図38では、ページの左端に近い縦書き文字行Dを基準行とし、その先頭のy座標(yD)を基準座標としている。以後、yDに対して一定幅d(例えば抽出した縦書き文字行の平均幅の1/2)の範囲内に先頭が存在する縦書き文字行の数を、yDに関するヒストグラムの値とする。図38では、yDを示す直線を上下に挟む点線の範囲内に先頭が存在する縦書き文字行がその対象となる。したがって、ページの左端に近い縦書き文字行Dの右隣の縦書き文字行Eは、その範囲外である。このように、既存の基準座標の対象範囲に先頭が含まれない縦書き文字行が出現した場合は、その縦書き文字行を新たな基準行とし、その先頭座標を新たな基準座標(ここでは、yE)とする。また、縦書き文字行Eの右隣の縦書き文字行Fの行先頭座標はyDの対象範囲に含まれるので、新たな基準座標を設けることなく、yDに関するヒストグラムの値を1だけカウントアップする。
【0117】
以下、同様の処理を綴じ部境界線に向かって続けて行く。その結果、図38に示す例では、yDの対象範囲に含まれる縦書き文字行は斜線を施した矩形で囲まれた7つで、yEの対象範囲に含まれる縦書き文字行は網掛けを施した矩形で囲まれた4つとなる(これら以外の矩形で囲まれた縦書き文字行に関しても、基準行、基準座標と対象範囲がそれぞれ定められるが、図38では省略している)。なお、yDの対象範囲には本来無関係であるべき縦書き文字行Gも含まれているが、次のステップS204にてこれは除外される。
【0118】
続いて、ステップS203にて構成したヒストグラムの中で、最大の値に対応する基準行の対象範囲に含まれる縦書き文字行の中で、最もページの左端(もしくは右端)にある縦書き文字行(基準行)を開始行として、綴じ部境界線へ向かって、先頭(もしくは末尾)のy座標が近接した縦書き文字行を抽出する(ステップS204)。図38では、基準座標yDの対象範囲に含まれる文字行が7つと最大であったので、その中の左端の縦書き文字行Dを開始行とし、開始行(縦書き文字行D)から綴じ部境界線へ向かって先頭のy座標が近接した縦書き文字行を抽出していく。
【0119】
ところで、開始行(縦書き文字行D)から綴じ部境界線へ向かって先頭のy座標が近接した縦書き文字行を抽出する際には、画像の歪みを生じていない部分と歪みを生じている部分とで処理内容を切り替える。
【0120】
まず、画像の歪みを生じていない部分における処理について図39を参照しつつ説明する。画像の歪みを生じていない部分では、着目行Hを基準として、次の2条件を満足する縦書き文字行を抽出する。
1.y座標の正方向(図39中、上方へ向かう方向)に関して、着目行Hの先頭位置から一定範囲内b1(例えば平均文字行幅の1/2)に抽出する縦書き文字行の先頭が存在すること
2.y座標の負方向(図39中、下方へ向かう方向)に関して、着目行Hの先頭位置から見てx座標の正方向(綴じ部境界線へ向かう方向)に対して予め定めた一定角度(ここでは、角度を直線の傾き(b2/a1)で表している)の範囲内に抽出する縦書き文字行の先頭が存在すること
すなわち、着目行Hの次の縦書き文字行Iの先頭は上記の範囲外なので除外することになるが、さらに次の縦書き文字行Jの先頭は範囲内に存在するので抽出することになる。以下、縦書き文字行Jを新たな着目行として同様の処理を続ける。
【0121】
次に、画像の歪みを生じている部分における処理について図40を参照しつつ説明する。画像の歪みを生じている部分では、着目行Lを基準として、次の2条件を満足する縦書き文字行を抽出する。
1.y座標の負方向(図40中、下方へ向かう方向)に関して、着目行Lの先頭位置から見てx座標の正方向(綴じ部境界線へ向かう方向)に対して予め定めた一定角度(ここでは、角度を直線の傾き(b3/a2)で表しているが、歪みを生じている部分では基本的にページの内側へ文字行の先頭が食い込んでいくのを考慮して、b2/a1<b3/a2とする)の範囲内に抽出する縦書き文字行の先頭が存在すること
2.着目行Lの先頭位置と抽出する縦書き文字行の先頭位置を結ぶ直線の傾き(b4/a2)が、着目行Lの先頭位置と直前の抽出行Kの先頭位置を結ぶ直線の傾き(b5/a3)から一定値αを引いた値よりも大きい。すなわち、“b4/a2>b5/a3−α”を満足すること(基本的には、“b4/a2>b5/a3”で良いが、誤差を考慮して一定値αを導入する。一定値αは予め定めた値である)
すなわち、着目行Lの次の縦書き文字行Mの先頭はこの条件外なので除外することになるが、さらに次の縦書き文字行Nの先頭は条件を満足するので抽出することになる。以下、縦書き文字行Nを新たな着目行として同様の処理を続ける。
【0122】
さて、ここで問題となるのは、歪みを生じていない部分と歪みを生じている部分をいかに識別するかであるが、これは次のように行っている。すなわち、着目行と次の抽出行の先頭のy座標をそれぞれyC,yNとすると、“yN−yC”が一定値(例えば、平均文字行幅の1/4)以上となれば、それ以降を歪みを生じている部分とする。
【0123】
以上の方法により図38から抽出した縦書き文字行を、図41において斜線を施した矩形で囲んで示す。
【0124】
最後に、抽出した縦書き文字行の先頭(もしくは末尾)の位置座標に関する近似曲線多項式を算出する(ステップS205)。抽出した各縦書き文字行の行切り出し矩形の先頭を連結して外形を形成する場合には、図42に示すように、連結する各縦書き文字行の行切り出し矩形の上辺中心点に基づき、抽出した縦書き文字行の先頭の位置座標に関する近似曲線多項式を算出する。また、抽出した各縦書き文字行の行切り出し矩形の末尾を連結して外形を形成する場合には、図42に示すように、連結する各縦書き文字行の行切り出し矩形の下辺中心点に基づき、抽出した縦書き文字行の末尾の位置座標に関する近似曲線多項式を算出する。
【0125】
なお、最後に不適切な縦書き文字行の外形を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような縦書き文字行の外形を排除するものである。不適切な近似曲線形状の例としては、前述した罫線や横書き文字行の場合と同様であって、特に図示しないが、曲線が書籍の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。
【0126】
なお、推定曲線の形状が不適切であるとして縦書き文字行の外形を排除した場合には、歪み補正用の縦書き文字行の外形は無いということになる。
【0127】
以上の処理により、スキャン画像に縦書き文字行の外形が存在すると判断された場合には、左右各ページのいずれの位置に縦書き文字行の外形が存在しているのかという情報とともに縦書き文字行の外形を抽出し、RAM33に一時的に記憶する。
【0128】
なお、以下においては、横書き文字行及び縦書き文字行の外形を文字行として扱うものとする。
【0129】
以上、ステップS41〜S43の処理により、ページ外形/罫線/文字行の抽出処理(ステップS4)が終了する。
【0130】
続くステップS5(図6参照)においては、画像歪み補正処理を実行する。画像歪み補正処理は、図43に示すように、概略的には、歪み補正(伸長)に際しての基準となる線(基準線)としてスキャン画像の上辺(もしくは下辺)の近傍に位置するページ外形/罫線/文字行の何れかを選択する処理(ステップS51:基準線選択処理)、基準線に対応するものであって補正率(伸長率)の算出用の参照線としてスキャン画像の上辺(もしくは下辺)の近傍に位置するページ外形/罫線/文字行の何れかを選択する処理(ステップS52:参照線選択処理)、基準線が罫線や文字行の場合に、基準線より下部の画像情報の欠落を最小限にするための仮想的なページ外形を算出する処理(ステップS53:仮想ページ外形算出処理)、仮想的なページ外形に基づいてスキャン画像に伸長処理を施して主走査方向の歪みを補正する処理(ステップS54:主走査方向歪み補正処理)、補正画像の文字外接矩形に基づいてスキャン画像に伸長処理を施して副走査方向の歪みを補正する処理(ステップS55:副走査方向歪み補正処理)により構成されている。
【0131】
ここで、基準線選択処理(ステップS51)及び参照線選択処理(ステップS52)においては、基準線または参照線として、スキャン画像の上辺(もしくは下辺)の近傍に位置するページ外形/罫線/文字行の何れかを選択することになるが、本実施の形態におけるページ外形、罫線、文字行の選択の優先順位は、
ページ外形>罫線>文字行
とされている。このような選択優先順位にしたのは、文字行はページ外形や罫線に比べて抽出精度が低く、また、画像の外側にあるページ外形を利用する方が精度の高い歪み補正率を得ることができるためである。ただし、本実施の形態においては、ページ外形は一般に左右ページにまたがるが、罫線や文字行は両ページにあるとは限らないので、スキャン画像の上辺または下辺からの基準線選択の優先順位は、下記に示すようになる。
【0132】
1.「ページ外形」(ページ外形は、常に左右両ページに存在する)
2.左右両ページともに「罫線」
3.一方のページが「罫線」、他方のページが「文字行」
4.左右両ページともに「文字行」
5.一方のページのみに「罫線」、他方のページには「手がかりなし」
6.一方のページのみに「文字行」、他方のページには「手がかりなし」
ここで、「手がかりなし」とは、ページ外形、罫線、文字行のいずれも抽出できなかった場合を言う。
【0133】
次に、仮想ページ外形算出処理(ステップS53)及び主走査方向歪み補正処理(ステップS54)の例について、上記優先順位に基づいて順に説明する。
【0134】
1.スキャン画像の上辺及び下辺のいずれにも「ページ外形」が存在する場合
ここでは、スキャン画像の上辺及び下辺のいずれにも「ページ外形」が存在する場合について説明する。図44に示すように、スキャン画像の上辺及び下辺のいずれにも「ページ外形」が存在する場合は、いずれを基準線、参照線にしても構わない。なお、本実施の形態においては、基準線として選択した「ページ外形」、「罫線」、「文字行」は、下辺に位置させるものとする。この場合においては、基準線と仮想ページ外形とは一致していることから、仮想ページ外形算出処理(ステップS53)においては特に処理を実行しなくても良い。
【0135】
次いで、主走査方向歪み補正処理(ステップS54)について説明する。ここで、x0は「ページ外形」の直線部分と曲線部分との境界点である。主走査方向歪み補正処理としては、まず、この境界点x0における基準線と参照線間の距離h0(図45参照)に基づいて歪み補正率を算出する。歪み補正率は、主走査方向に画像を伸長して補正する際に、基準線と参照線との間の距離を副走査方向の全ての位置において等しくさせるためのものである。すなわち、位置xにおける基準線と参照線間の距離をh(図45参照)とした場合には、位置xにおける歪み補正率は、
h0/h
として表すことができる。即ち、歪み補正率とは、主走査方向に画像を伸長して補正する際に、基準線と参照線との間の距離を副走査方向の全ての位置xにおいて等しくなるように、各xに関して算出した値である。
【0136】
次に、実際に補正をする際は、まず、図45に示すように仮想ページ外形(ここでは基準線)が直線(最下辺)になるように、主走査方向に各画素をシフトする。その後、副走査方向の全ての位置xにおいて、画像を主走査方向の上辺側にh0/hで伸長すれば、図45の上辺の「ページ外形」EがREとなるように画像が補正される。
【0137】
2.スキャン画像の上辺及び下辺の何れか一方に「ページ外形」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合
ここでは、スキャン画像の上辺及び下辺の何れか一方に「ページ外形」が存在し、他方の辺ではページ外形が途中で切れているが「罫線」と「文字行」とが存在する場合について説明する。図46に示すように、スキャン画像の上辺及び下辺の何れか一方に「ページ外形」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合は、「ページ外形」を基準線として下辺に位置させ、「文字行」と「罫線」とを参照線とする(図46に示す例では、左ページが「文字行」、右ページが「罫線」である)。この場合においても、基準線と仮想ページ外形とは一致していることから、仮想ページ外形算出処理(ステップS53)においては特に処理を実行しなくても良い。
【0138】
次いで、主走査方向歪み補正処理(ステップS54)について説明する。ここで、x0は「ページ外形」の直線部分と曲線部分との境界点である。主走査方向歪み補正処理としては、まず、この境界点x0における基準線と参照線間の距離h0(図47参照)に基づいて歪み補正率を算出する。位置xにおける基準線と参照線間の距離をh(図47参照)とした場合には、位置xにおける歪み補正率は、
h0/h
として表すことができる。
【0139】
次に、実際に補正をする際は、まず、図47に示すように仮想ページ外形(ここでは基準線)が直線(最下辺)になるように、主走査方向に各画素をシフトする。その後、副走査方向の全ての位置xにおいて、画像を主走査方向の上辺側にh0/hで伸長すれば、図47の右ページでは、上辺の「罫線」LUがRLUとなるように画像が補正される。左ページ上辺の「文字行」についても同様に行う。
【0140】
3.スキャン画像の左右両ページの上辺及び下辺の何れか一方に「罫線」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合
ここでは、スキャン画像の左右両ページの上辺及び下辺の何れか一方に「罫線」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合について説明する。スキャン画像の左右両ページの上辺及び下辺の何れか一方に「罫線」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合は、図48に示すように、左右両ページに「罫線」が存在する側を下辺に位置させ、その2本の「罫線」を基準線とし、他方の辺に位置する「文字行」と「罫線」とを参照線とする(図48に示す例では、左ページが「文字行」、右ページが「罫線」である)。ところで、このように、基準線が「ページ外形」ではない場合は、基準線をそのまま仮想ページ外形と見なしてはならない。なぜなら、両者を一致させた場合、後の主走査方向歪み補正処理において仮想ページ外形(基準線)を最下辺に画素シフトする際、基準線より下方の画像情報が全て欠落してしまうからである。
【0141】
そこで、基準線が「ページ外形」でない場合は、図48において点線で示すような仮想ページ外形VEを求める仮想ページ外形算出処理(ステップS53)を実行する。ここで、x0は下辺の「罫線」LDの直線部分と曲線部分との境界点である。仮想ページ外形算出処理は、境界点x0における「罫線」LDからスキャン画像の最下辺までの距離a0と、境界点x0における「罫線」LDから上辺の「罫線」LUまでの距離b0とに基づいて仮想ページ外形VEを算出するものである。すなわち、「罫線」LD上の位置xから上辺の「罫線」LUまでの距離bが解かれば、
a/b=a0/b0
であることから、「罫線」LD上の位置xから仮想ページ外形VEまでの距離aを算出することができる。したがって、「罫線」LD上の位置から仮想ページ外形VEまでの距離を副走査方向の全ての位置xにおいて算出することにより、仮想ページ外形VEを求めることができる。このような処理は、左右ページについてそれぞれ独立に行われる。
【0142】
次いで、主走査方向歪み補正処理(ステップS54)について説明する。主走査方向歪み補正処理としては、まず、前述した境界点x0における「罫線」LDからスキャン画像の最下辺までの距離a0と、境界点x0における「罫線」LDから上辺の「罫線」LUまでの距離b0とを加算した距離h0(h0=a0+b0)に基づいて歪み補正率を算出する。位置xにおける上辺の「罫線」LUからスキャン画像の最下辺までの距離をh(h=a+b)とした場合には、位置xにおける歪み補正率は、
h0/h
として表すことができる。
【0143】
次に、実際に補正をする際は、まず、図49に示すように仮想ページ外形VEが直線(最下辺)になるように、主走査方向に各画素をシフトする。その後、副走査方向の全ての位置xにおいて、画像を主走査方向の上辺側にh0/hで伸長すれば、図43の右ページでは、上辺の「罫線」LUがRLU(厳密には、xの位置は「罫線」LUの直線部と曲線部との境界には一致しないが、ここでは「罫線」LDの境界をそのまま用いる)となるように画像が補正される。左ページ上辺の「文字行」についても同様に行う。
【0144】
このように、仮想ページ外形VEを利用することで、シフトによる画像の欠落を最小限に抑えることができる。
【0145】
4.スキャン画像の左右両ページの上辺及び下辺の何れか一方に「罫線」と「文字行」とが存在し、他方の辺の一方のページのみに「罫線」が存在する場合
ここでは、スキャン画像の左右両ページの上辺及び下辺の何れか一方に「罫線」と「文字行」とが存在し、他方の辺の一方のページのみに「罫線」が存在する場合について説明する。スキャン画像の左右両ページの上辺及び下辺の何れか一方に「罫線」と「文字行」とが存在し、他方の辺の一方のページのみに「罫線」が存在する場合(他方のページは「手がかりなし」)は、図50に示すように、「罫線」と「文字行」とが存在する側を下辺に位置させ、それらの「罫線」と「文字行」とを基準線とし、他方の辺に位置する「罫線」とスキャン画像を副走査方向に貫く中心線Cとを参照線とする(図50に示す例では、左ページが「罫線」、右ページが「手がかりなし」である)。なお、中心線Cは、スキャン画像の主走査方向の中心を副走査方向に横切る線であり、書籍原稿40の中心線ではない。
【0146】
このように基準線が「ページ外形」でない場合は、前述したように、図50において点線で示すような仮想ページ外形VEを求める仮想ページ外形算出処理(ステップS53)を実行する。ここで、x0は下辺の「罫線」LDの直線部分と曲線部分との境界点である。仮想ページ外形算出処理は、境界点x0における「罫線」LDからスキャン画像の最下辺までの距離a0と、境界点x0における「罫線」LDから中心線Cまでの距離b0とに基づいて仮想ページ外形VEを算出するものである。すなわち、「罫線」LD上の位置xから中心線Cまでの距離bが解かれば、
a/b=a0/b0
であることから、「罫線」LD上の位置xから仮想ページ外形VEまでの距離aを算出することができる。したがって、「罫線」LD上の位置から仮想ページ外形VEまでの距離を副走査方向の全ての位置xにおいて算出することにより、仮想ページ外形VEを求めることができる。このような処理は、左右ページについてそれぞれ独立に行われる。なお、右ページのように上辺に「罫線」が存在する場合については、中心線Cに代えて、前述したように上辺の「罫線」を用いる。
【0147】
次いで、主走査方向歪み補正処理(ステップS54)について説明する。主走査方向歪み補正処理としては、まず、前述した境界点x0における「罫線」LDからスキャン画像の最下辺までの距離a0と、境界点x0における「罫線」LDから中心線Cまでの距離b0とを加算した距離h0(h0=a0+b0)に基づいて歪み補正率を算出する。位置xにおける中心線Cからスキャン画像の最下辺までの距離をh(h=a+b)とした場合には、位置xにおける歪み補正率は、
h0/h
として表すことができる。
【0148】
次に、実際に補正をする際は、まず、図51に示すように仮想ページ外形VEが直線(最下辺)になるように、主走査方向に各画素をシフトする。その後、副走査方向の全ての位置xにおいて、画像を主走査方向の上辺側にh0/hで伸長して補正する。左ページ上辺の「罫線」についても同様に行う。なお、右ページについては、補正によってシフトにより一旦歪んだ中心線Cが元の直線RCに戻るが、Cがスキャナ部1の光軸と一致する場合以外は、画像全体の補正は不完全となる。
【0149】
5.スキャン画像の左右何れかのページの上辺及び下辺の何れか一方に「罫線」が存在し、他方の辺の他方のページのみに「文字行」が存在する場合
ここでは、スキャン画像の左右何れかのページの上辺及び下辺の何れか一方に「罫線」が存在し、他方の辺の他方のページのみに「文字行」が存在する場合について説明する。スキャン画像の左右何れかのページの上辺及び下辺の何れか一方に「罫線」が存在し(他方のページは「手がかりなし」)、他方の辺の他方のページのみに「文字行」が存在する場合(一方のページは「手がかりなし」)は、図52に示すように、「罫線」が存在する側を下辺に位置させ、その「罫線」を基準線とし、「罫線」が存在しない方のページ(「文字行」が存在する方のページ)については、文字行Lを中心線Cを挟んで線対称の位置に移動させた曲線SLを基準線とする。参照線については、「罫線」が存在するページは中心線Cを、「文字行」が存在するページはその「文字行」を、それぞれ参照線とする。
【0150】
なお、歪み補正率の算出や画素シフト、補正(伸長)処理についてはこれまでの例と同様であるため、それらの説明は省略する。
【0151】
最後に、副走査方向歪み補正処理(ステップS55)について説明する。本実施の形態の副走査方向の歪み補正処理は、スキャナ部1(画像読取手段)の固有パラメータ(レンズの焦点面距離、スキャン光軸の位置(アドレス))が未知の場合における副走査方向歪み補正処理であって、副走査方向に隣接する縦成分矩形の中心座標間の距離を算出し、算出した距離の値を利用して副走査方向変倍率を算出するものである。
【0152】
図53は、本実施の形態の副走査方向歪み補正処理の流れを概略的に示すフローチャートである。図53に示すように、ステップS301においては、主走査方向歪み補正されたスキャン画像に基づいて文字の縦成分矩形A(図54参照)を抽出する。ここで、文字認識処理については周知の技術であるので、その説明は省略する。このように文字の縦成分矩形Aを抽出するのは、この文字の縦成分矩形Aの形状の変化を基に、副走査方向の歪みを補正するためである。
【0153】
続いて、図54に示すように、スキャン画像を書籍原稿40のページ綴じ部41に平行な方向の複数の短冊状の領域Zに分割した後(ステップS302)、各短冊領域Zについて、副走査方向に隣接する縦成分矩形Aの中心座標間の距離の平均値を求める(ステップS303:距離検出手段)。
【0154】
なお、短冊領域Zの幅は、第一の実施の形態で述べた標準矩形サイズに基づいて決定される。このように短冊領域Zの幅を標準矩形サイズに基づいて決定するのは、短冊領域Zの幅を文字サイズに関係なく一定の値にしてしまうと、文字サイズが小さい場合に短冊領域Zの幅が大きすぎると、後述する短冊領域毎の副走査方向変倍率の精度が低くなるからである。
【0155】
ここで、副走査方向に隣接する縦成分矩形Aの中心座標間の距離の平均値の求め方について図55を参照しつつ詳述する。
1.図55に示すように、今注目している縦成分矩形A1の中心座標を(X0,Y0)とし、副走査方向に隣接する縦成分矩形A2の中心座標を(X1,Y1)とする。
2.副走査方向での縦成分矩形の中心座標間の距離W(W=X1−X0)を求める。
3.単語間の距離を対象とすると、距離Wの値が大きくなり不安定になってしまう。そこで、距離Wがある一定値以上のものは排除する。
4.縦成分矩形の中心座標間の中点C(C=(X0+X1)/2)を求め、距離Wの中点Cが属する短冊領域Zを求める(図55の例では、中点Cは短冊領域Z1に属する)。
5.各短冊領域Z内の縦成分矩形A間の距離Wの平均値を求める。
【0156】
なお、短冊領域Zの位置の変化に対する縦成分矩形A間の距離Wの平均の変化にフィルタリング処理を施して、短冊領域Zの位置の変化に対する縦成分矩形A間の距離Wの平均の変化がなだらかになるようにしても良い。
【0157】
このようにして各短冊領域内の距離Wの平均値を求めた後、各短冊領域内の距離Wの平均値から、短冊領域毎の副走査方向変倍率を算出する(ステップS304:変倍率算出手段)。副走査方向変倍率は、非歪み領域と歪み領域で縦成分矩形A間の距離を各短冊領域で同じにするものである。本実施の形態においては、ある基準となる短冊領域Zを定め、その基準短冊領域Zの縦成分矩形A間の距離Wの平均を原稿画像全体の基準矩形間距離とし、
(基準矩形間距離)/(各短冊領域の矩形間距離の平均)
の値を、当該短冊領域の副走査方向変倍率とする。なお、全短冊領域の矩形間距離の平均の最大値を基準矩形間距離とすることが好ましい。
【0158】
なお、各短冊領域Zの境界部で副走査方向変倍率が連続的に変化するように副走査方向変倍率を補正するようにしても良い。
【0159】
最後に、スキャン画像に対して、ステップS304で算出した短冊領域毎の副走査方向変倍率に応じて短冊領域Zの短辺方向(副走査方向)の拡大処理を行い、書籍原稿40のページ綴じ部41付近の歪みを補正する(ステップS305)。なお、画像の拡大処理は、例えばコピーの変倍機能として良く使われる3次関数のコンボリューション法等を用いて実行される。
【0160】
以上により副走査方向歪み補正処理(ステップS55)が終了し、図6に示すスキャン画像の歪み補正処理が終了する。ここで、図56は歪みを補正した画像を示す平面図である。以上の処理によれば、図8に示したような書籍原稿40のページ綴じ部41の近傍において生じていたスキャン画像の歪みが、図56に示すように補正されることになる。
【0161】
このように本実施の形態によれば、スキャン画像内の文字サイズに合わせて変更される閾値(第1閾値および第2閾値)を用いて抽出された黒画素ランを基に縦成分矩形が抽出され、縦成分矩形間の主走査方向および副走査方向の距離を基に文字行が抽出される。すなわち、文字サイズに合わせて閾値を変更する(例えば、英文画像のように文字が小さい場合にはランとして登録する時の長さの最小値を小さくする)ことで、確実に縦成分矩形を抽出できるようになり縦成分矩形の抽出漏れが防止されるとともに、このようにして抽出された縦成分矩形を用いることで隣接する文字の接触が防止される。このような縦成分矩形から近似曲線を求めることにより、スキャン画像内の文字サイズに関係なく画像の主走査方向の歪み補正における精度の高精度化を図ることが可能になる。
【0162】
また、文字サイズに応じて縦成分矩形の主走査方向の長さを規定する第3閾値が設定され、縦成分矩形の主走査方向の長さが第3閾値以上の場合、当該縦成分矩形の長さが当該第3閾値の長さに縮められることにより、小さい文字の縦成分矩形を極端に短くすることを防止しつつ主走査方向に矩形が接触するのを防ぐことが可能になるので、複数分の行が一行と誤認識されやすいという事態が回避され、安定した行統合が可能になる。
【0163】
さらに、文字行を抽出する際の主走査方向の統合距離である第4閾値が文字サイズに応じて設定され、第4閾値により規定された文字行を抽出する際の主走査方向の統合距離に従って文字行が抽出される。これにより、英語文のように日本語文に比べて主走査方向の矩形間距離が短くなるような場合には、行抽出時の主走査方向の統合距離である第4閾値を小さくすることで、過剰な行統合を回避することが可能になる。
【0164】
さらにまた、文字サイズに基づいて短冊領域の幅が決定され、この幅に基づいて縦成分矩形の中心座標間の距離の平均が短冊単位で求められ、非歪み領域と歪み領域で矩形間距離が同じになるような副走査方向変倍率が算出される。すなわち、文字サイズに合わせて閾値を変更する(例えば、英文画像のように文字が小さい場合には短冊領域の幅を小さくする)ことで、短冊領域毎の副走査方向変倍率の精度を高精度にすることが可能になる。これにより、スキャン画像内の文字サイズに関係なく画像の副走査方向の歪み補正における精度の高精度化を図ることが可能になる。
【0165】
[第二の実施の形態]
本発明の第二の実施の形態を図57ないし図65に基づいて説明する。なお、前述した第一の実施の形態と同一部分は同一符号で示し説明も省略する。本実施の形態は、前述した第一の実施の形態とは、図43のステップS55における副走査方向の歪み補正処理が異なるものである。本実施の形態は、スキャナ部1(画像読取手段)の固有パラメータ(レンズの焦点面距離、スキャン光軸の位置(アドレス))が未知の場合における副走査方向歪み補正処理である。
【0166】
図57は、固有パラメータが未知の場合における副走査方向歪み補正処理の流れを概略的に示すフローチャートである。図57に示すように、ステップS101においては、主走査方向歪み補正されたスキャン画像に基づいて文字の外接矩形A(図58参照)を抽出する。ここで、文字認識処理については周知の技術であるので、その説明は省略する。このように文字の外接矩形Aを抽出するのは、この文字の外接矩形Aの形状の変化を基に、副走査方向の歪みを補正するためである。ここでは、図58に示すように、文字外接矩形Aの横辺の長さw、縦辺の長さh、および、文字の中心Bを定義する。ここで、文字の中心Bは、外接矩形Aの対角線の交点である。
【0167】
続いて、図59に示すように、スキャン画像を書籍原稿40のページ綴じ部41に平行な方向の複数の短冊状の領域Cに分割した後(ステップS102)、各短冊領域Cについて、そこに含まれる文字外接矩形Aに関する特徴量を求める(ステップS103)。ここで、ある短冊領域Cに含まれる文字外接矩形Aとは、その中心が当該短冊領域Cに含まれるような外接矩形Aのことである。例えば、図59の短冊領域C1に含まれる外接矩形Aは、図中の網掛けを施した矩形である。
【0168】
さて、上記の文字外接矩形Aに関する特徴量は、
(文字の横辺の長さ)/(文字の縦辺の長さ)=w/h
を基に求められる。すなわち、各短冊領域Cについて、そこに含まれる全ての文字外接矩形Aのw/hの値の平均値をその短冊領域Cの特徴量とするのである。
【0169】
しかしながら、単に、w/hの平均値を算出すると不適切な場合がある。文字の中には、句読点や数式中の記号のようにそのサイズが元々小さく、w/hの値が不安定なものがある。また、矩形抽出の際に隣接する文字同士がくっついて抽出されてしまい、wが極端に大きい文字外接矩形Aが生じる場合もある。特徴量を求める場合は、このような特殊な文字や極端にwが大きいものを予め排除しておく必要がある。そこで、続くステップS104においては、予め閾値を定めておいて、hの値がその閾値より小さな文字外接矩形Aを予め排除するとともに、w/hの比率に関する閾値を予め定めておき、w/hの値が其の閾値よりも大きい文字外接矩形Aも予め排除する。例えば、図60中に示した網掛けを施した文字外接矩形Aが予め排除されることになる。
【0170】
続くステップS105においては、前述したように極端な文字外接矩形Aを排除した後に、各短冊領域C内の文字外接矩形Aのw/hの平均値を求める。図61に各短冊領域C内の外接矩形Aのw/hの平均値の一例を示す。なお、図61中の短冊領域C2は、書籍原稿40のページ綴じ部41を含む短冊領域である。
【0171】
続いて、書籍原稿40のページ綴じ部41を含む短冊領域C2に文字外接矩形Aが存在するか否かを判断する(ステップS106)。これは、図60に示すように、一般には書籍原稿40のページ綴じ部41付近には文字外接矩形Aが存在しない場合が多いからである。書籍原稿40のページ綴じ部41を含む短冊領域C2に文字外接矩形Aが存在する場合は(ステップS106のY)、その文字外接矩形Aを利用して特徴量は算出されているのでそのままステップS108に進む。
【0172】
一方、書籍原稿40のページ綴じ部41を含む短冊領域C2に文字外接矩形Aが存在しない場合は(ステップS106のN)、ステップS107に進み、書籍原稿40のページ綴じ部41を含む短冊領域C2の特徴量を求める。なお、書籍原稿40のページ綴じ部41を含む短冊領域C2の識別は、例えば、スキャン画像(例えば、モノクロ多値画像)の地肌濃度変化を各短冊領域Cごとに求め、短冊領域C内の最も濃度の薄い濃度値を求めることにより実現される。図62は地肌濃度変化を求めた一例を示したものであり、地肌濃度が最も濃い短冊領域が、書籍原稿40のページ綴じ部41を含む短冊領域C2であるとみなされる。
【0173】
なお、スキャン画像がカラー多値画像の場合における書籍原稿40のページ綴じ部41を含む短冊領域C2の識別は、例えばRGB成分の何れか一つの成分(例えばG成分)に着目し、そのG成分の地肌濃度を使用して識別するようにすれば良い。また、RGBを色変換して輝度成分と色差成分とに分け、輝度成分を使用して書籍原稿40のページ綴じ部41を含む短冊領域C2を識別するようにしても良い。
【0174】
書籍原稿40のページ綴じ部41を含む短冊領域C2の特徴量は、次のようにして定められる。ここでは、統計的特徴量の算出対象となり得る文字外接矩形Aが存在し、かつ、ページ綴じ部41を含む短冊領域C2の最近傍である短冊領域Cの特徴量に対して予め定めた定数値を乗じることにより算出された値が、書籍原稿40のページ綴じ部41を含む短冊領域C2における特徴量とみなされるものである。つまり、図61に示した例では、書籍原稿40のページ綴じ部41を含む短冊領域C2の左右何れの短冊領域C3,C4にも文字外接矩形Aが存在するので、どちらか適当な方の特徴量を選択し(ここでは右側の○印の方)、それに予め定めた定数値(ここでは0.5)を乗じて、これを書籍原稿40のページ綴じ部41を含む短冊領域C2の特徴量としている。
【0175】
続くステップS108においては、各短冊領域Cの特徴量に対する適切なフィルタリング処理、例えば、短冊領域Cの位置の変化方向(即ち副走査方向)に関する移動平均を求める処理を施すなどして、短冊領域Cの位置の変化に対する(副走査方向の)特徴量の変化がなだらかになるようにする。ただし、ここでも書籍原稿40のページ綴じ部41付近は特別な処理が必要となる。なぜなら、副走査方向に関して長さが全て等しいウィンドウを用いてフィルタリングを行うと、書籍原稿40のページ綴じ部41付近の特徴量の変化の鋭さが失われてしまうからである。
【0176】
ここで、長さが全て5であるウィンドウを用いて図61に示した各短冊領域Cの特徴量に対してフィルタリング処理を施した結果を図63に示す。図63に示すように、長さが全て5であるウィンドウを用いてフィルタリング処理を施した場合には、書籍原稿40のページ綴じ部41付近の特徴量(w/h)の変化がなだらかになり過ぎてしまう。このような場合には、書籍原稿40のページ綴じ部41付近での適切な画像補正が不可能になってしまう。
【0177】
そこで、本実施の形態においては、フィルタリング処理の際には、フィルタのウィンドウが書籍原稿40のページ綴じ部41を含む短冊領域C2の両側の短冊領域C3,C4に跨がらないように、ページ綴じ部41付近でウィンドウ長を調整する。ここで、図64はページ綴じ部41付近でウィンドウ長を調整してフィルタリング処理を施した結果を示すグラフである。図64に示すように、ページ綴じ部41付近でウィンドウ長を調整した場合には、ページ綴じ部41付近の特徴量(w/h)の変化を適切に表現できるので、良好な画像補正が実現できる。
【0178】
続くステップS109においては、各短冊領域Cの推定歪み量を算出する。各短冊領域Cの推定歪み量の算出手法は、以下に示す通りである。
【0179】
まず、短冊領域の歪み量を算出するための基準となる短冊領域(基準短冊領域)を定める。ここでは、歪みが最も小さいと考えられる短冊領域C、例えば、特徴量(w/h)が最大である短冊領域Cを基準短冊領域とする。この処理は左右ページで共通に行っても良いが、左右独立に基準短冊領域を定めても構わない。図64においては、左右独立に基準短冊領域を定めた例を示しており、○印を施した短冊領域Cが基準短冊領域であり、左側の基準特徴量を“Lw0/Lh0”、右側の基準特徴量を“Rw0/Rh0”、でそれぞれ示している。
【0180】
次に、基準短冊領域の特徴量w0/h0をスキャン画像全体の基準特徴量とし、
(各短冊領域の特徴量)/(基準特徴量)=(w/h)/(w0/h0)
の値を、各短冊領域の推定歪み量として算出する。
【0181】
なお、書籍原稿40のページ綴じ部41から外れたページ外側付近の短冊領域Cを基準短冊領域とすると、書籍原稿40のページ綴じ部41付近とはフォントや活字のサイズの違いが大きくて、適切な推定歪み量が算出できない場合も考えられる。そのような画像を対象とする場合は、基準短冊領域の探索範囲を予め書籍原稿40のページ綴じ部41付近に限定しておくのが有効である。これを実現するためには、地肌濃度が予め定めた濃度よりも濃い短冊領域Cのみから基準短冊領域を求めるようにすれば良い。
【0182】
最後に、スキャン画像に対して、短冊領域Cの短辺方向(副走査方向)の拡大処理を行い、書籍原稿40のページ綴じ部41付近の歪みを補正する(ステップS110)。その場合の拡大率は、ステップS109において算出した推定歪み量の逆数、すなわち、
(基準特徴量)/(各短冊領域の特徴量)=(w0/h0)/(w/h)
とする。ここで、上記の基準短冊領域を左右共通に定めた場合には、この拡大率も左右共通の基準特徴量によって算出し、独立に定めた場合には、左右それぞれの基準特徴量で独立に算出するようにする。図65は、図64に示した特徴量に基づいて算出した補正拡大率を示したものである。
【0183】
なお、ここでも、書籍原稿40のページ綴じ部41付近から離れた短冊領域Cはもともと画像の歪みが無い領域である可能性が高いので、拡大処理の対象としない方が良い場合がある。拡大処理を行ったために、かえって不自然な歪みが生じてしまう可能性があるからである。これを防ぐために、地肌濃度が予め定めた濃度よりも薄い短冊領域Cについては、推定歪み量を“1”とする。
【0184】
また、短冊領域C内において共通の補正拡大率を適用した場合、隣接する短冊領域Cの境界部での補正拡大率が不連続となるため、補正画像が不自然となる。そこで、隣接する短冊領域Cの境界部での補正拡大率が連続的に変化するように、補正拡大率を予め補正しておく。これは、例えば図65に示す短冊領域Cの中央部分の補正拡大率を推定歪み量の逆数を示す点としてプロットし、これらの点を線分で結んで直線補完することで、他の部分の補正拡大率とすることで実現できる。以上の処理により、スキャン画像の副走査方向の補正拡大率が確定する。
【0185】
なお、画像の拡大処理は、例えばコピーの変倍機能として良く使われる3次関数のコンボリューション法等を用いて実行される。
【0186】
以上により副走査方向歪み補正処理が終了し、図6に示すスキャン画像の歪み補正処理が終了する。以上の処理によれば、図8に示したような書籍原稿40のページ綴じ部41の近傍において生じていたスキャン画像の歪みが、図56に示すように補正されることになる。
【0187】
[第三の実施の形態]
本発明の第三の実施の形態を図66ないし図69に基づいて説明する。なお、前述した第一の実施の形態と同一部分は同一符号で示し説明も省略する。本実施の形態は、前述した第一の実施の形態とは、図43のステップS55における副走査方向の歪み補正処理が異なるものである。本実施の形態は、スキャナ部1(画像読取手段)の固有パラメータ(レンズの焦点面距離、スキャン光軸の位置(アドレス))が既知の場合における副走査方向歪み補正処理である。
【0188】
スキャンの主走査方向と書籍原稿40のページ綴じ部41の境界線が平行な場合、レンズユニット10等のスキャナーレンズによる書籍原稿40を読み取るとき、結像系は次の特性を持つ。主走査方向は中心投影であり、副走査方向は平射投影である。ここで、これらの特性を利用して、3次元形状復元を行う。
【0189】
中心投影する場合、図66と図67に示すように書籍原稿40の表面はコンタクトガラス2の表面から浮いて結像距離が遠くなり、画像の拡大倍率は小さくなるので、外形エッジの直線はだんだん内側に湾曲していく。図67の縮む量ABを測定すれば、図66に示す浮いた本の表面の高さhを計算できる。従って、直線の内側への歪み量を測定すれば、3次元形状(書籍原稿40のコンタクトガラス2からの浮き上がりの量)を復元できる。
【0190】
ここで、書籍原稿40を水平にコンタクトガラス2上に置くことを仮定する。そうすると、3次元の形状は2次元になる。スキャナーレンズの結像関係を図68に示す。OO´はレンズの光軸であり、0はレンズの中心である。Fはレンズの中心0からスキャナ表面(コンタクトガラス2)までの距離で、これを、スキャナの焦点距離と言う。スキャナ表面上の点Bは結像面でDに結像する。浮いた製本(書籍原稿40)の表面上の点CはEに結像する。それぞれの結像面の中心0との距離はy´とyである(第一走行体5および第二走行体8が副走査方向に移動することによって、中心0も移動するが、その軌跡を結像中心線と呼ぶことにする)。三角形の相似関係により次の関係式(6),(7)が得られる。
h/F=AB/AO´ ・・・(6)
AB/AO´=(y´−y)/y ・・・(7)
また、式(6),(7)により、書籍原稿40の浮き上がりの量hが次式(8)により得られる。
h=F×((y´−y)/y) ・・・(8)
この式(8)により2次元の歪み量から3次元形状が求められることがわかる。ここで、歪み量(y´−y)と距離yは画像から求められるが、本実施の形態では、これを文字行あるいは罫線の直線成分と曲線部分との距離から求めるものである。レンズの焦点距離Fはスキャナ部1によって定まる既知量であり、スキャナ部1の設定値かレンズの校正値を用いる。
【0191】
したがって、スキャナ部1(画像読取手段)の固有パラメータ(レンズの焦点面距離、スキャン光軸の位置(アドレス))が既知の場合には、ページ外形/罫線/文字行の湾曲の度合いから書籍表面のスキャン面からの浮きの高さhを求め、図69に示すように、副走査方向の1画素分をm倍に伸張して継ぎ足すことにより、副走査方向の歪みを補正することができる。
【0192】
以上により副走査方向歪み補正処理が終了し、図6に示すスキャン画像の歪み補正処理が終了する。以上の処理によれば、図8に示したような書籍原稿40のページ綴じ部41の近傍において生じていたスキャン画像の歪みが、図56に示すように補正されることになる。
【0193】
なお、各実施の形態においては、画像読取装置としてデジタル複写機のスキャナ部1を適用したが、これに限るものではなく、例えば自動ページ捲り機能を搭載したスキャナ等に適用するようにしても良い。
【0194】
また、各実施の形態においては、書籍原稿40のページ綴じ部41とスキャナ部1の画像読み取りの主走査方向とが平行になるように位置させて書籍原稿40をコンタクトガラス2上に下向きに載置した場合について説明したが、これに限るものではない。例えば、図70に示すように、上向きの書籍原稿40をコンタクトガラス2の下方からコンタクトガラス2に対して押し付けるように接触させるものであっても良い。
【0195】
さらに、各実施の形態においては、画像歪み補正装置を画像形成装置であるデジタル複写機16に備え、デジタル複写機16のスキャナ部1で読み取ったスキャン画像に対して画像の歪み補正処理を施すようにしたが、これに限るものではない。例えば、原稿画像を読み取る画像読取手段を備えたイメージスキャナをパーソナルコンピュータに接続するとともに、このパーソナルコンピュータのHDDに記憶媒体であるCD−ROM37に格納されたプログラムをインストールすることによって画像歪み補正装置を構成しても、前述したような各種の作用効果と同様の作用効果を得ることができる。また、記憶媒体であるCD−ROM37に格納されたプログラムをパーソナルコンピュータのHDDにインストールすることによって画像歪み補正装置を構成し、予め画像読取手段により読み取られたスキャン画像に対して歪み補正処理を施すようにしても良い。
【図面の簡単な説明】
【0196】
【図1】本発明の第一の実施の形態のスキャナ部の構成を示す縦断正面図である。
【図2】スキャナ部を搭載したデジタル複写機の上部部分を示す斜視図である。
【図3】スキャナ部の制御系の電気的な接続を示すブロック図である。
【図4】画像処理部の基本的な内部構成を示すブロック図である。
【図5】メイン制御部の電気的な接続を示すブロック図である。
【図6】スキャン画像の歪み補正処理の流れを概略的に示すフローチャートである。
【図7】スキャナ部のコンタクトガラス上に書籍原稿を載置した状態を示す斜視図である。
【図8】入力した画像の一例を示す平面図である。
【図9】スキャン画像のページ綴じ部の近傍の歪みを示す説明図である。
【図10】図8に示した画像の黒画素ヒストグラムである。
【図11】ページ外形/罫線/文字行の抽出処理の流れを概略的に示すフローチャートである。
【図12】上端にページ外形が存在するスキャン画像の一例を示す説明図である。
【図13】図12に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。
【図14】長い罫線が存在するスキャン画像の一例を示す説明図である。
【図15】2値化した画像に矩形抽出を施した結果を示す説明図である。
【図16】罫線がノイズと接触している場合を示す説明図である。
【図17】表が含まれる画像を示す説明図である。
【図18】一定値未満のランのみを登録し矩形を抽出した結果を示す説明図である。
【図19】副走査方向に矩形が細切れに抽出されてしまう場合を示す説明図である。
【図20】矩形統合を施した例を示す説明図である。
【図21】矩形抽出を行った結果を示す説明図である。
【図22】図8に示した画像の副走査方向の黒白反転数ヒストグラムである。
【図23】図8に示した画像の主走査方向の黒白反転数ヒストグラムである。
【図24】標準矩形サイズの算出を行うための領域を示す説明図である。
【図25】必要な指定領域内の文字の外接矩形を示す説明図である。
【図26】文字の外接矩形の主走査方向における距離を求める手法を示す説明図である。
【図27】横書き文字行候補の検出の結果の一例を示す説明図である。
【図28】縦成分矩形を縮める手法を示す説明図である。
【図29】縦成分矩形を主走査方向に縮める長さの閾値の計算結果の一例を示すグラフである。
【図30】縦成分矩形を縮めた横書き文字行候補の検出の結果の一例を示す説明図である。
【図31】主走査方向間に隣接する矩形の行統合を示す説明図である。
【図32】(a)は縦成分矩形による近似曲線の生成を示す説明図、(b)は行を拡大して示す説明図である。
【図33】矩形抽出を行った結果を示す説明図である。
【図34】ページ外形に歪みを生じている部分がまだらに読み取られているような場合に、この部分を横書き文字行として認識する場合を示す説明図である。
【図35】各縦書き文字行からの横書き文字行の抽出処理の流れを概略的に示すフローチャートである。
【図36】抽出した行切り出し矩形を例示的に示す説明図である。
【図37】予め定めた距離範囲内に先頭が存在する縦書き文字行を例示的に示す説明図である。
【図38】抽出した縦書き文字行の先頭のy座標に関してヒストグラムを構成する状態を示す説明図である。
【図39】画像の歪みを生じていない部分における処理を示す説明図である。
【図40】画像の歪みを生じている部分における処理を示す説明図である。
【図41】抽出した縦書き文字行を示す説明図である。
【図42】縦書き文字行の行切り出し矩形を示す説明図である。
【図43】画像歪み補正処理の流れを概略的に示すフローチャートである。
【図44】スキャン画像の上辺及び下辺のいずれにも「ページ外形」が存在する場合を示す説明図である。
【図45】図44を画素シフトした状態を示す説明図である。
【図46】スキャン画像の上辺及び下辺の何れか一方に「ページ外形」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合を示す説明図である。
【図47】図46を画素シフトした状態を示す説明図である。
【図48】スキャン画像の左右両ページの上辺及び下辺の何れか一方に「罫線」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合を示す説明図である。
【図49】図48を画素シフトした状態を示す説明図である。
【図50】スキャン画像の左右両ページの上辺及び下辺の何れか一方に「罫線」と「文字行」とが存在し、他方の辺の一方のページのみに「罫線」が存在する場合を示す説明図である。
【図51】図50を画素シフトした状態を示す説明図である。
【図52】スキャン画像の左右何れかのページの上辺及び下辺の何れか一方に「罫線」が存在し、他方の辺の他方のページのみに「文字行」が存在する場合を示す説明図である。
【図53】副走査方向歪み補正処理の流れを概略的に示すフローチャートである。
【図54】書籍原稿のページ綴じ部に平行な方向の複数の短冊状の領域に分割した状態を示す説明図である。
【図55】副走査方向に隣接する縦成分矩形の中心座標間の距離の算出を示す説明図である。
【図56】歪みを補正した画像を示す平面図である。
【図57】本発明の第二の実施の形態の副走査方向歪み補正処理の流れを概略的に示すフローチャートである。
【図58】抽出された文字外接矩形を示す説明図である。
【図59】二値化画像を書籍原稿のページ綴じ部に平行な方向の複数の短冊状の領域に分割した状態を示す説明図である。
【図60】予め排除される文字外接矩形を示す説明図である。
【図61】各短冊領域内の外接矩形の特徴量の平均値の一例を示すグラフである。
【図62】各短冊領域内の地肌濃度変化の一例を示すグラフである。
【図63】図61に示した各短冊領域の特徴量に対して長さが全て5であるウィンドウを用いてフィルタリング処理を施した結果を示すグラフである。
【図64】図61に示した各短冊領域の特徴量に対してページ綴じ部付近でウィンドウ長を調整してフィルタリング処理を施した結果を示すグラフである。
【図65】図64に示した特徴量に基づいて算出した補正拡大率を示すグラフである。
【図66】本発明の第三の実施の形態の副走査方向歪み補正処理の説明のために本の表面の浮いた高さを示す説明図である。
【図67】画像が縮む量を示す説明図である。
【図68】スキャナーレンズの結像関係を示す説明図である。
【図69】固有パラメータが既知の場合における副走査方向歪み補正処理を示す説明図である。
【図70】コンタクトガラスに書籍原稿を接触させた状態を示す正面図である。
【図71】コンタクトガラス上に書籍原稿を載置した状態を示す正面図である。
【図72】文字単位の矩形抽出を示し、(a)は日本語の矩形抽出、(b)は英文の矩形抽出を示す説明図である。
【図73】複数分の行が一行と誤認識される場合を示す説明図である。
【図74】文字単位のアスペクト比を示し、(a)は日本語のアスペクト比、(b)は英語のアスペクト比を示す説明図である。
【符号の説明】
【0197】
1 画像読取装置
16 画像形成装置
19 画像歪み補正装置
37 記憶媒体
40 書籍原稿
41 ページ綴じ部
【技術分野】
【0001】
本発明は、書籍原稿画像を画像読取手段により読み取ったスキャン画像の歪みを補正する画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体に関する。
【背景技術】
【0002】
フラットベッドスキャナを用いて読み取る原稿の多くはシート状の原稿であり、コンタクトガラス上に開閉自在の圧板を設け、コンタクトガラス上に原稿を載置した後に圧板を閉じて原稿をスキャンするようにしている。しかし、原稿としてはシート状のものに限られず、書籍原稿(本、冊子など)も原稿として扱われることがあり、そのような場合にもコンタクトガラス上に書籍原稿を載置し、原稿をスキャンすることになる。
【0003】
ところが、原稿として書籍原稿を用いた場合には、図71に示すように、書籍原稿100のページ綴じ部101がコンタクトガラス102から浮き上がってしまう。このように書籍原稿100のページ綴じ部101がコンタクトガラス102から浮き上がってしまった場合には、ページ綴じ部101が焦点面から離れてしまうため、浮き上がった部分のスキャン画像には、画像歪み、影、文字ぼけなどの画像劣化が発生する。劣化した画像のページ綴じ部101は読みにくく、OCRにより文字認識処理を行うときの認識率が著しく低下する。特に、厚手製本ではその割合が高く、また、書籍原稿100のページ綴じ部101を焦点面から離れないように加圧作業した場合には、書籍原稿100自体を破損してしまうこともある。
【0004】
このような問題を解決すべく、画像の濃度情報から物体の3次元形状を推定する方法を用いて、画像の歪みを補正する方法が提案されている。このような画像の濃度情報から物体の3次元形状を推定する方法としては、非特許文献1に記載されているShape from Shadingと呼ばれる方法が代表的な例である。
【0005】
また、特許文献1には、三角測量方式により書籍の形状を測定し、歪みを補正する方法が提案されている。
【0006】
さらに、特許文献2には、読み取りスキャン画像のページ外形の形状を用いて書籍表面の3次元形状を推定する方法が提案されている。
【0007】
しかしながら、前述したShape from Shadingと呼ばれる方法によれば、計算量が多く、歪み補正処理の計算時間が長いので、実用化は困難である。
【0008】
また、特許文献1に記載されている方法によれば、三角測量方式により書籍の形状を測定するための特別な形状計測装置が必要になるため、適当ではない。
【0009】
さらに、特許文献2に記載されている方法によれば、少ない計算量で歪み補正ができるが、ページ外形が画像中に完全に収まりきれずに途中で切れているような場合には有効な補正ができない。
【0010】
そこで、本出願人は、ページ外形が途中で切れているような読み取りスキャン画像であっても、その歪みを少ない計算量で有効に補正することができる画像歪み補正装置を特願2002-247643にて提案している。特願2002-247643によれば、ページ外形だけではなく文字行情報および罫線情報を用いて画像の歪みを補正し、しかも、スキャナ(画像読取手段)の固有パラメータ(レンズの焦点面距離、スキャン光軸の位置(アドレス))を利用していないので、任意のスキャナの出力画像を補正できる。
【0011】
【非特許文献1】T. Wada, H. Uchida and T. Matsuyama, “Shape from Shading with Interreflections under a Proximal Light Source: Distortion-Free Copying of an Unfolded Book”, International Journal Computer Vision 24(2), 125-135(1997)
【特許文献1】特開平5-161002号公報
【特許文献2】特開平11-41455号公報
【発明の開示】
【発明が解決しようとする課題】
【0012】
しかしながら、上述したようなページ外形が途中で切れているような読み取りスキャン画像であっても、その歪みを少ない計算量で有効に補正することができる画像歪み補正装置によれば、ページ外形ではなく、文字行情報および罫線情報を用いて画像の歪みを補正するようにしているが、まだ、完全とはいえず、解決されねばならない課題が存在する。
【0013】
例えば、歪み補正するための手がかりとして文字行を利用する従来方式では、文字単位の矩形を抽出し、それらの矩形から主走査方向の補正では近似曲線を求めている。ところが、図72に示すように、英文画像では、日本語で書かれた画像と異なりアルファベット文字で書かれているために文字のアスペクト比がさまざまであり、また、文字間の間隔が狭くなる場合もある。そのため、英文画像に対して矩形抽出を行うと、水平方向に隣接する文字同士が複数個接触し一つの矩形として抽出されてしまう場合がある。このように文字同士が複数個接触し一つの矩形として抽出された矩形を基に歪み補正を行うと、主走査方向の歪み補正に悪影響を及ぼすことがある。
【0014】
より詳細には、主走査方向の歪み補正では、矩形抽出後、行統合して、行内の矩形から近似曲線を生成し、それを基に補正を行っている。そこで、文字同士が接触した矩形から行を生成しようとすると、図73に示すように、複数分の行が一行と誤認識されやすく不適切な行が生成されることがある。そして、行統合した一行内にある実際に存在する文字数よりも矩形数が減る。そのため、一行内にある矩形の中心座標を基に生成される近似曲線は、不安定となってしまう問題点がある。
【0015】
また、例えば、歪み補正するための手がかりとして文字行を利用する従来方式では、文字単位の矩形を抽出し、副走査方向の補正では矩形の縦横比(アスペクト比)から副走査方向変倍率を算出し補正を行っている。しかしながら、図74に示すように、英文画像では、日本語で書かれた画像と異なりアルファベット文字で書かれているために文字のアスペクト比がさまざまであるため、副走査方向の歪み補正に悪影響を及ぼすことがある。
【0016】
より詳細には、副走査方向の歪み補正では、矩形抽出後、文字外接矩形に関して、アスペクト比、即ち(文字の横辺の長さ)/(文字の縦辺の長さ)を利用する。歪んだ画像では、歪み領域と非歪み領域でこのアスペクト比が異なる。例えば、非歪み領域で、アスペクト比が1である矩形は、歪み領域では、一般に1以下の値となる。ここで、副走査方向の補正方式はまず、画像をページ綴じ部に平行な複数の短冊領域に分割する。そして、各短冊領域について、そこに含まれる文字外接矩形のアスペクト比の平均を求め、その算出したアスペクト比の平均を基に副走査方向変倍率を決定する。ところが、図74(a)に示すように日本語で書かれた画像に関してはアスペクト比が1に近い文字が多いため、副走査方向の補正の精度は良好であったが、英語で書かれた画像に関しては問題が生じる。英文画像は、矩形抽出の際に文字同士が接触する矩形が多いことと、図74(b)に示すようにアルファベット文字のアスペクト比にもともとばらつきがあるため、文字外接矩形のアスペクト比から副走査方向変倍率を算出すると不適切な値になってしまうという問題点がある。
【0017】
本発明は、スキャン画像内の文字サイズに関係なく画像の主走査方向の歪み補正における精度の高精度化を図ることができる画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体を提供することを目的とする。
【0018】
本発明は、スキャン画像内の文字サイズに関係なく画像の副走査方向の歪み補正における精度の高精度化を図ることができる画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【0019】
請求項1記載の発明の画像歪み補正装置は、画像読取手段の主走査方向に対してページ綴じ部がほぼ平行となるようにスキャン面の上もしくは下に接触した書籍原稿画像を前記画像読取手段により読み取ったスキャン画像の歪みを当該スキャン画像内の文字行の形状を基に補正する画像歪み補正装置において、前記スキャン画像内の文字のサイズを算出するサイズ算出手段と、算出した文字サイズに応じ、黒画素ランの抽出に用いる閾値を設定する第1の閾値設定手段と、前記スキャン画像から主走査方向に前記閾値の数の黒画素が連結する黒画素ランのみを抽出するラン抽出手段と、抽出した黒画素ランを基に縦成分のみの矩形を縦成分矩形として抽出する縦成分矩形抽出手段と、抽出した縦成分矩形間の主走査方向および副走査方向の距離を基に文字行を抽出する文字行抽出手段と、抽出した文字行の中から、前記スキャン画像の歪み補正に利用するための文字行を決定する文字行決定手段と、決定した文字行中に存在する各縦成分矩形を基に近似曲線を算出する近似曲線算出手段と、を備える。
【0020】
したがって、スキャン画像内の文字サイズに合わせて変更される閾値を用いて抽出された黒画素ランを基に縦成分矩形が抽出され、縦成分矩形間の主走査方向および副走査方向の距離を基に文字行が抽出される。すなわち、文字サイズに合わせて閾値を変更する(例えば、英文画像のように文字が小さい場合にはランとして登録する時の長さの最小値を小さくする)ことで、確実に縦成分矩形を抽出できるようになり縦成分矩形の抽出漏れが防止されるとともに、このようにして抽出された縦成分矩形を用いることで隣接する文字の接触が防止される。このような縦成分矩形から近似曲線を求めることにより、スキャン画像内の文字サイズに関係なく画像の主走査方向の歪み補正における精度の高精度化を図ることが可能になる。
【0021】
請求項2記載の発明は、請求項1記載の画像歪み補正装置において、前記サイズ算出手段により算出した文字サイズに応じ、縦成分矩形の主走査方向の長さを規定する第3閾値を設定する第2の閾値設定手段と、前記縦成分矩形抽出手段により抽出した縦成分矩形の主走査方向の長さが前記第3閾値以上の場合、当該縦成分矩形の長さを当該第3閾値の長さに縮める縮小手段と、を備える。
【0022】
したがって、文字サイズに応じて縦成分矩形の主走査方向の長さを規定する第3閾値が設定され、縦成分矩形の主走査方向の長さが第3閾値以上の場合、当該縦成分矩形の長さが当該第3閾値の長さに縮められることにより、小さい文字の縦成分矩形を極端に短くすることを防止しつつ主走査方向に矩形が接触するのを防ぐことが可能になるので、複数分の行が一行と誤認識されやすいという事態が回避され、安定した行統合が可能になる。
【0023】
請求項3記載の発明は、請求項1または2記載の画像歪み補正装置において、前記サイズ算出手段により算出した文字サイズに応じ、前記文字行抽出手段における文字行を抽出する際の主走査方向の統合距離である第4閾値を設定する第3の閾値設定手段を備え、前記文字行抽出手段は、前記第4閾値により規定された文字行を抽出する際の主走査方向の統合距離に従って文字行を抽出する。
【0024】
したがって、文字行を抽出する際の主走査方向の統合距離である第4閾値が文字サイズに応じて設定され、第4閾値により規定された文字行を抽出する際の主走査方向の統合距離に従って文字行が抽出される。これにより、英語文のように日本語文に比べて主走査方向の矩形間距離が短くなるような場合には、行抽出時の主走査方向の統合距離である第4閾値を小さくすることで、過剰な行統合を回避することが可能になる。
【0025】
なお、スキャン画像内の文字のサイズを算出するサイズ算出手段においては、請求項4記載の発明のように、前記スキャン画像中に前記文字サイズの算出を行うための領域を指定し、この指定領域内における標準的な文字の外接矩形を抽出し、抽出した文字の外接矩形の主走査方向における距離を前記文字サイズとして算出する。そして、前記スキャン画像のページ綴じ部を境にした左右両側に前記文字サイズの算出を行うための領域を指定した場合には、請求項5記載の発明のように、指定領域の何れかで前記文字サイズが算出されなかった場合、前記文字サイズが算出された側の前記文字サイズを採用し、請求項6記載の発明のように、指定領域の両方で前記文字サイズが算出されなかった場合、予め定められた一定の値を前記文字サイズとし、請求項7記載の発明のように、指定領域の両方で算出された前記文字サイズを比較し、小さい方の前記文字サイズを両方の前記文字サイズとして採用する。
【0026】
また、抽出した文字行の中から、前記スキャン画像の歪み補正に利用するための文字行を決定する文字行決定手段においては、請求項8記載の発明のように、ページ綴じ部付近まで最も食い込んでいる矩形に包摂される罫線を前記スキャン画像の歪み補正に利用するための罫線と決定し、または、請求項9記載の発明のように、副走査方向の長さが最も長い矩形に包摂される罫線を前記スキャン画像の歪み補正に利用するための罫線と決定し、もしくは、請求項10記載の発明のように、前記スキャン画像のページ外形に最も近い矩形に包摂される罫線を前記スキャン画像の歪み補正に利用するための罫線と決定する。また、請求項11記載の発明のように、前記スキャン画像の歪み補正に利用するための罫線を、ページ綴じ部付近まで最も食い込んでいる矩形に包摂される罫線、副走査方向の長さが最も長い矩形に包摂される罫線、前記スキャン画像のページ外形に最も近い矩形に包摂される罫線の順に決定するようにしても良い。
【0027】
請求項12記載の発明は、請求項1ないし11のいずれか一記載の画像歪み補正装置において、主走査方向の歪み補正後の各文字行内にて隣接する縦成分矩形の中心座標間の副走査方向の距離を矩形間距離として検出する距離検出手段と、主走査方向の歪み補正後の画像を主走査方向に平行な方向を長辺とする短冊状の複数の領域に分割し、各短冊領域内での矩形間距離の平均を基に非歪み領域と歪み領域で矩形間距離が同じになるような前記スキャン画像の短冊領域毎の副走査方向変倍率を算出する変倍率算出手段と、を備え、前記短冊領域の幅は、前記サイズ算出手段により算出した文字サイズに基づいて決定される。
【0028】
したがって、文字サイズに基づいて短冊領域の幅が決定され、この幅に基づいて縦成分矩形の中心座標間の距離の平均が短冊単位で求められ、非歪み領域と歪み領域で矩形間距離が同じになるような副走査方向変倍率が算出される。すなわち、文字サイズに合わせて閾値を変更する(例えば、英文画像のように文字が小さい場合には短冊領域の幅を小さくする)ことで、短冊領域毎の副走査方向変倍率の精度を高精度にすることが可能になる。これにより、スキャン画像内の文字サイズに関係なく画像の副走査方向の歪み補正における精度の高精度化を図ることが可能になる。
【0029】
請求項13記載の発明の画像読取装置は、原稿画像を読み取る画像読取手段と、この画像読取手段により読み取られたスキャン画像の補正を行う請求項1ないし12のいずれか一記載の画像歪み補正装置と、を備える。
【0030】
したがって、請求項1ないし12のいずれか一記載の発明と同様の作用を奏する画像読取装置が得られる。
【0031】
請求項14記載の発明の画像形成装置は、原稿画像を読み取る画像読取手段と、この画像読取手段により読み取られたスキャン画像の補正を行う請求項1ないし12のいずれか一記載の画像歪み補正装置と、この画像歪み補正装置から出力される画像データに基づいた画像を用紙上に印刷する画像印刷装置と、を備える。
【0032】
したがって、請求項1ないし12のいずれか一記載の発明と同様の作用を奏する画像形成装置が得られる。
【0033】
請求項15記載の発明のプログラムは、画像読取手段の主走査方向に対してページ綴じ部がほぼ平行となるようにスキャン面の上もしくは下に接触した書籍原稿画像を前記画像読取手段により読み取ったスキャン画像の歪みを当該スキャン画像内の文字行の形状を基に補正する処理をコンピュータに実行させるプログラムであって、前記コンピュータに、前記スキャン画像内の文字のサイズを算出するサイズ算出機能と、算出した文字サイズに応じ、黒画素ランの抽出に用いる閾値を設定する第1の閾値設定機能と、前記スキャン画像から主走査方向に前記閾値の数の黒画素が連結する黒画素ランのみを抽出するラン抽出機能と、抽出した黒画素ランを基に縦成分のみの矩形を縦成分矩形として抽出する縦成分矩形抽出機能と、抽出した縦成分矩形間の主走査方向および副走査方向の距離を基に文字行を抽出する文字行抽出機能と、抽出した文字行の中から、前記スキャン画像の歪み補正に利用するための文字行を決定する文字行決定機能と、決定した文字行中に存在する各縦成分矩形を基に近似曲線を算出する近似曲線算出機能と、を実行させる。
【0034】
したがって、スキャン画像内の文字サイズに合わせて変更される閾値を用いて抽出された黒画素ランを基に縦成分矩形が抽出され、縦成分矩形間の主走査方向および副走査方向の距離を基に文字行が抽出される。すなわち、文字サイズに合わせて閾値を変更する(例えば、英文画像のように文字が小さい場合にはランとして登録する時の長さの最小値を小さくする)ことで、確実に縦成分矩形を抽出できるようになり縦成分矩形の抽出漏れが防止されるとともに、このようにして抽出された縦成分矩形を用いることで隣接する文字の接触が防止される。このような縦成分矩形から近似曲線を求めることにより、スキャン画像内の文字サイズに関係なく画像の主走査方向の歪み補正における精度の高精度化を図ることが可能になる。
【0035】
請求項16記載の発明は、請求項15記載のプログラムにおいて、前記サイズ算出機能により算出した文字サイズに応じ、縦成分矩形の主走査方向の長さを規定する第3閾値を設定する第2の閾値設定機能と、前記縦成分矩形抽出機能により抽出した縦成分矩形の主走査方向の長さが前記第3閾値以上の場合、当該縦成分矩形の長さを当該第3閾値の長さに縮める縮小機能と、を前記コンピュータに実行させる。
【0036】
したがって、文字サイズに応じて縦成分矩形の主走査方向の長さを規定する第3閾値が設定され、縦成分矩形の主走査方向の長さが第3閾値以上の場合、当該縦成分矩形の長さが当該第3閾値の長さに縮められることにより、小さい文字の縦成分矩形を極端に短くすることを防止しつつ主走査方向に矩形が接触するのを防ぐことが可能になるので、複数分の行が一行と誤認識されやすいという事態が回避され、安定した行統合が可能になる。
【0037】
請求項17記載の発明は、請求項15または16記載のプログラムにおいて、前記サイズ算出機能により算出した文字サイズに応じ、前記文字行抽出機能における文字行を抽出する際の主走査方向の統合距離である第4閾値を設定する第3の閾値設定機能を前記コンピュータに実行させ、前記文字行抽出機能は、前記第4閾値により規定された文字行を抽出する際の主走査方向の統合距離に従って文字行を抽出する。
【0038】
したがって、文字行を抽出する際の主走査方向の統合距離である第4閾値が文字サイズに応じて設定され、第4閾値により規定された文字行を抽出する際の主走査方向の統合距離に従って文字行が抽出される。これにより、英語文のように日本語文に比べて主走査方向の矩形間距離が短くなるような場合には、行抽出時の主走査方向の統合距離である第4閾値を小さくすることで、過剰な行統合を回避することが可能になる。
【0039】
なお、スキャン画像内の文字のサイズを算出するサイズ算出手段においては、請求項18記載の発明のように、前記スキャン画像中に前記文字サイズの算出を行うための領域を指定し、この指定領域内における標準的な文字の外接矩形を抽出し、抽出した文字の外接矩形の主走査方向における距離を前記文字サイズとして算出する。そして、前記スキャン画像のページ綴じ部を境にした左右両側に前記文字サイズの算出を行うための領域を指定した場合には、請求項19記載の発明のように、指定領域の何れかで前記文字サイズが算出されなかった場合、前記文字サイズが算出された側の前記文字サイズを採用し、請求項20記載の発明のように、指定領域の両方で前記文字サイズが算出されなかった場合、予め定められた一定の値を前記文字サイズとし、請求項21記載の発明のように、指定領域の両方で算出された前記文字サイズを比較し、小さい方の前記文字サイズを両方の前記文字サイズとして採用する。
【0040】
また、抽出した文字行の中から、前記スキャン画像の歪み補正に利用するための文字行を決定する文字行決定機能においては、請求項22記載の発明のように、ページ綴じ部付近まで最も食い込んでいる矩形に包摂される罫線を前記スキャン画像の歪み補正に利用するための罫線と決定し、または、請求項23記載の発明のように、副走査方向の長さが最も長い矩形に包摂される罫線を前記スキャン画像の歪み補正に利用するための罫線と決定し、もしくは、請求項24記載の発明のように、前記スキャン画像のページ外形に最も近い矩形に包摂される罫線を前記スキャン画像の歪み補正に利用するための罫線と決定する。また、請求項25記載の発明のように、前記スキャン画像の歪み補正に利用するための罫線を、ページ綴じ部付近まで最も食い込んでいる矩形に包摂される罫線、副走査方向の長さが最も長い矩形に包摂される罫線、前記スキャン画像のページ外形に最も近い矩形に包摂される罫線の順に決定するようにしても良い。
【0041】
請求項26記載の発明は、請求項15ないし25のいずれか一記載のプログラムにおいて、主走査方向の歪み補正後の各文字行内にて隣接する縦成分矩形の中心座標間の副走査方向の距離を矩形間距離として検出する距離検出機能と、主走査方向の歪み補正後の画像を主走査方向に平行な方向を長辺とする短冊状の複数の領域に分割し、各短冊領域内での矩形間距離の平均を基に非歪み領域と歪み領域で矩形間距離が同じになるような前記スキャン画像の短冊領域毎の副走査方向変倍率を算出する変倍率算出機能と、を前記コンピュータに実行させ、前記短冊領域の幅は、前記サイズ算出手段により算出した文字サイズに基づいて決定される。
【0042】
したがって、文字サイズに基づいて短冊領域の幅が決定され、この幅に基づいて縦成分矩形の中心座標間の距離の平均が短冊単位で求められ、非歪み領域と歪み領域で矩形間距離が同じになるような副走査方向変倍率が算出される。すなわち、文字サイズに合わせて閾値を変更する(例えば、英文画像のように文字が小さい場合には短冊領域の幅を小さくする)ことで、短冊領域毎の副走査方向変倍率の精度を高精度にすることが可能になる。これにより、スキャン画像内の文字サイズに関係なく画像の副走査方向の歪み補正における精度の高精度化を図ることが可能になる。
【0043】
請求項27記載の発明の記憶媒体は、請求項15ないし26のいずれか一記載のプログラムを記憶する。
【0044】
したがって、請求項15ないし26のいずれか一記載のプログラムを有体物の形態で取り扱うことが可能となる。
【発明の効果】
【0045】
本発明によれば、スキャン画像内の文字サイズに合わせて変更される閾値を用いて抽出された黒画素ランを基に縦成分矩形を抽出し、縦成分矩形間の主走査方向および副走査方向の距離を基に文字行を抽出する。すなわち、文字サイズに合わせて閾値を変更する(例えば、英文画像のように文字が小さい場合にはランとして登録する時の長さの最小値を小さくする)ことで、確実に縦成分矩形を抽出できるようになり縦成分矩形の抽出漏れを防止するとともに、このようにして抽出された縦成分矩形を用いることで隣接する文字の接触を防止する。このような縦成分矩形から近似曲線を求めることにより、スキャン画像内の文字サイズに関係なく画像の主走査方向の歪み補正における精度の高精度化を図ることができる。
【0046】
本発明によれば、文字サイズに基づいて短冊領域の幅を決定し、この幅に基づいて縦成分矩形の中心座標間の距離の平均を短冊単位で求め、非歪み領域と歪み領域で矩形間距離が同じになるような副走査方向変倍率を算出する。すなわち、文字サイズに合わせて閾値を変更する(例えば、英文画像のように文字が小さい場合には短冊領域の幅を小さくする)ことで、短冊領域毎の副走査方向変倍率の精度を高精度にすることができるので、スキャン画像内の文字サイズに関係なく画像の副走査方向の歪み補正における精度の高精度化を図ることができる。
【発明を実施するための最良の形態】
【0047】
[第一の実施の形態]
本発明の第一の実施の形態を図1ないし図56に基づいて説明する。本実施の形態の画像歪み補正装置は画像形成装置であるデジタル複写機に備えられており、画像読取装置としてはデジタル複写機のスキャナ部が適用されている。
【0048】
ここで、図1はスキャナ部1の構成を示す縦断正面図である。図1に示すように、スキャナ部1は、原稿を載置するコンタクトガラス2と、原稿の露光用の露光ランプ3および第一反射ミラー4からなる第一走行体5と、第二反射ミラー6および第三反射ミラー7からなる第二走行体8と、原稿の画像を読み取る撮像素子としてのCCD(Charge Coupled Device)9と、このCCD9に結像させるためのレンズユニット10と、原稿を載置する基準になるとともにコンタクトガラス2のズレや外れを防止する原稿スケール11と、この原稿スケール11の下側に設置されたシェーディング補正用の白基準板12と、フレーム14とを備えている。CCD9はセンサボード13上に形成されている。
【0049】
原稿の走査時には、第一走行体5および第二走行体8はステッピングモータ24(図3参照)によって副走査方向に移動する。すなわち、第一走行体5および第二走行体8がコンタクトガラス2の下を走行して、露光ランプ3で原稿を露光走査し、その反射光を第一反射ミラー4、第二反射ミラー6および第三反射ミラー7で反射して、レンズユニット10を通してCCD9に結像させる。ここに、画像読取手段が実現されている。
【0050】
このようなスキャナ部1は、このスキャナ部1で読み取られた原稿の画像に基づく画像データに応じ、例えば電子写真方式で用紙上に画像の形成を行う画像印刷装置であるプリンタ部(図示せず)を備えるデジタル複写機16に搭載されている。図2は、スキャナ部1を搭載したデジタル複写機16の上部部分を示す斜視図である。図2に示すように、スキャナ部1には、コンタクトガラス2に対して開閉自在な圧板17と、この圧板17の開閉を検出する開閉センサ18とが設けられている。なお、デジタル複写機16に備えられるプリンタとしては、電子写真方式のほか、インクジェット方式、昇華型熱転写方式、銀塩写真方式、直接感熱記録方式、溶融型熱転写方式など、種々の印刷方式を適用することができる。その具体的な構成については周知であるため、詳細な説明は省略する。
【0051】
図3は、スキャナ部1の制御系の電気的な接続を示すブロック図である。図3に示すように、この制御系は、スキャナ部1の全体を制御するメイン制御部19に、CCD9で読み取った画像データに各種の画像処理を施す回路である画像処理部20と、第一走行体5および第二走行体8を制御する回路である走行体制御部21と、デジタル複写機16への各種操作を受け付け、また、各種メッセージを表示する操作パネル22と、CCD9で読み取った画像データや所定のデータ等を記憶するメモリ23とが接続されている。なお、操作パネル22には、コピー開始を宣言するためのコピースタートキー等が設けられている。また、走行体制御部21には、露光ランプ3と、第一走行体5および第二走行体8を駆動するステッピングモータ24と、第一走行体5および第二走行体8がホームポジションにあるか否かを検出するスキャナホームポジションセンサ(HPセンサ)25と、開閉センサ18とが接続されている。
【0052】
ここで、図4は画像処理部20の基本的な内部構成を示すブロック図である。図4に示すように、画像処理部20は、原稿をCCD9により読み取ったアナログ画像信号の増幅処理やデジタル変換処理等を行うアナログビデオ処理部26、シェーディング補正処理を行うシェーディング補正処理部27、シェーディング補正処理後のデジタル画像信号に、MTF補正、変倍処理、γ補正等の各種画像データ処理を行いスキャン画像を生成する画像データ処理部28から構成されている。以上のような画像処理後のデジタル画像信号は、メイン制御部19を介してプリンタ部に送信されて、画像形成に供される。
【0053】
メイン制御部19は、図5に示すように、各部を集中的に制御するCPU(Central Processing Unit)31を備えており、このCPU31には、BIOSなどを記憶した読出し専用メモリであるROM(Read Only Memory)32と、各種データを書換え可能に記憶してCPU31の作業エリアとして機能するRAM(Random Access Memory)33とがバス34で接続されており、マイクロコンピュータを構成している。さらにバス34には、制御プログラムが記憶されたHDD35と、CD(Compact Disc)−ROM37を読み取るCD−ROMドライブ36と、プリンタ部等との通信を司るインタフェース(I/F)38とが接続されている。
【0054】
図5に示すCD−ROM37は、この発明の記憶媒体を実施するものであり、所定の制御プログラムが記憶されている。CPU31は、CD−ROM37に記憶されている制御プログラムをCD−ROMドライブ36で読み取り、HDD35にインストールする。これにより、メイン制御部19は、後述するような各種の処理を行うことが可能な状態となる。
【0055】
なお、記憶媒体としては、CD−ROM37のみならず、DVDなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることができる。また、インターネットなどのネットワークからプログラムをダウンロードし、HDD35にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のOS(Operating System)上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をOSに肩代わりさせるものであってもよいし、ワープロソフトなど所定のアプリケーションソフトやOSなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【0056】
次に、メイン制御部19に設けられたCPU31が制御プログラムに基づいて実行する各種処理の内容について説明する。ここでは、CPU31が実行する処理のうち、本実施の形態のスキャナ部1が備える特長的な機能であるスキャン画像の歪み補正機能を実現するスキャン画像の歪み補正処理についてのみ説明する。すなわち、メイン制御部19は画像歪み補正装置として機能するものである。
【0057】
図6は、スキャン画像の歪み補正処理の流れを概略的に示すフローチャートである。なお、ここでは、図7に示すように、書籍原稿40がそのページ綴じ部41とスキャナ部1の画像読み取りの主走査方向とが平行になるように位置させてコンタクトガラス2に載置されている場合について説明する。
【0058】
まず、ステップS1において、画像データ処理部28から出力されたコンタクトガラス2に載置されている書籍原稿40のスキャン画像を入力する。ここで、図8は入力した画像の一例を示したものである。そして、図9に示すように、入力された書籍原稿40のスキャン画像には、ページ綴じ部41の近傍において歪みが生じている。
【0059】
次いで、書籍原稿40のスキャン画像(例えば、モノクロ多値画像)の最適2値化処理を実行し(ステップS2)、副走査方向の黒画素(スキャン画像の画素の中でその濃度値が予め定めた濃度値よりも濃い画素)数のヒストグラムを求める(ステップS3)。図10は、図8に示した画像の綴じ部境界線左側の黒画素ヒストグラムである。図10中の横軸は、主走査方向の黒画素(スキャン画像の画素の中でその濃度値が予め定めた濃度値よりも濃い画素)の位置を示し、図10中の縦軸は、その位置毎の黒画素数を示すものである。なお、ページ綴じ部41のスキャン画像である綴じ部境界線としては、スキャン画像中の画素の中でその濃度値が最も濃い画素が位置する副走査方向の位置が選択される。
【0060】
なお、スキャン画像がカラー多値画像の場合における2値化処理は、例えばRGB成分の何れか一つの成分に着目し(例えばG成分)、G成分の所定の濃度閾値よりも大きいものを黒画素とし、G成分の所定の濃度閾値よりも小さいものを白画素とすれば良い。また、RGBを色変換して輝度成分と色差成分とに分け、輝度成分で閾値処理を行うようにしても良い。
【0061】
続くステップS4においては、ページ外形/罫線/文字行の抽出処理を実行する。ここで、図11は、ページ外形/罫線/文字行の抽出処理の流れを概略的に示すフローチャートである。
【0062】
[スキャン画像からのページ外形の抽出]
まず、ステップS41におけるスキャン画像からのページ外形の抽出処理について説明する。ここで、図12は上端にページ外形が存在するスキャン画像の一例を示す説明図、図13は図12に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。図13に示すヒストグラムのx軸はスキャン画像の主走査方向(図12の上下方向)を示すものであり、スキャン画像の上端はヒストグラムの左端に対応付けられている。なお、ページ外形が下端に存在するスキャン画像の場合には、スキャン画像の下端がヒストグラムの右端に対応付けられることになる。したがって、図12に示すようにスキャン画像の上端にページ外形が存在する場合、スキャン画像の上部に黒い帯が現れることから、図13に示すヒストグラムの左端には高い縦棒が現れることになる。本実施の形態では、このような特性を利用して、スキャン画像にページ外形が存在するか否かの判断を行う。
【0063】
より具体的には、図13に示すように、綴じ部境界線からスキャン画像の左端(図12の左端)までの距離AO、ヒストグラム縦棒の高さBOとし、その比率を下記に示す式(1)により算出し、
【0064】
【数1】
【0065】
算出された比率kが、予め定められた閾値よりも大きい場合に、スキャン画像にページ外形が存在すると判断する。
【0066】
なお、スキャン画像の上下にページ外形が存在する場合には、ヒストグラムの左右両端に高い縦棒が現れることになるので、このような場合には、ヒストグラムの左右両端の高い縦棒に基づいてスキャン画像にページ外形が存在するか否かの判断がそれぞれ実行される。
【0067】
以上の処理により、スキャン画像にページ外形が存在すると判断された場合には、左右ページの上下辺のいずれにページ外形が存在しているのかという情報とともにページ外形を抽出し、RAM33に一時的に記憶する。
【0068】
なお、このスキャン画像にページ外形が存在するか否かの判断処理は、スキャン画像の綴じ部境界線を境にした左右ページ毎に実行される。
【0069】
[スキャン画像からの罫線の抽出]
続くステップS42においては、スキャン画像からの罫線の抽出処理を実行する。ステップS42におけるスキャン画像からの罫線の抽出処理について説明する。
【0070】
[罫線候補の検出]
ここで、図14は罫線が存在するスキャン画像の一例を示す説明図である。本実施の形態では、罫線の矩形抽出を導入し、図14に示すようなスキャン画像に存在する罫線を1つの矩形として抽出する。なお、詳細については後述するが、ただ単に矩形抽出を行うだけでは罫線が単独で抽出できない場合もあるために、本実施の形態では、ランの登録に制限を設けた矩形抽出を行う。
【0071】
図15は、2値化した画像に矩形抽出を施した結果を示す説明図である。図15に示すように、黒画素が連結している箇所が1つの矩形として抽出される。図15に示すように、罫線が存在していれば、副走査方向に細長い矩形として抽出されることから、細長い矩形の有無や抽出した矩形の形状(長さ・縦横比)や位置を基に罫線の有無の判定を行う。
【0072】
ただし、ただ単に矩形抽出を行うだけでは、罫線が単独で抽出できない場合もある。図16に示すように、罫線がノイズと接触している場合、ノイズを含む矩形が抽出されてしまう。また、図17のような表が含まれる画像の場合は、副走査方向の罫線は主走査方向の罫線と交差するため、表全体が1つの矩形として抽出され罫線が単独で抽出できない。
【0073】
[ランの登録に制限を設けた矩形抽出]
そこで、罫線を単独で抽出するために、ランの登録に制限を設けた矩形抽出を行う。図16に示すような罫線とノイズが接触している画像に対して、主走査方向(垂直方向)に一定値未満のランのみを登録し矩形を抽出すると、図18に示すように罫線を構成する黒画素は登録対象のランとなるが、ノイズを構成する黒画素はランとして登録されない。罫線を構成する黒画素を対象として矩形抽出を行うため、罫線を単独で抽出することができる。
【0074】
なお、罫線を矩形抽出するにあたって、副走査方向(水平方向)に長いランのみを対象に矩形抽出を行う方法もあるが、この方法だと綴じ部付近の歪み部分は矩形内に含まれない。ところが、本実施の形態の方式を用いることにより、罫線の綴じ部付近の歪み部分も矩形内に含めることが可能となり、より正確な罫線の位置や長さを検出することが出来る。
【0075】
[矩形統合]
表など、副走査方向(水平方向)の罫線と主走査方向(垂直方向)の罫線とが交差している画像に矩形抽出を行うと、主走査方向の罫線はランとして登録されないため、副走査方向に矩形が細切れに抽出されてしまう。すると、図19に示すように、副走査方向に長い罫線があるにもかかわらず、その罫線は1つの矩形として抽出されず、複数の細切れの矩形となって抽出される。
【0076】
そこで、矩形統合を行う。副走査方向における距離が一定値以下の矩形同士を統合する。図20は、矩形統合を施した例である。矩形統合は、図20に示すように、細切れになっていた矩形を1つの矩形に統合し、罫線の矩形を抽出するものである。この矩形統合は、かすれた罫線や点線の罫線に対して行っても、罫線全体が1つの矩形として抽出されるため有効な方法である。
【0077】
[最適罫線の選択]
次いで、一定値未満のランのみを登録した矩形抽出を行い、副走査方向に細長い矩形の有無にて罫線の有無を判定する。このような罫線の有無の判定は、画像の左上・左下・右上・右下の4箇所それぞれにおいて行う。例えば、図21に示す画像の場合、左上にのみ罫線が存在しないということになる。ある箇所にて複数罫線が存在する場合は、補正に利用する罫線を以下の優先順位で決定する。
【0078】
1.綴じ部付近まで食い込んでいる罫線
例えば、図21に示す画像の右下の場合、綴じ部付近まで食い込んでいる罫線が補正に利用される。
【0079】
2.長さが長い方の罫線
例えば、図21に示す画像の右上の場合、双方の罫線は綴じ部付近まで食い込んでいるため、長さが長い方の罫線が補正に利用される。
【0080】
3.位置が外側の罫線
例えば、図21に示す画像の左下の場合、双方の罫線は綴じ部付近まで食い込んでいて、なおかつ、長さがほぼ同じため、画像の外側に位置する罫線が補正に利用される。
【0081】
[最適罫線の座標値検出]
以上のようにして最適罫線を選択した後、各罫線の座標値を検出する。罫線の位置座標は、抽出された矩形の座標から得ることができる。なお、特殊な例として、副走査方向に細長い矩形の位置が画像の上端や下端に接している場合は、その矩形がノイズである可能性を考慮して、罫線とはみなさないものとする。また、左右のページそれぞれで細長い矩形が抽出された場合(例えば、左上と右上、左下と右下)、画像によっては、綴じ部をまたがる形で左右ページの矩形が統合されることがある。すると、水平方向画像全体に細長い矩形が抽出されることから、抽出された矩形にそのような特徴が見られた場合は、綴じ部位置を境にその矩形を分割する。
【0082】
以上の処理により、スキャン画像に罫線が存在すると判断された場合には、左右各ページのいずれの位置に罫線が存在しているのかという情報とともに罫線を抽出し、RAM33に一時的に記憶する。
【0083】
[スキャン画像からの文字行の抽出]
続くステップS43においては、スキャン画像からの文字行の抽出処理を実行する。ステップS43におけるスキャン画像からの文字行の抽出処理について説明する。本実施の形態においては、まず、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別を行う。
【0084】
[文字行の判別]
スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別手法について説明する。ここで、図22は図8に示した画像の副走査方向の黒白反転数ヒストグラムである。図22中の横軸は、副走査方向(左右方向)の黒画素(スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素)の主走査方向上での位置を示し、図22中の縦軸は、その位置毎の黒画素数を示すものである。また、図23は図8に示した画像の主走査方向の黒白反転数ヒストグラムである。図23中の横軸は、主走査方向(上下方向)の黒画素(スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素)の副走査方向上での位置を示し、図23中の縦軸は、その位置毎の黒画素数を示すものである。画像中の文字が横書きの図8に示したようなスキャン画像の場合、図22に示すような副走査方向のヒストグラムは激しく変化するが、図23に示すような主走査方向のヒストグラムの変化は少ない。また、特に図示しないが、スキャン画像中の文字行が縦書き文字行である場合には、主走査方向のヒストグラムは激しく変化するが、副走査方向のヒストグラムの変化は少ない。
【0085】
上述したような判別手法は、具体的には下記に示す各式により実現される。まず、下記に示す式(2)により、
【0086】
【数2】
【0087】
主走査方向yの位置でのヒストグラム値Pnt(y)の平均値meanHが算出される。ここで、heightは画像の高さである。
そして、下記に示す式(3)により、
【0088】
【数3】
【0089】
副走査方向のヒストグラムの主走査方向に関する分散σHが得られる。
同様に、下記に示す式(4)により、
【0090】
【数4】
【0091】
副走査方向xの位置でのヒストグラム値Pnt(x)の平均値meanVが算出される。ここで、widthは画像の幅である。
そして、下記に示す式(5)により、
【0092】
【数5】
【0093】
主走査方向のヒストグラムの副走査方向に関する分散σvが得られる。
【0094】
上述したようにスキャン画像中の文字行が横書き文字行である場合には、副走査方向のヒストグラムの主走査方向に関する分散σHが、主走査方向のヒストグラムの副走査方向に関する分散σvより大きい。逆に、スキャン画像中の文字行が縦書き文字行である場合には、主走査方向のヒストグラムの副走査方向に関する分散σvが、副走査方向のヒストグラムの主走査方向に関する分散σHより大きい。つまり、分散σHと分散σvとの比較により、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別が可能になっている。
【0095】
なお、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別に、黒白反転数ヒストグラムを用いたのは、文字行と写真部分との混同を避けるためである。一般に、黒画素ヒストグラムの値が同程度の場合、文字領域のほうが写真領域よりも黒白反転数ヒストグラムの値が大きくなるからである。
【0096】
[横書き文字行候補の検出]
以上のようにして横書き文字行と判別された場合、横書き文字行候補を検出する。従来方式では、文字単位の外接矩形を抽出して横書き文字行候補を検出するようにしていたが、矩形を抽出する際に隣接する文字同士が接触して複数の文字が一つの矩形となる問題点があった。そこで、本実施の形態では、ランの長さに制限を設けて文字の縦成分のみの矩形を抽出することで不適切なランを排除し、隣接する文字が接触しないようにする。ここで、縦成分とは文字の垂直方向の成分のことである。このように文字の縦成分のみの矩形を抽出する理由は、アルファベット(a〜z)文字のアスペクト比は一定ではないが、文字に含まれる垂直方向の成分のピッチが一定に近いためである。具体的には、文字と思われる黒画素の集合部分であるランを探索し、ランが発見された時にはランの終始座標の長さが主走査方向に予め定めた第1閾値以上かつ予め定めた第2閾値以下であればランとして登録する(ラン抽出手段)。
【0097】
ここで、縦成分の矩形を抽出する際のランの長さの閾値について説明する。本実施の形態においては、ランの長さの閾値(第1閾値及び第2閾値)を書かれている文字サイズに合わせて切り替えるようにしている。このように文字サイズに合わせて閾値を切り替えるようにするのは、小さい文字の英文画像においては、縦成分の矩形を抽出する際にランの長さの閾値が適切でないと、登録されるべきランも排除されてしまうことがあり、抽出される縦成分の矩形数も減ってしまうという問題があるからである。以下において、文字サイズに合わせた閾値の切り替え手法について詳述する。
【0098】
文字サイズに合わせた閾値(第1閾値及び第2閾値)の切り替えは、英文画像の文字サイズ(標準矩形サイズ)を算出し(サイズ算出手段)、その値を基にランとして登録するための閾値を変更することにより行われる(第1の閾値設定手段)。標準矩形サイズの算出は、以下に示す処理手順により行われる。
1.図24に示すように、スキャン画像の綴じ部を境にした左右両側において、標準矩形サイズの算出を行うための領域Zをそれぞれ指定する。例えば、図24に示す指定領域Zは、スキャン画像の高さの1/3〜2/3、スキャン画像の左右両側の幅の1/3〜2/3の部分である。このような指定領域Zは、歪みが生じておらず、かつ、スキャン画像のページ外形から一定距離だけ離れていることが望ましい。
2.図24に示すように、指定領域Z内の文字の外接矩形を抽出する。指定領域Z内の文字の外接矩形の抽出については周知の技術であるので、その説明は省略する。
3.2で抽出した文字の外接矩形の中で、指定領域Zに接している文字の外接矩形、規定外の文字の外接矩形は排除し、図25に示すように残った文字の外接矩形(図25中、網掛けを施した矩形)の主走査方向における距離W(W=Xe−Xs)を算出する。図26に示すように、Xsは外接矩形の主走査方向の開始座標、Xeは終止座標である。また、規定外の文字の外接矩形とは、矩形抽出の際に隣接する文字同士がくっついて抽出されてしまい、高さや幅が極端に大きい外接矩形である。
4.3の計算結果を基に、下記の式により標準矩形サイズを算出する。
標準矩形サイズ=各外接矩形の主走査方向における距離Wの総和/外接矩形の数
5.4の計算結果を基に、標準矩形サイズは以下のように設定する。
・スキャン画像の綴じ部を境にした左右両側の何れかの標準矩形サイズが0の場合、0でない方の標準矩形サイズを採用する。
・スキャン画像の綴じ部を境にした左右両側の両方が0の場合、予め定められた一定の値を標準矩形サイズとする。
・スキャン画像の綴じ部を境にした左右両側で比較をし、小さい方の標準矩形サイズを両方の標準矩形サイズとして採用する。
以上により算出された標準矩形サイズが標準サイズ以下の場合には、登録するランの長さの閾値の最小値を小さくする。すなわち、英文画像のように文字が小さい場合には、ランとして登録する時の長さの最小値を小さくすることにより、小さい文字の縦成分矩形を抽出できるようになり、最適な縦成分矩形の抽出を行うことができるようになる。
【0099】
このようにして登録したランを基に縦成分のみの矩形抽出を行う(縦成分矩形抽出手段)。ここで、横書き文字行候補の検出の結果の一例を図27に示す。
【0100】
加えて、本実施の形態においては、縦成分の矩形を抽出後、縦成分の矩形の長さを主走査方向にある一定の長さに縮める。このように縦成分の矩形の長さを主走査方向に縮めるのは、従来方式では、複数分の行が一行と誤認識されやすいという問題点があったからである。すなわち、縦成分の矩形の長さを主走査方向に縮めることにより、主走査方向に矩形が接触するのを防ぎ、安定した行統合が可能になる。ここで、図28は縦成分矩形を縮める手法を示す説明図である。図28に示すように、縦成分の矩形の主走査方向の開始座標をXs、終止座標をXe、中心座標をZとして、Zを基準に上部分と下部分を縮め、主走査方向に閾値(第3閾値)以下になるようにすることで、縦成分矩形を縮める(縮小手段)。このように縦成分矩形を主走査方向に縮める長さの閾値は、前述した標準矩形サイズに基づいて決定される(第2の閾値設定手段)。このように縦成分矩形を主走査方向に縮める長さの閾値を標準矩形サイズに基づいて決定するのは、文字サイズに関係なく一定の値で縮めてしまうと、短い縦成分矩形の場合には縦成分矩形としての長さが短くなってしまい、行抽出が不安定になるからである。以下において、縦成分矩形を主走査方向に縮める長さの閾値の計算手法について詳述する。
【0101】
縦成分矩形を主走査方向に縮める長さの閾値Kは、前述した標準矩形サイズを基に、下記の式により算出される。
長さの閾値K=標準矩形サイズ/5+縦成分矩形を縮めるときの最小値
この計算式によれば、標準矩形サイズが5増加するごとに区切り、5増加に対して閾値Kを1増加させる。また、計算式の縦成分矩形を縮めるときの最小値は、解像度毎に定めているため、閾値Kも解像度毎に対応している。図29は、縦成分矩形を主走査方向に縮める長さの閾値Kの計算結果の一例をグラフ化したものである。なお、図29に示すグラフは、200dpiの場合を示している。すなわち、英文画像のように文字が小さい場合には、縦成分矩形を主走査方向に縮める長さの閾値Kを小さくすることにより、小さい文字の縦成分矩形を極端に短くすることがなくなり、確実に文字行を抽出できるようになる。
【0102】
ここで、縦成分矩形を縮めた横書き文字行候補の検出の結果の一例を図30に示す。図30(a)は縦成分矩形を縮める前、図30(b)は縦成分矩形を縮めた後である。
【0103】
以上のようにして文字の縦成分矩形を抽出し、主走査方向に縦成分矩形を縮めた後、図31に示すように、主走査方向間に隣接する矩形の行統合を行い、文字行を抽出する(文字行抽出手段)。ここで、矩形の行統合を行った場合、主走査方向間に隣接する矩形間の距離を一定にすると、文字が小さい英文画像の場合は主走査方向間に隣接する矩形間の距離は小さいために、過剰に行を統合するという問題が発生する。特に、英語文は、日本語文に比べて主走査方向の矩形間距離が短くなるため、行抽出時の主走査方向の統合距離の閾値を厳しくする必要がある。そこで、本実施の形態においては、行抽出時の主走査方向の統合距離の閾値(第4閾値)を、前述した標準矩形サイズに基づいて決定する(第3の閾値設定手段)。すなわち、標準矩形サイズに基づいて標準的な文字サイズでないと判定された場合は、行抽出時の主走査方向の統合距離の閾値を小さくするようにする。
【0104】
なお、縦成分矩形から行統合を行うとノイズの行が統合されることがある。ノイズの行内にある縦成分の矩形から生成される近似曲線は補正に適さない。そこで、長さがある一定以下の行はノイズとみなして、補正に利用しないようにする。これらの方法を行うと、安定した近似曲線を得る可能性が高くなる。
【0105】
次いで、一行内の縦成分矩形の中心座標を基に近似曲線を生成する。ここで、図32(a)は縦成分矩形による近似曲線の生成を示す説明図、(b)は行を拡大して示す説明図である。
【0106】
[最適横書き文字行の選択]
次に、抽出した横書き文字行の中から歪み補正に最適な横書き文字行を選択する(文字行決定手段)。複数の横書き文字行が検出される場合、どの横書き文字行を用いて歪み補正するかを選択する必要がある。最適な横書き文字行の選択基準の一例としては、前述した最適な罫線の選択基準と基本的に同様であって、補正に利用する横書き文字行を以下の優先順位で決定する。
【0107】
1.綴じ部付近まで食い込んでいる横書き文字行
例えば、図33に示す画像の右下の場合、綴じ部付近まで食い込んでいる横書き文字行が補正に利用される。
【0108】
2.長さが長い方の横書き文字行
例えば、図33に示す画像の右上の場合、双方の横書き文字行は綴じ部付近まで食い込んでいるため、長さが長い方の横書き文字行が補正に利用される。
【0109】
3.位置が外側の横書き文字行
例えば、図33に示す画像の左下の場合、双方の横書き文字行は綴じ部付近まで食い込んでいて、なおかつ、長さがほぼ同じため、画像の外側に位置する横書き文字行が補正に利用される。
【0110】
なお、本実施の形態においては、図34に示すように、ページ外形に歪みを生じている部分がまだらに読み取られているような場合に、この部分Eを横書き文字行として認識する場合がある。そのため、綴じ部境界線Dを跨いでいる横書き文字行や、ページ外形の上端又は下端近傍の横書き文字行は補正に利用しないようにする。これにより、安定した近似曲線を得る可能性が高くなる。
【0111】
[最適横書き文字行の座標値の決定]
最適な横書き文字行が選択された場合には、横書き文字行の(主走査方向の)座標値を決定する(近似曲線算出手段)。横書き文字行の(主走査方向の)座標値は、横書き文字行内の各縦成分矩形主走査方向の中心点を連結し、直線部分と曲線部分とを近似して抽出することにより横書き文字行の(主走査方向の)座標値を決定することになる。より詳細には、図33に示すDは綴じ部境界線であり、BDの間は多項式近似曲線で(主走査方向の)座標値を推定し、一番左端のAとBとの間は近似直線の値で(主走査方向の)座標値を推定する。
【0112】
以上の処理により、スキャン画像に横書き文字行が存在すると判断された場合には、左右各ページのいずれの位置に横書き文字行が存在しているのかという情報とともに横書き文字行を抽出し、RAM33に一時的に記憶する。
【0113】
[縦書き文字行に基づく横書き文字行の抽出]
次に、各縦書き文字行から横書き文字行を抽出する。
【0114】
図35は、各縦書き文字行からの横書き文字行の抽出処理の流れを概略的に示すフローチャートである。図35に示すように、まず、縦書き文字行の行切り出し矩形を抽出する(ステップS201)。なお、縦書き文字行の行切り出し矩形の抽出処理は、OCR等で一般に用いられている周知の技術をそのまま利用することができるので、その説明は省略する。図36は、抽出した行切り出し矩形を例示的に示す説明図である。
【0115】
次いで、縦書き文字行の先頭(もしくは末尾)のy座標が最大(もしくは最小)の縦書き文字行を抽出し、さらに、そこから予め定めた距離範囲内に先頭(もしくは末尾)が存在する縦書き文字行を抽出する(ステップS202)。より具体的には、図36に示した例においては、図37に示すように、縦書き文字行の先頭文字のy座標が最大の縦書き文字行はAで示した縦書き文字行である。そして、その先頭位置から予め定めた距離範囲h内に存在する行先頭文字は、図37中、黒丸“●”で示した文字である。すなわち、黒丸“●”で示す文字を含む縦書き文字行のみを抽出し、それ以外の縦書き文字行B,Cは除外する。なお、hはスキャン画像の解像度によって定められる定数である。
【0116】
次に、抽出した縦書き文字行の先頭(もしくは末尾)のy座標に関してヒストグラムを構成する(ステップS203)。図38では、ページの左端に近い縦書き文字行Dを基準行とし、その先頭のy座標(yD)を基準座標としている。以後、yDに対して一定幅d(例えば抽出した縦書き文字行の平均幅の1/2)の範囲内に先頭が存在する縦書き文字行の数を、yDに関するヒストグラムの値とする。図38では、yDを示す直線を上下に挟む点線の範囲内に先頭が存在する縦書き文字行がその対象となる。したがって、ページの左端に近い縦書き文字行Dの右隣の縦書き文字行Eは、その範囲外である。このように、既存の基準座標の対象範囲に先頭が含まれない縦書き文字行が出現した場合は、その縦書き文字行を新たな基準行とし、その先頭座標を新たな基準座標(ここでは、yE)とする。また、縦書き文字行Eの右隣の縦書き文字行Fの行先頭座標はyDの対象範囲に含まれるので、新たな基準座標を設けることなく、yDに関するヒストグラムの値を1だけカウントアップする。
【0117】
以下、同様の処理を綴じ部境界線に向かって続けて行く。その結果、図38に示す例では、yDの対象範囲に含まれる縦書き文字行は斜線を施した矩形で囲まれた7つで、yEの対象範囲に含まれる縦書き文字行は網掛けを施した矩形で囲まれた4つとなる(これら以外の矩形で囲まれた縦書き文字行に関しても、基準行、基準座標と対象範囲がそれぞれ定められるが、図38では省略している)。なお、yDの対象範囲には本来無関係であるべき縦書き文字行Gも含まれているが、次のステップS204にてこれは除外される。
【0118】
続いて、ステップS203にて構成したヒストグラムの中で、最大の値に対応する基準行の対象範囲に含まれる縦書き文字行の中で、最もページの左端(もしくは右端)にある縦書き文字行(基準行)を開始行として、綴じ部境界線へ向かって、先頭(もしくは末尾)のy座標が近接した縦書き文字行を抽出する(ステップS204)。図38では、基準座標yDの対象範囲に含まれる文字行が7つと最大であったので、その中の左端の縦書き文字行Dを開始行とし、開始行(縦書き文字行D)から綴じ部境界線へ向かって先頭のy座標が近接した縦書き文字行を抽出していく。
【0119】
ところで、開始行(縦書き文字行D)から綴じ部境界線へ向かって先頭のy座標が近接した縦書き文字行を抽出する際には、画像の歪みを生じていない部分と歪みを生じている部分とで処理内容を切り替える。
【0120】
まず、画像の歪みを生じていない部分における処理について図39を参照しつつ説明する。画像の歪みを生じていない部分では、着目行Hを基準として、次の2条件を満足する縦書き文字行を抽出する。
1.y座標の正方向(図39中、上方へ向かう方向)に関して、着目行Hの先頭位置から一定範囲内b1(例えば平均文字行幅の1/2)に抽出する縦書き文字行の先頭が存在すること
2.y座標の負方向(図39中、下方へ向かう方向)に関して、着目行Hの先頭位置から見てx座標の正方向(綴じ部境界線へ向かう方向)に対して予め定めた一定角度(ここでは、角度を直線の傾き(b2/a1)で表している)の範囲内に抽出する縦書き文字行の先頭が存在すること
すなわち、着目行Hの次の縦書き文字行Iの先頭は上記の範囲外なので除外することになるが、さらに次の縦書き文字行Jの先頭は範囲内に存在するので抽出することになる。以下、縦書き文字行Jを新たな着目行として同様の処理を続ける。
【0121】
次に、画像の歪みを生じている部分における処理について図40を参照しつつ説明する。画像の歪みを生じている部分では、着目行Lを基準として、次の2条件を満足する縦書き文字行を抽出する。
1.y座標の負方向(図40中、下方へ向かう方向)に関して、着目行Lの先頭位置から見てx座標の正方向(綴じ部境界線へ向かう方向)に対して予め定めた一定角度(ここでは、角度を直線の傾き(b3/a2)で表しているが、歪みを生じている部分では基本的にページの内側へ文字行の先頭が食い込んでいくのを考慮して、b2/a1<b3/a2とする)の範囲内に抽出する縦書き文字行の先頭が存在すること
2.着目行Lの先頭位置と抽出する縦書き文字行の先頭位置を結ぶ直線の傾き(b4/a2)が、着目行Lの先頭位置と直前の抽出行Kの先頭位置を結ぶ直線の傾き(b5/a3)から一定値αを引いた値よりも大きい。すなわち、“b4/a2>b5/a3−α”を満足すること(基本的には、“b4/a2>b5/a3”で良いが、誤差を考慮して一定値αを導入する。一定値αは予め定めた値である)
すなわち、着目行Lの次の縦書き文字行Mの先頭はこの条件外なので除外することになるが、さらに次の縦書き文字行Nの先頭は条件を満足するので抽出することになる。以下、縦書き文字行Nを新たな着目行として同様の処理を続ける。
【0122】
さて、ここで問題となるのは、歪みを生じていない部分と歪みを生じている部分をいかに識別するかであるが、これは次のように行っている。すなわち、着目行と次の抽出行の先頭のy座標をそれぞれyC,yNとすると、“yN−yC”が一定値(例えば、平均文字行幅の1/4)以上となれば、それ以降を歪みを生じている部分とする。
【0123】
以上の方法により図38から抽出した縦書き文字行を、図41において斜線を施した矩形で囲んで示す。
【0124】
最後に、抽出した縦書き文字行の先頭(もしくは末尾)の位置座標に関する近似曲線多項式を算出する(ステップS205)。抽出した各縦書き文字行の行切り出し矩形の先頭を連結して外形を形成する場合には、図42に示すように、連結する各縦書き文字行の行切り出し矩形の上辺中心点に基づき、抽出した縦書き文字行の先頭の位置座標に関する近似曲線多項式を算出する。また、抽出した各縦書き文字行の行切り出し矩形の末尾を連結して外形を形成する場合には、図42に示すように、連結する各縦書き文字行の行切り出し矩形の下辺中心点に基づき、抽出した縦書き文字行の末尾の位置座標に関する近似曲線多項式を算出する。
【0125】
なお、最後に不適切な縦書き文字行の外形を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような縦書き文字行の外形を排除するものである。不適切な近似曲線形状の例としては、前述した罫線や横書き文字行の場合と同様であって、特に図示しないが、曲線が書籍の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。
【0126】
なお、推定曲線の形状が不適切であるとして縦書き文字行の外形を排除した場合には、歪み補正用の縦書き文字行の外形は無いということになる。
【0127】
以上の処理により、スキャン画像に縦書き文字行の外形が存在すると判断された場合には、左右各ページのいずれの位置に縦書き文字行の外形が存在しているのかという情報とともに縦書き文字行の外形を抽出し、RAM33に一時的に記憶する。
【0128】
なお、以下においては、横書き文字行及び縦書き文字行の外形を文字行として扱うものとする。
【0129】
以上、ステップS41〜S43の処理により、ページ外形/罫線/文字行の抽出処理(ステップS4)が終了する。
【0130】
続くステップS5(図6参照)においては、画像歪み補正処理を実行する。画像歪み補正処理は、図43に示すように、概略的には、歪み補正(伸長)に際しての基準となる線(基準線)としてスキャン画像の上辺(もしくは下辺)の近傍に位置するページ外形/罫線/文字行の何れかを選択する処理(ステップS51:基準線選択処理)、基準線に対応するものであって補正率(伸長率)の算出用の参照線としてスキャン画像の上辺(もしくは下辺)の近傍に位置するページ外形/罫線/文字行の何れかを選択する処理(ステップS52:参照線選択処理)、基準線が罫線や文字行の場合に、基準線より下部の画像情報の欠落を最小限にするための仮想的なページ外形を算出する処理(ステップS53:仮想ページ外形算出処理)、仮想的なページ外形に基づいてスキャン画像に伸長処理を施して主走査方向の歪みを補正する処理(ステップS54:主走査方向歪み補正処理)、補正画像の文字外接矩形に基づいてスキャン画像に伸長処理を施して副走査方向の歪みを補正する処理(ステップS55:副走査方向歪み補正処理)により構成されている。
【0131】
ここで、基準線選択処理(ステップS51)及び参照線選択処理(ステップS52)においては、基準線または参照線として、スキャン画像の上辺(もしくは下辺)の近傍に位置するページ外形/罫線/文字行の何れかを選択することになるが、本実施の形態におけるページ外形、罫線、文字行の選択の優先順位は、
ページ外形>罫線>文字行
とされている。このような選択優先順位にしたのは、文字行はページ外形や罫線に比べて抽出精度が低く、また、画像の外側にあるページ外形を利用する方が精度の高い歪み補正率を得ることができるためである。ただし、本実施の形態においては、ページ外形は一般に左右ページにまたがるが、罫線や文字行は両ページにあるとは限らないので、スキャン画像の上辺または下辺からの基準線選択の優先順位は、下記に示すようになる。
【0132】
1.「ページ外形」(ページ外形は、常に左右両ページに存在する)
2.左右両ページともに「罫線」
3.一方のページが「罫線」、他方のページが「文字行」
4.左右両ページともに「文字行」
5.一方のページのみに「罫線」、他方のページには「手がかりなし」
6.一方のページのみに「文字行」、他方のページには「手がかりなし」
ここで、「手がかりなし」とは、ページ外形、罫線、文字行のいずれも抽出できなかった場合を言う。
【0133】
次に、仮想ページ外形算出処理(ステップS53)及び主走査方向歪み補正処理(ステップS54)の例について、上記優先順位に基づいて順に説明する。
【0134】
1.スキャン画像の上辺及び下辺のいずれにも「ページ外形」が存在する場合
ここでは、スキャン画像の上辺及び下辺のいずれにも「ページ外形」が存在する場合について説明する。図44に示すように、スキャン画像の上辺及び下辺のいずれにも「ページ外形」が存在する場合は、いずれを基準線、参照線にしても構わない。なお、本実施の形態においては、基準線として選択した「ページ外形」、「罫線」、「文字行」は、下辺に位置させるものとする。この場合においては、基準線と仮想ページ外形とは一致していることから、仮想ページ外形算出処理(ステップS53)においては特に処理を実行しなくても良い。
【0135】
次いで、主走査方向歪み補正処理(ステップS54)について説明する。ここで、x0は「ページ外形」の直線部分と曲線部分との境界点である。主走査方向歪み補正処理としては、まず、この境界点x0における基準線と参照線間の距離h0(図45参照)に基づいて歪み補正率を算出する。歪み補正率は、主走査方向に画像を伸長して補正する際に、基準線と参照線との間の距離を副走査方向の全ての位置において等しくさせるためのものである。すなわち、位置xにおける基準線と参照線間の距離をh(図45参照)とした場合には、位置xにおける歪み補正率は、
h0/h
として表すことができる。即ち、歪み補正率とは、主走査方向に画像を伸長して補正する際に、基準線と参照線との間の距離を副走査方向の全ての位置xにおいて等しくなるように、各xに関して算出した値である。
【0136】
次に、実際に補正をする際は、まず、図45に示すように仮想ページ外形(ここでは基準線)が直線(最下辺)になるように、主走査方向に各画素をシフトする。その後、副走査方向の全ての位置xにおいて、画像を主走査方向の上辺側にh0/hで伸長すれば、図45の上辺の「ページ外形」EがREとなるように画像が補正される。
【0137】
2.スキャン画像の上辺及び下辺の何れか一方に「ページ外形」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合
ここでは、スキャン画像の上辺及び下辺の何れか一方に「ページ外形」が存在し、他方の辺ではページ外形が途中で切れているが「罫線」と「文字行」とが存在する場合について説明する。図46に示すように、スキャン画像の上辺及び下辺の何れか一方に「ページ外形」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合は、「ページ外形」を基準線として下辺に位置させ、「文字行」と「罫線」とを参照線とする(図46に示す例では、左ページが「文字行」、右ページが「罫線」である)。この場合においても、基準線と仮想ページ外形とは一致していることから、仮想ページ外形算出処理(ステップS53)においては特に処理を実行しなくても良い。
【0138】
次いで、主走査方向歪み補正処理(ステップS54)について説明する。ここで、x0は「ページ外形」の直線部分と曲線部分との境界点である。主走査方向歪み補正処理としては、まず、この境界点x0における基準線と参照線間の距離h0(図47参照)に基づいて歪み補正率を算出する。位置xにおける基準線と参照線間の距離をh(図47参照)とした場合には、位置xにおける歪み補正率は、
h0/h
として表すことができる。
【0139】
次に、実際に補正をする際は、まず、図47に示すように仮想ページ外形(ここでは基準線)が直線(最下辺)になるように、主走査方向に各画素をシフトする。その後、副走査方向の全ての位置xにおいて、画像を主走査方向の上辺側にh0/hで伸長すれば、図47の右ページでは、上辺の「罫線」LUがRLUとなるように画像が補正される。左ページ上辺の「文字行」についても同様に行う。
【0140】
3.スキャン画像の左右両ページの上辺及び下辺の何れか一方に「罫線」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合
ここでは、スキャン画像の左右両ページの上辺及び下辺の何れか一方に「罫線」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合について説明する。スキャン画像の左右両ページの上辺及び下辺の何れか一方に「罫線」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合は、図48に示すように、左右両ページに「罫線」が存在する側を下辺に位置させ、その2本の「罫線」を基準線とし、他方の辺に位置する「文字行」と「罫線」とを参照線とする(図48に示す例では、左ページが「文字行」、右ページが「罫線」である)。ところで、このように、基準線が「ページ外形」ではない場合は、基準線をそのまま仮想ページ外形と見なしてはならない。なぜなら、両者を一致させた場合、後の主走査方向歪み補正処理において仮想ページ外形(基準線)を最下辺に画素シフトする際、基準線より下方の画像情報が全て欠落してしまうからである。
【0141】
そこで、基準線が「ページ外形」でない場合は、図48において点線で示すような仮想ページ外形VEを求める仮想ページ外形算出処理(ステップS53)を実行する。ここで、x0は下辺の「罫線」LDの直線部分と曲線部分との境界点である。仮想ページ外形算出処理は、境界点x0における「罫線」LDからスキャン画像の最下辺までの距離a0と、境界点x0における「罫線」LDから上辺の「罫線」LUまでの距離b0とに基づいて仮想ページ外形VEを算出するものである。すなわち、「罫線」LD上の位置xから上辺の「罫線」LUまでの距離bが解かれば、
a/b=a0/b0
であることから、「罫線」LD上の位置xから仮想ページ外形VEまでの距離aを算出することができる。したがって、「罫線」LD上の位置から仮想ページ外形VEまでの距離を副走査方向の全ての位置xにおいて算出することにより、仮想ページ外形VEを求めることができる。このような処理は、左右ページについてそれぞれ独立に行われる。
【0142】
次いで、主走査方向歪み補正処理(ステップS54)について説明する。主走査方向歪み補正処理としては、まず、前述した境界点x0における「罫線」LDからスキャン画像の最下辺までの距離a0と、境界点x0における「罫線」LDから上辺の「罫線」LUまでの距離b0とを加算した距離h0(h0=a0+b0)に基づいて歪み補正率を算出する。位置xにおける上辺の「罫線」LUからスキャン画像の最下辺までの距離をh(h=a+b)とした場合には、位置xにおける歪み補正率は、
h0/h
として表すことができる。
【0143】
次に、実際に補正をする際は、まず、図49に示すように仮想ページ外形VEが直線(最下辺)になるように、主走査方向に各画素をシフトする。その後、副走査方向の全ての位置xにおいて、画像を主走査方向の上辺側にh0/hで伸長すれば、図43の右ページでは、上辺の「罫線」LUがRLU(厳密には、xの位置は「罫線」LUの直線部と曲線部との境界には一致しないが、ここでは「罫線」LDの境界をそのまま用いる)となるように画像が補正される。左ページ上辺の「文字行」についても同様に行う。
【0144】
このように、仮想ページ外形VEを利用することで、シフトによる画像の欠落を最小限に抑えることができる。
【0145】
4.スキャン画像の左右両ページの上辺及び下辺の何れか一方に「罫線」と「文字行」とが存在し、他方の辺の一方のページのみに「罫線」が存在する場合
ここでは、スキャン画像の左右両ページの上辺及び下辺の何れか一方に「罫線」と「文字行」とが存在し、他方の辺の一方のページのみに「罫線」が存在する場合について説明する。スキャン画像の左右両ページの上辺及び下辺の何れか一方に「罫線」と「文字行」とが存在し、他方の辺の一方のページのみに「罫線」が存在する場合(他方のページは「手がかりなし」)は、図50に示すように、「罫線」と「文字行」とが存在する側を下辺に位置させ、それらの「罫線」と「文字行」とを基準線とし、他方の辺に位置する「罫線」とスキャン画像を副走査方向に貫く中心線Cとを参照線とする(図50に示す例では、左ページが「罫線」、右ページが「手がかりなし」である)。なお、中心線Cは、スキャン画像の主走査方向の中心を副走査方向に横切る線であり、書籍原稿40の中心線ではない。
【0146】
このように基準線が「ページ外形」でない場合は、前述したように、図50において点線で示すような仮想ページ外形VEを求める仮想ページ外形算出処理(ステップS53)を実行する。ここで、x0は下辺の「罫線」LDの直線部分と曲線部分との境界点である。仮想ページ外形算出処理は、境界点x0における「罫線」LDからスキャン画像の最下辺までの距離a0と、境界点x0における「罫線」LDから中心線Cまでの距離b0とに基づいて仮想ページ外形VEを算出するものである。すなわち、「罫線」LD上の位置xから中心線Cまでの距離bが解かれば、
a/b=a0/b0
であることから、「罫線」LD上の位置xから仮想ページ外形VEまでの距離aを算出することができる。したがって、「罫線」LD上の位置から仮想ページ外形VEまでの距離を副走査方向の全ての位置xにおいて算出することにより、仮想ページ外形VEを求めることができる。このような処理は、左右ページについてそれぞれ独立に行われる。なお、右ページのように上辺に「罫線」が存在する場合については、中心線Cに代えて、前述したように上辺の「罫線」を用いる。
【0147】
次いで、主走査方向歪み補正処理(ステップS54)について説明する。主走査方向歪み補正処理としては、まず、前述した境界点x0における「罫線」LDからスキャン画像の最下辺までの距離a0と、境界点x0における「罫線」LDから中心線Cまでの距離b0とを加算した距離h0(h0=a0+b0)に基づいて歪み補正率を算出する。位置xにおける中心線Cからスキャン画像の最下辺までの距離をh(h=a+b)とした場合には、位置xにおける歪み補正率は、
h0/h
として表すことができる。
【0148】
次に、実際に補正をする際は、まず、図51に示すように仮想ページ外形VEが直線(最下辺)になるように、主走査方向に各画素をシフトする。その後、副走査方向の全ての位置xにおいて、画像を主走査方向の上辺側にh0/hで伸長して補正する。左ページ上辺の「罫線」についても同様に行う。なお、右ページについては、補正によってシフトにより一旦歪んだ中心線Cが元の直線RCに戻るが、Cがスキャナ部1の光軸と一致する場合以外は、画像全体の補正は不完全となる。
【0149】
5.スキャン画像の左右何れかのページの上辺及び下辺の何れか一方に「罫線」が存在し、他方の辺の他方のページのみに「文字行」が存在する場合
ここでは、スキャン画像の左右何れかのページの上辺及び下辺の何れか一方に「罫線」が存在し、他方の辺の他方のページのみに「文字行」が存在する場合について説明する。スキャン画像の左右何れかのページの上辺及び下辺の何れか一方に「罫線」が存在し(他方のページは「手がかりなし」)、他方の辺の他方のページのみに「文字行」が存在する場合(一方のページは「手がかりなし」)は、図52に示すように、「罫線」が存在する側を下辺に位置させ、その「罫線」を基準線とし、「罫線」が存在しない方のページ(「文字行」が存在する方のページ)については、文字行Lを中心線Cを挟んで線対称の位置に移動させた曲線SLを基準線とする。参照線については、「罫線」が存在するページは中心線Cを、「文字行」が存在するページはその「文字行」を、それぞれ参照線とする。
【0150】
なお、歪み補正率の算出や画素シフト、補正(伸長)処理についてはこれまでの例と同様であるため、それらの説明は省略する。
【0151】
最後に、副走査方向歪み補正処理(ステップS55)について説明する。本実施の形態の副走査方向の歪み補正処理は、スキャナ部1(画像読取手段)の固有パラメータ(レンズの焦点面距離、スキャン光軸の位置(アドレス))が未知の場合における副走査方向歪み補正処理であって、副走査方向に隣接する縦成分矩形の中心座標間の距離を算出し、算出した距離の値を利用して副走査方向変倍率を算出するものである。
【0152】
図53は、本実施の形態の副走査方向歪み補正処理の流れを概略的に示すフローチャートである。図53に示すように、ステップS301においては、主走査方向歪み補正されたスキャン画像に基づいて文字の縦成分矩形A(図54参照)を抽出する。ここで、文字認識処理については周知の技術であるので、その説明は省略する。このように文字の縦成分矩形Aを抽出するのは、この文字の縦成分矩形Aの形状の変化を基に、副走査方向の歪みを補正するためである。
【0153】
続いて、図54に示すように、スキャン画像を書籍原稿40のページ綴じ部41に平行な方向の複数の短冊状の領域Zに分割した後(ステップS302)、各短冊領域Zについて、副走査方向に隣接する縦成分矩形Aの中心座標間の距離の平均値を求める(ステップS303:距離検出手段)。
【0154】
なお、短冊領域Zの幅は、第一の実施の形態で述べた標準矩形サイズに基づいて決定される。このように短冊領域Zの幅を標準矩形サイズに基づいて決定するのは、短冊領域Zの幅を文字サイズに関係なく一定の値にしてしまうと、文字サイズが小さい場合に短冊領域Zの幅が大きすぎると、後述する短冊領域毎の副走査方向変倍率の精度が低くなるからである。
【0155】
ここで、副走査方向に隣接する縦成分矩形Aの中心座標間の距離の平均値の求め方について図55を参照しつつ詳述する。
1.図55に示すように、今注目している縦成分矩形A1の中心座標を(X0,Y0)とし、副走査方向に隣接する縦成分矩形A2の中心座標を(X1,Y1)とする。
2.副走査方向での縦成分矩形の中心座標間の距離W(W=X1−X0)を求める。
3.単語間の距離を対象とすると、距離Wの値が大きくなり不安定になってしまう。そこで、距離Wがある一定値以上のものは排除する。
4.縦成分矩形の中心座標間の中点C(C=(X0+X1)/2)を求め、距離Wの中点Cが属する短冊領域Zを求める(図55の例では、中点Cは短冊領域Z1に属する)。
5.各短冊領域Z内の縦成分矩形A間の距離Wの平均値を求める。
【0156】
なお、短冊領域Zの位置の変化に対する縦成分矩形A間の距離Wの平均の変化にフィルタリング処理を施して、短冊領域Zの位置の変化に対する縦成分矩形A間の距離Wの平均の変化がなだらかになるようにしても良い。
【0157】
このようにして各短冊領域内の距離Wの平均値を求めた後、各短冊領域内の距離Wの平均値から、短冊領域毎の副走査方向変倍率を算出する(ステップS304:変倍率算出手段)。副走査方向変倍率は、非歪み領域と歪み領域で縦成分矩形A間の距離を各短冊領域で同じにするものである。本実施の形態においては、ある基準となる短冊領域Zを定め、その基準短冊領域Zの縦成分矩形A間の距離Wの平均を原稿画像全体の基準矩形間距離とし、
(基準矩形間距離)/(各短冊領域の矩形間距離の平均)
の値を、当該短冊領域の副走査方向変倍率とする。なお、全短冊領域の矩形間距離の平均の最大値を基準矩形間距離とすることが好ましい。
【0158】
なお、各短冊領域Zの境界部で副走査方向変倍率が連続的に変化するように副走査方向変倍率を補正するようにしても良い。
【0159】
最後に、スキャン画像に対して、ステップS304で算出した短冊領域毎の副走査方向変倍率に応じて短冊領域Zの短辺方向(副走査方向)の拡大処理を行い、書籍原稿40のページ綴じ部41付近の歪みを補正する(ステップS305)。なお、画像の拡大処理は、例えばコピーの変倍機能として良く使われる3次関数のコンボリューション法等を用いて実行される。
【0160】
以上により副走査方向歪み補正処理(ステップS55)が終了し、図6に示すスキャン画像の歪み補正処理が終了する。ここで、図56は歪みを補正した画像を示す平面図である。以上の処理によれば、図8に示したような書籍原稿40のページ綴じ部41の近傍において生じていたスキャン画像の歪みが、図56に示すように補正されることになる。
【0161】
このように本実施の形態によれば、スキャン画像内の文字サイズに合わせて変更される閾値(第1閾値および第2閾値)を用いて抽出された黒画素ランを基に縦成分矩形が抽出され、縦成分矩形間の主走査方向および副走査方向の距離を基に文字行が抽出される。すなわち、文字サイズに合わせて閾値を変更する(例えば、英文画像のように文字が小さい場合にはランとして登録する時の長さの最小値を小さくする)ことで、確実に縦成分矩形を抽出できるようになり縦成分矩形の抽出漏れが防止されるとともに、このようにして抽出された縦成分矩形を用いることで隣接する文字の接触が防止される。このような縦成分矩形から近似曲線を求めることにより、スキャン画像内の文字サイズに関係なく画像の主走査方向の歪み補正における精度の高精度化を図ることが可能になる。
【0162】
また、文字サイズに応じて縦成分矩形の主走査方向の長さを規定する第3閾値が設定され、縦成分矩形の主走査方向の長さが第3閾値以上の場合、当該縦成分矩形の長さが当該第3閾値の長さに縮められることにより、小さい文字の縦成分矩形を極端に短くすることを防止しつつ主走査方向に矩形が接触するのを防ぐことが可能になるので、複数分の行が一行と誤認識されやすいという事態が回避され、安定した行統合が可能になる。
【0163】
さらに、文字行を抽出する際の主走査方向の統合距離である第4閾値が文字サイズに応じて設定され、第4閾値により規定された文字行を抽出する際の主走査方向の統合距離に従って文字行が抽出される。これにより、英語文のように日本語文に比べて主走査方向の矩形間距離が短くなるような場合には、行抽出時の主走査方向の統合距離である第4閾値を小さくすることで、過剰な行統合を回避することが可能になる。
【0164】
さらにまた、文字サイズに基づいて短冊領域の幅が決定され、この幅に基づいて縦成分矩形の中心座標間の距離の平均が短冊単位で求められ、非歪み領域と歪み領域で矩形間距離が同じになるような副走査方向変倍率が算出される。すなわち、文字サイズに合わせて閾値を変更する(例えば、英文画像のように文字が小さい場合には短冊領域の幅を小さくする)ことで、短冊領域毎の副走査方向変倍率の精度を高精度にすることが可能になる。これにより、スキャン画像内の文字サイズに関係なく画像の副走査方向の歪み補正における精度の高精度化を図ることが可能になる。
【0165】
[第二の実施の形態]
本発明の第二の実施の形態を図57ないし図65に基づいて説明する。なお、前述した第一の実施の形態と同一部分は同一符号で示し説明も省略する。本実施の形態は、前述した第一の実施の形態とは、図43のステップS55における副走査方向の歪み補正処理が異なるものである。本実施の形態は、スキャナ部1(画像読取手段)の固有パラメータ(レンズの焦点面距離、スキャン光軸の位置(アドレス))が未知の場合における副走査方向歪み補正処理である。
【0166】
図57は、固有パラメータが未知の場合における副走査方向歪み補正処理の流れを概略的に示すフローチャートである。図57に示すように、ステップS101においては、主走査方向歪み補正されたスキャン画像に基づいて文字の外接矩形A(図58参照)を抽出する。ここで、文字認識処理については周知の技術であるので、その説明は省略する。このように文字の外接矩形Aを抽出するのは、この文字の外接矩形Aの形状の変化を基に、副走査方向の歪みを補正するためである。ここでは、図58に示すように、文字外接矩形Aの横辺の長さw、縦辺の長さh、および、文字の中心Bを定義する。ここで、文字の中心Bは、外接矩形Aの対角線の交点である。
【0167】
続いて、図59に示すように、スキャン画像を書籍原稿40のページ綴じ部41に平行な方向の複数の短冊状の領域Cに分割した後(ステップS102)、各短冊領域Cについて、そこに含まれる文字外接矩形Aに関する特徴量を求める(ステップS103)。ここで、ある短冊領域Cに含まれる文字外接矩形Aとは、その中心が当該短冊領域Cに含まれるような外接矩形Aのことである。例えば、図59の短冊領域C1に含まれる外接矩形Aは、図中の網掛けを施した矩形である。
【0168】
さて、上記の文字外接矩形Aに関する特徴量は、
(文字の横辺の長さ)/(文字の縦辺の長さ)=w/h
を基に求められる。すなわち、各短冊領域Cについて、そこに含まれる全ての文字外接矩形Aのw/hの値の平均値をその短冊領域Cの特徴量とするのである。
【0169】
しかしながら、単に、w/hの平均値を算出すると不適切な場合がある。文字の中には、句読点や数式中の記号のようにそのサイズが元々小さく、w/hの値が不安定なものがある。また、矩形抽出の際に隣接する文字同士がくっついて抽出されてしまい、wが極端に大きい文字外接矩形Aが生じる場合もある。特徴量を求める場合は、このような特殊な文字や極端にwが大きいものを予め排除しておく必要がある。そこで、続くステップS104においては、予め閾値を定めておいて、hの値がその閾値より小さな文字外接矩形Aを予め排除するとともに、w/hの比率に関する閾値を予め定めておき、w/hの値が其の閾値よりも大きい文字外接矩形Aも予め排除する。例えば、図60中に示した網掛けを施した文字外接矩形Aが予め排除されることになる。
【0170】
続くステップS105においては、前述したように極端な文字外接矩形Aを排除した後に、各短冊領域C内の文字外接矩形Aのw/hの平均値を求める。図61に各短冊領域C内の外接矩形Aのw/hの平均値の一例を示す。なお、図61中の短冊領域C2は、書籍原稿40のページ綴じ部41を含む短冊領域である。
【0171】
続いて、書籍原稿40のページ綴じ部41を含む短冊領域C2に文字外接矩形Aが存在するか否かを判断する(ステップS106)。これは、図60に示すように、一般には書籍原稿40のページ綴じ部41付近には文字外接矩形Aが存在しない場合が多いからである。書籍原稿40のページ綴じ部41を含む短冊領域C2に文字外接矩形Aが存在する場合は(ステップS106のY)、その文字外接矩形Aを利用して特徴量は算出されているのでそのままステップS108に進む。
【0172】
一方、書籍原稿40のページ綴じ部41を含む短冊領域C2に文字外接矩形Aが存在しない場合は(ステップS106のN)、ステップS107に進み、書籍原稿40のページ綴じ部41を含む短冊領域C2の特徴量を求める。なお、書籍原稿40のページ綴じ部41を含む短冊領域C2の識別は、例えば、スキャン画像(例えば、モノクロ多値画像)の地肌濃度変化を各短冊領域Cごとに求め、短冊領域C内の最も濃度の薄い濃度値を求めることにより実現される。図62は地肌濃度変化を求めた一例を示したものであり、地肌濃度が最も濃い短冊領域が、書籍原稿40のページ綴じ部41を含む短冊領域C2であるとみなされる。
【0173】
なお、スキャン画像がカラー多値画像の場合における書籍原稿40のページ綴じ部41を含む短冊領域C2の識別は、例えばRGB成分の何れか一つの成分(例えばG成分)に着目し、そのG成分の地肌濃度を使用して識別するようにすれば良い。また、RGBを色変換して輝度成分と色差成分とに分け、輝度成分を使用して書籍原稿40のページ綴じ部41を含む短冊領域C2を識別するようにしても良い。
【0174】
書籍原稿40のページ綴じ部41を含む短冊領域C2の特徴量は、次のようにして定められる。ここでは、統計的特徴量の算出対象となり得る文字外接矩形Aが存在し、かつ、ページ綴じ部41を含む短冊領域C2の最近傍である短冊領域Cの特徴量に対して予め定めた定数値を乗じることにより算出された値が、書籍原稿40のページ綴じ部41を含む短冊領域C2における特徴量とみなされるものである。つまり、図61に示した例では、書籍原稿40のページ綴じ部41を含む短冊領域C2の左右何れの短冊領域C3,C4にも文字外接矩形Aが存在するので、どちらか適当な方の特徴量を選択し(ここでは右側の○印の方)、それに予め定めた定数値(ここでは0.5)を乗じて、これを書籍原稿40のページ綴じ部41を含む短冊領域C2の特徴量としている。
【0175】
続くステップS108においては、各短冊領域Cの特徴量に対する適切なフィルタリング処理、例えば、短冊領域Cの位置の変化方向(即ち副走査方向)に関する移動平均を求める処理を施すなどして、短冊領域Cの位置の変化に対する(副走査方向の)特徴量の変化がなだらかになるようにする。ただし、ここでも書籍原稿40のページ綴じ部41付近は特別な処理が必要となる。なぜなら、副走査方向に関して長さが全て等しいウィンドウを用いてフィルタリングを行うと、書籍原稿40のページ綴じ部41付近の特徴量の変化の鋭さが失われてしまうからである。
【0176】
ここで、長さが全て5であるウィンドウを用いて図61に示した各短冊領域Cの特徴量に対してフィルタリング処理を施した結果を図63に示す。図63に示すように、長さが全て5であるウィンドウを用いてフィルタリング処理を施した場合には、書籍原稿40のページ綴じ部41付近の特徴量(w/h)の変化がなだらかになり過ぎてしまう。このような場合には、書籍原稿40のページ綴じ部41付近での適切な画像補正が不可能になってしまう。
【0177】
そこで、本実施の形態においては、フィルタリング処理の際には、フィルタのウィンドウが書籍原稿40のページ綴じ部41を含む短冊領域C2の両側の短冊領域C3,C4に跨がらないように、ページ綴じ部41付近でウィンドウ長を調整する。ここで、図64はページ綴じ部41付近でウィンドウ長を調整してフィルタリング処理を施した結果を示すグラフである。図64に示すように、ページ綴じ部41付近でウィンドウ長を調整した場合には、ページ綴じ部41付近の特徴量(w/h)の変化を適切に表現できるので、良好な画像補正が実現できる。
【0178】
続くステップS109においては、各短冊領域Cの推定歪み量を算出する。各短冊領域Cの推定歪み量の算出手法は、以下に示す通りである。
【0179】
まず、短冊領域の歪み量を算出するための基準となる短冊領域(基準短冊領域)を定める。ここでは、歪みが最も小さいと考えられる短冊領域C、例えば、特徴量(w/h)が最大である短冊領域Cを基準短冊領域とする。この処理は左右ページで共通に行っても良いが、左右独立に基準短冊領域を定めても構わない。図64においては、左右独立に基準短冊領域を定めた例を示しており、○印を施した短冊領域Cが基準短冊領域であり、左側の基準特徴量を“Lw0/Lh0”、右側の基準特徴量を“Rw0/Rh0”、でそれぞれ示している。
【0180】
次に、基準短冊領域の特徴量w0/h0をスキャン画像全体の基準特徴量とし、
(各短冊領域の特徴量)/(基準特徴量)=(w/h)/(w0/h0)
の値を、各短冊領域の推定歪み量として算出する。
【0181】
なお、書籍原稿40のページ綴じ部41から外れたページ外側付近の短冊領域Cを基準短冊領域とすると、書籍原稿40のページ綴じ部41付近とはフォントや活字のサイズの違いが大きくて、適切な推定歪み量が算出できない場合も考えられる。そのような画像を対象とする場合は、基準短冊領域の探索範囲を予め書籍原稿40のページ綴じ部41付近に限定しておくのが有効である。これを実現するためには、地肌濃度が予め定めた濃度よりも濃い短冊領域Cのみから基準短冊領域を求めるようにすれば良い。
【0182】
最後に、スキャン画像に対して、短冊領域Cの短辺方向(副走査方向)の拡大処理を行い、書籍原稿40のページ綴じ部41付近の歪みを補正する(ステップS110)。その場合の拡大率は、ステップS109において算出した推定歪み量の逆数、すなわち、
(基準特徴量)/(各短冊領域の特徴量)=(w0/h0)/(w/h)
とする。ここで、上記の基準短冊領域を左右共通に定めた場合には、この拡大率も左右共通の基準特徴量によって算出し、独立に定めた場合には、左右それぞれの基準特徴量で独立に算出するようにする。図65は、図64に示した特徴量に基づいて算出した補正拡大率を示したものである。
【0183】
なお、ここでも、書籍原稿40のページ綴じ部41付近から離れた短冊領域Cはもともと画像の歪みが無い領域である可能性が高いので、拡大処理の対象としない方が良い場合がある。拡大処理を行ったために、かえって不自然な歪みが生じてしまう可能性があるからである。これを防ぐために、地肌濃度が予め定めた濃度よりも薄い短冊領域Cについては、推定歪み量を“1”とする。
【0184】
また、短冊領域C内において共通の補正拡大率を適用した場合、隣接する短冊領域Cの境界部での補正拡大率が不連続となるため、補正画像が不自然となる。そこで、隣接する短冊領域Cの境界部での補正拡大率が連続的に変化するように、補正拡大率を予め補正しておく。これは、例えば図65に示す短冊領域Cの中央部分の補正拡大率を推定歪み量の逆数を示す点としてプロットし、これらの点を線分で結んで直線補完することで、他の部分の補正拡大率とすることで実現できる。以上の処理により、スキャン画像の副走査方向の補正拡大率が確定する。
【0185】
なお、画像の拡大処理は、例えばコピーの変倍機能として良く使われる3次関数のコンボリューション法等を用いて実行される。
【0186】
以上により副走査方向歪み補正処理が終了し、図6に示すスキャン画像の歪み補正処理が終了する。以上の処理によれば、図8に示したような書籍原稿40のページ綴じ部41の近傍において生じていたスキャン画像の歪みが、図56に示すように補正されることになる。
【0187】
[第三の実施の形態]
本発明の第三の実施の形態を図66ないし図69に基づいて説明する。なお、前述した第一の実施の形態と同一部分は同一符号で示し説明も省略する。本実施の形態は、前述した第一の実施の形態とは、図43のステップS55における副走査方向の歪み補正処理が異なるものである。本実施の形態は、スキャナ部1(画像読取手段)の固有パラメータ(レンズの焦点面距離、スキャン光軸の位置(アドレス))が既知の場合における副走査方向歪み補正処理である。
【0188】
スキャンの主走査方向と書籍原稿40のページ綴じ部41の境界線が平行な場合、レンズユニット10等のスキャナーレンズによる書籍原稿40を読み取るとき、結像系は次の特性を持つ。主走査方向は中心投影であり、副走査方向は平射投影である。ここで、これらの特性を利用して、3次元形状復元を行う。
【0189】
中心投影する場合、図66と図67に示すように書籍原稿40の表面はコンタクトガラス2の表面から浮いて結像距離が遠くなり、画像の拡大倍率は小さくなるので、外形エッジの直線はだんだん内側に湾曲していく。図67の縮む量ABを測定すれば、図66に示す浮いた本の表面の高さhを計算できる。従って、直線の内側への歪み量を測定すれば、3次元形状(書籍原稿40のコンタクトガラス2からの浮き上がりの量)を復元できる。
【0190】
ここで、書籍原稿40を水平にコンタクトガラス2上に置くことを仮定する。そうすると、3次元の形状は2次元になる。スキャナーレンズの結像関係を図68に示す。OO´はレンズの光軸であり、0はレンズの中心である。Fはレンズの中心0からスキャナ表面(コンタクトガラス2)までの距離で、これを、スキャナの焦点距離と言う。スキャナ表面上の点Bは結像面でDに結像する。浮いた製本(書籍原稿40)の表面上の点CはEに結像する。それぞれの結像面の中心0との距離はy´とyである(第一走行体5および第二走行体8が副走査方向に移動することによって、中心0も移動するが、その軌跡を結像中心線と呼ぶことにする)。三角形の相似関係により次の関係式(6),(7)が得られる。
h/F=AB/AO´ ・・・(6)
AB/AO´=(y´−y)/y ・・・(7)
また、式(6),(7)により、書籍原稿40の浮き上がりの量hが次式(8)により得られる。
h=F×((y´−y)/y) ・・・(8)
この式(8)により2次元の歪み量から3次元形状が求められることがわかる。ここで、歪み量(y´−y)と距離yは画像から求められるが、本実施の形態では、これを文字行あるいは罫線の直線成分と曲線部分との距離から求めるものである。レンズの焦点距離Fはスキャナ部1によって定まる既知量であり、スキャナ部1の設定値かレンズの校正値を用いる。
【0191】
したがって、スキャナ部1(画像読取手段)の固有パラメータ(レンズの焦点面距離、スキャン光軸の位置(アドレス))が既知の場合には、ページ外形/罫線/文字行の湾曲の度合いから書籍表面のスキャン面からの浮きの高さhを求め、図69に示すように、副走査方向の1画素分をm倍に伸張して継ぎ足すことにより、副走査方向の歪みを補正することができる。
【0192】
以上により副走査方向歪み補正処理が終了し、図6に示すスキャン画像の歪み補正処理が終了する。以上の処理によれば、図8に示したような書籍原稿40のページ綴じ部41の近傍において生じていたスキャン画像の歪みが、図56に示すように補正されることになる。
【0193】
なお、各実施の形態においては、画像読取装置としてデジタル複写機のスキャナ部1を適用したが、これに限るものではなく、例えば自動ページ捲り機能を搭載したスキャナ等に適用するようにしても良い。
【0194】
また、各実施の形態においては、書籍原稿40のページ綴じ部41とスキャナ部1の画像読み取りの主走査方向とが平行になるように位置させて書籍原稿40をコンタクトガラス2上に下向きに載置した場合について説明したが、これに限るものではない。例えば、図70に示すように、上向きの書籍原稿40をコンタクトガラス2の下方からコンタクトガラス2に対して押し付けるように接触させるものであっても良い。
【0195】
さらに、各実施の形態においては、画像歪み補正装置を画像形成装置であるデジタル複写機16に備え、デジタル複写機16のスキャナ部1で読み取ったスキャン画像に対して画像の歪み補正処理を施すようにしたが、これに限るものではない。例えば、原稿画像を読み取る画像読取手段を備えたイメージスキャナをパーソナルコンピュータに接続するとともに、このパーソナルコンピュータのHDDに記憶媒体であるCD−ROM37に格納されたプログラムをインストールすることによって画像歪み補正装置を構成しても、前述したような各種の作用効果と同様の作用効果を得ることができる。また、記憶媒体であるCD−ROM37に格納されたプログラムをパーソナルコンピュータのHDDにインストールすることによって画像歪み補正装置を構成し、予め画像読取手段により読み取られたスキャン画像に対して歪み補正処理を施すようにしても良い。
【図面の簡単な説明】
【0196】
【図1】本発明の第一の実施の形態のスキャナ部の構成を示す縦断正面図である。
【図2】スキャナ部を搭載したデジタル複写機の上部部分を示す斜視図である。
【図3】スキャナ部の制御系の電気的な接続を示すブロック図である。
【図4】画像処理部の基本的な内部構成を示すブロック図である。
【図5】メイン制御部の電気的な接続を示すブロック図である。
【図6】スキャン画像の歪み補正処理の流れを概略的に示すフローチャートである。
【図7】スキャナ部のコンタクトガラス上に書籍原稿を載置した状態を示す斜視図である。
【図8】入力した画像の一例を示す平面図である。
【図9】スキャン画像のページ綴じ部の近傍の歪みを示す説明図である。
【図10】図8に示した画像の黒画素ヒストグラムである。
【図11】ページ外形/罫線/文字行の抽出処理の流れを概略的に示すフローチャートである。
【図12】上端にページ外形が存在するスキャン画像の一例を示す説明図である。
【図13】図12に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。
【図14】長い罫線が存在するスキャン画像の一例を示す説明図である。
【図15】2値化した画像に矩形抽出を施した結果を示す説明図である。
【図16】罫線がノイズと接触している場合を示す説明図である。
【図17】表が含まれる画像を示す説明図である。
【図18】一定値未満のランのみを登録し矩形を抽出した結果を示す説明図である。
【図19】副走査方向に矩形が細切れに抽出されてしまう場合を示す説明図である。
【図20】矩形統合を施した例を示す説明図である。
【図21】矩形抽出を行った結果を示す説明図である。
【図22】図8に示した画像の副走査方向の黒白反転数ヒストグラムである。
【図23】図8に示した画像の主走査方向の黒白反転数ヒストグラムである。
【図24】標準矩形サイズの算出を行うための領域を示す説明図である。
【図25】必要な指定領域内の文字の外接矩形を示す説明図である。
【図26】文字の外接矩形の主走査方向における距離を求める手法を示す説明図である。
【図27】横書き文字行候補の検出の結果の一例を示す説明図である。
【図28】縦成分矩形を縮める手法を示す説明図である。
【図29】縦成分矩形を主走査方向に縮める長さの閾値の計算結果の一例を示すグラフである。
【図30】縦成分矩形を縮めた横書き文字行候補の検出の結果の一例を示す説明図である。
【図31】主走査方向間に隣接する矩形の行統合を示す説明図である。
【図32】(a)は縦成分矩形による近似曲線の生成を示す説明図、(b)は行を拡大して示す説明図である。
【図33】矩形抽出を行った結果を示す説明図である。
【図34】ページ外形に歪みを生じている部分がまだらに読み取られているような場合に、この部分を横書き文字行として認識する場合を示す説明図である。
【図35】各縦書き文字行からの横書き文字行の抽出処理の流れを概略的に示すフローチャートである。
【図36】抽出した行切り出し矩形を例示的に示す説明図である。
【図37】予め定めた距離範囲内に先頭が存在する縦書き文字行を例示的に示す説明図である。
【図38】抽出した縦書き文字行の先頭のy座標に関してヒストグラムを構成する状態を示す説明図である。
【図39】画像の歪みを生じていない部分における処理を示す説明図である。
【図40】画像の歪みを生じている部分における処理を示す説明図である。
【図41】抽出した縦書き文字行を示す説明図である。
【図42】縦書き文字行の行切り出し矩形を示す説明図である。
【図43】画像歪み補正処理の流れを概略的に示すフローチャートである。
【図44】スキャン画像の上辺及び下辺のいずれにも「ページ外形」が存在する場合を示す説明図である。
【図45】図44を画素シフトした状態を示す説明図である。
【図46】スキャン画像の上辺及び下辺の何れか一方に「ページ外形」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合を示す説明図である。
【図47】図46を画素シフトした状態を示す説明図である。
【図48】スキャン画像の左右両ページの上辺及び下辺の何れか一方に「罫線」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合を示す説明図である。
【図49】図48を画素シフトした状態を示す説明図である。
【図50】スキャン画像の左右両ページの上辺及び下辺の何れか一方に「罫線」と「文字行」とが存在し、他方の辺の一方のページのみに「罫線」が存在する場合を示す説明図である。
【図51】図50を画素シフトした状態を示す説明図である。
【図52】スキャン画像の左右何れかのページの上辺及び下辺の何れか一方に「罫線」が存在し、他方の辺の他方のページのみに「文字行」が存在する場合を示す説明図である。
【図53】副走査方向歪み補正処理の流れを概略的に示すフローチャートである。
【図54】書籍原稿のページ綴じ部に平行な方向の複数の短冊状の領域に分割した状態を示す説明図である。
【図55】副走査方向に隣接する縦成分矩形の中心座標間の距離の算出を示す説明図である。
【図56】歪みを補正した画像を示す平面図である。
【図57】本発明の第二の実施の形態の副走査方向歪み補正処理の流れを概略的に示すフローチャートである。
【図58】抽出された文字外接矩形を示す説明図である。
【図59】二値化画像を書籍原稿のページ綴じ部に平行な方向の複数の短冊状の領域に分割した状態を示す説明図である。
【図60】予め排除される文字外接矩形を示す説明図である。
【図61】各短冊領域内の外接矩形の特徴量の平均値の一例を示すグラフである。
【図62】各短冊領域内の地肌濃度変化の一例を示すグラフである。
【図63】図61に示した各短冊領域の特徴量に対して長さが全て5であるウィンドウを用いてフィルタリング処理を施した結果を示すグラフである。
【図64】図61に示した各短冊領域の特徴量に対してページ綴じ部付近でウィンドウ長を調整してフィルタリング処理を施した結果を示すグラフである。
【図65】図64に示した特徴量に基づいて算出した補正拡大率を示すグラフである。
【図66】本発明の第三の実施の形態の副走査方向歪み補正処理の説明のために本の表面の浮いた高さを示す説明図である。
【図67】画像が縮む量を示す説明図である。
【図68】スキャナーレンズの結像関係を示す説明図である。
【図69】固有パラメータが既知の場合における副走査方向歪み補正処理を示す説明図である。
【図70】コンタクトガラスに書籍原稿を接触させた状態を示す正面図である。
【図71】コンタクトガラス上に書籍原稿を載置した状態を示す正面図である。
【図72】文字単位の矩形抽出を示し、(a)は日本語の矩形抽出、(b)は英文の矩形抽出を示す説明図である。
【図73】複数分の行が一行と誤認識される場合を示す説明図である。
【図74】文字単位のアスペクト比を示し、(a)は日本語のアスペクト比、(b)は英語のアスペクト比を示す説明図である。
【符号の説明】
【0197】
1 画像読取装置
16 画像形成装置
19 画像歪み補正装置
37 記憶媒体
40 書籍原稿
41 ページ綴じ部
【特許請求の範囲】
【請求項1】
画像読取手段の主走査方向に対してページ綴じ部がほぼ平行となるようにスキャン面の上もしくは下に接触した書籍原稿画像を前記画像読取手段により読み取ったスキャン画像の歪みを当該スキャン画像内の文字行の形状を基に補正する画像歪み補正装置において、
前記スキャン画像内の文字のサイズを算出するサイズ算出手段と、
算出した文字サイズに応じ、黒画素ランの抽出に用いる閾値を設定する第1の閾値設定手段と、
前記スキャン画像から主走査方向に前記閾値の数の黒画素が連結する黒画素ランのみを抽出するラン抽出手段と、
抽出した黒画素ランを基に縦成分のみの矩形を縦成分矩形として抽出する縦成分矩形抽出手段と、
抽出した縦成分矩形間の主走査方向および副走査方向の距離を基に文字行を抽出する文字行抽出手段と、
抽出した文字行の中から、前記スキャン画像の歪み補正に利用するための文字行を決定する文字行決定手段と、
決定した文字行中に存在する各縦成分矩形を基に近似曲線を算出する近似曲線算出手段と、
を備えることを特徴とする画像歪み補正装置。
【請求項2】
前記サイズ算出手段により算出した文字サイズに応じ、縦成分矩形の主走査方向の長さを規定する第3閾値を設定する第2の閾値設定手段と、
前記縦成分矩形抽出手段により抽出した縦成分矩形の主走査方向の長さが前記第3閾値以上の場合、当該縦成分矩形の長さを当該第3閾値の長さに縮める縮小手段と、
を備えることを特徴とする請求項1記載の画像歪み補正装置。
【請求項3】
前記サイズ算出手段により算出した文字サイズに応じ、前記文字行抽出手段における文字行を抽出する際の主走査方向の統合距離である第4閾値を設定する第3の閾値設定手段を備え、
前記文字行抽出手段は、前記第4閾値により規定された文字行を抽出する際の主走査方向の統合距離に従って文字行を抽出する、
ことを特徴とする請求項1または2記載の画像歪み補正装置。
【請求項4】
前記サイズ算出手段は、前記スキャン画像中に前記文字サイズの算出を行うための領域を指定し、この指定領域内における標準的な文字の外接矩形を抽出し、抽出した文字の外接矩形の主走査方向における距離を前記文字サイズとして算出する、
ことを特徴とする請求項1記載の画像歪み補正装置。
【請求項5】
前記サイズ算出手段は、前記スキャン画像のページ綴じ部を境にした左右両側に前記文字サイズの算出を行うための領域を指定し、これらの指定領域の何れかで前記文字サイズが算出されなかった場合、前記文字サイズが算出された側の前記文字サイズを採用する、
ことを特徴とする請求項4記載の画像歪み補正装置。
【請求項6】
前記サイズ算出手段は、前記スキャン画像のページ綴じ部を境にした左右両側に前記文字サイズの算出を行うための領域を指定し、これらの指定領域の両方で前記文字サイズが算出されなかった場合、予め定められた一定の値を前記文字サイズとする、
ことを特徴とする請求項4記載の画像歪み補正装置。
【請求項7】
前記サイズ算出手段は、前記スキャン画像のページ綴じ部を境にした左右両側に前記文字サイズの算出を行うための領域を指定し、これらの指定領域の両方で算出された前記文字サイズを比較し、小さい方の前記文字サイズを両方の前記文字サイズとして採用する、
ことを特徴とする請求項4記載の画像歪み補正装置。
【請求項8】
前記文字行決定手段は、ページ綴じ部付近まで最も食い込んでいる文字行を前記スキャン画像の歪み補正に利用するための文字行と決定する、
ことを特徴とする請求項1ないし7のいずれか一記載の画像歪み補正装置。
【請求項9】
前記文字行決定手段は、副走査方向の長さが最も長い文字行を前記スキャン画像の歪み補正に利用するための文字行と決定する、
ことを特徴とする請求項1ないし7のいずれか一記載の画像歪み補正装置。
【請求項10】
前記文字行決定手段は、前記スキャン画像のページ外形に最も近い文字行を前記スキャン画像の歪み補正に利用するための文字行と決定する、
ことを特徴とする請求項1ないし7のいずれか一記載の画像歪み補正装置。
【請求項11】
前記文字行決定手段は、前記スキャン画像の歪み補正に利用するための文字行を、ページ綴じ部付近まで最も食い込んでいる文字行、副走査方向の長さが最も長い文字行、前記スキャン画像のページ外形に最も近い文字行の順に決定する、
ことを特徴とする請求項1ないし7のいずれか一記載の画像歪み補正装置。
【請求項12】
主走査方向の歪み補正後の各文字行内にて隣接する縦成分矩形の中心座標間の副走査方向の距離を矩形間距離として検出する距離検出手段と、
主走査方向の歪み補正後の画像を主走査方向に平行な方向を長辺とする短冊状の複数の領域に分割し、各短冊領域内での矩形間距離の平均を基に非歪み領域と歪み領域で矩形間距離が同じになるような前記スキャン画像の短冊領域毎の副走査方向変倍率を算出する変倍率算出手段と、
を備え、
前記短冊領域の幅は、前記サイズ算出手段により算出した文字サイズに基づいて決定される、
ことを特徴とする請求項1ないし11のいずれか一記載の画像歪み補正装置。
【請求項13】
原稿画像を読み取る画像読取手段と、
この画像読取手段により読み取られたスキャン画像の補正を行う請求項1ないし12のいずれか一記載の画像歪み補正装置と、
を備えることを特徴とする画像読取装置。
【請求項14】
原稿画像を読み取る画像読取手段と、
この画像読取手段により読み取られたスキャン画像の補正を行う請求項1ないし12のいずれか一記載の画像歪み補正装置と、
この画像歪み補正装置から出力される画像データに基づいた画像を用紙上に印刷する画像印刷装置と、
を備えることを特徴とする画像形成装置。
【請求項15】
画像読取手段の主走査方向に対してページ綴じ部がほぼ平行となるようにスキャン面の上もしくは下に接触した書籍原稿画像を前記画像読取手段により読み取ったスキャン画像の歪みを当該スキャン画像内の文字行の形状を基に補正する処理をコンピュータに実行させるプログラムであって、前記コンピュータに、
前記スキャン画像内の文字のサイズを算出するサイズ算出機能と、
算出した文字サイズに応じ、黒画素ランの抽出に用いる閾値を設定する第1の閾値設定機能と、
前記スキャン画像から主走査方向に前記閾値の数の黒画素が連結する黒画素ランのみを抽出するラン抽出機能と、
抽出した黒画素ランを基に縦成分のみの矩形を縦成分矩形として抽出する縦成分矩形抽出機能と、
抽出した縦成分矩形間の主走査方向および副走査方向の距離を基に文字行を抽出する文字行抽出機能と、
抽出した文字行の中から、前記スキャン画像の歪み補正に利用するための文字行を決定する文字行決定機能と、
決定した文字行中に存在する各縦成分矩形を基に近似曲線を算出する近似曲線算出機能と、
を実行させることを特徴とするプログラム。
【請求項16】
前記サイズ算出機能により算出した文字サイズに応じ、縦成分矩形の主走査方向の長さを規定する第3閾値を設定する第2の閾値設定機能と、
前記縦成分矩形抽出機能により抽出した縦成分矩形の主走査方向の長さが前記第3閾値以上の場合、当該縦成分矩形の長さを当該第3閾値の長さに縮める縮小機能と、
を前記コンピュータに実行させることを特徴とする請求項15記載のプログラム。
【請求項17】
前記サイズ算出機能により算出した文字サイズに応じ、前記文字行抽出機能における文字行を抽出する際の主走査方向の統合距離である第4閾値を設定する第3の閾値設定機能を前記コンピュータに実行させ、
前記文字行抽出機能は、前記第4閾値により規定された文字行を抽出する際の主走査方向の統合距離に従って文字行を抽出する、
ことを特徴とする請求項15または16記載のプログラム。
【請求項18】
前記サイズ算出機能は、前記スキャン画像中に前記文字サイズの算出を行うための領域を指定し、この指定領域内における標準的な文字の外接矩形を抽出し、抽出した文字の外接矩形の主走査方向における距離を前記文字サイズとして算出する、
ことを特徴とする請求項15記載のプログラム。
【請求項19】
前記サイズ算出機能は、前記スキャン画像のページ綴じ部を境にした左右両側に前記文字サイズの算出を行うための領域を指定し、これらの指定領域の何れかで前記文字サイズが算出されなかった場合、前記文字サイズが算出された側の前記文字サイズを採用する、
ことを特徴とする請求項18記載のプログラム。
【請求項20】
前記サイズ算出機能は、前記スキャン画像のページ綴じ部を境にした左右両側に前記文字サイズの算出を行うための領域を指定し、これらの指定領域の両方で前記文字サイズが算出されなかった場合、予め定められた一定の値を前記文字サイズとする、
ことを特徴とする請求項18記載のプログラム。
【請求項21】
前記サイズ算出機能は、前記スキャン画像のページ綴じ部を境にした左右両側に前記文字サイズの算出を行うための領域を指定し、これらの指定領域の両方で算出された前記文字サイズを比較し、小さい方の前記文字サイズを両方の前記文字サイズとして採用する、
ことを特徴とする請求項18記載のプログラム。
【請求項22】
前記文字行決定機能は、ページ綴じ部付近まで最も食い込んでいる文字行を前記スキャン画像の歪み補正に利用するための文字行と決定する、
ことを特徴とする請求項15ないし21のいずれか一記載のプログラム。
【請求項23】
前記文字行決定機能は、副走査方向の長さが最も長い文字行を前記スキャン画像の歪み補正に利用するための文字行と決定する、
ことを特徴とする請求項15ないし21のいずれか一記載のプログラム。
【請求項24】
前記文字行決定機能は、前記スキャン画像のページ外形に最も近い文字行を前記スキャン画像の歪み補正に利用するための文字行と決定する、
ことを特徴とする請求項15ないし21のいずれか一記載のプログラム。
【請求項25】
前記文字行決定機能は、前記スキャン画像の歪み補正に利用するための文字行を、ページ綴じ部付近まで最も食い込んでいる文字行、副走査方向の長さが最も長い文字行、前記スキャン画像のページ外形に最も近い文字行の順に決定する、
ことを特徴とする請求項15ないし21のいずれか一記載のプログラム。
【請求項26】
主走査方向の歪み補正後の各文字行内にて隣接する縦成分矩形の中心座標間の副走査方向の距離を矩形間距離として検出する距離検出機能と、
主走査方向の歪み補正後の画像を主走査方向に平行な方向を長辺とする短冊状の複数の領域に分割し、各短冊領域内での矩形間距離の平均を基に非歪み領域と歪み領域で矩形間距離が同じになるような前記スキャン画像の短冊領域毎の副走査方向変倍率を算出する変倍率算出機能と、
を前記コンピュータに実行させ、
前記短冊領域の幅は、前記サイズ算出手段により算出した文字サイズに基づいて決定される、
ことを特徴とする請求項15ないし25のいずれか一記載のプログラム。
【請求項27】
請求項15ないし26のいずれか一記載のプログラムを記憶することを特徴とする記憶媒体。
【請求項1】
画像読取手段の主走査方向に対してページ綴じ部がほぼ平行となるようにスキャン面の上もしくは下に接触した書籍原稿画像を前記画像読取手段により読み取ったスキャン画像の歪みを当該スキャン画像内の文字行の形状を基に補正する画像歪み補正装置において、
前記スキャン画像内の文字のサイズを算出するサイズ算出手段と、
算出した文字サイズに応じ、黒画素ランの抽出に用いる閾値を設定する第1の閾値設定手段と、
前記スキャン画像から主走査方向に前記閾値の数の黒画素が連結する黒画素ランのみを抽出するラン抽出手段と、
抽出した黒画素ランを基に縦成分のみの矩形を縦成分矩形として抽出する縦成分矩形抽出手段と、
抽出した縦成分矩形間の主走査方向および副走査方向の距離を基に文字行を抽出する文字行抽出手段と、
抽出した文字行の中から、前記スキャン画像の歪み補正に利用するための文字行を決定する文字行決定手段と、
決定した文字行中に存在する各縦成分矩形を基に近似曲線を算出する近似曲線算出手段と、
を備えることを特徴とする画像歪み補正装置。
【請求項2】
前記サイズ算出手段により算出した文字サイズに応じ、縦成分矩形の主走査方向の長さを規定する第3閾値を設定する第2の閾値設定手段と、
前記縦成分矩形抽出手段により抽出した縦成分矩形の主走査方向の長さが前記第3閾値以上の場合、当該縦成分矩形の長さを当該第3閾値の長さに縮める縮小手段と、
を備えることを特徴とする請求項1記載の画像歪み補正装置。
【請求項3】
前記サイズ算出手段により算出した文字サイズに応じ、前記文字行抽出手段における文字行を抽出する際の主走査方向の統合距離である第4閾値を設定する第3の閾値設定手段を備え、
前記文字行抽出手段は、前記第4閾値により規定された文字行を抽出する際の主走査方向の統合距離に従って文字行を抽出する、
ことを特徴とする請求項1または2記載の画像歪み補正装置。
【請求項4】
前記サイズ算出手段は、前記スキャン画像中に前記文字サイズの算出を行うための領域を指定し、この指定領域内における標準的な文字の外接矩形を抽出し、抽出した文字の外接矩形の主走査方向における距離を前記文字サイズとして算出する、
ことを特徴とする請求項1記載の画像歪み補正装置。
【請求項5】
前記サイズ算出手段は、前記スキャン画像のページ綴じ部を境にした左右両側に前記文字サイズの算出を行うための領域を指定し、これらの指定領域の何れかで前記文字サイズが算出されなかった場合、前記文字サイズが算出された側の前記文字サイズを採用する、
ことを特徴とする請求項4記載の画像歪み補正装置。
【請求項6】
前記サイズ算出手段は、前記スキャン画像のページ綴じ部を境にした左右両側に前記文字サイズの算出を行うための領域を指定し、これらの指定領域の両方で前記文字サイズが算出されなかった場合、予め定められた一定の値を前記文字サイズとする、
ことを特徴とする請求項4記載の画像歪み補正装置。
【請求項7】
前記サイズ算出手段は、前記スキャン画像のページ綴じ部を境にした左右両側に前記文字サイズの算出を行うための領域を指定し、これらの指定領域の両方で算出された前記文字サイズを比較し、小さい方の前記文字サイズを両方の前記文字サイズとして採用する、
ことを特徴とする請求項4記載の画像歪み補正装置。
【請求項8】
前記文字行決定手段は、ページ綴じ部付近まで最も食い込んでいる文字行を前記スキャン画像の歪み補正に利用するための文字行と決定する、
ことを特徴とする請求項1ないし7のいずれか一記載の画像歪み補正装置。
【請求項9】
前記文字行決定手段は、副走査方向の長さが最も長い文字行を前記スキャン画像の歪み補正に利用するための文字行と決定する、
ことを特徴とする請求項1ないし7のいずれか一記載の画像歪み補正装置。
【請求項10】
前記文字行決定手段は、前記スキャン画像のページ外形に最も近い文字行を前記スキャン画像の歪み補正に利用するための文字行と決定する、
ことを特徴とする請求項1ないし7のいずれか一記載の画像歪み補正装置。
【請求項11】
前記文字行決定手段は、前記スキャン画像の歪み補正に利用するための文字行を、ページ綴じ部付近まで最も食い込んでいる文字行、副走査方向の長さが最も長い文字行、前記スキャン画像のページ外形に最も近い文字行の順に決定する、
ことを特徴とする請求項1ないし7のいずれか一記載の画像歪み補正装置。
【請求項12】
主走査方向の歪み補正後の各文字行内にて隣接する縦成分矩形の中心座標間の副走査方向の距離を矩形間距離として検出する距離検出手段と、
主走査方向の歪み補正後の画像を主走査方向に平行な方向を長辺とする短冊状の複数の領域に分割し、各短冊領域内での矩形間距離の平均を基に非歪み領域と歪み領域で矩形間距離が同じになるような前記スキャン画像の短冊領域毎の副走査方向変倍率を算出する変倍率算出手段と、
を備え、
前記短冊領域の幅は、前記サイズ算出手段により算出した文字サイズに基づいて決定される、
ことを特徴とする請求項1ないし11のいずれか一記載の画像歪み補正装置。
【請求項13】
原稿画像を読み取る画像読取手段と、
この画像読取手段により読み取られたスキャン画像の補正を行う請求項1ないし12のいずれか一記載の画像歪み補正装置と、
を備えることを特徴とする画像読取装置。
【請求項14】
原稿画像を読み取る画像読取手段と、
この画像読取手段により読み取られたスキャン画像の補正を行う請求項1ないし12のいずれか一記載の画像歪み補正装置と、
この画像歪み補正装置から出力される画像データに基づいた画像を用紙上に印刷する画像印刷装置と、
を備えることを特徴とする画像形成装置。
【請求項15】
画像読取手段の主走査方向に対してページ綴じ部がほぼ平行となるようにスキャン面の上もしくは下に接触した書籍原稿画像を前記画像読取手段により読み取ったスキャン画像の歪みを当該スキャン画像内の文字行の形状を基に補正する処理をコンピュータに実行させるプログラムであって、前記コンピュータに、
前記スキャン画像内の文字のサイズを算出するサイズ算出機能と、
算出した文字サイズに応じ、黒画素ランの抽出に用いる閾値を設定する第1の閾値設定機能と、
前記スキャン画像から主走査方向に前記閾値の数の黒画素が連結する黒画素ランのみを抽出するラン抽出機能と、
抽出した黒画素ランを基に縦成分のみの矩形を縦成分矩形として抽出する縦成分矩形抽出機能と、
抽出した縦成分矩形間の主走査方向および副走査方向の距離を基に文字行を抽出する文字行抽出機能と、
抽出した文字行の中から、前記スキャン画像の歪み補正に利用するための文字行を決定する文字行決定機能と、
決定した文字行中に存在する各縦成分矩形を基に近似曲線を算出する近似曲線算出機能と、
を実行させることを特徴とするプログラム。
【請求項16】
前記サイズ算出機能により算出した文字サイズに応じ、縦成分矩形の主走査方向の長さを規定する第3閾値を設定する第2の閾値設定機能と、
前記縦成分矩形抽出機能により抽出した縦成分矩形の主走査方向の長さが前記第3閾値以上の場合、当該縦成分矩形の長さを当該第3閾値の長さに縮める縮小機能と、
を前記コンピュータに実行させることを特徴とする請求項15記載のプログラム。
【請求項17】
前記サイズ算出機能により算出した文字サイズに応じ、前記文字行抽出機能における文字行を抽出する際の主走査方向の統合距離である第4閾値を設定する第3の閾値設定機能を前記コンピュータに実行させ、
前記文字行抽出機能は、前記第4閾値により規定された文字行を抽出する際の主走査方向の統合距離に従って文字行を抽出する、
ことを特徴とする請求項15または16記載のプログラム。
【請求項18】
前記サイズ算出機能は、前記スキャン画像中に前記文字サイズの算出を行うための領域を指定し、この指定領域内における標準的な文字の外接矩形を抽出し、抽出した文字の外接矩形の主走査方向における距離を前記文字サイズとして算出する、
ことを特徴とする請求項15記載のプログラム。
【請求項19】
前記サイズ算出機能は、前記スキャン画像のページ綴じ部を境にした左右両側に前記文字サイズの算出を行うための領域を指定し、これらの指定領域の何れかで前記文字サイズが算出されなかった場合、前記文字サイズが算出された側の前記文字サイズを採用する、
ことを特徴とする請求項18記載のプログラム。
【請求項20】
前記サイズ算出機能は、前記スキャン画像のページ綴じ部を境にした左右両側に前記文字サイズの算出を行うための領域を指定し、これらの指定領域の両方で前記文字サイズが算出されなかった場合、予め定められた一定の値を前記文字サイズとする、
ことを特徴とする請求項18記載のプログラム。
【請求項21】
前記サイズ算出機能は、前記スキャン画像のページ綴じ部を境にした左右両側に前記文字サイズの算出を行うための領域を指定し、これらの指定領域の両方で算出された前記文字サイズを比較し、小さい方の前記文字サイズを両方の前記文字サイズとして採用する、
ことを特徴とする請求項18記載のプログラム。
【請求項22】
前記文字行決定機能は、ページ綴じ部付近まで最も食い込んでいる文字行を前記スキャン画像の歪み補正に利用するための文字行と決定する、
ことを特徴とする請求項15ないし21のいずれか一記載のプログラム。
【請求項23】
前記文字行決定機能は、副走査方向の長さが最も長い文字行を前記スキャン画像の歪み補正に利用するための文字行と決定する、
ことを特徴とする請求項15ないし21のいずれか一記載のプログラム。
【請求項24】
前記文字行決定機能は、前記スキャン画像のページ外形に最も近い文字行を前記スキャン画像の歪み補正に利用するための文字行と決定する、
ことを特徴とする請求項15ないし21のいずれか一記載のプログラム。
【請求項25】
前記文字行決定機能は、前記スキャン画像の歪み補正に利用するための文字行を、ページ綴じ部付近まで最も食い込んでいる文字行、副走査方向の長さが最も長い文字行、前記スキャン画像のページ外形に最も近い文字行の順に決定する、
ことを特徴とする請求項15ないし21のいずれか一記載のプログラム。
【請求項26】
主走査方向の歪み補正後の各文字行内にて隣接する縦成分矩形の中心座標間の副走査方向の距離を矩形間距離として検出する距離検出機能と、
主走査方向の歪み補正後の画像を主走査方向に平行な方向を長辺とする短冊状の複数の領域に分割し、各短冊領域内での矩形間距離の平均を基に非歪み領域と歪み領域で矩形間距離が同じになるような前記スキャン画像の短冊領域毎の副走査方向変倍率を算出する変倍率算出機能と、
を前記コンピュータに実行させ、
前記短冊領域の幅は、前記サイズ算出手段により算出した文字サイズに基づいて決定される、
ことを特徴とする請求項15ないし25のいずれか一記載のプログラム。
【請求項27】
請求項15ないし26のいずれか一記載のプログラムを記憶することを特徴とする記憶媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
【図50】
【図51】
【図52】
【図53】
【図54】
【図55】
【図56】
【図57】
【図58】
【図59】
【図60】
【図61】
【図62】
【図63】
【図64】
【図65】
【図66】
【図67】
【図68】
【図69】
【図70】
【図71】
【図72】
【図73】
【図74】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
【図50】
【図51】
【図52】
【図53】
【図54】
【図55】
【図56】
【図57】
【図58】
【図59】
【図60】
【図61】
【図62】
【図63】
【図64】
【図65】
【図66】
【図67】
【図68】
【図69】
【図70】
【図71】
【図72】
【図73】
【図74】
【公開番号】特開2006−19893(P2006−19893A)
【公開日】平成18年1月19日(2006.1.19)
【国際特許分類】
【出願番号】特願2004−193777(P2004−193777)
【出願日】平成16年6月30日(2004.6.30)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
【公開日】平成18年1月19日(2006.1.19)
【国際特許分類】
【出願日】平成16年6月30日(2004.6.30)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
[ Back to top ]