画像処理装置、画像処理方法及びプログラム
【課題】枠罫線と記入文字が重なった状態の帳票を読み取った帳票画像データから枠罫線と記入文字の重なりが高精度に除去された帳票画像データを生成する。
【解決手段】オフセット方向・量検出部１０５で、多値帳票画像データにおいて記入文字と罫線との重なりを無くすために必要となる記入文字の罫線に対する相対的なオフセットの方向及び量を検出し、重なり除去補正部１０６で、帳票画像データにおいて記入文字の画素の値と当該画素をオフセット方向・量検出部１０５により検出されたオフセットの方向及び量に対応してオフセットした位置の画素の値とを交換することにより、記入文字と罫線との重なりが高精度に除去された多値の帳票画像データを生成する。
【解決手段】オフセット方向・量検出部１０５で、多値帳票画像データにおいて記入文字と罫線との重なりを無くすために必要となる記入文字の罫線に対する相対的なオフセットの方向及び量を検出し、重なり除去補正部１０６で、帳票画像データにおいて記入文字の画素の値と当該画素をオフセット方向・量検出部１０５により検出されたオフセットの方向及び量に対応してオフセットした位置の画素の値とを交換することにより、記入文字と罫線との重なりが高精度に除去された多値の帳票画像データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スキャナなどにより帳票を読み取った帳票画像データを処理する画像処理装置及び方法に関する。
【背景技術】
【０００２】
表の枠内に文字を記入するような帳票が多く利用されている。このような帳票を読み取った帳票画像データの処理においては、表の枠内に記入された文字と枠を構成する罫線との重なりの影響を排除したい場合がある。例えば、表の枠内の文字の文字認識において、文字と枠の接触の影響を排除するための先行技術が特許文献１に記載されている。
【０００３】
この先行技術においては、文書画像（帳票画像）より一定値以上の長さを持つ黒ランを抽出し、予め定められた距離内にある黒ランの統合矩形を罫線矩形として抽出し、罫線矩形を組合せて枠を認識し、枠を構成する罫線矩形だけを罫線として認識し、それ以外の罫線矩形を削除する。削除されずに残した罫線、すなわち枠を構成する罫線について、その黒ランの黒画素を白画素に置換して罫線を消去し、しかる後に、枠内の黒画素連結矩形を抽出し、それを統合して文字領域を抽出し、その文字領域の画像に対し文字認識を行うため、枠に接触した文字も精度の良い文字認識が可能となる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
帳票を読み取った帳票画像データは、文字認識などの目的で直接処理される場合であっても再利用する目的で蓄積しておくような場合であっても、枠を構成する罫線と記入文字が重なった状態の帳票を読み取った帳票画像データについては、枠罫線と記入文字の重なりを除去した帳票画像データを生成できると好都合であるが、上記先行技術は、そのような目的に適用できるものではない。
【０００５】
よって、本発明の目的は、枠の罫線と記入文字が重なった状態の帳票を読み取った帳票画像データから、枠の罫線と記入文字の重なりが高い精度で除去された帳票画像データを生成する画像処理装置及び方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明による画像処理装置は、多値の帳票画像データにおいて記入文字と罫線との重なりを無くすために必要となる前記記入文字の前記罫線に対する相対的なオフセットの方向及び量を検出する第１の手段と、前記帳票画像データにおいて前記記入文字の画素の値と当該画素を前記第１の手段で検出されたオフセットの方向及び量に対応してオフセットした位置の画素の値とを交換する第２の手段とを有する構成とされる。
【発明の効果】
【０００７】
かかる構成によれば、枠の罫線と記入文字が重なった状態の帳票を読み取った帳票画像データから、枠の罫線と記入文字の重なりが高精度に除去された帳票画像データを生成することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る画像処理装置のブロック図である。
【図２】図１の画像処理装置の処理説明用フローチャートである。
【図３】オフセット方向・量検出処理のフローチャートである。
【図４】記入文字領域抽出の説明図である。
【図５】帳票画像の一例を示す図である。
【図６】図５の帳票画像に含まれているプレ印刷画像を示す図である。
【図７】図５の帳票画像に含まれている記入文字画像を示す図である。
【図８】図５の帳票画像に対し重なり除去補正処理を施した後の帳票画像を示す図である。
【発明を実施するための形態】
【０００９】
図１は、本発明の一実施形態に係る画像処理装置の機能的構成を示すブロック図である。図１に示すように、本実施形態に係る画像処理装置は、帳票をスキャナ等で読み取った多値の帳票画像データ（例えばＲＧＢ画像データ）を入力する手段である画像データ入力部１０１、入力された帳票画像データ（入力帳票画像データと記す）や処理により生成される画像データなどを一時的に記憶する記憶部１０２、入力帳票画像データ中の記入文字を抽出する処理（詳細は後述）を行う手段である記入文字抽出処理部１０３、入力帳票画像データ中の罫線を抽出する処理（詳細は後述）を行う手段である罫線抽出処理部１０４、入力帳票画像データ中の記入文字と罫線との重なりをなくすために、記入文字を罫線に対し相対的に上下左右のどの方向にどれだけオフセット（移動）させる必要があるか調べ、必要なオフセットの方向及び量を検出するオフセット方向・量検出部１０５、検出されたオフセット方向及びオフセット量に基づいて、入力帳票画像データに対し記入文字と罫線との重なりを除去するための補正処理を施す重なり除去補正処理部１０６、処理結果データの出力を行うデータ出力部１７を備える構成である。
【００１０】
このような構成の画像処理装置は、専用のハードウェアにより実現することも当然に可能であるが、ＣＰＵやメモリ、ディスプレイ、ハードディスク装置、スキャナ、外部記憶媒体（半導体記憶素子、光ディスク、光磁気ディスクなど）を読み書きするための装置、ネットワーク・インターフェースなどを備える一般的なコンピュータのハードウェア資源を利用し、ソフトウェアによって実現することも容易であり、かかる実現態様も本発明に包含される。また、そのためのプログラム、すなわち、図１に示した画像処理装置を構成する手段（１０１〜１０７）としてコンピュータを機能させるプログラムも本発明に包含される。
【００１１】
なお、処理される帳票画像データの入力については様々な態様をとり得る。すなわち、コンピュータの備えるスキャナにより帳票を読み取って帳票画像データを直接的に入力するような態様、そのスキャナ又は他のスキャナあるいは他の撮像手段（デジタルカメラなど）で読み取った帳票画像データをハードディスク装置や外部記憶媒体に保存しておき、必要な時にその帳票画像データを読み込むような態様、ネットワーク・インターフェースを通じてインターネットなどのネットワーク上のコンピュータなどから帳票画像データを取り込むような態様などである。
【００１２】
図２は、本画像処理装置の処理フローの一例を示すフローチャートである。以下、このフローチャートに沿って本画像処理装置における処理内容について具体的に説明する。
【００１３】
［ステップＳ１］ 画像データ入力部１０１により、帳票をスキャナなどで読み取った多値の帳票画像データ（例えばＲＧＢ画像データやグレースケール画像データ）が入力されて記憶部１０２に記憶される。一般的に、帳票画像データは、帳票のプレ印刷画像と、帳票の記入枠に記入された文字（記入文字）の画像とを表している。
【００１４】
図５に帳票画像の一例を示す。この帳票画像の例では、帳票の図６に示すようなプレ印刷画像（表を構成する縦横の罫線、表の記入枠の項目名（住所、発注者、発注日、伝票番号、発注Ｎｏ．、商品コード、商品名、数量、単価、金額、摘要、合計）、取引先の表示など）と、帳票の図７に示すような記入文字の画像とを含んでいる。そして、図５に見られるように、記入文字が本来の記入位置からずれているため、プレ印刷の表罫線と記入文字とが重なった状態となっている。なお、ここでは、記入文字色は黒又は濃青などの濃色とし、一方、プレ印刷色は、カラーのときでもグレースケールのときでも記入文字色と容易に識別可能な淡緑のようなものとして説明する。
【００１５】
［ステップＳ２］ 記入文字抽出処理部１０３により記入文字抽出処理が行われる。本実施形態では、この記入文字抽出処理のステップＳ２は、二値化処理ステップＳ２ａと文字領域抽出処理ステップＳ２ｂとからなる。
【００１６】
まず、二値化処理ステップＳ２ａでは、前述したような記入文字色とプレ印刷色との違いに基づいて、多値の入力帳票画像データから、記入文字色の画素を黒画素、記入文字色以外の画素を白画素とした二値画像データを生成する。この二値画像データは、図７に示すような記入文字画像を表すものであるので、二値記入文字画像データと呼ぶものとする。この二値記入文字画像データは記憶部１０２に記憶される。
【００１７】
文字領域抽出処理ステップＳ２ｂでは、二値記文字画像データ中の連結した黒画素の塊を、それに外接した矩形として抽出する。抽出した矩形の幅、高さ、面積、矩形同士の間隔などの要件を統計的に算出し、その要件に基づいて、統合すべき複数の矩形の統合を行う。このようにして最終的に得られた矩形の領域を一つ一つの記入文字の領域として抽出する。図４は、「い」の領域抽出の説明図である。（Ａ）は二値記入文字画像データ上の「い」の画像を示す。この「い」の場合、（Ｂ）に示すように左側の連結黒画素塊と右側の連結黒画素塊がそれぞれ矩形として抽出される。この２つの矩形は（Ｃ）に示すように一つの矩形に統合され、この矩形が「い」の領域として抽出されることになる。このようにして抽出された記入文字領域のデータ（例えば矩形の頂点座標など）が記憶部１０２に記憶される。
【００１８】
なお、本実施形態にあっては、重なり除去補正処理１０６（ステップＳ５）で二値記入文字画像データを参照するが、それは必須ではないので、ステップＳ２において、二値記入文字画像データを生成するための二値化処理（ステップＳ２ａ）を省き、多値の入力帳票画像データを直接参照しながら、記入文字色の画素を記入文字の画素として、その連結性に着目した矩形抽出と矩形統合により記入文字の領域を抽出するようにしてもよい。
【００１９】
［ステップＳ３］ 罫線抽出処理部１０４により罫線抽出処理が行われる。本実施形態では、この罫線抽出処理のステップＳ３は、二値化処理ステップＳ３ａと罫線矩形抽出処理ステップＳ３ｂとからなる。
【００２０】
まず、二値化処理ステップＳ３ａでは、前述したような記入文字色とプレ印刷色との違いに基づいて、多値の入力帳票画像データから、プレ印刷色の画素を黒画素、プレ印刷色以外の画素を白画素とした二値画像データを生成する。この二値画像データは、図６に示すようなプレ印刷画像を表すものであるので、二値プレ印刷画像データと呼ぶものとする。この二値プレ印刷画像データは記憶部１０２に記憶される。なお、多値の入力帳票画像データから、背景色の画素を白画素、背景色以外の色の画素を黒画素とした二値画像データ、すなわち、プレ印刷画像と記入文字画像の両方を含む図５に示すような帳票画像を表す二値の帳票画像データを生成するようにしてもよく、このような二値帳票画像データからも次に述べるような罫線矩形抽出は可能である。
【００２１】
罫線領域抽出処理ステップＳ３ｂでは、二値プレ印刷画像データ（又は二値帳票画像データ）に対し、黒画素の連結性をもとに連続した黒画素に同じラベルを付与するラベリングを行い、付与されたラベル値が同一で、主走査方向又は副走査方向に連結していて、かつ、表の罫線として妥当な長さ及び幅を持った黒画素群に外接する矩形（罫線矩形）を主走査方向又は副走査方向の罫線として抽出する。なお、抽出された罫線の中で交差又は接続した複数の罫線を連結することにより、表単位での罫線抽出も可能である。抽出された罫線のデータ（例えば罫線矩形の頂点座標など）は記憶部１０２に記憶される。
【００２２】
なお、多値の入力帳票画像データを直接参照しながら、プレ印刷色の画素について、その連結性に着目した同様の罫線矩形抽出を行うことも可能である。この場合、プレ印刷画像又は帳票画像の二値画像データを生成するための二値化処理（ステップ３ａ）を省いてよい。
【００２３】
［ステップＳ４］ オフセット方向・量検出部１０５で、入力帳票画像データ中の記入文字と罫線との重なりをなくすために、記入文字を罫線に対し相対的に上下左右にどれだけオフセット（移動）させればよいか調べ、その必要なオフセットの方向と量を検出する。具体的には、ステップＳ２で得られた記入文字領域データとステップＳ３で得られた罫線データとを用い、例えば図３に示す処理手順を実行する。
【００２４】
すなわち、記入文字を上下左右の４方向にオフセットするもとして、そのオフセット量を初期値（０）からインクリメントしながら（ステップＳ４３）、現在のオフセット値に相当する量だけ記入文字を現在のオフセット方向（Ｄ方向）にオフセットしたときに記入文字（記入文字領域）と罫線（罫線矩形）との重なりがあるか判定する（ステップＳ４１）。重なりがあると判定したときは（ステップＳ４１，ＹＥＳ）、オフセット値が予め決められた一定値を越えているか判定し（ステップＳ４２）、オフセット値が一定値以下ならばオフセット値をさらにインクリメントし（ステップＳ４３）、インクリメント後のオフセット値に相当する量だけ記入文字をＤ方向へオフセットしたときにＤ方向での記入文字と罫線との重なりがあるか判定する（ステップＳ４１）。Ｄ方向での記入文字と罫線との重なりがないと判定すると（ステップＳ４１，ＹＥＳ）、現在のオフセット値をＤ方向のオフセット値として確定し（ステップＳ４４）、ステップＳ４５に進む。
【００２５】
また、ステップＳ４２でオフセット値が一定値を越えたと判定したときは、Ｄ方向にオフセットしても記入文字と罫線との重なりを解消できないと判断されるので、ステップＳ４５へ進む。
【００２６】
ステップＳ４５では、上下左右の４方向の全てについて処理済みか判定する。未処理の方向があるときは（ステップＳ４５，ＮＯ）、未処理の一つの方向をＤ方向に設定し（ステップＳ２６）、Ｄ方向についてステップＳ４１からの手順に戻る（図３には明示されていないが、オフセット値は初期値に戻される）。４方向全てについて処理済みとなると（ステップＳ４５，ＹＥＳ）、オフセット方向・量検出処理を終了する。検出された各方向のオフセット値は記憶部１０２に記憶される。なお、次のステップＳ５の処理において利用されるオフセット値はステップＳ４４で確定された方向のオフセット値のみであるから、ステップＳ４２からステップＳ４５へ進んだＤ方向についてのオフセット値は意味を持たないが、ここでは便宜０として記憶されるものとする。
【００２７】
図５に示すような帳票画像の場合、記入文字と罫線との重なりを解消するには、記入文字を下方向及び右方向へオフセットさせる必要がある。１画素単位でオフセットし、オフセット値はオフセット画素数を示すものとすると、例えば、下方向のオフセット値は１２、右方向のオフセット値は２４となる。なお、上方向と左方向のオフセット値は便宜０とされる。
【００２８】
［ステップＳ５］ 重なり除去補正処理部１０６は、ステップＳ２ａで生成された二値記入文字画像データを参照し、その黒画素を記入文字の画素として、入力帳票画像データにおいて記入文字の画素の値と、該画素をステップＳ４で検出されたオフセット方向及びオフセット量に応じてオフセット（移動）した位置の画素の値とを交換する処理を行う。図５の帳票画像の例の場合、前述したように右方向のオフセット値が２４、下方向のオフセット値が１２とすると、入力帳票画像データ中の記入文字の各画素の値と、該画素を右方向へ２４画素だけ、下方向へ１２画素だけ、それぞれオフセットした位置の画素の値とを交換することになる。なお、この例の場合、上方向と左方向のオフセット値は０であり、それら方向へのオフセットは行わない。このような重なり除去補正処理によって、図５の帳票画像の場合、図８に示すような記入文字と罫線との重なりが除去された帳票画像の多値画像データが得られる。この補正後の多値帳票画像データは記憶部１０２に記憶される。
【００２９】
なお、二値記入文字画像データを参照せず、多値の入力帳票画像データにおいて記入文字色の画素をサーチし、サーチした画素を記入文字の画素として同様の重なり除去補正処理を実行するようにしてもよい。この場合においても、記入文字領域データに基づいてサーチ範囲を記入文字領域に限定し、効率的な記入文字画素のサーチが可能である。
【００３０】
［ステップＳ６］ データ出力部１０７により、記憶部１０２に得られた重なり除去補正処理後の多値帳票画像データのみ、あるいは、同多値帳票画像データに加えて二値記入文字画像データ、記入文字領域データ、罫線データのぜんぶもしくは一部が処理結果データが出力される。具体的には、このような処理結果データがコンピュータのディスプレイ画面に出力されたり、コンピュータのハードディスク装置や外部記憶媒体あるいはネットワーク上のコンピュータなどへデータファイルとして出力されたりする。
【００３１】
なお、以上の画像処理装置の処理についての説明は、本発明の画像処理方法の処理手順についての説明でもある。
【符号の説明】
【００３２】
１０１ 画像データ入力部
１０２ 記憶部
１０３ 記入文字抽出処理部
１０４ 罫線抽出処理部
１０５ オフセット方向・量検出部
１０６ 重なり除去補正処理部
１０７ 処理結果出力部
【先行技術文献】
【特許文献】
【００３３】
【特許文献１】特開平１０−１７７６２１号公報
【技術分野】
【０００１】
本発明は、スキャナなどにより帳票を読み取った帳票画像データを処理する画像処理装置及び方法に関する。
【背景技術】
【０００２】
表の枠内に文字を記入するような帳票が多く利用されている。このような帳票を読み取った帳票画像データの処理においては、表の枠内に記入された文字と枠を構成する罫線との重なりの影響を排除したい場合がある。例えば、表の枠内の文字の文字認識において、文字と枠の接触の影響を排除するための先行技術が特許文献１に記載されている。
【０００３】
この先行技術においては、文書画像（帳票画像）より一定値以上の長さを持つ黒ランを抽出し、予め定められた距離内にある黒ランの統合矩形を罫線矩形として抽出し、罫線矩形を組合せて枠を認識し、枠を構成する罫線矩形だけを罫線として認識し、それ以外の罫線矩形を削除する。削除されずに残した罫線、すなわち枠を構成する罫線について、その黒ランの黒画素を白画素に置換して罫線を消去し、しかる後に、枠内の黒画素連結矩形を抽出し、それを統合して文字領域を抽出し、その文字領域の画像に対し文字認識を行うため、枠に接触した文字も精度の良い文字認識が可能となる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
帳票を読み取った帳票画像データは、文字認識などの目的で直接処理される場合であっても再利用する目的で蓄積しておくような場合であっても、枠を構成する罫線と記入文字が重なった状態の帳票を読み取った帳票画像データについては、枠罫線と記入文字の重なりを除去した帳票画像データを生成できると好都合であるが、上記先行技術は、そのような目的に適用できるものではない。
【０００５】
よって、本発明の目的は、枠の罫線と記入文字が重なった状態の帳票を読み取った帳票画像データから、枠の罫線と記入文字の重なりが高い精度で除去された帳票画像データを生成する画像処理装置及び方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明による画像処理装置は、多値の帳票画像データにおいて記入文字と罫線との重なりを無くすために必要となる前記記入文字の前記罫線に対する相対的なオフセットの方向及び量を検出する第１の手段と、前記帳票画像データにおいて前記記入文字の画素の値と当該画素を前記第１の手段で検出されたオフセットの方向及び量に対応してオフセットした位置の画素の値とを交換する第２の手段とを有する構成とされる。
【発明の効果】
【０００７】
かかる構成によれば、枠の罫線と記入文字が重なった状態の帳票を読み取った帳票画像データから、枠の罫線と記入文字の重なりが高精度に除去された帳票画像データを生成することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る画像処理装置のブロック図である。
【図２】図１の画像処理装置の処理説明用フローチャートである。
【図３】オフセット方向・量検出処理のフローチャートである。
【図４】記入文字領域抽出の説明図である。
【図５】帳票画像の一例を示す図である。
【図６】図５の帳票画像に含まれているプレ印刷画像を示す図である。
【図７】図５の帳票画像に含まれている記入文字画像を示す図である。
【図８】図５の帳票画像に対し重なり除去補正処理を施した後の帳票画像を示す図である。
【発明を実施するための形態】
【０００９】
図１は、本発明の一実施形態に係る画像処理装置の機能的構成を示すブロック図である。図１に示すように、本実施形態に係る画像処理装置は、帳票をスキャナ等で読み取った多値の帳票画像データ（例えばＲＧＢ画像データ）を入力する手段である画像データ入力部１０１、入力された帳票画像データ（入力帳票画像データと記す）や処理により生成される画像データなどを一時的に記憶する記憶部１０２、入力帳票画像データ中の記入文字を抽出する処理（詳細は後述）を行う手段である記入文字抽出処理部１０３、入力帳票画像データ中の罫線を抽出する処理（詳細は後述）を行う手段である罫線抽出処理部１０４、入力帳票画像データ中の記入文字と罫線との重なりをなくすために、記入文字を罫線に対し相対的に上下左右のどの方向にどれだけオフセット（移動）させる必要があるか調べ、必要なオフセットの方向及び量を検出するオフセット方向・量検出部１０５、検出されたオフセット方向及びオフセット量に基づいて、入力帳票画像データに対し記入文字と罫線との重なりを除去するための補正処理を施す重なり除去補正処理部１０６、処理結果データの出力を行うデータ出力部１７を備える構成である。
【００１０】
このような構成の画像処理装置は、専用のハードウェアにより実現することも当然に可能であるが、ＣＰＵやメモリ、ディスプレイ、ハードディスク装置、スキャナ、外部記憶媒体（半導体記憶素子、光ディスク、光磁気ディスクなど）を読み書きするための装置、ネットワーク・インターフェースなどを備える一般的なコンピュータのハードウェア資源を利用し、ソフトウェアによって実現することも容易であり、かかる実現態様も本発明に包含される。また、そのためのプログラム、すなわち、図１に示した画像処理装置を構成する手段（１０１〜１０７）としてコンピュータを機能させるプログラムも本発明に包含される。
【００１１】
なお、処理される帳票画像データの入力については様々な態様をとり得る。すなわち、コンピュータの備えるスキャナにより帳票を読み取って帳票画像データを直接的に入力するような態様、そのスキャナ又は他のスキャナあるいは他の撮像手段（デジタルカメラなど）で読み取った帳票画像データをハードディスク装置や外部記憶媒体に保存しておき、必要な時にその帳票画像データを読み込むような態様、ネットワーク・インターフェースを通じてインターネットなどのネットワーク上のコンピュータなどから帳票画像データを取り込むような態様などである。
【００１２】
図２は、本画像処理装置の処理フローの一例を示すフローチャートである。以下、このフローチャートに沿って本画像処理装置における処理内容について具体的に説明する。
【００１３】
［ステップＳ１］ 画像データ入力部１０１により、帳票をスキャナなどで読み取った多値の帳票画像データ（例えばＲＧＢ画像データやグレースケール画像データ）が入力されて記憶部１０２に記憶される。一般的に、帳票画像データは、帳票のプレ印刷画像と、帳票の記入枠に記入された文字（記入文字）の画像とを表している。
【００１４】
図５に帳票画像の一例を示す。この帳票画像の例では、帳票の図６に示すようなプレ印刷画像（表を構成する縦横の罫線、表の記入枠の項目名（住所、発注者、発注日、伝票番号、発注Ｎｏ．、商品コード、商品名、数量、単価、金額、摘要、合計）、取引先の表示など）と、帳票の図７に示すような記入文字の画像とを含んでいる。そして、図５に見られるように、記入文字が本来の記入位置からずれているため、プレ印刷の表罫線と記入文字とが重なった状態となっている。なお、ここでは、記入文字色は黒又は濃青などの濃色とし、一方、プレ印刷色は、カラーのときでもグレースケールのときでも記入文字色と容易に識別可能な淡緑のようなものとして説明する。
【００１５】
［ステップＳ２］ 記入文字抽出処理部１０３により記入文字抽出処理が行われる。本実施形態では、この記入文字抽出処理のステップＳ２は、二値化処理ステップＳ２ａと文字領域抽出処理ステップＳ２ｂとからなる。
【００１６】
まず、二値化処理ステップＳ２ａでは、前述したような記入文字色とプレ印刷色との違いに基づいて、多値の入力帳票画像データから、記入文字色の画素を黒画素、記入文字色以外の画素を白画素とした二値画像データを生成する。この二値画像データは、図７に示すような記入文字画像を表すものであるので、二値記入文字画像データと呼ぶものとする。この二値記入文字画像データは記憶部１０２に記憶される。
【００１７】
文字領域抽出処理ステップＳ２ｂでは、二値記文字画像データ中の連結した黒画素の塊を、それに外接した矩形として抽出する。抽出した矩形の幅、高さ、面積、矩形同士の間隔などの要件を統計的に算出し、その要件に基づいて、統合すべき複数の矩形の統合を行う。このようにして最終的に得られた矩形の領域を一つ一つの記入文字の領域として抽出する。図４は、「い」の領域抽出の説明図である。（Ａ）は二値記入文字画像データ上の「い」の画像を示す。この「い」の場合、（Ｂ）に示すように左側の連結黒画素塊と右側の連結黒画素塊がそれぞれ矩形として抽出される。この２つの矩形は（Ｃ）に示すように一つの矩形に統合され、この矩形が「い」の領域として抽出されることになる。このようにして抽出された記入文字領域のデータ（例えば矩形の頂点座標など）が記憶部１０２に記憶される。
【００１８】
なお、本実施形態にあっては、重なり除去補正処理１０６（ステップＳ５）で二値記入文字画像データを参照するが、それは必須ではないので、ステップＳ２において、二値記入文字画像データを生成するための二値化処理（ステップＳ２ａ）を省き、多値の入力帳票画像データを直接参照しながら、記入文字色の画素を記入文字の画素として、その連結性に着目した矩形抽出と矩形統合により記入文字の領域を抽出するようにしてもよい。
【００１９】
［ステップＳ３］ 罫線抽出処理部１０４により罫線抽出処理が行われる。本実施形態では、この罫線抽出処理のステップＳ３は、二値化処理ステップＳ３ａと罫線矩形抽出処理ステップＳ３ｂとからなる。
【００２０】
まず、二値化処理ステップＳ３ａでは、前述したような記入文字色とプレ印刷色との違いに基づいて、多値の入力帳票画像データから、プレ印刷色の画素を黒画素、プレ印刷色以外の画素を白画素とした二値画像データを生成する。この二値画像データは、図６に示すようなプレ印刷画像を表すものであるので、二値プレ印刷画像データと呼ぶものとする。この二値プレ印刷画像データは記憶部１０２に記憶される。なお、多値の入力帳票画像データから、背景色の画素を白画素、背景色以外の色の画素を黒画素とした二値画像データ、すなわち、プレ印刷画像と記入文字画像の両方を含む図５に示すような帳票画像を表す二値の帳票画像データを生成するようにしてもよく、このような二値帳票画像データからも次に述べるような罫線矩形抽出は可能である。
【００２１】
罫線領域抽出処理ステップＳ３ｂでは、二値プレ印刷画像データ（又は二値帳票画像データ）に対し、黒画素の連結性をもとに連続した黒画素に同じラベルを付与するラベリングを行い、付与されたラベル値が同一で、主走査方向又は副走査方向に連結していて、かつ、表の罫線として妥当な長さ及び幅を持った黒画素群に外接する矩形（罫線矩形）を主走査方向又は副走査方向の罫線として抽出する。なお、抽出された罫線の中で交差又は接続した複数の罫線を連結することにより、表単位での罫線抽出も可能である。抽出された罫線のデータ（例えば罫線矩形の頂点座標など）は記憶部１０２に記憶される。
【００２２】
なお、多値の入力帳票画像データを直接参照しながら、プレ印刷色の画素について、その連結性に着目した同様の罫線矩形抽出を行うことも可能である。この場合、プレ印刷画像又は帳票画像の二値画像データを生成するための二値化処理（ステップ３ａ）を省いてよい。
【００２３】
［ステップＳ４］ オフセット方向・量検出部１０５で、入力帳票画像データ中の記入文字と罫線との重なりをなくすために、記入文字を罫線に対し相対的に上下左右にどれだけオフセット（移動）させればよいか調べ、その必要なオフセットの方向と量を検出する。具体的には、ステップＳ２で得られた記入文字領域データとステップＳ３で得られた罫線データとを用い、例えば図３に示す処理手順を実行する。
【００２４】
すなわち、記入文字を上下左右の４方向にオフセットするもとして、そのオフセット量を初期値（０）からインクリメントしながら（ステップＳ４３）、現在のオフセット値に相当する量だけ記入文字を現在のオフセット方向（Ｄ方向）にオフセットしたときに記入文字（記入文字領域）と罫線（罫線矩形）との重なりがあるか判定する（ステップＳ４１）。重なりがあると判定したときは（ステップＳ４１，ＹＥＳ）、オフセット値が予め決められた一定値を越えているか判定し（ステップＳ４２）、オフセット値が一定値以下ならばオフセット値をさらにインクリメントし（ステップＳ４３）、インクリメント後のオフセット値に相当する量だけ記入文字をＤ方向へオフセットしたときにＤ方向での記入文字と罫線との重なりがあるか判定する（ステップＳ４１）。Ｄ方向での記入文字と罫線との重なりがないと判定すると（ステップＳ４１，ＹＥＳ）、現在のオフセット値をＤ方向のオフセット値として確定し（ステップＳ４４）、ステップＳ４５に進む。
【００２５】
また、ステップＳ４２でオフセット値が一定値を越えたと判定したときは、Ｄ方向にオフセットしても記入文字と罫線との重なりを解消できないと判断されるので、ステップＳ４５へ進む。
【００２６】
ステップＳ４５では、上下左右の４方向の全てについて処理済みか判定する。未処理の方向があるときは（ステップＳ４５，ＮＯ）、未処理の一つの方向をＤ方向に設定し（ステップＳ２６）、Ｄ方向についてステップＳ４１からの手順に戻る（図３には明示されていないが、オフセット値は初期値に戻される）。４方向全てについて処理済みとなると（ステップＳ４５，ＹＥＳ）、オフセット方向・量検出処理を終了する。検出された各方向のオフセット値は記憶部１０２に記憶される。なお、次のステップＳ５の処理において利用されるオフセット値はステップＳ４４で確定された方向のオフセット値のみであるから、ステップＳ４２からステップＳ４５へ進んだＤ方向についてのオフセット値は意味を持たないが、ここでは便宜０として記憶されるものとする。
【００２７】
図５に示すような帳票画像の場合、記入文字と罫線との重なりを解消するには、記入文字を下方向及び右方向へオフセットさせる必要がある。１画素単位でオフセットし、オフセット値はオフセット画素数を示すものとすると、例えば、下方向のオフセット値は１２、右方向のオフセット値は２４となる。なお、上方向と左方向のオフセット値は便宜０とされる。
【００２８】
［ステップＳ５］ 重なり除去補正処理部１０６は、ステップＳ２ａで生成された二値記入文字画像データを参照し、その黒画素を記入文字の画素として、入力帳票画像データにおいて記入文字の画素の値と、該画素をステップＳ４で検出されたオフセット方向及びオフセット量に応じてオフセット（移動）した位置の画素の値とを交換する処理を行う。図５の帳票画像の例の場合、前述したように右方向のオフセット値が２４、下方向のオフセット値が１２とすると、入力帳票画像データ中の記入文字の各画素の値と、該画素を右方向へ２４画素だけ、下方向へ１２画素だけ、それぞれオフセットした位置の画素の値とを交換することになる。なお、この例の場合、上方向と左方向のオフセット値は０であり、それら方向へのオフセットは行わない。このような重なり除去補正処理によって、図５の帳票画像の場合、図８に示すような記入文字と罫線との重なりが除去された帳票画像の多値画像データが得られる。この補正後の多値帳票画像データは記憶部１０２に記憶される。
【００２９】
なお、二値記入文字画像データを参照せず、多値の入力帳票画像データにおいて記入文字色の画素をサーチし、サーチした画素を記入文字の画素として同様の重なり除去補正処理を実行するようにしてもよい。この場合においても、記入文字領域データに基づいてサーチ範囲を記入文字領域に限定し、効率的な記入文字画素のサーチが可能である。
【００３０】
［ステップＳ６］ データ出力部１０７により、記憶部１０２に得られた重なり除去補正処理後の多値帳票画像データのみ、あるいは、同多値帳票画像データに加えて二値記入文字画像データ、記入文字領域データ、罫線データのぜんぶもしくは一部が処理結果データが出力される。具体的には、このような処理結果データがコンピュータのディスプレイ画面に出力されたり、コンピュータのハードディスク装置や外部記憶媒体あるいはネットワーク上のコンピュータなどへデータファイルとして出力されたりする。
【００３１】
なお、以上の画像処理装置の処理についての説明は、本発明の画像処理方法の処理手順についての説明でもある。
【符号の説明】
【００３２】
１０１ 画像データ入力部
１０２ 記憶部
１０３ 記入文字抽出処理部
１０４ 罫線抽出処理部
１０５ オフセット方向・量検出部
１０６ 重なり除去補正処理部
１０７ 処理結果出力部
【先行技術文献】
【特許文献】
【００３３】
【特許文献１】特開平１０−１７７６２１号公報
【特許請求の範囲】
【請求項１】
多値の帳票画像データにおいて記入文字と罫線との重なりを無くすために必要となる前記記入文字の前記罫線に対する相対的なオフセットの方向及び量を検出する第１の手段と、前記帳票画像データにおいて前記記入文字の画素の値と当該画素を前記第１の手段で検出されたオフセットの方向及び量に対応してオフセットした位置の画素の値とを交換する第２の手段とを有することを特徴とする画像処理装置。
【請求項２】
多値の帳票画像データにおいて記入文字と罫線との重なりを無くすために必要となる前記記入文字の前記罫線に対する相対的なオフセットの方向及び量を検出する第１の工程と、前記帳票画像データにおいて前記記入文字の画素の値と当該画素を前記第１の工程で検出されたオフセットの方向及び量に対応してオフセットした位置の画素の値とを交換する第２の工程とを有することを特徴とする画像処理方法。
【請求項３】
多値の帳票画像データにおいて記入文字と罫線との重なりを無くすために必要となる前記記入文字の前記罫線に対する相対的なオフセットの方向及び量を検出する第１の手段、及び、前記帳票画像データにおいて前記記入文字の画素の値と当該画素を前記第１の手段で検出されたオフセットの方向及び量に対応してオフセットした位置の画素の値とを交換する第２の手段としてコンピュータを機能させるプログラム。
【請求項１】
多値の帳票画像データにおいて記入文字と罫線との重なりを無くすために必要となる前記記入文字の前記罫線に対する相対的なオフセットの方向及び量を検出する第１の手段と、前記帳票画像データにおいて前記記入文字の画素の値と当該画素を前記第１の手段で検出されたオフセットの方向及び量に対応してオフセットした位置の画素の値とを交換する第２の手段とを有することを特徴とする画像処理装置。
【請求項２】
多値の帳票画像データにおいて記入文字と罫線との重なりを無くすために必要となる前記記入文字の前記罫線に対する相対的なオフセットの方向及び量を検出する第１の工程と、前記帳票画像データにおいて前記記入文字の画素の値と当該画素を前記第１の工程で検出されたオフセットの方向及び量に対応してオフセットした位置の画素の値とを交換する第２の工程とを有することを特徴とする画像処理方法。
【請求項３】
多値の帳票画像データにおいて記入文字と罫線との重なりを無くすために必要となる前記記入文字の前記罫線に対する相対的なオフセットの方向及び量を検出する第１の手段、及び、前記帳票画像データにおいて前記記入文字の画素の値と当該画素を前記第１の手段で検出されたオフセットの方向及び量に対応してオフセットした位置の画素の値とを交換する第２の手段としてコンピュータを機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１９８６０３（Ｐ２０１２−１９８６０３Ａ）
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願番号】特願２０１１−６０６５９（Ｐ２０１１−６０６５９）
【出願日】平成２３年３月１８日（２０１１．３．１８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願日】平成２３年３月１８日（２０１１．３．１８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]