説明

帳票処理装置、帳票処理方法およびプログラム

【課題】帳票の画像からその帳票の様式を判別する際の精度を向上させる。
【解決手段】ラベリング部13は、帳票の二値画像の中の特定の画素値(例えば白画素)のまとまり部分を帳票の様式の枠に相当する部分として抽出する。対応枠抽出部15は、ラベル画像D3の枠と様式データベース11に登録された様式の枠との間で所定の合致条件を満足する枠どうしの対応関係を抽出する。一致度算出部16は、対応枠抽出部15によって抽出された、ラベル画像D3の枠と様式データベース11に登録された様式の枠との対応関係をもとに様式単位の枠の一致度を算出する。様式判別部17は、一致度算出部16によって算出された様式単位の一致度と所定の判別基準とをもとに、入力された帳票の様式を判別して、この様式判別結果を表示部5などに出力する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、帳票に記載された文字などの情報を光学的に読み込むための前処理として、入力された帳票画像からその帳票の様式を判別する帳票処理装置、帳票処理方法およびプログラムに関するものである。
【背景技術】
【0002】
様式の異なる複数の種類の帳票を処理する帳票処理装置では、帳票に記載された文字などの情報を光学的に読み込むための前処理として、入力された帳票の画像からその帳票の様式を判別する処理が行われる。この様式の判別は、たとえば、あらかじめデータベースに複数の様式に関する情報を登録しておき、入力された帳票の画像から、様式の中の枠を構成している罫線やその交点などを検出してデータベースの様式に関する情報と比較し、最も類似した様式を、入力された帳票の様式として判定することなどによって行われる(特許文献1を参照)。
【特許文献1】特開2003−323586号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、入力された帳票の画像から罫線やその交点を検出して、帳票の様式を判別する方法では、様式の中の枠を構成する罫線を、文字やマークなどと区別するために、一定の長さ以上の直線のみを罫線として検出したり、曲線を罫線として検出しないようにしている。このため、判別可能な様式に制約があるという問題があった。
【0004】
また、帳票処理装置においては、類似した複数の様式の判別精度を向上させることが可及的な課題とされている。罫線やその交点を検出して様式を判別する方法などに代表される周知の様式判別方法では、判別の対象とされる複数の様式の間で相違する部分も共通の部分も差別化することなく、帳票画像からの罫線やその交点の検出結果と比較して類似度を判定しているので、類似した複数の様式の判別精度の向上には限界がある。
【0005】
本発明は、かかる実情に鑑み、帳票の画像からその帳票の様式を判別する際の、判別可能な様式の制約を軽減することができ、また、類似した様式を精度良く判別することのできる帳票処理装置、帳票処理方法およびプログラムを提供しようとするものである。
【課題を解決するための手段】
【0006】
上記の目的を達成するために、本発明の帳票処理装置は、帳票の画像情報を入力する入力部と、入力部により入力された帳票の画像情報を二値化する二値画像作成部と、二値画像作成部により生成された二値画像の中の特定の画素値のまとまり部分を帳票の様式の枠に相当する部分として抽出する枠抽出部と、帳票の様式に関する情報があらかじめ登録された様式データベースと、枠抽出部により抽出された枠と様式データベースに登録された様式の枠との間で所定の合致条件を満足する枠どうしの対応関係を抽出する対応枠抽出部と、対応枠抽出部によって抽出された枠どうしの対応関係をもとに様式単位の枠の一致度を算出する一致度算出部と、一致度算出部によって算出された様式単位の枠の一致度をもとに、入力された帳票の様式を判別する様式判別部とを具備する。
【0007】
この発明では、帳票の二値画像の中の特定の画素値のまとまり部分を帳票の様式の枠に相当する部分として抽出して、枠の構成の比較に基づく様式の判別を行うことができるので、罫線を検出して様式を判別する従来の方式に比べ、判別可能な様式の制約が軽減されるとともに、類似した様式を精度良く判別することができる。
【0008】
また、一致度算出部は、様式の中の複数の枠をグループに分け、このグループごとの枠の一致度を算出し、すべてのグループについて算出された枠の一致度から様式単位の枠の一致度を算出するものであってもよい。
【0009】
大局的に類似した複数の様式がある場合に、それぞれの様式どうしの間で相違する部分の枠をそれぞれの様式内で他の枠から独立したグループとすることによって、類似した複数の様式を判別するために重要な枠のグループの一致度が得られ、様式単位の枠の一致度に様式の相違部分に相当する分の差を発生させることができる。これによって、類似した様式の判別精度の向上を図ることができる。
【0010】
また、一致度算出部は、様式の中の複数の枠をグループに分け、このグループごとの枠の一致度を算出し、すべてのグループについて、グループごとの枠の一致度が閾値を越えている場合に、すべてのグループについて算出された枠の一致度から様式単位の枠の一致度を算出することとしてもよい。
【0011】
このように、すべてのグループについて、グループごとの枠の一致度が閾値を越えている場合だけ、すべてのグループについて算出された枠の一致度から様式単位の枠の一致度を算出し、一つのグループでも、そのグループごとの枠の一致度が閾値を越えていない場合には、その様式の様式単位の枠の一致度は算出されず、結果的にその様式は判別対象から外される。これにより、類似した様式の判別精度が向上する。
【0012】
さらに、一致度算出部は、対応枠抽出部によって対応関係が抽出された枠どうしについて、それぞれの枠で囲われた領域の代表点どうしの距離の分散値を求め、この分散値から様式単位の枠の一致度を算出するものであってもよい。
【0013】
これにより、帳票の二値画像からの枠の抽出において、ノイズの影響により枠以外の白画素のまとまり部分を抽出してしまった場合でも、安定して様式の判別を行うことができる。
【発明の効果】
【0014】
本発明によれば、帳票の画像からその帳票の様式を判別する際の、判別可能な様式の制約を軽減することができ、また、類似した様式を精度良く判別することができる。
【発明を実施するための最良の形態】
【0015】
以下、本発明の実施の形態を図面に基づき説明する。
【0016】
図1は本発明の一実施形態にかかる帳票処理装置の構成を示すブロック図である。
【0017】
同図に示すように、この帳票処理装置100は、入力部1、メモリ部2、CPU3、外部記憶部4、表示部5などのハードウェアを有するコンピュータと、このコンピュータを動作させるためのプログラムとで構成される。
【0018】
入力部1は、様式の判別対象である帳票の画像情報を入力する部分である。帳票の画像情報を入力する具体的な方法としては、スキャナから入力する方法、帳票の画像情報を記録したメディアを読み込んで入力する方法、ネットワークなどの伝送路より受信する方法などがある。
【0019】
メモリ部2は、CPU3により解釈されて実行されるプログラムや、入力部1より入力された帳票の画像情報D1、帳票の画像情報D1の二値化処理によって生成された帳票の二値画像D2、二値画像D2のラベリング処理によって生成されたラベル画像D3などが一時的に記憶される、読み書きが自在なメモリである。
【0020】
外部記憶部4には様式データベース11などが格納される。様式データベース11は帳票の様式に関する情報である複数の様式データ11a,11b,11cの登録が可能とされたデータベースである。
【0021】
CPU3は、メモリ部2に記憶されたプログラムに基づいて、帳票の画像情報D1から様式を判別するための一連の演算処理を実行する。すなわち、CPU3は、メモリ部2に記憶されたプログラムに基づいて、二値画像作成部12、ラベリング部13、位置補正部14、対応枠抽出部15、一致度算出部16および様式判別部17などとして動作する。
【0022】
二値画像作成部12は、入力部1より入力された帳票の画像情報D1を白画素と黒画素とに二値化して、この二値画像D2をメモリ部2に書き込む部分である。
【0023】
ラベリング部13は、メモリ部2に記憶された二値画像D2の中の特定の画素値(例えば白画素)のまとまり部分を帳票の様式の枠に相当する部分として抽出するラベリング処理を行い、この抽出した枠で構成される画像をラベル画像D3として生成し、メモリ部2に書き込む部分である。
【0024】
位置補正部14は、メモリ部2に記憶されたラベル画像D3について、様式データベース11に登録された様式に合わせた位置補正を行う部分である。
【0025】
対応枠抽出部15は、位置補正部14による位置補正が施されたラベル画像D3の枠と様式データベース11に登録された様式の枠との間で所定の合致条件を満足する枠どうしの対応関係を抽出する。
【0026】
一致度算出部16は、対応枠抽出部15によって抽出された、ラベル画像D3の枠と様式データベース11に登録された様式の枠との対応関係をもとに様式単位の枠の一致度を算出する。
【0027】
様式判別部17は、一致度算出部16によって算出された様式単位の一致度と所定の判別基準とをもとに、入力された帳票の様式を判別して、この様式判別結果を表示部5などに出力する。
【0028】
次に、この帳票処理装置100の動作を説明する。
【0029】
まず、二値画像作成部12にて、入力部1より入力されメモリ部2に記憶された帳票の画像情報D1を所定の二値化基準をもとに白画素と黒画素とに二値化して、二値画像D2をメモリ部2に書き込む。
【0030】
次に、ラベリング部13は、メモリ部2に記憶された二値画像D2の中の白画素のまとまり部分から白画素数やそのまとまり部分のサイズなどをもとに様式の枠に相当する部分を抽出して、この抽出した枠を含む画像であるラベル画像D3を生成してメモリ部2に書き込む。ここで、帳票の外枠に接する白画素のまとまり部分は対象外とする。
【0031】
図2は3つの枠21,22,23を有する様式をもつ帳票の二値画像D2からラベル画像D3を生成した結果を示す図である。ラベル画像D3には、上記の二値画像D2における白画素の3つのまとまり部分21,22,23に対応する3つの枠31,32,33が含まれている。
【0032】
次に、位置補正部14は、メモリ部2に記憶されたラベル画像D3の位置を、様式データベース11に登録された様式の位置に合わせて補正する。
【0033】
この位置補正の方法には、たとえばヒストグラムを用いた方法などがある。たとえば、位置補正部14は、図3(a)に示すように、メモリ部2に記憶されているラベル画像D3についてX軸を底辺とするヒストグラムを求めると共に、様式データベース11に登録された様式Eについても同様にX軸を底辺とするヒストグラムを求めて、以下の式(1)によりラベル画像D3の位置補正のためのパラメータminax,minbxを算出する。
【0034】
(minax,minbx)=argmin{∫{g(ax+b)−f(x)}2} …(1)
また、位置補正部14は、メモリ部2に記憶されているラベル画像D3についてY軸を底辺とするヒストグラムを求めると共に、様式データベース11に登録された様式Eについても同様にY軸を底辺とするヒストグラムを求めて、以下の式(2)により、ラベル画像D3の位置補正のためのパラメータminay,minbyを算出する。
【0035】
(minay,minby)=argmin{∫{g(ay+b)−f(y)} 2} …(2)
(1)式および(2)式において、aは様式データベース11に登録された様式Eの枠のサイズを1とするラベル画像D3の枠のサイズの縮尺値、bは様式データベース11に登録された様式Eの枠で囲われた領域の重心点とラベル画像D3の枠で囲われた領域の重心点との距離、g(x)は様式データベース11に登録された様式EのX軸を底辺とするヒストグラム値、f(x)はラベル画像D3のX軸を底辺とするヒストグラム値、g(y)は様式データベース11に登録された様式EのY軸を底辺とするヒストグラム値、f(y)はラベル画像D3のY軸を底辺とするヒストグラム値である。
【0036】
(1)式は、aとbの値を変更しつつ、{∫{g(ax+b)−f(x)} 2}の値が最も小さくなるaとbの値の組み合わせをminaxとminbxとして選択することを意味する。(2)式は、aとbの値を変更しつつ、{∫{g(ay+b)−f(y)} 2}の値が最も小さくなるaとbの値の組み合わせをminay,minbyとして選択することを意味する。
【0037】
これら(1)式と(2)式の計算は、様式データベース11に登録されたすべての様式Eについて行われ、結果的に{∫{g(ax+b)−f(x)} 2}、{∫{g(ay+b)−f(y)} 2}の値が最も小さくなったときのminax,minbx,minay,minbyが位置補正のために用いられる。そして位置補正部14は、これらのパラメータから次式(3)を用いて、ラベル画像D3の画素ごとの座標の補正値を求める。
【数1】

【0038】
なお、上記のラベル画像D3の位置補正は、入力される帳票画像の位置的な精度が保証されるような場合には不要である。したがって、本発明の構成においては必須ではない。
【0039】
位置補正が行われたラベル画像D3は対応枠抽出部15に与えられる。対応枠抽出部15は、ラベル画像D3の枠と様式データベース11に登録された様式の枠との間で所定の合致条件を満足する枠どうしの対応関係を抽出する。
【0040】
所定の合致条件を満足する枠どうしの対応関係の判定方法としては次のようなものがある。たとえば、図4に示すように、対応枠抽出部15は、様式データベース11に登録された様式の個々の枠41,42,43について、縦横にそれぞれ一定のマージンmをとった矩形領域である合致判定領域41a,42a,43aを定義する。対応枠抽出部15は、個々の合致判定領域41a,42a,43aごとに、その内にラベル画像D3のどの枠31,32,33が収まっているかを判定し、この判定結果に従って、様式ごとの、その様式の枠41,42,43とラベル画像D3の枠31,32,33との対応関係を抽出する。合致判定領域41a,42a,43a内にラベル画像D3の枠31,32,33が収まる場合には、このラベル画像D3の枠31,32,33が、様式の枠41,42,43とそれぞれ対応するものであることが判定され、その対応関係を示す情報が得られる。もし合致判定領域41a,42a,43a内にラベル画像D3の枠31,32,33が収まらない場合には、様式の枠41,42,43に対応するラベル画像D3の枠は存在しないことが判定され、非対応を示す情報が得られる。このようにして、様式データベース11に登録された様式ごとの、その様式の枠とラベル画像D3の枠との対応関係が生成され、その情報が一致度算出部16に与えられる。なお、図4は、様式の枠41,42,43とラベル画像D3の枠31,32,33とがすべて対応関係がある場合の例を示している。
【0041】
一致度算出部16は、対応枠抽出部15によって抽出された、ラベル画像D3の枠と様式データベース11に登録された様式の枠との対応関係をもとに、様式単位の枠の一致度を算出する。様式単位の枠の一致度を算出する方法としては、以下の二つがある。
【0042】
第1の算出方法として、例えば図5に示すように、様式データベース11に登録された様式Eの枠41,42,43をグループG1,G2に分け、グループG1,G2ごとに枠の一致度Vgを算出する方法がある。図5の例では、様式Eの中の41の枠は単独で一つのグループG1とされ、その他の42,43の2つの枠は別のグループG2として設定されている。グループごとの枠の一致度Vgは、たとえば、グループ内の様式の枠に対応するラベル画像D3の枠の数を、そのグループ内の様式の枠の数で割った値とする。すべてのグループG1,G2について、グループごとの枠の一致度Vgの値が得られたところで、一致度算出部16は次式(4)によって、様式単位の枠の一致度Vを算出する。なお、このとき、一つのグループでもグループごとの枠の一致度Vgの値が閾値を越えていない場合には、その様式は、入力された帳票画像の様式とは一致しないものとして、様式単位の枠の一致度Vをゼロにしてもよい。
【0043】
V={ΣVg}/gn …(4)
第2の算出方法として、例えば図6に示すように、ラベル画像D3の枠31,32,33で囲われた領域の重心点などの代表点31g,32g,33gと、様式データベース11に登録された様式の枠で囲われた領域の重心点などの代表点41f,42f,43fとの距離d1,d2,d3の分散値を求め、この分散値から様式単位の枠の一致度Vを算出する。すなわち、この分散値Uは、たとえば次式(5)によって算出される。
【0044】
U={Σrσ{dist(f−g)}}/gn …(5)
ここで、fは様式の枠における代表点、gはfに対応するラベル画像D3の枠の代表点、dist()はfとgの二点間の距離、たとえば√{(x1−x2)2+(y1−y2)2}である。rσは枠の集合の分散を示す。
【0045】
一致度算出部16によって算出された様式単位の枠の一致度Vは様式判別部17に与えられる。様式判別部17は、この様式単位の枠の一致度Vと所定の判別基準をもとに、入力された帳票の様式を判別する。この様式判別部17によって判別された様式は、たとえば、表示部5などを通してユーザに表示され、その確認が行われる。複数の様式が判別された場合にはその中から正当な様式の選定がユーザによって行われる。
【0046】
なお、様式データベース11への様式の登録は、この帳票処理装置100を様式の登録モードで動作させることによって行われる。登録モードでは、入力部1より入力された帳票の画像情報に対する二値化が二値画像作成部12にて行われた後、この二値画像についてラベリング部13にてラベリング処理が行われることで得られたラベル画像が様式データベース11に登録される。
【0047】
以上説明した本実施形態の帳票処理装置100によれば、帳票の二値画像D2の中の白画素のまとまり部分を様式の枠に相当する部分として抽出して、枠の構成の比較に基づく様式の判別を行うことができるので、罫線を検出して様式を判別する従来の方式に比べ、判別可能な様式の制約が軽減されるとともに、類似した様式を精度良く判別することができる。
【0048】
すなわち、本実施形態の帳票処理装置100によれば、比較的短い線で枠が構成されている表形式の様式や、曲線を含む線で枠が構成されている様式も精度良く判別することができる。例えば、図7の(a)(b)に示すように、類似する2つの様式E1,E2が存在する場合を考える。2つの様式E1,E2の相違点は左上の部分の枠の構成にある。すなわち、様式E1の左上の枠51は、様式E2においては3つの枠61,62,63に区分されている。帳票画像から罫線を検出して帳票様式を判別する方法では、罫線としてみなせる線の最小の長さの制約によって、様式E2における線L1,L2を罫線として検出することに失敗し、結果的に様式E2の様式を誤って様式E1として判別してしまうことがある。本実施形態の帳票処理装置100では、このような制約がないため、2つの様式E1,E2を正しく判別することができる。
【0049】
また、本実施形態の帳票処理装置100では、上記のように、様式の中の枠をグループに分け、そのグループごとに枠の一致度Vgを求め、すべてのグループについて算出された枠の一致度Vgから様式単位の枠の一致度Vを算出している。例えば、図8の(a)(b)に示すように、大局的に類似した複数の様式E3,E4がある場合に、それぞれの様式E3,E4どうしの間では枠71と枠81だけが相違しており、その他の枠は様式E3,E4どうしの間で同じである。このような場合、様式E3において枠71を他の枠から独立したグループG1とするとともに、様式E3においても枠81を他の枠から独立したグループG1とする。このようにすれば、2つの様式E3,E4を判別するために重要な枠71,81に絞り込んだグループの一致度Vgが得られ、類似した様式の判別精度が向上する。
【0050】
さらに、一つのグループでも、グループごとの枠の一致度Vgの値が閾値を越えていない場合には、その様式は、入力された帳票画像の様式とは一致しないものとして、様式単位の枠の一致度Vをゼロにすることによって、類似した様式の判別精度をより確実に向上させることができる。
【0051】
さらに、本実施形態の帳票処理装置100では、ラベル画像D3の枠で囲われた領域の重心点などの代表点と様式の枠で囲われた領域の重心点などの代表点との距離の分散値を求め、この分散値から様式単位の枠の一致度を算出する手法を採用することによって、帳票の二値画像からの枠の抽出において、ノイズの影響により枠以外の白画素のまとまり部分を抽出してしまった場合でも、安定して様式の判別を行うことができる。
【0052】
なお、本発明の帳票処理装置は、上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【図面の簡単な説明】
【0053】
【図1】本発明の一実施形態にかかる帳票処理装置の構成を示すブロック図である。
【図2】図1の実施形態におけるラベリング処理の例を示す図である。
【図3】図1の実施形態におけるラベル画像の位置補正を示す図である。
【図4】図1の実施形態においてラベル画像の枠と様式の枠との対応関係を抽出する方法を示す図である。
【図5】図1の実施形態において様式単位の枠の一致度を算出する方法を示す図である。
【図6】様式単位の枠の一致度を算出する別の方法を示す図である。
【図7】図1の実施形態の効果を説明するための図である。
【図8】図1の実施形態の別の効果を説明するための図である。
【符号の説明】
【0054】
1…入力部、2…メモリ部、3…CPU、4…外部記憶部、5…表示部、11…様式データベース、12…二値画像作成部、13…ラベリング部、14…位置補正部、15…対応枠抽出部、16…一致度算出部、17…様式判別部。

【特許請求の範囲】
【請求項1】
帳票の画像情報を入力する入力部と、
前記入力部により入力された帳票の画像情報を二値化する二値画像作成部と、
前記二値画像作成部により生成された二値画像の中の特定の画素値のまとまり部分を前記帳票の様式の枠に相当する部分として抽出する枠抽出部と、
帳票の様式に関する情報があらかじめ登録された様式データベースと、
前記枠抽出部により抽出された前記枠と前記様式データベースに登録された前記様式の枠との間で所定の合致条件を満足する枠どうしの対応関係を抽出する対応枠抽出部と、
前記対応枠抽出部によって抽出された枠どうしの対応関係をもとに前記様式単位の枠の一致度を算出する一致度算出部と、
前記一致度算出部によって算出された前記様式単位の枠の一致度をもとに、前記入力された帳票の様式を判別する様式判別部と
を具備することを特徴とする帳票処理装置。
【請求項2】
前記一致度算出部は、前記様式の中の複数の枠をグループに分け、このグループごとの枠の一致度を算出し、すべてのグループについて算出された枠の一致度から様式単位の枠の一致度を算出することを特徴とする請求項1に記載の帳票処理装置。
【請求項3】
前記一致度算出部は、前記様式の中の複数の枠をグループに分け、このグループごとの枠の一致度を算出し、すべてのグループについて、前記グループごとの枠の一致度が閾値を越えている場合に、前記すべてのグループについて算出された枠の一致度から様式単位の枠の一致度を算出することを特徴とする請求項2に記載の帳票処理装置。
【請求項4】
前記一致度算出部は、前記対応枠抽出部によって対応関係が抽出された枠どうしについて、それぞれの枠で囲われた領域の代表点どうしの距離の分散値を求め、この分散値から様式単位の枠の一致度を算出することを特徴とする請求項1に記載の帳票処理装置。
【請求項5】
帳票の画像情報を入力部により入力するステップと、
前記入力された帳票の画像情報を二値画像作成部により二値化するステップと、
前記生成された二値画像の中の特定の画素値のまとまり部分を前記帳票の様式の枠に相当する部分として枠抽出部により抽出するステップと、
前記抽出された枠と様式データベースにあらかじめ登録された前記様式の枠との間で所定の合致条件を満足する枠どうしの対応関係を対応枠抽出部により抽出するステップと、
前記抽出された前記枠どうしの対応関係をもとに前記様式単位の枠の一致度を一致度算出部により算出するステップと、
前記算出された前記様式単位の枠の一致度をもとに、前記入力された帳票の様式を様式判別部により判別するステップと
を具備することを特徴とする帳票処理方法。
【請求項6】
コンピュータを、
帳票の画像情報を入力する入力部と、
前記入力部により入力された帳票の画像情報を二値化する二値画像作成部と、
前記二値画像作成部により生成された二値画像の中の特定の画素値のまとまり部分を前記帳票の様式の枠に相当する部分として抽出する枠抽出部と、
帳票の様式に関する情報があらかじめ登録された様式データベースと、
前記枠抽出部により抽出された前記枠と前記様式データベースに登録された前記様式の枠との間で所定の合致条件を満足する枠どうしの対応関係を抽出する対応枠抽出部と、
前記対応枠抽出部によって抽出された枠どうしの対応関係をもとに前記様式単位の枠の一致度を算出する一致度算出部と、
前記一致度算出部によって算出された前記様式単位の枠の一致度をもとに、前記入力された帳票の様式を判別する様式判別部として機能させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate