帳票認識装置、方法およびプログラム
【課題】不特定多数の種類の帳票を、予め定義されたフォームを用いずに認識する装置において、文字認識制度を劣化させることなく、二値化処理を高速化する。
【解決手段】罫線で区切られたセルの中に文字若しくは文字列を含む、又は含まないセルで構成される表を含む帳票に記載されている文字を認識する帳票認識装置であって、前記表のセルの配置を定める表構造を画定し、画像から予め定められた文字又は文字列である見出しを抽出し、前記見出しを含むセルである見出しセルの位置を前記表構造中に特定して、画定された前記表構造のセルのうち、セル内に何らかの文字又は文字列が記入されている記入済みセルを検出し、検出された前記記入済みセルのみを二値化対象セルとして選択する。前記表の中の前記二値化対象セルの二値化処理を行ない二値画像を生成することにより、前記二値画像から帳票に記載されている文字を認識する。
【解決手段】罫線で区切られたセルの中に文字若しくは文字列を含む、又は含まないセルで構成される表を含む帳票に記載されている文字を認識する帳票認識装置であって、前記表のセルの配置を定める表構造を画定し、画像から予め定められた文字又は文字列である見出しを抽出し、前記見出しを含むセルである見出しセルの位置を前記表構造中に特定して、画定された前記表構造のセルのうち、セル内に何らかの文字又は文字列が記入されている記入済みセルを検出し、検出された前記記入済みセルのみを二値化対象セルとして選択する。前記表の中の前記二値化対象セルの二値化処理を行ない二値画像を生成することにより、前記二値画像から帳票に記載されている文字を認識する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、帳票などの表を有する文書において、帳票上の文字を認識するために用いられる帳票認識装置、方法およびプログラムに関し、特に、帳票などの表を有する画像データの二値化処理を含む帳票認識装置、方法およびプログラムに関する。
【背景技術】
【０００２】
今日の、特に企業の経済活動では、多種類の帳票を同時に扱う場面が少なくない。例えば、顧客が金融機関と取引をする際には、顧客が複数種類の帳票の一つに必要な事項を記入し金融機関に提出する。顧客から記入済み帳票を受け取った金融機関は、帳票の記載内容に基づいて、所定の処理及び顧客への対応を行う。帳票の記載内容には、金額等の数字も含まれる。そして、そのような複数種類の帳票は、帳票自体の大きさが異なっていたり、表のセルを定義する罫線が異なっていたり、罫線の構造が同一でも、表のセルに記入されるべき項目が異なっていたりする。また、例えば、金融機関で用いられる振込み依頼書のように、異なる複数の対象にある処理を依頼するための帳票では、顧客によって表の記入面積が異なることがある。
【０００３】
また、それらの帳票の多くは電子化された文書として処理されるようになった。このために、紙の文書を電子化された文書に変換する技術として画像認識技術が着目されている。従来から知られている画像認識技術には、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒｉｚｅ Ｒｅｃｏｇｎｉｔｉｏｎ、光学式文字認識）などがある。
【０００４】
近年、不特定多数の種類の帳票を一台の機械で処理するための、電子化された帳票の記載内容を自動的に読み取る装置が知られるようになった。
そのような装置では、不特定多数の種類の帳票の処理を行うためには、帳票上の表の罫線を認識して表のセルの構造を画定し、表の見出し（項目）を認識し、見出しの種類から各セルに入るべき中身を自動的に推測するなどして、帳票のフォーマットを推測する必要がある。予め帳票のフォーマットを記録しておき、帳票に付けられた識別のための記号を読み取ることによって、その帳票のフォーマットを特定するという方法は、今の場合、適用不可能である。
【０００５】
このとき、一般に帳票に含まれる表の各セルには、見出しを表す文字、見出しの内容を示す文字、数字、又は記号などが記入されるので、そのような装置では、表の上での見出しと、その見出しに関連する文字、数字、記号などを自動的に対応付ける必要がある。たとえば、見出しが「金額」であれば、その見出しに関連するものは単位が円、ドルなどの「数字」である。もし帳票のフォーマットが予め定義されている場合には、そのような対応付けはデータベース中に記憶させることができる。しかし、予め帳票のフォーマットを定義できない場合には、対応付けを自動的に生成する必要がある。
【０００６】
紙の帳票を読み込んで、表の罫線を認識し、またＯＣＲ等で文字認識を行うためには、認識処理をする前に、帳票全体の二値画像を生成する必要がある。二値画像を用いて、ＯＣＲ等の文字認識などが行われる。一般に、不特定多数の種類の帳票の処理を行うためには、帳票の全面の二値化処理が必要である。
【０００７】
例えば、複数の見出し（項目）に関して、その見出しに関わる数字、漢字などのデータ文字をその中に記入する記入欄と予めプリントされた項目名とが表の中に配列された帳票を光学的に読み取ったイメージから、記入欄に記入されたデータ文字（キーワード）を認識する光学式文字認識装置が知られている（特許文献１）。このような装置の例には、帳票イメージ全面に対してシステム辞書を用いてＯＣＲ処理を行い表構造及び表のセル中の文字を認識し、見出しごとに再度ＯＣＲ処理が必要か否かを予め定義した再ＯＣＲ処理指定情報を参照して、再度ＯＣＲをすべき記入欄を特定し、各見出しについて特定の記入欄に対して、適合した辞書を用いて、部分的にＯＣＲ処理を行うことによって、予めフォーマットが登録されていない、項目のレイアウトが異なる帳票に対しても対応することが可能な装置が含まれる。たとえば、帳票イメージ全面に対するＯＣＲ処理では、帳票の各見出しのセルのレイアウトが認識され、部分ＯＣＲでは、対象となる記入欄に適したユーザ辞書、たとえば金額が入るべき記入欄に対しては数字が記憶された辞書、を用いることができる。この方法では、項目名の属性に応じて、ＯＣＲ処理で用いる辞書を変えるなど、認識方法を変更するので、データの文字の認識精度を上げることができる。
【０００８】
また、上記のような装置での処理を高速化するために、項目名の文字が記入されている確率が高い領域を優先的に探索する装置が知られている（特許文献２）。
さらに、帳票の文字認識に適した二値画像を生成することによって、文字認識の精度向上を図った画像処理装置が存在する。
【０００９】
そのような装置の一つの例として、ある領域内の文字の有無を判定し、その領域に文字が存在しないと判定されたときには、その領域を白画素で埋める装置が知られている（特許文献３）。この装置では、所定の領域内の連結成分のエッジ数、例えば領域内の横又は縦方向に走査したときの白黒の反転の回数に着目して、文字の有無を判定し、もしその領域に文字が無いと判定された場合には、その領域をすべて白画素にする処理を行う。
【００１０】
また、文字などが記入された画像から背景ノイズの影響を除き、その後の文字認識などの処理に寄与できる画像処理装置であって、記入のない余白部分や予め用意した白紙帳票の領域の濃度分布と、任意に指定された領域を分割した小領域の濃度分布を比較して、その小領域に文字が存在するか否かを判定し、文字の記入がないと判定された領域の濃度を、所定の背景濃度に置換することによって原画像よりノイズを除去する装置が存在する（特許文献４）。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特許第４３４７６７７号公報
【特許文献２】特開２００９−９３３０５号公報
【特許文献３】特開２０００−３３１１１８号公報
【特許文献４】特許第４３９３４１１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、一般に帳票は、顧客によって表の構造も異なるし、表の記入面積も異なっている。上述のような従来技術を用いて帳票の認識を行う場合、電子化された文書から、文字認識に用いる二値化画像の生成に時間を要するという課題があった。
【００１３】
また、各文字領域内の文字の有無を判定し、その領域に文字が存在しないと判定されたときには、その領域を白画素で埋める装置においては、二値化閾値を算出する処理を行う面積は変わらないので、二値化処理に要する時間を大幅に減少させることは難しいという課題があった。
【００１４】
従って、不特定多数の種類の帳票を、予め定義されたフォームを用いずに認識する帳票認識装置において、文字認識精度を劣化させることなく、二値化処理を高速化した装置が要求されている。
【課題を解決するための手段】
【００１５】
本発明の一態様に従う帳票認識装置は、罫線で区切られたセルであって、その中に文字若しくは文字列を含む、又は含まないセルで構成される表を含む帳票に記載されている文字を認識する帳票認識装置であって、前記表において、前記セルの配置を定める表構造を画定する表構造画定手段と、前記画像から予め定められた文字又は文字列である見出しを抽出する、見出し抽出手段と、前記見出しを含むセルである見出しセルの位置を前記表構造中に特定する、見出し位置特定手段と、前記表構造画定手段で画定された前記表構造のセルのうち、セル内に何らかの文字又は文字列が記入されている記入済みセルを検出する記入済みセル検出手段と、前記記入済みセル検出手段で検出された前記記入済みセルのみを二値化対象セルとして選択する二値化対象セル選択手段と、前記表の中の前記二値化対象セルの二値化処理を行ない、二値画像を生成する二値化手段と、前記二値画像から帳票に記載されている文字を認識する文字認識手段、を具備することを特徴とする。
【００１６】
本発明の他の態様に従う帳票認識方法およびプログラムは、上記帳票認識装置に用いられる手段を実現する方法、上記帳票装置に用いられる手段の機能をコンピュータで実現するコンピュータ認識可能な命令を含むプログラムである。
【発明の効果】
【００１７】
このような帳票認識方法および装置では、予め定義されたフォームを用いずに帳票を認識することができ、さらに、帳票上の表の一部の領域しか二値化処理を行わないことによって、二値化処理に要する時間を減らすことができる。その結果、自由なフォーラムの帳票の認識の認識精度を落とすことなく、高速化することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の装置のブロック図である。
【図２Ａ】本発明の装置に適用されるキーワード認識技術の処理方法を示すフローチャートである。
【図２Ｂ】本発明の装置に適用されるキーワード認識技術の処理方法を示すフローチャートである。
【図２Ｃ】本発明の装置に適用されるキーワード認識技術の処理方法を示すフローチャートである。
【図３】表構造情報抽出部での処理を説明するための図である。
【図４】本発明の装置が処理対象とする帳票の例を示す図である。
【図５】図４に示されている帳票の例の一部を示す図である。
【図６】本発明の例１の装置のブロック図である。
【図７】本発明の例１の装置に適用されるキーワード認識技術の処理方法を示すフローチャートである。
【図８】罫線を残した二値画像の例である。
【図９】本発明の例１の装置が処理対象とする帳票の例を示す図である。
【図１０】本発明の例２の装置のブロック図である。
【図１１】本発明の例２の装置に適用されるキーワード認識技術の処理方法を示すフローチャートである。
【図１２】本発明の例２の装置が処理対象とする帳票の例の一部を示す図である。
【図１３】図１２に示した帳票の例の一部の二値化対象外範囲を示す図である。
【図１４】本発明の例３の装置のブロック図である。
【図１５】本発明の例３の装置に適用されるキーワード認識技術の処理方法を示すフローチャートである。
【図１６】本発明の例３の装置が処理対象とする帳票の例の一部を示す図である。
【図１７】本発明の例４の装置のブロック図である。
【図１８】本発明の例４の装置に適用されるキーワード認識技術の処理方法を示すフローチャートである。
【図１９】本発明の例４の装置に適用されるキーワード認識技術の処理方法中のはしご枠の抽出を説明する図である。
【図２０】本発明の例４の装置が処理対象とする帳票の例の一部の二値化対象外範囲を示す図である。
【図２１】本発明の例４の装置に適用されるキーワード認識技術の処理方法中のはしご枠のグルーピングを説明する図である。
【図２２】本発明の例５の装置のブロック図である。
【図２３】本発明の例５の装置に適用されるキーワード認識技術の処理方法を示すフローチャートである。
【図２４】本発明の例５の装置が処理対象とする帳票の例の一部の二値化対象外範囲を示す図である。
【図２５】本発明の例６の装置のブロック図である。
【図２６】本発明の例６の装置に適用されるキーワード認識技術の処理方法を示すフローチャートである。
【図２７】本発明の例６の装置に適用されるキーワード認識技術の処理方法中のセルを上下に分割する罫線のチェックを説明する図である。
【図２８】本発明の例６の装置が処理対象とする帳票の例の一部のカナ項目フラグ１を二値化対象外範囲とする処理を示す図である。
【発明を実施するための形態】
【００１９】
（全般的説明）
本発明の一態様に従う帳票認識装置は、罫線で区切られたセルであって、その中に文字若しくは文字列を含む、又は含まないセルで構成される表を含む帳票に記載されている文字を認識する帳票認識装置であって、前記表において、前記セルの配置を定める表構造を画定する表構造画定手段と、前記画像から予め定められた文字又は文字列である見出しを抽出する、見出し抽出手段と、前記見出しを含むセルである見出しセルの位置を前記表構造中に特定する、見出し位置特定手段と、前記表構造画定手段で画定された前記表構造のセルのうち、セル内に何らかの文字又は文字列が記入されている記入済みセルを検出する記入済みセル検出手段と、前記記入済みセル検出手段で検出された前記記入済みセルのみを二値化対象セルとして選択する二値化対象セル選択手段と、前記表の中の前記二値化対象セルの二値化処理を行ない、二値画像を生成する二値化手段と、前記二値画像から帳票に記載されている文字を認識する文字認識手段、を具備することを特徴とする。
【００２０】
ここで、帳票の画像はカラー画像であっても良い。
ここで、表構造画定手段は、電子化された帳票の画像の全体の二値化処理を行い、その二値化画像から罫線だけを残す処理を行う。この処理は例えば、帳票の画像上の横線と縦線を抽出することによって行っても良い。さらに、帳票の画像上の横線と縦線を抽出し、残りの範囲を背景色、例えば白色、で上塗りしても良い。表の罫線が決まると、罫線で区切られたセルが定まり、各セルには列番号と行番号を付与することができる。また、以下で述べるように、表構造画定手段は、点線、破線などの実線ではない線を抽出することによって、例えばはしご枠セル等の複数のセルを含む結合セルを抽出しても良い。
【００２１】
また、前記表構造画定手段は、前記画像中の点であって、そこから少なくとも２本の線が延びる点、即ち交点、または少なくとも一端が別の線と接触する線分を検出することによって前記表の前記罫線を検出しても良い。また、交点のうち、一番外側、すなわち帳票の上下左右の枠に近い交点を抽出することによって、表の外枠を画定しても良い。
【００２２】
ここで、見出し抽出手段は、電子化された帳票の画像の全体または一部を二値化処理することによって得られた二値化画像から、予め見出しが記憶された見出し辞書を参照しながら文字認識を行い、帳票上の見出しを抽出する。一般に、見出しは表の上の方の行、例えば、第１行目に記載されることが多い。そこで、表構造画定手段によって画定された表構造を参照して、表の上の方の行の文字認識を優先的に行っても良い。
【００２３】
ここで、見出し位置特定手段では、見出しの位置に関する情報、即ち表中の行番号、列番号が特定される。より詳細には、前記表構造画定手段で画定された表構造と、見出し抽出手段によって抽出された見出しとその位置、例えば、帳票の左上隅からの距離を比較し、見出しの表中の位置情報、即ち列番号および行番号を特定する。
【００２４】
ここで、二値化対象セル選択手段では、特定の見出しに関する表の領域を二値化対象外とする。例えば、特定の見出しの列を二値化対象外とする。別の言葉では、特定の見出しに関する表の行や列の領域のみを二値化対象とし、その領域に含まれるセルを二値化対象セルとして選択する。
【００２５】
しかしながら、二値化対象セル選択手段は、常に、表の列単位で二値化対象領域を選択しなくても良い。例えば、「名前」と「フリガナ」のように、一つの行の中に同一の情報を含む２つの記入欄が用意されているような場合には、「フリガナ」が記入されるセルだけを二値化対象とすることも可能である。この場合は、隔行で二値化対象セルが選択されても良い。
【００２６】
ここで、二値化手段は、二値化対象セル選択手段で選択されたセルを二値化する。二値化手段を用いて得られる二値画像は、文字認識手段で用いる文字認識技術に適していることが望ましい。
【００２７】
ここで、文字とは数字、記号、アルファベット、カタカナ、ひらがな、漢字等を含む。また、場合によってはバーコードのように文字を表す記号であっても良い。
また、罫線は、実線であっても良いし、点線、破線、一点鎖線等であっても良い。例えば、金額など数字の列を記入するためのはしご枠セルは、点線で区切られている。上述のようにはしご枠は表構造画定手段によって抽出されても良い。
【００２８】
記入済みセル検出手段は、表構造画定手段によって定められた表の各セル中に文字が記載されているかどうかを判定し、その中に文字が記入された記入済みセルを検出する。
あるセル中に文字が記入されているか否かの判定は、セル中の黒画素数をチェックすることによって行ってもよい。また、あるセル全体の色彩を検出し、その色彩からそのセル中に文字が記入されているか否かを判定しても良い。より具体的には、その色彩の明度から判定しても良い。このように明度からあるセル中の文字の記入の有無を判定する方法では、１つのセルに対し、色彩の測定を１回行えばよく、他の方法、例えばエッジ数の検出などの方法に比べて、あるセル中の文字の記入の有無を判定を高速で行うことができる。
【００２９】
また、帳票の画像がカラー画像の場合は、記入済みセル検出手段は、セルの色の、色相、彩度及び明度の３つの成分からなるＨＳＶ色空間内のベクトルを用いて、セルが記入済みか否かを判断しても良い。
【００３０】
一般に、ＨＳＶ空間のベクトルでは、色を表す色相軸の変域は０°〜３６０°、色の鮮やかさを現す彩度は０〜１００％、明るさを示す明度は０〜１００％である。明度の値が小さければ黒色に近い。例えば、明度が２０％より小さいセル中の画素を所定の数以上含むセルを記入済みセルを判定しても良い。
【００３１】
また、記入済みセル検出手段は、セルの色のＨＳＶ空間内のベクトルではなく、ＲＧＢ空間のベクトルを用いて、セルが記入済みか否かを判断しても良い。
記入済みセル検出手段で検出されたセルのみを二値化対象セルとして、二値化手段によって二値化を行い二値画像を生成する。
【００３２】
文字認識手段は二値画像から帳票に記載されている文字を認識する。文字認識手段としては、ＯＣＲ等、公知の技術を用いることができる。
このように本態様に従う帳票認識装置では、予め定義されたフォームを用いずに帳票を認識することができ、さらに、帳票上の表の一部の領域しか二値化処理を行わないことによって、二値化処理に要する時間を減らすことができる。その結果、自由なフォーラムの帳票の認識の認識精度を落とすことなく、高速化することができる。
【００３３】
本発明の別の態様に従う帳票認識装置は、さらに、前記二値化対象セル選択手段は、前記表構造画定手段で画定された前記表構造のセルのうち、前記見出しに対応する相対位置に位置するセルが記入済みセルでなかったときに、前記記入済みセルでないセルに対して所定の相対位置にあるセルを前記二値化対象セルから除外することを特徴とする。
【００３４】
帳票の場合、表の明細行中に未記入セルが多くあるとき、その明細行は未記入明細である可能性が高い。よって、明細行中の未記入セルが一定数以上のとき、その行全体のセルの二値化を行わないことによって帳票の二値化処理に要する時間を減らすことができる。
【００３５】
本発明の別の態様に従う帳票認識装置は、さらに、前記見出しに対応する相対位置に位置する複数のセルを前記表構造中に画定する複数セル画定手段、を含み、前記二値化対象セル選択手段は、前記複数のセルを前記二値化対象セルとして認識することを特徴とする。
【００３６】
ここで、複数セル画定手段で定められる複数セルには、はしご枠セルを含む。はしご枠セルは、セル中の黒画素数をチェックするとき、表の中で、はしご枠を区切る点線などの罫線による、一定の閾値以上の黒画素数が周期的に表れるセル列を検出することによって認識することができる。そのはしご枠セルを二値化処理の対象としては複数セルとして、一つのセルとしてみなしても良い。
【００３７】
帳票ではしご枠は、数字を記入する場合などに多く用いられる。また、一般に、帳票の場合、一番下の行に小計欄があることが多い。表の一番下の行で、表の中で一定の閾値以上の黒画素数が周期的に現れるセル列を抽出することによって小計欄を抽出し、小計欄を複数セルとして、一つのセルとしてみなしても良い。
【００３８】
また、複数セルは、単に複数個のセルの集まりであっても良い。
このように、たとえばはしご枠を一つの複数セルとして認識し、二値化対象セルとみなすことによって、二値化処理の回数を減らすことができ、フォーマットが予め与えられていない帳票の二値化処理に要する時間をさらに減らすことができる。
【００３９】
また、たとえば、何桁もの数字を記入する欄がはしご枠セルではなく、１つのセルである帳票の場合には、そのセルの端から端まで文字が記入されているとは限らない。そのような場合、文字が記入されている領域以外の領域を二値化対象外領域として、二値化処理を省略しても良い。
【００４０】
本発明の別の態様に従う帳票認識装置は、さらに、前記複数のセルのうち文字が記入されているセルが連続する記入済みの複数セルを検出する記入済み複数セル検出手段と、を含み、前記二値化対象セル選択手段は、前記見出し位置特定手段によって特定された前記見出しを含むセルの位置に対して、前記見出しに対応する相対位置に位置する前記複数セルのうち、記入済み複数セル検出手段で検出された前記複数セルのみを二値化対象セルとして選択することを特徴とする。
【００４１】
たとえば、帳票の表の金額記入欄は、金額のオーバーフローを起こさないように、大きな桁数が用意されている。帳票では、表の一番下の小計欄が最大桁数である。すると、それより上の行には、最大桁数より小さい数字が記入されている。よって、最大桁数より大きな桁のセルは空白である。その領域の二値化処理を省略することができれば、二値化処理をする面積を削減することができる。
【００４２】
本発明の別の態様に従う帳票認識装置は、さらに、前記見出しに対応する相対位置に位置する複数のセルを前記表構造中に画定する結合セル画定手段、を含み、前記二値化対象セル選択手段は、前記見出し位置特定手段によって特定された前記見出しを含むセルの位置に対して、前記見出しに対応する相対位置に位置する前記結合セル内の一部のみを、前記二値化対象セルとして選択することを特徴とする。
【００４３】
ここで「結合セル」とは、はしご枠セル、はしご形式のセルなどとも呼ばれ、何桁もの数字を記入するために点線や破線で各桁が区切られているセルなどを指す。数字のみならず、平仮名や片仮名を記入する際に、濁点等を一文字として処理するために、点線や破線で各桁が区切られているセルも結合セルに含まれる。
【００４４】
この態様では、さらに前記表構造画定手段で画定された前記表構造のセルの少なくとも一部のセルから、セル内に何らかの文字又は文字列が記入されている記入済みセルを検出する記入済みセル検出手段と、前記結合セル中の、前記記入済みセルの最大数を画定する最大セル数画定手段と、を含み、前記二値化対象セル選択手段はさらに、前記見出しを含むセルの位置に対して、前記見出しに対応する相対位置に位置する前記結合セルに含まれる前記複数のセルから、前記最大数のセルを、前記見出しに依存して二値化対象セルとして選択しても良い。
【００４５】
一般に金額を含む帳票では、表の一番下の欄に小計欄又は合計欄を含むことがある。すると、その列の各行に記入された数字は、小計欄に記入された数字の桁数より小さな桁数を有する。そこで、小計欄に記載された数字の桁数を最大桁数として抽出し、その列の各行のセルの二値化処理にあたり、最大桁数を超えた桁のセルの二値化処理は省略することが可能である。
【００４６】
また、前記二値化手段は、前記見出しに依存して、前記結合セル内を右端のセルから左向きに、または左端のセルから右向きに、前記接合セル内で前記記入済みセルの列の始まりを見出すまで二値化処理をスキップしても良い。
【００４７】
本発明の別の態様に従う帳票認識装置は、前記二値化手段は、前記見出しに依存して、前記複数セルの各々の中を左端のセルから右向きに、または右端のセルから左向きに、前記記入済み複数セルの端のセルを見出すまで二値化処理を省略することを特徴とする。
【００４８】
本態様に従えば、一つのセルの空白部分の二値化処理を省略することができ、二値化処理をすべき面積を削減することができる。
また、本発明の一態様に従う帳票認識方法は、罫線で区切られたセルであって、その中に文字若しくは文字列を含む、又は含まないセルで構成される表を含む帳票に記載されている文字を認識する帳票認識方法であって、前記表において、前記セルの配置を定める表構造を画定するステップと、前記画像から予め定められた文字又は文字列である見出しを抽出するステップと、前記見出しを含むセルである見出しセルの位置を前記表構造中に特定するステップと、前記表構造画定手段で画定された前記表構造のセルのうち、セル内に何らかの文字又は文字列が記入されている記入済みセルを検出するステップと、前記記入済みセル検出手段で検出された前記記入済みセルのみを二値化対象セルとして選択するステップと、前記表の中の前記二値化対象セルの二値化処理を行ない、二値画像を生成することと、前記二値画像から帳票に記載されている文字を認識するステップ、を具備することを特徴とする。
【００４９】
本態様に従う帳票認識方法では、予め定義されたフォームを用いずに帳票を認識することができ、さらに、帳票上の表の一部の領域しか二値化処理を行わないことによって、二値化処理に要する時間を減らすことができる。その結果、自由なフォーラムの帳票の認識の認識精度を落とすことなく、高速化することができる。
【００５０】
本発明の別の態様に従う帳票認識方法は、前記表構造のセルのうち、前記見出しによって定められるある特定のセルが記入済みセルでなかったときに、前記記入済みセルでないセルに対して所定の相対位置にあるセルを前記二値化対象セルから除外するステップを含むことを特徴とする。
【００５１】
本発明の別の態様に従う帳票の画像の二値化処理を行う方法は、さらに、前記見出しに対応する相対位置に位置する複数のセルを前記表構造中に画定するステップを含み、前記二値化対象セルを選択するステップは、前記複数のセルを前記二値化対象セルとして認識することを特徴とする。
【００５２】
本発明の別の態様に従う帳票認識方法は、さらに、前記複数のセルのうち文字が記入されているセルが連続する記入済みの複数セルを検出するステップを含み、前記二値化対象セルを選択するステップは、前記見出し位置特定手段によって特定された前記見出しを含むセルの位置に対して、前記見出しに対応する相対位置に位置する前記複数セルのうち、記入済み複数セル検出手段で検出された前記複数セルのみを二値化対象セルとして選択することを特徴とする。
【００５３】
本発明の別の態様に従う帳票認識方法は、前記表構造画定手段で画定された前記表構造のセルのうち、前記見出しに対応する相対位置に位置するセルが記入済みセルでなかったときに、前記記入済みセルでないセルに対して所定の相対位置にあるセルを前記二値化対象セルから除外するステップを含むことを特徴とする。
【００５４】
本発明の別の態様に従う帳票認識方法は、さらに、画定された前記表構造のセルの少なくとも一部のセルから、セル内に何らかの文字又は文字列が記入されている記入済みセルを検出するステップと、前記結合セル中の、前記記入済みセルの最大数を画定するステップを含み、前記二値化対象セルを選択することはさらに、前記見出しを含むセルの位置に対して、前記見出しによって定められる相対位置に位置する前記結合セルに含まれる前記複数のセルから、前記最大数のセルを、前記見出しに依存して二値化対象セルとして選択することを特徴とする。
【００５５】
本発明の別の態様に従う帳票認識方法は、さらに、前記見出しに対応する相対位置に位置する複数のセルを含む結合セルを前記表構造中に画定するステップを含み、前記二値化対象セルを選択するステップは、前記見出し位置特定手段によって特定された前記見出しを含むセルの位置に対して、前記見出しに対応する相対位置に位置する前記結合セル内の一部のみを、前記二値化対象セルとして選択することを特徴とする。
【００５６】
本発明の別の態様に従う帳票認識方法は、さらに、前記表構造のセルの少なくとも一部のセルから、セル内に何らかの文字又は文字列が記入されている記入済みセルを検出するステップと、前記結合セル中の、前記記入済みセルの最大数を画定するステップを含み、前記二値化対象セルを選択するステップは、さらに、前記見出しを含むセルの位置に対して、前記見出しに対応する相対位置に位置する前記結合セルに含まれる前記複数のセルから、前記最大数のセルを、前記見出しに依存して二値化対象セルとして選択するステップを含むことを特徴とする。
【００５７】
本発明の別の態様に従う帳票認識方法は、前記見出しに依存して、前記結合セル内を右端のセルから左向きに、または左端のセルから右向きに、前記結合セル内で前記記入済みセルの列の始まりを見出すまで二値化処理をスキップするステップを含むことを特徴とする。
【００５８】
本発明の別の態様に従う帳票認識方法は、前記見出しに依存して、二値化対象セル選択手段によって認識された前記複数セルの左端のセルから右向きに、または右端のセルから左向きに、前記複数セルの端のセルを見出すまで二値化処理を省略するステップを含むことを特徴とする。
【００５９】
また、本発明の一態様に従うプログラムは、罫線で区切られたセルであって、その中に文字若しくは文字列を含む、又は含まないセルで構成される表を含む帳票に記載されている文字を認識する帳票認識装置として用いることが可能なコンピュータに、前記表において、前記セルの配置を定める表構造を画定する表構造画定機能と、前記画像から予め定められた文字又は文字列である見出しを抽出する、見出し抽出機能と、前記見出しを含むセルである見出しセルの位置を前記表構造中に特定する、見出し位置特定機能と、前記表構造画定手段で画定された前記表構造のセルのうち、セル内に何らかの文字又は文字列が記入されている記入済みセルを検出する記入済みセル検出機能と、前記記入済みセル検出手段で検出された前記記入済みセルのみを二値化対象セルとして選択する二値化対象セル選択機能と、前記表の中の前記二値化対象セルの二値化処理を行ない、二値画像を生成する二値化機能と、前記二値画像から帳票に記載されている文字を認識する文字認識機能、を実現させることを特徴とする。
【００６０】
図１乃至５を参照しながら、上記のような本発明に従う画像データの二値化処理方法及びそれを用いた帳票認識装置１０について全般的な説明する。
図１は、本発明の帳票認識装置１０のブロック図である。
【００６１】
本発明に従う帳票認識装置１０は、スキャナ１００、罫線二値化処理部１１０、表構造情報抽出部１２０、見出し二値化処理部１３０、見出し・項目抽出部１４０、簡易文字認識処理部１４２、二値化対象外処理部１５０、はしご枠グルーピング処理部１５２、記入有無判定部１５４、部分二値化処理部１６０及び文字認識処理部１７０を含んでいる。これらは互いに電気的に接続されている。これらの処理部は、たとえば、それぞれの処理を専門に行うプロセッサであっても良いし、汎用計算機及びそれぞれの処理を行うための計算機認識可能な命令を含む媒体の組み合わせであっても良い。各処理部を汎用計算機によって実現するときには、各処理部の機能は、その機能をコンピュータに実行させる命令を含むプログラムを用いて実現する。
【００６２】
また、装置１０は、原画像記憶部２００、罫線二値画像記憶部２０２、表構造情報記憶部２０４、見出し二値化記憶部２０６、見出し・項目情報記憶部２０８、見出し辞書部２１０、二値化対象外範囲記憶部２１２、及び閾値記憶部２１４を含んでいる。これらは、ＲＡＭまたはＲＯＭなどのメモリであってよい。また、上記様々な処理部とは同一のデバイス内に配置されても良いし、別個のデバイスとして準備されても良い。
【００６３】
またこれらの記憶部は、上記の様々な処理部から出力されたデータを受けて記憶することができる。
原画像記憶部２００はスキャナ１００に通信可能に接続され、スキャナで取り込まれた画像を記憶する。罫線二値画像記憶部２０２は罫線二値化処理部１１０に通信可能に接続され、罫線二値化処理部１１０での結果が記憶される。表構造情報記憶部２０４及び見出し二値化記憶部２０６はそれぞれ、表構造情報抽出部１２０及び見出し二値化処理部１３０に通信可能に接続され、それぞれの処理部での結果が記憶される。見出し・項目情報記憶部２０８及び見出し辞書部２１０は共に、見出し・項目抽出部１４０に通信可能に接続される。見出し・項目抽出部１４０では、見出し辞書部２１０を参照しながら、帳票画像上から見出し・項目を抽出し、結果は見出し・項目情報記憶部２０８に出力される。見出し辞書部２１０には、予め設定した見出しの文字情報が収納されている。二値化対象外範囲記憶部２１２は、二値化対象外処理部１５０に通信可能に接続され、二値化対象外処理部１５０で選択された二値化処理を行わない範囲を記憶する。閾値記憶部２１４は、記入有無判定部１５４に通信可能に接続され、記入有無判定部１５４は、閾値記憶部２１４に記憶されている閾値を用いて、あるセル中に文字の記入があるか否かを判定する。
【００６４】
記入有無判定部１５４は、あるセル中の黒画素の数またはその分布に基づいて、そのセル内に文字等の記入があるかどうかを判定しても良い。この場合、黒画素であるか否かは、色相、彩度及び明度の３つの成分からなるＨＳＶ色空間中のベクトルの大きさ及び／又は向きを用いて判定することができる。または、あるセル中の連結成分の個数を検出することによって、セル内に文字等の記載があるかどうかを判定しても良い。
【００６５】
部分二値化処理部１６０では、帳票画像のうち、二値化対象外処理部１５０で選択された二値化対象外範囲を除いた領域の二値化処理を行う。
文字認識処理部１７０では、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒｉｚｅ Ｒｅｃｏｇｎｉｔｉｏｎ、光学式文字認識）等、公知の文字認識手段を用いて、部分二値化処理部１６０で二値化された画像中の文字を認識する。
【００６６】
表構造画定手段は、罫線二値化処理部１１０、表構造抽出部１２０、罫線二値画像記憶部２０２、および表構造情報記憶部２０４を含む。
見出し抽出手段は、見出し二値化処理部１３０、見出し・項目抽出部１４０、簡易文字認識処理部１４２、見出し二値化記憶部２０６、見出し・項目情報記憶部２０８、及び見出し辞書部２１０を含む。見出し位置特定手段は、表構造抽出部１２０、罫線二値画像記憶部２０２、表構造情報記憶部２０４、見出し二値化処理部１３０、見出し・項目抽出部１４０、簡易文字認識処理部１４２、見出し二値化記憶部２０６、見出し・項目情報記憶部２０８、及び見出し辞書部２１０を含む。二値化対象セル選択手段は、二値化対象外処理部１５０、二値化対象外範囲記憶部２１２を含む。二値化手段は、部分二値化処理部１６０を含む。記入済みセル検出手段は、記入有無判定部１５４および閾値記憶部２１４を含み、複数セル画定手段は、罫線二値化処理部１１０、表構造抽出部１２０、罫線二値画像記憶部２０２、表構造情報記憶部２０４、およびはしご枠グルーピング処理部１５２を含む。文字認識手段は、文字認識処理部１７０を含む。また、最大桁数検出手段は、記入有無判定部１５４を含む。結合セル画定手段は、罫線二値化処理部１１０、表構造抽出部１２０、および罫線二値画像記憶部２０２を含む。上記各手段は、それぞれの手段における機能を実現するコンピュータが認識可能な命令を含むプログラムによって定義されても良い。たとえば、表構造画定手段は、その手段の機能に対応する表構造画定機能を実現するコンピュータが認識可能なプログラムまたはプログラムの部分を定義しても良い。
【００６７】
図２は、本発明の装置１０に適用されるキーワード認識技術の処理方法を示すフローチャートである。
Ｓ１０００では、スキャナ１００を用いて、帳票のイメージ読取処理を行う。本発明に従う帳票認識装置１０では、帳票はカラー画像であることが望ましい。カラー画像を用いることで、文字とノイズ、または文字と背景色の分離等が容易になり、高精度の帳票認識が可能である。しかしながら、本発明に従う帳票認識装置１０で扱われる帳票はカラーでなくても構わない。スキャナ１００を用いて読み取られた画像は、原画像記憶部２００に記憶される。Ｓ１０００の処理が終了するとＳ１００５に進む。
【００６８】
Ｓ１００５では、Ｓ１０００で罫線二値化処理部１１０により、原画像記憶部２００に記憶されているカラー画像の二値化処理を行い、罫線を残した二値画像を出力する。より詳細には、Ｓ１００５では、入力されたカラー画像の二値化処理を行い、罫線のみを残し、それ以外は全て背景色（例えば白色）とした二値画像を出力する。罫線を残した二値画像は、罫線二値画像記憶部２０２に出力される。このときの二値化処理は、罫線を抽出することを目的とするものなので、複数画素によって構成される、二値化処理範囲の単位の大きさを、文字を認識するには大きいが、線を認識するには十分に小さくして、処理速度を最小化しても良い。
【００６９】
カラー画像から罫線だけを残した二値画像は、帳票上の横線及び縦線といった直線成分を抽出することによって生成される。Ｓ１００５の処理が終了するとＳ１０１０に進む。
Ｓ１０１０では、罫線二値画像記憶部２０２に記憶された罫線を残した二値画像を参照し、表構造抽出部１２０によって、横線と縦線の交点の情報からセルと、最終的な線形（表形）を算出し、各セルに列番号と行番号の情報（座標）を付加したものを表構造情報として、表構造情報記憶部２０４に出力する。各セルの位置は、列番号と行番号の２成分であらわさずに、例えば、左上隅のセルから右下隅のセルに向かって、行に関しては左から右に、行に関しては上から下に番号付けをし、その番号によって表しても良い。
【００７０】
Ｓ１０１０における表構造抽出部１２０の処理を、図３を参照しながら説明する。図３中の大きな丸印で表される点Ｐ１は、図３中に示されている罫線を有する表の仮の端点である。また、小さな丸印で表される縦線と横線が交わる交点Ｐ３を検出することによって、交点Ｐ３を頂点とする四角形を個々のセルとして認識する。表構造抽出部１２０が点Ｐ１を頂点とする四角形を表形とすると、点Ｐ２のように突出した交点が出現する。そこで、点Ｐ２を頂点に含む四角形も表のセルと認識し、最終的な表形を抽出する。
【００７１】
また、Ｓ１０１０で表構造抽出部１２０は、後に記載するように、「はしご枠」または「結合セル」の抽出を行っても良い。はしご枠とは、複数の桁の数字を記入するために各桁が点線で区切られた連続するセルを定義する表の枠である。図４に示されている、本装置１０が処理対象とする帳票の例では、「口座番号」、「金額」、及び「手数料」の見出しの列はそれぞれ、連続する１０個のセル、１０個のセル、５個のセルからなるはしご枠セルであって、はしご枠セルを定義する罫線がはしご枠である。Ｓ１０１０の処理が終了するとＳ１０１５に進む。はしご枠セルの位置、含まれるセルの数などははしご枠情報として、表構造情報記憶部２０４に記憶されても良い。
【００７２】
Ｓ１０１５では、表構造抽出部１２０によって抽出された表構造情報を用いて、表の一番上の行を対象に、文字を残した二値画像を作成し、見出し二値化記憶部２０６に出力する。より詳細には、表構造情報を用いて、表の一番上の行から罫線を削除したカラー画像において、表の一番上の行の領域で二値化処理を行って文字を残した二値画像を生成しても良い。Ｓ１０１５は、見出し二値化処理部１３０によって処理される。Ｓ１０１５の処理が終了するとＳ１０２０に進む。
【００７３】
Ｓ１０１５での見出し二値化処理部１３０による二値化処理では、二値化処理範囲の単位の大きさ（一般に複数の画素を含み、その領域内で二値化閾値が定義される領域）は、罫線二値化処理部１１０が行う二値化処理の際に用いられる大きさと同等または小さいことが望ましい。このように、罫線二値化処理部１１０と見出し二値化処理部１３０の二値化処理での個々の二値化処理範囲の単位の大きさを変化させることによって、帳票の二値化処理速度を改善することができる。
【００７４】
Ｓ１０２０では、Ｓ１０１５で作成された表の一番上の行中の文字を残した二値画像を対象に文字認識を行い、抽出した文字情報を見出し辞書部２１０に記憶されている情報と比較し、見出しとみなした文字情報を見出し・項目情報記憶部２０８に出力する。
【００７５】
Ｓ１０２０に引き続くＳ１０２５では、表の一番上の行中の文字を残した二値画像中の文字が見出し辞書部２１０に無かった場合、認識対象外の見出し項目とし、Ｓ１０３０に進む。また、表の一番上の行中の文字を残した二値画像中の文字が見出し辞書部２１０にある場合、Ｓ１０３５に進む。Ｓ１０２０及びＳ１０２５は、見出し・項目抽出部１４０によって処理される。
【００７６】
図２のフローチャート中の分岐において、“Ｙ”はイエス（肯定）を表し、“Ｎ”はノー（否定）を表す。図２以降の図中に表れるフローチャートにおいても同様である。
Ｓ１０３０では、Ｓ１０２５で選択された二値化対象外の見出しが属する表の列を二値化対象外とし、二値化対象外範囲記憶部２１２に出力する。Ｓ１０３０の処理は、二値化対象外処理部１５０によって処理される。Ｓ１０３０の処理が終わると、Ｓ１０３５に進む。
【００７７】
Ｓ１０３５では、Ｓ１０２０及びＳ１０２５で抽出された見出しを対象に、右詰か左詰かの位置属性付けを行う。この処理は、見出し・項目抽出部１４０によって行われ、結果は、見出し・項目情報記憶部２０８に出力される。Ｓ１０３５の処理が終わると、Ｓ１０４０に進む。
【００７８】
この位置属性情報は、見出し辞書部２１０に、Ｓ１０２０及びＳ１０２５で抽出された見出しを表す文字と共に記憶されていて良い。
Ｓ１０４０では、記入有無判定部１５４によって、Ｓ１０３０で抽出した見出しごとの位置属性情報に基づいて、見出し列ごとに、文字の記入がない空白部分を特定し、さらに二値化対象外処理部１５０によって、二値化対象外範囲記憶部２１２に出力する。Ｓ１０４０の処理が終わると、Ｓ１０４５に進む。
【００７９】
Ｓ１０４５では、記入有無判定部１５４によってＳ１０１０で抽出した表構造情報と、閾値記憶部２１４に記憶されている、予め設定されたセルごとの閾値、見出しごとの閾値等に基づいて、表の下の行から表の各セルに文字が記入されているか否かを判定する。
【００８０】
Ｓ１０４５に引き続くＳ１０５０では、表中に空白とみなせる行（明細行）があるか否かを判定する。この処理は、記入有無判定部１５４によって行われる。もし、空白とみなせる行があれば処理はＳ１０５５に進み、空白とみなせる行は、二値化対象外処理部１５０によって、二値化対象外範囲として二値化対象外範囲記憶部２１２に出力される。その後、処理はＳ１０６０に進む。もし、空白とみなせる行がなければ、処理は直接、Ｓ１０６０に進む。
【００８１】
Ｓ１０６０では、Ｓ１０１０で抽出されたはしご枠情報に基づいて、表の中のはしご枠を抽出し、表構造情報記憶部２０４に出力する。Ｓ１０６０の処理が終了すると、Ｓ１０６５に進む。はしご枠の抽出方法は、後述のようなヒストグラムを用いる方法のほか、表中の実線で囲まれた領域内を区分する点罫線を抽出することによって行っても良い。
【００８２】
Ｓ１０６５では、Ｓ１０６０の結果を参照しながら、表の中にはしご枠があるかの判定を行う。Ｓ１０６０及びＳ１０６５の処理は表構造情報抽出部１２０によって行われる。
Ｓ１０６５での判定の結果が「ある」であればＳ１０７０に、結果が「なし」であればＳ１０９５に進む。Ｓ１０７０及びＳ１０９５では、簡易文字認識処理部１４２によって、表構造情報抽出部１２０に記憶された表構造情報を用いて、表の下から２行分を対象に文字認識を行う。結果として得られる文字情報は、見出し辞書部２１０に記憶されているデータと突き合わされ、小計欄とみなされた見出しの文字情報を見出し・項目情報記憶部２０８に出力する。Ｓ１０７０では、はしご枠セルが存在するので、小計記載欄を抽出する際に、はしご枠セルを小計記載欄の候補として優先的に検索しても良い。Ｓ１０７０及びＳ１０９５の処理が終わるとそれぞれ、Ｓ１０７５及びＳ１１００に進む。
【００８３】
Ｓ１０７５及びＳ１１００では、小計欄が抽出できたかを判定する。
Ｓ１０７５で小計欄が抽出された場合はＳ１０８０に、小計欄が抽出されなかった場合には、Ｓ１０８５に進む。Ｓ１１００で小計欄が抽出された場合はＳ１１０５に、小計欄が抽出されなかった場合には、Ｓ１１１５に進む。
【００８４】
Ｓ１０８０では、小計欄ははしご枠であるので、記入有無判定部１５４によって、記入桁数を算出する。
Ｓ１１０５では、小計欄ははしご枠ではないので、記入有無判定部１５４によって、記入範囲を示す座標を算出する。そして、この記入範囲を示す座標から、小計記入欄中で数字などの文字が記載された長さである小計記入長を算出する。
【００８５】
Ｓ１０８０に引き続くＳ１０８５では、Ｓ１０８０で算出された桁数以外の、たとえば金額が記入される可能性があるセル範囲を二値化対象外範囲とし、二値化対象外範囲記憶部２１２に出力する。また、小計欄がはしご枠ではない場合、Ｓ１１１０では、Ｓ１１０５で算出された小計記入長以外の、たとえば金額が記入されるセル範囲を二値化対象外範囲とし、二値化対象外範囲記憶部２１２に出力する。
【００８６】
Ｓ１０８５及びＳ１１１０の処理が終了するとそれぞれ、Ｓ１０９０及びＳ１１１５に進む。
Ｓ１０９０では、はしご枠グルーピング処理部１５２によって、Ｓ１０８５で特定された二値化対象外範囲をグルーピングし、グルーピング結果を二値化対象外範囲記憶部２１２に出力する。グルーピングされたセルは「複数セル」としても参照され得る。
【００８７】
Ｓ１１１５では、Ｓ１０１０で抽出された表構造情報及びＳ１０２０で抽出された見出し情報に基づいて、受取人項目の一番上のセルを対象に、上下に分割する罫線があるかのチェックを行う。ここでは受取人項目を例に説明をしているが、氏名とふりがなの組のように、ルビを振るためにセル中に上下に分割する罫線を用いることが好適なセルを対象としても良い。
【００８８】
Ｓ１１１５に引き続くＳ１１２０では、受取人項目の罫線有無の判定を行い、罫線がありの場合はＳ１１２５に、罫線がなしの場合はＳ１１３５に進む。
Ｓ１１２５及びＳ１１３５では、簡易文字認識処理部１４２によって、受取人項目の罫線の上または下にカナ項目があるかのチェックを行う。カナ項目としては、平仮名、片仮名の他、アルファベットなど外国語で用いられる文字であっても良い。
【００８９】
Ｓ１１２５でカナ項目が存在するとの結果であればＳ１１４５に進み、存在しないとの結果であれば、Ｓ１１３０に進む。
Ｓ１１３５でカナ項目が存在するとの結果であればＳ１１５０に進み、存在しないとの結果であれば、Ｓ１１４０に進む。
【００９０】
Ｓ１１３０及びＳ１１４０では、二値化対象処理部１５０によって、受取人項目のカナ項目以外の列を二値化対象外範囲とみなし、二値化対象外範囲記憶部２１２に出力する。
Ｓ１１３０及びＳ１１４０では、受取人項目のカナ項目以外の列を二値化対象外範囲とみなすが、受取人項目に漢字記入欄しか設けられていない場合は、受取人項目のカナ項目以外の列を二値化対象外範囲とせずに、二値化処理の対象として残しておいても良い。
【００９１】
Ｓ１１３０及びＳ１１４０の処理が終了すると、Ｓ１１５０に進む。
一方、Ｓ１１４５では、受取人項目にカナ項目があるので、Ｓ１０１０で抽出された表構造情報に基づいて、受取人項目列中のカナ項目ではない項目が記入されたセルの位置を特定し、二値化対象外処理部１５０によって二値化対象外範囲とみなした後、二値化対象外範囲記憶部２１２に出力する。Ｓ１１４５の処理が終了するとＳ１１５０に進む。
【００９２】
Ｓ１１５０では、二値化対象外範囲記憶部２１２を参照することによって、二値化対象外範囲があるかないかを判定する。もし、二値化対象外範囲があればＳ１１５５に、なければＳ１１６０に進む。
【００９３】
Ｓ１１５５では、二値化対象外処理部１５０によって、二値化対象外範囲記憶部２１２から二値化対象外範囲に関する情報を読み出し、最終的な二値化対象範囲を画定する。その後、Ｓ１１６０に進む。
【００９４】
Ｓ１１６０では、部分二値化処理部１６０によって、Ｓ１１５５によって画定された最終的な二値化対象範囲のセルに対し、セル単位の二値化処理を行う。処理が終了すると、Ｓ１１６５に進む。Ｓ１１６０での二値化処理では、一つ一つの二値化処理範囲の単位の大きさは、罫線二値化処理部１１０が行う二値化処理の際に用いられる大きさと同等または小さいことが望ましい。このようにすることによって、生成された二値画像の文字認識時の精度を犠牲にせず、二値化処理の速度を改善することができる。
Ｓ１１６５では、文字認識処理部１７０によって、帳票上の表の二値化対象範囲に対し文字認識を行う。
【００９５】
図４は、本発明の装置が処理対象とする帳票の例を示す図である。帳票に含まれる表は図４の場合、２２行、３２列の構造を有している。ここで、「口座番号」の見出しの列は１０列、「金額」の見出しの列は１０列、「手数料」の見出しの列は５列と数えている。図４の場合、２２行×３２列＝７０４個のセルを含む。
【００９６】
図５は、図４に示されている帳票でのセル、はしご形式のセル（はしご枠のセル）、見出し、認識対象文字データを示している。
実線、破線等の直線である罫線で区切られた領域がセルである。セルは表を構成する単位要素でもある。はしご形式のセルは、点罫線等により分割されている複数のセルを含む。このはしご形式のセルは複数セルとしても参照される。図５の例では、口座番号、金額及び手数料の記入欄がはしご形式のセルである。
【００９７】
図５では、表の第１行目の「項番」、「金融機関名」、「支店名」、「預金種目」、「口座番号」、「受取人」、「金額」、「振込区分」、「手数料」、「摘要」が見出しである。また、「依頼人」も見出しに含まれる。文字認識の対称となる認識対象文字データは、表の見出しの列の各々の行に記入される文字または文字列である。
【００９８】
上記のような構成を取ることによって、不特定多数の種類の帳票を、予め定義されたフォームを用いずに認識する装置において、文字認識精度を劣化させることなく、二値化処理を高速化した帳票認識装置を得ることができる。
【００９９】
（例１）
以下では、幾つかの例を参照して、本発明に従う画像データの二値化処理方法及びそれを用いた帳票認識装置のより詳細な説明を行う。以下では、同一または類似の機能を有する要素、または同一または類似の処理を行うステップは上述の装置１０と同じ参照符号を付与し、詳細な説明を省略する。
【０１００】
本例は、見出し情報から認識対象外の項目に関連するセルを二値化対象外範囲とすることによって、部分二値化する範囲を削減する方法及びそれを用いた装置に関する。
以下、図６乃至９を参照して、本例を説明する。図６は本発明の例１の装置のブロック図である。図７は本発明の本例の装置２０に適用されるキーワード認識技術の処理方法を示すフローチャートである。図８は罫線を残した二値画像の例である。図９は本発明の例１の装置が処理対象とする帳票の例を示す図である。
【０１０１】
図６に示されているように、本例に従う帳票認識装置２０は、スキャナ１００、罫線二値化処理部１１０、表構造情報抽出部１２０、見出し二値化処理部１３０、見出し・項目抽出部１４０、及び二値化対象外処理部１５０を含んでいる。これらは互いに電気的に接続されている。
【０１０２】
また、装置２０は、原画像記憶部２００、罫線二値画像記憶部２０２、表構造情報記憶部２０４、見出し二値化記憶部２０６、見出し・項目情報記憶部２０８、見出し辞書部２１０、及び二値化対象外範囲記憶部２１２、を含んでいる。これらの記憶部は、上述の装置１０と同様に対応する処理部に接続される。
【０１０３】
図７は装置２０で実行される処理を表すフローチャートである。
本例の装置２０では、図４のような帳票上の表において、認識対象項目以外の項目を二値化対象外とすることによって二値化面積を削減する処理を実行する。
【０１０４】
装置１０で実行されるステップＳ１０００〜Ｓ１０１５を処理した後、本例では、Ｓ２０００で簡易文字認識を行う。
Ｓ１００５で得られる罫線を残した二値画像の例を図８に示す。図８は図４の帳票上の表の罫線を残した二値画像の一部である。
【０１０５】
Ｓ２０００では、見出し・項目抽出部１４０を用いて、Ｓ１０１５で作成された表の一番上の行中の文字を残した二値画像を対象に文字認識を行い、次のＳ２００５に進む。
Ｓ２００５では、抽出した文字情報を見出し辞書部２１０に記憶されている情報と突合せ、抽出した文字情報が見出し項目かどうかを判定する。
【０１０６】
もし、文字情報が見出し項目であればＳ２０２０に進む。Ｓ２０２０では、見出しの位置、例えば列番号及び行番号を表構造情報と比較することによって画定し、見出し項目とみなした文字情報を列番号及び行番号情報と共に、見出し・項目情報記憶部２０８に出力する。
【０１０７】
もし、文字情報が見出し項目になければ、認識対象外の見出し項目として、列番号及び行番号情報と共に、見出し・項目情報記憶部２０８に出力し、Ｓ２０２５に進む。
Ｓ２０２５では、認識対象外の見出し項目があるかを判定し、なければ二値化面積を削減する処理は終了する。
【０１０８】
もし認識対象外の見出し項目があれば、Ｓ２０３０で、表構造情報記憶部２０４に記憶されている表構造情報を参照しつつ、Ｓ２０２５で特定された認識対象外の見出し項目を含む列全体を二値化対象外範囲として、列単位で認識外フラグを付加する。
【０１０９】
図９は、認識外フラグ１が付与され、二値化対象外範囲とされた列の例を示している。
最後に、Ｓ２０３０の後のＳ２０１０で、二値化対象外範囲記憶部２１２によって、Ｓ２０３０で設定されたフラグに基づいて、認識対象外の見出し項目の列を二値化対象外として、二値化対象外範囲記憶部２１２に座標を出力して、二値化面積を削減する処理を終了する。
【０１１０】
本例で二値化面積を削減する処理を行った後に、図２のＳ１１５０〜Ｓ１１６５を行うことによって、帳票の認識を行うことができる。
【０１１１】
図４に示した帳票を例に本例の装置２０の効果を説明する。
もし本例に示したような二値化対象外範囲を二値化処理せずに、図４に示した帳票上の表の全てのセルを二値化処理をする場合、処理回数は、行数２２×列数３２＝７０４回である。それに対し、本例の装置３０を用いることによる二値化処理回数は、行数２２×列数３＝６６回を削減することができる。
【０１１２】
（例２）
例２は、各項目のデータの記載位置に位置属性付けを行い、セルごとの空白部分と特定し対象外とすることで、部分二値化する範囲を削減する方法及びそれを用いた装置に関する。
【０１１３】
図１０乃至１３を参照して、本例を説明する。図１０は本発明の例２の装置３０のブロック図である。図１１は本発明の例２の装置に適用されるキーワード認識技術の処理方法を示すフローチャートである。図１２は本発明の例２の装置が処理対象とする帳票の例の一部を示す図である。図１３は図１２に示した帳票の例の一部の二値化対象外範囲を示す図である。
【０１１４】
図１０に示されているように、本例に従う帳票認識装置３０は、表構造情報抽出部１２０、見出し・項目抽出部１４０、二値化対象外処理部１５０、及び記入有無判定部１５４を含んでいる。これらは互いに電気的に接続されている。
【０１１５】
また、装置３０は、原画像記憶部２００、表構造情報記憶部２０４、見出し・項目情報記憶部２０８、見出し辞書部２１０、二値化対象外範囲記憶部２１２、及び閾値記憶部２１４を含んでいる。
【０１１６】
装置３０では、見出し・項目情報記憶部２０８及び見出し辞書部２１０は見出し・項目抽出部１４０に、表構造情報記憶部２０４は表構造情報抽出部１２０に、閾値記憶部２１４及び原画像記憶部２００は記入有無判定部１５４に接続されている。
【０１１７】
図１１は、装置３０で実行される処理を表すフローチャートである。
本例の装置３０では、見出し項目を対象にデータ記載位置が左詰か右詰かの位置属性付けを行い、項目列ごとに空白部分が存在するセルにチェックを施し、特定した空白部分を部分二値化対象外範囲として、二値化処理面積を削減する。
【０１１８】
図１１に示される処理では、Ｓ３０００で、例１のＳ２０００と同様に、表の一番上の行中の文字を残した二値画像を対象に文字認識を行い、抽出した文字情報を見出し辞書部２１０に記憶されている情報と突合せ、見出しとみなした文字情報を見出し・項目情報記憶部２０８に出力する。
【０１１９】
次にＳ１０２５では、表の一番上の行中の文字を残した二値画像中の文字が見出し辞書部２１０に無かった場合、部分二値化する範囲を削減する処理を終了する。また、表の一番上の行中の文字を残した二値画像中の文字が見出し辞書部２１０にある場合、Ｓ１０３５に進む。
【０１２０】
Ｓ１０３５では、見出し・項目情報記憶部２０８に記憶されている認識対象とした見出し情報を参照し、認識外フラグが付加されていない項目に位置属性フラグを付加する。フラグ例としては、０なら左詰、１なら右詰である。Ｓ１０３５の処理は、見出し・項目抽出部１４０で行われる。
【０１２１】
図１２は、位置属性フラグの付加の例を示している。「金融機関名」なる見出しに対しては、位置属性フラグ０が付加され、認識対象文字データである「ＡＡＡ銀行」、「ＢＢＢ銀行」などは、セル内で左詰で記入される。一方、「口座番号」なる見出しに対しては、位置属性フラグ１が付加され、口座番号は右詰で記入される。
【０１２２】
Ｓ１０３５の次のＳ３００５では、空白部分のチェックが行われる。
Ｓ３００５の処理を、図１３を参照しながら説明する。
原画像記憶部２００中の、スキャナで読み込まれた帳票のカラー画像を参照し、記入有無判定部１５４が、前述のように設定されたフラグに基づいて、帳票上の表の列ごとにヒストグラムを用いた黒画素判定をドット単位で行い、空白部分を特定する。ここで、ヒストグラムとは、図１３に示されているように、結合セル（はしご枠セル）内の黒画素領域分布を示す。図１３中のヒストグラムで、横軸はセル内の左端からの距離、縦軸は黒画素数である。ヒストグラムは、二値化処理を行う個々の単位領域が黒画素であるか、そうでないかを、その領域の色のＨＳＶ空間におけるベクトルから判定した結果の分布であっても良い。例えば、明度が２０％より小さい単位領域を黒画素と判定しても良い。はしご枠セルでヒストグラムを作成すると、桁を区別する罫線で黒画素数の鋭いピークが表れる。このピークの情報を利用して、はしご枠セルの抽出を行う、または確認を行っても良い。また、このピークは、空白部分として認識される。
【０１２３】
そして、特定された空白部分を二値化対象外範囲記憶部２１２に出力する。
見出し「金融機関名」には、空白部分の特定のために黒画素が存在するか否かのチャック処理をセルの右から行うことを示す列の位置属性フラグ“０”が、見出し「口座番号」には、空白部分の特定のために黒画素が存在するか否かのチャック処理をセルの左から行うことを示す列の位置属性フラグ“１”が付加される。
【０１２４】
Ｓ３００５に引き続くＳ２０１０で、二値化対象外範囲記憶部２１２によって、Ｓ１０３０で設定されたフラグに基づいて、認識対象外の見出し項目の列の空白部分の座標を二値化対象外として、二値化対象外範囲記憶部２１２に座標を出力する。
【０１２５】
本例で二値化面積を削減する処理を行った後に、図２のＳ１１５０〜Ｓ１１６５を行うことによって、帳票の認識を行うことができる。
【０１２６】
図４に示した帳票を例に本例の装置３０の効果を説明する。
本例の装置３０を用いることによる二値化処理面積は、見出しが「項番」の列の４％、「振込み」の列の８％、「摘要」の列の７％の計１９％を削減することができる。
【０１２７】
（例３）
本例は、表のセル情報の記入の有無をチェックすることにより、部分二値化をする範囲と回数を削減する装置に関する。
【０１２８】
図１４乃至１６を参照して本例を説明する。図１４は本発明の例３の装置４０のブロック図である。図１５は本発明の例３の装置に適用されるキーワード認識技術の処理方法を示すフローチャートである。図１６は、本発明の例３の装置が処理対象とする帳票の例の一部を示す図である。
【０１２９】
図１４に示されているように、本例に従う帳票認識装置４０は、表構造情報抽出部１２０、二値化対象外処理部１５０、及び記入有無判定部１５４を含んでいる。これらは互いに電気的に接続されている。
また、装置４０は、原画像記憶部２００、表構造情報記憶部２０４、二値化対象外範囲記憶部２１２、閾値記憶部２１４、ヒストグラム記憶部２１６を含んでいる。表構造情報記憶部２０４は表構造情報抽出部１２０に、二値化対象外範囲記憶部２１２は二値化対象外処理部１５０に、並びに閾値記憶部２１４、ヒストグラム記憶部２１６及び原画像記憶部２００は記入有無判定部１５４に接続されている。
【０１３０】
図１５は装置４０で実行される処理を表すフローチャートである。
本例の装置４０では、表のセル情報の記入の有無を行単位でチェックし、未記入セルが一定数以上からなる行を二値化対象外とし、二値化処理面積を削減する。
【０１３１】
本例の処理では、表構造情報記憶部２０４から、処理をしたい帳票の電子化された画像に関する表構造情報を参照し、帳票に含まれる表の一番下の行から上の行に向かって、記入の有無をチェックする。
【０１３２】
まず、Ｓ４０００では、原画像記憶部２００から帳票のカラー画像を参照し、記入有無判定部１５４により黒画素数のチェックを行うことでセルごとの記入有無を判定し、記入有りと判断した時には記入フラグを付加する。例えば、記入フラグ“１”は記入有り、記入フラグ“０”は記入されているとは断定できない記入不明確の状態を表しても良い。
【０１３３】
図１６に、記入フラグが付加された表のセルの例を示す。図１６中で各セルの下に示されているのはセル中の黒画素数のヒストグラムである。
このとき、ヒストグラム中、一定の閾値以上の黒画素が周期的に見出されるセル列ははしご枠セルのヒストグラムとしてヒストグラム記憶部２１６に出力する。閾値は、予め閾値記憶部２１４に記憶されている。
【０１３４】
また、はしご枠セルは、表構造情報を参照して、見出しを表す文字が記入されているセルの長さと、見出しを表す文字が記入されているセルに対応する場所（たとえば、見出しが記入されているセルに対応する列）の長さを比較することによって抽出するまたは候補を抽出しても良い。一般に、はしご枠セルの各桁を区切る罫線は点線または破線であることが少なくない。よって、帳票上の点線または破線などの実線ではない罫線を抽出することによって、はしご枠セルを抽出するまたは候補を抽出しても良い。
【０１３５】
Ｓ４０００に引き続くＳ４００５では、その行に属する全てのセルが未記入または記入不明瞭であるかを判定する。その行に属する全てのセルが未記入または記入不明瞭であれば、その行に属する全てのセルが未記入または記入不明瞭であるかを示すフラグである、未記入フラグ“１”を立てて、Ｓ４０１０に進み、処理する行を一つ１の行に移し、Ｓ４０００に戻る。
【０１３６】
Ｓ４００５で、その行に記入フラグ“1”と記入フラグ“0”が立っているセルが一定数以上見出されると、その行には文字が記入されたセルが存在することになる。この時は、Ｓ４０１５に進み、二値化対象外処理部１５０によって、未記入フラグ“１”が立てられた行を、二値化対象外範囲記憶部２１２に、二値化対象外の座標として出力し、二値化をする範囲と回数を削減する処理を終了する。
【０１３７】
本例で二値化をする範囲と回数を削減する処理を行った後に、図２のＳ１１５０〜Ｓ１１６５を行うことによって、帳票の認識を行うことができる。
【０１３８】
図４に示した帳票を例に本例の装置４０の効果を説明する。
本例の装置４０を用いることによる二値化処理回数は、図４中の帳票上の表の第１３行目から第２０行目のセルの二値化処理を削減することができる。よって、表の一番上の見出しを含む行と表の一番下の小計欄を含む行の計２２行中、８行は二値化処理を行わない。よって二値化処理の回数は、約３４％減らすことができる。
【０１３９】
（例４）
本例は、例えば金額、手数料などに関するセルなど、セルがはしご枠の場合、はしご枠内のセルをはしご枠セルとして１つにグルーピングして、表の一番下の行からはしご枠セル内に記入される数字の最大桁数を求め、はしご枠セルで部分二値化を行う範囲を削減する装置に関する。ここで、グルーピングされて生成されたセルは複数セルとしても参照され得る。
【０１４０】
図１７乃至２１を参照して本例を説明する。図１７は装置５０のブロック図、図１８は装置５０に適用されるキーワード認識技術の処理方法を示すフローチャートである。図１９は装置５０に適用されるキーワード認識技術の処理方法中のはしご枠の抽出を説明する図である。図２０は装置５０が処理対象とする帳票の例の一部の二値化対象外範囲を示す図である。図２１は装置５０に適用されるキーワード認識技術の処理方法中のはしご枠のグルーピングを説明する図である。
【０１４１】
図１７に示されているように、本例に従う帳票認識装置５０は、表構造情報抽出部１２０、見出し・項目抽出部１４０、簡易文字認識処理部１４２、二値化対象外処理部１５０、はしご枠グルーピング処理部１５２、記入有無判定部１５４を含んでいる。
【０１４２】
また、装置５０は、原画像記憶部２００、表構造情報記憶部２０４、見出し辞書部２１０、二値化対象外範囲記憶部２１２、閾値記憶部２１４、ヒストグラム記憶部２１６を含んでいる。表構造情報記憶部２０４は表構造情報抽出部１２０に、見出し辞書部２１０は見出し・項目抽出部１４０に、二値化対象外範囲記憶部２１２は二値化対象外処理部１５０に接続されている。原画像記憶部２００、閾値記憶部２１４、及びヒストグラム記憶部２１６は記入有無判定部１５４に接続されている。
【０１４３】
図１８は装置５０で実行される処理を表すフローチャートである。
本処理では、まず、表構造情報を元に、ある見出しに対応する表の最下部に位置する小計欄を抽出し、はしご枠セルである小計欄に記入されている数字の桁数を最大桁数として抽出する。すると、その見出しの列の各行に記載される数字の桁数は、小計欄に記入される桁数より小さいので、各行の最大桁数を超える桁は空白である。その空白部分は二値化処理を行わないことによって、二値化処理の回数および二値化処理面積を減らすことができる。
【０１４４】
Ｓ１０６０では、表の中のはしご枠を抽出し、表構造情報記憶部２０４に出力する。次のＳ１０６５では、表構造情報記憶部２０４中の表構造情報を参照し、記入有無判定部１５４により表（明細）中のセルを対象にヒストグラムによるチェックを行い、たとえば前の例３で述べたような方法ではしご枠情報を抽出し、はしご枠とみなしたセルには、はしごフラグ“１”を付与する。図１９はセルにはしごフラグが付与された例を示している。図１９に示されているように、はしご枠では、例えば数字の場合の桁を区切る破線によるヒストグラムのピークが空間的に周期的に現れるという特徴を有する。はしご枠の特定に使用する閾値は予め閾値記憶部２１４に記憶されている。
【０１４５】
Ｓ１０６５ではしご枠があると判定された場合には、Ｓ１０７０に進み、簡易文字認識処理部１４２によって、表構造情報記憶部２０４の情報から帳票中の一番下行から２行分を対象に文字認識を行う。次のＳ１０７０では、抽出した文字情報を見出し辞書部２１０と比較し、小計欄とみなした見出し情報を（図示されていない）見出し・項目情報記憶部２０８に出力する。ほとんどの場合、小計欄は帳票上の表の最下部に位置し、合計欄と共に記載されることが多いため、表の下から２行分の文字認識を行うことが望ましい。
【０１４６】
Ｓ１０６５ではしご枠がないと判定された場合には、はしご枠セルで部分二値化を行う範囲を削減する処理を終了する。
Ｓ５０００では、小計欄とみなした文字情報が見出しにあるのかどうかを判定する。もし、Ｓ５０００の判定の結果、見出しにあると判定されればＳ１０８０に進み、ｓ１０８０では、小計見出しの列に存在するセルに対し、ヒストグラムによるチェックを行う。図２０の金額欄及び手数料欄のように、小計記入欄がはしご枠の場合、原画像記憶部２００からカラー画像を参照し、記入有無判定部１５４によりはしご枠の黒画素数をチェックし、その桁数を算出する。
【０１４７】
Ｓ１０８０の次のＳ１１５５では、各明細中の金額、手数料欄のはしご枠のうち、算出した桁数以外のはしごセルを二値化対象外処理部１５０によって二値化対象外領域とし、二値化対象外範囲記憶部２１２に出力し、そのようなセルの表構造情報中のはしごフラグを削除する。
【０１４８】
次のＳ５００５では、はしご枠グルーピング処理部１５２により、図２１に示されているように、帳票全体のはしごフラグが付加されたセルのうち、隣接するセルをグルーピングし、次のＳ５０１０でグルーピング結果を二値化対象外範囲記憶部２１２に出力する。
【０１４９】
本例で二値化をする範囲と回数を削減する処理を行った後に、図２のＳ１１５０〜Ｓ１１６５を行うことによって、帳票の認識を行うことができる。
図２０に示した帳票を例に本例の装置５０の効果を説明する。
【０１５０】
本例の装置５０を用いることによる二値化処理面積は、「金額」の列の４桁分と手数料列の１桁分を削減することができる。この面積は表全体の約１０％にあたる。
以上のように、本例では、小計欄、金額欄がはしご枠の場合、小計の記入桁数を特定することで見出しごとの金額、手数料の最大桁数も特定でき、二値化対象範囲を狭めることができる。よって、帳票認識装置における二値化処理の高速化を図ることができる。
【０１５１】
（例５）
本例は、例えば金額、手数料などに関するセルなどの、セルがはしご枠でない場合、小計の記入文字列の文字数（記入文字列の長さ）を参照し、セル中の空白部分を特定し、部分二値化を行う範囲を削減する装置６０に関する。
【０１５２】
図２２乃至２４を参照して、本例を説明する。
図２２に示されているように、本例に従う帳票認識装置６０は、表構造情報抽出部１２０、見出し・項目抽出部１４０、簡易文字認識処理部１４２、二値化対象外処理部１５０、記入有無判定部１５４を含んでいる。
【０１５３】
また、装置６０は、原画像記憶部２００、表構造情報記憶部２０４、見出し辞書部２１０、閾値記憶部２１４を含んでいる。表構造情報記憶部２０４は表構造情報抽出部１２０に、見出し辞書部２１０は見出し・項目抽出部１４０に接続されている。原画像記憶部２００及び閾値記憶部２１４は記入有無判定部１５４に接続されている。
【０１５４】
図２３は、本例の装置６０で実行される処理を表すフローチャートである。
本例の装置６０では、例４でははしご枠セルであった小計欄がはしご枠ではない、一つのセルの場合に、小計欄に記入されている数字の桁数を最大文字列長として抽出する。すると、その見出しの列の各行に記載される数字の桁数は、小計欄に記入される数字より短いので、各行の最大文字列長を超える桁は空白である。その空白部分は二値化処理を行わないことによって、二値化処理の回数および二値化処理面積を減らすことができる。
【０１５５】
Ｓ１０７０及びＳ５０００の処理を行った後、Ｓ６０００では、図２４に示されているように、原画像記憶部２００からカラー画像を参照し、記入有無判定部１５４によりはしご枠の黒画素数をヒストグラムを用いてチェックを行い、小計の文字列長を算出する。
【０１５６】
Ｓ６０００の処理が終わると、Ｓ１１５５に進み処理をする。即ち、二値化対象外処理部１５０によって、Ｓ６０００で算出された小計の文字列長を超えたセル中の領域を二値化対象外範囲とする。
【０１５７】
本例で二値化をする範囲と回数を削減する処理を行った後に、図２のＳ１１５０〜Ｓ１１６５を行うことによって、帳票の認識を行うことができる。
【０１５８】
図２４に示した帳票を例に本例の装置６０の効果を説明する。
本例の装置５０を用いることによる二値化処理面積は、「金額」の列の４桁分と手数料列の１桁分を削減することができる。この面積は表全体の１０％にあたる。
尚、例３で記載したような処理を行い、その結果未記入フラグが付加されたセルには上記処理を行わないようにしても良い。
【０１５９】
（例６）
本例は、受取人の見出し情報にカナ部分と漢字項目が存在する場合、その項目のデータセル上の漢字項目を二値化対象外範囲とすることで、部分二値化を行う範囲を削減する装置７０に関する。
【０１６０】
図２５乃至２８を参照して本例を説明する。
図２５に示されているように、本例に従う帳票認識装置７０は、表構造情報抽出部１２０、見出し・項目抽出部１４０、簡易文字認識処理部１４２、二値化対象外処理部１５０、記入有無判定部１５４を含んでいる。
また、装置７０は、原画像記憶部２００、表構造情報記憶部２０４、見出し辞書部２１０、二値化対象外範囲記憶部２１２、閾値記憶部２１４を含んでいる。表構造情報記憶部２０４は表構造情報抽出部１２０に、見出し辞書部２１０は見出し・項目抽出部１４０に接続されている。原画像記憶部２００及び閾値記憶部２１４は記入有無判定部１５４に接続されている。二値化対象外範囲記憶部２１２は、二値化対象外処理部１５０に接続されている。
【０１６１】
図２６は、本例の装置７０で実行される処理を表すフローチャートである。
Ｓ７０００で、（図２６には図示されていない）見出し・項目情報記憶部２０８から見出し情報を参照し、表構造上の受取人と口座番号の見出しの座標位置を特定する。
【０１６２】
次のＳ７００５では受取人見出しの有無を判定し、あればＳ７０１０に進む。受取人見出しがない場合は、部分二値化を行う範囲を削減する処理を終了する。
また、Ｓ７０１０では、口座番号見出しの有無を判定し、あればＳ７０１５に進む。口座番号見出しがない場合は、部分二値化を行う範囲を削減する処理を終了する。
【０１６３】
Ｓ７０１５では、表構造情報記憶部２０４から表構造情報を参照し、口座番号項目の一つ下のセルを参照し、１項目（１明細）分の高さを算出する。次のＳ７０２０では、Ｓ７０１５で算出した１明細分の高さを参照し、見出し受取人項目から１つ下のセルを特定し、図２７に示されているように、記入有無判定部１５４によりセル中の上下に分割する罫線があるかヒストグラムを用いてチェックを実施する。罫線チェックに使用する閾値は、予め閾値記憶部２１４に記憶されている。その後、Ｓ７０２５に進む。
【０１６４】
Ｓ７０２５では、受取人項目のセルに横罫線があるかを判定する。ある場合にはＳ７０3３０に進む。Ｓ７０３０では、原画像記憶部２００からカラー画像を参照し、受取人セルの上段と下段に対し、簡易文字認識処理部１５０によって、カテゴリチェックを行い、カナ項目位置の特定を行う。罫線がない場合は、このＳ７０２５の判定処理を受取人セル全体にわたって行う。
【０１６５】
次のＳ１１２５では、簡易文字認識処理部１４２によって、受取人項目にカナ項目があるかのチェックを行う。もしＳ１１２５でカナ項目があると判定された場合には、Ｓ７０３５に進む。
【０１６６】
もしＳ１１２５でカナ項目がないと判定された場合には、Ｓ１１３０に進む。
Ｓ７０３５では、受取人項目列の明細ごとに、セルの上段、下段に対しカナ項目フラグを、図２８のように付与する。
【０１６７】
Ｓ７０３５のあとのＳ１１５５では、受取人項目列中のカナ項目フラグがカナ項目ではない範囲を二値化対象外処理部１５０によって、二値化対象外範囲として、二値化対象外範囲記憶部２１２に出力する。
【０１６８】
本例で二値化をする範囲と回数を削減する処理を行った後に、図２のＳ１１５０〜Ｓ１１６５を行うことによって、帳票の認識を行うことができる。
【０１６９】
図２８に示した帳票を例に本例の装置７０の効果を説明する。
本例の装置５０を用いることによる二値化処理面積は、図４中の「（フリガナ）」と「受取人」の列のうち、通常は漢字を含む「受取人」の列の二値化処理を省略する。よって、「（フリガナ）」と「受取人」の列の全体に占める面積１３％のうち、半分の７％の二値化処理面積を削減することができる。
【０１７０】
上記では本発明の幾つかの例について記載してきたが、もちろん、上記の例を組み合わせても良い。
二値化処理回数に関しては、例えば例１と例３の技術を組み合わせることによって、例１で６６回、例３でさらに２４２回の計３０８回を減少させることができる。また二値化面積に関しては、例えば例２と例４と例６の技術を組み合わせることによって、１９％＋１０％＋７％＝３６％の面積を減らすことができる。
【技術分野】
【０００１】
本発明は、帳票などの表を有する文書において、帳票上の文字を認識するために用いられる帳票認識装置、方法およびプログラムに関し、特に、帳票などの表を有する画像データの二値化処理を含む帳票認識装置、方法およびプログラムに関する。
【背景技術】
【０００２】
今日の、特に企業の経済活動では、多種類の帳票を同時に扱う場面が少なくない。例えば、顧客が金融機関と取引をする際には、顧客が複数種類の帳票の一つに必要な事項を記入し金融機関に提出する。顧客から記入済み帳票を受け取った金融機関は、帳票の記載内容に基づいて、所定の処理及び顧客への対応を行う。帳票の記載内容には、金額等の数字も含まれる。そして、そのような複数種類の帳票は、帳票自体の大きさが異なっていたり、表のセルを定義する罫線が異なっていたり、罫線の構造が同一でも、表のセルに記入されるべき項目が異なっていたりする。また、例えば、金融機関で用いられる振込み依頼書のように、異なる複数の対象にある処理を依頼するための帳票では、顧客によって表の記入面積が異なることがある。
【０００３】
また、それらの帳票の多くは電子化された文書として処理されるようになった。このために、紙の文書を電子化された文書に変換する技術として画像認識技術が着目されている。従来から知られている画像認識技術には、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒｉｚｅ Ｒｅｃｏｇｎｉｔｉｏｎ、光学式文字認識）などがある。
【０００４】
近年、不特定多数の種類の帳票を一台の機械で処理するための、電子化された帳票の記載内容を自動的に読み取る装置が知られるようになった。
そのような装置では、不特定多数の種類の帳票の処理を行うためには、帳票上の表の罫線を認識して表のセルの構造を画定し、表の見出し（項目）を認識し、見出しの種類から各セルに入るべき中身を自動的に推測するなどして、帳票のフォーマットを推測する必要がある。予め帳票のフォーマットを記録しておき、帳票に付けられた識別のための記号を読み取ることによって、その帳票のフォーマットを特定するという方法は、今の場合、適用不可能である。
【０００５】
このとき、一般に帳票に含まれる表の各セルには、見出しを表す文字、見出しの内容を示す文字、数字、又は記号などが記入されるので、そのような装置では、表の上での見出しと、その見出しに関連する文字、数字、記号などを自動的に対応付ける必要がある。たとえば、見出しが「金額」であれば、その見出しに関連するものは単位が円、ドルなどの「数字」である。もし帳票のフォーマットが予め定義されている場合には、そのような対応付けはデータベース中に記憶させることができる。しかし、予め帳票のフォーマットを定義できない場合には、対応付けを自動的に生成する必要がある。
【０００６】
紙の帳票を読み込んで、表の罫線を認識し、またＯＣＲ等で文字認識を行うためには、認識処理をする前に、帳票全体の二値画像を生成する必要がある。二値画像を用いて、ＯＣＲ等の文字認識などが行われる。一般に、不特定多数の種類の帳票の処理を行うためには、帳票の全面の二値化処理が必要である。
【０００７】
例えば、複数の見出し（項目）に関して、その見出しに関わる数字、漢字などのデータ文字をその中に記入する記入欄と予めプリントされた項目名とが表の中に配列された帳票を光学的に読み取ったイメージから、記入欄に記入されたデータ文字（キーワード）を認識する光学式文字認識装置が知られている（特許文献１）。このような装置の例には、帳票イメージ全面に対してシステム辞書を用いてＯＣＲ処理を行い表構造及び表のセル中の文字を認識し、見出しごとに再度ＯＣＲ処理が必要か否かを予め定義した再ＯＣＲ処理指定情報を参照して、再度ＯＣＲをすべき記入欄を特定し、各見出しについて特定の記入欄に対して、適合した辞書を用いて、部分的にＯＣＲ処理を行うことによって、予めフォーマットが登録されていない、項目のレイアウトが異なる帳票に対しても対応することが可能な装置が含まれる。たとえば、帳票イメージ全面に対するＯＣＲ処理では、帳票の各見出しのセルのレイアウトが認識され、部分ＯＣＲでは、対象となる記入欄に適したユーザ辞書、たとえば金額が入るべき記入欄に対しては数字が記憶された辞書、を用いることができる。この方法では、項目名の属性に応じて、ＯＣＲ処理で用いる辞書を変えるなど、認識方法を変更するので、データの文字の認識精度を上げることができる。
【０００８】
また、上記のような装置での処理を高速化するために、項目名の文字が記入されている確率が高い領域を優先的に探索する装置が知られている（特許文献２）。
さらに、帳票の文字認識に適した二値画像を生成することによって、文字認識の精度向上を図った画像処理装置が存在する。
【０００９】
そのような装置の一つの例として、ある領域内の文字の有無を判定し、その領域に文字が存在しないと判定されたときには、その領域を白画素で埋める装置が知られている（特許文献３）。この装置では、所定の領域内の連結成分のエッジ数、例えば領域内の横又は縦方向に走査したときの白黒の反転の回数に着目して、文字の有無を判定し、もしその領域に文字が無いと判定された場合には、その領域をすべて白画素にする処理を行う。
【００１０】
また、文字などが記入された画像から背景ノイズの影響を除き、その後の文字認識などの処理に寄与できる画像処理装置であって、記入のない余白部分や予め用意した白紙帳票の領域の濃度分布と、任意に指定された領域を分割した小領域の濃度分布を比較して、その小領域に文字が存在するか否かを判定し、文字の記入がないと判定された領域の濃度を、所定の背景濃度に置換することによって原画像よりノイズを除去する装置が存在する（特許文献４）。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特許第４３４７６７７号公報
【特許文献２】特開２００９−９３３０５号公報
【特許文献３】特開２０００−３３１１１８号公報
【特許文献４】特許第４３９３４１１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、一般に帳票は、顧客によって表の構造も異なるし、表の記入面積も異なっている。上述のような従来技術を用いて帳票の認識を行う場合、電子化された文書から、文字認識に用いる二値化画像の生成に時間を要するという課題があった。
【００１３】
また、各文字領域内の文字の有無を判定し、その領域に文字が存在しないと判定されたときには、その領域を白画素で埋める装置においては、二値化閾値を算出する処理を行う面積は変わらないので、二値化処理に要する時間を大幅に減少させることは難しいという課題があった。
【００１４】
従って、不特定多数の種類の帳票を、予め定義されたフォームを用いずに認識する帳票認識装置において、文字認識精度を劣化させることなく、二値化処理を高速化した装置が要求されている。
【課題を解決するための手段】
【００１５】
本発明の一態様に従う帳票認識装置は、罫線で区切られたセルであって、その中に文字若しくは文字列を含む、又は含まないセルで構成される表を含む帳票に記載されている文字を認識する帳票認識装置であって、前記表において、前記セルの配置を定める表構造を画定する表構造画定手段と、前記画像から予め定められた文字又は文字列である見出しを抽出する、見出し抽出手段と、前記見出しを含むセルである見出しセルの位置を前記表構造中に特定する、見出し位置特定手段と、前記表構造画定手段で画定された前記表構造のセルのうち、セル内に何らかの文字又は文字列が記入されている記入済みセルを検出する記入済みセル検出手段と、前記記入済みセル検出手段で検出された前記記入済みセルのみを二値化対象セルとして選択する二値化対象セル選択手段と、前記表の中の前記二値化対象セルの二値化処理を行ない、二値画像を生成する二値化手段と、前記二値画像から帳票に記載されている文字を認識する文字認識手段、を具備することを特徴とする。
【００１６】
本発明の他の態様に従う帳票認識方法およびプログラムは、上記帳票認識装置に用いられる手段を実現する方法、上記帳票装置に用いられる手段の機能をコンピュータで実現するコンピュータ認識可能な命令を含むプログラムである。
【発明の効果】
【００１７】
このような帳票認識方法および装置では、予め定義されたフォームを用いずに帳票を認識することができ、さらに、帳票上の表の一部の領域しか二値化処理を行わないことによって、二値化処理に要する時間を減らすことができる。その結果、自由なフォーラムの帳票の認識の認識精度を落とすことなく、高速化することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の装置のブロック図である。
【図２Ａ】本発明の装置に適用されるキーワード認識技術の処理方法を示すフローチャートである。
【図２Ｂ】本発明の装置に適用されるキーワード認識技術の処理方法を示すフローチャートである。
【図２Ｃ】本発明の装置に適用されるキーワード認識技術の処理方法を示すフローチャートである。
【図３】表構造情報抽出部での処理を説明するための図である。
【図４】本発明の装置が処理対象とする帳票の例を示す図である。
【図５】図４に示されている帳票の例の一部を示す図である。
【図６】本発明の例１の装置のブロック図である。
【図７】本発明の例１の装置に適用されるキーワード認識技術の処理方法を示すフローチャートである。
【図８】罫線を残した二値画像の例である。
【図９】本発明の例１の装置が処理対象とする帳票の例を示す図である。
【図１０】本発明の例２の装置のブロック図である。
【図１１】本発明の例２の装置に適用されるキーワード認識技術の処理方法を示すフローチャートである。
【図１２】本発明の例２の装置が処理対象とする帳票の例の一部を示す図である。
【図１３】図１２に示した帳票の例の一部の二値化対象外範囲を示す図である。
【図１４】本発明の例３の装置のブロック図である。
【図１５】本発明の例３の装置に適用されるキーワード認識技術の処理方法を示すフローチャートである。
【図１６】本発明の例３の装置が処理対象とする帳票の例の一部を示す図である。
【図１７】本発明の例４の装置のブロック図である。
【図１８】本発明の例４の装置に適用されるキーワード認識技術の処理方法を示すフローチャートである。
【図１９】本発明の例４の装置に適用されるキーワード認識技術の処理方法中のはしご枠の抽出を説明する図である。
【図２０】本発明の例４の装置が処理対象とする帳票の例の一部の二値化対象外範囲を示す図である。
【図２１】本発明の例４の装置に適用されるキーワード認識技術の処理方法中のはしご枠のグルーピングを説明する図である。
【図２２】本発明の例５の装置のブロック図である。
【図２３】本発明の例５の装置に適用されるキーワード認識技術の処理方法を示すフローチャートである。
【図２４】本発明の例５の装置が処理対象とする帳票の例の一部の二値化対象外範囲を示す図である。
【図２５】本発明の例６の装置のブロック図である。
【図２６】本発明の例６の装置に適用されるキーワード認識技術の処理方法を示すフローチャートである。
【図２７】本発明の例６の装置に適用されるキーワード認識技術の処理方法中のセルを上下に分割する罫線のチェックを説明する図である。
【図２８】本発明の例６の装置が処理対象とする帳票の例の一部のカナ項目フラグ１を二値化対象外範囲とする処理を示す図である。
【発明を実施するための形態】
【００１９】
（全般的説明）
本発明の一態様に従う帳票認識装置は、罫線で区切られたセルであって、その中に文字若しくは文字列を含む、又は含まないセルで構成される表を含む帳票に記載されている文字を認識する帳票認識装置であって、前記表において、前記セルの配置を定める表構造を画定する表構造画定手段と、前記画像から予め定められた文字又は文字列である見出しを抽出する、見出し抽出手段と、前記見出しを含むセルである見出しセルの位置を前記表構造中に特定する、見出し位置特定手段と、前記表構造画定手段で画定された前記表構造のセルのうち、セル内に何らかの文字又は文字列が記入されている記入済みセルを検出する記入済みセル検出手段と、前記記入済みセル検出手段で検出された前記記入済みセルのみを二値化対象セルとして選択する二値化対象セル選択手段と、前記表の中の前記二値化対象セルの二値化処理を行ない、二値画像を生成する二値化手段と、前記二値画像から帳票に記載されている文字を認識する文字認識手段、を具備することを特徴とする。
【００２０】
ここで、帳票の画像はカラー画像であっても良い。
ここで、表構造画定手段は、電子化された帳票の画像の全体の二値化処理を行い、その二値化画像から罫線だけを残す処理を行う。この処理は例えば、帳票の画像上の横線と縦線を抽出することによって行っても良い。さらに、帳票の画像上の横線と縦線を抽出し、残りの範囲を背景色、例えば白色、で上塗りしても良い。表の罫線が決まると、罫線で区切られたセルが定まり、各セルには列番号と行番号を付与することができる。また、以下で述べるように、表構造画定手段は、点線、破線などの実線ではない線を抽出することによって、例えばはしご枠セル等の複数のセルを含む結合セルを抽出しても良い。
【００２１】
また、前記表構造画定手段は、前記画像中の点であって、そこから少なくとも２本の線が延びる点、即ち交点、または少なくとも一端が別の線と接触する線分を検出することによって前記表の前記罫線を検出しても良い。また、交点のうち、一番外側、すなわち帳票の上下左右の枠に近い交点を抽出することによって、表の外枠を画定しても良い。
【００２２】
ここで、見出し抽出手段は、電子化された帳票の画像の全体または一部を二値化処理することによって得られた二値化画像から、予め見出しが記憶された見出し辞書を参照しながら文字認識を行い、帳票上の見出しを抽出する。一般に、見出しは表の上の方の行、例えば、第１行目に記載されることが多い。そこで、表構造画定手段によって画定された表構造を参照して、表の上の方の行の文字認識を優先的に行っても良い。
【００２３】
ここで、見出し位置特定手段では、見出しの位置に関する情報、即ち表中の行番号、列番号が特定される。より詳細には、前記表構造画定手段で画定された表構造と、見出し抽出手段によって抽出された見出しとその位置、例えば、帳票の左上隅からの距離を比較し、見出しの表中の位置情報、即ち列番号および行番号を特定する。
【００２４】
ここで、二値化対象セル選択手段では、特定の見出しに関する表の領域を二値化対象外とする。例えば、特定の見出しの列を二値化対象外とする。別の言葉では、特定の見出しに関する表の行や列の領域のみを二値化対象とし、その領域に含まれるセルを二値化対象セルとして選択する。
【００２５】
しかしながら、二値化対象セル選択手段は、常に、表の列単位で二値化対象領域を選択しなくても良い。例えば、「名前」と「フリガナ」のように、一つの行の中に同一の情報を含む２つの記入欄が用意されているような場合には、「フリガナ」が記入されるセルだけを二値化対象とすることも可能である。この場合は、隔行で二値化対象セルが選択されても良い。
【００２６】
ここで、二値化手段は、二値化対象セル選択手段で選択されたセルを二値化する。二値化手段を用いて得られる二値画像は、文字認識手段で用いる文字認識技術に適していることが望ましい。
【００２７】
ここで、文字とは数字、記号、アルファベット、カタカナ、ひらがな、漢字等を含む。また、場合によってはバーコードのように文字を表す記号であっても良い。
また、罫線は、実線であっても良いし、点線、破線、一点鎖線等であっても良い。例えば、金額など数字の列を記入するためのはしご枠セルは、点線で区切られている。上述のようにはしご枠は表構造画定手段によって抽出されても良い。
【００２８】
記入済みセル検出手段は、表構造画定手段によって定められた表の各セル中に文字が記載されているかどうかを判定し、その中に文字が記入された記入済みセルを検出する。
あるセル中に文字が記入されているか否かの判定は、セル中の黒画素数をチェックすることによって行ってもよい。また、あるセル全体の色彩を検出し、その色彩からそのセル中に文字が記入されているか否かを判定しても良い。より具体的には、その色彩の明度から判定しても良い。このように明度からあるセル中の文字の記入の有無を判定する方法では、１つのセルに対し、色彩の測定を１回行えばよく、他の方法、例えばエッジ数の検出などの方法に比べて、あるセル中の文字の記入の有無を判定を高速で行うことができる。
【００２９】
また、帳票の画像がカラー画像の場合は、記入済みセル検出手段は、セルの色の、色相、彩度及び明度の３つの成分からなるＨＳＶ色空間内のベクトルを用いて、セルが記入済みか否かを判断しても良い。
【００３０】
一般に、ＨＳＶ空間のベクトルでは、色を表す色相軸の変域は０°〜３６０°、色の鮮やかさを現す彩度は０〜１００％、明るさを示す明度は０〜１００％である。明度の値が小さければ黒色に近い。例えば、明度が２０％より小さいセル中の画素を所定の数以上含むセルを記入済みセルを判定しても良い。
【００３１】
また、記入済みセル検出手段は、セルの色のＨＳＶ空間内のベクトルではなく、ＲＧＢ空間のベクトルを用いて、セルが記入済みか否かを判断しても良い。
記入済みセル検出手段で検出されたセルのみを二値化対象セルとして、二値化手段によって二値化を行い二値画像を生成する。
【００３２】
文字認識手段は二値画像から帳票に記載されている文字を認識する。文字認識手段としては、ＯＣＲ等、公知の技術を用いることができる。
このように本態様に従う帳票認識装置では、予め定義されたフォームを用いずに帳票を認識することができ、さらに、帳票上の表の一部の領域しか二値化処理を行わないことによって、二値化処理に要する時間を減らすことができる。その結果、自由なフォーラムの帳票の認識の認識精度を落とすことなく、高速化することができる。
【００３３】
本発明の別の態様に従う帳票認識装置は、さらに、前記二値化対象セル選択手段は、前記表構造画定手段で画定された前記表構造のセルのうち、前記見出しに対応する相対位置に位置するセルが記入済みセルでなかったときに、前記記入済みセルでないセルに対して所定の相対位置にあるセルを前記二値化対象セルから除外することを特徴とする。
【００３４】
帳票の場合、表の明細行中に未記入セルが多くあるとき、その明細行は未記入明細である可能性が高い。よって、明細行中の未記入セルが一定数以上のとき、その行全体のセルの二値化を行わないことによって帳票の二値化処理に要する時間を減らすことができる。
【００３５】
本発明の別の態様に従う帳票認識装置は、さらに、前記見出しに対応する相対位置に位置する複数のセルを前記表構造中に画定する複数セル画定手段、を含み、前記二値化対象セル選択手段は、前記複数のセルを前記二値化対象セルとして認識することを特徴とする。
【００３６】
ここで、複数セル画定手段で定められる複数セルには、はしご枠セルを含む。はしご枠セルは、セル中の黒画素数をチェックするとき、表の中で、はしご枠を区切る点線などの罫線による、一定の閾値以上の黒画素数が周期的に表れるセル列を検出することによって認識することができる。そのはしご枠セルを二値化処理の対象としては複数セルとして、一つのセルとしてみなしても良い。
【００３７】
帳票ではしご枠は、数字を記入する場合などに多く用いられる。また、一般に、帳票の場合、一番下の行に小計欄があることが多い。表の一番下の行で、表の中で一定の閾値以上の黒画素数が周期的に現れるセル列を抽出することによって小計欄を抽出し、小計欄を複数セルとして、一つのセルとしてみなしても良い。
【００３８】
また、複数セルは、単に複数個のセルの集まりであっても良い。
このように、たとえばはしご枠を一つの複数セルとして認識し、二値化対象セルとみなすことによって、二値化処理の回数を減らすことができ、フォーマットが予め与えられていない帳票の二値化処理に要する時間をさらに減らすことができる。
【００３９】
また、たとえば、何桁もの数字を記入する欄がはしご枠セルではなく、１つのセルである帳票の場合には、そのセルの端から端まで文字が記入されているとは限らない。そのような場合、文字が記入されている領域以外の領域を二値化対象外領域として、二値化処理を省略しても良い。
【００４０】
本発明の別の態様に従う帳票認識装置は、さらに、前記複数のセルのうち文字が記入されているセルが連続する記入済みの複数セルを検出する記入済み複数セル検出手段と、を含み、前記二値化対象セル選択手段は、前記見出し位置特定手段によって特定された前記見出しを含むセルの位置に対して、前記見出しに対応する相対位置に位置する前記複数セルのうち、記入済み複数セル検出手段で検出された前記複数セルのみを二値化対象セルとして選択することを特徴とする。
【００４１】
たとえば、帳票の表の金額記入欄は、金額のオーバーフローを起こさないように、大きな桁数が用意されている。帳票では、表の一番下の小計欄が最大桁数である。すると、それより上の行には、最大桁数より小さい数字が記入されている。よって、最大桁数より大きな桁のセルは空白である。その領域の二値化処理を省略することができれば、二値化処理をする面積を削減することができる。
【００４２】
本発明の別の態様に従う帳票認識装置は、さらに、前記見出しに対応する相対位置に位置する複数のセルを前記表構造中に画定する結合セル画定手段、を含み、前記二値化対象セル選択手段は、前記見出し位置特定手段によって特定された前記見出しを含むセルの位置に対して、前記見出しに対応する相対位置に位置する前記結合セル内の一部のみを、前記二値化対象セルとして選択することを特徴とする。
【００４３】
ここで「結合セル」とは、はしご枠セル、はしご形式のセルなどとも呼ばれ、何桁もの数字を記入するために点線や破線で各桁が区切られているセルなどを指す。数字のみならず、平仮名や片仮名を記入する際に、濁点等を一文字として処理するために、点線や破線で各桁が区切られているセルも結合セルに含まれる。
【００４４】
この態様では、さらに前記表構造画定手段で画定された前記表構造のセルの少なくとも一部のセルから、セル内に何らかの文字又は文字列が記入されている記入済みセルを検出する記入済みセル検出手段と、前記結合セル中の、前記記入済みセルの最大数を画定する最大セル数画定手段と、を含み、前記二値化対象セル選択手段はさらに、前記見出しを含むセルの位置に対して、前記見出しに対応する相対位置に位置する前記結合セルに含まれる前記複数のセルから、前記最大数のセルを、前記見出しに依存して二値化対象セルとして選択しても良い。
【００４５】
一般に金額を含む帳票では、表の一番下の欄に小計欄又は合計欄を含むことがある。すると、その列の各行に記入された数字は、小計欄に記入された数字の桁数より小さな桁数を有する。そこで、小計欄に記載された数字の桁数を最大桁数として抽出し、その列の各行のセルの二値化処理にあたり、最大桁数を超えた桁のセルの二値化処理は省略することが可能である。
【００４６】
また、前記二値化手段は、前記見出しに依存して、前記結合セル内を右端のセルから左向きに、または左端のセルから右向きに、前記接合セル内で前記記入済みセルの列の始まりを見出すまで二値化処理をスキップしても良い。
【００４７】
本発明の別の態様に従う帳票認識装置は、前記二値化手段は、前記見出しに依存して、前記複数セルの各々の中を左端のセルから右向きに、または右端のセルから左向きに、前記記入済み複数セルの端のセルを見出すまで二値化処理を省略することを特徴とする。
【００４８】
本態様に従えば、一つのセルの空白部分の二値化処理を省略することができ、二値化処理をすべき面積を削減することができる。
また、本発明の一態様に従う帳票認識方法は、罫線で区切られたセルであって、その中に文字若しくは文字列を含む、又は含まないセルで構成される表を含む帳票に記載されている文字を認識する帳票認識方法であって、前記表において、前記セルの配置を定める表構造を画定するステップと、前記画像から予め定められた文字又は文字列である見出しを抽出するステップと、前記見出しを含むセルである見出しセルの位置を前記表構造中に特定するステップと、前記表構造画定手段で画定された前記表構造のセルのうち、セル内に何らかの文字又は文字列が記入されている記入済みセルを検出するステップと、前記記入済みセル検出手段で検出された前記記入済みセルのみを二値化対象セルとして選択するステップと、前記表の中の前記二値化対象セルの二値化処理を行ない、二値画像を生成することと、前記二値画像から帳票に記載されている文字を認識するステップ、を具備することを特徴とする。
【００４９】
本態様に従う帳票認識方法では、予め定義されたフォームを用いずに帳票を認識することができ、さらに、帳票上の表の一部の領域しか二値化処理を行わないことによって、二値化処理に要する時間を減らすことができる。その結果、自由なフォーラムの帳票の認識の認識精度を落とすことなく、高速化することができる。
【００５０】
本発明の別の態様に従う帳票認識方法は、前記表構造のセルのうち、前記見出しによって定められるある特定のセルが記入済みセルでなかったときに、前記記入済みセルでないセルに対して所定の相対位置にあるセルを前記二値化対象セルから除外するステップを含むことを特徴とする。
【００５１】
本発明の別の態様に従う帳票の画像の二値化処理を行う方法は、さらに、前記見出しに対応する相対位置に位置する複数のセルを前記表構造中に画定するステップを含み、前記二値化対象セルを選択するステップは、前記複数のセルを前記二値化対象セルとして認識することを特徴とする。
【００５２】
本発明の別の態様に従う帳票認識方法は、さらに、前記複数のセルのうち文字が記入されているセルが連続する記入済みの複数セルを検出するステップを含み、前記二値化対象セルを選択するステップは、前記見出し位置特定手段によって特定された前記見出しを含むセルの位置に対して、前記見出しに対応する相対位置に位置する前記複数セルのうち、記入済み複数セル検出手段で検出された前記複数セルのみを二値化対象セルとして選択することを特徴とする。
【００５３】
本発明の別の態様に従う帳票認識方法は、前記表構造画定手段で画定された前記表構造のセルのうち、前記見出しに対応する相対位置に位置するセルが記入済みセルでなかったときに、前記記入済みセルでないセルに対して所定の相対位置にあるセルを前記二値化対象セルから除外するステップを含むことを特徴とする。
【００５４】
本発明の別の態様に従う帳票認識方法は、さらに、画定された前記表構造のセルの少なくとも一部のセルから、セル内に何らかの文字又は文字列が記入されている記入済みセルを検出するステップと、前記結合セル中の、前記記入済みセルの最大数を画定するステップを含み、前記二値化対象セルを選択することはさらに、前記見出しを含むセルの位置に対して、前記見出しによって定められる相対位置に位置する前記結合セルに含まれる前記複数のセルから、前記最大数のセルを、前記見出しに依存して二値化対象セルとして選択することを特徴とする。
【００５５】
本発明の別の態様に従う帳票認識方法は、さらに、前記見出しに対応する相対位置に位置する複数のセルを含む結合セルを前記表構造中に画定するステップを含み、前記二値化対象セルを選択するステップは、前記見出し位置特定手段によって特定された前記見出しを含むセルの位置に対して、前記見出しに対応する相対位置に位置する前記結合セル内の一部のみを、前記二値化対象セルとして選択することを特徴とする。
【００５６】
本発明の別の態様に従う帳票認識方法は、さらに、前記表構造のセルの少なくとも一部のセルから、セル内に何らかの文字又は文字列が記入されている記入済みセルを検出するステップと、前記結合セル中の、前記記入済みセルの最大数を画定するステップを含み、前記二値化対象セルを選択するステップは、さらに、前記見出しを含むセルの位置に対して、前記見出しに対応する相対位置に位置する前記結合セルに含まれる前記複数のセルから、前記最大数のセルを、前記見出しに依存して二値化対象セルとして選択するステップを含むことを特徴とする。
【００５７】
本発明の別の態様に従う帳票認識方法は、前記見出しに依存して、前記結合セル内を右端のセルから左向きに、または左端のセルから右向きに、前記結合セル内で前記記入済みセルの列の始まりを見出すまで二値化処理をスキップするステップを含むことを特徴とする。
【００５８】
本発明の別の態様に従う帳票認識方法は、前記見出しに依存して、二値化対象セル選択手段によって認識された前記複数セルの左端のセルから右向きに、または右端のセルから左向きに、前記複数セルの端のセルを見出すまで二値化処理を省略するステップを含むことを特徴とする。
【００５９】
また、本発明の一態様に従うプログラムは、罫線で区切られたセルであって、その中に文字若しくは文字列を含む、又は含まないセルで構成される表を含む帳票に記載されている文字を認識する帳票認識装置として用いることが可能なコンピュータに、前記表において、前記セルの配置を定める表構造を画定する表構造画定機能と、前記画像から予め定められた文字又は文字列である見出しを抽出する、見出し抽出機能と、前記見出しを含むセルである見出しセルの位置を前記表構造中に特定する、見出し位置特定機能と、前記表構造画定手段で画定された前記表構造のセルのうち、セル内に何らかの文字又は文字列が記入されている記入済みセルを検出する記入済みセル検出機能と、前記記入済みセル検出手段で検出された前記記入済みセルのみを二値化対象セルとして選択する二値化対象セル選択機能と、前記表の中の前記二値化対象セルの二値化処理を行ない、二値画像を生成する二値化機能と、前記二値画像から帳票に記載されている文字を認識する文字認識機能、を実現させることを特徴とする。
【００６０】
図１乃至５を参照しながら、上記のような本発明に従う画像データの二値化処理方法及びそれを用いた帳票認識装置１０について全般的な説明する。
図１は、本発明の帳票認識装置１０のブロック図である。
【００６１】
本発明に従う帳票認識装置１０は、スキャナ１００、罫線二値化処理部１１０、表構造情報抽出部１２０、見出し二値化処理部１３０、見出し・項目抽出部１４０、簡易文字認識処理部１４２、二値化対象外処理部１５０、はしご枠グルーピング処理部１５２、記入有無判定部１５４、部分二値化処理部１６０及び文字認識処理部１７０を含んでいる。これらは互いに電気的に接続されている。これらの処理部は、たとえば、それぞれの処理を専門に行うプロセッサであっても良いし、汎用計算機及びそれぞれの処理を行うための計算機認識可能な命令を含む媒体の組み合わせであっても良い。各処理部を汎用計算機によって実現するときには、各処理部の機能は、その機能をコンピュータに実行させる命令を含むプログラムを用いて実現する。
【００６２】
また、装置１０は、原画像記憶部２００、罫線二値画像記憶部２０２、表構造情報記憶部２０４、見出し二値化記憶部２０６、見出し・項目情報記憶部２０８、見出し辞書部２１０、二値化対象外範囲記憶部２１２、及び閾値記憶部２１４を含んでいる。これらは、ＲＡＭまたはＲＯＭなどのメモリであってよい。また、上記様々な処理部とは同一のデバイス内に配置されても良いし、別個のデバイスとして準備されても良い。
【００６３】
またこれらの記憶部は、上記の様々な処理部から出力されたデータを受けて記憶することができる。
原画像記憶部２００はスキャナ１００に通信可能に接続され、スキャナで取り込まれた画像を記憶する。罫線二値画像記憶部２０２は罫線二値化処理部１１０に通信可能に接続され、罫線二値化処理部１１０での結果が記憶される。表構造情報記憶部２０４及び見出し二値化記憶部２０６はそれぞれ、表構造情報抽出部１２０及び見出し二値化処理部１３０に通信可能に接続され、それぞれの処理部での結果が記憶される。見出し・項目情報記憶部２０８及び見出し辞書部２１０は共に、見出し・項目抽出部１４０に通信可能に接続される。見出し・項目抽出部１４０では、見出し辞書部２１０を参照しながら、帳票画像上から見出し・項目を抽出し、結果は見出し・項目情報記憶部２０８に出力される。見出し辞書部２１０には、予め設定した見出しの文字情報が収納されている。二値化対象外範囲記憶部２１２は、二値化対象外処理部１５０に通信可能に接続され、二値化対象外処理部１５０で選択された二値化処理を行わない範囲を記憶する。閾値記憶部２１４は、記入有無判定部１５４に通信可能に接続され、記入有無判定部１５４は、閾値記憶部２１４に記憶されている閾値を用いて、あるセル中に文字の記入があるか否かを判定する。
【００６４】
記入有無判定部１５４は、あるセル中の黒画素の数またはその分布に基づいて、そのセル内に文字等の記入があるかどうかを判定しても良い。この場合、黒画素であるか否かは、色相、彩度及び明度の３つの成分からなるＨＳＶ色空間中のベクトルの大きさ及び／又は向きを用いて判定することができる。または、あるセル中の連結成分の個数を検出することによって、セル内に文字等の記載があるかどうかを判定しても良い。
【００６５】
部分二値化処理部１６０では、帳票画像のうち、二値化対象外処理部１５０で選択された二値化対象外範囲を除いた領域の二値化処理を行う。
文字認識処理部１７０では、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒｉｚｅ Ｒｅｃｏｇｎｉｔｉｏｎ、光学式文字認識）等、公知の文字認識手段を用いて、部分二値化処理部１６０で二値化された画像中の文字を認識する。
【００６６】
表構造画定手段は、罫線二値化処理部１１０、表構造抽出部１２０、罫線二値画像記憶部２０２、および表構造情報記憶部２０４を含む。
見出し抽出手段は、見出し二値化処理部１３０、見出し・項目抽出部１４０、簡易文字認識処理部１４２、見出し二値化記憶部２０６、見出し・項目情報記憶部２０８、及び見出し辞書部２１０を含む。見出し位置特定手段は、表構造抽出部１２０、罫線二値画像記憶部２０２、表構造情報記憶部２０４、見出し二値化処理部１３０、見出し・項目抽出部１４０、簡易文字認識処理部１４２、見出し二値化記憶部２０６、見出し・項目情報記憶部２０８、及び見出し辞書部２１０を含む。二値化対象セル選択手段は、二値化対象外処理部１５０、二値化対象外範囲記憶部２１２を含む。二値化手段は、部分二値化処理部１６０を含む。記入済みセル検出手段は、記入有無判定部１５４および閾値記憶部２１４を含み、複数セル画定手段は、罫線二値化処理部１１０、表構造抽出部１２０、罫線二値画像記憶部２０２、表構造情報記憶部２０４、およびはしご枠グルーピング処理部１５２を含む。文字認識手段は、文字認識処理部１７０を含む。また、最大桁数検出手段は、記入有無判定部１５４を含む。結合セル画定手段は、罫線二値化処理部１１０、表構造抽出部１２０、および罫線二値画像記憶部２０２を含む。上記各手段は、それぞれの手段における機能を実現するコンピュータが認識可能な命令を含むプログラムによって定義されても良い。たとえば、表構造画定手段は、その手段の機能に対応する表構造画定機能を実現するコンピュータが認識可能なプログラムまたはプログラムの部分を定義しても良い。
【００６７】
図２は、本発明の装置１０に適用されるキーワード認識技術の処理方法を示すフローチャートである。
Ｓ１０００では、スキャナ１００を用いて、帳票のイメージ読取処理を行う。本発明に従う帳票認識装置１０では、帳票はカラー画像であることが望ましい。カラー画像を用いることで、文字とノイズ、または文字と背景色の分離等が容易になり、高精度の帳票認識が可能である。しかしながら、本発明に従う帳票認識装置１０で扱われる帳票はカラーでなくても構わない。スキャナ１００を用いて読み取られた画像は、原画像記憶部２００に記憶される。Ｓ１０００の処理が終了するとＳ１００５に進む。
【００６８】
Ｓ１００５では、Ｓ１０００で罫線二値化処理部１１０により、原画像記憶部２００に記憶されているカラー画像の二値化処理を行い、罫線を残した二値画像を出力する。より詳細には、Ｓ１００５では、入力されたカラー画像の二値化処理を行い、罫線のみを残し、それ以外は全て背景色（例えば白色）とした二値画像を出力する。罫線を残した二値画像は、罫線二値画像記憶部２０２に出力される。このときの二値化処理は、罫線を抽出することを目的とするものなので、複数画素によって構成される、二値化処理範囲の単位の大きさを、文字を認識するには大きいが、線を認識するには十分に小さくして、処理速度を最小化しても良い。
【００６９】
カラー画像から罫線だけを残した二値画像は、帳票上の横線及び縦線といった直線成分を抽出することによって生成される。Ｓ１００５の処理が終了するとＳ１０１０に進む。
Ｓ１０１０では、罫線二値画像記憶部２０２に記憶された罫線を残した二値画像を参照し、表構造抽出部１２０によって、横線と縦線の交点の情報からセルと、最終的な線形（表形）を算出し、各セルに列番号と行番号の情報（座標）を付加したものを表構造情報として、表構造情報記憶部２０４に出力する。各セルの位置は、列番号と行番号の２成分であらわさずに、例えば、左上隅のセルから右下隅のセルに向かって、行に関しては左から右に、行に関しては上から下に番号付けをし、その番号によって表しても良い。
【００７０】
Ｓ１０１０における表構造抽出部１２０の処理を、図３を参照しながら説明する。図３中の大きな丸印で表される点Ｐ１は、図３中に示されている罫線を有する表の仮の端点である。また、小さな丸印で表される縦線と横線が交わる交点Ｐ３を検出することによって、交点Ｐ３を頂点とする四角形を個々のセルとして認識する。表構造抽出部１２０が点Ｐ１を頂点とする四角形を表形とすると、点Ｐ２のように突出した交点が出現する。そこで、点Ｐ２を頂点に含む四角形も表のセルと認識し、最終的な表形を抽出する。
【００７１】
また、Ｓ１０１０で表構造抽出部１２０は、後に記載するように、「はしご枠」または「結合セル」の抽出を行っても良い。はしご枠とは、複数の桁の数字を記入するために各桁が点線で区切られた連続するセルを定義する表の枠である。図４に示されている、本装置１０が処理対象とする帳票の例では、「口座番号」、「金額」、及び「手数料」の見出しの列はそれぞれ、連続する１０個のセル、１０個のセル、５個のセルからなるはしご枠セルであって、はしご枠セルを定義する罫線がはしご枠である。Ｓ１０１０の処理が終了するとＳ１０１５に進む。はしご枠セルの位置、含まれるセルの数などははしご枠情報として、表構造情報記憶部２０４に記憶されても良い。
【００７２】
Ｓ１０１５では、表構造抽出部１２０によって抽出された表構造情報を用いて、表の一番上の行を対象に、文字を残した二値画像を作成し、見出し二値化記憶部２０６に出力する。より詳細には、表構造情報を用いて、表の一番上の行から罫線を削除したカラー画像において、表の一番上の行の領域で二値化処理を行って文字を残した二値画像を生成しても良い。Ｓ１０１５は、見出し二値化処理部１３０によって処理される。Ｓ１０１５の処理が終了するとＳ１０２０に進む。
【００７３】
Ｓ１０１５での見出し二値化処理部１３０による二値化処理では、二値化処理範囲の単位の大きさ（一般に複数の画素を含み、その領域内で二値化閾値が定義される領域）は、罫線二値化処理部１１０が行う二値化処理の際に用いられる大きさと同等または小さいことが望ましい。このように、罫線二値化処理部１１０と見出し二値化処理部１３０の二値化処理での個々の二値化処理範囲の単位の大きさを変化させることによって、帳票の二値化処理速度を改善することができる。
【００７４】
Ｓ１０２０では、Ｓ１０１５で作成された表の一番上の行中の文字を残した二値画像を対象に文字認識を行い、抽出した文字情報を見出し辞書部２１０に記憶されている情報と比較し、見出しとみなした文字情報を見出し・項目情報記憶部２０８に出力する。
【００７５】
Ｓ１０２０に引き続くＳ１０２５では、表の一番上の行中の文字を残した二値画像中の文字が見出し辞書部２１０に無かった場合、認識対象外の見出し項目とし、Ｓ１０３０に進む。また、表の一番上の行中の文字を残した二値画像中の文字が見出し辞書部２１０にある場合、Ｓ１０３５に進む。Ｓ１０２０及びＳ１０２５は、見出し・項目抽出部１４０によって処理される。
【００７６】
図２のフローチャート中の分岐において、“Ｙ”はイエス（肯定）を表し、“Ｎ”はノー（否定）を表す。図２以降の図中に表れるフローチャートにおいても同様である。
Ｓ１０３０では、Ｓ１０２５で選択された二値化対象外の見出しが属する表の列を二値化対象外とし、二値化対象外範囲記憶部２１２に出力する。Ｓ１０３０の処理は、二値化対象外処理部１５０によって処理される。Ｓ１０３０の処理が終わると、Ｓ１０３５に進む。
【００７７】
Ｓ１０３５では、Ｓ１０２０及びＳ１０２５で抽出された見出しを対象に、右詰か左詰かの位置属性付けを行う。この処理は、見出し・項目抽出部１４０によって行われ、結果は、見出し・項目情報記憶部２０８に出力される。Ｓ１０３５の処理が終わると、Ｓ１０４０に進む。
【００７８】
この位置属性情報は、見出し辞書部２１０に、Ｓ１０２０及びＳ１０２５で抽出された見出しを表す文字と共に記憶されていて良い。
Ｓ１０４０では、記入有無判定部１５４によって、Ｓ１０３０で抽出した見出しごとの位置属性情報に基づいて、見出し列ごとに、文字の記入がない空白部分を特定し、さらに二値化対象外処理部１５０によって、二値化対象外範囲記憶部２１２に出力する。Ｓ１０４０の処理が終わると、Ｓ１０４５に進む。
【００７９】
Ｓ１０４５では、記入有無判定部１５４によってＳ１０１０で抽出した表構造情報と、閾値記憶部２１４に記憶されている、予め設定されたセルごとの閾値、見出しごとの閾値等に基づいて、表の下の行から表の各セルに文字が記入されているか否かを判定する。
【００８０】
Ｓ１０４５に引き続くＳ１０５０では、表中に空白とみなせる行（明細行）があるか否かを判定する。この処理は、記入有無判定部１５４によって行われる。もし、空白とみなせる行があれば処理はＳ１０５５に進み、空白とみなせる行は、二値化対象外処理部１５０によって、二値化対象外範囲として二値化対象外範囲記憶部２１２に出力される。その後、処理はＳ１０６０に進む。もし、空白とみなせる行がなければ、処理は直接、Ｓ１０６０に進む。
【００８１】
Ｓ１０６０では、Ｓ１０１０で抽出されたはしご枠情報に基づいて、表の中のはしご枠を抽出し、表構造情報記憶部２０４に出力する。Ｓ１０６０の処理が終了すると、Ｓ１０６５に進む。はしご枠の抽出方法は、後述のようなヒストグラムを用いる方法のほか、表中の実線で囲まれた領域内を区分する点罫線を抽出することによって行っても良い。
【００８２】
Ｓ１０６５では、Ｓ１０６０の結果を参照しながら、表の中にはしご枠があるかの判定を行う。Ｓ１０６０及びＳ１０６５の処理は表構造情報抽出部１２０によって行われる。
Ｓ１０６５での判定の結果が「ある」であればＳ１０７０に、結果が「なし」であればＳ１０９５に進む。Ｓ１０７０及びＳ１０９５では、簡易文字認識処理部１４２によって、表構造情報抽出部１２０に記憶された表構造情報を用いて、表の下から２行分を対象に文字認識を行う。結果として得られる文字情報は、見出し辞書部２１０に記憶されているデータと突き合わされ、小計欄とみなされた見出しの文字情報を見出し・項目情報記憶部２０８に出力する。Ｓ１０７０では、はしご枠セルが存在するので、小計記載欄を抽出する際に、はしご枠セルを小計記載欄の候補として優先的に検索しても良い。Ｓ１０７０及びＳ１０９５の処理が終わるとそれぞれ、Ｓ１０７５及びＳ１１００に進む。
【００８３】
Ｓ１０７５及びＳ１１００では、小計欄が抽出できたかを判定する。
Ｓ１０７５で小計欄が抽出された場合はＳ１０８０に、小計欄が抽出されなかった場合には、Ｓ１０８５に進む。Ｓ１１００で小計欄が抽出された場合はＳ１１０５に、小計欄が抽出されなかった場合には、Ｓ１１１５に進む。
【００８４】
Ｓ１０８０では、小計欄ははしご枠であるので、記入有無判定部１５４によって、記入桁数を算出する。
Ｓ１１０５では、小計欄ははしご枠ではないので、記入有無判定部１５４によって、記入範囲を示す座標を算出する。そして、この記入範囲を示す座標から、小計記入欄中で数字などの文字が記載された長さである小計記入長を算出する。
【００８５】
Ｓ１０８０に引き続くＳ１０８５では、Ｓ１０８０で算出された桁数以外の、たとえば金額が記入される可能性があるセル範囲を二値化対象外範囲とし、二値化対象外範囲記憶部２１２に出力する。また、小計欄がはしご枠ではない場合、Ｓ１１１０では、Ｓ１１０５で算出された小計記入長以外の、たとえば金額が記入されるセル範囲を二値化対象外範囲とし、二値化対象外範囲記憶部２１２に出力する。
【００８６】
Ｓ１０８５及びＳ１１１０の処理が終了するとそれぞれ、Ｓ１０９０及びＳ１１１５に進む。
Ｓ１０９０では、はしご枠グルーピング処理部１５２によって、Ｓ１０８５で特定された二値化対象外範囲をグルーピングし、グルーピング結果を二値化対象外範囲記憶部２１２に出力する。グルーピングされたセルは「複数セル」としても参照され得る。
【００８７】
Ｓ１１１５では、Ｓ１０１０で抽出された表構造情報及びＳ１０２０で抽出された見出し情報に基づいて、受取人項目の一番上のセルを対象に、上下に分割する罫線があるかのチェックを行う。ここでは受取人項目を例に説明をしているが、氏名とふりがなの組のように、ルビを振るためにセル中に上下に分割する罫線を用いることが好適なセルを対象としても良い。
【００８８】
Ｓ１１１５に引き続くＳ１１２０では、受取人項目の罫線有無の判定を行い、罫線がありの場合はＳ１１２５に、罫線がなしの場合はＳ１１３５に進む。
Ｓ１１２５及びＳ１１３５では、簡易文字認識処理部１４２によって、受取人項目の罫線の上または下にカナ項目があるかのチェックを行う。カナ項目としては、平仮名、片仮名の他、アルファベットなど外国語で用いられる文字であっても良い。
【００８９】
Ｓ１１２５でカナ項目が存在するとの結果であればＳ１１４５に進み、存在しないとの結果であれば、Ｓ１１３０に進む。
Ｓ１１３５でカナ項目が存在するとの結果であればＳ１１５０に進み、存在しないとの結果であれば、Ｓ１１４０に進む。
【００９０】
Ｓ１１３０及びＳ１１４０では、二値化対象処理部１５０によって、受取人項目のカナ項目以外の列を二値化対象外範囲とみなし、二値化対象外範囲記憶部２１２に出力する。
Ｓ１１３０及びＳ１１４０では、受取人項目のカナ項目以外の列を二値化対象外範囲とみなすが、受取人項目に漢字記入欄しか設けられていない場合は、受取人項目のカナ項目以外の列を二値化対象外範囲とせずに、二値化処理の対象として残しておいても良い。
【００９１】
Ｓ１１３０及びＳ１１４０の処理が終了すると、Ｓ１１５０に進む。
一方、Ｓ１１４５では、受取人項目にカナ項目があるので、Ｓ１０１０で抽出された表構造情報に基づいて、受取人項目列中のカナ項目ではない項目が記入されたセルの位置を特定し、二値化対象外処理部１５０によって二値化対象外範囲とみなした後、二値化対象外範囲記憶部２１２に出力する。Ｓ１１４５の処理が終了するとＳ１１５０に進む。
【００９２】
Ｓ１１５０では、二値化対象外範囲記憶部２１２を参照することによって、二値化対象外範囲があるかないかを判定する。もし、二値化対象外範囲があればＳ１１５５に、なければＳ１１６０に進む。
【００９３】
Ｓ１１５５では、二値化対象外処理部１５０によって、二値化対象外範囲記憶部２１２から二値化対象外範囲に関する情報を読み出し、最終的な二値化対象範囲を画定する。その後、Ｓ１１６０に進む。
【００９４】
Ｓ１１６０では、部分二値化処理部１６０によって、Ｓ１１５５によって画定された最終的な二値化対象範囲のセルに対し、セル単位の二値化処理を行う。処理が終了すると、Ｓ１１６５に進む。Ｓ１１６０での二値化処理では、一つ一つの二値化処理範囲の単位の大きさは、罫線二値化処理部１１０が行う二値化処理の際に用いられる大きさと同等または小さいことが望ましい。このようにすることによって、生成された二値画像の文字認識時の精度を犠牲にせず、二値化処理の速度を改善することができる。
Ｓ１１６５では、文字認識処理部１７０によって、帳票上の表の二値化対象範囲に対し文字認識を行う。
【００９５】
図４は、本発明の装置が処理対象とする帳票の例を示す図である。帳票に含まれる表は図４の場合、２２行、３２列の構造を有している。ここで、「口座番号」の見出しの列は１０列、「金額」の見出しの列は１０列、「手数料」の見出しの列は５列と数えている。図４の場合、２２行×３２列＝７０４個のセルを含む。
【００９６】
図５は、図４に示されている帳票でのセル、はしご形式のセル（はしご枠のセル）、見出し、認識対象文字データを示している。
実線、破線等の直線である罫線で区切られた領域がセルである。セルは表を構成する単位要素でもある。はしご形式のセルは、点罫線等により分割されている複数のセルを含む。このはしご形式のセルは複数セルとしても参照される。図５の例では、口座番号、金額及び手数料の記入欄がはしご形式のセルである。
【００９７】
図５では、表の第１行目の「項番」、「金融機関名」、「支店名」、「預金種目」、「口座番号」、「受取人」、「金額」、「振込区分」、「手数料」、「摘要」が見出しである。また、「依頼人」も見出しに含まれる。文字認識の対称となる認識対象文字データは、表の見出しの列の各々の行に記入される文字または文字列である。
【００９８】
上記のような構成を取ることによって、不特定多数の種類の帳票を、予め定義されたフォームを用いずに認識する装置において、文字認識精度を劣化させることなく、二値化処理を高速化した帳票認識装置を得ることができる。
【００９９】
（例１）
以下では、幾つかの例を参照して、本発明に従う画像データの二値化処理方法及びそれを用いた帳票認識装置のより詳細な説明を行う。以下では、同一または類似の機能を有する要素、または同一または類似の処理を行うステップは上述の装置１０と同じ参照符号を付与し、詳細な説明を省略する。
【０１００】
本例は、見出し情報から認識対象外の項目に関連するセルを二値化対象外範囲とすることによって、部分二値化する範囲を削減する方法及びそれを用いた装置に関する。
以下、図６乃至９を参照して、本例を説明する。図６は本発明の例１の装置のブロック図である。図７は本発明の本例の装置２０に適用されるキーワード認識技術の処理方法を示すフローチャートである。図８は罫線を残した二値画像の例である。図９は本発明の例１の装置が処理対象とする帳票の例を示す図である。
【０１０１】
図６に示されているように、本例に従う帳票認識装置２０は、スキャナ１００、罫線二値化処理部１１０、表構造情報抽出部１２０、見出し二値化処理部１３０、見出し・項目抽出部１４０、及び二値化対象外処理部１５０を含んでいる。これらは互いに電気的に接続されている。
【０１０２】
また、装置２０は、原画像記憶部２００、罫線二値画像記憶部２０２、表構造情報記憶部２０４、見出し二値化記憶部２０６、見出し・項目情報記憶部２０８、見出し辞書部２１０、及び二値化対象外範囲記憶部２１２、を含んでいる。これらの記憶部は、上述の装置１０と同様に対応する処理部に接続される。
【０１０３】
図７は装置２０で実行される処理を表すフローチャートである。
本例の装置２０では、図４のような帳票上の表において、認識対象項目以外の項目を二値化対象外とすることによって二値化面積を削減する処理を実行する。
【０１０４】
装置１０で実行されるステップＳ１０００〜Ｓ１０１５を処理した後、本例では、Ｓ２０００で簡易文字認識を行う。
Ｓ１００５で得られる罫線を残した二値画像の例を図８に示す。図８は図４の帳票上の表の罫線を残した二値画像の一部である。
【０１０５】
Ｓ２０００では、見出し・項目抽出部１４０を用いて、Ｓ１０１５で作成された表の一番上の行中の文字を残した二値画像を対象に文字認識を行い、次のＳ２００５に進む。
Ｓ２００５では、抽出した文字情報を見出し辞書部２１０に記憶されている情報と突合せ、抽出した文字情報が見出し項目かどうかを判定する。
【０１０６】
もし、文字情報が見出し項目であればＳ２０２０に進む。Ｓ２０２０では、見出しの位置、例えば列番号及び行番号を表構造情報と比較することによって画定し、見出し項目とみなした文字情報を列番号及び行番号情報と共に、見出し・項目情報記憶部２０８に出力する。
【０１０７】
もし、文字情報が見出し項目になければ、認識対象外の見出し項目として、列番号及び行番号情報と共に、見出し・項目情報記憶部２０８に出力し、Ｓ２０２５に進む。
Ｓ２０２５では、認識対象外の見出し項目があるかを判定し、なければ二値化面積を削減する処理は終了する。
【０１０８】
もし認識対象外の見出し項目があれば、Ｓ２０３０で、表構造情報記憶部２０４に記憶されている表構造情報を参照しつつ、Ｓ２０２５で特定された認識対象外の見出し項目を含む列全体を二値化対象外範囲として、列単位で認識外フラグを付加する。
【０１０９】
図９は、認識外フラグ１が付与され、二値化対象外範囲とされた列の例を示している。
最後に、Ｓ２０３０の後のＳ２０１０で、二値化対象外範囲記憶部２１２によって、Ｓ２０３０で設定されたフラグに基づいて、認識対象外の見出し項目の列を二値化対象外として、二値化対象外範囲記憶部２１２に座標を出力して、二値化面積を削減する処理を終了する。
【０１１０】
本例で二値化面積を削減する処理を行った後に、図２のＳ１１５０〜Ｓ１１６５を行うことによって、帳票の認識を行うことができる。
【０１１１】
図４に示した帳票を例に本例の装置２０の効果を説明する。
もし本例に示したような二値化対象外範囲を二値化処理せずに、図４に示した帳票上の表の全てのセルを二値化処理をする場合、処理回数は、行数２２×列数３２＝７０４回である。それに対し、本例の装置３０を用いることによる二値化処理回数は、行数２２×列数３＝６６回を削減することができる。
【０１１２】
（例２）
例２は、各項目のデータの記載位置に位置属性付けを行い、セルごとの空白部分と特定し対象外とすることで、部分二値化する範囲を削減する方法及びそれを用いた装置に関する。
【０１１３】
図１０乃至１３を参照して、本例を説明する。図１０は本発明の例２の装置３０のブロック図である。図１１は本発明の例２の装置に適用されるキーワード認識技術の処理方法を示すフローチャートである。図１２は本発明の例２の装置が処理対象とする帳票の例の一部を示す図である。図１３は図１２に示した帳票の例の一部の二値化対象外範囲を示す図である。
【０１１４】
図１０に示されているように、本例に従う帳票認識装置３０は、表構造情報抽出部１２０、見出し・項目抽出部１４０、二値化対象外処理部１５０、及び記入有無判定部１５４を含んでいる。これらは互いに電気的に接続されている。
【０１１５】
また、装置３０は、原画像記憶部２００、表構造情報記憶部２０４、見出し・項目情報記憶部２０８、見出し辞書部２１０、二値化対象外範囲記憶部２１２、及び閾値記憶部２１４を含んでいる。
【０１１６】
装置３０では、見出し・項目情報記憶部２０８及び見出し辞書部２１０は見出し・項目抽出部１４０に、表構造情報記憶部２０４は表構造情報抽出部１２０に、閾値記憶部２１４及び原画像記憶部２００は記入有無判定部１５４に接続されている。
【０１１７】
図１１は、装置３０で実行される処理を表すフローチャートである。
本例の装置３０では、見出し項目を対象にデータ記載位置が左詰か右詰かの位置属性付けを行い、項目列ごとに空白部分が存在するセルにチェックを施し、特定した空白部分を部分二値化対象外範囲として、二値化処理面積を削減する。
【０１１８】
図１１に示される処理では、Ｓ３０００で、例１のＳ２０００と同様に、表の一番上の行中の文字を残した二値画像を対象に文字認識を行い、抽出した文字情報を見出し辞書部２１０に記憶されている情報と突合せ、見出しとみなした文字情報を見出し・項目情報記憶部２０８に出力する。
【０１１９】
次にＳ１０２５では、表の一番上の行中の文字を残した二値画像中の文字が見出し辞書部２１０に無かった場合、部分二値化する範囲を削減する処理を終了する。また、表の一番上の行中の文字を残した二値画像中の文字が見出し辞書部２１０にある場合、Ｓ１０３５に進む。
【０１２０】
Ｓ１０３５では、見出し・項目情報記憶部２０８に記憶されている認識対象とした見出し情報を参照し、認識外フラグが付加されていない項目に位置属性フラグを付加する。フラグ例としては、０なら左詰、１なら右詰である。Ｓ１０３５の処理は、見出し・項目抽出部１４０で行われる。
【０１２１】
図１２は、位置属性フラグの付加の例を示している。「金融機関名」なる見出しに対しては、位置属性フラグ０が付加され、認識対象文字データである「ＡＡＡ銀行」、「ＢＢＢ銀行」などは、セル内で左詰で記入される。一方、「口座番号」なる見出しに対しては、位置属性フラグ１が付加され、口座番号は右詰で記入される。
【０１２２】
Ｓ１０３５の次のＳ３００５では、空白部分のチェックが行われる。
Ｓ３００５の処理を、図１３を参照しながら説明する。
原画像記憶部２００中の、スキャナで読み込まれた帳票のカラー画像を参照し、記入有無判定部１５４が、前述のように設定されたフラグに基づいて、帳票上の表の列ごとにヒストグラムを用いた黒画素判定をドット単位で行い、空白部分を特定する。ここで、ヒストグラムとは、図１３に示されているように、結合セル（はしご枠セル）内の黒画素領域分布を示す。図１３中のヒストグラムで、横軸はセル内の左端からの距離、縦軸は黒画素数である。ヒストグラムは、二値化処理を行う個々の単位領域が黒画素であるか、そうでないかを、その領域の色のＨＳＶ空間におけるベクトルから判定した結果の分布であっても良い。例えば、明度が２０％より小さい単位領域を黒画素と判定しても良い。はしご枠セルでヒストグラムを作成すると、桁を区別する罫線で黒画素数の鋭いピークが表れる。このピークの情報を利用して、はしご枠セルの抽出を行う、または確認を行っても良い。また、このピークは、空白部分として認識される。
【０１２３】
そして、特定された空白部分を二値化対象外範囲記憶部２１２に出力する。
見出し「金融機関名」には、空白部分の特定のために黒画素が存在するか否かのチャック処理をセルの右から行うことを示す列の位置属性フラグ“０”が、見出し「口座番号」には、空白部分の特定のために黒画素が存在するか否かのチャック処理をセルの左から行うことを示す列の位置属性フラグ“１”が付加される。
【０１２４】
Ｓ３００５に引き続くＳ２０１０で、二値化対象外範囲記憶部２１２によって、Ｓ１０３０で設定されたフラグに基づいて、認識対象外の見出し項目の列の空白部分の座標を二値化対象外として、二値化対象外範囲記憶部２１２に座標を出力する。
【０１２５】
本例で二値化面積を削減する処理を行った後に、図２のＳ１１５０〜Ｓ１１６５を行うことによって、帳票の認識を行うことができる。
【０１２６】
図４に示した帳票を例に本例の装置３０の効果を説明する。
本例の装置３０を用いることによる二値化処理面積は、見出しが「項番」の列の４％、「振込み」の列の８％、「摘要」の列の７％の計１９％を削減することができる。
【０１２７】
（例３）
本例は、表のセル情報の記入の有無をチェックすることにより、部分二値化をする範囲と回数を削減する装置に関する。
【０１２８】
図１４乃至１６を参照して本例を説明する。図１４は本発明の例３の装置４０のブロック図である。図１５は本発明の例３の装置に適用されるキーワード認識技術の処理方法を示すフローチャートである。図１６は、本発明の例３の装置が処理対象とする帳票の例の一部を示す図である。
【０１２９】
図１４に示されているように、本例に従う帳票認識装置４０は、表構造情報抽出部１２０、二値化対象外処理部１５０、及び記入有無判定部１５４を含んでいる。これらは互いに電気的に接続されている。
また、装置４０は、原画像記憶部２００、表構造情報記憶部２０４、二値化対象外範囲記憶部２１２、閾値記憶部２１４、ヒストグラム記憶部２１６を含んでいる。表構造情報記憶部２０４は表構造情報抽出部１２０に、二値化対象外範囲記憶部２１２は二値化対象外処理部１５０に、並びに閾値記憶部２１４、ヒストグラム記憶部２１６及び原画像記憶部２００は記入有無判定部１５４に接続されている。
【０１３０】
図１５は装置４０で実行される処理を表すフローチャートである。
本例の装置４０では、表のセル情報の記入の有無を行単位でチェックし、未記入セルが一定数以上からなる行を二値化対象外とし、二値化処理面積を削減する。
【０１３１】
本例の処理では、表構造情報記憶部２０４から、処理をしたい帳票の電子化された画像に関する表構造情報を参照し、帳票に含まれる表の一番下の行から上の行に向かって、記入の有無をチェックする。
【０１３２】
まず、Ｓ４０００では、原画像記憶部２００から帳票のカラー画像を参照し、記入有無判定部１５４により黒画素数のチェックを行うことでセルごとの記入有無を判定し、記入有りと判断した時には記入フラグを付加する。例えば、記入フラグ“１”は記入有り、記入フラグ“０”は記入されているとは断定できない記入不明確の状態を表しても良い。
【０１３３】
図１６に、記入フラグが付加された表のセルの例を示す。図１６中で各セルの下に示されているのはセル中の黒画素数のヒストグラムである。
このとき、ヒストグラム中、一定の閾値以上の黒画素が周期的に見出されるセル列ははしご枠セルのヒストグラムとしてヒストグラム記憶部２１６に出力する。閾値は、予め閾値記憶部２１４に記憶されている。
【０１３４】
また、はしご枠セルは、表構造情報を参照して、見出しを表す文字が記入されているセルの長さと、見出しを表す文字が記入されているセルに対応する場所（たとえば、見出しが記入されているセルに対応する列）の長さを比較することによって抽出するまたは候補を抽出しても良い。一般に、はしご枠セルの各桁を区切る罫線は点線または破線であることが少なくない。よって、帳票上の点線または破線などの実線ではない罫線を抽出することによって、はしご枠セルを抽出するまたは候補を抽出しても良い。
【０１３５】
Ｓ４０００に引き続くＳ４００５では、その行に属する全てのセルが未記入または記入不明瞭であるかを判定する。その行に属する全てのセルが未記入または記入不明瞭であれば、その行に属する全てのセルが未記入または記入不明瞭であるかを示すフラグである、未記入フラグ“１”を立てて、Ｓ４０１０に進み、処理する行を一つ１の行に移し、Ｓ４０００に戻る。
【０１３６】
Ｓ４００５で、その行に記入フラグ“1”と記入フラグ“0”が立っているセルが一定数以上見出されると、その行には文字が記入されたセルが存在することになる。この時は、Ｓ４０１５に進み、二値化対象外処理部１５０によって、未記入フラグ“１”が立てられた行を、二値化対象外範囲記憶部２１２に、二値化対象外の座標として出力し、二値化をする範囲と回数を削減する処理を終了する。
【０１３７】
本例で二値化をする範囲と回数を削減する処理を行った後に、図２のＳ１１５０〜Ｓ１１６５を行うことによって、帳票の認識を行うことができる。
【０１３８】
図４に示した帳票を例に本例の装置４０の効果を説明する。
本例の装置４０を用いることによる二値化処理回数は、図４中の帳票上の表の第１３行目から第２０行目のセルの二値化処理を削減することができる。よって、表の一番上の見出しを含む行と表の一番下の小計欄を含む行の計２２行中、８行は二値化処理を行わない。よって二値化処理の回数は、約３４％減らすことができる。
【０１３９】
（例４）
本例は、例えば金額、手数料などに関するセルなど、セルがはしご枠の場合、はしご枠内のセルをはしご枠セルとして１つにグルーピングして、表の一番下の行からはしご枠セル内に記入される数字の最大桁数を求め、はしご枠セルで部分二値化を行う範囲を削減する装置に関する。ここで、グルーピングされて生成されたセルは複数セルとしても参照され得る。
【０１４０】
図１７乃至２１を参照して本例を説明する。図１７は装置５０のブロック図、図１８は装置５０に適用されるキーワード認識技術の処理方法を示すフローチャートである。図１９は装置５０に適用されるキーワード認識技術の処理方法中のはしご枠の抽出を説明する図である。図２０は装置５０が処理対象とする帳票の例の一部の二値化対象外範囲を示す図である。図２１は装置５０に適用されるキーワード認識技術の処理方法中のはしご枠のグルーピングを説明する図である。
【０１４１】
図１７に示されているように、本例に従う帳票認識装置５０は、表構造情報抽出部１２０、見出し・項目抽出部１４０、簡易文字認識処理部１４２、二値化対象外処理部１５０、はしご枠グルーピング処理部１５２、記入有無判定部１５４を含んでいる。
【０１４２】
また、装置５０は、原画像記憶部２００、表構造情報記憶部２０４、見出し辞書部２１０、二値化対象外範囲記憶部２１２、閾値記憶部２１４、ヒストグラム記憶部２１６を含んでいる。表構造情報記憶部２０４は表構造情報抽出部１２０に、見出し辞書部２１０は見出し・項目抽出部１４０に、二値化対象外範囲記憶部２１２は二値化対象外処理部１５０に接続されている。原画像記憶部２００、閾値記憶部２１４、及びヒストグラム記憶部２１６は記入有無判定部１５４に接続されている。
【０１４３】
図１８は装置５０で実行される処理を表すフローチャートである。
本処理では、まず、表構造情報を元に、ある見出しに対応する表の最下部に位置する小計欄を抽出し、はしご枠セルである小計欄に記入されている数字の桁数を最大桁数として抽出する。すると、その見出しの列の各行に記載される数字の桁数は、小計欄に記入される桁数より小さいので、各行の最大桁数を超える桁は空白である。その空白部分は二値化処理を行わないことによって、二値化処理の回数および二値化処理面積を減らすことができる。
【０１４４】
Ｓ１０６０では、表の中のはしご枠を抽出し、表構造情報記憶部２０４に出力する。次のＳ１０６５では、表構造情報記憶部２０４中の表構造情報を参照し、記入有無判定部１５４により表（明細）中のセルを対象にヒストグラムによるチェックを行い、たとえば前の例３で述べたような方法ではしご枠情報を抽出し、はしご枠とみなしたセルには、はしごフラグ“１”を付与する。図１９はセルにはしごフラグが付与された例を示している。図１９に示されているように、はしご枠では、例えば数字の場合の桁を区切る破線によるヒストグラムのピークが空間的に周期的に現れるという特徴を有する。はしご枠の特定に使用する閾値は予め閾値記憶部２１４に記憶されている。
【０１４５】
Ｓ１０６５ではしご枠があると判定された場合には、Ｓ１０７０に進み、簡易文字認識処理部１４２によって、表構造情報記憶部２０４の情報から帳票中の一番下行から２行分を対象に文字認識を行う。次のＳ１０７０では、抽出した文字情報を見出し辞書部２１０と比較し、小計欄とみなした見出し情報を（図示されていない）見出し・項目情報記憶部２０８に出力する。ほとんどの場合、小計欄は帳票上の表の最下部に位置し、合計欄と共に記載されることが多いため、表の下から２行分の文字認識を行うことが望ましい。
【０１４６】
Ｓ１０６５ではしご枠がないと判定された場合には、はしご枠セルで部分二値化を行う範囲を削減する処理を終了する。
Ｓ５０００では、小計欄とみなした文字情報が見出しにあるのかどうかを判定する。もし、Ｓ５０００の判定の結果、見出しにあると判定されればＳ１０８０に進み、ｓ１０８０では、小計見出しの列に存在するセルに対し、ヒストグラムによるチェックを行う。図２０の金額欄及び手数料欄のように、小計記入欄がはしご枠の場合、原画像記憶部２００からカラー画像を参照し、記入有無判定部１５４によりはしご枠の黒画素数をチェックし、その桁数を算出する。
【０１４７】
Ｓ１０８０の次のＳ１１５５では、各明細中の金額、手数料欄のはしご枠のうち、算出した桁数以外のはしごセルを二値化対象外処理部１５０によって二値化対象外領域とし、二値化対象外範囲記憶部２１２に出力し、そのようなセルの表構造情報中のはしごフラグを削除する。
【０１４８】
次のＳ５００５では、はしご枠グルーピング処理部１５２により、図２１に示されているように、帳票全体のはしごフラグが付加されたセルのうち、隣接するセルをグルーピングし、次のＳ５０１０でグルーピング結果を二値化対象外範囲記憶部２１２に出力する。
【０１４９】
本例で二値化をする範囲と回数を削減する処理を行った後に、図２のＳ１１５０〜Ｓ１１６５を行うことによって、帳票の認識を行うことができる。
図２０に示した帳票を例に本例の装置５０の効果を説明する。
【０１５０】
本例の装置５０を用いることによる二値化処理面積は、「金額」の列の４桁分と手数料列の１桁分を削減することができる。この面積は表全体の約１０％にあたる。
以上のように、本例では、小計欄、金額欄がはしご枠の場合、小計の記入桁数を特定することで見出しごとの金額、手数料の最大桁数も特定でき、二値化対象範囲を狭めることができる。よって、帳票認識装置における二値化処理の高速化を図ることができる。
【０１５１】
（例５）
本例は、例えば金額、手数料などに関するセルなどの、セルがはしご枠でない場合、小計の記入文字列の文字数（記入文字列の長さ）を参照し、セル中の空白部分を特定し、部分二値化を行う範囲を削減する装置６０に関する。
【０１５２】
図２２乃至２４を参照して、本例を説明する。
図２２に示されているように、本例に従う帳票認識装置６０は、表構造情報抽出部１２０、見出し・項目抽出部１４０、簡易文字認識処理部１４２、二値化対象外処理部１５０、記入有無判定部１５４を含んでいる。
【０１５３】
また、装置６０は、原画像記憶部２００、表構造情報記憶部２０４、見出し辞書部２１０、閾値記憶部２１４を含んでいる。表構造情報記憶部２０４は表構造情報抽出部１２０に、見出し辞書部２１０は見出し・項目抽出部１４０に接続されている。原画像記憶部２００及び閾値記憶部２１４は記入有無判定部１５４に接続されている。
【０１５４】
図２３は、本例の装置６０で実行される処理を表すフローチャートである。
本例の装置６０では、例４でははしご枠セルであった小計欄がはしご枠ではない、一つのセルの場合に、小計欄に記入されている数字の桁数を最大文字列長として抽出する。すると、その見出しの列の各行に記載される数字の桁数は、小計欄に記入される数字より短いので、各行の最大文字列長を超える桁は空白である。その空白部分は二値化処理を行わないことによって、二値化処理の回数および二値化処理面積を減らすことができる。
【０１５５】
Ｓ１０７０及びＳ５０００の処理を行った後、Ｓ６０００では、図２４に示されているように、原画像記憶部２００からカラー画像を参照し、記入有無判定部１５４によりはしご枠の黒画素数をヒストグラムを用いてチェックを行い、小計の文字列長を算出する。
【０１５６】
Ｓ６０００の処理が終わると、Ｓ１１５５に進み処理をする。即ち、二値化対象外処理部１５０によって、Ｓ６０００で算出された小計の文字列長を超えたセル中の領域を二値化対象外範囲とする。
【０１５７】
本例で二値化をする範囲と回数を削減する処理を行った後に、図２のＳ１１５０〜Ｓ１１６５を行うことによって、帳票の認識を行うことができる。
【０１５８】
図２４に示した帳票を例に本例の装置６０の効果を説明する。
本例の装置５０を用いることによる二値化処理面積は、「金額」の列の４桁分と手数料列の１桁分を削減することができる。この面積は表全体の１０％にあたる。
尚、例３で記載したような処理を行い、その結果未記入フラグが付加されたセルには上記処理を行わないようにしても良い。
【０１５９】
（例６）
本例は、受取人の見出し情報にカナ部分と漢字項目が存在する場合、その項目のデータセル上の漢字項目を二値化対象外範囲とすることで、部分二値化を行う範囲を削減する装置７０に関する。
【０１６０】
図２５乃至２８を参照して本例を説明する。
図２５に示されているように、本例に従う帳票認識装置７０は、表構造情報抽出部１２０、見出し・項目抽出部１４０、簡易文字認識処理部１４２、二値化対象外処理部１５０、記入有無判定部１５４を含んでいる。
また、装置７０は、原画像記憶部２００、表構造情報記憶部２０４、見出し辞書部２１０、二値化対象外範囲記憶部２１２、閾値記憶部２１４を含んでいる。表構造情報記憶部２０４は表構造情報抽出部１２０に、見出し辞書部２１０は見出し・項目抽出部１４０に接続されている。原画像記憶部２００及び閾値記憶部２１４は記入有無判定部１５４に接続されている。二値化対象外範囲記憶部２１２は、二値化対象外処理部１５０に接続されている。
【０１６１】
図２６は、本例の装置７０で実行される処理を表すフローチャートである。
Ｓ７０００で、（図２６には図示されていない）見出し・項目情報記憶部２０８から見出し情報を参照し、表構造上の受取人と口座番号の見出しの座標位置を特定する。
【０１６２】
次のＳ７００５では受取人見出しの有無を判定し、あればＳ７０１０に進む。受取人見出しがない場合は、部分二値化を行う範囲を削減する処理を終了する。
また、Ｓ７０１０では、口座番号見出しの有無を判定し、あればＳ７０１５に進む。口座番号見出しがない場合は、部分二値化を行う範囲を削減する処理を終了する。
【０１６３】
Ｓ７０１５では、表構造情報記憶部２０４から表構造情報を参照し、口座番号項目の一つ下のセルを参照し、１項目（１明細）分の高さを算出する。次のＳ７０２０では、Ｓ７０１５で算出した１明細分の高さを参照し、見出し受取人項目から１つ下のセルを特定し、図２７に示されているように、記入有無判定部１５４によりセル中の上下に分割する罫線があるかヒストグラムを用いてチェックを実施する。罫線チェックに使用する閾値は、予め閾値記憶部２１４に記憶されている。その後、Ｓ７０２５に進む。
【０１６４】
Ｓ７０２５では、受取人項目のセルに横罫線があるかを判定する。ある場合にはＳ７０3３０に進む。Ｓ７０３０では、原画像記憶部２００からカラー画像を参照し、受取人セルの上段と下段に対し、簡易文字認識処理部１５０によって、カテゴリチェックを行い、カナ項目位置の特定を行う。罫線がない場合は、このＳ７０２５の判定処理を受取人セル全体にわたって行う。
【０１６５】
次のＳ１１２５では、簡易文字認識処理部１４２によって、受取人項目にカナ項目があるかのチェックを行う。もしＳ１１２５でカナ項目があると判定された場合には、Ｓ７０３５に進む。
【０１６６】
もしＳ１１２５でカナ項目がないと判定された場合には、Ｓ１１３０に進む。
Ｓ７０３５では、受取人項目列の明細ごとに、セルの上段、下段に対しカナ項目フラグを、図２８のように付与する。
【０１６７】
Ｓ７０３５のあとのＳ１１５５では、受取人項目列中のカナ項目フラグがカナ項目ではない範囲を二値化対象外処理部１５０によって、二値化対象外範囲として、二値化対象外範囲記憶部２１２に出力する。
【０１６８】
本例で二値化をする範囲と回数を削減する処理を行った後に、図２のＳ１１５０〜Ｓ１１６５を行うことによって、帳票の認識を行うことができる。
【０１６９】
図２８に示した帳票を例に本例の装置７０の効果を説明する。
本例の装置５０を用いることによる二値化処理面積は、図４中の「（フリガナ）」と「受取人」の列のうち、通常は漢字を含む「受取人」の列の二値化処理を省略する。よって、「（フリガナ）」と「受取人」の列の全体に占める面積１３％のうち、半分の７％の二値化処理面積を削減することができる。
【０１７０】
上記では本発明の幾つかの例について記載してきたが、もちろん、上記の例を組み合わせても良い。
二値化処理回数に関しては、例えば例１と例３の技術を組み合わせることによって、例１で６６回、例３でさらに２４２回の計３０８回を減少させることができる。また二値化面積に関しては、例えば例２と例４と例６の技術を組み合わせることによって、１９％＋１０％＋７％＝３６％の面積を減らすことができる。
【特許請求の範囲】
【請求項１】
罫線で区切られたセルであって、その中に文字若しくは文字列を含む、又は含まないセルで構成される表を含む帳票に記載されている文字を認識する帳票認識装置であって、
前記表において、前記セルの配置を定める表構造を画定する表構造画定手段と、
前記画像から予め定められた文字又は文字列である見出しを抽出する、見出し抽出手段と、
前記見出しを含むセルである見出しセルの位置を前記表構造中に特定する、見出し位置特定手段と、
前記表構造画定手段で画定された前記表構造のセルのうち、セル内に何らかの文字又は文字列が記入されている記入済みセルを検出する記入済みセル検出手段と、
前記記入済みセル検出手段で検出された前記記入済みセルのみを二値化対象セルとして選択する二値化対象セル選択手段と、
前記表の中の前記二値化対象セルの二値化処理を行ない、二値画像を生成する二値化手段と、
前記二値画像から帳票に記載されている文字を認識する文字認識手段、
を具備することを特徴とする帳票認識装置。
【請求項２】
前記二値化対象セル選択手段は、前記表構造画定手段で画定された前記表構造のセルのうち、前記見出しに対応する相対位置に位置するセルが記入済みセルでなかったときに、前記記入済みセルでないセルに対して所定の相対位置にあるセルを前記二値化対象セルから除外することを特徴とする請求項１記載の帳票認識装置。
【請求項３】
前記見出しに対応する相対位置に位置する複数のセルを前記表構造中に画定する複数セル画定手段、
を含み、
前記二値化対象セル選択手段は、前記複数のセルを前記二値化対象セルとして認識することを特徴とする請求項１または２記載の帳票認識装置。
【請求項４】
前記複数のセルのうち文字が記入されているセルが連続する記入済みの複数セルを検出する記入済み複数セル検出手段と、
を含み、
前記二値化対象セル選択手段は、前記見出し位置特定手段によって特定された前記見出しを含むセルの位置に対して、前記見出しに対応する相対位置に位置する前記複数セルのうち、記入済み複数セル検出手段で検出された前記複数セルのみを二値化対象セルとして選択することを特徴とする請求項３記載の帳票認識装置。
【請求項５】
前記見出しに対応する相対位置に位置する複数のセルを含む結合セルを前記表構造中に画定する結合セル画定手段、
を含み、
前記二値化対象セル選択手段は、前記見出し位置特定手段によって特定された前記見出しを含むセルの位置に対して、前記見出しに対応する相対位置に位置する前記結合セル内の一部のみを、前記二値化対象セルとして選択することを特徴とする請求項１から４いずれか一項に記載の帳票認識装置。
【請求項６】
前記表構造画定手段で画定された前記表構造のセルの少なくとも一部のセルから、セル内に何らかの文字又は文字列が記入されている記入済みセルを検出する記入済みセル検出手段と、
前記結合セル中の、前記記入済みセルの最大数を画定する最大セル数画定手段と、
を含み、
前記二値化対象セル選択手段はさらに、前記見出しを含むセルの位置に対して、前記見出しに対応する相対位置に位置する前記結合セルに含まれる前記複数のセルから、前記最大数のセルを、前記見出しに依存して二値化対象セルとして選択することを特徴とする請求項１から５いずれか一項記載の帳票認識装置。
【請求項７】
前記帳票の画像はカラー画像であり、
前記記入済みセル検出手段は、前記セルの色の、色相、彩度及び明度の３つの成分からなるＨＳＶ色空間内のベクトルを用いて、前記セルが記入済みか否かを判断することを特徴とする請求項１から６いずれか一項記載の帳票認識装置。
【請求項８】
罫線で区切られたセルであって、その中に文字若しくは文字列を含む、又は含まないセルで構成される表を含む帳票に記載されている文字を認識する帳票認識方法であって、
前記表において、前記セルの配置を定める表構造を画定するステップと、
前記画像から予め定められた文字又は文字列である見出しを抽出するステップと、
前記見出しを含むセルである見出しセルの位置を前記表構造中に特定するステップと、
前記表構造画定手段で画定された前記表構造のセルのうち、セル内に何らかの文字又は文字列が記入されている記入済みセルを検出するステップと、
前記記入済みセル検出手段で検出された前記記入済みセルのみを二値化対象セルとして選択するステップと、
前記表の中の前記二値化対象セルの二値化処理を行ない、二値画像を生成するステップと、
前記二値画像から帳票に記載されている文字を認識するステップと、
を具備することを特徴とする帳票認識方法。
【請求項９】
罫線で区切られたセルであって、その中に文字若しくは文字列を含む、又は含まないセルで構成される表を含む帳票に記載されている文字を認識する帳票認識装置として用いることが可能なコンピュータに、
前記表において、前記セルの配置を定める表構造を画定する表構造画定機能と、
前記画像から予め定められた文字又は文字列である見出しを抽出する、見出し抽出機能と、
前記見出しを含むセルである見出しセルの位置を前記表構造中に特定する、見出し位置特定機能と、
前記表構造画定手段で画定された前記表構造のセルのうち、セル内に何らかの文字又は文字列が記入されている記入済みセルを検出する記入済みセル検出機能と、
前記記入済みセル検出手段で検出された前記記入済みセルのみを二値化対象セルとして選択する二値化対象セル選択機能と、
前記表の中の前記二値化対象セルの二値化処理を行ない、二値画像を生成する二値化機能と、
前記二値画像から帳票に記載されている文字を認識する文字認識機能、
を実現させることを特徴とするプログラム。
【請求項１】
罫線で区切られたセルであって、その中に文字若しくは文字列を含む、又は含まないセルで構成される表を含む帳票に記載されている文字を認識する帳票認識装置であって、
前記表において、前記セルの配置を定める表構造を画定する表構造画定手段と、
前記画像から予め定められた文字又は文字列である見出しを抽出する、見出し抽出手段と、
前記見出しを含むセルである見出しセルの位置を前記表構造中に特定する、見出し位置特定手段と、
前記表構造画定手段で画定された前記表構造のセルのうち、セル内に何らかの文字又は文字列が記入されている記入済みセルを検出する記入済みセル検出手段と、
前記記入済みセル検出手段で検出された前記記入済みセルのみを二値化対象セルとして選択する二値化対象セル選択手段と、
前記表の中の前記二値化対象セルの二値化処理を行ない、二値画像を生成する二値化手段と、
前記二値画像から帳票に記載されている文字を認識する文字認識手段、
を具備することを特徴とする帳票認識装置。
【請求項２】
前記二値化対象セル選択手段は、前記表構造画定手段で画定された前記表構造のセルのうち、前記見出しに対応する相対位置に位置するセルが記入済みセルでなかったときに、前記記入済みセルでないセルに対して所定の相対位置にあるセルを前記二値化対象セルから除外することを特徴とする請求項１記載の帳票認識装置。
【請求項３】
前記見出しに対応する相対位置に位置する複数のセルを前記表構造中に画定する複数セル画定手段、
を含み、
前記二値化対象セル選択手段は、前記複数のセルを前記二値化対象セルとして認識することを特徴とする請求項１または２記載の帳票認識装置。
【請求項４】
前記複数のセルのうち文字が記入されているセルが連続する記入済みの複数セルを検出する記入済み複数セル検出手段と、
を含み、
前記二値化対象セル選択手段は、前記見出し位置特定手段によって特定された前記見出しを含むセルの位置に対して、前記見出しに対応する相対位置に位置する前記複数セルのうち、記入済み複数セル検出手段で検出された前記複数セルのみを二値化対象セルとして選択することを特徴とする請求項３記載の帳票認識装置。
【請求項５】
前記見出しに対応する相対位置に位置する複数のセルを含む結合セルを前記表構造中に画定する結合セル画定手段、
を含み、
前記二値化対象セル選択手段は、前記見出し位置特定手段によって特定された前記見出しを含むセルの位置に対して、前記見出しに対応する相対位置に位置する前記結合セル内の一部のみを、前記二値化対象セルとして選択することを特徴とする請求項１から４いずれか一項に記載の帳票認識装置。
【請求項６】
前記表構造画定手段で画定された前記表構造のセルの少なくとも一部のセルから、セル内に何らかの文字又は文字列が記入されている記入済みセルを検出する記入済みセル検出手段と、
前記結合セル中の、前記記入済みセルの最大数を画定する最大セル数画定手段と、
を含み、
前記二値化対象セル選択手段はさらに、前記見出しを含むセルの位置に対して、前記見出しに対応する相対位置に位置する前記結合セルに含まれる前記複数のセルから、前記最大数のセルを、前記見出しに依存して二値化対象セルとして選択することを特徴とする請求項１から５いずれか一項記載の帳票認識装置。
【請求項７】
前記帳票の画像はカラー画像であり、
前記記入済みセル検出手段は、前記セルの色の、色相、彩度及び明度の３つの成分からなるＨＳＶ色空間内のベクトルを用いて、前記セルが記入済みか否かを判断することを特徴とする請求項１から６いずれか一項記載の帳票認識装置。
【請求項８】
罫線で区切られたセルであって、その中に文字若しくは文字列を含む、又は含まないセルで構成される表を含む帳票に記載されている文字を認識する帳票認識方法であって、
前記表において、前記セルの配置を定める表構造を画定するステップと、
前記画像から予め定められた文字又は文字列である見出しを抽出するステップと、
前記見出しを含むセルである見出しセルの位置を前記表構造中に特定するステップと、
前記表構造画定手段で画定された前記表構造のセルのうち、セル内に何らかの文字又は文字列が記入されている記入済みセルを検出するステップと、
前記記入済みセル検出手段で検出された前記記入済みセルのみを二値化対象セルとして選択するステップと、
前記表の中の前記二値化対象セルの二値化処理を行ない、二値画像を生成するステップと、
前記二値画像から帳票に記載されている文字を認識するステップと、
を具備することを特徴とする帳票認識方法。
【請求項９】
罫線で区切られたセルであって、その中に文字若しくは文字列を含む、又は含まないセルで構成される表を含む帳票に記載されている文字を認識する帳票認識装置として用いることが可能なコンピュータに、
前記表において、前記セルの配置を定める表構造を画定する表構造画定機能と、
前記画像から予め定められた文字又は文字列である見出しを抽出する、見出し抽出機能と、
前記見出しを含むセルである見出しセルの位置を前記表構造中に特定する、見出し位置特定機能と、
前記表構造画定手段で画定された前記表構造のセルのうち、セル内に何らかの文字又は文字列が記入されている記入済みセルを検出する記入済みセル検出機能と、
前記記入済みセル検出手段で検出された前記記入済みセルのみを二値化対象セルとして選択する二値化対象セル選択機能と、
前記表の中の前記二値化対象セルの二値化処理を行ない、二値画像を生成する二値化機能と、
前記二値画像から帳票に記載されている文字を認識する文字認識機能、
を実現させることを特徴とするプログラム。
【図１】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３】
【図４】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１７】
【図１８】
【図１９】
【図２０】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図５】
【図９】
【図１３】
【図１６】
【図２１】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３】
【図４】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１７】
【図１８】
【図１９】
【図２０】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図５】
【図９】
【図１３】
【図１６】
【図２１】
【公開番号】特開２０１２−１４１６７０（Ｐ２０１２−１４１６７０Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１０−２９２２５３（Ｐ２０１０−２９２２５３）
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（０００２３７６３９）富士通フロンテック株式会社 (667)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（０００２３７６３９）富士通フロンテック株式会社 (667)
【Ｆターム（参考）】
[ Back to top ]