文字列認識装置、文字列認識プログラムおよび文字列認識方法
【課題】文字列を含む画像の文字認識を行う際に、文字部分を示す文字ブロックの誤認識を抑制する。
【解決手段】文字ブロック位置取得部１ａは、項目名文字列と項目名に対応する内容を示す文字を有する内容文字列とを有する画像から、項目名文字列を示す項目名文字ブロックと、内容文字列の一部または全部を示す内容文字ブロックとを抽出し、項目名文字ブロックと内容文字ブロックとの位置を示す位置情報を取得する。対応関係設定部１ｂは、文字ブロック位置取得部１ａにより取得した位置情報に基づいて内容文字ブロックの位置から所定の方向に存在する項目名文字ブロックを抽出し、内容文字ブロックと抽出した項目名文字ブロックの項目名とを関連付け、文字ブロック統合部１ｅにより設定された関連付けの結果を対応関係記憶部１ｄに記憶させる。
【解決手段】文字ブロック位置取得部１ａは、項目名文字列と項目名に対応する内容を示す文字を有する内容文字列とを有する画像から、項目名文字列を示す項目名文字ブロックと、内容文字列の一部または全部を示す内容文字ブロックとを抽出し、項目名文字ブロックと内容文字ブロックとの位置を示す位置情報を取得する。対応関係設定部１ｂは、文字ブロック位置取得部１ａにより取得した位置情報に基づいて内容文字ブロックの位置から所定の方向に存在する項目名文字ブロックを抽出し、内容文字ブロックと抽出した項目名文字ブロックの項目名とを関連付け、文字ブロック統合部１ｅにより設定された関連付けの結果を対応関係記憶部１ｄに記憶させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は文字を含む画像の文字認識を行う文字列認識装置、文字列認識プログラムおよび文字列認識方法に関する。
【背景技術】
【０００２】
ＩＴ（Information Technology）インフラが整った現在では、企業間での商取引に電子データ交換が頻繁に行われている。しかしながら、企業と個人との間の取引（B to C:Business to Consumer）では、依然、紙の帳票が頻繁に使用される。例えば、金融機関に公共料金を支払うときは、振込み用紙を金融機関に持っていき料金を支払う場合がある。また、宅配便を送るときは、紙の伝票に配送先住所を書き、役所等の申請窓口では、紙の書類に必要事項を記入し、提出することが行われている。さらに、企業間取引（B to B:Business to Business）においても、お互いデータ互換性がない場合や、通信プロトコルが異なる場合は、データ交換に紙の帳票を用いたり、取引データをＰＤＦ（Portable Document Format）等の電子帳票画像に変換し、送受信したりすることが行われている。
【０００３】
これらの紙の帳票や電子帳票画像等について、画像中の文字成分を識別し、文字コードとして出力する光学式文字読取装置（ＯＣＲ：Optical Character Reader）がある。ＯＣＲの機能は、コンピュータ上のソフトウェアで実現することも行われている。ＯＣＲでは、印刷文字、手書き文字等による文書が光学的に読み取られる。そして、ＯＣＲは、文書画像から文字成分を抽出して文字認識を行う。
【０００４】
これらのような紙の帳票や電子帳票画像では、帳票内に記述されているデータの意味的な構造（論理構造）が失われているため、ＯＣＲ等で電子化して計算機で処理する際の障害となる場合がある。例えば、帳票に発注品名と、個数、単価、合計金額が書かれていた場合、どの数字がどの品名に対する個数なのか、どの数字が合計金額を意味するのか、電子帳票の画像を解析して特定する必要がある。
【０００５】
これに関して、帳票に含まれている項目名を示す項目名辞書を用いて、画像を解析して認識した文字列と照合することにより、「項目名文字列」と「データ文字列」とを判定する技術が知られている。
【０００６】
また、画像から１または複数の文字を有する文字ブロックを抽出して、抽出した各ブロックについて文字認識が行われる場合がある。このような場合、辺や旁などを含め、文字の中に複数の独立をした部分がある漢字の文字認識では、例えば、その文字を１つの文字としてではなく、辺や旁などを各々別個の文字であると誤って認識（例えば“社”を“ネ”と“土”等）し、誤った認識に基づいて文字認識を行うブロックを判断することがあり、文字認識がうまくできないことがある。
【０００７】
これに関して、画像の文字列を一旦、各連結成分に分解してから周辺の連結成分と組み合わせて統合矩形を生成し、生成した各統合矩形に対して文字認識を試みることによって文字認識結果（文字データ）を得る技術が知られている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−２０４２２６号公報
【特許文献２】特開２００８−１９１８３３号公報
【非特許文献】
【０００９】
【非特許文献１】“Finding All Cliques of an Undirected Graph", Coen Bron and Joep Kerbosch,Communications of the ACM, September 1973, Volume 16, Number 9, p575-577
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ここで、文字認識の対象の文字ブロックが有するある項目名（例えば「住所」等）に対する内容（項目値）として記載されている一連の文字列に区切れがある場合、それらの文字列をある項目名の値となる一連の文字列と認識できず、別個の文字列として誤認識される可能性があるという問題点がある。例えば「川崎市 中原区 上小田中」について、本来一体である「川崎市」と「中原区」と「上小田中」とを３個のデータとして誤認識してしまうことが考えられる。さらにこの場合、「川崎市」のみを「住所」に対応するデータとして誤認識すると共に、「中原区」および「上小田中」を他の項目に対応するデータと誤認識したり、対応する項目名が不明という判断をしてしまったりすることが考えられる。
【００１１】
このように、従来の文字認識では、帳票等の複数の文字列が特定の意味を持って配置されている画像の文字認識を行った場合、これらの文字領域検出に、文字認識の対象の文字列が過剰に分割されて認識されたり、文字列中の認識文字の欠損などのエラーが発生したりすると、帳票の項目名と項目値（内容として記載されている文字列）との関連付けに失敗したり、文字列の抽出の際に誤認識が生じたりする場合があるという問題点があった。
【００１２】
本発明はこのような点に鑑みてなされたものであり、文字列を含む画像の文字認識を行う際に、誤認識を抑制する文字列認識装置、文字列認識プログラムおよび文字列認識方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、以下の機能を有する文字列認識装置が提供される。コンピュータは、画像の文字列認識をするために、画像記憶部、文字ブロック位置取得部、対応関係設定部を有する。画像記憶部は、項目名を示す文字を有する項目名文字列と項目名に対応する内容を示す文字を有する内容文字列とを有する画像を記憶する。文字ブロック位置取得部は、画像記憶部に記憶されている画像から、項目名文字列を示す項目名文字ブロックと、内容文字列の一部または全部を示す内容文字ブロックとを抽出し、項目名文字ブロックと内容文字ブロックとの位置を示す位置情報を取得する。次に、文字ブロック位置取得部は、項目名文字ブロックと内容文字ブロックとの位置を示す位置情報を取得する。対応関係設定部は、文字ブロック位置取得部により取得した位置情報に基づいて内容文字ブロックの位置から所定の方向に存在する項目名文字ブロックを抽出し、内容文字ブロックと抽出した項目名文字ブロックの項目名とを関連付け、関連付けた結果を対応関係記憶部に記憶させる。
【発明の効果】
【００１４】
文字列を含む画像の文字認識を行う際に、項目名と項目値との関連付けの誤りを抑制することにより、文字列の誤認識の発生を抑制することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施の形態の機能を示すブロック図である。
【図２】第２の実施の形態の文字列認識装置のハードウェア構成例を示す図である。
【図３】第２の実施の形態の機能を示すブロック図である。
【図４】第２の実施の形態の文字列認識処理の手順を示すフローチャートである。
【図５】第２の実施の形態における第１の例の帳票画像の処理の様子を示す図である。
【図６】第２の実施の形態における第１の例の帳票画像の処理の様子を示す図である。
【図７】第２の実施の形態における第１の例の帳票画像の処理の様子を示す図である。
【図８】第２の実施の形態における第１の例の帳票画像の処理の様子を示す図である。
【図９】第２の実施の形態により第１の例の帳票画像を処理して得られた対応関係テーブルの例を示す図である。
【図１０】第２の実施の形態における第２の例の帳票画像の処理の様子を示す図である。
【図１１】第２の実施の形態における第２の例の帳票画像の処理の様子を示す図である。
【図１２】第２の実施の形態における第２の例の帳票画像の処理の様子を示す図である。
【図１３】第２の実施の形態により第２の例の帳票画像を処理して得られた対応関係テーブルの例を示す図である。
【図１４】第２の実施の形態における第３の例の帳票画像の処理の様子を示す図である。
【図１５】第２の実施の形態における第３の例の帳票画像の処理の様子を示す図である。
【図１６】第２の実施の形態における第３の例の帳票画像の処理の様子を示す図である。
【図１７】第２の実施の形態により第３の例の帳票画像を処理して得られた対応関係テーブルの例を示す図である。
【図１８】第２の実施の形態における第３の例の帳票画像における関連付けの様子を示す図である。
【図１９】第２の実施の形態における第３の例の帳票画像における関連付けの様子を示す図である。
【図２０】第２の実施の形態における第４の例の帳票画像における関連付けの様子を示す図である。
【図２１】第２の実施の形態の項目名情報テーブルの例を示す図である。
【図２２】第２の実施の形態のルールテーブルの例を示す図である。
【図２３】第２の実施の形態のルールテーブルの例を示す図である。
【図２４】第２の実施の形態の項目名文字列抽出処理の手順を示すフローチャートである。
【図２５】第２の実施の形態の項目名文字列抽出処理の手順を示すフローチャートである。
【図２６】第２の実施の形態の項目名文字列抽出処理の手順を示すフローチャートである。
【図２７】第２の実施の形態における項目名文字列の抽出の処理の様子を示す図である。
【図２８】第２の実施の形態における項目名文字列の抽出の処理の様子を示す図である。
【図２９】第２の実施の形態における項目名文字列の抽出の処理の様子を示す図である。
【図３０】第２の実施の形態における項目名文字列の抽出の処理の様子を示す図である。
【図３１】第２の実施の形態における項目名文字列の抽出の処理の様子を示す図である。
【図３２】第２の実施の形態の文字列候補テーブルの例を示す図である。
【図３３】第２の実施の形態の文字列候補テーブルの例を示す図である。
【図３４】第２の実施の形態の文字列候補テーブルにおける文字列候補の対応関係を表した文字列対応関係グラフを示す図である。
【図３５】第３の実施の形態の機能を示すブロック図である。
【図３６】第３の実施の形態の文字列認識処理の手順を示すフローチャートである。
【図３７】第３の実施の形態の文字列認識処理の手順を示すフローチャートである。
【図３８】第３の実施の形態における第１の例の帳票画像の処理の様子を示す図である。
【図３９】第３の実施の形態における第１の例の帳票画像の処理の様子を示す図である。
【図４０】第３の実施の形態の項目名情報テーブルの例を示す図である。
【図４１】第３の実施の形態のルールテーブルの例を示す図である。
【図４２】第３の実施の形態のルールテーブルの例を示す図である。
【発明を実施するための形態】
【００１６】
以下、本実施の形態について図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態の機能を示すブロック図である。文字列認識装置１は、帳票画像等の文字列を有する画像について文字認識を行い、項目名と内容（例えば、項目値）とを取得することにより、画像に含まれる文字列を認識する文字列認識を行う。文字列認識装置１は、文字ブロック位置取得部１ａ、対応関係設定部１ｂ、画像記憶部１ｃ、対応関係記憶部１ｄ、文字ブロック統合部１ｅを有する。
【００１７】
文字ブロック位置取得部１ａは、画像記憶部１ｃに記憶されている画像から、項目名文字列を示す項目名文字ブロックと、内容文字列の一部または全部を示す内容ブロックとを抽出する。ここで、文字列認識装置１で文字列認識を行う画像は、例えば、項目名を示す文字を有する項目名文字列、項目名に対応する内容を示す内容文字列を有する帳票画像等の画像である。この画像は、例えば、帳票等の文書をスキャナ等で読み取るか、直接電子ファイルで作成された帳票等の文書を画像に変換することにより作成される。
【００１８】
次に、文字ブロック位置取得部１ａは、判定した項目名文字ブロックとそれ以外の文字ブロック（内容文字ブロックを含む）との位置を示す位置情報を取得する。この位置情報により、項目名文字ブロックの位置および項目名文字列以外の文字ブロックの位置が特定される。この位置情報は、項目名文字ブロックの位置およびそれ以外の文字ブロックの位置を、例えば、画像上の２次元座標で示してもよい。
【００１９】
対応関係設定部１ｂは、文字ブロック位置取得部１ａにより取得した位置情報に基づいて、内容文字ブロックの位置から所定の方向に存在する項目名文字ブロックを抽出し、内容文字ブロックと抽出した項目名文字ブロックの項目名とを関連付ける。同一の項目名に関連付けられた内容文字ブロック同士は、後述する文字ブロック統合部１ｅにより統合される。また、対応関係設定部１ｂは、関連付けた結果に基づいて文字ブロック統合部１ｅにより得られた項目名および内容文字列ならびにこれらの対応関係を対応関係記憶部１ｄに記憶させる。
【００２０】
画像記憶部１ｃは、項目名を示す文字を有する項目名文字列と、項目名に対応する文字内容を示す内容文字列とを有する画像を示す画像情報を記憶する。画像記憶部１ｃに記憶されている画像は、項目名および内容を有する帳票等の文書の画像である。この画像は、スキャナ等の光学式読み取り装置で取得してもよく、コンピュータ等で直接電子ファイルで作成された帳票等の文書を画像に変換することにより取得してもよい。
【００２１】
対応関係記憶部１ｄは、項目名と内容文字ブロックとを関連付けた結果を示す対応関係情報を記憶する。この対応関係情報により、画像に含まれている項目名、内容および項目名と内容との対応関係が示される。
【００２２】
文字ブロック統合部１ｅは、同一の項目名に関連付けられた内容文字ブロック同士を統合し、項目名に対応する内容文字列に設定する。すなわち、文字ブロック統合部１ｅは、対応関係設定部１ｂによって関連付けられた内容文字ブロックを統合して項目名に関連付けて内容文字列とする。
【００２３】
なお、本実施の形態の文字列認識装置１で取得する文書に示された内容は、数値を含む任意の文字数の文字列であり、光学認識等により文字認識が可能であれば、文字と同等または所定の意味を有する任意の個数の記号の列であってもよい。
【００２４】
このような文字列認識装置１によれば、画像の文字認識を行う際に、文字認識で取得した内容の文字について、項目名との位置関係に基づいて対応関係を設定する。これにより、帳票画像が有する文字列と各内容の文字列との対応関係を設定する際に、対応関係の設定の誤りの発生を抑制する。その結果、内容の文字列認識における誤認識の発生を抑制することが可能となる。
【００２５】
〔第２の実施の形態〕
次に、第２の形態の詳細を説明する。第２の実施の形態は、項目名および項目値を有する帳票を取り込んだ帳票画像等の文書を示す画像について、項目名文字列を抽出し、文字認識の結果得られた文字列を項目名文字列に関連付け、帳票等の文書において項目名に対応する内容を示す項目値文字列とすることにより、項目値文字列の誤認識および項目値文字列と項目名文字列との関連付けの誤認識を抑制したものである。
【００２６】
図２は、第２の実施の形態の文字列認識装置のハードウェア構成例を示す図である。文字列認識装置１００は、ＣＰＵ１０１によって装置全体が制御されている。ＣＰＵ１０１には、バス１０７を介してＲＡＭ（Random Access Memory）１０２と複数の周辺機器が接続されている。
【００２７】
ＲＡＭ１０２は、文字列認識装置１００の主記憶装置として使用される。ＲＡＭ１０２には、ＣＰＵ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、ＣＰＵ１０１による処理に必要な各種データが格納される。
【００２８】
バス１０７に接続されている周辺機器としては、ハードディスクドライブ（ＨＤＤ:Hard Disk Drive）１０３、グラフィック処理装置１０４、入力インタフェース１０５および通信インタフェース１０６がある。
【００２９】
ＨＤＤ１０３は、内蔵したディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。ＨＤＤ１０３は、文字列認識装置１００の二次記憶装置として使用される。ＨＤＤ１０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、二次記憶装置としては、フラッシュメモリなどの半導体記憶装置を使用することもできる。
【００３０】
グラフィック処理装置１０４には、モニタ１１が接続されている。グラフィック処理装置１０４は、ＣＰＵ１０１からの命令に従って、画像をモニタ１１の画面に表示させる。モニタ１１としては、ＣＲＴ（Cathode Ray Tube）を用いた表示装置や液晶表示装置などがある。
【００３１】
入力インタフェース１０５には、キーボード１２とマウス１３とが接続されている。入力インタフェース１０５は、キーボード１２やマウス１３から送られてくる信号をＣＰＵ１０１に送信する。なお、マウス１３は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
【００３２】
通信インタフェース１０６は、ネットワーク１０に接続されている。通信インタフェース１０６は、ネットワーク１０を介して、他のコンピュータとの間でデータの送受信を行うことができる。
【００３３】
以上のようなハードウェア構成によって、本実施の形態の処理機能を実現することができる。
図３は、第２の実施の形態の機能を示すブロック図である。本実施の形態の文字列認識装置１００は、手書き文字、活字、プリンタ等による印字等、文字認識可能である任意の字体の文字に適用可能であるものとする。文字列認識装置１００は、画像取得部１１１、項目名文字列抽出部１１２、関連付け部１１３、関連付け検証部１１４、文字領域統合部１１５、非項目名文字列文字認識部１１６、画像記憶部１２０、項目名情報記憶部１５１、文字列候補記憶部１５２、対応関係記憶部１５３、ルール記憶部１５４を有する。
【００３４】
画像取得部１１１は、スキャナや他のコンピュータから通信回線を介して帳票等の文書の画像情報を取得し、取得した画像情報を画像記憶部１２０に記憶させる。
項目名文字列抽出部１１２は、項目名情報を項目名情報記憶部１５１から読み出し、画像記憶部１２０に記憶されている画像から、項目名文字列情報に基づいて画像中に存在する項目名文字列を抽出する。そして、また、項目名文字列抽出部１１２は、項目名文字列を示す項目名文字列領域（項目名文字ブロック）を抽出する。ここで、文字列認識装置１００で文字列認識を行う画像は、例えば、項目名を示す項目名文字列、項目名に対応する項目値を示す項目値文字列を有する帳票画像等の画像である。この画像は、例えば、帳票等の文書をスキャナ等で読み取るか、直接電子ファイルで作成された帳票等の文書を画像に変換することにより作成される。また、画像中の項目名文字列領域以外の領域を非項目名文字列領域とする。また、項目値は、帳票等の文書において項目名に対応する内容である。また、項目値文字列は、項目名に対応する内容を示す文字を有する文字列であり、第１の実施の形態の内容文字列と対応する。
【００３５】
また、項目名文字列抽出部１１２は、項目名文字列領域の位置および認識結果文字列（項目値文字ブロック）の位置を示す位置情報を取得する。この位置情報により、項目名文字列領域の位置および認識結果文字列の位置が特定される。この位置情報は、項目名文字列領域の位置および認識結果文字列の位置を、例えば、画像上の２次元座標で示してもよい。また、項目値文字ブロックは、項目値文字列の一部または全部を示し、第１の実施の形態の内容文字ブロックと対応する。
【００３６】
項目名文字列抽出部１１２は、取得した画像中のそれぞれの連結要素と外接する矩形（以下、「外接矩形」という）を作成し、重なる外接矩形同士を統合することにより、項目名文字列領域を作成する。ここで、連結要素は、特定の画素が連結している領域である。また、特定の画素は、例えば、予め設定された画素値以上の画素等の基準で抽出される画素であり、認識対象の文字列の一部を示す画素である。
【００３７】
関連付け部１１３は、ルール記憶部１５４に記憶されているルールに従って、非項目名文字列文字認識部１１６で取得された各認識結果文字列に対し、項目名文字列抽出部１１２により取得した位置情報に基づいて各認識結果文字列の位置から左方向または上方向に項目名文字列抽出部１１２で取得された項目名文字列を探索し、探索の結果により抽出された項目名と認識結果文字列とを関連付ける。なお、これに限らず、関連付け部１１３は、ルール記憶部１５４に記憶されているルールに従って、項目名文字列抽出部１１２により取得された位置情報に基づいて項目名文字列領域の位置から右方向または下方向に非項目名文字列文字認識部１１６で取得された各認識結果文字列を探索し、項目名文字列領域の項目名文字列が示す項目名と探索の結果得られた認識結果文字列とを関連付けてもよい。
【００３８】
関連付け検証部１１４は、ルール記憶部１５４から項目名文字列と項目値文字列との関連付けにおいて満たすべきルールを読み出し、関連付け部１１３で生成された項目名と項目値との関連付けのうち、ルールに違反する関連付けを削除する。
【００３９】
文字領域統合部１１５は、同一の項目名に関連付けられた認識結果文字列同士を統合し、項目名に対応する項目値文字列に設定する。すなわち、文字領域統合部１１５は、関連付け部１１３によって関連付け、関連付け検証部１１４によって関連付けを削除せずに維持した認識結果文字列を統合して項目名に関連付ける項目値文字列とする。これにより、認識結果文字列（非項目名文字列の認識結果）が統合され、項目名に対応する項目値文字列となる。次に、文字領域統合部１１５は、項目名と項目値文字列との関連付けの結果を対応関係記憶部１５３に記憶させる。
【００４０】
これにより、項目値文字列が文字列として分割されている場合にも、分割されている文字列を統合して、項目値文字列を正しく再構成することができる。例えば、帳票に示された「金額 １，１００円」について、項目名文字列が“金額”と認識され、項目値文字列が“１，”と“１００円”とに分割されて認識された場合、本実施の形態では、分割された項目値文字列“１，”と“１００円”を再構成して“１，１００円”とすることができる。
【００４１】
非項目名文字列文字認識部１１６は、非項目名文字列領域に対して文字認識を行うことにより、項目値文字列の一部または全部を示す認識結果文字列を抽出する。このとき、非項目名文字列文字認識部１１６は、認識結果文字列について１文字単位で文字認識を行って認識結果文字列を１文字の文字列として取得する。なお、非項目名文字列文字認識部１１６は、これに限らず、認識結果文字列について、任意の方法で区分した文字列単位で文字認識を行って認識結果文字列を取得してもよい。
【００４２】
画像記憶部１２０は、項目名を示す文字を有する項目名文字列と項目名に対応する内容を示す文字を有する項目値文字列とを有する画像を記憶する。画像記憶部１２０に記憶されている画像は、項目名および項目値を有する帳票等の文書の画像である。この画像は、スキャナ等の光学式読み取り装置で取得してもよく、コンピュータ等により直接電子ファイルで作成された帳票等の文書を画像に変換することにより取得してもよい。
【００４３】
項目名情報記憶部１５１は、例えば、『氏名』、『住所』等の項目名の項目値文字列を示す情報、項目名が複数の項目値と対応する連記表であるか否かを示す情報を有する項目名文字列情報を有する項目名情報を記憶する。
【００４４】
文字列候補記憶部１５２では、詳しくは図３２および図３３において後述するが、項目名文字列抽出処理において認識結果文字の文字列候補を示す情報を記憶する。
対応関係記憶部１５３は、文字領域統合部１１５の関連付けにより項目名と認識結果文字列とを関連付けた結果を示す対応関係情報を記憶する。この対応関係情報により、画像に含まれている項目名および項目値ならびに項目名と項目値との対応関係が示される。
【００４５】
ルール記憶部１５４は、項目名と認識結果文字列との関連付けのルールを記憶する。ルール記憶部１５４に記憶されているルールは、例えば、１つの認識結果文字列に対応関係を有する項目名が複数存在する場合の関連付けのルール、１つの項目名に対応関係を有する認識結果文字列が複数存在する場合の関連付けのルールを含む。また、１つの項目名に１つの認識結果文字列が対応関係を有する場合において、１つの項目名に関連付け可能な認識結果文字列が複数存在するときに、認識結果文字列を複数の項目名のうちの１つの正しい項目名と関連付けて他の対応関係を削除する関連付けのルールを含む。
【００４６】
また、図１に示した第１の実施の形態の機能のうち、文字ブロック位置取得部１ａの機能は、項目名文字列抽出部１１２、非項目名文字列文字認識部１１６で実現されている。また、対応関係設定部１ｂ、文字ブロック統合部１ｅの機能は、関連付け部１１３、関連付け検証部１１４、文字領域統合部１１５で実現されている。
【００４７】
なお、本実施の形態の文字列認識装置１００で取得する文書に示された項目値は、数値を含む任意の文字数の文字列であり、光学認識等により文字認識が可能であれば、文字と同等または所定の意味を有する任意の個数の記号の列であってもよい。
【００４８】
次に、文字列認識装置１００によって実行される文字列認識処理の手順を説明する。
図４は、第２の実施の形態の文字列認識処理の手順を示すフローチャートである。文字列認識処理は、帳票の画像読み取りやユーザの文字列認識処理を実行する操作に基づいて、文字列認識装置１００により実行が開始される。以下、図４に示す処理をステップ番号に沿って説明する。
【００４９】
〔ステップＳ１１〕項目名文字列抽出部１１２は、項目名情報記憶部１５１に記憶されている項目名情報を取得する。
〔ステップＳ１２〕項目名文字列抽出部１１２は、帳票画像等から項目名文字列を抽出する項目名文字列抽出処理（図２４から図２６において後述）を実行する。
【００５０】
〔ステップＳ１３〕非項目名文字列文字認識部１１６は、ステップＳ１２で取得した項目名文字列領域以外の非項目名文字列領域について文字認識を行い、認識結果文字列を取得する。
【００５１】
〔ステップＳ１４〕関連付け部１１３は、所定の位置関係に該当するステップＳ１２で抽出した項目名文字列とステップＳ１３で取得した認識結果文字列とを、ルール記憶部１５４に記憶されているルールに基づいて関連付ける。
【００５２】
〔ステップＳ１５〕関連付け検証部１１４は、ステップＳ１４における関連付けについて検証し、検証の結果正しくない関連付けを削除する。
〔ステップＳ１６〕文字領域統合部１１５は、ステップＳ１４およびステップＳ１５による関連付けによって、同一の項目名文字列に関連付けた認識結果文字列を統合して項目値文字列とする。次に、統合した項目値文字列を、項目名文字列が示す項目名に対応する項目値として設定する。
【００５３】
〔ステップＳ１７〕文字領域統合部１１５は、ステップＳ１６で設定した帳票画像の項目名と項目値との対応関係を、対応関係記憶部１５３に記憶させる。
図５から図８は、第２の実施の形態における第１の例の帳票画像の処理の様子を示す図である。
【００５４】
図５（Ａ）は、帳票画像の第１の例であり、項目値と項目名とが１対１に対応する帳票画像２１０を示す。本実施の形態の文字列認識装置１００は、文字列認識処理のステップＳ１１およびステップＳ１２により項目名情報記憶部１５１に記憶されている項目名情報に基づいて帳票画像２１０から項目名文字列を抽出する。項目名情報は、項目名の候補を示す文字列を含む。項目名の候補を示す文字列として、例えば『名前』、『氏名』、『住所』、『お住まい』、『ふりがな』、『職業』、『年齢』等がある。
【００５５】
本実施の形態では、帳票画像２１０について文字認識を行い、認識の結果得られた文字列と項目名情報が示す項目名の候補を示す文字列とを比較して項目名文字列を抽出する。帳票画像２１０から項目名文字列を抽出する方法の詳細は、図２４から図３４において後述する。
【００５６】
図５（Ｂ）は、帳票画像２１０に対する項目名文字列の抽出の結果得られる項目名文字列２１１ａ，２１１ｂ，２１１ｃ，２１１ｄを示す。図５（Ｂ）に示す例では、帳票画像２１０から、『住所』、『氏名』、『職業』、『年齢』の４つの項目名文字列２１１ａ，２１１ｂ，２１１ｃ，２１１ｄが抽出されている。
【００５７】
図６に示すように、この項目名文字列の抽出に基づいて、帳票画像２１０を、項目名文字列領域２１２ａ，２１２ｂ，２１２ｃ，２１２ｄと、項目名文字列領域２１２ａ〜２１２ｄ以外の領域である非項目名文字列領域２１２ｅとに分割することが可能になる。
【００５８】
本実施の形態の文字列認識装置１００は、ステップＳ１３により帳票画像２１０の非項目名文字列領域２１２ｅについて文字認識を行い、認識結果文字列を取得して文字列認識を行う。本実施の形態では、非項目名文字列領域２１２ｅについて、１文字単位で文字認識を行う。ここで、ステップＳ１３における文字認識は、従来の文字認識を用いてもよく、他の文字認識方法を用いてもよい。
【００５９】
ここで、図７（Ａ）および図７（Ｂ）に従って、ステップＳ１４およびステップＳ１５の処理を説明する。図７（Ａ）および図７（Ｂ）は、帳票画像２１０の項目名文字列領域２１２ａ，２１２ｂおよび認識結果文字列２１３ａ，２１３ｂ，２１３ｃ，２１３ｄ，２１３ｅ，２１３ｆ，２１３ｇ，２１３ｈ，２１３ｉ，２１３ｊ，２１３ｋ，２１３ｌ，２１３ｍ，２１３ｏ，２１３ｐ，２１３ｑ，２１３ｒ，２１３ｓ，２１３ｔを示す。本実施の形態の文字列認識装置１００は、この項目名文字列領域２１２ａ，２１２ｂおよび認識結果文字列２１３ａ〜２１３ｔに基づき、ステップＳ１３で取得した認識結果文字列について、ステップＳ１４により、項目名文字列との関連付けを行う。このステップＳ１４の関連付けでは、項目名文字列が位置する項目名文字列領域と認識結果文字列の位置とが、ルール記憶部１５４に記憶されているルール（図２２および図２３において後述）が示す所定の位置関係にある場合、項目名文字列が示す項目名と認識結果文字列とが関連付けられる。図７（Ａ）の例では、項目名文字列領域２１２ａと認識結果文字列２１３ａ〜２１３ｐ、項目名文字列領域２１２ａと認識結果文字列２１３ｑ〜２１３ｔ、項目名文字列領域２１２ｂと認識結果文字列２１３ｑ〜２１３ｔの３組が、ルール記憶部１５４に記憶されているルールが示す所定の位置関係（例えば、認識結果文字列の中心の上方、左方または左上方に項目名文字列領域の外接矩形が存在）を満たすものとして関連付けられる。
【００６０】
通常、横書きの帳票では、項目名の右、下または右下に項目値が存在するので、文字列認識装置１００は、上記認識結果文字列の左、上、または左上に存在する項目名文字列領域を探索する。なお、探索する方向に関しては、これに限らず、帳票毎や項目名毎に定義してもよい。
【００６１】
図７（Ａ）の例では、認識結果文字列２１３ｑ（『東』）に関しては、左、上、左上に存在する項目名文字列領域を探索すると、項目名文字列領域２１２ａ，２１２ｂの２つが発見される。これにより、認識結果文字列２１３ｑは、項目名文字列領域２１２ａ，２１２ｂに関連付けられることになる。認識結果文字列２１３ｒ〜２１３ｔについても同様に、項目名文字列領域２１２ａ，２１２ｂに関連付けられる。
【００６２】
次に、文字列認識装置１００は、ステップＳ１５により項目名文字列と認識結果文字列との関連付けの検証および削除を行う。このステップＳ１５の関連付けの検証および削除では、関連付けられた項目名文字列と認識結果文字列とが、ルール記憶部１５４に記憶されているルールに違反するか等に基づいて、関連付けが正しいか否かについて検証される。そして、検証の結果に基づき、ステップＳ１４で関連付けられた、関連付けが正しくない項目名と認識結果文字列との関連付けが削除される。図７（Ａ）に示すように、認識結果文字列２１３ｑは、ステップＳ１４により項目名文字列領域２１２ａおよび項目名文字列領域２１２ｂと関連付けられている。これに対し、ステップＳ１５では、図７（Ｂ）に示すように、ルール記憶部１５４に記憶されているルール（例えば、認識結果文字列の中心の左方に項目名文字列領域が存在する場合、認識結果文字列の中心の左上方の項目名文字列への関連付けは削除）に基づいて、認識結果文字列２１３ｑと項目名文字列領域２１２ａとの関連付けが削除される。認識結果文字列２１３ｒ〜２１３ｔについても同様に、項目名文字列領域２１２ａとの関連付けが削除される。このようにして、正しくない関連付けが削除され、正しい関連付けのみが維持される。
【００６３】
ここで、ルール記憶部１５４に記憶されているルールとして、例えば、次の例が挙げられる。
例１：認識結果文字列の左方向、若しくは、上方向に項目名文字列領域が存在した場合、左上方向にある項目名文字列領域は無視する。
【００６４】
例２：認識結果文字列が複数の項目名文字列と関連付けられた場合は、最も近いもの１つに絞る。
例３：認識結果文字列と項目名文字列領域との距離は、所定の値以下でなければならない。
【００６５】
例４：認識結果文字列と項目名文字列との関連付けはセル罫線を跨いではいけない。
これらのルールは、帳票や、項目名によって任意に設定される。このルールを増やし、柔軟に組み合わせることで、様々な形式の帳票に対応することが可能になる。
【００６６】
上記の例では、ステップＳ１４の関連付けにより認識結果文字列２１３ｑ〜２１３ｔ（『東』、『京』、『太』、『郎』）を構成する各文字は２つの項目名文字列領域２１２ａ，２１２ｂに関連付けられている。これに、ステップＳ１５の関連付けの検証により、上記の例１のルールが適用されると、項目名文字列領域２１２ａへの関連付けは削除され、項目名文字列領域２１２ｂへの関連付けのみが維持される。
【００６７】
次に、文字列認識装置１００は、ステップＳ１６により同一の項目名文字列に関連付けられた認識結果文字列を統合して項目値文字列とし、項目名と項目値との対応関係を設定する。具体的には、帳票画像２１０の項目名文字列２１１ａに関連付けられた図７（Ａ）に示す認識結果文字列２１３ａ〜２１３ｐが有する各文字を統合して、図８（Ａ）に示すように項目値文字列２１５ａとする。また、項目名文字列２１１ａで示される項目名と項目値文字列２１５ａで示される項目値とに対応関係を設定する。同様に、項目名文字列２１１ｂに関連付けられた図７（Ａ）に示す認識結果文字列２１３ｑ〜２１３ｔが有する各文字を統合して項目値文字列２１５ｂとする。また、項目名文字列２１１ｂで示される項目名と項目値文字列２１５ｂで示される項目値とに対応関係を設定する。
【００６８】
以上のように、本実施の形態では、項目値文字列について１文字単位で文字認識を行い、１文字単位で項目名文字列と関連付ける。しかし、非項目名文字列領域に対する文字認識の結果、認識結果文字列が項目値文字列の通りに認識される場合もあれば、認識ミスにより認識結果文字列が本来の項目値文字列に比較して過剰に分割されている場合も生じ得る。本実施の形態では、認識結果文字列が項目値文字列よりも分割されて認識された場合にも正しい項目値文字列を得ることができる。具体的には、図８（Ｂ）に示すように、ステップＳ１３において認識結果文字列２１６ａ，２１６ｂ，２１６ｃ，２１６ｄ，２１６ｅ，２１６ｆ，２１６ｑ，２１６ｒ，２１６ｓ，２１６ｔの１個または複数の文字を有する文字列が混在して得られたものとする。この場合、これらの認識結果文字列２１６ａ，２１６ｂ，２１６ｃ，２１６ｄ，２１６ｅ，２１６ｆ，２１６ｑ，２１６ｒ，２１６ｓ，２１６ｔについても、ステップＳ１４からステップＳ１７において１文字単位の文字認識の場合と同様に処理されることとなる。
【００６９】
例えば、ステップＳ１４により、図８（Ｂ）に示した項目値文字列２１６ａ（『神』）は、項目名文字列領域２１２ａに関連付けられる。また、項目値文字列２１６ｂ（『奈川』）は、項目名文字列領域２１２ａに関連付けられる。以下同様に、項目値文字列２１６ｃ〜２１６ｆは、項目名文字列領域２１２ａに関連付けられる。また、項目値文字列２１６ｑ〜２１６ｔは、項目名文字列領域２１２ｂに関連付けられる。
【００７０】
図８（Ｂ）の例に従って、ステップＳ１５において不要な関連付けが削除された後の関連付けの結果を以下に示す。
項目名文字列領域２１２ａへの関連付け：認識結果文字列２１６ａ（『神』）、認識結果文字列２１６ｂ（『奈川』）、認識結果文字列２１６ｃ（『県』）、認識結果文字列２１６ｄ（『川崎市』）、認識結果文字列２１６ｅ（『小山』）、認識結果文字列２１６ｆ（『１−２３−４』）
項目名文字列領域２１２ｂへの関連付け：認識結果文字列２１６ｑ（『東』）、認識結果文字列２１６ｒ（『京』）、認識結果文字列２１６ｓ（『太』）、認識結果文字列２１６ｔ（『郎』）
次にステップＳ１６により、同一の項目名文字列に関連付けられた認識結果文字列が統合され、項目値文字列とされる。
【００７１】
本実施の形態によれば、項目名文字列の位置関係に基づいて、先に項目名文字列を認識し、次に非項目名文字列領域に対して文字認識を行う。次に、項目名文字列の位置関係に基づいて認識結果文字列を統合する事により、項目値文字列を取得している。これにより、文字認識のミスによって認識結果文字列が過剰に分割された場合でも、統合することにより正しい項目値文字列を得ることができる。
【００７２】
また、以上により、本実施の形態は、例えば、帳票に罫線の存在しない場合における項目値の文字列領域の検出においても有効である。すなわち、罫線がない帳票の文字列認識を行う場合、レイアウト解析により、先に帳票上のすべての文字列領域を検出する場合がある。この場合、上記項目値文字列は、図８（Ｂ）の認識結果文字列２１６ａ〜２１６ｆ（『神』、『奈川』、『県』、『川崎市』、『小山』、『１−２３−４』）のように分離される可能性が存在する。仮に、このような項目値文字列が分離して認識された結果が得られた場合、項目名と項目値との対応付けに失敗することになる。
【００７３】
これに対して、本実施の形態によれば、文字列認識に罫線を必要としないので、罫線がなく、上記のように項目値文字列が分離して認識される可能性がある場合にも上記項目値文字列について一体として認識することができる。
【００７４】
図９は、第２の実施の形態により第１の例の帳票画像を処理して得られた対応関係テーブルの例を示す図である。図９に示す対応関係テーブル１５３ａは、本実施の形態の文字列認識装置１００による帳票画像２１０に対する文字列認識処理の実行の結果得られる項目名と項目値との対応関係を示す情報を記憶するテーブルである。対応関係テーブル１５３ａは、対応関係記憶部１５３に記憶されている。対応関係テーブル１５３ａには、“項目名”フィールド、“項目値”フィールドが設けられている。図９の例では、各フィールドの横方向に並べられた情報同士について対応関係が設定されている。
【００７５】
“項目名”フィールドには、帳票画像２１０から取得した項目名が設定される。“項目値”フィールドには、帳票画像２１０から取得した項目値が設定される。図９の対応関係テーブル１５３ａでは、帳票画像２１０に基づいて、項目名と項目値とが１対１の対応関係を有するように設定される。
【００７６】
図１０から図１２は、第２の実施の形態における第２の例の帳票画像の処理の様子を示す図である。
図５から図９において前述した帳票画像２１０は、項目名と項目値が１対１の対応関係を有していたが、本実施の形態は、例えば、２次元表のように１つの項目値に２の項目名が属するような、項目値と項目名とが１対多の対応関係を有する場合についても適用可能である。例えば、図１０に示す２次元の無罫線表の帳票画像２２０を例に挙げて説明する。
【００７７】
図１０に示す帳票画像２２０は、帳票画像の第２の例であり、上部に項目名文字列２２１ａ，２２１ｂ，２２１ｃを有し、左側に項目名文字列２２１ｄ，２２１ｅ，２２１ｆを有する。また、項目名文字列２２１ａ，２２１ｂ，２２１ｃのうちのいずれか１つと項目名文字列２２１ｄ，２２１ｅ，２２１ｆのうちのいずれか１つとが交差する領域に、項目値文字列２２２を有する。
【００７８】
本実施の形態の文字列認識装置１００は、帳票画像２２０についても帳票画像２１０と同様に、文字列認識処理を実行する。このとき、文字列認識装置１００は、図１１に示すように、ステップＳ１３で認識結果文字列２２４ａ，２２４ｂ，２２４ｃ，２２４ｄ，２２４ｅ，２２４ｆ，２２４ｇ，２２４ｈ，２２４ｉ，２２４ｊを取得する。次に、文字列認識装置１００は、ステップＳ１４により、項目名文字列領域２２３ａ，２２３ｅ，２２３ｆ等の各項目名文字列領域との位置関係に基づいて、項目名と認識結果文字列との関連付けを行う。図１１の例では、このステップＳ１４の関連付けにより、ルール記憶部１５４に記憶されているルールに基づいて、項目名文字列領域２２３ａと認識結果文字列２２４ａ〜２２４ｈ、項目名文字列領域２２３ｅと認識結果文字列２２４ａ〜２２４ｈ、項目名文字列領域２２３ａと認識結果文字列２２４ｉ，２２４ｊ、項目名文字列領域２２３ｅと認識結果文字列２２４ｉ，２２４ｊ、項目名文字列領域２２３ｆと認識結果文字列２２４ｉ，２２４ｊの５組が関連付けられたものとする。
【００７９】
次に、文字列認識装置１００は、ステップＳ１５により、ルール記憶部１５４に記憶されているルールに基づいて、項目名文字列と認識結果文字列との関連付けの検証および削除を行う。図１２の例では、図１１の例の関連付けの検証結果に基づいて、項目名文字列領域２２３ｅと認識結果文字列２２４ｉ，２２４ｊの関連付けが削除されている。また、項目名文字列領域２２３ａと認識結果文字列２２４ａ〜２２４ｈ、項目名文字列領域２２３ａと認識結果文字列２２４ｉ，２２４ｊ、項目名文字列領域２２３ｅと認識結果文字列２２４ａ〜２２４ｈ、項目名文字列領域２２３ｆと認識結果文字列２２４ｉ，２２４ｊの関連付けは維持されている。この後、ステップＳ１６により、同一の項目名文字列に関連付けられた認識結果文字列ごとに統合し、項目名に対応する項目値文字列を取得する。
【００８０】
図１３は、第２の実施の形態により第２の例の帳票画像を処理して得られた対応関係テーブルの例を示す図である。図１３に示す対応関係テーブル１５３ｂは、図９において前述した対応関係テーブル１５３ａと同様、本実施の形態の文字列認識装置１００による帳票画像２２０に対する文字列認識処理の実行の結果得られる項目名と項目値との対応関係を示す情報を記憶するテーブルである。対応関係テーブル１５３ｂは、対応関係記憶部１５３に記憶されている。対応関係テーブル１５３ｂには、“項目名”フィールド、“項目値”フィールドが設けられている。図１３の例では、各フィールドの横方向に並べられた情報同士について対応関係が設定されている。
【００８１】
対応関係テーブル１５３ｂの“項目名”フィールドには、２次元表である帳票画像２２０から取得した各列の項目名（項目名文字列２２１ａ〜２２１ｃ）と各行の項目名（項目名文字列２２１ｄ〜２２１ｅ）のそれぞれを組み合わせた項目名が設定される。
【００８２】
対応関係テーブル１５３ｂの“項目値”フィールドには、２次元表である帳票画像２２０から取得した各列の項目名と各行の行列成分であり、項目名のそれぞれを組み合わせた項目名に対応する項目値が設定される。
【００８３】
本実施の形態では、以上のようにして対応関係テーブル１５３ｂに項目名と項目値との間で１対１の対応関係を設定することができる。
図１４から図１６は、第２の実施の形態における第３の例の帳票画像の処理の様子を示す図である。
【００８４】
また、本実施の形態は、例えば、１つの項目名に複数の項目値が属するような、項目値と項目名とが多対１の対応関係を有する場合についても適用可能である。また、本実施の形態は、罫線を有する表については、罫線を利用して文字列認識を行うこともできる。例えば、図１４に示す罫線を有する表の帳票画像２３０を例に挙げて説明する。
【００８５】
図１４に、帳票画像の第３の例であり、項目名と項目値とが１対多に対応する帳票画像２３０を示す。本実施の形態の文字列認識装置１００は、上記の例と同様、文字列認識処理のステップＳ１１およびステップＳ１２により項目名情報記憶部１５１に記憶されている項目名情報に基づいて帳票画像２３０から項目名文字列を抽出する。
【００８６】
図１５は、帳票画像２３０に対する項目名文字列の抽出の結果得られる項目名文字列２３１ａ，２３１ｂ，２３１ｃ，２３１ｄ，２３１ｅ，２３１ｆ，２３１ｇを示す。図１５に示す例では、帳票画像２３０から、『記入年月日』、『申込者』、『銀行名』、『支店名』、『口座種別』、『口座番号』、『振込み金額』の７つの項目名文字列２３１ａ，２３１ｂ，２３１ｃ，２３１ｄ，２３１ｅ，２３１ｆ，２３１ｇが抽出されている。本実施の形態の文字列認識装置１００は、この項目名文字列の抽出に基づいて、帳票画像２３０を、上記の例と同様に、項目名文字列領域と非項目名文字列領域とに分割する。
【００８７】
次に、図１６に示すように、本実施の形態の文字列認識装置１００は、帳票画像２３０の非項目名文字列領域について文字認識を行って認識結果文字列２３２ａ１，２３２ａ２，２３２ａ３，２３２ａ４，２３２ａ５，２３２ａ６，２３２ａ７，２３２ａ８，２３２ａ９，２３２ａ１０，２３２ａ１１，２３２ｂ１，２３２ｂ２，２３２ｂ３，２３２ｂ４，２３２ｃ１，２３２ｃ２，２３２ｃ３，２３２ｄ１〜２３２ｄ３，２３２ｅ１〜２３２ｅ３，２３２ｆ１〜２３２ｆ３，２３２ｇ１〜２３２ｇ３を取得する。ここで、本実施の形態の文字列認識装置１００は、後述するルールに基づき、文字認識の際に、帳票の罫線で囲まれたセルの内部に存在する文字は１つの文字列と認識することができる。具体的には、認識結果文字列２３２ｃ１（『Ａ銀行』）は、セルの内部に存在するので１つの文字列と認識される。従って、同様にセルの内部に存在する認識結果文字列２３２ｃ２（『Ｂ銀行』）、認識結果文字列２３２ｃ３（『Ｃ銀行』）は、それぞれ１つの文字列と認識される。また、認識結果文字列２３２ｄ１〜２３２ｄ３，２３２ｅ１〜２３２ｅ３，２３２ｆ１〜２３２ｆ３，２３２ｇ１〜２３２ｇ３についても同様に、それぞれが１つの文字列として認識される。
【００８８】
次に、文字列認識装置１００は、ルール記憶部１５４に記憶されているルールに従って、項目名文字列２３１ａ〜２３１ｇと認識結果文字列２３２ａ１〜２３２ｇ３との関連付けを行う。次に、文字列認識装置１００は、項目名文字列と認識結果文字列との関連付けの検証および削除を行う。これにより、項目名と項目値との対応関係が設定される。
【００８９】
図１６の例では、関連付けおよび検証の結果、項目名文字列２３１ａと認識結果文字列２３２ａ１〜２３２ａ１１、項目名文字列２３１ｂと認識結果文字列２３２ｂ１〜２３２ｂ４、項目名文字列２３１ｃと認識結果文字列２３２ｃ１〜２３２ｃ３、項目名文字列２３１ｄと認識結果文字列２３２ｄ１〜２３２ｄ３、項目名文字列２３１ｅと認識結果文字列２３２ｅ１〜２３２ｅ３、項目名文字列２３１ｆと認識結果文字列２３２ｆ１〜２３２ｆ３、項目名文字列２３１ｇと認識結果文字列２３２ｇ１〜２３２ｇ３の７組が関連付けられる。これに従い、関連付けられた項目名文字列と項目値文字列と間で、項目名と項目値との対応関係が設定される。
【００９０】
具体的には、認識結果文字列２３２ｃ１〜２３２ｃ３は、項目名文字列２３１ｃ（『銀行名』）に関連付けられる。そして、認識結果文字列２３２ｃ１〜２３２ｃ３は、同一の項目名文字列２３１ｃに関連付けられているので１つに統合され、項目名文字列２３１ｃ（『銀行名』）に対応する項目値『Ａ銀行（改行）Ｂ銀行（改行）Ｃ銀行』となる。また、認識結果文字列２３２ｄ１〜２３２ｄ３，２３２ｅ１〜２３２ｅ３，２３２ｆ１〜２３２ｆ３，２３２ｇ１〜２３２ｇ３についても同様に、それぞれ項目名文字列２３１ｄ，２３１ｅ，２３１ｆ，２３１ｇに関連付けられる。そして、認識結果文字列２３２ｄ１〜２３２ｄ３，２３２ｅ１〜２３２ｅ３，２３２ｆ１〜２３２ｆ３，２３２ｇ１〜２３２ｇ３は、それぞれ関連付けられた同一の項目名文字列ごとに統合され、それぞれ項目名文字列２３１ｄ，２３１ｅ，２３１ｆ，２３１ｇに対応する項目値となる。
【００９１】
図１７は、第２の実施の形態により第３の例の帳票画像を処理して得られた対応関係テーブルの例を示す図である。図１７に示す対応関係テーブル１５３ｃは、上記の例と同様、本実施の形態の文字列認識装置１００による帳票画像２３０に対する文字列認識処理の実行の結果得られる項目名と項目値との対応関係を示す情報を記憶するテーブルである。対応関係テーブル１５３ｃは、対応関係記憶部１５３に記憶されている。対応関係テーブル１５３ｃには、“項目名”フィールド、“項目値”フィールドが設けられている。図１７の例では、各フィールドの横方向に並べられた情報同士について対応関係が設定されている。
【００９２】
対応関係テーブル１５３ｃの“項目名”フィールドには、帳票画像２３０から取得した項目名（項目名文字列２３１ａ〜２３１ｇ）が設定される。また、“項目値”フィールドには、帳票画像２３０から取得した項目値（認識結果文字列２３２ａ１〜２３２ｇ３）が設定される。また、対応関係テーブル１５３ｃに示すように、本実施の形態では、帳票画像２３０が有する１の項目名と複数の項目値との対応関係（例えば、項目名『銀行名』に対して項目値『Ａ銀行』、『Ｂ銀行』、『Ｃ銀行』等）を設定することができる。
【００９３】
次に、項目名と項目値との関連付けについて説明する。
図１８および図１９は、第２の実施の形態における第３の例の帳票画像における関連付けの様子を示す図である。本実施の形態の文字列認識装置１００は、上記のように帳票画像から項目名と項目値とを抽出し、上記の関連付けにより、抽出した項目名と認識結果文字列との対応関係を設定する。この関連付けは、ステップＳ１４においてルール記憶部１５４に記憶されているルールに従って行われる。
【００９４】
ここで、関連付けのルールの一例を示す。
・認識結果文字の上方または左方に項目名文字列領域が存在する場合は、その認識結果文字と項目名を関連付ける。ここで、上方または左方とは、その認識結果文字列の中心座標の上方向または左方向に項目名文字列の外接矩形が存在するかどうかで判定する。
・項目名文字列が表のセルに入っている場合は、そのセル枠を項目名文字列の外接矩形と見なす。
【００９５】
上記のルールについて、図１８に示す帳票画像２３０の項目名文字列２３１ｂ（『申込者』）と認識結果文字２３２ｂ１（『田』）との関連付けを例として説明する。
図１８に示すように、上記ルールに従って認識結果文字列２３２ｂ１の中心２３４ｂ１から、左方および上方を探索すると、左方に項目名文字列２３１ｂの外接矩形２３３が存在するので、帳票画像２３０の項目名文字列２３１ｂと認識結果文字列２３２ｂ１との関連付けが行われる。認識結果文字列２３２ａ１〜２３２ａ１１，２３２ｂ２〜２３２ｂ４についても同様に、上記のルールに従って関連付けが行われる。
【００９６】
次に、帳票の項目名文字列が表のセルに入っている場合の関連付けの上記のルールについて図１９に従って説明する。
図１９に示すように、帳票画像２３０の項目名文字列２３１ｃ（『銀行名』）は、セル枠２３６に囲まれているものとする。この場合、上記ルールに従って認識結果文字列２３２ｃ１（『Ａ銀行』）の中心２３７ｃ１から、左方および上方を探索すると、左方に項目名文字列２３１ｃのセル枠２３６が存在する。ここで、上記ルールに従い、セル枠２３６を項目名文字列２３１の外接矩形と見なす。これに基づいて、認識結果文字列の中心座標の上方向または左方向に項目名文字列の外接矩形が存在すると判定されることにより、帳票画像２３０の項目名文字列２３１ｃと認識結果文字列２３２ｃ１との関連付けが行われる。また、認識結果文字列２３２ｃ２，２３２ｃ３，２３２ｄ１〜２３２ｄ３，２３２ｅ１〜２３２ｅ３，２３２ｆ１〜２３２ｆ３，２３２ｇ１〜２３２ｇ３についても同様に、上記のルールに従って関連付けが行われる。
【００９７】
次に、帳票に項目名と項目値とが多対多で対応するものを含む場合の関連付けのルールについて説明する。
図２０は、第２の実施の形態における第４の例の帳票画像における関連付けの様子を示す図である。図２０は、帳票画像の第４の例であり、項目値と項目名とが多対多で対応するものを含む帳票画像２４０を示す。図２０では、上記のルールに従って１対１で対応する項目名文字列２４１ａと認識結果文字列２４２ａの各文字、項目名文字列２４１ｂと認識結果文字列２４２ｂの各文字が関連付けられる。
【００９８】
これに対し、認識結果文字列２４２ｃの項目値の左方には、項目名文字列２４１ｂが存在し、上方には項目名文字列２４１ｃが存在するので、上記のルールのみではいずれの項目名文字列と関連付けるべきか判定することができない。また、認識結果文字列２４２ｄ，２４２ｅについても、同様に、左方には、項目名文字列２４１ｄが存在し、上方には項目名文字列２４１ｅが存在するので、上記のルールのみではいずれの項目名文字列と関連付けるべきか判定することができない。
【００９９】
帳票画像２４０のように、多対多の対応関係を有する項目名と項目値とを有する帳票の文字列認識を行う場合、本実施の形態では、上記のルールに加えて、例えば以下のルールを追加することにより対応することができる。
・認識結果文字列の左方、上方、左上方のうちの異なる２方向に項目名文字列領域が存在することによりそれぞれの項目名文字列領域と関連付けられた場合であって、関連付けられた項目名が連記表に用いられる項目名であるときには、認識結果文字列と２つの項目名との関連付けは共に維持される。
・認識結果文字列の左方、上方、左上方のうちの異なる２方向に項目名文字列領域が存在することによりそれぞれの項目名文字列領域と関連付けられた場合であって、関連付けられた項目名が連記表に用いられない項目名であるときには、関連付けられた２つの項目名のうち、項目名と項目値との位置が近い関連付けのみを維持し、他方の関連付けを削除する。
【０１００】
本実施の形態では、これらの追加するルールにより、認識結果文字列２４２ｃは、項目名文字列２４１ｂとの関連付けが削除され、項目名文字列２４１ｃとの関連付けが維持される。また、認識結果文字列２４２ｄ，２４２ｅは、それぞれ項目名文字列２４１ｄとの関連付けおよび項目名文字列２４１ｅとの関連付けが共に維持される。
【０１０１】
なお、上記のルールおよび追加するルールは、あくまでも一例であり、本実施の形態の関連付けのルールは、帳票のフォーマットに応じて適宜設定することができる。
図２１は、第２の実施の形態の項目名情報テーブルの例を示す図である。図２１に示す項目名情報テーブル１５１ａは、本実施の形態の文字列認識装置１００による文字列認識処理を実行する際に適用される項目名情報を記憶するテーブルである。項目名情報テーブル１５１ａは、項目名情報記憶部１５１に記憶されている。項目名情報テーブル１５１ａには、“項目名番号”フィールド、“項目名文字列”フィールド、“連記表”フィールドが設けられている。各項目の横方向に並べられた情報同士が項目名情報として互いに関連付けられている。
【０１０２】
“項目名番号”フィールドには、各項目名を一意に特定可能に割り当てられた符号である項目名番号が設定される。“項目名文字列”フィールドには、帳票画像２４０等に使用される可能性がある項目名文字列が設定される。本実施の形態では、詳しくは図２４から図３４において後述するが、この項目名文字列フィールドに設定された項目名文字列を用いて項目名文字列の抽出を行う。“連記表”フィールドには、項目名番号で特定された項目名が複数の項目値と対応関係を有する連記表として使用される場合があるか否かを示す情報が設定される。項目名が連記表として使用される場合があれば、“連記表”フィールドに“有”が設定される。項目名が連記表として使用される場合がなければ、“連記表”フィールドに“無”が設定される。
【０１０３】
図２２および図２３は、第２の実施の形態のルールテーブルの例を示す図である。図２２に示すルールテーブル１５４ａ、図２３に示すルールテーブル１５４ｂは、本実施の形態の文字列認識装置１００による文字列認識処理を実行する際に適用されるルールを記憶するテーブルである。ルールテーブル１５４ａ，１５４ｂは、ルール記憶部１５４に記憶されている。
【０１０４】
図２２に示すルールテーブル１５４ａには、“ルール”フィールド、“ルール内容”フィールドが設けられている。“ルール”フィールドには、ルールを特定可能な符号が設定される。“ルール内容”フィールドには、ルールの内容を定義する情報が設定される。説明の便宜上、“ルール”フィールドのルールは日本語により記述するが、これに限らず、コンピュータ言語やフラグ、データ、論理式等、文字列認識装置１００においてルールに基づく関連付けに必要な処理を実行可能な形式で定義された情報を設定することができる。
【０１０５】
図２２に示す以下のルールは、一般的な帳票に対する文字列認識処理の関連付けに適用されるルールの一例である。
［関連付けルール１］認識結果文字列の中心の上方、左方または左上方に項目名文字列領域の外接矩形が存在する場合、認識結果文字列と項目名とを関連付ける。
【０１０６】
［関連付けルール２］項目名文字列が、表のセル内に存在する場合、セルの枠の矩形を、項目名文字列領域の外接矩形とみなす。
［関連付けルール３］関連付けられた項目名が２個以上存在し、項目名の中に連記表に適用されないものが存在する場合、認識結果文字列に最も近い項目名文字列の関連付けのみ残す。
【０１０７】
［妥当性ルール１］認識結果文字列の中心の上方または左方に項目名文字列が存在する場合であって、認識結果文字列の中心の左上方に存在する他の項目名文字列への関連付けがあるとき、認識結果文字列の中心の左上方に存在する他の項目名文字列への関連付けは削除する。
【０１０８】
また、本実施の形態の関連付けのルールの別の例を示す。
図２３に示すルールテーブル１５４ｂには、“適用範囲”フィールド、“ルール”フィールド、“ルール内容”フィールドが設けられている。“適用範囲”フィールドには、ルールが適用される項目名の範囲を示す情報が設定される。説明の便宜上、“ルール”フィールドと同様に“適用範囲”フィールドの適用範囲は日本語により記述するが、これに限らず、コンピュータ言語やフラグ、データ、論理式等、文字列認識装置１００においてルールが適用される項目値の範囲の選択に必要な処理を実行可能な形式で定義された情報を設定することができる。
【０１０９】
図２３に示す以下のルールは、連記表である項目を含む可能性があると共に、罫線を有する可能性があり、さらに２次元表である可能性がある帳票に対する文字列認識処理の関連付けに適用されるルールの一例である。
【０１１０】
・項目名の連記表が“有”
［ルール１］認識結果文字列の中心の上方、左方または左上方に項目名文字列領域の外接矩形が存在する場合、認識結果文字列と項目名文字列とを関連付ける。
【０１１１】
［ルール２］項目名文字列が、表のセル内に存在する場合、セルの枠の矩形を、項目名文字列領域の外接矩形とみなす。
［ルール３］関連付けられた項目名が２個以上存在し、項目名の中に連記表に適用されないものが存在する場合、認識結果文字列に最も近い項目名文字列の関連付けのみ残す。
【０１１２】
・項目名の連記表が“無”
［ルール１］認識結果文字列の中心の上方、左方または左上方に項目名文字列領域の外接矩形が存在する場合、認識結果文字列と項目名文字列とを関連付ける。
【０１１３】
［ルール２］項目名文字列が、表のセル内に存在する場合、セルの枠の矩形を、項目名文字列領域の外接矩形とみなす。
なお、本実施の形態では、関連付けにおいて帳票のフォーマットに応じた任意のルールを設定することができる。
【０１１４】
次に、本実施の形態において帳票画像の項目名文字列領域を特定するために項目名を抽出する項目名文字列抽出処理について説明する。
図２４から図２６は、第２の実施の形態の項目名文字列抽出処理の手順を示すフローチャートである。項目名文字列抽出処理は、本実施の形態の文字列認識処理による呼び出しに基づいて文字列認識装置１００により実行される。以下、図２４から図２６に示す処理をステップ番号に沿って説明する。
【０１１５】
〔ステップＳ２１〕項目名文字列抽出部１１２は、項目名情報記憶部１５１から項目名情報に設定されているすべての項目名文字列を読み出す。読み出された項目名文字列は、ステップＳ２８で、ステップＳ２７における項目名文字列の文字認識の検証に使用される。
【０１１６】
〔ステップＳ２２〕項目名文字列抽出部１１２は、帳票画像に対して連結要素解析を行い、連結要素を取得する。これにより、帳票画像の文字列の各文字について、文字の一部または全部であって形状が１つに連結されている要素である連結要素に分解される。
【０１１７】
〔ステップＳ２３〕項目名文字列抽出部１１２は、ステップＳ２２で取得した連結要素を組み合わせることにより、連結要素を統合して統合矩形を作成する。
〔ステップＳ２４〕項目名文字列抽出部１１２は、ステップＳ２３で作成した統合矩形のうち、未選択の統合矩形を１つ選択する。
【０１１８】
〔ステップＳ２５〕項目名文字列抽出部１１２は、ステップＳ２４で選択した統合矩形と、その統合矩形の周辺の統合矩形とを統合して、周辺統合矩形を生成する。
〔ステップＳ２６〕項目名文字列抽出部１１２は、ステップＳ２５で生成した周辺統合矩形のうち、未選択の周辺統合矩形を１つ選択する。
【０１１９】
〔ステップＳ２７〕項目名文字列抽出部１１２は、ステップＳ２６で選択した周辺統合矩形について文字認識を行い、認識結果文字を取得する。
〔ステップＳ２８〕項目名文字列抽出部１１２は、ステップＳ２７で取得した認識結果文字がステップＳ２１で読み出した項目名文字列に含まれるか否かを判定する。認識結果文字が項目名文字列に含まれていれば、処理はステップＳ２９に進められる。一方、認識結果文字が項目名文字列に含まれていなければ、処理はステップＳ３１（図２５）に進められる。
【０１２０】
〔ステップＳ２９〕項目名文字列抽出部１１２は、ステップＳ２７で取得した認識結果文字および認識結果文字の座標を記憶する。記憶された認識結果文字は、項目名文字列の候補の文字である文字候補となる。
【０１２１】
〔ステップＳ３１〕項目名文字列抽出部１１２は、ステップＳ２５で生成した周辺統合矩形のうち、所定の大きさ以下のすべての周辺統合矩形について選択済であるか否かを判定する。所定の大きさ以下のすべての周辺統合矩形について選択済であれば、処理はステップＳ３２に進められる。一方、所定の大きさ以下の周辺統合矩形に選択されていないものがあれば、処理はステップＳ２６（図２４）に進められる。
【０１２２】
〔ステップＳ３２〕項目名文字列抽出部１１２は、ステップＳ２３で生成したすべての統合矩形について選択済であるか否かを判定する。すべての統合矩形について選択済であれば、処理はステップＳ３２に進められる。一方、統合矩形に選択されていないものがあれば、処理はステップＳ２４（図２４）に進められる。
【０１２３】
〔ステップＳ３３〕項目名文字列抽出部１１２は、探索する項目名文字列を１つ選択する。
〔ステップＳ３４〕項目名文字列抽出部１１２は、認識結果文字からステップＳ３３で選択された項目名文字列が有する文字を候補文字として抽出し、抽出した候補文字を行および列の項目とした文字列候補テーブルを作成する。このとき、文字列候補テーブルの各値には、初期値として“０”を設定する。
【０１２４】
〔ステップＳ３５〕項目名文字列抽出部１１２は、文字列候補テーブルに項目名文字列の一部となる可能性がある組み合わせを設定する。
〔ステップＳ３６〕項目名文字列抽出部１１２は、文字列候補テーブルに基づいて、ステップＳ３３で抽出した候補文字同士を結んだ文字列候補対応関係グラフの最大クリークを探索する。
【０１２５】
〔ステップＳ３７〕項目名文字列抽出部１１２は、ステップＳ３６で探索した最大クリークの文字数と項目名文字列の文字数とからマッチング率Ｍを算出する。マッチング率Ｍは、最大クリークの文字数を、選択した項目名情報に示されている項目名文字列の文字数で割って算出される比率である。
【０１２６】
〔ステップＳ４１〕項目名文字列抽出部１１２は、ステップＳ３７で算出したマッチング率Ｍと所定の閾値αとを比較して、マッチング率Ｍが閾値α以上であるか否かを判定する。マッチング率Ｍが閾値α以上であれば、処理はステップＳ４２に進められる。一方、マッチング率Ｍが閾値α未満であれば、処理はステップＳ４３に進められる。閾値αは、例えば、帳票画像のフォーマット（例えば、項目名の種類や配置）や認識される文字の種類（例えば、文字を含むかまたは数字のみか、日本語文字を含むかまたは英字のみか、手書き文字か印字文字か）等の帳票の条件に応じて設定する。
【０１２７】
〔ステップＳ４２〕項目名文字列抽出部１１２は、ステップＳ３３で選択した項目名文字列および項目名文字列の座標を記憶する。記憶された項目名文字列および座標に基づいて帳票画像の項目名文字列領域が設定される。
【０１２８】
〔ステップＳ４３〕項目名文字列抽出部１１２は、ステップＳ２１で読み出したすべての項目名文字列について選択済であるか否かを判定する。すべての項目名文字列について選択済であれば、処理は復帰する。一方、項目名文字列に選択されていないものがあれば、処理はステップＳ３３（図２５）に進められる。
【０１２９】
図２７から図３１は、第２の実施の形態における項目名文字列の抽出の処理の様子を示す図である。
図２７（Ａ）は、帳票画像の第５の例である帳票画像２５０を示す。帳票画像２５０に基づいて本実施の形態における項目名文字列の処理について説明する。
【０１３０】
本実施の形態の文字列認識装置１００は、項目名文字列抽出処理のステップＳ２１で項目名文字列を読み出す。次に、文字列認識装置１００は、例えば、図２７（Ｂ）の連結要素２５１ａのように、ステップＳ２２で連結要素解析を行い、帳票画像２５０が有するすべての文字列を分解して連結要素を抽出する。また、この連結要素を内部に含む長方形であって面積が最小となるものの外周を外接矩形（例えば、外接矩形２５１ｂ１，２５１ｂ２）とする。例えば、連結要素２５１ａの外接矩形は２５１ｂ１となる。次に、文字列認識装置１００は、例えば、外接矩形２５１ｂ１，２５１ｂ２のように、ステップＳ２３で連結要素の外接矩形であって互いに重なり合っているものを統合して統合矩形（例えば、図２７（Ｃ）の統合矩形２５２）を生成する。
【０１３１】
次に、文字列認識装置１００は、ステップＳ２４で統合矩形のうちの１つを選択する。図２８は、帳票画像２５０が有する文字の“株”の一部である「木偏」である選択統合矩形２５３が選択された場合の例を示す図である。次に、文字列認識装置１００は、ステップＳ２５で、選択した統合矩形の周辺（例えば、選択統合矩形２５３から所定範囲２５３ａ）に存在する他の統合矩形を０個以上組合せてそれらを統合し、周辺統合矩形を作成する。所定範囲２５３ａは、帳票の文字の大きさ等に基づいて任意に設定することができる。
【０１３２】
次に、文字列認識装置１００は、作成された統合矩形のうち、所定の大きさ以下の全ての統合矩形に対し、ステップＳ２７で文字認識を行う。
次に、文字列認識装置１００は、ステップＳ２８で文字認識の結果得られた認識結果文字が、探索している項目名文字列の中に存在するか否かを判定する。判定の結果、認識結果文字が探索している項目名文字列に存在する場合は、文字列認識装置１００は、ステップＳ２９でその認識結果文字と座標とを記憶する。例えば、探索中の項目名が「商品番号」「貴社受付番号」「日付」の場合であって、認識結果文字が“株”であった場合、“株”は、いずれの項目名文字列にも含まれていないので、記憶されない。
【０１３３】
また、本実施の形態では、認識結果文字が重複した場合も認識結果文字は記録されない。例えば、ステップＳ２３で帳票画像２５０が有する文字“社”の連結要素“ネ”が選択され、選択された連結要素“ネ”をその右方に隣接する連結要素“土”と統合した結果、認識結果文字“社”が得られたものとする。その後、ステップＳ２３で連結要素“土”が選択され、選択された連結要素“土”の左方に隣接する連結要素“ネ”を統合しても認識結果文字“社”が得られる。この場合、同一の文字が２重に認識されることを防止するために、後者の認識結果文字は記憶しない。この重複の排除は、例えば、認識結果文字列の中心の座標をチェックし、中心が同一のものは記憶しないことにより実現してもよい。また、他の任意の方法で重複を排除してもよい。
【０１３４】
以上の項目名文字列抽出処理における文字認識について図２８から図３０に従って説明する。図２８に示した選択統合矩形２５３を、所定範囲２５３ａの連結要素と統合する場合、図２９（Ａ）に示す周辺統合矩形２５４ａ、図２９（Ｂ）に示す周辺統合矩形２５４ｂ、図３０（Ａ）に示す周辺統合矩形２５４ｃ、図３０（Ｂ）に示す周辺統合矩形２５４ｄの４種類の周辺統合矩形が生成可能である。
【０１３５】
本実施の形態の文字列認識装置１００は、これらの周辺統合矩形２５４ａ〜２５４ｄについて文字認識を行う。ここで、以下の例を用いて具体的に説明する。例えば、探索中の項目名が「商品番号」「貴社受付番号」「日付」の場合であるものとする。また、周辺統合矩形２５４ａは、選択統合矩形２５３の「木偏」を単独で統合矩形としたものであり、文字認識の結果、認識結果文字２５５ａ“木”が取得されたものとする。周辺統合矩形２５４ｂは、選択統合矩形２５３および左に隣接する“Ａ”を統合して統合矩形としたものであり、文字認識の結果、認識結果文字２５５ｂ“州”が取得されたものとする。周辺統合矩形２５４ｃは、選択統合矩形２５３および右に隣接する“朱”を統合して統合矩形としたものであり、文字認識の結果、認識結果文字２５５ｃ“株”が取得されたものとする。周辺統合矩形２５４ｄは、選択統合矩形２５３および下に隣接する「“貴”の上側部分」を統合して統合矩形としたものであり、文字認識の結果、認識結果文字２５５ｄ“塗”が取得されたものとする。
【０１３６】
この場合、周辺統合矩形２５４ａ〜２５４ｄのそれぞれから得られた認識結果文字２５５ａ〜２５５ｄ（“木”、“州”、“株”、“塗”）は、探索中の項目名が有する文字「商品番号」「貴社受付番号」「日付」のいずれとも一致しない。従って、認識結果文字２５５ａ〜２５５ｄはいずれも記憶されない。
【０１３７】
次に、文字列認識装置１００は、ステップＳ３１で所定の大きさ以下のすべての周辺統合矩形が選択済になるまで、ステップＳ２６からステップＳ２９の処理を繰り返す。次に、文字列認識装置１００は、ステップＳ３２ですべての統合矩形が選択済になるまで、ステップＳ２４からステップＳ３１の処理を繰り返す。図２７の例では、帳票画像２５０が有する“Ａ”、“木”、“朱”、“式”、“会”の上側部分、“会”の下側部分、“ネ”、“土”のすべての連結要素について処理が繰り返される。
【０１３８】
本実施の形態では、このようにして取得される認識結果文字について、以下に示すように、ステップＳ３３からステップＳ４２の処理を繰り返して項目名文字列毎に探索を行う。
【０１３９】
図３１に帳票画像２５０から項目名文字列「貴社受付番号」を探索する場合の例を示す。本実施の形態の文字列認識装置１００は、ステップＳ３３で項目名情報記憶部１５１に記憶されている項目名情報に設定されている項目名文字列から、探索する項目名文字列を１つ選択する。ここでは、項目名文字列「貴社受付番号」が選択されたものとする。これに基づいて、文字列認識装置１００は、ステップＳ３４で帳票画像２５０が有する文字列から項目名文字列「貴社受付番号」の各文字と一致する認識結果文字（ａ）〜（ｇ）を抽出し、抽出した文字により文字列候補テーブル（図３２において後述）を作成する。
【０１４０】
ここで、図３１の帳票画像２５０における“受”は、ステップＳ２７において例えば“愛”と誤認識されると共に、ステップＳ２８で各項目名文字列が有するいずれの文字と一致しないと判定されたため記憶されなかったものとする。このように項目名の抽出において文字認識で誤認識があった場合でも、本実施の形態は項目名を抽出可能である。
【０１４１】
図３２および図３３は、第２の実施の形態の文字列候補テーブルの例を示す図である。図３２に示す文字列候補テーブル１５２ａおよび図３３に示す文字列候補テーブル１５２ｂは、本実施の形態の文字列認識装置１００による項目名文字列抽出処理において認識結果文字の文字列候補を示す情報を記憶するテーブルである。文字列候補テーブル１５２ａ，１５２ｂは、文字列候補記憶部１５２に記憶されている。
【０１４２】
文字列候補テーブル１５２ａ，１５２ｂには、行および列の項目として、ステップＳ３３で選択された項目名文字列に含まれている認識結果文字（例えば、認識結果文字（ａ）〜（ｇ））が文字列候補として設定されている。本実施の形態の文字列認識装置１００では、選択した項目名文字列と一致する認識結果文字を項目としてステップＳ３４において図３２に示す初期状態の文字列候補テーブル１５２ａを作成する。
【０１４３】
また、文字列候補テーブル１５２ａ，１５２ｂには、項目名文字列における文字列候補同士の前後の関連を示す値が設定される。以下に、文字列候補テーブル１５２ａ，１５２ｂに値が設定される際の設定条件について示す。項目名文字列において、ある認識結果文字以降に他の認識結果文字が存在していれば、ある認識結果文字の行であって他の認識結果文字の列の値に、“１”が設定される。項目名文字列において、ある認識結果文字以降に他の認識結果文字が存在しなければ、ある認識結果文字の行であって他の認識結果文字の列の値に、“０”が設定される。また、ある認識結果文字と他の認識結果文字とが同一の行に存在しない場合には、前述の条件を満たしていても値に“０”が設定される。
【０１４４】
具体的には、項目名文字列が「貴社受付番号」であって、ある認識結果文字が認識結果文字列（ａ）“貴”であり、他の認識結果文字が認識結果文字列（ｂ）“社”である場合、「貴社受付番号」において認識結果文字列（ａ）“貴”の次に認識結果文字列（ｂ）“社”が存在するので、対応する値に“１”が設定される。一方、ある認識結果文字が認識結果文字列（ｄ）“番”であり、他の認識結果文字が認識結果文字列（ａ）“貴”である場合、「貴社受付番号」において認識結果文字列（ｄ）“番”の次に認識結果文字列（ａ）“貴”が存在しないので、対応する値に“０”が設定される。また、ある認識結果文字が認識結果文字列（ａ）“貴”であり、他の認識結果文字が認識結果文字列（ｆ）“社”である場合、「貴社受付番号」において認識結果文字列（ａ）“貴”の次に認識結果文字列（ｆ）“社”が存在するが、認識結果文字列（ａ）“貴”と認識結果文字列（ｆ）“社”とは同一の行に存在しないので、対応する値に“０”が設定される。
【０１４５】
次に、文字列認識装置１００は、ステップＳ３５で上記の設定条件に従って、図３３に示す文字列候補テーブル１５２ｂのように、各文字列候補同士の組み合わせの値を設定していく。次に、文字列認識装置１００は、文字列候補テーブル１５２ｂに定義される文字列候補同士の対応関係に基づいて、文字列候補の対応関係の最大クリークを探索する。
【０１４６】
図３４は、第２の実施の形態の文字列候補テーブルにおける文字列候補の対応関係を表した文字列対応関係グラフを示す図である。
図３４に示す文字列候補対応関係グラフ１５２ｂ１は、説明の便宜上、本実施の形態の項目名文字列抽出処理によって文字列候補テーブル１５２ｂに定義された文字列候補の対応関係を表したグラフである。文字列候補対応関係グラフ１５２ｂ１では、文字列候補である、認識結果文字（ａ）〜（ｇ）がノード（node）に設定されている。また、文字列候補テーブル１５２ｂにおいて“１”が設定されている値に対応するノード間は、パス（path）が設定されている。
【０１４７】
ここで、クリーク（clique）は、グラフのすべてのノード同士の組み合わせについても互いにパスが存在する部分グラフである。最大クリークは、グラフから抽出されるクリークのうち、頂点数が最大のクリークである。本実施の形態の項目名文字列抽出処理で探索する最大クリークは、図３４の例では、（ａ），（ｂ），（ｃ），（ｄ），（ｅ）となる。
【０１４８】
この最大クリークの探索については、様々な探索アルゴリズムが知られている。最大クリークの探索には、一例として上記の［非特許文献１］記載の方法を使用してもよい。
次に、文字列認識装置１００は、ステップＳ３７で最大クリークの文字数および項目名文字列の文字数から、項目名文字列のマッチング率Ｍを算出する。マッチング率Ｍは、最大クリークの文字数を、選択した項目名情報に示されている項目名文字列の文字数で割って算出される比率である。例えば、上記の例では、最大クリークの文字数が“５”であって項目名情報の項目名文字列が“貴社受付番号”であり文字数が“６”であるため、マッチング率Ｍ＝５／６≒０．８３となる。
【０１４９】
次に、文字列認識装置１００は、ステップＳ４１およびステップＳ４２で、マッチング率Ｍが閾値α以上である場合は、その項目名文字列と項目名文字列の座標とを記憶する。次に、文字列認識装置１００は、すべての項目名文字列が選択済になるまで、ステップＳ３３からステップＳ４２の処理を繰り返す。すべての項目名文字列に対し処理が終了すれば、帳票画像から項目名文字列の抽出が完了したものとして、項目名文字列抽出処理を終了して文字列認識処理に復帰する。
【０１５０】
以上説明したように、第２の実施の形態では、帳票画像の文字認識を行う際に、文字認識で取得した項目値の認識結果文字列について、項目名との位置関係に基づいて統合し、項目値文字列を設定する。これにより、帳票画像が有する文字列と各項目値の文字列との対応関係を設定する際に、対応関係の設定の誤りの発生を抑制する。その結果、項目値の文字列認識における誤認識の発生を抑制することが可能となる。
【０１５１】
また、ルールに基づいて項目名と項目値との対応関係を設定する。これにより、ルールを帳票等の文書のフォーマットに応じて適宜設定することにより、様々な形式の文書に適応させることができる。
【０１５２】
〔第３の実施の形態〕
次に第３の実施の形態について説明する。上記の第２の実施の形態との相違点を中心に説明し、同様の事項については同一の符号を用いると共に説明を省略する。第３の実施の形態は、文字列認識処理において項目値の文字列認識に連結要素を用いた例である。
【０１５３】
第２の実施の形態では、文字列認識処理において、項目名文字列領域の特定に連結要素による文字認識を行い、項目値文字列の文字列認識には、従来の文字認識を用いる。これに対して、第３の実施の形態では、項目値文字列の文字列認識にも連結要素による文字認識を用いる。
【０１５４】
図３５は、第３の実施の形態の機能を示すブロック図である。本実施の形態の文字列認識装置３００は、手書き文字、活字、プリンタ等による印字等、文字認識可能である任意の字体の文字に適用可能であるものとする。文字列認識装置３００は、画像取得部１１１、項目名文字列抽出部３１２、関連付け部３１３、関連付け検証部３１４、連結要素統合部３１５、統合連結要素文字認識部３１６、文字カテゴリ限定部３１７、連結要素抽出部３１８、画像記憶部１２０、項目名情報記憶部３５１、文字列候補記憶部１５２、対応関係記憶部１５３、ルール記憶部３５４を有する。
【０１５５】
画像取得部１１１は、スキャナや他のコンピュータから通信回線を介して帳票等の文書の画像情報を取得し、取得した画像情報を画像記憶部１２０に記憶させる。
項目名文字列抽出部３１２は、項目名情報を項目名情報記憶部３５１から読み出し、画像記憶部１２０に記憶されている画像から、項目名文字列情報に基づいて画像中に存在する項目名文字列を抽出する。そして、また、項目名文字列抽出部３１２は、項目名文字列を示す項目名文字列領域（項目名文字ブロック）を抽出する。ここで、文字列認識装置３００で文字列認識を行う画像は、例えば、項目名を示す項目名文字列、項目名に対応する項目値を示す項目値文字列を有する帳票画像等の画像である。この画像は、例えば、帳票等の文書をスキャナ等で読み取るか、直接電子ファイルで作成された帳票等の文書を画像に変換することにより作成される。また、画像中の項目名文字列領域以外の領域を非項目名文字列領域とする。また、項目値は、帳票等の文書において項目名に対応する内容である。また、項目値文字列は、項目名に対応する内容を示す文字を有する文字列であり、第１の実施の形態の内容文字列と対応する。
【０１５６】
また、項目名文字列抽出部３１２は、項目名文字列領域の位置および連結要素（項目値文字ブロック）の位置を示す位置情報を取得する。この位置情報により、項目名文字列領域の位置が特定される。この位置情報は、項目名文字列領域の位置を、例えば、画像上の２次元座標で示してもよい。また、項目値文字ブロックは、項目値文字列の一部または全部を示し、第１の実施の形態の内容文字ブロックと対応する。
【０１５７】
項目名文字列抽出部３１２は、取得した画像中のそれぞれの連結要素と外接する外接矩形を作成し、重なる外接矩形同士を統合することにより、項目名文字列領域を作成する。
関連付け部３１３は、ルール記憶部３５４に記憶されているルールに従って、非項目名文字列領域に存在する連結要素抽出部３１８で取得された各連結要素に対し、項目名文字列抽出部３１２により取得した位置情報に基づいて各連結要素の位置から左方向または上方向に項目名文字列抽出部３１２で取得された項目名文字列を探索し、探索の結果により抽出された項目名文字列が示す項目名と連結要素とを関連付ける。なお、これに限らず、関連付け部３１３は、ルール記憶部３５４に記憶されているルールに従って、項目名文字列抽出部３１２により取得された位置情報に基づいて項目名文字列抽出部３１２で取得された項目名文字列の位置から右方向または下方向に非項目名文字列領域に存在する連結要素抽出部３１８で取得された各連結要素を探索し、項目名文字列領域の項目名文字列が示す項目名と探索の結果得られた連結要素とを関連付けてもよい。
【０１５８】
関連付け検証部３１４は、ルール記憶部３５４から項目名文字列と連結要素との関連付けにおいて満たすべきルールを読み出し、関連付け部３１３で生成された項目名と連結要素との関連付けのうち、ルールに違反する関連付けを削除する。
【０１５９】
連結要素統合部３１５は、同一の項目名に関連付けられた連結要素同士を統合し、項目名に対応する統合外接矩形領域に設定する。すなわち、連結要素統合部３１５は、連結要素抽出部３１８により抽出し、関連付け部３１３によって関連付け、関連付け検証部３１４によって関連付けを削除されずに維持された連結要素を統合して項目名に関連付ける統合外接矩形領域を設定する。このとき連結要素統合部３１５は、連結要素が画像中の他の連結要素と外接する矩形である外接矩形を設定し、設定した外接矩形同士が重なっている連結要素の外接矩形を統合して統合外接矩形領域を設定する。
【０１６０】
統合連結要素文字認識部３１６は、設定した統合外接矩形領域について項目名文字列領域の項目名に対応する文字カテゴリ情報が示す文字カテゴリにおいて文字認識を行って項目値文字列を取得し、項目名文字列領域の項目名と取得した項目値文字列とを関連付けの結果として対応関係記憶部１５３に記憶させる。
【０１６１】
文字カテゴリ限定部３１７は、項目名情報記憶部３５１に記憶されている項目名情報から項目名に対応する項目値の文字カテゴリ情報を取得する。
連結要素抽出部３１８は、非項目名文字列領域に対して連結要素解析を行い、項目値文字列の一部を示す特定の画素が連結している領域である連結要素を抽出する。ここで、連結要素は、特定の画素が連結している領域である。また、特定の画素は、例えば、予め設定された画素値以上の画素等の基準で抽出される画素であり、認識対象の文字列の一部を示す画素である。
【０１６２】
画像記憶部１２０は、項目名を示す文字を有する項目名文字列と項目名に対応する内容を示す文字を有する項目値文字列とを有する画像を記憶する。画像記憶部１２０に記憶されている画像は、項目名および項目値を有する帳票等の文書の画像である。この画像は、スキャナ等の光学式読み取り装置で取得してもよく、コンピュータ等により直接電子ファイルで作成された帳票等の文書を画像に変換することにより取得してもよい。
【０１６３】
項目名情報記憶部３５１は、例えば、『氏名』、『住所』等の項目名の項目値文字列を示す情報、項目名が複数の項目値と対応する連記表であるか否かを示す情報を有する項目名文字列情報を有する項目名情報を記憶する。また、本実施の形態の項目名情報記憶部３５１は、項目名に対応する項目値文字列に使用できる文字の範囲である文字カテゴリを示す文字カテゴリ情報を、項目名情報において項目名と関連付けて記憶する。
【０１６４】
本実施の形態の文字列認識装置３００では、項目値文字列領域について文字認識を行う場合、項目名情報記憶部３５１に記憶されている文字カテゴリ情報に基づいて文字カテゴリの限定を行う。すなわち、文字カテゴリ情報により文字認識時において項目名に対応する項目値文字列の文字カテゴリが分かっているので、その項目値に使用できる文字カテゴリを限定することができる。
【０１６５】
例えば、項目名が『日付』であれば、その項目値に現れる文字は、［０１２３４５６７８９年月日明治大正昭和平成西暦］の範囲に限定することができる。また、項目名が『フリガナ』であれば、その項目値には、カタカナ文字に限定できる。
【０１６６】
これらの事実を利用し、本実施の形態では、項目値文字列領域の文字認識を行う前にその項目値が取り得る文字カテゴリを決定し、その範囲内での文字認識を行う。これにより類似文字の誤認識を抑制することができる。
【０１６７】
例えば、
“２００９年 １月 ５日”
という年月日の表記があった場合、文字認識結果は、以下のように誤認識された場合について考える。
【０１６８】
“２ＯＯ９年 ｌ月 Ｓ日”
つまり、“０”（ゼロ）は“Ｏ”（オー）、“１”（イチ）は、“ｌ”（エル）、“５”（ゴ）は“Ｓ”（エス）のように文字認識誤りが発生する場合がある。ここで、文字認識時点で、文字カテゴリを数字に限定し、アルファベットは認識対象外としていれば、上記のような文字の誤認識を防止することが可能である。
【０１６９】
文字列候補記憶部１５２では、項目名文字列抽出処理において認識結果文字の文字列候補を示す情報を記憶する。
対応関係記憶部１５３は、項目名と統合認識結果文字列とを関連付けて示す対応関係情報を記憶する。この統合認識結果文字列は、統合連結要素文字認識部３１６によって文字認識した結果得られる。この対応関係情報により、画像に含まれている項目名および項目値ならびに項目名と項目値との対応関係が示される。
【０１７０】
ルール記憶部３５４は、項目名と連結要素との関連付けのルールを記憶する。ルール記憶部３５４に記憶されているルールは、例えば、１つの連結要素に対応関係を有する項目名が複数存在する場合の関連付けのルール、１つの項目名に対応関係を有する連結要素が複数存在する場合の関連付けのルールを含む。また、１つの項目名に１つの連結要素が対応関係を有する場合において、１つの項目名に関連付け可能な連結要素が複数存在するときに、連結要素を複数の項目名のうちの１つの正しい項目名と関連付けて他の対応関係を削除する関連付けのルールを含む。
【０１７１】
また、図１に示した第１の実施の形態の機能のうち、文字ブロック位置取得部１ａの機能は、項目名文字列抽出部３１２、連結要素抽出部３１８で実現されている。また、対応関係設定部１ｂ、文字ブロック統合部１ｅの機能は、関連付け部３１３、関連付け検証部３１４、連結要素統合部３１５、統合連結要素文字認識部３１６で実現されている。
【０１７２】
図３６から図３７は、第３の実施の形態の文字列認識処理の手順を示すフローチャートである。文字列認識処理は、帳票の画像読み取りやユーザの文字列認識処理を実行する操作に基づいて、文字列認識装置３００により実行が開始される。以下、図３６および図３７に示す処理をステップ番号に沿って説明する。
【０１７３】
〔ステップＳ５１〕項目名文字列抽出部３１２は、項目名情報記憶部３５１に記憶されている項目名情報を取得する。
〔ステップＳ５２〕項目名文字列抽出部３１２は、帳票画像等から項目名文字列を抽出する項目名文字列抽出処理を実行する。
【０１７４】
〔ステップＳ５３〕連結要素抽出部３１８は、ステップＳ５２で取得した項目名文字列領域以外の非項目名文字列領域について連結要素の抽出を行い、連結要素を取得する。この非項目名文字列領域に対する連結要素は、第２の実施の形態の項目名文字列抽出におけるステップＳ２２（図２４、図２７参照）と同様の処理によって取得する。
【０１７５】
〔ステップＳ５４〕関連付け部３１３は、所定の位置関係に該当するステップＳ５２で抽出した項目名文字列とステップＳ５３で取得した連結要素とを、ルール記憶部３５４に記憶されているルールに基づいて関連付ける。
【０１７６】
〔ステップＳ５５〕関連付け検証部３１４は、ステップＳ５４における関連付けについて検証し、検証の結果正しくない関連付けを削除する。
〔ステップＳ５６〕連結要素統合部３１５は、ステップＳ５４およびステップＳ５５による関連付けによって、同一の項目名文字列に関連付けた連結要素を統合して項目名文字列に対応する項目値文字列領域に設定する。
【０１７７】
〔ステップＳ６１〕文字カテゴリ限定部３１７は、項目名情報記憶部３５１に記憶されている項目名情報から項目名文字列に対応する文字カテゴリを取得する。
〔ステップＳ６２〕統合連結要素文字認識部３１６は、ステップＳ６１で取得した文字カテゴリによって、ステップＳ５６（図３６）で設定した項目値文字列領域に文字認識を行い、認識結果である統合認識結果文字列を項目名文字列が示す項目名に対応する項目値として設定する。
【０１７８】
〔ステップＳ６３〕統合連結要素文字認識部３１６は、ステップＳ６２で設定した帳票画像の項目名と項目値との対応関係を、対応関係記憶部１５３に記憶させる。
図３８および図３９は、第３の実施の形態における第１の例の帳票画像の処理の様子を示す図である。図３８（Ａ）および図３８（Ｂ）に従って、帳票画像４１０の項目名文字列領域４１２ａ，４１２ｂおよび連結要素４１６ａ１，・・・、連結要素４１６ｂ１，・・・に基づいてステップＳ５４およびステップＳ５５の処理を説明する。本実施の形態の文字列認識装置３００は、ステップＳ５３で抽出した連結要素について、ステップＳ５４により、項目名文字列との関連付けを行う。このステップＳ５４の関連付けでは、項目名文字列が位置する項目名文字列領域と連結要素の位置とが、ルール記憶部３５４に記憶されているルールが示す所定の位置関係にある場合、項目名文字列が示す項目名と連結要素とが関連付けられる。
【０１７９】
ここで、図３８（Ａ）に示すように、本実施の形態の文字列認識処理のステップＳ５１からステップＳ５３の処理によって、帳票画像４１０において項目名文字列領域４１２ａ，４１２ｂが設定されているものとする。また、帳票画像４１０に含まれる項目値文字列「神奈川県川崎市小山 １−２３−４」が有する連結要素４１６ａ１，４１６ａ２，４１６ａ３，４１６ａ４，４１６ａ５，４１６ａ６，４１６ａ７，４１６ａ８，・・・、項目値文字列「東京太郎」が有する連結要素４１６ｂ１，４１６ｂ２，４１６ｂ３，４１６ｂ４，４１６ｂ５，・・・が抽出されているものとする。
【０１８０】
これに対して本実施の形態の文字列認識装置３００は、ステップＳ５４により項目名文字列領域４１２ａと連結要素４１６ａ１，・・・、項目名文字列領域４１２ａと連結要素４１６ｂ１，・・・、項目名文字列領域４１２ｂと連結要素４１６ｂ１，・・・の３組が、ルール記憶部３５４に記憶されているルールが示す所定の位置関係（例えば、連結要素の中心の上方、左方または左上方に項目名文字列領域の外接矩形が存在）を満たすものとして一旦関連付ける。
【０１８１】
次に、文字列認識装置３００は、ステップＳ５５により項目名文字列と連結要素との関連付けの検証および削除を行う。このステップＳ５５の関連付けの検証および削除では、関連付けられた項目名文字列と連結要素とが、ルール記憶部３５４に記憶されているルールに違反するか等に基づいて、関連付けが正しいか否かについて検証される。そして、検証の結果に基づき、ステップＳ５４で関連付けられた、関連付けが正しくない項目名と連結要素との関連付けが削除される。
【０１８２】
ステップＳ５５において、ルール記憶部３５４に記憶されているルール（例えば、連結要素の中心の左方に項目名文字列領域が存在する場合、連結要素の中心の左上方の項目名文字列への関連付けは削除）に基づいて、項目名文字列領域４１２ａと連結要素４１６ｂ１，・・・については、図３８（Ｂ）の点線の矢印で示すように、関連付けが削除される。このようにして、正しくない関連付けが削除され、正しい関連付けのみが維持される。
【０１８３】
本実施の形態の文字列認識装置３００では、ステップＳ５６によりステップＳ５５で検証された関連付けに基づいて、同一の項目名文字列領域に関連付けられたすべての連結要素の外接矩形を１つに統合する。そして、統合後の外接矩形を、項目名に対応する項目値文字列領域に設定する。具体的には、図３９に示すように、項目名文字列領域４１２ａに関連付けられた各連結要素４１６ａ１，・・・の外接矩形が統合され、項目名文字列領域４１２ａに対応する項目値文字列領域４１７ａが設定される。また、項目名文字列領域４１２ｂに関連付けられた各連結要素４１６ｂ１，・・・の外接矩形が統合され、項目名文字列領域４１２ｂに対応する項目値文字列領域４１７ｂが設定される。
【０１８４】
本実施の形態では、この設定された項目値文字列領域４１７ａ，４１７ｂについてステップＳ６２でそれぞれ文字認識を行うことにより統合認識結果文字列を取得し、ステップＳ６３でそれぞれ項目名文字列領域４１２ａ，４１２ｂと関連付けられる。
【０１８５】
このように、本実施の形態の文字列認識処理では、項目値文字列領域４１７ａ，４１７ｂを適切に設定することが可能になる。これにより、文字列認識の誤認識の発生を抑制することができる。
【０１８６】
図４０は、第３の実施の形態の項目名情報テーブルの例を示す図である。図４０に示す項目名情報テーブル３５１ａは、本実施の形態の文字列認識装置３００による文字列認識処理を実行する際に適用される項目名情報を記憶するテーブルである。項目名情報テーブル３５１ａは、項目名情報記憶部３５１に記憶されている。項目名情報テーブル３５１ａには、“項目名番号”フィールド、“項目名文字列”フィールド、“連記表”フィールド、“文字カテゴリ”フィールドが設けられている。各項目の横方向に並べられた情報同士が項目名情報として互いに関連付けられている。
【０１８７】
“文字カテゴリ”フィールドには、項目名番号で特定された項目名と対応関係を有する項目値が取り得る文字の種類を示す文字カテゴリが設定される。本実施の形態の文字列認識装置３００は、文字列認識処理のステップＳ６１で項目名情報から項目名文字列に対応する文字カテゴリを取得する。そして、文字列認識装置３００は、ステップＳ６２で項目名文字列に対応する項目値文字列領域を文字カテゴリの文字の範囲で文字認識を行い、項目名の項目値に設定することができる。これにより、項目値文字列領域の文字認識の誤認識の発生を抑制することができる。
【０１８８】
文字カテゴリには、例えば、全漢字（すべての漢字）、ひらがな、カタカナ、住所漢字（住所に使用されている漢字）、英数字記号（アルファベット、数字および記号）、数字（数字のみ）等のうち１つ、またはこれらを任意に組み合わせたものを設定することができる。さらに、人名漢字（氏名に使用可能な漢字）等の上記以外の文字カテゴリを追加して設定してもよい。
【０１８９】
図４１および図４２は、第３の実施の形態のルールテーブルの例を示す図である。図４１に示すルールテーブル３５４ａ、図４２に示すルールテーブル３５４ｂは、本実施の形態の文字列認識装置３００による文字列認識処理を実行する際に適用されるルールを記憶するテーブルである。ルールテーブル３５４ａ，３５４ｂは、ルール記憶部３５４に記憶されている。
【０１９０】
図４１に示すルールテーブル３５４ａには、“ルール”フィールド、“ルール内容”フィールドが設けられている。図４１に示す以下のルールは、一般的な帳票に対する文字列認識処理の関連付けに適用されるルールの一例である。
【０１９１】
［関連付けルール１］連結要素の中心の上方、左方または左上方に項目名文字列領域の外接矩形が存在する場合、連結要素と項目名とを関連付ける。
［関連付けルール２］項目名文字列が、表のセル内に存在する場合、セルの枠の矩形を、項目名文字列領域の外接矩形とみなす。
【０１９２】
［関連付けルール３］関連付けられた項目名が２個以上存在し、項目名の中に連記表に適用されないものが存在する場合、連結要素に最も近い項目名文字列の関連付けのみ残す。
【０１９３】
［妥当性ルール１］連結要素の中心の上方または左方に項目名文字列領域が存在する場合であって、連結要素の中心の左上方に存在する他の項目名文字列への関連付けがあるとき、連結要素の中心の左上方に存在する他の項目名文字列への関連付けは削除する。
【０１９４】
また、本実施の形態の関連付けのルールの別の例を示す。
図４２に示すルールテーブル３５４ｂには、“適用範囲”フィールド、“ルール”フィールド、“ルール内容”フィールドが設けられている。図４２に示す以下のルールは、連記表である項目を含む可能性があると共に、罫線を有する可能性があり、さらに２次元表である可能性がある帳票に対する文字列認識処理の関連付けに適用されるルールの一例である。
【０１９５】
・項目名の連記表が“有”
［ルール１］連結要素の中心の上方、左方または左上方に項目名文字列領域の外接矩形が存在する場合、連結要素と項目名とを関連付ける。
【０１９６】
［ルール２］項目名文字列が、表のセル内に存在する場合、セルの枠の矩形を、項目名文字列領域の外接矩形とみなす。
［ルール３］関連付けられた項目名が２個以上存在し、項目名の中に連記表に適用されないものが存在する場合、連結要素に最も近い項目名文字列の関連付けのみ残す。
【０１９７】
・項目名の連記表が“無”
［ルール１］連結要素の中心の上方、左方または左上方に項目名文字列領域の外接矩形が存在する場合、連結要素と項目名文字列とを関連付ける。
【０１９８】
［ルール２］項目名文字列が、表のセル内に存在する場合、セルの枠の矩形を、項目名文字列領域の外接矩形とみなす。
なお、本実施の形態では、関連付けにおいて帳票のフォーマットに応じた任意のルールを設定することができる。
【０１９９】
第３の実施の形態では、第２の実施の形態に加えて、連結要素に分解してから関連付けルールに従って連結要素を項目名に関連付けることにより、項目値文字列領域を適切に設定することが可能になる。これにより、文字列認識の誤認識の発生を抑制することができる。
【０２００】
また、項目値の文字カテゴリを予め項目名に対応付けておき、項目名文字列に対応する項目値文字列領域を文字カテゴリの文字の範囲で文字認識を行い、項目名の項目値に設定することができる。これにより、項目値文字列領域の文字認識の誤認識の発生を抑制することができる。
【０２０１】
なお、上記の処理機能は、文字列認識装置によって実現することができる。その場合、サーバが有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムを文字列認識装置で実行することにより、上記処理機能が文字列認識装置上で実現される。処理内容を記述したプログラムは、文字列認識装置で読み取り可能な記録媒体に記録しておくことができる。文字列認識装置で読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disc）などがある。
【０２０２】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバ文字列認識装置の記憶装置に格納しておき、ネットワークを介して、サーバ文字列認識装置から他の文字列認識装置にそのプログラムを転送することもできる。
【０２０３】
プログラムを実行する文字列認識装置は、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバ文字列認識装置から転送されたプログラムを、自己の記憶装置に格納する。そして、文字列認識装置は、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、文字列認識装置は、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、文字列認識装置は、サーバ文字列認識装置からプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【０２０４】
また、上記の処理機能の少なくとも一部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）などの電子回路で実現することもできる。
【０２０５】
以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の２以上の構成（特徴）を組み合わせたものであってもよい。
【０２０６】
以上説明した実施の形態の主な技術的特徴は、以下の付記の通りである。
（付記１） 項目名を示す文字を有する項目名文字列と前記項目名に対応する内容を示す文字を有する内容文字列とを有する画像を記憶する画像記憶部と、
前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す項目名文字ブロックと、前記内容文字列の一部または全部を示す内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得する文字ブロック位置取得部と、
前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を対応関係記憶部に記憶させる対応関係設定部と、
を有することを特徴とする文字列認識装置。
【０２０７】
（付記２） 前記内容文字ブロックは、前記内容文字列の一部または全部の文字列を有し、
前記文字ブロック位置取得部は、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記項目名文字ブロック以外の領域である非項目名文字領域について文字認識を行って認識結果文字列を取得し、取得した前記認識結果文字列を前記内容文字ブロックとして抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得し、
前記対応関係設定部は、前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記認識結果文字列を同一の前記項目名文字ブロックが抽出されたもの同士について統合して前記内容文字列とし、前記項目名文字ブロックの前記項目名と統合した前記内容文字列とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記１記載の文字列認識装置。
【０２０８】
（付記３） 前記内容文字ブロックは、前記内容文字列の一部を示す特定の画素が連結している領域である連結要素を有し、
前記文字ブロック位置取得部は、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記項目名文字ブロック以外の領域である非項目名文字領域から前記連結要素に基づいて前記内容文字列の一部または全部を示す前記内容文字ブロックを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得し、
前記対応関係設定部は、前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記連結要素と抽出した前記項目名文字ブロックの前記項目名とを関連付け、前記内容文字ブロックが有する前記連結要素について、前記連結要素が前記画像中の他の連結要素と外接する矩形である外接矩形を設定し、設定した前記外接矩形同士が重なっている前記連結要素の前記外接矩形を統合して統合外接矩形領域を設定し、設定した前記統合外接矩形領域について文字認識を行って前記内容文字列を取得し、抽出した前記項目名文字ブロックの前記項目名と取得した前記内容文字列とを関連付けの結果として前記対応関係記憶部に記憶させることを特徴とする付記１記載の文字列認識装置。
【０２０９】
（付記４） 前記項目名に対応する前記内容文字列の文字カテゴリを示す文字カテゴリ情報を有する項目名情報を記憶する項目名情報記憶部を有し、
前記対応関係設定部は、前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記連結要素と抽出した前記項目名文字ブロックの前記項目名とを関連付け、前記内容文字ブロックが有する前記連結要素について前記外接矩形を設定し、設定した前記外接矩形同士が重なっている前記連結要素の前記外接矩形を統合して統合外接矩形領域を設定し、設定した前記統合外接矩形領域について前記項目名文字ブロックの前記項目名に対応する前記文字カテゴリ情報が示す文字カテゴリにおいて文字認識を行って前記内容文字列を取得し、抽出した前記項目名文字ブロックの前記項目名と取得した前記内容文字列とを関連付けの結果として前記対応関係記憶部に記憶させることを特徴とする付記３記載の文字列認識装置。
【０２１０】
（付記５） 前記項目名の前記内容文字列を示す項目名文字列情報を有する項目名情報を記憶する項目名情報記憶部を有し、
前記文字ブロック位置取得部は、前記項目名情報記憶部に記憶されている前記項目名文字列情報に基づいて前記項目名文字列を示す前記項目名文字ブロックと、前記内容文字列の一部または全部を示す前記内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得することを特徴とする付記１記載の文字列認識装置。
【０２１１】
（付記６） 前記対応関係設定部は、前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から左方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記１記載の文字列認識装置。
【０２１２】
（付記７） 前記対応関係設定部は、前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から上方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記１記載の文字列認識装置。
【０２１３】
（付記８） 前記文字ブロック位置取得部は、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記非項目名文字領域について１文字単位で文字認識を行って前記認識結果文字列を取得し、取得した前記認識結果文字列を前記内容文字ブロックとして抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得することを特徴とする付記２記載の文字列認識装置。
【０２１４】
（付記９） 前記関連付けのルールを記憶するルール記憶部を有し、
前記対応関係設定部は、前記ルール記憶部に記憶されている前記ルールに従って、前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記１記載の文字列認識装置。
【０２１５】
（付記１０） 前記ルール記憶部に記憶されている前記ルールは、１つの前記内容に対応関係を有する前記項目名が複数存在する場合の前記関連付けのルールを含むことを特徴とする付記９記載の文字列認識装置。
【０２１６】
（付記１１） 前記ルール記憶部に記憶されている前記ルールは、１つの前記項目名に対応関係を有する前記内容が複数存在する場合の前記関連付けのルールを含むことを特徴とする付記９記載の文字列認識装置。
【０２１７】
（付記１２） 前記ルール記憶部に記憶されている前記ルールは、１つの前記項目名に１つの前記内容が対応関係を有する場合において、１つの前記項目名に関連付け可能な前記内容が複数存在するときに、前記内容を複数の前記項目名のうちの１つの正しい項目名と関連付ける前記関連付けのルールを含むことを特徴とする付記９記載の文字列認識装置。
【０２１８】
（付記１３） コンピュータに、
画像記憶部に記憶されている項目名を示す文字を有する項目名文字列と前記項目名に対応する内容を示す文字を有する内容文字列とを有する画像から、前記項目名文字列を示す項目名文字ブロックと、前記内容文字列の一部または全部を示す内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得する文字ブロック位置取得ステップと、
前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を対応関係記憶部に記憶させる対応関係設定ステップと、
を有する処理を実行させることを特徴とする文字列認識プログラム。
【０２１９】
（付記１４） 前記内容文字ブロックは、前記内容文字列の一部または全部の文字列を有し、
前記文字ブロック位置取得ステップでは、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記項目名文字ブロック以外の領域である非項目名文字領域について文字認識を行って認識結果文字列を取得し、取得した前記認識結果文字列を前記内容文字ブロックとして抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得し、
前記対応関係設定ステップでは、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記認識結果文字列を同一の前記項目名文字ブロックが抽出されたもの同士について統合して前記内容文字列とし、前記項目名文字ブロックの前記項目名と統合した前記内容文字列とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記１３記載の文字列認識プログラム。
【０２２０】
（付記１５） 前記内容文字ブロックは、前記内容文字列の一部を示す特定の画素が連結している領域である連結要素を有し、
前記文字ブロック位置取得ステップでは、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記項目名文字ブロック以外の領域である非項目名文字領域から前記連結要素に基づいて前記内容文字列の一部または全部を示す前記内容文字ブロックを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得し、
前記対応関係設定ステップでは、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記連結要素と抽出した前記項目名文字ブロックの前記項目名とを関連付け、前記内容文字ブロックが有する前記連結要素について、前記連結要素が前記画像中の他の連結要素と外接する矩形である外接矩形を設定し、設定した前記外接矩形同士が重なっている前記連結要素の前記外接矩形を統合して統合外接矩形領域を設定し、設定した前記統合外接矩形領域について文字認識を行って前記内容文字列を取得し、抽出した前記項目名文字ブロックの前記項目名と取得した前記内容文字列とを関連付けの結果として前記対応関係記憶部に記憶させることを特徴とする付記１３記載の文字列認識プログラム。
【０２２１】
（付記１６） 前記対応関係設定ステップでは、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記連結要素と抽出した前記項目名文字ブロックの前記項目名とを関連付け、前記内容文字ブロックが有する前記連結要素について前記外接矩形を設定し、設定した前記外接矩形同士が重なっている前記連結要素の前記外接矩形を統合して統合外接矩形領域を設定し、設定した前記統合外接矩形領域について前記項目名文字ブロックの前記項目名に対応する項目名情報記憶部に記憶されている前記項目名に対応する前記内容文字列の文字カテゴリを示す文字カテゴリ情報が示す文字カテゴリにおいて文字認識を行って前記内容文字列を取得し、抽出した前記項目名文字ブロックの前記項目名と取得した前記内容文字列とを関連付けの結果として前記対応関係記憶部に記憶させることを特徴とする付記１５記載の文字列認識プログラム。
【０２２２】
（付記１７） 前記文字ブロック位置取得ステップでは、項目名情報記憶部に記憶されている前記項目名の前記内容文字列を示す項目名文字列情報に基づいて前記項目名文字列を示す前記項目名文字ブロックと、前記内容文字列の一部または全部を示す前記内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得することを特徴とする付記１３記載の文字列認識プログラム。
【０２２３】
（付記１８） 前記対応関係設定ステップでは、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から左方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記１３記載の文字列認識プログラム。
【０２２４】
（付記１９） 前記対応関係設定ステップでは、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から上方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記１３記載の文字列認識プログラム。
【０２２５】
（付記２０） 前記文字ブロック位置取得ステップでは、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記非項目名文字領域について１文字単位で文字認識を行って前記認識結果文字列を取得し、取得した前記認識結果文字列を前記内容文字ブロックとして抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得することを特徴とする付記１４記載の文字列認識プログラム。
【０２２６】
（付記２１） 前記対応関係設定ステップは、ルール記憶部に記憶されている前記関連付けのルールに従って、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記１３記載の文字列認識プログラム。
【０２２７】
（付記２２） 前記ルール記憶部に記憶されている前記ルールは、１つの前記内容に対応関係を有する前記項目名が複数存在する場合の前記関連付けのルールを含むことを特徴とする付記２１記載の文字列認識プログラム。
【０２２８】
（付記２３） 前記ルール記憶部に記憶されている前記ルールは、１つの前記項目名に対応関係を有する前記内容が複数存在する場合の前記関連付けのルールを含むことを特徴とする付記２１記載の文字列認識プログラム。
【０２２９】
（付記２４） 前記ルール記憶部に記憶されている前記ルールは、１つの前記項目名に１つの前記内容が対応関係を有する場合において、１つの前記項目名に関連付け可能な前記内容が複数存在するときに、前記内容を複数の前記項目名のうちの１つの正しい項目名と関連付ける前記関連付けのルールを含むことを特徴とする付記２１記載の文字列認識プログラム。
【０２３０】
（付記２５） コンピュータが、
画像記憶部に記憶されている項目名を示す文字を有する項目名文字列と前記項目名に対応する内容を示す文字を有する内容文字列とを有する画像から、前記項目名文字列を示す項目名文字ブロックと、前記内容文字列の一部または全部を示す内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得する文字ブロック位置取得ステップと、
前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を対応関係記憶部に記憶させる対応関係設定ステップと、
を有することを特徴とする文字列認識方法。
【０２３１】
（付記２６） 前記内容文字ブロックは、前記内容文字列の一部または全部の文字列を有し、
前記文字ブロック位置取得ステップでは、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記項目名文字ブロック以外の領域である非項目名文字領域について文字認識を行って認識結果文字列を取得し、取得した前記認識結果文字列を前記内容文字ブロックとして抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得し、
前記対応関係設定ステップでは、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記認識結果文字列を同一の前記項目名文字ブロックが抽出されたもの同士について統合して前記内容文字列とし、前記項目名文字ブロックの前記項目名と統合した前記内容文字列とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記２５記載の文字列認識方法。
【０２３２】
（付記２７） 前記内容文字ブロックは、前記内容文字列の一部を示す特定の画素が連結している領域である連結要素を有し、
前記文字ブロック位置取得ステップでは、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記項目名文字ブロック以外の領域である非項目名文字領域から前記連結要素に基づいて前記内容文字列の一部または全部を示す前記内容文字ブロックを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得し、
前記対応関係設定ステップでは、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記連結要素と抽出した前記項目名文字ブロックの前記項目名とを関連付け、前記内容文字ブロックが有する前記連結要素について、前記連結要素が前記画像中の他の連結要素と外接する矩形である外接矩形を設定し、設定した前記外接矩形同士が重なっている前記連結要素の前記外接矩形を統合して統合外接矩形領域を設定し、設定した前記統合外接矩形領域について文字認識を行って前記内容文字列を取得し、抽出した前記項目名文字ブロックの前記項目名と取得した前記内容文字列とを関連付けの結果として前記対応関係記憶部に記憶させることを特徴とする付記２５記載の文字列認識方法。
【０２３３】
（付記２８） 前記対応関係設定ステップでは、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記連結要素と抽出した前記項目名文字ブロックの前記項目名とを関連付け、前記内容文字ブロックが有する前記連結要素について前記外接矩形を設定し、設定した前記外接矩形同士が重なっている前記連結要素の前記外接矩形を統合して統合外接矩形領域を設定し、設定した前記統合外接矩形領域について前記項目名文字ブロックの前記項目名に対応する項目名情報記憶部に記憶されている前記項目名に対応する前記内容文字列の文字カテゴリを示す文字カテゴリ情報が示す文字カテゴリにおいて文字認識を行って前記内容文字列を取得し、抽出した前記項目名文字ブロックの前記項目名と取得した前記内容文字列とを関連付けの結果として前記対応関係記憶部に記憶させることを特徴とする付記２７記載の文字列認識方法。
【０２３４】
（付記２９） 前記文字ブロック位置取得ステップでは、項目名情報記憶部に記憶されている前記項目名の前記内容文字列を示す項目名文字列情報に基づいて前記項目名文字列を示す前記項目名文字ブロックと、前記内容文字列の一部または全部を示す前記内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得することを特徴とする付記２５記載の文字列認識方法。
【０２３５】
（付記３０） 前記対応関係設定ステップでは、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から左方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記２５記載の文字列認識方法。
【０２３６】
（付記３１） 前記対応関係設定ステップでは、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から上方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記２５記載の文字列認識方法。
【０２３７】
（付記３２） 前記文字ブロック位置取得ステップでは、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記非項目名文字領域について１文字単位で文字認識を行って前記認識結果文字列を取得し、取得した前記認識結果文字列を前記内容文字ブロックとして抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得することを特徴とする付記２６記載の文字列認識方法。
【０２３８】
（付記３３） 前記対応関係設定ステップは、ルール記憶部に記憶されている前記関連付けのルールに従って、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記２５記載の文字列認識方法。
【０２３９】
（付記３４） 前記ルール記憶部に記憶されている前記ルールは、１つの前記内容に対応関係を有する前記項目名が複数存在する場合の前記関連付けのルールを含むことを特徴とする付記３３記載の文字列認識方法。
【０２４０】
（付記３５） 前記ルール記憶部に記憶されている前記ルールは、１つの前記項目名に対応関係を有する前記内容が複数存在する場合の前記関連付けのルールを含むことを特徴とする付記３３記載の文字列認識方法。
【０２４１】
（付記３６） 前記ルール記憶部に記憶されている前記ルールは、１つの前記項目名に１つの前記内容が対応関係を有する場合において、１つの前記項目名に関連付け可能な前記内容が複数存在するときに、前記内容を複数の前記項目名のうちの１つの正しい項目名と関連付ける前記関連付けのルールを含むことを特徴とする付記３３記載の文字列認識方法。
【符号の説明】
【０２４２】
１ 文字列認識装置
１ａ 文字ブロック位置取得部
１ｂ 対応関係設定部
１ｃ 画像記憶部
１ｄ 対応関係記憶部
１ｅ 文字ブロック統合部
【技術分野】
【０００１】
本発明は文字を含む画像の文字認識を行う文字列認識装置、文字列認識プログラムおよび文字列認識方法に関する。
【背景技術】
【０００２】
ＩＴ（Information Technology）インフラが整った現在では、企業間での商取引に電子データ交換が頻繁に行われている。しかしながら、企業と個人との間の取引（B to C:Business to Consumer）では、依然、紙の帳票が頻繁に使用される。例えば、金融機関に公共料金を支払うときは、振込み用紙を金融機関に持っていき料金を支払う場合がある。また、宅配便を送るときは、紙の伝票に配送先住所を書き、役所等の申請窓口では、紙の書類に必要事項を記入し、提出することが行われている。さらに、企業間取引（B to B:Business to Business）においても、お互いデータ互換性がない場合や、通信プロトコルが異なる場合は、データ交換に紙の帳票を用いたり、取引データをＰＤＦ（Portable Document Format）等の電子帳票画像に変換し、送受信したりすることが行われている。
【０００３】
これらの紙の帳票や電子帳票画像等について、画像中の文字成分を識別し、文字コードとして出力する光学式文字読取装置（ＯＣＲ：Optical Character Reader）がある。ＯＣＲの機能は、コンピュータ上のソフトウェアで実現することも行われている。ＯＣＲでは、印刷文字、手書き文字等による文書が光学的に読み取られる。そして、ＯＣＲは、文書画像から文字成分を抽出して文字認識を行う。
【０００４】
これらのような紙の帳票や電子帳票画像では、帳票内に記述されているデータの意味的な構造（論理構造）が失われているため、ＯＣＲ等で電子化して計算機で処理する際の障害となる場合がある。例えば、帳票に発注品名と、個数、単価、合計金額が書かれていた場合、どの数字がどの品名に対する個数なのか、どの数字が合計金額を意味するのか、電子帳票の画像を解析して特定する必要がある。
【０００５】
これに関して、帳票に含まれている項目名を示す項目名辞書を用いて、画像を解析して認識した文字列と照合することにより、「項目名文字列」と「データ文字列」とを判定する技術が知られている。
【０００６】
また、画像から１または複数の文字を有する文字ブロックを抽出して、抽出した各ブロックについて文字認識が行われる場合がある。このような場合、辺や旁などを含め、文字の中に複数の独立をした部分がある漢字の文字認識では、例えば、その文字を１つの文字としてではなく、辺や旁などを各々別個の文字であると誤って認識（例えば“社”を“ネ”と“土”等）し、誤った認識に基づいて文字認識を行うブロックを判断することがあり、文字認識がうまくできないことがある。
【０００７】
これに関して、画像の文字列を一旦、各連結成分に分解してから周辺の連結成分と組み合わせて統合矩形を生成し、生成した各統合矩形に対して文字認識を試みることによって文字認識結果（文字データ）を得る技術が知られている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−２０４２２６号公報
【特許文献２】特開２００８−１９１８３３号公報
【非特許文献】
【０００９】
【非特許文献１】“Finding All Cliques of an Undirected Graph", Coen Bron and Joep Kerbosch,Communications of the ACM, September 1973, Volume 16, Number 9, p575-577
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ここで、文字認識の対象の文字ブロックが有するある項目名（例えば「住所」等）に対する内容（項目値）として記載されている一連の文字列に区切れがある場合、それらの文字列をある項目名の値となる一連の文字列と認識できず、別個の文字列として誤認識される可能性があるという問題点がある。例えば「川崎市 中原区 上小田中」について、本来一体である「川崎市」と「中原区」と「上小田中」とを３個のデータとして誤認識してしまうことが考えられる。さらにこの場合、「川崎市」のみを「住所」に対応するデータとして誤認識すると共に、「中原区」および「上小田中」を他の項目に対応するデータと誤認識したり、対応する項目名が不明という判断をしてしまったりすることが考えられる。
【００１１】
このように、従来の文字認識では、帳票等の複数の文字列が特定の意味を持って配置されている画像の文字認識を行った場合、これらの文字領域検出に、文字認識の対象の文字列が過剰に分割されて認識されたり、文字列中の認識文字の欠損などのエラーが発生したりすると、帳票の項目名と項目値（内容として記載されている文字列）との関連付けに失敗したり、文字列の抽出の際に誤認識が生じたりする場合があるという問題点があった。
【００１２】
本発明はこのような点に鑑みてなされたものであり、文字列を含む画像の文字認識を行う際に、誤認識を抑制する文字列認識装置、文字列認識プログラムおよび文字列認識方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、以下の機能を有する文字列認識装置が提供される。コンピュータは、画像の文字列認識をするために、画像記憶部、文字ブロック位置取得部、対応関係設定部を有する。画像記憶部は、項目名を示す文字を有する項目名文字列と項目名に対応する内容を示す文字を有する内容文字列とを有する画像を記憶する。文字ブロック位置取得部は、画像記憶部に記憶されている画像から、項目名文字列を示す項目名文字ブロックと、内容文字列の一部または全部を示す内容文字ブロックとを抽出し、項目名文字ブロックと内容文字ブロックとの位置を示す位置情報を取得する。次に、文字ブロック位置取得部は、項目名文字ブロックと内容文字ブロックとの位置を示す位置情報を取得する。対応関係設定部は、文字ブロック位置取得部により取得した位置情報に基づいて内容文字ブロックの位置から所定の方向に存在する項目名文字ブロックを抽出し、内容文字ブロックと抽出した項目名文字ブロックの項目名とを関連付け、関連付けた結果を対応関係記憶部に記憶させる。
【発明の効果】
【００１４】
文字列を含む画像の文字認識を行う際に、項目名と項目値との関連付けの誤りを抑制することにより、文字列の誤認識の発生を抑制することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施の形態の機能を示すブロック図である。
【図２】第２の実施の形態の文字列認識装置のハードウェア構成例を示す図である。
【図３】第２の実施の形態の機能を示すブロック図である。
【図４】第２の実施の形態の文字列認識処理の手順を示すフローチャートである。
【図５】第２の実施の形態における第１の例の帳票画像の処理の様子を示す図である。
【図６】第２の実施の形態における第１の例の帳票画像の処理の様子を示す図である。
【図７】第２の実施の形態における第１の例の帳票画像の処理の様子を示す図である。
【図８】第２の実施の形態における第１の例の帳票画像の処理の様子を示す図である。
【図９】第２の実施の形態により第１の例の帳票画像を処理して得られた対応関係テーブルの例を示す図である。
【図１０】第２の実施の形態における第２の例の帳票画像の処理の様子を示す図である。
【図１１】第２の実施の形態における第２の例の帳票画像の処理の様子を示す図である。
【図１２】第２の実施の形態における第２の例の帳票画像の処理の様子を示す図である。
【図１３】第２の実施の形態により第２の例の帳票画像を処理して得られた対応関係テーブルの例を示す図である。
【図１４】第２の実施の形態における第３の例の帳票画像の処理の様子を示す図である。
【図１５】第２の実施の形態における第３の例の帳票画像の処理の様子を示す図である。
【図１６】第２の実施の形態における第３の例の帳票画像の処理の様子を示す図である。
【図１７】第２の実施の形態により第３の例の帳票画像を処理して得られた対応関係テーブルの例を示す図である。
【図１８】第２の実施の形態における第３の例の帳票画像における関連付けの様子を示す図である。
【図１９】第２の実施の形態における第３の例の帳票画像における関連付けの様子を示す図である。
【図２０】第２の実施の形態における第４の例の帳票画像における関連付けの様子を示す図である。
【図２１】第２の実施の形態の項目名情報テーブルの例を示す図である。
【図２２】第２の実施の形態のルールテーブルの例を示す図である。
【図２３】第２の実施の形態のルールテーブルの例を示す図である。
【図２４】第２の実施の形態の項目名文字列抽出処理の手順を示すフローチャートである。
【図２５】第２の実施の形態の項目名文字列抽出処理の手順を示すフローチャートである。
【図２６】第２の実施の形態の項目名文字列抽出処理の手順を示すフローチャートである。
【図２７】第２の実施の形態における項目名文字列の抽出の処理の様子を示す図である。
【図２８】第２の実施の形態における項目名文字列の抽出の処理の様子を示す図である。
【図２９】第２の実施の形態における項目名文字列の抽出の処理の様子を示す図である。
【図３０】第２の実施の形態における項目名文字列の抽出の処理の様子を示す図である。
【図３１】第２の実施の形態における項目名文字列の抽出の処理の様子を示す図である。
【図３２】第２の実施の形態の文字列候補テーブルの例を示す図である。
【図３３】第２の実施の形態の文字列候補テーブルの例を示す図である。
【図３４】第２の実施の形態の文字列候補テーブルにおける文字列候補の対応関係を表した文字列対応関係グラフを示す図である。
【図３５】第３の実施の形態の機能を示すブロック図である。
【図３６】第３の実施の形態の文字列認識処理の手順を示すフローチャートである。
【図３７】第３の実施の形態の文字列認識処理の手順を示すフローチャートである。
【図３８】第３の実施の形態における第１の例の帳票画像の処理の様子を示す図である。
【図３９】第３の実施の形態における第１の例の帳票画像の処理の様子を示す図である。
【図４０】第３の実施の形態の項目名情報テーブルの例を示す図である。
【図４１】第３の実施の形態のルールテーブルの例を示す図である。
【図４２】第３の実施の形態のルールテーブルの例を示す図である。
【発明を実施するための形態】
【００１６】
以下、本実施の形態について図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態の機能を示すブロック図である。文字列認識装置１は、帳票画像等の文字列を有する画像について文字認識を行い、項目名と内容（例えば、項目値）とを取得することにより、画像に含まれる文字列を認識する文字列認識を行う。文字列認識装置１は、文字ブロック位置取得部１ａ、対応関係設定部１ｂ、画像記憶部１ｃ、対応関係記憶部１ｄ、文字ブロック統合部１ｅを有する。
【００１７】
文字ブロック位置取得部１ａは、画像記憶部１ｃに記憶されている画像から、項目名文字列を示す項目名文字ブロックと、内容文字列の一部または全部を示す内容ブロックとを抽出する。ここで、文字列認識装置１で文字列認識を行う画像は、例えば、項目名を示す文字を有する項目名文字列、項目名に対応する内容を示す内容文字列を有する帳票画像等の画像である。この画像は、例えば、帳票等の文書をスキャナ等で読み取るか、直接電子ファイルで作成された帳票等の文書を画像に変換することにより作成される。
【００１８】
次に、文字ブロック位置取得部１ａは、判定した項目名文字ブロックとそれ以外の文字ブロック（内容文字ブロックを含む）との位置を示す位置情報を取得する。この位置情報により、項目名文字ブロックの位置および項目名文字列以外の文字ブロックの位置が特定される。この位置情報は、項目名文字ブロックの位置およびそれ以外の文字ブロックの位置を、例えば、画像上の２次元座標で示してもよい。
【００１９】
対応関係設定部１ｂは、文字ブロック位置取得部１ａにより取得した位置情報に基づいて、内容文字ブロックの位置から所定の方向に存在する項目名文字ブロックを抽出し、内容文字ブロックと抽出した項目名文字ブロックの項目名とを関連付ける。同一の項目名に関連付けられた内容文字ブロック同士は、後述する文字ブロック統合部１ｅにより統合される。また、対応関係設定部１ｂは、関連付けた結果に基づいて文字ブロック統合部１ｅにより得られた項目名および内容文字列ならびにこれらの対応関係を対応関係記憶部１ｄに記憶させる。
【００２０】
画像記憶部１ｃは、項目名を示す文字を有する項目名文字列と、項目名に対応する文字内容を示す内容文字列とを有する画像を示す画像情報を記憶する。画像記憶部１ｃに記憶されている画像は、項目名および内容を有する帳票等の文書の画像である。この画像は、スキャナ等の光学式読み取り装置で取得してもよく、コンピュータ等で直接電子ファイルで作成された帳票等の文書を画像に変換することにより取得してもよい。
【００２１】
対応関係記憶部１ｄは、項目名と内容文字ブロックとを関連付けた結果を示す対応関係情報を記憶する。この対応関係情報により、画像に含まれている項目名、内容および項目名と内容との対応関係が示される。
【００２２】
文字ブロック統合部１ｅは、同一の項目名に関連付けられた内容文字ブロック同士を統合し、項目名に対応する内容文字列に設定する。すなわち、文字ブロック統合部１ｅは、対応関係設定部１ｂによって関連付けられた内容文字ブロックを統合して項目名に関連付けて内容文字列とする。
【００２３】
なお、本実施の形態の文字列認識装置１で取得する文書に示された内容は、数値を含む任意の文字数の文字列であり、光学認識等により文字認識が可能であれば、文字と同等または所定の意味を有する任意の個数の記号の列であってもよい。
【００２４】
このような文字列認識装置１によれば、画像の文字認識を行う際に、文字認識で取得した内容の文字について、項目名との位置関係に基づいて対応関係を設定する。これにより、帳票画像が有する文字列と各内容の文字列との対応関係を設定する際に、対応関係の設定の誤りの発生を抑制する。その結果、内容の文字列認識における誤認識の発生を抑制することが可能となる。
【００２５】
〔第２の実施の形態〕
次に、第２の形態の詳細を説明する。第２の実施の形態は、項目名および項目値を有する帳票を取り込んだ帳票画像等の文書を示す画像について、項目名文字列を抽出し、文字認識の結果得られた文字列を項目名文字列に関連付け、帳票等の文書において項目名に対応する内容を示す項目値文字列とすることにより、項目値文字列の誤認識および項目値文字列と項目名文字列との関連付けの誤認識を抑制したものである。
【００２６】
図２は、第２の実施の形態の文字列認識装置のハードウェア構成例を示す図である。文字列認識装置１００は、ＣＰＵ１０１によって装置全体が制御されている。ＣＰＵ１０１には、バス１０７を介してＲＡＭ（Random Access Memory）１０２と複数の周辺機器が接続されている。
【００２７】
ＲＡＭ１０２は、文字列認識装置１００の主記憶装置として使用される。ＲＡＭ１０２には、ＣＰＵ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、ＣＰＵ１０１による処理に必要な各種データが格納される。
【００２８】
バス１０７に接続されている周辺機器としては、ハードディスクドライブ（ＨＤＤ:Hard Disk Drive）１０３、グラフィック処理装置１０４、入力インタフェース１０５および通信インタフェース１０６がある。
【００２９】
ＨＤＤ１０３は、内蔵したディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。ＨＤＤ１０３は、文字列認識装置１００の二次記憶装置として使用される。ＨＤＤ１０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、二次記憶装置としては、フラッシュメモリなどの半導体記憶装置を使用することもできる。
【００３０】
グラフィック処理装置１０４には、モニタ１１が接続されている。グラフィック処理装置１０４は、ＣＰＵ１０１からの命令に従って、画像をモニタ１１の画面に表示させる。モニタ１１としては、ＣＲＴ（Cathode Ray Tube）を用いた表示装置や液晶表示装置などがある。
【００３１】
入力インタフェース１０５には、キーボード１２とマウス１３とが接続されている。入力インタフェース１０５は、キーボード１２やマウス１３から送られてくる信号をＣＰＵ１０１に送信する。なお、マウス１３は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
【００３２】
通信インタフェース１０６は、ネットワーク１０に接続されている。通信インタフェース１０６は、ネットワーク１０を介して、他のコンピュータとの間でデータの送受信を行うことができる。
【００３３】
以上のようなハードウェア構成によって、本実施の形態の処理機能を実現することができる。
図３は、第２の実施の形態の機能を示すブロック図である。本実施の形態の文字列認識装置１００は、手書き文字、活字、プリンタ等による印字等、文字認識可能である任意の字体の文字に適用可能であるものとする。文字列認識装置１００は、画像取得部１１１、項目名文字列抽出部１１２、関連付け部１１３、関連付け検証部１１４、文字領域統合部１１５、非項目名文字列文字認識部１１６、画像記憶部１２０、項目名情報記憶部１５１、文字列候補記憶部１５２、対応関係記憶部１５３、ルール記憶部１５４を有する。
【００３４】
画像取得部１１１は、スキャナや他のコンピュータから通信回線を介して帳票等の文書の画像情報を取得し、取得した画像情報を画像記憶部１２０に記憶させる。
項目名文字列抽出部１１２は、項目名情報を項目名情報記憶部１５１から読み出し、画像記憶部１２０に記憶されている画像から、項目名文字列情報に基づいて画像中に存在する項目名文字列を抽出する。そして、また、項目名文字列抽出部１１２は、項目名文字列を示す項目名文字列領域（項目名文字ブロック）を抽出する。ここで、文字列認識装置１００で文字列認識を行う画像は、例えば、項目名を示す項目名文字列、項目名に対応する項目値を示す項目値文字列を有する帳票画像等の画像である。この画像は、例えば、帳票等の文書をスキャナ等で読み取るか、直接電子ファイルで作成された帳票等の文書を画像に変換することにより作成される。また、画像中の項目名文字列領域以外の領域を非項目名文字列領域とする。また、項目値は、帳票等の文書において項目名に対応する内容である。また、項目値文字列は、項目名に対応する内容を示す文字を有する文字列であり、第１の実施の形態の内容文字列と対応する。
【００３５】
また、項目名文字列抽出部１１２は、項目名文字列領域の位置および認識結果文字列（項目値文字ブロック）の位置を示す位置情報を取得する。この位置情報により、項目名文字列領域の位置および認識結果文字列の位置が特定される。この位置情報は、項目名文字列領域の位置および認識結果文字列の位置を、例えば、画像上の２次元座標で示してもよい。また、項目値文字ブロックは、項目値文字列の一部または全部を示し、第１の実施の形態の内容文字ブロックと対応する。
【００３６】
項目名文字列抽出部１１２は、取得した画像中のそれぞれの連結要素と外接する矩形（以下、「外接矩形」という）を作成し、重なる外接矩形同士を統合することにより、項目名文字列領域を作成する。ここで、連結要素は、特定の画素が連結している領域である。また、特定の画素は、例えば、予め設定された画素値以上の画素等の基準で抽出される画素であり、認識対象の文字列の一部を示す画素である。
【００３７】
関連付け部１１３は、ルール記憶部１５４に記憶されているルールに従って、非項目名文字列文字認識部１１６で取得された各認識結果文字列に対し、項目名文字列抽出部１１２により取得した位置情報に基づいて各認識結果文字列の位置から左方向または上方向に項目名文字列抽出部１１２で取得された項目名文字列を探索し、探索の結果により抽出された項目名と認識結果文字列とを関連付ける。なお、これに限らず、関連付け部１１３は、ルール記憶部１５４に記憶されているルールに従って、項目名文字列抽出部１１２により取得された位置情報に基づいて項目名文字列領域の位置から右方向または下方向に非項目名文字列文字認識部１１６で取得された各認識結果文字列を探索し、項目名文字列領域の項目名文字列が示す項目名と探索の結果得られた認識結果文字列とを関連付けてもよい。
【００３８】
関連付け検証部１１４は、ルール記憶部１５４から項目名文字列と項目値文字列との関連付けにおいて満たすべきルールを読み出し、関連付け部１１３で生成された項目名と項目値との関連付けのうち、ルールに違反する関連付けを削除する。
【００３９】
文字領域統合部１１５は、同一の項目名に関連付けられた認識結果文字列同士を統合し、項目名に対応する項目値文字列に設定する。すなわち、文字領域統合部１１５は、関連付け部１１３によって関連付け、関連付け検証部１１４によって関連付けを削除せずに維持した認識結果文字列を統合して項目名に関連付ける項目値文字列とする。これにより、認識結果文字列（非項目名文字列の認識結果）が統合され、項目名に対応する項目値文字列となる。次に、文字領域統合部１１５は、項目名と項目値文字列との関連付けの結果を対応関係記憶部１５３に記憶させる。
【００４０】
これにより、項目値文字列が文字列として分割されている場合にも、分割されている文字列を統合して、項目値文字列を正しく再構成することができる。例えば、帳票に示された「金額 １，１００円」について、項目名文字列が“金額”と認識され、項目値文字列が“１，”と“１００円”とに分割されて認識された場合、本実施の形態では、分割された項目値文字列“１，”と“１００円”を再構成して“１，１００円”とすることができる。
【００４１】
非項目名文字列文字認識部１１６は、非項目名文字列領域に対して文字認識を行うことにより、項目値文字列の一部または全部を示す認識結果文字列を抽出する。このとき、非項目名文字列文字認識部１１６は、認識結果文字列について１文字単位で文字認識を行って認識結果文字列を１文字の文字列として取得する。なお、非項目名文字列文字認識部１１６は、これに限らず、認識結果文字列について、任意の方法で区分した文字列単位で文字認識を行って認識結果文字列を取得してもよい。
【００４２】
画像記憶部１２０は、項目名を示す文字を有する項目名文字列と項目名に対応する内容を示す文字を有する項目値文字列とを有する画像を記憶する。画像記憶部１２０に記憶されている画像は、項目名および項目値を有する帳票等の文書の画像である。この画像は、スキャナ等の光学式読み取り装置で取得してもよく、コンピュータ等により直接電子ファイルで作成された帳票等の文書を画像に変換することにより取得してもよい。
【００４３】
項目名情報記憶部１５１は、例えば、『氏名』、『住所』等の項目名の項目値文字列を示す情報、項目名が複数の項目値と対応する連記表であるか否かを示す情報を有する項目名文字列情報を有する項目名情報を記憶する。
【００４４】
文字列候補記憶部１５２では、詳しくは図３２および図３３において後述するが、項目名文字列抽出処理において認識結果文字の文字列候補を示す情報を記憶する。
対応関係記憶部１５３は、文字領域統合部１１５の関連付けにより項目名と認識結果文字列とを関連付けた結果を示す対応関係情報を記憶する。この対応関係情報により、画像に含まれている項目名および項目値ならびに項目名と項目値との対応関係が示される。
【００４５】
ルール記憶部１５４は、項目名と認識結果文字列との関連付けのルールを記憶する。ルール記憶部１５４に記憶されているルールは、例えば、１つの認識結果文字列に対応関係を有する項目名が複数存在する場合の関連付けのルール、１つの項目名に対応関係を有する認識結果文字列が複数存在する場合の関連付けのルールを含む。また、１つの項目名に１つの認識結果文字列が対応関係を有する場合において、１つの項目名に関連付け可能な認識結果文字列が複数存在するときに、認識結果文字列を複数の項目名のうちの１つの正しい項目名と関連付けて他の対応関係を削除する関連付けのルールを含む。
【００４６】
また、図１に示した第１の実施の形態の機能のうち、文字ブロック位置取得部１ａの機能は、項目名文字列抽出部１１２、非項目名文字列文字認識部１１６で実現されている。また、対応関係設定部１ｂ、文字ブロック統合部１ｅの機能は、関連付け部１１３、関連付け検証部１１４、文字領域統合部１１５で実現されている。
【００４７】
なお、本実施の形態の文字列認識装置１００で取得する文書に示された項目値は、数値を含む任意の文字数の文字列であり、光学認識等により文字認識が可能であれば、文字と同等または所定の意味を有する任意の個数の記号の列であってもよい。
【００４８】
次に、文字列認識装置１００によって実行される文字列認識処理の手順を説明する。
図４は、第２の実施の形態の文字列認識処理の手順を示すフローチャートである。文字列認識処理は、帳票の画像読み取りやユーザの文字列認識処理を実行する操作に基づいて、文字列認識装置１００により実行が開始される。以下、図４に示す処理をステップ番号に沿って説明する。
【００４９】
〔ステップＳ１１〕項目名文字列抽出部１１２は、項目名情報記憶部１５１に記憶されている項目名情報を取得する。
〔ステップＳ１２〕項目名文字列抽出部１１２は、帳票画像等から項目名文字列を抽出する項目名文字列抽出処理（図２４から図２６において後述）を実行する。
【００５０】
〔ステップＳ１３〕非項目名文字列文字認識部１１６は、ステップＳ１２で取得した項目名文字列領域以外の非項目名文字列領域について文字認識を行い、認識結果文字列を取得する。
【００５１】
〔ステップＳ１４〕関連付け部１１３は、所定の位置関係に該当するステップＳ１２で抽出した項目名文字列とステップＳ１３で取得した認識結果文字列とを、ルール記憶部１５４に記憶されているルールに基づいて関連付ける。
【００５２】
〔ステップＳ１５〕関連付け検証部１１４は、ステップＳ１４における関連付けについて検証し、検証の結果正しくない関連付けを削除する。
〔ステップＳ１６〕文字領域統合部１１５は、ステップＳ１４およびステップＳ１５による関連付けによって、同一の項目名文字列に関連付けた認識結果文字列を統合して項目値文字列とする。次に、統合した項目値文字列を、項目名文字列が示す項目名に対応する項目値として設定する。
【００５３】
〔ステップＳ１７〕文字領域統合部１１５は、ステップＳ１６で設定した帳票画像の項目名と項目値との対応関係を、対応関係記憶部１５３に記憶させる。
図５から図８は、第２の実施の形態における第１の例の帳票画像の処理の様子を示す図である。
【００５４】
図５（Ａ）は、帳票画像の第１の例であり、項目値と項目名とが１対１に対応する帳票画像２１０を示す。本実施の形態の文字列認識装置１００は、文字列認識処理のステップＳ１１およびステップＳ１２により項目名情報記憶部１５１に記憶されている項目名情報に基づいて帳票画像２１０から項目名文字列を抽出する。項目名情報は、項目名の候補を示す文字列を含む。項目名の候補を示す文字列として、例えば『名前』、『氏名』、『住所』、『お住まい』、『ふりがな』、『職業』、『年齢』等がある。
【００５５】
本実施の形態では、帳票画像２１０について文字認識を行い、認識の結果得られた文字列と項目名情報が示す項目名の候補を示す文字列とを比較して項目名文字列を抽出する。帳票画像２１０から項目名文字列を抽出する方法の詳細は、図２４から図３４において後述する。
【００５６】
図５（Ｂ）は、帳票画像２１０に対する項目名文字列の抽出の結果得られる項目名文字列２１１ａ，２１１ｂ，２１１ｃ，２１１ｄを示す。図５（Ｂ）に示す例では、帳票画像２１０から、『住所』、『氏名』、『職業』、『年齢』の４つの項目名文字列２１１ａ，２１１ｂ，２１１ｃ，２１１ｄが抽出されている。
【００５７】
図６に示すように、この項目名文字列の抽出に基づいて、帳票画像２１０を、項目名文字列領域２１２ａ，２１２ｂ，２１２ｃ，２１２ｄと、項目名文字列領域２１２ａ〜２１２ｄ以外の領域である非項目名文字列領域２１２ｅとに分割することが可能になる。
【００５８】
本実施の形態の文字列認識装置１００は、ステップＳ１３により帳票画像２１０の非項目名文字列領域２１２ｅについて文字認識を行い、認識結果文字列を取得して文字列認識を行う。本実施の形態では、非項目名文字列領域２１２ｅについて、１文字単位で文字認識を行う。ここで、ステップＳ１３における文字認識は、従来の文字認識を用いてもよく、他の文字認識方法を用いてもよい。
【００５９】
ここで、図７（Ａ）および図７（Ｂ）に従って、ステップＳ１４およびステップＳ１５の処理を説明する。図７（Ａ）および図７（Ｂ）は、帳票画像２１０の項目名文字列領域２１２ａ，２１２ｂおよび認識結果文字列２１３ａ，２１３ｂ，２１３ｃ，２１３ｄ，２１３ｅ，２１３ｆ，２１３ｇ，２１３ｈ，２１３ｉ，２１３ｊ，２１３ｋ，２１３ｌ，２１３ｍ，２１３ｏ，２１３ｐ，２１３ｑ，２１３ｒ，２１３ｓ，２１３ｔを示す。本実施の形態の文字列認識装置１００は、この項目名文字列領域２１２ａ，２１２ｂおよび認識結果文字列２１３ａ〜２１３ｔに基づき、ステップＳ１３で取得した認識結果文字列について、ステップＳ１４により、項目名文字列との関連付けを行う。このステップＳ１４の関連付けでは、項目名文字列が位置する項目名文字列領域と認識結果文字列の位置とが、ルール記憶部１５４に記憶されているルール（図２２および図２３において後述）が示す所定の位置関係にある場合、項目名文字列が示す項目名と認識結果文字列とが関連付けられる。図７（Ａ）の例では、項目名文字列領域２１２ａと認識結果文字列２１３ａ〜２１３ｐ、項目名文字列領域２１２ａと認識結果文字列２１３ｑ〜２１３ｔ、項目名文字列領域２１２ｂと認識結果文字列２１３ｑ〜２１３ｔの３組が、ルール記憶部１５４に記憶されているルールが示す所定の位置関係（例えば、認識結果文字列の中心の上方、左方または左上方に項目名文字列領域の外接矩形が存在）を満たすものとして関連付けられる。
【００６０】
通常、横書きの帳票では、項目名の右、下または右下に項目値が存在するので、文字列認識装置１００は、上記認識結果文字列の左、上、または左上に存在する項目名文字列領域を探索する。なお、探索する方向に関しては、これに限らず、帳票毎や項目名毎に定義してもよい。
【００６１】
図７（Ａ）の例では、認識結果文字列２１３ｑ（『東』）に関しては、左、上、左上に存在する項目名文字列領域を探索すると、項目名文字列領域２１２ａ，２１２ｂの２つが発見される。これにより、認識結果文字列２１３ｑは、項目名文字列領域２１２ａ，２１２ｂに関連付けられることになる。認識結果文字列２１３ｒ〜２１３ｔについても同様に、項目名文字列領域２１２ａ，２１２ｂに関連付けられる。
【００６２】
次に、文字列認識装置１００は、ステップＳ１５により項目名文字列と認識結果文字列との関連付けの検証および削除を行う。このステップＳ１５の関連付けの検証および削除では、関連付けられた項目名文字列と認識結果文字列とが、ルール記憶部１５４に記憶されているルールに違反するか等に基づいて、関連付けが正しいか否かについて検証される。そして、検証の結果に基づき、ステップＳ１４で関連付けられた、関連付けが正しくない項目名と認識結果文字列との関連付けが削除される。図７（Ａ）に示すように、認識結果文字列２１３ｑは、ステップＳ１４により項目名文字列領域２１２ａおよび項目名文字列領域２１２ｂと関連付けられている。これに対し、ステップＳ１５では、図７（Ｂ）に示すように、ルール記憶部１５４に記憶されているルール（例えば、認識結果文字列の中心の左方に項目名文字列領域が存在する場合、認識結果文字列の中心の左上方の項目名文字列への関連付けは削除）に基づいて、認識結果文字列２１３ｑと項目名文字列領域２１２ａとの関連付けが削除される。認識結果文字列２１３ｒ〜２１３ｔについても同様に、項目名文字列領域２１２ａとの関連付けが削除される。このようにして、正しくない関連付けが削除され、正しい関連付けのみが維持される。
【００６３】
ここで、ルール記憶部１５４に記憶されているルールとして、例えば、次の例が挙げられる。
例１：認識結果文字列の左方向、若しくは、上方向に項目名文字列領域が存在した場合、左上方向にある項目名文字列領域は無視する。
【００６４】
例２：認識結果文字列が複数の項目名文字列と関連付けられた場合は、最も近いもの１つに絞る。
例３：認識結果文字列と項目名文字列領域との距離は、所定の値以下でなければならない。
【００６５】
例４：認識結果文字列と項目名文字列との関連付けはセル罫線を跨いではいけない。
これらのルールは、帳票や、項目名によって任意に設定される。このルールを増やし、柔軟に組み合わせることで、様々な形式の帳票に対応することが可能になる。
【００６６】
上記の例では、ステップＳ１４の関連付けにより認識結果文字列２１３ｑ〜２１３ｔ（『東』、『京』、『太』、『郎』）を構成する各文字は２つの項目名文字列領域２１２ａ，２１２ｂに関連付けられている。これに、ステップＳ１５の関連付けの検証により、上記の例１のルールが適用されると、項目名文字列領域２１２ａへの関連付けは削除され、項目名文字列領域２１２ｂへの関連付けのみが維持される。
【００６７】
次に、文字列認識装置１００は、ステップＳ１６により同一の項目名文字列に関連付けられた認識結果文字列を統合して項目値文字列とし、項目名と項目値との対応関係を設定する。具体的には、帳票画像２１０の項目名文字列２１１ａに関連付けられた図７（Ａ）に示す認識結果文字列２１３ａ〜２１３ｐが有する各文字を統合して、図８（Ａ）に示すように項目値文字列２１５ａとする。また、項目名文字列２１１ａで示される項目名と項目値文字列２１５ａで示される項目値とに対応関係を設定する。同様に、項目名文字列２１１ｂに関連付けられた図７（Ａ）に示す認識結果文字列２１３ｑ〜２１３ｔが有する各文字を統合して項目値文字列２１５ｂとする。また、項目名文字列２１１ｂで示される項目名と項目値文字列２１５ｂで示される項目値とに対応関係を設定する。
【００６８】
以上のように、本実施の形態では、項目値文字列について１文字単位で文字認識を行い、１文字単位で項目名文字列と関連付ける。しかし、非項目名文字列領域に対する文字認識の結果、認識結果文字列が項目値文字列の通りに認識される場合もあれば、認識ミスにより認識結果文字列が本来の項目値文字列に比較して過剰に分割されている場合も生じ得る。本実施の形態では、認識結果文字列が項目値文字列よりも分割されて認識された場合にも正しい項目値文字列を得ることができる。具体的には、図８（Ｂ）に示すように、ステップＳ１３において認識結果文字列２１６ａ，２１６ｂ，２１６ｃ，２１６ｄ，２１６ｅ，２１６ｆ，２１６ｑ，２１６ｒ，２１６ｓ，２１６ｔの１個または複数の文字を有する文字列が混在して得られたものとする。この場合、これらの認識結果文字列２１６ａ，２１６ｂ，２１６ｃ，２１６ｄ，２１６ｅ，２１６ｆ，２１６ｑ，２１６ｒ，２１６ｓ，２１６ｔについても、ステップＳ１４からステップＳ１７において１文字単位の文字認識の場合と同様に処理されることとなる。
【００６９】
例えば、ステップＳ１４により、図８（Ｂ）に示した項目値文字列２１６ａ（『神』）は、項目名文字列領域２１２ａに関連付けられる。また、項目値文字列２１６ｂ（『奈川』）は、項目名文字列領域２１２ａに関連付けられる。以下同様に、項目値文字列２１６ｃ〜２１６ｆは、項目名文字列領域２１２ａに関連付けられる。また、項目値文字列２１６ｑ〜２１６ｔは、項目名文字列領域２１２ｂに関連付けられる。
【００７０】
図８（Ｂ）の例に従って、ステップＳ１５において不要な関連付けが削除された後の関連付けの結果を以下に示す。
項目名文字列領域２１２ａへの関連付け：認識結果文字列２１６ａ（『神』）、認識結果文字列２１６ｂ（『奈川』）、認識結果文字列２１６ｃ（『県』）、認識結果文字列２１６ｄ（『川崎市』）、認識結果文字列２１６ｅ（『小山』）、認識結果文字列２１６ｆ（『１−２３−４』）
項目名文字列領域２１２ｂへの関連付け：認識結果文字列２１６ｑ（『東』）、認識結果文字列２１６ｒ（『京』）、認識結果文字列２１６ｓ（『太』）、認識結果文字列２１６ｔ（『郎』）
次にステップＳ１６により、同一の項目名文字列に関連付けられた認識結果文字列が統合され、項目値文字列とされる。
【００７１】
本実施の形態によれば、項目名文字列の位置関係に基づいて、先に項目名文字列を認識し、次に非項目名文字列領域に対して文字認識を行う。次に、項目名文字列の位置関係に基づいて認識結果文字列を統合する事により、項目値文字列を取得している。これにより、文字認識のミスによって認識結果文字列が過剰に分割された場合でも、統合することにより正しい項目値文字列を得ることができる。
【００７２】
また、以上により、本実施の形態は、例えば、帳票に罫線の存在しない場合における項目値の文字列領域の検出においても有効である。すなわち、罫線がない帳票の文字列認識を行う場合、レイアウト解析により、先に帳票上のすべての文字列領域を検出する場合がある。この場合、上記項目値文字列は、図８（Ｂ）の認識結果文字列２１６ａ〜２１６ｆ（『神』、『奈川』、『県』、『川崎市』、『小山』、『１−２３−４』）のように分離される可能性が存在する。仮に、このような項目値文字列が分離して認識された結果が得られた場合、項目名と項目値との対応付けに失敗することになる。
【００７３】
これに対して、本実施の形態によれば、文字列認識に罫線を必要としないので、罫線がなく、上記のように項目値文字列が分離して認識される可能性がある場合にも上記項目値文字列について一体として認識することができる。
【００７４】
図９は、第２の実施の形態により第１の例の帳票画像を処理して得られた対応関係テーブルの例を示す図である。図９に示す対応関係テーブル１５３ａは、本実施の形態の文字列認識装置１００による帳票画像２１０に対する文字列認識処理の実行の結果得られる項目名と項目値との対応関係を示す情報を記憶するテーブルである。対応関係テーブル１５３ａは、対応関係記憶部１５３に記憶されている。対応関係テーブル１５３ａには、“項目名”フィールド、“項目値”フィールドが設けられている。図９の例では、各フィールドの横方向に並べられた情報同士について対応関係が設定されている。
【００７５】
“項目名”フィールドには、帳票画像２１０から取得した項目名が設定される。“項目値”フィールドには、帳票画像２１０から取得した項目値が設定される。図９の対応関係テーブル１５３ａでは、帳票画像２１０に基づいて、項目名と項目値とが１対１の対応関係を有するように設定される。
【００７６】
図１０から図１２は、第２の実施の形態における第２の例の帳票画像の処理の様子を示す図である。
図５から図９において前述した帳票画像２１０は、項目名と項目値が１対１の対応関係を有していたが、本実施の形態は、例えば、２次元表のように１つの項目値に２の項目名が属するような、項目値と項目名とが１対多の対応関係を有する場合についても適用可能である。例えば、図１０に示す２次元の無罫線表の帳票画像２２０を例に挙げて説明する。
【００７７】
図１０に示す帳票画像２２０は、帳票画像の第２の例であり、上部に項目名文字列２２１ａ，２２１ｂ，２２１ｃを有し、左側に項目名文字列２２１ｄ，２２１ｅ，２２１ｆを有する。また、項目名文字列２２１ａ，２２１ｂ，２２１ｃのうちのいずれか１つと項目名文字列２２１ｄ，２２１ｅ，２２１ｆのうちのいずれか１つとが交差する領域に、項目値文字列２２２を有する。
【００７８】
本実施の形態の文字列認識装置１００は、帳票画像２２０についても帳票画像２１０と同様に、文字列認識処理を実行する。このとき、文字列認識装置１００は、図１１に示すように、ステップＳ１３で認識結果文字列２２４ａ，２２４ｂ，２２４ｃ，２２４ｄ，２２４ｅ，２２４ｆ，２２４ｇ，２２４ｈ，２２４ｉ，２２４ｊを取得する。次に、文字列認識装置１００は、ステップＳ１４により、項目名文字列領域２２３ａ，２２３ｅ，２２３ｆ等の各項目名文字列領域との位置関係に基づいて、項目名と認識結果文字列との関連付けを行う。図１１の例では、このステップＳ１４の関連付けにより、ルール記憶部１５４に記憶されているルールに基づいて、項目名文字列領域２２３ａと認識結果文字列２２４ａ〜２２４ｈ、項目名文字列領域２２３ｅと認識結果文字列２２４ａ〜２２４ｈ、項目名文字列領域２２３ａと認識結果文字列２２４ｉ，２２４ｊ、項目名文字列領域２２３ｅと認識結果文字列２２４ｉ，２２４ｊ、項目名文字列領域２２３ｆと認識結果文字列２２４ｉ，２２４ｊの５組が関連付けられたものとする。
【００７９】
次に、文字列認識装置１００は、ステップＳ１５により、ルール記憶部１５４に記憶されているルールに基づいて、項目名文字列と認識結果文字列との関連付けの検証および削除を行う。図１２の例では、図１１の例の関連付けの検証結果に基づいて、項目名文字列領域２２３ｅと認識結果文字列２２４ｉ，２２４ｊの関連付けが削除されている。また、項目名文字列領域２２３ａと認識結果文字列２２４ａ〜２２４ｈ、項目名文字列領域２２３ａと認識結果文字列２２４ｉ，２２４ｊ、項目名文字列領域２２３ｅと認識結果文字列２２４ａ〜２２４ｈ、項目名文字列領域２２３ｆと認識結果文字列２２４ｉ，２２４ｊの関連付けは維持されている。この後、ステップＳ１６により、同一の項目名文字列に関連付けられた認識結果文字列ごとに統合し、項目名に対応する項目値文字列を取得する。
【００８０】
図１３は、第２の実施の形態により第２の例の帳票画像を処理して得られた対応関係テーブルの例を示す図である。図１３に示す対応関係テーブル１５３ｂは、図９において前述した対応関係テーブル１５３ａと同様、本実施の形態の文字列認識装置１００による帳票画像２２０に対する文字列認識処理の実行の結果得られる項目名と項目値との対応関係を示す情報を記憶するテーブルである。対応関係テーブル１５３ｂは、対応関係記憶部１５３に記憶されている。対応関係テーブル１５３ｂには、“項目名”フィールド、“項目値”フィールドが設けられている。図１３の例では、各フィールドの横方向に並べられた情報同士について対応関係が設定されている。
【００８１】
対応関係テーブル１５３ｂの“項目名”フィールドには、２次元表である帳票画像２２０から取得した各列の項目名（項目名文字列２２１ａ〜２２１ｃ）と各行の項目名（項目名文字列２２１ｄ〜２２１ｅ）のそれぞれを組み合わせた項目名が設定される。
【００８２】
対応関係テーブル１５３ｂの“項目値”フィールドには、２次元表である帳票画像２２０から取得した各列の項目名と各行の行列成分であり、項目名のそれぞれを組み合わせた項目名に対応する項目値が設定される。
【００８３】
本実施の形態では、以上のようにして対応関係テーブル１５３ｂに項目名と項目値との間で１対１の対応関係を設定することができる。
図１４から図１６は、第２の実施の形態における第３の例の帳票画像の処理の様子を示す図である。
【００８４】
また、本実施の形態は、例えば、１つの項目名に複数の項目値が属するような、項目値と項目名とが多対１の対応関係を有する場合についても適用可能である。また、本実施の形態は、罫線を有する表については、罫線を利用して文字列認識を行うこともできる。例えば、図１４に示す罫線を有する表の帳票画像２３０を例に挙げて説明する。
【００８５】
図１４に、帳票画像の第３の例であり、項目名と項目値とが１対多に対応する帳票画像２３０を示す。本実施の形態の文字列認識装置１００は、上記の例と同様、文字列認識処理のステップＳ１１およびステップＳ１２により項目名情報記憶部１５１に記憶されている項目名情報に基づいて帳票画像２３０から項目名文字列を抽出する。
【００８６】
図１５は、帳票画像２３０に対する項目名文字列の抽出の結果得られる項目名文字列２３１ａ，２３１ｂ，２３１ｃ，２３１ｄ，２３１ｅ，２３１ｆ，２３１ｇを示す。図１５に示す例では、帳票画像２３０から、『記入年月日』、『申込者』、『銀行名』、『支店名』、『口座種別』、『口座番号』、『振込み金額』の７つの項目名文字列２３１ａ，２３１ｂ，２３１ｃ，２３１ｄ，２３１ｅ，２３１ｆ，２３１ｇが抽出されている。本実施の形態の文字列認識装置１００は、この項目名文字列の抽出に基づいて、帳票画像２３０を、上記の例と同様に、項目名文字列領域と非項目名文字列領域とに分割する。
【００８７】
次に、図１６に示すように、本実施の形態の文字列認識装置１００は、帳票画像２３０の非項目名文字列領域について文字認識を行って認識結果文字列２３２ａ１，２３２ａ２，２３２ａ３，２３２ａ４，２３２ａ５，２３２ａ６，２３２ａ７，２３２ａ８，２３２ａ９，２３２ａ１０，２３２ａ１１，２３２ｂ１，２３２ｂ２，２３２ｂ３，２３２ｂ４，２３２ｃ１，２３２ｃ２，２３２ｃ３，２３２ｄ１〜２３２ｄ３，２３２ｅ１〜２３２ｅ３，２３２ｆ１〜２３２ｆ３，２３２ｇ１〜２３２ｇ３を取得する。ここで、本実施の形態の文字列認識装置１００は、後述するルールに基づき、文字認識の際に、帳票の罫線で囲まれたセルの内部に存在する文字は１つの文字列と認識することができる。具体的には、認識結果文字列２３２ｃ１（『Ａ銀行』）は、セルの内部に存在するので１つの文字列と認識される。従って、同様にセルの内部に存在する認識結果文字列２３２ｃ２（『Ｂ銀行』）、認識結果文字列２３２ｃ３（『Ｃ銀行』）は、それぞれ１つの文字列と認識される。また、認識結果文字列２３２ｄ１〜２３２ｄ３，２３２ｅ１〜２３２ｅ３，２３２ｆ１〜２３２ｆ３，２３２ｇ１〜２３２ｇ３についても同様に、それぞれが１つの文字列として認識される。
【００８８】
次に、文字列認識装置１００は、ルール記憶部１５４に記憶されているルールに従って、項目名文字列２３１ａ〜２３１ｇと認識結果文字列２３２ａ１〜２３２ｇ３との関連付けを行う。次に、文字列認識装置１００は、項目名文字列と認識結果文字列との関連付けの検証および削除を行う。これにより、項目名と項目値との対応関係が設定される。
【００８９】
図１６の例では、関連付けおよび検証の結果、項目名文字列２３１ａと認識結果文字列２３２ａ１〜２３２ａ１１、項目名文字列２３１ｂと認識結果文字列２３２ｂ１〜２３２ｂ４、項目名文字列２３１ｃと認識結果文字列２３２ｃ１〜２３２ｃ３、項目名文字列２３１ｄと認識結果文字列２３２ｄ１〜２３２ｄ３、項目名文字列２３１ｅと認識結果文字列２３２ｅ１〜２３２ｅ３、項目名文字列２３１ｆと認識結果文字列２３２ｆ１〜２３２ｆ３、項目名文字列２３１ｇと認識結果文字列２３２ｇ１〜２３２ｇ３の７組が関連付けられる。これに従い、関連付けられた項目名文字列と項目値文字列と間で、項目名と項目値との対応関係が設定される。
【００９０】
具体的には、認識結果文字列２３２ｃ１〜２３２ｃ３は、項目名文字列２３１ｃ（『銀行名』）に関連付けられる。そして、認識結果文字列２３２ｃ１〜２３２ｃ３は、同一の項目名文字列２３１ｃに関連付けられているので１つに統合され、項目名文字列２３１ｃ（『銀行名』）に対応する項目値『Ａ銀行（改行）Ｂ銀行（改行）Ｃ銀行』となる。また、認識結果文字列２３２ｄ１〜２３２ｄ３，２３２ｅ１〜２３２ｅ３，２３２ｆ１〜２３２ｆ３，２３２ｇ１〜２３２ｇ３についても同様に、それぞれ項目名文字列２３１ｄ，２３１ｅ，２３１ｆ，２３１ｇに関連付けられる。そして、認識結果文字列２３２ｄ１〜２３２ｄ３，２３２ｅ１〜２３２ｅ３，２３２ｆ１〜２３２ｆ３，２３２ｇ１〜２３２ｇ３は、それぞれ関連付けられた同一の項目名文字列ごとに統合され、それぞれ項目名文字列２３１ｄ，２３１ｅ，２３１ｆ，２３１ｇに対応する項目値となる。
【００９１】
図１７は、第２の実施の形態により第３の例の帳票画像を処理して得られた対応関係テーブルの例を示す図である。図１７に示す対応関係テーブル１５３ｃは、上記の例と同様、本実施の形態の文字列認識装置１００による帳票画像２３０に対する文字列認識処理の実行の結果得られる項目名と項目値との対応関係を示す情報を記憶するテーブルである。対応関係テーブル１５３ｃは、対応関係記憶部１５３に記憶されている。対応関係テーブル１５３ｃには、“項目名”フィールド、“項目値”フィールドが設けられている。図１７の例では、各フィールドの横方向に並べられた情報同士について対応関係が設定されている。
【００９２】
対応関係テーブル１５３ｃの“項目名”フィールドには、帳票画像２３０から取得した項目名（項目名文字列２３１ａ〜２３１ｇ）が設定される。また、“項目値”フィールドには、帳票画像２３０から取得した項目値（認識結果文字列２３２ａ１〜２３２ｇ３）が設定される。また、対応関係テーブル１５３ｃに示すように、本実施の形態では、帳票画像２３０が有する１の項目名と複数の項目値との対応関係（例えば、項目名『銀行名』に対して項目値『Ａ銀行』、『Ｂ銀行』、『Ｃ銀行』等）を設定することができる。
【００９３】
次に、項目名と項目値との関連付けについて説明する。
図１８および図１９は、第２の実施の形態における第３の例の帳票画像における関連付けの様子を示す図である。本実施の形態の文字列認識装置１００は、上記のように帳票画像から項目名と項目値とを抽出し、上記の関連付けにより、抽出した項目名と認識結果文字列との対応関係を設定する。この関連付けは、ステップＳ１４においてルール記憶部１５４に記憶されているルールに従って行われる。
【００９４】
ここで、関連付けのルールの一例を示す。
・認識結果文字の上方または左方に項目名文字列領域が存在する場合は、その認識結果文字と項目名を関連付ける。ここで、上方または左方とは、その認識結果文字列の中心座標の上方向または左方向に項目名文字列の外接矩形が存在するかどうかで判定する。
・項目名文字列が表のセルに入っている場合は、そのセル枠を項目名文字列の外接矩形と見なす。
【００９５】
上記のルールについて、図１８に示す帳票画像２３０の項目名文字列２３１ｂ（『申込者』）と認識結果文字２３２ｂ１（『田』）との関連付けを例として説明する。
図１８に示すように、上記ルールに従って認識結果文字列２３２ｂ１の中心２３４ｂ１から、左方および上方を探索すると、左方に項目名文字列２３１ｂの外接矩形２３３が存在するので、帳票画像２３０の項目名文字列２３１ｂと認識結果文字列２３２ｂ１との関連付けが行われる。認識結果文字列２３２ａ１〜２３２ａ１１，２３２ｂ２〜２３２ｂ４についても同様に、上記のルールに従って関連付けが行われる。
【００９６】
次に、帳票の項目名文字列が表のセルに入っている場合の関連付けの上記のルールについて図１９に従って説明する。
図１９に示すように、帳票画像２３０の項目名文字列２３１ｃ（『銀行名』）は、セル枠２３６に囲まれているものとする。この場合、上記ルールに従って認識結果文字列２３２ｃ１（『Ａ銀行』）の中心２３７ｃ１から、左方および上方を探索すると、左方に項目名文字列２３１ｃのセル枠２３６が存在する。ここで、上記ルールに従い、セル枠２３６を項目名文字列２３１の外接矩形と見なす。これに基づいて、認識結果文字列の中心座標の上方向または左方向に項目名文字列の外接矩形が存在すると判定されることにより、帳票画像２３０の項目名文字列２３１ｃと認識結果文字列２３２ｃ１との関連付けが行われる。また、認識結果文字列２３２ｃ２，２３２ｃ３，２３２ｄ１〜２３２ｄ３，２３２ｅ１〜２３２ｅ３，２３２ｆ１〜２３２ｆ３，２３２ｇ１〜２３２ｇ３についても同様に、上記のルールに従って関連付けが行われる。
【００９７】
次に、帳票に項目名と項目値とが多対多で対応するものを含む場合の関連付けのルールについて説明する。
図２０は、第２の実施の形態における第４の例の帳票画像における関連付けの様子を示す図である。図２０は、帳票画像の第４の例であり、項目値と項目名とが多対多で対応するものを含む帳票画像２４０を示す。図２０では、上記のルールに従って１対１で対応する項目名文字列２４１ａと認識結果文字列２４２ａの各文字、項目名文字列２４１ｂと認識結果文字列２４２ｂの各文字が関連付けられる。
【００９８】
これに対し、認識結果文字列２４２ｃの項目値の左方には、項目名文字列２４１ｂが存在し、上方には項目名文字列２４１ｃが存在するので、上記のルールのみではいずれの項目名文字列と関連付けるべきか判定することができない。また、認識結果文字列２４２ｄ，２４２ｅについても、同様に、左方には、項目名文字列２４１ｄが存在し、上方には項目名文字列２４１ｅが存在するので、上記のルールのみではいずれの項目名文字列と関連付けるべきか判定することができない。
【００９９】
帳票画像２４０のように、多対多の対応関係を有する項目名と項目値とを有する帳票の文字列認識を行う場合、本実施の形態では、上記のルールに加えて、例えば以下のルールを追加することにより対応することができる。
・認識結果文字列の左方、上方、左上方のうちの異なる２方向に項目名文字列領域が存在することによりそれぞれの項目名文字列領域と関連付けられた場合であって、関連付けられた項目名が連記表に用いられる項目名であるときには、認識結果文字列と２つの項目名との関連付けは共に維持される。
・認識結果文字列の左方、上方、左上方のうちの異なる２方向に項目名文字列領域が存在することによりそれぞれの項目名文字列領域と関連付けられた場合であって、関連付けられた項目名が連記表に用いられない項目名であるときには、関連付けられた２つの項目名のうち、項目名と項目値との位置が近い関連付けのみを維持し、他方の関連付けを削除する。
【０１００】
本実施の形態では、これらの追加するルールにより、認識結果文字列２４２ｃは、項目名文字列２４１ｂとの関連付けが削除され、項目名文字列２４１ｃとの関連付けが維持される。また、認識結果文字列２４２ｄ，２４２ｅは、それぞれ項目名文字列２４１ｄとの関連付けおよび項目名文字列２４１ｅとの関連付けが共に維持される。
【０１０１】
なお、上記のルールおよび追加するルールは、あくまでも一例であり、本実施の形態の関連付けのルールは、帳票のフォーマットに応じて適宜設定することができる。
図２１は、第２の実施の形態の項目名情報テーブルの例を示す図である。図２１に示す項目名情報テーブル１５１ａは、本実施の形態の文字列認識装置１００による文字列認識処理を実行する際に適用される項目名情報を記憶するテーブルである。項目名情報テーブル１５１ａは、項目名情報記憶部１５１に記憶されている。項目名情報テーブル１５１ａには、“項目名番号”フィールド、“項目名文字列”フィールド、“連記表”フィールドが設けられている。各項目の横方向に並べられた情報同士が項目名情報として互いに関連付けられている。
【０１０２】
“項目名番号”フィールドには、各項目名を一意に特定可能に割り当てられた符号である項目名番号が設定される。“項目名文字列”フィールドには、帳票画像２４０等に使用される可能性がある項目名文字列が設定される。本実施の形態では、詳しくは図２４から図３４において後述するが、この項目名文字列フィールドに設定された項目名文字列を用いて項目名文字列の抽出を行う。“連記表”フィールドには、項目名番号で特定された項目名が複数の項目値と対応関係を有する連記表として使用される場合があるか否かを示す情報が設定される。項目名が連記表として使用される場合があれば、“連記表”フィールドに“有”が設定される。項目名が連記表として使用される場合がなければ、“連記表”フィールドに“無”が設定される。
【０１０３】
図２２および図２３は、第２の実施の形態のルールテーブルの例を示す図である。図２２に示すルールテーブル１５４ａ、図２３に示すルールテーブル１５４ｂは、本実施の形態の文字列認識装置１００による文字列認識処理を実行する際に適用されるルールを記憶するテーブルである。ルールテーブル１５４ａ，１５４ｂは、ルール記憶部１５４に記憶されている。
【０１０４】
図２２に示すルールテーブル１５４ａには、“ルール”フィールド、“ルール内容”フィールドが設けられている。“ルール”フィールドには、ルールを特定可能な符号が設定される。“ルール内容”フィールドには、ルールの内容を定義する情報が設定される。説明の便宜上、“ルール”フィールドのルールは日本語により記述するが、これに限らず、コンピュータ言語やフラグ、データ、論理式等、文字列認識装置１００においてルールに基づく関連付けに必要な処理を実行可能な形式で定義された情報を設定することができる。
【０１０５】
図２２に示す以下のルールは、一般的な帳票に対する文字列認識処理の関連付けに適用されるルールの一例である。
［関連付けルール１］認識結果文字列の中心の上方、左方または左上方に項目名文字列領域の外接矩形が存在する場合、認識結果文字列と項目名とを関連付ける。
【０１０６】
［関連付けルール２］項目名文字列が、表のセル内に存在する場合、セルの枠の矩形を、項目名文字列領域の外接矩形とみなす。
［関連付けルール３］関連付けられた項目名が２個以上存在し、項目名の中に連記表に適用されないものが存在する場合、認識結果文字列に最も近い項目名文字列の関連付けのみ残す。
【０１０７】
［妥当性ルール１］認識結果文字列の中心の上方または左方に項目名文字列が存在する場合であって、認識結果文字列の中心の左上方に存在する他の項目名文字列への関連付けがあるとき、認識結果文字列の中心の左上方に存在する他の項目名文字列への関連付けは削除する。
【０１０８】
また、本実施の形態の関連付けのルールの別の例を示す。
図２３に示すルールテーブル１５４ｂには、“適用範囲”フィールド、“ルール”フィールド、“ルール内容”フィールドが設けられている。“適用範囲”フィールドには、ルールが適用される項目名の範囲を示す情報が設定される。説明の便宜上、“ルール”フィールドと同様に“適用範囲”フィールドの適用範囲は日本語により記述するが、これに限らず、コンピュータ言語やフラグ、データ、論理式等、文字列認識装置１００においてルールが適用される項目値の範囲の選択に必要な処理を実行可能な形式で定義された情報を設定することができる。
【０１０９】
図２３に示す以下のルールは、連記表である項目を含む可能性があると共に、罫線を有する可能性があり、さらに２次元表である可能性がある帳票に対する文字列認識処理の関連付けに適用されるルールの一例である。
【０１１０】
・項目名の連記表が“有”
［ルール１］認識結果文字列の中心の上方、左方または左上方に項目名文字列領域の外接矩形が存在する場合、認識結果文字列と項目名文字列とを関連付ける。
【０１１１】
［ルール２］項目名文字列が、表のセル内に存在する場合、セルの枠の矩形を、項目名文字列領域の外接矩形とみなす。
［ルール３］関連付けられた項目名が２個以上存在し、項目名の中に連記表に適用されないものが存在する場合、認識結果文字列に最も近い項目名文字列の関連付けのみ残す。
【０１１２】
・項目名の連記表が“無”
［ルール１］認識結果文字列の中心の上方、左方または左上方に項目名文字列領域の外接矩形が存在する場合、認識結果文字列と項目名文字列とを関連付ける。
【０１１３】
［ルール２］項目名文字列が、表のセル内に存在する場合、セルの枠の矩形を、項目名文字列領域の外接矩形とみなす。
なお、本実施の形態では、関連付けにおいて帳票のフォーマットに応じた任意のルールを設定することができる。
【０１１４】
次に、本実施の形態において帳票画像の項目名文字列領域を特定するために項目名を抽出する項目名文字列抽出処理について説明する。
図２４から図２６は、第２の実施の形態の項目名文字列抽出処理の手順を示すフローチャートである。項目名文字列抽出処理は、本実施の形態の文字列認識処理による呼び出しに基づいて文字列認識装置１００により実行される。以下、図２４から図２６に示す処理をステップ番号に沿って説明する。
【０１１５】
〔ステップＳ２１〕項目名文字列抽出部１１２は、項目名情報記憶部１５１から項目名情報に設定されているすべての項目名文字列を読み出す。読み出された項目名文字列は、ステップＳ２８で、ステップＳ２７における項目名文字列の文字認識の検証に使用される。
【０１１６】
〔ステップＳ２２〕項目名文字列抽出部１１２は、帳票画像に対して連結要素解析を行い、連結要素を取得する。これにより、帳票画像の文字列の各文字について、文字の一部または全部であって形状が１つに連結されている要素である連結要素に分解される。
【０１１７】
〔ステップＳ２３〕項目名文字列抽出部１１２は、ステップＳ２２で取得した連結要素を組み合わせることにより、連結要素を統合して統合矩形を作成する。
〔ステップＳ２４〕項目名文字列抽出部１１２は、ステップＳ２３で作成した統合矩形のうち、未選択の統合矩形を１つ選択する。
【０１１８】
〔ステップＳ２５〕項目名文字列抽出部１１２は、ステップＳ２４で選択した統合矩形と、その統合矩形の周辺の統合矩形とを統合して、周辺統合矩形を生成する。
〔ステップＳ２６〕項目名文字列抽出部１１２は、ステップＳ２５で生成した周辺統合矩形のうち、未選択の周辺統合矩形を１つ選択する。
【０１１９】
〔ステップＳ２７〕項目名文字列抽出部１１２は、ステップＳ２６で選択した周辺統合矩形について文字認識を行い、認識結果文字を取得する。
〔ステップＳ２８〕項目名文字列抽出部１１２は、ステップＳ２７で取得した認識結果文字がステップＳ２１で読み出した項目名文字列に含まれるか否かを判定する。認識結果文字が項目名文字列に含まれていれば、処理はステップＳ２９に進められる。一方、認識結果文字が項目名文字列に含まれていなければ、処理はステップＳ３１（図２５）に進められる。
【０１２０】
〔ステップＳ２９〕項目名文字列抽出部１１２は、ステップＳ２７で取得した認識結果文字および認識結果文字の座標を記憶する。記憶された認識結果文字は、項目名文字列の候補の文字である文字候補となる。
【０１２１】
〔ステップＳ３１〕項目名文字列抽出部１１２は、ステップＳ２５で生成した周辺統合矩形のうち、所定の大きさ以下のすべての周辺統合矩形について選択済であるか否かを判定する。所定の大きさ以下のすべての周辺統合矩形について選択済であれば、処理はステップＳ３２に進められる。一方、所定の大きさ以下の周辺統合矩形に選択されていないものがあれば、処理はステップＳ２６（図２４）に進められる。
【０１２２】
〔ステップＳ３２〕項目名文字列抽出部１１２は、ステップＳ２３で生成したすべての統合矩形について選択済であるか否かを判定する。すべての統合矩形について選択済であれば、処理はステップＳ３２に進められる。一方、統合矩形に選択されていないものがあれば、処理はステップＳ２４（図２４）に進められる。
【０１２３】
〔ステップＳ３３〕項目名文字列抽出部１１２は、探索する項目名文字列を１つ選択する。
〔ステップＳ３４〕項目名文字列抽出部１１２は、認識結果文字からステップＳ３３で選択された項目名文字列が有する文字を候補文字として抽出し、抽出した候補文字を行および列の項目とした文字列候補テーブルを作成する。このとき、文字列候補テーブルの各値には、初期値として“０”を設定する。
【０１２４】
〔ステップＳ３５〕項目名文字列抽出部１１２は、文字列候補テーブルに項目名文字列の一部となる可能性がある組み合わせを設定する。
〔ステップＳ３６〕項目名文字列抽出部１１２は、文字列候補テーブルに基づいて、ステップＳ３３で抽出した候補文字同士を結んだ文字列候補対応関係グラフの最大クリークを探索する。
【０１２５】
〔ステップＳ３７〕項目名文字列抽出部１１２は、ステップＳ３６で探索した最大クリークの文字数と項目名文字列の文字数とからマッチング率Ｍを算出する。マッチング率Ｍは、最大クリークの文字数を、選択した項目名情報に示されている項目名文字列の文字数で割って算出される比率である。
【０１２６】
〔ステップＳ４１〕項目名文字列抽出部１１２は、ステップＳ３７で算出したマッチング率Ｍと所定の閾値αとを比較して、マッチング率Ｍが閾値α以上であるか否かを判定する。マッチング率Ｍが閾値α以上であれば、処理はステップＳ４２に進められる。一方、マッチング率Ｍが閾値α未満であれば、処理はステップＳ４３に進められる。閾値αは、例えば、帳票画像のフォーマット（例えば、項目名の種類や配置）や認識される文字の種類（例えば、文字を含むかまたは数字のみか、日本語文字を含むかまたは英字のみか、手書き文字か印字文字か）等の帳票の条件に応じて設定する。
【０１２７】
〔ステップＳ４２〕項目名文字列抽出部１１２は、ステップＳ３３で選択した項目名文字列および項目名文字列の座標を記憶する。記憶された項目名文字列および座標に基づいて帳票画像の項目名文字列領域が設定される。
【０１２８】
〔ステップＳ４３〕項目名文字列抽出部１１２は、ステップＳ２１で読み出したすべての項目名文字列について選択済であるか否かを判定する。すべての項目名文字列について選択済であれば、処理は復帰する。一方、項目名文字列に選択されていないものがあれば、処理はステップＳ３３（図２５）に進められる。
【０１２９】
図２７から図３１は、第２の実施の形態における項目名文字列の抽出の処理の様子を示す図である。
図２７（Ａ）は、帳票画像の第５の例である帳票画像２５０を示す。帳票画像２５０に基づいて本実施の形態における項目名文字列の処理について説明する。
【０１３０】
本実施の形態の文字列認識装置１００は、項目名文字列抽出処理のステップＳ２１で項目名文字列を読み出す。次に、文字列認識装置１００は、例えば、図２７（Ｂ）の連結要素２５１ａのように、ステップＳ２２で連結要素解析を行い、帳票画像２５０が有するすべての文字列を分解して連結要素を抽出する。また、この連結要素を内部に含む長方形であって面積が最小となるものの外周を外接矩形（例えば、外接矩形２５１ｂ１，２５１ｂ２）とする。例えば、連結要素２５１ａの外接矩形は２５１ｂ１となる。次に、文字列認識装置１００は、例えば、外接矩形２５１ｂ１，２５１ｂ２のように、ステップＳ２３で連結要素の外接矩形であって互いに重なり合っているものを統合して統合矩形（例えば、図２７（Ｃ）の統合矩形２５２）を生成する。
【０１３１】
次に、文字列認識装置１００は、ステップＳ２４で統合矩形のうちの１つを選択する。図２８は、帳票画像２５０が有する文字の“株”の一部である「木偏」である選択統合矩形２５３が選択された場合の例を示す図である。次に、文字列認識装置１００は、ステップＳ２５で、選択した統合矩形の周辺（例えば、選択統合矩形２５３から所定範囲２５３ａ）に存在する他の統合矩形を０個以上組合せてそれらを統合し、周辺統合矩形を作成する。所定範囲２５３ａは、帳票の文字の大きさ等に基づいて任意に設定することができる。
【０１３２】
次に、文字列認識装置１００は、作成された統合矩形のうち、所定の大きさ以下の全ての統合矩形に対し、ステップＳ２７で文字認識を行う。
次に、文字列認識装置１００は、ステップＳ２８で文字認識の結果得られた認識結果文字が、探索している項目名文字列の中に存在するか否かを判定する。判定の結果、認識結果文字が探索している項目名文字列に存在する場合は、文字列認識装置１００は、ステップＳ２９でその認識結果文字と座標とを記憶する。例えば、探索中の項目名が「商品番号」「貴社受付番号」「日付」の場合であって、認識結果文字が“株”であった場合、“株”は、いずれの項目名文字列にも含まれていないので、記憶されない。
【０１３３】
また、本実施の形態では、認識結果文字が重複した場合も認識結果文字は記録されない。例えば、ステップＳ２３で帳票画像２５０が有する文字“社”の連結要素“ネ”が選択され、選択された連結要素“ネ”をその右方に隣接する連結要素“土”と統合した結果、認識結果文字“社”が得られたものとする。その後、ステップＳ２３で連結要素“土”が選択され、選択された連結要素“土”の左方に隣接する連結要素“ネ”を統合しても認識結果文字“社”が得られる。この場合、同一の文字が２重に認識されることを防止するために、後者の認識結果文字は記憶しない。この重複の排除は、例えば、認識結果文字列の中心の座標をチェックし、中心が同一のものは記憶しないことにより実現してもよい。また、他の任意の方法で重複を排除してもよい。
【０１３４】
以上の項目名文字列抽出処理における文字認識について図２８から図３０に従って説明する。図２８に示した選択統合矩形２５３を、所定範囲２５３ａの連結要素と統合する場合、図２９（Ａ）に示す周辺統合矩形２５４ａ、図２９（Ｂ）に示す周辺統合矩形２５４ｂ、図３０（Ａ）に示す周辺統合矩形２５４ｃ、図３０（Ｂ）に示す周辺統合矩形２５４ｄの４種類の周辺統合矩形が生成可能である。
【０１３５】
本実施の形態の文字列認識装置１００は、これらの周辺統合矩形２５４ａ〜２５４ｄについて文字認識を行う。ここで、以下の例を用いて具体的に説明する。例えば、探索中の項目名が「商品番号」「貴社受付番号」「日付」の場合であるものとする。また、周辺統合矩形２５４ａは、選択統合矩形２５３の「木偏」を単独で統合矩形としたものであり、文字認識の結果、認識結果文字２５５ａ“木”が取得されたものとする。周辺統合矩形２５４ｂは、選択統合矩形２５３および左に隣接する“Ａ”を統合して統合矩形としたものであり、文字認識の結果、認識結果文字２５５ｂ“州”が取得されたものとする。周辺統合矩形２５４ｃは、選択統合矩形２５３および右に隣接する“朱”を統合して統合矩形としたものであり、文字認識の結果、認識結果文字２５５ｃ“株”が取得されたものとする。周辺統合矩形２５４ｄは、選択統合矩形２５３および下に隣接する「“貴”の上側部分」を統合して統合矩形としたものであり、文字認識の結果、認識結果文字２５５ｄ“塗”が取得されたものとする。
【０１３６】
この場合、周辺統合矩形２５４ａ〜２５４ｄのそれぞれから得られた認識結果文字２５５ａ〜２５５ｄ（“木”、“州”、“株”、“塗”）は、探索中の項目名が有する文字「商品番号」「貴社受付番号」「日付」のいずれとも一致しない。従って、認識結果文字２５５ａ〜２５５ｄはいずれも記憶されない。
【０１３７】
次に、文字列認識装置１００は、ステップＳ３１で所定の大きさ以下のすべての周辺統合矩形が選択済になるまで、ステップＳ２６からステップＳ２９の処理を繰り返す。次に、文字列認識装置１００は、ステップＳ３２ですべての統合矩形が選択済になるまで、ステップＳ２４からステップＳ３１の処理を繰り返す。図２７の例では、帳票画像２５０が有する“Ａ”、“木”、“朱”、“式”、“会”の上側部分、“会”の下側部分、“ネ”、“土”のすべての連結要素について処理が繰り返される。
【０１３８】
本実施の形態では、このようにして取得される認識結果文字について、以下に示すように、ステップＳ３３からステップＳ４２の処理を繰り返して項目名文字列毎に探索を行う。
【０１３９】
図３１に帳票画像２５０から項目名文字列「貴社受付番号」を探索する場合の例を示す。本実施の形態の文字列認識装置１００は、ステップＳ３３で項目名情報記憶部１５１に記憶されている項目名情報に設定されている項目名文字列から、探索する項目名文字列を１つ選択する。ここでは、項目名文字列「貴社受付番号」が選択されたものとする。これに基づいて、文字列認識装置１００は、ステップＳ３４で帳票画像２５０が有する文字列から項目名文字列「貴社受付番号」の各文字と一致する認識結果文字（ａ）〜（ｇ）を抽出し、抽出した文字により文字列候補テーブル（図３２において後述）を作成する。
【０１４０】
ここで、図３１の帳票画像２５０における“受”は、ステップＳ２７において例えば“愛”と誤認識されると共に、ステップＳ２８で各項目名文字列が有するいずれの文字と一致しないと判定されたため記憶されなかったものとする。このように項目名の抽出において文字認識で誤認識があった場合でも、本実施の形態は項目名を抽出可能である。
【０１４１】
図３２および図３３は、第２の実施の形態の文字列候補テーブルの例を示す図である。図３２に示す文字列候補テーブル１５２ａおよび図３３に示す文字列候補テーブル１５２ｂは、本実施の形態の文字列認識装置１００による項目名文字列抽出処理において認識結果文字の文字列候補を示す情報を記憶するテーブルである。文字列候補テーブル１５２ａ，１５２ｂは、文字列候補記憶部１５２に記憶されている。
【０１４２】
文字列候補テーブル１５２ａ，１５２ｂには、行および列の項目として、ステップＳ３３で選択された項目名文字列に含まれている認識結果文字（例えば、認識結果文字（ａ）〜（ｇ））が文字列候補として設定されている。本実施の形態の文字列認識装置１００では、選択した項目名文字列と一致する認識結果文字を項目としてステップＳ３４において図３２に示す初期状態の文字列候補テーブル１５２ａを作成する。
【０１４３】
また、文字列候補テーブル１５２ａ，１５２ｂには、項目名文字列における文字列候補同士の前後の関連を示す値が設定される。以下に、文字列候補テーブル１５２ａ，１５２ｂに値が設定される際の設定条件について示す。項目名文字列において、ある認識結果文字以降に他の認識結果文字が存在していれば、ある認識結果文字の行であって他の認識結果文字の列の値に、“１”が設定される。項目名文字列において、ある認識結果文字以降に他の認識結果文字が存在しなければ、ある認識結果文字の行であって他の認識結果文字の列の値に、“０”が設定される。また、ある認識結果文字と他の認識結果文字とが同一の行に存在しない場合には、前述の条件を満たしていても値に“０”が設定される。
【０１４４】
具体的には、項目名文字列が「貴社受付番号」であって、ある認識結果文字が認識結果文字列（ａ）“貴”であり、他の認識結果文字が認識結果文字列（ｂ）“社”である場合、「貴社受付番号」において認識結果文字列（ａ）“貴”の次に認識結果文字列（ｂ）“社”が存在するので、対応する値に“１”が設定される。一方、ある認識結果文字が認識結果文字列（ｄ）“番”であり、他の認識結果文字が認識結果文字列（ａ）“貴”である場合、「貴社受付番号」において認識結果文字列（ｄ）“番”の次に認識結果文字列（ａ）“貴”が存在しないので、対応する値に“０”が設定される。また、ある認識結果文字が認識結果文字列（ａ）“貴”であり、他の認識結果文字が認識結果文字列（ｆ）“社”である場合、「貴社受付番号」において認識結果文字列（ａ）“貴”の次に認識結果文字列（ｆ）“社”が存在するが、認識結果文字列（ａ）“貴”と認識結果文字列（ｆ）“社”とは同一の行に存在しないので、対応する値に“０”が設定される。
【０１４５】
次に、文字列認識装置１００は、ステップＳ３５で上記の設定条件に従って、図３３に示す文字列候補テーブル１５２ｂのように、各文字列候補同士の組み合わせの値を設定していく。次に、文字列認識装置１００は、文字列候補テーブル１５２ｂに定義される文字列候補同士の対応関係に基づいて、文字列候補の対応関係の最大クリークを探索する。
【０１４６】
図３４は、第２の実施の形態の文字列候補テーブルにおける文字列候補の対応関係を表した文字列対応関係グラフを示す図である。
図３４に示す文字列候補対応関係グラフ１５２ｂ１は、説明の便宜上、本実施の形態の項目名文字列抽出処理によって文字列候補テーブル１５２ｂに定義された文字列候補の対応関係を表したグラフである。文字列候補対応関係グラフ１５２ｂ１では、文字列候補である、認識結果文字（ａ）〜（ｇ）がノード（node）に設定されている。また、文字列候補テーブル１５２ｂにおいて“１”が設定されている値に対応するノード間は、パス（path）が設定されている。
【０１４７】
ここで、クリーク（clique）は、グラフのすべてのノード同士の組み合わせについても互いにパスが存在する部分グラフである。最大クリークは、グラフから抽出されるクリークのうち、頂点数が最大のクリークである。本実施の形態の項目名文字列抽出処理で探索する最大クリークは、図３４の例では、（ａ），（ｂ），（ｃ），（ｄ），（ｅ）となる。
【０１４８】
この最大クリークの探索については、様々な探索アルゴリズムが知られている。最大クリークの探索には、一例として上記の［非特許文献１］記載の方法を使用してもよい。
次に、文字列認識装置１００は、ステップＳ３７で最大クリークの文字数および項目名文字列の文字数から、項目名文字列のマッチング率Ｍを算出する。マッチング率Ｍは、最大クリークの文字数を、選択した項目名情報に示されている項目名文字列の文字数で割って算出される比率である。例えば、上記の例では、最大クリークの文字数が“５”であって項目名情報の項目名文字列が“貴社受付番号”であり文字数が“６”であるため、マッチング率Ｍ＝５／６≒０．８３となる。
【０１４９】
次に、文字列認識装置１００は、ステップＳ４１およびステップＳ４２で、マッチング率Ｍが閾値α以上である場合は、その項目名文字列と項目名文字列の座標とを記憶する。次に、文字列認識装置１００は、すべての項目名文字列が選択済になるまで、ステップＳ３３からステップＳ４２の処理を繰り返す。すべての項目名文字列に対し処理が終了すれば、帳票画像から項目名文字列の抽出が完了したものとして、項目名文字列抽出処理を終了して文字列認識処理に復帰する。
【０１５０】
以上説明したように、第２の実施の形態では、帳票画像の文字認識を行う際に、文字認識で取得した項目値の認識結果文字列について、項目名との位置関係に基づいて統合し、項目値文字列を設定する。これにより、帳票画像が有する文字列と各項目値の文字列との対応関係を設定する際に、対応関係の設定の誤りの発生を抑制する。その結果、項目値の文字列認識における誤認識の発生を抑制することが可能となる。
【０１５１】
また、ルールに基づいて項目名と項目値との対応関係を設定する。これにより、ルールを帳票等の文書のフォーマットに応じて適宜設定することにより、様々な形式の文書に適応させることができる。
【０１５２】
〔第３の実施の形態〕
次に第３の実施の形態について説明する。上記の第２の実施の形態との相違点を中心に説明し、同様の事項については同一の符号を用いると共に説明を省略する。第３の実施の形態は、文字列認識処理において項目値の文字列認識に連結要素を用いた例である。
【０１５３】
第２の実施の形態では、文字列認識処理において、項目名文字列領域の特定に連結要素による文字認識を行い、項目値文字列の文字列認識には、従来の文字認識を用いる。これに対して、第３の実施の形態では、項目値文字列の文字列認識にも連結要素による文字認識を用いる。
【０１５４】
図３５は、第３の実施の形態の機能を示すブロック図である。本実施の形態の文字列認識装置３００は、手書き文字、活字、プリンタ等による印字等、文字認識可能である任意の字体の文字に適用可能であるものとする。文字列認識装置３００は、画像取得部１１１、項目名文字列抽出部３１２、関連付け部３１３、関連付け検証部３１４、連結要素統合部３１５、統合連結要素文字認識部３１６、文字カテゴリ限定部３１７、連結要素抽出部３１８、画像記憶部１２０、項目名情報記憶部３５１、文字列候補記憶部１５２、対応関係記憶部１５３、ルール記憶部３５４を有する。
【０１５５】
画像取得部１１１は、スキャナや他のコンピュータから通信回線を介して帳票等の文書の画像情報を取得し、取得した画像情報を画像記憶部１２０に記憶させる。
項目名文字列抽出部３１２は、項目名情報を項目名情報記憶部３５１から読み出し、画像記憶部１２０に記憶されている画像から、項目名文字列情報に基づいて画像中に存在する項目名文字列を抽出する。そして、また、項目名文字列抽出部３１２は、項目名文字列を示す項目名文字列領域（項目名文字ブロック）を抽出する。ここで、文字列認識装置３００で文字列認識を行う画像は、例えば、項目名を示す項目名文字列、項目名に対応する項目値を示す項目値文字列を有する帳票画像等の画像である。この画像は、例えば、帳票等の文書をスキャナ等で読み取るか、直接電子ファイルで作成された帳票等の文書を画像に変換することにより作成される。また、画像中の項目名文字列領域以外の領域を非項目名文字列領域とする。また、項目値は、帳票等の文書において項目名に対応する内容である。また、項目値文字列は、項目名に対応する内容を示す文字を有する文字列であり、第１の実施の形態の内容文字列と対応する。
【０１５６】
また、項目名文字列抽出部３１２は、項目名文字列領域の位置および連結要素（項目値文字ブロック）の位置を示す位置情報を取得する。この位置情報により、項目名文字列領域の位置が特定される。この位置情報は、項目名文字列領域の位置を、例えば、画像上の２次元座標で示してもよい。また、項目値文字ブロックは、項目値文字列の一部または全部を示し、第１の実施の形態の内容文字ブロックと対応する。
【０１５７】
項目名文字列抽出部３１２は、取得した画像中のそれぞれの連結要素と外接する外接矩形を作成し、重なる外接矩形同士を統合することにより、項目名文字列領域を作成する。
関連付け部３１３は、ルール記憶部３５４に記憶されているルールに従って、非項目名文字列領域に存在する連結要素抽出部３１８で取得された各連結要素に対し、項目名文字列抽出部３１２により取得した位置情報に基づいて各連結要素の位置から左方向または上方向に項目名文字列抽出部３１２で取得された項目名文字列を探索し、探索の結果により抽出された項目名文字列が示す項目名と連結要素とを関連付ける。なお、これに限らず、関連付け部３１３は、ルール記憶部３５４に記憶されているルールに従って、項目名文字列抽出部３１２により取得された位置情報に基づいて項目名文字列抽出部３１２で取得された項目名文字列の位置から右方向または下方向に非項目名文字列領域に存在する連結要素抽出部３１８で取得された各連結要素を探索し、項目名文字列領域の項目名文字列が示す項目名と探索の結果得られた連結要素とを関連付けてもよい。
【０１５８】
関連付け検証部３１４は、ルール記憶部３５４から項目名文字列と連結要素との関連付けにおいて満たすべきルールを読み出し、関連付け部３１３で生成された項目名と連結要素との関連付けのうち、ルールに違反する関連付けを削除する。
【０１５９】
連結要素統合部３１５は、同一の項目名に関連付けられた連結要素同士を統合し、項目名に対応する統合外接矩形領域に設定する。すなわち、連結要素統合部３１５は、連結要素抽出部３１８により抽出し、関連付け部３１３によって関連付け、関連付け検証部３１４によって関連付けを削除されずに維持された連結要素を統合して項目名に関連付ける統合外接矩形領域を設定する。このとき連結要素統合部３１５は、連結要素が画像中の他の連結要素と外接する矩形である外接矩形を設定し、設定した外接矩形同士が重なっている連結要素の外接矩形を統合して統合外接矩形領域を設定する。
【０１６０】
統合連結要素文字認識部３１６は、設定した統合外接矩形領域について項目名文字列領域の項目名に対応する文字カテゴリ情報が示す文字カテゴリにおいて文字認識を行って項目値文字列を取得し、項目名文字列領域の項目名と取得した項目値文字列とを関連付けの結果として対応関係記憶部１５３に記憶させる。
【０１６１】
文字カテゴリ限定部３１７は、項目名情報記憶部３５１に記憶されている項目名情報から項目名に対応する項目値の文字カテゴリ情報を取得する。
連結要素抽出部３１８は、非項目名文字列領域に対して連結要素解析を行い、項目値文字列の一部を示す特定の画素が連結している領域である連結要素を抽出する。ここで、連結要素は、特定の画素が連結している領域である。また、特定の画素は、例えば、予め設定された画素値以上の画素等の基準で抽出される画素であり、認識対象の文字列の一部を示す画素である。
【０１６２】
画像記憶部１２０は、項目名を示す文字を有する項目名文字列と項目名に対応する内容を示す文字を有する項目値文字列とを有する画像を記憶する。画像記憶部１２０に記憶されている画像は、項目名および項目値を有する帳票等の文書の画像である。この画像は、スキャナ等の光学式読み取り装置で取得してもよく、コンピュータ等により直接電子ファイルで作成された帳票等の文書を画像に変換することにより取得してもよい。
【０１６３】
項目名情報記憶部３５１は、例えば、『氏名』、『住所』等の項目名の項目値文字列を示す情報、項目名が複数の項目値と対応する連記表であるか否かを示す情報を有する項目名文字列情報を有する項目名情報を記憶する。また、本実施の形態の項目名情報記憶部３５１は、項目名に対応する項目値文字列に使用できる文字の範囲である文字カテゴリを示す文字カテゴリ情報を、項目名情報において項目名と関連付けて記憶する。
【０１６４】
本実施の形態の文字列認識装置３００では、項目値文字列領域について文字認識を行う場合、項目名情報記憶部３５１に記憶されている文字カテゴリ情報に基づいて文字カテゴリの限定を行う。すなわち、文字カテゴリ情報により文字認識時において項目名に対応する項目値文字列の文字カテゴリが分かっているので、その項目値に使用できる文字カテゴリを限定することができる。
【０１６５】
例えば、項目名が『日付』であれば、その項目値に現れる文字は、［０１２３４５６７８９年月日明治大正昭和平成西暦］の範囲に限定することができる。また、項目名が『フリガナ』であれば、その項目値には、カタカナ文字に限定できる。
【０１６６】
これらの事実を利用し、本実施の形態では、項目値文字列領域の文字認識を行う前にその項目値が取り得る文字カテゴリを決定し、その範囲内での文字認識を行う。これにより類似文字の誤認識を抑制することができる。
【０１６７】
例えば、
“２００９年 １月 ５日”
という年月日の表記があった場合、文字認識結果は、以下のように誤認識された場合について考える。
【０１６８】
“２ＯＯ９年 ｌ月 Ｓ日”
つまり、“０”（ゼロ）は“Ｏ”（オー）、“１”（イチ）は、“ｌ”（エル）、“５”（ゴ）は“Ｓ”（エス）のように文字認識誤りが発生する場合がある。ここで、文字認識時点で、文字カテゴリを数字に限定し、アルファベットは認識対象外としていれば、上記のような文字の誤認識を防止することが可能である。
【０１６９】
文字列候補記憶部１５２では、項目名文字列抽出処理において認識結果文字の文字列候補を示す情報を記憶する。
対応関係記憶部１５３は、項目名と統合認識結果文字列とを関連付けて示す対応関係情報を記憶する。この統合認識結果文字列は、統合連結要素文字認識部３１６によって文字認識した結果得られる。この対応関係情報により、画像に含まれている項目名および項目値ならびに項目名と項目値との対応関係が示される。
【０１７０】
ルール記憶部３５４は、項目名と連結要素との関連付けのルールを記憶する。ルール記憶部３５４に記憶されているルールは、例えば、１つの連結要素に対応関係を有する項目名が複数存在する場合の関連付けのルール、１つの項目名に対応関係を有する連結要素が複数存在する場合の関連付けのルールを含む。また、１つの項目名に１つの連結要素が対応関係を有する場合において、１つの項目名に関連付け可能な連結要素が複数存在するときに、連結要素を複数の項目名のうちの１つの正しい項目名と関連付けて他の対応関係を削除する関連付けのルールを含む。
【０１７１】
また、図１に示した第１の実施の形態の機能のうち、文字ブロック位置取得部１ａの機能は、項目名文字列抽出部３１２、連結要素抽出部３１８で実現されている。また、対応関係設定部１ｂ、文字ブロック統合部１ｅの機能は、関連付け部３１３、関連付け検証部３１４、連結要素統合部３１５、統合連結要素文字認識部３１６で実現されている。
【０１７２】
図３６から図３７は、第３の実施の形態の文字列認識処理の手順を示すフローチャートである。文字列認識処理は、帳票の画像読み取りやユーザの文字列認識処理を実行する操作に基づいて、文字列認識装置３００により実行が開始される。以下、図３６および図３７に示す処理をステップ番号に沿って説明する。
【０１７３】
〔ステップＳ５１〕項目名文字列抽出部３１２は、項目名情報記憶部３５１に記憶されている項目名情報を取得する。
〔ステップＳ５２〕項目名文字列抽出部３１２は、帳票画像等から項目名文字列を抽出する項目名文字列抽出処理を実行する。
【０１７４】
〔ステップＳ５３〕連結要素抽出部３１８は、ステップＳ５２で取得した項目名文字列領域以外の非項目名文字列領域について連結要素の抽出を行い、連結要素を取得する。この非項目名文字列領域に対する連結要素は、第２の実施の形態の項目名文字列抽出におけるステップＳ２２（図２４、図２７参照）と同様の処理によって取得する。
【０１７５】
〔ステップＳ５４〕関連付け部３１３は、所定の位置関係に該当するステップＳ５２で抽出した項目名文字列とステップＳ５３で取得した連結要素とを、ルール記憶部３５４に記憶されているルールに基づいて関連付ける。
【０１７６】
〔ステップＳ５５〕関連付け検証部３１４は、ステップＳ５４における関連付けについて検証し、検証の結果正しくない関連付けを削除する。
〔ステップＳ５６〕連結要素統合部３１５は、ステップＳ５４およびステップＳ５５による関連付けによって、同一の項目名文字列に関連付けた連結要素を統合して項目名文字列に対応する項目値文字列領域に設定する。
【０１７７】
〔ステップＳ６１〕文字カテゴリ限定部３１７は、項目名情報記憶部３５１に記憶されている項目名情報から項目名文字列に対応する文字カテゴリを取得する。
〔ステップＳ６２〕統合連結要素文字認識部３１６は、ステップＳ６１で取得した文字カテゴリによって、ステップＳ５６（図３６）で設定した項目値文字列領域に文字認識を行い、認識結果である統合認識結果文字列を項目名文字列が示す項目名に対応する項目値として設定する。
【０１７８】
〔ステップＳ６３〕統合連結要素文字認識部３１６は、ステップＳ６２で設定した帳票画像の項目名と項目値との対応関係を、対応関係記憶部１５３に記憶させる。
図３８および図３９は、第３の実施の形態における第１の例の帳票画像の処理の様子を示す図である。図３８（Ａ）および図３８（Ｂ）に従って、帳票画像４１０の項目名文字列領域４１２ａ，４１２ｂおよび連結要素４１６ａ１，・・・、連結要素４１６ｂ１，・・・に基づいてステップＳ５４およびステップＳ５５の処理を説明する。本実施の形態の文字列認識装置３００は、ステップＳ５３で抽出した連結要素について、ステップＳ５４により、項目名文字列との関連付けを行う。このステップＳ５４の関連付けでは、項目名文字列が位置する項目名文字列領域と連結要素の位置とが、ルール記憶部３５４に記憶されているルールが示す所定の位置関係にある場合、項目名文字列が示す項目名と連結要素とが関連付けられる。
【０１７９】
ここで、図３８（Ａ）に示すように、本実施の形態の文字列認識処理のステップＳ５１からステップＳ５３の処理によって、帳票画像４１０において項目名文字列領域４１２ａ，４１２ｂが設定されているものとする。また、帳票画像４１０に含まれる項目値文字列「神奈川県川崎市小山 １−２３−４」が有する連結要素４１６ａ１，４１６ａ２，４１６ａ３，４１６ａ４，４１６ａ５，４１６ａ６，４１６ａ７，４１６ａ８，・・・、項目値文字列「東京太郎」が有する連結要素４１６ｂ１，４１６ｂ２，４１６ｂ３，４１６ｂ４，４１６ｂ５，・・・が抽出されているものとする。
【０１８０】
これに対して本実施の形態の文字列認識装置３００は、ステップＳ５４により項目名文字列領域４１２ａと連結要素４１６ａ１，・・・、項目名文字列領域４１２ａと連結要素４１６ｂ１，・・・、項目名文字列領域４１２ｂと連結要素４１６ｂ１，・・・の３組が、ルール記憶部３５４に記憶されているルールが示す所定の位置関係（例えば、連結要素の中心の上方、左方または左上方に項目名文字列領域の外接矩形が存在）を満たすものとして一旦関連付ける。
【０１８１】
次に、文字列認識装置３００は、ステップＳ５５により項目名文字列と連結要素との関連付けの検証および削除を行う。このステップＳ５５の関連付けの検証および削除では、関連付けられた項目名文字列と連結要素とが、ルール記憶部３５４に記憶されているルールに違反するか等に基づいて、関連付けが正しいか否かについて検証される。そして、検証の結果に基づき、ステップＳ５４で関連付けられた、関連付けが正しくない項目名と連結要素との関連付けが削除される。
【０１８２】
ステップＳ５５において、ルール記憶部３５４に記憶されているルール（例えば、連結要素の中心の左方に項目名文字列領域が存在する場合、連結要素の中心の左上方の項目名文字列への関連付けは削除）に基づいて、項目名文字列領域４１２ａと連結要素４１６ｂ１，・・・については、図３８（Ｂ）の点線の矢印で示すように、関連付けが削除される。このようにして、正しくない関連付けが削除され、正しい関連付けのみが維持される。
【０１８３】
本実施の形態の文字列認識装置３００では、ステップＳ５６によりステップＳ５５で検証された関連付けに基づいて、同一の項目名文字列領域に関連付けられたすべての連結要素の外接矩形を１つに統合する。そして、統合後の外接矩形を、項目名に対応する項目値文字列領域に設定する。具体的には、図３９に示すように、項目名文字列領域４１２ａに関連付けられた各連結要素４１６ａ１，・・・の外接矩形が統合され、項目名文字列領域４１２ａに対応する項目値文字列領域４１７ａが設定される。また、項目名文字列領域４１２ｂに関連付けられた各連結要素４１６ｂ１，・・・の外接矩形が統合され、項目名文字列領域４１２ｂに対応する項目値文字列領域４１７ｂが設定される。
【０１８４】
本実施の形態では、この設定された項目値文字列領域４１７ａ，４１７ｂについてステップＳ６２でそれぞれ文字認識を行うことにより統合認識結果文字列を取得し、ステップＳ６３でそれぞれ項目名文字列領域４１２ａ，４１２ｂと関連付けられる。
【０１８５】
このように、本実施の形態の文字列認識処理では、項目値文字列領域４１７ａ，４１７ｂを適切に設定することが可能になる。これにより、文字列認識の誤認識の発生を抑制することができる。
【０１８６】
図４０は、第３の実施の形態の項目名情報テーブルの例を示す図である。図４０に示す項目名情報テーブル３５１ａは、本実施の形態の文字列認識装置３００による文字列認識処理を実行する際に適用される項目名情報を記憶するテーブルである。項目名情報テーブル３５１ａは、項目名情報記憶部３５１に記憶されている。項目名情報テーブル３５１ａには、“項目名番号”フィールド、“項目名文字列”フィールド、“連記表”フィールド、“文字カテゴリ”フィールドが設けられている。各項目の横方向に並べられた情報同士が項目名情報として互いに関連付けられている。
【０１８７】
“文字カテゴリ”フィールドには、項目名番号で特定された項目名と対応関係を有する項目値が取り得る文字の種類を示す文字カテゴリが設定される。本実施の形態の文字列認識装置３００は、文字列認識処理のステップＳ６１で項目名情報から項目名文字列に対応する文字カテゴリを取得する。そして、文字列認識装置３００は、ステップＳ６２で項目名文字列に対応する項目値文字列領域を文字カテゴリの文字の範囲で文字認識を行い、項目名の項目値に設定することができる。これにより、項目値文字列領域の文字認識の誤認識の発生を抑制することができる。
【０１８８】
文字カテゴリには、例えば、全漢字（すべての漢字）、ひらがな、カタカナ、住所漢字（住所に使用されている漢字）、英数字記号（アルファベット、数字および記号）、数字（数字のみ）等のうち１つ、またはこれらを任意に組み合わせたものを設定することができる。さらに、人名漢字（氏名に使用可能な漢字）等の上記以外の文字カテゴリを追加して設定してもよい。
【０１８９】
図４１および図４２は、第３の実施の形態のルールテーブルの例を示す図である。図４１に示すルールテーブル３５４ａ、図４２に示すルールテーブル３５４ｂは、本実施の形態の文字列認識装置３００による文字列認識処理を実行する際に適用されるルールを記憶するテーブルである。ルールテーブル３５４ａ，３５４ｂは、ルール記憶部３５４に記憶されている。
【０１９０】
図４１に示すルールテーブル３５４ａには、“ルール”フィールド、“ルール内容”フィールドが設けられている。図４１に示す以下のルールは、一般的な帳票に対する文字列認識処理の関連付けに適用されるルールの一例である。
【０１９１】
［関連付けルール１］連結要素の中心の上方、左方または左上方に項目名文字列領域の外接矩形が存在する場合、連結要素と項目名とを関連付ける。
［関連付けルール２］項目名文字列が、表のセル内に存在する場合、セルの枠の矩形を、項目名文字列領域の外接矩形とみなす。
【０１９２】
［関連付けルール３］関連付けられた項目名が２個以上存在し、項目名の中に連記表に適用されないものが存在する場合、連結要素に最も近い項目名文字列の関連付けのみ残す。
【０１９３】
［妥当性ルール１］連結要素の中心の上方または左方に項目名文字列領域が存在する場合であって、連結要素の中心の左上方に存在する他の項目名文字列への関連付けがあるとき、連結要素の中心の左上方に存在する他の項目名文字列への関連付けは削除する。
【０１９４】
また、本実施の形態の関連付けのルールの別の例を示す。
図４２に示すルールテーブル３５４ｂには、“適用範囲”フィールド、“ルール”フィールド、“ルール内容”フィールドが設けられている。図４２に示す以下のルールは、連記表である項目を含む可能性があると共に、罫線を有する可能性があり、さらに２次元表である可能性がある帳票に対する文字列認識処理の関連付けに適用されるルールの一例である。
【０１９５】
・項目名の連記表が“有”
［ルール１］連結要素の中心の上方、左方または左上方に項目名文字列領域の外接矩形が存在する場合、連結要素と項目名とを関連付ける。
【０１９６】
［ルール２］項目名文字列が、表のセル内に存在する場合、セルの枠の矩形を、項目名文字列領域の外接矩形とみなす。
［ルール３］関連付けられた項目名が２個以上存在し、項目名の中に連記表に適用されないものが存在する場合、連結要素に最も近い項目名文字列の関連付けのみ残す。
【０１９７】
・項目名の連記表が“無”
［ルール１］連結要素の中心の上方、左方または左上方に項目名文字列領域の外接矩形が存在する場合、連結要素と項目名文字列とを関連付ける。
【０１９８】
［ルール２］項目名文字列が、表のセル内に存在する場合、セルの枠の矩形を、項目名文字列領域の外接矩形とみなす。
なお、本実施の形態では、関連付けにおいて帳票のフォーマットに応じた任意のルールを設定することができる。
【０１９９】
第３の実施の形態では、第２の実施の形態に加えて、連結要素に分解してから関連付けルールに従って連結要素を項目名に関連付けることにより、項目値文字列領域を適切に設定することが可能になる。これにより、文字列認識の誤認識の発生を抑制することができる。
【０２００】
また、項目値の文字カテゴリを予め項目名に対応付けておき、項目名文字列に対応する項目値文字列領域を文字カテゴリの文字の範囲で文字認識を行い、項目名の項目値に設定することができる。これにより、項目値文字列領域の文字認識の誤認識の発生を抑制することができる。
【０２０１】
なお、上記の処理機能は、文字列認識装置によって実現することができる。その場合、サーバが有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムを文字列認識装置で実行することにより、上記処理機能が文字列認識装置上で実現される。処理内容を記述したプログラムは、文字列認識装置で読み取り可能な記録媒体に記録しておくことができる。文字列認識装置で読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disc）などがある。
【０２０２】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバ文字列認識装置の記憶装置に格納しておき、ネットワークを介して、サーバ文字列認識装置から他の文字列認識装置にそのプログラムを転送することもできる。
【０２０３】
プログラムを実行する文字列認識装置は、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバ文字列認識装置から転送されたプログラムを、自己の記憶装置に格納する。そして、文字列認識装置は、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、文字列認識装置は、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、文字列認識装置は、サーバ文字列認識装置からプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【０２０４】
また、上記の処理機能の少なくとも一部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）などの電子回路で実現することもできる。
【０２０５】
以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の２以上の構成（特徴）を組み合わせたものであってもよい。
【０２０６】
以上説明した実施の形態の主な技術的特徴は、以下の付記の通りである。
（付記１） 項目名を示す文字を有する項目名文字列と前記項目名に対応する内容を示す文字を有する内容文字列とを有する画像を記憶する画像記憶部と、
前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す項目名文字ブロックと、前記内容文字列の一部または全部を示す内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得する文字ブロック位置取得部と、
前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を対応関係記憶部に記憶させる対応関係設定部と、
を有することを特徴とする文字列認識装置。
【０２０７】
（付記２） 前記内容文字ブロックは、前記内容文字列の一部または全部の文字列を有し、
前記文字ブロック位置取得部は、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記項目名文字ブロック以外の領域である非項目名文字領域について文字認識を行って認識結果文字列を取得し、取得した前記認識結果文字列を前記内容文字ブロックとして抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得し、
前記対応関係設定部は、前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記認識結果文字列を同一の前記項目名文字ブロックが抽出されたもの同士について統合して前記内容文字列とし、前記項目名文字ブロックの前記項目名と統合した前記内容文字列とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記１記載の文字列認識装置。
【０２０８】
（付記３） 前記内容文字ブロックは、前記内容文字列の一部を示す特定の画素が連結している領域である連結要素を有し、
前記文字ブロック位置取得部は、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記項目名文字ブロック以外の領域である非項目名文字領域から前記連結要素に基づいて前記内容文字列の一部または全部を示す前記内容文字ブロックを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得し、
前記対応関係設定部は、前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記連結要素と抽出した前記項目名文字ブロックの前記項目名とを関連付け、前記内容文字ブロックが有する前記連結要素について、前記連結要素が前記画像中の他の連結要素と外接する矩形である外接矩形を設定し、設定した前記外接矩形同士が重なっている前記連結要素の前記外接矩形を統合して統合外接矩形領域を設定し、設定した前記統合外接矩形領域について文字認識を行って前記内容文字列を取得し、抽出した前記項目名文字ブロックの前記項目名と取得した前記内容文字列とを関連付けの結果として前記対応関係記憶部に記憶させることを特徴とする付記１記載の文字列認識装置。
【０２０９】
（付記４） 前記項目名に対応する前記内容文字列の文字カテゴリを示す文字カテゴリ情報を有する項目名情報を記憶する項目名情報記憶部を有し、
前記対応関係設定部は、前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記連結要素と抽出した前記項目名文字ブロックの前記項目名とを関連付け、前記内容文字ブロックが有する前記連結要素について前記外接矩形を設定し、設定した前記外接矩形同士が重なっている前記連結要素の前記外接矩形を統合して統合外接矩形領域を設定し、設定した前記統合外接矩形領域について前記項目名文字ブロックの前記項目名に対応する前記文字カテゴリ情報が示す文字カテゴリにおいて文字認識を行って前記内容文字列を取得し、抽出した前記項目名文字ブロックの前記項目名と取得した前記内容文字列とを関連付けの結果として前記対応関係記憶部に記憶させることを特徴とする付記３記載の文字列認識装置。
【０２１０】
（付記５） 前記項目名の前記内容文字列を示す項目名文字列情報を有する項目名情報を記憶する項目名情報記憶部を有し、
前記文字ブロック位置取得部は、前記項目名情報記憶部に記憶されている前記項目名文字列情報に基づいて前記項目名文字列を示す前記項目名文字ブロックと、前記内容文字列の一部または全部を示す前記内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得することを特徴とする付記１記載の文字列認識装置。
【０２１１】
（付記６） 前記対応関係設定部は、前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から左方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記１記載の文字列認識装置。
【０２１２】
（付記７） 前記対応関係設定部は、前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から上方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記１記載の文字列認識装置。
【０２１３】
（付記８） 前記文字ブロック位置取得部は、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記非項目名文字領域について１文字単位で文字認識を行って前記認識結果文字列を取得し、取得した前記認識結果文字列を前記内容文字ブロックとして抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得することを特徴とする付記２記載の文字列認識装置。
【０２１４】
（付記９） 前記関連付けのルールを記憶するルール記憶部を有し、
前記対応関係設定部は、前記ルール記憶部に記憶されている前記ルールに従って、前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記１記載の文字列認識装置。
【０２１５】
（付記１０） 前記ルール記憶部に記憶されている前記ルールは、１つの前記内容に対応関係を有する前記項目名が複数存在する場合の前記関連付けのルールを含むことを特徴とする付記９記載の文字列認識装置。
【０２１６】
（付記１１） 前記ルール記憶部に記憶されている前記ルールは、１つの前記項目名に対応関係を有する前記内容が複数存在する場合の前記関連付けのルールを含むことを特徴とする付記９記載の文字列認識装置。
【０２１７】
（付記１２） 前記ルール記憶部に記憶されている前記ルールは、１つの前記項目名に１つの前記内容が対応関係を有する場合において、１つの前記項目名に関連付け可能な前記内容が複数存在するときに、前記内容を複数の前記項目名のうちの１つの正しい項目名と関連付ける前記関連付けのルールを含むことを特徴とする付記９記載の文字列認識装置。
【０２１８】
（付記１３） コンピュータに、
画像記憶部に記憶されている項目名を示す文字を有する項目名文字列と前記項目名に対応する内容を示す文字を有する内容文字列とを有する画像から、前記項目名文字列を示す項目名文字ブロックと、前記内容文字列の一部または全部を示す内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得する文字ブロック位置取得ステップと、
前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を対応関係記憶部に記憶させる対応関係設定ステップと、
を有する処理を実行させることを特徴とする文字列認識プログラム。
【０２１９】
（付記１４） 前記内容文字ブロックは、前記内容文字列の一部または全部の文字列を有し、
前記文字ブロック位置取得ステップでは、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記項目名文字ブロック以外の領域である非項目名文字領域について文字認識を行って認識結果文字列を取得し、取得した前記認識結果文字列を前記内容文字ブロックとして抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得し、
前記対応関係設定ステップでは、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記認識結果文字列を同一の前記項目名文字ブロックが抽出されたもの同士について統合して前記内容文字列とし、前記項目名文字ブロックの前記項目名と統合した前記内容文字列とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記１３記載の文字列認識プログラム。
【０２２０】
（付記１５） 前記内容文字ブロックは、前記内容文字列の一部を示す特定の画素が連結している領域である連結要素を有し、
前記文字ブロック位置取得ステップでは、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記項目名文字ブロック以外の領域である非項目名文字領域から前記連結要素に基づいて前記内容文字列の一部または全部を示す前記内容文字ブロックを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得し、
前記対応関係設定ステップでは、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記連結要素と抽出した前記項目名文字ブロックの前記項目名とを関連付け、前記内容文字ブロックが有する前記連結要素について、前記連結要素が前記画像中の他の連結要素と外接する矩形である外接矩形を設定し、設定した前記外接矩形同士が重なっている前記連結要素の前記外接矩形を統合して統合外接矩形領域を設定し、設定した前記統合外接矩形領域について文字認識を行って前記内容文字列を取得し、抽出した前記項目名文字ブロックの前記項目名と取得した前記内容文字列とを関連付けの結果として前記対応関係記憶部に記憶させることを特徴とする付記１３記載の文字列認識プログラム。
【０２２１】
（付記１６） 前記対応関係設定ステップでは、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記連結要素と抽出した前記項目名文字ブロックの前記項目名とを関連付け、前記内容文字ブロックが有する前記連結要素について前記外接矩形を設定し、設定した前記外接矩形同士が重なっている前記連結要素の前記外接矩形を統合して統合外接矩形領域を設定し、設定した前記統合外接矩形領域について前記項目名文字ブロックの前記項目名に対応する項目名情報記憶部に記憶されている前記項目名に対応する前記内容文字列の文字カテゴリを示す文字カテゴリ情報が示す文字カテゴリにおいて文字認識を行って前記内容文字列を取得し、抽出した前記項目名文字ブロックの前記項目名と取得した前記内容文字列とを関連付けの結果として前記対応関係記憶部に記憶させることを特徴とする付記１５記載の文字列認識プログラム。
【０２２２】
（付記１７） 前記文字ブロック位置取得ステップでは、項目名情報記憶部に記憶されている前記項目名の前記内容文字列を示す項目名文字列情報に基づいて前記項目名文字列を示す前記項目名文字ブロックと、前記内容文字列の一部または全部を示す前記内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得することを特徴とする付記１３記載の文字列認識プログラム。
【０２２３】
（付記１８） 前記対応関係設定ステップでは、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から左方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記１３記載の文字列認識プログラム。
【０２２４】
（付記１９） 前記対応関係設定ステップでは、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から上方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記１３記載の文字列認識プログラム。
【０２２５】
（付記２０） 前記文字ブロック位置取得ステップでは、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記非項目名文字領域について１文字単位で文字認識を行って前記認識結果文字列を取得し、取得した前記認識結果文字列を前記内容文字ブロックとして抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得することを特徴とする付記１４記載の文字列認識プログラム。
【０２２６】
（付記２１） 前記対応関係設定ステップは、ルール記憶部に記憶されている前記関連付けのルールに従って、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記１３記載の文字列認識プログラム。
【０２２７】
（付記２２） 前記ルール記憶部に記憶されている前記ルールは、１つの前記内容に対応関係を有する前記項目名が複数存在する場合の前記関連付けのルールを含むことを特徴とする付記２１記載の文字列認識プログラム。
【０２２８】
（付記２３） 前記ルール記憶部に記憶されている前記ルールは、１つの前記項目名に対応関係を有する前記内容が複数存在する場合の前記関連付けのルールを含むことを特徴とする付記２１記載の文字列認識プログラム。
【０２２９】
（付記２４） 前記ルール記憶部に記憶されている前記ルールは、１つの前記項目名に１つの前記内容が対応関係を有する場合において、１つの前記項目名に関連付け可能な前記内容が複数存在するときに、前記内容を複数の前記項目名のうちの１つの正しい項目名と関連付ける前記関連付けのルールを含むことを特徴とする付記２１記載の文字列認識プログラム。
【０２３０】
（付記２５） コンピュータが、
画像記憶部に記憶されている項目名を示す文字を有する項目名文字列と前記項目名に対応する内容を示す文字を有する内容文字列とを有する画像から、前記項目名文字列を示す項目名文字ブロックと、前記内容文字列の一部または全部を示す内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得する文字ブロック位置取得ステップと、
前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を対応関係記憶部に記憶させる対応関係設定ステップと、
を有することを特徴とする文字列認識方法。
【０２３１】
（付記２６） 前記内容文字ブロックは、前記内容文字列の一部または全部の文字列を有し、
前記文字ブロック位置取得ステップでは、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記項目名文字ブロック以外の領域である非項目名文字領域について文字認識を行って認識結果文字列を取得し、取得した前記認識結果文字列を前記内容文字ブロックとして抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得し、
前記対応関係設定ステップでは、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記認識結果文字列を同一の前記項目名文字ブロックが抽出されたもの同士について統合して前記内容文字列とし、前記項目名文字ブロックの前記項目名と統合した前記内容文字列とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記２５記載の文字列認識方法。
【０２３２】
（付記２７） 前記内容文字ブロックは、前記内容文字列の一部を示す特定の画素が連結している領域である連結要素を有し、
前記文字ブロック位置取得ステップでは、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記項目名文字ブロック以外の領域である非項目名文字領域から前記連結要素に基づいて前記内容文字列の一部または全部を示す前記内容文字ブロックを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得し、
前記対応関係設定ステップでは、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記連結要素と抽出した前記項目名文字ブロックの前記項目名とを関連付け、前記内容文字ブロックが有する前記連結要素について、前記連結要素が前記画像中の他の連結要素と外接する矩形である外接矩形を設定し、設定した前記外接矩形同士が重なっている前記連結要素の前記外接矩形を統合して統合外接矩形領域を設定し、設定した前記統合外接矩形領域について文字認識を行って前記内容文字列を取得し、抽出した前記項目名文字ブロックの前記項目名と取得した前記内容文字列とを関連付けの結果として前記対応関係記憶部に記憶させることを特徴とする付記２５記載の文字列認識方法。
【０２３３】
（付記２８） 前記対応関係設定ステップでは、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記連結要素と抽出した前記項目名文字ブロックの前記項目名とを関連付け、前記内容文字ブロックが有する前記連結要素について前記外接矩形を設定し、設定した前記外接矩形同士が重なっている前記連結要素の前記外接矩形を統合して統合外接矩形領域を設定し、設定した前記統合外接矩形領域について前記項目名文字ブロックの前記項目名に対応する項目名情報記憶部に記憶されている前記項目名に対応する前記内容文字列の文字カテゴリを示す文字カテゴリ情報が示す文字カテゴリにおいて文字認識を行って前記内容文字列を取得し、抽出した前記項目名文字ブロックの前記項目名と取得した前記内容文字列とを関連付けの結果として前記対応関係記憶部に記憶させることを特徴とする付記２７記載の文字列認識方法。
【０２３４】
（付記２９） 前記文字ブロック位置取得ステップでは、項目名情報記憶部に記憶されている前記項目名の前記内容文字列を示す項目名文字列情報に基づいて前記項目名文字列を示す前記項目名文字ブロックと、前記内容文字列の一部または全部を示す前記内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得することを特徴とする付記２５記載の文字列認識方法。
【０２３５】
（付記３０） 前記対応関係設定ステップでは、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から左方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記２５記載の文字列認識方法。
【０２３６】
（付記３１） 前記対応関係設定ステップでは、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から上方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記２５記載の文字列認識方法。
【０２３７】
（付記３２） 前記文字ブロック位置取得ステップでは、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記非項目名文字領域について１文字単位で文字認識を行って前記認識結果文字列を取得し、取得した前記認識結果文字列を前記内容文字ブロックとして抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得することを特徴とする付記２６記載の文字列認識方法。
【０２３８】
（付記３３） 前記対応関係設定ステップは、ルール記憶部に記憶されている前記関連付けのルールに従って、前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする付記２５記載の文字列認識方法。
【０２３９】
（付記３４） 前記ルール記憶部に記憶されている前記ルールは、１つの前記内容に対応関係を有する前記項目名が複数存在する場合の前記関連付けのルールを含むことを特徴とする付記３３記載の文字列認識方法。
【０２４０】
（付記３５） 前記ルール記憶部に記憶されている前記ルールは、１つの前記項目名に対応関係を有する前記内容が複数存在する場合の前記関連付けのルールを含むことを特徴とする付記３３記載の文字列認識方法。
【０２４１】
（付記３６） 前記ルール記憶部に記憶されている前記ルールは、１つの前記項目名に１つの前記内容が対応関係を有する場合において、１つの前記項目名に関連付け可能な前記内容が複数存在するときに、前記内容を複数の前記項目名のうちの１つの正しい項目名と関連付ける前記関連付けのルールを含むことを特徴とする付記３３記載の文字列認識方法。
【符号の説明】
【０２４２】
１ 文字列認識装置
１ａ 文字ブロック位置取得部
１ｂ 対応関係設定部
１ｃ 画像記憶部
１ｄ 対応関係記憶部
１ｅ 文字ブロック統合部
【特許請求の範囲】
【請求項１】
項目名を示す文字を有する項目名文字列と前記項目名に対応する内容を示す文字を有する内容文字列とを有する画像を記憶する画像記憶部と、
前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す項目名文字ブロックと、前記内容文字列の一部または全部を示す内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得する文字ブロック位置取得部と、
前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を対応関係記憶部に記憶させる対応関係設定部と、
を有することを特徴とする文字列認識装置。
【請求項２】
前記内容文字ブロックは、前記内容文字列の一部または全部の文字列を有し、
前記文字ブロック位置取得部は、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記項目名文字ブロック以外の領域である非項目名文字領域について文字認識を行って認識結果文字列を取得し、取得した前記認識結果文字列を前記内容文字ブロックとして抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得し、
前記対応関係設定部は、前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記認識結果文字列を同一の前記項目名文字ブロックが抽出されたもの同士について統合して前記内容文字列とし、前記項目名文字ブロックの前記項目名と統合した前記内容文字列とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする請求項１記載の文字列認識装置。
【請求項３】
前記内容文字ブロックは、前記内容文字列の一部を示す特定の画素が連結している領域である連結要素を有し、
前記文字ブロック位置取得部は、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記項目名文字ブロック以外の領域である非項目名文字領域から前記連結要素に基づいて前記内容文字列の一部または全部を示す前記内容文字ブロックを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得し、
前記対応関係設定部は、前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記連結要素と抽出した前記項目名文字ブロックの前記項目名とを関連付け、前記内容文字ブロックが有する前記連結要素について、前記連結要素が前記画像中の他の連結要素と外接する矩形である外接矩形を設定し、設定した前記外接矩形同士が重なっている前記連結要素の前記外接矩形を統合して統合外接矩形領域を設定し、設定した前記統合外接矩形領域について文字認識を行って前記内容文字列を取得し、抽出した前記項目名文字ブロックの前記項目名と取得した前記内容文字列とを関連付けの結果として前記対応関係記憶部に記憶させることを特徴とする請求項１記載の文字列認識装置。
【請求項４】
前記項目名に対応する前記内容文字列の文字カテゴリを示す文字カテゴリ情報を有する項目名情報を記憶する項目名情報記憶部を有し、
前記対応関係設定部は、前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記連結要素と抽出した前記項目名文字ブロックの前記項目名とを関連付け、前記内容文字ブロックが有する前記連結要素について前記外接矩形を設定し、設定した前記外接矩形同士が重なっている前記連結要素の前記外接矩形を統合して統合外接矩形領域を設定し、設定した前記統合外接矩形領域について前記項目名文字ブロックの前記項目名に対応する前記文字カテゴリ情報が示す文字カテゴリにおいて文字認識を行って前記内容文字列を取得し、抽出した前記項目名文字ブロックの前記項目名と取得した前記内容文字列とを関連付けの結果として前記対応関係記憶部に記憶させることを特徴とする請求項３記載の文字列認識装置。
【請求項５】
前記項目名の前記内容文字列を示す項目名文字列情報を有する項目名情報を記憶する項目名情報記憶部を有し、
前記文字ブロック位置取得部は、前記項目名情報記憶部に記憶されている前記項目名文字列情報に基づいて前記項目名文字列を示す前記項目名文字ブロックと、前記内容文字列の一部または全部を示す前記内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得することを特徴とする請求項１記載の文字列認識装置。
【請求項６】
コンピュータに、
画像記憶部に記憶されている項目名を示す文字を有する項目名文字列と前記項目名に対応する内容を示す文字を有する内容文字列とを有する画像から、前記項目名文字列を示す項目名文字ブロックと、前記内容文字列の一部または全部を示す内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得する文字ブロック位置取得ステップと、
前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を対応関係記憶部に記憶させる対応関係設定ステップと、
を有する処理を実行させることを特徴とする文字列認識プログラム。
【請求項７】
コンピュータが、
画像記憶部に記憶されている項目名を示す文字を有する項目名文字列と前記項目名に対応する内容を示す文字を有する内容文字列とを有する画像から、前記項目名文字列を示す項目名文字ブロックと、前記内容文字列の一部または全部を示す内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得する文字ブロック位置取得ステップと、
前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を対応関係記憶部に記憶させる対応関係設定ステップと、
を有することを特徴とする文字列認識方法。
【請求項１】
項目名を示す文字を有する項目名文字列と前記項目名に対応する内容を示す文字を有する内容文字列とを有する画像を記憶する画像記憶部と、
前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す項目名文字ブロックと、前記内容文字列の一部または全部を示す内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得する文字ブロック位置取得部と、
前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を対応関係記憶部に記憶させる対応関係設定部と、
を有することを特徴とする文字列認識装置。
【請求項２】
前記内容文字ブロックは、前記内容文字列の一部または全部の文字列を有し、
前記文字ブロック位置取得部は、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記項目名文字ブロック以外の領域である非項目名文字領域について文字認識を行って認識結果文字列を取得し、取得した前記認識結果文字列を前記内容文字ブロックとして抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得し、
前記対応関係設定部は、前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記認識結果文字列を同一の前記項目名文字ブロックが抽出されたもの同士について統合して前記内容文字列とし、前記項目名文字ブロックの前記項目名と統合した前記内容文字列とを関連付け、関連付けた結果を前記対応関係記憶部に記憶させることを特徴とする請求項１記載の文字列認識装置。
【請求項３】
前記内容文字ブロックは、前記内容文字列の一部を示す特定の画素が連結している領域である連結要素を有し、
前記文字ブロック位置取得部は、前記画像記憶部に記憶されている前記画像から、前記項目名文字列を示す前記項目名文字ブロックを抽出すると共に、前記項目名文字ブロック以外の領域である非項目名文字領域から前記連結要素に基づいて前記内容文字列の一部または全部を示す前記内容文字ブロックを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得し、
前記対応関係設定部は、前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記連結要素と抽出した前記項目名文字ブロックの前記項目名とを関連付け、前記内容文字ブロックが有する前記連結要素について、前記連結要素が前記画像中の他の連結要素と外接する矩形である外接矩形を設定し、設定した前記外接矩形同士が重なっている前記連結要素の前記外接矩形を統合して統合外接矩形領域を設定し、設定した前記統合外接矩形領域について文字認識を行って前記内容文字列を取得し、抽出した前記項目名文字ブロックの前記項目名と取得した前記内容文字列とを関連付けの結果として前記対応関係記憶部に記憶させることを特徴とする請求項１記載の文字列認識装置。
【請求項４】
前記項目名に対応する前記内容文字列の文字カテゴリを示す文字カテゴリ情報を有する項目名情報を記憶する項目名情報記憶部を有し、
前記対応関係設定部は、前記文字ブロック位置取得部により取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックの前記連結要素と抽出した前記項目名文字ブロックの前記項目名とを関連付け、前記内容文字ブロックが有する前記連結要素について前記外接矩形を設定し、設定した前記外接矩形同士が重なっている前記連結要素の前記外接矩形を統合して統合外接矩形領域を設定し、設定した前記統合外接矩形領域について前記項目名文字ブロックの前記項目名に対応する前記文字カテゴリ情報が示す文字カテゴリにおいて文字認識を行って前記内容文字列を取得し、抽出した前記項目名文字ブロックの前記項目名と取得した前記内容文字列とを関連付けの結果として前記対応関係記憶部に記憶させることを特徴とする請求項３記載の文字列認識装置。
【請求項５】
前記項目名の前記内容文字列を示す項目名文字列情報を有する項目名情報を記憶する項目名情報記憶部を有し、
前記文字ブロック位置取得部は、前記項目名情報記憶部に記憶されている前記項目名文字列情報に基づいて前記項目名文字列を示す前記項目名文字ブロックと、前記内容文字列の一部または全部を示す前記内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す前記位置情報を取得することを特徴とする請求項１記載の文字列認識装置。
【請求項６】
コンピュータに、
画像記憶部に記憶されている項目名を示す文字を有する項目名文字列と前記項目名に対応する内容を示す文字を有する内容文字列とを有する画像から、前記項目名文字列を示す項目名文字ブロックと、前記内容文字列の一部または全部を示す内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得する文字ブロック位置取得ステップと、
前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を対応関係記憶部に記憶させる対応関係設定ステップと、
を有する処理を実行させることを特徴とする文字列認識プログラム。
【請求項７】
コンピュータが、
画像記憶部に記憶されている項目名を示す文字を有する項目名文字列と前記項目名に対応する内容を示す文字を有する内容文字列とを有する画像から、前記項目名文字列を示す項目名文字ブロックと、前記内容文字列の一部または全部を示す内容文字ブロックとを抽出し、前記項目名文字ブロックと前記内容文字ブロックとの位置を示す位置情報を取得する文字ブロック位置取得ステップと、
前記文字ブロック位置取得ステップにより取得した前記位置情報に基づいて前記内容文字ブロックの位置から所定の方向に存在する前記項目名文字ブロックを抽出し、前記内容文字ブロックと抽出した前記項目名文字ブロックの前記項目名とを関連付け、関連付けた結果を対応関係記憶部に記憶させる対応関係設定ステップと、
を有することを特徴とする文字列認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【公開番号】特開２０１１−１５０４６６（Ｐ２０１１−１５０４６６Ａ）
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願番号】特願２０１０−９９６５（Ｐ２０１０−９９６５）
【出願日】平成２２年１月２０日（２０１０．１．２０）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願日】平成２２年１月２０日（２０１０．１．２０）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]