説明

論理構造モデル作成支援プログラム、論理構造モデル作成支援装置および論理構造モデル作成支援方法

【課題】多様なフォーマットの文書に共通する「一般論理構造モデル」の作成および更新作業を支援する。
【解決手段】(1)先ず、紙の入力帳票を画像認識して、該入力帳票の論理構造を取得する。(2)次に、予め用意されている更新前の「一般論理構造モデル」と、(1)で取得された入力帳票の論理構造とを比較する。この比較の結果、入力帳票の論理構造の「見出し」のうちで「一般論理構造モデル」の論理要素に対応するものが存在するが、該論理要素の名称または「実表現」として登録されていないと、該「見出し」を「一般論理構造モデル」の「実表現」として登録する必要がある。(3)そこで、論理構造モデル作成支援プログラム、論理構造モデル作成支援装置および論理構造モデル作成支援方法は、入力帳票から取得された「見出し」を、「一般論理構造モデル」の対応する論理要素の「実表現」として追加する作業を支援して、作業者の負担軽減を図る。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、論理構造を構成する複数の論理要素それぞれに文字列が対応付けられて記載されている画像の該論理要素と、該論理要素に対応付けられている文字列と、該論理構造とを記憶する論理構造モデルの作成を支援する論理構造モデル作成支援プログラム、論理構造モデル作成支援装置および論理構造モデル作成支援方法に関し、特に、多様なフォーマットの文書に共通する「一般論理構造モデル」の作成および更新作業を支援し、誰でも容易に「一般論理構造モデル」の作成および更新作業をおこなうことが可能な論理構造モデル作成支援プログラム、論理構造モデル作成支援装置および論理構造モデル作成支援方法に関する。
【背景技術】
【0002】
近年、業務の電子化に伴い、多くの電子化文書が利用されている。このため、紙の文書を電子化文書に変換する技術として、OCR(Optical Character Reader、または、Optical Character Recognition)等の画像認識技術の重要性が増している。
【0003】
例えば、特許文献1に開示されるように、所定のフォーマットに従ってデータが記入された紙の文書から画像認識によって抽出したいデータの「見出し」と「データ」の関係や、文書を構成する「見出し」同士の関係を「論理構造」として「論理構造モデル」に予め記憶しておき、「見出し」に対応するデータを効率的に精度よく抽出する手法がある。
【0004】
たとえば、文書が「申請書」であれば、「目的」、「氏名」、「申請日」などの「見出し」が含まれるという関係を予め「論理構造モデル」に登録しておく。OCR認識された文書中にこれらの文字列を見つけることができれば、当該文書がいずれの種類の文書であるかを特定することが可能である。この際に、「論理構造」の関係とともに、それらの位置関係も利用される。特許文献1には、「論理構造モデル」を利用して、紙の文書から画像認識によってデータを抽出する手法が開示されている。
【0005】
しかし、同じ目的の文書であっても、同じ概念を表しているが、異なる単語が用いられる場合がある。たとえば、「氏名」は、「名前」、「姓名」、「おなまえ」、「御芳名」など、異なる表現が用いられることがある。これらはいずれも「記入者の名前」を表すものであるので、抽出するデータは同一種類である。
【0006】
そこで、異なるフォーマットの紙の文書において、同じ概念を表す単語をグループ化して実表現を登録しつつ、具体的な単語ではなく概念による論理構造を定義したものを「一般論理構造モデル」として用いることで、特定のフォーマットの紙の文書に特化せず、未知の文書にも対応することができるようになる。
【0007】
【特許文献1】特開2006−134106号公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
しかしながら、上記従来技術では、「一般論理構造モデル」を作成するためには、複数のフォーマットの文書に対して共通である概念を抜き出して、具体的な関係と表現を登録しておく必要がある。多様なフォーマットの文書の見出しをすべて登録するのは大変な作業であり、一つのフォーマットの文書についてみても、目的となる「見出し」が、既存の「一般論理構造モデル」の中に存在するのか否かを確認し、さらにどの概念の要素として登録すべきかなどを考慮する必要がある。さらに、登録語が増えるにつれて、「一般論理構造モデル」の作成者以外には、その構成が分かりにくくなっていくという問題がある。
【0009】
本発明は、上記問題点(課題)を解消するためになされたものであって、多様なフォーマットの文書に共通する「一般論理構造モデル」の作成および更新作業を支援し、いかなる者であっても容易に「一般論理構造モデル」の作成および更新作業をおこなうことを可能にする論理構造モデル作成支援プログラム、論理構造モデル作成支援装置および論理構造モデル作成支援方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
上述した問題を解決し、目的を達成するため、本発明は、論理構造を構成する複数の論理要素それぞれに文字列が対応付けられて記載されている画像の該論理要素と、該論理要素に対応付けられている文字列と、該論理構造とを記憶する論理構造モデルの作成を支援する論理構造モデル作成支援処理をコンピュータ装置に実行させる論理構造モデル作成支援プログラムであって、入力画像を認識した結果に基づいて、該入力画像中の文字列と、該入力画像中の文字列間の論理構造とを抽出する文字列論理構造抽出手順と、前記文字列論理構造抽出手順によって抽出された前記入力画像中の文字列と、前記論理構造モデルに記憶されている前記複数の論理要素それぞれに対応付けられている文字列との類似度に応じて、該複数の論理要素の中から論理要素を選択する論理要素選択手順と、前記論理要素選択手順によって選択された論理要素に対応付けられている文字列と、前記文字列論理構造抽出手順によって抽出された前記入力画像中の文字列間の論理構造に基づいて該論理要素に対応する前記入力画像中の文字列とを抽出する文字列抽出手順と、前記文字列抽出手順によって抽出された文字列を、前記論理要素選択手順によって選択された論理要素に対応付けられている前記文字列の更新候補として表示する更新候補表示手順とを前記コンピュータ装置に実行させることを特徴とする。
【0011】
また、本発明は、上記発明において、前記論理構造モデルに記憶されている前記論理構造は、階層構造であり、前記論理要素選択手順は、前記文字列論理構造抽出手順によって抽出された前記入力画像中の文字列と、前記論理構造モデルに記憶されている前記複数の論理要素それぞれに対応付けられている文字列との類似度に応じて、該複数の論理要素の中から優先順位を付けて論理要素を複数選択して、該優先順位が最も高い論理要素を基準論理要素とし、前記論理要素選択手順によって選択された前記複数の論理要素について、前記優先順位に従って、前記基準論理要素の前記階層構造における上位の階層の論理要素、下位の階層の論理要素または同位の階層の論理要素それぞれに対応付けられている文字列と、前記文字列論理構造抽出手順によって抽出された該複数の論理要素それぞれに対応する文字列との類似度をそれぞれ判定し、該判定結果に基づいて、前記論理構造モデルに記憶されている前記論理構造と、前記文字列論理構造抽出手順によって抽出された前記入力画像中の文字列間の論理構造との類似を推定する論理構造類似推定手順をさらに前記コンピュータ装置に実行させることを特徴とする。
【0012】
また、本発明は、上記発明において、前記論理構造モデルは、異なる複数種類の画像それぞれの前記論理要素と、該論理要素それぞれに対応付けられている文字列と、該異なる複数の画像それぞれの前記論理構造とを含むことを特徴とする。
【0013】
また、本発明は、上記発明において、前記論理構造モデルの前記論理要素それぞれに対応付けられる文字列は、該論理要素の名称と、該論理要素の実表現とを含み、該実表現には文字列の属性の制限条件が設定されていることを特徴とする。
【0014】
また、本発明は、上記発明において、前記論理要素選択手順は、前記文字列論理構造抽出手順によって抽出された前記入力画像中の文字列と、前記論理構造モデルに記憶されている前記複数の論理要素それぞれの名称および/または前記論理要素の実表現との類似度に応じて、該複数の論理要素の中から論理要素を選択することを特徴とする。
【0015】
また、本発明は、上記発明において、前記論理構造類似推定手順は、前記論理要素選択手順によって選択された前記複数の論理要素について、前記優先順位に従って、前記基準論理要素の前記階層構造における上位の階層の論理要素、下位の階層の論理要素または同位の階層の論理要素それぞれに対応付けられている前記論理要素の名称および/または前記論理要素の実表現と、前記文字列論理構造抽出手順によって抽出された前記入力画像中の文字列との類似度を判定し、該判定結果に基づいて、前記論理構造モデルに記憶されている前記論理構造と、前記文字列論理構造抽出手順によって抽出された前記入力画像中の文字列間の論理構造との類似を推定することを特徴とする。
【0016】
また、本発明は、論理構造を構成する複数の論理要素それぞれに文字列が対応付けられて記載されている画像の該論理要素と、該論理要素それぞれに対応付けられている文字列と、該論理構造とを記憶する論理構造モデルの作成を支援する論理構造モデル作成支援装置であって、前記論理構造モデルを記憶する論理構造モデル記憶手段と、入力画像を認識した結果に基づいて、該入力画像中の文字列と、該入力画像中の文字列間の論理構造とを抽出する文字列論理構造抽出手段と、前記文字列論理構造抽出手段によって抽出された前記入力画像中の文字列と、前記論理構造モデルに記憶されている前記複数の論理要素それぞれに対応付けられている文字列との類似度に応じて、該複数の論理要素の中から論理要素を選択する論理要素選択手段と、前記論理要素選択手段によって選択された論理要素に対応付けられている文字列と、前記文字列論理構造抽出手段によって抽出された前記入力画像中の文字列間の論理構造に基づいて該論理要素に対応する前記入力画像中の文字列とを抽出する文字列抽出手段と、前記文字列抽出手段によって抽出された文字列を、前記論理要素選択手段によって選択された前記論理要素に対応付けられている文字列の更新対象候補として表示する更新対象候補表示手段とを有することを特徴とする。
【0017】
また、本発明は、論理構造を構成する複数の論理要素それぞれに文字列が対応付けられて記載されている画像の該論理要素と、該論理要素に対応付けられている文字列と、該論理構造とを記憶する論理構造モデルの作成を支援する論理構造モデル作成支援処理を論理構造モデル作成支援装置がおこなう論理構造モデル作成支援方法であって、入力画像を認識した結果に基づいて、該入力画像中の文字列と、該入力画像中の文字列間の論理構造とを抽出する文字列論理構造抽出ステップと、前記文字列論理構造抽出ステップによって抽出された前記入力画像中の文字列と、前記論理構造モデルに記憶されている前記複数の論理要素それぞれに対応付けられている文字列との類似度に応じて、該複数の論理要素の中から論理要素を選択する論理要素選択ステップと、前記論理要素選択ステップによって選択された論理要素に対応付けられている文字列と、前記文字列論理構造抽出ステップによって抽出された前記入力画像中の文字列間の論理構造に基づいて該論理要素に対応する前記入力画像中の文字列とを抽出する文字列抽出ステップと、前記文字列抽出ステップによって抽出された文字列を、前記論理要素選択ステップによって選択された論理要素に対応付けられている前記文字列の更新対象候補として表示する更新対象候補表示ステップとを含むことを特徴とする。
【発明の効果】
【0018】
本発明によれば、論理構造モデルに記憶されている論理要素に対応付けられている文字列と、入力画像から抽出された入力画像中の文字列間の論理構造に基づいて該論理要素に対応する入力画像中の文字列とを該論理要素に対応付けられている文字列の更新候補として表示するので、入力画像中の文字列を該論理要素に対応付けられている文字列に追加する作業負荷を軽減するという効果を奏する。
【0019】
また、本発明によれば、選択された複数の論理要素のうち、基準論理要素からはじめて、階層構造の上位の階層、下位の階層または同位の階層の論理構造それぞれに対応付けられている文字列と、入力画像から抽出された該複数の論理要素それぞれに対応する文字列との類似度をそれぞれ判定し、該判定結果に基づいて、論理構造モデルに記憶されている論理構造と、入力画像中の文字列間の論理構造との類似を推定するので、迅速に入力画像中の文字列間の論理構造を把握することが可能になるという効果を奏する。
【0020】
また、本発明によれば、論理構造モデルは、異なる複数種類の画像それぞれの論理要素と、該論理要素それぞれに対応付けられている文字列と、該異なる複数の画像それぞれの論理構造とを含むので、異なる複数種類の画像それぞれの論理要素と、該論理要素それぞれに対応付けられている文字列と、該異なる複数の画像それぞれの論理構造を、一つの論理構造モデルに記憶させることができるという効果を奏する。
【0021】
また、本発明によれば、論理構造モデルの論理要素それぞれに対応付けられる文字列は、該論理要素の名称と、該論理要素の実表現を含むので、同一の意味内容を持つ文字列であれは、異なる表現で表現されても、同一の論理要素に対応付けることが可能になるという効果を奏する。
【0022】
また、本発明によれば、入力画像から抽出された入力画像中の文字列と、論理構造モデルに記憶されている複数の論理要素それぞれの名称および/または論理要素の実表現との類似度に応じて、該複数の論理要素の中から論理要素を選択するので、異なる表現で表現されても同一の意味内容を持つ文字列であれは類似する文字列であると判定することが可能になるという効果を奏する。
【0023】
また、本発明によれば、選択された複数の論理要素について、優先順位に従って、基準論理要素の階層構造における上位の階層の論理要素、下位の階層の論理要素または同位の階層の論理要素それぞれに対応付けられている論理要素の名称および/または論理要素の実表現と、入力画像から抽出された入力画像中の文字列との類似度を判定し、該判定結果に基づいて、論理構造モデルに記憶されている論理構造と、入力画像から抽出された入力画像中の文字列間の論理構造との類似を推定するので、異なる表現で表現されても同一の意味内容を持つ文字列であれは類似する論理構造であると判定することが可能になるという効果を奏する。
【0024】
また、本発明によれば、入力画像から抽出された入力画像中の文字列間の論理構造との類似が推定された論理構造モデルの論理構造に含まれる論理要素に対応付けられている文字列と、入力画像から抽出された入力画像中の文字列間の論理構造に基づいて該論理要素に対応する入力画像中の文字列とを抽出するので、異なる表現で表現されても同一の意味内容を持つ文字列であるとされたことにより類似する論理構造であると判定された論理要素に対応付けられている文字列に入力画像中の文字列を追加する作業負荷を軽減するという効果を奏する。
【0025】
また、本発明によれば、論理構造モデルに記憶されている論理要素に対応付けられている文字列と、入力画像から抽出された入力画像中の文字列に対応する論理要素が論理構造モデルに存在しない場合に、論理構造モデルに記憶されている論理構造と、入力画像中の文字列間の論理構造との類似に基づいて、該入力画像中の文字列に対応させて新たな論理要素を該論理構造モデルに追加する追加候補として表示するので、入力画像中の文字列に対応させて新たな論理要素を論理構造モデルに追加する作業負荷を軽減するという効果を奏する。
【0026】
また、本発明によれば、論理構造モデルの論理要素に対応付けられている文字列の更新候補および/または論理構造モデルへ追加する論理要素の修正を受け付け、修正結果にて論理構造モデルを更新するので、論理構造モデルへの文字列の更新および/または論理構造の追加を、ユーザが確認しながらおこなうことが可能になるという効果を奏する。
【発明を実施するための最良の形態】
【0027】
以下に添付図面を参照し、本発明の論理構造モデル作成支援プログラム、論理構造モデル作成支援装置および論理構造モデル作成支援方法にかかる実施例を詳細に説明する。なお、以下の実施例では、画像認識され、論理構造モデルが作成される画像は、論理構造を構成する複数の論理要素としてそれぞれ文字列が記載されている画像のことであり、例えば、「帳票」である。しかし、論理構造を構成する複数の論理要素としてそれぞれ文字列が記載されている画像であれば、「帳票」に限定されるものではない。
【0028】
また、以下の実施例で論理構造モデル作成支援プログラム、論理構造モデル作成支援装置および論理構造モデル作成支援方法が作成および更新の対象とする論理構造モデルは、複数種類の帳票に共通する論理構造モデルである「一般論理構造モデル」である。
【0029】
特に、以下の実施例では、説明を簡略化するために、「一般論理構造モデル」は、「申請書」のカテゴリに属する異なる複数種類のフォーマットの帳票を対象とするものとする。一般に、カテゴリが同一の帳票であれば、レイアウトや項目に違いは多少あるものの、含んでいる項目や項目間の関係は概ね同一であることが多い。よって、帳票から得られた「見出し」から推定される帳票のカテゴリごとに「一般論理構造モデル」を切り替えて使用することとする。
【0030】
しかし、帳票のカテゴリごとに「一般論理構造モデル」を用意しておくと、データベースの資源を圧迫するというデメリットもある。よって、すべての帳票に共通な「一般論理構造モデル」を用意することとしてもよい。これによって、帳票ごとに「一般論理構造モデル」を用意することによるデータベースの資源圧迫を防ぎ、効率よく「一般論理構造モデル」を管理することが可能になる。
【実施例1】
【0031】
以下に、本発明にかかる実施例1の概要について説明する。図1は、実施例1の概要を示す図である。同図に示すように、(1)先ず、紙の入力帳票を画像認識して、該入力帳票の論理構造を取得する。図1によれば、入力帳票から得られた論理構造は、『○○申請書』という「見出し」が対応付けられているノードをルートノードとし、その下の階層に『お名前』という「見出し」および『2007年1月1日』という「見出し」が対応付けられているノードが存在している。
【0032】
さらに、『お名前』という「見出し」が対応付けられているノードの下の階層には、『姓』および『名』という「見出し」が対応付けられているノードが存在している。そして、『姓』には『富士通』というデータが、『名』には『太郎』というデータがそれぞれ対応付けられている。
【0033】
(2)次に、予め用意されている更新前の「一般論理構造モデル」と、(1)で取得された入力帳票の論理構造とを比較する。「一般論理構造モデル」において、楕円で表現されるノードは、抽象的な論理要素であり、名称が与えられている。また、各論理要素に対応付けられている四角で表現されている要素は、該論理要素に対応する実際のデータ(以下、「実表現」と呼ぶ)である。各論理要素間の関係によって、「一般論理構造モデル」の論理構造が構成される。
【0034】
例えば、『タイトル』の論理要素には、「実表現」として『〜申請書』および『〜届』が対応付けられている。この『〜申請書』という「実表現」が、入力帳票のルートノードである『○○申請書』と類似していることから、『タイトル』の論理要素の下の階層に、入力帳票から得られた論理構造と類似する論理構造が存在すると推定できる。
【0035】
そこで、『タイトル』の論理要素の下の階層をたどっていくと、『氏名』の名称が与えられている論理要素が存在する。この論理要素の名称である『氏名』と、入力帳票の論理構造の『お名前』という「見出し」とが類似している。
【0036】
しかし、『氏名』の論理要素には、『氏名』の「実表現」が対応付けられているのみであって、入力帳票の論理構造中の『お名前』の「見出し」と同一の「実表現」は登録されていない。
【0037】
さらに、『氏名』の論理要素の下の階層をたどっていくと、『姓』および『名』の論理要素が存在するが、これらは、入力帳票の論理構造の『姓』および『名』の「見出し」と一致している。しかし、『姓』および『名』の論理要素には、『苗字』および『名前』の「実表現」がそれぞれ対応付けられているのみであって、入力帳票の論理構造中の『姓』および『名』の「見出し」と同一の「実表現」が登録されていない。
【0038】
また、同様に、『タイトル』の論理要素の別の下の階層をたどっていくと、『申請日』の名称が与えられている論理要素が存在する。この論理要素の名称である『申請日』と、入力帳票の論理構造中の『2007年1月1日』という「見出し」とが類似していると推定される。
【0039】
さらに、『申請日』の論理要素の下の下層をたどっていくと、『年』、『月』、『日』の論理要素が存在することが分かる。この各論理要素の「実表現」としては、それぞれ『2006』、『3』、『5』が対応付けられているのみである。入力帳票の論理構造中の『2007年1月1日』を解析すると、『2007』、『年』、『1』、『月』および『1』、『日』と分解できることから、『2007』、『1』および『1』は、『年』、『月』、『日』の論理要素の「実表現」となりうることが分かる。『2007』、『1』および『1』は、『年』、『月』、『日』の論理要素の「実表現」として登録されていない。
【0040】
以上のように、入力帳票の論理構造の「見出し」のうちで「一般論理構造モデル」の論理要素に対応するものが存在するが、該論理要素の名称または「実表現」として登録されていないと、この「一般論理構造モデル」を使用して、当該入力帳票を正確に画像認識することができないため、該「見出し」を「一般論理構造モデル」の「実表現」として登録する必要がある。
【0041】
(3)そこで、この不都合を解消するために、入力帳票から取得された「見出し」を、「一般論理構造モデル」の対応する論理要素の「実表現」として追加する作業を支援する論理構造モデル作成支援プログラム、論理構造モデル作成支援装置および論理構造モデル作成支援方法が考案された。
【0042】
(3)に示すように、「一般論理構造モデル」において、『氏名』の論理要素の「実表現」として『お名前』が、『姓』の論理要素の「実表現」として『姓』が、『名』の論理要素の「実表現」として『名』が、『年』の論理要素の「実表現」として『2007』が、『月』の論理要素の「実表現」として『1』が、『日』の論理要素の「実表現」として『1』がそれぞれ追加されることとなる。
【0043】
従来は、入力帳票の論理構造と一致する論理構造を「一般論理構造モデル」から抽出し、適切な論理要素に「実表現」を追加する作業は、「一般論理構造モデル」の論理構造が複雑になればなるほど困難な作業であったが、実施例1にかかる論理構造モデル作成支援プログラム、論理構造モデル作成支援装置および論理構造モデル作成支援方法よって、作業負荷の低減を図り、「一般論理構造モデル」の設計者、作成者または管理者でなくても、入力帳票に基づいて、誰でも簡単に「一般論理構造モデル」に適切な論理要素に「実表現」を追加することができる。
【0044】
次に、実施例1にかかる一般論理構造モデル作成支援装置の構成について説明する。図2は、実施例1にかかる一般論理構造モデル作成支援装置の構成を示す機能ブロック図である。同図に示すように、実施例1にかかる一般論理構造モデル作成支援装置100は、画像認識処理装置200と接続されている。
【0045】
一般論理構造モデル作成支援装置100は、一般論理構造モデルの作成または更新をおこなうための操作指示をキーボードやマウスなどの入力装置105から受け付け、作成または更新される一般論理構造モデルを表示するためのディスプレイなどの出力装置106が接続されている端末装置104と接続されている。
【0046】
また、画像認識処理装置200は、制御部201と、一般論理構造モデル作成支援装置100およびスキャナ装置203との通信をおこなうためのインターフェースである入出力インターフェース部202とを有する。画像認識処理装置200の制御部201は、入力帳票の文書構造を解析する文書構造解析処理部201aと、入力帳票に記載されている文字を認識する文字認識処理部201bと、入力帳票の論理構造を解析し、該論理構造を一般論理構造モデル作成支援装置100へ送信する論理構造解析処理部201cとを有する。さらに、画像認識処理装置200は、帳票の読み取りをおこなうためのスキャナ装置203と接続されている。
【0047】
一般論理構造モデル作成支援装置100は、制御部101と、記憶部102と、画像認識処理装置200および端末装置104との通信のためのインターフェースである入出力インターフェース部103とを有する。
【0048】
制御部101は、一般論理構造モデル作成支援装置100全体の制御をつかさどるマイクロ・コンピュータなどの制御装置であり、実施例1に関連する構成として、論理構造管理処理部101aと、類似論理構造推定処理部101bと、追加更新対象表示確認処理部101cと、論理構造モデル追加更新処理部101dとを有する。
【0049】
論理構造管理処理部101aは、後述する一般論理構造モデルDB(Data Base、データベース)102aに格納される一般論理構造モデルを管理するとともに、画像認識処理装置200から受け渡された入力帳票の「見出し」および「見出し」の論理構造を管理する処理部である。具体的には、論理構造管理処理部101aは、入力装置105から受け付けられたユーザによる帳票読み取り指示を契機として、画像認識処理装置200に対して、スキャナ装置203による帳票の読み取り入力、入力帳票の文書構造の解析、入力帳票の文字認識および入力帳票の論理構造の解析を指示する。また、解析された入力帳票の論理構造を画像認識処理装置200から受け取って、類似論理構造推定処理部101bへと受け渡す。
【0050】
また、論理構造管理処理部101aは、画像認識処理装置200から受け渡された入力帳票の「見出し」および「見出し」の論理構造に類似する論理構造を有する「一般論理構造モデル」が、後述する一般論理構造モデルDB102aに登録されていない場合に、該入力帳票の「見出し」および「見出し」の論理構造に対応する「一般論理構造モデル」を新たに作成する。
【0051】
類似論理構造推定処理部101bは、後述する一般論理構造モデルDB102aに格納されている「一般論理構造モデル」の論理構造と、論理構造管理処理部101aから受け渡された入力帳票の論理構造との比較をおこなう。
【0052】
具体的には、入力帳票の論理構造のルートノードの「見出し」から出発して、各「見出し」と類似する論理要素の名称、または「見出し」と類似する論理要素の「実表現」が「一般論理構造モデル」に登録されているか否かを調べるために、後述の一般論理構造モデルDB102aを検索する。また、類似する入力帳票の「見出し」の論理構造と、「一般論理構造モデル」の「実表現」が対応付けられている論理要素の論理構造とが類似しているか否かを判定する。このようにして、類似論理構造推定処理部101bは、「一般論理構造モデル」の論理構造のうち、入力帳票の論理構造と類似する部分を推定する。
【0053】
追加更新対象表示確認処理部101cは、類似論理構造推定処理部101bによって、入力帳票の論理構造に類似すると推定された「一般論理構造モデル」の論理構造の部分と、該論理構造の各論理要素の「実表現」に入力帳票の「見出し」を追加するためにユーザに確認をおこなわせる表示画面とを出力装置106に表示させる。
【0054】
具体的には、類似論理構造推定処理部101bによって、入力帳票の論理構造に類似すると推定された「一般論理構造モデル」の論理構造の部分の論理要素の「実表現」と、該論理要素に対応すると推定された入力帳票の「見出し」とを合わせて抽出して一覧表示し、この一覧表示の内容で「一般論理構造モデル」の該論理要素の「実表現」を更新してよいか否かを、GUI(Graphical User Interface)にてユーザに問い合わせる。ユーザは、GUIの表示内容を確認して、「一般論理構造モデル」の論理要素の「実表現」を更新するか否かの指示を、入力装置105から入力する。
【0055】
追加更新対象表示確認処理部101cは、ユーザから「一般論理構造モデル」の論理要素の「実表現」を更新する指示を受け付けたなら、論理構造モデル追加更新処理部101dに対して、一般論理構造モデルDB102aに格納される「一般論理構造モデル」の等該論理要素の「実表現」を更新する処理をおこなう。
【0056】
なお、類似論理構造推定処理部101bによって、入力帳票の論理構造に類似すると推定された「一般論理構造モデル」の論理構造の部分の論理要素の「実表現」と、該論理要素に対応すると推定された入力帳票の「見出し」とを合わせて抽出して一覧表示した内容で、「一般論理構造モデル」の該論理要素の「実表現」を更新してよいか否かをユーザに問い合わせる際に、入力帳票の「見出し」を追加する「一般論理構造モデル」の論理要素の位置が不適切である場合には、ユーザは、マウスなどの入力装置105を使用して、この「見出し」を、適切な論理要素へドラッグアンドドロップさせることにより、「見出し」の追加位置を修正する指示をおこなうことができる。
【0057】
記憶部102は、DBを格納可能な記憶装置であり、一般論理構造モデルDB102aを含む。一般論理構造モデルDB102aは、「一般論理構造モデル」を格納するDBである。「一般論理構造モデル」は、木構造などの階層構造を取るので、例えば図3に示すようなXML(eXtensible Markup Language)形式でデータを管理する。
【0058】
図3は、図1で示した更新後の一般論理構造モデルをXML形式で表現した表現例である。同図において、XMLの『class』が「一般論理構造モデル」の論理要素に対応する。『class name』が論理要素の名称である。また、『instance type=“〜”』および『/instance』の間に記述されている文字列が、抽象的概念である『class』の具体的な実現名である『instance』である。なお、『instance type』は、『class』の具体的な実現名である『instance』の属性を規定する。属性の規定外の文字列は、『instance』として登録できないため、そもそも一般論理モデルの論理要素の名称または「実現値」と、入力帳票中の「見出し」との比較をおこなう必要はない。
【0059】
次に、図2に示した一般論理構造モデル作成支援装置100および画像認識処理装置200で実行される一般論理構造モデル更新処理について説明する。図4は、一般論理構造モデル更新処理手順を示すフローチャートである。先ず、一般論理構造モデル作成支援装置100の論理構造管理処理部101aは、画像認識処理装置200に対して、帳票論理構造解析指示信号を送信する(ステップS101)。
【0060】
画像認識処理装置200の文書構造解析処理部201aは、一般論理構造モデル作成支援装置100の論理構造管理処理部101aから帳票論理構造解析指示信号を受信すると(ステップS201肯定)、ステップS202へ移り、帳票論理構造解析指示信号を受信しなかった場合(ステップS201否定)、ステップS201を繰り返す。
【0061】
ステップS202では、画像認識処理装置200の文書構造解析処理部201aは、
スキャナ装置203を介して帳票の入力を受け付ける。続いて、文書構造解析処理部201aおよび文字認識処理部201bは、文書解析処理をおこなう(ステップS203)。具体的にステップS203では、文書構造解析処理部201aが、入力帳票のレイアウト解析(ステップS203a)、表解析(ステップS203b)をおこない、文字認識処理部201bが入力帳票の文字列の認識(ステップS203c)をおこなう。
【0062】
すなわち、スキャナ装置203によって画像認識処理装置200に入力された入力帳票は、レイアウト解析や表解析といった文書構造解析処理が行われ、表や図の領域抽出ならびに表のセル位置などが抽出される。その後、文字認識処理によって文字列情報が抽出される。
【0063】
なお、文字認識処理の際に形態素解析処理が行われ、文字列は、単語や文節レベルに分割される。たとえば、「お名前」という単語は「お」と「名前」とに分割され、「一般論理構造モデル」中の論理要素名や実表現とそれぞれ比較されることとなる。
【0064】
続いて、画像認識処理装置200の論理構造解析処理部201cは、上記のレイアウト解析結果と文字認識結果を用いて、表のセルや文字列間の位置関係を利用して論理構造を推定する(ステップS204)。入力帳票をレイアウト解析し、表構造解析を行うことで、ノードの構成および各ノードの具体的なデータ(「見出し」)が分かる。さらにレイアウト情報を利用することで、入力帳票の論理構造が推定できる。これらの処理は既存の技術を用いて実施してよい。
【0065】
続いて、画像認識処理装置200の論理構造解析処理部201cは、ステップS204による入力帳票の論理構造の解析結果を、一般論理構造モデル作成支援装置100に対して送信する(ステップS205)。
【0066】
一方、一般論理構造モデル作成支援装置100の論理構造管理処理部101aは、画像認識処理装置200から帳票論理構造解析結果を受信する(ステップS102)。そして、論理構造管理処理部101aは、帳票論理構造解析結果をすべて受信したか否かを判定する(ステップS103)。帳票論理構造解析結果をすべて受信したと判定された場合(ステップS103肯定)、ステップS104へ移り、帳票論理構造解析結果をすべて受信したと判定されなかった場合(ステップS103否定)、ステップS102へ移る。
【0067】
続いて、ステップS104では、一般論理構造モデル作成支援装置100の類似論理構造推定処理部101bは、ステップS102で受信した帳票論理構造解析結果と、一般論理構造モデルDB102aに格納される「一般論理構造モデル」との論理構造のマッチング処理をおこなう(論理構造マッチング処理)。この処理によって、ステップS102で受信した帳票論理構造解析結果に基づく入力帳票の論理構造が「一般論理構造モデル」の論理構造と一致する部分が分かり、「一般論理構造モデル」の「実表現」に、対応する入力帳票の論理構造のノードの「見出し」を追加すべき箇所が判明する。なお、論理構造マッチング処理の詳細は、図6を参照して後述する。
【0068】
続いて、一般論理構造モデル作成支援装置100の追加更新対象表示確認処理部101cは、ユーザに対する確認表示を出力装置106に表示させて、その応答入力結果に基づき、「一般論理構造モデル」の「実表現」に、対応する入力帳票の論理構造のノードの「見出し」を追加して該「実表現」を更新するための更新内容を修正するか否かを判定する(ステップS105)。
【0069】
すなわち、「一般論理構造モデル」の「実表現」を更新するための更新内容を修正すると判定された場合(ステップS105肯定)、ステップS106へ移り、「一般論理構造モデル」の「実表現」を更新するための更新内容を修正すると判定されなかった場合(ステップS105否定)、ステップS107へ移る。
【0070】
ステップS106では、一般論理構造モデル作成支援装置100の追加更新対象表示確認処理部101cは、ユーザによる「一般論理構造モデル」の「実表現」を更新するための更新内容の修正を受け付け、該更新内容を修正する。この処理が終了すると、ステップS107へ移る。
【0071】
ステップS107では、ステップS105で修正すると判定されなかった「一般論理構造モデル」の「実表現」を更新するための更新内容、または、ステップS106で修正された「一般論理構造モデル」の「実表現」を更新するための更新内容にて、「一般論理構造モデル」の「実表現」を更新する。
【0072】
次に、図4のステップS104の論理構造マッチング処理の詳細について説明する前に、「一般論理構造モデル」と、入力帳票から得られた論理構造との抽象化表現について説明する。論理構造マッチング処理の説明は、この抽象化表現に基づいておこなう。図5は、一般論理構造モデルと、入力帳票から得られた論理構造との抽象化表現の例を示す図である。
【0073】
先ず図5の左側の部分を参照して、一般論理構造モデルの抽象化表現について説明する。図中で、楕円で囲まれた『Cn』(n=1、2、3、・・・、8、9、10)は、「一般論理構造モデル」を構成する各論理要素である。『Cn』は論理要素の名称である。各論理要素に対応付けられている四角囲みの文字列(例えば、論理要素『C2』に対応付けられている『C2−1』および『C2−2』)は、当該論理要素の「実表現」である。以下、「実表現」を抽象的に『Cn−k』と表現する。
【0074】
そして、各論理要素『Cn』は、図示の実線で互いに関係付けられる階層構造を構成している。なお、図示はしていないが、各論理要素『Cn』には、対応付け可能な「実表現」の文字列の属性の規定値としてそれぞれ属性値『Cn−T』が設定されていてもよい。この属性値『Cn−T』によって、明らかに論理要素『Cn』への対応付けが不可能な文字列を、文字列の俗世位置に基づいて「実表現」への追加候補から予め除外することが可能になる。
【0075】
次に、図5の右側の部分を参照して、入力帳票から得られた論理構造の抽象化表現について説明する。図中で、四角囲みの文字列『Dn』(n=1、2、3、4、5)は、入力帳票から得られた論理構造を構成する各「見出し」である。各「見出し」である『Dn』は、図示の実線で互いに関係付けられる階層構造を構成している。また、「見出し」である『D4』および『D5』にそれぞれ破線で関係付けられている四角囲みの『D6』および『D7』は、『D4』および『D5』それぞれの「見出し」である。
【0076】
なお、論理構造間の関係はツリー構造を前提として、親ノードと子ノードを持っていてもよいし、一般的なグラフの隣接行列などとして表現してもよい。ただし、ツリーとしての階層の上下関係が分かるように、たとえば、必ず子ノードの番号が大きくなるように設定する。
【0077】
以上を前提として、図4のステップS104の論理構造マッチング処理の詳細について説明する。図6および図7は、論理構造マッチング処理手順を示すフローチャートである。同図に示すように、先ず、一般論理構造モデル作成支援装置100の類似論理構造推定処理部101bは、すべての『Dn』(n=1、2、3、4、5)で、「一般論理構造モデル」中に類似ノード(論理要素)が見つかったか否かを判定する(ステップS131)。ここで、『Dn』の類似ノードとは、「一般論理構造モデル」中で、名称または「実表現」が『Dn』と類似する論理要素である。
【0078】
すべての『Dn』(n=1、2、3、4、5)で、「一般論理構造モデル」中に、類似ノード(論理要素)が見つかったと判定された場合(ステップS131肯定)、図7のステップS141へ移る。すべての『Dn』(n=1、2、3、4、5)で、「一般論理構造モデル」中に類似ノード(論理要素)が見つかったと判定されなかった場合(ステップS131否定)、ステップS132へ移る。
【0079】
ステップS132では、類似論理構造推定処理部101bは、類似ノードが未決定の『Dn』を選択する。そして、類似論理構造推定処理部101bは、ステップS132で選択された『Dn』が、すべての『Cn』との類似度を求めたか否かを判定する(ステップS133)。ここで、類似度は、例えば、Levenshtein距離で求められ、Levenshtein距離が小さいほど類似度が高いとされる。なお、Levenshtein距離に限らず、文字間相関係数など、文字列(または文字)の類似度を示す指標であれば、いずれの指標でもよい。
【0080】
ステップS132で選択された『Dn』が、すべての『Cn』との類似度を求めたと判定された場合(ステップS133肯定)、ステップS134へ移り、ステップS132で選択された『Dn』が、すべての『Cn』との類似度を求めたと判定されなかった場合(ステップS133否定)、ステップS135へ移る。
【0081】
ステップS134では、類似論理構造推定処理部101bは、ステップS132で選択された『Dn』それぞれに対して、類似度が最大の『Cn』を類似ノードとする。この処理が終了すると、ステップS131へ移る。
【0082】
一方、ステップS135では、類似論理構造推定処理部101bは、ステップS132で選択された『Dn』との類似度が求められていない『Cn』を選択する。続いて、類似論理構造推定処理部101bは、ステップS132で選択された『Dn』と、ステップS135で選択された『Cn』との類似度を求める(ステップS136)。
【0083】
続いて、類似論理構造推定処理部101bは、ステップS135で選択された『Cn』に「実表現」が対応付けられているか否かを判定する(ステップS137)。ステップS135で選択された『Cn』に「実表現」が対応付けられていると判定された場合(ステップS137肯定)、ステップS138へ移り、ステップS135で選択された『Cn』に「実表現」が対応付けられていると判定されなかった場合(ステップS137否定)、ステップS133へ移る。
【0084】
ステップS138では、類似論理構造推定処理部101bは、ステップS132で選択された『Dn』と、ステップS135で選択された『Cn』に対応付けられている「実表現」である『Cn−k』のうちで、類似度が未だ求められていない『Cn−k』との類似度を求める。
【0085】
続いて、類似論理構造推定処理部101bは、ステップS135で選択された『Cn』に対応付けられているすべての『Cn−k』との類似度を求めたか否かを判定する(ステップS139)。ステップS135で選択された『Cn』に対応付けられているすべての『Cn−k』との類似度を求めたと判定された場合(ステップS139肯定)、ステップS140へ移り、ステップS135で選択された『Cn』に対応付けられているすべての『Cn−k』との類似度を求めたと判定されなかった場合(ステップS139否定)、ステップS138へ移る。
【0086】
ステップS140では、類似論理構造推定処理部101bは、ステップS132で選択された『Dn』と、ステップS135で選択された『Cn』およびこの『Cn』に対応付けられているすべての『Cn−k』との類似度のうち、最大の類似度を『Cn』の類似度とする。この処理が終了すると、ステップS133へ移る。
【0087】
一方、ステップS141では、類似論理構造推定処理部101bは、「見出し」のノード『Dn』を、類似度が高い順序でソートする。続いて、類似論理構造推定処理部101bは、類似度が最も高い「見出し」のノード『Dn』および該『Dn』に対応する「一般論理構造モデル」の論理要素を「基準ノード」として選択する(ステップS142)。
【0088】
また、ここで、類似論理構造推定処理部101bは、類似度が高い順序でソートされた「見出し」のノード『Dn』のうち、所定の順序(例えば、第4位)までの『Dn』の類似ノードを「一般論理構造モデル」において探索することとして探索範囲を予め制限しておき(探索範囲の設定)、類似度が低い『Dn』の探索を省略することによって、処理時間の短縮を図る。
【0089】
なお、上記ステップS141で選択される「基準ノード」は、ユーザによって任意に選択されてもよいし、最も類似度が高い『Dn』を「基準ノード」とせず、他のノードを「基準ノード」としてもよい。
【0090】
続いて、類似論理構造推定処理部101bは、「基準ノード」の次に類似度が高い「見出し」のノード『Dn』の類似ノード(論理要素)を「一般論理構造モデル」において、「基準ノード」の下位の階層、上位の階層、同位の階層の順序で探索する(ステップS143)。続いて、類似論理構造推定処理部101bは、「基準ノード」の次に類似度が高い「見出し」のノード『Dn』の類似ノードが「一般論理構造モデル」において見つかったか否かを判定する(ステップS144)。
【0091】
「基準ノード」の次に類似度が高い「見出し」のノード『Dn』の類似ノードが「一般論理構造モデル」において見つかったと判定された場合(ステップS144肯定)、ステップS145へ移り、「基準ノード」の次に類似度が高い「見出し」のノード『Dn』の類似ノードが「一般論理構造モデル」において見つかったと判定されなかった場合(ステップS144否定)、ステップS143へ移る。
【0092】
ステップS145では、類似論理構造推定処理部101bは、前回の探索対象であった論理要素『Cn』と、今回の探索対象であった論理要素『Cn』とのノード間の関係(論理構造)を保存する。続いて、類似論理構造推定処理部101bは、探索対象(前述の探索範囲の『Dn』)すべてについて、「一般論理構造モデル」における類似ノードを探索し終えたか否かを判定する(ステップS146)。
【0093】
探索対象(前述の探索範囲の『Dn』)すべてについて、「一般論理構造モデル」における類似ノードを探索し終えたと判定された場合(ステップS146肯定)、ステップS147へ移り、探索対象(前述の探索範囲の『Dn』)すべてについて、「一般論理構造モデル」における類似ノードを探索し終えたと判定されなかった場合に(ステップS146否定)、ステップS143へ移る。
【0094】
ステップS147では、類似論理構造推定処理部101bは、ステップS145で保存されたノード間の関係に基づき、入力帳票の論理構造に対応する論理構造が「一般論理構造モデル」内に存在したか否かを判定する。
【0095】
入力帳票の論理構造に対応する論理構造が「一般論理構造モデル」内に存在したと判定された場合(ステップS147肯定)、ステップS148へ移り、入力帳票の論理構造に対応する論理構造が「一般論理構造モデル」内に存在したと判定されなかった場合(ステップS147否定)、ステップS149へ移る。
【0096】
ステップS148では、追加更新対象表示確認処理部101cは、ユーザに対して、出力装置106にて「一般論理構造モデル」の論理要素に「実表現」を追加して更新する更新候補を「一般論理構造モデル」の論理要素および論理構造とともに表示し、確認させる。ユーザによる確認の後に、論理構造モデル追加更新処理部101dによって、前述の更新候補にて「一般論理構造モデル」論理要素の「実表現」が更新されることとなる。この処理が終了すると、図4の一般論理構造モデル更新処理に復帰する。
【0097】
一方、ステップS149では、追加更新対象表示確認処理部101cは、ユーザに対して、出力装置106にて「対応する論理構造なし」というメッセージを表示し、図4の一般論理構造モデル更新処理に復帰する。
【0098】
なお、ステップS149で、出力装置106にて「対応する論理構造なし」というメッセージを表示したのち、図4の一般論理構造モデル更新処理に復帰せず、「基準ノード」を変更したり、「基準ノード」の次に「一般論理構造モデル」において類似ノードを探索する『Dn』の選択基準を変更したりして、再度、ステップS142へ移り、処理をやり直すこととしてもよい。
【0099】
次に、図6の論理構造マッチング処理のステップS132〜ステップS140でおこなわれる、類似ノードの決定方法の概要について説明する。図8は、類似ノードの決定方法の概要を示す図である。同図に示すように、先ず、入力帳票の「見出し」である一つの『Dn』について、「一般論理構造モデル」中のすべての論理要素の名称との類似度を求める。
【0100】
この結果、『Dn』と『C1』との類似度は『3』、『Dn』と『C2』との類似度は『2』、『Dn』と『C3』との類似度は『4』であったとする。さらに、『C2』には「実表現」として『C2−1』および『C2−2』が対応付けられているので、『Dn』と『C2−1』および『C2−2』との類似度も求める。この結果、『Dn』と『C2−1』との類似度は『1』、『Dn』と『C2−2』との類似度は『3』であったとする。
【0101】
ここで、類似度としてLevenshtein距離を採用した場合には、数値が小さいほど類似度が高いので、『Dn』と『C1』との類似度は『3』となり、『Dn』と『C2』との類似度は、『C2−1』との類似度の高さによって『1』となり、『Dn』と『C3』との類似度は『4』となる。従って、最終的に、『Dn』の類似ノードは『C2』と決定され、その類似度は『1』である。
【0102】
次に、図7の論理構造マッチング処理のステップS141〜ステップS146でおこなわれる、類似構造の推定方法の概要について説明する。図9は、類似論理構造の推定方法の概要を示す図である。同図に示すように、「一般論理構造モデル」の各論理要素『Cn』(n=1、2、3、・・・、8、9、10)の近傍の各『Dn』(n=1、2、3、4、5)は、図6の論理構造マッチング処理のステップS132〜ステップS140の処理によって類似ノードとして関連付けられているとする。
【0103】
図9は、上記を前提として、入力帳票から取得された論理構造の「基準ノード」以降の論理構造が、「一般論理構造モデル」中で成立するか否かを確認する処理の概略を示している。ここでは、類似度が高い順番に5個までの『Dn』(n=1、2、3、4、5)について類似論理構造を推定することとする。
【0104】
先ず、最も類似度が高い『D2』および『D2』に対応する「一般論理構造モデル」の論理要素である『C5』を「基準ノード」として、先ず、「基準ノード」の下位の階層に、「基準ノード」の次に類似度が高い『D2』および『D5』に対応する『C9』および『D5』が存在することが分かる。ゆえに、『D2』、『D4』および『D5』の論理構造は、『C5』、『C9』および『C10』の論理構造と一致すると推定される。
【0105】
次に、『D4』および『D5』の次に類似度が高い『D3』に対応する『C6』と、『C10』とのノード間の関係を保存する。最後に、『D1』に対応する『C1』と、『C6』とのノード間の関係(論理構造)を保存する。このようにして保存された各論理要素『C5』、『C9』、『C10』、『C6』、『C1』の論理構造は、入力帳票の「見出し」の論理構造と一致することが分かる。
【0106】
次に、図10−1〜図12を参照して、図7の論理構造マッチング処理のステップS148で、ユーザに対して出力装置106の表示画面に表示される表示画面例を説明する。なお、以下では、入力帳票の論理構造と一致する「一般論理構造モデル」の論理要素、論理要素の名称および論理要素間の論理構造が推定され、この推定結果が木構造で表示されることを前提とする。
【0107】
図10−1は、ノードに実表現を追加する際に表示される確認画面の例(実表現が正しいノードに追加される場合)を示す図である。同図では、表示画面において、「申請者」のノード(論理要素)の「実表現」として既存の「氏名」に「お名前」を追加する必要があるとされた場合に、実際に追加してよいかをユーザに確認する確認画面501が表示されている。このとき、「申請者」のノードの「実表現」に「お名前」を追加することは適切であるので、ユーザは、『はい』の操作表示部501aをマウスなどでクリックして押下する。そして、図10−2に示すように、「申請者」のノードの「実表現」に既存の「氏名」とともに「お名前」が追加されて表示される。
【0108】
図11−1は、ノードに実表現を追加する際に表示される確認画面の例(実表現が誤ったノードに追加される場合)を示す図である。同図では、表示画面において、「申請者」のノード(論理要素)の「実表現」として既存の「氏名」に「姓」を追加する必要があるとされた場合に、実際に追加してよいかをユーザに確認する確認画面502が表示されている。このとき、「申請者」のノードの「実表現」に「姓」を追加することは不適切であるので、ユーザは、『いいえ』の操作表示部502bをマウスなどでクリックして押下する。
【0109】
すると、図11−2に示すように、さらに、「姓」を「実表現」として追加するノードを指定するようにメッセージ画面503が表示される。ここでユーザは、「姓」のノードに「実表現」として「姓」を追加することが適切であると判断して、「姓」のノードをマウスなどでクリックする。すると、図11−3に示すように、図11−1と同様に、表示画面において、「姓」のノード(論理要素)の「実表現」として既存の「苗字」に「姓」を実際に追加してよいかをユーザに確認する確認画面504が表示されている。このとき、「姓」のノードの「実表現」に「姓」を追加することは適切であるので、ユーザは、『はい』の操作表示部504aをマウスなどでクリックして押下する。そして、図11−4に示すように、「姓」のノードの「実表現」に既存の「苗字」とともに「姓」が追加されて表示される。
【0110】
なお、ユーザは、出力装置106に表示される表示画面を見ながら、入力装置105であるマウスなどのドラッグアンドドロップなどの操作によって、「実表現」が対応付けられるノード(論理要素)を任意に変更することが可能である。図12は、ノード間で実表現をドラッグアンドドロップで移動させる場合の表示画面の例を示す図である。
【0111】
同図に示すように、表示画面において、「申請者」のノードの「実表現」として「氏名」および「姓」が対応付けられている。しかし、ユーザによって、「申請者」のノードの「実表現」として「姓」は不適切であり、「姓」は「姓」のノード(論理要素)の「実表現」であることが適切であると判断されたとする。そこでユーザは、「姓」の「実表現」をマウスのドラッグアンドドロップによって「姓」の「実表現」の表示部分へと移動させることができる。
【実施例2】
【0112】
上記実施例1では、一般論理構造モデルDB102aに格納される「一般論理構造モデル」の初期状態のモデルについては言及していない。「一般論理構造モデル」の初期状態のモデルは、階層的な論理構造を持つ論理要素をいくつか定めて名称を付与することによって、手作業で作成することとしてもよい。
【0113】
多くの帳票の情報を入力することで、「一般論理構造モデル」の内容も充実していくので、それに伴って、推定される論理構造の類似や、「実表現」の追加更新候補の追加ノードの特定精度も向上する。しかし、認識対象とする帳票の認識精度を、早い段階からある程度確保しておきたい場合には、「一般論理構造モデル」を手作業で作成することは大変負担のかかる作業になる場合がある。
【0114】
ある帳票について、未記入の帳票が手に入る場合、実施例1にかかる一般論理構造モデル作成支援装置100は、この帳票の画像認識処理装置200による論理構造解析結果を利用して初期状態の「一般論理構造モデル」を作成することができる。クラス名は概念なので、手作業で入力する必要があるが、帳票に記述されている見出し名をそのまま利用してもよい。
【0115】
しかし、記入済の帳票しか手に入らない場合は、以下に示す実施例2の方法を取る。なお、実施例2にかかる一般論理構造モデル作成支援装置の構成は、実施例1の一般論理構造モデル作成支援装置と同一であるので、説明を省略する。
【0116】
図13は、記入済みの同じ種類の帳票を複数入力することによる一般論理構造モデル作成例を示す図である。複数の記入済み帳票を用いて、画像認識処理装置200にて論理構造を取得する。論理構造中には紙面中の位置情報を出力するようにしておく。
【0117】
ここで、帳票に最初から記入されている部分は複数の記入済み帳票間でも、同じ位置に同じ文字列が出現する。座標と文字列が一致した場合は、その部分が「見出し」であると考えられる。また、その近傍で同じ位置に記入されているが、常に同じではない文字列は「データ」の記入部分であることが推定できる。
【0118】
画像認識処理装置200が文字認識を誤る可能性があるが、複数の帳票の認識結果の一致度と頻度情報を利用すれば、誤りであるかを判断して、正しい文字列を抽出することが可能である。すなわち、同一の座標位置に出現する文字列で、最も多くの帳票で認識された文字列が正しい文字列であると推定される。
【0119】
図13を参照すると、『AAAAA』は、いずれの帳票の同一の座標位置に同一の文字列が出現していることから、「見出し」であると考えられる。また、『BBBBB』、『GGGGG』および『BBBBB』は、『AAAAA』の近傍で同じ位置に記入されているが、常に同じではない文字列であるので「データ」であると考えられる。
【0120】
また、『あああ』は、2つの帳票では同一の座標位置に同一の文字列『あああ』が出現しているが、他方の帳票では同一の座標位置に異なる文字列『ああ○』が出現している。これは、『あああ』と文字認識されている帳票の数の方が多い(頻度が高い)ので、『ああ○』も『あああ』であると推定され、「見出し」であると考えられる。同様に、『DD』も、2つの帳票では同一の座標位置に同一の文字列『DD』が出現しているが、他方の帳票では同一の座標位置に異なる文字列『○○』が出現している。これも、『DD』と文字認識されている帳票の数の方が多い(頻度が高い)ので、『○○』も『DD』であると推定され、「見出し」であると考えられる。
【0121】
次に、記入済みの同じ種類の帳票を複数入力することによる一般論理構造モデル作成処理について説明する。図14は、記入済みの同じ種類の帳票を複数入力することによる一般論理構造モデル作成処理手順を示すフローチャートである。
【0122】
同図に示すように、先ず、一般論理構造モデル作成支援装置100の論理構造管理処理部101aは、画像認識処理装置200に対して、帳票論理構造解析指示信号を送信する(ステップS111)。
【0123】
画像認識処理装置200の文書構造解析処理部201aは、一般論理構造モデル作成支援装置100の論理構造管理処理部101aから帳票論理構造解析指示信号を受信すると、ステップS201〜ステップS205まで、実施例1に示した処理と同一の処理をおこなう。
【0124】
なお、画像認識処理装置200の文字認識処理部201bによるステップS203cの文字認識では、文字(または文字列)を認識するとともに、該文字(または文字列)の入力帳票中における座標を取得する。そして、ステップS205では、取得した文字(または文字列)の入力帳票中における座標を含めて帳票論理構造解析結果を、一般論理構造モデル作成支援装置100へ送信する。
【0125】
一般論理構造モデル作成支援装置100の論理構造管理処理部101aは、画像認識処理装置200から帳票論理構造解析結果を受信する(ステップS112)。そして、論理構造管理処理部101aは、受信した帳票論理構造解析結果に含まれる文字列に座標を対応付けて記憶する(ステップS113)。
【0126】
続いて、一般論理構造モデル作成支援装置100の論理構造管理処理部101aは、帳票論理構造解析結果をすべて受信したか否かを判定する(ステップS114)。帳票論理構造解析結果をすべて受信したと判定された場合(ステップS114肯定)、ステップS115へ移り、帳票論理構造解析結果をすべて受信したと判定されなかった場合(ステップS114否定)、ステップS112へ移る。
【0127】
ステップS115では、一般論理構造モデル作成支援装置100の論理構造管理処理部101aは、ユーザ指示によってさらに帳票を認識させるか否かを判定する。さらに帳票を認識させると判定された場合(ステップS115肯定)、ステップS111へ移り、さらに帳票を認識させると判定されなかった場合(ステップS115否定)、ステップS116へ移る。
【0128】
ステップS116では、一般論理構造モデル作成支援装置100の論理構造管理処理部101aは、認識された複数の帳票間で、同一の座標に同一の文字列が対応付けられているか否かを判定する。同一の座標に同一の文字列が対応付けられていると判定された場合(ステップS116肯定)、ステップS117へ移り、同一の座標に同一の文字列が対応付けられていると判定されなかった場合(ステップS116否定)、ステップS118へ移る。
【0129】
ステップS117では、一般論理構造モデル作成支援装置100の論理構造管理処理部101aは、認識された複数の帳票間で、同一の座標に対応付けられている同一の文字列を論理要素および該論理要素の名称とする。この処理が終了すると、ステップS119へ移る。
【0130】
一方、ステップS118では、一般論理構造モデル作成支援装置100の論理構造管理処理部101aは、認識された複数の帳票間で、同一の座標に対応付けられている文字列の頻度に基づき、頻度の高い文字列を論理要素およびその名称とする。この処理が終了すると、ステップS119へ移る。
【0131】
ステップS119では、一般論理構造モデル作成支援装置100の論理構造管理処理部101aは、すべての論理要素およびその名称が確定したか否かを判定する。すべての論理要素およびその名称が確定したと判定された場合(ステップS119肯定)、ステップS120へ移り、すべての論理要素およびその名称が確定したと判定されなかった場合(ステップS119否定)、ステップS116へ移る。
【0132】
ステップS120では、一般論理構造モデル作成支援装置100の論理構造管理処理部101aは、得られた論理要素、その名称および論理構造から、「一般論理構造モデル」を作成する。
【0133】
従来、「一般論理構造モデル」は、利用する可能性のある帳票の論理構造を手動で探し出して作成する必要があった。上記実施例1および実施例2によれば、帳票からの「見出し」抽出および、該「見出し」に対応する論理構造の候補位置を自動的に探し出すことができるので、ユーザは確認作業だけでよくなる。多くの帳票の情報を入力することで、共通論理構造モデルの内容も充実していくので、それに伴い推定される「見出し」に対応する論理構造の候補位置の精度も向上する。結果、確認作業における時間やコストも減少する。
【0134】
以上、本発明の実施例1および実施例2を説明したが、本発明は、これに限られるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、さらに種々の異なる実施例で実施されてもよいものである。また、実施例に記載した効果は、これに限定されるものではない。
【0135】
上記実施例1の一般論理構造モデル作成支援装置100は、「一般論理構造モデル」の各論理要素に「実表現」を追加する作業を支援する装置である。しかし、「実表現」を追加する作業を支援する手法と同様の手法で、「一般論理構造モデル」の論理構造に「論理要素」を追加する作業を支援することとしてもよい。この場合も、「実表現」を追加する作業を支援する場合と同様に、GUI上のマウス操作などの簡易な操作で、ユーザの任意の場所に論理構造を追加したり、論理構造の名称を決定したりすることを支援するとしてもよい。
【0136】
また、上記実施例1および実施例2において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記実施例で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【0137】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0138】
具体的には、一般論理構造モデル作成支援装置100、端末装置104、画像認識処理装置200およびスキャナ装置203は、物理的に一体的に構成されてもよい。また、一般論理構造モデル作成支援装置100および画像認識処理装置200が物理的に一体的に構成されてもよい。
【0139】
さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPU(Central Processing Unit)(またはMPU(Micro Processing Unit)、MCU(Micro Controller Unit)などのマイクロ・コンピュータ)および当該CPU(またはMPU、MCUなどのマイクロ・コンピュータ)にて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されてもよい。
【0140】
(付記1)論理構造を構成する複数の論理要素それぞれに文字列が対応付けられて記載されている画像の該論理要素と、該論理要素に対応付けられている文字列と、該論理構造とを記憶する論理構造モデルの作成を支援する論理構造モデル作成支援処理をコンピュータ装置に実行させる論理構造モデル作成支援プログラムであって、
入力画像を認識した結果に基づいて、該入力画像中の文字列と、該入力画像中の文字列間の論理構造とを抽出する文字列論理構造抽出手順と、
前記文字列論理構造抽出手順によって抽出された前記入力画像中の文字列と、前記論理構造モデルに記憶されている前記複数の論理要素それぞれに対応付けられている文字列との類似度に応じて、該複数の論理要素の中から論理要素を選択する論理要素選択手順と、
前記論理要素選択手順によって選択された論理要素に対応付けられている文字列と、前記文字列論理構造抽出手順によって抽出された前記入力画像中の文字列間の論理構造に基づいて該論理要素に対応する前記入力画像中の文字列とを抽出する文字列抽出手順と、
前記文字列抽出手順によって抽出された文字列を、前記論理要素選択手順によって選択された論理要素に対応付けられている前記文字列の更新候補として表示する更新候補表示手順と
を前記コンピュータ装置に実行させることを特徴とする論理構造モデル作成支援プログラム。
【0141】
(付記2)前記論理構造モデルに記憶されている前記論理構造は、階層構造であり、
前記論理要素選択手順は、前記文字列論理構造抽出手順によって抽出された前記入力画像中の文字列と、前記論理構造モデルに記憶されている前記複数の論理要素それぞれに対応付けられている文字列との類似度に応じて、該複数の論理要素の中から優先順位を付けて論理要素を複数選択して、該優先順位が最も高い論理要素を基準論理要素とし、
前記論理要素選択手順によって選択された前記複数の論理要素について、前記優先順位に従って、前記基準論理要素の前記階層構造における上位の階層の論理要素、下位の階層の論理要素または同位の階層の論理要素それぞれに対応付けられている文字列と、前記文字列論理構造抽出手順によって抽出された該複数の論理要素それぞれに対応する文字列との類似度をそれぞれ判定し、該判定結果に基づいて、前記論理構造モデルに記憶されている前記論理構造と、前記文字列論理構造抽出手順によって抽出された前記入力画像中の文字列間の論理構造との類似を推定する論理構造類似推定手順をさらに前記コンピュータ装置に実行させることを特徴とする付記1に記載の論理構造モデル作成支援プログラム。
【0142】
(付記3)前記論理構造モデルは、異なる複数種類の画像それぞれの前記論理要素と、該論理要素それぞれに対応付けられている文字列と、該異なる複数の画像それぞれの前記論理構造とを含むことを特徴とする付記1または2に記載の論理構造モデル作成支援プログラム。
【0143】
(付記4)前記論理構造モデルの前記論理要素それぞれに対応付けられる文字列は、該論理要素の名称と、該論理要素の実表現とを含み、該実表現には文字列の属性の制限条件が設定されていることを特徴とする付記1、2または3に記載の論理構造モデル作成支援プログラム。
【0144】
(付記5)前記論理要素選択手順は、前記文字列論理構造抽出手順によって抽出された前記入力画像中の文字列と、前記論理構造モデルに記憶されている前記複数の論理要素それぞれの名称および/または前記論理要素の実表現との類似度に応じて、該複数の論理要素の中から論理要素を選択することを特徴とする付記4に記載の論理構造モデル作成支援プログラム。
【0145】
(付記6)前記論理構造類似推定手順は、前記論理要素選択手順によって選択された前記複数の論理要素について、前記優先順位に従って、前記基準論理要素の前記階層構造における上位の階層の論理要素、下位の階層の論理要素または同位の階層の論理要素それぞれに対応付けられている前記論理要素の名称および/または前記論理要素の実表現と、前記文字列論理構造抽出手順によって抽出された前記入力画像中の文字列との類似度を判定し、該判定結果に基づいて、前記論理構造モデルに記憶されている前記論理構造と、前記文字列論理構造抽出手順によって抽出された前記入力画像中の文字列間の論理構造との類似を推定することを特徴とする付記4または5に記載の論理構造モデル作成支援プログラム。
【0146】
(付記7)前記文字列抽出手順は、前記論理構造類似推定手順によって前記文字列論理構造抽出手順により抽出された前記入力画像中の文字列間の論理構造との類似が推定された前記論理構造モデルの前記論理構造に含まれる前記論理要素に対応付けられている文字列と、前記文字列論理構造抽出手順によって抽出された前記入力画像中の文字列間の論理構造に基づいて該論理要素に対応する前記入力画像中の文字列とを抽出することを特徴とする付記2〜6のいずれか一つに記載の論理構造モデル作成支援プログラム。
【0147】
(付記8)前記論理要素選択手順によって前記論理構造モデルに記憶されている前記複数の論理要素の中から論理要素が選択されなかった場合に、前記論理構造類似推定手順によって推定された、前記論理構造モデルに記憶されている前記論理構造と、前記文字列論理構造抽出手順によって抽出された前記入力画像中の文字列間の論理構造との類似に基づいて、該入力画像中の文字列に対応させて該論理構造モデルに追加する論理要素を追加位置とともに追加論理要素候補として表示する追加論理要素候補表示手順を前記コンピュータ装置にさらに実行させることを特徴とする付記1〜7のいずれか一つに記載の論理構造モデル作成支援プログラム。
【0148】
(付記9)前記更新候補表示手順によって表示される、前記論理構造モデルの前記論理要素選択手順によって選択された論理要素に対応付けられている前記文字列の更新候補の修正を受け付け、該修正された該文字列の更新候補にて該論理要素に対応付けられている該文字列を更新する、および/または、前記追加論理要素候補表示手順によって表示される、前記入力画像中の文字列に対応させて該論理構造モデルに追加する論理要素の前記名称および前記追加位置の修正を受け付け、該修正された該名称および該追加位置にて該論理構造モデルに該論理要素を追加する論理構造モデル追加更新手順を前記コンピュータ装置にさらに実行させることを特徴とする付記1〜8のいずれか一つに記載の論理構造モデル作成支援プログラム。
【0149】
(付記10)論理構造を構成する複数の論理要素それぞれに文字列が対応付けられて記載されている画像の該論理要素と、該論理要素それぞれに対応付けられている文字列と、該論理構造とを記憶する論理構造モデルの作成を支援する論理構造モデル作成支援装置であって、
前記論理構造モデルを記憶する論理構造モデル記憶手段と、
入力画像を認識した結果に基づいて、該入力画像中の文字列と、該入力画像中の文字列間の論理構造とを抽出する文字列論理構造抽出手段と、
前記文字列論理構造抽出手段によって抽出された前記入力画像中の文字列と、前記論理構造モデルに記憶されている前記複数の論理要素それぞれに対応付けられている文字列との類似度に応じて、該複数の論理要素の中から論理要素を選択する論理要素選択手段と、
前記論理要素選択手段によって選択された論理要素に対応付けられている文字列と、前記文字列論理構造抽出手段によって抽出された前記入力画像中の文字列間の論理構造に基づいて該論理要素に対応する前記入力画像中の文字列とを抽出する文字列抽出手段と、
前記文字列抽出手段によって抽出された文字列を、前記論理要素選択手段によって選択された前記論理要素に対応付けられている文字列の更新対象候補として表示する更新対象候補表示手段と
を有することを特徴とする論理構造モデル作成支援装置。
【0150】
(付記11)前記論理構造モデルに記憶されている前記論理構造モデルの前記論理構造は、階層構造であり、
前記論理要素選択手段は、前記文字列論理構造抽出手段によって抽出された前記入力画像中の文字列と、前記論理構造モデルに記憶されている前記複数の論理要素それぞれに対応付けられている文字列との類似度に応じて、該複数の論理要素の中から優先順位を付けて論理要素を複数選択して、該優先順位が最も高い論理要素を基準論理要素とし、
前記論理要素選択手段によって選択された前記複数の論理要素について、前記優先順位に従って、前記基準論理要素の前記階層構造における上位の階層の論理要素、下位の階層の論理要素または同位の階層の論理要素に対応付けられている文字列と、前記文字列論理構造抽出手段によって抽出された該複数の論理要素に対応する文字列との類似度をそれぞれ判定し、該判定結果に基づいて、前記論理構造モデルの前記論理構造と、前記文字列論理構造抽出手段によって抽出された前記入力画像中の文字列間の論理構造との類似を推定する論理構造類似推定手段をさらに有することを特徴とする付記10に記載の論理構造モデル作成支援装置。
【0151】
(付記12)前記論理構造モデルは、異なる複数種類の画像それぞれの前記論理要素と、該論理要素に対応付けられている文字列と、該異なる複数の画像それぞれの前記論理構造とを含むことを特徴とする付記10または11に記載の論理構造モデル作成支援装置。
【0152】
(付記13)前記論理構造モデルの前記論理要素それぞれに対応付けられる文字列は、該論理要素の名称と、該論理要素の実表現とを含み、該実表現には文字列の属性の制限条件が設定されていることを特徴とする付記10、11または12に記載の論理構造モデル作成支援装置。
【0153】
(付記14)前記論理要素選択手段は、前記文字列論理構造抽出手段によって抽出された前記入力画像中の文字列と、前記論理構造モデルに記憶されている前記複数の論理要素の名称および/または前記論理要素の実表現との類似度に応じて、該複数の論理要素の中から論理要素を選択することを特徴とする付記13に記載の論理構造モデル作成支援装置。
【0154】
(付記15)前記論理構造類似推定手段は、前記論理要素選択手段によって選択された前記複数の論理要素について、前記優先順位に従って、前記基準論理要素の前記階層構造における上位の階層の論理要素、下位の階層の論理要素または同位の階層の論理要素に対応付けられている前記論理要素の名称および/または前記論理要素の実表現と、前記文字列論理構造抽出手段によって抽出された前記入力画像中の文字列との類似度を判定し、該判定結果に基づいて、前記論理構造モデルに記憶されている前記論理構造と、前記文字列論理構造抽出手段によって抽出された前記入力画像中の文字列間の論理構造との類似を推定することを特徴とする付記13または14に記載の論理構造モデル作成支援装置。
【0155】
(付記16)前記文字列抽出手段は、前記論理構造類似推定手段によって前記文字列論理構造抽出手段により抽出された前記入力画像中の文字列間の論理構造との類似が推定された前記論理構造モデルの前記論理構造に含まれる前記論理要素に対応付けられている文字列と、前記文字列論理構造抽出手段によって抽出された前記入力画像中の文字列間の論理構造に基づいて該論理要素に対応する前記入力画像中の文字列とを抽出することを特徴とする付記11〜15のいずれか一つに記載の論理構造モデル作成支援装置。
【0156】
(付記17)前記論理要素選択手段によって前記論理構造モデルに記憶されている前記複数の論理要素の中から論理要素が選択されなかった場合に、前記論理構造類似推定手段によって推定された、前記論理構造モデルに記憶されている前記論理構造と、前記文字列論理構造抽出手段によって抽出された前記入力画像中の文字列間の論理構造との類似に基づいて、該入力画像中の文字列に対応させて該論理構造モデルに追加する論理要素を追加位置とともに追加論理要素候補として表示する追加論理要素候補表示手段をさらに有することを特徴とする付記10〜16のいずれか一つに記載の論理構造モデル作成支援装置。
【0157】
(付記18)前記更新対象候補表示手段によって表示される、前記論理構造モデルの前記論理要素選択手段によって選択された論理要素に対応付けられている前記文字列の更新候補の修正を受け付け、該修正された該文字列の更新候補にて該論理要素に対応付けられている該文字列を更新する、および/または、前記追加論理要素候補表示手段によって表示される、前記入力画像中の文字列に対応させて該論理構造モデルに追加する論理要素の前記名称および前記追加位置の修正を受け付け、該修正された該名称および該追加位置にて該論理構造モデルに該論理要素を追加する論理構造モデル追加更新手段をさらに有することを特徴とする付記10〜17のいずれか一つに記載の論理構造モデル作成支援装置。
【0158】
(付記19)論理構造を構成する複数の論理要素それぞれに文字列が対応付けられて記載されている画像の該論理要素と、該論理要素に対応付けられている文字列と、該論理構造とを記憶する論理構造モデルの作成を支援する論理構造モデル作成支援処理を論理構造モデル作成支援装置がおこなう論理構造モデル作成支援方法であって、
入力画像を認識した結果に基づいて、該入力画像中の文字列と、該入力画像中の文字列間の論理構造とを抽出する文字列論理構造抽出ステップと、
前記文字列論理構造抽出ステップによって抽出された前記入力画像中の文字列と、前記論理構造モデルに記憶されている前記複数の論理要素それぞれに対応付けられている文字列との類似度に応じて、該複数の論理要素の中から論理要素を選択する論理要素選択ステップと、
前記論理要素選択ステップによって選択された論理要素に対応付けられている文字列と、前記文字列論理構造抽出ステップによって抽出された前記入力画像中の文字列間の論理構造に基づいて該論理要素に対応する前記入力画像中の文字列とを抽出する文字列抽出ステップと、
前記文字列抽出ステップによって抽出された文字列を、前記論理要素選択ステップによって選択された論理要素に対応付けられている前記文字列の更新対象候補として表示する更新対象候補表示ステップと
を含むことを特徴とする論理構造モデル作成支援方法。
【0159】
(付記20)前記論理構造モデルに記憶されている前記論理構造は、階層構造であり、
前記論理要素選択ステップは、前記文字列論理構造抽出ステップによって抽出された前記入力画像中の文字列と、前記論理構造モデルに記憶されている前記複数の論理要素それぞれに対応付けられている文字列との類似度に応じて、該複数の論理要素の中から優先順位を付けて論理要素を複数選択して、該優先順位が最も高い論理要素を基準論理要素とし、
前記論理要素選択ステップによって選択された前記複数の論理要素について、前記優先順位に従って、前記基準論理要素の前記階層構造における上位の階層の論理要素、下位の階層の論理要素または同位の階層の論理要素それぞれに対応付けられている文字列と、前記文字列論理構造抽出ステップによって抽出された該複数の論理要素それぞれに対応する文字列との類似度をそれぞれ判定し、該判定結果に基づいて、前記論理構造モデルに記憶されている前記論理構造と、前記文字列論理構造抽出ステップによって抽出された前記入力画像中の文字列間の論理構造との類似を推定する論理構造類似推定ステップをさらに含むことを特徴とする付記19に記載の論理構造モデル作成支援方法。
【0160】
(付記21)前記論理構造モデルは、異なる複数種類の画像それぞれの前記論理要素と、該論理要素それぞれに対応付けられている文字列と、該異なる複数の画像それぞれの前記論理構造とを含むことを特徴とする付記19または20に記載の論理構造モデル作成支援方法。
【0161】
(付記22)前記論理構造モデルの前記論理要素それぞれに対応付けられる文字列は、該論理要素の名称と、該論理要素の実表現とを含み、該実表現には文字列の属性の制限条件が設定されていることを特徴とする付記19、20または21に記載の論理構造モデル作成支援方法。
【0162】
(付記23)前記論理要素選択ステップは、前記文字列論理構造抽出ステップによって抽出された前記入力画像中の文字列と、前記論理構造モデルに記憶されている前記複数の論理要素それぞれの名称および/または前記論理要素の実表現との類似度に応じて、該複数の論理要素の中から論理要素を選択することを特徴とする付記22に記載の論理構造モデル作成支援方法。
【0163】
(付記24)前記論理構造類似推定ステップは、前記論理要素選択ステップによって選択された前記複数の論理要素について、前記優先順位に従って、前記基準論理要素の前記階層構造における上位の階層の論理要素、下位の階層の論理要素または同位の階層の論理要素それぞれに対応付けられている前記論理要素の名称および/または前記論理要素の実表現と、前記文字列論理構造抽出ステップによって抽出された前記入力画像中の文字列との類似度を判定し、該判定結果に基づいて、前記論理構造モデルに記憶されている前記論理構造と、前記文字列論理構造抽出ステップによって抽出された前記入力画像中の文字列間の論理構造との類似を推定することを特徴とする付記22または23に記載の論理構造モデル作成支援方法。
【0164】
(付記25)前記文字列抽出ステップは、前記論理構造類似推定ステップによって前記文字列論理構造抽出ステップにより抽出された前記入力画像中の文字列間の論理構造との類似が推定された前記論理構造モデルの前記論理構造に含まれる前記論理要素に対応付けられている文字列と、前記文字列論理構造抽出ステップによって抽出された前記入力画像中の文字列間の論理構造に基づいて該論理要素に対応する前記入力画像中の文字列とを抽出することを特徴とする付記20〜24のいずれか一つに記載の論理構造モデル作成支援方法。
【0165】
(付記26)前記論理要素選択ステップによって前記論理構造モデルに記憶されている前記複数の論理要素の中から論理要素が選択されなかった場合に、前記論理構造類似推定ステップによって推定された、前記論理構造モデルに記憶されている前記論理構造と、前記文字列論理構造抽出ステップによって抽出された前記入力画像中の文字列間の論理構造との類似に基づいて、該入力画像中の文字列に対応させて該論理構造モデルに追加する論理要素を追加位置とともに追加論理要素候補として表示する追加論理要素候補表示ステップをさらに含むことを特徴とする付記19〜25のいずれか一つに記載の論理構造モデル作成支援方法。
【0166】
(付記27)前記更新対象候補表示ステップによって表示される、前記論理構造モデルの前記論理要素選択ステップによって選択された論理要素に対応付けられている前記文字列の更新候補の修正を受け付け、該修正された該文字列の更新候補にて該論理要素に対応付けられている該文字列を更新する、および/または、前記追加論理要素候補表示ステップによって表示される、前記入力画像中の文字列に対応させて該論理構造モデルに追加する論理要素の前記名称および前記追加位置の修正を受け付け、該修正された該名称および該追加位置にて該論理構造モデルに該論理要素を追加する論理構造モデル追加更新ステップをさらに含むことを特徴とする付記19〜26のいずれか一つに記載の論理構造モデル作成支援方法。
【産業上の利用可能性】
【0167】
本発明は、文書のOCR認識の際に使用する、多様なフォーマットの文書に共通する「一般論理構造モデル」の作成および更新作業を、いかなる者であっても容易におこなうことを可能にしたい場合に有用である。
【図面の簡単な説明】
【0168】
【図1】実施例の概要を示す図である。
【図2】実施例にかかる一般論理構造モデル作成支援装置の構成を示す機能ブロック図である。
【図3】一般論理構造モデルの表現例を示す図である。
【図4】一般論理構造モデル更新処理手順を示すフローチャートである。
【図5】一般論理構造モデルと、入力帳票から得られた論理構造との抽象化表現の例を示す図である。
【図6】論理構造マッチング処理手順を示すフローチャートである。
【図7】論理構造マッチング処理手順を示すフローチャート(続き)である。
【図8】類似ノードの決定方法の概要を示す図である。
【図9】類似論理構造の推定方法の概要を示す図である。
【図10−1】ノードに実表現を追加する際に表示される確認画面の例(実表現が正しいノードに追加される場合)を示す図である。
【図10−2】ノードに実表現が追加された表示画面の例を示す図である。
【図11−1】ノードに実表現を追加する際に表示される確認画面の例(実表現が誤ったノードに追加される場合)を示す図である。
【図11−2】実表現を追加する正しいノードの指定を要求する際に表示されるメッセージ画面の例を示す図である。
【図11−3】ノードに実表現を追加する際に表示される確認画面の例(実表現が正しいノードに追加される場合)を示す図である。
【図11−4】ノードに実表現が追加された表示画面の例を示す図である。
【図12】ノード間で実表現をドラッグアンドドロップで移動させる場合の表示画面の例を示す図である。
【図13】記入済みの同じ種類の帳票を複数入力することによる一般論理構造モデル作成例を示す図である。
【図14】記入済みの同じ種類の帳票を複数入力することによる一般論理構造モデル作成処理手順を示すフローチャートである。
【符号の説明】
【0169】
100 一般論理構造モデル作成支援装置
101 制御部
101a 論理構造管理処理部
101b 類似論理構造推定処理部
101c 追加更新対象表示確認処理部
101d 論理構造モデル追加更新処理部
102 記憶部
102a 一般論理構造モデルDB
103 入出力インターフェース部
104 端末装置
105 入力装置
106 出力装置
200 画像認識処理装置
201 制御部
201a 文書構造解析処理部
201b 文字認識処理部
201c 論理構造解析処理部
202 入出力インターフェース部
203 スキャナ装置
501 確認画面
501a 操作表示部
501b 操作表示部
502 確認画面
502a 操作表示部
502b 操作表示部
503 メッセージ画面
504 確認画面
504a 操作表示部
504b 操作表示部

【特許請求の範囲】
【請求項1】
論理構造を構成する複数の論理要素それぞれに文字列が対応付けられて記載されている画像の該論理要素と、該論理要素に対応付けられている文字列と、該論理構造とを記憶する論理構造モデルの作成を支援する論理構造モデル作成支援処理をコンピュータ装置に実行させる論理構造モデル作成支援プログラムであって、
入力画像を認識した結果に基づいて、該入力画像中の文字列と、該入力画像中の文字列間の論理構造とを抽出する文字列論理構造抽出手順と、
前記文字列論理構造抽出手順によって抽出された前記入力画像中の文字列と、前記論理構造モデルに記憶されている前記複数の論理要素それぞれに対応付けられている文字列との類似度に応じて、該複数の論理要素の中から論理要素を選択する論理要素選択手順と、
前記論理要素選択手順によって選択された論理要素に対応付けられている文字列と、前記文字列論理構造抽出手順によって抽出された前記入力画像中の文字列間の論理構造に基づいて該論理要素に対応する前記入力画像中の文字列とを抽出する文字列抽出手順と、
前記文字列抽出手順によって抽出された文字列を、前記論理要素選択手順によって選択された論理要素に対応付けられている前記文字列の更新候補として表示する更新候補表示手順と
を前記コンピュータ装置に実行させることを特徴とする論理構造モデル作成支援プログラム。
【請求項2】
前記論理構造モデルに記憶されている前記論理構造は、階層構造であり、
前記論理要素選択手順は、前記文字列論理構造抽出手順によって抽出された前記入力画像中の文字列と、前記論理構造モデルに記憶されている前記複数の論理要素それぞれに対応付けられている文字列との類似度に応じて、該複数の論理要素の中から優先順位を付けて論理要素を複数選択して、該優先順位が最も高い論理要素を基準論理要素とし、
前記論理要素選択手順によって選択された前記複数の論理要素について、前記優先順位に従って、前記基準論理要素の前記階層構造における上位の階層の論理要素、下位の階層の論理要素または同位の階層の論理要素それぞれに対応付けられている文字列と、前記文字列論理構造抽出手順によって抽出された該複数の論理要素それぞれに対応する文字列との類似度をそれぞれ判定し、該判定結果に基づいて、前記論理構造モデルに記憶されている前記論理構造と、前記文字列論理構造抽出手順によって抽出された前記入力画像中の文字列間の論理構造との類似を推定する論理構造類似推定手順をさらに前記コンピュータ装置に実行させることを特徴とする請求項1に記載の論理構造モデル作成支援プログラム。
【請求項3】
前記論理構造モデルは、異なる複数種類の画像それぞれの前記論理要素と、該論理要素それぞれに対応付けられている文字列と、該異なる複数の画像それぞれの前記論理構造とを含むことを特徴とする請求項1または2に記載の論理構造モデル作成支援プログラム。
【請求項4】
前記論理構造モデルの前記論理要素それぞれに対応付けられる文字列は、該論理要素の名称と、該論理要素の実表現とを含み、該実表現には文字列の属性の制限条件が設定されていることを特徴とする請求項1、2または3に記載の論理構造モデル作成支援プログラム。
【請求項5】
前記論理要素選択手順は、前記文字列論理構造抽出手順によって抽出された前記入力画像中の文字列と、前記論理構造モデルに記憶されている前記複数の論理要素それぞれの名称および/または前記論理要素の実表現との類似度に応じて、該複数の論理要素の中から論理要素を選択することを特徴とする請求項4に記載の論理構造モデル作成支援プログラム。
【請求項6】
前記論理構造類似推定手順は、前記論理要素選択手順によって選択された前記複数の論理要素について、前記優先順位に従って、前記基準論理要素の前記階層構造における上位の階層の論理要素、下位の階層の論理要素または同位の階層の論理要素それぞれに対応付けられている前記論理要素の名称および/または前記論理要素の実表現と、前記文字列論理構造抽出手順によって抽出された前記入力画像中の文字列との類似度を判定し、該判定結果に基づいて、前記論理構造モデルに記憶されている前記論理構造と、前記文字列論理構造抽出手順によって抽出された前記入力画像中の文字列間の論理構造との類似を推定することを特徴とする請求項4または5に記載の論理構造モデル作成支援プログラム。
【請求項7】
論理構造を構成する複数の論理要素それぞれに文字列が対応付けられて記載されている画像の該論理要素と、該論理要素それぞれに対応付けられている文字列と、該論理構造とを記憶する論理構造モデルの作成を支援する論理構造モデル作成支援装置であって、
前記論理構造モデルを記憶する論理構造モデル記憶手段と、
入力画像を認識した結果に基づいて、該入力画像中の文字列と、該入力画像中の文字列間の論理構造とを抽出する文字列論理構造抽出手段と、
前記文字列論理構造抽出手段によって抽出された前記入力画像中の文字列と、前記論理構造モデルに記憶されている前記複数の論理要素それぞれに対応付けられている文字列との類似度に応じて、該複数の論理要素の中から論理要素を選択する論理要素選択手段と、
前記論理要素選択手段によって選択された論理要素に対応付けられている文字列と、前記文字列論理構造抽出手段によって抽出された前記入力画像中の文字列間の論理構造に基づいて該論理要素に対応する前記入力画像中の文字列とを抽出する文字列抽出手段と、
前記文字列抽出手段によって抽出された文字列を、前記論理要素選択手段によって選択された前記論理要素に対応付けられている文字列の更新対象候補として表示する更新対象候補表示手段と
を有することを特徴とする論理構造モデル作成支援装置。
【請求項8】
論理構造を構成する複数の論理要素それぞれに文字列が対応付けられて記載されている画像の該論理要素と、該論理要素に対応付けられている文字列と、該論理構造とを記憶する論理構造モデルの作成を支援する論理構造モデル作成支援処理を論理構造モデル作成支援装置がおこなう論理構造モデル作成支援方法であって、
入力画像を認識した結果に基づいて、該入力画像中の文字列と、該入力画像中の文字列間の論理構造とを抽出する文字列論理構造抽出ステップと、
前記文字列論理構造抽出ステップによって抽出された前記入力画像中の文字列と、前記論理構造モデルに記憶されている前記複数の論理要素それぞれに対応付けられている文字列との類似度に応じて、該複数の論理要素の中から論理要素を選択する論理要素選択ステップと、
前記論理要素選択ステップによって選択された論理要素に対応付けられている文字列と、前記文字列論理構造抽出ステップによって抽出された前記入力画像中の文字列間の論理構造に基づいて該論理要素に対応する前記入力画像中の文字列とを抽出する文字列抽出ステップと、
前記文字列抽出ステップによって抽出された文字列を、前記論理要素選択ステップによって選択された論理要素に対応付けられている前記文字列の更新対象候補として表示する更新対象候補表示ステップと
を含むことを特徴とする論理構造モデル作成支援方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10−1】
image rotate

【図10−2】
image rotate

【図11−1】
image rotate

【図11−2】
image rotate

【図11−3】
image rotate

【図11−4】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2009−140258(P2009−140258A)
【公開日】平成21年6月25日(2009.6.25)
【国際特許分類】
【出願番号】特願2007−316318(P2007−316318)
【出願日】平成19年12月6日(2007.12.6)
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】