説明

文字認識装置、文字認識結果処理システム及びプログラム

【課題】文字認識結果の候補を定義した情報を用いた文字認識で文字認識結果が得られなかった場合でも文字認識結果を得ることができ、誤認識の可能性があることを知らせることを可能にする。
【解決手段】端末装置10において、制御部11は、単語照合による文字認識を行うよう単語照合部13を制御し、単語照合部13から文字認識結果が返された場合には、その尤度が閾値以上であれば、文字認識結果を正しい結果として出力するよう認識情報出力部15を制御し、その尤度が閾値以下であれば、文字認識結果を誤認識の可能性がある結果として出力するよう認識情報出力部15を制御し、単語照合部13から文字認識結果が返されなかった場合には、文脈処理による文字認識を行うよう文脈処理部14を制御し、その尤度に関わらず、文字認識結果を誤認識の可能性がある結果として出力するよう認識情報出力部15を制御する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、文字認識装置、文字認識結果処理システム、プログラムに関する。
【背景技術】
【0002】
文字切出しと文字認識の誤りを自動的に修正する文字列読取り方法は知られている(例えば、特許文献1参照)。この特許文献1では、文字行画像から文字として可能性のある切出しパターンと尤度、切出しパターンを文字認識した際の認識候補文字と尤度などを得、これら尤度を使って読取り結果を求める。そして読取り結果の文字切出し結果や文字認識結果が適切かどうかを、これら尤度を用いて判定し、読取り結果が適切でない場合に適切でないと推測される範囲を推測する。そして判定結果などに従って単語抽出などの処理パラメータなどを切り替え、読取り処理を再実行する。そして読取り結果の判定結果により、上記処理を繰返し行なう。最後に、繰返し求めた読取り結果の判定結果から適切な読取り結果を選択する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−219867号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の目的は、文字認識結果の候補を定義した情報を用いた文字認識で文字認識結果が得られなかった場合でも文字認識結果を得ることができ、誤認識の可能性があることを知らせることを可能にすることにある。
【課題を解決するための手段】
【0005】
請求項1に記載の発明は、文字認識対象のデータを取得する取得手段と、文字認識結果の候補を定義した情報を用いてデータを文字認識する第1の文字認識手段と、学習用の文章を統計的に分析して得られた情報を用いてデータを文字認識する第2の文字認識手段と、前記取得手段により取得されたデータが前記第1の文字認識手段によって文字認識されるように制御した後、前記第1の文字認識手段による文字認識結果が得られた場合には、当該文字認識結果が出力されるように制御し、前記第1の文字認識手段による文字認識結果が得られなかった場合には、前記取得手段により取得されたデータが前記第2の文字認識手段によって文字認識され、かつ、前記第2の文字認識手段による文字認識結果が誤認識の可能性がある結果として出力されるように制御する制御手段とを備えたことを特徴とする文字認識装置である。
請求項2に記載の発明は、前記制御手段は、前記第1の文字認識手段による文字認識結果が得られた場合には、当該文字認識結果の尤度が予め定めた制御用閾値以上であれば、当該文字認識結果が正しい結果として出力されるように制御し、当該文字認識結果の尤度が当該制御用閾値以下であれば、当該文字認識結果が誤認識の可能性がある結果として出力されるように制御することを特徴とする請求項1に記載の文字認識装置である。
請求項3に記載の発明は、文字認識結果と当該文字認識結果の尤度とが渡されると、当該尤度が予め定めた出力用閾値以上であれば、当該文字認識結果を正しい結果として出力し、当該尤度が当該出力用閾値以下であれば、当該文字認識結果を誤認識の可能性がある結果として出力する出力手段を更に備え、前記制御手段は、前記第2の文字認識手段による文字認識結果の尤度が前記出力用閾値以上であれば、当該文字認識結果と、当該出力用閾値以下の尤度とを前記出力手段に出力し、前記第2の文字認識手段による文字認識結果の尤度が当該出力用閾値以下であれば、当該文字認識結果と当該尤度とを前記出力手段に出力することにより、前記第2の文字認識手段による文字認識結果が誤認識の可能性がある結果として出力されるように制御することを特徴とする請求項1又は請求項2に記載の文字認識装置である。
請求項4に記載の発明は、文字認識対象のデータを文字認識する文字認識装置と、前記文字認識装置による文字認識結果を管理する管理装置と、前記管理装置により管理される前記文字認識結果を、修正者の操作に応じて修正する修正装置とを備え、前記文字認識装置は、前記文字認識対象のデータを取得する取得手段と、文字認識結果の候補を定義した情報を用いてデータを文字認識する第1の文字認識手段と、学習用の文章を統計的に分析して得られた情報を用いてデータを文字認識する第2の文字認識手段と、前記取得手段により取得されたデータが前記第1の文字認識手段によって文字認識されるように制御した後、前記第1の文字認識手段による文字認識結果が得られた場合には、当該文字認識結果と当該文字認識結果が正しい結果であること又は誤認識の可能性がある結果であることを示す結果情報とが前記管理装置に出力されるように制御し、前記第1の文字認識手段による文字認識結果が得られなかった場合には、前記取得手段により取得されたデータが前記第2の文字認識手段によって文字認識され、かつ、前記第2の文字認識手段による文字認識結果と当該文字認識結果が誤認識の可能性があることを示す結果情報とが前記管理装置に出力されるように制御する制御手段とを備え、前記管理装置は、前記文字認識装置により出力された前記文字認識結果と前記結果情報とを対応付けて記憶する記憶手段を備え、前記修正装置は、前記記憶手段に記憶された前記文字認識結果のうち、少なくとも誤認識の可能性があることを示す前記結果情報に対応付けて記憶された前記文字認識結果を、修正が必要な情報として表示する表示手段を備えたことを特徴とする文字認識結果処理システムである。
請求項5に記載の発明は、前記制御手段は、前記第1の文字認識手段による文字認識結果が得られた場合には、当該文字認識結果の尤度が予め定めた制御用閾値以上であれば、当該文字認識結果と当該文字認識結果が正しい結果であることを示す前記結果情報とが前記管理装置に出力されるように制御し、当該文字認識結果の尤度が当該制御用閾値以下であれば、当該文字認識結果と当該文字認識結果が誤認識の可能性がある結果であることを示す前記結果情報とが前記管理装置に出力されるように制御することを特徴とする請求項4に記載の文字認識結果処理システムである。
請求項6に記載の発明は、コンピュータに、文字認識対象のデータを取得する取得機能と、文字認識結果の候補を定義した情報を用いてデータを文字認識する第1の文字認識機能と、学習用の文章を統計的に分析して得られた情報を用いてデータを文字認識する第2の文字認識機能と、前記取得機能で取得されたデータが前記第1の文字認識機能で文字認識されるように制御した後、前記第1の文字認識機能での文字認識結果が得られた場合には、当該文字認識結果が出力されるように制御し、前記第1の文字認識機能での文字認識結果が得られなかった場合には、前記取得機能で取得されたデータが前記第2の文字認識機能で文字認識され、かつ、前記第2の文字認識機能での文字認識結果が誤認識の可能性がある結果として出力されるように制御する制御機能とを実現させるためのプログラムである。
【発明の効果】
【0006】
請求項1の発明によれば、文字認識結果の候補を定義した情報を用いた文字認識で文字認識結果が得られなかった場合でも文字認識結果を得ることができ、誤認識の可能性があることを知らせることができる。
請求項2の発明によれば、文字認識結果の候補を定義した情報を用いた文字認識で文字認識結果が得られた場合にも、誤認識の可能性があることを知らせることができる。
請求項3の発明によれば、文字認識結果の尤度が閾値以下の場合に文字認識結果を誤認識の可能性があるものとして出力する手段が既に備わっている場合に、その手段を改変することなく、学習用の文章を統計的に分析して得られた情報を用いた文字認識による文字認識結果を尤度に関わらず誤認識の可能性があるものとして出力することができる。
請求項4の発明によれば、文字認識結果の候補を定義した情報を用いた文字認識で文字認識結果が得られなかった場合でも文字認識結果を得ることができ、誤認識の可能性があることを知らせることができる。
請求項5の発明によれば、文字認識結果の候補を定義した情報を用いた文字認識で文字認識結果が得られた場合にも、誤認識の可能性があることを知らせることができる。
請求項6の発明によれば、文字認識結果の候補を定義した情報を用いた文字認識で文字認識結果が得られなかった場合でも文字認識結果を得ることができ、誤認識の可能性があることを知らせることができる。
【図面の簡単な説明】
【0007】
【図1】本発明の実施の形態におけるコンピュータシステムの構成例を示した図である。
【図2】本発明の実施の形態で用いる媒体に印刷された符号画像の例を示した図である。
【図3】本発明の実施の形態におけるデジタルペンの構成例を示した図である。
【図4】本発明の実施の形態における端末装置のハードウェア構成例を示した図である。
【図5】本発明の実施の形態で用いる単語照合による文字認識及び文脈処理による文字認識の概略動作について説明するための図である。
【図6】本発明の実施の形態における文字認識を行う端末装置の機能構成例を示したブロック図である。
【図7】本発明の実施の形態における文字認識を行う端末装置の動作例を示したフローチャートである。
【図8】本発明の実施の形態における情報管理装置の機能構成例を示したブロック図である。
【図9】本発明の実施の形態における文字認識結果の修正を行う端末装置の機能構成例を示したブロック図である。
【発明を実施するための形態】
【0008】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
まず、本実施の形態におけるコンピュータシステムの全体構成について説明する。
図1は、本実施の形態のコンピュータシステムの構成例を示したものである。
図示するように、このコンピュータシステムは、端末装置10,20と、情報管理装置30とがネットワーク80に接続されることにより構成されている。また、端末装置10には、デジタルペン40が通信装置50を介して接続されている。
【0009】
端末装置10は、紙等の媒体(例えば、手書き帳票)に対する筆記を電子化した筆記情報を文字認識し、筆記情報、文字認識結果等を情報管理装置30に送信するコンピュータ装置である。ここで、端末装置10としては、例えば、PC(Personal Computer)を用いるとよい。本実施の形態では、文字認識装置の一例として、端末装置10を設けている。
端末装置20は、情報管理装置30に送信された筆記情報、文字認識結果等を表示し、ユーザの修正操作に応じて、文字認識結果を修正するコンピュータ装置である。ここで、端末装置20としても、例えば、PCを用いるとよい。本実施の形態では、修正装置の一例として、端末装置20を設けている。
情報管理装置30は、端末装置10から筆記情報、文字認識結果等を受信して管理するコンピュータ装置である。但し、文字認識結果には誤りがあるのが普通なので、筆記情報、文字認識結果等を端末装置20に送信し、端末装置20で文字認識結果を修正させる。ここで、情報管理装置30としては、例えば、PCを用いるとよい。本実施の形態では、管理装置の一例として、情報管理装置30を設けている。
【0010】
デジタルペン40は、媒体上に文字又は図形を筆記するために用いられるペンデバイスである。また、媒体に印刷された符号画像を読み取る撮像素子を備える。そして、撮像素子で読み取った符号画像から位置情報を検出し、筆記した文字又は図形をイメージデータ化した筆記情報をこの位置情報に基づいて生成し記憶する。
通信装置50は、デジタルペン40から筆記情報を取得して端末装置10に送信する装置である。例えば、デジタルペン40を差し込む差込口を設け、この差込口にデジタルペン40が差し込まれると、デジタルペン40に記憶された筆記情報を端末装置10に送信するようにするとよい。ここで、端末装置10との間の通信の方式としては、USB(Universal Serial Bus)、Bluetooth(登録商標)、赤外線通信機能等、種々の方式が考えられる。また、図では、通信装置50をデジタルペン40と別体のものとして示しているが、必ずしも別体である必要はなく、一体に構成してもよい。
ネットワーク80は、各種情報の交換に用いる通信手段である。このネットワーク80としては、インターネットやLAN(Local Area Network)が例示される。
【0011】
ここで、このようなコンピュータシステムで用いられる媒体について説明する。尚、本明細書において、「媒体」は、画像を印刷可能な媒体であれば、その材質は問わない。代表例は紙であるが、OHPシートや金属板等であっても構わない。
【0012】
図2は、媒体に印刷される符号画像について説明するための図である。
まず、符号画像を構成する単位パターンについて説明する。
図2(a)は、単位パターンの一例を示したものである。
単位パターンとは、情報埋め込みの最小単位である。図では、黒塗りの領域と斜線の領域をドット配置可能な領域とし、その間にある白色の領域をドット配置不可能な領域としている。そして、ドット配置可能な領域のうち、黒塗りの領域にドットが配置され、斜線の領域にはドットが配置されていないことを示している。即ち、図は、ドットを配置可能な9箇所の中から選択した2箇所にドットを配置することで単位パターンを構成した例を示したものである。ここで、9箇所の中から2箇所を選択する組み合わせは36(=)通りなので、単位パターンは、36種類存在する。このうち、4種類の単位パターンは、同期パターンとして使用される。同期パターンとは、画像の回転を検出したり、識別符号及び位置符号の相対的な位置を特定したりするためのパターンである。特に、画像の回転を検出する必要があることから、4種類の同期パターンとしては、そのうちの1つの同期パターンを90度回転するとそのうちの別の同期パターンになるようなものが選ばれる。また、この4種類の単位パターンを除く32種類の単位パターンは、識別符号及び位置符号を表現する情報パターンとして使用され、5ビットの情報が表現される。
【0013】
次に、このような単位パターンから構成される符号ブロックについて説明する。
図2(b)に、符号ブロックのレイアウトの一例を示す。尚、ここでは、画像ではなく、パターン画像によって置き換えられる直前の符号配列で示している。即ち、図2(b)の最小の四角(単位ブロック)に、図2(a)のような単位パターン(36通りの単位パターンのいずれか)が配置され、その画像が媒体に形成されることになる。
図2(b)のレイアウトでは、符号ブロックの左上の1つの単位ブロックに、同期符号が配置されている。また、同期符号が配置された単位ブロックの右側の4つの単位ブロックに、媒体上のX方向の位置を示すX位置情報を符号化したX位置符号が配置され、同期符号が配置された単位ブロックの下側の4つの単位ブロックに、媒体上のY方向の位置を示すY位置情報を符号化したY位置符号が配置されている。更に、これらの位置符号が配置された単位ブロックに囲まれた16(=4×4)個の単位ブロックに、媒体を特定する識別情報を符号化した識別符号が配置されている。
【0014】
また、図1のコンピュータシステムにおけるデジタルペン40の構成について説明する。
図3は、デジタルペン40の構成例を示した図である。
図示するように、デジタルペン40は、ペン全体の動作を制御する制御回路41を備える。また、制御回路41は、読み取った符号画像を処理する画像処理部41aと、そこでの処理結果から識別情報及び位置情報を抽出するデータ処理部41bとを含む。
また、制御回路41には、デジタルペン40による筆記動作をペンチップ49に加わる圧力によって検出する圧力センサ42が接続されている。更に、媒体上に赤外光を照射する赤外LED43と、反射光を検知することによって符号画像を読み取る赤外CMOS44も接続されている。更にまた、識別情報及び位置情報を記憶するための情報メモリ45と、外部装置と通信するための通信回路46と、ペンを駆動するためのバッテリ47と、ペンの識別情報(ペンID)を記憶するペンIDメモリ48も接続されている。
【0015】
更に、図1のコンピュータシステムにおける端末装置10のハードウェア構成について説明する。
図4は、端末装置10のハードウェア構成を示した図である。
図示するように、端末装置10は、演算手段であるCPU(Central Processing Unit)1aと、記憶手段であるメインメモリ1b及び磁気ディスク装置(HDD:Hard Disk Drive)1cとを備える。ここで、CPU1aは、OS(Operating System)やアプリケーション等の各種ソフトウェアを実行し、後述する各処理部を実現する。また、メインメモリ1bは、各種ソフトウェアやその実行に用いるデータ等を記憶し、磁気ディスク装置1cは、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶し、これらの一方又は両方が各処理部にて使用される各記憶部を実現する。
更に、端末装置10は、外部との通信を行うための通信I/F1dと、ビデオメモリやディスプレイ等からなる表示機構1eと、キーボードやマウス等の入力デバイス1fとを備える。
【0016】
尚、図1のコンピュータシステムにおける端末装置20及び情報管理装置30も、図4に示したハードウェア構成を有している。但し、CPU1a、メインメモリ1b、磁気ディスク装置1c、通信I/F1d、表示機構1e、入力デバイス1fを、端末装置20では、CPU2a、メインメモリ2b、磁気ディスク装置2c、通信I/F2d、表示機構2e、入力デバイス2fと表記し、情報管理装置30では、CPU3a、メインメモリ3b、磁気ディスク装置3c、通信I/F3d、表示機構3e、入力デバイス3fと表記する。
【0017】
ところで、図1のようなコンピュータシステムにおいて、端末装置10が文字認識を行う場合、文字認識の結果がある程度限定されていれば、単語照合による文字認識が行われることが多い。
ここで、単語照合による文字認識とは、文字認識対象の単語を構成する文字ごとの認識結果の候補を組み合わせて得られる複数の単語を、文字認識結果となり得る単語が予め登録された単語リストと照合し、その複数の単語のうち単語リスト内の単語とマッチする単語を文字認識結果として返すというものである。
【0018】
図5(a)に、単語照合による文字認識について模式的に示す。
この図においては、両方向矢印の左側には、認識対象文字列401と、認識対象文字列401を文字ごとに認識した認識結果候補文字群402a,402b,402cとが示してある。ここで、認識結果候補文字群402aは、「小」に対する認識結果候補文字群であり、認識結果候補文字群402bは、「松」に対する認識結果候補文字群であり、認識結果候補文字群402cは、「原」に対する認識結果候補文字群である。
また、両方向矢印の右側には、認識結果文字列となり得る単語が登録された単語リスト403が示してある。
【0019】
単語照合による文字認識では、認識結果候補文字群402a,402b,402cのそれぞれから選ばれた文字を組み合わせてなる複数の文字列のうち、単語リスト403に登録されている文字列を、認識結果文字列とする。図の例では、認識結果候補文字群402cの中に「原」がなく、認識結果候補文字群402a,402b,402cからどの文字を選んで組み合わせても「小松原」が得られないので、単語リストに登録された「小松原」(大文字で示す)は認識結果文字列とならない。
【0020】
このように、単語照合による文字認識では、単語リスト403に登録された文字列から認識結果文字列を探すので、文字認識結果の候補が絞られており、認識精度が高いという利点を有する。
しかしながら、文字認識結果が得られない可能性が高いという欠点もある。ここで、文字認識結果が得られない場合としては、例えば、筆記者は単語リストにある単語を書いたつもりだが、文字認識の結果、どの単語にもマッチしなかった場合や、筆記者が何らかの理由で単語リストにない単語を書いた場合がある。
【0021】
何れの場合も、正常な処理として文字認識結果を情報管理装置30に登録する処理等を行うべきではなく、文字認識結果を目視で確認して入力し直す処理等を行うことが望ましい。
ところが、単語照合による文字認識を行った場合、文字認識結果が得られなかった部分の文字を手作業で入力し直す場合に、全ての文字を打ち込む必要がある。
【0022】
そこで、本実施の形態では、単語照合による文字認識で文字認識結果が得られなかった場合に、文脈処理による文字認識を行ってその結果を誤認識の可能性のあるリジェクト結果(誤認識の可能性があり修正が必要な文字認識結果)として返すことで、誤認識が発生した文字のみを修正すればよいようにする。
ここで、文脈処理による文字認識とは、学習用の文章(大量のテキストデータ)を統計的に分析して得られた情報を用いて、最も確からしい文字列を文字認識結果として返す手法である。例えば、文字の繋がりに関する確率に基づいて文字認識結果を返すn−gramがある。
【0023】
図5(b)に、文脈処理による文字認識について模式的に示す。
この図においても、両方向矢印の左側には、認識対象文字列401と、認識対象文字列401を文字ごとに認識した認識結果候補文字群402a,402b,402cとが示してある。ここで、図5(a)について既に述べたように、認識結果候補文字群402aは、「小」に対する認識結果候補文字群であり、認識結果候補文字群402bは、「松」に対する認識結果候補文字群であり、認識結果候補文字群402cは、「原」に対する認識結果候補文字群である。
また、両方向矢印の右側には、隣り合う文字の繋がりの確率を定義したn−gram情報404が示してある。
【0024】
文脈処理による文字認識では、認識結果候補文字群402a,402b,402cのそれぞれから選ばれた文字を組み合わせてなる複数の文字列のうち、1つ目と2つ目の文字の繋がりの確率と2つ目と3つ目の文字の繋がりの確率とをn−gram情報404を参照して総合的に評価して得られた確率が最も高い文字列を、認識結果文字列とする。図の例では、n−gram情報404において、「小松」、及び、「松」と「原」の異体字(がんだれに泉)からなる文字列が、文字の繋がりの確率が高いものとしているので(大文字で示す)、「小」と「松」と「原」の異体字からなる文字列が認識結果文字列となっている(文字間の太線で示す)。
【0025】
尚、文脈処理による文字認識には、文字認識結果の候補が多いため、単語照合による文字認識ほど認識精度が高くないという欠点はあるが、基本的にどのような文字列でも認識できるという利点がある。
【0026】
次に、図1のようなコンピュータシステムで上記動作を実現するときの各装置の構成及び動作について、詳細に説明する。
まず、符号画像が印刷された媒体にユーザがデジタルペン40で筆記すると、デジタルペン40は、符号画像から識別情報及び位置情報を検出する。そして、識別情報と、位置情報に基づいて生成した筆記情報とを、通信装置50を介して端末装置10に送信する。尚、以下では、符号画像が印刷された媒体は手書き帳票であるものとする。
【0027】
このようにデジタルペン40から識別情報及び筆記情報が送信されると、次に、端末装置10がこれらの情報を処理する。
図6は、端末装置10の機能構成例を示したブロック図である。
図示するように、端末装置10は、制御部11と、筆記情報取得部12と、単語照合部13と、文脈処理部14と、認識情報出力部15とを備える。
【0028】
制御部11は、筆記情報取得部12、単語照合部13、文脈処理部14、認識情報出力部15の各機能部を制御する。本実施の形態では、制御手段の一例として、制御部11を設けている。
【0029】
筆記情報取得部12は、通信I/F1dがデジタルペン40から受信した識別情報及び筆記情報を取得し、筆記情報を制御部11に受け渡す。また、筆記情報取得部12は、筆記がなされた帳票の帳票IDを識別情報に基づいて取得すると共に、筆記がなされた帳票上の項目の項目IDを筆記情報に基づいて取得し、これらの情報も制御部11に受け渡す。本実施の形態では、文字認識対象のデータの一例として、筆記情報を用いており、文字認識対象のデータを取得する取得手段の一例として、筆記情報取得部12を設けている。
【0030】
単語照合部13は、制御部11によって筆記情報が与えられると、その筆記情報に対し、上述したように単語リストを用いて単語照合による文字認識を行い、文字認識結果を制御部11に返す。また、単語照合部13は、文字認識結果と共に、その文字認識結果の尤度(文字認識結果の確信度)も制御部11に返す。本実施の形態では、文字認識結果の候補を定義した情報の一例として、単語リストを用いており、文字認識結果の候補を定義した情報を用いてデータを文字認識する第1の文字認識手段の一例として、単語照合部13を設けている。
【0031】
文脈処理部14は、制御部11によって筆記情報が与えられると、その筆記情報に対し、上述したようにn−gram情報を用いて文脈処理による文字認識を行い、文字認識結果を制御部11に返す。また、文脈処理部14は、文字認識結果と共に、その文字認識結果の尤度も制御部11に返す。尚、この尤度は、予め定めた閾値以上である場合には、制御部11によってその閾値以下の尤度に変更されて認識情報出力部15に渡される。本実施の形態では、学習用の文章を統計的に分析して得られた情報の一例として、n−gram情報を用いており、学習用の文章を統計的に分析して得られた情報を用いてデータを文字認識する第2の文字認識手段の一例として、文脈処理部14を設けている。
【0032】
認識情報出力部15は、制御部11から帳票ID、項目ID、筆記情報、文字認識結果、尤度が渡されると、尤度が上記閾値以上であれば、文字認識結果が正しいことを示す「ON」を結果フラグにセットし、尤度が上記閾値以下であれば、文字認識結果が誤認識の可能性があることを示す「OFF」を結果フラグにセットする。そして、帳票ID、項目ID、筆記情報、文字認識結果、結果フラグを通信I/F1dに出力することにより、これらの情報を認識情報として情報管理装置30に送信する。本実施の形態では、結果情報の一例として、結果フラグを用いている。また、文字認識結果を出力する出力手段の一例として、認識情報出力部15を設けている。
【0033】
図7は、このような構成を有する端末装置10の文字認識時の動作を示したフローチャートである。
端末装置10では、まず、筆記情報取得部12が、通信I/F1dがデジタルペン40から受信した筆記情報を取得すると共に、筆記情報と一緒に受信した識別情報に基づいて帳票IDを取得し、筆記情報に基づいて項目IDを取得する(ステップ101)。そして、帳票ID、項目ID、筆記情報は、制御部11に渡される。
【0034】
すると、制御部11は、単語照合部13に筆記情報を渡して単語照合による文字認識を行うように指示し、これに応じて、単語照合部13が、筆記情報に対して、単語照合による文字認識を行う(ステップ102)。そして、単語照合部13から制御部11へ処理結果が返される。
これにより、制御部11は、処理結果として文字認識結果及びその尤度が返されたかどうかを判定する(ステップ103)。
【0035】
その結果、文字認識結果及び尤度が返されたと判定されれば、制御部11は、帳票ID、項目ID、筆記情報、文字認識結果、尤度を認識情報出力部15に渡し、認識情報出力部15は、尤度が閾値以上であるかどうかを判定する(ステップ104)。
そして、尤度が閾値以上であれば、認識情報出力部15は、帳票ID、項目ID、筆記情報、文字認識結果に加え、文字認識結果が正しいことを示す「ON」をセットした結果フラグを通信I/F1dに出力する(ステップ105)。すると、これらの情報は、認識情報として情報管理装置30に送信される。
また、尤度が閾値以下であれば、認識情報出力部15は、帳票ID、項目ID、筆記情報、文字認識結果に加え、文字認識結果が誤認識の可能性があることを示す「OFF」をセットした結果フラグを通信I/F1dに出力する(ステップ106)。すると、これらの情報は、認識情報として情報管理装置30に送信される。
【0036】
一方、ステップ103で文字認識結果及び尤度が返されなかったと判定されれば、制御部11は、文脈処理部14に筆記情報を渡して文脈処理による文字認識を行うように指示し、これに応じて、文脈処理部14が、筆記情報に対して、文脈処理による文字認識を行う(ステップ107)。そして、文脈処理部14から制御部11へ処理結果が返される。
これにより、制御部11は、帳票ID、項目ID、筆記情報、文字認識結果、閾値以下の尤度を認識情報出力部15に渡し、認識情報出力部15は、尤度が閾値以下であるので、帳票ID、項目ID、筆記情報、文字認識結果に加え、文字認識結果が誤認識の可能性があることを示す「OFF」をセットした結果フラグを通信I/F1dに出力する(ステップ106)。すると、これらの情報は、認識情報として情報管理装置30に送信される。尚、このとき、制御部11が認識情報出力部15に渡す閾値以下の尤度は、処理結果として返された文字認識結果の尤度に関係なく閾値以下の値を設定した尤度であってよい。或いは、処理結果として返された文字認識結果の尤度が閾値以上かどうかを判定し、閾値以上であれば閾値以下の値に変更した尤度を採用し、閾値以下であればその尤度をそのまま採用することとしてもよい。また、ここでは、文字認識結果及び尤度が返されなかった場合について述べているが、これは、文字認識結果及び尤度が返されたが、尤度が極めて低く、文字認識結果及び尤度が返されなかった場合と同一視できるような場合を除外する趣旨ではない。
【0037】
このように端末装置10から認識情報が送信されると、次いで、情報管理装置30がこの情報を処理する。
図8は、情報管理装置30の機能構成例を示したブロック図である。
図示するように、情報管理装置30は、認識情報記憶部31と、認識情報取得部32と、修正情報出力部33とを備える。
【0038】
認識情報記憶部31は、帳票ID、項目ID、筆記情報、文字認識結果、結果フラグからなる認識情報を記憶する。尚、文字認識結果としては、端末装置10で単語照合による文字認識又は文脈処理による文字認識を行うことにより得られた文字コードを記憶するとよい。本実施の形態では、文字認識結果と結果情報とを対応付けて記憶する記憶手段の一例として、認識情報記憶部31を設けている。
【0039】
認識情報取得部32は、通信I/F3dが端末装置10から受信した認識情報を取得し、認識情報記憶部31に記憶する。
【0040】
修正情報出力部33は、端末装置20から帳票IDを指定して文字認識結果の表示要求があると、認識情報記憶部31においてその帳票IDに対応付けて記憶された項目ID、筆記情報、文字認識結果、結果フラグを通信I/F3dに出力することにより、これらの情報を修正情報として端末装置20に送信する。
【0041】
ここで、情報管理装置30の動作について簡単に説明すると、次のようになる。
即ち、情報管理装置30では、まず、認識情報取得部32が、通信I/F3dが端末装置10から受信した帳票ID、項目ID、筆記情報、文字認識結果、結果フラグを取得し、これらの情報を認識情報として認識情報記憶部31に記憶する。
次に、修正情報出力部33が、端末装置20から帳票IDを指定して文字認識結果の表示要求があると、認識情報記憶部31に記憶された認識情報の中から、その帳票IDに対応する項目ID、筆記情報、文字認識結果、結果フラグを取り出す。そして、これらの情報を通信I/F3dに出力することにより、修正情報として端末装置20に送信する。
【0042】
このように情報管理装置30から修正情報が送信されると、次いで、端末装置20がこの情報を処理する。
図9は、端末装置20の機能構成例を示したブロック図である。
図示するように、端末装置20は、修正情報取得部21と、表示情報生成部22と、表示情報出力部23とを備える。
【0043】
修正情報取得部21は、通信I/F2dが情報管理装置30から受信した修正情報を取得する。
【0044】
表示情報生成部22は、修正情報取得部21が取得した修正情報を表示機構2eに表示するための表示情報を生成する。具体的には、修正情報中の項目IDごとにその項目IDに対応する筆記情報と文字認識結果とを対比させた形式で表示するための表示情報を生成する。また、この表示情報においては、修正情報中の結果フラグが「ON」の項目に対して文字認識結果の修正が不要であることが分かるようにし、修正情報中の結果フラグ「OFF」の項目に対して文字認識結果の修正が必要であることが分かるようにする。
【0045】
表示情報出力部23は、表示情報生成部22が生成した表示情報を表示機構2eに出力する。本実施の形態では、文字認識結果を表示する表示手段の一例として、表示情報出力部23を設けている。
【0046】
ここで、端末装置20の動作について簡単に説明すると、次のようになる。
即ち、端末装置20では、まず、修正情報取得部21が、通信I/F2dが情報管理装置30から受信した修正情報、つまり、項目ID、筆記情報、文字認識結果、結果フラグを取得する。
次に、表示情報生成部22が、修正情報取得部21が取得した修正情報に基づいて、上述した表示情報を生成し、表示情報出力部23がこの表示情報を表示機構2eに出力する。
【0047】
尚、本実施の形態では、制御部11から渡された尤度が閾値以上であれば、結果フラグ「ON」を出力し、制御部11から渡された尤度が閾値以下であれば、結果フラグ「OFF」を出力する認識情報出力部15の存在を前提とし、文脈処理による文字認識を行った場合には、制御部11が閾値以下の尤度を設定して認識情報出力部15に渡し、認識情報出力部15は結果フラグ「OFF」を出力する、という構成を採用した。しかしながら、制御部11が、単語照合による文字認識を行った場合には、その尤度が閾値以上であれば結果フラグ「ON」を、その尤度が閾値以下であれば結果フラグ「OFF」を、文脈処理による文字認識を行った場合には、その尤度に関係なく結果フラグ「OFF」を、それぞれ認識情報出力部15に渡し、認識情報出力部15は、渡された結果フラグをそのまま情報管理装置30に送信する、という構成を採用してもよい。尚、前者の構成において、閾値は、出力手段の一例としての認識情報出力部15で用いる閾値であるので、出力用閾値の一例ということができ、後者の構成において、閾値は、制御手段の一例としての制御部11で用いる閾値であるので、制御用閾値の一例ということができる。
【0048】
また、本実施の形態では、単語照合による文字認識を行った場合に、その尤度が閾値以下であれば文字認識結果と結果フラグ「OFF」とを出力するようにした。しかしながら、このような場合に、文脈処理による文字認識を行い、その尤度に関係なく文字認識結果と結果フラグ「OFF」とを出力するようにしてもよい。即ち、図7のステップ104での判定による処理の振り分けを行わない構成としてもよい。
【0049】
更に、本実施の形態では、符号画像が印刷された媒体にデジタルペン40で筆記を行うことで得られた筆記情報の文字認識に発明を適用した場合について説明したが、この限りではない。例えば、符号画像が印刷されていない媒体に鉛筆等で記入した手書き文字を画像読み取り装置で読み取って得られた画像データの文字認識に発明を適用してもよい。
【0050】
更にまた、本実施の形態では、端末装置10が文字認識を行い、情報管理装置30が文字認識結果を管理し、端末装置20が文字認識結果を修正する構成としたが、このような構成には限られない。例えば、端末装置10は文字認識を行って得られた文字認識結果を自装置内の磁気ディスク装置1cに記憶し、端末装置10自身が磁気ディスク装置1cから文字認識結果を読み出して修正する構成としてもよい。
【0051】
尚、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、CD−ROM等の記録媒体に格納して提供することも可能である。
【符号の説明】
【0052】
10,20…端末装置、11…制御部、12…筆記情報取得部、13…単語照合部、14…文脈処理部、15…認識情報出力部、21…修正情報取得部、22…表示情報生成部、23…表示情報出力部、30…情報管理装置、31…認識情報記憶部、32…認識情報取得部、33…修正情報出力部、40…デジタルペン、50…通信装置、80…ネットワーク

【特許請求の範囲】
【請求項1】
文字認識対象のデータを取得する取得手段と、
文字認識結果の候補を定義した情報を用いてデータを文字認識する第1の文字認識手段と、
学習用の文章を統計的に分析して得られた情報を用いてデータを文字認識する第2の文字認識手段と、
前記取得手段により取得されたデータが前記第1の文字認識手段によって文字認識されるように制御した後、前記第1の文字認識手段による文字認識結果が得られた場合には、当該文字認識結果が出力されるように制御し、前記第1の文字認識手段による文字認識結果が得られなかった場合には、前記取得手段により取得されたデータが前記第2の文字認識手段によって文字認識され、かつ、前記第2の文字認識手段による文字認識結果が誤認識の可能性がある結果として出力されるように制御する制御手段と
を備えたことを特徴とする文字認識装置。
【請求項2】
前記制御手段は、前記第1の文字認識手段による文字認識結果が得られた場合には、当該文字認識結果の尤度が予め定めた制御用閾値以上であれば、当該文字認識結果が正しい結果として出力されるように制御し、当該文字認識結果の尤度が当該制御用閾値以下であれば、当該文字認識結果が誤認識の可能性がある結果として出力されるように制御することを特徴とする請求項1に記載の文字認識装置。
【請求項3】
文字認識結果と当該文字認識結果の尤度とが渡されると、当該尤度が予め定めた出力用閾値以上であれば、当該文字認識結果を正しい結果として出力し、当該尤度が当該出力用閾値以下であれば、当該文字認識結果を誤認識の可能性がある結果として出力する出力手段を更に備え、
前記制御手段は、前記第2の文字認識手段による文字認識結果の尤度が前記出力用閾値以上であれば、当該文字認識結果と、当該出力用閾値以下の尤度とを前記出力手段に出力し、前記第2の文字認識手段による文字認識結果の尤度が当該出力用閾値以下であれば、当該文字認識結果と当該尤度とを前記出力手段に出力することにより、前記第2の文字認識手段による文字認識結果が誤認識の可能性がある結果として出力されるように制御することを特徴とする請求項1又は請求項2に記載の文字認識装置。
【請求項4】
文字認識対象のデータを文字認識する文字認識装置と、
前記文字認識装置による文字認識結果を管理する管理装置と、
前記管理装置により管理される前記文字認識結果を、修正者の操作に応じて修正する修正装置と
を備え、
前記文字認識装置は、
前記文字認識対象のデータを取得する取得手段と、
文字認識結果の候補を定義した情報を用いてデータを文字認識する第1の文字認識手段と、
学習用の文章を統計的に分析して得られた情報を用いてデータを文字認識する第2の文字認識手段と、
前記取得手段により取得されたデータが前記第1の文字認識手段によって文字認識されるように制御した後、前記第1の文字認識手段による文字認識結果が得られた場合には、当該文字認識結果と当該文字認識結果が正しい結果であること又は誤認識の可能性がある結果であることを示す結果情報とが前記管理装置に出力されるように制御し、前記第1の文字認識手段による文字認識結果が得られなかった場合には、前記取得手段により取得されたデータが前記第2の文字認識手段によって文字認識され、かつ、前記第2の文字認識手段による文字認識結果と当該文字認識結果が誤認識の可能性があることを示す結果情報とが前記管理装置に出力されるように制御する制御手段と
を備え、
前記管理装置は、
前記文字認識装置により出力された前記文字認識結果と前記結果情報とを対応付けて記憶する記憶手段
を備え、
前記修正装置は、
前記記憶手段に記憶された前記文字認識結果のうち、少なくとも誤認識の可能性があることを示す前記結果情報に対応付けて記憶された前記文字認識結果を、修正が必要な情報として表示する表示手段
を備えたことを特徴とする文字認識結果処理システム。
【請求項5】
前記制御手段は、前記第1の文字認識手段による文字認識結果が得られた場合には、当該文字認識結果の尤度が予め定めた制御用閾値以上であれば、当該文字認識結果と当該文字認識結果が正しい結果であることを示す前記結果情報とが前記管理装置に出力されるように制御し、当該文字認識結果の尤度が当該制御用閾値以下であれば、当該文字認識結果と当該文字認識結果が誤認識の可能性がある結果であることを示す前記結果情報とが前記管理装置に出力されるように制御することを特徴とする請求項4に記載の文字認識結果処理システム。
【請求項6】
コンピュータに、
文字認識対象のデータを取得する取得機能と、
文字認識結果の候補を定義した情報を用いてデータを文字認識する第1の文字認識機能と、
学習用の文章を統計的に分析して得られた情報を用いてデータを文字認識する第2の文字認識機能と、
前記取得機能で取得されたデータが前記第1の文字認識機能で文字認識されるように制御した後、前記第1の文字認識機能での文字認識結果が得られた場合には、当該文字認識結果が出力されるように制御し、前記第1の文字認識機能での文字認識結果が得られなかった場合には、前記取得機能で取得されたデータが前記第2の文字認識機能で文字認識され、かつ、前記第2の文字認識機能での文字認識結果が誤認識の可能性がある結果として出力されるように制御する制御機能と
を実現させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate