端末装置、それに用いられるプログラム及び情報処理システム
【課題】電子ペンにより電子ペン用記入媒体に記入した文字列が誤認識された場合に、電子ペン用修正媒体を使用して容易に文字列を修正する。
【解決手段】記入帳票に文字列を記入すると、端末装置は電子ペンから帳票記入情報を取得する。帳票記入情報に基づいて帳票エリア定義情報を参照することにより、端末装置は、文字列が記入された帳票エリアを特定する。また、帳票記入情報に基づく文字認識により文字列を特定する。端末装置は、帳票エリア及び文字列を対応付けてメモリに格納し、記入文字列を出力する。記入帳票及び修正パレットをタップすると、端末装置は電子ペンから修正記入情報を取得する。修正記入情報に基づいて帳票エリア定義情報及びパレットエリア定義情報を参照することにより、端末装置は、修正エリア及び修正文字列を特定する。そして、メモリに格納された修正エリアに対応する文字列を修正文字列で上書し、修正文字列を出力する。
【解決手段】記入帳票に文字列を記入すると、端末装置は電子ペンから帳票記入情報を取得する。帳票記入情報に基づいて帳票エリア定義情報を参照することにより、端末装置は、文字列が記入された帳票エリアを特定する。また、帳票記入情報に基づく文字認識により文字列を特定する。端末装置は、帳票エリア及び文字列を対応付けてメモリに格納し、記入文字列を出力する。記入帳票及び修正パレットをタップすると、端末装置は電子ペンから修正記入情報を取得する。修正記入情報に基づいて帳票エリア定義情報及びパレットエリア定義情報を参照することにより、端末装置は、修正エリア及び修正文字列を特定する。そして、メモリに格納された修正エリアに対応する文字列を修正文字列で上書し、修正文字列を出力する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子ペンにより電子ペン用媒体に記入された記入情報を処理する技術に関する。
【背景技術】
【0002】
近年、「電子ペン」、「デジタルペン」などと呼ばれるペン型入力デバイスが登場しており(以下、本明細書では「電子ペン」と呼ぶ。)、その代表的なものとしてスウェーデンのAnoto社が開発した「アノトペン(Anoto pen)」が知られている(特許文献1参照)。アノトペンは、所定のドットパターンが印刷された専用紙(以下、「専用ペーパー」とも呼ぶ。)とペアで使用される。アノトペンは、通常のインクタイプのペン先部に加えて、専用紙上のドットパターンを読み取るための小型カメラと、データ通信ユニットを搭載している。利用者が専用紙上にアノトペンで文字などを書いたり、専用紙上に図案化されている画像にチェックマークを記入したりすると、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンを検出し、利用者が書き込んだ文字、画像などの記入情報が取得される。この記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信される。このアノトペンを利用したシステムは、キーボードに代わる入力デバイスとして利用することが可能であり、上述のパーソナルコンピュータやキーボードの使用に抵抗がある利用者にとっては非常に使いやすい。そのため、現在、各種ビジネス上の書類、申込書、契約書等に記入されたデータをデジタル化する手法として、電子ペンを利用したシステムが普及しつつある(例えば、特許文献2)。
【0003】
また、特許文献3には、文字種類を特定するための判別項目を設けることで、電子ペンによる記入情報に基づくOCRの誤認識を減少させ、紛らわしい文字の変換を確実に行うことができる文字認識システムが記載されている。
【0004】
【特許文献1】特表2003−511761号公報
【特許文献2】特開2004−153612号公報
【特許文献3】特開2007−265346号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
そこで本発明は、電子ペンにより電子ペン用記入媒体に記入した文字列が誤認識された場合に、電子ペン用修正媒体を使用して容易に文字列を修正することが可能な端末装置、それに用いられるプログラム及び情報処理システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る端末装置は、電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体及び電子ペン用修正媒体に記入された情報を処理する端末装置であって、音声を出力する音声出力部と、文字列を表示する表示部と、前記電子ペン用記入媒体を構成する帳票エリアと、前記コード化パターン上における前記帳票エリアの位置座標を示す座標データとを対応付けた帳票エリア定義情報を記憶する帳票エリア定義情報記憶手段と、前記電子ペン用修正媒体を構成する修正エリアと、前記コード化パターン上における前記修正エリアの位置座標を示す座標データと、前記修正エリア上に記載された文字とを対応付けた修正エリア定義情報を記憶する修正エリア定義情報記憶手段と、前記電子ペンから、前記電子ペン用記入媒体への記入内容に対応する帳票記入情報を取得する帳票記入情報取得手段と、前記帳票記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第1帳票エリア特定手段と、前記帳票記入情報に基づく文字認識により、前記第1帳票エリア特定手段が特定した帳票エリアに記入された記入文字列を認識する記入文字列認識手段と、前記音声出力部から、前記記入文字列に対応する音声を出力する第1音声出力手段と、前記表示部に前記記入文字列を表示させる第1表示手段と、前記第1帳票エリア特定手段が特定した帳票エリアと、前記記入文字列とを対応付けて格納する認識結果格納手段と、前記電子ペンから、前記記入文字列認識手段が前記記入文字列を認識した後に、前記電子ペン用記入媒体及び前記電子ペン用修正媒体への記入内容に対応する修正記入情報を取得する修正記入情報取得手段と、前記修正記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第2帳票エリア特定手段と、前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記修正エリアを特定する修正エリア特定手段と、前記修正エリア定義情報を参照することで、前記修正エリア特定手段が特定した修正エリア上に記載された文字を特定する文字特定手段と、前記文字特定手段が特定した文字に基づいて修正文字列を特定する修正文字列特定手段と、前記認識結果格納手段から、前記第2帳票エリア特定手段が特定した帳票エリアに対応する記入文字列を削除する削除手段と、前記認識結果格納手段に、前記第2帳票エリア特定手段が特定した帳票エリアと、前記修正文字列とを対応付けて格納する認識結果上書手段と、前記音声出力部から、前記修正文字列に対応する音声を出力する第2音声出力手段と、前記表示部に前記修正文字列を表示させる第2表示手段と、を備えることを特徴とする。
【0007】
上記のように構成された端末装置において、電子ペンは、認識可能なドットパターンが印刷された電子ペン用記入帳票や電子ペン用修正パレットに記入された内容に対応するデジタルデータである記入情報を取得し、即時的且つ逐次的に端末装置へ送信する。端末装置は、電子ペンから即時的且つ逐次的に取得する記入情報に基づいて処理を実行することができる。端末装置とは、電子ペンの近傍に存在し、電子ペンから取得した記入情報を処理することができるPC、PDA(Personal Digital Assistants)、携帯電話等の外部機器である。なお、本発明において記入情報は、電子ペン用記入帳票や電子ペン用修正パレットに記入された内容に対応するデジタルデータのみではなく、電子ペン用記入帳票や電子ペン用修正パレットへのタップに対応するデジタルデータを含むものとする。タップとは、電子ペン用記入帳票が有する帳票エリアや電子ペン用修正パレットが有する修正エリアを電子ペンによりつつくことである。利用者は、まず、電子ペン用記入帳票の所定の帳票エリアに任意の文字列を記入する。ここで、文字列とは、数字、ひらがな、カタカナ、ギリシャ文字、JIS1、JIS2など任意の1文字以上の文字の集まりである。このとき、電子ペンは、記入した文字列に対応する座標情報、ストロークデータ等を帳票記入情報として取得し、即時的且つ逐次的に端末装置に送信する。座標情報とは、電子ペン用記入帳票に印刷されたドットパターン上における文字列の位置座標を示すX/Y座標データ等である。ストロークデータとは、電子ペンが記入した文字列の軌跡を示すデータである。取得した帳票記入情報に含まれる座標情報に基づいて、予め記憶している帳票エリア定義情報を参照することにより、端末装置は、利用者が文字列を記入した帳票エリアを特定する。また、端末装置は、取得した帳票記入情報に含まれるストロークデータに基づいて、当該端末装置に搭載された文字認識エンジンによりHWR(HandWriting Recognition;手書き文字認識)やOCR(Optical Character Recognition;光学文字認識)を実行することで、特定した帳票エリアに記入された文字列を特定する。さらに、端末装置は、特定した帳票エリア及び文字列を対応付け、認識結果としてメモリに格納する。また、端末装置は、特定した文字列に対応する音声を音声出力部から出力し、同時に、特定した文字列を表示部に表示させる。これにより、利用者は、電子ペンが認識した文字列が意図した文字列を相違ないことを確認することができる。換言すると、利用者は、音声出力及び文字列表示により端末装置の誤認識を把握することができる。
【0008】
電子ペンの誤認識を修正する場合、利用者は、まず、電子ペン用記入帳票において修正したい帳票エリアをタップする。次に、利用者は、電子ペン用修正パレットにおいて修正後の文字列をタップにより指定する。電子ペン用修正パレットを構成する修正エリアには、それぞれ文字が記載されているため、利用者は、修正後の文字列になるよう順番に対応する文字が記載されている修正エリアをタップにより指定する。このとき、電子ペンは、電子ペン用記入帳票及び電子ペン用修正パレットへのタップに対応する座標情報等を修正記入情報として取得し、即時的且つ逐次的に端末装置へ送信する。取得した修正記入情報に含まれる座標情報に基づいて、帳票エリア定義情報を参照することにより、端末装置は、利用者が指定した修正する帳票エリアを修正エリアとして特定する。また、取得した修正記入情報に含まれる座標情報に基づいて、予め記憶している修正エリア定義情報を参照することにより、端末装置は、利用者がタップにより指定した修正エリアを特定する。さらに、端末装置は、修正エリア定義情報を参照することにより、特定した修正エリアに記載された文字を特定し、利用者がタップにより指定した修正後の文字列を修正文字列として特定する。そして、端末装置は、修正エリアとして特定された帳票エリアに対応付けて格納されている文字列を修正文字列で上書する。端末装置は、上書した修正文字列に対応する音声を音声出力部から出力し、同時に、修正文字列を表示部に表示させる。これにより、利用者は、修正後の文字列が確実に電子ペンによって認識されたか否かを把握することができる。
【0009】
さらに、上記端末装置において、前記修正記入情報に基づいて、データ開始点及びデータ終了点を特定する開始終了点特定手段を備え、前記第2帳票エリア特定手段は、前記データ開始点及び前記データ終了点の座標データに基づいて前記帳票エリア定義情報を参照することで、当該データ開始点及び当該データ終了点の双方が含まれる帳票エリアを特定し、前記修正エリア特定手段は、前記データ開始点及び前記データ終了点の座標データに基づいて前記修正エリア定義情報を参照することで、当該データ開始点及び当該データ終了点の双方が含まれる修正エリアを特定すると好適である。
【0010】
さらに、前記電子ペン用修正媒体は、所定の文字が記載された修正エリアの他に、前記修正文字列の決定に対応する決定エリアを有しており、前記端末装置は、前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記決定エリアに前記電子ペンによる記入がなされたか否かを判定する判定手段をさらに備え、前記修正文字列特定手段は、前記判定手段が前記決定エリアに前記電子ペンによる記入がなされたと判定した場合に、前記文字特定手段が特定した文字に基づいて修正文字列を特定する。これによれば、端末装置は、決定エリアがタップされた場合に、利用者による修正文字列の指定が完了したと判断する。よって、確実に修正文字列を認識することができる。
【0011】
さらに、電子ペンから取得する帳票記入情報及び修正記入情報には、座標情報やストロークデータの他に時間情報が含まれている。時間情報とは、電子ペンによって文字を記入した時刻や所定のエリアをタップした時刻を示す情報である。前記文字列特定手段は、前記帳票記入情報に基づく文字認識により認識した1つ以上の文字を、当該帳票記入情報に含まれる時間情報に基づいて時系列につなぐことで文字列を特定し、前記修正文字列特定手段は、前記文字特定手段が特定した1つ以上の文字を、前記修正記入情報に含まれる時間情報に基づいて時系列につなぐことで修正文字列を特定する。これにより、利用者が意図する正しい修正文字列を特定することができる。
【0012】
また、本発明に係るプログラムは、電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体及び電子ペン用修正媒体に記入された情報を処理するコンピュータにより実行されるプログラムであって、前記コンピュータは、音声を出力する音声出力部と、文字列を表示する表示部と、を備え、前記プログラムは、前記電子ペン用記入媒体を構成する帳票エリアと、前記コード化パターン上における前記帳票エリアの位置座標を示す座標データとを対応付けた帳票エリア定義情報を記憶する帳票エリア定義情報記憶手段、前記電子ペン用修正媒体を構成する修正エリアと、前記コード化パターン上における前記修正エリアの位置座標を示す座標データと、前記修正エリア上に記載された文字とを対応付けた修正エリア定義情報を記憶する修正エリア定義情報記憶手段、前記電子ペンから、前記電子ペン用記入媒体への記入内容に対応する帳票記入情報を取得する帳票記入情報取得手段、前記帳票記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第1帳票エリア特定手段、前記帳票記入情報に基づく文字認識により、前記第1帳票エリア特定手段が特定した帳票エリアに記入された記入文字列を認識する記入文字列認識手段、前記音声出力部から、前記記入文字列に対応する音声を出力する第1音声出力手段、前記表示部に前記記入文字列を表示させる第1表示手段、前記第1帳票エリア特定手段が特定した帳票エリアと、前記記入文字列とを対応付けて格納する認識結果格納手段、前記電子ペンから、前記記入文字列認識手段が前記記入文字列を認識した後に、前記電子ペン用記入媒体及び前記電子ペン用修正媒体への記入内容に対応する修正記入情報を取得する修正記入情報取得手段、前記修正記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第2帳票エリア特定手段、前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記修正エリアを特定する修正エリア特定手段、前記修正エリア定義情報を参照することで、前記修正エリア特定手段が特定した修正エリア上に記載された文字を特定する文字特定手段、前記文字特定手段が特定した文字に基づいて修正文字列を特定する修正文字列特定手段、前記認識結果格納手段から、前記第2帳票エリア特定手段が特定した帳票エリアに対応する記入文字列を削除する削除手段、前記認識結果格納手段に、前記第2帳票エリア特定手段が特定した帳票エリアと、前記修正文字列とを対応付けて格納する認識結果上書手段、前記音声出力部から、前記修正文字列に対応する音声を出力する第2音声出力手段、前記表示部に前記修正文字列を表示させる第2表示手段、として前記コンピュータを機能させることを特徴とする。上記プログラムをコンピュータにより実行することで、上述の端末装置を実現することができる。また、上述の端末装置の各態様も同様に実現することができる。
【0013】
また、本発明に係る情報処理システムによれば、利用者が電子ペン用記入帳票の所定の帳票エリアに任意の文字列を記入すると、電子ペンは、記入した文字列に対応する座標情報、ストロークデータ等を帳票記入情報として取得し、即時的且つ逐次的に端末装置に送信する。端末装置では、取得した帳票記入情報に含まれる座標情報に基づいて、予め記憶している帳票エリア定義情報を参照することにより、利用者が文字列を記入した帳票エリアを特定する。また、端末装置は、取得した帳票記入情報に含まれるストロークデータに基づいて、当該端末装置に搭載された文字認識エンジンによりHWRやOCRを実行することで、特定した帳票エリアに記入された文字列を特定する。さらに、端末装置は、特定した帳票エリア及び文字列を対応付け、認識結果としてメモリに格納する。また、端末装置は、特定した文字列に対応する音声を音声出力部から出力し、同時に、特定した文字列を表示部に表示させる。これにより、利用者は、電子ペンが認識した文字列が意図した文字列を相違ないことを確認することができる。換言すると、利用者は、音声出力及び文字列表示により端末装置の誤認識を把握することができる。電子ペンの誤認識を修正する場合、利用者は、まず、電子ペン用記入帳票において修正したい帳票エリアをタップする。次に、利用者は、電子ペン用修正パレットにおいて修正後の文字列をタップにより指定する。電子ペン用修正パレットを構成する修正エリアには、それぞれ文字が記載されているため、利用者は、修正後の文字列になるよう順番に対応する文字が記載されている修正エリアをタップにより指定する。このとき、電子ペンは、電子ペン用記入帳票及び電子ペン用修正パレットへのタップに対応する座標情報等を修正記入情報として取得し、即時的且つ逐次的に端末装置へ送信する。取得した修正記入情報に含まれる座標情報に基づいて、帳票エリア定義情報を参照することにより、端末装置は、利用者が指定した修正する帳票エリアを修正エリアとして特定する。また、取得した修正記入情報に含まれる座標情報に基づいて、予め記憶している修正エリア定義情報を参照することにより、端末装置は、利用者がタップにより指定した修正エリアを特定する。さらに、端末装置は、修正エリア定義情報を参照することにより、特定した修正エリアに記載された文字を特定し、利用者がタップにより指定した修正後の文字列を修正文字列として特定する。そして、端末装置は、修正エリアとして特定された帳票エリアに対応付けて格納されている文字列を修正文字列で上書する。端末装置は、上書した修正文字列に対応する音声を音声出力部から出力し、同時に、修正文字列を表示部に表示させる。これにより、利用者は、修正後の文字列が確実に電子ペンによって認識されたか否かを把握することができる。このように、電子ペンにより電子ペン用記入媒体に記入した文字列が誤認識された場合に、電子ペン用修正媒体を使用して容易に文字列を修正することができる。
【0014】
また、記入文字列及び修正文字列の出力は、音声出力のみ行う、又は、文字列表示のみ行うことも可能である。
【発明の効果】
【0015】
本発明に係る端末装置、それに用いられるプログラム及び情報処理システムによれば、電子ペンにより電子ペン用記入媒体に記入した文字列が誤認識された場合に、電子ペン用修正媒体を使用して容易に文字列を修正することができる。
【発明を実施するための最良の形態】
【0016】
以下、図面を参照して本発明の好適な実施の形態について説明する。
【0017】
<第1実施形態>
本実施形態の情報処理システムは、図1及び図2に示すように、電子ペン10A(10)と、専用ペーパー(電子ペン用媒体)20と、端末装置25A(25)とから構成される。ここで、図1は電子ペン10Aの使用形態を模式的に示す図であり、図2は電子ペン10Aの構成を示すブロック図である。専用ペーパー20には、ドットパターン(コード化パターン)が印刷されている。電子ペン10Aは、通常のインクペンと同様のペン先部17を備えており、利用者が通常のインクペンと同様にペン先部17によって専用ペーパー20上に文字などを書くと、電子ペン10Aは、ペン先部17の移動軌跡に沿って、専用ペーパー20に印刷されたドットパターンを局所的、連続的に読み取り、専用ペーパー20におけるその局所位置の座標を算出し、その座標データ等を端末装置25Aに送信する。電子ペン10Aは、端末装置25Aへ確実にデータを送信できるよう、端末装置25Aの近傍で使用される。端末装置25Aは、受信した座標データ等に基づいて、入力文字を記憶したり、タップに応じた処理を行ったりする等、所定の処理を実行する。以下、各構成について詳細に説明する。
【0018】
[専用ペーパー]
まず、専用ペーパー20について説明する。専用ペーパー20は、用紙上にドットパターンが印刷され、さらにその上に罫線や記入枠などの図案や項目、文言、イラスト等が印刷されたものである。ドットパターンは、赤外線を吸収するカーボンを含んだインキにより印刷される。また、図案等は、カーボンを含まない通常のインキにより印刷される。ドットパターンと図案等とは用紙に対して同時に印刷してもよいし、どちらかを先に印刷してもよい。
【0019】
図5及び図6に、図案等が印刷された専用ペーパー20の例を示す。図5は、電子ペン用記入帳票(以下、「記入帳票」と呼ぶ。)の例である。図6は、電子ペン用修正パレット(以下、「修正パレット」と呼ぶ。)の例である。
【0020】
図5に示す記入帳票は、割賦申込書の一例であって、商品名・型式を記入するユーザエリアである商品名エリア61、数量を記入するユーザエリアである数量エリア62、現金価格を記入する価格エリア63等が印刷されている。ドットパターンは、記入帳票のほぼ全面に印刷されており、その上に各ユーザエリアの名称やお願い、各ユーザエリアの枠線等が、カーボンを含まない通常のインキにより印刷されている。利用者は、ドットパターンを意識することがなく、割賦申込をする場合に、電子ペン10Aを使用して各ユーザエリアに必要事項を記入する。
【0021】
図6に示す修正パレットは、誤認識された文字列の修正に使用する帳票であって、「0」から「9」までの数字が記載されたユーザエリアである修正エリア65、「決」が記載されたユーザエリアである決定エリア66等が印刷されている。ドットパターンは、修正パレットのほぼ全面に印刷されており、その上に数字や枠線等が、カーボンを含まない通常のインキにより印刷されている。利用者は、ドットパターンを意識することがなく、誤認識された文字列を修正する場合に、電子ペン10Aを使用して修正した正しい文字列(以下、「修正文字列」と呼ぶ。)に対応する修正エリア65をタップ(電子ペン10Aのペン先部17の専用ペーパー(電子ペン用媒体20)への軽叩)する。そして、利用者は、修正文字列を決定する場合に、電子ペン10Aを使用して決定エリア66をタップする。
【0022】
[ドットパターン]
続いて、ドットパターンについて説明する。図3は、専用ペーパー20に印刷されたドットパターンのドットとそのドットが変換される値との関係を説明する図である。図3に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を格子の基準位置(縦線及び横線の交差点)から上下左右のどの方向にシフトされているかによって、各ドットは、0〜3の値に対応付けられている。また、各ドットの値は、さらに、X座標用の第1ビット値及びY座標用の第2ビット値に変換できる。このようにして対応付けられた情報の組合せにより、専用ペーパー20上の位置座標が決定されるよう構成されている。
【0023】
図4(a)は、あるドットパターンの配列を示している。図4(a)に示すように、縦横約2mmの範囲内に6×6個のドットが、専用ペーパー上のどの部分から6×6ドットを取ってもユニークなパターンとなるように配置されている。これら36個のドットにより形成されるドットパターンは位置座標(例えば、そのドットパターンがその専用ペーパー上のどの位置にあるのか)を保持している。図4(b)は、図4(a)に示す各ドットを、格子の基準位置からのシフト方向によって、図3に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン10Aによって行われる。
【0024】
[電子ペン]
次に電子ペン10Aについて説明する。図2に示すように、電子ペン10Aは、その内部にプロセッサ11、データ通信ユニット13、バッテリー14、LED15、カメラ16、圧力センサ18及びクロック22を備える。また、電子ペン10Aは通常のインクペンと同様の構成要素としてインクカートリッジ(図示せず)などを有する。
【0025】
LED15は、電子ペン10Aのペン先付近に取り付けられており、専用ペーパー20上のペン先部17近傍(領域15a)に向けて、赤外線を照明する(図1参照)。領域15aは、ペン先部17が専用ペーパー20に接触する位置とはわずかにずれている。カメラ16は、LED15によって照明された領域15a内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ11に供給する。ここで、カーボンは赤外線を吸収するため、LED15によって照射された赤外線は、ドットの部分でドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。したがって、カメラ16の撮影により、赤外線の反射量の違いから、カーボンを含むドットの領域とそれ以外の領域を区別することができる。たとえ撮影領域に罫線や枠などが印刷されてあったとしても、罫線や枠などのインクには、カーボンが含まれていないため、ドットパターンを認識することができる。なお、カメラ16による撮影領域は、図4(a)に示すような約2mm×約2mmの大きさを含む範囲であり、カメラ16の撮影は、毎秒50〜100回程度行われる。
【0026】
バッテリー14は電子ペン10A内の各部品に電力を供給するためのものであり、例えば電子ペン10Aのキャップ(図示せず)の脱着により電子ペン10A自体の電源のオン/オフを行うよう構成させてもよい。クロック22は、現在時刻(タイムスタンプ)を発信し、プロセッサ11に供給する。圧力センサ18は、利用者が電子ペン10Aにより専用ペーパー20上に文字などを書く際にペン先部17に与えられる圧力、即ち筆圧を検出し、プロセッサ11へ供給する。
【0027】
プロセッサ11は、圧力センサ18から与えられる筆圧データに基づいて、LED15及びカメラ16のスイッチオン/オフの切換を行う。即ち、利用者が電子ペン10Aで専用ペーパー20上に文字などを書くと、ペン先部17には筆圧がかかり、圧力センサ18によって所定値以上の筆圧が検出されたときに、プロセッサ11は、利用者が記入を開始したと判定して、LED15及びカメラ16を作動させる。
【0028】
プロセッサ11は、利用者の記入が行われる間、カメラ16によって供給される画像データのドットパターンから、利用者が記入するストロークの専用ペーパー20上でのX,Y座標(単に「座標データ」とも呼ぶ)を連続的に算出していく。すなわち、プロセッサ11は、カメラ16によって供給される、図4(a)に示されるようなドットパターンの画像データを図4(b)に示すデータ配列に変換し、さらに、X座標ビット値・Y座標ビット値に変換して、そのデータ配列から所定の演算方法によりX,Y座標データを算出する。そしてプロセッサ11は、現在時刻(タイムスタンプ)を発信するクロック22から時間情報を取得し、その時間情報と、筆圧データ及びX,Y座標データとを関連付け、これらの情報を記入情報として、データ通信ユニット13に対して、端末装置25Aへ送信させる。ここで、一枚の専用ペーパー(電子ペン用媒体)20内の6×6のドットパターンは、その専用ペーパー20内で重複することはないため、利用者が電子ペン10Aでユーザエリアに必要事項を記入したりタップしたりすると、その記入やタップが専用ペーパー20のどのユーザエリアに対応するものであるかを、座標データから特定することができる。
【0029】
データ通信ユニット13は、プロセッサ11から時間情報、筆圧データ、X,Y座標データを記入情報として受けると、端末装置25Aへ無線送信する。データ通信ユニット13による送信は、Bluetooth(登録商標)の無線送信によると好適である。なお、USBケーブルを使用した有線送信、端子などの接触によるデータ送信など、他の方法によって、データ通信ユニット13から端末装置25Aへデータ送信を行ってもよい。データ通信ユニット13による端末装置25Aへの記入情報の送信は、即時的且つ逐次的に行われる。
【0030】
[端末装置]
次に、端末装置25Aについて図7を参照して説明する。端末装置25Aは、ハードウェアとして、電子ペン10Aとのデータ通信が可能なアンテナ装置、CPU等のプロセッサ、ROMやRAMといったメモリ、スピーカ、ディスプレイ等で構成される、PCや携帯電話、或いは携帯端末である。図7は、端末装置25Aの機能ブロック図である。端末装置25Aは、電子ペン10Aから取得したX,Y座標データ等の記入情報に基づいて、専用アプリケーションを実行することで所定の処理を行う。
【0031】
図7に示すように、端末装置25Aは、情報記憶手段31、記入情報取得手段32、開始終了点特定手段33、帳票エリア特定手段34、記入文字列認識手段35、音声出力手段36、表示手段37、認識結果格納手段38、修正エリア特定手段39、文字特定手段40、判定手段41、修正文字列特定手段42、認識結果上書手段43、音声出力部44及び表示部45を備える。物理的には、情報記憶手段31及び認識結果格納手段38は、ROMやRAMといったメモリによって構成され、記入情報取得手段32は、データ通信ユニット、プロセッサ等によって構成され、音声出力部44はスピーカ等で構成され、表示部45はディスプレイ等で構成される。また、開始終了点特定手段33、帳票エリア特定手段34、記入文字列認識手段35、音声出力手段36、表示手段37、修正エリア特定手段39、文字特定手段40、判定手段41、修正文字列特定手段42及び認識結果上書手段43は、CPU等のプロセッサに組み込まれている。
【0032】
情報記憶手段31は、ユーザエリアと、ドットパターン上におけるユーザエリアの位置座標を示す座標データとを対応付けて記憶するメモリである。情報記憶手段31は、本発明における帳票エリア定義情報記憶手段及び修正エリア定義情報記憶手段として機能する。
【0033】
すなわち、図8に示すように、情報記憶手段31には、専用ペーパー20である記入帳票のユーザエリアを識別するエリアIDと、ユーザエリアの名称であるエリア名と、ユーザエリアの位置座標領域を表す座標データとを対応付けた帳票エリア定義情報が記憶されている。エリアID「A01」に関連してエリア名「商品名エリア」が記憶され、エリアID「A02」に関連してエリア名「数量エリア」が記憶され、エリアID「A03」に関連してエリア名「価格エリア」が記憶されている。各ユーザエリアの座標データを構成するデータ(xn,yn)、Hn、Wnは、図9に示すように、それぞれ、ドットパターン上におけるユーザエリアの頂点V(xn,yn)の座標、Y軸方向の高さ(Height)、X軸方向の幅(Width)を意味する。
【0034】
また、図10に示すように、情報記憶手段31には、専用ペーパー20である修正パレットのユーザエリアを識別するエリアIDと、ユーザエリアに記載された文字と、ユーザエリアの位置座標領域を示す座標データとを対応付けた修正エリア定義情報が記憶されている。エリアID「B01」に関連して文字「1」が記憶され、エリアID「B02」に関連して文字「2」が記憶され、エリアID「B10」に関連して文字「決」が記憶されている。
【0035】
記入情報取得手段32は、電子ペン10Aのデータ通信ユニット13によって送信される専用ペーパー20への記入内容に対応する記入情報を即時的且つ逐次的に取得する手段であり、Bluetooth(登録商標)による通信方式の電波を受信するアンテナ等により構成される。記入情報には、タップ、文字、記号、絵柄等を記入する際に取得する情報が含まれる。特に、タップにより取得される記入情報をタップ情報と呼ぶ。また、タップ情報に含まれる時間情報をタップ時刻と呼ぶ。本実施形態において記入情報取得手段32は、記入帳票への記入内容に対応する記入情報を帳票記入情報として取得する。また、本実施形態において記入情報取得手段32は、修正パレットへの記入内容に対応する記入情報を修正記入情報として取得する。記入情報とは、帳票記入情報及び修正記入情報の双方を含むものとする。記入情報取得手段32は、本発明における帳票記入情報取得手段及び修正記入情報取得手段として機能する。
【0036】
開始終了点特定手段33は、記入情報取得手段32が取得した修正記入情報に含まれるストロークのデータ開始点及びデータ終了点を特定する。具体的には、開始終了点特定手段33は、データ開始点及びデータ終了点それぞれの位置座標を示す座標データと記入時刻とを特定する。
【0037】
帳票エリア特定手段34は、記入情報取得手段32が取得した帳票記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶した帳票エリア定義情報(図8参照)を参照することにより、対応するユーザエリアを特定する。記入帳票を構成するユーザエリアを総称して「帳票エリア」と呼ぶ。すなわち、帳票エリア特定手段34は、帳票記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶した帳票エリア定義情報を参照することにより、対応する帳票エリアを特定する。
【0038】
また、帳票エリア特定手段34は、記入情報取得手段32が取得した修正記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶した帳票エリア定義情報を参照することにより、対応する帳票エリアを特定する。このとき、帳票エリア特定手段34は、1つのストロークのデータ開始点及びデータ終了点の双方が含まれる帳票エリアのみを特定するようにするとよい。そのような設定にすれば、利用者が記入帳票に記入したストロークのデータ開始点及びデータ終了点のいずれかが帳票エリアの範囲外にある場合には、利用者がその帳票エリアをタップしようと意図したものではないと判定することができる。また、帳票エリア特定手段34は、開始終了点特定手段33によって特定されたデータ開始点及びデータ終了点における時間及び/又は両点間の移動距離に基づいて、利用者により帳票エリアに記入されたストロークがタップであるか否かを判定する。帳票エリア特定手段34は、修正記入情報及び帳票エリア定義情報に基づいて、電子ペン10Aによりタップされた帳票エリアを特定する。
【0039】
帳票エリア特定手段34は、本発明における第1帳票エリア特定手段及び第2帳票エリア特定手段として機能する。
【0040】
記入文字列認識手段35は、記入情報取得手段32が取得した帳票記入情報に基づいて、HWRやOCR等による文字認識を実行することで、電子ペン10Aを使用して記入帳票に記入された文字を認識する。さらに、記入文字列認識手段35は、帳票記入情報に含まれる時間情報に基づいて、認識した文字を時系列につなぐことで記入文字列を認識する。
【0041】
音声出力手段36は、記入文字列認識手段35が認識した記入文字列を表す音声を音声出力部44から出力させる。記入文字列を表す音声は、予め情報記憶手段31に記憶されている音声データを再生することにより出力することとしてもよいし、音声合成して出力することとしてもよい。
【0042】
表示手段37は、記入文字列認識手段35が認識した記入文字列を表示部45に表示させる。
【0043】
認識結果格納手段38は、帳票エリア特定手段34が帳票記入情報に基づいて特定した帳票エリアと、記入文字列認識手段35が認識した記入文字列とを対応付けて格納するメモリである。
【0044】
修正エリア特定手段39は、記入情報取得手段32が取得した修正記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶した修正エリア定義情報(図10参照)を参照することにより、電子ペン10Aを使用してタップされた修正エリア65を特定する。このとき、修正エリア特定手段39は、1つのストロークのデータ開始点及びデータ終了点の双方が含まれる修正エリア65のみを特定するようにするとよい。そのような設定にすれば、利用者が修正パレットに記入したストロークのデータ開始点及びデータ終了点のいずれかが修正エリア65の範囲外にある場合には、利用者がその修正エリア65をタップしようと意図したものではないと判定することができる。また、修正エリア特定手段39は、開始終了点特定手段33によって特定されたデータ開始点及びデータ終了点における時間及び/又は両点間の移動距離に基づいて、利用者により修正エリア65に記入されたストロークがタップであるか否かを判定する。修正エリア65と、当該修正エリア65をタップした回数(タップ回数)及びタップした時刻(タップ時刻)は、対応付けて情報記憶手段31に一時記憶される。
【0045】
このとき、修正エリア特定手段39は、特定した修正エリア65に対応付けて情報記憶手段31に記憶されているタップ回数があるか否か確認して、なければタップ回数の初期値を「0」とし、当該修正エリア65へのタップ回数分だけ「1」を加算してカウントアップする。既に、情報記憶手段31上において特定した修正エリア65に対応付けてタップ回数が記憶されている場合、修正エリア特定手段39は、新たにタップされた時刻(今回タップ時刻)が、当該修正エリア65に対する最後にタップされた時刻(前回タップ時刻)として情報記憶手段31に記憶されているタップ時刻から、予め設定された所定読取時間(例えば3分)以上経過しているか否かを時刻の差分を算出して判定する。判定の結果、所定読取時間以上経過している場合、修正エリア特定手段39は、特定した修正エリア65に対応付けて情報記憶手段31上に記憶されたタップ回数を初期値「0」とし、カウントをリセットした上で、当該ユーザエリアへのタップ回数分だけ「1」を加算することでカウントアップする。その一方、前回タップ時刻と今回タップ時刻との差分が所定読取時間を超過していない場合には、修正エリア特定手段39は、情報記憶手段31に記憶されているタップ回数に、当該ユーザエリアへのタップ回数分だけ「1」を加算してカウントアップする。
【0046】
そして、修正エリア特定手段39は、特定した修正エリア65に対応付けてカウントしたタップ回数及びタップ時刻を情報記憶手段31に一時記憶する。即ち、情報記憶手段31に記憶されたタップ回数は、対応する修正エリア65へのタップが認識される度に更新される。これによれば、利用者の記入したストロークが、タップであるか否か判定され、文字や図柄とは区別されるとともに、タップ回数は、所定読取時間を基準としてカウントがリセットされるため、所定読取時間よりも間隔のあいたタップ同士は、タップ回数としては別々にカウントされ、タップ回数を的確にカウントすることができる。
【0047】
具体的には、利用者により専用ペーパー20に記入されたストロークがタップであるか否かを判定するにあたっては、第1の方法として、データ終了点の記入時刻とデータ開始点の記入時刻の差分を算出し、当該差分が予め設定された所定時間(例えば、0.2秒)未満である場合にストロークがタップであると判定する方法がある。別の第2の方法として、座標データに基づいてデータ開始点とデータ終了点との間の移動距離(筆記された線の長さ)を算出し、当該移動距離が予め設定された所定距離未満である場合にストロークがタップであると判定するようにしてもよい。あるいは第3の方法として、データ開始点とデータ終了点における時間及び移動距離の両方に条件を付けて、ストロークがタップであるか否かを判定するようにしてもよい。
【0048】
文字特定手段40は、情報記憶手段31に記憶されている修正エリア定義情報を参照することで、修正エリア特定手段39が特定した修正エリア65に記載された文字を特定する。
【0049】
判定手段41は、記入情報取得手段32が取得した修正記入情報に含まれる座標データに基づいて、情報記憶手段31に記憶されている修正エリア定義情報を参照することで、電子ペン10Aにより決定エリア66がタップされたか否かを判定する。
【0050】
修正文字列特定手段42は、判定手段41により決定エリア66がタップされたと判定された場合に、情報記憶手段31に記憶されたタップ回数及び記入情報取得手段32が取得した修正記入情報に含まれる時間情報に基づいて、文字特定手段40が特定した文字を時系列につなぐことで修正文字列を特定する。
【0051】
音声出力手段36は、帳票エリア特定手段34が修正記入情報に基づいて帳票エリアを特定した場合に、修正開始を示すピープ音を音声出力部44から出力させる。また、音声出力手段36は、判定手段41により決定エリア66がタップされたと判定された場合に、修正完了を示すピープ音を音声出力部44から出力させる。さらに、音声出力手段36は、修正文字列特定手段42が特定した修正文字列を表す音声を音声出力部44から再生出力させる。ピープ音及び修正文字列を表す音声は、予め情報記憶手段31に記憶されている音声データを再生することにより出力することとしてもよいし、音声合成して出力することとしてもよい。
【0052】
音声出力手段36は、本発明における第1音声出力手段及び第2音声出力手段として機能する。
【0053】
表示手段37は、修正文字列特定手段42が特定した修正文字列を表示部45に表示させる。
【0054】
表示手段37は、本発明における第1表示手段及び第2表示手段として機能する。
【0055】
認識結果上書手段43は、認識結果格納手段38から、帳票エリア特定手段34により修正記入情報に基づいて特定された帳票エリアに対応する記入文字列を削除する。そして、認識結果上書手段43は、当該帳票エリアと、修正文字列特定手段42が特定した修正文字列とを対応付けて認識結果格納手段38に格納する。
【0056】
端末装置25Aは、専用アプリケーションがインストールされることにより、上述の各手段が構成される。
【0057】
[専用アプリケーション]
次に、専用アプリケーション50について図11を参照して説明する。図11は、専用アプリケーション50のモジュール構成を示す。専用アプリケーション50は、電子ペン10Aが専用ペーパー20に記入した内容に対応するデジタルデータである記入情報に基づいて所定の処理を実行するものであって、ダウンロード等により予め端末装置25Aにインストールされている。つまり、専用アプリケーション50は、電子ペン10Aが記入帳票に記入した内容に対応するデジタルデータである帳票記入情報と、電子ペン10Aが修正パレットに記入した内容に対応するデジタルデータである修正記入情報と、に基づいて所定の処理を実行するものである。
【0058】
専用アプリケーションは、原則として専用ペーパー20に対応付けられている。つまり、専用ペーパー20の種類が異なれば、その種類に応じて各専用ペーパー20に記入されたデータを処理する専用アプリケーションは異なる。しかし、専用ペーパー20と専用アプリケーションの対応は必ずしも1対1である必要はなく、複数種類の専用ペーパー20に1つの専用アプリケーションを対応付けてデータを処理させてもよい。また、1種類の専用ペーパー20に複数の専用アプリケーションを対応付けてデータを処理させてもよい。
【0059】
図11に示すように、専用アプリケーション50は、情報記憶モジュール101、記入情報取得モジュール102、開始終了点特定モジュール103、帳票エリア特定モジュール104、記入文字列認識モジュール105、音声出力モジュール106、表示モジュール107、認識結果格納モジュール108、修正エリア特定モジュール109、文字特定モジュール110、判定モジュール111、修正文字列特定モジュール112及び認識結果上書モジュール113を有する。
【0060】
情報記憶モジュール101は、情報記憶手段31に対して、図8及び図10に示すように、ユーザエリアと、ドットパターン上におけるユーザエリアの位置座標を示す座標データとを対応付けて記憶させるモジュールである。また、情報記憶モジュール101は、情報記憶手段31に対して、記入情報取得モジュール102が取得した記入情報、即ち帳票記入情報及び修正記入情報を記憶させるモジュールである。
【0061】
記入情報取得モジュール102は、記入情報取得手段32を用いて、専用ペーパー20への電子ペン10Aによる記入に対応する記入情報(タップ情報を含む)を取得する機能を有するモジュールである。つまり、記入情報取得モジュール102は、記入情報取得手段32を用いて、記入帳票への電子ペン10Aによる記入に対応する帳票記入情報と、修正パレットへの電子ペン10Aによる記入に対応する修正記入情報とを取得する。
【0062】
開始終了点特定モジュール103は、記入情報取得モジュール102の実行によって取得された修正記入情報に含まれるストロークのデータ開始点及びデータ終了点につき、それぞれの座標データ及び記入時刻を特定する機能を有する。
【0063】
帳票エリア特定モジュール104は、帳票記入情報に含まれる座標データに基づいて、図8に示す帳票エリア定義情報を参照することで、帳票記入情報に対応する帳票エリアを特定する機能を有する。また、帳票エリア特定モジュール104は、修正記入情報に含まれる座標データに基づいて、図8に示す帳票エリア定義情報を参照することで、修正記入情報に対応する帳票エリアを特定する機能を有する。このとき、帳票エリア特定モジュール104は、修正記入情報及び帳票エリア定義情報に基づいて、電子ペン10Aによりタップされた帳票エリアを特定するものであって、1つのストロークデータのデータ開始点及びデータ終了点の双方が含まれる帳票エリアを特定するようにするとよい。
【0064】
記入文字列認識モジュール105は、記入情報取得モジュール102の実行によって取得された帳票記入情報に基づいて、HWRやOCR等による文字認識を実行することで、電子ペン10Aを使用して記入帳票に記入された文字を認識する機能を有する。さらに、記入文字列認識モジュール105は、帳票記入情報に含まれる時間情報に基づいて、認識した文字を時系列につなぐことで記入文字列を認識する機能を有する。
【0065】
音声出力モジュール106は、記入文字列認識モジュール105の実行によって認識された記入文字列と、修正文字列特定モジュール112の実行によって認識された修正文字列とを表す音声を音声出力部44から出力させる機能を有する。また、音声出力モジュール106は、修正開始及び修正終了を示すピープ音を音声出力部44から出力させる機能を有する。
【0066】
表示モジュール107は、記入文字列認識モジュール105の実行によって認識された記入文字列と、修正文字列特定モジュール112の実行によって認識された修正文字列とを表示部45に表示させる機能を有する。
【0067】
認識結果格納モジュール108は、認識結果格納手段38に対して、帳票エリア特定モジュール104の実行によって帳票記入情報に基づいて特定された帳票エリアと、記入文字列認識モジュール105の実行によって認識された記入文字列とを対応付けて格納する機能を有する。
【0068】
修正エリア特定モジュール109は、記入情報取得モジュール102の実行によって取得された修正記入情報に含まれる座標データに基づいて、図10に示す修正エリア定義情報を参照することで、修正記入情報に対応する修正エリア65又は決定エリア66を特定する機能を有する。このとき、修正エリア特定モジュール109は、修正記入情報及び修正定義情報に基づいて、電子ペン10Aによりタップされた修正エリア65又は決定エリア66を特定するものであって、1つのストロークデータのデータ開始点及びデータ終了点の双方が含まれる修正エリア65又は決定エリア66を特定するようにするとよい。なお、修正エリア65と、当該修正エリア65をタップした回数(タップ回数)及びタップした時刻(タップ時刻)は、対応付けて情報記憶手段31に一時記憶される。
【0069】
また、修正エリア特定モジュール109は、記入情報取得モジュール102の実行によって取得された修正記入情報がタップ情報であるか否か及び所定読取時間内のタップであるか否かを判定する機能を有する。修正エリア特定モジュール109は、特定した修正エリア65と、当該修正エリア65へのタップ回数とを対応付けて一時的に情報記憶手段31に記憶する。修正記入情報がタップ情報であるか否かの判定方法としては、上述のように、データ開始点の記入時刻からデータ終了点の記入時刻までの時間が予め設定された所定時間未満である場合にストロークがタップであると判定する方法(第1の方法)と、データ開始点とデータ終了点との間の移動距離が予め設定された所定距離未満である場合にストロークがタップであると判定する方法(第2の方法)とのいずれを採用してもよく、また、データ開始点とデータ終了点の時間及び両点間の移動距離の両方に条件を設定してもよい(第3の方法)。
【0070】
文字特定モジュール110は、情報記憶手段31に記憶されている修正エリア定義情報を参照することで、修正エリア特定モジュール109の実行によって特定された修正エリア65に記載された文字を特定する機能を有する。
【0071】
判定モジュール111は、記入情報取得モジュール102の実行によって取得された修正記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶している修正エリア定義情報を参照することで、電子ペン10Aにより決定エリア66がタップされたか否かを判定する機能を有する。
【0072】
修正文字列特定モジュール112は、判定モジュール111の実行によって決定エリアがタップされたと判定された場合に、情報記憶手段31に記憶されたタップ回数及び記入情報取得モジュール102の実行によって取得された修正記入情報に含まれる時間情報に基づいて、文字特定モジュール110の実行によって特定された文字を時系列につなぐことで修正文字列を特定する機能を有する。
【0073】
認識結果上書モジュール113は、認識結果格納手段38から、修正記入情報に基づいて帳票エリア特定モジュール104を実行することにより特定された帳票エリアに対応する記入文字列を削除する機能を有する。そして、認識結果上書モジュール113は、当該帳票エリアと、修正文字列特定モジュール112を実行することにより特定された修正文字列とを対応付けて認識結果格納手段38に格納する機能を有する。
【0074】
[本情報処理システムによる文字認識処理フロー ]
次に、本第1実施形態の情報処理システムにより行われる処理フローについて図12乃至図15を参照して説明する。図12は、本第1実施形態における記入帳票上の電子ペン10Aの使用形態を示す図である。図13は、本第1実施形態における修正パレット上の電子ペン10Aの使用形態を示す図である。図14は、端末装置25Aにおける文字列認識処理のフローチャートである。図15は、文字列認識処理において端末装置25Aにより実行される修正処理のフローチャートである。
【0075】
利用者は、電子ペン10Aにより、記入帳票の帳票エリアに任意の記入を行う。例えば、利用者は、電子ペン10Aにより、記入帳票の価格エリア63に現金価格を示す数字「11700」を記入する(図12参照)。すると、電子ペン10Aは、価格エリア63への記入に対応する座標データ、時間情報及び筆圧データを帳票記入情報として端末装置25Aへ送信する。すると、端末装置25Aの記入情報取得手段32は、電子ペン10Aから即時的且つ逐次的に帳票記入情報を取得する(ステップS1)。
【0076】
ここで、即時的とは、電子ペン10AがX,Y座標データ等の記入情報を取得すると、その記入情報は即座に端末装置25Aへ送信され、端末装置25Aによって取得されることを意味し、また、逐次的とは、電子ペン10AがX,Y座標データ等の記入情報を連続的に取得している間、その記入情報は、次々に端末装置25Aへ送信され、端末装置25Aによって取得されることを意味している。
【0077】
続いて、帳票エリア特定手段34は、記入情報取得手段32によって取得された帳票記入情報に含まれる座標データに基づいて、図8に示す帳票エリア定義情報を参照することで、帳票記入情報に対応する帳票エリアを特定する(ステップS2)。例えば、帳票エリア特定手段34は、帳票記入情報に含まれる座標データに基づいて帳票エリア定義情報を参照することで、帳票記入情報に対応する帳票エリアとして価格エリア63(エリアID「A03」)を特定する。さらに、記入文字列認識手段35は、記入情報取得手段32によって取得された帳票記入情報に基づいて、HWRやOCRによる文字認識を実行することで、帳票エリア特定手段34により特定された帳票エリアに記入された文字を認識する。そして、記入文字列認識手段35は、帳票記入情報に含まれる時間情報に基づいて、認識した文字を時系列につなぐことで、帳票エリア特定手段34により特定された帳票エリアに記入された記入文字列を認識する(ステップS3)。例えば、記入文字列認識手段35は、帳票記入情報に基づいて文字認識を実行することで、価格エリア63に記入された文字「1」、「1」、「7」、「0」、「0」を認識する。そして、記入文字列認識手段35は、帳票記入情報に含まれる時間情報に基づいて、認識した文字を時系列につなぐことで、価格エリア63に記入された記入文字列「11700」を認識する。
【0078】
認識結果格納手段38は、帳票エリア特定手段34によって特定された帳票エリアと、記入文字列認識手段35によって認識された記入文字列とを対応付けて格納する(ステップS4)。例えば、認識結果格納手段38は、帳票エリア特定手段34によって特定された価格エリア63(エリアID「A03」)と、記入文字列認識手段35によって認識された記入文字列「11700」とを対応付けて格納する。また、音声出力手段36は、記入文字列認識手段35によって認識された記入文字列を表す音声を音声出力部44から出力させる(ステップS5)。同時に、表示手段37は、記入文字列認識手段35によって認識された記入文字列を表示部45に表示させる(ステップS6)。例えば、音声出力手段36は、記入文字列認識手段35によって認識された記入文字列「11700」を表す音声「11700円です」を音声出力部44から出力させ、表示手段37は、「11700」を表示部45に表示させる。
【0079】
なお、記入文字列認識手段35は、文字列を誤認識することがある。例えば、図12に示すように、利用者が価格エリア63に「11700」を記入したつもりであっても、記入文字列認識手段35は、記入文字列「11100」と誤認識してしまうことがある。すると、音声出力手段36は、記入文字列認識手段35によって誤認識された記入文字列「11100」を表す音声「11100円です」を音声出力部44から出力させ、表示手段37は、「11100」を表示部45に表示させる。これにより、利用者は、自身が意図した文字列と異なる文字列を端末装置25Aが認識してしまったことを把握することができる。
【0080】
端末装置25Aによる誤認識を修正する場合、利用者は、電子ペン10Aのペン先部17により記入帳票の帳票エリアのうち、誤認識を修正したい帳票エリア、例えば価格エリア63をタップする(図12参照。★マークはタップを表す)。すると、電子ペン10Aは、帳票エリアへのタップに対応する座標データ、時間情報及び筆圧データを修正記入情報(タップ情報)として端末装置25Aへ送信する。端末装置25Aの記入情報取得手段32は、電子ペン10Aから即時的且つ逐次的に修正記入情報を取得する。
【0081】
記入情報取得手段32は、修正記入情報を取得したか否かを判定することにより、文字列の誤認識が発生したか否かを判定する(ステップS7)。記入情報取得手段32により修正記入情報を取得していないと判定された場合(ステップS7;No)、端末装置25Aは、文字認識処理を完了する。一方、記入情報取得手段32により修正記入情報を取得したと判定された場合(ステップS7;Yes)、端末装置25Aは、修正処理を実行する(ステップS8)。
【0082】
修正処理において、端末装置25Aの音声出力手段36は、まず、修正開始を示すピープ音を音声出力部44から出力させる(ステップS11)。続いて、開始終了点特定手段33は、記入情報取得手段32によって取得された修正記入情報に含まれるストロークのデータ開始点及びデータ終了点における座標データ及び記入時刻を特定する。次に、帳票エリア特定手段34は、修正記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶した帳票エリア定義情報を参照し、対応する帳票エリアを特定する。例えば、帳票エリア特定手段34は、修正記入情報に含まれる座標データに基づいて帳票エリア定義情報を参照することで、帳票記入情報に対応する帳票エリアとして価格エリア63(エリアID「A03」)を特定する。このとき、帳票エリア特定手段34は、データ開始点及びデータ終了点の記入時刻の差分に基づいて記入情報がタップ情報であることを判定する。つまり、帳票エリア特定手段34は、修正記入情報及び帳票エリア定義情報に基づいて、電子ペン10Aによりタップされた帳票エリアを特定する(ステップS12)。
また、利用者は、誤認識を修正したい帳票エリアへのタップが終了すると、電子ペン10Aのペン先部17により修正パレットの修正エリア65を、正しい文字列に対応する順にタップする。例えば、正しい文字列が「11700」の場合、利用者は、電子ペン10Aのペン先部17により、文字「1」が記載された修正エリア65aを2回、文字「7」が記載された修正エリア65bを1回、文字「0」が記載された修正エリア65cを2回、順番にタップする(図13参照)。すると、電子ペン10Aは、修正エリア65へのタップに対応する座標データ、時間情報及び筆圧データを修正記入情報(タップ情報)として端末装置25Aへ送信する。端末装置25Aの記入情報取得手段32は、電子ペン10Aから即時的且つ逐次的に修正記入情報を取得する。
【0083】
さらに、正しい文字列に対応する順に修正エリア65へのタップが終了すると、利用者は、最後に電子ペン10Aのペン先部17により修正パレットの決定エリア66をタップする。すると、電子ペン10Aは、決定エリア66へのタップに対応する座標データ、時間情報及び筆圧データを修正記入情報(タップ情報)として端末装置25Aへ送信する。端末装置25Aの記入情報取得手段32は、電子ペン10Aから即時的且つ逐次的に修正記入情報を取得する。
【0084】
続いて、開始終了点特定手段33は、記入情報取得手段32によって取得された修正記入情報に含まれるストロークのデータ開始点及びデータ終了点を特定し、そのデータ開始点及びデータ終了点における座標データ及び記入時刻を特定する。次に、修正エリア特定手段39は、修正記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶した修正エリア定義情報を参照することで、対応する修正エリア65(エリアID「B01」)を特定する(ステップS13)。このとき、修正エリア特定手段39は、データ開始点及びデータ終了点の記入時刻の差分に基づいて記入情報がタップ情報であることを判定すると共に、特定した修正エリア65へのタップ回数をカウントする。具体的に、修正エリア特定手段39は、特定した修正エリア65(エリアID「B01」)と、カウントしたタップ回数及びタップ時刻とを対応付けて情報記憶手段31に一時記憶させる。このとき、修正エリア特定手段39は、修正エリア65に対応付けて情報記憶手段31に記憶されているタップ回数があるか否かを確認し、なければタップ回数の初期値を「0」とし、特定した修正エリア65へのタップ回数分だけ「1」を加算してカウントアップする。
【0085】
既に、情報記憶手段31上において特定した修正エリア65に対応付けてタップ回数が記憶されている場合、修正エリア特定手段39は、情報記憶手段31に記憶されているタップ時刻(前回タップ時刻)と今回のタップ時刻(今回タップ時刻)との差分を算出し、差分が所定読取時間を超過しているか否かを判定する。判定の結果、所定読取時間(例えば、3分)を超過している場合、修正エリア特定手段39は、特定した修正エリア65に対応付けて情報記憶手段31上に記憶されたタップ回数を初期値「0」とし、カウントをリセットした上で、当該修正エリア65へのタップ回数分だけ「1」を加算することでカウントアップする。そして、修正エリア65(エリアID「B01」)に対応付けてカウントしたタップ回数及び今回のタップ時刻を情報記憶手段31に一時記憶させる。
【0086】
なお、修正エリア特定手段39は、データ開始点及びデータ終了点の座標データから算出される両点間の移動距離(筆記された線の長さ)に基づいて、専用ペーパー20に記入されたストロークがタップであるか否かを判定することとしてもよい。
【0087】
続いて、文字特定手段40は、情報記憶手段31に記憶されている修正エリア定義情報を参照することで、修正エリア特定手段39により特定された修正エリアに記載された文字を特定する(ステップS14)。例えば、文字特定手段40は、修正エリア定義情報を参照することで、エリアID「B01」の修正エリア65aに記載された文字「1」を特定する。さらに、判定手段41は、記入情報取得手段32によって取得された修正記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶している修正エリア定義情報を参照することで、電子ペン10Aにより決定エリア66がタップされたか否かを判定する(ステップS15)。判定手段41により決定エリア66がタップされていないと判定された場合(ステップS15;No)、端末装置25Aは、ステップS13乃至S15の処理を繰り返し実行する。
【0088】
一方、判定手段41により決定エリア66がタップされたと判定された場合(ステップS15:Yes)、修正文字列特定手段42は、修正記入情報に含まれる時間情報に基づいて、文字特定手段40が特定した文字を時系列につなぐことで修正文字列を特定する(ステップS16)。例えば、修正エリア特定手段39により、情報記憶手段31にエリアID「B01」とタップ回数「2回」、エリアID「B07」とタップ回数「1回」、エリアID「B10」とタップ回数「2回」が対応付けされているとする。この場合、文字特定手段40は、修正エリア定義情報を参照することで、エリアID「B01」の修正エリア65aに記載された文字「1」と、エリアID「B07」の修正エリア65bに記載された文字「7」と、エリアID「B10」の修正エリア65cに記載された文字「0」とを特定する。そして、修正文字列特定手段42は、修正記入情報に含まれる時間情報に基づいて、文字特定手段40により特定された文字「1」、「7」、「0」と時系列につなぐことで修正文字列「11700」を特定する。
【0089】
続いて、認識結果上書手段43は、認識結果格納手段38から、帳票エリア特定手段34が修正記入情報に基づいて特定した帳票エリアに対応する記入文字列を削除する。さらに、認識結果上書手段43は、当該修正エリアと、修正文字列特定手段42が特定した修正文字列とを対応付けて認識結果格納手段38に格納する。つまり、認識結果上書手段43は、認識結果格納手段38において、帳票エリア特定手段34が修正記入情報に基づいて特定した帳票エリアに対応付けて、修正文字列特定手段42が特定した修正文字列を上書して格納する(ステップS17)。例えば、認識結果上書手段43は、認識結果格納手段38において、帳票エリア特定手段34が修正記入情報に基づいて特定した価格エリア63(エリアID「A03」)に対応付けられている記入文字列「11100」を削除し、修正文字列特定手段42が特定した修正文字列「11700」を格納する。そして、音声出力手段36は、修正完了を示すピープ音を音声出力部44から出力させる(ステップS18)。これにより、端末装置25Aは、修正処理を完了し、文字認識処理におけるステップS5の処理を実行する。
【0090】
端末装置25Aの音声出力手段36は、修正文字列特定手段42によって特定された修正文字列を表す音声を音声出力部44から出力させる(ステップS5)。同時に、表示手段37は、修正文字列特定手段42によって特定された修正文字列を表示部45に表示させる(ステップS6)。例えば、音声出力手段36は、修正文字列特定手段42によって特定された修正文字列「11700」を表す音声「11700円です」を音声出力部44から出力させ、表示手段37は、「11700」を表示部45に表示させる。これにより、利用者は、自身が意図した文字列に修正できたかどうかを確認することができる。そして、端末装置25Aは、文字認識処理におけるステップS5乃至S7の処理を繰り返し実行する。
【0091】
このように、利用者は、音声出力部44から出力される音声と、表示部45に表示される文字列とによって、容易に自身が記入した文字列が正しく認識されたか否かを確認することができる。また、利用者は、修正パレットを使用することで、記入帳票において二重線等で二度書きする必要はなく、誤認識された文字列を迅速且つ的確に修正することができる。
【0092】
[本情報処理システムによる作用効果]
この情報処理システムによれば、電子ペン10Aで記入帳票の帳票エリアに記入を行うと、帳票記入情報に基づく文字認識を実行することにより記入文字列を認識し、音声出力部44から当該記入文字列を表す音声を出力させ、表示部45に当該記入文字列を表示させる。よって、利用者は、容易に自身が記入帳票の帳票エリアに記入した文字列が正しく認識されたか否かを確認することができる。また、利用者は、電子ペン10Aで修正パレットの修正エリアをタップすることで、ご認識された記入文字列を迅速に修正することができる。これによれば、記入帳票に訂正のための二重線や正しい文字列を記入する必要がなく、高い精度で文字列の誤認識を修正することが可能となる。
【0093】
なお、上記第1実施形態は次のように構成させて変更することもできる。
【0094】
例えば、情報記憶手段31は、帳票エリア定義情報(図8参照)と修正エリア定義情報(図10参照)とを分けて記憶しているが、ユーザエリアのエリアIDに対して、ユーザエリアの名称、ユーザエリアに記載された文字、ユーザエリアの座標データをまとめて関連付けて記憶させるようにしてもよく、これらの情報のデータ構造は任意に設定することができる。
【0095】
また、上記第1実施形態では、電子ペン10Aのクロック22は現在時刻を発信することとしているが(図2参照)、クロック22は、端末装置25Aとの通信接続が確立した時点から通信接続状態が終了するまでの間、0から始まりストロークの記入中に経過していく記入時間を発信することとしてもよい。この場合、プロセッサ11は、ストロークの記入中に、クロック22が発信する経過時間(記入時間)を時間情報として取得し、その時間情報と、筆圧データと、X,Y座標データとを関連付け、データ通信ユニット13に対して記入情報として端末装置25Aへ送信させる。
【0096】
また、上記実施形態では、修正エリア特定手段39は、情報記憶手段31に記憶されているタップ時刻(前回タップ時刻)と今回タップ時刻との差分が所定読取時間を超過していると判定した場合に、情報記憶手段31記憶されたタップ回数を初期値「0」にリセットした上でカウントアップすることとしているが、情報記憶手段31に一時記憶するのは前回タップ時刻ではなく、当該修正エリア65に対する初回のタップ時刻(初回タップ時刻)として、初回タップ時刻と今回タップ時刻との差分が所定読取時間を超過しているか否かを判定するように構成してもよい。この場合、情報記憶手段31に記憶されている初回タップ時刻から所定読取時間を経過するまでは、タップされる都度、情報記憶手段31に記憶されているタップ回数をカウントアップすることとなり、初回タップ時刻と今回タップ時刻の差分が所定読取時間を超過した時に、情報記憶手段31に記憶されているタップ回数を「0」にリセットして新たにカウントアップすると共に今回のタップ時刻を新たな初回タップ時刻として情報記憶手段31に記憶されているタップ回数及びタップ時刻を更新することとなる。
【0097】
または、修正エリア特定手段39は、読取時間の判定を行わず、電子ペン10Aの電源がオンになってからオフになるまでの間、カウントアップを続けることとしてもよい。この場合修正エリア特定手段39は、ユーザエリアに対応付けてカウントしたタップ回数を情報記憶手段31に一時記憶させることとし、タップ時刻を一時記憶させる必要はない。ユーザエリアに対応付けて情報記憶手段31に一時記憶されたタップ回数は、電子ペン10Aの電源がオフになるとクリアされるため、電源がオンになり利用者が新たに電子ペン10Aを使用すると、修正エリア特定手段39は、特定した修正エリア65に対応付けて情報記憶手段31に記憶されているタップ回数があるか否か確認して、前回使用時のデータはクリアされているため、タップ回数の初期値「0」からカウントアップすることとなる。
【0098】
<第2実施形態>
次に、第2実施形態について説明する。第2実施形態と第1実施形態とが同様の部分については同じ符号を付し、適宜説明を省略する。第2実施形態と第1実施形態とが異なる点は、第1実施形態の電子ペン10Aは、図2に示すようにクロック22を備えていたが、第2実施形態の電子ペン10B(10)は、図16に示すようにクロック22を備えていない。この場合、プロセッサ11は、利用者によって電子ペン10Bを用いて記入が行われる間に、筆圧データ及びX,Y座標データを取得し、それらのデータを記入情報としてデータ通信ユニット13により端末装置25B(25)へ送信する。その代わり、端末装置25Bは、現在時刻を発信するクロックを備えており、電子ペン10Bから記入情報を取得した取得時刻を関連付けて記憶しておく。つまり、端末装置25Bは、記入情報と、記入情報の取得時刻とを関連付けて記憶しておく。
【0099】
続いて、第2実施形態における処理フローについて説明する。図17は、端末装置25Bにおける文字認識処理のフローチャートである。図18は、端末装置25Bにおける修正処理のフローチャートである。
【0100】
利用者は、電子ペン10Bにより、記入帳票の帳票エリアに任意の記入を行う。例えば、利用者は、電子ペン10Bにより、記入帳票の価格エリア63に現金価格を示す数字「11700」を記入する(図12参照)。すると、電子ペン10Bは、価格エリア63への記入に対応する座標データ及び筆圧データを帳票記入情報として端末装置25Bへ送信する。端末装置25Bの記入情報取得手段32は、電子ペン10Bによって送信された帳票記入情報を即時的且つ逐次的に取得し、帳票記入情報と、帳票記入情報が取得された時に端末装置25Bのクロックにより発信された現在時刻の情報とを関連付ける(ステップS21)。記入時刻に関連付けられた時間情報を、取得時刻と呼ぶ。
【0101】
続いて、帳票エリア特定手段34は、記入情報取得手段32によって取得された帳票記入情報に含まれる座標データに基づいて、図8に示す帳票エリア定義情報を参照することで、帳票記入情報に対応する帳票エリアを特定する(ステップS22)。例えば、帳票エリア特定手段34は、帳票記入情報に含まれる座標データに基づいて帳票エリア定義情報を参照することで、帳票記入情報に対応する帳票エリアとして価格エリア63(エリアID「A03」)を特定する。さらに、記入文字列認識手段35は、記入情報取得手段32によって取得された帳票記入情報に基づいて、HWRやOCRによる文字認識を実行することで、帳票エリア特定手段34により特定された帳票エリアに記入された文字を認識する。そして、記入文字列認識手段35は、取得時刻に基づいて、認識した文字を時系列につなぐことで、帳票エリア特定手段34により特定された帳票エリアに記入された記入文字列を認識する(ステップS23)。例えば、記入文字列認識手段35は、帳票記入情報に基づいて文字認識を実行することで、価格エリア63に記入された文字「1」、「1」、「7」、「0」、「0」を認識する。そして、記入文字列認識手段35は、取得時刻に基づいて、認識した文字を時系列につなぐことで、価格エリア63に記入された記入文字列「11700」を認識する。
【0102】
認識結果格納手段38は、帳票エリア特定手段34によって特定された帳票エリアと、記入文字列認識手段35によって認識された記入文字列とを対応付けて格納する(ステップS24)。例えば、認識結果格納手段38は、帳票エリア特定手段34によって特定された価格エリア63(エリアID「A03」)と、記入文字列認識手段35によって認識された記入文字列「11700」とを対応付けて格納する。また、音声出力手段36は、記入文字列認識手段35によって認識された記入文字列を表す音声を音声出力部44から出力させる(ステップS25)。同時に、表示手段37は、記入文字列認識手段35によって認識された記入文字列を表示部45に表示させる(ステップS26)。例えば、音声出力手段36は、記入文字列認識手段35によって認識された記入文字列「11700」を表す音声「11700円です」を音声出力部44から出力させ、表示手段37は、「11700」を表示部45に表示させる。
【0103】
なお、記入文字列認識手段35は、文字列を誤認識することがある。例えば、図12に示すように、利用者が価格エリア63に「11700」を記入したつもりであっても、記入文字列認識手段35は、記入文字列「11100」と誤認識してしまうことがある。すると、音声出力手段36は、記入文字列認識手段35によって誤認識された記入文字列「11100」を表す音声「11100円です」を音声出力部44から出力させ、表示手段37は、「11100」を表示部45に表示させる。これにより、利用者は、自身が意図した文字列と異なる文字列を端末装置25Bが認識してしまったことを把握することができる。
【0104】
端末装置25Bによる誤認識を修正する場合、利用者は、電子ペン10Bのペン先部17により記入帳票の帳票エリアのうち、誤認識を修正したい帳票エリア、例えば価格エリア63をタップする(図12参照。★マークはタップを表す)。すると、電子ペン10Bは、帳票エリアへのタップに対応する座標データ及び筆圧データを修正記入情報(タップ情報)として端末装置25Bへ送信する。端末装置25Bの記入情報取得手段32は、電子ペン10Bによって送信された修正記入情報(タップ情報)を即時的且つ逐次的に取得し、修正記入情報と、修正記入情報が取得された時に端末装置25Bのクロックにより発信された現在時刻の情報とを関連付ける。
【0105】
記入情報取得手段32は、修正記入情報を取得したか否かを判定することにより、文字列の誤認識が発生したか否かを判定する(ステップS27)。記入情報取得手段32により修正記入情報を取得していないと判定された場合(ステップS27;No)、端末装置25Bは、文字認識処理を完了する。一方、記入情報取得手段32により修正記入情報を取得したと判定された場合、端末装置25Bは、修正処理を実行する(ステップS28)。
【0106】
修正処理において、端末装置25Bの音声出力手段36は、まず、修正開始を示すピープ音を音声出力部44から出力させる(ステップS31)。続いて、開始終了点特定手段33は、記入情報取得手段32によって取得された修正記入情報に含まれるストロークのデータ開始点及びデータ終了点における座標データ及び取得時刻を特定する。次に、帳票エリア特定手段34は、修正記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶した帳票エリア定義情報を参照し、対応する帳票エリアを特定する。例えば、帳票エリア特定手段34は、修正記入情報に含まれる座標データに基づいて帳票エリア定義情報を参照することで、帳票記入情報に対応する帳票エリアとして価格エリア63(エリアID「A03」)を特定する。このとき、帳票エリア特定手段34は、データ開始点及びデータ終了点の取得時刻の差分に基づいて記入情報がタップ情報であることを判定する。つまり、帳票エリア特定手段34は、修正記入情報及び帳票エリア定義情報に基づいて、電子ペン10Bによりタップされた帳票エリアを特定する(ステップS32)。
また、利用者は、誤認識を修正したい帳票エリアへのタップが終了すると、電子ペン10Bのペン先部17により修正パレットの修正エリア65を、正しい文字列に対応する順にタップする。例えば、正しい文字列が「11700」の場合、利用者は、電子ペン10Bのペン先部17により、文字「1」が記載された修正エリア65aを2回、文字「7」が記載された修正エリア65bを1回、文字「0」が記載された修正エリア65cを2回、順番にタップする(図13参照)。すると、電子ペン10Bは、修正エリア65へのタップに対応する座標データ及び筆圧データを修正記入情報(タップ情報)として端末装置25Bへ送信する。端末装置25Bの記入情報取得手段32は、電子ペン10Bによって送信された修正記入情報(タップ情報)を即時的且つ逐次的に取得し、修正記入情報と、修正記入情報が取得された時に端末装置25Bのクロックにより発信された現在時刻の情報とを関連付ける。
【0107】
さらに、正しい文字列に対応する順に修正エリア65へのタップが終了すると、利用者は、最後に電子ペン10Bのペン先部17により修正パレットの決定エリア66をタップする。すると、電子ペン10Bは、決定エリア66へのタップに対応する座標データ及び筆圧データを修正記入情報(タップ情報)として端末装置25Bへ送信する。端末装置25Bの記入情報取得手段32は、電子ペン10Bによって送信された修正記入情報(タップ情報)を即時的且つ逐次的に取得し、修正記入情報と、修正記入情報が取得された時に端末装置25Bのクロックにより発信された現在時刻の情報とを関連付ける。
【0108】
続いて、開始終了点特定手段33は、記入情報取得手段32によって取得された修正記入情報に含まれるストロークのデータ開始点及びデータ終了点を特定し、そのデータ開始点及びデータ終了点における座標データ及び記入時刻を特定する。次に、修正エリア特定手段39は、修正記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶した修正エリア定義情報を参照することで、対応する修正エリア65(エリアID「B01」)を特定する(ステップS33)。このとき、修正エリア特定手段39は、データ開始点及びデータ終了点の取得時刻の差分に基づいて記入情報がタップ情報であることを判定すると共に、特定した修正エリア65へのタップ回数をカウントする。具体的に、修正エリア特定手段39は、特定した修正エリア65(エリアID「B01」)と、カウントしたタップ回数及びタップ時刻とを対応付けて情報記憶手段31に一時記憶させる。このとき、修正エリア特定手段39は、修正エリア65に対応付けて情報記憶手段31に記憶されているタップ回数があるか否かを確認し、なければタップ回数の初期値を「0」とし、特定した修正エリア65へのタップ回数分だけ「1」を加算してカウントアップする。
【0109】
既に、情報記憶手段31上において特定した修正エリア65に対応付けてタップ回数が記憶されている場合、修正エリア特定手段39は、情報記憶手段31に記憶されているタップ時刻(前回タップ時刻)と今回のタップ時刻(今回タップ時刻)との差分を算出し、差分が所定読取時間を超過しているか否かを判定する。判定の結果、所定読取時間(例えば、3分)を超過している場合、修正エリア特定手段39は、特定した修正エリア65に対応付けて情報記憶手段31上に記憶されたタップ回数を初期値「0」とし、カウントをリセットした上で、当該修正エリア65へのタップ回数分だけ「1」を加算することでカウントアップする。そして、修正エリア65(エリアID「B01」)に対応付けてカウントしたタップ回数及び今回のタップ時刻を情報記憶手段31に一時記憶させる。
【0110】
なお、修正エリア特定手段39は、データ開始点及びデータ終了点の座標データから算出される両点間の移動距離(筆記された線の長さ)に基づいて、専用ペーパー20に記入されたストロークがタップであるか否かを判定することとしてもよい。
【0111】
続いて、文字特定手段40は、情報記憶手段31に記憶されている修正エリア定義情報を参照することで、修正エリア特定手段39により特定された修正エリアに記載された文字を特定する(ステップS34)。例えば、文字特定手段40は、修正エリア定義情報を参照することで、エリアID「B01」の修正エリア65aに記載された文字「1」を特定する。さらに、判定手段41は、記入情報取得手段32によって取得された修正記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶している修正エリア定義情報を参照することで、電子ペン10Bにより決定エリア66がタップされたか否かを判定する(ステップS35)。判定手段41により決定エリア66がタップされていないと判定された場合(ステップS35;No)、端末装置25Bは、ステップS33乃至S35の処理を繰り返し実行する。
【0112】
一方、判定手段41により決定エリア66がタップされたと判定された場合(ステップS35:Yes)、修正文字列特定手段42は、タップ時刻に基づいて、文字特定手段40が特定した文字を時系列につなぐことで修正文字列を特定する(ステップS36)。例えば、修正エリア特定手段39により、情報記憶手段31にエリアID「B01」とタップ回数「2回」、エリアID「B07」とタップ回数「1回」、エリアID「B10」とタップ回数「2回」が対応付けされているとする。この場合、文字特定手段40は、修正エリア定義情報を参照することで、エリアID「B01」の修正エリア65aに記載された文字「1」と、エリアID「B07」の修正エリア65bに記載された文字「7」と、エリアID「B10」の修正エリア65cに記載された文字「0」とを特定する。そして、修正文字列特定手段42は、タップ時刻に基づいて、文字特定手段40により特定された文字「1」、「7」、「0」と時系列につなぐことで修正文字列「11700」を特定する。
【0113】
続いて、認識結果上書手段43は、認識結果格納手段38から、帳票エリア特定手段34が修正記入情報に基づいて特定した帳票エリアに対応する記入文字列を削除する。さらに、認識結果上書手段43は、当該修正エリアと、修正文字列特定手段42が特定した修正文字列とを対応付けて認識結果格納手段38に格納する。つまり、認識結果上書手段43は、認識結果格納手段38において、帳票エリア特定手段34が修正記入情報に基づいて特定した帳票エリアに対応付けて、修正文字列特定手段42が特定した修正文字列を上書して格納する(ステップS37)。例えば、認識結果上書手段43は、認識結果格納手段38において、帳票エリア特定手段34が修正記入情報に基づいて特定した価格エリア63(エリアID「A03」)に対応付けられている記入文字列「11100」を削除し、修正文字列特定手段42が特定した修正文字列「11700」を格納する。そして、音声出力手段36は、修正完了を示すピープ音を音声出力部44から出力させる(ステップS38)。これにより、端末装置25Bは、修正処理を完了し、文字認識処理におけるステップS5の処理を実行する。
【0114】
端末装置25Bの音声出力手段36は、修正文字列特定手段42によって特定された修正文字列を表す音声を音声出力部44から出力させる(ステップS25)。同時に、表示手段37は、修正文字列特定手段42によって特定された修正文字列を表示部45に表示させる(ステップS26)。例えば、音声出力手段36は、修正文字列特定手段42によって特定された修正文字列「11700」を表す音声「11700円です」を音声出力部44から出力させ、表示手段37は、「11700」を表示部45に表示させる。これにより、利用者は、自身が意図した文字列に修正できたかどうかを確認することができる。そして、端末装置25Bは、文字認識処理におけるステップS25及びS27の処理を繰り返し実行する。
【0115】
このように、第2実施形態によれば、電子ペン10Bがクロックを備えていなくても、端末装置25Bが備えるクロックを利用して、記入情報(タップ情報)と、当該記入情報を電子ペン10Bから取得した取得時刻とを関連付けて記憶しておくことで、タップ情報を認識し、文字認識処理及び修正処理を実行することができる。
【0116】
なお、上記第2実施形態において、端末装置25Bのクロックを、電子ペン10Bとの通信接続が確立した時点から通信接続状態が終了するまでの間、0から始まりストロークの記入中に経過していく記入時間(経過時間)を発信するようにしてもよい。また、端末装置25Bの情報記憶手段31に記憶する情報のデータ構造や、修正エリア特定手段39における読取時間の判定方法や、音声出力部44により出力する音声データ等を、第1実施形態の変更例と同様に適宜変更してもよい。
【0117】
上述したように、上記第1及び第2実施形態によれば、電子ペン用記入媒体に記入された記入文字列を認識し、音声として利用者に提示することが可能となる。また、記入文字列が誤認識された場合に、電子ペン用修正媒体を使用して容易に文字列を修正することが可能となる。
【0118】
なお、本発明は、上記第1及び第2実施形態に限られない。
【0119】
上記実施形態では、記入文字列及び修正文字列を、音声出力及び文字列表示によって利用者に認識させることとしていたが、記入文字列及び修正文字列の出力は、音声出力のみ行う、又は、文字列表示のみ行うこととしてもよい。
【0120】
また、電子ペン10内に、ペン自体又はその所有者に関するプロパティ情報(ペン情報又はペン所有者情報)を保持しておき、端末装置25から参照することができるようにしてもよいし、プロパティ情報の全部又は一部を記入情報と共に端末装置25に送信するようにしてもよい。ペン情報としては、バッテリーレベル、ペンID、ペン製造者番号、ペンソフトウェアのバージョン、サブスクリプションプロバイダのIDなどが挙げられる。また、ペン所有者情報としては、国籍、言語、タイムゾーン、emailアドレス、名称、住所、ファックス/電話番号、携帯電話番号などが挙げられる。
【0121】
また、上記実施形態では、ドットは赤外線を吸収するカーボンを含むインクとし、電子ペン10のLED15を、赤外線を照射するLEDとし、カメラ16によって赤外線の反射量の差によって、電子ペン10でドットパターンを読み取っていたが、これに限らない。例えば、ドットは所定波長の光によって所定波長を発光するインクとし、電子ペン10のLED15を、ドットのインクを発光させる光を照射するものとし、カメラ16によってドットのインクが発光する波長の領域を検知することによって、電子ペン10でドットパターンを読み取るようにしてもよく、カメラ16によってドットパターンが読み取れれば、ドットのインクの種別やLED15の照射光等は上記実施形態で示したものに限られない。また、専用ペーパー20における位置座標が特定できるものであれば、ドットパターンの代わりに、別のコード化されたパターン、例えば、2次元コードパターンなどであってもよい。
【0122】
また、ドットパターンの割り当ては、通常、用紙の用途毎に行われるが、専用ペーパー20を商業印刷機により大量印刷するような場合には、同一種類の電子ペン用媒体には同じドットパターンが印刷されることになる。この場合、同一種類の電子ペン用媒体を1枚1枚区別するため、電子ペン用媒体には、各媒体を識別する識別情報を記入するための識別情報記入欄を設けるとよい。端末装置25において、電子ペン10から取得した記入情報に基づいて、文字認識により識別情報記入欄に記入された識別情報を特定し、当該記入情報と対応付けて記憶しておけば、同種の電子ペン用媒体を1枚1枚区別することができる。この他、ペンIDを当該識別情報と共に当該記入情報と対応付けて記憶することとしてもよい。これにより、端末装置25は、記憶した識別情報もしくは識別情報とペンIDに基づいて、各電子ペン用媒体を識別することができる。他方、プリンタにより印刷する場合には、用紙1枚1枚に異なるドットパターンを割り当てて、専用ペーパー20を印刷することも可能である。この場合、各専用ペーパー20に印刷されたドットパターンは、専用ペーパー20毎に異なるため、ドットパターンによって専用ペーパー20を1枚1枚識別し区別することができる。
【産業上の利用可能性】
【0123】
本発明は、電子ペン用いて文字認識を行う全てのアプリケーションに利用することができる。例えば、クレジットカード申込書の暗証番号欄、割賦申込書の計算部分欄、家計簿アプリケーションの金額計算部分欄、カレンダーアプリケーションの月日認識部分欄、検査業務帳票の品番記入部分欄に記入された記入情報を処理する場合に適用することができる。
【図面の簡単な説明】
【0124】
【図1】電子ペンの使用形態を模式的に示す図である。
【図2】第1実施形態における電子ペンの構成を示すブロック図である。
【図3】専用ペーパーに印刷されたドットパターンによる情報の表現方法を説明する図である。
【図4】(a)は、ドットパターンを模式的に示し、(b)は、それに対応する情報を示す図である。
【図5】電子ペン用媒体である記入帳票の例を示す図である。
【図6】電子ペン用媒体である修正パレットの例を示す図である。
【図7】端末装置の機能ブロック図である。
【図8】帳票エリア定義情報のデータ構造を模式的に示す図である。
【図9】座標データを説明する図である。
【図10】修正エリア定義情報のデータ構造を模式的に示す図である。
【図11】第1実施形態における専用アプリケーションのモジュール構成図である。
【図12】記入帳票への記入における電子ペンの使用形態の例を示す図である。
【図13】修正パレットへの記入における電子ペンの使用形態の例を示す図である。
【図14】第1実施形態における文字認識処理のフローチャートである。
【図15】第1実施形態における修正処理のフローチャートである。
【図16】第2実施形態における電子ペンの構成を示すブロック図である。
【図17】第2実施形態における文字認識処理のフローチャートである。
【図18】第2実施形態における修正処理のフローチャートである。
【符号の説明】
【0125】
10,10A,10B…電子ペン、11…プロセッサ、13…データ通信ユニット、14…バッテリー、15…LED、16…カメラ、18…圧力センサ、20…専用ペーパー(電子ペン用媒体)、22…クロック、25,25A,25B…端末装置、31…情報記憶手段、32…記入情報取得手段、33…開始終了点特定手段、34…帳票エリア特定手段、35…記入文字列認識手段、36…音声出力手段、37…文字列表示手段、38…認識結果格納手段、39…修正エリア特定手段、40…文字特定手段、41…判定手段、42…修正文字列特定手段、43…認識結果上書手段、44…音声出力部、45…表示部、50…専用アプリケーション
【技術分野】
【0001】
本発明は、電子ペンにより電子ペン用媒体に記入された記入情報を処理する技術に関する。
【背景技術】
【0002】
近年、「電子ペン」、「デジタルペン」などと呼ばれるペン型入力デバイスが登場しており(以下、本明細書では「電子ペン」と呼ぶ。)、その代表的なものとしてスウェーデンのAnoto社が開発した「アノトペン(Anoto pen)」が知られている(特許文献1参照)。アノトペンは、所定のドットパターンが印刷された専用紙(以下、「専用ペーパー」とも呼ぶ。)とペアで使用される。アノトペンは、通常のインクタイプのペン先部に加えて、専用紙上のドットパターンを読み取るための小型カメラと、データ通信ユニットを搭載している。利用者が専用紙上にアノトペンで文字などを書いたり、専用紙上に図案化されている画像にチェックマークを記入したりすると、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンを検出し、利用者が書き込んだ文字、画像などの記入情報が取得される。この記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信される。このアノトペンを利用したシステムは、キーボードに代わる入力デバイスとして利用することが可能であり、上述のパーソナルコンピュータやキーボードの使用に抵抗がある利用者にとっては非常に使いやすい。そのため、現在、各種ビジネス上の書類、申込書、契約書等に記入されたデータをデジタル化する手法として、電子ペンを利用したシステムが普及しつつある(例えば、特許文献2)。
【0003】
また、特許文献3には、文字種類を特定するための判別項目を設けることで、電子ペンによる記入情報に基づくOCRの誤認識を減少させ、紛らわしい文字の変換を確実に行うことができる文字認識システムが記載されている。
【0004】
【特許文献1】特表2003−511761号公報
【特許文献2】特開2004−153612号公報
【特許文献3】特開2007−265346号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
そこで本発明は、電子ペンにより電子ペン用記入媒体に記入した文字列が誤認識された場合に、電子ペン用修正媒体を使用して容易に文字列を修正することが可能な端末装置、それに用いられるプログラム及び情報処理システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る端末装置は、電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体及び電子ペン用修正媒体に記入された情報を処理する端末装置であって、音声を出力する音声出力部と、文字列を表示する表示部と、前記電子ペン用記入媒体を構成する帳票エリアと、前記コード化パターン上における前記帳票エリアの位置座標を示す座標データとを対応付けた帳票エリア定義情報を記憶する帳票エリア定義情報記憶手段と、前記電子ペン用修正媒体を構成する修正エリアと、前記コード化パターン上における前記修正エリアの位置座標を示す座標データと、前記修正エリア上に記載された文字とを対応付けた修正エリア定義情報を記憶する修正エリア定義情報記憶手段と、前記電子ペンから、前記電子ペン用記入媒体への記入内容に対応する帳票記入情報を取得する帳票記入情報取得手段と、前記帳票記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第1帳票エリア特定手段と、前記帳票記入情報に基づく文字認識により、前記第1帳票エリア特定手段が特定した帳票エリアに記入された記入文字列を認識する記入文字列認識手段と、前記音声出力部から、前記記入文字列に対応する音声を出力する第1音声出力手段と、前記表示部に前記記入文字列を表示させる第1表示手段と、前記第1帳票エリア特定手段が特定した帳票エリアと、前記記入文字列とを対応付けて格納する認識結果格納手段と、前記電子ペンから、前記記入文字列認識手段が前記記入文字列を認識した後に、前記電子ペン用記入媒体及び前記電子ペン用修正媒体への記入内容に対応する修正記入情報を取得する修正記入情報取得手段と、前記修正記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第2帳票エリア特定手段と、前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記修正エリアを特定する修正エリア特定手段と、前記修正エリア定義情報を参照することで、前記修正エリア特定手段が特定した修正エリア上に記載された文字を特定する文字特定手段と、前記文字特定手段が特定した文字に基づいて修正文字列を特定する修正文字列特定手段と、前記認識結果格納手段から、前記第2帳票エリア特定手段が特定した帳票エリアに対応する記入文字列を削除する削除手段と、前記認識結果格納手段に、前記第2帳票エリア特定手段が特定した帳票エリアと、前記修正文字列とを対応付けて格納する認識結果上書手段と、前記音声出力部から、前記修正文字列に対応する音声を出力する第2音声出力手段と、前記表示部に前記修正文字列を表示させる第2表示手段と、を備えることを特徴とする。
【0007】
上記のように構成された端末装置において、電子ペンは、認識可能なドットパターンが印刷された電子ペン用記入帳票や電子ペン用修正パレットに記入された内容に対応するデジタルデータである記入情報を取得し、即時的且つ逐次的に端末装置へ送信する。端末装置は、電子ペンから即時的且つ逐次的に取得する記入情報に基づいて処理を実行することができる。端末装置とは、電子ペンの近傍に存在し、電子ペンから取得した記入情報を処理することができるPC、PDA(Personal Digital Assistants)、携帯電話等の外部機器である。なお、本発明において記入情報は、電子ペン用記入帳票や電子ペン用修正パレットに記入された内容に対応するデジタルデータのみではなく、電子ペン用記入帳票や電子ペン用修正パレットへのタップに対応するデジタルデータを含むものとする。タップとは、電子ペン用記入帳票が有する帳票エリアや電子ペン用修正パレットが有する修正エリアを電子ペンによりつつくことである。利用者は、まず、電子ペン用記入帳票の所定の帳票エリアに任意の文字列を記入する。ここで、文字列とは、数字、ひらがな、カタカナ、ギリシャ文字、JIS1、JIS2など任意の1文字以上の文字の集まりである。このとき、電子ペンは、記入した文字列に対応する座標情報、ストロークデータ等を帳票記入情報として取得し、即時的且つ逐次的に端末装置に送信する。座標情報とは、電子ペン用記入帳票に印刷されたドットパターン上における文字列の位置座標を示すX/Y座標データ等である。ストロークデータとは、電子ペンが記入した文字列の軌跡を示すデータである。取得した帳票記入情報に含まれる座標情報に基づいて、予め記憶している帳票エリア定義情報を参照することにより、端末装置は、利用者が文字列を記入した帳票エリアを特定する。また、端末装置は、取得した帳票記入情報に含まれるストロークデータに基づいて、当該端末装置に搭載された文字認識エンジンによりHWR(HandWriting Recognition;手書き文字認識)やOCR(Optical Character Recognition;光学文字認識)を実行することで、特定した帳票エリアに記入された文字列を特定する。さらに、端末装置は、特定した帳票エリア及び文字列を対応付け、認識結果としてメモリに格納する。また、端末装置は、特定した文字列に対応する音声を音声出力部から出力し、同時に、特定した文字列を表示部に表示させる。これにより、利用者は、電子ペンが認識した文字列が意図した文字列を相違ないことを確認することができる。換言すると、利用者は、音声出力及び文字列表示により端末装置の誤認識を把握することができる。
【0008】
電子ペンの誤認識を修正する場合、利用者は、まず、電子ペン用記入帳票において修正したい帳票エリアをタップする。次に、利用者は、電子ペン用修正パレットにおいて修正後の文字列をタップにより指定する。電子ペン用修正パレットを構成する修正エリアには、それぞれ文字が記載されているため、利用者は、修正後の文字列になるよう順番に対応する文字が記載されている修正エリアをタップにより指定する。このとき、電子ペンは、電子ペン用記入帳票及び電子ペン用修正パレットへのタップに対応する座標情報等を修正記入情報として取得し、即時的且つ逐次的に端末装置へ送信する。取得した修正記入情報に含まれる座標情報に基づいて、帳票エリア定義情報を参照することにより、端末装置は、利用者が指定した修正する帳票エリアを修正エリアとして特定する。また、取得した修正記入情報に含まれる座標情報に基づいて、予め記憶している修正エリア定義情報を参照することにより、端末装置は、利用者がタップにより指定した修正エリアを特定する。さらに、端末装置は、修正エリア定義情報を参照することにより、特定した修正エリアに記載された文字を特定し、利用者がタップにより指定した修正後の文字列を修正文字列として特定する。そして、端末装置は、修正エリアとして特定された帳票エリアに対応付けて格納されている文字列を修正文字列で上書する。端末装置は、上書した修正文字列に対応する音声を音声出力部から出力し、同時に、修正文字列を表示部に表示させる。これにより、利用者は、修正後の文字列が確実に電子ペンによって認識されたか否かを把握することができる。
【0009】
さらに、上記端末装置において、前記修正記入情報に基づいて、データ開始点及びデータ終了点を特定する開始終了点特定手段を備え、前記第2帳票エリア特定手段は、前記データ開始点及び前記データ終了点の座標データに基づいて前記帳票エリア定義情報を参照することで、当該データ開始点及び当該データ終了点の双方が含まれる帳票エリアを特定し、前記修正エリア特定手段は、前記データ開始点及び前記データ終了点の座標データに基づいて前記修正エリア定義情報を参照することで、当該データ開始点及び当該データ終了点の双方が含まれる修正エリアを特定すると好適である。
【0010】
さらに、前記電子ペン用修正媒体は、所定の文字が記載された修正エリアの他に、前記修正文字列の決定に対応する決定エリアを有しており、前記端末装置は、前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記決定エリアに前記電子ペンによる記入がなされたか否かを判定する判定手段をさらに備え、前記修正文字列特定手段は、前記判定手段が前記決定エリアに前記電子ペンによる記入がなされたと判定した場合に、前記文字特定手段が特定した文字に基づいて修正文字列を特定する。これによれば、端末装置は、決定エリアがタップされた場合に、利用者による修正文字列の指定が完了したと判断する。よって、確実に修正文字列を認識することができる。
【0011】
さらに、電子ペンから取得する帳票記入情報及び修正記入情報には、座標情報やストロークデータの他に時間情報が含まれている。時間情報とは、電子ペンによって文字を記入した時刻や所定のエリアをタップした時刻を示す情報である。前記文字列特定手段は、前記帳票記入情報に基づく文字認識により認識した1つ以上の文字を、当該帳票記入情報に含まれる時間情報に基づいて時系列につなぐことで文字列を特定し、前記修正文字列特定手段は、前記文字特定手段が特定した1つ以上の文字を、前記修正記入情報に含まれる時間情報に基づいて時系列につなぐことで修正文字列を特定する。これにより、利用者が意図する正しい修正文字列を特定することができる。
【0012】
また、本発明に係るプログラムは、電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体及び電子ペン用修正媒体に記入された情報を処理するコンピュータにより実行されるプログラムであって、前記コンピュータは、音声を出力する音声出力部と、文字列を表示する表示部と、を備え、前記プログラムは、前記電子ペン用記入媒体を構成する帳票エリアと、前記コード化パターン上における前記帳票エリアの位置座標を示す座標データとを対応付けた帳票エリア定義情報を記憶する帳票エリア定義情報記憶手段、前記電子ペン用修正媒体を構成する修正エリアと、前記コード化パターン上における前記修正エリアの位置座標を示す座標データと、前記修正エリア上に記載された文字とを対応付けた修正エリア定義情報を記憶する修正エリア定義情報記憶手段、前記電子ペンから、前記電子ペン用記入媒体への記入内容に対応する帳票記入情報を取得する帳票記入情報取得手段、前記帳票記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第1帳票エリア特定手段、前記帳票記入情報に基づく文字認識により、前記第1帳票エリア特定手段が特定した帳票エリアに記入された記入文字列を認識する記入文字列認識手段、前記音声出力部から、前記記入文字列に対応する音声を出力する第1音声出力手段、前記表示部に前記記入文字列を表示させる第1表示手段、前記第1帳票エリア特定手段が特定した帳票エリアと、前記記入文字列とを対応付けて格納する認識結果格納手段、前記電子ペンから、前記記入文字列認識手段が前記記入文字列を認識した後に、前記電子ペン用記入媒体及び前記電子ペン用修正媒体への記入内容に対応する修正記入情報を取得する修正記入情報取得手段、前記修正記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第2帳票エリア特定手段、前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記修正エリアを特定する修正エリア特定手段、前記修正エリア定義情報を参照することで、前記修正エリア特定手段が特定した修正エリア上に記載された文字を特定する文字特定手段、前記文字特定手段が特定した文字に基づいて修正文字列を特定する修正文字列特定手段、前記認識結果格納手段から、前記第2帳票エリア特定手段が特定した帳票エリアに対応する記入文字列を削除する削除手段、前記認識結果格納手段に、前記第2帳票エリア特定手段が特定した帳票エリアと、前記修正文字列とを対応付けて格納する認識結果上書手段、前記音声出力部から、前記修正文字列に対応する音声を出力する第2音声出力手段、前記表示部に前記修正文字列を表示させる第2表示手段、として前記コンピュータを機能させることを特徴とする。上記プログラムをコンピュータにより実行することで、上述の端末装置を実現することができる。また、上述の端末装置の各態様も同様に実現することができる。
【0013】
また、本発明に係る情報処理システムによれば、利用者が電子ペン用記入帳票の所定の帳票エリアに任意の文字列を記入すると、電子ペンは、記入した文字列に対応する座標情報、ストロークデータ等を帳票記入情報として取得し、即時的且つ逐次的に端末装置に送信する。端末装置では、取得した帳票記入情報に含まれる座標情報に基づいて、予め記憶している帳票エリア定義情報を参照することにより、利用者が文字列を記入した帳票エリアを特定する。また、端末装置は、取得した帳票記入情報に含まれるストロークデータに基づいて、当該端末装置に搭載された文字認識エンジンによりHWRやOCRを実行することで、特定した帳票エリアに記入された文字列を特定する。さらに、端末装置は、特定した帳票エリア及び文字列を対応付け、認識結果としてメモリに格納する。また、端末装置は、特定した文字列に対応する音声を音声出力部から出力し、同時に、特定した文字列を表示部に表示させる。これにより、利用者は、電子ペンが認識した文字列が意図した文字列を相違ないことを確認することができる。換言すると、利用者は、音声出力及び文字列表示により端末装置の誤認識を把握することができる。電子ペンの誤認識を修正する場合、利用者は、まず、電子ペン用記入帳票において修正したい帳票エリアをタップする。次に、利用者は、電子ペン用修正パレットにおいて修正後の文字列をタップにより指定する。電子ペン用修正パレットを構成する修正エリアには、それぞれ文字が記載されているため、利用者は、修正後の文字列になるよう順番に対応する文字が記載されている修正エリアをタップにより指定する。このとき、電子ペンは、電子ペン用記入帳票及び電子ペン用修正パレットへのタップに対応する座標情報等を修正記入情報として取得し、即時的且つ逐次的に端末装置へ送信する。取得した修正記入情報に含まれる座標情報に基づいて、帳票エリア定義情報を参照することにより、端末装置は、利用者が指定した修正する帳票エリアを修正エリアとして特定する。また、取得した修正記入情報に含まれる座標情報に基づいて、予め記憶している修正エリア定義情報を参照することにより、端末装置は、利用者がタップにより指定した修正エリアを特定する。さらに、端末装置は、修正エリア定義情報を参照することにより、特定した修正エリアに記載された文字を特定し、利用者がタップにより指定した修正後の文字列を修正文字列として特定する。そして、端末装置は、修正エリアとして特定された帳票エリアに対応付けて格納されている文字列を修正文字列で上書する。端末装置は、上書した修正文字列に対応する音声を音声出力部から出力し、同時に、修正文字列を表示部に表示させる。これにより、利用者は、修正後の文字列が確実に電子ペンによって認識されたか否かを把握することができる。このように、電子ペンにより電子ペン用記入媒体に記入した文字列が誤認識された場合に、電子ペン用修正媒体を使用して容易に文字列を修正することができる。
【0014】
また、記入文字列及び修正文字列の出力は、音声出力のみ行う、又は、文字列表示のみ行うことも可能である。
【発明の効果】
【0015】
本発明に係る端末装置、それに用いられるプログラム及び情報処理システムによれば、電子ペンにより電子ペン用記入媒体に記入した文字列が誤認識された場合に、電子ペン用修正媒体を使用して容易に文字列を修正することができる。
【発明を実施するための最良の形態】
【0016】
以下、図面を参照して本発明の好適な実施の形態について説明する。
【0017】
<第1実施形態>
本実施形態の情報処理システムは、図1及び図2に示すように、電子ペン10A(10)と、専用ペーパー(電子ペン用媒体)20と、端末装置25A(25)とから構成される。ここで、図1は電子ペン10Aの使用形態を模式的に示す図であり、図2は電子ペン10Aの構成を示すブロック図である。専用ペーパー20には、ドットパターン(コード化パターン)が印刷されている。電子ペン10Aは、通常のインクペンと同様のペン先部17を備えており、利用者が通常のインクペンと同様にペン先部17によって専用ペーパー20上に文字などを書くと、電子ペン10Aは、ペン先部17の移動軌跡に沿って、専用ペーパー20に印刷されたドットパターンを局所的、連続的に読み取り、専用ペーパー20におけるその局所位置の座標を算出し、その座標データ等を端末装置25Aに送信する。電子ペン10Aは、端末装置25Aへ確実にデータを送信できるよう、端末装置25Aの近傍で使用される。端末装置25Aは、受信した座標データ等に基づいて、入力文字を記憶したり、タップに応じた処理を行ったりする等、所定の処理を実行する。以下、各構成について詳細に説明する。
【0018】
[専用ペーパー]
まず、専用ペーパー20について説明する。専用ペーパー20は、用紙上にドットパターンが印刷され、さらにその上に罫線や記入枠などの図案や項目、文言、イラスト等が印刷されたものである。ドットパターンは、赤外線を吸収するカーボンを含んだインキにより印刷される。また、図案等は、カーボンを含まない通常のインキにより印刷される。ドットパターンと図案等とは用紙に対して同時に印刷してもよいし、どちらかを先に印刷してもよい。
【0019】
図5及び図6に、図案等が印刷された専用ペーパー20の例を示す。図5は、電子ペン用記入帳票(以下、「記入帳票」と呼ぶ。)の例である。図6は、電子ペン用修正パレット(以下、「修正パレット」と呼ぶ。)の例である。
【0020】
図5に示す記入帳票は、割賦申込書の一例であって、商品名・型式を記入するユーザエリアである商品名エリア61、数量を記入するユーザエリアである数量エリア62、現金価格を記入する価格エリア63等が印刷されている。ドットパターンは、記入帳票のほぼ全面に印刷されており、その上に各ユーザエリアの名称やお願い、各ユーザエリアの枠線等が、カーボンを含まない通常のインキにより印刷されている。利用者は、ドットパターンを意識することがなく、割賦申込をする場合に、電子ペン10Aを使用して各ユーザエリアに必要事項を記入する。
【0021】
図6に示す修正パレットは、誤認識された文字列の修正に使用する帳票であって、「0」から「9」までの数字が記載されたユーザエリアである修正エリア65、「決」が記載されたユーザエリアである決定エリア66等が印刷されている。ドットパターンは、修正パレットのほぼ全面に印刷されており、その上に数字や枠線等が、カーボンを含まない通常のインキにより印刷されている。利用者は、ドットパターンを意識することがなく、誤認識された文字列を修正する場合に、電子ペン10Aを使用して修正した正しい文字列(以下、「修正文字列」と呼ぶ。)に対応する修正エリア65をタップ(電子ペン10Aのペン先部17の専用ペーパー(電子ペン用媒体20)への軽叩)する。そして、利用者は、修正文字列を決定する場合に、電子ペン10Aを使用して決定エリア66をタップする。
【0022】
[ドットパターン]
続いて、ドットパターンについて説明する。図3は、専用ペーパー20に印刷されたドットパターンのドットとそのドットが変換される値との関係を説明する図である。図3に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を格子の基準位置(縦線及び横線の交差点)から上下左右のどの方向にシフトされているかによって、各ドットは、0〜3の値に対応付けられている。また、各ドットの値は、さらに、X座標用の第1ビット値及びY座標用の第2ビット値に変換できる。このようにして対応付けられた情報の組合せにより、専用ペーパー20上の位置座標が決定されるよう構成されている。
【0023】
図4(a)は、あるドットパターンの配列を示している。図4(a)に示すように、縦横約2mmの範囲内に6×6個のドットが、専用ペーパー上のどの部分から6×6ドットを取ってもユニークなパターンとなるように配置されている。これら36個のドットにより形成されるドットパターンは位置座標(例えば、そのドットパターンがその専用ペーパー上のどの位置にあるのか)を保持している。図4(b)は、図4(a)に示す各ドットを、格子の基準位置からのシフト方向によって、図3に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン10Aによって行われる。
【0024】
[電子ペン]
次に電子ペン10Aについて説明する。図2に示すように、電子ペン10Aは、その内部にプロセッサ11、データ通信ユニット13、バッテリー14、LED15、カメラ16、圧力センサ18及びクロック22を備える。また、電子ペン10Aは通常のインクペンと同様の構成要素としてインクカートリッジ(図示せず)などを有する。
【0025】
LED15は、電子ペン10Aのペン先付近に取り付けられており、専用ペーパー20上のペン先部17近傍(領域15a)に向けて、赤外線を照明する(図1参照)。領域15aは、ペン先部17が専用ペーパー20に接触する位置とはわずかにずれている。カメラ16は、LED15によって照明された領域15a内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ11に供給する。ここで、カーボンは赤外線を吸収するため、LED15によって照射された赤外線は、ドットの部分でドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。したがって、カメラ16の撮影により、赤外線の反射量の違いから、カーボンを含むドットの領域とそれ以外の領域を区別することができる。たとえ撮影領域に罫線や枠などが印刷されてあったとしても、罫線や枠などのインクには、カーボンが含まれていないため、ドットパターンを認識することができる。なお、カメラ16による撮影領域は、図4(a)に示すような約2mm×約2mmの大きさを含む範囲であり、カメラ16の撮影は、毎秒50〜100回程度行われる。
【0026】
バッテリー14は電子ペン10A内の各部品に電力を供給するためのものであり、例えば電子ペン10Aのキャップ(図示せず)の脱着により電子ペン10A自体の電源のオン/オフを行うよう構成させてもよい。クロック22は、現在時刻(タイムスタンプ)を発信し、プロセッサ11に供給する。圧力センサ18は、利用者が電子ペン10Aにより専用ペーパー20上に文字などを書く際にペン先部17に与えられる圧力、即ち筆圧を検出し、プロセッサ11へ供給する。
【0027】
プロセッサ11は、圧力センサ18から与えられる筆圧データに基づいて、LED15及びカメラ16のスイッチオン/オフの切換を行う。即ち、利用者が電子ペン10Aで専用ペーパー20上に文字などを書くと、ペン先部17には筆圧がかかり、圧力センサ18によって所定値以上の筆圧が検出されたときに、プロセッサ11は、利用者が記入を開始したと判定して、LED15及びカメラ16を作動させる。
【0028】
プロセッサ11は、利用者の記入が行われる間、カメラ16によって供給される画像データのドットパターンから、利用者が記入するストロークの専用ペーパー20上でのX,Y座標(単に「座標データ」とも呼ぶ)を連続的に算出していく。すなわち、プロセッサ11は、カメラ16によって供給される、図4(a)に示されるようなドットパターンの画像データを図4(b)に示すデータ配列に変換し、さらに、X座標ビット値・Y座標ビット値に変換して、そのデータ配列から所定の演算方法によりX,Y座標データを算出する。そしてプロセッサ11は、現在時刻(タイムスタンプ)を発信するクロック22から時間情報を取得し、その時間情報と、筆圧データ及びX,Y座標データとを関連付け、これらの情報を記入情報として、データ通信ユニット13に対して、端末装置25Aへ送信させる。ここで、一枚の専用ペーパー(電子ペン用媒体)20内の6×6のドットパターンは、その専用ペーパー20内で重複することはないため、利用者が電子ペン10Aでユーザエリアに必要事項を記入したりタップしたりすると、その記入やタップが専用ペーパー20のどのユーザエリアに対応するものであるかを、座標データから特定することができる。
【0029】
データ通信ユニット13は、プロセッサ11から時間情報、筆圧データ、X,Y座標データを記入情報として受けると、端末装置25Aへ無線送信する。データ通信ユニット13による送信は、Bluetooth(登録商標)の無線送信によると好適である。なお、USBケーブルを使用した有線送信、端子などの接触によるデータ送信など、他の方法によって、データ通信ユニット13から端末装置25Aへデータ送信を行ってもよい。データ通信ユニット13による端末装置25Aへの記入情報の送信は、即時的且つ逐次的に行われる。
【0030】
[端末装置]
次に、端末装置25Aについて図7を参照して説明する。端末装置25Aは、ハードウェアとして、電子ペン10Aとのデータ通信が可能なアンテナ装置、CPU等のプロセッサ、ROMやRAMといったメモリ、スピーカ、ディスプレイ等で構成される、PCや携帯電話、或いは携帯端末である。図7は、端末装置25Aの機能ブロック図である。端末装置25Aは、電子ペン10Aから取得したX,Y座標データ等の記入情報に基づいて、専用アプリケーションを実行することで所定の処理を行う。
【0031】
図7に示すように、端末装置25Aは、情報記憶手段31、記入情報取得手段32、開始終了点特定手段33、帳票エリア特定手段34、記入文字列認識手段35、音声出力手段36、表示手段37、認識結果格納手段38、修正エリア特定手段39、文字特定手段40、判定手段41、修正文字列特定手段42、認識結果上書手段43、音声出力部44及び表示部45を備える。物理的には、情報記憶手段31及び認識結果格納手段38は、ROMやRAMといったメモリによって構成され、記入情報取得手段32は、データ通信ユニット、プロセッサ等によって構成され、音声出力部44はスピーカ等で構成され、表示部45はディスプレイ等で構成される。また、開始終了点特定手段33、帳票エリア特定手段34、記入文字列認識手段35、音声出力手段36、表示手段37、修正エリア特定手段39、文字特定手段40、判定手段41、修正文字列特定手段42及び認識結果上書手段43は、CPU等のプロセッサに組み込まれている。
【0032】
情報記憶手段31は、ユーザエリアと、ドットパターン上におけるユーザエリアの位置座標を示す座標データとを対応付けて記憶するメモリである。情報記憶手段31は、本発明における帳票エリア定義情報記憶手段及び修正エリア定義情報記憶手段として機能する。
【0033】
すなわち、図8に示すように、情報記憶手段31には、専用ペーパー20である記入帳票のユーザエリアを識別するエリアIDと、ユーザエリアの名称であるエリア名と、ユーザエリアの位置座標領域を表す座標データとを対応付けた帳票エリア定義情報が記憶されている。エリアID「A01」に関連してエリア名「商品名エリア」が記憶され、エリアID「A02」に関連してエリア名「数量エリア」が記憶され、エリアID「A03」に関連してエリア名「価格エリア」が記憶されている。各ユーザエリアの座標データを構成するデータ(xn,yn)、Hn、Wnは、図9に示すように、それぞれ、ドットパターン上におけるユーザエリアの頂点V(xn,yn)の座標、Y軸方向の高さ(Height)、X軸方向の幅(Width)を意味する。
【0034】
また、図10に示すように、情報記憶手段31には、専用ペーパー20である修正パレットのユーザエリアを識別するエリアIDと、ユーザエリアに記載された文字と、ユーザエリアの位置座標領域を示す座標データとを対応付けた修正エリア定義情報が記憶されている。エリアID「B01」に関連して文字「1」が記憶され、エリアID「B02」に関連して文字「2」が記憶され、エリアID「B10」に関連して文字「決」が記憶されている。
【0035】
記入情報取得手段32は、電子ペン10Aのデータ通信ユニット13によって送信される専用ペーパー20への記入内容に対応する記入情報を即時的且つ逐次的に取得する手段であり、Bluetooth(登録商標)による通信方式の電波を受信するアンテナ等により構成される。記入情報には、タップ、文字、記号、絵柄等を記入する際に取得する情報が含まれる。特に、タップにより取得される記入情報をタップ情報と呼ぶ。また、タップ情報に含まれる時間情報をタップ時刻と呼ぶ。本実施形態において記入情報取得手段32は、記入帳票への記入内容に対応する記入情報を帳票記入情報として取得する。また、本実施形態において記入情報取得手段32は、修正パレットへの記入内容に対応する記入情報を修正記入情報として取得する。記入情報とは、帳票記入情報及び修正記入情報の双方を含むものとする。記入情報取得手段32は、本発明における帳票記入情報取得手段及び修正記入情報取得手段として機能する。
【0036】
開始終了点特定手段33は、記入情報取得手段32が取得した修正記入情報に含まれるストロークのデータ開始点及びデータ終了点を特定する。具体的には、開始終了点特定手段33は、データ開始点及びデータ終了点それぞれの位置座標を示す座標データと記入時刻とを特定する。
【0037】
帳票エリア特定手段34は、記入情報取得手段32が取得した帳票記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶した帳票エリア定義情報(図8参照)を参照することにより、対応するユーザエリアを特定する。記入帳票を構成するユーザエリアを総称して「帳票エリア」と呼ぶ。すなわち、帳票エリア特定手段34は、帳票記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶した帳票エリア定義情報を参照することにより、対応する帳票エリアを特定する。
【0038】
また、帳票エリア特定手段34は、記入情報取得手段32が取得した修正記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶した帳票エリア定義情報を参照することにより、対応する帳票エリアを特定する。このとき、帳票エリア特定手段34は、1つのストロークのデータ開始点及びデータ終了点の双方が含まれる帳票エリアのみを特定するようにするとよい。そのような設定にすれば、利用者が記入帳票に記入したストロークのデータ開始点及びデータ終了点のいずれかが帳票エリアの範囲外にある場合には、利用者がその帳票エリアをタップしようと意図したものではないと判定することができる。また、帳票エリア特定手段34は、開始終了点特定手段33によって特定されたデータ開始点及びデータ終了点における時間及び/又は両点間の移動距離に基づいて、利用者により帳票エリアに記入されたストロークがタップであるか否かを判定する。帳票エリア特定手段34は、修正記入情報及び帳票エリア定義情報に基づいて、電子ペン10Aによりタップされた帳票エリアを特定する。
【0039】
帳票エリア特定手段34は、本発明における第1帳票エリア特定手段及び第2帳票エリア特定手段として機能する。
【0040】
記入文字列認識手段35は、記入情報取得手段32が取得した帳票記入情報に基づいて、HWRやOCR等による文字認識を実行することで、電子ペン10Aを使用して記入帳票に記入された文字を認識する。さらに、記入文字列認識手段35は、帳票記入情報に含まれる時間情報に基づいて、認識した文字を時系列につなぐことで記入文字列を認識する。
【0041】
音声出力手段36は、記入文字列認識手段35が認識した記入文字列を表す音声を音声出力部44から出力させる。記入文字列を表す音声は、予め情報記憶手段31に記憶されている音声データを再生することにより出力することとしてもよいし、音声合成して出力することとしてもよい。
【0042】
表示手段37は、記入文字列認識手段35が認識した記入文字列を表示部45に表示させる。
【0043】
認識結果格納手段38は、帳票エリア特定手段34が帳票記入情報に基づいて特定した帳票エリアと、記入文字列認識手段35が認識した記入文字列とを対応付けて格納するメモリである。
【0044】
修正エリア特定手段39は、記入情報取得手段32が取得した修正記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶した修正エリア定義情報(図10参照)を参照することにより、電子ペン10Aを使用してタップされた修正エリア65を特定する。このとき、修正エリア特定手段39は、1つのストロークのデータ開始点及びデータ終了点の双方が含まれる修正エリア65のみを特定するようにするとよい。そのような設定にすれば、利用者が修正パレットに記入したストロークのデータ開始点及びデータ終了点のいずれかが修正エリア65の範囲外にある場合には、利用者がその修正エリア65をタップしようと意図したものではないと判定することができる。また、修正エリア特定手段39は、開始終了点特定手段33によって特定されたデータ開始点及びデータ終了点における時間及び/又は両点間の移動距離に基づいて、利用者により修正エリア65に記入されたストロークがタップであるか否かを判定する。修正エリア65と、当該修正エリア65をタップした回数(タップ回数)及びタップした時刻(タップ時刻)は、対応付けて情報記憶手段31に一時記憶される。
【0045】
このとき、修正エリア特定手段39は、特定した修正エリア65に対応付けて情報記憶手段31に記憶されているタップ回数があるか否か確認して、なければタップ回数の初期値を「0」とし、当該修正エリア65へのタップ回数分だけ「1」を加算してカウントアップする。既に、情報記憶手段31上において特定した修正エリア65に対応付けてタップ回数が記憶されている場合、修正エリア特定手段39は、新たにタップされた時刻(今回タップ時刻)が、当該修正エリア65に対する最後にタップされた時刻(前回タップ時刻)として情報記憶手段31に記憶されているタップ時刻から、予め設定された所定読取時間(例えば3分)以上経過しているか否かを時刻の差分を算出して判定する。判定の結果、所定読取時間以上経過している場合、修正エリア特定手段39は、特定した修正エリア65に対応付けて情報記憶手段31上に記憶されたタップ回数を初期値「0」とし、カウントをリセットした上で、当該ユーザエリアへのタップ回数分だけ「1」を加算することでカウントアップする。その一方、前回タップ時刻と今回タップ時刻との差分が所定読取時間を超過していない場合には、修正エリア特定手段39は、情報記憶手段31に記憶されているタップ回数に、当該ユーザエリアへのタップ回数分だけ「1」を加算してカウントアップする。
【0046】
そして、修正エリア特定手段39は、特定した修正エリア65に対応付けてカウントしたタップ回数及びタップ時刻を情報記憶手段31に一時記憶する。即ち、情報記憶手段31に記憶されたタップ回数は、対応する修正エリア65へのタップが認識される度に更新される。これによれば、利用者の記入したストロークが、タップであるか否か判定され、文字や図柄とは区別されるとともに、タップ回数は、所定読取時間を基準としてカウントがリセットされるため、所定読取時間よりも間隔のあいたタップ同士は、タップ回数としては別々にカウントされ、タップ回数を的確にカウントすることができる。
【0047】
具体的には、利用者により専用ペーパー20に記入されたストロークがタップであるか否かを判定するにあたっては、第1の方法として、データ終了点の記入時刻とデータ開始点の記入時刻の差分を算出し、当該差分が予め設定された所定時間(例えば、0.2秒)未満である場合にストロークがタップであると判定する方法がある。別の第2の方法として、座標データに基づいてデータ開始点とデータ終了点との間の移動距離(筆記された線の長さ)を算出し、当該移動距離が予め設定された所定距離未満である場合にストロークがタップであると判定するようにしてもよい。あるいは第3の方法として、データ開始点とデータ終了点における時間及び移動距離の両方に条件を付けて、ストロークがタップであるか否かを判定するようにしてもよい。
【0048】
文字特定手段40は、情報記憶手段31に記憶されている修正エリア定義情報を参照することで、修正エリア特定手段39が特定した修正エリア65に記載された文字を特定する。
【0049】
判定手段41は、記入情報取得手段32が取得した修正記入情報に含まれる座標データに基づいて、情報記憶手段31に記憶されている修正エリア定義情報を参照することで、電子ペン10Aにより決定エリア66がタップされたか否かを判定する。
【0050】
修正文字列特定手段42は、判定手段41により決定エリア66がタップされたと判定された場合に、情報記憶手段31に記憶されたタップ回数及び記入情報取得手段32が取得した修正記入情報に含まれる時間情報に基づいて、文字特定手段40が特定した文字を時系列につなぐことで修正文字列を特定する。
【0051】
音声出力手段36は、帳票エリア特定手段34が修正記入情報に基づいて帳票エリアを特定した場合に、修正開始を示すピープ音を音声出力部44から出力させる。また、音声出力手段36は、判定手段41により決定エリア66がタップされたと判定された場合に、修正完了を示すピープ音を音声出力部44から出力させる。さらに、音声出力手段36は、修正文字列特定手段42が特定した修正文字列を表す音声を音声出力部44から再生出力させる。ピープ音及び修正文字列を表す音声は、予め情報記憶手段31に記憶されている音声データを再生することにより出力することとしてもよいし、音声合成して出力することとしてもよい。
【0052】
音声出力手段36は、本発明における第1音声出力手段及び第2音声出力手段として機能する。
【0053】
表示手段37は、修正文字列特定手段42が特定した修正文字列を表示部45に表示させる。
【0054】
表示手段37は、本発明における第1表示手段及び第2表示手段として機能する。
【0055】
認識結果上書手段43は、認識結果格納手段38から、帳票エリア特定手段34により修正記入情報に基づいて特定された帳票エリアに対応する記入文字列を削除する。そして、認識結果上書手段43は、当該帳票エリアと、修正文字列特定手段42が特定した修正文字列とを対応付けて認識結果格納手段38に格納する。
【0056】
端末装置25Aは、専用アプリケーションがインストールされることにより、上述の各手段が構成される。
【0057】
[専用アプリケーション]
次に、専用アプリケーション50について図11を参照して説明する。図11は、専用アプリケーション50のモジュール構成を示す。専用アプリケーション50は、電子ペン10Aが専用ペーパー20に記入した内容に対応するデジタルデータである記入情報に基づいて所定の処理を実行するものであって、ダウンロード等により予め端末装置25Aにインストールされている。つまり、専用アプリケーション50は、電子ペン10Aが記入帳票に記入した内容に対応するデジタルデータである帳票記入情報と、電子ペン10Aが修正パレットに記入した内容に対応するデジタルデータである修正記入情報と、に基づいて所定の処理を実行するものである。
【0058】
専用アプリケーションは、原則として専用ペーパー20に対応付けられている。つまり、専用ペーパー20の種類が異なれば、その種類に応じて各専用ペーパー20に記入されたデータを処理する専用アプリケーションは異なる。しかし、専用ペーパー20と専用アプリケーションの対応は必ずしも1対1である必要はなく、複数種類の専用ペーパー20に1つの専用アプリケーションを対応付けてデータを処理させてもよい。また、1種類の専用ペーパー20に複数の専用アプリケーションを対応付けてデータを処理させてもよい。
【0059】
図11に示すように、専用アプリケーション50は、情報記憶モジュール101、記入情報取得モジュール102、開始終了点特定モジュール103、帳票エリア特定モジュール104、記入文字列認識モジュール105、音声出力モジュール106、表示モジュール107、認識結果格納モジュール108、修正エリア特定モジュール109、文字特定モジュール110、判定モジュール111、修正文字列特定モジュール112及び認識結果上書モジュール113を有する。
【0060】
情報記憶モジュール101は、情報記憶手段31に対して、図8及び図10に示すように、ユーザエリアと、ドットパターン上におけるユーザエリアの位置座標を示す座標データとを対応付けて記憶させるモジュールである。また、情報記憶モジュール101は、情報記憶手段31に対して、記入情報取得モジュール102が取得した記入情報、即ち帳票記入情報及び修正記入情報を記憶させるモジュールである。
【0061】
記入情報取得モジュール102は、記入情報取得手段32を用いて、専用ペーパー20への電子ペン10Aによる記入に対応する記入情報(タップ情報を含む)を取得する機能を有するモジュールである。つまり、記入情報取得モジュール102は、記入情報取得手段32を用いて、記入帳票への電子ペン10Aによる記入に対応する帳票記入情報と、修正パレットへの電子ペン10Aによる記入に対応する修正記入情報とを取得する。
【0062】
開始終了点特定モジュール103は、記入情報取得モジュール102の実行によって取得された修正記入情報に含まれるストロークのデータ開始点及びデータ終了点につき、それぞれの座標データ及び記入時刻を特定する機能を有する。
【0063】
帳票エリア特定モジュール104は、帳票記入情報に含まれる座標データに基づいて、図8に示す帳票エリア定義情報を参照することで、帳票記入情報に対応する帳票エリアを特定する機能を有する。また、帳票エリア特定モジュール104は、修正記入情報に含まれる座標データに基づいて、図8に示す帳票エリア定義情報を参照することで、修正記入情報に対応する帳票エリアを特定する機能を有する。このとき、帳票エリア特定モジュール104は、修正記入情報及び帳票エリア定義情報に基づいて、電子ペン10Aによりタップされた帳票エリアを特定するものであって、1つのストロークデータのデータ開始点及びデータ終了点の双方が含まれる帳票エリアを特定するようにするとよい。
【0064】
記入文字列認識モジュール105は、記入情報取得モジュール102の実行によって取得された帳票記入情報に基づいて、HWRやOCR等による文字認識を実行することで、電子ペン10Aを使用して記入帳票に記入された文字を認識する機能を有する。さらに、記入文字列認識モジュール105は、帳票記入情報に含まれる時間情報に基づいて、認識した文字を時系列につなぐことで記入文字列を認識する機能を有する。
【0065】
音声出力モジュール106は、記入文字列認識モジュール105の実行によって認識された記入文字列と、修正文字列特定モジュール112の実行によって認識された修正文字列とを表す音声を音声出力部44から出力させる機能を有する。また、音声出力モジュール106は、修正開始及び修正終了を示すピープ音を音声出力部44から出力させる機能を有する。
【0066】
表示モジュール107は、記入文字列認識モジュール105の実行によって認識された記入文字列と、修正文字列特定モジュール112の実行によって認識された修正文字列とを表示部45に表示させる機能を有する。
【0067】
認識結果格納モジュール108は、認識結果格納手段38に対して、帳票エリア特定モジュール104の実行によって帳票記入情報に基づいて特定された帳票エリアと、記入文字列認識モジュール105の実行によって認識された記入文字列とを対応付けて格納する機能を有する。
【0068】
修正エリア特定モジュール109は、記入情報取得モジュール102の実行によって取得された修正記入情報に含まれる座標データに基づいて、図10に示す修正エリア定義情報を参照することで、修正記入情報に対応する修正エリア65又は決定エリア66を特定する機能を有する。このとき、修正エリア特定モジュール109は、修正記入情報及び修正定義情報に基づいて、電子ペン10Aによりタップされた修正エリア65又は決定エリア66を特定するものであって、1つのストロークデータのデータ開始点及びデータ終了点の双方が含まれる修正エリア65又は決定エリア66を特定するようにするとよい。なお、修正エリア65と、当該修正エリア65をタップした回数(タップ回数)及びタップした時刻(タップ時刻)は、対応付けて情報記憶手段31に一時記憶される。
【0069】
また、修正エリア特定モジュール109は、記入情報取得モジュール102の実行によって取得された修正記入情報がタップ情報であるか否か及び所定読取時間内のタップであるか否かを判定する機能を有する。修正エリア特定モジュール109は、特定した修正エリア65と、当該修正エリア65へのタップ回数とを対応付けて一時的に情報記憶手段31に記憶する。修正記入情報がタップ情報であるか否かの判定方法としては、上述のように、データ開始点の記入時刻からデータ終了点の記入時刻までの時間が予め設定された所定時間未満である場合にストロークがタップであると判定する方法(第1の方法)と、データ開始点とデータ終了点との間の移動距離が予め設定された所定距離未満である場合にストロークがタップであると判定する方法(第2の方法)とのいずれを採用してもよく、また、データ開始点とデータ終了点の時間及び両点間の移動距離の両方に条件を設定してもよい(第3の方法)。
【0070】
文字特定モジュール110は、情報記憶手段31に記憶されている修正エリア定義情報を参照することで、修正エリア特定モジュール109の実行によって特定された修正エリア65に記載された文字を特定する機能を有する。
【0071】
判定モジュール111は、記入情報取得モジュール102の実行によって取得された修正記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶している修正エリア定義情報を参照することで、電子ペン10Aにより決定エリア66がタップされたか否かを判定する機能を有する。
【0072】
修正文字列特定モジュール112は、判定モジュール111の実行によって決定エリアがタップされたと判定された場合に、情報記憶手段31に記憶されたタップ回数及び記入情報取得モジュール102の実行によって取得された修正記入情報に含まれる時間情報に基づいて、文字特定モジュール110の実行によって特定された文字を時系列につなぐことで修正文字列を特定する機能を有する。
【0073】
認識結果上書モジュール113は、認識結果格納手段38から、修正記入情報に基づいて帳票エリア特定モジュール104を実行することにより特定された帳票エリアに対応する記入文字列を削除する機能を有する。そして、認識結果上書モジュール113は、当該帳票エリアと、修正文字列特定モジュール112を実行することにより特定された修正文字列とを対応付けて認識結果格納手段38に格納する機能を有する。
【0074】
[本情報処理システムによる文字認識処理フロー ]
次に、本第1実施形態の情報処理システムにより行われる処理フローについて図12乃至図15を参照して説明する。図12は、本第1実施形態における記入帳票上の電子ペン10Aの使用形態を示す図である。図13は、本第1実施形態における修正パレット上の電子ペン10Aの使用形態を示す図である。図14は、端末装置25Aにおける文字列認識処理のフローチャートである。図15は、文字列認識処理において端末装置25Aにより実行される修正処理のフローチャートである。
【0075】
利用者は、電子ペン10Aにより、記入帳票の帳票エリアに任意の記入を行う。例えば、利用者は、電子ペン10Aにより、記入帳票の価格エリア63に現金価格を示す数字「11700」を記入する(図12参照)。すると、電子ペン10Aは、価格エリア63への記入に対応する座標データ、時間情報及び筆圧データを帳票記入情報として端末装置25Aへ送信する。すると、端末装置25Aの記入情報取得手段32は、電子ペン10Aから即時的且つ逐次的に帳票記入情報を取得する(ステップS1)。
【0076】
ここで、即時的とは、電子ペン10AがX,Y座標データ等の記入情報を取得すると、その記入情報は即座に端末装置25Aへ送信され、端末装置25Aによって取得されることを意味し、また、逐次的とは、電子ペン10AがX,Y座標データ等の記入情報を連続的に取得している間、その記入情報は、次々に端末装置25Aへ送信され、端末装置25Aによって取得されることを意味している。
【0077】
続いて、帳票エリア特定手段34は、記入情報取得手段32によって取得された帳票記入情報に含まれる座標データに基づいて、図8に示す帳票エリア定義情報を参照することで、帳票記入情報に対応する帳票エリアを特定する(ステップS2)。例えば、帳票エリア特定手段34は、帳票記入情報に含まれる座標データに基づいて帳票エリア定義情報を参照することで、帳票記入情報に対応する帳票エリアとして価格エリア63(エリアID「A03」)を特定する。さらに、記入文字列認識手段35は、記入情報取得手段32によって取得された帳票記入情報に基づいて、HWRやOCRによる文字認識を実行することで、帳票エリア特定手段34により特定された帳票エリアに記入された文字を認識する。そして、記入文字列認識手段35は、帳票記入情報に含まれる時間情報に基づいて、認識した文字を時系列につなぐことで、帳票エリア特定手段34により特定された帳票エリアに記入された記入文字列を認識する(ステップS3)。例えば、記入文字列認識手段35は、帳票記入情報に基づいて文字認識を実行することで、価格エリア63に記入された文字「1」、「1」、「7」、「0」、「0」を認識する。そして、記入文字列認識手段35は、帳票記入情報に含まれる時間情報に基づいて、認識した文字を時系列につなぐことで、価格エリア63に記入された記入文字列「11700」を認識する。
【0078】
認識結果格納手段38は、帳票エリア特定手段34によって特定された帳票エリアと、記入文字列認識手段35によって認識された記入文字列とを対応付けて格納する(ステップS4)。例えば、認識結果格納手段38は、帳票エリア特定手段34によって特定された価格エリア63(エリアID「A03」)と、記入文字列認識手段35によって認識された記入文字列「11700」とを対応付けて格納する。また、音声出力手段36は、記入文字列認識手段35によって認識された記入文字列を表す音声を音声出力部44から出力させる(ステップS5)。同時に、表示手段37は、記入文字列認識手段35によって認識された記入文字列を表示部45に表示させる(ステップS6)。例えば、音声出力手段36は、記入文字列認識手段35によって認識された記入文字列「11700」を表す音声「11700円です」を音声出力部44から出力させ、表示手段37は、「11700」を表示部45に表示させる。
【0079】
なお、記入文字列認識手段35は、文字列を誤認識することがある。例えば、図12に示すように、利用者が価格エリア63に「11700」を記入したつもりであっても、記入文字列認識手段35は、記入文字列「11100」と誤認識してしまうことがある。すると、音声出力手段36は、記入文字列認識手段35によって誤認識された記入文字列「11100」を表す音声「11100円です」を音声出力部44から出力させ、表示手段37は、「11100」を表示部45に表示させる。これにより、利用者は、自身が意図した文字列と異なる文字列を端末装置25Aが認識してしまったことを把握することができる。
【0080】
端末装置25Aによる誤認識を修正する場合、利用者は、電子ペン10Aのペン先部17により記入帳票の帳票エリアのうち、誤認識を修正したい帳票エリア、例えば価格エリア63をタップする(図12参照。★マークはタップを表す)。すると、電子ペン10Aは、帳票エリアへのタップに対応する座標データ、時間情報及び筆圧データを修正記入情報(タップ情報)として端末装置25Aへ送信する。端末装置25Aの記入情報取得手段32は、電子ペン10Aから即時的且つ逐次的に修正記入情報を取得する。
【0081】
記入情報取得手段32は、修正記入情報を取得したか否かを判定することにより、文字列の誤認識が発生したか否かを判定する(ステップS7)。記入情報取得手段32により修正記入情報を取得していないと判定された場合(ステップS7;No)、端末装置25Aは、文字認識処理を完了する。一方、記入情報取得手段32により修正記入情報を取得したと判定された場合(ステップS7;Yes)、端末装置25Aは、修正処理を実行する(ステップS8)。
【0082】
修正処理において、端末装置25Aの音声出力手段36は、まず、修正開始を示すピープ音を音声出力部44から出力させる(ステップS11)。続いて、開始終了点特定手段33は、記入情報取得手段32によって取得された修正記入情報に含まれるストロークのデータ開始点及びデータ終了点における座標データ及び記入時刻を特定する。次に、帳票エリア特定手段34は、修正記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶した帳票エリア定義情報を参照し、対応する帳票エリアを特定する。例えば、帳票エリア特定手段34は、修正記入情報に含まれる座標データに基づいて帳票エリア定義情報を参照することで、帳票記入情報に対応する帳票エリアとして価格エリア63(エリアID「A03」)を特定する。このとき、帳票エリア特定手段34は、データ開始点及びデータ終了点の記入時刻の差分に基づいて記入情報がタップ情報であることを判定する。つまり、帳票エリア特定手段34は、修正記入情報及び帳票エリア定義情報に基づいて、電子ペン10Aによりタップされた帳票エリアを特定する(ステップS12)。
また、利用者は、誤認識を修正したい帳票エリアへのタップが終了すると、電子ペン10Aのペン先部17により修正パレットの修正エリア65を、正しい文字列に対応する順にタップする。例えば、正しい文字列が「11700」の場合、利用者は、電子ペン10Aのペン先部17により、文字「1」が記載された修正エリア65aを2回、文字「7」が記載された修正エリア65bを1回、文字「0」が記載された修正エリア65cを2回、順番にタップする(図13参照)。すると、電子ペン10Aは、修正エリア65へのタップに対応する座標データ、時間情報及び筆圧データを修正記入情報(タップ情報)として端末装置25Aへ送信する。端末装置25Aの記入情報取得手段32は、電子ペン10Aから即時的且つ逐次的に修正記入情報を取得する。
【0083】
さらに、正しい文字列に対応する順に修正エリア65へのタップが終了すると、利用者は、最後に電子ペン10Aのペン先部17により修正パレットの決定エリア66をタップする。すると、電子ペン10Aは、決定エリア66へのタップに対応する座標データ、時間情報及び筆圧データを修正記入情報(タップ情報)として端末装置25Aへ送信する。端末装置25Aの記入情報取得手段32は、電子ペン10Aから即時的且つ逐次的に修正記入情報を取得する。
【0084】
続いて、開始終了点特定手段33は、記入情報取得手段32によって取得された修正記入情報に含まれるストロークのデータ開始点及びデータ終了点を特定し、そのデータ開始点及びデータ終了点における座標データ及び記入時刻を特定する。次に、修正エリア特定手段39は、修正記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶した修正エリア定義情報を参照することで、対応する修正エリア65(エリアID「B01」)を特定する(ステップS13)。このとき、修正エリア特定手段39は、データ開始点及びデータ終了点の記入時刻の差分に基づいて記入情報がタップ情報であることを判定すると共に、特定した修正エリア65へのタップ回数をカウントする。具体的に、修正エリア特定手段39は、特定した修正エリア65(エリアID「B01」)と、カウントしたタップ回数及びタップ時刻とを対応付けて情報記憶手段31に一時記憶させる。このとき、修正エリア特定手段39は、修正エリア65に対応付けて情報記憶手段31に記憶されているタップ回数があるか否かを確認し、なければタップ回数の初期値を「0」とし、特定した修正エリア65へのタップ回数分だけ「1」を加算してカウントアップする。
【0085】
既に、情報記憶手段31上において特定した修正エリア65に対応付けてタップ回数が記憶されている場合、修正エリア特定手段39は、情報記憶手段31に記憶されているタップ時刻(前回タップ時刻)と今回のタップ時刻(今回タップ時刻)との差分を算出し、差分が所定読取時間を超過しているか否かを判定する。判定の結果、所定読取時間(例えば、3分)を超過している場合、修正エリア特定手段39は、特定した修正エリア65に対応付けて情報記憶手段31上に記憶されたタップ回数を初期値「0」とし、カウントをリセットした上で、当該修正エリア65へのタップ回数分だけ「1」を加算することでカウントアップする。そして、修正エリア65(エリアID「B01」)に対応付けてカウントしたタップ回数及び今回のタップ時刻を情報記憶手段31に一時記憶させる。
【0086】
なお、修正エリア特定手段39は、データ開始点及びデータ終了点の座標データから算出される両点間の移動距離(筆記された線の長さ)に基づいて、専用ペーパー20に記入されたストロークがタップであるか否かを判定することとしてもよい。
【0087】
続いて、文字特定手段40は、情報記憶手段31に記憶されている修正エリア定義情報を参照することで、修正エリア特定手段39により特定された修正エリアに記載された文字を特定する(ステップS14)。例えば、文字特定手段40は、修正エリア定義情報を参照することで、エリアID「B01」の修正エリア65aに記載された文字「1」を特定する。さらに、判定手段41は、記入情報取得手段32によって取得された修正記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶している修正エリア定義情報を参照することで、電子ペン10Aにより決定エリア66がタップされたか否かを判定する(ステップS15)。判定手段41により決定エリア66がタップされていないと判定された場合(ステップS15;No)、端末装置25Aは、ステップS13乃至S15の処理を繰り返し実行する。
【0088】
一方、判定手段41により決定エリア66がタップされたと判定された場合(ステップS15:Yes)、修正文字列特定手段42は、修正記入情報に含まれる時間情報に基づいて、文字特定手段40が特定した文字を時系列につなぐことで修正文字列を特定する(ステップS16)。例えば、修正エリア特定手段39により、情報記憶手段31にエリアID「B01」とタップ回数「2回」、エリアID「B07」とタップ回数「1回」、エリアID「B10」とタップ回数「2回」が対応付けされているとする。この場合、文字特定手段40は、修正エリア定義情報を参照することで、エリアID「B01」の修正エリア65aに記載された文字「1」と、エリアID「B07」の修正エリア65bに記載された文字「7」と、エリアID「B10」の修正エリア65cに記載された文字「0」とを特定する。そして、修正文字列特定手段42は、修正記入情報に含まれる時間情報に基づいて、文字特定手段40により特定された文字「1」、「7」、「0」と時系列につなぐことで修正文字列「11700」を特定する。
【0089】
続いて、認識結果上書手段43は、認識結果格納手段38から、帳票エリア特定手段34が修正記入情報に基づいて特定した帳票エリアに対応する記入文字列を削除する。さらに、認識結果上書手段43は、当該修正エリアと、修正文字列特定手段42が特定した修正文字列とを対応付けて認識結果格納手段38に格納する。つまり、認識結果上書手段43は、認識結果格納手段38において、帳票エリア特定手段34が修正記入情報に基づいて特定した帳票エリアに対応付けて、修正文字列特定手段42が特定した修正文字列を上書して格納する(ステップS17)。例えば、認識結果上書手段43は、認識結果格納手段38において、帳票エリア特定手段34が修正記入情報に基づいて特定した価格エリア63(エリアID「A03」)に対応付けられている記入文字列「11100」を削除し、修正文字列特定手段42が特定した修正文字列「11700」を格納する。そして、音声出力手段36は、修正完了を示すピープ音を音声出力部44から出力させる(ステップS18)。これにより、端末装置25Aは、修正処理を完了し、文字認識処理におけるステップS5の処理を実行する。
【0090】
端末装置25Aの音声出力手段36は、修正文字列特定手段42によって特定された修正文字列を表す音声を音声出力部44から出力させる(ステップS5)。同時に、表示手段37は、修正文字列特定手段42によって特定された修正文字列を表示部45に表示させる(ステップS6)。例えば、音声出力手段36は、修正文字列特定手段42によって特定された修正文字列「11700」を表す音声「11700円です」を音声出力部44から出力させ、表示手段37は、「11700」を表示部45に表示させる。これにより、利用者は、自身が意図した文字列に修正できたかどうかを確認することができる。そして、端末装置25Aは、文字認識処理におけるステップS5乃至S7の処理を繰り返し実行する。
【0091】
このように、利用者は、音声出力部44から出力される音声と、表示部45に表示される文字列とによって、容易に自身が記入した文字列が正しく認識されたか否かを確認することができる。また、利用者は、修正パレットを使用することで、記入帳票において二重線等で二度書きする必要はなく、誤認識された文字列を迅速且つ的確に修正することができる。
【0092】
[本情報処理システムによる作用効果]
この情報処理システムによれば、電子ペン10Aで記入帳票の帳票エリアに記入を行うと、帳票記入情報に基づく文字認識を実行することにより記入文字列を認識し、音声出力部44から当該記入文字列を表す音声を出力させ、表示部45に当該記入文字列を表示させる。よって、利用者は、容易に自身が記入帳票の帳票エリアに記入した文字列が正しく認識されたか否かを確認することができる。また、利用者は、電子ペン10Aで修正パレットの修正エリアをタップすることで、ご認識された記入文字列を迅速に修正することができる。これによれば、記入帳票に訂正のための二重線や正しい文字列を記入する必要がなく、高い精度で文字列の誤認識を修正することが可能となる。
【0093】
なお、上記第1実施形態は次のように構成させて変更することもできる。
【0094】
例えば、情報記憶手段31は、帳票エリア定義情報(図8参照)と修正エリア定義情報(図10参照)とを分けて記憶しているが、ユーザエリアのエリアIDに対して、ユーザエリアの名称、ユーザエリアに記載された文字、ユーザエリアの座標データをまとめて関連付けて記憶させるようにしてもよく、これらの情報のデータ構造は任意に設定することができる。
【0095】
また、上記第1実施形態では、電子ペン10Aのクロック22は現在時刻を発信することとしているが(図2参照)、クロック22は、端末装置25Aとの通信接続が確立した時点から通信接続状態が終了するまでの間、0から始まりストロークの記入中に経過していく記入時間を発信することとしてもよい。この場合、プロセッサ11は、ストロークの記入中に、クロック22が発信する経過時間(記入時間)を時間情報として取得し、その時間情報と、筆圧データと、X,Y座標データとを関連付け、データ通信ユニット13に対して記入情報として端末装置25Aへ送信させる。
【0096】
また、上記実施形態では、修正エリア特定手段39は、情報記憶手段31に記憶されているタップ時刻(前回タップ時刻)と今回タップ時刻との差分が所定読取時間を超過していると判定した場合に、情報記憶手段31記憶されたタップ回数を初期値「0」にリセットした上でカウントアップすることとしているが、情報記憶手段31に一時記憶するのは前回タップ時刻ではなく、当該修正エリア65に対する初回のタップ時刻(初回タップ時刻)として、初回タップ時刻と今回タップ時刻との差分が所定読取時間を超過しているか否かを判定するように構成してもよい。この場合、情報記憶手段31に記憶されている初回タップ時刻から所定読取時間を経過するまでは、タップされる都度、情報記憶手段31に記憶されているタップ回数をカウントアップすることとなり、初回タップ時刻と今回タップ時刻の差分が所定読取時間を超過した時に、情報記憶手段31に記憶されているタップ回数を「0」にリセットして新たにカウントアップすると共に今回のタップ時刻を新たな初回タップ時刻として情報記憶手段31に記憶されているタップ回数及びタップ時刻を更新することとなる。
【0097】
または、修正エリア特定手段39は、読取時間の判定を行わず、電子ペン10Aの電源がオンになってからオフになるまでの間、カウントアップを続けることとしてもよい。この場合修正エリア特定手段39は、ユーザエリアに対応付けてカウントしたタップ回数を情報記憶手段31に一時記憶させることとし、タップ時刻を一時記憶させる必要はない。ユーザエリアに対応付けて情報記憶手段31に一時記憶されたタップ回数は、電子ペン10Aの電源がオフになるとクリアされるため、電源がオンになり利用者が新たに電子ペン10Aを使用すると、修正エリア特定手段39は、特定した修正エリア65に対応付けて情報記憶手段31に記憶されているタップ回数があるか否か確認して、前回使用時のデータはクリアされているため、タップ回数の初期値「0」からカウントアップすることとなる。
【0098】
<第2実施形態>
次に、第2実施形態について説明する。第2実施形態と第1実施形態とが同様の部分については同じ符号を付し、適宜説明を省略する。第2実施形態と第1実施形態とが異なる点は、第1実施形態の電子ペン10Aは、図2に示すようにクロック22を備えていたが、第2実施形態の電子ペン10B(10)は、図16に示すようにクロック22を備えていない。この場合、プロセッサ11は、利用者によって電子ペン10Bを用いて記入が行われる間に、筆圧データ及びX,Y座標データを取得し、それらのデータを記入情報としてデータ通信ユニット13により端末装置25B(25)へ送信する。その代わり、端末装置25Bは、現在時刻を発信するクロックを備えており、電子ペン10Bから記入情報を取得した取得時刻を関連付けて記憶しておく。つまり、端末装置25Bは、記入情報と、記入情報の取得時刻とを関連付けて記憶しておく。
【0099】
続いて、第2実施形態における処理フローについて説明する。図17は、端末装置25Bにおける文字認識処理のフローチャートである。図18は、端末装置25Bにおける修正処理のフローチャートである。
【0100】
利用者は、電子ペン10Bにより、記入帳票の帳票エリアに任意の記入を行う。例えば、利用者は、電子ペン10Bにより、記入帳票の価格エリア63に現金価格を示す数字「11700」を記入する(図12参照)。すると、電子ペン10Bは、価格エリア63への記入に対応する座標データ及び筆圧データを帳票記入情報として端末装置25Bへ送信する。端末装置25Bの記入情報取得手段32は、電子ペン10Bによって送信された帳票記入情報を即時的且つ逐次的に取得し、帳票記入情報と、帳票記入情報が取得された時に端末装置25Bのクロックにより発信された現在時刻の情報とを関連付ける(ステップS21)。記入時刻に関連付けられた時間情報を、取得時刻と呼ぶ。
【0101】
続いて、帳票エリア特定手段34は、記入情報取得手段32によって取得された帳票記入情報に含まれる座標データに基づいて、図8に示す帳票エリア定義情報を参照することで、帳票記入情報に対応する帳票エリアを特定する(ステップS22)。例えば、帳票エリア特定手段34は、帳票記入情報に含まれる座標データに基づいて帳票エリア定義情報を参照することで、帳票記入情報に対応する帳票エリアとして価格エリア63(エリアID「A03」)を特定する。さらに、記入文字列認識手段35は、記入情報取得手段32によって取得された帳票記入情報に基づいて、HWRやOCRによる文字認識を実行することで、帳票エリア特定手段34により特定された帳票エリアに記入された文字を認識する。そして、記入文字列認識手段35は、取得時刻に基づいて、認識した文字を時系列につなぐことで、帳票エリア特定手段34により特定された帳票エリアに記入された記入文字列を認識する(ステップS23)。例えば、記入文字列認識手段35は、帳票記入情報に基づいて文字認識を実行することで、価格エリア63に記入された文字「1」、「1」、「7」、「0」、「0」を認識する。そして、記入文字列認識手段35は、取得時刻に基づいて、認識した文字を時系列につなぐことで、価格エリア63に記入された記入文字列「11700」を認識する。
【0102】
認識結果格納手段38は、帳票エリア特定手段34によって特定された帳票エリアと、記入文字列認識手段35によって認識された記入文字列とを対応付けて格納する(ステップS24)。例えば、認識結果格納手段38は、帳票エリア特定手段34によって特定された価格エリア63(エリアID「A03」)と、記入文字列認識手段35によって認識された記入文字列「11700」とを対応付けて格納する。また、音声出力手段36は、記入文字列認識手段35によって認識された記入文字列を表す音声を音声出力部44から出力させる(ステップS25)。同時に、表示手段37は、記入文字列認識手段35によって認識された記入文字列を表示部45に表示させる(ステップS26)。例えば、音声出力手段36は、記入文字列認識手段35によって認識された記入文字列「11700」を表す音声「11700円です」を音声出力部44から出力させ、表示手段37は、「11700」を表示部45に表示させる。
【0103】
なお、記入文字列認識手段35は、文字列を誤認識することがある。例えば、図12に示すように、利用者が価格エリア63に「11700」を記入したつもりであっても、記入文字列認識手段35は、記入文字列「11100」と誤認識してしまうことがある。すると、音声出力手段36は、記入文字列認識手段35によって誤認識された記入文字列「11100」を表す音声「11100円です」を音声出力部44から出力させ、表示手段37は、「11100」を表示部45に表示させる。これにより、利用者は、自身が意図した文字列と異なる文字列を端末装置25Bが認識してしまったことを把握することができる。
【0104】
端末装置25Bによる誤認識を修正する場合、利用者は、電子ペン10Bのペン先部17により記入帳票の帳票エリアのうち、誤認識を修正したい帳票エリア、例えば価格エリア63をタップする(図12参照。★マークはタップを表す)。すると、電子ペン10Bは、帳票エリアへのタップに対応する座標データ及び筆圧データを修正記入情報(タップ情報)として端末装置25Bへ送信する。端末装置25Bの記入情報取得手段32は、電子ペン10Bによって送信された修正記入情報(タップ情報)を即時的且つ逐次的に取得し、修正記入情報と、修正記入情報が取得された時に端末装置25Bのクロックにより発信された現在時刻の情報とを関連付ける。
【0105】
記入情報取得手段32は、修正記入情報を取得したか否かを判定することにより、文字列の誤認識が発生したか否かを判定する(ステップS27)。記入情報取得手段32により修正記入情報を取得していないと判定された場合(ステップS27;No)、端末装置25Bは、文字認識処理を完了する。一方、記入情報取得手段32により修正記入情報を取得したと判定された場合、端末装置25Bは、修正処理を実行する(ステップS28)。
【0106】
修正処理において、端末装置25Bの音声出力手段36は、まず、修正開始を示すピープ音を音声出力部44から出力させる(ステップS31)。続いて、開始終了点特定手段33は、記入情報取得手段32によって取得された修正記入情報に含まれるストロークのデータ開始点及びデータ終了点における座標データ及び取得時刻を特定する。次に、帳票エリア特定手段34は、修正記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶した帳票エリア定義情報を参照し、対応する帳票エリアを特定する。例えば、帳票エリア特定手段34は、修正記入情報に含まれる座標データに基づいて帳票エリア定義情報を参照することで、帳票記入情報に対応する帳票エリアとして価格エリア63(エリアID「A03」)を特定する。このとき、帳票エリア特定手段34は、データ開始点及びデータ終了点の取得時刻の差分に基づいて記入情報がタップ情報であることを判定する。つまり、帳票エリア特定手段34は、修正記入情報及び帳票エリア定義情報に基づいて、電子ペン10Bによりタップされた帳票エリアを特定する(ステップS32)。
また、利用者は、誤認識を修正したい帳票エリアへのタップが終了すると、電子ペン10Bのペン先部17により修正パレットの修正エリア65を、正しい文字列に対応する順にタップする。例えば、正しい文字列が「11700」の場合、利用者は、電子ペン10Bのペン先部17により、文字「1」が記載された修正エリア65aを2回、文字「7」が記載された修正エリア65bを1回、文字「0」が記載された修正エリア65cを2回、順番にタップする(図13参照)。すると、電子ペン10Bは、修正エリア65へのタップに対応する座標データ及び筆圧データを修正記入情報(タップ情報)として端末装置25Bへ送信する。端末装置25Bの記入情報取得手段32は、電子ペン10Bによって送信された修正記入情報(タップ情報)を即時的且つ逐次的に取得し、修正記入情報と、修正記入情報が取得された時に端末装置25Bのクロックにより発信された現在時刻の情報とを関連付ける。
【0107】
さらに、正しい文字列に対応する順に修正エリア65へのタップが終了すると、利用者は、最後に電子ペン10Bのペン先部17により修正パレットの決定エリア66をタップする。すると、電子ペン10Bは、決定エリア66へのタップに対応する座標データ及び筆圧データを修正記入情報(タップ情報)として端末装置25Bへ送信する。端末装置25Bの記入情報取得手段32は、電子ペン10Bによって送信された修正記入情報(タップ情報)を即時的且つ逐次的に取得し、修正記入情報と、修正記入情報が取得された時に端末装置25Bのクロックにより発信された現在時刻の情報とを関連付ける。
【0108】
続いて、開始終了点特定手段33は、記入情報取得手段32によって取得された修正記入情報に含まれるストロークのデータ開始点及びデータ終了点を特定し、そのデータ開始点及びデータ終了点における座標データ及び記入時刻を特定する。次に、修正エリア特定手段39は、修正記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶した修正エリア定義情報を参照することで、対応する修正エリア65(エリアID「B01」)を特定する(ステップS33)。このとき、修正エリア特定手段39は、データ開始点及びデータ終了点の取得時刻の差分に基づいて記入情報がタップ情報であることを判定すると共に、特定した修正エリア65へのタップ回数をカウントする。具体的に、修正エリア特定手段39は、特定した修正エリア65(エリアID「B01」)と、カウントしたタップ回数及びタップ時刻とを対応付けて情報記憶手段31に一時記憶させる。このとき、修正エリア特定手段39は、修正エリア65に対応付けて情報記憶手段31に記憶されているタップ回数があるか否かを確認し、なければタップ回数の初期値を「0」とし、特定した修正エリア65へのタップ回数分だけ「1」を加算してカウントアップする。
【0109】
既に、情報記憶手段31上において特定した修正エリア65に対応付けてタップ回数が記憶されている場合、修正エリア特定手段39は、情報記憶手段31に記憶されているタップ時刻(前回タップ時刻)と今回のタップ時刻(今回タップ時刻)との差分を算出し、差分が所定読取時間を超過しているか否かを判定する。判定の結果、所定読取時間(例えば、3分)を超過している場合、修正エリア特定手段39は、特定した修正エリア65に対応付けて情報記憶手段31上に記憶されたタップ回数を初期値「0」とし、カウントをリセットした上で、当該修正エリア65へのタップ回数分だけ「1」を加算することでカウントアップする。そして、修正エリア65(エリアID「B01」)に対応付けてカウントしたタップ回数及び今回のタップ時刻を情報記憶手段31に一時記憶させる。
【0110】
なお、修正エリア特定手段39は、データ開始点及びデータ終了点の座標データから算出される両点間の移動距離(筆記された線の長さ)に基づいて、専用ペーパー20に記入されたストロークがタップであるか否かを判定することとしてもよい。
【0111】
続いて、文字特定手段40は、情報記憶手段31に記憶されている修正エリア定義情報を参照することで、修正エリア特定手段39により特定された修正エリアに記載された文字を特定する(ステップS34)。例えば、文字特定手段40は、修正エリア定義情報を参照することで、エリアID「B01」の修正エリア65aに記載された文字「1」を特定する。さらに、判定手段41は、記入情報取得手段32によって取得された修正記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶している修正エリア定義情報を参照することで、電子ペン10Bにより決定エリア66がタップされたか否かを判定する(ステップS35)。判定手段41により決定エリア66がタップされていないと判定された場合(ステップS35;No)、端末装置25Bは、ステップS33乃至S35の処理を繰り返し実行する。
【0112】
一方、判定手段41により決定エリア66がタップされたと判定された場合(ステップS35:Yes)、修正文字列特定手段42は、タップ時刻に基づいて、文字特定手段40が特定した文字を時系列につなぐことで修正文字列を特定する(ステップS36)。例えば、修正エリア特定手段39により、情報記憶手段31にエリアID「B01」とタップ回数「2回」、エリアID「B07」とタップ回数「1回」、エリアID「B10」とタップ回数「2回」が対応付けされているとする。この場合、文字特定手段40は、修正エリア定義情報を参照することで、エリアID「B01」の修正エリア65aに記載された文字「1」と、エリアID「B07」の修正エリア65bに記載された文字「7」と、エリアID「B10」の修正エリア65cに記載された文字「0」とを特定する。そして、修正文字列特定手段42は、タップ時刻に基づいて、文字特定手段40により特定された文字「1」、「7」、「0」と時系列につなぐことで修正文字列「11700」を特定する。
【0113】
続いて、認識結果上書手段43は、認識結果格納手段38から、帳票エリア特定手段34が修正記入情報に基づいて特定した帳票エリアに対応する記入文字列を削除する。さらに、認識結果上書手段43は、当該修正エリアと、修正文字列特定手段42が特定した修正文字列とを対応付けて認識結果格納手段38に格納する。つまり、認識結果上書手段43は、認識結果格納手段38において、帳票エリア特定手段34が修正記入情報に基づいて特定した帳票エリアに対応付けて、修正文字列特定手段42が特定した修正文字列を上書して格納する(ステップS37)。例えば、認識結果上書手段43は、認識結果格納手段38において、帳票エリア特定手段34が修正記入情報に基づいて特定した価格エリア63(エリアID「A03」)に対応付けられている記入文字列「11100」を削除し、修正文字列特定手段42が特定した修正文字列「11700」を格納する。そして、音声出力手段36は、修正完了を示すピープ音を音声出力部44から出力させる(ステップS38)。これにより、端末装置25Bは、修正処理を完了し、文字認識処理におけるステップS5の処理を実行する。
【0114】
端末装置25Bの音声出力手段36は、修正文字列特定手段42によって特定された修正文字列を表す音声を音声出力部44から出力させる(ステップS25)。同時に、表示手段37は、修正文字列特定手段42によって特定された修正文字列を表示部45に表示させる(ステップS26)。例えば、音声出力手段36は、修正文字列特定手段42によって特定された修正文字列「11700」を表す音声「11700円です」を音声出力部44から出力させ、表示手段37は、「11700」を表示部45に表示させる。これにより、利用者は、自身が意図した文字列に修正できたかどうかを確認することができる。そして、端末装置25Bは、文字認識処理におけるステップS25及びS27の処理を繰り返し実行する。
【0115】
このように、第2実施形態によれば、電子ペン10Bがクロックを備えていなくても、端末装置25Bが備えるクロックを利用して、記入情報(タップ情報)と、当該記入情報を電子ペン10Bから取得した取得時刻とを関連付けて記憶しておくことで、タップ情報を認識し、文字認識処理及び修正処理を実行することができる。
【0116】
なお、上記第2実施形態において、端末装置25Bのクロックを、電子ペン10Bとの通信接続が確立した時点から通信接続状態が終了するまでの間、0から始まりストロークの記入中に経過していく記入時間(経過時間)を発信するようにしてもよい。また、端末装置25Bの情報記憶手段31に記憶する情報のデータ構造や、修正エリア特定手段39における読取時間の判定方法や、音声出力部44により出力する音声データ等を、第1実施形態の変更例と同様に適宜変更してもよい。
【0117】
上述したように、上記第1及び第2実施形態によれば、電子ペン用記入媒体に記入された記入文字列を認識し、音声として利用者に提示することが可能となる。また、記入文字列が誤認識された場合に、電子ペン用修正媒体を使用して容易に文字列を修正することが可能となる。
【0118】
なお、本発明は、上記第1及び第2実施形態に限られない。
【0119】
上記実施形態では、記入文字列及び修正文字列を、音声出力及び文字列表示によって利用者に認識させることとしていたが、記入文字列及び修正文字列の出力は、音声出力のみ行う、又は、文字列表示のみ行うこととしてもよい。
【0120】
また、電子ペン10内に、ペン自体又はその所有者に関するプロパティ情報(ペン情報又はペン所有者情報)を保持しておき、端末装置25から参照することができるようにしてもよいし、プロパティ情報の全部又は一部を記入情報と共に端末装置25に送信するようにしてもよい。ペン情報としては、バッテリーレベル、ペンID、ペン製造者番号、ペンソフトウェアのバージョン、サブスクリプションプロバイダのIDなどが挙げられる。また、ペン所有者情報としては、国籍、言語、タイムゾーン、emailアドレス、名称、住所、ファックス/電話番号、携帯電話番号などが挙げられる。
【0121】
また、上記実施形態では、ドットは赤外線を吸収するカーボンを含むインクとし、電子ペン10のLED15を、赤外線を照射するLEDとし、カメラ16によって赤外線の反射量の差によって、電子ペン10でドットパターンを読み取っていたが、これに限らない。例えば、ドットは所定波長の光によって所定波長を発光するインクとし、電子ペン10のLED15を、ドットのインクを発光させる光を照射するものとし、カメラ16によってドットのインクが発光する波長の領域を検知することによって、電子ペン10でドットパターンを読み取るようにしてもよく、カメラ16によってドットパターンが読み取れれば、ドットのインクの種別やLED15の照射光等は上記実施形態で示したものに限られない。また、専用ペーパー20における位置座標が特定できるものであれば、ドットパターンの代わりに、別のコード化されたパターン、例えば、2次元コードパターンなどであってもよい。
【0122】
また、ドットパターンの割り当ては、通常、用紙の用途毎に行われるが、専用ペーパー20を商業印刷機により大量印刷するような場合には、同一種類の電子ペン用媒体には同じドットパターンが印刷されることになる。この場合、同一種類の電子ペン用媒体を1枚1枚区別するため、電子ペン用媒体には、各媒体を識別する識別情報を記入するための識別情報記入欄を設けるとよい。端末装置25において、電子ペン10から取得した記入情報に基づいて、文字認識により識別情報記入欄に記入された識別情報を特定し、当該記入情報と対応付けて記憶しておけば、同種の電子ペン用媒体を1枚1枚区別することができる。この他、ペンIDを当該識別情報と共に当該記入情報と対応付けて記憶することとしてもよい。これにより、端末装置25は、記憶した識別情報もしくは識別情報とペンIDに基づいて、各電子ペン用媒体を識別することができる。他方、プリンタにより印刷する場合には、用紙1枚1枚に異なるドットパターンを割り当てて、専用ペーパー20を印刷することも可能である。この場合、各専用ペーパー20に印刷されたドットパターンは、専用ペーパー20毎に異なるため、ドットパターンによって専用ペーパー20を1枚1枚識別し区別することができる。
【産業上の利用可能性】
【0123】
本発明は、電子ペン用いて文字認識を行う全てのアプリケーションに利用することができる。例えば、クレジットカード申込書の暗証番号欄、割賦申込書の計算部分欄、家計簿アプリケーションの金額計算部分欄、カレンダーアプリケーションの月日認識部分欄、検査業務帳票の品番記入部分欄に記入された記入情報を処理する場合に適用することができる。
【図面の簡単な説明】
【0124】
【図1】電子ペンの使用形態を模式的に示す図である。
【図2】第1実施形態における電子ペンの構成を示すブロック図である。
【図3】専用ペーパーに印刷されたドットパターンによる情報の表現方法を説明する図である。
【図4】(a)は、ドットパターンを模式的に示し、(b)は、それに対応する情報を示す図である。
【図5】電子ペン用媒体である記入帳票の例を示す図である。
【図6】電子ペン用媒体である修正パレットの例を示す図である。
【図7】端末装置の機能ブロック図である。
【図8】帳票エリア定義情報のデータ構造を模式的に示す図である。
【図9】座標データを説明する図である。
【図10】修正エリア定義情報のデータ構造を模式的に示す図である。
【図11】第1実施形態における専用アプリケーションのモジュール構成図である。
【図12】記入帳票への記入における電子ペンの使用形態の例を示す図である。
【図13】修正パレットへの記入における電子ペンの使用形態の例を示す図である。
【図14】第1実施形態における文字認識処理のフローチャートである。
【図15】第1実施形態における修正処理のフローチャートである。
【図16】第2実施形態における電子ペンの構成を示すブロック図である。
【図17】第2実施形態における文字認識処理のフローチャートである。
【図18】第2実施形態における修正処理のフローチャートである。
【符号の説明】
【0125】
10,10A,10B…電子ペン、11…プロセッサ、13…データ通信ユニット、14…バッテリー、15…LED、16…カメラ、18…圧力センサ、20…専用ペーパー(電子ペン用媒体)、22…クロック、25,25A,25B…端末装置、31…情報記憶手段、32…記入情報取得手段、33…開始終了点特定手段、34…帳票エリア特定手段、35…記入文字列認識手段、36…音声出力手段、37…文字列表示手段、38…認識結果格納手段、39…修正エリア特定手段、40…文字特定手段、41…判定手段、42…修正文字列特定手段、43…認識結果上書手段、44…音声出力部、45…表示部、50…専用アプリケーション
【特許請求の範囲】
【請求項1】
電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体及び電子ペン用修正媒体に記入された情報を処理する端末装置であって、
音声を出力する音声出力部と、
前記電子ペン用記入媒体を構成する帳票エリアと、前記コード化パターン上における前記帳票エリアの位置座標を示す座標データとを対応付けた帳票エリア定義情報を記憶する帳票エリア定義情報記憶手段と、
前記電子ペン用修正媒体を構成する修正エリアと、前記コード化パターン上における前記修正エリアの位置座標を示す座標データと、前記修正エリア上に記載された文字とを対応付けた修正エリア定義情報を記憶する修正エリア定義情報記憶手段と、
前記電子ペンから、前記電子ペン用記入媒体への記入内容に対応する帳票記入情報を取得する帳票記入情報取得手段と、
前記帳票記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第1帳票エリア特定手段と、
前記帳票記入情報に基づく文字認識により、前記第1帳票エリア特定手段が特定した帳票エリアに記入された記入文字列を認識する記入文字列認識手段と、
前記音声出力部から、前記記入文字列に対応する音声を出力する第1音声出力手段と、
前記第1帳票エリア特定手段が特定した帳票エリアと、前記記入文字列とを対応付けて格納する認識結果格納手段と、
前記電子ペンから、前記記入文字列認識手段が前記記入文字列を認識した後に、前記電子ペン用記入媒体及び前記電子ペン用修正媒体への記入内容に対応する修正記入情報を取得する修正記入情報取得手段と、
前記修正記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第2帳票エリア特定手段と、
前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記修正エリアを特定する修正エリア特定手段と、
前記修正エリア定義情報を参照することで、前記修正エリア特定手段が特定した修正エリア上に記載された文字を特定する文字特定手段と、
前記文字特定手段が特定した文字に基づいて修正文字列を特定する修正文字列特定手段と、
前記認識結果格納手段から、前記第2帳票エリア特定手段が特定した帳票エリアに対応する記入文字列を削除する削除手段と、
前記認識結果格納手段に、前記第2帳票エリア特定手段が特定した帳票エリアと、前記修正文字列とを対応付けて格納する認識結果上書手段と、
前記音声出力部から、前記修正文字列に対応する音声を出力する第2音声出力手段と、を備えることを特徴とする端末装置。
【請求項2】
文字列を表示する表示部と、
前記表示部に前記記入文字列を表示させる第1表示手段と、
前記表示部に前記修正文字列を表示させる第2表示手段と、をさらに備えることを特徴とする請求項1に記載の端末装置
【請求項3】
電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体及び電子ペン用修正媒体に記入された情報を処理する端末装置であって、
文字列を表示する表示部と、
前記電子ペン用記入媒体を構成する帳票エリアと、前記コード化パターン上における前記帳票エリアの位置座標を示す座標データとを対応付けた帳票エリア定義情報を記憶する帳票エリア定義情報記憶手段と、
前記電子ペン用修正媒体を構成する修正エリアと、前記コード化パターン上における前記修正エリアの位置座標を示す座標データと、前記修正エリア上に記載された文字とを対応付けた修正エリア定義情報を記憶する修正エリア定義情報記憶手段と、
前記電子ペンから、前記電子ペン用記入媒体への記入内容に対応する帳票記入情報を取得する帳票記入情報取得手段と、
前記帳票記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第1帳票エリア特定手段と、
前記帳票記入情報に基づく文字認識により、前記第1帳票エリア特定手段が特定した帳票エリアに記入された記入文字列を認識する記入文字列認識手段と、
前記表示部に前記記入文字列を表示させる第1表示手段と、
前記第1帳票エリア特定手段が特定した帳票エリアと、前記記入文字列とを対応付けて格納する認識結果格納手段と、
前記電子ペンから、前記記入文字列認識手段が前記記入文字列を認識した後に、前記電子ペン用記入媒体及び前記電子ペン用修正媒体への記入内容に対応する修正記入情報を取得する修正記入情報取得手段と、
前記修正記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第2帳票エリア特定手段と、
前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記修正エリアを特定する修正エリア特定手段と、
前記修正エリア定義情報を参照することで、前記修正エリア特定手段が特定した修正エリア上に記載された文字を特定する文字特定手段と、
前記文字特定手段が特定した文字に基づいて修正文字列を特定する修正文字列特定手段と、
前記認識結果格納手段から、前記第2帳票エリア特定手段が特定した帳票エリアに対応する記入文字列を削除する削除手段と、
前記認識結果格納手段に、前記第2帳票エリア特定手段が特定した帳票エリアと、前記修正文字列とを対応付けて格納する認識結果上書手段と、
前記表示部に前記修正文字列を表示させる第2表示手段と、を備えることを特徴とする端末装置。
【請求項4】
前記電子ペンは、取得した帳票記入情報及び修正記入情報を即時的且つ逐次的に前記端末装置へ送信することを特徴とする請求項1乃至3のいずれか一項に記載の端末装置。
【請求項5】
前記修正記入情報に基づいて、データ開始点及びデータ終了点を特定する開始終了点特定手段をさらに備え、
前記第2帳票エリア特定手段は、前記データ開始点及び前記データ終了点の座標データに基づいて前記帳票エリア定義情報を参照することで、当該データ開始点及び当該データ終了点の双方が含まれる帳票エリアを特定するものであって、
前記修正エリア特定手段は、前記データ開始点及び前記データ終了点の座標データに基づいて前記修正エリア定義情報を参照することで、当該データ開始点及び当該データ終了点の双方が含まれる修正エリアを特定することを特徴とする請求項1乃至4のいずれか一項に記載の端末装置。
【請求項6】
前記電子ペン用修正媒体は、所定の文字が記載された修正エリアの他に、前記修正文字列の決定に対応する決定エリアを有しており、
前記端末装置は、
前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記決定エリアに前記電子ペンによる記入がなされたか否かを判定する判定手段をさらに備え、
前記修正文字列特定手段は、前記判定手段が前記決定エリアに前記電子ペンによる記入がなされたと判定した場合に、前記文字特定手段が特定した文字に基づいて修正文字列を特定することを特徴とする請求項1乃至5のいずれか一項に記載の端末装置。
【請求項7】
前記記入文字列認識手段は、前記帳票記入情報に基づく文字認識により認識した1つ以上の文字を、当該帳票記入情報に含まれる時間情報に基づいて時系列につなぐことで記入文字列を認識するものであり、
前記修正文字列特定手段は、前記文字特定手段が特定した1つ以上の文字を、前記修正記入情報に含まれる時間情報に基づいて時系列につなぐことで修正文字列を特定することを特徴とする請求項1乃至6のいずれか一項に記載の端末装置。
【請求項8】
電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体及び電子ペン用修正媒体に記入された情報を処理するコンピュータにより実行されるプログラムであって、
前記コンピュータは、音声を出力する音声出力部を備え、
前記プログラムは、
前記電子ペン用記入媒体を構成する帳票エリアと、前記コード化パターン上における前記帳票エリアの位置座標を示す座標データとを対応付けた帳票エリア定義情報を記憶する帳票エリア定義情報記憶手段、
前記電子ペン用修正媒体を構成する修正エリアと、前記コード化パターン上における前記修正エリアの位置座標を示す座標データと、前記修正エリア上に記載された文字とを対応付けた修正エリア定義情報を記憶する修正エリア定義情報記憶手段、
前記電子ペンから、前記電子ペン用記入媒体への記入内容に対応する帳票記入情報を取得する帳票記入情報取得手段、
前記帳票記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第1帳票エリア特定手段、
前記帳票記入情報に基づく文字認識により、前記第1帳票エリア特定手段が特定した帳票エリアに記入された記入文字列を認識する記入文字列認識手段、
前記音声出力部から、前記記入文字列に対応する音声を出力する第1音声出力手段、
前記第1帳票エリア特定手段が特定した帳票エリアと、前記記入文字列とを対応付けて格納する認識結果格納手段、
前記電子ペンから、前記記入文字列認識手段が前記記入文字列を認識した後に、前記電子ペン用記入媒体及び前記電子ペン用修正媒体への記入内容に対応する修正記入情報を取得する修正記入情報取得手段、
前記修正記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第2帳票エリア特定手段、
前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記修正エリアを特定する修正エリア特定手段、
前記修正エリア定義情報を参照することで、前記修正エリア特定手段が特定した修正エリア上に記載された文字を特定する文字特定手段、
前記文字特定手段が特定した文字に基づいて修正文字列を特定する修正文字列特定手段、
前記認識結果格納手段から、前記第2帳票エリア特定手段が特定した帳票エリアに対応する記入文字列を削除する削除手段、
前記認識結果格納手段に、前記第2帳票エリア特定手段が特定した帳票エリアと、前記修正文字列とを対応付けて格納する認識結果上書手段、
前記音声出力部から、前記修正文字列に対応する音声を出力する第2音声出力手段、として前記コンピュータを機能させることを特徴とするプログラム。
【請求項9】
電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体及び電子ペン用修正媒体に記入された情報を処理するコンピュータにより実行されるプログラムであって、
前記コンピュータは、文字列を表示する表示部を備え、
前記プログラムは、
前記電子ペン用記入媒体を構成する帳票エリアと、前記コード化パターン上における前記帳票エリアの位置座標を示す座標データとを対応付けた帳票エリア定義情報を記憶する帳票エリア定義情報記憶手段、
前記電子ペン用修正媒体を構成する修正エリアと、前記コード化パターン上における前記修正エリアの位置座標を示す座標データと、前記修正エリア上に記載された文字とを対応付けた修正エリア定義情報を記憶する修正エリア定義情報記憶手段、
前記電子ペンから、前記電子ペン用記入媒体への記入内容に対応する帳票記入情報を取得する帳票記入情報取得手段、
前記帳票記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第1帳票エリア特定手段、
前記帳票記入情報に基づく文字認識により、前記第1帳票エリア特定手段が特定した帳票エリアに記入された記入文字列を認識する記入文字列認識手段、
前記表示部に前記記入文字列を表示させる第1表示手段、
前記第1帳票エリア特定手段が特定した帳票エリアと、前記記入文字列とを対応付けて格納する認識結果格納手段、
前記電子ペンから、前記記入文字列認識手段が前記記入文字列を認識した後に、前記電子ペン用記入媒体及び前記電子ペン用修正媒体への記入内容に対応する修正記入情報を取得する修正記入情報取得手段、
前記修正記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第2帳票エリア特定手段、
前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記修正エリアを特定する修正エリア特定手段、
前記修正エリア定義情報を参照することで、前記修正エリア特定手段が特定した修正エリア上に記載された文字を特定する文字特定手段、
前記文字特定手段が特定した文字に基づいて修正文字列を特定する修正文字列特定手段、
前記認識結果格納手段から、前記第2帳票エリア特定手段が特定した帳票エリアに対応する記入文字列を削除する削除手段、
前記認識結果格納手段に、前記第2帳票エリア特定手段が特定した帳票エリアと、前記修正文字列とを対応付けて格納する認識結果上書手段、
前記表示部に前記修正文字列を表示させる第2表示手段、として前記コンピュータを機能させることを特徴とするプログラム。
【請求項10】
電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体及び電子ペン用修正媒体と、
前記電子ペン用記入媒体及び前記電子ペン用修正媒体に印刷されたコード化パターンを帳票記入情報及び修正記入情報として読み取り、外部に送信する電子ペンと、
前記電子ペンにより送信された前記帳票記入情報及び前記修正記入情報を取得し、所定の処理を実行する端末装置と、を備える情報処理システムであって、
前記端末装置は、
音声を出力する音声出力部と、
前記電子ペン用記入媒体を構成する帳票エリアと、前記コード化パターン上における前記帳票エリアの位置座標を示す座標データとを対応付けた帳票エリア定義情報を記憶する帳票エリア定義情報記憶手段と、
前記電子ペン用修正媒体を構成する修正エリアと、前記コード化パターン上における前記修正エリアの位置座標を示す座標データと、前記修正エリア上に記載された文字とを対応付けた修正エリア定義情報を記憶する修正エリア定義情報記憶手段と、
前記電子ペンから、前記電子ペン用記入媒体への記入内容に対応する帳票記入情報を取得する帳票記入情報取得手段と、
前記帳票記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第1帳票エリア特定手段と、
前記帳票記入情報に基づく文字認識により、前記第1帳票エリア特定手段が特定した帳票エリアに記入された記入文字列を認識する記入文字列認識手段と、
前記音声出力部から、前記記入文字列に対応する音声を出力する第1音声出力手段と、
前記第1帳票エリア特定手段が特定した帳票エリアと、前記記入文字列とを対応付けて格納する認識結果格納手段と、
前記電子ペンから、前記記入文字列認識手段が前記記入文字列を認識した後に、前記電子ペン用記入媒体及び前記電子ペン用修正媒体への記入内容に対応する修正記入情報を取得する修正記入情報取得手段と、
前記修正記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第2帳票エリア特定手段と、
前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記修正エリアを特定する修正エリア特定手段と、
前記修正エリア定義情報を参照することで、前記修正エリア特定手段が特定した修正エリア上に記載された文字を特定する文字特定手段と、
前記文字特定手段が特定した文字に基づいて修正文字列を特定する修正文字列特定手段と、
前記認識結果格納手段から、前記第2帳票エリア特定手段が特定した帳票エリアに対応する記入文字列を削除する削除手段と、
前記認識結果格納手段に、前記第2帳票エリア特定手段が特定した帳票エリアと、前記修正文字列とを対応付けて格納する認識結果上書手段と、
前記音声出力部から、前記修正文字列に対応する音声を出力する第2音声出力手段と、を備えることを特徴とする情報処理システム。
【請求項11】
電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体及び電子ペン用修正媒体と、
前記電子ペン用記入媒体及び前記電子ペン用修正媒体に印刷されたコード化パターンを帳票記入情報及び修正記入情報として読み取り、外部に送信する電子ペンと、
前記電子ペンにより送信された前記帳票記入情報及び前記修正記入情報を取得し、所定の処理を実行する端末装置と、を備える情報処理システムであって、
前記端末装置は、
文字列を表示する表示部と、
前記電子ペン用記入媒体を構成する帳票エリアと、前記コード化パターン上における前記帳票エリアの位置座標を示す座標データとを対応付けた帳票エリア定義情報を記憶する帳票エリア定義情報記憶手段と、
前記電子ペン用修正媒体を構成する修正エリアと、前記コード化パターン上における前記修正エリアの位置座標を示す座標データと、前記修正エリア上に記載された文字とを対応付けた修正エリア定義情報を記憶する修正エリア定義情報記憶手段と、
前記電子ペンから、前記電子ペン用記入媒体への記入内容に対応する帳票記入情報を取得する帳票記入情報取得手段と、
前記帳票記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第1帳票エリア特定手段と、
前記帳票記入情報に基づく文字認識により、前記第1帳票エリア特定手段が特定した帳票エリアに記入された記入文字列を認識する記入文字列認識手段と、
前記表示部に前記記入文字列を表示させる第1表示手段と、
前記第1帳票エリア特定手段が特定した帳票エリアと、前記記入文字列とを対応付けて格納する認識結果格納手段と、
前記電子ペンから、前記記入文字列認識手段が前記記入文字列を認識した後に、前記電子ペン用記入媒体及び前記電子ペン用修正媒体への記入内容に対応する修正記入情報を取得する修正記入情報取得手段と、
前記修正記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第2帳票エリア特定手段と、
前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記修正エリアを特定する修正エリア特定手段と、
前記修正エリア定義情報を参照することで、前記修正エリア特定手段が特定した修正エリア上に記載された文字を特定する文字特定手段と、
前記文字特定手段が特定した文字に基づいて修正文字列を特定する修正文字列特定手段と、
前記認識結果格納手段から、前記第2帳票エリア特定手段が特定した帳票エリアに対応する記入文字列を削除する削除手段と、
前記認識結果格納手段に、前記第2帳票エリア特定手段が特定した帳票エリアと、前記修正文字列とを対応付けて格納する認識結果上書手段と、
前記表示部に前記修正文字列を表示させる第2表示手段と、を備えることを特徴とする情報処理システム。
【請求項1】
電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体及び電子ペン用修正媒体に記入された情報を処理する端末装置であって、
音声を出力する音声出力部と、
前記電子ペン用記入媒体を構成する帳票エリアと、前記コード化パターン上における前記帳票エリアの位置座標を示す座標データとを対応付けた帳票エリア定義情報を記憶する帳票エリア定義情報記憶手段と、
前記電子ペン用修正媒体を構成する修正エリアと、前記コード化パターン上における前記修正エリアの位置座標を示す座標データと、前記修正エリア上に記載された文字とを対応付けた修正エリア定義情報を記憶する修正エリア定義情報記憶手段と、
前記電子ペンから、前記電子ペン用記入媒体への記入内容に対応する帳票記入情報を取得する帳票記入情報取得手段と、
前記帳票記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第1帳票エリア特定手段と、
前記帳票記入情報に基づく文字認識により、前記第1帳票エリア特定手段が特定した帳票エリアに記入された記入文字列を認識する記入文字列認識手段と、
前記音声出力部から、前記記入文字列に対応する音声を出力する第1音声出力手段と、
前記第1帳票エリア特定手段が特定した帳票エリアと、前記記入文字列とを対応付けて格納する認識結果格納手段と、
前記電子ペンから、前記記入文字列認識手段が前記記入文字列を認識した後に、前記電子ペン用記入媒体及び前記電子ペン用修正媒体への記入内容に対応する修正記入情報を取得する修正記入情報取得手段と、
前記修正記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第2帳票エリア特定手段と、
前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記修正エリアを特定する修正エリア特定手段と、
前記修正エリア定義情報を参照することで、前記修正エリア特定手段が特定した修正エリア上に記載された文字を特定する文字特定手段と、
前記文字特定手段が特定した文字に基づいて修正文字列を特定する修正文字列特定手段と、
前記認識結果格納手段から、前記第2帳票エリア特定手段が特定した帳票エリアに対応する記入文字列を削除する削除手段と、
前記認識結果格納手段に、前記第2帳票エリア特定手段が特定した帳票エリアと、前記修正文字列とを対応付けて格納する認識結果上書手段と、
前記音声出力部から、前記修正文字列に対応する音声を出力する第2音声出力手段と、を備えることを特徴とする端末装置。
【請求項2】
文字列を表示する表示部と、
前記表示部に前記記入文字列を表示させる第1表示手段と、
前記表示部に前記修正文字列を表示させる第2表示手段と、をさらに備えることを特徴とする請求項1に記載の端末装置
【請求項3】
電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体及び電子ペン用修正媒体に記入された情報を処理する端末装置であって、
文字列を表示する表示部と、
前記電子ペン用記入媒体を構成する帳票エリアと、前記コード化パターン上における前記帳票エリアの位置座標を示す座標データとを対応付けた帳票エリア定義情報を記憶する帳票エリア定義情報記憶手段と、
前記電子ペン用修正媒体を構成する修正エリアと、前記コード化パターン上における前記修正エリアの位置座標を示す座標データと、前記修正エリア上に記載された文字とを対応付けた修正エリア定義情報を記憶する修正エリア定義情報記憶手段と、
前記電子ペンから、前記電子ペン用記入媒体への記入内容に対応する帳票記入情報を取得する帳票記入情報取得手段と、
前記帳票記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第1帳票エリア特定手段と、
前記帳票記入情報に基づく文字認識により、前記第1帳票エリア特定手段が特定した帳票エリアに記入された記入文字列を認識する記入文字列認識手段と、
前記表示部に前記記入文字列を表示させる第1表示手段と、
前記第1帳票エリア特定手段が特定した帳票エリアと、前記記入文字列とを対応付けて格納する認識結果格納手段と、
前記電子ペンから、前記記入文字列認識手段が前記記入文字列を認識した後に、前記電子ペン用記入媒体及び前記電子ペン用修正媒体への記入内容に対応する修正記入情報を取得する修正記入情報取得手段と、
前記修正記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第2帳票エリア特定手段と、
前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記修正エリアを特定する修正エリア特定手段と、
前記修正エリア定義情報を参照することで、前記修正エリア特定手段が特定した修正エリア上に記載された文字を特定する文字特定手段と、
前記文字特定手段が特定した文字に基づいて修正文字列を特定する修正文字列特定手段と、
前記認識結果格納手段から、前記第2帳票エリア特定手段が特定した帳票エリアに対応する記入文字列を削除する削除手段と、
前記認識結果格納手段に、前記第2帳票エリア特定手段が特定した帳票エリアと、前記修正文字列とを対応付けて格納する認識結果上書手段と、
前記表示部に前記修正文字列を表示させる第2表示手段と、を備えることを特徴とする端末装置。
【請求項4】
前記電子ペンは、取得した帳票記入情報及び修正記入情報を即時的且つ逐次的に前記端末装置へ送信することを特徴とする請求項1乃至3のいずれか一項に記載の端末装置。
【請求項5】
前記修正記入情報に基づいて、データ開始点及びデータ終了点を特定する開始終了点特定手段をさらに備え、
前記第2帳票エリア特定手段は、前記データ開始点及び前記データ終了点の座標データに基づいて前記帳票エリア定義情報を参照することで、当該データ開始点及び当該データ終了点の双方が含まれる帳票エリアを特定するものであって、
前記修正エリア特定手段は、前記データ開始点及び前記データ終了点の座標データに基づいて前記修正エリア定義情報を参照することで、当該データ開始点及び当該データ終了点の双方が含まれる修正エリアを特定することを特徴とする請求項1乃至4のいずれか一項に記載の端末装置。
【請求項6】
前記電子ペン用修正媒体は、所定の文字が記載された修正エリアの他に、前記修正文字列の決定に対応する決定エリアを有しており、
前記端末装置は、
前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記決定エリアに前記電子ペンによる記入がなされたか否かを判定する判定手段をさらに備え、
前記修正文字列特定手段は、前記判定手段が前記決定エリアに前記電子ペンによる記入がなされたと判定した場合に、前記文字特定手段が特定した文字に基づいて修正文字列を特定することを特徴とする請求項1乃至5のいずれか一項に記載の端末装置。
【請求項7】
前記記入文字列認識手段は、前記帳票記入情報に基づく文字認識により認識した1つ以上の文字を、当該帳票記入情報に含まれる時間情報に基づいて時系列につなぐことで記入文字列を認識するものであり、
前記修正文字列特定手段は、前記文字特定手段が特定した1つ以上の文字を、前記修正記入情報に含まれる時間情報に基づいて時系列につなぐことで修正文字列を特定することを特徴とする請求項1乃至6のいずれか一項に記載の端末装置。
【請求項8】
電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体及び電子ペン用修正媒体に記入された情報を処理するコンピュータにより実行されるプログラムであって、
前記コンピュータは、音声を出力する音声出力部を備え、
前記プログラムは、
前記電子ペン用記入媒体を構成する帳票エリアと、前記コード化パターン上における前記帳票エリアの位置座標を示す座標データとを対応付けた帳票エリア定義情報を記憶する帳票エリア定義情報記憶手段、
前記電子ペン用修正媒体を構成する修正エリアと、前記コード化パターン上における前記修正エリアの位置座標を示す座標データと、前記修正エリア上に記載された文字とを対応付けた修正エリア定義情報を記憶する修正エリア定義情報記憶手段、
前記電子ペンから、前記電子ペン用記入媒体への記入内容に対応する帳票記入情報を取得する帳票記入情報取得手段、
前記帳票記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第1帳票エリア特定手段、
前記帳票記入情報に基づく文字認識により、前記第1帳票エリア特定手段が特定した帳票エリアに記入された記入文字列を認識する記入文字列認識手段、
前記音声出力部から、前記記入文字列に対応する音声を出力する第1音声出力手段、
前記第1帳票エリア特定手段が特定した帳票エリアと、前記記入文字列とを対応付けて格納する認識結果格納手段、
前記電子ペンから、前記記入文字列認識手段が前記記入文字列を認識した後に、前記電子ペン用記入媒体及び前記電子ペン用修正媒体への記入内容に対応する修正記入情報を取得する修正記入情報取得手段、
前記修正記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第2帳票エリア特定手段、
前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記修正エリアを特定する修正エリア特定手段、
前記修正エリア定義情報を参照することで、前記修正エリア特定手段が特定した修正エリア上に記載された文字を特定する文字特定手段、
前記文字特定手段が特定した文字に基づいて修正文字列を特定する修正文字列特定手段、
前記認識結果格納手段から、前記第2帳票エリア特定手段が特定した帳票エリアに対応する記入文字列を削除する削除手段、
前記認識結果格納手段に、前記第2帳票エリア特定手段が特定した帳票エリアと、前記修正文字列とを対応付けて格納する認識結果上書手段、
前記音声出力部から、前記修正文字列に対応する音声を出力する第2音声出力手段、として前記コンピュータを機能させることを特徴とするプログラム。
【請求項9】
電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体及び電子ペン用修正媒体に記入された情報を処理するコンピュータにより実行されるプログラムであって、
前記コンピュータは、文字列を表示する表示部を備え、
前記プログラムは、
前記電子ペン用記入媒体を構成する帳票エリアと、前記コード化パターン上における前記帳票エリアの位置座標を示す座標データとを対応付けた帳票エリア定義情報を記憶する帳票エリア定義情報記憶手段、
前記電子ペン用修正媒体を構成する修正エリアと、前記コード化パターン上における前記修正エリアの位置座標を示す座標データと、前記修正エリア上に記載された文字とを対応付けた修正エリア定義情報を記憶する修正エリア定義情報記憶手段、
前記電子ペンから、前記電子ペン用記入媒体への記入内容に対応する帳票記入情報を取得する帳票記入情報取得手段、
前記帳票記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第1帳票エリア特定手段、
前記帳票記入情報に基づく文字認識により、前記第1帳票エリア特定手段が特定した帳票エリアに記入された記入文字列を認識する記入文字列認識手段、
前記表示部に前記記入文字列を表示させる第1表示手段、
前記第1帳票エリア特定手段が特定した帳票エリアと、前記記入文字列とを対応付けて格納する認識結果格納手段、
前記電子ペンから、前記記入文字列認識手段が前記記入文字列を認識した後に、前記電子ペン用記入媒体及び前記電子ペン用修正媒体への記入内容に対応する修正記入情報を取得する修正記入情報取得手段、
前記修正記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第2帳票エリア特定手段、
前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記修正エリアを特定する修正エリア特定手段、
前記修正エリア定義情報を参照することで、前記修正エリア特定手段が特定した修正エリア上に記載された文字を特定する文字特定手段、
前記文字特定手段が特定した文字に基づいて修正文字列を特定する修正文字列特定手段、
前記認識結果格納手段から、前記第2帳票エリア特定手段が特定した帳票エリアに対応する記入文字列を削除する削除手段、
前記認識結果格納手段に、前記第2帳票エリア特定手段が特定した帳票エリアと、前記修正文字列とを対応付けて格納する認識結果上書手段、
前記表示部に前記修正文字列を表示させる第2表示手段、として前記コンピュータを機能させることを特徴とするプログラム。
【請求項10】
電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体及び電子ペン用修正媒体と、
前記電子ペン用記入媒体及び前記電子ペン用修正媒体に印刷されたコード化パターンを帳票記入情報及び修正記入情報として読み取り、外部に送信する電子ペンと、
前記電子ペンにより送信された前記帳票記入情報及び前記修正記入情報を取得し、所定の処理を実行する端末装置と、を備える情報処理システムであって、
前記端末装置は、
音声を出力する音声出力部と、
前記電子ペン用記入媒体を構成する帳票エリアと、前記コード化パターン上における前記帳票エリアの位置座標を示す座標データとを対応付けた帳票エリア定義情報を記憶する帳票エリア定義情報記憶手段と、
前記電子ペン用修正媒体を構成する修正エリアと、前記コード化パターン上における前記修正エリアの位置座標を示す座標データと、前記修正エリア上に記載された文字とを対応付けた修正エリア定義情報を記憶する修正エリア定義情報記憶手段と、
前記電子ペンから、前記電子ペン用記入媒体への記入内容に対応する帳票記入情報を取得する帳票記入情報取得手段と、
前記帳票記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第1帳票エリア特定手段と、
前記帳票記入情報に基づく文字認識により、前記第1帳票エリア特定手段が特定した帳票エリアに記入された記入文字列を認識する記入文字列認識手段と、
前記音声出力部から、前記記入文字列に対応する音声を出力する第1音声出力手段と、
前記第1帳票エリア特定手段が特定した帳票エリアと、前記記入文字列とを対応付けて格納する認識結果格納手段と、
前記電子ペンから、前記記入文字列認識手段が前記記入文字列を認識した後に、前記電子ペン用記入媒体及び前記電子ペン用修正媒体への記入内容に対応する修正記入情報を取得する修正記入情報取得手段と、
前記修正記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第2帳票エリア特定手段と、
前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記修正エリアを特定する修正エリア特定手段と、
前記修正エリア定義情報を参照することで、前記修正エリア特定手段が特定した修正エリア上に記載された文字を特定する文字特定手段と、
前記文字特定手段が特定した文字に基づいて修正文字列を特定する修正文字列特定手段と、
前記認識結果格納手段から、前記第2帳票エリア特定手段が特定した帳票エリアに対応する記入文字列を削除する削除手段と、
前記認識結果格納手段に、前記第2帳票エリア特定手段が特定した帳票エリアと、前記修正文字列とを対応付けて格納する認識結果上書手段と、
前記音声出力部から、前記修正文字列に対応する音声を出力する第2音声出力手段と、を備えることを特徴とする情報処理システム。
【請求項11】
電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体及び電子ペン用修正媒体と、
前記電子ペン用記入媒体及び前記電子ペン用修正媒体に印刷されたコード化パターンを帳票記入情報及び修正記入情報として読み取り、外部に送信する電子ペンと、
前記電子ペンにより送信された前記帳票記入情報及び前記修正記入情報を取得し、所定の処理を実行する端末装置と、を備える情報処理システムであって、
前記端末装置は、
文字列を表示する表示部と、
前記電子ペン用記入媒体を構成する帳票エリアと、前記コード化パターン上における前記帳票エリアの位置座標を示す座標データとを対応付けた帳票エリア定義情報を記憶する帳票エリア定義情報記憶手段と、
前記電子ペン用修正媒体を構成する修正エリアと、前記コード化パターン上における前記修正エリアの位置座標を示す座標データと、前記修正エリア上に記載された文字とを対応付けた修正エリア定義情報を記憶する修正エリア定義情報記憶手段と、
前記電子ペンから、前記電子ペン用記入媒体への記入内容に対応する帳票記入情報を取得する帳票記入情報取得手段と、
前記帳票記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第1帳票エリア特定手段と、
前記帳票記入情報に基づく文字認識により、前記第1帳票エリア特定手段が特定した帳票エリアに記入された記入文字列を認識する記入文字列認識手段と、
前記表示部に前記記入文字列を表示させる第1表示手段と、
前記第1帳票エリア特定手段が特定した帳票エリアと、前記記入文字列とを対応付けて格納する認識結果格納手段と、
前記電子ペンから、前記記入文字列認識手段が前記記入文字列を認識した後に、前記電子ペン用記入媒体及び前記電子ペン用修正媒体への記入内容に対応する修正記入情報を取得する修正記入情報取得手段と、
前記修正記入情報に含まれる座標データに基づいて前記帳票エリア定義情報を参照することで、前記帳票エリアを特定する第2帳票エリア特定手段と、
前記修正記入情報に含まれる座標データに基づいて前記修正エリア定義情報を参照することで、前記修正エリアを特定する修正エリア特定手段と、
前記修正エリア定義情報を参照することで、前記修正エリア特定手段が特定した修正エリア上に記載された文字を特定する文字特定手段と、
前記文字特定手段が特定した文字に基づいて修正文字列を特定する修正文字列特定手段と、
前記認識結果格納手段から、前記第2帳票エリア特定手段が特定した帳票エリアに対応する記入文字列を削除する削除手段と、
前記認識結果格納手段に、前記第2帳票エリア特定手段が特定した帳票エリアと、前記修正文字列とを対応付けて格納する認識結果上書手段と、
前記表示部に前記修正文字列を表示させる第2表示手段と、を備えることを特徴とする情報処理システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2009−193367(P2009−193367A)
【公開日】平成21年8月27日(2009.8.27)
【国際特許分類】
【出願番号】特願2008−33688(P2008−33688)
【出願日】平成20年2月14日(2008.2.14)
【出願人】(000002897)大日本印刷株式会社 (14,506)
【Fターム(参考)】
【公開日】平成21年8月27日(2009.8.27)
【国際特許分類】
【出願日】平成20年2月14日(2008.2.14)
【出願人】(000002897)大日本印刷株式会社 (14,506)
【Fターム(参考)】
[ Back to top ]