文字読取装置
【課題】帳票から読み取った文字を訂正画面で確実に判断できるようにする。
【解決手段】文字読取装置１は、文字記入欄に文字が未記入の状態の帳票フォーム３４と辞書１５を記憶したデータベース１６と、デジタルペン２から入力された筆跡情報を基に文字イメージを生成すると共に、文字イメージの帳票４上の座標と帳票フォーム３４の座標とを対応させて、帳票４の文字記入欄４３からの文字のはみ出しとそのはみ出し方向を検出すると共に、文字のはみ出し方向へ切り出し範囲を広げた帳票フォーム３４のフィールドイメージと、生成した文字イメージとを重畳して表示イメージを生成する文字イメージ処理部１３と、その表示イメージと文字認識部１４による認識結果とを並べた訂正画面を表示する訂正処理部１８とを備える。
【解決手段】文字読取装置１は、文字記入欄に文字が未記入の状態の帳票フォーム３４と辞書１５を記憶したデータベース１６と、デジタルペン２から入力された筆跡情報を基に文字イメージを生成すると共に、文字イメージの帳票４上の座標と帳票フォーム３４の座標とを対応させて、帳票４の文字記入欄４３からの文字のはみ出しとそのはみ出し方向を検出すると共に、文字のはみ出し方向へ切り出し範囲を広げた帳票フォーム３４のフィールドイメージと、生成した文字イメージとを重畳して表示イメージを生成する文字イメージ処理部１３と、その表示イメージと文字認識部１４による認識結果とを並べた訂正画面を表示する訂正処理部１８とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばデジタルペン等のデジタイザを利用して帳票の文字記入欄に文字を筆記した際に、読み取った文字を訂正画面に表示して訂正する文字読取装置に関する。
【背景技術】
【０００２】
従来のＯＣＲ読取装置では、訂正画面における文字読取結果の訂正作業を容易化するため、図７に示すように、例えばフラットベットタイプのイメージスキャナ等で読み取った帳票全体のイメージ７１より読取対象となるフィールド毎にフィールドイメージ７２，７３を切り出し、図８に示すように、訂正画面８０において、切り出したそれぞれのフィールドイメージ７２，７３と、読取結果のテキストデータ７４，７５とをそれぞれ対にして表示する方法がある。
この方法の場合、読取対象のフィールドから、はみ出した文字の記入部分は、切り出したフィールドイメージの中には表示されないため、訂正作業者は、帳票の文字記入欄に実際に筆記された文字がどのような文字であるかを判定できず、帳票全体のイメージ７１をデータベースから呼び出すか、あるいは読取元の帳票自体から該当不明部分を見つけ出し、文字を判断することを行うため、訂正処理の作業効率が低下していた。読取元の帳票が、例えば業務用途のものの場合、バッチ処理のため多数枚が１つのファイルにまとめてファイリングされていることが多く、その中から該当する一枚の帳票を見つけ出すのが容易ではない。
一方、近年では、イメージスキャナ等を用いず、帳票に文字を記入する際に、手持ち型の装置にて帳票に印字されている特殊な符号化パターンのマークを光学的に読み取り、帳票上の位置座標を決定する技術が提案されている（例えば特許文献１参照）。
【特許文献１】特表２００３−５１１７６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記先行技術は、あくまでも帳票にポイントされた位置を決定する技術であって、文字の読取や訂正に適用する具体的な技術は開示されていない。
【０００４】
本発明はこのような課題を解決するためになされたもので、帳票から読み取った文字を訂正画面で確実に判断でき、文字読取結果の訂正作業の効率を向上することのできる文字読取装置を提供することを目的としている。
【課題を解決するための手段】
【０００５】
上記した目的を達成するために、本発明の文字読取装置は、文字記入欄に文字が未記入の状態の帳票フォームのイメージデータを記憶した帳票フォーム記憶手段と、文字のイメージデータとテキストデータとを対応させて蓄積した辞書と、前記帳票の文字記入欄に筆記された文字の筆跡情報を取得する手段と、前記文字の筆跡情報を基に文字のイメージデータを生成する文字イメージ生成手段と、前記文字イメージ生成手段により生成された文字のイメージデータを文字認識してテキストデータを出力する文字認識手段と、前記文字イメージ生成手段により生成された文字のイメージデータの帳票上の座標と前記帳票フォーム記憶手段に記憶されている帳票フォームのイメージデータの座標とを対応させて、前記帳票の文字記入欄からの文字イメージのはみ出しとそのはみ出し方向を検出するはみ出し検出手段と、前記文字イメージ生成手段により生成された文字のイメージデータが含まれる前記帳票のフォームデータの第１文字記入欄のイメージと、前記はみ出し検出手段により検出されたはみ出し方向に位置する、前記帳票のフォームデータの第２文字記入欄のイメージとを結合したイメージと、前記文字イメージ生成手段により生成された文字のイメージデータとを重畳して表示イメージを生成する表示イメージ生成手段と、前記表示イメージ生成手段により生成された表示イメージと文字認識結果のテキストデータとを対応させた文字認識結果訂正用の訂正画面を表示する手段とを具備したことを特徴とする。
【０００６】
本発明では、帳票の文字記入欄に筆記された文字の筆跡情報を取得すると、筆跡情報から文字イメージを生成し、帳票の文字記入欄からの文字イメージのはみ出しとそのはみ出し方向を検出し、文字のイメージデータが含まれる帳票の第１文字記入欄のイメージと、はみ出し方向に位置する帳票の第２文字記入欄のイメージとを結合したイメージと、文字のイメージデータとを重畳して表示イメージを生成し、生成した表示イメージと文字認識結果のテキストデータとを対応させた文字認識結果訂正用の訂正画面を表示する。
つまり、文字記入欄からはみ出して文字が記入された場合でもその文字イメージ全体が訂正画面に表示されるので、訂正作業者は、訂正画面上において、帳票から読み取った文字読取結果のテキストデータと、帳票の文字記入欄に筆記された文字のイメージデータとを対比させて元の文字を確実に確認し訂正することができる。
【発明の効果】
【０００７】
以上説明したように本発明によれば、帳票から読み取った文字を訂正画面で確実に判断でき、文字読取結果の訂正作業の効率を向上することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態を図面を参照して詳細に説明する。図１は本発明に係る一つの実施形態の文字読取システムの構成を示すブロック図である。
【０００９】
図１に示すように、この文字読取システムは、帳票４への筆記と筆跡情報の取得とを同時に行う機能を備えるデジタルペン２と、このデジタルペン２にＵＳＢケーブル３を介して接続されたコンピュータの１つである文字読取装置１とを備えている。
帳票４の表面全体には、特殊な配置形態の複数のドット（黒点）からなるドットパターンが薄い黒色で印刷されている。ドットパターンのドットは、約０．３ｍｍの間隔で、格子状に配置されている。それぞれのドットは、格子状の交点より上下左右にわずかにずれた位置に配置されている（図３参照）。
【００１０】
また、帳票４には、スタートマーク４１、エンドマーク４２および文字記入欄４３が薄い青色で印刷されている。デジタルペン２では、帳票４の表面に印刷されたドットパターンのみが処理対象とされ、薄い青色の部分は、デジタルペン２での処理対象から除外される。
【００１１】
文字読取装置１は、制御部１０、通信Ｉ／Ｆ１１、記憶部１２、文字イメージ処理部１３、文字認識部１４、辞書１５、データベース１６、訂正処理部１８、表示部１９を備えている。記憶部１２、文字イメージ処理部１３、文字認識部１４、訂正処理部１８、制御部１０等は、ＣＰＵ、メモリ、ハードディスク装置等のハードウェア、ハードディスク装置にインストールされたオペレーティングシステム（以下ＯＳと称す）および制御ソフトウェア等が協働して実現されるものである。辞書１５は、ハードディスク装置等に格納されている。データベース１６は、ハードディスク装置に構築されている。
【００１２】
通信Ｉ／Ｆ１１は、デジタルペン２から送信された情報をＵＳＢケーブル３を通じて受信する。通信Ｉ／Ｆ１１は、帳票４の文字記入欄４３に筆記された文字の筆跡情報をデジタルペン２より取得する手段として機能する。
記憶部１２は、デジタルペン２から受信された筆跡情報を記憶する。筆跡情報とは、デジタルペン２のペン先の軌跡、書き順、スピード等のストローク情報、筆圧、筆記時刻等を含む情報である。また、記憶部１２は、これだけでなく、文字イメージ処理部１３、文字認識部１４および制御部１０が筆跡情報より生成した文字イメージの記憶、文字認識部１４による文字認識処理、文字イメージ処理部１３による帳票フォームからのイメージの切り出し処理、訂正処理部１８による切り出されたフィールドのイメージと、読み取った文字イメージとを重畳し、文字認識結果のテキストデータと並べた訂正画面を表示する処理等を行う作業エリアとして機能する。
【００１３】
文字イメージ処理部１３は、制御部１０に制御されて、記憶部１２に記憶された筆跡情報に含まれるストローク情報（ペン先の軌跡（位置データ）、書き順、スピード等）とデータベース１６の帳票イメージの座標情報とから、文字の単位で文字イメージを生成し、記憶部１２へ記憶する。デジタルペン２が帳票４の表面を筆圧検知期間内になぞった位置データ（Ｘ座標、Ｙ座標）の集合を軌跡といい、位置データ（Ｘ座標、Ｙ座標）のうち、同じ筆圧検知期間内に区分されるものを書き順という。位置データ（Ｘ座標、Ｙ座標）には、筆記時刻が対応付けられており、帳票４がペン先でなぞられた位置（座標）が変わる順序と時刻の移り変わりがが分るので、これらの情報からスピードが得られる。
【００１４】
文字イメージ処理部１３は、筆跡情報（位置データ（Ｘ座標、Ｙ座標）と時刻）を基に座標上でドットデータを文字の単位で滑らかにつなげて文字のイメージデータを生成する文字イメージ生成手段として機能する。
文字イメージ処理部１３は、生成した文字のイメージデータの帳票上の座標とデータベース１６に記憶されている帳票フォーム３４のイメージデータの座標とを対応させて、帳票４の文字記入欄４３に相当する読取フィールドからの文字イメージのはみ出しとそのはみ出し方向を検出するはみ出し検出手段として機能する。
【００１５】
文字イメージ処理部１３は、検出したはみ出し方向へ切り出し範囲を広げた帳票フォーム３４の文字記入欄に相当する読取フィールドのイメージと、生成した文字のイメージデータとを重畳して表示イメージ（図５参照）を生成する表示イメージ生成手段として機能する。
文字イメージ処理部１３は、生成した文字のイメージデータが含まれる帳票フォーム３４の第１文字記入欄に相当する読取フィールドのイメージと、検出したはみ出し方向に位置する、帳票フォーム３４の第２文字記入欄に相当する隣接フィールドのイメージとをはみ出し方向に結合（連結）したイメージと、生成した文字のイメージデータとを重畳して表示イメージ（図６参照）を生成する表示イメージ生成手段として機能する。
【００１６】
辞書１５には、多数の文字画像（以下文字イメージと称す）と各文字イメージに対応付けられた文字コード（テキストデータ）とが保存されている。
【００１７】
文字認識部１４は、文字イメージ処理部１３が生成し記憶部１２に記憶した文字イメージに対して辞書１５を参照して文字認識処理を実行し、文字認識結果として文字コード、つまりテキストデータを得る。
【００１８】
文字認識部１４は、文字認識の際に文字認識が不可能であったものについては「？」等のテキストデータ（文字コード）を付与し文字認識結果とする。文字認識部１４は、帳票より読み取ったテキストデータ３２と読取元の帳票文字イメージ３１とをデータベース１６に保存する。
つまり、文字認識部１４は、文字イメージ処理部１３により生成された文字のイメージデータと辞書１５の文字イメージとをマッチングさせてテキストデータを出力する。
【００１９】
データベース１６には、帳票より読み取った帳票文字イメージ３１と、この帳票文字イメージ３１から文字認識して得た文字認識結果のファイルであるテキストデータ３２とが対応して保存される。
【００２０】
データベース１６には、帳票フォームのイメージデータ３４（以下帳票フォーム３４と称す）が記憶されている。帳票フォーム３４は、文字が未記入の状態の帳票をイメージスキャナ等で予め読み取っておいた帳票イメージであり、座標を指定（範囲を指定）することで部分的に切り出すことができる。例えば文字記入欄等が切り出される。データベース１６は、ユーザにより文字が記入されていない帳票フォーム３４を記憶した帳票フォーム記憶手段である。
【００２１】
データベース１６は、文字記入欄に文字が記入された帳票よりの筆跡情報を基に生成した文字イメージを文字認識して得たテキストデータを記憶するテキストデータ記憶手段である。
データベース１６には、帳票管理テーブル３３が記憶されている。帳票管理テーブル３３は、帳票ＩＤと帳票フォーム３４を対応付けたテーブルであり、デジタルペン２より受信された帳票ＩＤに対して、記憶されている中のどの帳票フォーム３４を使うかを決定するためのテーブルである。
【００２２】
訂正処理部１８は、文字イメージ処理部１３により生成された表示イメージと、文字認識部１４により出力された文字認識結果のテキストデータとを対応させた文字認識結果訂正用の訂正画面を表示する手段として機能する。
訂正処理部１８は、表示した訂正画面の文字訂正入力欄に表示された文字認識結果のテキストデータに対する訂正入力を受け付けてデータベース１６のテキストデータ３２を更新する。表示部１９は、訂正処理部１８から出力された訂正画面等を表示するモニタ等である。
【００２３】
デジタルペン２は、図２に示すように、ペン型の外形をなすケース部２０と、このケース部２０に備えられたカメラ２１、セントラルプロセッシングユニット２２（以下ＣＰＵ２２と称す）、メモリ２３、通信部２４、ペン部２５、インクタンク２６、筆圧センサ２７等から構成されている。デジタルペン２は、デジタイザの１つである。
【００２４】
カメラ２１は、発光ダイオード等の照明部と、ＣＣＤイメージセンサと、レンズ等の光学系とを備えたものである。赤外線発光部は、紙に対する照明として機能する。カメラ２１は６×６ドット分の視野があり、筆圧検知により毎秒50以上のスナップショットを撮影する。
【００２５】
ペン部２５は、先端部よりインクタンク２６からのインクが滲み出し、ユーザがその先端部を当接させた際に、帳票４の紙面にインクを付着させ、これにより文字を筆記および図形を描画できる。ペン部２５は、先端部への圧力の印加に応じて伸縮する感圧タイプのものである。ペン部２５の先端部を帳票４に押し付けると(ポイントすると)、筆圧センサ２７により筆圧が検知され、ＣＰＵ２２は、カメラ２１で撮影された紙面のドットパターンの読み取りを開始する。つまりペン部２５は、ボールペンの機能と筆圧検知機能とを備えている。
【００２６】
ＣＰＵ２２は、帳票４からのドットパターンの読み取りを、あるサンプリングレートで行うことで、読取動作に伴う膨大な情報（ペン部２１の軌跡、書き順スピード等のストローク情報、筆圧、筆記時刻等を含む筆跡情報）を瞬時に認識する。
ＣＰＵ２２は、スタートマーク４１の位置がポイントされたときに読み取りの開始を判定し、エンドマーク４２の位置がポイントされたときに読み取りの終了を判定する。ＣＰＵ２２は、読み取りの開始から終了までの期間、筆圧検知によりカメラ２１から取得された情報の画像処理を行い位置情報を生成し時刻と共にメモリ２３へ筆跡情報として記憶する。
【００２７】
メモリ２３には、帳票４に印刷されているドットパターンに対応する座標情報が記憶されている。またメモリ２３には、スタートマーク４１の位置の座標を読み取った際に帳票４を識別するための情報として帳票ＩＤ、このペン自体を特定するための情報としてペンＩＤが記憶されている。
メモリ２３は、エンドマーク４２の位置がポイントされたときにＣＰＵ２２が処理した筆跡情報を文字読取装置１へ送信するまで保存する。
通信部２４は、文字読取装置１と接続されたＵＳＢケーブル３を介して、メモリ２３の情報を文字読取装置１へ送信する。ＵＳＢケーブル３を使った有線通信の他、筆圧センサ２４の情報の転送方法としては、例えば無線通信（ＩｒＤＡ通信、Bluetooth通信等）がある。Bluetoothは登録商標である。このデジタルペン２への電源供給は文字読取装置１からＵＳＢケーブル３を通じて行われる。
【００２８】
なお、デジタイザとしては、上記デジタルペン２と帳票４の組み合わせの他、ペン先方向へ超音波を発信する発信部と紙あるいはタブレットに反射した超音波を受信する受信部とを備え、ペン先の動いた軌跡を取得するようなデジタルペンでも良く、本発明は上記実施形態のデジタルペン２のみに限定されるものではない。
【００２９】
図３はデジタルペン２のカメラ２１で撮像される帳票４の範囲を示す図である。
デジタルペン２に内蔵されたカメラ２１が１回に読み取ることができる帳票４上の範囲は、ドットの間隔が約０．３ｍｍの場合、格子状に配置された６×６ドットの範囲、つまり３６ドットである。３６ドットの上下左右のずれの組み合わせを全て網羅すると、例えば６，０００万平方キロメートル程度の巨大な座標平面からなる紙を作り出すことができる。このような巨大な座標平面のどの６×６ドット（正方形）をとってもそのドットパターンは異なる。従って、予め個々のドットパターンに対応する位置データ（座標情報）をメモリ２３に格納しておくことで、帳票４上（ドットパターン上）のデジタルペン２の軌跡は、すべて異なる位置情報として認識できる。
【００３０】
以下、図４乃至図６を参照してこの文字読取システムの動作を説明する。
この文字読取システムでは、訂正作業者が、デジタルペン２を帳票４のスタートマーク４１の位置でポイントすると、筆圧センサ２７により筆圧が検知され、ＣＰＵ２２は、ポイントされたことを検知する（図４のステップＳ１０１）。
これと同時に、カメラ２１によりその位置のドットパターンが読み取られる。ＣＰＵ２２は、カメラ２１により読み取られたドットパターンを基にメモリ２３に記憶されている中の該当帳票ＩＤを特定する。
【００３１】
その後、帳票４の文字記入欄４３へ文字が筆記（記入）されると、ＣＰＵ２２は、カメラ２１により撮像された画像を処理し、画像処理により得られた筆跡情報を順次メモリ２３へ記憶する（ステップＳ１０２）。画像処理では、カメラ２１により撮像された所定エリアの画像のドットパターンを解析し位置情報に変換する等の処理が行われる。
【００３２】
ＣＰＵ２２は、エンドマーク４２がポイントされたことを検知するまで上記画像処理を繰り返す（ステップＳ１０３）。
【００３３】
ＣＰＵ２２は、エンドマーク４２がポイントされたことを検知すると（ステップＳ１０３のＹｅｓ）、メモリ２３に記憶されていた筆跡情報、ペンＩＤ、帳票ＩＤをＵＳＢケーブル３を通じて文字読取装置１へ送信する（ステップＳ１０４）。
【００３４】
文字読取装置１では、デジタルペン２より送信された筆跡情報、ペンＩＤ、帳票ＩＤ等の情報を通信Ｉ／Ｆ１１が受信し（ステップＳ１０５）、記憶部１２に記憶する。
【００３５】
制御部１０は、記憶部１２の帳票ＩＤを基にデータベース１６を参照し、読取処理された帳票フォーム３４を特定する（ステップＳ１０６）。
【００３６】
次に、文字イメージ処理部１３は、記憶部１２に記憶された筆跡情報のストローク情報を用いて文字単位のイメージ、つまり文字イメージを生成し（ステップＳ１０７）、座標データ（位置情報）と共に記憶部１２に記憶する。
【００３７】
文字イメージが記憶部１２に記憶されると、文字認識部１４は、記憶部１２の文字イメージと辞書１５の文字イメージとのイメージマッチングによる文字認識を行い（ステップＳ１０８）、一致あるいは類似する文字イメージに対応する文字コード、つまりテキストデータを辞書１５より読み出して文字認識結果とする。なお、一致あるいは類似する文字イメージがヒットしなかった場合は、その文字イメージの文字認識結果として「？」を付与する。
【００３８】
文字認識後、文字イメージ処理部１３は、記憶部１２に記憶された文字イメージの座標とデータベース１６の帳票フォーム３４の座標を基に、読取フィールドからその周囲の隣接フィールドへの文字のはみ出しの有無と、はみ出し有りの場合は、はみ出し方向（座標上のＸ軸方向へのはみ出し、Ｙ軸方向へのはみ出し、Ｘ，Ｙ方向へのはみ出し等）を検出する（ステップＳ１０９）。
【００３９】
はみ出しを検出した後、文字イメージ処理部１３は、表示イメージを生成するためのイメージデータの加工処理（表示イメージ加工処理）を行う（ステップＳ１１０）。
この表示イメージ加工処理は、従来のスキャン画像（帳票イメージ）からの領域切り出しの処理とは異なる処理となる。
つまり、文字読取装置１側では、デジタルペン２からは、画像データではなく筆跡情報（座標情報および時刻情報等）、ペンＩＤおよび帳票ＩＤしか得られないため、文字イメージ処理部１３が、筆跡情報に含まれる座標情報および時刻情報から文字だけのイメージデータを生成しており、実際の帳票４の文字記入欄４３の画像はデジタルペン２からは得られない。
【００４０】
そこで、この文字読取装置１では、データベース１６に、予め帳票フォーム３４を記憶しておき、文字イメージ処理部１３は、データベース１６の帳票フォーム３４から切り出した文字記入欄４３に相当するフィールドイメージと、生成した文字イメージとを合成、つまりフィールドイメージの上に文字イメージを重畳して、文字記入欄４３に文字が記入された状態の表示イメージを生成する。
【００４１】
この際、文字イメージ処理部１３は、はみ出しを検出した結果、文字イメージのはみ出しがあった場合、帳票フォーム３４からフィールドイメージを切り出す範囲を、文字イメージがはみ出した分だけ、はみ出し方向へ拡張した上で、帳票フォーム３４から読取フィールドのイメージを切り出す。
そして、文字イメージ処理部１３は、切り出した読取フィールドのイメージと、生成した文字イメージとを重畳して表示イメージを生成する。
【００４２】
文字イメージ処理部１３によって表示イメージが生成されると、訂正処理部１８は、図５に示すように、文字イメージ処理部１３により生成された表示イメージ５１，５２と、文字認識部１４より認識された認識結果５３，５４とをそれぞれに対応させて並べた訂正画面５０（第１の訂正画面表示例）を表示部１９に表示する（ステップＳ１１１）。
【００４３】
この第１の訂正画面表示例では、表示イメージ５１と認識結果５３とが対応しており、表示イメージ５１の最後の文字の「５」が文字記入欄４３の下側へはみ出していた関係で、認識結果５３の最後の文字に、文字認識不能の記号である「？」が付与されている。
【００４４】
このため、この文字読取装置１では、従来に比べて、切り出し範囲が下方に拡張されており、表示イメージ５１の文字の、文字記入欄４３からはみ出した下側部分についても繋がった状態で表示されており、訂正作業者は、領域拡張された表示イメージ５１から、「？」が付与された読取元の文字が「５」という数字であることを判別できる。
なお、表示イメージ５２については、他のフィールドへの文字イメージのはみ出しがないため、従来と同様の表示形態とされる。
【００４５】
訂正作業者は、表示部１９に表示された訂正画面５０にて、「？」が付与された訂正箇所について、「５」という数字をキー入力（訂正入力）し（ステップＳ１１２）、確定操作を行うと（Ｓ１１３のＹｅｓ）、訂正処理部１８は、表示イメージ５１、５２と認識結果５３，５４とをデータベース１６に保存する（ステップＳ１１４）。
表示イメージ５１、５２は、データベース１６上では、帳票文字イメージ３１として保存される。認識結果５３，５４は、データベース１６上では、テキストデータ３２として保存される。
【００４６】
上記の例では、文字のはみ出しを検出した結果、帳票フォーム３４からのフィールドイメージの切り出し範囲をはみ出し方向へ拡張して切り出して、文字イメージと重畳して表示イメージを生成する例について説明したが、これだけではない。
例えば文字イメージ処理部１３は、帳票フォーム３４から切り出す読取フィールド（第１文字記入欄）とはみ出し方向に隣接するフィールド（第２文字記入欄）とを結合した２行分あるいは２列分の文字記入欄４３に相当するフィールドのイメージを帳票フォーム３４から切り出して、文字イメージと重畳して表示イメージを生成する。
【００４７】
この場合、訂正処理部１８は、図６に示すように、文字イメージ処理部１３により生成された表示イメージ６１と、文字認識部１４より認識された認識結果６２とをそれぞれに対応させて並べた訂正画面６０（第２の訂正画面例）を表示部１９に表示する。
この第２の訂正画面表示例では、図５の場合と同様に、訂正作業者は、表示イメージ６１から、「？」が付与された読取元の文字が「５」という数字であることを判別できる。図５の例の場合と比較すると、文字列周辺までを確認できるものの、一度に比較する対象となる文字数が多くなる。
【００４８】
このようにこの実施形態の文字読取システムによれば、デジタルペン２等のペン型装置と帳票４のドットパターンとを組み合わせたデジタイザから得られる筆跡情報に含まれるストローク情報を利用し、帳票４の文字記入欄４３に筆記された文字が読取フィールドから隣接するフィールドへのはみ出しを検出する。
そして、隣接するフィールドへの文字のはみ出しが検出された場合、第１の訂正画面表示例では、帳票フォーム３４の該当読取フィールドのイメージをはみ出し方向に拡張して切り出したイメージと、生成した文字イメージとを重畳させた表示イメージ５１を生成し、この表示イメージ５１と文字認識結果のテキストデータ５３とを並べて訂正画面５０に表示することで、訂正画面５０において、文字読取元の帳票に筆記された文字がどういう文字であるかを確実に判断できるようなり、読取結果の文字の訂正作業を効率よく行うことができる。
また、第２の訂正画面表示例では、隣接するフィールドへの文字のはみ出しが検出された場合には、帳票フォーム３４の該当読取フィールドのイメージとはみ出し方向に隣接するフィールドのイメージとを並べたあるいは結合したイメージと、生成した文字イメージとを重畳させた表示イメージ６１を生成し、この表示イメージ６１と文字認識結果のテキストデータ６２とを並べて訂正画面６０に表示することで、訂正画面６０において、文字読取元の帳票４に筆記された文字がどういう文字であるかを確実に判断できるようなり、読取結果の文字の訂正作業を効率よく行うことができる。
【００４９】
本発明は上記実施形態のみに限定されるものではない。
上記実施形態では、訂正画面の表示例として、帳票フォーム３４の読取フィールドをはみ出し方向に拡張して切り出したフィールドに、生成した文字イメージを重畳させて表示した例（図５）と、帳票フォーム３４の読取フィールドと隣接フィールドとをはみ出し方向に結合したイメージに、生成した文字イメージを重畳させて表示した例（図６）とを示したが、これ以外に、例えば、生成した文字イメージに帳票フォーム３４のフィールドを重ねずに、生成した文字イメージと、読取結果のテキストデータとを対応させて表示するだけでも良い。つまり文字記入欄（枠）を表示イメージに含めずに、文字イメージとテキストデータだけを表示しても良い。
【図面の簡単な説明】
【００５０】
【図１】本発明の一つの実施形態の文字読取システムの構成を示すブロック図。
【図２】図１の文字読取システムのデジタルペンの構成を示す図。
【図３】図２のデジタルペンのカメラの撮像エリアで撮像される帳票のドットパターンの一例を示す図。
【図４】この文字読取システムの動作を示すフローチャート。
【図５】この文字読取システムの第１の訂正画面例を示す図。
【図６】この文字読取システムの第２の訂正画面例を示す図。
【図７】スキャナ等で読み取った帳票イメージからフィールドイメージ（部分画像）を切り出す動作を説明するための図。
【図８】従来の訂正画面の表示例を示す図。
【符号の説明】
【００５１】
１…文字読取装置、２…デジタルペン、３…ＵＳＢケーブル、４…帳票、１０…制御部、１１…通信Ｉ／Ｆ、１２…メモリ、１３…文字イメージ処理部、１４…文字認識部、１５…辞書、１６…データベース、１８…訂正処理部、１９…表示部、２０…ケース部、２１…カメラ、２２…ＣＰＵ、２３…記憶部１２４…通信部、２５…ペン部、２６…インクタンク、２７…筆圧センサ、４１…スタートマーク、４２…エンドマーク、４３…文字記入欄、５０，６０…訂正画面、５１，５２，６１…表示イメージ、５３，５４，６２…読取結果。
【技術分野】
【０００１】
本発明は、例えばデジタルペン等のデジタイザを利用して帳票の文字記入欄に文字を筆記した際に、読み取った文字を訂正画面に表示して訂正する文字読取装置に関する。
【背景技術】
【０００２】
従来のＯＣＲ読取装置では、訂正画面における文字読取結果の訂正作業を容易化するため、図７に示すように、例えばフラットベットタイプのイメージスキャナ等で読み取った帳票全体のイメージ７１より読取対象となるフィールド毎にフィールドイメージ７２，７３を切り出し、図８に示すように、訂正画面８０において、切り出したそれぞれのフィールドイメージ７２，７３と、読取結果のテキストデータ７４，７５とをそれぞれ対にして表示する方法がある。
この方法の場合、読取対象のフィールドから、はみ出した文字の記入部分は、切り出したフィールドイメージの中には表示されないため、訂正作業者は、帳票の文字記入欄に実際に筆記された文字がどのような文字であるかを判定できず、帳票全体のイメージ７１をデータベースから呼び出すか、あるいは読取元の帳票自体から該当不明部分を見つけ出し、文字を判断することを行うため、訂正処理の作業効率が低下していた。読取元の帳票が、例えば業務用途のものの場合、バッチ処理のため多数枚が１つのファイルにまとめてファイリングされていることが多く、その中から該当する一枚の帳票を見つけ出すのが容易ではない。
一方、近年では、イメージスキャナ等を用いず、帳票に文字を記入する際に、手持ち型の装置にて帳票に印字されている特殊な符号化パターンのマークを光学的に読み取り、帳票上の位置座標を決定する技術が提案されている（例えば特許文献１参照）。
【特許文献１】特表２００３−５１１７６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記先行技術は、あくまでも帳票にポイントされた位置を決定する技術であって、文字の読取や訂正に適用する具体的な技術は開示されていない。
【０００４】
本発明はこのような課題を解決するためになされたもので、帳票から読み取った文字を訂正画面で確実に判断でき、文字読取結果の訂正作業の効率を向上することのできる文字読取装置を提供することを目的としている。
【課題を解決するための手段】
【０００５】
上記した目的を達成するために、本発明の文字読取装置は、文字記入欄に文字が未記入の状態の帳票フォームのイメージデータを記憶した帳票フォーム記憶手段と、文字のイメージデータとテキストデータとを対応させて蓄積した辞書と、前記帳票の文字記入欄に筆記された文字の筆跡情報を取得する手段と、前記文字の筆跡情報を基に文字のイメージデータを生成する文字イメージ生成手段と、前記文字イメージ生成手段により生成された文字のイメージデータを文字認識してテキストデータを出力する文字認識手段と、前記文字イメージ生成手段により生成された文字のイメージデータの帳票上の座標と前記帳票フォーム記憶手段に記憶されている帳票フォームのイメージデータの座標とを対応させて、前記帳票の文字記入欄からの文字イメージのはみ出しとそのはみ出し方向を検出するはみ出し検出手段と、前記文字イメージ生成手段により生成された文字のイメージデータが含まれる前記帳票のフォームデータの第１文字記入欄のイメージと、前記はみ出し検出手段により検出されたはみ出し方向に位置する、前記帳票のフォームデータの第２文字記入欄のイメージとを結合したイメージと、前記文字イメージ生成手段により生成された文字のイメージデータとを重畳して表示イメージを生成する表示イメージ生成手段と、前記表示イメージ生成手段により生成された表示イメージと文字認識結果のテキストデータとを対応させた文字認識結果訂正用の訂正画面を表示する手段とを具備したことを特徴とする。
【０００６】
本発明では、帳票の文字記入欄に筆記された文字の筆跡情報を取得すると、筆跡情報から文字イメージを生成し、帳票の文字記入欄からの文字イメージのはみ出しとそのはみ出し方向を検出し、文字のイメージデータが含まれる帳票の第１文字記入欄のイメージと、はみ出し方向に位置する帳票の第２文字記入欄のイメージとを結合したイメージと、文字のイメージデータとを重畳して表示イメージを生成し、生成した表示イメージと文字認識結果のテキストデータとを対応させた文字認識結果訂正用の訂正画面を表示する。
つまり、文字記入欄からはみ出して文字が記入された場合でもその文字イメージ全体が訂正画面に表示されるので、訂正作業者は、訂正画面上において、帳票から読み取った文字読取結果のテキストデータと、帳票の文字記入欄に筆記された文字のイメージデータとを対比させて元の文字を確実に確認し訂正することができる。
【発明の効果】
【０００７】
以上説明したように本発明によれば、帳票から読み取った文字を訂正画面で確実に判断でき、文字読取結果の訂正作業の効率を向上することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態を図面を参照して詳細に説明する。図１は本発明に係る一つの実施形態の文字読取システムの構成を示すブロック図である。
【０００９】
図１に示すように、この文字読取システムは、帳票４への筆記と筆跡情報の取得とを同時に行う機能を備えるデジタルペン２と、このデジタルペン２にＵＳＢケーブル３を介して接続されたコンピュータの１つである文字読取装置１とを備えている。
帳票４の表面全体には、特殊な配置形態の複数のドット（黒点）からなるドットパターンが薄い黒色で印刷されている。ドットパターンのドットは、約０．３ｍｍの間隔で、格子状に配置されている。それぞれのドットは、格子状の交点より上下左右にわずかにずれた位置に配置されている（図３参照）。
【００１０】
また、帳票４には、スタートマーク４１、エンドマーク４２および文字記入欄４３が薄い青色で印刷されている。デジタルペン２では、帳票４の表面に印刷されたドットパターンのみが処理対象とされ、薄い青色の部分は、デジタルペン２での処理対象から除外される。
【００１１】
文字読取装置１は、制御部１０、通信Ｉ／Ｆ１１、記憶部１２、文字イメージ処理部１３、文字認識部１４、辞書１５、データベース１６、訂正処理部１８、表示部１９を備えている。記憶部１２、文字イメージ処理部１３、文字認識部１４、訂正処理部１８、制御部１０等は、ＣＰＵ、メモリ、ハードディスク装置等のハードウェア、ハードディスク装置にインストールされたオペレーティングシステム（以下ＯＳと称す）および制御ソフトウェア等が協働して実現されるものである。辞書１５は、ハードディスク装置等に格納されている。データベース１６は、ハードディスク装置に構築されている。
【００１２】
通信Ｉ／Ｆ１１は、デジタルペン２から送信された情報をＵＳＢケーブル３を通じて受信する。通信Ｉ／Ｆ１１は、帳票４の文字記入欄４３に筆記された文字の筆跡情報をデジタルペン２より取得する手段として機能する。
記憶部１２は、デジタルペン２から受信された筆跡情報を記憶する。筆跡情報とは、デジタルペン２のペン先の軌跡、書き順、スピード等のストローク情報、筆圧、筆記時刻等を含む情報である。また、記憶部１２は、これだけでなく、文字イメージ処理部１３、文字認識部１４および制御部１０が筆跡情報より生成した文字イメージの記憶、文字認識部１４による文字認識処理、文字イメージ処理部１３による帳票フォームからのイメージの切り出し処理、訂正処理部１８による切り出されたフィールドのイメージと、読み取った文字イメージとを重畳し、文字認識結果のテキストデータと並べた訂正画面を表示する処理等を行う作業エリアとして機能する。
【００１３】
文字イメージ処理部１３は、制御部１０に制御されて、記憶部１２に記憶された筆跡情報に含まれるストローク情報（ペン先の軌跡（位置データ）、書き順、スピード等）とデータベース１６の帳票イメージの座標情報とから、文字の単位で文字イメージを生成し、記憶部１２へ記憶する。デジタルペン２が帳票４の表面を筆圧検知期間内になぞった位置データ（Ｘ座標、Ｙ座標）の集合を軌跡といい、位置データ（Ｘ座標、Ｙ座標）のうち、同じ筆圧検知期間内に区分されるものを書き順という。位置データ（Ｘ座標、Ｙ座標）には、筆記時刻が対応付けられており、帳票４がペン先でなぞられた位置（座標）が変わる順序と時刻の移り変わりがが分るので、これらの情報からスピードが得られる。
【００１４】
文字イメージ処理部１３は、筆跡情報（位置データ（Ｘ座標、Ｙ座標）と時刻）を基に座標上でドットデータを文字の単位で滑らかにつなげて文字のイメージデータを生成する文字イメージ生成手段として機能する。
文字イメージ処理部１３は、生成した文字のイメージデータの帳票上の座標とデータベース１６に記憶されている帳票フォーム３４のイメージデータの座標とを対応させて、帳票４の文字記入欄４３に相当する読取フィールドからの文字イメージのはみ出しとそのはみ出し方向を検出するはみ出し検出手段として機能する。
【００１５】
文字イメージ処理部１３は、検出したはみ出し方向へ切り出し範囲を広げた帳票フォーム３４の文字記入欄に相当する読取フィールドのイメージと、生成した文字のイメージデータとを重畳して表示イメージ（図５参照）を生成する表示イメージ生成手段として機能する。
文字イメージ処理部１３は、生成した文字のイメージデータが含まれる帳票フォーム３４の第１文字記入欄に相当する読取フィールドのイメージと、検出したはみ出し方向に位置する、帳票フォーム３４の第２文字記入欄に相当する隣接フィールドのイメージとをはみ出し方向に結合（連結）したイメージと、生成した文字のイメージデータとを重畳して表示イメージ（図６参照）を生成する表示イメージ生成手段として機能する。
【００１６】
辞書１５には、多数の文字画像（以下文字イメージと称す）と各文字イメージに対応付けられた文字コード（テキストデータ）とが保存されている。
【００１７】
文字認識部１４は、文字イメージ処理部１３が生成し記憶部１２に記憶した文字イメージに対して辞書１５を参照して文字認識処理を実行し、文字認識結果として文字コード、つまりテキストデータを得る。
【００１８】
文字認識部１４は、文字認識の際に文字認識が不可能であったものについては「？」等のテキストデータ（文字コード）を付与し文字認識結果とする。文字認識部１４は、帳票より読み取ったテキストデータ３２と読取元の帳票文字イメージ３１とをデータベース１６に保存する。
つまり、文字認識部１４は、文字イメージ処理部１３により生成された文字のイメージデータと辞書１５の文字イメージとをマッチングさせてテキストデータを出力する。
【００１９】
データベース１６には、帳票より読み取った帳票文字イメージ３１と、この帳票文字イメージ３１から文字認識して得た文字認識結果のファイルであるテキストデータ３２とが対応して保存される。
【００２０】
データベース１６には、帳票フォームのイメージデータ３４（以下帳票フォーム３４と称す）が記憶されている。帳票フォーム３４は、文字が未記入の状態の帳票をイメージスキャナ等で予め読み取っておいた帳票イメージであり、座標を指定（範囲を指定）することで部分的に切り出すことができる。例えば文字記入欄等が切り出される。データベース１６は、ユーザにより文字が記入されていない帳票フォーム３４を記憶した帳票フォーム記憶手段である。
【００２１】
データベース１６は、文字記入欄に文字が記入された帳票よりの筆跡情報を基に生成した文字イメージを文字認識して得たテキストデータを記憶するテキストデータ記憶手段である。
データベース１６には、帳票管理テーブル３３が記憶されている。帳票管理テーブル３３は、帳票ＩＤと帳票フォーム３４を対応付けたテーブルであり、デジタルペン２より受信された帳票ＩＤに対して、記憶されている中のどの帳票フォーム３４を使うかを決定するためのテーブルである。
【００２２】
訂正処理部１８は、文字イメージ処理部１３により生成された表示イメージと、文字認識部１４により出力された文字認識結果のテキストデータとを対応させた文字認識結果訂正用の訂正画面を表示する手段として機能する。
訂正処理部１８は、表示した訂正画面の文字訂正入力欄に表示された文字認識結果のテキストデータに対する訂正入力を受け付けてデータベース１６のテキストデータ３２を更新する。表示部１９は、訂正処理部１８から出力された訂正画面等を表示するモニタ等である。
【００２３】
デジタルペン２は、図２に示すように、ペン型の外形をなすケース部２０と、このケース部２０に備えられたカメラ２１、セントラルプロセッシングユニット２２（以下ＣＰＵ２２と称す）、メモリ２３、通信部２４、ペン部２５、インクタンク２６、筆圧センサ２７等から構成されている。デジタルペン２は、デジタイザの１つである。
【００２４】
カメラ２１は、発光ダイオード等の照明部と、ＣＣＤイメージセンサと、レンズ等の光学系とを備えたものである。赤外線発光部は、紙に対する照明として機能する。カメラ２１は６×６ドット分の視野があり、筆圧検知により毎秒50以上のスナップショットを撮影する。
【００２５】
ペン部２５は、先端部よりインクタンク２６からのインクが滲み出し、ユーザがその先端部を当接させた際に、帳票４の紙面にインクを付着させ、これにより文字を筆記および図形を描画できる。ペン部２５は、先端部への圧力の印加に応じて伸縮する感圧タイプのものである。ペン部２５の先端部を帳票４に押し付けると(ポイントすると)、筆圧センサ２７により筆圧が検知され、ＣＰＵ２２は、カメラ２１で撮影された紙面のドットパターンの読み取りを開始する。つまりペン部２５は、ボールペンの機能と筆圧検知機能とを備えている。
【００２６】
ＣＰＵ２２は、帳票４からのドットパターンの読み取りを、あるサンプリングレートで行うことで、読取動作に伴う膨大な情報（ペン部２１の軌跡、書き順スピード等のストローク情報、筆圧、筆記時刻等を含む筆跡情報）を瞬時に認識する。
ＣＰＵ２２は、スタートマーク４１の位置がポイントされたときに読み取りの開始を判定し、エンドマーク４２の位置がポイントされたときに読み取りの終了を判定する。ＣＰＵ２２は、読み取りの開始から終了までの期間、筆圧検知によりカメラ２１から取得された情報の画像処理を行い位置情報を生成し時刻と共にメモリ２３へ筆跡情報として記憶する。
【００２７】
メモリ２３には、帳票４に印刷されているドットパターンに対応する座標情報が記憶されている。またメモリ２３には、スタートマーク４１の位置の座標を読み取った際に帳票４を識別するための情報として帳票ＩＤ、このペン自体を特定するための情報としてペンＩＤが記憶されている。
メモリ２３は、エンドマーク４２の位置がポイントされたときにＣＰＵ２２が処理した筆跡情報を文字読取装置１へ送信するまで保存する。
通信部２４は、文字読取装置１と接続されたＵＳＢケーブル３を介して、メモリ２３の情報を文字読取装置１へ送信する。ＵＳＢケーブル３を使った有線通信の他、筆圧センサ２４の情報の転送方法としては、例えば無線通信（ＩｒＤＡ通信、Bluetooth通信等）がある。Bluetoothは登録商標である。このデジタルペン２への電源供給は文字読取装置１からＵＳＢケーブル３を通じて行われる。
【００２８】
なお、デジタイザとしては、上記デジタルペン２と帳票４の組み合わせの他、ペン先方向へ超音波を発信する発信部と紙あるいはタブレットに反射した超音波を受信する受信部とを備え、ペン先の動いた軌跡を取得するようなデジタルペンでも良く、本発明は上記実施形態のデジタルペン２のみに限定されるものではない。
【００２９】
図３はデジタルペン２のカメラ２１で撮像される帳票４の範囲を示す図である。
デジタルペン２に内蔵されたカメラ２１が１回に読み取ることができる帳票４上の範囲は、ドットの間隔が約０．３ｍｍの場合、格子状に配置された６×６ドットの範囲、つまり３６ドットである。３６ドットの上下左右のずれの組み合わせを全て網羅すると、例えば６，０００万平方キロメートル程度の巨大な座標平面からなる紙を作り出すことができる。このような巨大な座標平面のどの６×６ドット（正方形）をとってもそのドットパターンは異なる。従って、予め個々のドットパターンに対応する位置データ（座標情報）をメモリ２３に格納しておくことで、帳票４上（ドットパターン上）のデジタルペン２の軌跡は、すべて異なる位置情報として認識できる。
【００３０】
以下、図４乃至図６を参照してこの文字読取システムの動作を説明する。
この文字読取システムでは、訂正作業者が、デジタルペン２を帳票４のスタートマーク４１の位置でポイントすると、筆圧センサ２７により筆圧が検知され、ＣＰＵ２２は、ポイントされたことを検知する（図４のステップＳ１０１）。
これと同時に、カメラ２１によりその位置のドットパターンが読み取られる。ＣＰＵ２２は、カメラ２１により読み取られたドットパターンを基にメモリ２３に記憶されている中の該当帳票ＩＤを特定する。
【００３１】
その後、帳票４の文字記入欄４３へ文字が筆記（記入）されると、ＣＰＵ２２は、カメラ２１により撮像された画像を処理し、画像処理により得られた筆跡情報を順次メモリ２３へ記憶する（ステップＳ１０２）。画像処理では、カメラ２１により撮像された所定エリアの画像のドットパターンを解析し位置情報に変換する等の処理が行われる。
【００３２】
ＣＰＵ２２は、エンドマーク４２がポイントされたことを検知するまで上記画像処理を繰り返す（ステップＳ１０３）。
【００３３】
ＣＰＵ２２は、エンドマーク４２がポイントされたことを検知すると（ステップＳ１０３のＹｅｓ）、メモリ２３に記憶されていた筆跡情報、ペンＩＤ、帳票ＩＤをＵＳＢケーブル３を通じて文字読取装置１へ送信する（ステップＳ１０４）。
【００３４】
文字読取装置１では、デジタルペン２より送信された筆跡情報、ペンＩＤ、帳票ＩＤ等の情報を通信Ｉ／Ｆ１１が受信し（ステップＳ１０５）、記憶部１２に記憶する。
【００３５】
制御部１０は、記憶部１２の帳票ＩＤを基にデータベース１６を参照し、読取処理された帳票フォーム３４を特定する（ステップＳ１０６）。
【００３６】
次に、文字イメージ処理部１３は、記憶部１２に記憶された筆跡情報のストローク情報を用いて文字単位のイメージ、つまり文字イメージを生成し（ステップＳ１０７）、座標データ（位置情報）と共に記憶部１２に記憶する。
【００３７】
文字イメージが記憶部１２に記憶されると、文字認識部１４は、記憶部１２の文字イメージと辞書１５の文字イメージとのイメージマッチングによる文字認識を行い（ステップＳ１０８）、一致あるいは類似する文字イメージに対応する文字コード、つまりテキストデータを辞書１５より読み出して文字認識結果とする。なお、一致あるいは類似する文字イメージがヒットしなかった場合は、その文字イメージの文字認識結果として「？」を付与する。
【００３８】
文字認識後、文字イメージ処理部１３は、記憶部１２に記憶された文字イメージの座標とデータベース１６の帳票フォーム３４の座標を基に、読取フィールドからその周囲の隣接フィールドへの文字のはみ出しの有無と、はみ出し有りの場合は、はみ出し方向（座標上のＸ軸方向へのはみ出し、Ｙ軸方向へのはみ出し、Ｘ，Ｙ方向へのはみ出し等）を検出する（ステップＳ１０９）。
【００３９】
はみ出しを検出した後、文字イメージ処理部１３は、表示イメージを生成するためのイメージデータの加工処理（表示イメージ加工処理）を行う（ステップＳ１１０）。
この表示イメージ加工処理は、従来のスキャン画像（帳票イメージ）からの領域切り出しの処理とは異なる処理となる。
つまり、文字読取装置１側では、デジタルペン２からは、画像データではなく筆跡情報（座標情報および時刻情報等）、ペンＩＤおよび帳票ＩＤしか得られないため、文字イメージ処理部１３が、筆跡情報に含まれる座標情報および時刻情報から文字だけのイメージデータを生成しており、実際の帳票４の文字記入欄４３の画像はデジタルペン２からは得られない。
【００４０】
そこで、この文字読取装置１では、データベース１６に、予め帳票フォーム３４を記憶しておき、文字イメージ処理部１３は、データベース１６の帳票フォーム３４から切り出した文字記入欄４３に相当するフィールドイメージと、生成した文字イメージとを合成、つまりフィールドイメージの上に文字イメージを重畳して、文字記入欄４３に文字が記入された状態の表示イメージを生成する。
【００４１】
この際、文字イメージ処理部１３は、はみ出しを検出した結果、文字イメージのはみ出しがあった場合、帳票フォーム３４からフィールドイメージを切り出す範囲を、文字イメージがはみ出した分だけ、はみ出し方向へ拡張した上で、帳票フォーム３４から読取フィールドのイメージを切り出す。
そして、文字イメージ処理部１３は、切り出した読取フィールドのイメージと、生成した文字イメージとを重畳して表示イメージを生成する。
【００４２】
文字イメージ処理部１３によって表示イメージが生成されると、訂正処理部１８は、図５に示すように、文字イメージ処理部１３により生成された表示イメージ５１，５２と、文字認識部１４より認識された認識結果５３，５４とをそれぞれに対応させて並べた訂正画面５０（第１の訂正画面表示例）を表示部１９に表示する（ステップＳ１１１）。
【００４３】
この第１の訂正画面表示例では、表示イメージ５１と認識結果５３とが対応しており、表示イメージ５１の最後の文字の「５」が文字記入欄４３の下側へはみ出していた関係で、認識結果５３の最後の文字に、文字認識不能の記号である「？」が付与されている。
【００４４】
このため、この文字読取装置１では、従来に比べて、切り出し範囲が下方に拡張されており、表示イメージ５１の文字の、文字記入欄４３からはみ出した下側部分についても繋がった状態で表示されており、訂正作業者は、領域拡張された表示イメージ５１から、「？」が付与された読取元の文字が「５」という数字であることを判別できる。
なお、表示イメージ５２については、他のフィールドへの文字イメージのはみ出しがないため、従来と同様の表示形態とされる。
【００４５】
訂正作業者は、表示部１９に表示された訂正画面５０にて、「？」が付与された訂正箇所について、「５」という数字をキー入力（訂正入力）し（ステップＳ１１２）、確定操作を行うと（Ｓ１１３のＹｅｓ）、訂正処理部１８は、表示イメージ５１、５２と認識結果５３，５４とをデータベース１６に保存する（ステップＳ１１４）。
表示イメージ５１、５２は、データベース１６上では、帳票文字イメージ３１として保存される。認識結果５３，５４は、データベース１６上では、テキストデータ３２として保存される。
【００４６】
上記の例では、文字のはみ出しを検出した結果、帳票フォーム３４からのフィールドイメージの切り出し範囲をはみ出し方向へ拡張して切り出して、文字イメージと重畳して表示イメージを生成する例について説明したが、これだけではない。
例えば文字イメージ処理部１３は、帳票フォーム３４から切り出す読取フィールド（第１文字記入欄）とはみ出し方向に隣接するフィールド（第２文字記入欄）とを結合した２行分あるいは２列分の文字記入欄４３に相当するフィールドのイメージを帳票フォーム３４から切り出して、文字イメージと重畳して表示イメージを生成する。
【００４７】
この場合、訂正処理部１８は、図６に示すように、文字イメージ処理部１３により生成された表示イメージ６１と、文字認識部１４より認識された認識結果６２とをそれぞれに対応させて並べた訂正画面６０（第２の訂正画面例）を表示部１９に表示する。
この第２の訂正画面表示例では、図５の場合と同様に、訂正作業者は、表示イメージ６１から、「？」が付与された読取元の文字が「５」という数字であることを判別できる。図５の例の場合と比較すると、文字列周辺までを確認できるものの、一度に比較する対象となる文字数が多くなる。
【００４８】
このようにこの実施形態の文字読取システムによれば、デジタルペン２等のペン型装置と帳票４のドットパターンとを組み合わせたデジタイザから得られる筆跡情報に含まれるストローク情報を利用し、帳票４の文字記入欄４３に筆記された文字が読取フィールドから隣接するフィールドへのはみ出しを検出する。
そして、隣接するフィールドへの文字のはみ出しが検出された場合、第１の訂正画面表示例では、帳票フォーム３４の該当読取フィールドのイメージをはみ出し方向に拡張して切り出したイメージと、生成した文字イメージとを重畳させた表示イメージ５１を生成し、この表示イメージ５１と文字認識結果のテキストデータ５３とを並べて訂正画面５０に表示することで、訂正画面５０において、文字読取元の帳票に筆記された文字がどういう文字であるかを確実に判断できるようなり、読取結果の文字の訂正作業を効率よく行うことができる。
また、第２の訂正画面表示例では、隣接するフィールドへの文字のはみ出しが検出された場合には、帳票フォーム３４の該当読取フィールドのイメージとはみ出し方向に隣接するフィールドのイメージとを並べたあるいは結合したイメージと、生成した文字イメージとを重畳させた表示イメージ６１を生成し、この表示イメージ６１と文字認識結果のテキストデータ６２とを並べて訂正画面６０に表示することで、訂正画面６０において、文字読取元の帳票４に筆記された文字がどういう文字であるかを確実に判断できるようなり、読取結果の文字の訂正作業を効率よく行うことができる。
【００４９】
本発明は上記実施形態のみに限定されるものではない。
上記実施形態では、訂正画面の表示例として、帳票フォーム３４の読取フィールドをはみ出し方向に拡張して切り出したフィールドに、生成した文字イメージを重畳させて表示した例（図５）と、帳票フォーム３４の読取フィールドと隣接フィールドとをはみ出し方向に結合したイメージに、生成した文字イメージを重畳させて表示した例（図６）とを示したが、これ以外に、例えば、生成した文字イメージに帳票フォーム３４のフィールドを重ねずに、生成した文字イメージと、読取結果のテキストデータとを対応させて表示するだけでも良い。つまり文字記入欄（枠）を表示イメージに含めずに、文字イメージとテキストデータだけを表示しても良い。
【図面の簡単な説明】
【００５０】
【図１】本発明の一つの実施形態の文字読取システムの構成を示すブロック図。
【図２】図１の文字読取システムのデジタルペンの構成を示す図。
【図３】図２のデジタルペンのカメラの撮像エリアで撮像される帳票のドットパターンの一例を示す図。
【図４】この文字読取システムの動作を示すフローチャート。
【図５】この文字読取システムの第１の訂正画面例を示す図。
【図６】この文字読取システムの第２の訂正画面例を示す図。
【図７】スキャナ等で読み取った帳票イメージからフィールドイメージ（部分画像）を切り出す動作を説明するための図。
【図８】従来の訂正画面の表示例を示す図。
【符号の説明】
【００５１】
１…文字読取装置、２…デジタルペン、３…ＵＳＢケーブル、４…帳票、１０…制御部、１１…通信Ｉ／Ｆ、１２…メモリ、１３…文字イメージ処理部、１４…文字認識部、１５…辞書、１６…データベース、１８…訂正処理部、１９…表示部、２０…ケース部、２１…カメラ、２２…ＣＰＵ、２３…記憶部１２４…通信部、２５…ペン部、２６…インクタンク、２７…筆圧センサ、４１…スタートマーク、４２…エンドマーク、４３…文字記入欄、５０，６０…訂正画面、５１，５２，６１…表示イメージ、５３，５４，６２…読取結果。
【特許請求の範囲】
【請求項１】
文字記入欄に文字が未記入の状態の帳票フォームのイメージデータを記憶した帳票フォーム記憶手段と、
文字のイメージデータとテキストデータとを対応させて蓄積した辞書と、
前記帳票の文字記入欄に筆記された文字の筆跡情報を取得する手段と、
前記文字の筆跡情報を基に文字のイメージデータを生成する文字イメージ生成手段と、
前記文字イメージ生成手段により生成された文字のイメージデータを文字認識してテキストデータを出力する文字認識手段と、
前記文字イメージ生成手段により生成された文字のイメージデータの帳票上の座標と前記帳票フォーム記憶手段に記憶されている帳票フォームのイメージデータの座標とを対応させて、前記帳票の文字記入欄からの文字イメージのはみ出しとそのはみ出し方向を検出するはみ出し検出手段と、
前記文字イメージ生成手段により生成された文字のイメージデータが含まれる前記帳票のフォームデータの第１文字記入欄のイメージと、前記はみ出し検出手段により検出されたはみ出し方向に位置する、前記帳票のフォームデータの第２文字記入欄のイメージとを結合したイメージと、前記文字イメージ生成手段により生成された文字のイメージデータとを重畳して表示イメージを生成する表示イメージ生成手段と、
前記表示イメージ生成手段により生成された表示イメージと文字認識結果のテキストデータとを対応させた文字認識結果訂正用の訂正画面を表示する手段と
を具備したことを特徴とする文字読取装置。
【請求項１】
文字記入欄に文字が未記入の状態の帳票フォームのイメージデータを記憶した帳票フォーム記憶手段と、
文字のイメージデータとテキストデータとを対応させて蓄積した辞書と、
前記帳票の文字記入欄に筆記された文字の筆跡情報を取得する手段と、
前記文字の筆跡情報を基に文字のイメージデータを生成する文字イメージ生成手段と、
前記文字イメージ生成手段により生成された文字のイメージデータを文字認識してテキストデータを出力する文字認識手段と、
前記文字イメージ生成手段により生成された文字のイメージデータの帳票上の座標と前記帳票フォーム記憶手段に記憶されている帳票フォームのイメージデータの座標とを対応させて、前記帳票の文字記入欄からの文字イメージのはみ出しとそのはみ出し方向を検出するはみ出し検出手段と、
前記文字イメージ生成手段により生成された文字のイメージデータが含まれる前記帳票のフォームデータの第１文字記入欄のイメージと、前記はみ出し検出手段により検出されたはみ出し方向に位置する、前記帳票のフォームデータの第２文字記入欄のイメージとを結合したイメージと、前記文字イメージ生成手段により生成された文字のイメージデータとを重畳して表示イメージを生成する表示イメージ生成手段と、
前記表示イメージ生成手段により生成された表示イメージと文字認識結果のテキストデータとを対応させた文字認識結果訂正用の訂正画面を表示する手段と
を具備したことを特徴とする文字読取装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−１０６９０６（Ｐ２００６−１０６９０６Ａ）
【公開日】平成１８年４月２０日（２００６．４．２０）
【国際特許分類】
【出願番号】特願２００４−２８９３７３（Ｐ２００４−２８９３７３）
【出願日】平成１６年９月３０日（２００４．９．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（３０１０６３４９６）東芝ソリューション株式会社 (1,478)
【Ｆターム（参考）】
【公開日】平成１８年４月２０日（２００６．４．２０）
【国際特許分類】
【出願日】平成１６年９月３０日（２００４．９．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（３０１０６３４９６）東芝ソリューション株式会社 (1,478)
【Ｆターム（参考）】
[ Back to top ]