説明

文字認識方法、文字データの修正履歴処理方法およびシステム

【課題】
筆者ごとの手書き文字は、ある文字に対して複数の特徴を有する場合があり、また、過去に登録された補正履歴の文字の特徴とは、必ずしも一致するとは限らないため、従来技術の文字認識処理のみでは対応できない場合がある。
そこで、本発明においては、筆者ごとの手書き文字イメージの特徴をより忠実に捉えることができる文字認識方法及びシステムを提供することを目的とする。
【解決手段】
本発明においては、筆者が用いた手書き入力デバイスの識別子(デバイスID)と手書き文字のイメージデータと文字認識コードとを対応づけた修正履歴データを時系列順に従って管理する。そして、修正履歴データから、同一筆者の同一文字コードの手書き文字イメージを、時系列順に新規のものから抽出し、文字イメージの特徴を検出する処理を行うことで、個人の筆跡の特徴を抽出する。

【発明の詳細な説明】
【技術分野】
【0001】
本技術は、入力デバイス等により得られるイメージデータを認識する文字認識方法および装置に関するものである。文字認識率を向上させる技術に関するものである。
【背景技術】
【0002】
手書き文字の認識方法として、手書き文字の筆者別に編集した補正履歴を設け、機械が決定したコードデータをオペレータが補正した場合、その補正を含む付加情報を補正履歴に記憶し、文字認識手段においては、文字辞書を参照すると同時に補正履歴をも参照してコードデータを決定する技術がある(特許文献1参照)。
【0003】
特許文献1においては、筆者に固有な特徴(いわゆる書き癖)に対し、同一文字の出現の都度、機械が誤認識し、オペレータが同一の補正を繰り返し入力するため、オペレータの負荷が大きいという問題を解消するため、補正履歴を用いて文字認識処理を行うことが開示されている。
【0004】
【特許文献1】特開平7−49924号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
上記の従来技術においては、文字認識結果として補正された文字に対し、文字認識過程において候補とされた他の文字のコードデータなどをオペレータの要求にしたがって表示装置に表示させることによりオペレータの負荷を軽減している。
【0006】
しかし、筆者ごとの手書き文字は、ある文字に対して複数の特徴を有する場合があり、また、現在描く手書き文字の特徴と、過去に登録された補正履歴の文字の特徴とは、必ずしも一致するとは限らないため、従来技術の文字認識処理のみでは対応できない場合がある。
【0007】
そこで、本発明においては、筆者ごとの手書き文字イメージの特徴をより忠実に捉え、より新しい手書き文字の特徴を得られる文字認識方法及びシステムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明においては、筆者が用いた手書き入力デバイスの識別子(デバイスID)と手書き文字のイメージデータと文字認識コードとを対応づけた修正履歴データを時系列順に従って管理する。そして、修正履歴データから、同一筆者の同一文字コードの手書き文字イメージを、時系列順に新規のものから抽出し、文字イメージの特徴を検出する処理を行うことで、個人の筆跡の特徴を抽出する。また、修正履歴データと、基本的な文字変換に必要となる文字イメージデータとは独立して管理し、文字認識に用いる。
【0009】
これにより、基本テーブルを更新することなく、追加テーブルを設け、IDに対応した優先的な文字認識を実施することにより、結果として文字認識率を上げることができる。
【0010】
基本テーブルの更新による、文字認識テーブルの改悪を防ぐこともできる。
【発明の効果】
【0011】
本発明により、デバイスIDごとの筆跡の特徴を捉えることができる。また、筆跡の特徴を抽出したデータを、文字認識処理を行うための基本情報のデータとを独立して管理し、それぞれのデータをデバイスIDと対応づけて使用することにより、文字認識率を向上させることが可能となる。
【発明を実施するための最良の形態】
【0012】
図1は、本実施例の全体構成図の例である。以下に、本実施例における、デジタルペンから入力されたデータの送受信や、コンピュータにおけるデータの認識処理等について説明する。
【0013】
デジタルペン101は、カメラ102とプロセッサ103とメモリ104と通信部105等を含む。尚、カメラ102は、必要に応じて光センサ(光を認識する素子、赤外線感知センサ、カーボンを認識する素子等)でもよい。通信部105は、無線通信やネットワーク等を介した有線での通信を行うために必要なハードウエアやソフトウエアを含む。プロセッサ103は、メモリ104に格納されたデータの送受信処理や、各種データ処理を行う。尚、ここでは入力デバイスの一例としてデジタルペンを記載しているが、これ以外のものであってもよい。また、デジタルペンは、それぞれのデジタルペンを一意に特定することができる識別子を有している。本実施例においては、デジタルペンを用いる例を示したが、固有の識別子をもった入力デバイスであれば、これ以外のものでもよい。
【0014】
ユーザがデジタルペン101を用いてドットパターンが印刷された用紙に文字や図形を描いた場合、デジタルペン101は、デジタルペン101のカメラ102で一定のサンプリング周期でサンプリングし、ユーザが手書きした文字や図形の情報をデジタルデータ(ペンの軌跡、筆圧、紙に対する手書き文字の座標位置等データ、サンプリングした時刻情報等)へと変換し、デジタルペン101のメモリ104に格納する。
【0015】
デジタルペン101のメモリ104に格納されたデータは、デジタルペン101の通信部105から送信され、データ転送用PC106およびネットワーク110を経由してサーバ111へ送信され処理される。
【0016】
データ転送用PC106は、デジタルペン101からのデータを受信するためのデバイスが接続される。尚、データ転送用PC106に装備されている各種入出力デバイスや記憶装置やプロセッサ等についての図示は省略する。データ転送用PC106では、デジタルペン101から送信されたデータを処理するためのデバイスドライバやオペレーティングシステム等のプログラムが稼動する。データ転送用PC106は、デジタルペン101から受信したデータを、文字イメージデータへと変換し、データ転送用PC106の記憶装置等へ格納し、文字認識処理サーバ111へ送信する。
【0017】
サーバ111は、データ転送用PC106で処理された文字データを受信し、サーバ111で稼動する文字認識部112で受信した文字データの文字認識処理を行う。
【0018】
尚、データ転送用PC106と文字認識処理サーバ111は、コンピュータであってもよいし、上述の処理を行うための専用機器等でもよいし、その他のものでもよい。
【0019】
デジタルペン101に内蔵されたカメラや光学素子が特定のサンプリング周期(1秒間に数十回のスナップショット等)で、用紙に印刷されたドットパターンを認識し、デジタルペンで描かれた文字や図形の座標位置情報(X座標、Y座標)等を認識し、その座標位置情報とデジタルペンのペンID等を通信部によって送信するが、これらのデータを文字イメージデータへと変換する処理は、データ転送用PC106で行ってもよいし、文字認識処理サーバ111で行ってもよい。これらのデータの送受信は、有線で行っても、無線で行ってもよい。
【0020】
図1においては、デジタルペン101のデータアクセスポイントはデータ転送用PC106であるが、その他の機器を用いてもよい。
【0021】
また、デジタルペン101は、圧力センサを有し、圧力センサが検知した内容に基づいて、デジタルペンへのデータ入力や、データの送信等のトリガとしてもよい。たとえば、デジタルペンが紙面へ押されたことを圧力センサが認識した場合にデジタルペンのスイッチを入れ、手書きデータの入力を開始してもよい。また、デジタルペンが紙面から離れたことを圧力センサが認識した場合にデジタルペン内の通信部を通じてメモリに格納されたデータをPC106又は文字認識処理サーバ111へ転送し、デジタルペンに内蔵されたメモリからデータを転送後、デジタルペンのスイッチを切る、という一連の処理を行ってもよい。
【0022】
文字認識処理サーバ111では、文字認識を行うプログラムである文字認識部112と文字コードを検出するためのプログラムである文字コード検出部113が稼動し、必要に応じて記憶装置に格納された基本テーブル114と追加テーブル115に含まれる情報の追加や更新や参照を行う。
【0023】
修正履歴処理サーバ116では、文字データの修正履歴を管理するプログラムが稼動し、文字の修正履歴を格納した修正履歴テーブル118から必要となるデータを抽出し差分検出処理等を行う。
【0024】
文字認識処理サーバ111、修正履歴処理サーバ116の処理の詳細と各テーブルの内容の詳細は以下で説明する。
【0025】
確認・修正端末108では、文字イメージデータや手書きイメージデータ等を受信しデータ処理を行うためのプログラムである文字修正処理部が稼動する。作業者は、確認・修正端末108を用いて、文字認識処理サーバ111から確認・修正端末108へ送信されたデータの内容を確認し、必要に応じて文字認識処理サーバ111から送信された文字データの修正を行う。確認されたデータや修正されたデータ等は、確認・修正端末108から修正履歴処理サーバ116へ送信される。
【0026】
確認・修正端末108で修正したデータは、文字認識処理サーバ111と修正履歴処理サーバ116の両方(又は片方)へ送信される。尚、文字認識処理サーバ111と修正履歴処理サーバ116は同一のコンピュータで実現してもよいし、図1の例のようにそれぞれ独立したコンピュータで実現してもよい。
【0027】
ここで、文字認識処理の概要について説明する。
データ転送用PC106のID検出処理部107で、デジタルペン101から受信したデータの認識を行う。ここでは、受信したデータからデジタルペンの識別子(デジタルペンID)と文字イメージデータを抽出する。抽出したこれらのデータは文字認識処理サーバ111へ送信される。文字認識処理サーバ111の文字認識処理部112では、各種テーブルを用いて文字コードの認識処理を行う。この処理の詳細は図2に示す。
【0028】
基本テーブル114は、文字イメージと文字コードとが関係づけられたテーブルである。基本的な文字のイメージデータであり、全てのペンで共用して用いる。
【0029】
追加テーブル115は、手書きイメージデータを文字認識する際に失敗した文字を修正した履歴を、新しいイメージと文字コードとを関係づけたテーブルである。追加テーブル115では、修正履歴テーブルから必要な情報を抽出し差分検出した結果のデータをペンIDと対応づけて管理する。
【0030】
修正履歴テーブル118は、作業者が確認・修正端末108で修正したデータが格納されるテーブルである。修正履歴処理サーバ116の差分検出処理部117が、修正履歴テーブル118から、修正文字の認識のために必要なデータを抽出し、差分検出処理を行ったデータが追加テーブル115へ格納される。修正履歴テーブルの修正履歴データも、ペンIDと対応づけて管理する。
【0031】
ここで、文字認識処理サーバ111と修正履歴処理サーバ116と確認・修正端末108におけるデータの流れの概要について説明する。
【0032】
デジタルペン101から送信されたデータ(手書きデータの座標位置情報とペンIDとを対応づけたデータ等)は、データ転送用PC106を経由して、文字認識処理サーバ111へ送信される。データ転送用PC106は、座標位置データとペンIDとを対応付けたデータを、文字イメージデータとペンIDとを対応づけたデータへと変換し、文字認識処理サーバ111へと送信する。文字認識処理サーバ111は、データ転送用PC106から送信されたデータ(文字イメージデータとペンID)を、確認・修正端末108へと送信する。
【0033】
たとえば、(1)複数人のユーザがそれぞれのデジタルペンを用いて、カルテの記入作業や各種入力フォームの記載を行う。(2)次に、デジタルペンから多数の手書きデータが、データ転送用PC106へ送信される。データ転送用PC106でデータ変換処理を行う。データ変換処理を行ったデータは、文字認識処理サーバ111へ送信される。(3)文字認識処理サーバ111において、基本テーブル114と追加テーブル115を用いて文字認識処理を行う。(4)文字認識処理サーバ111で文字認識した結果のデータが、確認・修正端末108へ送信さる。(5)複数の作業者が、確認修正端末108を用いて文字認識処理サーバ111から送信されたデータに文字認識処理の誤りがあるか否かを分担してチェックする作業を行う。などの処理が想定される。
【0034】
確認・修正端末108の文字修正処理部109は、修正したデータ等を、確認・修正端末108から修正履歴処理サーバ116へペンIDとともに送信する。
【0035】
修正履歴処理サーバ116は、確認・修正端末108から送信されたデータを、修正履歴テーブル118へペンIDとともに格納する。修正履歴処理サーバ116で処理した結果を文字認識処理サーバ111へ送信し、追加テーブル115へ格納する処理については、図3の差分検出処理で詳細に説明する。
【0036】
図2は、文字認識のプログラム処理手順を示した図である。
【0037】
ステップ41において、デジタルペン101からデータを受信したことを契機として、文字認識処理を開始する。尚、デジタルペン101から情報を受信するのは、ID検出部107である。このID検出部107の処理を行うプログラムは、データ転送PC106で実行してもよいし、文字認識処理サーバ111で実行してもよいし、その他のコンピュータで実行してもよい。
【0038】
ID検出部107は、デジタルペン101から受信したデータ(ドットパターンに描かれた文字から認識したX座標、Y座標のデータ及びペンID等)を、文字イメージデータとペンIDを対応づけたデータへと変換し、文字認識処理サーバ111へ送信する。
【0039】
ステップ42において、文字認識処理サーバ111で実行される文字認識部112は、ID検出部107から受信したデータからペンIDを抽出し、当該ペンIDを判別する処理を行う。追加テーブル内にペンIDが存在するか否かを判定する。文字認識部112が判定した結果、追加テーブル115に当該ペンIDが存在する場合は、ステップ43へ進む。文字認識部112が判定した結果、追加テーブルにIDが存在しない場合は、ステップ45へ進む。
【0040】
ステップ43において、文字認識部112は追加テーブル115に当該ペンIDが含まれるかどうかを判定した後、ステップ44へ進む。
【0041】
ステップ44において、文字コード検出部113は、文字認識処理サーバ111が受信した文字イメージデータに対応する文字コードが追加テーブル115に存在するか否かを判定する。文字コード検出部113が、追加テーブル115に当該文字コードが存在すると判定した場合は、追加テーブル115に基づいて、当該文字イメージデータをテキストへと変換し、ステップ46へ進む。文字コード検出部113が、追加テーブル115に当該イメージデータに対応する文字が存在しないと判定した場合は、ステップ45へ進む。
【0042】
ステップ45において、文字コード検出部113における追加テーブル115に文字コードが存在しないとの判定結果に基づき、文字認識部112は基本テーブル114に基づいて、当該文字イメージデータの文字認識処理を行いステップ46へ進む。
【0043】
ステップ46においては、当該文字イメージデータの認識処理を行ったことを確認し、次の文字イメージデータが存在する場合は、次の文字イメージデータに対してステップ42からの処理を繰り返し、次の文字イメージデータがない場合には文字認識処理を行ったデータを格納し、処理を終了する。
【0044】
図3は、文字認識処理サーバ111と確認・修正端末108と修正履歴処理サーバ116における処理の例である。
【0045】
ステップ51において、文字認識処理サーバ111が、文字イメージデータに対して文字認識処理を行ったデータを、確認・修正端末108へ送信する。確認・修正端末108で、文字認識処理サーバ111からデータを受信したことを契機として修正作業をスタートしてもよいし、一定量の確認作業用データを確認・修正端末108において蓄積してから修正作業をスタートしてもよいし、その他の方法でもよい。
【0046】
尚、データを送信する一例として、カルテ1通分の文字イメージデータに対して文字認識処理サーバ111が文字認識処理を行ったデータ(又は、検査報告書1件分の文字イメージデータ、又は、同一のペンIDと対応付けられた複数の申請書の文字イメージデータ)等を1単位とし、1単位ごとのデータを複数の確認・修正端末108へ送信して、文字認識が正しいか否かの判定作業を複数のコンピュータで分担してもよいし、その他の方法で文字認識処理サーバ111から確認・修正端末108での確認作業用のデータを送信してもよい。
【0047】
ステップ52において、確認・修正端末108の文字修正処理部109は、文字認識処理結果の確認作業を行う対象となるデータを、画面に表示する。つまり、確認・修正端末108において、文字認識処理サーバ111での文字認識処理結果が正しいか否かを確認する。
【0048】
尚、ステップ52において、画面に手書き文字イメージデータと文字認識処理結果のテキストデータとを対応づけて表示してもよい。例えば、画面の左側に手書き入力したカルテのイメージを表示し、画面の右側に当該手書き入力したイメージに文字認識処理を施した結果のテキストデータを表示してもよい。
【0049】
ステップ53において、文字認識処理の結果が誤っている場合は、ユーザから文字を修正するデータを受け付け、ステップ54へ進む。文字認識処理の結果が正しい場合は、ステップ52へ進み、次のデータを画面に表示する。
【0050】
ステップ54において、確認・修正端末108の文字修正処理部109は、文字修正処理を行った結果のデータを、修正履歴処理サーバ116へ送信する。修正履歴処理サーバ116は、受信したデータを修正履歴テーブル118へ格納する。修正履歴テーブル118は、文字イメージデータと文字コードとペンIDと文字修正回数のカウンタを対応付けて格納している。修正履歴テーブルの詳細は図4で説明する。
【0051】
ステップ55において、修正履歴処理サーバ116は、修正履歴テーブル118に基づいて、予め格納された修正回数の規定値(n回)と修正された文字に対する修正回数とを比較し、規定値に達していればステップ56へ進む。規定値に達していない場合は、次の文字認識処理結果の判定を行う。
【0052】
ステップ56において、修正履歴処理サーバ116の差分検出処理部117は、差分検出処理を行う。差分検出処理の詳細については、図5および図6で説明する。
【0053】
ステップ57において、修正履歴処理サーバ116は、差分検出処理の結果を文字認識処理サーバ111へ送信する。文字認識処理サーバ111は、受信したデータを追加テーブル115へ格納する。
【0054】
ステップ58において、追加テーブル115が更新されたことを確認し、処理を終了する。
【0055】
図4は、修正履歴テーブルへ格納されるデータの処理の例を示した図である。
以下、図4の61、64〜68へ時系列順に処理の説明をする。62は、デジタルペンの識別子(ペンID)を示している。63は、修正回数が規定の値になったか否かを数えるためのカウンタの値を示している。69は、ペンIDごとに、文字修正回数が予め定められていることを例示している。図4の69の例では、「ペンID(A)」に対し、ある文字の修正回数が「3回」に達した場合に、差分検出処理を行うことを示している。尚、差分検出処理については、図5および図6で説明する。
【0056】
尚、以下のデータ処理は、修正履歴処理サーバ116で稼動するプログラムである差分検出処理部117で実行してもよいし、その他のプログラムで処理してもよい。
【0057】
61は、ペンIDと文字イメージデータを受信した文字認識処理サーバ111が、基本テーブル114を用いて文字変換処理をした場合、「イメージ1a」が「文字コード2」へ誤って変換されてしまう現象が発生した例を示している。
【0058】
尚、受信したデータに含まれるペンIDに対応するデータが追加テーブル115に無い場合には、基本テーブル114を用いて変換を行う。
【0059】
64は、オペレータが修正をしたデータのエントリが修正履歴テーブルへ格納されたイメージの図である。図4の例では、61において誤変換が行われているので、オペレータ(つまり、確認・修正端末108で文字修正処理を行う作業者)が「イメージ1a」を「文字コード1」へと変換したデータが修正履歴テーブルへ格納される。確認・修正端末108から送信されるデータは、デジタルペンのIDが付与されて修正履歴処理サーバ116へ送信される。この例では、64の修正データは「ID(A)」と対応づけて修正履歴テーブル118へ格納し、当該ペンID(A)の当該文字コード1に対する修正カウントを「1」とする。
【0060】
65は、「イメージ1b」を「文字コード1」へと文字修正の変換をした例である。このデータは、デジタルペンIDが「ID(B)」であるので、当該ペンIDと対応づけて修正履歴テーブル118へ格納し、当該ペンID(B)の当該文字コード1に対する修正カウントを「1」とする。
【0061】
66は、64と同じペンIDで同じ文字コードに対して修正がされたので、修正カウント「2」とする。つまり、「イメージ1c」を「文字コード1」へ修正した場合、「文字コード1」に対する2回目の修正であるからである。
【0062】
67は、「イメージ1d」を「文字コード1」へと修正した場合を示している。このイメージと対応づけられたペンIDは「ID(B)」である。上記の処理と同様に、修正カウントを加算しカウントを「2」とする。
【0063】
68は、「イメージ1e」を「文字コード1」へと修正した例である。このイメージと対応づけられたペンIDは「ID(A)」である。ここで、当該ペンID「ID(A)」と文字コード「文字コード1」に対する修正カウンタの値が3回となった。
【0064】
69より、予め設定値が「3」である。該当する条件を満たした場合に、条件に該当するイメージデータを修正履歴テーブル118から抽出して差分検出処理を行う。
【0065】
上記の設定値69は、予め修正履歴処理サーバ116の記憶装置等で格納しておく。尚、設定値69は、ペンIDごとや文字コードごとに、予め定められた修正回数を異なるものとして設定しておいてもよい。また、全てのペンIDに対して同じ値を設定してもよいし、その他の方法で設定してもよい。筆者ごとや業務で用いるデジタルペンごとに、特徴を抽出しやすい文字イメージデータの個数が異なる場合は、システム管理者等が予め修正履歴処理サーバ116に、必要となる設定値を格納しておいてもよい。
【0066】
図5は、差分検出処理の流れを例示したものである。
修正履歴処理サーバ116で稼動するプログラムである差分検出処理部117は、修正履歴テーブル118から、所定の条件を満たす文字イメージデータとその文字イメージデータを変換した文字コードが含まれるエントリを抽出し、差分検出処理を行う。
【0067】
図5の「イメージ1a」71は、図4の64のエントリに含まれる「イメージ1a」と対応する。図5の「イメージ1c」72は、図4の66のエントリに含まれる「イメージ1c」と対応する。図5の「イメージ1e」73は、図4の68のエントリに含まれる「イメージ1e」と対応する。これらの文字イメージデータ71〜73は、修正履歴テーブル118において、デジタルペンIDが「ID(A)」、修正後の文字コードが「文字コード1」、修正回数が「3回」という条件を満たしたため、差分検出処理対象のデータとして修正履歴テーブル118から抽出したデータである。
【0068】
74は、ペンIDごとに修正履歴の中から、一定の回数修正を行ったデータを抽出し、一定回数変更のあった文字イメージデータから新しい文字イメージデータ「イメージ1‘」を作成する差分検出処理である。抽出した文字イメージデータから、新しい文字イメージデータを作成する処理の詳細は図6で説明する。
【0069】
75は、新規に作成された文字イメージデータ「イメージ1‘」と当該文字イメージデータを認識するための文字コードとペンIDと対応づけて、ペンID(A)に対応する追加テーブルの新規エントリ用のデータを作成する処理である。修正履歴処理サーバ116は、追加テーブル115に格納するための新規エントリのデータを文字認識処理サーバ111へと送信する。文字認識処理サーバ111は、当該データを受信し、追加テーブル115に格納する。上述の新しい「イメージ1‘」を作成するための差分検出処理74を図6で説明する。
【0070】
図6は、差分検出処理の例を示す図である。
図5の71、72、73、に対応する文字イメージデータが、図6の82、83、84である。手書き文字イメージデータ82〜84から、新たな文字イメージである図5の75「イメージ1‘」を作成する処理を説明する。
【0071】
尚、ここでは一例として、手書き文字「あ」が、「め(例えば、文字コード[25H])」へと誤変換された回数が3回あった場合の例をあげている。手書き文字イメージ「あ」は、正しくは文字コード(例えば、文字コード[12H])のテキスト「あ」へと変換されなければならないが、個性的な字体であるため、文字コード[25H]のテキスト「め」へと誤変換された例である。
【0072】
基本データと手書き文字イメージとの差分を抽出し、差分の平均値を利用することで新たな文字イメージを作成する。ここで、基本データとは、基本テーブル114に各文字の文字コードと文字の座標位置データとを対応づけて格納したデータであってもよいし、文字フォントごとに文字の座標位置情報を格納したデータであってもよいし、その他のものでもよい。
【0073】
まず、基本文字の座標位置と手書き文字イメージの座標位置の差分を求める(86〜88)。
([A]−[B])=△a
[A]:[基本データの文字の座標データ]
[B]:[手書きデータの文字の座標データ]
△a: 筆跡データの差分の座標データ
本実施例においては、手書き文字イメージの修正が3回になったことを契機に差分検出処理をおこなうので、3つの手書き文字イメージ82〜83と基本データとの差分をそれぞれ求める86〜88。尚、差分検出処理部117は、差分検出処理の対象となる文字イメージを、修正履歴テーブル118に格納されたエントリのうち、時系列順に新規なエントリから順に、規定の修正回数ごとに抽出する。
【0074】
尚、本実施例においては、文字座標位置(ペンストロークデータ)を認識できるドットパターンが印刷された用紙を用いて、デジタルペンで描いた文字の座標位置を検出する。よって、デジタルペンで描いた軌跡上の座標位置(X座標、Y座標)が得られ、このデジタルペンの文字イメージデータの座標位置情報と基本データとの差分を求めればよい。座標位置の検出にあたり、描いた絵や線や記号の始点や終点の座標位置を抽出してもよいし、線と線との交差点の座標位置を抽出してもよいし、全ての座標位置の検出してもよいし、その他の方法でもよい。
【0075】
そして、図6の89の数式で、求めた差分データ(86〜88)の平均値を求める。つまり、修正した文字イメージの特徴を抽出し平均値を求めることによって、手書き文字の特徴となるデータが得られる。この特徴を抽出した文字座標データと、基本データの文字イメージの文字座標データとを合算して新たな文字イメージを作成する。ここで、新たな文字イメージとは、たとえば図5の75に含まれる「イメージ1‘」である。
【0076】
修正履歴処理サーバ116は、作成した新たな文字イメージを追加テーブル118への格納用データとしてペンIDを付与して、文字認識処理サーバ111へ送信する。文字認識処理サーバ111は、受信したデータを追加テーブル115へ格納する。
【0077】
尚、図6の例では、文字イメージデータを図示したが、これらの差分検出処理を行う場合には、文字イメージデータだけで筆跡データの差分等を計算するのではなく、描いた文字イメージデータを文字の座標位置データへ変換し、当該文字の座標位置データを用いて計算してもよいし、その他の方法を用いてもよい。尚、文字イメージデータを文字の座標位置データへと変換するプログラム等を必要に応じて用いてもよい。
【0078】
図7は、追加テーブル115の例を示す図である。
【0079】
追加テーブルのエントリ91から93は、時系列順に格納されている。各エントリは、差分検出処理で作成した新たな文字イメージデータと、文字変換処理をする際に認識すべき文字コードと、デジタルペンのペンIDとを対応づけて格納している。
【0080】
エントリ91には、文字イメージ「イメージ1‘」と、「文字コード1」と、ペンID「ID(A)」が対応づけて格納されている。エントリ92には、文字イメージ「イメージ1‘‘」と、「文字コード1」と、ペンID「ID(B)」が対応づけて格納されている。エントリ93には、文字イメージ「イメージ1‘‘‘」と、「文字コード1」と、ペンID「ID(A)」が対応づけて格納されている。
【0081】
エントリ91と92は、異なる文字イメージであってもペンIDごとに対応づけられた文字コードへと変換する。結果として、この例ではどちらも文字コード1として文字認識され、テキスト文字として変換処理が行われる。
【0082】
エントリ91と93は、同じペンIDと同じ文字コードを含むエントリである。エントリ91よりもエントリ93のほうが新しいエントリである。本実施例では、ある文字コードに対して複数の文字イメージを対応づけて格納する。つまり、時系列順に文字の特徴を抽出して保管しておく。
【0083】
95の矢印は、サーチする方法を示している。たとえば、ペンID「ID(A)」が付与された文字イメージデータの文字認識をする場合、追加テーブル115の新しいエントリ順に追加テーブルをサーチして変換対象となる文字イメージを検索する。
【0084】
追加テーブル115には、文字イメージデータと文字コードとペンIDとを対応づけたエントリが複数格納される。本実施例では、全てのペンIDのデータについて時系列順(96)に格納する例を示した。尚、各テーブルのエントリは時刻データを付与して管理してもよい。時系列順にデータを格納することで、デジタルペンの管理者は、ある時点でデジタルペンの利用者が変更された事などに対応して、テーブルに格納されたデータの消去や、一定期間内に利用した過去の文字データとして利用者名を付して別なファイルとして格納することもできる。
【0085】
尚、全てのペンIDについて、1つの追加テーブルに文字データと文字コードとを対応づけて管理するのではなく、ペンIDごとに追加テーブル115を設けてもよいし、その他の方法でもよい。
【0086】
また、追加テーブル115は、文字認識処理サーバ111からアクセス可能な記録媒体や記憶装置に格納されていればよいので、図1で図示した例に限られない。たとえば、デジタルペン101の記憶装置やデータ転送用PC106の記憶装置に追加テーブルを格納してもよい。
【0087】
本実施例における文字データの修正履歴処理を行うプログラムであって、デバイス識別子と文字イメージデータと修正後の文字コードとを対応づけた情報を受信し、前記受信した情報を修正履歴テーブルへ新規エントリとして格納し、前記修正履歴テーブルに含まれる各エントリが、予め定められた条件を満たすか否かを判定し、前記判定結果に応じて、修正履歴テーブルに含まれるエントリから複数の文字イメージデータを抽出し、前記抽出した文字イメージデータに対して差分検出処理を行うことにより新規の文字イメージデータを作成し、前記新規の文字イメージデータと前記修正後の文字コードと前記デバイス識別子とを対応づけた情報を他のプログラムへ送信する。
【0088】
また、本実施例における固有の識別子を有しデータ送信部を備えた入力デバイスと、文字認識処理サーバと、文字認識のために必要なテーブルを格納した記憶装置と、修正履歴処理するサーバと、修正端末とを含む文字認識システムにおいて、前記入力デバイスは、前記入力デバイスに固有の識別子と手書き文字データの座標位置のデータとを対応づけて前記文字認識処理サーバへ送信する。
【0089】
前記文字認識処理サーバは、前記送信された手書き文字データの座標位置のデータを手書き文字イメージデータへと変換し、前記変換した文字イメージデータと前記入力デバイスに固有の識別子と文字コードとを対応づけて前記修正端末へ送信する。
【0090】
前記修正端末は、前記送信された文字イメージデータに対応づけられた文字コードデータを修正し、前記修正した文字コードと前記受信した文字イメージデータと前記入力デバイスに固有の識別子とを対応づけて前記修正履歴処理サーバへ送信する。
【0091】
前記修正履歴処理サーバは、前記送信された文字イメージデータと修正した文字コードと入力デバイスに固有の識別子とを対応づけ、新規エントリとして修正履歴テーブルへ格納し、前記修正履歴テーブルに、前記送信された文字コードおよび入力デバイスに固有の識別子と同一の値を含むエントリが存在する場合、当該エントリが予め定められた個数存在する場合には、当該エントリに含まれる文字イメージデータを抽出し、前記抽出した文字イメージデータに対して差分検出処理を行うことにより新規の文字イメージデータを作成し、前記新規の文字イメージデータと前記修正後の文字コードと前記デバイス識別子とを対応づけた情報を前記文字認識処理サーバへ送信する。
【0092】
前記文字認識処理サーバは、前記送信された前記新規の文字イメージデータと前記修正後の文字コードと前記デバイス識別子とを対応づけた情報を追加テーブルへ格納し、前記追加テーブルを文字認識処理を実行する。
【0093】
このように、本実施例によれば、デジタルペンで描いた軌跡の座標位置から、文字の特徴を抽出するため、文字の書き順が間違えた場合であっても、描いた位置情報から文字を認識し、特徴を抽出することができる。
【0094】
また、本実施例によれば、全ての文字イメージを修正した情報を修正履歴データ118に時系列順に格納し、新しい修正データから順に条件に従って文字イメージの特徴を抽出し、追加テーブル115を追加更新することで、過去に登録した文字の特徴だけではなく、現在の文字の特徴も認識することが可能となる。
【0095】
つまり、本実施例においては、修正履歴の情報の中から、特定のデバイスIDに対応づけられた修正履歴について、時系列順に新規な修正データから特徴を抽出する処理を、特定の条件(たとえば、修正回数ごと、修正文字コードなどの条件)に応じて繰り返す。このため、追加テーブルには条件に応じて特徴を抽出したデータが追加して格納される。このように、条件に応じて文字の特徴が集積された追加テーブルを用いて文字認識をするので、よりきめ細かな文字認識が可能となる。
【図面の簡単な説明】
【0096】
【図1】システム全体構成の例
【図2】文字認識のプログラム処理手順の例
【図3】文字認識処理サーバと確認・修正端末と修正履歴処理サーバの処理の例
【図4】修正履歴テーブルの例
【図5】差分検出処理の流れの例
【図6】差分検出処理の例
【図7】追加テーブルの例
【符号の説明】
【0097】
101 デジタルペン
102 光センサ/カメラ
103 プロセッサ
104 メモリ
105 通信部
106 データ転送用PC
107 ID検出部
108 確認・修正端末
109 文字修正処理部
110 ネットワーク
111 文字認識処理サーバ
112 文字認識部
113 文字コード検出部
114 基本テーブル
115 追加テーブル
116 修正履歴処理サーバ
117 差分検出処理部
118 修正履歴テーブル

【特許請求の範囲】
【請求項1】
文字データの修正履歴処理を行うプログラムであって、
デバイス識別子と文字イメージデータと修正後の文字コードとを対応づけた情報を受信し、
前記受信した情報を修正履歴テーブルへ新規エントリとして格納し、
前記修正履歴テーブルに含まれる各エントリが、予め定められた条件を満たすか否かを判定し、
前記判定結果に応じて、修正履歴テーブルに含まれるエントリから複数の文字イメージデータを抽出し、
前記抽出した文字イメージデータに対して差分検出処理を行うことにより新規の文字イメージデータを作成し、
前記新規の文字イメージデータと前記修正後の文字コードと前記デバイス識別子とを対応づけた情報を他のプログラムへ送信することを特徴とする文字データの修正履歴処理を行うプログラム。
【請求項2】
文字認識を行うプログラムであって、
デバイス識別子と文字イメージデータと修正後の文字コードとを対応づけた情報を受信し、
前記受信した情報を修正履歴テーブルへ新規エントリとして格納し、
前記修正履歴テーブルに含まれる各エントリの情報が、予め定められた条件を満たすか否かを判定し、
前記判定結果に応じて、修正履歴テーブルに含まれるエントリから複数の文字イメージデータを抽出し、
前記抽出した文字イメージデータに対して差分検出処理を行うことにより新規の文字イメージデータを作成し、
前記新規の文字イメージデータと文字コードとデバイス識別子とを対応づけた情報を追加テーブルへ格納し、
文字認識処理指示と共にデバイス識別子と文字イメージデータとを対応づけた情報を受信した場合、
前記追加テーブルに前記文字認識処理指示と共に受信したデバイス識別子が存在するか否かを判定し、
前記判定した結果、前記追加テーブルに前記文字認識処理指示と共に受信したデバイス識別子が存在する場合には、前記追加テーブルに基づいて文字認識処理を行い、
前記判定した結果、前記追加テーブルに前記文字認識処理指示と共に受信したデバイス識別子が存在しない場合には、予め定められた文字イメージデータと文字コードとを対応付けたエントリを格納した基本テーブルに基づいて文字認識処理を行うことを特徴とする文字認識を行うプログラム。
【請求項3】
前記予め定められた条件とは、前記修正履歴テーブルに前記受信したデバイス識別子と前記受信した修正後の文字コードと同一のデバイス識別子と文字コードが含まれるエントリが、複数存在することを特徴とする請求項1に記載の修正履歴処理を行うプログラム。
【請求項4】
前記予め定められた条件とは、前記修正履歴テーブルに前記受信したデバイス識別子と前記受信した修正後の文字コードと同一のデバイス識別子と文字コードが含まれるエントリが、複数存在することを特徴とする請求項2に記載の文字認識を行うプログラム。
【請求項5】
前記差分検出処理とは、予め定められた文字イメージデータと文字コードとを対応付けたエントリを格納した基本テーブルに含まれる文字イメージデータの座標データと、前記修正履歴テーブルから抽出した複数の文字イメージデータの座標データとの差分をそれぞれ求め、
前記求めた差分の座標データの平均値の座標データを求め、
前記求めた平均値の座標データと、基本テーブルに含まれる文字イメージデータの座標データとを合算する処理であることを特徴とする請求項1記載の修正履歴処理を行うプログラム。
【請求項6】
前記差分検出処理とは、予め定められた文字イメージデータと文字コードとを対応付けたエントリを格納した基本テーブルに含まれる文字イメージデータの座標データと、前記修正履歴テーブルから抽出した複数の文字イメージデータの座標データとの差分をそれぞれ求め、
前記求めた差分の座標データの平均値の座標データを求め、
前記求めた平均値の座標データと、基本テーブルに含まれる文字イメージデータの座標データとを合算する処理であることを特徴とする請求項2記載の文字認識を行うプログラム。
【請求項7】
固有の識別子を有しデータ送信部を備えた入力デバイスと、文字認識処理サーバと、文字認識のために必要なテーブルを格納した記憶装置と、修正履歴処理するサーバと、修正端末とを含む文字認識システムにおいて、
前記入力デバイスは、前記入力デバイスに固有の識別子と手書き文字データの座標位置のデータとを対応づけて前記文字認識処理サーバへ送信し、
前記文字認識処理サーバは、前記送信された手書き文字データの座標位置のデータを手書き文字イメージデータへと変換し、
前記変換した文字イメージデータと前記入力デバイスに固有の識別子と文字コードとを対応づけて前記修正端末へ送信し、
前記修正端末は、前記送信された文字イメージデータに対応づけられた文字コードデータを修正し、前記修正した文字コードと前記受信した文字イメージデータと前記入力デバイスに固有の識別子とを対応づけて前記修正履歴処理サーバへ送信し、
前記修正履歴処理サーバは、前記送信された文字イメージデータと修正した文字コードと入力デバイスに固有の識別子とを対応づけ、新規エントリとして修正履歴テーブルへ格納し、
前記修正履歴テーブルに、前記送信された文字コードおよび入力デバイスに固有の識別子と同一の値を含むエントリが存在する場合、当該エントリが予め定められた個数存在する場合には、当該エントリに含まれる文字イメージデータを抽出し、
前記抽出した文字イメージデータに対して差分検出処理を行うことにより新規の文字イメージデータを作成し、
前記新規の文字イメージデータと前記修正後の文字コードと前記デバイス識別子とを対応づけた情報を前記文字認識処理サーバへ送信し、
前記文字認識処理サーバは、前記送信された前記新規の文字イメージデータと前記修正後の文字コードと前記デバイス識別子とを対応づけた情報を追加テーブルへ格納し、
前記追加テーブルを文字認識処理を実行するために用いることを特徴とする文字認識システム。
【請求項8】
文字データの修正履歴処理方法であって、
デバイス識別子と文字イメージデータと修正後の文字コードとを対応づけた情報を受信し、
前記受信した情報を修正履歴テーブルへ新規エントリとして格納し、
前記修正履歴テーブルに含まれる各エントリが、予め定められた条件を満たすか否かを判定し、
前記判定結果に応じて、修正履歴テーブルに含まれるエントリから複数の文字イメージデータを抽出し、
前記抽出した文字イメージデータに対して差分検出処理を行うことにより新規の文字イメージデータを作成し、
前記新規の文字イメージデータと前記修正後の文字コードと前記デバイス識別子とを対応づけた情報を他のプログラムへ送信することを特徴とする文字データの修正履歴処理方法。
【請求項9】
文字データの修正履歴処理システムであって、
デバイス識別子と文字イメージデータと修正後の文字コードとを対応づけた情報を受信する手段と、
前記受信した情報を修正履歴テーブルへ新規エントリとして格納する手段と、
前記修正履歴テーブルに含まれる各エントリが、予め定められた条件を満たすか否かを判定する手段と、
前記判定結果に応じて、修正履歴テーブルに含まれるエントリから複数の文字イメージデータを抽出する手段と、
前記抽出した文字イメージデータに対して差分検出処理を行うことにより新規の文字イメージデータを作成する手段と、
前記新規の文字イメージデータと前記修正後の文字コードと前記デバイス識別子とを対応づけた情報を他のプログラムへ送信する手段とを備えることを特徴とする文字データの修正履歴処理システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2006−31299(P2006−31299A)
【公開日】平成18年2月2日(2006.2.2)
【国際特許分類】
【出願番号】特願2004−207985(P2004−207985)
【出願日】平成16年7月15日(2004.7.15)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】