説明

手書き情報入力装置

【課題】 簡易な構成で紙文書の位置ずれを検出し、手書きされた内容の座標情報の補正が可能な手書き情報入力装置を提供すること。
【解決手段】 紙文書の紙面に手書きされた手書きパターンを座標情報として取得する手書き情報入力装置10であって、当該紙文書001を識別するための文書識別情報を取得する文書識別情報取得部201と、文書識別情報に基づき入力領域定義部から入力領域の座標を取得する入力領域座標取得部209と、手書きパターンの座標情報に基づき、入力領域に手書きされた手書きパターンの手書き領域を検出する手書き領域検出部204と、手書き領域検出部204が検出した手書き領域の座標と入力領域座標取得部が取得した入力領域の座標とに基づき、手書き領域と前記入力領域とを関連づける領域関連付け部205と、領域関連付け部205により入力領域に関連づけられた手書き領域と入力領域との位置ずれを補正するため、手書き領域の座標を変換する手書き座標変換部206と、を有することを特徴とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、予め各種情報が印刷された媒体に手書きされた情報を、当該媒体の電子文書に反映させる手書き情報入力装置に関する。
【背景技術】
【0002】
業務の電子化が進展しており流通する電子文書が増大している一方、CRT,LCDなどのディスプレイの品質はいまだ紙への印刷に劣る点も多いために、電子的に作成された文書を紙文書として紙に印刷する機会は増大している。これら電子文書が印刷された紙文書に対し手書きが行われた場合、手書きの内容を有効に利用するため加筆情報を電子化する手段が要請されている。しかし、現在使われている手書き情報の入力装置は、未だ、ユーザにとって十分な使い勝手であるとはいえない。
【0003】
たとえば、タブレット、デジタイザとよばれ、板状のセンサーとペン型の装置を用いてコンピュータへ手書き入力を行う装置が存在しているが、これらの装置は単純に加筆座標情報を取得するだけであり、電子文書が印刷された紙文書への手書き作業を、当該電子文書に反映するためには不具合が生ずる。たとえば電子文書が印刷された紙の上への加筆した場合、元の電子文書に加筆の内容を反映することが望ましいにもかかわらず不可能であった。
【0004】
スキャナ装置を用いても紙文書を電子文書とすることが可能であるが、スキャナ装置を用いた場合も、紙文書への手書き内容を電子文書に反映するためには不具合が生ずる。たとえば、電子文書を印刷した紙文書をスキャナで再び電子化した場合、ワープロソフトなどで作成した元の電子文書が存在するにもかかわらず、画像データとして別の画像文書が作成されるだけであり、もとの電子文書に加筆情報が反映されたものではない。
【0005】
すなわち、これらの従来の装置では加筆座標を取得する機能、又は、画像を取得する機能しかなく、紙に印刷された元の電子文書が識別不可能であり、取得した加筆座標を挿入すべき電子文書が不明なために上記の不具合が生じている。
【0006】
こうした問題を解決するために、まず電子的に作成された文書を印刷する際に、バーコードなどの機械が識別しやすい模様など、印刷の対象となった電子文書を特定する文書識別情報を電子文書の内容と共に印刷する技術が提案されている(例えば、特許文献1、2参照。)。文書識別情報とは、紙文書に印刷された元となる電子ファイルの保存場所、ファイル名、ページ番号などを表す情報、又はそれらを管理する情報であり、たとえば『//C:\MyDocument¥tmp.doc、pp1』などの情報である。
【0007】
印刷された紙文書への手書き入力時には、加筆された手書き入力の座標情報と共に文書識別情報を取得する。つぎに加筆情報を電子文書に反映するとき、文書識別情報に従って、手書きの加えられた紙文書がどの電子文書を印刷したものかを識別し、加筆情報を印刷された電子文書へ反映することを可能としている。特許文献2によれば、手書き情報入力装置上に複数の紙文書を設置し、めくりながら自動的に識別することが可能になっており、大量の紙へ施された手書き入力を印刷された電子文書に反映し、電子文書と紙文書とを相互に用いて業務をより効率よく実施することが可能になっている。
【0008】
図1は、従来の手書き情報入力装置900の概略図を示す。手書き情報入力装置900は、紙文書901へ加えられた手書き動作による手書き情報902を、適切な電子文書(例えば印刷された電子文書)へ反映させるための装置である。手書き情報入力装置は、筆記動作による手書き情報を取得する手書き入力部903、文書識別情報904を読み取る文書識別情報読取装置905を備え、文書識別情報904は、印刷された紙文書への手書き入力を行う際に、手書き情報と共に文書識別情報を取得する。
【0009】
このとき、専用入力ペン906は、鉛筆やボールペンのペン先を備え実際に紙に筆記できることができ、取得された手書き情報902は、文書識別情報に従って適切な電子文書へ反映させることを可能とする。
【0010】
ところで、特許文献2記載の手書き情報入力装置900においては、手書き入力部903がいわゆるデジタイザ技術により手書き情報を取得するが、工業製品として必然の製造上の誤差、装置に設置する紙文書の位置ずれ、また、装置上に設置する紙文書901の印刷ずれなどによって、必ずしも正確に座標を取得できるわけではない。こうした誤差の存在によって紙文書901には所望の位置に手書き情報902が筆記されているにもかかわらず、電子文書には適切な位置に手書き情報902が反映されない状況が発生する。ずれたままに入力された手書き情報は文字認識やチェックボックス処理によるデータ化が適切に実施されないため、紙への手書き入力を正確に電子化するため、手書き情報の入力位置の誤差を解消する手段が提案されている(例えば、特許文献3参照。)。
【0011】
特許文献3に記載された筆記データ入力装置では、設置された紙文書の位置検出手段と、検出された位置がずれているかどうかを判断する判別手段を備える。図2(a)は特許文献2記載の筆記データ入力装置の断面図を、図2(b)は紙文書の位置ずれの検出方法を説明するための図をそれぞれ示す。
【0012】
紙文書は、図2(a)のタブレット910上に配置される。紙文書をタブレット910上に重ね合せた場合に、予め定められている正規の重ね合せ位置から用紙が位置ずれしているか否かを検出するために、図2(b)に示すようにレーザ光によって用紙の角部付近を順にスキャンする。用紙の上下方向、左右方向の他、回転方向のずれを検出するために、左側角部及び右側角部の位置を斜め方向にスキャンする。スキャンされたレーザ光が紙文書の角部にさしかかると、レーザ光が反射して受光量が急激に増加するので、そのときのスキャン位置とピーク位置とにより紙文書の角部の位置が検出される。検出の結果、位置ずれしていると判断された場合、位置ずれにあわせて手書き入力座標情報を補正する。
【特許文献1】特開平9−91083号公報
【特許文献2】特開2000−112646号公報
【特許文献3】特開平10−301701号公報
【発明の開示】
【発明が解決しようとする課題】
【0013】
しかしながら、特許文献3記載の位置ずれの検出では、レーザ発信器とレーザ光をスキャンさせる偏向ミラーを有しているため、レーザ発信器の消費電力が大きくなり、また、偏向ミラーは機械的な可動部を持つと考えられるため機械的な寿命も短いという問題を有する。
【0014】
本発明は、上記問題に鑑み、簡易な構成で紙文書の位置ずれを検出し、手書きされた内容の座標情報の補正が可能な手書き情報入力装置を提供することを目的とする。
【課題を解決するための手段】
【0015】
上記課題に鑑み、本発明は、紙文書の紙面に手書きされた手書きパターンを座標情報として取得する手書き情報入力装置であって、紙文書が有する当該紙文書を識別するための文書識別情報を取得する文書識別情報取得部と、文書識別情報取得手段が取得した文書識別情報に基づき、紙文書に定められた手書きのための入力領域の座標が格納された入力領域定義部から入力領域の座標を取得する入力領域座標取得部と、手書きパターンの座標情報に基づき、入力領域に手書きされた手書きパターンの手書き領域を検出する手書き領域検出部と、手書き領域検出部が検出した手書き領域の座標と入力領域座標取得部が取得した入力領域の座標とに基づき、手書き領域と入力領域とを関連づける領域関連付け部と、領域関連付け部により前記入力領域に関連づけられた前記手書き領域と前記入力領域との位置ずれを補正するため、手書き領域の座標を変換する手書き座標変換部と、を有することを特徴とする。
【0016】
本発明によれば、簡易な構成で紙文書の位置ずれを検出し、手書きされた内容の座標情報の補正が可能である。位置ずれか補正されれば、手書きパターンを正確に取得して、文字認識などのその後の作業の効率が向上する。なお、入力領域定義部は手書き情報入力装置が有していてもよいし、外部装置にあってもよい。
【0017】
本発明の一形態において、領域関連付け部は、入力領域の重心と手書き領域の重心との距離が所定以下である場合、入力領域と手書き領域とを関連づけることを特徴とする。
【0018】
本発明によれば、入力領域の重心と手書き領域の重心の距離という算出の容易な指標により入力領域と手書き領域を関連づけることができる。
【0019】
また、本発明の一形態において、領域関連付け部は、入力領域と手書き領域の重複領域の面積が所定以上である場合、入力領域と手書き領域とを関連づけることを特徴とする。
【0020】
本発明によれば、入力領域と手書き領域の重複領域の面積という算出の容易な指標により入力領域と手書き領域を関連づけることができる。
【0021】
また、本発明の一形態において、手書き座標変換部は、領域関連付け部により関連づけられた入力領域と手書き領域のそれぞれの重心が合致するように手書き領域の座標を変換する、ことを特徴とする。
【0022】
本発明によれば、重心が合致させることで手書き領域と入力領域との位置ずれを補正することができる。
【0023】
また、本発明の一形態において、手書き座標変換部は、領域報関連付け部により関連づけられた入力領域と手書き領域のそれぞれの原点が合致するように手書き領域の座標を変換する、ことを特徴とする。
【0024】
本発明によれば、原点を合致させることで手書き領域と入力領域との位置ずれを補正することができる。原点とは、好適には手書き領域又は入力領域の頂点のいずれかであるが、例えば重心など互いに対応する手書き領域又は入力領域の所定位置を原点としてもよい。
【0025】
また、本発明の一形態において、領域関連付け部は、入力領域の重心と手書き領域の重心との距離が所定以下である手書き領域が複数ある場合、又は、入力領域と手書き領域の重複領域の面積が所定以上である手書き領域が複数ある場合、複数の手書き領域のうち、新しい手書き領域を前記入力領域に関連付ける、ことを特徴とする。
【0026】
本発明によれば、1つの入力領域に対し書き直し等が行われた場合、書き直された新しい手書きパターンに基づく手書き領域を入力することができる。
【0027】
また、本発明の一形態において、領域関連付け部は、入力領域の重心と手書き領域の重心との距離が所定以下である入力領域が複数ある場合、又は、入力領域と手書き領域の重複領域の面積が所定以上である入力領域が複数ある場合、複数の入力領域のうち、手書き領域の面積に近い面積を有する入力領域を当該手書き領域に関連づける、ことを特徴とする。
【0028】
本発明によれば、例えば、帳票のように紙文書が複数の入力領域を持つ場合、適切な入力領域に手書き領域を関連づけることができる。
【0029】
また、本発明の一形態において、手書き座標変換部は、領域報関連付け部により入力領域に関連づけられた手書き領域の大きさを当該入力領域の大きさに合わせて縮小又は拡大するように手書き領域の座標を変換する、ことを特徴とする。
【0030】
本発明によれば、入力領域に対して適切な大きさの手書き領域を入力することが可能となり、枠なしなどの自然な手書き入力に対応することができる。
【0031】
また、本発明の一形態において、紙文書に複数の前記入力領域がある場合、手書き座標変換部は、領域関連付け部により関連づけられた、複数の入力領域と手書き領域との位置ずれを平均化し、平均化された位置ずれ量に基づき手書き領域の座標を変換する、ことを特徴とする。
【0032】
本発明によれば、複数の入力領域を持つ紙文書に対し座標変換を正確に実施することが可能となる。
【発明の効果】
【0033】
簡易な構成で紙文書の位置ずれを検出し、手書きされた内容の座標情報の補正が可能な手書き情報入力装置を提供することができる。
【発明を実施するための最良の形態】
【0034】
以下、本発明を実施するための最良の形態について、図面を参照しながら実施例をあげて説明する。
【実施例1】
【0035】
図3(a)は、紙文書と電子文書の関係を、図3(b)は本実施例の手書き情報入力装置の斜視図を示す。
【0036】
電子文書はサーバなどのコンピュータ11の記憶装置やコンピュータ11に接続された記憶装置13に電子的なファイルとして電子文書001DATAのように格納されている。電子文書001DATAの管理者等が印刷を指示すると、プリンタ12から所定の用紙に電子文書001DATAが紙文書001として印刷される。したがって、紙文書001には、電子文書001DATAの内容008が印刷される。
【0037】
また、紙文書001には文書識別情報004が印刷されている。文書識別情報004は、電子文書001DATAの保存場所、フォルダ及びファイル名、印刷された電子文書001DATAのページ番号、作成日、印刷日、などの情報をバーコードや2次元コードで表示したものである。したがって、文書識別情報004をスキャナで光学的に読み取れば紙文書001の印刷元となった電子文書001DATAにアクセスするための情報を取得できる。
【0038】
紙文書001を手書き情報入力装置10に設置して手書き入力することで、印刷された紙文書001に手書きした手書きパターン002が、手書き入力部003により取得され電子文書001DATAに反映される。
【0039】
紙文書001は、全体が紙状に形成されたもので、例えばA4判サイズのものが用いられている。紙文書001は一枚であっても複数枚であってもよい。上述したように、紙文書001には、電子文書001DATAの内容008、及び、所定の位置に文書識別情報004が印刷されている。なお、紙文書001は紙以外の媒体、例えば、樹脂等であってもよい。
【0040】
紙文書001は、手書き入力部003にバインダ7により固定される。手書き入力部003は電磁誘導式のデジタイザを有しており、また、デジタイザにより取得される手書きパターンの座標情報を処理する情報処理装置を有する。情報処理装置は、情報蓄積媒体としてのメモリ、コンピュータ11やネットワークと通信するための無線LAN等の通信インタフェース、CPU(Central Processing Unit)、プログラムを格納しておくROM等により構成される。
【0041】
専用入力ペン006は、手書き入力している間に電磁場を放射すると共に、紙文書に手書きパターンを書き込みできる。手書き入力部003のデジタイザは、専用入力ペン006のペン先から電磁波を受信してその位置座標を検出する。専用入力ペン006は、ペン先を所定以上の力で紙文書001に押しつけると電磁波を放射するので、デジタイザはペン先が紙文書001にふれてから離されるまでの1ストロークの入力を座標情報として経時的に記録する。設置された紙文書001で専用入力ペン006を通じて手書き入力部003に文字や線などストロークが手書き入力されると、手書き入力部003はその入力パターンを手書きパターン002として取得する。この方式であれば、紙厚が5mm程度であっても手書きパターン002を検出可能である。
【0042】
手書き入力部003の側方には文書識別情報004を読み取る文書識別情報読み取り装置005が備えられている。文書識別情報読み取り装置004は、例えば、バーコードリーダであり読み取った文書識別情報004を解析して紙文書001の保存場所等を取得する。
【0043】
手書き情報入力装置10は、電子文書001DATAが格納されている外部のコンピュータ(例えばコンピュータ11)と接続可能とされており、入力された手書き情報を蓄積後又は入力されたら順次、外部のコンピュータに送信し、電子文書001DATAに手書きパターンを反映させる。
【0044】
入力欄について説明する。本実施例の電子文書001DATAは、予め定められた入力領域を有するように構成される。図4は電子文書001DATAに定められている入力領域の一例を示す。図4では、電子文書の一例としてアンケートの一部を表示した。図4(a)では、「リンゴとなしのどちらが好きですか」という問いに対し、入力領域100が予め定められている。アンケートに答える場合、回答者は入力領域100にリンゴ又はなし等と記入する。
【0045】
図4(b)は、問いに対する回答を選択するように入力領域100を設けた電子文書001DATAの一例を示す。回答者は、性別の問いに対し「男」又は「女」の横に設けられた入力領域100のいずれかにチェックマークや塗りつぶしを記入する。また、「〜を支持しますか」の問いに対し「はい」又は「いいえ」の横の欄に設けられた入力領域100のいずれかにチェックマークや塗りつぶしを記入する。
【0046】
電子文書001DATAの入力欄の座標は、後述するように入力領域定義部203に保持されている。図4(c)は入力領域の座標を説明するための図である。入力領域100の座標は、例えば、電子文書001DATAの左上角110を原点に取り、横方向をX座標、縦方向をY座標とし、それぞれの入力欄100の左上部111と右下部112の座標を指定することで特定できる。
【0047】
なお、図4ではアンケートを例にしたが、帳票や試験用紙、入会書のように入力領域が定められている電子文書であればどのようなものであってもよい。また、入力領域100は、下線部のみであってもよいし、枠や下線は可視でなくてもよい。
【0048】
本実施例における手書き情報入力装置10の手書きパターンの入力の流れを図5のフローチャート図に基づき簡単に説明する。本実施例の手書き情報入力装置10は、紙文書001の位置ずれに対応して、手書きパターンの座標情報を補正する。
【0049】
まず、手書きされた手書きパターン002を、あらかじめ定義した手順に従って座標情報に変換する(S1)。
【0050】
次に、手書き情報入力装置10は、設置された紙文書001を識別し紙文書001の原文書である電子文書001DATAに定められた入力領域100の座標を取得する(S2)。
【0051】
次に、手書きパターンの座標情報に基づき手書き領域を検出し、手書き領域を入力領域に関連づける(S3)。
【0052】
次に、関連付けられた手書き座標情報と手書き入力領域が一致するように、手書き座標情報の座標を変換する(S4)。
【0053】
これによって、手書きパターン002は入力領域100に収まるように座標変換され、手書き情報入力装置10に設置された紙文書001に印刷ずれや、設置時の位置ずれが生じたままの状態で取得された手書きパターンも適切に処理することができる。以下、詳細に説明する。
【0054】
図6は、手書き情報入力装置10のブロック図を示す。手書き情報入力装置10は、文書識別情報取得部201、座標読み取り部202、入力領域定義部203、手書き領域検出部204、領域関連づけ部205、手書き座標変換部206、電子文書保存部207、電子文書印刷部208及び入力領域座標取得部209を有している。
【0055】
文書識別情報取得部201は、手書き情報入力装置10に設置された紙文書001に印刷された文書識別情報004を読み取り、電子文書001DATAの保存場所やファイル名、ページ番号等を取得する。座標読み取り部202は、紙文書001へ手書きされた手書きパターンの座標を、手書き入力部003のデジタイザにより取得する。
【0056】
手書き領域定義部203は、図4のような電子文書001DATAの入力領域100(手書き文字入力欄、チェックボックス)の座標を保持しているので、入力領域座標取得部209は、文書識別情報取得部201が取得した文書識別情報004に基づき、予め定められた手書きのための入力領域100の座標を取得する。
【0057】
手書き領域検出部204は、取得された手書きパターンの座標情報から一まとまりの手書きパターンを判別し、一まとまりの手書きパターンを包含する入力欄と同様の形状(入力欄が矩形であれば矩形)の手書き領域を検出する。
【0058】
領域関連付け部205は、入力領域100と手書き領域とを関連付ける。手書き座標変換部206は、手書きパターンから検出された手書き領域の座標及び入力領域の座標に基づき、手書き領域と入力領域の位置ずれを補正する。すなわち、座標変換部206は、手書き領域の座標と入力領域の座標とが合致するように手書き領域の座標を変換する。
【0059】
電子文書は、図3(a)に示したように、作成された電子文書を保存する記憶装置13やコンピュータ11に格納されているが、手書きする際には、記憶装置13やコンピュータ11から複写されて手書き情報入力装置10の電子文書保存部207に格納される。なお、次述するように手書き情報入力装置10は文書識別情報取得部201及び座標読み取り部202と以外と一体でなくてもよいので、記憶装置13やコンピュータ11を電子文書保存部207としてもよい。
【0060】
また、電子文書印刷部208は、電子文書保存部207に保存されている電子文書を印刷する。印刷の際には、文書識別情報004を生成又は取得し、電子文書の内容と共に印刷する。
【0061】
これら各ブロックは、互いにデータバスで接続されており、それぞれのブロック間でデータの送受信が可能である。なお、座標読み取り部202と文書識別情報読み取り部201は手書き情報入力装置10として一体に構成されていることが望ましいが、そのほかのブロックは、必ずしも手書き情報入力装置10に一体に構成される必要はなく、例えば、接続されたコンピュータ11や、ネットワークを介して接続された座標情報の処理を行うコンピュータに構成されていてもよい。
【0062】
(S1)
図7は、紙文書001に手書きされた手書きパターン002の一例を示す。なお、図7では電子文書001DATAの内容008は省略した。 図7では、「手」、「2」、「の」の各文字が手書きパターン002として手書きされている。各文字は、各ストロークを構成する(X,Y)の座標値で表される複数のサンプリング座標によって構成されている。手書き情報入力装置10に設置された紙文書001に手書きすると、座標読み取り部003によってX,Y座標で表された一連の手書きパターン002の座標情報が取得される。このとき読み取られた座標情報は、紙文書001を手書き情報入力装置10に設置する際のずれや、紙文書001を印刷する際のずれなどが含まれたものである。
【0063】
(S2)
紙文書001を設置してから手書きパターン002を手書きしている間に、文書識別情報取得部201が文書識別情報004を読み取る。文書識別情報004には、上述した『//C:\MyDocument¥tmp.doc、pp1』のように、ファイル名、当該ファイルの保存場所、ページ番号等が含まれている。
【0064】
図8は、入力領域定義部203に保持されている電子文書の入力領域の座標を示す。各電子文書の各ページには、識別するための識別番号、電子文書の保存場所を示すファイル保存場所(ファイルURL)、電子文書のページ番号、各入力領域(1〜N)の座標、が格納されている。識別番号、ファイル保存場所、ファイル名及びページ番号は、文書識別情報004に含まれているので、文書識別情報004に基づき入力領域定義部203を参照すれば入力領域100の座標が判別する。
【0065】
(S3)
次に、手書き座標情報生成部204は、取得された手書きパターンからいくつかの手書き領域を検出する。手書きパターンから一まとまりの手書きを検出するため、本実施例では周知のクラスタリングの手法を用いる。クラスタリングとは、特徴空間中で距離が近いデータをまとめグループ化するための手法であり、特徴空間を距離に取れば互いに近い座標情報同士をひとつの座標情報群にまとめ、特徴空間として時間を取れば互いに近い時間に筆記された座標情報を同士をひとつの座標情報部群としてまとめることができる。本実施例ではこの座標情報群を手書き領域と称す。
【0066】
図7では、「手」、「2」、「の」の3文字を一まとまりとしてひとつの手書き領域200を検出した。これにより、「手」、「2」、「の」の3文字が、1つの入力領域100に記入されたものと推定できる。
【0067】
手書き領域200は、手書き領域200に含まれる座標情報を包含する四辺形の対角の座標情報{(X1、Y1)(X2、Y2)}などで表される。この座標は、紙文書001ではなく手書き入力部003の所定点(例えば、左上角)を原点とした座標である。したがって、電子文書001DATAの所定点(例えば、左上角)を原点として定義されている入力領域の座標とは異なる場合がある。
【0068】
そこで、手書き領域200の座標が入力領域の座標にあうように補正する。まず、入力領域座標取得部209が電子文書001DATAに対づけて入力領域定義部203に格納されている電子文書001DATAの入力領域100の座標情報を取得する。
【0069】
次いで、領域関連づけ部205は、手書き領域200と入力領域100との関連付けを行う。関連づけとは、手書きパターンが入力されるべき入力領域100(例えば、アンケートであれば手書きされた回答が入力されるべき入力領域100)を決定することを言う。
【0070】
関連付けの方法の一例として、手書き領域200と入力領域100のそれぞれの重心の距離を算出し、当該距離があらかじめ設定した距離よりも短ければ関連付ける。重心の位置は、長方形であれば、入力領域の2つの対角線の交点として求められる。
【0071】
図9(a)は、入力領域100と手書き領域200との関連付けの一例を示す。領域関連づけ部205は、手書き領域200の重心301と入力領域100の重心302との距離を算出する。そして、手書き領域200の重心301と入力領域の重心302との距離lがあらかじめ設定した距離lthよりも小さいか否かに応じて、小さければ関連付けする。
【0072】
また、領域関連づけ部205は、重心間の距離でなく、手書き領域200と入力領域100が互いに重なった重複領域の面積が、あらかじめ設定した面積よりも大きければ関連付けることとしてもよい。図9(b)は、入力領域と手書き領域200を囲む領域とが重なり、所定の面積を有している場合の一例を示す。領域関連づけ部205は、手書き領域200と入力領域100とが重複する領域の面積を算出する。そして、手書き領域200と入力領域100とが重なっている重複領域303の面積Aが、あらかじめ設定した面積Athよりも大きいか否かに応じて、大きければ関連付けする。
【0073】
(S4)
次に、手書き座標変換部206は、それぞれの入力領域100にあわせて、関連付けられた手書き領域200の座標を変換する。手書き座標変換部206は、手書き領域200の重心301が、入力領域の重心302に合致するように、手書き領域200の座標を変換する。
【0074】
座標を変換する変換式の算出手順について説明する。座標の変換は、周知の幾何座標変換法を用いる。
(i) あらかじめ位置がわかっている複数の実際の座標(以後、変換基準点とする) と、それぞれに対応する座標(変換計測点) を計測する。
(ii)それぞれの対応する座標との間で、拡大/縮小、回転、平行移動などの変換・補正式を決定する。たとえば、幾何的な変形が移動のみと仮定した単純な場合にはその変換式は、
x=Xm−(Xt−Xc)
y=Ym−(Yt−Yc) …(1)となる。
【0075】
ただし、(x,y)はそれぞれ変換後の座標(変換座標)、(Xm,Ym)は計測された座標(計測座標)、(Xt,Yt)は変換基準点の座標(基準座標)、(Xc,Yc)は変換式算出時に計測された変換基準点に対応した変換計測点の座標(計測基準座標)である。
(iii)以後、計測された座標を、決定した変換式に基づいて変換する。
【0076】
したがって、(xm,ym)は手書きパターンのストロークを構成する座標点の座標である。
変換基準点の座標(Xt,Yt)は、例えば、
・重心により手書き領域200と入力領域100を重心により関連づけた場合、あらかじめ定義された入力領域100の重心の座標である。
・重複する面積により手書き領域200と入力領域100を重複する面積により関連づけた場合、あらかじめ定義された入力領域の原点の座標である。なお、原点とは、例えば、入力領域の4つの角部のうちの1つである。
変換式算出時に計測された変換基準点に対応した変換計測点の座標(Xc,Yc)は、例えば、
・重心により手書き領域200と入力領域100を重心により関連づけた場合、手書き領域200の重心の座標である。
・重複する面積により手書き領域200と入力領域100を重複する面積により関連づけた場合、手書き領域200の原点の座標である。なお、原点とは、例えば、手書き領域200の4つの角部のうちの1つである。
【0077】
図10は、重心間の距離に基づき座標を変換した座標変換の例を示す。図10(a)は座標変換前の重心間の距離により関連付けられた入力領域100と手書き領域200を、図10(b)は座標変換後の入力領域100と手書き領域200をそれぞれ示す。図10に示すように、手書き座標情報変換部206が、手書き領域200の座標を変換したので、入力領域100の重心302と手書き領域200の重心301とが合致している。
【0078】
また、図11は、重複する面積に基づき座標を変換した座標変換の一例を示す。図11(a)は座標変換互前の重複する面積に基づき関連付けられた入力領域と手書き領域200を示し、図11(b)は座標変換後の入力領域と手書き領域200をそれぞれ示す。図11では、手書き領域200の原点304が入力領域の原点305に合致するように手書き領域200の座標を変換したので、図11(b)に示すように、手書き領域200の原点304と入力領域の原点305とが合致している。
【0079】
以上のようにして、手書き情報入力装置10は、手書き情報入力装置10に設置された紙文書001に印刷ずれや、設置時の位置ずれが生じた状態で手書きパターンが入力されても、取得された手書きパターンの位置を補正できる。このため、文字認識の精度が向上し、実用性に優れた手書き情報入力装置10を提供できる。
【実施例2】
【0080】
続いて、1つの入力領域に対し、複数の手書き領域200が関連付けられた場合について説明する。手書き情報入力装置10のブロック図は図6と同様であるので説明は省略する。
【0081】
図12は、1つの入力領域100と関連づけられた2つの手書き領域200a及び200bとを示す。入力領域100と手書き領域200とが関連づけられるとは、互いの重心位置が所定以下又は重複面積が所定以下の場合、又は、入力領域100と手書き領域200との重複面積が所定以上の場合であるので、この条件を満たす複数の手書き領域が関連づけられる場合がある。
【0082】
本実施例では、領域定義部203は、より新しく入力された手書き領域200を入力領域100に関連付ける。手書きパターンの座標情報は時系列を示す情報(例えば時刻)を有するので、手書きの新旧を簡単に判別できる。手書き領域200aは、手書き領域200bにくらべ古い手書きパターンが記録されている場合、領域定義部203は、手書き領域200bを入力領域100に関連付けられる。
ある入力領域100に一旦誤って手書き入力した後に、改めて正しい内容を手書きする場合、より新しい手書きの内容が正しい入力である可能性が高い。
【0083】
したがって、本実施例によれば、複数の手書き領域が1つの入力領域100に関連付けられた場合、より新しい手書き領域を正しい内容として、文字認識などの後処理に利用することができる。
【実施例3】
【0084】
続いて、1つの手書き領域200に対し、複数の入力領域100が関連付けられた場合について説明する。手書き情報入力装置10のブロック図は図6と同様であるので説明は省略する。
【0085】
図13は、手書き領域200と関連付けられた複数の入力領域100を示す。実施例2と同様に、互いの重心位置が所定以下又は重複面積が所定以下、又は、入力領域100と手書き領域200との重複面積が所定以上、の条件を1つの手書き領域200が複数の入力領域100に対し満たす場合がある。
【0086】
図13では、手書き領域200cと入力領域100aの重複領域310の面積がAth以上であり、手書き領域200cと入力領域100bの重複領域312の面積がAth以上であるため、手書き領域200cに入力領域100aと100bが関連づけられている。また、手書き領域200dと入力領域100aの重複領域311の面積がAth以上であり、手書き領域200dと入力領域100bの重複領域313の面積がAth以上であるため、手書き領域200dに入力領域100aと100bが関連づけられている。
【0087】
このように、1つの手書き領域に対し、複数の入力領域100が関連付けられた場合、領域定義部203は、手書き領域の面積に最も近い入力領域100を関連づける。図13では、手書き領域200cの面積と入力領域100aの面積が近く、また、手書き領域200dの領域の面積と入力領域100bの面積が近いので、手書き領域200cには入力領域100aが関連付けられ、手書き領域200dには入力領域100bが関連付けられる。
【0088】
入力領域100の面積は、住所や名前などの手書きパターンを入力する入力領域は広く、チェックボックスなどは狭い。また、手書きパターンを入力する入力領域であっても、入力内容に応じて面積が定められている場合がある。
【0089】
本実施例によれば、1つの手書き領域に対し、複数の入力領域100が関連付けられた場合でも、手書き領域の面積に最も近い入力領域100を関連づけることで、入力領域を誤らずに手書きパターンを適切に処理することが可能となる。
【実施例4】
【0090】
続いて、座標変換した後、手書き領域200が関連付けられた入力領域100よりも大きい場合について説明する。手書き情報入力装置10のブロック図は図6と同様であるので説明は省略する。
【0091】
手書き領域200は、クラスタリングによりまとめられた一以上のストローク又は一以上の文字を包含するように決定されているので、手書き領域200が入力領域100に収まりきらない場合がある。本実施例では、入力領域100に収まるように手書き領域200の面積をスケーリングする(縮小する)。
【0092】
図14は、関連付けられた入力領域100に包含されるように手書き領域200をスケーリングする説明図を示す。図14(a)は、互いに関連づけられた入力領域100と手書き領域200を、図14(b)は互いの重心の位置が合致するように座標変換した入力領域と手書き領域200を示す。図14(b)に示すように、手書き領域200は、横方向において入力領域100よりも大きい。
【0093】
図14(c)は、手書き領域200をスケーリングした手書き領域200sと入力領域100を示す。スケーリングすることで、手書き領域200sは入力領域100に収まる大きさになっている。
【0094】
スケーリングの方法について説明する。縮小する場合、手書き座標変換部206は、手書き領域200を1画素毎又はストロークを構成する各座標点毎に、重心位置の方向に移動する。重心位置からの距離に応じて移動量は異なり、例えば、重心位置は移動する必要がないので重心位置の移動量はゼロとなり、手書き領域200の4つの頂点はもっとも大きく移動する。
【0095】
重心位置から最も遠い4つの頂点は、入力領域100に収まるように移動されればよい。例えば、手書き座標変換部206は、重心と頂点を結ぶ線分を求め、手書き領域200の頂点の座標を、当該線分が入力領域100の外縁と交わる交点に移動する。図14(c)では、重心位置から頂点までの線分の長さをa、頂点の移動量をbとした。
【0096】
手書き領域200のその他の画素又は座標点については、重心位置からの距離に応じて重心方向に移動する。例えば、重心位置からの距離がm(<a)の座標点の場合、手書き座標変換部206は、(m/a)×bだけ当該座標点を重心に向け移動する。
【0097】
なお、入力領域100と手書き領域200の原点が合致するように座標変換された場合、原点からの距離に応じて、原点方向に画素又は座標点を移動する。
【0098】
本実施例によれば、筆記された手書きパターンが大きすぎた場合でも、スケーリングを施し適切に処理することが可能となる。
【0099】
なお、本実施例では、手書き領域200が入力領域100よりも大きい場合について説明したが、手書き領域200が入力領域100よりも小さい場合にスケーリングしてもよい。例えば、筆記された手書きパターンが入力領域100に比べ小さすぎるような場合である。このような場合、手書き座標変換部206は、重心位置からの距離に応じて、画素又は手書きパターンの座標点の座標を、重心位置から遠ざかる方向に移動することで、手書きパターンを適切に拡大できる。
【実施例5】
【0100】
本実施例では、一枚の紙文書001に対し、複数の入力領域が設定されている場合の座標変換について説明する。図15は、本実施例の手書き情報入力装置10のブロック図を示す。なお、図15において図6と同一部分には同一の符号を伏しの説明は省略する。
【0101】
図15のブロック図では手書き座標情報変換部206が、座標変換値記憶部206a、座標変換値平均部206bを有する。座標変換値記憶部206aは、複数の入力領域100にそれぞれ関連付けられた手書き領域200の、それぞれの座標変換に用いられた座標変換値を記憶する。座標変換値は、例えば、式(1)における(Xt−Xc)、(Yt−Yc)である。(Xt−Xc)はX方向の重心又は原点間の変位を、(Yt−Yc)はY方向の重心又は原点間の変位を示すので、この値を座標変換値として各入力領域毎に記憶する。なお、実施例4のようにスケーリングした場合には、重心位置から頂点までの線分の長さをa、頂点の移動量bをさらに記憶してもよい。
【0102】
座標変換値平均部206bは、座標変換値記憶部206aに記憶された複数の座標変換値を平均する。したがって、一枚の紙文書001に対し、複数の入力領域が設定されている場合、複数の入力領域にたいし手書き領域200の座標をそれぞれ変換した変換値を平均化できる。
【0103】
一枚の紙文書001に複数の入力領域100が設定されている場合、座標情報のずれの要因となることの多い紙文書の設置ずれや印刷時のずれは、一枚の紙文書001に対して一様であることが多い。このため、複数の手書き領域200の座標変換値を平均化して、座標変換を行うことでよりばらつきの少ない座標変換を実施できる。
【0104】
座標変換値平均部206bが座標変換値を平均化したら、手書き座標変換部206は複数の手書き領域200の座標を、平均化された座標変換値に基づき変換する。
【0105】
本実施例によれば、複数の入力領域が設定されている場合、複数の入力領域に対する手書き領域の座標変換値を平均化できるので、紙文書001に対し正確な座標変換を実施できる。
【0106】
以上のように、本実施の形態の手書き情報入力装置は、レーザ等を必要とせずに簡易な構成で紙文書の位置ずれを検出し、手書きされた内容の座標情報を補正することができる。位置ずれを補正することで、手書きパターンを精度よく入力でき文字の認識率の向上が図られ、また、紙文書が正規の位置からずれていても手書きパターンが精度よく入力できるので実用性が高い。
【図面の簡単な説明】
【0107】
【図1】従来の手書き情報入力装置の概略図である。
【図2】紙文書の位置ずれの検出方法を説明するための図である。
【図3】手書き情報入力装置の斜視図である。
【図4】電子文書に予め定められている入力領域の一例を示す図である。
【図5】手書きパターンの入力の流れを示すフローチャート図である。
【図6】手書き情報入力装置のブロック図である。
【図7】紙文書に手書きされた手書きパターンの一例を示す図である。
【図8】入力領域定義部に保持されている電子文書の入力領域の座標を示す図である。
【図9】入力領域と関連づけられた手書き領域の一例を示す図である。
【図10】重心間の距離に基づき関連づけし座標を変換した座標変換の例を示す図である。
【図11】重複する面積に基づき関連づけし座標を変換した座標変換の例を示す図である。
【図12】1つの入力領域と関連づけられた2つの手書き領域を示す図である。
【図13】手書き領域と関連付けられた複数の入力領域を示す図である。
【図14】関連付けられた入力領域に包含されるように手書き領域をスケーリングする説明図である。
【図15】実施例5の手書き情報入力装置のブロック図である。
【符号の説明】
【0108】
001 紙文書
002 手書きパターン
003 手書き入力部
004 文書識別情報
005 文書識別情報読み取り装置
006 専用入力ペン
007 バインダ
008 電子文書001DATAの内容

【特許請求の範囲】
【請求項1】
紙文書の紙面に手書きされた手書きパターンを座標情報として取得する手書き情報入力装置であって、
前記紙文書が有する当該紙文書を識別するための文書識別情報を取得する文書識別情報取得部と、
前記文書識別情報取得手段が取得した前記文書識別情報に基づき、前記紙文書に定められた手書きのための入力領域の座標が格納された入力領域定義部から前記入力領域の座標を取得する入力領域座標取得部と、
前記手書きパターンの座標情報に基づき、前記入力領域又はその周辺に手書きされた手書きパターンの手書き領域を検出する手書き領域検出部と、
前記手書き領域検出部が検出した前記手書き領域の座標と前記入力領域座標取得部が取得した前記入力領域の座標とに基づき、前記手書き領域と前記入力領域とを関連づける領域関連付け部と、
前記領域関連付け部により前記入力領域に関連づけられた前記手書き領域と前記入力領域との位置ずれを補正するため、前記手書き領域の座標を変換する手書き座標変換部と、
を有することを特徴とする手書き情報入力装置
【請求項2】
前記領域関連付け部は、前記入力領域の重心と前記手書き領域の重心との距離が所定以下である場合、前記入力領域と前記手書き領域とを関連づける、
ことを特徴とする請求項1記載の手書き情報入力装置
【請求項3】
前記領域関連付け部は、前記入力領域と前記手書き領域の重複領域の面積が、所定以上である場合、前記入力領域と前記手書き領域とを関連づける、
ことを特徴とする請求項1記載の手書き情報入力装置。
【請求項4】
前記手書き座標変換部は、前記領域関連付け部により関連づけられた前記入力領域と前記手書き領域のそれぞれの重心が合致するように前記手書き領域の座標を変換する、
ことを特徴とする請求項1記載の手書き情報入力装置。
【請求項5】
前記手書き座標変換部は、前記領域報関連付け部により関連づけられた前記入力領域と前記手書き領域のそれぞれの原点が合致するように前記手書き領域の座標を変換する、
ことを特徴とする請求項1記載の手書き情報入力装置。
【請求項6】
前記領域関連付け部は、前記入力領域の重心と前記手書き領域の重心との距離が所定以下である前記手書き領域が複数ある場合、又は、
前記入力領域と前記手書き領域の重複領域の面積が所定以上である前記手書き領域が複数ある場合、
複数の前記手書き領域のうち、新しい前記手書き領域を前記入力領域に関連付ける、
ことを特徴とする請求項1ないし3いずれか記載の手書き情報入力装置。
【請求項7】
前記領域関連付け部は、前記入力領域の重心と前記手書き領域の重心との距離が所定以下である前記入力領域が複数ある場合、又は、
前記入力領域と前記手書き領域の重複領域の面積が所定以上である前記入力領域が複数ある場合、
複数の前記入力領域のうち、前記手書き領域の面積に近い面積を有する前記入力領域を当該手書き領域に関連づける、
ことを特徴とする請求項1ないし3いずれか記載の手書き情報入力装置。
【請求項8】
前記手書き座標変換部は、
前記領域報関連付け部により前記入力領域に関連づけられた前記手書き領域の大きさを当該入力領域の大きさに合わせて縮小又は拡大するように前記手書き領域の座標を変換する、
ことを特徴とする請求項1記載の手書き情報入力装置。
【請求項9】
前記紙文書に複数の前記入力領域がある場合、
前記手書き座標変換部は、
前記領域関連付け部により関連づけられた、複数の前記入力領域と前記手書き領域との前記位置ずれを平均化し、
平均化された前記位置ずれに基づき前記手書き領域の座標を変換する、
ことを特徴とする請求項1記載の手書き情報入力装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate


【公開番号】特開2007−48217(P2007−48217A)
【公開日】平成19年2月22日(2007.2.22)
【国際特許分類】
【出願番号】特願2005−234713(P2005−234713)
【出願日】平成17年8月12日(2005.8.12)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】