手書き情報入力装置
【課題】手書き入力された筆跡の認識結果の入力先項目を指定する必要がない、手書き情報入力装置を提供する。
【解決手段】手書き入力領域とテキスト入力項目領域とを有するタブレット10と、手書き入力領域に表示された筆跡の少なくとも一部が選択されるとその筆跡を確定する筆跡選択処理部12と、筆跡選択処理部12で確定された筆跡を認識する筆跡認識部13と、テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部14と、項目記憶部14に記憶された情報に基づき、テキスト入力項目領域中の少なくとも一部の入力項目を順次指定することにより、筆跡の認識結果をどの入力項目へ送るかを操作者に対して指定する項目選択処理部15と、指定された入力項目へ認識結果を送り込む項目入力部16とを備えた手書き情報入力装置である。
【解決手段】手書き入力領域とテキスト入力項目領域とを有するタブレット10と、手書き入力領域に表示された筆跡の少なくとも一部が選択されるとその筆跡を確定する筆跡選択処理部12と、筆跡選択処理部12で確定された筆跡を認識する筆跡認識部13と、テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部14と、項目記憶部14に記憶された情報に基づき、テキスト入力項目領域中の少なくとも一部の入力項目を順次指定することにより、筆跡の認識結果をどの入力項目へ送るかを操作者に対して指定する項目選択処理部15と、指定された入力項目へ認識結果を送り込む項目入力部16とを備えた手書き情報入力装置である。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、操作者が手書き入力によりデータを自由に入力できる手書き入力領域と、予め定められた項目へテキストデータを入力するテキスト入力項目領域とを備えた手書き情報入力装置に関し、特に、手書き入力された筆跡を認識し、その認識結果をテキスト入力項目領域へ容易に入力することが可能な手書き情報入力装置に関連する。
【背景技術】
【0002】
顧客や電話応対などのフロント業務では、応対中に紙へメモ書きを行い、応対完了後にメモを見ながらキーボードやマウス操作を行って、コンピュータへ情報入力することが多い。このような業務では、(1)メモ書きとデータ入力の手間が重複し、特にキーボードに不慣れな作業員の作業効率が低下する、(2)図形の入力はキーボードやマウスでは難しい、(3)メモ原本の保存にコストがかかる、といった問題がある。
【0003】
このような問題を解決するため、タブレットなどを利用して、電子的に入力した手書きメモから必要部分を選択して入力できる手書き情報入力装置が知られている。ここで、図17〜図23を参照し、従来の手書き情報入力装置における入力方法について説明する。
【0004】
まず、操作者が、図17のメイン画面の手書きメモ起動ボタン101を押すと、図18に示すように、手書きメモ入力ウィンドウ102が開く。手書きメモ入力ウィンドウ102内には、ペン等による手書き入力が可能な手書き入力領域102aが設けられている。操作者は、そこに、図18に示すようにメモ内容を筆記する。筆記後、手書きメモ入力ウィンドウ102の「閉じる」ボタン102bを押すと、図19のようにメイン画面に戻り、メモ表示領域103に、さきほど記入した手書きメモが表示される。なお、メモ表示領域103では、メモは追記できず、閲覧および筆跡の選択のみが可能である。これにより、操作者が手書きメモ入力モードと筆跡選択モードを意識しないで済む。
【0005】
この後、操作者は、図20に示すように、ペンを用いた囲みジェスチャにより、メモ表示領域103において、認識させたい筆跡を選択する。図20では、操作者がメモ表示領域103において「中島」という筆跡を選択したものとして、囲みジェスチャの軌跡104が表示されている。
【0006】
上述のように筆跡を選択した後、操作者が、図21に示すように、テキスト入力項目領域105において認識結果を入力したい項目の横のボタンを押すと、文字認識ウィンドウ106が起動される。図21では、操作者により、「お客様」ボタン105bが押されている。文字認識ウィンドウ106には、図20で操作者が選択した筆跡の認識結果の候補が表示される。これと同時に、文字認識ウィンドウ106からは、認識結果の入力先を指し示す矢印状図形107が、操作者が押下した「お客様」ボタン105bに向けて表示される。これにより、操作者は、文字認識ウィンドウ106での認識結果が「お客様」の項目へ入力されることを視認できる。文字認識ウィンドウ106での認識結果に誤りが無かった場合、操作者が文字認識ウィンドウ106の確定ボタン106aを押すことで、図22に示すように、「お客様」の項目へ認識結果が入力される。
【0007】
なお、図23に示すように、文字認識ウィンドウ106に表示された認識結果候補が「こンビニのとなり」であって操作者がこれを訂正したい場合、この認識結果候補の先頭文字の「こ」をペンでタップすると、文字認識ウィンドウ106の候補選択欄106bに他の認識候補文字が表示されると共に、文字認識ウィンドウ106の上部に、操作者が指定した筆跡からどのように文字が切り出されたかを表示するウィンドウ107が起動される。
筆跡からの切り出し方が誤っていた場合、ウィンドウ107上で文字を囲んだり、線を引いたりすることにより、文字の切り出し誤りを訂正することができる。なお、ウィンドウ107を用いず、手書きウィンドウ106の記入枠106cに、正しい文字を手書きで書き直しても良い。
【0008】
以上のように、従来の手書き情報入力装置では、(1)操作者がメモ書きした情報を再入力する手間が省ける、(2)手書き入力であるため、図形の入力も容易である、(3)メモ原本を保存する必要がない、という点で、手書きメモから応答完了後にコンピュータへ情報を手で入力する方法よりも有利である。
【0009】
また、手書きメモ領域に手書き入力でメモを書くと、入力画面の各項目に対応するデータが自動的に認識され、当該項目へ入力されるシステムも知られている(例えば、特許文献1参照)。
【特許文献1】特開2000−181606号公報(図9,図10、第12〜13頁)
【発明の開示】
【発明が解決しようとする課題】
【0010】
しかしながら、図17〜図23を参照しながら説明した従来の手書き情報入力装置は、以下のような問題がある。
【0011】
上記従来の手書き情報入力装置では、ディスプレイの解像度等の制約から、メモを多く書けるようにするために、手書きメモ入力ウィンドウ102の面積を大きくする必要がある。また、記入したメモからの筆跡選択を容易にする必要があるので、メモをあまり小さく縮小表示することもできず、手書きメモ入力ウィンドウ102またはメモ表示領域103と同時に表示することができる入力項目数が制限される。
【0012】
従って、入力項目の数が多い場合は、入力項目が複数のウィンドウ上に分散して配置される。この場合、操作者は、認識結果の入力先となる項目を探すために、上記複数のウィンドウの切り替え操作をする必要があった。
【0013】
また、入力項目とメモ表示領域103が同一画面に表示されている場合であっても、メモ表示領域103で筆跡を選択し、認識結果の入力先の項目を指定するために、画面上でペンを何度も往復させる必要があり、操作者にとっては煩わしいものであった。
【0014】
本発明は、このような問題に鑑み、手書き入力によって入力された筆跡の認識結果の入力先項目を簡便に指定することが可能な、あるいは、入力先項目を指定する必要がない、手書き情報入力装置を提供することを目的としている。
【課題を解決するための手段】
【0015】
上記の目的を達成するために、本発明にかかる第1の手書き情報入力装置は、文字、記号、または図形の手書きによる入力を受け付けると共に入力された筆跡を表示する手書き入力領域と、テキスト入力項目領域とを有する入出力装置と、前記手書き入力領域に表示された筆跡の少なくとも一部を選択する手書き入力を受け付け、選択された筆跡を確定する筆跡選択処理部と、前記筆跡選択処理部により確定された筆跡を受け取って認識する筆跡認識部と、前記テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部と、前記項目記憶部に記憶された情報に基づき、前記筆跡認識部の認識結果を、前記テキスト入力項目領域中のどの入力項目へ送るかを操作者に選択させるための項目リストを生成し、前記入出力装置へ表示させる項目選択処理部と、前記項目リストにおいて選択された入力項目へ、前記筆跡認識部の認識結果を送り込む項目入力部とを備えることを特徴とする。
【0016】
上記の構成によれば、筆跡認識部の認識結果を、前記テキスト入力項目領域中のどの入力項目へ送るかを操作者に選択させるための項目リストが入出力装置へ表示されるので、操作者は、認識結果の入力先となる項目を探すために、従来のように複数のウィンドウの切り替え操作をしたり、認識結果の入力先の項目を指定するために入出力装置の画面上で手を何度も往復させたりする必要がない。これにより、手書き入力によって入力された筆跡の認識結果の入力先項目を簡便に指定することが可能な手書き情報入力装置を提供できる。
【0017】
本発明にかかる第1の手書き情報入力装置において、前記項目選択処理部は、前記項目リストを、前記筆跡選択処理部により筆跡が選択された後に表示することが好ましい。あるいは、前記項目選択処理部は、前記項目リストを、前記筆跡選択処理部により筆跡が選択される前に表示するようにしても良い。
【0018】
上記第1の手書き情報入力装置において、前記項目選択処理部は、前記項目リストを、前記筆跡選択処理部により選択された筆跡の近傍に表示することが好ましい。操作者が入出力装置の画面上で手を移動させる距離が短くて済むため、操作がさらに簡便になるからである。
【0019】
本発明にかかる第1の手書き情報入力装置において、前記入出力装置が、項目リストにおいて選択された入力項目が表示されるように、前記テキスト入力項目領域における表示項目を切り替えることが好ましい。操作者がテキスト入力項目領域において入力項目を容易に視認することが可能となるからである。
【0020】
本発明にかかる第1の手書き情報入力装置において、同一の筆跡から、前記入力項目へのデータ入力を複数回行う場合、二回目以降に前記項目リストを表示する際に、前回までに選択された入力項目を選択不可能な状態として表示する、または、前回までに選択された入力項目を前記項目リストから除いて表示することが好ましい。選択済みの入力項目を項目リストから省くことにより、項目リストにおける選択肢が絞られ、操作者が入力項目の選択をより容易に行えるからである。
【0021】
本発明にかかる第1の手書き情報入力装置において、前記テキスト入力項目領域に表示される入力項目に関して、各項目に対する入力データの統計的情報を記憶した推定情報記憶部と、前記筆跡認識部による認識結果の内容と、前記推定情報記憶部の統計的情報とに基づいて、当該認識結果を送り込むべき入力項目を推定し、推定結果を前記項目選択処理部へ渡すことにより、前記項目リストに提示する項目を絞り込む項目推定部とをさらに備えたことが好ましい。この構成によれば、入力項目と認識結果が整合している場合は、操作者は、項目リストを自分で選択しなくても、例えば確定ボタン等を押すだけの極めて簡単な操作で、当該項目へ認識結果を送り込むことができるからである。
【0022】
本発明にかかる第2の手書き情報入力装置は、文字、記号、または図形の手書きによる入力を受け付けると共に入力された筆跡を表示する手書き入力領域と、テキスト入力項目領域とを有する入出力装置と、前記手書き入力領域に表示された筆跡の少なくとも一部を選択する手書き入力を受け付け、選択された筆跡を確定する筆跡選択処理部と、前記筆跡選択処理部により確定された筆跡を受け取って認識する筆跡認識部と、前記テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部と、前記項目記憶部に記憶された情報に基づき、前記テキスト入力項目領域中の少なくとも一部の入力項目を順次指定することにより、前記筆跡認識部の認識結果を前記テキスト入力項目領域中のどの入力項目へ送るかを操作者に対して指定する項目選択処理部と、前記項目選択処理部が指定した入力項目へ、前記筆跡認識部の認識結果を送り込む項目入力部とを備えたことを特徴とする。
【0023】
上記の構成によれば、項目選択処理部が、テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部の当該情報に基づき、前記テキスト入力項目領域中の少なくとも一部の入力項目を順次指定する。操作者は、指定された入力項目へ入力すべき筆跡を選択すれば、その認識結果が、項目入力部によって当該入力項目へ送り込まれる。これにより、操作者は、認識結果の入力先となる項目を探すために、従来のように複数のウィンドウの切り替え操作をしたり、認識結果の入力先の項目を指定するために入出力装置の画面上で手を何度も往復させたりする必要がない。これにより、手書き入力によって入力された筆跡の認識結果を、入力先項目を指定することなく、簡便に入力することが可能な手書き情報入力装置を提供できる。
【0024】
また、上記の目的を達成するために、本発明にかかる第1のプログラムは、文字、記号、または図形の手書きによる入力を受け付けると共に入力された筆跡を表示する手書き入力領域と、テキスト入力項目領域とを有する入出力装置を備えたコンピュータに手書き情報入力処理を実行させるプログラムであって、前記コンピュータに、前記手書き入力領域に表示された筆跡の少なくとも一部を選択する手書き入力を受け付け、選択された筆跡を確定する筆跡選択処理と、前記筆跡選択処理により確定された筆跡を受け取って認識する筆跡認識処理と、前記テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部を参照し、前記情報に基づき、前記筆跡認識処理の認識結果を、前記テキスト入力項目領域中のどの入力項目へ送るかを操作者に選択させるための項目リストを生成し、前記入出力装置へ表示させる項目選択処理と、前記項目リストにおいて選択された入力項目へ、前記筆跡認識処理の認識結果を送り込む項目入力処理とを実行させることを特徴とする。
【0025】
また、上記の目的を達成するために、本発明にかかる第2のプログラムは、文字、記号、または図形の手書きによる入力を受け付けると共に入力された筆跡を表示する手書き入力領域と、テキスト入力項目領域とを有する入出力装置を備えたコンピュータに手書き情報入力処理を実行させるプログラムであって、前記コンピュータに、前記手書き入力領域に表示された筆跡の少なくとも一部を選択する手書き入力を受け付け、選択された筆跡を確定する筆跡選択処理と、前記筆跡選択処理により確定された筆跡を受け取って認識する筆跡認識処理と、前記テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部を参照し、前記情報に基づき、前記テキスト入力項目領域中の少なくとも一部の入力項目を順次指定することにより、前記筆跡認識処理の認識結果を前記テキスト入力項目領域中のどの入力項目へ送るかを操作者に対して指定する項目選択処理と、前記項目選択処理で指定した入力項目へ、前記筆跡認識処理の認識結果を送り込む項目入力処理とを実行させることを特徴とする。
【発明の効果】
【0026】
本発明によれば、手書き入力によって入力された筆跡の認識結果の入力先項目を簡便に指定することが可能な、あるいは、入力先項目を指定する必要がない、手書き情報入力装置を提供することができる。
【発明を実施するための最良の形態】
【0027】
[第1の実施形態]
図1は、本発明の第1の実施形態にかかる手書き情報入力装置の概略構成を機能的に示したブロック図である。
【0028】
本実施形態にかかる手書き情報入力装置は、ペンを用いて画面に手書き入力が可能な、いわゆるタブレット型パーソナルコンピュータや、ディスプレイタブレットを装備したパーソナルコンピュータまたはPDA等である。また、本実施形態の手書き情報入力装置は、手書き入力によって任意のメモ書きが可能であり、メモ書きされた筆跡の少なくとも一部を操作者が選択すると、選択箇所の文字等を認識し、認識結果をテキスト入力項目へ送り込むことが可能な構成である。
【0029】
このため、図1に示すように、本実施形態の手書き情報入力装置は、入出力装置としてのタブレット10、手書きメモ入力処理部11、筆跡選択処理部12、筆跡認識部13、項目記憶部14、項目選択処理部15、項目入力部16、および、表示制御部17を備えている。
【0030】
手書きメモ入力処理部11および表示制御部17は、タブレット10上での手書き入力処理を制御する機能およびメモ内容の記憶機能を持つ。手書きメモ入力処理部11は、操作者があたかも紙にメモ書きをするように画面上にペンで文字や図形を描くと、周知の方法により、そのペン先の座標を検出する。検出された座標は、表示制御部17へ渡され、表示制御部17によりペンの軌跡(筆跡)が画面に表示される。メモに内容の保存方法としてはすべてのデータをビットマップのような画像として保存しても良いが、入力筆跡を筆跡毎に所定時間毎の座標点の時系列情報をストローク情報として保存しておけば、あとで筆跡を認識させる場合に筆跡の抽出が容易となるので、タブレットで入力する場合は入力筆跡を座標点の時系列情報をストローク情報として保存することが好ましい。また、手書きメモ入力処理部11は、メモ内容を画像として保存したり、表示制御部17と連携して背景にイメージを表示したりする機能も持っていても良い。
【0031】
筆跡選択処理部12は、手書きメモ入力処理部11により入力された筆跡のうち、認識対象とする部分を操作者に選択させ、選択された部分を筆跡認識部13へ送る。筆跡認識部13は、筆跡選択処理部12から送られた筆跡を、文字パターン辞書(図示せず)を用いて、文字認識を行う。なお、筆跡選択処理部12で選択された部分から文字だけでなく、記号、図形等を切り出し、文字パターン辞書や図形パターン辞書を用いて、切り出された文字等のそれぞれを認識するようにしても良い。また、筆跡認識部13は、認識結果が正しくない場合は、操作者による操作に従って認識結果の修正も行う。
【0032】
項目記憶部14は、入力項目のタイトルを記憶している。項目選択処理部15は、項目記憶部14に記憶されている入力項目のリストメニューを画面に表示し、筆跡認識部13による認識結果をどの項目へ入力すべきかを、操作者に選択させる。
【0033】
項目入力部16は、筆跡認識部13による認識結果を、項目選択処理部15により操作者に選択されたテキスト入力項目への入力データとして入力する。表示制御部17は、画面上での種々の表示動作を制御する。
【0034】
上記の構成にかかる手書き情報入力装置の動作を、図2〜図6を参照しながら以下に説明する。
【0035】
図2は、本実施形態の手書き情報入力装置において、操作者がペンを用いた手書き入力によりメモの入力を完了し、メモの筆跡中で、テキスト入力項目領域へ送り出すべきデータを囲みジェスチャで選択したときの状態を示している。
【0036】
図2では、画面の上部にテキスト入力項目領域R1が表示され、その下に手書きメモ表示領域R2が表示されている。本実施形態の手書き情報入力装置では、手書きメモ表示領域R2に手書き入力した筆跡の一部を選択し、テキスト入力項目領域R1の所望の項目へ、入力データとして送り込むことが可能である。ただし、テキスト入力項目領域R1において、項目タイトルが表示されているボタンをペンでタップすれば、手書きメモ表示領域R2のメモ以外のデータを、当該ボタンの横の入力枠へ入力することも可能である。
【0037】
テキスト入力項目領域R1には、当該領域の面積に応じて、項目記憶部14に記憶されている入力項目の一部について、そのタイトルと入力欄が表示される。図2の例では、「住所」と「氏名」の二項目のみが表示されている。後に詳述するように、本実施形態の手書き情報入力装置では、操作者はテキスト入力項目領域R1において入力先項目を指定するわけではないので、テキスト入力項目領域R1に全項目を表示する必要はない。
【0038】
手書きメモ表示領域R2は、操作者がペンで画面上に書いたメモの画像を表示する。手書きメモ表示領域R2は、操作者は記入済みのメモの筆跡に対して選択操作のみが可能であり、メモの追記は不可能となっている。なお、手書きメモの入力時には、手書きメモ入力処理部11と表示制御部17との連携処理により、手書きメモ表示領域R2よりも広い面積を持つ手書きメモ入力ウィンドウが画面に表示される。そして、操作者がこのウィンドウへの手書きメモの記入を終了すると、そのメモ内容の画像が、手書きメモ入力処理部11と表示制御部17との連携処理により、手書きメモ表示領域R2に表示される。
【0039】
手書きメモ表示領域R2および手書きメモ入力ウィンドウの少なくとも一部には、図2に例示するように、任意の画像(この例では地図)を表示することもできる。なお、図2は一例に過ぎず、テキスト入力項目領域R1および手書きメモ表示領域R2のそれぞれの表示態様や、各領域の位置または面積比等は、この例のみに限定されるものではない。
【0040】
図2の例では、操作者が、メモの筆跡中の「富士通」という部分を、ペンで囲む操作(囲みジェスチャ)を行うことにより、この部分を、テキスト入力項目領域R1へ送り込むべきデータとして選択している。図2中の軌跡71は、囲みジェスチャの軌跡であり、表示制御部17によって手書きメモ表示領域R2上に表示される。これにより、操作者は自らが選択した部分を視認できる。なお、囲みジェスチャの軌跡は、このように円形状でなくても良く、矩形状であっても良い。また、操作者が、筆跡から選択する部分を指定する方法は、囲みジェスチャに限定されない。例えば、選択する部分を直線状または曲線状になぞったり、選択する部分を矩形領域として、その対角線上の頂点を指定したりする方法等、種々の方法を用いることができる。
【0041】
操作者が、このように手書きメモ表示領域R2において、例えば囲みジェスチャで筆跡の一部を選択すると、筆跡選択処理部12は、囲みジェスチャの軌跡で囲まれた領域の画像を、筆跡認識部13へ送る。
【0042】
これと同時に、項目選択処理部15は、項目記憶部14に記憶されている入力項目のタイトルを読み出して表示制御部17へ送る。表示制御部17により、図3に示すように、そのタイトルを列挙した項目リスト72が画面に表示される。この項目リスト72の表示位置は任意であるが、囲みジェスチャの軌跡で囲まれた領域の近傍に表示することが、操作を容易にする点では好ましい。
【0043】
なお、上記では、手書きメモ表示領域R2において囲みジェスチャで筆跡の一部を選択した後に、項目リスト72が表示されるものとした。しかし、項目リスト72を予め表示して操作者に項目を選択させた後に、当該項目へ入力すべきデータに対応する筆跡を、手書きメモ表示領域R2において選択させるようにしても良い。
【0044】
また、項目リスト72の表示方法としては、表示制御部17による制御の下で、以下のような種々の態様が考えられる。
【0045】
例えば、項目リスト72を、囲みジェスチャで筆跡の選択した領域の近傍に表示する態様である。表示制御部17が選択領域の位置情報を取得し、選択領域の近くに項目リスト72を表示すれば、項目の選択時にペン先の移動量が少なくて済み、操作がより簡便になる。
【0046】
また、項目リスト72を、囲みジェスチャで筆跡の選択を完了したときのペン先位置の近くに表示する態様である。例えば、本実施形態の手書き情報入力装置が電磁誘導式のタブレットを採用している場合は、ペン先が画面に接していなくても、ペン先の位置を判別することが可能である。従って、表示制御部17がペン先位置の情報を取得し、ペン先の近くに項目リスト72を表示すれば、項目の選択時にペン先の近くに項目リストが表示されるため、ペン先の移動量が更に少なくて済み、操作がより簡便になる。
【0047】
また、項目リスト72が、囲みジェスチャで筆跡の選択を完了してから項目の選択を完了するまで、ペン先の移動に追従して表示される態様としても良い。上記と同様に、手書き情報入力装置が電磁誘導式のタブレットを採用している場合は、ペン先が画面に接していなくても、ペン先の位置を判別することが可能である。従って、表示制御部17がペン先位置の情報を逐次取得し、ペン先の移動に追従するように項目リスト72を表示すれば、筆跡の選択後にペンを移動させても常にペン先の近くに項目リストが表示されるため、項目の選択時にペン先の移動量が更に少なくて済み、操作がより簡便になる。
【0048】
なお、電磁誘導式以外のタブレット(例えば感圧式タブレット)を採用している場合は、筆跡の選択を完了してペンアップした位置の近傍に、項目リストを表示するようにしても良い。あるいは、筆跡を選択するためにペンダウンした位置の近傍に、項目リストを表示するようにしても良い。
【0049】
あるいは、手書きメモ表示領域R2においてメモの筆跡や背景画像がない場所を表示制御部17が判断し、項目リスト72を表示するようにしても良い。
【0050】
また、ペンの胴体部に押しボタンが設けられている場合、筆跡選択前または筆跡選択後に操作者がボタンを押したときに、項目リスト72を所定の位置または上述のようにペン先近傍等に表示するようにしても良い。
【0051】
図3に示した項目リスト72には、「氏名」、「住所」、「電話」、「内容」、「目標物」という入力項目タイトルの他に、項目リスト72を閉じるための「閉じる」という欄が含まれている。操作者が、リストメニュー72に列挙された入力項目タイトルのいずれかを選択してペンでタップすると、項目選択処理部15は、タップされた項目がどれであるかを表す選択項目情報を、項目入力部16と表示制御部17へ送る。ここでは、「氏名」を操作者が選択したものとする。
【0052】
また、筆跡認識部13は、筆跡選択処理部12から送られた筆跡データ(又は画像)から文字または記号や図形を切り出し、切り出した文字等の各々を認識する。筆跡データ(又は画像)から文字等を切り出す方法、および、切り出した文字等を認識する方法としては、公知の任意の手法を用いることができる。なお、文字等の「切り出し」とは、筆跡データ(又は画像)から、一つの独立した文字等を含むと判断される筆跡群(又は画像領域)を抽出する処理を意味し、文字等の「認識」とは、切り出された筆跡群(又は画像)を文字パターン辞書や図形パターン辞書を用いて、当該筆跡群がコンピュータ上で用いられているキャラクタセットのうちのどのキャラクタに相当するかを特定したり、図形パターン辞書と合致する図形であることを特定することを意味する。
【0053】
筆跡認識部13が、その認識結果を表示制御部17へ送ることにより、図4に示すように認識結果を表示する文字認識ウィンドウ73が画面に表示される。また、表示制御部17は、項目選択処理部15から送られた選択項目情報に基づき、文字認識ウィンドウ73から、テキスト入力項目領域R1における当該項目を指す矢印状図形74を、画面に表示する。すなわち、図4に示す例では、操作者が「氏名」という入力項目を選択したため、矢印状図形74の先端は、テキスト入力項目領域R1の「氏名」の欄を差している。これにより、操作者は、文字認識ウィンドウ73における認識結果が「氏名」の欄に入力されることを視認できる。
【0054】
そして、操作者が、文字認識ウィンドウ73において「確定」ボタン73aをタップすると、項目入力部16により、文字認識ウィンドウ73における認識結果である「富士通」というテキストが、「氏名」の入力データとして取り込まれ、ディスクに記憶される。これと同時に、表示制御部17により、図5に示すように、テキスト入力項目領域R1の「氏名」の欄に、文字認識ウィンドウ73の認識結果である「富士通」というテキストが表示される。
【0055】
なお、図5は、操作者が、引き続き、メモの筆跡中の「043−934−0579」という部分を、ペンによる囲みジェスチャにより、テキスト入力項目領域R1へ送り込むべきデータとして選択した状態を示している。
【0056】
操作者が、このように手書きメモ表示領域R2において、囲みジェスチャで筆跡の一部を選択すると、筆跡選択処理部12は、囲みジェスチャの軌跡で囲まれた領域の画像を、筆跡認識部13へ送る。また、表示制御部17が、囲みジェスチャの軌跡を画面に表示することにより、操作者は自らが選択した部分を視認できる。
【0057】
これと同時に、項目選択処理部15は、項目記憶部14に記憶されている入力項目のタイトルを読み出して表示制御部17へ送る。表示制御部17により、図5に示すように、そのタイトルを列挙した項目リスト72が画面に表示される。図5の項目リスト72には、「氏名」、「住所」、「電話」、「内容」、「目標物」という入力項目タイトルの他に、項目リスト72を閉じるための「閉じる」という欄が含まれている。なお、ここでは、図3に示した項目リストと図5に示した項目リストは同一であるが、二回目以降に項目リストを表示する際に、前回までに選択された項目タイトルを除外した項目リストを表示するようにしても良い。これにより、同じ入力項目を誤って選択することがなくなる。あるいは、図6に示すように、項目リスト72において、項目名と選択欄を設け、項目選択時には選択欄をチェックし、前回までに選択された項目タイトルにチェックマークを付けて表示するようにしても良い。
【0058】
操作者が、リストメニュー72に列挙された入力項目タイトルのいずれかを選択してペンでタップすると、項目選択処理部15は、タップされた項目がどれであるかを表す選択項目情報を、項目入力部16と表示制御部17へ送る。ここでは、「電話」を操作者が選択したものとする。
【0059】
筆跡認識部13は、筆跡選択処理部12から送られた筆跡データ(又は画像)から文字や図形を切り出し、切り出した文字や図形の各々を認識する。筆跡認識部13が、その認識結果を表示制御部17へ送ることにより、図7に示すように認識結果を表示する文字認識ウィンドウ73が画面に表示される。また、表示制御部17は、項目選択処理部15から送られた選択項目情報に基づき、文字認識ウィンドウ73から、テキスト入力項目領域R1において当該項目を指す矢印状図形74を、画面に表示する。
【0060】
なお、図7に示す例では、操作者が「電話」という入力項目を選択したため、表示制御部17により、テキスト入力項目領域R1の表示態様が、選択された項目を含むように変更され、「電話」および「内容」という項目欄が表示されている。そして、矢印状図形74の先端は、テキスト入力項目領域R1の「電話」の欄を差している。これにより、操作者は、文字認識ウィンドウ73における認識結果が、テキスト入力項目領域R1の「電話」の欄に入力されることを視認できる。
【0061】
そして、操作者が、文字認識ウィンドウ73において「確定」ボタン73aをタップすると、項目入力部16により、文字認識ウィンドウ73における認識結果である「043−934−0579」というテキストが、「電話」の入力データとして取り込まれ、ディスクに記憶される。これと同時に、表示制御部17により、図8に示すように、テキスト入力項目領域R1の「電話」の欄に、文字認識ウィンドウ73の認識結果である「043−934−0579」というテキストが表示される。
【0062】
以上のような動作を、操作者が筆跡の一部を選択する毎に繰り返すことにより、テキスト入力項目領域R1の必要箇所へ、手書き入力されたメモの内容が送り込まれる。
【0063】
ここで、認識結果の入力先項目の選択を行うための項目リスト表示から、文字認識ウィンドウ73による認識処理までの流れ図を、図9に示す。
【0064】
図9に示すように、操作者により筆跡が選択されると(S1にてYes)、筆跡選択処理部12は、選択された筆跡をディスク(手書き情報入力装置内のハードディスク等)に書き出す(S2)。そして、項目選択処理部15が、項目記憶部14に予め登録されている項目タイトルを参照して項目リスト72を生成して表示し、操作者からの項目の選択入力を受け付ける(S3)。操作者が選択した項目は、表示制御部17に渡され、表示制御部17と筆跡認識部13との連携により、文字認識ウィンドウ73が起動される(S4)。文字認識ウィンドウ73が起動されると、ディスクから、選択された筆跡を読み出し、文字認識ウィンドウ73において認識処理を行う(S5)。ここでは、選択された筆跡をディスクに書き出して読みだしているが、ディスクではなくメモリ上で行ってもよい。
【0065】
また、図10は、操作者が項目リスト72においていずれかの項目を選択した後、文字認識ウィンドウ73が起動されるまでの処理の詳細を示す流れ図である。
【0066】
図10に示すように、操作者がいずれかの項目を選択すると、選択された項目と対応関係にあるボタン(テキスト入力項目領域R1における項目タイトルを表したボタン)のクリックイベントが発生する(S11)。すなわち、テキスト入力項目領域R1における上記ボタンは、ペンでタップすることにより、当該項目についてのデータをキーボードや文字認識ウィンドウ73から入力することが可能となるボタンである。このクリックイベントの発生により、テキスト入力項目領域R1において、当該項目のボタンをペンでタップしたのと同様の結果が得られる。次に、当該ボタンの入力域に、キーボードフォーカスを移動した後、文字認識ウィンドウ73が起動される(S12)。この時同時に、項目のデータ特性に応じて、認識対象文字種(例えば、仮名または英数の区別や、全角または半角の区別等)を設定しても良い。
【0067】
以上のように、本実施形態にかかる手書き情報入力装置によれば、文字認識ウィンドウ73の認識結果をテキスト入力項目領域R1のどの項目へ入力すべきかを、操作者が項目リスト72で容易に選択することができる。
【0068】
以上のように、本実施形態にかかる手書き情報入力装置によれば、文字認識ウィンドウ73の認識結果をテキスト入力項目領域R1のどの項目へ入力すべきかを、操作者が項目リスト72で容易に選択することができる。また、多数の入力項目の一部のみがテキスト入力項目領域R1に表示されており、かつ、操作者が、テキスト入力項目領域R1に表示されていない項目を項目リスト72から選択した場合は、表示制御部17が、操作者により選択された入力項目を表示するように、テキスト入力項目領域R1の表示を切り替える。これにより、従来のように、操作者が例えば複数画面を切り替えてテキスト入力項目を探す必要がなく、より簡便な操作が可能となる。
【0069】
なお、本実施形態では、テキスト入力項目領域R1と手書きメモ表示領域R2が同じ画面内の領域として表示された例を示したが、テキスト入力項目領域R1と手書きメモ表示領域R2が異なるウィンドウに配置されていても良い。この場合、操作者が入力項目を選択すると、当該項目が配置されたウィンドウが他のウィンドウの背後等に隠れていた場合、前面に表示されるように表示を切り替えることが好ましい。
[第2の実施形態]
以下、本発明の第2の実施形態にかかる手書き情報入力装置について、図11〜図15を参照しながら説明する。なお、本実施形態の手書き情報入力装置の概略構成は、第1の実施形態と同様であるため、その説明は省略する。また、第1の実施形態で説明した構成等については、同じ参照符号を付記し、その説明を省略する。
【0070】
なお、図11〜図14では、テキスト入力項目領域R1と手書きメモ表示領域R2が横に並べて表示されているが、第1の実施形態でも述べたとおり、テキスト入力項目領域R1と手書きメモ表示領域R2の表示態様は任意であり、第1の実施形態で示したように、これらの領域を縦に並べて表示しても構わない。
【0071】
本実施形態にかかる手書き情報入力装置は、「基本モード」、「モード1」、および「モード2」の3種類の文字入力モードを有する。「基本モード」とは、図17〜図23を参照して説明したような、従来の入力モードである。「モード1」とは、第1の実施形態で説明したように、操作者が項目リスト72から入力先の項目を指定すると、手書きメモの筆跡から認識されたデータが、当該項目へ入力されるモードである。そして、「モード2」とは、手書き情報入力装置が、入力先の項目を逐次自動的に指定し、操作者は装置の指定に従って、指定された項目へ入力すべきデータを手書きメモの筆跡から選択することにより、選択された筆跡から認識されたデータが当該項目へ入力されるモードである。すなわち、「モード2」は、全ての項目へのデータ入力が必要である場合や、必須項目へのデータ入力を漏れなく行わせる場合に、特に有用である。
【0072】
「モード2」の場合は、図11に示すように、操作者が「モード2」のチェックボックス81をタップしてから「開始」ボタン82をタップすると、文字認識ウィンドウ73が、当該ウィンドウから伸びる矢印状図形74の先端が、認識結果を最初に入力すべき項目(ここでは「目標」)を指した状態で、起動される。なお、項目への入力の順序は、項目記憶部14に項目タイトルと共に予め記憶されている。あるいは、操作者が設定した順序を、項目記憶部14に記憶できるようにしても良い。
【0073】
図12に示すように、操作者が手書きメモ表示領域R2に表示されたメモ中で、矢印状図形74が指している項目に対応するデータの筆跡を丸で囲むと、文字認識ウィンドウ73が当該筆跡に含まれる文字等を認識し、図13に示すように、認識結果を表示する。操作者が、必要に応じて誤認識の修正等を行ったあと、「確定」ボタン73aをタップすると、認識結果が目的の場所に挿入される。そして、図14に示すように、矢印状図形74が、認識結果を次に入力すべき項目(ここでは「お客様」)を指した状態で、文字認識ウィンドウ73が再起動される。
【0074】
ここで、本実施形態の手書き情報入力装置の動作の流れ図を、図15に示す。図15に示すように、まず、最初の入力項目を矢印状図形74で指すようにして、文字認識ウィンドウ73が起動される(S31)。次に、操作者により手書きメモ表示領域R2の筆跡の一部が選択されると(S32においてYes)、選択された筆跡をディスクへ書き出す(S33)。そして、ディスクへ書き出された筆跡は文字認識ウィンドウ73に渡され、その認識結果が、矢印状図形74で指し示された項目へ送り込まれる(S34)。全ての入力項目についてデータ入力が完了するまで(S35においてYes)、次の入力項目を矢印状図形74で指すようにして、文字認識ウィンドウ73が起動され(S36)、上記の処理が繰り返される。
【0075】
以上のように、本実施形態の場合、操作者は、入力項目を指定する必要が無いので、全ての項目へのデータ入力が必要である場合や、必須項目へのデータ入力を漏れなく行わせたい場合等に、利用者の手間を大幅に軽減することが可能である。
【0076】
なお、本実施形態では、「基本モード」、「モード1」、「モード2」の3つの動作モードを有するものとしたが、「モード2」のみで動作する手書き情報入力装置であっても良い。
[第3の実施形態]
以下、本発明の第3の実施形態にかかる手書き情報入力装置について説明する。なお、本実施形態の手書き情報入力装置において、第1の実施形態で説明した構成等については、同じ参照符号を付記し、その説明を省略する。
【0077】
本実施形態の手書き情報入力装置は、手書き入力によりメモが記入された後、記入内容から、どのようなデータがテキスト項目入力領域R1のどの項目へ入力されそうかを推定するように構成されている。
【0078】
このため、図16に示すように、本実施形態の手書き情報入力装置は、図1に示した第1の実施形態にかかる手書き情報入力装置の構成要素に加えて、推定情報記憶部18と項目推定部19とをさらに備えている。推定情報記憶部18には、各入力項目に対して入力されやすいデータの統計情報が格納されている。この統計情報には、各入力項目に対して過去に実際に入力されたデータの統計情報そのものや、各入力項目に対して過去に入力されたデータの規則性を表す情報などが含まれる。推定情報記憶部18には、学習機能を持たせても良い。
【0079】
項目推定部19は、手書きメモ表示領域R2において操作者が筆跡の一部を選択すると、筆跡認識部13からその筆跡からの認識結果を受け取り、推定情報記憶部18の統計情報を参照することにより、選択された筆跡のデータが、項目記憶部14に登録されている入力項目のうちのどの入力項目に入りそうかを推定する。例えば、選択筆跡が、人の姓名または会社名等として良く用いられている文字列であれば、「お客様」の項目が、入力項目として推定される。また、数字とハイフンの組み合わせからなる所定桁の文字列であれば、「電話」への入力データであると推定できる。
【0080】
そして、項目推定部19の推定結果は項目選択処理部15へ渡され、項目選択処理部15が、項目リスト72へ提示する入力項目に優先度を付けることにより、データの入力先となる可能性が高いと推定される項目が、項目リスト72へ優先的に表示される。例えば、そのような項目を項目リスト72の上位に表示したり、そのような項目のみを項目リスト72に表示したりすることが考えられる。あるいは、いずれか一つの項目がデータ入力先となる可能性が極めて高いと判断される場合は、項目リスト72を表示せずに、文字認識ウィンドウ73からの矢印状図形74がその入力項目を指した状態で、文字認識ウィンドウ73を起動する。これによれば、入力先項目と認識結果が整合している場合は、操作者は確定ボタンを押すだけの極めて簡単な操作で、当該項目へ選択筆跡の認識結果を送り込むことができる。なお、入力先の推定結果が誤っていた場合は、操作者が入力先を修正することができる。
【0081】
以上のように、本実施形態によれば、手書き入力されたメモの筆跡からの認識結果を、推定情報記憶部18の統計情報と比較することにより、その認識結果がどの入力項目へ入力されるかを推定し、入力項目の選択肢を絞り込むことができる。これにより、操作者が入力先項目を選択する手間を省くことができる。
【0082】
以上の第1〜第3の実施形態を含む本発明の実施形態に関し、さらに以下の付記を開示する。
(付記1)
文字、記号、または図形の手書きによる入力を受け付けると共に入力された筆跡を表示する手書き入力領域と、テキスト入力項目領域とを有する入出力装置と、
前記手書き入力領域に表示された筆跡の少なくとも一部を選択する手書き入力を受け付け、選択された筆跡を確定する筆跡選択処理部と、
前記筆跡選択処理部により確定された筆跡を受け取って認識する筆跡認識部と、
前記テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部と、
前記項目記憶部に記憶された情報に基づき、前記筆跡認識部の認識結果を、前記テキスト入力項目領域中のどの入力項目へ送るかを操作者に選択させるための項目リストを生成し、前記入出力装置へ表示させる項目選択処理部と、
前記項目リストにおいて選択された入力項目へ、前記筆跡認識部の認識結果を送り込む項目入力部とを備えたことを特徴とする手書き情報入力装置。
(付記2)
前記項目選択処理部は、前記項目リストを、前記筆跡選択処理部により筆跡が選択された後に表示する、付記1に記載の手書き情報入力装置。
(付記3)
前記項目選択処理部は、前記項目リストを、前記筆跡選択処理部により筆跡が選択される前に表示する、付記1に記載の手書き情報入力装置。
(付記4)
前記項目選択処理部は、前記項目リストを、前記筆跡選択処理部により選択された筆跡の近傍に表示する、付記1〜3のいずれか一項に記載の手書き情報入力装置。
(付記5)
前記項目選択処理部は、前記項目リストを、前記筆跡選択処理部により選択された筆跡のペンアップした位置またはペンダウンした位置の近傍に表示する、付記1〜3のいずれか一項に記載の手書き情報入力装置。
(付記6)
前記入出力装置は、電磁誘導式のタブレットであり、
前記表示制御部は、前記ペンのペン先位置の情報を取得し、前記項目選択処理部は、前記項目リストを、前記取得したペン先位置の近傍に表示する、付記1〜3のいずれか一項に記載の手書き情報入力装置。
(付記7)
前記入出力装置は、電磁誘導式のタブレットであり、
前記表示制御部は、前記筆跡の選択後、前記項目リストを選択するまで、前記ペンのペン先位置の情報を随時取得し、前記項目選択処理部は、前記項目リストを、前記取得した最新のペン先位置の近傍に追従表示する、付記1〜3のいずれか一項に記載の手書き情報入力装置。
(付記8)
前記入出力装置が、項目リストにおいて選択された入力項目が表示されるように、前記テキスト入力項目領域における表示項目を切り替える、付記1〜7のいずれか一項に記載の手書き情報入力装置。
(付記9)
同一の筆跡から、前記入力項目へのデータ入力を複数回行う場合、
二回目以降に前記項目リストを表示する際に、前回までに選択された入力項目を選択不可能な状態として表示する、または、前回までに選択された入力項目を前記項目リストから除いて表示する付記1〜8のいずれか一項に記載の手書き情報入力装置。
(付記10)
前記テキスト入力項目領域に表示される入力項目に関して、各項目に対する入力データの統計的情報を記憶した推定情報記憶部と、
前記筆跡認識部による認識結果の内容と、前記推定情報記憶部の統計的情報とに基づいて、当該認識結果を送り込むべき入力項目を推定し、推定結果を前記項目選択処理部へ渡すことにより、前記項目リストに提示する項目を絞り込む項目推定部とをさらに備えた、付記1〜9のいずれか一項に記載の手書き情報入力装置。
(付記11)
文字、記号、または図形の手書きによる入力を受け付けると共に入力された筆跡を表示する手書き入力領域と、テキスト入力項目領域とを有する入出力装置と、
前記手書き入力領域に表示された筆跡の少なくとも一部を選択する手書き入力を受け付け、選択された筆跡を確定する筆跡選択処理部と、
前記筆跡選択処理部により確定された筆跡を受け取って認識する筆跡認識部と、
前記テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部と、
前記項目記憶部に記憶された情報に基づき、前記テキスト入力項目領域中の少なくとも一部の入力項目を順次指定することにより、前記筆跡認識部の認識結果を前記テキスト入力項目領域中のどの入力項目へ送るかを操作者に対して指定する項目選択処理部と、
前記項目選択処理部が指定した入力項目へ、前記筆跡認識部の認識結果を送り込む項目入力部とを備えたことを特徴とする手書き情報入力装置。
(付記12)
文字、記号、または図形の手書きによる入力を受け付けると共に入力された筆跡を表示する手書き入力領域と、テキスト入力項目領域とを有する入出力装置を備えたコンピュータに手書き情報入力処理を実行させるプログラムであって、
前記コンピュータに、
前記手書き入力領域に表示された筆跡の少なくとも一部を選択する手書き入力を受け付け、選択された筆跡を確定する筆跡選択処理と、
前記筆跡選択処理により確定された筆跡を受け取って認識する筆跡認識処理と、
前記テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部を参照し、前記情報に基づき、前記筆跡認識処理の認識結果を、前記テキスト入力項目領域中のどの入力項目へ送るかを操作者に選択させるための項目リストを生成し、前記入出力装置へ表示させる項目選択処理と、
前記項目リストにおいて選択された入力項目へ、前記筆跡認識処理の認識結果を送り込む項目入力処理とを実行させることを特徴とするプログラム。
(付記13)
文字、記号、または図形の手書きによる入力を受け付けると共に入力された筆跡を表示する手書き入力領域と、テキスト入力項目領域とを有する入出力装置を備えたコンピュータに手書き情報入力処理を実行させるプログラムであって、
前記コンピュータに、
前記手書き入力領域に表示された筆跡の少なくとも一部を選択する手書き入力を受け付け、選択された筆跡を確定する筆跡選択処理と、
前記筆跡選択処理により確定された筆跡を受け取って認識する筆跡認識処理と、
前記テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部を参照し、前記情報に基づき、前記テキスト入力項目領域中の少なくとも一部の入力項目を順次指定することにより、前記筆跡認識処理の認識結果を前記テキスト入力項目領域中のどの入力項目へ送るかを操作者に対して指定する項目選択処理と、
前記項目選択処理で指定した入力項目へ、前記筆跡認識処理の認識結果を送り込む項目入力処理とを実行させることを特徴とするプログラム。
(付記14)
文字、記号、または図形の手書きによる入力を受け付けると共に入力された筆跡を表示する手書き入力領域と、テキスト入力項目領域とを有する入出力装置を備えたコンピュータに手書き情報入力処理を実行させるプログラムを記録媒体に記録したプログラム製品であって、
前記プログラムは、前記コンピュータに、
前記手書き入力領域に表示された筆跡の少なくとも一部を選択する手書き入力を受け付け、選択された筆跡を確定する筆跡選択処理と、
前記筆跡選択処理により確定された筆跡を受け取って認識する筆跡認識処理と、
前記テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部を参照し、前記情報に基づき、前記筆跡認識処理の認識結果を、前記テキスト入力項目領域中のどの入力項目へ送るかを操作者に選択させるための項目リストを生成し、前記入出力装置へ表示させる項目選択処理と、
前記項目リストにおいて選択された入力項目へ、前記筆跡認識処理の認識結果を送り込む項目入力処理とを実行させることを特徴とするプログラム製品。
(付記15)
文字、記号、または図形の手書きによる入力を受け付けると共に入力された筆跡を表示する手書き入力領域と、テキスト入力項目領域とを有する入出力装置を備えたコンピュータに手書き情報入力処理を実行させるプログラムを記録媒体に記録したプログラム製品であって、
前記プログラムは、前記コンピュータに、
前記手書き入力領域に表示された筆跡の少なくとも一部を選択する手書き入力を受け付け、選択された筆跡を確定する筆跡選択処理と、
前記筆跡選択処理により確定された筆跡を受け取って認識する筆跡認識処理と、
前記テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部を参照し、前記情報に基づき、前記テキスト入力項目領域中の少なくとも一部の入力項目を順次指定することにより、前記筆跡認識処理の認識結果を前記テキスト入力項目領域中のどの入力項目へ送るかを操作者に対して指定する項目選択処理と、
前記項目選択処理で指定した入力項目へ、前記筆跡認識処理の認識結果を送り込む項目入力処理とを実行させることを特徴とするプログラム製品。
【図面の簡単な説明】
【0083】
【図1】本発明の第1の実施形態にかかる手書き情報入力装置の概略構成を示すブロック図である。
【図2】第1の実施形態にかかる手書き情報入力装置の画面例を示す図である。
【図3】第1の実施形態にかかる手書き情報入力装置の画面例を示す図である。
【図4】第1の実施形態にかかる手書き情報入力装置の画面例を示す図である。
【図5】第1の実施形態にかかる手書き情報入力装置の画面例を示す図である。
【図6】第1の実施形態にかかる手書き情報入力装置の画面例を示す図である。
【図7】第1の実施形態にかかる手書き情報入力装置の画面例を示す図である。
【図8】第1の実施形態にかかる手書き情報入力装置の画面例を示す図である。
【図9】第1の実施形態にかかる手書き情報入力装置において、認識結果の入力先項目の選択を行うための項目リスト表示から、文字認識ウィンドウによる認識処理までの流れ図である。
【図10】第1の実施形態にかかる手書き情報入力装置において、操作者が項目リストにおいていずれかの項目を選択した後、文字認識ウィンドウが起動されるまでの処理の詳細を示す流れ図である。
【図11】第2の実施形態にかかる手書き情報入力装置の画面例を示す図である。
【図12】第2の実施形態にかかる手書き情報入力装置の画面例を示す図である。
【図13】第2の実施形態にかかる手書き情報入力装置の画面例を示す図である。
【図14】第2の実施形態にかかる手書き情報入力装置の画面例を示す図である。
【図15】第2の実施形態にかかる手書き情報入力装置の動作を示す流れ図である。
【図16】第3の実施形態にかかる手書き情報入力装置の概略構成を示すブロック図である。
【図17】従来の手書き情報入力装置の画面例を示す図である。
【図18】従来の手書き情報入力装置の画面例を示す図である。
【図19】従来の手書き情報入力装置の画面例を示す図である。
【図20】従来の手書き情報入力装置の画面例を示す図である。
【図21】従来の手書き情報入力装置の画面例を示す図である。
【図22】従来の手書き情報入力装置の画面例を示す図である。
【図23】従来の手書き情報入力装置の画面例を示す図である。
【符号の説明】
【0084】
10 タブレット
11 手書きメモ入力処理部
12 筆跡選択処理部
13 筆跡認識部
14 項目記憶部
15 項目選択処理部
16 項目入力部
17 表示制御部
18 推定情報記憶部
【技術分野】
【0001】
本発明は、操作者が手書き入力によりデータを自由に入力できる手書き入力領域と、予め定められた項目へテキストデータを入力するテキスト入力項目領域とを備えた手書き情報入力装置に関し、特に、手書き入力された筆跡を認識し、その認識結果をテキスト入力項目領域へ容易に入力することが可能な手書き情報入力装置に関連する。
【背景技術】
【0002】
顧客や電話応対などのフロント業務では、応対中に紙へメモ書きを行い、応対完了後にメモを見ながらキーボードやマウス操作を行って、コンピュータへ情報入力することが多い。このような業務では、(1)メモ書きとデータ入力の手間が重複し、特にキーボードに不慣れな作業員の作業効率が低下する、(2)図形の入力はキーボードやマウスでは難しい、(3)メモ原本の保存にコストがかかる、といった問題がある。
【0003】
このような問題を解決するため、タブレットなどを利用して、電子的に入力した手書きメモから必要部分を選択して入力できる手書き情報入力装置が知られている。ここで、図17〜図23を参照し、従来の手書き情報入力装置における入力方法について説明する。
【0004】
まず、操作者が、図17のメイン画面の手書きメモ起動ボタン101を押すと、図18に示すように、手書きメモ入力ウィンドウ102が開く。手書きメモ入力ウィンドウ102内には、ペン等による手書き入力が可能な手書き入力領域102aが設けられている。操作者は、そこに、図18に示すようにメモ内容を筆記する。筆記後、手書きメモ入力ウィンドウ102の「閉じる」ボタン102bを押すと、図19のようにメイン画面に戻り、メモ表示領域103に、さきほど記入した手書きメモが表示される。なお、メモ表示領域103では、メモは追記できず、閲覧および筆跡の選択のみが可能である。これにより、操作者が手書きメモ入力モードと筆跡選択モードを意識しないで済む。
【0005】
この後、操作者は、図20に示すように、ペンを用いた囲みジェスチャにより、メモ表示領域103において、認識させたい筆跡を選択する。図20では、操作者がメモ表示領域103において「中島」という筆跡を選択したものとして、囲みジェスチャの軌跡104が表示されている。
【0006】
上述のように筆跡を選択した後、操作者が、図21に示すように、テキスト入力項目領域105において認識結果を入力したい項目の横のボタンを押すと、文字認識ウィンドウ106が起動される。図21では、操作者により、「お客様」ボタン105bが押されている。文字認識ウィンドウ106には、図20で操作者が選択した筆跡の認識結果の候補が表示される。これと同時に、文字認識ウィンドウ106からは、認識結果の入力先を指し示す矢印状図形107が、操作者が押下した「お客様」ボタン105bに向けて表示される。これにより、操作者は、文字認識ウィンドウ106での認識結果が「お客様」の項目へ入力されることを視認できる。文字認識ウィンドウ106での認識結果に誤りが無かった場合、操作者が文字認識ウィンドウ106の確定ボタン106aを押すことで、図22に示すように、「お客様」の項目へ認識結果が入力される。
【0007】
なお、図23に示すように、文字認識ウィンドウ106に表示された認識結果候補が「こンビニのとなり」であって操作者がこれを訂正したい場合、この認識結果候補の先頭文字の「こ」をペンでタップすると、文字認識ウィンドウ106の候補選択欄106bに他の認識候補文字が表示されると共に、文字認識ウィンドウ106の上部に、操作者が指定した筆跡からどのように文字が切り出されたかを表示するウィンドウ107が起動される。
筆跡からの切り出し方が誤っていた場合、ウィンドウ107上で文字を囲んだり、線を引いたりすることにより、文字の切り出し誤りを訂正することができる。なお、ウィンドウ107を用いず、手書きウィンドウ106の記入枠106cに、正しい文字を手書きで書き直しても良い。
【0008】
以上のように、従来の手書き情報入力装置では、(1)操作者がメモ書きした情報を再入力する手間が省ける、(2)手書き入力であるため、図形の入力も容易である、(3)メモ原本を保存する必要がない、という点で、手書きメモから応答完了後にコンピュータへ情報を手で入力する方法よりも有利である。
【0009】
また、手書きメモ領域に手書き入力でメモを書くと、入力画面の各項目に対応するデータが自動的に認識され、当該項目へ入力されるシステムも知られている(例えば、特許文献1参照)。
【特許文献1】特開2000−181606号公報(図9,図10、第12〜13頁)
【発明の開示】
【発明が解決しようとする課題】
【0010】
しかしながら、図17〜図23を参照しながら説明した従来の手書き情報入力装置は、以下のような問題がある。
【0011】
上記従来の手書き情報入力装置では、ディスプレイの解像度等の制約から、メモを多く書けるようにするために、手書きメモ入力ウィンドウ102の面積を大きくする必要がある。また、記入したメモからの筆跡選択を容易にする必要があるので、メモをあまり小さく縮小表示することもできず、手書きメモ入力ウィンドウ102またはメモ表示領域103と同時に表示することができる入力項目数が制限される。
【0012】
従って、入力項目の数が多い場合は、入力項目が複数のウィンドウ上に分散して配置される。この場合、操作者は、認識結果の入力先となる項目を探すために、上記複数のウィンドウの切り替え操作をする必要があった。
【0013】
また、入力項目とメモ表示領域103が同一画面に表示されている場合であっても、メモ表示領域103で筆跡を選択し、認識結果の入力先の項目を指定するために、画面上でペンを何度も往復させる必要があり、操作者にとっては煩わしいものであった。
【0014】
本発明は、このような問題に鑑み、手書き入力によって入力された筆跡の認識結果の入力先項目を簡便に指定することが可能な、あるいは、入力先項目を指定する必要がない、手書き情報入力装置を提供することを目的としている。
【課題を解決するための手段】
【0015】
上記の目的を達成するために、本発明にかかる第1の手書き情報入力装置は、文字、記号、または図形の手書きによる入力を受け付けると共に入力された筆跡を表示する手書き入力領域と、テキスト入力項目領域とを有する入出力装置と、前記手書き入力領域に表示された筆跡の少なくとも一部を選択する手書き入力を受け付け、選択された筆跡を確定する筆跡選択処理部と、前記筆跡選択処理部により確定された筆跡を受け取って認識する筆跡認識部と、前記テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部と、前記項目記憶部に記憶された情報に基づき、前記筆跡認識部の認識結果を、前記テキスト入力項目領域中のどの入力項目へ送るかを操作者に選択させるための項目リストを生成し、前記入出力装置へ表示させる項目選択処理部と、前記項目リストにおいて選択された入力項目へ、前記筆跡認識部の認識結果を送り込む項目入力部とを備えることを特徴とする。
【0016】
上記の構成によれば、筆跡認識部の認識結果を、前記テキスト入力項目領域中のどの入力項目へ送るかを操作者に選択させるための項目リストが入出力装置へ表示されるので、操作者は、認識結果の入力先となる項目を探すために、従来のように複数のウィンドウの切り替え操作をしたり、認識結果の入力先の項目を指定するために入出力装置の画面上で手を何度も往復させたりする必要がない。これにより、手書き入力によって入力された筆跡の認識結果の入力先項目を簡便に指定することが可能な手書き情報入力装置を提供できる。
【0017】
本発明にかかる第1の手書き情報入力装置において、前記項目選択処理部は、前記項目リストを、前記筆跡選択処理部により筆跡が選択された後に表示することが好ましい。あるいは、前記項目選択処理部は、前記項目リストを、前記筆跡選択処理部により筆跡が選択される前に表示するようにしても良い。
【0018】
上記第1の手書き情報入力装置において、前記項目選択処理部は、前記項目リストを、前記筆跡選択処理部により選択された筆跡の近傍に表示することが好ましい。操作者が入出力装置の画面上で手を移動させる距離が短くて済むため、操作がさらに簡便になるからである。
【0019】
本発明にかかる第1の手書き情報入力装置において、前記入出力装置が、項目リストにおいて選択された入力項目が表示されるように、前記テキスト入力項目領域における表示項目を切り替えることが好ましい。操作者がテキスト入力項目領域において入力項目を容易に視認することが可能となるからである。
【0020】
本発明にかかる第1の手書き情報入力装置において、同一の筆跡から、前記入力項目へのデータ入力を複数回行う場合、二回目以降に前記項目リストを表示する際に、前回までに選択された入力項目を選択不可能な状態として表示する、または、前回までに選択された入力項目を前記項目リストから除いて表示することが好ましい。選択済みの入力項目を項目リストから省くことにより、項目リストにおける選択肢が絞られ、操作者が入力項目の選択をより容易に行えるからである。
【0021】
本発明にかかる第1の手書き情報入力装置において、前記テキスト入力項目領域に表示される入力項目に関して、各項目に対する入力データの統計的情報を記憶した推定情報記憶部と、前記筆跡認識部による認識結果の内容と、前記推定情報記憶部の統計的情報とに基づいて、当該認識結果を送り込むべき入力項目を推定し、推定結果を前記項目選択処理部へ渡すことにより、前記項目リストに提示する項目を絞り込む項目推定部とをさらに備えたことが好ましい。この構成によれば、入力項目と認識結果が整合している場合は、操作者は、項目リストを自分で選択しなくても、例えば確定ボタン等を押すだけの極めて簡単な操作で、当該項目へ認識結果を送り込むことができるからである。
【0022】
本発明にかかる第2の手書き情報入力装置は、文字、記号、または図形の手書きによる入力を受け付けると共に入力された筆跡を表示する手書き入力領域と、テキスト入力項目領域とを有する入出力装置と、前記手書き入力領域に表示された筆跡の少なくとも一部を選択する手書き入力を受け付け、選択された筆跡を確定する筆跡選択処理部と、前記筆跡選択処理部により確定された筆跡を受け取って認識する筆跡認識部と、前記テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部と、前記項目記憶部に記憶された情報に基づき、前記テキスト入力項目領域中の少なくとも一部の入力項目を順次指定することにより、前記筆跡認識部の認識結果を前記テキスト入力項目領域中のどの入力項目へ送るかを操作者に対して指定する項目選択処理部と、前記項目選択処理部が指定した入力項目へ、前記筆跡認識部の認識結果を送り込む項目入力部とを備えたことを特徴とする。
【0023】
上記の構成によれば、項目選択処理部が、テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部の当該情報に基づき、前記テキスト入力項目領域中の少なくとも一部の入力項目を順次指定する。操作者は、指定された入力項目へ入力すべき筆跡を選択すれば、その認識結果が、項目入力部によって当該入力項目へ送り込まれる。これにより、操作者は、認識結果の入力先となる項目を探すために、従来のように複数のウィンドウの切り替え操作をしたり、認識結果の入力先の項目を指定するために入出力装置の画面上で手を何度も往復させたりする必要がない。これにより、手書き入力によって入力された筆跡の認識結果を、入力先項目を指定することなく、簡便に入力することが可能な手書き情報入力装置を提供できる。
【0024】
また、上記の目的を達成するために、本発明にかかる第1のプログラムは、文字、記号、または図形の手書きによる入力を受け付けると共に入力された筆跡を表示する手書き入力領域と、テキスト入力項目領域とを有する入出力装置を備えたコンピュータに手書き情報入力処理を実行させるプログラムであって、前記コンピュータに、前記手書き入力領域に表示された筆跡の少なくとも一部を選択する手書き入力を受け付け、選択された筆跡を確定する筆跡選択処理と、前記筆跡選択処理により確定された筆跡を受け取って認識する筆跡認識処理と、前記テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部を参照し、前記情報に基づき、前記筆跡認識処理の認識結果を、前記テキスト入力項目領域中のどの入力項目へ送るかを操作者に選択させるための項目リストを生成し、前記入出力装置へ表示させる項目選択処理と、前記項目リストにおいて選択された入力項目へ、前記筆跡認識処理の認識結果を送り込む項目入力処理とを実行させることを特徴とする。
【0025】
また、上記の目的を達成するために、本発明にかかる第2のプログラムは、文字、記号、または図形の手書きによる入力を受け付けると共に入力された筆跡を表示する手書き入力領域と、テキスト入力項目領域とを有する入出力装置を備えたコンピュータに手書き情報入力処理を実行させるプログラムであって、前記コンピュータに、前記手書き入力領域に表示された筆跡の少なくとも一部を選択する手書き入力を受け付け、選択された筆跡を確定する筆跡選択処理と、前記筆跡選択処理により確定された筆跡を受け取って認識する筆跡認識処理と、前記テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部を参照し、前記情報に基づき、前記テキスト入力項目領域中の少なくとも一部の入力項目を順次指定することにより、前記筆跡認識処理の認識結果を前記テキスト入力項目領域中のどの入力項目へ送るかを操作者に対して指定する項目選択処理と、前記項目選択処理で指定した入力項目へ、前記筆跡認識処理の認識結果を送り込む項目入力処理とを実行させることを特徴とする。
【発明の効果】
【0026】
本発明によれば、手書き入力によって入力された筆跡の認識結果の入力先項目を簡便に指定することが可能な、あるいは、入力先項目を指定する必要がない、手書き情報入力装置を提供することができる。
【発明を実施するための最良の形態】
【0027】
[第1の実施形態]
図1は、本発明の第1の実施形態にかかる手書き情報入力装置の概略構成を機能的に示したブロック図である。
【0028】
本実施形態にかかる手書き情報入力装置は、ペンを用いて画面に手書き入力が可能な、いわゆるタブレット型パーソナルコンピュータや、ディスプレイタブレットを装備したパーソナルコンピュータまたはPDA等である。また、本実施形態の手書き情報入力装置は、手書き入力によって任意のメモ書きが可能であり、メモ書きされた筆跡の少なくとも一部を操作者が選択すると、選択箇所の文字等を認識し、認識結果をテキスト入力項目へ送り込むことが可能な構成である。
【0029】
このため、図1に示すように、本実施形態の手書き情報入力装置は、入出力装置としてのタブレット10、手書きメモ入力処理部11、筆跡選択処理部12、筆跡認識部13、項目記憶部14、項目選択処理部15、項目入力部16、および、表示制御部17を備えている。
【0030】
手書きメモ入力処理部11および表示制御部17は、タブレット10上での手書き入力処理を制御する機能およびメモ内容の記憶機能を持つ。手書きメモ入力処理部11は、操作者があたかも紙にメモ書きをするように画面上にペンで文字や図形を描くと、周知の方法により、そのペン先の座標を検出する。検出された座標は、表示制御部17へ渡され、表示制御部17によりペンの軌跡(筆跡)が画面に表示される。メモに内容の保存方法としてはすべてのデータをビットマップのような画像として保存しても良いが、入力筆跡を筆跡毎に所定時間毎の座標点の時系列情報をストローク情報として保存しておけば、あとで筆跡を認識させる場合に筆跡の抽出が容易となるので、タブレットで入力する場合は入力筆跡を座標点の時系列情報をストローク情報として保存することが好ましい。また、手書きメモ入力処理部11は、メモ内容を画像として保存したり、表示制御部17と連携して背景にイメージを表示したりする機能も持っていても良い。
【0031】
筆跡選択処理部12は、手書きメモ入力処理部11により入力された筆跡のうち、認識対象とする部分を操作者に選択させ、選択された部分を筆跡認識部13へ送る。筆跡認識部13は、筆跡選択処理部12から送られた筆跡を、文字パターン辞書(図示せず)を用いて、文字認識を行う。なお、筆跡選択処理部12で選択された部分から文字だけでなく、記号、図形等を切り出し、文字パターン辞書や図形パターン辞書を用いて、切り出された文字等のそれぞれを認識するようにしても良い。また、筆跡認識部13は、認識結果が正しくない場合は、操作者による操作に従って認識結果の修正も行う。
【0032】
項目記憶部14は、入力項目のタイトルを記憶している。項目選択処理部15は、項目記憶部14に記憶されている入力項目のリストメニューを画面に表示し、筆跡認識部13による認識結果をどの項目へ入力すべきかを、操作者に選択させる。
【0033】
項目入力部16は、筆跡認識部13による認識結果を、項目選択処理部15により操作者に選択されたテキスト入力項目への入力データとして入力する。表示制御部17は、画面上での種々の表示動作を制御する。
【0034】
上記の構成にかかる手書き情報入力装置の動作を、図2〜図6を参照しながら以下に説明する。
【0035】
図2は、本実施形態の手書き情報入力装置において、操作者がペンを用いた手書き入力によりメモの入力を完了し、メモの筆跡中で、テキスト入力項目領域へ送り出すべきデータを囲みジェスチャで選択したときの状態を示している。
【0036】
図2では、画面の上部にテキスト入力項目領域R1が表示され、その下に手書きメモ表示領域R2が表示されている。本実施形態の手書き情報入力装置では、手書きメモ表示領域R2に手書き入力した筆跡の一部を選択し、テキスト入力項目領域R1の所望の項目へ、入力データとして送り込むことが可能である。ただし、テキスト入力項目領域R1において、項目タイトルが表示されているボタンをペンでタップすれば、手書きメモ表示領域R2のメモ以外のデータを、当該ボタンの横の入力枠へ入力することも可能である。
【0037】
テキスト入力項目領域R1には、当該領域の面積に応じて、項目記憶部14に記憶されている入力項目の一部について、そのタイトルと入力欄が表示される。図2の例では、「住所」と「氏名」の二項目のみが表示されている。後に詳述するように、本実施形態の手書き情報入力装置では、操作者はテキスト入力項目領域R1において入力先項目を指定するわけではないので、テキスト入力項目領域R1に全項目を表示する必要はない。
【0038】
手書きメモ表示領域R2は、操作者がペンで画面上に書いたメモの画像を表示する。手書きメモ表示領域R2は、操作者は記入済みのメモの筆跡に対して選択操作のみが可能であり、メモの追記は不可能となっている。なお、手書きメモの入力時には、手書きメモ入力処理部11と表示制御部17との連携処理により、手書きメモ表示領域R2よりも広い面積を持つ手書きメモ入力ウィンドウが画面に表示される。そして、操作者がこのウィンドウへの手書きメモの記入を終了すると、そのメモ内容の画像が、手書きメモ入力処理部11と表示制御部17との連携処理により、手書きメモ表示領域R2に表示される。
【0039】
手書きメモ表示領域R2および手書きメモ入力ウィンドウの少なくとも一部には、図2に例示するように、任意の画像(この例では地図)を表示することもできる。なお、図2は一例に過ぎず、テキスト入力項目領域R1および手書きメモ表示領域R2のそれぞれの表示態様や、各領域の位置または面積比等は、この例のみに限定されるものではない。
【0040】
図2の例では、操作者が、メモの筆跡中の「富士通」という部分を、ペンで囲む操作(囲みジェスチャ)を行うことにより、この部分を、テキスト入力項目領域R1へ送り込むべきデータとして選択している。図2中の軌跡71は、囲みジェスチャの軌跡であり、表示制御部17によって手書きメモ表示領域R2上に表示される。これにより、操作者は自らが選択した部分を視認できる。なお、囲みジェスチャの軌跡は、このように円形状でなくても良く、矩形状であっても良い。また、操作者が、筆跡から選択する部分を指定する方法は、囲みジェスチャに限定されない。例えば、選択する部分を直線状または曲線状になぞったり、選択する部分を矩形領域として、その対角線上の頂点を指定したりする方法等、種々の方法を用いることができる。
【0041】
操作者が、このように手書きメモ表示領域R2において、例えば囲みジェスチャで筆跡の一部を選択すると、筆跡選択処理部12は、囲みジェスチャの軌跡で囲まれた領域の画像を、筆跡認識部13へ送る。
【0042】
これと同時に、項目選択処理部15は、項目記憶部14に記憶されている入力項目のタイトルを読み出して表示制御部17へ送る。表示制御部17により、図3に示すように、そのタイトルを列挙した項目リスト72が画面に表示される。この項目リスト72の表示位置は任意であるが、囲みジェスチャの軌跡で囲まれた領域の近傍に表示することが、操作を容易にする点では好ましい。
【0043】
なお、上記では、手書きメモ表示領域R2において囲みジェスチャで筆跡の一部を選択した後に、項目リスト72が表示されるものとした。しかし、項目リスト72を予め表示して操作者に項目を選択させた後に、当該項目へ入力すべきデータに対応する筆跡を、手書きメモ表示領域R2において選択させるようにしても良い。
【0044】
また、項目リスト72の表示方法としては、表示制御部17による制御の下で、以下のような種々の態様が考えられる。
【0045】
例えば、項目リスト72を、囲みジェスチャで筆跡の選択した領域の近傍に表示する態様である。表示制御部17が選択領域の位置情報を取得し、選択領域の近くに項目リスト72を表示すれば、項目の選択時にペン先の移動量が少なくて済み、操作がより簡便になる。
【0046】
また、項目リスト72を、囲みジェスチャで筆跡の選択を完了したときのペン先位置の近くに表示する態様である。例えば、本実施形態の手書き情報入力装置が電磁誘導式のタブレットを採用している場合は、ペン先が画面に接していなくても、ペン先の位置を判別することが可能である。従って、表示制御部17がペン先位置の情報を取得し、ペン先の近くに項目リスト72を表示すれば、項目の選択時にペン先の近くに項目リストが表示されるため、ペン先の移動量が更に少なくて済み、操作がより簡便になる。
【0047】
また、項目リスト72が、囲みジェスチャで筆跡の選択を完了してから項目の選択を完了するまで、ペン先の移動に追従して表示される態様としても良い。上記と同様に、手書き情報入力装置が電磁誘導式のタブレットを採用している場合は、ペン先が画面に接していなくても、ペン先の位置を判別することが可能である。従って、表示制御部17がペン先位置の情報を逐次取得し、ペン先の移動に追従するように項目リスト72を表示すれば、筆跡の選択後にペンを移動させても常にペン先の近くに項目リストが表示されるため、項目の選択時にペン先の移動量が更に少なくて済み、操作がより簡便になる。
【0048】
なお、電磁誘導式以外のタブレット(例えば感圧式タブレット)を採用している場合は、筆跡の選択を完了してペンアップした位置の近傍に、項目リストを表示するようにしても良い。あるいは、筆跡を選択するためにペンダウンした位置の近傍に、項目リストを表示するようにしても良い。
【0049】
あるいは、手書きメモ表示領域R2においてメモの筆跡や背景画像がない場所を表示制御部17が判断し、項目リスト72を表示するようにしても良い。
【0050】
また、ペンの胴体部に押しボタンが設けられている場合、筆跡選択前または筆跡選択後に操作者がボタンを押したときに、項目リスト72を所定の位置または上述のようにペン先近傍等に表示するようにしても良い。
【0051】
図3に示した項目リスト72には、「氏名」、「住所」、「電話」、「内容」、「目標物」という入力項目タイトルの他に、項目リスト72を閉じるための「閉じる」という欄が含まれている。操作者が、リストメニュー72に列挙された入力項目タイトルのいずれかを選択してペンでタップすると、項目選択処理部15は、タップされた項目がどれであるかを表す選択項目情報を、項目入力部16と表示制御部17へ送る。ここでは、「氏名」を操作者が選択したものとする。
【0052】
また、筆跡認識部13は、筆跡選択処理部12から送られた筆跡データ(又は画像)から文字または記号や図形を切り出し、切り出した文字等の各々を認識する。筆跡データ(又は画像)から文字等を切り出す方法、および、切り出した文字等を認識する方法としては、公知の任意の手法を用いることができる。なお、文字等の「切り出し」とは、筆跡データ(又は画像)から、一つの独立した文字等を含むと判断される筆跡群(又は画像領域)を抽出する処理を意味し、文字等の「認識」とは、切り出された筆跡群(又は画像)を文字パターン辞書や図形パターン辞書を用いて、当該筆跡群がコンピュータ上で用いられているキャラクタセットのうちのどのキャラクタに相当するかを特定したり、図形パターン辞書と合致する図形であることを特定することを意味する。
【0053】
筆跡認識部13が、その認識結果を表示制御部17へ送ることにより、図4に示すように認識結果を表示する文字認識ウィンドウ73が画面に表示される。また、表示制御部17は、項目選択処理部15から送られた選択項目情報に基づき、文字認識ウィンドウ73から、テキスト入力項目領域R1における当該項目を指す矢印状図形74を、画面に表示する。すなわち、図4に示す例では、操作者が「氏名」という入力項目を選択したため、矢印状図形74の先端は、テキスト入力項目領域R1の「氏名」の欄を差している。これにより、操作者は、文字認識ウィンドウ73における認識結果が「氏名」の欄に入力されることを視認できる。
【0054】
そして、操作者が、文字認識ウィンドウ73において「確定」ボタン73aをタップすると、項目入力部16により、文字認識ウィンドウ73における認識結果である「富士通」というテキストが、「氏名」の入力データとして取り込まれ、ディスクに記憶される。これと同時に、表示制御部17により、図5に示すように、テキスト入力項目領域R1の「氏名」の欄に、文字認識ウィンドウ73の認識結果である「富士通」というテキストが表示される。
【0055】
なお、図5は、操作者が、引き続き、メモの筆跡中の「043−934−0579」という部分を、ペンによる囲みジェスチャにより、テキスト入力項目領域R1へ送り込むべきデータとして選択した状態を示している。
【0056】
操作者が、このように手書きメモ表示領域R2において、囲みジェスチャで筆跡の一部を選択すると、筆跡選択処理部12は、囲みジェスチャの軌跡で囲まれた領域の画像を、筆跡認識部13へ送る。また、表示制御部17が、囲みジェスチャの軌跡を画面に表示することにより、操作者は自らが選択した部分を視認できる。
【0057】
これと同時に、項目選択処理部15は、項目記憶部14に記憶されている入力項目のタイトルを読み出して表示制御部17へ送る。表示制御部17により、図5に示すように、そのタイトルを列挙した項目リスト72が画面に表示される。図5の項目リスト72には、「氏名」、「住所」、「電話」、「内容」、「目標物」という入力項目タイトルの他に、項目リスト72を閉じるための「閉じる」という欄が含まれている。なお、ここでは、図3に示した項目リストと図5に示した項目リストは同一であるが、二回目以降に項目リストを表示する際に、前回までに選択された項目タイトルを除外した項目リストを表示するようにしても良い。これにより、同じ入力項目を誤って選択することがなくなる。あるいは、図6に示すように、項目リスト72において、項目名と選択欄を設け、項目選択時には選択欄をチェックし、前回までに選択された項目タイトルにチェックマークを付けて表示するようにしても良い。
【0058】
操作者が、リストメニュー72に列挙された入力項目タイトルのいずれかを選択してペンでタップすると、項目選択処理部15は、タップされた項目がどれであるかを表す選択項目情報を、項目入力部16と表示制御部17へ送る。ここでは、「電話」を操作者が選択したものとする。
【0059】
筆跡認識部13は、筆跡選択処理部12から送られた筆跡データ(又は画像)から文字や図形を切り出し、切り出した文字や図形の各々を認識する。筆跡認識部13が、その認識結果を表示制御部17へ送ることにより、図7に示すように認識結果を表示する文字認識ウィンドウ73が画面に表示される。また、表示制御部17は、項目選択処理部15から送られた選択項目情報に基づき、文字認識ウィンドウ73から、テキスト入力項目領域R1において当該項目を指す矢印状図形74を、画面に表示する。
【0060】
なお、図7に示す例では、操作者が「電話」という入力項目を選択したため、表示制御部17により、テキスト入力項目領域R1の表示態様が、選択された項目を含むように変更され、「電話」および「内容」という項目欄が表示されている。そして、矢印状図形74の先端は、テキスト入力項目領域R1の「電話」の欄を差している。これにより、操作者は、文字認識ウィンドウ73における認識結果が、テキスト入力項目領域R1の「電話」の欄に入力されることを視認できる。
【0061】
そして、操作者が、文字認識ウィンドウ73において「確定」ボタン73aをタップすると、項目入力部16により、文字認識ウィンドウ73における認識結果である「043−934−0579」というテキストが、「電話」の入力データとして取り込まれ、ディスクに記憶される。これと同時に、表示制御部17により、図8に示すように、テキスト入力項目領域R1の「電話」の欄に、文字認識ウィンドウ73の認識結果である「043−934−0579」というテキストが表示される。
【0062】
以上のような動作を、操作者が筆跡の一部を選択する毎に繰り返すことにより、テキスト入力項目領域R1の必要箇所へ、手書き入力されたメモの内容が送り込まれる。
【0063】
ここで、認識結果の入力先項目の選択を行うための項目リスト表示から、文字認識ウィンドウ73による認識処理までの流れ図を、図9に示す。
【0064】
図9に示すように、操作者により筆跡が選択されると(S1にてYes)、筆跡選択処理部12は、選択された筆跡をディスク(手書き情報入力装置内のハードディスク等)に書き出す(S2)。そして、項目選択処理部15が、項目記憶部14に予め登録されている項目タイトルを参照して項目リスト72を生成して表示し、操作者からの項目の選択入力を受け付ける(S3)。操作者が選択した項目は、表示制御部17に渡され、表示制御部17と筆跡認識部13との連携により、文字認識ウィンドウ73が起動される(S4)。文字認識ウィンドウ73が起動されると、ディスクから、選択された筆跡を読み出し、文字認識ウィンドウ73において認識処理を行う(S5)。ここでは、選択された筆跡をディスクに書き出して読みだしているが、ディスクではなくメモリ上で行ってもよい。
【0065】
また、図10は、操作者が項目リスト72においていずれかの項目を選択した後、文字認識ウィンドウ73が起動されるまでの処理の詳細を示す流れ図である。
【0066】
図10に示すように、操作者がいずれかの項目を選択すると、選択された項目と対応関係にあるボタン(テキスト入力項目領域R1における項目タイトルを表したボタン)のクリックイベントが発生する(S11)。すなわち、テキスト入力項目領域R1における上記ボタンは、ペンでタップすることにより、当該項目についてのデータをキーボードや文字認識ウィンドウ73から入力することが可能となるボタンである。このクリックイベントの発生により、テキスト入力項目領域R1において、当該項目のボタンをペンでタップしたのと同様の結果が得られる。次に、当該ボタンの入力域に、キーボードフォーカスを移動した後、文字認識ウィンドウ73が起動される(S12)。この時同時に、項目のデータ特性に応じて、認識対象文字種(例えば、仮名または英数の区別や、全角または半角の区別等)を設定しても良い。
【0067】
以上のように、本実施形態にかかる手書き情報入力装置によれば、文字認識ウィンドウ73の認識結果をテキスト入力項目領域R1のどの項目へ入力すべきかを、操作者が項目リスト72で容易に選択することができる。
【0068】
以上のように、本実施形態にかかる手書き情報入力装置によれば、文字認識ウィンドウ73の認識結果をテキスト入力項目領域R1のどの項目へ入力すべきかを、操作者が項目リスト72で容易に選択することができる。また、多数の入力項目の一部のみがテキスト入力項目領域R1に表示されており、かつ、操作者が、テキスト入力項目領域R1に表示されていない項目を項目リスト72から選択した場合は、表示制御部17が、操作者により選択された入力項目を表示するように、テキスト入力項目領域R1の表示を切り替える。これにより、従来のように、操作者が例えば複数画面を切り替えてテキスト入力項目を探す必要がなく、より簡便な操作が可能となる。
【0069】
なお、本実施形態では、テキスト入力項目領域R1と手書きメモ表示領域R2が同じ画面内の領域として表示された例を示したが、テキスト入力項目領域R1と手書きメモ表示領域R2が異なるウィンドウに配置されていても良い。この場合、操作者が入力項目を選択すると、当該項目が配置されたウィンドウが他のウィンドウの背後等に隠れていた場合、前面に表示されるように表示を切り替えることが好ましい。
[第2の実施形態]
以下、本発明の第2の実施形態にかかる手書き情報入力装置について、図11〜図15を参照しながら説明する。なお、本実施形態の手書き情報入力装置の概略構成は、第1の実施形態と同様であるため、その説明は省略する。また、第1の実施形態で説明した構成等については、同じ参照符号を付記し、その説明を省略する。
【0070】
なお、図11〜図14では、テキスト入力項目領域R1と手書きメモ表示領域R2が横に並べて表示されているが、第1の実施形態でも述べたとおり、テキスト入力項目領域R1と手書きメモ表示領域R2の表示態様は任意であり、第1の実施形態で示したように、これらの領域を縦に並べて表示しても構わない。
【0071】
本実施形態にかかる手書き情報入力装置は、「基本モード」、「モード1」、および「モード2」の3種類の文字入力モードを有する。「基本モード」とは、図17〜図23を参照して説明したような、従来の入力モードである。「モード1」とは、第1の実施形態で説明したように、操作者が項目リスト72から入力先の項目を指定すると、手書きメモの筆跡から認識されたデータが、当該項目へ入力されるモードである。そして、「モード2」とは、手書き情報入力装置が、入力先の項目を逐次自動的に指定し、操作者は装置の指定に従って、指定された項目へ入力すべきデータを手書きメモの筆跡から選択することにより、選択された筆跡から認識されたデータが当該項目へ入力されるモードである。すなわち、「モード2」は、全ての項目へのデータ入力が必要である場合や、必須項目へのデータ入力を漏れなく行わせる場合に、特に有用である。
【0072】
「モード2」の場合は、図11に示すように、操作者が「モード2」のチェックボックス81をタップしてから「開始」ボタン82をタップすると、文字認識ウィンドウ73が、当該ウィンドウから伸びる矢印状図形74の先端が、認識結果を最初に入力すべき項目(ここでは「目標」)を指した状態で、起動される。なお、項目への入力の順序は、項目記憶部14に項目タイトルと共に予め記憶されている。あるいは、操作者が設定した順序を、項目記憶部14に記憶できるようにしても良い。
【0073】
図12に示すように、操作者が手書きメモ表示領域R2に表示されたメモ中で、矢印状図形74が指している項目に対応するデータの筆跡を丸で囲むと、文字認識ウィンドウ73が当該筆跡に含まれる文字等を認識し、図13に示すように、認識結果を表示する。操作者が、必要に応じて誤認識の修正等を行ったあと、「確定」ボタン73aをタップすると、認識結果が目的の場所に挿入される。そして、図14に示すように、矢印状図形74が、認識結果を次に入力すべき項目(ここでは「お客様」)を指した状態で、文字認識ウィンドウ73が再起動される。
【0074】
ここで、本実施形態の手書き情報入力装置の動作の流れ図を、図15に示す。図15に示すように、まず、最初の入力項目を矢印状図形74で指すようにして、文字認識ウィンドウ73が起動される(S31)。次に、操作者により手書きメモ表示領域R2の筆跡の一部が選択されると(S32においてYes)、選択された筆跡をディスクへ書き出す(S33)。そして、ディスクへ書き出された筆跡は文字認識ウィンドウ73に渡され、その認識結果が、矢印状図形74で指し示された項目へ送り込まれる(S34)。全ての入力項目についてデータ入力が完了するまで(S35においてYes)、次の入力項目を矢印状図形74で指すようにして、文字認識ウィンドウ73が起動され(S36)、上記の処理が繰り返される。
【0075】
以上のように、本実施形態の場合、操作者は、入力項目を指定する必要が無いので、全ての項目へのデータ入力が必要である場合や、必須項目へのデータ入力を漏れなく行わせたい場合等に、利用者の手間を大幅に軽減することが可能である。
【0076】
なお、本実施形態では、「基本モード」、「モード1」、「モード2」の3つの動作モードを有するものとしたが、「モード2」のみで動作する手書き情報入力装置であっても良い。
[第3の実施形態]
以下、本発明の第3の実施形態にかかる手書き情報入力装置について説明する。なお、本実施形態の手書き情報入力装置において、第1の実施形態で説明した構成等については、同じ参照符号を付記し、その説明を省略する。
【0077】
本実施形態の手書き情報入力装置は、手書き入力によりメモが記入された後、記入内容から、どのようなデータがテキスト項目入力領域R1のどの項目へ入力されそうかを推定するように構成されている。
【0078】
このため、図16に示すように、本実施形態の手書き情報入力装置は、図1に示した第1の実施形態にかかる手書き情報入力装置の構成要素に加えて、推定情報記憶部18と項目推定部19とをさらに備えている。推定情報記憶部18には、各入力項目に対して入力されやすいデータの統計情報が格納されている。この統計情報には、各入力項目に対して過去に実際に入力されたデータの統計情報そのものや、各入力項目に対して過去に入力されたデータの規則性を表す情報などが含まれる。推定情報記憶部18には、学習機能を持たせても良い。
【0079】
項目推定部19は、手書きメモ表示領域R2において操作者が筆跡の一部を選択すると、筆跡認識部13からその筆跡からの認識結果を受け取り、推定情報記憶部18の統計情報を参照することにより、選択された筆跡のデータが、項目記憶部14に登録されている入力項目のうちのどの入力項目に入りそうかを推定する。例えば、選択筆跡が、人の姓名または会社名等として良く用いられている文字列であれば、「お客様」の項目が、入力項目として推定される。また、数字とハイフンの組み合わせからなる所定桁の文字列であれば、「電話」への入力データであると推定できる。
【0080】
そして、項目推定部19の推定結果は項目選択処理部15へ渡され、項目選択処理部15が、項目リスト72へ提示する入力項目に優先度を付けることにより、データの入力先となる可能性が高いと推定される項目が、項目リスト72へ優先的に表示される。例えば、そのような項目を項目リスト72の上位に表示したり、そのような項目のみを項目リスト72に表示したりすることが考えられる。あるいは、いずれか一つの項目がデータ入力先となる可能性が極めて高いと判断される場合は、項目リスト72を表示せずに、文字認識ウィンドウ73からの矢印状図形74がその入力項目を指した状態で、文字認識ウィンドウ73を起動する。これによれば、入力先項目と認識結果が整合している場合は、操作者は確定ボタンを押すだけの極めて簡単な操作で、当該項目へ選択筆跡の認識結果を送り込むことができる。なお、入力先の推定結果が誤っていた場合は、操作者が入力先を修正することができる。
【0081】
以上のように、本実施形態によれば、手書き入力されたメモの筆跡からの認識結果を、推定情報記憶部18の統計情報と比較することにより、その認識結果がどの入力項目へ入力されるかを推定し、入力項目の選択肢を絞り込むことができる。これにより、操作者が入力先項目を選択する手間を省くことができる。
【0082】
以上の第1〜第3の実施形態を含む本発明の実施形態に関し、さらに以下の付記を開示する。
(付記1)
文字、記号、または図形の手書きによる入力を受け付けると共に入力された筆跡を表示する手書き入力領域と、テキスト入力項目領域とを有する入出力装置と、
前記手書き入力領域に表示された筆跡の少なくとも一部を選択する手書き入力を受け付け、選択された筆跡を確定する筆跡選択処理部と、
前記筆跡選択処理部により確定された筆跡を受け取って認識する筆跡認識部と、
前記テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部と、
前記項目記憶部に記憶された情報に基づき、前記筆跡認識部の認識結果を、前記テキスト入力項目領域中のどの入力項目へ送るかを操作者に選択させるための項目リストを生成し、前記入出力装置へ表示させる項目選択処理部と、
前記項目リストにおいて選択された入力項目へ、前記筆跡認識部の認識結果を送り込む項目入力部とを備えたことを特徴とする手書き情報入力装置。
(付記2)
前記項目選択処理部は、前記項目リストを、前記筆跡選択処理部により筆跡が選択された後に表示する、付記1に記載の手書き情報入力装置。
(付記3)
前記項目選択処理部は、前記項目リストを、前記筆跡選択処理部により筆跡が選択される前に表示する、付記1に記載の手書き情報入力装置。
(付記4)
前記項目選択処理部は、前記項目リストを、前記筆跡選択処理部により選択された筆跡の近傍に表示する、付記1〜3のいずれか一項に記載の手書き情報入力装置。
(付記5)
前記項目選択処理部は、前記項目リストを、前記筆跡選択処理部により選択された筆跡のペンアップした位置またはペンダウンした位置の近傍に表示する、付記1〜3のいずれか一項に記載の手書き情報入力装置。
(付記6)
前記入出力装置は、電磁誘導式のタブレットであり、
前記表示制御部は、前記ペンのペン先位置の情報を取得し、前記項目選択処理部は、前記項目リストを、前記取得したペン先位置の近傍に表示する、付記1〜3のいずれか一項に記載の手書き情報入力装置。
(付記7)
前記入出力装置は、電磁誘導式のタブレットであり、
前記表示制御部は、前記筆跡の選択後、前記項目リストを選択するまで、前記ペンのペン先位置の情報を随時取得し、前記項目選択処理部は、前記項目リストを、前記取得した最新のペン先位置の近傍に追従表示する、付記1〜3のいずれか一項に記載の手書き情報入力装置。
(付記8)
前記入出力装置が、項目リストにおいて選択された入力項目が表示されるように、前記テキスト入力項目領域における表示項目を切り替える、付記1〜7のいずれか一項に記載の手書き情報入力装置。
(付記9)
同一の筆跡から、前記入力項目へのデータ入力を複数回行う場合、
二回目以降に前記項目リストを表示する際に、前回までに選択された入力項目を選択不可能な状態として表示する、または、前回までに選択された入力項目を前記項目リストから除いて表示する付記1〜8のいずれか一項に記載の手書き情報入力装置。
(付記10)
前記テキスト入力項目領域に表示される入力項目に関して、各項目に対する入力データの統計的情報を記憶した推定情報記憶部と、
前記筆跡認識部による認識結果の内容と、前記推定情報記憶部の統計的情報とに基づいて、当該認識結果を送り込むべき入力項目を推定し、推定結果を前記項目選択処理部へ渡すことにより、前記項目リストに提示する項目を絞り込む項目推定部とをさらに備えた、付記1〜9のいずれか一項に記載の手書き情報入力装置。
(付記11)
文字、記号、または図形の手書きによる入力を受け付けると共に入力された筆跡を表示する手書き入力領域と、テキスト入力項目領域とを有する入出力装置と、
前記手書き入力領域に表示された筆跡の少なくとも一部を選択する手書き入力を受け付け、選択された筆跡を確定する筆跡選択処理部と、
前記筆跡選択処理部により確定された筆跡を受け取って認識する筆跡認識部と、
前記テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部と、
前記項目記憶部に記憶された情報に基づき、前記テキスト入力項目領域中の少なくとも一部の入力項目を順次指定することにより、前記筆跡認識部の認識結果を前記テキスト入力項目領域中のどの入力項目へ送るかを操作者に対して指定する項目選択処理部と、
前記項目選択処理部が指定した入力項目へ、前記筆跡認識部の認識結果を送り込む項目入力部とを備えたことを特徴とする手書き情報入力装置。
(付記12)
文字、記号、または図形の手書きによる入力を受け付けると共に入力された筆跡を表示する手書き入力領域と、テキスト入力項目領域とを有する入出力装置を備えたコンピュータに手書き情報入力処理を実行させるプログラムであって、
前記コンピュータに、
前記手書き入力領域に表示された筆跡の少なくとも一部を選択する手書き入力を受け付け、選択された筆跡を確定する筆跡選択処理と、
前記筆跡選択処理により確定された筆跡を受け取って認識する筆跡認識処理と、
前記テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部を参照し、前記情報に基づき、前記筆跡認識処理の認識結果を、前記テキスト入力項目領域中のどの入力項目へ送るかを操作者に選択させるための項目リストを生成し、前記入出力装置へ表示させる項目選択処理と、
前記項目リストにおいて選択された入力項目へ、前記筆跡認識処理の認識結果を送り込む項目入力処理とを実行させることを特徴とするプログラム。
(付記13)
文字、記号、または図形の手書きによる入力を受け付けると共に入力された筆跡を表示する手書き入力領域と、テキスト入力項目領域とを有する入出力装置を備えたコンピュータに手書き情報入力処理を実行させるプログラムであって、
前記コンピュータに、
前記手書き入力領域に表示された筆跡の少なくとも一部を選択する手書き入力を受け付け、選択された筆跡を確定する筆跡選択処理と、
前記筆跡選択処理により確定された筆跡を受け取って認識する筆跡認識処理と、
前記テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部を参照し、前記情報に基づき、前記テキスト入力項目領域中の少なくとも一部の入力項目を順次指定することにより、前記筆跡認識処理の認識結果を前記テキスト入力項目領域中のどの入力項目へ送るかを操作者に対して指定する項目選択処理と、
前記項目選択処理で指定した入力項目へ、前記筆跡認識処理の認識結果を送り込む項目入力処理とを実行させることを特徴とするプログラム。
(付記14)
文字、記号、または図形の手書きによる入力を受け付けると共に入力された筆跡を表示する手書き入力領域と、テキスト入力項目領域とを有する入出力装置を備えたコンピュータに手書き情報入力処理を実行させるプログラムを記録媒体に記録したプログラム製品であって、
前記プログラムは、前記コンピュータに、
前記手書き入力領域に表示された筆跡の少なくとも一部を選択する手書き入力を受け付け、選択された筆跡を確定する筆跡選択処理と、
前記筆跡選択処理により確定された筆跡を受け取って認識する筆跡認識処理と、
前記テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部を参照し、前記情報に基づき、前記筆跡認識処理の認識結果を、前記テキスト入力項目領域中のどの入力項目へ送るかを操作者に選択させるための項目リストを生成し、前記入出力装置へ表示させる項目選択処理と、
前記項目リストにおいて選択された入力項目へ、前記筆跡認識処理の認識結果を送り込む項目入力処理とを実行させることを特徴とするプログラム製品。
(付記15)
文字、記号、または図形の手書きによる入力を受け付けると共に入力された筆跡を表示する手書き入力領域と、テキスト入力項目領域とを有する入出力装置を備えたコンピュータに手書き情報入力処理を実行させるプログラムを記録媒体に記録したプログラム製品であって、
前記プログラムは、前記コンピュータに、
前記手書き入力領域に表示された筆跡の少なくとも一部を選択する手書き入力を受け付け、選択された筆跡を確定する筆跡選択処理と、
前記筆跡選択処理により確定された筆跡を受け取って認識する筆跡認識処理と、
前記テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部を参照し、前記情報に基づき、前記テキスト入力項目領域中の少なくとも一部の入力項目を順次指定することにより、前記筆跡認識処理の認識結果を前記テキスト入力項目領域中のどの入力項目へ送るかを操作者に対して指定する項目選択処理と、
前記項目選択処理で指定した入力項目へ、前記筆跡認識処理の認識結果を送り込む項目入力処理とを実行させることを特徴とするプログラム製品。
【図面の簡単な説明】
【0083】
【図1】本発明の第1の実施形態にかかる手書き情報入力装置の概略構成を示すブロック図である。
【図2】第1の実施形態にかかる手書き情報入力装置の画面例を示す図である。
【図3】第1の実施形態にかかる手書き情報入力装置の画面例を示す図である。
【図4】第1の実施形態にかかる手書き情報入力装置の画面例を示す図である。
【図5】第1の実施形態にかかる手書き情報入力装置の画面例を示す図である。
【図6】第1の実施形態にかかる手書き情報入力装置の画面例を示す図である。
【図7】第1の実施形態にかかる手書き情報入力装置の画面例を示す図である。
【図8】第1の実施形態にかかる手書き情報入力装置の画面例を示す図である。
【図9】第1の実施形態にかかる手書き情報入力装置において、認識結果の入力先項目の選択を行うための項目リスト表示から、文字認識ウィンドウによる認識処理までの流れ図である。
【図10】第1の実施形態にかかる手書き情報入力装置において、操作者が項目リストにおいていずれかの項目を選択した後、文字認識ウィンドウが起動されるまでの処理の詳細を示す流れ図である。
【図11】第2の実施形態にかかる手書き情報入力装置の画面例を示す図である。
【図12】第2の実施形態にかかる手書き情報入力装置の画面例を示す図である。
【図13】第2の実施形態にかかる手書き情報入力装置の画面例を示す図である。
【図14】第2の実施形態にかかる手書き情報入力装置の画面例を示す図である。
【図15】第2の実施形態にかかる手書き情報入力装置の動作を示す流れ図である。
【図16】第3の実施形態にかかる手書き情報入力装置の概略構成を示すブロック図である。
【図17】従来の手書き情報入力装置の画面例を示す図である。
【図18】従来の手書き情報入力装置の画面例を示す図である。
【図19】従来の手書き情報入力装置の画面例を示す図である。
【図20】従来の手書き情報入力装置の画面例を示す図である。
【図21】従来の手書き情報入力装置の画面例を示す図である。
【図22】従来の手書き情報入力装置の画面例を示す図である。
【図23】従来の手書き情報入力装置の画面例を示す図である。
【符号の説明】
【0084】
10 タブレット
11 手書きメモ入力処理部
12 筆跡選択処理部
13 筆跡認識部
14 項目記憶部
15 項目選択処理部
16 項目入力部
17 表示制御部
18 推定情報記憶部
【特許請求の範囲】
【請求項1】
文字、記号、または図形の手書きによる入力を受け付けると共に入力された筆跡を表示する手書き入力領域と、テキスト入力項目領域とを有する入出力装置と、
前記手書き入力領域に表示された筆跡の少なくとも一部を選択する手書き入力を受け付け、選択された筆跡を確定する筆跡選択処理部と、
前記筆跡選択処理部により確定された筆跡を受け取って認識する筆跡認識部と、
前記テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部と、
前記項目記憶部に記憶された情報に基づき、前記テキスト入力項目領域中の少なくとも一部の入力項目を順次指定することにより、前記筆跡認識部の認識結果を前記テキスト入力項目領域中のどの入力項目へ送るかを操作者に対して指定する項目選択処理部と、
前記項目選択処理部が指定した入力項目へ、前記筆跡認識部の認識結果を送り込む項目入力部とを備えたことを特徴とする手書き情報入力装置。
【請求項2】
文字、記号、または図形の手書きによる入力を受け付けると共に入力された筆跡を表示する手書き入力領域と、テキスト入力項目領域とを有する入出力装置を備えたコンピュータに手書き情報入力処理を実行させるプログラムであって、
前記コンピュータに、
前記手書き入力領域に表示された筆跡の少なくとも一部を選択する手書き入力を受け付け、選択された筆跡を確定する筆跡選択処理と、
前記筆跡選択処理により確定された筆跡を受け取って認識する筆跡認識処理と、
前記テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部を参照し、前記情報に基づき、前記テキスト入力項目領域中の少なくとも一部の入力項目を順次指定することにより、前記筆跡認識処理の認識結果を前記テキスト入力項目領域中のどの入力項目へ送るかを操作者に対して指定する項目選択処理と、
前記項目選択処理で指定した入力項目へ、前記筆跡認識処理の認識結果を送り込む項目入力処理とを実行させることを特徴とするプログラム。
【請求項1】
文字、記号、または図形の手書きによる入力を受け付けると共に入力された筆跡を表示する手書き入力領域と、テキスト入力項目領域とを有する入出力装置と、
前記手書き入力領域に表示された筆跡の少なくとも一部を選択する手書き入力を受け付け、選択された筆跡を確定する筆跡選択処理部と、
前記筆跡選択処理部により確定された筆跡を受け取って認識する筆跡認識部と、
前記テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部と、
前記項目記憶部に記憶された情報に基づき、前記テキスト入力項目領域中の少なくとも一部の入力項目を順次指定することにより、前記筆跡認識部の認識結果を前記テキスト入力項目領域中のどの入力項目へ送るかを操作者に対して指定する項目選択処理部と、
前記項目選択処理部が指定した入力項目へ、前記筆跡認識部の認識結果を送り込む項目入力部とを備えたことを特徴とする手書き情報入力装置。
【請求項2】
文字、記号、または図形の手書きによる入力を受け付けると共に入力された筆跡を表示する手書き入力領域と、テキスト入力項目領域とを有する入出力装置を備えたコンピュータに手書き情報入力処理を実行させるプログラムであって、
前記コンピュータに、
前記手書き入力領域に表示された筆跡の少なくとも一部を選択する手書き入力を受け付け、選択された筆跡を確定する筆跡選択処理と、
前記筆跡選択処理により確定された筆跡を受け取って認識する筆跡認識処理と、
前記テキスト入力項目領域に表示される入力項目に関する情報を予め記憶した項目記憶部を参照し、前記情報に基づき、前記テキスト入力項目領域中の少なくとも一部の入力項目を順次指定することにより、前記筆跡認識処理の認識結果を前記テキスト入力項目領域中のどの入力項目へ送るかを操作者に対して指定する項目選択処理と、
前記項目選択処理で指定した入力項目へ、前記筆跡認識処理の認識結果を送り込む項目入力処理とを実行させることを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【公開番号】特開2009−26336(P2009−26336A)
【公開日】平成21年2月5日(2009.2.5)
【国際特許分類】
【出願番号】特願2008−272290(P2008−272290)
【出願日】平成20年10月22日(2008.10.22)
【分割の表示】特願2004−347733(P2004−347733)の分割
【原出願日】平成16年11月30日(2004.11.30)
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】
【公開日】平成21年2月5日(2009.2.5)
【国際特許分類】
【出願日】平成20年10月22日(2008.10.22)
【分割の表示】特願2004−347733(P2004−347733)の分割
【原出願日】平成16年11月30日(2004.11.30)
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】
[ Back to top ]