手書き入力装置、手書き入力処理方法及びプログラム
【課題】手書き入力装置において、手書き入力時の利便性（ユーザビリティ）、特に操作性を向上させる。
【解決手段】指によって入力面に手書き入力された手書き入力情報を取得する手書き入力部１１と、この手書き入力情報より、入力位置情報として時系列のＸＹ座標情報を取得する入力座標処理部１２と、手書き入力に用いられた指の指紋を判定して指の種別を示す指情報を取得し、入力位置情報に指情報を付加する指紋判定部１３と、指情報に基づいて手書き入力の入力モードを判定する入力モード判定部１４と、入力位置情報から手書き入力の軌跡を示す筆跡情報を取得する筆跡処理部１５と、入力モード判定部１４によって判定された入力モードと、筆跡処理部１５によって取得された筆跡情報とに基づき、手書き入力された文字を認識する文字認識部１６とを備える。
【解決手段】指によって入力面に手書き入力された手書き入力情報を取得する手書き入力部１１と、この手書き入力情報より、入力位置情報として時系列のＸＹ座標情報を取得する入力座標処理部１２と、手書き入力に用いられた指の指紋を判定して指の種別を示す指情報を取得し、入力位置情報に指情報を付加する指紋判定部１３と、指情報に基づいて手書き入力の入力モードを判定する入力モード判定部１４と、入力位置情報から手書き入力の軌跡を示す筆跡情報を取得する筆跡処理部１５と、入力モード判定部１４によって判定された入力モードと、筆跡処理部１５によって取得された筆跡情報とに基づき、手書き入力された文字を認識する文字認識部１６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手書きにより情報を入力する手書き入力装置、手書き入力処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、文字入力が可能な電子機器において、利用者がアルファベットを入力する場合、アルファベットの大文字と小文字を意識して入力モードを変更してから文字を入力することが一般的に行われる。手書き文字入力をする場合も同様であり、形状が一致している文字、例えば大文字の「Ｃ」と小文字の「ｃ」、大文字の「Ｏ」と小文字の「ｏ」の文字認識を行うためには、利用者が大文字モードか小文字モードかを切替えてから文字を記入する必要がある。
【０００３】
また、日本語入力が可能な電子機器に対して日本語の文字入力を行う場合、特にカタカナ、数字、アルファベットまたは記号の入力において、利用者は半角文字（１バイト文字）か全角文字（２バイト文字）を意識して入力する必要がある。例えば、携帯電話機、あるいはスマートフォン、ＰＤＡ等の携帯情報端末などの携帯型電子機器における日本語入力システムでは、半角モードと全角モードが存在する。利用者は、テンキーと呼ばれるハードキー、またはソフトウェアキーによる入力モード切替ボタンの押下により、入力モードを変更して文字入力を行う。
【０００４】
このような入力モード切替は、利用者において入力時の作業量が増加し、操作が煩雑になる。また、ボタン操作のための手、指の動きが発生し、入力に時間がかかったり、文字入力のリズムを狂わせる可能性がある。このため、ユーザビリティが低下すると考えられる。これは手書き文字入力が可能な一般的な入力システムでも同様である。
【０００５】
一方、手書き文字入力が可能な電子機器において、利用者が入力モード切替ボタンを押下せずに、半角文字か全角文字かあるいは大文字か小文字かの入力を切り替える入力方式も存在する。例えば、特許文献１、特許文献２、特許文献３では、手書き文字入力枠を複数設けておく、または手書き文字入力領域を複数の領域に分割しておくことで、それぞれの入力枠／入力領域に入力モードをそれぞれ関連付けて文字を入力することが行われる。例えば、入力枠Ａ／入力領域Ａに入力した場合に全角モードとして、入力枠Ｂ／入力領域Ｂに入力した場合に半角モードとして、それぞれ入力された文字が認識されて文字入力が行われる。
【０００６】
さらに、手書き文字入力を行う場合、入力された文字を正しく認識する必要がある。しかし、平仮名、カタカナ、漢字、英数字では、形状が類似している文字が多数存在し、正しく認識することは難しい。例えば、句読点の「。」と数字の「０」とアルファベット大文字の「Ｏ」、アルファベット小文字の「ｏ」、記号の「○」などは、手書き入力時の形状が非常に類似している。
【０００７】
また、文字入力を行う際、フォント、文字色等の文字属性の変更を行うためには、利用者がその都度、設定を変更してから入力することが公知の技術となっている。このほか、文字以外の図形などを入力する場合、利用者は、線の太さ（幅）、線の色、線の形状（線種）などの線属性をパレットから選択し、軌跡などの図形などを入力する方式が一般的に用いられる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特公平７−１１３９５４号公報
【特許文献２】特許第３２１３４０３号公報
【特許文献３】特許第４２６９３５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記のような従来の入力モード切替機能を持つ構成では、利用者にとっては入力モードの切替操作のために作業量が増加し、操作が煩雑になる。また、入力モード切替用のボタン等を設ける必要がある。また、ボタン操作のための手、指の動きが発生し、入力に時間がかかったり、文字入力のリズムを狂わせる可能性がある。
【００１０】
また、上記特許文献１〜３の構成では、複数の入力枠または入力領域を用意する必要があり、入力デバイスの配置用に大きなスペースが必要になるため、小型の携帯型電子機器などでは適用困難な場合がある。また、通常の入力領域をさらに分割するような構成では、入力領域が小さくなり、利用者が手書き入力をしづらくなる。さらに、複数の入力枠または入力領域を設定した場合、通常の文字入力時とは異なる領域に入力する必要があるので、手、指またはスタイラスなどの入力手段の移動量が多くなる。
【００１１】
また、従来の構成では、文字入力時のフォント、色等の属性変更、あるいは図形入力時の線の太さ、色、形状等の属性変更を行う場合、変更の都度、利用者がメニュー画面などからそれぞれの設定を変更する必要があり、操作手順が増加する。
【００１２】
本発明は、上記事情に鑑みてなされたもので、その目的は、手書き入力時の利便性（ユーザビリティ）、特に操作性を向上できるようにすることにある。
【課題を解決するための手段】
【００１３】
本発明は、指によって入力面に手書き入力された手書き入力情報を取得する情報入力部と、前記手書き入力情報より、前記手書き入力に用いられた指の指紋を判定して指の種別を示す指情報を取得し、前記手書き入力の入力位置を示す入力位置情報に前記指情報を付加する指紋判定部と、前記指情報に基づき、前記手書き入力の入力モードを判定する入力モード判定部と、を備える手書き入力装置を含むものである。
これにより、手書き入力に用いられた指の指紋を判定し、その指の種別を示す指情報に基づいて入力モードを判定できるので、利用者がハードキーやソフトウェアキーなどによる入力モード切り替え操作を行うことなく、通常の手書き入力における一連の動作において、用いる指の種別によって入力モードの設定、変更を行うことが可能となる。したがって、手書き入力時の利便性（ユーザビリティ）、特に操作性を向上させることが可能となる。
【００１４】
また、本発明は、上記の手書き入力装置であって、前記手書き入力情報に基づき、前記手書き入力の軌跡を示す筆跡情報を取得する筆跡処理部を備えるものを含む。
これにより、手書き入力の軌跡を示す筆跡情報を取得して出力することができ、この筆跡情報に基づいて手書き入力に対する文字認識、描画用の軌跡表示等を行うことが可能になる。
【００１５】
また、本発明は、上記の手書き入力装置であって、前記入力モード判定部によって判定された入力モードと、前記筆跡処理部によって取得された筆跡情報とに基づき、手書き入力された文字を認識する文字認識部を備えるものを含む。
これにより、指情報によって判定された入力モードと、取得された筆跡情報とに基づいて文字認識を行うことで、利用者が意図する入力文字を正しく認識することが可能になる。
【００１６】
また、本発明は、上記の手書き入力装置であって、前記筆跡処理部によって取得された筆跡情報に基づき手書き入力された文字を認識する文字認識部と、前記文字認識部によって認識された文字に形状が類似する類似文字の有無を判定し、前記類似文字が有る場合、前記指情報に基づいて入力モードを判定し、前記類似文字の中から入力モードに対応する文字を選択する類似文字判定部と、を備えるものを含む。
これにより、類似文字が有る場合に、指情報に基づく入力モードに対応した文字を選択することで、形状が類似している文字を正しく認識することが可能になる。
【００１７】
また、本発明は、上記の手書き入力装置であって、前記入力モード判定部は、前記指情報に基づき、前記手書き入力によって文字が入力される場合の文字属性を含む入力モードを設定するものを含む。
これにより、指情報に基づいてフォント種別、文字色、文字サイズ、文字飾り等の文字属性の属性情報を設定できるので、文字入力を行う場合に使用する指によって文字属性を含む入力モードを設定して入力することが可能になる。
【００１８】
また、本発明は、上記の手書き入力装置であって、前記入力モード判定部は、前記指情報に基づき、前記手書き入力によって線が入力される場合の線属性を含む入力モードを設定するものを含む。
これにより、指情報に基づいて線の種別、線の色、線幅等の線属性の属性情報を設定できるので、例えば描画等の手書き入力を行う場合に指によって線属性を含む入力モードを設定して入力することが可能になる。
【００１９】
また、本発明は、上記の手書き入力装置であって、前記情報入力部は、複数の指によって手書き入力された手書き入力情報を取得し、前記指紋判定部は、複数の指の指紋を判定して前記手書き入力に用いられた複数の指の種別を示す指情報を取得し、前記入力モード判定部は、前記複数の指の指情報に基づき、前記手書き入力の入力モードを判定するものを含む。
これにより、複数の指を用いた手書き入力により、複数の指の指情報に基づいてより詳細な入力モードを設定することが可能となる。
【００２０】
また、本発明は、上記の手書き入力装置であって、前記入力モード判定部により判定した入力モードを表示する入力モード表示部を備えるものを含む。
これにより、指情報に基づいて判定した入力モードを利用者にフィードバックでき、利用者は設定された現在の入力モードを容易に確認し、手書き入力を行うことが可能になる。
【００２１】
本発明は、情報入力部の入力面に指によって手書き入力された手書き入力情報を取得するステップと、前記手書き入力情報より、前記手書き入力に用いられた指の指紋を判定して指の種別を示す指情報を取得し、前記手書き入力の入力位置を示す入力位置情報に前記指情報を付加するステップと、前記指情報に基づき、前記手書き入力の入力モードを判定するステップと、を有する手書き入力処理方法を含むものである。
【００２２】
本発明は、上記手書き入力処理方法の各ステップをコンピュータに実行させるためのプログラムを含むものである。
【発明の効果】
【００２３】
本発明によれば、手書き入力時の利便性（ユーザビリティ）、特に操作性を向上させることができる。
【図面の簡単な説明】
【００２４】
【図１】第１の実施形態に係る手書き入力装置の構成を示すブロック図
【図２】手書き入力部における手書き入力操作を示す図
【図３】各指のＸＹ座標情報の算出、及び筆跡情報の算出例を示す図
【図４】手書き入力部において２本の指を使用して文字「Ｃ」を入力した場合の筆跡ポイントを示す図
【図５】文字認識部における文字認識結果の具体例を示す図
【図６】第１の実施形態における手書き入力動作を示すフローチャート
【図７】第２の実施形態に係る手書き入力装置の構成を示すブロック図
【図８】第２の実施形態における手書き入力動作を示すフローチャート
【図９】第３の実施形態に係る手書き入力装置の構成を示すブロック図
【図１０】第３の実施形態における手書き入力動作を示すフローチャート
【図１１】第４の実施形態に係る手書き入力装置の構成を示すブロック図
【発明を実施するための形態】
【００２５】
以下に、本発明に係る手書き入力装置、手書き入力処理方法及びプログラムの実施形態を例示する。本実施形態では、携帯型電子機器などに搭載した場合を想定した構成例について説明する。
【００２６】
（第１の実施形態）
図１は第１の実施形態に係る手書き入力装置の構成を示すブロック図である。手書き入力装置１は、手書き入力部１１、入力座標処理部１２、指紋判定部１３、入力モード判定部１４、筆跡処理部１５、文字認識部１６、フィードバック出力部１７、入力文字記憶部１８を有して構成される。ここで、入力座標処理部１２、指紋判定部１３、入力モード判定部１４、筆跡処理部１５、文字認識部１６は、プロセッサを主体とするコンピュータによる制御部１０を構成し、本実施形態では、制御部１０内のプロセッサ（ＣＰＵ）が記憶媒体（ＲＡＭ、ＲＯＭ等のメモリ）に記憶されたプログラムを実行することによって得られる機能として実現される。
【００２７】
つぎに、これら各部の機能について説明する。手書き入力部１１は、利用者が手書き操作により情報を入力する入力面を有する入力用ユーザインタフェースであり、光学式あるいは静電式のタッチパネル、タッチパッド等により構成される。この手書き入力部１１が情報入力部の機能を実現する。タッチパネルを用いる場合、手書き入力した筆跡、文字入力認識結果等を表示する液晶表示装置（ＬＣＤ）等の表示部の上に重ねた状態で手書き入力部１１が配置される。以下では、手書き入力部１１がタッチパネルにより構成される場合について説明する。
【００２８】
この手書き入力部１１において、手書き入力情報として、利用者がタッチパネルの入力面をタッチした指の位置の接触領域の情報、つまり入力面上のＸＹ座標の集合を検知して出力する。この際、手書き入力情報に相当する接触領域のＸＹ座標の集合は、入力面上の各点の電位変動などによって検知され、指の入力位置を示す入力位置情報とともに、利用者の指の指紋情報を含むものである。手書き入力部１１は、多地点入力機能を有しており、指毎の入力位置情報及び指紋情報を取得可能である。この手書き入力情報は、時系列の情報として入力座標処理部１２及び指紋判定部１３に出力される。なお、手書き入力部１１は、入力位置情報と指紋情報とを検知する機能を有するものとしているが、別に指紋検知センサを設け、手書き入力部において入力位置情報のみを検知し、指紋検知センサにより指紋情報を検知するような構成としてもよい。
【００２９】
入力座標処理部１２は、手書き入力部１１によって検知された手書き入力情報に基づき、指単位で接触領域のＸＹ座標をまとめて代表値を算出し、入力位置情報として時系列のＸＹ座標情報を出力する。ここで、ＸＹ座標情報となる代表値は、接触領域のＸＹ座標の集合の中心点、あるいは重心点などを求めて算出する。
【００３０】
指紋判定部１３は、手書き入力部１１によって検知された手書き入力情報から利用者の指の指紋情報を検出し、これを予め登録された指紋情報と照合して、タッチパネルの入力面をタッチした指の種別（中指、人指し指など）を表す指情報を取得する。そして、指紋判定部１３は、入力座標処理部１２で算出した時系列のＸＹ座標情報に指情報を付与して出力する。なお、手書き入力部１１と別に指紋検知センサを設ける構成の場合、指紋判定部１３は指紋検知センサにより検知された指紋情報に基づいて指情報を取得する。
【００３１】
入力モード判定部１４は、指紋判定部１３で取得された指情報に基づき、指の種別に応じた入力モードを判定して入力モードの設定を行う。そして、入力モード判定部１４は、判定した入力モードに対応するモード設定情報を文字認識部１６に出力し、文字認識の際の判定要素に用いる入力モードを通知する。
【００３２】
筆跡処理部１５は、指単位の時系列のＸＹ座標情報に基づき、筆跡処理を行う。この筆跡処理では、タッチパネルの入力面をタッチした各指のＸＹ座標情報を時系列に並べたＸＹ座標群によって、手書き入力の筆跡を示す筆跡情報を生成して出力する。すなわち、筆跡処理部１５は、時系列の各タイミングにおける指の位置から筆跡ポイントを把握し、この筆跡ポイントの系列によって示される筆跡情報を文字認識部１６に渡す。手書き入力部１１において複数の指がタッチされた場合は、これら複数の指のＸＹ座標情報の中心点の座標を用いて筆跡情報とするか、あるいは、いずれか一つの指のＸＹ座標情報を用いて筆跡情報とする。
【００３３】
ここで、ＸＹ座標情報及び筆跡情報の算出処理の例を説明する。図２は手書き入力部１１における手書き入力操作を示す図である。図２に示す例は、手書き入力部１１であるタッチパネルを備える表示部１５０において、入力領域１５１を配置したものである。図２（Ａ）では、１本の指（人差し指）で文字「Ｃ」を書き始める様子が示されている。また、図２（Ｂ）では、２本の指（人差し指と中指）で文字「Ｃ」を書き始める様子が示されている。入力領域１５１の近傍（図示例では上側）には、手書き入力の文字認識結果を示す入力文字表示領域１５２が設けられている。
【００３４】
図３は各指のＸＹ座標情報の算出、及び筆跡情報の算出例を示す図であり、タッチパネルの入力面をタッチした指の筆跡ポイントの軌跡を表したものである。ここでは、２本の指で手書き入力した例を示す。図３において、小さい点の集まりが所定のサンプリングタイミング毎の指の接触領域を表している。入力座標処理部１２において、指単位で接触領域のＸＹ座標の集合から代表値を算出し、時系列のＸＹ座標情報を取得する。そして、指紋判定部１３において指情報を付加し、各指の指情報を含むＸＹ座標情報とする。図３（Ａ）に示すように、指Ａの筆跡ポイントを表すＡ［ｘ１，ｙ１］、Ａ［ｘ２，ｙ２］、……、及び、指Ｂの筆跡ポイントを表すＢ［ｘ１，ｙ１］、Ｂ［ｘ２，ｙ２］、……が指単位のＸＹ座標情報として算出されて出力される。そして、筆跡処理部１５において、２本の指それぞれの時系列のＸＹ座標情報から、筆跡情報を生成する。図３（Ａ）では、一方の指Ａの筆跡ポイントを示す時系列のＸＹ座標情報を用いて、筆跡１３０を示す筆跡情報を生成する例を示している。また、図３（Ｂ）では、２つの指Ａ、Ｂの位置（Ａ［ｘ１，ｙ１］、Ｂ［ｘ１，ｙ１］）における中点の座標を算出し、この時系列の中点座標によって筆跡１３０を示す筆跡情報を生成する例を示している。中点座標は、２つの指の位置（接触領域の中心点または重心点のＸＹ座標情報）を結ぶ線分の中間点の座標により求められる。筆跡情報は、文字認識部１６での文字認識用の他、図２のように手書き入力の入力軌跡１６０を示す表示用にも用いられる。なお、文字認識用には複数の指の筆跡ポイントの中点座標を用い、表示用にはいずれかの指の筆跡ポイントを用いるなど、用途に応じた筆跡情報を生成してもよい。
【００３５】
図４は手書き入力部１１において２本の指を使用して文字「Ｃ」を入力した場合の筆跡ポイントを示す図である。図４において、小さい点の集まりが所定のサンプリングタイミング毎の指の接触領域であり、黒丸が各タイミングの指単位の接触領域の代表値である筆跡ポイント１１１、１２１を表している。２本の指で手書き入力がなされた場合、上述のように２つの筆跡ポイント１１１、１２１の座標情報から時系列のＸＹ座標情報による筆跡情報を生成する。
【００３６】
フィードバック出力部１７は、入力モード判定部１４によって判定された入力モードを随時表示する表示装置であり、入力モード表示部の機能を有し、例えばＬＣＤ等によって実現される。図２に示したタッチパネルの例では、入力領域１５１及び入力文字表示領域１５２の近傍（図示例では右上側）に、全角モード（全）、半角モード（半）等を示す入力モード表示領域１５３を設けてあり、フィードバック出力部１７の機能を実現している。
【００３７】
文字認識部１６は、入力モード判定部１４によって判定された入力モードを示すモード設定情報と、筆跡処理部１５によって得られた筆跡情報とから、手書き入力された文字を認識する。
【００３８】
ここで、指情報と入力モードとの対応関係の一例を示す。第１例として、指情報の人差し指に全角モードを割り当て、指情報の中指に半角モードを割り当てる。この場合、指紋判定部１３より出力される指情報が人差し指の場合、入力モード判定部１４にて全角モードを設定し、文字認識部１６において全角文字で文字認識を行う。また、指情報が中指の場合、入力モード判定部１４にて半角モードを設定し、文字認識部１６において半角文字で文字認識を行う。
【００３９】
第２例として、指情報の人差し指に通常入力モードとして全角大文字モードを割り当て、指情報の中指に半角ＯＮモードを割り当て、指情報の薬指に小文字ＯＮモードを割り当てる。この場合、指紋判定部１３より出力される指情報が人差し指のみの場合、入力モード判定部１４にて通常入力モードとして全角大文字モードを設定し、文字認識部１６において全角大文字で文字認識を行う。また、指情報が人差し指＋中指の場合、入力モード判定部１４にて半角大文字モードを設定し、文字認識部１６において半角大文字で文字認識を行う。さらに、指情報が人差し指＋中指＋薬指の場合、入力モード判定部１４にて半角小文字モードを設定し、文字認識部１６において半角小文字で文字認識を行う。また、指情報が人差し指＋薬指の場合、入力モード判定部１４にて全角小文字モードを設定し、文字認識部１６において全角小文字で文字認識を行う。
【００４０】
指情報に対する入力モードの設定は、一つの指のみ、あるいは複数の指の組合せを用いればよく、例えば一方の手の１〜５本の指に対応させてより詳細な入力モードを設定可能である。また、電子機器を把持しているもう一方の手の親指を組み合わせるなど、両方の手の指を用いた指情報によって入力モードを設定することもできる。
【００４１】
図５は文字認識部１６における文字認識結果の具体例を示す図である。図５（Ａ）は、上記第１例に対応するもので、１本の指でカタカナを手書き入力した場合の例を示している。人差し指でカタカナの「カ」の筆跡情報が入力された場合、文字認識部１６は、この筆跡情報とモード設定情報から全角カタカナの文字「カ」であると認識する。また、中指でカタカナの「カ」の筆跡情報が入力された場合、文字認識部１６は、この筆跡情報とモード設定情報から半角カタカナの文字「カ」であると認識する。
【００４２】
図５（Ｂ）は、上記第２例に相当するもので、複数の指を用いてアルファベットを手書き入力した場合の例を示している。人差し指＋中指でアルファベットの「Ｃ」の筆跡情報が入力された場合、文字認識部１６は、この筆跡情報とモード設定情報から半角大文字のアルファベット「C」であると認識する。また、人差し指のみでアルファベットの「Ｃ」の筆跡情報が入力された場合、文字認識部１６は、この筆跡情報とモード設定情報から全角大文字のアルファベット「Ｃ」であると認識する。また、人差し指＋中指＋薬指でアルファベットの「Ｃ」の筆跡情報が入力された場合、文字認識部１６は、この筆跡情報とモード設定情報から半角小文字のアルファベット「c」であると認識する。また、人差し指＋薬指でアルファベットの「Ｃ」の筆跡情報が入力された場合、文字認識部１６は、この筆跡情報とモード設定情報から全角小文字のアルファベット「ｃ」であると認識する。
【００４３】
入力文字記憶部１８は、ＲＡＭ等の記憶媒体を有して構成され、文字認識部１６によって認識され、入力が確定した文字情報を記憶媒体に記憶する。そして、入力文字記憶部１８に記憶した文字情報は、各種処理を行うアプリケーションプログラムの実行環境等により構成される処理部に出力される。
【００４４】
上記構成を有する手書き入力装置の動作を示す。図６は第１の実施形態における手書き入力動作を示すフローチャートである。この動作にかかるプログラムは、前述したように、制御部１０内の記憶媒体に格納されており、制御部１０のプロセッサによって実行され、各手順の処理が行われる。
【００４５】
まず、手書き入力部１１において手書き入力が行われると、制御部１０は、手書き入力部１１によって検知された手書き入力情報（入力位置情報、指紋情報）を取得する（ステップＳ１）。この際、入力座標処理部１２により、手書き入力部１１からの手書き入力情報に基づき、指単位で接触領域のＸＹ座標をまとめて代表値を算出し、入力位置情報として時系列のＸＹ座標情報を出力する。そして、制御部１０は、取得した指紋情報に基づいて指紋判定を行い、どの指で入力されたかを判定する（ステップＳ２）。この際、指紋判定部１３により、取得された指紋情報を予め登録された指紋情報と照合し、指紋から人指し指、中指、薬指などの種別を判定し、手書き入力部１１に触れた（タッチした）指の種別を表す指情報を出力する。
【００４６】
つぎに、制御部１０は、入力モード判定部１４により、指紋判定部１３で取得された指情報に基づき、入力モードを判定し、手書き入力部１１に対する手書き入力の入力モードを設定する（ステップＳ３）。この際、入力モード判定部１４は、指情報に対応して設定した入力モードを示すモード設定情報を文字認識部１６に出力する。さらに、制御部１０は、モード設定情報をフィードバック出力部１７に出力し、フィードバック出力部１７において設定された入力モードの表示を行う（ステップＳ４）。この際、フィードバック出力部１７には、手書き入力において使用されている指の種別に対する入力モードが表示される。これにより、利用者は手書き入力を行っている最中に入力モードを確認でき、１文字の入力を確定する前に、入力モードが正しく設定されているか否かを知ることができる。
【００４７】
ここで、利用者は、手書き入力を行っている途中であっても、用いる指（手書き入力部１１にタッチする指）を変更して入力モードの切り替えを行い、入力をやり直すこと（書き直し）が可能である。この場合、制御部１０は、手書き入力を行っているときの指の変更を認識し、変更された指の種別に応じた入力モードとなるように入力モードの変更を行うようにする。
【００４８】
制御部１０は、指紋判定部１３において、取得された指情報に変化があったかを検出し、指の変更があったか否かを判別する（ステップＳ５）。ここで、指の変更があった場合、ステップＳ１の処理に戻り、制御部１０は同様の処理を繰り返し、手書き入力情報の取得、入力モードの判定等を行う。一方、指の変更がない場合は、制御部１０は、筆跡処理部１５により筆跡処理を行う（ステップＳ６）。この際、筆跡処理部１５は、上述したように、入力座標処理部１２で取得された入力位置情報のＸＹ座標情報に基づいて手書き入力の筆跡を示す筆跡情報を生成して出力する。
【００４９】
そして、制御部１０は、文字認識部１６により、入力モード判定部１４によって設定された入力モードのモード設定情報と、筆跡処理部１５によって取得された筆跡情報とに基づき、入力モードに対応する文字認識を行う（ステップＳ７）。
【００５０】
この際、制御部１０は、１文字の入力の途中で入力やり直しがあったか否かを判別し、入力やり直しの有無に応じた処理を行う。指紋判定部１３で取得された指情報に変化があった場合に、１文字の入力途中での指変更による入力モード変更及び入力やり直しであるか、入力後の指変更による入力モード変更及び次の文字の入力であるかの判定は、例えば以下のようにして行う。前回の筆跡情報と今回の筆跡情報とが一部一致し、かつ、前回と今回の指情報が異なる場合は、入力やり直しと判断する。すなわち、指情報に変化があった場合、その前後の筆跡情報の一部が略一致している場合、入力やり直しと判断する。入力やり直しであると判断した場合、前回の入力位置情報を破棄する。一方、前回の筆跡情報と今回の筆跡情報の全体が略一致している場合は、同一文字の連続入力である場合も想定されるので、指情報の変化の有無にかかわらず入力やり直しではないと判断し、前回の入力位置情報を破棄しない。このような処理により、１文字の入力が終了するまでに指変更があった場合の入力やり直しに対応でき、入力モード変更及び文字認識の処理を適切に実行できる。
【００５１】
なお、１文字の入力途中で指が変更された場合に、それまで入力された筆跡情報を破棄することなく、継続して入力処理が行われるようにしてもよい。例えば、「ガ」などの濁点文字の入力に際して、濁点を入力する段階で指を切り替えることにより、入力モードの設定を変更することが可能となる。この場合、指変更後の入力モードによって文字認識を行う。また、指を長押しすることにより、入力モードの変更、設定を行うようにしてもよい。
【００５２】
つぎに、制御部１０は、文字認識部１６による文字認識の結果に対し、１文字の入力を確定するか否かを判別する（ステップＳ８）。１文字の入力確定の判断は、例えば手書き入力部１１（タッチパネル）の所定の領域を利用者が指でタッチしたことを検出することにより、あるいは手書き入力部１１での所定の指の動き（ジェスチュア）を検出することなどによって可能である。また、１文字の入力のキャンセルは、同様に、入力確定とは異なる領域をタッチしたことを検出することにより、あるいは別のジェスチュアを検出することなどによって可能である。または、入力情報が一定時間発生しなかったときに、1文字入力確定としてもよい。
【００５３】
そして、１文字の入力が確定されず、入力がキャンセルされた場合、ステップＳ１の処理に戻り、制御部１０は同様の処理を繰り返す。一方、１文字の入力が確定された場合、制御部１０は、確定した文字情報を入力文字記憶部１８に記憶する（ステップＳ９）。この後、本動作が終了する。
【００５４】
第１の実施形態では、手書き入力に用いられた指の種別を指紋情報から判定し、この指情報に基づき、手書き入力の入力モードを設定し、取得した筆跡情報の文字認識を行う。これにより、利用者がハードキーやソフトウェアキーなどによる入力モード切り替え操作を行うことなく、通常の手書き入力における一連の動作において、用いる指の種別によって入力する文字の入力モードの設定、変更を行うことが可能となる。このため、入力時の作業量を最小限に抑制することができ、入力時のリズム変化も抑制できる。また、複数の入力枠または入力領域を用意する必要がなく、通常の入力領域をそのまま使用することができるため、大きな入力領域を必要としたり、入力領域が小さくなって細かい文字の入力を要するなどの不具合を解消でき、入力デバイスを有効活用できる。また、指の移動量も最小限に抑制することができる。
【００５５】
また、指の種別に応じた設定モード情報と筆跡情報とにより、利用者が意図する入力文字を正しく認識することができる。この際、指の種別によって１文字毎に入力モードを指定可能である。また、使用される指の変更を検知し、指変更による入力やり直しに対応して、入力モードの変更、再入力、文字認識を適切に実行できる。このため、手書き入力中に指を変更することによって入力モードを変更可能である。また、利用者が手書き入力中に入力モードの誤りを認識した場合は、同一文字の入力中に指を変更して入力モードを変更したり、入力のキャンセルを行うことができる。これらにより、本実施形態によれば、手書き入力時の利便性（ユーザビリティ）、特に操作性を向上させることが可能になる。
【００５６】
（第２の実施形態）
図７は第２の実施形態に係る手書き入力装置の構成を示すブロック図である。第２の実施形態の手書き入力装置は、図１の第１の実施形態と比べて、入力モード判定部１４が省かれ、類似形状判定部２５及び入力文字表示部２６が設けられている。その他の各部の構成は第１の実施形態と同様であり、同一の構成要素には同一符号を付している。
【００５７】
第２の実施形態では、手書き入力された文字に形状が類似する複数種の文字（類似文字）が有る場合に、指紋判定によって取得した指情報に基づいて入力モードを判定し、入力モードに応じた文字認識を行う。
【００５８】
ここで、入力座標処理部１２、指紋判定部１３、筆跡処理部１５、文字認識部１６、類似形状判定部２５は、プロセッサを主体とするコンピュータによる制御部２０を構成し、本実施形態では、制御部２０内のプロセッサ（ＣＰＵ）が記憶媒体（ＲＡＭ、ＲＯＭ等のメモリ）に記憶されたプログラムを実行することによって得られる機能として実現される。
【００５９】
筆跡処理部１５は、手書き入力部１１から得られた指単位の時系列のＸＹ座標情報に基づき、筆跡処理を行い、手書き入力の筆跡を示す筆跡情報を生成して文字認識部１６に出力する。文字認識部１６は、筆跡処理部１５によって得られた筆跡情報に基づき、手書き入力された文字を認識する。そして、筆跡処理部１５は、文字認識部１６によって認識された文字情報と、指紋判定部１３によって取得された指情報を類似形状判定部２５に出力する。
【００６０】
類似形状判定部２５は、文字認識部１６によって認識された文字情報を予め登録してある文字情報と照合し、入力された文字に形状が類似する複数種の文字（類似文字）が有るかどうかを判定する。この類似形状判定部２５が類似文字判定部の機能を実現する。ここで、類似文字が有ると判定した場合、類似文字の中から指情報に対応した入力モードに該当する文字を選択する。類似文字としては、上述したように、全角／半角が存在する英数字、カタカナなど、または、大文字と小文字が類似している「Ｃ」と「ｃ」など、あるいは、類似形状である数字の「０」とアルファベット大文字の「Ｏ」など、異なる文字種別で形状が似ている文字が相当する。入力文字記憶部１８は、文字認識部１６によって認識された文字情報、類似形状判定部２５によって選択された類似文字の文字情報を記憶する。入力文字表示部２６は、入力確定されて入力文字記憶部１８に記憶された文字情報を表示する。
【００６１】
上記構成を有する手書き入力装置の動作を示す。図８は第２の実施形態における手書き入力動作を示すフローチャートである。この動作にかかるプログラムは、前述したように、制御部２０内の記憶媒体に格納されており、制御部２０のプロセッサによって実行され、各手順の処理が行われる。
【００６２】
まず、手書き入力部１１において手書き入力が行われると、制御部２０は、手書き入力部１１によって検知された手書き入力情報（入力位置情報、指紋情報）を取得する（ステップＳ１１）。この際、入力座標処理部１２により、手書き入力部１１からの手書き入力情報に基づき、指単位で接触領域のＸＹ座標をまとめて代表値を算出し、入力位置情報として時系列のＸＹ座標情報を出力する。そして、制御部２０は、取得した指紋情報に基づいて指紋判定を行い、どの指で入力されたかを判定する（ステップＳ１２）。この際、指紋判定部１３により、取得された指紋情報を予め登録された指紋情報と照合し、手書き入力部１１に触れた（タッチした）指の種別を表す指情報を出力する。
【００６３】
つぎに、制御部２０は、筆跡処理部１５により筆跡処理を行う（ステップＳ１３）。この際、筆跡処理部１５は、第１の実施形態と同様、入力座標処理部１２で取得された入力位置情報のＸＹ座標情報に基づいて手書き入力の筆跡を示す筆跡情報を生成して出力する。
【００６４】
そして、制御部２０は、文字認識部１６により、筆跡処理部１５によって取得された筆跡情報に基づき、文字認識を行う（ステップＳ１４）。さらに、制御部２０は、類似形状判定部２５により、認識された文字情報を予め登録してある文字情報と照合し、入力された文字が、複数の類似形状の文字が存在する類似文字であるか否かを判定する（ステップＳ１５）。ここで、類似文字である場合、制御部２０は、類似形状判定部２５により、この認識された文字情報について、指紋判定部１３で取得された指情報に対応した入力モードに該当する文字を選択し、選択後の文字情報を出力する（ステップＳ１６）。一方、ステップＳ１５で類似文字でないと判定した場合、制御部２０は、ステップＳ１６における入力モードに対応する類似文字の選択処理をスキップする。
【００６５】
つぎに、制御部２０は、文字認識部１６による文字認識及び類似形状判定部２５による文字選択の結果に対し、１文字の入力を確定するか否かを判別する（ステップＳ１７）。ここで、１文字の入力が確定されず、入力がキャンセルされた場合、ステップＳ１１の処理に戻り、制御部２０は同様の処理を繰り返す。一方、１文字の入力が確定された場合、制御部２０は、確定した文字情報を入力文字記憶部１８に記憶する（ステップＳ１８）。そして、制御部２０は、入力文字記憶部１８に記憶された文字情報を入力文字表示部２６に表示させる（ステップＳ１９）。このとき、入力モードが設定されている場合、入力モードに従った文字が表示される。この後、本動作が終了する。
【００６６】
第２の実施形態では、手書き入力された文字が、複数の類似形状の文字が存在する類似文字である場合に、入力に用いられた指の種別に対応する入力モードを判定し、類似文字に対して入力モードに応じた文字の認識、選択を行う。この場合、入力モードの判定は類似文字のみが対象となる。これにより、用いる指の種別によって入力モードの設定を行い、形状が類似している文字を容易に正しく認識することができる。また、類似文字に関して、利用者が指の種別によって意図的に文字種別等の入力モードを指定することが可能である。また、処理負荷を低減することができ、筆跡描画などの別処理に対するＣＰＵ資源の利用比率を高くすることができる。したがって、本実施形態によれば、手書き入力時の利便性（ユーザビリティ）、特に操作性を向上させることが可能になる。
【００６７】
（第３の実施形態）
図９は第３の実施形態に係る手書き入力装置の構成を示すブロック図である。第３の実施形態の手書き入力装置は、図１の第１の実施形態と比べて、入力文字表示部２６が設けられている。また、入力モード判定部３４の機能が異なっている。その他の各部の構成は第１の実施形態と同様であり、同一の構成要素には同一符号を付している。
【００６８】
第３の実施形態では、指紋判定によって取得した指情報に基づき、入力する文字の文字属性を含む入力モードを判定し、入力モードに応じた文字入力を行う。
【００６９】
入力モード判定部３４は、指紋判定部１３で取得された指情報に基づき、指の種別に応じた入力モードとして、文字が入力される場合の文字属性を示す属性情報、特にフォント情報を判定する。フォント情報には、文字のフォント種別の他、色、サイズ、形状（ボールド、イタリック等）、文字飾り（影付き、下線等）などが含まれる。フィードバック出力部１７は、入力モード判定部３４の判定結果に基づき、指情報に対応して設定した文字属性を表示する。
【００７０】
筆跡処理部１５は、手書き入力部１１から得られた指単位の時系列のＸＹ座標情報に基づき、筆跡処理を行い、手書き入力の筆跡を示す筆跡情報を生成して文字認識部１６に出力する。文字認識部１６は、筆跡処理部１５によって得られた筆跡情報に基づき、手書き入力された文字を認識する。そして、筆跡処理部１５は、文字認識部１６によって認識された文字情報と、入力モード判定部３４によって判定されたフォント情報を入力文字記憶部１８に出力する。入力文字記憶部１８は、この文字情報及びフォント情報を記憶する。入力文字表示部２６は、入力確定されて入力文字記憶部１８に記憶された文字情報をフォント情報に従って表示する。
【００７１】
ここで、入力座標処理部１２、指紋判定部１３、入力モード判定部３４、筆跡処理部１５、文字認識部１６は、プロセッサを主体とするコンピュータによる制御部３０を構成し、本実施形態では、制御部３０内のプロセッサ（ＣＰＵ）が記憶媒体（ＲＡＭ、ＲＯＭ等のメモリ）に記憶されたプログラムを実行することによって得られる機能として実現される。
【００７２】
上記構成を有する手書き入力装置の動作を示す。図１０は第３の実施形態における手書き入力動作を示すフローチャートである。この動作にかかるプログラムは、前述したように、制御部３０内の記憶媒体に格納されており、制御部３０のプロセッサによって実行され、各手順の処理が行われる。なお、前述した第１の実施形態と同一の処理手順については同一符号を付すことよりその説明を省略する。
【００７３】
制御部３０は、入力モード判定部３４により、ステップＳ２で指紋判定部１３で取得された指情報に基づき、入力モードを判定し、手書き入力部１１に対する手書き入力の入力モードを設定する（ステップＳ３Ａ）。ここでは、入力モード判定部３４は、文字属性を示すフォント情報を判定し、手書き入力による筆跡情報にフォント情報を設定して筆跡処理部１５に出力する。そして、制御部３０は、モード設定情報としてフォント情報をフィードバック出力部１７に出力し、フィードバック出力部１７において設定された入力モードの表示を行う（ステップＳ４）。この際、フィードバック出力部１７には、入力モードとして、指情報に対応して設定したフォント情報に関する文字属性が表示される。
【００７４】
また、制御部３０は、ステップＳ６での筆跡処理部１５による筆跡処理の後、文字認識部１６により、筆跡処理部１５で取得された筆跡情報に基づき、文字認識を行う（ステップＳ７Ａ）。そして、ステップＳ８で１文字の入力が確定された場合、制御部３０は、確定した文字情報及びフォント情報を入力文字記憶部１８に記憶する（ステップＳ９Ａ）。さらに、制御部３０は、入力文字記憶部１８に記憶された文字情報をフォント情報に従って入力文字表示部２６に表示させる（ステップＳ１０）。この後、本動作が終了する。
【００７５】
第３の実施形態では、手書き入力に用いられた指の種別を指紋情報から判定し、この指情報に基づき、手書き入力の文字属性を含む入力モードを設定する。これにより、フォント種別、色、サイズ等の文字属性を含めた詳細な入力モードを使用する指によって設定し、文字入力を行うことが可能となり、手書き入力時の利便性（ユーザビリティ）を向上できる。
【００７６】
（第４の実施形態）
図１１は第４の実施形態に係る手書き入力装置の構成を示すブロック図である。第４の実施形態は、第３の実施形態の変形例であり、描画等のための線の手書き入力に適用させた構成例である。第４の実施形態の手書き入力装置は、図９の第３の実施形態と比べて、文字認識部１６が省かれている。また、入力モード判定部４４の機能が異なっており、線入力に関する筆跡情報及び属性情報を記憶する入力情報記憶部４８と、手書き入力された描画の軌跡を表示する描画表示部４６とを備えている。その他の各部の構成は第１及び第３の実施形態と同様であり、同一の構成要素には同一符号を付している。
【００７７】
ここで、入力座標処理部１２、指紋判定部１３、入力モード判定部４４、筆跡処理部１５は、プロセッサを主体とするコンピュータによる制御部４０を構成し、本実施形態では、制御部４０内のプロセッサ（ＣＰＵ）が記憶媒体（ＲＡＭ、ＲＯＭ等のメモリ）に記憶されたプログラムを実行することによって得られる機能として実現される。
【００７８】
入力モード判定部４４は、指紋判定部１３で取得された指情報に基づき、指の種別に応じた入力モードとして、線が入力される場合の線属性を示す属性情報を判定する。線属性の属性情報としては、線の種別及び形状（実線、破線等）、色、太さ（線幅）などが含まれる。フィードバック出力部１７は、入力モード判定部４４の判定結果に基づき、指情報に対応して設定した線属性を表示する。
【００７９】
入力情報記憶部４８は、筆跡処理部１５によって取得された筆跡情報と、入力モード判定部４４によって判定された線属性を示す属性情報を記憶する。描画表示部４６は、入力情報記憶部４８に記憶された筆跡情報及び属性情報に従って、描画の軌跡を表示する。
【００８０】
第４の実施形態では、手書き入力に用いられた指の種別を指紋情報から判定し、この指情報に基づき、描画のための手書き入力における線属性を含む入力モードを設定する。これにより、文字入力に限らず、お絵かきなどの描画を行う場合においても、線の種別、色、太さ等の線属性を含めた詳細な入力モードを使用する指によって設定し、指の動き（ジェスチュア）に応じた描画入力を行うことが可能となり、手書き入力時の利便性（ユーザビリティ）を向上できる。
【００８１】
なお、上述した各実施形態において、入力モードとしては、文字入力を行う場合、全角入力、半角入力、大文字入力、小文字入力、日本語（ひらがな、漢字、カタカナ）入力、英字入力、数字入力、記号入力等の入力文字種など、入力文字に関する各種モードに適用可能である。また、文字入力において文字属性を設定する場合、明朝体、ゴシック体等の各種形状のフォント種別、ボールド、イタリック等のフォントまたは文字形状、文字サイズ、文字色、あるいは影付き、下線等の文字飾りなど、各種文字属性に適用可能である。また、描画を行う場合は、実線、破線等の線の種別、色、線の太さ（線幅）など、各種線属性に適用可能である。また、これらを組み合わせて詳細な入力モードを設定することも可能である。
【００８２】
本実施形態の手書き入力装置は、無線通信装置である携帯電話装置あるいはスマートフォン、携帯情報端末（ＰＤＡ）、ノート型ＰＣなどの携帯型電子機器の他、種々の電子機器に適用可能である。
【００８３】
また、本発明は、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワークまたは各種記憶媒体を介して手書き入力装置に供給し、手書き入力装置内のコンピュータがプログラムを読み出して実行する構成においても適用可能である。
【００８４】
また、フィードバック出力部によって、設定した入力モード、モード変更後の入力モードを表示することで、現在の入力モード設定状況を使用者が容易かつ明確に認識できる。また、フィードバック出力部を、手書き入力時の筆跡表示、文字認識結果を示す入力文字表示などを行う表示部の表示領域の近傍に設けることで、入力モードを確認する際の利用者の視点移動量を削減できる。
【００８５】
なお、本発明は、本発明の趣旨ならびに範囲を逸脱することなく、明細書の記載、並びに周知の技術に基づいて、当業者が様々な変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。また、発明の趣旨を逸脱しない範囲で、上記実施形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【００８６】
本発明は、手書き入力時の利便性（ユーザビリティ）、特に操作性を向上させることが可能となる効果を有し、例えば携帯型電子機器などに搭載可能な手書きにより情報を入力する手書き入力装置、手書き入力処理方法及びプログラム等として有用である。
【符号の説明】
【００８７】
１ 手書き入力装置
１１ 手書き入力部
１２ 入力座標処理部
１３ 指紋判定部
１４、３４、４４ 入力モード判定部
１５ 筆跡処理部
１６ 文字認識部
１７ フィードバック出力部
１８ 入力文字記憶部
１０、２０、３０、４０ 制御部
２５ 類似形状判定部
２６ 入力文字表示部
４６ 描画表示部
４８ 入力情報記憶部
１１１、１２１ 筆跡ポイント
１３０ 筆跡
１５０ 表示部
１５１ 入力領域
１５２ 入力文字表示領域
１５３ 入力モード表示領域
１６０ 入力軌跡
【技術分野】
【０００１】
本発明は、手書きにより情報を入力する手書き入力装置、手書き入力処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、文字入力が可能な電子機器において、利用者がアルファベットを入力する場合、アルファベットの大文字と小文字を意識して入力モードを変更してから文字を入力することが一般的に行われる。手書き文字入力をする場合も同様であり、形状が一致している文字、例えば大文字の「Ｃ」と小文字の「ｃ」、大文字の「Ｏ」と小文字の「ｏ」の文字認識を行うためには、利用者が大文字モードか小文字モードかを切替えてから文字を記入する必要がある。
【０００３】
また、日本語入力が可能な電子機器に対して日本語の文字入力を行う場合、特にカタカナ、数字、アルファベットまたは記号の入力において、利用者は半角文字（１バイト文字）か全角文字（２バイト文字）を意識して入力する必要がある。例えば、携帯電話機、あるいはスマートフォン、ＰＤＡ等の携帯情報端末などの携帯型電子機器における日本語入力システムでは、半角モードと全角モードが存在する。利用者は、テンキーと呼ばれるハードキー、またはソフトウェアキーによる入力モード切替ボタンの押下により、入力モードを変更して文字入力を行う。
【０００４】
このような入力モード切替は、利用者において入力時の作業量が増加し、操作が煩雑になる。また、ボタン操作のための手、指の動きが発生し、入力に時間がかかったり、文字入力のリズムを狂わせる可能性がある。このため、ユーザビリティが低下すると考えられる。これは手書き文字入力が可能な一般的な入力システムでも同様である。
【０００５】
一方、手書き文字入力が可能な電子機器において、利用者が入力モード切替ボタンを押下せずに、半角文字か全角文字かあるいは大文字か小文字かの入力を切り替える入力方式も存在する。例えば、特許文献１、特許文献２、特許文献３では、手書き文字入力枠を複数設けておく、または手書き文字入力領域を複数の領域に分割しておくことで、それぞれの入力枠／入力領域に入力モードをそれぞれ関連付けて文字を入力することが行われる。例えば、入力枠Ａ／入力領域Ａに入力した場合に全角モードとして、入力枠Ｂ／入力領域Ｂに入力した場合に半角モードとして、それぞれ入力された文字が認識されて文字入力が行われる。
【０００６】
さらに、手書き文字入力を行う場合、入力された文字を正しく認識する必要がある。しかし、平仮名、カタカナ、漢字、英数字では、形状が類似している文字が多数存在し、正しく認識することは難しい。例えば、句読点の「。」と数字の「０」とアルファベット大文字の「Ｏ」、アルファベット小文字の「ｏ」、記号の「○」などは、手書き入力時の形状が非常に類似している。
【０００７】
また、文字入力を行う際、フォント、文字色等の文字属性の変更を行うためには、利用者がその都度、設定を変更してから入力することが公知の技術となっている。このほか、文字以外の図形などを入力する場合、利用者は、線の太さ（幅）、線の色、線の形状（線種）などの線属性をパレットから選択し、軌跡などの図形などを入力する方式が一般的に用いられる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特公平７−１１３９５４号公報
【特許文献２】特許第３２１３４０３号公報
【特許文献３】特許第４２６９３５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記のような従来の入力モード切替機能を持つ構成では、利用者にとっては入力モードの切替操作のために作業量が増加し、操作が煩雑になる。また、入力モード切替用のボタン等を設ける必要がある。また、ボタン操作のための手、指の動きが発生し、入力に時間がかかったり、文字入力のリズムを狂わせる可能性がある。
【００１０】
また、上記特許文献１〜３の構成では、複数の入力枠または入力領域を用意する必要があり、入力デバイスの配置用に大きなスペースが必要になるため、小型の携帯型電子機器などでは適用困難な場合がある。また、通常の入力領域をさらに分割するような構成では、入力領域が小さくなり、利用者が手書き入力をしづらくなる。さらに、複数の入力枠または入力領域を設定した場合、通常の文字入力時とは異なる領域に入力する必要があるので、手、指またはスタイラスなどの入力手段の移動量が多くなる。
【００１１】
また、従来の構成では、文字入力時のフォント、色等の属性変更、あるいは図形入力時の線の太さ、色、形状等の属性変更を行う場合、変更の都度、利用者がメニュー画面などからそれぞれの設定を変更する必要があり、操作手順が増加する。
【００１２】
本発明は、上記事情に鑑みてなされたもので、その目的は、手書き入力時の利便性（ユーザビリティ）、特に操作性を向上できるようにすることにある。
【課題を解決するための手段】
【００１３】
本発明は、指によって入力面に手書き入力された手書き入力情報を取得する情報入力部と、前記手書き入力情報より、前記手書き入力に用いられた指の指紋を判定して指の種別を示す指情報を取得し、前記手書き入力の入力位置を示す入力位置情報に前記指情報を付加する指紋判定部と、前記指情報に基づき、前記手書き入力の入力モードを判定する入力モード判定部と、を備える手書き入力装置を含むものである。
これにより、手書き入力に用いられた指の指紋を判定し、その指の種別を示す指情報に基づいて入力モードを判定できるので、利用者がハードキーやソフトウェアキーなどによる入力モード切り替え操作を行うことなく、通常の手書き入力における一連の動作において、用いる指の種別によって入力モードの設定、変更を行うことが可能となる。したがって、手書き入力時の利便性（ユーザビリティ）、特に操作性を向上させることが可能となる。
【００１４】
また、本発明は、上記の手書き入力装置であって、前記手書き入力情報に基づき、前記手書き入力の軌跡を示す筆跡情報を取得する筆跡処理部を備えるものを含む。
これにより、手書き入力の軌跡を示す筆跡情報を取得して出力することができ、この筆跡情報に基づいて手書き入力に対する文字認識、描画用の軌跡表示等を行うことが可能になる。
【００１５】
また、本発明は、上記の手書き入力装置であって、前記入力モード判定部によって判定された入力モードと、前記筆跡処理部によって取得された筆跡情報とに基づき、手書き入力された文字を認識する文字認識部を備えるものを含む。
これにより、指情報によって判定された入力モードと、取得された筆跡情報とに基づいて文字認識を行うことで、利用者が意図する入力文字を正しく認識することが可能になる。
【００１６】
また、本発明は、上記の手書き入力装置であって、前記筆跡処理部によって取得された筆跡情報に基づき手書き入力された文字を認識する文字認識部と、前記文字認識部によって認識された文字に形状が類似する類似文字の有無を判定し、前記類似文字が有る場合、前記指情報に基づいて入力モードを判定し、前記類似文字の中から入力モードに対応する文字を選択する類似文字判定部と、を備えるものを含む。
これにより、類似文字が有る場合に、指情報に基づく入力モードに対応した文字を選択することで、形状が類似している文字を正しく認識することが可能になる。
【００１７】
また、本発明は、上記の手書き入力装置であって、前記入力モード判定部は、前記指情報に基づき、前記手書き入力によって文字が入力される場合の文字属性を含む入力モードを設定するものを含む。
これにより、指情報に基づいてフォント種別、文字色、文字サイズ、文字飾り等の文字属性の属性情報を設定できるので、文字入力を行う場合に使用する指によって文字属性を含む入力モードを設定して入力することが可能になる。
【００１８】
また、本発明は、上記の手書き入力装置であって、前記入力モード判定部は、前記指情報に基づき、前記手書き入力によって線が入力される場合の線属性を含む入力モードを設定するものを含む。
これにより、指情報に基づいて線の種別、線の色、線幅等の線属性の属性情報を設定できるので、例えば描画等の手書き入力を行う場合に指によって線属性を含む入力モードを設定して入力することが可能になる。
【００１９】
また、本発明は、上記の手書き入力装置であって、前記情報入力部は、複数の指によって手書き入力された手書き入力情報を取得し、前記指紋判定部は、複数の指の指紋を判定して前記手書き入力に用いられた複数の指の種別を示す指情報を取得し、前記入力モード判定部は、前記複数の指の指情報に基づき、前記手書き入力の入力モードを判定するものを含む。
これにより、複数の指を用いた手書き入力により、複数の指の指情報に基づいてより詳細な入力モードを設定することが可能となる。
【００２０】
また、本発明は、上記の手書き入力装置であって、前記入力モード判定部により判定した入力モードを表示する入力モード表示部を備えるものを含む。
これにより、指情報に基づいて判定した入力モードを利用者にフィードバックでき、利用者は設定された現在の入力モードを容易に確認し、手書き入力を行うことが可能になる。
【００２１】
本発明は、情報入力部の入力面に指によって手書き入力された手書き入力情報を取得するステップと、前記手書き入力情報より、前記手書き入力に用いられた指の指紋を判定して指の種別を示す指情報を取得し、前記手書き入力の入力位置を示す入力位置情報に前記指情報を付加するステップと、前記指情報に基づき、前記手書き入力の入力モードを判定するステップと、を有する手書き入力処理方法を含むものである。
【００２２】
本発明は、上記手書き入力処理方法の各ステップをコンピュータに実行させるためのプログラムを含むものである。
【発明の効果】
【００２３】
本発明によれば、手書き入力時の利便性（ユーザビリティ）、特に操作性を向上させることができる。
【図面の簡単な説明】
【００２４】
【図１】第１の実施形態に係る手書き入力装置の構成を示すブロック図
【図２】手書き入力部における手書き入力操作を示す図
【図３】各指のＸＹ座標情報の算出、及び筆跡情報の算出例を示す図
【図４】手書き入力部において２本の指を使用して文字「Ｃ」を入力した場合の筆跡ポイントを示す図
【図５】文字認識部における文字認識結果の具体例を示す図
【図６】第１の実施形態における手書き入力動作を示すフローチャート
【図７】第２の実施形態に係る手書き入力装置の構成を示すブロック図
【図８】第２の実施形態における手書き入力動作を示すフローチャート
【図９】第３の実施形態に係る手書き入力装置の構成を示すブロック図
【図１０】第３の実施形態における手書き入力動作を示すフローチャート
【図１１】第４の実施形態に係る手書き入力装置の構成を示すブロック図
【発明を実施するための形態】
【００２５】
以下に、本発明に係る手書き入力装置、手書き入力処理方法及びプログラムの実施形態を例示する。本実施形態では、携帯型電子機器などに搭載した場合を想定した構成例について説明する。
【００２６】
（第１の実施形態）
図１は第１の実施形態に係る手書き入力装置の構成を示すブロック図である。手書き入力装置１は、手書き入力部１１、入力座標処理部１２、指紋判定部１３、入力モード判定部１４、筆跡処理部１５、文字認識部１６、フィードバック出力部１７、入力文字記憶部１８を有して構成される。ここで、入力座標処理部１２、指紋判定部１３、入力モード判定部１４、筆跡処理部１５、文字認識部１６は、プロセッサを主体とするコンピュータによる制御部１０を構成し、本実施形態では、制御部１０内のプロセッサ（ＣＰＵ）が記憶媒体（ＲＡＭ、ＲＯＭ等のメモリ）に記憶されたプログラムを実行することによって得られる機能として実現される。
【００２７】
つぎに、これら各部の機能について説明する。手書き入力部１１は、利用者が手書き操作により情報を入力する入力面を有する入力用ユーザインタフェースであり、光学式あるいは静電式のタッチパネル、タッチパッド等により構成される。この手書き入力部１１が情報入力部の機能を実現する。タッチパネルを用いる場合、手書き入力した筆跡、文字入力認識結果等を表示する液晶表示装置（ＬＣＤ）等の表示部の上に重ねた状態で手書き入力部１１が配置される。以下では、手書き入力部１１がタッチパネルにより構成される場合について説明する。
【００２８】
この手書き入力部１１において、手書き入力情報として、利用者がタッチパネルの入力面をタッチした指の位置の接触領域の情報、つまり入力面上のＸＹ座標の集合を検知して出力する。この際、手書き入力情報に相当する接触領域のＸＹ座標の集合は、入力面上の各点の電位変動などによって検知され、指の入力位置を示す入力位置情報とともに、利用者の指の指紋情報を含むものである。手書き入力部１１は、多地点入力機能を有しており、指毎の入力位置情報及び指紋情報を取得可能である。この手書き入力情報は、時系列の情報として入力座標処理部１２及び指紋判定部１３に出力される。なお、手書き入力部１１は、入力位置情報と指紋情報とを検知する機能を有するものとしているが、別に指紋検知センサを設け、手書き入力部において入力位置情報のみを検知し、指紋検知センサにより指紋情報を検知するような構成としてもよい。
【００２９】
入力座標処理部１２は、手書き入力部１１によって検知された手書き入力情報に基づき、指単位で接触領域のＸＹ座標をまとめて代表値を算出し、入力位置情報として時系列のＸＹ座標情報を出力する。ここで、ＸＹ座標情報となる代表値は、接触領域のＸＹ座標の集合の中心点、あるいは重心点などを求めて算出する。
【００３０】
指紋判定部１３は、手書き入力部１１によって検知された手書き入力情報から利用者の指の指紋情報を検出し、これを予め登録された指紋情報と照合して、タッチパネルの入力面をタッチした指の種別（中指、人指し指など）を表す指情報を取得する。そして、指紋判定部１３は、入力座標処理部１２で算出した時系列のＸＹ座標情報に指情報を付与して出力する。なお、手書き入力部１１と別に指紋検知センサを設ける構成の場合、指紋判定部１３は指紋検知センサにより検知された指紋情報に基づいて指情報を取得する。
【００３１】
入力モード判定部１４は、指紋判定部１３で取得された指情報に基づき、指の種別に応じた入力モードを判定して入力モードの設定を行う。そして、入力モード判定部１４は、判定した入力モードに対応するモード設定情報を文字認識部１６に出力し、文字認識の際の判定要素に用いる入力モードを通知する。
【００３２】
筆跡処理部１５は、指単位の時系列のＸＹ座標情報に基づき、筆跡処理を行う。この筆跡処理では、タッチパネルの入力面をタッチした各指のＸＹ座標情報を時系列に並べたＸＹ座標群によって、手書き入力の筆跡を示す筆跡情報を生成して出力する。すなわち、筆跡処理部１５は、時系列の各タイミングにおける指の位置から筆跡ポイントを把握し、この筆跡ポイントの系列によって示される筆跡情報を文字認識部１６に渡す。手書き入力部１１において複数の指がタッチされた場合は、これら複数の指のＸＹ座標情報の中心点の座標を用いて筆跡情報とするか、あるいは、いずれか一つの指のＸＹ座標情報を用いて筆跡情報とする。
【００３３】
ここで、ＸＹ座標情報及び筆跡情報の算出処理の例を説明する。図２は手書き入力部１１における手書き入力操作を示す図である。図２に示す例は、手書き入力部１１であるタッチパネルを備える表示部１５０において、入力領域１５１を配置したものである。図２（Ａ）では、１本の指（人差し指）で文字「Ｃ」を書き始める様子が示されている。また、図２（Ｂ）では、２本の指（人差し指と中指）で文字「Ｃ」を書き始める様子が示されている。入力領域１５１の近傍（図示例では上側）には、手書き入力の文字認識結果を示す入力文字表示領域１５２が設けられている。
【００３４】
図３は各指のＸＹ座標情報の算出、及び筆跡情報の算出例を示す図であり、タッチパネルの入力面をタッチした指の筆跡ポイントの軌跡を表したものである。ここでは、２本の指で手書き入力した例を示す。図３において、小さい点の集まりが所定のサンプリングタイミング毎の指の接触領域を表している。入力座標処理部１２において、指単位で接触領域のＸＹ座標の集合から代表値を算出し、時系列のＸＹ座標情報を取得する。そして、指紋判定部１３において指情報を付加し、各指の指情報を含むＸＹ座標情報とする。図３（Ａ）に示すように、指Ａの筆跡ポイントを表すＡ［ｘ１，ｙ１］、Ａ［ｘ２，ｙ２］、……、及び、指Ｂの筆跡ポイントを表すＢ［ｘ１，ｙ１］、Ｂ［ｘ２，ｙ２］、……が指単位のＸＹ座標情報として算出されて出力される。そして、筆跡処理部１５において、２本の指それぞれの時系列のＸＹ座標情報から、筆跡情報を生成する。図３（Ａ）では、一方の指Ａの筆跡ポイントを示す時系列のＸＹ座標情報を用いて、筆跡１３０を示す筆跡情報を生成する例を示している。また、図３（Ｂ）では、２つの指Ａ、Ｂの位置（Ａ［ｘ１，ｙ１］、Ｂ［ｘ１，ｙ１］）における中点の座標を算出し、この時系列の中点座標によって筆跡１３０を示す筆跡情報を生成する例を示している。中点座標は、２つの指の位置（接触領域の中心点または重心点のＸＹ座標情報）を結ぶ線分の中間点の座標により求められる。筆跡情報は、文字認識部１６での文字認識用の他、図２のように手書き入力の入力軌跡１６０を示す表示用にも用いられる。なお、文字認識用には複数の指の筆跡ポイントの中点座標を用い、表示用にはいずれかの指の筆跡ポイントを用いるなど、用途に応じた筆跡情報を生成してもよい。
【００３５】
図４は手書き入力部１１において２本の指を使用して文字「Ｃ」を入力した場合の筆跡ポイントを示す図である。図４において、小さい点の集まりが所定のサンプリングタイミング毎の指の接触領域であり、黒丸が各タイミングの指単位の接触領域の代表値である筆跡ポイント１１１、１２１を表している。２本の指で手書き入力がなされた場合、上述のように２つの筆跡ポイント１１１、１２１の座標情報から時系列のＸＹ座標情報による筆跡情報を生成する。
【００３６】
フィードバック出力部１７は、入力モード判定部１４によって判定された入力モードを随時表示する表示装置であり、入力モード表示部の機能を有し、例えばＬＣＤ等によって実現される。図２に示したタッチパネルの例では、入力領域１５１及び入力文字表示領域１５２の近傍（図示例では右上側）に、全角モード（全）、半角モード（半）等を示す入力モード表示領域１５３を設けてあり、フィードバック出力部１７の機能を実現している。
【００３７】
文字認識部１６は、入力モード判定部１４によって判定された入力モードを示すモード設定情報と、筆跡処理部１５によって得られた筆跡情報とから、手書き入力された文字を認識する。
【００３８】
ここで、指情報と入力モードとの対応関係の一例を示す。第１例として、指情報の人差し指に全角モードを割り当て、指情報の中指に半角モードを割り当てる。この場合、指紋判定部１３より出力される指情報が人差し指の場合、入力モード判定部１４にて全角モードを設定し、文字認識部１６において全角文字で文字認識を行う。また、指情報が中指の場合、入力モード判定部１４にて半角モードを設定し、文字認識部１６において半角文字で文字認識を行う。
【００３９】
第２例として、指情報の人差し指に通常入力モードとして全角大文字モードを割り当て、指情報の中指に半角ＯＮモードを割り当て、指情報の薬指に小文字ＯＮモードを割り当てる。この場合、指紋判定部１３より出力される指情報が人差し指のみの場合、入力モード判定部１４にて通常入力モードとして全角大文字モードを設定し、文字認識部１６において全角大文字で文字認識を行う。また、指情報が人差し指＋中指の場合、入力モード判定部１４にて半角大文字モードを設定し、文字認識部１６において半角大文字で文字認識を行う。さらに、指情報が人差し指＋中指＋薬指の場合、入力モード判定部１４にて半角小文字モードを設定し、文字認識部１６において半角小文字で文字認識を行う。また、指情報が人差し指＋薬指の場合、入力モード判定部１４にて全角小文字モードを設定し、文字認識部１６において全角小文字で文字認識を行う。
【００４０】
指情報に対する入力モードの設定は、一つの指のみ、あるいは複数の指の組合せを用いればよく、例えば一方の手の１〜５本の指に対応させてより詳細な入力モードを設定可能である。また、電子機器を把持しているもう一方の手の親指を組み合わせるなど、両方の手の指を用いた指情報によって入力モードを設定することもできる。
【００４１】
図５は文字認識部１６における文字認識結果の具体例を示す図である。図５（Ａ）は、上記第１例に対応するもので、１本の指でカタカナを手書き入力した場合の例を示している。人差し指でカタカナの「カ」の筆跡情報が入力された場合、文字認識部１６は、この筆跡情報とモード設定情報から全角カタカナの文字「カ」であると認識する。また、中指でカタカナの「カ」の筆跡情報が入力された場合、文字認識部１６は、この筆跡情報とモード設定情報から半角カタカナの文字「カ」であると認識する。
【００４２】
図５（Ｂ）は、上記第２例に相当するもので、複数の指を用いてアルファベットを手書き入力した場合の例を示している。人差し指＋中指でアルファベットの「Ｃ」の筆跡情報が入力された場合、文字認識部１６は、この筆跡情報とモード設定情報から半角大文字のアルファベット「C」であると認識する。また、人差し指のみでアルファベットの「Ｃ」の筆跡情報が入力された場合、文字認識部１６は、この筆跡情報とモード設定情報から全角大文字のアルファベット「Ｃ」であると認識する。また、人差し指＋中指＋薬指でアルファベットの「Ｃ」の筆跡情報が入力された場合、文字認識部１６は、この筆跡情報とモード設定情報から半角小文字のアルファベット「c」であると認識する。また、人差し指＋薬指でアルファベットの「Ｃ」の筆跡情報が入力された場合、文字認識部１６は、この筆跡情報とモード設定情報から全角小文字のアルファベット「ｃ」であると認識する。
【００４３】
入力文字記憶部１８は、ＲＡＭ等の記憶媒体を有して構成され、文字認識部１６によって認識され、入力が確定した文字情報を記憶媒体に記憶する。そして、入力文字記憶部１８に記憶した文字情報は、各種処理を行うアプリケーションプログラムの実行環境等により構成される処理部に出力される。
【００４４】
上記構成を有する手書き入力装置の動作を示す。図６は第１の実施形態における手書き入力動作を示すフローチャートである。この動作にかかるプログラムは、前述したように、制御部１０内の記憶媒体に格納されており、制御部１０のプロセッサによって実行され、各手順の処理が行われる。
【００４５】
まず、手書き入力部１１において手書き入力が行われると、制御部１０は、手書き入力部１１によって検知された手書き入力情報（入力位置情報、指紋情報）を取得する（ステップＳ１）。この際、入力座標処理部１２により、手書き入力部１１からの手書き入力情報に基づき、指単位で接触領域のＸＹ座標をまとめて代表値を算出し、入力位置情報として時系列のＸＹ座標情報を出力する。そして、制御部１０は、取得した指紋情報に基づいて指紋判定を行い、どの指で入力されたかを判定する（ステップＳ２）。この際、指紋判定部１３により、取得された指紋情報を予め登録された指紋情報と照合し、指紋から人指し指、中指、薬指などの種別を判定し、手書き入力部１１に触れた（タッチした）指の種別を表す指情報を出力する。
【００４６】
つぎに、制御部１０は、入力モード判定部１４により、指紋判定部１３で取得された指情報に基づき、入力モードを判定し、手書き入力部１１に対する手書き入力の入力モードを設定する（ステップＳ３）。この際、入力モード判定部１４は、指情報に対応して設定した入力モードを示すモード設定情報を文字認識部１６に出力する。さらに、制御部１０は、モード設定情報をフィードバック出力部１７に出力し、フィードバック出力部１７において設定された入力モードの表示を行う（ステップＳ４）。この際、フィードバック出力部１７には、手書き入力において使用されている指の種別に対する入力モードが表示される。これにより、利用者は手書き入力を行っている最中に入力モードを確認でき、１文字の入力を確定する前に、入力モードが正しく設定されているか否かを知ることができる。
【００４７】
ここで、利用者は、手書き入力を行っている途中であっても、用いる指（手書き入力部１１にタッチする指）を変更して入力モードの切り替えを行い、入力をやり直すこと（書き直し）が可能である。この場合、制御部１０は、手書き入力を行っているときの指の変更を認識し、変更された指の種別に応じた入力モードとなるように入力モードの変更を行うようにする。
【００４８】
制御部１０は、指紋判定部１３において、取得された指情報に変化があったかを検出し、指の変更があったか否かを判別する（ステップＳ５）。ここで、指の変更があった場合、ステップＳ１の処理に戻り、制御部１０は同様の処理を繰り返し、手書き入力情報の取得、入力モードの判定等を行う。一方、指の変更がない場合は、制御部１０は、筆跡処理部１５により筆跡処理を行う（ステップＳ６）。この際、筆跡処理部１５は、上述したように、入力座標処理部１２で取得された入力位置情報のＸＹ座標情報に基づいて手書き入力の筆跡を示す筆跡情報を生成して出力する。
【００４９】
そして、制御部１０は、文字認識部１６により、入力モード判定部１４によって設定された入力モードのモード設定情報と、筆跡処理部１５によって取得された筆跡情報とに基づき、入力モードに対応する文字認識を行う（ステップＳ７）。
【００５０】
この際、制御部１０は、１文字の入力の途中で入力やり直しがあったか否かを判別し、入力やり直しの有無に応じた処理を行う。指紋判定部１３で取得された指情報に変化があった場合に、１文字の入力途中での指変更による入力モード変更及び入力やり直しであるか、入力後の指変更による入力モード変更及び次の文字の入力であるかの判定は、例えば以下のようにして行う。前回の筆跡情報と今回の筆跡情報とが一部一致し、かつ、前回と今回の指情報が異なる場合は、入力やり直しと判断する。すなわち、指情報に変化があった場合、その前後の筆跡情報の一部が略一致している場合、入力やり直しと判断する。入力やり直しであると判断した場合、前回の入力位置情報を破棄する。一方、前回の筆跡情報と今回の筆跡情報の全体が略一致している場合は、同一文字の連続入力である場合も想定されるので、指情報の変化の有無にかかわらず入力やり直しではないと判断し、前回の入力位置情報を破棄しない。このような処理により、１文字の入力が終了するまでに指変更があった場合の入力やり直しに対応でき、入力モード変更及び文字認識の処理を適切に実行できる。
【００５１】
なお、１文字の入力途中で指が変更された場合に、それまで入力された筆跡情報を破棄することなく、継続して入力処理が行われるようにしてもよい。例えば、「ガ」などの濁点文字の入力に際して、濁点を入力する段階で指を切り替えることにより、入力モードの設定を変更することが可能となる。この場合、指変更後の入力モードによって文字認識を行う。また、指を長押しすることにより、入力モードの変更、設定を行うようにしてもよい。
【００５２】
つぎに、制御部１０は、文字認識部１６による文字認識の結果に対し、１文字の入力を確定するか否かを判別する（ステップＳ８）。１文字の入力確定の判断は、例えば手書き入力部１１（タッチパネル）の所定の領域を利用者が指でタッチしたことを検出することにより、あるいは手書き入力部１１での所定の指の動き（ジェスチュア）を検出することなどによって可能である。また、１文字の入力のキャンセルは、同様に、入力確定とは異なる領域をタッチしたことを検出することにより、あるいは別のジェスチュアを検出することなどによって可能である。または、入力情報が一定時間発生しなかったときに、1文字入力確定としてもよい。
【００５３】
そして、１文字の入力が確定されず、入力がキャンセルされた場合、ステップＳ１の処理に戻り、制御部１０は同様の処理を繰り返す。一方、１文字の入力が確定された場合、制御部１０は、確定した文字情報を入力文字記憶部１８に記憶する（ステップＳ９）。この後、本動作が終了する。
【００５４】
第１の実施形態では、手書き入力に用いられた指の種別を指紋情報から判定し、この指情報に基づき、手書き入力の入力モードを設定し、取得した筆跡情報の文字認識を行う。これにより、利用者がハードキーやソフトウェアキーなどによる入力モード切り替え操作を行うことなく、通常の手書き入力における一連の動作において、用いる指の種別によって入力する文字の入力モードの設定、変更を行うことが可能となる。このため、入力時の作業量を最小限に抑制することができ、入力時のリズム変化も抑制できる。また、複数の入力枠または入力領域を用意する必要がなく、通常の入力領域をそのまま使用することができるため、大きな入力領域を必要としたり、入力領域が小さくなって細かい文字の入力を要するなどの不具合を解消でき、入力デバイスを有効活用できる。また、指の移動量も最小限に抑制することができる。
【００５５】
また、指の種別に応じた設定モード情報と筆跡情報とにより、利用者が意図する入力文字を正しく認識することができる。この際、指の種別によって１文字毎に入力モードを指定可能である。また、使用される指の変更を検知し、指変更による入力やり直しに対応して、入力モードの変更、再入力、文字認識を適切に実行できる。このため、手書き入力中に指を変更することによって入力モードを変更可能である。また、利用者が手書き入力中に入力モードの誤りを認識した場合は、同一文字の入力中に指を変更して入力モードを変更したり、入力のキャンセルを行うことができる。これらにより、本実施形態によれば、手書き入力時の利便性（ユーザビリティ）、特に操作性を向上させることが可能になる。
【００５６】
（第２の実施形態）
図７は第２の実施形態に係る手書き入力装置の構成を示すブロック図である。第２の実施形態の手書き入力装置は、図１の第１の実施形態と比べて、入力モード判定部１４が省かれ、類似形状判定部２５及び入力文字表示部２６が設けられている。その他の各部の構成は第１の実施形態と同様であり、同一の構成要素には同一符号を付している。
【００５７】
第２の実施形態では、手書き入力された文字に形状が類似する複数種の文字（類似文字）が有る場合に、指紋判定によって取得した指情報に基づいて入力モードを判定し、入力モードに応じた文字認識を行う。
【００５８】
ここで、入力座標処理部１２、指紋判定部１３、筆跡処理部１５、文字認識部１６、類似形状判定部２５は、プロセッサを主体とするコンピュータによる制御部２０を構成し、本実施形態では、制御部２０内のプロセッサ（ＣＰＵ）が記憶媒体（ＲＡＭ、ＲＯＭ等のメモリ）に記憶されたプログラムを実行することによって得られる機能として実現される。
【００５９】
筆跡処理部１５は、手書き入力部１１から得られた指単位の時系列のＸＹ座標情報に基づき、筆跡処理を行い、手書き入力の筆跡を示す筆跡情報を生成して文字認識部１６に出力する。文字認識部１６は、筆跡処理部１５によって得られた筆跡情報に基づき、手書き入力された文字を認識する。そして、筆跡処理部１５は、文字認識部１６によって認識された文字情報と、指紋判定部１３によって取得された指情報を類似形状判定部２５に出力する。
【００６０】
類似形状判定部２５は、文字認識部１６によって認識された文字情報を予め登録してある文字情報と照合し、入力された文字に形状が類似する複数種の文字（類似文字）が有るかどうかを判定する。この類似形状判定部２５が類似文字判定部の機能を実現する。ここで、類似文字が有ると判定した場合、類似文字の中から指情報に対応した入力モードに該当する文字を選択する。類似文字としては、上述したように、全角／半角が存在する英数字、カタカナなど、または、大文字と小文字が類似している「Ｃ」と「ｃ」など、あるいは、類似形状である数字の「０」とアルファベット大文字の「Ｏ」など、異なる文字種別で形状が似ている文字が相当する。入力文字記憶部１８は、文字認識部１６によって認識された文字情報、類似形状判定部２５によって選択された類似文字の文字情報を記憶する。入力文字表示部２６は、入力確定されて入力文字記憶部１８に記憶された文字情報を表示する。
【００６１】
上記構成を有する手書き入力装置の動作を示す。図８は第２の実施形態における手書き入力動作を示すフローチャートである。この動作にかかるプログラムは、前述したように、制御部２０内の記憶媒体に格納されており、制御部２０のプロセッサによって実行され、各手順の処理が行われる。
【００６２】
まず、手書き入力部１１において手書き入力が行われると、制御部２０は、手書き入力部１１によって検知された手書き入力情報（入力位置情報、指紋情報）を取得する（ステップＳ１１）。この際、入力座標処理部１２により、手書き入力部１１からの手書き入力情報に基づき、指単位で接触領域のＸＹ座標をまとめて代表値を算出し、入力位置情報として時系列のＸＹ座標情報を出力する。そして、制御部２０は、取得した指紋情報に基づいて指紋判定を行い、どの指で入力されたかを判定する（ステップＳ１２）。この際、指紋判定部１３により、取得された指紋情報を予め登録された指紋情報と照合し、手書き入力部１１に触れた（タッチした）指の種別を表す指情報を出力する。
【００６３】
つぎに、制御部２０は、筆跡処理部１５により筆跡処理を行う（ステップＳ１３）。この際、筆跡処理部１５は、第１の実施形態と同様、入力座標処理部１２で取得された入力位置情報のＸＹ座標情報に基づいて手書き入力の筆跡を示す筆跡情報を生成して出力する。
【００６４】
そして、制御部２０は、文字認識部１６により、筆跡処理部１５によって取得された筆跡情報に基づき、文字認識を行う（ステップＳ１４）。さらに、制御部２０は、類似形状判定部２５により、認識された文字情報を予め登録してある文字情報と照合し、入力された文字が、複数の類似形状の文字が存在する類似文字であるか否かを判定する（ステップＳ１５）。ここで、類似文字である場合、制御部２０は、類似形状判定部２５により、この認識された文字情報について、指紋判定部１３で取得された指情報に対応した入力モードに該当する文字を選択し、選択後の文字情報を出力する（ステップＳ１６）。一方、ステップＳ１５で類似文字でないと判定した場合、制御部２０は、ステップＳ１６における入力モードに対応する類似文字の選択処理をスキップする。
【００６５】
つぎに、制御部２０は、文字認識部１６による文字認識及び類似形状判定部２５による文字選択の結果に対し、１文字の入力を確定するか否かを判別する（ステップＳ１７）。ここで、１文字の入力が確定されず、入力がキャンセルされた場合、ステップＳ１１の処理に戻り、制御部２０は同様の処理を繰り返す。一方、１文字の入力が確定された場合、制御部２０は、確定した文字情報を入力文字記憶部１８に記憶する（ステップＳ１８）。そして、制御部２０は、入力文字記憶部１８に記憶された文字情報を入力文字表示部２６に表示させる（ステップＳ１９）。このとき、入力モードが設定されている場合、入力モードに従った文字が表示される。この後、本動作が終了する。
【００６６】
第２の実施形態では、手書き入力された文字が、複数の類似形状の文字が存在する類似文字である場合に、入力に用いられた指の種別に対応する入力モードを判定し、類似文字に対して入力モードに応じた文字の認識、選択を行う。この場合、入力モードの判定は類似文字のみが対象となる。これにより、用いる指の種別によって入力モードの設定を行い、形状が類似している文字を容易に正しく認識することができる。また、類似文字に関して、利用者が指の種別によって意図的に文字種別等の入力モードを指定することが可能である。また、処理負荷を低減することができ、筆跡描画などの別処理に対するＣＰＵ資源の利用比率を高くすることができる。したがって、本実施形態によれば、手書き入力時の利便性（ユーザビリティ）、特に操作性を向上させることが可能になる。
【００６７】
（第３の実施形態）
図９は第３の実施形態に係る手書き入力装置の構成を示すブロック図である。第３の実施形態の手書き入力装置は、図１の第１の実施形態と比べて、入力文字表示部２６が設けられている。また、入力モード判定部３４の機能が異なっている。その他の各部の構成は第１の実施形態と同様であり、同一の構成要素には同一符号を付している。
【００６８】
第３の実施形態では、指紋判定によって取得した指情報に基づき、入力する文字の文字属性を含む入力モードを判定し、入力モードに応じた文字入力を行う。
【００６９】
入力モード判定部３４は、指紋判定部１３で取得された指情報に基づき、指の種別に応じた入力モードとして、文字が入力される場合の文字属性を示す属性情報、特にフォント情報を判定する。フォント情報には、文字のフォント種別の他、色、サイズ、形状（ボールド、イタリック等）、文字飾り（影付き、下線等）などが含まれる。フィードバック出力部１７は、入力モード判定部３４の判定結果に基づき、指情報に対応して設定した文字属性を表示する。
【００７０】
筆跡処理部１５は、手書き入力部１１から得られた指単位の時系列のＸＹ座標情報に基づき、筆跡処理を行い、手書き入力の筆跡を示す筆跡情報を生成して文字認識部１６に出力する。文字認識部１６は、筆跡処理部１５によって得られた筆跡情報に基づき、手書き入力された文字を認識する。そして、筆跡処理部１５は、文字認識部１６によって認識された文字情報と、入力モード判定部３４によって判定されたフォント情報を入力文字記憶部１８に出力する。入力文字記憶部１８は、この文字情報及びフォント情報を記憶する。入力文字表示部２６は、入力確定されて入力文字記憶部１８に記憶された文字情報をフォント情報に従って表示する。
【００７１】
ここで、入力座標処理部１２、指紋判定部１３、入力モード判定部３４、筆跡処理部１５、文字認識部１６は、プロセッサを主体とするコンピュータによる制御部３０を構成し、本実施形態では、制御部３０内のプロセッサ（ＣＰＵ）が記憶媒体（ＲＡＭ、ＲＯＭ等のメモリ）に記憶されたプログラムを実行することによって得られる機能として実現される。
【００７２】
上記構成を有する手書き入力装置の動作を示す。図１０は第３の実施形態における手書き入力動作を示すフローチャートである。この動作にかかるプログラムは、前述したように、制御部３０内の記憶媒体に格納されており、制御部３０のプロセッサによって実行され、各手順の処理が行われる。なお、前述した第１の実施形態と同一の処理手順については同一符号を付すことよりその説明を省略する。
【００７３】
制御部３０は、入力モード判定部３４により、ステップＳ２で指紋判定部１３で取得された指情報に基づき、入力モードを判定し、手書き入力部１１に対する手書き入力の入力モードを設定する（ステップＳ３Ａ）。ここでは、入力モード判定部３４は、文字属性を示すフォント情報を判定し、手書き入力による筆跡情報にフォント情報を設定して筆跡処理部１５に出力する。そして、制御部３０は、モード設定情報としてフォント情報をフィードバック出力部１７に出力し、フィードバック出力部１７において設定された入力モードの表示を行う（ステップＳ４）。この際、フィードバック出力部１７には、入力モードとして、指情報に対応して設定したフォント情報に関する文字属性が表示される。
【００７４】
また、制御部３０は、ステップＳ６での筆跡処理部１５による筆跡処理の後、文字認識部１６により、筆跡処理部１５で取得された筆跡情報に基づき、文字認識を行う（ステップＳ７Ａ）。そして、ステップＳ８で１文字の入力が確定された場合、制御部３０は、確定した文字情報及びフォント情報を入力文字記憶部１８に記憶する（ステップＳ９Ａ）。さらに、制御部３０は、入力文字記憶部１８に記憶された文字情報をフォント情報に従って入力文字表示部２６に表示させる（ステップＳ１０）。この後、本動作が終了する。
【００７５】
第３の実施形態では、手書き入力に用いられた指の種別を指紋情報から判定し、この指情報に基づき、手書き入力の文字属性を含む入力モードを設定する。これにより、フォント種別、色、サイズ等の文字属性を含めた詳細な入力モードを使用する指によって設定し、文字入力を行うことが可能となり、手書き入力時の利便性（ユーザビリティ）を向上できる。
【００７６】
（第４の実施形態）
図１１は第４の実施形態に係る手書き入力装置の構成を示すブロック図である。第４の実施形態は、第３の実施形態の変形例であり、描画等のための線の手書き入力に適用させた構成例である。第４の実施形態の手書き入力装置は、図９の第３の実施形態と比べて、文字認識部１６が省かれている。また、入力モード判定部４４の機能が異なっており、線入力に関する筆跡情報及び属性情報を記憶する入力情報記憶部４８と、手書き入力された描画の軌跡を表示する描画表示部４６とを備えている。その他の各部の構成は第１及び第３の実施形態と同様であり、同一の構成要素には同一符号を付している。
【００７７】
ここで、入力座標処理部１２、指紋判定部１３、入力モード判定部４４、筆跡処理部１５は、プロセッサを主体とするコンピュータによる制御部４０を構成し、本実施形態では、制御部４０内のプロセッサ（ＣＰＵ）が記憶媒体（ＲＡＭ、ＲＯＭ等のメモリ）に記憶されたプログラムを実行することによって得られる機能として実現される。
【００７８】
入力モード判定部４４は、指紋判定部１３で取得された指情報に基づき、指の種別に応じた入力モードとして、線が入力される場合の線属性を示す属性情報を判定する。線属性の属性情報としては、線の種別及び形状（実線、破線等）、色、太さ（線幅）などが含まれる。フィードバック出力部１７は、入力モード判定部４４の判定結果に基づき、指情報に対応して設定した線属性を表示する。
【００７９】
入力情報記憶部４８は、筆跡処理部１５によって取得された筆跡情報と、入力モード判定部４４によって判定された線属性を示す属性情報を記憶する。描画表示部４６は、入力情報記憶部４８に記憶された筆跡情報及び属性情報に従って、描画の軌跡を表示する。
【００８０】
第４の実施形態では、手書き入力に用いられた指の種別を指紋情報から判定し、この指情報に基づき、描画のための手書き入力における線属性を含む入力モードを設定する。これにより、文字入力に限らず、お絵かきなどの描画を行う場合においても、線の種別、色、太さ等の線属性を含めた詳細な入力モードを使用する指によって設定し、指の動き（ジェスチュア）に応じた描画入力を行うことが可能となり、手書き入力時の利便性（ユーザビリティ）を向上できる。
【００８１】
なお、上述した各実施形態において、入力モードとしては、文字入力を行う場合、全角入力、半角入力、大文字入力、小文字入力、日本語（ひらがな、漢字、カタカナ）入力、英字入力、数字入力、記号入力等の入力文字種など、入力文字に関する各種モードに適用可能である。また、文字入力において文字属性を設定する場合、明朝体、ゴシック体等の各種形状のフォント種別、ボールド、イタリック等のフォントまたは文字形状、文字サイズ、文字色、あるいは影付き、下線等の文字飾りなど、各種文字属性に適用可能である。また、描画を行う場合は、実線、破線等の線の種別、色、線の太さ（線幅）など、各種線属性に適用可能である。また、これらを組み合わせて詳細な入力モードを設定することも可能である。
【００８２】
本実施形態の手書き入力装置は、無線通信装置である携帯電話装置あるいはスマートフォン、携帯情報端末（ＰＤＡ）、ノート型ＰＣなどの携帯型電子機器の他、種々の電子機器に適用可能である。
【００８３】
また、本発明は、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワークまたは各種記憶媒体を介して手書き入力装置に供給し、手書き入力装置内のコンピュータがプログラムを読み出して実行する構成においても適用可能である。
【００８４】
また、フィードバック出力部によって、設定した入力モード、モード変更後の入力モードを表示することで、現在の入力モード設定状況を使用者が容易かつ明確に認識できる。また、フィードバック出力部を、手書き入力時の筆跡表示、文字認識結果を示す入力文字表示などを行う表示部の表示領域の近傍に設けることで、入力モードを確認する際の利用者の視点移動量を削減できる。
【００８５】
なお、本発明は、本発明の趣旨ならびに範囲を逸脱することなく、明細書の記載、並びに周知の技術に基づいて、当業者が様々な変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。また、発明の趣旨を逸脱しない範囲で、上記実施形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【００８６】
本発明は、手書き入力時の利便性（ユーザビリティ）、特に操作性を向上させることが可能となる効果を有し、例えば携帯型電子機器などに搭載可能な手書きにより情報を入力する手書き入力装置、手書き入力処理方法及びプログラム等として有用である。
【符号の説明】
【００８７】
１ 手書き入力装置
１１ 手書き入力部
１２ 入力座標処理部
１３ 指紋判定部
１４、３４、４４ 入力モード判定部
１５ 筆跡処理部
１６ 文字認識部
１７ フィードバック出力部
１８ 入力文字記憶部
１０、２０、３０、４０ 制御部
２５ 類似形状判定部
２６ 入力文字表示部
４６ 描画表示部
４８ 入力情報記憶部
１１１、１２１ 筆跡ポイント
１３０ 筆跡
１５０ 表示部
１５１ 入力領域
１５２ 入力文字表示領域
１５３ 入力モード表示領域
１６０ 入力軌跡
【特許請求の範囲】
【請求項１】
指によって入力面に手書き入力された手書き入力情報を取得する情報入力部と、
前記手書き入力情報より、前記手書き入力に用いられた指の指紋を判定して指の種別を示す指情報を取得し、前記手書き入力の入力位置を示す入力位置情報に前記指情報を付加する指紋判定部と、
前記指情報に基づき、前記手書き入力の入力モードを判定する入力モード判定部と、
を備える手書き入力装置。
【請求項２】
請求項１に記載の手書き入力装置であって、
前記手書き入力情報に基づき、前記手書き入力の軌跡を示す筆跡情報を取得する筆跡処理部を備える手書き入力装置。
【請求項３】
請求項２に記載の手書き入力装置であって、
前記入力モード判定部によって判定された入力モードと、前記筆跡処理部によって取得された筆跡情報とに基づき、手書き入力された文字を認識する文字認識部を備える手書き入力装置。
【請求項４】
請求項２に記載の手書き入力装置であって、
前記筆跡処理部によって取得された筆跡情報に基づき手書き入力された文字を認識する文字認識部と、
前記文字認識部によって認識された文字に形状が類似する類似文字の有無を判定し、前記類似文字が有る場合、前記指情報に基づいて入力モードを判定し、前記類似文字の中から入力モードに対応する文字を選択する類似文字判定部と、
を備える手書き入力装置。
【請求項５】
請求項１に記載の手書き入力装置であって、
前記入力モード判定部は、前記指情報に基づき、前記手書き入力によって文字が入力される場合の文字属性を含む入力モードを設定する手書き入力装置。
【請求項６】
請求項１に記載の手書き入力装置であって、
前記入力モード判定部は、前記指情報に基づき、前記手書き入力によって線が入力される場合の線属性を含む入力モードを設定する手書き入力装置。
【請求項７】
請求項１に記載の手書き入力装置であって、
前記情報入力部は、複数の指によって手書き入力された手書き入力情報を取得し、
前記指紋判定部は、複数の指の指紋を判定して前記手書き入力に用いられた複数の指の種別を示す指情報を取得し、
前記入力モード判定部は、前記複数の指の指情報に基づき、前記手書き入力の入力モードを判定する手書き入力装置。
【請求項８】
請求項１に記載の手書き入力装置であって、
前記入力モード判定部により判定した入力モードを表示する入力モード表示部を備える手書き入力装置。
【請求項９】
情報入力部の入力面に指によって手書き入力された手書き入力情報を取得するステップと、
前記手書き入力情報より、前記手書き入力に用いられた指の指紋を判定して指の種別を示す指情報を取得し、前記手書き入力の入力位置を示す入力位置情報に前記指情報を付加するステップと、
前記指情報に基づき、前記手書き入力の入力モードを判定するステップと、
を有する手書き入力処理方法。
【請求項１０】
請求項９に記載の手書き入力処理方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項１】
指によって入力面に手書き入力された手書き入力情報を取得する情報入力部と、
前記手書き入力情報より、前記手書き入力に用いられた指の指紋を判定して指の種別を示す指情報を取得し、前記手書き入力の入力位置を示す入力位置情報に前記指情報を付加する指紋判定部と、
前記指情報に基づき、前記手書き入力の入力モードを判定する入力モード判定部と、
を備える手書き入力装置。
【請求項２】
請求項１に記載の手書き入力装置であって、
前記手書き入力情報に基づき、前記手書き入力の軌跡を示す筆跡情報を取得する筆跡処理部を備える手書き入力装置。
【請求項３】
請求項２に記載の手書き入力装置であって、
前記入力モード判定部によって判定された入力モードと、前記筆跡処理部によって取得された筆跡情報とに基づき、手書き入力された文字を認識する文字認識部を備える手書き入力装置。
【請求項４】
請求項２に記載の手書き入力装置であって、
前記筆跡処理部によって取得された筆跡情報に基づき手書き入力された文字を認識する文字認識部と、
前記文字認識部によって認識された文字に形状が類似する類似文字の有無を判定し、前記類似文字が有る場合、前記指情報に基づいて入力モードを判定し、前記類似文字の中から入力モードに対応する文字を選択する類似文字判定部と、
を備える手書き入力装置。
【請求項５】
請求項１に記載の手書き入力装置であって、
前記入力モード判定部は、前記指情報に基づき、前記手書き入力によって文字が入力される場合の文字属性を含む入力モードを設定する手書き入力装置。
【請求項６】
請求項１に記載の手書き入力装置であって、
前記入力モード判定部は、前記指情報に基づき、前記手書き入力によって線が入力される場合の線属性を含む入力モードを設定する手書き入力装置。
【請求項７】
請求項１に記載の手書き入力装置であって、
前記情報入力部は、複数の指によって手書き入力された手書き入力情報を取得し、
前記指紋判定部は、複数の指の指紋を判定して前記手書き入力に用いられた複数の指の種別を示す指情報を取得し、
前記入力モード判定部は、前記複数の指の指情報に基づき、前記手書き入力の入力モードを判定する手書き入力装置。
【請求項８】
請求項１に記載の手書き入力装置であって、
前記入力モード判定部により判定した入力モードを表示する入力モード表示部を備える手書き入力装置。
【請求項９】
情報入力部の入力面に指によって手書き入力された手書き入力情報を取得するステップと、
前記手書き入力情報より、前記手書き入力に用いられた指の指紋を判定して指の種別を示す指情報を取得し、前記手書き入力の入力位置を示す入力位置情報に前記指情報を付加するステップと、
前記指情報に基づき、前記手書き入力の入力モードを判定するステップと、
を有する手書き入力処理方法。
【請求項１０】
請求項９に記載の手書き入力処理方法の各ステップをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−２５７９４２（Ｐ２０１１−２５７９４２Ａ）
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願番号】特願２０１０−１３１２４０（Ｐ２０１０−１３１２４０）
【出願日】平成２２年６月８日（２０１０．６．８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願日】平成２２年６月８日（２０１０．６．８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]