説明

情報処理装置およびその手書き入力処理方法

【課題】タッチパネル式ディスプレイを備えた情報処理装置において通常の筆記具よりも利便性の高い文字入力操作を実現する。
【解決手段】情報処理装置は、タッチパネル式ディスプレイ、姿勢検知部、および処理部を有している。タッチパネル式ディスプレイは、画面を表示し、タッチがされるとタッチ位置を示す位置情報を出力する。姿勢検知部は、装置姿勢を検知して該装置姿勢を示す姿勢情報を出力する。処理部は、タッチパネル式ディスプレイに、姿勢情報に基づいて定まる、文字列を手書き入力する方向である手書き方向に、その手書き方向のタッチパネル式ディスプレイの幅に応じて定まる枠数の入力枠を並べて表示させ、位置情報によって示された入力枠内のタッチ位置に基づき、入力文字を判定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、手書きでの文字入力が可能な情報処理装置に関する。
【背景技術】
【0002】
情報処理装置上で動作するアプリケーション等のソフトウェアには、ユーザによる文字入力を受けて、入力された文字情報を表示したり、かな漢字変換処理等の文字情報に応じた処理を実行したりするものがある。そして、情報処理装置の中には、キーボードからの文字入力の代わりに、あるいはキーボードからの文字入力の他に、手書きによる文字入力が可能なものがある。例えばタッチパネル式のディスプレイを備えた情報処理装置には文字を手書き入力できるものが多い。
【0003】
一般にペンなど通常の筆記具で文章を書くとき、文字を順次書きながら手を少しずつ右方向あるいは下方向に移動させていく。そのため、情報処理装置の手書き入力の場合もペンによる筆記と同様に、手を移動させながら文字を入力できるのがユーザにとって自然であり、好ましい。
【0004】
特許文献1には自然な手書き入力を可能にするための技術が開示されている。
【0005】
特許文献1の技術は、軌跡を描くカーソルが入力枠の領域外へ移動したら、移動した側に新たな入力枠を表示するというものである。これより、ユーザは手を少しずつ移動させながら、複数の文字を順次連続で手書き入力していくことができる。
【0006】
特許文献2の技術は、連続で手書き入力が可能な複数の手書き文字の入力エリアを一定の方向に配列するというものである。これにより、ユーザは手を少しずつ移動させながら、複数の文字を順次連続で手書き入力していくことができる。なお、特許文献2では各入力エリアに優先的に認識する文字種が予め設定されており、それにより、文字認識の精度の向上も図られている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2000−123115号公報
【特許文献2】特開2000−76379号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
特許文献1や特許文献2に記載された技術を用いることで、手を移動させながら文字を入力するという、ペンなど通常の筆記具で文章を書くときに近い操作性を実現することができる。しかしながら、タッチパネル式ディスプレイを備えた情報処理装置では、タッチパネル式ディスプレイの特徴を利用し、ペンなど通常の筆記具で文章を書くときよりも更に利便性の高い操作を実現することが望まれる。
【0009】
本発明の目的は、タッチパネル式ディスプレイを備えた情報処理装置において通常の筆記具よりも利便性の高い文字入力操作を実現することである。
【課題を解決するための手段】
【0010】
辞書
上記目的を達成するために、本発明の一態様の情報処理装置は、
画面を表示し、タッチがされるとタッチ位置を示す位置情報を出力するタッチパネル式ディスプレイと、
装置姿勢を検知して該装置姿勢を示す姿勢情報を出力する姿勢検知部と、
前記タッチパネル式ディスプレイに、前記姿勢情報に基づいて定まる、文字列を手書き入力する方向である手書き方向に、該手書き方向のタッチパネル式ディスプレイの幅に応じて定まる枠数の入力枠を並べて表示させ、前記位置情報によって示された該入力枠内のタッチ位置に基づき、入力文字を判定する処理部と、を有する。
【0011】
本発明の他の態様の情報処理装置は、
画面を表示し、タッチがされるとタッチ位置を示す位置情報を出力するタッチパネル式ディスプレイと、
前記タッチパネル式ディスプレイに、文字列を手書き入力する方向である手書き方向に入力枠を並べて表示させ、前記位置情報によって示された該入力枠内のタッチ位置に基づき、入力文字を判定する処理部と、を有し、
前記処理部は、前記タッチパネル式ディスプレイの前記入力枠の前記手書き方向における下流側の内部または近傍に、前記位置情報によって示された該入力枠内のタッチ位置に基づいて推定した入力候補を表示させるものである。
【0012】
本発明の他の態様の情報処理装置は、
画面を表示し、タッチがされるとタッチ位置を示す位置情報を出力するタッチパネル式ディスプレイと、
前記タッチパネル式ディスプレイに、文字列を手書き入力する方向である手書き方向に入力枠を並べて表示させ、前記位置情報によって示された該入力枠内のタッチ位置に基づき、入力文字を判定する処理部と、を有し、
前記処理部は、前記タッチパネル式ディスプレイの前記入力枠の内部または近傍に、前記位置情報によって示された該入力枠内のタッチ位置に基づいて推定した入力候補を表示させ、前記位置情報によって示された前記タッチ位置が描く軌跡に応じて該入力候補の表示をスクロールさせるものである。
【0013】
また、本発明の他の態様の情報処理装置は、
画面を表示し、タッチがされるとタッチ位置を示す位置情報を出力するタッチパネル式ディスプレイと、
前記タッチパネル式ディスプレイに、文字列を手書き入力する方向である手書き方向に入力枠を並べて表示させ、前記位置情報によって示された該入力枠内のタッチ位置に基づき、入力文字を判定する処理部と、を有し、
前記処理部は、前記入力枠と該入力枠で入力された前記入力文字との対応関係を保持しておき、過去の入力枠にタッチ操作がされると、該過去の入力枠で入力された入力文字を新たな位置情報に基づいて更新するものである。
【0014】
本発明の一態様による手書き入力処理方法は、画面を表示し、タッチがされるとタッチ位置を示す位置情報を出力するタッチパネル式ディスプレイと、装置姿勢を検知して該装置姿勢を示す姿勢情報を出力する姿勢検知部と、を有する情報処理装置の手書き入力処理方法であって、
前記タッチパネル式ディスプレイに、前記姿勢情報に基づいて定まる、文字列を手書き入力する方向である手書き方向に、該手書き方向のタッチパネル式ディスプレイの幅に応じて定まる枠数の入力枠を並べて表示させ、
前記位置情報によって示された該入力枠内のタッチ位置に基づき、入力文字を判定するものである。
【発明の効果】
【0015】
本発明によれば、タッチパネル式ディスプレイを備えた情報処理装置において通常の筆記具よりも利便性の高い文字入力操作を実現することが可能である。
【図面の簡単な説明】
【0016】
【図1】第1の実施形態の情報処理装置の構成を示すブロック図である。
【図2】文字入力を伴うアプリケーションに対してユーザが手書きで文字を入力するとき、タッチパネル式ディスプレイ11の表示の一例を示す図である。
【図3】情報処理装置10を横長に使用した場合の表示例が示されている。
【図4】入力枠23の内部に入力候補文字24が表示された例を示す図である。
【図5A】変形例において文字の修正が行われる様子を説明するための図である。
【図5B】変形例において文字の修正が行われる様子を説明するための図である。
【図6】入力枠23をスクロールすることが可能な変形例の情報処理装置10の動作例を説明するための図である。
【図7】情報処理装置10が横長で使用され、文字入力エリア21が縦書きの場合の、タッチパネル式ディスプレイ11の表示例を示す図である。
【図8】情報処理装置10が縦長で使用され、文字入力エリア21が縦書きの場合の、タッチパネル式ディスプレイ11の表示例を示す図である。
【図9】第1の実施形態の情報処理装置10の具体的な構成例を示すブロック図である。
【図10A】第2の実施形態の情報処理装置10の外観を示す正面図である。
【図10B】第2の実施形態の情報処理装置10の外観を示す正面図である。
【図11】第2の実施形態の情報処理装置10の構成を示すブロック図である。
【図12A】文字入力を伴うアプリケーションに対してユーザが手書きで文字を入力するときのタッチパネル式ディスプレイ111、112の表示の第1の例を説明するための図である。
【図12B】文字入力を伴うアプリケーションに対してユーザが手書きで文字を入力するときのタッチパネル式ディスプレイ111、112の表示の第1の例を説明するための図である。
【図12C】文字入力を伴うアプリケーションに対してユーザが手書きで文字を入力するときのタッチパネル式ディスプレイ111、112の表示の第1の例を説明するための図である。
【図13】文字入力を伴うアプリケーションに対してユーザが手書きで文字を入力するときのタッチパネル式ディスプレイ111、112の表示の第2の例を説明するための図である。
【図14】手書き方向を変化させるときの表示の例について説明するための図である。
【図15】第2の実施形態の情報処理装置10の具体的な構成例を示すブロック図である。
【図16】第3の実施形態の情報処理装置10の構成を示すブロック図である。
【図17A】文字入力方法を変更するときの画面の遷移を示す図である。
【図17B】文字入力方法を変更するときの画面の遷移を示す図である。
【図17C】文字入力方法を変更するときの画面の遷移を示す図である。
【図18A】文字入力を要求しているアプリケーション側の表示が手書き文字入力のための表示に干渉するのを解消するときの画面の遷移を示す図である。
【図18B】文字入力を要求しているアプリケーション側の表示が手書き文字入力のための表示に干渉するのを解消するときの画面の遷移を示す図である。
【図19】辞書データ切り替え機能を備えた情報処理装置10の表示例を示す図である。
【発明を実施するための形態】
【0017】
本発明を実施するための形態について図面を参照して詳細に説明する。
【0018】
(第1の実施形態)
図1は、第1の実施形態の情報処理装置の構成を示すブロック図である。図1を参照すると、情報処理装置10は、タッチパネル式ディスプレイ11、処理部12、および姿勢検知部13を有している。
【0019】
タッチパネル式ディスプレイ11は、処理部12からの指示でアプリケーション等の画面を表示する機能と、画面へのタッチがされると、そのタッチ位置を検知してタッチ位置を示す位置情報を出力する機能を有するタッチパネル式のディスプレイである。出力された位置情報は処理部12に通知される。
【0020】
図2は、文字入力を伴うアプリケーションに対してユーザが手書きで文字を入力するときのタッチパネル式ディスプレイ11の表示の一例を示す図である。図2を参照すると、タッチパネル式ディスプレイ11には、文字入力エリア21、変換候補表示エリア22、および入力枠23が表示されている。
【0021】
文字入力エリア21は、アプリケーションにおいて文字入力をユーザに促し、ユーザが入力した文字が表示されるエリアである。
【0022】
変換候補表示エリア22は、手書きで入力された文字に対する変換候補が表示されるエリアである。
【0023】
入力枠23は、文字の手書き入力を受け付けるエリアである。入力枠23の内部には、ユーザが手書きによって入力しようとしている文字の候補である複数の入力候補文字24が表示されている。入力枠23に表示される入力候補文字24は入力枠23に描かれた筆跡に基づいて選択される。
【0024】
姿勢検知部13は、ジャイロセンサや加速度センサ等で装置姿勢を検知するセンサである。姿勢検知部13は、検知した装置姿勢を示す姿勢情報を処理部12に通知する。
【0025】
処理部12は、文字列を手書き入力する方向である手書き方向を、姿勢検知部13からの姿勢情報に基づいて定め、手書き方向のタッチパネル式ディスプレイ11の幅に応じて並べて表示する入力枠23の枠数を定める。
【0026】
具体的には、処理部12は、アプリケーション等の画面の入力文字が表示される文字入力エリア21における文字列の並ぶ方向と同じ方向に手書き方向を設定する。例えば、姿勢情報の示す装置姿勢からユーザが情報処理装置10を横長で使用していると推定され、かつ文字入力エリア21が横書きであれば、手書き方向は情報処理装置10の長手方向と判断される。
【0027】
また、枠数は、ユーザが手書きを良好に行い、その手書きされた文字を情報処理装置10が良好に判定できる程度の大きさの入力枠23を手書き方向にできるだけ多く並べるように定めればよい。具体的には、情報処理装置10の長手方向と手書き方向が一致しているとき枠数は比較的多くなり、それに対して長手方向と手書き方向が直交しているとき枠数は比較的少なくなる。
【0028】
より具体的には、小型携帯型の情報処理装置10を縦長に使用した場合には枠数を2個とし、横長に使用した場合には枠数を4個とするというように定めればよい。図2には、情報処理装置10を縦長に使用した場合の表示例が示されている。図2を参照すると、入力枠23の枠数が2個になっている。図3は、情報処理装置10を横長に使用した場合の表示例が示されている。図3を参照すると、入力枠23の枠数が4個となっている。
【0029】
そして、処理部12は、定めた手書き方向に、定めた枠数の入力枠23を並べて表示する。また、処理部12は、姿勢検知部13からの姿勢情報によって示される装置姿勢が変化すると、変化後の装置姿勢に合わせて手書き方向および枠数を変化させる。具体的には、ユーザが図2のように情報処理装置10を縦長に持った状態から、情報処理装置10を90度回転させて図3のように横長に持ち替えると、画面の表示方向が変化すると共に、手書き入力の部分では入力枠23の枠数が2個から4個へ変化する。
【0030】
また、処理部12は、入力枠23を表示した状態で、タッチパネル式ディスプレイ11からの位置情報を蓄積し、蓄積した位置情報に示された入力枠23内のタッチ位置に基づき、ユーザが入力した文字を判定する。そのため、処理部12は、入力可能な全ての文字の形状や大きさを示す文字情報を予め保持しており、蓄積したタッチ位置と文字情報の類似度を算出することにより、入力文字を判定する。
【0031】
その際、処理部12は、類似度が高い文字を、入力文字の候補として入力枠23の内部に表示してもよい。また、類似度が高い順に入力文字の候補を並べて表示してもよい。
【0032】
また、その場合に、処理部12は、複数の入力候補文字を全て同時に表示するのではなく一部の入力候補文字だけを表示し、スクロール操作によって、その表示をスクロールさせることにしてもよい。ここでスクロール操作とは、上下方向に予め配列させて記録保持した候補文字を次々に表示対象とさせるための操作をいう。具体的な例として、フリック(はらう)操作やドラッグ操作がスクロール操作となりうる。処理部12は、フリック操作あるいはドラッグ操作を検知すると、候補文字の表示をスクロールさせるように表示制御を行う。
【0033】
また、処理部12は、入力候補文字を入力枠23の内部ではなく、近傍に表示することにしてもよい。
【0034】
手書き入力した文字は、例えば、ユーザが所望の入力候補文字へタップ操作を行ったとき、またユーザが所望の入力候補文字を所定位置にスクロールして確定ボタン25へタップ操作を行ったとき、あるいは、文字認識のための辞書を切り替えるなど何らかのモードが切り替えられたときに確定することにすればよい。文字が確定されると、入力枠23内の筆跡は消去される。
【0035】
また好適な例として、本実施形態では、処理部12は、入力候補文字を、入力枠23の手書き方向における下流側の内部または近傍に表示する。その入力候補文字の表示位置は、装置姿勢の変化に合わせて変化する。
【0036】
また好適な例として、本実施形態では、処理部12は、複数の入力候補文字を手書き方向の直交方向に並べて表示し、その方向のフリック操作によって、複数の入力候補文字の表示をスクロールさせる。
【0037】
図4は、入力枠23の内部に入力候補文字24が表示された例を示す図である。図4を参照すると、複数の入力候補文字24が、入力枠23の手書き方向(図4における左から右への方向)における下流側(図4における右側)の内部に表示されている。また、複数の入力候補文字24は手書き方向に直交する方向(図4における上から下への方向)に並べて表示されている。その入力候補文字24への上向きあるいは下向きのフリック操作によって、複数の入力候補文字24の表示がスクロールする。
【0038】
また、本実施形態では、処理部12は、表示された入力候補文字のうち選択された入力候補文字に対応する変換候補をタッチパネル式ディスプレイ11の変換候補表示エリア22に表示する。その際、処理部12は、ユーザがタップ操作した入力候補文字が選択されたと判断してもよく、またスクロールで所定位置にきた入力候補文字が選択されたと判断してもよい。
【0039】
以上説明したように、本実施形態によれば、姿勢情報に基づいて定まる手書き方向におけるタッチパネル式ディスプレイ11の幅に応じた枠数の入力枠23を手書き方向に並べて表示するので、タッチパネル式ディスプレイ11を縦長に用いたり横長に用いたりしても使用状況に応じて自然な手書き入力が可能である。このように、情報処理装置10の使用態様に応じて、手書き入力を行い易いような表示を行うことは、通常の筆記具にはない利便性を提供するものである。
【0040】
また、入力枠23の内部または近傍に入力候補文字24を表示し、フリック操作によってスクロールさせるので、ユーザは文字を書くタッチ操作から短い手の移動距離で入力候補文字24への操作を行うことができる。このように、手書き入力の入力候補文字24をスクロール可能に表示することは、通常の筆記具にはない利便性を提供するものである。
【0041】
また、入力枠23の手書き方向における下流側に入力候補文字24を表示するので、手書きで文字を書くときの手の移動方向と同じ方向への移動で、入力候補文字24の操作に移行できる。このように、手書き入力の入力候補文字24を手書き入力の手が移動していく方向に表示することは、ユーザが自然な手の移動の中で所望の入力候補文字24を選択できるという通常の筆記具にはない利便性を提供するものである。
【0042】
また、複数の入力候補文字24を手書き方向の直交方向に並べて表示し、直交方向のフリック操作によって入力候補文字24をスクロールさせるので、手書きで文字を書くときの手の移動で入力候補文字24にタッチしてしまったとしても、入力候補文字24の意図しないスクロールが生じにくい。
【0043】
また、選択された入力候補文字24に対応する変換候補もタッチパネル式ディスプレイ11に更に表示されるので、ユーザは手書き入力した文字を容易に変換して文字入力エリア21に文字を入力することができる。
【0044】
また、文字入力エリア21における文字列の並ぶ方向と同じ方向に手書き方向が設定されるので、ユーザは文字入力エリア21の文字列の方向と同じ方向に手を動かしながら手書き入力を行うことができる。
【0045】
なお、本実施形態では、手書き入力した文字が確定し、入力枠23から筆跡が消去された後に、過去に入力した文字を修正することは想定しなかった。しかし、本発明においては、変形例でその修正を可能にしてもよい。
【0046】
変形例として、処理部12は、手書き入力された文字を確定した後も、その入力された文字と、その文字の入力に用いられた入力枠23との対応関係を保持し、過去の入力枠23にタッチがされると、その入力枠23で入力された文字を新たな位置情報に基づいて更新することにしてもよい。そのように過去の文字を修正できるというのは通常の筆記具にはない利便性を提供するものである。
【0047】
図5A、5Bは、変形例において文字の修正が行われる様子を説明するための図である。図5Aの文字入力エリア21を参照すると、文字列「名人」が既に確定しており、現在は「の」という文字が未確定である。文字「名」は入力枠231を用いて入力され、文字「人」は入力枠232を用いて入力されたものとする。そのため、処理部12は、文字「名」と入力枠231の対応関係と、文字「人」と入力枠232の対応関係を保持している。
【0048】
ここで図5Aの状態から、本来であれば、次の文字は入力枠234に手書きすべきところ、ユーザが入力枠231に戻って手書き入力を行うと、処理部12は、入力枠231の新たな位置情報に基づいて、入力された文字を判定する。図5Bを参照すると、入力枠231に新たな手書き文字が書かれている。そして、この例では、入力枠231の手書き文字から文字「各」を入力候補文字24として表示されている。ここでユーザが確定ボタン25へタップ操作を行えば、文字「名」から文字「各」への更新が確定される。
【0049】
また、更に他の変形例として、処理部12は、表示が可能な個数を超える入力枠23と、その入力枠23で入力された文字との対応関係を保持し、入力枠23の表示をフリック操作によって、対応関係を保持している分だけスクロールできるようにしてもよい。
【0050】
図6は、入力枠23をスクロールすることが可能な変形例の情報処理装置10の動作例を説明するための図である。ユーザは、図6に示されているように、入力枠23上へのフリック操作によって入力枠23をスクロールさせることにより所望の入力文字まで戻り、入力文字を修正することができる。
【0051】
また、上記実施形態では、文字入力エリア21が横書きの場合を例示したが、本発明がこれに限定されるものではない。本発明は、文字入力エリア21が縦書きの場合や、縦書きと横書きが混在する場合にも同様に適用することができる。
【0052】
図7は、情報処理装置10が横長で使用され、文字入力エリア21が縦書きの場合の、タッチパネル式ディスプレイ11の表示例を示す図である。図7を参照すると、情報処理装置10が横長で使用され、文字入力エリア21が縦なので、情報処理装置10の短手方向である図中の縦方向に2つの入力枠23が並べて表示されている。
【0053】
図8は、情報処理装置10が縦長で使用され、文字入力エリア21が縦書きの場合の、タッチパネル式ディスプレイ11の表示例を示す図である。図8を参照すると、情報処理装置10が縦長で使用され、文字入力エリア21が縦なので、情報処理装置10の長手方向である図中の縦方向に4つの入力枠23が並べて表示されている。
【0054】
図9は、第1の実施形態の情報処理装置10の具体的な構成例を示すブロック図である。図9を参照すると、情報処理装置10の処理部12は、タッチ操作判定部61、文字認識部62、表示処理部63、および確定部64を有している。タッチパネル式ディスプレイ11はタッチ検知部65と表示部66を有している。
【0055】
表示部66は表示処理部63で生成された表示画像データに従って画像を表示する液晶等のディスプレイである。
【0056】
タッチ検知部65は、表示部66の画面上に配置されており、指などでタッチされると、タッチ位置を検知し、タッチ位置の座標を示す位置情報を出力するタッチパネルである。
【0057】
タッチ操作判定部61は、タッチ検知部65から位置情報が入力されると、表示処理部63が生成した領域情報を参照することで、行われたタッチ操作を判断する。領域情報は、入力枠23、入力候補文字24、確定ボタン25が表示されている領域を示す情報である。それらが表示されている領域が、すなわち、それらの入力部が配置されている領域である。例えば、図2に示したような表示がされている場合、位置情報が入力枠23内の入力候補文字24以外の部分へのタッチ操作を表すものであれば、文字入力のための軌跡が描かれたと判断される。位置情報がいずれかの入力候補文字24へのタップを表すものであれば、その位置の入力候補文字24を確定する操作がされたと判断される。位置情報が確定ボタン25へのタップを表すものであれば、上位に位置している入力候補文字24を確定する操作がされたと判断される。
【0058】
文字入力のための軌跡が描かれた場合、タッチ操作判定部61は、使用された入力枠23と描かれた軌跡とを表す軌跡情報を文字認識部62および表示処理部63に通知する。また、入力候補文字24あるいは確定ボタン25へのタップが行われると、タッチ操作判定部61は、確定する対象の入力候補文字24の位置を示す確定情報を確定部64に通知する。
【0059】
文字認識部62は、軌跡情報が通知されると、辞書データを参照することで文字認識を行い、上位の1つ以上の入力候補文字24を抽出する。抽出された入力候補文字は表示処理部63に通知される。
【0060】
確定部64は、確定情報が通知されると、確定情報に示された入力枠23が新たな入力枠23であれば、表示処理部63が生成した表示候補情報を参照することで、確定情報に示された位置に表示されている入力候補文字24を入力文字として確定させる。表示候補情報には、どの位置にどの入力候補文字24が表示されているかを示す情報である。
【0061】
そして、確定部64は、入力文字を確定すると、その確定した入力文字と、その入力文字の手書き入力に使用された入力枠23との対応関係を対応情報として記録する。
【0062】
また、タッチ操作判定部61は、通知された確定情報に示された入力枠23が過去の文字の入力に用いられた入力枠23であれば、対応情報を参照することで、その入力枠23で入力された過去の入力文字を認識し、確定情報に示された位置に表示されている入力候補文字24に更新する。
【0063】
表示処理部63は、姿勢センサ13からの姿勢情報に基づいて手書き方向を定め、表示部66の手書き方向の幅に応じた枠数の入力枠23を手書き方向に並べて表示部66に表示させると共に、その表示に対応した領域情報を出力する。例えば、装置姿勢と手書き方向の組み合わせ情報に対して入力枠23の枠数を予め定めておいてもよい。例えば、2つのタッチパネル式ディスプレイ111、112を左右に並べた使用態様で手書き方向が横であれば、枠数を図12に示したように4個ということを予め定めておいてもよい。
【0064】
さらに、表示処理部63は、文字認識部62で入力候補文字24が抽出されると、抽出された入力候補文字24を入力枠23の内部の手書き方向における下流側に表示させると共に、その表示に対応した表示候補情報を出力してもよい。
【0065】
なお実際のハードウェア構成としては、プロセッサで実現される表示処理部63で生成された描画データをフレームバッファ(不図示)に格納し、そのフレームバッファのデータを表示部66が表示するという構成である。その場合、フレームバッファへの描画データの書き込みは、タッチ操作判定部61、文字認識部62、および確定部64を含む様々な処理を実行するメインプロセッサ(不図示)が行ってもよく、メインプロセッサとは別に設けられたグラフィックプロセッサ(不図示)が行ってもよい。
【0066】
また、表示処理部63は、入力枠23内の軌跡情報が入力されると、その軌跡を入力枠23内に表示させる。
【0067】
(第2の実施形態)
第1の実施形態では、1つのタッチパネル式ディスプレイ11を備えた情報処理装置10を例示したが、本発明がこれに限定されるものではなく、情報処理装置10は複数のタッチパネル式ディスプレイ11を有するものであってもよい。第2の実施形態では2つのタッチパネル式ディスプレイ11を有する情報処理装置10を例示する。
【0068】
図10A、10Bは、第2の実施形態の情報処理装置10の外観を示す正面図である。情報処理装置10は2つの筐体151、152が開閉可能に接続された構造であり、筐体151にはタッチパネル式ディスプレイ111が搭載され、筐体152にはタッチパネル式ディスプレイ112が搭載されている。情報処理装置10は、図10Aのように2つのタッチパネル式ディスプレイ111、112を上下に配置した状態で使用されたり、図10Bのように2つのタッチパネル式ディスプレイ111、112を左右に配置した状態で使用されたりする。
【0069】
図11は、第2の実施形態の情報処理装置10の構成を示すブロック図である。図11を参照すると、情報処理装置10は、機能的構成として、2つのタッチパネル式ディスプレイ111、112、処理部12、および姿勢検知部13を有している。
【0070】
タッチパネル式ディスプレイ111、112は、第1の実施形態のタッチパネル式ディスプレイ11と同様に、処理部12からの指示でアプリケーション等の画面を表示する機能と、画面へのタッチがされると、そのタッチ位置を検知してタッチ位置を示す位置情報を出力する機能を有するタッチパネル式のディスプレイである。
【0071】
姿勢検知部13は、第1の実施形態のものと同様に、ジャイロセンサや加速度センサ等で装置姿勢を検知するセンサである。姿勢検知部13は、検知した装置姿勢を示す姿勢情報を処理部12に通知する。
【0072】
処理部12は、手書き入力時には、装置姿勢に応じ、2つのタッチパネル式ディスプレイ111、112の両方あるいは片方に、文字入力エリア、変換候補表示エリア、および入力枠を表示する。文字入力エリアは、アプリケーションにおいて文字入力をユーザに促し、ユーザが入力した文字が表示されるエリアである。変換候補表示エリアは、手書きで入力された文字に対する変換候補が表示されるエリアである。入力枠は、文字の手書き入力を受け付けるエリアである。
【0073】
その際、処理部12は、第1の実施形態と同様に、文字列を手書き入力する方向である手書き方向を、姿勢検知部13からの姿勢情報に基づいて定め、手書き方向のタッチパネル式ディスプレイ111、112の幅に応じて並べて表示する入力枠23の枠数を定める。例えば、2つのタッチパネル式ディスプレイ111、112が左右に並んでおり、手書き方向が左から右の方向であれば、各タッチパネル式ディスプレイ111、112の手書き方向において表示させる入力枠の枠数をそれぞれに決定し、それらの合計を算出すればよい。各タッチパネル式ディスプレイ111、112に対する枠数は、ユーザが手書きを良好に行い、その手書きされた文字を情報処理装置10が良好に判定できる程度の大きさの入力枠を手書き方向にできるだけ多く並べるように定めればよい。そして、処理部12は、定めた枠数の入力枠を手書き方向に並べて表示する。
【0074】
図12A〜Cは、文字入力を伴うアプリケーションに対してユーザが手書きで文字を入力するときのタッチパネル式ディスプレイ111、112の表示の第1の例を説明するための図である。
【0075】
第1の例では、処理部12は、図12Aのように、2つのタッチパネル式ディスプレイ111、112が上下に配置された状態では、下側のタッチパネル式ディスプレイ112に入力枠23を表示させる。
【0076】
また、2つのタッチパネル式ディスプレイ111、112が左右に配置された状態では、処理部12は、図12Bのように、2つのタッチパネル式ディスプレイ111、112にまたがる下部に2つのタッチパネル式ディスプレイ111、112の幅に応じて定まる枠数の入力枠23を並べて表示させるか、あるいは、図12Cのように、右側のタッチパネル式ディスプレイ112の下部に右側のタッチパネル式ディスプレイ112の幅に応じて定まる枠数の入力枠23を並べて表示する。なお、ここでは、一方のタッチパネル式ディスプレイ112の下部に入力枠23を表示する場合の例として、右側のタッチパネル式ディスプレイ112の下部に入力枠23を表示することとしたが、左側のタッチパネル式ディスプレイ111の下部に入力枠23を表示させてもよい。
【0077】
2つのタッチパネル式ディスプレイ111、112が左右に配置された状態で、処理部12が図12Bの表示態様を選択するか、図12Cの表示態様を選択するかは、予め定められた条件による。例えば、アプリケーションあるいはアプリケーションの種類によって表示態様を選択してもよい。入力枠23の枠数を多いことが好ましいアプリケーションでは図12Bの表示態様を用い、描画領域の視認性の確保を優先したいアプリケーションでは図12Cの表示態様を用いるといった選択が可能である。
【0078】
また、ユーザが行った設定に応じた表示態様を選択してもよい。
【0079】
また、文字入力を要求しているアプリケーションの文字入力エリアの文字数に応じた表示態様を選択することにしてもよい。文字入力エリアの文字数が閾値以上であれば図12Bの表示態様を選択し、文字入力エリアの文字数が閾値より小さければ図12Cの表示態様を選択することが考えられる。
【0080】
図13は、文字入力を伴うアプリケーションに対してユーザが手書きで文字を入力するときのタッチパネル式ディスプレイ111、112の表示の第2の例を説明するための図である。
【0081】
第2の例では、処理部12は、図13のように、2つのタッチパネル式ディスプレイ111、112が上下に配置された状態では、下側のタッチパネル式ディスプレイ112の下部に入力枠23を表示させ、上部に、例えばQWERTYキー配列のような、文字をキー入力するためのキー入力ボタン30を表示する。
【0082】
第2の例において、2つのタッチパネル式ディスプレイ111、112が左右に配置された状態での入力枠23の表示態様は、一例として、第1の例と同様に図12Bの表示態様と図12Cの表示態様のいずれかを選択して用いる。
【0083】
また、本実施形態においては、フリック操作やドラッグ操作のような軌跡を描くタッチ操作によって手書き方向を変化させることが可能であってもよい。その場合、処理部12は、手書き方向に並んだ入力枠23の列を回転させるように軌跡を描くタッチ操作がされると、タッチ操作の軌跡に応じて手書き方向および入力枠23が並ぶ方向を変化させればよい。
【0084】
図14は、手書き方向を変化させるときの表示の例について説明するための図である。図14には、タッチパネル式ディスプレイ111、112が左右に配置され、手書き方向が縦方向である状態で、入力枠23の列の上部分から入力枠23の列の下部分を中心とした円弧を描くようなフリック操作が行われる様子が示されている。フリック操作は太線の矢印で示されている。太線の矢印で示されているような軌跡を描くフリック操作がされると、処理部12は手書き方向を横方向に変化させ、入力枠23を横方向に並べて表示させる。手書き方向が横方向に変化すると、入力枠23は図12Bあるいは図12Cのように並んで表示される。処理部12は所定の条件で、図12Bの表示態様か図12Cの表示態様を選択すればよい。
【0085】
図15は、第2の実施形態の情報処理装置10の具体的な構成例を示すブロック図である。図15を参照すると、情報処理装置10の処理部12は、タッチ操作判定部61、文字認識部62、表示処理部63、および確定部64を有している。また、タッチパネル式ディスプレイ111、112はタッチ検知部651、652と表示部661、66Bを有している。図15では、図示の便宜上、タッチパネル式ディスプレイ111、112を1つのブロックに示している。
【0086】
表示部661、662は表示処理部63で生成された表示画像データに従って画像を表示する液晶等のディスプレイである。
【0087】
タッチ検知部651、652は、それぞれ表示部661、662の画面上に配置されており、指などでタッチされると、タッチ位置を検知し、タッチ位置の座標を示す位置情報を出力するタッチパネルである。
【0088】
タッチ操作判定部61は、タッチ検知部651、652から位置情報が入力されると、表示処理部63が生成した領域情報を参照することで、行われたタッチ操作を判断する。領域情報は、入力枠23を含む入力用の表示がされている領域を示す情報である。それが表示されている領域が、すなわち、それらの入力部が配置されている領域である。本実施形態では、入力枠23を含む手書き入力用の操作スイッチが、図12Bのように表示部661、662の両方をまたいで配置される場合と、図12Aや図12Cのようにいずれか片方に配置される場合がある。
【0089】
例えば、図12Aに示したような表示がされている場合、位置情報が入力枠23内へのタッチ操作を表すものであれば、文字入力のための軌跡が描かれたと判断される。文字入力のための軌跡が描かれた場合、タッチ操作判定部61は、使用された入力枠23と描かれた軌跡とを表す軌跡情報を文字認識部62および表示処理部63に通知する。また、入力候補文字24あるいは確定ボタン25へのタップが行われると、タッチ操作判定部61は、確定する対象の入力候補文字の位置を示す確定情報を確定部64に通知する。なお、図12A〜Cでは入力候補文字が図示されていないが、例えば、入力枠23の手書き方向の下流側の内部または近傍に表示するとよい。
【0090】
文字認識部62は、軌跡情報が通知されると、辞書データを参照することで文字認識を行い、上位の1つ以上の入力候補文字を抽出する。抽出された入力候補文字は表示処理部63に通知される。
【0091】
確定部64は、確定情報が通知されると、確定情報に示された入力枠23が新たな入力枠23であれば、表示処理部63が生成した表示候補情報を参照することで、確定情報に示された位置に表示されている入力候補文字を入力文字として確定させる。表示候補情報には、どの位置にどの入力候補文字が表示されているかを示す情報である。
【0092】
そして、確定部64は、入力文字を確定すると、その確定した入力文字と、その入力文字の手書き入力に使用された入力枠23との対応関係を対応情報として記録する。
【0093】
また、タッチ操作判定部61は、通知された確定情報に示された入力枠23が過去の文字の入力に用いられた入力枠23であれば、対応情報を参照することで、その入力枠23で入力された過去の入力文字を認識し、確定情報に示された位置に表示されている入力候補文字に更新する。
【0094】
表示処理部63は、姿勢センサ13からの姿勢情報に基づいて手書き方向を定め、表示部66の手書き方向の幅に応じた枠数の入力枠23を手書き方向に並べて表示部66に表示させると共に、その表示に対応した領域情報を出力する。図12Aのような表示をする場合、表示処理部63は表示部662に、入力枠23を含む所定の表示をさせる。図12Bのような表示をする場合、表示処理部63は、表示部111と表示部112をまたぐ、入力枠23を含む所定の表示をさせる。
【0095】
なお実際のハードウェア構成としては、プロセッサで実現される表示処理部63で生成された、2つのタッチパネル式ディスプレイ111、112用の描画データを2つのフレームバッファ(不図示)にそれぞれ格納し、それらのフレームバッファのデータを表示部661、662が表示するという構成である。その場合、フレームバッファへの描画データの書き込みは、タッチ操作判定部61、文字認識部62、および確定部64を含む様々な処理を実行するメインプロセッサ(不図示)が行ってもよく、メインプロセッサとは別に設けられたグラフィックプロセッサ(不図示)が行ってもよい。
【0096】
また、表示処理部63は、文字認識部62で抽出された入力候補文字を入力枠23の手書き方向における下流側の内部に表示させると共に、その表示に対応した表示候補情報を出力する。
【0097】
また、表示処理部63は、入力枠23内の軌跡情報が入力されると、その軌跡を入力枠23内に表示させる。
【0098】
(第3の実施形態)
第1の実施形態では、手書き方向にタッチパネル式ディスプレイ11の幅に応じて定まる枠数の入力枠23を並べて表示させ、更に好適例として、入力文字の候補である入力候補文字を入力枠23の手書き方向における下流側の内部または近傍に表示する例を示した。しかし、入力候補文字24を入力枠23の手書き方向における下流側の内部または近傍に表示するという手法は、情報処理装置10が手書き方向にタッチパネル式ディスプレイ11の幅に応じて定まる枠数の入力枠23を並べて表示させるものでなくても適用することができる。また、その場合でも、手書き入力の手が移動していく方向に入力候補文字24を表示することは、ユーザが自然な手の移動の中で所望の入力候補文字24を選択できるという通常の筆記具にはない利便性を提供する。
【0099】
第3の実施形態では、文字列を手書き方向にタッチパネル式ディスプレイの幅に応じて定まる枠数の入力枠を並べて表示させるという機能は有しないが、手書き方向に並んだ入力枠の手書き方向における下流側に入力候補文字を表示する機能を有する情報処理装置を例示する。
【0100】
図16は、第3の実施形態の情報処理装置10の構成を示すブロック図である。図16を参照すると、情報処理装置10はタッチパネル式ディスプレイ11と処理部12を有している。
【0101】
タッチパネル式ディスプレイ11は、第1の実施形態のものと同様に、処理部12からの指示でアプリケーション等の画面を表示する機能と、画面へのタッチがされると、そのタッチ位置を検知してタッチ位置を示す位置情報を出力する機能を有するタッチパネル式のディスプレイである。
【0102】
処理部12は、タッチパネル式ディスプレイ11上に手書き方向に所定の枠数の入力枠23を並べて表示する。ここでの入力枠23の枠数は例えば予め定められた固定値であり、装置姿勢によって変化しない。そして、処理部12は、タッチパネル式ディスプレイ11からの位置情報によって示された、入力枠23内のタッチ位置に基づき、入力文字を判定する。その際、処理部12は、タッチパネル式ディスプレイ11の入力枠23の手書き方向における下流側の内部または近傍に、その入力枠23内のタッチ位置に基づいて推定した入力候補文字を表示する。
【0103】
このときの表示態様は図2と同様のものとなる。図2の例では、手書き方向が図の左から右に向かう方向であり、その方向に入力枠23が2つ並んでいる。左側の入力枠23における手書き方向の下流側つまり入力枠23の右側の内部に入力候補文字24が表示されている。そして、処理部12は、例えばユーザが所望の入力候補文字24へタップ操作を行ったとき、その入力候補文字24を入力文字として確定する。
【0104】
以上の構成の効果として、本実施形態では、ユーザが左から右に向かう自然な手の移動の中で所望の入力候補文字24を選択できる。
【0105】
なお、ここでは、処理部12が入力枠23における手書き方向の下流の内部に入力の候補として入力候補文字24を表示する例を示したが、本発明がこれに限定されるものではない。他の例として、処理部12は入力候補文字24に対応する変換候補の文字列を表示することにしてもよい。あるいは、処理部12は入力候補文字24と変換候補の文字列の両方を表示することにしてもよい。
【0106】
表示される入力候補文字24や変換候補の文字列は、その時点までに入力されたタッチ位置から予測される文字、単語、分節であり、タッチ位置が追加されるのに応じて適宜更新されてもよい。これにより、ユーザは最後まで文字を書き終え無くても、所望の文字、単語、あるいは分節が表示されたら、それを選択することができる。
【0107】
(第4の実施形態)
第1の実施形態では、手書き方向にタッチパネル式ディスプレイ11の幅に応じて定まる枠数の入力枠23を並べて表示させ、更に好適例として、入力文字の候補である入力候補文字を入力枠23の内部または近傍にスクロール可能に表示する例を示した。しかし、入力候補文字24を入力枠23の内部または近傍にスクロール可能に表示するという手法は、情報処理装置10が手書き方向にタッチパネル式ディスプレイ11の幅に応じて定まる枠数の入力枠23を並べて表示させるものでなくても適用することができる。また、その場合でも、ユーザは文字を書くタッチ操作から短い手の移動距離で入力候補文字24への操作を行うことができるという通常の筆記具にはない利便性が提供される。
【0108】
第4の実施形態では、文字列を手書き方向にタッチパネル式ディスプレイの幅に応じて定まる枠数の入力枠を並べて表示させるという機能は有しないが、手書き方向に並んだ入力枠の内部または近傍に入力候補文字をスクロール可能に表示する機能を有する情報処理装置を例示する。
【0109】
第4の実施形態の情報処理装置の基本的な構成は、図16に示した第3の実施形態のものと同様であるが、処理部12の動作が一部で異なっている。
【0110】
本実施形態では、処理部12は、手書き入力時、第3の実施形態と同様に、タッチパネル式ディスプレイ11上に手書き方向に所定の枠数の入力枠23を並べて表示する。そして、処理部12は、タッチパネル式ディスプレイ11からの位置情報によって示された、入力枠23内のタッチ位置に基づき、入力文字を判定する。
【0111】
ただし、第4の実施形態では、処理部12は、タッチパネル式ディスプレイ11の入力枠23の内部または近傍に、その入力枠23内のタッチ位置に基づいて推定した入力候補文字を表示し、位置情報によって示されたタッチ位置が描く軌跡に応じてその入力候補文字の表示をスクロールさせる。スクロールのためのタッチ操作は、例えばフリック操作やドラッグ操作のようにタッチ位置が軌跡を描く操作である。
【0112】
また好適例として、処理部12は、図4に示したように、複数の入力候補文字24を手書き方向の直交方向に並べて表示し、その直交方向に軌跡を描くタッチ操作に基づいて、複数の入力候補文字の表示をスクロールさせるとよい。図4では手書き方向は図の左から右に向かう方向である。
【0113】
そして、処理部12は、例えば、ユーザが所望の入力候補文字24へタップ操作を行ったときに手書き入力した文字が確定する。
【0114】
以上の構成の効果として、本実施形態では、ユーザは文字を書くタッチ操作から短い手の移動距離で入力候補文字24への操作を行うことができる。
【0115】
なお、本実施形態では、上述したタップ操作によって手書き入力した文字を確定する以外に様々な確定方法を併用あるいは代用することができる。例えば、ユーザが所望の入力候補文字24を所定位置にスクロールして確定ボタン25へタップ操作を行ったとき、処理部12は手書き入力の文字を確定してもよい。また、文字認識のための辞書を切り替えるなど何らかのモードが切り替えられたときに、処理部12は、手書き入力の文字を確定してもよい。
【0116】
また、処理部12は、スクロールで所定位置にきた入力候補文字24が選択されたと判断し、その入力候補文字24を手書き入力の文字として確定してもよい。そのために、処理部12は、入力候補文字24をスクロール可能に並べて表示するとき所定位置に決定用枠を表示させ、スクロールによって決定用枠内に移動された入力候補文字24が所定時間とどまったら手書き入力の文字として確定すればよい。これにより、ユーザが入力候補文字24を探す操作と確定する操作を一連のスクロール操作で行うことが可能となる。なお、決定用枠に形状や色は特に限定されるものではない。また、図4に示したように、全ての入力候補文字24を枠内に表示するときには、処理部12は、その枠と区別できるように決定用枠を表示すればよい。区別は、例えば、枠の大きさ、形状、枠の太さ、枠の色、枠内領域の色などで行えばよい。
【0117】
また、処理部12は、スクロールされる入力候補文字24が表示された領域の最も上の部分に決定用枠を表示させてもよい。また、処理部12は、スクロールされる入力候補文字24が表示された領域の中央に決定用枠を表示させてもよい。また、処理部12は、ユーザが予め設定した位置に決定用枠を表示させてもよい。文字を手書きする場合に人によってクセがあり、手書きの終わりが下がり気味になる人や、上がり気味になる人などがいる。そのような場合で、各個人のクセに合わせて、手書き文字入力からの自然な手の移動で文字の選択が可能となる。また、処理部12は、スクロールを行う前の初期の表示状態では優先度の高い入力候補文字24を決定用枠の近くに表示させるとよい。
【0118】
また、処理部12は、決定用枠の位置を固定しておくのではなく、十字キーや方向キーなどのハードキーによって決定用枠を移動させてもよい。ユーザは、フリックなどのスクロール操作による入力候補文字24の移動と、ハードキーによる決定用枠の移動を併用することで効率的に文字を選択することが可能となる。
【0119】
また、タッチ操作による入力候補文字24のスクロールと、ハードキーによる決定用枠の移動の両方の機能を備えている情報処理装置10では、処理部12は、そのいずれか一方のみを有効とするか、両方を有効とするかをユーザが嗜好によって選択可能としてもよい。
【0120】
また、処理部12は、決定用枠で入力候補文字24を確定するとき、音や振動によってユーザに確定したことをフィードバックすると、ユーザが確定を認知し易くなる。
【0121】
(第5の実施形態)
第1の実施形態では、手書き方向にタッチパネル式ディスプレイ11の幅に応じて定まる枠数の入力枠23を並べて表示させ、入力枠23へのタッチ操作に基づいて手書きの文字を判定し、更に好適な変形例として、過去の入力枠23へのタッチ操作で、過去に入力された文字を更新することが可能な例を示した。しかし、過去の入力枠23へのタッチ操作で、過去に入力された文字を更新するという手法は、情報処理装置10が文字列を手書き方向にタッチパネル式ディスプレイ11の幅に応じて定まる枠数の入力枠23を並べて表示させるものでなくても適用することができる。また、その場合でも過去の文字を修正できるというのは通常の筆記具にはない利便性が提供される。
【0122】
第5の実施形態では、文字列を手書き方向にタッチパネル式ディスプレイの幅に応じて定まる枠数の入力枠を並べて表示させるという機能は有しないが、過去の入力枠23へのタッチ操作で、過去に入力された文字を更新する機能を有する情報処理装置を例示する。
【0123】
第5の実施形態の情報処理装置10の基本的な構成は、図16に示した第3の実施形態のものと同様であるが、処理部12の動作が一部で異なっている。
【0124】
本実施形態では、第3の実施形態と同様に、タッチパネル式ディスプレイ11上に手書き方向に所定の枠数の入力枠23を並べて表示する。そして、処理部12は、タッチパネル式ディスプレイ11からの位置情報によって示された、入力枠23内のタッチ位置に基づき入力文字を判定し、その文字を確定させる。
【0125】
ただし、第5の実施形態では、処理部12は、文字を確定した後も、文字の確定に用いられた入力枠23とその文字との対応関係を保持しておき、過去の入力枠23にタッチ操作がされると、その入力枠23で過去に入力された文字を新たな位置情報に基づいて更新する。これにより、過去の文字に遡って修正できるという通常の筆記具にはない利便性が提供される。
【0126】
本実施形態において、文字の修正が行われる様子は、例えば、図5A、5Bに示したものと同様となる。
【0127】
図5Aの文字入力エリア21を参照すると、文字列「名人」が既に確定しており、現在は「の」という文字が未確定である。文字「名」は入力枠231を用いて入力され、文字「人」は入力枠232を用いて入力されたものとする。そのため、処理部12は、文字「名」と入力枠231の対応関係と、文字「人」と入力枠232の対応関係を保持している。
【0128】
ここで図5Aの状態から、本来であれば、次の文字は入力枠234に次の文字を手書きすべきところ、ユーザが入力枠231に戻って手書き入力を行うと、処理部12は、入力枠231の新たな位置情報に基づいて、入力された文字を判定する。図5Bを参照すると、入力枠231に新たな手書き文字が書かれている。そして、この例では、入力枠231の手書き文字から文字「各」が入力候補文字24として表示されている。ここでユーザが確定ボタン25へタップ操作を行えば、文字「名」から文字「各」への更新が確定される。
【0129】
このように、処理部12は、入力枠23に対する文字を確定した後は、入力枠23と文字との対応関係を保持しつつ、図5Aのように、その入力枠23内の筆跡を消去してもよいが、入力枠23と文字との対応関係を保持すると共に筆跡を残しておいてもよい。その場合、図5Aの状態では入力枠231には文字「名」の筆跡が残り、入力枠232には文字「人」の筆跡が残ることとなる。
【0130】
そのように文字を確定した後も筆跡を残しておく場合、処理部12は、ユーザが過去の入力枠23の筆跡の一部を変更することで、その入力枠23で確定した文字を更新することにしてもよい。筆跡の修正として、ドラッグなどのタッチ操作で、筆跡を書き足す、筆跡の一部を消去する、筆跡のある部分を移動させる等が可能であるとする。本来入力しようとした文字に類似した文字が確定されてしまっていた場合、文字全体を書きなおさなくても更新が可能となる。例えば、「大」、「犬」、「太」といった類似した文字では、「、」(点)を書き足したり、消去したり、移動したりすることで修正が可能となる。
【0131】
また、文字を確定した後も筆跡を残しておく場合、処理部12は、入力枠23に残っている筆跡を消去するために削除ボタンを入力枠23の内部または近傍に表示し、そこにタップ操作がされると、その入力枠23内の筆跡を消去することにしてもよい。
【0132】
また、処理部12は、文字を確定した後も、筆跡と共に入力候補文字24の表示も残しておくことにしてもよい。そして、処理部12は、確定した文字と異なる入力候補文字24へタップ操作がされると、新たにタップされた入力候補文字24に入力枠23の文字を更新してもよい。なお、入力候補文字24の表示を残し、かつ、削除ボタンを表示する場合、処理部12は、入力候補文字24から離れた位置に削除ボタンを表示してもよい。例えば、入力候補文字24を手書き方向の下流側に配置し、削除ボタンを上流側に配置してもよい。誤って文字を削除してしまうのを防止することができる。
【0133】
また、図2の様に、入力候補文字24の他に、入力候補文字24に基づく変換候補22を表示する場合、処理部12は、過去の文字が更新されると、新たな文字に基づいて変換候補22の表示も更新する。
【0134】
また、情報処理装置10は、文字入力方法として手書き入力とキー入力をユーザが適宜選択できるようにしてもよい。その場合、ユーザが所定のタッチ操作を行うことで、処理部12が手書き入力モードとキー入力モードを切り替える。
【0135】
図17A〜Cは、文字入力方法を変更するときの画面の遷移を示す図である。
【0136】
図17Aには、キー入力モードの画面を表示している情報処理装置10が示されている。図17Aのタッチパネル式ディスプレイ11には複数のキー入力ボタン30が表示されている。キー入力ボタン30には、アルファベットやかな文字を入力するための文字ボタンと、削除、変換、確定、モード変更などを行うためのファンクションボタンとが含まれている。
【0137】
この状態から、ユーザが何れかのキーボタンに所定のタッチ操作を行うと、処理部12は、図17Bのように、複数の切り替えボタン40を含む切り替え画面を表示する。例えば、モード変更のためのファンクションキーに対して長押しタッチ操作をすると、処理部12は、切り替え画面を表示する。
【0138】
図17Bの複数の切り替えボタン40には、例えば、手書き入力モードへ移行するための切り替えボタンが含まれている。ユーザがその切り替えボタンにタップ操作をすると、処理部12は手書き入力モードに移行し、図17Cのように入力枠23を含む画面を表示する。
【0139】
また、情報処理装置10は、文字入力を要求しているアプリケーション側の表示が手書き文字入力のための表示に干渉するのを解消する機能を備えていてもよい。その場合、文字入力を要求しているアプリケーション側の表示が手書き文字入力のための表示に干渉しているとき、ユーザが所定のタッチ操作を行うと、処理部12は、手書き文字入力のための表示をアプリケーション側の表示の前面に出すことで干渉を解消すればよい。
【0140】
図18A、18Bは、文字入力を要求しているアプリケーション側の表示が手書き文字入力のための表示に干渉するのを解消するときの画面の遷移を示す図である。
【0141】
図18Aの状態では、タッチパネル式ディスプレイ11の上部にアプリケーションの画面が表示され、下部に手書き文字入力用の画面が表示されている。アプリケーションの画面には文字入力エリア21があり、その文字入力エリア21から下方向に複数のプルダウン表示50が連なっている。そして、そのプルダウン表示50がタッチパネル式ディスプレイ11の下部まで連なり、手書き文字入力の表示に干渉している。
【0142】
この状態からユーザが所定のタッチ操作を行うと、処理部12は、図18Bのように、入力枠23を含む手書き文字入力の画面をプルダウン表示50の前面に出すことで干渉を解消する。所定のタッチ操作は、一例として、文字入力エリア21へのタップ操作である。これにより、手書き文字入力の表示への他の画面干渉を容易に解消することが可能となる。
【0143】
また、情報処理装置10は、手書きの筆跡から文字を判断するときに用いる辞書データを複数備えており、切り替えて使用することが可能であってもよい。例えば、ユーザがかな文字を手書きで入力するときには、かな文字用の辞書データを用いれば、正しい文字の判断を高い精度で行うことが可能となる。
【0144】
図19は、辞書データ切り替え機能を備えた情報処理装置10の表示例を示す図である。図19を参照すると、入力枠23の下に表示されているファンクションキーの中に辞書切替ボタン41が含まれている。
【0145】
処理部12は、例えば、ひらがな用、カタカナ用、漢字用、記号用、アルファベット用、数字用のそれぞれの辞書データを保持しており、辞書切替ボタン41へのタッチ操作によって、手書き文字の判断に用いる辞書データを切り替える。例えば、辞書切替ボタン41にタップ操作が行われる毎に、「ALL」モード、「かな」モード、「AB」モード、「12」モードが順番にトグルで切り替わる。「ALL」モードでは上述の全ての辞書が用いられる。「かな」モードでは、ひらがな用とカタカナ用と漢字用と記号用の辞書データが用いられる。「AB」モードではアルファベット用と記号用の辞書データが用いられる。「12」モードでは、数字用と記号用の辞書データが用いられる。
【0146】
なお、本実施形態において図17A〜17Cを用いて説明した文字入力方法を変更、図18A〜18Bを用いて説明したアプリケーション表示の手書き文字入力の表示への干渉の解消、図19を用いて説明した辞書データ切り替え機能は、上述した第1〜4の実施形態にも適用することができる。
【0147】
また、上述した各実施形態の情報処理装置10は、処理部12が行う処理手順を規定したソフトウェアプログラムをコンピュータに実行させることにより実現することもできる。
【0148】
また、上述した各実施形態の情報処理装置10は、主として日本語入力を行うことを想定した例を示しているが、本発明は日本語入力に限定されるものではなく、他の言語の文字入力にも同様に適用することができる。
【0149】
以上、本発明の実施形態について述べてきたが、本発明は、これらの実施形態だけに限定されるものではなく、本発明の技術思想の範囲内において、これらの実施形態を組み合わせて使用したり、一部の構成を変更したりしてもよい。
【0150】
また、上記の実施形態の一部又は全部は以下の付記のように記載することもできる。ただし、本発明が以下の付記に限定されるものではない。
【0151】
(付記1)
画面を表示し、タッチがされるとタッチ位置を示す位置情報を出力するタッチパネル式ディスプレイと、
装置姿勢を検知して該装置姿勢を示す姿勢情報を出力する姿勢検知部と、
前記タッチパネル式ディスプレイに、前記姿勢情報に基づいて定まる、文字列を手書き入力する方向である手書き方向に、該手書き方向のタッチパネル式ディスプレイの幅に応じて定まる枠数の入力枠を並べて表示させ、前記位置情報によって示された該入力枠内のタッチ位置に基づき、入力文字を判定する処理部と、を有する情報処理装置。
【0152】
(付記2)
前記タッチパネル式ディスプレイが2つあり、
前記処理部は、前記2つのタッチパネル式ディスプレイが上下に配置された状態では、下側のタッチパネル式ディスプレイに前記入力枠を表示させ、前記2つのタッチパネル式ディスプレイが左右に配置された状態では、前記2つのタッチパネル式ディスプレイにまたがる下部に前記2つのタッチパネル式ディスプレイの幅に応じて定まる枠数の入力枠を並べて表示させるか、あるいは前記右側のタッチパネル式ディスプレイの下部に該右側のタッチパネル式ディスプレイの幅に応じて定まる枠数の入力枠を並べて表示させる、
付記1に記載の情報処理装置。
【0153】
(付記3)
前記タッチパネル式ディスプレイが2つあり、
前記処理部は、前記2つのタッチパネル式ディスプレイが上下に配置された状態では、下側のタッチパネル式ディスプレイの下部に前記入力枠を表示させ、前記下側のタッチパネル式ディスプレイの上部に、文字をキー入力するためのキー入力ボタンを表示させる、
付記1または2に記載の情報処理装置。
【0154】
(付記4)
前記処理部は、前記手書き方向に並んだ入力枠の列を回転させるように軌跡を描くタッチ操作がされると、前記タッチ操作の軌跡に応じて前記手書き方向および前記入力枠が並ぶ方向を変化させる、付記1から3のいずれか一項に記載の情報処理装置。
【0155】
(付記5)
画面を表示し、タッチがされるとタッチ位置を示す位置情報を出力するタッチパネル式ディスプレイと、
前記タッチパネル式ディスプレイに、文字列を手書き入力する方向である手書き方向に入力枠を並べて表示させ、前記位置情報によって示された該入力枠内のタッチ位置に基づき、入力文字を判定する処理部と、を有し、
前記処理部は、前記タッチパネル式ディスプレイの前記入力枠の前記手書き方向における下流側の内部または近傍に、前記位置情報によって示された該入力枠内のタッチ位置に基づいて推定した入力候補を表示させる、情報処理装置。
【0156】
(付記6)
前記入力候補は、前記位置情報によって示された前記入力枠内のタッチ位置に基づいて推定した前記入力文字の候補である入力候補文字と、該入力候補文字に対応する変換候補文字列のいずれか一方あるいは両方である、付記5に記載の情報処理装置。
【0157】
(付記7)
画面を表示し、タッチがされるとタッチ位置を示す位置情報を出力するタッチパネル式ディスプレイと、
前記タッチパネル式ディスプレイに、文字列を手書き入力する方向である手書き方向に入力枠を並べて表示させ、前記位置情報によって示された該入力枠内のタッチ位置に基づき、入力文字を判定する処理部と、を有し、
前記処理部は、前記タッチパネル式ディスプレイの前記入力枠の内部または近傍に、前記位置情報によって示された該入力枠内のタッチ位置に基づいて推定した入力候補を表示させ、前記位置情報によって示された前記タッチ位置が描く軌跡に応じて該入力候補の表示をスクロールさせる、情報処理装置。
【0158】
(付記8)
前記処理部は、複数の前記入力候補を前記手書き方向の直交方向に並べて表示させ、該直交方向に軌跡を描くタッチ操作に基づいて、前記複数の入力候補の表示をスクロールさせる、付記7に記載の情報処理装置。
【0159】
(付記9)
画面を表示し、タッチがされるとタッチ位置を示す位置情報を出力するタッチパネル式ディスプレイと、
前記タッチパネル式ディスプレイに、文字列を手書き入力する方向である手書き方向に入力枠を並べて表示させ、前記位置情報によって示された該入力枠内のタッチ位置に基づき、入力文字を判定する処理部と、を有し、
前記処理部は、前記入力枠と該入力枠で入力された前記入力文字との対応関係を保持しておき、過去の入力枠にタッチ操作がされると、該過去の入力枠で入力された入力文字を新たな位置情報に基づいて更新する、情報処理装置。
【0160】
(付記10)
画面を表示し、タッチがされるとタッチ位置を示す位置情報を出力するタッチパネル式ディスプレイと、装置姿勢を検知して該装置姿勢を示す姿勢情報を出力する姿勢検知部と、を有する情報処理装置の手書き入力処理方法であって、
前記タッチパネル式ディスプレイに、前記姿勢情報に基づいて定まる、文字列を手書き入力する方向である手書き方向に、該手書き方向のタッチパネル式ディスプレイの幅に応じて定まる枠数の入力枠を並べて表示させ、
前記位置情報によって示された該入力枠内のタッチ位置に基づき、入力文字を判定する、手書き入力処理方法。
【0161】
(付記11)
前記タッチパネル式ディスプレイが2つあり、
前記2つのタッチパネル式ディスプレイが上下に配置された状態では、下側のタッチパネル式ディスプレイに前記入力枠を表示させ、
前記2つのタッチパネル式ディスプレイが左右に配置された状態では、前記2つのタッチパネル式ディスプレイにまたがる下部に前記2つのタッチパネル式ディスプレイの幅に応じて定まる枠数の入力枠を並べて表示させるか、あるいは前記右側のタッチパネル式ディスプレイの下部に該右側のタッチパネル式ディスプレイの幅に応じて定まる枠数の入力枠を並べて表示させる、
付記10に記載の手書き入力処理方法。
【0162】
(付記12)
前記タッチパネル式ディスプレイが2つあり、
前記2つのタッチパネル式ディスプレイが上下に配置された状態では、下側のタッチパネル式ディスプレイの下部に前記入力枠を表示させ、前記下側のタッチパネル式ディスプレイの上部に、文字をキー入力するためのキー入力ボタンを表示させる、
付記10または11に記載の手書き入力処理方法。
【0163】
(付記13)
前記手書き方向に並んだ入力枠の列を回転させるように軌跡を描くタッチ操作がされると、前記タッチ操作の軌跡に応じて前記手書き方向および前記入力枠が並ぶ方向を変化させる、付記10から12のいずれか一項に記載の手書き入力処理方法。
【0164】
(付記14)
画面を表示し、タッチがされるとタッチ位置を示す位置情報を出力するタッチパネル式ディスプレイを有する情報処理装置の手書き入力処理方法であって、
前記タッチパネル式ディスプレイに、文字列を手書き入力する方向である手書き方向に入力枠を並べて表示させ、
前記タッチパネル式ディスプレイの前記入力枠の前記手書き方向における下流側の内部または近傍に、前記位置情報によって示された該入力枠内のタッチ位置に基づいて推定した入力候補を表示させ、
前記位置情報によって示された該入力枠内のタッチ位置に基づき、入力文字を判定する、手書き入力処理方法。
【0165】
(付記15)
前記入力候補は、前記位置情報によって示された前記入力枠内のタッチ位置に基づいて推定した前記入力文字の候補である入力候補文字と、該入力候補文字に対応する変換候補文字列のいずれか一方あるいは両方である、付記14に記載の手書き入力処理方法。
【0166】
(付記16)
画面を表示し、タッチがされるとタッチ位置を示す位置情報を出力するタッチパネル式ディスプレイを有する情報処理装置の手書き入力処理方法であって、
前記タッチパネル式ディスプレイに、文字列を手書き入力する方向である手書き方向に入力枠を並べて表示させ、
前記タッチパネル式ディスプレイの前記入力枠の内部または近傍に、前記位置情報によって示された該入力枠内のタッチ位置に基づいて推定した入力候補を表示させ、
前記位置情報によって示された前記タッチ位置が描く軌跡に応じて該入力候補の表示をスクロールさせ、
前記位置情報によって示された該入力枠内のタッチ位置に基づき、入力文字を判定する、手書き入力処理方法。
【0167】
(付記17)
複数の前記入力候補を前記手書き方向の直交方向に並べて表示し、該直交方向に軌跡を描くタッチ操作に基づいて、前記複数の入力候補の表示をスクロールさせる、付記16に記載の手書き入力処理方法。
【0168】
(付記18)
画面を表示し、タッチがされるとタッチ位置を示す位置情報を出力するタッチパネル式ディスプレイを有する情報処理装置の手書き入力処理方法であって、
前記タッチパネル式ディスプレイに、文字列を手書き入力する方向である手書き方向に入力枠を並べて表示させ、
前記位置情報によって示された該入力枠内のタッチ位置に基づき、入力文字を判定し、
前記入力枠と該入力枠で入力された前記入力文字との対応関係を保持し、
過去の入力枠にタッチ操作がされると、該過去の入力枠で入力された入力文字を新たな位置情報に基づいて更新する、手書き入力処理方法。
【符号の説明】
【0169】
10 情報処理装置
11、111、112 タッチパネル式ディスプレイ
12 処理部
13 姿勢検知部
151、152 筐体
21 文字入力エリア
22 変換候補表示エリア
23、231、232、233、234 入力枠
24 入力候補文字
25 確定ボタン
30 キー入力ボタン
40 切り替えボタン
41 辞書切替ボタン
50 プルダウン表示

【特許請求の範囲】
【請求項1】
画面を表示し、タッチがされるとタッチ位置を示す位置情報を出力するタッチパネル式ディスプレイと、
装置姿勢を検知して該装置姿勢を示す姿勢情報を出力する姿勢検知部と、
前記タッチパネル式ディスプレイに、前記姿勢情報に基づいて定まる、文字列を手書き入力する方向である手書き方向に、該手書き方向のタッチパネル式ディスプレイの幅に応じて定まる枠数の入力枠を並べて表示させ、前記位置情報によって示された該入力枠内のタッチ位置に基づき、入力文字を判定する処理部と、を有する情報処理装置。
【請求項2】
前記タッチパネル式ディスプレイが2つあり、
前記処理部は、前記2つのタッチパネル式ディスプレイが上下に配置された状態では、下側のタッチパネル式ディスプレイに前記入力枠を表示させ、前記2つのタッチパネル式ディスプレイが左右に配置された状態では、前記2つのタッチパネル式ディスプレイにまたがる下部に前記2つのタッチパネル式ディスプレイの幅に応じて定まる枠数の入力枠を並べて表示させるか、あるいは前記一方のタッチパネル式ディスプレイの下部に該一方のタッチパネル式ディスプレイの幅に応じて定まる枠数の入力枠を並べて表示させる、
請求項1に記載の情報処理装置。
【請求項3】
前記タッチパネル式ディスプレイが2つあり、
前記処理部は、前記2つのタッチパネル式ディスプレイが上下に配置された状態では、下側のタッチパネル式ディスプレイの下部に前記入力枠を表示させ、前記下側のタッチパネル式ディスプレイの上部に、文字をキー入力するためのキー入力ボタンを表示させる、
請求項1または2に記載の情報処理装置。
【請求項4】
前記処理部は、前記手書き方向に並んだ入力枠の列を回転させるように軌跡を描くタッチ操作がされると、前記タッチ操作の軌跡に応じて前記手書き方向および前記入力枠が並ぶ方向を変化させる、請求項1から3のいずれか一項に記載の情報処理装置。
【請求項5】
画面を表示し、タッチがされるとタッチ位置を示す位置情報を出力するタッチパネル式ディスプレイと、
前記タッチパネル式ディスプレイに、文字列を手書き入力する方向である手書き方向に入力枠を並べて表示させ、前記位置情報によって示された該入力枠内のタッチ位置に基づき、入力文字を判定する処理部と、を有し、
前記処理部は、前記タッチパネル式ディスプレイの前記入力枠の前記手書き方向における下流側の内部または近傍に、前記位置情報によって示された該入力枠内のタッチ位置に基づいて推定した入力候補を表示させる、情報処理装置。
【請求項6】
前記入力候補は、前記位置情報によって示された前記入力枠内のタッチ位置に基づいて推定した前記入力文字の候補である入力候補文字と、該入力候補文字に対応する変換候補文字列のいずれか一方あるいは両方である、請求項5に記載の情報処理装置。
【請求項7】
画面を表示し、タッチがされるとタッチ位置を示す位置情報を出力するタッチパネル式ディスプレイと、
前記タッチパネル式ディスプレイに、文字列を手書き入力する方向である手書き方向に入力枠を並べて表示させ、前記位置情報によって示された該入力枠内のタッチ位置に基づき、入力文字を判定する処理部と、を有し、
前記処理部は、前記タッチパネル式ディスプレイの前記入力枠の内部または近傍に、前記位置情報によって示された該入力枠内のタッチ位置に基づいて推定した入力候補を表示させ、前記位置情報によって示された前記タッチ位置が描く軌跡に応じて該入力候補の表示をスクロールさせる、情報処理装置。
【請求項8】
前記処理部は、複数の前記入力候補を前記手書き方向の直交方向に並べて表示させ、該直交方向に軌跡を描くタッチ操作に基づいて、前記複数の入力候補の表示をスクロールさせる、請求項7に記載の情報処理装置。
【請求項9】
画面を表示し、タッチがされるとタッチ位置を示す位置情報を出力するタッチパネル式ディスプレイと、
前記タッチパネル式ディスプレイに、文字列を手書き入力する方向である手書き方向に入力枠を並べて表示させ、前記位置情報によって示された該入力枠内のタッチ位置に基づき、入力文字を判定する処理部と、を有し、
前記処理部は、前記入力枠と該入力枠で入力された前記入力文字との対応関係を保持しておき、過去の入力枠にタッチ操作がされると、該過去の入力枠で入力された入力文字を新たな位置情報に基づいて更新する、情報処理装置。
【請求項10】
画面を表示し、タッチがされるとタッチ位置を示す位置情報を出力するタッチパネル式ディスプレイと、装置姿勢を検知して該装置姿勢を示す姿勢情報を出力する姿勢検知部と、を有する情報処理装置の手書き入力処理方法であって、
前記タッチパネル式ディスプレイに、前記姿勢情報に基づいて定まる、文字列を手書き入力する方向である手書き方向に、該手書き方向のタッチパネル式ディスプレイの幅に応じて定まる枠数の入力枠を並べて表示させ、
前記位置情報によって示された該入力枠内のタッチ位置に基づき、入力文字を判定する、手書き入力処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5A】
image rotate

【図5B】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10A】
image rotate

【図10B】
image rotate

【図11】
image rotate

【図12A】
image rotate

【図12B】
image rotate

【図12C】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17A】
image rotate

【図17B】
image rotate

【図17C】
image rotate

【図18A】
image rotate

【図18B】
image rotate

【図19】
image rotate


【公開番号】特開2012−108871(P2012−108871A)
【公開日】平成24年6月7日(2012.6.7)
【国際特許分類】
【出願番号】特願2011−151053(P2011−151053)
【出願日】平成23年7月7日(2011.7.7)
【出願人】(000004237)日本電気株式会社 (19,353)
【Fターム(参考)】