情報処理装置、情報処理方法およびプログラム
【課題】オンスクリーンキーボードにおけるキー入力を円滑にすることが可能な情報処理装置を提供する。
【解決手段】本発明の情報処理装置は、操作体によって操作される複数の入力領域が表示される表示部の表面を、操作体が押圧する押圧力を検出する検出部と、検出部による検出結果より、操作体が一の入力領域を所定の値以上の押圧力で押圧したと判定したときに、操作体が押圧している入力領域を拡大し、相隣接する入力領域同士が重複しないように入力領域のうち少なくとも１つを移動させる領域制御部と、を備える。入力領域が拡大され、かつ入力領域の重複が回避されることにより、ユーザは所望の入力領域を容易に選択することができ、他の入力領域を誤って選択するのを防止することができる。
【解決手段】本発明の情報処理装置は、操作体によって操作される複数の入力領域が表示される表示部の表面を、操作体が押圧する押圧力を検出する検出部と、検出部による検出結果より、操作体が一の入力領域を所定の値以上の押圧力で押圧したと判定したときに、操作体が押圧している入力領域を拡大し、相隣接する入力領域同士が重複しないように入力領域のうち少なくとも１つを移動させる領域制御部と、を備える。入力領域が拡大され、かつ入力領域の重複が回避されることにより、ユーザは所望の入力領域を容易に選択することができ、他の入力領域を誤って選択するのを防止することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法およびプログラムに関し、より詳細には、オンスクリーンキーボードを備える情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
タッチセンサは、直感的で使いやすいユーザインタフェースを実現可能であることから、従来から交通機関の発券機や銀行のＡＴＭ等に使用されていた。近年では、タッチセンサはユーザの動作を検出することも可能となり、従来のボタン操作にはない機器の操作を実現することができるようになった。これにより、近年、携帯電話機やゲーム機器などの携帯機器にタッチセンサが多く用いられるようになっている。
【０００３】
タッチパネルを搭載した機器には、物理的なキーボードではなく、画面上から文字等を入力するソフトウェアキーボードであるオンスクリーンキーボードを備えるものもある（例えば、特許文献１〜５）。オンスクリーンキーボードには、ユーザが容易に文字を入力することができる一方で、ユーザの指によってキーが遮蔽されるという問題があった。このような問題に対して、ユーザがフォーカスしようとしているキーを認識することができるようにする対策が取られている。例えば、上記特許文献では、ユーザによりフォーカスされているキーあるいはその周辺のキーのサイズを拡大したり、フォーカスされているキーを指で遮蔽される領域外に表示されるようにずらしたりする処理がなされている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２９７２９３号公報
【特許文献２】特開平０８−２３４９０９号公報
【特許文献３】特開平０５−１９７４７１号公報
【特許文献４】特開平０２−１３６９１４号公報
【特許文献５】特開２００８−９７５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、キーを拡大する処理では、キーの拡大によって相隣接するキー同士が遮蔽し合ってしまうという問題があった。また、キーを移動する処理では、ユーザがキーをタッチした状態で指を画面上で移動させ、表示を確認した後に指を画面上から離すことでキーを確定することができる。しかし、ユーザのタッチした位置がユーザの意図したキー上にある場合はそのままタップ操作を行うことでキーを確定することができるが、ユーザのタッチした位置がユーザの意図したキー上にない場合には、意図したキー上に指をずらさなければならない。一度画面上から指を離すと現在フォーカスされているキーの操作を確定してしまうことになり、そのキーの操作を取り消す操作を行わなければならないからである。このような打ち間違いが多発すると考えられ、ユーザの操作負荷が大きくなることは容易に想像される。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、オンスクリーンキーボードにおけるキー入力を円滑にすることが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、操作体によって操作される複数の入力領域が表示される表示部の表面を、操作体が押圧する押圧力を検出する検出部と、検出部による検出結果より、操作体が一の入力領域を所定の値以上の押圧力で押圧したと判定したときに、操作体が押圧している入力領域を拡大し、相隣接する入力領域同士が重複しないように入力領域のうち少なくとも１つを移動させる領域制御部と、を備える、情報処理装置が提供される。
【０００８】
本発明によれば、検出部により操作体が所定の値以上の押圧力で表示部を押圧していることが検知されると、領域制御部は、操作体が押圧している入力領域を拡大する。これとともに、相隣接する入力領域同士が重複しないように入力領域のうち少なくとも１つを移動させる。このように、入力領域を拡大させ、かつ入力領域同士の重複を回避させることにより、ユーザは所望の入力領域を容易に選択することができ、他の入力領域を誤って選択するのを防止することができる。
【０００９】
ここで、領域制御部は、操作体の押圧力に応じて変更後の入力領域の大きさを決定するサイズ決定部と、変更後の大きさにされた相隣接する入力領域同士が重複しない理想位置を算出する理想位置算出部と、を備えてもよい。
【００１０】
また、理想位置算出部は、変更後の入力領域の大きさにおいて他の入力領域との重複を回避させる重複回避領域を決定する重複回避領域決定部と、相隣接する入力領域の対を決定するペア決定部と、入力領域の対について、対応する重複回避領域同士が重複しない理想相対位置を決定する理想相対位置決定部と、対応する重複回避領域の現在の相対位置と理想相対位置との差を最小化して理想位置を算出する理想位置決定部と、を備えてもよい。
【００１１】
さらに、理想相対位置決定部は、対となる入力領域に対応する重複回避領域の現在位置が重複しない場合、重複回避領域の現在位置を理想相対位置とし、対となる入力領域に対応する重複回避領域の現在位置が重複する場合、重複回避領域の中心を結ぶ基準線方向に一の重複回避領域を他の重複回避領域と重複しないように移動させた位置を理想相対位置としてもよい。
【００１２】
また、サイズ決定部は、すべての入力領域が所定の範囲に納まるように入力領域の拡大率を最適化してもよい。
【００１３】
本発明の情報処理装置は、ユーザが入力する入力情報を予測する予測部をさらに備えてもよい。このとき、領域制御部は、予測部の予測した入力情報である予測入力情報に基づいて、入力領域の表示を変更する。
【００１４】
予測部は、入力領域から既に入力された既入力情報を解析して、予測入力情報を入力するために次に操作される入力領域を次操作領域として予測し、領域制御部は、予測された次操作領域の表示を変更してもよい。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、操作体によって操作される複数の入力領域が表示される表示部の表面に対する操作体の状態に応じて、操作体の面積を検出する検出部と、検出部による検出結果より、操作体の面積が所定の値以上であると判定したときに、操作体により指示されている一の入力領域を拡大し、相隣接する入力領域同士が重複しないように入力領域のうち少なくとも１つを移動させる領域制御部と、を備える、情報処理装置が提供される。
【００１６】
検出部は、表示部の表面に対する操作体の押圧力に基づいて、操作体の接触面積を検出してもよい。あるいは、検出部は、操作体と表示部の表面との近接距離に基づいて、近接距離の分布より特定される操作体の面積を検出してもよい。
【００１７】
さらに、上記課題を解決するために、本発明の別の観点によれば、操作体によって操作される複数の入力領域が表示される表示部の表面を、操作体が押圧する押圧力を検出部により検出するステップと、領域制御部により、検出部による検出結果に基づいて、操作体が一の入力領域を所定の値以上の押圧力で押圧したと判定したときに、操作体が押圧している入力領域を拡大し、相隣接する入力領域同士が重複しないように入力領域のうち少なくとも１つを移動させるステップと、を含む、情報処理方法が提供される。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、操作体によって操作される複数の入力領域が表示される表示部の表面に対する操作体の状態に応じて、操作体の面積を検出するステップと、検出部による検出結果より、操作体の面積が所定の値以上であると判定したときに、領域制御部によって、操作体により指示されている一の入力領域を拡大し、相隣接する入力領域同士が重複しないように入力領域のうち少なくとも１つを移動させるステップと、を含む、情報処理方法が提供される。
【００１９】
さらに、上記課題を解決するために、本発明の別の観点によれば、コンピュータに上記情報処理装置として機能させるプログラムが提供される。プログラムは、コンピュータが備える記憶装置に格納され、コンピュータが備えるＣＰＵに読み込まれて実行されることにより、そのコンピュータを上記情報処理装置として機能させることができる。また、プログラムが記録された、コンピュータによって読み取り可能な記録媒体も提供される。記録媒体は、例えば磁気ディスク、光ディスク、およびＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスクなどである。磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ、ＤＶＤ−Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）およびＢＤ（Ｂｌｕ−Ｒａｙ Ｄｉｓｃ（登録商標））などがあげられる。
【発明の効果】
【００２０】
以上説明したように本発明によれば、オンスクリーンキーボードにおけるキー入力を円滑にすることが可能な情報処理装置、情報処理方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施形態に係る情報処理装置の概略構成を示す平面図である。
【図２】同実施形態に係る情報処理装置の機能構成を示すブロック図である。
【図３】同実施形態に係る情報処理装置の表示処理方法を示すフローチャートである。
【図４】同実施形態に係るフォーカス表示処理を示すフローチャートである。
【図５】ステップＳ２１０、Ｓ２２０の処理が行われたときのディスプレイパネルの状態を示す説明図である。
【図６】ステップＳ２３０の処理が行われたときのディスプレイパネルの状態を示す説明図である。
【図７】理想相対位置の算出方法の一例を示す説明図である。
【図８】ステップＳ２４０の処理が行われたときのディスプレイパネル１１０の状態を示す説明図である。
【図９】同実施形態に係るフォーカス表示処理が実行された場合のキーのサイズおよび配置の一例を示す説明図である。
【図１０】同実施形態に係るフォーカス表示処理が実行された場合のキーのサイズおよび配置の他の例を示す説明図である。
【図１１】同実施形態に係る情報処理装置の一変形例である情報処理装置機能構成を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２３】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態（近接検出）
２．第２の実施形態（押圧検出）
３．第３の実施形態（面積検出）
【００２４】
＜１．第１の実施形態＞
まず、図１および図２に基づいて、本発明の第１の実施形態に係る情報処理装置１００の概略構成について説明する。なお、図１は、本実施形態に係る情報処理装置１００の概略構成を示す平面図である。図２は、本実施形態に係る情報処理装置１００の機能構成を示すブロック図である。
【００２５】
［情報処理装置の構成］
本実施形態に係る情報処理装置１００は、タッチパネルを搭載したディスプレイパネル１１０を備える機器であり、例えば銀行のＡＴＭや、ＰＤＡや携帯電話機、ＭＰ３プレーやなどの携帯機器などである。本実施形態に係るディスプレイパネル１１０は、表示部（図２の符号１１２）と、表示部への操作を検出する検出部（図２の符号１１４）とを備える。ディスプレイパネル１１０の表示部には、例えば図１のように、入力された文字が表示される入力表示部１０２と、アルファベット等の文字や記号を入力するための複数のキーからなるキー入力部１０４と、入力キーや決定キーなどの固定入力部１０６とが表示される。
【００２６】
このようなオンスクリーンキーボードを備える情報処理装置１００から文字を入力する場合、ユーザは、入力する文字に対応するキーの位置を指などで触れる操作を行う。このとき、そのキーの入力を検知する検出部によって表示部に対する所定の距離以上の指の近接あるいは接触が検知されると、文字が入力されたと判断されて入力表示部１０２に当該文字が表示される。以下、本実施形態に係る情報処理装置１００の機能構成について詳細に説明する。
【００２７】
本実施形態に係る情報処理装置１００は、図２に示すように、ディスプレイパネル１１０と、情報処理部１２０と、領域制御部１３０と、表示処理部１４０とから構成される。
【００２８】
ディスプレイパネル１１０は、ユーザの指、手などの操作体を検知することでユーザの操作を受ける機能部であって、上述したように、表示部１１２と、検出部１１４とからなる。表示部１１２は、例えば液晶ディスプレイであって、情報処理部１２０を介して表示処理部１４０により駆動制御される。表示部１１２には、図１に示すようなオンスクリーンキーボードや、当該キーボードから入力された文字等が表示される。検出部１１４は、表示部１１２に表示されたオンスクリーンキーボードへの入力操作を検知する。本実施形態に係るディスプレイパネル１１０は光量の変化（影の濃さ）を検出することで操作体の近接を検知する光学方式のタッチセンサを備える。このとき、検出部１１４は、受光部として赤色、緑色、青色の３色の画素とともに１組の画素セットとしてディスプレイパネル１１０に組み込んで設けることができる。検出部１１４は、受光した光を電気信号に変換し、情報処理部１２０へ送信する。
【００２９】
情報処理部１２０は、ディスプレイパネル１１０と領域制御部１３０および表示処理部１４０との間の授受される情報を処理するドライバである。情報処理部１２０は、検出部１１４から受信した電気信号に基づいて操作体の近接位置を算出し、近接位置情報として領域制御部１３０へ送信する。近接位置情報は、例えば表示部１１２の中心を原点とした３次元座標により表現される。そして、情報処理部１２０は、近接位置情報より、操作体が表示部１１２の表面から所定の距離より近接しているか否かを判定する。情報処理部１２０は、操作体が表示部１１２の表面から所定の距離より近接していると判定した場合には、領域制御部１３０に対して、キーのサイズを変更するフォーカス表示処理を実行を開始する指示を行う。一方、情報処理部１２０は、表示処理部１４０から表示部１１２に変更後の表示内容を表示させるための表示駆動情報を受信して、表示部１１２へ送信する。
【００３０】
領域制御部１３０は、操作体の近接位置情報に基づいて、表示部１１２に表示されるキーのサイズおよび表示位置を算出する。領域制御部１３０は、例えば、サイズ決定部１３２と、理想位置算出部１３４とからなる。
【００３１】
サイズ決定部１３２は、情報処理部１２０から受信した近接位置情報に基づいて、入力キーのサイズを決定する。本実施形態に係る情報処理装置１００では、操作体が近接している位置のキーおよびその周辺のキーのサイズを通常表示されている基本サイズよりも大きくし、操作体によってキーが遮蔽されないようにする。サイズ決定部１３２は、近接位置情報に基づいてキーのサイズを決定すると、変更後のキーのサイズを理想位置算出部１３４へ送信する。
【００３２】
理想位置算出部１３４は、サイズの変更されたキー同士の重複を回避するための処理を行う。理想位置算出部１３４は、変更後のキーのサイズにおいて、他のキーとの重複を回避する重複回避領域を決定する。また、理想位置算出部１３４は、相隣接するキーの対を決定し、対とされたキー同士が重複しない理想相対位置を決定する。さらに、理想位置算出部１３４は、現在の対とされたキー同士の相対位置と理想相対位置との差を最小化して、全体としてキーの重複が回避された理想位置を算出する。理想位置算出部１３４は、算出した理想位置の位置情報を表示処理部１４０へ送信する。理想位置の位置情報も、例えば表示部１１２の中心を原点とした３次元座標により表現することができる。
【００３３】
表示処理部１４０は、理想位置算出部１３４に算出された理想位置を表示するための表示駆動情報の処理を行う。表示処理部１４０は、理想位置を表示するための表示部１１２の表示駆動情報を生成して、情報処理部１２０へ送信する。なお、領域制御部１３０および表示処理部１４０は、情報処理装置１００を制御するアプリケーションプログラムとして構成することができる。
【００３４】
以上、本実施形態に係る情報処理装置１００の構成について説明した。情報処理装置１００は、ユーザによるキー入力を円滑にするため、入力する文字に対応するキーおよびその周辺のキーのサイズを拡大するとともに、拡大によるキーの重複が回避されるようにキーの表示位置を変更する。そこで、以下、図３および図４に基づいて、本実施形態に係る情報処理装置１００の表示処理方法について説明する。なお、図３は、本実施形態に係る情報処理装置１００の表示処理方法を示すフローチャートである。図４は、本実施形態に係るフォーカス表示処理を示すフローチャートである。
【００３５】
［キーの表示処理方法］
まず、図３に基づいて、本実施形態に係る表示処理方法について説明する。本実施形態に係る情報処理装置１００は、表示部１１２の表面に対するユーザの指や手などの操作体の状態として、表示部１１２の表面に対する操作体の近接を検出部１１４により検出することにより、キー入力部１０４の表示内容を変更する処理を開始する（ステップＳ１１０）。検出部１１４は、上述したように、受光量の変化に基づいて操作体の近接距離を検出することができる。操作体が表示部１１２に接近すると、その接近位置に設けられた検出部１１４が検出する光量は低下する。検出部１１４は、検出した光量を電気信号に変換して情報処理部１２０へ送信する。情報処理部１２０は、受信した電気信号から操作体によりフォーカスされているキーの位置（近接位置）を特定する。
【００３６】
次いで、情報処理部１２０により、表示部１１２に対する操作体の近接状態が判定される。情報処理部１２０により操作体が所定の距離より表示部１１２に近接していると判断されると、領域制御部１３０は、フォーカスされているキーのサイズを拡大し、かつキー同士が重複しないようにキー入力部１０４を表示するフォーカス表示処理を行う（ステップＳ１２０）。フォーカス表示処理を実行してキー入力部１０４の表示内容を変更することにより、ユーザによるキー入力を円滑することができ、キーの打ち間違いも防止することができる。なお、当該フォーカス表示処理の詳細については後述する。
【００３７】
フォーカス表示処理により変更後の表示位置が決定されると、キーを変更後の表示位置で表示させる（ステップＳ１３０）。表示処理部１４０は、キー入力部１０４のキーの表示位置を変更するために表示駆動情報を生成し、当該表示駆動情報に基づいて表示部１１２を駆動制御する。
【００３８】
このように、本実施形態に係る情報処理装置１００は、表示部１１２に対する操作体の近接または接触を検知すると、フォーカス表示処理を行ってフォーカスするキーを拡大表示し、かつキー同士の重複を回避する位置にキーを表示する。以下、図４に基づいて、本実施形態に係るフォーカス表示処理について詳細に説明する。
【００３９】
［フォーカス表示処理］
本実施形態に係るフォーカス表示処理は、図４に示すように、まず、変更後のキーのサイズを決定する（ステップＳ２１０）。サイズ決定部１３２は、操作体が近接する近接位置のキー（フォーカスキー）およびその周囲に位置するキーのサイズを通常の基本サイズより大きく設定する。例えば、フォーカスキーのサイズは基本サイズの約４倍のサイズとし、その周囲に位置するキーのサイズは基本サイズの約２倍のサイズとし、その他のキーのサイズは基本サイズとする。このように、サイズ決定部１３２は変更後のキーのサイズを決定する。ここで、フォーカスキーの周囲に位置するキーとは、例えば、フォーカスキーと相隣接するキーとすることができる。また、キーの形状は、変更前後で相似形となるように変更してもよく、変更前後で相違するようにしてもよい。なお、入力キーや決定キーなどの固定入力部１０６の位置およびサイズは変更されないものとする。
【００４０】
次いで、キー同士の重複を回避する重複回避領域を決定する（ステップＳ２２０）。重複回避領域は、なるべく他のキーとの重複を回避したい領域として各キーに対して設けられる。重複回避領域は、例えばステップＳ２１０にて決定された変更後のキーのサイズに基づいて決定され、例えば変更後のキーの領域を含む領域とすることができる。
【００４１】
ここで、ステップＳ２１０、Ｓ２２０の処理が行われたときのディスプレイパネル１１０の状態を図５に示す。図５に示すように、ディスプレイパネル１１０には、略円形のキー２００が複数配列されている。ここで、操作体であるユーザの指１０がディスプレイパネル１１０に近づけられ、アルファベット「Ｇ」に最も近接していることが検出されたとする。このとき、アルファベット「Ｇ」は基本サイズの約４倍のサイズに、その周囲のキー２００は基本サイズの約２倍のサイズに、その他のキー２００は基本サイズのままとする。
【００４２】
変更後のキー２００のサイズが決定されると、各キー２００の重複回避領域２１０が決定される。かかる例において、重複回避領域２１０は、変更後の略円形のキー２００の領域を含む最小の矩形として設定される。なお、重複回避領域２１０は、正方形や長方形などの矩形状であってもよく、円形であってもよい。
【００４３】
さらに、各キーの重複回避領域２１０が重複しないように表示するための重複回避処理が行われる。まず、キー同士の近接関係を抽出する（ステップＳ２３０）。ステップＳ２３０は、相隣接するキー同士の重複を回避する理想相対位置を算出するための前処理として行われる。本実施形態では、例えば重複回避領域２１０の中心を入力点群とするドロネー三角形分割を行い、キー同士の近接関係を抽出する。ドロネー三角形分割を行うことにより、近接するキー２００をより速く認識することができる。かかる処理によって定義されたドロネー辺２２０は、図６に示すようになる。
【００４４】
次いで、理想相対位置が算出される（ステップＳ２４０）。ステップＳ２４０では、ステップＳ２３０において算出されたドロネー辺２２０で結ばれた重複回避領域の対において、これらの重複がなくなる理想的な相対位置を算出する。ここで、図７に基づいて、理想相対位置の算出方法の一例を説明する。なお、図７は、理想相対位置の算出方法の一例を説明する説明図であって、説明の便宜上、一の重複回避領域２１０ａ、２１０ｂの対のみを示している。
【００４５】
図７の左図は、現在（表示領域変更前）の重複回避領域２１０ａ、２１０ｂを示す。ここで、重複回避領域２１０ａの中心位置をｖｉ、重複回避領域２１０ｂの中心位置をｖｊとする。重複回避領域２１０ａ、２１０ｂが重複する場合、各重複回避領域２１０ａ、２１０ｂの中心位置ｖｉ、ｖｊを結び、基準線２１５を決定する。次いで、図７の中央図に示すように、一方の重複回避領域（図７では、重複回避領域２１０ｂ）を基準線に２１５に沿って、他方の重複回避領域（図７では、重複回避領域２１０ａ）との重複がなくなるまで平行移動させる。これにより、相隣接するキー２００の相対の方向を変えることなくキー２００の位置を変更することができる。
【００４６】
そして、図７の右図に示す２つの重複回避領域２１０ａ、２１０ｂの重複がなくなったときの位置を理想相対位置とすることができる。なお、このとき、各重複回避領域２１０ａ、２１０ｂを最短距離で移動できるように、両者が重複する部分のｘｙ方向の長短も考慮するのがよい。一方、重複回避領域２１０ａ、２１０ｂが重複しない場合には、現在の位置を理想相対位置とすることができる。
【００４７】
理想相対位置が算出されると、現在の相対位置と理想相対位置との差を最小化する。この最小化処理には、例えば最小二乗法を用いることができる。このとき、画面の中心を算出される重複回避領域２１０全体の重心とすることで、表示領域を固定することができる。現在の相対位置と理想相対位置との差の最小化処理は、以下の数式１により行うことができる。
【００４８】
【数１】
【００４９】
ここで、ｖｉ、ｖｊは、対となる重複回避領域２１０の各中心位置であって、ドロネー辺の始点および終点に相当する。ｄｖｉｊは、ｖｊからみたｖｉの理想相対位置を示す。ｎはドロネー辺を構成する頂点数、すなわち重複回避領域数を示す。ｃは、全重複回避領域の重心であって、本実施形態では表示部１１２の画面の中心座標である。このように、数式１により、この算出値を最小化するｖｉの各位置を算出する。なお、本実施形態では、処理の高速化のため、数式１の処理を１回のみ行うが、完全にキー同士が重複しないようになるとは限らない。そこで、キーの重複を完全になくすため、当該処理を複数回繰り返して変更後の位置の精度を高めるようにしてもよい。
【００５０】
そして、各重複回避領域２１０を移動させる理想位置ｖｉｎｅｗが決定され、ディスプレイパネル１１０に表示される（ステップＳ２５０）。このように、本実施形態に係るフォーカス表示処理を行うことにより、指に近いキーは拡大されて表示されるが、拡大されるキーの周辺のキーはそれを避けるように平行移動しながら自身のキーのサイズも拡大させる。そして、さらに指から離れた位置のキーは、基本位置および基本サイズを保持しようとさせることができる。
【００５１】
ステップＳ２４０の処理が行われたときのディスプレイパネル１１０の状態を図８に示す。図８に示すように、数式１により算出された変更後のキーの重複回避領域の位置である理想位置２３０は、現在の重複回避領域２１０の位置と比較して、フォーカスされたキーは拡大され、かつ周囲のキーはその拡大されたキーから避けるような位置となる。
【００５２】
その後、図８に示す位置からユーザの指１０がさらにディスプレイパネル１１０に近づいて接触した場合、例えば図９に示すように、フォーカスされるアルファベット「Ｇ」のキーのサイズが、ユーザの指１０が接触する前と比較してさらに大きくなる。このとき、アルファベット「Ｇ」のキーの周囲のキーは、図８と比較して小さくなる。これにより、ユーザの入力するキーをより入力しやすくすることができ、他のキーを誤って入力するのを防止できる。
【００５３】
また、ユーザが指１０をディスプレイパネル１１０上に接触させたまま指先をアルファベット「Ｔ」のキーへ移動させるような動作をとったとする。このとき、情報処理装置１００は、ディスプレイパネル１１０の検出部１１４により操作体である指１０の方向性を検知して、入力する可能性の高いキーのサイズを大きくするようにすることもできる。例えば、図１０に示すように、指先の移動方向に位置するアルファベット「Ｔ」、「Ｆ」および「Ｙ」のキーのサイズを図９の状態と比較して大きくする。また、指先の移動方向とは反対側に位置するアルファベット「Ｂ」、「Ｖ」および「Ｈ」、また現在指１０が置かれているアルファベット「Ｇ」のキーのサイズを図９の状態と比較して小さくする。これにより、ユーザの入力する可能性の高いキーをより入力しやすくする一方で、入力される可能性の低いキーを誤って操作するのを防止できる。
【００５４】
以上、第１の実施形態に係る情報処理装置１００とそれによるキーの表示処理方法について説明した。本実施形態によれば、表示部１１２に対して操作体が近接または接触されたフォーカスキーおよびその周囲のキーの表示サイズを大きくし、かつキー同士の重複を回避するように移動させた位置に各キーを表示させる。これにより、ユーザによるキー入力を円滑に行うことができる。
【００５５】
なお、ステップＳ２１０において、キー入力部１０４全体の面積が変化しないように、個々のキーの拡大率を最適化するようにしてもよい。例えば、フォーカスキーから離れた位置にあるキーは基本サイズよりも小さくするなどして、キー入力部１０４のキー２００を所定の表示領域内に納まるように調整する。これにより、多点入力により拡大するキーが増えたとしても、キー入力部１０４全体をディスプレイパネル１１０の表示領域からはみ出さないようにすることも可能である。
【００５６】
［予測部を備える情報処理装置］
次に、図１１に基づいて、本実施形態に係る情報処理装置１００の変形例として、予測部を備える情報処理装置３００について説明する。本実施形態に係る情報処理装置３００は、第１の実施形態に係る情報処理装置１００と比較して、入力情報を予測する予測部３５０を備える点で相違する。以下、図１１に基づいて、情報処理装置３００の構成およびそれによる処理について、上記情報処理装置１００との相違点を主に説明する。なお、図１１は、本実施形態に係る情報処理装置３００の機能構成を示すブロック図である。
【００５７】
（情報処理装置の構成）
本実施形態に係る情報処理装置３００は、図１１に示すように、表示部３１２および検出部３１４を備えるディスプレイパネル３１０と、情報処理部３２０と、サイズ決定部３３２および理想位置算出部３３４を備える領域制御部３３０と、表示処理部３４０と、予測部３５０とを備える。ここで、ディスプレイパネル３１０、情報処理部３２０、領域制御部３３０および表示処理部３４０は、上記情報処理装置１００に係るディスプレイパネル１１０、情報処理部１２０、領域制御部１３０および表示処理部１４０と同様の機能、構成を有する。したがって、ここではその説明を省略する。
【００５８】
予測部３５０は、ユーザが入力する入力情報を予測する機能部である。予測部３５０は、操作体のディスプレイパネル３１０への近接あるいは接触が検出部３１４により検出されると、既に入力された文字から入力される単語を予測し、１または複数の候補文字列（予測入力情報）を自動生成する。そして、予測部３５０は、候補文字列の読み仮名を解析して、情報処理部３２０を介してその解析結果を領域制御部３３０へ送信する。
【００５９】
（予測変換機能への適用）
本実施形態に係る情報処理装置３００は、上述の予測部３５０によってユーザが入力しようとする文字から入力される単語を予測することができる。予測変換処理は、既存の手法を用いて行うことができる。予測部３５０は、予測した単語の読み仮名をさらに解析して、各候補文字列について次に打つべき文字を取得する。次に打つべき文字は、候補文字列を絞り込むための文字ともいえる。予測部３５０は、情報処理部３２０を介して、取得した文字を領域制御部３３０へ送信する。
【００６０】
次に打つべき文字の候補を受信した領域制御部３３０は、まず、サイズ決定部３３２により変更後のキーのサイズを決定する。例えば、次に打つべき文字のキーのサイズは基本サイズより大きくし、その他の文字のキーは基本サイズのままとする。次いで、キー同士の重複を回避する重複回避領域を決定する。重複回避領域は、サイズ決定部３３２により決定された変更後のキーのサイズに基づいて決定され、例えば変更後のキーの領域を含む領域とすることができる。
【００６１】
さらに、各キーの重複回避領域が重複しないように表示するため、キー同士の近接関係を抽出した後、理想相対位置が算出される。キー同士の近接関係から重複回避領域の対が決定されると、各対について、２つの重複回避領域が重複しないような位置となる理想相対位置を算出する。かかる処理は、上記情報処理装置１００による場合の処理と同様に行うことができる。理想相対位置が算出されると、例えば上記数式１を用いて、現在の相対位置と理想相対位置との差を最小化する。このようにして移動後の各キーの位置（理想位置）を算出することができる。
【００６２】
このように、予測変換機能に上述したフォーカス表示処理を適用することにより、候補文字列の次に打つべき文字のキーは拡大して表示され、その周囲のキーは基本サイズで表示されるようにすることができる。また、周囲のキーは、次に打つべきキーとの重複を避けるように表示される。これにより、ユーザが次に打つべきキーを打ちやすくすることができ、候補文字列の絞り込みを円滑にすることができる。
【００６３】
本実施形態に係る情報処理装置３００は、キーの拡大と重複回避を行うことによりキー入力を円滑にしたが、例えば、次に打つべきキーの色を他のキーの色と相違させることにより、次に打つべきキーをユーザに促すこともできる。また、情報処理装置３００は、予測された単語である１または複数の候補文字列をキーディスプレイパネル３１０の表示部３１２に表示して、ユーザがその候補文字列を選択できるようにすることもできる。
【００６４】
＜２．第２の実施形態＞
次に、本発明の第２の実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、第１の実施形態に係る情報処理装置１００と比較して、フォーカス中であるキーを、操作体が表示部１１２を押圧する力に基づいて判定し、処理を行う点で相違する。すなわち、情報処理装置１００の全体構成は図２と同様であるが、図２の検出部１１４は操作体が表示部１１２を押圧する押圧力を検出し、情報処理部１２０は検出された押圧力に基づいて、処理を行う。以下、本実施形態に係る情報処理装置とこれによる処理について、第１の実施形態に係る情報処理装置１００との相違点を主として説明する。なお、情報処理装置の全体構成および処理内容は第１の実施形態とほぼ同一であるため、図１〜図１１を用いて説明する。
【００６５】
［情報処理装置の構成］
本実施形態に係る情報処理装置１００は、図２に示すように、表示部１１２および検出部１１４を備えるディスプレイパネル１１０と、情報処理部１２０と、領域制御部１３０と、表示処理部１４０とから構成される。上述したように、第１の実施形態とは、ディスプレイパネル１１０の検出部１１４と、情報処理部１２０による処理が異なる。
【００６６】
検出部１１４は、指等の操作体が表示部１１２の表面を押圧している押圧力を検出する。かかる検出部１１４としては、例えば、抵抗膜方式のタッチパネルを用いることができる。抵抗膜方式のタッチパネルは、格子状に電極が配列された透明導電膜（ＩＴＯ；Ｉｎｄｉｕｍ Ｔｉｎ Ｏｘｉｄｅ）が設けられたフィルムやガラス等の部材を、透明導電膜同士が対向するようにスペーサを介して積層して構成されている。操作体でタッチパネルの表面を押圧したときに透明導電膜が接触することで電流分布が変化し、その押圧を検知することができる。また、押圧によって通電した電極位置に基づき、操作体が表示部１１２に接触している位置を特定することができる。検出部１１４は、操作体によって表示部１１２の表面が押圧されることにより検出した押圧力の値および押圧されている位置を、情報処理部１２０へ出力する。
【００６７】
情報処理部１２０は、検出部１１４から入力された押圧力およびその位置に基づいて、フォーカス表示処理の実行の要否を判定する。情報処理部１２０は、まず、操作体の接触位置情報を算出する。接触位置情報は、例えば、表示部１１２の中心を原点とした３次元座標により表現される。具体的には、接触位置情報は、検出部１１４により検出された表示部１１２の表面における操作体の位置（２次元座標）と、押圧力の値から算出される表示部１１２に対する操作体の押し込み深度とを用いて表される。押し込み深度は、操作体を表示部１１２に対して押し込む強さを表す値であり、その値が大きいほど表示部１１２を強く押し込んでいる状態を表す。情報処理部１２０は、この押し込み深度を表示部１１２の表面に対して垂直方向の大きさとして、３次元座標により表現される接触位置情報を算出する。
【００６８】
そして、情報処理部１２０は、押圧力が所定の値以上となったとき、すなわち押し込み深度が所定の値以上となったとき、フォーカス表示処理の実行を決定する。フォーカス表示処理を開始する条件としては、例えば、操作体が表示部１１２に接触したと判定したとき、とすることができる。この場合、所定の値は、操作体が表示部１１２に接触したときの押し込み深度とすればよい。フォーカス表示処理の実行が決定されると、情報処理部１２０は、表示部１１２における操作体の接触位置と押し込み深度とからなる接触位置情報を、領域制御部１３０へ出力する。一方、情報処理部１２０は、表示処理部１４０から表示部１１２に変更後の表示内容を表示させるための表示駆動情報を受信して、表示部１１２へ送信する。
【００６９】
領域制御部１３０は、操作体の接触位置情報に基づいて、表示部１１２に表示されるキーのサイズおよび表示位置を算出する機能部であり、サイズ決定部１３２と、理想位置算出部１３４とからなる。
【００７０】
サイズ決定部１３２は、情報処理部１２０から受信した接触位置情報に基づいて、入力キーのサイズを決定する。本実施形態に係る情報処理装置１００では、操作体が接触している位置のキーおよびその周辺のキーのサイズを通常表示されている基本サイズよりも大きくし、操作体によってキーが遮蔽されないようにする。サイズ決定部１３２は、接触位置情報に基づいてキーのサイズを決定すると、変更後のキーのサイズを理想位置算出部１３４へ送信する。
【００７１】
理想位置算出部１３４は、サイズの変更されたキー同士の重複を回避するための処理を行う。理想位置算出部１３４は、変更後のキーのサイズにおいて、他のキーとの重複を回避する重複回避領域を決定すし、相隣接するキーの対を決定し、対とされたキー同士が重複しない理想相対位置を決定する。さらに、理想位置算出部１３４は、現在の対とされたキー同士の相対位置と理想相対位置との差を最小化して、全体としてキーの重複が回避された理想位置を算出する。理想位置算出部１３４は、算出した理想位置の位置情報を表示処理部１４０へ送信する。理想位置の位置情報も、例えば表示部１１２の中心を原点とした３次元座標により表現することができる。
【００７２】
表示処理部１４０は、理想位置算出部１３４に算出された理想位置を表示するための表示駆動情報の処理を行う。表示処理部１４０は、理想位置を表示するための表示部１１２の表示駆動情報を生成して、情報処理部１２０へ送信する。なお、領域制御部１３０および表示処理部１４０は、情報処理装置１００を制御するアプリケーションプログラムとして構成することができる。
【００７３】
［キーの表示処理方法］
本実施形態に係る情報処理装置１００では、操作体の押圧力を検出する検出部１１４による検出結果に基づいて、表示部１１２に対する操作体の接触位置を特定し、当該接触位置を操作体によりフォーカスされているキーの位置とする。そして、ユーザによるキー入力を円滑にするため、情報処理装置１００は、入力する文字に対応するキーおよびその周辺のキーのサイズを拡大するとともに、拡大によるキーの重複が回避されるようにキーの表示位置を変更する。
【００７４】
図３に示すように、まず、情報処理装置１００は、表示部１１２の表面に対する操作体の状態として、表示部１１２に対する操作体の押圧状態を検出部１１４により検出し、キー入力部１０４の表示内容を変更する処理を開始する（ステップＳ１１０）。検出部１１４は、電極の電流分布の変化に基づいて、操作体の押圧状態を検出することができる。操作体が表示部１１２を押圧すると、電極の電流分布が変化する。検出部１１４は、かかる変化を監視し、検出結果を情報処理部１２０へ出力する。
【００７５】
情報処理部１２０は、かかる検出結果より、接触位置情報を算出し、操作体が表示部１１２に接触しているかどうかを判定する。かかる判定は、電極の電流分布から導出される押圧力の値、すなわち押し込み頻度が所定の値以上であるか否かによって行うことができる。情報処理部１２０は、押圧力が所定の値以上であるとき、操作体が表示部１１２の表面に接触していると判定する。そして、操作体が表示部１１２の表面に接触していると判定すると、情報処理部１２０は、表示部１１２に対する操作体の接触位置情報をフォーカスされているキーの位置として領域制御部１３０へ出力する。
【００７６】
次いで、情報処理部１２０により操作体が表示部１１２に接触していると判定されると、領域制御部１３０は、特定されたフォーカスされているキーのサイズを拡大し、かつキー同士が重複しないようにキー入力部１０４を表示するフォーカス表示処理を行う（ステップＳ１２０）。フォーカス表示処理を実行してキー入力部１０４の表示内容を変更することにより、ユーザによるキー入力を円滑することができ、キーの打ち間違いも防止することができる。なお、フォーカス表示処理は、第１の実施形態において説明した方法により行えばよい。
【００７７】
フォーカス表示処理により変更後の表示位置が決定されると、キーを変更後の表示位置で表示させる（ステップＳ１３０）。表示処理部１４０は、キー入力部１０４のキーの表示位置を変更するために表示駆動情報を生成し、当該表示駆動情報に基づいて表示部１１２を駆動制御する。このように、本実施形態に係る情報処理装置１００は、表示部１１２に対する操作体の接触を検知すると、フォーカス表示処理を行ってフォーカスするキーを拡大表示し、かつキー同士の重複を回避する位置にキーを表示することができる。
【００７８】
なお、本実施形態では、操作体が表示部１１２に接触したか否かに応じてフォーカス表示処理を実行の要否を判定したが、本発明はかかる例に限定されない。例えば、情報処理装置１００は、操作体の押し込み深度が、操作体が所定の押圧力で表示部１１２を押圧したときの値以上となったときに、フォーカス表示処理を実行するようにしてもよい。また、本実施形態においても、上記第１の実施形態と同様に、ユーザが入力する入力情報を予測する予測部（図１１参照）を備える構成とすることもできる。
【００７９】
以上、第２の実施形態に係る情報処理装置１００とそれによるキーの表示処理方法について説明した。本実施形態によれば、表示部１１２に対して操作体が接触したフォーカスキーおよびその周囲のキーの表示サイズを大きくし、かつキー同士の重複を回避するように移動させた位置に各キーを表示させる。これにより、ユーザによるキー入力を円滑に行うことができる。
【００８０】
＜３．第３の実施形態＞
次に、本発明の第３の実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、第１の実施形態に係る情報処理装置１００と比較して、フォーカス中であるキーを、操作体の面積に基づき判定し、処理を行う点で相違する。以下、本実施形態に係る情報処理装置とこれによる処理について、第１の実施形態に係る情報処理装置１００との相違点を主として説明する。なお、情報処理装置の全体構成および処理内容は第１の実施形態とほぼ同一であるため、図１〜図１１を用いて説明する。
【００８１】
［情報処理装置の構成］
本実施形態に係る情報処理装置１００は、図２に示すように、表示部１１２および検出部１１４を備えるディスプレイパネル１１０と、情報処理部１２０と、領域制御部１３０と、表示処理部１４０とから構成される。本実施形態に係る情報処理装置１００の検出部１１４は、表示部１１２の表面に対する操作体の状態に応じて、操作体の面積を検出するものである。
【００８２】
検出部１１４が検出する、表示部１１２の表面に対する操作体の状態とは、例えば、操作体と表示部１１２の表面との近接距離であったり、表示部１１２の表面に対する操作体の押圧力であったりする。近接距離や押圧力は、例えば、第１または第２の実施形態に示したデバイス等を用いて検出することができる。そして、検出部１１４は、近接距離や押圧力等の検出値から、表示部１１２の表面と操作体との状態とを、操作体の面積として表す。
【００８３】
例えば、検出部１１４が近接距離を検出可能である場合には、操作体が表示部１１２の表面に所定の距離より近づいている位置（点）の集合を、操作体の面積とすることができる。操作体のうち、表示部１１２の表面に近接している部分が多いほど、操作体の面積は大きくなる。また、例えば、検出部１１４が押圧力を検出可能である場合には、操作体が表示部１１２を押圧することで所定の値以上の押圧力を検出した位置（点）の集合を、操作体の面積とすることができる。この場合には、表示部１１２の表面と操作体との接触面積が大きく、かつ押圧力が大きいほど、操作体の面積は大きくなる。あるいは、例えば、検出部１１４により操作体が表示部１１２の表面に接触したことを検出可能な場合には、表示部１１２に対する操作体の接触部分を、操作体の面積とすることもできる。
【００８４】
操作体の面積は、表示部１１２における複数の検出位置のうち面積部分としてカウントする検出位置の数により表してもよく、各検出位置を補間して決定された領域の面積により表してもよい。検出部１１４は、表示部１１２の表面に対する操作体の状態から算出した操作体の面積を情報処理部１２０へ出力する。
【００８５】
情報処理部１２０は、検出部１１４から入力された操作体の面積に基づいて、表示部１１２における操作体の位置情報を算出し、フォーカス表示処理の実行の要否を判定する。操作体の位置情報は、表示部１１２の中心を原点とした３次元座標により表現できる。表示部１１２に対する操作体の位置（２次元座標）は、例えば、複数のキーのうち、操作体の面積内に最も多く含まれているキーの中心位置や、操作体の面積の重心位置により表すことができる。これらの位置は、既存の手法を用いて算出することができる。また、表示部１１２の表面に対して垂直方向における操作体の位置は、上記第１および第２の実施形態に記載の方法や、既存の手法を用いて算出することができる。
【００８６】
また、情報処理部１２０は、例えば、検出された操作体の面積が所定の大きさ以上となったとき、操作体が表示部１１２に近接している、あるいは接触している状態にあると推定し、フォーカス表示処理を実行すると判定する。そして、フォーカス表示処理の実行が決定されると、情報処理部１２０は、操作体の面積に基づいて算出した操作体の位置情報を領域制御部１３０へ出力する。一方、情報処理部１２０は、表示処理部１４０から表示部１１２に変更後の表示内容を表示させるための表示駆動情報を受信して、表示部１１２へ送信する。
【００８７】
領域制御部１３０は、操作体の位置情報に基づいて、表示部１１２に表示されるキーのサイズおよび表示位置を算出する機能部であり、サイズ決定部１３２と、理想位置算出部１３４とからなる。
【００８８】
サイズ決定部１３２は、情報処理部１２０から受信した位置情報に基づいて、入力キーのサイズを決定する。本実施形態に係る情報処理装置１００では、操作体が近接している、あるいは接触していると推定される位置のキーおよびその周辺のキーのサイズを通常表示されている基本サイズよりも大きくし、操作体によってキーが遮蔽されないようにする。サイズ決定部１３２は、位置情報に基づいてキーのサイズを決定すると、変更後のキーのサイズを理想位置算出部１３４へ送信する。
【００８９】
理想位置算出部１３４は、サイズの変更されたキー同士の重複を回避するための処理を行う。理想位置算出部１３４は、変更後のキーのサイズにおいて、他のキーとの重複を回避する重複回避領域を決定すし、相隣接するキーの対を決定し、対とされたキー同士が重複しない理想相対位置を決定する。さらに、理想位置算出部１３４は、現在の対とされたキー同士の相対位置と理想相対位置との差を最小化して、全体としてキーの重複が回避された理想位置を算出する。理想位置算出部１３４は、算出した理想位置の位置情報を表示処理部１４０へ送信する。理想位置の位置情報も、例えば表示部１１２の中心を原点とした３次元座標により表現することができる。
【００９０】
表示処理部１４０は、理想位置算出部１３４に算出された理想位置を表示するための表示駆動情報の処理を行う。表示処理部１４０は、理想位置を表示するための表示部１１２の表示駆動情報を生成して、情報処理部１２０へ送信する。なお、領域制御部１３０および表示処理部１４０は、情報処理装置１００を制御するアプリケーションプログラムとして構成することができる。
【００９１】
［キーの表示処理方法］
本実施形態に係る情報処理装置１００では、操作体の押圧力を検出する検出部１１４による検出結果に基づいて、表示部１１２に対する操作体の位置を特定し、当該操作体の位置を操作体によりフォーカスされているキーの位置とする。そして、ユーザによるキー入力を円滑にするため、情報処理装置１００は、入力する文字に対応するキーおよびその周辺のキーのサイズを拡大するとともに、拡大によるキーの重複が回避されるようにキーの表示位置を変更する。
【００９２】
図３に示すように、まず、情報処理装置１００は、表示部１１２の表面に対する操作体の状態を検出部１１４により検出し、キー入力部１０４の表示内容を変更する処理を開始する（ステップＳ１１０）。検出部１１４は、操作体の状態を、操作体の面積として検出することができる。操作体が表示部１１２に近接または接触すると、検出部１１４により検出される操作体の面積が変化する。検出部１１４は、かかる変化の状況を監視して、検出結果を情報処理部１２０へ出力する。
【００９３】
情報処理部１２０は、かかる検出結果より、操作体の位置情報を算出するとともに、操作体の面積が所定の値以上であるか否かを判定する。そして、操作体の面積が所定の値以上であると判定したとき、情報処理部１２０は、操作体が表示部１１２に対して近接または接触していると推定し、キーの配置を変更するフォーカス表示処理の実行を領域制御部１３０に指示する。ここで、情報処理部１２０は、表示部１１２に対する操作体の位置を特定し、フォーカスされているキーの位置として、領域制御部１３０へ通知する。
【００９４】
次いで、情報処理部１２０により操作体の面積が所定の値以上であると判定されると、領域制御部１３０は、情報処理部１２０により特定されたフォーカスされているキーのサイズを拡大し、かつキー同士が重複しないようにキー入力部１０４を表示するフォーカス表示処理を行う（ステップＳ１２０）。フォーカス表示処理を実行してキー入力部１０４の表示内容を変更することにより、ユーザによるキー入力を円滑することができ、キーの打ち間違いも防止することができる。なお、フォーカス表示処理は、第１の実施形態において説明した方法により行えばよい。
【００９５】
フォーカス表示処理により変更後の表示位置が決定されると、キーを変更後の表示位置で表示させる（ステップＳ１３０）。表示処理部１４０は、キー入力部１０４のキーの表示位置を変更するために表示駆動情報を生成し、当該表示駆動情報に基づいて表示部１１２を駆動制御する。このように、本実施形態に係る情報処理装置１００は、表示部１１２に対する操作体の接触を検知すると、フォーカス表示処理を行ってフォーカスするキーを拡大表示し、かつキー同士の重複を回避する位置にキーを表示することができる。
【００９６】
なお、本実施形態においても、上記第１の実施形態と同様に、ユーザが入力する入力情報を予測する予測部（図１１参照）を備える構成とすることもできる。
【００９７】
以上、第３の実施形態に係る情報処理装置１００とそれによるキーの表示処理方法について説明した。本実施形態によれば、操作体の面積より、表示部１１２に対して操作体が近接あるいは接触していると推定されるフォーカスキーおよびその周囲のキーの表示サイズを大きくし、かつキー同士の重複を回避するように移動させた位置に各キーを表示させる。これにより、ユーザによるキー入力を円滑に行うことができる。
【００９８】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００９９】
例えば、上記実施形態では、ディスプレイパネルは光学方式のタッチセンサを備えていたが、本発明はかかる例に限定されない。例えば、通常の静電容量方式のタッチセンサや抵抗膜方式のタッチセンサを用いることもできる。また、例えばパーソナルコンピュータにおいて、マウスを用いてマウスカーソルを操作してキー入力を行う場合にも、マウスカーソル位置から各キーへの距離を算出することにより、上記実施形態と同様にフォーカスするキーの拡大と重複回避処理を行うことができる。
【０１００】
また、上記実施形態では、オンスクリーンキーボードの表示処理について説明したが、本発明はかかる例に限定されない。例えば、ホーム画面におけるメニュー選択や、ミュージックプレーヤにおけるテキストやジャケット写真等イメージからの選曲、フォトビューアにおける写真の選択、動画プレーヤにおけるサムネイルの選択に適用することもできる。さらには、地図アプリやＷｅｂブラウザなどにおける特定個所の拡大表示とその周辺の重複回避処理に適用することもできる。
【０１０１】
さらに、上記実施形態では、表示部および検出部を備えるディスプレイパネルは、キーのサイズの拡大および重複回避処理を行う領域制御部および表示処理部とともに設けられていたが、本発明はかかる例に限定されない。ディスプレイパネルと領域制御部および表示処理部とを別体として設けることもできる。例えば、キーのサイズの拡大および重複回避処理をディスプレイパネルと接続されたコンピュータ等で行ってもよい。
【符号の説明】
【０１０２】
１００、３００ 情報処理装置
１１０、３１０ ディスプレイパネル
１１２、３１２ 表示部
１１４、３１４ 検出部
１２０、３２０ 情報処理部
１３０、３３０ 領域制御部
１３２、３３２ サイズ決定部
１３４、３３４ 理想位置算出部
１４０、３４０ 表示処理部
２００ キー
２１０、２１０ａ、２１０ｂ 重複回避領域
２２０ ドロネー辺
２３０ 理想位置
３５０ 予測部
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法およびプログラムに関し、より詳細には、オンスクリーンキーボードを備える情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
タッチセンサは、直感的で使いやすいユーザインタフェースを実現可能であることから、従来から交通機関の発券機や銀行のＡＴＭ等に使用されていた。近年では、タッチセンサはユーザの動作を検出することも可能となり、従来のボタン操作にはない機器の操作を実現することができるようになった。これにより、近年、携帯電話機やゲーム機器などの携帯機器にタッチセンサが多く用いられるようになっている。
【０００３】
タッチパネルを搭載した機器には、物理的なキーボードではなく、画面上から文字等を入力するソフトウェアキーボードであるオンスクリーンキーボードを備えるものもある（例えば、特許文献１〜５）。オンスクリーンキーボードには、ユーザが容易に文字を入力することができる一方で、ユーザの指によってキーが遮蔽されるという問題があった。このような問題に対して、ユーザがフォーカスしようとしているキーを認識することができるようにする対策が取られている。例えば、上記特許文献では、ユーザによりフォーカスされているキーあるいはその周辺のキーのサイズを拡大したり、フォーカスされているキーを指で遮蔽される領域外に表示されるようにずらしたりする処理がなされている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２９７２９３号公報
【特許文献２】特開平０８−２３４９０９号公報
【特許文献３】特開平０５−１９７４７１号公報
【特許文献４】特開平０２−１３６９１４号公報
【特許文献５】特開２００８−９７５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、キーを拡大する処理では、キーの拡大によって相隣接するキー同士が遮蔽し合ってしまうという問題があった。また、キーを移動する処理では、ユーザがキーをタッチした状態で指を画面上で移動させ、表示を確認した後に指を画面上から離すことでキーを確定することができる。しかし、ユーザのタッチした位置がユーザの意図したキー上にある場合はそのままタップ操作を行うことでキーを確定することができるが、ユーザのタッチした位置がユーザの意図したキー上にない場合には、意図したキー上に指をずらさなければならない。一度画面上から指を離すと現在フォーカスされているキーの操作を確定してしまうことになり、そのキーの操作を取り消す操作を行わなければならないからである。このような打ち間違いが多発すると考えられ、ユーザの操作負荷が大きくなることは容易に想像される。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、オンスクリーンキーボードにおけるキー入力を円滑にすることが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、操作体によって操作される複数の入力領域が表示される表示部の表面を、操作体が押圧する押圧力を検出する検出部と、検出部による検出結果より、操作体が一の入力領域を所定の値以上の押圧力で押圧したと判定したときに、操作体が押圧している入力領域を拡大し、相隣接する入力領域同士が重複しないように入力領域のうち少なくとも１つを移動させる領域制御部と、を備える、情報処理装置が提供される。
【０００８】
本発明によれば、検出部により操作体が所定の値以上の押圧力で表示部を押圧していることが検知されると、領域制御部は、操作体が押圧している入力領域を拡大する。これとともに、相隣接する入力領域同士が重複しないように入力領域のうち少なくとも１つを移動させる。このように、入力領域を拡大させ、かつ入力領域同士の重複を回避させることにより、ユーザは所望の入力領域を容易に選択することができ、他の入力領域を誤って選択するのを防止することができる。
【０００９】
ここで、領域制御部は、操作体の押圧力に応じて変更後の入力領域の大きさを決定するサイズ決定部と、変更後の大きさにされた相隣接する入力領域同士が重複しない理想位置を算出する理想位置算出部と、を備えてもよい。
【００１０】
また、理想位置算出部は、変更後の入力領域の大きさにおいて他の入力領域との重複を回避させる重複回避領域を決定する重複回避領域決定部と、相隣接する入力領域の対を決定するペア決定部と、入力領域の対について、対応する重複回避領域同士が重複しない理想相対位置を決定する理想相対位置決定部と、対応する重複回避領域の現在の相対位置と理想相対位置との差を最小化して理想位置を算出する理想位置決定部と、を備えてもよい。
【００１１】
さらに、理想相対位置決定部は、対となる入力領域に対応する重複回避領域の現在位置が重複しない場合、重複回避領域の現在位置を理想相対位置とし、対となる入力領域に対応する重複回避領域の現在位置が重複する場合、重複回避領域の中心を結ぶ基準線方向に一の重複回避領域を他の重複回避領域と重複しないように移動させた位置を理想相対位置としてもよい。
【００１２】
また、サイズ決定部は、すべての入力領域が所定の範囲に納まるように入力領域の拡大率を最適化してもよい。
【００１３】
本発明の情報処理装置は、ユーザが入力する入力情報を予測する予測部をさらに備えてもよい。このとき、領域制御部は、予測部の予測した入力情報である予測入力情報に基づいて、入力領域の表示を変更する。
【００１４】
予測部は、入力領域から既に入力された既入力情報を解析して、予測入力情報を入力するために次に操作される入力領域を次操作領域として予測し、領域制御部は、予測された次操作領域の表示を変更してもよい。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、操作体によって操作される複数の入力領域が表示される表示部の表面に対する操作体の状態に応じて、操作体の面積を検出する検出部と、検出部による検出結果より、操作体の面積が所定の値以上であると判定したときに、操作体により指示されている一の入力領域を拡大し、相隣接する入力領域同士が重複しないように入力領域のうち少なくとも１つを移動させる領域制御部と、を備える、情報処理装置が提供される。
【００１６】
検出部は、表示部の表面に対する操作体の押圧力に基づいて、操作体の接触面積を検出してもよい。あるいは、検出部は、操作体と表示部の表面との近接距離に基づいて、近接距離の分布より特定される操作体の面積を検出してもよい。
【００１７】
さらに、上記課題を解決するために、本発明の別の観点によれば、操作体によって操作される複数の入力領域が表示される表示部の表面を、操作体が押圧する押圧力を検出部により検出するステップと、領域制御部により、検出部による検出結果に基づいて、操作体が一の入力領域を所定の値以上の押圧力で押圧したと判定したときに、操作体が押圧している入力領域を拡大し、相隣接する入力領域同士が重複しないように入力領域のうち少なくとも１つを移動させるステップと、を含む、情報処理方法が提供される。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、操作体によって操作される複数の入力領域が表示される表示部の表面に対する操作体の状態に応じて、操作体の面積を検出するステップと、検出部による検出結果より、操作体の面積が所定の値以上であると判定したときに、領域制御部によって、操作体により指示されている一の入力領域を拡大し、相隣接する入力領域同士が重複しないように入力領域のうち少なくとも１つを移動させるステップと、を含む、情報処理方法が提供される。
【００１９】
さらに、上記課題を解決するために、本発明の別の観点によれば、コンピュータに上記情報処理装置として機能させるプログラムが提供される。プログラムは、コンピュータが備える記憶装置に格納され、コンピュータが備えるＣＰＵに読み込まれて実行されることにより、そのコンピュータを上記情報処理装置として機能させることができる。また、プログラムが記録された、コンピュータによって読み取り可能な記録媒体も提供される。記録媒体は、例えば磁気ディスク、光ディスク、およびＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスクなどである。磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ、ＤＶＤ−Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）およびＢＤ（Ｂｌｕ−Ｒａｙ Ｄｉｓｃ（登録商標））などがあげられる。
【発明の効果】
【００２０】
以上説明したように本発明によれば、オンスクリーンキーボードにおけるキー入力を円滑にすることが可能な情報処理装置、情報処理方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施形態に係る情報処理装置の概略構成を示す平面図である。
【図２】同実施形態に係る情報処理装置の機能構成を示すブロック図である。
【図３】同実施形態に係る情報処理装置の表示処理方法を示すフローチャートである。
【図４】同実施形態に係るフォーカス表示処理を示すフローチャートである。
【図５】ステップＳ２１０、Ｓ２２０の処理が行われたときのディスプレイパネルの状態を示す説明図である。
【図６】ステップＳ２３０の処理が行われたときのディスプレイパネルの状態を示す説明図である。
【図７】理想相対位置の算出方法の一例を示す説明図である。
【図８】ステップＳ２４０の処理が行われたときのディスプレイパネル１１０の状態を示す説明図である。
【図９】同実施形態に係るフォーカス表示処理が実行された場合のキーのサイズおよび配置の一例を示す説明図である。
【図１０】同実施形態に係るフォーカス表示処理が実行された場合のキーのサイズおよび配置の他の例を示す説明図である。
【図１１】同実施形態に係る情報処理装置の一変形例である情報処理装置機能構成を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２３】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態（近接検出）
２．第２の実施形態（押圧検出）
３．第３の実施形態（面積検出）
【００２４】
＜１．第１の実施形態＞
まず、図１および図２に基づいて、本発明の第１の実施形態に係る情報処理装置１００の概略構成について説明する。なお、図１は、本実施形態に係る情報処理装置１００の概略構成を示す平面図である。図２は、本実施形態に係る情報処理装置１００の機能構成を示すブロック図である。
【００２５】
［情報処理装置の構成］
本実施形態に係る情報処理装置１００は、タッチパネルを搭載したディスプレイパネル１１０を備える機器であり、例えば銀行のＡＴＭや、ＰＤＡや携帯電話機、ＭＰ３プレーやなどの携帯機器などである。本実施形態に係るディスプレイパネル１１０は、表示部（図２の符号１１２）と、表示部への操作を検出する検出部（図２の符号１１４）とを備える。ディスプレイパネル１１０の表示部には、例えば図１のように、入力された文字が表示される入力表示部１０２と、アルファベット等の文字や記号を入力するための複数のキーからなるキー入力部１０４と、入力キーや決定キーなどの固定入力部１０６とが表示される。
【００２６】
このようなオンスクリーンキーボードを備える情報処理装置１００から文字を入力する場合、ユーザは、入力する文字に対応するキーの位置を指などで触れる操作を行う。このとき、そのキーの入力を検知する検出部によって表示部に対する所定の距離以上の指の近接あるいは接触が検知されると、文字が入力されたと判断されて入力表示部１０２に当該文字が表示される。以下、本実施形態に係る情報処理装置１００の機能構成について詳細に説明する。
【００２７】
本実施形態に係る情報処理装置１００は、図２に示すように、ディスプレイパネル１１０と、情報処理部１２０と、領域制御部１３０と、表示処理部１４０とから構成される。
【００２８】
ディスプレイパネル１１０は、ユーザの指、手などの操作体を検知することでユーザの操作を受ける機能部であって、上述したように、表示部１１２と、検出部１１４とからなる。表示部１１２は、例えば液晶ディスプレイであって、情報処理部１２０を介して表示処理部１４０により駆動制御される。表示部１１２には、図１に示すようなオンスクリーンキーボードや、当該キーボードから入力された文字等が表示される。検出部１１４は、表示部１１２に表示されたオンスクリーンキーボードへの入力操作を検知する。本実施形態に係るディスプレイパネル１１０は光量の変化（影の濃さ）を検出することで操作体の近接を検知する光学方式のタッチセンサを備える。このとき、検出部１１４は、受光部として赤色、緑色、青色の３色の画素とともに１組の画素セットとしてディスプレイパネル１１０に組み込んで設けることができる。検出部１１４は、受光した光を電気信号に変換し、情報処理部１２０へ送信する。
【００２９】
情報処理部１２０は、ディスプレイパネル１１０と領域制御部１３０および表示処理部１４０との間の授受される情報を処理するドライバである。情報処理部１２０は、検出部１１４から受信した電気信号に基づいて操作体の近接位置を算出し、近接位置情報として領域制御部１３０へ送信する。近接位置情報は、例えば表示部１１２の中心を原点とした３次元座標により表現される。そして、情報処理部１２０は、近接位置情報より、操作体が表示部１１２の表面から所定の距離より近接しているか否かを判定する。情報処理部１２０は、操作体が表示部１１２の表面から所定の距離より近接していると判定した場合には、領域制御部１３０に対して、キーのサイズを変更するフォーカス表示処理を実行を開始する指示を行う。一方、情報処理部１２０は、表示処理部１４０から表示部１１２に変更後の表示内容を表示させるための表示駆動情報を受信して、表示部１１２へ送信する。
【００３０】
領域制御部１３０は、操作体の近接位置情報に基づいて、表示部１１２に表示されるキーのサイズおよび表示位置を算出する。領域制御部１３０は、例えば、サイズ決定部１３２と、理想位置算出部１３４とからなる。
【００３１】
サイズ決定部１３２は、情報処理部１２０から受信した近接位置情報に基づいて、入力キーのサイズを決定する。本実施形態に係る情報処理装置１００では、操作体が近接している位置のキーおよびその周辺のキーのサイズを通常表示されている基本サイズよりも大きくし、操作体によってキーが遮蔽されないようにする。サイズ決定部１３２は、近接位置情報に基づいてキーのサイズを決定すると、変更後のキーのサイズを理想位置算出部１３４へ送信する。
【００３２】
理想位置算出部１３４は、サイズの変更されたキー同士の重複を回避するための処理を行う。理想位置算出部１３４は、変更後のキーのサイズにおいて、他のキーとの重複を回避する重複回避領域を決定する。また、理想位置算出部１３４は、相隣接するキーの対を決定し、対とされたキー同士が重複しない理想相対位置を決定する。さらに、理想位置算出部１３４は、現在の対とされたキー同士の相対位置と理想相対位置との差を最小化して、全体としてキーの重複が回避された理想位置を算出する。理想位置算出部１３４は、算出した理想位置の位置情報を表示処理部１４０へ送信する。理想位置の位置情報も、例えば表示部１１２の中心を原点とした３次元座標により表現することができる。
【００３３】
表示処理部１４０は、理想位置算出部１３４に算出された理想位置を表示するための表示駆動情報の処理を行う。表示処理部１４０は、理想位置を表示するための表示部１１２の表示駆動情報を生成して、情報処理部１２０へ送信する。なお、領域制御部１３０および表示処理部１４０は、情報処理装置１００を制御するアプリケーションプログラムとして構成することができる。
【００３４】
以上、本実施形態に係る情報処理装置１００の構成について説明した。情報処理装置１００は、ユーザによるキー入力を円滑にするため、入力する文字に対応するキーおよびその周辺のキーのサイズを拡大するとともに、拡大によるキーの重複が回避されるようにキーの表示位置を変更する。そこで、以下、図３および図４に基づいて、本実施形態に係る情報処理装置１００の表示処理方法について説明する。なお、図３は、本実施形態に係る情報処理装置１００の表示処理方法を示すフローチャートである。図４は、本実施形態に係るフォーカス表示処理を示すフローチャートである。
【００３５】
［キーの表示処理方法］
まず、図３に基づいて、本実施形態に係る表示処理方法について説明する。本実施形態に係る情報処理装置１００は、表示部１１２の表面に対するユーザの指や手などの操作体の状態として、表示部１１２の表面に対する操作体の近接を検出部１１４により検出することにより、キー入力部１０４の表示内容を変更する処理を開始する（ステップＳ１１０）。検出部１１４は、上述したように、受光量の変化に基づいて操作体の近接距離を検出することができる。操作体が表示部１１２に接近すると、その接近位置に設けられた検出部１１４が検出する光量は低下する。検出部１１４は、検出した光量を電気信号に変換して情報処理部１２０へ送信する。情報処理部１２０は、受信した電気信号から操作体によりフォーカスされているキーの位置（近接位置）を特定する。
【００３６】
次いで、情報処理部１２０により、表示部１１２に対する操作体の近接状態が判定される。情報処理部１２０により操作体が所定の距離より表示部１１２に近接していると判断されると、領域制御部１３０は、フォーカスされているキーのサイズを拡大し、かつキー同士が重複しないようにキー入力部１０４を表示するフォーカス表示処理を行う（ステップＳ１２０）。フォーカス表示処理を実行してキー入力部１０４の表示内容を変更することにより、ユーザによるキー入力を円滑することができ、キーの打ち間違いも防止することができる。なお、当該フォーカス表示処理の詳細については後述する。
【００３７】
フォーカス表示処理により変更後の表示位置が決定されると、キーを変更後の表示位置で表示させる（ステップＳ１３０）。表示処理部１４０は、キー入力部１０４のキーの表示位置を変更するために表示駆動情報を生成し、当該表示駆動情報に基づいて表示部１１２を駆動制御する。
【００３８】
このように、本実施形態に係る情報処理装置１００は、表示部１１２に対する操作体の近接または接触を検知すると、フォーカス表示処理を行ってフォーカスするキーを拡大表示し、かつキー同士の重複を回避する位置にキーを表示する。以下、図４に基づいて、本実施形態に係るフォーカス表示処理について詳細に説明する。
【００３９】
［フォーカス表示処理］
本実施形態に係るフォーカス表示処理は、図４に示すように、まず、変更後のキーのサイズを決定する（ステップＳ２１０）。サイズ決定部１３２は、操作体が近接する近接位置のキー（フォーカスキー）およびその周囲に位置するキーのサイズを通常の基本サイズより大きく設定する。例えば、フォーカスキーのサイズは基本サイズの約４倍のサイズとし、その周囲に位置するキーのサイズは基本サイズの約２倍のサイズとし、その他のキーのサイズは基本サイズとする。このように、サイズ決定部１３２は変更後のキーのサイズを決定する。ここで、フォーカスキーの周囲に位置するキーとは、例えば、フォーカスキーと相隣接するキーとすることができる。また、キーの形状は、変更前後で相似形となるように変更してもよく、変更前後で相違するようにしてもよい。なお、入力キーや決定キーなどの固定入力部１０６の位置およびサイズは変更されないものとする。
【００４０】
次いで、キー同士の重複を回避する重複回避領域を決定する（ステップＳ２２０）。重複回避領域は、なるべく他のキーとの重複を回避したい領域として各キーに対して設けられる。重複回避領域は、例えばステップＳ２１０にて決定された変更後のキーのサイズに基づいて決定され、例えば変更後のキーの領域を含む領域とすることができる。
【００４１】
ここで、ステップＳ２１０、Ｓ２２０の処理が行われたときのディスプレイパネル１１０の状態を図５に示す。図５に示すように、ディスプレイパネル１１０には、略円形のキー２００が複数配列されている。ここで、操作体であるユーザの指１０がディスプレイパネル１１０に近づけられ、アルファベット「Ｇ」に最も近接していることが検出されたとする。このとき、アルファベット「Ｇ」は基本サイズの約４倍のサイズに、その周囲のキー２００は基本サイズの約２倍のサイズに、その他のキー２００は基本サイズのままとする。
【００４２】
変更後のキー２００のサイズが決定されると、各キー２００の重複回避領域２１０が決定される。かかる例において、重複回避領域２１０は、変更後の略円形のキー２００の領域を含む最小の矩形として設定される。なお、重複回避領域２１０は、正方形や長方形などの矩形状であってもよく、円形であってもよい。
【００４３】
さらに、各キーの重複回避領域２１０が重複しないように表示するための重複回避処理が行われる。まず、キー同士の近接関係を抽出する（ステップＳ２３０）。ステップＳ２３０は、相隣接するキー同士の重複を回避する理想相対位置を算出するための前処理として行われる。本実施形態では、例えば重複回避領域２１０の中心を入力点群とするドロネー三角形分割を行い、キー同士の近接関係を抽出する。ドロネー三角形分割を行うことにより、近接するキー２００をより速く認識することができる。かかる処理によって定義されたドロネー辺２２０は、図６に示すようになる。
【００４４】
次いで、理想相対位置が算出される（ステップＳ２４０）。ステップＳ２４０では、ステップＳ２３０において算出されたドロネー辺２２０で結ばれた重複回避領域の対において、これらの重複がなくなる理想的な相対位置を算出する。ここで、図７に基づいて、理想相対位置の算出方法の一例を説明する。なお、図７は、理想相対位置の算出方法の一例を説明する説明図であって、説明の便宜上、一の重複回避領域２１０ａ、２１０ｂの対のみを示している。
【００４５】
図７の左図は、現在（表示領域変更前）の重複回避領域２１０ａ、２１０ｂを示す。ここで、重複回避領域２１０ａの中心位置をｖｉ、重複回避領域２１０ｂの中心位置をｖｊとする。重複回避領域２１０ａ、２１０ｂが重複する場合、各重複回避領域２１０ａ、２１０ｂの中心位置ｖｉ、ｖｊを結び、基準線２１５を決定する。次いで、図７の中央図に示すように、一方の重複回避領域（図７では、重複回避領域２１０ｂ）を基準線に２１５に沿って、他方の重複回避領域（図７では、重複回避領域２１０ａ）との重複がなくなるまで平行移動させる。これにより、相隣接するキー２００の相対の方向を変えることなくキー２００の位置を変更することができる。
【００４６】
そして、図７の右図に示す２つの重複回避領域２１０ａ、２１０ｂの重複がなくなったときの位置を理想相対位置とすることができる。なお、このとき、各重複回避領域２１０ａ、２１０ｂを最短距離で移動できるように、両者が重複する部分のｘｙ方向の長短も考慮するのがよい。一方、重複回避領域２１０ａ、２１０ｂが重複しない場合には、現在の位置を理想相対位置とすることができる。
【００４７】
理想相対位置が算出されると、現在の相対位置と理想相対位置との差を最小化する。この最小化処理には、例えば最小二乗法を用いることができる。このとき、画面の中心を算出される重複回避領域２１０全体の重心とすることで、表示領域を固定することができる。現在の相対位置と理想相対位置との差の最小化処理は、以下の数式１により行うことができる。
【００４８】
【数１】
【００４９】
ここで、ｖｉ、ｖｊは、対となる重複回避領域２１０の各中心位置であって、ドロネー辺の始点および終点に相当する。ｄｖｉｊは、ｖｊからみたｖｉの理想相対位置を示す。ｎはドロネー辺を構成する頂点数、すなわち重複回避領域数を示す。ｃは、全重複回避領域の重心であって、本実施形態では表示部１１２の画面の中心座標である。このように、数式１により、この算出値を最小化するｖｉの各位置を算出する。なお、本実施形態では、処理の高速化のため、数式１の処理を１回のみ行うが、完全にキー同士が重複しないようになるとは限らない。そこで、キーの重複を完全になくすため、当該処理を複数回繰り返して変更後の位置の精度を高めるようにしてもよい。
【００５０】
そして、各重複回避領域２１０を移動させる理想位置ｖｉｎｅｗが決定され、ディスプレイパネル１１０に表示される（ステップＳ２５０）。このように、本実施形態に係るフォーカス表示処理を行うことにより、指に近いキーは拡大されて表示されるが、拡大されるキーの周辺のキーはそれを避けるように平行移動しながら自身のキーのサイズも拡大させる。そして、さらに指から離れた位置のキーは、基本位置および基本サイズを保持しようとさせることができる。
【００５１】
ステップＳ２４０の処理が行われたときのディスプレイパネル１１０の状態を図８に示す。図８に示すように、数式１により算出された変更後のキーの重複回避領域の位置である理想位置２３０は、現在の重複回避領域２１０の位置と比較して、フォーカスされたキーは拡大され、かつ周囲のキーはその拡大されたキーから避けるような位置となる。
【００５２】
その後、図８に示す位置からユーザの指１０がさらにディスプレイパネル１１０に近づいて接触した場合、例えば図９に示すように、フォーカスされるアルファベット「Ｇ」のキーのサイズが、ユーザの指１０が接触する前と比較してさらに大きくなる。このとき、アルファベット「Ｇ」のキーの周囲のキーは、図８と比較して小さくなる。これにより、ユーザの入力するキーをより入力しやすくすることができ、他のキーを誤って入力するのを防止できる。
【００５３】
また、ユーザが指１０をディスプレイパネル１１０上に接触させたまま指先をアルファベット「Ｔ」のキーへ移動させるような動作をとったとする。このとき、情報処理装置１００は、ディスプレイパネル１１０の検出部１１４により操作体である指１０の方向性を検知して、入力する可能性の高いキーのサイズを大きくするようにすることもできる。例えば、図１０に示すように、指先の移動方向に位置するアルファベット「Ｔ」、「Ｆ」および「Ｙ」のキーのサイズを図９の状態と比較して大きくする。また、指先の移動方向とは反対側に位置するアルファベット「Ｂ」、「Ｖ」および「Ｈ」、また現在指１０が置かれているアルファベット「Ｇ」のキーのサイズを図９の状態と比較して小さくする。これにより、ユーザの入力する可能性の高いキーをより入力しやすくする一方で、入力される可能性の低いキーを誤って操作するのを防止できる。
【００５４】
以上、第１の実施形態に係る情報処理装置１００とそれによるキーの表示処理方法について説明した。本実施形態によれば、表示部１１２に対して操作体が近接または接触されたフォーカスキーおよびその周囲のキーの表示サイズを大きくし、かつキー同士の重複を回避するように移動させた位置に各キーを表示させる。これにより、ユーザによるキー入力を円滑に行うことができる。
【００５５】
なお、ステップＳ２１０において、キー入力部１０４全体の面積が変化しないように、個々のキーの拡大率を最適化するようにしてもよい。例えば、フォーカスキーから離れた位置にあるキーは基本サイズよりも小さくするなどして、キー入力部１０４のキー２００を所定の表示領域内に納まるように調整する。これにより、多点入力により拡大するキーが増えたとしても、キー入力部１０４全体をディスプレイパネル１１０の表示領域からはみ出さないようにすることも可能である。
【００５６】
［予測部を備える情報処理装置］
次に、図１１に基づいて、本実施形態に係る情報処理装置１００の変形例として、予測部を備える情報処理装置３００について説明する。本実施形態に係る情報処理装置３００は、第１の実施形態に係る情報処理装置１００と比較して、入力情報を予測する予測部３５０を備える点で相違する。以下、図１１に基づいて、情報処理装置３００の構成およびそれによる処理について、上記情報処理装置１００との相違点を主に説明する。なお、図１１は、本実施形態に係る情報処理装置３００の機能構成を示すブロック図である。
【００５７】
（情報処理装置の構成）
本実施形態に係る情報処理装置３００は、図１１に示すように、表示部３１２および検出部３１４を備えるディスプレイパネル３１０と、情報処理部３２０と、サイズ決定部３３２および理想位置算出部３３４を備える領域制御部３３０と、表示処理部３４０と、予測部３５０とを備える。ここで、ディスプレイパネル３１０、情報処理部３２０、領域制御部３３０および表示処理部３４０は、上記情報処理装置１００に係るディスプレイパネル１１０、情報処理部１２０、領域制御部１３０および表示処理部１４０と同様の機能、構成を有する。したがって、ここではその説明を省略する。
【００５８】
予測部３５０は、ユーザが入力する入力情報を予測する機能部である。予測部３５０は、操作体のディスプレイパネル３１０への近接あるいは接触が検出部３１４により検出されると、既に入力された文字から入力される単語を予測し、１または複数の候補文字列（予測入力情報）を自動生成する。そして、予測部３５０は、候補文字列の読み仮名を解析して、情報処理部３２０を介してその解析結果を領域制御部３３０へ送信する。
【００５９】
（予測変換機能への適用）
本実施形態に係る情報処理装置３００は、上述の予測部３５０によってユーザが入力しようとする文字から入力される単語を予測することができる。予測変換処理は、既存の手法を用いて行うことができる。予測部３５０は、予測した単語の読み仮名をさらに解析して、各候補文字列について次に打つべき文字を取得する。次に打つべき文字は、候補文字列を絞り込むための文字ともいえる。予測部３５０は、情報処理部３２０を介して、取得した文字を領域制御部３３０へ送信する。
【００６０】
次に打つべき文字の候補を受信した領域制御部３３０は、まず、サイズ決定部３３２により変更後のキーのサイズを決定する。例えば、次に打つべき文字のキーのサイズは基本サイズより大きくし、その他の文字のキーは基本サイズのままとする。次いで、キー同士の重複を回避する重複回避領域を決定する。重複回避領域は、サイズ決定部３３２により決定された変更後のキーのサイズに基づいて決定され、例えば変更後のキーの領域を含む領域とすることができる。
【００６１】
さらに、各キーの重複回避領域が重複しないように表示するため、キー同士の近接関係を抽出した後、理想相対位置が算出される。キー同士の近接関係から重複回避領域の対が決定されると、各対について、２つの重複回避領域が重複しないような位置となる理想相対位置を算出する。かかる処理は、上記情報処理装置１００による場合の処理と同様に行うことができる。理想相対位置が算出されると、例えば上記数式１を用いて、現在の相対位置と理想相対位置との差を最小化する。このようにして移動後の各キーの位置（理想位置）を算出することができる。
【００６２】
このように、予測変換機能に上述したフォーカス表示処理を適用することにより、候補文字列の次に打つべき文字のキーは拡大して表示され、その周囲のキーは基本サイズで表示されるようにすることができる。また、周囲のキーは、次に打つべきキーとの重複を避けるように表示される。これにより、ユーザが次に打つべきキーを打ちやすくすることができ、候補文字列の絞り込みを円滑にすることができる。
【００６３】
本実施形態に係る情報処理装置３００は、キーの拡大と重複回避を行うことによりキー入力を円滑にしたが、例えば、次に打つべきキーの色を他のキーの色と相違させることにより、次に打つべきキーをユーザに促すこともできる。また、情報処理装置３００は、予測された単語である１または複数の候補文字列をキーディスプレイパネル３１０の表示部３１２に表示して、ユーザがその候補文字列を選択できるようにすることもできる。
【００６４】
＜２．第２の実施形態＞
次に、本発明の第２の実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、第１の実施形態に係る情報処理装置１００と比較して、フォーカス中であるキーを、操作体が表示部１１２を押圧する力に基づいて判定し、処理を行う点で相違する。すなわち、情報処理装置１００の全体構成は図２と同様であるが、図２の検出部１１４は操作体が表示部１１２を押圧する押圧力を検出し、情報処理部１２０は検出された押圧力に基づいて、処理を行う。以下、本実施形態に係る情報処理装置とこれによる処理について、第１の実施形態に係る情報処理装置１００との相違点を主として説明する。なお、情報処理装置の全体構成および処理内容は第１の実施形態とほぼ同一であるため、図１〜図１１を用いて説明する。
【００６５】
［情報処理装置の構成］
本実施形態に係る情報処理装置１００は、図２に示すように、表示部１１２および検出部１１４を備えるディスプレイパネル１１０と、情報処理部１２０と、領域制御部１３０と、表示処理部１４０とから構成される。上述したように、第１の実施形態とは、ディスプレイパネル１１０の検出部１１４と、情報処理部１２０による処理が異なる。
【００６６】
検出部１１４は、指等の操作体が表示部１１２の表面を押圧している押圧力を検出する。かかる検出部１１４としては、例えば、抵抗膜方式のタッチパネルを用いることができる。抵抗膜方式のタッチパネルは、格子状に電極が配列された透明導電膜（ＩＴＯ；Ｉｎｄｉｕｍ Ｔｉｎ Ｏｘｉｄｅ）が設けられたフィルムやガラス等の部材を、透明導電膜同士が対向するようにスペーサを介して積層して構成されている。操作体でタッチパネルの表面を押圧したときに透明導電膜が接触することで電流分布が変化し、その押圧を検知することができる。また、押圧によって通電した電極位置に基づき、操作体が表示部１１２に接触している位置を特定することができる。検出部１１４は、操作体によって表示部１１２の表面が押圧されることにより検出した押圧力の値および押圧されている位置を、情報処理部１２０へ出力する。
【００６７】
情報処理部１２０は、検出部１１４から入力された押圧力およびその位置に基づいて、フォーカス表示処理の実行の要否を判定する。情報処理部１２０は、まず、操作体の接触位置情報を算出する。接触位置情報は、例えば、表示部１１２の中心を原点とした３次元座標により表現される。具体的には、接触位置情報は、検出部１１４により検出された表示部１１２の表面における操作体の位置（２次元座標）と、押圧力の値から算出される表示部１１２に対する操作体の押し込み深度とを用いて表される。押し込み深度は、操作体を表示部１１２に対して押し込む強さを表す値であり、その値が大きいほど表示部１１２を強く押し込んでいる状態を表す。情報処理部１２０は、この押し込み深度を表示部１１２の表面に対して垂直方向の大きさとして、３次元座標により表現される接触位置情報を算出する。
【００６８】
そして、情報処理部１２０は、押圧力が所定の値以上となったとき、すなわち押し込み深度が所定の値以上となったとき、フォーカス表示処理の実行を決定する。フォーカス表示処理を開始する条件としては、例えば、操作体が表示部１１２に接触したと判定したとき、とすることができる。この場合、所定の値は、操作体が表示部１１２に接触したときの押し込み深度とすればよい。フォーカス表示処理の実行が決定されると、情報処理部１２０は、表示部１１２における操作体の接触位置と押し込み深度とからなる接触位置情報を、領域制御部１３０へ出力する。一方、情報処理部１２０は、表示処理部１４０から表示部１１２に変更後の表示内容を表示させるための表示駆動情報を受信して、表示部１１２へ送信する。
【００６９】
領域制御部１３０は、操作体の接触位置情報に基づいて、表示部１１２に表示されるキーのサイズおよび表示位置を算出する機能部であり、サイズ決定部１３２と、理想位置算出部１３４とからなる。
【００７０】
サイズ決定部１３２は、情報処理部１２０から受信した接触位置情報に基づいて、入力キーのサイズを決定する。本実施形態に係る情報処理装置１００では、操作体が接触している位置のキーおよびその周辺のキーのサイズを通常表示されている基本サイズよりも大きくし、操作体によってキーが遮蔽されないようにする。サイズ決定部１３２は、接触位置情報に基づいてキーのサイズを決定すると、変更後のキーのサイズを理想位置算出部１３４へ送信する。
【００７１】
理想位置算出部１３４は、サイズの変更されたキー同士の重複を回避するための処理を行う。理想位置算出部１３４は、変更後のキーのサイズにおいて、他のキーとの重複を回避する重複回避領域を決定すし、相隣接するキーの対を決定し、対とされたキー同士が重複しない理想相対位置を決定する。さらに、理想位置算出部１３４は、現在の対とされたキー同士の相対位置と理想相対位置との差を最小化して、全体としてキーの重複が回避された理想位置を算出する。理想位置算出部１３４は、算出した理想位置の位置情報を表示処理部１４０へ送信する。理想位置の位置情報も、例えば表示部１１２の中心を原点とした３次元座標により表現することができる。
【００７２】
表示処理部１４０は、理想位置算出部１３４に算出された理想位置を表示するための表示駆動情報の処理を行う。表示処理部１４０は、理想位置を表示するための表示部１１２の表示駆動情報を生成して、情報処理部１２０へ送信する。なお、領域制御部１３０および表示処理部１４０は、情報処理装置１００を制御するアプリケーションプログラムとして構成することができる。
【００７３】
［キーの表示処理方法］
本実施形態に係る情報処理装置１００では、操作体の押圧力を検出する検出部１１４による検出結果に基づいて、表示部１１２に対する操作体の接触位置を特定し、当該接触位置を操作体によりフォーカスされているキーの位置とする。そして、ユーザによるキー入力を円滑にするため、情報処理装置１００は、入力する文字に対応するキーおよびその周辺のキーのサイズを拡大するとともに、拡大によるキーの重複が回避されるようにキーの表示位置を変更する。
【００７４】
図３に示すように、まず、情報処理装置１００は、表示部１１２の表面に対する操作体の状態として、表示部１１２に対する操作体の押圧状態を検出部１１４により検出し、キー入力部１０４の表示内容を変更する処理を開始する（ステップＳ１１０）。検出部１１４は、電極の電流分布の変化に基づいて、操作体の押圧状態を検出することができる。操作体が表示部１１２を押圧すると、電極の電流分布が変化する。検出部１１４は、かかる変化を監視し、検出結果を情報処理部１２０へ出力する。
【００７５】
情報処理部１２０は、かかる検出結果より、接触位置情報を算出し、操作体が表示部１１２に接触しているかどうかを判定する。かかる判定は、電極の電流分布から導出される押圧力の値、すなわち押し込み頻度が所定の値以上であるか否かによって行うことができる。情報処理部１２０は、押圧力が所定の値以上であるとき、操作体が表示部１１２の表面に接触していると判定する。そして、操作体が表示部１１２の表面に接触していると判定すると、情報処理部１２０は、表示部１１２に対する操作体の接触位置情報をフォーカスされているキーの位置として領域制御部１３０へ出力する。
【００７６】
次いで、情報処理部１２０により操作体が表示部１１２に接触していると判定されると、領域制御部１３０は、特定されたフォーカスされているキーのサイズを拡大し、かつキー同士が重複しないようにキー入力部１０４を表示するフォーカス表示処理を行う（ステップＳ１２０）。フォーカス表示処理を実行してキー入力部１０４の表示内容を変更することにより、ユーザによるキー入力を円滑することができ、キーの打ち間違いも防止することができる。なお、フォーカス表示処理は、第１の実施形態において説明した方法により行えばよい。
【００７７】
フォーカス表示処理により変更後の表示位置が決定されると、キーを変更後の表示位置で表示させる（ステップＳ１３０）。表示処理部１４０は、キー入力部１０４のキーの表示位置を変更するために表示駆動情報を生成し、当該表示駆動情報に基づいて表示部１１２を駆動制御する。このように、本実施形態に係る情報処理装置１００は、表示部１１２に対する操作体の接触を検知すると、フォーカス表示処理を行ってフォーカスするキーを拡大表示し、かつキー同士の重複を回避する位置にキーを表示することができる。
【００７８】
なお、本実施形態では、操作体が表示部１１２に接触したか否かに応じてフォーカス表示処理を実行の要否を判定したが、本発明はかかる例に限定されない。例えば、情報処理装置１００は、操作体の押し込み深度が、操作体が所定の押圧力で表示部１１２を押圧したときの値以上となったときに、フォーカス表示処理を実行するようにしてもよい。また、本実施形態においても、上記第１の実施形態と同様に、ユーザが入力する入力情報を予測する予測部（図１１参照）を備える構成とすることもできる。
【００７９】
以上、第２の実施形態に係る情報処理装置１００とそれによるキーの表示処理方法について説明した。本実施形態によれば、表示部１１２に対して操作体が接触したフォーカスキーおよびその周囲のキーの表示サイズを大きくし、かつキー同士の重複を回避するように移動させた位置に各キーを表示させる。これにより、ユーザによるキー入力を円滑に行うことができる。
【００８０】
＜３．第３の実施形態＞
次に、本発明の第３の実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、第１の実施形態に係る情報処理装置１００と比較して、フォーカス中であるキーを、操作体の面積に基づき判定し、処理を行う点で相違する。以下、本実施形態に係る情報処理装置とこれによる処理について、第１の実施形態に係る情報処理装置１００との相違点を主として説明する。なお、情報処理装置の全体構成および処理内容は第１の実施形態とほぼ同一であるため、図１〜図１１を用いて説明する。
【００８１】
［情報処理装置の構成］
本実施形態に係る情報処理装置１００は、図２に示すように、表示部１１２および検出部１１４を備えるディスプレイパネル１１０と、情報処理部１２０と、領域制御部１３０と、表示処理部１４０とから構成される。本実施形態に係る情報処理装置１００の検出部１１４は、表示部１１２の表面に対する操作体の状態に応じて、操作体の面積を検出するものである。
【００８２】
検出部１１４が検出する、表示部１１２の表面に対する操作体の状態とは、例えば、操作体と表示部１１２の表面との近接距離であったり、表示部１１２の表面に対する操作体の押圧力であったりする。近接距離や押圧力は、例えば、第１または第２の実施形態に示したデバイス等を用いて検出することができる。そして、検出部１１４は、近接距離や押圧力等の検出値から、表示部１１２の表面と操作体との状態とを、操作体の面積として表す。
【００８３】
例えば、検出部１１４が近接距離を検出可能である場合には、操作体が表示部１１２の表面に所定の距離より近づいている位置（点）の集合を、操作体の面積とすることができる。操作体のうち、表示部１１２の表面に近接している部分が多いほど、操作体の面積は大きくなる。また、例えば、検出部１１４が押圧力を検出可能である場合には、操作体が表示部１１２を押圧することで所定の値以上の押圧力を検出した位置（点）の集合を、操作体の面積とすることができる。この場合には、表示部１１２の表面と操作体との接触面積が大きく、かつ押圧力が大きいほど、操作体の面積は大きくなる。あるいは、例えば、検出部１１４により操作体が表示部１１２の表面に接触したことを検出可能な場合には、表示部１１２に対する操作体の接触部分を、操作体の面積とすることもできる。
【００８４】
操作体の面積は、表示部１１２における複数の検出位置のうち面積部分としてカウントする検出位置の数により表してもよく、各検出位置を補間して決定された領域の面積により表してもよい。検出部１１４は、表示部１１２の表面に対する操作体の状態から算出した操作体の面積を情報処理部１２０へ出力する。
【００８５】
情報処理部１２０は、検出部１１４から入力された操作体の面積に基づいて、表示部１１２における操作体の位置情報を算出し、フォーカス表示処理の実行の要否を判定する。操作体の位置情報は、表示部１１２の中心を原点とした３次元座標により表現できる。表示部１１２に対する操作体の位置（２次元座標）は、例えば、複数のキーのうち、操作体の面積内に最も多く含まれているキーの中心位置や、操作体の面積の重心位置により表すことができる。これらの位置は、既存の手法を用いて算出することができる。また、表示部１１２の表面に対して垂直方向における操作体の位置は、上記第１および第２の実施形態に記載の方法や、既存の手法を用いて算出することができる。
【００８６】
また、情報処理部１２０は、例えば、検出された操作体の面積が所定の大きさ以上となったとき、操作体が表示部１１２に近接している、あるいは接触している状態にあると推定し、フォーカス表示処理を実行すると判定する。そして、フォーカス表示処理の実行が決定されると、情報処理部１２０は、操作体の面積に基づいて算出した操作体の位置情報を領域制御部１３０へ出力する。一方、情報処理部１２０は、表示処理部１４０から表示部１１２に変更後の表示内容を表示させるための表示駆動情報を受信して、表示部１１２へ送信する。
【００８７】
領域制御部１３０は、操作体の位置情報に基づいて、表示部１１２に表示されるキーのサイズおよび表示位置を算出する機能部であり、サイズ決定部１３２と、理想位置算出部１３４とからなる。
【００８８】
サイズ決定部１３２は、情報処理部１２０から受信した位置情報に基づいて、入力キーのサイズを決定する。本実施形態に係る情報処理装置１００では、操作体が近接している、あるいは接触していると推定される位置のキーおよびその周辺のキーのサイズを通常表示されている基本サイズよりも大きくし、操作体によってキーが遮蔽されないようにする。サイズ決定部１３２は、位置情報に基づいてキーのサイズを決定すると、変更後のキーのサイズを理想位置算出部１３４へ送信する。
【００８９】
理想位置算出部１３４は、サイズの変更されたキー同士の重複を回避するための処理を行う。理想位置算出部１３４は、変更後のキーのサイズにおいて、他のキーとの重複を回避する重複回避領域を決定すし、相隣接するキーの対を決定し、対とされたキー同士が重複しない理想相対位置を決定する。さらに、理想位置算出部１３４は、現在の対とされたキー同士の相対位置と理想相対位置との差を最小化して、全体としてキーの重複が回避された理想位置を算出する。理想位置算出部１３４は、算出した理想位置の位置情報を表示処理部１４０へ送信する。理想位置の位置情報も、例えば表示部１１２の中心を原点とした３次元座標により表現することができる。
【００９０】
表示処理部１４０は、理想位置算出部１３４に算出された理想位置を表示するための表示駆動情報の処理を行う。表示処理部１４０は、理想位置を表示するための表示部１１２の表示駆動情報を生成して、情報処理部１２０へ送信する。なお、領域制御部１３０および表示処理部１４０は、情報処理装置１００を制御するアプリケーションプログラムとして構成することができる。
【００９１】
［キーの表示処理方法］
本実施形態に係る情報処理装置１００では、操作体の押圧力を検出する検出部１１４による検出結果に基づいて、表示部１１２に対する操作体の位置を特定し、当該操作体の位置を操作体によりフォーカスされているキーの位置とする。そして、ユーザによるキー入力を円滑にするため、情報処理装置１００は、入力する文字に対応するキーおよびその周辺のキーのサイズを拡大するとともに、拡大によるキーの重複が回避されるようにキーの表示位置を変更する。
【００９２】
図３に示すように、まず、情報処理装置１００は、表示部１１２の表面に対する操作体の状態を検出部１１４により検出し、キー入力部１０４の表示内容を変更する処理を開始する（ステップＳ１１０）。検出部１１４は、操作体の状態を、操作体の面積として検出することができる。操作体が表示部１１２に近接または接触すると、検出部１１４により検出される操作体の面積が変化する。検出部１１４は、かかる変化の状況を監視して、検出結果を情報処理部１２０へ出力する。
【００９３】
情報処理部１２０は、かかる検出結果より、操作体の位置情報を算出するとともに、操作体の面積が所定の値以上であるか否かを判定する。そして、操作体の面積が所定の値以上であると判定したとき、情報処理部１２０は、操作体が表示部１１２に対して近接または接触していると推定し、キーの配置を変更するフォーカス表示処理の実行を領域制御部１３０に指示する。ここで、情報処理部１２０は、表示部１１２に対する操作体の位置を特定し、フォーカスされているキーの位置として、領域制御部１３０へ通知する。
【００９４】
次いで、情報処理部１２０により操作体の面積が所定の値以上であると判定されると、領域制御部１３０は、情報処理部１２０により特定されたフォーカスされているキーのサイズを拡大し、かつキー同士が重複しないようにキー入力部１０４を表示するフォーカス表示処理を行う（ステップＳ１２０）。フォーカス表示処理を実行してキー入力部１０４の表示内容を変更することにより、ユーザによるキー入力を円滑することができ、キーの打ち間違いも防止することができる。なお、フォーカス表示処理は、第１の実施形態において説明した方法により行えばよい。
【００９５】
フォーカス表示処理により変更後の表示位置が決定されると、キーを変更後の表示位置で表示させる（ステップＳ１３０）。表示処理部１４０は、キー入力部１０４のキーの表示位置を変更するために表示駆動情報を生成し、当該表示駆動情報に基づいて表示部１１２を駆動制御する。このように、本実施形態に係る情報処理装置１００は、表示部１１２に対する操作体の接触を検知すると、フォーカス表示処理を行ってフォーカスするキーを拡大表示し、かつキー同士の重複を回避する位置にキーを表示することができる。
【００９６】
なお、本実施形態においても、上記第１の実施形態と同様に、ユーザが入力する入力情報を予測する予測部（図１１参照）を備える構成とすることもできる。
【００９７】
以上、第３の実施形態に係る情報処理装置１００とそれによるキーの表示処理方法について説明した。本実施形態によれば、操作体の面積より、表示部１１２に対して操作体が近接あるいは接触していると推定されるフォーカスキーおよびその周囲のキーの表示サイズを大きくし、かつキー同士の重複を回避するように移動させた位置に各キーを表示させる。これにより、ユーザによるキー入力を円滑に行うことができる。
【００９８】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００９９】
例えば、上記実施形態では、ディスプレイパネルは光学方式のタッチセンサを備えていたが、本発明はかかる例に限定されない。例えば、通常の静電容量方式のタッチセンサや抵抗膜方式のタッチセンサを用いることもできる。また、例えばパーソナルコンピュータにおいて、マウスを用いてマウスカーソルを操作してキー入力を行う場合にも、マウスカーソル位置から各キーへの距離を算出することにより、上記実施形態と同様にフォーカスするキーの拡大と重複回避処理を行うことができる。
【０１００】
また、上記実施形態では、オンスクリーンキーボードの表示処理について説明したが、本発明はかかる例に限定されない。例えば、ホーム画面におけるメニュー選択や、ミュージックプレーヤにおけるテキストやジャケット写真等イメージからの選曲、フォトビューアにおける写真の選択、動画プレーヤにおけるサムネイルの選択に適用することもできる。さらには、地図アプリやＷｅｂブラウザなどにおける特定個所の拡大表示とその周辺の重複回避処理に適用することもできる。
【０１０１】
さらに、上記実施形態では、表示部および検出部を備えるディスプレイパネルは、キーのサイズの拡大および重複回避処理を行う領域制御部および表示処理部とともに設けられていたが、本発明はかかる例に限定されない。ディスプレイパネルと領域制御部および表示処理部とを別体として設けることもできる。例えば、キーのサイズの拡大および重複回避処理をディスプレイパネルと接続されたコンピュータ等で行ってもよい。
【符号の説明】
【０１０２】
１００、３００ 情報処理装置
１１０、３１０ ディスプレイパネル
１１２、３１２ 表示部
１１４、３１４ 検出部
１２０、３２０ 情報処理部
１３０、３３０ 領域制御部
１３２、３３２ サイズ決定部
１３４、３３４ 理想位置算出部
１４０、３４０ 表示処理部
２００ キー
２１０、２１０ａ、２１０ｂ 重複回避領域
２２０ ドロネー辺
２３０ 理想位置
３５０ 予測部
【特許請求の範囲】
【請求項１】
操作体によって操作される複数の入力領域が表示される表示部の表面を、前記操作体が押圧する押圧力を検出する検出部と、
前記検出部による検出結果より、前記操作体が一の前記入力領域を所定の値以上の押圧力で押圧したと判定したときに、前記操作体が押圧している前記入力領域を拡大し、相隣接する前記入力領域同士が重複しないように前記入力領域のうち少なくとも１つを移動させる領域制御部と、
を備える、情報処理装置。
【請求項２】
前記領域制御部は、
操作体の押圧力に応じて変更後の前記入力領域の大きさを決定するサイズ決定部と、
変更後の大きさにされた相隣接する前記入力領域同士が重複しない理想位置を算出する理想位置算出部と、
を備える、請求項１に記載の情報処理装置。
【請求項３】
前記理想位置算出部は、
変更後の前記入力領域の大きさにおいて他の前記入力領域との重複を回避させる重複回避領域を決定する重複回避領域決定部と、
相隣接する前記入力領域の対を決定するペア決定部と、
前記入力領域の対について、対応する前記重複回避領域同士が重複しない理想相対位置を決定する理想相対位置決定部と、
対応する前記重複回避領域の現在の相対位置と前記理想相対位置との差を最小化して前記理想位置を算出する理想位置決定部と、
を備える、請求項２に記載の情報処理装置。
【請求項４】
前記理想相対位置決定部は、
対となる前記入力領域に対応する前記重複回避領域の現在位置が重複しない場合、前記重複回避領域の現在位置を前記理想相対位置とし、
対となる前記入力領域に対応する前記重複回避領域の現在位置が重複する場合、前記重複回避領域の中心を結ぶ基準線方向に一の前記重複回避領域を他の前記重複回避領域と重複しないように移動させた位置を前記理想相対位置とする、請求項３に記載の情報処理装置。
【請求項５】
前記サイズ決定部は、すべての前記入力領域が所定の範囲に納まるように前記入力領域の拡大率を最適化する、請求項２に記載の情報処理装置。
【請求項６】
ユーザが入力する入力情報を予測する予測部をさらに備え、
前記領域制御部は、前記予測部の予測した入力情報である予測入力情報に基づいて、前記入力領域の表示を変更する、請求項１に記載の情報処理装置。
【請求項７】
前記予測部は、前記入力領域から既に入力された既入力情報を解析して、前記予測入力情報を入力するために次に操作される前記入力領域を次操作領域として予測し、
前記領域制御部は、予測された前記次操作領域の表示を変更する、請求項６に記載の情報処理装置。
【請求項８】
操作体によって操作される複数の入力領域が表示される表示部の表面に対する前記操作体の状態に応じて、前記操作体の面積を検出する検出部と、
前記検出部による検出結果より、前記操作体の面積が所定の値以上であると判定したときに、前記操作体により指示されている一の前記入力領域を拡大し、相隣接する前記入力領域同士が重複しないように前記入力領域のうち少なくとも１つを移動させる領域制御部と、
を備える、情報処理装置。
【請求項９】
前記検出部は、前記表示部の表面に対する前記操作体の押圧力に基づいて、前記操作体の接触面積を検出する、請求項８に記載の情報処理装置。
【請求項１０】
前記検出部は、前記操作体と前記表示部の表面との近接距離に基づいて、前記近接距離の分布より特定される前記操作体の面積を検出する、請求項８に記載の情報処理装置。
【請求項１１】
操作体によって操作される複数の入力領域が表示される表示部の表面を、前記操作体が押圧する押圧力を検出部により検出するステップと、
領域制御部により、前記検出部による検出結果に基づいて、前記操作体が一の前記入力領域を所定の値以上の押圧力で押圧したと判定したときに、前記操作体が押圧している前記入力領域を拡大し、相隣接する前記入力領域同士が重複しないように前記入力領域のうち少なくとも１つを移動させるステップと、
を含む、情報処理方法。
【請求項１２】
操作体によって操作される複数の入力領域が表示される表示部の表面に対する前記操作体の状態に応じて、前記操作体の面積を検出するステップと、
前記検出部による検出結果より、前記操作体の面積が所定の値以上であると判定したときに、領域制御部によって、前記操作体により指示されている一の前記入力領域を拡大し、相隣接する前記入力領域同士が重複しないように前記入力領域のうち少なくとも１つを移動させるステップと、
を含む、情報処理方法。
【請求項１３】
コンピュータを、
操作体によって操作される複数の入力領域が表示される表示部の表面を、前記操作体が押圧する押圧力に基づいて、前記操作体が一の前記入力領域を所定の値以上の押圧力で押圧したと判定したときに、前記操作体が押圧している前記入力領域を拡大し、相隣接する前記入力領域同士が重複しないように前記入力領域のうち少なくとも１つを移動させる領域制御手段を備える、情報処理装置として機能させるためのプログラム。
【請求項１４】
コンピュータを、
操作体によって操作される複数の入力領域が表示される表示部の表面に対する前記操作体の状態に応じて、前記操作体の面積を算出する面積算出手段と、
前記面積算出手段により算出された前記操作体の面積が所定の値以上であると判定したときに、前記操作体により指示されている一の前記入力領域を拡大し、相隣接する前記入力領域同士が重複しないように前記入力領域のうち少なくとも１つを移動させる領域制御手段と、
を備える、情報処理装置として機能させるためのプログラム。
【請求項１】
操作体によって操作される複数の入力領域が表示される表示部の表面を、前記操作体が押圧する押圧力を検出する検出部と、
前記検出部による検出結果より、前記操作体が一の前記入力領域を所定の値以上の押圧力で押圧したと判定したときに、前記操作体が押圧している前記入力領域を拡大し、相隣接する前記入力領域同士が重複しないように前記入力領域のうち少なくとも１つを移動させる領域制御部と、
を備える、情報処理装置。
【請求項２】
前記領域制御部は、
操作体の押圧力に応じて変更後の前記入力領域の大きさを決定するサイズ決定部と、
変更後の大きさにされた相隣接する前記入力領域同士が重複しない理想位置を算出する理想位置算出部と、
を備える、請求項１に記載の情報処理装置。
【請求項３】
前記理想位置算出部は、
変更後の前記入力領域の大きさにおいて他の前記入力領域との重複を回避させる重複回避領域を決定する重複回避領域決定部と、
相隣接する前記入力領域の対を決定するペア決定部と、
前記入力領域の対について、対応する前記重複回避領域同士が重複しない理想相対位置を決定する理想相対位置決定部と、
対応する前記重複回避領域の現在の相対位置と前記理想相対位置との差を最小化して前記理想位置を算出する理想位置決定部と、
を備える、請求項２に記載の情報処理装置。
【請求項４】
前記理想相対位置決定部は、
対となる前記入力領域に対応する前記重複回避領域の現在位置が重複しない場合、前記重複回避領域の現在位置を前記理想相対位置とし、
対となる前記入力領域に対応する前記重複回避領域の現在位置が重複する場合、前記重複回避領域の中心を結ぶ基準線方向に一の前記重複回避領域を他の前記重複回避領域と重複しないように移動させた位置を前記理想相対位置とする、請求項３に記載の情報処理装置。
【請求項５】
前記サイズ決定部は、すべての前記入力領域が所定の範囲に納まるように前記入力領域の拡大率を最適化する、請求項２に記載の情報処理装置。
【請求項６】
ユーザが入力する入力情報を予測する予測部をさらに備え、
前記領域制御部は、前記予測部の予測した入力情報である予測入力情報に基づいて、前記入力領域の表示を変更する、請求項１に記載の情報処理装置。
【請求項７】
前記予測部は、前記入力領域から既に入力された既入力情報を解析して、前記予測入力情報を入力するために次に操作される前記入力領域を次操作領域として予測し、
前記領域制御部は、予測された前記次操作領域の表示を変更する、請求項６に記載の情報処理装置。
【請求項８】
操作体によって操作される複数の入力領域が表示される表示部の表面に対する前記操作体の状態に応じて、前記操作体の面積を検出する検出部と、
前記検出部による検出結果より、前記操作体の面積が所定の値以上であると判定したときに、前記操作体により指示されている一の前記入力領域を拡大し、相隣接する前記入力領域同士が重複しないように前記入力領域のうち少なくとも１つを移動させる領域制御部と、
を備える、情報処理装置。
【請求項９】
前記検出部は、前記表示部の表面に対する前記操作体の押圧力に基づいて、前記操作体の接触面積を検出する、請求項８に記載の情報処理装置。
【請求項１０】
前記検出部は、前記操作体と前記表示部の表面との近接距離に基づいて、前記近接距離の分布より特定される前記操作体の面積を検出する、請求項８に記載の情報処理装置。
【請求項１１】
操作体によって操作される複数の入力領域が表示される表示部の表面を、前記操作体が押圧する押圧力を検出部により検出するステップと、
領域制御部により、前記検出部による検出結果に基づいて、前記操作体が一の前記入力領域を所定の値以上の押圧力で押圧したと判定したときに、前記操作体が押圧している前記入力領域を拡大し、相隣接する前記入力領域同士が重複しないように前記入力領域のうち少なくとも１つを移動させるステップと、
を含む、情報処理方法。
【請求項１２】
操作体によって操作される複数の入力領域が表示される表示部の表面に対する前記操作体の状態に応じて、前記操作体の面積を検出するステップと、
前記検出部による検出結果より、前記操作体の面積が所定の値以上であると判定したときに、領域制御部によって、前記操作体により指示されている一の前記入力領域を拡大し、相隣接する前記入力領域同士が重複しないように前記入力領域のうち少なくとも１つを移動させるステップと、
を含む、情報処理方法。
【請求項１３】
コンピュータを、
操作体によって操作される複数の入力領域が表示される表示部の表面を、前記操作体が押圧する押圧力に基づいて、前記操作体が一の前記入力領域を所定の値以上の押圧力で押圧したと判定したときに、前記操作体が押圧している前記入力領域を拡大し、相隣接する前記入力領域同士が重複しないように前記入力領域のうち少なくとも１つを移動させる領域制御手段を備える、情報処理装置として機能させるためのプログラム。
【請求項１４】
コンピュータを、
操作体によって操作される複数の入力領域が表示される表示部の表面に対する前記操作体の状態に応じて、前記操作体の面積を算出する面積算出手段と、
前記面積算出手段により算出された前記操作体の面積が所定の値以上であると判定したときに、前記操作体により指示されている一の前記入力領域を拡大し、相隣接する前記入力領域同士が重複しないように前記入力領域のうち少なくとも１つを移動させる領域制御手段と、
を備える、情報処理装置として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−１９１８１１（Ｐ２０１１−１９１８１１Ａ）
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願番号】特願２０１０−５４９３４（Ｐ２０１０−５４９３４）
【出願日】平成２２年３月１１日（２０１０．３．１１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願日】平成２２年３月１１日（２０１０．３．１１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]