ユーザインタフェース装置、表示装置による操作受付方法及びプログラム
【課題】ユーザの意図が反映されやすくなるように、当たり判定領域のサイズを状況に応じて変化させる。
【解決手段】表示装置は、操作オブジェクトを含む第１の画像を表示し（Ｓ１）、ユーザにより指示された指示位置を検出する（Ｓ２）。表示装置は、ユーザの運指スピードと習熟度係数とに基づいて当たり判定領域を算出し（Ｓ３）、この当たり判定領域内に操作オブジェクトがあるか否か、またそれが複数であるか否かを判断する（Ｓ４、Ｓ５）。そして、表示装置は、これらの判断結果に応じて習熟度係数を更新する（Ｓ７、Ｓ９）。習熟度係数は、ユーザに選択された操作オブジェクトの位置と指示位置との差に基づいて定まる。
【解決手段】表示装置は、操作オブジェクトを含む第１の画像を表示し（Ｓ１）、ユーザにより指示された指示位置を検出する（Ｓ２）。表示装置は、ユーザの運指スピードと習熟度係数とに基づいて当たり判定領域を算出し（Ｓ３）、この当たり判定領域内に操作オブジェクトがあるか否か、またそれが複数であるか否かを判断する（Ｓ４、Ｓ５）。そして、表示装置は、これらの判断結果に応じて習熟度係数を更新する（Ｓ７、Ｓ９）。習熟度係数は、ユーザに選択された操作オブジェクトの位置と指示位置との差に基づいて定まる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置を介したユーザインタフェースに関する。
【背景技術】
【０００２】
タッチスクリーン（タッチパネルともいう。）を備える表示装置は、ボタン、アイコン等のオブジェクトを比較的自由に配置することができ、この点において位置が固定的なキー（いわゆる物理キー）よりも有利であるといえる。一方、上記のようなオブジェクトは、位置が固定的でないゆえに、物理キーよりも操作ミスが生じやすいともいえる。特許文献１には、タッチパネル付き表示装置において、タッチ位置の近傍領域の画像を拡大して表示することによって操作性を向上させる技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１５２２１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
タッチスクリーン上の操作における操作ミスの発生率は、第一には、ユーザ（操作者）の操作の巧拙、すなわち習熟の度合いによって変化する。しかしながら、操作ミスの発生率は、同一のユーザであれば常に同程度になるというわけではなく、実際には、そのときどきの操作の状況によっても変化する。
そこで、本発明は、ユーザの意図が反映されやすくなるように、当たり判定領域のサイズを状況に応じて変化させることを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係るユーザインタフェース装置は、表示領域に画像を表示する表示部と、選択可能なオブジェクトを含む第１の画像を前記表示領域に表示させる表示制御部と、操作者により指示された前記表示領域上の位置を検出する検出部と、前記検出部により前記第１の画像において検出された位置を含み、前記検出部により検出された位置の遷移と前記操作者の習熟度を示す習熟度係数とによりサイズが定まる当たり判定領域内に前記オブジェクトがあるか判定する判定部と、前記操作者による指示に基づいて当該操作者の操作を特定する特定部であって、前記判定部により前記当たり判定領域内に一の前記オブジェクトがあると判定された場合に、前記第１の画像における前記指示を当該オブジェクトを選択する操作であると特定する特定部と、前記特定部により操作が特定された場合に、前記検出部により前記第１の画像において検出された位置と当該操作により選択された前記オブジェクトとの距離に応じて前記習熟度係数を更新する更新部とを備える構成を有する。
【０００６】
好ましい態様において、前記ユーザインタフェース装置は、前記判定部により前記当たり判定領域内に複数の前記オブジェクトがあると判定された場合に、前記表示制御部は、前記複数のオブジェクトのいずれかを前記操作者に選択させるための第２の画像を前記表示領域に表示させ、前記特定部は、前記第１の画像における前記指示を前記第２の画像において前記操作者に選択された前記オブジェクトに対する操作であると特定し、前記更新部は、前記検出部により前記第１の画像において検出された位置と前記第２の画像において選択された前記オブジェクトの前記第１の画像における位置との距離に応じて前記習熟度係数を更新する。
別の好ましい態様において、前記表示制御部は、前記第１の画像を所定の倍率で拡大した画像であって前記検出部により検出された位置を含む画像を前記第２の画像として表示し、前記倍率を前記当たり判定領域のサイズ又は前記習熟度係数に応じて変化させる。
さらに別の好ましい態様において、前記更新部は、前記第２の画像において前記操作者に選択されたオブジェクトが、前記第１の画像において検出された位置からの距離が最短のオブジェクトでない場合に、前記習熟度係数を前記当たり判定領域のサイズを大きくさせるように更新する。
さらに別の好ましい態様において、前記判定部は、前記検出部により検出された位置の遷移に基づいて前記操作者による指示の速さを算出する第１算出部を有し、前記速さと前記習熟度係数とを用いた演算により、前記速さが大きいほど前記当たり判定領域が大きくなるように前記サイズを定める。
さらに別の好ましい態様において、前記検出部は、前記操作者が指示体により前記位置を指示する場合に、当該指示体が前記表示領域に接触した位置である接触位置と、当該指示体が当該接触位置に到達する前の位置である一又は複数の非接触位置とを検出し、前記第１算出部は、前記非接触位置から前記接触位置への遷移に基づいて前記速さを算出する。
さらに別の好ましい態様において、前記更新部は、前記判定部による判定の際に前記検出部により検出された前記位置の検出時刻と、前記検出部により当該位置の直前に検出された位置の検出時刻との差が閾値以上である場合に、前記第１算出部により算出された速さに代えてあらかじめ決められた基準値を前記演算に用いる。
さらに別の好ましい態様において、前記更新部は、前記基準値を前記習熟度係数に応じて異ならせる。
さらに別の好ましい態様において、前記判定部は、オフセット量及びオフセット方向を算出する第２算出部を備え、前記検出部により前記第１の画像において検出された位置から前記第２算出部により算出されたオフセット量及びオフセット方向で移動させた位置を前記当たり判定領域の中心として判定を行う。
さらに別の好ましい態様において、前記判定部は、前記当たり判定領域のサイズが所定の最大サイズを超えないように制限して判定を行う。
【０００７】
本発明の他の態様に係る表示装置の操作受付方法は、選択可能なオブジェクトを含む第１の画像を表示領域に表示する表示ステップと、操作者により指示された前記表示領域上の位置を検出する検出ステップと、前記検出ステップにおいて前記第１の画像において検出された位置を含み、当該位置及び当該位置以前に検出された位置の遷移と前記操作者の習熟度を示す習熟度係数とによりサイズが定まる当たり判定領域内に一の前記オブジェクトがある場合に、前記第１の画像における前記指示を当該オブジェクトを選択する操作であると特定する特定ステップと、前記検出ステップにおいて検出された位置と前記操作により選択された前記オブジェクトとの距離に応じて前記習熟度係数を更新する更新ステップとを有する。
【０００８】
本発明の他の態様に係るプログラムは、表示領域に画像を表示する表示装置のコンピュータに、選択可能なオブジェクトを含む第１の画像を前記表示領域に表示させる表示制御ステップと、操作者により指示された前記表示領域上の位置を検出する検出ステップと、前記第１の画像を表示している前記表示領域において、前記検出ステップにおいて検出された前記位置を含み、前記検出部により検出された位置の遷移と前記操作者の習熟度を示す習熟度係数とによりサイズが定まる当たり判定領域内に前記オブジェクトがあるか判定する判定ステップと、前記操作者による指示に基づいて当該操作者の操作を特定する特定ステップであって、前記判定ステップにおいて前記当たり判定領域内に一の前記オブジェクトがあると判定された場合に、前記第１の画像における前記指示を当該オブジェクトを選択する操作であると特定する特定ステップと、前記特定ステップにおいて操作が特定された場合に、前記検出ステップにおいて前記第１の画像において検出された位置と当該操作により選択された前記オブジェクトとの距離に応じて前記習熟度係数を更新する更新ステップとを実行させるためのものである。
【発明の効果】
【０００９】
本発明によれば、ユーザの意図が反映されやすくなるように、当たり判定領域のサイズを状況に応じて変化させることが可能である。
【図面の簡単な説明】
【００１０】
【図１】表示装置の構成を示すブロック図
【図２】表示装置の機能的構成を示す機能ブロック図
【図３】表示装置の動作を示すフローチャート
【図４】領域計算処理を示すフローチャート
【図５】拡大モード処理を示すフローチャート
【図６】拡大前後の画像の表示態様を例示する図
【図７】ユーザの操作の態様及び当たり判定領域を例示する図
【図８】領域計算処理を示すフローチャート
【図９】右手での操作と左手での操作の違いを説明するための図
【図１０】接触位置と非接触位置の位置関係を説明するための図
【図１１】第２の画像の他の例
【発明を実施するための形態】
【００１１】
［発明の要旨］
本発明は、指示体による表示領域に対する指示を検出する手段（タッチスクリーン等）を備える表示装置において、ユーザの操作を受け付けるための領域（以下「当たり判定領域」という。）を指示位置の近傍に設定し、この当たり判定領域に含まれるオブジェクトをユーザの操作対象とみなすものである。ここにおいて、指示体とは、ユーザが指示を行うための身体の部位又は器具をいい、例えば、ユーザの指やスタイラスである。
【００１２】
当たり判定領域を設けると、ユーザ自身はオブジェクトを指示したつもりであったが、実際にはオブジェクトからわずかにずれた位置を指示していた、といった場合に、このような（正しくない）指示をオブジェクトを指示した操作であるとみなすことができる。したがって、当たり判定領域は、操作ミスを操作ミスでないとみなすことを可能にするものであるといえる。
【００１３】
本発明の当たり判定領域は、ユーザの操作の習熟の度合い（以下「習熟度」という。）によってサイズが変化する。当たり判定領域は、基本的には、ユーザが表示装置の操作に習熟した者であるほど小さくなる。そのようなユーザは、自身の意図と異なる位置を指示することが少ないと推測されるからである。なお、本発明の習熟度は、ユーザ毎に異ならせることが可能であり、また、ユーザの操作の累積により更新することも可能である。
【００１４】
ところで、操作ミスの発生率は、同一のユーザであれば常に同程度になるというわけではない。例えば、ユーザが指示体を素早く動かしている場合や、指示体の移動距離が長い場合には、そうでない場合よりも操作ミスが生じやすいといえる。ゆえに、操作ミスの発生率は、ユーザによる指示の遷移の態様（距離又は速度）と相関を有しているといえる。また、当たり判定領域を設けると、複数のオブジェクトが密集している場合とそうでない場合とでも、ユーザの意図しない操作が行われる可能性が変化する。
【００１５】
そこで、本発明は、当たり判定領域のサイズを習熟度と指示の遷移との組み合わせによって定めることにより、当たり判定領域がそのときどきの状況に応じたサイズになるように構成したものである。また、本発明においては、当たり判定領域内に複数のオブジェクトがある場合とそうでない場合とで表示の態様を異ならせることにより、ユーザの操作が当人の意図していない操作と誤認されないようにすることと、誤認のおそれが少ない場合の操作を簡単にすることとを可能にしている。さらに、本発明は、このような表示態様の特徴と当たり判定領域のサイズが変化する特徴とが相まって、複数のオブジェクトが表示されている場合の操作の受け付け方がユーザの操作の蓄積に応じて最適なものになるように変化していくという効果も奏し得るものである。
【００１６】
［第１実施形態］
図１は、本発明の一実施形態である表示装置１０の構成を示すブロック図である。表示装置１０は、タッチスクリーンが重ねて設けられた表示領域を有する通信端末であり、本発明のユーザインタフェース装置に相当する構成を含むものである。表示装置１０は、例えば、携帯電話機やスマートフォンであり、ユーザが手に持った状態で片手で操作できる程度のサイズ及び形状を有するものとする。なお、表示装置１０は、ここでは、ユーザが指で操作するものであるとする。つまり、本実施形態における指示体は、ユーザ自身の指である。
【００１７】
表示装置１０は、図１に示すように、制御部１００と、記憶部２００と、通信部３００と、タッチスクリーン部４００と、物理キー部５００とを少なくとも備える。なお、表示装置１０は、これらの構成要素のほかに、音声を入出力するための手段（スピーカ、マイクロホン）やバイブレータ、さらには表示領域の傾きを検出するための加速度センサやジャイロセンサなどを備えてもよい。
【００１８】
制御部１００は、表示装置１０の全体の動作を制御する手段である。制御部１００は、ＣＰＵ（Central Processing Unit）等の演算処理装置と主記憶装置に相当するメモリとを備え、プログラムを実行することによって所定の機能を実現する。制御部１００は、後述する各構成要素間での情報の受け渡しを制御したり、その受け渡しの途中で情報の加工（演算等）を行ったりする。
【００１９】
記憶部２００は、情報を記憶する手段である。記憶部２００は、ハードディスクやフラッシュメモリなど、補助記憶装置に相当する記憶手段を有し、制御部１００が制御に用いるデータやアプリケーションプログラムを記憶する。記憶部２００は、リムーバブルメディア、すなわち着脱可能な記憶手段を含んでもよいし、ＵＩＭ（User Identity Module）カードやＳＩＭ（Subscriber Identity Module）カードのような、ユーザ（又は表示装置１０）を識別するためのデータが記録された記憶手段を含んでもよい。
【００２０】
通信部３００は、外部装置と通信するための手段である。通信部３００は、本実施形態においては、移動通信網等のネットワークに接続するための手段であるとするが、ＮＦＣ（Near Field Communication）等のネットワークを介さずに外部装置と直接通信する手段であってもよい。なお、通信部３００は、本発明にあっては必須の構成要件ではない。
【００２１】
タッチスクリーン部４００は、画像を表示するとともにユーザの操作を受け付ける手段である。タッチスクリーン部４００は、より詳細には、表示部４１０とセンサ部４２０とを備える。表示部４１０は、液晶素子や有機ＥＬ（electroluminescence）素子により画像を表示する表示パネルと、表示パネルを駆動する駆動回路等を備える。センサ部４２０は、表示部４１０の表示領域に重ねて設けられるセンサを備え、ユーザに指示された位置（以下「指示位置」という。）を表す座標情報を制御部１００に供給する。座標情報は、ここでは、表示領域の適当な位置を原点とした２次元直交座標系で記述されるものとする。センサ部４２０のセンサは、例えば、指との静電結合を利用して指を感知する静電容量方式のセンサである。
【００２２】
物理キー部５００は、センサ部４２０と同様に、ユーザの操作を受け付ける手段である。ただし、物理キー部５００は、いわゆる物理キーを備える点においてセンサ部４２０と異なる。物理キー部５００の物理キーは、表示部４１０の表示領域とは異なる位置に設けられている。物理キー部５００は、ユーザに選択された物理キーを表すキー情報を制御部１００に供給する。
【００２３】
表示装置１０の構成は、以上のとおりである。この構成のもと、表示装置１０は、アプリケーションプログラムを実行することによって表示領域に画像を表示するとともに、表示領域に表示する画像をユーザの操作に応じて変化させる。表示装置１０により実行されるアプリケーションプログラムは、例えば、通信部３００を介してＨＴＭＬ（HyperText Markup Language）データを受信してＷｅｂページを表示するプログラム（いわゆるＷｅｂブラウザ）や、地図等の画像をユーザの操作に応じて拡大・縮小・スクロールなどして表示するプログラムである。表示装置１０が実行するプログラムは、単一である必要はなく、複数あってもよい。
【００２４】
表示装置１０は、表示する画像に選択可能なオブジェクトを含む場合に、当たり判定領域を用いてユーザの操作を特定する。ここにおいて、選択可能なオブジェクトとは、表示領域に表示される画像のうちのユーザの操作を受け付けることが可能なものをいい、例えば、いわゆるボタンの機能を有する画像のほか、アイコンやハイパーリンクがこれに該当する。また、選択可能なオブジェクトは、いわゆるアバターのような画像であって、ユーザの操作に応じて何らかの反応を示すものであってもよい。以下においては、このような選択可能なオブジェクトのことを「操作オブジェクト」という。
【００２５】
図２は、表示装置１０の機能的構成のうち、特にタッチスクリーン部４００によって操作を受け付ける機能（以下「操作受付機能」という。）に関するものを示す機能ブロック図である。表示装置１０の制御部１００は、同図に示す表示制御部１１０、検出部１２０、判定部１３０、特定部１４０及び更新部１５０の各部に相当する機能を実現し、タッチスクリーン部４００を介した操作を受け付ける。なお、この操作受付機能は、オペレーティングシステムに備わる機能であってもよいし、特定のアプリケーションプログラムに備わる機能であってもよい。
【００２６】
表示制御部１１０は、表示部４１０の表示領域に画像を表示させる機能を有する。表示制御部１１０は、判定部１３０による判定結果に応じて、表示させる画像を切り替えることが可能である。表示制御部１１０により表示部４１０に表示される画像には、一又は複数の操作オブジェクトを含む画像（第１の画像）と、操作オブジェクトをユーザに選択させるための画像（第２の画像）とが含まれる。
【００２７】
検出部１２０は、ユーザによる操作に関する動作を検出する機能を有する。検出部１２０は、より詳細には、第１検出部１２１と第２検出部１２２とに機能的に分類される。第１検出部１２１は、センサ部４２０から座標情報を取得することにより、表示領域上のユーザによって指示された位置（すなわち指示位置）を検出する。一方、第２検出部１２２は、物理キー部５００からキー情報を取得することにより、ユーザによって選択された物理キーを検出する。検出部１２０は、検出した動作を履歴として記録する機能をさらに有する。ここでいう履歴は、検出した動作とその検出時刻とを対応付けて記録したものである。
【００２８】
なお、検出部１２０は、ユーザの操作の種別を検出する機能をさらに有してもよい。ここでいう種別は、タップ（表示領域の表面を１回軽く叩く操作）、ダブルタップ（表示領域の表面を２回続けて軽く叩く操作）、ドラッグ（指示体を表示領域に触れたまま動かす操作）といった操作を区別するためのものである。
【００２９】
判定部１３０は、第１検出部１２１が指示位置を検出した場合に、その指示位置の近傍に操作オブジェクトがあるか否かを判定する機能を有する。ここでいう近傍とは、当たり判定領域によって定められる範囲のことである。本実施形態において、当たり判定領域は、指示位置を中心とした円であるとする。この円の半径（すなわちサイズ）は、後述するユーザの運指スピードとユーザの習熟度を示す習熟度係数とによって定まる。
【００３０】
判定部１３０は、さらに第１算出部１３１と第２算出部１３２とを有し、これらの算出結果を用いて判定を行ってもよい。第１算出部１３１は、第１検出部１２１により検出された位置の遷移に基づいて、ユーザの運指スピードを算出する機能を有する。ここにおいて、運指とは、ユーザの指の運び方（動かし方）のことであり、運指スピードとは、ユーザによって指示が連続的に行われた場合の指示の速さのことである。なお、運指スピードは、運指の方向に関する情報を含まないスカラー量である。本実施形態において、第１算出部１３１は、運指スピードを算出する必要が生じた場合に、その時点で検出されている最新の指示位置の検出時刻と、当該指示位置の直前に検出された指示位置の検出時刻とを用いて運指スピードを算出する。ただし、第１算出部１３１は、２つの指示位置の間での移動の速さに限らず、３つ以上の位置の間での移動の速さ（例えば平均値）を算出してもよい。なお、第２算出部１３２は、本実施形態では用いられないものとし、後述する変形例において説明される。
【００３１】
特定部１４０は、ユーザの指示に基づいてユーザの操作を特定する機能を有する。換言すれば、特定部１４０は、ユーザが表示領域上のある位置を指し示した動作を、操作オブジェクトを選択する操作に相当すると特定する機能を有する。ここにおいて、ユーザの指示位置は、必ずしも操作オブジェクトそのものの位置ではない。よって、特定部１４０による特定には、操作オブジェクトを選択する操作であるか否かが不明な指示がいずれに相当するのかを、当たり判定領域等の諸条件を用いて判断することが含まれる。
【００３２】
更新部１５０は、特定部１４０による特定結果に基づいて習熟度係数を更新する機能を有する。更新部１５０は、特定部１４０により特定された操作がどれだけ正確な指示によって行われていたかによって習熟度係数を変更する。更新部１５０は、習熟度係数を制御部１００のメモリ又は記憶部２００に記録する。判定部１３０は、更新部１５０による更新後の習熟度係数を用いて判定を行うことで、ユーザの操作の態様を判定に反映させる。その結果、習熟度係数及び当たり判定領域のサイズは、ユーザの操作が繰り返されることによって、そのユーザに適したものに変わっていくことが期待される。
【００３３】
図３は、表示装置１００の操作受付機能に関する一連の動作を示すフローチャートである。制御部１００は、まず、操作オブジェクトを含む画像（後述する第１の画像）をタッチスクリーン部４００に表示させ（ステップＳ１）、ユーザによるタッチスクリーン部４００への指示を検出する（ステップＳ２）。制御部１００は、指示位置を検出すると、これに基づいて当たり判定領域のサイズ（ここでは半径）を算出する処理を実行する（ステップＳ３）。ステップＳ３の処理のことを、以下においては「領域計算処理」という。
【００３４】
図４は、領域計算処理を示すフローチャートである。領域計算処理において、制御部１００は、ステップＳ２において検出された指示位置の検出時刻と、当該指示位置の直前に検出された指示位置の検出時刻との時間差を算出し、その時間差が所定の閾値未満であるか否かを判断する（ステップＳ３１ａ）。ステップＳ３１ａの判断は、換言すれば、ユーザによる指示の連続性を判断するものである。運指スピードを計算によって求めるためには、２回の指示が一連の動作の中で続けて行われたものであることが望ましい。なぜならば、ユーザが、２回の指示の間に指を止め、別の動作を行っていたり考えごとをしたりしていた場合には、これらの指示の時間差は非常に大きくなってしまい、ここから運指スピードを求めるのは必ずしも適当でないからである。制御部１００は、このような場合を除外できるように設定された適当な閾値を用いて、運指スピードを計算によって求めるか否かを判断する。
【００３５】
制御部１００は、２つの指示位置の検出時刻の時間差が閾値未満である場合には、運指スピードを算出する（ステップＳ３２ａ）。運指スピードは、２つの指示位置間の距離を時間差で除した値である。一方、２つの指示位置の検出時刻の時間差が閾値以上である場合には、制御部１００は、ステップＳ３２ａで算出される運指スピードに代えて用いられる速さの基準値を取得する（ステップＳ３３ａ）。この基準値は、あらかじめ決められた値であり、制御部１００のメモリ又は記憶部２００に記憶されている。
【００３６】
そして、制御部１００は、習熟度係数を取得し（ステップＳ３４ａ）、当たり判定領域のサイズを算出する（ステップＳ３５ａ）。本実施形態において、当たり判定領域のサイズは、円の半径によって表現可能である。ここにおいて、当たり判定領域の半径をｒ、習熟度係数をｄ、運指スピードをｖ、速さの基準値をｖdefとすると、当たり判定領域の半径は以下の（１）式又は（２）式によって表される。なお、習熟度係数ｄは、ここでは、ユーザの習熟度が高い（すなわち習熟している）場合ほど大きくなる値であるとする。
ｒ＝ｖ／ｄ …（１）
ｒ＝ｖdef／ｄ …（２）
【００３７】
制御部１００は、運指スピードを算出した場合には（１）式を、そうでない場合には（２）式をそれぞれ用いて、当たり判定領域ｒを算出する。なお、当たり判定領域の半径ｒは、運指スピードが大きいほど大きくなり、習熟度係数が大きいほど小さくなればよく、その算出式が上記の（１）式又は（２）式に限定されるわけではない。（１）式は、半径ｒ、習熟度係数ｄ及び運指スピードｖの関係を最も簡単に示した一例である。
【００３８】
なお、当たり判定領域のサイズは、所定の最大サイズを超えないように制限されていることが望ましい。なぜならば、当たり判定領域のサイズが必要以上に大きくなると、ユーザが意図していない操作オブジェクトまでもが当たり判定領域に含まれてしまう可能性が増大するからである。そこで、本実施形態の制御部１００は、半径ｒに上限値を定め、（１）式又は（２）式によって算出された半径ｒが上限値を超える場合には、半径ｒをその算出結果によらずに上限値に設定するようにする。
【００３９】
図４の領域計算処理によって当たり判定領域のサイズを求めたら、続いて制御部１００は、ステップＳ２において検出された指示位置を中心とした半径ｒの当たり判定領域内に操作オブジェクトがあるか判定する。ここにおいて、当たり判定領域内に操作オブジェクトがある状態とは、操作オブジェクトの全体が当たり判定領域内に含まれることを要するものではなく、操作オブジェクトの少なくとも一部が当たり判定領域内に含まれていればよいものである。
【００４０】
この判定は、具体的には、当たり判定領域内に操作オブジェクトがあるか否かを判断する第１の判断（ステップＳ４）と、当たり判定領域内にある操作オブジェクトが単数か複数であるかを判断する第２の判断（ステップＳ５）とによって実現される。制御部１００は、当たり判定領域内に操作オブジェクトがない場合には、ステップＳ２における指示が操作オブジェクトを選択する操作に該当しないと判断し、処理を終了させる。また、制御部１００は、当たり判定領域内に複数の操作オブジェクトがある場合には、後述する拡大モード処理を実行する（ステップＳ９）。
【００４１】
一方、当たり判定領域内に一の操作オブジェクトがある場合には、制御部１００は、ステップＳ２における指示が操作オブジェクトを選択する操作に該当すると判断する。この場合、制御部１００は、操作オブジェクトの表示を制御しているアプリケーションプログラムに対して当該操作オブジェクトが選択されたことを通知する（ステップＳ８）。また、制御部１００は、これに先立ち、選択された操作オブジェクトと指示位置とのずれ量を算出し（ステップＳ６）、そのずれ量に応じて習熟度係数を更新する（ステップＳ７）。
【００４２】
ここでいうずれ量は、ユーザの指示位置が実際に選択された操作オブジェクトに対してどの程度離れているかを示す数値である。このずれ量は、例えば、操作オブジェクトの重心位置と指示位置との間の距離であってもよいし、指示位置が操作オブジェクトと重ならない場合であれば、指示位置と操作オブジェクト上の任意の１点とを結んだときの最短距離であってもよい。例えば、制御部１００は、算出されたずれ量が所定の閾値よりも小さい場合には、（当たり判定領域のサイズを小さくさせるために）習熟度係数を大きくする。あるいは、制御部１００は、算出されたずれ量が所定の閾値よりも大きい場合には、（当たり判定領域のサイズを大きくさせるために）習熟度係数を小さくする。なお、操作オブジェクトの重心位置とは、オブジェクトが対称な図形であれば、その中心の位置のことである。また、操作オブジェクトの重心位置は、オブジェクト全体を質量分布が一様な物体であるとみなした場合の質量中心の位置であってもよい。
【００４３】
制御部１００は、習熟度係数を必ずしも更新しなくてもよい。例えば、制御部１００は、算出されたずれ量が第１の閾値未満である場合には習熟度係数を大きくし、当該ずれ量が（第１の閾値よりも大きい）第２の閾値以上である場合には習熟度係数を小さくする一方、当該ずれ量が第１の閾値以上かつ第２の閾値未満である場合には、習熟度係数を更新せずにそのままの値としてもよい。また、制御部１００は、これよりも多くの閾値を用いて、習熟度係数を段階的に大きくしたり小さくしたりすることも可能である。
【００４４】
上述したステップＳ６〜Ｓ８の動作は、ユーザが選択しようとした操作オブジェクトが一意的に特定できると判断された場合の動作である。一方、ユーザが選択しようとした操作オブジェクトとして複数の操作オブジェクトが想定できる場合には、制御部１００は、ステップＳ６〜Ｓ８のように一意的に判断せずに、ユーザに選択させるようにする。このとき、制御部１００は、それまで表示していた画像を拡大表示させることにより、ユーザによる選択を容易にさせる。ステップＳ９の拡大モード処理とは、このようにして画像を拡大表示させてユーザに操作オブジェクトの選択を促すための処理である。また、このように画像を拡大表示させるモードのことを、以下においては「拡大モード」という。
【００４５】
図５は、拡大モード処理を示すフローチャートである。また、図６は、拡大前後の画像の表示態様を例示する図である。なお、図６において、当たり判定領域は、指示位置である点Ｃを中心とした破線で示した円である。また、操作オブジェクトは、図中のＯａ及びＯｂであり、以下ではこれらを「オブジェクトａ」、「オブジェクトｂ」という。さらに、以下においては、図６（ａ）に示す拡大前の画像を「第１の画像」といい、図６（ｂ）に示す拡大後の画像を「第２の画像」という。
【００４６】
拡大モード処理において、制御部１００は、まず、第２の画像を表示部４１０に表示させる（ステップＳ９１）。このとき、制御部１００は、表示部４１０に表示される画像を第１の画像から第２の画像に切り替えてもよいが、第１の画像を非表示にすることなく第２の画像を表示することも可能である。例えば、制御部は、表示領域の半分に第１の画像を表示させ、残りの半分に第２の画像を表示させてもよいし、第２の画像を第１の画像に重なるようにポップアップ表示させてもよい。また、表示部４１０が複数の表示領域を独立に有する場合には、第１の画像と第２の画像とがそれぞれ別の表示領域に表示されてもよい。
【００４７】
本実施形態において、第２の画像は、第１の画像を所定の倍率で拡大させた画像である。第２の画像の倍率は、オブジェクトａ及びｂを容易に選択できる程度であることが望ましい。なお、制御部１００は、第２の画像の倍率を、当たり判定領域のサイズや習熟度係数に応じて変化させることも可能である。例えば、制御部１００は、当たり判定領域が大きいほど倍率を上げたり、習熟度係数が小さいほど倍率を上げたりしてもよい。
また、第２の画像は、図６（ｂ）に示すように、ユーザに選択を促すようなメッセージを含んで構成されてもよい。
【００４８】
第２の画像を表示させた状態において、制御部１００は、ユーザが選択した操作オブジェクトを特定する（ステップＳ９２）。このとき、ユーザは、タッチスクリーン部４００によって操作オブジェクトを指示することで操作オブジェクトを選択する。なお、表示されている操作オブジェクトと物理キーとを対応付ければ、操作オブジェクトの選択には（タッチスクリーン部４００ではなく）物理キー部５００が用いられてもよい。
【００４９】
このようにして操作オブジェクトが一意的に特定されたら、制御部１００は、ユーザによって選択された操作オブジェクトが複数の操作オブジェクトのうちの指示位置からの距離が最短の操作オブジェクト、すなわち、ステップＳ２において検出された指示位置からみて最近傍にある操作オブジェクトであるか否かを判断する（ステップＳ９３）。また、制御部１００は、ユーザによって選択された操作オブジェクトが指示位置から最近傍の操作オブジェクトであった場合には、その指示位置とのずれ量を判断する。ここでは、制御部１００は、第２の画像においてユーザによって選択された操作オブジェクトの第１の画像における重心位置が当たり判定領域内に含まれるか否かを判断することでずれ量を判断する（ステップＳ９４）。
【００５０】
制御部１００は、ユーザによって選択された操作オブジェクトが指示位置から最近傍の操作オブジェクトであり、かつ、そのずれ量が小さい場合には、習熟度係数をそれまでよりも大きい値になるように更新する（ステップＳ９５）。一方、制御部１００は、ユーザによって選択された操作オブジェクトが指示位置から最近傍の操作オブジェクトでない場合や、ユーザによって選択された操作オブジェクトと指示位置のずれ量が大きい場合には、習熟度係数をそれまでよりも小さい値になるように更新する（ステップＳ９６）。そして、制御部１００は、操作オブジェクトの表示を制御しているアプリケーションプログラムに対して当該操作オブジェクトが選択されたことを通知する（ステップＳ９７）。
【００５１】
なお、制御部１００は、ステップＳ９３の判断が否定的（ＮＯ）になる場合とステップＳ９４の判断が否定的になる場合とで更新後の習熟度係数が異なるようにしてもよい。また、制御部１００は、ステップＳ７の場合と同様に、習熟度係数がずれ量に応じて段階的に変化する態様で更新を行ってもよい。
【００５２】
以上のように動作することで、表示装置１００は、拡大モードで表示される場合とそうでない場合とをユーザの操作の状況に応じて切り替えることが可能である。表示装置１００によれば、ユーザの習熟度が低い場合や、ユーザの運指スピードが速い場合には、そうでない場合に比べて拡大モードで表示されやすくなる。また、表示装置１００によれば、ユーザの意図を誤認するおそれが少ない場合には、拡大モードを経ることなく所望の操作オブジェクトを選択することが可能である。
【００５３】
図７は、ユーザの操作の態様を例示する図である。なお、ここにおいて、表示領域に表示されている画像（第１の画像）は、図６に例示した画像と同一のものであるとする。図７（ａ）に示す例は、図６（ａ）に示す例に比べ、ユーザの意図を誤認するおそれが少ない場合のものである。この場合、表示装置１００は、運指スピードや習熟度係数が同じ（すなわち当たり判定領域のサイズが同じ）であっても、図６（ａ）の例でのみ拡大モードに遷移し、図７（ａ）の例では拡大モードに遷移しない。
【００５４】
また、図７（ｂ）に示す例は、図６（ａ）に示す例に比べ、運指スピードが遅いか、あるいは習熟度係数が大きい場合のものである。すなわち、この場合のユーザは、操作をゆっくりと行っているか、あるいは操作に習熟しているかのいずれかである。この場合、当たり判定領域のサイズは、図６（ａ）の場合よりも小さくなる。それゆえ、この場合のユーザは、たとえ図６（ａ）の場合と同じ位置を指示したとしても、拡大モードに遷移することなく所望の操作オブジェクトを選択することが可能である。
【００５５】
［第２実施形態］
本実施形態は、上述した第１実施形態の一部を変更した実施の形態である。本実施形態は、タッチスクリーン部４００が、指示体が接触している状態だけでなく、指示体が接触せずに近接している状態をも検出可能な場合の例である。タッチスクリーン部４００は、例えば静電容量方式のセンサによって指示体を検出する場合に、このような検出が可能である。なお、ここでいう「近接」とは、センサの性能にもよるが、一般的には１ｃｍ程度である。
【００５６】
本実施形態と第１実施形態の構成上の主たる相違点は、センサ部４２０により出力される座標情報と第１検出部１２１が検出することのできる位置にある。本実施形態の座標情報は、２次元ではなく３次元の情報である。ただし、表示領域の法線方向の座標は、具体的な距離を表す情報である必要はなく、接触しているか近接しているかを区別できる情報であればよい。また、第１検出部１２１は、このような座標情報に基づいて、上述した指示位置、すなわちユーザの指が接触した位置だけでなく、指示位置に到達する前の近接した状態の位置も検出可能である。すなわち、第１検出部１２１は、ユーザが指示位置を指示する過程の軌跡を検出可能である。以下においては、第１検出部１２１により検出される位置のうちの指示位置のことを「接触位置」、それ以外の位置のことを「非接触位置」と表記することによってこれらを区別する。非接触位置は、一の接触位置に対して一又は複数検出され得る。なお、検出部１２０は、接触位置と非接触位置の双方について、履歴を記録する。
【００５７】
また、本実施形態と第１実施形態の動作上の主たる相違点は、領域計算処理の態様にある。本実施形態の表示装置１０は、接触位置及び非接触位置を検出することによって、ユーザが表示領域に徐々に指を近づけていることを検出することが可能であり、このような場合の指の位置の遷移を検出できる。表示装置１０は、このように指の位置の遷移を検出可能であると、その遷移の仕方に基づいて運指スピードを算出することが可能である。この場合、表示装置１０は、運指スピードを算出するために複数の指示位置（接触位置）を要さず、上述したステップＳ３１ａの判断を行ったり速さの基準値を用いたりしなくても運指スピードを算出することが可能である。なお、本実施形態の動作は、ステップＳ３の領域計算処理以外の処理については第１実施形態（図３参照）と同様である。
【００５８】
図８は、本実施形態の領域計算処理を示すフローチャートである。本実施形態において、制御部１００は、ステップＳ２において指示位置（接触位置）を検出すると、指示位置の座標情報と、当該指示位置より前に検出された非接触位置の座標情報を取得する（ステップＳ３１ｂ、Ｓ３２ｂ）。ここにおいて取得される非接触位置の座標情報は、指示位置の座標情報の検出時刻から所定の時間内（例えば、１〜２秒）に検出された位置のものだけでよい。制御部１００は、このとき、座標情報に対応付けられた検出時刻をあわせて取得する。
【００５９】
次に、制御部１００は、ステップＳ３１ｂ及びＳ３２ｂにおいて取得された情報に基づいて、運指スピードを算出する（ステップＳ３３ｂ）。このとき、制御部１００は、接触位置と一又は複数の非接触位置とを結んだ軌跡の距離と、その軌跡の終点の検出時刻と始点の検出時刻との時間差とを算出し、算出した距離を算出した時間差で除した値を運指スピードとする。制御部１００は、このようにして運指スピードを算出したら、習熟度係数を取得し（ステップＳ３４ｂ）、当たり判定領域のサイズを算出する（ステップＳ３５ｂ）。ステップＳ３４ｂ及びＳ３５ｂの動作は、第１実施形態のステップＳ３４ａ及びＳ３５ａの動作と同様のものである。
【００６０】
本実施形態の表示装置１０によれば、ユーザが指を表示領域に近づける動作に基づいて運指スピードを算出することが可能である。ゆえに、本実施形態においては、運指スピードの算出に際して、所定の時間内に指示位置が２回以上検出されている必要がない。
なお、表示装置１０は、本実施形態の動作と第１実施形態の動作を組み合わせて実行するようにしてもよい。例えば、表示装置１０は、所定の時間内に指示位置が２回以上検出されている場合には、２つの指示位置間の遷移に基づいて運指スピードを算出し、所定の時間内に指示位置が２回検出されていない場合には、非接触位置から接触位置への遷移に基づいて運指スピードを算出するようにすることも可能である。
【００６１】
［変形例］
本発明は、上述した実施形態に限定されることなく、例えば、以下に示す変形例に従った実施も可能である。なお、これらの変形例は、必要に応じて、適宜組み合わせて実施されてもよい。
【００６２】
（１）第２算出部１３２は、当たり判定領域に対するオフセットを算出する機能を有する。ここにおいて、オフセットとは、当たり判定領域の中心と指示位置とに対して設定されるずれのことをいう。第２算出部１３２は、当たり判定領域にオフセットを設ける必要がある場合に、そのずれの方向（以下「オフセット方向」という。）とずれ量（以下「オフセット量」という。）とを算出する。判定部１３０は、指示位置からこれらのオフセット量及びオフセット方向で移動させた位置を、当たり判定領域の中心として判定を行う。
【００６３】
オフセット量は、例えば、習熟度係数に応じて変化し、習熟度が高い場合ほど小さくなる。また、オフセット量は、運指スピードが大きい（速い）ほど大きくなる値であってもよい。一方、オフセット方向は、表示領域の傾きや、指示体がユーザの右側と左側のいずれかにあるかによって変化する。なお、当たり判定領域にオフセットを設けるか否かは、ユーザによって事前に設定されればよい。
【００６４】
オフセット方向は、例えば、ユーザが表示装置１０をどのように把持しており、タッチスクリーン上のどの位置を指示するかによって定まる。例えば、ユーザが左手で表示装置１０の下部（ユーザから見て手前側）を把持し、左手の親指で表示装置１０の右上部（ユーザから見て奥側）を指示する場合には、目標位置（指示しようとしている位置）に対して指が届きにくい。それゆえ、実際の指示位置は運指方向に対して目標位置よりも手前側（又は左側）になってしまうことが考えられるため、この場合には上方向（又は右方向）のオフセットが与えられるとよい。また、ユーザが左手の親指で表示装置１０の左下部（すなわち表示領域を指示する指の付け根に近い部分）を指示する場合であれば、下方向（又は左方向）のオフセットが与えられるとよい。なお、ユーザが操作している手の左右を判別する方法は、例えば以下のとおりである。
【００６５】
図９は、右手での操作と左手での操作の違いを説明するための図である。図９（ａ）は、表示装置１０を左手で把持しながらその親指（母指、第一指）で操作する態様を示す一方、図９（ｂ）は、表示装置１０を右手で把持しながらその親指で操作する態様を示す。なお、同図において、符号１０Ａは、タッチスクリーンが重ねられている表示領域である。このような把持態様において、ユーザが親指の付け根（第二関節）を回転中心として親指を動かすと、ドラッグ操作又はフリック操作が実現される。これらの操作は、タッチスクリーンを直線状に擦る操作である。しかし、このような操作は、ユーザ自身はタッチスクリーン上を直線的に擦っているつもりであっても、実際には円弧状になり、右手であれば左側、左手であれば右側にそれぞれ膨らむようになる。なぜならば、指の運動は、指のある関節を回転中心とした回転運動になるからである。
【００６６】
したがって、回転中心をそれぞれＰ1、Ｐ2としたとき、親指による指示位置の軌跡は、それぞれＬ1、Ｌ2のような曲線になる。Ｌ1は、Ｐ1を中心とした円の弧に近似可能であり、Ｌ2は、Ｐ2を中心とした円の弧に近似可能である。第２算出部１３２は、このような直線的な（つもりの）操作を左右の手で行った場合の膨らみ方の相違に基づき、ユーザが操作に用いている手を判別することが可能である。また、軌跡として曲線Ｌ1、Ｌ2が検出されれば、中心Ｐ1、Ｐ2の位置も推定可能であるため、ユーザが表示装置１０をどのように把持しているか（手前寄りで把持しているか、奥寄りで把持しているか、など）を推定的に判別することも可能である。なお、これらの判別は、ユーザの何気ない操作からでも可能である。ゆえに、ユーザは、明示的に、殊更に自分がどちらの手で操作しているかを教示するための操作を行わなくてもよい。
【００６７】
なお、この例の場合、第２算出部１３２は、オフセット方向の算出を当たり判定領域を用いた判定（図３参照）とは独立したタイミングで実行可能である。すなわち、第２算出部１３２は、ドラッグ操作やフリック操作が行われた場合に、その指示位置の軌跡に基づいてオフセット方向を事前に算出しておき、これをメモリに記憶させておけばよい。
【００６８】
また、指示位置の軌跡が円弧状になるという傾向は、表示装置１０を把持している手による操作に限らず、その反対側の手による操作においても認められる。表示装置１０を把持していない側の手で操作した場合の指示位置の軌跡は、手首や肘等の他の関節での運動も含めた複合的な回転運動となるが、円弧状、すなわち円弧に近似した形状の軌跡になることに変わりはない。
【００６９】
また、指示位置の軌跡を用いる例とは別に、第２算出部１３２は、第１検出部１２１が非接触位置を検出可能な場合には、接触位置と非接触位置との位置関係に基づいてオフセット方向を算出することも可能である。
【００７０】
図１０は、接触位置と非接触位置の位置関係を示す図である。同図に示すように、ユーザが人差し指（示指、第二指）で操作する場合には、接触位置Ｐaのほかに、人差し指の腹の部分（Ｐb、Ｐc）や他の指（Ｐd、Ｐe、Ｐf、Ｐg）が非接触位置として検出され得る。これらの非接触位置は、通常は、ユーザの手が右手であれば、接触位置よりも右寄りにあり、ユーザの手が左手であれば、接触位置よりも左寄りにある。そこで、第２算出部１３２は、非接触位置が接触位置よりも右側で多く検出された場合には、ユーザが右手で操作していると判別し、非接触位置が接触位置よりも左側で多く検出された場合には、ユーザが左手で操作していると判別することができる。
【００７１】
また、この例の場合、第２算出部１３２は、左右方向だけでなく上下方向のオフセット方向も算出可能である。なぜならば、ユーザが図１０に示すように操作した場合には、接触位置よりも手前側により多くの非接触位置が検出されるからである。よって、第２算出部１３２は、このような場合のオフセット方向を上方向とする。なお、第２算出部１３２は、上下左右の４方向だけでなく、「右上」や「左下」といった、より細かい種類でオフセット方向を算出してもよい。
【００７２】
（２）当たり判定領域は、運指スピードと習熟度係数の組み合わせに代えて、ある操作をしてから次の操作をするまでの距離（以下「運指距離」という。）と習熟度係数の組み合わせに基づいて定められてもよい。なぜならば、運指距離が長い場合には、これが短い場合に比べ、操作ミスを生じやすいといえるからである。よって、運指距離が長い場合に当たり判定領域のサイズを大きくすると、操作のやり直しや拡大モードへの移行が少なくなる効果が期待できる。
【００７３】
（３）当たり判定領域は、指示位置を含む領域であれば、必ずしも円形である必要はなく、例えば、楕円形や四角形であってもよい。当たり判定領域が楕円形の場合、制御部１００は、楕円の長径又は短径のいずれかを習熟度係数に基づいて算出したり、運指スピードと習熟度係数の組み合わせによって算出したりすればよい。また、当たり判定領域が四角形の場合、制御部１００は、四角形の長辺又は短辺のいずれかの長さを運指スピードや習熟度係数に基づいて算出すればよい。これらの場合において、長径（又は長辺）と短径（又は短辺）の比は、あらかじめ決められていればよい。
【００７４】
あるいは、制御部１００は、長径（又は長辺）をユーザの運指方向（指示体の進行方向）、短径（又は短辺）を運指方向に直交する方向とし、これらの各々に独立した習熟度係数を用意してそれぞれの値を算出することも可能である。このようにすれば、長径（又は長辺）と短径（又は短辺）の比がユーザの操作の仕方によって変わるようにすることが可能である。なお、操作上の誤差は、一般に、運指方向の方が運指方向に直交する方向よりも生じやすい。
【００７５】
（４）習熟度係数は、上述した実施形態と異なり、習熟度が高いほど小さくなる値であってもよい。この場合、当たり判定領域のサイズは、運指スピードと習熟度係数の積に基づいて定められる。なお、当たり判定領域のサイズは、運指スピードと習熟度係数の積そのものである必要はなく、適当な他の係数を加算したり乗算したりしたものであってもよい。また、習熟度係数を習熟度が高いほど小さくなる値とした場合、制御部１００は、当たり判定領域のサイズを大きくさせる場合には習熟度係数を大きくし、当たり判定領域のサイズを小さくさせる場合には習熟度係数を小さくする、というように、上述した実施形態とは反対の方向に習熟度係数を変化させる。
【００７６】
（５）速さの基準値は、あらかじめ決められた一定の値ではなく、習熟度係数に応じて異なる値としてもよい。例えば、制御部１００は、習熟度係数をいくつかのレベルに分け、そのレベルに応じた複数の基準値をあらかじめ記憶しておいてもよい。あるいは、制御部１００は、習熟度係数を変数とする関数によって演算を行い、そのときどきの習熟度係数に応じた基準値を算出するようにしてもよい。
【００７７】
（６）第２の画像は、第１の画像を拡大した画像でなくてもよい。第２の画像は、ユーザが選択したい操作オブジェクトの候補が複数ある場合に、そのいずれかをユーザに選択させることができる画像であれば、その具体的な表示態様を問わないものである。
図１１は、第２の画像の他の例である。制御部１００は、図６（ｂ）に例示した画像に代えて、図１１（ａ）又は図１１（ｂ）に示す画像を表示させてもよい。図１１（ａ）の画像は、オブジェクトａ及びｂを拡大せずに、位置を調整して表示するものである。また、図１１（ｂ）の画像は、オブジェクトａ及びｂに代えて、これらに割り当てられている名前を選択肢として表示するものである。このとき、１番の選択肢がある物理キーに対応付けられ、２番の選択肢が別の物理キーに対応付けられることにより、ユーザは物理キー部５００を介して所望の操作オブジェクトを選択することができる。
【００７８】
（７）表示装置１０は、ユーザを識別する機能を有するとともに、それぞれのユーザに応じた習熟度係数を処理に用いるようにしてもよい。ユーザを識別する機能は、例えば、ユーザにＩＤやパスワードを入力させることによって実現してもよいし、指紋等の生体情報を読み取ることによって実現してもよい。また、本発明を通信端末で実施する場合であれば、ＵＩＭカード又はＳＩＭカードに記録された情報に基づいてユーザを識別することも可能である。
【００７９】
（８）本発明は、タッチスクリーンを有する表示装置に限らず、指示体の位置を検出可能なさまざまな表示装置で実施することができる。例えば、指示体の位置は、カメラ等の撮影手段によって光学的に検出されてもよいし、赤外線や超音波によって検出されてもよい。また、指示体として磁性体を含む器具を用いる場合には、指示体の位置を磁気的に検出することも可能である。
【００８０】
（９）本発明は、携帯電話機やスマートフォンに限らず、例えば、タブレットＰＣ（Personal Computer）、電子辞書、携帯ゲーム機など、さまざまな電子機器において実施することができる。また、ユーザが各自の記録媒体（ＩＣチップ付きのクレジットカード、キャッシュカード、プリペイドカード等）を使用して処理を行う処理端末においても、ユーザを識別する情報や習熟度係数を当該記録媒体に記録することで本発明を実施することが可能である。かかる処理端末は、例えば、切符等の自動券売機やＡＴＭ（Automated Teller Machine）である。
【００８１】
（１０）本発明に係るユーザインタフェース装置は、上述した表示装置１０の形態に限らず、表示装置と別体に構成された形態であってもよい。例えば、本発明は、制御部１００に相当する構成を少なくとも有するコンピュータ装置と、タッチスクリーン部４００に相当する構成を少なくとも有し、当該コンピュータ装置に無線通信等により接続される表示装置とを含むシステムによっても実施可能である。この場合、コンピュータ装置は、表示装置と情報をやりとりする手段を備えていれば、本発明に係るユーザインタフェース装置として機能することができる。
【００８２】
（１１）本発明は、上記コンピュータ装置が実行するプログラムや、当たり判定領域等を用いてユーザの操作を受け付けるための方法として把握することも可能である。上記プログラムは、光ディスク等の記録媒体に記録した形態や、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にする形態などでも提供可能である。
【符号の説明】
【００８３】
１０…表示装置、１００…制御部、１１０…表示制御部、１２０…検出部、１２１…第１検出部、１２２…第２検出部、１３０…判定部、１３１…第１算出部、１３２…第２算出部、１４０…特定部、１５０…更新部、２００…記憶部、３００…通信部、４００…タッチスクリーン部、４１０…表示部、４２０…センサ部、５００…物理キー部
【技術分野】
【０００１】
本発明は、表示装置を介したユーザインタフェースに関する。
【背景技術】
【０００２】
タッチスクリーン（タッチパネルともいう。）を備える表示装置は、ボタン、アイコン等のオブジェクトを比較的自由に配置することができ、この点において位置が固定的なキー（いわゆる物理キー）よりも有利であるといえる。一方、上記のようなオブジェクトは、位置が固定的でないゆえに、物理キーよりも操作ミスが生じやすいともいえる。特許文献１には、タッチパネル付き表示装置において、タッチ位置の近傍領域の画像を拡大して表示することによって操作性を向上させる技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１５２２１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
タッチスクリーン上の操作における操作ミスの発生率は、第一には、ユーザ（操作者）の操作の巧拙、すなわち習熟の度合いによって変化する。しかしながら、操作ミスの発生率は、同一のユーザであれば常に同程度になるというわけではなく、実際には、そのときどきの操作の状況によっても変化する。
そこで、本発明は、ユーザの意図が反映されやすくなるように、当たり判定領域のサイズを状況に応じて変化させることを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係るユーザインタフェース装置は、表示領域に画像を表示する表示部と、選択可能なオブジェクトを含む第１の画像を前記表示領域に表示させる表示制御部と、操作者により指示された前記表示領域上の位置を検出する検出部と、前記検出部により前記第１の画像において検出された位置を含み、前記検出部により検出された位置の遷移と前記操作者の習熟度を示す習熟度係数とによりサイズが定まる当たり判定領域内に前記オブジェクトがあるか判定する判定部と、前記操作者による指示に基づいて当該操作者の操作を特定する特定部であって、前記判定部により前記当たり判定領域内に一の前記オブジェクトがあると判定された場合に、前記第１の画像における前記指示を当該オブジェクトを選択する操作であると特定する特定部と、前記特定部により操作が特定された場合に、前記検出部により前記第１の画像において検出された位置と当該操作により選択された前記オブジェクトとの距離に応じて前記習熟度係数を更新する更新部とを備える構成を有する。
【０００６】
好ましい態様において、前記ユーザインタフェース装置は、前記判定部により前記当たり判定領域内に複数の前記オブジェクトがあると判定された場合に、前記表示制御部は、前記複数のオブジェクトのいずれかを前記操作者に選択させるための第２の画像を前記表示領域に表示させ、前記特定部は、前記第１の画像における前記指示を前記第２の画像において前記操作者に選択された前記オブジェクトに対する操作であると特定し、前記更新部は、前記検出部により前記第１の画像において検出された位置と前記第２の画像において選択された前記オブジェクトの前記第１の画像における位置との距離に応じて前記習熟度係数を更新する。
別の好ましい態様において、前記表示制御部は、前記第１の画像を所定の倍率で拡大した画像であって前記検出部により検出された位置を含む画像を前記第２の画像として表示し、前記倍率を前記当たり判定領域のサイズ又は前記習熟度係数に応じて変化させる。
さらに別の好ましい態様において、前記更新部は、前記第２の画像において前記操作者に選択されたオブジェクトが、前記第１の画像において検出された位置からの距離が最短のオブジェクトでない場合に、前記習熟度係数を前記当たり判定領域のサイズを大きくさせるように更新する。
さらに別の好ましい態様において、前記判定部は、前記検出部により検出された位置の遷移に基づいて前記操作者による指示の速さを算出する第１算出部を有し、前記速さと前記習熟度係数とを用いた演算により、前記速さが大きいほど前記当たり判定領域が大きくなるように前記サイズを定める。
さらに別の好ましい態様において、前記検出部は、前記操作者が指示体により前記位置を指示する場合に、当該指示体が前記表示領域に接触した位置である接触位置と、当該指示体が当該接触位置に到達する前の位置である一又は複数の非接触位置とを検出し、前記第１算出部は、前記非接触位置から前記接触位置への遷移に基づいて前記速さを算出する。
さらに別の好ましい態様において、前記更新部は、前記判定部による判定の際に前記検出部により検出された前記位置の検出時刻と、前記検出部により当該位置の直前に検出された位置の検出時刻との差が閾値以上である場合に、前記第１算出部により算出された速さに代えてあらかじめ決められた基準値を前記演算に用いる。
さらに別の好ましい態様において、前記更新部は、前記基準値を前記習熟度係数に応じて異ならせる。
さらに別の好ましい態様において、前記判定部は、オフセット量及びオフセット方向を算出する第２算出部を備え、前記検出部により前記第１の画像において検出された位置から前記第２算出部により算出されたオフセット量及びオフセット方向で移動させた位置を前記当たり判定領域の中心として判定を行う。
さらに別の好ましい態様において、前記判定部は、前記当たり判定領域のサイズが所定の最大サイズを超えないように制限して判定を行う。
【０００７】
本発明の他の態様に係る表示装置の操作受付方法は、選択可能なオブジェクトを含む第１の画像を表示領域に表示する表示ステップと、操作者により指示された前記表示領域上の位置を検出する検出ステップと、前記検出ステップにおいて前記第１の画像において検出された位置を含み、当該位置及び当該位置以前に検出された位置の遷移と前記操作者の習熟度を示す習熟度係数とによりサイズが定まる当たり判定領域内に一の前記オブジェクトがある場合に、前記第１の画像における前記指示を当該オブジェクトを選択する操作であると特定する特定ステップと、前記検出ステップにおいて検出された位置と前記操作により選択された前記オブジェクトとの距離に応じて前記習熟度係数を更新する更新ステップとを有する。
【０００８】
本発明の他の態様に係るプログラムは、表示領域に画像を表示する表示装置のコンピュータに、選択可能なオブジェクトを含む第１の画像を前記表示領域に表示させる表示制御ステップと、操作者により指示された前記表示領域上の位置を検出する検出ステップと、前記第１の画像を表示している前記表示領域において、前記検出ステップにおいて検出された前記位置を含み、前記検出部により検出された位置の遷移と前記操作者の習熟度を示す習熟度係数とによりサイズが定まる当たり判定領域内に前記オブジェクトがあるか判定する判定ステップと、前記操作者による指示に基づいて当該操作者の操作を特定する特定ステップであって、前記判定ステップにおいて前記当たり判定領域内に一の前記オブジェクトがあると判定された場合に、前記第１の画像における前記指示を当該オブジェクトを選択する操作であると特定する特定ステップと、前記特定ステップにおいて操作が特定された場合に、前記検出ステップにおいて前記第１の画像において検出された位置と当該操作により選択された前記オブジェクトとの距離に応じて前記習熟度係数を更新する更新ステップとを実行させるためのものである。
【発明の効果】
【０００９】
本発明によれば、ユーザの意図が反映されやすくなるように、当たり判定領域のサイズを状況に応じて変化させることが可能である。
【図面の簡単な説明】
【００１０】
【図１】表示装置の構成を示すブロック図
【図２】表示装置の機能的構成を示す機能ブロック図
【図３】表示装置の動作を示すフローチャート
【図４】領域計算処理を示すフローチャート
【図５】拡大モード処理を示すフローチャート
【図６】拡大前後の画像の表示態様を例示する図
【図７】ユーザの操作の態様及び当たり判定領域を例示する図
【図８】領域計算処理を示すフローチャート
【図９】右手での操作と左手での操作の違いを説明するための図
【図１０】接触位置と非接触位置の位置関係を説明するための図
【図１１】第２の画像の他の例
【発明を実施するための形態】
【００１１】
［発明の要旨］
本発明は、指示体による表示領域に対する指示を検出する手段（タッチスクリーン等）を備える表示装置において、ユーザの操作を受け付けるための領域（以下「当たり判定領域」という。）を指示位置の近傍に設定し、この当たり判定領域に含まれるオブジェクトをユーザの操作対象とみなすものである。ここにおいて、指示体とは、ユーザが指示を行うための身体の部位又は器具をいい、例えば、ユーザの指やスタイラスである。
【００１２】
当たり判定領域を設けると、ユーザ自身はオブジェクトを指示したつもりであったが、実際にはオブジェクトからわずかにずれた位置を指示していた、といった場合に、このような（正しくない）指示をオブジェクトを指示した操作であるとみなすことができる。したがって、当たり判定領域は、操作ミスを操作ミスでないとみなすことを可能にするものであるといえる。
【００１３】
本発明の当たり判定領域は、ユーザの操作の習熟の度合い（以下「習熟度」という。）によってサイズが変化する。当たり判定領域は、基本的には、ユーザが表示装置の操作に習熟した者であるほど小さくなる。そのようなユーザは、自身の意図と異なる位置を指示することが少ないと推測されるからである。なお、本発明の習熟度は、ユーザ毎に異ならせることが可能であり、また、ユーザの操作の累積により更新することも可能である。
【００１４】
ところで、操作ミスの発生率は、同一のユーザであれば常に同程度になるというわけではない。例えば、ユーザが指示体を素早く動かしている場合や、指示体の移動距離が長い場合には、そうでない場合よりも操作ミスが生じやすいといえる。ゆえに、操作ミスの発生率は、ユーザによる指示の遷移の態様（距離又は速度）と相関を有しているといえる。また、当たり判定領域を設けると、複数のオブジェクトが密集している場合とそうでない場合とでも、ユーザの意図しない操作が行われる可能性が変化する。
【００１５】
そこで、本発明は、当たり判定領域のサイズを習熟度と指示の遷移との組み合わせによって定めることにより、当たり判定領域がそのときどきの状況に応じたサイズになるように構成したものである。また、本発明においては、当たり判定領域内に複数のオブジェクトがある場合とそうでない場合とで表示の態様を異ならせることにより、ユーザの操作が当人の意図していない操作と誤認されないようにすることと、誤認のおそれが少ない場合の操作を簡単にすることとを可能にしている。さらに、本発明は、このような表示態様の特徴と当たり判定領域のサイズが変化する特徴とが相まって、複数のオブジェクトが表示されている場合の操作の受け付け方がユーザの操作の蓄積に応じて最適なものになるように変化していくという効果も奏し得るものである。
【００１６】
［第１実施形態］
図１は、本発明の一実施形態である表示装置１０の構成を示すブロック図である。表示装置１０は、タッチスクリーンが重ねて設けられた表示領域を有する通信端末であり、本発明のユーザインタフェース装置に相当する構成を含むものである。表示装置１０は、例えば、携帯電話機やスマートフォンであり、ユーザが手に持った状態で片手で操作できる程度のサイズ及び形状を有するものとする。なお、表示装置１０は、ここでは、ユーザが指で操作するものであるとする。つまり、本実施形態における指示体は、ユーザ自身の指である。
【００１７】
表示装置１０は、図１に示すように、制御部１００と、記憶部２００と、通信部３００と、タッチスクリーン部４００と、物理キー部５００とを少なくとも備える。なお、表示装置１０は、これらの構成要素のほかに、音声を入出力するための手段（スピーカ、マイクロホン）やバイブレータ、さらには表示領域の傾きを検出するための加速度センサやジャイロセンサなどを備えてもよい。
【００１８】
制御部１００は、表示装置１０の全体の動作を制御する手段である。制御部１００は、ＣＰＵ（Central Processing Unit）等の演算処理装置と主記憶装置に相当するメモリとを備え、プログラムを実行することによって所定の機能を実現する。制御部１００は、後述する各構成要素間での情報の受け渡しを制御したり、その受け渡しの途中で情報の加工（演算等）を行ったりする。
【００１９】
記憶部２００は、情報を記憶する手段である。記憶部２００は、ハードディスクやフラッシュメモリなど、補助記憶装置に相当する記憶手段を有し、制御部１００が制御に用いるデータやアプリケーションプログラムを記憶する。記憶部２００は、リムーバブルメディア、すなわち着脱可能な記憶手段を含んでもよいし、ＵＩＭ（User Identity Module）カードやＳＩＭ（Subscriber Identity Module）カードのような、ユーザ（又は表示装置１０）を識別するためのデータが記録された記憶手段を含んでもよい。
【００２０】
通信部３００は、外部装置と通信するための手段である。通信部３００は、本実施形態においては、移動通信網等のネットワークに接続するための手段であるとするが、ＮＦＣ（Near Field Communication）等のネットワークを介さずに外部装置と直接通信する手段であってもよい。なお、通信部３００は、本発明にあっては必須の構成要件ではない。
【００２１】
タッチスクリーン部４００は、画像を表示するとともにユーザの操作を受け付ける手段である。タッチスクリーン部４００は、より詳細には、表示部４１０とセンサ部４２０とを備える。表示部４１０は、液晶素子や有機ＥＬ（electroluminescence）素子により画像を表示する表示パネルと、表示パネルを駆動する駆動回路等を備える。センサ部４２０は、表示部４１０の表示領域に重ねて設けられるセンサを備え、ユーザに指示された位置（以下「指示位置」という。）を表す座標情報を制御部１００に供給する。座標情報は、ここでは、表示領域の適当な位置を原点とした２次元直交座標系で記述されるものとする。センサ部４２０のセンサは、例えば、指との静電結合を利用して指を感知する静電容量方式のセンサである。
【００２２】
物理キー部５００は、センサ部４２０と同様に、ユーザの操作を受け付ける手段である。ただし、物理キー部５００は、いわゆる物理キーを備える点においてセンサ部４２０と異なる。物理キー部５００の物理キーは、表示部４１０の表示領域とは異なる位置に設けられている。物理キー部５００は、ユーザに選択された物理キーを表すキー情報を制御部１００に供給する。
【００２３】
表示装置１０の構成は、以上のとおりである。この構成のもと、表示装置１０は、アプリケーションプログラムを実行することによって表示領域に画像を表示するとともに、表示領域に表示する画像をユーザの操作に応じて変化させる。表示装置１０により実行されるアプリケーションプログラムは、例えば、通信部３００を介してＨＴＭＬ（HyperText Markup Language）データを受信してＷｅｂページを表示するプログラム（いわゆるＷｅｂブラウザ）や、地図等の画像をユーザの操作に応じて拡大・縮小・スクロールなどして表示するプログラムである。表示装置１０が実行するプログラムは、単一である必要はなく、複数あってもよい。
【００２４】
表示装置１０は、表示する画像に選択可能なオブジェクトを含む場合に、当たり判定領域を用いてユーザの操作を特定する。ここにおいて、選択可能なオブジェクトとは、表示領域に表示される画像のうちのユーザの操作を受け付けることが可能なものをいい、例えば、いわゆるボタンの機能を有する画像のほか、アイコンやハイパーリンクがこれに該当する。また、選択可能なオブジェクトは、いわゆるアバターのような画像であって、ユーザの操作に応じて何らかの反応を示すものであってもよい。以下においては、このような選択可能なオブジェクトのことを「操作オブジェクト」という。
【００２５】
図２は、表示装置１０の機能的構成のうち、特にタッチスクリーン部４００によって操作を受け付ける機能（以下「操作受付機能」という。）に関するものを示す機能ブロック図である。表示装置１０の制御部１００は、同図に示す表示制御部１１０、検出部１２０、判定部１３０、特定部１４０及び更新部１５０の各部に相当する機能を実現し、タッチスクリーン部４００を介した操作を受け付ける。なお、この操作受付機能は、オペレーティングシステムに備わる機能であってもよいし、特定のアプリケーションプログラムに備わる機能であってもよい。
【００２６】
表示制御部１１０は、表示部４１０の表示領域に画像を表示させる機能を有する。表示制御部１１０は、判定部１３０による判定結果に応じて、表示させる画像を切り替えることが可能である。表示制御部１１０により表示部４１０に表示される画像には、一又は複数の操作オブジェクトを含む画像（第１の画像）と、操作オブジェクトをユーザに選択させるための画像（第２の画像）とが含まれる。
【００２７】
検出部１２０は、ユーザによる操作に関する動作を検出する機能を有する。検出部１２０は、より詳細には、第１検出部１２１と第２検出部１２２とに機能的に分類される。第１検出部１２１は、センサ部４２０から座標情報を取得することにより、表示領域上のユーザによって指示された位置（すなわち指示位置）を検出する。一方、第２検出部１２２は、物理キー部５００からキー情報を取得することにより、ユーザによって選択された物理キーを検出する。検出部１２０は、検出した動作を履歴として記録する機能をさらに有する。ここでいう履歴は、検出した動作とその検出時刻とを対応付けて記録したものである。
【００２８】
なお、検出部１２０は、ユーザの操作の種別を検出する機能をさらに有してもよい。ここでいう種別は、タップ（表示領域の表面を１回軽く叩く操作）、ダブルタップ（表示領域の表面を２回続けて軽く叩く操作）、ドラッグ（指示体を表示領域に触れたまま動かす操作）といった操作を区別するためのものである。
【００２９】
判定部１３０は、第１検出部１２１が指示位置を検出した場合に、その指示位置の近傍に操作オブジェクトがあるか否かを判定する機能を有する。ここでいう近傍とは、当たり判定領域によって定められる範囲のことである。本実施形態において、当たり判定領域は、指示位置を中心とした円であるとする。この円の半径（すなわちサイズ）は、後述するユーザの運指スピードとユーザの習熟度を示す習熟度係数とによって定まる。
【００３０】
判定部１３０は、さらに第１算出部１３１と第２算出部１３２とを有し、これらの算出結果を用いて判定を行ってもよい。第１算出部１３１は、第１検出部１２１により検出された位置の遷移に基づいて、ユーザの運指スピードを算出する機能を有する。ここにおいて、運指とは、ユーザの指の運び方（動かし方）のことであり、運指スピードとは、ユーザによって指示が連続的に行われた場合の指示の速さのことである。なお、運指スピードは、運指の方向に関する情報を含まないスカラー量である。本実施形態において、第１算出部１３１は、運指スピードを算出する必要が生じた場合に、その時点で検出されている最新の指示位置の検出時刻と、当該指示位置の直前に検出された指示位置の検出時刻とを用いて運指スピードを算出する。ただし、第１算出部１３１は、２つの指示位置の間での移動の速さに限らず、３つ以上の位置の間での移動の速さ（例えば平均値）を算出してもよい。なお、第２算出部１３２は、本実施形態では用いられないものとし、後述する変形例において説明される。
【００３１】
特定部１４０は、ユーザの指示に基づいてユーザの操作を特定する機能を有する。換言すれば、特定部１４０は、ユーザが表示領域上のある位置を指し示した動作を、操作オブジェクトを選択する操作に相当すると特定する機能を有する。ここにおいて、ユーザの指示位置は、必ずしも操作オブジェクトそのものの位置ではない。よって、特定部１４０による特定には、操作オブジェクトを選択する操作であるか否かが不明な指示がいずれに相当するのかを、当たり判定領域等の諸条件を用いて判断することが含まれる。
【００３２】
更新部１５０は、特定部１４０による特定結果に基づいて習熟度係数を更新する機能を有する。更新部１５０は、特定部１４０により特定された操作がどれだけ正確な指示によって行われていたかによって習熟度係数を変更する。更新部１５０は、習熟度係数を制御部１００のメモリ又は記憶部２００に記録する。判定部１３０は、更新部１５０による更新後の習熟度係数を用いて判定を行うことで、ユーザの操作の態様を判定に反映させる。その結果、習熟度係数及び当たり判定領域のサイズは、ユーザの操作が繰り返されることによって、そのユーザに適したものに変わっていくことが期待される。
【００３３】
図３は、表示装置１００の操作受付機能に関する一連の動作を示すフローチャートである。制御部１００は、まず、操作オブジェクトを含む画像（後述する第１の画像）をタッチスクリーン部４００に表示させ（ステップＳ１）、ユーザによるタッチスクリーン部４００への指示を検出する（ステップＳ２）。制御部１００は、指示位置を検出すると、これに基づいて当たり判定領域のサイズ（ここでは半径）を算出する処理を実行する（ステップＳ３）。ステップＳ３の処理のことを、以下においては「領域計算処理」という。
【００３４】
図４は、領域計算処理を示すフローチャートである。領域計算処理において、制御部１００は、ステップＳ２において検出された指示位置の検出時刻と、当該指示位置の直前に検出された指示位置の検出時刻との時間差を算出し、その時間差が所定の閾値未満であるか否かを判断する（ステップＳ３１ａ）。ステップＳ３１ａの判断は、換言すれば、ユーザによる指示の連続性を判断するものである。運指スピードを計算によって求めるためには、２回の指示が一連の動作の中で続けて行われたものであることが望ましい。なぜならば、ユーザが、２回の指示の間に指を止め、別の動作を行っていたり考えごとをしたりしていた場合には、これらの指示の時間差は非常に大きくなってしまい、ここから運指スピードを求めるのは必ずしも適当でないからである。制御部１００は、このような場合を除外できるように設定された適当な閾値を用いて、運指スピードを計算によって求めるか否かを判断する。
【００３５】
制御部１００は、２つの指示位置の検出時刻の時間差が閾値未満である場合には、運指スピードを算出する（ステップＳ３２ａ）。運指スピードは、２つの指示位置間の距離を時間差で除した値である。一方、２つの指示位置の検出時刻の時間差が閾値以上である場合には、制御部１００は、ステップＳ３２ａで算出される運指スピードに代えて用いられる速さの基準値を取得する（ステップＳ３３ａ）。この基準値は、あらかじめ決められた値であり、制御部１００のメモリ又は記憶部２００に記憶されている。
【００３６】
そして、制御部１００は、習熟度係数を取得し（ステップＳ３４ａ）、当たり判定領域のサイズを算出する（ステップＳ３５ａ）。本実施形態において、当たり判定領域のサイズは、円の半径によって表現可能である。ここにおいて、当たり判定領域の半径をｒ、習熟度係数をｄ、運指スピードをｖ、速さの基準値をｖdefとすると、当たり判定領域の半径は以下の（１）式又は（２）式によって表される。なお、習熟度係数ｄは、ここでは、ユーザの習熟度が高い（すなわち習熟している）場合ほど大きくなる値であるとする。
ｒ＝ｖ／ｄ …（１）
ｒ＝ｖdef／ｄ …（２）
【００３７】
制御部１００は、運指スピードを算出した場合には（１）式を、そうでない場合には（２）式をそれぞれ用いて、当たり判定領域ｒを算出する。なお、当たり判定領域の半径ｒは、運指スピードが大きいほど大きくなり、習熟度係数が大きいほど小さくなればよく、その算出式が上記の（１）式又は（２）式に限定されるわけではない。（１）式は、半径ｒ、習熟度係数ｄ及び運指スピードｖの関係を最も簡単に示した一例である。
【００３８】
なお、当たり判定領域のサイズは、所定の最大サイズを超えないように制限されていることが望ましい。なぜならば、当たり判定領域のサイズが必要以上に大きくなると、ユーザが意図していない操作オブジェクトまでもが当たり判定領域に含まれてしまう可能性が増大するからである。そこで、本実施形態の制御部１００は、半径ｒに上限値を定め、（１）式又は（２）式によって算出された半径ｒが上限値を超える場合には、半径ｒをその算出結果によらずに上限値に設定するようにする。
【００３９】
図４の領域計算処理によって当たり判定領域のサイズを求めたら、続いて制御部１００は、ステップＳ２において検出された指示位置を中心とした半径ｒの当たり判定領域内に操作オブジェクトがあるか判定する。ここにおいて、当たり判定領域内に操作オブジェクトがある状態とは、操作オブジェクトの全体が当たり判定領域内に含まれることを要するものではなく、操作オブジェクトの少なくとも一部が当たり判定領域内に含まれていればよいものである。
【００４０】
この判定は、具体的には、当たり判定領域内に操作オブジェクトがあるか否かを判断する第１の判断（ステップＳ４）と、当たり判定領域内にある操作オブジェクトが単数か複数であるかを判断する第２の判断（ステップＳ５）とによって実現される。制御部１００は、当たり判定領域内に操作オブジェクトがない場合には、ステップＳ２における指示が操作オブジェクトを選択する操作に該当しないと判断し、処理を終了させる。また、制御部１００は、当たり判定領域内に複数の操作オブジェクトがある場合には、後述する拡大モード処理を実行する（ステップＳ９）。
【００４１】
一方、当たり判定領域内に一の操作オブジェクトがある場合には、制御部１００は、ステップＳ２における指示が操作オブジェクトを選択する操作に該当すると判断する。この場合、制御部１００は、操作オブジェクトの表示を制御しているアプリケーションプログラムに対して当該操作オブジェクトが選択されたことを通知する（ステップＳ８）。また、制御部１００は、これに先立ち、選択された操作オブジェクトと指示位置とのずれ量を算出し（ステップＳ６）、そのずれ量に応じて習熟度係数を更新する（ステップＳ７）。
【００４２】
ここでいうずれ量は、ユーザの指示位置が実際に選択された操作オブジェクトに対してどの程度離れているかを示す数値である。このずれ量は、例えば、操作オブジェクトの重心位置と指示位置との間の距離であってもよいし、指示位置が操作オブジェクトと重ならない場合であれば、指示位置と操作オブジェクト上の任意の１点とを結んだときの最短距離であってもよい。例えば、制御部１００は、算出されたずれ量が所定の閾値よりも小さい場合には、（当たり判定領域のサイズを小さくさせるために）習熟度係数を大きくする。あるいは、制御部１００は、算出されたずれ量が所定の閾値よりも大きい場合には、（当たり判定領域のサイズを大きくさせるために）習熟度係数を小さくする。なお、操作オブジェクトの重心位置とは、オブジェクトが対称な図形であれば、その中心の位置のことである。また、操作オブジェクトの重心位置は、オブジェクト全体を質量分布が一様な物体であるとみなした場合の質量中心の位置であってもよい。
【００４３】
制御部１００は、習熟度係数を必ずしも更新しなくてもよい。例えば、制御部１００は、算出されたずれ量が第１の閾値未満である場合には習熟度係数を大きくし、当該ずれ量が（第１の閾値よりも大きい）第２の閾値以上である場合には習熟度係数を小さくする一方、当該ずれ量が第１の閾値以上かつ第２の閾値未満である場合には、習熟度係数を更新せずにそのままの値としてもよい。また、制御部１００は、これよりも多くの閾値を用いて、習熟度係数を段階的に大きくしたり小さくしたりすることも可能である。
【００４４】
上述したステップＳ６〜Ｓ８の動作は、ユーザが選択しようとした操作オブジェクトが一意的に特定できると判断された場合の動作である。一方、ユーザが選択しようとした操作オブジェクトとして複数の操作オブジェクトが想定できる場合には、制御部１００は、ステップＳ６〜Ｓ８のように一意的に判断せずに、ユーザに選択させるようにする。このとき、制御部１００は、それまで表示していた画像を拡大表示させることにより、ユーザによる選択を容易にさせる。ステップＳ９の拡大モード処理とは、このようにして画像を拡大表示させてユーザに操作オブジェクトの選択を促すための処理である。また、このように画像を拡大表示させるモードのことを、以下においては「拡大モード」という。
【００４５】
図５は、拡大モード処理を示すフローチャートである。また、図６は、拡大前後の画像の表示態様を例示する図である。なお、図６において、当たり判定領域は、指示位置である点Ｃを中心とした破線で示した円である。また、操作オブジェクトは、図中のＯａ及びＯｂであり、以下ではこれらを「オブジェクトａ」、「オブジェクトｂ」という。さらに、以下においては、図６（ａ）に示す拡大前の画像を「第１の画像」といい、図６（ｂ）に示す拡大後の画像を「第２の画像」という。
【００４６】
拡大モード処理において、制御部１００は、まず、第２の画像を表示部４１０に表示させる（ステップＳ９１）。このとき、制御部１００は、表示部４１０に表示される画像を第１の画像から第２の画像に切り替えてもよいが、第１の画像を非表示にすることなく第２の画像を表示することも可能である。例えば、制御部は、表示領域の半分に第１の画像を表示させ、残りの半分に第２の画像を表示させてもよいし、第２の画像を第１の画像に重なるようにポップアップ表示させてもよい。また、表示部４１０が複数の表示領域を独立に有する場合には、第１の画像と第２の画像とがそれぞれ別の表示領域に表示されてもよい。
【００４７】
本実施形態において、第２の画像は、第１の画像を所定の倍率で拡大させた画像である。第２の画像の倍率は、オブジェクトａ及びｂを容易に選択できる程度であることが望ましい。なお、制御部１００は、第２の画像の倍率を、当たり判定領域のサイズや習熟度係数に応じて変化させることも可能である。例えば、制御部１００は、当たり判定領域が大きいほど倍率を上げたり、習熟度係数が小さいほど倍率を上げたりしてもよい。
また、第２の画像は、図６（ｂ）に示すように、ユーザに選択を促すようなメッセージを含んで構成されてもよい。
【００４８】
第２の画像を表示させた状態において、制御部１００は、ユーザが選択した操作オブジェクトを特定する（ステップＳ９２）。このとき、ユーザは、タッチスクリーン部４００によって操作オブジェクトを指示することで操作オブジェクトを選択する。なお、表示されている操作オブジェクトと物理キーとを対応付ければ、操作オブジェクトの選択には（タッチスクリーン部４００ではなく）物理キー部５００が用いられてもよい。
【００４９】
このようにして操作オブジェクトが一意的に特定されたら、制御部１００は、ユーザによって選択された操作オブジェクトが複数の操作オブジェクトのうちの指示位置からの距離が最短の操作オブジェクト、すなわち、ステップＳ２において検出された指示位置からみて最近傍にある操作オブジェクトであるか否かを判断する（ステップＳ９３）。また、制御部１００は、ユーザによって選択された操作オブジェクトが指示位置から最近傍の操作オブジェクトであった場合には、その指示位置とのずれ量を判断する。ここでは、制御部１００は、第２の画像においてユーザによって選択された操作オブジェクトの第１の画像における重心位置が当たり判定領域内に含まれるか否かを判断することでずれ量を判断する（ステップＳ９４）。
【００５０】
制御部１００は、ユーザによって選択された操作オブジェクトが指示位置から最近傍の操作オブジェクトであり、かつ、そのずれ量が小さい場合には、習熟度係数をそれまでよりも大きい値になるように更新する（ステップＳ９５）。一方、制御部１００は、ユーザによって選択された操作オブジェクトが指示位置から最近傍の操作オブジェクトでない場合や、ユーザによって選択された操作オブジェクトと指示位置のずれ量が大きい場合には、習熟度係数をそれまでよりも小さい値になるように更新する（ステップＳ９６）。そして、制御部１００は、操作オブジェクトの表示を制御しているアプリケーションプログラムに対して当該操作オブジェクトが選択されたことを通知する（ステップＳ９７）。
【００５１】
なお、制御部１００は、ステップＳ９３の判断が否定的（ＮＯ）になる場合とステップＳ９４の判断が否定的になる場合とで更新後の習熟度係数が異なるようにしてもよい。また、制御部１００は、ステップＳ７の場合と同様に、習熟度係数がずれ量に応じて段階的に変化する態様で更新を行ってもよい。
【００５２】
以上のように動作することで、表示装置１００は、拡大モードで表示される場合とそうでない場合とをユーザの操作の状況に応じて切り替えることが可能である。表示装置１００によれば、ユーザの習熟度が低い場合や、ユーザの運指スピードが速い場合には、そうでない場合に比べて拡大モードで表示されやすくなる。また、表示装置１００によれば、ユーザの意図を誤認するおそれが少ない場合には、拡大モードを経ることなく所望の操作オブジェクトを選択することが可能である。
【００５３】
図７は、ユーザの操作の態様を例示する図である。なお、ここにおいて、表示領域に表示されている画像（第１の画像）は、図６に例示した画像と同一のものであるとする。図７（ａ）に示す例は、図６（ａ）に示す例に比べ、ユーザの意図を誤認するおそれが少ない場合のものである。この場合、表示装置１００は、運指スピードや習熟度係数が同じ（すなわち当たり判定領域のサイズが同じ）であっても、図６（ａ）の例でのみ拡大モードに遷移し、図７（ａ）の例では拡大モードに遷移しない。
【００５４】
また、図７（ｂ）に示す例は、図６（ａ）に示す例に比べ、運指スピードが遅いか、あるいは習熟度係数が大きい場合のものである。すなわち、この場合のユーザは、操作をゆっくりと行っているか、あるいは操作に習熟しているかのいずれかである。この場合、当たり判定領域のサイズは、図６（ａ）の場合よりも小さくなる。それゆえ、この場合のユーザは、たとえ図６（ａ）の場合と同じ位置を指示したとしても、拡大モードに遷移することなく所望の操作オブジェクトを選択することが可能である。
【００５５】
［第２実施形態］
本実施形態は、上述した第１実施形態の一部を変更した実施の形態である。本実施形態は、タッチスクリーン部４００が、指示体が接触している状態だけでなく、指示体が接触せずに近接している状態をも検出可能な場合の例である。タッチスクリーン部４００は、例えば静電容量方式のセンサによって指示体を検出する場合に、このような検出が可能である。なお、ここでいう「近接」とは、センサの性能にもよるが、一般的には１ｃｍ程度である。
【００５６】
本実施形態と第１実施形態の構成上の主たる相違点は、センサ部４２０により出力される座標情報と第１検出部１２１が検出することのできる位置にある。本実施形態の座標情報は、２次元ではなく３次元の情報である。ただし、表示領域の法線方向の座標は、具体的な距離を表す情報である必要はなく、接触しているか近接しているかを区別できる情報であればよい。また、第１検出部１２１は、このような座標情報に基づいて、上述した指示位置、すなわちユーザの指が接触した位置だけでなく、指示位置に到達する前の近接した状態の位置も検出可能である。すなわち、第１検出部１２１は、ユーザが指示位置を指示する過程の軌跡を検出可能である。以下においては、第１検出部１２１により検出される位置のうちの指示位置のことを「接触位置」、それ以外の位置のことを「非接触位置」と表記することによってこれらを区別する。非接触位置は、一の接触位置に対して一又は複数検出され得る。なお、検出部１２０は、接触位置と非接触位置の双方について、履歴を記録する。
【００５７】
また、本実施形態と第１実施形態の動作上の主たる相違点は、領域計算処理の態様にある。本実施形態の表示装置１０は、接触位置及び非接触位置を検出することによって、ユーザが表示領域に徐々に指を近づけていることを検出することが可能であり、このような場合の指の位置の遷移を検出できる。表示装置１０は、このように指の位置の遷移を検出可能であると、その遷移の仕方に基づいて運指スピードを算出することが可能である。この場合、表示装置１０は、運指スピードを算出するために複数の指示位置（接触位置）を要さず、上述したステップＳ３１ａの判断を行ったり速さの基準値を用いたりしなくても運指スピードを算出することが可能である。なお、本実施形態の動作は、ステップＳ３の領域計算処理以外の処理については第１実施形態（図３参照）と同様である。
【００５８】
図８は、本実施形態の領域計算処理を示すフローチャートである。本実施形態において、制御部１００は、ステップＳ２において指示位置（接触位置）を検出すると、指示位置の座標情報と、当該指示位置より前に検出された非接触位置の座標情報を取得する（ステップＳ３１ｂ、Ｓ３２ｂ）。ここにおいて取得される非接触位置の座標情報は、指示位置の座標情報の検出時刻から所定の時間内（例えば、１〜２秒）に検出された位置のものだけでよい。制御部１００は、このとき、座標情報に対応付けられた検出時刻をあわせて取得する。
【００５９】
次に、制御部１００は、ステップＳ３１ｂ及びＳ３２ｂにおいて取得された情報に基づいて、運指スピードを算出する（ステップＳ３３ｂ）。このとき、制御部１００は、接触位置と一又は複数の非接触位置とを結んだ軌跡の距離と、その軌跡の終点の検出時刻と始点の検出時刻との時間差とを算出し、算出した距離を算出した時間差で除した値を運指スピードとする。制御部１００は、このようにして運指スピードを算出したら、習熟度係数を取得し（ステップＳ３４ｂ）、当たり判定領域のサイズを算出する（ステップＳ３５ｂ）。ステップＳ３４ｂ及びＳ３５ｂの動作は、第１実施形態のステップＳ３４ａ及びＳ３５ａの動作と同様のものである。
【００６０】
本実施形態の表示装置１０によれば、ユーザが指を表示領域に近づける動作に基づいて運指スピードを算出することが可能である。ゆえに、本実施形態においては、運指スピードの算出に際して、所定の時間内に指示位置が２回以上検出されている必要がない。
なお、表示装置１０は、本実施形態の動作と第１実施形態の動作を組み合わせて実行するようにしてもよい。例えば、表示装置１０は、所定の時間内に指示位置が２回以上検出されている場合には、２つの指示位置間の遷移に基づいて運指スピードを算出し、所定の時間内に指示位置が２回検出されていない場合には、非接触位置から接触位置への遷移に基づいて運指スピードを算出するようにすることも可能である。
【００６１】
［変形例］
本発明は、上述した実施形態に限定されることなく、例えば、以下に示す変形例に従った実施も可能である。なお、これらの変形例は、必要に応じて、適宜組み合わせて実施されてもよい。
【００６２】
（１）第２算出部１３２は、当たり判定領域に対するオフセットを算出する機能を有する。ここにおいて、オフセットとは、当たり判定領域の中心と指示位置とに対して設定されるずれのことをいう。第２算出部１３２は、当たり判定領域にオフセットを設ける必要がある場合に、そのずれの方向（以下「オフセット方向」という。）とずれ量（以下「オフセット量」という。）とを算出する。判定部１３０は、指示位置からこれらのオフセット量及びオフセット方向で移動させた位置を、当たり判定領域の中心として判定を行う。
【００６３】
オフセット量は、例えば、習熟度係数に応じて変化し、習熟度が高い場合ほど小さくなる。また、オフセット量は、運指スピードが大きい（速い）ほど大きくなる値であってもよい。一方、オフセット方向は、表示領域の傾きや、指示体がユーザの右側と左側のいずれかにあるかによって変化する。なお、当たり判定領域にオフセットを設けるか否かは、ユーザによって事前に設定されればよい。
【００６４】
オフセット方向は、例えば、ユーザが表示装置１０をどのように把持しており、タッチスクリーン上のどの位置を指示するかによって定まる。例えば、ユーザが左手で表示装置１０の下部（ユーザから見て手前側）を把持し、左手の親指で表示装置１０の右上部（ユーザから見て奥側）を指示する場合には、目標位置（指示しようとしている位置）に対して指が届きにくい。それゆえ、実際の指示位置は運指方向に対して目標位置よりも手前側（又は左側）になってしまうことが考えられるため、この場合には上方向（又は右方向）のオフセットが与えられるとよい。また、ユーザが左手の親指で表示装置１０の左下部（すなわち表示領域を指示する指の付け根に近い部分）を指示する場合であれば、下方向（又は左方向）のオフセットが与えられるとよい。なお、ユーザが操作している手の左右を判別する方法は、例えば以下のとおりである。
【００６５】
図９は、右手での操作と左手での操作の違いを説明するための図である。図９（ａ）は、表示装置１０を左手で把持しながらその親指（母指、第一指）で操作する態様を示す一方、図９（ｂ）は、表示装置１０を右手で把持しながらその親指で操作する態様を示す。なお、同図において、符号１０Ａは、タッチスクリーンが重ねられている表示領域である。このような把持態様において、ユーザが親指の付け根（第二関節）を回転中心として親指を動かすと、ドラッグ操作又はフリック操作が実現される。これらの操作は、タッチスクリーンを直線状に擦る操作である。しかし、このような操作は、ユーザ自身はタッチスクリーン上を直線的に擦っているつもりであっても、実際には円弧状になり、右手であれば左側、左手であれば右側にそれぞれ膨らむようになる。なぜならば、指の運動は、指のある関節を回転中心とした回転運動になるからである。
【００６６】
したがって、回転中心をそれぞれＰ1、Ｐ2としたとき、親指による指示位置の軌跡は、それぞれＬ1、Ｌ2のような曲線になる。Ｌ1は、Ｐ1を中心とした円の弧に近似可能であり、Ｌ2は、Ｐ2を中心とした円の弧に近似可能である。第２算出部１３２は、このような直線的な（つもりの）操作を左右の手で行った場合の膨らみ方の相違に基づき、ユーザが操作に用いている手を判別することが可能である。また、軌跡として曲線Ｌ1、Ｌ2が検出されれば、中心Ｐ1、Ｐ2の位置も推定可能であるため、ユーザが表示装置１０をどのように把持しているか（手前寄りで把持しているか、奥寄りで把持しているか、など）を推定的に判別することも可能である。なお、これらの判別は、ユーザの何気ない操作からでも可能である。ゆえに、ユーザは、明示的に、殊更に自分がどちらの手で操作しているかを教示するための操作を行わなくてもよい。
【００６７】
なお、この例の場合、第２算出部１３２は、オフセット方向の算出を当たり判定領域を用いた判定（図３参照）とは独立したタイミングで実行可能である。すなわち、第２算出部１３２は、ドラッグ操作やフリック操作が行われた場合に、その指示位置の軌跡に基づいてオフセット方向を事前に算出しておき、これをメモリに記憶させておけばよい。
【００６８】
また、指示位置の軌跡が円弧状になるという傾向は、表示装置１０を把持している手による操作に限らず、その反対側の手による操作においても認められる。表示装置１０を把持していない側の手で操作した場合の指示位置の軌跡は、手首や肘等の他の関節での運動も含めた複合的な回転運動となるが、円弧状、すなわち円弧に近似した形状の軌跡になることに変わりはない。
【００６９】
また、指示位置の軌跡を用いる例とは別に、第２算出部１３２は、第１検出部１２１が非接触位置を検出可能な場合には、接触位置と非接触位置との位置関係に基づいてオフセット方向を算出することも可能である。
【００７０】
図１０は、接触位置と非接触位置の位置関係を示す図である。同図に示すように、ユーザが人差し指（示指、第二指）で操作する場合には、接触位置Ｐaのほかに、人差し指の腹の部分（Ｐb、Ｐc）や他の指（Ｐd、Ｐe、Ｐf、Ｐg）が非接触位置として検出され得る。これらの非接触位置は、通常は、ユーザの手が右手であれば、接触位置よりも右寄りにあり、ユーザの手が左手であれば、接触位置よりも左寄りにある。そこで、第２算出部１３２は、非接触位置が接触位置よりも右側で多く検出された場合には、ユーザが右手で操作していると判別し、非接触位置が接触位置よりも左側で多く検出された場合には、ユーザが左手で操作していると判別することができる。
【００７１】
また、この例の場合、第２算出部１３２は、左右方向だけでなく上下方向のオフセット方向も算出可能である。なぜならば、ユーザが図１０に示すように操作した場合には、接触位置よりも手前側により多くの非接触位置が検出されるからである。よって、第２算出部１３２は、このような場合のオフセット方向を上方向とする。なお、第２算出部１３２は、上下左右の４方向だけでなく、「右上」や「左下」といった、より細かい種類でオフセット方向を算出してもよい。
【００７２】
（２）当たり判定領域は、運指スピードと習熟度係数の組み合わせに代えて、ある操作をしてから次の操作をするまでの距離（以下「運指距離」という。）と習熟度係数の組み合わせに基づいて定められてもよい。なぜならば、運指距離が長い場合には、これが短い場合に比べ、操作ミスを生じやすいといえるからである。よって、運指距離が長い場合に当たり判定領域のサイズを大きくすると、操作のやり直しや拡大モードへの移行が少なくなる効果が期待できる。
【００７３】
（３）当たり判定領域は、指示位置を含む領域であれば、必ずしも円形である必要はなく、例えば、楕円形や四角形であってもよい。当たり判定領域が楕円形の場合、制御部１００は、楕円の長径又は短径のいずれかを習熟度係数に基づいて算出したり、運指スピードと習熟度係数の組み合わせによって算出したりすればよい。また、当たり判定領域が四角形の場合、制御部１００は、四角形の長辺又は短辺のいずれかの長さを運指スピードや習熟度係数に基づいて算出すればよい。これらの場合において、長径（又は長辺）と短径（又は短辺）の比は、あらかじめ決められていればよい。
【００７４】
あるいは、制御部１００は、長径（又は長辺）をユーザの運指方向（指示体の進行方向）、短径（又は短辺）を運指方向に直交する方向とし、これらの各々に独立した習熟度係数を用意してそれぞれの値を算出することも可能である。このようにすれば、長径（又は長辺）と短径（又は短辺）の比がユーザの操作の仕方によって変わるようにすることが可能である。なお、操作上の誤差は、一般に、運指方向の方が運指方向に直交する方向よりも生じやすい。
【００７５】
（４）習熟度係数は、上述した実施形態と異なり、習熟度が高いほど小さくなる値であってもよい。この場合、当たり判定領域のサイズは、運指スピードと習熟度係数の積に基づいて定められる。なお、当たり判定領域のサイズは、運指スピードと習熟度係数の積そのものである必要はなく、適当な他の係数を加算したり乗算したりしたものであってもよい。また、習熟度係数を習熟度が高いほど小さくなる値とした場合、制御部１００は、当たり判定領域のサイズを大きくさせる場合には習熟度係数を大きくし、当たり判定領域のサイズを小さくさせる場合には習熟度係数を小さくする、というように、上述した実施形態とは反対の方向に習熟度係数を変化させる。
【００７６】
（５）速さの基準値は、あらかじめ決められた一定の値ではなく、習熟度係数に応じて異なる値としてもよい。例えば、制御部１００は、習熟度係数をいくつかのレベルに分け、そのレベルに応じた複数の基準値をあらかじめ記憶しておいてもよい。あるいは、制御部１００は、習熟度係数を変数とする関数によって演算を行い、そのときどきの習熟度係数に応じた基準値を算出するようにしてもよい。
【００７７】
（６）第２の画像は、第１の画像を拡大した画像でなくてもよい。第２の画像は、ユーザが選択したい操作オブジェクトの候補が複数ある場合に、そのいずれかをユーザに選択させることができる画像であれば、その具体的な表示態様を問わないものである。
図１１は、第２の画像の他の例である。制御部１００は、図６（ｂ）に例示した画像に代えて、図１１（ａ）又は図１１（ｂ）に示す画像を表示させてもよい。図１１（ａ）の画像は、オブジェクトａ及びｂを拡大せずに、位置を調整して表示するものである。また、図１１（ｂ）の画像は、オブジェクトａ及びｂに代えて、これらに割り当てられている名前を選択肢として表示するものである。このとき、１番の選択肢がある物理キーに対応付けられ、２番の選択肢が別の物理キーに対応付けられることにより、ユーザは物理キー部５００を介して所望の操作オブジェクトを選択することができる。
【００７８】
（７）表示装置１０は、ユーザを識別する機能を有するとともに、それぞれのユーザに応じた習熟度係数を処理に用いるようにしてもよい。ユーザを識別する機能は、例えば、ユーザにＩＤやパスワードを入力させることによって実現してもよいし、指紋等の生体情報を読み取ることによって実現してもよい。また、本発明を通信端末で実施する場合であれば、ＵＩＭカード又はＳＩＭカードに記録された情報に基づいてユーザを識別することも可能である。
【００７９】
（８）本発明は、タッチスクリーンを有する表示装置に限らず、指示体の位置を検出可能なさまざまな表示装置で実施することができる。例えば、指示体の位置は、カメラ等の撮影手段によって光学的に検出されてもよいし、赤外線や超音波によって検出されてもよい。また、指示体として磁性体を含む器具を用いる場合には、指示体の位置を磁気的に検出することも可能である。
【００８０】
（９）本発明は、携帯電話機やスマートフォンに限らず、例えば、タブレットＰＣ（Personal Computer）、電子辞書、携帯ゲーム機など、さまざまな電子機器において実施することができる。また、ユーザが各自の記録媒体（ＩＣチップ付きのクレジットカード、キャッシュカード、プリペイドカード等）を使用して処理を行う処理端末においても、ユーザを識別する情報や習熟度係数を当該記録媒体に記録することで本発明を実施することが可能である。かかる処理端末は、例えば、切符等の自動券売機やＡＴＭ（Automated Teller Machine）である。
【００８１】
（１０）本発明に係るユーザインタフェース装置は、上述した表示装置１０の形態に限らず、表示装置と別体に構成された形態であってもよい。例えば、本発明は、制御部１００に相当する構成を少なくとも有するコンピュータ装置と、タッチスクリーン部４００に相当する構成を少なくとも有し、当該コンピュータ装置に無線通信等により接続される表示装置とを含むシステムによっても実施可能である。この場合、コンピュータ装置は、表示装置と情報をやりとりする手段を備えていれば、本発明に係るユーザインタフェース装置として機能することができる。
【００８２】
（１１）本発明は、上記コンピュータ装置が実行するプログラムや、当たり判定領域等を用いてユーザの操作を受け付けるための方法として把握することも可能である。上記プログラムは、光ディスク等の記録媒体に記録した形態や、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にする形態などでも提供可能である。
【符号の説明】
【００８３】
１０…表示装置、１００…制御部、１１０…表示制御部、１２０…検出部、１２１…第１検出部、１２２…第２検出部、１３０…判定部、１３１…第１算出部、１３２…第２算出部、１４０…特定部、１５０…更新部、２００…記憶部、３００…通信部、４００…タッチスクリーン部、４１０…表示部、４２０…センサ部、５００…物理キー部
【特許請求の範囲】
【請求項１】
表示領域に画像を表示する表示部と、
選択可能なオブジェクトを含む第１の画像を前記表示領域に表示させる表示制御部と、
操作者により指示された前記表示領域上の位置を検出する検出部と、
前記検出部により前記第１の画像において検出された位置を含み、前記検出部により検出された位置の遷移と前記操作者の習熟度を示す習熟度係数とによりサイズが定まる当たり判定領域内に前記オブジェクトがあるか判定する判定部と、
前記操作者による指示に基づいて当該操作者の操作を特定する特定部であって、前記判定部により前記当たり判定領域内に一の前記オブジェクトがあると判定された場合に、前記第１の画像における前記指示を当該オブジェクトを選択する操作であると特定する特定部と、
前記特定部により操作が特定された場合に、前記検出部により前記第１の画像において検出された位置と当該操作により選択された前記オブジェクトとの距離に応じて前記習熟度係数を更新する更新部と
を備えることを特徴とするユーザインタフェース装置。
【請求項２】
前記判定部により前記当たり判定領域内に複数の前記オブジェクトがあると判定された場合に、
前記表示制御部は、前記複数のオブジェクトのいずれかを前記操作者に選択させるための第２の画像を前記表示領域に表示させ、
前記特定部は、前記第１の画像における前記指示を前記第２の画像において前記操作者に選択された前記オブジェクトに対する操作であると特定し、
前記更新部は、前記検出部により前記第１の画像において検出された位置と前記第２の画像において選択された前記オブジェクトの前記第１の画像における位置との距離に応じて前記習熟度係数を更新する
ことを特徴とする請求項１に記載のユーザインタフェース装置。
【請求項３】
前記表示制御部は、
前記第１の画像を所定の倍率で拡大した画像であって前記検出部により検出された位置を含む画像を前記第２の画像として表示し、
前記倍率を前記当たり判定領域のサイズ又は前記習熟度係数に応じて変化させる
ことを特徴とする請求項２に記載のユーザインタフェース装置。
【請求項４】
前記更新部は、前記第２の画像において前記操作者に選択されたオブジェクトが、前記第１の画像において検出された位置からの距離が最短のオブジェクトでない場合に、前記習熟度係数を前記当たり判定領域のサイズを大きくさせるように更新する
ことを特徴とする請求項２に記載のユーザインタフェース装置。
【請求項５】
前記判定部は、
前記検出部により検出された位置の遷移に基づいて前記操作者による指示の速さを算出する第１算出部を有し、
前記速さと前記習熟度係数とを用いた演算により、前記速さが大きいほど前記当たり判定領域が大きくなるように前記サイズを定める
ことを特徴とする請求項１ないし４のいずれかに記載のユーザインタフェース装置。
【請求項６】
前記検出部は、前記操作者が指示体により前記位置を指示する場合に、当該指示体が前記表示領域に接触した位置である接触位置と、当該指示体が当該接触位置に到達する前の位置である一又は複数の非接触位置とを検出し、
前記第１算出部は、前記非接触位置から前記接触位置への遷移に基づいて前記速さを算出する
ことを特徴とする請求項５に記載のユーザインタフェース装置。
【請求項７】
前記更新部は、前記判定部による判定の際に前記検出部により検出された前記位置の検出時刻と、前記検出部により当該位置の直前に検出された位置の検出時刻との差が閾値以上である場合に、前記第１算出部により算出された速さに代えてあらかじめ決められた基準値を前記演算に用いる
ことを特徴とする請求項５に記載のユーザインタフェース装置。
【請求項８】
前記更新部は、前記基準値を前記習熟度係数に応じて異ならせる
ことを特徴とする請求項７に記載のユーザインタフェース装置。
【請求項９】
前記判定部は、
オフセット量及びオフセット方向を算出する第２算出部を備え、
前記検出部により前記第１の画像において検出された位置から前記第２算出部により算出されたオフセット量及びオフセット方向で移動させた位置を前記当たり判定領域の中心として判定を行う
ことを特徴とする請求項１ないし８のいずれかに記載のユーザインタフェース装置。
【請求項１０】
前記判定部は、前記当たり判定領域のサイズが所定の最大サイズを超えないように制限して判定を行う
ことを特徴とする請求項１ないし９のいずれかに記載のユーザインタフェース装置。
【請求項１１】
選択可能なオブジェクトを含む第１の画像を表示領域に表示する表示ステップと、
操作者により指示された前記表示領域上の位置を検出する検出ステップと、
前記検出ステップにおいて前記第１の画像において検出された位置を含み、当該位置及び当該位置以前に検出された位置の遷移と前記操作者の習熟度を示す習熟度係数とによりサイズが定まる当たり判定領域内に一の前記オブジェクトがある場合に、前記第１の画像における前記指示を当該オブジェクトを選択する操作であると特定する特定ステップと、
前記検出ステップにおいて検出された位置と前記操作により選択された前記オブジェクトとの距離に応じて前記習熟度係数を更新する更新ステップと
を有することを特徴とする表示装置の操作受付方法。
【請求項１２】
表示領域に画像を表示する表示装置のコンピュータに、
選択可能なオブジェクトを含む第１の画像を前記表示領域に表示させる表示制御ステップと、
操作者により指示された前記表示領域上の位置を検出する検出ステップと、
前記第１の画像を表示している前記表示領域において、前記検出ステップにおいて検出された前記位置を含み、前記検出部により検出された位置の遷移と前記操作者の習熟度を示す習熟度係数とによりサイズが定まる当たり判定領域内に前記オブジェクトがあるか判定する判定ステップと、
前記操作者による指示に基づいて当該操作者の操作を特定する特定ステップであって、前記判定ステップにおいて前記当たり判定領域内に一の前記オブジェクトがあると判定された場合に、前記第１の画像における前記指示を当該オブジェクトを選択する操作であると特定する特定ステップと、
前記特定ステップにおいて操作が特定された場合に、前記検出ステップにおいて前記第１の画像において検出された位置と当該操作により選択された前記オブジェクトとの距離に応じて前記習熟度係数を更新する更新ステップと
を実行させるためのプログラム。
【請求項１】
表示領域に画像を表示する表示部と、
選択可能なオブジェクトを含む第１の画像を前記表示領域に表示させる表示制御部と、
操作者により指示された前記表示領域上の位置を検出する検出部と、
前記検出部により前記第１の画像において検出された位置を含み、前記検出部により検出された位置の遷移と前記操作者の習熟度を示す習熟度係数とによりサイズが定まる当たり判定領域内に前記オブジェクトがあるか判定する判定部と、
前記操作者による指示に基づいて当該操作者の操作を特定する特定部であって、前記判定部により前記当たり判定領域内に一の前記オブジェクトがあると判定された場合に、前記第１の画像における前記指示を当該オブジェクトを選択する操作であると特定する特定部と、
前記特定部により操作が特定された場合に、前記検出部により前記第１の画像において検出された位置と当該操作により選択された前記オブジェクトとの距離に応じて前記習熟度係数を更新する更新部と
を備えることを特徴とするユーザインタフェース装置。
【請求項２】
前記判定部により前記当たり判定領域内に複数の前記オブジェクトがあると判定された場合に、
前記表示制御部は、前記複数のオブジェクトのいずれかを前記操作者に選択させるための第２の画像を前記表示領域に表示させ、
前記特定部は、前記第１の画像における前記指示を前記第２の画像において前記操作者に選択された前記オブジェクトに対する操作であると特定し、
前記更新部は、前記検出部により前記第１の画像において検出された位置と前記第２の画像において選択された前記オブジェクトの前記第１の画像における位置との距離に応じて前記習熟度係数を更新する
ことを特徴とする請求項１に記載のユーザインタフェース装置。
【請求項３】
前記表示制御部は、
前記第１の画像を所定の倍率で拡大した画像であって前記検出部により検出された位置を含む画像を前記第２の画像として表示し、
前記倍率を前記当たり判定領域のサイズ又は前記習熟度係数に応じて変化させる
ことを特徴とする請求項２に記載のユーザインタフェース装置。
【請求項４】
前記更新部は、前記第２の画像において前記操作者に選択されたオブジェクトが、前記第１の画像において検出された位置からの距離が最短のオブジェクトでない場合に、前記習熟度係数を前記当たり判定領域のサイズを大きくさせるように更新する
ことを特徴とする請求項２に記載のユーザインタフェース装置。
【請求項５】
前記判定部は、
前記検出部により検出された位置の遷移に基づいて前記操作者による指示の速さを算出する第１算出部を有し、
前記速さと前記習熟度係数とを用いた演算により、前記速さが大きいほど前記当たり判定領域が大きくなるように前記サイズを定める
ことを特徴とする請求項１ないし４のいずれかに記載のユーザインタフェース装置。
【請求項６】
前記検出部は、前記操作者が指示体により前記位置を指示する場合に、当該指示体が前記表示領域に接触した位置である接触位置と、当該指示体が当該接触位置に到達する前の位置である一又は複数の非接触位置とを検出し、
前記第１算出部は、前記非接触位置から前記接触位置への遷移に基づいて前記速さを算出する
ことを特徴とする請求項５に記載のユーザインタフェース装置。
【請求項７】
前記更新部は、前記判定部による判定の際に前記検出部により検出された前記位置の検出時刻と、前記検出部により当該位置の直前に検出された位置の検出時刻との差が閾値以上である場合に、前記第１算出部により算出された速さに代えてあらかじめ決められた基準値を前記演算に用いる
ことを特徴とする請求項５に記載のユーザインタフェース装置。
【請求項８】
前記更新部は、前記基準値を前記習熟度係数に応じて異ならせる
ことを特徴とする請求項７に記載のユーザインタフェース装置。
【請求項９】
前記判定部は、
オフセット量及びオフセット方向を算出する第２算出部を備え、
前記検出部により前記第１の画像において検出された位置から前記第２算出部により算出されたオフセット量及びオフセット方向で移動させた位置を前記当たり判定領域の中心として判定を行う
ことを特徴とする請求項１ないし８のいずれかに記載のユーザインタフェース装置。
【請求項１０】
前記判定部は、前記当たり判定領域のサイズが所定の最大サイズを超えないように制限して判定を行う
ことを特徴とする請求項１ないし９のいずれかに記載のユーザインタフェース装置。
【請求項１１】
選択可能なオブジェクトを含む第１の画像を表示領域に表示する表示ステップと、
操作者により指示された前記表示領域上の位置を検出する検出ステップと、
前記検出ステップにおいて前記第１の画像において検出された位置を含み、当該位置及び当該位置以前に検出された位置の遷移と前記操作者の習熟度を示す習熟度係数とによりサイズが定まる当たり判定領域内に一の前記オブジェクトがある場合に、前記第１の画像における前記指示を当該オブジェクトを選択する操作であると特定する特定ステップと、
前記検出ステップにおいて検出された位置と前記操作により選択された前記オブジェクトとの距離に応じて前記習熟度係数を更新する更新ステップと
を有することを特徴とする表示装置の操作受付方法。
【請求項１２】
表示領域に画像を表示する表示装置のコンピュータに、
選択可能なオブジェクトを含む第１の画像を前記表示領域に表示させる表示制御ステップと、
操作者により指示された前記表示領域上の位置を検出する検出ステップと、
前記第１の画像を表示している前記表示領域において、前記検出ステップにおいて検出された前記位置を含み、前記検出部により検出された位置の遷移と前記操作者の習熟度を示す習熟度係数とによりサイズが定まる当たり判定領域内に前記オブジェクトがあるか判定する判定ステップと、
前記操作者による指示に基づいて当該操作者の操作を特定する特定ステップであって、前記判定ステップにおいて前記当たり判定領域内に一の前記オブジェクトがあると判定された場合に、前記第１の画像における前記指示を当該オブジェクトを選択する操作であると特定する特定ステップと、
前記特定ステップにおいて操作が特定された場合に、前記検出ステップにおいて前記第１の画像において検出された位置と当該操作により選択された前記オブジェクトとの距離に応じて前記習熟度係数を更新する更新ステップと
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−２１６１２７（Ｐ２０１２−２１６１２７Ａ）
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１１−８１８４６（Ｐ２０１１−８１８４６）
【出願日】平成２３年４月１日（２０１１．４．１）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２３年４月１日（２０１１．４．１）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
[ Back to top ]