スクリーンパッドによる入力が可能なユーザインタフェース装置、入力処理方法及びプログラム
【課題】装置を保持した片手の指で、画面内の任意の位置を容易に指定することができるユーザインタフェース装置を提供する。
【解決手段】ユーザインタフェース装置は、画像を表示するディスプレイと、指の接触位置を時間経過に応じて逐次出力するタッチパネルとを備えている。さらに、表示された当該画像全体を縮小して表示するスクリーンパッドを、画面内に表示させるスクリーンパッド制御手段と、当該指がスクリーンパッドに接触したか否かを判定する接触判定手段と、接触判定手段が真の判定を行った際、画面内に、当該指の接触位置に対応した該画面内での位置を指し示すポインタを表示させるポインタ表示手段と、ポインタの指し示す位置に当該指が接触するならば起こるべき動作を発動させる動作制御手段とを有する。
【解決手段】ユーザインタフェース装置は、画像を表示するディスプレイと、指の接触位置を時間経過に応じて逐次出力するタッチパネルとを備えている。さらに、表示された当該画像全体を縮小して表示するスクリーンパッドを、画面内に表示させるスクリーンパッド制御手段と、当該指がスクリーンパッドに接触したか否かを判定する接触判定手段と、接触判定手段が真の判定を行った際、画面内に、当該指の接触位置に対応した該画面内での位置を指し示すポインタを表示させるポインタ表示手段と、ポインタの指し示す位置に当該指が接触するならば起こるべき動作を発動させる動作制御手段とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を表示するディスプレイと、ユーザインタフェースとしてのタッチパネルとを備えたユーザインタフェース装置に関する。
【背景技術】
【０００２】
従来、画面に指、スタイラス等で触れることによって入力操作を行う、タッチパネルを搭載したユーザインタフェース装置が広く普及している。特に、近年、スマートフォン、タブレット型コンピュータ、電子書籍、ＰＤＡ(Personal Digital Assistant)のようなユーザインタフェース装置、いわゆる携帯型情報機器では、指による操作を受け入れるユーザインタフェースとしてタッチパネルが積極的に採用されている。
【０００３】
携帯型情報機器は、携帯性を高めるべく小型化を必要とする。このため、ユーザインタフェースとして物理的な入力キーを採用した場合、これら入力キー自体のサイズを小さくしなければならず、操作性の低下が懸念される。これに対し、タッチパネルを採用した場合、仮想ボタンのサイズを、アプリケーションの機能に応じて適切に変更することができ、操作性の向上を図ることができる。
【０００４】
このタッチパネルへの入力では、指を接触させてタッチパネル上の所定の位置を的確に指定することが、所望の動作を確実に発動させる上で非常に重要となる。例えば、表示された画像における画面の枠近傍の位置や、表示された画像内の細かいパターンの位置を、指で正確に指定できることが要求される。
【０００５】
この要求に対処するため、例えば、特許文献１では、指だけでカーソル指定座標を指定する技術が開示されている。この技術では、タッチ位置を移動させることにより、不動支点を間に挟んでタッチ位置の反対側に描かれたカーソル図形を移動させ、カーソル指定座標を指定している。
【０００６】
また、表示手段が設けられた面とは反対側の面にトラックパッドを設けた携帯型情報通信装置も提案されている（特許文献２参照）。この装置では、片手で装置筐体を保持し、この保持した手の指をトラックパッドに接触させて操作を行う。これにより、片手の指で操作し、所定の位置を指定することが可能になるとしている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−２１１３５２号公報
【特許文献２】特開平９−１９８３５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、依然として、携帯型情報機器を保持した片手の指で、画面内の任意の位置を容易に指定することは困難である。
【０００９】
特に、近年、多様且つ大容量の情報を見易く表示するため、ディスプレイの画面は、機器の前面のほぼ全域を占める場合が多い。ここで、このような機器を片手で保持した場合、この片手において保持に関係せず自由に動かし易い指は、実際のところ、親指となる。しかしながら、親指は、一般に他の指に比べて短く、この広い画面における保持した片手とは反対側の端及びその近傍には届き難い。
【００１０】
この問題は、特許文献１及び２に開示されたような従来技術を適用しても解決し難い。例えば、特許文献１に開示された技術では、カーナビゲーション装置等の設置型の情報機器が前提となっており、装置を片手で保持しての操作は考慮されていない。また、それ故に、不動支点の図形を表示させ、この不動支点の位置に基づいて反対側のタッチ位置からカーソル図形を移動させる、といった複雑な動作が想定されており、親指では操作し難い。
【００１１】
一方、特許文献２に開示された技術では、確かに、装置を保持した片手の指での操作が意図されている。しかしながら、装置の裏面に設けられたトラックパッドに指を接触させる以上、この指は、保持に関係している中指、薬指等の親指以外の指であり、自由に動かし難いことは否めない。
【００１２】
そこで、本発明は、装置を保持した片手の指で、画面内の任意の位置を容易に指定することができるユーザインタフェース装置、入力処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明によれば、画像を表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルとを備えたユーザインタフェース装置において、
表示された当該画像全体を縮小して表示するスクリーンパッドを、画面内に表示させるスクリーンパッド制御手段と、
当該指がスクリーンパッドに接触したか否かを判定する接触判定手段と、
接触判定手段が真の判定を行った際、画面内に、当該指の接触位置に対応した該画面内での位置を指し示すポインタを表示させるポインタ表示手段と、
ポインタの指し示す位置に当該指が接触するならば起こるべき動作を発動させる動作制御手段と
を有するユーザインタフェース装置が提供される。
【００１４】
本発明のユーザインタフェース装置における他の実施形態によれば、動作制御手段は、ポインタの指し示す位置がなす軌跡に当該指が追随して接触するならば起こるべき動作を発動させることも好ましい。
【００１５】
本発明のユーザインタフェース装置における他の実施形態によれば、スクリーンパッドは、ユーザがユーザインタフェース装置を片手で保持した場合に該片手の指が該スクリーンパッド上のいずれの地点にも接触することができるような位置に表示されることも好ましい。
【００１６】
本発明のユーザインタフェース装置における他の実施形態によれば、接触判定手段によって、当該指がスクリーンパッドに接触し且つこの接触位置が所定時間以上継続して変化しなかったと判定された場合、動作制御手段は、当該画像全体を移動させることなく固定した状態で当該指の接触位置をモニタする「タッチフォーカス」モードを動作させることも好ましい。
【００１７】
さらに、この「タッチフォーカス」モードの動作下、ポインタが、当該画像に含まれる操作対象であるオブジェクトの表示位置範囲内の位置を指し示す際、動作制御手段は、該オブジェクトを選択する「フォーカス」操作が行われたとして対応する動作を発動させることも好ましい。
【００１８】
本発明のユーザインタフェース装置における他の実施形態によれば、タッチパネルに接触した当該指によって与えられる押圧力を検出する押圧力検出部と、
押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と
を更に有しており、
「タッチフォーカス」モードの動作下、動作制御手段は、ポインタが当該画像に含まれる操作対象であるオブジェクトの表示位置範囲内の位置を指し示し且つスクリーンパッドに接触した当該指による押圧力が所定閾値以上である場合、該オブジェクトの機能を発動させる「クリック」操作が行われたとして対応する動作を発動させることも好ましい。
【００１９】
さらに、この実施形態において、タッチパネルに接触した当該指に対して触覚応答を与える触覚応答機構部と、
「クリック」操作が行われた際、当該指に対してタッチパネルを介して触覚応答を与えるべく触覚応答機構部を制御する触覚応答制御手段と
を更に有することも好ましい。
【００２０】
本発明のユーザインタフェース装置における他の実施形態によれば、タッチパネルに接触した当該指によって与えられる押圧力を検出する押圧力検出部と、
押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と
を更に有しており、
接触判定手段によって、当該指がスクリーンパッドに接触してこの接触位置が所定時間以内に変化し、その後該接触位置が停止したと判定された場合、動作制御手段は、当該指の移動に応じた当該画像全体の移動の後、押圧力の大きさに応じた速度で当該画像全体を更に移動させる「ドラッグクリック」操作が行われたとして対応する動作を発動させることも好ましい。
【００２１】
本発明のユーザインタフェース装置における他の実施形態によれば、ユーザの操作から見て、当該指がディスプレイの画面におけるスクリーンパッドの範囲外の領域に接触した場合、動作制御手段は、当該指の接触位置に当該指が接触するならば本来起こるべき動作を発動させることも好ましい。
【００２２】
本発明によれば、さらに、画像を表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルとを備えたユーザインタフェース装置に搭載されたプログラムにおいて、
表示された当該画像全体を縮小して表示するスクリーンパッドを、画面内に表示させるスクリーンパッド制御手段と、
当該指がスクリーンパッドに接触したか否かを判定する接触判定手段と、
接触判定手段が真の判定を行った際、画面内に、当該指の接触位置に対応した該画面内での位置を指し示すポインタを表示させるポインタ表示手段と、
ポインタの指し示す位置に当該指が接触し、該位置のなす軌跡に当該指が追随して接触するならば起こるべき動作を発動させる動作制御手段と
してコンピュータを機能させる、ユーザインタフェース装置用のプログラムが提供される。
【００２３】
本発明によれば、さらにまた、画像を表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルとを備えたユーザインタフェース装置における入力処理方法において、
表示された当該画像全体を縮小して表示するスクリーンパッドを、画面内に表示させる第１のステップと、
当該指がスクリーンパッドに接触したか否かを判定する第２のステップと、
第２のステップで真の判定がなされた際、画面内に、当該指の接触位置に対応した該画面内での位置を指し示すポインタを表示させる第３のステップと、
ポインタの指し示す位置に当該指が接触し、該位置のなす軌跡に当該指が追随して接触するならば起こるべき動作を発動させる第４のステップと
を有する入力処理方法が提供される。
【発明の効果】
【００２４】
本発明のユーザインタフェース装置、入力処理方法及びプログラムによれば、装置を保持した片手の指で、画面内の任意の位置を容易に指定することができる。
【図面の簡単な説明】
【００２５】
【図１】スクリーンパッドが表示された携帯型情報機器の前面図、及び指による操作の概略図である。
【図２】「フォーカス」操作及び「クリック」操作を説明するための、携帯型情報機器の前面図である。
【図３】「ドラッグクリック」操作を説明するための、携帯型情報機器の前面図である。
【図４】本発明による携帯型情報機器の構成を概略的に示す斜視図、及び本発明によるスクリーンパッドを用いた入力処理方法の一実施形態を示すフローチャートである。
【図５】本発明による携帯型情報機器の一実施形態を示す機能構成図である。
【発明を実施するための形態】
【００２６】
以下、本発明の実施形態について、図面を用いて詳細に説明する。
【００２７】
本発明によるユーザインタフェース装置は、ディスプレイの画面に表示された画像全体を縮小して表示する「スクリーンパッド」を、この画面内に設定する点に特徴を有する。ユーザの指がこのスクリーンパッドに接触することによって、ディスプレイに表示された画像に直接接触するのと同等の操作が可能となる。
【００２８】
ここで、「画像全体」とは、ディスプレイの画面に表示された全画像のうち、指による操作対象を含む部分である。当然に、表示された全画像でもあり得る。例えば、複数のアイコンが配列された領域をなす画像部分は、この操作対象を含む部分に相当する。また、時刻表示部分、バッテリメータ、電波強度インジケータ等の表示部分は「画像全体」に含まれない、とすることも可能である。
【００２９】
尚、本発明が対象とするユーザインタフェース装置では、装置を保持した片手の指がスクリーンパッドに接触することによって情報が入力される。このため、当該装置の多くは、片手でも保持することが可能な、スマートフォンやタブレット型コンピュータのような携帯型情報機器である。従って、以下、本発明の実施形態として、携帯型情報機器を説明する。
【００３０】
図１は、スクリーンパッドが表示された携帯型情報機器の前面図、及び指による操作の概略図である。
【００３１】
図１（Ａ）は、ディスプレイ１０１の画面内にスクリーンパッド１０５が表示された状態を示している。この図によれば、携帯型情報機器１は、画像を表示するディスプレイ１０１と、ディスプレイ１０１の画面上に配置されたタッチパネル１００とを備えている。
【００３２】
また、ディスプレイ１０１に表示された画像に、複数のアイコン１０４が含まれている。アイコン１０４は、アプリケーションを起動させるための、ユーザにとっての操作対象（オブジェクト）である。ここで、ユーザは、指を直接アイコン１０４に接触させることによって、アイコン１０４を選択することができる。
【００３３】
スクリーンパッド１０５は、ディスプレイ１０１の画面内に表示されており、画面に表示された画像全体が縮小して表示された画像領域である。スクリーンパッド１０５に表示された画像は、画面に表示された画像全体に対し、相似比が１未満の相似形であってもよい。または、ｘ軸（Ｘ軸）方向の縮小率とｙ軸（Ｙ軸）方向の縮小率とが互いに異なる縮小形であってもよい。
【００３４】
さらに、スクリーンパッド１０５の形状として、矩形、菱形、その他の多角形、若しくはこれらの形状で角が丸められたもの、又は楕円形、若しくは円形等、種々の形状が採用可能である。いずれにしても、スクリーンパッド１０５には、複数のアイコン１０４のそれぞれに対応した複数のアイコンイメージ１０４ａが表示される。
【００３５】
ユーザは、携帯型情報機器１を片手（図１（Ａ）では右手）で保持し、この片手の親指をスクリーンパッド１０５（内のタッチパネル１００部分）に接触させる。親指は、保持に関係しないため、自由に動かし易く操作に適している。この親指が、例えば、スクリーンパッド１０５内に表示されたアイコンイメージ１０４ａに接触すると、この接触位置に対応したアイコン１０４の位置を指し示すポインタ１０６が、画面内に表示される。
【００３６】
この際、ポインタ１０６の指し示すアイコン１０４の位置に指が接触するならば起こるべき動作が発動される。例えば、アイコン１０４を選択する操作である、後に詳述する「フォーカス」操作が行われたとして、選択動作が発動される。この選択動作としては、例えばアイコン１０４が浮き上がって見えたり光ったりする強調表示が可能である。
【００３７】
スクリーンパッド１０５は、機器１を保持した片手の親指がスクリーンパッド１０５上のいずれの地点にも接触することができるような位置に表示されることが好ましい。これにより、例えば、親指がアイコン１０４に届かず、直接接触し得ない場合でも、ユーザは、アイコンイメージ１０４ａに親指を接触させることができる。その結果、アイコン１０４に直接接触したのと同等の動作を発動させることができるのである。
【００３８】
尚、スクリーンパッド１０５に表示される（アイコンイメージ１０４ａを含む）画像は、半透明であることも好ましい。これにより、ディスプレイ１０１に表示された画像全体の中でスクリーンパッド１０５と重畳した部分も、スクリーンパッド１０５を透過して視認可能となる。
【００３９】
また、スクリーンパッド１０５の表示又は非表示が選択可能であることが好ましい。スクリーンパッド１０５を非表示にすると、画面に表示された画像全体が、遮るもの無く視認可能となる。この場合、スクリーンパッド１０５の機能は停止しており、指を直接画像に接触させて操作を行う。スクリーンパッド１０５の表示は、例えば、指によって所定のアイコンを発動させることによって、又は機械的ボタンを押下することによって行われる。一方、スクリーンパッド１０５の非表示は、例えば、指によってスクリーンパッド１０５内に表示された所定のアイコンイメージを発動させることによって行われる。
【００４０】
さらに、スクリーンパッド１０５は、画面内で移動することができ、画面内の任意の位置に設定可能であることが好ましい。この移動は、例えば、スクリーンパッド１０５のいずれかの端、又は所定の領域に指を接触させたまま動かして、スクリーンパッド１０５をドラッグする（引きずる）ことにより行われる。
【００４１】
また、画面に表示された画像全体に対するスクリーンパッド１０５の縮小率も、変化させられることが好ましい。さらに、ｘ軸（Ｘ軸）方向での縮小率α及びｙ軸（Ｙ軸）方向での縮小率βをそれぞれ独立に変化させられることも好ましい。この縮小率の調整は、例えば、スクリーンパッド１０５の角に、又は端辺の中点に表示されるマーカに指を接触させたまま動かすことにより行われる。
【００４２】
さらに、ユーザの指が、ディスプレイ１０１の画面におけるスクリーンパッド１０５の範囲外の領域に接触した場合、この指の接触位置に、指が接触するならば本来起こるべき動作が発動する。例えば、ユーザの指が、スクリーンパッド１０５の範囲外に位置するアイコン１０４に接触した場合、後に詳述する「フォーカス」操作が行われたとして、このアイコン１０４の選択動作が発動される。
【００４３】
図１（Ｂ）は、親指の接触位置とポインタ１０６の指し示す位置との対応関係を示している。この図によれば、親指は接触しつつ移動し、その接触位置は、スクリーンパッド１０５内の点Ｓ１から点Ｓ２まで変化する。これに伴い、ポインタ１０６も移動し、ポインタ１０６の指し示す位置も、ディスプレイ１０１の画面内の点Ｐ１から点Ｐ２まで変化する。スクリーンパッド１０５にｘｙ座標系の第１象限を適用し、さらにディスプレイ１０１の画面に、ｘｙ座標系と同縮尺の目盛を有するＸＹ座標系の第１象限を適用して、これらの点を以下のような座標で表す。
（ａ） 点Ｓ１：（ｘ１，ｙ１）、 点Ｓ２：（ｘ２，ｙ２）
（ｂ） 点Ｐ１：（Ｘ１，Ｙ１）、 点Ｐ２：（Ｘ２，Ｙ２）
【００４４】
この場合、上記座標には、以下の関係が存在する。
（ｃ） Ｘ１＝α−１・ｘ１、 Ｙ１＝β−１・ｙ１
（ｄ） Ｘ２＝α−１・ｘ２、 Ｙ２＝β−１・ｙ２
ここで、αは、画面に表示された画像全体に対するスクリーンパッド１０５のｘ軸（Ｘ軸）方向での縮小率であり、βは、画像全体に対するスクリーンパッド１０５のｙ軸（Ｙ軸）方向での縮小率である。例えば、スクリーンパッド１０５が相似比１／３の相似形である場合、α−１＝β−１＝３となる。
【００４５】
同じく図１（Ｂ）では、親指は、点Ｓ１に接触した直後に、接触したまま点Ｓ２まで移動している。これは、スクリーンパッド１０５内でのいわゆるドラッグ操作に相当する。このため、スクリーンパッド１０５内のアイコンイメージ１０４ａを含む画像も、点Ｓ１から点Ｓ２への向きに、点Ｓ１から点Ｓ２までの距離だけ移動する。
【００４６】
このような親指の接触位置の移動に応じて、ポインタ１０６（の指し示す位置）は、点Ｐ１から点Ｐ２まで移動する。その結果、アイコン１０４を含む画像全体も、点Ｐ１から点Ｐ２への向きに、点Ｐ１から点Ｐ２までの距離だけ移動する。これは、指を点Ｐ１から点Ｐ２まで接触させながら移動させるドラッグ操作による動作に相当する。このように、スクリーンパッド１０５を用いることによって、ポインタ１０６の指し示す位置に指が接触し、この位置のなす（画面内での）軌跡に指が追随して接触するならば起こるべき動作を発動させることが可能となる。
【００４７】
以下、スクリーンパッド１０５を介して行うことができる操作の他の形態を説明する。この操作の例として、
（１） 「フォーカス」操作：アイコン等のオブジェクトを選択する、
（２） 「クリック」操作：オブジェクトの機能を発動させる、
（３） 「ドラッグクリック」操作：ドラッグ操作後、指をタッチパネルに押し込んで画像全体を更にスクロールさせる
が挙げられる。ここで、（１）「フォーカス」操作及び（２）「クリック」操作は、後に詳述する「タッチフォーカス」モードの動作下で実施可能となる。
【００４８】
尚、当然に、上記以外の従来の操作、例えばフリック操作、ピンチイン操作、ピンチアウト操作等も、スクリーンパッド１０５を介して行うことができるように設定することもできる。
【００４９】
図２は、「フォーカス」操作及び「クリック」操作を説明するための、携帯型情報機器の前面図である。
【００５０】
図２（Ａ）は、「フォーカス」操作を示している。最初に、この図を用いて「フォーカス」操作が行われる「タッチフォーカス」モードを説明する。図２（Ａ）によれば、ユーザの指が、スクリーンパッド１０５（内のタッチパネル１００部分）に接触し、所定時間以上接触位置を維持した後、接触を保ちながらスクリーンパッド１０５上をなぞるように移動（スライド）している。ここで、アイコン１０４を含む画像全体、及び対応するアイコンイメージ１０４ａを含むスクリーンパッド１０５内の画像は、指の移動にもかかわらず移動せず、固定された状態となっている。
【００５１】
従って、ユーザは、指を接触させたまま移動させ、位置が固定されたアイコンイメージ１０４ａに順次触れていくことができる。これに応じて、ポインタ１０６も画面内を移動し、位置が固定されたアイコン１０４を順次指し示していく。また、後述する接触判定部１２２（図５）が、指の移動中も、指の接触位置とアイコンイメージ１０４ａの表示位置範囲とが重畳したか否かを判定している。このように画面に表示された画像全体を移動させることなく固定した状態で指の接触位置をモニタするモードが、「タッチフォーカス」モードである。
【００５２】
この「タッチフォーカス」モードは、例えば、指でスクリーンパッド１０５をなぞりつつ、表示された画像内に所望のアイコン１０４が存在するか否かを確かめながら、対応したアイコンイメージ１０４ａの表示位置範囲まで指を確実に進めたい場合に適している。
【００５３】
ここで、「タッチフォーカス」モードが動作する条件を説明する。最初に、指がスクリーンパッド１０５に接触する。この時刻をｔ０とする（ｔ＝ｔ０）。次いで、指は、接触位置を変化させずに停止した状態を経て、同じく接触したまま移動を開始する。この移動を開始する時刻をｔＳ２とする（ｔ＝ｔＳ２）。この場合、指の接触位置は、時間（ｔＳ２−ｔ０）だけ継続して変化しなかったことになる。この時間（ｔＳ２−ｔ０）が所定時間ｔＴＨ以上の場合に（（ｔＳ２−ｔ０）≧ｔＴＨ）、後述する動作制御部１２５（図５）が、「タッチフォーカス」モードを動作させる。尚、所定時間ｔＴＨは、例えば２００ｍｓｅｃに設定可能である。
【００５４】
同じく図２（Ａ）において、「タッチフォーカス」モードの動作下、ユーザは、スクリーンパッド１０５をなぞりながら、指を移動させる。その後、所望のアイコン１０４を探し出し、対応するアイコンイメージ１０４ａの表示位置範囲内に指を進める。このように、「タッチフォーカス」モードの動作下、指の接触位置をアイコンイメージ１０４ａの表示位置範囲に重畳させる操作（ポインタ１０６の指し示す位置をアイコン１０４の表示位置範囲に重畳させる操作）を、以後、「フォーカス」操作と称する。「フォーカス」操作は、ユーザがアイコン１０４を選択する操作であり、その後のアイコン１０４の機能を発動させる操作を確実に行うための準備動作としての役割を果たす。
【００５５】
尚、指の接触位置がアイコンイメージ１０４ａの表示位置範囲に重畳した際には、後述する触覚応答機構部１０２（図４）が、指に、物理的な押下ボタンの存在を感じさせる振動を与えることができる。これにより、ユーザは、「フォーカス」操作が受け入れられたことを確認でき、安定した確実な操作感を得ることができる。
【００５６】
ここで、物理的な押下ボタンの存在を感じさせる振動の例として、以下のものが挙げられる。最初に、アイコン１０４があたかも高さ（画面に垂直な方向の厚み）を有するかのように、アイコン１０４の表示位置範囲の各点に高さ情報を付与する。その後、指がアイコン１０４の表示位置範囲に差し掛かり当該範囲内に入って以降、この高さ情報から算出された勾配の大きさに応じた強度の振動を指に与える。これにより、指は、飛び出た押下ボタンをなぞったような感触を受ける。
【００５７】
図２（Ｂ）は、「クリック」操作を示している。この図によれば、「タッチフォーカス」モードの動作下、指が、所望のアイコンイメージ１０４ａの位置まで進み、その結果、指の接触位置がアイコンイメージ１０４ａの表示位置範囲と重畳する。これに対応して、ポインタ１０６の指し示す位置もアイコン１０４の表示位置範囲に重畳する。この状態から、ユーザが指をスクリーンパッド１０５に押し込むと、対応するアイコン１０４の機能が発動する。このように、アイコン１０４の機能を発動させるために指でアイコンイメージ１０４ａ（タッチパネル１００）を押圧する操作を、以後、「クリック」操作と称する。
【００５８】
ここで、「クリック」操作と判定される条件を説明する。「タッチフォーカス」モードの動作下、指の接触位置が、所望のアイコンイメージ１０４ａの表示位置範囲と重畳する。すなわち「フォーカス」操作が行われる。次いで、この状態から、ユーザが指を強く押し込み、指による押圧力ｐＣが所定の押圧力閾値ｐＴＨ以上となる場合（ｐＣ≧ｐＴＨ）、後述する動作制御部１２５（図５）で、「クリック」操作が行われたと判定され、アイコン１０４の機能が発動する。このように、押圧力ｐＣが所定閾値ｐＴＨ以上であることが、「クリック」操作と判定される条件となる。尚、押圧力閾値ｐＴＨは、例えば、０.５Ｎ（ニュートン）乃至２.０Ｎの範囲内の値に設定可能である。
【００５９】
この際、後述する触覚応答機構部１０２（図４）が、指に、物理的な押下ボタンを実際に押下したかのような感覚を付与する振動を与えることもできる。すなわち、ユーザは、「フォーカス」操作を行った際に、振動を受けて物理的な押下ボタンの存在を感じ、この感覚に基づき確信をもって「クリック」操作を行う。その際、さらに別種の振動を受けることにより、この仮想の押下ボタンを実際に押下したような感覚を得る。その結果、ユーザは、スクリーンパッド１０５上の操作であるにもかかわらず、物理的な押下ボタンを実際に操作した、との安定した確実な操作感を得ることができる。
【００６０】
以上、図２を用いて説明したように、本発明によれば、スクリーンパッド１０５を用いることによって、携帯型情報機器１を保持した片手の指で、画面内の任意の位置を容易に指定することができる。
【００６１】
さらに、それ故に、この保持した片手の指で、オブジェクト（例えばアイコン１０４）を選択する「フォーカス」操作、及びオブジェクトの機能を発動させる「クリック」操作を容易に行うことができる。この際、対象となるオブジェクトが指の届かない位置にあっても、スクリーンパッド１０５内の対応する位置に指を接触させることによってこれらの操作が可能となる。
【００６２】
また、「タッチフォーカス」モードは、指でなぞるという非常に容易な動作を可能とする。その結果、このモードの動作下、比較的狭い領域であるスクリーンパッド１０５上で操作が行われても、所望の動作が確実に発動される。
【００６３】
図３は、「ドラッグクリック」操作を説明するための、携帯型情報機器の前面図である。
【００６４】
図３（Ａ）乃至（Ｃ）は、「ドラッグクリック」操作の一連の流れを示している。最初に、図３（Ａ）によれば、ディスプレイ１０１の画面に、検索エンジンを用いて検索された結果を含む画像が表示されている。本実施形態では、５０件の検索結果１０７のうち、第１件乃至第５件のみが画面に表示されている。また、これに応じて、スクリーンパッド１０５には、対応する検索結果イメージ１０７ａのうち、第１件乃至第５件が、縮小されて表示されている。
【００６５】
ユーザは、指を、スクリーンパッド１０５に接触させて直ちに、接触を保ったまま上側に移動（スライド）させる。すなわちいわゆるドラッグ操作を行う。これにより、図３（Ｂ）に示したように、スクリーンパッド１０５内の検索結果イメージ１０７ａを含む画像も、この指の移動に合わせて上側にスクロールされる。その結果、例えば、検索結果イメージ１０７ａの第４件から第８件までが表示される。また、これに対応して、検索結果１０７を含む画像全体も、上側にスクロールされる。その結果、例えば、検索結果１０７の第４件から第８件までが表示される。
【００６６】
このドラッグ操作の直後、ユーザは、ドラッグ操作が終了した指の接触位置で、指をスクリーンパッド１０５（内のタッチパネル１００部分）に押し込む。これらドラッグ操作とその後の指による押し込みという一連の操作が、「ドラッグクリック」操作である。この操作によって、図３（Ｃ）に示したように、スクリーンパッド１０５内の検索結果イメージ１０７ａを含む画像も、検索結果１０７を含む画像全体も、ドラッグ操作によるスクロールに引き続き、指の押し込みに対応した速度で、更にスクロールされる。
【００６７】
ここで、ユーザは、指の押し込みの強さを加減しながらスクロールの速度を調整することができる。その結果、例えば、検索結果１０７における表示されていない遠い位置であった第４２件から第４６件までが、短時間で表示される。その後、ユーザは、例えば、所望の第４５件を見つけ出して選択し、起動させることができる。
【００６８】
尚、「ドラッグクリック」操作を行っても、「タッチフォーカス」モードは動作しない。従って、ドラッグ操作後の押圧動作が、図２（Ｂ）を用いて説明した「クリック」操作と判定されることはない。また、ドラッグ操作後のスクロールの向きは、ドラッグ操作時のスクロールの向きに一致させることが好ましい。これにより、ユーザは、ドラッグ操作によって意図した向きのスクロールを、更に継続して行うことができる。
【００６９】
ドラッグ操作後の指の押し込みは、タッチパネル１００に対して押圧力ｐＣを及ぼす。この押圧力ｐＣの大きさに応じて、後述する動作制御部１２５（図５）で、ドラッグ操作後のスクロールの速度が決定される。例えば、押圧力ｐＣが押圧力閾値ｐＴＨ０以上である場合に、（ｐＣ−ｐＴＨ０）の値に比例させて、スクロール速度を増加させることも可能である。この場合、ドラッグ操作後に指を押し込めば押し込むほど、その分に比例して、より速く画像全体がスクロールされることになる。
【００７０】
尚、後述する触覚応答機構部１０２（図４）が、指に、スクロールの速度に応じた触覚応答を与えることができる。例えば、スクロールの速度がより高くなるほど、より強い振動が指に与えられる。これにより、ユーザは、スクロールの速度の増減を指から体感でき、リアルな操作感を得ることができる。
【００７１】
以上、図３を用いて説明したように、本発明によれば、スクリーンパッド１０５を用いることによって、携帯型情報機器１を保持した片手の指で、画面内の任意の位置を容易に指定することができる。
【００７２】
さらに、それ故に、この保持した片手の指で、制御された速度でのスクロールが可能な「ドラッグクリック」操作を行うことができる。この際、最初のドラッグ操作においては、スクリーンパッド１０５内での指の小さな移動距離をもってして、画面に表示された画像における、指の届かない位置までの大きな移動距離を実現することができる。また、次いで行われる指の押圧動作においては、指が届くスクリーンパッド１０５内の地点を押し込むという容易な動作だけで、何度もドラッグ操作を行うことなく、所望の移動距離だけのスクロールを短時間で行うことができる。
【００７３】
また、「ドラッグクリック」操作は、指を接触させたままの非常に容易な操作である。その結果、この操作が比較的狭い領域であるスクリーンパッド１０５上で行われても、所望の動作が確実に発動される。
【００７４】
図４は、本発明による携帯型情報機器の構成を概略的に示す斜視図、及び本発明によるスクリーンパッドを用いた入力処理方法の一実施形態を示すフローチャートである。また、図５は、本発明による携帯型情報機器の一実施形態を示す機能構成図である。
【００７５】
図４によれば、携帯型情報機器１は、タッチパネル１００と、ディスプレイ１０１と、触覚応答機構部１０２と、押圧力検出部１０３と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、プログラムを実行することによってその機能を実現させる。
【００７６】
ディスプレイ１０１は、画面に画像を表示する。また、タッチパネル１００は、ディスプレイ１００の画面上に配置されており、ユーザの指の接触位置を時間経過に応じて逐次出力する。このタッチパネル１００として、投影型静電容量方式タッチパネル、表面型静電容量方式タッチパネル、抵抗膜方式タッチパネル、超音波表面弾性波方式タッチパネル、又は赤外線走査方式タッチパネル等を採用することができる。
【００７７】
触覚応答機構部１０２は、タッチパネル１００に接触した指に対して、タッチパネル１００を振動させることにより触覚応答を与える。例えば、上述した「フォーカス」操作時、「クリック」操作時、及び／又は「ドラッグクリック」操作時に、操作内容に応じた種類及び強度の振動を指に与える。触覚応答機構部１０２は、例えば、ＰＺＴ（チタン酸ジルコン酸鉛）等の圧電材料を用いて形成された圧電アクチュエータとすることができる。
【００７８】
押圧力検出部１０３は、指によってタッチパネル１００に与えられる押圧力ｐＣを検出する。押圧力検出部１０３は、例えば、タッチパネル１００の四隅下に設置されており、指を押し付けられて撓んだタッチパネル１００が自身に及ぼす押圧の合計を、押圧力ｐＣとして検出する。この押圧力検出部１０３が出力する押圧力信号は、後述する押圧力判定部１２４に入力される。押圧力検出部１０３は、例えば、ＰＺＴ等の圧電材料を用いて形成された圧電センサとすることができる。また、圧電アクチュエータで構成された触覚応答機構部１０２を設ける代わりに又は設けると共に、押圧力検出部１０３を触覚応答機構部として利用することも可能である。
【００７９】
プロセッサ・メモリは、タッチパネル１００から出力される指の接触位置信号と、押圧力検出部１０３から出力される押圧力信号とを入力し、これらの信号に基づいてユーザの指による操作を認定し、その操作の内容に応じた動作を発動させる。特に、プロセッサ・メモリは、ユーザの指がスクリーンパッド１０５に接触した際の接触位置信号と押圧力信号とを入力して、指の接触位置に対応した位置を指し示すポインタ１０６を表示させる。次いで、この指し示した位置及びその軌跡に対応した動作を発動させる。ここで、図５を用いて、このプロセッサ・メモリの機能構成を説明する。
【００８０】
図５によれば、プロセッサ・メモリは、スクリーンパッド制御部１２１と、接触判定部１２２と、ポインタ表示部１２３と、押圧力判定部１２４と、動作制御部１２５と、触覚応答制御部１２６と、表示制御部１１１と、アプリケーション処理部１１２とを有する。
【００８１】
スクリーンパッド制御部１２１は、ディスプレイ１０１の画面に表示された画像全体を縮小して表示するスクリーンパッド１０５を、この画面内に表示するように表示制御部１１１に指示する。尚、スクリーンパッド１０５の表示は、例えば、指による所定のアイコンの発動、又は機械的ボタンの押下等によって、スクリーンパッド制御部１２１に表示の指示情報を送信することにより行われる。
【００８２】
また、スクリーンパッド制御部１２１は、スクリーンパッド１０５の表示位置を決定し、決定された位置での表示を表示制御部１１１に指示する。尚、スクリーンパッド１０５の（表示位置の）移動は、例えば、スクリーンパッド１０５のいずれかの端、又は所定の領域に指を接触させたまま動かして、スクリーンパッド１０５をドラッグする（引きずる）ことにより行われる。スクリーンパッド制御部１２１は、このような操作の情報を入力し、表示位置及びその移動を決定する。
【００８３】
さらに、スクリーンパッド制御部１２１は、スクリーンパッド１０５の画像全体に対する縮小率を決定し、決定された縮小率での表示を表示制御部１１１に指示する。尚、スクリーンパッド１０５の縮小率は、例えば、スクリーンパッド１０５の角に、又は端辺の中点に表示されるマーカに指を接触させたまま動かすことにより調整される。スクリーンパッド制御部１２１は、このような操作の情報を入力し、縮小率を決定する。
【００８４】
接触判定部１２２は、タッチパネル１００から出力される指の接触位置信号と、スクリーンパッド制御部１２１から出力されるスクリーンパッド１０５の位置情報とを入力し、指が表示されたスクリーンパッド１０５に接触したか否かを判定する。さらに、この判定結果を動作制御部１２３に出力する。また、接触判定部１２２が、上述した「タッチフォーカス」モードの動作下で、指の接触位置とアイコンイメージ１０４ａの表示位置範囲とが重畳したか否かを判定し、この判定結果を動作制御部１２３に出力することも好ましい。
【００８５】
ポインタ表示部１２３は、接触判定部１２２から出力される判定結果及び指の接触位置情報を入力し、ディスプレイ１０１の画面内に、指の接触位置に対応した位置を指し示すポインタ１０６を表示するように表示制御部１１１に指示する。
【００８６】
押圧力判定部１２４は、押圧力検出部１０３からの押圧力信号を入力し、指による押圧力ｐＣが所定の押圧力閾値ｐＴＨ（又はｐＴＨ０）以上であるか否かを判定する。さらに、この判定結果を、動作制御部１２５へ出力する。
【００８７】
動作制御部１２５は、接触判定部１２２から判定結果及び指の接触位置情報を入力する。動作制御部１２５は、この入力情報を基に、ポインタ１０６の指し示す位置に指が接触し、この位置のなす軌跡に指が追随して接触するならば起こるべき動作を発動させる。また、この動作に応じた画像を表示するように表示制御部１１１に指示する。さらに、接触判定部１２２によって、指がスクリーンパッド１０５に接触し且つこの接触位置が所定時間ｔＴＨ以上継続して変化しなかったと判定された場合、動作制御部１２５が、上述した「タッチフォーカス」モードを動作させることも好ましい。
【００８８】
また、「タッチフォーカス」モードの動作下、ポインタ１０６がオブジェクト（例えばアイコン１０４）の表示位置範囲内の位置を指し示す際、動作制御部１２５によって、上述した「フォーカス」操作が行われたと判定されることも好ましい。さらに、ポインタ１０６がオブジェクトの表示位置範囲内の位置を指し示し且つ押圧力ｐＣが所定の閾値ｐＴＨ以上である場合、動作制御部１２５によって、上述した「クリック」操作が行われたと判定されることも好ましい。動作制御部１２５は、これらの操作に対応する動作を発動させる。
【００８９】
触覚応答制御部１２６は、動作制御部１２５から出力される動作指示情報を入力する。次いで、この情報に基づいて、スクリーンパッド１０５に接触した指に対して触覚応答を与えるべく、触覚応答機構部１０２を制御する。
【００９０】
表示制御部１１１は、アプリケーション処理部１１２からのアプリケーション処理情報を入力して、アプリケーションの実行に応じた画像をディスプレイ１０１に表示させる。また、表示制御部１１１は、動作制御部１２５から出力される動作指示情報を入力し、指示された動作に応じた画像をディスプレイ１０１に表示させる。
【００９１】
次いで、図４に示されたフローチャートを用いて、プロセッサ・メモリで実施される、本発明のスクリーンパッド１０５を用いた入力処理方法の一実施形態を説明する。
【００９２】
図４によれば、最初に、スクリーンパッド制御部１２１が、ディスプレイ１０１の画面に表示された画像全体を縮小して表示するスクリーンパッド１０５を、この画面内に表示させる（ステップＳ４０１）。次いで、タッチパネル１００が、指の接触を検知する（ステップＳ４０２）。次いで、接触判定部１２２が、スクリーンパッド１０５に指が接触したか否かを判定する（ステップＳ４０３）。
【００９３】
次いで、接触判定部１２２が真の判定、すなわち指がスクリーンパッド１０５に接触したとの判定を行った際、ポインタ表示部１２３が、指の接触位置に対応した、画面内での位置を指し示すポインタ１０６を表示させる（ステップＳ４０４）。その後、動作制御部１２５は、ポインタ１０６の指し示す位置に指が接触し、この位置のなす軌跡に指が追随して接触するならば起こるべき動作を発動させる（ステップＳ４０５）。例えば、上述した「タッチフォーカス」モードに応じた動作、又は「フォーカス」操作、「クリック」操作、若しくは「ドラッグクリック」操作に応じた動作を発動させる。
【００９４】
以上、詳細に説明したように、本発明のユーザインタフェース装置、入力処理方法及びプログラムでは、装置を保持した片手の指をスクリーンパッド１０５に接触させて、ポインタ１０６が所望の位置を指し示すように操作することができる。その結果、装置を保持した片手の指で、画面内の任意の位置を容易に指定することが可能となるのである。
【００９５】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００９６】
１ 携帯型情報機器（ユーザインタフェース装置）
１００ タッチパネル
１０１ ディスプレイ
１０２ 触覚応答機構部
１０３ 押圧力検出部
１０４ アイコン
１０４ａ アイコンイメージ
１０５ スクリーンパッド
１０６ ポインタ
１０７ 検索結果
１０７ａ 検索結果イメージ
１１１ 表示制御部
１１２ アプリケーション処理部
１２１ スクリーンパッド制御部
１２２ 接触判定部
１２３ ポインタ表示部
１２４ 押圧力判定部
１２５ 動作制御部
１２６ 触覚応答制御部
【技術分野】
【０００１】
本発明は、画像を表示するディスプレイと、ユーザインタフェースとしてのタッチパネルとを備えたユーザインタフェース装置に関する。
【背景技術】
【０００２】
従来、画面に指、スタイラス等で触れることによって入力操作を行う、タッチパネルを搭載したユーザインタフェース装置が広く普及している。特に、近年、スマートフォン、タブレット型コンピュータ、電子書籍、ＰＤＡ(Personal Digital Assistant)のようなユーザインタフェース装置、いわゆる携帯型情報機器では、指による操作を受け入れるユーザインタフェースとしてタッチパネルが積極的に採用されている。
【０００３】
携帯型情報機器は、携帯性を高めるべく小型化を必要とする。このため、ユーザインタフェースとして物理的な入力キーを採用した場合、これら入力キー自体のサイズを小さくしなければならず、操作性の低下が懸念される。これに対し、タッチパネルを採用した場合、仮想ボタンのサイズを、アプリケーションの機能に応じて適切に変更することができ、操作性の向上を図ることができる。
【０００４】
このタッチパネルへの入力では、指を接触させてタッチパネル上の所定の位置を的確に指定することが、所望の動作を確実に発動させる上で非常に重要となる。例えば、表示された画像における画面の枠近傍の位置や、表示された画像内の細かいパターンの位置を、指で正確に指定できることが要求される。
【０００５】
この要求に対処するため、例えば、特許文献１では、指だけでカーソル指定座標を指定する技術が開示されている。この技術では、タッチ位置を移動させることにより、不動支点を間に挟んでタッチ位置の反対側に描かれたカーソル図形を移動させ、カーソル指定座標を指定している。
【０００６】
また、表示手段が設けられた面とは反対側の面にトラックパッドを設けた携帯型情報通信装置も提案されている（特許文献２参照）。この装置では、片手で装置筐体を保持し、この保持した手の指をトラックパッドに接触させて操作を行う。これにより、片手の指で操作し、所定の位置を指定することが可能になるとしている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−２１１３５２号公報
【特許文献２】特開平９−１９８３５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、依然として、携帯型情報機器を保持した片手の指で、画面内の任意の位置を容易に指定することは困難である。
【０００９】
特に、近年、多様且つ大容量の情報を見易く表示するため、ディスプレイの画面は、機器の前面のほぼ全域を占める場合が多い。ここで、このような機器を片手で保持した場合、この片手において保持に関係せず自由に動かし易い指は、実際のところ、親指となる。しかしながら、親指は、一般に他の指に比べて短く、この広い画面における保持した片手とは反対側の端及びその近傍には届き難い。
【００１０】
この問題は、特許文献１及び２に開示されたような従来技術を適用しても解決し難い。例えば、特許文献１に開示された技術では、カーナビゲーション装置等の設置型の情報機器が前提となっており、装置を片手で保持しての操作は考慮されていない。また、それ故に、不動支点の図形を表示させ、この不動支点の位置に基づいて反対側のタッチ位置からカーソル図形を移動させる、といった複雑な動作が想定されており、親指では操作し難い。
【００１１】
一方、特許文献２に開示された技術では、確かに、装置を保持した片手の指での操作が意図されている。しかしながら、装置の裏面に設けられたトラックパッドに指を接触させる以上、この指は、保持に関係している中指、薬指等の親指以外の指であり、自由に動かし難いことは否めない。
【００１２】
そこで、本発明は、装置を保持した片手の指で、画面内の任意の位置を容易に指定することができるユーザインタフェース装置、入力処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明によれば、画像を表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルとを備えたユーザインタフェース装置において、
表示された当該画像全体を縮小して表示するスクリーンパッドを、画面内に表示させるスクリーンパッド制御手段と、
当該指がスクリーンパッドに接触したか否かを判定する接触判定手段と、
接触判定手段が真の判定を行った際、画面内に、当該指の接触位置に対応した該画面内での位置を指し示すポインタを表示させるポインタ表示手段と、
ポインタの指し示す位置に当該指が接触するならば起こるべき動作を発動させる動作制御手段と
を有するユーザインタフェース装置が提供される。
【００１４】
本発明のユーザインタフェース装置における他の実施形態によれば、動作制御手段は、ポインタの指し示す位置がなす軌跡に当該指が追随して接触するならば起こるべき動作を発動させることも好ましい。
【００１５】
本発明のユーザインタフェース装置における他の実施形態によれば、スクリーンパッドは、ユーザがユーザインタフェース装置を片手で保持した場合に該片手の指が該スクリーンパッド上のいずれの地点にも接触することができるような位置に表示されることも好ましい。
【００１６】
本発明のユーザインタフェース装置における他の実施形態によれば、接触判定手段によって、当該指がスクリーンパッドに接触し且つこの接触位置が所定時間以上継続して変化しなかったと判定された場合、動作制御手段は、当該画像全体を移動させることなく固定した状態で当該指の接触位置をモニタする「タッチフォーカス」モードを動作させることも好ましい。
【００１７】
さらに、この「タッチフォーカス」モードの動作下、ポインタが、当該画像に含まれる操作対象であるオブジェクトの表示位置範囲内の位置を指し示す際、動作制御手段は、該オブジェクトを選択する「フォーカス」操作が行われたとして対応する動作を発動させることも好ましい。
【００１８】
本発明のユーザインタフェース装置における他の実施形態によれば、タッチパネルに接触した当該指によって与えられる押圧力を検出する押圧力検出部と、
押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と
を更に有しており、
「タッチフォーカス」モードの動作下、動作制御手段は、ポインタが当該画像に含まれる操作対象であるオブジェクトの表示位置範囲内の位置を指し示し且つスクリーンパッドに接触した当該指による押圧力が所定閾値以上である場合、該オブジェクトの機能を発動させる「クリック」操作が行われたとして対応する動作を発動させることも好ましい。
【００１９】
さらに、この実施形態において、タッチパネルに接触した当該指に対して触覚応答を与える触覚応答機構部と、
「クリック」操作が行われた際、当該指に対してタッチパネルを介して触覚応答を与えるべく触覚応答機構部を制御する触覚応答制御手段と
を更に有することも好ましい。
【００２０】
本発明のユーザインタフェース装置における他の実施形態によれば、タッチパネルに接触した当該指によって与えられる押圧力を検出する押圧力検出部と、
押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と
を更に有しており、
接触判定手段によって、当該指がスクリーンパッドに接触してこの接触位置が所定時間以内に変化し、その後該接触位置が停止したと判定された場合、動作制御手段は、当該指の移動に応じた当該画像全体の移動の後、押圧力の大きさに応じた速度で当該画像全体を更に移動させる「ドラッグクリック」操作が行われたとして対応する動作を発動させることも好ましい。
【００２１】
本発明のユーザインタフェース装置における他の実施形態によれば、ユーザの操作から見て、当該指がディスプレイの画面におけるスクリーンパッドの範囲外の領域に接触した場合、動作制御手段は、当該指の接触位置に当該指が接触するならば本来起こるべき動作を発動させることも好ましい。
【００２２】
本発明によれば、さらに、画像を表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルとを備えたユーザインタフェース装置に搭載されたプログラムにおいて、
表示された当該画像全体を縮小して表示するスクリーンパッドを、画面内に表示させるスクリーンパッド制御手段と、
当該指がスクリーンパッドに接触したか否かを判定する接触判定手段と、
接触判定手段が真の判定を行った際、画面内に、当該指の接触位置に対応した該画面内での位置を指し示すポインタを表示させるポインタ表示手段と、
ポインタの指し示す位置に当該指が接触し、該位置のなす軌跡に当該指が追随して接触するならば起こるべき動作を発動させる動作制御手段と
してコンピュータを機能させる、ユーザインタフェース装置用のプログラムが提供される。
【００２３】
本発明によれば、さらにまた、画像を表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルとを備えたユーザインタフェース装置における入力処理方法において、
表示された当該画像全体を縮小して表示するスクリーンパッドを、画面内に表示させる第１のステップと、
当該指がスクリーンパッドに接触したか否かを判定する第２のステップと、
第２のステップで真の判定がなされた際、画面内に、当該指の接触位置に対応した該画面内での位置を指し示すポインタを表示させる第３のステップと、
ポインタの指し示す位置に当該指が接触し、該位置のなす軌跡に当該指が追随して接触するならば起こるべき動作を発動させる第４のステップと
を有する入力処理方法が提供される。
【発明の効果】
【００２４】
本発明のユーザインタフェース装置、入力処理方法及びプログラムによれば、装置を保持した片手の指で、画面内の任意の位置を容易に指定することができる。
【図面の簡単な説明】
【００２５】
【図１】スクリーンパッドが表示された携帯型情報機器の前面図、及び指による操作の概略図である。
【図２】「フォーカス」操作及び「クリック」操作を説明するための、携帯型情報機器の前面図である。
【図３】「ドラッグクリック」操作を説明するための、携帯型情報機器の前面図である。
【図４】本発明による携帯型情報機器の構成を概略的に示す斜視図、及び本発明によるスクリーンパッドを用いた入力処理方法の一実施形態を示すフローチャートである。
【図５】本発明による携帯型情報機器の一実施形態を示す機能構成図である。
【発明を実施するための形態】
【００２６】
以下、本発明の実施形態について、図面を用いて詳細に説明する。
【００２７】
本発明によるユーザインタフェース装置は、ディスプレイの画面に表示された画像全体を縮小して表示する「スクリーンパッド」を、この画面内に設定する点に特徴を有する。ユーザの指がこのスクリーンパッドに接触することによって、ディスプレイに表示された画像に直接接触するのと同等の操作が可能となる。
【００２８】
ここで、「画像全体」とは、ディスプレイの画面に表示された全画像のうち、指による操作対象を含む部分である。当然に、表示された全画像でもあり得る。例えば、複数のアイコンが配列された領域をなす画像部分は、この操作対象を含む部分に相当する。また、時刻表示部分、バッテリメータ、電波強度インジケータ等の表示部分は「画像全体」に含まれない、とすることも可能である。
【００２９】
尚、本発明が対象とするユーザインタフェース装置では、装置を保持した片手の指がスクリーンパッドに接触することによって情報が入力される。このため、当該装置の多くは、片手でも保持することが可能な、スマートフォンやタブレット型コンピュータのような携帯型情報機器である。従って、以下、本発明の実施形態として、携帯型情報機器を説明する。
【００３０】
図１は、スクリーンパッドが表示された携帯型情報機器の前面図、及び指による操作の概略図である。
【００３１】
図１（Ａ）は、ディスプレイ１０１の画面内にスクリーンパッド１０５が表示された状態を示している。この図によれば、携帯型情報機器１は、画像を表示するディスプレイ１０１と、ディスプレイ１０１の画面上に配置されたタッチパネル１００とを備えている。
【００３２】
また、ディスプレイ１０１に表示された画像に、複数のアイコン１０４が含まれている。アイコン１０４は、アプリケーションを起動させるための、ユーザにとっての操作対象（オブジェクト）である。ここで、ユーザは、指を直接アイコン１０４に接触させることによって、アイコン１０４を選択することができる。
【００３３】
スクリーンパッド１０５は、ディスプレイ１０１の画面内に表示されており、画面に表示された画像全体が縮小して表示された画像領域である。スクリーンパッド１０５に表示された画像は、画面に表示された画像全体に対し、相似比が１未満の相似形であってもよい。または、ｘ軸（Ｘ軸）方向の縮小率とｙ軸（Ｙ軸）方向の縮小率とが互いに異なる縮小形であってもよい。
【００３４】
さらに、スクリーンパッド１０５の形状として、矩形、菱形、その他の多角形、若しくはこれらの形状で角が丸められたもの、又は楕円形、若しくは円形等、種々の形状が採用可能である。いずれにしても、スクリーンパッド１０５には、複数のアイコン１０４のそれぞれに対応した複数のアイコンイメージ１０４ａが表示される。
【００３５】
ユーザは、携帯型情報機器１を片手（図１（Ａ）では右手）で保持し、この片手の親指をスクリーンパッド１０５（内のタッチパネル１００部分）に接触させる。親指は、保持に関係しないため、自由に動かし易く操作に適している。この親指が、例えば、スクリーンパッド１０５内に表示されたアイコンイメージ１０４ａに接触すると、この接触位置に対応したアイコン１０４の位置を指し示すポインタ１０６が、画面内に表示される。
【００３６】
この際、ポインタ１０６の指し示すアイコン１０４の位置に指が接触するならば起こるべき動作が発動される。例えば、アイコン１０４を選択する操作である、後に詳述する「フォーカス」操作が行われたとして、選択動作が発動される。この選択動作としては、例えばアイコン１０４が浮き上がって見えたり光ったりする強調表示が可能である。
【００３７】
スクリーンパッド１０５は、機器１を保持した片手の親指がスクリーンパッド１０５上のいずれの地点にも接触することができるような位置に表示されることが好ましい。これにより、例えば、親指がアイコン１０４に届かず、直接接触し得ない場合でも、ユーザは、アイコンイメージ１０４ａに親指を接触させることができる。その結果、アイコン１０４に直接接触したのと同等の動作を発動させることができるのである。
【００３８】
尚、スクリーンパッド１０５に表示される（アイコンイメージ１０４ａを含む）画像は、半透明であることも好ましい。これにより、ディスプレイ１０１に表示された画像全体の中でスクリーンパッド１０５と重畳した部分も、スクリーンパッド１０５を透過して視認可能となる。
【００３９】
また、スクリーンパッド１０５の表示又は非表示が選択可能であることが好ましい。スクリーンパッド１０５を非表示にすると、画面に表示された画像全体が、遮るもの無く視認可能となる。この場合、スクリーンパッド１０５の機能は停止しており、指を直接画像に接触させて操作を行う。スクリーンパッド１０５の表示は、例えば、指によって所定のアイコンを発動させることによって、又は機械的ボタンを押下することによって行われる。一方、スクリーンパッド１０５の非表示は、例えば、指によってスクリーンパッド１０５内に表示された所定のアイコンイメージを発動させることによって行われる。
【００４０】
さらに、スクリーンパッド１０５は、画面内で移動することができ、画面内の任意の位置に設定可能であることが好ましい。この移動は、例えば、スクリーンパッド１０５のいずれかの端、又は所定の領域に指を接触させたまま動かして、スクリーンパッド１０５をドラッグする（引きずる）ことにより行われる。
【００４１】
また、画面に表示された画像全体に対するスクリーンパッド１０５の縮小率も、変化させられることが好ましい。さらに、ｘ軸（Ｘ軸）方向での縮小率α及びｙ軸（Ｙ軸）方向での縮小率βをそれぞれ独立に変化させられることも好ましい。この縮小率の調整は、例えば、スクリーンパッド１０５の角に、又は端辺の中点に表示されるマーカに指を接触させたまま動かすことにより行われる。
【００４２】
さらに、ユーザの指が、ディスプレイ１０１の画面におけるスクリーンパッド１０５の範囲外の領域に接触した場合、この指の接触位置に、指が接触するならば本来起こるべき動作が発動する。例えば、ユーザの指が、スクリーンパッド１０５の範囲外に位置するアイコン１０４に接触した場合、後に詳述する「フォーカス」操作が行われたとして、このアイコン１０４の選択動作が発動される。
【００４３】
図１（Ｂ）は、親指の接触位置とポインタ１０６の指し示す位置との対応関係を示している。この図によれば、親指は接触しつつ移動し、その接触位置は、スクリーンパッド１０５内の点Ｓ１から点Ｓ２まで変化する。これに伴い、ポインタ１０６も移動し、ポインタ１０６の指し示す位置も、ディスプレイ１０１の画面内の点Ｐ１から点Ｐ２まで変化する。スクリーンパッド１０５にｘｙ座標系の第１象限を適用し、さらにディスプレイ１０１の画面に、ｘｙ座標系と同縮尺の目盛を有するＸＹ座標系の第１象限を適用して、これらの点を以下のような座標で表す。
（ａ） 点Ｓ１：（ｘ１，ｙ１）、 点Ｓ２：（ｘ２，ｙ２）
（ｂ） 点Ｐ１：（Ｘ１，Ｙ１）、 点Ｐ２：（Ｘ２，Ｙ２）
【００４４】
この場合、上記座標には、以下の関係が存在する。
（ｃ） Ｘ１＝α−１・ｘ１、 Ｙ１＝β−１・ｙ１
（ｄ） Ｘ２＝α−１・ｘ２、 Ｙ２＝β−１・ｙ２
ここで、αは、画面に表示された画像全体に対するスクリーンパッド１０５のｘ軸（Ｘ軸）方向での縮小率であり、βは、画像全体に対するスクリーンパッド１０５のｙ軸（Ｙ軸）方向での縮小率である。例えば、スクリーンパッド１０５が相似比１／３の相似形である場合、α−１＝β−１＝３となる。
【００４５】
同じく図１（Ｂ）では、親指は、点Ｓ１に接触した直後に、接触したまま点Ｓ２まで移動している。これは、スクリーンパッド１０５内でのいわゆるドラッグ操作に相当する。このため、スクリーンパッド１０５内のアイコンイメージ１０４ａを含む画像も、点Ｓ１から点Ｓ２への向きに、点Ｓ１から点Ｓ２までの距離だけ移動する。
【００４６】
このような親指の接触位置の移動に応じて、ポインタ１０６（の指し示す位置）は、点Ｐ１から点Ｐ２まで移動する。その結果、アイコン１０４を含む画像全体も、点Ｐ１から点Ｐ２への向きに、点Ｐ１から点Ｐ２までの距離だけ移動する。これは、指を点Ｐ１から点Ｐ２まで接触させながら移動させるドラッグ操作による動作に相当する。このように、スクリーンパッド１０５を用いることによって、ポインタ１０６の指し示す位置に指が接触し、この位置のなす（画面内での）軌跡に指が追随して接触するならば起こるべき動作を発動させることが可能となる。
【００４７】
以下、スクリーンパッド１０５を介して行うことができる操作の他の形態を説明する。この操作の例として、
（１） 「フォーカス」操作：アイコン等のオブジェクトを選択する、
（２） 「クリック」操作：オブジェクトの機能を発動させる、
（３） 「ドラッグクリック」操作：ドラッグ操作後、指をタッチパネルに押し込んで画像全体を更にスクロールさせる
が挙げられる。ここで、（１）「フォーカス」操作及び（２）「クリック」操作は、後に詳述する「タッチフォーカス」モードの動作下で実施可能となる。
【００４８】
尚、当然に、上記以外の従来の操作、例えばフリック操作、ピンチイン操作、ピンチアウト操作等も、スクリーンパッド１０５を介して行うことができるように設定することもできる。
【００４９】
図２は、「フォーカス」操作及び「クリック」操作を説明するための、携帯型情報機器の前面図である。
【００５０】
図２（Ａ）は、「フォーカス」操作を示している。最初に、この図を用いて「フォーカス」操作が行われる「タッチフォーカス」モードを説明する。図２（Ａ）によれば、ユーザの指が、スクリーンパッド１０５（内のタッチパネル１００部分）に接触し、所定時間以上接触位置を維持した後、接触を保ちながらスクリーンパッド１０５上をなぞるように移動（スライド）している。ここで、アイコン１０４を含む画像全体、及び対応するアイコンイメージ１０４ａを含むスクリーンパッド１０５内の画像は、指の移動にもかかわらず移動せず、固定された状態となっている。
【００５１】
従って、ユーザは、指を接触させたまま移動させ、位置が固定されたアイコンイメージ１０４ａに順次触れていくことができる。これに応じて、ポインタ１０６も画面内を移動し、位置が固定されたアイコン１０４を順次指し示していく。また、後述する接触判定部１２２（図５）が、指の移動中も、指の接触位置とアイコンイメージ１０４ａの表示位置範囲とが重畳したか否かを判定している。このように画面に表示された画像全体を移動させることなく固定した状態で指の接触位置をモニタするモードが、「タッチフォーカス」モードである。
【００５２】
この「タッチフォーカス」モードは、例えば、指でスクリーンパッド１０５をなぞりつつ、表示された画像内に所望のアイコン１０４が存在するか否かを確かめながら、対応したアイコンイメージ１０４ａの表示位置範囲まで指を確実に進めたい場合に適している。
【００５３】
ここで、「タッチフォーカス」モードが動作する条件を説明する。最初に、指がスクリーンパッド１０５に接触する。この時刻をｔ０とする（ｔ＝ｔ０）。次いで、指は、接触位置を変化させずに停止した状態を経て、同じく接触したまま移動を開始する。この移動を開始する時刻をｔＳ２とする（ｔ＝ｔＳ２）。この場合、指の接触位置は、時間（ｔＳ２−ｔ０）だけ継続して変化しなかったことになる。この時間（ｔＳ２−ｔ０）が所定時間ｔＴＨ以上の場合に（（ｔＳ２−ｔ０）≧ｔＴＨ）、後述する動作制御部１２５（図５）が、「タッチフォーカス」モードを動作させる。尚、所定時間ｔＴＨは、例えば２００ｍｓｅｃに設定可能である。
【００５４】
同じく図２（Ａ）において、「タッチフォーカス」モードの動作下、ユーザは、スクリーンパッド１０５をなぞりながら、指を移動させる。その後、所望のアイコン１０４を探し出し、対応するアイコンイメージ１０４ａの表示位置範囲内に指を進める。このように、「タッチフォーカス」モードの動作下、指の接触位置をアイコンイメージ１０４ａの表示位置範囲に重畳させる操作（ポインタ１０６の指し示す位置をアイコン１０４の表示位置範囲に重畳させる操作）を、以後、「フォーカス」操作と称する。「フォーカス」操作は、ユーザがアイコン１０４を選択する操作であり、その後のアイコン１０４の機能を発動させる操作を確実に行うための準備動作としての役割を果たす。
【００５５】
尚、指の接触位置がアイコンイメージ１０４ａの表示位置範囲に重畳した際には、後述する触覚応答機構部１０２（図４）が、指に、物理的な押下ボタンの存在を感じさせる振動を与えることができる。これにより、ユーザは、「フォーカス」操作が受け入れられたことを確認でき、安定した確実な操作感を得ることができる。
【００５６】
ここで、物理的な押下ボタンの存在を感じさせる振動の例として、以下のものが挙げられる。最初に、アイコン１０４があたかも高さ（画面に垂直な方向の厚み）を有するかのように、アイコン１０４の表示位置範囲の各点に高さ情報を付与する。その後、指がアイコン１０４の表示位置範囲に差し掛かり当該範囲内に入って以降、この高さ情報から算出された勾配の大きさに応じた強度の振動を指に与える。これにより、指は、飛び出た押下ボタンをなぞったような感触を受ける。
【００５７】
図２（Ｂ）は、「クリック」操作を示している。この図によれば、「タッチフォーカス」モードの動作下、指が、所望のアイコンイメージ１０４ａの位置まで進み、その結果、指の接触位置がアイコンイメージ１０４ａの表示位置範囲と重畳する。これに対応して、ポインタ１０６の指し示す位置もアイコン１０４の表示位置範囲に重畳する。この状態から、ユーザが指をスクリーンパッド１０５に押し込むと、対応するアイコン１０４の機能が発動する。このように、アイコン１０４の機能を発動させるために指でアイコンイメージ１０４ａ（タッチパネル１００）を押圧する操作を、以後、「クリック」操作と称する。
【００５８】
ここで、「クリック」操作と判定される条件を説明する。「タッチフォーカス」モードの動作下、指の接触位置が、所望のアイコンイメージ１０４ａの表示位置範囲と重畳する。すなわち「フォーカス」操作が行われる。次いで、この状態から、ユーザが指を強く押し込み、指による押圧力ｐＣが所定の押圧力閾値ｐＴＨ以上となる場合（ｐＣ≧ｐＴＨ）、後述する動作制御部１２５（図５）で、「クリック」操作が行われたと判定され、アイコン１０４の機能が発動する。このように、押圧力ｐＣが所定閾値ｐＴＨ以上であることが、「クリック」操作と判定される条件となる。尚、押圧力閾値ｐＴＨは、例えば、０.５Ｎ（ニュートン）乃至２.０Ｎの範囲内の値に設定可能である。
【００５９】
この際、後述する触覚応答機構部１０２（図４）が、指に、物理的な押下ボタンを実際に押下したかのような感覚を付与する振動を与えることもできる。すなわち、ユーザは、「フォーカス」操作を行った際に、振動を受けて物理的な押下ボタンの存在を感じ、この感覚に基づき確信をもって「クリック」操作を行う。その際、さらに別種の振動を受けることにより、この仮想の押下ボタンを実際に押下したような感覚を得る。その結果、ユーザは、スクリーンパッド１０５上の操作であるにもかかわらず、物理的な押下ボタンを実際に操作した、との安定した確実な操作感を得ることができる。
【００６０】
以上、図２を用いて説明したように、本発明によれば、スクリーンパッド１０５を用いることによって、携帯型情報機器１を保持した片手の指で、画面内の任意の位置を容易に指定することができる。
【００６１】
さらに、それ故に、この保持した片手の指で、オブジェクト（例えばアイコン１０４）を選択する「フォーカス」操作、及びオブジェクトの機能を発動させる「クリック」操作を容易に行うことができる。この際、対象となるオブジェクトが指の届かない位置にあっても、スクリーンパッド１０５内の対応する位置に指を接触させることによってこれらの操作が可能となる。
【００６２】
また、「タッチフォーカス」モードは、指でなぞるという非常に容易な動作を可能とする。その結果、このモードの動作下、比較的狭い領域であるスクリーンパッド１０５上で操作が行われても、所望の動作が確実に発動される。
【００６３】
図３は、「ドラッグクリック」操作を説明するための、携帯型情報機器の前面図である。
【００６４】
図３（Ａ）乃至（Ｃ）は、「ドラッグクリック」操作の一連の流れを示している。最初に、図３（Ａ）によれば、ディスプレイ１０１の画面に、検索エンジンを用いて検索された結果を含む画像が表示されている。本実施形態では、５０件の検索結果１０７のうち、第１件乃至第５件のみが画面に表示されている。また、これに応じて、スクリーンパッド１０５には、対応する検索結果イメージ１０７ａのうち、第１件乃至第５件が、縮小されて表示されている。
【００６５】
ユーザは、指を、スクリーンパッド１０５に接触させて直ちに、接触を保ったまま上側に移動（スライド）させる。すなわちいわゆるドラッグ操作を行う。これにより、図３（Ｂ）に示したように、スクリーンパッド１０５内の検索結果イメージ１０７ａを含む画像も、この指の移動に合わせて上側にスクロールされる。その結果、例えば、検索結果イメージ１０７ａの第４件から第８件までが表示される。また、これに対応して、検索結果１０７を含む画像全体も、上側にスクロールされる。その結果、例えば、検索結果１０７の第４件から第８件までが表示される。
【００６６】
このドラッグ操作の直後、ユーザは、ドラッグ操作が終了した指の接触位置で、指をスクリーンパッド１０５（内のタッチパネル１００部分）に押し込む。これらドラッグ操作とその後の指による押し込みという一連の操作が、「ドラッグクリック」操作である。この操作によって、図３（Ｃ）に示したように、スクリーンパッド１０５内の検索結果イメージ１０７ａを含む画像も、検索結果１０７を含む画像全体も、ドラッグ操作によるスクロールに引き続き、指の押し込みに対応した速度で、更にスクロールされる。
【００６７】
ここで、ユーザは、指の押し込みの強さを加減しながらスクロールの速度を調整することができる。その結果、例えば、検索結果１０７における表示されていない遠い位置であった第４２件から第４６件までが、短時間で表示される。その後、ユーザは、例えば、所望の第４５件を見つけ出して選択し、起動させることができる。
【００６８】
尚、「ドラッグクリック」操作を行っても、「タッチフォーカス」モードは動作しない。従って、ドラッグ操作後の押圧動作が、図２（Ｂ）を用いて説明した「クリック」操作と判定されることはない。また、ドラッグ操作後のスクロールの向きは、ドラッグ操作時のスクロールの向きに一致させることが好ましい。これにより、ユーザは、ドラッグ操作によって意図した向きのスクロールを、更に継続して行うことができる。
【００６９】
ドラッグ操作後の指の押し込みは、タッチパネル１００に対して押圧力ｐＣを及ぼす。この押圧力ｐＣの大きさに応じて、後述する動作制御部１２５（図５）で、ドラッグ操作後のスクロールの速度が決定される。例えば、押圧力ｐＣが押圧力閾値ｐＴＨ０以上である場合に、（ｐＣ−ｐＴＨ０）の値に比例させて、スクロール速度を増加させることも可能である。この場合、ドラッグ操作後に指を押し込めば押し込むほど、その分に比例して、より速く画像全体がスクロールされることになる。
【００７０】
尚、後述する触覚応答機構部１０２（図４）が、指に、スクロールの速度に応じた触覚応答を与えることができる。例えば、スクロールの速度がより高くなるほど、より強い振動が指に与えられる。これにより、ユーザは、スクロールの速度の増減を指から体感でき、リアルな操作感を得ることができる。
【００７１】
以上、図３を用いて説明したように、本発明によれば、スクリーンパッド１０５を用いることによって、携帯型情報機器１を保持した片手の指で、画面内の任意の位置を容易に指定することができる。
【００７２】
さらに、それ故に、この保持した片手の指で、制御された速度でのスクロールが可能な「ドラッグクリック」操作を行うことができる。この際、最初のドラッグ操作においては、スクリーンパッド１０５内での指の小さな移動距離をもってして、画面に表示された画像における、指の届かない位置までの大きな移動距離を実現することができる。また、次いで行われる指の押圧動作においては、指が届くスクリーンパッド１０５内の地点を押し込むという容易な動作だけで、何度もドラッグ操作を行うことなく、所望の移動距離だけのスクロールを短時間で行うことができる。
【００７３】
また、「ドラッグクリック」操作は、指を接触させたままの非常に容易な操作である。その結果、この操作が比較的狭い領域であるスクリーンパッド１０５上で行われても、所望の動作が確実に発動される。
【００７４】
図４は、本発明による携帯型情報機器の構成を概略的に示す斜視図、及び本発明によるスクリーンパッドを用いた入力処理方法の一実施形態を示すフローチャートである。また、図５は、本発明による携帯型情報機器の一実施形態を示す機能構成図である。
【００７５】
図４によれば、携帯型情報機器１は、タッチパネル１００と、ディスプレイ１０１と、触覚応答機構部１０２と、押圧力検出部１０３と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、プログラムを実行することによってその機能を実現させる。
【００７６】
ディスプレイ１０１は、画面に画像を表示する。また、タッチパネル１００は、ディスプレイ１００の画面上に配置されており、ユーザの指の接触位置を時間経過に応じて逐次出力する。このタッチパネル１００として、投影型静電容量方式タッチパネル、表面型静電容量方式タッチパネル、抵抗膜方式タッチパネル、超音波表面弾性波方式タッチパネル、又は赤外線走査方式タッチパネル等を採用することができる。
【００７７】
触覚応答機構部１０２は、タッチパネル１００に接触した指に対して、タッチパネル１００を振動させることにより触覚応答を与える。例えば、上述した「フォーカス」操作時、「クリック」操作時、及び／又は「ドラッグクリック」操作時に、操作内容に応じた種類及び強度の振動を指に与える。触覚応答機構部１０２は、例えば、ＰＺＴ（チタン酸ジルコン酸鉛）等の圧電材料を用いて形成された圧電アクチュエータとすることができる。
【００７８】
押圧力検出部１０３は、指によってタッチパネル１００に与えられる押圧力ｐＣを検出する。押圧力検出部１０３は、例えば、タッチパネル１００の四隅下に設置されており、指を押し付けられて撓んだタッチパネル１００が自身に及ぼす押圧の合計を、押圧力ｐＣとして検出する。この押圧力検出部１０３が出力する押圧力信号は、後述する押圧力判定部１２４に入力される。押圧力検出部１０３は、例えば、ＰＺＴ等の圧電材料を用いて形成された圧電センサとすることができる。また、圧電アクチュエータで構成された触覚応答機構部１０２を設ける代わりに又は設けると共に、押圧力検出部１０３を触覚応答機構部として利用することも可能である。
【００７９】
プロセッサ・メモリは、タッチパネル１００から出力される指の接触位置信号と、押圧力検出部１０３から出力される押圧力信号とを入力し、これらの信号に基づいてユーザの指による操作を認定し、その操作の内容に応じた動作を発動させる。特に、プロセッサ・メモリは、ユーザの指がスクリーンパッド１０５に接触した際の接触位置信号と押圧力信号とを入力して、指の接触位置に対応した位置を指し示すポインタ１０６を表示させる。次いで、この指し示した位置及びその軌跡に対応した動作を発動させる。ここで、図５を用いて、このプロセッサ・メモリの機能構成を説明する。
【００８０】
図５によれば、プロセッサ・メモリは、スクリーンパッド制御部１２１と、接触判定部１２２と、ポインタ表示部１２３と、押圧力判定部１２４と、動作制御部１２５と、触覚応答制御部１２６と、表示制御部１１１と、アプリケーション処理部１１２とを有する。
【００８１】
スクリーンパッド制御部１２１は、ディスプレイ１０１の画面に表示された画像全体を縮小して表示するスクリーンパッド１０５を、この画面内に表示するように表示制御部１１１に指示する。尚、スクリーンパッド１０５の表示は、例えば、指による所定のアイコンの発動、又は機械的ボタンの押下等によって、スクリーンパッド制御部１２１に表示の指示情報を送信することにより行われる。
【００８２】
また、スクリーンパッド制御部１２１は、スクリーンパッド１０５の表示位置を決定し、決定された位置での表示を表示制御部１１１に指示する。尚、スクリーンパッド１０５の（表示位置の）移動は、例えば、スクリーンパッド１０５のいずれかの端、又は所定の領域に指を接触させたまま動かして、スクリーンパッド１０５をドラッグする（引きずる）ことにより行われる。スクリーンパッド制御部１２１は、このような操作の情報を入力し、表示位置及びその移動を決定する。
【００８３】
さらに、スクリーンパッド制御部１２１は、スクリーンパッド１０５の画像全体に対する縮小率を決定し、決定された縮小率での表示を表示制御部１１１に指示する。尚、スクリーンパッド１０５の縮小率は、例えば、スクリーンパッド１０５の角に、又は端辺の中点に表示されるマーカに指を接触させたまま動かすことにより調整される。スクリーンパッド制御部１２１は、このような操作の情報を入力し、縮小率を決定する。
【００８４】
接触判定部１２２は、タッチパネル１００から出力される指の接触位置信号と、スクリーンパッド制御部１２１から出力されるスクリーンパッド１０５の位置情報とを入力し、指が表示されたスクリーンパッド１０５に接触したか否かを判定する。さらに、この判定結果を動作制御部１２３に出力する。また、接触判定部１２２が、上述した「タッチフォーカス」モードの動作下で、指の接触位置とアイコンイメージ１０４ａの表示位置範囲とが重畳したか否かを判定し、この判定結果を動作制御部１２３に出力することも好ましい。
【００８５】
ポインタ表示部１２３は、接触判定部１２２から出力される判定結果及び指の接触位置情報を入力し、ディスプレイ１０１の画面内に、指の接触位置に対応した位置を指し示すポインタ１０６を表示するように表示制御部１１１に指示する。
【００８６】
押圧力判定部１２４は、押圧力検出部１０３からの押圧力信号を入力し、指による押圧力ｐＣが所定の押圧力閾値ｐＴＨ（又はｐＴＨ０）以上であるか否かを判定する。さらに、この判定結果を、動作制御部１２５へ出力する。
【００８７】
動作制御部１２５は、接触判定部１２２から判定結果及び指の接触位置情報を入力する。動作制御部１２５は、この入力情報を基に、ポインタ１０６の指し示す位置に指が接触し、この位置のなす軌跡に指が追随して接触するならば起こるべき動作を発動させる。また、この動作に応じた画像を表示するように表示制御部１１１に指示する。さらに、接触判定部１２２によって、指がスクリーンパッド１０５に接触し且つこの接触位置が所定時間ｔＴＨ以上継続して変化しなかったと判定された場合、動作制御部１２５が、上述した「タッチフォーカス」モードを動作させることも好ましい。
【００８８】
また、「タッチフォーカス」モードの動作下、ポインタ１０６がオブジェクト（例えばアイコン１０４）の表示位置範囲内の位置を指し示す際、動作制御部１２５によって、上述した「フォーカス」操作が行われたと判定されることも好ましい。さらに、ポインタ１０６がオブジェクトの表示位置範囲内の位置を指し示し且つ押圧力ｐＣが所定の閾値ｐＴＨ以上である場合、動作制御部１２５によって、上述した「クリック」操作が行われたと判定されることも好ましい。動作制御部１２５は、これらの操作に対応する動作を発動させる。
【００８９】
触覚応答制御部１２６は、動作制御部１２５から出力される動作指示情報を入力する。次いで、この情報に基づいて、スクリーンパッド１０５に接触した指に対して触覚応答を与えるべく、触覚応答機構部１０２を制御する。
【００９０】
表示制御部１１１は、アプリケーション処理部１１２からのアプリケーション処理情報を入力して、アプリケーションの実行に応じた画像をディスプレイ１０１に表示させる。また、表示制御部１１１は、動作制御部１２５から出力される動作指示情報を入力し、指示された動作に応じた画像をディスプレイ１０１に表示させる。
【００９１】
次いで、図４に示されたフローチャートを用いて、プロセッサ・メモリで実施される、本発明のスクリーンパッド１０５を用いた入力処理方法の一実施形態を説明する。
【００９２】
図４によれば、最初に、スクリーンパッド制御部１２１が、ディスプレイ１０１の画面に表示された画像全体を縮小して表示するスクリーンパッド１０５を、この画面内に表示させる（ステップＳ４０１）。次いで、タッチパネル１００が、指の接触を検知する（ステップＳ４０２）。次いで、接触判定部１２２が、スクリーンパッド１０５に指が接触したか否かを判定する（ステップＳ４０３）。
【００９３】
次いで、接触判定部１２２が真の判定、すなわち指がスクリーンパッド１０５に接触したとの判定を行った際、ポインタ表示部１２３が、指の接触位置に対応した、画面内での位置を指し示すポインタ１０６を表示させる（ステップＳ４０４）。その後、動作制御部１２５は、ポインタ１０６の指し示す位置に指が接触し、この位置のなす軌跡に指が追随して接触するならば起こるべき動作を発動させる（ステップＳ４０５）。例えば、上述した「タッチフォーカス」モードに応じた動作、又は「フォーカス」操作、「クリック」操作、若しくは「ドラッグクリック」操作に応じた動作を発動させる。
【００９４】
以上、詳細に説明したように、本発明のユーザインタフェース装置、入力処理方法及びプログラムでは、装置を保持した片手の指をスクリーンパッド１０５に接触させて、ポインタ１０６が所望の位置を指し示すように操作することができる。その結果、装置を保持した片手の指で、画面内の任意の位置を容易に指定することが可能となるのである。
【００９５】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００９６】
１ 携帯型情報機器（ユーザインタフェース装置）
１００ タッチパネル
１０１ ディスプレイ
１０２ 触覚応答機構部
１０３ 押圧力検出部
１０４ アイコン
１０４ａ アイコンイメージ
１０５ スクリーンパッド
１０６ ポインタ
１０７ 検索結果
１０７ａ 検索結果イメージ
１１１ 表示制御部
１１２ アプリケーション処理部
１２１ スクリーンパッド制御部
１２２ 接触判定部
１２３ ポインタ表示部
１２４ 押圧力判定部
１２５ 動作制御部
１２６ 触覚応答制御部
【特許請求の範囲】
【請求項１】
画像を表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルとを備えたユーザインタフェース装置において、
表示された当該画像全体を縮小して表示するスクリーンパッドを、前記画面内に表示させるスクリーンパッド制御手段と、
当該指が前記スクリーンパッドに接触したか否かを判定する接触判定手段と、
前記接触判定手段が真の判定を行った際、前記画面内に、当該指の接触位置に対応した該画面内での位置を指し示すポインタを表示させるポインタ表示手段と、
前記ポインタの指し示す位置に当該指が接触するならば起こるべき動作を発動させる動作制御手段と
を有することを特徴とするユーザインタフェース装置。
【請求項２】
前記動作制御手段は、前記ポインタの指し示す位置がなす軌跡に当該指が追随して接触するならば起こるべき動作を発動させることを特徴とする請求項１に記載のユーザインタフェース装置。
【請求項３】
前記スクリーンパッドは、ユーザが前記ユーザインタフェース装置を片手で保持した場合に該片手の指が該スクリーンパッド上のいずれの地点にも接触することができるような位置に表示されることを特徴とする請求項１又は２に記載のユーザインタフェース装置。
【請求項４】
前記接触判定手段によって、当該指が前記スクリーンパッドに接触し且つこの接触位置が所定時間以上継続して変化しなかったと判定された場合、前記動作制御手段は、当該画像全体を移動させることなく固定した状態で当該指の接触位置をモニタする「タッチフォーカス」モードを動作させることを特徴とする請求項１から３のいずれか１項に記載のユーザインタフェース装置。
【請求項５】
前記「タッチフォーカス」モードの動作下、前記ポインタが、当該画像に含まれる操作対象であるオブジェクトの表示位置範囲内の位置を指し示す際、前記動作制御手段は、該オブジェクトを選択する「フォーカス」操作が行われたとして対応する動作を発動させることを特徴とする請求項４に記載のユーザインタフェース装置。
【請求項６】
前記タッチパネルに接触した当該指によって与えられる押圧力を検出する押圧力検出部と、
前記押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と
を更に有しており、
前記「タッチフォーカス」モードの動作下、前記動作制御手段は、前記ポインタが当該画像に含まれる操作対象であるオブジェクトの表示位置範囲内の位置を指し示し且つ前記スクリーンパッドに接触した当該指による押圧力が前記所定閾値以上である場合、該オブジェクトの機能を発動させる「クリック」操作が行われたとして対応する動作を発動させることを特徴とする請求項４又は５に記載のユーザインタフェース装置。
【請求項７】
前記タッチパネルに接触した当該指に対して触覚応答を与える触覚応答機構部と、
前記「クリック」操作が行われた際、当該指に対して前記タッチパネルを介して触覚応答を与えるべく前記触覚応答機構部を制御する触覚応答制御手段と
を更に有することを特徴とする請求項６に記載のユーザインタフェース装置。
【請求項８】
前記タッチパネルに接触した当該指によって与えられる押圧力を検出する押圧力検出部と、
前記押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と
を更に有しており、
前記接触判定手段によって、当該指が前記スクリーンパッドに接触してこの接触位置が所定時間以内に変化し、その後該接触位置が停止したと判定された場合、前記動作制御手段は、当該指の移動に応じた当該画像全体の移動の後、前記押圧力の大きさに応じた速度で当該画像全体を更に移動させる「ドラッグクリック」操作が行われたとして対応する動作を発動させることを特徴とする請求項１から３のいずれか１項に記載のユーザインタフェース装置。
【請求項９】
ユーザの操作から見て、当該指が前記画面における前記スクリーンパッドの範囲外の領域に接触した場合、前記動作制御手段は、当該指の接触位置に当該指が接触するならば本来起こるべき動作を発動させることを特徴とする請求項１から８のいずれか１項に記載のユーザインタフェース装置。
【請求項１０】
画像を表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルとを備えたユーザインタフェース装置に搭載されたプログラムにおいて、
表示された当該画像全体を縮小して表示するスクリーンパッドを、前記画面内に表示させるスクリーンパッド制御手段と、
当該指が前記スクリーンパッドに接触したか否かを判定する接触判定手段と、
前記接触判定手段が真の判定を行った際、前記画面内に、当該指の接触位置に対応した該画面内での位置を指し示すポインタを表示させるポインタ表示手段と、
前記ポインタの指し示す位置に当該指が接触し、該位置のなす軌跡に当該指が追随して接触するならば起こるべき動作を発動させる動作制御手段と
してコンピュータを機能させることを特徴とするユーザインタフェース装置用のプログラム。
【請求項１１】
画像を表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルとを備えたユーザインタフェース装置における入力処理方法において、
表示された当該画像全体を縮小して表示するスクリーンパッドを、前記画面内に表示させる第１のステップと、
当該指が前記スクリーンパッドに接触したか否かを判定する第２のステップと、
第２のステップで真の判定がなされた際、前記画面内に、当該指の接触位置に対応した該画面内での位置を指し示すポインタを表示させる第３のステップと、
前記ポインタの指し示す位置に当該指が接触し、該位置のなす軌跡に当該指が追随して接触するならば起こるべき動作を発動させる第４のステップと
を有することを特徴とする入力処理方法。
【請求項１】
画像を表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルとを備えたユーザインタフェース装置において、
表示された当該画像全体を縮小して表示するスクリーンパッドを、前記画面内に表示させるスクリーンパッド制御手段と、
当該指が前記スクリーンパッドに接触したか否かを判定する接触判定手段と、
前記接触判定手段が真の判定を行った際、前記画面内に、当該指の接触位置に対応した該画面内での位置を指し示すポインタを表示させるポインタ表示手段と、
前記ポインタの指し示す位置に当該指が接触するならば起こるべき動作を発動させる動作制御手段と
を有することを特徴とするユーザインタフェース装置。
【請求項２】
前記動作制御手段は、前記ポインタの指し示す位置がなす軌跡に当該指が追随して接触するならば起こるべき動作を発動させることを特徴とする請求項１に記載のユーザインタフェース装置。
【請求項３】
前記スクリーンパッドは、ユーザが前記ユーザインタフェース装置を片手で保持した場合に該片手の指が該スクリーンパッド上のいずれの地点にも接触することができるような位置に表示されることを特徴とする請求項１又は２に記載のユーザインタフェース装置。
【請求項４】
前記接触判定手段によって、当該指が前記スクリーンパッドに接触し且つこの接触位置が所定時間以上継続して変化しなかったと判定された場合、前記動作制御手段は、当該画像全体を移動させることなく固定した状態で当該指の接触位置をモニタする「タッチフォーカス」モードを動作させることを特徴とする請求項１から３のいずれか１項に記載のユーザインタフェース装置。
【請求項５】
前記「タッチフォーカス」モードの動作下、前記ポインタが、当該画像に含まれる操作対象であるオブジェクトの表示位置範囲内の位置を指し示す際、前記動作制御手段は、該オブジェクトを選択する「フォーカス」操作が行われたとして対応する動作を発動させることを特徴とする請求項４に記載のユーザインタフェース装置。
【請求項６】
前記タッチパネルに接触した当該指によって与えられる押圧力を検出する押圧力検出部と、
前記押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と
を更に有しており、
前記「タッチフォーカス」モードの動作下、前記動作制御手段は、前記ポインタが当該画像に含まれる操作対象であるオブジェクトの表示位置範囲内の位置を指し示し且つ前記スクリーンパッドに接触した当該指による押圧力が前記所定閾値以上である場合、該オブジェクトの機能を発動させる「クリック」操作が行われたとして対応する動作を発動させることを特徴とする請求項４又は５に記載のユーザインタフェース装置。
【請求項７】
前記タッチパネルに接触した当該指に対して触覚応答を与える触覚応答機構部と、
前記「クリック」操作が行われた際、当該指に対して前記タッチパネルを介して触覚応答を与えるべく前記触覚応答機構部を制御する触覚応答制御手段と
を更に有することを特徴とする請求項６に記載のユーザインタフェース装置。
【請求項８】
前記タッチパネルに接触した当該指によって与えられる押圧力を検出する押圧力検出部と、
前記押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と
を更に有しており、
前記接触判定手段によって、当該指が前記スクリーンパッドに接触してこの接触位置が所定時間以内に変化し、その後該接触位置が停止したと判定された場合、前記動作制御手段は、当該指の移動に応じた当該画像全体の移動の後、前記押圧力の大きさに応じた速度で当該画像全体を更に移動させる「ドラッグクリック」操作が行われたとして対応する動作を発動させることを特徴とする請求項１から３のいずれか１項に記載のユーザインタフェース装置。
【請求項９】
ユーザの操作から見て、当該指が前記画面における前記スクリーンパッドの範囲外の領域に接触した場合、前記動作制御手段は、当該指の接触位置に当該指が接触するならば本来起こるべき動作を発動させることを特徴とする請求項１から８のいずれか１項に記載のユーザインタフェース装置。
【請求項１０】
画像を表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルとを備えたユーザインタフェース装置に搭載されたプログラムにおいて、
表示された当該画像全体を縮小して表示するスクリーンパッドを、前記画面内に表示させるスクリーンパッド制御手段と、
当該指が前記スクリーンパッドに接触したか否かを判定する接触判定手段と、
前記接触判定手段が真の判定を行った際、前記画面内に、当該指の接触位置に対応した該画面内での位置を指し示すポインタを表示させるポインタ表示手段と、
前記ポインタの指し示す位置に当該指が接触し、該位置のなす軌跡に当該指が追随して接触するならば起こるべき動作を発動させる動作制御手段と
してコンピュータを機能させることを特徴とするユーザインタフェース装置用のプログラム。
【請求項１１】
画像を表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルとを備えたユーザインタフェース装置における入力処理方法において、
表示された当該画像全体を縮小して表示するスクリーンパッドを、前記画面内に表示させる第１のステップと、
当該指が前記スクリーンパッドに接触したか否かを判定する第２のステップと、
第２のステップで真の判定がなされた際、前記画面内に、当該指の接触位置に対応した該画面内での位置を指し示すポインタを表示させる第３のステップと、
前記ポインタの指し示す位置に当該指が接触し、該位置のなす軌跡に当該指が追随して接触するならば起こるべき動作を発動させる第４のステップと
を有することを特徴とする入力処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−３００５０（Ｐ２０１３−３００５０Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１１−１６６６０８（Ｐ２０１１−１６６６０８）
【出願日】平成２３年７月２９日（２０１１．７．２９）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【復代理人】
【識別番号】１００１４１３１３
【弁理士】
【氏名又は名称】辰巳 富彦
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２３年７月２９日（２０１１．７．２９）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【復代理人】
【識別番号】１００１４１３１３
【弁理士】
【氏名又は名称】辰巳 富彦
【Ｆターム（参考）】
[ Back to top ]