音声、視覚、および触覚のフィードバックを使用した三次元オブジェクトシュミレーション
物理的に具体化された「３Ｄ（three-dimensional）」オブジェクトとユーザが相互作用する感覚を生成するために、音声、視覚、および触覚フィードバックが利用される設定を通じて、複数の知覚体験を、タッチ画面を有するデバイスのユーザに与える。特定の大きさ、持続時間または方向を有する動きをタッチ画面に伝えて、ユーザが、触ることによってタッチ画面上に表示されたオブジェクトを見つけられるようにする。具体的な例において、音響効果と、動画などの視覚効果とが組み合わされたとき、触覚フィードバックは、タッチ画面上のボタンが、ユーザがそれを押下したときに、本物の、物理的に具体化されたボタンのように動く知覚を生成する。ボタンは、その外観を変え、「クリック」の音声がデバイスによって再生されて、タッチ画面は、触力覚フィードバックをユーザの指に与える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の知覚体験をデバイスのユーザに与える方法、および、知覚フィードバック体験を与えることによって、タッチ画面上に表示されたオブジェクトとの３Ｄ相互作用をシミュレートするデバイスに関する。
【背景技術】
【０００２】
タッチセンサ式のディスプレイ画面は、従来のキーボード、およびユーザからのデータ入力または、他の入力を受信するための他の「ＨＭＩ(human machine interface)」に代わるものとして急速に普及している。タッチ画面は、携帯デバイスと位置が固定されたデバイスとの両方を含む、様々なデバイスに使用される。タッチ画面を有する携帯デバイスは、一般的に、例えば、携帯電話機、「ＰＤＡ(personal digital assistant)」、ならびに音楽およびビデオを再生するパーソナルメディアプレーヤを含む。タッチ画面を使用する、位置が固定されたデバイスは、一般的に、例えば、車に使用されるもの、「ＰＯＳ(point-of-sale)」端末機、および医療用および工業用アプリケーションに使用される装備を含む。
【０００３】
タッチ画面は、コンピュータデバイスからの出力をユーザに表示し、ユーザからの入力を受信する、両方の機能を果たすことができる。一部の例では、ユーザは、スタイラスを用いて画面上で「書き」、書いたものは、コンピュータデバイスへの入力に変わる。他の例では、ユーザの入力オプションが、例えば、制御、ナビゲーション、またはオブジェクトのアイコンとして画面上に表示される。ユーザがスタイラスまたは指で画面上の関連するアイコンに触ることによって入力オプションを選択したとき、コンピュータデバイスは、触った位置を感知して、アイコンを提示したアプリケーション、またはユーティリティにメッセージを送信する。
【０００４】
文を入力するために、主として、物理的に具体化された標準のキーボードのキートップに似た一連のアイコンである「仮想キーボード」が、タッチ画面上に表示される。ユーザは、その後、特定のキートップアイコンと関連するタッチ画面のエリアを連続的に触ることによって「タイプする」。一部のデバイスは、キーまたはアイコンがアクチュエートしたとき、ユーザにフィードバックを与えるための音声クリックまたは他の音を出すように構成される。他のデバイスは、キーまたはアイコンが押下されたとき、ユーザに視覚的合図を与えるためにキーまたはアイコンの外観を変えるように構成されてもよい。
【０００５】
現在のタッチ画面は、ほとんどのアプリケーションにおいてうまく機能するが、それらは、ユーザが、タッチ画面上のアイコンまたはキーを見つけて使用する視覚を使わずに入力するのを望む、「ブラインド」データ入力またはタッチタイピングにあまり適していない。さらに、一部の環境において、視覚的および聴覚的図に依存してフィードバックを与えることが常に可能とは限らない。例えば、タッチ画面を、それらを見えにくくする直射日光のもと、または聞き取りが困難な雑音環境において動作させることがある。そして車内で、タッチ画面が機能しているとき、運転者が道から目をそらすことは危険である。
【０００６】
従来のＨＭＩデバイスは、主として、触ることによって機能することができる。例えば、物理的キーボードを用いて、ユーザは、個々のキーを触ることができる。そして一部の例では、「Ｆ」および「Ｊ」などのいくつかのキーが、小さなポッチまたは横線を有することにより、ユーザがキーを見ずに触ることによって自分の指をキーの「中心(home)」列の上に置くことができる。現在のタッチ画面を比較すると、ボタンまたはキーが押下されたとき、聴覚または視覚のフィードバックを与えるものでさえ、ユーザが触ることによってアイコンまたはキーを見つけて動作することができない。
【０００７】
本背景技術は、以下に続く発明の概要および発明の詳細な説明の簡易な文脈を導入するために与えられる。本背景技術は、特許請求の範囲の対象事項の範囲を決めるのに役立つものであることを意図せず、または特許請求の範囲の対象事項を、上記に提示された任意またはすべての不利点または問題を解決する実装に限定するものと見なされることを意図しない。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
音声、視覚および触覚のフィードバックを利用して、ユーザが、物理的に具体化された「３Ｄ(three-dimensional)」オブジェクトと相互作用する感覚を生成する設定によって、複数の知覚体験を、タッチ画面を有するデバイスのユーザに与える。特定の大きさ、持続時間または方向を有する動きをタッチ画面に伝えて、ユーザが、触ることによってタッチ画面上に表示されたオブジェクトを見つけられようにする。これらのオブジェクトは、制御またはファイル、仮想キーボードのキートップ、もしくは経験または機能をユーザに与えるために使用される他の構成要素を表すアイコンを含むことができる。例えば、音響効果と、動画などの、視覚効果とを組み合わせた場合、触覚フィードバックは、タッチ画面上のボタンが、ユーザによって押下されたときに、まるで本物の、物理的に具体化されたボタンのように動く知覚を生成する。ボタンは、その外観、デバイスが再生する「クリック」の音声を変え、タッチ画面が動いて（例えば、振動する）、ユーザの指またはスタイラスに触力覚フィードバックを与える。
【課題を解決するための手段】
【０００９】
様々な具体的な例において、振動を作り出すモータなどの１または複数のモーションアクチュエータを、タッチ画面が内蔵された携帯デバイスに固定して接続する。デバイスが、主として、ＰＯＳ端末機などの固定された位置にあるアプリケーションにおいて、モーションアクチュエータを、移動できるタッチ画面に取り付けてもよい。モーションアクチュエータが、タッチ画面上に表示されたオブジェクトとのユーザ相互作用に応じて、大きさ、持続時間および強度を変えることができる触力覚フィードバックを作り出すことによって、さまざまな明示的なタッチ体験を作り出して、それらがあたかも三次元を有するかのように、タッチ画面上のオブジェクトとの異なる相互作用をシミュレートできるようにする。従って、仮想キーボートのキートップの端部は、それを押下してアクチュエートしたとき、キートップの中央部とは異なるように感じる。タッチ効果のこのような区別は、視覚的合図に頼る必要なく、ユーザが、触ることによって有利にタッチ画面に入力できるようにする。
【００１０】
本発明の概要は、以下の発明の詳細な説明でさらに説明される簡易な形式において概念の１つの選択を導入するために与えられる。本発明の概要は、特許請求の範囲の対象事項での重要な特徴または不可欠な特徴を特定することを意図せず、または特許請求の範囲の対象事項の範囲を決めるのに役立つものとして用いられることを意図しない。
図中、同じ参照数字は、同じ構成要素を示す。
【図面の簡単な説明】
【００１１】
【図１】タッチ画面を使用して、ユーザがデバイスと相互作用する具体的な携帯コンピュータ環境を示す図である。
【図２】アイコンおよび仮想キーボードを通じてユーザ相互作用を支援する具体的なタッチ画面を示す図である。
【図３Ａ】物理制御を使用して、タッチ画面によって与えられた制御を補完する、携帯コンピュータデバイスの代替的で具体的なフォームファクタを示す図である。
【図３Ｂ】物理制御を使用して、タッチ画面によって与えられた制御を補完する、携帯コンピュータデバイスの代替的で具体的なフォームファクタを示す図である。
【図４Ａ】ボタンアイコンがアクチュエートしていない状態のとき、奥行き面を有するように設定された具体的なボタンアイコンを示す図である。
【図４Ｂ】ボタンアイコンがアクチュエートした状態で見えるときの具体的なボタンアイコンを示す図である。
【図５Ａ】キートップがアクチュエートしていない状態のとき、奥行き面を有するように設定された具体的なキートップを示す図である。
【図５Ｂ】キートップがアクチュエートした状態で見えるときの具体的なキートップを示す図である。
【図６】デバイスのタッチ画面を使用してキートップをアクチュエートしたとき、触覚、音声および視覚のフィードバックの組み合わせをユーザに与える具体的な携帯コンピュータデバイスを示す図である。
【図７Ａ】具体的な振動モータの正面図である。
【図７Ｂ】具体的な偏心荷重を回転させる直交図である。
【図７Ｃ】振動装置が断面図に示したデバイスに取り付けられたときの上面図である。
【図７Ｄ】振動装置がＰＯＳ端末機のタッチ画面に取り付けられたときの直交図である。
【図８Ａ】キートップが奥行き面を有する知覚をユーザに伝えるタッチに応じて、触力覚フィードバックの輪郭が適用された具体的な仮想キートップの上面図を示す図である。
【図８Ｂ】キートップが奥行き面を有する知覚をユーザに伝えるタッチに応じて、触力覚フィードバックの輪郭が適用された具体的な仮想キートップの側面図を示す図である。
【図９】音声、視覚および触覚のフィードバックを使用した、３−Ｄオブジェクトシミュレーションの具体的なアプリケーションを示す図である。
【図１０】音声、視覚および触覚のフィードバックを使用した、３−Ｄオブジェクトシミュレーションの別の具体的なアプリケーションを示す図である
【図１１】音声、視覚および触覚のフィードバックを使用した、３−Ｄオブジェクトシミュレーションを実装するための具体的なアーキテクチャを示す図である。
【発明を実施するための形態】
【００１２】
音声、視覚および触覚のフィードバックを使用した本「３−Ｄ(three-dimensional)」オブジェクトシミュレーションのアプリケーションを容易にするタッチ画面１１０を使用して、ユーザ１０２がデバイス１０５と相互作用する、具体的な携帯コンピュータ環境１００を図１に示す。図１に示すように、デバイス１０５は、一般的に、携帯電話機、スマートフォン、ＰＤＡ、ウルトラモバイルＰＣ（パーソナルコンピュータ）、携帯ゲーム機、パーソナルメディアプレーヤなどの、携帯コンピュータプラットフォームまたは情報家電として構成される。主として、タッチ画面１１０は、ディスプレイコンポーネント上に構成されるタッチセンサコンポーネントから構成される。ディスプレイコンポーネントは、ＰＣまたはラップトップコンピュータ上の主なモニタのディスプレイコンポーネントと同じ方法で画像を表示する。多くのアプリケーションにおいて、デバイス１０５は、その軽重量、薄さおよび低コストに起因して「ＬＣＤ(liquid crystal display)」を使用する。しかしながら、代替的アプリケーションにおいて、例えば、「ＣＲＴ(cathode ray tube)」、プラズマ画面およびＥＬ画面を含む他の標準の表示技術を利用してもよい。
【００１３】
タッチセンサコンポーネントは、ディスプレイコンポーネントの上部にある。タッチセンサを透明にして、ディスプレイが透けて見えるようにできる。タッチセンサ技術の多くの異なる種類は公知であり、特定の実装の要求に応じて適用できる。これらは、特に、抵抗性、容量性、近接場、光学的画像、歪みゲージ、分散信号、音響パルス認識、赤外線および弾性表面波の技術を含む。現在の一部のタッチ画面は、複数の同時性タッチポイントを区別することができ、および／または感圧性である。タッチ画面１１０との相互作用は、主として、指または親指を使用して、もしくは非容量型タッチセンサとして実現され、スタイラスも使用されてもよい。
【００１４】
デバイス１０５の携帯フォームファクタを図１に示すが、本設定は、タッチ画面が使用される固定されたアプリケーションに代替的に使用できる。これらのアプリケーションは、例えば、「ＡＴＭ(automatic teller machine)」、「ＰＯＳ(point-of-sale)」端末機、または空港、銀行、レストランが使用するようなセルフサービスキオスクなど、およびユーザが問い合わせを行い、セルフサービスのチェックアウトを行い、または他の種類の取引を完了できるようにする小売店を含む。例えば、機械または設備を制御し、発注し、在庫管理などをするためにタッチ画面を使用する工業用、医療用および他のアプリケーションも検討される。タッチ画面は、「ＨＶＡＣ(heating, ventilation and air conditioning)」、娯楽およびナビゲーションなどのサブシステムを制御する自動車においても普及しつつある。新しいサーフィスコンピュータ製品、特にマイクロソフト社製のＭｉｃｒｏｓｏｆｔ Ｓｕｒｆａｃｅ（商標）も、本３−Ｄオブジェクトシミュレーションを用いて使用するのに適用されてもよい。
【００１５】
３−Ｄオブジェクトシミュレーションの本設定は、上記に挙げた家庭用、業務用、医療用および工業用のアプリケーションに必ずしも限定されないことも強調しておく。強固で機能豊富なユーザインタフェースが主に要求される、例えば、軍事的、安全保障および法の施行のシナリオを含む、広範囲の使用および適用が支援されてもよい。多くを要求するこれらの環境において、デバイスおよびシステムに対するより肯定的な相互作用および制御は、音声、視覚および触覚のフィードバックの組み合わせを使用して、ユーザに与えられたタッチ画面上に表示されたオブジェクトの相関関係および曖昧性の除去が改善されることによって可能になる。
【００１６】
図２に、アイコン２０２および仮想キーボード２０６を通じてユーザ相互作用を支援する具体的なタッチ画面１１０を示す。アイコン２０２は、タッチ画面１１０上に一般的に表示されるものを表し、ユーザの制御、入力またはナビゲーションを容易にする。アイコン２０２は、ファイル、ドキュメント、写真、音楽などのコンテンツを表してもよく、デバイス１０５上に格納され、または別の方法で（例えば、ネットワークまたは他の接続を経由して）利用できる。図のように、仮想キーボード２０６は、標準のキーボードのキートップを表す複数のアイコンを含む。タッチ画面１１０は、主として、仮想キーボード２０６上でユーザがタイプするキャラクター（すなわち、文字、数字、符号）を示す表示域または編集用ウィンドウ（図２に図示せず）などの他の機能性を与える。
【００１７】
図３Ａおよび３Ｂに、物理制御３０７（例えば、ボタンなど）を使用してタッチ画面３１０によって与えられるユーザインタフェースを補完する、携帯コンピュータデバイス３０５の代替的で具体的なフォームファクタを示す。図３Ａに示したこの例において、例えば、写真またはビデオを表すことができるいくつかのメディアコンテンツ（参照数字３０９および３１２で示される）を、タッチ画面３１０上に表示できる。図３Ｂに、タッチ画面３１０上に表示できる例示的なドキュメント３２２の１ページを示す。
【００１８】
図３Ａおよび３Ｂに示すように、デバイス３０５は、タッチ画面３１０の長い面が垂直方向に置かれた「縦向き」モードでタッチ画面３１０を置く。しかしながら、他のコンピュータデバイスが、ユーザ選択か自動的かのいずれかによって、縦向きモードと横向きモードとを切り替えることができるのに対し、３−Ｄオブジェクトシミュレーションの本設定を用いて使用できる、一部の携帯コンピュータデバイスは、横向きモードでタッチ画面を置くように設定することができる。
【００１９】
図４に、奥行き面を有するように設定された具体的なボタンアイコン４０２を示す。影付け、遠近感および色彩などの視覚効果を、タッチ画面（例えば、図１のタッチ画面１１０または図３のタッチ画面３１０）上に表示される２−Ｄ構成要素に適用して、３−Ｄの形を有する外観にすることができる。この例において、ボタンアイコンがアクチュエートしていない（すなわち、ユーザによって作動されていないまたは「押下」されていない）状態のとき、視覚効果をボタンアイコン４０２に適用して、その上面が、携帯コンピュータデバイスの表面から突き出ている本物のボタンのように、タッチ画面の平面の上に位置しているように見せることができる。
【００２０】
図４Ｂに、ユーザが、ボタンアイコンを指またはスタイラスで触ることによってアクチュエートしたときに見えるボタンアイコン４１１を示す。図のように、視覚効果が除かれ（あるいは、効果が減少され、または別に適用される）、ボタンアイコン４０２が押下されたときに高さが低くなったように見せることができる。感圧性をタッチ画面に用いるそれらのアプリケーションにおいて、視覚効果は、例えば、適用される圧力の量に比例して減少されてもよい。このようにして、ボタン４１１は、ユーザがタッチ画面１１０上を強く押下すにつれてさらに下降するように見せることができる。
【００２１】
図５Ａおよび図５Ｂに、具体的なキートップに適用されたとき、図４Ａおよび図４Ｂに伴う上記の文と同じ視覚効果のアプリケーションを示す。図５Ａに、アクチュエートしていない状態でのキートップ５０２を示し、図５Ｂに、ユーザが、キートップを指またはスタイラスで触ることによってアクチュエートしたときに見えるキートップ５１１を示す。
【００２２】
図６に、デバイスのタッチ画面１１０を使用して、仮想キーボード２０６のキートップがアクチュエートしたとき、ユーザ１０２に本物の３−Ｄキーと相互作用する錯覚与えるために、触覚、音声および視覚のフィードバックの組み合わせをユーザに与えるように構成された、具体的な携帯コンピュータデバイス１０５を示す。本３−Ｄオブジェクトシミュレーションの一部のアプリケーションにおいて、３つのフィードバック構造（触覚、音声および視覚）のすべての組み合わせを利用することよって、デバイス上でのブラインド入力および／またはタッチタイピングを十分可能にしながら、大いに満足できるユーザ体験を与えることが予想される。しかしながら、他のシナリオにおいて、フィードバックを単一または２つのさまざまな組み合わせにおいて使用することによっても、特定のアプリケーションの要求に応じた、満足できる結果を与えることができる。図６に、仮想キーボードの具体的な例を示すが、本明細書に説明するフィードバック技術の使用を、制御またはナビゲーションに使用されるアイコンと、デバイス１０５に格納または利用できるコンテンツを表すことができるアイコンとに適用できることも強調しておく。
【００２３】
この例における視覚フィードバックは、図４Ａ、４Ｂ，５Ａおよび５Ｂに示した視覚効果のアプリケーションを含み、特定のキートップが押されたときに、ユーザに視覚的に示す仮想キーボード２０６のキートップに関して、文に伴って説明される。図のように、仮想キーボード２０６のキーは、それらをタッチ画面１１０の表面から離れている様に見せることができる影付けを用いて設定される。キートップに触ったときに、この影付け効果を除く（または減少させることができる）。図のようなこの例において、ユーザは、キートップ「Ｇ」を押下している。
【００２４】
音声フィードバックは、主として、デバイス１０５に接続できるスピーカ６０６または外付けのヘッドセット（図示せず）を通じて、「クリック」（図６の参照数字６０２で示した）などのサンプル音声を再生することを備える。サンプル音声は、物理的に具体化されたキーボードでアクチュエートされる本物のキーの音をシミュレートするように設定される。代替的な設定において、利用されるサンプル音声は、特定の物理的動きをシミュレートしない、一部の任意の音（ビー、チリンチリン、音色、音符など）として構成されてもよいし、またはそのようなさまざまな音の中からユーザが選択してもよい。すべての例において、キートップがアクチュエートしたとき、サンプル音声の利用により、聴覚フィードバックをユーザに与える。
【００２５】
触覚フィードバックを設定して、デバイス１０５に対する動きのアプリケーションを通じて本物のキートップとの相互作用をシミュレートする。タッチ画面１１０が本質的に硬質であるため、タッチ画面１１０に接触した時点でデバイス１０５の動きをユーザに伝える。この例において、その動きは、波線６１７を使用して図６に示した振動を生じる。
【００２６】
振動装置７１２に備わっている、具体的な振動モータ７０４の正面図および具体的な偏心荷重７１０を回転させる直交図を、それぞれ図７Ａと７Ｂに示す。この具体的な例において、振動装置７１２を使用して、上記に説明された触覚フィードバックを実装するために使用される振動の動きを与える。代替的な実施形態において、圧電振動子または電動リニアアクチュエータまたは回転型電動アクチュエータなどの他の種類のモーションアクチュエータが使用されてもよい。
【００２７】
この例における振動モータ７０４は、荷重７１０が固定して取り付けられているシャフト７１７を回転させるように設定された、ほぼ円筒形状のＤＣモータである。振動モータ７０４は、荷重７１０を順方向と逆方向の両方に回転させて動作するようにさらに構成される。一部のアプリケーションにおいて、振動モータ７０４は、可変速度で動作するように設定されてもよい。振動モータ７０４の動作は、主として、以下の図１０に伴う文で説明されたモーションコントローラ、アプリケーション、および知覚フィードバック論理コンポーネントによって制御される。
【００２８】
偏心荷重７１０をシャフト７１７に対して非対称の形状にして、重心（図７Ａの「Ｇ」として指定される）をシャフトと相殺できるようにする。従って、荷重が回転するときに方向を変えて、シャフトの角速度が増加するときに大きさを増加させるシャフト７１７に遠心力が伝わる。さらに、モーメントは、荷重７１０の回転方向と逆になる振動モータ７０４に適用される。
【００２９】
携帯デバイスの実装において、振動装置７１２は、主として、図７Ｃの上部切り取り図に示すデバイス１０５などのデバイスの内部に固定して取り付けられる。この取り付けにより、振動装置７１２の動作による力（すなわち、遠心力およびモーメント）をデバイス１０５に容易に結合させて、デバイスが、振動装置７１２に駆動信号を送るアプリケーションに応答して振動できるようにする。
【００３０】
適切な駆動信号のアプリケーションを通じて、例えば、回転方向、負荷サイクルおよび回転速度を含む振動装置７１２の動作の変化を実装することができる。異なる動作モードは、結合された振動の方向、持続時間および大きさを含むデバイス１０５の動きに影響を与えることが予想される。さらに、単一の振動装置を図７Ｃに示すが、３−Ｄオブジェクトシミュレーションの本設定の一部のアプリケーションにおいて、複数の振動装置を、デバイス１０５内の異なる位置および方向に固定して取り付けてもよい。この例において、デバイス１０５に伝えられる動きの方向および大きさに対する指の制御は、主として、実装されてもよい。強さのレベルを変える動きの多自由度は、従って、振動モータを単一および異なる駆動信号を用いた組み合わせにおいて動作させることによって実現できることを認識されたい。従って、さまざまな触覚効果を実装して、異なる錯覚が実現できるようにする。特に、聴覚フィードバックと視覚フィードバックを適切に組み合わせたとき、粗さ、滑らかさ、粘着性などを含む異なる３−Ｄジオメトリまたはテクスチャを効果的にシミュレートすることができる。
【００３１】
デバイス１０５により支援されるさまざまな機能を実装するのに使用されるソフトウェアおよび／またはファームウェアを実行するのに主に利用される、プロセッサ７１９およびメモリ７２１を、図７Ｃの幻影図に示す。単一のプロセッサ７１９を図７Ｃに示すが、一部の実装において複数のプロセッサを利用してもよい。メモリ７２１は、揮発性メモリ、不揮発性メモリまたはその２つの組み合わせを備えてもよい。
【００３２】
ＰＯＳ端末機または、キオスクの実装において、振動装置７１２によって提供されるものと同じ機能性を与えるように構成された１または複数の振動装置を、端末機に移動可能に接続されるように構成されたタッチ画面に固定して取り付ける。例えば、図７Ｄに示すように、タッチ画面７２５を枠７３１内に移動可能に留め置いてもよいし、またはＰＯＳ端末機７４４の基部７３５に移動可能に取り付けられてもよい。このようにして、ＰＯＳ端末機７４４自体が固定されたままであるが、タッチ画面７２５を移動させて、触覚フィードバックをユーザに与えることができる。ＰＯＳ端末機７４４は、一般的に、１または複数のプロセッサおよびメモリ（図示せず）も含む。
【００３３】
具体的な仮想キートップ８０８の上面図を図８Ａに、側面図を図８Ｂに示す。キートップが奥行き面を有するという知覚をユーザに伝えるために、触覚フィードバックは、タッチに応答して１または複数の振動装置（例えば、図７の振動装置７１２）を動作することによって作り出す。図８Ａおよび８Ｂに示す具体的な例において、振動を実装して、主として、複数の振動装置を使用することによって、大きさ、持続時間および方向を変える触覚フィードバック使用した触力覚フィードバックの輪郭を提供できるようにする。しかしながら、代替的な実施形態において、デバイス１０５のパーツ点数および煩雑さを減らすおよび／またはコストを下げるために、単一の振動装置が利用されてもよい。この代替的な例において、動きの自由度を利用できることが少なくなるが、３−Ｄのかなりの知覚は、主として、特定のアプリケーションに対して満足できるレベルまでなお実現可能である。
【００３４】
図８Ｂの点線の輪郭で示したように、キートップ８０８に奥行きの触覚イリュージョンを提供して、それをユーザが触ったときに、それがタッチ画面１１０の表面から離れている様に感じることができるようにする。ユーザは、指またはスタイラスでキートップ８０８の横を、（図８Ａの線８１２で示したように）例えば、左から右にスライドまたはドラッグすることができる。白矢印８１５で示したように、ユーザのタッチがキートップ８０８の端部に到達したとき、黒矢印８１８で示したように、タッチ画面１１０の平面に対してほぼ左方向の水平に触力覚フィードバックを適用する。（説明８２０に示すように、白矢印は、指またはスタイラスによるタッチの方向を示し、黒矢印は、触力覚フィードバックが生じた方向を示す）。
【００３５】
矢印８２５で示したように、ユーザがキートップ８０８の仮想上部の端部からスライドしたとき、矢印８３０で示したように、触力覚フィードバックの方向は、ほぼ左側上方になり、キートップ８０８の端部の感じをユーザに伝える。キートップ８０８の端部を触ったときに触覚フィードバックを与えることによって、本物の、物理的に具体化されたキーボードと同じように単純に触ることによって、仮想キーボードのキートップをユーザが見つけるのを有利に支援することができる。
【００３６】
矢印８３６で示したように、ユーザがキートップをアクチュエートするつもりでキートップ８０８の中央部（すなわち、非端部）を触ったとき、矢印８４２で示したように、触力覚フィードバックは、ほぼ上方に向く。この例において、触覚フィードバックをキートップアクチュエーションに与えるのに使用される力の大きさは、キートップの端部をユーザに示すのに使用される力よりも大きくなってよい。つまり、例えば、キートップを見つける際にユーザに与えられたフィードバック力を少なくしながら、デバイス１０５からの振動力を強くして、キートップがアクチュエートされたことを示すことができる。さらに、またはあるいは、キートップアクチュエーションのフィードバックの持続時間を変えてもよい。従って、フィードバックを明示的にすることが可能になり、ユーザに対する触覚的合図によって、ユーザが機能を区別することができるようにする。ユーザがキートップを押下してそれをアクチュエートしたとき、主として、異なる感覚を体験しながら、ユーザが自分の指をキートップ上で滑らせたとき、その端部が明示的なフィードバックに影響を与えて、ユーザが触ることによってキートップを見つけることができるようにする。
【００３７】
従って、ユーザは、主として、タッチ画面１１０の表面を指またはスタイラスで、リフトせずに横に滑らせて触ることによって、オブジェクト（例えば、ボタン、アイコン、キートップなど）を見つけるであろう。同じ滑らせるまたは「ホバリング」動作が、ユーザがデバイス上の物理的に具体化されたボタンおよびオブジェクトを見つけようとするときに使用されるので、これらの動作を直感的に予想することができる。明示的な触覚的合図を与えて、タッチ画面１１０上のオブジェクトの位置をユーザに示す。ユーザは、次に、例えば、ホバリングからクリッキングに切り替えることによってボタンをクリックして、オブジェクトをアクチュエートできる。これを、いくつかの代替的な方法の中の１つにおいて実現できる。感圧性のタッチ画面が使用される実装において、ユーザは、主として、圧力をさらに適用してボタンクリックを実装するであろう。あるいは、ユーザは、タッチ画面１１０の表面から自分の指またはスタイラスを、主として、一時的にリフトしてよく、次に、ボタンをタップしてタッチ画面をクリックする（明示的な触覚的合図を与えて、ボタンクリックをユーザに確認させることができる）。リフティング動作によって、デバイス１０５が、ホバリングとクリッキングとを区別することができるので、ユーザのタップをボタンクリックとして解釈する。感圧性のタッチ画面を使用しない実装において、リフト・タップの方法論は、主として、触ることによってオブジェクトを見つけることと、オブジェクトの作動とを区別するために利用されるであろう。
【００３８】
代替的な設定において、アイコンまたはボタンの「状態」に応じて、ユーザに与えられたフォースフィードバックを変えることができる。ここで、特定のユーザ体験またはユーザインタフェースを支援するためには、アイコンまたはボタンを有効化してよく、それによってユーザがアクチュエートまたは「クリック」することができる。他の例において、しかしながら、アイコンまたはボタンが使用不能になる場合もあるので、ユーザがアクチュエートすることができない。使用不能の状態において、例えば、特定のボタンまたはアイコンに対して、ユーザが「クリッカブル(clickable)」でないことを示すために、フィードバックの大きさをさらに小さく（またはフィードバックを無くす）利用することが望ましい場合もある。
【００３９】
矢印８４５で示したように、ユーザがさらに自分の指をキートップ８０８の右側にスライドさせたとき、右側上方にある触力覚フィードバックを用いて、右端部の位置をユーザに示す。これを、矢印８５１で示す。矢印８５６で示したように、ユーザのタッチがキートップ８０８の遠端に到達したとき、矢印８６０で示したように、次に、タッチ画面１１０の平面に対してほぼ右方向の水平に触力覚フィードバックを適用する。ほとんどの例において、同じ触力覚フィードバックの輪郭を、ユーザがキートップ８０８上で指またはスタイラスを右から左に、および上から下に、下から上におよび他の方向からスライドさせる状況において適用できることに留意されたい。
【００４０】
図９に、音声、視覚および触覚のフィードバックを使用した、本３−Ｄオブジェクトシミュレーションの具体的なアプリケーションを示す。この例において、図のようなネコ９０９などの「仮想ペット」を実装するのに使用されるオブジェクトを、タッチ画面１１０上のデバイス１０５上で実行するアプリケーションによって表示する。仮想ペットネコ９０９は、主として、毛繕い、撫でる、ネコの耳の後ろを掻くなどによって、ユーザが自身の仮想ペットと相互作用する娯楽またはゲームのシナリオ部分として利用される。これらの相互作用は、この例において、３−Ｄオブジェクトシミュレーションの本技術を適用することによって強化される。例えば、ユーザ１０１２が仮想ペットネコ（オブジェクト）を撫でたとき、ネコ９０９の画像は、タッチ画面１１０上のユーザのタッチに応じて、その毛が滑らかになっているのを見せるように動画化できる。ネコのゴロゴロと鳴く音、またはネコの毛を滑らかにするまたはパタパタたたく音（それぞれ、参照番号９１５と９１８とで示される）を含むことができる、適切なサンプル音は、スピーカ６０６または接続された外付けのヘッドセット（図示せず）によってレンダリングされる。
【００４１】
タッチ画面１１０が感圧性である実装において、ユーザへの知覚フィードバックを、ユーザによるタッチ画面上の圧力の変更に応じて変更することができる。例えば、ユーザ１０２が、タッチ画面１１０上にさらに圧力をかけながらネコを撫でると、ネコ９０９は、さらに大声でゴロゴロと鳴くかもしれない。
【００４２】
ユーザ１０２がネコ９０９を撫でたときに与えられる音および視覚のフィードバックに加えて、デバイス１０５は、１または複数の振動装置（例えば、図７およびそれに伴う文で説明された振動装置７１２）を使用する振動などの触覚フィードバックを与えるように構成される。タッチ画面１１０上でのユーザのタッチに応じてフィードバックフォースの方向、持続時間および大きさを変えることによって、例えば、ネコ９０９を撫でた感じ、および／またはユーザ１０２が触るのに応じてネコ９０９を動かすことを含む、さまざまな触感をシミュレートできる。音声、視覚および触覚のフィードバックを、単一または２つのさまざまな組み合わせにおいて使用できるが、その３つを組み合わせて利用することにより、上記に説明された具体的な娯楽またはゲームのアプリケーションによって与えられるような設定において、最も完成した３−Ｄオブジェクトシミュレーションおよび最も豊富なユーザ体験を与えることが多いことが想定される。
【００４３】
図１０に、音声、視覚および触覚のフィードバックを使用した、本３−Ｄオブジェクトシミュレーションの別の具体的なアプリケーションを示す。この例において、デバイス３０５は、ユーザ１０２が、タッチ画面３１０上のページ３３２の端部を触り、次に、ユーザの指でフリックまたは他の動きをすることによってページをめくることによって、ドキュメントの複数のページの中を閲覧できるように構成される。例えば、ドキュメントの次のページに進むために、ユーザ１０２は、ページ３２２の右端部を触って、次に、本物の本のページをめくるのと同じ動きで（タッチ画面３１０をユーザの指で横にドラッグすることによって）右から左に動かす。前のページに戻るために、ユーザ１０２は、ページ３２２の左端部を触って、それを右に動かすことができる。
【００４４】
ユーザ１０２が、図８Ａおよび８Ｂに伴う文において上記に説明されたもとの同じ方法で、タッチ画面３１０を触ることによってページ３２２の端部を見つけたときに、触覚フィードバックを与える。仮想ページがめくられるときに、例えば、ユーザ１０２が本物のページをめくるときに体験するかもしれない感じ（例えば、ページをめくるときの、少量の空気抵抗の受け止め、ページの硬さおよび／または本の縛り具合など）をシミュレートするために、付加的な触力覚フィードバックをデバイス３０５に適用することができる。
【００４５】
多くのアプリケーションにおいて、触覚フィードバックは、主として、音声および視覚のフィードバックに組み合わされる。例えば、参照数字１０１５で示したように、デバイス３０５内のスピーカ１００６、または接続された外付けのヘッドセット（図示せず）を通じてページをめくるときのパラパラというサンプル音が再生させる。しかしながら、図６に示した具体的な例およびそれに伴う文で説明されたように、代替的なサンプル音は、特定の物理的動きをシミュレートしない、任意の音（ビー、チリンチリン、音色、音符など）を含めて利用されてもよいし、またはそのようなさまざまな音の中からユーザが選択してもよい。すべての例において、ユーザが仮想ページ３２２をめくったときに、サンプル音の利用を聴覚フィードバックに与える。
【００４６】
図１０に示した例に、利用される視覚フィードバックは、ユーザの指またはスタイラスの動きに応じて動画の動きをつける、ページ３２２の動画を備えることができる。従って、タッチ画面３１０上のページ３２２に対するユーザのタッチに応じて、例えば、ページ３２２を、反対に向け、スライドし、または消去するなどして、ドキュメントの次のページまたは前のページを見せることができる。
【００４７】
上記の具体的な例にあるように、タッチ画面３１０が感圧性である実装において、ユーザへの知覚フィードバックを、ユーザ１０２によるタッチ画面上の圧力の変更に応じて変更することができる。例えば、ユーザ１０２が、ページをさらに速くまたはさらに力を入れてめくる（すわなち、さらに圧力をタッチ画面３１０に適用する）場合、ページ３２２は、さらに速くめくられまたはスライドされ、ページがめくられる音を、さらに強くまたは大きくできる。
【００４８】
図１１は、音声、視覚および触覚のフィードバックを使用した本３−Ｄオブジェクトシミュレーションの実装を容易にするデバイス上でインストールできる、機能コンポーネントを示す具体的なアーキテクチャ１１０４である。機能コンポーネントを、ソフトウェア、ハードウェア、ファームウェア、またはソフトウェア、ハードウェア、ファームウェアのさまざまな組み合わせを使用して、代替的に実装できる。例えば、具体的なアーキテクチャ１１０４における機能コンポーネントを、図７Ｃに示したプロセッサ７２１によってメモリ７１９に格納された命令の実行によるランタイム時に生成できる。
【００４９】
ホストアプリケーション１１０７は、図９およびそれに伴う文で説明されたように、主として、娯楽またはゲーム環境などの、特に所望される機能性を与えるのに利用される。しかしながら、一部の例では、ホストアプリケーション１１０７によって実装される機能は、デバイスのオペレーティングシステムまたはミドルウェアによって代替的に与えることができる。例えば、一部の実装において、仮想キーボードを介したファイルシステムの動作および入力を、基本オペレーションシステムの機能として支援できる。
【００５０】
知覚フィードバック論理コンポーネント１１２０は、さまざまなフィードバック方法をホストアプリケーション１１０７に表示させるように構成され、ホストアプリケーションとハードウェア専用コントローラとの間の媒介として機能させる。これらのコントローラは、主に、ソフトウェアのデバイスドライバとして実装できる、タッチ画面コントローラ１１２５、音声コントローラ１１２８およびモーションコントローラ１１３４を含む。タッチ画面コントローラ１１２５、音声コントローラ１１２８、およびモーションコントローラ１１３４は、それぞれ、タッチ画面、音声ジェネレータ、および１または複数の振動装置と相互作用し、図１１の単一のハードウェアレイヤ１１４０内で抽出される。他の機能において、タッチ画面コントローラ１１２５は、タッチ画面に適用されるタッチ座標および／または圧力を示すデータを獲得するように構成され、獲得されたデータを、主に入力イベントの形で知覚フィードバック論理コンポーネント１１２０に返信する。モーションコントローラ１１３４は、１または複数の振動装置と相互作用して、特定の実装の要求にこたえる必要に応じて、単一または複数の動きの自由度を与えるように構成できる。
【００５１】
従って、知覚フィードバック論理コンポーネント１１２０は、対応する視覚的動画および音響効果とともに、図１０の上記に示した例における滑らかになった毛の感じなどの、ホストアプリケーションからの特定の知覚効果の要求を受信するように設定される。知覚フィードバック論理コンポーネント１１２０は、次に、ハードウェア専用コントローラ用の適切なコマンドを作成することによって、所望の知覚効果をデバイス上に実装する。例えば、図１０に伴う文に説明したように、ページをめくる複数の知覚効果を実装するために、知覚フィードバック論理コンポーネント１１２０は、タッチ画面上でのページ動画のレンダリングおよびページをめくる音の再生を呼び出す。さらに、１つの駆動信号、または一連の駆動信号を作り出して、振動装置などのモーションアクチュエータを制御する。駆動信号は、主に、振幅、周波数、パルス波形、持続時間などを変え、所望の触覚フィードバックを作り出す単一の振動装置（または複数の振動装置が利用される実装における振動装置のさまざまな組み合わせ）を対象としている。
【００５２】
明示的な知覚的合図をユーザに与えるのに利用されるタッチ画面の動きにおいて、触覚フィードバックを提示してきたが、一部のシナリオにおいて他の方法も用いられてよいことも強調しておく。例えば、低電流のシミュレーションをユーザの指に与えて、タッチ画面を動かすことによって与えられる触感を取り換え、または補完する、触覚フィードバックを与えるために、静電気放電ジェネレータを使用できる場合がある。あるいは、タッチ画面の周囲に磁場を生成するためにユーザ相互作用に応じて選択的に電圧を加える、電磁石を使用してもよい。この実施形態において、スタイラスの先端内部に永久磁石、電磁石または強磁性物質を有するスタイラスは、触覚フィードバックを与えるために、主に、磁場の動作によって作り出した反発力をユーザに戻すのに利用される。あるいは、これらの磁石を、人工装具または手袋などの、ユーザが装着できる商品に組み込んで、スタイラスを使用せずにタッチ画面との直接相互作用を容易にできる。
【００５３】
本発明の対象を構造的特徴および／または方法論的動作に特有の言語において説明してきたが、添付の特許請求の範囲に定義された本発明の対象事項は、上記の特定の機能または動作に必ずしも限定されないことを理解されたい。むしろ、上記の特定の機能および動作は、特許請求の範囲を実装する例示的形式として開示される。
【技術分野】
【０００１】
本発明は、複数の知覚体験をデバイスのユーザに与える方法、および、知覚フィードバック体験を与えることによって、タッチ画面上に表示されたオブジェクトとの３Ｄ相互作用をシミュレートするデバイスに関する。
【背景技術】
【０００２】
タッチセンサ式のディスプレイ画面は、従来のキーボード、およびユーザからのデータ入力または、他の入力を受信するための他の「ＨＭＩ(human machine interface)」に代わるものとして急速に普及している。タッチ画面は、携帯デバイスと位置が固定されたデバイスとの両方を含む、様々なデバイスに使用される。タッチ画面を有する携帯デバイスは、一般的に、例えば、携帯電話機、「ＰＤＡ(personal digital assistant)」、ならびに音楽およびビデオを再生するパーソナルメディアプレーヤを含む。タッチ画面を使用する、位置が固定されたデバイスは、一般的に、例えば、車に使用されるもの、「ＰＯＳ(point-of-sale)」端末機、および医療用および工業用アプリケーションに使用される装備を含む。
【０００３】
タッチ画面は、コンピュータデバイスからの出力をユーザに表示し、ユーザからの入力を受信する、両方の機能を果たすことができる。一部の例では、ユーザは、スタイラスを用いて画面上で「書き」、書いたものは、コンピュータデバイスへの入力に変わる。他の例では、ユーザの入力オプションが、例えば、制御、ナビゲーション、またはオブジェクトのアイコンとして画面上に表示される。ユーザがスタイラスまたは指で画面上の関連するアイコンに触ることによって入力オプションを選択したとき、コンピュータデバイスは、触った位置を感知して、アイコンを提示したアプリケーション、またはユーティリティにメッセージを送信する。
【０００４】
文を入力するために、主として、物理的に具体化された標準のキーボードのキートップに似た一連のアイコンである「仮想キーボード」が、タッチ画面上に表示される。ユーザは、その後、特定のキートップアイコンと関連するタッチ画面のエリアを連続的に触ることによって「タイプする」。一部のデバイスは、キーまたはアイコンがアクチュエートしたとき、ユーザにフィードバックを与えるための音声クリックまたは他の音を出すように構成される。他のデバイスは、キーまたはアイコンが押下されたとき、ユーザに視覚的合図を与えるためにキーまたはアイコンの外観を変えるように構成されてもよい。
【０００５】
現在のタッチ画面は、ほとんどのアプリケーションにおいてうまく機能するが、それらは、ユーザが、タッチ画面上のアイコンまたはキーを見つけて使用する視覚を使わずに入力するのを望む、「ブラインド」データ入力またはタッチタイピングにあまり適していない。さらに、一部の環境において、視覚的および聴覚的図に依存してフィードバックを与えることが常に可能とは限らない。例えば、タッチ画面を、それらを見えにくくする直射日光のもと、または聞き取りが困難な雑音環境において動作させることがある。そして車内で、タッチ画面が機能しているとき、運転者が道から目をそらすことは危険である。
【０００６】
従来のＨＭＩデバイスは、主として、触ることによって機能することができる。例えば、物理的キーボードを用いて、ユーザは、個々のキーを触ることができる。そして一部の例では、「Ｆ」および「Ｊ」などのいくつかのキーが、小さなポッチまたは横線を有することにより、ユーザがキーを見ずに触ることによって自分の指をキーの「中心(home)」列の上に置くことができる。現在のタッチ画面を比較すると、ボタンまたはキーが押下されたとき、聴覚または視覚のフィードバックを与えるものでさえ、ユーザが触ることによってアイコンまたはキーを見つけて動作することができない。
【０００７】
本背景技術は、以下に続く発明の概要および発明の詳細な説明の簡易な文脈を導入するために与えられる。本背景技術は、特許請求の範囲の対象事項の範囲を決めるのに役立つものであることを意図せず、または特許請求の範囲の対象事項を、上記に提示された任意またはすべての不利点または問題を解決する実装に限定するものと見なされることを意図しない。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
音声、視覚および触覚のフィードバックを利用して、ユーザが、物理的に具体化された「３Ｄ(three-dimensional)」オブジェクトと相互作用する感覚を生成する設定によって、複数の知覚体験を、タッチ画面を有するデバイスのユーザに与える。特定の大きさ、持続時間または方向を有する動きをタッチ画面に伝えて、ユーザが、触ることによってタッチ画面上に表示されたオブジェクトを見つけられようにする。これらのオブジェクトは、制御またはファイル、仮想キーボードのキートップ、もしくは経験または機能をユーザに与えるために使用される他の構成要素を表すアイコンを含むことができる。例えば、音響効果と、動画などの、視覚効果とを組み合わせた場合、触覚フィードバックは、タッチ画面上のボタンが、ユーザによって押下されたときに、まるで本物の、物理的に具体化されたボタンのように動く知覚を生成する。ボタンは、その外観、デバイスが再生する「クリック」の音声を変え、タッチ画面が動いて（例えば、振動する）、ユーザの指またはスタイラスに触力覚フィードバックを与える。
【課題を解決するための手段】
【０００９】
様々な具体的な例において、振動を作り出すモータなどの１または複数のモーションアクチュエータを、タッチ画面が内蔵された携帯デバイスに固定して接続する。デバイスが、主として、ＰＯＳ端末機などの固定された位置にあるアプリケーションにおいて、モーションアクチュエータを、移動できるタッチ画面に取り付けてもよい。モーションアクチュエータが、タッチ画面上に表示されたオブジェクトとのユーザ相互作用に応じて、大きさ、持続時間および強度を変えることができる触力覚フィードバックを作り出すことによって、さまざまな明示的なタッチ体験を作り出して、それらがあたかも三次元を有するかのように、タッチ画面上のオブジェクトとの異なる相互作用をシミュレートできるようにする。従って、仮想キーボートのキートップの端部は、それを押下してアクチュエートしたとき、キートップの中央部とは異なるように感じる。タッチ効果のこのような区別は、視覚的合図に頼る必要なく、ユーザが、触ることによって有利にタッチ画面に入力できるようにする。
【００１０】
本発明の概要は、以下の発明の詳細な説明でさらに説明される簡易な形式において概念の１つの選択を導入するために与えられる。本発明の概要は、特許請求の範囲の対象事項での重要な特徴または不可欠な特徴を特定することを意図せず、または特許請求の範囲の対象事項の範囲を決めるのに役立つものとして用いられることを意図しない。
図中、同じ参照数字は、同じ構成要素を示す。
【図面の簡単な説明】
【００１１】
【図１】タッチ画面を使用して、ユーザがデバイスと相互作用する具体的な携帯コンピュータ環境を示す図である。
【図２】アイコンおよび仮想キーボードを通じてユーザ相互作用を支援する具体的なタッチ画面を示す図である。
【図３Ａ】物理制御を使用して、タッチ画面によって与えられた制御を補完する、携帯コンピュータデバイスの代替的で具体的なフォームファクタを示す図である。
【図３Ｂ】物理制御を使用して、タッチ画面によって与えられた制御を補完する、携帯コンピュータデバイスの代替的で具体的なフォームファクタを示す図である。
【図４Ａ】ボタンアイコンがアクチュエートしていない状態のとき、奥行き面を有するように設定された具体的なボタンアイコンを示す図である。
【図４Ｂ】ボタンアイコンがアクチュエートした状態で見えるときの具体的なボタンアイコンを示す図である。
【図５Ａ】キートップがアクチュエートしていない状態のとき、奥行き面を有するように設定された具体的なキートップを示す図である。
【図５Ｂ】キートップがアクチュエートした状態で見えるときの具体的なキートップを示す図である。
【図６】デバイスのタッチ画面を使用してキートップをアクチュエートしたとき、触覚、音声および視覚のフィードバックの組み合わせをユーザに与える具体的な携帯コンピュータデバイスを示す図である。
【図７Ａ】具体的な振動モータの正面図である。
【図７Ｂ】具体的な偏心荷重を回転させる直交図である。
【図７Ｃ】振動装置が断面図に示したデバイスに取り付けられたときの上面図である。
【図７Ｄ】振動装置がＰＯＳ端末機のタッチ画面に取り付けられたときの直交図である。
【図８Ａ】キートップが奥行き面を有する知覚をユーザに伝えるタッチに応じて、触力覚フィードバックの輪郭が適用された具体的な仮想キートップの上面図を示す図である。
【図８Ｂ】キートップが奥行き面を有する知覚をユーザに伝えるタッチに応じて、触力覚フィードバックの輪郭が適用された具体的な仮想キートップの側面図を示す図である。
【図９】音声、視覚および触覚のフィードバックを使用した、３−Ｄオブジェクトシミュレーションの具体的なアプリケーションを示す図である。
【図１０】音声、視覚および触覚のフィードバックを使用した、３−Ｄオブジェクトシミュレーションの別の具体的なアプリケーションを示す図である
【図１１】音声、視覚および触覚のフィードバックを使用した、３−Ｄオブジェクトシミュレーションを実装するための具体的なアーキテクチャを示す図である。
【発明を実施するための形態】
【００１２】
音声、視覚および触覚のフィードバックを使用した本「３−Ｄ(three-dimensional)」オブジェクトシミュレーションのアプリケーションを容易にするタッチ画面１１０を使用して、ユーザ１０２がデバイス１０５と相互作用する、具体的な携帯コンピュータ環境１００を図１に示す。図１に示すように、デバイス１０５は、一般的に、携帯電話機、スマートフォン、ＰＤＡ、ウルトラモバイルＰＣ（パーソナルコンピュータ）、携帯ゲーム機、パーソナルメディアプレーヤなどの、携帯コンピュータプラットフォームまたは情報家電として構成される。主として、タッチ画面１１０は、ディスプレイコンポーネント上に構成されるタッチセンサコンポーネントから構成される。ディスプレイコンポーネントは、ＰＣまたはラップトップコンピュータ上の主なモニタのディスプレイコンポーネントと同じ方法で画像を表示する。多くのアプリケーションにおいて、デバイス１０５は、その軽重量、薄さおよび低コストに起因して「ＬＣＤ(liquid crystal display)」を使用する。しかしながら、代替的アプリケーションにおいて、例えば、「ＣＲＴ(cathode ray tube)」、プラズマ画面およびＥＬ画面を含む他の標準の表示技術を利用してもよい。
【００１３】
タッチセンサコンポーネントは、ディスプレイコンポーネントの上部にある。タッチセンサを透明にして、ディスプレイが透けて見えるようにできる。タッチセンサ技術の多くの異なる種類は公知であり、特定の実装の要求に応じて適用できる。これらは、特に、抵抗性、容量性、近接場、光学的画像、歪みゲージ、分散信号、音響パルス認識、赤外線および弾性表面波の技術を含む。現在の一部のタッチ画面は、複数の同時性タッチポイントを区別することができ、および／または感圧性である。タッチ画面１１０との相互作用は、主として、指または親指を使用して、もしくは非容量型タッチセンサとして実現され、スタイラスも使用されてもよい。
【００１４】
デバイス１０５の携帯フォームファクタを図１に示すが、本設定は、タッチ画面が使用される固定されたアプリケーションに代替的に使用できる。これらのアプリケーションは、例えば、「ＡＴＭ(automatic teller machine)」、「ＰＯＳ(point-of-sale)」端末機、または空港、銀行、レストランが使用するようなセルフサービスキオスクなど、およびユーザが問い合わせを行い、セルフサービスのチェックアウトを行い、または他の種類の取引を完了できるようにする小売店を含む。例えば、機械または設備を制御し、発注し、在庫管理などをするためにタッチ画面を使用する工業用、医療用および他のアプリケーションも検討される。タッチ画面は、「ＨＶＡＣ(heating, ventilation and air conditioning)」、娯楽およびナビゲーションなどのサブシステムを制御する自動車においても普及しつつある。新しいサーフィスコンピュータ製品、特にマイクロソフト社製のＭｉｃｒｏｓｏｆｔ Ｓｕｒｆａｃｅ（商標）も、本３−Ｄオブジェクトシミュレーションを用いて使用するのに適用されてもよい。
【００１５】
３−Ｄオブジェクトシミュレーションの本設定は、上記に挙げた家庭用、業務用、医療用および工業用のアプリケーションに必ずしも限定されないことも強調しておく。強固で機能豊富なユーザインタフェースが主に要求される、例えば、軍事的、安全保障および法の施行のシナリオを含む、広範囲の使用および適用が支援されてもよい。多くを要求するこれらの環境において、デバイスおよびシステムに対するより肯定的な相互作用および制御は、音声、視覚および触覚のフィードバックの組み合わせを使用して、ユーザに与えられたタッチ画面上に表示されたオブジェクトの相関関係および曖昧性の除去が改善されることによって可能になる。
【００１６】
図２に、アイコン２０２および仮想キーボード２０６を通じてユーザ相互作用を支援する具体的なタッチ画面１１０を示す。アイコン２０２は、タッチ画面１１０上に一般的に表示されるものを表し、ユーザの制御、入力またはナビゲーションを容易にする。アイコン２０２は、ファイル、ドキュメント、写真、音楽などのコンテンツを表してもよく、デバイス１０５上に格納され、または別の方法で（例えば、ネットワークまたは他の接続を経由して）利用できる。図のように、仮想キーボード２０６は、標準のキーボードのキートップを表す複数のアイコンを含む。タッチ画面１１０は、主として、仮想キーボード２０６上でユーザがタイプするキャラクター（すなわち、文字、数字、符号）を示す表示域または編集用ウィンドウ（図２に図示せず）などの他の機能性を与える。
【００１７】
図３Ａおよび３Ｂに、物理制御３０７（例えば、ボタンなど）を使用してタッチ画面３１０によって与えられるユーザインタフェースを補完する、携帯コンピュータデバイス３０５の代替的で具体的なフォームファクタを示す。図３Ａに示したこの例において、例えば、写真またはビデオを表すことができるいくつかのメディアコンテンツ（参照数字３０９および３１２で示される）を、タッチ画面３１０上に表示できる。図３Ｂに、タッチ画面３１０上に表示できる例示的なドキュメント３２２の１ページを示す。
【００１８】
図３Ａおよび３Ｂに示すように、デバイス３０５は、タッチ画面３１０の長い面が垂直方向に置かれた「縦向き」モードでタッチ画面３１０を置く。しかしながら、他のコンピュータデバイスが、ユーザ選択か自動的かのいずれかによって、縦向きモードと横向きモードとを切り替えることができるのに対し、３−Ｄオブジェクトシミュレーションの本設定を用いて使用できる、一部の携帯コンピュータデバイスは、横向きモードでタッチ画面を置くように設定することができる。
【００１９】
図４に、奥行き面を有するように設定された具体的なボタンアイコン４０２を示す。影付け、遠近感および色彩などの視覚効果を、タッチ画面（例えば、図１のタッチ画面１１０または図３のタッチ画面３１０）上に表示される２−Ｄ構成要素に適用して、３−Ｄの形を有する外観にすることができる。この例において、ボタンアイコンがアクチュエートしていない（すなわち、ユーザによって作動されていないまたは「押下」されていない）状態のとき、視覚効果をボタンアイコン４０２に適用して、その上面が、携帯コンピュータデバイスの表面から突き出ている本物のボタンのように、タッチ画面の平面の上に位置しているように見せることができる。
【００２０】
図４Ｂに、ユーザが、ボタンアイコンを指またはスタイラスで触ることによってアクチュエートしたときに見えるボタンアイコン４１１を示す。図のように、視覚効果が除かれ（あるいは、効果が減少され、または別に適用される）、ボタンアイコン４０２が押下されたときに高さが低くなったように見せることができる。感圧性をタッチ画面に用いるそれらのアプリケーションにおいて、視覚効果は、例えば、適用される圧力の量に比例して減少されてもよい。このようにして、ボタン４１１は、ユーザがタッチ画面１１０上を強く押下すにつれてさらに下降するように見せることができる。
【００２１】
図５Ａおよび図５Ｂに、具体的なキートップに適用されたとき、図４Ａおよび図４Ｂに伴う上記の文と同じ視覚効果のアプリケーションを示す。図５Ａに、アクチュエートしていない状態でのキートップ５０２を示し、図５Ｂに、ユーザが、キートップを指またはスタイラスで触ることによってアクチュエートしたときに見えるキートップ５１１を示す。
【００２２】
図６に、デバイスのタッチ画面１１０を使用して、仮想キーボード２０６のキートップがアクチュエートしたとき、ユーザ１０２に本物の３−Ｄキーと相互作用する錯覚与えるために、触覚、音声および視覚のフィードバックの組み合わせをユーザに与えるように構成された、具体的な携帯コンピュータデバイス１０５を示す。本３−Ｄオブジェクトシミュレーションの一部のアプリケーションにおいて、３つのフィードバック構造（触覚、音声および視覚）のすべての組み合わせを利用することよって、デバイス上でのブラインド入力および／またはタッチタイピングを十分可能にしながら、大いに満足できるユーザ体験を与えることが予想される。しかしながら、他のシナリオにおいて、フィードバックを単一または２つのさまざまな組み合わせにおいて使用することによっても、特定のアプリケーションの要求に応じた、満足できる結果を与えることができる。図６に、仮想キーボードの具体的な例を示すが、本明細書に説明するフィードバック技術の使用を、制御またはナビゲーションに使用されるアイコンと、デバイス１０５に格納または利用できるコンテンツを表すことができるアイコンとに適用できることも強調しておく。
【００２３】
この例における視覚フィードバックは、図４Ａ、４Ｂ，５Ａおよび５Ｂに示した視覚効果のアプリケーションを含み、特定のキートップが押されたときに、ユーザに視覚的に示す仮想キーボード２０６のキートップに関して、文に伴って説明される。図のように、仮想キーボード２０６のキーは、それらをタッチ画面１１０の表面から離れている様に見せることができる影付けを用いて設定される。キートップに触ったときに、この影付け効果を除く（または減少させることができる）。図のようなこの例において、ユーザは、キートップ「Ｇ」を押下している。
【００２４】
音声フィードバックは、主として、デバイス１０５に接続できるスピーカ６０６または外付けのヘッドセット（図示せず）を通じて、「クリック」（図６の参照数字６０２で示した）などのサンプル音声を再生することを備える。サンプル音声は、物理的に具体化されたキーボードでアクチュエートされる本物のキーの音をシミュレートするように設定される。代替的な設定において、利用されるサンプル音声は、特定の物理的動きをシミュレートしない、一部の任意の音（ビー、チリンチリン、音色、音符など）として構成されてもよいし、またはそのようなさまざまな音の中からユーザが選択してもよい。すべての例において、キートップがアクチュエートしたとき、サンプル音声の利用により、聴覚フィードバックをユーザに与える。
【００２５】
触覚フィードバックを設定して、デバイス１０５に対する動きのアプリケーションを通じて本物のキートップとの相互作用をシミュレートする。タッチ画面１１０が本質的に硬質であるため、タッチ画面１１０に接触した時点でデバイス１０５の動きをユーザに伝える。この例において、その動きは、波線６１７を使用して図６に示した振動を生じる。
【００２６】
振動装置７１２に備わっている、具体的な振動モータ７０４の正面図および具体的な偏心荷重７１０を回転させる直交図を、それぞれ図７Ａと７Ｂに示す。この具体的な例において、振動装置７１２を使用して、上記に説明された触覚フィードバックを実装するために使用される振動の動きを与える。代替的な実施形態において、圧電振動子または電動リニアアクチュエータまたは回転型電動アクチュエータなどの他の種類のモーションアクチュエータが使用されてもよい。
【００２７】
この例における振動モータ７０４は、荷重７１０が固定して取り付けられているシャフト７１７を回転させるように設定された、ほぼ円筒形状のＤＣモータである。振動モータ７０４は、荷重７１０を順方向と逆方向の両方に回転させて動作するようにさらに構成される。一部のアプリケーションにおいて、振動モータ７０４は、可変速度で動作するように設定されてもよい。振動モータ７０４の動作は、主として、以下の図１０に伴う文で説明されたモーションコントローラ、アプリケーション、および知覚フィードバック論理コンポーネントによって制御される。
【００２８】
偏心荷重７１０をシャフト７１７に対して非対称の形状にして、重心（図７Ａの「Ｇ」として指定される）をシャフトと相殺できるようにする。従って、荷重が回転するときに方向を変えて、シャフトの角速度が増加するときに大きさを増加させるシャフト７１７に遠心力が伝わる。さらに、モーメントは、荷重７１０の回転方向と逆になる振動モータ７０４に適用される。
【００２９】
携帯デバイスの実装において、振動装置７１２は、主として、図７Ｃの上部切り取り図に示すデバイス１０５などのデバイスの内部に固定して取り付けられる。この取り付けにより、振動装置７１２の動作による力（すなわち、遠心力およびモーメント）をデバイス１０５に容易に結合させて、デバイスが、振動装置７１２に駆動信号を送るアプリケーションに応答して振動できるようにする。
【００３０】
適切な駆動信号のアプリケーションを通じて、例えば、回転方向、負荷サイクルおよび回転速度を含む振動装置７１２の動作の変化を実装することができる。異なる動作モードは、結合された振動の方向、持続時間および大きさを含むデバイス１０５の動きに影響を与えることが予想される。さらに、単一の振動装置を図７Ｃに示すが、３−Ｄオブジェクトシミュレーションの本設定の一部のアプリケーションにおいて、複数の振動装置を、デバイス１０５内の異なる位置および方向に固定して取り付けてもよい。この例において、デバイス１０５に伝えられる動きの方向および大きさに対する指の制御は、主として、実装されてもよい。強さのレベルを変える動きの多自由度は、従って、振動モータを単一および異なる駆動信号を用いた組み合わせにおいて動作させることによって実現できることを認識されたい。従って、さまざまな触覚効果を実装して、異なる錯覚が実現できるようにする。特に、聴覚フィードバックと視覚フィードバックを適切に組み合わせたとき、粗さ、滑らかさ、粘着性などを含む異なる３−Ｄジオメトリまたはテクスチャを効果的にシミュレートすることができる。
【００３１】
デバイス１０５により支援されるさまざまな機能を実装するのに使用されるソフトウェアおよび／またはファームウェアを実行するのに主に利用される、プロセッサ７１９およびメモリ７２１を、図７Ｃの幻影図に示す。単一のプロセッサ７１９を図７Ｃに示すが、一部の実装において複数のプロセッサを利用してもよい。メモリ７２１は、揮発性メモリ、不揮発性メモリまたはその２つの組み合わせを備えてもよい。
【００３２】
ＰＯＳ端末機または、キオスクの実装において、振動装置７１２によって提供されるものと同じ機能性を与えるように構成された１または複数の振動装置を、端末機に移動可能に接続されるように構成されたタッチ画面に固定して取り付ける。例えば、図７Ｄに示すように、タッチ画面７２５を枠７３１内に移動可能に留め置いてもよいし、またはＰＯＳ端末機７４４の基部７３５に移動可能に取り付けられてもよい。このようにして、ＰＯＳ端末機７４４自体が固定されたままであるが、タッチ画面７２５を移動させて、触覚フィードバックをユーザに与えることができる。ＰＯＳ端末機７４４は、一般的に、１または複数のプロセッサおよびメモリ（図示せず）も含む。
【００３３】
具体的な仮想キートップ８０８の上面図を図８Ａに、側面図を図８Ｂに示す。キートップが奥行き面を有するという知覚をユーザに伝えるために、触覚フィードバックは、タッチに応答して１または複数の振動装置（例えば、図７の振動装置７１２）を動作することによって作り出す。図８Ａおよび８Ｂに示す具体的な例において、振動を実装して、主として、複数の振動装置を使用することによって、大きさ、持続時間および方向を変える触覚フィードバック使用した触力覚フィードバックの輪郭を提供できるようにする。しかしながら、代替的な実施形態において、デバイス１０５のパーツ点数および煩雑さを減らすおよび／またはコストを下げるために、単一の振動装置が利用されてもよい。この代替的な例において、動きの自由度を利用できることが少なくなるが、３−Ｄのかなりの知覚は、主として、特定のアプリケーションに対して満足できるレベルまでなお実現可能である。
【００３４】
図８Ｂの点線の輪郭で示したように、キートップ８０８に奥行きの触覚イリュージョンを提供して、それをユーザが触ったときに、それがタッチ画面１１０の表面から離れている様に感じることができるようにする。ユーザは、指またはスタイラスでキートップ８０８の横を、（図８Ａの線８１２で示したように）例えば、左から右にスライドまたはドラッグすることができる。白矢印８１５で示したように、ユーザのタッチがキートップ８０８の端部に到達したとき、黒矢印８１８で示したように、タッチ画面１１０の平面に対してほぼ左方向の水平に触力覚フィードバックを適用する。（説明８２０に示すように、白矢印は、指またはスタイラスによるタッチの方向を示し、黒矢印は、触力覚フィードバックが生じた方向を示す）。
【００３５】
矢印８２５で示したように、ユーザがキートップ８０８の仮想上部の端部からスライドしたとき、矢印８３０で示したように、触力覚フィードバックの方向は、ほぼ左側上方になり、キートップ８０８の端部の感じをユーザに伝える。キートップ８０８の端部を触ったときに触覚フィードバックを与えることによって、本物の、物理的に具体化されたキーボードと同じように単純に触ることによって、仮想キーボードのキートップをユーザが見つけるのを有利に支援することができる。
【００３６】
矢印８３６で示したように、ユーザがキートップをアクチュエートするつもりでキートップ８０８の中央部（すなわち、非端部）を触ったとき、矢印８４２で示したように、触力覚フィードバックは、ほぼ上方に向く。この例において、触覚フィードバックをキートップアクチュエーションに与えるのに使用される力の大きさは、キートップの端部をユーザに示すのに使用される力よりも大きくなってよい。つまり、例えば、キートップを見つける際にユーザに与えられたフィードバック力を少なくしながら、デバイス１０５からの振動力を強くして、キートップがアクチュエートされたことを示すことができる。さらに、またはあるいは、キートップアクチュエーションのフィードバックの持続時間を変えてもよい。従って、フィードバックを明示的にすることが可能になり、ユーザに対する触覚的合図によって、ユーザが機能を区別することができるようにする。ユーザがキートップを押下してそれをアクチュエートしたとき、主として、異なる感覚を体験しながら、ユーザが自分の指をキートップ上で滑らせたとき、その端部が明示的なフィードバックに影響を与えて、ユーザが触ることによってキートップを見つけることができるようにする。
【００３７】
従って、ユーザは、主として、タッチ画面１１０の表面を指またはスタイラスで、リフトせずに横に滑らせて触ることによって、オブジェクト（例えば、ボタン、アイコン、キートップなど）を見つけるであろう。同じ滑らせるまたは「ホバリング」動作が、ユーザがデバイス上の物理的に具体化されたボタンおよびオブジェクトを見つけようとするときに使用されるので、これらの動作を直感的に予想することができる。明示的な触覚的合図を与えて、タッチ画面１１０上のオブジェクトの位置をユーザに示す。ユーザは、次に、例えば、ホバリングからクリッキングに切り替えることによってボタンをクリックして、オブジェクトをアクチュエートできる。これを、いくつかの代替的な方法の中の１つにおいて実現できる。感圧性のタッチ画面が使用される実装において、ユーザは、主として、圧力をさらに適用してボタンクリックを実装するであろう。あるいは、ユーザは、タッチ画面１１０の表面から自分の指またはスタイラスを、主として、一時的にリフトしてよく、次に、ボタンをタップしてタッチ画面をクリックする（明示的な触覚的合図を与えて、ボタンクリックをユーザに確認させることができる）。リフティング動作によって、デバイス１０５が、ホバリングとクリッキングとを区別することができるので、ユーザのタップをボタンクリックとして解釈する。感圧性のタッチ画面を使用しない実装において、リフト・タップの方法論は、主として、触ることによってオブジェクトを見つけることと、オブジェクトの作動とを区別するために利用されるであろう。
【００３８】
代替的な設定において、アイコンまたはボタンの「状態」に応じて、ユーザに与えられたフォースフィードバックを変えることができる。ここで、特定のユーザ体験またはユーザインタフェースを支援するためには、アイコンまたはボタンを有効化してよく、それによってユーザがアクチュエートまたは「クリック」することができる。他の例において、しかしながら、アイコンまたはボタンが使用不能になる場合もあるので、ユーザがアクチュエートすることができない。使用不能の状態において、例えば、特定のボタンまたはアイコンに対して、ユーザが「クリッカブル(clickable)」でないことを示すために、フィードバックの大きさをさらに小さく（またはフィードバックを無くす）利用することが望ましい場合もある。
【００３９】
矢印８４５で示したように、ユーザがさらに自分の指をキートップ８０８の右側にスライドさせたとき、右側上方にある触力覚フィードバックを用いて、右端部の位置をユーザに示す。これを、矢印８５１で示す。矢印８５６で示したように、ユーザのタッチがキートップ８０８の遠端に到達したとき、矢印８６０で示したように、次に、タッチ画面１１０の平面に対してほぼ右方向の水平に触力覚フィードバックを適用する。ほとんどの例において、同じ触力覚フィードバックの輪郭を、ユーザがキートップ８０８上で指またはスタイラスを右から左に、および上から下に、下から上におよび他の方向からスライドさせる状況において適用できることに留意されたい。
【００４０】
図９に、音声、視覚および触覚のフィードバックを使用した、本３−Ｄオブジェクトシミュレーションの具体的なアプリケーションを示す。この例において、図のようなネコ９０９などの「仮想ペット」を実装するのに使用されるオブジェクトを、タッチ画面１１０上のデバイス１０５上で実行するアプリケーションによって表示する。仮想ペットネコ９０９は、主として、毛繕い、撫でる、ネコの耳の後ろを掻くなどによって、ユーザが自身の仮想ペットと相互作用する娯楽またはゲームのシナリオ部分として利用される。これらの相互作用は、この例において、３−Ｄオブジェクトシミュレーションの本技術を適用することによって強化される。例えば、ユーザ１０１２が仮想ペットネコ（オブジェクト）を撫でたとき、ネコ９０９の画像は、タッチ画面１１０上のユーザのタッチに応じて、その毛が滑らかになっているのを見せるように動画化できる。ネコのゴロゴロと鳴く音、またはネコの毛を滑らかにするまたはパタパタたたく音（それぞれ、参照番号９１５と９１８とで示される）を含むことができる、適切なサンプル音は、スピーカ６０６または接続された外付けのヘッドセット（図示せず）によってレンダリングされる。
【００４１】
タッチ画面１１０が感圧性である実装において、ユーザへの知覚フィードバックを、ユーザによるタッチ画面上の圧力の変更に応じて変更することができる。例えば、ユーザ１０２が、タッチ画面１１０上にさらに圧力をかけながらネコを撫でると、ネコ９０９は、さらに大声でゴロゴロと鳴くかもしれない。
【００４２】
ユーザ１０２がネコ９０９を撫でたときに与えられる音および視覚のフィードバックに加えて、デバイス１０５は、１または複数の振動装置（例えば、図７およびそれに伴う文で説明された振動装置７１２）を使用する振動などの触覚フィードバックを与えるように構成される。タッチ画面１１０上でのユーザのタッチに応じてフィードバックフォースの方向、持続時間および大きさを変えることによって、例えば、ネコ９０９を撫でた感じ、および／またはユーザ１０２が触るのに応じてネコ９０９を動かすことを含む、さまざまな触感をシミュレートできる。音声、視覚および触覚のフィードバックを、単一または２つのさまざまな組み合わせにおいて使用できるが、その３つを組み合わせて利用することにより、上記に説明された具体的な娯楽またはゲームのアプリケーションによって与えられるような設定において、最も完成した３−Ｄオブジェクトシミュレーションおよび最も豊富なユーザ体験を与えることが多いことが想定される。
【００４３】
図１０に、音声、視覚および触覚のフィードバックを使用した、本３−Ｄオブジェクトシミュレーションの別の具体的なアプリケーションを示す。この例において、デバイス３０５は、ユーザ１０２が、タッチ画面３１０上のページ３３２の端部を触り、次に、ユーザの指でフリックまたは他の動きをすることによってページをめくることによって、ドキュメントの複数のページの中を閲覧できるように構成される。例えば、ドキュメントの次のページに進むために、ユーザ１０２は、ページ３２２の右端部を触って、次に、本物の本のページをめくるのと同じ動きで（タッチ画面３１０をユーザの指で横にドラッグすることによって）右から左に動かす。前のページに戻るために、ユーザ１０２は、ページ３２２の左端部を触って、それを右に動かすことができる。
【００４４】
ユーザ１０２が、図８Ａおよび８Ｂに伴う文において上記に説明されたもとの同じ方法で、タッチ画面３１０を触ることによってページ３２２の端部を見つけたときに、触覚フィードバックを与える。仮想ページがめくられるときに、例えば、ユーザ１０２が本物のページをめくるときに体験するかもしれない感じ（例えば、ページをめくるときの、少量の空気抵抗の受け止め、ページの硬さおよび／または本の縛り具合など）をシミュレートするために、付加的な触力覚フィードバックをデバイス３０５に適用することができる。
【００４５】
多くのアプリケーションにおいて、触覚フィードバックは、主として、音声および視覚のフィードバックに組み合わされる。例えば、参照数字１０１５で示したように、デバイス３０５内のスピーカ１００６、または接続された外付けのヘッドセット（図示せず）を通じてページをめくるときのパラパラというサンプル音が再生させる。しかしながら、図６に示した具体的な例およびそれに伴う文で説明されたように、代替的なサンプル音は、特定の物理的動きをシミュレートしない、任意の音（ビー、チリンチリン、音色、音符など）を含めて利用されてもよいし、またはそのようなさまざまな音の中からユーザが選択してもよい。すべての例において、ユーザが仮想ページ３２２をめくったときに、サンプル音の利用を聴覚フィードバックに与える。
【００４６】
図１０に示した例に、利用される視覚フィードバックは、ユーザの指またはスタイラスの動きに応じて動画の動きをつける、ページ３２２の動画を備えることができる。従って、タッチ画面３１０上のページ３２２に対するユーザのタッチに応じて、例えば、ページ３２２を、反対に向け、スライドし、または消去するなどして、ドキュメントの次のページまたは前のページを見せることができる。
【００４７】
上記の具体的な例にあるように、タッチ画面３１０が感圧性である実装において、ユーザへの知覚フィードバックを、ユーザ１０２によるタッチ画面上の圧力の変更に応じて変更することができる。例えば、ユーザ１０２が、ページをさらに速くまたはさらに力を入れてめくる（すわなち、さらに圧力をタッチ画面３１０に適用する）場合、ページ３２２は、さらに速くめくられまたはスライドされ、ページがめくられる音を、さらに強くまたは大きくできる。
【００４８】
図１１は、音声、視覚および触覚のフィードバックを使用した本３−Ｄオブジェクトシミュレーションの実装を容易にするデバイス上でインストールできる、機能コンポーネントを示す具体的なアーキテクチャ１１０４である。機能コンポーネントを、ソフトウェア、ハードウェア、ファームウェア、またはソフトウェア、ハードウェア、ファームウェアのさまざまな組み合わせを使用して、代替的に実装できる。例えば、具体的なアーキテクチャ１１０４における機能コンポーネントを、図７Ｃに示したプロセッサ７２１によってメモリ７１９に格納された命令の実行によるランタイム時に生成できる。
【００４９】
ホストアプリケーション１１０７は、図９およびそれに伴う文で説明されたように、主として、娯楽またはゲーム環境などの、特に所望される機能性を与えるのに利用される。しかしながら、一部の例では、ホストアプリケーション１１０７によって実装される機能は、デバイスのオペレーティングシステムまたはミドルウェアによって代替的に与えることができる。例えば、一部の実装において、仮想キーボードを介したファイルシステムの動作および入力を、基本オペレーションシステムの機能として支援できる。
【００５０】
知覚フィードバック論理コンポーネント１１２０は、さまざまなフィードバック方法をホストアプリケーション１１０７に表示させるように構成され、ホストアプリケーションとハードウェア専用コントローラとの間の媒介として機能させる。これらのコントローラは、主に、ソフトウェアのデバイスドライバとして実装できる、タッチ画面コントローラ１１２５、音声コントローラ１１２８およびモーションコントローラ１１３４を含む。タッチ画面コントローラ１１２５、音声コントローラ１１２８、およびモーションコントローラ１１３４は、それぞれ、タッチ画面、音声ジェネレータ、および１または複数の振動装置と相互作用し、図１１の単一のハードウェアレイヤ１１４０内で抽出される。他の機能において、タッチ画面コントローラ１１２５は、タッチ画面に適用されるタッチ座標および／または圧力を示すデータを獲得するように構成され、獲得されたデータを、主に入力イベントの形で知覚フィードバック論理コンポーネント１１２０に返信する。モーションコントローラ１１３４は、１または複数の振動装置と相互作用して、特定の実装の要求にこたえる必要に応じて、単一または複数の動きの自由度を与えるように構成できる。
【００５１】
従って、知覚フィードバック論理コンポーネント１１２０は、対応する視覚的動画および音響効果とともに、図１０の上記に示した例における滑らかになった毛の感じなどの、ホストアプリケーションからの特定の知覚効果の要求を受信するように設定される。知覚フィードバック論理コンポーネント１１２０は、次に、ハードウェア専用コントローラ用の適切なコマンドを作成することによって、所望の知覚効果をデバイス上に実装する。例えば、図１０に伴う文に説明したように、ページをめくる複数の知覚効果を実装するために、知覚フィードバック論理コンポーネント１１２０は、タッチ画面上でのページ動画のレンダリングおよびページをめくる音の再生を呼び出す。さらに、１つの駆動信号、または一連の駆動信号を作り出して、振動装置などのモーションアクチュエータを制御する。駆動信号は、主に、振幅、周波数、パルス波形、持続時間などを変え、所望の触覚フィードバックを作り出す単一の振動装置（または複数の振動装置が利用される実装における振動装置のさまざまな組み合わせ）を対象としている。
【００５２】
明示的な知覚的合図をユーザに与えるのに利用されるタッチ画面の動きにおいて、触覚フィードバックを提示してきたが、一部のシナリオにおいて他の方法も用いられてよいことも強調しておく。例えば、低電流のシミュレーションをユーザの指に与えて、タッチ画面を動かすことによって与えられる触感を取り換え、または補完する、触覚フィードバックを与えるために、静電気放電ジェネレータを使用できる場合がある。あるいは、タッチ画面の周囲に磁場を生成するためにユーザ相互作用に応じて選択的に電圧を加える、電磁石を使用してもよい。この実施形態において、スタイラスの先端内部に永久磁石、電磁石または強磁性物質を有するスタイラスは、触覚フィードバックを与えるために、主に、磁場の動作によって作り出した反発力をユーザに戻すのに利用される。あるいは、これらの磁石を、人工装具または手袋などの、ユーザが装着できる商品に組み込んで、スタイラスを使用せずにタッチ画面との直接相互作用を容易にできる。
【００５３】
本発明の対象を構造的特徴および／または方法論的動作に特有の言語において説明してきたが、添付の特許請求の範囲に定義された本発明の対象事項は、上記の特定の機能または動作に必ずしも限定されないことを理解されたい。むしろ、上記の特定の機能および動作は、特許請求の範囲を実装する例示的形式として開示される。
【特許請求の範囲】
【請求項１】
複数の知覚体験をデバイス（１０５）のユーザ（１０２）に与える方法であって、前記デバイスがタッチ画面（１１０）を含み、
動きを前記タッチ画面（１１０）に伝えることであって、
ｉ）前記ユーザ（１０２）への触覚フィードバックを通じて、前記タッチ画面（１１０）上で行われるユーザ動作を確認し、
ｉｉ）オブジェクトとの相互作用を、あたかも前記オブジェクトが三次元を有するかのようにシミュレートし、
ｉｉｉ）前記ユーザのタッチに応じて、前記タッチ画面（１１０）上に前記オブジェクトの表示（２０６）を伝える、ために設定される前記動きのステップと、
前記オブジェクト（２０６）との前記相互作用と関連付けられるサンプル音声（６０２）を再生することであって、前記サンプル音声（６０２）が、前記ユーザ（１０２）への聴覚フィードバックを通じて前記ユーザ動作を確認するステップと、
視覚効果（４０２）を、前記オブジェクトとの前記相互作用に応じて前記表示（２０６）にレンダリングすることであって、前記視覚効果（４０２）が、前記ユーザ（１０２）への視覚フィードバックを通じて前記ユーザ相互作用を確認するステップと
を備えることを特徴とする方法。
【請求項２】
前記動きは、多自由度を備えることを特徴とする請求項１に記載の方法。
【請求項３】
前記視覚効果（４０２）は、前記タッチ画面（１１０）上の前記オブジェクトを表示させて、前記オブジェクトが奥行き面を有するように見せることを備えることを特徴とする請求項２に記載の方法。
【請求項４】
前記表示は、前記オブジェクトを影付けに与え、または、遠近感を用いて前記オブジェクトをレンダリングし、または１または複数の色を前記オブジェクトに適用することを含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記視覚効果は、前記オブジェクトに対する動画の適用をさらに備えることを特徴とする請求項３に記載の方法。
【請求項６】
前記ユーザが前記タッチ画面（１１０）に適用する圧力のレベルに応じて、前記タッチ画面に伝えられる動きを変えるステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記ユーザが前記タッチ画面（１１０）に適用する圧力のレベルに応じて、再生を変えるまたはレンダリングを変えるステップをさらに含むことを特徴とする請求項６に記載の方法。
【請求項８】
知覚フィードバック体験を与えることによって、タッチ画面（１１０）上に表示されたオブジェクトとの３Ｄ相互作用をシミュレートするデバイスであって、
タッチを介してユーザ動作を示す入力を受信し、および前記ユーザ動作に応じて視覚効果を表示するために設定されたタッチ画面（１１０）と、
動きを前記タッチ画面（１１０）に伝えるために設定される１または複数のアクチュエータ（７１２）であって、ｉ）ユーザへの触覚フィードバックを通じて、前記タッチ画面（１１０）上で行われるユーザ動作を確認し、ｉｉ）前記オブジェクトとの相互作用を、あたかも前記オブジェクトが三次元を有するかのようにシミュレートし、ｉｉｉ）前記ユーザのタッチに応じて、前記タッチ画面（１１０）上に前記オブジェクトの表示（２０６）を伝える、ために設定される前記動と、
前記オブジェクトとの前記相互作用と関連付けられるサンプル音声（６０２）を再生するための音響レンダリングデバイス（６０６）であって、前記サンプル音声（６０２）が、前記ユーザ（１０２）への聴覚フィードバックを通じて前記ユーザ動作を確認する前記サンプル音声（６０２）と、
知覚フィードバック論理命令を格納するメモリ（７１９）と、
前記知覚フィードバック論理命令を実行するために前記メモリ（７１９）に接続された少なくとも１つのプロセッサ（７２１）であって、前記知覚フィードバック論理命令は、実行されたとき、前記ユーザ動作に応じて前記知覚フィードバック体験を前記ユーザ（１０２）に実装し、前記知覚フィードバック体験は、前記触覚フィードバック、前記聴覚フィードバック、および前記視覚効果を含むこと
を備えることを特徴とするデバイス。
【請求項９】
携帯電話機、パーソナルデジタルアシスタント、スマートフォン、携帯ゲーム機、ウルトラモバイルＰＣ、パーソナルメディアプレーヤ、ＰＯＳ端末機、セルフサービスキオスク、自動車用娯楽システム、自動車用ナビゲーションシステム、自動車用サブシステムコントローラ、自動車用ＨＶＡＣコントローラ、医療器具コントローラ、工業用設備コントローラ、またはＡＴＭの中の１つに付帯機能性を実装するための、１または複数の構造をさらに含むことを特徴とする請求項８に記載のデバイス。
【請求項１０】
前記１または複数のモーションアクチュエータ（７１２）を、複数の動きの他自由度を用いて前記タッチ画面（１１０）を動かすために設定して、特定の３Ｄシミュレーションと関連付けられた明示的な動きを、前記タッチ画面（１１０）に伝えることができるようにすることを特徴とする請求項８に記載のデバイス。
【請求項１１】
前記３Ｄシミュレーションは、ジオメトリまたはテクスチャの中の１つから選択されることを特徴とする請求項１０に記載のデバイス。
【請求項１２】
前記１または複数のモーションアクチュエータ（７１２）は、モータ（７０４）および偏心荷重（７１０）の回転を含む振動装置を備えることを特徴とする請求項１０に記載のデバイス。
【請求項１３】
前記モータ（７０４）を、可変速度、または可変持続時間、または順方向および逆方向において駆動されるように設定して、複数の異なる動きを、前記タッチ画面（１１０）に伝えて、前記複数の異なる動きのそれぞれを、異なる相互作用をシミュレートのために使用できるようにすることを特徴とする請求項１２に記載のデバイス。
【請求項１４】
前記１または複数のモーションアクチュエータ（７１２）は、可変磁場を作り出すように構成できる電磁石を備え、または静電気の放電を作り出すように構成できる静電気放電ジェネレータを備えることを特徴とする請求項１０に記載のデバイス。
【請求項１５】
前記音響レンダリングデバイス（６０６）は、内蔵スピーカか、または外部に接続できるヘッドセットのいずれかを含むことを特徴とする請求項１０に記載のデバイス。
【請求項１６】
電子デバイス（１０５）内に配置された１または複数のプロセッサによって実行されるとき、前記デバイス（１０５）と関連付けられたタッチ画面（１１０）上に表示されるオブジェクトに対して、対話型３Ｄ環境をシミュレートするためにアーキテクチャ（１１０４）を実装する命令を含むコンピュータ読み取り可能媒体であって、前記アーキテクチャ（１１０４）は、
タッチ画面（１１０）への入力イベントに応じて視覚フィードバック、聴覚フィードバックおよび触覚フィードバックを備える前記デバイス（１０５）のユーザ（１０２）に、知覚フィードバック体験を実装するように構成された知覚フィードバック論理コンポーネント（１１２０）と、
前記タッチ画面（１１０）からの前記入力イベントを受信し、および前記オブジェクト（２０６）の表示を前記タッチ画面（１１０）上にレンダリングすることを制御するように構成されたタッチ画面コントローラ（１１２５）と、
サンプル音声（６０２）の再生を制御して、前記聴覚フィードバックを通じて前記入力を確認するように構成された音声コントローラ（１１２８）と、
１または複数のモーションアクチュエータ（７１２）によって前記タッチ画面（１１０）に適用される力を制御するように構成されたモーションコントローラ（１１３４）であって、前記力は、複数の異なる入力イベントのそれぞれに対して、明示的な動きを前記タッチ画面（１１０）に与えるために、可変の方向、持続時間および大きさを備えるモーションコントローラ（１１３４）と
を備えることを特徴とするアーキテクチャ（１１０４）。
【請求項１７】
前記対話型３Ｄ環境を作り出すため構成されたホストアプリケーション（１１０７）をさらに含むことを特徴とする請求項１６に記載のコンピュータ読み取り可能媒体。
【請求項１８】
タッチ画面、音声ジェネレータ、および１または複数のモーションアクチュエータを備えたハードウェア抽出レイヤ（１１４０）をさらに含むことを特徴とする請求項１７に記載のコンピュータ読み取り可能媒体。
【請求項１９】
前記タッチ画面（１１０）上に表示された前記オブジェクトを触ることによって見つけるために、前記入力イベントは、前記ユーザによるタッチを備えること特徴とする請求項１８に記載のコンピュータ読み取り可能媒体。
【請求項２０】
前記タッチ画面（１１０）上に表示された前記オブジェクトと相互作用するために、前記入力イベントは、前記ユーザによるタッチを備えること特徴とする請求項１９に記載のコンピュータ読み取り可能媒体。
【請求項１】
複数の知覚体験をデバイス（１０５）のユーザ（１０２）に与える方法であって、前記デバイスがタッチ画面（１１０）を含み、
動きを前記タッチ画面（１１０）に伝えることであって、
ｉ）前記ユーザ（１０２）への触覚フィードバックを通じて、前記タッチ画面（１１０）上で行われるユーザ動作を確認し、
ｉｉ）オブジェクトとの相互作用を、あたかも前記オブジェクトが三次元を有するかのようにシミュレートし、
ｉｉｉ）前記ユーザのタッチに応じて、前記タッチ画面（１１０）上に前記オブジェクトの表示（２０６）を伝える、ために設定される前記動きのステップと、
前記オブジェクト（２０６）との前記相互作用と関連付けられるサンプル音声（６０２）を再生することであって、前記サンプル音声（６０２）が、前記ユーザ（１０２）への聴覚フィードバックを通じて前記ユーザ動作を確認するステップと、
視覚効果（４０２）を、前記オブジェクトとの前記相互作用に応じて前記表示（２０６）にレンダリングすることであって、前記視覚効果（４０２）が、前記ユーザ（１０２）への視覚フィードバックを通じて前記ユーザ相互作用を確認するステップと
を備えることを特徴とする方法。
【請求項２】
前記動きは、多自由度を備えることを特徴とする請求項１に記載の方法。
【請求項３】
前記視覚効果（４０２）は、前記タッチ画面（１１０）上の前記オブジェクトを表示させて、前記オブジェクトが奥行き面を有するように見せることを備えることを特徴とする請求項２に記載の方法。
【請求項４】
前記表示は、前記オブジェクトを影付けに与え、または、遠近感を用いて前記オブジェクトをレンダリングし、または１または複数の色を前記オブジェクトに適用することを含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記視覚効果は、前記オブジェクトに対する動画の適用をさらに備えることを特徴とする請求項３に記載の方法。
【請求項６】
前記ユーザが前記タッチ画面（１１０）に適用する圧力のレベルに応じて、前記タッチ画面に伝えられる動きを変えるステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記ユーザが前記タッチ画面（１１０）に適用する圧力のレベルに応じて、再生を変えるまたはレンダリングを変えるステップをさらに含むことを特徴とする請求項６に記載の方法。
【請求項８】
知覚フィードバック体験を与えることによって、タッチ画面（１１０）上に表示されたオブジェクトとの３Ｄ相互作用をシミュレートするデバイスであって、
タッチを介してユーザ動作を示す入力を受信し、および前記ユーザ動作に応じて視覚効果を表示するために設定されたタッチ画面（１１０）と、
動きを前記タッチ画面（１１０）に伝えるために設定される１または複数のアクチュエータ（７１２）であって、ｉ）ユーザへの触覚フィードバックを通じて、前記タッチ画面（１１０）上で行われるユーザ動作を確認し、ｉｉ）前記オブジェクトとの相互作用を、あたかも前記オブジェクトが三次元を有するかのようにシミュレートし、ｉｉｉ）前記ユーザのタッチに応じて、前記タッチ画面（１１０）上に前記オブジェクトの表示（２０６）を伝える、ために設定される前記動と、
前記オブジェクトとの前記相互作用と関連付けられるサンプル音声（６０２）を再生するための音響レンダリングデバイス（６０６）であって、前記サンプル音声（６０２）が、前記ユーザ（１０２）への聴覚フィードバックを通じて前記ユーザ動作を確認する前記サンプル音声（６０２）と、
知覚フィードバック論理命令を格納するメモリ（７１９）と、
前記知覚フィードバック論理命令を実行するために前記メモリ（７１９）に接続された少なくとも１つのプロセッサ（７２１）であって、前記知覚フィードバック論理命令は、実行されたとき、前記ユーザ動作に応じて前記知覚フィードバック体験を前記ユーザ（１０２）に実装し、前記知覚フィードバック体験は、前記触覚フィードバック、前記聴覚フィードバック、および前記視覚効果を含むこと
を備えることを特徴とするデバイス。
【請求項９】
携帯電話機、パーソナルデジタルアシスタント、スマートフォン、携帯ゲーム機、ウルトラモバイルＰＣ、パーソナルメディアプレーヤ、ＰＯＳ端末機、セルフサービスキオスク、自動車用娯楽システム、自動車用ナビゲーションシステム、自動車用サブシステムコントローラ、自動車用ＨＶＡＣコントローラ、医療器具コントローラ、工業用設備コントローラ、またはＡＴＭの中の１つに付帯機能性を実装するための、１または複数の構造をさらに含むことを特徴とする請求項８に記載のデバイス。
【請求項１０】
前記１または複数のモーションアクチュエータ（７１２）を、複数の動きの他自由度を用いて前記タッチ画面（１１０）を動かすために設定して、特定の３Ｄシミュレーションと関連付けられた明示的な動きを、前記タッチ画面（１１０）に伝えることができるようにすることを特徴とする請求項８に記載のデバイス。
【請求項１１】
前記３Ｄシミュレーションは、ジオメトリまたはテクスチャの中の１つから選択されることを特徴とする請求項１０に記載のデバイス。
【請求項１２】
前記１または複数のモーションアクチュエータ（７１２）は、モータ（７０４）および偏心荷重（７１０）の回転を含む振動装置を備えることを特徴とする請求項１０に記載のデバイス。
【請求項１３】
前記モータ（７０４）を、可変速度、または可変持続時間、または順方向および逆方向において駆動されるように設定して、複数の異なる動きを、前記タッチ画面（１１０）に伝えて、前記複数の異なる動きのそれぞれを、異なる相互作用をシミュレートのために使用できるようにすることを特徴とする請求項１２に記載のデバイス。
【請求項１４】
前記１または複数のモーションアクチュエータ（７１２）は、可変磁場を作り出すように構成できる電磁石を備え、または静電気の放電を作り出すように構成できる静電気放電ジェネレータを備えることを特徴とする請求項１０に記載のデバイス。
【請求項１５】
前記音響レンダリングデバイス（６０６）は、内蔵スピーカか、または外部に接続できるヘッドセットのいずれかを含むことを特徴とする請求項１０に記載のデバイス。
【請求項１６】
電子デバイス（１０５）内に配置された１または複数のプロセッサによって実行されるとき、前記デバイス（１０５）と関連付けられたタッチ画面（１１０）上に表示されるオブジェクトに対して、対話型３Ｄ環境をシミュレートするためにアーキテクチャ（１１０４）を実装する命令を含むコンピュータ読み取り可能媒体であって、前記アーキテクチャ（１１０４）は、
タッチ画面（１１０）への入力イベントに応じて視覚フィードバック、聴覚フィードバックおよび触覚フィードバックを備える前記デバイス（１０５）のユーザ（１０２）に、知覚フィードバック体験を実装するように構成された知覚フィードバック論理コンポーネント（１１２０）と、
前記タッチ画面（１１０）からの前記入力イベントを受信し、および前記オブジェクト（２０６）の表示を前記タッチ画面（１１０）上にレンダリングすることを制御するように構成されたタッチ画面コントローラ（１１２５）と、
サンプル音声（６０２）の再生を制御して、前記聴覚フィードバックを通じて前記入力を確認するように構成された音声コントローラ（１１２８）と、
１または複数のモーションアクチュエータ（７１２）によって前記タッチ画面（１１０）に適用される力を制御するように構成されたモーションコントローラ（１１３４）であって、前記力は、複数の異なる入力イベントのそれぞれに対して、明示的な動きを前記タッチ画面（１１０）に与えるために、可変の方向、持続時間および大きさを備えるモーションコントローラ（１１３４）と
を備えることを特徴とするアーキテクチャ（１１０４）。
【請求項１７】
前記対話型３Ｄ環境を作り出すため構成されたホストアプリケーション（１１０７）をさらに含むことを特徴とする請求項１６に記載のコンピュータ読み取り可能媒体。
【請求項１８】
タッチ画面、音声ジェネレータ、および１または複数のモーションアクチュエータを備えたハードウェア抽出レイヤ（１１４０）をさらに含むことを特徴とする請求項１７に記載のコンピュータ読み取り可能媒体。
【請求項１９】
前記タッチ画面（１１０）上に表示された前記オブジェクトを触ることによって見つけるために、前記入力イベントは、前記ユーザによるタッチを備えること特徴とする請求項１８に記載のコンピュータ読み取り可能媒体。
【請求項２０】
前記タッチ画面（１１０）上に表示された前記オブジェクトと相互作用するために、前記入力イベントは、前記ユーザによるタッチを備えること特徴とする請求項１９に記載のコンピュータ読み取り可能媒体。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図７Ｄ】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０】
【図１１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図７Ｄ】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０】
【図１１】
【公表番号】特表２０１１−５０１２９８（Ｐ２０１１−５０１２９８Ａ）
【公表日】平成２３年１月６日（２０１１．１．６）
【国際特許分類】
【出願番号】特願２０１０−５３００３８（Ｐ２０１０−５３００３８）
【出願日】平成２０年１０月１０日（２００８．１０．１０）
【国際出願番号】ＰＣＴ／ＵＳ２００８／０７９５６０
【国際公開番号】ＷＯ２００９／０５２０２８
【国際公開日】平成２１年４月２３日（２００９．４．２３）
【出願人】（５０００４６４３８）マイクロソフト コーポレーション (3,165)
【Ｆターム（参考）】
【公表日】平成２３年１月６日（２０１１．１．６）
【国際特許分類】
【出願日】平成２０年１０月１０日（２００８．１０．１０）
【国際出願番号】ＰＣＴ／ＵＳ２００８／０７９５６０
【国際公開番号】ＷＯ２００９／０５２０２８
【国際公開日】平成２１年４月２３日（２００９．４．２３）
【出願人】（５０００４６４３８）マイクロソフト コーポレーション (3,165)
【Ｆターム（参考）】
[ Back to top ]