画面内の対象が押圧によって操作可能なユーザインタフェース装置、対象操作方法及びプログラム
【課題】タッチパネルに対して、画面内の対象の多様な動作を実行させ得る、直感的な操作を行うことが可能なユーザインタフェース装置を提供する。
【解決手段】本ユーザインタフェース装置は、指の接触位置に応じて、仮想空間内に表示された又は仮想空間内に存在すると想定された操作すべき対象を決定する対象決定手段と、決定された対象の奥行き方向での変位量を、指による押圧力の大きさに応じて決定する動作決定手段と、決定された対象を、決定された変位量だけ奥行き方向に変位させる動作制御手段とを有している。ここで、動作決定手段は、決定された当該対象の奥行き方向での速度を、指による押圧力の大きさの変化率に応じて決定することも好ましい。
【解決手段】本ユーザインタフェース装置は、指の接触位置に応じて、仮想空間内に表示された又は仮想空間内に存在すると想定された操作すべき対象を決定する対象決定手段と、決定された対象の奥行き方向での変位量を、指による押圧力の大きさに応じて決定する動作決定手段と、決定された対象を、決定された変位量だけ奥行き方向に変位させる動作制御手段とを有している。ここで、動作決定手段は、決定された当該対象の奥行き方向での速度を、指による押圧力の大きさの変化率に応じて決定することも好ましい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイ及びタッチパネルを備えたユーザインタフェース装置に関する。
【背景技術】
【０００２】
近年、情報表示として３次元コンピュータグラフィックス（３ＤＣＧ）を採用し、入力手段としてタッチパネルを搭載したユーザインタフェース装置が広く普及している。
【０００３】
ここで、３ＤＣＧは、仮想の立体物（３次元空間内の対象）を、ディスプレイ画面（２次元平面）上の情報に変換して、奥行き感を持たせた画像として表示する技術である。一方、タッチパネルは、例えば、ディスプレイの画面上に設けられており、この画面（タッチパネル）に指、スタイラス等で触れることによって指示入力が可能となるデバイスである。これらを具備したユーザインタフェース装置としては、携帯型ゲーム機や、スマートフォン、タブレット型コンピュータといった携帯型情報機器が挙げられる。
【０００４】
このような装置では、タッチパネルへの入力操作に応じて、３ＤＣＧで表示された画像をどのように処理するかが種々工夫されてきた。例えば、特許文献１には、スティック等を画面に接触させて、対応する３次元ゲーム空間内のオブジェクトを変化させるゲーム装置が開示されている。具体的には、この画面上の接触位置に対応する３次元ゲーム空間内での位置と、仮想カメラの位置とを通る直線を算出し、この直線と交わるオブジェクトをズームアップ表示する。
【０００５】
また、特許文献２には、必ずしも３ＤＣＧではないが、野球ゲーム用の装置が開示されている。ここでは、表示されたキャラクタに、指示手段（指、タッチペン等）を接触させると、このキャラクタにボールが送球される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１１８４６号公報
【特許文献２】特開２００６−８７４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、入力用デバイスとしてタッチパネルを用いた場合、装置に指示できる入力パラメータの数は限定されてしまう。具体的には、指（又はスタイラス等）を接触させた位置（及びその変位）と、接触させた時間（タイミング）とが入力パラメータとして、アプリケーションの動作指示に利用されるだけであった。
【０００８】
そこで、入力操作の種類を増やすため、物理的な押下ボタンや十字キー等を併用することも行われてきた。しかしながら、この場合、操作が複雑になっていた。また、入力操作と対象の応答動作とが対応している感覚が得られ難く、直感的に操作を行うことが困難となっていた。
【０００９】
特に、３ＤＣＧによる情報表示では、表示された画像内の対象は、より多様な動作の可能性を有する場合が多い。このため、この対象に対して、より多くの動作指示を行い得ることが求められる。さらに、画像に奥行き感を持たせているので、情報表示そのものに臨場感があり、リアルな感覚が引き出される場合も多い。このような３ＤＣＧの特性を活かすために、入力操作を、タッチパネルを介して直感的に行い得ることも求められる。
【００１０】
そこで、本発明は、タッチパネルに対して、画面内の対象の多様な動作を実行させ得る、直感的な操作を行うことが可能なユーザインタフェース装置、対象操作方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明によれば、画面の奥行き方向を含む仮想空間を表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルと、当該指により該タッチパネルに与えられる押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置であって、
当該指の接触位置に応じて、仮想空間内に表示された又は仮想空間内に存在すると想定された操作すべき対象を決定する対象決定手段と、
決定された対象の奥行き方向での変位量を、押圧力の大きさに応じて決定する動作決定手段と、
決定された対象を、決定された変位量だけ奥行き方向に変位させる動作制御手段と
を有するユーザインタフェース装置が提供される。
【００１２】
また、本発明のユーザインタフェース装置における他の実施形態として、動作制御手段は、ユーザの操作から見て、
仮想空間内の当該対象又はその近傍を指でより強く押し込むほど、該対象を奥行き方向により大きく変位させることも好ましい。
【００１３】
また、本発明のユーザインタフェース装置における他の実施形態として、動作決定手段は、決定された当該対象の奥行き方向での速度を、押圧力の大きさの変化率に応じて決定し、
動作制御手段は、決定された当該対象を、決定された速度で奥行き方向に変位させることも好ましい。
【００１４】
この直前に述べた実施形態の場合、動作制御手段は、ユーザの操作から見て、
仮想空間内の当該対象又はその近傍を指でより素早く押し込むほど、該対象を奥行き方向により速い速度で変位させることも好ましい。
【００１５】
また、本発明のユーザインタフェース装置における他の実施形態として、当該対象の仮想空間内での奥行き方向の変位量に応じて、又は変位量及び速度に応じて、該仮想空間内に表示されており該対象の変位に応答する客体の状態を変化させる客体応答制御手段を更に有することも好ましい。
【００１６】
さらに、本発明のユーザインタフェース装置における他の実施形態として、制御すべき物理的な客体に又は制御すべき客体イメージを表示する情報機器に送信される制御情報を生成する制御情報生成手段と、
制御情報を当該物理的な客体又は当該客体イメージに送信する通信部と
を更に備えており、
制御情報生成手段は、当該対象の仮想空間内での奥行き方向の変位量に応じた変位量だけ、当該物理的な客体又は当該客体イメージにおける当該対象に対応した部分を変位させる制御情報を生成することも好ましく、当該対象の仮想空間内での奥行き方向の変位量に応じた変位量だけ、当該対象の仮想空間内での奥行き方向の速度に応じた速度で、当該物理的な客体又は当該客体イメージにおける当該対象に対応した部分を変位させる制御情報を生成することも好ましい。
【００１７】
本発明によれば、さらに、画面の奥行き方向を含む仮想空間を表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルと、当該指により該タッチパネルに与えられる押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置に搭載されたプログラムであって、
当該指の接触位置に応じて、仮想空間内に表示された又は仮想空間内に存在すると想定された操作すべき対象を決定する対象決定手段と、
決定された対象の奥行き方向での変位量を、押圧力の大きさに応じて決定する動作決定手段と、
決定された対象を、決定された変位量だけ奥行き方向に変位させる動作制御手段と
してコンピュータを機能させる、ユーザインタフェース装置用のプログラムが提供される。
【００１８】
本発明によれば、さらにまた、画面の奥行き方向を含む仮想空間を表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルと、当該指により該タッチパネルに与えられる押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置における、仮想空間内の対象を操作する方法であって、
当該指の接触位置に応じて、仮想空間内に表示された又は仮想空間内に存在すると想定された操作すべき対象を決定する第１のステップと、
決定された対象の奥行き方向での変位量を、押圧力の大きさに応じて決定する第２のステップと、
決定された対象を、決定された変位量だけ奥行き方向に変位させる第３のステップと
を有する、仮想空間内の対象を操作する方法が提供される。
【発明の効果】
【００１９】
本発明のユーザインタフェース装置、対象操作方法及びプログラムによれば、タッチパネルに対して、画面内の対象の多様な動作を実行させ得る、直感的な操作を行うことが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明による携帯型情報機器の一実施形態における前面図、及び指による操作の概略図である。
【図２】本発明による携帯型情報機器の他の実施形態における前面図、及び指による操作の概略図である。
【図３】本発明による携帯型情報機器の更なる他の実施形態における前面図、及び指による操作の概略図である。
【図４】本発明による携帯型情報機器の更なる他の実施形態における前面図、制御を行う物理的な客体の概略図、及び指による操作の概略図である。
【図５】本発明による携帯型情報機器の一実施形態を示す機能構成図である。
【図６】本発明による仮想空間内の対象を操作する方法の一実施形態を示すフローチャートである。
【発明を実施するための形態】
【００２１】
本発明によるユーザインタフェース装置は、画面の奥行き方向を含む仮想空間を表示するディスプレイと、このディスプレイの画面上に配置されたタッチパネルと、指によりタッチパネルに与えられる押圧力を検出する押圧力検出部とを備えている。本発明は、指の接触位置に応じて決定された仮想空間内の対象を、指による押圧力の大きさに応じて決定された変位量だけ、画面奥行き方向に変位させる点に特徴を有する。
【００２２】
ここで、画面の「奥行き方向」の意味を明確にする。「奥行き方向」とは、画面に表示される仮想空間内で、ユーザから遠ざかる（ように感じられる）向きを含む方向である。具体的には、仮想空間を表示しているユーザインタフェース装置が、ユーザに対向する（ように表示される）客体に向かって、ユーザの操作する対象を、入力操作に応じて変位させる。この場合、対象が変位する向きを含む方向が「奥行き方向」となる。
【００２３】
本発明では、指による押し込みの程度に応じて、対象が「奥行き方向」に変位する。ここで、指による押し込みは、通常、ユーザに、押圧対象を自身から離れる向きに移動させる感覚を持たせる。その結果、本発明では、直感的な操作を行うことが可能となるのである。
【００２４】
ここで、更に「直感的」の意味を明確にする。「直感的」な操作とは、操作における入力動作と対象の応答動作とが、物理的な作用の結果として関連している、との感覚を生じさせる操作である。対象が押し込まれることによって自身から離れていく（「奥行き方向」に変位する）操作は、「直感的」である。
【００２５】
以下、本発明の実施形態について、図面を用いて詳細に説明する。
【００２６】
尚、タッチパネルは、当然に、装置が持つ３ＤＣＧ機能以外の機能の発動をも可能にし得る。このため、本発明の如く、タッチパネルを備えたユーザインタフェース装置は、スマートフォン、タブレット型コンピュータ等の携帯型情報機器であることも少なくない。従って、以下、本発明の実施形態として、３ＤＣＧ機能付きの携帯型情報機器（以下、携帯型情報機器と称する）を説明する。但し、本発明は、同機器に限定されるものではなく、例えば、携帯型ゲーム機等のゲーム用機器であってもよい。
【００２７】
（ボクシングゲーム）
図１は、本発明による携帯型情報機器の一実施形態における前面図、及び指による操作の概略図である。
【００２８】
図１（Ａ）は、ボクシングゲーム用アプリケーションが起動した携帯型情報機器１の前面図である。この前面図によれば、ディスプレイ１０１の画面に、仮想空間としてのボクシング対戦用のリング１０４が表示されている。また、この画面に、操作すべき対象としてのプレイヤの右拳１０５と、この右拳１０５の変位に応答する客体としての対戦相手１０７とが表示されている。さらに、この画面上に、指の接触位置を時間経過に応じて逐次出力するタッチパネル１００が配置されている。
【００２９】
また、画面内には、右拳選択範囲１０８及び左拳選択範囲１０９が設けられている。ユーザの指が右拳選択範囲１０８に接触すると（指の接触位置が右拳選択範囲１０８と重畳すると）、右拳１０５が操作すべき対象に決定される。また、ユーザの指が左拳選択範囲１０９に接触すると、左拳１０６が操作すべき対象に決定される。さらに、指の右拳選択範囲１０８（左拳選択範囲１０９）内での接触位置、又は当該位置から所定分ずれた位置が、右拳１０５（左拳１０６）が繰り出される際のスタートする位置に決定される。
【００３０】
尚、右拳１０５（左拳１０６）は、指の接触位置に、又は当該位置から所定分ずれた位置に、表示されてもよい。または、右拳１０５（左拳１０６）は、指が右拳選択範囲１０８（左拳選択範囲１０９）に接触して初めて表示されてもよい。さらに、右拳１０５（左拳１０６）は、後述するように指が押し込まれて右拳１０５（左拳１０６）が繰り出されて初めて表示されてもよく、全く表示されない状態（存在すると想定された状態）のままであってもよい。また、右拳選択範囲１０８及び左拳選択範囲１０９も表示されなくともよく、操作の障害にならない程度に表示されてもよい。
【００３１】
ユーザは、図１（Ｂ）に示すように、指を右拳選択範囲１０８に接触させて右拳１０５を選択した後、その指をその位置でタッチパネル１００に押し込む。この押し込みに応じて、図１（Ｃ）に示すように、右拳１０５が、対戦相手１０７に向かって繰り出される。すなわち、奥行き方向に変位する。この際、右拳１０５は、指の接触位置又は当該位置から所定分ずれた位置からスタートし、対戦リング１０４内において対戦相手１０７（の右頬）に向かって奥行き方向に変位する。
【００３２】
ここで、右拳１０５の繰り出された量、すなわち対戦リング１０４（仮想空間）内における奥行き方向での変位量ｄＯは、指による押圧力ｐＣの大きさに応じて決定される。例えば、変位量ｄＯは、次式
（１） ｄＯ＝Ｃ１・（ｐＣ−ｐＴＨ）
により決定される。ここで、Ｃ１は所定の比例係数であり、ｐＴＨは所定の閾値である。閾値ｐＴＨを設けることにより、指が単に接触しただけで拳が繰り出されてしまう事態を回避できる。尚、閾値ｐＴＨは、例えば、０.５Ｎ（ニュートン）乃至２.０Ｎの範囲内の値に設定可能である。また、指の押圧力ｐＣは、後述する押圧力検出部１０３（図５）で検出される。
【００３３】
変位量ｄＯは、当然に式（１）以外の関係で決定可能であるが、押圧力ｐＣの単調増加関数であることが好ましい。この場合、ユーザの操作から見ると、右拳１０５又はその近傍を指でより強く押し込むほど、右拳１０５を奥行き方向により大きく変位させることができる。
【００３４】
さらに、図１（Ｂ）に示すように、ユーザの指による押圧力ｐＣの変化率ｇＰに応じて、右拳１０５の奥行き方向での速度ｖＯが決定される。これにより、右拳１０５は、奥行き方向に、速度ｖＯをもって変位する。ここで、押圧力がｐＣである時刻ｔでの変化率ｇＰは、直前に押圧力を測定した時刻ｔ０での押圧力をｐＣ０として、例えば、次式
（２） ｇＰ＝（ｐＣ−ｐＣ０）／（ｔ−ｔ０）
により決定される。尚、時刻ｔ０は、指による押し込みの開始時であってもよい。この場合、ｐＣ０＝０であって、押し込み開示時点からの平均的な変化率ｇＰが決定される。さらに、速度ｖＯは、例えば、次式
（３） ｖＯ＝Ｃ２・ｇＰ
により決定される。ここで、Ｃ２は所定の比例係数である。速度ｖＯは、当然に式（３）以外の関係で決定可能であるが、変化率ｇＰの単調増加関数であることが好ましい。この場合、ユーザの操作から見ると、右拳１０５又はその近傍を指でより素早く押し込むほど、右拳１０５を奥行き方向により速い速度で変位させることができる。
【００３５】
尚、右拳１０５は、スタート位置が適切であって変位量ｄＯが十分に大きい場合、対戦相手１０７をヒットする。この場合、対戦相手１０７は、衝撃を受けて仰け反ったり、又はダウンしたりする。すなわち、対戦相手１０７は、変位量ｄＯに応答して、右拳１０５から作用を受ける形で、自身の状態を変化させられる。
【００３６】
ここで、右拳１０５が対戦相手１０７にヒットした時点での速度ｖＯに応じて、対戦相手１０７が仰け反る程度の決定、さらにはダウンするか否かの判定がなされる。例えば、速度ｖＯに比例した変位量ｄＨだけ、対戦相手１０７の頭が後ろに移動してもよい。すなわち、変位量ｄＨが、次式
（４） ｄＨ＝Ｃ３・ｖＯ
で決定されてもよい。ここで、Ｃ３は所定の比例係数である。
【００３７】
さらに、対戦相手１０７は、速度ｖＯに比例したダメージ量ｑＤを蓄積してもよい。この場合、ヒットされる度に蓄積されたダメージ量ｑＤの合計ΣｑＤが、所定の閾値ｑＴＨ以上となった時点で、対戦相手１０７はダウンする。
【００３８】
また、右拳１０５が対戦相手１０７にヒットした時点で、さらには、対戦相手がダウンした時点で、後述する触覚応答機構部１０２（図５）が、指に振動を与えてもよい。例えば、ヒットした際の反作用又は対戦相手１０７がダウンした際の衝撃を感じさせるような振動を与えることができる。これにより、ユーザは、実戦を体験しているかのような触覚応答を受け、リアルな操作感を得ることができる。
【００３９】
さらに、右拳１０５及び対戦相手１０７の画面内での動きは、次のように表示可能である。すなわち、後述するアプリケーション処理部１１２（図５）が、（押圧力ｐＣ及びその変化率ｇＰから決定された）変位量ｄＯ及び速度ｖ０を受け取り、これらの値に基づいて各時点でレンダリングを行う。これにより、ボクシングゲームの進行に合わせて仮想空間が展開され、右拳１０５及び対戦相手１０７の動きがリアルタイムで表現される。
【００４０】
尚、左拳１０６を繰り出して対戦相手１０７にヒットさせる操作、及びそれによる対戦相手１０７の応答も、以上に述べた右拳１０５に係る内容と同様にすることができる。
【００４１】
以上述べたように、本実施形態では、指の接触位置のみならず、指による押圧力ｐＣ（押し込み量）、さらには押圧力ｐＣの変化率ｇＰ（押し込み速度）をパラメータとして、入力操作を行うことができる。その結果、画面内の両拳及び対戦相手１０７の多様な動作を実行させ得る。
【００４２】
また、本実施形態では、指による押し込みの程度（押圧力ｐＣ及びその変化率ｇＰ）に応じて、拳が奥行き方向に変位する。ここで、指による押し込みは、通常、ユーザに、押圧対象を自身から離れる向きに移動させる感覚を持たせる。その結果、本実施形態では、直感的な操作を行うことが可能となるのである。
【００４３】
さらに、本実施形態では、（押圧力ｐＣ及びその変化率ｇＰに対応した）拳の変位量ｄＯ及び速度ｖＯに応じて、拳から作用を受ける対戦相手１０７の状態が、多様に変化させられる。その結果、実戦を体験しているかのような視覚応答を受け、リアルな操作感を得ることができる。
【００４４】
（レースゲーム）
図２は、本発明による携帯型情報機器の他の実施形態における前面図、及び指による操作の概略図である。
【００４５】
図２（Ａ）はレースゲーム用アプリケーションが起動した携帯型情報機器２の前面図である。この前面図によれば、ディスプレイ２０１の画面に、仮想空間としての、フロントガラスを介した車窓画像２０４が表示されている。また、この画面に、操作すべき対象としてのアクセルペダル２０５及びブレーキペダル２０６が表示されている。さらに、この画面上に、指の接触位置を時間経過に応じて逐次出力するタッチパネル２００が配置されている。
【００４６】
ユーザは、図２（Ｂ）に示すように、指をアクセルペダル２０５に接触させて（指の接触位置をアクセルペダル２０５の表示位置範囲と重畳させて）、アクセルペダル２０５を選択する。その後、その指をその位置でアクセルペダル２０５に押し込む。この押し込みに応じて、図２（Ｃ）に示すように、アクセルペダル２０５が、踏み込まれたように奥に移動する。すなわち、奥行き方向に変位する。
【００４７】
ここで、アクセルペダル２０５の踏み込まれた量、すなわち奥行き方向での変位量ｄＯは、指による押圧力ｐＣの大きさに応じて決定される。例えば、変位量ｄＯは、上述した式（１）：ｄＯ＝Ｃ１・（ｐＣ−ｐＴＨ）により決定される。ここで、閾値ｐＴＨを設けることにより、指が単に接触しただけでアクセルペダル２０５が踏み込まれてしまう事態を回避できる。
【００４８】
変位量ｄＯは、当然に式（１）以外の関係で決定可能であるが、押圧力ｐＣの単調増加関数であることが好ましい。この場合、ユーザの操作から見ると、アクセルペダル２０５を指でより強く押し込むほど、アクセルペダル２０５をより奥側に踏み込む（より大きく奥行き方向に変位させる）ことができる。さらに、車窓画像２０４は、アクセルペダル２０５が奥行き方向に変位するのに応じて、道路の奥側の位置が手前に向かってくる形で変化する。
【００４９】
ここで、アクセルペダル２０５の変位量ｄＯに応じて、操作されている想定上のレースカーの時刻ｔでの加速度αＣ及び速度ｖＣが決定される。例えば、時刻ｔ＝ｔ０＋Δｔとし、時刻ｔ０での速度をｖＣ０とすると、加速度αＣ及び速度ｖＣは、それぞれ次式
（５） αＣ＝Ｃ４・ｄＯ−ｋ・ｖＣ０
（６） ｖＣ＝ｖＣ０＋Δｔ・αＣ
で決定されてもよい。ここで、Ｃ４は所定の比例係数であり、ｋは空気抵抗係数である。このように加速度αＣ及び速度ｖＣを決定することによって、レースカーは、アクセルペダル２０５をより奥側に踏み込むほど（指をアクセルペダル２０５により強く押し込むほど）、より加速され、より高い速度で走行する。尚、ｖＣには、上限値（最高到達速度）が設けられていてもよい。
【００５０】
また、想定上のレースカーの速度ｖＣに応じて、後述する触覚応答機構部１０２（図５）が、指に、例えば、速度ｖＣをもたらすエンジンの駆動に起因するような振動を与えることができる。これにより、ユーザは、実際にレースカーを運転しているかのような触覚応答を受け、リアルな操作感を得ることができる。
【００５１】
尚、指をブレーキペダル２０６に押し込む操作、及びそれによる車窓画像２０４の応答は、以上に述べたアクセルペダル２０５に係る内容において、次の点を変更したものと同様にすることができる。すなわち、ブレーキペダル２０６の変位量ｅＯに応じて、操作されている想定上のレースカーの時刻ｔでの加速度αＣ及び速度ｖＣが決定される。例えば、時刻ｔ＝ｔ０＋Δｔとし、時刻ｔ０での速度をｖＣ０とすると、加速度αＣ及び速度ｖＣは、それぞれ次式
（７） αＣ＝−Ｃ５・ｅＯ−ｋ・ｖＣ０
（８） ｖＣ＝ｖＣ０＋Δｔ・αＣ
で決定されてもよい。ここで、Ｃ５は所定の比例係数であり、ｋは空気抵抗係数である。
【００５２】
このように加速度αＣ及び速度ｖＣを決定することによって、レースカーは、ブレーキペダル２０６をより奥側に踏み込むほど（指をアクセルペダル２０５により強く押し込むほど）、より減速され、より低い速度で走行する。尚、ｖＣは、負の値をとることがないように設定可能である。
【００５３】
車窓画像２０４は、このように決定された各時刻ｔでの速度ｖＣに応じて、道路の奥側の位置が手前に向かってくる形で変化する。具体的には、後述するアプリケーション処理部１１２（図５）が、（押圧力ｐＣから決定された）変位量ｄＯを受け取り、この値に基づいて各時点でレンダリングを行う。これにより、想定上のレースカーの走行に合わせて仮想空間が展開され、車窓画像２０４の動きがリアルタイムで表現される。これにより、ユーザは、自身の操作する想定上のレースカーが仮想空間を走行している感覚を得る。
【００５４】
以上述べたように、本実施形態では、指の接触位置のみならず、指による押圧力ｐＣ（押し込み量）をパラメータとして、入力操作を行うことができる。その結果、画面内のアクセルペダル２０５、ブレーキペダル２０６及び車窓画像２０４の多様な動作を実行させ得る。
【００５５】
また、本実施形態では、指による押し込みの程度（押圧力ｐＣ）に応じて、アクセルペダル２０５（ブレーキペダル２０６）が、奥行き方向に変位する。ここで、指による押し込みは、通常、ユーザに、押圧対象を自身から離れる向きに移動させる感覚を持たせる。その結果、本実施形態では、直感的な操作を行うことが可能となるのである。
【００５６】
さらに、本実施形態では、（押圧力ｐＣに対応した）アクセルペダル２０５（ブレーキペダル２０６）の変位量ｄＯ（変位量ｅＯ）に応じて、アクセルペダル２０５（ブレーキペダル２０６）の変位に応答する車窓画像２０４の状態が、多様に変化させられる。その結果、実際の運転を体験しているかのような視覚応答を受け、リアルな操作感を得ることができる。
【００５７】
（野球ゲーム）
図３は、本発明による携帯型情報機器の更なる他の実施形態における前面図、及び指による操作の概略図である。
【００５８】
図３（Ａ）は、野球ゲーム用アプリケーションが起動した携帯型情報機器３の前面図である。この前面図によれば、ディスプレイ３０１の画面に、仮想空間としてのグラウンド３０４が表示されている。また、この画面に、操作すべき対象としてのボール３０５と、このボール３０５の変位に応答する客体としてのバット３０６とが表示されている。さらに、この画面上に、指の接触位置を時間経過に応じて逐次出力するタッチパネル３００が配置されている。
【００５９】
また、画面内には、リリース位置指定範囲３０７が設けられている。ユーザの指がリリース位置指定範囲３０７に接触すると（指の接触位置がリリース位置指定範囲３０７と重畳すると）、ボール３０５が操作すべき対象に決定される。さらに、指のリリース位置指定範囲３０７内での接触位置が、ボール３０５が投げ出される際のスタートする位置に決定される。
【００６０】
尚、ボール３０５は、指の接触位置に表示されてもよい。または、指がリリース位置指定範囲３０７に接触して初めて表示されてもよい。さらに、ボール３０５は、後述するように指が押し込まれてボール３０５が投げ出されて初めて表示されてもよい。また、リリース位置指定範囲３０７も表示されなくともよく、操作の障害にならない程度に表示されてもよい。
【００６１】
ユーザは、図３（Ｂ）に示すように、指をリリース位置指定範囲３０７に接触させてボール３０５を選択した後、その指をその位置でタッチパネル３００に押し込む。この押し込みに応じて、図３（Ｃ）に示すように、ボール３０５が、キャッチャーに向かって投げ出される。すなわち、奥行き方向に変位する。この際、ボール３０５は、指の接触位置からスタートする（リリースされる）。
【００６２】
また、図３（Ｂ）に示すように、ユーザの指による押圧力ｐＣに応じて、ボール３０５の到達距離（ボール３０５の変位量）ｄＯ、すなわち、ボール３０５がホームベース位置まで届くか否かが決定される。例えば、押圧力ｐＣに比例した到達距離ｄＯが、閾値（ピッチャーマウンドからホームベースまでの距離）ｄＴＨ以上であれば、ボール３０５がホームベース位置まで届くとすることができる。
【００６３】
さらに、ユーザの指による押圧力ｐＣの変化率ｇＰに応じて、ボール３０５の速度ｖＯが決定される。これにより、ボール３０５は、奥行き方向に、速度ｖＯをもって変位する。
【００６４】
この変化率ｇＰは、指による押し込みの開始時刻ｔ０から所定の押圧力閾値ｐＴＨ１に達する時刻ｔＴＨまでの時間での変化率としてもよい。または、指による押し込みの開始時刻ｔ０から押圧力が最初に極大値ｐＭＡＸを示す時刻ｔＴＨまでの時間での変化率としてもよい。後者の場合、変化率ｇＰ及び速度ｖＯは、例えば、次式
（９） ｇＰ＝ｐＭＡＸ／（ｔＴＨ−ｔ０）
（１０） ｖＯ＝Ｃ６・ｇＰ
により決定される。ここで、Ｃ６は所定の比例係数である。
【００６５】
ボール３０５の速度ｖＯは、当然に式（１０）以外の関係で決定可能であるが、変化率ｇＰの単調増加関数であることが好ましい。この場合、ユーザの操作から見ると、ボール３０５を指でより素早く押し込むほど、ボール３０５をより速い速度で、キャッチャーに向かって投げ込むことができる（奥行き方向に変位させることができる）。
【００６６】
尚、ボール３０５は、スタート位置が適切であって変位量ｄＯが十分に大きい場合、バッターの手元（ストライクゾーン）に速度ｖ０で到達する。この場合、図３（Ｃ）のように、バット３０６が、これに応答して、ボール３０５に向かって振られてもよい。すなわち、バット３０６は、変位量ｄＯ及び速度ｖ０に応じて、自身の状態を変化させる。
【００６７】
また、バット３０６の動き（変化）は、前もって準備されている多数のパターンのいずれかに決定されてもよい。この決定は、後述するアプリケーション処理部１１２（図５）によって、変位量ｄＯ及び速度ｖ０と、各パターンに割り振られた所定の確率とを勘案して、行われてもよい。
【００６８】
さらに、指でボール３０５を押し込み始めてからボール３０５が投げ出されるまでの間、後述する触覚応答機構部１０２（図５）が、指に、例えば、ボール３０５を投げる際の負荷を感じさせるような振動を与えることができる。これにより、ユーザは、実際に投球しているかのような触覚応答を受け、リアルな操作感を得ることができる。
【００６９】
以上述べたように、本実施形態では、指の接触位置のみならず、指による押圧力ｐＣ（押し込み量）、さらには押圧力ｐＣの変化率ｇＰ（押し込み速度）をパラメータとして、入力操作を行うことができる。その結果、画面内のボール３０５及びバット３０６の多様な動作を実行させ得る。
【００７０】
また、本実施形態では、指による押し込みの程度（押圧力ｐＣ及びその変化率ｇＰ）に応じて、ボール３０５が奥行き方向に変位する。ここで、指による押し込みは、通常、ユーザに、押圧対象を自身から離れる向きに移動させる感覚を持たせる。その結果、本実施形態では、直感的な操作を行うことが可能となるのである。
【００７１】
さらに、本実施形態では、（押圧力ｐＣ及びその変化率ｇＰに対応した）ボール３０５の変位量ｄＯ及び速度ｖＯに応じて、ボール３０５の変位に応答するバット３０６の状態が、多様に変化させられる。その結果、実戦を体験しているかのような視覚応答を受け、リアルな操作感を得ることができる。
【００７２】
（ロボット遠隔操作）
図４は、本発明による携帯型情報機器の更なる他の実施形態における前面図、制御を行う物理的な客体の概略図、及び指による操作の概略図である。
【００７３】
図４（Ａ）は、ロボット遠隔操作用アプリケーションが起動した携帯型情報機器４の前面図、及び制御を行うロボット５の概略図である。この前面図によれば、ディスプレイ４０１の画面に、仮想空間内に位置するロボットイメージ４０４が表示されている。さらに、この画面上に、指の接触位置を時間経過に応じて逐次出力するタッチパネル４００が配置されている。
【００７４】
ロボットイメージ４０４は、本実施形態において、背中を向けて（奥側に向いて）二足直立している。また、ロボットイメージ４０４は、操作すべき対象としての右拳４０５及び左拳４０６を有している。
【００７５】
さらに、携帯型情報機器４による制御対象として、物理的な客体としてのロボット５が設けられている。ロボット５は通信機能を有しており、例えば無線通信網としてのアクセスネットワークを介して、携帯型情報機器４からの制御情報を受信することができる。ここで、ロボットイメージ４０４は、ロボット５の表現となっている。すなわち、ロボット５は、ロボットイメージ４０４の右拳４０５及び左拳４０６にそれぞれ相当する、右拳部５０１及び左拳部５０２を備えている。
【００７６】
また、画面内には、右拳選択範囲４０７及び左拳選択範囲４０８が設けられている。ユーザの指が右拳選択範囲４０７に接触すると（指の接触位置が右拳選択範囲４０７と重畳すると）、右拳４０５が操作すべき対象に決定される。また、ユーザの指が左拳選択範囲４０８に接触すると、左拳４０６が操作すべき対象に決定される。尚、右拳選択範囲１０８及び左拳選択範囲１０９は、表示されなくともよく、操作の障害にならない程度に表示されてもよい。
【００７７】
ユーザは、図４（Ｂ）に示すように、指を右拳選択範囲４０７に接触させて右拳４０５を選択した後、その指をその位置でタッチパネル４００に押し込む。この押し込みに応じて、図４（Ｃ）に示すように、右拳４０５が、仮想空間内で奥側に繰り出される。すなわち、奥行き方向に変位する。また、これに対応して、ロボット５の右拳部５０１も、ロボット５から見て前方に繰り出される。
【００７８】
ここで、右拳４０５の繰り出された量、すなわち奥行き方向での変位量ｄＯは、指による押圧力ｐＣの大きさに応じて決定される。変位量ｄＯは、例えば、上述した式（１）：ｄＯ＝Ｃ１・（ｐＣ−ｐＴＨ）により決定される。ここで、閾値ｐＴＨを設けることにより、指が単に接触しただけで拳が繰り出されてしまう事態を回避できる。また、この場合、ユーザの操作から見ると、右拳４０５又はその近傍を指でより強く押し込むほど、右拳４０５を奥行き方向により大きく変位させることができる。
【００７９】
さらに、図４（Ｂ）に示すように、ユーザの指による押圧力ｐＣの変化率ｇＰに応じて、右拳４０５の奥行き方向での速度ｖＯが決定される。これにより、右拳４０５は、奥行き方向に、速度ｖＯをもって変位する。ここで、変化率ｇＰ及び速度ｖＯは、例えば、それぞれ上述した式（２）：ｇＰ＝（ｐＣ−ｐＣ０）／（ｔ−ｔ０）及び（３）：ｖＯ＝Ｃ２・ｇＰにより決定されることができる。この場合、ユーザの操作から見ると、右拳４０５又はその近傍を指でより素早く押し込むほど、右拳４０５を奥行き方向により速い速度で変位させることができる。
【００８０】
次いで、制御情報生成部１３１（図５）によって、制御すべきロボット５に送信する制御情報が、決定された変位量ｄＯ及び速度ｖＯに応じて生成される。ここで、制御情報生成部１３１は、後述する動作制御部１２４（図５）から決定された変位量ｄＯ及び速度ｖＯの情報を入力して制御情報を生成する。この制御情報は、変位量ｄＯに応じた変位量ｄＲだけ、速度ｖＯに応じた速度ｖＲで、ロボット５における右拳４０５に対応した右拳部５０１を変位させる内容を含む。尚、ロボット５の右拳部５０１での変位量ｄＲ及び速度ｖＲは、例えば、それぞれ変位量ｄＯ及び速度ｖＯに比例した値とすることができる。
【００８１】
生成された制御情報は、携帯型情報機器４の通信部１１（図５）から、無線通信網等のアクセスネットワークを介して、ロボット５に送信される。ロボット５は、この制御情報を受信し、その内容に従って、右拳部５０１を変位量ｄＲだけ速度ｖＲで繰り出す。
【００８２】
尚、左拳４０６を繰り出す操作、及びそれに対応した左拳部５０２を繰り出す動作も、以上に述べた右拳４０５及び右拳部５０１での内容と同様にすることができる。
【００８３】
尚、変更態様として、携帯型情報機器４が制御する対象は、ロボット５のような物理的な実体ではなく、他の携帯型情報機器６に表示された客体イメージであるロボットイメージ６０１であってもよい。この態様においても、制御すべきロボットイメージ６０１を表示する携帯型情報機器６に送信する制御情報が、決定された変位量ｄＯ及び速度ｖＯに応じて生成される。この制御情報は、変位量ｄＯに応じた変位量ｄＲだけ、速度ｖＯに応じた速度ｖＲで、ロボットイメージ６０１における右拳６０２（左拳６０３）を変位させる内容を含む。
【００８４】
さらに、上記の態様において、携帯型情報機器６は、ロボットイメージ６０１とは別に、操作すべき対象としてのロボットイメージを更に表示していてもよい。また、このロボットイメージに対応したイメージが、携帯型情報機器４に、ロボットイメージ４０４と共に表示されていてもよい。この場合、機器４及び６のユーザはそれぞれ、自身のロボットイメージを、指による押し込み動作によって操作して、相手の操作するロボットイメージに作用を及ぼすことが可能となる。
【００８５】
以上述べたように、本実施形態では、指の接触位置のみならず、指による押圧力ｐＣ（押し込み量）、さらには押圧力ｐＣの変化率ｇＰ（押し込み速度）をパラメータとし、制御対象の制御にあたって直感的な入力操作を行うことができる。さらに、この入力操作の結果を、通信によって制御対象に送信し、制御対象の多様な動作を実行させることが可能となる。
【００８６】
図５は、本発明による携帯型情報機器の一実施形態を示す機能構成図である。
【００８７】
図５によれば、携帯型情報機器１は、タッチパネル１００と、ディスプレイ１０１と、触覚応答機構部１０２と、押圧力検出部１０３と、プロセッサ・メモリとを備えている。尚、図４に示した実施形態の携帯型情報機器４は、更に、通信部１１を備えている。
【００８８】
また、プロセッサ・メモリは、対象決定部１２１と、スタート位置決定部１２２と、動作決定部１２３と、動作制御部１２４と、客体応答制御部１２５と、触覚応答制御部１２６と、表示制御部１１１と、アプリケーション処理部１１２とを有する。ここで、プロセッサ・メモリは、プログラムを実行することによってその機能を実現させる。尚、図４に示した実施形態の携帯型情報機器４では、プロセッサ・メモリは、更に、制御情報生成部１３１を有している。
【００８９】
ディスプレイ１０１は、画面の奥行き方向を含む仮想空間を表示する。また、タッチパネル１００は、ディスプレイ１０１の画面上に配置されており、ユーザの指の接触位置を時間経過に応じて逐次出力する。このタッチパネル１００として、投影型静電容量方式タッチパネル、表面型静電容量方式タッチパネル、抵抗膜方式タッチパネル、超音波表面弾性波方式タッチパネル、又は赤外線走査方式タッチパネル等を採用することができる。
【００９０】
触覚応答機構部１０２は、タッチパネル１００に接触した指に対して、タッチパネル１００を振動させることにより、触覚応答を与える。触覚応答機構部１０２は、例えば、ＰＺＴ（チタン酸ジルコン酸鉛）等の圧電材料を用いて形成された圧電アクチュエータとすることができる。
【００９１】
押圧力検出部１０３は、指によってタッチパネル１００に与えられる押圧力ｐＣを検出する。押圧力検出部１０３は、例えば、タッチパネル１００の四隅下に設置されており、指を押し付けられ僅かに撓んだタッチパネル１００が自身に及ぼす押圧の合計を、押圧力ｐＣとして検出する。
【００９２】
押圧力検出部１０３は、例えば、ＰＺＴ等の圧電材料を用いて形成された圧電センサとすることができる。また、圧電アクチュエータで構成された触覚応答機構部１０２を設ける代わりに又は設けると共に、この押圧力検出部１０３を触覚応答機構部として利用することも可能である。
【００９３】
対象決定部１２１は、タッチパネル１００から出力される指の接触位置信号を入力する。更に、この指の接触位置に応じて、仮想空間内に表示された又は仮想空間内に存在すると想定された操作すべき対象（例えば、拳１０５、１０６、４０５若しくは４０６、アクセルペダル２０５、ブレーキペダル２０６、又はボール３０５）を決定する。また、この決定結果を、動作制御部１２４に出力する。
【００９４】
スタート位置決定部１２２は、タッチパネル１００から出力される指の接触位置信号を入力し、指の接触位置に応じて、操作すべき対象が仮想空間内で奥行き方向に変位する際のスタート（変位開始）位置を決定する。また、この決定結果を、動作制御部１２４に出力する。
【００９５】
動作決定部１２３は、押圧力検出部１０３から出力される押圧力信号を入力し、操作すべき対象の奥行き方向での変位量ｄＯを、指による押圧力ｐＣの大きさに応じて決定する。また、操作すべき対象の奥行き方向での速度ｖＯを、押圧力ｐＣの大きさの変化率ｇＰに応じて決定する。さらに、これらの決定結果を、動作制御部１２４に出力する。
【００９６】
動作制御部１２４は、対象決定部１２１と、スタート位置決定部１２２と、動作決定部１２３とから、決定結果を含む信号を入力する。その後、入力した決定結果に基づき、操作すべき対象を、決定された変位量ｄＯだけ、決定された速度ｖＯで奥行き方向に変位させるように、アプリケーション処理部１１２に指示する。また、操作すべき対象の変位情報（変位量ｄＯ及び速度ｖＯ）を、客体応答制御部１２５に出力する。
【００９７】
客体応答制御部１２５は、操作すべき対象の仮想空間内での奥行き方向の変位量ｄＯ及び速度ｖＯに応じて、この対象の変位に応答する客体（例えば、対戦相手１０７、車窓画像２０４、又はバット３０６）の状態を変化させるように、アプリケーション処理部１１２に指示する。
【００９８】
触覚応答制御部１２６は、動作制御部１２４及び／又は客体応答制御部１２５から出力される操作すべき対象及び客体の動作指示情報を入力する。さらに、この情報に基づいて、タッチパネル１００に接触した指に対して触覚応答を与えるべく、触覚応答機構部１０２を制御する。
【００９９】
表示制御部１１１は、アプリケーション処理部１１２からのアプリケーション処理情報を入力して、動作制御部１２４及び／又は客体応答制御部１２５からの指示情報に応じた画像、さらにはアプリケーションの実行に応じた画像を、ディスプレイ１０１に表示させる。
【０１００】
図６は、本発明による仮想空間内の対象を操作する方法の一実施形態を示すフローチャートである。これらのフローチャートを用いて、プロセッサ・メモリで実施される対象操作方法の一実施形態を説明する。
【０１０１】
図６によれば、最初に、タッチパネル１００が、指の接触位置を測定する（ステップＳ６１）。次いで、対象決定部１２１によって、指の接触位置が、操作すべき対象に対応した位置範囲（例えば、拳選択範囲１０８、１０９、４０７若しくは４０８、アクセルペダル２０５若しくはレーキペダル２０６の表示位置範囲、又はリリース位置指定範囲３０７）のいずれかと重畳したか否かが判定される（ステップＳ６２）。
【０１０２】
ここで真の判定がなされた場合、対象決定部１２１は、指の接触位置が重畳した位置範囲に対応した対象を、操作すべき対象に決定する（ステップＳ６３）。次いで、スタート位置決定部１２２は、指の接触位置に基づいて、操作すべき対象のスタート位置（変位開始位置）を決定する（ステップＳ６４）。
【０１０３】
次いで、押圧力検出部１０３が、指による押圧力ｐＣを検出する（ステップＳ６５）。その後、動作決定部１２３が、検出された押圧力ｐＣの大きさに応じて、操作すべき対象の奥行き方向での変位量ｄＯを決定し（ステップＳ６６）、さらに、検出された押圧力ｐＣの大きさの変化率ｇＰに応じて、操作すべき対象の奥行き方向での速度ｖＯを決定する（ステップＳ６７）。
【０１０４】
その後、動作制御部１２４が、操作すべき対象を、決定された変位量ｄＯだけ、決定された速度ｖＯで奥行き方向に変位させる（ステップＳ６８）。その後、対象の操作が継続するか否かを判断すべく、ステップＳ６１に戻る。
【０１０５】
一方、対象決定部１２１によって、指の接触位置が、対象に対応した位置範囲のいずれとも重畳しなかったと判定された場合（ステップＳ６２）、対象の操作は終了する。
【０１０６】
以上、詳細に説明したように、本発明のユーザインタフェース装置、対象操作方法及びプログラムによれば、指の接触位置に応じて決定された仮想空間内の対象を、指による押圧力ｐＣの大きさに応じて決定された変位量ｄＯだけ、画面奥行き方向に変位させる。また、この対象を、押圧力ｐＣの大きさの変化率ｇＰに応じて決定された速度ｖＯで、画面奥行き方向に変位させる。その結果、タッチパネルに対して、画面内の対象の多様な動作を実行させ得る、直感的な操作を行うことが可能となる。
【０１０７】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【０１０８】
１、２、３、４、６ 携帯型情報機器（ユーザインタフェース装置）
１００、２００、３００、４００ タッチパネル
１０１、２０１、３０１、４０１ ディスプレイ
１０２ 触覚応答機構部
１０３ 押圧力検出部
１０４ リング
１０５、１０６、４０５、４０６、６０２、６０３ 拳
１０７ 対戦相手
１０８、１０９、４０７、４０８ 拳選択範囲
１１ 通信部
１１１ 表示制御部
１１２ アプリケーション処理部
１２１ 対象決定部
１２２ スタート位置決定部
１２３ 動作決定部
１２４ 動作制御部
１２５ 客体応答制御部
１２６ 触覚応答制御部
１３１ 制御情報生成部
２０４ 車窓画像
２０５ アクセルペダル
２０６ ブレーキペダル
３０４ グラウンド
３０５ ボール
３０６ バット
３０７ リリース位置指定範囲
４０４、６０１ ロボットイメージ
５ ロボット
５０１、５０２ 拳部
【技術分野】
【０００１】
本発明は、ディスプレイ及びタッチパネルを備えたユーザインタフェース装置に関する。
【背景技術】
【０００２】
近年、情報表示として３次元コンピュータグラフィックス（３ＤＣＧ）を採用し、入力手段としてタッチパネルを搭載したユーザインタフェース装置が広く普及している。
【０００３】
ここで、３ＤＣＧは、仮想の立体物（３次元空間内の対象）を、ディスプレイ画面（２次元平面）上の情報に変換して、奥行き感を持たせた画像として表示する技術である。一方、タッチパネルは、例えば、ディスプレイの画面上に設けられており、この画面（タッチパネル）に指、スタイラス等で触れることによって指示入力が可能となるデバイスである。これらを具備したユーザインタフェース装置としては、携帯型ゲーム機や、スマートフォン、タブレット型コンピュータといった携帯型情報機器が挙げられる。
【０００４】
このような装置では、タッチパネルへの入力操作に応じて、３ＤＣＧで表示された画像をどのように処理するかが種々工夫されてきた。例えば、特許文献１には、スティック等を画面に接触させて、対応する３次元ゲーム空間内のオブジェクトを変化させるゲーム装置が開示されている。具体的には、この画面上の接触位置に対応する３次元ゲーム空間内での位置と、仮想カメラの位置とを通る直線を算出し、この直線と交わるオブジェクトをズームアップ表示する。
【０００５】
また、特許文献２には、必ずしも３ＤＣＧではないが、野球ゲーム用の装置が開示されている。ここでは、表示されたキャラクタに、指示手段（指、タッチペン等）を接触させると、このキャラクタにボールが送球される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１１８４６号公報
【特許文献２】特開２００６−８７４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、入力用デバイスとしてタッチパネルを用いた場合、装置に指示できる入力パラメータの数は限定されてしまう。具体的には、指（又はスタイラス等）を接触させた位置（及びその変位）と、接触させた時間（タイミング）とが入力パラメータとして、アプリケーションの動作指示に利用されるだけであった。
【０００８】
そこで、入力操作の種類を増やすため、物理的な押下ボタンや十字キー等を併用することも行われてきた。しかしながら、この場合、操作が複雑になっていた。また、入力操作と対象の応答動作とが対応している感覚が得られ難く、直感的に操作を行うことが困難となっていた。
【０００９】
特に、３ＤＣＧによる情報表示では、表示された画像内の対象は、より多様な動作の可能性を有する場合が多い。このため、この対象に対して、より多くの動作指示を行い得ることが求められる。さらに、画像に奥行き感を持たせているので、情報表示そのものに臨場感があり、リアルな感覚が引き出される場合も多い。このような３ＤＣＧの特性を活かすために、入力操作を、タッチパネルを介して直感的に行い得ることも求められる。
【００１０】
そこで、本発明は、タッチパネルに対して、画面内の対象の多様な動作を実行させ得る、直感的な操作を行うことが可能なユーザインタフェース装置、対象操作方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明によれば、画面の奥行き方向を含む仮想空間を表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルと、当該指により該タッチパネルに与えられる押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置であって、
当該指の接触位置に応じて、仮想空間内に表示された又は仮想空間内に存在すると想定された操作すべき対象を決定する対象決定手段と、
決定された対象の奥行き方向での変位量を、押圧力の大きさに応じて決定する動作決定手段と、
決定された対象を、決定された変位量だけ奥行き方向に変位させる動作制御手段と
を有するユーザインタフェース装置が提供される。
【００１２】
また、本発明のユーザインタフェース装置における他の実施形態として、動作制御手段は、ユーザの操作から見て、
仮想空間内の当該対象又はその近傍を指でより強く押し込むほど、該対象を奥行き方向により大きく変位させることも好ましい。
【００１３】
また、本発明のユーザインタフェース装置における他の実施形態として、動作決定手段は、決定された当該対象の奥行き方向での速度を、押圧力の大きさの変化率に応じて決定し、
動作制御手段は、決定された当該対象を、決定された速度で奥行き方向に変位させることも好ましい。
【００１４】
この直前に述べた実施形態の場合、動作制御手段は、ユーザの操作から見て、
仮想空間内の当該対象又はその近傍を指でより素早く押し込むほど、該対象を奥行き方向により速い速度で変位させることも好ましい。
【００１５】
また、本発明のユーザインタフェース装置における他の実施形態として、当該対象の仮想空間内での奥行き方向の変位量に応じて、又は変位量及び速度に応じて、該仮想空間内に表示されており該対象の変位に応答する客体の状態を変化させる客体応答制御手段を更に有することも好ましい。
【００１６】
さらに、本発明のユーザインタフェース装置における他の実施形態として、制御すべき物理的な客体に又は制御すべき客体イメージを表示する情報機器に送信される制御情報を生成する制御情報生成手段と、
制御情報を当該物理的な客体又は当該客体イメージに送信する通信部と
を更に備えており、
制御情報生成手段は、当該対象の仮想空間内での奥行き方向の変位量に応じた変位量だけ、当該物理的な客体又は当該客体イメージにおける当該対象に対応した部分を変位させる制御情報を生成することも好ましく、当該対象の仮想空間内での奥行き方向の変位量に応じた変位量だけ、当該対象の仮想空間内での奥行き方向の速度に応じた速度で、当該物理的な客体又は当該客体イメージにおける当該対象に対応した部分を変位させる制御情報を生成することも好ましい。
【００１７】
本発明によれば、さらに、画面の奥行き方向を含む仮想空間を表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルと、当該指により該タッチパネルに与えられる押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置に搭載されたプログラムであって、
当該指の接触位置に応じて、仮想空間内に表示された又は仮想空間内に存在すると想定された操作すべき対象を決定する対象決定手段と、
決定された対象の奥行き方向での変位量を、押圧力の大きさに応じて決定する動作決定手段と、
決定された対象を、決定された変位量だけ奥行き方向に変位させる動作制御手段と
してコンピュータを機能させる、ユーザインタフェース装置用のプログラムが提供される。
【００１８】
本発明によれば、さらにまた、画面の奥行き方向を含む仮想空間を表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルと、当該指により該タッチパネルに与えられる押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置における、仮想空間内の対象を操作する方法であって、
当該指の接触位置に応じて、仮想空間内に表示された又は仮想空間内に存在すると想定された操作すべき対象を決定する第１のステップと、
決定された対象の奥行き方向での変位量を、押圧力の大きさに応じて決定する第２のステップと、
決定された対象を、決定された変位量だけ奥行き方向に変位させる第３のステップと
を有する、仮想空間内の対象を操作する方法が提供される。
【発明の効果】
【００１９】
本発明のユーザインタフェース装置、対象操作方法及びプログラムによれば、タッチパネルに対して、画面内の対象の多様な動作を実行させ得る、直感的な操作を行うことが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明による携帯型情報機器の一実施形態における前面図、及び指による操作の概略図である。
【図２】本発明による携帯型情報機器の他の実施形態における前面図、及び指による操作の概略図である。
【図３】本発明による携帯型情報機器の更なる他の実施形態における前面図、及び指による操作の概略図である。
【図４】本発明による携帯型情報機器の更なる他の実施形態における前面図、制御を行う物理的な客体の概略図、及び指による操作の概略図である。
【図５】本発明による携帯型情報機器の一実施形態を示す機能構成図である。
【図６】本発明による仮想空間内の対象を操作する方法の一実施形態を示すフローチャートである。
【発明を実施するための形態】
【００２１】
本発明によるユーザインタフェース装置は、画面の奥行き方向を含む仮想空間を表示するディスプレイと、このディスプレイの画面上に配置されたタッチパネルと、指によりタッチパネルに与えられる押圧力を検出する押圧力検出部とを備えている。本発明は、指の接触位置に応じて決定された仮想空間内の対象を、指による押圧力の大きさに応じて決定された変位量だけ、画面奥行き方向に変位させる点に特徴を有する。
【００２２】
ここで、画面の「奥行き方向」の意味を明確にする。「奥行き方向」とは、画面に表示される仮想空間内で、ユーザから遠ざかる（ように感じられる）向きを含む方向である。具体的には、仮想空間を表示しているユーザインタフェース装置が、ユーザに対向する（ように表示される）客体に向かって、ユーザの操作する対象を、入力操作に応じて変位させる。この場合、対象が変位する向きを含む方向が「奥行き方向」となる。
【００２３】
本発明では、指による押し込みの程度に応じて、対象が「奥行き方向」に変位する。ここで、指による押し込みは、通常、ユーザに、押圧対象を自身から離れる向きに移動させる感覚を持たせる。その結果、本発明では、直感的な操作を行うことが可能となるのである。
【００２４】
ここで、更に「直感的」の意味を明確にする。「直感的」な操作とは、操作における入力動作と対象の応答動作とが、物理的な作用の結果として関連している、との感覚を生じさせる操作である。対象が押し込まれることによって自身から離れていく（「奥行き方向」に変位する）操作は、「直感的」である。
【００２５】
以下、本発明の実施形態について、図面を用いて詳細に説明する。
【００２６】
尚、タッチパネルは、当然に、装置が持つ３ＤＣＧ機能以外の機能の発動をも可能にし得る。このため、本発明の如く、タッチパネルを備えたユーザインタフェース装置は、スマートフォン、タブレット型コンピュータ等の携帯型情報機器であることも少なくない。従って、以下、本発明の実施形態として、３ＤＣＧ機能付きの携帯型情報機器（以下、携帯型情報機器と称する）を説明する。但し、本発明は、同機器に限定されるものではなく、例えば、携帯型ゲーム機等のゲーム用機器であってもよい。
【００２７】
（ボクシングゲーム）
図１は、本発明による携帯型情報機器の一実施形態における前面図、及び指による操作の概略図である。
【００２８】
図１（Ａ）は、ボクシングゲーム用アプリケーションが起動した携帯型情報機器１の前面図である。この前面図によれば、ディスプレイ１０１の画面に、仮想空間としてのボクシング対戦用のリング１０４が表示されている。また、この画面に、操作すべき対象としてのプレイヤの右拳１０５と、この右拳１０５の変位に応答する客体としての対戦相手１０７とが表示されている。さらに、この画面上に、指の接触位置を時間経過に応じて逐次出力するタッチパネル１００が配置されている。
【００２９】
また、画面内には、右拳選択範囲１０８及び左拳選択範囲１０９が設けられている。ユーザの指が右拳選択範囲１０８に接触すると（指の接触位置が右拳選択範囲１０８と重畳すると）、右拳１０５が操作すべき対象に決定される。また、ユーザの指が左拳選択範囲１０９に接触すると、左拳１０６が操作すべき対象に決定される。さらに、指の右拳選択範囲１０８（左拳選択範囲１０９）内での接触位置、又は当該位置から所定分ずれた位置が、右拳１０５（左拳１０６）が繰り出される際のスタートする位置に決定される。
【００３０】
尚、右拳１０５（左拳１０６）は、指の接触位置に、又は当該位置から所定分ずれた位置に、表示されてもよい。または、右拳１０５（左拳１０６）は、指が右拳選択範囲１０８（左拳選択範囲１０９）に接触して初めて表示されてもよい。さらに、右拳１０５（左拳１０６）は、後述するように指が押し込まれて右拳１０５（左拳１０６）が繰り出されて初めて表示されてもよく、全く表示されない状態（存在すると想定された状態）のままであってもよい。また、右拳選択範囲１０８及び左拳選択範囲１０９も表示されなくともよく、操作の障害にならない程度に表示されてもよい。
【００３１】
ユーザは、図１（Ｂ）に示すように、指を右拳選択範囲１０８に接触させて右拳１０５を選択した後、その指をその位置でタッチパネル１００に押し込む。この押し込みに応じて、図１（Ｃ）に示すように、右拳１０５が、対戦相手１０７に向かって繰り出される。すなわち、奥行き方向に変位する。この際、右拳１０５は、指の接触位置又は当該位置から所定分ずれた位置からスタートし、対戦リング１０４内において対戦相手１０７（の右頬）に向かって奥行き方向に変位する。
【００３２】
ここで、右拳１０５の繰り出された量、すなわち対戦リング１０４（仮想空間）内における奥行き方向での変位量ｄＯは、指による押圧力ｐＣの大きさに応じて決定される。例えば、変位量ｄＯは、次式
（１） ｄＯ＝Ｃ１・（ｐＣ−ｐＴＨ）
により決定される。ここで、Ｃ１は所定の比例係数であり、ｐＴＨは所定の閾値である。閾値ｐＴＨを設けることにより、指が単に接触しただけで拳が繰り出されてしまう事態を回避できる。尚、閾値ｐＴＨは、例えば、０.５Ｎ（ニュートン）乃至２.０Ｎの範囲内の値に設定可能である。また、指の押圧力ｐＣは、後述する押圧力検出部１０３（図５）で検出される。
【００３３】
変位量ｄＯは、当然に式（１）以外の関係で決定可能であるが、押圧力ｐＣの単調増加関数であることが好ましい。この場合、ユーザの操作から見ると、右拳１０５又はその近傍を指でより強く押し込むほど、右拳１０５を奥行き方向により大きく変位させることができる。
【００３４】
さらに、図１（Ｂ）に示すように、ユーザの指による押圧力ｐＣの変化率ｇＰに応じて、右拳１０５の奥行き方向での速度ｖＯが決定される。これにより、右拳１０５は、奥行き方向に、速度ｖＯをもって変位する。ここで、押圧力がｐＣである時刻ｔでの変化率ｇＰは、直前に押圧力を測定した時刻ｔ０での押圧力をｐＣ０として、例えば、次式
（２） ｇＰ＝（ｐＣ−ｐＣ０）／（ｔ−ｔ０）
により決定される。尚、時刻ｔ０は、指による押し込みの開始時であってもよい。この場合、ｐＣ０＝０であって、押し込み開示時点からの平均的な変化率ｇＰが決定される。さらに、速度ｖＯは、例えば、次式
（３） ｖＯ＝Ｃ２・ｇＰ
により決定される。ここで、Ｃ２は所定の比例係数である。速度ｖＯは、当然に式（３）以外の関係で決定可能であるが、変化率ｇＰの単調増加関数であることが好ましい。この場合、ユーザの操作から見ると、右拳１０５又はその近傍を指でより素早く押し込むほど、右拳１０５を奥行き方向により速い速度で変位させることができる。
【００３５】
尚、右拳１０５は、スタート位置が適切であって変位量ｄＯが十分に大きい場合、対戦相手１０７をヒットする。この場合、対戦相手１０７は、衝撃を受けて仰け反ったり、又はダウンしたりする。すなわち、対戦相手１０７は、変位量ｄＯに応答して、右拳１０５から作用を受ける形で、自身の状態を変化させられる。
【００３６】
ここで、右拳１０５が対戦相手１０７にヒットした時点での速度ｖＯに応じて、対戦相手１０７が仰け反る程度の決定、さらにはダウンするか否かの判定がなされる。例えば、速度ｖＯに比例した変位量ｄＨだけ、対戦相手１０７の頭が後ろに移動してもよい。すなわち、変位量ｄＨが、次式
（４） ｄＨ＝Ｃ３・ｖＯ
で決定されてもよい。ここで、Ｃ３は所定の比例係数である。
【００３７】
さらに、対戦相手１０７は、速度ｖＯに比例したダメージ量ｑＤを蓄積してもよい。この場合、ヒットされる度に蓄積されたダメージ量ｑＤの合計ΣｑＤが、所定の閾値ｑＴＨ以上となった時点で、対戦相手１０７はダウンする。
【００３８】
また、右拳１０５が対戦相手１０７にヒットした時点で、さらには、対戦相手がダウンした時点で、後述する触覚応答機構部１０２（図５）が、指に振動を与えてもよい。例えば、ヒットした際の反作用又は対戦相手１０７がダウンした際の衝撃を感じさせるような振動を与えることができる。これにより、ユーザは、実戦を体験しているかのような触覚応答を受け、リアルな操作感を得ることができる。
【００３９】
さらに、右拳１０５及び対戦相手１０７の画面内での動きは、次のように表示可能である。すなわち、後述するアプリケーション処理部１１２（図５）が、（押圧力ｐＣ及びその変化率ｇＰから決定された）変位量ｄＯ及び速度ｖ０を受け取り、これらの値に基づいて各時点でレンダリングを行う。これにより、ボクシングゲームの進行に合わせて仮想空間が展開され、右拳１０５及び対戦相手１０７の動きがリアルタイムで表現される。
【００４０】
尚、左拳１０６を繰り出して対戦相手１０７にヒットさせる操作、及びそれによる対戦相手１０７の応答も、以上に述べた右拳１０５に係る内容と同様にすることができる。
【００４１】
以上述べたように、本実施形態では、指の接触位置のみならず、指による押圧力ｐＣ（押し込み量）、さらには押圧力ｐＣの変化率ｇＰ（押し込み速度）をパラメータとして、入力操作を行うことができる。その結果、画面内の両拳及び対戦相手１０７の多様な動作を実行させ得る。
【００４２】
また、本実施形態では、指による押し込みの程度（押圧力ｐＣ及びその変化率ｇＰ）に応じて、拳が奥行き方向に変位する。ここで、指による押し込みは、通常、ユーザに、押圧対象を自身から離れる向きに移動させる感覚を持たせる。その結果、本実施形態では、直感的な操作を行うことが可能となるのである。
【００４３】
さらに、本実施形態では、（押圧力ｐＣ及びその変化率ｇＰに対応した）拳の変位量ｄＯ及び速度ｖＯに応じて、拳から作用を受ける対戦相手１０７の状態が、多様に変化させられる。その結果、実戦を体験しているかのような視覚応答を受け、リアルな操作感を得ることができる。
【００４４】
（レースゲーム）
図２は、本発明による携帯型情報機器の他の実施形態における前面図、及び指による操作の概略図である。
【００４５】
図２（Ａ）はレースゲーム用アプリケーションが起動した携帯型情報機器２の前面図である。この前面図によれば、ディスプレイ２０１の画面に、仮想空間としての、フロントガラスを介した車窓画像２０４が表示されている。また、この画面に、操作すべき対象としてのアクセルペダル２０５及びブレーキペダル２０６が表示されている。さらに、この画面上に、指の接触位置を時間経過に応じて逐次出力するタッチパネル２００が配置されている。
【００４６】
ユーザは、図２（Ｂ）に示すように、指をアクセルペダル２０５に接触させて（指の接触位置をアクセルペダル２０５の表示位置範囲と重畳させて）、アクセルペダル２０５を選択する。その後、その指をその位置でアクセルペダル２０５に押し込む。この押し込みに応じて、図２（Ｃ）に示すように、アクセルペダル２０５が、踏み込まれたように奥に移動する。すなわち、奥行き方向に変位する。
【００４７】
ここで、アクセルペダル２０５の踏み込まれた量、すなわち奥行き方向での変位量ｄＯは、指による押圧力ｐＣの大きさに応じて決定される。例えば、変位量ｄＯは、上述した式（１）：ｄＯ＝Ｃ１・（ｐＣ−ｐＴＨ）により決定される。ここで、閾値ｐＴＨを設けることにより、指が単に接触しただけでアクセルペダル２０５が踏み込まれてしまう事態を回避できる。
【００４８】
変位量ｄＯは、当然に式（１）以外の関係で決定可能であるが、押圧力ｐＣの単調増加関数であることが好ましい。この場合、ユーザの操作から見ると、アクセルペダル２０５を指でより強く押し込むほど、アクセルペダル２０５をより奥側に踏み込む（より大きく奥行き方向に変位させる）ことができる。さらに、車窓画像２０４は、アクセルペダル２０５が奥行き方向に変位するのに応じて、道路の奥側の位置が手前に向かってくる形で変化する。
【００４９】
ここで、アクセルペダル２０５の変位量ｄＯに応じて、操作されている想定上のレースカーの時刻ｔでの加速度αＣ及び速度ｖＣが決定される。例えば、時刻ｔ＝ｔ０＋Δｔとし、時刻ｔ０での速度をｖＣ０とすると、加速度αＣ及び速度ｖＣは、それぞれ次式
（５） αＣ＝Ｃ４・ｄＯ−ｋ・ｖＣ０
（６） ｖＣ＝ｖＣ０＋Δｔ・αＣ
で決定されてもよい。ここで、Ｃ４は所定の比例係数であり、ｋは空気抵抗係数である。このように加速度αＣ及び速度ｖＣを決定することによって、レースカーは、アクセルペダル２０５をより奥側に踏み込むほど（指をアクセルペダル２０５により強く押し込むほど）、より加速され、より高い速度で走行する。尚、ｖＣには、上限値（最高到達速度）が設けられていてもよい。
【００５０】
また、想定上のレースカーの速度ｖＣに応じて、後述する触覚応答機構部１０２（図５）が、指に、例えば、速度ｖＣをもたらすエンジンの駆動に起因するような振動を与えることができる。これにより、ユーザは、実際にレースカーを運転しているかのような触覚応答を受け、リアルな操作感を得ることができる。
【００５１】
尚、指をブレーキペダル２０６に押し込む操作、及びそれによる車窓画像２０４の応答は、以上に述べたアクセルペダル２０５に係る内容において、次の点を変更したものと同様にすることができる。すなわち、ブレーキペダル２０６の変位量ｅＯに応じて、操作されている想定上のレースカーの時刻ｔでの加速度αＣ及び速度ｖＣが決定される。例えば、時刻ｔ＝ｔ０＋Δｔとし、時刻ｔ０での速度をｖＣ０とすると、加速度αＣ及び速度ｖＣは、それぞれ次式
（７） αＣ＝−Ｃ５・ｅＯ−ｋ・ｖＣ０
（８） ｖＣ＝ｖＣ０＋Δｔ・αＣ
で決定されてもよい。ここで、Ｃ５は所定の比例係数であり、ｋは空気抵抗係数である。
【００５２】
このように加速度αＣ及び速度ｖＣを決定することによって、レースカーは、ブレーキペダル２０６をより奥側に踏み込むほど（指をアクセルペダル２０５により強く押し込むほど）、より減速され、より低い速度で走行する。尚、ｖＣは、負の値をとることがないように設定可能である。
【００５３】
車窓画像２０４は、このように決定された各時刻ｔでの速度ｖＣに応じて、道路の奥側の位置が手前に向かってくる形で変化する。具体的には、後述するアプリケーション処理部１１２（図５）が、（押圧力ｐＣから決定された）変位量ｄＯを受け取り、この値に基づいて各時点でレンダリングを行う。これにより、想定上のレースカーの走行に合わせて仮想空間が展開され、車窓画像２０４の動きがリアルタイムで表現される。これにより、ユーザは、自身の操作する想定上のレースカーが仮想空間を走行している感覚を得る。
【００５４】
以上述べたように、本実施形態では、指の接触位置のみならず、指による押圧力ｐＣ（押し込み量）をパラメータとして、入力操作を行うことができる。その結果、画面内のアクセルペダル２０５、ブレーキペダル２０６及び車窓画像２０４の多様な動作を実行させ得る。
【００５５】
また、本実施形態では、指による押し込みの程度（押圧力ｐＣ）に応じて、アクセルペダル２０５（ブレーキペダル２０６）が、奥行き方向に変位する。ここで、指による押し込みは、通常、ユーザに、押圧対象を自身から離れる向きに移動させる感覚を持たせる。その結果、本実施形態では、直感的な操作を行うことが可能となるのである。
【００５６】
さらに、本実施形態では、（押圧力ｐＣに対応した）アクセルペダル２０５（ブレーキペダル２０６）の変位量ｄＯ（変位量ｅＯ）に応じて、アクセルペダル２０５（ブレーキペダル２０６）の変位に応答する車窓画像２０４の状態が、多様に変化させられる。その結果、実際の運転を体験しているかのような視覚応答を受け、リアルな操作感を得ることができる。
【００５７】
（野球ゲーム）
図３は、本発明による携帯型情報機器の更なる他の実施形態における前面図、及び指による操作の概略図である。
【００５８】
図３（Ａ）は、野球ゲーム用アプリケーションが起動した携帯型情報機器３の前面図である。この前面図によれば、ディスプレイ３０１の画面に、仮想空間としてのグラウンド３０４が表示されている。また、この画面に、操作すべき対象としてのボール３０５と、このボール３０５の変位に応答する客体としてのバット３０６とが表示されている。さらに、この画面上に、指の接触位置を時間経過に応じて逐次出力するタッチパネル３００が配置されている。
【００５９】
また、画面内には、リリース位置指定範囲３０７が設けられている。ユーザの指がリリース位置指定範囲３０７に接触すると（指の接触位置がリリース位置指定範囲３０７と重畳すると）、ボール３０５が操作すべき対象に決定される。さらに、指のリリース位置指定範囲３０７内での接触位置が、ボール３０５が投げ出される際のスタートする位置に決定される。
【００６０】
尚、ボール３０５は、指の接触位置に表示されてもよい。または、指がリリース位置指定範囲３０７に接触して初めて表示されてもよい。さらに、ボール３０５は、後述するように指が押し込まれてボール３０５が投げ出されて初めて表示されてもよい。また、リリース位置指定範囲３０７も表示されなくともよく、操作の障害にならない程度に表示されてもよい。
【００６１】
ユーザは、図３（Ｂ）に示すように、指をリリース位置指定範囲３０７に接触させてボール３０５を選択した後、その指をその位置でタッチパネル３００に押し込む。この押し込みに応じて、図３（Ｃ）に示すように、ボール３０５が、キャッチャーに向かって投げ出される。すなわち、奥行き方向に変位する。この際、ボール３０５は、指の接触位置からスタートする（リリースされる）。
【００６２】
また、図３（Ｂ）に示すように、ユーザの指による押圧力ｐＣに応じて、ボール３０５の到達距離（ボール３０５の変位量）ｄＯ、すなわち、ボール３０５がホームベース位置まで届くか否かが決定される。例えば、押圧力ｐＣに比例した到達距離ｄＯが、閾値（ピッチャーマウンドからホームベースまでの距離）ｄＴＨ以上であれば、ボール３０５がホームベース位置まで届くとすることができる。
【００６３】
さらに、ユーザの指による押圧力ｐＣの変化率ｇＰに応じて、ボール３０５の速度ｖＯが決定される。これにより、ボール３０５は、奥行き方向に、速度ｖＯをもって変位する。
【００６４】
この変化率ｇＰは、指による押し込みの開始時刻ｔ０から所定の押圧力閾値ｐＴＨ１に達する時刻ｔＴＨまでの時間での変化率としてもよい。または、指による押し込みの開始時刻ｔ０から押圧力が最初に極大値ｐＭＡＸを示す時刻ｔＴＨまでの時間での変化率としてもよい。後者の場合、変化率ｇＰ及び速度ｖＯは、例えば、次式
（９） ｇＰ＝ｐＭＡＸ／（ｔＴＨ−ｔ０）
（１０） ｖＯ＝Ｃ６・ｇＰ
により決定される。ここで、Ｃ６は所定の比例係数である。
【００６５】
ボール３０５の速度ｖＯは、当然に式（１０）以外の関係で決定可能であるが、変化率ｇＰの単調増加関数であることが好ましい。この場合、ユーザの操作から見ると、ボール３０５を指でより素早く押し込むほど、ボール３０５をより速い速度で、キャッチャーに向かって投げ込むことができる（奥行き方向に変位させることができる）。
【００６６】
尚、ボール３０５は、スタート位置が適切であって変位量ｄＯが十分に大きい場合、バッターの手元（ストライクゾーン）に速度ｖ０で到達する。この場合、図３（Ｃ）のように、バット３０６が、これに応答して、ボール３０５に向かって振られてもよい。すなわち、バット３０６は、変位量ｄＯ及び速度ｖ０に応じて、自身の状態を変化させる。
【００６７】
また、バット３０６の動き（変化）は、前もって準備されている多数のパターンのいずれかに決定されてもよい。この決定は、後述するアプリケーション処理部１１２（図５）によって、変位量ｄＯ及び速度ｖ０と、各パターンに割り振られた所定の確率とを勘案して、行われてもよい。
【００６８】
さらに、指でボール３０５を押し込み始めてからボール３０５が投げ出されるまでの間、後述する触覚応答機構部１０２（図５）が、指に、例えば、ボール３０５を投げる際の負荷を感じさせるような振動を与えることができる。これにより、ユーザは、実際に投球しているかのような触覚応答を受け、リアルな操作感を得ることができる。
【００６９】
以上述べたように、本実施形態では、指の接触位置のみならず、指による押圧力ｐＣ（押し込み量）、さらには押圧力ｐＣの変化率ｇＰ（押し込み速度）をパラメータとして、入力操作を行うことができる。その結果、画面内のボール３０５及びバット３０６の多様な動作を実行させ得る。
【００７０】
また、本実施形態では、指による押し込みの程度（押圧力ｐＣ及びその変化率ｇＰ）に応じて、ボール３０５が奥行き方向に変位する。ここで、指による押し込みは、通常、ユーザに、押圧対象を自身から離れる向きに移動させる感覚を持たせる。その結果、本実施形態では、直感的な操作を行うことが可能となるのである。
【００７１】
さらに、本実施形態では、（押圧力ｐＣ及びその変化率ｇＰに対応した）ボール３０５の変位量ｄＯ及び速度ｖＯに応じて、ボール３０５の変位に応答するバット３０６の状態が、多様に変化させられる。その結果、実戦を体験しているかのような視覚応答を受け、リアルな操作感を得ることができる。
【００７２】
（ロボット遠隔操作）
図４は、本発明による携帯型情報機器の更なる他の実施形態における前面図、制御を行う物理的な客体の概略図、及び指による操作の概略図である。
【００７３】
図４（Ａ）は、ロボット遠隔操作用アプリケーションが起動した携帯型情報機器４の前面図、及び制御を行うロボット５の概略図である。この前面図によれば、ディスプレイ４０１の画面に、仮想空間内に位置するロボットイメージ４０４が表示されている。さらに、この画面上に、指の接触位置を時間経過に応じて逐次出力するタッチパネル４００が配置されている。
【００７４】
ロボットイメージ４０４は、本実施形態において、背中を向けて（奥側に向いて）二足直立している。また、ロボットイメージ４０４は、操作すべき対象としての右拳４０５及び左拳４０６を有している。
【００７５】
さらに、携帯型情報機器４による制御対象として、物理的な客体としてのロボット５が設けられている。ロボット５は通信機能を有しており、例えば無線通信網としてのアクセスネットワークを介して、携帯型情報機器４からの制御情報を受信することができる。ここで、ロボットイメージ４０４は、ロボット５の表現となっている。すなわち、ロボット５は、ロボットイメージ４０４の右拳４０５及び左拳４０６にそれぞれ相当する、右拳部５０１及び左拳部５０２を備えている。
【００７６】
また、画面内には、右拳選択範囲４０７及び左拳選択範囲４０８が設けられている。ユーザの指が右拳選択範囲４０７に接触すると（指の接触位置が右拳選択範囲４０７と重畳すると）、右拳４０５が操作すべき対象に決定される。また、ユーザの指が左拳選択範囲４０８に接触すると、左拳４０６が操作すべき対象に決定される。尚、右拳選択範囲１０８及び左拳選択範囲１０９は、表示されなくともよく、操作の障害にならない程度に表示されてもよい。
【００７７】
ユーザは、図４（Ｂ）に示すように、指を右拳選択範囲４０７に接触させて右拳４０５を選択した後、その指をその位置でタッチパネル４００に押し込む。この押し込みに応じて、図４（Ｃ）に示すように、右拳４０５が、仮想空間内で奥側に繰り出される。すなわち、奥行き方向に変位する。また、これに対応して、ロボット５の右拳部５０１も、ロボット５から見て前方に繰り出される。
【００７８】
ここで、右拳４０５の繰り出された量、すなわち奥行き方向での変位量ｄＯは、指による押圧力ｐＣの大きさに応じて決定される。変位量ｄＯは、例えば、上述した式（１）：ｄＯ＝Ｃ１・（ｐＣ−ｐＴＨ）により決定される。ここで、閾値ｐＴＨを設けることにより、指が単に接触しただけで拳が繰り出されてしまう事態を回避できる。また、この場合、ユーザの操作から見ると、右拳４０５又はその近傍を指でより強く押し込むほど、右拳４０５を奥行き方向により大きく変位させることができる。
【００７９】
さらに、図４（Ｂ）に示すように、ユーザの指による押圧力ｐＣの変化率ｇＰに応じて、右拳４０５の奥行き方向での速度ｖＯが決定される。これにより、右拳４０５は、奥行き方向に、速度ｖＯをもって変位する。ここで、変化率ｇＰ及び速度ｖＯは、例えば、それぞれ上述した式（２）：ｇＰ＝（ｐＣ−ｐＣ０）／（ｔ−ｔ０）及び（３）：ｖＯ＝Ｃ２・ｇＰにより決定されることができる。この場合、ユーザの操作から見ると、右拳４０５又はその近傍を指でより素早く押し込むほど、右拳４０５を奥行き方向により速い速度で変位させることができる。
【００８０】
次いで、制御情報生成部１３１（図５）によって、制御すべきロボット５に送信する制御情報が、決定された変位量ｄＯ及び速度ｖＯに応じて生成される。ここで、制御情報生成部１３１は、後述する動作制御部１２４（図５）から決定された変位量ｄＯ及び速度ｖＯの情報を入力して制御情報を生成する。この制御情報は、変位量ｄＯに応じた変位量ｄＲだけ、速度ｖＯに応じた速度ｖＲで、ロボット５における右拳４０５に対応した右拳部５０１を変位させる内容を含む。尚、ロボット５の右拳部５０１での変位量ｄＲ及び速度ｖＲは、例えば、それぞれ変位量ｄＯ及び速度ｖＯに比例した値とすることができる。
【００８１】
生成された制御情報は、携帯型情報機器４の通信部１１（図５）から、無線通信網等のアクセスネットワークを介して、ロボット５に送信される。ロボット５は、この制御情報を受信し、その内容に従って、右拳部５０１を変位量ｄＲだけ速度ｖＲで繰り出す。
【００８２】
尚、左拳４０６を繰り出す操作、及びそれに対応した左拳部５０２を繰り出す動作も、以上に述べた右拳４０５及び右拳部５０１での内容と同様にすることができる。
【００８３】
尚、変更態様として、携帯型情報機器４が制御する対象は、ロボット５のような物理的な実体ではなく、他の携帯型情報機器６に表示された客体イメージであるロボットイメージ６０１であってもよい。この態様においても、制御すべきロボットイメージ６０１を表示する携帯型情報機器６に送信する制御情報が、決定された変位量ｄＯ及び速度ｖＯに応じて生成される。この制御情報は、変位量ｄＯに応じた変位量ｄＲだけ、速度ｖＯに応じた速度ｖＲで、ロボットイメージ６０１における右拳６０２（左拳６０３）を変位させる内容を含む。
【００８４】
さらに、上記の態様において、携帯型情報機器６は、ロボットイメージ６０１とは別に、操作すべき対象としてのロボットイメージを更に表示していてもよい。また、このロボットイメージに対応したイメージが、携帯型情報機器４に、ロボットイメージ４０４と共に表示されていてもよい。この場合、機器４及び６のユーザはそれぞれ、自身のロボットイメージを、指による押し込み動作によって操作して、相手の操作するロボットイメージに作用を及ぼすことが可能となる。
【００８５】
以上述べたように、本実施形態では、指の接触位置のみならず、指による押圧力ｐＣ（押し込み量）、さらには押圧力ｐＣの変化率ｇＰ（押し込み速度）をパラメータとし、制御対象の制御にあたって直感的な入力操作を行うことができる。さらに、この入力操作の結果を、通信によって制御対象に送信し、制御対象の多様な動作を実行させることが可能となる。
【００８６】
図５は、本発明による携帯型情報機器の一実施形態を示す機能構成図である。
【００８７】
図５によれば、携帯型情報機器１は、タッチパネル１００と、ディスプレイ１０１と、触覚応答機構部１０２と、押圧力検出部１０３と、プロセッサ・メモリとを備えている。尚、図４に示した実施形態の携帯型情報機器４は、更に、通信部１１を備えている。
【００８８】
また、プロセッサ・メモリは、対象決定部１２１と、スタート位置決定部１２２と、動作決定部１２３と、動作制御部１２４と、客体応答制御部１２５と、触覚応答制御部１２６と、表示制御部１１１と、アプリケーション処理部１１２とを有する。ここで、プロセッサ・メモリは、プログラムを実行することによってその機能を実現させる。尚、図４に示した実施形態の携帯型情報機器４では、プロセッサ・メモリは、更に、制御情報生成部１３１を有している。
【００８９】
ディスプレイ１０１は、画面の奥行き方向を含む仮想空間を表示する。また、タッチパネル１００は、ディスプレイ１０１の画面上に配置されており、ユーザの指の接触位置を時間経過に応じて逐次出力する。このタッチパネル１００として、投影型静電容量方式タッチパネル、表面型静電容量方式タッチパネル、抵抗膜方式タッチパネル、超音波表面弾性波方式タッチパネル、又は赤外線走査方式タッチパネル等を採用することができる。
【００９０】
触覚応答機構部１０２は、タッチパネル１００に接触した指に対して、タッチパネル１００を振動させることにより、触覚応答を与える。触覚応答機構部１０２は、例えば、ＰＺＴ（チタン酸ジルコン酸鉛）等の圧電材料を用いて形成された圧電アクチュエータとすることができる。
【００９１】
押圧力検出部１０３は、指によってタッチパネル１００に与えられる押圧力ｐＣを検出する。押圧力検出部１０３は、例えば、タッチパネル１００の四隅下に設置されており、指を押し付けられ僅かに撓んだタッチパネル１００が自身に及ぼす押圧の合計を、押圧力ｐＣとして検出する。
【００９２】
押圧力検出部１０３は、例えば、ＰＺＴ等の圧電材料を用いて形成された圧電センサとすることができる。また、圧電アクチュエータで構成された触覚応答機構部１０２を設ける代わりに又は設けると共に、この押圧力検出部１０３を触覚応答機構部として利用することも可能である。
【００９３】
対象決定部１２１は、タッチパネル１００から出力される指の接触位置信号を入力する。更に、この指の接触位置に応じて、仮想空間内に表示された又は仮想空間内に存在すると想定された操作すべき対象（例えば、拳１０５、１０６、４０５若しくは４０６、アクセルペダル２０５、ブレーキペダル２０６、又はボール３０５）を決定する。また、この決定結果を、動作制御部１２４に出力する。
【００９４】
スタート位置決定部１２２は、タッチパネル１００から出力される指の接触位置信号を入力し、指の接触位置に応じて、操作すべき対象が仮想空間内で奥行き方向に変位する際のスタート（変位開始）位置を決定する。また、この決定結果を、動作制御部１２４に出力する。
【００９５】
動作決定部１２３は、押圧力検出部１０３から出力される押圧力信号を入力し、操作すべき対象の奥行き方向での変位量ｄＯを、指による押圧力ｐＣの大きさに応じて決定する。また、操作すべき対象の奥行き方向での速度ｖＯを、押圧力ｐＣの大きさの変化率ｇＰに応じて決定する。さらに、これらの決定結果を、動作制御部１２４に出力する。
【００９６】
動作制御部１２４は、対象決定部１２１と、スタート位置決定部１２２と、動作決定部１２３とから、決定結果を含む信号を入力する。その後、入力した決定結果に基づき、操作すべき対象を、決定された変位量ｄＯだけ、決定された速度ｖＯで奥行き方向に変位させるように、アプリケーション処理部１１２に指示する。また、操作すべき対象の変位情報（変位量ｄＯ及び速度ｖＯ）を、客体応答制御部１２５に出力する。
【００９７】
客体応答制御部１２５は、操作すべき対象の仮想空間内での奥行き方向の変位量ｄＯ及び速度ｖＯに応じて、この対象の変位に応答する客体（例えば、対戦相手１０７、車窓画像２０４、又はバット３０６）の状態を変化させるように、アプリケーション処理部１１２に指示する。
【００９８】
触覚応答制御部１２６は、動作制御部１２４及び／又は客体応答制御部１２５から出力される操作すべき対象及び客体の動作指示情報を入力する。さらに、この情報に基づいて、タッチパネル１００に接触した指に対して触覚応答を与えるべく、触覚応答機構部１０２を制御する。
【００９９】
表示制御部１１１は、アプリケーション処理部１１２からのアプリケーション処理情報を入力して、動作制御部１２４及び／又は客体応答制御部１２５からの指示情報に応じた画像、さらにはアプリケーションの実行に応じた画像を、ディスプレイ１０１に表示させる。
【０１００】
図６は、本発明による仮想空間内の対象を操作する方法の一実施形態を示すフローチャートである。これらのフローチャートを用いて、プロセッサ・メモリで実施される対象操作方法の一実施形態を説明する。
【０１０１】
図６によれば、最初に、タッチパネル１００が、指の接触位置を測定する（ステップＳ６１）。次いで、対象決定部１２１によって、指の接触位置が、操作すべき対象に対応した位置範囲（例えば、拳選択範囲１０８、１０９、４０７若しくは４０８、アクセルペダル２０５若しくはレーキペダル２０６の表示位置範囲、又はリリース位置指定範囲３０７）のいずれかと重畳したか否かが判定される（ステップＳ６２）。
【０１０２】
ここで真の判定がなされた場合、対象決定部１２１は、指の接触位置が重畳した位置範囲に対応した対象を、操作すべき対象に決定する（ステップＳ６３）。次いで、スタート位置決定部１２２は、指の接触位置に基づいて、操作すべき対象のスタート位置（変位開始位置）を決定する（ステップＳ６４）。
【０１０３】
次いで、押圧力検出部１０３が、指による押圧力ｐＣを検出する（ステップＳ６５）。その後、動作決定部１２３が、検出された押圧力ｐＣの大きさに応じて、操作すべき対象の奥行き方向での変位量ｄＯを決定し（ステップＳ６６）、さらに、検出された押圧力ｐＣの大きさの変化率ｇＰに応じて、操作すべき対象の奥行き方向での速度ｖＯを決定する（ステップＳ６７）。
【０１０４】
その後、動作制御部１２４が、操作すべき対象を、決定された変位量ｄＯだけ、決定された速度ｖＯで奥行き方向に変位させる（ステップＳ６８）。その後、対象の操作が継続するか否かを判断すべく、ステップＳ６１に戻る。
【０１０５】
一方、対象決定部１２１によって、指の接触位置が、対象に対応した位置範囲のいずれとも重畳しなかったと判定された場合（ステップＳ６２）、対象の操作は終了する。
【０１０６】
以上、詳細に説明したように、本発明のユーザインタフェース装置、対象操作方法及びプログラムによれば、指の接触位置に応じて決定された仮想空間内の対象を、指による押圧力ｐＣの大きさに応じて決定された変位量ｄＯだけ、画面奥行き方向に変位させる。また、この対象を、押圧力ｐＣの大きさの変化率ｇＰに応じて決定された速度ｖＯで、画面奥行き方向に変位させる。その結果、タッチパネルに対して、画面内の対象の多様な動作を実行させ得る、直感的な操作を行うことが可能となる。
【０１０７】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【０１０８】
１、２、３、４、６ 携帯型情報機器（ユーザインタフェース装置）
１００、２００、３００、４００ タッチパネル
１０１、２０１、３０１、４０１ ディスプレイ
１０２ 触覚応答機構部
１０３ 押圧力検出部
１０４ リング
１０５、１０６、４０５、４０６、６０２、６０３ 拳
１０７ 対戦相手
１０８、１０９、４０７、４０８ 拳選択範囲
１１ 通信部
１１１ 表示制御部
１１２ アプリケーション処理部
１２１ 対象決定部
１２２ スタート位置決定部
１２３ 動作決定部
１２４ 動作制御部
１２５ 客体応答制御部
１２６ 触覚応答制御部
１３１ 制御情報生成部
２０４ 車窓画像
２０５ アクセルペダル
２０６ ブレーキペダル
３０４ グラウンド
３０５ ボール
３０６ バット
３０７ リリース位置指定範囲
４０４、６０１ ロボットイメージ
５ ロボット
５０１、５０２ 拳部
【特許請求の範囲】
【請求項１】
画面の奥行き方向を含む仮想空間を表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルと、当該指により該タッチパネルに与えられる押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置であって、
当該指の接触位置に応じて、前記仮想空間内に表示された又は前記仮想空間内に存在すると想定された操作すべき対象を決定する対象決定手段と、
決定された前記対象の奥行き方向での変位量を、前記押圧力の大きさに応じて決定する動作決定手段と、
決定された前記対象を、決定された前記変位量だけ奥行き方向に変位させる動作制御手段と
を有することを特徴とするユーザインタフェース装置。
【請求項２】
前記動作制御手段は、ユーザの操作から見て、
前記仮想空間内の当該対象又はその近傍を指でより強く押し込むほど、該対象を奥行き方向により大きく変位させる
ことを特徴とする請求項１に記載のユーザインタフェース装置。
【請求項３】
前記動作決定手段は、決定された当該対象の奥行き方向での速度を、前記押圧力の大きさの変化率に応じて決定し、
前記動作制御手段は、決定された当該対象を、決定された前記速度で奥行き方向に変位させる
ことを特徴とする請求項１又は２に記載のユーザインタフェース装置。
【請求項４】
前記動作制御手段は、ユーザの操作から見て、
前記仮想空間内の当該対象又はその近傍を指でより素早く押し込むほど、該対象を奥行き方向により速い速度で変位させる
ことを特徴とする請求項３に記載のユーザインタフェース装置。
【請求項５】
当該対象の前記仮想空間内での奥行き方向の変位量に応じて、該仮想空間内に表示されており該対象の変位に応答する客体の状態を変化させる客体応答制御手段を更に有することを特徴とする請求項１から４のいずれか１項に記載のユーザインタフェース装置。
【請求項６】
当該対象の前記仮想空間内での奥行き方向の変位量及び速度に応じて、該仮想空間内に表示されており該対象の変位に応答する客体の状態を変化させる客体応答制御手段を更に有することを特徴とする請求項３又は４に記載のユーザインタフェース装置。
【請求項７】
制御すべき物理的な客体に又は制御すべき客体イメージを表示する情報機器に送信される制御情報を生成する制御情報生成手段と、
前記制御情報を当該物理的な客体又は当該客体イメージに送信する通信部と
を更に備えており、
前記制御情報生成手段は、当該対象の前記仮想空間内での奥行き方向の変位量に応じた変位量だけ、当該物理的な客体又は当該客体イメージにおける当該対象に対応した部分を変位させる制御情報を生成することを特徴とする請求項１から６のいずれか１項に記載のユーザインタフェース装置。
【請求項８】
制御すべき物理的な客体に又は制御すべき客体イメージを表示する情報機器に送信される制御情報を生成する制御情報生成手段と、
前記制御情報を当該物理的な客体又は当該客体イメージに送信する通信部と
を更に備えており、
前記制御情報生成手段は、当該対象の前記仮想空間内での奥行き方向の変位量に応じた変位量だけ、当該対象の前記仮想空間内での奥行き方向の速度に応じた速度で、当該物理的な客体又は当該客体イメージにおける当該対象に対応した部分を変位させる制御情報を生成することを特徴とする請求項３から６のいずれか１項に記載のユーザインタフェース装置。
【請求項９】
画面の奥行き方向を含む仮想空間を表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルと、当該指により該タッチパネルに与えられる押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置に搭載されたプログラムであって、
当該指の接触位置に応じて、前記仮想空間内に表示された又は前記仮想空間内に存在すると想定された操作すべき対象を決定する対象決定手段と、
決定された前記対象の奥行き方向での変位量を、前記押圧力の大きさに応じて決定する動作決定手段と、
決定された前記対象を、決定された前記変位量だけ奥行き方向に変位させる動作制御手段と
してコンピュータを機能させることを特徴とするユーザインタフェース装置用のプログラム。
【請求項１０】
画面の奥行き方向を含む仮想空間を表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルと、当該指により該タッチパネルに与えられる押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置における、仮想空間内の対象を操作する方法であって、
当該指の接触位置に応じて、前記仮想空間内に表示された又は前記仮想空間内に存在すると想定された操作すべき対象を決定する第１のステップと、
決定された前記対象の奥行き方向での変位量を、前記押圧力の大きさに応じて決定する第２のステップと、
決定された前記対象を、決定された前記変位量だけ奥行き方向に変位させる第３のステップと
を有することを特徴とする仮想空間内の対象を操作する方法。
【請求項１】
画面の奥行き方向を含む仮想空間を表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルと、当該指により該タッチパネルに与えられる押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置であって、
当該指の接触位置に応じて、前記仮想空間内に表示された又は前記仮想空間内に存在すると想定された操作すべき対象を決定する対象決定手段と、
決定された前記対象の奥行き方向での変位量を、前記押圧力の大きさに応じて決定する動作決定手段と、
決定された前記対象を、決定された前記変位量だけ奥行き方向に変位させる動作制御手段と
を有することを特徴とするユーザインタフェース装置。
【請求項２】
前記動作制御手段は、ユーザの操作から見て、
前記仮想空間内の当該対象又はその近傍を指でより強く押し込むほど、該対象を奥行き方向により大きく変位させる
ことを特徴とする請求項１に記載のユーザインタフェース装置。
【請求項３】
前記動作決定手段は、決定された当該対象の奥行き方向での速度を、前記押圧力の大きさの変化率に応じて決定し、
前記動作制御手段は、決定された当該対象を、決定された前記速度で奥行き方向に変位させる
ことを特徴とする請求項１又は２に記載のユーザインタフェース装置。
【請求項４】
前記動作制御手段は、ユーザの操作から見て、
前記仮想空間内の当該対象又はその近傍を指でより素早く押し込むほど、該対象を奥行き方向により速い速度で変位させる
ことを特徴とする請求項３に記載のユーザインタフェース装置。
【請求項５】
当該対象の前記仮想空間内での奥行き方向の変位量に応じて、該仮想空間内に表示されており該対象の変位に応答する客体の状態を変化させる客体応答制御手段を更に有することを特徴とする請求項１から４のいずれか１項に記載のユーザインタフェース装置。
【請求項６】
当該対象の前記仮想空間内での奥行き方向の変位量及び速度に応じて、該仮想空間内に表示されており該対象の変位に応答する客体の状態を変化させる客体応答制御手段を更に有することを特徴とする請求項３又は４に記載のユーザインタフェース装置。
【請求項７】
制御すべき物理的な客体に又は制御すべき客体イメージを表示する情報機器に送信される制御情報を生成する制御情報生成手段と、
前記制御情報を当該物理的な客体又は当該客体イメージに送信する通信部と
を更に備えており、
前記制御情報生成手段は、当該対象の前記仮想空間内での奥行き方向の変位量に応じた変位量だけ、当該物理的な客体又は当該客体イメージにおける当該対象に対応した部分を変位させる制御情報を生成することを特徴とする請求項１から６のいずれか１項に記載のユーザインタフェース装置。
【請求項８】
制御すべき物理的な客体に又は制御すべき客体イメージを表示する情報機器に送信される制御情報を生成する制御情報生成手段と、
前記制御情報を当該物理的な客体又は当該客体イメージに送信する通信部と
を更に備えており、
前記制御情報生成手段は、当該対象の前記仮想空間内での奥行き方向の変位量に応じた変位量だけ、当該対象の前記仮想空間内での奥行き方向の速度に応じた速度で、当該物理的な客体又は当該客体イメージにおける当該対象に対応した部分を変位させる制御情報を生成することを特徴とする請求項３から６のいずれか１項に記載のユーザインタフェース装置。
【請求項９】
画面の奥行き方向を含む仮想空間を表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルと、当該指により該タッチパネルに与えられる押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置に搭載されたプログラムであって、
当該指の接触位置に応じて、前記仮想空間内に表示された又は前記仮想空間内に存在すると想定された操作すべき対象を決定する対象決定手段と、
決定された前記対象の奥行き方向での変位量を、前記押圧力の大きさに応じて決定する動作決定手段と、
決定された前記対象を、決定された前記変位量だけ奥行き方向に変位させる動作制御手段と
してコンピュータを機能させることを特徴とするユーザインタフェース装置用のプログラム。
【請求項１０】
画面の奥行き方向を含む仮想空間を表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルと、当該指により該タッチパネルに与えられる押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置における、仮想空間内の対象を操作する方法であって、
当該指の接触位置に応じて、前記仮想空間内に表示された又は前記仮想空間内に存在すると想定された操作すべき対象を決定する第１のステップと、
決定された前記対象の奥行き方向での変位量を、前記押圧力の大きさに応じて決定する第２のステップと、
決定された前記対象を、決定された前記変位量だけ奥行き方向に変位させる第３のステップと
を有することを特徴とする仮想空間内の対象を操作する方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−５８１３６（Ｐ２０１３−５８１３６Ａ）
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願番号】特願２０１１−１９７０１６（Ｐ２０１１−１９７０１６）
【出願日】平成２３年９月９日（２０１１．９．９）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【復代理人】
【識別番号】１００１４１３１３
【弁理士】
【氏名又は名称】辰巳 富彦
【Ｆターム（参考）】
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願日】平成２３年９月９日（２０１１．９．９）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【復代理人】
【識別番号】１００１４１３１３
【弁理士】
【氏名又は名称】辰巳 富彦
【Ｆターム（参考）】
[ Back to top ]