ポインタを用いた指による操作が可能なユーザインタフェース装置、動作発動方法及びプログラム
【課題】タッチパネルに対する指での操作によっても、指の届き難い箇所又は細部において所望の位置を指定することができるユーザインタフェース装置を提供する。
【解決手段】ユーザインタフェース装置は、指の各時点での接触位置に応じて、ポインタの先端の位置を逐次決定するポインタ位置決定手段と、各時点で先端が決定された位置となるようにポインタを表示させるポインタ表示手段と、指による押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と、押圧力判定手段が真の判定を行った際、ポインタの先端の位置に関連付けられた動作を発動させる動作制御手段とを有する。
【解決手段】ユーザインタフェース装置は、指の各時点での接触位置に応じて、ポインタの先端の位置を逐次決定するポインタ位置決定手段と、各時点で先端が決定された位置となるようにポインタを表示させるポインタ表示手段と、指による押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と、押圧力判定手段が真の判定を行った際、ポインタの先端の位置に関連付けられた動作を発動させる動作制御手段とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を表示するディスプレイと、ユーザインタフェースとしてのタッチパネルとを備えたユーザインタフェース装置に関する。
【背景技術】
【０００２】
従来、指で、又はスタイラス等のポインティングデバイスで、画面に触れることによって入力操作を行う、タッチパネルを搭載したユーザインタフェース装置が広く普及している。特に、スマートフォン、タブレット型コンピュータ、電子書籍、ＰＤＡ(Personal Digital Assistant)といったユーザインタフェース装置、いわゆる携帯型情報機器では、指等による操作を受け入れるユーザインタフェースとしてタッチパネルが積極的に採用されている。
【０００３】
このような携帯型情報機器では、一般に、指をタッチパネルに接触させて、アイコン、リンクといったオブジェクトを選択し、その機能を発動させることが可能である。さらに、指で、文字又は図形の手書き入力を行って、手書き文字データ又は描画データを作成できるものも多い。例えば、手書きメモを作成して撮影した写真データに説明を添えたり、地図等の画像に道順や目的地等を示す描画情報を付加したり、更には、手書き入力を要するアプリケーションを利用したりすることができる。この手書き入力機能については、種々の応用が可能なこともあり、従来、様々な工夫がなされてきた。
【０００４】
例えば、特許文献１では、指で軌跡を描画している中、２つの端点を結ぶ線分を簡単に描画することの可能な描画装置が開示されている。この装置では、２本の指を用いて、第１端点及び第２端点を決定し、これらの端点を結ぶ線分を示す描画データを生成している。
【０００５】
また、特許文献２では、タブレット部に対する入力ペンの描画操作に応じて描画情報を取り込む手書き入力表示装置が開示されている。この装置では、描画情報に関連付けられたユーザＩＤと、入力された消去対象範囲とに応じて、描画情報が消去されるか否かが決定される。この際、消去対象範囲は、入力ペンによって閉曲線を描画することにより画定される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−１００２５３号公報
【特許文献２】特表２０１０−２３９４６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述したような従来技術を用いても、携帯型情報機器において、ディスプレイ画面（上のタッチパネル）の端・隅付近に指を接触させて、又は細かな表示位置範囲を有するオブジェクトに指を接触させて、所望の操作を行うことは困難であった。さらに、文字、図形といった入力情報の細部にわたる入力を、指で行うことも困難であった。
【０００８】
実際、携帯型情報機器では、他の道具を用いず随時手軽に、指によって、オブジェクトの選択、手書き入力等の操作を行いたい場合が少なくない。また、例えば、手書き入力を、指を用いた他の操作の前後で行う状況も頻繁に発生する。従って、特許文献２に開示されたようなポインティングデバイスを用いず、直接指で操作を行うことが、多くの場合に求められる。
【０００９】
一方で、携帯型情報機器では、その携帯性故に、指での操作を行うタッチパネルの面積も限られている。その結果、表示されるリンク等のオブジェクトにおける表示位置範囲も、小さなサイズとなりがちである。従って、例えば、多数のリンクが密に並んでいる中から、指で所望の１つを選択するのは非常に困難となる。
【００１０】
さらに、タッチパネル面積の制限故に、例えば、手書き入力の場合、できる限り小さなサイズの文字又は図形を入力することによって、所望の情報量を確保したい場合も多い。しかしながら、例えば特許文献１に記載されたような指による軌跡の入力では、指の接触地点、すなわち描かれる軌跡の最先端位置が、この指に隠れて視認できない。その結果、小さなサイズの文字又は図形の細部を、指によって正確に、意図した通りに入力することが困難となってしまう。
【００１１】
以上に述べた問題は、指をタッチパネルに接触させて、オブジェクトの選択・発動や手書き入力等のための操作を行う携帯型情報機器のすべてに当てはまるものである。そこで、本発明は、タッチパネルに対する指での操作によっても、指の届き難い箇所又は細部において所望の位置を指定することができるユーザインタフェース装置、動作発動方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明によれば、自身の先端によって入力位置を指し示すポインタを表示するディスプレイと、該ディスプレイの画面上に配置され、指の各時点での接触位置を逐次出力するタッチパネルと、当該指により該タッチパネルに与えられた押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置であって、
当該指の各時点での接触位置に応じて、ポインタの先端の位置を逐次決定するポインタ位置決定手段と、
各時点で先端が決定された位置となるようにポインタを表示させるポインタ表示手段と、
押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と、
押圧力判定手段が真の判定を行った際、ポインタの先端の位置に関連付けられた動作を発動させる動作制御手段と
を有するユーザインタフェース装置が提供される。
【００１３】
この本発明のユーザインタフェース装置によれば、押圧力判定手段が真の判定を行った際、動作制御手段は、ポインタの先端の位置を自身の表示位置範囲内に含むオブジェクトに関連付けられた動作を発動させることも好ましい。
【００１４】
また、本発明のユーザインタフェース装置によれば、当該指の接触位置がポインタの表示位置範囲と重畳したか否かを判定する接触位置判定手段を更に有しており、
ポインタ位置決定手段は、接触位置判定手段が真の判定を行った際、当該指の各時点での接触位置に応じて、ポインタの先端の位置を逐次決定し、
動作制御手段は、先端の位置の軌跡であって、押圧力判定手段により真の判定がなされた区間となる軌跡に対応した、ポインタによる入力結果を表示させる
ことも好ましい。
【００１５】
また、ポインタによる入力結果が表示される上記の実施形態において、ユーザの操作から見て、当該指をポインタに接触させて該ポインタを保持した上で、当該指を該ポインタに押し込みながら移動させた際、動作制御手段は、当該指の移動に合わせて移動する先端の位置の軌跡に対応した、ポインタによる入力結果を表示させることも好ましい。
【００１６】
さらに、ポインタによる入力結果が表示される上記の実施形態において、ポインタ位置決定手段は、当該指の接触位置がポインタの表示位置範囲と重畳した当初の時点での当該指の接触位置を、同時点での先端の位置に変換する並進変換を算出し、その後の各時点で、当該指の接触位置を該並進変換によって変換した結果の位置を、ポインタの先端の位置とすることも好ましい。
【００１７】
また、ポインタによる入力結果が表示される上記の実施形態において、ポインタによる入力結果は、画面に表示された所定の対象が、ポインタの先端による作用を受けて変化した結果であることも好ましい。
【００１８】
さらに、ポインタによる入力結果が表示される上記の実施形態において、ポインタによる入力結果は、先端の位置の軌跡を含む筆跡イメージであることも好ましい。
【００１９】
また、ポインタによる入力結果が表示される上記の実施形態において、ポインタ表示手段は、当該指による所定の操作に応じて、ポインタとして、右利き用のポインタと左利き用のポインタとを表示し分けることも好ましい。
【００２０】
本発明によれば、さらに、自身の先端によって入力位置を指し示すポインタを表示するディスプレイと、該ディスプレイの画面上に配置され、指の各時点での接触位置を逐次出力するタッチパネルと、当該指により該タッチパネルに与えられた押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置に搭載されたプログラムであって、
当該指の各時点での接触位置に応じて、ポインタの先端の位置を逐次決定するポインタ位置決定手段と、
各時点で先端が決定された位置となるようにポインタを表示させるポインタ表示手段と、
押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と、
押圧力判定手段が真の判定を行った際、ポインタの先端の位置に関連付けられた動作を発動させる動作制御手段と
してコンピュータを機能させるユーザインタフェース装置用のプログラムが提供される。
【００２１】
本発明によれば、さらにまた、自身の先端によって入力位置を指し示すポインタを表示するディスプレイと、該ディスプレイの画面上に配置され、指の各時点での接触位置を逐次出力するタッチパネルと、当該指により該タッチパネルに与えられた押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置における動作発動方法であって、
当該指の各時点での接触位置に応じて、ポインタの先端の位置を逐次決定する第１のステップと、
各時点で先端が決定された位置となるようにポインタを表示させる第２のステップと、
押圧力が所定閾値以上であるか否かを判定する第３のステップと、
第３のステップで真の判定がなされた際、ポインタの先端の位置に関連付けられた動作を発動させる第４のステップと
を有する動作発動方法が提供される。
【発明の効果】
【００２２】
本発明のユーザインタフェース装置、動作発動方法及びプログラムによれば、タッチパネルに対する指での操作によっても、指の届き難い箇所又は細部において所望の位置を指定することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明によるポインタを用いた手書き入力を示す、携帯型情報機器の前面図、及び指による操作の概略図である。
【図２】指による押圧力ｐＣ値と、ポインタによる入力結果（筆跡イメージ）の表示との関係を説明するための携帯型情報機器の前面図及びグラフである。
【図３】指がポインタを保持した場合における指の接触位置とポインタの先端位置との関係を示す概略図と、指がポインタを持ち替える（保持し直す）場合を示す概略図と、右利き用及び左利き用のポインタをそれぞれ取り扱う場合を示す概略図とである。
【図４】本発明によるポインタを用いた動作発動（情報入力）の他の実施形態を示す、携帯型情報機器の前面図である。
【図５】本発明による携帯型情報機器の一実施形態を概略的に示す斜視図及び機能構成図である。
【図６】本発明による動作発動（情報入力）方法の一実施形態を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、本発明の実施形態について、図面を用いて詳細に説明する。
【００２５】
本発明によるユーザインタフェース装置では、ディスプレイの画面に表示されたポインタが接触した指によって保持され、この指の接触位置の移動に合わせて、入力位置となるポインタの先端が移動する。さらに、指によるポインタ（タッチパネル）に対する押圧力が所定閾値以上である場合に、ポインタの先端の位置が指定され、この先端の位置に関連付けられた動作が発動する点に特徴を有する。
【００２６】
また、本発明によるユーザインタフェース装置では、ユーザの指がタッチパネルに接触することによって情報が入力される。そのため、当該装置の多くは、手で携帯して操作可能である、スマートフォンやタブレット型コンピュータのような携帯型情報機器である。従って、以下、本発明の実施形態として、携帯型情報機器を説明する。
【００２７】
図１（Ａ）及び（Ｂ）は、本発明によるポインタを用いた指による操作を示す、携帯型情報機器１の前面図、及び指による操作の概略図である。
【００２８】
図１（Ａ）によれば、携帯型情報機器１は、ポインタ１０４を表示するディスプレイ１０１と、ディスプレイ１０１の画面上に配置されたタッチパネル１００とを備えている。ここで、ポインタ１０４は、自身の先端１０４ｅによって入力位置を指し示す、ユーザインタフェースのためのイメージである。また、携帯型情報機器１は、指によりタッチパネル１００に与えられた押圧力ｐＣを検出する押圧力検出部１０３（図５参照）も備えている。
【００２９】
ここで最初に、ポインタ１０４を用いて、多数のリンク（オブジェクト）１０９が密集して表示されている中から、指で所望の１つを選択する実施形態を説明する。尚、ポインタ１０４は、図１（Ａ）に示した形態に限定されるものではない。例えば、矢印状でもよく、指の接触位置１０５とは異なる位置を指し示すものであればよい。
【００３０】
図１（Ａ）によれば、ユーザは、指をポインタ１０４（タッチパネル１００）に接触させる。すなわち、指の接触位置１０５をポインタ１０４の表示位置範囲と重畳させる。これにより、指がポインタ１０４を保持する。ここで「保持」とは、指がタッチパネル１００に接触している限り、ポインタ１０４が指の移動に伴い指と一体となって移動する状態を指す。
【００３１】
次いで、ユーザは、指を接触させたまま移動（スライド）させ、指と共に移動するポインタ１０４の先端１０４ｅを、所望のリンク１０９の表示位置範囲内に置く。その後、指が、接触位置１０５（タッチパネル１００）を押圧力ｐＣで押し込む。
【００３２】
この押圧力ｐＣが所定の押圧力閾値ｐＴＨ以上である場合に、後述する動作制御部１２５（図５）が、先端１０４ｅの位置を自身の表示位置範囲内に含むリンク１０９に関連付けられた動作を発動させる。具体的には、リンク１０９のハイパーテキスト機能が発動し、所望のリンク先の文書又は画像等を閲覧することが可能となる。
【００３３】
以上、本実施形態によれば、指の接触位置１０５から離隔した先端１０４ｅをもって、画面上の位置を指定し、リンク１０９等のオブジェクトの機能を発動させる。その結果、ディスプレイ１０１の画面に表示された細部において、さらには画面の端・隅付近等の指の届き難い箇所においても、所望の位置を指定し、所望の機能を発動させることが容易となる。
【００３４】
尚、以上の実施形態では、ポインタ１０４は、指が接触する前から表示されている。これに対する変更態様として、ポインタ１０４は、指がディスプレイ１０１の画面（タッチパネル１００）に接触した際に表示されることも好ましい。この場合、指の接触位置１０５から所定の並進ベクトル分だけ変位した位置が、表示されるポインタ１０４における先端１０４ｅの位置となる。また、上記の押圧力閾値ｐＴＨは、例えば、０.５Ｎ（ニュートン）乃至２.０Ｎの範囲内の値に設定可能である。
【００３５】
次いで、ポインタ１０４を用いて、手書き入力を指で行う実施形態を説明する。図１（Ｂ）は、この手書き入力の様子を示している。尚、図１（Ｂ）において、ポインタ１０４は筆記具のイメージであり、先端１０４ｅがペン（筆）先となっている。また、ディスプレイ１０１の画面全体を、メモ用紙イメージが占めている。このメモ用紙イメージは、ポインタ１０４の先端（ペン先）１０４ｅによる作用を受けて変化する（文字等が描かれる）対象であるが、画面の一部をなす所定の領域を占めるものであってもよい。
【００３６】
図１（Ｂ）によれば、最初に、ユーザは、指をポインタ１０４（タッチパネル１００）に接触させる。すなわち、指の接触位置１０５をポインタ１０４の表示位置範囲と重畳させる。これにより、指がポインタ１０４を保持する。
【００３７】
この保持の際、ユーザは、先端１０４ｅが指で隠れることなく視認できるような位置、例えばポインタ１０４の中程の位置、に指を接触させる。次いで、ユーザは、指を接触させたまま移動（スライド）させ、指と共に移動するポインタ１０４の先端１０４ｅを、文字の書き始めの所望の位置に置く。
【００３８】
次いで、ユーザは、指をポインタ１０４（タッチパネル１００）に押し込みながら移動（スライド）させる。これに伴って、ポインタ１０４（ポインタ１０４の先端１０４ｅ）も移動する。その結果、先端１０４ｅの位置が、指が押し込まれた区間として、ある軌跡をなす。この際、この（指が押し込まれた区間である）軌跡を含む筆跡イメージ１０６が、画面に表示される。この筆跡イメージ１０６は、ポインタ１０４による入力結果となる。
【００３９】
この際、指の接触位置１０５と、筆跡イメージ１０６を発生させている先端１０４ｅとは、所定の距離だけ離隔している。従って、ユーザは、先端１０４ｅを、指に遮られることなく常に視認することができる。
【００４０】
さらに、筆跡イメージ１０６は、一度表示されると所定のコマンドが発生しない限り画面に残存し、ポインタ１０４の先端１０４ｅが移動すると共に、この先端１０４ｅを追うように伸長することも好ましい。これにより、ユーザは、意図した文字、図形等の情報を、画面（メモ用紙イメージ）に書き残すことができる。ユーザは、意図した情報を書き記した後、指をタッチパネル１００から離すか、指を接触させながらも押し込みを止める。これにより、手書き動作が終了する。
【００４１】
尚、上記の手書き入力によって形成された筆跡イメージ１０６は、手書き文字データとして、携帯型情報機器１内のメモリに保存されることができる。
【００４２】
以上に述べたように、指がポインタ１０４を保持して手書き動作が発動する条件は、
ａ）指の接触位置１０５がポインタ１０４の表示位置範囲と重畳し、その後、指がタッチパネル１００に接触し続け、
ｂ）指による押し込みの際の、タッチパネル１００に対する押圧力ｐＣが、所定の押圧力閾値をｐＴＨとして、次式
（１） ｐＣ≧ｐＴＨ
を満たすことである。尚、押圧力閾値ｐＴＨは、例えば、０.５Ｎ乃至２.０Ｎの範囲内の値に設定可能である。
【００４３】
上記の条件ｂ）を設けることによって、ユーザの指等が意図せずにタッチパネル１００に触れて意図しない書き込みが生じてしまう、といった誤動作を回避することが可能となる。すなわち、ユーザの意図する通りの手書き動作を発動させることが容易となる。さらに、指による押し込み（条件ｂ））を止めさえすれば、指を接触させたままでも、手書き動作を発動させずに、ポインタ１０４を次の手書き開始位置まで移動させることが可能となる。
【００４４】
さらに、後述する触覚応答機構部１０２（図５）が、指に、手書き動作が発動している間、触覚応答を与えることも好ましい。ここで、手書き動作が発動している間とは、上述した条件ａ）及びｂ）が満たされている間であり、筆跡イメージ１０６が新たに伸長しつつ表示されている間である。これにより、ユーザは、実際に筆記具で紙等の媒体に筆記又は描画している感覚を指から体感でき、リアルな操作感を得ることができる。
【００４５】
また、指による押圧力ｐＣの閾値ｐＴＨを、ユーザが適宜設定し、調整できることも好ましい。これにより、ユーザは、手書き動作を発動させずに指を接触させたまま移動させる操作と、手書きを行う操作とを自らの感覚、好みに合わせて、確実に実行し分けることができる。この際、閾値ｐＴＨを変化させるための、押圧力閾値調整用のスライドスイッチイメージ１０７が表示され、使用されてもよい。
【００４６】
以上に述べたように、本実施形態によれば、ポインタ１０４に指を接触させることによりこのポインタ１０４が保持され、指の接触位置１０５の移動に合わせて、ポインタの先端１０４ｅが移動する。ここで、接触位置１０５と先端１０４ｅとは互いに一定の位置関係をもって離隔しながら並進する。これにより、ユーザは、この入力位置となる先端１０４ｅを、指に遮られることなく常に視認することができる。その結果、例え小さなサイズの文字又は図形であっても、入力情報を細部にわたって意図通りに入力することができる。
【００４７】
また、水彩画イメージ等をポインタ１０４によって生成できるお絵かき動作においても、入力位置となる先端１０４ｅを、指に遮られることなく常に視認することができる。その結果、より細かいペン（筆）操作を行うことができ、所望の入力結果（水彩画イメージ等）を得ることが容易となる。
【００４８】
さらに、接触位置１０５と先端１０４ｅとは互いに一定の位置関係をもって離隔している。従って、例えば画面の端辺付近又は隅付近等、指先が届き難い領域にも、ポインタ１０４の先端１０４ｅを及ぼすことができる。その結果、画面の概ね全ての領域に、筆記又は描画等、所望の入力結果を表示させることが可能となる。
【００４９】
図２（Ａ）及び（Ｂ）は、指による押圧力ｐＣ値と、ポインタによる入力結果（筆跡イメージ１０６）の表示との関係を説明するための携帯型情報機器１の前面図及びグラフである。
【００５０】
図２（Ａ）によれば、ディスプレイ１０１の画面内に、点２ａから始まり、点２ｂ、点２ｃ、点２ｄ、点２ｅ、点２ｆ、点２ｇを順次介して、点２ｈに至る、ポインタ１０４の先端１０４ｅの位置の道程（軌跡）の実施例が示されている。この道程のうち、点２ｂから点２ｃまでの軌跡が、ひらがなの「の」を表す筆跡イメージ１０６として画面に表示されている。
【００５１】
また、点２ｅから点２ｆまでの軌跡と、点２ｇから点２ｈまでの軌跡とが、ひらがなの「り」を表す筆跡イメージ１０６として画面に表示されている。尚、この実施例では、ポインタ１０４の先端１０４ｅが点２ｄに達した時点で、ユーザは、ポインタ１０４を保持し直している（持ち替えている）。
【００５２】
この先端１０４ｅの位置の道程（軌跡）における、指によるタッチパネル１００に対する押圧力ｐＣの大きさの変遷を、図２（Ｂ）に示す。図２（Ｂ）によれば、指による押圧力ｐＣは、先端１０４ｅの位置が点２ａから点２ｂに向かって進行するにつれて大きくなり、点２ｂで所定の押圧力閾値ｐＴＨに達する。
【００５３】
その後、押圧力ｐＣは、先端１０４ｅの位置が点２ｂから点２ｃに至るまでの間、上述した式（１）ｐＣ≧ｐＴＨの条件を満たす。これに応じて、点２ｂから先端１０４ｅの位置までの軌跡を含む筆跡イメージ１０６が、先端１０４ｅの移動と共に伸長しつつ描かれていく。次いで、先端１０４ｅの位置が点２ｃに達した段階で、ひらがなの「の」を表す筆跡イメージ１０６の描写が完了する。
【００５４】
その後、押圧力ｐＣは、ポインタ１０４の先端１０４ｅの位置が点２ｃから離れるにつれて低下し、先端１０４ｅの位置が点２ｄに達した段階でゼロとなる。これは、ユーザがポインタ１０４を持ち替える（保持し直す）際に、指をポインタ１０４（タッチパネル１００）から離隔させたことによる。この持ち替えの後、押圧力ｐＣは、先端１０４ｅの位置が点２ｅに向かうにつれて大きくなり、点２ｅで所定の押圧力閾値ｐＴＨに達する。
【００５５】
その後、押圧力ｐＣは、先端１０４ｅの位置が点２ｅから点２ｆに至るまでの間、上述した式（１）ｐＣ≧ｐＴＨの条件を満たす。これに応じて、点２ｅから先端１０４ｅの位置までの軌跡を含む筆跡イメージ１０６が、先端１０４ｅの移動と共に伸長しつつ描かれていく。次いで、先端１０４ｅの位置が点２ｆに達した段階で、ひらがなの「り」の左部分を表す筆跡イメージ１０６が描写される。
【００５６】
さらに、押圧力ｐＣは、先端１０４ｅの位置がさらに進行して点２ｇから点２ｈに至るまでの間、上述した式（１）ｐＣ≧ｐＴＨの条件を満たす。これに応じて、点２ｇから先端１０４ｅの位置までの軌跡を含む筆跡イメージ１０６が、先端１０４ｅの移動と共に伸長しつつ描かれていく。次いで、先端１０４ｅの位置が点２ｈに達した段階で、ひらがなの「り」の右部分を表す筆跡イメージ１０６が描写され、ひらがなの「り」の描写が完了する。
【００５７】
以上に述べたように、本発明によれば、先端１０４ｅの位置の軌跡であって、指による押圧力ｐＣが所定閾値ｐＴＨ以上である区間となる軌跡（点２ｂ−点２ｃ、点２ｅ−点２ｆ、点２ｇ−点２ｈ）に対応した入力結果（筆跡イメージ１０６）が表示される。その結果、誤動作が発生し難くなり、ユーザの意図する通りの手書き動作が発動可能となる。また、指をタッチパネル１００に接触させたままで、手書き動作を発動させたり、させなかったりといった選択が可能となる。すなわち、画面に垂直方向での指の動きをほとんど抑えた操作で、画面を指でなぞりながら、手書き動作が可能となる。
【００５８】
図３（Ａ）は、指がポインタ１０４を保持した場合における、指の接触位置１０５と先端１０４ｅ位置との関係を示す概略図である。また、図３（Ｂ）は、指がポインタ１０４を持ち替える（保持し直す）場合を示す概略図である。さらに、図３（Ｃ）は、右利き用及び左利き用のポインタ１０４をそれぞれ取り扱う場合を示す概略図である。
【００５９】
図３（Ａ）に示すように、指の接触位置１０５が、最初に、ポインタ１０４の表示位置範囲と重畳する。ここで、この表示位置範囲は、図３（Ａ）において、ポインタ１０４のイメージを規定する外郭線内の領域となる。指は、ポインタ１０４の先端１０４ｅがこの指で隠れて見えなくなることのないように、先端１０４ｅから離隔した位置に接触させられる。
【００６０】
ここで、画面にｘｙ直交座標系を設け、指の接触位置１０５の座標を（ｘＣ０，ｙＣ０）とし、ポインタ１０４の先端１０４ｅの位置の座標を（ｘＰ０，ｙＰ０）とする。すると、座標（ｘＣ０，ｙＣ０）から座標（ｘＰ０，ｙＰ０）への並進移動の座標変換（並進変換）ｆＴを決定することができる。具体的には、
（１） Δｘ＝ｘＰ０−ｘＣ０
（２） Δｙ＝ｙＰ０−ｙＣ０
として、並進変換ｆＴは、
（３） ｆＴ：（ｘ，ｙ）→（ｘ＋Δｘ，ｙ＋Δｙ）
と算出される。
【００６１】
次いで、ユーザが、指を接触させながら移動させ、その結果、接触位置１０５の座標が、（ｘＣ１，ｙＣ１）にまで変化する。この際のポインタ１０４の先端１０４ｅの位置は、（ｘＣ１，ｙＣ１）を並進変換ｆＴによって並進移動させることによって決定される。具体的には、この際の先端１０４ｅの位置の座標（ｘＰ１，ｙＰ１）は、次式
（４） ｘＰ１＝ｘＣ１＋Δｘ
（５） ｙＰ１＝ｙＣ１＋Δｙ
によって算出される。
【００６２】
指の接触位置１０５が座標（ｘＣ１，ｙＣ１）の位置まで移動した際の、ポインタ１０４の先端１０４ｅは、上記の算出された座標（ｘＰ１，ｙＰ１）の位置にまで移動させられる。これにより、ユーザは、指によってポインタ１０４を保持した感覚を得ながら、ポインタ１０４の先端１０４ｅを意図通りに移動させることができる。
【００６３】
次に、ユーザがポインタ１０４を持ち替える（保持し直す）場合での、ポインタ１０４の先端１０４ｅの位置を決定する方法を説明する。
【００６４】
図３（Ｂ）によれば、最初に、指が、接触位置１０５でポインタ１０４に接触する。ユーザはその後、ポインタ１０４を持ち替えるため、指をポインタ１０４（タッチパネル１００）から離隔させ、再びポインタ１０４に接触させる。この際の指の接触位置１０５′は、接触位置１０５とは異なる点となっている。
【００６５】
指が最初に接触位置１０５でポインタ１０４に接触した際、すなわち保持した際、ポインタ１０４の先端１０４ｅの位置は、上述したように、式（３）で表される並進変換ｆＴ：（ｘ，ｙ）→（ｘ＋Δｘ，ｙ＋Δｙ）で求められる。この並進変換ｆＴは、指が離隔せず接触している間、記憶されて、先端１０４ｅの位置の算出に用いられる。
【００６６】
次いで、指が持ち替えのためにポインタ１０４（タッチパネル１００）から離隔すると、記憶されていた並進変換ｆＴは、消去（リセット）される。その後、指が再び接触位置１０５′で接触すると、新たな並進変換ｆＴ′が改めて決定される。この並進変換ｆＴ′は、接触位置１０５′の座標を（ｘＣ０′，ｙＣ０′）とし、ポインタ１０４の先端１０４ｅの位置の座標を（ｘＰ０，ｙＰ０）とすると、
（６） Δｘ′＝ｘＰ０−ｘＣ０′
（７） Δｙ′＝ｙＰ０−ｙＣ０′
として、
（８） ｆＴ′：（ｘ，ｙ）→（ｘ＋Δｘ′，ｙ＋Δｙ′）
と算出される。
【００６７】
その後、ユーザが、指を接触させながら移動させた場合の、ポインタ１０４の先端１０４ｅの位置は、この並進変換ｆＴ′を用いて決定される。このように、ユーザは、ポインタ１０４を持ち替えることができ、その結果、随時、指の接触位置１０５とポインタ１０４の先端１０４ｅ位置との関係を、操作しやすいように調整することができる。
【００６８】
次に、ユーザが、右利き用及び左利き用のポインタ１０４をそれぞれ取り扱うことが可能な実施形態を説明する。
【００６９】
図３（Ｃ）に示した実施形態によれば、画面に、ポインタを切り替えるための切り替えスイッチイメージ１０８が表示されている。ユーザが、指で切り替えスイッチイメージ１０８の「Ｒ」部を、所定の閾値ｐＴＨ以上の押圧力ｐＣで押し込むと、右利き用のポインタ１０４が所定の位置に表示される。この右利き用のポインタ１０４は、画面を正面から見た場合にペン（筆）先（先端１０４ｅ）が左下を向く形で、斜めに伸長している。このため、ユーザの右手の指で筆記・描画を行うのに適した仕様となっている。ユーザは、好ましくは右手の指を、表示されたポインタ１０４に接触させることによって、ポインタ１０４を保持することができる。
【００７０】
一方、ユーザが、指で切り替えスイッチイメージ１０８の「Ｌ」部を、所定の閾値ｐＴＨ以上の押圧力ｐＣで押し込むと、左利き用のポインタ１０４′が所定の位置に表示される。この左利き用のポインタ１０４′は、画面を正面から見た場合にペン（筆）先（先端１０４ｅ′）が右下を向く形で、斜めに伸長している。このため、ユーザの左手の指で筆記・描画を行うのに適した仕様となっている。ユーザは、好ましくは左手の指を、表示されたポインタ１０４′に接触させることによって、ポインタ１０４′を保持することができる。
【００７１】
尚、既に右利き用（左利き用）のポインタ１０４（１０４′）が表示されている状況において、切り替えスイッチイメージ１０８の「Ｌ」部（「Ｒ」部）を押し込んだ場合、ポインタ１０４（１０４′）が、自身のペン（筆）先（先端１０４ｅ′）の向きを左下（右下）に変えて、ポインタ１０４′（１０４）に変換されることも好ましい。
【００７２】
また、以上に述べたような切り替えスイッチイメージ１０８を用いずに、指による所定の操作でポインタの切り替えを行うことも可能である。例えば、右利き用（左利き用）のポインタ１０４（１０４′）を、指で、所定時間内に所定閾値ｐＴＨ以上の押圧力ｐＣで２度押し込むことにより、左利き用（右利き用）のポインタ１０４′（１０４）に変換させるように設定されていてもよい。
【００７３】
図４（Ａ）及び（Ｂ）は、本発明によるポインタを用いた情報入力（動作発動）の他の実施形態を示す、携帯型情報機器１の前面図である。
【００７４】
図４（Ａ）によれば、携帯型情報機器１は、ポインタ２０４を表示するディスプレイ１０１と、ディスプレイ１０１の画面上に配置されたタッチパネル１００とを備えている。本実施形態では、ポインタ２０４は手術用のメスのイメージであり、先端２０４ｅが刃先となっている。また、ディスプレイ１０１の画面には、患者の左腕イメージ２０６が表示されている。この左腕イメージ２０６は、ポインタ２０４の先端（刃先）２０４ｅによる作用を受けて変化する（切開される）対象である。
【００７５】
最初に、ユーザは、指の接触位置２０５をポインタ（メスイメージ）２０４の表示位置範囲と重畳させる。これにより、指がポインタ２０４を保持する。次いで、ユーザは、指を接触させたまま移動させ、指と共に移動するポインタ２０４の先端（刃先）２０４ｅを、所望の切開開始位置に置く。
【００７６】
次いで、ユーザは、指を、ポインタ２０４（タッチパネル１００）に所定閾値ｐＴＨ以上の押圧力ｐＣで押し込みながら移動させる。これに伴って、ポインタ２０４の先端２０４ｅも移動する。これにより、この先端２０４ｅの位置は、指が押し込まれた（ｐＣ≧ｐＴＨである）区間となる軌跡をなす。この際、この軌跡を含む切開イメージ２０７が、画面に表示される。
【００７７】
ここで、指の接触位置２０５と、切開イメージ２０７を発生させている先端（刃先）２０４ｅとは、所定の距離だけ離隔している。従って、ユーザは、先端（刃先）２０４ｅを、指に遮られることなく常に視認することができる。
【００７８】
本実施形態では、ユーザの操作から見て、指を、ポインタ２０４に押し込みながら移動させることによって、切開イメージ２０７が表示される。すなわち、ある程度の力を対象に加えて初めて切開が可能となる。これにより、ユーザは、対象イメージに対して、リアルな操作感を得ながら作用を及ぼすことができる。
【００７９】
図４（Ｂ）によれば、携帯型情報機器１は、ポインタ３０４を表示するディスプレイ１０１と、ディスプレイ１０１の画面上に配置されたタッチパネル１００とを備えている。本実施形態では、ポインタ３０４は化石発掘用のスコップのイメージであり、先端３０４ｅが刃先となっている。また、ディスプレイ１０１の画面には、発掘現場の地層イメージ３０６が表示されている。この地層イメージ３０６は、ポインタ３０４の先端（刃先）２０４ｅによる作用を受けて変化する（掘削される）対象である。
【００８０】
最初に、ユーザは、指の接触位置３０５をポインタ（スコップイメージ）３０４の表示位置範囲と重畳させる。これにより、指がポインタ３０４を保持する。次いで、ユーザは、指を接触させたまま移動させ、指と共に移動するポインタ３０４の先端（刃先）３０４ｅを、所望の掘削開始位置に置く。
【００８１】
次いで、ユーザは、指を、ポインタ３０４（タッチパネル１００）に所定閾値ｐＴＨ以上の押圧力ｐＣで押し込みながら移動させる。これに伴って、ポインタ３０４の先端３０４ｅも移動する。これにより、この先端３０４ｅの位置は、指が押し込まれた（ｐＣ≧ｐＴＨである）区間となる軌跡をなす。この際、この軌跡を含む掘削跡イメージ３０７が、画面に表示される。尚、掘削跡イメージ３０７は、その位置によっては、地層イメージ３０６の内部に前もって埋もれていた化石イメージの一部が露出した部分を含んでいてもよい。
【００８２】
ここで、指の接触位置３０５と、掘削跡イメージ３０７を発生させている先端（刃先）３０４ｅとは、所定の距離だけ離隔している。従って、ユーザは、先端（刃先）３０４ｅを、指に遮られることなく常に視認することができる。
【００８３】
以上に述べたように、本実施形態では、ユーザの操作から見て、指を、ポインタ３０４に押し込みながら移動させることによって、掘削跡イメージ３０７が表示される。すなわち、ある程度の力を対象に加えて初めて掘削が可能となる。これにより、ユーザは、対象イメージに対して、リアルな操作感を得ながら作用を及ぼすことができる。
【００８４】
図５は、本発明による携帯型情報機器１の一実施形態を概略的に示す斜視図及び機能構成図である。
【００８５】
図５によれば、携帯型情報機器１は、タッチパネル１００と、ディスプレイ１０１と、触覚応答機構部１０２と、押圧力検出部１０３と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、プログラムを実行することによってその機能を実現させる。
【００８６】
ディスプレイ１０１は、画面にポインタ１０４（、２０４、３０４）を表示する。また、タッチパネル１００は、ディスプレイ１０１の画面上に配置されており、ユーザの指の接触位置１０５を時間経過に応じて逐次出力する。このタッチパネル１００としては、投影型静電容量方式タッチパネル、表面型静電容量方式タッチパネル、抵抗膜方式タッチパネル、超音波表面弾性波方式タッチパネル、又は赤外線走査方式タッチパネル等を採用することができる。
【００８７】
触覚応答機構部１０２は、タッチパネル１００に接触した指に対して、タッチパネル１００を振動させることにより触覚応答を与える。例えば、ユーザが指を所定閾値ｐＴＨ以上の押圧力ｐＣで押し込んで、ポインタによる入力結果（筆跡イメージ１０６等）が新たに伸長しつつ表示される際に、所定の強度の振動が指に与えられる。触覚応答機構部１０２は、例えば、ＰＺＴ（チタン酸ジルコン酸鉛）等の圧電材料を用いて形成された圧電アクチュエータとすることができる。
【００８８】
押圧力検出部１０３は、指によってタッチパネル１００に与えられる押圧力ｐＣを検出する。押圧力検出部１０３は、例えば、タッチパネル１００の四隅下に設置されており、指を押し付けられて撓んだタッチパネル１００が自身に及ぼす押圧の合計を、押圧力ｐＣとして検出する。押圧力検出部１０３は、例えば、ＰＺＴ等の圧電材料を用いて形成された圧電センサとすることができる。また、圧電アクチュエータで構成された触覚応答機構部１０２を設ける代わりに又は設けると共に、この押圧力検出部１０３を触覚応答機構部として利用することも可能である。
【００８９】
プロセッサ・メモリは、タッチパネル１００から出力される指の接触位置信号と、押圧力検出部１０３から出力される押圧力信号とを入力し、これらの信号に基づいてユーザの指によるポインタ１０４（、２０４、３０４）に対する操作を認知する。次いで、この操作の内容に合わせて、ポインタによる入力結果（筆跡イメージ１０６、切開イメージ２０７、掘削跡イメージ３０７）を表示させる。
【００９０】
同じく図５によれば、このプロセッサ・メモリは、接触位置判定部１２１と、ポインタ位置決定部１２２と、ポインタ表示部１２３と、押圧力判定部１２４と、動作制御部１２５と、触覚応答制御部１２６と、表示制御部１１１と、アプリケーション処理部１１２とを有している。
【００９１】
接触位置判定部１２１は、タッチパネル１００から出力される指の接触位置信号を入力し、指の接触位置１０５がポインタ１０４の表示位置範囲と重畳したか否かを判定する。また、この判定結果を、ポインタ位置決定部１２２に出力する。さらに、指のタッチパネル１００に対する接触の有無に関する情報も、ポインタ位置決定部１２２に逐次出力する。
【００９２】
ポインタ位置決定部１２２は、接触位置判定部１２１から真の判定、すなわち指の接触位置１０５がポインタ１０４の表示位置範囲と重畳したとの判定を入力した際、その後の指の各時点での接触位置１０５に応じて、ポインタ１０４の先端１０４ｅの位置を逐次決定する。
【００９３】
この際、ポインタ位置決定部１２２は、重畳した当初の時点での接触位置１０５の座標（ｘＣ０，ｙＣ０）を同時点でのポインタ１０４の先端１０４ｅの位置の座標（ｘＰ０，ｙＰ０）に変換する並進変換ｆＴを決定する。次いで、その後の各時点で、指の接触位置１０５をこの並進変換ｆＴによって変換した結果の位置を、先端１０４ｅの位置とする。また、ポインタ位置決定部１２２は、決定した先端１０４ｅの位置情報をポインタ表示部１２３及び動作制御部１２５に逐次出力する。
【００９４】
一方で、ポインタ位置決定部１２２は、接触位置判定部１２１から指の接触位置が存在しない、すなわち指がタッチパネル１００に接触していないとの情報を入力した際、その時点で、先端１０４ｅの位置の決定を停止する。この場合、先端１０４ｅの位置は、この決定停止直前の位置を維持する。
【００９５】
ポインタ表示部１２３は、ポインタ位置決定部１２２から、先端１０４ｅの位置情報を入力する。さらに、この入力した位置情報を用い、各時点で先端１０４ｅが決定された位置となるようにポインタ１０４を表示させることを、表示制御部１１１に指示する。
【００９６】
押圧力判定部１２４は、押圧力検出部１０３から出力される押圧力信号を入力し、指による押圧力ｐＣが所定の押圧力閾値ｐＴＨ以上であるか否かを判定する。また、この判定結果を、動作制御部１２５に出力する。
【００９７】
動作制御部１２５は、ポインタ位置決定部１２２から先端１０４ｅの位置情報を入力し、さらに押圧力判定部１２４から判定結果を入力する。動作制御部１２５は、次いで、これらの入力された位置情報及び判定結果に基づき、ポインタ１０４の先端１０４ｅの位置の軌跡であって、押圧力判定部１２４により真の判定（ｐＣ≧ｐＴＨ）がなされた区間となる軌跡を決定する。
【００９８】
動作制御部１２５は、さらに、この決定された軌跡に対応した、ポインタ１０４による入力結果（筆跡イメージ１０６等）を表示するように、表示制御部１１１に指示する。この際、動作制御部１２５は、この指示と同時に、触覚応答制御部１２６に対して、触覚応答を発動させるように指示を行うことも好ましい。尚、上記のポインタ１０４による入力結果は、動作制御部１２５によって決定されてもよく、または表示制御部１１１によって、決定された軌跡に基づきアプリケーション処理部１１２からの情報を受けて決定されてもよい。触覚応答制御部１２６は、動作制御部１２５から入力した、触覚応答発動の指示に基づき、触覚応答（例えば振動）を指に対して与えるべく触覚応答機構部１０２を制御する。
【００９９】
表示制御部１１１は、アプリケーション処理部１１２からアプリケーション処理情報を入力して、アプリケーションの実行に応じた画像をディスプレイ１０１に表示させる。また、表示制御部１１１は、ポインタ表示部１２３から、ポインタ１０４を表示させる指示情報を入力し、各時点で先端１０４ｅが決定された位置となるように、ポインタ１０４をディスプレイ１０１に表示させる。さらに、表示制御部１１１は、動作制御部１２５から、ポインタ１０４による入力結果（筆跡イメージ１０６等）を表示させる指示情報を入力し、先端１０４ｅの軌跡に対応したポインタ１０４による入力結果をディスプレイ１０１に表示させる。
【０１００】
図６は、本発明による動作発動（情報入力）方法の一実施形態を示すフローチャートである。
【０１０１】
図６によれば、最初に、ディスプレイ１０１にポインタ１０４（、２０４、３０４）が表示される（ステップＳ６０１）。次いで、タッチパネル１００によって、指の接触が検知される（ステップＳ６０２）。次いで、接触位置判定部１２１によって、指の接触位置１０５がポインタ１０４の表示位置範囲と重畳したか否かの判定がなされる（ステップＳ６０３）。
【０１０２】
ステップ６０３で指の接触位置１０５がポインタ１０４の表示位置範囲と重畳したと判定された際、ポインタ位置決定部１２２によって、並進変換ｆＴが決定される（ステップＳ６０４）。並進変換ｆＴは、重畳した当初の時点での接触位置１０５の座標（ｘＣ０，ｙＣ０）を同時点でのポインタ１０４の先端１０４ｅ位置の座標（ｘＰ０，ｙＰ０）に変換するものである。一方、ポインタ１０４の表示位置範囲と重畳していないと判定された際、ステップＳ６０２に戻って、指の接触の検知が行われる。
【０１０３】
並進変換ｆＴの決定（ステップＳ６０４）の後、ポインタ１０４による入力結果を表示するためのループに入り（ステップＳ６０５）、接触位置判定部１２１によって、指の接触位置１０５が測定される（ステップＳ６０６）。次いで、ポインタ位置決定部１２２により、指の接触位置１０５に応じて、ポインタ１０４の先端１０４ｅの位置が決定される（ステップＳ６０７）。具体的には、指の接触位置１０５を、決定された並進変換ｆＴによって変換した結果の位置が、先端１０４ｅの位置とされる。
【０１０４】
次いで、ポインタ表示部１２３によって、先端１０４ｅがステップＳ６０７で決定された位置となるように、ポインタ１０４が表示される（ステップＳ６０８）。次いで、押圧力検出部１０３が、指による押圧力ｐＣを測定する（ステップＳ６０９）。
【０１０５】
次いで、押圧力判定部１２２によって、押圧力ｐＣが所定の押圧力閾値ｐＴＨ以上であるか否かが判定される（ステップＳ６１０）。所定の押圧力閾値ｐＴＨ以上であると判定された場合、動作制御部１２５によって、先端１０４ｅの位置の軌跡であってｐＣ≧ｐＴＨである区間の軌跡に対応した、ポインタ１０４による入力結果（筆跡イメージ１０６等）が表示される（ステップＳ６１１）。その後、接触位置判定部１２１によって、指の接触の有無が測定される（ステップＳ６１２）。一方、ステップＳ６１０で所定の押圧力閾値ｐＴＨ未満であると判定された場合、ステップＳ６１１を経ずに、ステップＳ６１２に移行する。
【０１０６】
次いで、接触位置判定部１２１によって、指が接触しているか否かが判定される（ステップ６１３）。ここで、指が接触していると判定された場合、以上に述べたステップＳ６０５乃至ステップＳ６１３からなる入力結果表示（動作制御）ループが繰り返される。一方、指が接触していない（指の接触位置が存在しない）と判定された場合、本情報入力方法は終了する。尚、図３（Ｂ）に示したように、ユーザの指がポインタ１０４を持ち替えた場合、以上に述べたフローが一旦終了して、再度開始され、ステップＳ６０４で、並進変換ｆＴが更新される。
【０１０７】
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【０１０８】
１ 携帯型情報機器（ユーザインタフェース装置）
１００ タッチパネル
１０１ ディスプレイ
１０２ 触覚応答機構部
１０３ 押圧力検出部
１０４、１０４′、２０４、３０４ ポインタ
１０４ｅ、１０４ｅ′、２０４ｅ、３０４ｅ ポインタの先端
１０５、２０５、３０５ 指の接触位置
１０６ 筆跡イメージ（ポインタによる入力結果）
１０７ スライドスイッチイメージ
１０８ 切り替えスイッチイメージ
１０９ リンク（オブジェクト）
１１１ 表示制御部
１１２ アプリケーション処理部
１２１ 接触位置判定部
１２２ ポインタ位置決定部
１２３ ポインタ表示部
１２４ 押圧力判定部
１２５ 動作制御部
１２６ 触覚応答制御部
２０６ 左腕イメージ（ポインタの先端による作用を受けて変化する対象）
２０７ 切開イメージ（ポインタによる入力結果）
３０６ 地層イメージ（ポインタの先端による作用を受けて変化する対象）
３０７ 掘削跡イメージ（ポインタによる入力結果）
【技術分野】
【０００１】
本発明は、画像を表示するディスプレイと、ユーザインタフェースとしてのタッチパネルとを備えたユーザインタフェース装置に関する。
【背景技術】
【０００２】
従来、指で、又はスタイラス等のポインティングデバイスで、画面に触れることによって入力操作を行う、タッチパネルを搭載したユーザインタフェース装置が広く普及している。特に、スマートフォン、タブレット型コンピュータ、電子書籍、ＰＤＡ(Personal Digital Assistant)といったユーザインタフェース装置、いわゆる携帯型情報機器では、指等による操作を受け入れるユーザインタフェースとしてタッチパネルが積極的に採用されている。
【０００３】
このような携帯型情報機器では、一般に、指をタッチパネルに接触させて、アイコン、リンクといったオブジェクトを選択し、その機能を発動させることが可能である。さらに、指で、文字又は図形の手書き入力を行って、手書き文字データ又は描画データを作成できるものも多い。例えば、手書きメモを作成して撮影した写真データに説明を添えたり、地図等の画像に道順や目的地等を示す描画情報を付加したり、更には、手書き入力を要するアプリケーションを利用したりすることができる。この手書き入力機能については、種々の応用が可能なこともあり、従来、様々な工夫がなされてきた。
【０００４】
例えば、特許文献１では、指で軌跡を描画している中、２つの端点を結ぶ線分を簡単に描画することの可能な描画装置が開示されている。この装置では、２本の指を用いて、第１端点及び第２端点を決定し、これらの端点を結ぶ線分を示す描画データを生成している。
【０００５】
また、特許文献２では、タブレット部に対する入力ペンの描画操作に応じて描画情報を取り込む手書き入力表示装置が開示されている。この装置では、描画情報に関連付けられたユーザＩＤと、入力された消去対象範囲とに応じて、描画情報が消去されるか否かが決定される。この際、消去対象範囲は、入力ペンによって閉曲線を描画することにより画定される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−１００２５３号公報
【特許文献２】特表２０１０−２３９４６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述したような従来技術を用いても、携帯型情報機器において、ディスプレイ画面（上のタッチパネル）の端・隅付近に指を接触させて、又は細かな表示位置範囲を有するオブジェクトに指を接触させて、所望の操作を行うことは困難であった。さらに、文字、図形といった入力情報の細部にわたる入力を、指で行うことも困難であった。
【０００８】
実際、携帯型情報機器では、他の道具を用いず随時手軽に、指によって、オブジェクトの選択、手書き入力等の操作を行いたい場合が少なくない。また、例えば、手書き入力を、指を用いた他の操作の前後で行う状況も頻繁に発生する。従って、特許文献２に開示されたようなポインティングデバイスを用いず、直接指で操作を行うことが、多くの場合に求められる。
【０００９】
一方で、携帯型情報機器では、その携帯性故に、指での操作を行うタッチパネルの面積も限られている。その結果、表示されるリンク等のオブジェクトにおける表示位置範囲も、小さなサイズとなりがちである。従って、例えば、多数のリンクが密に並んでいる中から、指で所望の１つを選択するのは非常に困難となる。
【００１０】
さらに、タッチパネル面積の制限故に、例えば、手書き入力の場合、できる限り小さなサイズの文字又は図形を入力することによって、所望の情報量を確保したい場合も多い。しかしながら、例えば特許文献１に記載されたような指による軌跡の入力では、指の接触地点、すなわち描かれる軌跡の最先端位置が、この指に隠れて視認できない。その結果、小さなサイズの文字又は図形の細部を、指によって正確に、意図した通りに入力することが困難となってしまう。
【００１１】
以上に述べた問題は、指をタッチパネルに接触させて、オブジェクトの選択・発動や手書き入力等のための操作を行う携帯型情報機器のすべてに当てはまるものである。そこで、本発明は、タッチパネルに対する指での操作によっても、指の届き難い箇所又は細部において所望の位置を指定することができるユーザインタフェース装置、動作発動方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明によれば、自身の先端によって入力位置を指し示すポインタを表示するディスプレイと、該ディスプレイの画面上に配置され、指の各時点での接触位置を逐次出力するタッチパネルと、当該指により該タッチパネルに与えられた押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置であって、
当該指の各時点での接触位置に応じて、ポインタの先端の位置を逐次決定するポインタ位置決定手段と、
各時点で先端が決定された位置となるようにポインタを表示させるポインタ表示手段と、
押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と、
押圧力判定手段が真の判定を行った際、ポインタの先端の位置に関連付けられた動作を発動させる動作制御手段と
を有するユーザインタフェース装置が提供される。
【００１３】
この本発明のユーザインタフェース装置によれば、押圧力判定手段が真の判定を行った際、動作制御手段は、ポインタの先端の位置を自身の表示位置範囲内に含むオブジェクトに関連付けられた動作を発動させることも好ましい。
【００１４】
また、本発明のユーザインタフェース装置によれば、当該指の接触位置がポインタの表示位置範囲と重畳したか否かを判定する接触位置判定手段を更に有しており、
ポインタ位置決定手段は、接触位置判定手段が真の判定を行った際、当該指の各時点での接触位置に応じて、ポインタの先端の位置を逐次決定し、
動作制御手段は、先端の位置の軌跡であって、押圧力判定手段により真の判定がなされた区間となる軌跡に対応した、ポインタによる入力結果を表示させる
ことも好ましい。
【００１５】
また、ポインタによる入力結果が表示される上記の実施形態において、ユーザの操作から見て、当該指をポインタに接触させて該ポインタを保持した上で、当該指を該ポインタに押し込みながら移動させた際、動作制御手段は、当該指の移動に合わせて移動する先端の位置の軌跡に対応した、ポインタによる入力結果を表示させることも好ましい。
【００１６】
さらに、ポインタによる入力結果が表示される上記の実施形態において、ポインタ位置決定手段は、当該指の接触位置がポインタの表示位置範囲と重畳した当初の時点での当該指の接触位置を、同時点での先端の位置に変換する並進変換を算出し、その後の各時点で、当該指の接触位置を該並進変換によって変換した結果の位置を、ポインタの先端の位置とすることも好ましい。
【００１７】
また、ポインタによる入力結果が表示される上記の実施形態において、ポインタによる入力結果は、画面に表示された所定の対象が、ポインタの先端による作用を受けて変化した結果であることも好ましい。
【００１８】
さらに、ポインタによる入力結果が表示される上記の実施形態において、ポインタによる入力結果は、先端の位置の軌跡を含む筆跡イメージであることも好ましい。
【００１９】
また、ポインタによる入力結果が表示される上記の実施形態において、ポインタ表示手段は、当該指による所定の操作に応じて、ポインタとして、右利き用のポインタと左利き用のポインタとを表示し分けることも好ましい。
【００２０】
本発明によれば、さらに、自身の先端によって入力位置を指し示すポインタを表示するディスプレイと、該ディスプレイの画面上に配置され、指の各時点での接触位置を逐次出力するタッチパネルと、当該指により該タッチパネルに与えられた押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置に搭載されたプログラムであって、
当該指の各時点での接触位置に応じて、ポインタの先端の位置を逐次決定するポインタ位置決定手段と、
各時点で先端が決定された位置となるようにポインタを表示させるポインタ表示手段と、
押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と、
押圧力判定手段が真の判定を行った際、ポインタの先端の位置に関連付けられた動作を発動させる動作制御手段と
してコンピュータを機能させるユーザインタフェース装置用のプログラムが提供される。
【００２１】
本発明によれば、さらにまた、自身の先端によって入力位置を指し示すポインタを表示するディスプレイと、該ディスプレイの画面上に配置され、指の各時点での接触位置を逐次出力するタッチパネルと、当該指により該タッチパネルに与えられた押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置における動作発動方法であって、
当該指の各時点での接触位置に応じて、ポインタの先端の位置を逐次決定する第１のステップと、
各時点で先端が決定された位置となるようにポインタを表示させる第２のステップと、
押圧力が所定閾値以上であるか否かを判定する第３のステップと、
第３のステップで真の判定がなされた際、ポインタの先端の位置に関連付けられた動作を発動させる第４のステップと
を有する動作発動方法が提供される。
【発明の効果】
【００２２】
本発明のユーザインタフェース装置、動作発動方法及びプログラムによれば、タッチパネルに対する指での操作によっても、指の届き難い箇所又は細部において所望の位置を指定することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明によるポインタを用いた手書き入力を示す、携帯型情報機器の前面図、及び指による操作の概略図である。
【図２】指による押圧力ｐＣ値と、ポインタによる入力結果（筆跡イメージ）の表示との関係を説明するための携帯型情報機器の前面図及びグラフである。
【図３】指がポインタを保持した場合における指の接触位置とポインタの先端位置との関係を示す概略図と、指がポインタを持ち替える（保持し直す）場合を示す概略図と、右利き用及び左利き用のポインタをそれぞれ取り扱う場合を示す概略図とである。
【図４】本発明によるポインタを用いた動作発動（情報入力）の他の実施形態を示す、携帯型情報機器の前面図である。
【図５】本発明による携帯型情報機器の一実施形態を概略的に示す斜視図及び機能構成図である。
【図６】本発明による動作発動（情報入力）方法の一実施形態を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、本発明の実施形態について、図面を用いて詳細に説明する。
【００２５】
本発明によるユーザインタフェース装置では、ディスプレイの画面に表示されたポインタが接触した指によって保持され、この指の接触位置の移動に合わせて、入力位置となるポインタの先端が移動する。さらに、指によるポインタ（タッチパネル）に対する押圧力が所定閾値以上である場合に、ポインタの先端の位置が指定され、この先端の位置に関連付けられた動作が発動する点に特徴を有する。
【００２６】
また、本発明によるユーザインタフェース装置では、ユーザの指がタッチパネルに接触することによって情報が入力される。そのため、当該装置の多くは、手で携帯して操作可能である、スマートフォンやタブレット型コンピュータのような携帯型情報機器である。従って、以下、本発明の実施形態として、携帯型情報機器を説明する。
【００２７】
図１（Ａ）及び（Ｂ）は、本発明によるポインタを用いた指による操作を示す、携帯型情報機器１の前面図、及び指による操作の概略図である。
【００２８】
図１（Ａ）によれば、携帯型情報機器１は、ポインタ１０４を表示するディスプレイ１０１と、ディスプレイ１０１の画面上に配置されたタッチパネル１００とを備えている。ここで、ポインタ１０４は、自身の先端１０４ｅによって入力位置を指し示す、ユーザインタフェースのためのイメージである。また、携帯型情報機器１は、指によりタッチパネル１００に与えられた押圧力ｐＣを検出する押圧力検出部１０３（図５参照）も備えている。
【００２９】
ここで最初に、ポインタ１０４を用いて、多数のリンク（オブジェクト）１０９が密集して表示されている中から、指で所望の１つを選択する実施形態を説明する。尚、ポインタ１０４は、図１（Ａ）に示した形態に限定されるものではない。例えば、矢印状でもよく、指の接触位置１０５とは異なる位置を指し示すものであればよい。
【００３０】
図１（Ａ）によれば、ユーザは、指をポインタ１０４（タッチパネル１００）に接触させる。すなわち、指の接触位置１０５をポインタ１０４の表示位置範囲と重畳させる。これにより、指がポインタ１０４を保持する。ここで「保持」とは、指がタッチパネル１００に接触している限り、ポインタ１０４が指の移動に伴い指と一体となって移動する状態を指す。
【００３１】
次いで、ユーザは、指を接触させたまま移動（スライド）させ、指と共に移動するポインタ１０４の先端１０４ｅを、所望のリンク１０９の表示位置範囲内に置く。その後、指が、接触位置１０５（タッチパネル１００）を押圧力ｐＣで押し込む。
【００３２】
この押圧力ｐＣが所定の押圧力閾値ｐＴＨ以上である場合に、後述する動作制御部１２５（図５）が、先端１０４ｅの位置を自身の表示位置範囲内に含むリンク１０９に関連付けられた動作を発動させる。具体的には、リンク１０９のハイパーテキスト機能が発動し、所望のリンク先の文書又は画像等を閲覧することが可能となる。
【００３３】
以上、本実施形態によれば、指の接触位置１０５から離隔した先端１０４ｅをもって、画面上の位置を指定し、リンク１０９等のオブジェクトの機能を発動させる。その結果、ディスプレイ１０１の画面に表示された細部において、さらには画面の端・隅付近等の指の届き難い箇所においても、所望の位置を指定し、所望の機能を発動させることが容易となる。
【００３４】
尚、以上の実施形態では、ポインタ１０４は、指が接触する前から表示されている。これに対する変更態様として、ポインタ１０４は、指がディスプレイ１０１の画面（タッチパネル１００）に接触した際に表示されることも好ましい。この場合、指の接触位置１０５から所定の並進ベクトル分だけ変位した位置が、表示されるポインタ１０４における先端１０４ｅの位置となる。また、上記の押圧力閾値ｐＴＨは、例えば、０.５Ｎ（ニュートン）乃至２.０Ｎの範囲内の値に設定可能である。
【００３５】
次いで、ポインタ１０４を用いて、手書き入力を指で行う実施形態を説明する。図１（Ｂ）は、この手書き入力の様子を示している。尚、図１（Ｂ）において、ポインタ１０４は筆記具のイメージであり、先端１０４ｅがペン（筆）先となっている。また、ディスプレイ１０１の画面全体を、メモ用紙イメージが占めている。このメモ用紙イメージは、ポインタ１０４の先端（ペン先）１０４ｅによる作用を受けて変化する（文字等が描かれる）対象であるが、画面の一部をなす所定の領域を占めるものであってもよい。
【００３６】
図１（Ｂ）によれば、最初に、ユーザは、指をポインタ１０４（タッチパネル１００）に接触させる。すなわち、指の接触位置１０５をポインタ１０４の表示位置範囲と重畳させる。これにより、指がポインタ１０４を保持する。
【００３７】
この保持の際、ユーザは、先端１０４ｅが指で隠れることなく視認できるような位置、例えばポインタ１０４の中程の位置、に指を接触させる。次いで、ユーザは、指を接触させたまま移動（スライド）させ、指と共に移動するポインタ１０４の先端１０４ｅを、文字の書き始めの所望の位置に置く。
【００３８】
次いで、ユーザは、指をポインタ１０４（タッチパネル１００）に押し込みながら移動（スライド）させる。これに伴って、ポインタ１０４（ポインタ１０４の先端１０４ｅ）も移動する。その結果、先端１０４ｅの位置が、指が押し込まれた区間として、ある軌跡をなす。この際、この（指が押し込まれた区間である）軌跡を含む筆跡イメージ１０６が、画面に表示される。この筆跡イメージ１０６は、ポインタ１０４による入力結果となる。
【００３９】
この際、指の接触位置１０５と、筆跡イメージ１０６を発生させている先端１０４ｅとは、所定の距離だけ離隔している。従って、ユーザは、先端１０４ｅを、指に遮られることなく常に視認することができる。
【００４０】
さらに、筆跡イメージ１０６は、一度表示されると所定のコマンドが発生しない限り画面に残存し、ポインタ１０４の先端１０４ｅが移動すると共に、この先端１０４ｅを追うように伸長することも好ましい。これにより、ユーザは、意図した文字、図形等の情報を、画面（メモ用紙イメージ）に書き残すことができる。ユーザは、意図した情報を書き記した後、指をタッチパネル１００から離すか、指を接触させながらも押し込みを止める。これにより、手書き動作が終了する。
【００４１】
尚、上記の手書き入力によって形成された筆跡イメージ１０６は、手書き文字データとして、携帯型情報機器１内のメモリに保存されることができる。
【００４２】
以上に述べたように、指がポインタ１０４を保持して手書き動作が発動する条件は、
ａ）指の接触位置１０５がポインタ１０４の表示位置範囲と重畳し、その後、指がタッチパネル１００に接触し続け、
ｂ）指による押し込みの際の、タッチパネル１００に対する押圧力ｐＣが、所定の押圧力閾値をｐＴＨとして、次式
（１） ｐＣ≧ｐＴＨ
を満たすことである。尚、押圧力閾値ｐＴＨは、例えば、０.５Ｎ乃至２.０Ｎの範囲内の値に設定可能である。
【００４３】
上記の条件ｂ）を設けることによって、ユーザの指等が意図せずにタッチパネル１００に触れて意図しない書き込みが生じてしまう、といった誤動作を回避することが可能となる。すなわち、ユーザの意図する通りの手書き動作を発動させることが容易となる。さらに、指による押し込み（条件ｂ））を止めさえすれば、指を接触させたままでも、手書き動作を発動させずに、ポインタ１０４を次の手書き開始位置まで移動させることが可能となる。
【００４４】
さらに、後述する触覚応答機構部１０２（図５）が、指に、手書き動作が発動している間、触覚応答を与えることも好ましい。ここで、手書き動作が発動している間とは、上述した条件ａ）及びｂ）が満たされている間であり、筆跡イメージ１０６が新たに伸長しつつ表示されている間である。これにより、ユーザは、実際に筆記具で紙等の媒体に筆記又は描画している感覚を指から体感でき、リアルな操作感を得ることができる。
【００４５】
また、指による押圧力ｐＣの閾値ｐＴＨを、ユーザが適宜設定し、調整できることも好ましい。これにより、ユーザは、手書き動作を発動させずに指を接触させたまま移動させる操作と、手書きを行う操作とを自らの感覚、好みに合わせて、確実に実行し分けることができる。この際、閾値ｐＴＨを変化させるための、押圧力閾値調整用のスライドスイッチイメージ１０７が表示され、使用されてもよい。
【００４６】
以上に述べたように、本実施形態によれば、ポインタ１０４に指を接触させることによりこのポインタ１０４が保持され、指の接触位置１０５の移動に合わせて、ポインタの先端１０４ｅが移動する。ここで、接触位置１０５と先端１０４ｅとは互いに一定の位置関係をもって離隔しながら並進する。これにより、ユーザは、この入力位置となる先端１０４ｅを、指に遮られることなく常に視認することができる。その結果、例え小さなサイズの文字又は図形であっても、入力情報を細部にわたって意図通りに入力することができる。
【００４７】
また、水彩画イメージ等をポインタ１０４によって生成できるお絵かき動作においても、入力位置となる先端１０４ｅを、指に遮られることなく常に視認することができる。その結果、より細かいペン（筆）操作を行うことができ、所望の入力結果（水彩画イメージ等）を得ることが容易となる。
【００４８】
さらに、接触位置１０５と先端１０４ｅとは互いに一定の位置関係をもって離隔している。従って、例えば画面の端辺付近又は隅付近等、指先が届き難い領域にも、ポインタ１０４の先端１０４ｅを及ぼすことができる。その結果、画面の概ね全ての領域に、筆記又は描画等、所望の入力結果を表示させることが可能となる。
【００４９】
図２（Ａ）及び（Ｂ）は、指による押圧力ｐＣ値と、ポインタによる入力結果（筆跡イメージ１０６）の表示との関係を説明するための携帯型情報機器１の前面図及びグラフである。
【００５０】
図２（Ａ）によれば、ディスプレイ１０１の画面内に、点２ａから始まり、点２ｂ、点２ｃ、点２ｄ、点２ｅ、点２ｆ、点２ｇを順次介して、点２ｈに至る、ポインタ１０４の先端１０４ｅの位置の道程（軌跡）の実施例が示されている。この道程のうち、点２ｂから点２ｃまでの軌跡が、ひらがなの「の」を表す筆跡イメージ１０６として画面に表示されている。
【００５１】
また、点２ｅから点２ｆまでの軌跡と、点２ｇから点２ｈまでの軌跡とが、ひらがなの「り」を表す筆跡イメージ１０６として画面に表示されている。尚、この実施例では、ポインタ１０４の先端１０４ｅが点２ｄに達した時点で、ユーザは、ポインタ１０４を保持し直している（持ち替えている）。
【００５２】
この先端１０４ｅの位置の道程（軌跡）における、指によるタッチパネル１００に対する押圧力ｐＣの大きさの変遷を、図２（Ｂ）に示す。図２（Ｂ）によれば、指による押圧力ｐＣは、先端１０４ｅの位置が点２ａから点２ｂに向かって進行するにつれて大きくなり、点２ｂで所定の押圧力閾値ｐＴＨに達する。
【００５３】
その後、押圧力ｐＣは、先端１０４ｅの位置が点２ｂから点２ｃに至るまでの間、上述した式（１）ｐＣ≧ｐＴＨの条件を満たす。これに応じて、点２ｂから先端１０４ｅの位置までの軌跡を含む筆跡イメージ１０６が、先端１０４ｅの移動と共に伸長しつつ描かれていく。次いで、先端１０４ｅの位置が点２ｃに達した段階で、ひらがなの「の」を表す筆跡イメージ１０６の描写が完了する。
【００５４】
その後、押圧力ｐＣは、ポインタ１０４の先端１０４ｅの位置が点２ｃから離れるにつれて低下し、先端１０４ｅの位置が点２ｄに達した段階でゼロとなる。これは、ユーザがポインタ１０４を持ち替える（保持し直す）際に、指をポインタ１０４（タッチパネル１００）から離隔させたことによる。この持ち替えの後、押圧力ｐＣは、先端１０４ｅの位置が点２ｅに向かうにつれて大きくなり、点２ｅで所定の押圧力閾値ｐＴＨに達する。
【００５５】
その後、押圧力ｐＣは、先端１０４ｅの位置が点２ｅから点２ｆに至るまでの間、上述した式（１）ｐＣ≧ｐＴＨの条件を満たす。これに応じて、点２ｅから先端１０４ｅの位置までの軌跡を含む筆跡イメージ１０６が、先端１０４ｅの移動と共に伸長しつつ描かれていく。次いで、先端１０４ｅの位置が点２ｆに達した段階で、ひらがなの「り」の左部分を表す筆跡イメージ１０６が描写される。
【００５６】
さらに、押圧力ｐＣは、先端１０４ｅの位置がさらに進行して点２ｇから点２ｈに至るまでの間、上述した式（１）ｐＣ≧ｐＴＨの条件を満たす。これに応じて、点２ｇから先端１０４ｅの位置までの軌跡を含む筆跡イメージ１０６が、先端１０４ｅの移動と共に伸長しつつ描かれていく。次いで、先端１０４ｅの位置が点２ｈに達した段階で、ひらがなの「り」の右部分を表す筆跡イメージ１０６が描写され、ひらがなの「り」の描写が完了する。
【００５７】
以上に述べたように、本発明によれば、先端１０４ｅの位置の軌跡であって、指による押圧力ｐＣが所定閾値ｐＴＨ以上である区間となる軌跡（点２ｂ−点２ｃ、点２ｅ−点２ｆ、点２ｇ−点２ｈ）に対応した入力結果（筆跡イメージ１０６）が表示される。その結果、誤動作が発生し難くなり、ユーザの意図する通りの手書き動作が発動可能となる。また、指をタッチパネル１００に接触させたままで、手書き動作を発動させたり、させなかったりといった選択が可能となる。すなわち、画面に垂直方向での指の動きをほとんど抑えた操作で、画面を指でなぞりながら、手書き動作が可能となる。
【００５８】
図３（Ａ）は、指がポインタ１０４を保持した場合における、指の接触位置１０５と先端１０４ｅ位置との関係を示す概略図である。また、図３（Ｂ）は、指がポインタ１０４を持ち替える（保持し直す）場合を示す概略図である。さらに、図３（Ｃ）は、右利き用及び左利き用のポインタ１０４をそれぞれ取り扱う場合を示す概略図である。
【００５９】
図３（Ａ）に示すように、指の接触位置１０５が、最初に、ポインタ１０４の表示位置範囲と重畳する。ここで、この表示位置範囲は、図３（Ａ）において、ポインタ１０４のイメージを規定する外郭線内の領域となる。指は、ポインタ１０４の先端１０４ｅがこの指で隠れて見えなくなることのないように、先端１０４ｅから離隔した位置に接触させられる。
【００６０】
ここで、画面にｘｙ直交座標系を設け、指の接触位置１０５の座標を（ｘＣ０，ｙＣ０）とし、ポインタ１０４の先端１０４ｅの位置の座標を（ｘＰ０，ｙＰ０）とする。すると、座標（ｘＣ０，ｙＣ０）から座標（ｘＰ０，ｙＰ０）への並進移動の座標変換（並進変換）ｆＴを決定することができる。具体的には、
（１） Δｘ＝ｘＰ０−ｘＣ０
（２） Δｙ＝ｙＰ０−ｙＣ０
として、並進変換ｆＴは、
（３） ｆＴ：（ｘ，ｙ）→（ｘ＋Δｘ，ｙ＋Δｙ）
と算出される。
【００６１】
次いで、ユーザが、指を接触させながら移動させ、その結果、接触位置１０５の座標が、（ｘＣ１，ｙＣ１）にまで変化する。この際のポインタ１０４の先端１０４ｅの位置は、（ｘＣ１，ｙＣ１）を並進変換ｆＴによって並進移動させることによって決定される。具体的には、この際の先端１０４ｅの位置の座標（ｘＰ１，ｙＰ１）は、次式
（４） ｘＰ１＝ｘＣ１＋Δｘ
（５） ｙＰ１＝ｙＣ１＋Δｙ
によって算出される。
【００６２】
指の接触位置１０５が座標（ｘＣ１，ｙＣ１）の位置まで移動した際の、ポインタ１０４の先端１０４ｅは、上記の算出された座標（ｘＰ１，ｙＰ１）の位置にまで移動させられる。これにより、ユーザは、指によってポインタ１０４を保持した感覚を得ながら、ポインタ１０４の先端１０４ｅを意図通りに移動させることができる。
【００６３】
次に、ユーザがポインタ１０４を持ち替える（保持し直す）場合での、ポインタ１０４の先端１０４ｅの位置を決定する方法を説明する。
【００６４】
図３（Ｂ）によれば、最初に、指が、接触位置１０５でポインタ１０４に接触する。ユーザはその後、ポインタ１０４を持ち替えるため、指をポインタ１０４（タッチパネル１００）から離隔させ、再びポインタ１０４に接触させる。この際の指の接触位置１０５′は、接触位置１０５とは異なる点となっている。
【００６５】
指が最初に接触位置１０５でポインタ１０４に接触した際、すなわち保持した際、ポインタ１０４の先端１０４ｅの位置は、上述したように、式（３）で表される並進変換ｆＴ：（ｘ，ｙ）→（ｘ＋Δｘ，ｙ＋Δｙ）で求められる。この並進変換ｆＴは、指が離隔せず接触している間、記憶されて、先端１０４ｅの位置の算出に用いられる。
【００６６】
次いで、指が持ち替えのためにポインタ１０４（タッチパネル１００）から離隔すると、記憶されていた並進変換ｆＴは、消去（リセット）される。その後、指が再び接触位置１０５′で接触すると、新たな並進変換ｆＴ′が改めて決定される。この並進変換ｆＴ′は、接触位置１０５′の座標を（ｘＣ０′，ｙＣ０′）とし、ポインタ１０４の先端１０４ｅの位置の座標を（ｘＰ０，ｙＰ０）とすると、
（６） Δｘ′＝ｘＰ０−ｘＣ０′
（７） Δｙ′＝ｙＰ０−ｙＣ０′
として、
（８） ｆＴ′：（ｘ，ｙ）→（ｘ＋Δｘ′，ｙ＋Δｙ′）
と算出される。
【００６７】
その後、ユーザが、指を接触させながら移動させた場合の、ポインタ１０４の先端１０４ｅの位置は、この並進変換ｆＴ′を用いて決定される。このように、ユーザは、ポインタ１０４を持ち替えることができ、その結果、随時、指の接触位置１０５とポインタ１０４の先端１０４ｅ位置との関係を、操作しやすいように調整することができる。
【００６８】
次に、ユーザが、右利き用及び左利き用のポインタ１０４をそれぞれ取り扱うことが可能な実施形態を説明する。
【００６９】
図３（Ｃ）に示した実施形態によれば、画面に、ポインタを切り替えるための切り替えスイッチイメージ１０８が表示されている。ユーザが、指で切り替えスイッチイメージ１０８の「Ｒ」部を、所定の閾値ｐＴＨ以上の押圧力ｐＣで押し込むと、右利き用のポインタ１０４が所定の位置に表示される。この右利き用のポインタ１０４は、画面を正面から見た場合にペン（筆）先（先端１０４ｅ）が左下を向く形で、斜めに伸長している。このため、ユーザの右手の指で筆記・描画を行うのに適した仕様となっている。ユーザは、好ましくは右手の指を、表示されたポインタ１０４に接触させることによって、ポインタ１０４を保持することができる。
【００７０】
一方、ユーザが、指で切り替えスイッチイメージ１０８の「Ｌ」部を、所定の閾値ｐＴＨ以上の押圧力ｐＣで押し込むと、左利き用のポインタ１０４′が所定の位置に表示される。この左利き用のポインタ１０４′は、画面を正面から見た場合にペン（筆）先（先端１０４ｅ′）が右下を向く形で、斜めに伸長している。このため、ユーザの左手の指で筆記・描画を行うのに適した仕様となっている。ユーザは、好ましくは左手の指を、表示されたポインタ１０４′に接触させることによって、ポインタ１０４′を保持することができる。
【００７１】
尚、既に右利き用（左利き用）のポインタ１０４（１０４′）が表示されている状況において、切り替えスイッチイメージ１０８の「Ｌ」部（「Ｒ」部）を押し込んだ場合、ポインタ１０４（１０４′）が、自身のペン（筆）先（先端１０４ｅ′）の向きを左下（右下）に変えて、ポインタ１０４′（１０４）に変換されることも好ましい。
【００７２】
また、以上に述べたような切り替えスイッチイメージ１０８を用いずに、指による所定の操作でポインタの切り替えを行うことも可能である。例えば、右利き用（左利き用）のポインタ１０４（１０４′）を、指で、所定時間内に所定閾値ｐＴＨ以上の押圧力ｐＣで２度押し込むことにより、左利き用（右利き用）のポインタ１０４′（１０４）に変換させるように設定されていてもよい。
【００７３】
図４（Ａ）及び（Ｂ）は、本発明によるポインタを用いた情報入力（動作発動）の他の実施形態を示す、携帯型情報機器１の前面図である。
【００７４】
図４（Ａ）によれば、携帯型情報機器１は、ポインタ２０４を表示するディスプレイ１０１と、ディスプレイ１０１の画面上に配置されたタッチパネル１００とを備えている。本実施形態では、ポインタ２０４は手術用のメスのイメージであり、先端２０４ｅが刃先となっている。また、ディスプレイ１０１の画面には、患者の左腕イメージ２０６が表示されている。この左腕イメージ２０６は、ポインタ２０４の先端（刃先）２０４ｅによる作用を受けて変化する（切開される）対象である。
【００７５】
最初に、ユーザは、指の接触位置２０５をポインタ（メスイメージ）２０４の表示位置範囲と重畳させる。これにより、指がポインタ２０４を保持する。次いで、ユーザは、指を接触させたまま移動させ、指と共に移動するポインタ２０４の先端（刃先）２０４ｅを、所望の切開開始位置に置く。
【００７６】
次いで、ユーザは、指を、ポインタ２０４（タッチパネル１００）に所定閾値ｐＴＨ以上の押圧力ｐＣで押し込みながら移動させる。これに伴って、ポインタ２０４の先端２０４ｅも移動する。これにより、この先端２０４ｅの位置は、指が押し込まれた（ｐＣ≧ｐＴＨである）区間となる軌跡をなす。この際、この軌跡を含む切開イメージ２０７が、画面に表示される。
【００７７】
ここで、指の接触位置２０５と、切開イメージ２０７を発生させている先端（刃先）２０４ｅとは、所定の距離だけ離隔している。従って、ユーザは、先端（刃先）２０４ｅを、指に遮られることなく常に視認することができる。
【００７８】
本実施形態では、ユーザの操作から見て、指を、ポインタ２０４に押し込みながら移動させることによって、切開イメージ２０７が表示される。すなわち、ある程度の力を対象に加えて初めて切開が可能となる。これにより、ユーザは、対象イメージに対して、リアルな操作感を得ながら作用を及ぼすことができる。
【００７９】
図４（Ｂ）によれば、携帯型情報機器１は、ポインタ３０４を表示するディスプレイ１０１と、ディスプレイ１０１の画面上に配置されたタッチパネル１００とを備えている。本実施形態では、ポインタ３０４は化石発掘用のスコップのイメージであり、先端３０４ｅが刃先となっている。また、ディスプレイ１０１の画面には、発掘現場の地層イメージ３０６が表示されている。この地層イメージ３０６は、ポインタ３０４の先端（刃先）２０４ｅによる作用を受けて変化する（掘削される）対象である。
【００８０】
最初に、ユーザは、指の接触位置３０５をポインタ（スコップイメージ）３０４の表示位置範囲と重畳させる。これにより、指がポインタ３０４を保持する。次いで、ユーザは、指を接触させたまま移動させ、指と共に移動するポインタ３０４の先端（刃先）３０４ｅを、所望の掘削開始位置に置く。
【００８１】
次いで、ユーザは、指を、ポインタ３０４（タッチパネル１００）に所定閾値ｐＴＨ以上の押圧力ｐＣで押し込みながら移動させる。これに伴って、ポインタ３０４の先端３０４ｅも移動する。これにより、この先端３０４ｅの位置は、指が押し込まれた（ｐＣ≧ｐＴＨである）区間となる軌跡をなす。この際、この軌跡を含む掘削跡イメージ３０７が、画面に表示される。尚、掘削跡イメージ３０７は、その位置によっては、地層イメージ３０６の内部に前もって埋もれていた化石イメージの一部が露出した部分を含んでいてもよい。
【００８２】
ここで、指の接触位置３０５と、掘削跡イメージ３０７を発生させている先端（刃先）３０４ｅとは、所定の距離だけ離隔している。従って、ユーザは、先端（刃先）３０４ｅを、指に遮られることなく常に視認することができる。
【００８３】
以上に述べたように、本実施形態では、ユーザの操作から見て、指を、ポインタ３０４に押し込みながら移動させることによって、掘削跡イメージ３０７が表示される。すなわち、ある程度の力を対象に加えて初めて掘削が可能となる。これにより、ユーザは、対象イメージに対して、リアルな操作感を得ながら作用を及ぼすことができる。
【００８４】
図５は、本発明による携帯型情報機器１の一実施形態を概略的に示す斜視図及び機能構成図である。
【００８５】
図５によれば、携帯型情報機器１は、タッチパネル１００と、ディスプレイ１０１と、触覚応答機構部１０２と、押圧力検出部１０３と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、プログラムを実行することによってその機能を実現させる。
【００８６】
ディスプレイ１０１は、画面にポインタ１０４（、２０４、３０４）を表示する。また、タッチパネル１００は、ディスプレイ１０１の画面上に配置されており、ユーザの指の接触位置１０５を時間経過に応じて逐次出力する。このタッチパネル１００としては、投影型静電容量方式タッチパネル、表面型静電容量方式タッチパネル、抵抗膜方式タッチパネル、超音波表面弾性波方式タッチパネル、又は赤外線走査方式タッチパネル等を採用することができる。
【００８７】
触覚応答機構部１０２は、タッチパネル１００に接触した指に対して、タッチパネル１００を振動させることにより触覚応答を与える。例えば、ユーザが指を所定閾値ｐＴＨ以上の押圧力ｐＣで押し込んで、ポインタによる入力結果（筆跡イメージ１０６等）が新たに伸長しつつ表示される際に、所定の強度の振動が指に与えられる。触覚応答機構部１０２は、例えば、ＰＺＴ（チタン酸ジルコン酸鉛）等の圧電材料を用いて形成された圧電アクチュエータとすることができる。
【００８８】
押圧力検出部１０３は、指によってタッチパネル１００に与えられる押圧力ｐＣを検出する。押圧力検出部１０３は、例えば、タッチパネル１００の四隅下に設置されており、指を押し付けられて撓んだタッチパネル１００が自身に及ぼす押圧の合計を、押圧力ｐＣとして検出する。押圧力検出部１０３は、例えば、ＰＺＴ等の圧電材料を用いて形成された圧電センサとすることができる。また、圧電アクチュエータで構成された触覚応答機構部１０２を設ける代わりに又は設けると共に、この押圧力検出部１０３を触覚応答機構部として利用することも可能である。
【００８９】
プロセッサ・メモリは、タッチパネル１００から出力される指の接触位置信号と、押圧力検出部１０３から出力される押圧力信号とを入力し、これらの信号に基づいてユーザの指によるポインタ１０４（、２０４、３０４）に対する操作を認知する。次いで、この操作の内容に合わせて、ポインタによる入力結果（筆跡イメージ１０６、切開イメージ２０７、掘削跡イメージ３０７）を表示させる。
【００９０】
同じく図５によれば、このプロセッサ・メモリは、接触位置判定部１２１と、ポインタ位置決定部１２２と、ポインタ表示部１２３と、押圧力判定部１２４と、動作制御部１２５と、触覚応答制御部１２６と、表示制御部１１１と、アプリケーション処理部１１２とを有している。
【００９１】
接触位置判定部１２１は、タッチパネル１００から出力される指の接触位置信号を入力し、指の接触位置１０５がポインタ１０４の表示位置範囲と重畳したか否かを判定する。また、この判定結果を、ポインタ位置決定部１２２に出力する。さらに、指のタッチパネル１００に対する接触の有無に関する情報も、ポインタ位置決定部１２２に逐次出力する。
【００９２】
ポインタ位置決定部１２２は、接触位置判定部１２１から真の判定、すなわち指の接触位置１０５がポインタ１０４の表示位置範囲と重畳したとの判定を入力した際、その後の指の各時点での接触位置１０５に応じて、ポインタ１０４の先端１０４ｅの位置を逐次決定する。
【００９３】
この際、ポインタ位置決定部１２２は、重畳した当初の時点での接触位置１０５の座標（ｘＣ０，ｙＣ０）を同時点でのポインタ１０４の先端１０４ｅの位置の座標（ｘＰ０，ｙＰ０）に変換する並進変換ｆＴを決定する。次いで、その後の各時点で、指の接触位置１０５をこの並進変換ｆＴによって変換した結果の位置を、先端１０４ｅの位置とする。また、ポインタ位置決定部１２２は、決定した先端１０４ｅの位置情報をポインタ表示部１２３及び動作制御部１２５に逐次出力する。
【００９４】
一方で、ポインタ位置決定部１２２は、接触位置判定部１２１から指の接触位置が存在しない、すなわち指がタッチパネル１００に接触していないとの情報を入力した際、その時点で、先端１０４ｅの位置の決定を停止する。この場合、先端１０４ｅの位置は、この決定停止直前の位置を維持する。
【００９５】
ポインタ表示部１２３は、ポインタ位置決定部１２２から、先端１０４ｅの位置情報を入力する。さらに、この入力した位置情報を用い、各時点で先端１０４ｅが決定された位置となるようにポインタ１０４を表示させることを、表示制御部１１１に指示する。
【００９６】
押圧力判定部１２４は、押圧力検出部１０３から出力される押圧力信号を入力し、指による押圧力ｐＣが所定の押圧力閾値ｐＴＨ以上であるか否かを判定する。また、この判定結果を、動作制御部１２５に出力する。
【００９７】
動作制御部１２５は、ポインタ位置決定部１２２から先端１０４ｅの位置情報を入力し、さらに押圧力判定部１２４から判定結果を入力する。動作制御部１２５は、次いで、これらの入力された位置情報及び判定結果に基づき、ポインタ１０４の先端１０４ｅの位置の軌跡であって、押圧力判定部１２４により真の判定（ｐＣ≧ｐＴＨ）がなされた区間となる軌跡を決定する。
【００９８】
動作制御部１２５は、さらに、この決定された軌跡に対応した、ポインタ１０４による入力結果（筆跡イメージ１０６等）を表示するように、表示制御部１１１に指示する。この際、動作制御部１２５は、この指示と同時に、触覚応答制御部１２６に対して、触覚応答を発動させるように指示を行うことも好ましい。尚、上記のポインタ１０４による入力結果は、動作制御部１２５によって決定されてもよく、または表示制御部１１１によって、決定された軌跡に基づきアプリケーション処理部１１２からの情報を受けて決定されてもよい。触覚応答制御部１２６は、動作制御部１２５から入力した、触覚応答発動の指示に基づき、触覚応答（例えば振動）を指に対して与えるべく触覚応答機構部１０２を制御する。
【００９９】
表示制御部１１１は、アプリケーション処理部１１２からアプリケーション処理情報を入力して、アプリケーションの実行に応じた画像をディスプレイ１０１に表示させる。また、表示制御部１１１は、ポインタ表示部１２３から、ポインタ１０４を表示させる指示情報を入力し、各時点で先端１０４ｅが決定された位置となるように、ポインタ１０４をディスプレイ１０１に表示させる。さらに、表示制御部１１１は、動作制御部１２５から、ポインタ１０４による入力結果（筆跡イメージ１０６等）を表示させる指示情報を入力し、先端１０４ｅの軌跡に対応したポインタ１０４による入力結果をディスプレイ１０１に表示させる。
【０１００】
図６は、本発明による動作発動（情報入力）方法の一実施形態を示すフローチャートである。
【０１０１】
図６によれば、最初に、ディスプレイ１０１にポインタ１０４（、２０４、３０４）が表示される（ステップＳ６０１）。次いで、タッチパネル１００によって、指の接触が検知される（ステップＳ６０２）。次いで、接触位置判定部１２１によって、指の接触位置１０５がポインタ１０４の表示位置範囲と重畳したか否かの判定がなされる（ステップＳ６０３）。
【０１０２】
ステップ６０３で指の接触位置１０５がポインタ１０４の表示位置範囲と重畳したと判定された際、ポインタ位置決定部１２２によって、並進変換ｆＴが決定される（ステップＳ６０４）。並進変換ｆＴは、重畳した当初の時点での接触位置１０５の座標（ｘＣ０，ｙＣ０）を同時点でのポインタ１０４の先端１０４ｅ位置の座標（ｘＰ０，ｙＰ０）に変換するものである。一方、ポインタ１０４の表示位置範囲と重畳していないと判定された際、ステップＳ６０２に戻って、指の接触の検知が行われる。
【０１０３】
並進変換ｆＴの決定（ステップＳ６０４）の後、ポインタ１０４による入力結果を表示するためのループに入り（ステップＳ６０５）、接触位置判定部１２１によって、指の接触位置１０５が測定される（ステップＳ６０６）。次いで、ポインタ位置決定部１２２により、指の接触位置１０５に応じて、ポインタ１０４の先端１０４ｅの位置が決定される（ステップＳ６０７）。具体的には、指の接触位置１０５を、決定された並進変換ｆＴによって変換した結果の位置が、先端１０４ｅの位置とされる。
【０１０４】
次いで、ポインタ表示部１２３によって、先端１０４ｅがステップＳ６０７で決定された位置となるように、ポインタ１０４が表示される（ステップＳ６０８）。次いで、押圧力検出部１０３が、指による押圧力ｐＣを測定する（ステップＳ６０９）。
【０１０５】
次いで、押圧力判定部１２２によって、押圧力ｐＣが所定の押圧力閾値ｐＴＨ以上であるか否かが判定される（ステップＳ６１０）。所定の押圧力閾値ｐＴＨ以上であると判定された場合、動作制御部１２５によって、先端１０４ｅの位置の軌跡であってｐＣ≧ｐＴＨである区間の軌跡に対応した、ポインタ１０４による入力結果（筆跡イメージ１０６等）が表示される（ステップＳ６１１）。その後、接触位置判定部１２１によって、指の接触の有無が測定される（ステップＳ６１２）。一方、ステップＳ６１０で所定の押圧力閾値ｐＴＨ未満であると判定された場合、ステップＳ６１１を経ずに、ステップＳ６１２に移行する。
【０１０６】
次いで、接触位置判定部１２１によって、指が接触しているか否かが判定される（ステップ６１３）。ここで、指が接触していると判定された場合、以上に述べたステップＳ６０５乃至ステップＳ６１３からなる入力結果表示（動作制御）ループが繰り返される。一方、指が接触していない（指の接触位置が存在しない）と判定された場合、本情報入力方法は終了する。尚、図３（Ｂ）に示したように、ユーザの指がポインタ１０４を持ち替えた場合、以上に述べたフローが一旦終了して、再度開始され、ステップＳ６０４で、並進変換ｆＴが更新される。
【０１０７】
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【０１０８】
１ 携帯型情報機器（ユーザインタフェース装置）
１００ タッチパネル
１０１ ディスプレイ
１０２ 触覚応答機構部
１０３ 押圧力検出部
１０４、１０４′、２０４、３０４ ポインタ
１０４ｅ、１０４ｅ′、２０４ｅ、３０４ｅ ポインタの先端
１０５、２０５、３０５ 指の接触位置
１０６ 筆跡イメージ（ポインタによる入力結果）
１０７ スライドスイッチイメージ
１０８ 切り替えスイッチイメージ
１０９ リンク（オブジェクト）
１１１ 表示制御部
１１２ アプリケーション処理部
１２１ 接触位置判定部
１２２ ポインタ位置決定部
１２３ ポインタ表示部
１２４ 押圧力判定部
１２５ 動作制御部
１２６ 触覚応答制御部
２０６ 左腕イメージ（ポインタの先端による作用を受けて変化する対象）
２０７ 切開イメージ（ポインタによる入力結果）
３０６ 地層イメージ（ポインタの先端による作用を受けて変化する対象）
３０７ 掘削跡イメージ（ポインタによる入力結果）
【特許請求の範囲】
【請求項１】
自身の先端によって入力位置を指し示すポインタを表示するディスプレイと、該ディスプレイの画面上に配置され、指の各時点での接触位置を逐次出力するタッチパネルと、当該指により該タッチパネルに与えられた押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置であって、
当該指の各時点での接触位置に応じて、前記ポインタの前記先端の位置を逐次決定するポインタ位置決定手段と、
各時点で前記先端が決定された位置となるように前記ポインタを表示させるポインタ表示手段と、
前記押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と、
前記押圧力判定手段が真の判定を行った際、前記ポインタの前記先端の位置に関連付けられた動作を発動させる動作制御手段と
を有することを特徴とするユーザインタフェース装置。
【請求項２】
当該指の接触位置が前記ポインタの表示位置範囲と重畳したか否かを判定する接触位置判定手段を更に有しており、
前記ポインタ位置決定手段は、前記接触位置判定手段が真の判定を行った際、当該指の各時点での接触位置に応じて、ポインタの先端の位置を逐次決定し、
前記動作制御手段は、前記先端の位置の軌跡であって、前記押圧力判定手段により真の判定がなされた区間となる軌跡に対応した、前記ポインタによる入力結果を表示させる
ことを特徴とする請求項１に記載のユーザインタフェース装置。
【請求項３】
ユーザの操作から見て、当該指を前記ポインタに接触させて該ポインタを保持した上で、当該指を該ポインタに押し込みながら移動させた際、前記動作制御手段は、当該指の移動に合わせて移動する前記先端の位置の軌跡に対応した、前記ポインタによる入力結果を表示させることを特徴とする請求項２に記載のユーザインタフェース装置。
【請求項４】
前記ポインタ位置決定手段は、当該指の接触位置が前記ポインタの表示位置範囲と重畳した当初の時点での当該指の接触位置を、同時点での前記先端の位置に変換する並進変換を算出し、その後の各時点で、当該指の接触位置を該並進変換によって変換した結果の位置を、該ポインタの前記先端の位置とすることを特徴とする請求項１又は２に記載のユーザインタフェース装置。
【請求項５】
前記ポインタによる入力結果は、前記画面に表示された所定の対象が、前記ポインタの先端による作用を受けて変化した結果であることを特徴とする請求項２から４のいずれか１項に記載のユーザインタフェース装置。
【請求項６】
前記ポインタによる入力結果は、前記先端の位置の軌跡を含む筆跡イメージであることを特徴とする請求項２から５のいずれか１項に記載のユーザインタフェース装置。
【請求項７】
前記ポインタ表示手段は、当該指による所定の操作に応じて、前記ポインタとして、右利き用のポインタと左利き用のポインタとを表示し分けることを特徴とする請求項２から６のいずれか１項に記載のユーザインタフェース装置。
【請求項８】
前記動作制御手段は、前記押圧力判定手段が真の判定を行った際、前記ポインタの前記先端の位置を自身の表示位置範囲内に含むオブジェクトに関連付けられた動作を発動させることを特徴とする請求項１に記載のユーザインタフェース装置。
【請求項９】
自身の先端によって入力位置を指し示すポインタを表示するディスプレイと、該ディスプレイの画面上に配置され、指の各時点での接触位置を逐次出力するタッチパネルと、当該指により該タッチパネルに与えられた押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置に搭載されたプログラムであって、
当該指の各時点での接触位置に応じて、前記ポインタの前記先端の位置を逐次決定するポインタ位置決定手段と、
各時点で前記先端が決定された位置となるように前記ポインタを表示させるポインタ表示手段と、
前記押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と、
前記押圧力判定手段が真の判定を行った際、前記ポインタの前記先端の位置に関連付けられた動作を発動させる動作制御手段と
してコンピュータを機能させることを特徴とするユーザインタフェース装置用のプログラム。
【請求項１０】
自身の先端によって入力位置を指し示すポインタを表示するディスプレイと、該ディスプレイの画面上に配置され、指の各時点での接触位置を逐次出力するタッチパネルと、当該指により該タッチパネルに与えられた押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置における動作発動方法であって、
当該指の各時点での接触位置に応じて、前記ポインタの前記先端の位置を逐次決定する第１のステップと、
各時点で前記先端が決定された位置となるように前記ポインタを表示させる第２のステップと、
前記押圧力が所定閾値以上であるか否かを判定する第３のステップと、
第３のステップで真の判定がなされた際、前記ポインタの前記先端の位置に関連付けられた動作を発動させる第４のステップと
を有することを特徴とする動作発動方法。
【請求項１】
自身の先端によって入力位置を指し示すポインタを表示するディスプレイと、該ディスプレイの画面上に配置され、指の各時点での接触位置を逐次出力するタッチパネルと、当該指により該タッチパネルに与えられた押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置であって、
当該指の各時点での接触位置に応じて、前記ポインタの前記先端の位置を逐次決定するポインタ位置決定手段と、
各時点で前記先端が決定された位置となるように前記ポインタを表示させるポインタ表示手段と、
前記押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と、
前記押圧力判定手段が真の判定を行った際、前記ポインタの前記先端の位置に関連付けられた動作を発動させる動作制御手段と
を有することを特徴とするユーザインタフェース装置。
【請求項２】
当該指の接触位置が前記ポインタの表示位置範囲と重畳したか否かを判定する接触位置判定手段を更に有しており、
前記ポインタ位置決定手段は、前記接触位置判定手段が真の判定を行った際、当該指の各時点での接触位置に応じて、ポインタの先端の位置を逐次決定し、
前記動作制御手段は、前記先端の位置の軌跡であって、前記押圧力判定手段により真の判定がなされた区間となる軌跡に対応した、前記ポインタによる入力結果を表示させる
ことを特徴とする請求項１に記載のユーザインタフェース装置。
【請求項３】
ユーザの操作から見て、当該指を前記ポインタに接触させて該ポインタを保持した上で、当該指を該ポインタに押し込みながら移動させた際、前記動作制御手段は、当該指の移動に合わせて移動する前記先端の位置の軌跡に対応した、前記ポインタによる入力結果を表示させることを特徴とする請求項２に記載のユーザインタフェース装置。
【請求項４】
前記ポインタ位置決定手段は、当該指の接触位置が前記ポインタの表示位置範囲と重畳した当初の時点での当該指の接触位置を、同時点での前記先端の位置に変換する並進変換を算出し、その後の各時点で、当該指の接触位置を該並進変換によって変換した結果の位置を、該ポインタの前記先端の位置とすることを特徴とする請求項１又は２に記載のユーザインタフェース装置。
【請求項５】
前記ポインタによる入力結果は、前記画面に表示された所定の対象が、前記ポインタの先端による作用を受けて変化した結果であることを特徴とする請求項２から４のいずれか１項に記載のユーザインタフェース装置。
【請求項６】
前記ポインタによる入力結果は、前記先端の位置の軌跡を含む筆跡イメージであることを特徴とする請求項２から５のいずれか１項に記載のユーザインタフェース装置。
【請求項７】
前記ポインタ表示手段は、当該指による所定の操作に応じて、前記ポインタとして、右利き用のポインタと左利き用のポインタとを表示し分けることを特徴とする請求項２から６のいずれか１項に記載のユーザインタフェース装置。
【請求項８】
前記動作制御手段は、前記押圧力判定手段が真の判定を行った際、前記ポインタの前記先端の位置を自身の表示位置範囲内に含むオブジェクトに関連付けられた動作を発動させることを特徴とする請求項１に記載のユーザインタフェース装置。
【請求項９】
自身の先端によって入力位置を指し示すポインタを表示するディスプレイと、該ディスプレイの画面上に配置され、指の各時点での接触位置を逐次出力するタッチパネルと、当該指により該タッチパネルに与えられた押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置に搭載されたプログラムであって、
当該指の各時点での接触位置に応じて、前記ポインタの前記先端の位置を逐次決定するポインタ位置決定手段と、
各時点で前記先端が決定された位置となるように前記ポインタを表示させるポインタ表示手段と、
前記押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と、
前記押圧力判定手段が真の判定を行った際、前記ポインタの前記先端の位置に関連付けられた動作を発動させる動作制御手段と
してコンピュータを機能させることを特徴とするユーザインタフェース装置用のプログラム。
【請求項１０】
自身の先端によって入力位置を指し示すポインタを表示するディスプレイと、該ディスプレイの画面上に配置され、指の各時点での接触位置を逐次出力するタッチパネルと、当該指により該タッチパネルに与えられた押圧力を検出する押圧力検出部とを備えたユーザインタフェース装置における動作発動方法であって、
当該指の各時点での接触位置に応じて、前記ポインタの前記先端の位置を逐次決定する第１のステップと、
各時点で前記先端が決定された位置となるように前記ポインタを表示させる第２のステップと、
前記押圧力が所定閾値以上であるか否かを判定する第３のステップと、
第３のステップで真の判定がなされた際、前記ポインタの前記先端の位置に関連付けられた動作を発動させる第４のステップと
を有することを特徴とする動作発動方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−６９１９５（Ｐ２０１３−６９１９５Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０８５０７（Ｐ２０１１−２０８５０７）
【出願日】平成２３年９月２６日（２０１１．９．２６）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【復代理人】
【識別番号】１００１４１３１３
【弁理士】
【氏名又は名称】辰巳 富彦
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２６日（２０１１．９．２６）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【復代理人】
【識別番号】１００１４１３１３
【弁理士】
【氏名又は名称】辰巳 富彦
【Ｆターム（参考）】
[ Back to top ]