情報処理方法及び情報処理装置
【課題】タッチパネルで操作されるマウスポインタを指に隠れずに表示させる機能の提供。
【解決手段】指の移動方向と移動速度に応じて、マウスポインタの指に対する出現位置を自動的に変える。本発明は指し示したい方向に指を速めに移動するだけで、意図する方向にマウスポインタが出現するので自然な操作感を得ることができる。
【解決手段】指の移動方向と移動速度に応じて、マウスポインタの指に対する出現位置を自動的に変える。本発明は指し示したい方向に指を速めに移動するだけで、意図する方向にマウスポインタが出現するので自然な操作感を得ることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
座標入力をする情報入力方法及び情報処理装置に関する。
【背景技術】
【０００２】
最近の電子機器の端末装置に見られるような入力手段としてマウスを使用したインターフェースを搭載した装置から、インターネットを通じて多くの閲覧アプリケーションであるＷＥＢブラウザ等を閲覧することが出来る。このＷＥＢブラウザでは、文字や画像などで構成されている多彩なページに、ハイパーリンクが貼られているケースがある。ハイパーリンク上にマウスポインタを移動すると、マウスポインタの形状が変化して、操作者は、マウスポインタがハイパーリンクに置かれ、マウスをクリックすることでそのリンク先に飛ぶことが出来るということを容易に認識できる。ハイパーリンク上の部分をクリックすることでリンク先の新たなＷＥＢページが開き、更なる関連する情報を閲覧することが出来る。
【０００３】
近年、液晶表示画面の解像度が大きくなり、ＷＥＢブラウザには、より多くの文字、画像を表示することができるようになってきた。解像度の上昇及びディスプレイサイズの小型化が進むに伴い、画面上に表示される文字、画像は細かくなってきている。いかに細かい文字、画像であろうと、マウスでは画面上の任意の部分を指し示すことが出来る。
【０００４】
一方、手に持って操作を行なう携帯機器などの装置では、持ち運びながらの画面操作を行なう必要がある。そのためマウスを使用したインターフェースよりも、装置のディスプレイ上に透明なタッチパネルを装備し、直接画面上の部位を接触するインターフェースのものが普及している。タッチパネルによるインターフェースは、瞬時に指し示したい場所を直感的に操作することが可能であるため、すばやく目的の画面上に配置される操作対象を指し示す手段として有効である。
【０００５】
そこで、タッチパネルを使用し、マウスポインタのような指示表示を画面上に示す手段を持つ装置において、このような小さな文字、画像を指し示す必要性がでてきた。図１は指でタッチパネルを押した座標と液晶表示部にマウスポインタが表示される座標との位置関係を示している。図１に示すようにタッチパネル１が液晶表示部２に貼り合わせられていて、操作者はタッチパネル１の上に指を乗せる。装置はタッチパネルの検出座標４に基づいて、マウスポインタ５をタッチパネルの検出座標４とマウスポインタが指し示す座標６が同じ位置にあるように液晶表示部２の映像として表示する。図２は図１の指でタッチパネル１を押した座標とマウスポインタが表示される座標を操作者が見たときの透視図である。操作者から見れば、図２のように指の真下にマウスポインタがあるという意識で操作することになる。
【０００６】
しかしながら、近年の高解像度の表示画面に表示される小さな文字、画像に張られるハイパーリンクは、指先より小さなものとなっているので、指で指し示そうとしてもマウスポインタ５は自身の指の下に隠れてしまい目視することが出来ない。そのためハイパーリンクが選択状態か否かをマウスポインタの形状の変化により識別することは出来ない。
【０００７】
この問題を解決するために従来は以下のような方法を用いていた。
【０００８】
第一の方法は、タッチパネルの操作を中断、もしくはタッチパネルを装置に持たないというもので、例えば、マウスを使って、画面上にマウスポインタを表示して、目標とするハイパーリンクを指し示す方法である。
【０００９】
類似した方法では、マウスを使わずに遠隔操作でマウスポインタを表示させ、同様の操作をするものもある。たとえば、テレビのリモコンやテレビゲームの十字キーなどのカーソル移動ができるコマンダーなどが該当する。
【００１０】
第二の方法は、表示画面上にある透明タッチパネルを指で直に操作するのではなく、指より先の細いペン状のスタイラスを用意して、目標とするハイパーリンクを指し示す方法である。
【００１１】
上記の第一と第二の方法は、マウスやペンなどの別の入力手段のための道具を用意することで解決しようとしている。別の入力手段のための道具に手を持ち帰るわずらわしさもあり、また、道具をなくしてしまったら、使用できないなどの問題が起きていた。
【００１２】
第三の方法は、指の下にマウスポインタが隠れないように指の周囲にマウスポインタを表示する手段がある（例えば、特許文献１参照。）。また、マウスポインタの表示位置と向きは、マウスポインタが位置する画面の領域によって変化させるように構成されている。
指の真下にマウスポインタがある限り、マウスポインタは指に隠れてしまう。その解決のために特許文献１では、図３に示されるように画面中央に指を置いたときにマウスポインタが指の左側に表示されている状態を示している。この状態であれば、指の左側に表示されるマウスポインタを操作者は指に隠れずに見ることができる。しかし、指を右方向に移動していき、図４に示すように画面の右端に指を移動または、あるいは指を画面の右端に置くと、図５の斜線範囲５１に示される領域についてはマウスポインタで示すことは出来ない。図４は操作者が画面右端に指を置いたときにマウスポインタが指の左側に表示されている状態を示している。また、図５は図４で示す画面右端に指を置いたときにマウスポインタが指し示すことができない範囲を示している。
【００１３】
これらの問題の解決のために特許文献１の解決手段は、図５に示すような画面右端の斜線範囲５１をマウスポインタで指し示すために図６のように画面の右端に近い範囲に指がタッチした場合、指の右側である図６の斜線範囲５１の位置にマウスポインタ６１を表示するというものである。図６は指を左側に移動して指の右側にマウスポインタ６１を表示するようにして、図５でマウスポインタが指し示すことができない範囲５１を指し示すようにする説明図である。この方法であれば、画面右端の領域をマウスポインタで指し示すことができる。
【００１４】
他にもマウスポインタが指で隠れないように指の上方に表示する方法もある（例えば、特許文献２参照。）。しかしながら、画面の上端付近ではマウスポインタが画面からはみ出してしまう。そのため、画面の上端付近ではマウスポインタを指の上方でなく、指の真下に表示することとしている。結果として、マウスポインタが指で隠れてしまう領域が画面に残る。
【００１５】
再び、特許文献１について、図７は図６と同じ位置に指をおいている状態で、指の左側をマウスポインタが指し示している状態を示している。図６の指のタッチ位置と同じ位置に図７のように指を置いた場合にマウスポインタを指の左側（マウスポインタ７１）に表示したい場合もありうる。すなわち、同じ指の位置で２つのマウスポインタ位置を指し示したい不都合が発生する。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開平１１−２４８４１号公報
【特許文献２】特開平９−２３７１５７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１７】
しかしながら、前述した従来の技術において、第一の方法及び第二の方法では、携帯機器などに採用する場合スタイラスの紛失や、余計な機能の物品を多く携帯しなければならないことによる利便性の低下が考えられる。
【００１８】
第三の方法では、画面の上端付近ではマウスポインタが画面からはみ出してしまう。そのため、画面の上端付近ではマウスポインタを指の上方でなく、指の真下に表示することとなる。ゆえに、マウスポインタが指で隠れてしまう領域が画面に残る。
【００１９】
また、多くのアプリケーションにおいて、画面全面に多くのタッチ選択可能なボタンやハイパーリンクを散りばめた画面構成を持つものがある。そのようなアプリケーションは、指のタッチ位置のとき、マウスポインタを指の右の位置に表示したい場合と同じ位置に指を置いた場合にマウスポインタを指の左に表示したい場合もありうる。すなわち、同じ指の位置で２つの異なるマウスポインタ位置を指し示したい不都合が発生する。
【００２０】
特許文献１は画面の端付近で、マウスカーソルを指より画面の外側に出現させるとしている。操作者はタッチパネルを押す場所によってマウスカーソルが指の右左、上下、斜め方向などに自動的に表示されるのであるが、操作者が意図したところにマウスポインタが表示されるとは限らないことは前述の説明で明らかである。
【００２１】
また、特許文献２において、指を離したらすぐにマウスポインタを指の真下に戻すとある。もう一度、指を触れると、マウスポインタは指の上方に表示される。指を離したときにマウスポインタの位置が変わってしまうと指を離す直前に指し示した位置が操作者は分からなくなってしまう問題がある。さらに特許文献２の方法は、タップやダブルタップをした場合にマウスポインタが指し示す位置が指の真下と上方の２つを行き来するので、どちらの位置が選択されるのか判断できない。
【課題を解決するための手段】
【００２２】
本発明は、上記の課題を解決するために、タッチパネルを採用しスタイラスやマウスポインタを用いずに、容易に画面上の任意の箇所を指し示すことが出来るマウスポインタの表示手段を提供する。
【００２３】
方法としての発明を以下に示す。
【００２４】
第１の方法として、入力座標を検出する情報処理方法において、入力座標に関する入力情報を情報入力装置から入手し、入力情報をワークメモリに記録されている情報と比較し、時間的な変化から入力座標の移動方向及び入力座標の移動速度を演算したのちに判断し、入力情報をワークメモリへ記録し、移動速度を予め設定した閾値比較し、移動速度が閾値を超える場合、移動方向から表示領域に表示するマウスポインタの出現方向を選択し、マウスポインタの表示座標を出力する。
【００２５】
第２の方法として、上記第１の方法において、情報入力装置に入力情報が検出され続けている間、マウスポインタの出現方向は一定の方向に保持する。
【００２６】
第３の方法として、上記第１の方法において、情報入力装置に入力情報が検出され続けている間、マウスポインタの出現方向は更新を続ける。
【００２７】
第４の方法として、上記第１ないし第３の方法において、情報入力装置に入力情報が検出されなくなり、予め定めた期間の間に再度入力情報が検出された場合、マウスポインタの出現方向は前回保持した方向とする。
【００２８】
第５の方法として、上記第１ないし第３の方法において、情報入力装置に入力情報が検出されなくなり、予め定めた期間を経過した後に再度入力情報が検出された場合、マウスポインタの出現方向を初期位置に更新する。
【００２９】
第６の方法として、上記第１ないし第３の方法において、マウスポインタの出現方向は、移動方向の方向と同一である。
【００３０】
第７の方法として、上記第１ないし第３の方法において、マウスポインタの出現方向は、移動方向の方向を元にして、入力座標の右上、右下、左上、左下の４種類の位置のいずれかより選択される。
【００３１】
また、手段としての発明を以下に示す。
【００３２】
第１の手段として、情報処理装置はタッチパネルと、タッチパネル制御部と、液晶表示部と、表示制御部と、タッチパネルで入力した情報を出力するインターフェースと、インターフェースからの信号を元に入力座標を演算するＣＰＵと、入力座標を演算するプログラムを記録するプログラムメモリと、ＣＰＵを動作する時に情報を記録する記憶部と、通信、表示、演算、入力などあらゆる制御のプログラムのワーキングエリアとして使用するワークメモリと、により成り立つ。前述のプログラムメモリには、入力座標に関する入力情報を情報入力装置から入手し、入力情報をワークメモリに記録された入力情報と比較し、時間的な変化から入力座標の移動方向及び入力座標の移動速度を判断し、入力情報をワークメモリに記録し、移動速度を予め設定した閾値比較し、移動速度が閾値を超える場合、移動方向から表示領域に表示するマウスポインタの出現方向を選択し、マウスポインタの表示座標を出力するプログラムが記憶されている。
【００３３】
第２の手段として、上記第１の手段において、タッチパネルに入力情報が検出され続けている間、マウスポインタの出現方向は一定の方向に保持される。
【００３４】
第３の手段として、上記第１の手段において、タッチパネルに入力情報が検出され続けている間、マウスポインタの出現方向は更新を続ける。
【００３５】
第４の手段として、上記第１ないし第３の手段において、タッチパネルに入力情報が検出されなくなり、予め定めた期間の間に再度入力情報が検出された場合、マウスポインタの出現方向は前回保持した方向である。
【００３６】
第５の手段として、上記第１ないし第３の手段において、タッチパネルに入力情報が検出されなくなり、予め定めた期間を経過した後に再度入力情報が検出された場合、マウスポインタの出現方向を初期位置に更新する。
【００３７】
第６の手段として、上記第１ないし第３の手段において、マウスポインタの出現方向は、移動方向の方向と同一である。
【００３８】
第７の手段として、上記第１ないし第３の手段において、マウスポインの出現方向は、移動方向の方向を元にして、入力座標の右上、右下、左上、左下の４種類の位置のいずれかを選択する。
【発明の効果】
【００３９】
従来の方法であるタッチパネル上に指を置く位置からマウスポインタの指に対する出現位置を決める方法は、操作者が指の周りのどこにマウスポインタが出現するかわかりづらい。また、表示画面の全部の領域を指し示すことができないので、マウスポインタの指に対する出現箇所をスイッチなどで切り替えるなどの必要があるなど操作者は戸惑うことになるが、本発明はマウスポインタを指し示したい方向に指を速めに移動するだけで意図する方向にマウスポインタが出現するので自然な操作感を得ることができる。
【００４０】
また、本発明の機能は、タッチパネルドライバー側にのみ実装することで実現できるので、画面の座標制御をつかさどるＯＳ、アプリケーションの変更をせずに本機能を従来のタッチパネルと入れ替えて使用することができることから、少ない開発投資で本機能を実現できる利点も併せ持っている。
【図面の簡単な説明】
【００４１】
【図１】タッチパネルを押した座標とマウスポインタが表示される位置関係を説明する図。
【図２】指の真下にマウスポインタが表示される場合を説明する図。
【図３】画面中央に指を置いたときにマウスポインタが左に表示されている状態を示す図。
【図４】画面右端に指を置いたときに指の左側にマウスポインタが表示されることを示す図。
【図５】マウスポインタで指し示すことができなくなる範囲を説明する図。
【図６】特許文献１による解決方法の操作性の不自然さを説明する図。
【図７】特許文献１による解決方法の操作性の不自然さを説明する図。
【図８】マウスカーソルの表示位置を決定する流れを説明する図。
【図９】指と離れたところにマウスポインタの出現座標を示す図。
【図１０】指がＸ方向にＶｋより大きな速度あるいは−Ｖｋより小さな速度で移動したときにマウスポインタの表示位置が変わることを説明する図。
【図１１】指がＹ方向にＶｋより大きな速度あるいは−Ｖｋより小さな速度で移動したときにマウスポインタの表示位置が変わることを説明する図。
【図１２】マウスポインタの出現位置が変わる速度の範囲をＸＹ座標系で説明する図。
【図１３】指がＸ，Ｙ両方向にＶｋより大きな速度、−Ｖｋより小さな速度で移動したときにマウスポインタの表示位置が変わることを説明する図。
【図１４】指の移動ベクトルとマウスポインタの出現位置を説明する図。
【図１５】装置の構成の実施例を説明する図。
【図１６】画面上に現れるマウスポインタを説明する図。
【図１７】マウスポインタが項目を選択したときに形状が変化したことを説明する図。
【図１８】指で項目を選択したときにマウスポインタが指の下に表示されるので見えなくなることを説明する図。
【図１９】指で項目を選択したときにマウスポインタが指の左上表示されることを説明する図。
【図２０】項目を選択したときにマウスポインタが指の左上に形状を変えて表示されることを説明する図。
【図２１】マウスポインタが画面上を指し示すことができる範囲を示す図。
【図２２】マウスポインタが画面上を指し示すことができない範囲を示す図。
【図２３】指の左上に表示されるマウスポインタが画面右上のハイパーリンクを指し示せないことを説明する図。
【図２４】マウスポインタを指の左上から右上に表示を切り替えることにより、画面右上のハイパーリンクを指し示せることを説明する図。
【図２５】マウスポインタを３次元座標で操作する様子を説明する図。
【発明を実施するための形態】
【００４２】
以下に本発明を実施するための形態について図面を参照して説明する。
【実施例】
【００４３】
本発明は、液晶画面などに表示される指先より小さな文字、画像に張られるハイパーリンクなどを指で指し示す新たな手段を提供する。以下の例では、表示画面上にある透明タッチパネルに表示される指先より小さな文字、画像に張られるハイパーリンクを指で直接タッチパネルを操作して、それを指し示す本発明の手段を例に説明するものとする。
以下の説明では、マウスポインタを画面上の意図的に指し示したい場所に指示表示位置を指し示す指示手段として説明しているが、同様な指示手段であるカーソルや領域を指し示すポインタあるいは、指し示す領域の色が反転するような指示手段であっても良い。
【００４４】
本発明は、指の直下にマウスポインタを表示するのではなく、指の周囲にマウスポインタを表示させるようにする。
【００４５】
指の位置とマウスポインタの表示位置との関係は、あらかじめ定義されたオフセット値を持った座標距離をもって離れた位置に表示するものとし、マウスポインタの表示位置を指の移動方向と移動速度から表示位置を決めるものとする。
【００４６】
動作を説明するに当って、便宜上以下のような定義をする。
【００４７】
図８は本発明の具体的な処理の流れの例を示している。
【００４８】
図１において、タッチパネルの検出座標４は座標（Ｘ０，Ｙ０）と定義し、マウスポインタが指し示す座標６を座標（Ｘ１，Ｙ１）とする。
【００４９】
図８の処理８１ではタッチパネルの検出座標４（Ｘ０，Ｙ０）を得ている。
【００５０】
図２は操作者がマウスポインタが指し示す座標６を指の上から見たときにタッチパネルの検出座標４（Ｘ０，Ｙ０）はマウスポインタが指し示す座標６（Ｘ１，Ｙ１）と同じ、すなわち数１及び数２のようにキャリブレーションされた状態にあることを図２は説明している。
（数１） Ｘ１ ＝ Ｘ０
（数２） Ｙ１ ＝ Ｙ０
これは、通常用いられるペンを使用したタッチパネルで運用される座標と同じ概念である。すなわち、タッチパネルの検出座標４（Ｘ０，Ｙ０）が、表示上の論理的な座標に変換されて、アプリケーションソフトは、マウスポインタが指し示す座標６（Ｘ１，Ｙ１）から、ボタンやハイパーリンクが選択されたかどうかを知ることができる。
【００５１】
本発明の一例として、以下に示すように表示上の論理的な座標を指先の大きさ分以上タッチパネルの検出座標４（Ｘ０，Ｙ０）から離れた相対的なオフセット位置（Ｘａ、Ｙａ）に表示する。
【００５２】
すなわち以下の数３及び数４で示される。
（数３） Ｘ１ ＝ Ｘ０ ＋ Ｘａ
（数４） Ｙ１ ＝ Ｙ０ ＋ Ｙａ
数３、数４のタッチパネルの検出座標４（Ｘ０，Ｙ０）とマウスポインタが指し示す座標６（Ｘ１，Ｙ１）の関係は、図９で示す位置関係に図示される。
【００５３】
図８の処理８２では、指の移動方向と移動速度を得ている。
【００５４】
タッチパネルを押し続けたままの移動による操作で、その移動速度によってマウスポインタの出現座標（Ｘ１，Ｙ１）が先の数３、数４によって、決まるものとする。
【００５５】
Ｘａ，Ｙａの具体的な設定方法について説明する。
【００５６】
Ｘａ，Ｙａはあらかじめ設定した初期値Ｘａ０，Ｙａ０をもっているものとする。
【００５７】
すなわち、Ｘａ，Ｙａの初期値は以下の数５、数６で示される。
（数５） Ｘａ ＝ −Ｘａ０
（数６） Ｙａ ＝ −Ｙａ０
図９はあらかじめ設定した初期値である数５、数６にあるときの指とマウスポインタの座標の関係を図示したものである。
【００５８】
初期値Ｘａ０，Ｙａ０がいずれも正の定数であれば、タッチパネルを押された座標（Ｘ０，Ｙ０）は表示上の論理的な座標（Ｘ１，Ｙ１）の関係は図９で示すように指の右上にマウスポインタが表示される。
【００５９】
本発明の機能は、タッチパネルを押された座標の時間的な変化があらかじめ定めた敷居値を超えた場合にＸａ，Ｙａが変わるというものであるの。タッチパネルを押された座標の時間的な変化すなわち移動速度を（Ｖｘ，Ｖｙ）とする。図８の符号８３では、指の移動速度の判断処理が行なわれる。
【００６０】
Ｘａ、Ｙａは以下の数７から数１０の条件で変化する。
（数７） Ｖｘ ＞ Ｖｋ のとき、 Ｘａ ＝ Ｘａ０
（数８） Ｖｘ ＜ −Ｖｋ のとき、 Ｘａ ＝ −Ｘａ０
（数９） Ｖｙ ＞ Ｖｋ のとき、 Ｙａ ＝ Ｙａ０
（数１０） Ｖｙ ＜ −Ｖｋ のとき、 Ｙａ ＝ −Ｙａ０
Ｖｘがあらかじめ定められた定数Ｖｋを超えると、数７で示されるようにＸａは正数Ｘａ０になる。
【００６１】
図１０、図１１、図１３は数７〜数１０に基づいた指の触れた座標（Ｘ０，Ｙ０）とマウスポインタ（Ｘ１，Ｙ１）の関係を示している。Ｘ方向の移動について、図１０（ｂ）は数７で示す指の移動速度の条件のときにマウスポインタが指の右方向に表示位置を変えることを示している。同様に図１０（ａ）は数８で示す指の移動速度の条件のときにマウスポインタが指の左方向に表示位置を変えることを示している。Ｙ方向の移動については、図１１（ｂ）は数９で示す指の移動速度の条件のときにマウスポインタが指の下方向に表示位置を変えることを示している。同様に図１１（ａ）は数１０で示す指の移動速度の条件のときにマウスポインタが指の上方向に表示位置を変えることを示している。
【００６２】
図１２はＸＹ座標系でＸ及びＹ方向の速度とマウスポインタの指に対する出現位置が変化する範囲を図示している。図１２（ａ）はＸ方向についてのマウスポインタが出現する位置の変化する範囲を斜線範囲１２４および１２５で示しており、１２２で示すＶｘ＝−Ｖｋの位置より小さい斜線範囲１２４では数８が適用される。１２３で示すＶｘ＝Ｖｋの位置より大きい斜線範囲１２５では数７が適用される。
【００６３】
図１２（ｂ）はＹ方向についてのマウスポインタが出現する位置の変化する範囲を斜線範囲１２８および１２９で示しており、１２６で示すＶｙ＝−Ｖｋの位置より小さい斜線範囲１２８では数１０が適用される。１２７で示すＶｙ＝Ｖｋの位置より大きい斜線範囲１２９では数９が適用される。
【００６４】
図１３は指のＸおよびＹ方向の移動速度Ｖｘ、Ｖｙが−ＶｋあるいはＶｋを超えたときに指とマウスポインタとのＸおよびＹ方向位置関係が変化することを示している。先の図１２との関係と説明すると、図１２（ａ）の１２４の範囲では図１３（ａ）あるいは図１３（ｃ）の位置にマウスポインタが表示され、図１２（ａ）の１２５の範囲では図１３（ｂ）あるいは図１３（ｄ）の位置にマウスポインタが表示される。
【００６５】
図１２（ｂ）の１２８の範囲では図１３（ａ）あるいは図１３（ｂ）の位置にマウスポインタが表示され、図１２（ｂ）の１２９の範囲では図１３（ｃ）あるいは図１３（ｄ）の位置にマウスポインタが表示される。
結果、マウスポインタの出現位置は、図１３に示すように指の真下より所定された距離を置いた左上、左下、右上、右下４箇所のいずれかに現れるものとする。
【００６６】
上記、指の移動方向からマウスの出現位置を選択する処理は図８の処理８４で示すものである。また、図８の処理８５にてマウスポインタを座標（Ｘ１，Ｙ１）で指し示す位置に表示することとしている。
【００６７】
図１４はマウスポインタの出現候補の箇所を増やした例を示している。
【００６８】
上記実施例では、マウスポインタの出現位置が指の周りの４箇所に限定されるが、本発明の請求項は、出現位置は４箇所に限定する必要はなく、例えば図１４に示すように指の周囲にいくつかの出現箇所があって、その出現位置がマウスポインタの移動方向と移動速度によって選択されるというものでも良いことは明らかである。すなわち移動速度のベクトルがある値を超えたときに移動速度のベクトルの方向の情報からマウスポインタを出現させる位置を決めるようにしても良い。
【００６９】
具体的には、指の移動ベクトルのスカラー量がＶｋを超えていたときに先のマウスポインタの出現箇所を新たな表示箇所とする。
【００７０】
次に指の移動ベクトルを各移動ベクトルの候補の方向のスカラー量を求めて、もっとも最大のものをマウスポインタの出現箇所の候補とする。
【００７１】
あるいは、前述のＸＹ座標平面を極座標に見直して、指の移動ベクトルの角度がマウスポインタの出現箇所にもっとも近いものを出現箇所の候補とするなどとしてもよい。
【００７２】
図１４にて具体的な手段を説明する。１４０は指の移動ベクトルであり、指の移動方向と移動速度を示している。マウスポインタが指に隠れない指のタッチ位置から距離を持った位置候補１４１にマウスポインタＡ（１４２）〜マウスポインタＨ（１４９）をマウスポインタの出現候補とする。
【００７３】
指の移動ベクトル１４１のスカラー量が定められた設定量Ｖｋを超えたときにマウスポインタの出現位置を新たに選択し直すべく次にマウスポインタＡ（１４２）〜マウスポインタＨ（１４９）の候補からいずれか１つを選択する。
【００７４】
図１４では説明をわかりやすくするためにマウスポインタＡ（１４２）とマウスポインタＢ（１４３）についていずれが選択されるのかその方法を図示している。指の移動ベクトル１４１のマウスポインタＡ（１４２）およびマウスポインタＢ（１４３）のスカラー量を指の移動ベクトル１４１よりそれぞれに垂線を降ろして、それぞれの量を指の移動ベクトルの１４２方向のスカラー量（１４２ａ）および指の移動ベクトルの１４３方向のスカラー量（１４３ａ）とする。図１４より数１１が示される。
（数１１） １４２ａ ＜ １４３ａ
１４３のベクトル方向のスカラー量が１４２のベクトル方向のスカラー量より大きいと判断して、マウスポインタＢ（１４３）を選択する。結果として、１４３方向にあるマウスポインタＢ（１４３）が選択されて表示されることになる。指の移動ベクトル１４１のスカラー量が定められた設定量Ｖｋを超えない場合には、タッチパネルの検出座標とマウスポインタ表示位置の相対位置は変化しないものとする。
【００７５】
本発明では、指をあらかじめ定めた時間ｔ以上離した場合に、マウスポインタを常に指の左上などあらかじめ定める所定位置に表示するようにする。すなわち数１２及び数１３のように設定するものとすればよい。
（数１２） Ｘａ ＝ −Ｘａ０
（数１３） Ｙａ ＝ −Ｙａ０
この機能は、タップなどの操作との区別にも作用する。
【００７６】
例えば、ハイパーリンクを指し示したときにマウスポインタが形状を変化させる。その後、操作者はこれをタップするとする。このとき、わずかな時間、指がタッチパネルを離れる。その場合にマウスポインタの出現位置が変わってしまっては操作者が混乱するので、タップと認識される間隔時間より時間ｔを大きくしておけばよい。そのようにすれば、タップによってマウスポインタの出現位置が変化せず同じ場所にとどまるので操作者はマウスポインタで選択した対象を認識してタップを実行できる。
【００７７】
アプリケーションソフトウェアの性質からマウスポインタの表示位置が、指の左上の位置に固定であった方が都合のよい場合は、本発明の機能をＯＦＦとすることができても良い。例えば、ドローイング、文字入力など指の移動でマウスポインタの出現位置が移動しては困るようなアプリケーションでは、本発明の機能をＯＦＦとしてマウスポインタを常に指の左上に表示するようにしてもよい。
【００７８】
タッチパネル制御部では、指が押された座標を取得する。指が押されたまま移動するときに、指の移動方向と移動速度を座標の時間的変化から得ることができる。移動方向からマウスポインタの指の周囲の出現位置を選択し、移動速度がある定めた値を超えたときに指の真下から距離を置いた選択された出現位置にマウスポインタの座標を決定する。表示制御部は得られたマウスポインタ位置にマウスポインタを表示する。ＯＳは得られたマウスポインタの位置情報をもって制御を行なう。
【００７９】
本発明は、携帯端末のような多くの文字情報を画面上に表示して、それをマウスポインタで選択するような用途に使用することが適している。
例えば、携帯電話のＷＥＢブラウザの操作や、ＰＤＡに表示される地図表示にアイコンや文字があり、これにハイパーリンクがあってマウスポインタで指し示すようなアプリケーションにも有効である。
【００８０】
図１の液晶表示部２は、携帯電話で用いられる数インチサイズのものから、ＰＤＡ端末のような１０インチサイズのものなどの大きさを問わない液晶表示とする。表示部は液晶だけでなく、ＣＲＴのようなブラウン管のモニタであってもかまわない。
タッチパネル１は、静電容量方式、抵抗膜方式、超音波方式、温度検出方式、電磁誘導方式などで液晶表示に重ねて表示の内容が透けて見える透明な座標検出ができるタッチパネルである。
【００８１】
また、液晶表示部２とタッチパネル１を一体とした液晶表示体であってもよい。
【００８２】
図１５は本発明の実施形態の構成例であり、これを説明する。
【００８３】
液晶表示部２の表示上面にタッチパネル１が貼り合わさっている。液晶表示部２は表示制御部から表示データ１５８を受け取って、液晶をドライブして表示する。タッチパネル１は操作者がタッチパネル１を触ると指３の検出情報１５７はタッチパネル制御部１５５へ渡される。指３の検出情報１５７には指の距離情報、指を押した強さ、面積、指の本数などの情報のもととなる電気信号を有している。
【００８４】
タッチパネル制御部は指３の検出情報より演算処理により、指のＸＹ座標、指を押した強さ、面積、指の本数などを座標データ１５９として取り出す。
【００８５】
座標データ１５９はタッチパネルインターフェース１５３を介してＣＰＵ１５０へ伝達される。タッチパネルインターフェース１５３はＵＳＢ、ＰＳ２インターフェース、Ｉ２Ｃ−ＢＵＳ、同期式、非同期式シリアルなどが一般的なインターフェースとして使われる。
【００８６】
ＣＰＵ１５０はプログラムメモリに動作をつかさどるプログラムが格納されていて、これを読み出して実行する。装置はソフトウェアとしてＯＳを積んでいるものがあり、多くの場合、記憶部にＯＳのプログラムを格納する。記憶部は先のプログラムメモリ１５２と同様な半導体メモリやハードディスクなどである。ＣＰＵ１５０はワークメモリ１５４を通信、表示、演算、入力などあらゆる制御のプログラムのワーキングエリアとして使用する。ワークメモリ１５４は半導体メモリであり、今日はＳＲＡＭ、ＤＲＡＭが主流となっている。
【００８７】
表示制御部１５６は、接続される出力デバイスであるＬＣＤやモニタなど表示デバイスに表示画像を映像として出力する。表示制御部１５６には表示メモリを表示されるイメージとして画面１枚もしくは複数のバッファとして用意しており、これを表示サイクルに応じてスキャンして読み出し、表示デバイスに送り出す。ＣＰＵ１５０はマウスポインタの画像を、背景画像と共に表示メモリに書き出す。そして、表示制御部１５６はこれを表示デバイスに表示データとして送り出して、マウスポインタとその背景画像を表示デバイスに表示する。
【００８８】
図１６はファミリーレストラン、居酒屋などで使用されるウェイトレスが調理の注文をするオーダリング端末を本発明の例として説明する図である。
【００８９】
図１６はオーダリング端末に３品のオーダーメニューが表示された状態である。ウェイトレスは３品のいずれかをタッチパネルを使用して、画面上に表示されているハイパーリンクのステーキ１６１、ハンバーグ１６２、サラダバー１６３のいずれかを選択する。１６４のマウスポインタは、前述したハイパーリンクのいずれも選択しない状態にある。
【００９０】
図１７は図１６のオーダー注文端末にて注文項目をマウスポインタが選択したときの説明をする図である。
【００９１】
図１７はマウスポインタ１７１がハンバーグ１６２を選択した状態にあり、マウスポインタ１７１の形状が図１６のマウスポインタ１６４から指のマークに変化していることを示している。
【００９２】
図１８は指でオーダー注文端末の注文項目を押して選択したときの図である。
【００９３】
しかしながら、ウェイトレスが持ち歩くオーダリング端末はその携帯性を重視して装置の形状を小さく、画面を小さく、表示されるメニューも小さくなる傾向にある。また、ハイパーリンクが張られている画面上の３品のメニューが小さく表示される場合には、図１８のようにマウスポインタが指３の下に隠れてしまう問題が発生する。そのために指３の下でハンバーグが選択されて、図１７の１７１のようにマウスポインタ形状が変化していたとしてもそれをウェイトレスは見ることができない。
【００９４】
この問題を回避するために指でなく先の小さなペンを使用してタッチパネルを操作すれば、図１７のような変化するマウスポインタ１７１が、押されたペンの隙間から確認できる。しかし、注文をとるたびにペンを取り出す時間と手間が必要になり、ペンを紛失するリスクもあり、運用に支障をきたすことになる。結果として、このような不便な仕様を持つペンを使用した携帯端末の用途は限られたものになっている。
【００９５】
従来のタッチパネルの操作に指を使用したときの問題について図１８を使用して説明すると、指３の下にマウスポインタが隠れてしまい不便となることが理解できる。
【００９６】
図１９は指の左上にマウスポインタが表示されるようにしたときの説明をする図である。
【００９７】
図２０は注文したいオーダーにマウスポインタが移動するように指３を移動してマウスポインタ２１１が選択されたことを示した図である。
【００９８】
図１９は常に指３の左上にマウスポインタ１９１が表示されるようにした場合である。指３とマウスポインタ１９１との関係は図９のように指に隠れないような距離を持ってマウスポインタ５を指３から離した距離に表示する。このような手段を使って図２０のようにハンバーグを選択する位置まで指を移動してマウスポインタの形状が変化することが確認できるようになる。
【００９９】
このようにして指の左上に表示するようにしたマウスポインタは図２１のような表示画面の範囲を指し示すことができることがわかる。画面の左上を指し示したい場合は、指を２１１の位置に置き、マウスポインタを２１５の位置に表示する。画面の左下を指し示したい場合は、指を２１２に位置に置き、マウスポインタを２１６の位置に表示する。画面の右上を指し示したい場合は指を２１３の位置に置き、マウスポインタを２１７の位置に表示する。画面の右下を指し示したい場合は、指を２１４の位置に置き、マウスポインタを２１８の位置に表示する。しかし、図２１及び図２２の斜線範囲２１９ように指し示すことができない範囲が存在する。
【０１００】
図２３はオーダー注文端末の画面の上端にページ移動のハイパーリンクを設けた例を示している。この様なアプリケーションでは、マウスポインタ２３１が指２３２の左上に表示されているために、画面右上の「次のページ」と記したハイパーリンク２３４をマウスポインタ２３１で指し示すことができない。
【０１０１】
図２４はオーダー注文端末の画面にて指を移動してマウスポインタを右上端のハイパーリンクを指し示すことに成功する例を示している。本発明では図２４のように指を２４２の位置から２４４の位置に２４３で示す方向に右上方向に定めた速度を超えて移動する。その後、マウスカーソル２４５の位置が指の右上に表示される。操作者は徐々に「次のページ」と記したハイパーリンク２３４を指し示す位置に移動しながら指し示すことができるようになる。
【０１０２】
本発明の説明ではタッチ位置検出機能として、透明タッチパネルを実施例に説明してきたが、タッチ位置検出機能の範疇として例えば３次元に操作できる指のタッチ位置検出機能を定義してもよい。例えば、３次元上に浮かんで見える映像を指でタッチするタッチ位置検出機能によって検出される指の位置から、マウスポインタを操作者が指で隠れないように指の周りにマウスポインタを表示するといった構成のものに使用することもできる。
【０１０３】
図２５は、表示画面の上に操作するタッチパネルがある場合に限らず、表示イメージおよびマウスポインタがＸ，Ｙ，Ｚ軸を持つ３次元空間に存在するような３次元座標で操作する場合にも利用できることを説明するものである。符号２５６，２５７，２５８は指し示したい対象物であるイメージが３次元座標に存在するように映像されていて、それぞれイチゴのイメージ、ぶどうのイメージ、桃のイメージが表示されている。操作者の指２５１は、それらを指し示すように３次元の方向に操作できるものである。しかしながら、操作者の視線２５４は指を見ているが、視線２５４の向こう側にマウスポインタが存在しても、それが対象物であるイメージをさしているのか指に隠れて確認できない。操作者はイメージ２５６を指し示したいとするならば、ＸＹ座標方向に指を２５６方向にすばやく移動することで、マウスポインタ２５２の位置にマウスポインタを表示させ、さらにゆっくりと対象物のイメージ２５６を指し示すように指を操作して、視線２５３の方向にマウスポインタ２５２を指２５２に隠れずに対象物のイメージ２５６を指し示すことができるようになる。
【０１０４】
また、３次元座標上において、マウスポインタの出現方向はＸＹ座標面に限定されたものに限らず、Ｚ軸方向を加え、３次元座標上の移動方向に対応した方向にマウスポインタを出現させることも出来る。
【符号の説明】
【０１０５】
１ タッチパネル
２ 液晶表示部
３ 指
４ タッチパネルの検出座標
５ マウスポインタ
６ マウスポインタで示す座標
２１ タッチパネルの検出座標と同一座標にあるマウスポインタ
３１ 指の左側にあるマウスポインタ
４１ 指の左側にあるマウスポインタ
５１ マウスポインタ選択不可範囲
６１ 指の右側に表示されるマウスポインタ
７１ 指の左側に表示されるマウスポインタ
８１ 指のタッチ座標を得る処理
８２ 指の移動方向、移動速度を求める処理
８３ 移動速度が敷居値を越えたか判断する処理
８４ 移動方向からマウスポインタ出現位置を選択する処理
８５ マウスポインタを表示する処理
９１ Ｙ軸オフセット距離 Ｙａ
９２ Ｘ軸オフセット距離 Ｘａ
１０１ 指の左上に表示されるマウスポインタ
１０２ 指の右上に表示されるマウスポインタ
１０３ Ｘ軸負方向へのオフセット距離 Ｘａ ＝ −Ｘａ０
１０４ Ｘ軸正方向へのオフセット距離 Ｘａ ＝ Ｘａ０
１１１ 指の右上に表示されるマウスポインタ
１１２ 指の右下に表示されるマウスポインタ
１１３ Ｙ軸正方向へのオフセット距離 Ｙａ ＝ Ｙａ０
１１４ Ｙ軸負方向へのオフセット距離 Ｙａ ＝ −Ｙａ０
１２１ ＸＹ両方向とも速度０の位置
１２２ Ｖｘ ＝ −Ｖｋの位置
１２３ Ｖｘ ＝ Ｖｋの位置
１２４ 数８が適用されるＸ方向の速度の領域（斜線部分）
１２５ 数７が適用されるＸ方向の速度の領域（斜線部分）
１２６ Ｖｙ ＝ −Ｖｋの位置
１２７ Ｖｙ ＝ Ｖｋの位置
１２８ 数１０が適用されるＹ方向の速度の領域（斜線部分）
１２９ 数９が適用されるＹ方向の速度の領域（斜線部分）
１３１ 指の左上に表示されるマウスポインタ
１３２ 指の右上に表示されるマウスポインタ
１３３ 指の左下に表示されるマウスポインタ
１３４ 指の右下に表示されるマウスポインタ
１３５ Ｙ軸正方向へのオフセット距離 Ｙａ ＝ Ｙａ０
１３６ Ｘ軸負方向へのオフセット距離 Ｘａ ＝ −Ｘａ０
１３７ Ｘ軸正方向へのオフセット距離 Ｘａ ＝ Ｘａ０
１３８ Ｙ軸負方向へのオフセット距離 Ｙａ ＝ −Ｙａ０
１４０ 指の移動ベクトル
１４１ マウスポインタの位置候補
１４２ マウスポインタ表示位置Ａ
１４２ａ 指の移動ベクトルの１４２方向のスカラー量
１４３ マウスポインタ表示位置Ｂ
１４３ａ 指の移動ベクトルの１４３方向のスカラー量
１４４ マウスポインタ表示位置Ｃ
１４５ マウスポインタ表示位置Ｄ
１４６ マウスポインタ表示位置Ｅ
１４７ マウスポインタ表示位置Ｆ
１４８ マウスポインタ表示位置Ｇ
１４９ マウスポインタ表示位置Ｈ
１５０ ＣＰＵ
１５１ 記憶部
１５２ プログラムメモリ
１５３ タッチパネルインターフェース
１５４ ワークメモリ
１５５ タッチパネル制御部
１５６ 表示制御部
１５７ 指の検出情報
１５８ 表示データ
１５９ タッチパネルの検出座標データ
１６１〜１６３ ハイパーリンク文字
１６４ ハイパーリンク非選択時のマウスポインタ
１７１ ハイパーリンク選択時のマウスポインタ
１９１ ハイパーリンク非選択時のマウスポインタ
２０１ ハイパーリンク選択時のマウスポインタ
２１１ 左上にある指
２１２ 左下にある指
２１３ 右上にある指
２１４ 右下にある指
２１５，２１６，２１７，２１８ 指の左上に表示されるマウスポインタ
２１９ マウスポインタ選択不可範囲
２３１ ハイパーリンク非選択時のマウスポインタ
２３２ 指
２３３、２３４ ハイパーリンク文字
２４１ 移動前のマウスポインタ
２４２ 移動前の指
２４３ 指の移動ベクトル
２４４ 移動後の指
２４５ 移動後のマウスポインタ
２５１ 指
２５２ マウスポインタ
２５３ 操作者の視点Ａ
２５４ 操作者の視点Ｂ
２５５ 操作者の目
２５６ イチゴのイメージ
２５７ ぶどうのイメージ
２５８ 桃のイメージ
【技術分野】
【０００１】
座標入力をする情報入力方法及び情報処理装置に関する。
【背景技術】
【０００２】
最近の電子機器の端末装置に見られるような入力手段としてマウスを使用したインターフェースを搭載した装置から、インターネットを通じて多くの閲覧アプリケーションであるＷＥＢブラウザ等を閲覧することが出来る。このＷＥＢブラウザでは、文字や画像などで構成されている多彩なページに、ハイパーリンクが貼られているケースがある。ハイパーリンク上にマウスポインタを移動すると、マウスポインタの形状が変化して、操作者は、マウスポインタがハイパーリンクに置かれ、マウスをクリックすることでそのリンク先に飛ぶことが出来るということを容易に認識できる。ハイパーリンク上の部分をクリックすることでリンク先の新たなＷＥＢページが開き、更なる関連する情報を閲覧することが出来る。
【０００３】
近年、液晶表示画面の解像度が大きくなり、ＷＥＢブラウザには、より多くの文字、画像を表示することができるようになってきた。解像度の上昇及びディスプレイサイズの小型化が進むに伴い、画面上に表示される文字、画像は細かくなってきている。いかに細かい文字、画像であろうと、マウスでは画面上の任意の部分を指し示すことが出来る。
【０００４】
一方、手に持って操作を行なう携帯機器などの装置では、持ち運びながらの画面操作を行なう必要がある。そのためマウスを使用したインターフェースよりも、装置のディスプレイ上に透明なタッチパネルを装備し、直接画面上の部位を接触するインターフェースのものが普及している。タッチパネルによるインターフェースは、瞬時に指し示したい場所を直感的に操作することが可能であるため、すばやく目的の画面上に配置される操作対象を指し示す手段として有効である。
【０００５】
そこで、タッチパネルを使用し、マウスポインタのような指示表示を画面上に示す手段を持つ装置において、このような小さな文字、画像を指し示す必要性がでてきた。図１は指でタッチパネルを押した座標と液晶表示部にマウスポインタが表示される座標との位置関係を示している。図１に示すようにタッチパネル１が液晶表示部２に貼り合わせられていて、操作者はタッチパネル１の上に指を乗せる。装置はタッチパネルの検出座標４に基づいて、マウスポインタ５をタッチパネルの検出座標４とマウスポインタが指し示す座標６が同じ位置にあるように液晶表示部２の映像として表示する。図２は図１の指でタッチパネル１を押した座標とマウスポインタが表示される座標を操作者が見たときの透視図である。操作者から見れば、図２のように指の真下にマウスポインタがあるという意識で操作することになる。
【０００６】
しかしながら、近年の高解像度の表示画面に表示される小さな文字、画像に張られるハイパーリンクは、指先より小さなものとなっているので、指で指し示そうとしてもマウスポインタ５は自身の指の下に隠れてしまい目視することが出来ない。そのためハイパーリンクが選択状態か否かをマウスポインタの形状の変化により識別することは出来ない。
【０００７】
この問題を解決するために従来は以下のような方法を用いていた。
【０００８】
第一の方法は、タッチパネルの操作を中断、もしくはタッチパネルを装置に持たないというもので、例えば、マウスを使って、画面上にマウスポインタを表示して、目標とするハイパーリンクを指し示す方法である。
【０００９】
類似した方法では、マウスを使わずに遠隔操作でマウスポインタを表示させ、同様の操作をするものもある。たとえば、テレビのリモコンやテレビゲームの十字キーなどのカーソル移動ができるコマンダーなどが該当する。
【００１０】
第二の方法は、表示画面上にある透明タッチパネルを指で直に操作するのではなく、指より先の細いペン状のスタイラスを用意して、目標とするハイパーリンクを指し示す方法である。
【００１１】
上記の第一と第二の方法は、マウスやペンなどの別の入力手段のための道具を用意することで解決しようとしている。別の入力手段のための道具に手を持ち帰るわずらわしさもあり、また、道具をなくしてしまったら、使用できないなどの問題が起きていた。
【００１２】
第三の方法は、指の下にマウスポインタが隠れないように指の周囲にマウスポインタを表示する手段がある（例えば、特許文献１参照。）。また、マウスポインタの表示位置と向きは、マウスポインタが位置する画面の領域によって変化させるように構成されている。
指の真下にマウスポインタがある限り、マウスポインタは指に隠れてしまう。その解決のために特許文献１では、図３に示されるように画面中央に指を置いたときにマウスポインタが指の左側に表示されている状態を示している。この状態であれば、指の左側に表示されるマウスポインタを操作者は指に隠れずに見ることができる。しかし、指を右方向に移動していき、図４に示すように画面の右端に指を移動または、あるいは指を画面の右端に置くと、図５の斜線範囲５１に示される領域についてはマウスポインタで示すことは出来ない。図４は操作者が画面右端に指を置いたときにマウスポインタが指の左側に表示されている状態を示している。また、図５は図４で示す画面右端に指を置いたときにマウスポインタが指し示すことができない範囲を示している。
【００１３】
これらの問題の解決のために特許文献１の解決手段は、図５に示すような画面右端の斜線範囲５１をマウスポインタで指し示すために図６のように画面の右端に近い範囲に指がタッチした場合、指の右側である図６の斜線範囲５１の位置にマウスポインタ６１を表示するというものである。図６は指を左側に移動して指の右側にマウスポインタ６１を表示するようにして、図５でマウスポインタが指し示すことができない範囲５１を指し示すようにする説明図である。この方法であれば、画面右端の領域をマウスポインタで指し示すことができる。
【００１４】
他にもマウスポインタが指で隠れないように指の上方に表示する方法もある（例えば、特許文献２参照。）。しかしながら、画面の上端付近ではマウスポインタが画面からはみ出してしまう。そのため、画面の上端付近ではマウスポインタを指の上方でなく、指の真下に表示することとしている。結果として、マウスポインタが指で隠れてしまう領域が画面に残る。
【００１５】
再び、特許文献１について、図７は図６と同じ位置に指をおいている状態で、指の左側をマウスポインタが指し示している状態を示している。図６の指のタッチ位置と同じ位置に図７のように指を置いた場合にマウスポインタを指の左側（マウスポインタ７１）に表示したい場合もありうる。すなわち、同じ指の位置で２つのマウスポインタ位置を指し示したい不都合が発生する。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開平１１−２４８４１号公報
【特許文献２】特開平９−２３７１５７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１７】
しかしながら、前述した従来の技術において、第一の方法及び第二の方法では、携帯機器などに採用する場合スタイラスの紛失や、余計な機能の物品を多く携帯しなければならないことによる利便性の低下が考えられる。
【００１８】
第三の方法では、画面の上端付近ではマウスポインタが画面からはみ出してしまう。そのため、画面の上端付近ではマウスポインタを指の上方でなく、指の真下に表示することとなる。ゆえに、マウスポインタが指で隠れてしまう領域が画面に残る。
【００１９】
また、多くのアプリケーションにおいて、画面全面に多くのタッチ選択可能なボタンやハイパーリンクを散りばめた画面構成を持つものがある。そのようなアプリケーションは、指のタッチ位置のとき、マウスポインタを指の右の位置に表示したい場合と同じ位置に指を置いた場合にマウスポインタを指の左に表示したい場合もありうる。すなわち、同じ指の位置で２つの異なるマウスポインタ位置を指し示したい不都合が発生する。
【００２０】
特許文献１は画面の端付近で、マウスカーソルを指より画面の外側に出現させるとしている。操作者はタッチパネルを押す場所によってマウスカーソルが指の右左、上下、斜め方向などに自動的に表示されるのであるが、操作者が意図したところにマウスポインタが表示されるとは限らないことは前述の説明で明らかである。
【００２１】
また、特許文献２において、指を離したらすぐにマウスポインタを指の真下に戻すとある。もう一度、指を触れると、マウスポインタは指の上方に表示される。指を離したときにマウスポインタの位置が変わってしまうと指を離す直前に指し示した位置が操作者は分からなくなってしまう問題がある。さらに特許文献２の方法は、タップやダブルタップをした場合にマウスポインタが指し示す位置が指の真下と上方の２つを行き来するので、どちらの位置が選択されるのか判断できない。
【課題を解決するための手段】
【００２２】
本発明は、上記の課題を解決するために、タッチパネルを採用しスタイラスやマウスポインタを用いずに、容易に画面上の任意の箇所を指し示すことが出来るマウスポインタの表示手段を提供する。
【００２３】
方法としての発明を以下に示す。
【００２４】
第１の方法として、入力座標を検出する情報処理方法において、入力座標に関する入力情報を情報入力装置から入手し、入力情報をワークメモリに記録されている情報と比較し、時間的な変化から入力座標の移動方向及び入力座標の移動速度を演算したのちに判断し、入力情報をワークメモリへ記録し、移動速度を予め設定した閾値比較し、移動速度が閾値を超える場合、移動方向から表示領域に表示するマウスポインタの出現方向を選択し、マウスポインタの表示座標を出力する。
【００２５】
第２の方法として、上記第１の方法において、情報入力装置に入力情報が検出され続けている間、マウスポインタの出現方向は一定の方向に保持する。
【００２６】
第３の方法として、上記第１の方法において、情報入力装置に入力情報が検出され続けている間、マウスポインタの出現方向は更新を続ける。
【００２７】
第４の方法として、上記第１ないし第３の方法において、情報入力装置に入力情報が検出されなくなり、予め定めた期間の間に再度入力情報が検出された場合、マウスポインタの出現方向は前回保持した方向とする。
【００２８】
第５の方法として、上記第１ないし第３の方法において、情報入力装置に入力情報が検出されなくなり、予め定めた期間を経過した後に再度入力情報が検出された場合、マウスポインタの出現方向を初期位置に更新する。
【００２９】
第６の方法として、上記第１ないし第３の方法において、マウスポインタの出現方向は、移動方向の方向と同一である。
【００３０】
第７の方法として、上記第１ないし第３の方法において、マウスポインタの出現方向は、移動方向の方向を元にして、入力座標の右上、右下、左上、左下の４種類の位置のいずれかより選択される。
【００３１】
また、手段としての発明を以下に示す。
【００３２】
第１の手段として、情報処理装置はタッチパネルと、タッチパネル制御部と、液晶表示部と、表示制御部と、タッチパネルで入力した情報を出力するインターフェースと、インターフェースからの信号を元に入力座標を演算するＣＰＵと、入力座標を演算するプログラムを記録するプログラムメモリと、ＣＰＵを動作する時に情報を記録する記憶部と、通信、表示、演算、入力などあらゆる制御のプログラムのワーキングエリアとして使用するワークメモリと、により成り立つ。前述のプログラムメモリには、入力座標に関する入力情報を情報入力装置から入手し、入力情報をワークメモリに記録された入力情報と比較し、時間的な変化から入力座標の移動方向及び入力座標の移動速度を判断し、入力情報をワークメモリに記録し、移動速度を予め設定した閾値比較し、移動速度が閾値を超える場合、移動方向から表示領域に表示するマウスポインタの出現方向を選択し、マウスポインタの表示座標を出力するプログラムが記憶されている。
【００３３】
第２の手段として、上記第１の手段において、タッチパネルに入力情報が検出され続けている間、マウスポインタの出現方向は一定の方向に保持される。
【００３４】
第３の手段として、上記第１の手段において、タッチパネルに入力情報が検出され続けている間、マウスポインタの出現方向は更新を続ける。
【００３５】
第４の手段として、上記第１ないし第３の手段において、タッチパネルに入力情報が検出されなくなり、予め定めた期間の間に再度入力情報が検出された場合、マウスポインタの出現方向は前回保持した方向である。
【００３６】
第５の手段として、上記第１ないし第３の手段において、タッチパネルに入力情報が検出されなくなり、予め定めた期間を経過した後に再度入力情報が検出された場合、マウスポインタの出現方向を初期位置に更新する。
【００３７】
第６の手段として、上記第１ないし第３の手段において、マウスポインタの出現方向は、移動方向の方向と同一である。
【００３８】
第７の手段として、上記第１ないし第３の手段において、マウスポインの出現方向は、移動方向の方向を元にして、入力座標の右上、右下、左上、左下の４種類の位置のいずれかを選択する。
【発明の効果】
【００３９】
従来の方法であるタッチパネル上に指を置く位置からマウスポインタの指に対する出現位置を決める方法は、操作者が指の周りのどこにマウスポインタが出現するかわかりづらい。また、表示画面の全部の領域を指し示すことができないので、マウスポインタの指に対する出現箇所をスイッチなどで切り替えるなどの必要があるなど操作者は戸惑うことになるが、本発明はマウスポインタを指し示したい方向に指を速めに移動するだけで意図する方向にマウスポインタが出現するので自然な操作感を得ることができる。
【００４０】
また、本発明の機能は、タッチパネルドライバー側にのみ実装することで実現できるので、画面の座標制御をつかさどるＯＳ、アプリケーションの変更をせずに本機能を従来のタッチパネルと入れ替えて使用することができることから、少ない開発投資で本機能を実現できる利点も併せ持っている。
【図面の簡単な説明】
【００４１】
【図１】タッチパネルを押した座標とマウスポインタが表示される位置関係を説明する図。
【図２】指の真下にマウスポインタが表示される場合を説明する図。
【図３】画面中央に指を置いたときにマウスポインタが左に表示されている状態を示す図。
【図４】画面右端に指を置いたときに指の左側にマウスポインタが表示されることを示す図。
【図５】マウスポインタで指し示すことができなくなる範囲を説明する図。
【図６】特許文献１による解決方法の操作性の不自然さを説明する図。
【図７】特許文献１による解決方法の操作性の不自然さを説明する図。
【図８】マウスカーソルの表示位置を決定する流れを説明する図。
【図９】指と離れたところにマウスポインタの出現座標を示す図。
【図１０】指がＸ方向にＶｋより大きな速度あるいは−Ｖｋより小さな速度で移動したときにマウスポインタの表示位置が変わることを説明する図。
【図１１】指がＹ方向にＶｋより大きな速度あるいは−Ｖｋより小さな速度で移動したときにマウスポインタの表示位置が変わることを説明する図。
【図１２】マウスポインタの出現位置が変わる速度の範囲をＸＹ座標系で説明する図。
【図１３】指がＸ，Ｙ両方向にＶｋより大きな速度、−Ｖｋより小さな速度で移動したときにマウスポインタの表示位置が変わることを説明する図。
【図１４】指の移動ベクトルとマウスポインタの出現位置を説明する図。
【図１５】装置の構成の実施例を説明する図。
【図１６】画面上に現れるマウスポインタを説明する図。
【図１７】マウスポインタが項目を選択したときに形状が変化したことを説明する図。
【図１８】指で項目を選択したときにマウスポインタが指の下に表示されるので見えなくなることを説明する図。
【図１９】指で項目を選択したときにマウスポインタが指の左上表示されることを説明する図。
【図２０】項目を選択したときにマウスポインタが指の左上に形状を変えて表示されることを説明する図。
【図２１】マウスポインタが画面上を指し示すことができる範囲を示す図。
【図２２】マウスポインタが画面上を指し示すことができない範囲を示す図。
【図２３】指の左上に表示されるマウスポインタが画面右上のハイパーリンクを指し示せないことを説明する図。
【図２４】マウスポインタを指の左上から右上に表示を切り替えることにより、画面右上のハイパーリンクを指し示せることを説明する図。
【図２５】マウスポインタを３次元座標で操作する様子を説明する図。
【発明を実施するための形態】
【００４２】
以下に本発明を実施するための形態について図面を参照して説明する。
【実施例】
【００４３】
本発明は、液晶画面などに表示される指先より小さな文字、画像に張られるハイパーリンクなどを指で指し示す新たな手段を提供する。以下の例では、表示画面上にある透明タッチパネルに表示される指先より小さな文字、画像に張られるハイパーリンクを指で直接タッチパネルを操作して、それを指し示す本発明の手段を例に説明するものとする。
以下の説明では、マウスポインタを画面上の意図的に指し示したい場所に指示表示位置を指し示す指示手段として説明しているが、同様な指示手段であるカーソルや領域を指し示すポインタあるいは、指し示す領域の色が反転するような指示手段であっても良い。
【００４４】
本発明は、指の直下にマウスポインタを表示するのではなく、指の周囲にマウスポインタを表示させるようにする。
【００４５】
指の位置とマウスポインタの表示位置との関係は、あらかじめ定義されたオフセット値を持った座標距離をもって離れた位置に表示するものとし、マウスポインタの表示位置を指の移動方向と移動速度から表示位置を決めるものとする。
【００４６】
動作を説明するに当って、便宜上以下のような定義をする。
【００４７】
図８は本発明の具体的な処理の流れの例を示している。
【００４８】
図１において、タッチパネルの検出座標４は座標（Ｘ０，Ｙ０）と定義し、マウスポインタが指し示す座標６を座標（Ｘ１，Ｙ１）とする。
【００４９】
図８の処理８１ではタッチパネルの検出座標４（Ｘ０，Ｙ０）を得ている。
【００５０】
図２は操作者がマウスポインタが指し示す座標６を指の上から見たときにタッチパネルの検出座標４（Ｘ０，Ｙ０）はマウスポインタが指し示す座標６（Ｘ１，Ｙ１）と同じ、すなわち数１及び数２のようにキャリブレーションされた状態にあることを図２は説明している。
（数１） Ｘ１ ＝ Ｘ０
（数２） Ｙ１ ＝ Ｙ０
これは、通常用いられるペンを使用したタッチパネルで運用される座標と同じ概念である。すなわち、タッチパネルの検出座標４（Ｘ０，Ｙ０）が、表示上の論理的な座標に変換されて、アプリケーションソフトは、マウスポインタが指し示す座標６（Ｘ１，Ｙ１）から、ボタンやハイパーリンクが選択されたかどうかを知ることができる。
【００５１】
本発明の一例として、以下に示すように表示上の論理的な座標を指先の大きさ分以上タッチパネルの検出座標４（Ｘ０，Ｙ０）から離れた相対的なオフセット位置（Ｘａ、Ｙａ）に表示する。
【００５２】
すなわち以下の数３及び数４で示される。
（数３） Ｘ１ ＝ Ｘ０ ＋ Ｘａ
（数４） Ｙ１ ＝ Ｙ０ ＋ Ｙａ
数３、数４のタッチパネルの検出座標４（Ｘ０，Ｙ０）とマウスポインタが指し示す座標６（Ｘ１，Ｙ１）の関係は、図９で示す位置関係に図示される。
【００５３】
図８の処理８２では、指の移動方向と移動速度を得ている。
【００５４】
タッチパネルを押し続けたままの移動による操作で、その移動速度によってマウスポインタの出現座標（Ｘ１，Ｙ１）が先の数３、数４によって、決まるものとする。
【００５５】
Ｘａ，Ｙａの具体的な設定方法について説明する。
【００５６】
Ｘａ，Ｙａはあらかじめ設定した初期値Ｘａ０，Ｙａ０をもっているものとする。
【００５７】
すなわち、Ｘａ，Ｙａの初期値は以下の数５、数６で示される。
（数５） Ｘａ ＝ −Ｘａ０
（数６） Ｙａ ＝ −Ｙａ０
図９はあらかじめ設定した初期値である数５、数６にあるときの指とマウスポインタの座標の関係を図示したものである。
【００５８】
初期値Ｘａ０，Ｙａ０がいずれも正の定数であれば、タッチパネルを押された座標（Ｘ０，Ｙ０）は表示上の論理的な座標（Ｘ１，Ｙ１）の関係は図９で示すように指の右上にマウスポインタが表示される。
【００５９】
本発明の機能は、タッチパネルを押された座標の時間的な変化があらかじめ定めた敷居値を超えた場合にＸａ，Ｙａが変わるというものであるの。タッチパネルを押された座標の時間的な変化すなわち移動速度を（Ｖｘ，Ｖｙ）とする。図８の符号８３では、指の移動速度の判断処理が行なわれる。
【００６０】
Ｘａ、Ｙａは以下の数７から数１０の条件で変化する。
（数７） Ｖｘ ＞ Ｖｋ のとき、 Ｘａ ＝ Ｘａ０
（数８） Ｖｘ ＜ −Ｖｋ のとき、 Ｘａ ＝ −Ｘａ０
（数９） Ｖｙ ＞ Ｖｋ のとき、 Ｙａ ＝ Ｙａ０
（数１０） Ｖｙ ＜ −Ｖｋ のとき、 Ｙａ ＝ −Ｙａ０
Ｖｘがあらかじめ定められた定数Ｖｋを超えると、数７で示されるようにＸａは正数Ｘａ０になる。
【００６１】
図１０、図１１、図１３は数７〜数１０に基づいた指の触れた座標（Ｘ０，Ｙ０）とマウスポインタ（Ｘ１，Ｙ１）の関係を示している。Ｘ方向の移動について、図１０（ｂ）は数７で示す指の移動速度の条件のときにマウスポインタが指の右方向に表示位置を変えることを示している。同様に図１０（ａ）は数８で示す指の移動速度の条件のときにマウスポインタが指の左方向に表示位置を変えることを示している。Ｙ方向の移動については、図１１（ｂ）は数９で示す指の移動速度の条件のときにマウスポインタが指の下方向に表示位置を変えることを示している。同様に図１１（ａ）は数１０で示す指の移動速度の条件のときにマウスポインタが指の上方向に表示位置を変えることを示している。
【００６２】
図１２はＸＹ座標系でＸ及びＹ方向の速度とマウスポインタの指に対する出現位置が変化する範囲を図示している。図１２（ａ）はＸ方向についてのマウスポインタが出現する位置の変化する範囲を斜線範囲１２４および１２５で示しており、１２２で示すＶｘ＝−Ｖｋの位置より小さい斜線範囲１２４では数８が適用される。１２３で示すＶｘ＝Ｖｋの位置より大きい斜線範囲１２５では数７が適用される。
【００６３】
図１２（ｂ）はＹ方向についてのマウスポインタが出現する位置の変化する範囲を斜線範囲１２８および１２９で示しており、１２６で示すＶｙ＝−Ｖｋの位置より小さい斜線範囲１２８では数１０が適用される。１２７で示すＶｙ＝Ｖｋの位置より大きい斜線範囲１２９では数９が適用される。
【００６４】
図１３は指のＸおよびＹ方向の移動速度Ｖｘ、Ｖｙが−ＶｋあるいはＶｋを超えたときに指とマウスポインタとのＸおよびＹ方向位置関係が変化することを示している。先の図１２との関係と説明すると、図１２（ａ）の１２４の範囲では図１３（ａ）あるいは図１３（ｃ）の位置にマウスポインタが表示され、図１２（ａ）の１２５の範囲では図１３（ｂ）あるいは図１３（ｄ）の位置にマウスポインタが表示される。
【００６５】
図１２（ｂ）の１２８の範囲では図１３（ａ）あるいは図１３（ｂ）の位置にマウスポインタが表示され、図１２（ｂ）の１２９の範囲では図１３（ｃ）あるいは図１３（ｄ）の位置にマウスポインタが表示される。
結果、マウスポインタの出現位置は、図１３に示すように指の真下より所定された距離を置いた左上、左下、右上、右下４箇所のいずれかに現れるものとする。
【００６６】
上記、指の移動方向からマウスの出現位置を選択する処理は図８の処理８４で示すものである。また、図８の処理８５にてマウスポインタを座標（Ｘ１，Ｙ１）で指し示す位置に表示することとしている。
【００６７】
図１４はマウスポインタの出現候補の箇所を増やした例を示している。
【００６８】
上記実施例では、マウスポインタの出現位置が指の周りの４箇所に限定されるが、本発明の請求項は、出現位置は４箇所に限定する必要はなく、例えば図１４に示すように指の周囲にいくつかの出現箇所があって、その出現位置がマウスポインタの移動方向と移動速度によって選択されるというものでも良いことは明らかである。すなわち移動速度のベクトルがある値を超えたときに移動速度のベクトルの方向の情報からマウスポインタを出現させる位置を決めるようにしても良い。
【００６９】
具体的には、指の移動ベクトルのスカラー量がＶｋを超えていたときに先のマウスポインタの出現箇所を新たな表示箇所とする。
【００７０】
次に指の移動ベクトルを各移動ベクトルの候補の方向のスカラー量を求めて、もっとも最大のものをマウスポインタの出現箇所の候補とする。
【００７１】
あるいは、前述のＸＹ座標平面を極座標に見直して、指の移動ベクトルの角度がマウスポインタの出現箇所にもっとも近いものを出現箇所の候補とするなどとしてもよい。
【００７２】
図１４にて具体的な手段を説明する。１４０は指の移動ベクトルであり、指の移動方向と移動速度を示している。マウスポインタが指に隠れない指のタッチ位置から距離を持った位置候補１４１にマウスポインタＡ（１４２）〜マウスポインタＨ（１４９）をマウスポインタの出現候補とする。
【００７３】
指の移動ベクトル１４１のスカラー量が定められた設定量Ｖｋを超えたときにマウスポインタの出現位置を新たに選択し直すべく次にマウスポインタＡ（１４２）〜マウスポインタＨ（１４９）の候補からいずれか１つを選択する。
【００７４】
図１４では説明をわかりやすくするためにマウスポインタＡ（１４２）とマウスポインタＢ（１４３）についていずれが選択されるのかその方法を図示している。指の移動ベクトル１４１のマウスポインタＡ（１４２）およびマウスポインタＢ（１４３）のスカラー量を指の移動ベクトル１４１よりそれぞれに垂線を降ろして、それぞれの量を指の移動ベクトルの１４２方向のスカラー量（１４２ａ）および指の移動ベクトルの１４３方向のスカラー量（１４３ａ）とする。図１４より数１１が示される。
（数１１） １４２ａ ＜ １４３ａ
１４３のベクトル方向のスカラー量が１４２のベクトル方向のスカラー量より大きいと判断して、マウスポインタＢ（１４３）を選択する。結果として、１４３方向にあるマウスポインタＢ（１４３）が選択されて表示されることになる。指の移動ベクトル１４１のスカラー量が定められた設定量Ｖｋを超えない場合には、タッチパネルの検出座標とマウスポインタ表示位置の相対位置は変化しないものとする。
【００７５】
本発明では、指をあらかじめ定めた時間ｔ以上離した場合に、マウスポインタを常に指の左上などあらかじめ定める所定位置に表示するようにする。すなわち数１２及び数１３のように設定するものとすればよい。
（数１２） Ｘａ ＝ −Ｘａ０
（数１３） Ｙａ ＝ −Ｙａ０
この機能は、タップなどの操作との区別にも作用する。
【００７６】
例えば、ハイパーリンクを指し示したときにマウスポインタが形状を変化させる。その後、操作者はこれをタップするとする。このとき、わずかな時間、指がタッチパネルを離れる。その場合にマウスポインタの出現位置が変わってしまっては操作者が混乱するので、タップと認識される間隔時間より時間ｔを大きくしておけばよい。そのようにすれば、タップによってマウスポインタの出現位置が変化せず同じ場所にとどまるので操作者はマウスポインタで選択した対象を認識してタップを実行できる。
【００７７】
アプリケーションソフトウェアの性質からマウスポインタの表示位置が、指の左上の位置に固定であった方が都合のよい場合は、本発明の機能をＯＦＦとすることができても良い。例えば、ドローイング、文字入力など指の移動でマウスポインタの出現位置が移動しては困るようなアプリケーションでは、本発明の機能をＯＦＦとしてマウスポインタを常に指の左上に表示するようにしてもよい。
【００７８】
タッチパネル制御部では、指が押された座標を取得する。指が押されたまま移動するときに、指の移動方向と移動速度を座標の時間的変化から得ることができる。移動方向からマウスポインタの指の周囲の出現位置を選択し、移動速度がある定めた値を超えたときに指の真下から距離を置いた選択された出現位置にマウスポインタの座標を決定する。表示制御部は得られたマウスポインタ位置にマウスポインタを表示する。ＯＳは得られたマウスポインタの位置情報をもって制御を行なう。
【００７９】
本発明は、携帯端末のような多くの文字情報を画面上に表示して、それをマウスポインタで選択するような用途に使用することが適している。
例えば、携帯電話のＷＥＢブラウザの操作や、ＰＤＡに表示される地図表示にアイコンや文字があり、これにハイパーリンクがあってマウスポインタで指し示すようなアプリケーションにも有効である。
【００８０】
図１の液晶表示部２は、携帯電話で用いられる数インチサイズのものから、ＰＤＡ端末のような１０インチサイズのものなどの大きさを問わない液晶表示とする。表示部は液晶だけでなく、ＣＲＴのようなブラウン管のモニタであってもかまわない。
タッチパネル１は、静電容量方式、抵抗膜方式、超音波方式、温度検出方式、電磁誘導方式などで液晶表示に重ねて表示の内容が透けて見える透明な座標検出ができるタッチパネルである。
【００８１】
また、液晶表示部２とタッチパネル１を一体とした液晶表示体であってもよい。
【００８２】
図１５は本発明の実施形態の構成例であり、これを説明する。
【００８３】
液晶表示部２の表示上面にタッチパネル１が貼り合わさっている。液晶表示部２は表示制御部から表示データ１５８を受け取って、液晶をドライブして表示する。タッチパネル１は操作者がタッチパネル１を触ると指３の検出情報１５７はタッチパネル制御部１５５へ渡される。指３の検出情報１５７には指の距離情報、指を押した強さ、面積、指の本数などの情報のもととなる電気信号を有している。
【００８４】
タッチパネル制御部は指３の検出情報より演算処理により、指のＸＹ座標、指を押した強さ、面積、指の本数などを座標データ１５９として取り出す。
【００８５】
座標データ１５９はタッチパネルインターフェース１５３を介してＣＰＵ１５０へ伝達される。タッチパネルインターフェース１５３はＵＳＢ、ＰＳ２インターフェース、Ｉ２Ｃ−ＢＵＳ、同期式、非同期式シリアルなどが一般的なインターフェースとして使われる。
【００８６】
ＣＰＵ１５０はプログラムメモリに動作をつかさどるプログラムが格納されていて、これを読み出して実行する。装置はソフトウェアとしてＯＳを積んでいるものがあり、多くの場合、記憶部にＯＳのプログラムを格納する。記憶部は先のプログラムメモリ１５２と同様な半導体メモリやハードディスクなどである。ＣＰＵ１５０はワークメモリ１５４を通信、表示、演算、入力などあらゆる制御のプログラムのワーキングエリアとして使用する。ワークメモリ１５４は半導体メモリであり、今日はＳＲＡＭ、ＤＲＡＭが主流となっている。
【００８７】
表示制御部１５６は、接続される出力デバイスであるＬＣＤやモニタなど表示デバイスに表示画像を映像として出力する。表示制御部１５６には表示メモリを表示されるイメージとして画面１枚もしくは複数のバッファとして用意しており、これを表示サイクルに応じてスキャンして読み出し、表示デバイスに送り出す。ＣＰＵ１５０はマウスポインタの画像を、背景画像と共に表示メモリに書き出す。そして、表示制御部１５６はこれを表示デバイスに表示データとして送り出して、マウスポインタとその背景画像を表示デバイスに表示する。
【００８８】
図１６はファミリーレストラン、居酒屋などで使用されるウェイトレスが調理の注文をするオーダリング端末を本発明の例として説明する図である。
【００８９】
図１６はオーダリング端末に３品のオーダーメニューが表示された状態である。ウェイトレスは３品のいずれかをタッチパネルを使用して、画面上に表示されているハイパーリンクのステーキ１６１、ハンバーグ１６２、サラダバー１６３のいずれかを選択する。１６４のマウスポインタは、前述したハイパーリンクのいずれも選択しない状態にある。
【００９０】
図１７は図１６のオーダー注文端末にて注文項目をマウスポインタが選択したときの説明をする図である。
【００９１】
図１７はマウスポインタ１７１がハンバーグ１６２を選択した状態にあり、マウスポインタ１７１の形状が図１６のマウスポインタ１６４から指のマークに変化していることを示している。
【００９２】
図１８は指でオーダー注文端末の注文項目を押して選択したときの図である。
【００９３】
しかしながら、ウェイトレスが持ち歩くオーダリング端末はその携帯性を重視して装置の形状を小さく、画面を小さく、表示されるメニューも小さくなる傾向にある。また、ハイパーリンクが張られている画面上の３品のメニューが小さく表示される場合には、図１８のようにマウスポインタが指３の下に隠れてしまう問題が発生する。そのために指３の下でハンバーグが選択されて、図１７の１７１のようにマウスポインタ形状が変化していたとしてもそれをウェイトレスは見ることができない。
【００９４】
この問題を回避するために指でなく先の小さなペンを使用してタッチパネルを操作すれば、図１７のような変化するマウスポインタ１７１が、押されたペンの隙間から確認できる。しかし、注文をとるたびにペンを取り出す時間と手間が必要になり、ペンを紛失するリスクもあり、運用に支障をきたすことになる。結果として、このような不便な仕様を持つペンを使用した携帯端末の用途は限られたものになっている。
【００９５】
従来のタッチパネルの操作に指を使用したときの問題について図１８を使用して説明すると、指３の下にマウスポインタが隠れてしまい不便となることが理解できる。
【００９６】
図１９は指の左上にマウスポインタが表示されるようにしたときの説明をする図である。
【００９７】
図２０は注文したいオーダーにマウスポインタが移動するように指３を移動してマウスポインタ２１１が選択されたことを示した図である。
【００９８】
図１９は常に指３の左上にマウスポインタ１９１が表示されるようにした場合である。指３とマウスポインタ１９１との関係は図９のように指に隠れないような距離を持ってマウスポインタ５を指３から離した距離に表示する。このような手段を使って図２０のようにハンバーグを選択する位置まで指を移動してマウスポインタの形状が変化することが確認できるようになる。
【００９９】
このようにして指の左上に表示するようにしたマウスポインタは図２１のような表示画面の範囲を指し示すことができることがわかる。画面の左上を指し示したい場合は、指を２１１の位置に置き、マウスポインタを２１５の位置に表示する。画面の左下を指し示したい場合は、指を２１２に位置に置き、マウスポインタを２１６の位置に表示する。画面の右上を指し示したい場合は指を２１３の位置に置き、マウスポインタを２１７の位置に表示する。画面の右下を指し示したい場合は、指を２１４の位置に置き、マウスポインタを２１８の位置に表示する。しかし、図２１及び図２２の斜線範囲２１９ように指し示すことができない範囲が存在する。
【０１００】
図２３はオーダー注文端末の画面の上端にページ移動のハイパーリンクを設けた例を示している。この様なアプリケーションでは、マウスポインタ２３１が指２３２の左上に表示されているために、画面右上の「次のページ」と記したハイパーリンク２３４をマウスポインタ２３１で指し示すことができない。
【０１０１】
図２４はオーダー注文端末の画面にて指を移動してマウスポインタを右上端のハイパーリンクを指し示すことに成功する例を示している。本発明では図２４のように指を２４２の位置から２４４の位置に２４３で示す方向に右上方向に定めた速度を超えて移動する。その後、マウスカーソル２４５の位置が指の右上に表示される。操作者は徐々に「次のページ」と記したハイパーリンク２３４を指し示す位置に移動しながら指し示すことができるようになる。
【０１０２】
本発明の説明ではタッチ位置検出機能として、透明タッチパネルを実施例に説明してきたが、タッチ位置検出機能の範疇として例えば３次元に操作できる指のタッチ位置検出機能を定義してもよい。例えば、３次元上に浮かんで見える映像を指でタッチするタッチ位置検出機能によって検出される指の位置から、マウスポインタを操作者が指で隠れないように指の周りにマウスポインタを表示するといった構成のものに使用することもできる。
【０１０３】
図２５は、表示画面の上に操作するタッチパネルがある場合に限らず、表示イメージおよびマウスポインタがＸ，Ｙ，Ｚ軸を持つ３次元空間に存在するような３次元座標で操作する場合にも利用できることを説明するものである。符号２５６，２５７，２５８は指し示したい対象物であるイメージが３次元座標に存在するように映像されていて、それぞれイチゴのイメージ、ぶどうのイメージ、桃のイメージが表示されている。操作者の指２５１は、それらを指し示すように３次元の方向に操作できるものである。しかしながら、操作者の視線２５４は指を見ているが、視線２５４の向こう側にマウスポインタが存在しても、それが対象物であるイメージをさしているのか指に隠れて確認できない。操作者はイメージ２５６を指し示したいとするならば、ＸＹ座標方向に指を２５６方向にすばやく移動することで、マウスポインタ２５２の位置にマウスポインタを表示させ、さらにゆっくりと対象物のイメージ２５６を指し示すように指を操作して、視線２５３の方向にマウスポインタ２５２を指２５２に隠れずに対象物のイメージ２５６を指し示すことができるようになる。
【０１０４】
また、３次元座標上において、マウスポインタの出現方向はＸＹ座標面に限定されたものに限らず、Ｚ軸方向を加え、３次元座標上の移動方向に対応した方向にマウスポインタを出現させることも出来る。
【符号の説明】
【０１０５】
１ タッチパネル
２ 液晶表示部
３ 指
４ タッチパネルの検出座標
５ マウスポインタ
６ マウスポインタで示す座標
２１ タッチパネルの検出座標と同一座標にあるマウスポインタ
３１ 指の左側にあるマウスポインタ
４１ 指の左側にあるマウスポインタ
５１ マウスポインタ選択不可範囲
６１ 指の右側に表示されるマウスポインタ
７１ 指の左側に表示されるマウスポインタ
８１ 指のタッチ座標を得る処理
８２ 指の移動方向、移動速度を求める処理
８３ 移動速度が敷居値を越えたか判断する処理
８４ 移動方向からマウスポインタ出現位置を選択する処理
８５ マウスポインタを表示する処理
９１ Ｙ軸オフセット距離 Ｙａ
９２ Ｘ軸オフセット距離 Ｘａ
１０１ 指の左上に表示されるマウスポインタ
１０２ 指の右上に表示されるマウスポインタ
１０３ Ｘ軸負方向へのオフセット距離 Ｘａ ＝ −Ｘａ０
１０４ Ｘ軸正方向へのオフセット距離 Ｘａ ＝ Ｘａ０
１１１ 指の右上に表示されるマウスポインタ
１１２ 指の右下に表示されるマウスポインタ
１１３ Ｙ軸正方向へのオフセット距離 Ｙａ ＝ Ｙａ０
１１４ Ｙ軸負方向へのオフセット距離 Ｙａ ＝ −Ｙａ０
１２１ ＸＹ両方向とも速度０の位置
１２２ Ｖｘ ＝ −Ｖｋの位置
１２３ Ｖｘ ＝ Ｖｋの位置
１２４ 数８が適用されるＸ方向の速度の領域（斜線部分）
１２５ 数７が適用されるＸ方向の速度の領域（斜線部分）
１２６ Ｖｙ ＝ −Ｖｋの位置
１２７ Ｖｙ ＝ Ｖｋの位置
１２８ 数１０が適用されるＹ方向の速度の領域（斜線部分）
１２９ 数９が適用されるＹ方向の速度の領域（斜線部分）
１３１ 指の左上に表示されるマウスポインタ
１３２ 指の右上に表示されるマウスポインタ
１３３ 指の左下に表示されるマウスポインタ
１３４ 指の右下に表示されるマウスポインタ
１３５ Ｙ軸正方向へのオフセット距離 Ｙａ ＝ Ｙａ０
１３６ Ｘ軸負方向へのオフセット距離 Ｘａ ＝ −Ｘａ０
１３７ Ｘ軸正方向へのオフセット距離 Ｘａ ＝ Ｘａ０
１３８ Ｙ軸負方向へのオフセット距離 Ｙａ ＝ −Ｙａ０
１４０ 指の移動ベクトル
１４１ マウスポインタの位置候補
１４２ マウスポインタ表示位置Ａ
１４２ａ 指の移動ベクトルの１４２方向のスカラー量
１４３ マウスポインタ表示位置Ｂ
１４３ａ 指の移動ベクトルの１４３方向のスカラー量
１４４ マウスポインタ表示位置Ｃ
１４５ マウスポインタ表示位置Ｄ
１４６ マウスポインタ表示位置Ｅ
１４７ マウスポインタ表示位置Ｆ
１４８ マウスポインタ表示位置Ｇ
１４９ マウスポインタ表示位置Ｈ
１５０ ＣＰＵ
１５１ 記憶部
１５２ プログラムメモリ
１５３ タッチパネルインターフェース
１５４ ワークメモリ
１５５ タッチパネル制御部
１５６ 表示制御部
１５７ 指の検出情報
１５８ 表示データ
１５９ タッチパネルの検出座標データ
１６１〜１６３ ハイパーリンク文字
１６４ ハイパーリンク非選択時のマウスポインタ
１７１ ハイパーリンク選択時のマウスポインタ
１９１ ハイパーリンク非選択時のマウスポインタ
２０１ ハイパーリンク選択時のマウスポインタ
２１１ 左上にある指
２１２ 左下にある指
２１３ 右上にある指
２１４ 右下にある指
２１５，２１６，２１７，２１８ 指の左上に表示されるマウスポインタ
２１９ マウスポインタ選択不可範囲
２３１ ハイパーリンク非選択時のマウスポインタ
２３２ 指
２３３、２３４ ハイパーリンク文字
２４１ 移動前のマウスポインタ
２４２ 移動前の指
２４３ 指の移動ベクトル
２４４ 移動後の指
２４５ 移動後のマウスポインタ
２５１ 指
２５２ マウスポインタ
２５３ 操作者の視点Ａ
２５４ 操作者の視点Ｂ
２５５ 操作者の目
２５６ イチゴのイメージ
２５７ ぶどうのイメージ
２５８ 桃のイメージ
【特許請求の範囲】
【請求項１】
入力座標を検出する情報処理方法において、
入力座標に関する入力情報を情報入力装置から入手し、
前記入力情報をワークメモリに記録されている情報と比較し、時間的な変化から入力座標の移動方向及び入力座標の移動速度を演算したのちに判断し、
前記入力情報を前記ワークメモリへ記録し、
前記移動速度を予め設定した閾値比較し、
前記移動速度が前記閾値を超える場合、前記移動方向から表示領域に表示するマウスポインタの出現方向を選択し、
マウスポインタの表示座標を出力する情報処理方法。
【請求項２】
前記情報入力装置に入力情報が検出され続けている間、前記マウスポインタの出現方向は一定の方向に保持される請求項１に記載の情報処理方法。
【請求項３】
前記情報入力装置に入力情報が検出され続けている間、前記マウスポインタの出現方向は更新を続ける請求項１に記載の情報処理方法。
【請求項４】
前記情報入力装置に入力情報が検出されなくなり、予め定めた期間の間に再度入力情報が検出された場合、前記マウスポインタの出現方向は前回保持した方向である請求項１ないし３のいずれか１項に記載の情報処理方法。
【請求項５】
前記情報入力装置に入力情報が検出されなくなり、予め定めた期間を経過した後に再度入力情報が検出された場合、前記マウスポインタの出現方向を初期位置に更新する請求項１ないし３のいずれか１項に記載の情報処理方法。
【請求項６】
前記マウスポインタの出現方向は、前記移動方向の方向と同一である請求項１ないし３のいずれか１項に記載の情報処理方法。
【請求項７】
前記マウスポインタの出現方向は、前記移動方向の方向を元にして、前記入力座標の右上、右下、左上、左下の４種類の位置のいずれかから選択される請求項１ないし３の何れか１項に記載の情報処理方法。
【請求項８】
タッチパネルと、
タッチパネル制御部と、
液晶表示部と、
表示制御部と、
前記タッチパネルで入力した情報を出力するインターフェースと、
前記インターフェースからの信号を元に入力座標を演算するＣＰＵと、
前記入力座標を演算するプログラムを記録するプログラムメモリと、
前記ＣＰＵを動作する時に情報を記録する記憶部と、
通信、表示、演算、入力などあらゆる制御のプログラムのワーキングエリアとして使用するワークメモリと、
により成り立つ情報処理装置において、
前記プログラムメモリには、
入力座標に関する入力情報を情報入力装置から入手し、
前記入力情報を前記ワークメモリに記録された入力情報と比較し、時間的な変化から入力座標の移動方向及び入力座標の移動速度を判断し、
前記入力情報を前記ワークメモリに記録し、
前記移動速度を予め設定した閾値比較し、
前記移動速度が前記閾値を超える場合、前記移動方向から表示領域に表示するマウスポインタの出現方向を選択し、
マウスポインタの表示座標を出力するプログラムが記憶されている情報処理装置。
【請求項９】
前記タッチパネルに入力情報が検出され続けている間、前記マウスポインタの出現方向は一定の方向に保持される請求項８に記載の情報処理装置。
【請求項１０】
前記タッチパネルに入力情報が検出され続けている間、前記マウスポインタの出現方向は更新を続ける請求項８に記載の情報処理装置。
【請求項１１】
前記タッチパネルに入力情報が検出されなくなり、予め定めた期間の間に再度入力情報が検出された場合、前記マウスポインタの出現方向は前回保持した方向である請求項８ないし１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記タッチパネルに入力情報が検出されなくなり、予め定めた期間を経過した後に再度入力情報が検出された場合、前記マウスポインタの出現方向を初期位置に更新する請求項８ないし１０のいずれか１項に記載の情報処理装置。
【請求項１３】
前記マウスポインタの出現方向は、前記移動方向の方向と同一である請求項８ないし１０のいずれか１項に記載の情報処理装置。
【請求項１４】
前記マウスポインの出現方向は、前記移動方向の方向を元にして、前記入力座標の右上、右下、左上、左下の４種類の位置のいずれかを選択する請求項８ないし１０のいずれか１項に記載の情報処理装置。
【請求項１】
入力座標を検出する情報処理方法において、
入力座標に関する入力情報を情報入力装置から入手し、
前記入力情報をワークメモリに記録されている情報と比較し、時間的な変化から入力座標の移動方向及び入力座標の移動速度を演算したのちに判断し、
前記入力情報を前記ワークメモリへ記録し、
前記移動速度を予め設定した閾値比較し、
前記移動速度が前記閾値を超える場合、前記移動方向から表示領域に表示するマウスポインタの出現方向を選択し、
マウスポインタの表示座標を出力する情報処理方法。
【請求項２】
前記情報入力装置に入力情報が検出され続けている間、前記マウスポインタの出現方向は一定の方向に保持される請求項１に記載の情報処理方法。
【請求項３】
前記情報入力装置に入力情報が検出され続けている間、前記マウスポインタの出現方向は更新を続ける請求項１に記載の情報処理方法。
【請求項４】
前記情報入力装置に入力情報が検出されなくなり、予め定めた期間の間に再度入力情報が検出された場合、前記マウスポインタの出現方向は前回保持した方向である請求項１ないし３のいずれか１項に記載の情報処理方法。
【請求項５】
前記情報入力装置に入力情報が検出されなくなり、予め定めた期間を経過した後に再度入力情報が検出された場合、前記マウスポインタの出現方向を初期位置に更新する請求項１ないし３のいずれか１項に記載の情報処理方法。
【請求項６】
前記マウスポインタの出現方向は、前記移動方向の方向と同一である請求項１ないし３のいずれか１項に記載の情報処理方法。
【請求項７】
前記マウスポインタの出現方向は、前記移動方向の方向を元にして、前記入力座標の右上、右下、左上、左下の４種類の位置のいずれかから選択される請求項１ないし３の何れか１項に記載の情報処理方法。
【請求項８】
タッチパネルと、
タッチパネル制御部と、
液晶表示部と、
表示制御部と、
前記タッチパネルで入力した情報を出力するインターフェースと、
前記インターフェースからの信号を元に入力座標を演算するＣＰＵと、
前記入力座標を演算するプログラムを記録するプログラムメモリと、
前記ＣＰＵを動作する時に情報を記録する記憶部と、
通信、表示、演算、入力などあらゆる制御のプログラムのワーキングエリアとして使用するワークメモリと、
により成り立つ情報処理装置において、
前記プログラムメモリには、
入力座標に関する入力情報を情報入力装置から入手し、
前記入力情報を前記ワークメモリに記録された入力情報と比較し、時間的な変化から入力座標の移動方向及び入力座標の移動速度を判断し、
前記入力情報を前記ワークメモリに記録し、
前記移動速度を予め設定した閾値比較し、
前記移動速度が前記閾値を超える場合、前記移動方向から表示領域に表示するマウスポインタの出現方向を選択し、
マウスポインタの表示座標を出力するプログラムが記憶されている情報処理装置。
【請求項９】
前記タッチパネルに入力情報が検出され続けている間、前記マウスポインタの出現方向は一定の方向に保持される請求項８に記載の情報処理装置。
【請求項１０】
前記タッチパネルに入力情報が検出され続けている間、前記マウスポインタの出現方向は更新を続ける請求項８に記載の情報処理装置。
【請求項１１】
前記タッチパネルに入力情報が検出されなくなり、予め定めた期間の間に再度入力情報が検出された場合、前記マウスポインタの出現方向は前回保持した方向である請求項８ないし１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記タッチパネルに入力情報が検出されなくなり、予め定めた期間を経過した後に再度入力情報が検出された場合、前記マウスポインタの出現方向を初期位置に更新する請求項８ないし１０のいずれか１項に記載の情報処理装置。
【請求項１３】
前記マウスポインタの出現方向は、前記移動方向の方向と同一である請求項８ないし１０のいずれか１項に記載の情報処理装置。
【請求項１４】
前記マウスポインの出現方向は、前記移動方向の方向を元にして、前記入力座標の右上、右下、左上、左下の４種類の位置のいずれかを選択する請求項８ないし１０のいずれか１項に記載の情報処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１１−８１４４７（Ｐ２０１１−８１４４７Ａ）
【公開日】平成２３年４月２１日（２０１１．４．２１）
【国際特許分類】
【出願番号】特願２００９−２３０８７３（Ｐ２００９−２３０８７３）
【出願日】平成２１年１０月２日（２００９．１０．２）
【出願人】（０００００２３２５）セイコーインスツル株式会社 (3,629)
【Ｆターム（参考）】
【公開日】平成２３年４月２１日（２０１１．４．２１）
【国際特許分類】
【出願日】平成２１年１０月２日（２００９．１０．２）
【出願人】（０００００２３２５）セイコーインスツル株式会社 (3,629)
【Ｆターム（参考）】
[ Back to top ]