表面に載せた手に合わせたジェスチャーの発生
マウスの表面に載せた手に合わせたジェスチャーの発生が開示される。マウスの表面でなされるジェスチャーは、そのジェスチャーが快適であるようにマウス表面に載せた手の自然の姿勢に基づいて発生することができる。ジェスチャーを行うためにマウスの表面で適当な姿勢をとる指をそのジェスチャーに対して識別することができる。或いは又、マウスの表面でなされるジェスチャーは、ユーザの好みに基づいて発生することもできる。ユーザは、ジェスチャーを行うために使用したい指を識別することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピューティングシステムの入力装置として使用されるタッチ感知マウスに係り、より詳細には、マウス表面に載せた手に合わせたジェスチャーを発生する方法に係る。
【背景技術】
【０００２】
ほとんどのコンピューティングシステムは、ユーザからマウスのような入力装置を経て入力を受け取ることができる。マウスは、ユーザが、コンピューティングシステムのディスプレイスクリーン上のユーザインターフェイス（ＵＩ）において例えばカーソルのような入力ポインタを移動して、そのポインタでＵＩにおける選択を行い、それにより、コンピューティングシステムの種々のオペレーションをトリガーできるようにする。マウスは、ＵＩにおけるデータ選択のためのメカニズムを備え、それが信号へと変換され、コンピューティングシステムは、それを使用して、コンピューティングシステムの種々のオペレーションに対応するＵＩの表示要素を選択することができる。例えば、タッチ感知マウスは、選択を行うためのタッチ装置を含むことができる。タッチ装置は、マウスのタッチ面に対してユーザによって行われたジェスチャーを検出することができ、そのジェスチャーは、コンピューティングシステムにおける１つ以上のオペレーションに対応する。コンピューティングシステムは、ジェスチャーを解釈し、その後、それに対応するオペレーションを実行する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
一般的に、コンピューティングシステムにおける特定のオペレーションに対して特定のジェスチャーが予め定義される。コンピューティングシステムの各ユーザは、予め定義されたジェスチャーを行って、それに対応するオペレーションを実行しなければならない。しかしながら、あるケースでは、予め定義されたジェスチャーは、例えば、ユーザの手に幾つかの物理的な制限があったり異なる自然の姿勢があったりする様々な理由で、ユーザにとって不便であったり不快であったりすることがある。
【課題を解決するための手段】
【０００４】
本発明は、タッチ感知マウスの表面に載せた手に合わせたジェスチャーを発生することに係る。ある実施形態では、マウス表面に載せた手の自然の姿勢に合わせた第１のジェスチャーを発生することができる。第１のジェスチャーに使用される指及び／又は他の指のサブセットを使用する付加的なジェスチャーを発生することができる。ある実施形態では、ユーザの好みのユーザ入力に基づいて第１のジェスチャーを発生することができる。又、ユーザの好みのユーザ入力に基づいて、或いは第１のジェスチャーに使用される指及び／又は他の指のサブセットとして、付加的なジェスチャーを発生することができる。
【図面の簡単な説明】
【０００５】
【図１ａ】マウスに載せた手の規範的な自然の姿勢を示す。
【図１ｂ】マウスに載せた手の規範的な自然の姿勢を示す。
【図１ｃ】マウスに載せた手の規範的な自然の姿勢を示す。
【図２ａ】マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。
【図２ｂ】マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。
【図２ｃ】マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。
【図２ｄ】マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。
【図２ｅ】マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。
【図２ｆ】マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。
【図２ｇ】マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。
【図２ｈ】マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。
【図２ｉ】マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。
【図２ｊ】マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。
【図２ｋ】マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。
【図３ａ】本発明の実施形態によりマウスに載せた手に合わせたジェスチャーを発生するための規範的な方法を示す。
【図３ｂ】本発明の実施形態によりマウスに載せた手に合わせたジェスチャーを検出するための規範的な方法を示す。
【図４】本発明の実施形態によるジェスチャー発生及び検出アルゴリズムを具現化する規範的なコンピューティングシステムを示す。
【図５】本発明の実施形態によるジェスチャー発生及び検出アルゴリズムを実行するのに使用される図４のコンピューティングシステムへタッチ情報を通信することのできるタッチセンサパネルを含む規範的なマウスを示す。
【発明を実施するための形態】
【０００６】
好ましい実施形態の以下の説明において、本発明を実施できる特定の実施形態が例示された添付図面を参照する。他の実施形態も使用できるし、又、本発明の実施形態の範囲から逸脱せずに構造変更もできることを理解されたい。
【０００７】
本発明は、マウスの表面に載せた手に合わせたジェスチャーを発生することに係る。このジェスチャーは、マウスに載せた手の自然の姿勢に基づく。これは、ユーザが、マウス表面に対しユーザにとって快適なジェスチャーを行えるようにする。
【０００８】
本発明の幾つかの実施形態は、ここではタッチ感知マウス上でのジェスチャーに関して説明するが、本発明の実施形態は、これに限定されず、タッチ及び他の形式の感知技術を使用する入力装置に一般的に適用できることを理解されたい。
【０００９】
図１ａないし１ｃは、マウスに載せた手の規範的な自然の姿勢を示す。図１ａは、マウス１００の表面に載せた右手１１０の規範的な上面図である。図１ｂは、マウス１００の表面に載せた右手１１０の規範的な左側面図である。図１ｃは、マウス１００の表面に載せた右手１１０の規範的な右側面図である。典型的に、ユーザは、マウスが使用されないときでも長時間にわたって図１ａないし１ｃに示す弛緩した姿勢でマウスに手を載せることができる。この例では、人差し指及び中指をマウスの上面に載せることができ、親指をマウスの左側面に載せることができ、そして薬指及び小指をマウスの右側面に載せることができる。タッチ感知マウスでは、載せた手をタッチ事象として検出し、コンピューティングシステムにより処理することができる。その後、載せた手の１本以上の指がジェスチャーとして見られるように動くときに、載せた手のタッチをコンピューティングシステムにより処理することができる。
【００１０】
マウスの表面に載せた手の自然の姿勢は、ここに示すものに限定されず、より多数の又はより少数の指が上面及び側面に載せられるか、指が表面のより高いところ又はより低いところに載せられるか、等々の種々の他の姿勢も含むことを理解されたい。
【００１１】
図２ａないし２ｋは、マウスに載せた手の１本以上の指により行うことのできる規範的なジェスチャーを示す。図２ａの例では、右手１１０の人差し指１１２を横方向に動かし（２０５）、マウス１００の表面に手を載せながら「スワイプ(swipe)」ジェスチャーのようなジェスチャーをすることができる。スワイプジェスチャーは、ディスプレイスクリーン上のＵＩ表示を通してページングのようなオペレーションをコンピューティング装置が遂行するようにさせる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
【００１２】
図２ｂの例では、右手１１０の人差し指１１２及び中指１１３を一緒に横方向に動かし（２１０）、マウス１００の表面に手を載せながらスワイプジェスチャーのようなジェスチャーをすることができる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
【００１３】
図２ｃの例では、右手１１０の人差し指１１２を長手方向に動かし（２１５）、マウス１００の表面に手を載せながら「スクロール」ジェスチャーのようなジェスチャーをすることができる。スクロールジェスチャーは、ディスプレイスクリーン上のＵＩにおいてスクロールアップ又はスクロールダウンのようなオペレーションをコンピューティングシステムが遂行するようにさせる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
【００１４】
図２ｄの例では、右手１１０の人差し指１１２及び中指１１３を一緒に長手方向に動かし（２２０）、マウス１００の表面に手を載せながらスクロールジェスチャーのようなジェスチャーをすることができる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
【００１５】
図２ｅの例では、右手１１０の親指１１１及び人差し指１１２を一緒に動かしてピンチング(pinching)運動２２５を行い、マウス１００の表面に手を載せながら「ズーム」ジェスチャーのようなジェスチャーをすることができる。ズームジェスチャーは、ディスプレイスクリーン上のＵＩ要素を拡大又は収縮するようなオペレーションをコンピューティングシステムが遂行するようにさせる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
【００１６】
図２ｆの例では、右手１１０の人差し指１１２及び中指１１３を一緒に動かしてピンチング運動２３０を行い、マウス１００の表面に手を載せながらズームジェスチャーのようなジェスチャーをすることができる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
【００１７】
図２ｇの例では、右手１１０の人差し指１１２でタップ運動２３５を２回行って、マウス１００の表面に手を載せながら「ダブルクリック」ジェスチャーのようなジェスチャーをすることができる。ダブルクリックジェスチャーは、ディスプレイスクリーン上で入力ポインタにより指されたＵＩ要素を選択するようなオペレーションをコンピューティングシステムが遂行するようにさせる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
【００１８】
図２ｈの例では、右手１１０の人差し指１１２及び中指１１３で一緒にタップ運動２４０を一度行って、マウス１００の表面に手を載せながら「ダブルクリック」ジェスチャーのようなジェスチャーをすることができる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
【００１９】
図２ｉの例では、右手１１０の人差し指１１２でタップ運動２４５を３回行って、マウス１００の表面に手を載せながら「トリプルクリック」ジェスチャーのようなジェスチャーをすることができる。トリプルクリックジェスチャーは、ディスプレイスクリーン上の入力ポインタで指された複数のＵＩ要素を選択するようなオペレーションをコンピューティングシステムが遂行するようにさせる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
【００２０】
図２ｊの例では、右手１１０の人差し指１１２、中指１１３及び薬指１１４で一緒にタップ運動２５０を一度行って、マウス１００の表面に手を載せながらトリプルクリックジェスチャーのようなジェスチャーをすることができる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
【００２１】
図２ｋの例では、右手１１０の親指１１１、人差し指１１２及び中指１１３で一緒にタップ運動２５５を一度行って、マウス１００の表面に手を載せながらトリプルクリックジェスチャーのようなジェスチャーをすることができる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
【００２２】
本発明の幾つかの実施形態は、ここでは右手のジェスチャーに関して説明するが、左手のジェスチャーも含まれることを理解されたい。更に、それら実施形態は、ここに述べるジェスチャーに限定されず、マウス表面上で行うことのできる適当なジェスチャーを含むことも理解されたい。更に、ジェスチャーは、ここに述べる指により行われるものに限定されず、ジェスチャーを実行できる付加的な指又は他の指によって行われてもよい。
【００２３】
図３ａは、本発明の実施形態によりマウスに載せた手に合わせたジェスチャーを発生するための規範的な方法を示す。図３ａの例において、マウスに手が載せられているかどうか判断することができる（３０５）。これは、マウスの表面にタッチ事象が生じたかどうか検出することにより行うことができる。マウスに手が載せられている場合には、マウス表面に載せられた手の指に対応するタッチ映像を捕獲することができる。
【００２４】
その捕獲した映像を処理して、手の姿勢を決定することができる（３１０）。例えば、標準的な信号処理技術を使用して、マウスの上面及び側面において、どの指がどこに何回載せられたか決定することができる。
【００２５】
決定された手の姿勢に基づき、スクロールジェスチャーを発生することができる（３１５）。例えば、ユーザの自然の手の姿勢が、マウスの上面に載せられた人差し指及び親指を含む場合に、図２ｄのようにこれら２つの指が、又は図２ｃのようにそのいずれかの指が、マウス表面上で長手方向の運動を遂行して、コンピューティングシステムがスクロールオペレーションを実行するようにさせるスクロールジェスチャーを発生することができる。或いは又、ユーザの自然の手の姿勢が、マウスの上面に載せられた人差しのみを含む場合に、図２ｃのようにその指がマウス表面上で長手方向運動を遂行して、コンピューティングシステムがスクロールオペレーションを実行するようにさせるスクロールジェスチャーを発生することができる。或いは又、ユーザの自然の手の姿勢が、マウスの上面に載せられた人差し指、中指及び薬指を含む場合に、図２ｃ及び図２ｄのように、これら３本の指又はそのサブセットがマウス表面上で長手方向運動を遂行して、コンピューティングシステムがスクロールオペレーションを実行するようにさせるスクロールジェスチャーを発生することができる。スクロールジェスチャーを発生するための他の自然の姿勢も使用できる。
【００２６】
スクロールジェスチャーに含まれる指に基づいて、他のジェスチャーを発生することもできる（３２０）。他のジェスチャーは、人差し指、中指及び親指のような３本の指を含む発生されたスクロールジェスチャーに基づいて発生することができる。図２ａ及び２ｂのように３本の全ての指又はそのサブセットがマウス表面上で横方向運動を遂行してコンピューティングシステムがスワイプ動作を遂行するようにさせるスワイプジェスチャーを発生することができる（３２２）。図２ｇないし２ｋのように、３本の全ての指又はそのサブセットがマウス表面上で１つ以上のタップ運動を遂行してコンピューティングシステムがクリック動作を実行するようにさせるクリックジェスチャーを発生することができる（３２４）。図２ｆのように２本の指が、又は図２ｅのように１本の指及び親指が、マウス表面上でピンチング運動を遂行して、コンピューティングシステムがズーム動作を実行するようにさせるズームジェスチャーを発生することができる（３２６）。
【００２７】
同様に、人差し指及び中指のような２本の指を含む発生されたスクロールジェスチャーに基づいて他のジェスチャーを発生することができる。両方の指又はいずれかの指がマウス表面上で横方向の運動を遂行することを含むスワイプジェスチャーを発生することができる（３３２）。その両方の指又はいずれかの指がマウス表面上で１つ以上のタップ運動を遂行することを含むクリックジェスチャーを発生することができる（３３４）。その両方の指又は１つの指と親指がマウスの表面上でピンチング運動を遂行することを含むズームジェスチャーを発生することができる（３３６）。
【００２８】
同様に、人差し指のような１本の指を含む発生されたスクロールジェスチャーに基づいて他のジェスチャーを発生することができる。その指がマウス表面上で横方向運動を遂行することを含むスワイプジェスチャーを発生することができる（３４２）。その指がマウス表面上でタップ運動を遂行することを含むクリックジェスチャーを発生することができる（３４４）。その指及び親指がマウス表面上でピンチング運動を遂行することを含むズームジェスチャーを発生することができる（３４６）。
【００２９】
発生されたジェスチャーは、マウス表面上で行われるジェスチャーを識別するのに後で使用するためにコンピューティングシステムのメモリに記憶することができる。
【００３０】
図３ａの方法とは別に、ユーザの手の自然の姿勢に基づいてジェスチャーが自動的に発生されるのではなく、ユーザによりジェスチャーが選択されてもよい。例えば、スクロールジェスチャーを行うのにユーザがどの指を使用したいかについてユーザに質問をし、ユーザの応答に基づいてジェスチャーを発生することができる。その後、ユーザは、スワイプ、ズーム及びクリックのような他のジェスチャーに対してユーザの好みを指示することもできる。或いは又、スクロールジェスチャーに対するユーザの選択に基づいて、コンピューティングシステムは、他のジェスチャーを自動的に発生することができる。
【００３１】
図３ａの方法とは更に別に、スクロールジェスチャーが、ユーザの手の自然の姿勢に基づいて自動的に発生される第１のジェスチャーであるのではなく、ジェスチャーをプライオリティ付けし、そのプライオリティに基づいて発生することができる。例えば、スワイプジェスチャーがより頻繁に使用されるか又はより重要と考えられるコンピューティングシステムでは、スワイプジェスチャーを最初に発生することができる。このような実施形態では、スワイプジェスチャーは、ユーザの手の自然の姿勢に基づいて発生することができる。スワイプジェスチャーに含まれる指に基づいて他のジェスチャーを発生することができる。或いは又、ユーザは、ジェスチャーを発生する順序を選択することができる。
【００３２】
図３ａの方法とは更に別に、その後のジェスチャーが、スクロールジェスチャーに含まれた同じ指又はそのサブセットを含むのではなく、その後のジェスチャーは、スクロールジェスチャーに含まれた指のスーパーセット又は他の指を含むことができる。
【００３３】
ジェスチャーを発生する方法は、ここに述べるものに限定されず、本発明の実施形態に基づいてジェスチャー発生を遂行できる他のステップ又は付加的なステップも含むことを理解されたい。
【００３４】
図３ｂは、本発明の実施形態によりマウスに載せた手に合わせたジェスチャーを検出するための規範的な方法を示す。図３ｂの例では、マウスの表面にタッチ事象が生じたかどうかの判断がなされる（３５０）。タッチ事象が生じた場合には、マウスの表面に載せられた手の指に対応する複数のタッチ映像を捕獲することができる（３５５）。この映像は、ジェスチャーを行う指の動き、及び他の指の動きの実質的な欠如を捕獲することができる。
【００３５】
指の動き成分を計算することができる（３６０）。動き成分は、ｘ成分及びｙ成分より成る並進運動成分と、スケール（又はズーム）成分と、回転成分とを含むことができる。並進運動成分は、マウスの表面を横切る指の位置の変化を表すことができる。スケール成分は、マウスの表面を横切る指間の距離の変化、即ち指の運動ベクトルのドット積を表すことができる。回転成分は、マウスの表面を横切る指間の角度の変化、即ち指の動きベクトルのクロス積を表すことができる。動き成分の計算は、全ての目的で参考としてここに内容をそのまま援用する“Method and Apparatus for Integrating Manual Input”と題する米国特許第６，３２３，８４６号に開示されている。
【００３６】
米国特許第６，３２３，８４６号のように、指と指の間の並進運動成分は、指の各並進運動成分の単純な平均値として計算することができる。しかしながら、マウス用途では、例えば、スクロールジェスチャー中、１つの指がマウス表面上を移動する間に、他の指は静止のままであるか又はほとんど動かないことが人間工学的である。従って、１つの指が他の指より非常に速く動くので、又は１つの指は動くが他の指は全く動かないので、単純な平均値は、並進運動を正確に表すものではない。このようなケースでは、指と指との間の並進運動成分Ｖtは、指の各並進運動成分の重み付けされた平均値として計算することができ、次に示すように、速く動く指は、ゆっくり動く指又は動かない指より大きく重み付けすることができる。
但し、ｗ1及びｗ2は、重みであり、Ｖt1及びＶt2は、各々、指１及び指２に対する並進運動成分である。式(１)は、親指以外の指を動かすときに適用することができる。というのは、一般的に、親指は、並進運動ではなく、スケール又は回転運動を行うものだからである。
【００３７】
指の滑らかな運動成分は、生の運動成分から計算することができる（３６５）。これは、生の運動成分にローパスフィルタ（ＬＰＦ）を適用して、指の動きが開始するときに滑らかな運動成分の迅速な構築を生じさせ、そして指の動きが停止するときに滑らかな運動成分のゆっくりした衰退を生じさせることにより実行できる。滑らかな運動成分を迅速に構築することで、滑らかな運動成分をジェスチャー検出のために素早く得ることができる。又、滑らかな運動成分をゆっくり衰退させることで、付加的な指運動の情報が必要になったときに、指運動が停止した後もある時間中は、滑らかな運動成分をジェスチャー検出のために使用し続けることができる。規範的なローパスフィルタは、単純な一次自己回帰フィルタである。滑らかな運動成分の計算は、全ての目的で参考としてここに内容をそのまま援用する“Motion Component Dominance Factors for Motion Locking of Touch Sensor Data”と題する米国特許出願第１２／２３８，３４２号に開示されている。
【００３８】
ある実施形態では、滑らかな指速度は、重み付け並進運動成分計算に重みとして使用することができる。従って、式(１)のような指と指との間の重み付け並進運動成分Ｖtは、次のように表わすことができる。
但し、ｓt1及びｓt2は、滑らかな指速度であり、Ｖt1及びＶt2は、各々、指１及び指２の並進運動成分である。従って、重み付けされた並進運動成分は、２本の指の間で、対応する滑らかな指速度で重み付けされた各並進運動成分の平均値を計算することにより、計算することができる。
【００３９】
動く指を識別することができる（３７０）。指は、タッチ映像におけるそれらの相対的な位置に基づいて識別することができる。例えば、右手のタッチ映像において、親指は、タッチ映像の下部における最も左のタッチとして識別することができ、人差し指は、タッチ映像の上部における隣接タッチとして識別することができ、中指は、タッチ映像に最も上の位置を有する次の隣接タッチとして識別することができ、薬指は、タッチ映像の上部における最も右のタッチに隣接したタッチとして識別することができ、そして小指は、タッチ映像の下部における最も右のタッチとして識別することができる。或いは又、各指には、指のタッチが見える可能性が最も高いタッチ映像の特定領域を指定することができ、タッチ映像のその領域におけるタッチを、他の指のタッチのタッチ映像における相対的な位置に関わらず、その指定された指として識別することができる。動く指を識別するための他の基準も使用することができる。指の動きは、並進運動、スケール及び回転運動成分に関して上述したように計算することができる。
【００４０】
運動優勢(motion dominance)ファクタは、ジェスチャーの形式に基づき３つの運動成分に対する重みとして計算することができる（３７５）。例えば、特定のジェスチャーは、マウスの表面上で長手方向に指の著しい並進運動を有することができる。しかしながら、指は、絶対的な直線で動かないので、見掛け上、若干のスケール運動が生じ、即ち指は、ジェスチャー中又は回転運動中に互いに近づくか又は離れるように動き、即ち１つ以上の指がジェスチャー中にある角度で動く。特定のジェスチャーにおいて並進運動が優勢であるから、著しい並進運動を大事に扱いそして若干のスケール及び回転運動を無視するために３つの運動成分に重み（即ち運動優勢ファクタ）を指定することができる。運動優勢ファクタの計算は、上述した米国特許出願第１２／２３８，３４２号に開示されている。
【００４１】
米国特許出願第１２／２３８，３４２号のように、運動優勢ファクタは、ジェスチャーに含まれる動く指の１つが親指であるときには、並進運動よりもスケール及び回転運動の方が高くなる。これは、ジェスチャーにおける親指に対して並進運動成分よりもスケール及び回転運動成分の方が優勢であることを反映する。ある実施形態では、スケール及び回転の優勢ファクタは、約２．５にセットすることができ、並進の優勢ファクタは、約０．２５にセットすることができる。マウスの用途では、親指以外の指しかジェスチャーに含まれないときに、可能性のある運動は、並進運動であることが人間工学的に期待される。従って、並進運動に対する運動優勢ファクタは、セットできるが、スケール及び回転運動に対する運動優勢ファクタは、オフにされるか、又は非常に低くセットされる。これは、ジェスチャーにおける親指以外の指に対してスケール及び回転運動成分よりも並進運動成分の方が優勢であることを反映する。ある実施形態では、並進の優勢ファクタは、１．０にセットすることができ、スケール及び回転の優勢ファクタは、オフにされるか、又は０．１０にセットされる。
【００４２】
並進運動、スケール及び回転運動成分の中からの優勢運動成分は、運動優勢ファクタに基づいて識別することができる（３８０）。優勢運動成分の識別も、上述した米国特許出願第１２／２３８，３４２号に開示されている。
【００４３】
識別された指及びそれらの優勢運動成分は、それらがどのジェスチャーに最もぴったりマッチングするか決定するために、複数の考えられるジェスチャーと比較することができる（３８５）。例えば、マウスの表面上で行うことのできるユーザの手に合わせた複数の考えられるジェスチャーをメモリに記憶することができる。各記憶されたジェスチャーは、ジェスチャーを遂行できる指及び優勢運動成分を識別することができる。使用すべき記憶されたジェスチャーの指を、タッチ事象で識別された指と比較し、そして記憶されたジェスチャーの優勢運動成分を、タッチ事象で識別された指の優勢運動成分と比較することにより、比較を行うことができる。考えられるジェスチャーの他の特徴も、記憶して比較することができる。
【００４４】
識別された指及び識別された優勢運動成分に最もぴったりマッチングする記憶されたジェスチャーは、検出されたジェスチャーとして選択することができる（３９０）。検出されたジェスチャーは、コンピューティングシステムにより処理されて、それに対応するオペレーションを実行することができる。
【００４５】
ジェスチャー検出方法は、ここに述べたものに限定されず、本発明の実施形態によるジェスチャー検出を遂行できる他のステップ又は付加的なステップを含んでもよいことを理解されたい。
【００４６】
図４は、本発明の実施形態によるジェスチャー発生及び検出アルゴリズムを具現化する規範的なコンピューティングシステムを示す。図４の例において、コンピューティングシステム４００は、本発明の実施形態によるアルゴリズムを具現化するソフトウェア又はファームウェアを実行できる１つ以上のパネルプロセッサ４０２と、周辺装置４０４と、パネルサブシステム４０６とを備えている。周辺装置４０４は、ランダムアクセスメモリ（ＲＡＭ）或いは他の形式のメモリ又は記憶装置、ウオッチドッグタイマー、等を含むが、これに限定されない。パネルサブシステム４０６は、１つ以上のセンスチャンネル４０８、チャンネルスキャンロジック（アナログ又はデジタル）４１０、及びドライバロジック（アナログ又はデジタル）４１４を含むが、これに限定されない。チャンネルスキャンロジック４１０は、ＲＡＭ４１２にアクセスし、センスチャンネル４０８からデータを自律的に読み取り、そしてセンスチャンネルの制御を行うことができる。加えて、チャンネルスキャンロジック４１０は、タッチセンサパネル４２４のドライブ線に同時に付与できる種々の位相で刺激信号４１６を発生するようにドライバロジック４１４を制御することができる。パネルサブシステム４０６は、低いデジタルロジック電圧レベル（例えば、１．７ないし３．３Ｖ）で動作することができる。ドライバロジック４１４は、２つの電荷蓄積装置、例えば、キャパシタを一緒にカスケード接続して、電荷ポンプ４１５を形成することにより、デジタルロジックレベルの供給電圧より高い供給電圧を発生することができる。電荷ポンプ４１５は、デジタルロジックレベル供給電圧の約２倍の振幅（例えば、３．４ないし６．６Ｖ）を有する刺激信号４１６を発生するのに使用できる。図４は、ドライバロジック４１４とは個別の電荷ポンプ４１５を示しているが、電荷ポンプは、ドライバリックの一部分でもよい。ある実施形態では、パネルサブシステム４０６、パネルプロセッサ４０２及び周辺装置４０４は、単一の特定用途向け集積回路（ＡＳＩＣ）へと一体化することができる。
【００４７】
タッチセンサパネル４２４は、複数のドライブ線及び複数のセンス線を有する容量性感知媒体を含むが、他の感知媒体を使用することもできる。ドライブ線及びセンス線は、インジウムスズ酸化物（ＩＴＯ）又はアンチモンスズ酸化物（ＡＴＯ）のような透明導電性媒体から形成できるが、他の透明及び不透明材料、例えば、銅を使用することもできる。ドライブ線及びセンス線は、実質的に透明な基板の片側、基板の両側、又は誘電体材料によって分離された２枚の個別基板に形成することができる。ドライブ線及びセンス線の各交差点は、容量性感知ノードを表し、そして画素（ピクセル）４２６として見ることができ、これは、タッチセンサパネル４２４がタッチの「映像」を捕獲するものと考えたときに特に有用である。（換言すれば、タッチセンサパネルの各タッチセンサにおいてタッチ事象が検出されたかどうかパネルサブシステム４０６が決定した後に、タッチ事象が生じたところのマルチタッチパネルのタッチセンサのパターンをタッチの「映像」（例えば、パネルにタッチする指のパターン）として見ることができる。）ドライブ線及びセンス線とローカルシステム接地との間のキャパシタンスは、漂遊キャパシタンスＣstrayとして現れ、そしてドライブ線とセンス線の交点、即ちピクセルのキャパシタンスは、所与のドライブ線が交流（ＡＣ）信号で刺激されたときに相互信号キャパシタンスＣsigとして現れる。タッチセンサパネル上又はその付近における指又は他の物体の存在は、タッチされるピクセルに生じる信号電荷の変化、Ｃsigの関数、を測定することで、検出できる。タッチセンサパネル４２４の各センス線は、パネルサブシステム４０６のセンスチャンネル４０８を駆動することができる。
【００４８】
タッチセンサパネル４２４は、マウスのような入力装置の表面の一部分又は実質的に全部をカバーすることができる。
【００４９】
又、コンピューティングシステム４００は、パネルプロセッサ４０２から出力を受け取って、その出力に基づいてアクションを遂行するためのホストプロセッサ４２８も備え、それらのアクションは、カーソル又はポインタのような１つ以上の物体を移動し、スクロール又はパンを行い、制御設定を調整し、ファイル又はドキュメントをオープンし、メニューを見、選択を行い、インストラクションを実行し、ホスト装置に結合された周辺装置を動作し、電話コールに応答し、電話コールを発信し、電話コールを着信し、ボリューム又は音声設定を変更し、住所、頻繁にダイヤルされる番号、受け取ったコール、逸したコールのような電話通信に関連した情報を記憶し、コンピュータ又はコンピュータネットワークにログオンし、コンピュータ又はコンピュータネットワークの制限エリアへの許可された個人のアクセスを許し、コンピュータデスクトップのユーザの好ましい構成に関連したユーザプロフィールをロードし、ウェブコンテンツへのアクセスを許し、特定のプログラムを起動し、メッセージを暗号化し又はデコードし、等々、を含むが、それらに限定されない。ホストプロセッサ４２８は、本発明の実施形態によるアルゴリズムを具現化するソフトウェア又はファームウェアを実行することができる。又、ホストプロセッサ４２８は、パネル処理に関係ない付加的な機能を遂行することもできるし、プログラム記憶装置４３２及びディスプレイ装置４３０、例えば、装置のユーザにＵＩを与えるＬＣＤディスプレイに結合することもできる。ディスプレイ装置４３０は、タッチセンサパネル４２４のもとに部分的に又は完全に位置されたときに、タッチセンサパネルと共に、タッチスクリーンを形成することができる。
【００５０】
上述した１つ以上の機能は、メモリ（例えば、図４の周辺装置４０４の１つ）に記憶されてパネルプロセッサ４０２により実行されるファームウェア、又はプログラム記憶装置４３２に記憶されてホストプロセッサ４２８により実行されるファームウェアにより遂行できることに注意されたい。又、ファームウェアは、コンピュータベースのシステム、プロセッサ収容システムのようなインストラクション実行システム、装置又はデバイス、或いはそのインストラクション実行システム、装置又はデバイスからインストラクションをフェッチしてそれらインストラクションを実行する他のシステムにより使用するために又はそれらに関連して使用するために、コンピュータ読み取り可能な媒体に記憶され及び／又はその中において搬送される。本書において、「コンピュータ読み取り可能な媒体」とは、インストラクション実行システム、装置又はデバイスにより使用するために又はそれらに関連して使用するためにプログラムを収容し又は記憶できる媒体である。コンピュータ読み取り可能な媒体は、電子、磁気、光学、電磁、赤外線又は半導体システム、装置又はデバイス、ポータブルコンピュータディスケット（磁気）、ランダムアクセスメモリ（ＲＡＭ）（磁気）、リードオンリメモリ（ＲＯＭ）（磁気）、消去可能なプログラマブルリードオンリメモリ（ＥＰＲＯＭ）（磁気）、ポータブル光学ディスク、例えば、ＣＤ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ、ＤＶＤ−Ｒ又はＤＶＤ−ＲＷ、或いはフラッシュメモリ、例えば、コンパクトフラッシュカード、セキュアなデジタルカード、ＵＳＢメモリデバイス、メモリスティック、等を含むが、それらに限定されない。
【００５１】
又、ファームウェアは、コンピュータベースのシステム、プロセッサ収容システムのようなインストラクション実行システム、装置又はデバイス、或いはそのインストラクション実行システム、装置又はデバイスからインストラクションをフェッチしてそれらインストラクションを実行する他のシステムにより使用するために又はそれらに関連して使用するために、搬送媒体内で伝播することもできる。本書において、「搬送媒体」とは、インストラクション実行システム、装置又はデバイスにより使用するために又はそれらに関連して使用するためにプログラムを通信し、伝播し又は搬送できる媒体である。読み取り可能な搬送媒体は、電子、磁気、光学、電磁又は赤外線のワイヤード又はワイヤレス伝播媒体を含むが、それらに限定されない。
【００５２】
センサパネルは、図４を参照して説明したタッチセンサパネルに限定されず、本発明の実施形態によりタッチ又は空中停止事象を感知してジェスチャーを検出することのできる接近センサパネル又は他のセンサパネルでもよいことを理解されたい。更に、タッチセンサパネルのタッチセンサは、ここでは、行及び列を有するタッチセンサの直交アレイに関して説明したが、本発明の実施形態は、直交アレイに限定されず、対角線、同心円、並びに三次元及びランダム配向を含む多数の次元及び配向に配列されたタッチセンサに一般的に適用できることを理解されたい。更に、ここに述べるタッチセンサパネルは、シングルタッチ又はマルチタッチのいずれのセンサパネルでもよい。
【００５３】
図５は、マウスの表面のタッチセンサパネル５２４と、ベース５４５と、本発明の実施形態によるジェスチャー発生及び検出アルゴリズムを実行するのに使用できる図４のコンピューティングシステム内の他のコンピューティングシステムブロックとを備えた規範的なタッチ感知マウス５００を示す。ある実施形態では、マウス５００は、ケーブル５５０を経てコンピューティングシステムと通信することができる。ある実施形態では、マウス５００は、ワイヤレス接続を経てコンピューティングシステムと通信することができる。
【００５４】
以上、添付図面を参照して、本発明の実施形態を詳細に説明したが、当業者であれば、種々の変更や修正が明らかであろう。このような変更や修正は、特許請求の範囲に規定された本発明の実施形態の範囲内に網羅されるものと理解されたい。
【符号の説明】
【００５５】
１００：マウス
１１０：右手
１１２：人差し指
１１３：中指
２０５、２１０：横方向運動
２１５、２２０：長手方向運動
２２５、２３０：ピンチング運動
２３５、２４０、２４５、２５０：タップ運動
４００：コンピューティングシステム
４０２：パネルプロセッサ
４０４：周辺装置
４０６：パネルサブシステム
４０８：センスチャンネル
４１０：チャンネルスキャンロジック
４１２：ＲＡＭ
４１４：ドライブロジック
４１５：電荷ポンプ
４１６：刺激信号
４２４：タッチセンサパネル
４２８：ホストプロセッサ
４３０：ディスプレイ装置
４３２：プログラム記憶装置
【図１Ａ】
【図１Ｂ】
【図１Ｃ】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図２Ｄ】
【図２Ｅ】
【図２Ｆ】
【図２Ｇ】
【図２Ｈ】
【図２Ｉ】
【図２Ｊ】
【図２Ｋ】
【図３Ａ】
【図３Ｂ】
【技術分野】
【０００１】
本発明は、コンピューティングシステムの入力装置として使用されるタッチ感知マウスに係り、より詳細には、マウス表面に載せた手に合わせたジェスチャーを発生する方法に係る。
【背景技術】
【０００２】
ほとんどのコンピューティングシステムは、ユーザからマウスのような入力装置を経て入力を受け取ることができる。マウスは、ユーザが、コンピューティングシステムのディスプレイスクリーン上のユーザインターフェイス（ＵＩ）において例えばカーソルのような入力ポインタを移動して、そのポインタでＵＩにおける選択を行い、それにより、コンピューティングシステムの種々のオペレーションをトリガーできるようにする。マウスは、ＵＩにおけるデータ選択のためのメカニズムを備え、それが信号へと変換され、コンピューティングシステムは、それを使用して、コンピューティングシステムの種々のオペレーションに対応するＵＩの表示要素を選択することができる。例えば、タッチ感知マウスは、選択を行うためのタッチ装置を含むことができる。タッチ装置は、マウスのタッチ面に対してユーザによって行われたジェスチャーを検出することができ、そのジェスチャーは、コンピューティングシステムにおける１つ以上のオペレーションに対応する。コンピューティングシステムは、ジェスチャーを解釈し、その後、それに対応するオペレーションを実行する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
一般的に、コンピューティングシステムにおける特定のオペレーションに対して特定のジェスチャーが予め定義される。コンピューティングシステムの各ユーザは、予め定義されたジェスチャーを行って、それに対応するオペレーションを実行しなければならない。しかしながら、あるケースでは、予め定義されたジェスチャーは、例えば、ユーザの手に幾つかの物理的な制限があったり異なる自然の姿勢があったりする様々な理由で、ユーザにとって不便であったり不快であったりすることがある。
【課題を解決するための手段】
【０００４】
本発明は、タッチ感知マウスの表面に載せた手に合わせたジェスチャーを発生することに係る。ある実施形態では、マウス表面に載せた手の自然の姿勢に合わせた第１のジェスチャーを発生することができる。第１のジェスチャーに使用される指及び／又は他の指のサブセットを使用する付加的なジェスチャーを発生することができる。ある実施形態では、ユーザの好みのユーザ入力に基づいて第１のジェスチャーを発生することができる。又、ユーザの好みのユーザ入力に基づいて、或いは第１のジェスチャーに使用される指及び／又は他の指のサブセットとして、付加的なジェスチャーを発生することができる。
【図面の簡単な説明】
【０００５】
【図１ａ】マウスに載せた手の規範的な自然の姿勢を示す。
【図１ｂ】マウスに載せた手の規範的な自然の姿勢を示す。
【図１ｃ】マウスに載せた手の規範的な自然の姿勢を示す。
【図２ａ】マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。
【図２ｂ】マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。
【図２ｃ】マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。
【図２ｄ】マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。
【図２ｅ】マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。
【図２ｆ】マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。
【図２ｇ】マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。
【図２ｈ】マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。
【図２ｉ】マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。
【図２ｊ】マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。
【図２ｋ】マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。
【図３ａ】本発明の実施形態によりマウスに載せた手に合わせたジェスチャーを発生するための規範的な方法を示す。
【図３ｂ】本発明の実施形態によりマウスに載せた手に合わせたジェスチャーを検出するための規範的な方法を示す。
【図４】本発明の実施形態によるジェスチャー発生及び検出アルゴリズムを具現化する規範的なコンピューティングシステムを示す。
【図５】本発明の実施形態によるジェスチャー発生及び検出アルゴリズムを実行するのに使用される図４のコンピューティングシステムへタッチ情報を通信することのできるタッチセンサパネルを含む規範的なマウスを示す。
【発明を実施するための形態】
【０００６】
好ましい実施形態の以下の説明において、本発明を実施できる特定の実施形態が例示された添付図面を参照する。他の実施形態も使用できるし、又、本発明の実施形態の範囲から逸脱せずに構造変更もできることを理解されたい。
【０００７】
本発明は、マウスの表面に載せた手に合わせたジェスチャーを発生することに係る。このジェスチャーは、マウスに載せた手の自然の姿勢に基づく。これは、ユーザが、マウス表面に対しユーザにとって快適なジェスチャーを行えるようにする。
【０００８】
本発明の幾つかの実施形態は、ここではタッチ感知マウス上でのジェスチャーに関して説明するが、本発明の実施形態は、これに限定されず、タッチ及び他の形式の感知技術を使用する入力装置に一般的に適用できることを理解されたい。
【０００９】
図１ａないし１ｃは、マウスに載せた手の規範的な自然の姿勢を示す。図１ａは、マウス１００の表面に載せた右手１１０の規範的な上面図である。図１ｂは、マウス１００の表面に載せた右手１１０の規範的な左側面図である。図１ｃは、マウス１００の表面に載せた右手１１０の規範的な右側面図である。典型的に、ユーザは、マウスが使用されないときでも長時間にわたって図１ａないし１ｃに示す弛緩した姿勢でマウスに手を載せることができる。この例では、人差し指及び中指をマウスの上面に載せることができ、親指をマウスの左側面に載せることができ、そして薬指及び小指をマウスの右側面に載せることができる。タッチ感知マウスでは、載せた手をタッチ事象として検出し、コンピューティングシステムにより処理することができる。その後、載せた手の１本以上の指がジェスチャーとして見られるように動くときに、載せた手のタッチをコンピューティングシステムにより処理することができる。
【００１０】
マウスの表面に載せた手の自然の姿勢は、ここに示すものに限定されず、より多数の又はより少数の指が上面及び側面に載せられるか、指が表面のより高いところ又はより低いところに載せられるか、等々の種々の他の姿勢も含むことを理解されたい。
【００１１】
図２ａないし２ｋは、マウスに載せた手の１本以上の指により行うことのできる規範的なジェスチャーを示す。図２ａの例では、右手１１０の人差し指１１２を横方向に動かし（２０５）、マウス１００の表面に手を載せながら「スワイプ(swipe)」ジェスチャーのようなジェスチャーをすることができる。スワイプジェスチャーは、ディスプレイスクリーン上のＵＩ表示を通してページングのようなオペレーションをコンピューティング装置が遂行するようにさせる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
【００１２】
図２ｂの例では、右手１１０の人差し指１１２及び中指１１３を一緒に横方向に動かし（２１０）、マウス１００の表面に手を載せながらスワイプジェスチャーのようなジェスチャーをすることができる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
【００１３】
図２ｃの例では、右手１１０の人差し指１１２を長手方向に動かし（２１５）、マウス１００の表面に手を載せながら「スクロール」ジェスチャーのようなジェスチャーをすることができる。スクロールジェスチャーは、ディスプレイスクリーン上のＵＩにおいてスクロールアップ又はスクロールダウンのようなオペレーションをコンピューティングシステムが遂行するようにさせる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
【００１４】
図２ｄの例では、右手１１０の人差し指１１２及び中指１１３を一緒に長手方向に動かし（２２０）、マウス１００の表面に手を載せながらスクロールジェスチャーのようなジェスチャーをすることができる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
【００１５】
図２ｅの例では、右手１１０の親指１１１及び人差し指１１２を一緒に動かしてピンチング(pinching)運動２２５を行い、マウス１００の表面に手を載せながら「ズーム」ジェスチャーのようなジェスチャーをすることができる。ズームジェスチャーは、ディスプレイスクリーン上のＵＩ要素を拡大又は収縮するようなオペレーションをコンピューティングシステムが遂行するようにさせる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
【００１６】
図２ｆの例では、右手１１０の人差し指１１２及び中指１１３を一緒に動かしてピンチング運動２３０を行い、マウス１００の表面に手を載せながらズームジェスチャーのようなジェスチャーをすることができる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
【００１７】
図２ｇの例では、右手１１０の人差し指１１２でタップ運動２３５を２回行って、マウス１００の表面に手を載せながら「ダブルクリック」ジェスチャーのようなジェスチャーをすることができる。ダブルクリックジェスチャーは、ディスプレイスクリーン上で入力ポインタにより指されたＵＩ要素を選択するようなオペレーションをコンピューティングシステムが遂行するようにさせる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
【００１８】
図２ｈの例では、右手１１０の人差し指１１２及び中指１１３で一緒にタップ運動２４０を一度行って、マウス１００の表面に手を載せながら「ダブルクリック」ジェスチャーのようなジェスチャーをすることができる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
【００１９】
図２ｉの例では、右手１１０の人差し指１１２でタップ運動２４５を３回行って、マウス１００の表面に手を載せながら「トリプルクリック」ジェスチャーのようなジェスチャーをすることができる。トリプルクリックジェスチャーは、ディスプレイスクリーン上の入力ポインタで指された複数のＵＩ要素を選択するようなオペレーションをコンピューティングシステムが遂行するようにさせる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
【００２０】
図２ｊの例では、右手１１０の人差し指１１２、中指１１３及び薬指１１４で一緒にタップ運動２５０を一度行って、マウス１００の表面に手を載せながらトリプルクリックジェスチャーのようなジェスチャーをすることができる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
【００２１】
図２ｋの例では、右手１１０の親指１１１、人差し指１１２及び中指１１３で一緒にタップ運動２５５を一度行って、マウス１００の表面に手を載せながらトリプルクリックジェスチャーのようなジェスチャーをすることができる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。
【００２２】
本発明の幾つかの実施形態は、ここでは右手のジェスチャーに関して説明するが、左手のジェスチャーも含まれることを理解されたい。更に、それら実施形態は、ここに述べるジェスチャーに限定されず、マウス表面上で行うことのできる適当なジェスチャーを含むことも理解されたい。更に、ジェスチャーは、ここに述べる指により行われるものに限定されず、ジェスチャーを実行できる付加的な指又は他の指によって行われてもよい。
【００２３】
図３ａは、本発明の実施形態によりマウスに載せた手に合わせたジェスチャーを発生するための規範的な方法を示す。図３ａの例において、マウスに手が載せられているかどうか判断することができる（３０５）。これは、マウスの表面にタッチ事象が生じたかどうか検出することにより行うことができる。マウスに手が載せられている場合には、マウス表面に載せられた手の指に対応するタッチ映像を捕獲することができる。
【００２４】
その捕獲した映像を処理して、手の姿勢を決定することができる（３１０）。例えば、標準的な信号処理技術を使用して、マウスの上面及び側面において、どの指がどこに何回載せられたか決定することができる。
【００２５】
決定された手の姿勢に基づき、スクロールジェスチャーを発生することができる（３１５）。例えば、ユーザの自然の手の姿勢が、マウスの上面に載せられた人差し指及び親指を含む場合に、図２ｄのようにこれら２つの指が、又は図２ｃのようにそのいずれかの指が、マウス表面上で長手方向の運動を遂行して、コンピューティングシステムがスクロールオペレーションを実行するようにさせるスクロールジェスチャーを発生することができる。或いは又、ユーザの自然の手の姿勢が、マウスの上面に載せられた人差しのみを含む場合に、図２ｃのようにその指がマウス表面上で長手方向運動を遂行して、コンピューティングシステムがスクロールオペレーションを実行するようにさせるスクロールジェスチャーを発生することができる。或いは又、ユーザの自然の手の姿勢が、マウスの上面に載せられた人差し指、中指及び薬指を含む場合に、図２ｃ及び図２ｄのように、これら３本の指又はそのサブセットがマウス表面上で長手方向運動を遂行して、コンピューティングシステムがスクロールオペレーションを実行するようにさせるスクロールジェスチャーを発生することができる。スクロールジェスチャーを発生するための他の自然の姿勢も使用できる。
【００２６】
スクロールジェスチャーに含まれる指に基づいて、他のジェスチャーを発生することもできる（３２０）。他のジェスチャーは、人差し指、中指及び親指のような３本の指を含む発生されたスクロールジェスチャーに基づいて発生することができる。図２ａ及び２ｂのように３本の全ての指又はそのサブセットがマウス表面上で横方向運動を遂行してコンピューティングシステムがスワイプ動作を遂行するようにさせるスワイプジェスチャーを発生することができる（３２２）。図２ｇないし２ｋのように、３本の全ての指又はそのサブセットがマウス表面上で１つ以上のタップ運動を遂行してコンピューティングシステムがクリック動作を実行するようにさせるクリックジェスチャーを発生することができる（３２４）。図２ｆのように２本の指が、又は図２ｅのように１本の指及び親指が、マウス表面上でピンチング運動を遂行して、コンピューティングシステムがズーム動作を実行するようにさせるズームジェスチャーを発生することができる（３２６）。
【００２７】
同様に、人差し指及び中指のような２本の指を含む発生されたスクロールジェスチャーに基づいて他のジェスチャーを発生することができる。両方の指又はいずれかの指がマウス表面上で横方向の運動を遂行することを含むスワイプジェスチャーを発生することができる（３３２）。その両方の指又はいずれかの指がマウス表面上で１つ以上のタップ運動を遂行することを含むクリックジェスチャーを発生することができる（３３４）。その両方の指又は１つの指と親指がマウスの表面上でピンチング運動を遂行することを含むズームジェスチャーを発生することができる（３３６）。
【００２８】
同様に、人差し指のような１本の指を含む発生されたスクロールジェスチャーに基づいて他のジェスチャーを発生することができる。その指がマウス表面上で横方向運動を遂行することを含むスワイプジェスチャーを発生することができる（３４２）。その指がマウス表面上でタップ運動を遂行することを含むクリックジェスチャーを発生することができる（３４４）。その指及び親指がマウス表面上でピンチング運動を遂行することを含むズームジェスチャーを発生することができる（３４６）。
【００２９】
発生されたジェスチャーは、マウス表面上で行われるジェスチャーを識別するのに後で使用するためにコンピューティングシステムのメモリに記憶することができる。
【００３０】
図３ａの方法とは別に、ユーザの手の自然の姿勢に基づいてジェスチャーが自動的に発生されるのではなく、ユーザによりジェスチャーが選択されてもよい。例えば、スクロールジェスチャーを行うのにユーザがどの指を使用したいかについてユーザに質問をし、ユーザの応答に基づいてジェスチャーを発生することができる。その後、ユーザは、スワイプ、ズーム及びクリックのような他のジェスチャーに対してユーザの好みを指示することもできる。或いは又、スクロールジェスチャーに対するユーザの選択に基づいて、コンピューティングシステムは、他のジェスチャーを自動的に発生することができる。
【００３１】
図３ａの方法とは更に別に、スクロールジェスチャーが、ユーザの手の自然の姿勢に基づいて自動的に発生される第１のジェスチャーであるのではなく、ジェスチャーをプライオリティ付けし、そのプライオリティに基づいて発生することができる。例えば、スワイプジェスチャーがより頻繁に使用されるか又はより重要と考えられるコンピューティングシステムでは、スワイプジェスチャーを最初に発生することができる。このような実施形態では、スワイプジェスチャーは、ユーザの手の自然の姿勢に基づいて発生することができる。スワイプジェスチャーに含まれる指に基づいて他のジェスチャーを発生することができる。或いは又、ユーザは、ジェスチャーを発生する順序を選択することができる。
【００３２】
図３ａの方法とは更に別に、その後のジェスチャーが、スクロールジェスチャーに含まれた同じ指又はそのサブセットを含むのではなく、その後のジェスチャーは、スクロールジェスチャーに含まれた指のスーパーセット又は他の指を含むことができる。
【００３３】
ジェスチャーを発生する方法は、ここに述べるものに限定されず、本発明の実施形態に基づいてジェスチャー発生を遂行できる他のステップ又は付加的なステップも含むことを理解されたい。
【００３４】
図３ｂは、本発明の実施形態によりマウスに載せた手に合わせたジェスチャーを検出するための規範的な方法を示す。図３ｂの例では、マウスの表面にタッチ事象が生じたかどうかの判断がなされる（３５０）。タッチ事象が生じた場合には、マウスの表面に載せられた手の指に対応する複数のタッチ映像を捕獲することができる（３５５）。この映像は、ジェスチャーを行う指の動き、及び他の指の動きの実質的な欠如を捕獲することができる。
【００３５】
指の動き成分を計算することができる（３６０）。動き成分は、ｘ成分及びｙ成分より成る並進運動成分と、スケール（又はズーム）成分と、回転成分とを含むことができる。並進運動成分は、マウスの表面を横切る指の位置の変化を表すことができる。スケール成分は、マウスの表面を横切る指間の距離の変化、即ち指の運動ベクトルのドット積を表すことができる。回転成分は、マウスの表面を横切る指間の角度の変化、即ち指の動きベクトルのクロス積を表すことができる。動き成分の計算は、全ての目的で参考としてここに内容をそのまま援用する“Method and Apparatus for Integrating Manual Input”と題する米国特許第６，３２３，８４６号に開示されている。
【００３６】
米国特許第６，３２３，８４６号のように、指と指の間の並進運動成分は、指の各並進運動成分の単純な平均値として計算することができる。しかしながら、マウス用途では、例えば、スクロールジェスチャー中、１つの指がマウス表面上を移動する間に、他の指は静止のままであるか又はほとんど動かないことが人間工学的である。従って、１つの指が他の指より非常に速く動くので、又は１つの指は動くが他の指は全く動かないので、単純な平均値は、並進運動を正確に表すものではない。このようなケースでは、指と指との間の並進運動成分Ｖtは、指の各並進運動成分の重み付けされた平均値として計算することができ、次に示すように、速く動く指は、ゆっくり動く指又は動かない指より大きく重み付けすることができる。
但し、ｗ1及びｗ2は、重みであり、Ｖt1及びＶt2は、各々、指１及び指２に対する並進運動成分である。式(１)は、親指以外の指を動かすときに適用することができる。というのは、一般的に、親指は、並進運動ではなく、スケール又は回転運動を行うものだからである。
【００３７】
指の滑らかな運動成分は、生の運動成分から計算することができる（３６５）。これは、生の運動成分にローパスフィルタ（ＬＰＦ）を適用して、指の動きが開始するときに滑らかな運動成分の迅速な構築を生じさせ、そして指の動きが停止するときに滑らかな運動成分のゆっくりした衰退を生じさせることにより実行できる。滑らかな運動成分を迅速に構築することで、滑らかな運動成分をジェスチャー検出のために素早く得ることができる。又、滑らかな運動成分をゆっくり衰退させることで、付加的な指運動の情報が必要になったときに、指運動が停止した後もある時間中は、滑らかな運動成分をジェスチャー検出のために使用し続けることができる。規範的なローパスフィルタは、単純な一次自己回帰フィルタである。滑らかな運動成分の計算は、全ての目的で参考としてここに内容をそのまま援用する“Motion Component Dominance Factors for Motion Locking of Touch Sensor Data”と題する米国特許出願第１２／２３８，３４２号に開示されている。
【００３８】
ある実施形態では、滑らかな指速度は、重み付け並進運動成分計算に重みとして使用することができる。従って、式(１)のような指と指との間の重み付け並進運動成分Ｖtは、次のように表わすことができる。
但し、ｓt1及びｓt2は、滑らかな指速度であり、Ｖt1及びＶt2は、各々、指１及び指２の並進運動成分である。従って、重み付けされた並進運動成分は、２本の指の間で、対応する滑らかな指速度で重み付けされた各並進運動成分の平均値を計算することにより、計算することができる。
【００３９】
動く指を識別することができる（３７０）。指は、タッチ映像におけるそれらの相対的な位置に基づいて識別することができる。例えば、右手のタッチ映像において、親指は、タッチ映像の下部における最も左のタッチとして識別することができ、人差し指は、タッチ映像の上部における隣接タッチとして識別することができ、中指は、タッチ映像に最も上の位置を有する次の隣接タッチとして識別することができ、薬指は、タッチ映像の上部における最も右のタッチに隣接したタッチとして識別することができ、そして小指は、タッチ映像の下部における最も右のタッチとして識別することができる。或いは又、各指には、指のタッチが見える可能性が最も高いタッチ映像の特定領域を指定することができ、タッチ映像のその領域におけるタッチを、他の指のタッチのタッチ映像における相対的な位置に関わらず、その指定された指として識別することができる。動く指を識別するための他の基準も使用することができる。指の動きは、並進運動、スケール及び回転運動成分に関して上述したように計算することができる。
【００４０】
運動優勢(motion dominance)ファクタは、ジェスチャーの形式に基づき３つの運動成分に対する重みとして計算することができる（３７５）。例えば、特定のジェスチャーは、マウスの表面上で長手方向に指の著しい並進運動を有することができる。しかしながら、指は、絶対的な直線で動かないので、見掛け上、若干のスケール運動が生じ、即ち指は、ジェスチャー中又は回転運動中に互いに近づくか又は離れるように動き、即ち１つ以上の指がジェスチャー中にある角度で動く。特定のジェスチャーにおいて並進運動が優勢であるから、著しい並進運動を大事に扱いそして若干のスケール及び回転運動を無視するために３つの運動成分に重み（即ち運動優勢ファクタ）を指定することができる。運動優勢ファクタの計算は、上述した米国特許出願第１２／２３８，３４２号に開示されている。
【００４１】
米国特許出願第１２／２３８，３４２号のように、運動優勢ファクタは、ジェスチャーに含まれる動く指の１つが親指であるときには、並進運動よりもスケール及び回転運動の方が高くなる。これは、ジェスチャーにおける親指に対して並進運動成分よりもスケール及び回転運動成分の方が優勢であることを反映する。ある実施形態では、スケール及び回転の優勢ファクタは、約２．５にセットすることができ、並進の優勢ファクタは、約０．２５にセットすることができる。マウスの用途では、親指以外の指しかジェスチャーに含まれないときに、可能性のある運動は、並進運動であることが人間工学的に期待される。従って、並進運動に対する運動優勢ファクタは、セットできるが、スケール及び回転運動に対する運動優勢ファクタは、オフにされるか、又は非常に低くセットされる。これは、ジェスチャーにおける親指以外の指に対してスケール及び回転運動成分よりも並進運動成分の方が優勢であることを反映する。ある実施形態では、並進の優勢ファクタは、１．０にセットすることができ、スケール及び回転の優勢ファクタは、オフにされるか、又は０．１０にセットされる。
【００４２】
並進運動、スケール及び回転運動成分の中からの優勢運動成分は、運動優勢ファクタに基づいて識別することができる（３８０）。優勢運動成分の識別も、上述した米国特許出願第１２／２３８，３４２号に開示されている。
【００４３】
識別された指及びそれらの優勢運動成分は、それらがどのジェスチャーに最もぴったりマッチングするか決定するために、複数の考えられるジェスチャーと比較することができる（３８５）。例えば、マウスの表面上で行うことのできるユーザの手に合わせた複数の考えられるジェスチャーをメモリに記憶することができる。各記憶されたジェスチャーは、ジェスチャーを遂行できる指及び優勢運動成分を識別することができる。使用すべき記憶されたジェスチャーの指を、タッチ事象で識別された指と比較し、そして記憶されたジェスチャーの優勢運動成分を、タッチ事象で識別された指の優勢運動成分と比較することにより、比較を行うことができる。考えられるジェスチャーの他の特徴も、記憶して比較することができる。
【００４４】
識別された指及び識別された優勢運動成分に最もぴったりマッチングする記憶されたジェスチャーは、検出されたジェスチャーとして選択することができる（３９０）。検出されたジェスチャーは、コンピューティングシステムにより処理されて、それに対応するオペレーションを実行することができる。
【００４５】
ジェスチャー検出方法は、ここに述べたものに限定されず、本発明の実施形態によるジェスチャー検出を遂行できる他のステップ又は付加的なステップを含んでもよいことを理解されたい。
【００４６】
図４は、本発明の実施形態によるジェスチャー発生及び検出アルゴリズムを具現化する規範的なコンピューティングシステムを示す。図４の例において、コンピューティングシステム４００は、本発明の実施形態によるアルゴリズムを具現化するソフトウェア又はファームウェアを実行できる１つ以上のパネルプロセッサ４０２と、周辺装置４０４と、パネルサブシステム４０６とを備えている。周辺装置４０４は、ランダムアクセスメモリ（ＲＡＭ）或いは他の形式のメモリ又は記憶装置、ウオッチドッグタイマー、等を含むが、これに限定されない。パネルサブシステム４０６は、１つ以上のセンスチャンネル４０８、チャンネルスキャンロジック（アナログ又はデジタル）４１０、及びドライバロジック（アナログ又はデジタル）４１４を含むが、これに限定されない。チャンネルスキャンロジック４１０は、ＲＡＭ４１２にアクセスし、センスチャンネル４０８からデータを自律的に読み取り、そしてセンスチャンネルの制御を行うことができる。加えて、チャンネルスキャンロジック４１０は、タッチセンサパネル４２４のドライブ線に同時に付与できる種々の位相で刺激信号４１６を発生するようにドライバロジック４１４を制御することができる。パネルサブシステム４０６は、低いデジタルロジック電圧レベル（例えば、１．７ないし３．３Ｖ）で動作することができる。ドライバロジック４１４は、２つの電荷蓄積装置、例えば、キャパシタを一緒にカスケード接続して、電荷ポンプ４１５を形成することにより、デジタルロジックレベルの供給電圧より高い供給電圧を発生することができる。電荷ポンプ４１５は、デジタルロジックレベル供給電圧の約２倍の振幅（例えば、３．４ないし６．６Ｖ）を有する刺激信号４１６を発生するのに使用できる。図４は、ドライバロジック４１４とは個別の電荷ポンプ４１５を示しているが、電荷ポンプは、ドライバリックの一部分でもよい。ある実施形態では、パネルサブシステム４０６、パネルプロセッサ４０２及び周辺装置４０４は、単一の特定用途向け集積回路（ＡＳＩＣ）へと一体化することができる。
【００４７】
タッチセンサパネル４２４は、複数のドライブ線及び複数のセンス線を有する容量性感知媒体を含むが、他の感知媒体を使用することもできる。ドライブ線及びセンス線は、インジウムスズ酸化物（ＩＴＯ）又はアンチモンスズ酸化物（ＡＴＯ）のような透明導電性媒体から形成できるが、他の透明及び不透明材料、例えば、銅を使用することもできる。ドライブ線及びセンス線は、実質的に透明な基板の片側、基板の両側、又は誘電体材料によって分離された２枚の個別基板に形成することができる。ドライブ線及びセンス線の各交差点は、容量性感知ノードを表し、そして画素（ピクセル）４２６として見ることができ、これは、タッチセンサパネル４２４がタッチの「映像」を捕獲するものと考えたときに特に有用である。（換言すれば、タッチセンサパネルの各タッチセンサにおいてタッチ事象が検出されたかどうかパネルサブシステム４０６が決定した後に、タッチ事象が生じたところのマルチタッチパネルのタッチセンサのパターンをタッチの「映像」（例えば、パネルにタッチする指のパターン）として見ることができる。）ドライブ線及びセンス線とローカルシステム接地との間のキャパシタンスは、漂遊キャパシタンスＣstrayとして現れ、そしてドライブ線とセンス線の交点、即ちピクセルのキャパシタンスは、所与のドライブ線が交流（ＡＣ）信号で刺激されたときに相互信号キャパシタンスＣsigとして現れる。タッチセンサパネル上又はその付近における指又は他の物体の存在は、タッチされるピクセルに生じる信号電荷の変化、Ｃsigの関数、を測定することで、検出できる。タッチセンサパネル４２４の各センス線は、パネルサブシステム４０６のセンスチャンネル４０８を駆動することができる。
【００４８】
タッチセンサパネル４２４は、マウスのような入力装置の表面の一部分又は実質的に全部をカバーすることができる。
【００４９】
又、コンピューティングシステム４００は、パネルプロセッサ４０２から出力を受け取って、その出力に基づいてアクションを遂行するためのホストプロセッサ４２８も備え、それらのアクションは、カーソル又はポインタのような１つ以上の物体を移動し、スクロール又はパンを行い、制御設定を調整し、ファイル又はドキュメントをオープンし、メニューを見、選択を行い、インストラクションを実行し、ホスト装置に結合された周辺装置を動作し、電話コールに応答し、電話コールを発信し、電話コールを着信し、ボリューム又は音声設定を変更し、住所、頻繁にダイヤルされる番号、受け取ったコール、逸したコールのような電話通信に関連した情報を記憶し、コンピュータ又はコンピュータネットワークにログオンし、コンピュータ又はコンピュータネットワークの制限エリアへの許可された個人のアクセスを許し、コンピュータデスクトップのユーザの好ましい構成に関連したユーザプロフィールをロードし、ウェブコンテンツへのアクセスを許し、特定のプログラムを起動し、メッセージを暗号化し又はデコードし、等々、を含むが、それらに限定されない。ホストプロセッサ４２８は、本発明の実施形態によるアルゴリズムを具現化するソフトウェア又はファームウェアを実行することができる。又、ホストプロセッサ４２８は、パネル処理に関係ない付加的な機能を遂行することもできるし、プログラム記憶装置４３２及びディスプレイ装置４３０、例えば、装置のユーザにＵＩを与えるＬＣＤディスプレイに結合することもできる。ディスプレイ装置４３０は、タッチセンサパネル４２４のもとに部分的に又は完全に位置されたときに、タッチセンサパネルと共に、タッチスクリーンを形成することができる。
【００５０】
上述した１つ以上の機能は、メモリ（例えば、図４の周辺装置４０４の１つ）に記憶されてパネルプロセッサ４０２により実行されるファームウェア、又はプログラム記憶装置４３２に記憶されてホストプロセッサ４２８により実行されるファームウェアにより遂行できることに注意されたい。又、ファームウェアは、コンピュータベースのシステム、プロセッサ収容システムのようなインストラクション実行システム、装置又はデバイス、或いはそのインストラクション実行システム、装置又はデバイスからインストラクションをフェッチしてそれらインストラクションを実行する他のシステムにより使用するために又はそれらに関連して使用するために、コンピュータ読み取り可能な媒体に記憶され及び／又はその中において搬送される。本書において、「コンピュータ読み取り可能な媒体」とは、インストラクション実行システム、装置又はデバイスにより使用するために又はそれらに関連して使用するためにプログラムを収容し又は記憶できる媒体である。コンピュータ読み取り可能な媒体は、電子、磁気、光学、電磁、赤外線又は半導体システム、装置又はデバイス、ポータブルコンピュータディスケット（磁気）、ランダムアクセスメモリ（ＲＡＭ）（磁気）、リードオンリメモリ（ＲＯＭ）（磁気）、消去可能なプログラマブルリードオンリメモリ（ＥＰＲＯＭ）（磁気）、ポータブル光学ディスク、例えば、ＣＤ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ、ＤＶＤ−Ｒ又はＤＶＤ−ＲＷ、或いはフラッシュメモリ、例えば、コンパクトフラッシュカード、セキュアなデジタルカード、ＵＳＢメモリデバイス、メモリスティック、等を含むが、それらに限定されない。
【００５１】
又、ファームウェアは、コンピュータベースのシステム、プロセッサ収容システムのようなインストラクション実行システム、装置又はデバイス、或いはそのインストラクション実行システム、装置又はデバイスからインストラクションをフェッチしてそれらインストラクションを実行する他のシステムにより使用するために又はそれらに関連して使用するために、搬送媒体内で伝播することもできる。本書において、「搬送媒体」とは、インストラクション実行システム、装置又はデバイスにより使用するために又はそれらに関連して使用するためにプログラムを通信し、伝播し又は搬送できる媒体である。読み取り可能な搬送媒体は、電子、磁気、光学、電磁又は赤外線のワイヤード又はワイヤレス伝播媒体を含むが、それらに限定されない。
【００５２】
センサパネルは、図４を参照して説明したタッチセンサパネルに限定されず、本発明の実施形態によりタッチ又は空中停止事象を感知してジェスチャーを検出することのできる接近センサパネル又は他のセンサパネルでもよいことを理解されたい。更に、タッチセンサパネルのタッチセンサは、ここでは、行及び列を有するタッチセンサの直交アレイに関して説明したが、本発明の実施形態は、直交アレイに限定されず、対角線、同心円、並びに三次元及びランダム配向を含む多数の次元及び配向に配列されたタッチセンサに一般的に適用できることを理解されたい。更に、ここに述べるタッチセンサパネルは、シングルタッチ又はマルチタッチのいずれのセンサパネルでもよい。
【００５３】
図５は、マウスの表面のタッチセンサパネル５２４と、ベース５４５と、本発明の実施形態によるジェスチャー発生及び検出アルゴリズムを実行するのに使用できる図４のコンピューティングシステム内の他のコンピューティングシステムブロックとを備えた規範的なタッチ感知マウス５００を示す。ある実施形態では、マウス５００は、ケーブル５５０を経てコンピューティングシステムと通信することができる。ある実施形態では、マウス５００は、ワイヤレス接続を経てコンピューティングシステムと通信することができる。
【００５４】
以上、添付図面を参照して、本発明の実施形態を詳細に説明したが、当業者であれば、種々の変更や修正が明らかであろう。このような変更や修正は、特許請求の範囲に規定された本発明の実施形態の範囲内に網羅されるものと理解されたい。
【符号の説明】
【００５５】
１００：マウス
１１０：右手
１１２：人差し指
１１３：中指
２０５、２１０：横方向運動
２１５、２２０：長手方向運動
２２５、２３０：ピンチング運動
２３５、２４０、２４５、２５０：タップ運動
４００：コンピューティングシステム
４０２：パネルプロセッサ
４０４：周辺装置
４０６：パネルサブシステム
４０８：センスチャンネル
４１０：チャンネルスキャンロジック
４１２：ＲＡＭ
４１４：ドライブロジック
４１５：電荷ポンプ
４１６：刺激信号
４２４：タッチセンサパネル
４２８：ホストプロセッサ
４３０：ディスプレイ装置
４３２：プログラム記憶装置
【図１Ａ】
【図１Ｂ】
【図１Ｃ】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図２Ｄ】
【図２Ｅ】
【図２Ｆ】
【図２Ｇ】
【図２Ｈ】
【図２Ｉ】
【図２Ｊ】
【図２Ｋ】
【図３Ａ】
【図３Ｂ】
【特許請求の範囲】
【請求項１】
タッチ表面に載せた手に合わせたジェスチャーを発生する方法において、
タッチ表面に載せた手の自然の姿勢に基づきその姿勢の手の指を決定するステップと、
前記決定された指の１つ以上を選択してジェスチャーを発生するステップと、
を備えた方法。
【請求項２】
タッチ表面に載せた手の自然の姿勢を決定するステップを更に備えた、請求項１に記載の方法。
【請求項３】
前記決定された指の１つ以上を選択する前記ステップは、タッチ表面上で長手方向運動を行うことのできる手の指の１本以上を選択することを含む、請求項１に記載の方法。
【請求項４】
前記決定された指の１つ以上を選択する前記ステップは、タッチ表面上で横方向運動を行うことのできる前記決定された指の１本以上を選択することを含む、請求項１に記載の方法。
【請求項５】
他のジェスチャーを行うために前記決定された指の１本以上の他のグループを選択するステップを更に備えた、請求項１に記載の方法。
【請求項６】
タッチ表面に載せた手に合わせたジェスチャーを発生する方法において、
入力に応答して、タッチ表面に載せた自然の姿勢の手の指を決定するステップと、
少なくとも前記指のサブセットを含むジェスチャーを発生するステップと、
を備えた方法。
【請求項７】
前記姿勢の手に含まれる指を決定するのに使用される入力を受け取るステップを更に備えた、請求項６に記載の方法。
【請求項８】
前記ジェスチャーに含まれる指のサブセットを選択する第２の入力を受け取るステップを更に備えた、請求項６に記載の方法。
【請求項９】
前記入力は、
手のどの指が動き及び手のどの指が実質的に静止したままであるか識別すること、
前記識別された動く指の運動成分を決定することと、
前記決定に基づき、前記決定された運動成分の少なくとも１つを有する前記識別された動く指により行うことのできる手に合わせた考えられるジェスチャーを提案すること、
タッチ事象に最も密接にマッチングする前記提案された、考えられる、合わせたジェスチャーを、検出されたジェスチャーとして選択すること、
を含む請求項６に記載の方法。
【請求項１０】
前記運動成分は、並進運動成分、スケール運動成分、又は回転運動成分、の少なくとも１つを含む、請求項９に記載の方法。
【請求項１１】
前記並進運動成分は、前記識別された動く指の並進運動成分の重み付けされた平均として計算され、前記識別された動く指の速い方が、前記識別された動く指の残りより大きく重み付けされる、請求項１０に記載の方法。
【請求項１２】
前記決定された運動成分の中から優勢な運動成分を決定するステップと、
前記決定された優勢な運動成分をもつ考えられるジェスチャーを提案するステップと、
を更に備えた請求項９に記載の方法。
【請求項１３】
優勢な運動成分を決定する前記ステップは、
前記決定された運動成分に対応する運動優勢ファクタを計算すること、
を含み、スケール運動成分及び回転運動成分に対する運動優勢ファクタは、親指が前記識別された動く指の１つであるときに高く、そして
並進運動成分に対する運動優勢ファクタは、親指が前記識別された動く指の１つでないときに高い、請求項１２に記載の方法。
【請求項１４】
タッチ表面に載せた手に合わせたジェスチャーを発生するためのプログラムコードを含むコンピュータ読み取り可能な媒体において、前記プログラムコードは、
タッチ表面上のタッチ事象に応答して、そのタッチ事象を含む手の姿勢を決定し、
決定された指の１つ以上を選択してジェスチャーを発生する、
ことを含む方法を遂行するものである、コンピュータ読み取り可能な媒体。
【請求項１５】
前記タッチ事象は、タッチ表面に載せた手の自然の姿勢を含む、請求項１４に記載のコンピュータ読み取り可能な媒体。
【請求項１６】
前記姿勢の決定は、どの指がタッチ事象を構成するか、どれほど多くの指がタッチ事象を構成するか、又はタッチ事象の間にタッチ表面のどこに指がタッチするか、の少なくとも１つを決定することを含む、請求項１４に記載のコンピュータ読み取り可能な媒体。
【請求項１７】
前記手の姿勢の決定は、前記姿勢の手の指を選択することを含む、請求項１４に記載のコンピュータ読み取り可能な媒体。
【請求項１８】
前記ジェスチャーの発生は、ジェスチャーを行う姿勢にされたタッチ事象から前記姿勢の手の指を選択することを含む、請求項１４に記載のコンピュータ読み取り可能な媒体。
【請求項１９】
請求項１４に記載のコンピュータ読み取り可能な媒体を備えたコンピューティングシステム。
【請求項２０】
入力装置であって、その表面上の複数の入力を検出するように構成された複数の入力センサを有し、複数の入力は、物体に対応し、物体は、前記表面上で姿勢をとっている手の指である入力装置と、
前記入力装置と通信しそして検出された複数の入力に基づいてジェスチャーを発生するように構成されたプロセッサと、
を備えたコンピューティングシステム。
【請求項２１】
前記物体は、前記表面に自然の姿勢で載せられた手の指を含む、請求項２０に記載のシステム。
【請求項２２】
前記複数の入力センサは、前記入力装置の表面に載せた手の自然の姿勢より成るタッチを検出するように構成された複数のタッチセンサである、請求項２０に記載のシステム。
【請求項２３】
前記複数のタッチセンサは、前記入力装置の表面に配置されたタッチセンサパネルに合体される、請求項２２に記載のシステム。
【請求項２４】
前記入力装置は、マウスである、請求項２０に記載のシステム。
【請求項２５】
前記複数の入力センサは、前記マウスの表面に載せた手の自然の姿勢より成るタッチを検出するように構成され且つマウスの表面に配置されたタッチセンサパネルに合体された複数のタッチセンサである、請求項２４に記載のシステム。
【請求項１】
タッチ表面に載せた手に合わせたジェスチャーを発生する方法において、
タッチ表面に載せた手の自然の姿勢に基づきその姿勢の手の指を決定するステップと、
前記決定された指の１つ以上を選択してジェスチャーを発生するステップと、
を備えた方法。
【請求項２】
タッチ表面に載せた手の自然の姿勢を決定するステップを更に備えた、請求項１に記載の方法。
【請求項３】
前記決定された指の１つ以上を選択する前記ステップは、タッチ表面上で長手方向運動を行うことのできる手の指の１本以上を選択することを含む、請求項１に記載の方法。
【請求項４】
前記決定された指の１つ以上を選択する前記ステップは、タッチ表面上で横方向運動を行うことのできる前記決定された指の１本以上を選択することを含む、請求項１に記載の方法。
【請求項５】
他のジェスチャーを行うために前記決定された指の１本以上の他のグループを選択するステップを更に備えた、請求項１に記載の方法。
【請求項６】
タッチ表面に載せた手に合わせたジェスチャーを発生する方法において、
入力に応答して、タッチ表面に載せた自然の姿勢の手の指を決定するステップと、
少なくとも前記指のサブセットを含むジェスチャーを発生するステップと、
を備えた方法。
【請求項７】
前記姿勢の手に含まれる指を決定するのに使用される入力を受け取るステップを更に備えた、請求項６に記載の方法。
【請求項８】
前記ジェスチャーに含まれる指のサブセットを選択する第２の入力を受け取るステップを更に備えた、請求項６に記載の方法。
【請求項９】
前記入力は、
手のどの指が動き及び手のどの指が実質的に静止したままであるか識別すること、
前記識別された動く指の運動成分を決定することと、
前記決定に基づき、前記決定された運動成分の少なくとも１つを有する前記識別された動く指により行うことのできる手に合わせた考えられるジェスチャーを提案すること、
タッチ事象に最も密接にマッチングする前記提案された、考えられる、合わせたジェスチャーを、検出されたジェスチャーとして選択すること、
を含む請求項６に記載の方法。
【請求項１０】
前記運動成分は、並進運動成分、スケール運動成分、又は回転運動成分、の少なくとも１つを含む、請求項９に記載の方法。
【請求項１１】
前記並進運動成分は、前記識別された動く指の並進運動成分の重み付けされた平均として計算され、前記識別された動く指の速い方が、前記識別された動く指の残りより大きく重み付けされる、請求項１０に記載の方法。
【請求項１２】
前記決定された運動成分の中から優勢な運動成分を決定するステップと、
前記決定された優勢な運動成分をもつ考えられるジェスチャーを提案するステップと、
を更に備えた請求項９に記載の方法。
【請求項１３】
優勢な運動成分を決定する前記ステップは、
前記決定された運動成分に対応する運動優勢ファクタを計算すること、
を含み、スケール運動成分及び回転運動成分に対する運動優勢ファクタは、親指が前記識別された動く指の１つであるときに高く、そして
並進運動成分に対する運動優勢ファクタは、親指が前記識別された動く指の１つでないときに高い、請求項１２に記載の方法。
【請求項１４】
タッチ表面に載せた手に合わせたジェスチャーを発生するためのプログラムコードを含むコンピュータ読み取り可能な媒体において、前記プログラムコードは、
タッチ表面上のタッチ事象に応答して、そのタッチ事象を含む手の姿勢を決定し、
決定された指の１つ以上を選択してジェスチャーを発生する、
ことを含む方法を遂行するものである、コンピュータ読み取り可能な媒体。
【請求項１５】
前記タッチ事象は、タッチ表面に載せた手の自然の姿勢を含む、請求項１４に記載のコンピュータ読み取り可能な媒体。
【請求項１６】
前記姿勢の決定は、どの指がタッチ事象を構成するか、どれほど多くの指がタッチ事象を構成するか、又はタッチ事象の間にタッチ表面のどこに指がタッチするか、の少なくとも１つを決定することを含む、請求項１４に記載のコンピュータ読み取り可能な媒体。
【請求項１７】
前記手の姿勢の決定は、前記姿勢の手の指を選択することを含む、請求項１４に記載のコンピュータ読み取り可能な媒体。
【請求項１８】
前記ジェスチャーの発生は、ジェスチャーを行う姿勢にされたタッチ事象から前記姿勢の手の指を選択することを含む、請求項１４に記載のコンピュータ読み取り可能な媒体。
【請求項１９】
請求項１４に記載のコンピュータ読み取り可能な媒体を備えたコンピューティングシステム。
【請求項２０】
入力装置であって、その表面上の複数の入力を検出するように構成された複数の入力センサを有し、複数の入力は、物体に対応し、物体は、前記表面上で姿勢をとっている手の指である入力装置と、
前記入力装置と通信しそして検出された複数の入力に基づいてジェスチャーを発生するように構成されたプロセッサと、
を備えたコンピューティングシステム。
【請求項２１】
前記物体は、前記表面に自然の姿勢で載せられた手の指を含む、請求項２０に記載のシステム。
【請求項２２】
前記複数の入力センサは、前記入力装置の表面に載せた手の自然の姿勢より成るタッチを検出するように構成された複数のタッチセンサである、請求項２０に記載のシステム。
【請求項２３】
前記複数のタッチセンサは、前記入力装置の表面に配置されたタッチセンサパネルに合体される、請求項２２に記載のシステム。
【請求項２４】
前記入力装置は、マウスである、請求項２０に記載のシステム。
【請求項２５】
前記複数の入力センサは、前記マウスの表面に載せた手の自然の姿勢より成るタッチを検出するように構成され且つマウスの表面に配置されたタッチセンサパネルに合体された複数のタッチセンサである、請求項２４に記載のシステム。
【図４】
【図５】
【図５】
【公表番号】特表２０１２−５０８４２７（Ｐ２０１２−５０８４２７Ａ）
【公表日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願番号】特願２０１１−５３６４８５（Ｐ２０１１−５３６４８５）
【出願日】平成２１年１１月１２日（２００９．１１．１２）
【国際出願番号】ＰＣＴ／ＵＳ２００９／０６４２７４
【国際公開番号】ＷＯ２０１０／０５６９１７
【国際公開日】平成２２年５月２０日（２０１０．５．２０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．コンパクトフラッシュ
【出願人】（５０３２６０９１８）アップル インコーポレイテッド (568)
【Ｆターム（参考）】
【公表日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願日】平成２１年１１月１２日（２００９．１１．１２）
【国際出願番号】ＰＣＴ／ＵＳ２００９／０６４２７４
【国際公開番号】ＷＯ２０１０／０５６９１７
【国際公開日】平成２２年５月２０日（２０１０．５．２０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．コンパクトフラッシュ
【出願人】（５０３２６０９１８）アップル インコーポレイテッド (568)
【Ｆターム（参考）】
[ Back to top ]