ジェスチャー認識方法及び当該方法を実現するタッチシステム
【課題】接触検出デバイスに対するジェスチャーを実行するための方法及びシステムを提供する。
【解決手段】ジェスチャー認識方法は、タッチパネルでの接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するか否かを決定し、入力されたジェスチャーが所定の普遍的なジェスチャーに一致する場合、イベント信号に基づいて、対応するジェスチャーコマンドセットを生成する。
【解決手段】ジェスチャー認識方法は、タッチパネルでの接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するか否かを決定し、入力されたジェスチャーが所定の普遍的なジェスチャーに一致する場合、イベント信号に基づいて、対応するジェスチャーコマンドセットを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タッチシステムに関し、特にジェスチャー認識方法及び当該方法を実現するタッチシステムに関する。
【背景技術】
【０００２】
多入力デバイスは、コンピュータシステムにおいて処理を実行するために存在する。このような処理は、一般的にカーソルを動かしたり、ディスプレイスクリーンで選択を実行したりすることで対応する。当該処理は、ページング（ｐａｇｉｎｇ）、スクローリング（ｓｃｒｏｌｌｉｎｇ）、パニング（ｐａｎｎｉｎｇ）、ズーミング（ｚｏｏｍｉｎｇ）等の動作を含む。例として、入力デバイスは、ボタン、スイッチ、キーボード、マウス、トラックボール、タッチパッド、ジョイスティック、タッチスクリーン等を含む。
【０００３】
パーソナルラップトップコンピュータのタッチパッドのようなタッチパッド手段は、ディスプレイの入力ポインターの移動が、タッチパッドの表面に沿って移動する指であるユーザの指（又はタッチペン）の相対的な移動に対応する。他方、タッチスクリーンは、ディスプレイスクリーンを覆うタッチセンサ式の透明パネルを含むディスプレイスクリーンの形式である。タッチスクリーンを用いる間、通常、ユーザがスクリーンに表示される物（ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ(ＧＵＩ) Ｏｂｊｅｃｔｓ等）に直接にポインティングする（通常は指による）ことで、ディスプレイスクリーンでの選択が実行される。
【０００４】
近年、より進歩したジェスチャーコマンドが実行されている。例えば、スクロールするジェスチャーを認識できるように、タッチパッド上で４本の指を置くことで、スクロールが開始される。そして、その後スクロールするイベントを実行するために、タッチパッド上でこれらの指を動かす。新たなジェスチャーインターフェースが生じるため、新たなジェスチャーコマンドがコンピュータシステム間及び同様のシステムのアプリケーション内で変化する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】台湾特許出願公開第２００９２５９５２号明細書
【特許文献２】台湾実用新案公告第３５０７３７号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
新たなジェスチャーコマンドが複雑になると、ユーザが、どのように特定のジェスチャー認識プログラムと関わるかについて、混乱し又は確信が得られない。例えば、ユーザが２本の指でタッチパネルに表示されるウィンドウを当該ウィンドウの対向する位置で接触し、他方の指に向かってそれぞれの指をドラッグする。この入力は"close window"コマンドとしてプログラムＸで読み取られ、このジェスチャーを"draw line"コマンドとしてプログラムＹで読み取る。また、ジェスチャーの複雑さの増加（タッチ、ドラッグ、押圧によるタッチ等の指令の種々のコマンドを組み合わせることによって）につれて、如何にしてジェスチャーが入力されたかについて、及びこれらのジェスチャーの何れがソフトウェアプログラムによって読み取られるかを知ることについて、ユーザは、より危惧し、そして混乱させられることになる。
【０００７】
そのため、ユーザに利便性を与えるために、タッチデバイスにおける、ジェスチャーを認識するためのシステムを発展させる必要がある。
【課題を解決するための手段】
【０００８】
この開示は、ユーザに利便性を与えるために、タッチデバイスにおける、ジェスチャーを認識するためのシステム及び方法に関する。
【０００９】
本形態において、ジェスチャー認識方法は、タッチパネルへの接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するか否かを決定し、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するとき、イベント信号に基づいて対応するジェスチャーコマンドセットを生成する。
【００１０】
異なる形態において、ジェスチャー認識方法はまた、イベント信号に応答してアプリケーションプログラムが指定されたか否かを決定する。イベント信号に応答してアプリケーションプログラムが指定されると、イベント信号に応答してアプリケーションプログラムが指定されたとき、イベント信号をアプリケーションプログラムのイベントキューに含め、イベントキューからイベント信号を取得し、アプリケーションプログラムに対応するジェスチャーコマンドを表示する。
【００１１】
さらに異なる形態において、タッチシステムは、タッチパネルと、タッチパネルへの接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャーに一致することを決定している間に、イベント信号を出力するために構成されるタッチＩＣと、イベント信号に基づいて、対応するジェスチャーコマンドセットを生成するために、オペレーティングシステム又はアプリケーションプログラムを制御するために構成される処理装置と、を含む。本形態において、オペレーティングシステムは、以下においてオペレーションシステムと呼ばれる場合がある。
【００１２】
さらに異なる形態において、タッチシステムはまた、オペレーティングシステム及び実行されるアプリケーションプログラムを記憶するために構成される記憶ユニットを含む。処理装置がイベント信号に応答してアプリケーションプログラムを指定することを決定すると、処理装置はアプリケーションプログラムのイベントキューにイベント信号を含め、アプリケーションプログラムは、当該アプリケーションプログラムに対応するジェスチャーコマンドセットを表示するためにイベントキューからイベント信号を取得する。
【００１３】
さらに異なる形態において、１つ又は複数のプログラムを記憶した、コンピュータが読み取り可能な記憶媒体は、タッチパネルが有する電子デバイスによって取り込まれると、当該電子デバイスに、タッチパネルの接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するか否かを決定したり、入力されたジェスチャーが所定の普遍的なジェスチャーに一致すると、イベント信号に基づいて対応するジェスチャーコマンドセットを生成したり、する処理を実行させる。
【００１４】
さらなる特徴及び本開示の利点を以下に説明し、一部は当該開示から得ることができ、又は本開示の実施によって知ることができる。本開示の当該特徴及び利点は実現することができ、添付された特許請求の範囲において詳細に述べた手段及び組合せによって得ることができる。これら及び他の本開示の特徴は、以下の開示及び添付の特許請求の範囲から十分に明らかにすることができ、又は以下に定めるように本開示の実施によって知ることができる。
【発明の効果】
【００１５】
本発明によると、ユーザに利便性を与えるために、タッチデバイスにおける、ジェスチャーを認識するためのシステム及び方法を提供することができる。
【図面の簡単な説明】
【００１６】
図面内の要素は、必ずしも縮尺に基づいて描かれておらず、本開示の原理を中心として明確に描画している。また、図面において、符号は図に対応する部分を示している。
【図１】図１は、ジェスチャー認識方法の形態のフローチャートである。
【図２】図２は、１のコンタクトの接触情報の例となる図を示している。
【図３】図３は、複数のコンタクトの接触情報の例となる図を示している。
【図４】図４は、接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャー（universal gesture）に一致するか否かを決定するための方法の形態のフローチャートである。
【図５】図５は、接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャー（universal gesture）に一致するか否かを決定するための方法の異なる形態のフローチャートである。
【図６】図６は、イベント信号に応答してアプリケーションプログラムが指定されたか否かを決定するための方法の形態のフローチャートである。
【図７】図７は、異なる指の数に伴う普遍的なジェスチャーの例を示している。
【図８】図８は、異なる指の数に伴う普遍的なジェスチャーの例を示している。
【図９】図９は、異なる指の数に伴う普遍的なジェスチャーの例を示している。
【図１０】図１０は、タッチシステムの形態を示すブロック図である。
【発明を実施するための形態】
【００１７】
この開示は、一例として述べられており、添付の図面の形状に限定されるものではなく、類似の要素も含まれる。
【００１８】
タッチ検出デバイスにおけるジェスチャーを実行する方法及びシステムを述べる。特に、普遍的なジェスチャーが事前に定義され、そしてタッチデバイスに記憶されている。一度、入力されたジェスチャーが普遍的なジェスチャーに一致すると決定されると、タッチデバイスから出力される特定のイベント信号がＣＰＵに出力される。ＣＰＵは、それらの幾何学的な特徴（位置、領域又はタイプ）に基づいて、特定のイベント信号に応答してアプリケーションプログラム（ＡＰ）又はオペレーティングシステム（ＯＳ）が指定されたか否かを決定する。当該ＡＰ又はＯＳは、視覚的な方法、例えば、ユーザに取得可能なコマンドを知らせるための、ポップアップウィンドウによって示される、対応するジェスチャーコマンドセットを生成する。本開示の形態では、以下に詳細に述べるように、種々のコンピュータハードウェア又はモジュールを含む特定の用途又は汎用のコンピュータを用いることができる。
【００１９】
図１には、ジェスチャー認識方法の第１の形態が示されている。ジェスチャー認識方法は、普遍的なジェスチャーを事前に定義する、ブロックＳ１００を行う。普遍的なジェスチャーは、グラブ（ｇｒａｂ）、タップ（ｔａｐ）、ピッチ（ｐｉｔｃｈ）、プッシュ（ｐｕｓｈ）、ローテート（ｒｏｔａｔｅ）等を含むグループから選択される。本形態において、グラブと呼ばれる普遍的なジェスチャーの一つは、同時に内側に折り曲げられる少なくとも３本の指で規定される。グラブの定義は、ＩＣに記憶され、動作中に読み出される。
【００２０】
ブロックＳ１００の後、当該方法は、タッチパネルに接触した少なくとも１本の指（又はタッチペン）によって実行された、入力されたジェスチャーの接触情報を検出する、ブロックＳ２００に移行する。この接触情報は、Ｘ座標とＹ座標、出現した最初の時間Ｔｎ、圧力、及び各コンタクトＰｉの移動軌跡を含む。図２には、コンタクトＰｉの移動軌跡を示している。接触情報は、図３に示される、１つのフレーム内における２つの隣接するコンタクトＰｉ間の接続線の長さＤ、２本の隣接する接続線によって形成される角度θ、これらの接続線によって囲まれた多角形Ｇの領域Ａ、及び多角形Ｇの重心Ｍの座標も含めることができる。
【００２１】
当該方法は、接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するか否かの決定を実行する、ブロックＳ３００に移行する。入力されたジェスチャーが普遍的なジェスチャーに一致しないと、当該方法は、接触情報を処理装置に出力し、そして接触情報に関連するシステムコマンドがオペレーティングシステムによって実行される、ブロックＳ３５０に移行する。入力されるジェスチャーが普遍的なジェスチャーに一致すると、当該方法は、イベント信号を処理装置に出力する、ブロックＳ４００に移行する。
【００２２】
ブロックＳ３００の決定工程は、幅広く変化させることができ、接触情報の多数の要因によって決定する。２つの方法を以下に開示する。図４に示すように、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するか否かを決定するための第１の方法は、最初の時間Ｔｎでタッチパネルに少なくとも３つのコンタクトが存在するか否かを決定する、言い換えると、ｉ（コンタクトＰｉの数）≧３、通常ｉ≦５であるか否かを決定する、ブロックＳ３０１を始める。
【００２３】
本形態において、３つのコンタクトより少ないと、１本又は２本の指がパネルに接触していることを意味し、当該方法は、入力されたジェスチャーが普遍的なジェスチャーと一致しない、即ちマッチングは有効でないことを承認する、ブロックＳ３３０に移行する。そして、当該方法は、接触情報を処理装置に出力し、さらに接触情報に関連する選択又は移動等のシステムコマンドがオペレーティングシステムによって実行される、ブロックＳ３５０に移行する。３つ以上のコンタクトがあると、当該方法は、隣接するコンタクトＰｉを接続することによって多角形Ｇｎを規定する、ブロックＳ３０２に移行する。
【００２４】
そして、当該方法は、全てのコンタクトＰｉが時間Ｔｎ＋１で存在するか否かの決定を実行する、ブロックＳ３０３に移行する。時間Ｔｎ＋１と時間Ｔｎとの間隔は、タッチパネルの走査周期数によって決定される、１フレームである。少なくともコンタクトＰｉの１つが時間Ｔｎ＋１内に消えると、当該方法はブロックＳ３３０に移行する。
【００２５】
全てのコンタクトＰｉが時間Ｔｎ＋１で存在すると、当該方法は、１フレームで隣接するコンタクトＰｉを接続することによって、多角形Ｇｎ＋１を規定する、ブロックＳ３０４に移行する。
【００２６】
そして、当該方法は、全てのコンタクトＰｉが時間Ｔｎ＋２で存在するか否かの決定を実行する、ブロックＳ３０５に移行する。時間Ｔｎ＋２と時間Ｔｎ＋１との間隔も１フレームである。少なくともコンタクトＰｉの１つが時間Ｔｎ＋２内に消えると、当該方法はブロックＳ３３０に移行する。
【００２７】
全てのコンタクトＰｉが時間Ｔｎ＋２において存在すると、当該方法は、１フレームで隣接するコンタクトＰｉを接続することによって、多角形Ｇｎ＋２を規定する、ブロックＳ３０６に移行する。
【００２８】
そして、当該方法は、多角形Ｇｎの領域Ａｎが多角形Ｇｎ＋１の領域Ａｎ＋１を超えるか否かの決定、及び多角形Ｇｎ＋１の領域Ａｎ＋１が多角形Ｇｎ＋２の領域Ａｎ＋２を超えるか否かの決定を実行する、ブロックＳ３０７に移行する。言い換えると、全てのコンタクトＰｉが第１の所定の時間（本形態では３フレーム）以内に残存すると、多角形の領域が時間の経過に伴って減少、即ち多角形の領域が時間に反比例するか否かの決定を実行する。領域Ａｎ、Ａｎ＋１及びＡｎ＋２は、従来の方法によってコンタクトＰｉの座標に基づいて算出される。
【００２９】
ブロックＳ３０７での決定結果がＹＥＳの場合、当該方法は、入力されたジェスチャーが普遍的なジェスチャーに一致することを特定する、ブロックＳ３０８に移行する。図７乃至図９に示すように、Ａｎ＞Ａｎ＋１＞Ａｎ＋２の場合、言い換えると、全てのコンタクトが互いに近接し、そして入力されたジェスチャーが普遍的なジェスチャー"グラブ"に一致することを特定する。ブロックＳ３０７での決定結果がＮＯの場合、当該方法はブロックＳ３３０に移行する。
【００３０】
上述したように、ユーザが普遍的なジェスチャーを実行したか否かを決定するために３つのフレーム（Ｔｎ、Ｔｎ＋１、Ｔｎ＋２）のデータのみを取得する。それが理解されるべきことに、より正確な結果を得るために、第１の所定の時間はフレームの数の増加によって延ばされる。
【００３１】
本形態において、当該方法はまた、ブロックＳ３０８の後に、全てのコンタクトＰｉが第２の所定の時間Ｔｎ＋２＋ｍ（ｍは任意の自然数）以内に消えたか否かの決定を実行する、ブロックＳ３０９を含む。全てのコンタクトＰｉが消えると、全ての指が時間Ｔｎ＋２の後であって時間Ｔｎ＋２＋ｍ以内にタッチパネルから離れたことを意味し、当該方法は、入力されたジェスチャーが普遍的なジェスチャーに一致することが有効であることを承認する、ブロックＳ３１０に移行する。決定結果がＮＯの場合は、少なくとも１本の指が、第２の所定の時間Ｔｎ＋２＋ｍを超えてタッチパネルに接触された状態であることを意味し、当該方法は、入力されたジェスチャーが普遍的なジェスチャーに一致することが有効でないことを承認する、ブロックＳ３３０に移行する。
【００３２】
図５に示すように、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するか否かの決定のための第２の方法は、最初の時間Ｔｎで少なくとも３つのコンタクトがタッチパネルに存在するか否かの決定を実行する、言い換えると、ｉ（コンタクトＰｉの数）≧３、通常ｉ≦５であるか否かについて決定する、ブロックＳ３１１を始める。
【００３３】
３つのコンタクトがないと、１又は２本の指のみがタッチパネルに接触していることを意味し、当該方法は、入力されたジェスチャーが普遍的なジェスチャーに一致することが有効でないことを承認する、ブロックＳ３３０に移行する。さらに、当該方法は、接触情報を処理装置に出力し、そして、接触情報と関連付けられた、選択又は移動等のシステムコマンドがオペレーティングシステムによって実行される、ブロックＳ３５０に移行する。少なくとも３つのコンタクトがあると、当該方法は、１つのフレームで２つの隣接するコンタクトＰｉの間隔Ｄｉｊｎを算出する、ブロックＳ３１２に移行する。
【００３４】
そして、当該方法は、全てのコンタクトＰｉが時間Ｔｎ＋１で存在するか否かの決定を実行する、ブロックＳ３１３に移行する。時間Ｔｎ＋１と時間Ｔｎとの間隔は、タッチパネルの走査周波数によって決定される１フレームである。時間Ｔｎ＋１以内に少なくとも１つのコンタクトが消えると、当該方法はブロックＳ３３０に移行する。
【００３５】
全てのコンタクトＰｉが時間Ｔ＋１に存在すると、当該方法は、２つの隣接するコンタクトの間隔Ｄｉｊ（ｎ＋１）を算出する、ブロックＳ３１４に移行する。
【００３６】
そして、当該方法は、全てのコンタクトＰｉが時間Ｔｎ＋２で存在するか否かの決定を実行する、ブロックＳ３１５に移行する。時間Ｔｎ＋２と時間Ｔｎ＋１との間隔も１フレームである。時間Ｔｎ＋２以内に少なくとも１つのコンタクトＰｉが消えると、当該方法はブロックＳ３３０に移行する。
【００３７】
全てのコンタクトＰｉが時間Ｔｎ＋２で存在すると、当該方法は、２つの隣接するコンタクトの間隔Ｄｉｊ（ｎ＋２）を算出する、ブロックＳ３１６に移行する。
【００３８】
そして、当該方法は、間隔Ｄｉｊｎが間隔Ｄｉｊ（ｎ＋ｌ）を超えるか否か、さらに間隔Ｄｉｊ（ｎ＋１）が間隔Ｄｉｊ（ｎ＋２）を超えるか否かの決定を実行する、ブロックＳ３１７に移行する。言い換えると、２つの隣接するコンタクトの間隔が時間の経過に伴って減少、即ち、２つの隣接するコンタクトの間隔が時間に反比例するか否かの決定を実行する。本形態では、第１の所定の時間（本形態では３つのフレーム）の間、全てのコンタクトＰｉの接触状態が維持されると、当該決定が実行される。
【００３９】
ブロックＳ３１７での決定結果がＹＥＳの場合、当該方法は、入力されたジェスチャーが普遍的なジェスチャーであると特定する、ブロックＳ３１８に移行する。図７乃至図９に示すように、Ｄｉｊｎ＞Ｄｉｊ（ｎ＋１）＞Ｄｉｊ（ｎ＋２）の場合、言い換えると、全てのコンタクトが互いに近接し、且つグラブの普遍的なジェスチャーを形成する。上述した不等式を満たさない場合、少なくとも１本の指が他の指から離れたことを意味し、ユーザが普遍的なジェスチャーを実行していないことを決定する。ブロックＳ３１７での決定結果がＮＯの場合、当該方法はブロックＳ３３０に移行する。
【００４０】
本形態において、当該方法はまた、ブロックＳ３１８の後に、全てのコンタクトＰｉがさらに第２の所定の時間Ｔｎ＋２＋ｍ（ｍは任意の自然数）以内に消えたか否かについての決定を実行する、ブロックＳ３１９に移行する。全てのコンタクトＰｉが消えていれば、全ての指が時間Ｔｎ＋２後であって時間Ｔｎ＋２＋ｍ以内にタッチパネルから離れたことを意味し、当該方法は、入力されたジェスチャーが普遍的なジェスチャーと一致することが有効であることを承認する、ブロックＳ３２０に移行する。決定結果がＮＯの場合、第２の所定の時間Ｔｎ＋２＋ｍを超えて、少なくても１本の指がタッチパネルに接触していることを意味し、当該方法は、入力されたジェスチャーが普遍的なジェスチャーと一致することが有効でないことを承認する、ブロックＳ３３０に移行する。
【００４１】
好ましい形態において、正確な決定を目的とするために、決定ステップは、１つのコンタクトと隣接するコンタクトとを接続する２本の接続線が成す角度が同じ状態か否かについて、フレームの間に追加することができる。言い換えると、入力されたジェスチャーは、指が直線的に動いたときのみに、普遍的なジェスチャーであると特定することができる。
【００４２】
上述したように、ブロックＳ３１０又はＳ３２０に移行すると、入力されたジェスチャーは、所定の普遍的なジェスチャーに一致することが承認され、有効とされる。再び、図１に示すように、当該方法は、イベント信号が処理装置に出力される、ブロックＳ４００に移行する。
【００４３】
イベント信号は以下のデータに基づく。
タイプ：長さ＝２ｂｉｔ、０１＝３本の指；１０＝４本の指；１１＝５本の指；
領域：長さ＝１４ｂｉｔ、幅＝０〜１６３８４；
位置：長さ＝１６ｂｉｔ、幅＝０〜６５５３５
【００４４】
加えて、当該方法は、アプリケーションプログラムがイベント信号のデータに基づいて当該イベント信号に応答して指定されたか否かの決定を実行する、ブロックＳ５００に移行する。
【００４５】
図６に示すように、ブロックＳ５００の決定方法の形態は、少なくとも３つのコンタクトＰｉの重心が算出される、ブロックＳ５１０を始まる。
【００４６】
重心は種々の方法によって算出される。例えば、重心はコンタクトＰｉにおける隣接する辺を接続することによって囲まれた多角形Ｇｎの幾何学的な中央になる。（Ｘｉ、Ｙｉ）が各コンタクトＰｉの座標を示すとき、ｉ＝１、２、３・・・ｎ≧３であって、重心Ｍの座標は、数１で示される。
【数１】
【００４７】
別の形態において、重心Ｍは、多角形Ｇｎの内接円又は外接円の中央にある。重心Ｍは、コンタクト領域のタイプ又は圧力に基づいても決定することができる。
【００４８】
当該方法は、重心Ｍがアプリケーションプログラムのウィンドウ領域内か否かの決定を実行する、ブロックＳ５２０に移行する。通常、アプリケーションプログラムのウィンドウは、オペレーティングシステムのディスクトップの一部を覆う。重心Ｍがアプリケーションプログラムのウィンドウ領域内に配置されていると、ユーザがアプリケーションプログラムを操作していることを意味し、当該方法は、イベント信号に応答してアプリケーションプログラムを指定する、ブロックＳ５３０に移行する。重心Ｍがアプリケーションプログラムのウィンドウ領域の外側に配置されていると、ユーザがオペレーティングシステムを操作していることを意味し、当該方法は、イベント信号に応答してオペレーティングシステムを指定する、ブロックＳ５４０に移行し、そして図１に示されるブロックＳ８００に移行する。
【００４９】
イベント信号に反応してアプリケーションプログラムを指定する、ブロックＳ５３０の後に、当該方法は、アプリケーションプログラムのイベントキューにイベント信号を含める、図１に示すブロックＳ６００に移行する。加えて、当業者は、アプリケーションプログラムとオペレーティングシステムとの間で送信される前に、イベント信号が適切な形式にパッケージング化されることを理解する。
【００５０】
当該方法は、イベント信号がイベントキューから取得され、そして、ジェスチャーコマンドセットが生成されて、アプリケーションプログラムのインターフェースに対応して表示される。ジェスチャーコマンドセットは、ジェスチャーイベントに行動（action）を関連付けたマップであり、種々のＧＵＩ要素を含む。ユーザは種々のコマンドを生成するために、これらのＧＵＩ要素を選択し、用いることができる。各コマンドの例としては、ｎｅｗ、ｏｐｅｎ、ｃｌｏｓｅ、ｄｅｌｅｔｅ、ｒｅｎａｍｅ、ｓｅｌｅｃｔ ａｌｌ、ｃｕｔ、ｃｏｐｙ、ｐａｓｔｅ、ｕｎｄｏ、ｒｅｄｏ、ｇｒｏｕｐ／ｕｎｇｒｏｕｐ、ｉｔａｌｉｃ、ｂｏｌｄ、ｕｎｄｅｒｌｉｎｅ、ｐｒｅｖｉｏｕｓ／ｎｅｘｔ、ｐｌａｙ／ｐａｕｓｅ、ｍｕｔｅ等を含む。但し、これらの例に限定されるものではなく、他のコマンドを用いることもできる。
【００５１】
イベント信号に応答してオペレーティングシステムが指定されると、当該方法は、ジェスチャーコマンドセットが生成され、さらにオペレーションシステムのインターフェースに対応して表示される、ブロックＳ８００に移行する。
【００５２】
図１０は、本開示の１つの形態に従ってタッチシステム１００が示されている。タッチシステム１００としては、ディスクトップ、ラップトップ、タブレット、ハンドヘルドコンピュータ（ｈａｎｄｈｅｌｄ ｃｏｍｐｕｔｅｒ）を含むパーソナルコンピュータシステム等のようなコンピュータシステムが該当する。また、タッチシステム１００としては、携帯電話、ＰＤＡ、専用のメディアプレーヤ（ｄｅｄｉｃａｔｅｄ ｍｅｄｉａ ｐｌａｙｅｒ）等を含むハンドヘルドデバイス（ｈａｎｄｈｅｌｄ ｄｅｖｉｃｅ）等のような他の民生用電子機器も該当する。
【００５３】
図１０に示すタッチシステム１００は、命令を実行するため、及びタッチシステム１００に関連する動作を実行するために構成される処理装置１０を含む。例えば、メモリから読み出された命令を用いて、処理装置１０は、タッチシステム１００の複数の構成要素の間での入力データ及び出力データの受け取り及び取り扱いを制御する。処理装置１０は、単一のチップ、複数のチップ又は複数の電子部品を実装することができる。例えば、種々の構造を処理装置１０のために用いることができ、専用プロセッサ又は組み込みプロセッサ、単一目的のためのプロセッサ（ｓｉｎｇｌｅ ｐｕｒｐｏｓｅ ｐｒｏｃｅｓｓｏｒ）、コントローラー、ＡＳＩＣ(Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ)等を含めることができる。
【００５４】
図１０に示すタッチシステム１００は、処理装置１０に接続可能な記憶ユニット２０を含む。記憶ユニット２０は、タッチシステム１００によって用いられる、コンピュータコードやデータを記憶するための場所を与えるために構成されている。例として、記憶ユニット２０は、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ハードディスクドライブ等を含むことができる。情報は、リムーバブル記憶媒体に格納されたり、必要な時にタッチシステム１００に読み込み又は組み込まれたり、することもできる。リムーバブル記憶媒体は、ＣＤ−ＲＯＭ、ＰＣ−ＣＡＲＤ、メモリカード、フロッピー（登録商標）ディスク、磁気テープ、及びネットワークコンポーネント等を含めることができる。オペレーティングシステム（ＯＳ）２１、他のコンピュータコード、及びデータは、記憶ユニット２０内に格納される。オペレーティングシステムは、一般的に良く知られており、詳細な説明は省略する。例として、オペレーティングシステムとしては、Ｗｉｎｄｏｗｓ（登録商標）、ＯＳ／２（登録商標）、ＤＯＳ（登録商標）、Ｕｎｉｘ（登録商標）、Ｌｉｎｕｘ（登録商標）、Ｐａｌｍ ＯＳ（登録商標）等を用いることができる。オペレーティングシステムは、例えば限定される目的のアプライアンス型のコンピュータデバイスのために用いられる、特別な目的のオペレーティングシステム等も用いることができる。
【００５５】
記憶ユニット２０は、ＯＳ２１を実行させるためのアプリケーションプログラム（ＡＰ）２２も記憶することができる。アプリケーションプログラム２２も一般的に良く知られている。アプリケーションプログラム（アプリケーションと呼ぶ場合がある。）は、ユーザ、時として他のアプリケーションプログラムのために特別な機能を直接に実行するために設計されたプログラムである。アプリケーションプログラムの一例としては、ワードプロセッサ、データベースプログラム、ウェブブラウザー、開発ツール、描画、ペイント、画像編集プログラム、及びコミュニケーションプログラムを含む。
【００５６】
タッチシステム１００はまた、処理装置１０に接続可能な表示デバイス３０を含む。表示デバイス３０は、例えばアクティブマトリックス、パッシブマトリックス等の液晶ディスプレイ（ＬＣＤ）である。代わって、表示デバイス３０は、ブラウン管（ＣＲＴ）、プラズマディスプレイや電子インクを用いたディスプレイでも構成することができる。表示デバイス３０は、ユーザと動作するオペレーションシステム又はアプリケーションプログラムとの間で、インターフェースを用いて容易性を与える、グラフィカル・ユーザ・インターフェース（ＧＵＩ）を表示するために構成される。
【００５７】
タッチシステム１００はまた、表示デバイス３０に貼り付けられ、そして処理装置１０に接続可能な１又はそれ以上のタッチデバイス４０を含む。タッチデバイス４０は、容量センシング、抵抗センシング、弾性表面波センシング、圧力センシング、光センシング等のセンシング技術に基づくことができ、タッチシステム１００は、ユーザの接触から入力を受け取るため、さらに処理装置１０に情報を出力するために、構成することができる。タッチデバイス４０は、タッチパネル４１、及びタッチパネル４１に接続されるタッチＩＣ４２を含む。タッチパネル４１は、入力されたジェスチャーの接触情報、例えばタッチセンサの表面への接触の位置や大きさを取得するために構成される。タッチＩＣ４２は、ジェスチャー記憶装置４２１及び決定装置４２２を含む。
【００５８】
ジェスチャー記憶装置４２１は、上述した所定の普遍的なジェスチャーを記憶するために構成される。
【００５９】
決定装置４２２は、上述した接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するか否かを決定するために構成される。
【００６０】
タッチＩＣ４２は、入力されたジェスチャーが上述した所定の普遍的なジェスチャーに一致するとき、処理装置１０にイベント信号を出力するために構成される。
【００６１】
処理装置１０は、イベント信号を受け取り、アプリケーションプログラム２２又はオペレーティングシステム２１がイベント信号のデータに基づいて、イベント信号に応答して指定されたか否かを決定するために構成される。例えば、重心を算出することは、アプリケーションプログラム２２又はオペレーティングシステム２１が上述したイベント信号に応答して指定されたか否かを決定するためのものである。
【００６２】
例として、アプリケーションプログラム２２が指定されたとき、処理装置１０は、アプリケーションプログラム２２のイベントキュー（不図示）にイベント信号を含める。アプリケーションプログラム２２は、イベントキューからイベント信号を取得するために、処理装置１０によって制御され、そして、インターフェースに表示される、対応するジェスチャーコマンドセット２４を生成する。ジェスチャーコマンドセット２４は、ジェスチャーイベントに動作を関連付けたマップでも良く、コマンド（ｍｏｖｅｓ、ｒｏｔａｔｉｏｎｓ、ｓｐｒｅａｄ／ｃｏｎｔｒａｃｔ）の矢印によって示される、種々のＧＵＩ要素を含んでも良い。但し、ジェスチャーコマンドセットやＧＵＩ要素は一例であって、限定されないことを理解されるべきである。例えば、写真編集プログラムにおいて、対応するジェスチャーコマンドセット２４は、メディアファイルを通じてのスクロール、写真の回転、写真のズームイン及びズームアウトのコマンドを含む。但し、初期要素と異なり、ユーザがそれらの要素を改変することもできることを理解すべきである。したがって、種々のアプリケーションプログラム２２を扱うとき、ユーザは、複雑なジェスチャーを覚えることなしに、複数の関連するコマンドを実行するために普遍的なジェスチャーを実行することができる。
【００６３】
上述したように、処理装置１０はイベント信号のタイプ、領域又は位置に基づいてイベント信号に応答してオペレーションシステム２１が指定されたことを決定し、オペレーションシステム２１は、インターフェースに表示される、対応するジェスチャーコマンドセット２４を生成するために、処理装置１０によって制御される。
【００６４】
入力されたジェスチャーが普遍的なジェスチャーに一致しない、又は普遍的なジェスチャーと一致する承認情報が有効でないと、タッチＩＣ４２は、通常の信号として処理装置１０に接触情報を出力する。そして、接触情報に関連付けられたシステムコマンドは、オペレーションシステム２１又はアプリケーションプログラム２２によって実行される。
【００６５】
本発明の特定の構造的特徴及び／又は方法の動作に関して開示した。しかし、添付の特許請求の範囲によって定義される本発明は、開示した構造的特徴や方法の動作に限定されない。また、当該特定の特徴及び動作は、請求項に係る発明を実行する単純な形式として開示されている。
＜付記１＞
タッチパネルの接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するか否かを決定し、
前記入力されたジェスチャーが所定の普遍的なジェスチャーに一致すると、イベント信号に基づいて対応するジェスチャーコマンドセットを生成する、ジェスチャー認識方法。
＜付記２＞
前記普遍的なジェスチャーのグラブ（ｇｒａｂ）は、少なくとも３本の指によって形成される、付記１に記載の方法。
【符号の説明】
【００６６】
１００ タッチシステム
１０ 処理装置
２０ 記憶ユニット
２１ オペレーティングシステム（オペレーションシステム）
２２ アプリケーションプログラム
２４ ジェスチャーコマンドセット
３０ 表示デバイス
４０ タッチデバイス
４１ タッチパネル
４２ タッチＩＣ
４２１ ジェスチャー記憶装置
４２２ 決定装置
Ｍ 重心
Ｐｉ コンタクト
【技術分野】
【０００１】
本発明は、タッチシステムに関し、特にジェスチャー認識方法及び当該方法を実現するタッチシステムに関する。
【背景技術】
【０００２】
多入力デバイスは、コンピュータシステムにおいて処理を実行するために存在する。このような処理は、一般的にカーソルを動かしたり、ディスプレイスクリーンで選択を実行したりすることで対応する。当該処理は、ページング（ｐａｇｉｎｇ）、スクローリング（ｓｃｒｏｌｌｉｎｇ）、パニング（ｐａｎｎｉｎｇ）、ズーミング（ｚｏｏｍｉｎｇ）等の動作を含む。例として、入力デバイスは、ボタン、スイッチ、キーボード、マウス、トラックボール、タッチパッド、ジョイスティック、タッチスクリーン等を含む。
【０００３】
パーソナルラップトップコンピュータのタッチパッドのようなタッチパッド手段は、ディスプレイの入力ポインターの移動が、タッチパッドの表面に沿って移動する指であるユーザの指（又はタッチペン）の相対的な移動に対応する。他方、タッチスクリーンは、ディスプレイスクリーンを覆うタッチセンサ式の透明パネルを含むディスプレイスクリーンの形式である。タッチスクリーンを用いる間、通常、ユーザがスクリーンに表示される物（ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ(ＧＵＩ) Ｏｂｊｅｃｔｓ等）に直接にポインティングする（通常は指による）ことで、ディスプレイスクリーンでの選択が実行される。
【０００４】
近年、より進歩したジェスチャーコマンドが実行されている。例えば、スクロールするジェスチャーを認識できるように、タッチパッド上で４本の指を置くことで、スクロールが開始される。そして、その後スクロールするイベントを実行するために、タッチパッド上でこれらの指を動かす。新たなジェスチャーインターフェースが生じるため、新たなジェスチャーコマンドがコンピュータシステム間及び同様のシステムのアプリケーション内で変化する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】台湾特許出願公開第２００９２５９５２号明細書
【特許文献２】台湾実用新案公告第３５０７３７号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
新たなジェスチャーコマンドが複雑になると、ユーザが、どのように特定のジェスチャー認識プログラムと関わるかについて、混乱し又は確信が得られない。例えば、ユーザが２本の指でタッチパネルに表示されるウィンドウを当該ウィンドウの対向する位置で接触し、他方の指に向かってそれぞれの指をドラッグする。この入力は"close window"コマンドとしてプログラムＸで読み取られ、このジェスチャーを"draw line"コマンドとしてプログラムＹで読み取る。また、ジェスチャーの複雑さの増加（タッチ、ドラッグ、押圧によるタッチ等の指令の種々のコマンドを組み合わせることによって）につれて、如何にしてジェスチャーが入力されたかについて、及びこれらのジェスチャーの何れがソフトウェアプログラムによって読み取られるかを知ることについて、ユーザは、より危惧し、そして混乱させられることになる。
【０００７】
そのため、ユーザに利便性を与えるために、タッチデバイスにおける、ジェスチャーを認識するためのシステムを発展させる必要がある。
【課題を解決するための手段】
【０００８】
この開示は、ユーザに利便性を与えるために、タッチデバイスにおける、ジェスチャーを認識するためのシステム及び方法に関する。
【０００９】
本形態において、ジェスチャー認識方法は、タッチパネルへの接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するか否かを決定し、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するとき、イベント信号に基づいて対応するジェスチャーコマンドセットを生成する。
【００１０】
異なる形態において、ジェスチャー認識方法はまた、イベント信号に応答してアプリケーションプログラムが指定されたか否かを決定する。イベント信号に応答してアプリケーションプログラムが指定されると、イベント信号に応答してアプリケーションプログラムが指定されたとき、イベント信号をアプリケーションプログラムのイベントキューに含め、イベントキューからイベント信号を取得し、アプリケーションプログラムに対応するジェスチャーコマンドを表示する。
【００１１】
さらに異なる形態において、タッチシステムは、タッチパネルと、タッチパネルへの接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャーに一致することを決定している間に、イベント信号を出力するために構成されるタッチＩＣと、イベント信号に基づいて、対応するジェスチャーコマンドセットを生成するために、オペレーティングシステム又はアプリケーションプログラムを制御するために構成される処理装置と、を含む。本形態において、オペレーティングシステムは、以下においてオペレーションシステムと呼ばれる場合がある。
【００１２】
さらに異なる形態において、タッチシステムはまた、オペレーティングシステム及び実行されるアプリケーションプログラムを記憶するために構成される記憶ユニットを含む。処理装置がイベント信号に応答してアプリケーションプログラムを指定することを決定すると、処理装置はアプリケーションプログラムのイベントキューにイベント信号を含め、アプリケーションプログラムは、当該アプリケーションプログラムに対応するジェスチャーコマンドセットを表示するためにイベントキューからイベント信号を取得する。
【００１３】
さらに異なる形態において、１つ又は複数のプログラムを記憶した、コンピュータが読み取り可能な記憶媒体は、タッチパネルが有する電子デバイスによって取り込まれると、当該電子デバイスに、タッチパネルの接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するか否かを決定したり、入力されたジェスチャーが所定の普遍的なジェスチャーに一致すると、イベント信号に基づいて対応するジェスチャーコマンドセットを生成したり、する処理を実行させる。
【００１４】
さらなる特徴及び本開示の利点を以下に説明し、一部は当該開示から得ることができ、又は本開示の実施によって知ることができる。本開示の当該特徴及び利点は実現することができ、添付された特許請求の範囲において詳細に述べた手段及び組合せによって得ることができる。これら及び他の本開示の特徴は、以下の開示及び添付の特許請求の範囲から十分に明らかにすることができ、又は以下に定めるように本開示の実施によって知ることができる。
【発明の効果】
【００１５】
本発明によると、ユーザに利便性を与えるために、タッチデバイスにおける、ジェスチャーを認識するためのシステム及び方法を提供することができる。
【図面の簡単な説明】
【００１６】
図面内の要素は、必ずしも縮尺に基づいて描かれておらず、本開示の原理を中心として明確に描画している。また、図面において、符号は図に対応する部分を示している。
【図１】図１は、ジェスチャー認識方法の形態のフローチャートである。
【図２】図２は、１のコンタクトの接触情報の例となる図を示している。
【図３】図３は、複数のコンタクトの接触情報の例となる図を示している。
【図４】図４は、接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャー（universal gesture）に一致するか否かを決定するための方法の形態のフローチャートである。
【図５】図５は、接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャー（universal gesture）に一致するか否かを決定するための方法の異なる形態のフローチャートである。
【図６】図６は、イベント信号に応答してアプリケーションプログラムが指定されたか否かを決定するための方法の形態のフローチャートである。
【図７】図７は、異なる指の数に伴う普遍的なジェスチャーの例を示している。
【図８】図８は、異なる指の数に伴う普遍的なジェスチャーの例を示している。
【図９】図９は、異なる指の数に伴う普遍的なジェスチャーの例を示している。
【図１０】図１０は、タッチシステムの形態を示すブロック図である。
【発明を実施するための形態】
【００１７】
この開示は、一例として述べられており、添付の図面の形状に限定されるものではなく、類似の要素も含まれる。
【００１８】
タッチ検出デバイスにおけるジェスチャーを実行する方法及びシステムを述べる。特に、普遍的なジェスチャーが事前に定義され、そしてタッチデバイスに記憶されている。一度、入力されたジェスチャーが普遍的なジェスチャーに一致すると決定されると、タッチデバイスから出力される特定のイベント信号がＣＰＵに出力される。ＣＰＵは、それらの幾何学的な特徴（位置、領域又はタイプ）に基づいて、特定のイベント信号に応答してアプリケーションプログラム（ＡＰ）又はオペレーティングシステム（ＯＳ）が指定されたか否かを決定する。当該ＡＰ又はＯＳは、視覚的な方法、例えば、ユーザに取得可能なコマンドを知らせるための、ポップアップウィンドウによって示される、対応するジェスチャーコマンドセットを生成する。本開示の形態では、以下に詳細に述べるように、種々のコンピュータハードウェア又はモジュールを含む特定の用途又は汎用のコンピュータを用いることができる。
【００１９】
図１には、ジェスチャー認識方法の第１の形態が示されている。ジェスチャー認識方法は、普遍的なジェスチャーを事前に定義する、ブロックＳ１００を行う。普遍的なジェスチャーは、グラブ（ｇｒａｂ）、タップ（ｔａｐ）、ピッチ（ｐｉｔｃｈ）、プッシュ（ｐｕｓｈ）、ローテート（ｒｏｔａｔｅ）等を含むグループから選択される。本形態において、グラブと呼ばれる普遍的なジェスチャーの一つは、同時に内側に折り曲げられる少なくとも３本の指で規定される。グラブの定義は、ＩＣに記憶され、動作中に読み出される。
【００２０】
ブロックＳ１００の後、当該方法は、タッチパネルに接触した少なくとも１本の指（又はタッチペン）によって実行された、入力されたジェスチャーの接触情報を検出する、ブロックＳ２００に移行する。この接触情報は、Ｘ座標とＹ座標、出現した最初の時間Ｔｎ、圧力、及び各コンタクトＰｉの移動軌跡を含む。図２には、コンタクトＰｉの移動軌跡を示している。接触情報は、図３に示される、１つのフレーム内における２つの隣接するコンタクトＰｉ間の接続線の長さＤ、２本の隣接する接続線によって形成される角度θ、これらの接続線によって囲まれた多角形Ｇの領域Ａ、及び多角形Ｇの重心Ｍの座標も含めることができる。
【００２１】
当該方法は、接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するか否かの決定を実行する、ブロックＳ３００に移行する。入力されたジェスチャーが普遍的なジェスチャーに一致しないと、当該方法は、接触情報を処理装置に出力し、そして接触情報に関連するシステムコマンドがオペレーティングシステムによって実行される、ブロックＳ３５０に移行する。入力されるジェスチャーが普遍的なジェスチャーに一致すると、当該方法は、イベント信号を処理装置に出力する、ブロックＳ４００に移行する。
【００２２】
ブロックＳ３００の決定工程は、幅広く変化させることができ、接触情報の多数の要因によって決定する。２つの方法を以下に開示する。図４に示すように、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するか否かを決定するための第１の方法は、最初の時間Ｔｎでタッチパネルに少なくとも３つのコンタクトが存在するか否かを決定する、言い換えると、ｉ（コンタクトＰｉの数）≧３、通常ｉ≦５であるか否かを決定する、ブロックＳ３０１を始める。
【００２３】
本形態において、３つのコンタクトより少ないと、１本又は２本の指がパネルに接触していることを意味し、当該方法は、入力されたジェスチャーが普遍的なジェスチャーと一致しない、即ちマッチングは有効でないことを承認する、ブロックＳ３３０に移行する。そして、当該方法は、接触情報を処理装置に出力し、さらに接触情報に関連する選択又は移動等のシステムコマンドがオペレーティングシステムによって実行される、ブロックＳ３５０に移行する。３つ以上のコンタクトがあると、当該方法は、隣接するコンタクトＰｉを接続することによって多角形Ｇｎを規定する、ブロックＳ３０２に移行する。
【００２４】
そして、当該方法は、全てのコンタクトＰｉが時間Ｔｎ＋１で存在するか否かの決定を実行する、ブロックＳ３０３に移行する。時間Ｔｎ＋１と時間Ｔｎとの間隔は、タッチパネルの走査周期数によって決定される、１フレームである。少なくともコンタクトＰｉの１つが時間Ｔｎ＋１内に消えると、当該方法はブロックＳ３３０に移行する。
【００２５】
全てのコンタクトＰｉが時間Ｔｎ＋１で存在すると、当該方法は、１フレームで隣接するコンタクトＰｉを接続することによって、多角形Ｇｎ＋１を規定する、ブロックＳ３０４に移行する。
【００２６】
そして、当該方法は、全てのコンタクトＰｉが時間Ｔｎ＋２で存在するか否かの決定を実行する、ブロックＳ３０５に移行する。時間Ｔｎ＋２と時間Ｔｎ＋１との間隔も１フレームである。少なくともコンタクトＰｉの１つが時間Ｔｎ＋２内に消えると、当該方法はブロックＳ３３０に移行する。
【００２７】
全てのコンタクトＰｉが時間Ｔｎ＋２において存在すると、当該方法は、１フレームで隣接するコンタクトＰｉを接続することによって、多角形Ｇｎ＋２を規定する、ブロックＳ３０６に移行する。
【００２８】
そして、当該方法は、多角形Ｇｎの領域Ａｎが多角形Ｇｎ＋１の領域Ａｎ＋１を超えるか否かの決定、及び多角形Ｇｎ＋１の領域Ａｎ＋１が多角形Ｇｎ＋２の領域Ａｎ＋２を超えるか否かの決定を実行する、ブロックＳ３０７に移行する。言い換えると、全てのコンタクトＰｉが第１の所定の時間（本形態では３フレーム）以内に残存すると、多角形の領域が時間の経過に伴って減少、即ち多角形の領域が時間に反比例するか否かの決定を実行する。領域Ａｎ、Ａｎ＋１及びＡｎ＋２は、従来の方法によってコンタクトＰｉの座標に基づいて算出される。
【００２９】
ブロックＳ３０７での決定結果がＹＥＳの場合、当該方法は、入力されたジェスチャーが普遍的なジェスチャーに一致することを特定する、ブロックＳ３０８に移行する。図７乃至図９に示すように、Ａｎ＞Ａｎ＋１＞Ａｎ＋２の場合、言い換えると、全てのコンタクトが互いに近接し、そして入力されたジェスチャーが普遍的なジェスチャー"グラブ"に一致することを特定する。ブロックＳ３０７での決定結果がＮＯの場合、当該方法はブロックＳ３３０に移行する。
【００３０】
上述したように、ユーザが普遍的なジェスチャーを実行したか否かを決定するために３つのフレーム（Ｔｎ、Ｔｎ＋１、Ｔｎ＋２）のデータのみを取得する。それが理解されるべきことに、より正確な結果を得るために、第１の所定の時間はフレームの数の増加によって延ばされる。
【００３１】
本形態において、当該方法はまた、ブロックＳ３０８の後に、全てのコンタクトＰｉが第２の所定の時間Ｔｎ＋２＋ｍ（ｍは任意の自然数）以内に消えたか否かの決定を実行する、ブロックＳ３０９を含む。全てのコンタクトＰｉが消えると、全ての指が時間Ｔｎ＋２の後であって時間Ｔｎ＋２＋ｍ以内にタッチパネルから離れたことを意味し、当該方法は、入力されたジェスチャーが普遍的なジェスチャーに一致することが有効であることを承認する、ブロックＳ３１０に移行する。決定結果がＮＯの場合は、少なくとも１本の指が、第２の所定の時間Ｔｎ＋２＋ｍを超えてタッチパネルに接触された状態であることを意味し、当該方法は、入力されたジェスチャーが普遍的なジェスチャーに一致することが有効でないことを承認する、ブロックＳ３３０に移行する。
【００３２】
図５に示すように、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するか否かの決定のための第２の方法は、最初の時間Ｔｎで少なくとも３つのコンタクトがタッチパネルに存在するか否かの決定を実行する、言い換えると、ｉ（コンタクトＰｉの数）≧３、通常ｉ≦５であるか否かについて決定する、ブロックＳ３１１を始める。
【００３３】
３つのコンタクトがないと、１又は２本の指のみがタッチパネルに接触していることを意味し、当該方法は、入力されたジェスチャーが普遍的なジェスチャーに一致することが有効でないことを承認する、ブロックＳ３３０に移行する。さらに、当該方法は、接触情報を処理装置に出力し、そして、接触情報と関連付けられた、選択又は移動等のシステムコマンドがオペレーティングシステムによって実行される、ブロックＳ３５０に移行する。少なくとも３つのコンタクトがあると、当該方法は、１つのフレームで２つの隣接するコンタクトＰｉの間隔Ｄｉｊｎを算出する、ブロックＳ３１２に移行する。
【００３４】
そして、当該方法は、全てのコンタクトＰｉが時間Ｔｎ＋１で存在するか否かの決定を実行する、ブロックＳ３１３に移行する。時間Ｔｎ＋１と時間Ｔｎとの間隔は、タッチパネルの走査周波数によって決定される１フレームである。時間Ｔｎ＋１以内に少なくとも１つのコンタクトが消えると、当該方法はブロックＳ３３０に移行する。
【００３５】
全てのコンタクトＰｉが時間Ｔ＋１に存在すると、当該方法は、２つの隣接するコンタクトの間隔Ｄｉｊ（ｎ＋１）を算出する、ブロックＳ３１４に移行する。
【００３６】
そして、当該方法は、全てのコンタクトＰｉが時間Ｔｎ＋２で存在するか否かの決定を実行する、ブロックＳ３１５に移行する。時間Ｔｎ＋２と時間Ｔｎ＋１との間隔も１フレームである。時間Ｔｎ＋２以内に少なくとも１つのコンタクトＰｉが消えると、当該方法はブロックＳ３３０に移行する。
【００３７】
全てのコンタクトＰｉが時間Ｔｎ＋２で存在すると、当該方法は、２つの隣接するコンタクトの間隔Ｄｉｊ（ｎ＋２）を算出する、ブロックＳ３１６に移行する。
【００３８】
そして、当該方法は、間隔Ｄｉｊｎが間隔Ｄｉｊ（ｎ＋ｌ）を超えるか否か、さらに間隔Ｄｉｊ（ｎ＋１）が間隔Ｄｉｊ（ｎ＋２）を超えるか否かの決定を実行する、ブロックＳ３１７に移行する。言い換えると、２つの隣接するコンタクトの間隔が時間の経過に伴って減少、即ち、２つの隣接するコンタクトの間隔が時間に反比例するか否かの決定を実行する。本形態では、第１の所定の時間（本形態では３つのフレーム）の間、全てのコンタクトＰｉの接触状態が維持されると、当該決定が実行される。
【００３９】
ブロックＳ３１７での決定結果がＹＥＳの場合、当該方法は、入力されたジェスチャーが普遍的なジェスチャーであると特定する、ブロックＳ３１８に移行する。図７乃至図９に示すように、Ｄｉｊｎ＞Ｄｉｊ（ｎ＋１）＞Ｄｉｊ（ｎ＋２）の場合、言い換えると、全てのコンタクトが互いに近接し、且つグラブの普遍的なジェスチャーを形成する。上述した不等式を満たさない場合、少なくとも１本の指が他の指から離れたことを意味し、ユーザが普遍的なジェスチャーを実行していないことを決定する。ブロックＳ３１７での決定結果がＮＯの場合、当該方法はブロックＳ３３０に移行する。
【００４０】
本形態において、当該方法はまた、ブロックＳ３１８の後に、全てのコンタクトＰｉがさらに第２の所定の時間Ｔｎ＋２＋ｍ（ｍは任意の自然数）以内に消えたか否かについての決定を実行する、ブロックＳ３１９に移行する。全てのコンタクトＰｉが消えていれば、全ての指が時間Ｔｎ＋２後であって時間Ｔｎ＋２＋ｍ以内にタッチパネルから離れたことを意味し、当該方法は、入力されたジェスチャーが普遍的なジェスチャーと一致することが有効であることを承認する、ブロックＳ３２０に移行する。決定結果がＮＯの場合、第２の所定の時間Ｔｎ＋２＋ｍを超えて、少なくても１本の指がタッチパネルに接触していることを意味し、当該方法は、入力されたジェスチャーが普遍的なジェスチャーと一致することが有効でないことを承認する、ブロックＳ３３０に移行する。
【００４１】
好ましい形態において、正確な決定を目的とするために、決定ステップは、１つのコンタクトと隣接するコンタクトとを接続する２本の接続線が成す角度が同じ状態か否かについて、フレームの間に追加することができる。言い換えると、入力されたジェスチャーは、指が直線的に動いたときのみに、普遍的なジェスチャーであると特定することができる。
【００４２】
上述したように、ブロックＳ３１０又はＳ３２０に移行すると、入力されたジェスチャーは、所定の普遍的なジェスチャーに一致することが承認され、有効とされる。再び、図１に示すように、当該方法は、イベント信号が処理装置に出力される、ブロックＳ４００に移行する。
【００４３】
イベント信号は以下のデータに基づく。
タイプ：長さ＝２ｂｉｔ、０１＝３本の指；１０＝４本の指；１１＝５本の指；
領域：長さ＝１４ｂｉｔ、幅＝０〜１６３８４；
位置：長さ＝１６ｂｉｔ、幅＝０〜６５５３５
【００４４】
加えて、当該方法は、アプリケーションプログラムがイベント信号のデータに基づいて当該イベント信号に応答して指定されたか否かの決定を実行する、ブロックＳ５００に移行する。
【００４５】
図６に示すように、ブロックＳ５００の決定方法の形態は、少なくとも３つのコンタクトＰｉの重心が算出される、ブロックＳ５１０を始まる。
【００４６】
重心は種々の方法によって算出される。例えば、重心はコンタクトＰｉにおける隣接する辺を接続することによって囲まれた多角形Ｇｎの幾何学的な中央になる。（Ｘｉ、Ｙｉ）が各コンタクトＰｉの座標を示すとき、ｉ＝１、２、３・・・ｎ≧３であって、重心Ｍの座標は、数１で示される。
【数１】
【００４７】
別の形態において、重心Ｍは、多角形Ｇｎの内接円又は外接円の中央にある。重心Ｍは、コンタクト領域のタイプ又は圧力に基づいても決定することができる。
【００４８】
当該方法は、重心Ｍがアプリケーションプログラムのウィンドウ領域内か否かの決定を実行する、ブロックＳ５２０に移行する。通常、アプリケーションプログラムのウィンドウは、オペレーティングシステムのディスクトップの一部を覆う。重心Ｍがアプリケーションプログラムのウィンドウ領域内に配置されていると、ユーザがアプリケーションプログラムを操作していることを意味し、当該方法は、イベント信号に応答してアプリケーションプログラムを指定する、ブロックＳ５３０に移行する。重心Ｍがアプリケーションプログラムのウィンドウ領域の外側に配置されていると、ユーザがオペレーティングシステムを操作していることを意味し、当該方法は、イベント信号に応答してオペレーティングシステムを指定する、ブロックＳ５４０に移行し、そして図１に示されるブロックＳ８００に移行する。
【００４９】
イベント信号に反応してアプリケーションプログラムを指定する、ブロックＳ５３０の後に、当該方法は、アプリケーションプログラムのイベントキューにイベント信号を含める、図１に示すブロックＳ６００に移行する。加えて、当業者は、アプリケーションプログラムとオペレーティングシステムとの間で送信される前に、イベント信号が適切な形式にパッケージング化されることを理解する。
【００５０】
当該方法は、イベント信号がイベントキューから取得され、そして、ジェスチャーコマンドセットが生成されて、アプリケーションプログラムのインターフェースに対応して表示される。ジェスチャーコマンドセットは、ジェスチャーイベントに行動（action）を関連付けたマップであり、種々のＧＵＩ要素を含む。ユーザは種々のコマンドを生成するために、これらのＧＵＩ要素を選択し、用いることができる。各コマンドの例としては、ｎｅｗ、ｏｐｅｎ、ｃｌｏｓｅ、ｄｅｌｅｔｅ、ｒｅｎａｍｅ、ｓｅｌｅｃｔ ａｌｌ、ｃｕｔ、ｃｏｐｙ、ｐａｓｔｅ、ｕｎｄｏ、ｒｅｄｏ、ｇｒｏｕｐ／ｕｎｇｒｏｕｐ、ｉｔａｌｉｃ、ｂｏｌｄ、ｕｎｄｅｒｌｉｎｅ、ｐｒｅｖｉｏｕｓ／ｎｅｘｔ、ｐｌａｙ／ｐａｕｓｅ、ｍｕｔｅ等を含む。但し、これらの例に限定されるものではなく、他のコマンドを用いることもできる。
【００５１】
イベント信号に応答してオペレーティングシステムが指定されると、当該方法は、ジェスチャーコマンドセットが生成され、さらにオペレーションシステムのインターフェースに対応して表示される、ブロックＳ８００に移行する。
【００５２】
図１０は、本開示の１つの形態に従ってタッチシステム１００が示されている。タッチシステム１００としては、ディスクトップ、ラップトップ、タブレット、ハンドヘルドコンピュータ（ｈａｎｄｈｅｌｄ ｃｏｍｐｕｔｅｒ）を含むパーソナルコンピュータシステム等のようなコンピュータシステムが該当する。また、タッチシステム１００としては、携帯電話、ＰＤＡ、専用のメディアプレーヤ（ｄｅｄｉｃａｔｅｄ ｍｅｄｉａ ｐｌａｙｅｒ）等を含むハンドヘルドデバイス（ｈａｎｄｈｅｌｄ ｄｅｖｉｃｅ）等のような他の民生用電子機器も該当する。
【００５３】
図１０に示すタッチシステム１００は、命令を実行するため、及びタッチシステム１００に関連する動作を実行するために構成される処理装置１０を含む。例えば、メモリから読み出された命令を用いて、処理装置１０は、タッチシステム１００の複数の構成要素の間での入力データ及び出力データの受け取り及び取り扱いを制御する。処理装置１０は、単一のチップ、複数のチップ又は複数の電子部品を実装することができる。例えば、種々の構造を処理装置１０のために用いることができ、専用プロセッサ又は組み込みプロセッサ、単一目的のためのプロセッサ（ｓｉｎｇｌｅ ｐｕｒｐｏｓｅ ｐｒｏｃｅｓｓｏｒ）、コントローラー、ＡＳＩＣ(Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ)等を含めることができる。
【００５４】
図１０に示すタッチシステム１００は、処理装置１０に接続可能な記憶ユニット２０を含む。記憶ユニット２０は、タッチシステム１００によって用いられる、コンピュータコードやデータを記憶するための場所を与えるために構成されている。例として、記憶ユニット２０は、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ハードディスクドライブ等を含むことができる。情報は、リムーバブル記憶媒体に格納されたり、必要な時にタッチシステム１００に読み込み又は組み込まれたり、することもできる。リムーバブル記憶媒体は、ＣＤ−ＲＯＭ、ＰＣ−ＣＡＲＤ、メモリカード、フロッピー（登録商標）ディスク、磁気テープ、及びネットワークコンポーネント等を含めることができる。オペレーティングシステム（ＯＳ）２１、他のコンピュータコード、及びデータは、記憶ユニット２０内に格納される。オペレーティングシステムは、一般的に良く知られており、詳細な説明は省略する。例として、オペレーティングシステムとしては、Ｗｉｎｄｏｗｓ（登録商標）、ＯＳ／２（登録商標）、ＤＯＳ（登録商標）、Ｕｎｉｘ（登録商標）、Ｌｉｎｕｘ（登録商標）、Ｐａｌｍ ＯＳ（登録商標）等を用いることができる。オペレーティングシステムは、例えば限定される目的のアプライアンス型のコンピュータデバイスのために用いられる、特別な目的のオペレーティングシステム等も用いることができる。
【００５５】
記憶ユニット２０は、ＯＳ２１を実行させるためのアプリケーションプログラム（ＡＰ）２２も記憶することができる。アプリケーションプログラム２２も一般的に良く知られている。アプリケーションプログラム（アプリケーションと呼ぶ場合がある。）は、ユーザ、時として他のアプリケーションプログラムのために特別な機能を直接に実行するために設計されたプログラムである。アプリケーションプログラムの一例としては、ワードプロセッサ、データベースプログラム、ウェブブラウザー、開発ツール、描画、ペイント、画像編集プログラム、及びコミュニケーションプログラムを含む。
【００５６】
タッチシステム１００はまた、処理装置１０に接続可能な表示デバイス３０を含む。表示デバイス３０は、例えばアクティブマトリックス、パッシブマトリックス等の液晶ディスプレイ（ＬＣＤ）である。代わって、表示デバイス３０は、ブラウン管（ＣＲＴ）、プラズマディスプレイや電子インクを用いたディスプレイでも構成することができる。表示デバイス３０は、ユーザと動作するオペレーションシステム又はアプリケーションプログラムとの間で、インターフェースを用いて容易性を与える、グラフィカル・ユーザ・インターフェース（ＧＵＩ）を表示するために構成される。
【００５７】
タッチシステム１００はまた、表示デバイス３０に貼り付けられ、そして処理装置１０に接続可能な１又はそれ以上のタッチデバイス４０を含む。タッチデバイス４０は、容量センシング、抵抗センシング、弾性表面波センシング、圧力センシング、光センシング等のセンシング技術に基づくことができ、タッチシステム１００は、ユーザの接触から入力を受け取るため、さらに処理装置１０に情報を出力するために、構成することができる。タッチデバイス４０は、タッチパネル４１、及びタッチパネル４１に接続されるタッチＩＣ４２を含む。タッチパネル４１は、入力されたジェスチャーの接触情報、例えばタッチセンサの表面への接触の位置や大きさを取得するために構成される。タッチＩＣ４２は、ジェスチャー記憶装置４２１及び決定装置４２２を含む。
【００５８】
ジェスチャー記憶装置４２１は、上述した所定の普遍的なジェスチャーを記憶するために構成される。
【００５９】
決定装置４２２は、上述した接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するか否かを決定するために構成される。
【００６０】
タッチＩＣ４２は、入力されたジェスチャーが上述した所定の普遍的なジェスチャーに一致するとき、処理装置１０にイベント信号を出力するために構成される。
【００６１】
処理装置１０は、イベント信号を受け取り、アプリケーションプログラム２２又はオペレーティングシステム２１がイベント信号のデータに基づいて、イベント信号に応答して指定されたか否かを決定するために構成される。例えば、重心を算出することは、アプリケーションプログラム２２又はオペレーティングシステム２１が上述したイベント信号に応答して指定されたか否かを決定するためのものである。
【００６２】
例として、アプリケーションプログラム２２が指定されたとき、処理装置１０は、アプリケーションプログラム２２のイベントキュー（不図示）にイベント信号を含める。アプリケーションプログラム２２は、イベントキューからイベント信号を取得するために、処理装置１０によって制御され、そして、インターフェースに表示される、対応するジェスチャーコマンドセット２４を生成する。ジェスチャーコマンドセット２４は、ジェスチャーイベントに動作を関連付けたマップでも良く、コマンド（ｍｏｖｅｓ、ｒｏｔａｔｉｏｎｓ、ｓｐｒｅａｄ／ｃｏｎｔｒａｃｔ）の矢印によって示される、種々のＧＵＩ要素を含んでも良い。但し、ジェスチャーコマンドセットやＧＵＩ要素は一例であって、限定されないことを理解されるべきである。例えば、写真編集プログラムにおいて、対応するジェスチャーコマンドセット２４は、メディアファイルを通じてのスクロール、写真の回転、写真のズームイン及びズームアウトのコマンドを含む。但し、初期要素と異なり、ユーザがそれらの要素を改変することもできることを理解すべきである。したがって、種々のアプリケーションプログラム２２を扱うとき、ユーザは、複雑なジェスチャーを覚えることなしに、複数の関連するコマンドを実行するために普遍的なジェスチャーを実行することができる。
【００６３】
上述したように、処理装置１０はイベント信号のタイプ、領域又は位置に基づいてイベント信号に応答してオペレーションシステム２１が指定されたことを決定し、オペレーションシステム２１は、インターフェースに表示される、対応するジェスチャーコマンドセット２４を生成するために、処理装置１０によって制御される。
【００６４】
入力されたジェスチャーが普遍的なジェスチャーに一致しない、又は普遍的なジェスチャーと一致する承認情報が有効でないと、タッチＩＣ４２は、通常の信号として処理装置１０に接触情報を出力する。そして、接触情報に関連付けられたシステムコマンドは、オペレーションシステム２１又はアプリケーションプログラム２２によって実行される。
【００６５】
本発明の特定の構造的特徴及び／又は方法の動作に関して開示した。しかし、添付の特許請求の範囲によって定義される本発明は、開示した構造的特徴や方法の動作に限定されない。また、当該特定の特徴及び動作は、請求項に係る発明を実行する単純な形式として開示されている。
＜付記１＞
タッチパネルの接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するか否かを決定し、
前記入力されたジェスチャーが所定の普遍的なジェスチャーに一致すると、イベント信号に基づいて対応するジェスチャーコマンドセットを生成する、ジェスチャー認識方法。
＜付記２＞
前記普遍的なジェスチャーのグラブ（ｇｒａｂ）は、少なくとも３本の指によって形成される、付記１に記載の方法。
【符号の説明】
【００６６】
１００ タッチシステム
１０ 処理装置
２０ 記憶ユニット
２１ オペレーティングシステム（オペレーションシステム）
２２ アプリケーションプログラム
２４ ジェスチャーコマンドセット
３０ 表示デバイス
４０ タッチデバイス
４１ タッチパネル
４２ タッチＩＣ
４２１ ジェスチャー記憶装置
４２２ 決定装置
Ｍ 重心
Ｐｉ コンタクト
【特許請求の範囲】
【請求項１】
タッチパネルの接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するか否かを決定し、
前記入力されたジェスチャーが所定の普遍的なジェスチャーに一致すると、イベント信号に基づいて対応するジェスチャーコマンドセットを生成する、ジェスチャー認識方法。
【請求項２】
前記イベント信号に応答してアプリケーションプログラムが指定されたか否かを決定する、請求項１に記載の方法。
【請求項３】
前記イベント信号に応答してアプリケーションプログラムが指定されたか否かを決定する際に、
前記アプリケーションプログラムのイベントキューに前記イベント信号を含め、
前記イベントキューから前記イベント信号を取得し、前記アプリケーションプログラムに対応するジェスチャーコマンドセットを表示する、請求項２に記載の方法。
【請求項４】
前記イベント信号に応答してアプリケーションプログラムが指定されていないと、オペレーティングシステムに対応するジェスチャーコマンドセットを表示する、請求項２又は３に記載の方法。
【請求項５】
前記接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するか否かを決定するステップにおいて、
最初の時間で、少なくとも３つのコンタクトが前記タッチパネルに存在するか否かを決定し、
前記タッチパネルへのコンタクトを決定する結果が該当する場合、第１の所定の期間内で、隣接するコンタクトを接続することによって形成される多角形の領域が時間に反比例しているか否かを決定し、
前記多角形の領域が時間に反比例する場合、入力されたジェスチャーが所定の普遍的なジェスチャーに一致することを特定する、請求項１乃至４のいずれか１項に記載の方法。
【請求項６】
前記多角形の領域を決定するステップにおいて、
前記第１の所定の時間の間、全てのコンタクトの接触状態が維持されるか否かを決定し、
前記全てのコンタクトが接触していない、又は前記多角形の領域が時間に反比例しない場合、入力されたジェスチャーが所定の普遍的なジェスチャーに一致しないことを承認する、請求項５に記載の方法。
【請求項７】
前記接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するか否かを決定するステップにおいて、
最初の時間で、少なくとも３つのコンタクトが前記タッチパネルに存在するか否かを決定し、
前記タッチパネルへのコンタクトを決定する結果が該当する場合、第１の所定の時間内で、２つの隣接するコンタクトの間隔が時間に反比例するか否かを決定し、
前記２つの隣接するコンタクトの間隔が時間に反比例する場合、入力されたジェスチャーが所定の普遍的なジェスチャーに一致することを特定する、請求項１乃至４のいずれか１項に記載の方法。
【請求項８】
前記２つの隣接するコンタクトの間隔を決定するステップにおいて、
前記第１の所定の時間の間、全てのコンタクトの接触状態が維持されるか否かを決定し、
前記全てのコンタクトが接触していない、又は前記２つの隣接するコンタクトの間隔が時間に反比例しない場合、入力されたジェスチャーが所定の普遍的なジェスチャーに一致しないことを承認する、請求項７に記載の方法。
【請求項９】
前記アプリケーションプログラムを決定するステップにおいて、
前記コンタクトの重心を算出し、
前記重心が前記アプリケーションプログラムのウィンドウ領域内に配置されているか否かを決定し、
前記重心の決定結果が該当する場合、前記アプリケーションプログラムが前記イベント信号に応答し、
前記重心の決定結果が該当しない場合、オペレーティングシステムが前記イベント信号に応答する、請求項２乃至４のいずれか１項に記載の方法。
【請求項１０】
前記重心は、座標（１）
【数２】
但し、各コンタクトＰｉの座標を（Ｘｉ，Ｙｉ）とし、ｉ＝１，２，３・・・ｎであって、ｎ≧３である。
によって定義される、請求項９に記載の方法。
【請求項１１】
前記接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するか否かを決定するステップにおいて、
入力されたジェスチャーが前記普遍的なジェスチャーに一致することを特定するステップの後に、前記第２の所定の時間内に、全てのコンタクトが消えたか否かを決定し、
前記全てのコンタクトが消えたとの決定結果が真実の場合、入力されたジェスチャーが前記普遍的なジェスチャーに一致することを承認し、
前記全てのコンタクトが消えたとの決定結果が真実でない場合、入力されたジェスチャーが前記普遍的なジェスチャーに一致しないことを承認する、請求項１乃至１０のいずれか１項に記載の方法。
【請求項１２】
入力されたジェスチャーが所定の普遍的なジェスチャーに一致しない場合、オペレーティングシステムが前記接触情報に関連付けられたシステムコマンドを生成する、請求項１乃至１１のいずれか１項に記載の方法。
【請求項１３】
タッチパネルと、
前記タッチパネルへの接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するか否かを決定するとき、イベント信号を出力するために構成されるタッチＩＣと、
前記イベント信号に基づいて、対応するジェスチャーコマンドセットを生成するために、オペレーティングシステム又はアプリケーションプログラムを制御するために構成される処理装置と、
を含むタッチシステム。
【請求項１４】
前記オペレーションシステム及び実行されるアプリケーションプログラムを記憶するために構成される記憶ユニットをさらに含む、請求項１３に記載のシステム。
【請求項１５】
前記処理装置は、前記イベント信号に応答して前記アプリケーションプログラムが指定されることを決定すると、前記処理装置は、前記アプリケーションプログラムのイベントキューに前記イベント信号を含め、前記アプリケーションプログラムは、前記アプリケーションプログラムに対応するジェスチャーコマンドセットを表示するために、前記イベントキューから前記イベント信号を取得する、請求項１３又は１４に記載のシステム。
【請求項１】
タッチパネルの接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するか否かを決定し、
前記入力されたジェスチャーが所定の普遍的なジェスチャーに一致すると、イベント信号に基づいて対応するジェスチャーコマンドセットを生成する、ジェスチャー認識方法。
【請求項２】
前記イベント信号に応答してアプリケーションプログラムが指定されたか否かを決定する、請求項１に記載の方法。
【請求項３】
前記イベント信号に応答してアプリケーションプログラムが指定されたか否かを決定する際に、
前記アプリケーションプログラムのイベントキューに前記イベント信号を含め、
前記イベントキューから前記イベント信号を取得し、前記アプリケーションプログラムに対応するジェスチャーコマンドセットを表示する、請求項２に記載の方法。
【請求項４】
前記イベント信号に応答してアプリケーションプログラムが指定されていないと、オペレーティングシステムに対応するジェスチャーコマンドセットを表示する、請求項２又は３に記載の方法。
【請求項５】
前記接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するか否かを決定するステップにおいて、
最初の時間で、少なくとも３つのコンタクトが前記タッチパネルに存在するか否かを決定し、
前記タッチパネルへのコンタクトを決定する結果が該当する場合、第１の所定の期間内で、隣接するコンタクトを接続することによって形成される多角形の領域が時間に反比例しているか否かを決定し、
前記多角形の領域が時間に反比例する場合、入力されたジェスチャーが所定の普遍的なジェスチャーに一致することを特定する、請求項１乃至４のいずれか１項に記載の方法。
【請求項６】
前記多角形の領域を決定するステップにおいて、
前記第１の所定の時間の間、全てのコンタクトの接触状態が維持されるか否かを決定し、
前記全てのコンタクトが接触していない、又は前記多角形の領域が時間に反比例しない場合、入力されたジェスチャーが所定の普遍的なジェスチャーに一致しないことを承認する、請求項５に記載の方法。
【請求項７】
前記接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するか否かを決定するステップにおいて、
最初の時間で、少なくとも３つのコンタクトが前記タッチパネルに存在するか否かを決定し、
前記タッチパネルへのコンタクトを決定する結果が該当する場合、第１の所定の時間内で、２つの隣接するコンタクトの間隔が時間に反比例するか否かを決定し、
前記２つの隣接するコンタクトの間隔が時間に反比例する場合、入力されたジェスチャーが所定の普遍的なジェスチャーに一致することを特定する、請求項１乃至４のいずれか１項に記載の方法。
【請求項８】
前記２つの隣接するコンタクトの間隔を決定するステップにおいて、
前記第１の所定の時間の間、全てのコンタクトの接触状態が維持されるか否かを決定し、
前記全てのコンタクトが接触していない、又は前記２つの隣接するコンタクトの間隔が時間に反比例しない場合、入力されたジェスチャーが所定の普遍的なジェスチャーに一致しないことを承認する、請求項７に記載の方法。
【請求項９】
前記アプリケーションプログラムを決定するステップにおいて、
前記コンタクトの重心を算出し、
前記重心が前記アプリケーションプログラムのウィンドウ領域内に配置されているか否かを決定し、
前記重心の決定結果が該当する場合、前記アプリケーションプログラムが前記イベント信号に応答し、
前記重心の決定結果が該当しない場合、オペレーティングシステムが前記イベント信号に応答する、請求項２乃至４のいずれか１項に記載の方法。
【請求項１０】
前記重心は、座標（１）
【数２】
但し、各コンタクトＰｉの座標を（Ｘｉ，Ｙｉ）とし、ｉ＝１，２，３・・・ｎであって、ｎ≧３である。
によって定義される、請求項９に記載の方法。
【請求項１１】
前記接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するか否かを決定するステップにおいて、
入力されたジェスチャーが前記普遍的なジェスチャーに一致することを特定するステップの後に、前記第２の所定の時間内に、全てのコンタクトが消えたか否かを決定し、
前記全てのコンタクトが消えたとの決定結果が真実の場合、入力されたジェスチャーが前記普遍的なジェスチャーに一致することを承認し、
前記全てのコンタクトが消えたとの決定結果が真実でない場合、入力されたジェスチャーが前記普遍的なジェスチャーに一致しないことを承認する、請求項１乃至１０のいずれか１項に記載の方法。
【請求項１２】
入力されたジェスチャーが所定の普遍的なジェスチャーに一致しない場合、オペレーティングシステムが前記接触情報に関連付けられたシステムコマンドを生成する、請求項１乃至１１のいずれか１項に記載の方法。
【請求項１３】
タッチパネルと、
前記タッチパネルへの接触情報に基づいて、入力されたジェスチャーが所定の普遍的なジェスチャーに一致するか否かを決定するとき、イベント信号を出力するために構成されるタッチＩＣと、
前記イベント信号に基づいて、対応するジェスチャーコマンドセットを生成するために、オペレーティングシステム又はアプリケーションプログラムを制御するために構成される処理装置と、
を含むタッチシステム。
【請求項１４】
前記オペレーションシステム及び実行されるアプリケーションプログラムを記憶するために構成される記憶ユニットをさらに含む、請求項１３に記載のシステム。
【請求項１５】
前記処理装置は、前記イベント信号に応答して前記アプリケーションプログラムが指定されることを決定すると、前記処理装置は、前記アプリケーションプログラムのイベントキューに前記イベント信号を含め、前記アプリケーションプログラムは、前記アプリケーションプログラムに対応するジェスチャーコマンドセットを表示するために、前記イベントキューから前記イベント信号を取得する、請求項１３又は１４に記載のシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−２５７９７（Ｐ２０１３−２５７９７Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１２−１４５３１７（Ｐ２０１２−１４５３１７）
【出願日】平成２４年６月２８日（２０１２．６．２８）
【出願人】（５０４２７２３２７）宸鴻光電科技股▲分▼有限公司 (30)
【氏名又は名称原語表記】ＴＰＫ ＴＯＵＣＨ ＳＯＬＵＴＩＯＮＳ ＩＮＣ．
【住所又は居所原語表記】６Ｆ，ＮＯ．１３−１８，Ｓｅｃ．６， Ｍｉｎ Ｑｕａｎ Ｅ．Ｒｄ．，Ｎｅｉｈｕ Ｄｉｓｔ．，Ｔａｉｐｅｉ，Ｔａｉｗａｎ．
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２４年６月２８日（２０１２．６．２８）
【出願人】（５０４２７２３２７）宸鴻光電科技股▲分▼有限公司 (30)
【氏名又は名称原語表記】ＴＰＫ ＴＯＵＣＨ ＳＯＬＵＴＩＯＮＳ ＩＮＣ．
【住所又は居所原語表記】６Ｆ，ＮＯ．１３−１８，Ｓｅｃ．６， Ｍｉｎ Ｑｕａｎ Ｅ．Ｒｄ．，Ｎｅｉｈｕ Ｄｉｓｔ．，Ｔａｉｐｅｉ，Ｔａｉｗａｎ．
【Ｆターム（参考）】
[ Back to top ]