3次元移動空間におけるジェスチャの非接触検出および認識のためのシステムおよび方法
本発明は、3次元移動空間におけるジェスチャ(3Dジェスチャ)の非接触検出および認識の方法であって、3次元移動空間を規定する電気近接場において、少なくとも1つの物体、例えば、3次元移動空間における1本または2本の指の移動によって行われ得る電気近接場の変形が検出され、少なくとも1つの移動経路が、検出された電気近接場の変形から生成され、変形は、3次元移動空間における少なくとも1つの物体の移動に対応し、移動経路における移動経路の生成中に、ジェスチャ開始が決定され、ジェスチャ開始を発端に、ジェスチャが、移動経路から抽出される方法に関する。本発明はまた、3次元移動空間におけるジェスチャの非接触検出および認識のためのシステムに関する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、3次元移動空間における少なくとも1つの物体の移動によって実行される、3次元移動空間におけるジェスチャの非接触検出および認識のためのシステムおよび方法に関する。
【背景技術】
【0002】
先行技術から、ジェスチャの非接触検出および認識の方法およびシステムは、公知である。したがって、例えば、光学方法に基づく解決策が公知である。それらにおいては、連続的に画像が撮影され、画像は、画像処理にフィードされる。画像処理は、撮影された画像から、例えば、手または指を表すデータを抽出するように設計される。抽出されたデータから、手または指の移動が、決定される。決定された移動は、分析を受け、分析は、ジェスチャ認識を行い、その結果、ジェスチャまたは認識されたジェスチャに対する情報を提供する。しかしながら、そのようなシステムおよび方法は、非常に高価かつ計算集約的であって、異なるまたは悪照明条件の場合、問題につながる場合が多い。さらに、例えば、カメラシステム等、本目的のために必要とされる撮像ユニットは、携帯用用途に好適ではないため、そのようなシステムは、ほとんどの場合、固定動作にのみ好適である。
【0003】
携帯用用途に対しては、本目的のために、手または指の移動を認識するための付加的認識システムが必要ではないので、例えば、タッチセンサ式ディスプレイ等のタッチセンサ式システムが、より好適である。しかしながら、周知のタッチセンサ式認識システムは、移動を認識するために、一方では、例えば、タッチセンサ式ディスプレイとの接触が、必要であって、他方では、2次元、すなわち、XまたはY方向における移動のみ、入力表面上で可能であるという不利点を有する。したがって、移動を認識するための本方法は、2自由度に限定され、3次元(Z方向)を伴う、移動またはジェスチャは、考慮することができない。
【発明の概要】
【発明が解決しようとする課題】
【0004】
したがって、本発明の目的は、一方では、空間ジェスチャの検出および認識を可能にし、他方では、また、携帯用デバイスまたはシステムにおいて使用するために好適である、ジェスチャの非接触検出および認識の方法ならびにシステムを提供することである。
【課題を解決するための手段】
【0005】
本目的は、独立請求項による、ジェスチャの非接触検出および認識のためのシステムならびに方法を伴う、本発明に従って、達成される。
【0006】
それらによると、3次元移動空間におけるジェスチャの非接触検出および認識の方法であって、
−3次元移動空間を規定する電気近接場において、3次元移動空間における少なくとも1つの物体の移動によってもたらされ得る、電気近接場の変形が認識され、
−3次元移動空間における少なくとも1つの物体の移動に対応する、少なくとも1つの移動経路が、認識された電気近接場の変形から生成され、
−移動経路の生成中に、ジェスチャの開始が、移動経路内で決定され、ジェスチャの開始を発端に、ジェスチャが、移動経路から抽出される、
方法が提供される。
【0007】
このように、例えば、カメラシステム等の独自の撮像デバイスを提供する必要なく、3次元空間内の移動を検出し、それらからジェスチャを認識することが初めて可能となり、本方法はまた、特に、例えば、携帯電話およびゲームコンソールにおける携帯用用途に非常に好適である。
【0008】
少なくとも1つの移動経路の生成は、少なくとも1つの物体の少なくとも1つの物体特性を考慮し、少なくとも1つの物体特性は、電気近接場の変形から導出され得る。
【0009】
本発明による方法の精度は、移動空間内の各移動が、評価されるべき移動経路につながるわけではないため、このように、明らかに改善することができる。このように、また、認識速度が向上され得る。
【0010】
少なくとも1つの物体特性の導出は、移動経路の生成のステップに提供されるであろう、アドバンス情報(advance information)を考慮し得る。したがって、例えば、測定誤差は、少なくとも部分的に、アドバンス情報の支援によって、補償することができるため、移動経路は、より効率的に、すなわち、より高速かつより精密に、生成され得る。
【0011】
物体特性は、物体の形態、物体のサイズ、物体の数、基準表面に対する物体の配向、電気材料特性、およびそれらの組み合わせのうちの1つを含み得る。このように、移動経路は、より精密に、決定することができる。
【0012】
特に、移動経路は、物体特性およびアドバンス情報が、移動経路の認識において考慮される場合、非常に正確かつ非常に高速に、決定することができる。
【0013】
好ましくは、少なくとも1つの所定の変形基準を満たす、そのような電気近接場の変形のみ、移動経路の生成において、考慮される。したがって、例えば、近接場の外縁ゾーン内の変形は、考慮されないままであり得る。
【0014】
変形基準は、以下であり得る。
−変形を生じさせる物体の基準表面に対する距離
−絶対的および/または相対的電場変動
−経時的電場変動の1次および/または2次の偏差
−および/またはそれらの組み合わせ。
【0015】
移動経路の各点に、いくつかの移動特性を割り当てることは、有利であることが証明されている。
【0016】
移動特性は、以下を含み得る。
−基準表面に対する物体の位置
−移動空間に対する物体の配向
−物体の速度
−物体の加速度、および/または
−それらの組み合わせ。
【0017】
移動経路からのジェスチャの抽出は、離散ジェスチャの抽出および連続ジェスチャの抽出を含み得る。
【0018】
特に、文脈情報をジェスチャの抽出に割り当てることは、有利である。このように、一方では、識別率を大幅に向上させることができる。他方では、識別速度もまた、大幅に向上させることができる。
【0019】
文脈情報は、離散ジェスチャが抽出されるべきことを示す、第1の文脈情報と、連続ジェスチャが抽出されるべきことを示す、第2の文脈情報とを含み得る。
【0020】
割り当てられた第1の文脈情報では、移動経路からのジェスチャの抽出は、移動経路からジェスチャ終了を認識するためのステップを含み得る。
【0021】
ジェスチャの開始および/またはジェスチャの終了は、少なくとも1つの移動特性を少なくとも1つの閾値と比較することによって、決定され、閾値超過/未達は、ジェスチャの終了および/またはジェスチャの開始を示し得る。
【0022】
閾値超過/未達は、所定の持続時間の間、閾値超過/未達である時、ジェスチャの開始および/またはジェスチャの終了を示し得る。したがって、非常に短い閾値超過/未達が、ジェスチャの開始および/またはジェスチャの終了と誤認識されることが防止される。
【0023】
いくつかの移動特性の場合、それぞれの閾値超過/未達は、それぞれの閾値が、所定の順序において、超過/未達である時、ジェスチャの開始および/またはジェスチャの終了を示し得る。
【0024】
文脈情報が、一式の基準ジェスチャを含む、第3の文脈情報を含む場合、有利であって、一式の基準ジェスチャは、どのジェスチャが抽出されるべきかを示し、基準ジェスチャは、好ましくは、ジェスチャ文法に従って、記述される。
【0025】
したがって、いくつかの基準ジェスチャのみ、ジェスチャ認識のために使用されるため、識別率および識別速度は、さらに、大幅に向上されることができる。特定の実施形態では、ジェスチャ認識は、認識されるべきジェスチャが、任意の基準ジェスチャに割り当てることができない場合、ジェスチャの終了前でも、中断され得る。
【0026】
ジェスチャの抽出は、抽出されたジェスチャを認識するためのパターン認識を含み得る。
【0027】
抽出された離散ジェスチャは、ジェスチャの終了が決定されるとすぐに、パターン認識に完全に転送され得る。
【0028】
ジェスチャ開始の認識後、移動経路はまた、パターン認識に連続的にフィードされ、連続的にフィードされた移動経路はまた、基準ジェスチャから、連続的にフィードされた移動経路に対応する基準ジェスチャを決定するために、連続的に、パターン認識によって、基準ジェスチャの部分的ジェスチャと比較され得る。
【0029】
パターン認識は、ジェスチャを個々のジェスチャセグメントにセグメント化するステップを含み、次いで、ジェスチャセグメントは、対応する基準ジェスチャのジェスチャセグメントと比較され得る。
【0030】
少なくとも1つの移動経路の生成では、補償方法が、実行され、それによって、移動空間内の物体の偶発的移動に対応するセグメントが、移動経路から排除され得る。このように、認識におけるエラー公差およびジェスチャ認識は、大幅に向上されることができる。補償方法は、好ましくは、移動経路を認識する際に実行される。
【0031】
電気近接場は、少なくとも1つの電極上に放出され、電気近接場の変形は、少なくとも1つの電極によって、認識され、交流電場は、所定の周波数、好ましくは、周波数10kHzから300kHz、特に好ましくは、周波数20kHzから200kHz、最も特に好ましくは、周波数75kHzから125kHzで放出され得る。
【0032】
電気近接場の変形の認識は、それぞれの電極において受信または放出される、交流電場の変化を測定することによって、行われ、変化は、位相、振幅、および/または周波数の変化を含み得る。
【0033】
少なくとも1つの物体は、手、指、四肢、および/または指先を含み得る。
【0034】
本発明の好ましい実施形態では、移動経路の生成は、1本または数本の区別可能な指を伴う、手の移動において、1本の指または数本の区別可能な指の指先に対応する1つまたはいくつかの移動経路を生成するために設計される。
【0035】
したがって、3次元空間における複数の指のジェスチャは、例えば、カメラ等のさらなる手段を必要とすることなく、初めて、捕捉および認識することができる。
【0036】
ジェスチャは、いくつかの移動経路から抽出されたいくつかのジェスチャ(部分的ジェスチャ)によって形成され、これは、同時に、数本の指によって、ジェスチャが、入力される場合、特に、有利であって、入力ジェスチャは、全体的ジェスチャの構成要素であり得る。
【0037】
また、ジェスチャおよび/または基準ジェスチャを記述するための文脈自由文法が、本発明によって提供される。ジェスチャ文法によって記述された基準ジェスチャの使用は、本発明による技術的方法におけるジェスチャ認識が、特に、単純様式において実現され得るという利点を有する。有利には、基準ジェスチャは、データベース内に記憶され、基準ジェスチャに関する基準ジェスチャのセグメントにわたって、索引順アクセスが行われ得る。既に認識されたジェスチャセグメントに基づく関連基準ジェスチャは、単純データベース照会によって、フィルタリングされ得るため、索引順アクセスは、特に、連続的、すなわち、逐次的ジェスチャ認識の場合、有利であることが証明されている。データベースは、特に、マイクロコントローラ内で実現されるために好適である、内蔵データベースであってもよく、本発明による方法もまた、マイクロコントローラ内で実現されるために好適である。
【0038】
本発明によって、また、3次元移動空間におけるジェスチャの非接触認識のためのシステムであって、
−移動空間を規定する、電気近接場を生成する手段と、
−移動空間内の少なくとも1つの物体の移動によって生じる、電気近接場の変形を認識する手段と、
−少なくとも1つの物体の移動に対応する、認識された電気近接場の変形から少なくとも1つの移動経路を生成する手段と、
−移動経路が生成されている間に、移動経路におけるジェスチャ開始を認識する手段と、
−ジェスチャ開始を発端に、移動経路からジェスチャを抽出する手段と
を備えている、システムが提供される。
【0039】
電気近接場を生成する手段は、交流電場が放出され得る、少なくとも1つの送信電極と、少なくとも1つの送信電極を電気交流信号で充電するために、少なくとも1つの送信電極と連結されている、少なくとも1つの信号発生器とを含み得る。
【0040】
電気近接場の変形を認識する手段は、少なくとも1つの受信電極と、受信電極に連結されている交流電場あるいは受信電極において放出される交流電場の周波数、振幅および/または位相の変化を認識するために、それに連結されている評価デバイスとを含み得る。
【0041】
好ましくは、電気交流信号の周波数、振幅、および/または位相は、調節可能である。
【0042】
本発明によるシステムは、特定用途向け集積回路(ASIC)として実装され得る。
【0043】
また、電気近接場によって規定される、3次元移動空間内において非接触移動を検出するための方法であって、少なくとも、
−3次元移動空間における少なくとも1つの物体の移動によってもたらされ得る、電気近接場の変形の認識と、
−少なくとも1つの物体の移動に対応する、認識された電気近接場の変形からの少なくとも1つの移動経路の生成と
を含む、方法が提供される。
【0044】
さらに、少なくとも1つの移動経路からジェスチャを認識する方法が、本発明によって提供され、少なくとも1つの移動経路は、非接触移動を検出するための本発明による方法によって検出可能であり、方法は、少なくとも1つの移動経路からの少なくとも1つのジェスチャの抽出のためのステップを含む。
【0045】
本発明のさらなる効果および有利な実施形態は、説明、図面、および請求項からもたらされる。
【図面の簡単な説明】
【0046】
図面中、実施形態は、図式的に簡略化された方法において例証され、以下の説明により詳細に説明される。
【図1】図1は、ジェスチャの非接触検出および認識のための本発明による方法の流れ図である。
【図2】図2は、電気近接場によって生成される移動空間ならびに移動空間内に配置される認識空間の空間図である。
【図3】図3は、電気近接場によって生成される移動空間、移動空間内に配置される認識空間、ならびに各々、1つのアクションが割り当てられる、認識空間内に配置されるいくつかの活性領域である。
【図4】図4は、ジェスチャの開始および終了を決定するための閾値法の第1の実施例である。
【図5】図5は、ジェスチャの開始およびジェスチャの終了を決定するための閾値法の第2の実施例である。
【図6】図6は、ジェスチャの開始およびジェスチャの終了を決定するための閾値法の別の実施例である。
【図7a】図7aは、ジェスチャアルファベットのいくつかのジェスチャセグメントから成るジェスチャの実施例である。
【図7b】図7bは、補正可能である、不完全セグメントを伴う、移動経路の実施例である。
【図8】図8は、移動経路の分割(セグメント化)のためのヒットボックスの実施例である。
【図9a】図9aは、ジェスチャ認識に対して、Z方向のみ、関連する、移動の実施例である。
【図9b】図9bは、ジェスチャ認識に対して、X方向のみ、関連する、移動の実施例である。
【図10】図10は、ジェスチャ認識に対して、XおよびY方向(座標)のみ、関連する、3次元空間内の移動経路の実施例である。
【図11】図11は、2つの移動経路から抽出される、ジェスチャ(2本の指のジェスチャ)の実施例である。
【図12a】図12a−12cは、いくつかの1本の指のジェスチャおよび2本の指のジェスチャを伴う、ジェスチャ一覧である。
【図12b】図12a−12cは、いくつかの1本の指のジェスチャおよび2本の指のジェスチャを伴う、ジェスチャ一覧である。
【図12c】図12a−12cは、いくつかの1本の指のジェスチャおよび2本の指のジェスチャを伴う、ジェスチャ一覧である。
【図12d】図12dは、いくつかの手ジェスチャを伴う、ジェスチャ一覧である。
【発明を実施するための形態】
【0047】
図1は、ジェスチャの非接触検出および認識の方法の流れ図を示す。
【0048】
第1のステップ100では、電極システムによって、好ましくは、基準表面、例えば、画面またはタブレットPCに対する移動空間を規定する準静的交流電場として形成される、電気近接場が生成される。
【0049】
交流電場の周波数fは、電場変動の交流電場の周波数fに対応する周期T(T=1/f)が、光がストレッチLを網羅するために必要とする時間より遥かに短くなるように選択されるべきであって、Lは、基準表面のサイズに対応し、すなわち、電磁波の波長は、周波数Fの場合、システムサイズLより遥かに大きい(T>>L/cまたはf<<c/L、式中、cは、光の速度である)。周波数10kHzから300kHz、好ましくは、周波数75kHzから100kHzが、特に、好適であることが証明されている。周波数約100kHzは、基準表面のサイズを遥かに超える、約3kmの波長に対応する。
【0050】
近接場は、電場が、電磁波としてではなく、準静的電場として見なされ得るような、電場源からの距離が、波長より遥かに短い、領域である。電極システムにおける電場強度は、約1/rから1/r2に比例して、電極システムの電極からの距離rに伴って減少する。これは、また、電極システムの感度が、距離に伴って、減少することを示す。したがって、電極システム感度領域は、電極に「近接」する空間に限定される。
【0051】
基準表面は、例えば、携帯デバイス、例えば、携帯電話またはタブレットPCのディスプレイデバイスであり得る。ディスプレイデバイスはまた、ジェスチャの非接触検出および認識に加え、また、タッチ式ディスプレイデバイスによる入力も認識することができるように、タッチセンサ式であり得る。基準表面、また、「不活性」表面として、本発明によるシステムとともに、入力表面にされ得る、例えば、キャビネットドアの表面が、提供され得る。
【0052】
以下、電気近接場と呼ばれる、準静的交流電場の生成のために、各々、交流電場が放出される、相互に離間されたいくつかの電極が提供され得る。1つまたはいくつかの発生器によって提供される、それぞれの電極に供給される、電気交流信号は、電極において放出される電気交流電場が、結合して、電極基準表面に対して、電極の周囲の移動空間に及び得るように設定される。
【0053】
移動空間では、次のステップ200において、例えば、移動空間内の少なくとも1つの物体の移動によって生成される、電気交流電場の力線の変形が認識される。例えば、力線の変形は、移動空間内の1本の指または数本の指の移動によって生じ得る。力線の変形は、電極と連結されたそれぞれの発生器における負荷の変化を決定することによって、電気交流電場が放出される、電極において認識され得る。電気交流電場の力線の変形は、以下、電気近接場の変形と呼ばれる。電気交流電場の生成および電気近接場の力線の変形の認識のためのさらなる実施形態は、図2に関連して示される。
【0054】
認識された変形から、次のステップ300では、例えば、移動空間内の指の移動に対応する、移動経路が生成される。したがって、本発明によると、また、例えば、数本の指が、移動空間内で移動する場合、いくつかの移動経路が、生成され得る。
【0055】
移動経路の生成において、移動空間内を移動する物体の1つ以上の物体特性が、考慮され得る。例えば、移動経路の生成のために、物体の形態が、考慮され得る。これは、例えば、伸展された人指し指を伴う手が、移動空間に浸漬し、したがって、手全体が、電気近接場の変形を生じさせる時、必要である。形態に関わらず、実質的に、移動空間内を移動する手の重心の移動に対応する、移動経路が生成されるであろう。そのように生成された移動経路は、可能性として、手の重心の移動が、常に、伸展された人指し指の移動に対応するわけではないため、不完全なジェスチャ認識につながり得る。
【0056】
これを回避するために、移動空間内を移動する手の形態が、移動経路の生成において、考慮され、手の形態が、順に、電気近接場の変形から導出される。次いで、手の形態から、指先の移動に対応する、移動経路が、決定され得るように、伸展された指の指先が決定され得る。
【0057】
本発明のさらなる実施形態では、数本の指の移動もまた、認識および評価されてもよく、各伸展された指に対して、指先が決定される。
【0058】
本発明による移動経路の生成では、所定の基準を満たす、そのような電気近接場の変形のみ、考慮される。基準は、例えば、基準表面からの変形を生じさせる物体の距離であり得る。したがって、例えば、移動空間の外縁の領域内で行われる移動は、移動経路の生成において、考慮されないことが保証される。
【0059】
移動経路の生成において、移動空間内で達成された移動から、1つ以上のジェスチャが確実に抽出され得るように、移動経路の各点は、いくつかの移動特性が割り当てられる。そのような移動特性は、例えば、基準表面に対する、物体、例えば、人指し指の指先の位置、移動空間に対する手または人指し指の配向、指先の速度、指先の加速度、またはそれらの組み合わせであり得る。図4から6に関連してより詳細に説明されるように、これらの移動特性はまた、1つまたはいくつかのジェスチャのジェスチャの開始およびジェスチャの終了の決定のために使用され得る。
【0060】
ステップ400では、1つ以上のジェスチャが、生成された移動経路から抽出される。本発明による離散ジェスチャおよび/または連続ジェスチャが、抽出され得る。
【0061】
離散ジェスチャは、ジェスチャ開始、ジェスチャ終了、およびジェスチャ開始とジェスチャ終了との間の移動によって、特徴付けられる。連続ジェスチャは、ジェスチャ開始およびジェスチャ開始後の移動によって、特徴付けられるが、連続ジェスチャは、必ずしも、ジェスチャ終了を有していなければならないわけではない。
【0062】
移動経路からジェスチャを抽出する時、最初に、離散ジェスチャおよび連続ジェスチャの両方に対して、移動経路において、ジェスチャ開始が決定される。ジェスチャ開始は、移動経路の生成中に決定される。ジェスチャ開始が決定されるとすぐに、ジェスチャ開始を発端に、ジェスチャが抽出され得る。ジェスチャ開始を認識するための具体的方法は、図4から6を参照して、より詳細に説明される。
【0063】
パターン認識の支援によって、抽出されたジェスチャが、認識され得る。パターン認識のために、例えば、隠れマルコフモデル、ビタビアルゴリズム、および/またはベイジアンネットワークが使用され得る。本発明による別の認識方法は、図7に関して、より詳細に説明される。
【0064】
離散ジェスチャが、検出および認識されるべき場合、各々、ジェスチャ移動経路から抽出された1つの完全なジェスチャがパターン認識にフィードされることができる。これは、例えば、ジェスチャの終了が決定されるとすぐに、行われ得る。ジェスチャ終了の認識もまた、図4から6に関連して、より詳細に説明される。
【0065】
連続ジェスチャが認識されるべき場合、ジェスチャ開始検出後、ジェスチャ開始後の移動経路が、パターン認識に連続的にフィードされる。連続的にフィードされた移動経路はまた、パターン認識によって、ジェスチャ認識を連続的に受ける。
【0066】
連続および離散ジェスチャを認識するために、基準ジェスチャが提供され、パターン認識によってフィードされた移動経路とのパターン比較のために使用される。基準ジェスチャは、例えば、デバイスのあるユーザ文脈(user context)におい許容可能である、ジェスチャであり得る。ユーザ文脈において、例えば、決定された文字の入力のみ、許容可能である場合、基準ジェスチャは、許容された文字を表す、ジェスチャを含む。
【0067】
パターン比較は、移動経路の個々のセグメントが、基準ジェスチャの対応する部分的ジェスチャと比較されるように、実行され得る。部分的ジェスチャは、基準ジェスチャのセグメントである。移動経路の個々のセグメントが、各々、基準ジェスチャの部分的ジェスチャと一致する場合、移動経路は、認識されたジェスチャとして、解釈され得る。
【0068】
本発明の一実施形態では、比較された移動経路のセグメントの数の増加に伴って、その対応する部分的ジェスチャが、既に比較された移動経路のセグメントと一致しない、ジェスチャ比較のためのそれらの基準ジェスチャはすべて、除外されるので、一式の可能性のある基準ジェスチャは、対応する部分的ジェスチャとの移動経路のセグメントの各比較後、削減され得る。このように、また、移動経路のセグメントが、もはや対応する基準ジェスチャの部分的ジェスチャに割り当てられ得なくなるとすぐに、認識の中断が行われ得る。
【0069】
移動経路からの1つまたはいくつかのジェスチャの抽出のためステップ400は、文脈情報(context information)を割り当てられることができ、それによって、抽出ステップ400は、抽出されるべきジェスチャが、離散ジェスチャまたは連続ジェスチャであるかどうか判断することができる。したがって、文脈情報は、どの種類のジェスチャが、評価されなければならないかを示す。文脈情報は、実質的に、本発明による方法が使用される、具体的用途に依存する。例えば、ディスプレイ/入力デバイスにおいて、手の移動の支援によって、接触することなく、左または右に移動されなければならない、スライド制御が視覚化される場合、文脈情報「連続ジェスチャ」が、抽出ステップ400に割り当てられ得る。次いで、スライド制御に割り当てられる、移動空間内の手の移動は、実質的に、ディスプレイデバイスにおける手の移動と同期して移動し得るように、連続的に評価される。
【0070】
例えば、入力デバイスにおける文字または数字の入力が予測される場合、文脈情報「離散ジェスチャ」が、抽出ステップ400に割り当てられ得る。ここでは、ジェスチャ開始とジェスチャ終了との間の移動経路は、ジェスチャ終了が、移動経路内で認識されるとすぐに、パターン認識にフィードされる。代替として、離散ジェスチャの移動経路もまた、ジェスチャ開始が認識されるとすぐに、パターン認識に連続的にフィードされてもよく、これは、ジェスチャが完了する前であっても、ユーザが行おうとするジェスチャに関して、ステートメントが作成され得るという利点を有する。
【0071】
抽出ステップ400に割り当てられる文脈情報はまた、例えば、どのジェスチャが、文脈において許容可能であるかを示す、一式の基準ジェスチャを含み得る。
【0072】
これは、例えば、入力デバイスが、数字の入力を予測する時、有利である。文脈情報は、この点において、基準ジェスチャとして、数字「0」から「9」を含み得る。したがって、例えば、文字「A」に対応するであろう、移動空間内の人指し指の移動は、本発明による方法によって、許容されていないジェスチャとして、認識されることができる。それぞれの文脈において許容されるジェスチャを規定する、基準ジェスチャを使用することによって、ジェスチャ認識における誤った解釈の確率を大幅に低下させることができる。
【0073】
さらに、例えば、ジェスチャ開始とジェスチャ終了との間の移動経路が、基準ジェスチャのいずれにも割り当てることができないが、しかしながら、移動経路が、基準ジェスチャに類似する時、エラー補正が行われ得る。類似の程度は、調節可能であって、例えば、基準ジェスチャの数に応じて、設定され得る。少数の基準ジェスチャでは、低程度の類似性が設定されてもよく、これは、非常に不正確に行われた移動でさえ、確実に、正確に認識されたジェスチャにつながり得るという利点を有する。
【0074】
例えば、移動経路からジェスチャを抽出する際、移動空間内の指による、偶発的移動を無視するために、移動経路の生成(ステップ300)中に、移動経路から、移動空間内の指の偶発的移動に対応する、それらのセグメントを排除する、補償方法が提案される。本目的のために、例えば、移動空間内の指の速度および/または加速度が使用されてもよく、既定速度または既定加速度超過または未達は、指の偶発的移動を示し得る。移動経路から、そのようなセグメントを抽出することによって、また、ステップ400における、移動経路からのジェスチャの抽出の認識程度が向上される。
【0075】
図2は、典型的には、電気センサシステムの4つの電極を伴う、移動空間内の移動の非接触検出のための本発明によるシステムの構造を示す。
【0076】
例えば、ディスプレイデバイスであり得る、長方形基準表面Bの4つの縁の領域には、各々、電気センサシステムの構成要素である、1つの電極が、配置される。電極Eは、基準表面Bのそれぞれの縁の全長にわたって延在する。電極Eにはそれぞれ、交流電場が照射され、4つの照射された電気交流電場はともに、移動空間10を規定する。
【0077】
図2に示される4つのストライプ形状の電極Eの代わりに、基準表面Bの縁に、各々、1つの点状の電極が、配置されてもよく、これは、空間座標、例えば、移動空間10内の指先の認識を改善させることを可能にする。また、基準表面の各縁には、認識精度をさらに向上させるために、いくつかの点状の電極が存在し得る。
【0078】
点状の電極はまた、基準表面Bの隅に配置され得る。点状の電極は、例えば、約0.5cm2から5cm2の表面を備えている、平坦金属板によって、形成され得る。具体的形態では、点状の電極は、1cm2の表面を呈する。
【0079】
単一電極が、送信電極および/または受信電極として、動作され得る。
【0080】
例えば、図2に示される電極のうちの1つは、交流電場が放出される、送信電極(発生器電極)として動作され得る。3つの他の電極は、送信電極によって放出された交流電場が受信または連結されている、受信電極として動作され得る。受信電極に連結された交流電場から、電気近接場の変形が決定され得る。個々の受信電極は、受信電極で測定された信号が、時間的に順次、評価ユニットにフィードされるように、多重化方式で動作され得る。
【0081】
受信電極における信号もまた、同時に測定され、これは、信号対雑音比(SNR)の改善につながる。
【0082】
代替実施形態では、図2に示される電極のうちの1つは、受信電極として動作され得る。他の3つの電極は、各々、受信電極に連結され、それぞれ、交流電場が放出される、送信電極として動作され得る。送信電極において放出される交流電場は、各々、異なる周波数および/または異なる位相を有し得る。
【0083】
しかしながら、送信電極において放出される交流電場はまた、同一周波数および同一位相を有してもよく、送信電極は、有利には、時分割多重方式において、動作される。
【0084】
また、空間分解能が、さらに向上され得るように、いくつかの送信電極およびいくつかの受信電極を提供することが可能である。
【0085】
さらなる実施形態では、少なくとも1つの電極はまた、送信電極および受信電極の両方として、動作されてもよく、力線の変形は、交流電圧を生成する発生器において、交流電場の負荷によって、決定される。
【0086】
交流電場内の指の位置を認識するためのシステムの具体的実現化は、本出願人による、独国特許出願第DE 10 2007 020 873号に説明されている。
【0087】
移動空間はさらに、再分割され得る。移動空間10内側には、移動空間10より小さい、検出空間20が規定される。移動空間10内側の検出空間20は、移動経路の生成中に、考慮される空間である、すなわち、検出空間20内側の移動に対してのみ、移動経路が生成される。
【0088】
手Hまたは指先が、移動空間10内に進入する場合、手Hまたは指先は、電気近接場の変形を伴う。本発明のある実施形態によると、電気近接場の変形から、移動経路が導出されるが、しかしながら、指または手Hが、検出空間20に入ってすぐのみにおいてである。これは、例えば、指先と基準表面Bとの間の距離dを評価することによって、行われ得る。指先と基準表面Bとの間の距離dが、その内側において、移動経路が認識された電気近接場の変形から導出される、基準表面Bに対する距離を示す、距離Dより小さい場合、指先の移動は、そのように生じた電気近接場の変形からの移動経路の推測につながる。
【0089】
検出空間20を提供することは、移動空間の縁ゾーン内の電気近接場の変形が、移動経路の生成において、考慮されないままであるという利点を有する。代替として、検出空間20外側の電気近接場の変形はまた、例えば、例えば、スリーピングモードから動作モードに変更するために、入力表面をアクティブ化するためにも使用される。
【0090】
図3は、基準表面に対する活性領域を規定する可能性を示す。図3に示される実施例では、9つの活性領域が、基準表面Bに割り当てられる。活性領域のそれぞれに対して、対応する活性領域が、例えば、指先によって選択されるとすぐに果たされる、機能が割り当てられ得る。選択は、対応する活性領域に指先を接近させることによって、行われ得る。活性領域30は、好ましくは、検出空間20内側にあるように、規定される。活性領域30は、活性領域に割り当てられる空間によって、規定される。
【0091】
図3では、活性領域は、概略断面図に示される。手Hの人指し指の先端が、活性領域30の空間に進入するとすぐに、指先のXおよびY座標が、活性領域30を規定するXまたはY座標内側にあることが認識される。さらに、活性領域30の空間内の指先の進入は、入力表面Bからの指先の距離(Z座標)が、所定の値より小さいという事実によって、認識される。したがって、本発明による方法は、移動空間10または検出空間20内の指あるいは指先のX、Y、およびZ座標を評価することによって、活性領域の選択を検出することができる。X、Y、またはZ座標は、交流電場の時間的変化から導出される、移動経路から決定される。
【0092】
活性領域30の選択の確認は、指先を排除する、またはZ方向に活性領域30の外に移動させることによって、生じ得る。そのような確認が認識されるとすぐに、活性領域30に割り当てられた対応する機能が、実行され得る。選択の確認によって、すなわち、Z方向に指先を移動させることにおいて、また、移動の速度および/または加速度が、考慮され得る。したがって、例えば、正のZ方向における移動は、移動が、所定の速度または所定の加速度を超える場合のみ、確認として解釈されることが前提とされ得る。
【0093】
代替として、確認はまた、活性領域から外側へとXまたはY方向に指先を移動させることによって、生じ得る。確認はまた、指先が、所定の期間の間、活性領域30の場内に残存する方法で生じることができる。したがって、例えば、指は、入力表面Bにわたって移動され、次いで、異なる活性領域に進入してもよく、対応する活性領域の選択の確認は、指先が、対応する活性領域内にあって、所定の時間の間、活性領域の内側で移動されない場合のみ、行われる。
【0094】
活性領域30の選択の選択または確認のために、入力表面Bをタッチすることは必要ではない。それでもなお、入力表面Bは、ジェスチャの非接触検出および認識の方法またはシステムとともに、機能性を拡張するために、入力表面として、形成され得る。
【0095】
しかしながら、活性領域は、それぞれの活性領域30に割り当てられる決定された機能性の選択のためだけに提供される必要はない。活性領域30はまた、活性領域内側の移動を検出し、本発明による方法に従って、1つ以上のジェスチャを検出するために提供され得る。文脈情報とともに、例えば、第1の活性領域30は、数字を入力するために、提供されてもよく、第2の領域は、例えば、文字を入力するために、提供されてもよく、第3の活性領域は、前述のように、選択のみ行うために、提供され得る。
【0096】
以下では、本発明に従って、移動経路内のジェスチャ開始およびジェスチャ終了が、どのように決定され得るかについて、図4から6に関してより詳細に論じられる。移動空間内で検出された移動をパターン認識にフィードするために、最初に、少なくとも、ジェスチャ開始を検出する必要がある。基本的には、また、ジェスチャ開始前に生じる移動も、パターン認識にもたらされ得るが、しかしながら、パターン認識が、ジェスチャに属さない移動を考慮しないように設計されていない場合、ジェスチャ開始前の移動は、不完全なジェスチャ認識につながり得るという不利点を有するであろう。パターン認識の完全なジェスチャが考慮されるべき場合、また、移動経路内のジェスチャ終了を検出する必要がある。
【0097】
例えば、移動空間内の指先の移動中に、1つまたはいくつかの移動特性が、所定の時間間隔、例えば、5msの時間間隔において、電気センサ電子機器の支援によって、検出され、移動経路の対応する点に割り当てられる。時間間隔はまた、用途の具体例に応じて、より大きくまたはより小さく選択され得る。移動特性は、例えば、以下であり得る。
−基準表面、例えば、タッチセンサ式ディスプレイの入力表面に対する指先の位置、すなわち、位置は、入力表面に対するX、Y、および/またはZ座標によって、示され得る。
−移動空間に対する指または手の配向
−指の移動の速度
−指の移動の際の加速度
−および/またはそれらの組み合わせ
ジェスチャ開始またはジェスチャ終了を決定するために、これらの移動特性のいくつかまたはそれらの組み合わせのいずれかが、使用され得る。
【0098】
また、移動空間内側の移動全体が、ジェスチャとして評価されるべきであることが前提とされ得る。ここでは、センサ電極によって認識された電気信号から、直接、ジェスチャ開始またはジェスチャ終了を測定することが有利である。電気近接場の変形を示す、信号変化が発生するとすぐに、これは、ジェスチャ開始と解釈され得る。同じことは、ジェスチャ終了にも当てはまる。電極において測定された電気信号が、電気近接場の変形が存在しないことの事実を表すとすぐに、これは、ジェスチャ終了と解釈され得る。
【0099】
代替として、本発明によるジェスチャ認識システムの開始時においてさえ、連続ジェスチャ認識が、開始され得る。そこでは、移動経路は、連続的に分析される。所定のコマンドジェスチャが、移動経路内で認識されるとすぐに、移動経路から抽出された以下のジェスチャは、行われるべき対応する機能が割り当てられる。すなわち、時間的に、コマンドジェスチャ前に認識されたジェスチャは、考慮されないままである。同じ方法はまた、例えば、所定のコマンドジェスチャの支援によって、ジェスチャ入力を終了するために、実施され得る。この点において、コマンドジェスチャは、移動経路から抽出され、他のジェスチャと同様に、認識され得る。
【0100】
代替として、ジェスチャ開始および/またはジェスチャ終了はまた、移動空間内の物体の電気特性を変化させることによって、決定することができる。例えば、ユーザは、ショーウィンドウの正面において、電気交流電場内で手を移動させてもよい。ユーザが、同時に、他の手によって、接地表面を触れる、または同時に、ショーウィンドウ前のアース表面を踏む場合、これは、交流電場の力線の変形につながり、ジェスチャ開始として認識され得る。
【0101】
別の実施形態では、ジェスチャ開始および/またはジェスチャ終了はまた、ユーザが制御要素を動作させることによって、決定され得る。
【0102】
図4は、移動の際、基準表面からの指先の距離(Z方向における距離)の時間の推移を示す。基準表面からの指先の距離は、ジェスチャの開始および終了を決定するために、基準として、使用され得る。本目的のために、閾値が、規定され、その未達または超過は、ジェスチャの開始あるいは終了を決定する。図4に示されるように、基準表面から4cmの距離が、閾値として規定される。また、図4に見られ得るように、指先は、連続的に、閾値に接近する。基準表面からの指先の距離が、4cmより短くなるとすぐに、対応する点40aが、移動経路40内において、ジェスチャ開始として、マークされる。基準表面からの指先の距離が、再び、4cmの閾値を超えるとすぐに、対応する点40bが、移動経路内において、ジェスチャ終了として、マークされる。ジェスチャは、ここで、ジェスチャ開始40aとジェスチャ終了40bとの間の移動経路によって、形成される。本移動経路は、既に前述のように、パターン認識にフィードされ得る。
【0103】
当然ながら、図4に示されるものと異なる閾値が、基準表面からの指先の距離によって、ジェスチャ開始またはジェスチャ終了を決定するために使用され得る。これは、最終的に、本発明による方法の用途の具体例に依存する。基準表面からの指先の距離は、例えば、それぞれのセンサ電極において検出された電気近接場の変形からの三角測量によって、決定され得る。
【0104】
図5は、移動空間内の指の移動のジェスチャ開始およびジェスチャ終了を決定するための本発明による第2の閾値法を示す。移動特性として、基準表面に対する指先の速度が使用され、図5では、X方向における指の移動の速度の時間の推移が示される。
【0105】
図5に示される実施例では、また、X方向における指先の速度の推移が、ジェスチャ開始またはジェスチャ終了の特徴として、評価され、所定の速度(閾値)超過は、ジェスチャ開始を規定し、所定の閾値未達は、ジェスチャ終了を規定する。同様に、図4による閾値法に従って、また、ここでも、移動経路50の点50aは、ジェスチャ開始マークが割り当てられ、点50bは、ジェスチャ終了マークが割り当てられ得る。ジェスチャ終了とジェスチャ開始との間の移動経路は、再び、パターン認識にフィードされ得る。
【0106】
速度の推移はまた、移動経路からの偶発的移動を除去するために使用され得る。本目的のために、例えば、第2の閾値が、提供されてもよく、その超過は、移動が意図されていないものであって、移動空間内の偶発的移動(例えば、手の震え)または信号(例えば、システム近傍に位置する携帯電話、蛍光灯等からの)妨害信号である証拠である。移動経路50の対応する点51aは、第2の閾値の超過を示す、対応する情報が割り当てられ得る。移動速度が、再び、本第2の閾値未達となる場合、本点51bはまた、第2の閾値未達に対する移動経路50の対応する情報が割り当てられ得る。
【0107】
図5に示される実施例では、移動経路50はまた、2つのジェスチャ、すなわち、点50aと51aとの間の移動経路によって形成されるジェスチャと、点51bと50bとの間の移動経路によって形成される第2のジェスチャとを含む。図5に示される実施例によると、移動経路50からの2つのセグメントが、パターン認識にフィードされる。偶発的移動を表す、セグメント51は、パターン認識にフィードされず、必要に応じて、拒否され得る。
【0108】
代替として、図5に示される移動経路の2つのセグメント(50aから51aまたは51bから50b)から、再び、点50aと50bとの間の単一移動経路を生成することができ、これは、次いで、パターン認識にフィードされ得る。本目的のために、点51aと51bとの間の移動経路50は、補間され得る。点51aと51bとの間の補間されたセグメントは、引用記号52によって、図5に示される。補間のために、本質的に、周知の補間方法、例えば、三次スプライン補間が使用され得る。したがって、偶発的移動は、この点において、2つまたはいくつかのジェスチャを誤って捉えることなく、かつ移動経路内の異常値が、以下のパターン認識に悪影響を及ぼすことなく、効率的に、移動経路において補償され得る。
【0109】
特に、一般的補償方法によって、また、単純な一連のジェスチャのみ認識することができるだけではなく、他方では、エラーの観点から、ジェスチャ認識において、より寛容である、そのようなジェスチャ認識システムが、実現され得る。したがって、また、例えば、疾患(例えば、パーキンソン病)による障害のため、運動機能が非常に制限された人用のジェスチャの3次元認識のためのジェスチャ認識システムが、提供され得る。
【0110】
X方向における速度の推移の代わりに、また、Y方向および/またはZ方向における速度の推移が、評価され得る。代替として、また、ジェスチャ開始またはジェスチャ終了を決定するために、全3方向における速度の推移が、考慮され得る。経時的速度の推移の代わりに、また、経時的加速度の推移が、ジェスチャ開始またはジェスチャ終了を決定するために、使用され得る。
【0111】
図6は、移動経路内のジェスチャ開始またはジェスチャ終了を決定するためのなおもさらなる方法を示す。
【0112】
図6は、4つのセンサ電極を伴うセンサシステムにおけるセンサ電極と移動する指の指先との間の距離の時間経過を示す。例えば、推移60aは、第1のセンサ電極に対する指先の距離の時間の推移に対応する。また、ここでは、閾値も、規定され、その超過または未達は、ジェスチャの開始またはジェスチャの終了を決定する。本発明によると、ジェスチャ開始は、図6に示される4つの経過のうちの少なくとも1つが、既定閾値未達となる時、現れる。したがって、ジェスチャ終了は、全4つの経過が、再び、対応する閾値超過となる時、存在し得る。
【0113】
図4から6に示される閾値法は、ジェスチャの開始またはジェスチャの終了を決定するために、個々に、または組み合わせて、使用され得る。同様に決定され得る付加的条件として、超過または未達が、ジェスチャ開始またはジェスチャ終了として解釈されるように、図4から6に示される閾値のうちの1つ以上が、所定の期間にわたって、超過または未達でなければならない。また、図4から6に示される閾値は、ジェスチャ開始またはジェスチャ終了を検出するために、所定の順序において、超過または未達でなければならないことが想定される。
【0114】
以下では、図7aを参照して、移動空間10または検出空間20内の指先の移動に対応する移動経路から、ジェスチャを認識するための方法が、説明されるが、XおよびY座標のみ、考慮される。ユーザは、移動空間10または検出空間20内の移動によって、数字「2」を入力する。対応する移動経路(ジェスチャ開始またはジェスチャ終了が、認識された後)は、図7aにおいて、引用記号70によって示される。ジェスチャ認識の目的のために、移動経路は、最初に、セグメントに分割される。個々のセグメントへの移動経路の分割のために、例えば、ほとんどの部分に対して、移動経路からのそれぞれのセグメントを包囲する、標準化されたヒットボックス75(図8参照)が、使用され得る。3次元ジェスチャのジェスチャ認識では、すなわち、加えて、また、Z座標も考慮される、移動の場合、ヒットボックスの代わりに、好ましくは、ほとんどの部分に対して、移動経路のそれぞれのセグメントを包囲する、境界ボックスが、使用される。
【0115】
標準化されたヒットボックス75は、所定の幅および長さを伴う、所定の数の長方形であって、各長方形は、所定の角度だけ傾斜される。単純な例では、移動経路をセグメント化するために、8つのヒットボックスで十分である。8つの可能性のあるヒットボックスが、図8に関して示される。各ヒットボックスは、一式の利用可能ジェスチャセグメントから、それぞれ、反対方向に進む、2つのジェスチャセグメントを記述するため、移動経路の方向は、セグメント化のために重要ではない。
【0116】
第1のステップでは、移動経路の第1のセグメントを可能な限り完全に囲む、ヒットボックスが選択される。検討される例では、図8に示されるヒットボックスから、ヒットボックスHB1が、選択され、対応する移動経路のセグメントに割り当てられる。本方法は、ヒットボックスの支援によって、移動経路全体が、セグメントに分割されるまで、継続される。移動経路の方向が既知であるため、次のステップでは、各ヒットボックスが、一式の利用可能ジェスチャセグメント72から、対応するジェスチャセグメントが割り当てられる。この場合、ヒットボックスHB1は、ジェスチャの方向を考慮して、移動経路のセグメント(A)割り当てられる。本方法は、各ヒットボックスに、対応するジェスチャセグメントが割り当てられるまで、反復される。そのような割当の結果は、図7aにおいて、引用記号71によって示される。
【0117】
そのように生成されたジェスチャセグメントのシーケンスは、一式の基準ジェスチャから、対応するジェスチャを選択するために、使用される。本目的のために、基準ジェスチャはそれぞれ、好ましくは、ジェスチャセグメントのシーケンスから、記述される。好ましくは、本発明による基準ジェスチャは、以下により詳細に説明される、ジェスチャの文脈自由(context free)記述のための文法に従って、記述される。
【0118】
ジェスチャ認識における分解能を向上させるために、付加的ヒットボックスおよび対応する関連付けられたジェスチャセグメントが、提供され得る。ヒットボックス自体もまた、より小さく選択されてもよく、これは、ジェスチャ認識において、また、より高い分解能につながる。
【0119】
移動経路を個々のセグメントに分割し、対応するヒットボックスを割り当てることによって、ジェスチャを認識するための前述の方法はまた、第1のヒットボックスを検出後、次いで、本ヒットボックスに、対応するジェスチャセグメントが割り当てられるように、行われ得る。本手順は、既に、第1の検出されたジェスチャセグメント後、その第1のジェスチャセグメントが、検出された第1のジェスチャセグメントに対応しない、それらの基準ジェスチャすべてが、ジェスチャ認識に対して、排除され得るという利点を有する。
【0120】
具体例では、既に検出されたジェスチャセグメントによって、また、決定されたジェスチャセグメントが、ジェスチャセグメントに従い得る場合のみ、可能性のある前述のジェスチャセグメントの数が、限定され得る。これは、図7aに示される実施例によって、説明される。一式の基準ジェスチャのみ、数字の2を記述する、図7aに示される基準ジェスチャ71を構成すると仮定する。この場合、第1のジェスチャセグメント(a)後、ジェスチャセグメント(b)のみ、続くジェスチャセグメントであることができる。ここで、ユーザが、第1のジェスチャセグメントにおいて、例えば、ジェスチャセグメント(e)に対応するように移動空間内への移動を継続する場合、入力または移動は、許容不可能として、認識され得る。
【0121】
以下では、例えば、基準ジェスチャを記述するために、ジェスチャ認識に対して、本発明による方法において使用され得る、ジェスチャの文脈自由記述のための文法が示される。
【0122】
ジェスチャ文法は、EBNF表記法において示される。
【0123】
【化1】
本文脈自由ジェスチャ文法は、以下の意味を有する。
ジェスチャGは、ジェスチャ開始A後、ジェスチャセグメントSが続き、随意に、いくつかのさらなるジェスチャセグメントが続いてもよく、随意に、さらに、ジェスチャ終了Eが続くことから構成される。ジェスチャセグメントSは、一式のジェスチャセグメント{S1、S2、...、Sn}からのジェスチャセグメントから形成される。
【0124】
ジェスチャセグメントSIは、例えば、記号
【0125】
【化2】
等によって表される。
【0126】
したがって、連続ジェスチャは、常に、ジェスチャ終了を有する必要はないため、ジェスチャ終了は、随意である。
【0127】
ジェスチャ開始は、初期特徴AM後、随意に、演算子OP後、初期特徴AMが続くことによって形成される、1つまたはいくつかのシーケンスが続くことから構成される。
【0128】
本実施例における演算子は、「AND」または「OR」であり得る。
【0129】
ジェスチャの開始の一形態は、例えば、「Z<2cm AND Vx>4cm/s」となるであろう。本形態は、例えば、基準表面からの指先の距離が2cm未満である場合、かつ、基準表面に対する指先の速度が4cm/s超である場合、ジェスチャ開始が、移動経路内に存在することを規定する。
【0130】
ジェスチャ終了Eは、終了特徴EM後、随意に、演算子OP後、終了特徴EMが続くことによって形成される、1つまたはいくつかのシーケンスが続くことから構成される。
【0131】
離散と連続ジェスチャとの間の区別もまた、以下の文法の拡張によって、記述され得る。
【0132】
【化3】
さらに、本ジェスチャ文法は、各ジェスチャが、少なくとも1つのジェスチャセグメントから構成されることを含意する。
【0133】
本ジェスチャ文法によると、すべてのジェスチャは、それぞれの文脈から独立して、記述され得る。
【0134】
したがって、例えば、正方形を表すジェスチャは、例えば、以下のように、前述のジェスチャ文法を使用することによって、記述され得る。
【0135】
【化4】
本文法によって、また、空間コマンドジェスチャ、例えば、前述の開始ジェスチャが、記述され得る。
【0136】
本発明による方法において、本ジェスチャ文法に従って記述される、基準ジェスチャの使用は、ジェスチャ認識に対して、いくつかの効果を有する。
−基準ジェスチャは、本発明による方法が、ジェスチャ認識に対して使用される、文脈から独立して、記述され得る。
−基準ジェスチャのジェスチャセグメントのシーケンスはまた、データベース内に記憶されてもよく、それぞれの基準ジェスチャを保存する際、文法は、維持されるであろう。データベース内に記憶される基準ジェスチャは、全体的シーケンスの観点からと、個々のジェスチャセグメントの観点からの両方において、インデックスされ得、特に、図7aおよび7bに説明される方法に関して、対応する基準ジェスチャが、データベースへの索引順アクセスによって決定され得るので、ジェスチャ認識に対して、有意な速度効果を伴う。
−基準ジェスチャは、非常に空間節約的方法において記憶され得、これは、特に、小容量のみを処理する、内蔵システムにおいて、有利である。
【0137】
図7bは、移動経路からのジェスチャの抽出の際または抽出後、実施され得る、エラー補正方法の実施例を示す。エラー補正方法は、移動経路が、図7aに関して説明されたセグメント化方法に従って、一式の基準ジェスチャからのジェスチャのいずれのジェスチャセグメントにも割り当てることができない、セグメントを含む場合でも、ジェスチャを正確に認識することができるという利点を有する。
【0138】
本目的のために、図7aに説明されるように、移動経路は、ヒットボックスの支援によって、セグメントに分割される。各ヒットボックスは、対応するジェスチャセグメントが割り当てられる。
【0139】
しかしながら、数字「2」に対応すべき移動経路は、点P1とP2との間のくぼみを呈し、これは、移動経路内において、2つのヒットボックスHB4aおよびHB4bが、くぼみを記述するジェスチャセグメントに割り当てられることを伴うが、しかしながら、第4および第5のジェスチャセグメントとして、対応するジェスチャセグメントを備えている、基準ジェスチャは、存在しない。いずれの基準ジェスチャも割り当てられ得ず、このように認識されたジェスチャは、ここで、非認識ジェスチャとして、拒絶され得る。しかしながら、正しく認識されたジェスチャを得るために、そのような誤入力を補正することができることが望ましい。
【0140】
本発明の一実施形態では、エラー補正方法は、最初に、認識されたジェスチャセグメントのシーケンスと、基準ジェスチャのジェスチャセグメントとの間の類似性比較が、実行されるように、形成され得る。そうすることによって、認識されたジェスチャセグメントの最初の3つのジェスチャセグメントおよび最後の4つのジェスチャセグメントが、数字「2」によって記述される、基準ジェスチャの対応するジェスチャセグメントと等しいことが確立される。類似性比較が、1つのみの類似基準ジェスチャにつながる場合、ヒットボックスHB4aおよびHB4bに割り当てられたジェスチャセグメントは、ジェスチャセグメント(d)と置換され得る。次いで、置換は、正確に認識されたジェスチャにつながる。
【0141】
ジェスチャセグメントの置換の代替として、対応するジェスチャセグメントは、認識されたジェスチャから、完全に除去され得る。次いで、以下のステップでは、図5に関して既に説明されたように、点P1とP2との間において、補間方法が、実行され得る。次いで、そのような方法において生じる、点P1とP2との間の補間された移動経路は、再び、ヒットボックスの支援によって、セグメント化を受け得る。
【0142】
本エラー補正方法は、例えば、エラー補正後、依然として、さらに存在するエラーを補正するために、再帰的に使用され得る。
【0143】
本エラー補正方法では、最大再帰深度もまた、事前設定され得、それに到達すると、エラー補正は、中断される。エラー補正の中断後、依然として、ジェスチャを完全に認識することができない場合、ジェスチャは、拒絶されるか、またはユーザは、認識されたジェスチャに対する提案が提供され得る。代替として、エラー閾値もまた、提供されてもよく、その未達は、ジェスチャが、正確に認識されたとして、容認されることを伴う。エラー閾値は、例えば、基準ジェスチャを参照して、認識されたジェスチャセグメントの程度において、示され得る。例えば、基準ジェスチャのジェスチャセグメントの80%が、抽出されたジェスチャのジェスチャセグメントと一致する場合、認識されたジェスチャは、基準ジェスチャに対応すると想定され得る。
【0144】
図9aおよび図9bは、3次元ジェスチャ認識のための2つの実施例を示し、移動経路からのジェスチャの抽出の際、各々、1つの文脈情報が、考慮される。
【0145】
図9aは、入力表面Bを示し、その上には、確認ボタン(OKボタン)が、視覚化されている。電気近接場によって広がる、移動空間内には(図9aに図示せず)、確認ボタンに割り当てられる、検出空間20が、規定される。検出空間20内で生じる手Hの指先の移動は、確認ボタンに属する移動として解釈される。すなわち、検出空間20内側にある、移動経路の一部は、検出空間20に属する移動経路として解釈される。
【0146】
確認ボタンまたは検出空間20は、確認ボタンが、ボタンに接近し、その後、ボタンから離脱することによって、動作され得る、選択ボタンであるという情報を、文脈情報として、割り当てられる。本文脈情報に基づいて、ジェスチャ認識は、実質的に、Z方向に関してのみの移動経路の評価に限定することができる。次いで、本評価の結果から、確認ボタンが動作されているかどうかについて、結論付けられ得る。確認ボタンが、動作されている場合、確認を示す信号が、提供され得る。
【0147】
移動経路のXまたはY方向は、指先が、側方方向に、検出空間20から離れるかどうかを検証するためにのみ、評価される必要がある。指先が、非常に短時間の間のみ、側方方向に、検出空間20から離れ、その後、検出空間20に戻る場合、これは、検出空間20を偶発的に離れたと解釈され得る。移動経路が、検出空間20から離れる、または、再び、検出空間20に進入する場所間において、移動経路は、例えば、図5に関して示されたように、Z方向に関して補間され得る。指先が、かなり長時間の間、側方方向に、検出空間20を離れる場合、これはまた、ユーザによる、意図的ジェスチャの中断として解釈され得る。
【0148】
図9bは、X方向に、左または右にシフトされ得る、スライド制御を伴う、入力表面Bを示す。スライド制御は、検出空間20が割り当てられる。検出空間20またはスライド制御は、X方向にのみ移動され得る、スライド制御であることを示す、文脈情報が割り当てられる。本文脈情報に基づいて、ジェスチャ認識は、検出空間20内側の移動経路のX座標のみの評価に限定され得る。ここに示されるスライド制御では、連続的に、移動経路のX座標を評価することが有利である。このように、スライド制御の移動は、ユーザが、その移動に関して、直接フィードバックを得るように、指先の移動と同期され得る。
【0149】
また、ここでは、Y方向またはZ方向における、検出空間20からの指先の短期間の離脱は、検出空間20内への復帰が、所定の期間内に行われる限り、検出空間20からの望ましくない離脱として解釈され得る。指先が、本所定の期間内に、検出空間20に進入しない場合、検出空間20からの離脱は、入力の中断として、解釈され得る。次いで、スライド制御は、その元の位置に復帰し得る。スライド制御の代わりに、例えば、指先の円形移動によって移動され得る、回転ノブが、提供され得る。
【0150】
入力表面B上には、さらなる入力要素、例えば、選択フィールド(チェックボタン)または選択リスト(コンボボックス)が、示されてもよく、例えば、接近によって、オープンとなり、オープン状態では、対応する移動によって、ナビゲートすることができる。すべての入力要素は、入力表面B上において、個別に、または組み合わせて、表示され得る。各入力要素は、対応する検出空間20が割り当てられる。各入力要素または各検出空間20はまた、対応する移動経路が、どのように評価されるか、またはどのジェスチャが、それぞれの検出空間20内側において、許容可能であるかを示す、対応する文脈情報が割り当てられ得る。前述の入力要素に加え、入力表面Bには、また、図7に関して既に説明されたように、記号(例えば、文字または数字)を入力するための入力フィールドが、提供され得る。
【0151】
図10は、一例として、Z方向における指の移動が、評価されるべきジェスチャに関連しない時、移動空間および/または認識空間内側の移動あるいは移動経路が、どのように評価されるかを示す。その場合、したがって、最終的には、2次元ジェスチャとなり、移動経路の評価は、2次元評価に換算され得る。3次元移動経路の2次元移動経路への換算は、実質的に、X/Y平面上への移動経路の投影に対応する。次いで、換算された移動経路上において、例えば、図7に関して説明されたように、2次元ジェスチャ評価が、実行され得る。このように、例えば、また、3次元ジェスチャの場合または移動空間内側の3次元移動の場合、その場合、例えば、Z方向における移動は、評価に関連せず、3次元評価が、2次元評価に換算されてもよく、ジェスチャ認識に対して、少ない演算能力を必要とする。これは、特に、小演算能力のみ処理する、携帯端末の場合、重要であり得る。
【0152】
図11は、2つの異なる移動経路(2つの指のジェスチャ)から抽出される、ジェスチャの実施例を示す。移動空間内では、手H1の人指し指による第1の移動が実行される。第2の手H2の人指し指によって、第2の移動が、移動空間内で実行される。両方の移動から、各々、第1の移動経路BP1および別の移動経路BP2が、生成される。次いで、2つの移動経路のそれぞれから、複合ジェスチャの部分的ジェスチャとして解釈され得る、ジェスチャが、抽出される。部分的ジェスチャの抽出または部分的ジェスチャの認識において、Z座標が、考慮されない場合、両方の部分的ジェスチャはそれぞれ、図11に現れるように、円形のセグメントを表す。したがって、2つの部分的ジェスチャから生じるジェスチャ全体は、円形に対応する。2つの部分的ジェスチャが、複合ジェスチャの構成要素であるかどうかについて、これは、例えば、第2のジェスチャのジェスチャ終了からの第1のジェスチャのジェスチャ開始の距離に応じて、判断することができる。距離が、所定の閾値を下回る場合、部分的ジェスチャは、ジェスチャ全体を構成する。値が、閾値を下回らない場合、2つの部分的ジェスチャは、分離ジェスチャとして、解釈され得る。
【0153】
図12aから図12cは、いくつかの1本の指のジェスチャおよび2本の指のジェスチャを伴う、ジェスチャ一覧の選択を示す。本発明の実施形態では、図12bおよび12cに示される文字または数字は、移動方向に依存せず、認識され得る。例えば、文字「V」は、左上から右上、またはまた、右上から左上に入力され得る。
【0154】
図12dは、いくつかの手のジェスチャを伴う、ジェスチャ一覧の選択を示す。そのような手のジェスチャは、例えば、移動空間内における僅かな移動のみ、考慮される必要がある時、提供され得る。
【技術分野】
【0001】
本発明は、3次元移動空間における少なくとも1つの物体の移動によって実行される、3次元移動空間におけるジェスチャの非接触検出および認識のためのシステムおよび方法に関する。
【背景技術】
【0002】
先行技術から、ジェスチャの非接触検出および認識の方法およびシステムは、公知である。したがって、例えば、光学方法に基づく解決策が公知である。それらにおいては、連続的に画像が撮影され、画像は、画像処理にフィードされる。画像処理は、撮影された画像から、例えば、手または指を表すデータを抽出するように設計される。抽出されたデータから、手または指の移動が、決定される。決定された移動は、分析を受け、分析は、ジェスチャ認識を行い、その結果、ジェスチャまたは認識されたジェスチャに対する情報を提供する。しかしながら、そのようなシステムおよび方法は、非常に高価かつ計算集約的であって、異なるまたは悪照明条件の場合、問題につながる場合が多い。さらに、例えば、カメラシステム等、本目的のために必要とされる撮像ユニットは、携帯用用途に好適ではないため、そのようなシステムは、ほとんどの場合、固定動作にのみ好適である。
【0003】
携帯用用途に対しては、本目的のために、手または指の移動を認識するための付加的認識システムが必要ではないので、例えば、タッチセンサ式ディスプレイ等のタッチセンサ式システムが、より好適である。しかしながら、周知のタッチセンサ式認識システムは、移動を認識するために、一方では、例えば、タッチセンサ式ディスプレイとの接触が、必要であって、他方では、2次元、すなわち、XまたはY方向における移動のみ、入力表面上で可能であるという不利点を有する。したがって、移動を認識するための本方法は、2自由度に限定され、3次元(Z方向)を伴う、移動またはジェスチャは、考慮することができない。
【発明の概要】
【発明が解決しようとする課題】
【0004】
したがって、本発明の目的は、一方では、空間ジェスチャの検出および認識を可能にし、他方では、また、携帯用デバイスまたはシステムにおいて使用するために好適である、ジェスチャの非接触検出および認識の方法ならびにシステムを提供することである。
【課題を解決するための手段】
【0005】
本目的は、独立請求項による、ジェスチャの非接触検出および認識のためのシステムならびに方法を伴う、本発明に従って、達成される。
【0006】
それらによると、3次元移動空間におけるジェスチャの非接触検出および認識の方法であって、
−3次元移動空間を規定する電気近接場において、3次元移動空間における少なくとも1つの物体の移動によってもたらされ得る、電気近接場の変形が認識され、
−3次元移動空間における少なくとも1つの物体の移動に対応する、少なくとも1つの移動経路が、認識された電気近接場の変形から生成され、
−移動経路の生成中に、ジェスチャの開始が、移動経路内で決定され、ジェスチャの開始を発端に、ジェスチャが、移動経路から抽出される、
方法が提供される。
【0007】
このように、例えば、カメラシステム等の独自の撮像デバイスを提供する必要なく、3次元空間内の移動を検出し、それらからジェスチャを認識することが初めて可能となり、本方法はまた、特に、例えば、携帯電話およびゲームコンソールにおける携帯用用途に非常に好適である。
【0008】
少なくとも1つの移動経路の生成は、少なくとも1つの物体の少なくとも1つの物体特性を考慮し、少なくとも1つの物体特性は、電気近接場の変形から導出され得る。
【0009】
本発明による方法の精度は、移動空間内の各移動が、評価されるべき移動経路につながるわけではないため、このように、明らかに改善することができる。このように、また、認識速度が向上され得る。
【0010】
少なくとも1つの物体特性の導出は、移動経路の生成のステップに提供されるであろう、アドバンス情報(advance information)を考慮し得る。したがって、例えば、測定誤差は、少なくとも部分的に、アドバンス情報の支援によって、補償することができるため、移動経路は、より効率的に、すなわち、より高速かつより精密に、生成され得る。
【0011】
物体特性は、物体の形態、物体のサイズ、物体の数、基準表面に対する物体の配向、電気材料特性、およびそれらの組み合わせのうちの1つを含み得る。このように、移動経路は、より精密に、決定することができる。
【0012】
特に、移動経路は、物体特性およびアドバンス情報が、移動経路の認識において考慮される場合、非常に正確かつ非常に高速に、決定することができる。
【0013】
好ましくは、少なくとも1つの所定の変形基準を満たす、そのような電気近接場の変形のみ、移動経路の生成において、考慮される。したがって、例えば、近接場の外縁ゾーン内の変形は、考慮されないままであり得る。
【0014】
変形基準は、以下であり得る。
−変形を生じさせる物体の基準表面に対する距離
−絶対的および/または相対的電場変動
−経時的電場変動の1次および/または2次の偏差
−および/またはそれらの組み合わせ。
【0015】
移動経路の各点に、いくつかの移動特性を割り当てることは、有利であることが証明されている。
【0016】
移動特性は、以下を含み得る。
−基準表面に対する物体の位置
−移動空間に対する物体の配向
−物体の速度
−物体の加速度、および/または
−それらの組み合わせ。
【0017】
移動経路からのジェスチャの抽出は、離散ジェスチャの抽出および連続ジェスチャの抽出を含み得る。
【0018】
特に、文脈情報をジェスチャの抽出に割り当てることは、有利である。このように、一方では、識別率を大幅に向上させることができる。他方では、識別速度もまた、大幅に向上させることができる。
【0019】
文脈情報は、離散ジェスチャが抽出されるべきことを示す、第1の文脈情報と、連続ジェスチャが抽出されるべきことを示す、第2の文脈情報とを含み得る。
【0020】
割り当てられた第1の文脈情報では、移動経路からのジェスチャの抽出は、移動経路からジェスチャ終了を認識するためのステップを含み得る。
【0021】
ジェスチャの開始および/またはジェスチャの終了は、少なくとも1つの移動特性を少なくとも1つの閾値と比較することによって、決定され、閾値超過/未達は、ジェスチャの終了および/またはジェスチャの開始を示し得る。
【0022】
閾値超過/未達は、所定の持続時間の間、閾値超過/未達である時、ジェスチャの開始および/またはジェスチャの終了を示し得る。したがって、非常に短い閾値超過/未達が、ジェスチャの開始および/またはジェスチャの終了と誤認識されることが防止される。
【0023】
いくつかの移動特性の場合、それぞれの閾値超過/未達は、それぞれの閾値が、所定の順序において、超過/未達である時、ジェスチャの開始および/またはジェスチャの終了を示し得る。
【0024】
文脈情報が、一式の基準ジェスチャを含む、第3の文脈情報を含む場合、有利であって、一式の基準ジェスチャは、どのジェスチャが抽出されるべきかを示し、基準ジェスチャは、好ましくは、ジェスチャ文法に従って、記述される。
【0025】
したがって、いくつかの基準ジェスチャのみ、ジェスチャ認識のために使用されるため、識別率および識別速度は、さらに、大幅に向上されることができる。特定の実施形態では、ジェスチャ認識は、認識されるべきジェスチャが、任意の基準ジェスチャに割り当てることができない場合、ジェスチャの終了前でも、中断され得る。
【0026】
ジェスチャの抽出は、抽出されたジェスチャを認識するためのパターン認識を含み得る。
【0027】
抽出された離散ジェスチャは、ジェスチャの終了が決定されるとすぐに、パターン認識に完全に転送され得る。
【0028】
ジェスチャ開始の認識後、移動経路はまた、パターン認識に連続的にフィードされ、連続的にフィードされた移動経路はまた、基準ジェスチャから、連続的にフィードされた移動経路に対応する基準ジェスチャを決定するために、連続的に、パターン認識によって、基準ジェスチャの部分的ジェスチャと比較され得る。
【0029】
パターン認識は、ジェスチャを個々のジェスチャセグメントにセグメント化するステップを含み、次いで、ジェスチャセグメントは、対応する基準ジェスチャのジェスチャセグメントと比較され得る。
【0030】
少なくとも1つの移動経路の生成では、補償方法が、実行され、それによって、移動空間内の物体の偶発的移動に対応するセグメントが、移動経路から排除され得る。このように、認識におけるエラー公差およびジェスチャ認識は、大幅に向上されることができる。補償方法は、好ましくは、移動経路を認識する際に実行される。
【0031】
電気近接場は、少なくとも1つの電極上に放出され、電気近接場の変形は、少なくとも1つの電極によって、認識され、交流電場は、所定の周波数、好ましくは、周波数10kHzから300kHz、特に好ましくは、周波数20kHzから200kHz、最も特に好ましくは、周波数75kHzから125kHzで放出され得る。
【0032】
電気近接場の変形の認識は、それぞれの電極において受信または放出される、交流電場の変化を測定することによって、行われ、変化は、位相、振幅、および/または周波数の変化を含み得る。
【0033】
少なくとも1つの物体は、手、指、四肢、および/または指先を含み得る。
【0034】
本発明の好ましい実施形態では、移動経路の生成は、1本または数本の区別可能な指を伴う、手の移動において、1本の指または数本の区別可能な指の指先に対応する1つまたはいくつかの移動経路を生成するために設計される。
【0035】
したがって、3次元空間における複数の指のジェスチャは、例えば、カメラ等のさらなる手段を必要とすることなく、初めて、捕捉および認識することができる。
【0036】
ジェスチャは、いくつかの移動経路から抽出されたいくつかのジェスチャ(部分的ジェスチャ)によって形成され、これは、同時に、数本の指によって、ジェスチャが、入力される場合、特に、有利であって、入力ジェスチャは、全体的ジェスチャの構成要素であり得る。
【0037】
また、ジェスチャおよび/または基準ジェスチャを記述するための文脈自由文法が、本発明によって提供される。ジェスチャ文法によって記述された基準ジェスチャの使用は、本発明による技術的方法におけるジェスチャ認識が、特に、単純様式において実現され得るという利点を有する。有利には、基準ジェスチャは、データベース内に記憶され、基準ジェスチャに関する基準ジェスチャのセグメントにわたって、索引順アクセスが行われ得る。既に認識されたジェスチャセグメントに基づく関連基準ジェスチャは、単純データベース照会によって、フィルタリングされ得るため、索引順アクセスは、特に、連続的、すなわち、逐次的ジェスチャ認識の場合、有利であることが証明されている。データベースは、特に、マイクロコントローラ内で実現されるために好適である、内蔵データベースであってもよく、本発明による方法もまた、マイクロコントローラ内で実現されるために好適である。
【0038】
本発明によって、また、3次元移動空間におけるジェスチャの非接触認識のためのシステムであって、
−移動空間を規定する、電気近接場を生成する手段と、
−移動空間内の少なくとも1つの物体の移動によって生じる、電気近接場の変形を認識する手段と、
−少なくとも1つの物体の移動に対応する、認識された電気近接場の変形から少なくとも1つの移動経路を生成する手段と、
−移動経路が生成されている間に、移動経路におけるジェスチャ開始を認識する手段と、
−ジェスチャ開始を発端に、移動経路からジェスチャを抽出する手段と
を備えている、システムが提供される。
【0039】
電気近接場を生成する手段は、交流電場が放出され得る、少なくとも1つの送信電極と、少なくとも1つの送信電極を電気交流信号で充電するために、少なくとも1つの送信電極と連結されている、少なくとも1つの信号発生器とを含み得る。
【0040】
電気近接場の変形を認識する手段は、少なくとも1つの受信電極と、受信電極に連結されている交流電場あるいは受信電極において放出される交流電場の周波数、振幅および/または位相の変化を認識するために、それに連結されている評価デバイスとを含み得る。
【0041】
好ましくは、電気交流信号の周波数、振幅、および/または位相は、調節可能である。
【0042】
本発明によるシステムは、特定用途向け集積回路(ASIC)として実装され得る。
【0043】
また、電気近接場によって規定される、3次元移動空間内において非接触移動を検出するための方法であって、少なくとも、
−3次元移動空間における少なくとも1つの物体の移動によってもたらされ得る、電気近接場の変形の認識と、
−少なくとも1つの物体の移動に対応する、認識された電気近接場の変形からの少なくとも1つの移動経路の生成と
を含む、方法が提供される。
【0044】
さらに、少なくとも1つの移動経路からジェスチャを認識する方法が、本発明によって提供され、少なくとも1つの移動経路は、非接触移動を検出するための本発明による方法によって検出可能であり、方法は、少なくとも1つの移動経路からの少なくとも1つのジェスチャの抽出のためのステップを含む。
【0045】
本発明のさらなる効果および有利な実施形態は、説明、図面、および請求項からもたらされる。
【図面の簡単な説明】
【0046】
図面中、実施形態は、図式的に簡略化された方法において例証され、以下の説明により詳細に説明される。
【図1】図1は、ジェスチャの非接触検出および認識のための本発明による方法の流れ図である。
【図2】図2は、電気近接場によって生成される移動空間ならびに移動空間内に配置される認識空間の空間図である。
【図3】図3は、電気近接場によって生成される移動空間、移動空間内に配置される認識空間、ならびに各々、1つのアクションが割り当てられる、認識空間内に配置されるいくつかの活性領域である。
【図4】図4は、ジェスチャの開始および終了を決定するための閾値法の第1の実施例である。
【図5】図5は、ジェスチャの開始およびジェスチャの終了を決定するための閾値法の第2の実施例である。
【図6】図6は、ジェスチャの開始およびジェスチャの終了を決定するための閾値法の別の実施例である。
【図7a】図7aは、ジェスチャアルファベットのいくつかのジェスチャセグメントから成るジェスチャの実施例である。
【図7b】図7bは、補正可能である、不完全セグメントを伴う、移動経路の実施例である。
【図8】図8は、移動経路の分割(セグメント化)のためのヒットボックスの実施例である。
【図9a】図9aは、ジェスチャ認識に対して、Z方向のみ、関連する、移動の実施例である。
【図9b】図9bは、ジェスチャ認識に対して、X方向のみ、関連する、移動の実施例である。
【図10】図10は、ジェスチャ認識に対して、XおよびY方向(座標)のみ、関連する、3次元空間内の移動経路の実施例である。
【図11】図11は、2つの移動経路から抽出される、ジェスチャ(2本の指のジェスチャ)の実施例である。
【図12a】図12a−12cは、いくつかの1本の指のジェスチャおよび2本の指のジェスチャを伴う、ジェスチャ一覧である。
【図12b】図12a−12cは、いくつかの1本の指のジェスチャおよび2本の指のジェスチャを伴う、ジェスチャ一覧である。
【図12c】図12a−12cは、いくつかの1本の指のジェスチャおよび2本の指のジェスチャを伴う、ジェスチャ一覧である。
【図12d】図12dは、いくつかの手ジェスチャを伴う、ジェスチャ一覧である。
【発明を実施するための形態】
【0047】
図1は、ジェスチャの非接触検出および認識の方法の流れ図を示す。
【0048】
第1のステップ100では、電極システムによって、好ましくは、基準表面、例えば、画面またはタブレットPCに対する移動空間を規定する準静的交流電場として形成される、電気近接場が生成される。
【0049】
交流電場の周波数fは、電場変動の交流電場の周波数fに対応する周期T(T=1/f)が、光がストレッチLを網羅するために必要とする時間より遥かに短くなるように選択されるべきであって、Lは、基準表面のサイズに対応し、すなわち、電磁波の波長は、周波数Fの場合、システムサイズLより遥かに大きい(T>>L/cまたはf<<c/L、式中、cは、光の速度である)。周波数10kHzから300kHz、好ましくは、周波数75kHzから100kHzが、特に、好適であることが証明されている。周波数約100kHzは、基準表面のサイズを遥かに超える、約3kmの波長に対応する。
【0050】
近接場は、電場が、電磁波としてではなく、準静的電場として見なされ得るような、電場源からの距離が、波長より遥かに短い、領域である。電極システムにおける電場強度は、約1/rから1/r2に比例して、電極システムの電極からの距離rに伴って減少する。これは、また、電極システムの感度が、距離に伴って、減少することを示す。したがって、電極システム感度領域は、電極に「近接」する空間に限定される。
【0051】
基準表面は、例えば、携帯デバイス、例えば、携帯電話またはタブレットPCのディスプレイデバイスであり得る。ディスプレイデバイスはまた、ジェスチャの非接触検出および認識に加え、また、タッチ式ディスプレイデバイスによる入力も認識することができるように、タッチセンサ式であり得る。基準表面、また、「不活性」表面として、本発明によるシステムとともに、入力表面にされ得る、例えば、キャビネットドアの表面が、提供され得る。
【0052】
以下、電気近接場と呼ばれる、準静的交流電場の生成のために、各々、交流電場が放出される、相互に離間されたいくつかの電極が提供され得る。1つまたはいくつかの発生器によって提供される、それぞれの電極に供給される、電気交流信号は、電極において放出される電気交流電場が、結合して、電極基準表面に対して、電極の周囲の移動空間に及び得るように設定される。
【0053】
移動空間では、次のステップ200において、例えば、移動空間内の少なくとも1つの物体の移動によって生成される、電気交流電場の力線の変形が認識される。例えば、力線の変形は、移動空間内の1本の指または数本の指の移動によって生じ得る。力線の変形は、電極と連結されたそれぞれの発生器における負荷の変化を決定することによって、電気交流電場が放出される、電極において認識され得る。電気交流電場の力線の変形は、以下、電気近接場の変形と呼ばれる。電気交流電場の生成および電気近接場の力線の変形の認識のためのさらなる実施形態は、図2に関連して示される。
【0054】
認識された変形から、次のステップ300では、例えば、移動空間内の指の移動に対応する、移動経路が生成される。したがって、本発明によると、また、例えば、数本の指が、移動空間内で移動する場合、いくつかの移動経路が、生成され得る。
【0055】
移動経路の生成において、移動空間内を移動する物体の1つ以上の物体特性が、考慮され得る。例えば、移動経路の生成のために、物体の形態が、考慮され得る。これは、例えば、伸展された人指し指を伴う手が、移動空間に浸漬し、したがって、手全体が、電気近接場の変形を生じさせる時、必要である。形態に関わらず、実質的に、移動空間内を移動する手の重心の移動に対応する、移動経路が生成されるであろう。そのように生成された移動経路は、可能性として、手の重心の移動が、常に、伸展された人指し指の移動に対応するわけではないため、不完全なジェスチャ認識につながり得る。
【0056】
これを回避するために、移動空間内を移動する手の形態が、移動経路の生成において、考慮され、手の形態が、順に、電気近接場の変形から導出される。次いで、手の形態から、指先の移動に対応する、移動経路が、決定され得るように、伸展された指の指先が決定され得る。
【0057】
本発明のさらなる実施形態では、数本の指の移動もまた、認識および評価されてもよく、各伸展された指に対して、指先が決定される。
【0058】
本発明による移動経路の生成では、所定の基準を満たす、そのような電気近接場の変形のみ、考慮される。基準は、例えば、基準表面からの変形を生じさせる物体の距離であり得る。したがって、例えば、移動空間の外縁の領域内で行われる移動は、移動経路の生成において、考慮されないことが保証される。
【0059】
移動経路の生成において、移動空間内で達成された移動から、1つ以上のジェスチャが確実に抽出され得るように、移動経路の各点は、いくつかの移動特性が割り当てられる。そのような移動特性は、例えば、基準表面に対する、物体、例えば、人指し指の指先の位置、移動空間に対する手または人指し指の配向、指先の速度、指先の加速度、またはそれらの組み合わせであり得る。図4から6に関連してより詳細に説明されるように、これらの移動特性はまた、1つまたはいくつかのジェスチャのジェスチャの開始およびジェスチャの終了の決定のために使用され得る。
【0060】
ステップ400では、1つ以上のジェスチャが、生成された移動経路から抽出される。本発明による離散ジェスチャおよび/または連続ジェスチャが、抽出され得る。
【0061】
離散ジェスチャは、ジェスチャ開始、ジェスチャ終了、およびジェスチャ開始とジェスチャ終了との間の移動によって、特徴付けられる。連続ジェスチャは、ジェスチャ開始およびジェスチャ開始後の移動によって、特徴付けられるが、連続ジェスチャは、必ずしも、ジェスチャ終了を有していなければならないわけではない。
【0062】
移動経路からジェスチャを抽出する時、最初に、離散ジェスチャおよび連続ジェスチャの両方に対して、移動経路において、ジェスチャ開始が決定される。ジェスチャ開始は、移動経路の生成中に決定される。ジェスチャ開始が決定されるとすぐに、ジェスチャ開始を発端に、ジェスチャが抽出され得る。ジェスチャ開始を認識するための具体的方法は、図4から6を参照して、より詳細に説明される。
【0063】
パターン認識の支援によって、抽出されたジェスチャが、認識され得る。パターン認識のために、例えば、隠れマルコフモデル、ビタビアルゴリズム、および/またはベイジアンネットワークが使用され得る。本発明による別の認識方法は、図7に関して、より詳細に説明される。
【0064】
離散ジェスチャが、検出および認識されるべき場合、各々、ジェスチャ移動経路から抽出された1つの完全なジェスチャがパターン認識にフィードされることができる。これは、例えば、ジェスチャの終了が決定されるとすぐに、行われ得る。ジェスチャ終了の認識もまた、図4から6に関連して、より詳細に説明される。
【0065】
連続ジェスチャが認識されるべき場合、ジェスチャ開始検出後、ジェスチャ開始後の移動経路が、パターン認識に連続的にフィードされる。連続的にフィードされた移動経路はまた、パターン認識によって、ジェスチャ認識を連続的に受ける。
【0066】
連続および離散ジェスチャを認識するために、基準ジェスチャが提供され、パターン認識によってフィードされた移動経路とのパターン比較のために使用される。基準ジェスチャは、例えば、デバイスのあるユーザ文脈(user context)におい許容可能である、ジェスチャであり得る。ユーザ文脈において、例えば、決定された文字の入力のみ、許容可能である場合、基準ジェスチャは、許容された文字を表す、ジェスチャを含む。
【0067】
パターン比較は、移動経路の個々のセグメントが、基準ジェスチャの対応する部分的ジェスチャと比較されるように、実行され得る。部分的ジェスチャは、基準ジェスチャのセグメントである。移動経路の個々のセグメントが、各々、基準ジェスチャの部分的ジェスチャと一致する場合、移動経路は、認識されたジェスチャとして、解釈され得る。
【0068】
本発明の一実施形態では、比較された移動経路のセグメントの数の増加に伴って、その対応する部分的ジェスチャが、既に比較された移動経路のセグメントと一致しない、ジェスチャ比較のためのそれらの基準ジェスチャはすべて、除外されるので、一式の可能性のある基準ジェスチャは、対応する部分的ジェスチャとの移動経路のセグメントの各比較後、削減され得る。このように、また、移動経路のセグメントが、もはや対応する基準ジェスチャの部分的ジェスチャに割り当てられ得なくなるとすぐに、認識の中断が行われ得る。
【0069】
移動経路からの1つまたはいくつかのジェスチャの抽出のためステップ400は、文脈情報(context information)を割り当てられることができ、それによって、抽出ステップ400は、抽出されるべきジェスチャが、離散ジェスチャまたは連続ジェスチャであるかどうか判断することができる。したがって、文脈情報は、どの種類のジェスチャが、評価されなければならないかを示す。文脈情報は、実質的に、本発明による方法が使用される、具体的用途に依存する。例えば、ディスプレイ/入力デバイスにおいて、手の移動の支援によって、接触することなく、左または右に移動されなければならない、スライド制御が視覚化される場合、文脈情報「連続ジェスチャ」が、抽出ステップ400に割り当てられ得る。次いで、スライド制御に割り当てられる、移動空間内の手の移動は、実質的に、ディスプレイデバイスにおける手の移動と同期して移動し得るように、連続的に評価される。
【0070】
例えば、入力デバイスにおける文字または数字の入力が予測される場合、文脈情報「離散ジェスチャ」が、抽出ステップ400に割り当てられ得る。ここでは、ジェスチャ開始とジェスチャ終了との間の移動経路は、ジェスチャ終了が、移動経路内で認識されるとすぐに、パターン認識にフィードされる。代替として、離散ジェスチャの移動経路もまた、ジェスチャ開始が認識されるとすぐに、パターン認識に連続的にフィードされてもよく、これは、ジェスチャが完了する前であっても、ユーザが行おうとするジェスチャに関して、ステートメントが作成され得るという利点を有する。
【0071】
抽出ステップ400に割り当てられる文脈情報はまた、例えば、どのジェスチャが、文脈において許容可能であるかを示す、一式の基準ジェスチャを含み得る。
【0072】
これは、例えば、入力デバイスが、数字の入力を予測する時、有利である。文脈情報は、この点において、基準ジェスチャとして、数字「0」から「9」を含み得る。したがって、例えば、文字「A」に対応するであろう、移動空間内の人指し指の移動は、本発明による方法によって、許容されていないジェスチャとして、認識されることができる。それぞれの文脈において許容されるジェスチャを規定する、基準ジェスチャを使用することによって、ジェスチャ認識における誤った解釈の確率を大幅に低下させることができる。
【0073】
さらに、例えば、ジェスチャ開始とジェスチャ終了との間の移動経路が、基準ジェスチャのいずれにも割り当てることができないが、しかしながら、移動経路が、基準ジェスチャに類似する時、エラー補正が行われ得る。類似の程度は、調節可能であって、例えば、基準ジェスチャの数に応じて、設定され得る。少数の基準ジェスチャでは、低程度の類似性が設定されてもよく、これは、非常に不正確に行われた移動でさえ、確実に、正確に認識されたジェスチャにつながり得るという利点を有する。
【0074】
例えば、移動経路からジェスチャを抽出する際、移動空間内の指による、偶発的移動を無視するために、移動経路の生成(ステップ300)中に、移動経路から、移動空間内の指の偶発的移動に対応する、それらのセグメントを排除する、補償方法が提案される。本目的のために、例えば、移動空間内の指の速度および/または加速度が使用されてもよく、既定速度または既定加速度超過または未達は、指の偶発的移動を示し得る。移動経路から、そのようなセグメントを抽出することによって、また、ステップ400における、移動経路からのジェスチャの抽出の認識程度が向上される。
【0075】
図2は、典型的には、電気センサシステムの4つの電極を伴う、移動空間内の移動の非接触検出のための本発明によるシステムの構造を示す。
【0076】
例えば、ディスプレイデバイスであり得る、長方形基準表面Bの4つの縁の領域には、各々、電気センサシステムの構成要素である、1つの電極が、配置される。電極Eは、基準表面Bのそれぞれの縁の全長にわたって延在する。電極Eにはそれぞれ、交流電場が照射され、4つの照射された電気交流電場はともに、移動空間10を規定する。
【0077】
図2に示される4つのストライプ形状の電極Eの代わりに、基準表面Bの縁に、各々、1つの点状の電極が、配置されてもよく、これは、空間座標、例えば、移動空間10内の指先の認識を改善させることを可能にする。また、基準表面の各縁には、認識精度をさらに向上させるために、いくつかの点状の電極が存在し得る。
【0078】
点状の電極はまた、基準表面Bの隅に配置され得る。点状の電極は、例えば、約0.5cm2から5cm2の表面を備えている、平坦金属板によって、形成され得る。具体的形態では、点状の電極は、1cm2の表面を呈する。
【0079】
単一電極が、送信電極および/または受信電極として、動作され得る。
【0080】
例えば、図2に示される電極のうちの1つは、交流電場が放出される、送信電極(発生器電極)として動作され得る。3つの他の電極は、送信電極によって放出された交流電場が受信または連結されている、受信電極として動作され得る。受信電極に連結された交流電場から、電気近接場の変形が決定され得る。個々の受信電極は、受信電極で測定された信号が、時間的に順次、評価ユニットにフィードされるように、多重化方式で動作され得る。
【0081】
受信電極における信号もまた、同時に測定され、これは、信号対雑音比(SNR)の改善につながる。
【0082】
代替実施形態では、図2に示される電極のうちの1つは、受信電極として動作され得る。他の3つの電極は、各々、受信電極に連結され、それぞれ、交流電場が放出される、送信電極として動作され得る。送信電極において放出される交流電場は、各々、異なる周波数および/または異なる位相を有し得る。
【0083】
しかしながら、送信電極において放出される交流電場はまた、同一周波数および同一位相を有してもよく、送信電極は、有利には、時分割多重方式において、動作される。
【0084】
また、空間分解能が、さらに向上され得るように、いくつかの送信電極およびいくつかの受信電極を提供することが可能である。
【0085】
さらなる実施形態では、少なくとも1つの電極はまた、送信電極および受信電極の両方として、動作されてもよく、力線の変形は、交流電圧を生成する発生器において、交流電場の負荷によって、決定される。
【0086】
交流電場内の指の位置を認識するためのシステムの具体的実現化は、本出願人による、独国特許出願第DE 10 2007 020 873号に説明されている。
【0087】
移動空間はさらに、再分割され得る。移動空間10内側には、移動空間10より小さい、検出空間20が規定される。移動空間10内側の検出空間20は、移動経路の生成中に、考慮される空間である、すなわち、検出空間20内側の移動に対してのみ、移動経路が生成される。
【0088】
手Hまたは指先が、移動空間10内に進入する場合、手Hまたは指先は、電気近接場の変形を伴う。本発明のある実施形態によると、電気近接場の変形から、移動経路が導出されるが、しかしながら、指または手Hが、検出空間20に入ってすぐのみにおいてである。これは、例えば、指先と基準表面Bとの間の距離dを評価することによって、行われ得る。指先と基準表面Bとの間の距離dが、その内側において、移動経路が認識された電気近接場の変形から導出される、基準表面Bに対する距離を示す、距離Dより小さい場合、指先の移動は、そのように生じた電気近接場の変形からの移動経路の推測につながる。
【0089】
検出空間20を提供することは、移動空間の縁ゾーン内の電気近接場の変形が、移動経路の生成において、考慮されないままであるという利点を有する。代替として、検出空間20外側の電気近接場の変形はまた、例えば、例えば、スリーピングモードから動作モードに変更するために、入力表面をアクティブ化するためにも使用される。
【0090】
図3は、基準表面に対する活性領域を規定する可能性を示す。図3に示される実施例では、9つの活性領域が、基準表面Bに割り当てられる。活性領域のそれぞれに対して、対応する活性領域が、例えば、指先によって選択されるとすぐに果たされる、機能が割り当てられ得る。選択は、対応する活性領域に指先を接近させることによって、行われ得る。活性領域30は、好ましくは、検出空間20内側にあるように、規定される。活性領域30は、活性領域に割り当てられる空間によって、規定される。
【0091】
図3では、活性領域は、概略断面図に示される。手Hの人指し指の先端が、活性領域30の空間に進入するとすぐに、指先のXおよびY座標が、活性領域30を規定するXまたはY座標内側にあることが認識される。さらに、活性領域30の空間内の指先の進入は、入力表面Bからの指先の距離(Z座標)が、所定の値より小さいという事実によって、認識される。したがって、本発明による方法は、移動空間10または検出空間20内の指あるいは指先のX、Y、およびZ座標を評価することによって、活性領域の選択を検出することができる。X、Y、またはZ座標は、交流電場の時間的変化から導出される、移動経路から決定される。
【0092】
活性領域30の選択の確認は、指先を排除する、またはZ方向に活性領域30の外に移動させることによって、生じ得る。そのような確認が認識されるとすぐに、活性領域30に割り当てられた対応する機能が、実行され得る。選択の確認によって、すなわち、Z方向に指先を移動させることにおいて、また、移動の速度および/または加速度が、考慮され得る。したがって、例えば、正のZ方向における移動は、移動が、所定の速度または所定の加速度を超える場合のみ、確認として解釈されることが前提とされ得る。
【0093】
代替として、確認はまた、活性領域から外側へとXまたはY方向に指先を移動させることによって、生じ得る。確認はまた、指先が、所定の期間の間、活性領域30の場内に残存する方法で生じることができる。したがって、例えば、指は、入力表面Bにわたって移動され、次いで、異なる活性領域に進入してもよく、対応する活性領域の選択の確認は、指先が、対応する活性領域内にあって、所定の時間の間、活性領域の内側で移動されない場合のみ、行われる。
【0094】
活性領域30の選択の選択または確認のために、入力表面Bをタッチすることは必要ではない。それでもなお、入力表面Bは、ジェスチャの非接触検出および認識の方法またはシステムとともに、機能性を拡張するために、入力表面として、形成され得る。
【0095】
しかしながら、活性領域は、それぞれの活性領域30に割り当てられる決定された機能性の選択のためだけに提供される必要はない。活性領域30はまた、活性領域内側の移動を検出し、本発明による方法に従って、1つ以上のジェスチャを検出するために提供され得る。文脈情報とともに、例えば、第1の活性領域30は、数字を入力するために、提供されてもよく、第2の領域は、例えば、文字を入力するために、提供されてもよく、第3の活性領域は、前述のように、選択のみ行うために、提供され得る。
【0096】
以下では、本発明に従って、移動経路内のジェスチャ開始およびジェスチャ終了が、どのように決定され得るかについて、図4から6に関してより詳細に論じられる。移動空間内で検出された移動をパターン認識にフィードするために、最初に、少なくとも、ジェスチャ開始を検出する必要がある。基本的には、また、ジェスチャ開始前に生じる移動も、パターン認識にもたらされ得るが、しかしながら、パターン認識が、ジェスチャに属さない移動を考慮しないように設計されていない場合、ジェスチャ開始前の移動は、不完全なジェスチャ認識につながり得るという不利点を有するであろう。パターン認識の完全なジェスチャが考慮されるべき場合、また、移動経路内のジェスチャ終了を検出する必要がある。
【0097】
例えば、移動空間内の指先の移動中に、1つまたはいくつかの移動特性が、所定の時間間隔、例えば、5msの時間間隔において、電気センサ電子機器の支援によって、検出され、移動経路の対応する点に割り当てられる。時間間隔はまた、用途の具体例に応じて、より大きくまたはより小さく選択され得る。移動特性は、例えば、以下であり得る。
−基準表面、例えば、タッチセンサ式ディスプレイの入力表面に対する指先の位置、すなわち、位置は、入力表面に対するX、Y、および/またはZ座標によって、示され得る。
−移動空間に対する指または手の配向
−指の移動の速度
−指の移動の際の加速度
−および/またはそれらの組み合わせ
ジェスチャ開始またはジェスチャ終了を決定するために、これらの移動特性のいくつかまたはそれらの組み合わせのいずれかが、使用され得る。
【0098】
また、移動空間内側の移動全体が、ジェスチャとして評価されるべきであることが前提とされ得る。ここでは、センサ電極によって認識された電気信号から、直接、ジェスチャ開始またはジェスチャ終了を測定することが有利である。電気近接場の変形を示す、信号変化が発生するとすぐに、これは、ジェスチャ開始と解釈され得る。同じことは、ジェスチャ終了にも当てはまる。電極において測定された電気信号が、電気近接場の変形が存在しないことの事実を表すとすぐに、これは、ジェスチャ終了と解釈され得る。
【0099】
代替として、本発明によるジェスチャ認識システムの開始時においてさえ、連続ジェスチャ認識が、開始され得る。そこでは、移動経路は、連続的に分析される。所定のコマンドジェスチャが、移動経路内で認識されるとすぐに、移動経路から抽出された以下のジェスチャは、行われるべき対応する機能が割り当てられる。すなわち、時間的に、コマンドジェスチャ前に認識されたジェスチャは、考慮されないままである。同じ方法はまた、例えば、所定のコマンドジェスチャの支援によって、ジェスチャ入力を終了するために、実施され得る。この点において、コマンドジェスチャは、移動経路から抽出され、他のジェスチャと同様に、認識され得る。
【0100】
代替として、ジェスチャ開始および/またはジェスチャ終了はまた、移動空間内の物体の電気特性を変化させることによって、決定することができる。例えば、ユーザは、ショーウィンドウの正面において、電気交流電場内で手を移動させてもよい。ユーザが、同時に、他の手によって、接地表面を触れる、または同時に、ショーウィンドウ前のアース表面を踏む場合、これは、交流電場の力線の変形につながり、ジェスチャ開始として認識され得る。
【0101】
別の実施形態では、ジェスチャ開始および/またはジェスチャ終了はまた、ユーザが制御要素を動作させることによって、決定され得る。
【0102】
図4は、移動の際、基準表面からの指先の距離(Z方向における距離)の時間の推移を示す。基準表面からの指先の距離は、ジェスチャの開始および終了を決定するために、基準として、使用され得る。本目的のために、閾値が、規定され、その未達または超過は、ジェスチャの開始あるいは終了を決定する。図4に示されるように、基準表面から4cmの距離が、閾値として規定される。また、図4に見られ得るように、指先は、連続的に、閾値に接近する。基準表面からの指先の距離が、4cmより短くなるとすぐに、対応する点40aが、移動経路40内において、ジェスチャ開始として、マークされる。基準表面からの指先の距離が、再び、4cmの閾値を超えるとすぐに、対応する点40bが、移動経路内において、ジェスチャ終了として、マークされる。ジェスチャは、ここで、ジェスチャ開始40aとジェスチャ終了40bとの間の移動経路によって、形成される。本移動経路は、既に前述のように、パターン認識にフィードされ得る。
【0103】
当然ながら、図4に示されるものと異なる閾値が、基準表面からの指先の距離によって、ジェスチャ開始またはジェスチャ終了を決定するために使用され得る。これは、最終的に、本発明による方法の用途の具体例に依存する。基準表面からの指先の距離は、例えば、それぞれのセンサ電極において検出された電気近接場の変形からの三角測量によって、決定され得る。
【0104】
図5は、移動空間内の指の移動のジェスチャ開始およびジェスチャ終了を決定するための本発明による第2の閾値法を示す。移動特性として、基準表面に対する指先の速度が使用され、図5では、X方向における指の移動の速度の時間の推移が示される。
【0105】
図5に示される実施例では、また、X方向における指先の速度の推移が、ジェスチャ開始またはジェスチャ終了の特徴として、評価され、所定の速度(閾値)超過は、ジェスチャ開始を規定し、所定の閾値未達は、ジェスチャ終了を規定する。同様に、図4による閾値法に従って、また、ここでも、移動経路50の点50aは、ジェスチャ開始マークが割り当てられ、点50bは、ジェスチャ終了マークが割り当てられ得る。ジェスチャ終了とジェスチャ開始との間の移動経路は、再び、パターン認識にフィードされ得る。
【0106】
速度の推移はまた、移動経路からの偶発的移動を除去するために使用され得る。本目的のために、例えば、第2の閾値が、提供されてもよく、その超過は、移動が意図されていないものであって、移動空間内の偶発的移動(例えば、手の震え)または信号(例えば、システム近傍に位置する携帯電話、蛍光灯等からの)妨害信号である証拠である。移動経路50の対応する点51aは、第2の閾値の超過を示す、対応する情報が割り当てられ得る。移動速度が、再び、本第2の閾値未達となる場合、本点51bはまた、第2の閾値未達に対する移動経路50の対応する情報が割り当てられ得る。
【0107】
図5に示される実施例では、移動経路50はまた、2つのジェスチャ、すなわち、点50aと51aとの間の移動経路によって形成されるジェスチャと、点51bと50bとの間の移動経路によって形成される第2のジェスチャとを含む。図5に示される実施例によると、移動経路50からの2つのセグメントが、パターン認識にフィードされる。偶発的移動を表す、セグメント51は、パターン認識にフィードされず、必要に応じて、拒否され得る。
【0108】
代替として、図5に示される移動経路の2つのセグメント(50aから51aまたは51bから50b)から、再び、点50aと50bとの間の単一移動経路を生成することができ、これは、次いで、パターン認識にフィードされ得る。本目的のために、点51aと51bとの間の移動経路50は、補間され得る。点51aと51bとの間の補間されたセグメントは、引用記号52によって、図5に示される。補間のために、本質的に、周知の補間方法、例えば、三次スプライン補間が使用され得る。したがって、偶発的移動は、この点において、2つまたはいくつかのジェスチャを誤って捉えることなく、かつ移動経路内の異常値が、以下のパターン認識に悪影響を及ぼすことなく、効率的に、移動経路において補償され得る。
【0109】
特に、一般的補償方法によって、また、単純な一連のジェスチャのみ認識することができるだけではなく、他方では、エラーの観点から、ジェスチャ認識において、より寛容である、そのようなジェスチャ認識システムが、実現され得る。したがって、また、例えば、疾患(例えば、パーキンソン病)による障害のため、運動機能が非常に制限された人用のジェスチャの3次元認識のためのジェスチャ認識システムが、提供され得る。
【0110】
X方向における速度の推移の代わりに、また、Y方向および/またはZ方向における速度の推移が、評価され得る。代替として、また、ジェスチャ開始またはジェスチャ終了を決定するために、全3方向における速度の推移が、考慮され得る。経時的速度の推移の代わりに、また、経時的加速度の推移が、ジェスチャ開始またはジェスチャ終了を決定するために、使用され得る。
【0111】
図6は、移動経路内のジェスチャ開始またはジェスチャ終了を決定するためのなおもさらなる方法を示す。
【0112】
図6は、4つのセンサ電極を伴うセンサシステムにおけるセンサ電極と移動する指の指先との間の距離の時間経過を示す。例えば、推移60aは、第1のセンサ電極に対する指先の距離の時間の推移に対応する。また、ここでは、閾値も、規定され、その超過または未達は、ジェスチャの開始またはジェスチャの終了を決定する。本発明によると、ジェスチャ開始は、図6に示される4つの経過のうちの少なくとも1つが、既定閾値未達となる時、現れる。したがって、ジェスチャ終了は、全4つの経過が、再び、対応する閾値超過となる時、存在し得る。
【0113】
図4から6に示される閾値法は、ジェスチャの開始またはジェスチャの終了を決定するために、個々に、または組み合わせて、使用され得る。同様に決定され得る付加的条件として、超過または未達が、ジェスチャ開始またはジェスチャ終了として解釈されるように、図4から6に示される閾値のうちの1つ以上が、所定の期間にわたって、超過または未達でなければならない。また、図4から6に示される閾値は、ジェスチャ開始またはジェスチャ終了を検出するために、所定の順序において、超過または未達でなければならないことが想定される。
【0114】
以下では、図7aを参照して、移動空間10または検出空間20内の指先の移動に対応する移動経路から、ジェスチャを認識するための方法が、説明されるが、XおよびY座標のみ、考慮される。ユーザは、移動空間10または検出空間20内の移動によって、数字「2」を入力する。対応する移動経路(ジェスチャ開始またはジェスチャ終了が、認識された後)は、図7aにおいて、引用記号70によって示される。ジェスチャ認識の目的のために、移動経路は、最初に、セグメントに分割される。個々のセグメントへの移動経路の分割のために、例えば、ほとんどの部分に対して、移動経路からのそれぞれのセグメントを包囲する、標準化されたヒットボックス75(図8参照)が、使用され得る。3次元ジェスチャのジェスチャ認識では、すなわち、加えて、また、Z座標も考慮される、移動の場合、ヒットボックスの代わりに、好ましくは、ほとんどの部分に対して、移動経路のそれぞれのセグメントを包囲する、境界ボックスが、使用される。
【0115】
標準化されたヒットボックス75は、所定の幅および長さを伴う、所定の数の長方形であって、各長方形は、所定の角度だけ傾斜される。単純な例では、移動経路をセグメント化するために、8つのヒットボックスで十分である。8つの可能性のあるヒットボックスが、図8に関して示される。各ヒットボックスは、一式の利用可能ジェスチャセグメントから、それぞれ、反対方向に進む、2つのジェスチャセグメントを記述するため、移動経路の方向は、セグメント化のために重要ではない。
【0116】
第1のステップでは、移動経路の第1のセグメントを可能な限り完全に囲む、ヒットボックスが選択される。検討される例では、図8に示されるヒットボックスから、ヒットボックスHB1が、選択され、対応する移動経路のセグメントに割り当てられる。本方法は、ヒットボックスの支援によって、移動経路全体が、セグメントに分割されるまで、継続される。移動経路の方向が既知であるため、次のステップでは、各ヒットボックスが、一式の利用可能ジェスチャセグメント72から、対応するジェスチャセグメントが割り当てられる。この場合、ヒットボックスHB1は、ジェスチャの方向を考慮して、移動経路のセグメント(A)割り当てられる。本方法は、各ヒットボックスに、対応するジェスチャセグメントが割り当てられるまで、反復される。そのような割当の結果は、図7aにおいて、引用記号71によって示される。
【0117】
そのように生成されたジェスチャセグメントのシーケンスは、一式の基準ジェスチャから、対応するジェスチャを選択するために、使用される。本目的のために、基準ジェスチャはそれぞれ、好ましくは、ジェスチャセグメントのシーケンスから、記述される。好ましくは、本発明による基準ジェスチャは、以下により詳細に説明される、ジェスチャの文脈自由(context free)記述のための文法に従って、記述される。
【0118】
ジェスチャ認識における分解能を向上させるために、付加的ヒットボックスおよび対応する関連付けられたジェスチャセグメントが、提供され得る。ヒットボックス自体もまた、より小さく選択されてもよく、これは、ジェスチャ認識において、また、より高い分解能につながる。
【0119】
移動経路を個々のセグメントに分割し、対応するヒットボックスを割り当てることによって、ジェスチャを認識するための前述の方法はまた、第1のヒットボックスを検出後、次いで、本ヒットボックスに、対応するジェスチャセグメントが割り当てられるように、行われ得る。本手順は、既に、第1の検出されたジェスチャセグメント後、その第1のジェスチャセグメントが、検出された第1のジェスチャセグメントに対応しない、それらの基準ジェスチャすべてが、ジェスチャ認識に対して、排除され得るという利点を有する。
【0120】
具体例では、既に検出されたジェスチャセグメントによって、また、決定されたジェスチャセグメントが、ジェスチャセグメントに従い得る場合のみ、可能性のある前述のジェスチャセグメントの数が、限定され得る。これは、図7aに示される実施例によって、説明される。一式の基準ジェスチャのみ、数字の2を記述する、図7aに示される基準ジェスチャ71を構成すると仮定する。この場合、第1のジェスチャセグメント(a)後、ジェスチャセグメント(b)のみ、続くジェスチャセグメントであることができる。ここで、ユーザが、第1のジェスチャセグメントにおいて、例えば、ジェスチャセグメント(e)に対応するように移動空間内への移動を継続する場合、入力または移動は、許容不可能として、認識され得る。
【0121】
以下では、例えば、基準ジェスチャを記述するために、ジェスチャ認識に対して、本発明による方法において使用され得る、ジェスチャの文脈自由記述のための文法が示される。
【0122】
ジェスチャ文法は、EBNF表記法において示される。
【0123】
【化1】
本文脈自由ジェスチャ文法は、以下の意味を有する。
ジェスチャGは、ジェスチャ開始A後、ジェスチャセグメントSが続き、随意に、いくつかのさらなるジェスチャセグメントが続いてもよく、随意に、さらに、ジェスチャ終了Eが続くことから構成される。ジェスチャセグメントSは、一式のジェスチャセグメント{S1、S2、...、Sn}からのジェスチャセグメントから形成される。
【0124】
ジェスチャセグメントSIは、例えば、記号
【0125】
【化2】
等によって表される。
【0126】
したがって、連続ジェスチャは、常に、ジェスチャ終了を有する必要はないため、ジェスチャ終了は、随意である。
【0127】
ジェスチャ開始は、初期特徴AM後、随意に、演算子OP後、初期特徴AMが続くことによって形成される、1つまたはいくつかのシーケンスが続くことから構成される。
【0128】
本実施例における演算子は、「AND」または「OR」であり得る。
【0129】
ジェスチャの開始の一形態は、例えば、「Z<2cm AND Vx>4cm/s」となるであろう。本形態は、例えば、基準表面からの指先の距離が2cm未満である場合、かつ、基準表面に対する指先の速度が4cm/s超である場合、ジェスチャ開始が、移動経路内に存在することを規定する。
【0130】
ジェスチャ終了Eは、終了特徴EM後、随意に、演算子OP後、終了特徴EMが続くことによって形成される、1つまたはいくつかのシーケンスが続くことから構成される。
【0131】
離散と連続ジェスチャとの間の区別もまた、以下の文法の拡張によって、記述され得る。
【0132】
【化3】
さらに、本ジェスチャ文法は、各ジェスチャが、少なくとも1つのジェスチャセグメントから構成されることを含意する。
【0133】
本ジェスチャ文法によると、すべてのジェスチャは、それぞれの文脈から独立して、記述され得る。
【0134】
したがって、例えば、正方形を表すジェスチャは、例えば、以下のように、前述のジェスチャ文法を使用することによって、記述され得る。
【0135】
【化4】
本文法によって、また、空間コマンドジェスチャ、例えば、前述の開始ジェスチャが、記述され得る。
【0136】
本発明による方法において、本ジェスチャ文法に従って記述される、基準ジェスチャの使用は、ジェスチャ認識に対して、いくつかの効果を有する。
−基準ジェスチャは、本発明による方法が、ジェスチャ認識に対して使用される、文脈から独立して、記述され得る。
−基準ジェスチャのジェスチャセグメントのシーケンスはまた、データベース内に記憶されてもよく、それぞれの基準ジェスチャを保存する際、文法は、維持されるであろう。データベース内に記憶される基準ジェスチャは、全体的シーケンスの観点からと、個々のジェスチャセグメントの観点からの両方において、インデックスされ得、特に、図7aおよび7bに説明される方法に関して、対応する基準ジェスチャが、データベースへの索引順アクセスによって決定され得るので、ジェスチャ認識に対して、有意な速度効果を伴う。
−基準ジェスチャは、非常に空間節約的方法において記憶され得、これは、特に、小容量のみを処理する、内蔵システムにおいて、有利である。
【0137】
図7bは、移動経路からのジェスチャの抽出の際または抽出後、実施され得る、エラー補正方法の実施例を示す。エラー補正方法は、移動経路が、図7aに関して説明されたセグメント化方法に従って、一式の基準ジェスチャからのジェスチャのいずれのジェスチャセグメントにも割り当てることができない、セグメントを含む場合でも、ジェスチャを正確に認識することができるという利点を有する。
【0138】
本目的のために、図7aに説明されるように、移動経路は、ヒットボックスの支援によって、セグメントに分割される。各ヒットボックスは、対応するジェスチャセグメントが割り当てられる。
【0139】
しかしながら、数字「2」に対応すべき移動経路は、点P1とP2との間のくぼみを呈し、これは、移動経路内において、2つのヒットボックスHB4aおよびHB4bが、くぼみを記述するジェスチャセグメントに割り当てられることを伴うが、しかしながら、第4および第5のジェスチャセグメントとして、対応するジェスチャセグメントを備えている、基準ジェスチャは、存在しない。いずれの基準ジェスチャも割り当てられ得ず、このように認識されたジェスチャは、ここで、非認識ジェスチャとして、拒絶され得る。しかしながら、正しく認識されたジェスチャを得るために、そのような誤入力を補正することができることが望ましい。
【0140】
本発明の一実施形態では、エラー補正方法は、最初に、認識されたジェスチャセグメントのシーケンスと、基準ジェスチャのジェスチャセグメントとの間の類似性比較が、実行されるように、形成され得る。そうすることによって、認識されたジェスチャセグメントの最初の3つのジェスチャセグメントおよび最後の4つのジェスチャセグメントが、数字「2」によって記述される、基準ジェスチャの対応するジェスチャセグメントと等しいことが確立される。類似性比較が、1つのみの類似基準ジェスチャにつながる場合、ヒットボックスHB4aおよびHB4bに割り当てられたジェスチャセグメントは、ジェスチャセグメント(d)と置換され得る。次いで、置換は、正確に認識されたジェスチャにつながる。
【0141】
ジェスチャセグメントの置換の代替として、対応するジェスチャセグメントは、認識されたジェスチャから、完全に除去され得る。次いで、以下のステップでは、図5に関して既に説明されたように、点P1とP2との間において、補間方法が、実行され得る。次いで、そのような方法において生じる、点P1とP2との間の補間された移動経路は、再び、ヒットボックスの支援によって、セグメント化を受け得る。
【0142】
本エラー補正方法は、例えば、エラー補正後、依然として、さらに存在するエラーを補正するために、再帰的に使用され得る。
【0143】
本エラー補正方法では、最大再帰深度もまた、事前設定され得、それに到達すると、エラー補正は、中断される。エラー補正の中断後、依然として、ジェスチャを完全に認識することができない場合、ジェスチャは、拒絶されるか、またはユーザは、認識されたジェスチャに対する提案が提供され得る。代替として、エラー閾値もまた、提供されてもよく、その未達は、ジェスチャが、正確に認識されたとして、容認されることを伴う。エラー閾値は、例えば、基準ジェスチャを参照して、認識されたジェスチャセグメントの程度において、示され得る。例えば、基準ジェスチャのジェスチャセグメントの80%が、抽出されたジェスチャのジェスチャセグメントと一致する場合、認識されたジェスチャは、基準ジェスチャに対応すると想定され得る。
【0144】
図9aおよび図9bは、3次元ジェスチャ認識のための2つの実施例を示し、移動経路からのジェスチャの抽出の際、各々、1つの文脈情報が、考慮される。
【0145】
図9aは、入力表面Bを示し、その上には、確認ボタン(OKボタン)が、視覚化されている。電気近接場によって広がる、移動空間内には(図9aに図示せず)、確認ボタンに割り当てられる、検出空間20が、規定される。検出空間20内で生じる手Hの指先の移動は、確認ボタンに属する移動として解釈される。すなわち、検出空間20内側にある、移動経路の一部は、検出空間20に属する移動経路として解釈される。
【0146】
確認ボタンまたは検出空間20は、確認ボタンが、ボタンに接近し、その後、ボタンから離脱することによって、動作され得る、選択ボタンであるという情報を、文脈情報として、割り当てられる。本文脈情報に基づいて、ジェスチャ認識は、実質的に、Z方向に関してのみの移動経路の評価に限定することができる。次いで、本評価の結果から、確認ボタンが動作されているかどうかについて、結論付けられ得る。確認ボタンが、動作されている場合、確認を示す信号が、提供され得る。
【0147】
移動経路のXまたはY方向は、指先が、側方方向に、検出空間20から離れるかどうかを検証するためにのみ、評価される必要がある。指先が、非常に短時間の間のみ、側方方向に、検出空間20から離れ、その後、検出空間20に戻る場合、これは、検出空間20を偶発的に離れたと解釈され得る。移動経路が、検出空間20から離れる、または、再び、検出空間20に進入する場所間において、移動経路は、例えば、図5に関して示されたように、Z方向に関して補間され得る。指先が、かなり長時間の間、側方方向に、検出空間20を離れる場合、これはまた、ユーザによる、意図的ジェスチャの中断として解釈され得る。
【0148】
図9bは、X方向に、左または右にシフトされ得る、スライド制御を伴う、入力表面Bを示す。スライド制御は、検出空間20が割り当てられる。検出空間20またはスライド制御は、X方向にのみ移動され得る、スライド制御であることを示す、文脈情報が割り当てられる。本文脈情報に基づいて、ジェスチャ認識は、検出空間20内側の移動経路のX座標のみの評価に限定され得る。ここに示されるスライド制御では、連続的に、移動経路のX座標を評価することが有利である。このように、スライド制御の移動は、ユーザが、その移動に関して、直接フィードバックを得るように、指先の移動と同期され得る。
【0149】
また、ここでは、Y方向またはZ方向における、検出空間20からの指先の短期間の離脱は、検出空間20内への復帰が、所定の期間内に行われる限り、検出空間20からの望ましくない離脱として解釈され得る。指先が、本所定の期間内に、検出空間20に進入しない場合、検出空間20からの離脱は、入力の中断として、解釈され得る。次いで、スライド制御は、その元の位置に復帰し得る。スライド制御の代わりに、例えば、指先の円形移動によって移動され得る、回転ノブが、提供され得る。
【0150】
入力表面B上には、さらなる入力要素、例えば、選択フィールド(チェックボタン)または選択リスト(コンボボックス)が、示されてもよく、例えば、接近によって、オープンとなり、オープン状態では、対応する移動によって、ナビゲートすることができる。すべての入力要素は、入力表面B上において、個別に、または組み合わせて、表示され得る。各入力要素は、対応する検出空間20が割り当てられる。各入力要素または各検出空間20はまた、対応する移動経路が、どのように評価されるか、またはどのジェスチャが、それぞれの検出空間20内側において、許容可能であるかを示す、対応する文脈情報が割り当てられ得る。前述の入力要素に加え、入力表面Bには、また、図7に関して既に説明されたように、記号(例えば、文字または数字)を入力するための入力フィールドが、提供され得る。
【0151】
図10は、一例として、Z方向における指の移動が、評価されるべきジェスチャに関連しない時、移動空間および/または認識空間内側の移動あるいは移動経路が、どのように評価されるかを示す。その場合、したがって、最終的には、2次元ジェスチャとなり、移動経路の評価は、2次元評価に換算され得る。3次元移動経路の2次元移動経路への換算は、実質的に、X/Y平面上への移動経路の投影に対応する。次いで、換算された移動経路上において、例えば、図7に関して説明されたように、2次元ジェスチャ評価が、実行され得る。このように、例えば、また、3次元ジェスチャの場合または移動空間内側の3次元移動の場合、その場合、例えば、Z方向における移動は、評価に関連せず、3次元評価が、2次元評価に換算されてもよく、ジェスチャ認識に対して、少ない演算能力を必要とする。これは、特に、小演算能力のみ処理する、携帯端末の場合、重要であり得る。
【0152】
図11は、2つの異なる移動経路(2つの指のジェスチャ)から抽出される、ジェスチャの実施例を示す。移動空間内では、手H1の人指し指による第1の移動が実行される。第2の手H2の人指し指によって、第2の移動が、移動空間内で実行される。両方の移動から、各々、第1の移動経路BP1および別の移動経路BP2が、生成される。次いで、2つの移動経路のそれぞれから、複合ジェスチャの部分的ジェスチャとして解釈され得る、ジェスチャが、抽出される。部分的ジェスチャの抽出または部分的ジェスチャの認識において、Z座標が、考慮されない場合、両方の部分的ジェスチャはそれぞれ、図11に現れるように、円形のセグメントを表す。したがって、2つの部分的ジェスチャから生じるジェスチャ全体は、円形に対応する。2つの部分的ジェスチャが、複合ジェスチャの構成要素であるかどうかについて、これは、例えば、第2のジェスチャのジェスチャ終了からの第1のジェスチャのジェスチャ開始の距離に応じて、判断することができる。距離が、所定の閾値を下回る場合、部分的ジェスチャは、ジェスチャ全体を構成する。値が、閾値を下回らない場合、2つの部分的ジェスチャは、分離ジェスチャとして、解釈され得る。
【0153】
図12aから図12cは、いくつかの1本の指のジェスチャおよび2本の指のジェスチャを伴う、ジェスチャ一覧の選択を示す。本発明の実施形態では、図12bおよび12cに示される文字または数字は、移動方向に依存せず、認識され得る。例えば、文字「V」は、左上から右上、またはまた、右上から左上に入力され得る。
【0154】
図12dは、いくつかの手のジェスチャを伴う、ジェスチャ一覧の選択を示す。そのような手のジェスチャは、例えば、移動空間内における僅かな移動のみ、考慮される必要がある時、提供され得る。
【特許請求の範囲】
【請求項1】
3次元移動空間におけるジェスチャの非接触検出および認識の方法であって、
前記3次元移動空間(10)を規定する電気近接場において、前記3次元移動空間(10)における少なくとも1つの物体の移動によってもたらされる前記電気近接場の変形が検出され(200)、
少なくとも1つの移動経路が、前記検出された電気近接場の変形から生成され(300)、前記変形は、前記3次元移動空間(10)における少なくとも1つの物体の移動に対応し、
前記移動経路における前記移動経路の生成(300)中に、ジェスチャ開始が決定され、前記ジェスチャ開始を発端に、前記ジェスチャが、前記移動経路から抽出される、
方法。
【請求項2】
前記少なくとも1つの移動経路の生成(300)は、前記少なくとも1つの物体の少なくとも1つの物体特性を考慮し、前記少なくとも1つの物体特性は、前記電気近接場の変形から導出される、請求項1に記載の方法。
【請求項3】
前記少なくとも1つの物体特性の導出によって、アドバンス情報が考慮され、前記アドバンス情報は、前記移動経路の生成(300)のためのステップに提供される、請求項2に記載の方法。
【請求項4】
前記物体特性は、前記物体の形態、前記物体のサイズ、物体の数、基準表面に対する前記物体の配向、電気材料特性、およびそれらの組み合わせを含む群のうちの少なくとも1つを含む、請求項2または3に記載の方法。
【請求項5】
前記移動経路の生成において、少なくとも1つの所定の変形基準を満たす電気近接場の変形のみが考慮され、前記変形基準は、変形を生じさせる前記物体の前記基準表面に対する距離、絶対的および/または相対的電場変動、経時的電場変動の1次および/または2次偏差、およびそれらの組み合わせを含む群のうちの少なくとも1つを含む、請求項1から請求項4のいずれかに記載の方法。
【請求項6】
前記移動経路の各点は、いくつかの移動特性が割り当てられ、前記移動特性は、
−前記基準表面に対する前記物体の位置、
−前記3次元移動空間に対する前記物体の配向、
−前記物体の速度、
−前記物体の加速度、および
−それらの組み合わせ
の群のうちの少なくとも1つを含む、請求項1から請求項5のいずれかに記載の方法。
【請求項7】
前記移動経路からの少なくとも1つのジェスチャの抽出は、離散ジェスチャの抽出および連続ジェスチャの抽出を含む、請求項1から請求項6のいずれかに記載の方法。
【請求項8】
前記ジェスチャの抽出のためのステップは、文脈情報が割り当てられる、請求項1から請求項7のいずれかに記載の方法。
【請求項9】
前記文脈情報は、離散ジェスチャが抽出されるべきことを示す第1の文脈情報と、連続ジェスチャが抽出されるべきことを示す第2の文脈情報とを含む、請求項8に記載の方法。
【請求項10】
前記移動経路における前記移動経路の生成(300)中に、割り当てられた第1の文脈情報において、ジェスチャ終了が決定される、請求項9に記載の方法。
【請求項11】
前記ジェスチャ開始および/または前記ジェスチャ終了は、少なくとも1つの移動特性と少なくとも1つの閾値との比較によって決定され、前記閾値超過/未達は、前記ジェスチャ開始および/またはジェスチャ終了を示す、請求項6から10のいずれかに記載の方法。
【請求項12】
前記閾値超過/未達は、前記閾値が、所定の持続時間の間、超過/未達である場合、前記ジェスチャ開始および/またはジェスチャ終了を示す、請求項11に記載の方法。
【請求項13】
いくつかの移動特性の場合、それぞれの閾値が所定の順序で超過/未達である場合に、前記それぞれの閾値超過/未達は、前記ジェスチャ開始および/またはジェスチャ終了を示す、請求項11または12に記載の方法。
【請求項14】
前記文脈情報は、一式の基準ジェスチャを含む第3の文脈情報を含み、前記一式の基準ジェスチャは、どのジェスチャが検出され得るかを示し、前記基準ジェスチャは、好ましくは、ジェスチャ文法に従って記述されている、請求項8から13のいずれかに記載の方法。
【請求項15】
前記ジェスチャの抽出は、抽出されたジェスチャを認識するためのパターン認識を含む、請求項1から請求項14のいずれかに記載の方法。
【請求項16】
離散ジェスチャは、前記ジェスチャのジェスチャ終了が決定されるとすぐに、前記パターン認識に完全にフィードされる、請求項15に記載の方法。
【請求項17】
前記ジェスチャ開始の検出後、前記ジェスチャは、前記パターン認識に連続的にフィードされ、連続的にフィードされたジェスチャは、前記パターン認識によって、基準ジェスチャの部分的ジェスチャと連続的に比較され、前記基準ジェスチャから、前記連続的にフィードされたジェスチャに対応する基準ジェスチャを検出する、請求項15に記載の方法。
【請求項18】
前記パターン認識は、前記ジェスチャをジェスチャセグメントに分割し、前記ジェスチャセグメントを基準ジェスチャのジェスチャセグメントと比較する、請求項15から17のいずれかに記載の方法。
【請求項19】
前記少なくとも1つの移動経路の生成によって、補償プロセスが実行され、前記補償プロセスによって、前記3次元移動空間における前記物体の偶発的移動に対応するセグメントが、前記移動経路から排除される、請求項1から請求項18のいずれかに記載の方法。
【請求項20】
前記移動経路の生成は、互に区別可能な1本または数本の指を伴う手の前記3次元移動空間における移動において、前記区別可能な1本の指または数本の指の指先に対応する1つまたはいくつかの移動経路を生成するように適合されている、請求項1から請求項19のいずれかに記載の方法。
【請求項21】
複合ジェスチャが、いくつかの移動経路から抽出されたいくつかのジェスチャによって形成される、請求項1から請求項20のいずれかに記載の方法。
【請求項22】
請求項1から請求項21のいずれかに記載の方法において使用するためのジェスチャの記述のための文脈自由文法。
【請求項23】
3次元移動空間(10)におけるジェスチャの非接触検出および認識のためのシステムであって、
前記3次元移動空間(10)を規定する電気近接場を生成する手段と、
前記3次元移動空間(10)における少なくとも1つの物体の移動によって生じる前記電気近接場の変形を検出する手段と、
前記検出された電気近接場の変形から少なくとも1つの移動経路を生成する手段であって、前記変形は、前記少なくとも1つの物体の移動に対応する、手段と、
前記移動経路が生成されている間に、前記移動経路におけるジェスチャ開始を検出する手段と、
前記ジェスチャ開始を発端に、前記移動経路から前記ジェスチャを抽出する手段と
を備えている、システム。
【請求項24】
前記電気近接場を生成する手段は、交流電場が放出され得る少なくとも1つの送信電極と、少なくとも1つの信号発生器とを含み、前記信号発生器は、前記少なくとも1つの送信電極と連結され、前記少なくとも1つの送信電極を電気交流信号で充電する、請求項23に記載のシステム。
【請求項25】
前記変形を検出する手段は、前記電気近接場の少なくとも1つの受信電極と、前記少なくとも1つの受信電極に連結されている評価デバイスとを含み、前記評価デバイスは、前記受信電極に連結されている交流電場または前記受信電極において放出される交流電場の周波数、振幅および/または位相の変化を検出する、請求項23または24に記載のシステム。
【請求項26】
前記交流信号の周波数、振幅、および/または位相は、調節可能である、請求項24または25のいずれかに記載のシステム。
【請求項1】
3次元移動空間におけるジェスチャの非接触検出および認識の方法であって、
前記3次元移動空間(10)を規定する電気近接場において、前記3次元移動空間(10)における少なくとも1つの物体の移動によってもたらされる前記電気近接場の変形が検出され(200)、
少なくとも1つの移動経路が、前記検出された電気近接場の変形から生成され(300)、前記変形は、前記3次元移動空間(10)における少なくとも1つの物体の移動に対応し、
前記移動経路における前記移動経路の生成(300)中に、ジェスチャ開始が決定され、前記ジェスチャ開始を発端に、前記ジェスチャが、前記移動経路から抽出される、
方法。
【請求項2】
前記少なくとも1つの移動経路の生成(300)は、前記少なくとも1つの物体の少なくとも1つの物体特性を考慮し、前記少なくとも1つの物体特性は、前記電気近接場の変形から導出される、請求項1に記載の方法。
【請求項3】
前記少なくとも1つの物体特性の導出によって、アドバンス情報が考慮され、前記アドバンス情報は、前記移動経路の生成(300)のためのステップに提供される、請求項2に記載の方法。
【請求項4】
前記物体特性は、前記物体の形態、前記物体のサイズ、物体の数、基準表面に対する前記物体の配向、電気材料特性、およびそれらの組み合わせを含む群のうちの少なくとも1つを含む、請求項2または3に記載の方法。
【請求項5】
前記移動経路の生成において、少なくとも1つの所定の変形基準を満たす電気近接場の変形のみが考慮され、前記変形基準は、変形を生じさせる前記物体の前記基準表面に対する距離、絶対的および/または相対的電場変動、経時的電場変動の1次および/または2次偏差、およびそれらの組み合わせを含む群のうちの少なくとも1つを含む、請求項1から請求項4のいずれかに記載の方法。
【請求項6】
前記移動経路の各点は、いくつかの移動特性が割り当てられ、前記移動特性は、
−前記基準表面に対する前記物体の位置、
−前記3次元移動空間に対する前記物体の配向、
−前記物体の速度、
−前記物体の加速度、および
−それらの組み合わせ
の群のうちの少なくとも1つを含む、請求項1から請求項5のいずれかに記載の方法。
【請求項7】
前記移動経路からの少なくとも1つのジェスチャの抽出は、離散ジェスチャの抽出および連続ジェスチャの抽出を含む、請求項1から請求項6のいずれかに記載の方法。
【請求項8】
前記ジェスチャの抽出のためのステップは、文脈情報が割り当てられる、請求項1から請求項7のいずれかに記載の方法。
【請求項9】
前記文脈情報は、離散ジェスチャが抽出されるべきことを示す第1の文脈情報と、連続ジェスチャが抽出されるべきことを示す第2の文脈情報とを含む、請求項8に記載の方法。
【請求項10】
前記移動経路における前記移動経路の生成(300)中に、割り当てられた第1の文脈情報において、ジェスチャ終了が決定される、請求項9に記載の方法。
【請求項11】
前記ジェスチャ開始および/または前記ジェスチャ終了は、少なくとも1つの移動特性と少なくとも1つの閾値との比較によって決定され、前記閾値超過/未達は、前記ジェスチャ開始および/またはジェスチャ終了を示す、請求項6から10のいずれかに記載の方法。
【請求項12】
前記閾値超過/未達は、前記閾値が、所定の持続時間の間、超過/未達である場合、前記ジェスチャ開始および/またはジェスチャ終了を示す、請求項11に記載の方法。
【請求項13】
いくつかの移動特性の場合、それぞれの閾値が所定の順序で超過/未達である場合に、前記それぞれの閾値超過/未達は、前記ジェスチャ開始および/またはジェスチャ終了を示す、請求項11または12に記載の方法。
【請求項14】
前記文脈情報は、一式の基準ジェスチャを含む第3の文脈情報を含み、前記一式の基準ジェスチャは、どのジェスチャが検出され得るかを示し、前記基準ジェスチャは、好ましくは、ジェスチャ文法に従って記述されている、請求項8から13のいずれかに記載の方法。
【請求項15】
前記ジェスチャの抽出は、抽出されたジェスチャを認識するためのパターン認識を含む、請求項1から請求項14のいずれかに記載の方法。
【請求項16】
離散ジェスチャは、前記ジェスチャのジェスチャ終了が決定されるとすぐに、前記パターン認識に完全にフィードされる、請求項15に記載の方法。
【請求項17】
前記ジェスチャ開始の検出後、前記ジェスチャは、前記パターン認識に連続的にフィードされ、連続的にフィードされたジェスチャは、前記パターン認識によって、基準ジェスチャの部分的ジェスチャと連続的に比較され、前記基準ジェスチャから、前記連続的にフィードされたジェスチャに対応する基準ジェスチャを検出する、請求項15に記載の方法。
【請求項18】
前記パターン認識は、前記ジェスチャをジェスチャセグメントに分割し、前記ジェスチャセグメントを基準ジェスチャのジェスチャセグメントと比較する、請求項15から17のいずれかに記載の方法。
【請求項19】
前記少なくとも1つの移動経路の生成によって、補償プロセスが実行され、前記補償プロセスによって、前記3次元移動空間における前記物体の偶発的移動に対応するセグメントが、前記移動経路から排除される、請求項1から請求項18のいずれかに記載の方法。
【請求項20】
前記移動経路の生成は、互に区別可能な1本または数本の指を伴う手の前記3次元移動空間における移動において、前記区別可能な1本の指または数本の指の指先に対応する1つまたはいくつかの移動経路を生成するように適合されている、請求項1から請求項19のいずれかに記載の方法。
【請求項21】
複合ジェスチャが、いくつかの移動経路から抽出されたいくつかのジェスチャによって形成される、請求項1から請求項20のいずれかに記載の方法。
【請求項22】
請求項1から請求項21のいずれかに記載の方法において使用するためのジェスチャの記述のための文脈自由文法。
【請求項23】
3次元移動空間(10)におけるジェスチャの非接触検出および認識のためのシステムであって、
前記3次元移動空間(10)を規定する電気近接場を生成する手段と、
前記3次元移動空間(10)における少なくとも1つの物体の移動によって生じる前記電気近接場の変形を検出する手段と、
前記検出された電気近接場の変形から少なくとも1つの移動経路を生成する手段であって、前記変形は、前記少なくとも1つの物体の移動に対応する、手段と、
前記移動経路が生成されている間に、前記移動経路におけるジェスチャ開始を検出する手段と、
前記ジェスチャ開始を発端に、前記移動経路から前記ジェスチャを抽出する手段と
を備えている、システム。
【請求項24】
前記電気近接場を生成する手段は、交流電場が放出され得る少なくとも1つの送信電極と、少なくとも1つの信号発生器とを含み、前記信号発生器は、前記少なくとも1つの送信電極と連結され、前記少なくとも1つの送信電極を電気交流信号で充電する、請求項23に記載のシステム。
【請求項25】
前記変形を検出する手段は、前記電気近接場の少なくとも1つの受信電極と、前記少なくとも1つの受信電極に連結されている評価デバイスとを含み、前記評価デバイスは、前記受信電極に連結されている交流電場または前記受信電極において放出される交流電場の周波数、振幅および/または位相の変化を検出する、請求項23または24に記載のシステム。
【請求項26】
前記交流信号の周波数、振幅、および/または位相は、調節可能である、請求項24または25のいずれかに記載のシステム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7a】
【図7b】
【図8】
【図9a】
【図9b】
【図10】
【図11】
【図12a】
【図12b】
【図12c】
【図12d】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7a】
【図7b】
【図8】
【図9a】
【図9b】
【図10】
【図11】
【図12a】
【図12b】
【図12c】
【図12d】
【公表番号】特表2013−519933(P2013−519933A)
【公表日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願番号】特願2012−552387(P2012−552387)
【出願日】平成23年2月9日(2011.2.9)
【国際出願番号】PCT/EP2011/051914
【国際公開番号】WO2011/098496
【国際公開日】平成23年8月18日(2011.8.18)
【出願人】(511242328)アイデント・テクノロジー・アーゲー (6)
【Fターム(参考)】
【公表日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願日】平成23年2月9日(2011.2.9)
【国際出願番号】PCT/EP2011/051914
【国際公開番号】WO2011/098496
【国際公開日】平成23年8月18日(2011.8.18)
【出願人】(511242328)アイデント・テクノロジー・アーゲー (6)
【Fターム(参考)】
[ Back to top ]