複数のポインタの不明確さと遮蔽の解決
対話型入力システムにおいて少なくとも２つのポインタ間の不明確さを解決する方法は、対象領域の複数の画像を取得することと、画像データを処理して、対象領域内の少なくとも２つのポインタに対する複数の考えられるターゲットであって、真のターゲットと偽りのターゲットとを含む、複数の考えられるターゲットと、考えられる各ターゲットの現在のターゲット位置を求めることと、対象領域内の考えられる各ターゲットを追跡し、考えられる各ターゲットの予測ターゲット位置を計算することと、真の各ターゲットに少なくとも関連するポインタ経路を求めることと、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は入力システムに関し、特に、ポインタの不明確さ（ａｍｂｉｇｕｉｔｙ）と遮蔽（ｏｃｃｌｕｓｉｏｎ）を解決できる、小さい撮像装置ハードウェアを用いた対話型入力システムと、ポインタの不明確さおよび遮蔽を解決する方法に関する。
【背景技術】
【０００２】
アクティブポインタ（例えば、光、音、または他の信号を出すポインタ）、パッシブポインタ（例えば、指、円柱、または他の物体）、または、例えばマウス、トラックボールのような他の適切な入力装置を使用して、ユーザがデジタルインク、マウスイベント等のような入力をアプリケーションプログラムに挿入することを可能にする対話型入力システムがよく知られている。これらの対話型入力システムは、本願の譲受人である、カナダのアルベルタ州カルガリー（Ｃａｌｇａｒｙ、Ａｌｂｅｒｔａ、Ｃａｎａｄａ）のＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＵＬＣに譲渡され、内容が参照によりここに組み込まれる特許文献１から特許文献９に開示されている、アナログ抵抗技術またはマシンビジョン技術を用いてポインタ入力を登録するタッチパネルを有するタッチシステム、電磁気技術、容量性技術、音響技術、または他の技術を用いてポインタ入力を登録するタッチパネルを有するタッチシステム、タブレットパーソナルコンピュータ（ＰＣ）、ラップトップパーソナルコンピュータ、携帯情報端末（ＰＤＡ）、および他の類似の装置を含むが、これらに限定されるものではない。
【０００３】
Morrison 他の特許文献５は、マシンビジョンを用いて、ポインタのコンピュータ生成画像が表示されるタッチ面との相互作用を検出するタッチシステムを開示している。長方形のベゼル、すなわち枠がタッチ面を取り囲み、かつその４つの隅において複数のデジタルカメラを支持している。これらデジタルカメラは、タッチ面を取り囲み、かつ概ねタッチ面を越えて見通す重なった複数の視野を有している。これらデジタルカメラは、異なる地点からタッチ面を見通した複数の画像を取得し、画像データを生成する。デジタルカメラによって取得された画像データは、搭載されたデジタルシグナルプロセッサによって処理され、該取得された画像データにポインタが存在するかどうかを判定する。取得された画像データにポインタが存在すると判定された場合、デジタルシグナルプロセッサはマスターコントローラにポインタ特性データを送り、該マスターコントローラは、次にポインタ特性データを処理し、三角測量を用いてタッチ面に対する、（ｘ，ｙ）座標系でのポインタの位置を求める。ポインタ座標は次に１つまたは２つ以上のアプリケーションプログラムを実行するコンピュータに送られる。コンピュータは、ポインタ座標を用いて、タッチ面上に表示される、コンピュータで生成された画像を更新する。したがって、タッチ面上のポインタ接触は、書き込みまたは描画として記録することができ、またはコンピュータによって実行されるアプリケーションプログラムの実行を制御するのに使用することができる。
【０００４】
タッチ面が小さい環境では、複数のユーザが、通常、単一のポインタを使用して１人ずつタッチ面と相互に作用する。タッチ面が大きい環境では、ＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＵＬＣに譲渡され、内容が参照によりここに含まれる、Hill外の特許文献１０に記載されているように、複数のユーザが同時にタッチ面と相互に作用する。
【０００５】
上記説明から理解できるように、マシンビジョンタッチシステムでは、単一のポインタが複数の撮像装置の視野内にある場合、タッチ面に対する（ｘ，ｙ）座標系でのポインタの位置は、通常、三角測量を用いて容易に算出することができる。しかしながら、複数のポインタがポインタの不明確さと遮蔽の結果として複数の撮像装置の視野内にある場合、諸問題に直面する。不明確さは、撮像装置によって取得された画像内の複数のポインタを識別できない場合に発生する。このような場合、三角測量中、ポインタのいくつかの考えられる位置を算出することができるが、正確なポインタ位置を選択できる情報は存在しない。遮蔽は、撮像装置の視野内で１つのポインタが他のポインタを遮る場合に発生する。これらの例では、撮像装置によって取得された画像は１つのポインタのみを含んでいる。その結果、タッチ面に対する複数のポインタの正確な位置は、三角測量を用いて算出することができない。撮像装置の数を増やすことにより、ポインタの不明確さと遮蔽を解決することができるが、これは当然タッチシステムのコストおよび複雑性を増大させる結果となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許明細書第５，４４８，２６３号
【特許文献２】米国特許明細書第６，１４１，０００号
【特許文献３】米国特許明細書第６，３３７，６８１号
【特許文献４】米国特許明細書第６，７４７，６３６号
【特許文献５】米国特許明細書第６，８０３，９０６号
【特許文献６】米国特許明細書第７，２３２，９８６号
【特許文献７】米国特許明細書第７，２３６，１６２号
【特許文献８】米国特許明細書第７，２７４，３５６号
【特許文献９】米国特許出願公開第２００４／０，１７９，００１号
【特許文献１０】米国特許出願第１０／７５０，２１９号
【発明の開示】
【発明が解決しようとする課題】
【０００７】
したがって、本発明の目的は、新規な対話型入力システム、ポインタの不明確さと遮蔽の新規な解決方法を提供することである。
【課題を解決するための手段】
【０００８】
したがって、一態様では、対話型入力システムにおいて少なくとも２つのポインタ間の不明確さを解決する方法であって、対象領域の複数の画像を取得することと、画像データを処理して、対象領域内の少なくとも前記の少なくとも２つのポインタに対する複数の考えられるターゲットであって、真のターゲットと偽りのターゲットとを含む、考えられる各ターゲットと、考えられる各ターゲットの現在のターゲット位置を求めることと、前記対象領域内の考えられる各ターゲットを追跡し、考えられる各ターゲットの予測ターゲット位置を計算することと、真の各ターゲットに少なくとも関連するポインタ経路を求めること、を含む方法が提供される。
【０００９】
他の態様によれば、対話型入力システムにおいて、少なくとも１つのポインタが既に存在する対象領域に少なくとも１つのポインタが移動させられたときに該２つのポインタ間の不明確さを解決する方法であって、各ポインタに関連する真のターゲットと偽りのターゲットを求めることと、前記真のターゲットに関連する真の誤差関数を設定することと、前記偽りのターゲットに関連する偽りの誤差関数を、前記真の誤差関数とは異なる値に設定することと、各ポインタを、２つの関連する誤差関数に基づいて、追跡し決定すること、を含む方法が提供される。
【００１０】
他の態様によれば、対話型入力システムにおいて、少なくとも２つのポインタが対象領域に同時に移動させられたときに該少なくとも２つのポインタ間の不明確さを解決する方法であって、各ポインタ接触に関連する真のターゲットと偽りのターゲットを決定することと、各ターゲットに関連する複数の誤差関数を設定することと、各ポインタ接触を、複数の関連する誤差関数によって追跡し、決定すること、を含む。
【００１１】
したがって、一態様では、対象領域を囲む少なくとも部分的に重なり合う視野を持つ少なくとも２つの撮像装置と、少なくとも２つの撮像装置によって取得された画像データを処理して、前記対象領域内の少なくとも２つのポインタの位置を追跡し、該２つのポインタ間の不明確さを解決する処理機構と、を有する対話型入力システムが提供される。
【図面の簡単な説明】
【００１２】
【図１】図１は対話型入力システムの正面図である。
【図２】図２は図１の対話型入力システムの概略図である。
【図３】図３は図１および図２の対話型入力システムのタッチパネルの隅の拡大正面図である。
【図４Ａ】図４Ａは、タッチパネルに接触する２つのポインタを、２つの偽りポインタと一緒に示し、それによってポインタの不明確さを強調したタッチパネルの正面図である。
【図４Ｂ】図４Ｂは、図４Ａのタッチパネルを概ね見通す、本対話型入力システムのデジタルカメラによって取得された画像フレームを示す図である。
【図５】図５Ａは、タッチパネルに接触する２つのポインタを示し、それによってポインタの遮蔽を強調したタッチパネルの正面図である。
【図５Ｂ】図５Ｂは、図５Ａのタッチパネルを概ね見通す、本対話型入力システムのデジタルカメラによって取得された画像フレームを示す図である。
【図６】図６は、取得された画像フレームにおけるポインタの考えられる状態を示す図である。
【図７Ａ】図７Ａは複数のポインタの追跡中に行われるステップを示すフローチャート
【図７Ｂ】図７Ｂは複数のポインタの追跡中に行われるステップを示すフローチャートである。
【図８Ａ】図８Ａは複数のポインタの追跡中に行われるステップを示すフローチャートである。
【図８Ｂ】図８Ｂは複数のポインタの追跡中に行われるステップを示すフローチャートである。
【図９Ａ】図９Ａはタッチパネルのタッチ面にわたって動く複数のポインタの追跡を示す図である。
【図９Ｂ】図９Ｂはタッチパネルのタッチ面にわたって動く複数のポインタの追跡を示す図である。
【図９Ｃ】図９Ｃはタッチパネルのタッチ面にわたって動く複数のポインタの追跡を示す図である。
【図９Ｄ】図９Ｄはタッチパネルのタッチ面にわたって動く複数のポインタの追跡を示す図である。
【図９Ｅ】図９Ｅはタッチパネルのタッチ面にわたって動く複数のポインタの追跡を示す図である。
【図９Ｆ】図９Ｆはタッチパネルのタッチ面にわたって動く複数のポインタの追跡を示す図である。
【図９Ｇ】図９Ｇはタッチパネルのタッチ面にわたって動く複数のポインタの追跡を示す図である。
【図９Ｈ】図９Ｈはタッチパネルのタッチ面にわたって動く複数のポインタの追跡を示す図である。
【図９Ｉ】図９Ｉはタッチパネルのタッチ面にわたって動く複数のポインタの追跡を示す図である。
【発明を実施するための形態】
【００１３】
実施形態を、添付の図面を参照してより完全に説明する。
【００１４】
ここで、図１から図３を参照すると、対話型入力システムが示され、全体が参照番号５０によって示されている。対話型入力システム５０は、本出願の譲受人であるアルバータ州カルガリー（Ｃａｌｇａｒｙ，Ａｌｂｅｒｔａ）のＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＵＬＣに譲渡された、上記の特許文献５に開示された対話型入力システムに類似している。
【００１５】
図１から図３より理解できるように、対話型入力システム５０は、デジタルシグナルプロセッサ（ＤＳＰ）ベースのマスターコントローラ５４に接続されたタッチパネル５２を有する。マスターコントローラ５４はコンピュータ５６にも接続されている。コンピュータ５６は１つまたは２つ以上のアプリケーションプログラムを実行し、画像生成装置５８にコンピュータが生成した画像出力を出力する。画像生成装置５８は次に、タッチスクリーン５２のタッチ面６０に表示される、コンピュータが生成した画像を生成する。タッチパネル５２、マスターコントローラ５４、コンピュータ５６、および画像生成装置５８は、タッチ面６０上へのポインタ接触が、書き込みまたは描画として記録されること、またはコンピュータ５６によって実行されるアプリケーションプログラムの制御を実行するのに使用されることを可能にする。
【００１６】
タッチ面６０は、２００５年１２月６日に発行され、本出願の譲受人であるＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＵＬＣに譲渡され、その内容が参照によりここに組み込まれる、Ａｋｉｔｔ他へ付与された米国特許明細書第６，９７２，４０１号に開示されたベゼルまたは枠に類似した、ベゼル、すなわち枠６２によって縁取られている。図２と図３で最もよくわかる、処理機能が搭載された、ＤＳＰベースのデジタルカメラ７０が、タッチ面６０の上側の隅に隣接して配置され、ベゼル６２によって収容されている。この実施形態では、各デジタルカメラ７０は、タッチ面６０を概ね見通すイメージセンサーと、該イメージセンサーと通信する処理装置（図示せず）とを有する。各イメージセンサーの光軸は、タッチ面の反対側に位置する隅の方を概ね向き、この例では、タッチ面６０の対角線に沿っている。したがって、各イメージセンサーの光軸は、タッチ面６０の斜めに相対する隅を二等分している。
【００１７】
タッチシステム５０の動作中、各デジタルカメラ７０のイメージセンサーはタッチ面６０を見通し、画像フレームを取得する。各デジタルカメラ７０では、そのイメージセンサーによって取得された画像データは、デジタルカメラの処理装置によって処理され、１つまたは２つ以上のポインタが取得された各画像フレームに存在すると考えられるかどうかを判断する。１つまたは２つ以上のポインタが、取得された画像フレームに存在すると判断されると、取得された画像フレームの１つまたは２つ以上のポインタ位置を特定するポインタ特性データがその取得された画像フレームから導き出される。
【００１８】
各デジタルカメラ７０によって導き出されたポインタ特性データは次に、マスターコントローラ５４に送られ、該マスターコントローラは次に、タッチ面６０に対する（ｘ，ｙ）座標系での１つまたは２つ以上のポインタの位置を算出可能にするようにポインタ特性データを処理する。
【００１９】
ポインタの座標データは次に、コンピュータ５６に報告され、該コンピュータは、次に、ポインタ接触が書き込みイベントである場合、ポインタの座標データを書き込みまたは描画として記録し、または、ポインタ接触がマウスイベントである場合、ポインタの座標データを、コンピュータ５６によって実行されているアクティブなアプリケーションプログラムに挿入する。上述のように、コンピュータ５６はまた、タッチ面６０上に表示された画像がポインタ動作を反映するように、画像生成装置５８に送られる画像データを更新する。
【００２０】
単一のポインタが複数のデジタルカメラ７０によって取得された複数の画像フレームに存在すると、タッチ面６０に対する（ｘ，ｙ）座標系でのポインタの位置は、三角測量を用いて容易に算出することができる。複数のポインタが複数のデジタルカメラ７０によって取得された複数の画像フレームに存在すると、タッチ面６０に対する（ｘ，ｙ）座標系での複数のポインタの位置を算出することは、上記で説明したポインタの不明確さと遮蔽の問題の結果、さらに難しくなる。
【００２１】
図４Ａと図４Ｂ、図５Ａと図５Ｂは、２つのデジタルカメラ７０のみの使用の結果として対話型入力システム５０において生じるポインタの不明確さと遮蔽の問題を示している。特に、図４Ａはポインタの不明確さを示している。同図からわかるように、この例では、２つのポインタＰ１とＰ２が、異なる位置でタッチ面６０に接触し、かつ２つのデジタルカメラ７０の視野内にある。図４Ｂは、左上のデジタルカメラ７０によって取得された画像フレームＩＦ１と、右上のデジタルカメラ７０によって取得された画像フレームＩＦ２を示している。各画像フレームは、ポインタＰ１の画像ＩＰ１とポインタＰ２の画像ＩＰ２とを含んでいる。ポインタＰ１とＰ２が、該２つのポインタを区別するのを可能にする特徴的なマークを持っていない限り、各画像フレームＩＦ１とＩＦ２内のポインタの画像が混同されることがあり、破線ＰＰ１とＰＰ２で示される、間違った三角測量の結果（すなわち偽りのポインタ）を生じる可能性がある。
【００２２】
図５Ａと図５Ｂはポインタの遮蔽を示している。この例では、ポインタＰ１は、左上のデジタルカメラ７０の視野内にあるポインタＰ２を妨害する。その結果、左上のデジタルカメラ７０によって取得された画像フレームＩＦ１はポインタＰ１のみの画像ＩＰ１を含む。
【００２３】
２つのポインタＰ１とＰ２が両デジタルカメラ７０の視野内にある場合、該２つのポインタは、図６に示される、画像フレームにおける考えられる５つの状態の１つを取る。状態０と４では、画像フレーム内の２つのポインタの画像は離れており、はっきりと区別されるである。状態１と３では、画像フレーム内の２つのポインタの画像は結合されている。状態２では、１つのポインタのみの画像が遮蔽により画像フレームに現れている。ポインタの不明確さと遮蔽の問題に対処するために、対話型入力システム５０は、以下に説明するように、たとえ２つのデジタルカメラ７０のみが用いられたとしても複数のポインタの効果的な追跡を可能にする、ポインタの不明確さと遮蔽を解決する方法を用いる。
【００２４】
２つのデジタルカメラ７０の視野内にある複数のポインタを追跡するために、マスターコントローラ５４は、複数のモジュール（この場合４つのモジュール）、すなわちターゲット生成モジュール、ターゲット追跡モジュール、状態推定モジュール、およびブラインド追跡モジュールを含む、ポインタの不明確さと遮蔽を解決するルーチンを実行する。ターゲット生成モジュールは、ポインタが画像フレームに最初に現れたときに用いられる。ターゲット生成モジュールは、ポインタの真の位置を表す可能性のある、タッチ面６０上の位置であるターゲットを、デジタルカメラの画像フレーム内の情報に基づいて生成する。ターゲットは、実際のポインタ位置に対応する「真の」ターゲット、または実際のポインタ位置に対応しない「偽りの」ターゲットである。ターゲット生成モジュールの出力は、ターゲット追跡モジュールと状態推定モジュールに送られる。ターゲット追跡モジュールは、タッチ面６０の１つまたは２つ以上のポインタを追い、該１つまたは２つ以上のポインタが次の画像フレーム内のどこにあるかについての予測を行う、数学的モデルを用いる。状態推定モジュールは、ターゲット生成モジュールとターゲット追跡モジュールから出力を、デジタルカメラの画像フレームからポインタ特性情報を得て、ポインタ位置、および各画像フレーム上のポインタ位置に対応するデジタルカメラ状態を決定しようとする。状態推定モジュールは、本ポインタ位置推定が、現在利用可能なすべてのポインタデータに基づいた最良の可能性のある推定であることを確実なものとするために、誤りを検出し訂正する役割も担っている。１つのポインタが他のポインタによって長時間覆い隠されると、ブラインド追跡モジュールが起動される。
【００２５】
ポインタの不明確さと遮蔽を解決するルーチンの実行中、２つの処理の１つが、ポインタのシナリオに応じて行われる。特に、単一のポインタＰ１がタッチ面６０と接触させられ、第１のポインタＰ１がタッチ面６０に接触し続けている間に第２のポインタＰ２がその後タッチ面６０と接触させられると、第１の処理が行われる。２つのポインタＰ１とＰ２がタッチ面６０と概ね同時に接触させられたとき、第２の処理が行われる。
【００２６】
図７Ａ、図７Ｂ、図８Ａ、および図８Ｂは、２つのポインタシナリオにおいて第１および第２の処理中に行われるステップを示すフローチャートである。図７Ａと図７Ｂは、単一のポインタＰ１が最初にタッチ面６０と接触し、第１のポインタＰ１がタッチ面６０に接触し続けている間に第２のポインタＰ２がその後タッチ面６０と接触するシナリオを考えている。図８Ａと図８Ｂは、２つのポインタＰ１とＰ２がタッチ面６０に概ね同時に接触するシナリオを考えている。
【００２７】
第１のシナリオに関して、処理は、図７Ａにおいて第１のポインタＰ１がタッチ面６０と接触した時に開始される（ステップ１００）。タッチ面６０にはたった１つのポインタしか接触しておらず、かつ２つのカメラ画像フレームがあるので、タッチ面６０に対する（ｘ，ｙ）座標系でのポインタ位置を曖昧さなしに求めるために、三角測量をマスターコントローラ５４によって用いることができる（ステップ１０２）。タッチ面６０上のポインタＰ１の位置に対応するターゲットＴ１も、ターゲット生成モジュールを用いて「生成」される。ターゲットＴ１が「生成」された後、ターゲットＴ１の位置がターゲット追跡モジュールを用いて追跡される（ステップ１０４）。この実施形態におけるターゲット追跡モジュールは予測フィルタに基づいている。該予測フィルタは、単純な線形予測フィルタ、任意の形態のカルマンフィルタ（Ｋａｌｍａｎ ｆｉｌｔｅｒ）、または、他の形態の予測フィルタ、またはシステムエスティメータであってもよい。当業者には知られているカルマンフィルタは、追跡しているものの状態（位置、速度等）を監視するだけでなく、その基なるモデルがどれくらいうまく機能しているかを推定する特性を有している。ユーザが予測可能な物（例えば直線）をポインタで描くと、該モデルは、その一致が良好であり、小さな変動（雑音）によって引き起こされる誤差に耐える、と判断する。次に、ユーザがそれほど予測可能でないスタイルに切り替えると（例えば小さなテキスト）、カルマンフィルタは、急な変化により良好に応答するように、その応答を自動的に調整する。他のターゲットがないときにターゲットＴ１を追跡するために、予測フィルタを用いることは任意である、すなわち予測フィルタの結果は、複数のポインタがタッチ面６０と相互に作用する場合に有用である。
【００２８】
図７Ａに示されるように、第１のポインタＰ１がタッチ面６０に接触し続けている間に第２のポインタＰ２がタッチ面６０と接触すると（ステップ１０６）、追加のターゲットＴ２、Ｔ３、およびＴ４がターゲット生成モジュールを用いて「生成」される（ステップ１０８）。ターゲットＴ２は、当技術分野において知られている三角測量技術を用いて、およびポインタＰ２がタッチ面６０と接触したときにおけるターゲットＴ１の予測値を用いて計算された、ポインタＰ２の最初の位置に対応する。ターゲットＴ１の位置は、ポインタＰ２がタッチ面６０と接触する直前の時間まで、明確に決定することができるので、該ターゲットＴ１の予測位置は、再度三角測量を用いてターゲットＴ２の位置を決定することを可能にする。ターゲットＴ３とＴ４も、ポインタＰ２がタッチ面６０と接触したときに「生成」される。ターゲットＴ３とＴ４は、現在の画像フレームデータに基づいた実際のポインタ位置を表す可能性があるが、ターゲットＴ１の予測位置に基づいて最初は「偽りの」位置であると仮定される、代替のポインタ位置を表す偽りのターゲットである。ターゲットＴ１とＴ２に対する誤差関数が０に初期化され、ターゲットＴ３とＴ４に対する誤差関数が、ポインタＰ２がタッチ面６０と接触したとき、ゼロよりも大きい閾値に開始される。ターゲットＴ３とＴ４が、ポインタＰ２がタッチ面６０と接触する直前のターゲットＴ１の既知の位置から、偽りのターゲットであることを妥当な精度で決定できるので、誤差関数はターゲットＴ３とＴ４に対してより大きく設定される。誤差関数については次の段落においてさらに説明する。
【００２９】
図７Ｂに示すように、ポインタＰ２がタッチ面６０と接触した後、上で説明したような予測フィルタを用いたターゲットＴ２、Ｔ３、およびＴ４の追跡が始まり（ステップ１１０）、ターゲットＴ１の追跡はターゲット追跡モジュールを用いて続けられる。
【００３０】
図７Ｂに示すように、ポインタＰ２がタッチ面６０と接触し、すべてのターゲットに対する誤差関数が初期化された後、各ターゲットに対する誤差関数計算が始まる（ステップ１１２）。各デジタルカメラの画像フレームにおける各ターゲットの三角測量された位置と各ターゲットの幅を用いて、各デジタルカメラの画像フレームでの各ポインタの物理的寸法が計算される。あるいは、例えば、ポインタの形状、輝度レベル、色等のような、ポインタの他の特性を用いてもよい。各ターゲットに対する誤差関数は、各デジタルカメラの画像フレームについて計算された複数のターゲットの物理的寸法の差異である。誤差関数の値はある期間にわたって蓄積され（統合され）、誤差関数の値は、ターゲット生成モジュールのターゲット生成試験要素を用いて、各ターゲットに対して計算される。誤差関数は、２つのポインタが１つのカメラの視野内で１つになるときは常にゼロにリセットされる。誤差関数は、１つの誤差関数値を極めて大きく設定することによって、誤り訂正が決して発生しない状態に強制的にしてもよい。これは、基準カメラの変更（以下で説明する）が、次にポインタが一緒になるまでに、解を確定する中に起こる。
【００３１】
図７Ｂに示すように、次に、ターゲット追跡モジュールからの予測ターゲット位置、ターゲット追跡モジュールからの現在のターゲット位置、ターゲット生成モジュールからのすべてのターゲットに対する累積された誤差関数値を用いて、ポインタＰ１とＰ２の位置が求められ、それによって「真の」ターゲットを「偽り」ターゲットから区別する（ステップ１１４）。ポインタＰ１とＰ２の計算された現在の位置を用いて、各デジタルカメラ７０の状態が求められる。デジタルカメラの状態を用いて、ポインタＰ１とＰ２の現在の位置を計算する手助けをしてもよい。前述したように、図６はデジタルカメラの状態０から４を示している。カメラの状態０と４は起こることが多く（特に大きなタッチ面６０上で）、２つのポインタははっきりと分離されている。状態番号はどちらのポインタが先に来るかを識別する（不確定なし）。状態１と３においては、２つのポインタは１つの物体へと一緒になっているが、明瞭な１つのエッジを依然として各ポインタから見ることができる。たった１つのポインタがデジタルカメラ７０から報告される。この場合の状態番号は、どのエッジがどのポインタに属しているかを識別する（もつれなし）。状態２は、１つのポインタが他のポインタを完全に遮断した特別な場合である。理解できるように、状態が常時分かっていれば、両方のポインタは追跡することができる。例外は１つのポインタが他のポインタを遮断する状態２であるが、予測フィルタの結果を用いて遮断されたポインタの位置を予測することができる。状態推定モジュールは、「真の」ターゲットを「偽りの」ターゲットと区別し、デジタルカメラの状態を求める。
【００３２】
図７Ｂに示すように、ポインタＰ１とＰ２の過去の計算された位置は、「真の」ターゲットの累積された誤差関数の現在の値と過去の値とを比較することによってチェックされる。「真の」ターゲットの累積された誤差関数が「偽りの」ターゲットの累積された誤差関数をある閾値だけ超えると、真のターゲットのポインタ経路は、該経路がより小さい累積誤差関数を持つ「偽りの」ターゲットの経路に対応するように訂正され、各デジタルカメラ７０の状態は更新される（ステップ１１６）。
【００３３】
デジタルカメラの状態と予測フィルタの結果は、誤り訂正にも用いてもよい。例えば、状態０から状態１へ、次に状態２へ、次に状態３へ、そして状態４への移行は、状態０から状態４へ、次に状態２へ、そして状態３への移行よりも起こる可能性が高く、この可能性を誤り訂正に用いることができる。これは、誤差メトリックがすべての道理にかなった、経路の組み合わせに適用され、最小誤差を持つ、状態経路の組み合わせが最も可能性があるとして指定される、最大可能性問題である。最大可能性を直接、実行することは、ポインタが一緒にされたままである時間が長くなるにつれて、指数関数的に難しくなる。この問題を克服するために、周知のＶｉｔｅｒｂｉ最適化アルゴリズムを、ポインタがどれくらいの時間一緒にされたままであるかにかかわらず、５つの経路のみを追跡するために用いることができる。誤り訂正は、誤差関数がリセットされた時点に戻って発生する。
【００３４】
小さなポインタがより大きなポインタを横切る場合、１つのデジタルカメラの視野内の該小さなポインタは、いくつかの（恐らく多数の）画像フレームに対して失われてもよい。失われた画像フレームがごく少数の画像フレーム（例えば１から３）である場合、複数の予測ポインタ位置を欠損データに用いることができるので、これは問題とならない。複数のポインタが両方の視野内で一緒になった場合、該複数のポインタは、タッチ面６０上で互いに非常に近接しており（ほとんど接触している）、それらは単一のポインタとして取り扱われることを意味する。デジタルカメラの他の視野はなお有効なポインタデータを与え続け、予測される必要がない。
【００３５】
デジタルカメラ７０が長期間、状態２であるまれな場合では、ターゲット追跡モジュールは予測フィルタの結果に加えて補間を必要とすることがある。この例では、ブラインド追跡モジュールが呼び出される。１つのモードでは、遮断されたターゲットは、該ターゲットを他のデジタルカメラの視野内に見ることができる限り報告される。欠損データについては、既知のより大きなポインタの中央が用いられてもよい。この技術は、ジェスチャー制御に対して最もうまく作用する。例えば、ジェスチャーが入力され、両方のポインタが１つのデジタルカメラ７０の視線に沿って動いている場合、欠損データは重要ではない。必要な情報のすべては遮断されていないデジタルカメラの視野からもたらされる。他のモードでは、妨害されたターゲットに関する情報を報告することは、ポインタがより大きなポインタから分離して再び現れるまで、妨げられる。欠損データはその後スムーズに補間することができる。これは著しい待ち時間異常になることがあるが、この技術はインクシナリオに対してうまく働く。ポインタの現在の機能（インクをつけること、消去すること、または指し示すこと）は、誤り訂正または不確定性解消に用いてもよい。
【００３６】
図７Ｂに示すように、ターゲットを追跡し、誤差関数を計算し、「真の」ターゲット位置と「偽りの」ターゲット位置を計算し訂正する処理は、タッチ面６０に接触する複数のポインタがもはやなくなるまで続く（ステップ１１８）。単一のポインタがタッチ面６０に接触していると、三角測量は再開し、複数のターゲット追跡、誤差関数の計算、「真の」ターゲットの計算と訂正、およびデジタルカメラの状態の追跡は、もはや必要とされない。計算の数を減らすことによって、対話型入力システム５０は、単一のポインタの状態中応答がより良くなる。
【００３７】
図８Ａと図８Ｂは、２つのポインタＰ１とＰ２がタッチ面６０と概ね同時に接触する場合に行われる処理を示している。第１のポインタＰ１と第２のポインタＰ２がタッチ面６０に同時に接触すると（ステップ２００と２０２）、ターゲットＴ１、Ｔ２、Ｔ３、およびＴ４が、ターゲット生成モジュールを用いて「生成」される（ステップ２０４）。どのターゲットが「偽りの」ターゲットであるかを示すターゲットの以前の追跡データがないので、このシナリオでは、ターゲットＴ１、Ｔ２、Ｔ３、およびＴ４に対する誤差関数は、すべて０に初期化される。ターゲット生成に続き、上記で説明した予測フィルタを用いたターゲット追跡が、ターゲット追跡モジュールを用いて始まる（ステップ２０６）。
【００３８】
図８Ａに示すように、ターゲット追跡が始まった後、上記した誤差関数の計算がすべてのターゲットに対して始まる（ステップ２０８）。図８Ｂにおいて、予測フィルタからのポインタＰ１とＰ２の予測位置、ターゲットＴ１、Ｔ２、Ｔ３、およびＴ４の追跡結果、および、ターゲットＴ１、Ｔ２、Ｔ３、およびＴ４に対する累積された誤差関数値を用いて、ポインタＰ１とＰ２の現在の位置を計算する（例えば「真の」ターゲットを「偽りの」ターゲットと区別する）（ステップ２１０）。ポインタＰ１とＰ２の計算された現在の位置を用いて、各デジタルカメラ７０の現在の状態が求められる。ポインタ位置の計算とデジタルカメラの状態の推定が、状態推定モジュールを用いて行われる。
【００３９】
図８Ｂに示すように、ポインタＰ１とＰ２の過去の計算された位置は、計算されたポインタ位置に対応する「真の」ターゲットの誤差関数の現在の値および過去の値と比較される（ステップ２１２）。１つまたは２つ以上の「真の」ターゲットに対する累積された誤差関数が、１つまたは２つ以上の「偽りの」ターゲットに対する累積された誤差関数をある閾値だけ超えると、関連するポインタ経路が訂正され、各デジタルカメラ７０の現在の状態が更新される。上記したように、デジタルカメラの過去の状態も誤り訂正を行うために用いられてもよい。上記の処理は、２つのポインタが複数のデジタルカメラ７０の視野内にとどまっている間行われる（ステップ２１４）。
【００４０】
図９Ａから図９Ｉは、タッチ面６０上の複数のポインタの追跡の例を示している。図９Ａは、最初の接触後の、システムの６個のフレームの状態を示している。ポインタ１（Ｐ１）が、以前の５つのフレームについてタッチ面６０に既に接触しており、追跡されている。ポインタ２（Ｐ２）がたった今タッチ面６０に接触した。ポインタ接触の４つの考えられる解Ｔ１からＴ４が算出され、追跡が開始される。ポインタＰ１は既に追跡されているので、正しい解は明らかである。この例では、左のデジタルカメラが、それがより大きな角度広がりを有するので、どちらのポインタがどちらであるかの追跡を続ける基準カメラとして指定される。誤り訂正が発生すると、基準カメラの関連づけは変えられない。基準でないカメラからの関連づけは、解を訂正するために常に切り替えられる。これによって、ポインタの識別が切り替えられるのを防止される。
【００４１】
図９Ｂにおいて、２つのポインタは右のカメラの視野において一緒になり始めている。これが起こると、偽りのターゲットからの経路は真のターゲットからの経路と一緒になる。図９Ｃにおいて観測が分離した後、誤差関数がリセットされ、追跡は、どちらの観測がどちらのポインタに属するかを判断する。この場合、状態推定は失敗し、偽りのターゲットが真のポインタとして報告される。間違った経路が追跡されるので、誤差関数は間違いが行われていることを直ちに示す。図９Ｄにおいて、誤差関数は訂正が必要であることを判定している。基準でない右のカメラへの関連づけが切り替えられ、間違った経路が消去され（図９Ｄにおいて「＋」の印として示した）、正しい経路が描かれる。図９Ｅにおいて、２つのポインタは右の基準カメラの視野内で一緒になり始めている。この時点で、左のカメラは、信頼性がないので、もはや基準として用いることができず、基準は右のカメラに移される。ここで、右のカメラでの現在の解が、正しいポインタ関連づけであるとみなされ、誤り訂正が左のカメラで実行される。誤差関数は、誤り訂正が、ポインタが一緒になることが新たに基準でないカメラで起こった後まで行われない状態にリセットされる。これは決定を効果的に確定する。
【００４２】
図９において、２つのポインタは、左のカメラにおいて一緒になり、それから分離され、誤差関数は再度ゼロにリセットされる。この場合、状態推定は正しい関連づけを行っており、誤り訂正は不要である。図９Ｇにおいて、２つのポインタは左のカメラにおいて再度一緒になる。この場合、ポインタＰ２は、左のカメラの視野においてポインタＰ１により完全に覆い隠され、その位置は補間される必要がある。図９Ｈにおいて、ポインタＰ１がタッチ面から取り除かれる。図９Ｉにおいて、追跡はポインタＰ２についての単一ポインタモードで継続する。他の解は追跡されない。
【００４３】
上述したタッチシステム５０は、タッチ面６０の上側の隅に隣接して配置された１対のデジタルカメラ７０を有する。当業者は、特に、タッチ面がHillらに付与された上記の米国特許明細書第１０／７５０，２１９号に記述されているように、非常に大きい場合、他のカメラ７０をタッチ面６０の周辺に配置してもよい、ということを理解するであろう。当業者は、２つのポインタを持つシナリオについてここで説明した処理は、３つ以上のポインタを持つシナリオに拡張されてもよく、３つ以上のイメージセンサーの使用は、ポインタの不確定性解消のための追加のデータをもたらす、ということを理解するであろう。当業者は、上記で説明したポインタの不明確さと遮蔽を解決する技術をほぼどのようなマシンビジョンタッチシステムにおいても用いることができる、ということを理解するであろう。例えば、該ポインタの不明確さと遮蔽を解決する技術は、２００８年５月９日に出願され、ＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＵＬＣに譲渡され、その内容が参照によりここに組み込まれる、「Ｉｎｔｅｒａｃｔｉｖｅ Ｉｎｐｕｔ Ｓｙｓｔｅｍ ａｎｄ Ｂｅｚｅｌ Ｔｈｅｒｅｆｏｒ」という名称の、Ｊｅｒｅｍｙ Ｈａｎｓｅｎらの米国特許出願（出願番号は不明）に記述されているような、反射型、再帰反射型、吸収性、の少なくとも１つのベゼルを利用した対話型入力システムで用いてもよい。
【００４４】
当業者によって理解されるよう、ポインタは、指、パッシブまたはアクティブのスタイラスまたは他の物体、光または他の発光のスポット、または、カメラで見ることができる他の指示体であってもよい。本タッチシステムを、デジタルカメラを含むものとして説明したが、画像を生成することができる、例えばリニア光センサのような他の撮像装置を用いてもよい。
【００４５】
画像生成装置５８は、例えば、プラズマテレビ、液晶ディスプレイ（ＬＣＤ）装置、フラットパネルディスプレイ装置、陰極線管（ＣＲＴ）等のような表示ユニットであってもよい。この場合、ベゼル６２は表示ユニットと係合する。タッチ面６０は表示ユニットの表示面によって、または表示ユニットの表示面上に重なる、ベゼル６２で囲まれた窓ガラスによって構成されてもよい。あるいは、画像生成装置５８は、コンピュータによって生成された画像をタッチ面６０上に投影する、フロントまたはリアプロジェクション装置であってもよい。
【００４６】
実施形態を上記したが、当業者は、添付の特許請求の範囲によって定まる本発明の要旨および範囲から逸脱することなく、種々の変更および修正がなされてもよいことも理解するであろう。
【技術分野】
【０００１】
本発明は入力システムに関し、特に、ポインタの不明確さ（ａｍｂｉｇｕｉｔｙ）と遮蔽（ｏｃｃｌｕｓｉｏｎ）を解決できる、小さい撮像装置ハードウェアを用いた対話型入力システムと、ポインタの不明確さおよび遮蔽を解決する方法に関する。
【背景技術】
【０００２】
アクティブポインタ（例えば、光、音、または他の信号を出すポインタ）、パッシブポインタ（例えば、指、円柱、または他の物体）、または、例えばマウス、トラックボールのような他の適切な入力装置を使用して、ユーザがデジタルインク、マウスイベント等のような入力をアプリケーションプログラムに挿入することを可能にする対話型入力システムがよく知られている。これらの対話型入力システムは、本願の譲受人である、カナダのアルベルタ州カルガリー（Ｃａｌｇａｒｙ、Ａｌｂｅｒｔａ、Ｃａｎａｄａ）のＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＵＬＣに譲渡され、内容が参照によりここに組み込まれる特許文献１から特許文献９に開示されている、アナログ抵抗技術またはマシンビジョン技術を用いてポインタ入力を登録するタッチパネルを有するタッチシステム、電磁気技術、容量性技術、音響技術、または他の技術を用いてポインタ入力を登録するタッチパネルを有するタッチシステム、タブレットパーソナルコンピュータ（ＰＣ）、ラップトップパーソナルコンピュータ、携帯情報端末（ＰＤＡ）、および他の類似の装置を含むが、これらに限定されるものではない。
【０００３】
Morrison 他の特許文献５は、マシンビジョンを用いて、ポインタのコンピュータ生成画像が表示されるタッチ面との相互作用を検出するタッチシステムを開示している。長方形のベゼル、すなわち枠がタッチ面を取り囲み、かつその４つの隅において複数のデジタルカメラを支持している。これらデジタルカメラは、タッチ面を取り囲み、かつ概ねタッチ面を越えて見通す重なった複数の視野を有している。これらデジタルカメラは、異なる地点からタッチ面を見通した複数の画像を取得し、画像データを生成する。デジタルカメラによって取得された画像データは、搭載されたデジタルシグナルプロセッサによって処理され、該取得された画像データにポインタが存在するかどうかを判定する。取得された画像データにポインタが存在すると判定された場合、デジタルシグナルプロセッサはマスターコントローラにポインタ特性データを送り、該マスターコントローラは、次にポインタ特性データを処理し、三角測量を用いてタッチ面に対する、（ｘ，ｙ）座標系でのポインタの位置を求める。ポインタ座標は次に１つまたは２つ以上のアプリケーションプログラムを実行するコンピュータに送られる。コンピュータは、ポインタ座標を用いて、タッチ面上に表示される、コンピュータで生成された画像を更新する。したがって、タッチ面上のポインタ接触は、書き込みまたは描画として記録することができ、またはコンピュータによって実行されるアプリケーションプログラムの実行を制御するのに使用することができる。
【０００４】
タッチ面が小さい環境では、複数のユーザが、通常、単一のポインタを使用して１人ずつタッチ面と相互に作用する。タッチ面が大きい環境では、ＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＵＬＣに譲渡され、内容が参照によりここに含まれる、Hill外の特許文献１０に記載されているように、複数のユーザが同時にタッチ面と相互に作用する。
【０００５】
上記説明から理解できるように、マシンビジョンタッチシステムでは、単一のポインタが複数の撮像装置の視野内にある場合、タッチ面に対する（ｘ，ｙ）座標系でのポインタの位置は、通常、三角測量を用いて容易に算出することができる。しかしながら、複数のポインタがポインタの不明確さと遮蔽の結果として複数の撮像装置の視野内にある場合、諸問題に直面する。不明確さは、撮像装置によって取得された画像内の複数のポインタを識別できない場合に発生する。このような場合、三角測量中、ポインタのいくつかの考えられる位置を算出することができるが、正確なポインタ位置を選択できる情報は存在しない。遮蔽は、撮像装置の視野内で１つのポインタが他のポインタを遮る場合に発生する。これらの例では、撮像装置によって取得された画像は１つのポインタのみを含んでいる。その結果、タッチ面に対する複数のポインタの正確な位置は、三角測量を用いて算出することができない。撮像装置の数を増やすことにより、ポインタの不明確さと遮蔽を解決することができるが、これは当然タッチシステムのコストおよび複雑性を増大させる結果となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許明細書第５，４４８，２６３号
【特許文献２】米国特許明細書第６，１４１，０００号
【特許文献３】米国特許明細書第６，３３７，６８１号
【特許文献４】米国特許明細書第６，７４７，６３６号
【特許文献５】米国特許明細書第６，８０３，９０６号
【特許文献６】米国特許明細書第７，２３２，９８６号
【特許文献７】米国特許明細書第７，２３６，１６２号
【特許文献８】米国特許明細書第７，２７４，３５６号
【特許文献９】米国特許出願公開第２００４／０，１７９，００１号
【特許文献１０】米国特許出願第１０／７５０，２１９号
【発明の開示】
【発明が解決しようとする課題】
【０００７】
したがって、本発明の目的は、新規な対話型入力システム、ポインタの不明確さと遮蔽の新規な解決方法を提供することである。
【課題を解決するための手段】
【０００８】
したがって、一態様では、対話型入力システムにおいて少なくとも２つのポインタ間の不明確さを解決する方法であって、対象領域の複数の画像を取得することと、画像データを処理して、対象領域内の少なくとも前記の少なくとも２つのポインタに対する複数の考えられるターゲットであって、真のターゲットと偽りのターゲットとを含む、考えられる各ターゲットと、考えられる各ターゲットの現在のターゲット位置を求めることと、前記対象領域内の考えられる各ターゲットを追跡し、考えられる各ターゲットの予測ターゲット位置を計算することと、真の各ターゲットに少なくとも関連するポインタ経路を求めること、を含む方法が提供される。
【０００９】
他の態様によれば、対話型入力システムにおいて、少なくとも１つのポインタが既に存在する対象領域に少なくとも１つのポインタが移動させられたときに該２つのポインタ間の不明確さを解決する方法であって、各ポインタに関連する真のターゲットと偽りのターゲットを求めることと、前記真のターゲットに関連する真の誤差関数を設定することと、前記偽りのターゲットに関連する偽りの誤差関数を、前記真の誤差関数とは異なる値に設定することと、各ポインタを、２つの関連する誤差関数に基づいて、追跡し決定すること、を含む方法が提供される。
【００１０】
他の態様によれば、対話型入力システムにおいて、少なくとも２つのポインタが対象領域に同時に移動させられたときに該少なくとも２つのポインタ間の不明確さを解決する方法であって、各ポインタ接触に関連する真のターゲットと偽りのターゲットを決定することと、各ターゲットに関連する複数の誤差関数を設定することと、各ポインタ接触を、複数の関連する誤差関数によって追跡し、決定すること、を含む。
【００１１】
したがって、一態様では、対象領域を囲む少なくとも部分的に重なり合う視野を持つ少なくとも２つの撮像装置と、少なくとも２つの撮像装置によって取得された画像データを処理して、前記対象領域内の少なくとも２つのポインタの位置を追跡し、該２つのポインタ間の不明確さを解決する処理機構と、を有する対話型入力システムが提供される。
【図面の簡単な説明】
【００１２】
【図１】図１は対話型入力システムの正面図である。
【図２】図２は図１の対話型入力システムの概略図である。
【図３】図３は図１および図２の対話型入力システムのタッチパネルの隅の拡大正面図である。
【図４Ａ】図４Ａは、タッチパネルに接触する２つのポインタを、２つの偽りポインタと一緒に示し、それによってポインタの不明確さを強調したタッチパネルの正面図である。
【図４Ｂ】図４Ｂは、図４Ａのタッチパネルを概ね見通す、本対話型入力システムのデジタルカメラによって取得された画像フレームを示す図である。
【図５】図５Ａは、タッチパネルに接触する２つのポインタを示し、それによってポインタの遮蔽を強調したタッチパネルの正面図である。
【図５Ｂ】図５Ｂは、図５Ａのタッチパネルを概ね見通す、本対話型入力システムのデジタルカメラによって取得された画像フレームを示す図である。
【図６】図６は、取得された画像フレームにおけるポインタの考えられる状態を示す図である。
【図７Ａ】図７Ａは複数のポインタの追跡中に行われるステップを示すフローチャート
【図７Ｂ】図７Ｂは複数のポインタの追跡中に行われるステップを示すフローチャートである。
【図８Ａ】図８Ａは複数のポインタの追跡中に行われるステップを示すフローチャートである。
【図８Ｂ】図８Ｂは複数のポインタの追跡中に行われるステップを示すフローチャートである。
【図９Ａ】図９Ａはタッチパネルのタッチ面にわたって動く複数のポインタの追跡を示す図である。
【図９Ｂ】図９Ｂはタッチパネルのタッチ面にわたって動く複数のポインタの追跡を示す図である。
【図９Ｃ】図９Ｃはタッチパネルのタッチ面にわたって動く複数のポインタの追跡を示す図である。
【図９Ｄ】図９Ｄはタッチパネルのタッチ面にわたって動く複数のポインタの追跡を示す図である。
【図９Ｅ】図９Ｅはタッチパネルのタッチ面にわたって動く複数のポインタの追跡を示す図である。
【図９Ｆ】図９Ｆはタッチパネルのタッチ面にわたって動く複数のポインタの追跡を示す図である。
【図９Ｇ】図９Ｇはタッチパネルのタッチ面にわたって動く複数のポインタの追跡を示す図である。
【図９Ｈ】図９Ｈはタッチパネルのタッチ面にわたって動く複数のポインタの追跡を示す図である。
【図９Ｉ】図９Ｉはタッチパネルのタッチ面にわたって動く複数のポインタの追跡を示す図である。
【発明を実施するための形態】
【００１３】
実施形態を、添付の図面を参照してより完全に説明する。
【００１４】
ここで、図１から図３を参照すると、対話型入力システムが示され、全体が参照番号５０によって示されている。対話型入力システム５０は、本出願の譲受人であるアルバータ州カルガリー（Ｃａｌｇａｒｙ，Ａｌｂｅｒｔａ）のＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＵＬＣに譲渡された、上記の特許文献５に開示された対話型入力システムに類似している。
【００１５】
図１から図３より理解できるように、対話型入力システム５０は、デジタルシグナルプロセッサ（ＤＳＰ）ベースのマスターコントローラ５４に接続されたタッチパネル５２を有する。マスターコントローラ５４はコンピュータ５６にも接続されている。コンピュータ５６は１つまたは２つ以上のアプリケーションプログラムを実行し、画像生成装置５８にコンピュータが生成した画像出力を出力する。画像生成装置５８は次に、タッチスクリーン５２のタッチ面６０に表示される、コンピュータが生成した画像を生成する。タッチパネル５２、マスターコントローラ５４、コンピュータ５６、および画像生成装置５８は、タッチ面６０上へのポインタ接触が、書き込みまたは描画として記録されること、またはコンピュータ５６によって実行されるアプリケーションプログラムの制御を実行するのに使用されることを可能にする。
【００１６】
タッチ面６０は、２００５年１２月６日に発行され、本出願の譲受人であるＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＵＬＣに譲渡され、その内容が参照によりここに組み込まれる、Ａｋｉｔｔ他へ付与された米国特許明細書第６，９７２，４０１号に開示されたベゼルまたは枠に類似した、ベゼル、すなわち枠６２によって縁取られている。図２と図３で最もよくわかる、処理機能が搭載された、ＤＳＰベースのデジタルカメラ７０が、タッチ面６０の上側の隅に隣接して配置され、ベゼル６２によって収容されている。この実施形態では、各デジタルカメラ７０は、タッチ面６０を概ね見通すイメージセンサーと、該イメージセンサーと通信する処理装置（図示せず）とを有する。各イメージセンサーの光軸は、タッチ面の反対側に位置する隅の方を概ね向き、この例では、タッチ面６０の対角線に沿っている。したがって、各イメージセンサーの光軸は、タッチ面６０の斜めに相対する隅を二等分している。
【００１７】
タッチシステム５０の動作中、各デジタルカメラ７０のイメージセンサーはタッチ面６０を見通し、画像フレームを取得する。各デジタルカメラ７０では、そのイメージセンサーによって取得された画像データは、デジタルカメラの処理装置によって処理され、１つまたは２つ以上のポインタが取得された各画像フレームに存在すると考えられるかどうかを判断する。１つまたは２つ以上のポインタが、取得された画像フレームに存在すると判断されると、取得された画像フレームの１つまたは２つ以上のポインタ位置を特定するポインタ特性データがその取得された画像フレームから導き出される。
【００１８】
各デジタルカメラ７０によって導き出されたポインタ特性データは次に、マスターコントローラ５４に送られ、該マスターコントローラは次に、タッチ面６０に対する（ｘ，ｙ）座標系での１つまたは２つ以上のポインタの位置を算出可能にするようにポインタ特性データを処理する。
【００１９】
ポインタの座標データは次に、コンピュータ５６に報告され、該コンピュータは、次に、ポインタ接触が書き込みイベントである場合、ポインタの座標データを書き込みまたは描画として記録し、または、ポインタ接触がマウスイベントである場合、ポインタの座標データを、コンピュータ５６によって実行されているアクティブなアプリケーションプログラムに挿入する。上述のように、コンピュータ５６はまた、タッチ面６０上に表示された画像がポインタ動作を反映するように、画像生成装置５８に送られる画像データを更新する。
【００２０】
単一のポインタが複数のデジタルカメラ７０によって取得された複数の画像フレームに存在すると、タッチ面６０に対する（ｘ，ｙ）座標系でのポインタの位置は、三角測量を用いて容易に算出することができる。複数のポインタが複数のデジタルカメラ７０によって取得された複数の画像フレームに存在すると、タッチ面６０に対する（ｘ，ｙ）座標系での複数のポインタの位置を算出することは、上記で説明したポインタの不明確さと遮蔽の問題の結果、さらに難しくなる。
【００２１】
図４Ａと図４Ｂ、図５Ａと図５Ｂは、２つのデジタルカメラ７０のみの使用の結果として対話型入力システム５０において生じるポインタの不明確さと遮蔽の問題を示している。特に、図４Ａはポインタの不明確さを示している。同図からわかるように、この例では、２つのポインタＰ１とＰ２が、異なる位置でタッチ面６０に接触し、かつ２つのデジタルカメラ７０の視野内にある。図４Ｂは、左上のデジタルカメラ７０によって取得された画像フレームＩＦ１と、右上のデジタルカメラ７０によって取得された画像フレームＩＦ２を示している。各画像フレームは、ポインタＰ１の画像ＩＰ１とポインタＰ２の画像ＩＰ２とを含んでいる。ポインタＰ１とＰ２が、該２つのポインタを区別するのを可能にする特徴的なマークを持っていない限り、各画像フレームＩＦ１とＩＦ２内のポインタの画像が混同されることがあり、破線ＰＰ１とＰＰ２で示される、間違った三角測量の結果（すなわち偽りのポインタ）を生じる可能性がある。
【００２２】
図５Ａと図５Ｂはポインタの遮蔽を示している。この例では、ポインタＰ１は、左上のデジタルカメラ７０の視野内にあるポインタＰ２を妨害する。その結果、左上のデジタルカメラ７０によって取得された画像フレームＩＦ１はポインタＰ１のみの画像ＩＰ１を含む。
【００２３】
２つのポインタＰ１とＰ２が両デジタルカメラ７０の視野内にある場合、該２つのポインタは、図６に示される、画像フレームにおける考えられる５つの状態の１つを取る。状態０と４では、画像フレーム内の２つのポインタの画像は離れており、はっきりと区別されるである。状態１と３では、画像フレーム内の２つのポインタの画像は結合されている。状態２では、１つのポインタのみの画像が遮蔽により画像フレームに現れている。ポインタの不明確さと遮蔽の問題に対処するために、対話型入力システム５０は、以下に説明するように、たとえ２つのデジタルカメラ７０のみが用いられたとしても複数のポインタの効果的な追跡を可能にする、ポインタの不明確さと遮蔽を解決する方法を用いる。
【００２４】
２つのデジタルカメラ７０の視野内にある複数のポインタを追跡するために、マスターコントローラ５４は、複数のモジュール（この場合４つのモジュール）、すなわちターゲット生成モジュール、ターゲット追跡モジュール、状態推定モジュール、およびブラインド追跡モジュールを含む、ポインタの不明確さと遮蔽を解決するルーチンを実行する。ターゲット生成モジュールは、ポインタが画像フレームに最初に現れたときに用いられる。ターゲット生成モジュールは、ポインタの真の位置を表す可能性のある、タッチ面６０上の位置であるターゲットを、デジタルカメラの画像フレーム内の情報に基づいて生成する。ターゲットは、実際のポインタ位置に対応する「真の」ターゲット、または実際のポインタ位置に対応しない「偽りの」ターゲットである。ターゲット生成モジュールの出力は、ターゲット追跡モジュールと状態推定モジュールに送られる。ターゲット追跡モジュールは、タッチ面６０の１つまたは２つ以上のポインタを追い、該１つまたは２つ以上のポインタが次の画像フレーム内のどこにあるかについての予測を行う、数学的モデルを用いる。状態推定モジュールは、ターゲット生成モジュールとターゲット追跡モジュールから出力を、デジタルカメラの画像フレームからポインタ特性情報を得て、ポインタ位置、および各画像フレーム上のポインタ位置に対応するデジタルカメラ状態を決定しようとする。状態推定モジュールは、本ポインタ位置推定が、現在利用可能なすべてのポインタデータに基づいた最良の可能性のある推定であることを確実なものとするために、誤りを検出し訂正する役割も担っている。１つのポインタが他のポインタによって長時間覆い隠されると、ブラインド追跡モジュールが起動される。
【００２５】
ポインタの不明確さと遮蔽を解決するルーチンの実行中、２つの処理の１つが、ポインタのシナリオに応じて行われる。特に、単一のポインタＰ１がタッチ面６０と接触させられ、第１のポインタＰ１がタッチ面６０に接触し続けている間に第２のポインタＰ２がその後タッチ面６０と接触させられると、第１の処理が行われる。２つのポインタＰ１とＰ２がタッチ面６０と概ね同時に接触させられたとき、第２の処理が行われる。
【００２６】
図７Ａ、図７Ｂ、図８Ａ、および図８Ｂは、２つのポインタシナリオにおいて第１および第２の処理中に行われるステップを示すフローチャートである。図７Ａと図７Ｂは、単一のポインタＰ１が最初にタッチ面６０と接触し、第１のポインタＰ１がタッチ面６０に接触し続けている間に第２のポインタＰ２がその後タッチ面６０と接触するシナリオを考えている。図８Ａと図８Ｂは、２つのポインタＰ１とＰ２がタッチ面６０に概ね同時に接触するシナリオを考えている。
【００２７】
第１のシナリオに関して、処理は、図７Ａにおいて第１のポインタＰ１がタッチ面６０と接触した時に開始される（ステップ１００）。タッチ面６０にはたった１つのポインタしか接触しておらず、かつ２つのカメラ画像フレームがあるので、タッチ面６０に対する（ｘ，ｙ）座標系でのポインタ位置を曖昧さなしに求めるために、三角測量をマスターコントローラ５４によって用いることができる（ステップ１０２）。タッチ面６０上のポインタＰ１の位置に対応するターゲットＴ１も、ターゲット生成モジュールを用いて「生成」される。ターゲットＴ１が「生成」された後、ターゲットＴ１の位置がターゲット追跡モジュールを用いて追跡される（ステップ１０４）。この実施形態におけるターゲット追跡モジュールは予測フィルタに基づいている。該予測フィルタは、単純な線形予測フィルタ、任意の形態のカルマンフィルタ（Ｋａｌｍａｎ ｆｉｌｔｅｒ）、または、他の形態の予測フィルタ、またはシステムエスティメータであってもよい。当業者には知られているカルマンフィルタは、追跡しているものの状態（位置、速度等）を監視するだけでなく、その基なるモデルがどれくらいうまく機能しているかを推定する特性を有している。ユーザが予測可能な物（例えば直線）をポインタで描くと、該モデルは、その一致が良好であり、小さな変動（雑音）によって引き起こされる誤差に耐える、と判断する。次に、ユーザがそれほど予測可能でないスタイルに切り替えると（例えば小さなテキスト）、カルマンフィルタは、急な変化により良好に応答するように、その応答を自動的に調整する。他のターゲットがないときにターゲットＴ１を追跡するために、予測フィルタを用いることは任意である、すなわち予測フィルタの結果は、複数のポインタがタッチ面６０と相互に作用する場合に有用である。
【００２８】
図７Ａに示されるように、第１のポインタＰ１がタッチ面６０に接触し続けている間に第２のポインタＰ２がタッチ面６０と接触すると（ステップ１０６）、追加のターゲットＴ２、Ｔ３、およびＴ４がターゲット生成モジュールを用いて「生成」される（ステップ１０８）。ターゲットＴ２は、当技術分野において知られている三角測量技術を用いて、およびポインタＰ２がタッチ面６０と接触したときにおけるターゲットＴ１の予測値を用いて計算された、ポインタＰ２の最初の位置に対応する。ターゲットＴ１の位置は、ポインタＰ２がタッチ面６０と接触する直前の時間まで、明確に決定することができるので、該ターゲットＴ１の予測位置は、再度三角測量を用いてターゲットＴ２の位置を決定することを可能にする。ターゲットＴ３とＴ４も、ポインタＰ２がタッチ面６０と接触したときに「生成」される。ターゲットＴ３とＴ４は、現在の画像フレームデータに基づいた実際のポインタ位置を表す可能性があるが、ターゲットＴ１の予測位置に基づいて最初は「偽りの」位置であると仮定される、代替のポインタ位置を表す偽りのターゲットである。ターゲットＴ１とＴ２に対する誤差関数が０に初期化され、ターゲットＴ３とＴ４に対する誤差関数が、ポインタＰ２がタッチ面６０と接触したとき、ゼロよりも大きい閾値に開始される。ターゲットＴ３とＴ４が、ポインタＰ２がタッチ面６０と接触する直前のターゲットＴ１の既知の位置から、偽りのターゲットであることを妥当な精度で決定できるので、誤差関数はターゲットＴ３とＴ４に対してより大きく設定される。誤差関数については次の段落においてさらに説明する。
【００２９】
図７Ｂに示すように、ポインタＰ２がタッチ面６０と接触した後、上で説明したような予測フィルタを用いたターゲットＴ２、Ｔ３、およびＴ４の追跡が始まり（ステップ１１０）、ターゲットＴ１の追跡はターゲット追跡モジュールを用いて続けられる。
【００３０】
図７Ｂに示すように、ポインタＰ２がタッチ面６０と接触し、すべてのターゲットに対する誤差関数が初期化された後、各ターゲットに対する誤差関数計算が始まる（ステップ１１２）。各デジタルカメラの画像フレームにおける各ターゲットの三角測量された位置と各ターゲットの幅を用いて、各デジタルカメラの画像フレームでの各ポインタの物理的寸法が計算される。あるいは、例えば、ポインタの形状、輝度レベル、色等のような、ポインタの他の特性を用いてもよい。各ターゲットに対する誤差関数は、各デジタルカメラの画像フレームについて計算された複数のターゲットの物理的寸法の差異である。誤差関数の値はある期間にわたって蓄積され（統合され）、誤差関数の値は、ターゲット生成モジュールのターゲット生成試験要素を用いて、各ターゲットに対して計算される。誤差関数は、２つのポインタが１つのカメラの視野内で１つになるときは常にゼロにリセットされる。誤差関数は、１つの誤差関数値を極めて大きく設定することによって、誤り訂正が決して発生しない状態に強制的にしてもよい。これは、基準カメラの変更（以下で説明する）が、次にポインタが一緒になるまでに、解を確定する中に起こる。
【００３１】
図７Ｂに示すように、次に、ターゲット追跡モジュールからの予測ターゲット位置、ターゲット追跡モジュールからの現在のターゲット位置、ターゲット生成モジュールからのすべてのターゲットに対する累積された誤差関数値を用いて、ポインタＰ１とＰ２の位置が求められ、それによって「真の」ターゲットを「偽り」ターゲットから区別する（ステップ１１４）。ポインタＰ１とＰ２の計算された現在の位置を用いて、各デジタルカメラ７０の状態が求められる。デジタルカメラの状態を用いて、ポインタＰ１とＰ２の現在の位置を計算する手助けをしてもよい。前述したように、図６はデジタルカメラの状態０から４を示している。カメラの状態０と４は起こることが多く（特に大きなタッチ面６０上で）、２つのポインタははっきりと分離されている。状態番号はどちらのポインタが先に来るかを識別する（不確定なし）。状態１と３においては、２つのポインタは１つの物体へと一緒になっているが、明瞭な１つのエッジを依然として各ポインタから見ることができる。たった１つのポインタがデジタルカメラ７０から報告される。この場合の状態番号は、どのエッジがどのポインタに属しているかを識別する（もつれなし）。状態２は、１つのポインタが他のポインタを完全に遮断した特別な場合である。理解できるように、状態が常時分かっていれば、両方のポインタは追跡することができる。例外は１つのポインタが他のポインタを遮断する状態２であるが、予測フィルタの結果を用いて遮断されたポインタの位置を予測することができる。状態推定モジュールは、「真の」ターゲットを「偽りの」ターゲットと区別し、デジタルカメラの状態を求める。
【００３２】
図７Ｂに示すように、ポインタＰ１とＰ２の過去の計算された位置は、「真の」ターゲットの累積された誤差関数の現在の値と過去の値とを比較することによってチェックされる。「真の」ターゲットの累積された誤差関数が「偽りの」ターゲットの累積された誤差関数をある閾値だけ超えると、真のターゲットのポインタ経路は、該経路がより小さい累積誤差関数を持つ「偽りの」ターゲットの経路に対応するように訂正され、各デジタルカメラ７０の状態は更新される（ステップ１１６）。
【００３３】
デジタルカメラの状態と予測フィルタの結果は、誤り訂正にも用いてもよい。例えば、状態０から状態１へ、次に状態２へ、次に状態３へ、そして状態４への移行は、状態０から状態４へ、次に状態２へ、そして状態３への移行よりも起こる可能性が高く、この可能性を誤り訂正に用いることができる。これは、誤差メトリックがすべての道理にかなった、経路の組み合わせに適用され、最小誤差を持つ、状態経路の組み合わせが最も可能性があるとして指定される、最大可能性問題である。最大可能性を直接、実行することは、ポインタが一緒にされたままである時間が長くなるにつれて、指数関数的に難しくなる。この問題を克服するために、周知のＶｉｔｅｒｂｉ最適化アルゴリズムを、ポインタがどれくらいの時間一緒にされたままであるかにかかわらず、５つの経路のみを追跡するために用いることができる。誤り訂正は、誤差関数がリセットされた時点に戻って発生する。
【００３４】
小さなポインタがより大きなポインタを横切る場合、１つのデジタルカメラの視野内の該小さなポインタは、いくつかの（恐らく多数の）画像フレームに対して失われてもよい。失われた画像フレームがごく少数の画像フレーム（例えば１から３）である場合、複数の予測ポインタ位置を欠損データに用いることができるので、これは問題とならない。複数のポインタが両方の視野内で一緒になった場合、該複数のポインタは、タッチ面６０上で互いに非常に近接しており（ほとんど接触している）、それらは単一のポインタとして取り扱われることを意味する。デジタルカメラの他の視野はなお有効なポインタデータを与え続け、予測される必要がない。
【００３５】
デジタルカメラ７０が長期間、状態２であるまれな場合では、ターゲット追跡モジュールは予測フィルタの結果に加えて補間を必要とすることがある。この例では、ブラインド追跡モジュールが呼び出される。１つのモードでは、遮断されたターゲットは、該ターゲットを他のデジタルカメラの視野内に見ることができる限り報告される。欠損データについては、既知のより大きなポインタの中央が用いられてもよい。この技術は、ジェスチャー制御に対して最もうまく作用する。例えば、ジェスチャーが入力され、両方のポインタが１つのデジタルカメラ７０の視線に沿って動いている場合、欠損データは重要ではない。必要な情報のすべては遮断されていないデジタルカメラの視野からもたらされる。他のモードでは、妨害されたターゲットに関する情報を報告することは、ポインタがより大きなポインタから分離して再び現れるまで、妨げられる。欠損データはその後スムーズに補間することができる。これは著しい待ち時間異常になることがあるが、この技術はインクシナリオに対してうまく働く。ポインタの現在の機能（インクをつけること、消去すること、または指し示すこと）は、誤り訂正または不確定性解消に用いてもよい。
【００３６】
図７Ｂに示すように、ターゲットを追跡し、誤差関数を計算し、「真の」ターゲット位置と「偽りの」ターゲット位置を計算し訂正する処理は、タッチ面６０に接触する複数のポインタがもはやなくなるまで続く（ステップ１１８）。単一のポインタがタッチ面６０に接触していると、三角測量は再開し、複数のターゲット追跡、誤差関数の計算、「真の」ターゲットの計算と訂正、およびデジタルカメラの状態の追跡は、もはや必要とされない。計算の数を減らすことによって、対話型入力システム５０は、単一のポインタの状態中応答がより良くなる。
【００３７】
図８Ａと図８Ｂは、２つのポインタＰ１とＰ２がタッチ面６０と概ね同時に接触する場合に行われる処理を示している。第１のポインタＰ１と第２のポインタＰ２がタッチ面６０に同時に接触すると（ステップ２００と２０２）、ターゲットＴ１、Ｔ２、Ｔ３、およびＴ４が、ターゲット生成モジュールを用いて「生成」される（ステップ２０４）。どのターゲットが「偽りの」ターゲットであるかを示すターゲットの以前の追跡データがないので、このシナリオでは、ターゲットＴ１、Ｔ２、Ｔ３、およびＴ４に対する誤差関数は、すべて０に初期化される。ターゲット生成に続き、上記で説明した予測フィルタを用いたターゲット追跡が、ターゲット追跡モジュールを用いて始まる（ステップ２０６）。
【００３８】
図８Ａに示すように、ターゲット追跡が始まった後、上記した誤差関数の計算がすべてのターゲットに対して始まる（ステップ２０８）。図８Ｂにおいて、予測フィルタからのポインタＰ１とＰ２の予測位置、ターゲットＴ１、Ｔ２、Ｔ３、およびＴ４の追跡結果、および、ターゲットＴ１、Ｔ２、Ｔ３、およびＴ４に対する累積された誤差関数値を用いて、ポインタＰ１とＰ２の現在の位置を計算する（例えば「真の」ターゲットを「偽りの」ターゲットと区別する）（ステップ２１０）。ポインタＰ１とＰ２の計算された現在の位置を用いて、各デジタルカメラ７０の現在の状態が求められる。ポインタ位置の計算とデジタルカメラの状態の推定が、状態推定モジュールを用いて行われる。
【００３９】
図８Ｂに示すように、ポインタＰ１とＰ２の過去の計算された位置は、計算されたポインタ位置に対応する「真の」ターゲットの誤差関数の現在の値および過去の値と比較される（ステップ２１２）。１つまたは２つ以上の「真の」ターゲットに対する累積された誤差関数が、１つまたは２つ以上の「偽りの」ターゲットに対する累積された誤差関数をある閾値だけ超えると、関連するポインタ経路が訂正され、各デジタルカメラ７０の現在の状態が更新される。上記したように、デジタルカメラの過去の状態も誤り訂正を行うために用いられてもよい。上記の処理は、２つのポインタが複数のデジタルカメラ７０の視野内にとどまっている間行われる（ステップ２１４）。
【００４０】
図９Ａから図９Ｉは、タッチ面６０上の複数のポインタの追跡の例を示している。図９Ａは、最初の接触後の、システムの６個のフレームの状態を示している。ポインタ１（Ｐ１）が、以前の５つのフレームについてタッチ面６０に既に接触しており、追跡されている。ポインタ２（Ｐ２）がたった今タッチ面６０に接触した。ポインタ接触の４つの考えられる解Ｔ１からＴ４が算出され、追跡が開始される。ポインタＰ１は既に追跡されているので、正しい解は明らかである。この例では、左のデジタルカメラが、それがより大きな角度広がりを有するので、どちらのポインタがどちらであるかの追跡を続ける基準カメラとして指定される。誤り訂正が発生すると、基準カメラの関連づけは変えられない。基準でないカメラからの関連づけは、解を訂正するために常に切り替えられる。これによって、ポインタの識別が切り替えられるのを防止される。
【００４１】
図９Ｂにおいて、２つのポインタは右のカメラの視野において一緒になり始めている。これが起こると、偽りのターゲットからの経路は真のターゲットからの経路と一緒になる。図９Ｃにおいて観測が分離した後、誤差関数がリセットされ、追跡は、どちらの観測がどちらのポインタに属するかを判断する。この場合、状態推定は失敗し、偽りのターゲットが真のポインタとして報告される。間違った経路が追跡されるので、誤差関数は間違いが行われていることを直ちに示す。図９Ｄにおいて、誤差関数は訂正が必要であることを判定している。基準でない右のカメラへの関連づけが切り替えられ、間違った経路が消去され（図９Ｄにおいて「＋」の印として示した）、正しい経路が描かれる。図９Ｅにおいて、２つのポインタは右の基準カメラの視野内で一緒になり始めている。この時点で、左のカメラは、信頼性がないので、もはや基準として用いることができず、基準は右のカメラに移される。ここで、右のカメラでの現在の解が、正しいポインタ関連づけであるとみなされ、誤り訂正が左のカメラで実行される。誤差関数は、誤り訂正が、ポインタが一緒になることが新たに基準でないカメラで起こった後まで行われない状態にリセットされる。これは決定を効果的に確定する。
【００４２】
図９において、２つのポインタは、左のカメラにおいて一緒になり、それから分離され、誤差関数は再度ゼロにリセットされる。この場合、状態推定は正しい関連づけを行っており、誤り訂正は不要である。図９Ｇにおいて、２つのポインタは左のカメラにおいて再度一緒になる。この場合、ポインタＰ２は、左のカメラの視野においてポインタＰ１により完全に覆い隠され、その位置は補間される必要がある。図９Ｈにおいて、ポインタＰ１がタッチ面から取り除かれる。図９Ｉにおいて、追跡はポインタＰ２についての単一ポインタモードで継続する。他の解は追跡されない。
【００４３】
上述したタッチシステム５０は、タッチ面６０の上側の隅に隣接して配置された１対のデジタルカメラ７０を有する。当業者は、特に、タッチ面がHillらに付与された上記の米国特許明細書第１０／７５０，２１９号に記述されているように、非常に大きい場合、他のカメラ７０をタッチ面６０の周辺に配置してもよい、ということを理解するであろう。当業者は、２つのポインタを持つシナリオについてここで説明した処理は、３つ以上のポインタを持つシナリオに拡張されてもよく、３つ以上のイメージセンサーの使用は、ポインタの不確定性解消のための追加のデータをもたらす、ということを理解するであろう。当業者は、上記で説明したポインタの不明確さと遮蔽を解決する技術をほぼどのようなマシンビジョンタッチシステムにおいても用いることができる、ということを理解するであろう。例えば、該ポインタの不明確さと遮蔽を解決する技術は、２００８年５月９日に出願され、ＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＵＬＣに譲渡され、その内容が参照によりここに組み込まれる、「Ｉｎｔｅｒａｃｔｉｖｅ Ｉｎｐｕｔ Ｓｙｓｔｅｍ ａｎｄ Ｂｅｚｅｌ Ｔｈｅｒｅｆｏｒ」という名称の、Ｊｅｒｅｍｙ Ｈａｎｓｅｎらの米国特許出願（出願番号は不明）に記述されているような、反射型、再帰反射型、吸収性、の少なくとも１つのベゼルを利用した対話型入力システムで用いてもよい。
【００４４】
当業者によって理解されるよう、ポインタは、指、パッシブまたはアクティブのスタイラスまたは他の物体、光または他の発光のスポット、または、カメラで見ることができる他の指示体であってもよい。本タッチシステムを、デジタルカメラを含むものとして説明したが、画像を生成することができる、例えばリニア光センサのような他の撮像装置を用いてもよい。
【００４５】
画像生成装置５８は、例えば、プラズマテレビ、液晶ディスプレイ（ＬＣＤ）装置、フラットパネルディスプレイ装置、陰極線管（ＣＲＴ）等のような表示ユニットであってもよい。この場合、ベゼル６２は表示ユニットと係合する。タッチ面６０は表示ユニットの表示面によって、または表示ユニットの表示面上に重なる、ベゼル６２で囲まれた窓ガラスによって構成されてもよい。あるいは、画像生成装置５８は、コンピュータによって生成された画像をタッチ面６０上に投影する、フロントまたはリアプロジェクション装置であってもよい。
【００４６】
実施形態を上記したが、当業者は、添付の特許請求の範囲によって定まる本発明の要旨および範囲から逸脱することなく、種々の変更および修正がなされてもよいことも理解するであろう。
【特許請求の範囲】
【請求項１】
対話型入力システムにおいて、少なくとも２つのポインタ間の不明確さを解決する方法であって、
対象領域の複数の画像を取得することと、
画像データを処理して、前記対象領域内の前記の少なくとも２つのポインタに対する考えられる複数のターゲットであって、真のターゲットと偽りのターゲットとを含む考えられる複数のターゲットと、考えられる各ターゲットの現在のターゲット位置を求めることと、
前記対象領域内の考えられる各ターゲットを追跡し、考えられる各ターゲットの予測ターゲット位置を計算することと、
少なくとも真の各ターゲットに関連するポインタ経路を求めることと、
を有する方法。
【請求項２】
前記追跡を、予測フィルタを用いて行なう、請求項１に記載の方法。
【請求項３】
前記予測フィルタは、各ポインタ経路を求め訂正するのに使用される、請求項２に記載の方法。
【請求項４】
対話型入力システムにおいて、少なくとも１つのポインタが、少なくとも１つのポインタが既に存在する対象領域に移動させられたときに２つのポインタ間の不明確さを解決する方法であって、
各ポインタに関連する真のターゲットと、偽りのターゲットを求めることと、
前記の真のターゲットに関連する真の誤差関数を設定することと、
前記の偽りのターゲットに関連する偽りの誤差関数を、前記真の誤差関数とは異なる値に設定することと、
各ポインタを、その関連する誤差関数に基づいて追跡し、決定することと、
を有する方法。
【請求項５】
前記真の誤差関数を前記偽りの誤差関数と比較して各ターゲットのポインタ経路を求めることをさらに含む、請求項４に記載の方法。
【請求項６】
前記真の誤差関数が前記偽りの誤差関数を超えると、前記ポインタ経路を、前記偽りのターゲットに関連するポインタ経路に対応するように訂正する、請求項５に記載の方法。
【請求項７】
対話型入力システムにおいて、少なくとも２つのポインタが対象領域に同時に移動させられたときにポインタ間の不明確さを解決する方法であって、
各ポインタ接触に関連する真のターゲットと偽りのターゲットを求めることと、
各ターゲットに関連する複数の誤差関数を設定することと、
各ポインタ接触を、その関連する誤差関数によって、追跡し決定することと、
を含む方法。
【請求項８】
対象領域を囲む、少なくとも部分的に重なり合う視野を持つ少なくとも２つの撮像装置と、
前記の少なくとも２つの撮像装置によって取得された画像データを処理して、前記対象領域内の少なくとも２つのポインタの位置を追跡し、該２つのポインタ間の不明確さを解決する処理機構と、
を有する対話型入力システム。
【請求項９】
前記処理機構は、前記の少なくとも２つのポインタに対する複数のターゲットを求めるターゲット生成モジュールを含む、請求項８に記載の対話型入力システム。
【請求項１０】
前記処理機構は、前記対象領域内の前記複数のターゲットを追跡するターゲット追跡モジュールをさらに含む、請求項９に記載の対話型入力システム。
【請求項１１】
前記処理機構は、前記ターゲット生成モジュールと前記ターゲット追跡モジュールからの情報と、前記の少なくとも２つの撮像装置からの画像データに基づいて、前記の少なくとも２つのポインタの複数の位置を求める状態推定モジュールをさらに含む、請求項１０に記載の対話型入力システム。
【請求項１２】
前記処理機構は、前記の少なくとも２つのポインタの１つが長期間覆い隠されたとき、前記の少なくとも２つのポインタの覆い隠された１つの位置を求めるブラインド追跡モジュールをさらに含む、請求項１１に記載の対話型入力システム。
【請求項１】
対話型入力システムにおいて、少なくとも２つのポインタ間の不明確さを解決する方法であって、
対象領域の複数の画像を取得することと、
画像データを処理して、前記対象領域内の前記の少なくとも２つのポインタに対する考えられる複数のターゲットであって、真のターゲットと偽りのターゲットとを含む考えられる複数のターゲットと、考えられる各ターゲットの現在のターゲット位置を求めることと、
前記対象領域内の考えられる各ターゲットを追跡し、考えられる各ターゲットの予測ターゲット位置を計算することと、
少なくとも真の各ターゲットに関連するポインタ経路を求めることと、
を有する方法。
【請求項２】
前記追跡を、予測フィルタを用いて行なう、請求項１に記載の方法。
【請求項３】
前記予測フィルタは、各ポインタ経路を求め訂正するのに使用される、請求項２に記載の方法。
【請求項４】
対話型入力システムにおいて、少なくとも１つのポインタが、少なくとも１つのポインタが既に存在する対象領域に移動させられたときに２つのポインタ間の不明確さを解決する方法であって、
各ポインタに関連する真のターゲットと、偽りのターゲットを求めることと、
前記の真のターゲットに関連する真の誤差関数を設定することと、
前記の偽りのターゲットに関連する偽りの誤差関数を、前記真の誤差関数とは異なる値に設定することと、
各ポインタを、その関連する誤差関数に基づいて追跡し、決定することと、
を有する方法。
【請求項５】
前記真の誤差関数を前記偽りの誤差関数と比較して各ターゲットのポインタ経路を求めることをさらに含む、請求項４に記載の方法。
【請求項６】
前記真の誤差関数が前記偽りの誤差関数を超えると、前記ポインタ経路を、前記偽りのターゲットに関連するポインタ経路に対応するように訂正する、請求項５に記載の方法。
【請求項７】
対話型入力システムにおいて、少なくとも２つのポインタが対象領域に同時に移動させられたときにポインタ間の不明確さを解決する方法であって、
各ポインタ接触に関連する真のターゲットと偽りのターゲットを求めることと、
各ターゲットに関連する複数の誤差関数を設定することと、
各ポインタ接触を、その関連する誤差関数によって、追跡し決定することと、
を含む方法。
【請求項８】
対象領域を囲む、少なくとも部分的に重なり合う視野を持つ少なくとも２つの撮像装置と、
前記の少なくとも２つの撮像装置によって取得された画像データを処理して、前記対象領域内の少なくとも２つのポインタの位置を追跡し、該２つのポインタ間の不明確さを解決する処理機構と、
を有する対話型入力システム。
【請求項９】
前記処理機構は、前記の少なくとも２つのポインタに対する複数のターゲットを求めるターゲット生成モジュールを含む、請求項８に記載の対話型入力システム。
【請求項１０】
前記処理機構は、前記対象領域内の前記複数のターゲットを追跡するターゲット追跡モジュールをさらに含む、請求項９に記載の対話型入力システム。
【請求項１１】
前記処理機構は、前記ターゲット生成モジュールと前記ターゲット追跡モジュールからの情報と、前記の少なくとも２つの撮像装置からの画像データに基づいて、前記の少なくとも２つのポインタの複数の位置を求める状態推定モジュールをさらに含む、請求項１０に記載の対話型入力システム。
【請求項１２】
前記処理機構は、前記の少なくとも２つのポインタの１つが長期間覆い隠されたとき、前記の少なくとも２つのポインタの覆い隠された１つの位置を求めるブラインド追跡モジュールをさらに含む、請求項１１に記載の対話型入力システム。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７Ａ】
【図７Ｂ】
【図８Ａ】
【図８Ｂ】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図９Ｄ】
【図９Ｅ】
【図９Ｆ】
【図９Ｇ】
【図９Ｈ】
【図９Ｉ】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７Ａ】
【図７Ｂ】
【図８Ａ】
【図８Ｂ】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図９Ｄ】
【図９Ｅ】
【図９Ｆ】
【図９Ｇ】
【図９Ｈ】
【図９Ｉ】
【公表番号】特表２０１１−５２２３３２（Ｐ２０１１−５２２３３２Ａ）
【公表日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願番号】特願２０１１−５１１９４６（Ｐ２０１１−５１１９４６）
【出願日】平成２１年６月５日（２００９．６．５）
【国際出願番号】ＰＣＴ／ＣＡ２００９／０００７７３
【国際公開番号】ＷＯ２００９／１４６５４４
【国際公開日】平成２１年１２月１０日（２００９．１２．１０）
【出願人】（５９２２２１２６３）スマート テクノロジーズ ユーエルシー (15)
【氏名又は名称原語表記】ＳＭＡＲＴ ＴＥＣＨＮＯＬＯＧＩＥＳ ＵＬＣ
【Ｆターム（参考）】
【公表日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願日】平成２１年６月５日（２００９．６．５）
【国際出願番号】ＰＣＴ／ＣＡ２００９／０００７７３
【国際公開番号】ＷＯ２００９／１４６５４４
【国際公開日】平成２１年１２月１０日（２００９．１２．１０）
【出願人】（５９２２２１２６３）スマート テクノロジーズ ユーエルシー (15)
【氏名又は名称原語表記】ＳＭＡＲＴ ＴＥＣＨＮＯＬＯＧＩＥＳ ＵＬＣ
【Ｆターム（参考）】
[ Back to top ]