説明

漏れ全内部反射に基づいたタッチスクリーン

ディスプレイ上の接触を検出するシステムが提供される。該システムは、ディスプレイに関連付けられた平面媒体を有し、少なくとも1つのエッジファセットと対向面とを含んでいる。システムは、少なくとも1つのエッジファセッに動作可能に結合された1つまたは2つ以上の光源も含んでおり、該光源は、発信された光信号が少なくとも1つのエッジファセットと対向面との間で完全に内部的に反射されるように、光信号を平面媒体に発信する。光センシング装置がエッジファセットの少なくとも一部にほぼ向くように配置され、かつ対向面の第1の面と接触する少なくとも1つの物体を検出するように適合される。該光センシング装置は、第1の面と接触する物体に対応する位置で、該第1の面から放出された光信号の一部を検出するように機能する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般にディスプレイスクリーンに関し、特に、そのようなディスプレイスクリーン上の接触を検出するシステムおよび方法に関する。
【背景技術】
【0002】
タッチシステムは、当技術分野においてよく知られており、ポインタを用いて接触がなされる接触表面を持つタッチスクリーンを通常含んでいる。接触表面とのポインタ接触が検出され、該ポインタ接触がなされた接触表面の領域を示す対応する出力ポインタ位置データを生成するのに用いられる。基本的に、利用可能な2つの一般的な種類のタッチシステムがあり、それらは、おおまかに「アクティブな」タッチシステムおよび「パッシブな」タッチシステムとして分類することができる。
【0003】
アクティブなタッチシステムは、ある形態の内蔵電源、典型的にはバッテリーを通常必要とする特別のポインタで接触表面に接触することにより、ユーザーにポインタ位置データの生成を可能にしている。該特別のポインタは、接触表面を活性化する赤外光、可視光、超音波周波数、および電磁気的周波数等のような信号を発する。
【0004】
パッシブなタッチシステムは、パッシブなポインタで接触表面を接触することにより、ユーザーにポインタ位置データの生成を可能にし、接触表面を活性化するために特別なポインタの使用を必要としない。パッシブポインタは、指、円柱のある物質、または接触表面上のある所定の関心領域と接触するのに使用可能な他の適切な物体でありえる。特別なアクティブポインタがパッシブなタッチシステムには必要ではないので、ユーザーは、バッテリーの電源レベル、および/または、ポインタ破損、盗難、またはポインタ置き忘れを気にしなくてよい。タッチスクリーンまたは他の表示表面との1つまたは2つ以上の接触点の検出は、数多くの手法によって行うことができる。
【0005】
Van Deldenらへの米国特許出願第20060279558号は、タッチスクリーン301を持つ表示装置を開示している。該タッチスクリーンは、第1の光ガイド302と、第2の光ガイド307と、干渉を除去し、光ガイドと反射光との間にある媒体309とを有する。光源308が、第1の光ガイド302に光310を放出するように配置されており、光は、通常全内部反射によって第1の光ガイド内に閉じ込められる。第2の光ガイド307は、第1の光ガイド302の外側の面に配置されている。表示装置のユーザーがタッチスクリーン301との物理的接触を確立すると、光は第1の光ガイドから抽出され、光検出手段303へ導かれる。光検出手段303は、ユーザーとの対話処理が発生したタッチスクリーン301上の入力位置に、光検出イベントを関連付けるように配置されている。
【0006】
Saxenaらへの米国特許出願第20060114244号は、光を放射する発光素子と、湾曲した光ガイドと、光検出器とを含んだタッチ入力システムを開示している。湾曲した光ガイドは、発光素子によって放射された光を受け取り、光検出器が光を検出する表示スクリーンの面を横切った方向に進む光を導く。物体が光の伝播を遮断すると、該遮断は発光体の伝播光の反対に位置する活性化された光検出器によって検出される。これは、発光体10の1つから光検出器11に送られた光を遮断し、発光体12の1つから光検出器14に送られた光を遮断する物体17によって図示されている。
【0007】
McCrearyらへの米国特許出願第20050104860号は、複数の発光素子と、表示領域の周辺のまわりに配置された複数の受光素子とを含んだタッチフレームシステムを開示している。複数の発光素子と結合した受光素子の各々は、光線経路のゾーンを形成する。受信機の数および配置は、複数の部分的に重なり合うゾーン対を形成するのに十分である。これらのゾーン対は、いかなるタッチイベントも少なくとも2つのゾーン対内にあるように、表示領域に対して配置されている。プロセッサが、少なくとも1つの光線経路の遮断に対してゾーン対の各々を監視する。そのような遮断が発生するとすぐに、プロセッサは、第1のゾーン対からの少なくとも2つの交差する遮断された光線経路および第2のゾーン対からの交差する2つの遮断された光線経路の勾配および終点に基づいて、遮断に関連したタッチイベントの位置を計算する。
【0008】
Nakazawaらへの米国特許出願第20040032401号は、タッチパネルの基板および前面光の両方として働くガラスで作られた基板を開示している。該基板は、接触された位置を検出するために超音波を伝播する機能と、光源から放射された光を伝搬し反射型液晶ディスプレイへ該光を導く機能との両方を含んでいる。液晶ディスプレイ上の画像が外界光によって目に見えるようにされた場合、基板を通して透過された外界光は、液晶ディスプレイによって反射され、基板を通して透過され前面から放射されることになる。前面光機能が使用される場合、光源から基板に導入された光が、液晶ディスプレイによって反射され、基板を通して透過され前面から放出されることになる。
【0009】
Jacobsenらへ付与された米国特許第7,002,555号は、2つの透明板および透明カバー板と、透明支持板との間にあるエレクトロクロミックセルまたは液晶セルから成るタッチセンサを持つ表示装置を開示している。光がカバー板に入りカバー板を照明する放射線源が、透明カバー板の少なくとも1つの端面上に配置されている。少なくとも1つの光検出器が支持板に取り付けられている。
【0010】
Boydらへ付与された米国特許第6,738,051号は、反射ライトバルブと共に使用するフロントリットタッチパネルを開示しており、該パネルは、ガイドに光を供給する少なくとも1つの光入力面を持つ前面光ガイドと、表示面と、該表示面に対向する光出力面と、接触感知可能なトランスデューサの少なくとも1つの構成要素とを有している。該光出力面は、その上にほぼ平坦な光出射面を持つ光抽出層を含み、ガイドから光出射面を通して供給された光を抽出する埋め込み型の反射ファセットを含んでいる。該タッチパネルは、光源、反射ライトバルブ、およびコンパクトで効率的な照明タッチパネルディスプレイアセンブリを形成する適切な制御電子回路と共に使用することができる。
【0011】
Kasdayへ付与された米国特許番号第4,710,760号は、光反射端部を持つ光弾性スクリーンと、力がスクリーンに加えられた位置を好都合に決定する、スクリーンの4つの隅の2つに配置された特有の光発光/受光モジュールとを有する接触感知可能な装置を開示している。モジュールによって光弾性スクリーンに焦点が集まった、循環的におよび直線的に偏光された光は、スクリーンの端部から反射し、該光が円形の偏光子によって吸収されるモジュールに戻される。スクリーンが接触された点を通過する偏光は変化し、それによって、これらの光線または信号が各モジュールの吸収体を通して通過することを可能にする。次に、接触によってスクリーンに与えられた力の大きさおよび方向だけでなくその位置も、吸収体を通して通過する信号の変化から決定される。
【発明の概要】
【発明が解決しようとする課題】
【0012】
したがって、表示スクリーン上の接触を検出する新しいシステムおよび方法を提供することが、本発明の少なくとも1つの目的である。
【課題を解決するための手段】
【0013】
これらおよび他の目的は、ディスプレイ上の接触を検出するシステムが提供される1つまたは2つ以上の実施形態により達成することができる。接触を検出するシステムは、ディスプレイに関連付けられた平面媒体を有しており、少なくとも1つのエッジファセットと対向面とを含んでいる。該システムは、エッジファセットに動作可能に結合された1つまたは2つ以上の光源を含んでおり、該光源は、発信された光信号が少なくとも1つのエッジファセットと対向面との間で完全に内部的に反射されるように、光信号を平面媒体に発信する。本システムによれば、光センシング装置が、エッジファセットの少なくとも一部にほぼ向くように配置され、かつ対向面の第1の面と接触する少なくとも1つの物体を検出するように適合される。該光センシング装置は、第1の面と接触する物体に対応する位置で、該第1の面から放出された光信号の一部を検出するように機能する。
【0014】
他の実施形態によれば、ディスプレイ上の接触を検出するシステムが提供され、該システムは、ディスプレイに関連付けられた平面媒体を有し、少なくとも1つのエッジファセットと対向面とを含んでいる。該システムは、エッジファセットに動作可能に結合された1つまたは2つ以上の光源を含んでおり、該光源は、発信された光信号が少なくとも1つのエッジファセットと対向面との間で完全に内部的に反射されるように、光信号を平面媒体に発信する。さらに、本システムによれば、少なくとも2つのカメラ装置が提供され、該カメラ装置は、エッジファセットの少なくとも一部にほぼ向くように配置され、かつ対向面の第1の面と接触する少なくとも1つの物体を検出するように適合される。カメラ装置は、第1の面と接触する物体に対応する位置で、該第1の面から放出された光信号の一部の画像を取得するように機能する。
【0015】
さらに他の実施形態によれば、ディスプレイへの接触を検出する方法が提供される。該ディスプレイへの接触を検出する方法は、ディスプレイに関連付けられた平面媒体に光信号を発信することを含み、該発信された光信号は、平面媒体内で完全に内部的に反射される。光センシング装置は、平面媒体に関連した側面の位置にほぼ向くように配置され、第1の面上の表面位置が、少なくとも1つの物体を使用して接触される。該光センシング装置を使用して、表面位置から放出された光信号の一部が、該表面位置と接触する物体に基づいて検出される。
【0016】
さらに、実施形態によれば、ディスプレイへの接触を検出する方法が提供され、該方法は、ディスプレイに関連付けられた平面媒体に光信号を発信することを含み、該発信された光信号は、平面媒体内で完全に内部的に反射される。該方法は、平面媒体に関連した第1の側面位置にほぼ向くように第1のカメラ装置を配置することも含み、該第1のカメラ装置は、平面媒体の第1の面から画像を受け取る。第2のカメラ装置は、平面媒体に関連した第2の側面位置にほぼ向くように配置され、該第2のカメラ装置は、平面媒体の第1の面から画像を受け取る。第1の面上の表面位置が、少なくとも1つの物体を使用して接触され、表面位置と接触する物体に基づいて該表面位置から放出された光信号の一部の画像が、第1および第2カメラを使用して取得される。
【0017】
さらに他の実施形態では、パッシブなタッチシステムが、対向面内で完全に内部的に反射される光信号を受け取るように適合された対向面を持つタッチスクリーンを有する。物体が対向面に関連した表面位置と接触するとすぐに、光信号の一部が表面位置から放出される。少なくとも2つのカメラが接触表面に関連付けられ、かつ該接触表面に対してほぼ側面位置に配置されている。表面位置から放出された光信号の一部の画像が、該表面位置で2つのカメラによって取得され、表面位置と接触する物体に関連した座標位置を決定する。
【図面の簡単な説明】
【0018】
【図1A】一実施形態によるディスプレイ上の接触を検出するシステムである。
【図1B】図1Aの実施形態に関連した、平面形状媒体の表面に対する光センシング装置の位置を示す断面図である。
【図2A】図1Aの実施形態による、平面形状媒体への接触を検出する概念を示している。
【図2B】図1Aの実施形態による、平面形状媒体への接触を検出する概念を示している。
【図2C】図1Aの実施形態による、平面形状媒体への接触を検出する概念を示している。
【図3A】ディスプレイを構成する平面形状媒体上の接触検出の写真的例証である。
【図3B】ディスプレイを構成する平面形状媒体上の接触検出の写真的例証である。
【図4】説明したシステムに関連した平面形状媒体の代替の実施形態を示している。
【図5A】説明したシステムに関連した平面形状媒体の他の代替の実施形態を示している。
【図5B】説明したシステムに関連した平面形状媒体の他の代替の実施形態を示している。
【図5C】説明したシステムに関連した平面形状媒体の他の代替の実施形態を示している。
【図6】図1Aのシステムを組み込むように適合された、カメラに基づいたタッチシステムの概略図である。
【図7】図6のタッチシステムのタッチスクリーン形成部分の正面図である。
【図8】図6のタッチシステムのカメラシステム形成部分の概略図である。
【図9】図6のタッチシステムの主制御装置形成部分の概略図である。
【図10】図1Aの実施形態の動作を示すフローチャートである。
【発明を実施するための形態】
【0019】
以下の説明では、メディアプレゼンテーションシステムで使用されるタッチスクリーンのような表示スクリーン上の、例えばユーザーの指、円柱状の携帯型物体、または他の可能な手段からの接触を検出するシステムおよび方法の実施形態が提供される。
【0020】
ここで図1Aを参照して、ディスプレイ上の接触を検出するシステム100が、平面形状媒体102と、光源118と、カメラ装置130および132のような少なくとも1つの光センシング装置とを含んでいる。
【0021】
平面形状媒体102は、表示スクリーン(図示せず)の形状に一致するように、または代替として表示スクリーンの外面の一体型部分を形成するように適合されていてもよい。いずれの態様においても、平面形状媒体102は、ユーザーからの接触を直接的に(例えば指を介して)または間接的に(例えばペン形状の物体または他の物体を介して)受け取るように活用される。平面形状媒体102は、上面104および底面106のような対向面を含んでいる。平面形状媒体102は、対向するエッジファセット108と109、および対向するエッジファセット110と112のような周辺のエッジファセットも含んでいる。対向するエッジファセット108と109、およびエッジファセット112の外面は、銅または銀のテープのような光学的反射材でカバーされている。あるいは、反射材は、既知の蒸着、粘着またはボンディング技術を用いて、側面の対向するファセット108、109、および端部ファセット112の外面上に直接置かれてもよい。図示のように、エッジファセット108は反射面116を含み、エッジファセット109は反射面114を含み、エッジファセット112は反射面118を含んでいる。
【0022】
エッジファセット110は光源118からの光信号を受け取るように適合され、該光源118は、表面に取り付け可能な光デバイス(例えば表面発光型発光ダイオード)を用いて直接、または、中間の光学機構(例えば光ファイバ、レンズ組立体、光フィルタ、光ディフューザー等)を介してのいずれかで、エッジファセット110に結合されてもよい。平面形状媒体102は、火造りエッジを持つアクリル材のような、光学的導波特性を示すことができる材料から構築される。ガラスのような他の材料も平面形状媒体102を形成するのに用いることができる。光源118はエッジファセット110に結合されるが、他の光源(図示せず)も、1つまたは2つ以上の他のファセットを介して平面形状媒体102に光信号を送るように適合されてもよい。例えば、追加の光源(図示せず)がファセット108、109、および/または112に結合されてもよい。他の光源(図示せず)の追加は、反射面114、116、および118によって示される反射要件を低減する。例えば、光源が各々のファセット108、109、110、および112に結合された場合には、もはやファセット上の反射面の組み込みは必要ではなくなり、任意になるであろう。他の例によれば、光源は各々ファセット110および108に結合されてもよい。そのような実施形態では、エッジファセット112および109は、ファセット110および108に結合された光源から送られたいかなる光信号も反射する反射面をそれぞれ含んでいてもよい。
【0023】
光源118は、LEDデバイス120aおよびLEDデバイス120bのような、1つまたは2つ以上の空間的に分布した発光ダイオードを含んでいてもよい。発光ダイオード120a〜120bは、0〜90度の範囲の半視角を含んでいてもよい。利用されるLEDデバイスの数は、平面形状媒体102に発信された入射光信号の空間的分布に対する必要な光パワーに基づいていてもよい。これらの要因は、次に平面形状媒体102の幾何学的寸法と、平面形状媒体102を形成する物質の減衰特性とに左右される。例えば、ガラスは、プラスチックに対して発信された光信号について、より少ない減衰量を示す。1つまたは2つ以上のレーザ装置のような他の光源(例えば、FPレーザーダイオード、DFBレーザーダイオード、VCSELデバイス等)も、光信号を平面形状媒体102に発信するのに用いることができる。
【0024】
光源118によって与えられる光出力信号は、紫外線だけでなく赤外線、可視光のような広範囲の波長を含んでいてもよい。例えば、ある可視波長の使用は、表示スクリーンとして組み込まれた平面形状媒体に対して種々の視覚的効果を生み出すことができる。例えば1つのシナリオでは、複数のプレゼンテーションスクリーンを会議中に設けてもよい。次に、異なるプレゼンテーションスクリーンは、異なる波長光源(例えば、赤色LED、青色LED等)を使用して異なる可視光信号を各表示スクリーンに送る(すなわち平面媒体を介して)ことにより、カラー符号化されてもよい。例えば、他のシナリオでは、視覚的効果は望まれていないかもしれない。したがって、赤外線領域で動作する光源が、平面形状媒体102への信号発信に用いられる。
【0025】
一態様によれば、カメラ装置130および132のような光センシング装置は、あらゆる画素の集合とは対照的に、利用可能な画素の部分集合の処理を可能にするCMOSに基づいたカメラセンサを含んでいてもよい。これは、フレームレート(fps)能力を向上させながら処理費用を低減する。カメラ装置130、132の各々は、エッジファセットの1つにほぼ向くように配置され、かつ平面形状媒体102の上面上の位置126に接触する物体124(例えば、ユーザーの指)の画像を取得するように適合される。例えば、カメラ132は、エッジファセット109に完全にまたは部分的に向くように配置されるが、上面104からの画像を取得することができる。同様に、カメラ130は、対向するエッジファセット112に完全にまたは部分的に向くように配置されるが、上面104からの画像を取得することもできる。代替の例では、カメラ132は、対向するエッジファセット108に完全にまたは部分的に向くように配置されるが、上面104からの画像を取得することができる。上面104上に加えられた接触の位置検出および位置決定の両方を容易にするために、カメラ130と132との視野は重なり合って平面媒体102の上面104をカバーしている。他の態様によれば、光センシング装置は、フォトダイオードのような光検出装置(図示せず)を含んでいてもよい。カメラ装置130、132でのように、光検出器も対向するエッジファセットの1つにほぼ向くように配置され、かつ平面形状媒体102の上面上の位置126のような領域と接触する物体124(例えば、ユーザーの指)を検出するように適合されてもよい。
【0026】
上面104に対するカメラ130および132の位置は、該上面104からの画像を取得することができるような方法で配置されている。図1Bに示すように、1つまたは2つ以上のカメラ装置または光検出器のような光センシング装置121は多くの位置に応じて配置されるが、なお上面104からの画像を取得することができる。例えば、「位置A」の装置121は、平面媒体102の上面104にほぼ一直線に並ぶように配置されている(すなわちカメラレンズまたは光検出器の感光領域の中心を貫通する軸に対して)。「位置B」および「位置C」の装置121は、平面媒体102の上面104に対してかなり高い位置にくるように配置されている(すなわちカメラレンズまたは光検出器の感光領域の中心を貫通する軸に対して)。しかしながら、いずれの場合においても、装置121は平面媒体102の側面から画像を取得している。平面媒体102は、プラズマまたはLCDスクリーンのようなディスプレイの外面を、例えば形成してもよいので、装置121の側方監視の配置は、対応するプラズマまたはLCDディスプレイ上に画像を生成する際に、プラズマまたはLCD技術によって用いられるいかなる投影手段も妨げずまたは妨害しない。例えば、図6および図7に示すように、カメラ装置270(図6)はディスプレイ枠262の複数の隅268の1つに設置されてもよい。あるいは、例えば、カメラ270は2つの隅268の間の枠の任意の部分に沿って配置されてもよい。
【0027】
ここで、図2A〜2Cを参照して、システム100(図1A)の実施形態のような実施形態によるディスプレイへの接触を検出する概念を示している。図2Aに示すように、ユーザーは、平面形状媒体102の上面104上の位置126に接触を加えることができる。ここで、そのような接触の効果を図2Bおよび図2Cの助けを借りて示している。図2Bおよび図2Cは、図2Aの平面形状媒体102の領域126の軸A−A’に沿った断面図を示している。図2Bを参照して、光源118(図1A)から生成された光信号140は、対向面104と106、および、周辺のエッジファセット108、109、112(図2A)の間で完全に内部的に反射される。図2Cを参照して、ユーザー124が上面104に接触を加えると、対向面104、106と、周辺のエッジファセット108、109、112(図2A)との間で完全に内部的に反射された光信号140の一部146が、上面から放出される。ユーザーが上面に接触を加えたことに基づいて、接触点Pで完全に反射された光信号140を妨げる屈折率の変化が該接触点Pで生じる。その結果、接触点と上面104との間の境界での漏れ全内部反射(FTIR:Frustrated Total Internal Reflection)現象は、平面形状媒体102の上面104に向けられたカメラまたは光センシング装置のような任意の適切な光センシング装置が上面104から放出された、内部的に反射された光信号140の一部146を検出することを容易にする(図2A)。
【0028】
適切な光センシング装置の使用は、ここで説明したシステムおよび方法の用途に左右される。例えば、1つまたは2つ以上のカメラの使用は、上面104との1つまたは複数の接触する点を検出する能力と、画像処理技術をさらに用いて上面104と接触する点の位置を決める能力との両方を提供する。あるいは、例えば、光検出装置を利用して、光146の放出された一部の存在を検出し、その結果、上面104との接触がなされたことを示すこともできる。
【0029】
ここで図3Aおよび図3Bを参照して、スクリーン150の上面と接触する点の、カメラ装置による取得画像の写真的例証を示している。図3Aにおいて、ユーザーの指160を用いて、システム100(図1A)の実施形態と類似した実施形態を採用したスクリーン150の上面と接触する。図示のように、照明領域152として明示された放出漏れ光信号が、接触点Tでカメラ装置により取得される。同様に、図3Bに示すように、カメラは、上面150に複数の接触点を与え、その結果、接触点T、U、およびVで照明領域152、154、および156としてそれぞれ明示された複数の漏れ光信号の放出を引き起こすユーザーの指を取得する。
【0030】
ここで図4を参照して、平面形状媒体163の代替の実施形態を示している。図1Aに示すように、平面形状媒体102は長方形の形状であり、したがって、4つの平坦な向き合ったエッジファセットを含んでいる。図4に示した代替の実施形態では、単一のエッジファセット165を持つ平面形状媒体163が、楕円または円形状の平面媒体を利用して提供される。エッジファセット165の表面は、光源167により平面形状媒体163に発信された光信号の反射を容易にする光学的反射材で、部分的にまたは完全にカバーされてもよい。
【0031】
図5A〜5Cに示すように、他の形状の平面媒体もシステム100(図1A)内で利用することができる。図5Aを参照して、平面形状媒体170は、平坦な向き合ったエッジファセット174、176、178と湾曲形状のエッジファセット172とを含んでいる。1つまたは2つ以上の光源が、任意の1つまたは2つ以上のエッジファセット172〜178に結合されていてもよい。さらに、エッジファセット172〜178の表面の任意の1つが、光学的反射面によってカバーされてもよい。図5Bでは、平面形状媒体180は、対向する平坦な向き合ったエッジファセット184、188と、対向する湾曲形状のエッジファセット182、186とを含んでいる。1つまたは2つ以上の光源が、任意の1つまたは2つ以上のエッジファセット182〜188に結合されていてもよい。さらに、エッジファセット182〜188の表面の任意の1つが、光学的反射面によってカバーされてもよい。ここで、図5Cを参照して、平面形状媒体190は複数の側面を有する平坦な向き合ったエッジファセット192〜202を含んでおり、1つまたは2つ以上の光源が、複数の側面を有する平坦な向き合ったエッジファセット192〜202の任意の1つまたは2つ以上に結合されてもよい。複数の側面を有する平坦な向き合ったエッジファセット172〜178の表面の任意の1つが、光学的反射面によりカバーされてもよい。図1Aに関連して上で説明したように、図4および図5A〜5Cに関連したエッジファセットの外面は、銅または銀のテープのような光学的反射材でカバーされていてもよい。あるいは、反射材は、既知の蒸着、粘着、またはボンディング技術を用いて、エッジファセットの外面上に直接置かれてもよい。
【0032】
図4および図5A〜5Cに関連して説明した典型的な実施形態は、多くの形状が平面形状媒体として採用されてもよいことを示している。平面形状媒体への特定形状の割り当ては、美的な考慮、平面形状媒体が結合されてもよい表示スクリーンの形状、平面形状媒体の必要な寸法、反射率の考慮、光源の考慮、および他の要因によって決定されてもよいが、これらに限定されるものではない。
【0033】
ここで、表示スクリーンのような平面形状媒体上の接触を検出するための前述の実施形態を、典型的なメディアプレゼンテーションシステムと関連して説明する。ここで図6を参照して、Morrisonらに付与され、本出願の譲受人に割り当てられた米国特許第6,803,906号に開示されているような、カメラに基づいたタッチシステム250のような典型的なメディアプレゼンテーションシステムが提供され、該出願の内容は全体として参照により本明細書に組み込まれている。
【0034】
図6に示すように、パッシブなタッチシステム250は、主制御装置254に接続されたタッチスクリーン252を含み、該主制御装置254もコンピュータ256に接続されている。コンピュータ256は1つまたは2つ以上のアプリケーションプログラムを実行し、プロジェクター258を介してタッチスクリーン252上に投影される表示を生成する。タッチスクリーン252とのユーザー接触を、文章または描画として記録することができるように、またはコンピュータ256によって実行されるアプリケーションプログラムの実行の制御に使用することができるように、タッチスクリーン252、主制御装置254、コンピュータ256、およびプロジェクタ258は、閉ループを形成している。
【0035】
図7にタッチスクリーン252をよりよく示している。図6に示すように、タッチスクリーン252は、枠262によって縁取りされた接触表面260を含んでいる。接触表面260はパッシブであり、上で説明した平面形状媒体102(図1A)のような材料から形成される長方形の平面シートの形状をしている。図7を参照して、各カメラサブシステムは、フレーム組立体264によってタッチスクリーン252の異なるコーナー268に隣接して取り付けられたカメラシステム(図示せず)を含んでいる。各フレーム組立体264は、カメラシステムが取り付けられた、角度がついた支持板(図示せず)を含んでいてもよい。
【0036】
図8を参照して、各カメラシステム263は、2次元CMOSカメライメージセンサおよび関連するレンズ組立体280と、データバスによって該イメージセンサおよびレンズ組立体280に接続された先入れ先出し(FIFO)バッファ282と、データバスによって該FIFO282におよび制御バスによってイメージセンサおよびレンズ組立体280に接続されたデジタルシグナルプロセッサ(DSP)284とを含んでいてもよい。ブートEPROM286および電源サブシステム288も含まれている。
【0037】
CMOSカメライメージセンサは、200フレーム/秒を越える速さで画像フレームを取得するように動作可能な、20x640画素サブアレイ用に構成されたフォトビットPB300イメージセンサを含んでいてもよい。例えば、FIFOバッファ282およびDSP284はいずれも、CY7C4211Vという部品番号の下でサイプレス社によって、およびADSP2185Mという部品番号の下でアナログデバイス社によってそれぞれ製造されているものであってもよい。
【0038】
DSP284は、制御バスを介してイメージセンサおよびレンズ組立体280に制御情報を提供する。該制御情報は、DSP284が、露出、利得、アレイ配置、リセット、および初期化のような、イメージセンサおよびレンズ組立体280のパラメータを制御することを可能にする。DSP284は、イメージセンサおよびレンズ組立体280にクロック信号も提供して該イメージセンサおよびレンズ組立体280のフレームレートを制御する。
【0039】
図9に示すように、主制御装置254は、DSP290と、ブートEPROM292と、シリアルラインドライバ294と、電源サブシステム295とを含んでいる。DSP290は、データバスを通しておよびシリアルポート296を介してカメラシステム263の各々のDSP284と通信する。DSP290は、データバス、シリアルポート298、およびシリアルラインドライバ294を介してコンピュータ256とも通信する。この実施形態では、DSP290もADSP2185Mという部品番号の下でアナログデバイス社によって製造されている。シリアルラインドライバ294は、ADM222という部品番号の下でアナログデバイス社によって製造されている。
【0040】
主制御装置254および各カメラシステム263は、ユニバーサルシリアルバス(USB)に類似した共通のシリアルケーブルを介して双方向通信を可能にする通信プロトコルに従う。送信帯域幅は、16ビットの32チャネルに分割される。32のチャネルのうち、5つのチャネルが、カメラシステム263の複数のDSP284の各々と、主制御装置254のDSP290とに割り当てられる。残る7つのチャネルは使用されない。主制御装置254は、カメラシステムの複数のDSP284に割り当てられた20のチャネルを監視するが一方、カメラシステム263の各々の複数のDSP284は、主制御装置DSP290に割り当てられた5つのチャネルを監視する。主制御装置254とカメラシステム263の各々との間の通信は、割り込みに応答して、バックグラウンド処理として行われる。
【0041】
ここで、平面形状媒体102(図1A)がタッチスクリーン260を形成する、パッシブなタッチシステム250の一般的な動作をシステム100(図1A)に関連して説明する。この実施形態では、既存のタッチスクリーン260の上に平面形状媒体102を重ねること、したがって、システム100をパッシブなタッチシステム250と共に使用するように適合させることが可能である。あるいは、システム100がパッシブなタッチシステム250の一体型部分となるように、平面形状媒体102はタッチスクリーン260の一体型部分を形成してもよい。
【0042】
各カメラシステム263は、DSPクロック信号によって設定されたフレームレートで、該各カメラシステムのイメージセンサおよびレンズ組立体280の視野内の接触表面260の画像を得て、該画像を処理してポインタが取得画像にあるかどうかを判定する。ポインタが取得画像にある場合、画像はさらに処理され、接触表面260に接触またはその上方に停止しているポインタの特性を決定する。接触表面260とのポインタの接触は、接触表面260とのポインタの接触点で放出される漏れ光信号によって生成された1つまたは2つ以上の照明領域として、カメラにより検出される。受け取られた1つまたは2つ以上の照明領域に関連した画素情報は、イメージセンサおよびレンズ組立体280によって取得され、次に、カメラの複数のDSP284によって処理される。接触表面とのポインタ接触に対応するポインタ特性は、ポインタ情報パケット(PIP)に変換され、該PIPは主制御装置254への送信のキューに入れられる。カメラシステム263の各々は、主制御装置254によって生成された診断PIPも受け取り、応答する。
【0043】
主制御装置254は、PEPの設定周波数でカメラシステム263の各々をポーリングし(この実施形態では秒70回/秒)、PEPのポインタ特性(例えばポインタ接触)を三角測量してポインタ位置データを決定する。主制御装置254は、次に、ポインタ位置データおよび/またはステータス情報をパーソナルコンピュータ256に送信する。この方法で、パーソナルコンピュータ256に送信されたポインタ位置データを、文章(例えば注釈)、描画、応答の実行として記録することができる、または該位置データを使用してコンピュータ256によって実行されるアプリケーションプログラムの実行を制御することができる。コンピュータ256は、接触表面260上に投影された情報がポインタ動作を反映するように、プロジェクタ258に伝達された表示出力も更新する。
【0044】
ここで、システム100(図1A)の動作を図10に示したフローチャート300の助けを借りて説明する。ステップ302で、光信号が、パッシブなタッチシステム250(図6)のようなメディアプレゼンテーションシステムのディスプレイ部分を形成することができる平面形状媒体102(図1A)に送られる。該光信号は平面形状媒体102内で完全に内部的に反射される。
【0045】
ステップ304で、1つまたは2つ以上の光検出器、および/または、1つまたは2つ以上のカメラ装置130、132(図1A)のような光センシング装置が、平面形状媒体の側面位置をほぼ向くように配置され、かつ該平面形状媒体102の上面104(図1A)からの光信号を受け取るように適合される。平面形状媒体の側面位置とは、一般に、エッジファセット108、109、110、および112(図1A)のような周囲を囲んでいる領域または区域である。例えば、図4および図5に示し、説明した平面媒体のような他の形状の平面媒体が利用される場合、該平面形状媒体の側面位置とは、一般に、エッジファセットの任意の1つのような該平面形状媒体のエッジ周囲を囲む領域または区域になるであろう。
【0046】
ステップ306で、いったんユーザーの指または他のポインタ装置のような物体が平面形状媒体102の上面と接触すると、該平面媒体102内で完全に内部的に反射された光信号の一部は、接触物体によってもたらされた屈折率の変化に基づいて接触位置から放出される。出射光の大きさは、接触位置において物体によって加えられる表面圧力、および接触を加えるために使用される材料に依存するであろう。例えば、物体によって接触位置での圧力が増加させられることにより、接触位置から放出される光信号の大きさは増加するであろう。さらに、異なる材料を使用して接触を加えると、放出される光信号の量は増加または減少するであろう。
【0047】
ステップ308で、いったん光信号の一部が加えられた接触に基づいて上面104から放出されると(ステップ306)、配置された光センシング装置は放出光信号を受け取る(ステップ304)。背景の光学的反射、周囲光の変化、または検出された光信号に対して誤指示を生成する可能性のある他の要因に対する光センシング装置の検出能力を向上させるために、平面媒体102に光信号を発信する光源118(図1A)は、既知の技術を用いて変調および/または符号化されてもよい。発信された光信号を変調および/または符号化することによって、受け取られた放出光信号も変調および/または符号化される。変調および/または符号化された放出光信号は、受け取りおよび処理がなされると、スプリアス光信号から実際の放出光信号をまたは強度レベルの変化を識別することを容易にし、その結果、システム100(図1A)の信号対雑音比を向上させる。例えば、光源は、ON/OFFキーイング(OOK)を使用して2進数列で符号化されてもよい。光信号は、強度変調、周波数変調、または位相変調されてもよい。他の例では、光源は、擬似ランダム2進数列(PRBS)発生機を使用して符号化または変調されてもよい。
【0048】
ステップ310で、光センシング装置が装置130および132(図1A)のようなカメラ装置であると決定された場合、平面媒体102から放出された、検出された光信号に関連したカメラ画素情報は、カメラの複数のDSP284(図8)のようなプロセッサ装置によって取得され、処理される。平面媒体102上の位置と接触する物体に関連したポインタ情報パケット(PIP)が生成され、カメラの複数のDSP284から、DSP290にまたは主制御装置254内の第2のプロセッサ装置に送られる(ステップ312)。主制御装置254で、上面104と物体との接触位置または1つまたは2つ以上の接触点に関連した座標情報を生成するために、三角測量技術をカメラ装置130、132から受け取ったPIPと組み合わせて使用することができる(ステップ314)。
【0049】
ステップ310で、光センシング装置が1つまたは2つ以上の光検出器であると決定された場合、放出光信号に関連した検出された信号は、該検出された信号を復号するために処理されてもよい(ステップ316)。例えば、ユーザーが上面104と連続して数回接触した場合、光検出器による、増加した光学的強度の結果として生じた連続的な検出は、主制御装置254によって、例えば処理することができる(ステップ316)。この処理に応答して、コンピュータ256(図6)のアプリケーションプログラムを開始するような1つまたは2つ以上の所定のイベントが開始されてもよい(ステップ318)。このように、接触の符号化によって、種々のイベントまたはプロセスを特定し、実行することができる。
【0050】
上面104に1つまたは2つ以上の接触を加えたことに応答して、上面104から放出された光信号の他の特性が検出、復号されてもよい。例えば、物体124(図1A)によって上面位置に加えられた圧力の作用としての放出光信号の強度の変化、上面104への複数の物体(例えば2本、3本または4本以上のユーザーの指)の同時の適用、および/または上面104の1つまたは2つ以上の位置への連続した接触の適用(例えば2つまたは3つ以上のタップ)が、所定の応答を開始するために復号されてもよい。
【0051】
本発明の好ましい実施形態を説明したが、当業者には、添付の請求項によって定義されるような本発明の精神および範囲から逸脱することなく、種々の変形および変更がなされてもよいことが認識されるであろう。
【符号の説明】
【0052】
254 主制御装置
256 コンピュータ
258 プロジェクタ
270 カメラ
280 CMOSカメラセンサ
282 FIFO
284,290 デジタルシグナルプロセッサ
286 EPROM
288,295 電源
292 EPROM
294 シリアルラインドライバ
296,298 シリアルポート

【特許請求の範囲】
【請求項1】
ディスプレイ上の接触を検出するシステムであって、
ディスプレイに関連付けられ、かつ少なくとも1つのエッジファセットと対向面とを含む平面媒体と、
発信された光信号が前記少なくとも1つのエッジファセットと前記対向面との間で完全に内部的に反射されるように、該少なくとも1つのエッジファセットに動作可能に結合され、前記平面媒体に光信号を発信する少なくとも1つの光源と、
前記少なくとも1つのエッジファセットの少なくとも一部にほぼ向くように配置され、かつ前記対向面の第1の面と接触する少なくとも1つの物体を検出するように適合された光センシング装置とを有し、
前記光センシング装置は、前記第1の面と接触する前記少なくとも1つの物体に対応する位置で、該第1の面から放出された光信号の一部を検出するように機能するシステム。
【請求項2】
前記少なくとも1つのエッジファセットは光学的反射面を持つ単一の円形状のエッジファセットを有する、請求項1に記載のシステム。
【請求項3】
前記少なくとも1つのエッジファセットは、各々が光学的反射面を持つ、少なくとも1つの湾曲したエッジファセットと少なくとも1つのまっすぐなエッジファセットとを有する、請求項1に記載のシステム。
【請求項4】
前記少なくとも1つのエッジファセットは、各々が光学的反射面を有する、第1のエッジファセットと、第2のエッジファセットと、第3のエッジファセットと、第4のエッジファセットとを有する、請求項1に記載のシステム。
【請求項5】
前記光センシング装置は、少なくとも1つの光検出器と少なくとも2つのカメラ装置とから成る少なくとも1つのグループを有する、請求項1に記載のシステム。
【請求項6】
ディスプレイ上の接触を検出するシステムであって、
ディスプレイに関連付けられ、かつ少なくとも1つのエッジファセットと対向面とを含む平面媒体と、
発信された光信号が、前記少なくとも1つのエッジファセットと前記対向面との間で完全に内部的に反射されるように、該少なくとも1つのエッジファセットに動作可能に結合され、前記平面媒体に光信号を発信する少なくとも1つの光源と、
前記少なくとも1つのエッジファセットの少なくとも一部にほぼ向くように配置され、かつ前記対向面の第1の面と接触する少なくとも1つの物体を検出するように適合された少なくとも2つのカメラ装置とを有し、
前記少なくとも2つのカメラ装置は、前記第1の面と接触する前記少なくとも1つの物体に対応する位置で、該第1の面から放出された光信号の一部の画像を取得するように機能するシステム。
【請求項7】
前記少なくとも2つのカメラ装置に接続された少なくとも1つのプロセッサをさらに有し、
該少なくとも1つのプロセッサは、前記第1の面と接触する前記少なくとも1つの物体に対応する画素情報を処理するように適合される、請求項6に記載のシステム。
【請求項8】
前記少なくとも1つのプロセッサに接続された主制御装置をさらに有し、
該主制御装置は、前記第1の面と接触する前記少なくとも1つの物体に対応する位置座標情報を生成するように適合される、請求項7に記載のシステム。
【請求項9】
前記位置座標情報を受け取り、前記表面と接触する前記少なくとも1つの物体に関連した注釈を表示するように機能する少なくとも1つのアプリケーションプログラムをさらに有する、請求項8に記載のシステム。
【請求項10】
前記位置座標情報を受け取るように機能する、または前記表面と接触する前記少なくとも1つの物体に基づいて応答を行う少なくとも1つのアプリケーションプログラムをさらに有する、請求項8に記載のシステム。
【請求項11】
前記少なくとも1つのエッジファセットは光学的反射面を持つ単一の円形状のエッジファセットを有する、請求項6に記載のシステム。
【請求項12】
前記少なくとも1つのエッジファセットは、各々が光学的反射面を持つ、少なくとも1つの湾曲したエッジファセットと少なくとも1つのまっすぐなエッジファセットとを有する、請求項6に記載のシステム。
【請求項13】
前記少なくとも1つのエッジファセットは、各々が光学的反射面を有する、第1のエッジファセットと、第2のエッジファセットと、第3のエッジファセットと、第4のエッジファセットとを有する、請求項6に記載のシステム。
【請求項14】
前記光学的反射面は、銅の反射テープおよび銀の反射テープの少なくとも1つを有する、請求項13に記載のシステム。
【請求項15】
前記平面媒体は前記ディスプレイに結合されたアクリルシートを有し、該アクリルシートは前記ディスプレイとほぼ同一形状を持つ、請求項6に記載のシステム。
【請求項16】
前記アクリルシートは、火造りアクリルエッジからなる請求項15に記載のシステム。
【請求項17】
前記少なくとも1つの光源は、発光ダイオード(LED)からなる請求項6に記載のシステム。
【請求項18】
前記発光ダイオード(LED)は、約0〜90度の半視角を有する請求項17に記載のシステム。
【請求項19】
前記少なくとも1つの光源は、レーザ装置からなる請求項6に記載のシステム。
【請求項20】
前記発信された光信号は、赤外線信号からなる請求項6に記載のシステム。
【請求項21】
前記発信された光信号は、可視光からなる請求項6に記載のシステム。
【請求項22】
前記少なくとも2つのカメラ装置は、相補型金属酸化膜半導体(CMOS)カメラからなる、請求項6に記載のシステム。
【請求項23】
前記第1の面上の位置から放出された前記光信号の一部は、前記位置と接触する前記少なくとも1つの物体に基づいて前記位置で生成された漏れ全内部反射(FTIR)光信号からなる、請求項6に記載のシステム。
【請求項24】
前記ディスプレイに関連付けられたスクリーンをさらに有し、該スクリーンは前記対向面の第2の面に結合されている、請求項6に記載のシステム。
【請求項25】
前記平面媒体は、前記ディスプレイと一体型の要素を有する請求項6に記載のシステム。
【請求項26】
前記少なくとも1つの物体は、前記平面媒体の第1の面と相互に作用するユーザーに関連した指からなる、請求項6に記載のシステム。
【請求項27】
前記少なくとも1つの物体は、前記平面媒体の第1の面と相互に作用するユーザーによって使用されるように適合された円柱状のペン形状の物体からなる、請求項6に記載のシステム。
【請求項28】
前記発信された光信号は、変調信号を有する請求項6に記載のシステム。
【請求項29】
前記発信された光信号は、符号化信号を有する請求項6に記載のシステム。
【請求項30】
前記符号化信号は、2進数列を有する請求項29に記載のシステム。
【請求項31】
前記変調信号は、擬似ランダム2進数列(PRBS)変調信号を有する請求項28に記載のシステム。
【請求項32】
前記変調信号は、強度変調信号を有する請求項28に記載のシステム。
【請求項33】
ディスプレイに関連付けられた平面媒体に光信号を発信し、発信された光信号が該平面媒体内で完全に内部的に反射され、
前記平面媒体に関連した側面位置にほぼ向くように光センシング装置を配置し、
少なくとも1つの物体を使用して、前記第1の面上の表面位置と接触し、
前記表面位置と接触する前記物体に基づいて前記表面位置から放出された光信号の一部を、前記光センシング装置を使用して検出する、ディスプレイへの接触を検出する方法。
【請求項34】
ディスプレイに関連付けられた平面媒体に光信号を発信し、発信された光信号が該平面媒体内で完全に内部的に反射され、
前記平面媒体に関連した第1の側面位置にほぼ向くように、該平面媒体の第1の面から画像を受け取る第1のカメラ装置を配置し、
前記平面媒体に関連した第2の側面位置にほぼ向くように、該平面媒体の第1の面から画像を受け取る第2のカメラ装置を配置し、
少なくとも1つの物体を使用して、前記第1の面上の表面位置と接触し、
前記表面位置と接触する前記物体に基づいて該表面位置から放出された光信号の一部の画像を、第1および第2カメラを使用して取得する、ディスプレイへの接触を検出する方法。
【請求項35】
前記取得画像に基づいて、前記表面位置で少なくとも1つの物体に関連した座標位置を決定することをさらに含む、請求項34に記載の方法。
【請求項36】
前記表面位置から放出された光信号の一部の取得画像は照明領域を有する請求項34に記載の方法。
【請求項37】
前記平面媒体の第2の面は、前記ディスプレイに結合されている請求項34に記載の方法。
【請求項38】
前記表面位置から放出された光信号の一部は、前記接触された表面位置での光信号の漏れ全内部反射(FTIR)に基づいている、請求項34に記載の方法。
【請求項39】
前記表面位置から放出された光信号の一部は、該表面位置に関連した屈折率の変化に応じたものである、請求項34に記載の方法。
【請求項40】
前記第1のカメラは第1の視野を含み、前記第2のカメラは第2の視野を含み、該第1の視野および第2の視野は重なり合う領域持つ、請求項34に記載の方法。
【請求項41】
前記少なくとも1つの物体を使用して前記第1の面上の表面位置と接触することは、前記接触された表面位置で該第1の面に関連した屈折率の値を変化させることを含む、請求項40に記載の方法。
【請求項42】
対向面を持ち、該対向面内で完全に内部的に反射された光信号を受け取るように適合されたタッチスクリーンであって、物体が該対向面に関連した表面位置と接触するとすぐに、光信号の一部が該表面位置から放出されるタッチスクリーンと、
前記接触表面に関連付けられ、かつ該接触表面に対してほぼ側面位置に配置されている少なくとも2つのカメラと、を有し、
前記表面位置で、該表面位置から放出された光信号の一部の画像が少なくとも2つのカメラにより取得され、該表面位置と接触する前記物体に関連した座標位置が決定される、パッシブなタッチシステム。
【請求項43】
前記少なくとも2つのカメラに動作可能に接続された少なくとも1つの第1のプロセッサをさらに有し、該少なくとも1つの第1のプロセッサは取得画像を受け取り、かつ該取得画像に関連した画素データを生成するように適合される、請求項42に記載のシステム。
【請求項44】
前記少なくとも1つの第1のプロセッサに動作可能に接続された第2のプロセッサをさらに有し、該第2のプロセッサは生成された画素データを受け取り、前記表面位置での物体の位置座標情報を生成する、請求項43に記載のシステム。
【請求項45】
前記少なくとも2つのカメラは、相補型金属酸化膜半導体(CMOS)カメラからなる、請求項42に記載のシステム。

【図1A】
image rotate

【図1B】
image rotate

【図2A】
image rotate

【図2B】
image rotate

【図2C】
image rotate

【図3A】
image rotate

【図3B】
image rotate

【図4】
image rotate

【図5A】
image rotate

【図5B】
image rotate

【図5C】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公表番号】特表2010−534367(P2010−534367A)
【公表日】平成22年11月4日(2010.11.4)
【国際特許分類】
【出願番号】特願2010−517241(P2010−517241)
【出願日】平成20年7月23日(2008.7.23)
【国際出願番号】PCT/CA2008/001350
【国際公開番号】WO2009/012586
【国際公開日】平成21年1月29日(2009.1.29)
【出願人】(592221263)スマート テクノロジーズ ユーエルシー (15)
【氏名又は名称原語表記】SMART TECHNOLOGIES ULC
【Fターム(参考)】