全反射妨害による多接触検知表示装置
【課題】
【解決手段】全反射妨害を基礎とする高解像度でスケーラブルな多接触感知表示システムおよびプロセスは、赤外光のような光を受け取り、全反射を生じる光導波体(12、32、42、62、76、84)と、使用者による接触によって生じる全反射の妨害により光導波体(12、32、42、62、76、84)から漏れ出す光を検出する画像化感知器(20、50、72a、72b、72c、86、104a、104b)とを有する。光導波体(12、32、42、62、76、84)には従順表面被覆(48、64、78、88)が取り付けられ、感知性能を大きく改善し、汚染の影響および接触面の損傷を最小化し、システムの寿命を大幅に延ばし、その他の利益を提供する。システムおよびプロセスは、光導波体(12、32、42、62、76、84)の全体から漏れ出る妨害全反射を連続的に画像化することで、真の多接触(多入力)と、高い空間および時間解像性を提供する。他の特徴および利点の中でも、システムおよびプロセスは、大きな設備へスケールを拡大でき、後方投影(22、52、74a、74b、74c)および他の表示装置との併用に適している。
【解決手段】全反射妨害を基礎とする高解像度でスケーラブルな多接触感知表示システムおよびプロセスは、赤外光のような光を受け取り、全反射を生じる光導波体(12、32、42、62、76、84)と、使用者による接触によって生じる全反射の妨害により光導波体(12、32、42、62、76、84)から漏れ出す光を検出する画像化感知器(20、50、72a、72b、72c、86、104a、104b)とを有する。光導波体(12、32、42、62、76、84)には従順表面被覆(48、64、78、88)が取り付けられ、感知性能を大きく改善し、汚染の影響および接触面の損傷を最小化し、システムの寿命を大幅に延ばし、その他の利益を提供する。システムおよびプロセスは、光導波体(12、32、42、62、76、84)の全体から漏れ出る妨害全反射を連続的に画像化することで、真の多接触(多入力)と、高い空間および時間解像性を提供する。他の特徴および利点の中でも、システムおよびプロセスは、大きな設備へスケールを拡大でき、後方投影(22、52、74a、74b、74c)および他の表示装置との併用に適している。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、全反射を妨害することに基づく高解像度の多接触感知表示装置を可能にするための技術に関する。
【背景技術】
【0002】
触れたことを感知する接触感知技術として、単一点の接触のためのものはありふれている。しかし、多点の接触を同時に感知すること、すなわち多接接触感知(multi−touch sensing)は、比較的困難である。
【0003】
多接触感知のためのひとつのどちらかといえば直接的な取り組みとして、複数の個別の感知器を用い、それぞれの感知器で、対応する接触点を感知するものがある。たとえばTactex Control Inc.社は、床感知器、警備装置およびその他の用途に使用するための1列に配置された感知器を有している。他の例として、非特許文献1は、マトリクス構成に配置され各ノードに能動素子(ダイオード)が配置された感知器の使用を開示している。Fingerworks社のiGesture Pad(商品名)は、マトリクス構成でそれぞれのノードに能動トランジスタを有する多数の個別感知器を採用する装置の別の例である。特許文献1は、多接触表面システムに近接感知器の配列を用いる追加的な例を開示している。
【0004】
多接触感知は、非特許文献2で論じられているように、力感知抵抗(FSR:force-sensitive-resistor)の単純な受動マトリクスを注意深く使用することにより達成できる。特許文献2は、この目的のために、容量性電極を使用することを開示している。これについては、最近になって、非特許文献3で論じられている。このようなシステムは、多数の能動感知器を用いるシステムほど複雑ではないが、それでもなお、膨大な電気接続を必要とする。このため、その利用が、比較的低解像度(たとえば100×100未満)であることを必要とする用途に限定される、という欠点がある。さらに、このようなシステムは、視覚的に不明瞭であり、グラフィック表示と統合するには、上面投影を使用する必要がある。最後に、このようなシステムは、使用する電気信号が微弱であることによる耐久性の問題がある。
【0005】
高解像度のデータセットを高速に捕らえるために、ビデオカメラの使用が提案されている。しかしながら、このような映像を基礎とする技術は、まったく不正確であり、本当に触れたかどうかを判定することはできない。このような不正確さは、使用者の操作にとって、まったくの妨害となってしまう。最近の取り組みとして、非特許文献4に論じられているように、強度から深さを推定するものや、非特許文献5、6に開示されているように、ステレオから深さを推定するもの、非特許文献7に開示されているように、変形可能な基板内に埋め込まれたマーカーを追跡するものなどがある。
【0006】
他に分類される接触感知技術として、全反射妨害(FTIR:frustrated total internal reflection)によるものがある。光が低屈折率の媒体への界面(たとえばガラスから空気)に出会うと、その光は、入射角に依存する量だけ反射し、ある臨界角を超えると、全反射(TIR)する。ファイバ光学、光パイプ、および他の光導波路は、この現象によって、光を非常に低損失で効率良く輸送することができる。しかしながら、界面に他の材料があると、この全反射を妨害することができ、光を導波路から逃がすことができる。
【0007】
全反射妨害は良く知られており、生物測定学の分野では、少なくとも1960年代から、指紋の隆起線を画像化するために使用されている。特許文献3は、全反射妨害を利用して皮膚表面の隆起線パターンを光学的に検出することを述べている。
【0008】
特許文献4は、接触により作動する装置の初期のものを開示している。この装置では、二進装置が、平坦導波体を通過する光の指の接触により生じる減衰を検出する。
【0009】
特許文献5は、使用者が、ブラシ、スタイラスおよび指のような自由な形態の物体を使用して、表示画面上に「ペイント」することのできる画像化接触感知器について述べている。この装置では、CRTの飛点からの光を大きなプリズムの面で全反射させ、単一の光検出器に集光し、これにより、接触のある領域の更新ビットマップを生成する。1985年には、この方法が、非特許文献8に開示されているように、CRTおよび光検出器の代わりにビデオカメラおよび広い光源を用いて、光学的に反転した構成に更新されている。
【0010】
特許文献6は、CRTに基づく接触感知器を開示している。この接触感知器は、大きなプリズムの代わりに薄いプラテン導波体を用い、光学的に接触した物体により散乱される光を検出することで動作する。さらに、最近の指紋感知器は、非特許文献8に開示されているように、このような取り組みを利用している。
【0011】
ロボティクスの分野ではまた、この取り組みを、1984年から、ロボットの物をつかむ装置のための触覚感知器の構築に用いている。この物をつかむ装置は、従順(compliant)表面被覆を有している。このような技術に関する刊行物としては、非特許文献9、10および特許文献7がある。
【0012】
従順表面被覆の使用に伴い、構造化された柔軟なメンブレンが、通常は空気の間隙により導波体から離れて保持され、押されたときに導波体との光学的接触を形成する。特許文献8は、この取り組みを、接触感知表示装置の文脈で開示している。
【0013】
多接触感知を用いる種々の相互作用技術に関する追加的な刊行物としては、非特許文献11から14などがある。
【先行技術文献】
【特許文献】
【0014】
【特許文献1】米国特許第6,323,846号、Westerman et al.
【特許文献2】米国特許第4,134,063号、Nicol et al.
【特許文献3】米国特許第3,200,701号、White、1965年発行
【特許文献4】米国特許第3,673,327号、Johnson et al.,1972年発行
【特許文献5】米国特許第3,846,826号、Mueller、1974年発行
【特許文献6】米国特許第4,346,376号、Mallos
【特許文献7】米国特許第4,668,861号、White
【特許文献8】米国特許第4,484,179号、Kasday
【非特許文献】
【0015】
【非特許文献1】Lee,S.,Buxton,W., and Smith, K.C., “A Multi-Touch Three Dimensional Touch-Sensitive Tablet”, Proceedings of the SIGCHI Conference on Human Factors in Computing System (San Fransisco, California, United States), CHI ’85. ACM Press, New York, NY, 21-25(1985)
【非特許文献2】Hillis, W.D., “A High Resolution Imaging Touch Sensor,” International Journal of Robotics Research, Pages 1, 2, 33-44(1982)
【非特許文献3】Rekimoto, J., “Smart Skin: An Infrastructure for freehand Manipulation on Interactive Surfaces,” Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, CHI ’02, ACM Press, New York, NY, 113-120(2002)
【非特許文献4】Matsushita, N. and Rekimoto, J., “Holo Wall: Designing a Finger, Hand, Body, and Object Sensitive Wall,” Proceedings of the 10th Annual ACM Symposium in User Interface Software and Technology (Banff, Alberta, Canada, October 14-17, 1997), UIST ’97, ACM Press, New York, NY, 209-210(1997)
【非特許文献5】Wilson, A.D., “TouchLight: An Imaging Touch Screen and Display for Gesture-based Interaction,” Proceedings of the 6th International Conference on Multimodal Interfaces (State College, PA, USA, October 13-15, 2004), ICMI ’04, ACM Press, New York, NY, 69-76(2004)
【非特許文献6】Malik, S. and Laszlo, J., “Visual Touchpad: A two-Handed Gestural Input Device,” Proceedings of the 6th International Conference on Multimodal Interfaces (State College, PA, USA, October 13-15, 2004), ICMI ’04, ACM Press, New York, NY, 289-296(2004)
【非特許文献7】Kamiyama, K., Vlack, K., Mizota, T., Kajimoto, H., Kawakami, N., Tachi, S., “Vision-Based Sensor for Real-Time Measuring of Surface Traction Fields,” IEEE Comput.Graph.Appl.25, 1(Jan. 2005), 68-75
【非特許文献8】Green, R., “The Drawing Prism: A Versatile Graphic Input Device,” Proceedings of the 12th annual Conference on Computer Graphics and Interactive Techniques SIGGRAPH ’85, ACM Press, New York, NY, 103-110(1985)
【非特許文献8】Fujieda, I., Haga, H., “Fingerprint Input based on Scattered-Light Detection,” Applied Optics-IP, 36, 35, 9152-9156(1997)
【非特許文献9】Mott, D.H., Lee, M.H., and Nicholls, H., “An Experimental Very High Resolution Tactile Sensor Array,” Robot Sensors Vol.2: Tactile and Non-Vision, Pugh,A., Ed. Springer-Verlag, Berlin, 179-188(1986)
【非特許文献10】Tanie, K., Komoriya, K., Kaneko, M., Tachis, S. and Fujikava, A., “A High Resolution Tactile Sensor,” Robot Sensors Vol.2: Tactile and Non-Vision, Pugh,A., Ed. Springer-Verlag, Berlin, 189-198(1986)
【非特許文献11】Buxton, W., Hill, R., and Rowley, P., “Issues and Techniques in Touch-Sensitive Tablet Input,” Proceedings of the 12th Annual Conference on Computer Graphics and Interactive Techniques SIGGRAPH ’85, ACM Press, New York, NY, 215-224(1985)
【非特許文献12】Dietz, P., and Leigh, D., “DiamondTouch: A Multiple-Use Touch Technology,” Proceedings of the 14th Annual ACM symposium on User Interface Software and Technology (Orland, Florida, November 11-14, 2001), UIST ’01, ACM Press, New York, NY, 219-226(2001)
【非特許文献13】Westerman, W., Elias, J.G., and Hedge, A., “Multi-Touch: A New Tactile 2-D Gesture Interface for Human-Computer Interaction,” Proceedings of Human Factors and Ergonomics Society 45th Annual Meeting (Minneapolis/St.Paul, MIN, Oct.2001), 632-636(2001)
【非特許文献14】Wu, M. and Balakrishnan, R., “Multi-Finger and Whole Hand Gestural Interaction Techniques for Multi-User Tabletop Displays,” Proceedings of the 16th Annual ACM symposium on User Interface Software and Technology (Vancouver, Canada, November 02-05, 2003), UIST ’03, ACM Press, New York, NY, 193-202(2003)
【非特許文献15】Kunz, A.M. and Spagno, C.P., “Technical System for Collaborative Work,” Proceedings of the Workshop on Virtual Environments (Barcelona, Spain, May 30-31, 2002)
【非特許文献16】W.Stuerzlinger and S.Mueller, Eds, ACM international Conference Proceedings Series, vol.23, Eurographics Association, Aire-la-Ville, Switzerland, 73-80
【非特許文献17】Wilson, A.D., “TouchLight: An Imaging Touch Screen and Display for Gesture-Based Interaction,” Proceedings of the 6th International Conference on Multimodal Interface (State College, PA, USA, October 13-15, 2004), ICMI ’04, ACM Press, New York, NY, 69-76(2004)
【非特許文献18】Matsushita, M., Iida, M., Ohguro, T., Shirai, Y., Kakehi, Y., and Naemura, T., “Lumsight Table: A face-to-face Collaboration Support System That Optimizes Direction of Projected Information to Each Stakeholder,” Proceedings of the 2004 ACM Conference on Computer Supported Cooperative Work (Chicago, Illinois, USA, November 06-10, 2004), CSCW ’04, ACM Press, New York, NY, 274-283(2004)
【発明の概要】
【発明が解決しようとする課題】
【0016】
以上の観点において、多接触感知表示装置の分野においては、限られた開発しかなされていないことがわかる。したがって、高解像度かつ高精細で、比較的単純で、安価で、そしてスケーラブルな多接触感知表示装置の必要性は残されたままである。ここで「スケーラブル」とは、リソースの量に比例して全体のスループットが向上する一種の拡張性をいう。
【0017】
本発明の目的は、高解像度で多接触感知を提供するための、比較的単純で、安価で、かつ大きさが可変の多接触感知表示システム/プロセスを提供することにある。
【0018】
本発明のさらなる目的は、全反射妨害に基づく多接触感知システム/プロセスを提供することにある。
【0019】
本発明の他の目的は、上面投影に頼ることなく、グラフィック表示との併用に適した多接触感知システム/プロセスを提供することにある。
【課題を解決するための手段】
【0020】
本発明のひとつの具体化によると、多接触感知表示装置は、光を受け取り、受け取った光の少なくとも一部を内部で全反射し、この全反射を物理現象の発生により妨げることができ、全反射が妨げられると、内部で全反射している光の一部が漏れ出るように構成された(設計された)光導波体と、この光導波体から漏れ出る光を検出する画像化カメラとを有することを特徴とする。
【0021】
本発明のひとつの観点として、感知器は、光導波体の研磨端に直接に対向して配置された赤外発光ダイオードを有する。
【0022】
本発明のさらなる観点として、光導波体は端が光が入射するように処理されたアクリル製の薄板である。
【0023】
本発明の別の観点として、物理現象は、光導波体への物質の接触を必要とし、このような接触により、全反射が妨げられる。
【0024】
この観点の特徴として、物体は、多接触感知表示装置の使用者の指である。
【0025】
本発明の別の観点として、光導波体は、複数の物理現象の発生により、全反射が複数の位置で同時に妨げられるように構成される。複数の位置のいくつかは、互いに離れて配置される。
【0026】
この観点の特徴として、物理現象は、少なくとも、光導波体の表面の第1の場所への第1の物体の接触と、光導波体の表面の第2の場所への第2の物体の接触とを含み、第1の場所および第2の場所は互いに離れて配置され、光導波体は、対応する第1の位置および第2の位置で全反射が妨げられる構成である。
【0027】
この観点のさらなる特徴として、第1および第2の物体は多接触感知表示装置の使用者の第1および第2の指である。
【0028】
本発明の別の観点として、画像化感知器は、光導波体の二次元表面に沿う位置から出てくる光を個別に検出する構成である。
【0029】
本発明の追加的な観点として、画像化カメラは、光導波体の二次元表面に沿う複数の位置から漏れ出る光を同時に個別に検出する構成である。
【0030】
本発明のさらなる観点として、感知器は、あらかじめ定められた波長の光導波体が受け取る光を放射する光源を有し、画像化カメラは、実質的にあらかじめ定められた波長でのみ光を検出する構成である。
【0031】
本発明のさらに別の観点として、感知器は、第1および第2のあらかじめ定められた波長の光導波体が受け取る光を放射する光源を有し、画像化カメラは、実質的に第1のあらかじめ定められた波長でのみ光のみを検出する構成であり、多接触感知表示装置はさらに、光導波体から漏れ出る実質的に第2のあらかじめ定められた波長でのみ光を検出する第2の画像化感知器を有する。
【0032】
本発明のさらに追加的な観点として、感知器は、画像化カメラのシャッターに実質的に同期する速度で光のパルスを放射する光源を有する。
【0033】
本発明の別の観点では、光導波体は非平坦表面を有し、物理現象は光導波体の非平坦表面への接触を含み、光導波体の非平坦表面への接触により全反射が妨げられる。
【0034】
本発明のさらなる観点として、感知器は、二次元ビデオ映像を光導波体に投影するビデオ投影機を有する。
【0035】
この観点の特徴として、多接触感知表示装置は、ビデオ映像が投影される拡散体を有する。
【0036】
この観点の別の特徴として、光導波体は非接触面と接触面とを有し、拡散体は非接触面上に配置され、物理現象は光導波体の接触面への接触を含み、光導波体の接触面への接触により反射光導波体内での全反射が妨げられる。
【0037】
この観点のさらなる特徴として、ビデオ投影機は、非接触表面が配置される側に対応して光導波体の非接触側に配置され、接触表面が配置される側に対応して光導波体の接触側に配置される使用者によりビデオ映像が見えるように、光導波体に向かってビデオ映像を投影する構成である。
【0038】
本発明の別の観点として、感知器は、二次元ビデオ映像を前記光導波体に投影するビデオ投影機と、光導波体の表面の近傍に配置されビデオ映像が投影される拡散体とをさらに有する。
【0039】
この観点の特徴として、拡散体の実体部分と光導波体との間に小さな間隙が設けられ、拡散体による全反射の妨害が最小化される。
【0040】
この観点のさらなる特徴として、拡散体は、ビデオ投影機の投影の速度に同期して電気的に切り替え可能な拡散体スクリーンであり、画像化感知器のシャッター周期により非拡散状態とされる。
【0041】
この観点のさらなる特徴として、拡散体は、ある角度の入射に対して拡散、他に対して非拡散となる方向性拡散体(たとえばホログラフ、ルミスティー(登録商標)等)である。
【0042】
本発明のさらなる観点として、追加的なカメラを用いて、拡散体が非拡散であるときにその拡散体を通して接触物体を観測する。
【0043】
本発明の別の観点として、画像化カメラは、光導波体のそれぞれ異なる部分から漏れ出る光を検出する複数の画像化カメラを含む。
【0044】
この観点の特徴として、感知器は、複数のビデオ投影機を有し、この複数のビデオ投影機はそれぞれ、光導波体の異なる部分のうちの対応するひとつに二次元ビデオ映像を投影する。
【0045】
本発明の追加の観点として、感知器は、画像化感知器と光導波体との間に配置されビデオ映像を表示する液晶表示パネルを有し、この液晶表示パネルは、画像化感知器による光導波体から漏れ出る光の検出を妨げることのないように、漏れ出る光に対して透明である。
【0046】
本発明の別の具体化によると、多接触感知表示装置は、光を受け取り、受け取った光の一部を内部で全反射する光導波体と、この光導波体に十分に近接して配置され、外部の力により押しつけられて光導波体に接触する従順表面被覆と、光導波体から漏れ出る光を検出する画像化感知器とを有し、光導波体と従順表面被覆とは、光導波体内の全反射が従順表面被覆の光導波体への接触により妨げられる構成であり、光導波体は、全反射が妨げられると、内部で全反射している光の一部が漏れ出る構成である。
【0047】
本発明のこの具体化の観点として、従順表面被覆の実体部分と光導波体との間に小さな間隙が設けられ、従順表面被覆が押しつけられていないときには全反射の妨害が最小化される。
【0048】
この具体化のさらなる観点として、従順表面被覆は、多接触感知表示装置の使用者の指により押しつけられる構成である。
【0049】
この具体化のさらなる観点として、従順表面被覆は、受動スタイラス、手袋をはめた手および任意の物体により押しつけられる構成である。
【0050】
本発明の別の観点によると、従順表面被覆は、複数の対応する場所での同時の押しつけに応答して、光導波体に複数の場所で同時に接触する構成であり、光導波体は、複数の場所で内部の全反射が同時に妨げられる構成である。
【0051】
この観点の特徴として、押しつけ場所の少なくともふたつは互いに離れて配置される。
【0052】
追加の観点として、画像化カメラは、光導波体の二次元表面に沿う位置から出力される光を区別して検出する構成である。
【0053】
またさらなる観点として、画像化カメラは、光導波体の二次元表面に沿う複数の位置から同時に漏れ出る光を同時に区別して検出する構成である。
【0054】
さらに別の観点として、感知器は、あらかじめ定められた波長の光導波体が受け取る光を放出する光源をさらに有し、画像化カメラは、実質的にあらかじめ定められた波長でのみ光を検出する構成である。
【0055】
追加的な観点として、光源は第1および第2のあらかじめ定められた波長の光を放射し、画像化カメラは、実質的に第1のあらかじめ定められた波長でのみ光を検出する構成であり、多接触感知表示装置はさらに、光導波体から漏れ出る実質的に第2のあらかじめ定められた波長でのみ光を検出する第2の画像化カメラをさらに有する。
【0056】
さらなる関心として、光源は、画像化カメラのシャッターに実質的に同期する速度で光のパルスを放射する。
【0057】
さらなる観点として、従順表面被覆は、非平坦接触表面を有する。
【0058】
さらなる観点として、感知器は、二次元ビデオ映像を光導波体に投影するビデオ投影機を有する。
【0059】
この観点の特徴として、多接触感知表示装置は、ビデオ映像が投影される拡散体を有する。
【0060】
この観点の特徴として、拡散体は、ビデオ投影機の投影の速度に同期して電気的に切り替え可能な拡散体スクリーンであり、画像化感知器のシャッター周期により非拡散状態とされる。
【0061】
さらなる特徴として、拡散体は、ある角度の入射に対して拡散、他に対して非拡散となる方向性拡散体(たとえばホログラフ、ルミスティー等)である。
【0062】
さらに別の特徴として、追加的なカメラを用いて、拡散体が非拡散であるときにその拡散体を通して接触物体を観測する。
【0063】
この観点の別の特徴として、従順表面被覆は、ビデオ投影機により投影されたビデオ映像を拡散する構成である。
【0064】
この具体化のまたさらなる観点として、従順表面被覆は、光源と同じ波長の周囲の光を排除する成分と、相互作用面の摩擦を削減する成分と、グレアを削減する成分と、使用者が押しつけるための快適な緩衝を提供する成分とを含む。
【0065】
さらに別の観点として、感知器は、二次元ビデオ映像を光導波体を通して従順表面被覆に投影するビデオ投影機を有し、従順表面被覆は、ビデオ投影機により投影されたビデオ映像を拡散する構成である。
【0066】
本発明のさらなる具体化によると、多接触感知方法は、光を光導波体内に受け取るステップと、受け取った光を光導波体内で内部反射するステップと、一部の反射光を光導波体から漏れ出させるために内部反射光を妨げるステップと、漏れ出る光を画像化するステップとを含む。
【0067】
本発明のこの具体化の観点として、複数の赤外発光ダイオードを有する光源により光を放射する。
【0068】
さらなる観点として、この方法は、光導波体として、研磨された透明端を有するアクリル製の薄板を準備することを含む。
【0069】
追加的な観点として、光導波体に物体を接触させて、内部反射光を妨げる。
【0070】
別の観点として、使用者の1以上の指を光導波体に接触させて、内部反射光を妨げる。
【0071】
またさらなる観点として、内部反射光は、光導波体内の複数の位置で同時に妨げられる。複数の位置のいくつかは、互いに離れて配置される。
【0072】
さらに追加的な観点として、光導波体の互いに離れて配置された第1および第2の場所で同時に接触があると、光導波体の対応する位置から同時に反射光が漏れ出す。
【0073】
この観点の特徴として、そのような複数の接触位置における妨害が、使用者のふたつの指が光導波体に接触したことにより実行される。
【0074】
またさらなる観点として、光導波体から漏れ出る光は、二次元表面に沿って区別して画像化される。
【0075】
さらに別の観点として、光導波体の二次元表面に沿う複数の位置から同時に漏れ出る光を区別して画像化する。
【0076】
さらに追加的な観点として、あらかじめ定められた波長の光を光導波体に受け取り、実質的にあらかじめ定められた波長でのみ光を画像化する。
【0077】
またさらなる観点として、ふたつの異なる波長の光を光導波体に受け取り、光導波体から漏れ出る実質的にそれらの波長でのみ画像化する。
【0078】
この観点の特徴として、ふたつの異なるカメラが、ふたつの異なる波長で、光を画像化する。
【0079】
またさらなる観点として、光導波体内に光のパルスを受け取り、パルスの速度に実質的に同期するシャッターを有する画像化カメラで、漏れ出る光を検出する。
【0080】
さらに他の観点として、非平坦表面を有する光導波体を準備する。
【0081】
さらに追加的な観点として、この方法は、二次元画像を光導波体に投影することを含む。
【0082】
この観点の特徴として、拡散体を設け、投影されたビデオ映像を拡散する。
【0083】
またさらなる観点として、二次元ビデオ映像を投影し、光導波体の非接触表面に配置された拡散体により拡散し、光導波体の接触表面への接触が、内部反射光の妨げとなる。
【0084】
この観点の特徴として、光導波体の非接触側からビデオ映像を投影する。
【0085】
さらに別の観点として、投影されたビデオ映像を光導波体に近接して拡散する。
【0086】
この観点の特徴として、拡散体の実体部分と光導波体との間に小さな間隙を設けて、拡散体による内部反射光の妨害を最小化する。
【0087】
この観点のさらなる特徴として、ビデオ映像の投影の速度に同期して電気的に切り替え可能な拡散体スクリーンを準備する。この拡散体スクリーンは、漏れ出る光を画像化する感知器のシャッター周期により非拡散となる。
【0088】
さらに別の特徴として、準備される電気的に切り替え可能な拡散体スクリーンは、ある角度の入射に対して拡散、他に対して非拡散となる方向性拡散体(たとえばホログラフ、ルミスティー等)である。
【0089】
別の観点として、追加的なカメラを設け、換算体を日拡散として接触する物体を観測しているときに、拡散体を通して見えるようにする。
【0090】
またさらなる観点として、光導波体のそれぞれ異なる部分から漏れ出る光を複数の画像化カメラにより画像化する。
【0091】
この観点の特徴として、複数の二次元ビデオ映像が光導波体のそれぞれ異なる位置に投影される。
【0092】
さらに別の観点として、ビデオ映像が、光導波体を通して、光導波体から漏れ出る光を通過させることのできる液晶表示パネルにより表示される。
【0093】
本発明の別の具体化によると、多接触感知方法は、光を光導波体内に受け取るステップと、受け取った光を光導波体内で内部反射するステップと、光導波体に近接して配置された従順表面被覆を押しつけるステップと、従順表面被覆を押しつけて従順表面被覆により光導波体に接触するステップと、光導波体内の内部反射光を光導波体から漏れ出させるために、従順表面被覆により光導波体に接して、光導波体内の内部反射を妨げるステップと、漏れ出る光を画像化するステップとを含む。
【0094】
本発明のこの具体化のひとつの観点として、この方法はさらに、従順表面被覆の実体部分と光導波体との間に小さな間隙を設けるステップを含み、従順表面被覆が押しつけられていないときには全反射の妨害が最小化する。
【0095】
この具体化の別の観点として、従順表面被覆は、使用者の指により押しつけられる。
【0096】
またさらなる観点として、従順表面被覆は、受動スタイラス、手袋をはめた手、およびまたは任意の物体により押しつけられる。
【0097】
またさらなる観点として、従順表面被覆は、複数の場所で同時に押しつけられ、光導波体は、従順表面被覆による複数の対応する場所での接触が行われ、光導波体内の内部反射光は、複数の対応する場所で同時に妨げられる。
【0098】
この観点の特徴として、少なくともふたつの対応する場所が、互いに離れて配置される。
【0099】
追加的な観点として、光導波体の二次元表面に沿う位置から出力される光が、区別されて画像化される。
【0100】
またさらなる観点として、記光導波体の二次元表面に沿う複数の位置から同時に漏れ出る光が、区別されて画像化される。
【0101】
さらに別の観点として、あらかじめ定められた波長の光を光導波体内に受け取り、そのあらかじめ定められた波長で、漏れ出る光を画像化する。
【0102】
さらに追加的な観点として、ふたつの異なる波長を光導波体内に受け取り、実質的にこれらの波長でのみ、漏れ出る光を画像化する。
【0103】
この観点の特徴として、第1および第2のカメラを用意し、それぞれのカメラで異なる波長の光を画像化する。
【0104】
またさらなる観点として、光のパルスを光導波体内に受け取り、それに実質的に同期するシャッターを有する画像化カメラにより、漏れ出る光を画像化する。
【0105】
さらに別の観点として、非平坦接触表面を有する従順表面被覆を用いる。
【0106】
さらに追加的な観点として、二次元ビデオ映像を光導波体上に配置された拡散体に投影する。
【0107】
さらなる目的として、ビデオ映像の投影の速度に同期して電気的に切り替え可能な拡散体スクリーンを準備する。この拡散体スクリーンは、漏れ出る光を画像化する感知器のシャッター周期により非拡散となる。
【0108】
さらに別の特徴として、準備される電気的に切り替え可能な拡散体スクリーンは、ある角度の入射に対して拡散、他に対して非拡散となる方向性拡散体(たとえばホログラフ、ルミスティー等)である。
【0109】
別の観点として、拡散体が非拡散のときにこの拡散体を通して見通すことのできる追加的なカメラを設け、接触する物質を観測する。
【0110】
この観点の特徴として、投影されるビデオ映像が、光導波体に配置された拡散体により拡散される。
【0111】
この観点のさらなる特徴として、従順表面被覆が、投影されるビデオ映像を拡散する。
【0112】
さらに別の観点として、従順表面被覆は、光源と同じ波長の周囲の光を排除する成分と、相互作用面の摩擦を削減する成分と、グレアを削減する成分と、使用者が押しつけるための快適な緩衝を提供する成分とを含む。
【0113】
さらに追加的な観点として、二次元ビデオ映像が光導波体を通して従順表面被覆に投影され、投影されたビデオ映像が、従順表面被覆により拡散される。
【0114】
当業者であれば、本発明の種々の異なる目的、利点および特徴が容易に明らかとなる。新規な特徴は、添付の請求の範囲により特に指摘されている。
【0115】
以下の詳細な記載は、例として示すものであり、本発明を限定を意図するものではなく、添付の図面と組み合わせて本発明を良く理解するためのものである。図において、同じ参照番号は、同様の要素および部分を示す。
【図面の簡単な説明】
【0116】
【図1A】本発明に係る多接触感知の例を示す図である。
【図1B】本発明に係る多接触感知の例を示す図である。
【図1C】本発明に係る多接触感知の例を示す図である。
【図1D】本発明に係る多接触感知の例を示す図である。
【図2】本発明に係る全反射妨害に基づく多接触感知表示装置の概要を示す図である。
【図3】本発明に係る多接触感知表示装置の2指での使用の概要を示す図である。
【図4】本発明にしたがって使用される非平坦光導波体の概要を示す図である。
【図5】従順表面被覆を用いる本発明に係る多接触感知表示装置の概要を示す図である。
【図6A】汚染された表面の出力からの画像を示す図である。
【図6B】本発明に係る従順表面を用いる場合の汚染された表面の出力からの画像を示す図である。
【図7】本発明に従って使用される平面光導波体および非平坦従順表面被覆の概要を示す図である。
【図8】本発明に従って複数の画像化感知器および投影機を用いるシステムの概要を示す図である。
【図9】液晶表示装置を使用する本発明に係る多接触感知表示装置の概要を示す図である。
【図10】複数の光波長と複数の画像化感知器とを用いる本発明に係る多接触感知表示装置の概要を示す図である。
【発明を実施するための形態】
【0117】
多接触感知は、いちどに複数のキーを押すコーディング(chording)操作および両手操作の場合と同様に、使用者がいちどに1以上の指を用いて、システムと相互作用(対話)することを可能とする。多接触感知では、多数の使用者による同時操作も可能である。これは特に、インタラクティブ・ウォールやテーブル・トップのような、大きな共有表示システムに有用である。図1Aから図1Dは、本発明の多接触感知のいくつかの単純な例を示す。
【0118】
本発明に係る多接触感知は、全反射妨害(FTIR)に基づいている。光がガラスから空気のように低屈折率の媒質との界面に出会うと、その光は、入射角に依存する量だけ反射する。入射角がある臨界角を超えると、光は全反射(TIR)する。しかし、界面に他の材料が置かれると、全反射が妨げられ、光を導波体から逃がすことができる。FTIRの概念は、この分野では良く知られ、かつ良く理解されている。ここでは、本発明の理解に必要な場合を除いて、FTIRのこれ以上の技術的な説明は省略する。
【0119】
本発明は、FTIRを用い、高い空間解像度および時間解像度で真実の接触イメージ情報を得ることのできるシステムを提供する。ここで論じるように、このような使用によって、本発明の多接触システムは、大きな装置へのスケールの拡大が可能であり、後方投影を含む表示技術との併用によく適している。
【0120】
図2は、本発明に係る多接触感知表示装置10の単純化した概要を示す図である。図示のように、多接触感知表示装置10は、便宜上「感知器10」ともいうが、光導波体12、光源14、光吸収表面(バッフル)16および画像化感知器20(ここでは画像化カメラともいう)を有する(図2の他の構成要素については後述する)。
【0121】
光源14は、望ましくは、多数の高出力赤外線LEDを含む。これらのLEDは、全反射状態となる結合を最大にするように、光導波体12の研磨端に直接対向して配置される。たとえば、これらのLEDは、880nmで460mWの総光出力を提供することができる。もちろん、他の光出力を用いることもできる。
【0122】
光導波体12として、アクリル製の薄板を用いることができる。この薄板の端は、光が入射するように研磨しておく。他の適切な材料を用いることもできる。製作したプロトタイプの一例では、光導波体12として、4分の1インチ(6.4mm)厚のアクリル薄板で、寸法が16インチ×12インチ(406mm×305mm)のものを用いている。通常のガラスは、光透過率がよくないことから、一般には好ましくない。しかし、より透明度の高いガラス形成材料(たとえばwater white)を用いることもできる。そのようなガラスは高価であるが、構造的には硬く、アクリルのように簡単に引っ掻き傷が生じることもない。
【0123】
光源14から放射された光は、光導波体12内で全反射を受け、光が光導波体12内に閉じ込められたままとなる。光導波体12の接触面12aに接して、図2に示す指30のような物体を置くと、全反射が妨げられ、いくらかの光が、図に矢印Aで示すように、光導波体12から散乱する(散乱光)。
【0124】
本発明に係る感知器10は、単一接触の応用で用いることもできるが、本発明によれば、多接触での応用に特によく適している。図3は、使用者の2本の指が、同時に、本発明に係る多接触感知表示装置10の光導波体12に接触している状態を概略的に示す。図示のとおり、第1および第2の指30a、30bが、ふたつの異なる位置で光導波体12に接している。これにより、光導波体12内の全反射が、ふたつの領域で妨げられることとなる。これにより、光導波体12のこのような異なる領域から、図中の矢印B、Cで示すように光が漏れ出る。
【0125】
図2に戻って参照すると、画像化感知器20が直角に配置され、光導波体12から散乱された光を検出する。他の配置として、画像化感知器20を他の位置に配置できるように、種々の光学部品(たとえばミラー)を用いて散乱光の方向を変えることもできる。どちらの場合でも、画像化感知器20には光源14の出力に一致する帯域フィルタを設け、背景信号を最小化することが望ましい。画像化感知器20として、CCD、CMOSなどの他のタイプのものを用いることもできる。
【0126】
画像化感知器20の機能はまた、光ダイオード、光トランジスタまたは他の光感知素子の二次元配列のように、多点の光を感知するものであれば、どのような手段により提供されてもよい。
【0127】
本発明によれば、画像化感知器20は、連続的に、光導波体12の非接触表面12bから漏れ出る光を画像化する。したがって、画像化感知器20は、連続する各時点ごとに、光導波体12のすべての接触点を区別して感知する。このゆえに、図2に示す使用者の1本の指による接触のような「単一」点の接触に対して、光導波体12に実際に接する指の表面に相当する単一の接触「領域」が、画像化感知器20により個別に感知される。同様に、2以上の物体(たとえば使用者の2本以上の指)が光導波体12に触れると、複数の接触領域が、区別されて(かつ同時に)画像化感知器20により感知される。ここで用いたように、接触点、「場所」に接触、または他の同様な表現は、文脈から他の意味を意図する記述であることが明確なものでない限り、接触領域の意味であるものとする。
【0128】
さらに、単一の接触点(接触領域)の場合でも、本発明に係る感知器は、比較的小さい接触点と、より大きな接触点とを区別する。たとえば、比較的小さい圧力で光導波体に接している指の接触領域は、より大きい圧力が加えられている場合の接触領域より一般に小さくなる(すなわち、大きい圧力が加えられるときには、指の広い部分が光導波体の表面に接する)。
【0129】
画像化感知器20を十分に高いフレーム捕捉速度(たとえば60フレーム毎秒)および十分に高い画像化解像度で用いることにより、光導波体12の1、2またはそれ以上の接触点(領域)を連続的に感知して、本発明の多接触感知表示装置の使用者の指によるような、1以上の物体によるすべての最初の接触、移動および接触の途切れ(同時およびまたは連続的な接触/移動を含む)を十分に追跡することができる。
【0130】
画像化感知器20の出力は、修正、背景減算、雑音除去、各ビデオフレームの解析など、種々の公知の画像化処理動作を扱うことのできる適切なコンピュータ(図示せず)または他の電子装置に供給される。公知の機械視覚追跡技術を用いて、一連のビデオを個別の接触事象および筆遣いに変換することもできる。画像化感知器20としては、光を8ビット単色、60フレーム毎秒、解像度640×640(表面上で1mm2に相当)で捕らえるものが、多くの多接触感知応用に適している。もちろん、より大きい解像度、他のフレーム捕捉速度およびまたは他の特性をもつ画像化感知器を用いることもできる。処理は、どのような適切な計算システムにより行われてもよい。
【0131】
本発明に係る多接触感知は、視界遮断やあいまいさの問題なしに、接触情報の完全な画像化を提供する。接触感知は力が不要で正確であり、接触と非常にわずかな間隙をもって空中へ止まった状態とを、正確に区別することができる。本発明に係る多接触感知表示装置は、時間および空間の双方について、高い解像度で標本化することができる。多接触感知表示装置はスケーラブルであり、接触表示装置を壁などの非常に大きい表面に拡張できる。ただし、多接触感知表示装置が比較的大きな領域を覆うものである場合には、感知器/カメラの解像度および照明の量を含む種々の因子を考慮しなければないない。
【0132】
本発明のひとつの変形例では、光導波体が、非平坦接触表面すなわち非平面を有する。接触面は、凹面、凸面または他の非平坦に設計することができる。ひとつの例として、図4は、半球形状を有する光導波体32を示す。このような形状は、たとえば地球上の立体をマッピングする制御応用に適する。
【0133】
本発明に係る多接触感知表示装置は、単独で用いることもできるが、視覚的に完全に透明なので、後方投影との組み合わせでの使用に特によく適している。たとえば、このような組み合わせにより、上面/前方投影で生じる視界遮断や影が発生する不利益を防ぐことができる。本発明の他の実施の形態によると、図2に示すビデオ投影機22を、本発明に係る多接触感知表示装置内で用いることができる。図2では投影機22が画像化感知器20と並んで配置されているが、一般的には、適切な光学系の助けにより、他の位置およびまたは画像化感知器20から離して配置してもよい。
【0134】
投影機22に沿って、適切な拡散体18が、光導波体12の裏面(非接触面)に配置される。拡散体18は光導波体12と並んで配置され、両者の間には小さい間隙24が設けられる。この間隙24により、拡散体18が光源14により出力された光の全反射を妨げることはない。さらに、拡散体18は、画像化される光の源(たとえば使用者の指)に比較的近いので、画像化感知器20から見る赤外線イメージに大きな影響を与えることはない。一方、この仕組みは、導波体の厚さ(たとえば4分の1インチ)に対応して、表示装置と相互作用面との間の不一致をもたらすことから、必要であれば、光導波体12としてより薄いものを用いてもよい。このような場合、拡散体18の裏に透明な材料の別の層を重ねて、不一致を増やすことなく構造的な支えを付加し、光導波体12が比較的大きい場合であっても、その剛性を高めることができる。
【0135】
光導波体12は、投影機22により出力される表示の明るさの低下を最小にするため、非接触側(投影機側)に反射防止被膜を含むことが望ましい。
【0136】
本発明に係る多接触感知表示装置の応答は、感知される物体の光学的な質に依存する。たとえば、光導波体の接触側にコーヒーカップのような物品を配置しても、そのような接触で光の全反射が妨げられなければ、そのような接触は検出されない。しかしながら、本発明は、FTIRが光導波体の接触側に接触する材料の種類に依存しないように設計することもできる(以下でさらに論じる)。このような場合に、本発明の多接触感知表示装置は、たとえば手袋をはめた手(または乾いた皮膚)、受動スタイラスおよび任意の物体による接触を十分に検出する。
【0137】
本発明の別の実施の形態によると、本発明の多接触感知表示装置に、従順表面被覆を用いることができる。図5は、従順表面被覆(すなわち「従順表面」)を用いた多接触感知表示装置40の単純化した概要を示す図である。図示のとおり、従順表面48は、光導波体42の接触面の隣に配置される。小さな間隙54が従順表面48と光導波体42との間に配置され、たとえば使用者の指60が従順表面48に接していないときには、光源44により出力された光の全反射が妨げられることはない(妨げられるとしても、無視できる程度である)。一方、従順表面48が、たとえば使用者の1以上の指により、1箇所または多数箇所で同時に押しつけられると、従順表面48は直下の(すなわち隣接している)光導波体42に接触する。このようにして接触した位置で全反射を妨害し、これにより、従順表面48が接触した点に相当する位置で、光が光導波体42から(同時に)漏れ出ることになる。画像化感知器50はここで、漏れ出た光を検出する。
【0138】
従順表面は、通常のビニル後方投影スクリーン材料(たとえばRosco Gray #02015)を含む種々のプラスチックフィルムおよび他の材料でできている。本発明に係る他の種々の従順表面について以下で論じる。
【0139】
本発明に係る従順表面を用いる多接触感知表示装置は、都合のよいことに、油および汗のような、長期の使用により感知器に堆積する汚染物質に影響を受けることがない。すなわち、従順表面の接触表面上の油、土、汗および他の材料が、従順表面の押しつけによる全反射の妨害の品質を低下させることがないか、あるいはさもなければ、強い影響を与えることがない。同様に、従順表面の接触表面の引っ掻き傷や欠け目が、本発明に係る多接触感知表示装置の感知特性に大きな影響を与えることはない。たとえば、図6Aは、従順表面が無い汚染された表面の出力の映像を示し、これに対して図6Bは、従順表面を用いた場合の出力の映像を示す。図示の通り、本発明の多接触システムに従順表面を用いる場合には、汚染により生じる雑音が完全に除去される。
【0140】
本発明に係る従順表面を用いる多接触感知表示装置はまた、都合のよいことに、FTIRに関して、接触している物体の有効性よりもむしろ、真実の力の情報を基本として機能する。これにより、感知器は、表面を押しつけているどのような物体でも、区別せずに検出することができる。したがって、使用者は、受動スタイラスを使用することができ、手袋をはめた手や、ペンなどを使用することができる。
【0141】
これとは別の実施の形態では、以下にさらに論ずるように、多数の赤外導波体を用い、背景光源および雑音から所望の信号をより良く区別する。
【0142】
本発明に係る従順表面を用いる多接触感知表示装置は、上述したように、後方投影なしに利用することができる。本発明の他の実施の形態では、従順表面を用いる多接触感知表示装置もまた、後方投影機(図5に示す投影機52)を用いることができる。望ましくは、そして都合のよいことには、従順表面は、後方投影の拡散体として動作する。このゆえ、本実施の形態は、グラフィックス表示と感知との基本的な統合システムとなる。
【0143】
本発明の他の実施の形態によれば、従順表面は、多数の材料の複合体により構成され、それぞれが以下の所望の特定の1以上に寄与する。すなわち、i)FTIRの有効性、ii)後方投影のための光拡散体としての機能、iii)周囲からの光からの干渉を軽減するための波長選択遮蔽、iv)表示装置の視界を高めるアンチグレア、v)人間にとっての触覚「感」、vi)耐久性−−「硬質被覆」が設けられた層をその場で取り替えることができることが望ましい。用いられる種々の層は、公知の屈折率整合光接着剤を使用して互いに貼り付けることができる。
【0144】
多数の材料による複合体として構成された従順表面のひとつの例として、(1)ゴムの薄い層、(2)金属被膜が施された薄膜PET(ポリエチエン・テレフタレート)フィルム、化学処理によりつや消し表面を有する薄いPETフィルムを含む。ゴムの薄い層は、FTIR接触のために設けられ、後方投影のための拡散体として動作し、快適な触覚反応を提供する。金属被膜が施された薄膜PETフィルムは、周囲の赤外光を反射/吸収する。つや消し表面を有する薄いPETフィルムは、使用者の指が容易にすべることのできる快適な表面のため、また、耐久性のために設けられる。
【0145】
従順表面は、非平坦すなわち非平面であってもよい。凹面、凸面または他の非平坦に設計することができる。図4に示す非平坦な光導波体と同様に、図7に、典型的な非平坦光導波体62を示す。この非平坦光導波体62の上には、非平坦従順表面被覆64が配置される。他の変形としては、非平坦従順表面被覆が、平坦光導波体の上に配置されてもよい。
【0146】
本発明の他の実施の形態によれば、ここで説明した実施の形態のいずれかおよび変形例と、光源(たとえば図2に示すLED14または図5に示すLED44)とを用い、この光源が、パルス動作し、画像化感知器(たとえば図2に示すビデオ感知器20または図5に示す感知器50)のシャッターに同期する。これにより、画像化感知器の受け取る周囲の光の量を有効に削減する。すなわち、画像化感知器のシャッターは、光源のパルス期間にのみ露光する。本発明の特徴として、光源はより明るい強度でパルス発光でき、システムの信号対雑音比を高めることができる。他の光源(たとえばレーザー)を用いることもできる。
【0147】
本発明の他の実施の形態では、多数の画像化感知器および多数の投影機を用いて、比較的大きな多接触システム(たとえば多数の使用者が同時に使用するような)を実現することができる。図8は、典型的なシステム70の概要を示す。このシステム70は、3台の画像化感知器72a、72bおよび72cを、3台の投影機74a、74bおよび74cに沿って使用する。ひとつの形態では、図8に示すように、それぞれの感知器が光導波体76の異なる点から漏れ出た光を画像化し、それぞれの投影機がそれぞれビデオ映像をそれらの部分のひとつに投影する。画像化感知器および投影機は、ひとつの軸に沿って、多数の軸に、格子システムに沿って、あるいは他の形態で、互いに離れて配置される。図8に示す典型的な配置では従順表面78が用いられるが、多数の感知器およびまたは多数の投影機が、従順表面の無いひとつのシステム内で用いられてもよく、また、ここで説明する他の実施の形態のいずれかで用いられてもよい。
【0148】
本発明のさらに別の実施の形態では、投影機に代えて、液晶表示パネルを使用する。図9は、単純化された概略的なシステム80を示す。このシステム80は、液晶表示パネル82を用いた多接触感知器を有する。液晶表示パネル82は、光導波体84と画像化感知器86との間に配置される。液晶表示パネル82は、赤外光に対して透明に構成/設計され、これにより、光導波体84から漏れ出た赤外光を画像化感知器86で画像化できる。液晶表示パネルは良く知られており、本発明の理解に必要な場合を除いて、ここではこれ以上の説明は省略する。液晶表示バックライト90を、液表表示パネル82の裏に配置することができる。ここでも、従順表面88を使用することができる。この場合は、従順表面88を、光拡散特性をもたないように構成/設計する。一般に、液晶表示パネルを用いることで、体積を削減し、可搬性を高めることができる利点がある。
【0149】
本発明のさらにまた別の実施の形態では、1以上の追加的な画像化感知器が、液晶表示パネルの裏に配置される。これらの感知器からの画像は、計算機械により処理され、接触点およびまたは使用者、たとえばそれぞれの接触に関連する使用者の指の姿勢または識別、に関する特別の情報が判定される。
【0150】
本発明のさらにまた別の実施の形態では、図10に概略的に示すように、光、望ましくは赤外光の2波長が光源から出力され、2台の画像化感知器を用いる。図示する実施の形態では、システム100内で、2組の発光ダイオード群102aおよび102bを用いる。発光ダイオード群102aは、発光ダイオードの配列か、あるいは他の種類の光源であり、たとえば880nmの光を放射する。同様に、発光ダイオード群102bは、発光ダイオードの配列か他の種類の光源であり、たとえば950nmで光を放射する。画像化感知器104aは、最初の波長(たとえば880nm)で光を画像化し、画像化感知器104bは、第二の波長(たとえば940nm)で光を画像化する。適切なフィルタを用いてもよい。本発明の選択的特徴として、光を双方の画像化感知器で受け取り(たとえば同じ時間および位置で)、システムがそのような時間/位置での接触(すなわちFTIR反応)の発生を認識する。よく知られた処理方法を用いて、双方のビデオストリームをこのように処理することができる。このように、多波長および多数の画像化感知器を用いることにより、FTIR反応をさらに背景光から区別することができる。さらに、従順表面を用いない場合に、活動している指を、潜んでいる残留物から区別する。3以上の波長を用いることもできる。変形として、単一の画像化感知器を用い、多数の選択的周波数または周波数範囲で光を画像化するように設計することもできる。多数の光波長は、1以上の画像化感知器と共に、ここで説明した種々のシステムで、従順表面被覆を用いるようなシステムでも用いないシステムでも、使用できる。
【0151】
本発明のさらに別の実施の形態では、電気的に切り替え可能な拡散体スクリーンを投影機と共に用いる。電子的な制御により電気的に透明状態から曇った状態に切り替えることのできる液晶プライバシーガラス窓を用いる。そのような電子切り替えスクリーンは、非特許文献15、16に開示されている。
【0152】
液晶プライバシーガラス窓は、比較的高速(たとえば1秒に60回)にふたつの状態を切り替えることができ、画像化感知器(たとえば赤外線カメラ)の切り替えに同期することができる。これにより、液晶プライバシーガラス窓が瞬間に透明になるときに、第2(または第3)の感知器の視線がスクリーンを通して見え、接触物体を観測できるようになる。従順表面を用いる場合には、拡散性とならないように選択/工作する。追加的な感知器からの映像を計算ハードウェアにより処理し、たとえば使用者の手の方向または姿勢のように、接触についてのものとは別の情報を判定する。変形として、拡散体は、選択された角度の入射に対して拡散し、他の角度の入射に対しては拡散しないように設計された、方向性を有する種類の拡散体とすることもできる。
【0153】
本発明のさらに別の実施の形態では、種々の他の拡散体を使用し、追加的な感知器がスクリーンを通して鮮明に見ることができる一方で、同時に、後方投影器からの光が拡散するようにすることもできる。典型的なスクリーンは、非特許文献17で論じられているタッチライトで採用されているホログラフフィルムを含む。より安価なものとして、方向性散乱フィルムが非特許文献18で論じられている。レイリー散乱材料を用いることもできる。このような材料は、可視波長を拡散するが、便利な赤外帯域で実質的に透明である。
【0154】
本発明を多数の実施の形態により説明し、これらの実施の形態の種々のものに対して、さらにその変形および例を説明した。しかしながら、当然、本発明の意図から離れない限り、当業者にとって既知または開示されている他の手段を用いることもできる。
【技術分野】
【0001】
本発明は、全反射を妨害することに基づく高解像度の多接触感知表示装置を可能にするための技術に関する。
【背景技術】
【0002】
触れたことを感知する接触感知技術として、単一点の接触のためのものはありふれている。しかし、多点の接触を同時に感知すること、すなわち多接接触感知(multi−touch sensing)は、比較的困難である。
【0003】
多接触感知のためのひとつのどちらかといえば直接的な取り組みとして、複数の個別の感知器を用い、それぞれの感知器で、対応する接触点を感知するものがある。たとえばTactex Control Inc.社は、床感知器、警備装置およびその他の用途に使用するための1列に配置された感知器を有している。他の例として、非特許文献1は、マトリクス構成に配置され各ノードに能動素子(ダイオード)が配置された感知器の使用を開示している。Fingerworks社のiGesture Pad(商品名)は、マトリクス構成でそれぞれのノードに能動トランジスタを有する多数の個別感知器を採用する装置の別の例である。特許文献1は、多接触表面システムに近接感知器の配列を用いる追加的な例を開示している。
【0004】
多接触感知は、非特許文献2で論じられているように、力感知抵抗(FSR:force-sensitive-resistor)の単純な受動マトリクスを注意深く使用することにより達成できる。特許文献2は、この目的のために、容量性電極を使用することを開示している。これについては、最近になって、非特許文献3で論じられている。このようなシステムは、多数の能動感知器を用いるシステムほど複雑ではないが、それでもなお、膨大な電気接続を必要とする。このため、その利用が、比較的低解像度(たとえば100×100未満)であることを必要とする用途に限定される、という欠点がある。さらに、このようなシステムは、視覚的に不明瞭であり、グラフィック表示と統合するには、上面投影を使用する必要がある。最後に、このようなシステムは、使用する電気信号が微弱であることによる耐久性の問題がある。
【0005】
高解像度のデータセットを高速に捕らえるために、ビデオカメラの使用が提案されている。しかしながら、このような映像を基礎とする技術は、まったく不正確であり、本当に触れたかどうかを判定することはできない。このような不正確さは、使用者の操作にとって、まったくの妨害となってしまう。最近の取り組みとして、非特許文献4に論じられているように、強度から深さを推定するものや、非特許文献5、6に開示されているように、ステレオから深さを推定するもの、非特許文献7に開示されているように、変形可能な基板内に埋め込まれたマーカーを追跡するものなどがある。
【0006】
他に分類される接触感知技術として、全反射妨害(FTIR:frustrated total internal reflection)によるものがある。光が低屈折率の媒体への界面(たとえばガラスから空気)に出会うと、その光は、入射角に依存する量だけ反射し、ある臨界角を超えると、全反射(TIR)する。ファイバ光学、光パイプ、および他の光導波路は、この現象によって、光を非常に低損失で効率良く輸送することができる。しかしながら、界面に他の材料があると、この全反射を妨害することができ、光を導波路から逃がすことができる。
【0007】
全反射妨害は良く知られており、生物測定学の分野では、少なくとも1960年代から、指紋の隆起線を画像化するために使用されている。特許文献3は、全反射妨害を利用して皮膚表面の隆起線パターンを光学的に検出することを述べている。
【0008】
特許文献4は、接触により作動する装置の初期のものを開示している。この装置では、二進装置が、平坦導波体を通過する光の指の接触により生じる減衰を検出する。
【0009】
特許文献5は、使用者が、ブラシ、スタイラスおよび指のような自由な形態の物体を使用して、表示画面上に「ペイント」することのできる画像化接触感知器について述べている。この装置では、CRTの飛点からの光を大きなプリズムの面で全反射させ、単一の光検出器に集光し、これにより、接触のある領域の更新ビットマップを生成する。1985年には、この方法が、非特許文献8に開示されているように、CRTおよび光検出器の代わりにビデオカメラおよび広い光源を用いて、光学的に反転した構成に更新されている。
【0010】
特許文献6は、CRTに基づく接触感知器を開示している。この接触感知器は、大きなプリズムの代わりに薄いプラテン導波体を用い、光学的に接触した物体により散乱される光を検出することで動作する。さらに、最近の指紋感知器は、非特許文献8に開示されているように、このような取り組みを利用している。
【0011】
ロボティクスの分野ではまた、この取り組みを、1984年から、ロボットの物をつかむ装置のための触覚感知器の構築に用いている。この物をつかむ装置は、従順(compliant)表面被覆を有している。このような技術に関する刊行物としては、非特許文献9、10および特許文献7がある。
【0012】
従順表面被覆の使用に伴い、構造化された柔軟なメンブレンが、通常は空気の間隙により導波体から離れて保持され、押されたときに導波体との光学的接触を形成する。特許文献8は、この取り組みを、接触感知表示装置の文脈で開示している。
【0013】
多接触感知を用いる種々の相互作用技術に関する追加的な刊行物としては、非特許文献11から14などがある。
【先行技術文献】
【特許文献】
【0014】
【特許文献1】米国特許第6,323,846号、Westerman et al.
【特許文献2】米国特許第4,134,063号、Nicol et al.
【特許文献3】米国特許第3,200,701号、White、1965年発行
【特許文献4】米国特許第3,673,327号、Johnson et al.,1972年発行
【特許文献5】米国特許第3,846,826号、Mueller、1974年発行
【特許文献6】米国特許第4,346,376号、Mallos
【特許文献7】米国特許第4,668,861号、White
【特許文献8】米国特許第4,484,179号、Kasday
【非特許文献】
【0015】
【非特許文献1】Lee,S.,Buxton,W., and Smith, K.C., “A Multi-Touch Three Dimensional Touch-Sensitive Tablet”, Proceedings of the SIGCHI Conference on Human Factors in Computing System (San Fransisco, California, United States), CHI ’85. ACM Press, New York, NY, 21-25(1985)
【非特許文献2】Hillis, W.D., “A High Resolution Imaging Touch Sensor,” International Journal of Robotics Research, Pages 1, 2, 33-44(1982)
【非特許文献3】Rekimoto, J., “Smart Skin: An Infrastructure for freehand Manipulation on Interactive Surfaces,” Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, CHI ’02, ACM Press, New York, NY, 113-120(2002)
【非特許文献4】Matsushita, N. and Rekimoto, J., “Holo Wall: Designing a Finger, Hand, Body, and Object Sensitive Wall,” Proceedings of the 10th Annual ACM Symposium in User Interface Software and Technology (Banff, Alberta, Canada, October 14-17, 1997), UIST ’97, ACM Press, New York, NY, 209-210(1997)
【非特許文献5】Wilson, A.D., “TouchLight: An Imaging Touch Screen and Display for Gesture-based Interaction,” Proceedings of the 6th International Conference on Multimodal Interfaces (State College, PA, USA, October 13-15, 2004), ICMI ’04, ACM Press, New York, NY, 69-76(2004)
【非特許文献6】Malik, S. and Laszlo, J., “Visual Touchpad: A two-Handed Gestural Input Device,” Proceedings of the 6th International Conference on Multimodal Interfaces (State College, PA, USA, October 13-15, 2004), ICMI ’04, ACM Press, New York, NY, 289-296(2004)
【非特許文献7】Kamiyama, K., Vlack, K., Mizota, T., Kajimoto, H., Kawakami, N., Tachi, S., “Vision-Based Sensor for Real-Time Measuring of Surface Traction Fields,” IEEE Comput.Graph.Appl.25, 1(Jan. 2005), 68-75
【非特許文献8】Green, R., “The Drawing Prism: A Versatile Graphic Input Device,” Proceedings of the 12th annual Conference on Computer Graphics and Interactive Techniques SIGGRAPH ’85, ACM Press, New York, NY, 103-110(1985)
【非特許文献8】Fujieda, I., Haga, H., “Fingerprint Input based on Scattered-Light Detection,” Applied Optics-IP, 36, 35, 9152-9156(1997)
【非特許文献9】Mott, D.H., Lee, M.H., and Nicholls, H., “An Experimental Very High Resolution Tactile Sensor Array,” Robot Sensors Vol.2: Tactile and Non-Vision, Pugh,A., Ed. Springer-Verlag, Berlin, 179-188(1986)
【非特許文献10】Tanie, K., Komoriya, K., Kaneko, M., Tachis, S. and Fujikava, A., “A High Resolution Tactile Sensor,” Robot Sensors Vol.2: Tactile and Non-Vision, Pugh,A., Ed. Springer-Verlag, Berlin, 189-198(1986)
【非特許文献11】Buxton, W., Hill, R., and Rowley, P., “Issues and Techniques in Touch-Sensitive Tablet Input,” Proceedings of the 12th Annual Conference on Computer Graphics and Interactive Techniques SIGGRAPH ’85, ACM Press, New York, NY, 215-224(1985)
【非特許文献12】Dietz, P., and Leigh, D., “DiamondTouch: A Multiple-Use Touch Technology,” Proceedings of the 14th Annual ACM symposium on User Interface Software and Technology (Orland, Florida, November 11-14, 2001), UIST ’01, ACM Press, New York, NY, 219-226(2001)
【非特許文献13】Westerman, W., Elias, J.G., and Hedge, A., “Multi-Touch: A New Tactile 2-D Gesture Interface for Human-Computer Interaction,” Proceedings of Human Factors and Ergonomics Society 45th Annual Meeting (Minneapolis/St.Paul, MIN, Oct.2001), 632-636(2001)
【非特許文献14】Wu, M. and Balakrishnan, R., “Multi-Finger and Whole Hand Gestural Interaction Techniques for Multi-User Tabletop Displays,” Proceedings of the 16th Annual ACM symposium on User Interface Software and Technology (Vancouver, Canada, November 02-05, 2003), UIST ’03, ACM Press, New York, NY, 193-202(2003)
【非特許文献15】Kunz, A.M. and Spagno, C.P., “Technical System for Collaborative Work,” Proceedings of the Workshop on Virtual Environments (Barcelona, Spain, May 30-31, 2002)
【非特許文献16】W.Stuerzlinger and S.Mueller, Eds, ACM international Conference Proceedings Series, vol.23, Eurographics Association, Aire-la-Ville, Switzerland, 73-80
【非特許文献17】Wilson, A.D., “TouchLight: An Imaging Touch Screen and Display for Gesture-Based Interaction,” Proceedings of the 6th International Conference on Multimodal Interface (State College, PA, USA, October 13-15, 2004), ICMI ’04, ACM Press, New York, NY, 69-76(2004)
【非特許文献18】Matsushita, M., Iida, M., Ohguro, T., Shirai, Y., Kakehi, Y., and Naemura, T., “Lumsight Table: A face-to-face Collaboration Support System That Optimizes Direction of Projected Information to Each Stakeholder,” Proceedings of the 2004 ACM Conference on Computer Supported Cooperative Work (Chicago, Illinois, USA, November 06-10, 2004), CSCW ’04, ACM Press, New York, NY, 274-283(2004)
【発明の概要】
【発明が解決しようとする課題】
【0016】
以上の観点において、多接触感知表示装置の分野においては、限られた開発しかなされていないことがわかる。したがって、高解像度かつ高精細で、比較的単純で、安価で、そしてスケーラブルな多接触感知表示装置の必要性は残されたままである。ここで「スケーラブル」とは、リソースの量に比例して全体のスループットが向上する一種の拡張性をいう。
【0017】
本発明の目的は、高解像度で多接触感知を提供するための、比較的単純で、安価で、かつ大きさが可変の多接触感知表示システム/プロセスを提供することにある。
【0018】
本発明のさらなる目的は、全反射妨害に基づく多接触感知システム/プロセスを提供することにある。
【0019】
本発明の他の目的は、上面投影に頼ることなく、グラフィック表示との併用に適した多接触感知システム/プロセスを提供することにある。
【課題を解決するための手段】
【0020】
本発明のひとつの具体化によると、多接触感知表示装置は、光を受け取り、受け取った光の少なくとも一部を内部で全反射し、この全反射を物理現象の発生により妨げることができ、全反射が妨げられると、内部で全反射している光の一部が漏れ出るように構成された(設計された)光導波体と、この光導波体から漏れ出る光を検出する画像化カメラとを有することを特徴とする。
【0021】
本発明のひとつの観点として、感知器は、光導波体の研磨端に直接に対向して配置された赤外発光ダイオードを有する。
【0022】
本発明のさらなる観点として、光導波体は端が光が入射するように処理されたアクリル製の薄板である。
【0023】
本発明の別の観点として、物理現象は、光導波体への物質の接触を必要とし、このような接触により、全反射が妨げられる。
【0024】
この観点の特徴として、物体は、多接触感知表示装置の使用者の指である。
【0025】
本発明の別の観点として、光導波体は、複数の物理現象の発生により、全反射が複数の位置で同時に妨げられるように構成される。複数の位置のいくつかは、互いに離れて配置される。
【0026】
この観点の特徴として、物理現象は、少なくとも、光導波体の表面の第1の場所への第1の物体の接触と、光導波体の表面の第2の場所への第2の物体の接触とを含み、第1の場所および第2の場所は互いに離れて配置され、光導波体は、対応する第1の位置および第2の位置で全反射が妨げられる構成である。
【0027】
この観点のさらなる特徴として、第1および第2の物体は多接触感知表示装置の使用者の第1および第2の指である。
【0028】
本発明の別の観点として、画像化感知器は、光導波体の二次元表面に沿う位置から出てくる光を個別に検出する構成である。
【0029】
本発明の追加的な観点として、画像化カメラは、光導波体の二次元表面に沿う複数の位置から漏れ出る光を同時に個別に検出する構成である。
【0030】
本発明のさらなる観点として、感知器は、あらかじめ定められた波長の光導波体が受け取る光を放射する光源を有し、画像化カメラは、実質的にあらかじめ定められた波長でのみ光を検出する構成である。
【0031】
本発明のさらに別の観点として、感知器は、第1および第2のあらかじめ定められた波長の光導波体が受け取る光を放射する光源を有し、画像化カメラは、実質的に第1のあらかじめ定められた波長でのみ光のみを検出する構成であり、多接触感知表示装置はさらに、光導波体から漏れ出る実質的に第2のあらかじめ定められた波長でのみ光を検出する第2の画像化感知器を有する。
【0032】
本発明のさらに追加的な観点として、感知器は、画像化カメラのシャッターに実質的に同期する速度で光のパルスを放射する光源を有する。
【0033】
本発明の別の観点では、光導波体は非平坦表面を有し、物理現象は光導波体の非平坦表面への接触を含み、光導波体の非平坦表面への接触により全反射が妨げられる。
【0034】
本発明のさらなる観点として、感知器は、二次元ビデオ映像を光導波体に投影するビデオ投影機を有する。
【0035】
この観点の特徴として、多接触感知表示装置は、ビデオ映像が投影される拡散体を有する。
【0036】
この観点の別の特徴として、光導波体は非接触面と接触面とを有し、拡散体は非接触面上に配置され、物理現象は光導波体の接触面への接触を含み、光導波体の接触面への接触により反射光導波体内での全反射が妨げられる。
【0037】
この観点のさらなる特徴として、ビデオ投影機は、非接触表面が配置される側に対応して光導波体の非接触側に配置され、接触表面が配置される側に対応して光導波体の接触側に配置される使用者によりビデオ映像が見えるように、光導波体に向かってビデオ映像を投影する構成である。
【0038】
本発明の別の観点として、感知器は、二次元ビデオ映像を前記光導波体に投影するビデオ投影機と、光導波体の表面の近傍に配置されビデオ映像が投影される拡散体とをさらに有する。
【0039】
この観点の特徴として、拡散体の実体部分と光導波体との間に小さな間隙が設けられ、拡散体による全反射の妨害が最小化される。
【0040】
この観点のさらなる特徴として、拡散体は、ビデオ投影機の投影の速度に同期して電気的に切り替え可能な拡散体スクリーンであり、画像化感知器のシャッター周期により非拡散状態とされる。
【0041】
この観点のさらなる特徴として、拡散体は、ある角度の入射に対して拡散、他に対して非拡散となる方向性拡散体(たとえばホログラフ、ルミスティー(登録商標)等)である。
【0042】
本発明のさらなる観点として、追加的なカメラを用いて、拡散体が非拡散であるときにその拡散体を通して接触物体を観測する。
【0043】
本発明の別の観点として、画像化カメラは、光導波体のそれぞれ異なる部分から漏れ出る光を検出する複数の画像化カメラを含む。
【0044】
この観点の特徴として、感知器は、複数のビデオ投影機を有し、この複数のビデオ投影機はそれぞれ、光導波体の異なる部分のうちの対応するひとつに二次元ビデオ映像を投影する。
【0045】
本発明の追加の観点として、感知器は、画像化感知器と光導波体との間に配置されビデオ映像を表示する液晶表示パネルを有し、この液晶表示パネルは、画像化感知器による光導波体から漏れ出る光の検出を妨げることのないように、漏れ出る光に対して透明である。
【0046】
本発明の別の具体化によると、多接触感知表示装置は、光を受け取り、受け取った光の一部を内部で全反射する光導波体と、この光導波体に十分に近接して配置され、外部の力により押しつけられて光導波体に接触する従順表面被覆と、光導波体から漏れ出る光を検出する画像化感知器とを有し、光導波体と従順表面被覆とは、光導波体内の全反射が従順表面被覆の光導波体への接触により妨げられる構成であり、光導波体は、全反射が妨げられると、内部で全反射している光の一部が漏れ出る構成である。
【0047】
本発明のこの具体化の観点として、従順表面被覆の実体部分と光導波体との間に小さな間隙が設けられ、従順表面被覆が押しつけられていないときには全反射の妨害が最小化される。
【0048】
この具体化のさらなる観点として、従順表面被覆は、多接触感知表示装置の使用者の指により押しつけられる構成である。
【0049】
この具体化のさらなる観点として、従順表面被覆は、受動スタイラス、手袋をはめた手および任意の物体により押しつけられる構成である。
【0050】
本発明の別の観点によると、従順表面被覆は、複数の対応する場所での同時の押しつけに応答して、光導波体に複数の場所で同時に接触する構成であり、光導波体は、複数の場所で内部の全反射が同時に妨げられる構成である。
【0051】
この観点の特徴として、押しつけ場所の少なくともふたつは互いに離れて配置される。
【0052】
追加の観点として、画像化カメラは、光導波体の二次元表面に沿う位置から出力される光を区別して検出する構成である。
【0053】
またさらなる観点として、画像化カメラは、光導波体の二次元表面に沿う複数の位置から同時に漏れ出る光を同時に区別して検出する構成である。
【0054】
さらに別の観点として、感知器は、あらかじめ定められた波長の光導波体が受け取る光を放出する光源をさらに有し、画像化カメラは、実質的にあらかじめ定められた波長でのみ光を検出する構成である。
【0055】
追加的な観点として、光源は第1および第2のあらかじめ定められた波長の光を放射し、画像化カメラは、実質的に第1のあらかじめ定められた波長でのみ光を検出する構成であり、多接触感知表示装置はさらに、光導波体から漏れ出る実質的に第2のあらかじめ定められた波長でのみ光を検出する第2の画像化カメラをさらに有する。
【0056】
さらなる関心として、光源は、画像化カメラのシャッターに実質的に同期する速度で光のパルスを放射する。
【0057】
さらなる観点として、従順表面被覆は、非平坦接触表面を有する。
【0058】
さらなる観点として、感知器は、二次元ビデオ映像を光導波体に投影するビデオ投影機を有する。
【0059】
この観点の特徴として、多接触感知表示装置は、ビデオ映像が投影される拡散体を有する。
【0060】
この観点の特徴として、拡散体は、ビデオ投影機の投影の速度に同期して電気的に切り替え可能な拡散体スクリーンであり、画像化感知器のシャッター周期により非拡散状態とされる。
【0061】
さらなる特徴として、拡散体は、ある角度の入射に対して拡散、他に対して非拡散となる方向性拡散体(たとえばホログラフ、ルミスティー等)である。
【0062】
さらに別の特徴として、追加的なカメラを用いて、拡散体が非拡散であるときにその拡散体を通して接触物体を観測する。
【0063】
この観点の別の特徴として、従順表面被覆は、ビデオ投影機により投影されたビデオ映像を拡散する構成である。
【0064】
この具体化のまたさらなる観点として、従順表面被覆は、光源と同じ波長の周囲の光を排除する成分と、相互作用面の摩擦を削減する成分と、グレアを削減する成分と、使用者が押しつけるための快適な緩衝を提供する成分とを含む。
【0065】
さらに別の観点として、感知器は、二次元ビデオ映像を光導波体を通して従順表面被覆に投影するビデオ投影機を有し、従順表面被覆は、ビデオ投影機により投影されたビデオ映像を拡散する構成である。
【0066】
本発明のさらなる具体化によると、多接触感知方法は、光を光導波体内に受け取るステップと、受け取った光を光導波体内で内部反射するステップと、一部の反射光を光導波体から漏れ出させるために内部反射光を妨げるステップと、漏れ出る光を画像化するステップとを含む。
【0067】
本発明のこの具体化の観点として、複数の赤外発光ダイオードを有する光源により光を放射する。
【0068】
さらなる観点として、この方法は、光導波体として、研磨された透明端を有するアクリル製の薄板を準備することを含む。
【0069】
追加的な観点として、光導波体に物体を接触させて、内部反射光を妨げる。
【0070】
別の観点として、使用者の1以上の指を光導波体に接触させて、内部反射光を妨げる。
【0071】
またさらなる観点として、内部反射光は、光導波体内の複数の位置で同時に妨げられる。複数の位置のいくつかは、互いに離れて配置される。
【0072】
さらに追加的な観点として、光導波体の互いに離れて配置された第1および第2の場所で同時に接触があると、光導波体の対応する位置から同時に反射光が漏れ出す。
【0073】
この観点の特徴として、そのような複数の接触位置における妨害が、使用者のふたつの指が光導波体に接触したことにより実行される。
【0074】
またさらなる観点として、光導波体から漏れ出る光は、二次元表面に沿って区別して画像化される。
【0075】
さらに別の観点として、光導波体の二次元表面に沿う複数の位置から同時に漏れ出る光を区別して画像化する。
【0076】
さらに追加的な観点として、あらかじめ定められた波長の光を光導波体に受け取り、実質的にあらかじめ定められた波長でのみ光を画像化する。
【0077】
またさらなる観点として、ふたつの異なる波長の光を光導波体に受け取り、光導波体から漏れ出る実質的にそれらの波長でのみ画像化する。
【0078】
この観点の特徴として、ふたつの異なるカメラが、ふたつの異なる波長で、光を画像化する。
【0079】
またさらなる観点として、光導波体内に光のパルスを受け取り、パルスの速度に実質的に同期するシャッターを有する画像化カメラで、漏れ出る光を検出する。
【0080】
さらに他の観点として、非平坦表面を有する光導波体を準備する。
【0081】
さらに追加的な観点として、この方法は、二次元画像を光導波体に投影することを含む。
【0082】
この観点の特徴として、拡散体を設け、投影されたビデオ映像を拡散する。
【0083】
またさらなる観点として、二次元ビデオ映像を投影し、光導波体の非接触表面に配置された拡散体により拡散し、光導波体の接触表面への接触が、内部反射光の妨げとなる。
【0084】
この観点の特徴として、光導波体の非接触側からビデオ映像を投影する。
【0085】
さらに別の観点として、投影されたビデオ映像を光導波体に近接して拡散する。
【0086】
この観点の特徴として、拡散体の実体部分と光導波体との間に小さな間隙を設けて、拡散体による内部反射光の妨害を最小化する。
【0087】
この観点のさらなる特徴として、ビデオ映像の投影の速度に同期して電気的に切り替え可能な拡散体スクリーンを準備する。この拡散体スクリーンは、漏れ出る光を画像化する感知器のシャッター周期により非拡散となる。
【0088】
さらに別の特徴として、準備される電気的に切り替え可能な拡散体スクリーンは、ある角度の入射に対して拡散、他に対して非拡散となる方向性拡散体(たとえばホログラフ、ルミスティー等)である。
【0089】
別の観点として、追加的なカメラを設け、換算体を日拡散として接触する物体を観測しているときに、拡散体を通して見えるようにする。
【0090】
またさらなる観点として、光導波体のそれぞれ異なる部分から漏れ出る光を複数の画像化カメラにより画像化する。
【0091】
この観点の特徴として、複数の二次元ビデオ映像が光導波体のそれぞれ異なる位置に投影される。
【0092】
さらに別の観点として、ビデオ映像が、光導波体を通して、光導波体から漏れ出る光を通過させることのできる液晶表示パネルにより表示される。
【0093】
本発明の別の具体化によると、多接触感知方法は、光を光導波体内に受け取るステップと、受け取った光を光導波体内で内部反射するステップと、光導波体に近接して配置された従順表面被覆を押しつけるステップと、従順表面被覆を押しつけて従順表面被覆により光導波体に接触するステップと、光導波体内の内部反射光を光導波体から漏れ出させるために、従順表面被覆により光導波体に接して、光導波体内の内部反射を妨げるステップと、漏れ出る光を画像化するステップとを含む。
【0094】
本発明のこの具体化のひとつの観点として、この方法はさらに、従順表面被覆の実体部分と光導波体との間に小さな間隙を設けるステップを含み、従順表面被覆が押しつけられていないときには全反射の妨害が最小化する。
【0095】
この具体化の別の観点として、従順表面被覆は、使用者の指により押しつけられる。
【0096】
またさらなる観点として、従順表面被覆は、受動スタイラス、手袋をはめた手、およびまたは任意の物体により押しつけられる。
【0097】
またさらなる観点として、従順表面被覆は、複数の場所で同時に押しつけられ、光導波体は、従順表面被覆による複数の対応する場所での接触が行われ、光導波体内の内部反射光は、複数の対応する場所で同時に妨げられる。
【0098】
この観点の特徴として、少なくともふたつの対応する場所が、互いに離れて配置される。
【0099】
追加的な観点として、光導波体の二次元表面に沿う位置から出力される光が、区別されて画像化される。
【0100】
またさらなる観点として、記光導波体の二次元表面に沿う複数の位置から同時に漏れ出る光が、区別されて画像化される。
【0101】
さらに別の観点として、あらかじめ定められた波長の光を光導波体内に受け取り、そのあらかじめ定められた波長で、漏れ出る光を画像化する。
【0102】
さらに追加的な観点として、ふたつの異なる波長を光導波体内に受け取り、実質的にこれらの波長でのみ、漏れ出る光を画像化する。
【0103】
この観点の特徴として、第1および第2のカメラを用意し、それぞれのカメラで異なる波長の光を画像化する。
【0104】
またさらなる観点として、光のパルスを光導波体内に受け取り、それに実質的に同期するシャッターを有する画像化カメラにより、漏れ出る光を画像化する。
【0105】
さらに別の観点として、非平坦接触表面を有する従順表面被覆を用いる。
【0106】
さらに追加的な観点として、二次元ビデオ映像を光導波体上に配置された拡散体に投影する。
【0107】
さらなる目的として、ビデオ映像の投影の速度に同期して電気的に切り替え可能な拡散体スクリーンを準備する。この拡散体スクリーンは、漏れ出る光を画像化する感知器のシャッター周期により非拡散となる。
【0108】
さらに別の特徴として、準備される電気的に切り替え可能な拡散体スクリーンは、ある角度の入射に対して拡散、他に対して非拡散となる方向性拡散体(たとえばホログラフ、ルミスティー等)である。
【0109】
別の観点として、拡散体が非拡散のときにこの拡散体を通して見通すことのできる追加的なカメラを設け、接触する物質を観測する。
【0110】
この観点の特徴として、投影されるビデオ映像が、光導波体に配置された拡散体により拡散される。
【0111】
この観点のさらなる特徴として、従順表面被覆が、投影されるビデオ映像を拡散する。
【0112】
さらに別の観点として、従順表面被覆は、光源と同じ波長の周囲の光を排除する成分と、相互作用面の摩擦を削減する成分と、グレアを削減する成分と、使用者が押しつけるための快適な緩衝を提供する成分とを含む。
【0113】
さらに追加的な観点として、二次元ビデオ映像が光導波体を通して従順表面被覆に投影され、投影されたビデオ映像が、従順表面被覆により拡散される。
【0114】
当業者であれば、本発明の種々の異なる目的、利点および特徴が容易に明らかとなる。新規な特徴は、添付の請求の範囲により特に指摘されている。
【0115】
以下の詳細な記載は、例として示すものであり、本発明を限定を意図するものではなく、添付の図面と組み合わせて本発明を良く理解するためのものである。図において、同じ参照番号は、同様の要素および部分を示す。
【図面の簡単な説明】
【0116】
【図1A】本発明に係る多接触感知の例を示す図である。
【図1B】本発明に係る多接触感知の例を示す図である。
【図1C】本発明に係る多接触感知の例を示す図である。
【図1D】本発明に係る多接触感知の例を示す図である。
【図2】本発明に係る全反射妨害に基づく多接触感知表示装置の概要を示す図である。
【図3】本発明に係る多接触感知表示装置の2指での使用の概要を示す図である。
【図4】本発明にしたがって使用される非平坦光導波体の概要を示す図である。
【図5】従順表面被覆を用いる本発明に係る多接触感知表示装置の概要を示す図である。
【図6A】汚染された表面の出力からの画像を示す図である。
【図6B】本発明に係る従順表面を用いる場合の汚染された表面の出力からの画像を示す図である。
【図7】本発明に従って使用される平面光導波体および非平坦従順表面被覆の概要を示す図である。
【図8】本発明に従って複数の画像化感知器および投影機を用いるシステムの概要を示す図である。
【図9】液晶表示装置を使用する本発明に係る多接触感知表示装置の概要を示す図である。
【図10】複数の光波長と複数の画像化感知器とを用いる本発明に係る多接触感知表示装置の概要を示す図である。
【発明を実施するための形態】
【0117】
多接触感知は、いちどに複数のキーを押すコーディング(chording)操作および両手操作の場合と同様に、使用者がいちどに1以上の指を用いて、システムと相互作用(対話)することを可能とする。多接触感知では、多数の使用者による同時操作も可能である。これは特に、インタラクティブ・ウォールやテーブル・トップのような、大きな共有表示システムに有用である。図1Aから図1Dは、本発明の多接触感知のいくつかの単純な例を示す。
【0118】
本発明に係る多接触感知は、全反射妨害(FTIR)に基づいている。光がガラスから空気のように低屈折率の媒質との界面に出会うと、その光は、入射角に依存する量だけ反射する。入射角がある臨界角を超えると、光は全反射(TIR)する。しかし、界面に他の材料が置かれると、全反射が妨げられ、光を導波体から逃がすことができる。FTIRの概念は、この分野では良く知られ、かつ良く理解されている。ここでは、本発明の理解に必要な場合を除いて、FTIRのこれ以上の技術的な説明は省略する。
【0119】
本発明は、FTIRを用い、高い空間解像度および時間解像度で真実の接触イメージ情報を得ることのできるシステムを提供する。ここで論じるように、このような使用によって、本発明の多接触システムは、大きな装置へのスケールの拡大が可能であり、後方投影を含む表示技術との併用によく適している。
【0120】
図2は、本発明に係る多接触感知表示装置10の単純化した概要を示す図である。図示のように、多接触感知表示装置10は、便宜上「感知器10」ともいうが、光導波体12、光源14、光吸収表面(バッフル)16および画像化感知器20(ここでは画像化カメラともいう)を有する(図2の他の構成要素については後述する)。
【0121】
光源14は、望ましくは、多数の高出力赤外線LEDを含む。これらのLEDは、全反射状態となる結合を最大にするように、光導波体12の研磨端に直接対向して配置される。たとえば、これらのLEDは、880nmで460mWの総光出力を提供することができる。もちろん、他の光出力を用いることもできる。
【0122】
光導波体12として、アクリル製の薄板を用いることができる。この薄板の端は、光が入射するように研磨しておく。他の適切な材料を用いることもできる。製作したプロトタイプの一例では、光導波体12として、4分の1インチ(6.4mm)厚のアクリル薄板で、寸法が16インチ×12インチ(406mm×305mm)のものを用いている。通常のガラスは、光透過率がよくないことから、一般には好ましくない。しかし、より透明度の高いガラス形成材料(たとえばwater white)を用いることもできる。そのようなガラスは高価であるが、構造的には硬く、アクリルのように簡単に引っ掻き傷が生じることもない。
【0123】
光源14から放射された光は、光導波体12内で全反射を受け、光が光導波体12内に閉じ込められたままとなる。光導波体12の接触面12aに接して、図2に示す指30のような物体を置くと、全反射が妨げられ、いくらかの光が、図に矢印Aで示すように、光導波体12から散乱する(散乱光)。
【0124】
本発明に係る感知器10は、単一接触の応用で用いることもできるが、本発明によれば、多接触での応用に特によく適している。図3は、使用者の2本の指が、同時に、本発明に係る多接触感知表示装置10の光導波体12に接触している状態を概略的に示す。図示のとおり、第1および第2の指30a、30bが、ふたつの異なる位置で光導波体12に接している。これにより、光導波体12内の全反射が、ふたつの領域で妨げられることとなる。これにより、光導波体12のこのような異なる領域から、図中の矢印B、Cで示すように光が漏れ出る。
【0125】
図2に戻って参照すると、画像化感知器20が直角に配置され、光導波体12から散乱された光を検出する。他の配置として、画像化感知器20を他の位置に配置できるように、種々の光学部品(たとえばミラー)を用いて散乱光の方向を変えることもできる。どちらの場合でも、画像化感知器20には光源14の出力に一致する帯域フィルタを設け、背景信号を最小化することが望ましい。画像化感知器20として、CCD、CMOSなどの他のタイプのものを用いることもできる。
【0126】
画像化感知器20の機能はまた、光ダイオード、光トランジスタまたは他の光感知素子の二次元配列のように、多点の光を感知するものであれば、どのような手段により提供されてもよい。
【0127】
本発明によれば、画像化感知器20は、連続的に、光導波体12の非接触表面12bから漏れ出る光を画像化する。したがって、画像化感知器20は、連続する各時点ごとに、光導波体12のすべての接触点を区別して感知する。このゆえに、図2に示す使用者の1本の指による接触のような「単一」点の接触に対して、光導波体12に実際に接する指の表面に相当する単一の接触「領域」が、画像化感知器20により個別に感知される。同様に、2以上の物体(たとえば使用者の2本以上の指)が光導波体12に触れると、複数の接触領域が、区別されて(かつ同時に)画像化感知器20により感知される。ここで用いたように、接触点、「場所」に接触、または他の同様な表現は、文脈から他の意味を意図する記述であることが明確なものでない限り、接触領域の意味であるものとする。
【0128】
さらに、単一の接触点(接触領域)の場合でも、本発明に係る感知器は、比較的小さい接触点と、より大きな接触点とを区別する。たとえば、比較的小さい圧力で光導波体に接している指の接触領域は、より大きい圧力が加えられている場合の接触領域より一般に小さくなる(すなわち、大きい圧力が加えられるときには、指の広い部分が光導波体の表面に接する)。
【0129】
画像化感知器20を十分に高いフレーム捕捉速度(たとえば60フレーム毎秒)および十分に高い画像化解像度で用いることにより、光導波体12の1、2またはそれ以上の接触点(領域)を連続的に感知して、本発明の多接触感知表示装置の使用者の指によるような、1以上の物体によるすべての最初の接触、移動および接触の途切れ(同時およびまたは連続的な接触/移動を含む)を十分に追跡することができる。
【0130】
画像化感知器20の出力は、修正、背景減算、雑音除去、各ビデオフレームの解析など、種々の公知の画像化処理動作を扱うことのできる適切なコンピュータ(図示せず)または他の電子装置に供給される。公知の機械視覚追跡技術を用いて、一連のビデオを個別の接触事象および筆遣いに変換することもできる。画像化感知器20としては、光を8ビット単色、60フレーム毎秒、解像度640×640(表面上で1mm2に相当)で捕らえるものが、多くの多接触感知応用に適している。もちろん、より大きい解像度、他のフレーム捕捉速度およびまたは他の特性をもつ画像化感知器を用いることもできる。処理は、どのような適切な計算システムにより行われてもよい。
【0131】
本発明に係る多接触感知は、視界遮断やあいまいさの問題なしに、接触情報の完全な画像化を提供する。接触感知は力が不要で正確であり、接触と非常にわずかな間隙をもって空中へ止まった状態とを、正確に区別することができる。本発明に係る多接触感知表示装置は、時間および空間の双方について、高い解像度で標本化することができる。多接触感知表示装置はスケーラブルであり、接触表示装置を壁などの非常に大きい表面に拡張できる。ただし、多接触感知表示装置が比較的大きな領域を覆うものである場合には、感知器/カメラの解像度および照明の量を含む種々の因子を考慮しなければないない。
【0132】
本発明のひとつの変形例では、光導波体が、非平坦接触表面すなわち非平面を有する。接触面は、凹面、凸面または他の非平坦に設計することができる。ひとつの例として、図4は、半球形状を有する光導波体32を示す。このような形状は、たとえば地球上の立体をマッピングする制御応用に適する。
【0133】
本発明に係る多接触感知表示装置は、単独で用いることもできるが、視覚的に完全に透明なので、後方投影との組み合わせでの使用に特によく適している。たとえば、このような組み合わせにより、上面/前方投影で生じる視界遮断や影が発生する不利益を防ぐことができる。本発明の他の実施の形態によると、図2に示すビデオ投影機22を、本発明に係る多接触感知表示装置内で用いることができる。図2では投影機22が画像化感知器20と並んで配置されているが、一般的には、適切な光学系の助けにより、他の位置およびまたは画像化感知器20から離して配置してもよい。
【0134】
投影機22に沿って、適切な拡散体18が、光導波体12の裏面(非接触面)に配置される。拡散体18は光導波体12と並んで配置され、両者の間には小さい間隙24が設けられる。この間隙24により、拡散体18が光源14により出力された光の全反射を妨げることはない。さらに、拡散体18は、画像化される光の源(たとえば使用者の指)に比較的近いので、画像化感知器20から見る赤外線イメージに大きな影響を与えることはない。一方、この仕組みは、導波体の厚さ(たとえば4分の1インチ)に対応して、表示装置と相互作用面との間の不一致をもたらすことから、必要であれば、光導波体12としてより薄いものを用いてもよい。このような場合、拡散体18の裏に透明な材料の別の層を重ねて、不一致を増やすことなく構造的な支えを付加し、光導波体12が比較的大きい場合であっても、その剛性を高めることができる。
【0135】
光導波体12は、投影機22により出力される表示の明るさの低下を最小にするため、非接触側(投影機側)に反射防止被膜を含むことが望ましい。
【0136】
本発明に係る多接触感知表示装置の応答は、感知される物体の光学的な質に依存する。たとえば、光導波体の接触側にコーヒーカップのような物品を配置しても、そのような接触で光の全反射が妨げられなければ、そのような接触は検出されない。しかしながら、本発明は、FTIRが光導波体の接触側に接触する材料の種類に依存しないように設計することもできる(以下でさらに論じる)。このような場合に、本発明の多接触感知表示装置は、たとえば手袋をはめた手(または乾いた皮膚)、受動スタイラスおよび任意の物体による接触を十分に検出する。
【0137】
本発明の別の実施の形態によると、本発明の多接触感知表示装置に、従順表面被覆を用いることができる。図5は、従順表面被覆(すなわち「従順表面」)を用いた多接触感知表示装置40の単純化した概要を示す図である。図示のとおり、従順表面48は、光導波体42の接触面の隣に配置される。小さな間隙54が従順表面48と光導波体42との間に配置され、たとえば使用者の指60が従順表面48に接していないときには、光源44により出力された光の全反射が妨げられることはない(妨げられるとしても、無視できる程度である)。一方、従順表面48が、たとえば使用者の1以上の指により、1箇所または多数箇所で同時に押しつけられると、従順表面48は直下の(すなわち隣接している)光導波体42に接触する。このようにして接触した位置で全反射を妨害し、これにより、従順表面48が接触した点に相当する位置で、光が光導波体42から(同時に)漏れ出ることになる。画像化感知器50はここで、漏れ出た光を検出する。
【0138】
従順表面は、通常のビニル後方投影スクリーン材料(たとえばRosco Gray #02015)を含む種々のプラスチックフィルムおよび他の材料でできている。本発明に係る他の種々の従順表面について以下で論じる。
【0139】
本発明に係る従順表面を用いる多接触感知表示装置は、都合のよいことに、油および汗のような、長期の使用により感知器に堆積する汚染物質に影響を受けることがない。すなわち、従順表面の接触表面上の油、土、汗および他の材料が、従順表面の押しつけによる全反射の妨害の品質を低下させることがないか、あるいはさもなければ、強い影響を与えることがない。同様に、従順表面の接触表面の引っ掻き傷や欠け目が、本発明に係る多接触感知表示装置の感知特性に大きな影響を与えることはない。たとえば、図6Aは、従順表面が無い汚染された表面の出力の映像を示し、これに対して図6Bは、従順表面を用いた場合の出力の映像を示す。図示の通り、本発明の多接触システムに従順表面を用いる場合には、汚染により生じる雑音が完全に除去される。
【0140】
本発明に係る従順表面を用いる多接触感知表示装置はまた、都合のよいことに、FTIRに関して、接触している物体の有効性よりもむしろ、真実の力の情報を基本として機能する。これにより、感知器は、表面を押しつけているどのような物体でも、区別せずに検出することができる。したがって、使用者は、受動スタイラスを使用することができ、手袋をはめた手や、ペンなどを使用することができる。
【0141】
これとは別の実施の形態では、以下にさらに論ずるように、多数の赤外導波体を用い、背景光源および雑音から所望の信号をより良く区別する。
【0142】
本発明に係る従順表面を用いる多接触感知表示装置は、上述したように、後方投影なしに利用することができる。本発明の他の実施の形態では、従順表面を用いる多接触感知表示装置もまた、後方投影機(図5に示す投影機52)を用いることができる。望ましくは、そして都合のよいことには、従順表面は、後方投影の拡散体として動作する。このゆえ、本実施の形態は、グラフィックス表示と感知との基本的な統合システムとなる。
【0143】
本発明の他の実施の形態によれば、従順表面は、多数の材料の複合体により構成され、それぞれが以下の所望の特定の1以上に寄与する。すなわち、i)FTIRの有効性、ii)後方投影のための光拡散体としての機能、iii)周囲からの光からの干渉を軽減するための波長選択遮蔽、iv)表示装置の視界を高めるアンチグレア、v)人間にとっての触覚「感」、vi)耐久性−−「硬質被覆」が設けられた層をその場で取り替えることができることが望ましい。用いられる種々の層は、公知の屈折率整合光接着剤を使用して互いに貼り付けることができる。
【0144】
多数の材料による複合体として構成された従順表面のひとつの例として、(1)ゴムの薄い層、(2)金属被膜が施された薄膜PET(ポリエチエン・テレフタレート)フィルム、化学処理によりつや消し表面を有する薄いPETフィルムを含む。ゴムの薄い層は、FTIR接触のために設けられ、後方投影のための拡散体として動作し、快適な触覚反応を提供する。金属被膜が施された薄膜PETフィルムは、周囲の赤外光を反射/吸収する。つや消し表面を有する薄いPETフィルムは、使用者の指が容易にすべることのできる快適な表面のため、また、耐久性のために設けられる。
【0145】
従順表面は、非平坦すなわち非平面であってもよい。凹面、凸面または他の非平坦に設計することができる。図4に示す非平坦な光導波体と同様に、図7に、典型的な非平坦光導波体62を示す。この非平坦光導波体62の上には、非平坦従順表面被覆64が配置される。他の変形としては、非平坦従順表面被覆が、平坦光導波体の上に配置されてもよい。
【0146】
本発明の他の実施の形態によれば、ここで説明した実施の形態のいずれかおよび変形例と、光源(たとえば図2に示すLED14または図5に示すLED44)とを用い、この光源が、パルス動作し、画像化感知器(たとえば図2に示すビデオ感知器20または図5に示す感知器50)のシャッターに同期する。これにより、画像化感知器の受け取る周囲の光の量を有効に削減する。すなわち、画像化感知器のシャッターは、光源のパルス期間にのみ露光する。本発明の特徴として、光源はより明るい強度でパルス発光でき、システムの信号対雑音比を高めることができる。他の光源(たとえばレーザー)を用いることもできる。
【0147】
本発明の他の実施の形態では、多数の画像化感知器および多数の投影機を用いて、比較的大きな多接触システム(たとえば多数の使用者が同時に使用するような)を実現することができる。図8は、典型的なシステム70の概要を示す。このシステム70は、3台の画像化感知器72a、72bおよび72cを、3台の投影機74a、74bおよび74cに沿って使用する。ひとつの形態では、図8に示すように、それぞれの感知器が光導波体76の異なる点から漏れ出た光を画像化し、それぞれの投影機がそれぞれビデオ映像をそれらの部分のひとつに投影する。画像化感知器および投影機は、ひとつの軸に沿って、多数の軸に、格子システムに沿って、あるいは他の形態で、互いに離れて配置される。図8に示す典型的な配置では従順表面78が用いられるが、多数の感知器およびまたは多数の投影機が、従順表面の無いひとつのシステム内で用いられてもよく、また、ここで説明する他の実施の形態のいずれかで用いられてもよい。
【0148】
本発明のさらに別の実施の形態では、投影機に代えて、液晶表示パネルを使用する。図9は、単純化された概略的なシステム80を示す。このシステム80は、液晶表示パネル82を用いた多接触感知器を有する。液晶表示パネル82は、光導波体84と画像化感知器86との間に配置される。液晶表示パネル82は、赤外光に対して透明に構成/設計され、これにより、光導波体84から漏れ出た赤外光を画像化感知器86で画像化できる。液晶表示パネルは良く知られており、本発明の理解に必要な場合を除いて、ここではこれ以上の説明は省略する。液晶表示バックライト90を、液表表示パネル82の裏に配置することができる。ここでも、従順表面88を使用することができる。この場合は、従順表面88を、光拡散特性をもたないように構成/設計する。一般に、液晶表示パネルを用いることで、体積を削減し、可搬性を高めることができる利点がある。
【0149】
本発明のさらにまた別の実施の形態では、1以上の追加的な画像化感知器が、液晶表示パネルの裏に配置される。これらの感知器からの画像は、計算機械により処理され、接触点およびまたは使用者、たとえばそれぞれの接触に関連する使用者の指の姿勢または識別、に関する特別の情報が判定される。
【0150】
本発明のさらにまた別の実施の形態では、図10に概略的に示すように、光、望ましくは赤外光の2波長が光源から出力され、2台の画像化感知器を用いる。図示する実施の形態では、システム100内で、2組の発光ダイオード群102aおよび102bを用いる。発光ダイオード群102aは、発光ダイオードの配列か、あるいは他の種類の光源であり、たとえば880nmの光を放射する。同様に、発光ダイオード群102bは、発光ダイオードの配列か他の種類の光源であり、たとえば950nmで光を放射する。画像化感知器104aは、最初の波長(たとえば880nm)で光を画像化し、画像化感知器104bは、第二の波長(たとえば940nm)で光を画像化する。適切なフィルタを用いてもよい。本発明の選択的特徴として、光を双方の画像化感知器で受け取り(たとえば同じ時間および位置で)、システムがそのような時間/位置での接触(すなわちFTIR反応)の発生を認識する。よく知られた処理方法を用いて、双方のビデオストリームをこのように処理することができる。このように、多波長および多数の画像化感知器を用いることにより、FTIR反応をさらに背景光から区別することができる。さらに、従順表面を用いない場合に、活動している指を、潜んでいる残留物から区別する。3以上の波長を用いることもできる。変形として、単一の画像化感知器を用い、多数の選択的周波数または周波数範囲で光を画像化するように設計することもできる。多数の光波長は、1以上の画像化感知器と共に、ここで説明した種々のシステムで、従順表面被覆を用いるようなシステムでも用いないシステムでも、使用できる。
【0151】
本発明のさらに別の実施の形態では、電気的に切り替え可能な拡散体スクリーンを投影機と共に用いる。電子的な制御により電気的に透明状態から曇った状態に切り替えることのできる液晶プライバシーガラス窓を用いる。そのような電子切り替えスクリーンは、非特許文献15、16に開示されている。
【0152】
液晶プライバシーガラス窓は、比較的高速(たとえば1秒に60回)にふたつの状態を切り替えることができ、画像化感知器(たとえば赤外線カメラ)の切り替えに同期することができる。これにより、液晶プライバシーガラス窓が瞬間に透明になるときに、第2(または第3)の感知器の視線がスクリーンを通して見え、接触物体を観測できるようになる。従順表面を用いる場合には、拡散性とならないように選択/工作する。追加的な感知器からの映像を計算ハードウェアにより処理し、たとえば使用者の手の方向または姿勢のように、接触についてのものとは別の情報を判定する。変形として、拡散体は、選択された角度の入射に対して拡散し、他の角度の入射に対しては拡散しないように設計された、方向性を有する種類の拡散体とすることもできる。
【0153】
本発明のさらに別の実施の形態では、種々の他の拡散体を使用し、追加的な感知器がスクリーンを通して鮮明に見ることができる一方で、同時に、後方投影器からの光が拡散するようにすることもできる。典型的なスクリーンは、非特許文献17で論じられているタッチライトで採用されているホログラフフィルムを含む。より安価なものとして、方向性散乱フィルムが非特許文献18で論じられている。レイリー散乱材料を用いることもできる。このような材料は、可視波長を拡散するが、便利な赤外帯域で実質的に透明である。
【0154】
本発明を多数の実施の形態により説明し、これらの実施の形態の種々のものに対して、さらにその変形および例を説明した。しかしながら、当然、本発明の意図から離れない限り、当業者にとって既知または開示されている他の手段を用いることもできる。
【特許請求の範囲】
【請求項1】
光を受け取り、受け取った光の少なくとも一部を内部で全反射し、この全反射を物理現象の発生により妨げることができ、全反射が妨げられると、内部で全反射している光の一部が漏れ出る光導波体と、
この光導波体から漏れ出る光を検出する画像化感知器と
を有することを特徴とする多接触感知表示装置。
【請求項2】
請求項1記載の多接触感知表示装置において、光を放射して前記光導波体で受け取るため、前記光導波体の研磨端に直接に対向して配置された複数の赤外発光ダイオードを有することを特徴とする多接触感知表示装置。
【請求項3】
請求項1記載の多接触感知表示装置において、前記光導波体は研磨された透明端を有するアクリル製の薄板であることを特徴とする多接触感知表示装置。
【請求項4】
請求項1記載の多接触感知表示装置において、前記物理現象は前記光導波体への物体の接触を含み、上記物体の前記光導波体への接触により前記光導波体内での全反射が妨げられることを特徴とする多接触感知表示装置。
【請求項5】
請求項4記載の多接触感知表示装置において、前記物質は前記多接触感知表示装置の使用者の指であることを特徴とする多接触感知表示装置。
【請求項6】
請求項1記載の多接触感知表示装置において、前記光導波体は、複数の物理現象の発生により、全反射が前記光導波体内の互いに離れて配置された複数の位置で同時に妨げられる構成であることを特徴とする多接触感知表示装置。
【請求項7】
請求項6記載の多接触感知表示装置において、前記複数の物理現象は、少なくとも、前記光導波体の表面の第1の場所への第1の物体の接触と、前記光導波体の表面の第2の場所への第2の物体の接触とを含み、上記第1の場所および上記第2の場所は互いに離れて配置され、前記光導波体は、前記光導波体への上記第1の物体および上記第2の物体が接触している上記第1の場所および上記第2の場所に相当する第1の位置および第2の位置で、前記光導波体内の全反射が妨げられる構成であることを特徴とする多接触感知表示装置。
【請求項8】
請求項7記載の多接触感知表示装置において、前記第1の物体および前記第2の物体は前記多接触感知表示装置の使用者の第1および第2の指であることを特徴とする多接触感知表示装置。
【請求項9】
請求項1記載の多接触感知表示装置において、前記画像化感知器は、前記光導波体の二次元表面に沿う位置から出てくる光を個別に検出する構成であることを特徴とする多接触感知表示装置。
【請求項10】
請求項1記載の多接触感知表示装置において、前記画像化感知器は、前記光導波体の二次元表面に沿う複数の位置から漏れ出る光を同時に個別に検出する構成であることを特徴とする多接触感知表示装置。
【請求項11】
請求項1記載の多接触感知表示装置において、あらかじめ定められた波長の光を放射する光源をさらに有し、前記光導波体は上記光源から放射された光を受け取る構成であり、前記画像化感知器は、実質的に上記あらかじめ定められた波長でのみ光を検出する構成であることを特徴とする多接触感知表示装置。
【請求項12】
請求項1記載の多接触感知表示装置において、第1および第2のあらかじめ定められた波長の光を放射する光源をさらに有し、前記光導波体は上記光源から放射された光を受け取る構成であり、前記画像化感知器は、実質的に上記第1のあらかじめ定められた波長でのみ光のみを検出する構成であり、前記光導波体から漏れ出る実質的に上記第2のあらかじめ定められた波長でのみ光を検出する第2の画像化感知器をさらに有することを特徴とする多接触感知表示装置。
【請求項13】
請求項1記載の多接触感知表示装置において、前記画像化感知器のシャッターに実質的に同期する速度で光のパルスを放射する光源をさらに有し、前記光導波体は上記光源から放射された光を受け取る構成であることを特徴とする多接触感知表示装置。
【請求項14】
請求項1記載の多接触感知表示装置において、前記光導波体は非平坦表面を有し、前記物理現象は前記光導波体の非平坦表面への接触を含み、前記光導波体の非平坦表面への接触により全反射が妨げられることを特徴とする多接触感知表示装置。
【請求項15】
請求項1記載の多接触感知表示装置において、二次元ビデオ映像を前記光導波体に投影するビデオ投影機をさらに有することを特徴とする多接触感知表示装置。
【請求項16】
請求項15記載の多接触感知表示装置において、前記ビデオ映像が投影される拡散体をさらに有することを特徴とする多接触感知表示装置。
【請求項17】
請求項16記載の多接触感知表示装置において、前記光導波体は非接触面と接触面とを有し、前記拡散体は前記非接触面上に配置され、前記物理現象は前記光導波体の前記接触面への接触を含み、前記光導波体の接触面への接触により前記反射光導波体内での全反射が妨げられることを特徴とする多接触感知表示装置。
【請求項18】
請求項17記載の多接触感知表示装置において、前記ビデオ投影機は、非接触表面が配置される側に対応して前記光導波体の非接触側に配置され、前記接触表面が配置される側に対応して前記光導波体の接触側に配置される使用者によりビデオ映像が見えるように、前記光導波体に向かってビデオ映像を投影する構成であることを特徴とする多接触感知表示装置。
【請求項19】
請求項1記載の多接触感知表示装置において、二次元ビデオ映像を前記光導波体に投影するビデオ投影機と、前記光導波体の表面の近傍に配置され上記ビデオ映像が投影される拡散体とをさらに有することを特徴とする多接触感知表示装置。
【請求項20】
請求項19記載の多接触感知表示装置において、前記拡散体の実体部分と前記光導波体との間に小さな間隙が設けられ、前記拡散体による全反射の妨害が最小化されることを特徴とする多接触感知表示装置。
【請求項21】
請求項19記載の多接触感知表示装置において、前記拡散体は、前記ビデオ投影機の投影および前記画像化感知器のシャッターに同期して電気的に切り替え可能な拡散体スクリーンであることを特徴とする多接触感知表示装置。
【請求項22】
請求項19記載の多接触感知表示装置において、前記拡散体は、前記ビデオ投影機の投影および前記画像化感知器のシャッターに同期して電気的に切り替え可能な拡散体スクリーンであることを特徴とする多接触感知表示装置。
【請求項23】
請求項1記載の多接触感知表示装置において、前記画像化感知器は、前記光導波体のそれぞれ異なる部分から漏れ出る光を検出する複数の画像化感知器を含むことを特徴とする多接触感知表示装置。
【請求項24】
請求項23記載の多接触感知表示装置において、複数のビデオ投影機をさらに有し、この複数のビデオ投影機はそれぞれ、前記光導波体の前記異なる部分のうちの対応するひとつに二次元ビデオ映像を投影することを特徴とする多接触感知表示装置。
【請求項25】
請求項1記載の多接触感知表示装置において、前記画像化感知器と前記光導波体との間に配置されビデオ映像を表示する液晶表示パネルをさらに有し、この液晶表示パネルは、前記画像化感知器による前記光導波体から漏れ出る光の検出を妨げることのないように、上記漏れ出る光に対して透明であることを特徴とする多接触感知表示装置。
【請求項26】
光を受け取り、受け取った光の一部を内部で全反射する光導波体と、
この光導波体に十分に近接して配置され、外部の力により押しつけられて上記光導波体に接触する従順表面被覆と、
上記光導波体から漏れ出る光を検出する画像化感知器と
を有し、
上記光導波体と上記従順表面被覆とは、上記光導波体内の全反射が上記従順表面被覆の上記光導波体への接触により妨げられる構成であり、
上記光導波体は、全反射が妨げられると、内部で全反射している光の一部が漏れ出る構成である
ことを特徴とする多接触感知表示装置。
【請求項27】
請求項26記載の多接触感知表示装置において、前記従順表面被覆の実体部分と前記光導波体との間に小さな間隙が設けられ、前記従順表面被覆が押しつけられていないときには全反射の妨害が最小化されることを特徴とする多接触感知表示装置。
【請求項28】
請求項26記載の多接触感知表示装置において、前記従順表面被覆は、使用者の指、スタイラスおよび他の力を加える物体のひとつにより押しつけられる構成であることを特徴とする多接触感知表示装置。
【請求項29】
請求項26記載の多接触感知表示装置において、前記従順表面被覆は、複数の対応する場所での同時の押しつけに応答して、前記光導波体に複数の場所で同時に接触する構成であり、前記光導波体は、前記複数の場所で内部の全反射が同時に妨げられる構成であることを特徴とする多接触感知表示装置。
【請求項30】
請求項29記載の多接触感知表示装置において、前記従順表面被覆が同時に押しつけられる前記複数の対応する場所は、その少なくともふたつが互いに離れて配置されることを特徴とする多接触感知表示装置。
【請求項31】
請求項26記載の多接触感知表示装置において、前記画像化感知器は、前記光導波体の二次元表面に沿う位置から出力される光を区別して検出する構成であることを特徴とする多接触感知表示装置。
【請求項32】
請求項26記載の多接触感知表示装置において、前記画像化感知器は、前記光導波体の二次元表面に沿う複数の位置から同時に漏れ出る光を同時に区別して検出する構成であることを特徴とする多接触感知表示装置。
【請求項33】
請求項26記載の多接触感知表示装置において、あらかじめ定められた波長の光を放出する光源をさらに有し、前記光導波体は上記光源から放射された光を受け取る構成であり、前記画像化感知器は、実質的に上記あらかじめ定められた波長でのみ光を検出する構成であることを特徴とする多接触感知表示装置。
【請求項34】
請求項24記載の多接触感知表示装置において、第1および第2のあらかじめ定められた波長の光を放射する光源をさらに有し、前記光導波体は上記光源から放射された光を受け取る構成であり、前記画像化感知器は、実質的に上記第1のあらかじめ定められた波長でのみ光を検出する構成であり、前記光導波体から漏れ出る実質的に上記第2のあらかじめ定められた波長でのみ光を検出する第2の画像化感知器をさらに有することを特徴とする多接触感知表示装置。
【請求項35】
請求項26記載の多接触感知表示装置において、前記画像化感知器のシャッターに実質的に同期する速度で光のパルスを放射する光源をさらに有し、前記光導波体は上記光源から放射された光を受け取る構成であることを特徴とする多接触感知表示装置。
【請求項36】
請求項26記載の多接触感知表示装置において、前記従順表面被覆は、非平坦接触表面を有し、この非平坦接触表面が外部の力により押しつけられることにより、前記光導波体に接触する構成であることを特徴とする多接触感知表示装置。
【請求項37】
請求項26記載の多接触感知表示装置において、二次元ビデオ映像を前記光導波体に投影するビデオ投影機をさらに有することを特徴とする多接触感知表示装置。
【請求項38】
請求項37記載の多接触感知表示装置において、前記ビデオ映像が投影される拡散体をさらに有することを特徴とする多接触感知表示装置。
【請求項39】
請求項37記載の多接触感知表示装置において、前記従順表面被覆は、前記ビデオ投影機により投影されたビデオ映像を拡散する構成であることを特徴とする多接触感知表示装置。
【請求項40】
請求項26記載の多接触感知表示装置において、前記従順表面被覆は、前記光源と同じ波長の周囲の光を排除する成分と、相互作用面の摩擦を削減する成分と、グレアを削減する成分と、使用者が押しつけるための快適な緩衝を提供する成分とを含むことを特徴とする多接触感知表示装置。
【請求項41】
請求項26記載の多接触感知表示装置において、二次元ビデオ映像を前記光導波体を通して前記従順表面被覆に投影するビデオ投影機をさらに有し、前記従順表面被覆は上記ビデオ投影機により投影されたビデオ映像を拡散する構成であることを特徴とする多接触感知表示装置。
【請求項42】
請求項1記載の多接触感知表示装置において、前記画像化感知器と前記光導波体との間に配置されビデオ映像を表示する液晶表示パネルをさらに有し、この液晶表示パネルは、前記画像化感知器による前記光導波体から漏れ出る光の検出を妨げることのないように、上記漏れ出る光に対して透明であり、前記従順表面被覆は拡散を行わない構成であることを特徴とする多接触感知表示装置。
【請求項43】
光を光導波体内に受け取るステップと、
受け取った光を上記光導波体内で内部反射するステップと、
一部の反射光を前記光導波体から漏れ出させるために前記内部反射光を妨げるステップと、
漏れ出る光を画像化するステップと
を含むことを特徴とする多接触感知方法。
【請求項44】
請求項43記載の方法において、複数の赤外発光ダイオードを有する光源により光を放射するステップを含み、放射された光を前記光導波体内に受け取ることを特徴とする多接触感知方法。
【請求項45】
請求項43記載の方法において、前記光導波体として、研磨された透明端を有するアクリル製の薄板を用いることを特徴とする多接触感知方法。
【請求項46】
請求項43記載の方法において、前記内部反射光を妨げるステップは、前記光導波体に物体を接触させるステップを含む、ことを特徴とする多接触感知方法。
【請求項47】
請求項43記載の方法において、前記内部反射光を妨げるステップは、前記光導波体に使用者の指を接触させるステップを含む、ことを特徴とする多接触感知方法。
【請求項48】
請求項43記載の方法において、前記内部反射光を妨げるステップは、前記光導波体内のそれぞれ互いに離れて配置された複数の位置で同時に内部反射光を妨げるステップを含む、ことを特徴とする多接触感知方法。
【請求項49】
請求項43記載の方法において、前記内部反射光を妨げるステップは、同時に前記光導波体の表面の第1および第2の場所に接触するステップを含み、この接触により、互いに離れて配置され上記第1および第2の場所に相当する前記光導波体の第1および第2の位置から同時に反射光が漏れ出ることを特徴とする多接触感知方法。
【請求項50】
請求項49記載の方法において、前記内部反射光を妨げるステップは、前記光導波体の表面の前記第1および第2の場所に同時に使用者の第1および第2の指で接触するステップを含む、ことを特徴とする多接触感知方法。
【請求項51】
請求項43記載の方法において、前記漏れ出る光を画像化するステップは、前記光導波体の二次元表面に沿う点から出力される光を区別して画像化するステップを含む、ことを特徴とする多接触感知方法。
【請求項52】
請求項43記載の方法において、前記漏れ出る光を画像化するステップは、前記光導波体の二次元表面に沿う複数の位置から同時に漏れ出る光を区別して画像化するステップを含む、ことを特徴とする多接触感知方法。
【請求項53】
請求項43記載の方法において、前記光を光導波体内に受け取るステップは、あらかじめ定められた波長の光を受け取るステップを含み、前記漏れ出る光を画像化するステップは、実質的に上記あらかじめ定められた波長でのみ光を画像化するステップを含む、ことを特徴とする多接触感知方法。
【請求項54】
請求項43記載の方法において、前記光を光導波体内に受け取るステップは、第1および第2のあらかじめ定められた波長の光を受け取るステップを含み、前記漏れ出る光を画像化するステップは、実質的に上記第1および第2のあらかじめ定められた波長でのみ光を画像化するステップを含む、ことを特徴とする多接触感知方法。
【請求項55】
請求項54記載の方法において、前記漏れ出る光を画像化するステップは、第1の画像化感知器により実質的に前記第1のあらかじめ定められた波長のみの画像化を行い、第2の画像化検知器により実質的に前記第2のあらかじめ定められた波長のみの画像化を行うステップを含むことを特徴とする多接触感知方法。
【請求項56】
請求項43記載の方法において、前記光を光導波体内に受け取るステップは、前記光導波体内に光のパルスを受け取るステップを含み、前記漏れ出る光を画像化するステップは、前記光導波体内に受け取る光のパルスの速度に実質的に同期するシャッターを有する画像化感知器により漏れ出る光を画像化するステップを含む、ことを特徴とする多接触感知方法。
【請求項57】
請求項43記載の方法において、非平坦表面を有する光導波体を準備するステップを含むことを特徴とする多接触感知方法。
【請求項58】
請求項43記載の方法において、二次元画像を前記光導波体に投影するステップを含むことを特徴とする多接触感知方法。
【請求項59】
請求項58記載の方法において、投影されたビデオ映像を前記光導波体により拡散するステップを含むことを特徴とする多接触感知方法。
【請求項60】
請求項43記載の方法において、二次元ビデオ映像を投影するステップと、前記光導波体の非接触表面に投影されるビデオ映像を拡散するステップと、前記光導波体の接触表面に接触して内部反射光を妨げるステップとを含むことを特徴とする多接触感知方法。
【請求項61】
請求項60記載の方法において、前記光導波体の非接触表面が配置される側に対応する非接触側から前記二次元ビデオ映像を投影するステップを含むことを特徴とする多接触感知方法。
【請求項62】
請求項43記載の方法において、二次元ビデオ映像を投影するステップと、投影されるビデオ映像を前記光導波体に近接して拡散するステップとを含むことを特徴とする多接触感知方法。
【請求項63】
請求項62記載の方法において、前記投影されるビデオ映像を前記光導波体の近傍に配置された拡散体により拡散するステップと、上記拡散体の実体部分と前記光導波体との間に小さな間隙を設けて、前記拡散体による内部反射光の妨害を最小化するステップとを含むことを特徴とする多接触感知方法。
【請求項64】
請求項63記載の方法において、前記拡散体としてビデオ映像の投影の速度に同期して電気的に切り替え可能な拡散体スクリーンを準備するステップを含むことを特徴とする多接触感知方法。
【請求項65】
請求項43記載の方法において、前記漏れ出る光を画像化するステップは、前記光導波体のそれぞれ異なる部分から漏れ出る光を複数の画像化感知器により画像化するステップを含む、ことを特徴とする多接触感知方法。
【請求項66】
請求項65記載の方法において、複数の二次元ビデオ映像を前記光導波体のそれぞれ異なる位置に投影するステップを含むことを特徴とする多接触感知方法。
【請求項67】
請求項43記載の方法において、前記光導波体を通してビデオ映像を液晶表示パネルにより表示するステップと、前記光導波体から漏れ出る光を上記液晶表示パネルに通過させるステップとを含み、前記漏れ出る光を画像化するステップは、前記液晶表示パネルを通過する漏れ光を画像化するステップを含む、ことを特徴とする多接触感知方法。
【請求項68】
光を光導波体内に受け取るステップと、
受け取った光を上記光導波体内で内部反射するステップと、
上記光導波体に近接して配置された従順表面被覆を押しつけるステップと、
上記従順表面被覆を押しつけて上記従順表面被覆により上記光導波体に接触するステップと、
上記光導波体内の内部反射光を上記光導波体から漏れ出させるために、上記従順表面被覆により上記光導波体に接して、上記光導波体内の内部反射を妨げるステップと、
漏れ出る光を画像化するステップと
を含むことを特徴とする多接触感知方法。
【請求項69】
請求項68記載の方法において、前記従順表面被覆の実体部分と前記光導波体との間に小さな間隙を設けるステップを含み、前記従順表面被覆が押しつけられていないときには全反射の妨害が最小化することを特徴とする多接触感知方法。
【請求項70】
請求項68記載の方法において、前記従順表面被覆を押しつけるステップは、使用者の指により前記従順表面被覆を押しつけるステップを含むことを特徴とする多接触感知方法。
【請求項71】
請求項68記載の方法において、前記従順表面被覆を押しつけるステップは、複数の場所で同時に前記従順表面被覆を押しつけるステップを含み、前記光導波体に接触するステップは、前記従順表面被覆により複数の対応する場所で前記光導波体へ同時に接触するステップを含み、前記内部反射を妨げるステップは、前記光導波体内の内部反射光を上記複数の対応する場所で同時に妨げるステップを含む、ことを特徴とする多接触感知方法。
【請求項72】
請求項71記載の方法において、前記複数の対応する場所は、その少なくともふたつが互いに離れて配置されることを特徴とする多接触感知方法。
【請求項73】
請求項68記載の方法において、前記漏れ出る光を画像化するステップは、前記光導波体の二次元表面に沿う位置から出力される光を区別して画像化するステップを含むことを特徴とする多接触感知方法。
【請求項74】
請求項68記載の方法において、前記漏れ出る光を画像化するステップは、前記光導波体の二次元表面に沿う複数の位置から同時に漏れ出る光を同時に区別して画像化するステップを含むことを特徴とする多接触感知方法。
【請求項75】
請求項68記載の方法において、前記光を光導波体内に受け取るステップは、あらかじめ定められた波長の光を受け取るステップを含み、前記漏れ出る光を画像化するステップは、実質的に上記あらかじめ定められた波長でのみ光を画像化するステップを含むことを特徴とする多接触感知方法。
【請求項76】
請求項68記載の方法において、前記光を光導波体内に受け取るステップは、第1および第2のあらかじめ定められた波長の光を受け取るステップを含み、前記漏れ出る光を画像化するステップは、実質的に上記第1および第2のあらかじめ定められた波長でのみ光を画像化するステップを含む、ことを特徴とする多接触感知方法。
【請求項77】
請求項76記載の方法において、前記漏れ出る光を画像化するステップは、第1の画像化感知器により実質的に前記第1のあらかじめ定められた波長のみで光を画像化し、第2の画像化感知器により実質的に前記第2のあらかじめ定められた波長のみで光を画像化するステップを含む、ことを特徴とする多接触感知方法。
【請求項78】
請求項68記載の方法において、前記光を受け取るステップは、前記光導波体内に光のパルスを受け取るステップを含み、前記漏れ出る光を画像化するステップは、前記光導波体内に受け取る光のパルスの速度に実質的に同期するシャッターを有する画像化感知器により前記漏れ出る光を画像化するステップを含む、ことを特徴とする多接触感知方法。
【請求項79】
請求項68記載の方法において、前記従順表面被覆を非平坦接触表面で準備するステップと、前記従順表面被覆を押しつけるステップは、前記従順表面被覆の前記非平坦接触面を押しつけるステップを含む、ことを特徴とする多接触感知方法。
【請求項80】
請求項68記載の方法において、二次元ビデオ映像を前記光導波体に投影するステップを含むことを特徴とする多接触感知方法。
【請求項81】
請求項80記載の方法において、投影される前記ビデオ映像を前記光導波体により拡散するステップを含むことを特徴とする多接触感知方法。
【請求項82】
請求項80記載の方法において、前記投影されるビデオ映像を前記従順表面被覆により拡散するステップを含むことを特徴とする多接触感知方法。
【請求項83】
請求項68記載の方法において、前記従順表面被覆は、前記光源と同じ波長の周囲の光を排除する成分と、相互作用面の摩擦を削減する成分と、グレアを削減する成分と、使用者が押しつけるための快適な緩衝を提供する成分とを含むことを特徴とする多接触感知方法。
【請求項84】
請求項68記載の方法において、二次元ビデオ映像を前記光導波体を通して前記従順表面被覆に投影するステップと、投影されたビデオ映像を前記従順表面被覆により拡散するステップとを含むことを特徴とする多接触感知方法。
【請求項1】
光を受け取り、受け取った光の少なくとも一部を内部で全反射し、この全反射を物理現象の発生により妨げることができ、全反射が妨げられると、内部で全反射している光の一部が漏れ出る光導波体と、
この光導波体から漏れ出る光を検出する画像化感知器と
を有することを特徴とする多接触感知表示装置。
【請求項2】
請求項1記載の多接触感知表示装置において、光を放射して前記光導波体で受け取るため、前記光導波体の研磨端に直接に対向して配置された複数の赤外発光ダイオードを有することを特徴とする多接触感知表示装置。
【請求項3】
請求項1記載の多接触感知表示装置において、前記光導波体は研磨された透明端を有するアクリル製の薄板であることを特徴とする多接触感知表示装置。
【請求項4】
請求項1記載の多接触感知表示装置において、前記物理現象は前記光導波体への物体の接触を含み、上記物体の前記光導波体への接触により前記光導波体内での全反射が妨げられることを特徴とする多接触感知表示装置。
【請求項5】
請求項4記載の多接触感知表示装置において、前記物質は前記多接触感知表示装置の使用者の指であることを特徴とする多接触感知表示装置。
【請求項6】
請求項1記載の多接触感知表示装置において、前記光導波体は、複数の物理現象の発生により、全反射が前記光導波体内の互いに離れて配置された複数の位置で同時に妨げられる構成であることを特徴とする多接触感知表示装置。
【請求項7】
請求項6記載の多接触感知表示装置において、前記複数の物理現象は、少なくとも、前記光導波体の表面の第1の場所への第1の物体の接触と、前記光導波体の表面の第2の場所への第2の物体の接触とを含み、上記第1の場所および上記第2の場所は互いに離れて配置され、前記光導波体は、前記光導波体への上記第1の物体および上記第2の物体が接触している上記第1の場所および上記第2の場所に相当する第1の位置および第2の位置で、前記光導波体内の全反射が妨げられる構成であることを特徴とする多接触感知表示装置。
【請求項8】
請求項7記載の多接触感知表示装置において、前記第1の物体および前記第2の物体は前記多接触感知表示装置の使用者の第1および第2の指であることを特徴とする多接触感知表示装置。
【請求項9】
請求項1記載の多接触感知表示装置において、前記画像化感知器は、前記光導波体の二次元表面に沿う位置から出てくる光を個別に検出する構成であることを特徴とする多接触感知表示装置。
【請求項10】
請求項1記載の多接触感知表示装置において、前記画像化感知器は、前記光導波体の二次元表面に沿う複数の位置から漏れ出る光を同時に個別に検出する構成であることを特徴とする多接触感知表示装置。
【請求項11】
請求項1記載の多接触感知表示装置において、あらかじめ定められた波長の光を放射する光源をさらに有し、前記光導波体は上記光源から放射された光を受け取る構成であり、前記画像化感知器は、実質的に上記あらかじめ定められた波長でのみ光を検出する構成であることを特徴とする多接触感知表示装置。
【請求項12】
請求項1記載の多接触感知表示装置において、第1および第2のあらかじめ定められた波長の光を放射する光源をさらに有し、前記光導波体は上記光源から放射された光を受け取る構成であり、前記画像化感知器は、実質的に上記第1のあらかじめ定められた波長でのみ光のみを検出する構成であり、前記光導波体から漏れ出る実質的に上記第2のあらかじめ定められた波長でのみ光を検出する第2の画像化感知器をさらに有することを特徴とする多接触感知表示装置。
【請求項13】
請求項1記載の多接触感知表示装置において、前記画像化感知器のシャッターに実質的に同期する速度で光のパルスを放射する光源をさらに有し、前記光導波体は上記光源から放射された光を受け取る構成であることを特徴とする多接触感知表示装置。
【請求項14】
請求項1記載の多接触感知表示装置において、前記光導波体は非平坦表面を有し、前記物理現象は前記光導波体の非平坦表面への接触を含み、前記光導波体の非平坦表面への接触により全反射が妨げられることを特徴とする多接触感知表示装置。
【請求項15】
請求項1記載の多接触感知表示装置において、二次元ビデオ映像を前記光導波体に投影するビデオ投影機をさらに有することを特徴とする多接触感知表示装置。
【請求項16】
請求項15記載の多接触感知表示装置において、前記ビデオ映像が投影される拡散体をさらに有することを特徴とする多接触感知表示装置。
【請求項17】
請求項16記載の多接触感知表示装置において、前記光導波体は非接触面と接触面とを有し、前記拡散体は前記非接触面上に配置され、前記物理現象は前記光導波体の前記接触面への接触を含み、前記光導波体の接触面への接触により前記反射光導波体内での全反射が妨げられることを特徴とする多接触感知表示装置。
【請求項18】
請求項17記載の多接触感知表示装置において、前記ビデオ投影機は、非接触表面が配置される側に対応して前記光導波体の非接触側に配置され、前記接触表面が配置される側に対応して前記光導波体の接触側に配置される使用者によりビデオ映像が見えるように、前記光導波体に向かってビデオ映像を投影する構成であることを特徴とする多接触感知表示装置。
【請求項19】
請求項1記載の多接触感知表示装置において、二次元ビデオ映像を前記光導波体に投影するビデオ投影機と、前記光導波体の表面の近傍に配置され上記ビデオ映像が投影される拡散体とをさらに有することを特徴とする多接触感知表示装置。
【請求項20】
請求項19記載の多接触感知表示装置において、前記拡散体の実体部分と前記光導波体との間に小さな間隙が設けられ、前記拡散体による全反射の妨害が最小化されることを特徴とする多接触感知表示装置。
【請求項21】
請求項19記載の多接触感知表示装置において、前記拡散体は、前記ビデオ投影機の投影および前記画像化感知器のシャッターに同期して電気的に切り替え可能な拡散体スクリーンであることを特徴とする多接触感知表示装置。
【請求項22】
請求項19記載の多接触感知表示装置において、前記拡散体は、前記ビデオ投影機の投影および前記画像化感知器のシャッターに同期して電気的に切り替え可能な拡散体スクリーンであることを特徴とする多接触感知表示装置。
【請求項23】
請求項1記載の多接触感知表示装置において、前記画像化感知器は、前記光導波体のそれぞれ異なる部分から漏れ出る光を検出する複数の画像化感知器を含むことを特徴とする多接触感知表示装置。
【請求項24】
請求項23記載の多接触感知表示装置において、複数のビデオ投影機をさらに有し、この複数のビデオ投影機はそれぞれ、前記光導波体の前記異なる部分のうちの対応するひとつに二次元ビデオ映像を投影することを特徴とする多接触感知表示装置。
【請求項25】
請求項1記載の多接触感知表示装置において、前記画像化感知器と前記光導波体との間に配置されビデオ映像を表示する液晶表示パネルをさらに有し、この液晶表示パネルは、前記画像化感知器による前記光導波体から漏れ出る光の検出を妨げることのないように、上記漏れ出る光に対して透明であることを特徴とする多接触感知表示装置。
【請求項26】
光を受け取り、受け取った光の一部を内部で全反射する光導波体と、
この光導波体に十分に近接して配置され、外部の力により押しつけられて上記光導波体に接触する従順表面被覆と、
上記光導波体から漏れ出る光を検出する画像化感知器と
を有し、
上記光導波体と上記従順表面被覆とは、上記光導波体内の全反射が上記従順表面被覆の上記光導波体への接触により妨げられる構成であり、
上記光導波体は、全反射が妨げられると、内部で全反射している光の一部が漏れ出る構成である
ことを特徴とする多接触感知表示装置。
【請求項27】
請求項26記載の多接触感知表示装置において、前記従順表面被覆の実体部分と前記光導波体との間に小さな間隙が設けられ、前記従順表面被覆が押しつけられていないときには全反射の妨害が最小化されることを特徴とする多接触感知表示装置。
【請求項28】
請求項26記載の多接触感知表示装置において、前記従順表面被覆は、使用者の指、スタイラスおよび他の力を加える物体のひとつにより押しつけられる構成であることを特徴とする多接触感知表示装置。
【請求項29】
請求項26記載の多接触感知表示装置において、前記従順表面被覆は、複数の対応する場所での同時の押しつけに応答して、前記光導波体に複数の場所で同時に接触する構成であり、前記光導波体は、前記複数の場所で内部の全反射が同時に妨げられる構成であることを特徴とする多接触感知表示装置。
【請求項30】
請求項29記載の多接触感知表示装置において、前記従順表面被覆が同時に押しつけられる前記複数の対応する場所は、その少なくともふたつが互いに離れて配置されることを特徴とする多接触感知表示装置。
【請求項31】
請求項26記載の多接触感知表示装置において、前記画像化感知器は、前記光導波体の二次元表面に沿う位置から出力される光を区別して検出する構成であることを特徴とする多接触感知表示装置。
【請求項32】
請求項26記載の多接触感知表示装置において、前記画像化感知器は、前記光導波体の二次元表面に沿う複数の位置から同時に漏れ出る光を同時に区別して検出する構成であることを特徴とする多接触感知表示装置。
【請求項33】
請求項26記載の多接触感知表示装置において、あらかじめ定められた波長の光を放出する光源をさらに有し、前記光導波体は上記光源から放射された光を受け取る構成であり、前記画像化感知器は、実質的に上記あらかじめ定められた波長でのみ光を検出する構成であることを特徴とする多接触感知表示装置。
【請求項34】
請求項24記載の多接触感知表示装置において、第1および第2のあらかじめ定められた波長の光を放射する光源をさらに有し、前記光導波体は上記光源から放射された光を受け取る構成であり、前記画像化感知器は、実質的に上記第1のあらかじめ定められた波長でのみ光を検出する構成であり、前記光導波体から漏れ出る実質的に上記第2のあらかじめ定められた波長でのみ光を検出する第2の画像化感知器をさらに有することを特徴とする多接触感知表示装置。
【請求項35】
請求項26記載の多接触感知表示装置において、前記画像化感知器のシャッターに実質的に同期する速度で光のパルスを放射する光源をさらに有し、前記光導波体は上記光源から放射された光を受け取る構成であることを特徴とする多接触感知表示装置。
【請求項36】
請求項26記載の多接触感知表示装置において、前記従順表面被覆は、非平坦接触表面を有し、この非平坦接触表面が外部の力により押しつけられることにより、前記光導波体に接触する構成であることを特徴とする多接触感知表示装置。
【請求項37】
請求項26記載の多接触感知表示装置において、二次元ビデオ映像を前記光導波体に投影するビデオ投影機をさらに有することを特徴とする多接触感知表示装置。
【請求項38】
請求項37記載の多接触感知表示装置において、前記ビデオ映像が投影される拡散体をさらに有することを特徴とする多接触感知表示装置。
【請求項39】
請求項37記載の多接触感知表示装置において、前記従順表面被覆は、前記ビデオ投影機により投影されたビデオ映像を拡散する構成であることを特徴とする多接触感知表示装置。
【請求項40】
請求項26記載の多接触感知表示装置において、前記従順表面被覆は、前記光源と同じ波長の周囲の光を排除する成分と、相互作用面の摩擦を削減する成分と、グレアを削減する成分と、使用者が押しつけるための快適な緩衝を提供する成分とを含むことを特徴とする多接触感知表示装置。
【請求項41】
請求項26記載の多接触感知表示装置において、二次元ビデオ映像を前記光導波体を通して前記従順表面被覆に投影するビデオ投影機をさらに有し、前記従順表面被覆は上記ビデオ投影機により投影されたビデオ映像を拡散する構成であることを特徴とする多接触感知表示装置。
【請求項42】
請求項1記載の多接触感知表示装置において、前記画像化感知器と前記光導波体との間に配置されビデオ映像を表示する液晶表示パネルをさらに有し、この液晶表示パネルは、前記画像化感知器による前記光導波体から漏れ出る光の検出を妨げることのないように、上記漏れ出る光に対して透明であり、前記従順表面被覆は拡散を行わない構成であることを特徴とする多接触感知表示装置。
【請求項43】
光を光導波体内に受け取るステップと、
受け取った光を上記光導波体内で内部反射するステップと、
一部の反射光を前記光導波体から漏れ出させるために前記内部反射光を妨げるステップと、
漏れ出る光を画像化するステップと
を含むことを特徴とする多接触感知方法。
【請求項44】
請求項43記載の方法において、複数の赤外発光ダイオードを有する光源により光を放射するステップを含み、放射された光を前記光導波体内に受け取ることを特徴とする多接触感知方法。
【請求項45】
請求項43記載の方法において、前記光導波体として、研磨された透明端を有するアクリル製の薄板を用いることを特徴とする多接触感知方法。
【請求項46】
請求項43記載の方法において、前記内部反射光を妨げるステップは、前記光導波体に物体を接触させるステップを含む、ことを特徴とする多接触感知方法。
【請求項47】
請求項43記載の方法において、前記内部反射光を妨げるステップは、前記光導波体に使用者の指を接触させるステップを含む、ことを特徴とする多接触感知方法。
【請求項48】
請求項43記載の方法において、前記内部反射光を妨げるステップは、前記光導波体内のそれぞれ互いに離れて配置された複数の位置で同時に内部反射光を妨げるステップを含む、ことを特徴とする多接触感知方法。
【請求項49】
請求項43記載の方法において、前記内部反射光を妨げるステップは、同時に前記光導波体の表面の第1および第2の場所に接触するステップを含み、この接触により、互いに離れて配置され上記第1および第2の場所に相当する前記光導波体の第1および第2の位置から同時に反射光が漏れ出ることを特徴とする多接触感知方法。
【請求項50】
請求項49記載の方法において、前記内部反射光を妨げるステップは、前記光導波体の表面の前記第1および第2の場所に同時に使用者の第1および第2の指で接触するステップを含む、ことを特徴とする多接触感知方法。
【請求項51】
請求項43記載の方法において、前記漏れ出る光を画像化するステップは、前記光導波体の二次元表面に沿う点から出力される光を区別して画像化するステップを含む、ことを特徴とする多接触感知方法。
【請求項52】
請求項43記載の方法において、前記漏れ出る光を画像化するステップは、前記光導波体の二次元表面に沿う複数の位置から同時に漏れ出る光を区別して画像化するステップを含む、ことを特徴とする多接触感知方法。
【請求項53】
請求項43記載の方法において、前記光を光導波体内に受け取るステップは、あらかじめ定められた波長の光を受け取るステップを含み、前記漏れ出る光を画像化するステップは、実質的に上記あらかじめ定められた波長でのみ光を画像化するステップを含む、ことを特徴とする多接触感知方法。
【請求項54】
請求項43記載の方法において、前記光を光導波体内に受け取るステップは、第1および第2のあらかじめ定められた波長の光を受け取るステップを含み、前記漏れ出る光を画像化するステップは、実質的に上記第1および第2のあらかじめ定められた波長でのみ光を画像化するステップを含む、ことを特徴とする多接触感知方法。
【請求項55】
請求項54記載の方法において、前記漏れ出る光を画像化するステップは、第1の画像化感知器により実質的に前記第1のあらかじめ定められた波長のみの画像化を行い、第2の画像化検知器により実質的に前記第2のあらかじめ定められた波長のみの画像化を行うステップを含むことを特徴とする多接触感知方法。
【請求項56】
請求項43記載の方法において、前記光を光導波体内に受け取るステップは、前記光導波体内に光のパルスを受け取るステップを含み、前記漏れ出る光を画像化するステップは、前記光導波体内に受け取る光のパルスの速度に実質的に同期するシャッターを有する画像化感知器により漏れ出る光を画像化するステップを含む、ことを特徴とする多接触感知方法。
【請求項57】
請求項43記載の方法において、非平坦表面を有する光導波体を準備するステップを含むことを特徴とする多接触感知方法。
【請求項58】
請求項43記載の方法において、二次元画像を前記光導波体に投影するステップを含むことを特徴とする多接触感知方法。
【請求項59】
請求項58記載の方法において、投影されたビデオ映像を前記光導波体により拡散するステップを含むことを特徴とする多接触感知方法。
【請求項60】
請求項43記載の方法において、二次元ビデオ映像を投影するステップと、前記光導波体の非接触表面に投影されるビデオ映像を拡散するステップと、前記光導波体の接触表面に接触して内部反射光を妨げるステップとを含むことを特徴とする多接触感知方法。
【請求項61】
請求項60記載の方法において、前記光導波体の非接触表面が配置される側に対応する非接触側から前記二次元ビデオ映像を投影するステップを含むことを特徴とする多接触感知方法。
【請求項62】
請求項43記載の方法において、二次元ビデオ映像を投影するステップと、投影されるビデオ映像を前記光導波体に近接して拡散するステップとを含むことを特徴とする多接触感知方法。
【請求項63】
請求項62記載の方法において、前記投影されるビデオ映像を前記光導波体の近傍に配置された拡散体により拡散するステップと、上記拡散体の実体部分と前記光導波体との間に小さな間隙を設けて、前記拡散体による内部反射光の妨害を最小化するステップとを含むことを特徴とする多接触感知方法。
【請求項64】
請求項63記載の方法において、前記拡散体としてビデオ映像の投影の速度に同期して電気的に切り替え可能な拡散体スクリーンを準備するステップを含むことを特徴とする多接触感知方法。
【請求項65】
請求項43記載の方法において、前記漏れ出る光を画像化するステップは、前記光導波体のそれぞれ異なる部分から漏れ出る光を複数の画像化感知器により画像化するステップを含む、ことを特徴とする多接触感知方法。
【請求項66】
請求項65記載の方法において、複数の二次元ビデオ映像を前記光導波体のそれぞれ異なる位置に投影するステップを含むことを特徴とする多接触感知方法。
【請求項67】
請求項43記載の方法において、前記光導波体を通してビデオ映像を液晶表示パネルにより表示するステップと、前記光導波体から漏れ出る光を上記液晶表示パネルに通過させるステップとを含み、前記漏れ出る光を画像化するステップは、前記液晶表示パネルを通過する漏れ光を画像化するステップを含む、ことを特徴とする多接触感知方法。
【請求項68】
光を光導波体内に受け取るステップと、
受け取った光を上記光導波体内で内部反射するステップと、
上記光導波体に近接して配置された従順表面被覆を押しつけるステップと、
上記従順表面被覆を押しつけて上記従順表面被覆により上記光導波体に接触するステップと、
上記光導波体内の内部反射光を上記光導波体から漏れ出させるために、上記従順表面被覆により上記光導波体に接して、上記光導波体内の内部反射を妨げるステップと、
漏れ出る光を画像化するステップと
を含むことを特徴とする多接触感知方法。
【請求項69】
請求項68記載の方法において、前記従順表面被覆の実体部分と前記光導波体との間に小さな間隙を設けるステップを含み、前記従順表面被覆が押しつけられていないときには全反射の妨害が最小化することを特徴とする多接触感知方法。
【請求項70】
請求項68記載の方法において、前記従順表面被覆を押しつけるステップは、使用者の指により前記従順表面被覆を押しつけるステップを含むことを特徴とする多接触感知方法。
【請求項71】
請求項68記載の方法において、前記従順表面被覆を押しつけるステップは、複数の場所で同時に前記従順表面被覆を押しつけるステップを含み、前記光導波体に接触するステップは、前記従順表面被覆により複数の対応する場所で前記光導波体へ同時に接触するステップを含み、前記内部反射を妨げるステップは、前記光導波体内の内部反射光を上記複数の対応する場所で同時に妨げるステップを含む、ことを特徴とする多接触感知方法。
【請求項72】
請求項71記載の方法において、前記複数の対応する場所は、その少なくともふたつが互いに離れて配置されることを特徴とする多接触感知方法。
【請求項73】
請求項68記載の方法において、前記漏れ出る光を画像化するステップは、前記光導波体の二次元表面に沿う位置から出力される光を区別して画像化するステップを含むことを特徴とする多接触感知方法。
【請求項74】
請求項68記載の方法において、前記漏れ出る光を画像化するステップは、前記光導波体の二次元表面に沿う複数の位置から同時に漏れ出る光を同時に区別して画像化するステップを含むことを特徴とする多接触感知方法。
【請求項75】
請求項68記載の方法において、前記光を光導波体内に受け取るステップは、あらかじめ定められた波長の光を受け取るステップを含み、前記漏れ出る光を画像化するステップは、実質的に上記あらかじめ定められた波長でのみ光を画像化するステップを含むことを特徴とする多接触感知方法。
【請求項76】
請求項68記載の方法において、前記光を光導波体内に受け取るステップは、第1および第2のあらかじめ定められた波長の光を受け取るステップを含み、前記漏れ出る光を画像化するステップは、実質的に上記第1および第2のあらかじめ定められた波長でのみ光を画像化するステップを含む、ことを特徴とする多接触感知方法。
【請求項77】
請求項76記載の方法において、前記漏れ出る光を画像化するステップは、第1の画像化感知器により実質的に前記第1のあらかじめ定められた波長のみで光を画像化し、第2の画像化感知器により実質的に前記第2のあらかじめ定められた波長のみで光を画像化するステップを含む、ことを特徴とする多接触感知方法。
【請求項78】
請求項68記載の方法において、前記光を受け取るステップは、前記光導波体内に光のパルスを受け取るステップを含み、前記漏れ出る光を画像化するステップは、前記光導波体内に受け取る光のパルスの速度に実質的に同期するシャッターを有する画像化感知器により前記漏れ出る光を画像化するステップを含む、ことを特徴とする多接触感知方法。
【請求項79】
請求項68記載の方法において、前記従順表面被覆を非平坦接触表面で準備するステップと、前記従順表面被覆を押しつけるステップは、前記従順表面被覆の前記非平坦接触面を押しつけるステップを含む、ことを特徴とする多接触感知方法。
【請求項80】
請求項68記載の方法において、二次元ビデオ映像を前記光導波体に投影するステップを含むことを特徴とする多接触感知方法。
【請求項81】
請求項80記載の方法において、投影される前記ビデオ映像を前記光導波体により拡散するステップを含むことを特徴とする多接触感知方法。
【請求項82】
請求項80記載の方法において、前記投影されるビデオ映像を前記従順表面被覆により拡散するステップを含むことを特徴とする多接触感知方法。
【請求項83】
請求項68記載の方法において、前記従順表面被覆は、前記光源と同じ波長の周囲の光を排除する成分と、相互作用面の摩擦を削減する成分と、グレアを削減する成分と、使用者が押しつけるための快適な緩衝を提供する成分とを含むことを特徴とする多接触感知方法。
【請求項84】
請求項68記載の方法において、二次元ビデオ映像を前記光導波体を通して前記従順表面被覆に投影するステップと、投影されたビデオ映像を前記従順表面被覆により拡散するステップとを含むことを特徴とする多接触感知方法。
【図1A】
【図1B】
【図1C】
【図1D】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図1B】
【図1C】
【図1D】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【公表番号】特表2009−545828(P2009−545828A)
【公表日】平成21年12月24日(2009.12.24)
【国際特許分類】
【出願番号】特願2009−523076(P2009−523076)
【出願日】平成19年8月3日(2007.8.3)
【国際出願番号】PCT/US2007/075221
【国際公開番号】WO2008/017077
【国際公開日】平成20年2月7日(2008.2.7)
【出願人】(509032302)パーセプティブ ピクセル,インク. (1)
【氏名又は名称原語表記】PERCEPTIVE PIXEL, INC.
【住所又は居所原語表記】111 Eighth Avenue, 16h Floor, New York, NY 10011 U.S.A.
【Fターム(参考)】
【公表日】平成21年12月24日(2009.12.24)
【国際特許分類】
【出願日】平成19年8月3日(2007.8.3)
【国際出願番号】PCT/US2007/075221
【国際公開番号】WO2008/017077
【国際公開日】平成20年2月7日(2008.2.7)
【出願人】(509032302)パーセプティブ ピクセル,インク. (1)
【氏名又は名称原語表記】PERCEPTIVE PIXEL, INC.
【住所又は居所原語表記】111 Eighth Avenue, 16h Floor, New York, NY 10011 U.S.A.
【Fターム(参考)】
[ Back to top ]