仮想物体を操作するための透明コーディングされた透明物体の使用
【課題】 ディスプレイの表面に置かれた物理物体と、表示される仮想物体又はイメージとの間の仮想環境内の対話を可能にする。
【解決手段】 物体のエンコーデッドマーキングから反射されたＩＲ光に応答して、対話型ディスプレイの表面に置かれた物体を検出し、その位置および向きを判定する。対話型ディスプレイの表面での物体の検出時に、ソフトウェアプログラムが、事前定義の機能を実行するために物体を通して可視の仮想エンティティまたはイメージを作る。例えば、物体は、物体を通して可視のテキストを拡大したり、単語または句をある言語から別の言語に翻訳し、翻訳された単語または句が、物体を通して可視になるように見せることができる。物体が動かされた時に、その物体を通して可視の仮想エンティティまたはイメージは、その物体と共に動くことができ、あるいは、実行できる機能を制御することができる。
【解決手段】 物体のエンコーデッドマーキングから反射されたＩＲ光に応答して、対話型ディスプレイの表面に置かれた物体を検出し、その位置および向きを判定する。対話型ディスプレイの表面での物体の検出時に、ソフトウェアプログラムが、事前定義の機能を実行するために物体を通して可視の仮想エンティティまたはイメージを作る。例えば、物体は、物体を通して可視のテキストを拡大したり、単語または句をある言語から別の言語に翻訳し、翻訳された単語または句が、物体を通して可視になるように見せることができる。物体が動かされた時に、その物体を通して可視の仮想エンティティまたはイメージは、その物体と共に動くことができ、あるいは、実行できる機能を制御することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全般的には仮想物体またはイメージを操作するコーディングされた物体の使用に関し、具体的には、可視光に対して一様に透明な透明エンコーディングを有し、その結果、ユーザが、物体がその上で操作されている表面（ｓｕｒｆａｃｅ）上に表れる仮想物体またはイメージを、この物体を通して見られるようになる、物体に関する。
【背景技術】
【０００２】
仮想環境は、通常、ゲーム機、パーソナルコンピュータ、および他のタイプのコンピューティングデバイスでプレイされる電子ゲーム、ならびに他のタイプのアプリケーションで使用される。ユーザは、通常、仮想エンティティを特定の形で移動させるか、仮想環境を作るソフトウェアプログラムによって定義された他のアクションまたは機能を実行する、マウス、ジョイスティック、ホイール、ゲームパッド、トラックボール、または他のユーザ入力デバイスを操作することによって、仮想環境内のエンティティと対話する。ユーザ対話の仮想環境内のエンティティに対する影響は、一般に、ディスプレイで可視である。たとえば、ユーザは、宇宙船またはレースカーなど、仮想環境内で表示される仮想エンティティを制御することができる。したがって、ユーザと仮想環境内の仮想エンティティの間の対話は、周知である。
【０００３】
もう１つの形のユーザ入力では、ユーザの指またはスタイラスの接触に反応するディスプレイが使用される。接触応答ディスプレイは、圧力作動する、電気容量に応答する、磁界強度の変化に応答する、表面弾性波を使用する、またはディスプレイ上の指またはスタイラスの位置を示す他の変数に応答することができる。もう１つのタイプの接触感知ディスプレイに、スクリーンに触れる指またはスタイラスの位置を検出できるようにディスプレイスクリーンの周囲に沿って離隔された複数の光学センサが含まれる。これらの接触感知ディスプレイの１つを使用することによって、ユーザは、表示される仮想エンティティまたはイメージをより直接に制御することができる。たとえば、ユーザは、表示された仮想エンティティに触って、それを選択し、そのエンティティを接触感知ディスプレイ上の新しい位置にドラッグすることができ、あるいは、コントロールに触れ、そのコントロールをドラッグして、あるパラメータを変更することができる。
【０００４】
しかし、そのような接触感知ディスプレイのほとんどで、応答は、ある点での指またはスタイラスの接触に対するもののみである。より豊かな体験をユーザに与えることができる、仮想環境との別のタイプの対話がある。たとえば、電子ゲームソフトウェアプログラムによって作られる仮想環境に、しばしば、スクリーンに表示される仮想エンティティが含まれるが、仮想環境が、ディスプレイの表面に置かれた物理物体にも応答することが望ましい。ほとんどの従来技術の接触感知ディスプレイでは、指またはスタイラスが、単に、スクリーンでの要素の選択またはドラッグを行うのに使用されるポインティングデバイスの代替タイプとして扱われる。その上に置かれた物理物体に対して真に対話型であるために、ディスプレイの表面は、１つまたは複数の物理物体が置かれた場所を検出でき、それぞれがユーザに異なる対話型の体験を提供することができる異なるタイプの物理物体を検出できなければならない。しかし、普通の接触感知ディスプレイで使用される容量性、電磁、光学、または他のタイプのセンサは、通常、ディスプレイスクリーンに同時に触れる複数の指または物体の位置を同時に検出することができず、したがって、そこに置かれた複数の異なるタイプの物理物体の位置または各異なるタイプを検出することができない。これらの従来技術の接触感知システムは、一般に、複数の接触点を検出できず、ディスプレイの表面に近いかこれに触れる物体の形状を検出することができない。複数の接触点を検出できる容量性または抵抗性、あるいは表面弾性波感知型のディスプレイの表面であっても、適度な解像度（詳細）までディスプレイの表面上に置かれた物体の像を取得することができず、ほとんどは、より望ましい単純なバーコードより高価または比較的複雑なコーディング方式を必要とする。これらのタイプの従来技術システムは、ディスプレイの表面に置かれた複数の異なる物体の間で各物体を識別するのに使用できる物体のパターンまたは詳細な形状を検出することができない。
【０００５】
従来技術で開発されたもう１つのユーザインターフェース手法は、水平のディスプレイスクリーンの横および上に取り付けられたカメラを使用して、ディスプレイスクリーンに触れるユーザの指またはたの物体のイメージを視覚的にキャプチャする。この複数カメラ取り付けコンフィギュレーションは、明らかに、ほとんどの人が住宅セッティングで使用することを望むコンパクトなシステムではない。さらに、ディスプレイの表面上またはその近くの物体に応答するこのタイプのマルチカメラシステムの精度は、３次元空間内で物体およびその位置を視覚的に認識する、システムと共に使用されるソフトウェアの機能に依存する。さらに、カメラの１つによりある物体のビューが、中間にある物体によって遮られる場合がある。また、指または物体がスクリーンに触れた場合を演繹することは困難であり、そのような視覚感知システムは、しばしば、複雑な較正を必要とする。審美的観点から、そのようなシステムで使用可能な物体は、ユーザに快いものではない。というのは、これらが、物体の上のユーザに可視である可能性が非常に高いコードを必要とし、したがって、物体が検出される形が、ユーザに非常に明白であるからである。
【０００６】
上で述べたタイプの接触感知ディスプレイに固有の問題の多くに対処するために、Brygg Ullmer and Hiroshi Ishii in "The metaDESK:Models and Prototypes for Tangible User Interfaces," Proceedings of UIST 10/1997:14-17.で報告されているように、ＭＩＴ Ｍｅｄｉａ Ｌａｂでユーザインターフェースプラットフォームが開発された。ｍｅｔａＤＥＳＫには、２次元地理情報を表示するのに使用される水平に近いグラフィカル表面が含まれる。そのグラフィカル表面の上に、３次元地理情報を表示するのに使用される「アクティブレンズ」として働くアームに取り付けられたフラットパネルディスプレイが配置されている。デスクユニット内（すなわち、グラフィカル表面の下）のコンピュータビジョンシステムに、赤外線（ＩＲ）ランプ、ＩＲカメラ、ビデオカメラ、ビデオプロジェクタ、および鏡が含まれる。鏡は、プロジェクタによって投影されたグラフィカルイメージを、グラフィカルディスプレイの表面の下側に反射する。ＩＲカメラは、グラフィカル表面上に置かれた「ファイコン（ｐｈｉｃｏｎ）」と称するパッシブ物体を検出することができる。磁界位置センサおよび電気接触センサも、ｍｅｔａＤＥＳＫに含まれる。たとえば、ＩＲカメラが「グレートドームファイコン」の底部に適用されたＩＲマーキングを検出することに応答して、ＭＩＴキャンパスの地図がグラフィカル表面に表示され、地図内のグレートドームの実際の位置は、グレートドームファイコンが位置する場所に位置決めされる。グレートドームファイコンをグラフィカル表面上で動かすことによって、ユーザによるファイコンの動きに対応して地図を回転または並進させることによって、表示される地図が操作される。
【０００７】
ディスプレイの表面上の物体を感知する類似する手法が、他社と共同してＳｏｎｙ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｌａｂｏｒａｔｏｒｙ，Ｉｎｃ．のＪｕｎ Ｒｅｋｉｍｏｔｏによって公開されたいくつかの論文に開示されている。これらの論文に、「ＨｏｌｏＷａｌｌ」および「ＨｏｌｏＴａｂｌｅ」が短く記載されており、この両方が、ＩＲ光を使用して、リアプロジェクションイメージが可視であるディスプレイの表面に近接するかこれと接触する物体を検出する。リアプロジェクションパネルは、ＨｏｌｏＷａｌｌで垂直、ＨｏｌｏＴａｂｌｅで水平であるが、半透明で散乱性であり、その結果、物体は、パネルに近づき、接触する時に明瞭に可視になる。このように検出される物体は、ユーザの指、手、または他の物体とすることができる。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ディスプレイの表面に置かれた物理物体と、表示される仮想物体またはイメージとの間の仮想環境内の対話を可能にすることが望ましい。理想的には、この対話は、従来技術で行われてきたような、接触感知スクリーン上の仮想物体の単純な選択および移動のための物理物体の使用の範囲を越えなくてはならない。物理物体と表示される仮想物体またはイメージとの間の対話は、さまざまな形をとる。たとえば、ディスプレイの表面に物理物体を置き、仮想環境で実行されるソフトウェアプログラムにその物理物体およびその位置を認識させ、その後、仮想物体を表示する時に物理物体の存在に応答させることができることが望ましい。また、仮想物体またはイメージは、物体を介して可視でなければならず、物理物体がディスプレイの表面に置かれることに応答して表示されるか、ディスプレイの表面で物理物体が検出されたことの結果として、物理物体を通して見られる時に変更されるのいずれかでなければならない。したがって、ユーザが、ディスプレイの表面上での位置または向きを変更するために物理物体を動かした場合に、これに応答して、仮想エンティティまたはイメージを作るソフトウェアプログラムは、仮想エンティティまたはイメージに関連するある機能、パラメータ、または特徴を変更することによって応答しなければならない。また、物理物体に適用されたマーキングは、ユーザに不可視でなければならず、一般に、物体を透過する可視光に影響してはならない。物体の特定の表面がディスプレイの表面に置かれた時に検出される、物理物体の反対の表面の異なるマーキングを設け、その結果、物体の各側面が、異なる機能の達成を引き起こすことも望ましい。
【０００９】
ソフトウェアプログラムとの対話に使用される時のそのような物理物体の多数の潜在的な応用分野がある。ユーザが明らかに直観的な形でそのような物理物体を使用できるようにすることによって、対話型の表面で実行されるソフトウェアプログラムの楽しみおよび機能性を大幅に改善することができる。
【課題を解決するための手段】
【００１０】
本発明は、対話型ディスプレイの表面で実行されつつあるソフトウェアプログラムを制御するためにエンコーデッドパターンに応答してディスプレイの表面によってすぐに認識される物体をユーザが使用できるようにすることによって、対話型ユーザディスプレイの表面の可用性を拡張する。エンコーデッドパターンは、ユーザに不可視であり、ソフトウェアプログラムによって対話型ディスプレイの表面に作られるイメージまたはイメージの部分として物体を透過する可視光と干渉しない。１つまたは複数のこれらの物体の位置および向きに応答することによって、ソフトウェアプログラムによってさまざまな異なる機能を実施することができ、ソフトウェアプログラムは、１つまたは複数の物体を通して可視のメージを変更することができる。
【００１１】
本発明の１態様は、可視光（すなわち、人間が見ることのできる光）に対して一様に光学的に透明な物体を、物体を通る可視光透過に実質的に影響せずに、物体から受け取られる非可視光に応答して光学的に認識できるようにする方法を対象とする。本方法には、物体の第１表面に第１マーキングを適用するステップが含まれる。第１マーキングに、可視光を実質的に透過させるが、非可視波長帯の光を反射する、または非可視波長帯の光を吸収するのいずれかによって非可視波長帯の光に影響する材料が含まれる。非可視波長帯の光は、物体の第１表面で第１マーキングが適用されたところに向けられ、物体から受け取られる非可視波長帯の光に応答して物体の少なくとも一部のイメージが検出され、このイメージは、物体の認識を可能にする。
【００１２】
一実施形態で、本方法に、物体の第２表面に第２マーキングを適用するステップが含まれる。やはり、第２マーキングは、第１マーキングと実質的に同一の材料を含む。第１マーキングおよび第２マーキングを構成する材料が、非可視波長帯の光を吸収する場合に、第１表面は、可視光を実質的に透過させるが非可視波長帯の光を反射する反射材料によって第２表面から分離される。逆に、第１マーキングおよび第２マーキングを構成する材料が、非可視波長帯の光を反射する場合に、第１表面は、可視光を実質的に透過させるが非可視波長帯の光を吸収する吸収材料によって第２表面から分離される。
【００１３】
本方法は、第１マーキングまたは第２マーキングのいずれかから受け取られる非可視波長帯の光を検出することによる物体の状態の判定を提供する。第１マーキングおよび第２マーキングのそれぞれが、物体の異なる状態を示す。判定された物体の状態が、物体を通過する可視光を作るソフトウェアアプリケーションを制御するのに使用される。
【００１４】
経時的な物体の向きのすべての変化が、第１表面または第２表面のいずれかから受け取られた非可視波長帯の光を用いて作られたイメージに基づいて判定される。経時的な物体の向きの変化の関数として、物体を通過する可視光を作るソフトウェアアプリケーションが、制御される。第１マーキングからの非可視光に基づく物体の向きの変化は、第２マーキングからの非可視光に基づく物体の向きの変化と異なる制御機能を、ソフトウェアアプリケーションに適用させる。
【００１５】
第１マーキングが、非可視波長帯の光が第１表面から受け取られる時に物体の少なくとも一部のイメージで自動的に認識されるエンコーデッドパターンとして適用されることが好ましい。同様に、第２マーキングがエンコーデッドパターンとして適用される実施形態で、そのパターンも、非可視波長帯の光が第２表面から受け取られる時に物体の少なくとも一部のイメージで自動的に認識される。
【００１６】
本方法には、第１表面から受け取られた非可視波長帯の光に基づいて物体の向きを判定し、経時的な物体の向きの変化を検出するステップが含まれることが好ましい。向きのこの変化は、物体を通過する可視光を作るソフトウェアアプリケーションを制御するために入力を提供するのに使用される。たとえば、１つのアプリケーションで、経時的な物体の向きの変化が、可視光を用いてソフトウェアアプリケーションによって形成されるイメージに影響する拡大率を変更するのに使用され、その結果、イメージは、物体の向きが変更される時に、物体の向きが変更される向きに応じて相対的なサイズが増やされるか減らされる。
【００１７】
本発明のもう１つの応用例で、本方法に、経時的な物体の向きの変化に対応する形で、物体を通過する、ソフトウェアアプリケーションによって作られる可視光によって形成されるイメージの向きを変更し、その結果、可視光を用いて形成されるイメージが、物体の向きが変更される時に物体と共に動いて見えるようにするステップが含まれる。同様に、本方法に、物体の位置の変化に対応する形で、物体を通過する、ソフトウェアアプリケーションによって作られる可視光によって形成されるイメージの位置を変更するステップを含めることができる。この場合に、可視光を用いて形成されるイメージは、物体の位置が変更される時に物体と共に移動するように見える。
【００１８】
明らかに、本発明は、複数の物体に適用可能であり、その結果、一実施形態で、本方法に、複数の他の物体のそれぞれについて上で述べたステップのそれぞれを繰り返すステップが含まれる。この場合に、ソフトウェアアプリケーションによって、物体を通過する可視光を用いて形成されるイメージに、複数の部分に分割されるより大きいイメージの一部を含めることができる。このステップが適用される１応用例で、本方法に、さらに、対応する他の物体を通して、より大きいイメージの複数の部分のそれぞれを投影し、その結果、イメージの諸部分がジグソーパズルのピースに見えるようにするステップが含まれる。物体が、互いに隣接して正しく組み立てられるならば、これらの物体は、正しく組み立てられた時にジグソーパズルのピースがパズルの絵を作るように、より大きいイメージを正しく提示する。オプションとして、物体のいずれかが裏返され、その結果、前に上に面していた側面が、物体を通して可視のイメージの部分がそれを介して作られる表面の上で下に面する場合に、各物体の対向する面を検出することができる。その結果、イメージのその部分の鏡像バージョンが、その物体を介して可視になる。イメージの部分の鏡像イメージを表示させた側面は、ユーザに対する外見において同一である可能性があるので、イメージ全体を正しく達成するために下に面する必要がある各物体の側面を判定できないことが、イメージ全体を正しく可視にするために物体を組み立てるという課題を、さらに難しく、面白いものにする。
【００１９】
もう１つのオプションは、本発明を用いてビデオジグソーパズルを提供することである。ビデオジグソーパズルは、ビデオソースを使用してイメージのシーケンスを提供し、その結果、イメージの諸部分が、ビデオを構成するイメージが経時的に変化するのにつれて変化しているようになる。明らかに、このビデオジグソーパズルは、イメージのシーケンスを見るために物体を正しく組み立てるというはるかに難しい問題を提示する。というのは、イメージが静的ではなく、物体のそれぞれを通して可視のイメージの部分が、動的に変化し、物体を正しく組み立てる形を判定することが、より難しくなるからである。本発明のジグソーパズル応用例と共に使用されるイメージまたはビデオを、ユーザによって作成された人の写真またはイメージとすることができ、あるいは、ユーザが作ったビデオとすることができることにも留意されたい。
【００２０】
本発明のもう１つの応用例では、ソフトウェアプログラムが、物体を通過する可視光に、少なくとも１つの単語の、物体がその上に位置する少なくとも１つの単語と異なる言語への翻訳に対応するテキストを形成させる。この応用例は、ユーザが単語または句の翻訳を表示するのに物体を選択的に使用することを可能にすることによって、外国語を学習するのに有用になる可能性がある。
【００２１】
本発明を適用できる多数の他の応用例がある。たとえば、本方法に、ソフトウェアプログラムに従って作られる可視光を用いて第１イメージを表示するステップと、物体を第１イメージの上に置くことを可能にするステップを含めることができる。物体を透過する可視光は、第１イメージに関係するが第１イメージと異なる第２イメージを形成する。したがって、第１イメージに写真が含まれる場合に、第２イメージは、変更が適用された後のその写真を表すことができる。さらに、本方法に、第２イメージとして物体を通して可視になる写真に適用される変更を調整するためにユーザが物体の向きを変更することを可能にするステップを含めることができる。
【００２２】
関連する応用例で、第１イメージは、第１の外見を有するエンティティを表し、第２イメージは、異なる外見を有するそのエンティティを表す。したがって、物体を使用することによって、第１イメージのエンティティのある特徴が、エンティティが第２イメージで見える時に変更される。この応用例のさまざまな用途は、異なるヘアスタイルまたは異なるスタイルの衣類を有する人を見ること、または、たとえば色相、色、彩度などを変更して写真イメージの外見を変更するのに物体を使用することに関するものとすることができる。本方法は、ユーザが特徴の変更を制御するために物体を動かすことを可能にすることが好ましい。
【００２３】
本発明の他の態様は、上で述べた方法のステップを全般的に実行する機械実行可能命令を有する記憶媒体、ならびに、物体を透過する可視光に実質的に影響せずに、物体から受け取られる非可視光に応答して、可視光に対して一様に光学的に透明な物体が光学的に認識されるシステムを対象とする。本システムには、物体を照らす非可視光の源と、可視光を使用してイメージを作るイメージソースと、物体から受け取られる非可視光に応答して信号を作るセンサと、機械命令が保存されるメモリが含まれる。イメージソース、センサ、およびメモリに結合されたプロセッサも含まれる。プロセッサは、機械命令を実行して、複数の機能を実行し、これらの機能は、全般的に、上で述べた方法のステップと両立する。
【００２４】
本発明のもう１つの態様は、物体が動かされるようにするために、一様に可視光に対して光学的に透明であり、可視光を使用するイメージの諸部分がそれを透過する物体を使用する方法、システム、および記憶媒体方法であって、イメージの部分が、物体と共に動き、これが、ジグソーパズルの機能性の多くを複製する本発明の応用例に似るが、上で定義された物体が、イメージ全体を表示するように正しく配置されなければならないイメージの諸部分を伝えるのに使用される、方法、システム、および記憶媒体方法を対象とする。
【００２５】
本発明の前述の態様および多数の付随する利点は、添付図面と共に次の詳細な説明を参照することによってよりよく理解されるようになるにつれて、より簡単に理解されるようになろう。
【発明を実施するための最良の形態】
【００２６】
本発明を実施する例示的なコンピューティングシステム
図１を参照すると、本発明のさまざまな部分を実施するのに適する例示的なシステムが示されている。このシステムには、処理装置２１、システムメモリ２２、およびシステムバス２３を備えた普通のＰＣ ２０の形の汎用コンピューティングデバイスが含まれる。システムバスは、システムメモリを含むさまざまなシステムコンポーネントを処理装置２１に結合し、メモリバスまたはメモリコントローラ、周辺バス、およびさまざまなバスアーキテクチャのいずれかを使用するローカルバスを含む複数のタイプのバス構造のいずれかとすることができる。システムメモリに、読出し専用メモリ（ＲＯＭ）２４およびランダムアクセスメモリ（ＲＡＭ）２５が含まれる。スタートアップ中などにＰＣ ２０内の要素の間で情報を転送するのを助ける基本ルーチンを含む基本入出力システム２６（ＢＩＯＳ）が、ＲＯＭ ２４に保存されている。ＰＣ ２０に、さらに、ハードディスク（図示せず）から読み取り、これに書き込むハードディスクドライブ２７、リムーバブル磁気ディスク２９から読み取り、これに書き込む磁気ディスクドライブ２８、コンパクトディスク読出し専用メモリ（ＣＤ−ＲＯＭ）または他の光ディスクなどのリムーバブル光ディスク３１から読み取り、これに書き込む光ディスクドライブ３０が含まれる。ハードディスクドライブ２７、磁気ディスクドライブ２８、および光ディスクドライブ３０は、それぞれ、ハードディスクドライブインターフェース３２、磁気ディスクドライブインターフェース３３、および光ディスクドライブインターフェース３４によってシステムバス２３に接続される。ドライブおよびそれに関連するコンピュータ可読媒体は、コンピュータ可読機械命令、データ構造、プログラムモジュール、および他のデータの不揮発性の記憶をＰＣ ２０に提供する。本明細書で説明する例示的な実施形態は、ハードディスク、リムーバブル磁気ディスク２９、およびリムーバブル光ディスク３１を使用するが、磁気カセット、フラッシュメモリカード、ディジタルビデオディスク（ＤＶＤ）、ベルヌーイカートリッジ、ＲＡＭ、ＲＯＭなど、コンピュータによってアクセス可能な、データおよび機械命令を保存できる他のタイプのコンピュータ可読媒体も、例示的なオペレーティング環境で使用できることを、当業者は理解されよう。
【００２７】
オペレーティングシステム３５、１つまたは複数のアプリケーションプログラム３６、他のプログラムモジュール３７、およびプログラムデータ３８を含む複数のプログラムモジュールを、ハードディスク、磁気ディスク２９、光ディスク３１、ＲＯＭ ２４、またはＲＡＭ ２５に保存することができる。ユーザは、キーボード４０およびポインティングデバイス４２などの入力デバイスを介して、ＰＣ ２０内でコマンドおよび情報を入力し、制御入力を供給することができる。ポインティングデバイス４２に、マウス、スタイラス、無線リモートコントロール、または他のポインタを含めることができるが、本発明に関して、そのような普通のポインティングデバイスを省略することができる。というのは、ユーザが、入力および制御に対話型ディスプレイを使用できるからである。本明細書で使用する用語「マウス」は、スクリーン上のカーソルの位置を制御するのに有用である事実上すべてのポインティングデバイスを含むことが意図されている。他の入力デバイス（図示せず）に、マイクロホン、ジョイスティック、触覚（ｈａｐｔｉｃ）ジョイスティック、ヨーク（ｙｏｋｅ）、フットペダル、ゲームパッド、衛星パラボラアンテナ、スキャナなどを含めることができる。上記および他の入出力（Ｉ／Ｏ）デバイスは、しばしば、システムバス２３に結合されたＩ／Ｏインターフェース４６を介して処理装置２１に接続される。用語Ｉ／Ｏインターフェースは、具体的にはシリアルポート、パラレルポート、ゲームポート、キーボードポート、および／またはユニバーサルシリアルバス（ＵＳＢ）に使用される各インターフェースを含むことが意図されている。システムバス２３は、カメラインターフェース５９にも接続され、このカメラインターフェース５９は、下で述べるように、対話型ディスプレイ６０に含まれるディジタルビデオカメラから信号を受け取るために対話型ディスプレイ６０に結合されている。ディジタルビデオカメラは、その代わりに、ＵＳＢバージョン２．０ポートなど、適当なシリアルＩ／Ｏポートに結合することができる。オプションとして、モニタ４７を、ビデオアダプタ４８などの適当なインターフェースを介してシステムバス２３に接続することができるが、本発明の対話型ディスプレイテーブルは、ソフトウェアアプリケーションの制御および情報の入力に関するより豊かなディスプレイをユーザに提供するとともにユーザと対話することができ、したがって、ビデオアダプタに結合されることが好ましい。ＰＣが、しばしば、スピーカ（サウンドカードまたは他のオーディオインターフェース（図示せず）を介して）およびプリンタなど、他の周辺出力デバイス（図示せず）に結合されることを理解されよう。
【００２８】
本発明は、単一のコンピューティングデバイスを使用して実践することができるが、ＰＣ ２０は、リモートコンピュータ４９など、１つまたは複数のリモートコンピュータへの論理接続を使用してネットワーク化された環境で動作することもできる。リモートコンピュータ４９は、別のＰＣ、サーバ（通常は、一般に、ＰＣ ２０のように構成される）、ルータ、ネットワークＰＣ、ピアデバイス、衛星ネットワークノード、または他の一般的なネットワークノードとすることができ、通常、ＰＣ ２０に関して上で説明した要素の多数またはすべてが含まれるが、図１には外部メモリ記憶装置５０だけを示した。図１に示された論理接続に、ローカルエリアネットワーク（ＬＡＮ）５１および広域ネットワーク（ＷＡＮ）５２が含まれる。そのようなネットワーキング環境は、オフィス、会社全体のコンピュータネットワーク、イントラネット、およびインターネットで一般的なものである。
【００２９】
ＬＡＮネットワーキング環境で使用される時に、ＰＣ ２０は、ネットワークインターフェースまたはネットワークアダプタ５３を介してＬＡＮ ５１に接続される。ＷＡＮネットワーキング環境で使用される時に、ＰＣ ２０に、通常は、インターネットなどのＷＡＮ ５２を介する通信を確立する、モデム５４または、ケーブルモデム、ディジタル加入者回線（ＤＳＬ）インターフェース、もしくはサービス統合ディジタル網（ＩＳＤＮ）インターフェースなどの他の手段が含まれる。モデム５４は、内蔵または外付けとすることができるが、システムバス２３に接続されるか、Ｉ／Ｏデバイスインターフェース４６すなわちシリアルポートを介してバスに結合される。ネットワーク化された環境では、ＰＣ ２０によって使用されるプログラムモジュールまたはその一部を、リモートメモリ記憶装置に保存することができる。図示のネットワーク接続が例示的であり、無線通信リンクおよび広帯域ネットワークリンクなど、コンピュータの間の通信リンクを確立する他の手段を使用できることを理解されよう。
例示的な対話型の表面
図２では、フレーム６２内にＰＣ ２０を含み、コンピュータ用の光学入力およびビデオディスプレイデバイスの両方として働く例示的な対話型ディスプレイ６０が示されている。対話型ディスプレイテーブルのこの断面図では、テキストおよびグラフィックイメージの表示に使用される光線が、一般に、点線を使用して示され、対話型ディスプレイテーブルのディスプレイの表面６４ａ上またはそのすぐ上の物体を感知するのに使用される赤外線（ＩＲ）光線が、破線を使用して示されている。ディスプレイの表面６４ａは、対話型ディスプレイテーブルの上面６４内にセットされている。テーブル表面の周辺は、ユーザの腕または、ディスプレイの表面６４ａに表示されるグラフィックイメージまたは仮想環境と対話するのに使用できる物体を含む他の物体を支持するのに有用である。
【００３０】
ＩＲ光源６６に、複数のＩＲ発光ダイオード（ＬＥＤ）が含まれることが好ましく、ＩＲ光源６６は、フレーム６２の内側側面に取り付けられる。ＩＲ光源６６によって作られたＩＲ光は、破線７８ａ、７８ｂ、および７８ｃによって示されるように、ディスプレイの表面６４ａの下側に向かって、上に向けられる。ＩＲ光源６６からのＩＲ光は、ベラム（ｖｅｌｌｕｍ）または光拡散特性を有する他の適当な半透明材料のシートを含む、テーブルの半透明層６４ｂを通過した後に、ディスプレイの表面の上またはその近くにある物体から反射される。１つのＩＲ光源６６が示されているが、ディスプレイの表面６４ａの均一な照明をもたらすために、複数のそのようなＩＲソースを、フレーム６２の内側側面に沿って離隔された位置に取り付けられることを理解されよう。ＩＲソースによって作られた赤外線光は、
・破線７８ａによって示されているように、物体を照らさずにテーブル表面から出る場合があり、
・破線７８ｂによって示されているように、テーブル表面の物体を照らす場合があり、または
・破線７８ｃによって示されているように、テーブル表面の上のある距離でテーブル表面に触れていない物体を照らす場合がある。
【００３１】
ディスプレイの表面６４ａの上の物体に、ディスプレイの表面に乗っている「タッチ（ｔｏｕｃｈ）」物体７６ａと、ディスプレイの表面に近いが実際に接触してはいない「ホバー（ｈｏｖｅｒ）」物体７６ｂが含まれる。ディスプレイの表面の下で半透明層６４ｂを使用してディスプレイの表面を通過するＩＲ光を散乱させたことの結果として、物体がディスプレイの表面６４ａに接近する時に、物体によって反射されるＩＲ光の量が、物体がディスプレイの表面に実際に接触した時に達成される最大値まで増える。
【００３２】
ディジタルビデオカメラ６８が、ディスプレイの表面６４ａの上に配置されたタッチ物体またはホバー物体から反射されたＩＲ光を受け取るのに適当な、ディスプレイの表面６４ａの下の位置でフレーム６２に取り付けられている。ディジタルビデオカメラ６８は、ＩＲ通過フィルタ８６ａを備え、このＩＲ通過フィルタ８６ａは、ＩＲ光だけを通し、ディスプレイの表面６４ａを通って点線８４ａに沿って進む環境可視光を阻止する。バッフル（ｂａｆｆｌｅ）７９が、ＩＲ光源６６とディジタルビデオカメラの間に配置されて、ＩＲソースから直接に発するＩＲ光がディジタルビデオカメラに入らないようにする。というのは、このディジタルビデオカメラが、ディスプレイの表面６４ａの上の近距離またはこれと接触する物体から反射された、ディスプレイの表面またはその上の物体から反射されたＩＲ光のイメージに対応するＩＲ光だけに応答する出力信号を作ることが好ましいからである。ディジタルビデオカメラ６８は、上からディスプレイの表面６４ａを通過し、対話型ディスプレイの内側に入る環境光に含まれるＩＲ光（たとえば、点線８４ａによって示される経路に沿って進む環境ＩＲ光）にも反応することを理解されよう。
【００３３】
テーブル表面またはその上の物体から反射されたＩＲ光は、
・破線８０ａおよび８０ｂによって示されるように、反射され、半透明層６４ｂを通り、ＩＲ通過フィルタ８６ａを通ってディジタルビデオカメラ６８のレンズに入る場合があり、あるいは、
・破線８０ｃによって示されるように、ディジタルビデオカメラ６８のレンズに入らずに、対話型ディスプレイ内の他の内側表面によって反射されるか吸収される場合がある。
【００３４】
半透明層６４ｂは、入射ＩＲ光と反射ＩＲ光の両方を散乱させる。したがって、上で説明したように、ディスプレイの表面６４ａにより近い「ホバー」物体は、ディスプレイの表面からより遠い、同一反射率の物体より多くのＩＲ光をディジタルビデオカメラ６８に反射する。ディジタルビデオカメラ６８は、そのイメージングフィールド（ｉｍａｇｉｎｇ ｆｉｅｌｄ）内の「タッチ」物体および「ホバー」物体から反射されたＩＲ光を感知し、反射されたＩＲ光のイメージに対応するディジタル信号を作り、このディジタル信号が、その物体のそれぞれの位置と、オプションとして物体のサイズ、向き、および形状を判定する処理のためにＰＣ ２０に入力される。物体の一部（ユーザの前腕など）がテーブルの上にあり、別の部分（ユーザの指など）がディスプレイの表面と接触している場合があることに留意されたい。さらに、物体の底面に、その物体に固有またはその物体がメンバである関連する物体のクラスに固有の、ＩＲ光反射パターンまたはコーディングされた識別子（たとえば、バーコード）を含めることができる。したがって、ディジタルビデオカメラ６８からのイメージング信号は、本発明に従って、その反射パターンから反射されたＩＲ光に基づく、そのような特定の各物体の検出ならびにその向きの判定に使用することもできる。この機能を実行するために実施される論理ステップを、下で説明する。
【００３５】
ＰＣ ２０は、図２に示されているように対話型ディスプレイテーブル６０に一体化することができ、あるいはその代わりに、図３の実施形態に示されているように、対話型ディスプレイテーブルの外部に置くことができる。図３では、対話型ディスプレイテーブル６０’が、データケーブル６３を介して外部のＰＣ ２０（上で述べたように、オプションのモニタ４７を含む）に接続されている。この図からわかるように、直交するＸ軸およびＹ軸のセットならびに「０」によって示される原点が、ディスプレイの表面６４ａに関連する。具体的に図示はしていないが、各直交軸に沿った複数の座標位置を使用して、ディスプレイの表面６４ａ上の任意の位置を示すことができることを理解されよう。
【００３６】
対話型ディスプレイテーブルが、外部ＰＣ ２０に（図３のように）または、セットトップボックス、ビデオゲーム、ラップトップコンピュータ、またはメディアコンピュータ（図示せず）などの他のタイプの外部コンピューティングデバイスに接続される場合に、対話型ディスプレイテーブルに、入出力デバイスが含まれる。対話型ディスプレイテーブルの電力は、電力リード６１によって供給され、この電力リード６１は、普通の交流（ＡＣ）ライン電源（図示せず）に結合される。データケーブル６３は、対話型ディスプレイテーブル６０’に接続されるが、ＰＣ ２０のＵＳＢ ２．０ポート、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）１３９４（またはＦｉｒｅｗｉｒｅ）ポート、またはイーサネット（登録商標）ポートに接続することができる。無線接続の速度が向上し続けているので、対話型ディスプレイテーブルを、そのような高速無線接続を介して、または他の適当な有線もしくは無線のデータ通信を介して、ＰＣ ２０などのコンピューティングデバイスに接続することもできることも考慮されている。対話型ディスプレイの肝要な部分として内蔵されるか外部にあるかにかかわらず、ＰＣ ２０は、ディジタルビデオカメラ６８からのディジタルイメージを処理するアルゴリズムを実行し、有利に対話型ディスプレイテーブル６０のより直観的なユーザインターフェース機能を使用するように設計されたソフトウェアアプリケーションを実行し、そのような機能を利用するように特に設計されてはいないが、それでも対話型ディスプレイテーブルの入出力機能を利用できる他のソフトウェアアプリケーションも実行する。もう１つの代替案として、対話型ディスプレイを、外部コンピューティングデバイスに結合するが、外部ＰＣによって行われないイメージ処理および他のタスクを行うために内部コンピューティングデバイスを含めることができる。
【００３７】
対話型ディスプレイテーブル（すなわち、上で述べた実施形態のいずれか）の重要で強力な特徴が、ゲームまたは他のソフトウェアアプリケーションのためにグラフィックイメージまたは仮想環境を表示する能力、ならびにディスプレイの表面６４ａで可視のグラフィックイメージまたは仮想環境と、タッチ物体７６ａなどのディスプレイの表面上にある物体またはホバー物体７６ｂなどのその上でホバリングしている物体との間の対話を可能にする能力である。この豊かな対話を大きく促進するのは、そのような物体ならびにユーザの指またはユーザによって動かされる他の物体を視覚的に検出する対話型ディスプレイテーブルの能力である。
【００３８】
もう一度図２を参照すると、対話型ディスプレイテーブル６０に、グラフィックイメージ、仮想環境、またはテキスト情報をディスプレイの表面６４ａに表示するのに使用されるビデオプロジェクタ７０が含まれる。このビデオプロジェクタは、少なくとも６４０×４８０ピクセルの解像度を有する、液晶ディスプレイ（ＬＣＤ）タイプ、ディジタルライトプロセッサ（ＤＬＰ）タイプ、または反射型液晶（ＬＣｏＳ）ディスプレイタイプであることが好ましい。ＩＲカットフィルタ（ＩＲ ｃｕｔ ｆｉｌｔｅｒ）８６ｂが、ビデオプロジェクタ７０の投影レンズの前に取り付けられて、ビデオプロジェクタが発するＩＲ光が、対話型ディスプレイテーブルの内部で、そのＩＲ光がディスプレイの表面６４ａまたはその上の物体から反射されたＩＲ光と干渉する場所に入らないようになっている。第１鏡アセンブリ７２ａが、プロジェクタレンズから進む投影された光を、点線経路８２ｂに沿って、フレーム６２の透明開口９０ａを通るように向け、その結果、投影された光が、第２鏡アセンブリ７２ｂに入射するようになる。第２鏡アセンブリ７２ｂは、投影された光を経路８２ｃに沿って半透明層６４ｂに反射し、半透明層６４ｂは、プロジェクタレンズの焦点にあり、その結果、投影されたイメージが、見るためにディスプレイの表面６４ａで可視になり、焦点が合うようになる。
【００３９】
アラインメントデバイス７４ａおよび７４ｂが設けられ、これには、ディスプレイの表面に投影されたイメージがディスプレイの表面で位置合わせされることを保証するために、第１鏡アセンブリおよび第２鏡アセンブリの角度を調整する、ねじ付きの棒および回転可能な調整ナット７４ｃが含まれる。投影されるイメージを所望の向きに向けることのほかに、この２つの鏡アセンブリの使用は、プロジェクタ７０と半透明層６４ｂの間のより長い経路をもたらし、より重要なことに、対話型ディスプレイテーブルの所望のサイズおよび形状を達成するのを助け、その結果、対話型ディスプレイテーブルが、大きすぎず、ユーザがその横に快適に座ることができるサイズおよび形状になる。
【００４０】
ソフトウェアアプリケーションを制御するのに使用可能な物理物体
ここで図４を参照すると、第１表面１０２ａ（物体の底部）および第２表面１０２ｂ（物体の頂部）を含む２つの対向する表面を有する例示的な物体１００が示されている。物体は、可視光（すなわち、人間に可視の光）に対して光学的に実質的に透明な材料から作られる。物体１００の形状は、本発明の範囲に関して限定的であることを意図されたものではないが、この例では、物体１００は、比較的薄いすなわち、第１表面１０２ａと第２表面１０２ｂの間で測定された寸法が物体の他の寸法と比較して薄い、全般的に四角い形のブロックに見える。
【００４１】
第１エンコーデッドマーキング１０４ａが、第１表面１０２ａに適用され、第２エンコーデッドマーキング１０４ｂが、第２表面１０２ｂに適用され、これは第１エンコーデッドマーキングと異なる。その代わりに、物体１００の第１表面または第２表面のいずれかに単一のエンコーデッドマーキングを適用することができ、あるいは、同一のエンコーデッドマーキングを物体の第１表面および第２表面の両方に適用することができることを理解されよう。しかし、例示のために、この図に示された例には、第１エンコーデッドマーキングおよび異なる第２エンコーデッドマーキングの両方が含まれ、これによって、第１表面または第２表面のどちらが対話型ディスプレイの表面６４ａに接触して置かれているかに応じて、少なくとも２つの異なる機能を選択的にアクティブ化することが可能になる。したがって、下で詳細に説明するように、エンコーデッドマーキングの１つから受け取られるＩＲ光が、対話型ディスプレイの表面６４ａへの入力として働くことと、この入力が、そのエンコーデッドマーキングに関連する事前定義の機能を実施させることは明白である。
【００４２】
物体１００のこの例示的な実施形態では、第１エンコーデッドマーキング１０４ａ、および第２エンコーデッドマーキング１０４ｂに、可視光を簡単に通すが、ＩＲ反射部分１１０およびＩＲ透過部分１０８を含む材料が含まれる。代替案として、エンコーデッドマーキングに、ＩＲ反射部分１１０の代わりにＩＲ光を吸収する部分ならびにＩＲ透過部分１０８を含めることができる。
【００４３】
図４に示された実施形態に示されているように、第１および第２のエンコーデッドマーキングの両方が使用される場合に、物体１００は、第１層１００ａおよび第２層１００ｂに分離され、これらが中間層１０６によって分離されることが好ましい。さらに、ＩＲ反射部分１１０が、第１および第２のエンコーデッドマーキングのそれぞれに使用されると仮定すると、中間層１０６は、ＩＲ光を吸収する特性を有する。逆に、ＩＲ反射部分１１０の代わりにＩＲ吸収層が使用される場合には、中間層１０６が、ＩＲ光を反射しなければならない。また、中間層１０６は、第１および第２のエンコーデッドマーキングと同様に、可視光１１６を実質的に透過させなければならない。中間層１０６の使用は、どちらの場合でも、対話型表面６４ａと接触しているエンコーデッドマーキングだけが、ディジタルビデオカメラ６８（図２）によって受け取られるエンコードされた信号を供給することと、物体１００の対向する表面（すなわち、物体の、対話型ディスプレイの表面と接触していない表面）に配置された他方のエンコーデッドマーキングが、入力の判定に干渉せず、正しい機能が対話型ディスプレイの表面６４ａに関して実施されるようになることを保証する。
【００４４】
多数の他のエンコーデッドパターンを、第１および第２のエンコーデッドマーキングに使用することができるが、図５に示されているように、第１エンコーデッドマーキング１０４ａに、ＩＲ透過部分１０８とＩＲ反射部分１１０（またはＩＲ吸収部分）の交互するバーまたはストライプを含むバーコードが含まれることが好ましい。第１または第２のエンコーデッドマーキングから反射されたＩＲ光は、物体１００から受け取られたＩＲ光に応答して、ディスプレイテーブルのディジタルビデオカメラによって作られた信号を処理することによる物体１００の認識を可能にする。さらに、対話型ディスプレイの表面６４ａでの物体１００の位置および向きが、ディジタルビデオカメラによってすぐに判定される。さらに、第１および第２のマーキングと中間層１０６（使用される場合に）の両方が、可視光１１６をすぐに透過させるので、対話型ディスプレイの表面６４ａの物体１００の真下の部分に現れる仮想エンティティまたはイメージは、物体１００を透過する、仮想エンティティまたはイメージからの可視光を見ることによって、すぐに可視になる。第１および第２のエンコーデッドマーキングは、好ましくは人間の目にたやすくは可視でないものであるので、物体１００が対話型テーブルによってどのように識別され、対話型ディスプレイの表面６４ａでの位置／向きがどのように判定されているかは、ユーザにたやすく明白にはならないであろう。したがって、本発明によって提供される機能は、それが達成される形が何も知らないユーザに明白でないので、より高い神秘的な雰囲気を有する。
【００４５】
図６に、中央領域１２４の周囲の表面に周辺ＩＲ反射マーキング１２２を有する物体１２０を示す。周辺ＩＲ反射マーキング１２２の１つの側面または縁に、物体１２０の具体的な識別とＩＲ透過バー１２６が配置された物体の側面または縁に関するその向きの表示との両方を行う複数のＩＲ透過バー１２６が含まれる。使用される特定のエンコーディングパターンに応じて、エンコーデッドマーキングが適用された物体の向きを、この物体から反射されたＩＲ光に応答してディジタルビデオカメラによって作られた信号を処理することによって、すぐに判定することができる。さらに、中央領域１２４の周囲にＩＲ反射周辺部を設けることによって、すべての仮想エンティティまたはイメージを、物体１２０の真下の対話型ディスプレイの表面６４ａですぐに表示でき、その結果、その仮想エンティティまたはイメージが、物体の中央領域１２４を透過する、その仮想エンティティまたはイメージを表示するのに使用される可視光を見ることによって、たやすく可視になる。
【００４６】
本発明に関して、あるタイプの物体の位置および向きの両方を判定し、その結果、物体を通して可視の仮想エンティティまたはイメージが、対話型ディスプレイの表面の物体の形状およびその位置に関して正しいサイズおよび向きにされることが重要である。この点の重要性は、下の議論の中でより明白になるが、下の議論では、対話型テーブル６０／６０’に含まれるかその外部に結合されるＰＣ ２０によって実行される異なるソフトウェアプログラムによって実施される事前定義の機能を開始するための入力を提供する時の本発明の複数の例示的な応用例を説明する。
【００４７】
本発明の例示的な応用例
対話型ディスプレイの表面で使用される時にその威力を非常によく示す、多分、本発明の最も興味深く、面白い応用例の１つを、図７および８に示す。図７では、対話型ディスプレイの表面６４ａに表示されたイメージ１３０が、（クリップアート形式の）ライオンを示している。このイメージに、複数の部分１３２ａ〜１３２ｉが含まれ、そのそれぞれが、本発明に従って構成された異なる物体に対応する。この図を単純にするために、同一の符号１３２ａ〜１３２ｉが、イメージの部分がそれを通して可視である物体を識別するのにも使用されている。これらの物体のそれぞれが、ＩＲエンコーデッドマーキング（この図には図示せず）によって一意に識別され、その結果、対応する部分のイメージが、対話型ディスプレイの表面６４ａで、イメージのその部分に関連する物体の下に現れるようになっていることを理解されたい。したがって、物体の下に表示されるイメージの部分は、物体を通して可視である。したがって、図８からわかるように、これらの物体が、対話型ディスプレイの表面６４ａ上でランダムに分布する時に、対話型ディスプレイの表面に表れるイメージ１３０の対応する部分が、ランダムに分布する時の物体のそれぞれに伴って移動する。したがって、イメージの、各物体に関連する部分が、物体の一部であるように見える。
【００４８】
したがって、図７および８に示された応用例が、一般に、普通のジグソーパズルに対応し、各物体がパズルの異なるピースを表すことは明白である。ユーザがこれらの物体を再組立し、その結果、イメージの対応する部分が、図７に示されたイメージ１３０を表示できるようにすることによって、エンターテイメントがユーザに提供される。ユーザが、物体の１つをとり、対話型ディスプレイの表面から離れる方に物体を移動する時に、イメージの、前にその物体を通じて可視であった部分が、対話型ディスプレイの表面から消える。その物体の一意のエンコーデッドマーキングが、もはや対話型ディスプレイの表面に乗っているものとして検出されなくなるので、イメージの、その物体に関連する部分が、もはや対話型ディスプレイの表面に投影されなくなる。
【００４９】
ユーザが、もう一度イメージ１３０を形成するように物体およびそれに対応するイメージ部分を正しく組み立てたならば、ユーザは、オプションとして、対話型ディスプレイの表面によって異なる新しいイメージを表示させることができ、その結果、この異なる新しいイメージの諸部分が、同様に物体に関連する。ユーザは、物体をランダムに分散させ、その後、それらを正しく再組立して、新しいイメージを形成することができる。その代わりに、異なる新しいイメージ部分が物体のそれぞれに関連付けられる前にユーザが物体をランダムに巻き散らし、異なる新しいイメージを達成するために物体を再組立するという作業をより難しくすることができる。さらに、イメージの部分を物体に割り当てる時に、より多数またはより少数の物体を使用できることを理解されよう。したがって、年少のユーザについて、イメージが対応する少数の部分だけを含むので、少数の物体だけを使用することができ、年長のユーザについて、この単純な例に示されたものより多数の物体およびイメージの対応する多数の部分を使用することができ、これによって、イメージを形成するために物体を正しく再組立する作業をより難しくすることができる。
【００５０】
イメージの各部分に関連する物体に、対向する側面に異なるエンコーデッドマーキングが含まれる（図４に関して上で説明したように）場合に、反転され、その結果、他のエンコーデッドマーキングが、対話型ディスプレイの表面に提示されている物体に、イメージの各部分の鏡像版を表示することが可能である。このひねりによって、普通のジグソーパズルによって提供されない、完全なレベルの複雑さおよび課題が、物体を正しく組み立てることに追加されることは明白である。というのは、各物体のどの側面が、イメージの正常部分ではなくイメージの鏡像部分に対応するかが、ユーザに明白ではない可能性があるからである。各物体の両側面が、ユーザには同一に見える。物体の一部が、他の物体に対して反転されている場合に、完全なイメージを表示するために物体を正しく再組立することは不可能である。ユーザは、フルイメージの鏡像版またはフルイメージの非鏡像版のいずれかを組み立てるために、物体のすべてを同一の状態（すなわち、すべて反転またはすべて非反転）にしなければならない。
【００５１】
本発明のこの応用例のもう１つの変形形態が、ビデオを用いて提供されるイメージのシーケンスを使用し、その結果、イメージの諸部分が静的でなく、ビデオがシーケンスの別のイメージに進む時に変化するようにすることである。イメージのシーケンシングの速度は、比較的遅くなるように調整可能とすることができ、あるいは、その代わりに、ビデオに使用される約３０フレーム毎秒の「通常」速度で動かすことができる。各物体に関連してシーケンシングされるイメージの関連部分が、維持され、その結果、物体が正しく組み立てられたならば、ビデオのフルイメージが、物体を通して明瞭に表示されるようになる。しかし、この応用例での静的イメージの代わりのビデオの使用は、物体を正しく組み立てる作業にさらなる困難さを追加し、通常のジグソーパズルに似ていないことを理解されよう。
【００５２】
静的イメージまたはイメージのビデオシーケンスを、ユーザが供給できることにも留意されたい。たとえば、ユーザの個人の写真または他のイメージを、静的イメージに使用することができ、ユーザが作ったビデオを、上で述べた変形形態に使用することができる。また、写真のシーケンス（たぶんユーザによって供給される）を、上で述べたようにシーケンシングされるイメージに使用することができる。ユーザのイメージまたはビデオを使用することによって、この応用例を、個人的により意味があり、ユーザおよび友人により面白いものになるようにカスタマイズすることができる。
【００５３】
図９および１０に、対話型ディスプレイの表面６４ａにテキスト１４０を表示するほとんどすべてのソフトウェアアプリケーションと共に使用できる、本発明の異なる応用例を示す。テキスト１４０は、ある公称フォントサイズで表示される。しかし、環状（外周に関して）であり、透明な中央部分１４４を有する物体１４２が、テキスト１４０の上に置かれた時に、この物体が、透明な中央部分１４４を通して可視のテキストのフォントサイズを変更し、その結果、テキストが、図９のテキスト１４６のように拡大されて見えるようになる。ユーザが、テキスト１４０の他の部分に物体１４２を移動する時に、テキストの、透明な中央部分１４４内に見える部分が、同様にサイズを拡大される。
【００５４】
図１０に、ユーザが、図９の配置に対して反時計回りに回転することによって物体１４２の向きを変更したことの結果を示す。矢印１４８は、ユーザが物体１４２を時計回りに回転した場合に、テキスト１４０が拡大され、物体１４２が反時計回りに回転された場合に、テキスト１４６’が、透明な中央部分１４４内で縮小されたサイズで（すなわち、透明な中央部分１４４の外で表示されたテキスト１４０より小さいフォントを使用して）可視になることを示している。図示されていないが、物体１４２を使用して、ユーザの制御の下で、仮想エンティティまたはイメージのサイズを拡大または縮小するために、単に物体１４２を望みの方向に回転することによって、透明な中央部分１４４内で可視の写真イメージまたはほとんどすべての他のタイプの仮想エンティティのサイズを拡大または縮小することもできることを理解されよう。
【００５５】
図１１に、やはり本発明による物体１５２を示す。この例示的な応用例では、物体１５２が、物体１５２が単語または句の上に移動される前に可視であった単語または句の言語と異なる言語への単語または句の翻訳を自動的に表示するように見える。他の選択された言語との間の翻訳は、明らかに、図１１のテキスト１５０によって示されているように、本発明を用いて実施することができるが、例示的な図示の翻訳は、英語の単語「ｈｏｒｓｅ」の対応するスペイン語の単語１５６すなわち「ｃａｂａｌｌｏ」への翻訳である。物体１５２が、英語の単語または句の上に置かれた時に、その英語の単語または句が、消え（すなわち、もはや対話型ディスプレイの表面６４ａに投影されなくなり）、その代わりに対応するスペイン語の単語または句が現れ、その結果、物体１５２の透明な中央部分１５４を通して可視になる。物体１５２の対向する表面に設けられた２つの異なるエンコーデッドマーキングが利用される場合に、ある表面を上に向けることを英語からスペイン語への翻訳に使用することを指定し、もう一方の表面を上に向けることをスペイン語から英語への翻訳での物体１５２の使用に指定することができる。したがって、物体１５２は、教育言語プログラムで使用し、ユーザが、実習セッション中にある言語から別の言語への単語または句の翻訳を直観的にチェックできるようにすることができる。翻訳を提供するソフトウェアプログラムは、単に、単語または句を別の言語に翻訳することによって、ある言語の単語または句の上に物体が置かれることに応答する必要がある。
【００５６】
本発明のもう１つの応用例を、図１２および１３に関して示す。図１２では、写真イメージ１６０すなわち少女のポートレートが、対話型ディスプレイの表面６４ａに表示されている。図１３では、本発明に従って構成された物体１６２が、写真イメージ１６０の上に置かれており、写真イメージを表示していたソフトウェアプログラムに、少女の頭蓋骨１６６に対応するＸ線１６４を表示させている（この例示的な例の頭蓋骨１６６が、実際には、写真イメージに示された少女の頭蓋骨でないことに留意されたい）。したがって、対話型ディスプレイの表面６４ａでの物体１６２の検出に応答して、ソフトウェアプログラムは、単に、人間、動物、または他の仮想エンティティのＸ線のどれであれ、オリジナルイメージに示された被写体のＸ線に見えるものを表示する。これらの図には示されていないが、物体１６２を、ユーザが、たとえば回転することによって、操作して、対話型ディスプレイの表面によって前に表示されていたオリジナルイメージに対応する他のタイプのイメージを表示できることを理解されよう。たとえば、物体１６２の操作（たとえば、回転）が、ソフトウェアプログラムの制御の下で動作している対話型ディスプレイの表面に、Ｘ線１６４ではなく元の被写体の磁気共鳴画像（ＭＲＩ）を表示することによって応答させることができる。物体１６２を操作して、主題の中の詳細または層（ｌａｙｅｒｓ）が表示される、元の被写体内の深さを変更することもできる。したがって、物体１６２を回転することによって、ユーザは、元の被写体の皮膚、筋肉構造、循環系、神経系、骨などを選択的に見ることができる。物体１６２は、任意のシステム、たとえば回路基板、集積回路チップ、分子構造、人体、昆虫、宇宙（銀河、太陽系、惑星、国、都市など）、機械、および表示できるほとんどすべての他の仮想エンティティを、エンティティ内の望みの深さで探索することができ、物体を介して示される深さまたは層は、物体の向きを変更することによって、または他の対応する入力に影響することによって制御される。単に、物体１６２を対話型ディスプレイの表面６４ａで検出することと、対話型ディスプレイの表面６４ａに表示され、物体を通して可視のエンティティのレベルまたは層または他の態様を変更するためにユーザによって提供される物体の向きの変化または他の入力に応答することによって、そのような機能を適当なソフトウェアプログラムによってすぐに実施できることを、当業者は理解されよう。
【００５７】
本発明は、特に、本発明に従って構成された物体を通して可視の、写真イメージの変更およびその変更結果の即座の表示にも適用可能である。たとえば、図１４に、フラッシュ（図示せず）を用いて撮影され、女性の目のそれぞれの網膜からのフラッシュライトの反射の結果であるイメージ内で明白な赤目１７２が引き起こされた女性の写真イメージ１７０を示す。図１５では、中央領域１７５を有する物体１７４が、女性の目を中心にして対話型ディスプレイの表面６４ａに置かれており、写真イメージ編集に使用されるソフトウェアプログラムに、赤目問題を自動的に減らすか「フィックス」させている。したがって、目１７６は、物体１７４の中央領域を通して可視のイメージ１７０’では普通に見えている。したがって、ユーザは、赤目を減らす効果を示す即座の視覚的フィードバックを有する。ユーザは、異なるコントロール（図示せず）を選択して、このように変更されたイメージを保存することができる。
【００５８】
物体１７４が、可視光に対して透明には見えない環状の周辺境界を有するものとして示されていることに留意されたい。オプションとして、そのような周辺境界（または、他の形状の周辺境界）を物体のまわりに設けることができるが、可視光を透過させる周辺境界を、本発明で同様にすぐに使用できることも理解されたい。境界が図１５の例で図示されているのは、単に、物体の調整可能性およびその下にあるイメージの上での配置をより容易に明らかにすることができるからである。上で述べたように、物体の範囲を判定するために可視光または非可視光を通さない周辺境界を光学的に検出するのではなく、本発明は、物体の範囲（すなわちその境界）が物体から受け取られた非可視ＩＲ光に反応するビデオカメラによって明瞭に判定可能になるように非可視光を反射するマーキングを含む周辺境界を使用することができる。
【００５９】
その代わりに、物体１７４が写真イメージ１７０の他の特性の変更に関連すると仮定して、この物体を使用してその他の特性を変更することができることも理解されたい。たとえば、ユーザが、矢印１７８によって示されているように物体１７４を回転した場合に、写真イメージの色相、彩度、またはコントラスト（物体１７４に関連する機能に応じて）を変更することによって写真イメージ１７０を変更することができ、ユーザは、やはり、結果を即座に見る。変更の範囲は、ユーザが物体１７４を回転する量によって制御することができ、たとえば、時計回りの方向で変更を増やし、反時計回りの方向で変更を減らすことができる。ユーザは、変更が調整された後に物体１７４を再位置決めして、写真イメージ１７０の異なる部分に対する影響を見ることができ、この異なる部分は、物体１７４の中央部分を介して可視になる。
【００６０】
図１６Ａおよび１６Ｂに、それぞれインデクシングノッチ１７９を設けた物体１７４および物体１７８を、それぞれ示す。この２つの図からは、物体１７４のエンコーデッドマーキング１７７ａおよび物体１７８の異なるエンコーデッドマーキング１７７ｂも明白である。説明のために、エンコーデッドマーキング１７７ａおよび異なるエンコーデッドマーキング１７７ｂの両方が、各物体の中央領域１７５で可視である。エンコーデッドマーキングは、それぞれ、異なるイメージ変更機能に関連する。たとえば、エンコーデッドマーキング１７７ａは、イメージのコントラスト／明るさの調整に関連し、異なるエンコーデッドマーキング１７７ｂは、イメージの色相の調整に関連する。さらに、各物体がユーザによってその中心の回りで回転された場合に、前に述べたように、変更の範囲および性質をすぐに選択的に調整できることを理解されよう。
【００６１】
図１７では、物体１７８が、物体１７４の上に積み重ねられている。図示の側面立面図から明白ではないが、物体の中央領域１７５を通して可視のイメージに対する、物体の回転によって引き起こされる、コントラスト／明るさの変更および色相の変更が、すぐに知覚可能である。物体のすべての組み合わされた機能を達成するために積み重ねられた複数のそのような物体のそれぞれを、別々に識別しなければならないので、２つの物体に適用されるエンコーデッドマーキングが、実質的に分離され、重なり合わないことが重要である。したがって、物体のエンコーデッドマーキングは、互いに、角度的にかつ半径方向にオフセットしている。積み重ねを可能にするために、エンコーデッドマーキングが、物体の１側面だけに適用されることと、物体に非可視光を吸収する中間層が設けられないことが重要である。というのは、この中間層が、一番下の物体の上に積み重ねられた物体の識別を妨げるからである。ユーザによって行われた、各物体の相対回転調整を追跡するのを助けるために、ノッチ１７９が、物体のそれぞれに設けられ、当初に、物体が対話型ディスプレイの表面６４ａまたはスタックの別の物体の上に置かれた時に位置合せすることができる。その後、各物体が、別々に個別に回転されて、この例では、物体１７４によって提供されるコントラスト／明るさに対する所望の調整および物体１７８によって提供される色相に対する所望の調整が達成される。
【００６２】
仮想エンティティまたはイメージのほとんどすべての特性またはパラメータを、本発明を使用して調整または変更することができる。さらなる例を、図１８および１９に示す。図１８では、仮想エンティティすなわち人１８０が、衣類のセット１８２を着て示されている。図１９では、本発明に従って構成された物体１８４が置かれ、その結果、これが人１８０をカバーしたことの結果が示されている。この位置での物体１８４の検出に応答して、人を表示する責任を負うソフトウェアプログラムが、衣類の異なるセット１８２’を着ている人１８０を示す。同様に、図示されていないが、物体１８４を、たとえば矢印１８８によって示されるように回転させることによって操作して、衣類の異なるセットに変更するか、人１８０の他の特性または特徴を変更することができる。したがって、物体１８４の回転を、人のヘアスタイル１８６の変更、髪の色の変更、または人に他の特性の変更に使用することができる。類似する機能性を、ほとんどすべてのタイプの仮想エンティティに適用することができる。
【００６３】
本発明を実施する論理ステップ
図２０の流れ図２００に、上で述べた、対話型ディスプレイの表面に置かれた物体に応答して実施される論理ステップを示す。この論理の開始に続いて、ステップ２０２で、対話型ディスプレイの表面に置かれた、本発明に従って構成された１つまたは複数の物体から受け取られたＩＲ光の検出を提供する。上で述べた本発明の例示的応用例の１つで、複数のそのような物体が、ジグソーパズルのピースのように働き、他の実施形態では、単一のそのような物体だけが、対話型ディスプレイの表面に仮想エンティティまたはイメージを表示するのに使用されるソフトウェアプログラムによって検出された時に特定の機能を実施するのに使用される。しかし、複数のそのような物体を、複数の異なる機能を実行するために対話型ディスプレイの表面に置くことができ、そのような各物体を異なる機能に使用できることを理解されよう。ステップ２０４で、この論理は、そのような各物体のエンコーデッドマーキングから受け取られたＩＲ光のエンコーデッドパターンをデコードすることによる、対話型ディスプレイの表面に置かれた物体のそれぞれの識別を提供する。対話型ディスプレイの表面は、ステップ２０６に示されているように、物体から受け取られたＩＲ光に応答して、そのような各物体の位置および向きを判定する。ステップ２０８に示されているように、インラクティブディスプレイの表面に１つまたは複数のそのような仮想エンティティまたはイメージを表示するために実行されているソフトウェアプログラムに基づいて、適当な変更された仮想エンティティまたはイメージが、対話型ディスプレイの表面に表示され、その結果、これを、各物体を通過した可視光を用いて見ることができるようになる。
【００６４】
イメージの性質、仮想エンティティ、または物体が対話型サービスで検出される前に表示されていたものの他の変更を判定する詳細は、明らかに、この機能を実行する責任を負うソフトウェアプログラムに依存する。前の議論から明白であるように、本発明が有用である応用例の範囲は、ほとんど無制限である。したがって、流れ図でこれらの応用例のそれぞれに関する詳細を提供することは不可能であり、これらは、上で述べた例によって提供されるように、例示として以外の形で本発明に特に関連はしない。対話型ディスプレイの表面で検出された物体に関連する事前定義の機能に応答して、本発明に従って構成された物体を通して可視である仮想エンティティまたはイメージを提供するために特定のソフトウェアプログラムを使用する方法は、当業者によって明瞭に理解されよう。
【００６５】
次に、判断ステップ２１０で、対話型ディスプレイの表面で検出された物体のいずれかの位置または向きが、経時的に変更されたかどうかを判定する。そうである場合に、ステップ２１２で、物体の検出に応答するソフトウェアプログラムによって決定される形で、物体を通過する可視光を用いて対話型ディスプレイの表面に表示される仮想エンティティまたはイメージを調整する。そうでない場合に、判断ステップ２１０からの否定の結果は、ステップ２０２に戻って、対話型ディスプレイの表面の物体から反射されたＩＲ光の検出を更新する。同様に、ステップ２１２の後に、この論理は、やはりステップ２０２にループバックして、そのような物体の検出を更新する。
【００６６】
本発明を、それを実践する好ましい形およびそれに対する変更に関して説明したが、当業者は、請求項の範囲内で本発明に対して多数の他の変更を行えることを理解するであろう。したがって、本発明の範囲が、いかなる形でも上の説明に制限されることを意図されておらず、むしろ、本発明の範囲は、請求項の参照のみによって決定されることが意図されている。
【図面の簡単な説明】
【００６７】
【図１】本発明を実践するのに使用される入力データおよび出力データを処理するのに適する全般的に普通のパーソナルコンピュータ（ＰＣ）を示す機能ブロック図である。
【図２】対話型テーブルのハードウェアコンポーネントと、対話型テーブル内の光がたどる経路と、テーブルの表面およびその上に配置された例示的な物体を示す、対話型テーブルの内部を示す図である。
【図３】外部ＰＣに結合された対話型ディスプレイテーブルを示す等角図である。
【図４】本発明による、可視光透過エンコーデッドマーキングが対向する側面に適用された物体を示す立面断面図である。
【図５】エンコーデッドマーキング（好ましくは人間の目に不可視）を示す、図４に示された物体を示す底面図である。
【図６】中央部分を対話型ディスプレイの表面に置くことを可能にする、物体を識別し、基準辺または基準縁を示すエンコーデッドマーキングを含む、本発明による物体の表面の周辺マーキングを示す図である。
【図７】イメージを表示するために、ジグソーパズルのピースが組み立てられるように対話型ディスプレイの表面に正しく配置された、本発明に従って構成された物体を通して可視のイメージの複数の部分を含む例示的なイメージを示す図である。
【図８】対話型ディスプレイの表面での図７の物体のランダムな分布を示す図である。
【図９】本発明に従って構成された物体が、物体の回転向きに応答して、テキストのサイズを増やすために、それぞれマグニファイヤ／リデューサのように機能するように見える、本発明の例示的な応用例を示す図である。
【図１０】本発明に従って構成された物体が、物体の回転向きに応答して、テキストのサイズを減らすために、それぞれマグニファイヤ／リデューサのように機能するように見える、本発明の例示的な応用例を示す図である。
【図１１】本発明に従って構成された物体が、物体を通して対話型ディスプレイの表面で可視の単語または句の翻訳を作るように見える、例示的な応用例を示す図である。
【図１２】図１２の対話型ディスプレイの表面に見える少女のポートレートが、本発明に従って構成された物体によって覆われる時に、図１３に示されているように、少女の頭蓋骨のＸ線写真が物体を通して可視にされるように見える、本発明のもう１つの応用例を示す図である。
【図１３】図１２の対話型ディスプレイの表面に見える少女のポートレートが、本発明に従って構成された物体によって覆われる時に、図１３に示されているように、少女の頭蓋骨のＸ線写真が物体を通して可視にされるように見える、本発明のもう１つの応用例を示す図である。
【図１４】図１４に示されているように、フラッシュを用いて撮影され、その結果、目が「赤目」を示す女性の写真イメージが、図１５に示されているように本発明に従って構成された物体を通して見られる時に自動的に訂正され、写真に対する他のそのような変更を物体の回転によって行えることを示すように働く、本発明のもう１つの応用例を示す図である。
【図１５】図１４に示されているように、フラッシュを用いて撮影され、その結果、目が「赤目」を示す女性の写真イメージが、図１５に示されているように本発明に従って構成された物体を通して見られる時に自動的に訂正され、写真に対する他のそのような変更を物体の回転によって行えることを示すように働く、本発明のもう１つの応用例を示す図である。
【図１６Ａ】それぞれ、各物体がイメージを変更する異なる機能を実行することに関連する、本発明に従って構成された２つの物体の底面を示す図である。
【図１６Ｂ】それぞれ、各物体がイメージを変更する異なる機能を実行することに関連する、本発明に従って構成された２つの物体の底面を示す図である。
【図１７】互いに積み重ねられ、その結果、物体の組み合わされた機能が２つの物体の中央部分に見えるイメージで可視になっている、図１６Ａおよび１６Ｂの２つの物体の側面図である。
【図１８】図１９に示された本発明に従って構成された物体を介して仮想エンティティが見られる時に、図１８の対話型ディスプレイの表面に示された、人を表す仮想エンティティなどの仮想エンティティまたはイメージに対して他のタイプの変更をどのように行えるかを示す図である。
【図１９】図１９に示された本発明に従って構成された物体を介して仮想エンティティが見られる時に、図１８の対話型ディスプレイの表面に示された、人を表す仮想エンティティなどの仮想エンティティまたはイメージに対して他のタイプの変更をどのように行えるかを示す図である。
【図２０】ソフトウェアプログラムに入力を提供することに関して物体を使用して提供される機能を実施する際に実行される論理ステップを示す流れ図である。
【符号の説明】
【００６８】
２１ 処理装置
２２ システムメモリ
２３ システムバス
２４ ＲＯＭ
２５ ＲＡＭ
２６ ＢＩＯＳ
３２ ハードディスクドライブインターフェース
３３ 磁気ディスクドライブインターフェース
３４ 光ディスクドライブインターフェース
３５ オペレーティングシステム
３６ アプリケーションプログラム
３７ 他のプログラムモジュール
３８ プログラムデータ
４０ キーボード
４６ Ｉ／Ｏデバイスインターフェース（たとえば、シリアル）
４７ オプションのモニタ
４８ ビデオアダプタ
４９ リモートコンピュータ
５３ ネットワークインターフェース
５４ モデム
５９ カメラインターフェース
６０ 対話型ディスプレイ
【技術分野】
【０００１】
本発明は、全般的には仮想物体またはイメージを操作するコーディングされた物体の使用に関し、具体的には、可視光に対して一様に透明な透明エンコーディングを有し、その結果、ユーザが、物体がその上で操作されている表面（ｓｕｒｆａｃｅ）上に表れる仮想物体またはイメージを、この物体を通して見られるようになる、物体に関する。
【背景技術】
【０００２】
仮想環境は、通常、ゲーム機、パーソナルコンピュータ、および他のタイプのコンピューティングデバイスでプレイされる電子ゲーム、ならびに他のタイプのアプリケーションで使用される。ユーザは、通常、仮想エンティティを特定の形で移動させるか、仮想環境を作るソフトウェアプログラムによって定義された他のアクションまたは機能を実行する、マウス、ジョイスティック、ホイール、ゲームパッド、トラックボール、または他のユーザ入力デバイスを操作することによって、仮想環境内のエンティティと対話する。ユーザ対話の仮想環境内のエンティティに対する影響は、一般に、ディスプレイで可視である。たとえば、ユーザは、宇宙船またはレースカーなど、仮想環境内で表示される仮想エンティティを制御することができる。したがって、ユーザと仮想環境内の仮想エンティティの間の対話は、周知である。
【０００３】
もう１つの形のユーザ入力では、ユーザの指またはスタイラスの接触に反応するディスプレイが使用される。接触応答ディスプレイは、圧力作動する、電気容量に応答する、磁界強度の変化に応答する、表面弾性波を使用する、またはディスプレイ上の指またはスタイラスの位置を示す他の変数に応答することができる。もう１つのタイプの接触感知ディスプレイに、スクリーンに触れる指またはスタイラスの位置を検出できるようにディスプレイスクリーンの周囲に沿って離隔された複数の光学センサが含まれる。これらの接触感知ディスプレイの１つを使用することによって、ユーザは、表示される仮想エンティティまたはイメージをより直接に制御することができる。たとえば、ユーザは、表示された仮想エンティティに触って、それを選択し、そのエンティティを接触感知ディスプレイ上の新しい位置にドラッグすることができ、あるいは、コントロールに触れ、そのコントロールをドラッグして、あるパラメータを変更することができる。
【０００４】
しかし、そのような接触感知ディスプレイのほとんどで、応答は、ある点での指またはスタイラスの接触に対するもののみである。より豊かな体験をユーザに与えることができる、仮想環境との別のタイプの対話がある。たとえば、電子ゲームソフトウェアプログラムによって作られる仮想環境に、しばしば、スクリーンに表示される仮想エンティティが含まれるが、仮想環境が、ディスプレイの表面に置かれた物理物体にも応答することが望ましい。ほとんどの従来技術の接触感知ディスプレイでは、指またはスタイラスが、単に、スクリーンでの要素の選択またはドラッグを行うのに使用されるポインティングデバイスの代替タイプとして扱われる。その上に置かれた物理物体に対して真に対話型であるために、ディスプレイの表面は、１つまたは複数の物理物体が置かれた場所を検出でき、それぞれがユーザに異なる対話型の体験を提供することができる異なるタイプの物理物体を検出できなければならない。しかし、普通の接触感知ディスプレイで使用される容量性、電磁、光学、または他のタイプのセンサは、通常、ディスプレイスクリーンに同時に触れる複数の指または物体の位置を同時に検出することができず、したがって、そこに置かれた複数の異なるタイプの物理物体の位置または各異なるタイプを検出することができない。これらの従来技術の接触感知システムは、一般に、複数の接触点を検出できず、ディスプレイの表面に近いかこれに触れる物体の形状を検出することができない。複数の接触点を検出できる容量性または抵抗性、あるいは表面弾性波感知型のディスプレイの表面であっても、適度な解像度（詳細）までディスプレイの表面上に置かれた物体の像を取得することができず、ほとんどは、より望ましい単純なバーコードより高価または比較的複雑なコーディング方式を必要とする。これらのタイプの従来技術システムは、ディスプレイの表面に置かれた複数の異なる物体の間で各物体を識別するのに使用できる物体のパターンまたは詳細な形状を検出することができない。
【０００５】
従来技術で開発されたもう１つのユーザインターフェース手法は、水平のディスプレイスクリーンの横および上に取り付けられたカメラを使用して、ディスプレイスクリーンに触れるユーザの指またはたの物体のイメージを視覚的にキャプチャする。この複数カメラ取り付けコンフィギュレーションは、明らかに、ほとんどの人が住宅セッティングで使用することを望むコンパクトなシステムではない。さらに、ディスプレイの表面上またはその近くの物体に応答するこのタイプのマルチカメラシステムの精度は、３次元空間内で物体およびその位置を視覚的に認識する、システムと共に使用されるソフトウェアの機能に依存する。さらに、カメラの１つによりある物体のビューが、中間にある物体によって遮られる場合がある。また、指または物体がスクリーンに触れた場合を演繹することは困難であり、そのような視覚感知システムは、しばしば、複雑な較正を必要とする。審美的観点から、そのようなシステムで使用可能な物体は、ユーザに快いものではない。というのは、これらが、物体の上のユーザに可視である可能性が非常に高いコードを必要とし、したがって、物体が検出される形が、ユーザに非常に明白であるからである。
【０００６】
上で述べたタイプの接触感知ディスプレイに固有の問題の多くに対処するために、Brygg Ullmer and Hiroshi Ishii in "The metaDESK:Models and Prototypes for Tangible User Interfaces," Proceedings of UIST 10/1997:14-17.で報告されているように、ＭＩＴ Ｍｅｄｉａ Ｌａｂでユーザインターフェースプラットフォームが開発された。ｍｅｔａＤＥＳＫには、２次元地理情報を表示するのに使用される水平に近いグラフィカル表面が含まれる。そのグラフィカル表面の上に、３次元地理情報を表示するのに使用される「アクティブレンズ」として働くアームに取り付けられたフラットパネルディスプレイが配置されている。デスクユニット内（すなわち、グラフィカル表面の下）のコンピュータビジョンシステムに、赤外線（ＩＲ）ランプ、ＩＲカメラ、ビデオカメラ、ビデオプロジェクタ、および鏡が含まれる。鏡は、プロジェクタによって投影されたグラフィカルイメージを、グラフィカルディスプレイの表面の下側に反射する。ＩＲカメラは、グラフィカル表面上に置かれた「ファイコン（ｐｈｉｃｏｎ）」と称するパッシブ物体を検出することができる。磁界位置センサおよび電気接触センサも、ｍｅｔａＤＥＳＫに含まれる。たとえば、ＩＲカメラが「グレートドームファイコン」の底部に適用されたＩＲマーキングを検出することに応答して、ＭＩＴキャンパスの地図がグラフィカル表面に表示され、地図内のグレートドームの実際の位置は、グレートドームファイコンが位置する場所に位置決めされる。グレートドームファイコンをグラフィカル表面上で動かすことによって、ユーザによるファイコンの動きに対応して地図を回転または並進させることによって、表示される地図が操作される。
【０００７】
ディスプレイの表面上の物体を感知する類似する手法が、他社と共同してＳｏｎｙ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｌａｂｏｒａｔｏｒｙ，Ｉｎｃ．のＪｕｎ Ｒｅｋｉｍｏｔｏによって公開されたいくつかの論文に開示されている。これらの論文に、「ＨｏｌｏＷａｌｌ」および「ＨｏｌｏＴａｂｌｅ」が短く記載されており、この両方が、ＩＲ光を使用して、リアプロジェクションイメージが可視であるディスプレイの表面に近接するかこれと接触する物体を検出する。リアプロジェクションパネルは、ＨｏｌｏＷａｌｌで垂直、ＨｏｌｏＴａｂｌｅで水平であるが、半透明で散乱性であり、その結果、物体は、パネルに近づき、接触する時に明瞭に可視になる。このように検出される物体は、ユーザの指、手、または他の物体とすることができる。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ディスプレイの表面に置かれた物理物体と、表示される仮想物体またはイメージとの間の仮想環境内の対話を可能にすることが望ましい。理想的には、この対話は、従来技術で行われてきたような、接触感知スクリーン上の仮想物体の単純な選択および移動のための物理物体の使用の範囲を越えなくてはならない。物理物体と表示される仮想物体またはイメージとの間の対話は、さまざまな形をとる。たとえば、ディスプレイの表面に物理物体を置き、仮想環境で実行されるソフトウェアプログラムにその物理物体およびその位置を認識させ、その後、仮想物体を表示する時に物理物体の存在に応答させることができることが望ましい。また、仮想物体またはイメージは、物体を介して可視でなければならず、物理物体がディスプレイの表面に置かれることに応答して表示されるか、ディスプレイの表面で物理物体が検出されたことの結果として、物理物体を通して見られる時に変更されるのいずれかでなければならない。したがって、ユーザが、ディスプレイの表面上での位置または向きを変更するために物理物体を動かした場合に、これに応答して、仮想エンティティまたはイメージを作るソフトウェアプログラムは、仮想エンティティまたはイメージに関連するある機能、パラメータ、または特徴を変更することによって応答しなければならない。また、物理物体に適用されたマーキングは、ユーザに不可視でなければならず、一般に、物体を透過する可視光に影響してはならない。物体の特定の表面がディスプレイの表面に置かれた時に検出される、物理物体の反対の表面の異なるマーキングを設け、その結果、物体の各側面が、異なる機能の達成を引き起こすことも望ましい。
【０００９】
ソフトウェアプログラムとの対話に使用される時のそのような物理物体の多数の潜在的な応用分野がある。ユーザが明らかに直観的な形でそのような物理物体を使用できるようにすることによって、対話型の表面で実行されるソフトウェアプログラムの楽しみおよび機能性を大幅に改善することができる。
【課題を解決するための手段】
【００１０】
本発明は、対話型ディスプレイの表面で実行されつつあるソフトウェアプログラムを制御するためにエンコーデッドパターンに応答してディスプレイの表面によってすぐに認識される物体をユーザが使用できるようにすることによって、対話型ユーザディスプレイの表面の可用性を拡張する。エンコーデッドパターンは、ユーザに不可視であり、ソフトウェアプログラムによって対話型ディスプレイの表面に作られるイメージまたはイメージの部分として物体を透過する可視光と干渉しない。１つまたは複数のこれらの物体の位置および向きに応答することによって、ソフトウェアプログラムによってさまざまな異なる機能を実施することができ、ソフトウェアプログラムは、１つまたは複数の物体を通して可視のメージを変更することができる。
【００１１】
本発明の１態様は、可視光（すなわち、人間が見ることのできる光）に対して一様に光学的に透明な物体を、物体を通る可視光透過に実質的に影響せずに、物体から受け取られる非可視光に応答して光学的に認識できるようにする方法を対象とする。本方法には、物体の第１表面に第１マーキングを適用するステップが含まれる。第１マーキングに、可視光を実質的に透過させるが、非可視波長帯の光を反射する、または非可視波長帯の光を吸収するのいずれかによって非可視波長帯の光に影響する材料が含まれる。非可視波長帯の光は、物体の第１表面で第１マーキングが適用されたところに向けられ、物体から受け取られる非可視波長帯の光に応答して物体の少なくとも一部のイメージが検出され、このイメージは、物体の認識を可能にする。
【００１２】
一実施形態で、本方法に、物体の第２表面に第２マーキングを適用するステップが含まれる。やはり、第２マーキングは、第１マーキングと実質的に同一の材料を含む。第１マーキングおよび第２マーキングを構成する材料が、非可視波長帯の光を吸収する場合に、第１表面は、可視光を実質的に透過させるが非可視波長帯の光を反射する反射材料によって第２表面から分離される。逆に、第１マーキングおよび第２マーキングを構成する材料が、非可視波長帯の光を反射する場合に、第１表面は、可視光を実質的に透過させるが非可視波長帯の光を吸収する吸収材料によって第２表面から分離される。
【００１３】
本方法は、第１マーキングまたは第２マーキングのいずれかから受け取られる非可視波長帯の光を検出することによる物体の状態の判定を提供する。第１マーキングおよび第２マーキングのそれぞれが、物体の異なる状態を示す。判定された物体の状態が、物体を通過する可視光を作るソフトウェアアプリケーションを制御するのに使用される。
【００１４】
経時的な物体の向きのすべての変化が、第１表面または第２表面のいずれかから受け取られた非可視波長帯の光を用いて作られたイメージに基づいて判定される。経時的な物体の向きの変化の関数として、物体を通過する可視光を作るソフトウェアアプリケーションが、制御される。第１マーキングからの非可視光に基づく物体の向きの変化は、第２マーキングからの非可視光に基づく物体の向きの変化と異なる制御機能を、ソフトウェアアプリケーションに適用させる。
【００１５】
第１マーキングが、非可視波長帯の光が第１表面から受け取られる時に物体の少なくとも一部のイメージで自動的に認識されるエンコーデッドパターンとして適用されることが好ましい。同様に、第２マーキングがエンコーデッドパターンとして適用される実施形態で、そのパターンも、非可視波長帯の光が第２表面から受け取られる時に物体の少なくとも一部のイメージで自動的に認識される。
【００１６】
本方法には、第１表面から受け取られた非可視波長帯の光に基づいて物体の向きを判定し、経時的な物体の向きの変化を検出するステップが含まれることが好ましい。向きのこの変化は、物体を通過する可視光を作るソフトウェアアプリケーションを制御するために入力を提供するのに使用される。たとえば、１つのアプリケーションで、経時的な物体の向きの変化が、可視光を用いてソフトウェアアプリケーションによって形成されるイメージに影響する拡大率を変更するのに使用され、その結果、イメージは、物体の向きが変更される時に、物体の向きが変更される向きに応じて相対的なサイズが増やされるか減らされる。
【００１７】
本発明のもう１つの応用例で、本方法に、経時的な物体の向きの変化に対応する形で、物体を通過する、ソフトウェアアプリケーションによって作られる可視光によって形成されるイメージの向きを変更し、その結果、可視光を用いて形成されるイメージが、物体の向きが変更される時に物体と共に動いて見えるようにするステップが含まれる。同様に、本方法に、物体の位置の変化に対応する形で、物体を通過する、ソフトウェアアプリケーションによって作られる可視光によって形成されるイメージの位置を変更するステップを含めることができる。この場合に、可視光を用いて形成されるイメージは、物体の位置が変更される時に物体と共に移動するように見える。
【００１８】
明らかに、本発明は、複数の物体に適用可能であり、その結果、一実施形態で、本方法に、複数の他の物体のそれぞれについて上で述べたステップのそれぞれを繰り返すステップが含まれる。この場合に、ソフトウェアアプリケーションによって、物体を通過する可視光を用いて形成されるイメージに、複数の部分に分割されるより大きいイメージの一部を含めることができる。このステップが適用される１応用例で、本方法に、さらに、対応する他の物体を通して、より大きいイメージの複数の部分のそれぞれを投影し、その結果、イメージの諸部分がジグソーパズルのピースに見えるようにするステップが含まれる。物体が、互いに隣接して正しく組み立てられるならば、これらの物体は、正しく組み立てられた時にジグソーパズルのピースがパズルの絵を作るように、より大きいイメージを正しく提示する。オプションとして、物体のいずれかが裏返され、その結果、前に上に面していた側面が、物体を通して可視のイメージの部分がそれを介して作られる表面の上で下に面する場合に、各物体の対向する面を検出することができる。その結果、イメージのその部分の鏡像バージョンが、その物体を介して可視になる。イメージの部分の鏡像イメージを表示させた側面は、ユーザに対する外見において同一である可能性があるので、イメージ全体を正しく達成するために下に面する必要がある各物体の側面を判定できないことが、イメージ全体を正しく可視にするために物体を組み立てるという課題を、さらに難しく、面白いものにする。
【００１９】
もう１つのオプションは、本発明を用いてビデオジグソーパズルを提供することである。ビデオジグソーパズルは、ビデオソースを使用してイメージのシーケンスを提供し、その結果、イメージの諸部分が、ビデオを構成するイメージが経時的に変化するのにつれて変化しているようになる。明らかに、このビデオジグソーパズルは、イメージのシーケンスを見るために物体を正しく組み立てるというはるかに難しい問題を提示する。というのは、イメージが静的ではなく、物体のそれぞれを通して可視のイメージの部分が、動的に変化し、物体を正しく組み立てる形を判定することが、より難しくなるからである。本発明のジグソーパズル応用例と共に使用されるイメージまたはビデオを、ユーザによって作成された人の写真またはイメージとすることができ、あるいは、ユーザが作ったビデオとすることができることにも留意されたい。
【００２０】
本発明のもう１つの応用例では、ソフトウェアプログラムが、物体を通過する可視光に、少なくとも１つの単語の、物体がその上に位置する少なくとも１つの単語と異なる言語への翻訳に対応するテキストを形成させる。この応用例は、ユーザが単語または句の翻訳を表示するのに物体を選択的に使用することを可能にすることによって、外国語を学習するのに有用になる可能性がある。
【００２１】
本発明を適用できる多数の他の応用例がある。たとえば、本方法に、ソフトウェアプログラムに従って作られる可視光を用いて第１イメージを表示するステップと、物体を第１イメージの上に置くことを可能にするステップを含めることができる。物体を透過する可視光は、第１イメージに関係するが第１イメージと異なる第２イメージを形成する。したがって、第１イメージに写真が含まれる場合に、第２イメージは、変更が適用された後のその写真を表すことができる。さらに、本方法に、第２イメージとして物体を通して可視になる写真に適用される変更を調整するためにユーザが物体の向きを変更することを可能にするステップを含めることができる。
【００２２】
関連する応用例で、第１イメージは、第１の外見を有するエンティティを表し、第２イメージは、異なる外見を有するそのエンティティを表す。したがって、物体を使用することによって、第１イメージのエンティティのある特徴が、エンティティが第２イメージで見える時に変更される。この応用例のさまざまな用途は、異なるヘアスタイルまたは異なるスタイルの衣類を有する人を見ること、または、たとえば色相、色、彩度などを変更して写真イメージの外見を変更するのに物体を使用することに関するものとすることができる。本方法は、ユーザが特徴の変更を制御するために物体を動かすことを可能にすることが好ましい。
【００２３】
本発明の他の態様は、上で述べた方法のステップを全般的に実行する機械実行可能命令を有する記憶媒体、ならびに、物体を透過する可視光に実質的に影響せずに、物体から受け取られる非可視光に応答して、可視光に対して一様に光学的に透明な物体が光学的に認識されるシステムを対象とする。本システムには、物体を照らす非可視光の源と、可視光を使用してイメージを作るイメージソースと、物体から受け取られる非可視光に応答して信号を作るセンサと、機械命令が保存されるメモリが含まれる。イメージソース、センサ、およびメモリに結合されたプロセッサも含まれる。プロセッサは、機械命令を実行して、複数の機能を実行し、これらの機能は、全般的に、上で述べた方法のステップと両立する。
【００２４】
本発明のもう１つの態様は、物体が動かされるようにするために、一様に可視光に対して光学的に透明であり、可視光を使用するイメージの諸部分がそれを透過する物体を使用する方法、システム、および記憶媒体方法であって、イメージの部分が、物体と共に動き、これが、ジグソーパズルの機能性の多くを複製する本発明の応用例に似るが、上で定義された物体が、イメージ全体を表示するように正しく配置されなければならないイメージの諸部分を伝えるのに使用される、方法、システム、および記憶媒体方法を対象とする。
【００２５】
本発明の前述の態様および多数の付随する利点は、添付図面と共に次の詳細な説明を参照することによってよりよく理解されるようになるにつれて、より簡単に理解されるようになろう。
【発明を実施するための最良の形態】
【００２６】
本発明を実施する例示的なコンピューティングシステム
図１を参照すると、本発明のさまざまな部分を実施するのに適する例示的なシステムが示されている。このシステムには、処理装置２１、システムメモリ２２、およびシステムバス２３を備えた普通のＰＣ ２０の形の汎用コンピューティングデバイスが含まれる。システムバスは、システムメモリを含むさまざまなシステムコンポーネントを処理装置２１に結合し、メモリバスまたはメモリコントローラ、周辺バス、およびさまざまなバスアーキテクチャのいずれかを使用するローカルバスを含む複数のタイプのバス構造のいずれかとすることができる。システムメモリに、読出し専用メモリ（ＲＯＭ）２４およびランダムアクセスメモリ（ＲＡＭ）２５が含まれる。スタートアップ中などにＰＣ ２０内の要素の間で情報を転送するのを助ける基本ルーチンを含む基本入出力システム２６（ＢＩＯＳ）が、ＲＯＭ ２４に保存されている。ＰＣ ２０に、さらに、ハードディスク（図示せず）から読み取り、これに書き込むハードディスクドライブ２７、リムーバブル磁気ディスク２９から読み取り、これに書き込む磁気ディスクドライブ２８、コンパクトディスク読出し専用メモリ（ＣＤ−ＲＯＭ）または他の光ディスクなどのリムーバブル光ディスク３１から読み取り、これに書き込む光ディスクドライブ３０が含まれる。ハードディスクドライブ２７、磁気ディスクドライブ２８、および光ディスクドライブ３０は、それぞれ、ハードディスクドライブインターフェース３２、磁気ディスクドライブインターフェース３３、および光ディスクドライブインターフェース３４によってシステムバス２３に接続される。ドライブおよびそれに関連するコンピュータ可読媒体は、コンピュータ可読機械命令、データ構造、プログラムモジュール、および他のデータの不揮発性の記憶をＰＣ ２０に提供する。本明細書で説明する例示的な実施形態は、ハードディスク、リムーバブル磁気ディスク２９、およびリムーバブル光ディスク３１を使用するが、磁気カセット、フラッシュメモリカード、ディジタルビデオディスク（ＤＶＤ）、ベルヌーイカートリッジ、ＲＡＭ、ＲＯＭなど、コンピュータによってアクセス可能な、データおよび機械命令を保存できる他のタイプのコンピュータ可読媒体も、例示的なオペレーティング環境で使用できることを、当業者は理解されよう。
【００２７】
オペレーティングシステム３５、１つまたは複数のアプリケーションプログラム３６、他のプログラムモジュール３７、およびプログラムデータ３８を含む複数のプログラムモジュールを、ハードディスク、磁気ディスク２９、光ディスク３１、ＲＯＭ ２４、またはＲＡＭ ２５に保存することができる。ユーザは、キーボード４０およびポインティングデバイス４２などの入力デバイスを介して、ＰＣ ２０内でコマンドおよび情報を入力し、制御入力を供給することができる。ポインティングデバイス４２に、マウス、スタイラス、無線リモートコントロール、または他のポインタを含めることができるが、本発明に関して、そのような普通のポインティングデバイスを省略することができる。というのは、ユーザが、入力および制御に対話型ディスプレイを使用できるからである。本明細書で使用する用語「マウス」は、スクリーン上のカーソルの位置を制御するのに有用である事実上すべてのポインティングデバイスを含むことが意図されている。他の入力デバイス（図示せず）に、マイクロホン、ジョイスティック、触覚（ｈａｐｔｉｃ）ジョイスティック、ヨーク（ｙｏｋｅ）、フットペダル、ゲームパッド、衛星パラボラアンテナ、スキャナなどを含めることができる。上記および他の入出力（Ｉ／Ｏ）デバイスは、しばしば、システムバス２３に結合されたＩ／Ｏインターフェース４６を介して処理装置２１に接続される。用語Ｉ／Ｏインターフェースは、具体的にはシリアルポート、パラレルポート、ゲームポート、キーボードポート、および／またはユニバーサルシリアルバス（ＵＳＢ）に使用される各インターフェースを含むことが意図されている。システムバス２３は、カメラインターフェース５９にも接続され、このカメラインターフェース５９は、下で述べるように、対話型ディスプレイ６０に含まれるディジタルビデオカメラから信号を受け取るために対話型ディスプレイ６０に結合されている。ディジタルビデオカメラは、その代わりに、ＵＳＢバージョン２．０ポートなど、適当なシリアルＩ／Ｏポートに結合することができる。オプションとして、モニタ４７を、ビデオアダプタ４８などの適当なインターフェースを介してシステムバス２３に接続することができるが、本発明の対話型ディスプレイテーブルは、ソフトウェアアプリケーションの制御および情報の入力に関するより豊かなディスプレイをユーザに提供するとともにユーザと対話することができ、したがって、ビデオアダプタに結合されることが好ましい。ＰＣが、しばしば、スピーカ（サウンドカードまたは他のオーディオインターフェース（図示せず）を介して）およびプリンタなど、他の周辺出力デバイス（図示せず）に結合されることを理解されよう。
【００２８】
本発明は、単一のコンピューティングデバイスを使用して実践することができるが、ＰＣ ２０は、リモートコンピュータ４９など、１つまたは複数のリモートコンピュータへの論理接続を使用してネットワーク化された環境で動作することもできる。リモートコンピュータ４９は、別のＰＣ、サーバ（通常は、一般に、ＰＣ ２０のように構成される）、ルータ、ネットワークＰＣ、ピアデバイス、衛星ネットワークノード、または他の一般的なネットワークノードとすることができ、通常、ＰＣ ２０に関して上で説明した要素の多数またはすべてが含まれるが、図１には外部メモリ記憶装置５０だけを示した。図１に示された論理接続に、ローカルエリアネットワーク（ＬＡＮ）５１および広域ネットワーク（ＷＡＮ）５２が含まれる。そのようなネットワーキング環境は、オフィス、会社全体のコンピュータネットワーク、イントラネット、およびインターネットで一般的なものである。
【００２９】
ＬＡＮネットワーキング環境で使用される時に、ＰＣ ２０は、ネットワークインターフェースまたはネットワークアダプタ５３を介してＬＡＮ ５１に接続される。ＷＡＮネットワーキング環境で使用される時に、ＰＣ ２０に、通常は、インターネットなどのＷＡＮ ５２を介する通信を確立する、モデム５４または、ケーブルモデム、ディジタル加入者回線（ＤＳＬ）インターフェース、もしくはサービス統合ディジタル網（ＩＳＤＮ）インターフェースなどの他の手段が含まれる。モデム５４は、内蔵または外付けとすることができるが、システムバス２３に接続されるか、Ｉ／Ｏデバイスインターフェース４６すなわちシリアルポートを介してバスに結合される。ネットワーク化された環境では、ＰＣ ２０によって使用されるプログラムモジュールまたはその一部を、リモートメモリ記憶装置に保存することができる。図示のネットワーク接続が例示的であり、無線通信リンクおよび広帯域ネットワークリンクなど、コンピュータの間の通信リンクを確立する他の手段を使用できることを理解されよう。
例示的な対話型の表面
図２では、フレーム６２内にＰＣ ２０を含み、コンピュータ用の光学入力およびビデオディスプレイデバイスの両方として働く例示的な対話型ディスプレイ６０が示されている。対話型ディスプレイテーブルのこの断面図では、テキストおよびグラフィックイメージの表示に使用される光線が、一般に、点線を使用して示され、対話型ディスプレイテーブルのディスプレイの表面６４ａ上またはそのすぐ上の物体を感知するのに使用される赤外線（ＩＲ）光線が、破線を使用して示されている。ディスプレイの表面６４ａは、対話型ディスプレイテーブルの上面６４内にセットされている。テーブル表面の周辺は、ユーザの腕または、ディスプレイの表面６４ａに表示されるグラフィックイメージまたは仮想環境と対話するのに使用できる物体を含む他の物体を支持するのに有用である。
【００３０】
ＩＲ光源６６に、複数のＩＲ発光ダイオード（ＬＥＤ）が含まれることが好ましく、ＩＲ光源６６は、フレーム６２の内側側面に取り付けられる。ＩＲ光源６６によって作られたＩＲ光は、破線７８ａ、７８ｂ、および７８ｃによって示されるように、ディスプレイの表面６４ａの下側に向かって、上に向けられる。ＩＲ光源６６からのＩＲ光は、ベラム（ｖｅｌｌｕｍ）または光拡散特性を有する他の適当な半透明材料のシートを含む、テーブルの半透明層６４ｂを通過した後に、ディスプレイの表面の上またはその近くにある物体から反射される。１つのＩＲ光源６６が示されているが、ディスプレイの表面６４ａの均一な照明をもたらすために、複数のそのようなＩＲソースを、フレーム６２の内側側面に沿って離隔された位置に取り付けられることを理解されよう。ＩＲソースによって作られた赤外線光は、
・破線７８ａによって示されているように、物体を照らさずにテーブル表面から出る場合があり、
・破線７８ｂによって示されているように、テーブル表面の物体を照らす場合があり、または
・破線７８ｃによって示されているように、テーブル表面の上のある距離でテーブル表面に触れていない物体を照らす場合がある。
【００３１】
ディスプレイの表面６４ａの上の物体に、ディスプレイの表面に乗っている「タッチ（ｔｏｕｃｈ）」物体７６ａと、ディスプレイの表面に近いが実際に接触してはいない「ホバー（ｈｏｖｅｒ）」物体７６ｂが含まれる。ディスプレイの表面の下で半透明層６４ｂを使用してディスプレイの表面を通過するＩＲ光を散乱させたことの結果として、物体がディスプレイの表面６４ａに接近する時に、物体によって反射されるＩＲ光の量が、物体がディスプレイの表面に実際に接触した時に達成される最大値まで増える。
【００３２】
ディジタルビデオカメラ６８が、ディスプレイの表面６４ａの上に配置されたタッチ物体またはホバー物体から反射されたＩＲ光を受け取るのに適当な、ディスプレイの表面６４ａの下の位置でフレーム６２に取り付けられている。ディジタルビデオカメラ６８は、ＩＲ通過フィルタ８６ａを備え、このＩＲ通過フィルタ８６ａは、ＩＲ光だけを通し、ディスプレイの表面６４ａを通って点線８４ａに沿って進む環境可視光を阻止する。バッフル（ｂａｆｆｌｅ）７９が、ＩＲ光源６６とディジタルビデオカメラの間に配置されて、ＩＲソースから直接に発するＩＲ光がディジタルビデオカメラに入らないようにする。というのは、このディジタルビデオカメラが、ディスプレイの表面６４ａの上の近距離またはこれと接触する物体から反射された、ディスプレイの表面またはその上の物体から反射されたＩＲ光のイメージに対応するＩＲ光だけに応答する出力信号を作ることが好ましいからである。ディジタルビデオカメラ６８は、上からディスプレイの表面６４ａを通過し、対話型ディスプレイの内側に入る環境光に含まれるＩＲ光（たとえば、点線８４ａによって示される経路に沿って進む環境ＩＲ光）にも反応することを理解されよう。
【００３３】
テーブル表面またはその上の物体から反射されたＩＲ光は、
・破線８０ａおよび８０ｂによって示されるように、反射され、半透明層６４ｂを通り、ＩＲ通過フィルタ８６ａを通ってディジタルビデオカメラ６８のレンズに入る場合があり、あるいは、
・破線８０ｃによって示されるように、ディジタルビデオカメラ６８のレンズに入らずに、対話型ディスプレイ内の他の内側表面によって反射されるか吸収される場合がある。
【００３４】
半透明層６４ｂは、入射ＩＲ光と反射ＩＲ光の両方を散乱させる。したがって、上で説明したように、ディスプレイの表面６４ａにより近い「ホバー」物体は、ディスプレイの表面からより遠い、同一反射率の物体より多くのＩＲ光をディジタルビデオカメラ６８に反射する。ディジタルビデオカメラ６８は、そのイメージングフィールド（ｉｍａｇｉｎｇ ｆｉｅｌｄ）内の「タッチ」物体および「ホバー」物体から反射されたＩＲ光を感知し、反射されたＩＲ光のイメージに対応するディジタル信号を作り、このディジタル信号が、その物体のそれぞれの位置と、オプションとして物体のサイズ、向き、および形状を判定する処理のためにＰＣ ２０に入力される。物体の一部（ユーザの前腕など）がテーブルの上にあり、別の部分（ユーザの指など）がディスプレイの表面と接触している場合があることに留意されたい。さらに、物体の底面に、その物体に固有またはその物体がメンバである関連する物体のクラスに固有の、ＩＲ光反射パターンまたはコーディングされた識別子（たとえば、バーコード）を含めることができる。したがって、ディジタルビデオカメラ６８からのイメージング信号は、本発明に従って、その反射パターンから反射されたＩＲ光に基づく、そのような特定の各物体の検出ならびにその向きの判定に使用することもできる。この機能を実行するために実施される論理ステップを、下で説明する。
【００３５】
ＰＣ ２０は、図２に示されているように対話型ディスプレイテーブル６０に一体化することができ、あるいはその代わりに、図３の実施形態に示されているように、対話型ディスプレイテーブルの外部に置くことができる。図３では、対話型ディスプレイテーブル６０’が、データケーブル６３を介して外部のＰＣ ２０（上で述べたように、オプションのモニタ４７を含む）に接続されている。この図からわかるように、直交するＸ軸およびＹ軸のセットならびに「０」によって示される原点が、ディスプレイの表面６４ａに関連する。具体的に図示はしていないが、各直交軸に沿った複数の座標位置を使用して、ディスプレイの表面６４ａ上の任意の位置を示すことができることを理解されよう。
【００３６】
対話型ディスプレイテーブルが、外部ＰＣ ２０に（図３のように）または、セットトップボックス、ビデオゲーム、ラップトップコンピュータ、またはメディアコンピュータ（図示せず）などの他のタイプの外部コンピューティングデバイスに接続される場合に、対話型ディスプレイテーブルに、入出力デバイスが含まれる。対話型ディスプレイテーブルの電力は、電力リード６１によって供給され、この電力リード６１は、普通の交流（ＡＣ）ライン電源（図示せず）に結合される。データケーブル６３は、対話型ディスプレイテーブル６０’に接続されるが、ＰＣ ２０のＵＳＢ ２．０ポート、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）１３９４（またはＦｉｒｅｗｉｒｅ）ポート、またはイーサネット（登録商標）ポートに接続することができる。無線接続の速度が向上し続けているので、対話型ディスプレイテーブルを、そのような高速無線接続を介して、または他の適当な有線もしくは無線のデータ通信を介して、ＰＣ ２０などのコンピューティングデバイスに接続することもできることも考慮されている。対話型ディスプレイの肝要な部分として内蔵されるか外部にあるかにかかわらず、ＰＣ ２０は、ディジタルビデオカメラ６８からのディジタルイメージを処理するアルゴリズムを実行し、有利に対話型ディスプレイテーブル６０のより直観的なユーザインターフェース機能を使用するように設計されたソフトウェアアプリケーションを実行し、そのような機能を利用するように特に設計されてはいないが、それでも対話型ディスプレイテーブルの入出力機能を利用できる他のソフトウェアアプリケーションも実行する。もう１つの代替案として、対話型ディスプレイを、外部コンピューティングデバイスに結合するが、外部ＰＣによって行われないイメージ処理および他のタスクを行うために内部コンピューティングデバイスを含めることができる。
【００３７】
対話型ディスプレイテーブル（すなわち、上で述べた実施形態のいずれか）の重要で強力な特徴が、ゲームまたは他のソフトウェアアプリケーションのためにグラフィックイメージまたは仮想環境を表示する能力、ならびにディスプレイの表面６４ａで可視のグラフィックイメージまたは仮想環境と、タッチ物体７６ａなどのディスプレイの表面上にある物体またはホバー物体７６ｂなどのその上でホバリングしている物体との間の対話を可能にする能力である。この豊かな対話を大きく促進するのは、そのような物体ならびにユーザの指またはユーザによって動かされる他の物体を視覚的に検出する対話型ディスプレイテーブルの能力である。
【００３８】
もう一度図２を参照すると、対話型ディスプレイテーブル６０に、グラフィックイメージ、仮想環境、またはテキスト情報をディスプレイの表面６４ａに表示するのに使用されるビデオプロジェクタ７０が含まれる。このビデオプロジェクタは、少なくとも６４０×４８０ピクセルの解像度を有する、液晶ディスプレイ（ＬＣＤ）タイプ、ディジタルライトプロセッサ（ＤＬＰ）タイプ、または反射型液晶（ＬＣｏＳ）ディスプレイタイプであることが好ましい。ＩＲカットフィルタ（ＩＲ ｃｕｔ ｆｉｌｔｅｒ）８６ｂが、ビデオプロジェクタ７０の投影レンズの前に取り付けられて、ビデオプロジェクタが発するＩＲ光が、対話型ディスプレイテーブルの内部で、そのＩＲ光がディスプレイの表面６４ａまたはその上の物体から反射されたＩＲ光と干渉する場所に入らないようになっている。第１鏡アセンブリ７２ａが、プロジェクタレンズから進む投影された光を、点線経路８２ｂに沿って、フレーム６２の透明開口９０ａを通るように向け、その結果、投影された光が、第２鏡アセンブリ７２ｂに入射するようになる。第２鏡アセンブリ７２ｂは、投影された光を経路８２ｃに沿って半透明層６４ｂに反射し、半透明層６４ｂは、プロジェクタレンズの焦点にあり、その結果、投影されたイメージが、見るためにディスプレイの表面６４ａで可視になり、焦点が合うようになる。
【００３９】
アラインメントデバイス７４ａおよび７４ｂが設けられ、これには、ディスプレイの表面に投影されたイメージがディスプレイの表面で位置合わせされることを保証するために、第１鏡アセンブリおよび第２鏡アセンブリの角度を調整する、ねじ付きの棒および回転可能な調整ナット７４ｃが含まれる。投影されるイメージを所望の向きに向けることのほかに、この２つの鏡アセンブリの使用は、プロジェクタ７０と半透明層６４ｂの間のより長い経路をもたらし、より重要なことに、対話型ディスプレイテーブルの所望のサイズおよび形状を達成するのを助け、その結果、対話型ディスプレイテーブルが、大きすぎず、ユーザがその横に快適に座ることができるサイズおよび形状になる。
【００４０】
ソフトウェアアプリケーションを制御するのに使用可能な物理物体
ここで図４を参照すると、第１表面１０２ａ（物体の底部）および第２表面１０２ｂ（物体の頂部）を含む２つの対向する表面を有する例示的な物体１００が示されている。物体は、可視光（すなわち、人間に可視の光）に対して光学的に実質的に透明な材料から作られる。物体１００の形状は、本発明の範囲に関して限定的であることを意図されたものではないが、この例では、物体１００は、比較的薄いすなわち、第１表面１０２ａと第２表面１０２ｂの間で測定された寸法が物体の他の寸法と比較して薄い、全般的に四角い形のブロックに見える。
【００４１】
第１エンコーデッドマーキング１０４ａが、第１表面１０２ａに適用され、第２エンコーデッドマーキング１０４ｂが、第２表面１０２ｂに適用され、これは第１エンコーデッドマーキングと異なる。その代わりに、物体１００の第１表面または第２表面のいずれかに単一のエンコーデッドマーキングを適用することができ、あるいは、同一のエンコーデッドマーキングを物体の第１表面および第２表面の両方に適用することができることを理解されよう。しかし、例示のために、この図に示された例には、第１エンコーデッドマーキングおよび異なる第２エンコーデッドマーキングの両方が含まれ、これによって、第１表面または第２表面のどちらが対話型ディスプレイの表面６４ａに接触して置かれているかに応じて、少なくとも２つの異なる機能を選択的にアクティブ化することが可能になる。したがって、下で詳細に説明するように、エンコーデッドマーキングの１つから受け取られるＩＲ光が、対話型ディスプレイの表面６４ａへの入力として働くことと、この入力が、そのエンコーデッドマーキングに関連する事前定義の機能を実施させることは明白である。
【００４２】
物体１００のこの例示的な実施形態では、第１エンコーデッドマーキング１０４ａ、および第２エンコーデッドマーキング１０４ｂに、可視光を簡単に通すが、ＩＲ反射部分１１０およびＩＲ透過部分１０８を含む材料が含まれる。代替案として、エンコーデッドマーキングに、ＩＲ反射部分１１０の代わりにＩＲ光を吸収する部分ならびにＩＲ透過部分１０８を含めることができる。
【００４３】
図４に示された実施形態に示されているように、第１および第２のエンコーデッドマーキングの両方が使用される場合に、物体１００は、第１層１００ａおよび第２層１００ｂに分離され、これらが中間層１０６によって分離されることが好ましい。さらに、ＩＲ反射部分１１０が、第１および第２のエンコーデッドマーキングのそれぞれに使用されると仮定すると、中間層１０６は、ＩＲ光を吸収する特性を有する。逆に、ＩＲ反射部分１１０の代わりにＩＲ吸収層が使用される場合には、中間層１０６が、ＩＲ光を反射しなければならない。また、中間層１０６は、第１および第２のエンコーデッドマーキングと同様に、可視光１１６を実質的に透過させなければならない。中間層１０６の使用は、どちらの場合でも、対話型表面６４ａと接触しているエンコーデッドマーキングだけが、ディジタルビデオカメラ６８（図２）によって受け取られるエンコードされた信号を供給することと、物体１００の対向する表面（すなわち、物体の、対話型ディスプレイの表面と接触していない表面）に配置された他方のエンコーデッドマーキングが、入力の判定に干渉せず、正しい機能が対話型ディスプレイの表面６４ａに関して実施されるようになることを保証する。
【００４４】
多数の他のエンコーデッドパターンを、第１および第２のエンコーデッドマーキングに使用することができるが、図５に示されているように、第１エンコーデッドマーキング１０４ａに、ＩＲ透過部分１０８とＩＲ反射部分１１０（またはＩＲ吸収部分）の交互するバーまたはストライプを含むバーコードが含まれることが好ましい。第１または第２のエンコーデッドマーキングから反射されたＩＲ光は、物体１００から受け取られたＩＲ光に応答して、ディスプレイテーブルのディジタルビデオカメラによって作られた信号を処理することによる物体１００の認識を可能にする。さらに、対話型ディスプレイの表面６４ａでの物体１００の位置および向きが、ディジタルビデオカメラによってすぐに判定される。さらに、第１および第２のマーキングと中間層１０６（使用される場合に）の両方が、可視光１１６をすぐに透過させるので、対話型ディスプレイの表面６４ａの物体１００の真下の部分に現れる仮想エンティティまたはイメージは、物体１００を透過する、仮想エンティティまたはイメージからの可視光を見ることによって、すぐに可視になる。第１および第２のエンコーデッドマーキングは、好ましくは人間の目にたやすくは可視でないものであるので、物体１００が対話型テーブルによってどのように識別され、対話型ディスプレイの表面６４ａでの位置／向きがどのように判定されているかは、ユーザにたやすく明白にはならないであろう。したがって、本発明によって提供される機能は、それが達成される形が何も知らないユーザに明白でないので、より高い神秘的な雰囲気を有する。
【００４５】
図６に、中央領域１２４の周囲の表面に周辺ＩＲ反射マーキング１２２を有する物体１２０を示す。周辺ＩＲ反射マーキング１２２の１つの側面または縁に、物体１２０の具体的な識別とＩＲ透過バー１２６が配置された物体の側面または縁に関するその向きの表示との両方を行う複数のＩＲ透過バー１２６が含まれる。使用される特定のエンコーディングパターンに応じて、エンコーデッドマーキングが適用された物体の向きを、この物体から反射されたＩＲ光に応答してディジタルビデオカメラによって作られた信号を処理することによって、すぐに判定することができる。さらに、中央領域１２４の周囲にＩＲ反射周辺部を設けることによって、すべての仮想エンティティまたはイメージを、物体１２０の真下の対話型ディスプレイの表面６４ａですぐに表示でき、その結果、その仮想エンティティまたはイメージが、物体の中央領域１２４を透過する、その仮想エンティティまたはイメージを表示するのに使用される可視光を見ることによって、たやすく可視になる。
【００４６】
本発明に関して、あるタイプの物体の位置および向きの両方を判定し、その結果、物体を通して可視の仮想エンティティまたはイメージが、対話型ディスプレイの表面の物体の形状およびその位置に関して正しいサイズおよび向きにされることが重要である。この点の重要性は、下の議論の中でより明白になるが、下の議論では、対話型テーブル６０／６０’に含まれるかその外部に結合されるＰＣ ２０によって実行される異なるソフトウェアプログラムによって実施される事前定義の機能を開始するための入力を提供する時の本発明の複数の例示的な応用例を説明する。
【００４７】
本発明の例示的な応用例
対話型ディスプレイの表面で使用される時にその威力を非常によく示す、多分、本発明の最も興味深く、面白い応用例の１つを、図７および８に示す。図７では、対話型ディスプレイの表面６４ａに表示されたイメージ１３０が、（クリップアート形式の）ライオンを示している。このイメージに、複数の部分１３２ａ〜１３２ｉが含まれ、そのそれぞれが、本発明に従って構成された異なる物体に対応する。この図を単純にするために、同一の符号１３２ａ〜１３２ｉが、イメージの部分がそれを通して可視である物体を識別するのにも使用されている。これらの物体のそれぞれが、ＩＲエンコーデッドマーキング（この図には図示せず）によって一意に識別され、その結果、対応する部分のイメージが、対話型ディスプレイの表面６４ａで、イメージのその部分に関連する物体の下に現れるようになっていることを理解されたい。したがって、物体の下に表示されるイメージの部分は、物体を通して可視である。したがって、図８からわかるように、これらの物体が、対話型ディスプレイの表面６４ａ上でランダムに分布する時に、対話型ディスプレイの表面に表れるイメージ１３０の対応する部分が、ランダムに分布する時の物体のそれぞれに伴って移動する。したがって、イメージの、各物体に関連する部分が、物体の一部であるように見える。
【００４８】
したがって、図７および８に示された応用例が、一般に、普通のジグソーパズルに対応し、各物体がパズルの異なるピースを表すことは明白である。ユーザがこれらの物体を再組立し、その結果、イメージの対応する部分が、図７に示されたイメージ１３０を表示できるようにすることによって、エンターテイメントがユーザに提供される。ユーザが、物体の１つをとり、対話型ディスプレイの表面から離れる方に物体を移動する時に、イメージの、前にその物体を通じて可視であった部分が、対話型ディスプレイの表面から消える。その物体の一意のエンコーデッドマーキングが、もはや対話型ディスプレイの表面に乗っているものとして検出されなくなるので、イメージの、その物体に関連する部分が、もはや対話型ディスプレイの表面に投影されなくなる。
【００４９】
ユーザが、もう一度イメージ１３０を形成するように物体およびそれに対応するイメージ部分を正しく組み立てたならば、ユーザは、オプションとして、対話型ディスプレイの表面によって異なる新しいイメージを表示させることができ、その結果、この異なる新しいイメージの諸部分が、同様に物体に関連する。ユーザは、物体をランダムに分散させ、その後、それらを正しく再組立して、新しいイメージを形成することができる。その代わりに、異なる新しいイメージ部分が物体のそれぞれに関連付けられる前にユーザが物体をランダムに巻き散らし、異なる新しいイメージを達成するために物体を再組立するという作業をより難しくすることができる。さらに、イメージの部分を物体に割り当てる時に、より多数またはより少数の物体を使用できることを理解されよう。したがって、年少のユーザについて、イメージが対応する少数の部分だけを含むので、少数の物体だけを使用することができ、年長のユーザについて、この単純な例に示されたものより多数の物体およびイメージの対応する多数の部分を使用することができ、これによって、イメージを形成するために物体を正しく再組立する作業をより難しくすることができる。
【００５０】
イメージの各部分に関連する物体に、対向する側面に異なるエンコーデッドマーキングが含まれる（図４に関して上で説明したように）場合に、反転され、その結果、他のエンコーデッドマーキングが、対話型ディスプレイの表面に提示されている物体に、イメージの各部分の鏡像版を表示することが可能である。このひねりによって、普通のジグソーパズルによって提供されない、完全なレベルの複雑さおよび課題が、物体を正しく組み立てることに追加されることは明白である。というのは、各物体のどの側面が、イメージの正常部分ではなくイメージの鏡像部分に対応するかが、ユーザに明白ではない可能性があるからである。各物体の両側面が、ユーザには同一に見える。物体の一部が、他の物体に対して反転されている場合に、完全なイメージを表示するために物体を正しく再組立することは不可能である。ユーザは、フルイメージの鏡像版またはフルイメージの非鏡像版のいずれかを組み立てるために、物体のすべてを同一の状態（すなわち、すべて反転またはすべて非反転）にしなければならない。
【００５１】
本発明のこの応用例のもう１つの変形形態が、ビデオを用いて提供されるイメージのシーケンスを使用し、その結果、イメージの諸部分が静的でなく、ビデオがシーケンスの別のイメージに進む時に変化するようにすることである。イメージのシーケンシングの速度は、比較的遅くなるように調整可能とすることができ、あるいは、その代わりに、ビデオに使用される約３０フレーム毎秒の「通常」速度で動かすことができる。各物体に関連してシーケンシングされるイメージの関連部分が、維持され、その結果、物体が正しく組み立てられたならば、ビデオのフルイメージが、物体を通して明瞭に表示されるようになる。しかし、この応用例での静的イメージの代わりのビデオの使用は、物体を正しく組み立てる作業にさらなる困難さを追加し、通常のジグソーパズルに似ていないことを理解されよう。
【００５２】
静的イメージまたはイメージのビデオシーケンスを、ユーザが供給できることにも留意されたい。たとえば、ユーザの個人の写真または他のイメージを、静的イメージに使用することができ、ユーザが作ったビデオを、上で述べた変形形態に使用することができる。また、写真のシーケンス（たぶんユーザによって供給される）を、上で述べたようにシーケンシングされるイメージに使用することができる。ユーザのイメージまたはビデオを使用することによって、この応用例を、個人的により意味があり、ユーザおよび友人により面白いものになるようにカスタマイズすることができる。
【００５３】
図９および１０に、対話型ディスプレイの表面６４ａにテキスト１４０を表示するほとんどすべてのソフトウェアアプリケーションと共に使用できる、本発明の異なる応用例を示す。テキスト１４０は、ある公称フォントサイズで表示される。しかし、環状（外周に関して）であり、透明な中央部分１４４を有する物体１４２が、テキスト１４０の上に置かれた時に、この物体が、透明な中央部分１４４を通して可視のテキストのフォントサイズを変更し、その結果、テキストが、図９のテキスト１４６のように拡大されて見えるようになる。ユーザが、テキスト１４０の他の部分に物体１４２を移動する時に、テキストの、透明な中央部分１４４内に見える部分が、同様にサイズを拡大される。
【００５４】
図１０に、ユーザが、図９の配置に対して反時計回りに回転することによって物体１４２の向きを変更したことの結果を示す。矢印１４８は、ユーザが物体１４２を時計回りに回転した場合に、テキスト１４０が拡大され、物体１４２が反時計回りに回転された場合に、テキスト１４６’が、透明な中央部分１４４内で縮小されたサイズで（すなわち、透明な中央部分１４４の外で表示されたテキスト１４０より小さいフォントを使用して）可視になることを示している。図示されていないが、物体１４２を使用して、ユーザの制御の下で、仮想エンティティまたはイメージのサイズを拡大または縮小するために、単に物体１４２を望みの方向に回転することによって、透明な中央部分１４４内で可視の写真イメージまたはほとんどすべての他のタイプの仮想エンティティのサイズを拡大または縮小することもできることを理解されよう。
【００５５】
図１１に、やはり本発明による物体１５２を示す。この例示的な応用例では、物体１５２が、物体１５２が単語または句の上に移動される前に可視であった単語または句の言語と異なる言語への単語または句の翻訳を自動的に表示するように見える。他の選択された言語との間の翻訳は、明らかに、図１１のテキスト１５０によって示されているように、本発明を用いて実施することができるが、例示的な図示の翻訳は、英語の単語「ｈｏｒｓｅ」の対応するスペイン語の単語１５６すなわち「ｃａｂａｌｌｏ」への翻訳である。物体１５２が、英語の単語または句の上に置かれた時に、その英語の単語または句が、消え（すなわち、もはや対話型ディスプレイの表面６４ａに投影されなくなり）、その代わりに対応するスペイン語の単語または句が現れ、その結果、物体１５２の透明な中央部分１５４を通して可視になる。物体１５２の対向する表面に設けられた２つの異なるエンコーデッドマーキングが利用される場合に、ある表面を上に向けることを英語からスペイン語への翻訳に使用することを指定し、もう一方の表面を上に向けることをスペイン語から英語への翻訳での物体１５２の使用に指定することができる。したがって、物体１５２は、教育言語プログラムで使用し、ユーザが、実習セッション中にある言語から別の言語への単語または句の翻訳を直観的にチェックできるようにすることができる。翻訳を提供するソフトウェアプログラムは、単に、単語または句を別の言語に翻訳することによって、ある言語の単語または句の上に物体が置かれることに応答する必要がある。
【００５６】
本発明のもう１つの応用例を、図１２および１３に関して示す。図１２では、写真イメージ１６０すなわち少女のポートレートが、対話型ディスプレイの表面６４ａに表示されている。図１３では、本発明に従って構成された物体１６２が、写真イメージ１６０の上に置かれており、写真イメージを表示していたソフトウェアプログラムに、少女の頭蓋骨１６６に対応するＸ線１６４を表示させている（この例示的な例の頭蓋骨１６６が、実際には、写真イメージに示された少女の頭蓋骨でないことに留意されたい）。したがって、対話型ディスプレイの表面６４ａでの物体１６２の検出に応答して、ソフトウェアプログラムは、単に、人間、動物、または他の仮想エンティティのＸ線のどれであれ、オリジナルイメージに示された被写体のＸ線に見えるものを表示する。これらの図には示されていないが、物体１６２を、ユーザが、たとえば回転することによって、操作して、対話型ディスプレイの表面によって前に表示されていたオリジナルイメージに対応する他のタイプのイメージを表示できることを理解されよう。たとえば、物体１６２の操作（たとえば、回転）が、ソフトウェアプログラムの制御の下で動作している対話型ディスプレイの表面に、Ｘ線１６４ではなく元の被写体の磁気共鳴画像（ＭＲＩ）を表示することによって応答させることができる。物体１６２を操作して、主題の中の詳細または層（ｌａｙｅｒｓ）が表示される、元の被写体内の深さを変更することもできる。したがって、物体１６２を回転することによって、ユーザは、元の被写体の皮膚、筋肉構造、循環系、神経系、骨などを選択的に見ることができる。物体１６２は、任意のシステム、たとえば回路基板、集積回路チップ、分子構造、人体、昆虫、宇宙（銀河、太陽系、惑星、国、都市など）、機械、および表示できるほとんどすべての他の仮想エンティティを、エンティティ内の望みの深さで探索することができ、物体を介して示される深さまたは層は、物体の向きを変更することによって、または他の対応する入力に影響することによって制御される。単に、物体１６２を対話型ディスプレイの表面６４ａで検出することと、対話型ディスプレイの表面６４ａに表示され、物体を通して可視のエンティティのレベルまたは層または他の態様を変更するためにユーザによって提供される物体の向きの変化または他の入力に応答することによって、そのような機能を適当なソフトウェアプログラムによってすぐに実施できることを、当業者は理解されよう。
【００５７】
本発明は、特に、本発明に従って構成された物体を通して可視の、写真イメージの変更およびその変更結果の即座の表示にも適用可能である。たとえば、図１４に、フラッシュ（図示せず）を用いて撮影され、女性の目のそれぞれの網膜からのフラッシュライトの反射の結果であるイメージ内で明白な赤目１７２が引き起こされた女性の写真イメージ１７０を示す。図１５では、中央領域１７５を有する物体１７４が、女性の目を中心にして対話型ディスプレイの表面６４ａに置かれており、写真イメージ編集に使用されるソフトウェアプログラムに、赤目問題を自動的に減らすか「フィックス」させている。したがって、目１７６は、物体１７４の中央領域を通して可視のイメージ１７０’では普通に見えている。したがって、ユーザは、赤目を減らす効果を示す即座の視覚的フィードバックを有する。ユーザは、異なるコントロール（図示せず）を選択して、このように変更されたイメージを保存することができる。
【００５８】
物体１７４が、可視光に対して透明には見えない環状の周辺境界を有するものとして示されていることに留意されたい。オプションとして、そのような周辺境界（または、他の形状の周辺境界）を物体のまわりに設けることができるが、可視光を透過させる周辺境界を、本発明で同様にすぐに使用できることも理解されたい。境界が図１５の例で図示されているのは、単に、物体の調整可能性およびその下にあるイメージの上での配置をより容易に明らかにすることができるからである。上で述べたように、物体の範囲を判定するために可視光または非可視光を通さない周辺境界を光学的に検出するのではなく、本発明は、物体の範囲（すなわちその境界）が物体から受け取られた非可視ＩＲ光に反応するビデオカメラによって明瞭に判定可能になるように非可視光を反射するマーキングを含む周辺境界を使用することができる。
【００５９】
その代わりに、物体１７４が写真イメージ１７０の他の特性の変更に関連すると仮定して、この物体を使用してその他の特性を変更することができることも理解されたい。たとえば、ユーザが、矢印１７８によって示されているように物体１７４を回転した場合に、写真イメージの色相、彩度、またはコントラスト（物体１７４に関連する機能に応じて）を変更することによって写真イメージ１７０を変更することができ、ユーザは、やはり、結果を即座に見る。変更の範囲は、ユーザが物体１７４を回転する量によって制御することができ、たとえば、時計回りの方向で変更を増やし、反時計回りの方向で変更を減らすことができる。ユーザは、変更が調整された後に物体１７４を再位置決めして、写真イメージ１７０の異なる部分に対する影響を見ることができ、この異なる部分は、物体１７４の中央部分を介して可視になる。
【００６０】
図１６Ａおよび１６Ｂに、それぞれインデクシングノッチ１７９を設けた物体１７４および物体１７８を、それぞれ示す。この２つの図からは、物体１７４のエンコーデッドマーキング１７７ａおよび物体１７８の異なるエンコーデッドマーキング１７７ｂも明白である。説明のために、エンコーデッドマーキング１７７ａおよび異なるエンコーデッドマーキング１７７ｂの両方が、各物体の中央領域１７５で可視である。エンコーデッドマーキングは、それぞれ、異なるイメージ変更機能に関連する。たとえば、エンコーデッドマーキング１７７ａは、イメージのコントラスト／明るさの調整に関連し、異なるエンコーデッドマーキング１７７ｂは、イメージの色相の調整に関連する。さらに、各物体がユーザによってその中心の回りで回転された場合に、前に述べたように、変更の範囲および性質をすぐに選択的に調整できることを理解されよう。
【００６１】
図１７では、物体１７８が、物体１７４の上に積み重ねられている。図示の側面立面図から明白ではないが、物体の中央領域１７５を通して可視のイメージに対する、物体の回転によって引き起こされる、コントラスト／明るさの変更および色相の変更が、すぐに知覚可能である。物体のすべての組み合わされた機能を達成するために積み重ねられた複数のそのような物体のそれぞれを、別々に識別しなければならないので、２つの物体に適用されるエンコーデッドマーキングが、実質的に分離され、重なり合わないことが重要である。したがって、物体のエンコーデッドマーキングは、互いに、角度的にかつ半径方向にオフセットしている。積み重ねを可能にするために、エンコーデッドマーキングが、物体の１側面だけに適用されることと、物体に非可視光を吸収する中間層が設けられないことが重要である。というのは、この中間層が、一番下の物体の上に積み重ねられた物体の識別を妨げるからである。ユーザによって行われた、各物体の相対回転調整を追跡するのを助けるために、ノッチ１７９が、物体のそれぞれに設けられ、当初に、物体が対話型ディスプレイの表面６４ａまたはスタックの別の物体の上に置かれた時に位置合せすることができる。その後、各物体が、別々に個別に回転されて、この例では、物体１７４によって提供されるコントラスト／明るさに対する所望の調整および物体１７８によって提供される色相に対する所望の調整が達成される。
【００６２】
仮想エンティティまたはイメージのほとんどすべての特性またはパラメータを、本発明を使用して調整または変更することができる。さらなる例を、図１８および１９に示す。図１８では、仮想エンティティすなわち人１８０が、衣類のセット１８２を着て示されている。図１９では、本発明に従って構成された物体１８４が置かれ、その結果、これが人１８０をカバーしたことの結果が示されている。この位置での物体１８４の検出に応答して、人を表示する責任を負うソフトウェアプログラムが、衣類の異なるセット１８２’を着ている人１８０を示す。同様に、図示されていないが、物体１８４を、たとえば矢印１８８によって示されるように回転させることによって操作して、衣類の異なるセットに変更するか、人１８０の他の特性または特徴を変更することができる。したがって、物体１８４の回転を、人のヘアスタイル１８６の変更、髪の色の変更、または人に他の特性の変更に使用することができる。類似する機能性を、ほとんどすべてのタイプの仮想エンティティに適用することができる。
【００６３】
本発明を実施する論理ステップ
図２０の流れ図２００に、上で述べた、対話型ディスプレイの表面に置かれた物体に応答して実施される論理ステップを示す。この論理の開始に続いて、ステップ２０２で、対話型ディスプレイの表面に置かれた、本発明に従って構成された１つまたは複数の物体から受け取られたＩＲ光の検出を提供する。上で述べた本発明の例示的応用例の１つで、複数のそのような物体が、ジグソーパズルのピースのように働き、他の実施形態では、単一のそのような物体だけが、対話型ディスプレイの表面に仮想エンティティまたはイメージを表示するのに使用されるソフトウェアプログラムによって検出された時に特定の機能を実施するのに使用される。しかし、複数のそのような物体を、複数の異なる機能を実行するために対話型ディスプレイの表面に置くことができ、そのような各物体を異なる機能に使用できることを理解されよう。ステップ２０４で、この論理は、そのような各物体のエンコーデッドマーキングから受け取られたＩＲ光のエンコーデッドパターンをデコードすることによる、対話型ディスプレイの表面に置かれた物体のそれぞれの識別を提供する。対話型ディスプレイの表面は、ステップ２０６に示されているように、物体から受け取られたＩＲ光に応答して、そのような各物体の位置および向きを判定する。ステップ２０８に示されているように、インラクティブディスプレイの表面に１つまたは複数のそのような仮想エンティティまたはイメージを表示するために実行されているソフトウェアプログラムに基づいて、適当な変更された仮想エンティティまたはイメージが、対話型ディスプレイの表面に表示され、その結果、これを、各物体を通過した可視光を用いて見ることができるようになる。
【００６４】
イメージの性質、仮想エンティティ、または物体が対話型サービスで検出される前に表示されていたものの他の変更を判定する詳細は、明らかに、この機能を実行する責任を負うソフトウェアプログラムに依存する。前の議論から明白であるように、本発明が有用である応用例の範囲は、ほとんど無制限である。したがって、流れ図でこれらの応用例のそれぞれに関する詳細を提供することは不可能であり、これらは、上で述べた例によって提供されるように、例示として以外の形で本発明に特に関連はしない。対話型ディスプレイの表面で検出された物体に関連する事前定義の機能に応答して、本発明に従って構成された物体を通して可視である仮想エンティティまたはイメージを提供するために特定のソフトウェアプログラムを使用する方法は、当業者によって明瞭に理解されよう。
【００６５】
次に、判断ステップ２１０で、対話型ディスプレイの表面で検出された物体のいずれかの位置または向きが、経時的に変更されたかどうかを判定する。そうである場合に、ステップ２１２で、物体の検出に応答するソフトウェアプログラムによって決定される形で、物体を通過する可視光を用いて対話型ディスプレイの表面に表示される仮想エンティティまたはイメージを調整する。そうでない場合に、判断ステップ２１０からの否定の結果は、ステップ２０２に戻って、対話型ディスプレイの表面の物体から反射されたＩＲ光の検出を更新する。同様に、ステップ２１２の後に、この論理は、やはりステップ２０２にループバックして、そのような物体の検出を更新する。
【００６６】
本発明を、それを実践する好ましい形およびそれに対する変更に関して説明したが、当業者は、請求項の範囲内で本発明に対して多数の他の変更を行えることを理解するであろう。したがって、本発明の範囲が、いかなる形でも上の説明に制限されることを意図されておらず、むしろ、本発明の範囲は、請求項の参照のみによって決定されることが意図されている。
【図面の簡単な説明】
【００６７】
【図１】本発明を実践するのに使用される入力データおよび出力データを処理するのに適する全般的に普通のパーソナルコンピュータ（ＰＣ）を示す機能ブロック図である。
【図２】対話型テーブルのハードウェアコンポーネントと、対話型テーブル内の光がたどる経路と、テーブルの表面およびその上に配置された例示的な物体を示す、対話型テーブルの内部を示す図である。
【図３】外部ＰＣに結合された対話型ディスプレイテーブルを示す等角図である。
【図４】本発明による、可視光透過エンコーデッドマーキングが対向する側面に適用された物体を示す立面断面図である。
【図５】エンコーデッドマーキング（好ましくは人間の目に不可視）を示す、図４に示された物体を示す底面図である。
【図６】中央部分を対話型ディスプレイの表面に置くことを可能にする、物体を識別し、基準辺または基準縁を示すエンコーデッドマーキングを含む、本発明による物体の表面の周辺マーキングを示す図である。
【図７】イメージを表示するために、ジグソーパズルのピースが組み立てられるように対話型ディスプレイの表面に正しく配置された、本発明に従って構成された物体を通して可視のイメージの複数の部分を含む例示的なイメージを示す図である。
【図８】対話型ディスプレイの表面での図７の物体のランダムな分布を示す図である。
【図９】本発明に従って構成された物体が、物体の回転向きに応答して、テキストのサイズを増やすために、それぞれマグニファイヤ／リデューサのように機能するように見える、本発明の例示的な応用例を示す図である。
【図１０】本発明に従って構成された物体が、物体の回転向きに応答して、テキストのサイズを減らすために、それぞれマグニファイヤ／リデューサのように機能するように見える、本発明の例示的な応用例を示す図である。
【図１１】本発明に従って構成された物体が、物体を通して対話型ディスプレイの表面で可視の単語または句の翻訳を作るように見える、例示的な応用例を示す図である。
【図１２】図１２の対話型ディスプレイの表面に見える少女のポートレートが、本発明に従って構成された物体によって覆われる時に、図１３に示されているように、少女の頭蓋骨のＸ線写真が物体を通して可視にされるように見える、本発明のもう１つの応用例を示す図である。
【図１３】図１２の対話型ディスプレイの表面に見える少女のポートレートが、本発明に従って構成された物体によって覆われる時に、図１３に示されているように、少女の頭蓋骨のＸ線写真が物体を通して可視にされるように見える、本発明のもう１つの応用例を示す図である。
【図１４】図１４に示されているように、フラッシュを用いて撮影され、その結果、目が「赤目」を示す女性の写真イメージが、図１５に示されているように本発明に従って構成された物体を通して見られる時に自動的に訂正され、写真に対する他のそのような変更を物体の回転によって行えることを示すように働く、本発明のもう１つの応用例を示す図である。
【図１５】図１４に示されているように、フラッシュを用いて撮影され、その結果、目が「赤目」を示す女性の写真イメージが、図１５に示されているように本発明に従って構成された物体を通して見られる時に自動的に訂正され、写真に対する他のそのような変更を物体の回転によって行えることを示すように働く、本発明のもう１つの応用例を示す図である。
【図１６Ａ】それぞれ、各物体がイメージを変更する異なる機能を実行することに関連する、本発明に従って構成された２つの物体の底面を示す図である。
【図１６Ｂ】それぞれ、各物体がイメージを変更する異なる機能を実行することに関連する、本発明に従って構成された２つの物体の底面を示す図である。
【図１７】互いに積み重ねられ、その結果、物体の組み合わされた機能が２つの物体の中央部分に見えるイメージで可視になっている、図１６Ａおよび１６Ｂの２つの物体の側面図である。
【図１８】図１９に示された本発明に従って構成された物体を介して仮想エンティティが見られる時に、図１８の対話型ディスプレイの表面に示された、人を表す仮想エンティティなどの仮想エンティティまたはイメージに対して他のタイプの変更をどのように行えるかを示す図である。
【図１９】図１９に示された本発明に従って構成された物体を介して仮想エンティティが見られる時に、図１８の対話型ディスプレイの表面に示された、人を表す仮想エンティティなどの仮想エンティティまたはイメージに対して他のタイプの変更をどのように行えるかを示す図である。
【図２０】ソフトウェアプログラムに入力を提供することに関して物体を使用して提供される機能を実施する際に実行される論理ステップを示す流れ図である。
【符号の説明】
【００６８】
２１ 処理装置
２２ システムメモリ
２３ システムバス
２４ ＲＯＭ
２５ ＲＡＭ
２６ ＢＩＯＳ
３２ ハードディスクドライブインターフェース
３３ 磁気ディスクドライブインターフェース
３４ 光ディスクドライブインターフェース
３５ オペレーティングシステム
３６ アプリケーションプログラム
３７ 他のプログラムモジュール
３８ プログラムデータ
４０ キーボード
４６ Ｉ／Ｏデバイスインターフェース（たとえば、シリアル）
４７ オプションのモニタ
４８ ビデオアダプタ
４９ リモートコンピュータ
５３ ネットワークインターフェース
５４ モデム
５９ カメラインターフェース
６０ 対話型ディスプレイ
【特許請求の範囲】
【請求項１】
事前定義の機能を実行するための入力を提供する物体であって、前記物体を含む、可視光に対して光学的に透明な材料の少なくとも１つの表面に適用されたエンコーデッドマーキングを含み、前記エンコーデッドマーキングは、前記物体、コンピューティングシステムに結合されたディスプレイの表面でのその位置、および前記ディスプレイの表面での前記物体の向きを識別するように働き、前記エンコーデッドマーキングは、可視光に影響せずに前記可視光を実質的に透過させるが、前記物体が非可視光の変更に応答してすぐに識別されるように前記非可視光を変更する材料を含み、前記物体の識別は、前記物体を通過する可視光を用いて形成される仮想エンティティまたはイメージに影響するコンピューティングシステムによって前記物体に関連する機能を実施させる、前記コンピューティングシステムへの入力を提供することを特徴とする物体。
【請求項２】
異なるエンコーデッドマーキングは、前記物体の異なる表面に適用され、前記異なるエンコーデッドマーキングは、前記コンピューティングシステムに異なる入力を提供するように働き、前記物体に関連する異なる事前定義の機能を前記コンピューティングシステムによって実施させることを特徴とする請求項１に記載の物体。
【請求項３】
前記物体の操作は、前記物体に関連する前記機能に関係するパラメータを変更し、前記物体を通過する前記可視光を用いて形成される前記仮想エンティティまたはイメージに影響することを特徴とする請求項１に記載の物体。
【請求項４】
可視光に対して一様に光学的に透明の少なくとも１つの実質的に中央の部分を有する物体を、前記物体を通る可視光透過に実質的に影響せずに前記物体から受け取られる非可視光に応答して光学的に認識できるようにする方法であって、
（ａ）前記物体の第１表面に第１マーキングを適用するステップであって、前記第１マーキングは、可視光を実質的に透過させるが、
（ｉ）非可視波長帯の光を反射することによって、および
（ｉｉ）前記非可視波長帯の前記光を吸収することによって
のうちの１つによって前記非可視波長帯の光に影響する材料を含む、ステップと、
（ｂ）前記第１マーキングが適用された、物体の前記第１表面上に、前記非可視波長帯の光を向けるステップと、
（ｃ）前記物体から受け取られた前記非可視波長帯の光に応答して、前記物体の少なくとも一部のイメージを検出するステップであって、前記イメージは、前記物体の認識を可能にする、ステップと
備えることを特徴とする方法。
【請求項５】
前記物体の第２表面に第２マーキングを適用するステップをさらに備え、前記第２マーキングは、実質的に前記第１マーキングと同一の材料を含み、前記第１表面は、
（ａ）前記第１マーキングおよび前記第２マーキングを含む前記材料が前記非可視波長帯の前記光を吸収する場合に、可視光を実質的に透過させるが、前記非可視波長帯の光を反射する反射材料、または
（ｂ）前記第１マーキングおよび前記第２マーキングを含む前記材料が前記非可視波長帯の前記光を反射する場合に、可視光を実質的に透過させるが、前記非可視波長帯の光を吸収する吸収材料
によって前記第２表面から分離されていることを特徴とする請求項４に記載の方法。
【請求項６】
前記第１マーキングおよび前記第２マーキングの内の１つからの前記非可視波長帯の光を検出することによって前記物体の状態を判定するステップをさらに備え、前記第１マーキングおよび前記第２マーキングのそれぞれは、前記物体の異なる状態を示すことを特徴とする請求項５に記載の方法。
【請求項７】
前記物体を通過する可視光を作るソフトウェアアプリケーションを制御するために、判定された前記物体の前記状態を使用するステップをさらに備えることを特徴とする請求項６に記載の方法。
【請求項８】
（ａ）前記第１表面および前記第２表面の内の１つからの前記非可視波長帯の前記光を用いて作られた前記イメージに基づいて、経時的な前記物体の向きの変化を判定するステップと、
（ｂ）経時的な前記物体の前記向きの前記変化の関数として、前記物体を通過する可視光を作るソフトウェアアプリケーションを制御するステップと
をさらに備えることを特徴とする請求項５に記載の方法。
【請求項９】
前記第１マーキングからの前記非可視光に基づく前記物体の向きの変化は、前記第２マーキングからの前記非可視光に基づく前記物体の向きの変化と異なる制御機能を前記ソフトウェアアプリケーションに適用させることを特徴とする請求項８に記載の方法。
【請求項１０】
前記第１マーキングは、前記非可視波長帯の前記光が前記第１表面から受け取られるときに前記物体の少なくとも一部のイメージで自動的に認識されるエンコーデッドパターンとして適用されることを特徴とする請求項４に記載の方法。
【請求項１１】
前記第２マーキングは、前記非可視波長帯の前記光が前記第２表面から受け取られるときに前記物体の少なくとも一部のイメージで自動的に認識されるエンコーデッドパターンとして適用されることを特徴とする請求項５に記載の方法。
【請求項１２】
（ａ）前記第１表面から受け取られる前記非可視波長帯の前記光に基づいて、前記物体の向きを判定するステップと、
（ｂ）前記物体を通過する可視光を作るソフトウェアアプリケーションを制御するための入力を提供するために、経時的な前記物体の前記向きの変化を検出するステップと
をさらに備えることを特徴とする請求項４に記載の方法。
【請求項１３】
経時的な前記物体の向きの変化は、前記可視光を用いて前記ソフトウェアアプリケーションによって形成されるイメージに影響する拡大率を変更するように見え、その結果、前記イメージは、前記物体の向きが変化するときに、前記物体の向きが変更された方向に応じて、相対サイズを増やされるか減らされることを特徴とする請求項１２に記載の方法。
【請求項１４】
経時的な前記物体の向きの変化に対応する形で、前記物体を通過する前記可視光によって前記ソフトウェアアプリケーションによって形成されるイメージの向きを変更し、その結果、前記可視光を用いて形成される前記イメージが、前記物体の向きが変更されるときに前記物体と共に動いて見えるようにするステップをさらに備えることを特徴とする請求項１２に記載の方法。
【請求項１５】
前記物体の位置の変化に対応する形で、前記物体を通過する前記可視光によって前記ソフトウェアアプリケーションによって形成されるイメージの位置を変更し、その結果、前記可視光を用いて形成される前記イメージが、前記物体の位置が変更されたときに前記物体と共に移動して見えるようにするステップをさらに備えることを特徴とする請求項１４に記載の方法。
【請求項１６】
前記物体に似た複数の他の物体のそれぞれについて請求項４に記載のステップ（ａ）から（ｃ）を繰り返すステップであって、前記複数の物体のそれぞれを通過した前記可視光を用いて前記ソフトウェアアプリケーションによって形成される前記イメージは、複数の部分に分割されたより大きいイメージの一部を含む、ステップをさらに備え、前記イメージの前記複数の部分が、互いに隣接して正しく組み立てられた場合により大きいイメージを正しく表すジグソーパズルのピースに見えるようにするために、前記より大きいイメージの複数の部分のそれぞれを対応する物体を通して可視にするステップをさらに備えることを特徴とする請求項１５に記載の方法。
【請求項１７】
ソフトウェアプログラムは、前記物体を通過する可視光に、前記物体がその上に位置決めされた少なくとも１つの単語と異なる言語への前記少なくとも１つの単語の翻訳に対応するテキストを形成させることを特徴とする請求項４に記載の方法。
【請求項１８】
（ａ）可視光を用いてソフトウェアプログラムに従って作られた第１イメージを表示するステップと、
（ｂ）前記物体を前記第１イメージの上に置くことを可能にするステップと、
（ｃ）前記第１イメージに関係するが前記第１イメージと異なる第２イメージを形成するために、前記物体を通して可視光を透過させるステップと
をさらに備えることを特徴とする請求項４に記載の方法。
【請求項１９】
前記物体に似た複数の物体を積み重ねるステップをさらに備え、複数の物体のそれぞれは、前記第１イメージの変更に関する異なる機能を提供することに関連し、その結果、前記複数の物体のそれぞれによって提供される前記機能の複合されたものが前記第２イメージで明白になることを特徴とする請求項１８に記載の方法。
【請求項２０】
前記第１イメージは、写真を含み、前記第２イメージは、変更が適用された前記写真を含み、前記第２イメージとして前記物体を通して可視の前記写真に適用される前記変更を調整するために前記ユーザが前記物体の向きを変更することを可能にするステップをさらに備えることを特徴とする請求項１８に記載の方法。
【請求項２１】
前記第１イメージは、第１の外見を有するエンティティを表し、前記第２イメージは、前記第１イメージ内の前記エンティティのある特徴が前記第２イメージで変更されているので異なる外見を有する前記エンティティを表すことを特徴とする請求項１８に記載の方法。
【請求項２２】
前記第２イメージは、前記エンティティの異なる深さ、異なる層、およびサブシステムのうちの１つを表すことを特徴とする請求項２１に記載の方法。
【請求項２３】
前記特徴の前記変更を制御するためにユーザが前記物体を移動することを可能にするステップをさらに備えることを特徴とする請求項２１に記載の方法。
【請求項２４】
請求項４に記載のステップを実行する機械実行可能命令を有することを特徴とする記憶媒体。
【請求項２５】
可視光に対して一様に光学的に透明であり、イメージの複数の部分が可視光を使用して透過される、複数の物体を使用し、その結果、前記物体が移動される時に前記イメージの前記部分が前記物体と共に移動するようにする方法であって、
（ａ）前記物体のそれぞれに別個のマーキングを適用するステップであって、前記マーキングは、可視光を実質的に透過させるが、
（ｉ）非可視波長帯の光を反射すること、および、
（ｉｉ）前記非可視波長帯の前記光を吸収すること
のうちの１つによって前記非可視波長帯の光に影響する材料を含む、ステップと、
（ｂ）前記マーキングが適用された前記物体に、前記非可視波長帯の光を向けるステップと、
（ｃ）前記物体から受け取られる前記非可視波長帯の光に応答して、各物体の位置および向きを識別し、検出するステップと、
（ｄ）前記イメージの前記部分を可視光として前記物体を通して透過させ、その結果、前記イメージの各部分が、前記イメージの前記部分がそれを通して可視である前記物体に関連付けられるようにするステップと、
（ｅ）前記物体を正しいレイアウトで組み立てることを可能にし、その結果、このようにして組み立てられた前記物体を通して可視である前記イメージの前記複数の部分を一括して見ることによって前記イメージが明らかに明白になるようにするステップであって、前記物体は、絵を表示するために正しく組み立てられたジグソーパズルのピースに似た形で前記イメージを表す、ステップと
を備えることを特徴とする方法。
【請求項２６】
前記イメージを、ソフトウェアを使用して選択的に変更することを可能にし、その結果、異なるイメージの部分が前記物体を通して明白になるようにするステップをさらに備えることを特徴とする請求項２５に記載の方法。
【請求項２７】
最初に前記物体の間で前記イメージの前記複数の部分をランダムに分配し、その結果、前記イメージが、前記イメージの前記複数の部分を見ることからすぐに明白にならないようにするステップをさらに備えることを特徴とする請求項２５に記載の方法。
【請求項２８】
前記別個のマーキングが適用された前記表面と対抗する、前記物体のそれぞれの表面に異なる別個のマーキングを適用するステップをさらに含み、各物体に適用される各異なる別個のマーキングは、前記物体に適用された前記別個のマーキングに関連する前記イメージの前記部分に対応する鏡像部分に関連し、その結果、
（ａ）すべての物体は、前記イメージを明瞭に明白にすることを可能にするために、適用された前記別個のマーキングを有する前記表面が、受け取られる前記非可視光を供給する向きにされなければならず、またはその代わりに、
（ｂ）すべての物体は、前記イメージの鏡像版を明瞭に明白にすることを可能にするために、適用された前記異なる別個のマーキングを有する前記対向する表面が、受け取られる前記非可視光を供給する向きにされなければならない
ことを特徴とする請求項２５に記載の方法。
【請求項２９】
前記物体が正しく組み立てられた時に、イメージのシーケンスが前記物体を通過する前記可視光からすぐに明白になるように、イメージの前記シーケンスを前記物体のそれぞれを通して可視の部分に分割させるステップをさらに備えることを特徴とする請求項２５に記載の方法。
【請求項３０】
イメージの前記シーケンスは、ビデオを含むことを特徴とする請求項２９に記載の方法。
【請求項３１】
ユーザが、
（ａ）前記イメージについて前記ユーザによって提供される個人のイメージと、
（ｂ）イメージの前記シーケンスについて前記ユーザによって提供される個人のイメージのシーケンスと
のうちの１つを使用することを可能にするステップをさらに備えることを特徴とする請求項２９に記載の方法。
【請求項３２】
請求項２５に記載のステップを実行する機械実行可能命令を有することを特徴とする記憶媒体。
【請求項３３】
可視光に対して一様に光学的に透明の物体が、前記物体を通した可視光透過に実質的に影響せずに、前記物体から受け取られる非可視光に応答して光学的に認識される、システムであって、
（ａ）物体を照らす非可視光のソースと、
（ｂ）可視光を使用してイメージを作るイメージソースと、
（ｃ）前記物体から受け取られた非可視光に応答して信号を作るセンサと、
（ｄ）機械命令が保存されるメモリと、
（ｅ）前記イメージソース、前記センサ、および前記メモリに結合されたプロセッサであって、
（ｉ）前記センサを用いて前記物体から受け取られた光を検出し、前記信号を作る機能であって、前記物体は、前記物体の第１表面に適用された第１マーキングを有し、前記第１マーキングは、可視光を実質的に透過させるが、
（Ａ）非可視波長帯の光を反射すること、および
（Ｂ）非可視波長帯の光を吸収すること のうちの１つによって非可視光の前記ソースからの非可視光に影響する材料を含む、機能と、
（ｉｉ）前記センサによって作られた前記信号に応答して前記物体を識別する機能と
を含む複数の機能を実行するために前記機械命令を実行する、プロセッサと
を備えることを特徴とするシステム。
【請求項３４】
第２マーキングは、前記物体の第２表面に適用され、前記第２マーキングは、前記第１マーキングと実質的に同一の材料を含み、前記第１表面は、
（ａ）前記第１マーキングおよび前記第２マーキングを含む前記材料が前記非可視波長帯の光を吸収する場合に、可視光を実質的に透過させるが、前記非可視波長帯の光を反射する反射材料、または
（ｂ）前記第１マーキングおよび前記第２マーキングを含む前記材料が前記非可視波長帯の光を反射する場合に、可視光を実質的に透過させるが、前記非可視波長帯の光を吸収する吸収材料
によって前記第２表面から分離されていることを特徴とする請求項３３に記載のシステム。
【請求項３５】
前記機械命令は、さらに、前記プロセッサに、前記第１マーキングおよび前記第２マーキングのうちの１つから前記センサによって受け取られた前記非可視波長帯の光を検出することによって前記物体の状態を判定させ、前記第１マーキングおよび前記第２マーキングのそれぞれは、前記物体の異なる状態を示すことを特徴とする請求項３４に記載のシステム。
【請求項３６】
前記機械命令は、さらに、前記プロセッサに、前記物体を通過する前記可視光を使用し前記イメージソースを用いて前記イメージを作る、実行中のソフトウェアアプリケーションを制御させることを特徴とする請求項３５に記載のシステム。
【請求項３７】
前記機械命令は、さらに、前記プロセッサに、
（ａ）前記第１表面および前記第２表面のうちの１つから前記センサによって受け取られた前記非可視波長帯の光に応答して前記センサによって作られた前記信号に基づいて、経時的な前記物体の向きの変化を判定させ、
（ｂ）経時的な前記物体の前記向きの変化の関数として、前記物体を通過する前記可視光を使用して、前記イメージソースを用いて前記イメージを作る、前記プロセッサによって実行されるソフトウェアアプリケーションを制御させる
ことを特徴とする請求項３４に記載のシステム。
【請求項３８】
前記第１マーキングから前記センサによって受け取られた前記非可視光に基づく前記物体の向きの変化は、前記第２マーキングから前記センサによって受け取られた前記非可視光に基づく前記物体の向きの変化と異なる制御機能を前記プロセッサによって前記ソフトウェアアプリケーションに適用させることを特徴とする請求項３７に記載のシステム。
【請求項３９】
前記第１マーキングは、前記第１表面から受け取られる前記非可視波長帯の光に応答して前記センサによって作られる前記信号に基づいて、前記プロセッサによって自動的に認識されるエンコーデッドパターンとして適用されることを特徴とする請求項３３に記載のシステム。
【請求項４０】
前記第２マーキングは、前記第２表面から受け取られる前記非可視波長帯の光に応答して前記センサによって作られる前記信号に基づいて、前記プロセッサによって自動的に認識されるエンコーデッドパターンとして適用されることを特徴とする請求項３４に記載のシステム。
【請求項４１】
前記機械命令は、さらに、前記プロセッサに、
（ａ）前記第１表面から前記センサによって受け取られた前記非可視波長帯の光に応答して前記センサによって作られた前記信号に基づいて前記物体の向きを判定させ、
（ｂ）前記物体を通過する可視光を前記イメージソースに作らせるソフトウェアアプリケーションを制御するための入力を提供するために、経時的な前記物体の向きの変化を検出させる
ことを特徴とする請求項３３に記載のシステム。
【請求項４２】
前記機械命令は、さらに、前記物体を通過する前記可視光を用いて前記ソフトウェアアプリケーションによって形成されるイメージに影響する拡大率を前記イメージソースに明白に変更させることによって、前記プロセッサに、経時的な前記物体の向きの変化に応答させ、その結果、前記物体の向きが変更されるときに前記物体の前記向きが変更された方向に依存して前記イメージが相対サイズを増やされるか減らされるようにすることを特徴とする請求項４１に記載のシステム。
【請求項４３】
前記機械命令は、さらに、経時的な前記物体の向きの変化に対応する形で、前記ソフトウェアアプリケーションによって決定される前記物体を通過する前記可視光によって形成されるイメージの向きを前記イメージソースに変更させることを前記プロセッサに行わせ、その結果、前記物体の向きが変更された時に前記可視光を用いて形成される前記イメージが前記物体と共に動くように見えるようにすることを特徴とする請求項４１に記載のシステム。
【請求項４４】
前記機械命令は、さらに、前記物体の位置の変化に対応する形で、前記ソフトウェアアプリケーションによって決定される前記物体を通過する前記可視光を使用して前記イメージソースによって形成される前記イメージの位置を前記イメージソースに変更させることを前記プロセッサに行わせ、その結果、前記物体の位置が変更されたときに、前記可視光を用いて形成される前記イメージが前記物体と共に移動するように見えるようにすることを特徴とする請求項４３に記載のシステム。
【請求項４５】
前記機械命令は、さらに、前記プロセッサに、複数の他の物体のそれぞれについて請求項３３に記載の機能（ｅ）（ｉ）から（ｅ）（ｉｉ）を繰り返させ、前記ソフトウェアアプリケーションに従って前記物体を通過する前記可視光を用いて前記イメージソースによって形成される前記イメージは、複数の部分に分割されたより大きいイメージの部分を含み、前記プロセッサは、さらに、対応する他の物体を通過する可視光を用いて前記より大きいイメージの複数の部分のそれぞれを前記イメージソースに作らせ、その結果、前記イメージの前記複数の部分が、互いに隣接して正しく組み立てられた場合に、前記より大きいイメージを正しく提示するジグソーパズルのピースに見えるようにすることを特徴とする請求項４４に記載のシステム。
【請求項４６】
前記機械命令は、さらに、前記物体がその上に位置する少なくとも１つの単語と異なる言語への前記少なくとも１つの単語の翻訳に対応するテキストを、前記物体を通過する前記可視光を用いて前記イメージソースに作らせることを前記プロセッサに行わせることを特徴とする請求項３３に記載のシステム。
【請求項４７】
前記機械命令は、さらに、
（ａ）前記プロセッサによって実行されるソフトウェアプログラムによって制御される前記イメージソースからの可視光を用いて第１イメージを表示することと、
（ｂ）前記第１イメージの上に前記物体を置くことを可能にすることと、
（ｃ）前記物体を通過する前記イメージソースからの可視光を用いて第２イメージを表示することであって、前記第２イメージは、前記第１イメージに関係するが前記第１イメージと異なる、表示することと
を前記イメージソースに行わせることを前記プロセッサに行わせることを特徴とする請求項３３に記載のシステム。
【請求項４８】
前記第１イメージは、写真を含み、前記第２イメージは、変更が適用されている前記写真を含み、前記機械命令は、さらに、前記プロセッサに、前記第２イメージとして前記物体を通して可視である前記写真に適用される前記変更を調整することによって、前記センサからの前記信号によって示される前記物体の向きの変化に応答させることを特徴とする請求項４７に記載のシステム。
【請求項４９】
前記第１イメージは、第１の外見を有するエンティティを表し、前記第２イメージは、前記第１イメージ内の前記エンティティの何らかの特徴が前記第２イメージ内で変更されているので異なる外見を有する前記エンティティを表すことを特徴とする請求項４７に記載のシステム。
【請求項５０】
前記第２イメージは、前記エンティティの異なる深さ、異なる層、およびサブシステムのうちの１つを表すことを特徴とする請求項４９に記載のシステム。
【請求項５１】
前記機械命令は、さらに、前記プロセッサに、前記特徴の変更を制御するためにユーザが前記物体を動かすことを可能にさせることを特徴とする請求項４８に記載のシステム。
【請求項５２】
物体が動かされるときにイメージの部分が前記物体と共に動くようにするために、それを通して前記イメージの前記部分が可視光を使用して透過される、可視光に対して一様に光学的に透明な前記物体を備えるシステムであって、
（ａ）前記物体を照らす非可視光のソースと、
（ｂ）可視光を使用してイメージを作るイメージソースと、
（ｃ）前記物体から受け取られた非可視光に応答して信号を作るセンサと、
（ｄ）機械命令が保存されるメモリと、
（ｅ）前記イメージソース、前記センサ、および前記メモリに結合されたプロセッサであって、
（ｉ）前記センサを用いて、前記センサによって作られる前記信号で、前記物体のそれぞれに適用される別個のマーキングに応答する機能であって、前記マーキングは、実質的に可視光を透過させるが、前記非可視光ソースからの非可視波長帯の光に
（Ａ）前記非可視波長帯の光を反射すること、および
（Ｂ）前記非可視波長帯の光を吸収すること
のうちの１つによって影響する材料を含む、応答する機能と、
（ｉｉ）前記物体からの前記非可視波長帯の光を受け取った前記センサによって作られた前記信号に応答して、各物体の位置および向きを識別し、検出する機能と、
（ｉｉｉ）前記イメージソースに、可視光として前記イメージの前記部分を前記物体を通して透過させ、その結果、前記イメージの各部分が、前記イメージの前記部分がそれを通して可視である前記物体に関連し、その結果、前記物体が正しいレイアウトで組み立てられた時に、前記イメージが、そのように組み立てられた前記物体を通して可視の前記イメージの前記部分を一括して見ることによって明らかに明白になるようにする機能であって、前記物体は、絵を表示するために正しく組み立てられたジグソーパズルのピースに似た形で前記イメージを表す、機能と
を含む複数の機能を実行するために前記機械命令を実行するプロセッサと
を備えることを特徴とするシステム。
【請求項５３】
前記機械命令は、さらに、前記プロセッサに、前記イメージを選択的に変更することを可能にするソフトウェアを実行させ、その結果、前記イメージソースによって作られる異なるイメージの部分が前記物体を通して明白になるようにすることを特徴とする請求項５２に記載のシステム。
【請求項５４】
前記機械命令は、さらに、前記プロセッサに、まず前記物体の間で前記イメージの前記部分をランダムに分配させ、その結果、前記イメージの前記部分を見ることから前記イメージがすぐには明白にならないようにすることを特徴とする請求項５２に記載のシステム。
【請求項５５】
前記機械命令は、さらに、前記プロセッサに、前記イメージの前記部分に関連する第１マーキングおよび前記第１マーキングに関連する前記イメージの前記部分の鏡像版に関連する第２マーキングを含む、前記物体のそれぞれに適用される２つの異なる別個のマーキングの１つを検出させ、その結果、
（ａ）前記物体のすべては、前記イメージソースによって作られる前記イメージを明瞭に明白にすることを可能にするために、前記第１マーキングが、前記センサによって受け取られる前記非可視光を供給する向きにされなければならず、またはその代わりに、
（ｂ）前記物体のすべては、前記イメージソースによって作られる前記イメージの鏡像版を明瞭に明白にすることを可能にするために、適用された前記第２マーキングが、前記センサによって受け取られる前記非可視光を供給する向きにされなければならない
ことを特徴とする請求項５２に記載のシステム。
【請求項５６】
前記機械命令は、さらに、前記物体に関連する部分に分割され、前記物体のそれぞれを通して可視であるイメージのシーケンスをイメージソースに作らせることを前記プロセッサに行わせ、その結果、前記物体が正しく組み立てられた時に、イメージの前記シーケンスが、前記物体を通過する前記イメージソースからの前記可視光からすぐに明白になることを特徴とする請求項５２に記載のシステム。
【請求項５７】
イメージの前記シーケンスは、ビデオを含むことを特徴とする請求項５６に記載のシステム。
【請求項５８】
前記機械命令は、さらに、前記プロセッサに、ユーザが
（ａ）前記イメージについてユーザによって提供される個人のイメージと、
（ｂ）イメージの前記シーケンスについてユーザによって提供される個人のイメージのシーケンスと
のうちの１つを使用することを可能にさせることを特徴とする請求項５６に記載のシステム。
【請求項１】
事前定義の機能を実行するための入力を提供する物体であって、前記物体を含む、可視光に対して光学的に透明な材料の少なくとも１つの表面に適用されたエンコーデッドマーキングを含み、前記エンコーデッドマーキングは、前記物体、コンピューティングシステムに結合されたディスプレイの表面でのその位置、および前記ディスプレイの表面での前記物体の向きを識別するように働き、前記エンコーデッドマーキングは、可視光に影響せずに前記可視光を実質的に透過させるが、前記物体が非可視光の変更に応答してすぐに識別されるように前記非可視光を変更する材料を含み、前記物体の識別は、前記物体を通過する可視光を用いて形成される仮想エンティティまたはイメージに影響するコンピューティングシステムによって前記物体に関連する機能を実施させる、前記コンピューティングシステムへの入力を提供することを特徴とする物体。
【請求項２】
異なるエンコーデッドマーキングは、前記物体の異なる表面に適用され、前記異なるエンコーデッドマーキングは、前記コンピューティングシステムに異なる入力を提供するように働き、前記物体に関連する異なる事前定義の機能を前記コンピューティングシステムによって実施させることを特徴とする請求項１に記載の物体。
【請求項３】
前記物体の操作は、前記物体に関連する前記機能に関係するパラメータを変更し、前記物体を通過する前記可視光を用いて形成される前記仮想エンティティまたはイメージに影響することを特徴とする請求項１に記載の物体。
【請求項４】
可視光に対して一様に光学的に透明の少なくとも１つの実質的に中央の部分を有する物体を、前記物体を通る可視光透過に実質的に影響せずに前記物体から受け取られる非可視光に応答して光学的に認識できるようにする方法であって、
（ａ）前記物体の第１表面に第１マーキングを適用するステップであって、前記第１マーキングは、可視光を実質的に透過させるが、
（ｉ）非可視波長帯の光を反射することによって、および
（ｉｉ）前記非可視波長帯の前記光を吸収することによって
のうちの１つによって前記非可視波長帯の光に影響する材料を含む、ステップと、
（ｂ）前記第１マーキングが適用された、物体の前記第１表面上に、前記非可視波長帯の光を向けるステップと、
（ｃ）前記物体から受け取られた前記非可視波長帯の光に応答して、前記物体の少なくとも一部のイメージを検出するステップであって、前記イメージは、前記物体の認識を可能にする、ステップと
備えることを特徴とする方法。
【請求項５】
前記物体の第２表面に第２マーキングを適用するステップをさらに備え、前記第２マーキングは、実質的に前記第１マーキングと同一の材料を含み、前記第１表面は、
（ａ）前記第１マーキングおよび前記第２マーキングを含む前記材料が前記非可視波長帯の前記光を吸収する場合に、可視光を実質的に透過させるが、前記非可視波長帯の光を反射する反射材料、または
（ｂ）前記第１マーキングおよび前記第２マーキングを含む前記材料が前記非可視波長帯の前記光を反射する場合に、可視光を実質的に透過させるが、前記非可視波長帯の光を吸収する吸収材料
によって前記第２表面から分離されていることを特徴とする請求項４に記載の方法。
【請求項６】
前記第１マーキングおよび前記第２マーキングの内の１つからの前記非可視波長帯の光を検出することによって前記物体の状態を判定するステップをさらに備え、前記第１マーキングおよび前記第２マーキングのそれぞれは、前記物体の異なる状態を示すことを特徴とする請求項５に記載の方法。
【請求項７】
前記物体を通過する可視光を作るソフトウェアアプリケーションを制御するために、判定された前記物体の前記状態を使用するステップをさらに備えることを特徴とする請求項６に記載の方法。
【請求項８】
（ａ）前記第１表面および前記第２表面の内の１つからの前記非可視波長帯の前記光を用いて作られた前記イメージに基づいて、経時的な前記物体の向きの変化を判定するステップと、
（ｂ）経時的な前記物体の前記向きの前記変化の関数として、前記物体を通過する可視光を作るソフトウェアアプリケーションを制御するステップと
をさらに備えることを特徴とする請求項５に記載の方法。
【請求項９】
前記第１マーキングからの前記非可視光に基づく前記物体の向きの変化は、前記第２マーキングからの前記非可視光に基づく前記物体の向きの変化と異なる制御機能を前記ソフトウェアアプリケーションに適用させることを特徴とする請求項８に記載の方法。
【請求項１０】
前記第１マーキングは、前記非可視波長帯の前記光が前記第１表面から受け取られるときに前記物体の少なくとも一部のイメージで自動的に認識されるエンコーデッドパターンとして適用されることを特徴とする請求項４に記載の方法。
【請求項１１】
前記第２マーキングは、前記非可視波長帯の前記光が前記第２表面から受け取られるときに前記物体の少なくとも一部のイメージで自動的に認識されるエンコーデッドパターンとして適用されることを特徴とする請求項５に記載の方法。
【請求項１２】
（ａ）前記第１表面から受け取られる前記非可視波長帯の前記光に基づいて、前記物体の向きを判定するステップと、
（ｂ）前記物体を通過する可視光を作るソフトウェアアプリケーションを制御するための入力を提供するために、経時的な前記物体の前記向きの変化を検出するステップと
をさらに備えることを特徴とする請求項４に記載の方法。
【請求項１３】
経時的な前記物体の向きの変化は、前記可視光を用いて前記ソフトウェアアプリケーションによって形成されるイメージに影響する拡大率を変更するように見え、その結果、前記イメージは、前記物体の向きが変化するときに、前記物体の向きが変更された方向に応じて、相対サイズを増やされるか減らされることを特徴とする請求項１２に記載の方法。
【請求項１４】
経時的な前記物体の向きの変化に対応する形で、前記物体を通過する前記可視光によって前記ソフトウェアアプリケーションによって形成されるイメージの向きを変更し、その結果、前記可視光を用いて形成される前記イメージが、前記物体の向きが変更されるときに前記物体と共に動いて見えるようにするステップをさらに備えることを特徴とする請求項１２に記載の方法。
【請求項１５】
前記物体の位置の変化に対応する形で、前記物体を通過する前記可視光によって前記ソフトウェアアプリケーションによって形成されるイメージの位置を変更し、その結果、前記可視光を用いて形成される前記イメージが、前記物体の位置が変更されたときに前記物体と共に移動して見えるようにするステップをさらに備えることを特徴とする請求項１４に記載の方法。
【請求項１６】
前記物体に似た複数の他の物体のそれぞれについて請求項４に記載のステップ（ａ）から（ｃ）を繰り返すステップであって、前記複数の物体のそれぞれを通過した前記可視光を用いて前記ソフトウェアアプリケーションによって形成される前記イメージは、複数の部分に分割されたより大きいイメージの一部を含む、ステップをさらに備え、前記イメージの前記複数の部分が、互いに隣接して正しく組み立てられた場合により大きいイメージを正しく表すジグソーパズルのピースに見えるようにするために、前記より大きいイメージの複数の部分のそれぞれを対応する物体を通して可視にするステップをさらに備えることを特徴とする請求項１５に記載の方法。
【請求項１７】
ソフトウェアプログラムは、前記物体を通過する可視光に、前記物体がその上に位置決めされた少なくとも１つの単語と異なる言語への前記少なくとも１つの単語の翻訳に対応するテキストを形成させることを特徴とする請求項４に記載の方法。
【請求項１８】
（ａ）可視光を用いてソフトウェアプログラムに従って作られた第１イメージを表示するステップと、
（ｂ）前記物体を前記第１イメージの上に置くことを可能にするステップと、
（ｃ）前記第１イメージに関係するが前記第１イメージと異なる第２イメージを形成するために、前記物体を通して可視光を透過させるステップと
をさらに備えることを特徴とする請求項４に記載の方法。
【請求項１９】
前記物体に似た複数の物体を積み重ねるステップをさらに備え、複数の物体のそれぞれは、前記第１イメージの変更に関する異なる機能を提供することに関連し、その結果、前記複数の物体のそれぞれによって提供される前記機能の複合されたものが前記第２イメージで明白になることを特徴とする請求項１８に記載の方法。
【請求項２０】
前記第１イメージは、写真を含み、前記第２イメージは、変更が適用された前記写真を含み、前記第２イメージとして前記物体を通して可視の前記写真に適用される前記変更を調整するために前記ユーザが前記物体の向きを変更することを可能にするステップをさらに備えることを特徴とする請求項１８に記載の方法。
【請求項２１】
前記第１イメージは、第１の外見を有するエンティティを表し、前記第２イメージは、前記第１イメージ内の前記エンティティのある特徴が前記第２イメージで変更されているので異なる外見を有する前記エンティティを表すことを特徴とする請求項１８に記載の方法。
【請求項２２】
前記第２イメージは、前記エンティティの異なる深さ、異なる層、およびサブシステムのうちの１つを表すことを特徴とする請求項２１に記載の方法。
【請求項２３】
前記特徴の前記変更を制御するためにユーザが前記物体を移動することを可能にするステップをさらに備えることを特徴とする請求項２１に記載の方法。
【請求項２４】
請求項４に記載のステップを実行する機械実行可能命令を有することを特徴とする記憶媒体。
【請求項２５】
可視光に対して一様に光学的に透明であり、イメージの複数の部分が可視光を使用して透過される、複数の物体を使用し、その結果、前記物体が移動される時に前記イメージの前記部分が前記物体と共に移動するようにする方法であって、
（ａ）前記物体のそれぞれに別個のマーキングを適用するステップであって、前記マーキングは、可視光を実質的に透過させるが、
（ｉ）非可視波長帯の光を反射すること、および、
（ｉｉ）前記非可視波長帯の前記光を吸収すること
のうちの１つによって前記非可視波長帯の光に影響する材料を含む、ステップと、
（ｂ）前記マーキングが適用された前記物体に、前記非可視波長帯の光を向けるステップと、
（ｃ）前記物体から受け取られる前記非可視波長帯の光に応答して、各物体の位置および向きを識別し、検出するステップと、
（ｄ）前記イメージの前記部分を可視光として前記物体を通して透過させ、その結果、前記イメージの各部分が、前記イメージの前記部分がそれを通して可視である前記物体に関連付けられるようにするステップと、
（ｅ）前記物体を正しいレイアウトで組み立てることを可能にし、その結果、このようにして組み立てられた前記物体を通して可視である前記イメージの前記複数の部分を一括して見ることによって前記イメージが明らかに明白になるようにするステップであって、前記物体は、絵を表示するために正しく組み立てられたジグソーパズルのピースに似た形で前記イメージを表す、ステップと
を備えることを特徴とする方法。
【請求項２６】
前記イメージを、ソフトウェアを使用して選択的に変更することを可能にし、その結果、異なるイメージの部分が前記物体を通して明白になるようにするステップをさらに備えることを特徴とする請求項２５に記載の方法。
【請求項２７】
最初に前記物体の間で前記イメージの前記複数の部分をランダムに分配し、その結果、前記イメージが、前記イメージの前記複数の部分を見ることからすぐに明白にならないようにするステップをさらに備えることを特徴とする請求項２５に記載の方法。
【請求項２８】
前記別個のマーキングが適用された前記表面と対抗する、前記物体のそれぞれの表面に異なる別個のマーキングを適用するステップをさらに含み、各物体に適用される各異なる別個のマーキングは、前記物体に適用された前記別個のマーキングに関連する前記イメージの前記部分に対応する鏡像部分に関連し、その結果、
（ａ）すべての物体は、前記イメージを明瞭に明白にすることを可能にするために、適用された前記別個のマーキングを有する前記表面が、受け取られる前記非可視光を供給する向きにされなければならず、またはその代わりに、
（ｂ）すべての物体は、前記イメージの鏡像版を明瞭に明白にすることを可能にするために、適用された前記異なる別個のマーキングを有する前記対向する表面が、受け取られる前記非可視光を供給する向きにされなければならない
ことを特徴とする請求項２５に記載の方法。
【請求項２９】
前記物体が正しく組み立てられた時に、イメージのシーケンスが前記物体を通過する前記可視光からすぐに明白になるように、イメージの前記シーケンスを前記物体のそれぞれを通して可視の部分に分割させるステップをさらに備えることを特徴とする請求項２５に記載の方法。
【請求項３０】
イメージの前記シーケンスは、ビデオを含むことを特徴とする請求項２９に記載の方法。
【請求項３１】
ユーザが、
（ａ）前記イメージについて前記ユーザによって提供される個人のイメージと、
（ｂ）イメージの前記シーケンスについて前記ユーザによって提供される個人のイメージのシーケンスと
のうちの１つを使用することを可能にするステップをさらに備えることを特徴とする請求項２９に記載の方法。
【請求項３２】
請求項２５に記載のステップを実行する機械実行可能命令を有することを特徴とする記憶媒体。
【請求項３３】
可視光に対して一様に光学的に透明の物体が、前記物体を通した可視光透過に実質的に影響せずに、前記物体から受け取られる非可視光に応答して光学的に認識される、システムであって、
（ａ）物体を照らす非可視光のソースと、
（ｂ）可視光を使用してイメージを作るイメージソースと、
（ｃ）前記物体から受け取られた非可視光に応答して信号を作るセンサと、
（ｄ）機械命令が保存されるメモリと、
（ｅ）前記イメージソース、前記センサ、および前記メモリに結合されたプロセッサであって、
（ｉ）前記センサを用いて前記物体から受け取られた光を検出し、前記信号を作る機能であって、前記物体は、前記物体の第１表面に適用された第１マーキングを有し、前記第１マーキングは、可視光を実質的に透過させるが、
（Ａ）非可視波長帯の光を反射すること、および
（Ｂ）非可視波長帯の光を吸収すること のうちの１つによって非可視光の前記ソースからの非可視光に影響する材料を含む、機能と、
（ｉｉ）前記センサによって作られた前記信号に応答して前記物体を識別する機能と
を含む複数の機能を実行するために前記機械命令を実行する、プロセッサと
を備えることを特徴とするシステム。
【請求項３４】
第２マーキングは、前記物体の第２表面に適用され、前記第２マーキングは、前記第１マーキングと実質的に同一の材料を含み、前記第１表面は、
（ａ）前記第１マーキングおよび前記第２マーキングを含む前記材料が前記非可視波長帯の光を吸収する場合に、可視光を実質的に透過させるが、前記非可視波長帯の光を反射する反射材料、または
（ｂ）前記第１マーキングおよび前記第２マーキングを含む前記材料が前記非可視波長帯の光を反射する場合に、可視光を実質的に透過させるが、前記非可視波長帯の光を吸収する吸収材料
によって前記第２表面から分離されていることを特徴とする請求項３３に記載のシステム。
【請求項３５】
前記機械命令は、さらに、前記プロセッサに、前記第１マーキングおよび前記第２マーキングのうちの１つから前記センサによって受け取られた前記非可視波長帯の光を検出することによって前記物体の状態を判定させ、前記第１マーキングおよび前記第２マーキングのそれぞれは、前記物体の異なる状態を示すことを特徴とする請求項３４に記載のシステム。
【請求項３６】
前記機械命令は、さらに、前記プロセッサに、前記物体を通過する前記可視光を使用し前記イメージソースを用いて前記イメージを作る、実行中のソフトウェアアプリケーションを制御させることを特徴とする請求項３５に記載のシステム。
【請求項３７】
前記機械命令は、さらに、前記プロセッサに、
（ａ）前記第１表面および前記第２表面のうちの１つから前記センサによって受け取られた前記非可視波長帯の光に応答して前記センサによって作られた前記信号に基づいて、経時的な前記物体の向きの変化を判定させ、
（ｂ）経時的な前記物体の前記向きの変化の関数として、前記物体を通過する前記可視光を使用して、前記イメージソースを用いて前記イメージを作る、前記プロセッサによって実行されるソフトウェアアプリケーションを制御させる
ことを特徴とする請求項３４に記載のシステム。
【請求項３８】
前記第１マーキングから前記センサによって受け取られた前記非可視光に基づく前記物体の向きの変化は、前記第２マーキングから前記センサによって受け取られた前記非可視光に基づく前記物体の向きの変化と異なる制御機能を前記プロセッサによって前記ソフトウェアアプリケーションに適用させることを特徴とする請求項３７に記載のシステム。
【請求項３９】
前記第１マーキングは、前記第１表面から受け取られる前記非可視波長帯の光に応答して前記センサによって作られる前記信号に基づいて、前記プロセッサによって自動的に認識されるエンコーデッドパターンとして適用されることを特徴とする請求項３３に記載のシステム。
【請求項４０】
前記第２マーキングは、前記第２表面から受け取られる前記非可視波長帯の光に応答して前記センサによって作られる前記信号に基づいて、前記プロセッサによって自動的に認識されるエンコーデッドパターンとして適用されることを特徴とする請求項３４に記載のシステム。
【請求項４１】
前記機械命令は、さらに、前記プロセッサに、
（ａ）前記第１表面から前記センサによって受け取られた前記非可視波長帯の光に応答して前記センサによって作られた前記信号に基づいて前記物体の向きを判定させ、
（ｂ）前記物体を通過する可視光を前記イメージソースに作らせるソフトウェアアプリケーションを制御するための入力を提供するために、経時的な前記物体の向きの変化を検出させる
ことを特徴とする請求項３３に記載のシステム。
【請求項４２】
前記機械命令は、さらに、前記物体を通過する前記可視光を用いて前記ソフトウェアアプリケーションによって形成されるイメージに影響する拡大率を前記イメージソースに明白に変更させることによって、前記プロセッサに、経時的な前記物体の向きの変化に応答させ、その結果、前記物体の向きが変更されるときに前記物体の前記向きが変更された方向に依存して前記イメージが相対サイズを増やされるか減らされるようにすることを特徴とする請求項４１に記載のシステム。
【請求項４３】
前記機械命令は、さらに、経時的な前記物体の向きの変化に対応する形で、前記ソフトウェアアプリケーションによって決定される前記物体を通過する前記可視光によって形成されるイメージの向きを前記イメージソースに変更させることを前記プロセッサに行わせ、その結果、前記物体の向きが変更された時に前記可視光を用いて形成される前記イメージが前記物体と共に動くように見えるようにすることを特徴とする請求項４１に記載のシステム。
【請求項４４】
前記機械命令は、さらに、前記物体の位置の変化に対応する形で、前記ソフトウェアアプリケーションによって決定される前記物体を通過する前記可視光を使用して前記イメージソースによって形成される前記イメージの位置を前記イメージソースに変更させることを前記プロセッサに行わせ、その結果、前記物体の位置が変更されたときに、前記可視光を用いて形成される前記イメージが前記物体と共に移動するように見えるようにすることを特徴とする請求項４３に記載のシステム。
【請求項４５】
前記機械命令は、さらに、前記プロセッサに、複数の他の物体のそれぞれについて請求項３３に記載の機能（ｅ）（ｉ）から（ｅ）（ｉｉ）を繰り返させ、前記ソフトウェアアプリケーションに従って前記物体を通過する前記可視光を用いて前記イメージソースによって形成される前記イメージは、複数の部分に分割されたより大きいイメージの部分を含み、前記プロセッサは、さらに、対応する他の物体を通過する可視光を用いて前記より大きいイメージの複数の部分のそれぞれを前記イメージソースに作らせ、その結果、前記イメージの前記複数の部分が、互いに隣接して正しく組み立てられた場合に、前記より大きいイメージを正しく提示するジグソーパズルのピースに見えるようにすることを特徴とする請求項４４に記載のシステム。
【請求項４６】
前記機械命令は、さらに、前記物体がその上に位置する少なくとも１つの単語と異なる言語への前記少なくとも１つの単語の翻訳に対応するテキストを、前記物体を通過する前記可視光を用いて前記イメージソースに作らせることを前記プロセッサに行わせることを特徴とする請求項３３に記載のシステム。
【請求項４７】
前記機械命令は、さらに、
（ａ）前記プロセッサによって実行されるソフトウェアプログラムによって制御される前記イメージソースからの可視光を用いて第１イメージを表示することと、
（ｂ）前記第１イメージの上に前記物体を置くことを可能にすることと、
（ｃ）前記物体を通過する前記イメージソースからの可視光を用いて第２イメージを表示することであって、前記第２イメージは、前記第１イメージに関係するが前記第１イメージと異なる、表示することと
を前記イメージソースに行わせることを前記プロセッサに行わせることを特徴とする請求項３３に記載のシステム。
【請求項４８】
前記第１イメージは、写真を含み、前記第２イメージは、変更が適用されている前記写真を含み、前記機械命令は、さらに、前記プロセッサに、前記第２イメージとして前記物体を通して可視である前記写真に適用される前記変更を調整することによって、前記センサからの前記信号によって示される前記物体の向きの変化に応答させることを特徴とする請求項４７に記載のシステム。
【請求項４９】
前記第１イメージは、第１の外見を有するエンティティを表し、前記第２イメージは、前記第１イメージ内の前記エンティティの何らかの特徴が前記第２イメージ内で変更されているので異なる外見を有する前記エンティティを表すことを特徴とする請求項４７に記載のシステム。
【請求項５０】
前記第２イメージは、前記エンティティの異なる深さ、異なる層、およびサブシステムのうちの１つを表すことを特徴とする請求項４９に記載のシステム。
【請求項５１】
前記機械命令は、さらに、前記プロセッサに、前記特徴の変更を制御するためにユーザが前記物体を動かすことを可能にさせることを特徴とする請求項４８に記載のシステム。
【請求項５２】
物体が動かされるときにイメージの部分が前記物体と共に動くようにするために、それを通して前記イメージの前記部分が可視光を使用して透過される、可視光に対して一様に光学的に透明な前記物体を備えるシステムであって、
（ａ）前記物体を照らす非可視光のソースと、
（ｂ）可視光を使用してイメージを作るイメージソースと、
（ｃ）前記物体から受け取られた非可視光に応答して信号を作るセンサと、
（ｄ）機械命令が保存されるメモリと、
（ｅ）前記イメージソース、前記センサ、および前記メモリに結合されたプロセッサであって、
（ｉ）前記センサを用いて、前記センサによって作られる前記信号で、前記物体のそれぞれに適用される別個のマーキングに応答する機能であって、前記マーキングは、実質的に可視光を透過させるが、前記非可視光ソースからの非可視波長帯の光に
（Ａ）前記非可視波長帯の光を反射すること、および
（Ｂ）前記非可視波長帯の光を吸収すること
のうちの１つによって影響する材料を含む、応答する機能と、
（ｉｉ）前記物体からの前記非可視波長帯の光を受け取った前記センサによって作られた前記信号に応答して、各物体の位置および向きを識別し、検出する機能と、
（ｉｉｉ）前記イメージソースに、可視光として前記イメージの前記部分を前記物体を通して透過させ、その結果、前記イメージの各部分が、前記イメージの前記部分がそれを通して可視である前記物体に関連し、その結果、前記物体が正しいレイアウトで組み立てられた時に、前記イメージが、そのように組み立てられた前記物体を通して可視の前記イメージの前記部分を一括して見ることによって明らかに明白になるようにする機能であって、前記物体は、絵を表示するために正しく組み立てられたジグソーパズルのピースに似た形で前記イメージを表す、機能と
を含む複数の機能を実行するために前記機械命令を実行するプロセッサと
を備えることを特徴とするシステム。
【請求項５３】
前記機械命令は、さらに、前記プロセッサに、前記イメージを選択的に変更することを可能にするソフトウェアを実行させ、その結果、前記イメージソースによって作られる異なるイメージの部分が前記物体を通して明白になるようにすることを特徴とする請求項５２に記載のシステム。
【請求項５４】
前記機械命令は、さらに、前記プロセッサに、まず前記物体の間で前記イメージの前記部分をランダムに分配させ、その結果、前記イメージの前記部分を見ることから前記イメージがすぐには明白にならないようにすることを特徴とする請求項５２に記載のシステム。
【請求項５５】
前記機械命令は、さらに、前記プロセッサに、前記イメージの前記部分に関連する第１マーキングおよび前記第１マーキングに関連する前記イメージの前記部分の鏡像版に関連する第２マーキングを含む、前記物体のそれぞれに適用される２つの異なる別個のマーキングの１つを検出させ、その結果、
（ａ）前記物体のすべては、前記イメージソースによって作られる前記イメージを明瞭に明白にすることを可能にするために、前記第１マーキングが、前記センサによって受け取られる前記非可視光を供給する向きにされなければならず、またはその代わりに、
（ｂ）前記物体のすべては、前記イメージソースによって作られる前記イメージの鏡像版を明瞭に明白にすることを可能にするために、適用された前記第２マーキングが、前記センサによって受け取られる前記非可視光を供給する向きにされなければならない
ことを特徴とする請求項５２に記載のシステム。
【請求項５６】
前記機械命令は、さらに、前記物体に関連する部分に分割され、前記物体のそれぞれを通して可視であるイメージのシーケンスをイメージソースに作らせることを前記プロセッサに行わせ、その結果、前記物体が正しく組み立てられた時に、イメージの前記シーケンスが、前記物体を通過する前記イメージソースからの前記可視光からすぐに明白になることを特徴とする請求項５２に記載のシステム。
【請求項５７】
イメージの前記シーケンスは、ビデオを含むことを特徴とする請求項５６に記載のシステム。
【請求項５８】
前記機械命令は、さらに、前記プロセッサに、ユーザが
（ａ）前記イメージについてユーザによって提供される個人のイメージと、
（ｂ）イメージの前記シーケンスについてユーザによって提供される個人のイメージのシーケンスと
のうちの１つを使用することを可能にさせることを特徴とする請求項５６に記載のシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６Ａ】
【図１６Ｂ】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６Ａ】
【図１６Ｂ】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００６−１２０１２７（Ｐ２００６−１２０１２７Ａ）
【公開日】平成１８年５月１１日（２００６．５．１１）
【国際特許分類】
【出願番号】特願２００５−２７０８３０（Ｐ２００５−２７０８３０）
【出願日】平成１７年９月１６日（２００５．９．１６）
【出願人】（５０００４６４３８）マイクロソフト コーポレーション (3,165)
【Ｆターム（参考）】
【公開日】平成１８年５月１１日（２００６．５．１１）
【国際特許分類】
【出願日】平成１７年９月１６日（２００５．９．１６）
【出願人】（５０００４６４３８）マイクロソフト コーポレーション (3,165)
【Ｆターム（参考）】
[ Back to top ]