内蔵型インタラクティブ・ビデオ・ディスプレイ・システム
内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。フラットパネル・ディスプレイ・スクリーンは、フラットパネル・ディスプレイ・スクリーンの前側のユーザへの提示のために、視覚イメージを表示する。第１のイルミネータは、可視光で前記ディスプレイ・スクリーンを照らす。第２のイルミネータは、対象を照らす。カメラは、照らされた対象と前記視覚イメージとの相互作用を検知し、前記カメラが、前記スクリーンを通して前記対象を見ることができるように作動する。コンピュータシステムは、前記ディスプレイ・スクリーンに、前記相互作用に応じて前記視覚イメージを変えるように指示する。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
この出願は、２００２年５月２８日に提出され、本願の譲受人に譲渡されたＢｅｌｌによる“ＩＮＴＥＲＡＣＴＩＶＥ ＶＩＤＥＯ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭ”というタイトルの同時係属中の米国特許出願第１０／１６０，２１７号からの優先権を主張する一部継続特許出願であり、該出願は、参照により本明細書に組み込まれる。また、この出願は、２００３年９月１８日に提出され、本願の譲受人に譲渡されたＢｅｌｌによる“ＳＥＬＦ−ＣＯＮＴＡＩＮＥＤ ＩＮＴＥＲＡＣＴＩＶＥ ＶＩＤＥＯ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭ”というタイトルの同時係属中の米国仮特許出願第６０／５０４，３７５号から、２００３年１０月２４日に提出され、本願の譲受人に譲渡されたＢｅｌｌによる“ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＰＲＯＣＥＳＳＩＮＧ ＣＡＰＴＵＲＥＤ ＩＭＡＧＥ ＩＮＦＯＲＭＡＴＩＯＮ ＩＮ ＡＮ ＩＮＴＥＲＡＣＴＩＶＥ ＶＩＤＥＯ ＳＹＳＴＥＭ”というタイトルの同時係属中の米国仮特許出願第６０／５１４，０２４号から、２００３年１２月９日に提出され、本願の譲受人に譲渡されたＢｅｌｌによる“ＳＥＬＦ−ＣＯＮＴＡＩＮＥＤ ＩＮＴＥＲＡＣＴＩＶＥ ＶＩＤＥ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭ ＡＮＤ ＦＥＡＴＵＲＥＳ ＲＥＬＡＴＩＮＧ ＴＨＥＲＥＴＯ”というタイトルの同時係属中の米国仮特許出願第６０／５２８，４３９号から、および２００４年３月１８日に提出され、本願の譲受人に譲渡されたＢｅｌｌ ｅｔ ａｌ．による“ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＡＬＬＯＷＩＮＧ Ａ ＣＡＭＥＲＡ ＴＯ ＶＩＥＷ ＡＮ ＡＲＥＡ ＩＮ ＦＲＯＮＴ ＯＦ Ａ ＤＩＳＰＬＡＹ ＢＹ ＩＭＡＧＩＮＧ ＩＴ ＴＨＲＯＵＧＨ ＴＨＥ ＤＩＳＰＬＡＹ”というタイトルの同時係属中の米国仮特許出願第６０／５５４，５２０号から優先権を主張し、これら全ては参照により本明細書に組み込まれる。
【技術分野】
【０００２】
本文書は、ビジュアル電子ディスプレイの分野に関する。具体的には、ここで説明する実施形態は、内蔵型インタラクティブ・ビデオ・ディスプレイ・システムに関する。
【背景技術】
【０００３】
長年にわたって、情報は、典型的には、静的ディスプレイを用いてオーディエンスに伝達された。例えば、商品広告は、印刷広告やポスターを用いて提示された。テレビや映画の登場に伴って、情報は、動的ディスプレイ（例えば、コマーシャル）を用いて提示できるようになった。静的ディスプレイよりも魅力的ではあるが、動的ディスプレイは、典型的には、ユーザと該ディスプレイとの間の双方向性を実現できない。
【０００４】
最近になって、インタラクティブ・タッチスクリーンが、情報を平面上に表示するのに用いられてきている。例えば、イメージをタッチスクリーン上に表示することができ、また、ユーザは、該タッチスクリーンに触れて、該イメージを変えることにより、該イメージと対話することができる。しかし、該タッチスクリーン上に表示されたイメージと対話するために、該ユーザは、該タッチスクリーンに実際に触れなければならない。また、典型的には、タッチスクリーンは、どんなときにも１つの入力を受取ることしかできず、該入力の形態を識別することができない。本質的に、現在のタッチスクリーンは、一本指接触の入力を受取ることしかできない。
【０００５】
店舗販売、小売広告、プロモーション、アーケードの催し場所等の使用目的によっては、情報をユーザに対して表示するインタラクティブ・インタフェースを提供することが望ましい。この双方向性は、情報を提示する、より魅力的なインタフェース（例えば、媒体、広告等）を提供する。ちょっとの間だけでも人の注目を捉えることにより、人は、従来のディスプレイよりも、該インタラクティブ・ディスプレイに表示された情報を吸収しやすくなる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述したように、現在のインタラクティブ・ディスプレイは、典型的には、ユーザがタッチスクリーン表面に物理的に触れることを必要とする。双方向性を提供するにはタッチスクリーンとの接触を要するため、多数の潜在的なユーザは、現在のインタラクティブ・ディスプレイに興味を持たず、あるいは、該ディスプレイを敬遠する。また、一度に、１人のユーザのみがタッチスクリーンと対話することができるため、多くのユーザは、排除される。さらに、現在のタッチスクリーンは、入力の形態を識別できないため、対話に応答して表示できる情報の種類が限定されている。
【課題を解決するための手段】
【０００７】
本発明の様々な実施形態、すなわち、内蔵型インタラクティブ・ビデオ・ディスプレイ・システムを本明細書において説明する。フラットパネル・ディスプレイ・スクリーンは、該フラットパネル・ディスプレイ・スクリーンの前面のユーザへの提示のために、視覚イメージを表示する。一実施形態において、該フラットパネル・ディスプレイ・スクリーンは、液晶ディスプレイ（ＬＣＤ）パネルである。第１のイルミネータは、該フラットパネル・ディスプレイ・スクリーンを可視光で照らす。一実施形態において、該内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、該第１のイルミネータのグレアを低減する拡散スクリーンをさらに備え、より均一に該フラットパネル・ディスプレイ・スクリーンを照らす。第２のイルミネータは、対象を照らす。一実施形態において、該対象は、人であるユーザの体の一部である。一実施形態において、該第２のイルミネータは、該フラットパネル・ディスプレイ・スクリーンを通して該対象に照明を投影する。一実施形態において、該第２のイルミネータは、上記カメラに対するグレアの影響の可能性を低減するように配置されている。一実施形態において、該第２のイルミネータは、該第２のイルミネータが、該フラットパネル・ディスプレイ・スクリーンを通して照明を投影しないように、該フラットパネル・ディスプレイ・スクリーンに隣接して配置されている。一実施形態において、該内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、複数の該第２のイルミネータを備え、該第２のイルミネータは、該フラットパネル・ディスプレイ・スクリーンに隣接して、および該スクリーンの後ろに配置されている。一実施形態において、該第２のイルミネータは、該カメラの露出に合わせてストローブされる。
【０００８】
カメラは、照らし出された対象と上記視覚イメージとの相互作用を検知し、該カメラは、上記フラットパネル・ディスプレイ・スクリーンを通して該対象を見ることができるように機能する。一実施形態において、該第２のイルミネータは、赤外線照明で該対象を照らす赤外線イルミネータであり、該カメラは、赤外線照明を検知する赤外線カメラである。一実施形態において、該カメラは、該フラットパネル・ディスプレイ・スクリーンの後ろに配置されて、該スクリーンに向けられており、該カメラが、該スクリーン上及び該スクリーンの前の領域を見ることを可能にする。一実施形態において、該カメラのイメージは、該対象によって引き起こされる相互作用が、該スクリーンに隣接する該対象の物理的位置に整合するように、該視覚イメージに対して較正される。一実施形態において、該カメラ及び該第２のイルミネータは、タイムオブフライト型カメラを備える。一実施形態においては、複数のタイムオブフライト型カメラが、該ディスプレイの前の領域の完全なカバレージを実行できるように配置され、また、該スクリーンによる該タイムオブフライト型カメラへの鏡面反射を防ぐように角度が付けられている。
【０００９】
コンピュータシステムは、上記プロジェクタに、上記相互作用に応じて該視覚イメージを変えるように指示する。一実施形態において、上記カメラ、上記第１のイルミネータ、上記第２のイルミネータ及び該コンピュータシステムは、１つのエンクロージャ内に備えられており、該エンクロージャの１つの側部は、上記フラットパネル・ディスプレイ・スクリーンを備える。
【００１０】
一実施形態において、上記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、上記カメラの視野の歪みを補正するために、上記スクリーンから一定距離に配置された一連のミラーストリップをさらに備える。別の実施形態においては、該内蔵型インタラクティブ・ビデオ・ディスプレイ・ディスプレイ・システムは、該カメラの視野の歪みを補正するために、該スクリーンに隣接して配置されたフレネルレンズをさらに備える。一実施形態において、該内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、該フラットパネル・ディスプレイ・スクリーンに隣接して配置された波長ベースの拡散板をさらに備える。一実施形態において、該拡散板は、赤外光に対して実質的に透過性であり、また、可視光に対して実質的に半透過性である。別の実施形態においては、該拡散板は、レイリー散乱を伴う材料である。一実施形態において、該内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、該フラットパネル・ディスプレイ・スクリーンに隣接して配置された物理的テクスチャーを有する拡散板をさらに備え、該拡散板は、斜角で該拡散板を通過する光に対して実質的に半透過性であり、また、実質的に直角で該拡散板を通過する光に対して実質的に透過性であり、上記第１のイルミネータは、該拡散板に対して斜角で配置されている。
【００１１】
一実施形態において、上記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、上記フラットパネル・ディスプレイ・スクリーンに隣接して配置され、かつ上記第１のイルミネータからの光を散乱させる散乱偏光子をさらに備え、上記カメラは、該散乱偏光子によって散乱されない偏光の光に対して感度が良い。一実施形態において、該フラットパネル・ディスプレイ・スクリーンは液晶ディスプレイパネルである場合、該散乱偏光子は、該散乱偏光子が光を散乱させる方向に偏光された光が該液晶ディスプレイパネルを通過し、該散乱偏光子が光を散乱させない方向に偏光された光が、該液晶ディスプレイパネルによって吸収されるように、方向付けられている。別の実施形態においては、該内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、該カメラが、該散乱偏光子によって散乱される光を無視できるように、該カメラが敏感な波長で該カメラに受光された光を偏光させる直線偏光子をさらに備える。一実施形態において、該内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、実質的に半透過性から実質的に透過性に変化することができ、該第１のイルミネータが該ディスプレイを照らしているときには実質的に半透過性であり、該カメラが、該フラットパネル・ディスプレイ・スクリーンの前の対象を検知しているときには実質的に透過性である拡散材料をさらに備え、該拡散材料は、該フラットパネル・ディスプレイ・スクリーンの後ろに配置されている。
【００１２】
一実施形態において、上記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、該対象の該スクリーンからの距離に関する情報を決定するように機能する。一実施形態において、上記カメラは、ステレオカメラである。別の実施形態においては、該カメラは、タイムオブフライト型カメラである。一実施形態において、該タイムオブフライト型カメラは、該タイムオブフライト型カメラがそれ自体へ戻して反射しないように配置される。
【００１３】
一実施形態において、上記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、上記対象が上記スクリーンに隣接している場合に、タッチスクリーン機能性を提供する。一実施形態において、該内蔵型インタラクティブ・ビデオ・ディスプレイ・システムはさらに、該スクリーンの前面に隣接する透過型タッチスクリーンを備える。別の実施形態においては、該内蔵型インタラクティブ・ビデオ・ディスプレイ・システムはさらに、該スクリーンの前面に隣接する縁部が照射される透過性シートを備え、上記カメラは、該対象が、該縁部が照射される透過性シートに接触したときに生成される光を識別するように機能する。
【００１４】
別の実施形態においては、本発明は、内蔵型インタラクティブ・ビデオ・ディスプレイ・システムを用いてインタラクティブ・視覚イメージを提示する方法を提供する。視覚イメージは、スクリーン上に投影され、該視覚イメージは、該スクリーンの前面のユーザへの提示のために、該スクリーンの裏面に投影される。該スクリーンの前面近くの対象が照らされる。該対象と該視覚イメージとの相互作用が検知され、該スクリーンは、該対象を該スクリーンを通して検知できるように、光に対して少なくとも部分的に透過性である。該視覚イメージは、該相互作用に応じて変化する。
【発明を実施するための最良の形態】
【００１５】
次に、本発明の様々な実施形態、すなわち、その実施例が添付図面に示されている、第２の電子デバイスの周囲での対象の存在をモニタリングする電子デバイスについて詳細に説明する。本発明をそれらの実施形態に関して説明するが、該実施形態は、本発明をそれらの実施形態に限定しようとするものではないことは理解されよう。むしろ本発明は、添付の請求項によって定義される本発明の趣旨及び範囲内に含まれる代替例、変更例及び等価物をカバーしようとするものである。さらに、本発明に関する以下の詳細な説明においては、本発明の完全な理解を可能にするために、多数の特定の詳細が記載されている。しかし、当業者は、本発明をそれらの特定の詳細を要することなく実施することができることを認識するであろう。他の事例において、周知の方法、処理手順、コンポーネント及び回路は、本発明の態様を不必要に分かりにくくしないように、詳細に説明されていない。
【００１６】
以下の詳細な説明のいくつかの部分は、処理手順、ステップ、論理ブロック、処理、およびコンピュータメモリ上で実行することができるデータビットに関する動作の他の記号表現に関して示されている。それらの説明及び表現は、作用の内容を当業者に有効に伝えるために、データ処理技術において当業者により用いられる手段である。処理手順、コンピュータが実行するステップ、論理ブロック、プロセス等は、ここでは及び一般に、所望の結果につながるステップまたは命令からなる自己矛盾のないシーケンスであると考えられる。該ステップは、物理量の物理的処理を要するステップである。通常、必ずしもそうではないが、それらの量は、コンピュータシステムにおいて、格納する、転送する、結合する、比較するおよび他の方法で処理することが可能な電気的または磁気的信号の形をとる。それらの信号を、ビット、値、要素、記号、文字、項、数等と呼ぶことは、一般的に有利である場合があることが分かっている。
【００１７】
しかし、それらの全て及び同様の用語は、適当な物理量と関連付けられ、および、単にそれらの量に適用される便利なラベルであると考えるべきである。以下の考察から明らかなように、別に具体的に述べない限り、本発明の全体を通して、“投影する”または“検知する”または“変化する”または“照らす”または“補正する”または“なくす”等の用語を用いる考察が、電子システム（例えば、図１のインタラクティブ・ビデオ・システム１００）または該電子デバイスのレジスタやメモリ内の物理的（電子的）量として表されたデータを処理し、かつ該データを、該電子デバイスのメモリまたはレジスタあるいは他のそのような情報蓄積、伝送または表示デバイス内の物理量として同様に表された他のデータに変換する同様の電子計算デバイスの動作及びプロセスを指すことは正しく認識されよう。
【００１８】
本発明の様々な実施形態、すなわち内蔵型インタラクティブ・ビデオ・ディスプレイ・システムについて本明細書で説明する。一実施形態において、フラットパネル・ディスプレイ・スクリーンは、フラットパネル・ディスプレイ・スクリーンの前側のユーザへの提示のために、視覚イメージを表示する。第１のイルミネータは、可視光で前記ディスプレイ・スクリーンを照らす。第２のイルミネータは、対象を照らす。カメラは、照らされた対象と前記視覚イメージとの相互作用を検知し、前記カメラが、前記スクリーンを通して前記対象を見ることができるように作動する。コンピュータシステムは、前記ディスプレイ・スクリーンに、前記相互作用に応じて前記視覚イメージを変えるように指示する。
【００１９】
インタラクティブ・ビデオ・プロジェクション・システム
次に、本発明を、１つ以上の例示的な実施形態のかたちで説明する。１つの例示的な実施形態によれば、図１に示すようなインタラクティブ・ビデオ・システム１００が提供される。インタラクティブ・ビデオ・システム１００は、可視光を遮断するフィルタを備えるカメラ１１５と、カメラ１１５から見えるスクリーン１３０を照らすイルミネータ１２５と、イメージをスクリーン１３０のインタラクティブスペース上に投影するプロジェクタ１２０と、カメラ１１５のイメージを入力として受取り、ビデオイメージをプロジェクタ１２０へ出力するコンピュータ１１０とを使用する。一実施形態において、イルミネータ１２５は、赤外線イルミネータであり、カメラ１１５は、イルミネータ１２５の赤外光によって照らされたイメージを記録するように機能する赤外線カメラである。カメラ１１５及びイルミネータ１２５を、見えない光であって、赤外光に限定されない光の何らかの形態を用いて作動するように構成することができることを認識すべきである。
【００２０】
コンピュータ１１０は、カメラ１１５の入力を処理して、ピクセルごとの基準で、スクリーン１３０の前の空間のどの部分が人（または動く物体）で占められているか、及びスクリーン１３０のどの部分が背景であるかを識別する。コンピュータ１１０は、背景がらしく見えるかといういくつかの生成モデルを展開した後、該背景のそのコンセプトをカメラ１１５が現在見ているものと比較することにより、このことを実現する。代替的に、カメラ１１５の入力を処理するコンピュータ１１０のコンポーネントは、視覚システムとして公知である。この視覚システムの様々な実施形態は、２００２年５月２８日に提出され、本願の譲受人に譲渡されたＢｅｌｌによる“ＩＮＴＥＲＡＣＴＩＶＥ ＶＩＤＥＯ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭ”というタイトルの同時係属中の米国特許出願第１０／１６０，２１７号、２００３年９月１８日に提出され、本願の譲受人に譲渡されたＢｅｌｌによる“ＳＥＬＦ−ＣＯＮＴＡＩＮＥＤ ＩＮＴＥＲＡＣＴＩＶＥ ＶＩＤＥＯ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭ”というタイトルの同時係属中の米国仮特許出願第６０／５０４，３７５号、及び２００３年１０月２４日に提出され、本願の譲受人に譲渡されたＢｅｌｌによる“ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＰＲＯＣＥＳＳＩＮＧ ＣＡＰＴＵＲＥＤ ＩＭＡＧＥ ＩＮＦＯＲＭＡＴＩＯＮ ＩＮ ＡＮ ＩＮＴＥＲＡＣＴＩＶＥ ＶＩＤＥＯ ＳＹＳＴＥＭ”というタイトルの同時係属中の米国仮特許出願第６０／５１４，０２４号に記載されており、これらの明細書の全ては参照により本明細書に組み込まれる。
【００２１】
該生成される背景は、上記システムを、ライティングの変化、上記スクリーン上の擦り傷及び他の障害に対して復元力があるため、上記視覚の重要な部分である。該視覚システムの出力は、エフェクトエンジンに送り込まれる白黒マスクイメージであり、該エフェクトエンジンは、コンピュータ１１０上でも作動する。該エフェクトエンジンは、インタラクティブ・グラフィックをスクリーン１３０上に生成するアプリケーションを実行する。アーチストは、幅広い種類のエフェクトコンポーネント及びスクリプト記述を用いてエフェクトをデザインすることができ、該エフェクトは、多種多様のインタラクティブ・エクスペリエンスを生成することを可能にする。そして、該エフェクトエンジンにより生成されたイメージは、プロジェクタ１２０へ出力される。
【００２２】
インタラクティブ・ビデオ・システム１００の全ての電子コンポーネント（例えば、カメラ１１５、プロジェクタ１２０、コンピュータ１１０及びイルミネータ１２５）は、スクリーン１３０の一方側にあり、一方、ユーザとの対話は、スクリーン１３０の他方側で行われることが望ましい。一実施形態において、スクリーン１３０は、イメージをスクリーン１３０の表面に形成できるように、プロジェクタ１２０の光に対して部分的に半透過性である。しかし、スクリーン１３０は、カメラ１１５が、スクリーン１３０の反対側の対象を見ることができるように、カメラ１１５に対して部分的に透過性でもある。この明細書の全体を通して使われている透過性及び半透過性という用語は、それぞれ、少なくとも部分的に透過性および／または半透過性ということを意味するように定義されることを認識すべきである。また、この明細書の全体を通して使われている“散乱した”及び“散乱していない”という用語は、それぞれ、“実質的に散乱した”及び“実質的に散乱していない”ということを意味するように定義されることを認識すべきである。そしてまた、この明細書の全体を通して使われている“拡散した”及び“拡散していない”という用語は、それぞれ、“実質的に拡散した”及び“実質的に拡散していない”ということを意味するように定義されることを認識すべきである。
【００２３】
図１は、本発明の例示的な実施形態のコンポーネントの一つの物理的構成を示す。カメラ１１５、イルミネータ１２５、コンピュータ１１０及びプロジェクタ１２０を含む全ての感知及びディスプレイコンポーネントは、ボックス１４０の内部にある。一実施形態において、ボックス１４０の全ての側面は、１つの側面を除いて不透明である。不透明ではないこの１つの側面は、投影されたイメージを表示するスクリーン１３０である。
【００２４】
一実施形態においては、強度のレイリー散乱及び他の形態の比較的小さな散乱を有する滑らかで平坦な材料がスクリーン１３０に用いられる。光がスクリーン１３０（半透過型スクリーン）によって散乱された場合、該光は、スクリーン１３０上のイメージとして目に見えることになる。光がスクリーン１３０（透過型スクリーン）によって散乱または吸収された場合には、該光は、窓ガラスのようにスクリーン１３０をまっすぐ通過することになる。
【００２５】
レイリー散乱は、１／（波長４）に比例し、このことは、短い波長を有する光が、長い波長を有する光よりも多く散乱することを意味する。従って、８００ナノメータ（ｎｍ）より大きい波長を有する赤外光は、４００ｎｍ ７００ｎｍの波長を有する可視光ほどは散乱しない。この実施形態において、プロジェクタ１２０は可視光を用いるが、カメラ１１５は赤外光用いて、カメラ１１５がスクリーン１３０を通して見ることを可能にすると共に、プロジェクタ１２０により放射された光は、スクリーン１３０上に散乱される。一実施形態において、スクリーン１３０の材質は、良好なレイリー散乱を有するが、他の種類の最小限の散乱を有するように、滑らかでかつ好ましくは約４０ｎｍ程度まで均質である。
【００２６】
一実施形態において、上記スクリーンの材料は、ほとんどの可視光を散乱させる微細構造を有する。しかし、該構造は、高密度すぎず、または厚すぎるものではなく、そうでなければ、ほとんどの赤外光も散乱することになる。また、該材料は、多くの可視光または赤外光を吸収すべきではなく、さもなければ、このことは、該材料を不透明にして劣等なスクリーンにすることになる。強度のレイリー散乱の特性を満たす材料の一実施例は、通常の白いプラスチックのゴミ袋である。一実施形態において、スクリーン１３０は、該袋を２つのガラスシートの間に挟み込むことによって形成される。この特性を満たす材料の別の実施例は、ポリエチレンシートである。
【００２７】
イルミネータ１２５及びカメラ１１５のフィルタの波長を増加させると、（適切なスクリーン材料及び厚さを選択した状態で）増加した波長が（グレアを最小化する）可視光の散乱の量を最大化し、かつ（該スクリーン上の対象のカメラ１１５の視野を改善する）赤外光の散乱量を最小化するため、インタラクティブ・ビデオ・システム１００の性能が改善される。一実施形態においては、９５０ｎｍのＬＥＤクラスタ・イルミネータと、そのレンズの前に４０ｎｍ幅９５０ｎｍ中心帯域通過フィルタを有するモノクロームＣＣＤカメラとが使用される。
【００２８】
その性能をさらに向上させるために、いくつかの特徴をインタラクティブ・ビデオ・システム１００に付加することができる。
【００２９】
カメラ上のグレアを低減すること
イルミネータ１２５からカメラ１１５上には、反射グレアがある可能性がある。このグレアは、スクリーン１３０越しに見るカメラ１１５の能力に干渉する可能性がある。一実施形態においては、この干渉を緩和し、かつカメラ１１５の性能を改善するために、近赤外線反射防止膜が、スクリーン１３０の底部および／または上部に設けられる。また、イルミネータ１２５をスクリーン１３０に対して斜角に配設して、鏡面反射が起きることを防ぐことができる。
【００３０】
さらに、別の実施形態においては、グレアをさらに軽減するために、赤外線直線偏光フィルタが、イルミネータ１２５及びカメラ１１５の前に（カメラ１１５の偏光と直角なイルミネータ１２５の偏光の方向で）付加される。このグレアは、スクリーン１３０の底部で直接反射する光が、まだ偏光しており、一方、スクリーン１３０の外部で対象に当たる光が、その偏光を失うために起きる。
【００３１】
指向性周囲赤外線
周囲の赤外線源は、インタラクティブ・ビデオ・システム１００の視覚システムに対して問題を引き起こす可能性がある。例えば、明るい外部赤外線源が、一方向から該ディスプレイ上に照射されている場合、この赤外線源と上記スクリーンとの間の物体は、スクリーン１３０上に赤外線の影を落とすことになる。該視覚システムは、この影とスクリーン１３０上の実際の対象とを混同して、該アプリケーションを誤作動させる可能性がある。赤外線の影の問題を低減するために、いくつかの方法を用いることができる。
【００３２】
一実施形態において、イルミネータ１２５の波長は、出来る限り均一になるように選択することができる。イルミネータ１２５により最も強力に出力された波長の光のみを通過させる狭小の帯域通過フィルタを、カメラ１１５の前に付加することができる。
【００３３】
別の実施形態において、パターン化されたイルミネータの使用は、上記システムが、スクリーン１３０上の赤外線の影と実際の対象とを識別できるようにする。さらなる詳細は、参照により本明細書に組み込まれる、２００２年５月２８日に提出されたＢｅｌｌによる“ＩＮＴＥＲＡＣＴＩＶＥ ＶＩＤＥＯ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭ”というタイトルの米国特許出願第１０／１６０，２１７号を参照。
【００３４】
別の実施形態においては、イルミネータ１２５及びカメラ１１５をストロボさせることができる。発光ダイオード（ＬＥＤ）等のある照明源は、連続的につけることができる場合よりも短期間にはるかに明るくつけることができる。イルミネータ１２５が、カメラ１１５の露出中にのみつけられ、かつカメラの露出が十分短い場合、イルミネータ１２５の明るさは、周囲光と比較して大幅に増幅される。このことは、イルミネータ１２５が非常に明るくつけられる、短時間の露出中のカメラ１１５のイメージは、イルミネータ１２５が、連続的ではあるが、より低い連続使用輝度である、より長時間の露出からのイメージと比較して、かなり少ない周囲光を含むが、イルミネータ１２５からのほぼ同量の光を含むことになるため、真実である。
【００３５】
カメラ１１５とイルミネータ１２５は、同期させることができる。例えば、マイクロコントローラまたは他の電子回路は、カメラ露出同期を読取りまたは設定することができ、また、適当なときに、イルミネータ１２５に対してパルス状電力をトリガすることができる。
【００３６】
カメラの２番目の露出毎の間にのみイルミネータ１２５をつけることにより、ストロービングの性能をさらに改善することができる。従って、カメラ１１５は、イルミネータ１２５をオンにした状態の露出と、イルミネータ１２５をオフにした状態の露出を交互に行うことになる。目的は、周囲の赤外光を取り除くことであるため、コンピュータ１１０は、現在のイメージと前のイメージとの差をとることにより、周囲光を伴わないイメージを連続的に生成することができる。イルミネータ１２５は、２番目のフレームごとにのみ照らされるため、一方のイメージは、周囲赤外光のみを有することになるが、他方のイメージは、周囲赤外光に加えてイルミネータ１２５の光を有することになる。現在のイメージと前のイメージとの間のピクセルに関する差をとることにより、該周囲赤外光を相殺して、イルミネータ１２５の光のみを残すことができる。
【００３７】
インタレースＣＣＤカメラの場合においては、交互の露出の間にイルミネータ１２５を光らせることで、偶数のラインは、イルミネータ１２５がオンであり、奇数のラインは、イルミネータ１２５がオフであるカメラ出力イメージを生成する。従って、２つのイメージを比較する代わりに、コンピュータ１１０は、該奇数ラインと偶数ラインとの間の差をとって周囲光を取り去ることができる。ストロービングは、上記第１及び第２のカメラがそれぞれの露出をわずかに異なる時間に行い、イルミネータ１２５が、該２つの露出のうちの一方のときにのみオンになるように設定された２つのカメラ１１５を用いて実行することができる。代替的に、該２つのカメラは、わずかに異なる波長に対して感度良くすることができ、また、イルミネータ１２５は、第２の波長でのみ光を放射する。
【００３８】
別の実施形態において、周囲赤外光を伴わない環境においては、イルミネータ１２５は、２番目の露出ごとに、上記システムの反応時間を低減する。イルミネータ１２５がオフの間のいかなる動きも、２番目の露出中に気づかれない。しかし、このことは、２番目の露出ごとにイルミネータ１２５の一部のみをオフにすることにより、または単にイルミネータ１２５の出力を低減することにより改善することができる。その結果、イルミネータ１２５は、“途中ずっとオン”と“一時的にオン”との間を交互に行う。コンピュータ１１０が、現在の露出と前の露出との間の差をとった場合、その結果は、周囲赤外光を含まず、かつイルミネータ１２５の光の一部を含むことになる。この構成は、周囲光を伴わない環境及びある程度周囲光を伴う環境の両方において、ユーザにとってもっとも速い可能性のある反応時間を実現できるであろう。
【００３９】
プロジェクタ・グレア
上記スクリーン材料は、完全に半透過性ではないため、プロジェクタ１２０からの光の一部は、スクリーン１３０を直接通過する可能性がある。その結果として、プロジェクタ１２０は、ユーザの目にグレアを引き起こす可能性がある。一実施形態においては、イルミネータ１２５の波長をより長くし、かつより散乱を生じるスクリーン１３０を用いることにより、カメラ１１５は、それでもスクリーン１３０を通してみることができ、可視光グレアの量は低減される。
【００４０】
別の実施形態においては、直線偏光シートを、上記グレアをなくすまたは低減するのに用いることができる。図２は、直線偏光シートが、グレアをなくすまたは低減するのに用いられる一構成を示す。垂直方向偏光シート２３０および水平方向偏光シート２２０はそれぞれスクリーン２１０の真下、および真上に配置されている。投影された光が垂直方向偏光シート２３０を通過すると、その光は垂直方向に偏光される。散乱により光が偏光されるため、スクリーン２１０上の散乱光の多くは、依然としてビューワにとって可視である。しかし、（グレアを引き起こす）スクリーン２１０によって散乱されない光は、該光が垂直方向に偏光されているため、水平方向偏光シート２２０によってほとんど全てが吸収される。従って、グレアはなくなり、スクリーン２１０は、明るいままである。上記カメラが赤外光に感度が良い場合には、赤外光を偏光しない直線偏光材料を選択することができることに注意する。
【００４１】
別の実施形態において、上記プロジェクタが液晶（ＬＣＤ）プロジェクタの場合には、光は既に偏光されていることになる。いくつかのＬＣＤプロジェクタの場合、赤色、緑色及び青色光の全てが同じ方向に偏光されている。この場合、上記スクリーンの下に偏光フィルムは必要ない、いくつかのＬＣＤプロジェクタにおいては、赤色及び青色は、一方向に偏光され、緑色は、該方向から９０度ずれて偏光される。この場合、一実施形態においては、上記偏光シートが存在しており、赤―青方向から４５度および１３５度それて偏光させるべきである。別の実施形態においては、同じ方向に偏光された赤色、緑色及び青色光を得るために、色選択性偏光回転子を該プロジェクタ上または該プロジェクタ内に配設することができる。この場合、該スクリーンの前に１つのみの直線偏光子を要する。ＣｏｌｏｒＬｉｎｋ Ｃｏｒｐｏｒａｔｉｏｎにより生み出された位相差板スタック“ＣｏｌｏｒＳｅｌｅｃｔ”技術等の色選択性偏光回転子は、緑色光の偏光を９０度だけ回転させるのに用いられる。代替的に、赤色及び青色光の偏光を９０度だけ回転させて同じ効果を得ることもできる。
【００４２】
物理的構成
上記インタラクティブ・ビデオ・ディスプレイ・システムの多くの可能な物理的構成がある。１つの構成は、図１に示しかつ描写したような卓上用ディスプレイである。該インタラクティブ・ビデオ・ディスプレイ・システムは、表面上にあり、全ての電子機器を１つのボックス内に収容しており、数フィートの高さであり、該ボックスの上部に水平スクリーンを有する。しかし、該インタラクティブ・ビデオ・ディスプレイ・システムは、斜めの、垂直のまたは湾曲したディスプレイを形成するのに用いることもできる。
【００４３】
上記インタラクティブ・ビデオ・ディスプレイ・システムにより占有される物理的スペースの一部は、単にデッドスペースであり、上記スクリーン上に適度に大きなイメージを有するためには、上記プロジェクタは、該スクリーンからかなりの距離にあることが必要である。この距離は、ミラーの使用によって減らすことができ、このことは、該プロジェクタのビームの方向を変えること、およびより小さなスペースに収めることを可能にする。一実施形態において、上記カメラは、上記ボックス内の異なる箇所に設けることができ、また、該スクリーンがクリアな視野を有する限り、ミラーを通して該スクリーンを見ることができる。一実施形態において、赤外光イルミネータは、対象を該ボックスの上に照らす限り、該ボックス内のどこにでも、または、該ボックスの表面にも設けることができる。
【００４４】
図３は、上記システムのいくつかの他の可能な構成の断面図を示す。全てのパーツを容易に固定することができるので、図示のデザインは、どの方向にも回転させることができる。ディスプレイ３１０は、図１で説明したインタラクティブ・ビデオ・ディスプレイを示す。ディスプレイ３２０及び３３０は、上記プロジェクタのビームの方向を変えるミラーを用いてよりコンパクトになっているインタラクティブ・ビデオ・ディスプレイを示す。ディスプレイ３４０及び３５０は、角度をつけたカメラを用い（ディスプレイ３４０）、該プロジェクタのビームの方向を変えるミラーを用いて（ディスプレイ３５０）角度がつけられたインタラクティブ・ビデオ・ディスプレイを示す。ディスプレイ３６０は、該プロジェクタのビームの方向を変える多数のミラーを用いたインタラクティブ・ビデオ・ディスプレイを示す。
【００４５】
インタラクティブ・ビデオ・ディスプレイの追加的な構成
本発明の一つの態様によれば、スクリーンの前の領域を照らす多数の例示的な方法が提供される。内蔵型インタラクティブ・ビデオ・ディスプレイにおいて、赤外光カメラ、赤外光イルミネータ及び可視光プロジェクタは、全てスクリーンの一方側にあり、一方、ユーザは、他方側にいる。所望の機能性を実行するために、使用される該スクリーンの材料は、可視光に対してほとんど半透過性であり（しかし、わずかに透過性であってもよい）、及び、好ましくは、赤外光に対してほとんど透過性である（本明細書において、以後、“赤外光透過・可視光半透過性スクリーン（ＩＲ−Ｔｒａｎｓｐａｒｅｎｔ ＶＩＳ−Ｔｒａｎｓｌｕｃｅｎｔ ｓｃｒｅｅｎ）”または“メインスクリーン”と呼ぶ）。上記赤外光イルミネータにより放射された光は、該スクリーンを通過する際に、ある程度散乱する。この光は、上記カメラによって獲得され、該カメラのイメージを低コントラスト及び色あせたものにする可能性がある。その結果として、該スクリーンの向こうの対象に関する該カメラの視野を妨げる可能性があり、このことは、低下した動作特性をもたらすことになる。
【００４６】
本発明は、上記の問題を多くの方法で対処する。一実施形態において、上記赤外光イルミネータは、可能な限り上記スクリーンに近づけて配置することができる。例えば、該イルミネータは、境界に沿って該スクリーンと直接対向して配置してもよい。この構成を図４Ａに示す。（図４Ａにおいて、“イルミネータのためのカバー４０２”と呼ぶ）該イルミネータの前の材料は、赤外光に対して、少なくともやや半透過性であり、または透過性である何らかの材料を含んでもよい。イルミネータのためのカバー４０２の材料に対するオプションは、該メインスクリーン材料、透き通った透過性材料、または、赤外光に対して透過性である黒い不透明材料を含む。後の図におけるイルミネータのためのカバーに対する説明は、同様の意味を有する。上記メインスクリーン上への赤外光の漏れを防ぐために、物理的ブロックを用いてもよい。
【００４７】
しかし、上記の実施形態は、上記スクリーンの近くで、かつ該スクリーンの中心の近くにある対象の不十分な照明を生じる可能性がある。これは、たいていの物質に斜角で照射された光が、通過するのではなく、該物質の表面で反射する傾向があり、例えば、該物質の透過性が機能的に低下しているためである。このことに対処する一つの方法は、該スクリーンを単に上記ディスプレイの表面から後ろへ動かすことであり、それによって、赤外線イルミネータがより小さな斜角で該スクリーンを通して照射することが可能になる。この構成を図４Ｂに示す。
【００４８】
別の実施形態においては、上記イルミネータは、該イルミネータが、上記スクリーンの前の全ての領域を容易に照らせることができるような方法で、該スクリーンの前に配置することができる。該イルミネータが該スクリーンの前から突出している一つの構成を図５Ａに示す。ディスプレイの表面が凹んだ別の構成は図５Ｂに示されている。図４Ａ、図４Ｂ、図５Ａ及び図５Ｂに示す実施形態においては、該イルミネータは、連続線内に、または有利な配置で、該スクリーンの周りに等間隔で配置することができる。図４Ａ、図４Ｂ、図５Ａ及び図５Ｂに示すこれらの照明方法は、該スクリーンの後ろにあり、かつ該スクリーンを通して照射するイルミネータと組合わせることもできる。
【００４９】
軸外し（ｏｆｆ−ａｘｉｓ）投影
本発明の別の態様によれば、軸外し投影は、上記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムの性能を改善するのに用いられる。軸外しビデオプロジェクタは、矩形状ビデオイメージを斜角で平面上に投影することが可能である。これらの軸外しプロジェクタは、該システム全体のサイズを大幅に縮小できるようにし、また、グレアを低減できるようにするので、インタラクティブ・ディスプレイにとって非常に重要である。
【００５０】
図６Ａ及び図６Ｂは、軸外しプロジェクタを用いた内蔵型インタラクティブ・ビデオ・ディスプレイの２つの構成を示す。軸外しプロジェクタを有する赤外線透過、可視光半透過性スクリーンを用いた場合、グレアは低減される。該スクリーンは、可視光に対して完全に半透過性ではない（赤外光に対して完全に透過性ではない）ため、ある程度の可視光は、該スクリーンを通過することになる。該スクリーンが厚い場合には、いっそう多くの残りの可視光が散乱されることになり、グレアが低減される。また、該スクリーンをより厚く形成することは、該スクリーンが、赤外光に対して完全には透過性ではないため、該スクリーンの赤外線に対する透過性を小さくする。しかし、可視光が、直角ではなく、斜角で該スクリーンを通過する場合、該光は、より多くの距離を該スクリーンを通して進まなければならず、グレアの量が低減される。例えば、該スクリーンと平行に３０度で該スクリーンを通過する光は、該スクリーンに対して直角な角度で通過する光の２倍の量、スクリーン材料を通過する必要がある。従って、赤外線カメラが、該スクリーンを直接見ると共に、上記可視光プロジェクタが光を斜角で該スクリーン上に照射する場合、該赤外線カメラの最大透過性及び該可視光プロジェクタの最大半透過性を得ることができる。
【００５１】
透過性フラットパネルディスプレイ
上記内蔵型インタラクティブ・ビデオ・ディスプレイは、ビデオプロジェクタ以外のディスプレイ技術で実施することができる。上記メインスクリーンの代わりに該ディスプレイを使用する場合、上記カメラに見える光に対して少なくとも部分的に透過性であるフラットパネルディスプレイを実施することができる。例えば、Ｐｒｏｖｉｓｉｏｎにより販売されているＬＣＤパネルの形態の透過イメージングマトリックスを、該カメラが近赤外線カメラである実施形態におけるディスプレイに用いることができる。この形態のＬＣＤパネルは、表示される色が白色の場合、クリアでありかつ透過性である。また、該ディスプレイは、どんな色が表示されていようとも、近赤外線で透過性である。ノート型ＰＣモニタに使用される透過性ＬＣＤパネル、フラットパネルＬＣＤコンピュータモニタ及びフラットパネルＬＣＤ ＴＶスクリーンを含む多くの種類のＬＣＤパネルも、近赤外線で透過性である特性を有する。
【００５２】
上記カメラに見える光に対して少なくとも部分的に透過性である上記フラットパネルディスプレイは、この文書では、“透過性フラットパネルディスプレイ”と呼ぶ。本明細書で説明した実施例は、赤外線が完全に透過性である透過性フラットパネルディスプレイと赤外線カメラとを含むが、該実施は、異なる波長範囲で機能するカメラ、及び該カメラにより検知可能な光に対して完全に透過性である透過性フラットパネルディスプレイに対して、同様に当てはまる。
【００５３】
透過型ＬＣＤパネルまたは赤外線に対して少なくとも部分的に透過性である他のフラットパネルディスプレイ技術を用いると、インタラクティブ・フラットパネル・ディスプレイを、赤外線カメラを用いて構成することができる。透過型ＬＣＤは、典型的には、それ自体の照度が不足しているため、外部光源により照射する必要がある。一実施形態において、この外部光源は、該ＬＣＤパネルの後方の白色可視光イルミネータを含む。一実施形態において、上記カメラに対して透過性であるが、可視光イルミネータを散乱させるスクリーンは、該イルミネータの光をより容易に拡散するように、該ＬＣＤパネルのすぐ後ろに配設される。
【００５４】
図７Ａは、本発明の一実施形態による例示的な透過型インタラクティブ・フラットパネル・ディスプレイ・システム７００を示す。一実施形態において、ディスプレイ７００の外観は、赤外線透過・可視光半透過性スクリーン７２０材料を透過型フラットパネルディスプレイ７１０の後ろに配置することにより、改善されている。それに伴って、どのような光をスクリーン７２０に照射しても、より多く拡散してディスプレイ７１０が照らされることになる。スクリーン７２０のライティングを最大限に拡散させるために、システム７００は、斜角で該スクリーン上に照射する光７３０または独立した拡散板７４０を該光の前に有する光７３０を用いてもよい。拡散板７４０は、カメラ７６０の視野を遮らないことに注意する。図７Ｂは、透過型フラットパネルディスプレイ７１０及びスクリーン７２０を取り除いた状態の平面切り欠き図における同じ構成を示す。可視光イルミネータ７３０は、ＬＥＤ、蛍光灯、ネオン管、エレクトロルミネセントワイヤまたはシート、ハロゲン光及び白熱電球を含む、可視光を生成可能な何らかのライティング技術を含んでもよい。赤外線イルミネータ７５０は、ＬＥＤ、加熱ランプ、ハロゲンランプまたは白熱ランプを含む、上記カメラに見える赤外光を生成することが可能な何らかのライティング技術を含んでもよい。赤外光及び可視光は、両方とも、同じ光源によって生成してもよい。代替的に、赤外光のより良好な制御に対しては、可視光に対して透過性であるが、赤外光に対しては不透明であるフィルムを、可視光イルミネータ７３０を覆って設けてもよい。
【００５５】
「指向性周囲赤外線」の章で述べたストロービング技術を含むプロジェクタをベースとするシステムに対して言及した改良、「物理的構成」の章で述べた物理的構成及び「インタラクティブ・ビデオ・ディスプレイの追加的な構成」の章で述べた上記イルミネータの配置は、全て、この章で述べた透過型フラットパネルディスプレイをベースとするシステムに適用可能である。
【００５６】
プロジェクタではなく透過型フラットパネルディスプレイの使用は、上記インタラクティブ・ビデオ・ディスプレイのサイズを著しく低減することを可能にする。しかし、このことは、上記スクリーンを通して見ることができなければならないコンピュータ視覚システムに対して問題を引き起こす。該スクリーンとディスプレイボックスの背面との間にわずかな距離しかない場合、カメラ７６０は、スクリーン７２０の前の全領域、すなわち、ユーザの手等の該システムが検知すべき対象の位置を見るために、極端に広い角度にしなければならなくなる。このことは、斜角で該スクリーンを通してみる際の困難性のため、問題を引き起こす可能性がある。
【００５７】
斜角での照射の問題を解決する一つの方法は、スクリーン７２０を通過する光に影響を及ぼすことなくスクリーン７２０で反射される赤外光をなくすための、カメラ７６０の周囲での偏光材料の使用である。該スクリーン面で反射する光は、該スクリーン面に対して平行に強度に偏光する傾向があるため、該スクリーン面と直角にカメラ７６０を取り囲み、かつそのスクリーン面と直角な偏光を有する偏光子は、スクリーン７２０の後ろの赤外線イルミネータ７５０からのほとんどまたは全ての迷反射光をなくさなければならない。
【００５８】
歪への対処
カメラ視野歪みの問題は、本明細書に記載した全ての内蔵型インタラクティブ・ビデオ・ディスプレイ（例えば、投影システム及び透過型フラットパネルディスプレイをベースとするシステム）に存在する可能性がある。たいていの場合、上記スクリーンの上の領域のカメラの２次元視野は、激しい歪みを有する可能性がある。例えば、図７Ａにおいて、対象７１２及び対象７１４は、スクリーン７２０の前の全く異なる位置にあるにもかかわらず、カメラ７６０には同じ位置にあるように見える。スクリーン７２０の上の相互作用に対して正確に感知するためには、この歪みは補正する必要がある。
【００５９】
歪みのない環境においては、物理的対象に対応するスクリーン７２０上の仮想位置は、該対象の輪郭のスクリーン７２０上への垂直投影である。フレネルレンズ等の平坦な補正光学系を、該スクリーンと直角である入射光の向きをカメラ７６０の方へ変えるように、スクリーン７２０の上または近傍に配置することができる。それに伴って、カメラ７６０は、対象を、スクリーン７２０の表面に対して正しい位置に見る。図８Ａは、プロジェクタをベースとするインタラクティブ・ビデオ・ディスプレイ・システム８００に対するこの構成の例示的な実施形態を断面で示す。カメラ８１０は、垂直方向からスクリーン８３０上に照射する光線の向きをカメラ８１０に向けさせるフレネルレンズ８２０の焦点距離に配置されている。その結果として、対象が位置８０２から位置８０４へ移動した場合、カメラ８１０に対するその視位置は変わらない。従って、所望の効果が実現され、すなわち、スクリーン８２０の上の対象は、スクリーン８２０の上の該対象の輪郭の垂直投影である仮想位置を有する。該カメラのレンズの光学系は、特別に配慮する価値があり、ピンホールレンズは、理想的な焦点深度及び画像明瞭をもたらすが、無限領域に焦点を合わせる能力を有する広角レンズは、焦点深度及び写像性をある程度犠牲にして、より明るいイメージを可能にすることになる。歪みをなくすフレネルレンズ方法は、投影型及び透過型のフラットパネルディスプレイをベースとするインタラクティブシステムと共に用いることができることを認識すべきである。
【００６０】
内蔵型プロジェクタディスプレイに対して上記フレネルレンズを使用する場合、該レンズの前の赤外線透過・可視光半透過性スクリーンは、該プロジェクタの光を散乱させ、また、このスクリーンと該フレネルレンズとの間の距離はほとんどゼロであり、そのため投影イメージの歪はないので、該フレネルレンズは、該投影イメージに影響を及ぼさない。
【００６１】
透過型フラットパネルディスプレイに対して上記フレネルレンズを使用する場合、該透過型フラットパネルディスプレイは、ビューワに近づけて、上記赤外線透過・可視光半透過性スクリーン及びフレネルレンズの前に配置することができる。該フレネルレンズは、白色光によるバックライトが、既に拡散されているか、または、該フレネルレンズと透過型フラットパネルディスプレイとの間の材料によって拡散されるため、該ディスプレイの照明に影響を及ぼさない。
【００６２】
代替的に、上記歪みは、図８Ｂに示すように、上記ディスプレイの背面に一連のミラーストリップを用いることにより、なくすことができる。これらのミラーストリップ９１０は、該ディスプレイ上に垂直に照射する光の向きをカメラ９２０の方へ変えるようにデザインされている。該カメラは、光に干渉しないように、該ディスプレイの側に配設されている。ミラーストリップ９１０の実際の数は、非常に多くの数とすることができ、また、該ストリップ自体は、非常に薄くすることができる。一実施形態においては、スクリーン９３０の背面からの光を通過させて照射できるようにするミラーストリップ９１０の間の十分な空間が形成される。しかし、カメラ９２０は、その視野により、それらの光を見ることができず、この領域のカメラ９２０の視野は、全てミラーストリップ９１０である。スクリーン９３０と直角な方向で見た場合、ミラーストリップ９１０は、各円の中心がカメラ９２０の位置にある円曲線を形成する。
【００６３】
プロジェクタは、ミラーストリップ９１０を通して容易に照射することができないため、本実施形態は、該プロジェクタが、該ミラーストリップと該スクリーンとの間の空間を通して該スクリーン上に投影する、透過型フラットパネルディスプレイまたは軸外し投影ディスプレイを用いてより有効にすることができる。しかし、これは、該ミラーストリップを通して照射するプロジェクタの使用を排除しない。ある程度の光は失われるが、該プロジェクタの光は、この時点で焦点が合わず、それに伴って、最終的な投影イメージが影響を受けない。
【００６４】
代替的に、見られるシーンに関する深度情報（各ピクセルで見られる上記カメラから対象までの距離）を得ることができる場合、該カメラにより見られる対象ごとの各ピクセルによって占められる該スクリーンの上の位置のｘ−ｙ−ｚ座標を（単純な座標変換によって）再構成することができ、それに伴って、該カメラの歪んだ視野を補正することができる。このような深度情報は、限定するものではないが、ステレオカメラ、タイムオブフライト型カメラ及びパターン化した照射を含む様々な手段を用いて得ることができる。
【００６５】
上記カメラのイメージの各ピクセルに対するｘ−ｙ−ｚ座標を用いた歪みのない３次元（３Ｄ）視野を再構成する能力は、単純なデータの重ね合わせにより、多数のカメラのデータの、上記スクリーンの前の対象の単一の統合視野への結合も可能にするであろう。多数のカメラ（または、立体視を３Ｄに用いる場合、多数の組のカメラ）の使用は、該カメラに対して、より狭小な視野を用いて、上記ディスプレイを一様に平坦に形成できるようにするであろう。この場合、該カメラまたはカメラの組は、該カメラが、該スクリーンの後ろの領域を一様にカバーするように、理想的に配置される。例えば、該カメラは、該スクリーンの後ろに格子状に配置することができる。
【００６６】
散乱偏光子スクリーンを用いたイメージの投影及びキャプチャ
次に、別のスクリーン材料について説明する。このスクリーン材料は、本願においてすでに説明したプロジェクタベースの及び透過型フラットパネルディスプレイベースのシステムに用いられる“赤外線透過・可視光半透過性スクリーン”に対する代替例として機能する。該スクリーンは、対象と、上記インタラクティブ・ディスプレイ・システムとの間に配置されているため、該スクリーンは、投影イメージを透過すると共に、照明源及びカメラが該スクリーンを通して明瞭に見ることができるようにする。一実施形態において、該スクリーンは、表示イメージチャネルのための透過拡散板として機能すると共に、該カメラのキャプチャリングチャネルのためのウィンドウとしても機能する。該スクリーンに対する追加的な必要条件は、ビューワをグレア、すなわち、直接的なまたは十分に散乱していないプロジェクタ光による不快な視覚刺激から防ぐことである。
【００６７】
場合によっては、小粒子散乱は、単一粒子散乱に対してλ４波長依存を有するが、たいていの拡散板は、多重散乱を利用して適切な拡散を実施する。多重散乱においては、散乱光の波長依存性は、ミルクの色によって実演されるように、よりはるかに中立である。小粒子によってコヒーレントに散乱された光の強度は、（ｎ−１）２に比例することが分かっており、ただし、ｎは、該粒子とホストマトリクスとの間の相対屈折率である。本発明において、それは、キャプチャリングチャネルにおける透過性及び表示チャネルにおけるぼやけを可能にするように活用されるこの散乱の特性である。ここで用いる方法は、限定するものではないが、該キャプチャリングチャネルにおける赤外線の使用と矛盾しない。一般的なポリマー材料の散乱は、可視光と近赤外光との間のコントラストを生成するには不十分である。その代わり、本発明者らは、該キャプチャリングチャネルを偏光状態の１つの状態に分類し、該表示チャネルを直交する状態に分類する。また、発明者等は、偏光の１つの状態に対するマトリクスと散乱分子との間の屈折率整合（ｎ＝１）及び直交状態に対する屈折率不整合（ｎ≠１）という特性を有するスクリーンを用いる。このようにして、該スクリーンは、該表示チャネルに対して実質的なぼやけを、該キャプチャリングチャネルに対して実質的な透過性を有することになる。材料は、非常に狭小なスペクトル（２０ｎｍ程度）を有することができる該キャプチャリングチャネルにおいてほぼ完璧な屈折率整合を実施するように調整することができる。２つの主要なマトリクスは、この種のスクリーンのパフォーマンス、すなわち、シングルピース透過（ｔｈｅ ｓｉｎｇｌｅ ｐｉｅｃｅ ｔｒａｎｓｍｉｓｓｉｏｎ；Ｔｓｐ）及び偏光子効率（ｐｏｌａｒｉｚｅｒ ｅｆｆｉｃｉｅｎｃｙ；ＰＥ）を規定するのに用いることができる。これらの量は、次のように等式１及び等式２で定義される。
【数１】
ただし、Ｔ‖及びＴ⊥は、上記２つの状態における直接（例えば、散乱していないまたは小角散乱した）透過率である。
【００６８】
完全な偏光子の場合、ＴＳＰ＝０．５及びＰＥ＝１である。実際の偏光子の場合、上記スクリーンの厚さまたは粒子濃度が一定の有効範囲を超えると、多重散乱によりＴＳＰは減少し、かつＰＥは増加することになる。これら２つのパフォーマンスマトリクスは、所定の散乱システムの材料及び処理パラメータを調節することにより、所定の用途に対して最適化することができる。高いＴＳＰは、上記カメラにおいて主として高い解像力をもたらし、高いＰＥは、主として低いグレアをもたらす。
【００６９】
一実施形態において、上記プロジェクタの光は、上記スクリーンの半透過状態で偏光される。ＬＣＤプロジェクタの場合、これは、非常に低い損失で配置することができる。投影されたイメージ光の一部は後方散乱され、また一部は、前方領域で選択的に散乱される。上記カメラに用いられる照明は、迷光を回避するために、優先的に偏光される。このことは、フィルム型吸収偏光子を用いて容易に実現することができる。照らされた対象は、該光を拡散的に反射し、またほぼ同等の部分が、透過性及び散乱に対応して偏光状態で生成される（例えば、偏光は保たれない）。該カメラは、上記対象からの直接光のみが撮像されるように、吸収型の偏光フィルタを備えている。また、該カメラは、ビデオフィードバック及び周囲光からの干渉を避けるために、ランプスペクトルに整合する狭帯域フィルタを備えてもよい。該散乱偏光子が、該散乱光が入射光の偏光を維持する別の特性を有する場合、周囲光の反射は低減されることになり、より高いコントラストがもたらされる。図９Ａ及び図９Ｂは、本発明の一実施形態による、散乱偏光子スクリーンを有するインタラクティブ・ビデオ・ディスプレイ・システムの概略的レイアウトを示す。斜めの矢印及び双方向矢印は、偏光の状態を表す。
【００７０】
典型的なＬＣＤプロジェクタは、その投射レンズから偏光した光を放射する。しかし、ほとんどの一般的なタイプの３重パネルＬＣＤプロジェクタの場合、緑原色の偏光は、赤原色及び青原色の偏光に対して直角である。（これは、Ｘ立方体コンバイナデザインの結果である。）そのため、３原色全てを同じ偏光で投影するには、緑色は、他の２色と同様にしなければならない。このことは、（例えば、日本のＰｏｌａｔｅｃｈｎｏ Ｃｏｒｐ．から入手可能な）リターダ・スタックを用いることにより、非常に低い損失で実現することができ、該スタックは、赤色及び青色のリターダンスと比較して、半波長のリターダンスを緑色チャネルに付加する。このスタックコンポーネントは、該コンバイナ立方体と投影レンズとの間に、または、該レンズと該スクリーンとの間に配置することができる。高ルーメン出力を維持し、かつ画像アーチファクトを避けるためには、偏光保存性の投影レンズアセンブリを用いることが必要である。
【００７１】
内蔵型インタラクティブ投影型ディスプレイの代替構成
ＨｏｌｏＣｌｅａｒ、Ｄａｉ Ｎｉｐｐｏｎ Ｐｒｉｎｔｉｎｇにより製造されているホログラフィックスクリーン等の部分的に透過性であるが、光がスクリーン上に特定の角度で投射したときには半透過性であるスクリーン材料は、該ディスプレイのコンテナ内部がユーザに対して完全に暗くなるような方法で、該内蔵型インタラクティブ・ディスプレイに用いることができる。このことは、上記赤外線カメラ及びイルミネータの前に、赤外線に対して透過性である黒ウィンドウを用いて、該コンテナの全ての内面を黒にすることにより、実現することができる。該スクリーン材料は、部分的に透過性であるため、該カメラは、該スクリーン越しに対象を見ることができる。しかし、該プロジェクタは、適当な角度（ＨｏｌｏＣｌｅａｒの場合は３５度）でオフセットされているため、該プロジェクタからの光は完全に拡散され、グレアがなくなる。該ディスプレイのユーザは、その内部が真っ暗であるため、該部分的に透過性のスクリーン越しに何かが見えなくてもよい。
【００７２】
別の実施形態においては、現在、インテリアデザイナー向けに市販されている“プライバシーガラス”製品等の、電流が印加されたときに、瞬時にクリアから半透過性に切り替わることができるスクリーン材料を用いることができる。この材料は、本明細書において、（例えば、時間により透過性あるいは半透過性になる）時間ベースの材料と呼ぶことにする。この材料は、波長または偏光選択性スクリーンの代わりに用いることができる。カメラの露出は、非常に短い（例えば、１秒間に約１００マイクロ秒で３０回）。上記カメラが露出しているときに、該スクリーン材料はクリアであり、該カメラが該スクリーンを通して見ることができるようになる。プロジェクタシステムの場合、電子（例えば、高速液晶シャッター）または機械的シャッターは、該プロジェクタの光出力を遮断することができ、該プロジェクタがこの間にユーザの目に照射しないことを実現する。該カメラが露出していないときには、該スクリーン材料は、半透過性に変わり、該プロジェクタの光またはバックライトの光が散乱できるようになる。バックライトという用語は、上記フラットパネルディスプレイを可視光で照らす照明源を指すことを認識すべきである。
【００７３】
インタフェースの全般的な説明
本明細書において本文により暗に説明したが、このシステムは、内蔵型ディスプレイシステムに対するインタフェースについて記述する。このインタフェースは、位置、輪郭の感知、および場合によっては該ディスプレイの前の（人であるユーザを含む）対象の距離、及びこの感知に基づく実時間効果の表示を可能にする。これらの実時間効果は、該ディスプレイの仮想空間における対応する位置における動作の効果に対する該ディスプレイの前の物理的空間における動作のマッピングを含んでもよい。換言すれば、該システムは、ユーザの手等の物理的対象が、該ディスプレイ上の仮想対象の位置に位置している場合に、該ディスプレイ上の仮想対象との相互作用が起きるように較正することができる。このディスプレイは、何らかの検出装置の可視的な標示がない、すなわち、該ディスプレイ自体が可視的であるという物理的特性を有する。本願において後述するウィンドウ・ディスプレイ・システムの場合、該インタフェースは、上記内蔵型ディスプレイに対して説明したのと同様であるが、該ディスプレイは、該ユーザと同じ該ウィンドウの側に装置が配置されていないウィンドウディスプレイの形態をとる。
【００７４】
本発明の多くの実施形態において、ビデオカメラは、検出装置として使用される。該カメラのイメージは、実時間での静止背景から該カメラのイメージにおける（人等の）前景対象を分離するコンピュータ視覚システムへの入力となる。この前景−背景の識別は、上記表示スクリーンに表示されるイメージを生成するインタラクティブ・ビデオ・ディスプレイ・アプリケーションへの入力になる。これらのイメージは、該インタラクティブ・アプリケーションの表示されたイメージに対する対象の効果が、該対象と同じ物理的位置にあるように較正することができる。このことは、拡張現実感の錯覚をもたらし、人は、ピックアップ、押しまたは引き等の普通の体の動きによって、該スクリーン上のイメージまたは対象と相互に作用することができ、実際の対象またはイメージを操作するという錯覚が可能になる。
【００７５】
透過性ディスプレイスクリーン
上記システムの一実施形態においては、ＬＣＤスクリーンまたは他のそのような透過性スクリーンがディスプレイ装置として用いられる。上記カメラは、人であるユーザの動きを検知するものであり、該スクリーンの後ろに配置されている。それに伴って、該カメラの視野は、該スクリーンを通して見ることにより、該スクリーンの前の領域を見る。人であるユーザ及び対象を該カメラによって検知することができる該スクリーンの前のこの領域は、インタラクティブ領域と呼ばれる。そのため、該スクリーンは、該カメラによって見られる光の波長に対して、少なくとも部分的に透過性である。
【００７６】
上記スクリーン上に表示されている内容が、該スクリーンの向こうの対象の上記カメラのイメージに影響を及ぼすのを防ぐために、該カメラは、（黒色を含む）どんな内容が表示されていようとも、該スクリーンが部分的に透過性である光の波長で作動する。理想的には、該スクリーン上の内容は、該カメラによって見られる光の波長において、該スクリーンの光特性に対する影響を有するべきではない。ノート型及びフラットパネルコンピュータディスプレイに用いられるＬＣＤモニタの場合、該ＬＣＤスクリーンは、典型的には、該スクリーンを通して該カメラが見ることが９２０ｎｍ以上の光の波長に対してのみ感度が良い場合に、この特性を実現する。しかし、いくつかのＬＣＤパネルは、８００ｎｍ等の可視光に近い波長でもこの特性を実現する。また、該ＬＣＤスクリーンにおける偏光子は、それらの波長で光を偏光しない。
【００７７】
上記ＬＣＤまたは他の透過性ディスプレイスクリーンは、ビューワが該スクリーン上の内容を見ることができるように照らされる。理想的には、この光は、明るくかつ該スクリーンの全域に一様に拡がるようにすべきである。典型的なＬＣＤディスプレイは、様々なバックライト及びエッジライトソリューションのうちのいずれか一つを用いる。しかし、それらのソリューションは、典型的には、散乱、反射または不透過性材料からなるいくつかの層を該スクリーンの後ろに設けることを伴い、それらは、該スクリーンの後ろのカメラが、該スクリーンの前の領域を見えるようにはしない。しかし、本発明は、該カメラが、該スクリーンの前の領域を見えるようにすると共に、該スクリーンの前の領域の明るさ及び一様な照射も実現できるいくつかの選択的散乱材料についても説明する。
【００７８】
次のソリューションにおいては、バックライティングまたはエッジライティングのための照射源は、好ましくは、蛍光灯または白色ＬＥＤ等の長寿命の効率的な白色可視光エミッタであるが、何らかの可視光源であってもよい。
【００７９】
１．レイリー散乱材料
一つのソリューションは、上記スクリーンの背面に、強力なレイリー散乱を有する材料のシートを配置することと、白色バックライティングまたはエッジライティングを用いて上記表示スクリーンを照らすことと、近赤外線検知カメラを用いて該スクリーンを通して見ることとを含む。レイリー散乱は、散乱される光の波長の出力の逆数の４乗に比例するため、ほとんど全ての白色光は、該レイリー材料によって散乱され、該スクリーンの一様な照射が実現できる。しかし、該カメラによって見られる赤外光の比較的わずかな部分だけが、赤外線が、可視光よりも長い波長からなるため、散乱されることになる。
【００８０】
２．ざらつきのある材料
別のソリューションは、平坦領域の間に散在されたバンプ、隆起、くぼみ、溝からなる物理的構成を有する材料の平坦シートを形成することを含む。この材料は、上記表示スクリーンの背面に配置することができる。この材料は、該材料を通過する全ての光を視射角で散乱させると共に、該材料を通過する光のほんの一部を垂直に散乱させるという効果を有することができる。いくつかのそのような材料を図１０Ａ及び図１０Ｂに示す。図１０Ａは、光を散乱する微小バンプまたは隆起１０１０を有する材料１０００の単純化した断面を示す。該散乱は、光を散乱する材料の外部に該隆起またはバンプを形成することにより、または、他の方法によって、隆起またはバンプ１０１０の表面をテクスチャー加工することにより、実現することができる。図１０Ｂは、光を散乱する微小な溝またはくぼみ１０６０を有する材料１０５０の単純化した断面を示す。該散乱は、溝またはくぼみ１０６０の表面をテクスチャー加工することにより、溝またはくぼみ１０６０に、光を散乱する物質を充填することにより、または、他の方法によって実現することができる。全ての場合において、該材料の表面に対してほぼ垂直に通過する光のかなりの部分は散乱されず、視射角で通過して表面に達する光のほぼ全てが散乱されることになる。
【００８１】
従って、上記スクリーンがエッジライティングによって照らされる場合、上記表示スクリーンは、一様かつ明るく照らすことができると共に、上記カメラが該スクリーンと通して見ることができるようになる。図１１は、本発明の一実施形態による、内蔵型エッジライティング・インタラクティブ・ディスプレイの断面の単純化した概略図を示す。エッジライティング１１１０は、表示スクリーン１１４０（例えば、ＬＣＤ）を照らす可視照明を形成する。スクリーン１１５０は、表示スクリーン１１４０に隣接して配置されており、視射角（例えば、エッジライティング１１１０の角度）で該スクリーンに当たる光を散乱させるように機能する。イルミネータ１１２０は、カメラ１１３０の視野の対象を照らす。イルミネータ１１２０からの光は、垂直な角度またはほぼ垂直な角度で表示スクリーン１１４０に当たり、散乱されない。
【００８２】
３．散乱偏光子
別の実施形態においては、“散乱偏光子スクリーンを用いたイメージ投影及びキャプチャ”の章で述べたような散乱偏光子が、上記表示スクリーンの背面に配置されている。この散乱偏光子は、一方の偏光の光を散乱させ、反対の偏光の光を散乱させない。該表示スクリーンは、バックライティングを用いて、該バックライトを該散乱偏光子上の散乱方向と同じ方向に直線偏光させることにより一様に照らすことができる。従って、全てのバックライトは、該表示スクリーンを通過する前に散乱される。
【００８３】
代替的に、該バックライトは偏光させないことができ、直線偏光子は、該偏光子の偏光を、光を散乱する散乱偏光子における方向と同じ方向に向けた状態で、該散乱偏光子と該表示スクリーンとの間に配置してもよい。それに伴って、該散乱偏光子により散乱されない該バックライトからのいかなる光も、直線偏光とは反対の偏光からなり、該光は吸収される。このことは、該表示スクリーンに対する照射を一様にし、ユーザの目における厄介なグレアがなくなる。
【００８４】
上記表示スクリーンがＬＣＤスクリーンである場合、該ＬＣＤスクリーンの背面に形成された直線偏光があるため、該バックライトは偏光される必要がない。この場合、一様な照明は、単に、該散乱偏光子を、該散乱偏光子における最大散乱の方向が、該ＬＣＤスクリーンの裏面の直線偏光子の偏光と平行になるように向けて、該ＬＣＤスクリーンの裏面に該散乱偏光子を配置することにより、散乱されないバックライトによって実現することができる。従って、該散乱偏光子によって散乱される光のみが、該ＬＣＤスクリーンを通過できるようになる。
【００８５】
フラットパネルディスプレイスクリーン
表示スクリーンを用いた内蔵型ディスプレイ１２００の例示的な実施形態の単純化した断面図を図１２Ａに示す。該ディスプレイは、白色可視光１２２０によってバックライティングされるＬＣＤスクリーン１２１０を用いて形成される。散乱偏光子１２１５は、この光全てを散乱させ、ビューワにとって一様な照明を実現できる。該内蔵型ユニットの側部のミラー１２２５は、光１２２０からの白色の迷光を反射して表示スクリーン１２１０の方へ戻し、その明るさを増す。９２０ｎｍ〜９６０ｎｍの近赤外光に対してのみ感度が良いビデオカメラ１２３０は、“カメラの視野”と呼ばれる、ＬＣＤスクリーン１２１０の前の領域を見る。この視野内の対象は、カメラ１２３０に見えることになる。該カメラの視野に対する照射は、赤外線ＬＥＤクラスタ１２４０のセットから来て、該クラスタは、カメラ１２３０によって見える波長で上記ボックスの裏側に光を生成する。明るい鏡面反射性ハイライトが、該カメラのイメージに現れるのを防ぐために、これらのＬＥＤ１２４０からの光は、ＬＣＤスクリーン１２１０に到達する前に拡散スクリーン１２４５によってわずかに散乱される。フレネルレンズ１２５０は、ＬＣＤスクリーン１２１０の前の領域の該カメラの視野の歪みを低減するのに用いられる。
【００８６】
次に、図１２Ａの例示的な実施形態を介した可視光及び赤外光の光路について説明する。本発明者らは、光の２つの垂直な偏光を偏光Ａ及び偏光Ｂと呼ぶことにする。
【００８７】
白色光イルミネータ１２２０からの可視光は、非偏光を始め、拡散材料１２４５により散乱させる、フレネルレンズ１２５０により向きを変える、あるいは、その光路上のミラー１２２５で反射してスクリーン１２１０へ向けることができる。次いで、この光は、散乱偏光子１２１５を通過し、該偏光子は、偏光Ａの全ての光を散乱させ、かつ偏光Ｂの光を散乱させない（ここで、Ａ及びＢは、２つの垂直偏光を指す）。散乱された光は、散乱後のその偏光を保つ。そして、この光は、ＬＣＤスクリーン１２１０を通過し、該スクリーンは、偏光Ｂの全ての光を吸収し、偏光Ａの全ての光を伝達する。従って、ＬＣＤスクリーン１２１０は、散乱光のみを用いて照らされ、ビューワは、一様に照らされたスクリーンを見る。
【００８８】
赤外線イルミネータ１２４０から放射された赤外光は、非偏光を始めなくてもよい。状況に応じて、改善された明瞭性のため、この光は、該光が散乱偏光子１２１５によってあまり散乱されないように、まず赤外線直線偏光子１２６０を通過して、該光を偏光Ｂで偏光させることができる。次に、該赤外光は、拡散材料１２４５により散乱させる、フレネルレンズ１２５０により向きを変える、あるいは、その光路上のミラー１２２５で反射させてスクリーン１２１０へ向けることができる。該光が偏光されない場合、その一部は、散乱偏光子１２１５を通過する際に散乱されることになるが、偏光Ｂの光は、散乱偏光子１２１５を通過して散乱されない。該赤外光の波長は十分に長いため、該赤外光は、影響を受けずにＬＣＤスクリーン１２１０を通過し、人の手等の、該スクリーンの前の対象を照らすことができる。
【００８９】
上記表示スクリーンの前からカメラ１２３０に向かって戻ってくる赤外光は、ＬＣＤスクリーン１２１０の影響を受けない。しかし、該光が散乱偏光子１２１５を通過する際、偏光Ａの光は散乱し、偏光Ｂの光は散乱しないままとなる。次に、該光は、フレネルレンズ１２５０を通過するが、偏光に顕著な影響は及ぼさない。カメラ１２３０は、該カメラの直前に赤外線直線偏光子１２６０を有し、この偏光子１２６０は、偏光Ａの光を吸収し、偏光Ｂの光を伝達する。従って、カメラ１２３０は、散乱偏光子１２６０によって散乱されないままであった偏光Ｂの光を見るのみである。このことは、カメラ１２３０に、該スクリーンの該領域のクリアで高コントラストのイメージをもたらす。
【００９０】
ＬＣＤをベースとするインタラクティブ・ディスプレイの別の例示的な実施形態を断面で図１２Ｂに示す。該システム全体は、楔状である。該システムデザインは、図１２Ａで示しかつ説明したデザインと同様のものである。しかし、赤外線イルミネータは、カメラ１２６２へのグレアを最小化するように配置されている。上記スクリーンの上及び該スクリーン近傍の対象は、内側赤外線イルミネータ１２６４によって照らされ、該イルミネータは、散乱偏光子１２６６及びＬＣＤパネル１２６８を通して照射する。しかし、該イルミネータは、カメラ１２６２に対するグレアの影響を低減するために、フレネルレンズ１２７６を通して照射しない。フレネルレンズ１２７６は、内側赤外線イルミネータ１２６４のための空間を設けるために、ＬＣＤパネル１２６８の表面及び散乱偏光子１２６６から引っ込められている。外側の赤外線イルミネータ１２７０は、該スクリーンからさらに離れている対象を照らす。赤外線イルミネータ１２７０は、ＬＣＤパネル１２６８または散乱偏光子１２６６（を通してではなく）周辺を照射し、グレアをさらに低減できるようにする。白色可視光イルミネータ１２７２は、該システムのベースの側部に沿って配置されており、バックライトカバー１２７４によって覆われている。バックライトカバー１２７４は、該スクリーン上の周囲赤外線の存在を低減して、カメラ１２６２によってキャプチャされたイメージのコントラストを改善するために、近赤外線を吸収するが、可視光を伝達する材料で構成してもよい。
【００９１】
散乱偏光子を用いた投影型ディスプレイスクリーン
上記インタラクティブ・ビデオ・ディスプレイの別の実施形態においては、プロジェクタ及び投影スクリーンが、ディスプレイ装置として用いられる。人であるユーザの動きを検知するのに用いられる上記カメラは、該スクリーンの後ろに配置されている。それに伴って、該カメラは、該スクリーンを通して見ることにより、該スクリーンの前方の領域を見る。そのため、該スクリーンは、該カメラによって見られる光の波長に対して、少なくとも部分的に透過性である。上記散乱偏光子は、このシステムにおける投影スクリーンとして機能することができる。
【００９２】
上記散乱偏光子は、完全に作動しなくてもよいことを認識すべきである。散乱されることになっている該偏光における少量の光は、散乱されなくてもよい。プロジェクタが直接見られたときの該プロジェクタの極度の明るさのため、該プロジェクタのレンズの内側の明るい光源は、該散乱偏光子を通して直接見ることができるが、該プロジェクタの光は、最大の散乱のために適切な方向に偏光することができる。この明るいグレアのスポットは、散乱されないプロジェクタの光が吸収されるように、該散乱偏光子の前に直線偏光子を用いることによりなくすことができる。また、該プロジェクタ光が、完全に偏光されない場合、同様の問題が生じることになる。この問題は、該散乱偏光子の後ろに直線偏光子を用いることにより緩和することができる。どちらの場合においても、それらの偏光子は、該プロジェクタ光と平行に向けられている。上記カメラが、近赤外線または他の非可視光波長である場合、該可視光偏光子は、該カメラが、その影響を受けないように選択することができる。従って、該カメラは、該スクリーンを通して見ることができる。
【００９３】
鏡面反射をなくすこと
また、上記カメラのイルミネータからの鏡面反射は、該カメラのイメージに有害な影響を及ぼす可能性がある。これらの影響は、反射防止膜を、上記表示スクリーンの一方の面または両面に、およびレイリー散乱材料、テクスチャー加工された材料、散乱材料またはフレネルレンズを含む、該スクリーンの後ろの何らかの表面に施すことにより、軽減することができる。また、これらの影響は、該カメラの照射から該カメラに戻る鏡面反射がないように、該イルミネータから来る光をある角度に向けることにより軽減することができる。
【００９４】
このような構成の一実施例を図１３に示す。この構成は、カメラ１３２０から離れており、かつスクリーン１３３０に垂直に照射するスポットイルミネータ１３１０を用い、カメラ１３２０へのいかなる鏡面反射も防ぐ。これらのイルミネータによってカバーされていない領域は、スクリーン１３３０への視射角で照射するイルミネータ１３４０によって照射され、反射光がカメラ１３２０に戻って照射されることを防ぐ。
【００９５】
別の実施形態においては、図１４に示すように、カメラのイルミネータ１４４０の鏡面反射がカメラ１４３０から離れてはね返るように、散乱偏光子１４１０または他の選択性散乱材料をわずかに傾けることができる。図に示すように、イルミネータ１４４０からの鏡面反射は、該ボックスの側部の方へ向きが変えられる。別の実施形態においては、カメラへの鏡面反射を和らげるために、拡散材料を該カメラのイルミネータの前に配置することができる。これらのイルミネータからの光は、該ディスプレイの裏からそれらの光を跳ね返させることによっても拡散させることができる。
【００９６】
図１５は、本発明の一実施形態による、タイムオブフライト型カメラ１５３０を用いたインタラクティブ・ビデオ・ディスプレイ・システム１５００の例示的な構成を示す。典型的なデザインにおいては、該カメラ及び該カメラのイルミネータは、互いに近接させて配置しなければならず、また、該イルミネータからの光は散乱させることができないため、鏡面反射は、タイムオブフライト型カメラ１５３０に対して問題を引き起こす。従って、上述したアプローチは、該スクリーンの裏から該カメラに戻る反射によって激しいグレアを引き起こす該カメラのイルミネータにより、タイムオブフライト型カメラを用いる実施においては、うまくいかないことになる。しかし、上記コンピュータ視覚システムは、３Ｄカメラの情報を用いて、所望の座標系への座標変換を実行することができるため、該カメラは、該スクリーンの中心の後ろに配置する必要はなく、また、多数のカメラからのデータを融合することができる。従って、例えば、２つのカメラ１５３０が異なる時間に露出を行うかぎりにおいて、それらのイルミネータからのいかなる鏡面反射も避けるために、２つのタイムオブフライト型カメラ１５３０を、スクリーン１５１０の前の領域をある角度で見るのに用いることができる。この構成において、カメラは、その内蔵されているイルミネータの鏡面反射も見ることができない。
【００９７】
タッチスクリーン・インタフェースの付加
上述したシステムは、上記スクリーンから数インチ離れた対象やジェスチャーを認識するが、タッチスクリーンの反応も同様に実行することができ、ユーザは、該スクリーンに本当に触って、動作を起こせるようにしなければならない。このことは、該システムが、追加的な様々なユーザインタフェースをサポートできるようにすることになる。例えば、このインタフェースは、ユーザが、該スクリーンの上で両手をそろえてカップ状にすることにより、該スクリーン上の仮想対象を“集める”ことができるようにするが、そのイメージに触れることにより仮想対象を“ピックアップ”した後、該スクリーン上の別の箇所に触れることにより該対象を“落とす”こともできるようにする。
【００９８】
このタッチスクリーンの作用は、いくつかの方法のうちの１つで実施することができる。この章及び後の章で説明する該タッチスクリーンの実施例は、プロジェクタをベースとするインタラクティブ・ビデオ・システム及び透過型フラットパネルディスプレイをベースとするインタラクティブ・ビデオ・システムの両方と適合する。現在のタッチスクリーン技術は、上記表示スクリーンを覆う部分が上記カメラに対して透過性である限り、該システムのスクリーンと一体化することができる。これは、抵抗性タッチスクリーン、容量性タッチスクリーン、赤外線格子タッチスクリーン及び表面弾性波タッチスクリーンを含む。しかし、これらスクリーンの全ては、該スクリーンへの一本指によるタッチングしか検知することができず、また、短時間のタップと対照的に、連続的なタッチングまでも検知することができないという欠点を有する。上記の欠点を克服するいくつかの解決法があり、そのほとんどは、上記システムが、対象と該スクリーンとの間の距離に関する情報をキャプチャできるようにする。この３Ｄデータは、ジェスチャー認識等の高レベルの視覚処理にとって有用である。
【００９９】
マルチユーザ・タッチスクリーン及び３Ｄデータ：ステレオカメラ
このシステムに対して、いくつかのわずかな変更を行うことにより、複数の人が上記スクリーンを同時に使用できるようにするマルチユーザ・タッチスクリーンを形成することができる。一実施形態において、ステレオカメラを単一のカメラに代えて用いることができる。該ステレオカメラは、単一のカメラシステムと同じ波長感度及びフィルタ構成を有するであろう。しかし、上記コンピュータは、該ステレオカメラから２つのイメージを取得することができ、また、マー・ポジオ（Ｍａｒｒ−Ｐｏｇｇｉｏ）アルゴリズム等のいくつかの周知の立体視アルゴリズムのうちのいずれか１つを用いて、スクリーン上に見える対象のための距離情報を導出することができる。該スクリーンまでの距離は分かっているので、該コンピュータは、該対象の距離情報と該スクリーンまでの距離とを比較することにより、何らかの対象が該スクリーンに触れているか否かを識別することができる。
【０１００】
マルチユーザ・タッチスクリーン及び３Ｄデータ：１カメラステレオ
図１６は、本発明の一実施形態による、ミラーを用いて３Ｄ情報を得る構成１６００を示す。ステレオデータは、ミラー１６２０を上記ボックスの内側側部に配置することにより、１つのカメラ１６１０のみを用いて取得することができる。従って、カメラ１６１０は、直接的に及びある角度でスクリーン１６３０を見ることになる。スクリーン１６３０に触れている対象は、該カメラのメインイメージ及び反射イメージの両方において、ミラー１６２０の縁部から同じ距離に現れることになる。しかし、スクリーン１６３０の上の対象は、該メインイメージ及び反射イメージにおいて、ミラー１６２０の縁部から異なる距離にあることになる。これらのイメージを比較することにより、上記コンピュータは、各対象がスクリーン１６３０に触れているか否かを論理的に推理することができる。
【０１０１】
マルチユーザ・タッチスクリーン及び３Ｄデータ：パターン化した照射
図１７は、本発明の一実施形態による、パターン化した照射を用いて３Ｄ情報を得る別の構成１７００を示す。光パターンを投影するパターン化赤外線イルミネータ１７１０は、通常の赤外線イルミネータの代わりに用いることができる。このシステムは、スクリーン１７２０上の対象とスクリーン１７２０の上方の対象を識別することができる。しかし、このシステムの精度は、パターン化赤外線イルミネータ１７１０をある角度でスクリーン１７２０上に照射させることにより、ある場合においては、ミラー１７３０から上記ボックス内部の側部にはね返すことにより、改善することができる。対象に対するパターン化した光の位置は、スクリーン１７２０から離れてまたは該スクリーンの方へ短距離移動する際に、劇的に変化し、該対象とスクリーン１７２０との距離を、コンピュータ１７４０によって容易に判断できるようにする。
【０１０２】
マルチユーザ・タッチスクリーン及び３Ｄデータ・タイムオブフライト型システム
上記カメラは、Ｃａｎｅｓｔａおよび３ＤＶ ｓｙｓｔｅｍｓから入手可能なモデル等のタイムオブフライト型赤外線カメラとすることができる。このカメラは、そのイメージの各ピクセルのための距離情報を検知する、本来備わった機能を有する。この種のカメラを使用する場合、上記スクリーンからの全ての赤外線グレアをなくすことが非常に重要であり、さもなければ、該カメラは、該スクリーン上の上記イルミネータの反射を実際の対象と間違えることになる。赤外線グレアをなくす方法は上述している。
【０１０３】
マルチユーザ・タッチスクリーン：複数波長
タッチスクリーンの機能は、それぞれのカメラとイルミネータとの組を異なる赤外線周波数とした状態で、２つのカメラ及び２つのイルミネータを有することにより実現することができる。例えば、一方のカメラ‐イルミネータの組は、８００ｎｍの光を用い、他方の組は、１１００ｎｍの光を用いることができる。該スクリーンの散乱は、該波長の逆数の４乗に比例するため、該８００ｎｍのカメラは、該１１００ｎｍのカメラよりも遥かに小さい、該スクリーンの向こうにあるものを見る能力を有することになる。その結果として、該スクリーンに触れている、または、触れそうになっている対象のみが、該８００ｎｍのカメラに見えることになり、一方、１１００ｎｍのカメラは、該スクリーンから数インチ離れている対象を見ることができることになる。両カメラ共、それらのデータを上記コンピュータに入力して、独立した視覚システムを介して実行する。該８００ｎｍのデータは、上記タッチスクリーンインターフェースへの入力となり、一方、１１００ｎｍのカメラは、該スクリーンの上の対象を検知することができるため、ジェスチャー入力に用いられるであろう。
【０１０４】
マルチユーザ・タッチスクリーン：ディスプレイ面上の狭小ビーム
図１８Ａは、本発明の一実施形態による、追加的なイルミネータを用いて３Ｄ情報を得る構成１８００及び１８５０を示す。第２のイルミネータ１８１０は、該ディスプレイ面上または該ディスプレイ面に近接している対象のみを照らすのに用いることができる。例えば、ＬＥＤまたはレーザ等の狭角イルミネータが、スクリーン１８２０とほぼ平行に向けられて、スクリーン１８２０のすぐ内側または外側に配置されている場合、スクリーン１８２０に隣接する対象は、上記カメラのイメージに非常に明るく現れることになる。円筒形レンズまたは他の手段を、該イルミネータの光を垂直ではなく水平方向に拡大するのに用いることができ、該光が該スクリーンの全領域をカバーするのを可能にする。それに伴って、上記視覚システムは、該非常に明るい対象が、スクリーン１８２０に近接しているかまたは該スクリーンに触れていることを論理的に推理することができる。
【０１０５】
別の実施形態においては、上記ビームは、上記ディスプレイ面の内側に照射することができる。図１８Ｂに示すそのような一実施形態の照射システム。透過性パネル１８６０は、メイン表示スクリーン１８５５の前に配置されている。イルミネータ１８７０は、狭小ビームを透過性パネル１８６０の縁部に照射する。急峻な入射角のため、光１８７０は、透過性パネル１８６０の境界内で完全に反射する。しかし、対象１８７５が該スクリーンに触れている場合には、光１８７０は散乱することができ、該光が、透過性パネル１８６０の境界から抜け出すことが可能になる。その結果、この光１８８０は、カメラ１８８５により検知することができる。このことは、カメラ１８８５が、対象１８７５またはユーザが該スクリーンに触れているときを検知することができるようにする。
【０１０６】
上記スクリーンの表面または該表面近傍に、イルミネータの第２のセットを用いるこれらのアプローチの場合、これらは上記システムが、上記メインイルミネータからの光と第２のイルミネータからの光とを識別できるようになっているいくつかのデザインである。この識別は、該システムが、単に該スクリーンの前にある対象とは別に、該スクリーンに触れている対象を検知できるようにするので重要である。
【０１０７】
まず、イルミネータの２つの組は、交互のカメラ露出の間に作動させることができ、上記システムが、各イルミネータにより照らされるときに、上記スクリーンの前の領域を見ることができるようにする。代替的に、該システムは、各カメラ‐イルミネータの組を異なる波長で作動させた状態で、２つのカメラを用いることができる。また、該システムは、２つのカメラを用いることができるが、各カメラ‐イルミネータの組を異なる時間にストロボさせることができる。
【０１０８】
マルチユーザ・タッチスクリーン及び３Ｄデータ：輝度比
タッチスクリーンの動作は、異なるイルミネータを、該スクリーンに対して異なる距離に配置することにより、実現することができる。イルミネータＡが、該スクリーンから２フィート離れており、イルミネータＢが該スクリーンから１フィート離れていると仮定する。照明源の明るさは、該照明源からの距離の逆二乗に比例する。すなわち、対象に対するＡ及びＢからの光の割合は、その距離が変化するにつれて変わる。この割合は、上記コンピュータが、対象が該スクリーン上にあるか否かを判断できるようにする。表１は、Ａ及びＢからの光の割合がどのように該スクリーン上の対象と該スクリーンの１インチ上の対象とを識別できるかという実施例を示す。
【表１】
【０１０９】
上記比は、対象が完全な黒色でない限り、どんな色の対象物であろうとも有効である。また、上記ＬＥＤの光は非均一であるため、該スクリーンに触れている対象の比は、該対象が、該スクリーンのどの部分に触れているかにより、変化する可能性がある。しかし、該比は、較正プロセス中に確立することができ、また、該スクリーンの各箇所で最近観測した最大比を記録することにより、長い間に再確認することができる。
【０１１０】
イルミネータＡとイルミネータＢは、区別することができる。一実施形態においては、２つのカメラ及びイルミネータが使用され、“マルチユーザ・タッチスクリーン：複数波長”の見出しのところで説明したように、異なる波長に対して調整される。すなわち、イルミネータＡは、カメラＡだけに見え、イルミネータＢは、カメラＢだけに見える。
【０１１１】
別の実施形態においては、イルミネータＡ及びイルミネータＢは、同じ波長を有するが、異なる時間にオンされる。１つのカメラがある場合、イルミネータＡ及びイルミネータＢは、ＡがオンでＢがオフの間に、全ての偶数番のカメラ露出が行われ、ＡがオフでＢがオンの間に、全ての奇数番のカメラ露出が行われるように、交互に作動させることができる。このことは、有効フレームレートを２倍減らすが、１つのカメラが、Ａ及びＢにより別々に照らされたイメージをキャプチャできるようにする。そして、上記コンピュータは、該２つのイメージを比較して、各箇所における輝度比を計算し、対象が上記スクリーンに触れたときを判断することができる。該カメラの同期信号を読取りまたは生成する回路を形成することにより、該イルミネータを該カメラと同期させることは容易である。
【０１１２】
別の実施形態においては、２つの別々のカメラは、上記イルミネータが、対応するカメラが露出を行うときにのみ作動するようにストロボされ、該２つのカメラの露出が、オーバーラップしないようにずらされる限り、（両方共、同じ波長で）イルミネータＡ及びイルミネータＢに連係させることができる。
【０１１３】
全ての場合において、上記コンピュータは、Ａによって照らされた上記スクリーンのイメージと、Ｂによって照らされた上記スクリーンのイメージとを比較して、各箇所における輝度比を判断し、それによって、対象の該スクリーンからの距離を判断することができる。Ａを該スクリーンから２フィート離し、Ｂを該スクリーンから１フィート離した実施例は、単に一つの実施形態であり、他の距離の比または配置も役に立つ。
【０１１４】
タイリング（ＴＩＬＩＮＧ）
上記システムは、内蔵型ボックス内にあり、また、上記スクリーンは、該スクリーンの全ての側部を占めることができるので、より大きなスクリーンを形成するために、スクリーンは、全てのスクリーンを同じ側部にした状態で、格子状にまとめて重ねることができる。各システムにおける上記コンピュータがネットワーク化されている場合、該システムは、リアルタイムの視覚信号及び内容に関する情報を共有することができ、該スクリーンが１つの大きなシームレススクリーンとして機能できるようにする。美観的理由により、個々のタイルを張るように並べられたユニットのスクリーンは、１つの非常に大きなスクリーンと替えてもよい。
【０１１５】
ぼやけの量からの距離情報の取得
あるスクリーン材料及び構造は、典型的な散乱の角度が小さい入射光の散乱を引き起こす可能性がある。すなわち、該スクリーン材料を通過する光の大部分は、方向をわずかに変える。図１９Ａは、わずかに散乱することの概念的実施例を示し、各光の散乱線に対する矢印の長さは、その方向に散乱した光の部分を表し、有限数の矢印が示されているが、散乱角度の分布は連続的である。
【０１１６】
この形態の散乱は、いくつかの方法で実現することができる。強度のミー散乱を伴う材料は、この特性を呈する。また、テクスチャー加工された表面を有する材料も、所望の方法で光の向きをわずかに変える。理想的には、該テクスチャーは、該光路において、小さな平均偏差及び確率的に滑らかな偏差をもたらすであろう。図１９Ｂは、そのようなテクスチャーの一実施例を示す。該テクスチャーのサイズは、投影イメージの視野からそれないように十分小さい。この散乱の効果は、強度のミー散乱またはテクスチャー加工された表面を有するように、メインスクリーンの材料を変更することによって実現することができる。代替的に、これらの特性は、該メインスクリーン材料とともに挟み込まれている第２のスクリーン材料に付加してもよい。
【０１１７】
このような材料の上記スクリーンの一部としての使用は、上記カメラによる景色の見方に影響を及ぼすことになる。該カメラによって見られる全ての対象は、該材料の散乱特性によってぼやけることになる。しかし、ぼやけの量は距離に依存する。該スクリーンに触れている対象は、ぼやけていないままであるが、離れていく対象は、徐々にさらにぼやけることになる。これは、該スクリーン表面で所定の角度で光線を散乱させることは、該スクリーンから該光線までの距離に比例する散乱の物理的距離を意味するからである。例えば、４５度だけ水平方向に光線を散乱させることは、該光線を、該スクリーンから１フィートの距離において、その水平方向の位置で１フィートそらさせるが、該それは、該スクリーンから２フィートの距離においては、２フィートである。
【０１１８】
そして、上記視覚システムは、このぼやけたイメージを用いて、シャープなエッジ及びぼやけたエッジの両方を検出し、かつ各エッジに対してぼやけの量の推定を実行できるエッジ検出技術の利用を含む多くの方法により、該距離を再構成することができる。Ｅｌｄｅｒ−Ｚｕｃｋｅｒアルゴリズムは、そのようなエッジ検出技術の一つである。ぼやけの量が一旦、分かると、該スクリーンからの該対象のエッジの距離を判断することができ、ぼやけの量は、該距離に比例するので、該視覚システムに、該対象に関する３Ｄ情報を与えられる。
【０１１９】
上記視覚システムのタスクは、規則的な赤外線照射の代わりにまたは該赤外線照射に加えて、上記カメラに見える赤外線パターンを投影するパターン化照明源を用いることにより、単純化することができる。このパターンは、ドット、ライン、あるいは、シャープなエッジを有する他のテクスチャーを含んでもよい。該パターンは、該スクリーンを通すことを含むいくつかの方向から投影することができる。該パターンが該スクリーンを通して投影される場合、散乱の量は２倍になるが、距離依存の散乱の効果は変わらない。
【０１２０】
上記スクリーン上の全ての対象をパターンで照らすことにより、上記視覚システムの性能は向上する。パターン化された照明を用いない場合、該イメージのどの位置における３Ｄ情報も判断することが困難であり、この場合、均一な輝度の対象の中間等のエッジはない。しかし、全ての対象をこの投影パターンでカバーする場合、該イメージのどの位置におけるぼやけ情報も得ることが容易である。
【０１２１】
投影されたテクスチャーを用いて、異なる方法を、ぼやけの量を推定するのに用いることができる。ソーベルフィルタまたはピラミッド分解等の画像コンボリューションは、異なるスケールにおける信号強度及び階調度に関する情報を得るのに用いることができる。該テクスチャーがドットパターンである場合、該ドットに相当するイメージにおける箇所は、局所最大値を探すことにより見つけることができる。そして、各局所最大値周辺の領域の階調度の強度を調べることにより、どの程度ぼやけが発生しているかを判断することができる。該ドットのエッジにおける階調度は、ぼやけの量にほぼ反比例する。そのため、各ドットにおける階調度は、上記スクリーンからの距離に関連付けることができる。
【０１２２】
カメラ構成
上記システムの一実施形態において、上記カメラは、人の目には見えない波長の光に対して感度が良い。不可視波長の光を放出するイルミネータを付け加えることにより、該カメラは、光をユーザの目に照射することなく、暗い室内で上記表示スクリーンの前の領域の良好に照らされたイメージを取得することができる。また、選択した光の波長により、該表示スクリーンの内容は、該カメラに見えない可能性もある。例えば、９２０ｎｍ〜９６０ｎｍの波長の光に対してのみ感度が良いカメラは、ＬＣＤスクリーン上にどのようなイメージが表示されていようとも、該ＬＣＤスクリーンを透過性のものとして見ることになる。
【０１２３】
上記システムの別の実施形態においては、上記カメラは、狭い範囲の波長の近赤外線に対してのみ感度が良く、この場合、該範囲内の最も短い波長は、少なくとも９２０ｎｍである。上記スクリーンの前の領域は、この波長範囲の光を放射する赤外線ＬＥＤからなるクラスタによって照らされる。該カメラは、該ＬＥＤによって生成された波長の光のみを伝達する帯域通過フィルタを備えた近赤外線に感度が良いモノクロＣＣＤである。さらなるイメージ品質の向上及び周囲光の排除のために、該カメラとＬＥＤとを一緒にストロボさせることができる。
【０１２４】
上記システムの一実施形態において、上記カメラは、上記スクリーンの前の領域の比較的歪んでいない視野を有する。歪みを低減するために、該カメラは、該スクリーンから有効な距離に配置することができる。代替的に、該カメラは、該スクリーンに近づけて配置することができ、フレネルレンズを該スクリーン上または該スクリーンの後ろに配置することができる。図２０Ａは、該カメラを該スクリーンに近接させた高歪み構成を示す。図２０Ａにおいては、対象２０１０及び対象２０２０が、該カメラの視野からは同じ位置に見えるが、該スクリーンの非常に異なる部分の上にあることに注意する。図２０Ｂ、図２１Ａ及び図２１Ｂは、歪みが低減された幾つかの構成を示す。図２０Ｂは、該カメラが該スクリーンから離れており、該カメラの視野を反射させることにより、ディスプレイ全体をコンパクトに保つことができる低歪み構成を示す。図２０Ｂにおいては、対象２０３０及び対象２０４０が、該カメラの視野からは同じ位置に見え、該スクリーンの上の同様の位置を占めていることに注意する。図２１Ａ及び図２１Ｂは、それぞれ、歪みを低減またはなくすフレネルレンズの使用を示す。
【０１２５】
フレネルレンズは、複数のカメラを上記システムにおいて使用できるようにするためにも用いることができる。図２１Ｃは、２カメラシステムにおいて歪みをなくすフレネルレンズの使用を示す。各カメラは、該カメラの視野に対する歪みをなくすフレネルレンズを有する。該２つのカメラの視野が、交差することなくわずかに接するため、対象は、一方のカメラの視野から他方のカメラの視野へ途切れなく通過することができる。この方法は、多くのカメラに恩恵を及ぼし、カメラからなる格子を該スクリーンの後ろに配置することができるようにする。この方法は、上記インタラクティブ・ディスプレイを奥行きのないものにすることができ、該ディスプレイに、フラットパネルディスプレイと同様の形状要素を与える。同様に、歪みをなくすフレネルレンズの使用は、全てのディスプレイからの複数のカメラを、継ぎ目なく一緒にタイル張りのように並べることができるように、複数の内蔵型ディスプレイを一緒にタイル張りのように並べることができるようにする。
【０１２６】
上記カメラからの３Ｄイメージを取得するのにある方法を用いる場合、該カメラの位置は、座標変換を実行することにより、歪みをソフトウェアで補正することができるため、重要性が小さくなる。例えば、各ピクセルに対する該カメラの深度測定値は、（ｘ，ｙ，ｚ）座標に変換することができ、ここで、ｘ及びｙは、該箇所に最も近い該表示スクリーン上の位置に対応し、ｚは、該箇所に対する該スクリーン上の位置（ｘ，ｙ）からの距離に対応する。３Ｄイメージは、数あるソフトウェアをベースとする及びハードウェアをベースとするアプローチの中でも、タイムオブフライト型カメラを用いることにより、ハードウェアで取得することができる。タイムオブフライト型カメラの製造者は、Ｃａｎｅｓｔａおよび３ＤＶ Ｓｙｓｔｅｍｓを含む。上述したアプローチは、ほとんどのタイムオブフライト型カメラが赤外線イルミネータを用いるため、タイムオブフライト型カメラを上記スクリーンの後ろに配置することと両立する。
【０１２７】
カメラのためのイルミネータ
上記カメラの波長を考慮して上記スクリーンの前のインタラクティブ領域を照らすイルミネータは、該スクリーンの周囲、該スクリーンの後ろまたはその両方に配置することができる。
【０１２８】
それらのイルミネータが該スクリーンの周囲に配置されている場合、該イルミネータは、上記インタラクティブ領域を直接照らし、それらの明るさを最大限にできるようにする。しかし、この構成は、信頼できるものではなく、ユーザが該イルミネータの光路を遮断する可能性があり、該インタラクティブ領域内のいくつかの対象が照らされることが妨げられる可能性がある。また、この構成は、該スクリーンに触れている対象を照らすことを困難にする。
【０１２９】
上記スクリーン周辺に配置されたイルミネータについての上述した問題は、該イルミネータを該スクリーンの後ろに配置することにより解決され、上記カメラの近傍のイルミネータの場合、該カメラに見えるいかなる対象も照らされることになる。しかし、それらのイルミネータからの光は、レイリー散乱物質、テクスチャー加工された材料、または、該スクリーンの後ろの散乱偏光子によって後方散乱する可能性がある。この後方散乱は、該カメラのイメージのコントラストを著しく低下させ、上記視覚システムが該カメラのイメージを解読することを困難にする。
【０１３０】
光が散乱偏光子によって散乱されている場合、上記カメラは、近赤外光に対して感度が良く、上記イルミネータは近赤外光を放射し、それに伴って、上述したコントラストの損失は、赤外光を直線偏光させる赤外線直線偏光子を用いることによって低減することができる。偏光方向を、散乱偏光子が透過性である方向に対して平行にした状態で、該カメラの前に赤外線直線偏光子を配置することは、後方散乱を著しく低減し、かつコントラストを改善することになる。また、偏光方向を、該散乱偏光子が透過性である方向に対して平行にした状態で、該赤外線イルミネータの前に赤外線直線偏光子を配置することも、後方散乱を低減し、かつコントラストを改善することになる。
【０１３１】
ウィンドウディスプレイ
本発明の別の態様によれば、上記内蔵型インタラクティブ・ビデオ・ディスプレイは、ウィンドウディスプレイと共に使用することができる。内蔵型インタラクティブ・ビデオ・ディスプレイは、様々な物理的構成、例えば、上記スクリーンを水平、垂直または対角線状に配置することで、配置することができる。しかし、そのようなディスプレイをウィンドウ上に配置した場合には、いくつかの追加的な実行可能な構成がある。
【０１３２】
図２２は、本発明の一実施形態による、インタラクティブ・ウィンドウ・ディスプレイ２２００の例示的な構成を示す。一実施形態においては、内蔵型とする代わりに、コンポーネントを物理的に分離することができる。スクリーン２２１０は、ウィンドウ２２２０面に直接貼ることができ、あるいは、ウィンドウ２２２０の後ろに独立して設けることができる。カメラ２２３０、プロジェクタ２２４０及びイルミネータ２２５０は、近くに、または、別々の位置に配置することができ、また、床、天井またはウィンドウ２２２０からの様々な距離の間のどこかに設けることができる。場合によっては、赤外線イルミネータ２２５０を、該イルミネータが、スクリーン２２１０を通してではなく、対象を直接照射するように、スクリーン２２１０の側に配置することができる。また、場合によっては、カメラ２２３０とコンピュータ２２６０との間、または、コンピュータ２２６０とプロジェクタ２２４０との間の通信をワイヤレスにしてもよい。
【０１３３】
ウィンドウディスプレイ内の該カメラは、一般に、水平方向に向けられている。その結果として、該カメラは、通常、上記スクリーンから任意の距離で人を見る。視覚ソフトウェア、スクリーン材料または他のシステムを、過大な距離における対象を識別及び除去するのに用いることができるが、より遠くの対象が、それらを見るカメラのために、一定の最小高さからなる必要があるように、該カメラを上方へ傾けることも可能である。それに伴って、数フィートのスクリーンの範囲内の人のみが該スクリーンと相互に作用することができる。そのようなディスプレイに近づいてくるユーザは、該スクリーンの底部に最初に現れ、その後、該ユーザが該スクリーンに近づくにつれて、段々浮かび上がってくる仮想的な存在に気付くことになる。図２２は、このように上方に傾けたカメラ２２３０を示す。
【０１３４】
グレアは、ウィンドウディスプレイにおける課題である。しかし、ウィンドウディスプレイのユーザが、典型的に、該スクリーンを見る角度は限られる。そういう人たちは、おそらく、該ディスプレイ上の対象を指差す空間を有するように、該ディスプレイから少なくとも数（例えば、２）フィートの距離を保つため、一般に、斜角で該スクリーンを見ることはないであろう。目線以下のディスプレイの場合、人は、特に、斜角で該ディスプレイを見上げることはないであろう。該プロジェクタが、そのビームを斜角で下方へ投影する状態で、該スクリーンに極端に近づけてかつ該スクリーンの上部の上に配置されている場合には、この低グレア状態が実現されるであろう。代替的に、該ディスプレイが目線以上になるように配置されている場合、該プロジェクタを該スクリーンの下に近づけて配置して、斜角で上方に投影することにより、同様のグレアの低減を達成することができる。軸外しプロジェクタは特に、この種の構成に特に有用であることに注意する。
【０１３５】
ウィンドウユニット：代替構成
上記スクリーンの可視光透過性は、内蔵型ユニットよりもウィンドウユニットにおいてより望ましい。従って、ウィンドウディスプレイは、特定の角度で該スクリーン上に照射される光に対して半透過性である部分的に透過性のスクリーンを用いて形成することができる。該部分的に透過性のスクリーンを形成するのに用いることができる一つの材料は、Ｄａｉ Ｎｉｐｐｏｎ Ｐｒｉｎｔｉｎｇにより製造されて“ＨｏｌｏＣｌｅａｒ”の商品名で市販されており、このような材料は、３５度の角度で該スクリーンに照射される光に対して半透過性である。このスクリーンは、上記赤外線透過・可視光半透過性スクリーンまたは散乱偏光子スクリーンの代わりになる。上記プロジェクタが、該角度で該スクリーン上に光を照射した場合、該プロジェクタからのグレアは生じないであろう。上記カメラが、該プロジェクタから（該スクリーンに対して）著しく異なる角度にある限り、上記システムは、正しく機能することができるであろう。
【０１３６】
ウィンドウユニットに対するインタフェース
上記ウィンドウユニットに対するインタフェースは、ステレオカメラ、タイムオブフライト型カメラ及びこの特許の“タッチスクリーン”の章で説明した技術の使用を含む、上記内蔵型ユニットと同様の方法を用いて、距離に依存して形成することができる。一実施形態において、該ウィンドウユニットとの相互作用は、全身のインタラクションと、指差し等のより厳密なジェスチャーとの混合を含む。
【０１３７】
深度情報を抽出する視覚システムの場合、いくつかの方法によって、指差しジェスチャーと他の手の動きとを分離することが可能である。まず、上記カメラのイメージは、全身のインタラクションに対する１つの距離範囲と、指差しジェスチャーに対する別の（おそらくより近い）距離範囲とを用いて、いくつかの距離範囲に分けることができる。後者の距離範囲における対象は、ポインタとして追跡され、その位置は、該ディスプレイ上で実行されるアプリケーションに対する入力として作用する。代替的に、該スクリーンから特定の距離に満たない全ての対象は、該スクリーンに最も近い該対象内の箇所を見つけるために分析することができる。該箇所が、少なくとも特定の閾値だけ、該対象の残りよりも該スクリーンに近い場合、該箇所は、指差しジェスチャーのための入力になる。該スクリーン上の視覚フィードバックは、何らかの検出された手の動きの位置を示すように実行することができる。
【０１３８】
グレアを低減する方法
ビューワが常に、特定の角度範囲から上記プロジェクタのグレアを見るようにする場合、該グレアは、該光景の該カメラの視野に有害な影響を及ぼすことなく、さらに低減することができる。図２３Ａ、図２３Ｂ及び図２３Ｃは、それぞれ、本発明の異なる実施形態による、グレアを低減する様々な方法を示す単純化した概略図である。図２３Ａは、プリーツ付きのスクリーン材料を示す。該スクリーンは、斜角で来る光線が、スクリーンのいくつかの層を通過しなければならず、ほぼ直線状に来る光線が、通常、１つの層のみを通過するように、プリーツが付けられていると仮定する。該プロジェクタの光が斜角で来て、該カメラがほぼ平行に該スクリーンを見る場合、該プロジェクタの光の散乱の量は、該カメラの視野に有害な影響を及ぼすことなく、大幅に増加することになる。図２３Ａにおいて、該カメラの視野の大部分は、１つの層を通過するのみであるが、投射された光の全ては、複数の層を通過する。
【０１３９】
所望の効果を実現するには、いくつかの方法がある。プリーツ付きスクリーンの代わりに、図２３Ｂに示すように、プリーツ付きスクリーンと同じ効果を生成するマイクロルーバー材料を有する平坦なスクリーンを代替使用することができる。代替的に、図２３Ｃに示すように、スクリーン材料の小さく、平坦なシート状粒子を、（全て水平方向に向けて）透過性基板に付加することができる。全ての場合において、斜角で該スクリーンに近づく典型的な光線は、該材料と垂直な典型的な光線よりもより多くの散乱材料に遭遇する。
【０１４０】
全ての場合における上記スクリーンのテクスチャーは、ビューワがそれに気付かないくらい十分に小さくすべきである。この方法は、軸外しプロジェクタを使用する場合に最も有用であるが、該プロジェクタ及びカメラが異なる角度で該スクリーンを見るどのような状況においても有用である。
【０１４１】
上記赤外線光源が上記スクリーンを照射すること及びコントラストを低下させることを防ぐことが重要である。すなわち、赤外線イルミネータが該スクリーンの後ろに配置されている場合、該スクリーンの散乱が最小化される角度で該赤外線イルミネータを配置することが有利である。
【０１４２】
代替的に、狭い範囲の視角で半透過性であり、かつ他の全ての角度で透過性である（Ｌｕｍｉｓｔｙ等の）視界制御フィルム製品は、場合によっては、グレアを低減するのを促進することができる。
【０１４３】
上記プロジェクタを、上記スクリーンに対して特定の角度で配置することにより、該プロジェクタのビームを直接見る誰かが、上記視界制御フィルムが半透過性になる角度で該スクリーンを見ることになるようにすることができる。図２４Ａ及び図２４Ｂは、視界制御フィルムがグレアを低減することができる一つの方法を示す。図２４Ａは、１種類の視界制御フィルムを通して光を見る人（またはカメラ）の体験を示す。該半透過性領域からの光は拡散され、この領域内の光源からのいかなるグレアも低減されまたはなくなる。２つの透過性領域からの光源は拡散されず、人またはカメラが、それらの領域内で対象を見ることができるようになる。視界制御フィルムの領域の境界は、多くの場合、一方向に沿った光線と該視界制御フィルムの表面との間の角度に対する値の範囲によって定義される。図２４Ｂは、インタラクティブ・ウィンドウ・ディスプレイ上のグレアを低減する、単純化した構成の視界制御フィルムを示す。該視界制御フィルムは、上記赤外線透過・可視光半透過性スクリーンと共に使用される。該プロジェクタの角度のため、該視界制御フィルムが光を拡散させる角度である状態を要することなく、該プロジェクタのビームを直接見ることが可能である。しかし、上記カメラは、該視界制御フィルムが透過性である角度で向けられているため、該視界制御フィルムを通して対象を見ることができる。従って、グレアは、光景を見る該カメラの能力に影響を及ぼすことなく低減される。
【０１４４】
例示的な構成
ウィンドウディスプレイ２５００の一つの例示的な実施形態は、図２５に示すように、散乱偏光子をスクリーンとして用いる。この実施形態は、該ディスプレイを作動させるのに必要な全ての検知及び表示コンポーネントが、ウィンドウ２５０５の後ろに配置されているインタラクティブ・ウィンドウ・ディスプレイ２５００である。ウィンドウディスプレイ２５００は、ウィンドウ２５０５の前のユーザが、自然な身体動作によって、ウィンドウ２５０５上に表示されたビデオイメージと対話できるようになっている。
【０１４５】
一実施形態において、表示されたイメージは、ＬＣＤプロジェクタ２５１０によって生成される。ほとんどのＬＣＤプロジェクタにおいては、赤色及び青色の光が一方向に偏光され、緑色は、垂直方向に偏光される。ＣｏｌｏｒＬｉｎｋ Ｃｏｒｐｏｒａｔｉｏｎによって生み出された位相差板スタック“ＣｏｌｏｒＳｅｌｅｃｔ”技術等の色選択性偏光回転子２５１５は、緑色の光の偏光を９０度回転させるのに用いられる。代替的に、赤色及び青色の光の偏光は、同じ効果を実現するために、９０度だけ回転させることができる。プロジェクタ２５１０の前に色選択性偏光回転子２５１５を配置することにより、全てのプロジェクタの光は、同じ偏光になる。散乱偏光子２５２５は、最大散乱の方向が該プロジェクタの光と平行になるように方向付けられている。従って、このプロジェクタの光が散乱偏光子２５２５に達すると、該光は全て散乱され、該スクリーンの他方側のユーザに対するイメージが生成される。
【０１４６】
近赤外光のみに感度が良いビデオカメラ２５３０は、“カメラの視野”と呼ばれる、該スクリーンの前の領域を見る。この視野内の対象は、カメラ２５３０に見えることになる。該カメラの視野のための照明は、赤外線ＬＥＤクラスタ２５３５からなるセットから来て、該クラスタは、カメラ２５３０により見える波長の光を該スクリーンの裏側に生成する。該カメラの視野は、該スクリーン近傍にいる人のみが、該視野の範囲内にあるように、上方に傾斜されている。このことは、該スクリーンから離れた対象が、カメラ２５３０を入力として用いるインタラクティブ・アプリケーションに影響を及ぼすことを防止する。
【０１４７】
次に、図２５の例示的な実施形態を介した可視光及び赤外光の経路について説明する。光の２つの垂直な偏光は、偏光Ａ及び偏光Ｂと呼ぶ。
【０１４８】
可視光は、赤色光及び青色光が偏光Ａで緑色が偏光Ｂの状態でＬＣＤプロジェクタ２５１０から現れる。この光は、まず、色選択性偏光回転子２５１５を通過し、該回転子は、赤色光及び青色光を散乱させずに、緑色光が偏光Ａになるように、該緑色光の偏光を回転させる。次に、この光は、直線偏光子２５２０を通過し、該偏光子は、偏光Ａの光を伝達し、偏光Ｂの光を吸収する。この直線偏光子２５２０は、該光を“浄化し”、すなわち、該偏光子は、まだＢで偏光されている該プロジェクタの光を吸収する。次いで、該光は、散乱偏光子２５２５を通過し、該偏光子は、偏光Ａの光を散乱させ、偏光Ｂの光を伝達するような方向に配置されている。すなわち、該プロジェクタの光のほぼ全てが散乱される。この散乱光は、その偏光Ａを保つことに注意する。状況に応じて、該光は、その後、偏光Ａの光を伝達し、かつ偏光Ｂの光を吸収する直線偏光子２５４０を通過してもよい。この偏光子は、イメージ品質の改善に役立つ。
【０１４９】
赤外線イルミネータ２５３５から放射された赤外光は、非偏光を始める可能性がある。状況に応じて、改善された明瞭度のために、この光は、少量の該光が散乱偏光子２５２５により散乱されるように、まず、赤外線直線偏光子を通過して該光を偏光Ｂに偏光させることができる。該光が偏光されない場合、該光の一部は、該光が散乱偏光子２５２５を通過する際に散乱されることになるが、偏光Ａの光は、散乱されずに散乱偏光子２５２５を通過することになる。該赤外光の波長は十分に長いため、該光は、影響を受けずにいずれかの可視光直線偏光子２５４０を通過し、人であるユーザ等の上記スクリーンの前の対象を照らすことができる。
【０１５０】
ウィンドウ２５０５の前からカメラ２５３０の方へ戻ってくる赤外光は、直線偏光子２５４０の影響を受けない。しかし、該光が散乱偏光子２５２５を通過する際に、偏光Ａの光は散乱し、偏光Ｂの光は散乱されないままとなる。カメラ２５３０は、その直前に赤外線直線偏光子２５４５を有し、この偏光子２５４５は、偏光Ａの光を吸収し、かつ偏光Ｂの光を伝達する。従って、カメラ２５３０は、散乱偏光子２５４５によって散乱されていない偏光Ｂの光のみを見る。このことは、カメラ２５３０に、該スクリーンの前の領域の明瞭で高コントラストのイメージを与える。
【０１５１】
プリズムフィルムの使用
一般的なインタラクティブ投影型ウィンドウディスプレイにおいては、該ウィンドウディスプレイの下の領域をクリアにし、上記カメラが見る領域が上方に傾斜するように該カメラを配置することが望ましいことが多い。この状況は、プリズムフィルムを通過する全ての光の向きを特定の角度に向け直すプリズムフィルムの使用によって実現することができる。例えば、３Ｍにより製造されているＶｉｋｕｉｔｉ ＩＤＦ ｆｉｌｍは、入射光の向きを２０度変える。１つ以上のそれらのフィルムを上記投影スクリーンのいずれかの面に配置して、光を上方へ向け直すことにより、該カメラは、図２６に示すように、該スクリーンと比較してより高く配置することができる。
【０１５２】
小型化
上記システムの全体のサイズは、ミラーを用いて小型化することができる。図２７は、上記カメラ及びプロジェクタが、上記ウィンドウから離れる方向に向けられて、該ウィンドウに隣接して配置されており、ミラーが該光ビームを反射して該ウィンドウの方へ戻す構成を示す。
【０１５３】
カメラの改良
さらなるイメージ品質の向上及び周囲光の排除のために、上記カメラと該カメラのイルミネータとを、一緒にストロボさせることができる。このアプローチは、３Ｄイメージングのための様々なソフトウェア及びハードウェアアプローチの利用と完全に適合する。特に、このデザインのカメラ及びイルミネータは、タイムオブフライト型カメラと置き換えることができる。
【０１５４】
可視光システム
（図２５に示すように）直線偏光子が散乱偏光子に隣接して付加されていない場合、該デザインは、赤外線カメラの使用を必要としない。偏光方向を、該散乱偏光子が透過性になる方向と平行にした状態で、該カメラの直前に可視光直線偏光子がある限り、カラーまたは白黒の可視光カメラは、上記スクリーンの前の領域を撮像することができる。従って、投影されたイメージは、該カメラによって見られず、該カメラが、妨げられていない該スクリーンの前の領域を見ることができるようになる。このカメラは、現在ある周囲光によって、または、該スクリーンの前のユーザ及び対象を照らすために該ディスプレイの近くに配置された追加的な可視光によって作動することができる。追加的な可視光を付加した場合、該カメラ及び光は、該カメラのイメージの品質を向上させ、かつ周囲光及び該イメージに対するプロジェクタの光の影響を制限するために、本願の“方向性周囲赤外線”の章で説明したように、一緒にストロボしてもよい。
【０１５５】
さらなるイメージ品質の向上に対しては、高速開口を上記プロジェクタのレンズの前に配置することができる。この開口は、機械的または電子的なものにすることができ、すなわち、１つの利用可能な電子的開口は、Ｍｅａｄｏｗｌａｒｋ Ｏｐｔｉｃｓによって製造されている、液晶をベースとするＶｅｌｏｃｉｔｙ Ｓｈｕｔｔｅｒである。一実施形態において、このシャッタは、ほとんど常に開いたままであり、該プロジェクタの光が通過できるようになっている。該シャッタは、該プロジェクタの光を遮断し、上記カメラが写真を撮るためだけに閉じる。該カメラの露出時間が短い場合、該プロジェクタの輝度は、ほとんど影響を受けないことになる。該カメラの露出中に該プロジェクタの光を遮断する速度シャッタの使用も、可視光カメラを、投影型インタラクティブフロアまたはウォールディスプレイの前で使用できるようにすることに注意する。
【０１５６】
インタラクティブ・ビデオ・プロジェクション・システムにおける可視光カメラの使用の場合、各ピクセルを前景または背景として分類する視覚信号に加えて、上記スクリーンの前の人（該システムのユーザ）のリアルタイムの写真が得られることに注意する。このことは、該視覚システムが、該システムのユーザの写真と、除去される静止背景とを分離することを可能にする。この情報は、該システムが、人為的に生成されたイメージを該ユーザの上または周囲に挿入した状態で、該ユーザのカラーイメージを、表示する該イメージ中に配置できるようにする。このシステムが正確に較正されている場合、ユーザは、該スクリーンに触れることができ、該ユーザの表示されたイメージは、該スクリーン上の同じ位置に同時に触れることになる。これらの特徴は、例えば、ユーザが、インタラクティブな内容に配置されたユーザ自身を事実上見ることができることを含む、このディスプレイ上で実行するインタラクティブなアプリケーションの品質の著しい向上を実現できる。
【０１５７】
上記カメラからの可視光イメージは、該ミラーは、実際のミラーのように見えかつ作用する仮想ミラーを形成するのに用いることができるが、該ミラーイメージは、電子的に操作することができる。例えば、該イメージは、非反転ミラーを形成するように水平方向に裏返すことができ、この場合、ユーザは、他の人が該ユーザのイメージを見る様に、該ユーザ自身のイメージを見る。代替的に、該イメージは、人が、自身の背中を見るために振り返ることができるように、遅延させることができる。従って、このシステムは、例えば、ドレッシングルームを含む、ミラーが使用される環境における用途を有することができる。
【０１５８】
タイムオブフライト型カメラ・インタラクティブ・ディスプレイ
本発明の実施形態は、タイムオブフライト型カメラを用いて実施することができる。タイムオブフライト型カメラは、そのイメージの各ピクセルのための距離情報を検知する予め組込まれた性能を有する。タイムオブフライト型カメラを使用すると、変更されたディスプレイに対する必要性が排除される。換言すれば、該タイムオブフライト型カメラは、変更を要することなく、何らかのディスプレイ（例えば、ＬＣＤパネル、ブラウン管ディスプレイ等）と共に機能してもよい。単一のタイムオブフライト型カメラを用いてもよい。しかし、単一のタイムオブフライト型カメラは、該カメラに近接している対象によって遮られている対象を検知することができない可能性がある。そのため、本発明の実施形態は、図２８に示すように、複数のタイムオブフライト型カメラを用いる。
【０１５９】
カメラの冗長性を用いれば、他方の対象を遮る一方の対象のため、もはや、全ての対象を検知できない１つのカメラのことを気にする必要はない。例えば、図２９に示すように、４つのタイムオブフライト型カメラを、１つのディスプレイの角部に配置して、該ディスプレイの全体の領域がインタラクティブにすることができる。複数のカメラに対してこのタイムオブフライト型の実施を用いるために、座標変換が各タイムオブフライト型カメラの各ピクセルに対して実行されて、各ピクセルが共通の座標空間内に入れる。１つのこのような空間は、（ｘ，ｙ）、すなわち、該ディスプレイ面に垂直に投影されるポイントの位置と、（ｚ）、すなわち、該ディスプレイからの距離とによって定義される。この座標空間の変換は、上記スクリーンに対する各カメラの角度（及び位置）で見ることにより決定することができる。代替的に、該変換は、既知のサイズ、形状及び位置の対象が、該スクリーンの前に配置されている較正プロセスによって決定することができる。該カメラの各々に対象を撮像させることにより、適切な変換機能を、各カメラによって見られるポイントから該共通の座標空間内のポイントへ確定することができる。該カメラの座標変換がリアルタイムで行われる場合、３Ｄの該カメラの前の領域のリアルタイムの写真が実現される。
【０１６０】
利用法
上記インタラクティブ・ビデオ・ディスプレイ・システムは、多くの異なる用途に用いることができる。タッチスクリーンのような動作及び全体または部分的な輪郭相互作用を有する該システムの能力は、ボタン及び対象のより厳密な選択及び操作を要する情報インタフェースに対するそのアピールを増す。
【０１６１】
透過性ディスプレイスクリーンをベースとする及びプロジェクタをベースとするインタラクティブ・ディスプレイ・システムは、限定するものではないが、ユーザが自身の体を動かしてゲームをプレイするインタラクティブ・ビデオゲーム、インタラクティブメニュー、カタログ、及びジェスチャーを用いて、情報内容のページをユーザに検索させる検索システム、ユーザが、自身のイメージを用いて衣服を試着できるようにするシステム、ユーザのイメージまたは輪郭が、ビデオ・エフェクト・システムへの入力として作用するピュア・エンタテインメント用途、該スクリーンの前のユーザの動きと相互作用するインタラクティブ・キャラクター、及びユーザが体を動かすことによって相互作用する仮想遊園地及び童話を含む。
【０１６２】
本発明の他の利用法は、限定するものではないが、ユーザが、ディスプレイ上で製品をカスタマイズする使用可能なオプションをカスタマイズするまたは見ることを可能にすること、ディスプレイ上の製品を、ディスプレイインタフェース、キーボード、クレジットカードの読取り、または、これら３つの組合せを用いて、該ディスプレイで注文できるようにすること、該ディスプレイ上の複数の製品の特徴を比較すること、該ディスプレイ上の複数の製品間の組合せまたは互換性を示すこと、及び製品を異なる仮想背景（例えば、水、森、アスファルト等）内に置いて、その特徴を説明することを含む。
【０１６３】
周辺装置
透過性ディスプレイスクリーンをベースとする及びプロジェクタをベースとするインタラクティブ・ディスプレイ・システムは、限定するものではないが、マイクロフォン、タッチスクリーン、キーボード、マウス、ＲＦＩＤタグ、圧力パッド、携帯電話の信号、ＰＤＡ及びスピーカを含む追加的な入力装置及び出力装置を組み込むことができる。
【０１６４】
透過性ディスプレイスクリーンをベースとする及びプロジェクタをベースとするインタラクティブ・ディスプレイ・システムは、一緒にタイル張りのように並べて、単一のより大きなスクリーンまたはインタラクティブ領域を形成することができる。また、タイル張りのように並べられたスクリーンまたは物理的に独立したスクリーンもネットワーク化することができ、一方のスクリーン上のアクションが他方のスクリーン上のイメージに影響を及ぼすことを可能にする。
【０１６５】
例示的な実施において、本発明は、統合する方法またはモジュラー化する方法で、制御論理のかたちでハードウェアとソフトウェアの組合せを用いて実施される。本明細書に記載した開示及び教示に基づいて、当業者は、本発明を実施する他の手段および／または方法を理解するであろう。
【０１６６】
概して、この文書は、内蔵型インタラクティブ・ビデオ・ディスプレイ・システムについて開示している。フラットパネル・ディスプレイ・スクリーンは、該フラットパネル・ディスプレイ・スクリーンの前面のユーザに対する提示のために視覚イメージを表示する。第１のイルミネータは、可視光で該フラットパネル・ディスプレイ・スクリーンを照らす。第２のイルミネータは、対象を照らす。カメラは、照らされた対象と該視覚イメージとの相互作用を検知し、該カメラは、該フラットパネル・ディスプレイ・スクリーンを通して該対象を見ることができるように機能する。コンピュータシステムは、上記プロジェクタに、該相互作用に応じて該視覚イメージを変えるように指示する。
【０１６７】
一つの例示的な態様において、上述したように本発明は、カメラが、ディスプレイの前の領域を見ることができるようになっているシステムを実現できる。関連する発明において、システムは、該ディスプレイの前に反応性空間を生成するように形成される。本発明は、該反応性空間から情報を取得するのに用いることができる。
【０１６８】
本明細書に記載した実施例及び実施形態が、単に説明のためのものであり、また、それを踏まえて様々な変更または変形が、当業者に思いつかれ、この出願の趣旨及び範囲内に及び添付の請求項の範囲内に含まれるべきであることは言うまでもない。本明細書において引用した全ての出版物、特許及び特許出願は、それらの全体が参照により本明細書に組み込まれる。
【０１６９】
本発明の様々な実施形態、すなわち、内蔵型インタラクティブ・ビデオ・ディスプレイ・システムはこのように説明された。本発明を特定の実施形態において説明してきたが、本発明は、そのような実施形態によって限定されるものと解釈すべきではなく、むしろ以下の請求項に従って解釈すべきであることを正しく認識すべきである。
【図面の簡単な説明】
【０１７０】
この明細書の一部に組み込まれており、かつ該明細書の一部を構成する添付図面は、本発明の実施形態を示し、また、説明と共に本発明の原理を説明するのに役立つ。
【図１】図１は、本発明の一実施形態によるインタラクティブ・ビデオ・システムのコンポーネントの一つの物理的構成を示す。
【図２】図２は、本発明の一実施形態による、直線偏光シートが、グレアをなくすまたは低減するのに用いられるスクリーンの一つの構成を示す。
【図３】図３は、本発明の様々な実施形態による、インタラクティブ・ビデオ・システムのいくつかの他の構成の断面図を示す。
【図４Ａ】図４Ａは本発明の実施形態によるインタラクティブ・ビデオ・システムの実施形態を示す概略図である。
【図４Ｂ】図４４Ｂは、本発明の実施形態によるインタラクティブ・ビデオ・システムの実施形態を示す概略図である。
【図５Ａ】図５Ａは、本発明の実施形態によるインタラクティブ・ビデオ・システムの実施形態を示す概略図である。
【図５Ｂ】図５Ｂは、本発明の実施形態によるインタラクティブ・ビデオ・システムの実施形態を示す概略図である。
【図６Ａ】図６Ａは、本発明の実施形態による軸外し投影の２つの構成を示す概略図である。
【図６Ｂ】図６６Ｂは、本発明の実施形態による軸外し投影の２つの構成を示す概略図である。
【図７Ａ】図７Ａは、本発明の一実施形態による、インタラクティブ・フラットパネル・ディスプレイ・システムを示す概略図である。
【図７Ｂ】図７Ｂは、本発明の一実施形態による、インタラクティブ・フラットパネル・ディスプレイ・システムを示す概略図である。
【図８Ａ】図８Ａは、本発明の一実施形態による、フレネルレンズを用いてイメージ歪みを低減する技術を示す概略図である。
【図８Ｂ】図８Ｂは、本発明の一実施形態による、一連のミラーストリップを用いてイメージ歪みを低減する技術を示す概略図である。
【図９Ａ】図９Ａは、本発明の一実施形態による、散乱偏光子スクリーンを有するインタラクティブ・ビデオ・ディスプレイ・システムの概略レイアウトを示す。
【図９Ｂ】図９Ｂは、本発明の一実施形態による、散乱偏光子スクリーンを有するインタラクティブ・ビデオ・ディスプレイ・システムの概略レイアウトを示す。
【図１０Ａ】図１０Ａは、本発明の一実施形態による、微小散乱隆起部またはバンプを有するスクリーンの断面を示す。
【図１０Ｂ】図１０Ｂは、本発明の一実施形態による、微小散乱ピットまたは溝を有するスクリーンの断面を示す。
【図１１】図１１は、本発明の一実施形態による、エッジライティングのためのサンプルの構成を示す。
【図１２Ａ】図１２Ａは、本発明の一実施形態によるフラットパネルディスプレイの断面を示す。
【図１２Ｂ】図１２Ｂは、本発明の別の実施形態によるフラットパネルディスプレイの断面を示す。
【図１３】図１３は、本発明の一実施形態によるカメラ及び照明サブシステムを示す。
【図１４】図１４は、本発明の一実施形態による、傾けた散乱偏光子を用いた、カメラのための照明サブシステムを示す。
【図１５】図１５は、本発明の一実施形態による、タイムオブフライト型カメラのためのカメラ及び照明サブシステムを示す。
【図１６】図１６は、本発明の一実施形態による、３Ｄデータをキャプチャする第１の構成を示す。
【図１７】図１７は、本発明の一実施形態による、３Ｄデータをキャプチャする第２の構成を示す。
【図１８Ａ】図１８Ａは、本発明の一実施形態による、３Ｄデータをキャプチャする２つの追加的な構成を示す。
【図１８Ｂ】図１８Ｂは、本発明の一実施形態による、３Ｄデータをキャプチャする別の構成を示す。
【図１９Ａ】図１９Ａは、本発明の一実施形態による、光散乱を示す概略図である。
【図１９Ｂ】図１９Ｂは、本発明の一実施形態による、光散乱を示す概略図である。
【図２０Ａ】図２０Ａは、本発明の一実施形態による、高歪みを示す。
【図２０Ｂ】図２０Ｂは、本発明の一実施形態による、ディスプレイスクリーンからカメラを遠ざけたことによる低減された歪みを示す。
【図２１Ａ】図２１Ａは、本発明の一実施形態による、フレネルレンズを用いた歪み低減を示す。
【図２１Ｂ】図２１Ｂは、本発明の一実施形態による、フレネルレンズを用いた歪み排除を示す。
【図２１Ｃ】図２１Ｃは、本発明の一実施形態による、２カメラシステムにおいて歪みをなくすフレネルレンズの使用を示す。
【図２２】図２２は、本発明の一実施形態による、ウィンドウディスプレイを示す概略図である。
【図２３Ａ】図２３Ａは、本発明の異なる実施形態による、グレアを低減する様々な技術を説明する概略図である。
【図２３Ｂ】図２３Ｂは、本発明の異なる実施形態による、グレアを低減する様々な技術を説明する概略図である。
【図２３Ｃ】図２３Ｃは、本発明の異なる実施形態による、グレアを低減する様々な技術を説明する概略図である。
【図２４Ａ】図２４Ａは、本発明の実施形態による、視界制御フィルムを用いてグレアを低減する技術を説明する概略図である。
【図２４Ｂ】図２４Ｂは、本発明の実施形態による、視界制御フィルムを用いてグレアを低減する技術を説明する概略図である。
【図２５】図２５は、本発明の一実施形態による、散乱偏光子を用いたウィンドウディスプレイの一つの構成の断面を示す。
【図２６】図２６は、本発明の一実施形態による、散乱偏光子及びマイクロプリズム材料を用いたウィンドウディスプレイの一つの構成の断面を示す。
【図２７】図２７は、本発明の一実施形態による、簡潔化目的のためにミラーを用いたウィンドウディスプレイの一つの構成の断面を示す。
【図２８】図２８は、本発明の一実施形態による、多数のタイムオブフライト型カメラを含むインタラクティブ・ディスプレイの側面を示す。
【図２９】図２９は、本発明の一実施形態による、多数のタイムオブフライト型カメラを含むインタラクティブ・ディスプレイの平面を示す。
【関連出願の相互参照】
【０００１】
この出願は、２００２年５月２８日に提出され、本願の譲受人に譲渡されたＢｅｌｌによる“ＩＮＴＥＲＡＣＴＩＶＥ ＶＩＤＥＯ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭ”というタイトルの同時係属中の米国特許出願第１０／１６０，２１７号からの優先権を主張する一部継続特許出願であり、該出願は、参照により本明細書に組み込まれる。また、この出願は、２００３年９月１８日に提出され、本願の譲受人に譲渡されたＢｅｌｌによる“ＳＥＬＦ−ＣＯＮＴＡＩＮＥＤ ＩＮＴＥＲＡＣＴＩＶＥ ＶＩＤＥＯ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭ”というタイトルの同時係属中の米国仮特許出願第６０／５０４，３７５号から、２００３年１０月２４日に提出され、本願の譲受人に譲渡されたＢｅｌｌによる“ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＰＲＯＣＥＳＳＩＮＧ ＣＡＰＴＵＲＥＤ ＩＭＡＧＥ ＩＮＦＯＲＭＡＴＩＯＮ ＩＮ ＡＮ ＩＮＴＥＲＡＣＴＩＶＥ ＶＩＤＥＯ ＳＹＳＴＥＭ”というタイトルの同時係属中の米国仮特許出願第６０／５１４，０２４号から、２００３年１２月９日に提出され、本願の譲受人に譲渡されたＢｅｌｌによる“ＳＥＬＦ−ＣＯＮＴＡＩＮＥＤ ＩＮＴＥＲＡＣＴＩＶＥ ＶＩＤＥ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭ ＡＮＤ ＦＥＡＴＵＲＥＳ ＲＥＬＡＴＩＮＧ ＴＨＥＲＥＴＯ”というタイトルの同時係属中の米国仮特許出願第６０／５２８，４３９号から、および２００４年３月１８日に提出され、本願の譲受人に譲渡されたＢｅｌｌ ｅｔ ａｌ．による“ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＡＬＬＯＷＩＮＧ Ａ ＣＡＭＥＲＡ ＴＯ ＶＩＥＷ ＡＮ ＡＲＥＡ ＩＮ ＦＲＯＮＴ ＯＦ Ａ ＤＩＳＰＬＡＹ ＢＹ ＩＭＡＧＩＮＧ ＩＴ ＴＨＲＯＵＧＨ ＴＨＥ ＤＩＳＰＬＡＹ”というタイトルの同時係属中の米国仮特許出願第６０／５５４，５２０号から優先権を主張し、これら全ては参照により本明細書に組み込まれる。
【技術分野】
【０００２】
本文書は、ビジュアル電子ディスプレイの分野に関する。具体的には、ここで説明する実施形態は、内蔵型インタラクティブ・ビデオ・ディスプレイ・システムに関する。
【背景技術】
【０００３】
長年にわたって、情報は、典型的には、静的ディスプレイを用いてオーディエンスに伝達された。例えば、商品広告は、印刷広告やポスターを用いて提示された。テレビや映画の登場に伴って、情報は、動的ディスプレイ（例えば、コマーシャル）を用いて提示できるようになった。静的ディスプレイよりも魅力的ではあるが、動的ディスプレイは、典型的には、ユーザと該ディスプレイとの間の双方向性を実現できない。
【０００４】
最近になって、インタラクティブ・タッチスクリーンが、情報を平面上に表示するのに用いられてきている。例えば、イメージをタッチスクリーン上に表示することができ、また、ユーザは、該タッチスクリーンに触れて、該イメージを変えることにより、該イメージと対話することができる。しかし、該タッチスクリーン上に表示されたイメージと対話するために、該ユーザは、該タッチスクリーンに実際に触れなければならない。また、典型的には、タッチスクリーンは、どんなときにも１つの入力を受取ることしかできず、該入力の形態を識別することができない。本質的に、現在のタッチスクリーンは、一本指接触の入力を受取ることしかできない。
【０００５】
店舗販売、小売広告、プロモーション、アーケードの催し場所等の使用目的によっては、情報をユーザに対して表示するインタラクティブ・インタフェースを提供することが望ましい。この双方向性は、情報を提示する、より魅力的なインタフェース（例えば、媒体、広告等）を提供する。ちょっとの間だけでも人の注目を捉えることにより、人は、従来のディスプレイよりも、該インタラクティブ・ディスプレイに表示された情報を吸収しやすくなる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述したように、現在のインタラクティブ・ディスプレイは、典型的には、ユーザがタッチスクリーン表面に物理的に触れることを必要とする。双方向性を提供するにはタッチスクリーンとの接触を要するため、多数の潜在的なユーザは、現在のインタラクティブ・ディスプレイに興味を持たず、あるいは、該ディスプレイを敬遠する。また、一度に、１人のユーザのみがタッチスクリーンと対話することができるため、多くのユーザは、排除される。さらに、現在のタッチスクリーンは、入力の形態を識別できないため、対話に応答して表示できる情報の種類が限定されている。
【課題を解決するための手段】
【０００７】
本発明の様々な実施形態、すなわち、内蔵型インタラクティブ・ビデオ・ディスプレイ・システムを本明細書において説明する。フラットパネル・ディスプレイ・スクリーンは、該フラットパネル・ディスプレイ・スクリーンの前面のユーザへの提示のために、視覚イメージを表示する。一実施形態において、該フラットパネル・ディスプレイ・スクリーンは、液晶ディスプレイ（ＬＣＤ）パネルである。第１のイルミネータは、該フラットパネル・ディスプレイ・スクリーンを可視光で照らす。一実施形態において、該内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、該第１のイルミネータのグレアを低減する拡散スクリーンをさらに備え、より均一に該フラットパネル・ディスプレイ・スクリーンを照らす。第２のイルミネータは、対象を照らす。一実施形態において、該対象は、人であるユーザの体の一部である。一実施形態において、該第２のイルミネータは、該フラットパネル・ディスプレイ・スクリーンを通して該対象に照明を投影する。一実施形態において、該第２のイルミネータは、上記カメラに対するグレアの影響の可能性を低減するように配置されている。一実施形態において、該第２のイルミネータは、該第２のイルミネータが、該フラットパネル・ディスプレイ・スクリーンを通して照明を投影しないように、該フラットパネル・ディスプレイ・スクリーンに隣接して配置されている。一実施形態において、該内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、複数の該第２のイルミネータを備え、該第２のイルミネータは、該フラットパネル・ディスプレイ・スクリーンに隣接して、および該スクリーンの後ろに配置されている。一実施形態において、該第２のイルミネータは、該カメラの露出に合わせてストローブされる。
【０００８】
カメラは、照らし出された対象と上記視覚イメージとの相互作用を検知し、該カメラは、上記フラットパネル・ディスプレイ・スクリーンを通して該対象を見ることができるように機能する。一実施形態において、該第２のイルミネータは、赤外線照明で該対象を照らす赤外線イルミネータであり、該カメラは、赤外線照明を検知する赤外線カメラである。一実施形態において、該カメラは、該フラットパネル・ディスプレイ・スクリーンの後ろに配置されて、該スクリーンに向けられており、該カメラが、該スクリーン上及び該スクリーンの前の領域を見ることを可能にする。一実施形態において、該カメラのイメージは、該対象によって引き起こされる相互作用が、該スクリーンに隣接する該対象の物理的位置に整合するように、該視覚イメージに対して較正される。一実施形態において、該カメラ及び該第２のイルミネータは、タイムオブフライト型カメラを備える。一実施形態においては、複数のタイムオブフライト型カメラが、該ディスプレイの前の領域の完全なカバレージを実行できるように配置され、また、該スクリーンによる該タイムオブフライト型カメラへの鏡面反射を防ぐように角度が付けられている。
【０００９】
コンピュータシステムは、上記プロジェクタに、上記相互作用に応じて該視覚イメージを変えるように指示する。一実施形態において、上記カメラ、上記第１のイルミネータ、上記第２のイルミネータ及び該コンピュータシステムは、１つのエンクロージャ内に備えられており、該エンクロージャの１つの側部は、上記フラットパネル・ディスプレイ・スクリーンを備える。
【００１０】
一実施形態において、上記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、上記カメラの視野の歪みを補正するために、上記スクリーンから一定距離に配置された一連のミラーストリップをさらに備える。別の実施形態においては、該内蔵型インタラクティブ・ビデオ・ディスプレイ・ディスプレイ・システムは、該カメラの視野の歪みを補正するために、該スクリーンに隣接して配置されたフレネルレンズをさらに備える。一実施形態において、該内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、該フラットパネル・ディスプレイ・スクリーンに隣接して配置された波長ベースの拡散板をさらに備える。一実施形態において、該拡散板は、赤外光に対して実質的に透過性であり、また、可視光に対して実質的に半透過性である。別の実施形態においては、該拡散板は、レイリー散乱を伴う材料である。一実施形態において、該内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、該フラットパネル・ディスプレイ・スクリーンに隣接して配置された物理的テクスチャーを有する拡散板をさらに備え、該拡散板は、斜角で該拡散板を通過する光に対して実質的に半透過性であり、また、実質的に直角で該拡散板を通過する光に対して実質的に透過性であり、上記第１のイルミネータは、該拡散板に対して斜角で配置されている。
【００１１】
一実施形態において、上記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、上記フラットパネル・ディスプレイ・スクリーンに隣接して配置され、かつ上記第１のイルミネータからの光を散乱させる散乱偏光子をさらに備え、上記カメラは、該散乱偏光子によって散乱されない偏光の光に対して感度が良い。一実施形態において、該フラットパネル・ディスプレイ・スクリーンは液晶ディスプレイパネルである場合、該散乱偏光子は、該散乱偏光子が光を散乱させる方向に偏光された光が該液晶ディスプレイパネルを通過し、該散乱偏光子が光を散乱させない方向に偏光された光が、該液晶ディスプレイパネルによって吸収されるように、方向付けられている。別の実施形態においては、該内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、該カメラが、該散乱偏光子によって散乱される光を無視できるように、該カメラが敏感な波長で該カメラに受光された光を偏光させる直線偏光子をさらに備える。一実施形態において、該内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、実質的に半透過性から実質的に透過性に変化することができ、該第１のイルミネータが該ディスプレイを照らしているときには実質的に半透過性であり、該カメラが、該フラットパネル・ディスプレイ・スクリーンの前の対象を検知しているときには実質的に透過性である拡散材料をさらに備え、該拡散材料は、該フラットパネル・ディスプレイ・スクリーンの後ろに配置されている。
【００１２】
一実施形態において、上記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、該対象の該スクリーンからの距離に関する情報を決定するように機能する。一実施形態において、上記カメラは、ステレオカメラである。別の実施形態においては、該カメラは、タイムオブフライト型カメラである。一実施形態において、該タイムオブフライト型カメラは、該タイムオブフライト型カメラがそれ自体へ戻して反射しないように配置される。
【００１３】
一実施形態において、上記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、上記対象が上記スクリーンに隣接している場合に、タッチスクリーン機能性を提供する。一実施形態において、該内蔵型インタラクティブ・ビデオ・ディスプレイ・システムはさらに、該スクリーンの前面に隣接する透過型タッチスクリーンを備える。別の実施形態においては、該内蔵型インタラクティブ・ビデオ・ディスプレイ・システムはさらに、該スクリーンの前面に隣接する縁部が照射される透過性シートを備え、上記カメラは、該対象が、該縁部が照射される透過性シートに接触したときに生成される光を識別するように機能する。
【００１４】
別の実施形態においては、本発明は、内蔵型インタラクティブ・ビデオ・ディスプレイ・システムを用いてインタラクティブ・視覚イメージを提示する方法を提供する。視覚イメージは、スクリーン上に投影され、該視覚イメージは、該スクリーンの前面のユーザへの提示のために、該スクリーンの裏面に投影される。該スクリーンの前面近くの対象が照らされる。該対象と該視覚イメージとの相互作用が検知され、該スクリーンは、該対象を該スクリーンを通して検知できるように、光に対して少なくとも部分的に透過性である。該視覚イメージは、該相互作用に応じて変化する。
【発明を実施するための最良の形態】
【００１５】
次に、本発明の様々な実施形態、すなわち、その実施例が添付図面に示されている、第２の電子デバイスの周囲での対象の存在をモニタリングする電子デバイスについて詳細に説明する。本発明をそれらの実施形態に関して説明するが、該実施形態は、本発明をそれらの実施形態に限定しようとするものではないことは理解されよう。むしろ本発明は、添付の請求項によって定義される本発明の趣旨及び範囲内に含まれる代替例、変更例及び等価物をカバーしようとするものである。さらに、本発明に関する以下の詳細な説明においては、本発明の完全な理解を可能にするために、多数の特定の詳細が記載されている。しかし、当業者は、本発明をそれらの特定の詳細を要することなく実施することができることを認識するであろう。他の事例において、周知の方法、処理手順、コンポーネント及び回路は、本発明の態様を不必要に分かりにくくしないように、詳細に説明されていない。
【００１６】
以下の詳細な説明のいくつかの部分は、処理手順、ステップ、論理ブロック、処理、およびコンピュータメモリ上で実行することができるデータビットに関する動作の他の記号表現に関して示されている。それらの説明及び表現は、作用の内容を当業者に有効に伝えるために、データ処理技術において当業者により用いられる手段である。処理手順、コンピュータが実行するステップ、論理ブロック、プロセス等は、ここでは及び一般に、所望の結果につながるステップまたは命令からなる自己矛盾のないシーケンスであると考えられる。該ステップは、物理量の物理的処理を要するステップである。通常、必ずしもそうではないが、それらの量は、コンピュータシステムにおいて、格納する、転送する、結合する、比較するおよび他の方法で処理することが可能な電気的または磁気的信号の形をとる。それらの信号を、ビット、値、要素、記号、文字、項、数等と呼ぶことは、一般的に有利である場合があることが分かっている。
【００１７】
しかし、それらの全て及び同様の用語は、適当な物理量と関連付けられ、および、単にそれらの量に適用される便利なラベルであると考えるべきである。以下の考察から明らかなように、別に具体的に述べない限り、本発明の全体を通して、“投影する”または“検知する”または“変化する”または“照らす”または“補正する”または“なくす”等の用語を用いる考察が、電子システム（例えば、図１のインタラクティブ・ビデオ・システム１００）または該電子デバイスのレジスタやメモリ内の物理的（電子的）量として表されたデータを処理し、かつ該データを、該電子デバイスのメモリまたはレジスタあるいは他のそのような情報蓄積、伝送または表示デバイス内の物理量として同様に表された他のデータに変換する同様の電子計算デバイスの動作及びプロセスを指すことは正しく認識されよう。
【００１８】
本発明の様々な実施形態、すなわち内蔵型インタラクティブ・ビデオ・ディスプレイ・システムについて本明細書で説明する。一実施形態において、フラットパネル・ディスプレイ・スクリーンは、フラットパネル・ディスプレイ・スクリーンの前側のユーザへの提示のために、視覚イメージを表示する。第１のイルミネータは、可視光で前記ディスプレイ・スクリーンを照らす。第２のイルミネータは、対象を照らす。カメラは、照らされた対象と前記視覚イメージとの相互作用を検知し、前記カメラが、前記スクリーンを通して前記対象を見ることができるように作動する。コンピュータシステムは、前記ディスプレイ・スクリーンに、前記相互作用に応じて前記視覚イメージを変えるように指示する。
【００１９】
インタラクティブ・ビデオ・プロジェクション・システム
次に、本発明を、１つ以上の例示的な実施形態のかたちで説明する。１つの例示的な実施形態によれば、図１に示すようなインタラクティブ・ビデオ・システム１００が提供される。インタラクティブ・ビデオ・システム１００は、可視光を遮断するフィルタを備えるカメラ１１５と、カメラ１１５から見えるスクリーン１３０を照らすイルミネータ１２５と、イメージをスクリーン１３０のインタラクティブスペース上に投影するプロジェクタ１２０と、カメラ１１５のイメージを入力として受取り、ビデオイメージをプロジェクタ１２０へ出力するコンピュータ１１０とを使用する。一実施形態において、イルミネータ１２５は、赤外線イルミネータであり、カメラ１１５は、イルミネータ１２５の赤外光によって照らされたイメージを記録するように機能する赤外線カメラである。カメラ１１５及びイルミネータ１２５を、見えない光であって、赤外光に限定されない光の何らかの形態を用いて作動するように構成することができることを認識すべきである。
【００２０】
コンピュータ１１０は、カメラ１１５の入力を処理して、ピクセルごとの基準で、スクリーン１３０の前の空間のどの部分が人（または動く物体）で占められているか、及びスクリーン１３０のどの部分が背景であるかを識別する。コンピュータ１１０は、背景がらしく見えるかといういくつかの生成モデルを展開した後、該背景のそのコンセプトをカメラ１１５が現在見ているものと比較することにより、このことを実現する。代替的に、カメラ１１５の入力を処理するコンピュータ１１０のコンポーネントは、視覚システムとして公知である。この視覚システムの様々な実施形態は、２００２年５月２８日に提出され、本願の譲受人に譲渡されたＢｅｌｌによる“ＩＮＴＥＲＡＣＴＩＶＥ ＶＩＤＥＯ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭ”というタイトルの同時係属中の米国特許出願第１０／１６０，２１７号、２００３年９月１８日に提出され、本願の譲受人に譲渡されたＢｅｌｌによる“ＳＥＬＦ−ＣＯＮＴＡＩＮＥＤ ＩＮＴＥＲＡＣＴＩＶＥ ＶＩＤＥＯ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭ”というタイトルの同時係属中の米国仮特許出願第６０／５０４，３７５号、及び２００３年１０月２４日に提出され、本願の譲受人に譲渡されたＢｅｌｌによる“ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＰＲＯＣＥＳＳＩＮＧ ＣＡＰＴＵＲＥＤ ＩＭＡＧＥ ＩＮＦＯＲＭＡＴＩＯＮ ＩＮ ＡＮ ＩＮＴＥＲＡＣＴＩＶＥ ＶＩＤＥＯ ＳＹＳＴＥＭ”というタイトルの同時係属中の米国仮特許出願第６０／５１４，０２４号に記載されており、これらの明細書の全ては参照により本明細書に組み込まれる。
【００２１】
該生成される背景は、上記システムを、ライティングの変化、上記スクリーン上の擦り傷及び他の障害に対して復元力があるため、上記視覚の重要な部分である。該視覚システムの出力は、エフェクトエンジンに送り込まれる白黒マスクイメージであり、該エフェクトエンジンは、コンピュータ１１０上でも作動する。該エフェクトエンジンは、インタラクティブ・グラフィックをスクリーン１３０上に生成するアプリケーションを実行する。アーチストは、幅広い種類のエフェクトコンポーネント及びスクリプト記述を用いてエフェクトをデザインすることができ、該エフェクトは、多種多様のインタラクティブ・エクスペリエンスを生成することを可能にする。そして、該エフェクトエンジンにより生成されたイメージは、プロジェクタ１２０へ出力される。
【００２２】
インタラクティブ・ビデオ・システム１００の全ての電子コンポーネント（例えば、カメラ１１５、プロジェクタ１２０、コンピュータ１１０及びイルミネータ１２５）は、スクリーン１３０の一方側にあり、一方、ユーザとの対話は、スクリーン１３０の他方側で行われることが望ましい。一実施形態において、スクリーン１３０は、イメージをスクリーン１３０の表面に形成できるように、プロジェクタ１２０の光に対して部分的に半透過性である。しかし、スクリーン１３０は、カメラ１１５が、スクリーン１３０の反対側の対象を見ることができるように、カメラ１１５に対して部分的に透過性でもある。この明細書の全体を通して使われている透過性及び半透過性という用語は、それぞれ、少なくとも部分的に透過性および／または半透過性ということを意味するように定義されることを認識すべきである。また、この明細書の全体を通して使われている“散乱した”及び“散乱していない”という用語は、それぞれ、“実質的に散乱した”及び“実質的に散乱していない”ということを意味するように定義されることを認識すべきである。そしてまた、この明細書の全体を通して使われている“拡散した”及び“拡散していない”という用語は、それぞれ、“実質的に拡散した”及び“実質的に拡散していない”ということを意味するように定義されることを認識すべきである。
【００２３】
図１は、本発明の例示的な実施形態のコンポーネントの一つの物理的構成を示す。カメラ１１５、イルミネータ１２５、コンピュータ１１０及びプロジェクタ１２０を含む全ての感知及びディスプレイコンポーネントは、ボックス１４０の内部にある。一実施形態において、ボックス１４０の全ての側面は、１つの側面を除いて不透明である。不透明ではないこの１つの側面は、投影されたイメージを表示するスクリーン１３０である。
【００２４】
一実施形態においては、強度のレイリー散乱及び他の形態の比較的小さな散乱を有する滑らかで平坦な材料がスクリーン１３０に用いられる。光がスクリーン１３０（半透過型スクリーン）によって散乱された場合、該光は、スクリーン１３０上のイメージとして目に見えることになる。光がスクリーン１３０（透過型スクリーン）によって散乱または吸収された場合には、該光は、窓ガラスのようにスクリーン１３０をまっすぐ通過することになる。
【００２５】
レイリー散乱は、１／（波長４）に比例し、このことは、短い波長を有する光が、長い波長を有する光よりも多く散乱することを意味する。従って、８００ナノメータ（ｎｍ）より大きい波長を有する赤外光は、４００ｎｍ ７００ｎｍの波長を有する可視光ほどは散乱しない。この実施形態において、プロジェクタ１２０は可視光を用いるが、カメラ１１５は赤外光用いて、カメラ１１５がスクリーン１３０を通して見ることを可能にすると共に、プロジェクタ１２０により放射された光は、スクリーン１３０上に散乱される。一実施形態において、スクリーン１３０の材質は、良好なレイリー散乱を有するが、他の種類の最小限の散乱を有するように、滑らかでかつ好ましくは約４０ｎｍ程度まで均質である。
【００２６】
一実施形態において、上記スクリーンの材料は、ほとんどの可視光を散乱させる微細構造を有する。しかし、該構造は、高密度すぎず、または厚すぎるものではなく、そうでなければ、ほとんどの赤外光も散乱することになる。また、該材料は、多くの可視光または赤外光を吸収すべきではなく、さもなければ、このことは、該材料を不透明にして劣等なスクリーンにすることになる。強度のレイリー散乱の特性を満たす材料の一実施例は、通常の白いプラスチックのゴミ袋である。一実施形態において、スクリーン１３０は、該袋を２つのガラスシートの間に挟み込むことによって形成される。この特性を満たす材料の別の実施例は、ポリエチレンシートである。
【００２７】
イルミネータ１２５及びカメラ１１５のフィルタの波長を増加させると、（適切なスクリーン材料及び厚さを選択した状態で）増加した波長が（グレアを最小化する）可視光の散乱の量を最大化し、かつ（該スクリーン上の対象のカメラ１１５の視野を改善する）赤外光の散乱量を最小化するため、インタラクティブ・ビデオ・システム１００の性能が改善される。一実施形態においては、９５０ｎｍのＬＥＤクラスタ・イルミネータと、そのレンズの前に４０ｎｍ幅９５０ｎｍ中心帯域通過フィルタを有するモノクロームＣＣＤカメラとが使用される。
【００２８】
その性能をさらに向上させるために、いくつかの特徴をインタラクティブ・ビデオ・システム１００に付加することができる。
【００２９】
カメラ上のグレアを低減すること
イルミネータ１２５からカメラ１１５上には、反射グレアがある可能性がある。このグレアは、スクリーン１３０越しに見るカメラ１１５の能力に干渉する可能性がある。一実施形態においては、この干渉を緩和し、かつカメラ１１５の性能を改善するために、近赤外線反射防止膜が、スクリーン１３０の底部および／または上部に設けられる。また、イルミネータ１２５をスクリーン１３０に対して斜角に配設して、鏡面反射が起きることを防ぐことができる。
【００３０】
さらに、別の実施形態においては、グレアをさらに軽減するために、赤外線直線偏光フィルタが、イルミネータ１２５及びカメラ１１５の前に（カメラ１１５の偏光と直角なイルミネータ１２５の偏光の方向で）付加される。このグレアは、スクリーン１３０の底部で直接反射する光が、まだ偏光しており、一方、スクリーン１３０の外部で対象に当たる光が、その偏光を失うために起きる。
【００３１】
指向性周囲赤外線
周囲の赤外線源は、インタラクティブ・ビデオ・システム１００の視覚システムに対して問題を引き起こす可能性がある。例えば、明るい外部赤外線源が、一方向から該ディスプレイ上に照射されている場合、この赤外線源と上記スクリーンとの間の物体は、スクリーン１３０上に赤外線の影を落とすことになる。該視覚システムは、この影とスクリーン１３０上の実際の対象とを混同して、該アプリケーションを誤作動させる可能性がある。赤外線の影の問題を低減するために、いくつかの方法を用いることができる。
【００３２】
一実施形態において、イルミネータ１２５の波長は、出来る限り均一になるように選択することができる。イルミネータ１２５により最も強力に出力された波長の光のみを通過させる狭小の帯域通過フィルタを、カメラ１１５の前に付加することができる。
【００３３】
別の実施形態において、パターン化されたイルミネータの使用は、上記システムが、スクリーン１３０上の赤外線の影と実際の対象とを識別できるようにする。さらなる詳細は、参照により本明細書に組み込まれる、２００２年５月２８日に提出されたＢｅｌｌによる“ＩＮＴＥＲＡＣＴＩＶＥ ＶＩＤＥＯ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭ”というタイトルの米国特許出願第１０／１６０，２１７号を参照。
【００３４】
別の実施形態においては、イルミネータ１２５及びカメラ１１５をストロボさせることができる。発光ダイオード（ＬＥＤ）等のある照明源は、連続的につけることができる場合よりも短期間にはるかに明るくつけることができる。イルミネータ１２５が、カメラ１１５の露出中にのみつけられ、かつカメラの露出が十分短い場合、イルミネータ１２５の明るさは、周囲光と比較して大幅に増幅される。このことは、イルミネータ１２５が非常に明るくつけられる、短時間の露出中のカメラ１１５のイメージは、イルミネータ１２５が、連続的ではあるが、より低い連続使用輝度である、より長時間の露出からのイメージと比較して、かなり少ない周囲光を含むが、イルミネータ１２５からのほぼ同量の光を含むことになるため、真実である。
【００３５】
カメラ１１５とイルミネータ１２５は、同期させることができる。例えば、マイクロコントローラまたは他の電子回路は、カメラ露出同期を読取りまたは設定することができ、また、適当なときに、イルミネータ１２５に対してパルス状電力をトリガすることができる。
【００３６】
カメラの２番目の露出毎の間にのみイルミネータ１２５をつけることにより、ストロービングの性能をさらに改善することができる。従って、カメラ１１５は、イルミネータ１２５をオンにした状態の露出と、イルミネータ１２５をオフにした状態の露出を交互に行うことになる。目的は、周囲の赤外光を取り除くことであるため、コンピュータ１１０は、現在のイメージと前のイメージとの差をとることにより、周囲光を伴わないイメージを連続的に生成することができる。イルミネータ１２５は、２番目のフレームごとにのみ照らされるため、一方のイメージは、周囲赤外光のみを有することになるが、他方のイメージは、周囲赤外光に加えてイルミネータ１２５の光を有することになる。現在のイメージと前のイメージとの間のピクセルに関する差をとることにより、該周囲赤外光を相殺して、イルミネータ１２５の光のみを残すことができる。
【００３７】
インタレースＣＣＤカメラの場合においては、交互の露出の間にイルミネータ１２５を光らせることで、偶数のラインは、イルミネータ１２５がオンであり、奇数のラインは、イルミネータ１２５がオフであるカメラ出力イメージを生成する。従って、２つのイメージを比較する代わりに、コンピュータ１１０は、該奇数ラインと偶数ラインとの間の差をとって周囲光を取り去ることができる。ストロービングは、上記第１及び第２のカメラがそれぞれの露出をわずかに異なる時間に行い、イルミネータ１２５が、該２つの露出のうちの一方のときにのみオンになるように設定された２つのカメラ１１５を用いて実行することができる。代替的に、該２つのカメラは、わずかに異なる波長に対して感度良くすることができ、また、イルミネータ１２５は、第２の波長でのみ光を放射する。
【００３８】
別の実施形態において、周囲赤外光を伴わない環境においては、イルミネータ１２５は、２番目の露出ごとに、上記システムの反応時間を低減する。イルミネータ１２５がオフの間のいかなる動きも、２番目の露出中に気づかれない。しかし、このことは、２番目の露出ごとにイルミネータ１２５の一部のみをオフにすることにより、または単にイルミネータ１２５の出力を低減することにより改善することができる。その結果、イルミネータ１２５は、“途中ずっとオン”と“一時的にオン”との間を交互に行う。コンピュータ１１０が、現在の露出と前の露出との間の差をとった場合、その結果は、周囲赤外光を含まず、かつイルミネータ１２５の光の一部を含むことになる。この構成は、周囲光を伴わない環境及びある程度周囲光を伴う環境の両方において、ユーザにとってもっとも速い可能性のある反応時間を実現できるであろう。
【００３９】
プロジェクタ・グレア
上記スクリーン材料は、完全に半透過性ではないため、プロジェクタ１２０からの光の一部は、スクリーン１３０を直接通過する可能性がある。その結果として、プロジェクタ１２０は、ユーザの目にグレアを引き起こす可能性がある。一実施形態においては、イルミネータ１２５の波長をより長くし、かつより散乱を生じるスクリーン１３０を用いることにより、カメラ１１５は、それでもスクリーン１３０を通してみることができ、可視光グレアの量は低減される。
【００４０】
別の実施形態においては、直線偏光シートを、上記グレアをなくすまたは低減するのに用いることができる。図２は、直線偏光シートが、グレアをなくすまたは低減するのに用いられる一構成を示す。垂直方向偏光シート２３０および水平方向偏光シート２２０はそれぞれスクリーン２１０の真下、および真上に配置されている。投影された光が垂直方向偏光シート２３０を通過すると、その光は垂直方向に偏光される。散乱により光が偏光されるため、スクリーン２１０上の散乱光の多くは、依然としてビューワにとって可視である。しかし、（グレアを引き起こす）スクリーン２１０によって散乱されない光は、該光が垂直方向に偏光されているため、水平方向偏光シート２２０によってほとんど全てが吸収される。従って、グレアはなくなり、スクリーン２１０は、明るいままである。上記カメラが赤外光に感度が良い場合には、赤外光を偏光しない直線偏光材料を選択することができることに注意する。
【００４１】
別の実施形態において、上記プロジェクタが液晶（ＬＣＤ）プロジェクタの場合には、光は既に偏光されていることになる。いくつかのＬＣＤプロジェクタの場合、赤色、緑色及び青色光の全てが同じ方向に偏光されている。この場合、上記スクリーンの下に偏光フィルムは必要ない、いくつかのＬＣＤプロジェクタにおいては、赤色及び青色は、一方向に偏光され、緑色は、該方向から９０度ずれて偏光される。この場合、一実施形態においては、上記偏光シートが存在しており、赤―青方向から４５度および１３５度それて偏光させるべきである。別の実施形態においては、同じ方向に偏光された赤色、緑色及び青色光を得るために、色選択性偏光回転子を該プロジェクタ上または該プロジェクタ内に配設することができる。この場合、該スクリーンの前に１つのみの直線偏光子を要する。ＣｏｌｏｒＬｉｎｋ Ｃｏｒｐｏｒａｔｉｏｎにより生み出された位相差板スタック“ＣｏｌｏｒＳｅｌｅｃｔ”技術等の色選択性偏光回転子は、緑色光の偏光を９０度だけ回転させるのに用いられる。代替的に、赤色及び青色光の偏光を９０度だけ回転させて同じ効果を得ることもできる。
【００４２】
物理的構成
上記インタラクティブ・ビデオ・ディスプレイ・システムの多くの可能な物理的構成がある。１つの構成は、図１に示しかつ描写したような卓上用ディスプレイである。該インタラクティブ・ビデオ・ディスプレイ・システムは、表面上にあり、全ての電子機器を１つのボックス内に収容しており、数フィートの高さであり、該ボックスの上部に水平スクリーンを有する。しかし、該インタラクティブ・ビデオ・ディスプレイ・システムは、斜めの、垂直のまたは湾曲したディスプレイを形成するのに用いることもできる。
【００４３】
上記インタラクティブ・ビデオ・ディスプレイ・システムにより占有される物理的スペースの一部は、単にデッドスペースであり、上記スクリーン上に適度に大きなイメージを有するためには、上記プロジェクタは、該スクリーンからかなりの距離にあることが必要である。この距離は、ミラーの使用によって減らすことができ、このことは、該プロジェクタのビームの方向を変えること、およびより小さなスペースに収めることを可能にする。一実施形態において、上記カメラは、上記ボックス内の異なる箇所に設けることができ、また、該スクリーンがクリアな視野を有する限り、ミラーを通して該スクリーンを見ることができる。一実施形態において、赤外光イルミネータは、対象を該ボックスの上に照らす限り、該ボックス内のどこにでも、または、該ボックスの表面にも設けることができる。
【００４４】
図３は、上記システムのいくつかの他の可能な構成の断面図を示す。全てのパーツを容易に固定することができるので、図示のデザインは、どの方向にも回転させることができる。ディスプレイ３１０は、図１で説明したインタラクティブ・ビデオ・ディスプレイを示す。ディスプレイ３２０及び３３０は、上記プロジェクタのビームの方向を変えるミラーを用いてよりコンパクトになっているインタラクティブ・ビデオ・ディスプレイを示す。ディスプレイ３４０及び３５０は、角度をつけたカメラを用い（ディスプレイ３４０）、該プロジェクタのビームの方向を変えるミラーを用いて（ディスプレイ３５０）角度がつけられたインタラクティブ・ビデオ・ディスプレイを示す。ディスプレイ３６０は、該プロジェクタのビームの方向を変える多数のミラーを用いたインタラクティブ・ビデオ・ディスプレイを示す。
【００４５】
インタラクティブ・ビデオ・ディスプレイの追加的な構成
本発明の一つの態様によれば、スクリーンの前の領域を照らす多数の例示的な方法が提供される。内蔵型インタラクティブ・ビデオ・ディスプレイにおいて、赤外光カメラ、赤外光イルミネータ及び可視光プロジェクタは、全てスクリーンの一方側にあり、一方、ユーザは、他方側にいる。所望の機能性を実行するために、使用される該スクリーンの材料は、可視光に対してほとんど半透過性であり（しかし、わずかに透過性であってもよい）、及び、好ましくは、赤外光に対してほとんど透過性である（本明細書において、以後、“赤外光透過・可視光半透過性スクリーン（ＩＲ−Ｔｒａｎｓｐａｒｅｎｔ ＶＩＳ−Ｔｒａｎｓｌｕｃｅｎｔ ｓｃｒｅｅｎ）”または“メインスクリーン”と呼ぶ）。上記赤外光イルミネータにより放射された光は、該スクリーンを通過する際に、ある程度散乱する。この光は、上記カメラによって獲得され、該カメラのイメージを低コントラスト及び色あせたものにする可能性がある。その結果として、該スクリーンの向こうの対象に関する該カメラの視野を妨げる可能性があり、このことは、低下した動作特性をもたらすことになる。
【００４６】
本発明は、上記の問題を多くの方法で対処する。一実施形態において、上記赤外光イルミネータは、可能な限り上記スクリーンに近づけて配置することができる。例えば、該イルミネータは、境界に沿って該スクリーンと直接対向して配置してもよい。この構成を図４Ａに示す。（図４Ａにおいて、“イルミネータのためのカバー４０２”と呼ぶ）該イルミネータの前の材料は、赤外光に対して、少なくともやや半透過性であり、または透過性である何らかの材料を含んでもよい。イルミネータのためのカバー４０２の材料に対するオプションは、該メインスクリーン材料、透き通った透過性材料、または、赤外光に対して透過性である黒い不透明材料を含む。後の図におけるイルミネータのためのカバーに対する説明は、同様の意味を有する。上記メインスクリーン上への赤外光の漏れを防ぐために、物理的ブロックを用いてもよい。
【００４７】
しかし、上記の実施形態は、上記スクリーンの近くで、かつ該スクリーンの中心の近くにある対象の不十分な照明を生じる可能性がある。これは、たいていの物質に斜角で照射された光が、通過するのではなく、該物質の表面で反射する傾向があり、例えば、該物質の透過性が機能的に低下しているためである。このことに対処する一つの方法は、該スクリーンを単に上記ディスプレイの表面から後ろへ動かすことであり、それによって、赤外線イルミネータがより小さな斜角で該スクリーンを通して照射することが可能になる。この構成を図４Ｂに示す。
【００４８】
別の実施形態においては、上記イルミネータは、該イルミネータが、上記スクリーンの前の全ての領域を容易に照らせることができるような方法で、該スクリーンの前に配置することができる。該イルミネータが該スクリーンの前から突出している一つの構成を図５Ａに示す。ディスプレイの表面が凹んだ別の構成は図５Ｂに示されている。図４Ａ、図４Ｂ、図５Ａ及び図５Ｂに示す実施形態においては、該イルミネータは、連続線内に、または有利な配置で、該スクリーンの周りに等間隔で配置することができる。図４Ａ、図４Ｂ、図５Ａ及び図５Ｂに示すこれらの照明方法は、該スクリーンの後ろにあり、かつ該スクリーンを通して照射するイルミネータと組合わせることもできる。
【００４９】
軸外し（ｏｆｆ−ａｘｉｓ）投影
本発明の別の態様によれば、軸外し投影は、上記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムの性能を改善するのに用いられる。軸外しビデオプロジェクタは、矩形状ビデオイメージを斜角で平面上に投影することが可能である。これらの軸外しプロジェクタは、該システム全体のサイズを大幅に縮小できるようにし、また、グレアを低減できるようにするので、インタラクティブ・ディスプレイにとって非常に重要である。
【００５０】
図６Ａ及び図６Ｂは、軸外しプロジェクタを用いた内蔵型インタラクティブ・ビデオ・ディスプレイの２つの構成を示す。軸外しプロジェクタを有する赤外線透過、可視光半透過性スクリーンを用いた場合、グレアは低減される。該スクリーンは、可視光に対して完全に半透過性ではない（赤外光に対して完全に透過性ではない）ため、ある程度の可視光は、該スクリーンを通過することになる。該スクリーンが厚い場合には、いっそう多くの残りの可視光が散乱されることになり、グレアが低減される。また、該スクリーンをより厚く形成することは、該スクリーンが、赤外光に対して完全には透過性ではないため、該スクリーンの赤外線に対する透過性を小さくする。しかし、可視光が、直角ではなく、斜角で該スクリーンを通過する場合、該光は、より多くの距離を該スクリーンを通して進まなければならず、グレアの量が低減される。例えば、該スクリーンと平行に３０度で該スクリーンを通過する光は、該スクリーンに対して直角な角度で通過する光の２倍の量、スクリーン材料を通過する必要がある。従って、赤外線カメラが、該スクリーンを直接見ると共に、上記可視光プロジェクタが光を斜角で該スクリーン上に照射する場合、該赤外線カメラの最大透過性及び該可視光プロジェクタの最大半透過性を得ることができる。
【００５１】
透過性フラットパネルディスプレイ
上記内蔵型インタラクティブ・ビデオ・ディスプレイは、ビデオプロジェクタ以外のディスプレイ技術で実施することができる。上記メインスクリーンの代わりに該ディスプレイを使用する場合、上記カメラに見える光に対して少なくとも部分的に透過性であるフラットパネルディスプレイを実施することができる。例えば、Ｐｒｏｖｉｓｉｏｎにより販売されているＬＣＤパネルの形態の透過イメージングマトリックスを、該カメラが近赤外線カメラである実施形態におけるディスプレイに用いることができる。この形態のＬＣＤパネルは、表示される色が白色の場合、クリアでありかつ透過性である。また、該ディスプレイは、どんな色が表示されていようとも、近赤外線で透過性である。ノート型ＰＣモニタに使用される透過性ＬＣＤパネル、フラットパネルＬＣＤコンピュータモニタ及びフラットパネルＬＣＤ ＴＶスクリーンを含む多くの種類のＬＣＤパネルも、近赤外線で透過性である特性を有する。
【００５２】
上記カメラに見える光に対して少なくとも部分的に透過性である上記フラットパネルディスプレイは、この文書では、“透過性フラットパネルディスプレイ”と呼ぶ。本明細書で説明した実施例は、赤外線が完全に透過性である透過性フラットパネルディスプレイと赤外線カメラとを含むが、該実施は、異なる波長範囲で機能するカメラ、及び該カメラにより検知可能な光に対して完全に透過性である透過性フラットパネルディスプレイに対して、同様に当てはまる。
【００５３】
透過型ＬＣＤパネルまたは赤外線に対して少なくとも部分的に透過性である他のフラットパネルディスプレイ技術を用いると、インタラクティブ・フラットパネル・ディスプレイを、赤外線カメラを用いて構成することができる。透過型ＬＣＤは、典型的には、それ自体の照度が不足しているため、外部光源により照射する必要がある。一実施形態において、この外部光源は、該ＬＣＤパネルの後方の白色可視光イルミネータを含む。一実施形態において、上記カメラに対して透過性であるが、可視光イルミネータを散乱させるスクリーンは、該イルミネータの光をより容易に拡散するように、該ＬＣＤパネルのすぐ後ろに配設される。
【００５４】
図７Ａは、本発明の一実施形態による例示的な透過型インタラクティブ・フラットパネル・ディスプレイ・システム７００を示す。一実施形態において、ディスプレイ７００の外観は、赤外線透過・可視光半透過性スクリーン７２０材料を透過型フラットパネルディスプレイ７１０の後ろに配置することにより、改善されている。それに伴って、どのような光をスクリーン７２０に照射しても、より多く拡散してディスプレイ７１０が照らされることになる。スクリーン７２０のライティングを最大限に拡散させるために、システム７００は、斜角で該スクリーン上に照射する光７３０または独立した拡散板７４０を該光の前に有する光７３０を用いてもよい。拡散板７４０は、カメラ７６０の視野を遮らないことに注意する。図７Ｂは、透過型フラットパネルディスプレイ７１０及びスクリーン７２０を取り除いた状態の平面切り欠き図における同じ構成を示す。可視光イルミネータ７３０は、ＬＥＤ、蛍光灯、ネオン管、エレクトロルミネセントワイヤまたはシート、ハロゲン光及び白熱電球を含む、可視光を生成可能な何らかのライティング技術を含んでもよい。赤外線イルミネータ７５０は、ＬＥＤ、加熱ランプ、ハロゲンランプまたは白熱ランプを含む、上記カメラに見える赤外光を生成することが可能な何らかのライティング技術を含んでもよい。赤外光及び可視光は、両方とも、同じ光源によって生成してもよい。代替的に、赤外光のより良好な制御に対しては、可視光に対して透過性であるが、赤外光に対しては不透明であるフィルムを、可視光イルミネータ７３０を覆って設けてもよい。
【００５５】
「指向性周囲赤外線」の章で述べたストロービング技術を含むプロジェクタをベースとするシステムに対して言及した改良、「物理的構成」の章で述べた物理的構成及び「インタラクティブ・ビデオ・ディスプレイの追加的な構成」の章で述べた上記イルミネータの配置は、全て、この章で述べた透過型フラットパネルディスプレイをベースとするシステムに適用可能である。
【００５６】
プロジェクタではなく透過型フラットパネルディスプレイの使用は、上記インタラクティブ・ビデオ・ディスプレイのサイズを著しく低減することを可能にする。しかし、このことは、上記スクリーンを通して見ることができなければならないコンピュータ視覚システムに対して問題を引き起こす。該スクリーンとディスプレイボックスの背面との間にわずかな距離しかない場合、カメラ７６０は、スクリーン７２０の前の全領域、すなわち、ユーザの手等の該システムが検知すべき対象の位置を見るために、極端に広い角度にしなければならなくなる。このことは、斜角で該スクリーンを通してみる際の困難性のため、問題を引き起こす可能性がある。
【００５７】
斜角での照射の問題を解決する一つの方法は、スクリーン７２０を通過する光に影響を及ぼすことなくスクリーン７２０で反射される赤外光をなくすための、カメラ７６０の周囲での偏光材料の使用である。該スクリーン面で反射する光は、該スクリーン面に対して平行に強度に偏光する傾向があるため、該スクリーン面と直角にカメラ７６０を取り囲み、かつそのスクリーン面と直角な偏光を有する偏光子は、スクリーン７２０の後ろの赤外線イルミネータ７５０からのほとんどまたは全ての迷反射光をなくさなければならない。
【００５８】
歪への対処
カメラ視野歪みの問題は、本明細書に記載した全ての内蔵型インタラクティブ・ビデオ・ディスプレイ（例えば、投影システム及び透過型フラットパネルディスプレイをベースとするシステム）に存在する可能性がある。たいていの場合、上記スクリーンの上の領域のカメラの２次元視野は、激しい歪みを有する可能性がある。例えば、図７Ａにおいて、対象７１２及び対象７１４は、スクリーン７２０の前の全く異なる位置にあるにもかかわらず、カメラ７６０には同じ位置にあるように見える。スクリーン７２０の上の相互作用に対して正確に感知するためには、この歪みは補正する必要がある。
【００５９】
歪みのない環境においては、物理的対象に対応するスクリーン７２０上の仮想位置は、該対象の輪郭のスクリーン７２０上への垂直投影である。フレネルレンズ等の平坦な補正光学系を、該スクリーンと直角である入射光の向きをカメラ７６０の方へ変えるように、スクリーン７２０の上または近傍に配置することができる。それに伴って、カメラ７６０は、対象を、スクリーン７２０の表面に対して正しい位置に見る。図８Ａは、プロジェクタをベースとするインタラクティブ・ビデオ・ディスプレイ・システム８００に対するこの構成の例示的な実施形態を断面で示す。カメラ８１０は、垂直方向からスクリーン８３０上に照射する光線の向きをカメラ８１０に向けさせるフレネルレンズ８２０の焦点距離に配置されている。その結果として、対象が位置８０２から位置８０４へ移動した場合、カメラ８１０に対するその視位置は変わらない。従って、所望の効果が実現され、すなわち、スクリーン８２０の上の対象は、スクリーン８２０の上の該対象の輪郭の垂直投影である仮想位置を有する。該カメラのレンズの光学系は、特別に配慮する価値があり、ピンホールレンズは、理想的な焦点深度及び画像明瞭をもたらすが、無限領域に焦点を合わせる能力を有する広角レンズは、焦点深度及び写像性をある程度犠牲にして、より明るいイメージを可能にすることになる。歪みをなくすフレネルレンズ方法は、投影型及び透過型のフラットパネルディスプレイをベースとするインタラクティブシステムと共に用いることができることを認識すべきである。
【００６０】
内蔵型プロジェクタディスプレイに対して上記フレネルレンズを使用する場合、該レンズの前の赤外線透過・可視光半透過性スクリーンは、該プロジェクタの光を散乱させ、また、このスクリーンと該フレネルレンズとの間の距離はほとんどゼロであり、そのため投影イメージの歪はないので、該フレネルレンズは、該投影イメージに影響を及ぼさない。
【００６１】
透過型フラットパネルディスプレイに対して上記フレネルレンズを使用する場合、該透過型フラットパネルディスプレイは、ビューワに近づけて、上記赤外線透過・可視光半透過性スクリーン及びフレネルレンズの前に配置することができる。該フレネルレンズは、白色光によるバックライトが、既に拡散されているか、または、該フレネルレンズと透過型フラットパネルディスプレイとの間の材料によって拡散されるため、該ディスプレイの照明に影響を及ぼさない。
【００６２】
代替的に、上記歪みは、図８Ｂに示すように、上記ディスプレイの背面に一連のミラーストリップを用いることにより、なくすことができる。これらのミラーストリップ９１０は、該ディスプレイ上に垂直に照射する光の向きをカメラ９２０の方へ変えるようにデザインされている。該カメラは、光に干渉しないように、該ディスプレイの側に配設されている。ミラーストリップ９１０の実際の数は、非常に多くの数とすることができ、また、該ストリップ自体は、非常に薄くすることができる。一実施形態においては、スクリーン９３０の背面からの光を通過させて照射できるようにするミラーストリップ９１０の間の十分な空間が形成される。しかし、カメラ９２０は、その視野により、それらの光を見ることができず、この領域のカメラ９２０の視野は、全てミラーストリップ９１０である。スクリーン９３０と直角な方向で見た場合、ミラーストリップ９１０は、各円の中心がカメラ９２０の位置にある円曲線を形成する。
【００６３】
プロジェクタは、ミラーストリップ９１０を通して容易に照射することができないため、本実施形態は、該プロジェクタが、該ミラーストリップと該スクリーンとの間の空間を通して該スクリーン上に投影する、透過型フラットパネルディスプレイまたは軸外し投影ディスプレイを用いてより有効にすることができる。しかし、これは、該ミラーストリップを通して照射するプロジェクタの使用を排除しない。ある程度の光は失われるが、該プロジェクタの光は、この時点で焦点が合わず、それに伴って、最終的な投影イメージが影響を受けない。
【００６４】
代替的に、見られるシーンに関する深度情報（各ピクセルで見られる上記カメラから対象までの距離）を得ることができる場合、該カメラにより見られる対象ごとの各ピクセルによって占められる該スクリーンの上の位置のｘ−ｙ−ｚ座標を（単純な座標変換によって）再構成することができ、それに伴って、該カメラの歪んだ視野を補正することができる。このような深度情報は、限定するものではないが、ステレオカメラ、タイムオブフライト型カメラ及びパターン化した照射を含む様々な手段を用いて得ることができる。
【００６５】
上記カメラのイメージの各ピクセルに対するｘ−ｙ−ｚ座標を用いた歪みのない３次元（３Ｄ）視野を再構成する能力は、単純なデータの重ね合わせにより、多数のカメラのデータの、上記スクリーンの前の対象の単一の統合視野への結合も可能にするであろう。多数のカメラ（または、立体視を３Ｄに用いる場合、多数の組のカメラ）の使用は、該カメラに対して、より狭小な視野を用いて、上記ディスプレイを一様に平坦に形成できるようにするであろう。この場合、該カメラまたはカメラの組は、該カメラが、該スクリーンの後ろの領域を一様にカバーするように、理想的に配置される。例えば、該カメラは、該スクリーンの後ろに格子状に配置することができる。
【００６６】
散乱偏光子スクリーンを用いたイメージの投影及びキャプチャ
次に、別のスクリーン材料について説明する。このスクリーン材料は、本願においてすでに説明したプロジェクタベースの及び透過型フラットパネルディスプレイベースのシステムに用いられる“赤外線透過・可視光半透過性スクリーン”に対する代替例として機能する。該スクリーンは、対象と、上記インタラクティブ・ディスプレイ・システムとの間に配置されているため、該スクリーンは、投影イメージを透過すると共に、照明源及びカメラが該スクリーンを通して明瞭に見ることができるようにする。一実施形態において、該スクリーンは、表示イメージチャネルのための透過拡散板として機能すると共に、該カメラのキャプチャリングチャネルのためのウィンドウとしても機能する。該スクリーンに対する追加的な必要条件は、ビューワをグレア、すなわち、直接的なまたは十分に散乱していないプロジェクタ光による不快な視覚刺激から防ぐことである。
【００６７】
場合によっては、小粒子散乱は、単一粒子散乱に対してλ４波長依存を有するが、たいていの拡散板は、多重散乱を利用して適切な拡散を実施する。多重散乱においては、散乱光の波長依存性は、ミルクの色によって実演されるように、よりはるかに中立である。小粒子によってコヒーレントに散乱された光の強度は、（ｎ−１）２に比例することが分かっており、ただし、ｎは、該粒子とホストマトリクスとの間の相対屈折率である。本発明において、それは、キャプチャリングチャネルにおける透過性及び表示チャネルにおけるぼやけを可能にするように活用されるこの散乱の特性である。ここで用いる方法は、限定するものではないが、該キャプチャリングチャネルにおける赤外線の使用と矛盾しない。一般的なポリマー材料の散乱は、可視光と近赤外光との間のコントラストを生成するには不十分である。その代わり、本発明者らは、該キャプチャリングチャネルを偏光状態の１つの状態に分類し、該表示チャネルを直交する状態に分類する。また、発明者等は、偏光の１つの状態に対するマトリクスと散乱分子との間の屈折率整合（ｎ＝１）及び直交状態に対する屈折率不整合（ｎ≠１）という特性を有するスクリーンを用いる。このようにして、該スクリーンは、該表示チャネルに対して実質的なぼやけを、該キャプチャリングチャネルに対して実質的な透過性を有することになる。材料は、非常に狭小なスペクトル（２０ｎｍ程度）を有することができる該キャプチャリングチャネルにおいてほぼ完璧な屈折率整合を実施するように調整することができる。２つの主要なマトリクスは、この種のスクリーンのパフォーマンス、すなわち、シングルピース透過（ｔｈｅ ｓｉｎｇｌｅ ｐｉｅｃｅ ｔｒａｎｓｍｉｓｓｉｏｎ；Ｔｓｐ）及び偏光子効率（ｐｏｌａｒｉｚｅｒ ｅｆｆｉｃｉｅｎｃｙ；ＰＥ）を規定するのに用いることができる。これらの量は、次のように等式１及び等式２で定義される。
【数１】
ただし、Ｔ‖及びＴ⊥は、上記２つの状態における直接（例えば、散乱していないまたは小角散乱した）透過率である。
【００６８】
完全な偏光子の場合、ＴＳＰ＝０．５及びＰＥ＝１である。実際の偏光子の場合、上記スクリーンの厚さまたは粒子濃度が一定の有効範囲を超えると、多重散乱によりＴＳＰは減少し、かつＰＥは増加することになる。これら２つのパフォーマンスマトリクスは、所定の散乱システムの材料及び処理パラメータを調節することにより、所定の用途に対して最適化することができる。高いＴＳＰは、上記カメラにおいて主として高い解像力をもたらし、高いＰＥは、主として低いグレアをもたらす。
【００６９】
一実施形態において、上記プロジェクタの光は、上記スクリーンの半透過状態で偏光される。ＬＣＤプロジェクタの場合、これは、非常に低い損失で配置することができる。投影されたイメージ光の一部は後方散乱され、また一部は、前方領域で選択的に散乱される。上記カメラに用いられる照明は、迷光を回避するために、優先的に偏光される。このことは、フィルム型吸収偏光子を用いて容易に実現することができる。照らされた対象は、該光を拡散的に反射し、またほぼ同等の部分が、透過性及び散乱に対応して偏光状態で生成される（例えば、偏光は保たれない）。該カメラは、上記対象からの直接光のみが撮像されるように、吸収型の偏光フィルタを備えている。また、該カメラは、ビデオフィードバック及び周囲光からの干渉を避けるために、ランプスペクトルに整合する狭帯域フィルタを備えてもよい。該散乱偏光子が、該散乱光が入射光の偏光を維持する別の特性を有する場合、周囲光の反射は低減されることになり、より高いコントラストがもたらされる。図９Ａ及び図９Ｂは、本発明の一実施形態による、散乱偏光子スクリーンを有するインタラクティブ・ビデオ・ディスプレイ・システムの概略的レイアウトを示す。斜めの矢印及び双方向矢印は、偏光の状態を表す。
【００７０】
典型的なＬＣＤプロジェクタは、その投射レンズから偏光した光を放射する。しかし、ほとんどの一般的なタイプの３重パネルＬＣＤプロジェクタの場合、緑原色の偏光は、赤原色及び青原色の偏光に対して直角である。（これは、Ｘ立方体コンバイナデザインの結果である。）そのため、３原色全てを同じ偏光で投影するには、緑色は、他の２色と同様にしなければならない。このことは、（例えば、日本のＰｏｌａｔｅｃｈｎｏ Ｃｏｒｐ．から入手可能な）リターダ・スタックを用いることにより、非常に低い損失で実現することができ、該スタックは、赤色及び青色のリターダンスと比較して、半波長のリターダンスを緑色チャネルに付加する。このスタックコンポーネントは、該コンバイナ立方体と投影レンズとの間に、または、該レンズと該スクリーンとの間に配置することができる。高ルーメン出力を維持し、かつ画像アーチファクトを避けるためには、偏光保存性の投影レンズアセンブリを用いることが必要である。
【００７１】
内蔵型インタラクティブ投影型ディスプレイの代替構成
ＨｏｌｏＣｌｅａｒ、Ｄａｉ Ｎｉｐｐｏｎ Ｐｒｉｎｔｉｎｇにより製造されているホログラフィックスクリーン等の部分的に透過性であるが、光がスクリーン上に特定の角度で投射したときには半透過性であるスクリーン材料は、該ディスプレイのコンテナ内部がユーザに対して完全に暗くなるような方法で、該内蔵型インタラクティブ・ディスプレイに用いることができる。このことは、上記赤外線カメラ及びイルミネータの前に、赤外線に対して透過性である黒ウィンドウを用いて、該コンテナの全ての内面を黒にすることにより、実現することができる。該スクリーン材料は、部分的に透過性であるため、該カメラは、該スクリーン越しに対象を見ることができる。しかし、該プロジェクタは、適当な角度（ＨｏｌｏＣｌｅａｒの場合は３５度）でオフセットされているため、該プロジェクタからの光は完全に拡散され、グレアがなくなる。該ディスプレイのユーザは、その内部が真っ暗であるため、該部分的に透過性のスクリーン越しに何かが見えなくてもよい。
【００７２】
別の実施形態においては、現在、インテリアデザイナー向けに市販されている“プライバシーガラス”製品等の、電流が印加されたときに、瞬時にクリアから半透過性に切り替わることができるスクリーン材料を用いることができる。この材料は、本明細書において、（例えば、時間により透過性あるいは半透過性になる）時間ベースの材料と呼ぶことにする。この材料は、波長または偏光選択性スクリーンの代わりに用いることができる。カメラの露出は、非常に短い（例えば、１秒間に約１００マイクロ秒で３０回）。上記カメラが露出しているときに、該スクリーン材料はクリアであり、該カメラが該スクリーンを通して見ることができるようになる。プロジェクタシステムの場合、電子（例えば、高速液晶シャッター）または機械的シャッターは、該プロジェクタの光出力を遮断することができ、該プロジェクタがこの間にユーザの目に照射しないことを実現する。該カメラが露出していないときには、該スクリーン材料は、半透過性に変わり、該プロジェクタの光またはバックライトの光が散乱できるようになる。バックライトという用語は、上記フラットパネルディスプレイを可視光で照らす照明源を指すことを認識すべきである。
【００７３】
インタフェースの全般的な説明
本明細書において本文により暗に説明したが、このシステムは、内蔵型ディスプレイシステムに対するインタフェースについて記述する。このインタフェースは、位置、輪郭の感知、および場合によっては該ディスプレイの前の（人であるユーザを含む）対象の距離、及びこの感知に基づく実時間効果の表示を可能にする。これらの実時間効果は、該ディスプレイの仮想空間における対応する位置における動作の効果に対する該ディスプレイの前の物理的空間における動作のマッピングを含んでもよい。換言すれば、該システムは、ユーザの手等の物理的対象が、該ディスプレイ上の仮想対象の位置に位置している場合に、該ディスプレイ上の仮想対象との相互作用が起きるように較正することができる。このディスプレイは、何らかの検出装置の可視的な標示がない、すなわち、該ディスプレイ自体が可視的であるという物理的特性を有する。本願において後述するウィンドウ・ディスプレイ・システムの場合、該インタフェースは、上記内蔵型ディスプレイに対して説明したのと同様であるが、該ディスプレイは、該ユーザと同じ該ウィンドウの側に装置が配置されていないウィンドウディスプレイの形態をとる。
【００７４】
本発明の多くの実施形態において、ビデオカメラは、検出装置として使用される。該カメラのイメージは、実時間での静止背景から該カメラのイメージにおける（人等の）前景対象を分離するコンピュータ視覚システムへの入力となる。この前景−背景の識別は、上記表示スクリーンに表示されるイメージを生成するインタラクティブ・ビデオ・ディスプレイ・アプリケーションへの入力になる。これらのイメージは、該インタラクティブ・アプリケーションの表示されたイメージに対する対象の効果が、該対象と同じ物理的位置にあるように較正することができる。このことは、拡張現実感の錯覚をもたらし、人は、ピックアップ、押しまたは引き等の普通の体の動きによって、該スクリーン上のイメージまたは対象と相互に作用することができ、実際の対象またはイメージを操作するという錯覚が可能になる。
【００７５】
透過性ディスプレイスクリーン
上記システムの一実施形態においては、ＬＣＤスクリーンまたは他のそのような透過性スクリーンがディスプレイ装置として用いられる。上記カメラは、人であるユーザの動きを検知するものであり、該スクリーンの後ろに配置されている。それに伴って、該カメラの視野は、該スクリーンを通して見ることにより、該スクリーンの前の領域を見る。人であるユーザ及び対象を該カメラによって検知することができる該スクリーンの前のこの領域は、インタラクティブ領域と呼ばれる。そのため、該スクリーンは、該カメラによって見られる光の波長に対して、少なくとも部分的に透過性である。
【００７６】
上記スクリーン上に表示されている内容が、該スクリーンの向こうの対象の上記カメラのイメージに影響を及ぼすのを防ぐために、該カメラは、（黒色を含む）どんな内容が表示されていようとも、該スクリーンが部分的に透過性である光の波長で作動する。理想的には、該スクリーン上の内容は、該カメラによって見られる光の波長において、該スクリーンの光特性に対する影響を有するべきではない。ノート型及びフラットパネルコンピュータディスプレイに用いられるＬＣＤモニタの場合、該ＬＣＤスクリーンは、典型的には、該スクリーンを通して該カメラが見ることが９２０ｎｍ以上の光の波長に対してのみ感度が良い場合に、この特性を実現する。しかし、いくつかのＬＣＤパネルは、８００ｎｍ等の可視光に近い波長でもこの特性を実現する。また、該ＬＣＤスクリーンにおける偏光子は、それらの波長で光を偏光しない。
【００７７】
上記ＬＣＤまたは他の透過性ディスプレイスクリーンは、ビューワが該スクリーン上の内容を見ることができるように照らされる。理想的には、この光は、明るくかつ該スクリーンの全域に一様に拡がるようにすべきである。典型的なＬＣＤディスプレイは、様々なバックライト及びエッジライトソリューションのうちのいずれか一つを用いる。しかし、それらのソリューションは、典型的には、散乱、反射または不透過性材料からなるいくつかの層を該スクリーンの後ろに設けることを伴い、それらは、該スクリーンの後ろのカメラが、該スクリーンの前の領域を見えるようにはしない。しかし、本発明は、該カメラが、該スクリーンの前の領域を見えるようにすると共に、該スクリーンの前の領域の明るさ及び一様な照射も実現できるいくつかの選択的散乱材料についても説明する。
【００７８】
次のソリューションにおいては、バックライティングまたはエッジライティングのための照射源は、好ましくは、蛍光灯または白色ＬＥＤ等の長寿命の効率的な白色可視光エミッタであるが、何らかの可視光源であってもよい。
【００７９】
１．レイリー散乱材料
一つのソリューションは、上記スクリーンの背面に、強力なレイリー散乱を有する材料のシートを配置することと、白色バックライティングまたはエッジライティングを用いて上記表示スクリーンを照らすことと、近赤外線検知カメラを用いて該スクリーンを通して見ることとを含む。レイリー散乱は、散乱される光の波長の出力の逆数の４乗に比例するため、ほとんど全ての白色光は、該レイリー材料によって散乱され、該スクリーンの一様な照射が実現できる。しかし、該カメラによって見られる赤外光の比較的わずかな部分だけが、赤外線が、可視光よりも長い波長からなるため、散乱されることになる。
【００８０】
２．ざらつきのある材料
別のソリューションは、平坦領域の間に散在されたバンプ、隆起、くぼみ、溝からなる物理的構成を有する材料の平坦シートを形成することを含む。この材料は、上記表示スクリーンの背面に配置することができる。この材料は、該材料を通過する全ての光を視射角で散乱させると共に、該材料を通過する光のほんの一部を垂直に散乱させるという効果を有することができる。いくつかのそのような材料を図１０Ａ及び図１０Ｂに示す。図１０Ａは、光を散乱する微小バンプまたは隆起１０１０を有する材料１０００の単純化した断面を示す。該散乱は、光を散乱する材料の外部に該隆起またはバンプを形成することにより、または、他の方法によって、隆起またはバンプ１０１０の表面をテクスチャー加工することにより、実現することができる。図１０Ｂは、光を散乱する微小な溝またはくぼみ１０６０を有する材料１０５０の単純化した断面を示す。該散乱は、溝またはくぼみ１０６０の表面をテクスチャー加工することにより、溝またはくぼみ１０６０に、光を散乱する物質を充填することにより、または、他の方法によって実現することができる。全ての場合において、該材料の表面に対してほぼ垂直に通過する光のかなりの部分は散乱されず、視射角で通過して表面に達する光のほぼ全てが散乱されることになる。
【００８１】
従って、上記スクリーンがエッジライティングによって照らされる場合、上記表示スクリーンは、一様かつ明るく照らすことができると共に、上記カメラが該スクリーンと通して見ることができるようになる。図１１は、本発明の一実施形態による、内蔵型エッジライティング・インタラクティブ・ディスプレイの断面の単純化した概略図を示す。エッジライティング１１１０は、表示スクリーン１１４０（例えば、ＬＣＤ）を照らす可視照明を形成する。スクリーン１１５０は、表示スクリーン１１４０に隣接して配置されており、視射角（例えば、エッジライティング１１１０の角度）で該スクリーンに当たる光を散乱させるように機能する。イルミネータ１１２０は、カメラ１１３０の視野の対象を照らす。イルミネータ１１２０からの光は、垂直な角度またはほぼ垂直な角度で表示スクリーン１１４０に当たり、散乱されない。
【００８２】
３．散乱偏光子
別の実施形態においては、“散乱偏光子スクリーンを用いたイメージ投影及びキャプチャ”の章で述べたような散乱偏光子が、上記表示スクリーンの背面に配置されている。この散乱偏光子は、一方の偏光の光を散乱させ、反対の偏光の光を散乱させない。該表示スクリーンは、バックライティングを用いて、該バックライトを該散乱偏光子上の散乱方向と同じ方向に直線偏光させることにより一様に照らすことができる。従って、全てのバックライトは、該表示スクリーンを通過する前に散乱される。
【００８３】
代替的に、該バックライトは偏光させないことができ、直線偏光子は、該偏光子の偏光を、光を散乱する散乱偏光子における方向と同じ方向に向けた状態で、該散乱偏光子と該表示スクリーンとの間に配置してもよい。それに伴って、該散乱偏光子により散乱されない該バックライトからのいかなる光も、直線偏光とは反対の偏光からなり、該光は吸収される。このことは、該表示スクリーンに対する照射を一様にし、ユーザの目における厄介なグレアがなくなる。
【００８４】
上記表示スクリーンがＬＣＤスクリーンである場合、該ＬＣＤスクリーンの背面に形成された直線偏光があるため、該バックライトは偏光される必要がない。この場合、一様な照明は、単に、該散乱偏光子を、該散乱偏光子における最大散乱の方向が、該ＬＣＤスクリーンの裏面の直線偏光子の偏光と平行になるように向けて、該ＬＣＤスクリーンの裏面に該散乱偏光子を配置することにより、散乱されないバックライトによって実現することができる。従って、該散乱偏光子によって散乱される光のみが、該ＬＣＤスクリーンを通過できるようになる。
【００８５】
フラットパネルディスプレイスクリーン
表示スクリーンを用いた内蔵型ディスプレイ１２００の例示的な実施形態の単純化した断面図を図１２Ａに示す。該ディスプレイは、白色可視光１２２０によってバックライティングされるＬＣＤスクリーン１２１０を用いて形成される。散乱偏光子１２１５は、この光全てを散乱させ、ビューワにとって一様な照明を実現できる。該内蔵型ユニットの側部のミラー１２２５は、光１２２０からの白色の迷光を反射して表示スクリーン１２１０の方へ戻し、その明るさを増す。９２０ｎｍ〜９６０ｎｍの近赤外光に対してのみ感度が良いビデオカメラ１２３０は、“カメラの視野”と呼ばれる、ＬＣＤスクリーン１２１０の前の領域を見る。この視野内の対象は、カメラ１２３０に見えることになる。該カメラの視野に対する照射は、赤外線ＬＥＤクラスタ１２４０のセットから来て、該クラスタは、カメラ１２３０によって見える波長で上記ボックスの裏側に光を生成する。明るい鏡面反射性ハイライトが、該カメラのイメージに現れるのを防ぐために、これらのＬＥＤ１２４０からの光は、ＬＣＤスクリーン１２１０に到達する前に拡散スクリーン１２４５によってわずかに散乱される。フレネルレンズ１２５０は、ＬＣＤスクリーン１２１０の前の領域の該カメラの視野の歪みを低減するのに用いられる。
【００８６】
次に、図１２Ａの例示的な実施形態を介した可視光及び赤外光の光路について説明する。本発明者らは、光の２つの垂直な偏光を偏光Ａ及び偏光Ｂと呼ぶことにする。
【００８７】
白色光イルミネータ１２２０からの可視光は、非偏光を始め、拡散材料１２４５により散乱させる、フレネルレンズ１２５０により向きを変える、あるいは、その光路上のミラー１２２５で反射してスクリーン１２１０へ向けることができる。次いで、この光は、散乱偏光子１２１５を通過し、該偏光子は、偏光Ａの全ての光を散乱させ、かつ偏光Ｂの光を散乱させない（ここで、Ａ及びＢは、２つの垂直偏光を指す）。散乱された光は、散乱後のその偏光を保つ。そして、この光は、ＬＣＤスクリーン１２１０を通過し、該スクリーンは、偏光Ｂの全ての光を吸収し、偏光Ａの全ての光を伝達する。従って、ＬＣＤスクリーン１２１０は、散乱光のみを用いて照らされ、ビューワは、一様に照らされたスクリーンを見る。
【００８８】
赤外線イルミネータ１２４０から放射された赤外光は、非偏光を始めなくてもよい。状況に応じて、改善された明瞭性のため、この光は、該光が散乱偏光子１２１５によってあまり散乱されないように、まず赤外線直線偏光子１２６０を通過して、該光を偏光Ｂで偏光させることができる。次に、該赤外光は、拡散材料１２４５により散乱させる、フレネルレンズ１２５０により向きを変える、あるいは、その光路上のミラー１２２５で反射させてスクリーン１２１０へ向けることができる。該光が偏光されない場合、その一部は、散乱偏光子１２１５を通過する際に散乱されることになるが、偏光Ｂの光は、散乱偏光子１２１５を通過して散乱されない。該赤外光の波長は十分に長いため、該赤外光は、影響を受けずにＬＣＤスクリーン１２１０を通過し、人の手等の、該スクリーンの前の対象を照らすことができる。
【００８９】
上記表示スクリーンの前からカメラ１２３０に向かって戻ってくる赤外光は、ＬＣＤスクリーン１２１０の影響を受けない。しかし、該光が散乱偏光子１２１５を通過する際、偏光Ａの光は散乱し、偏光Ｂの光は散乱しないままとなる。次に、該光は、フレネルレンズ１２５０を通過するが、偏光に顕著な影響は及ぼさない。カメラ１２３０は、該カメラの直前に赤外線直線偏光子１２６０を有し、この偏光子１２６０は、偏光Ａの光を吸収し、偏光Ｂの光を伝達する。従って、カメラ１２３０は、散乱偏光子１２６０によって散乱されないままであった偏光Ｂの光を見るのみである。このことは、カメラ１２３０に、該スクリーンの該領域のクリアで高コントラストのイメージをもたらす。
【００９０】
ＬＣＤをベースとするインタラクティブ・ディスプレイの別の例示的な実施形態を断面で図１２Ｂに示す。該システム全体は、楔状である。該システムデザインは、図１２Ａで示しかつ説明したデザインと同様のものである。しかし、赤外線イルミネータは、カメラ１２６２へのグレアを最小化するように配置されている。上記スクリーンの上及び該スクリーン近傍の対象は、内側赤外線イルミネータ１２６４によって照らされ、該イルミネータは、散乱偏光子１２６６及びＬＣＤパネル１２６８を通して照射する。しかし、該イルミネータは、カメラ１２６２に対するグレアの影響を低減するために、フレネルレンズ１２７６を通して照射しない。フレネルレンズ１２７６は、内側赤外線イルミネータ１２６４のための空間を設けるために、ＬＣＤパネル１２６８の表面及び散乱偏光子１２６６から引っ込められている。外側の赤外線イルミネータ１２７０は、該スクリーンからさらに離れている対象を照らす。赤外線イルミネータ１２７０は、ＬＣＤパネル１２６８または散乱偏光子１２６６（を通してではなく）周辺を照射し、グレアをさらに低減できるようにする。白色可視光イルミネータ１２７２は、該システムのベースの側部に沿って配置されており、バックライトカバー１２７４によって覆われている。バックライトカバー１２７４は、該スクリーン上の周囲赤外線の存在を低減して、カメラ１２６２によってキャプチャされたイメージのコントラストを改善するために、近赤外線を吸収するが、可視光を伝達する材料で構成してもよい。
【００９１】
散乱偏光子を用いた投影型ディスプレイスクリーン
上記インタラクティブ・ビデオ・ディスプレイの別の実施形態においては、プロジェクタ及び投影スクリーンが、ディスプレイ装置として用いられる。人であるユーザの動きを検知するのに用いられる上記カメラは、該スクリーンの後ろに配置されている。それに伴って、該カメラは、該スクリーンを通して見ることにより、該スクリーンの前方の領域を見る。そのため、該スクリーンは、該カメラによって見られる光の波長に対して、少なくとも部分的に透過性である。上記散乱偏光子は、このシステムにおける投影スクリーンとして機能することができる。
【００９２】
上記散乱偏光子は、完全に作動しなくてもよいことを認識すべきである。散乱されることになっている該偏光における少量の光は、散乱されなくてもよい。プロジェクタが直接見られたときの該プロジェクタの極度の明るさのため、該プロジェクタのレンズの内側の明るい光源は、該散乱偏光子を通して直接見ることができるが、該プロジェクタの光は、最大の散乱のために適切な方向に偏光することができる。この明るいグレアのスポットは、散乱されないプロジェクタの光が吸収されるように、該散乱偏光子の前に直線偏光子を用いることによりなくすことができる。また、該プロジェクタ光が、完全に偏光されない場合、同様の問題が生じることになる。この問題は、該散乱偏光子の後ろに直線偏光子を用いることにより緩和することができる。どちらの場合においても、それらの偏光子は、該プロジェクタ光と平行に向けられている。上記カメラが、近赤外線または他の非可視光波長である場合、該可視光偏光子は、該カメラが、その影響を受けないように選択することができる。従って、該カメラは、該スクリーンを通して見ることができる。
【００９３】
鏡面反射をなくすこと
また、上記カメラのイルミネータからの鏡面反射は、該カメラのイメージに有害な影響を及ぼす可能性がある。これらの影響は、反射防止膜を、上記表示スクリーンの一方の面または両面に、およびレイリー散乱材料、テクスチャー加工された材料、散乱材料またはフレネルレンズを含む、該スクリーンの後ろの何らかの表面に施すことにより、軽減することができる。また、これらの影響は、該カメラの照射から該カメラに戻る鏡面反射がないように、該イルミネータから来る光をある角度に向けることにより軽減することができる。
【００９４】
このような構成の一実施例を図１３に示す。この構成は、カメラ１３２０から離れており、かつスクリーン１３３０に垂直に照射するスポットイルミネータ１３１０を用い、カメラ１３２０へのいかなる鏡面反射も防ぐ。これらのイルミネータによってカバーされていない領域は、スクリーン１３３０への視射角で照射するイルミネータ１３４０によって照射され、反射光がカメラ１３２０に戻って照射されることを防ぐ。
【００９５】
別の実施形態においては、図１４に示すように、カメラのイルミネータ１４４０の鏡面反射がカメラ１４３０から離れてはね返るように、散乱偏光子１４１０または他の選択性散乱材料をわずかに傾けることができる。図に示すように、イルミネータ１４４０からの鏡面反射は、該ボックスの側部の方へ向きが変えられる。別の実施形態においては、カメラへの鏡面反射を和らげるために、拡散材料を該カメラのイルミネータの前に配置することができる。これらのイルミネータからの光は、該ディスプレイの裏からそれらの光を跳ね返させることによっても拡散させることができる。
【００９６】
図１５は、本発明の一実施形態による、タイムオブフライト型カメラ１５３０を用いたインタラクティブ・ビデオ・ディスプレイ・システム１５００の例示的な構成を示す。典型的なデザインにおいては、該カメラ及び該カメラのイルミネータは、互いに近接させて配置しなければならず、また、該イルミネータからの光は散乱させることができないため、鏡面反射は、タイムオブフライト型カメラ１５３０に対して問題を引き起こす。従って、上述したアプローチは、該スクリーンの裏から該カメラに戻る反射によって激しいグレアを引き起こす該カメラのイルミネータにより、タイムオブフライト型カメラを用いる実施においては、うまくいかないことになる。しかし、上記コンピュータ視覚システムは、３Ｄカメラの情報を用いて、所望の座標系への座標変換を実行することができるため、該カメラは、該スクリーンの中心の後ろに配置する必要はなく、また、多数のカメラからのデータを融合することができる。従って、例えば、２つのカメラ１５３０が異なる時間に露出を行うかぎりにおいて、それらのイルミネータからのいかなる鏡面反射も避けるために、２つのタイムオブフライト型カメラ１５３０を、スクリーン１５１０の前の領域をある角度で見るのに用いることができる。この構成において、カメラは、その内蔵されているイルミネータの鏡面反射も見ることができない。
【００９７】
タッチスクリーン・インタフェースの付加
上述したシステムは、上記スクリーンから数インチ離れた対象やジェスチャーを認識するが、タッチスクリーンの反応も同様に実行することができ、ユーザは、該スクリーンに本当に触って、動作を起こせるようにしなければならない。このことは、該システムが、追加的な様々なユーザインタフェースをサポートできるようにすることになる。例えば、このインタフェースは、ユーザが、該スクリーンの上で両手をそろえてカップ状にすることにより、該スクリーン上の仮想対象を“集める”ことができるようにするが、そのイメージに触れることにより仮想対象を“ピックアップ”した後、該スクリーン上の別の箇所に触れることにより該対象を“落とす”こともできるようにする。
【００９８】
このタッチスクリーンの作用は、いくつかの方法のうちの１つで実施することができる。この章及び後の章で説明する該タッチスクリーンの実施例は、プロジェクタをベースとするインタラクティブ・ビデオ・システム及び透過型フラットパネルディスプレイをベースとするインタラクティブ・ビデオ・システムの両方と適合する。現在のタッチスクリーン技術は、上記表示スクリーンを覆う部分が上記カメラに対して透過性である限り、該システムのスクリーンと一体化することができる。これは、抵抗性タッチスクリーン、容量性タッチスクリーン、赤外線格子タッチスクリーン及び表面弾性波タッチスクリーンを含む。しかし、これらスクリーンの全ては、該スクリーンへの一本指によるタッチングしか検知することができず、また、短時間のタップと対照的に、連続的なタッチングまでも検知することができないという欠点を有する。上記の欠点を克服するいくつかの解決法があり、そのほとんどは、上記システムが、対象と該スクリーンとの間の距離に関する情報をキャプチャできるようにする。この３Ｄデータは、ジェスチャー認識等の高レベルの視覚処理にとって有用である。
【００９９】
マルチユーザ・タッチスクリーン及び３Ｄデータ：ステレオカメラ
このシステムに対して、いくつかのわずかな変更を行うことにより、複数の人が上記スクリーンを同時に使用できるようにするマルチユーザ・タッチスクリーンを形成することができる。一実施形態において、ステレオカメラを単一のカメラに代えて用いることができる。該ステレオカメラは、単一のカメラシステムと同じ波長感度及びフィルタ構成を有するであろう。しかし、上記コンピュータは、該ステレオカメラから２つのイメージを取得することができ、また、マー・ポジオ（Ｍａｒｒ−Ｐｏｇｇｉｏ）アルゴリズム等のいくつかの周知の立体視アルゴリズムのうちのいずれか１つを用いて、スクリーン上に見える対象のための距離情報を導出することができる。該スクリーンまでの距離は分かっているので、該コンピュータは、該対象の距離情報と該スクリーンまでの距離とを比較することにより、何らかの対象が該スクリーンに触れているか否かを識別することができる。
【０１００】
マルチユーザ・タッチスクリーン及び３Ｄデータ：１カメラステレオ
図１６は、本発明の一実施形態による、ミラーを用いて３Ｄ情報を得る構成１６００を示す。ステレオデータは、ミラー１６２０を上記ボックスの内側側部に配置することにより、１つのカメラ１６１０のみを用いて取得することができる。従って、カメラ１６１０は、直接的に及びある角度でスクリーン１６３０を見ることになる。スクリーン１６３０に触れている対象は、該カメラのメインイメージ及び反射イメージの両方において、ミラー１６２０の縁部から同じ距離に現れることになる。しかし、スクリーン１６３０の上の対象は、該メインイメージ及び反射イメージにおいて、ミラー１６２０の縁部から異なる距離にあることになる。これらのイメージを比較することにより、上記コンピュータは、各対象がスクリーン１６３０に触れているか否かを論理的に推理することができる。
【０１０１】
マルチユーザ・タッチスクリーン及び３Ｄデータ：パターン化した照射
図１７は、本発明の一実施形態による、パターン化した照射を用いて３Ｄ情報を得る別の構成１７００を示す。光パターンを投影するパターン化赤外線イルミネータ１７１０は、通常の赤外線イルミネータの代わりに用いることができる。このシステムは、スクリーン１７２０上の対象とスクリーン１７２０の上方の対象を識別することができる。しかし、このシステムの精度は、パターン化赤外線イルミネータ１７１０をある角度でスクリーン１７２０上に照射させることにより、ある場合においては、ミラー１７３０から上記ボックス内部の側部にはね返すことにより、改善することができる。対象に対するパターン化した光の位置は、スクリーン１７２０から離れてまたは該スクリーンの方へ短距離移動する際に、劇的に変化し、該対象とスクリーン１７２０との距離を、コンピュータ１７４０によって容易に判断できるようにする。
【０１０２】
マルチユーザ・タッチスクリーン及び３Ｄデータ・タイムオブフライト型システム
上記カメラは、Ｃａｎｅｓｔａおよび３ＤＶ ｓｙｓｔｅｍｓから入手可能なモデル等のタイムオブフライト型赤外線カメラとすることができる。このカメラは、そのイメージの各ピクセルのための距離情報を検知する、本来備わった機能を有する。この種のカメラを使用する場合、上記スクリーンからの全ての赤外線グレアをなくすことが非常に重要であり、さもなければ、該カメラは、該スクリーン上の上記イルミネータの反射を実際の対象と間違えることになる。赤外線グレアをなくす方法は上述している。
【０１０３】
マルチユーザ・タッチスクリーン：複数波長
タッチスクリーンの機能は、それぞれのカメラとイルミネータとの組を異なる赤外線周波数とした状態で、２つのカメラ及び２つのイルミネータを有することにより実現することができる。例えば、一方のカメラ‐イルミネータの組は、８００ｎｍの光を用い、他方の組は、１１００ｎｍの光を用いることができる。該スクリーンの散乱は、該波長の逆数の４乗に比例するため、該８００ｎｍのカメラは、該１１００ｎｍのカメラよりも遥かに小さい、該スクリーンの向こうにあるものを見る能力を有することになる。その結果として、該スクリーンに触れている、または、触れそうになっている対象のみが、該８００ｎｍのカメラに見えることになり、一方、１１００ｎｍのカメラは、該スクリーンから数インチ離れている対象を見ることができることになる。両カメラ共、それらのデータを上記コンピュータに入力して、独立した視覚システムを介して実行する。該８００ｎｍのデータは、上記タッチスクリーンインターフェースへの入力となり、一方、１１００ｎｍのカメラは、該スクリーンの上の対象を検知することができるため、ジェスチャー入力に用いられるであろう。
【０１０４】
マルチユーザ・タッチスクリーン：ディスプレイ面上の狭小ビーム
図１８Ａは、本発明の一実施形態による、追加的なイルミネータを用いて３Ｄ情報を得る構成１８００及び１８５０を示す。第２のイルミネータ１８１０は、該ディスプレイ面上または該ディスプレイ面に近接している対象のみを照らすのに用いることができる。例えば、ＬＥＤまたはレーザ等の狭角イルミネータが、スクリーン１８２０とほぼ平行に向けられて、スクリーン１８２０のすぐ内側または外側に配置されている場合、スクリーン１８２０に隣接する対象は、上記カメラのイメージに非常に明るく現れることになる。円筒形レンズまたは他の手段を、該イルミネータの光を垂直ではなく水平方向に拡大するのに用いることができ、該光が該スクリーンの全領域をカバーするのを可能にする。それに伴って、上記視覚システムは、該非常に明るい対象が、スクリーン１８２０に近接しているかまたは該スクリーンに触れていることを論理的に推理することができる。
【０１０５】
別の実施形態においては、上記ビームは、上記ディスプレイ面の内側に照射することができる。図１８Ｂに示すそのような一実施形態の照射システム。透過性パネル１８６０は、メイン表示スクリーン１８５５の前に配置されている。イルミネータ１８７０は、狭小ビームを透過性パネル１８６０の縁部に照射する。急峻な入射角のため、光１８７０は、透過性パネル１８６０の境界内で完全に反射する。しかし、対象１８７５が該スクリーンに触れている場合には、光１８７０は散乱することができ、該光が、透過性パネル１８６０の境界から抜け出すことが可能になる。その結果、この光１８８０は、カメラ１８８５により検知することができる。このことは、カメラ１８８５が、対象１８７５またはユーザが該スクリーンに触れているときを検知することができるようにする。
【０１０６】
上記スクリーンの表面または該表面近傍に、イルミネータの第２のセットを用いるこれらのアプローチの場合、これらは上記システムが、上記メインイルミネータからの光と第２のイルミネータからの光とを識別できるようになっているいくつかのデザインである。この識別は、該システムが、単に該スクリーンの前にある対象とは別に、該スクリーンに触れている対象を検知できるようにするので重要である。
【０１０７】
まず、イルミネータの２つの組は、交互のカメラ露出の間に作動させることができ、上記システムが、各イルミネータにより照らされるときに、上記スクリーンの前の領域を見ることができるようにする。代替的に、該システムは、各カメラ‐イルミネータの組を異なる波長で作動させた状態で、２つのカメラを用いることができる。また、該システムは、２つのカメラを用いることができるが、各カメラ‐イルミネータの組を異なる時間にストロボさせることができる。
【０１０８】
マルチユーザ・タッチスクリーン及び３Ｄデータ：輝度比
タッチスクリーンの動作は、異なるイルミネータを、該スクリーンに対して異なる距離に配置することにより、実現することができる。イルミネータＡが、該スクリーンから２フィート離れており、イルミネータＢが該スクリーンから１フィート離れていると仮定する。照明源の明るさは、該照明源からの距離の逆二乗に比例する。すなわち、対象に対するＡ及びＢからの光の割合は、その距離が変化するにつれて変わる。この割合は、上記コンピュータが、対象が該スクリーン上にあるか否かを判断できるようにする。表１は、Ａ及びＢからの光の割合がどのように該スクリーン上の対象と該スクリーンの１インチ上の対象とを識別できるかという実施例を示す。
【表１】
【０１０９】
上記比は、対象が完全な黒色でない限り、どんな色の対象物であろうとも有効である。また、上記ＬＥＤの光は非均一であるため、該スクリーンに触れている対象の比は、該対象が、該スクリーンのどの部分に触れているかにより、変化する可能性がある。しかし、該比は、較正プロセス中に確立することができ、また、該スクリーンの各箇所で最近観測した最大比を記録することにより、長い間に再確認することができる。
【０１１０】
イルミネータＡとイルミネータＢは、区別することができる。一実施形態においては、２つのカメラ及びイルミネータが使用され、“マルチユーザ・タッチスクリーン：複数波長”の見出しのところで説明したように、異なる波長に対して調整される。すなわち、イルミネータＡは、カメラＡだけに見え、イルミネータＢは、カメラＢだけに見える。
【０１１１】
別の実施形態においては、イルミネータＡ及びイルミネータＢは、同じ波長を有するが、異なる時間にオンされる。１つのカメラがある場合、イルミネータＡ及びイルミネータＢは、ＡがオンでＢがオフの間に、全ての偶数番のカメラ露出が行われ、ＡがオフでＢがオンの間に、全ての奇数番のカメラ露出が行われるように、交互に作動させることができる。このことは、有効フレームレートを２倍減らすが、１つのカメラが、Ａ及びＢにより別々に照らされたイメージをキャプチャできるようにする。そして、上記コンピュータは、該２つのイメージを比較して、各箇所における輝度比を計算し、対象が上記スクリーンに触れたときを判断することができる。該カメラの同期信号を読取りまたは生成する回路を形成することにより、該イルミネータを該カメラと同期させることは容易である。
【０１１２】
別の実施形態においては、２つの別々のカメラは、上記イルミネータが、対応するカメラが露出を行うときにのみ作動するようにストロボされ、該２つのカメラの露出が、オーバーラップしないようにずらされる限り、（両方共、同じ波長で）イルミネータＡ及びイルミネータＢに連係させることができる。
【０１１３】
全ての場合において、上記コンピュータは、Ａによって照らされた上記スクリーンのイメージと、Ｂによって照らされた上記スクリーンのイメージとを比較して、各箇所における輝度比を判断し、それによって、対象の該スクリーンからの距離を判断することができる。Ａを該スクリーンから２フィート離し、Ｂを該スクリーンから１フィート離した実施例は、単に一つの実施形態であり、他の距離の比または配置も役に立つ。
【０１１４】
タイリング（ＴＩＬＩＮＧ）
上記システムは、内蔵型ボックス内にあり、また、上記スクリーンは、該スクリーンの全ての側部を占めることができるので、より大きなスクリーンを形成するために、スクリーンは、全てのスクリーンを同じ側部にした状態で、格子状にまとめて重ねることができる。各システムにおける上記コンピュータがネットワーク化されている場合、該システムは、リアルタイムの視覚信号及び内容に関する情報を共有することができ、該スクリーンが１つの大きなシームレススクリーンとして機能できるようにする。美観的理由により、個々のタイルを張るように並べられたユニットのスクリーンは、１つの非常に大きなスクリーンと替えてもよい。
【０１１５】
ぼやけの量からの距離情報の取得
あるスクリーン材料及び構造は、典型的な散乱の角度が小さい入射光の散乱を引き起こす可能性がある。すなわち、該スクリーン材料を通過する光の大部分は、方向をわずかに変える。図１９Ａは、わずかに散乱することの概念的実施例を示し、各光の散乱線に対する矢印の長さは、その方向に散乱した光の部分を表し、有限数の矢印が示されているが、散乱角度の分布は連続的である。
【０１１６】
この形態の散乱は、いくつかの方法で実現することができる。強度のミー散乱を伴う材料は、この特性を呈する。また、テクスチャー加工された表面を有する材料も、所望の方法で光の向きをわずかに変える。理想的には、該テクスチャーは、該光路において、小さな平均偏差及び確率的に滑らかな偏差をもたらすであろう。図１９Ｂは、そのようなテクスチャーの一実施例を示す。該テクスチャーのサイズは、投影イメージの視野からそれないように十分小さい。この散乱の効果は、強度のミー散乱またはテクスチャー加工された表面を有するように、メインスクリーンの材料を変更することによって実現することができる。代替的に、これらの特性は、該メインスクリーン材料とともに挟み込まれている第２のスクリーン材料に付加してもよい。
【０１１７】
このような材料の上記スクリーンの一部としての使用は、上記カメラによる景色の見方に影響を及ぼすことになる。該カメラによって見られる全ての対象は、該材料の散乱特性によってぼやけることになる。しかし、ぼやけの量は距離に依存する。該スクリーンに触れている対象は、ぼやけていないままであるが、離れていく対象は、徐々にさらにぼやけることになる。これは、該スクリーン表面で所定の角度で光線を散乱させることは、該スクリーンから該光線までの距離に比例する散乱の物理的距離を意味するからである。例えば、４５度だけ水平方向に光線を散乱させることは、該光線を、該スクリーンから１フィートの距離において、その水平方向の位置で１フィートそらさせるが、該それは、該スクリーンから２フィートの距離においては、２フィートである。
【０１１８】
そして、上記視覚システムは、このぼやけたイメージを用いて、シャープなエッジ及びぼやけたエッジの両方を検出し、かつ各エッジに対してぼやけの量の推定を実行できるエッジ検出技術の利用を含む多くの方法により、該距離を再構成することができる。Ｅｌｄｅｒ−Ｚｕｃｋｅｒアルゴリズムは、そのようなエッジ検出技術の一つである。ぼやけの量が一旦、分かると、該スクリーンからの該対象のエッジの距離を判断することができ、ぼやけの量は、該距離に比例するので、該視覚システムに、該対象に関する３Ｄ情報を与えられる。
【０１１９】
上記視覚システムのタスクは、規則的な赤外線照射の代わりにまたは該赤外線照射に加えて、上記カメラに見える赤外線パターンを投影するパターン化照明源を用いることにより、単純化することができる。このパターンは、ドット、ライン、あるいは、シャープなエッジを有する他のテクスチャーを含んでもよい。該パターンは、該スクリーンを通すことを含むいくつかの方向から投影することができる。該パターンが該スクリーンを通して投影される場合、散乱の量は２倍になるが、距離依存の散乱の効果は変わらない。
【０１２０】
上記スクリーン上の全ての対象をパターンで照らすことにより、上記視覚システムの性能は向上する。パターン化された照明を用いない場合、該イメージのどの位置における３Ｄ情報も判断することが困難であり、この場合、均一な輝度の対象の中間等のエッジはない。しかし、全ての対象をこの投影パターンでカバーする場合、該イメージのどの位置におけるぼやけ情報も得ることが容易である。
【０１２１】
投影されたテクスチャーを用いて、異なる方法を、ぼやけの量を推定するのに用いることができる。ソーベルフィルタまたはピラミッド分解等の画像コンボリューションは、異なるスケールにおける信号強度及び階調度に関する情報を得るのに用いることができる。該テクスチャーがドットパターンである場合、該ドットに相当するイメージにおける箇所は、局所最大値を探すことにより見つけることができる。そして、各局所最大値周辺の領域の階調度の強度を調べることにより、どの程度ぼやけが発生しているかを判断することができる。該ドットのエッジにおける階調度は、ぼやけの量にほぼ反比例する。そのため、各ドットにおける階調度は、上記スクリーンからの距離に関連付けることができる。
【０１２２】
カメラ構成
上記システムの一実施形態において、上記カメラは、人の目には見えない波長の光に対して感度が良い。不可視波長の光を放出するイルミネータを付け加えることにより、該カメラは、光をユーザの目に照射することなく、暗い室内で上記表示スクリーンの前の領域の良好に照らされたイメージを取得することができる。また、選択した光の波長により、該表示スクリーンの内容は、該カメラに見えない可能性もある。例えば、９２０ｎｍ〜９６０ｎｍの波長の光に対してのみ感度が良いカメラは、ＬＣＤスクリーン上にどのようなイメージが表示されていようとも、該ＬＣＤスクリーンを透過性のものとして見ることになる。
【０１２３】
上記システムの別の実施形態においては、上記カメラは、狭い範囲の波長の近赤外線に対してのみ感度が良く、この場合、該範囲内の最も短い波長は、少なくとも９２０ｎｍである。上記スクリーンの前の領域は、この波長範囲の光を放射する赤外線ＬＥＤからなるクラスタによって照らされる。該カメラは、該ＬＥＤによって生成された波長の光のみを伝達する帯域通過フィルタを備えた近赤外線に感度が良いモノクロＣＣＤである。さらなるイメージ品質の向上及び周囲光の排除のために、該カメラとＬＥＤとを一緒にストロボさせることができる。
【０１２４】
上記システムの一実施形態において、上記カメラは、上記スクリーンの前の領域の比較的歪んでいない視野を有する。歪みを低減するために、該カメラは、該スクリーンから有効な距離に配置することができる。代替的に、該カメラは、該スクリーンに近づけて配置することができ、フレネルレンズを該スクリーン上または該スクリーンの後ろに配置することができる。図２０Ａは、該カメラを該スクリーンに近接させた高歪み構成を示す。図２０Ａにおいては、対象２０１０及び対象２０２０が、該カメラの視野からは同じ位置に見えるが、該スクリーンの非常に異なる部分の上にあることに注意する。図２０Ｂ、図２１Ａ及び図２１Ｂは、歪みが低減された幾つかの構成を示す。図２０Ｂは、該カメラが該スクリーンから離れており、該カメラの視野を反射させることにより、ディスプレイ全体をコンパクトに保つことができる低歪み構成を示す。図２０Ｂにおいては、対象２０３０及び対象２０４０が、該カメラの視野からは同じ位置に見え、該スクリーンの上の同様の位置を占めていることに注意する。図２１Ａ及び図２１Ｂは、それぞれ、歪みを低減またはなくすフレネルレンズの使用を示す。
【０１２５】
フレネルレンズは、複数のカメラを上記システムにおいて使用できるようにするためにも用いることができる。図２１Ｃは、２カメラシステムにおいて歪みをなくすフレネルレンズの使用を示す。各カメラは、該カメラの視野に対する歪みをなくすフレネルレンズを有する。該２つのカメラの視野が、交差することなくわずかに接するため、対象は、一方のカメラの視野から他方のカメラの視野へ途切れなく通過することができる。この方法は、多くのカメラに恩恵を及ぼし、カメラからなる格子を該スクリーンの後ろに配置することができるようにする。この方法は、上記インタラクティブ・ディスプレイを奥行きのないものにすることができ、該ディスプレイに、フラットパネルディスプレイと同様の形状要素を与える。同様に、歪みをなくすフレネルレンズの使用は、全てのディスプレイからの複数のカメラを、継ぎ目なく一緒にタイル張りのように並べることができるように、複数の内蔵型ディスプレイを一緒にタイル張りのように並べることができるようにする。
【０１２６】
上記カメラからの３Ｄイメージを取得するのにある方法を用いる場合、該カメラの位置は、座標変換を実行することにより、歪みをソフトウェアで補正することができるため、重要性が小さくなる。例えば、各ピクセルに対する該カメラの深度測定値は、（ｘ，ｙ，ｚ）座標に変換することができ、ここで、ｘ及びｙは、該箇所に最も近い該表示スクリーン上の位置に対応し、ｚは、該箇所に対する該スクリーン上の位置（ｘ，ｙ）からの距離に対応する。３Ｄイメージは、数あるソフトウェアをベースとする及びハードウェアをベースとするアプローチの中でも、タイムオブフライト型カメラを用いることにより、ハードウェアで取得することができる。タイムオブフライト型カメラの製造者は、Ｃａｎｅｓｔａおよび３ＤＶ Ｓｙｓｔｅｍｓを含む。上述したアプローチは、ほとんどのタイムオブフライト型カメラが赤外線イルミネータを用いるため、タイムオブフライト型カメラを上記スクリーンの後ろに配置することと両立する。
【０１２７】
カメラのためのイルミネータ
上記カメラの波長を考慮して上記スクリーンの前のインタラクティブ領域を照らすイルミネータは、該スクリーンの周囲、該スクリーンの後ろまたはその両方に配置することができる。
【０１２８】
それらのイルミネータが該スクリーンの周囲に配置されている場合、該イルミネータは、上記インタラクティブ領域を直接照らし、それらの明るさを最大限にできるようにする。しかし、この構成は、信頼できるものではなく、ユーザが該イルミネータの光路を遮断する可能性があり、該インタラクティブ領域内のいくつかの対象が照らされることが妨げられる可能性がある。また、この構成は、該スクリーンに触れている対象を照らすことを困難にする。
【０１２９】
上記スクリーン周辺に配置されたイルミネータについての上述した問題は、該イルミネータを該スクリーンの後ろに配置することにより解決され、上記カメラの近傍のイルミネータの場合、該カメラに見えるいかなる対象も照らされることになる。しかし、それらのイルミネータからの光は、レイリー散乱物質、テクスチャー加工された材料、または、該スクリーンの後ろの散乱偏光子によって後方散乱する可能性がある。この後方散乱は、該カメラのイメージのコントラストを著しく低下させ、上記視覚システムが該カメラのイメージを解読することを困難にする。
【０１３０】
光が散乱偏光子によって散乱されている場合、上記カメラは、近赤外光に対して感度が良く、上記イルミネータは近赤外光を放射し、それに伴って、上述したコントラストの損失は、赤外光を直線偏光させる赤外線直線偏光子を用いることによって低減することができる。偏光方向を、散乱偏光子が透過性である方向に対して平行にした状態で、該カメラの前に赤外線直線偏光子を配置することは、後方散乱を著しく低減し、かつコントラストを改善することになる。また、偏光方向を、該散乱偏光子が透過性である方向に対して平行にした状態で、該赤外線イルミネータの前に赤外線直線偏光子を配置することも、後方散乱を低減し、かつコントラストを改善することになる。
【０１３１】
ウィンドウディスプレイ
本発明の別の態様によれば、上記内蔵型インタラクティブ・ビデオ・ディスプレイは、ウィンドウディスプレイと共に使用することができる。内蔵型インタラクティブ・ビデオ・ディスプレイは、様々な物理的構成、例えば、上記スクリーンを水平、垂直または対角線状に配置することで、配置することができる。しかし、そのようなディスプレイをウィンドウ上に配置した場合には、いくつかの追加的な実行可能な構成がある。
【０１３２】
図２２は、本発明の一実施形態による、インタラクティブ・ウィンドウ・ディスプレイ２２００の例示的な構成を示す。一実施形態においては、内蔵型とする代わりに、コンポーネントを物理的に分離することができる。スクリーン２２１０は、ウィンドウ２２２０面に直接貼ることができ、あるいは、ウィンドウ２２２０の後ろに独立して設けることができる。カメラ２２３０、プロジェクタ２２４０及びイルミネータ２２５０は、近くに、または、別々の位置に配置することができ、また、床、天井またはウィンドウ２２２０からの様々な距離の間のどこかに設けることができる。場合によっては、赤外線イルミネータ２２５０を、該イルミネータが、スクリーン２２１０を通してではなく、対象を直接照射するように、スクリーン２２１０の側に配置することができる。また、場合によっては、カメラ２２３０とコンピュータ２２６０との間、または、コンピュータ２２６０とプロジェクタ２２４０との間の通信をワイヤレスにしてもよい。
【０１３３】
ウィンドウディスプレイ内の該カメラは、一般に、水平方向に向けられている。その結果として、該カメラは、通常、上記スクリーンから任意の距離で人を見る。視覚ソフトウェア、スクリーン材料または他のシステムを、過大な距離における対象を識別及び除去するのに用いることができるが、より遠くの対象が、それらを見るカメラのために、一定の最小高さからなる必要があるように、該カメラを上方へ傾けることも可能である。それに伴って、数フィートのスクリーンの範囲内の人のみが該スクリーンと相互に作用することができる。そのようなディスプレイに近づいてくるユーザは、該スクリーンの底部に最初に現れ、その後、該ユーザが該スクリーンに近づくにつれて、段々浮かび上がってくる仮想的な存在に気付くことになる。図２２は、このように上方に傾けたカメラ２２３０を示す。
【０１３４】
グレアは、ウィンドウディスプレイにおける課題である。しかし、ウィンドウディスプレイのユーザが、典型的に、該スクリーンを見る角度は限られる。そういう人たちは、おそらく、該ディスプレイ上の対象を指差す空間を有するように、該ディスプレイから少なくとも数（例えば、２）フィートの距離を保つため、一般に、斜角で該スクリーンを見ることはないであろう。目線以下のディスプレイの場合、人は、特に、斜角で該ディスプレイを見上げることはないであろう。該プロジェクタが、そのビームを斜角で下方へ投影する状態で、該スクリーンに極端に近づけてかつ該スクリーンの上部の上に配置されている場合には、この低グレア状態が実現されるであろう。代替的に、該ディスプレイが目線以上になるように配置されている場合、該プロジェクタを該スクリーンの下に近づけて配置して、斜角で上方に投影することにより、同様のグレアの低減を達成することができる。軸外しプロジェクタは特に、この種の構成に特に有用であることに注意する。
【０１３５】
ウィンドウユニット：代替構成
上記スクリーンの可視光透過性は、内蔵型ユニットよりもウィンドウユニットにおいてより望ましい。従って、ウィンドウディスプレイは、特定の角度で該スクリーン上に照射される光に対して半透過性である部分的に透過性のスクリーンを用いて形成することができる。該部分的に透過性のスクリーンを形成するのに用いることができる一つの材料は、Ｄａｉ Ｎｉｐｐｏｎ Ｐｒｉｎｔｉｎｇにより製造されて“ＨｏｌｏＣｌｅａｒ”の商品名で市販されており、このような材料は、３５度の角度で該スクリーンに照射される光に対して半透過性である。このスクリーンは、上記赤外線透過・可視光半透過性スクリーンまたは散乱偏光子スクリーンの代わりになる。上記プロジェクタが、該角度で該スクリーン上に光を照射した場合、該プロジェクタからのグレアは生じないであろう。上記カメラが、該プロジェクタから（該スクリーンに対して）著しく異なる角度にある限り、上記システムは、正しく機能することができるであろう。
【０１３６】
ウィンドウユニットに対するインタフェース
上記ウィンドウユニットに対するインタフェースは、ステレオカメラ、タイムオブフライト型カメラ及びこの特許の“タッチスクリーン”の章で説明した技術の使用を含む、上記内蔵型ユニットと同様の方法を用いて、距離に依存して形成することができる。一実施形態において、該ウィンドウユニットとの相互作用は、全身のインタラクションと、指差し等のより厳密なジェスチャーとの混合を含む。
【０１３７】
深度情報を抽出する視覚システムの場合、いくつかの方法によって、指差しジェスチャーと他の手の動きとを分離することが可能である。まず、上記カメラのイメージは、全身のインタラクションに対する１つの距離範囲と、指差しジェスチャーに対する別の（おそらくより近い）距離範囲とを用いて、いくつかの距離範囲に分けることができる。後者の距離範囲における対象は、ポインタとして追跡され、その位置は、該ディスプレイ上で実行されるアプリケーションに対する入力として作用する。代替的に、該スクリーンから特定の距離に満たない全ての対象は、該スクリーンに最も近い該対象内の箇所を見つけるために分析することができる。該箇所が、少なくとも特定の閾値だけ、該対象の残りよりも該スクリーンに近い場合、該箇所は、指差しジェスチャーのための入力になる。該スクリーン上の視覚フィードバックは、何らかの検出された手の動きの位置を示すように実行することができる。
【０１３８】
グレアを低減する方法
ビューワが常に、特定の角度範囲から上記プロジェクタのグレアを見るようにする場合、該グレアは、該光景の該カメラの視野に有害な影響を及ぼすことなく、さらに低減することができる。図２３Ａ、図２３Ｂ及び図２３Ｃは、それぞれ、本発明の異なる実施形態による、グレアを低減する様々な方法を示す単純化した概略図である。図２３Ａは、プリーツ付きのスクリーン材料を示す。該スクリーンは、斜角で来る光線が、スクリーンのいくつかの層を通過しなければならず、ほぼ直線状に来る光線が、通常、１つの層のみを通過するように、プリーツが付けられていると仮定する。該プロジェクタの光が斜角で来て、該カメラがほぼ平行に該スクリーンを見る場合、該プロジェクタの光の散乱の量は、該カメラの視野に有害な影響を及ぼすことなく、大幅に増加することになる。図２３Ａにおいて、該カメラの視野の大部分は、１つの層を通過するのみであるが、投射された光の全ては、複数の層を通過する。
【０１３９】
所望の効果を実現するには、いくつかの方法がある。プリーツ付きスクリーンの代わりに、図２３Ｂに示すように、プリーツ付きスクリーンと同じ効果を生成するマイクロルーバー材料を有する平坦なスクリーンを代替使用することができる。代替的に、図２３Ｃに示すように、スクリーン材料の小さく、平坦なシート状粒子を、（全て水平方向に向けて）透過性基板に付加することができる。全ての場合において、斜角で該スクリーンに近づく典型的な光線は、該材料と垂直な典型的な光線よりもより多くの散乱材料に遭遇する。
【０１４０】
全ての場合における上記スクリーンのテクスチャーは、ビューワがそれに気付かないくらい十分に小さくすべきである。この方法は、軸外しプロジェクタを使用する場合に最も有用であるが、該プロジェクタ及びカメラが異なる角度で該スクリーンを見るどのような状況においても有用である。
【０１４１】
上記赤外線光源が上記スクリーンを照射すること及びコントラストを低下させることを防ぐことが重要である。すなわち、赤外線イルミネータが該スクリーンの後ろに配置されている場合、該スクリーンの散乱が最小化される角度で該赤外線イルミネータを配置することが有利である。
【０１４２】
代替的に、狭い範囲の視角で半透過性であり、かつ他の全ての角度で透過性である（Ｌｕｍｉｓｔｙ等の）視界制御フィルム製品は、場合によっては、グレアを低減するのを促進することができる。
【０１４３】
上記プロジェクタを、上記スクリーンに対して特定の角度で配置することにより、該プロジェクタのビームを直接見る誰かが、上記視界制御フィルムが半透過性になる角度で該スクリーンを見ることになるようにすることができる。図２４Ａ及び図２４Ｂは、視界制御フィルムがグレアを低減することができる一つの方法を示す。図２４Ａは、１種類の視界制御フィルムを通して光を見る人（またはカメラ）の体験を示す。該半透過性領域からの光は拡散され、この領域内の光源からのいかなるグレアも低減されまたはなくなる。２つの透過性領域からの光源は拡散されず、人またはカメラが、それらの領域内で対象を見ることができるようになる。視界制御フィルムの領域の境界は、多くの場合、一方向に沿った光線と該視界制御フィルムの表面との間の角度に対する値の範囲によって定義される。図２４Ｂは、インタラクティブ・ウィンドウ・ディスプレイ上のグレアを低減する、単純化した構成の視界制御フィルムを示す。該視界制御フィルムは、上記赤外線透過・可視光半透過性スクリーンと共に使用される。該プロジェクタの角度のため、該視界制御フィルムが光を拡散させる角度である状態を要することなく、該プロジェクタのビームを直接見ることが可能である。しかし、上記カメラは、該視界制御フィルムが透過性である角度で向けられているため、該視界制御フィルムを通して対象を見ることができる。従って、グレアは、光景を見る該カメラの能力に影響を及ぼすことなく低減される。
【０１４４】
例示的な構成
ウィンドウディスプレイ２５００の一つの例示的な実施形態は、図２５に示すように、散乱偏光子をスクリーンとして用いる。この実施形態は、該ディスプレイを作動させるのに必要な全ての検知及び表示コンポーネントが、ウィンドウ２５０５の後ろに配置されているインタラクティブ・ウィンドウ・ディスプレイ２５００である。ウィンドウディスプレイ２５００は、ウィンドウ２５０５の前のユーザが、自然な身体動作によって、ウィンドウ２５０５上に表示されたビデオイメージと対話できるようになっている。
【０１４５】
一実施形態において、表示されたイメージは、ＬＣＤプロジェクタ２５１０によって生成される。ほとんどのＬＣＤプロジェクタにおいては、赤色及び青色の光が一方向に偏光され、緑色は、垂直方向に偏光される。ＣｏｌｏｒＬｉｎｋ Ｃｏｒｐｏｒａｔｉｏｎによって生み出された位相差板スタック“ＣｏｌｏｒＳｅｌｅｃｔ”技術等の色選択性偏光回転子２５１５は、緑色の光の偏光を９０度回転させるのに用いられる。代替的に、赤色及び青色の光の偏光は、同じ効果を実現するために、９０度だけ回転させることができる。プロジェクタ２５１０の前に色選択性偏光回転子２５１５を配置することにより、全てのプロジェクタの光は、同じ偏光になる。散乱偏光子２５２５は、最大散乱の方向が該プロジェクタの光と平行になるように方向付けられている。従って、このプロジェクタの光が散乱偏光子２５２５に達すると、該光は全て散乱され、該スクリーンの他方側のユーザに対するイメージが生成される。
【０１４６】
近赤外光のみに感度が良いビデオカメラ２５３０は、“カメラの視野”と呼ばれる、該スクリーンの前の領域を見る。この視野内の対象は、カメラ２５３０に見えることになる。該カメラの視野のための照明は、赤外線ＬＥＤクラスタ２５３５からなるセットから来て、該クラスタは、カメラ２５３０により見える波長の光を該スクリーンの裏側に生成する。該カメラの視野は、該スクリーン近傍にいる人のみが、該視野の範囲内にあるように、上方に傾斜されている。このことは、該スクリーンから離れた対象が、カメラ２５３０を入力として用いるインタラクティブ・アプリケーションに影響を及ぼすことを防止する。
【０１４７】
次に、図２５の例示的な実施形態を介した可視光及び赤外光の経路について説明する。光の２つの垂直な偏光は、偏光Ａ及び偏光Ｂと呼ぶ。
【０１４８】
可視光は、赤色光及び青色光が偏光Ａで緑色が偏光Ｂの状態でＬＣＤプロジェクタ２５１０から現れる。この光は、まず、色選択性偏光回転子２５１５を通過し、該回転子は、赤色光及び青色光を散乱させずに、緑色光が偏光Ａになるように、該緑色光の偏光を回転させる。次に、この光は、直線偏光子２５２０を通過し、該偏光子は、偏光Ａの光を伝達し、偏光Ｂの光を吸収する。この直線偏光子２５２０は、該光を“浄化し”、すなわち、該偏光子は、まだＢで偏光されている該プロジェクタの光を吸収する。次いで、該光は、散乱偏光子２５２５を通過し、該偏光子は、偏光Ａの光を散乱させ、偏光Ｂの光を伝達するような方向に配置されている。すなわち、該プロジェクタの光のほぼ全てが散乱される。この散乱光は、その偏光Ａを保つことに注意する。状況に応じて、該光は、その後、偏光Ａの光を伝達し、かつ偏光Ｂの光を吸収する直線偏光子２５４０を通過してもよい。この偏光子は、イメージ品質の改善に役立つ。
【０１４９】
赤外線イルミネータ２５３５から放射された赤外光は、非偏光を始める可能性がある。状況に応じて、改善された明瞭度のために、この光は、少量の該光が散乱偏光子２５２５により散乱されるように、まず、赤外線直線偏光子を通過して該光を偏光Ｂに偏光させることができる。該光が偏光されない場合、該光の一部は、該光が散乱偏光子２５２５を通過する際に散乱されることになるが、偏光Ａの光は、散乱されずに散乱偏光子２５２５を通過することになる。該赤外光の波長は十分に長いため、該光は、影響を受けずにいずれかの可視光直線偏光子２５４０を通過し、人であるユーザ等の上記スクリーンの前の対象を照らすことができる。
【０１５０】
ウィンドウ２５０５の前からカメラ２５３０の方へ戻ってくる赤外光は、直線偏光子２５４０の影響を受けない。しかし、該光が散乱偏光子２５２５を通過する際に、偏光Ａの光は散乱し、偏光Ｂの光は散乱されないままとなる。カメラ２５３０は、その直前に赤外線直線偏光子２５４５を有し、この偏光子２５４５は、偏光Ａの光を吸収し、かつ偏光Ｂの光を伝達する。従って、カメラ２５３０は、散乱偏光子２５４５によって散乱されていない偏光Ｂの光のみを見る。このことは、カメラ２５３０に、該スクリーンの前の領域の明瞭で高コントラストのイメージを与える。
【０１５１】
プリズムフィルムの使用
一般的なインタラクティブ投影型ウィンドウディスプレイにおいては、該ウィンドウディスプレイの下の領域をクリアにし、上記カメラが見る領域が上方に傾斜するように該カメラを配置することが望ましいことが多い。この状況は、プリズムフィルムを通過する全ての光の向きを特定の角度に向け直すプリズムフィルムの使用によって実現することができる。例えば、３Ｍにより製造されているＶｉｋｕｉｔｉ ＩＤＦ ｆｉｌｍは、入射光の向きを２０度変える。１つ以上のそれらのフィルムを上記投影スクリーンのいずれかの面に配置して、光を上方へ向け直すことにより、該カメラは、図２６に示すように、該スクリーンと比較してより高く配置することができる。
【０１５２】
小型化
上記システムの全体のサイズは、ミラーを用いて小型化することができる。図２７は、上記カメラ及びプロジェクタが、上記ウィンドウから離れる方向に向けられて、該ウィンドウに隣接して配置されており、ミラーが該光ビームを反射して該ウィンドウの方へ戻す構成を示す。
【０１５３】
カメラの改良
さらなるイメージ品質の向上及び周囲光の排除のために、上記カメラと該カメラのイルミネータとを、一緒にストロボさせることができる。このアプローチは、３Ｄイメージングのための様々なソフトウェア及びハードウェアアプローチの利用と完全に適合する。特に、このデザインのカメラ及びイルミネータは、タイムオブフライト型カメラと置き換えることができる。
【０１５４】
可視光システム
（図２５に示すように）直線偏光子が散乱偏光子に隣接して付加されていない場合、該デザインは、赤外線カメラの使用を必要としない。偏光方向を、該散乱偏光子が透過性になる方向と平行にした状態で、該カメラの直前に可視光直線偏光子がある限り、カラーまたは白黒の可視光カメラは、上記スクリーンの前の領域を撮像することができる。従って、投影されたイメージは、該カメラによって見られず、該カメラが、妨げられていない該スクリーンの前の領域を見ることができるようになる。このカメラは、現在ある周囲光によって、または、該スクリーンの前のユーザ及び対象を照らすために該ディスプレイの近くに配置された追加的な可視光によって作動することができる。追加的な可視光を付加した場合、該カメラ及び光は、該カメラのイメージの品質を向上させ、かつ周囲光及び該イメージに対するプロジェクタの光の影響を制限するために、本願の“方向性周囲赤外線”の章で説明したように、一緒にストロボしてもよい。
【０１５５】
さらなるイメージ品質の向上に対しては、高速開口を上記プロジェクタのレンズの前に配置することができる。この開口は、機械的または電子的なものにすることができ、すなわち、１つの利用可能な電子的開口は、Ｍｅａｄｏｗｌａｒｋ Ｏｐｔｉｃｓによって製造されている、液晶をベースとするＶｅｌｏｃｉｔｙ Ｓｈｕｔｔｅｒである。一実施形態において、このシャッタは、ほとんど常に開いたままであり、該プロジェクタの光が通過できるようになっている。該シャッタは、該プロジェクタの光を遮断し、上記カメラが写真を撮るためだけに閉じる。該カメラの露出時間が短い場合、該プロジェクタの輝度は、ほとんど影響を受けないことになる。該カメラの露出中に該プロジェクタの光を遮断する速度シャッタの使用も、可視光カメラを、投影型インタラクティブフロアまたはウォールディスプレイの前で使用できるようにすることに注意する。
【０１５６】
インタラクティブ・ビデオ・プロジェクション・システムにおける可視光カメラの使用の場合、各ピクセルを前景または背景として分類する視覚信号に加えて、上記スクリーンの前の人（該システムのユーザ）のリアルタイムの写真が得られることに注意する。このことは、該視覚システムが、該システムのユーザの写真と、除去される静止背景とを分離することを可能にする。この情報は、該システムが、人為的に生成されたイメージを該ユーザの上または周囲に挿入した状態で、該ユーザのカラーイメージを、表示する該イメージ中に配置できるようにする。このシステムが正確に較正されている場合、ユーザは、該スクリーンに触れることができ、該ユーザの表示されたイメージは、該スクリーン上の同じ位置に同時に触れることになる。これらの特徴は、例えば、ユーザが、インタラクティブな内容に配置されたユーザ自身を事実上見ることができることを含む、このディスプレイ上で実行するインタラクティブなアプリケーションの品質の著しい向上を実現できる。
【０１５７】
上記カメラからの可視光イメージは、該ミラーは、実際のミラーのように見えかつ作用する仮想ミラーを形成するのに用いることができるが、該ミラーイメージは、電子的に操作することができる。例えば、該イメージは、非反転ミラーを形成するように水平方向に裏返すことができ、この場合、ユーザは、他の人が該ユーザのイメージを見る様に、該ユーザ自身のイメージを見る。代替的に、該イメージは、人が、自身の背中を見るために振り返ることができるように、遅延させることができる。従って、このシステムは、例えば、ドレッシングルームを含む、ミラーが使用される環境における用途を有することができる。
【０１５８】
タイムオブフライト型カメラ・インタラクティブ・ディスプレイ
本発明の実施形態は、タイムオブフライト型カメラを用いて実施することができる。タイムオブフライト型カメラは、そのイメージの各ピクセルのための距離情報を検知する予め組込まれた性能を有する。タイムオブフライト型カメラを使用すると、変更されたディスプレイに対する必要性が排除される。換言すれば、該タイムオブフライト型カメラは、変更を要することなく、何らかのディスプレイ（例えば、ＬＣＤパネル、ブラウン管ディスプレイ等）と共に機能してもよい。単一のタイムオブフライト型カメラを用いてもよい。しかし、単一のタイムオブフライト型カメラは、該カメラに近接している対象によって遮られている対象を検知することができない可能性がある。そのため、本発明の実施形態は、図２８に示すように、複数のタイムオブフライト型カメラを用いる。
【０１５９】
カメラの冗長性を用いれば、他方の対象を遮る一方の対象のため、もはや、全ての対象を検知できない１つのカメラのことを気にする必要はない。例えば、図２９に示すように、４つのタイムオブフライト型カメラを、１つのディスプレイの角部に配置して、該ディスプレイの全体の領域がインタラクティブにすることができる。複数のカメラに対してこのタイムオブフライト型の実施を用いるために、座標変換が各タイムオブフライト型カメラの各ピクセルに対して実行されて、各ピクセルが共通の座標空間内に入れる。１つのこのような空間は、（ｘ，ｙ）、すなわち、該ディスプレイ面に垂直に投影されるポイントの位置と、（ｚ）、すなわち、該ディスプレイからの距離とによって定義される。この座標空間の変換は、上記スクリーンに対する各カメラの角度（及び位置）で見ることにより決定することができる。代替的に、該変換は、既知のサイズ、形状及び位置の対象が、該スクリーンの前に配置されている較正プロセスによって決定することができる。該カメラの各々に対象を撮像させることにより、適切な変換機能を、各カメラによって見られるポイントから該共通の座標空間内のポイントへ確定することができる。該カメラの座標変換がリアルタイムで行われる場合、３Ｄの該カメラの前の領域のリアルタイムの写真が実現される。
【０１６０】
利用法
上記インタラクティブ・ビデオ・ディスプレイ・システムは、多くの異なる用途に用いることができる。タッチスクリーンのような動作及び全体または部分的な輪郭相互作用を有する該システムの能力は、ボタン及び対象のより厳密な選択及び操作を要する情報インタフェースに対するそのアピールを増す。
【０１６１】
透過性ディスプレイスクリーンをベースとする及びプロジェクタをベースとするインタラクティブ・ディスプレイ・システムは、限定するものではないが、ユーザが自身の体を動かしてゲームをプレイするインタラクティブ・ビデオゲーム、インタラクティブメニュー、カタログ、及びジェスチャーを用いて、情報内容のページをユーザに検索させる検索システム、ユーザが、自身のイメージを用いて衣服を試着できるようにするシステム、ユーザのイメージまたは輪郭が、ビデオ・エフェクト・システムへの入力として作用するピュア・エンタテインメント用途、該スクリーンの前のユーザの動きと相互作用するインタラクティブ・キャラクター、及びユーザが体を動かすことによって相互作用する仮想遊園地及び童話を含む。
【０１６２】
本発明の他の利用法は、限定するものではないが、ユーザが、ディスプレイ上で製品をカスタマイズする使用可能なオプションをカスタマイズするまたは見ることを可能にすること、ディスプレイ上の製品を、ディスプレイインタフェース、キーボード、クレジットカードの読取り、または、これら３つの組合せを用いて、該ディスプレイで注文できるようにすること、該ディスプレイ上の複数の製品の特徴を比較すること、該ディスプレイ上の複数の製品間の組合せまたは互換性を示すこと、及び製品を異なる仮想背景（例えば、水、森、アスファルト等）内に置いて、その特徴を説明することを含む。
【０１６３】
周辺装置
透過性ディスプレイスクリーンをベースとする及びプロジェクタをベースとするインタラクティブ・ディスプレイ・システムは、限定するものではないが、マイクロフォン、タッチスクリーン、キーボード、マウス、ＲＦＩＤタグ、圧力パッド、携帯電話の信号、ＰＤＡ及びスピーカを含む追加的な入力装置及び出力装置を組み込むことができる。
【０１６４】
透過性ディスプレイスクリーンをベースとする及びプロジェクタをベースとするインタラクティブ・ディスプレイ・システムは、一緒にタイル張りのように並べて、単一のより大きなスクリーンまたはインタラクティブ領域を形成することができる。また、タイル張りのように並べられたスクリーンまたは物理的に独立したスクリーンもネットワーク化することができ、一方のスクリーン上のアクションが他方のスクリーン上のイメージに影響を及ぼすことを可能にする。
【０１６５】
例示的な実施において、本発明は、統合する方法またはモジュラー化する方法で、制御論理のかたちでハードウェアとソフトウェアの組合せを用いて実施される。本明細書に記載した開示及び教示に基づいて、当業者は、本発明を実施する他の手段および／または方法を理解するであろう。
【０１６６】
概して、この文書は、内蔵型インタラクティブ・ビデオ・ディスプレイ・システムについて開示している。フラットパネル・ディスプレイ・スクリーンは、該フラットパネル・ディスプレイ・スクリーンの前面のユーザに対する提示のために視覚イメージを表示する。第１のイルミネータは、可視光で該フラットパネル・ディスプレイ・スクリーンを照らす。第２のイルミネータは、対象を照らす。カメラは、照らされた対象と該視覚イメージとの相互作用を検知し、該カメラは、該フラットパネル・ディスプレイ・スクリーンを通して該対象を見ることができるように機能する。コンピュータシステムは、上記プロジェクタに、該相互作用に応じて該視覚イメージを変えるように指示する。
【０１６７】
一つの例示的な態様において、上述したように本発明は、カメラが、ディスプレイの前の領域を見ることができるようになっているシステムを実現できる。関連する発明において、システムは、該ディスプレイの前に反応性空間を生成するように形成される。本発明は、該反応性空間から情報を取得するのに用いることができる。
【０１６８】
本明細書に記載した実施例及び実施形態が、単に説明のためのものであり、また、それを踏まえて様々な変更または変形が、当業者に思いつかれ、この出願の趣旨及び範囲内に及び添付の請求項の範囲内に含まれるべきであることは言うまでもない。本明細書において引用した全ての出版物、特許及び特許出願は、それらの全体が参照により本明細書に組み込まれる。
【０１６９】
本発明の様々な実施形態、すなわち、内蔵型インタラクティブ・ビデオ・ディスプレイ・システムはこのように説明された。本発明を特定の実施形態において説明してきたが、本発明は、そのような実施形態によって限定されるものと解釈すべきではなく、むしろ以下の請求項に従って解釈すべきであることを正しく認識すべきである。
【図面の簡単な説明】
【０１７０】
この明細書の一部に組み込まれており、かつ該明細書の一部を構成する添付図面は、本発明の実施形態を示し、また、説明と共に本発明の原理を説明するのに役立つ。
【図１】図１は、本発明の一実施形態によるインタラクティブ・ビデオ・システムのコンポーネントの一つの物理的構成を示す。
【図２】図２は、本発明の一実施形態による、直線偏光シートが、グレアをなくすまたは低減するのに用いられるスクリーンの一つの構成を示す。
【図３】図３は、本発明の様々な実施形態による、インタラクティブ・ビデオ・システムのいくつかの他の構成の断面図を示す。
【図４Ａ】図４Ａは本発明の実施形態によるインタラクティブ・ビデオ・システムの実施形態を示す概略図である。
【図４Ｂ】図４４Ｂは、本発明の実施形態によるインタラクティブ・ビデオ・システムの実施形態を示す概略図である。
【図５Ａ】図５Ａは、本発明の実施形態によるインタラクティブ・ビデオ・システムの実施形態を示す概略図である。
【図５Ｂ】図５Ｂは、本発明の実施形態によるインタラクティブ・ビデオ・システムの実施形態を示す概略図である。
【図６Ａ】図６Ａは、本発明の実施形態による軸外し投影の２つの構成を示す概略図である。
【図６Ｂ】図６６Ｂは、本発明の実施形態による軸外し投影の２つの構成を示す概略図である。
【図７Ａ】図７Ａは、本発明の一実施形態による、インタラクティブ・フラットパネル・ディスプレイ・システムを示す概略図である。
【図７Ｂ】図７Ｂは、本発明の一実施形態による、インタラクティブ・フラットパネル・ディスプレイ・システムを示す概略図である。
【図８Ａ】図８Ａは、本発明の一実施形態による、フレネルレンズを用いてイメージ歪みを低減する技術を示す概略図である。
【図８Ｂ】図８Ｂは、本発明の一実施形態による、一連のミラーストリップを用いてイメージ歪みを低減する技術を示す概略図である。
【図９Ａ】図９Ａは、本発明の一実施形態による、散乱偏光子スクリーンを有するインタラクティブ・ビデオ・ディスプレイ・システムの概略レイアウトを示す。
【図９Ｂ】図９Ｂは、本発明の一実施形態による、散乱偏光子スクリーンを有するインタラクティブ・ビデオ・ディスプレイ・システムの概略レイアウトを示す。
【図１０Ａ】図１０Ａは、本発明の一実施形態による、微小散乱隆起部またはバンプを有するスクリーンの断面を示す。
【図１０Ｂ】図１０Ｂは、本発明の一実施形態による、微小散乱ピットまたは溝を有するスクリーンの断面を示す。
【図１１】図１１は、本発明の一実施形態による、エッジライティングのためのサンプルの構成を示す。
【図１２Ａ】図１２Ａは、本発明の一実施形態によるフラットパネルディスプレイの断面を示す。
【図１２Ｂ】図１２Ｂは、本発明の別の実施形態によるフラットパネルディスプレイの断面を示す。
【図１３】図１３は、本発明の一実施形態によるカメラ及び照明サブシステムを示す。
【図１４】図１４は、本発明の一実施形態による、傾けた散乱偏光子を用いた、カメラのための照明サブシステムを示す。
【図１５】図１５は、本発明の一実施形態による、タイムオブフライト型カメラのためのカメラ及び照明サブシステムを示す。
【図１６】図１６は、本発明の一実施形態による、３Ｄデータをキャプチャする第１の構成を示す。
【図１７】図１７は、本発明の一実施形態による、３Ｄデータをキャプチャする第２の構成を示す。
【図１８Ａ】図１８Ａは、本発明の一実施形態による、３Ｄデータをキャプチャする２つの追加的な構成を示す。
【図１８Ｂ】図１８Ｂは、本発明の一実施形態による、３Ｄデータをキャプチャする別の構成を示す。
【図１９Ａ】図１９Ａは、本発明の一実施形態による、光散乱を示す概略図である。
【図１９Ｂ】図１９Ｂは、本発明の一実施形態による、光散乱を示す概略図である。
【図２０Ａ】図２０Ａは、本発明の一実施形態による、高歪みを示す。
【図２０Ｂ】図２０Ｂは、本発明の一実施形態による、ディスプレイスクリーンからカメラを遠ざけたことによる低減された歪みを示す。
【図２１Ａ】図２１Ａは、本発明の一実施形態による、フレネルレンズを用いた歪み低減を示す。
【図２１Ｂ】図２１Ｂは、本発明の一実施形態による、フレネルレンズを用いた歪み排除を示す。
【図２１Ｃ】図２１Ｃは、本発明の一実施形態による、２カメラシステムにおいて歪みをなくすフレネルレンズの使用を示す。
【図２２】図２２は、本発明の一実施形態による、ウィンドウディスプレイを示す概略図である。
【図２３Ａ】図２３Ａは、本発明の異なる実施形態による、グレアを低減する様々な技術を説明する概略図である。
【図２３Ｂ】図２３Ｂは、本発明の異なる実施形態による、グレアを低減する様々な技術を説明する概略図である。
【図２３Ｃ】図２３Ｃは、本発明の異なる実施形態による、グレアを低減する様々な技術を説明する概略図である。
【図２４Ａ】図２４Ａは、本発明の実施形態による、視界制御フィルムを用いてグレアを低減する技術を説明する概略図である。
【図２４Ｂ】図２４Ｂは、本発明の実施形態による、視界制御フィルムを用いてグレアを低減する技術を説明する概略図である。
【図２５】図２５は、本発明の一実施形態による、散乱偏光子を用いたウィンドウディスプレイの一つの構成の断面を示す。
【図２６】図２６は、本発明の一実施形態による、散乱偏光子及びマイクロプリズム材料を用いたウィンドウディスプレイの一つの構成の断面を示す。
【図２７】図２７は、本発明の一実施形態による、簡潔化目的のためにミラーを用いたウィンドウディスプレイの一つの構成の断面を示す。
【図２８】図２８は、本発明の一実施形態による、多数のタイムオブフライト型カメラを含むインタラクティブ・ディスプレイの側面を示す。
【図２９】図２９は、本発明の一実施形態による、多数のタイムオブフライト型カメラを含むインタラクティブ・ディスプレイの平面を示す。
【特許請求の範囲】
【請求項１】
フラットパネル・ディスプレイ・スクリーンの前側のユーザへの提示のために、視覚イメージを表示するディスプレイ・スクリーンと、
可視光で前記ディスプレイ・スクリーンを照らす第１のイルミネータと、
対象を照らす第２のイルミネータと、
照らされた対象と前記視覚イメージとの相互作用を検知するカメラであって、前記カメラが、前記スクリーンを通して前記対象を見ることができるカメラと、
前記ディスプレイ・スクリーンに、前記相互作用に応じて前記視覚イメージを変えるように指示するコンピュータシステムと、
を備える内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項２】
前記ディスプレイ・スクリーンがフラットパネル・ディスプレイ・スクリーンである、請求項１に記載のシステム。
【請求項３】
前記フラットパネル・ディスプレイ・スクリーンが液晶ディスプレイ（ＬＣＤ）パネルである、請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項４】
前記第２のイルミネータは、赤外線照明で前記対象を照らす赤外線イルミネータであり、前記カメラは、赤外線照明を検知する赤外線カメラである、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項５】
前記第１のイルミネータの光を拡散させる拡散スクリーンをさらに備える、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項６】
前記カメラ、前記第１のイルミネータ、前記第２のイルミネータ及び前記コンピュータシステムが１つのエンクロージャ内に備えられており、前記エンクロージャの一つの側部が前記フラットパネル・ディスプレイ・スクリーンを備える、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項７】
前記第２のイルミネータが、前記フラットパネル・ディスプレイ・スクリーンを通して前記対象に照明を投影し、前記第２のイルミネータが、前記カメラに対するグレアの影響を低減するように配置されている、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項８】
前記第２のイルミネータは、前記第２のイルミネータが、前記フラットパネル・ディスプレイ・スクリーンを通して照明を投影しないように、前記フラットパネル・ディスプレイ・スクリーンに隣接して配置されている請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項９】
複数の前記第２のイルミネータを備え、前記イルミネータは、前記フラットパネル・ディスプレイ・スクリーンに隣接して配置されており、また、前記フラットパネル・ディスプレイ・スクリーンを通して照明を投影せず、また、前記スクリーンの後ろに配置されている、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項１０】
前記カメラは、前記フラットパネル・ディスプレイ・スクリーンの後ろに配置され、かつ前記スクリーンの方に向けられており、前記カメラが、前記スクリーン上及び前記スクリーンの前の領域を見ることができるようになっている、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項１１】
前記カメラの視野の歪みを補正するために、前記スクリーンから一定距離に配置された一連のミラーストリップをさらに備える、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項１２】
前記カメラの視野の歪みを補正するために、前記スクリーンに隣接して配置されたフレネルレンズをさらに備える、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項１３】
前記フラットパネル・ディスプレイ・スクリーンに隣接して配置された波長ベースの拡散板をさらに備える、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項１４】
前記波長ベースの拡散板が、赤外光に対して実質的に透過性であり、また、可視光に対して実質的に半透過性である、請求項１３に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項１５】
前記波長ベースの拡散板は、レイリー散乱を引き起こす材料である、請求項１３に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項１６】
前記フラットパネル・ディスプレイ・スクリーンに隣接して配置された拡散板をさらに備え、前記拡散板は、斜角で前記拡散板を通過する光に対しては実質的に半透過性であり、また、実質的に直角で前記拡散板を通過する光に対しては実質的に透過性であり、前記第１のイルミネータが、前記拡散板に対して斜角で配置されている、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項１７】
前記フラットパネル・ディスプレイ・スクリーンに隣接して配置され、かつ前記第１のイルミネータからの光を散乱させる散乱偏光子をさらに備え、前記カメラが、前記散乱偏光子によって散乱されない偏光の光に対して感度が良い、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項１８】
前記フラットパネル・ディスプレイが液晶ディスプレイパネルであり、前記散乱偏光子は、前記散乱偏光子が光を散乱させる方向に偏光された光が、前記液晶ディスプレイパネルを通過し、前記散乱偏光子が光を散乱させない方向に偏光された光が、前記液晶ディスプレイパネルによって吸収されるように方向付けされている、請求項１７に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項１９】
前記カメラが、前記散乱偏光子によって散乱された光を無視できるように、前記カメラが敏感な波長で、前記カメラで受光された光を偏光する直線偏光子をさらに備える、請求項１７に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項２０】
実質的に半透過性から実質的に透過性に変化することができる拡散材料をさらに備え、前記拡散材料は、前記第１のイルミネータが、前記フラットパネル・ディスプレイ・スクリーンの前記前側の人であるユーザに対して見える場合に実質的に半透過性であり、前記カメラが、前記フラットパネル・ディスプレイ・スクリーンの前の対象を検知している場合に実質的に透過性であり、前記拡散材料は、前記フラットパネル・ディスプレイ・スクリーンの後ろに配置されている、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項２１】
前記第２のイルミネータは、前記カメラの露出に合わせてストローブされる、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項２２】
前記カメラのイメージは、前記対象によって引き起こされる前記相互作用が、前記スクリーンに隣接する前記対象の物理的位置に整合するように較正される、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項２３】
前記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、前記対象の前記スクリーンからの距離に関する情報を決定するようになっている、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項２４】
前記カメラはステレオカメラである、請求項２３に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項２５】
前記カメラはタイムオブフライト型カメラである、請求項２３に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項２６】
前記タイムオブフライト型カメラは、前記タイムオブフライト型カメラが、それ自体へ戻して反射しないように配置されている、請求項２５に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項２７】
前記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、前記対象が前記スクリーンに近接している場合に、タッチスクリーンの機能性を提供できる、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項２８】
前記スクリーンの前記前側に隣接して透過性タッチスクリーンをさらに備える、請求項２７に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項２９】
前記スクリーンの前記前側に隣接する縁部が照射される透過性シートをさらに備え、前記カメラは、前記対象が、前記縁部が照射される透過性シートに接触したときに生成された光を識別することができる、請求項２７に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項３０】
前記対象が、人であるユーザの体の一部である、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項３１】
前記カメラ及び前記第２のイルミネータが、タイムオブフライト型カメラを備える、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項３２】
複数のタイムオブフライト型カメラは、前記ディスプレイの前の領域の完全なカバレージを提供できるように配置され、かつ前記スクリーンによる前記タイムオブフライト型カメラへの鏡面反射を防ぐように角度が付けられている、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項３３】
内蔵型インタラクティブ・ビデオ・ディスプレイ・システムを用いて、インタラクティブな視覚イメージを提示する方法であって、
視覚イメージをフラットパネル・ディスプレイ・スクリーン上に表示することであって、前記視覚イメージが、前記フラットパネル・ディスプレイ・スクリーンの前側のユーザに対する提示のためのものであることと、
可視光で前記フラットパネル・ディスプレイ・スクリーンの裏側を照らすことと、
前記フラットパネル・ディスプレイ・スクリーンの前記前側の対象を照らすことと、
前記フラットパネル・ディスプレイ・スクリーンを通して、前記対象と前記視覚イメージとの相互作用を検知することと、
前記相互作用に応じて前記視覚イメージを変えることと、
を備える方法。
【請求項３４】
前記対象を照らすことが、赤外線照明を用いて前記対象を照らすことを備え、前記相互作用を検知することが、前記対象に投影された赤外線照明を検知することを備える、請求項３３に記載の方法。
【請求項３５】
前記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムが１つのエンクロージャ内に備えられており、前記エンクロージャの１つの側部が、前記フラットパネル・ディスプレイ・スクリーンを備える、請求項３３に記載の方法。
【請求項３６】
前記対象を照らすことが、前記フラットパネル・ディスプレイ・スクリーンを通して前記対象に照明を投影することを備える、請求項３３に記載の方法。
【請求項３７】
前記スクリーンに隣接して配置されたフレネルレンズを用いて、歪みを補正することをさらに備える、請求項３３に記載の方法。
【請求項３８】
前記フラットパネル・ディスプレイ・スクリーンに隣接して配置された赤外線透過性・可視光半透過性スクリーンをさらに備える、請求項３３に記載の方法。
【請求項３９】
前記フラットパネル・ディスプレイ・スクリーンに隣接して配置された物理的テクスチャーを有し、かつ前記フラットパネル・ディスプレイ・スクリーンの前記裏側を可視光で照射することによる光を散乱させる透過性スクリーンをさらに備える、請求項３３に記載の方法。
【請求項４０】
前記フラットパネル・ディスプレイ・スクリーンに隣接して配置されたレイリー散乱材料からなり、かつ前記フラットパネル・ディスプレイ・スクリーンの裏側を可視光で照らすことによる光を散乱させる透過性スクリーンをさらに備える、請求項３３に記載の方法。
【請求項４１】
前記フラットパネル・ディスプレイ・スクリーンに隣接して配置され、かつフラットパネル・ディスプレイ・スクリーンの裏側を可視光で照らすことによる光を散乱させる散乱偏光子をさらに備える、請求項３３に記載の方法。
【請求項４２】
前記内蔵型インタラクティブ・ビデオ・ディスプレイ・スクリーンが、前記フラットパネル・ディスプレイ・スクリーンに隣接して配置された波長ベースの拡散板をさらに備える、請求項３３に記載の方法。
【請求項４３】
前記内蔵型インタラクティブ・ビデオ・ディスプレイ・スクリーンが、実質的に半透過性から実質的に透過性に変化することができる拡散材料をさらに備え、前記拡散材料は、前記フラットパネル・ディスプレイ・スクリーンの前記裏側を可視光で照らし出している間は、実質的に半透過性であり、前記対象と前記視覚イメージとの相互作用を前記フラットパネル・ディスプレイ・スクリーンを通して検知している間は、実質的に透過性であり、前記拡散材料は、前記フラットパネル・ディスプレイ・スクリーンの後ろに配置されている、請求項３３に記載の方法。
【請求項４４】
前記対象を照らすことが、前記検知することに合わせてストローブされる、請求項３３に記載の方法。
【請求項４５】
前記対象によって引き起こされる前記相互作用が、前記スクリーンに隣接する前記対象の物理的位置に整合するように、前記検知することにおいて捉えたイメージを前記視覚イメージに対して較正することをさらに備える、請求項３３に記載の方法。
【請求項４６】
前記対象の前記スクリーンからの距離に関する情報を決定することをさらに備える、請求項３３に記載の方法。
【請求項４７】
前記検知することが、ステレオカメラによって実行される、請求項４６に記載の方法。
【請求項４８】
検知することが、タイムオブフライト型カメラによって実行される、請求項４６に記載の方法。
【請求項４９】
前記タイムオブフライト型カメラが、それ自体へ戻して反射しないように、前記タイムオブフライト型カメラを配置することをさらに備える、請求項４８に記載の方法。
【請求項５０】
前記対象が前記スクリーンに隣接している場合に、タッチスクリーンの機能性を提供することをさらに備える、請求項３３に記載の方法。
【請求項５１】
前記スクリーンの前記前側に透過性タッチスクリーンを設けることをさらに備える、請求項５０に記載の方法。
【請求項５２】
前記スクリーンの前記前側に隣接して縁部が照射される透過性シートを設けることをさらに備え、前記検知することは、前記対象が、前記縁部が照射される透過性シートに接触したときに生成される光を識別するようになっている、請求項５０に記載の方法。
【請求項５３】
前記対象が人であるユーザの体の一部である、請求項３３に記載の方法。
【請求項５４】
前記ディスプレイ・スクリーンが液晶ディスプレイ・スクリーンであり、前記第１のイルミネータが可視光イルミネータであり、前記第２のイルミネータが赤外線イルミネータであり、前記第２のカメラが赤外線カメラであり、前記赤外線カメラ、前記可視光イルミネータ、前記赤外線イルミネータ及び前記コンピュータシステムが１つのエンクロージャ内に備えられており、前記エンクロージャの１つの側部が、前記液晶ディスプレイ・スクリーンを備える、請求項１に記載のシステム。
【請求項５５】
前記可視光イルミネータの光を散乱させる拡散スクリーンをさらに備える、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項５６】
前記赤外線イルミネータが、前記液晶ディスプレイ・スクリーンを通して前記対象に照明を投影する、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項５７】
前記赤外線イルミネータは、前記赤外線カメラに対するグレアの影響の可能性を低減するように配置されている、請求項５６に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項５８】
前記赤外線イルミネータは、前記赤外線イルミネータが、前記液晶ディスプレイ・スクリーンを通して照明を投影しないように、前記液晶ディスプレイ・スクリーンに隣接して配置されている、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項５９】
複数の前記赤外線イルミネータを備え、前記赤外線イルミネータは、前記フラットパネル・ディスプレイ・スクリーンに隣接して配置されており、前記フラットパネル・ディスプレイ・スクリーンを通して照明を投影せず、また、前記スクリーンの後ろに配置されている、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項６０】
前記赤外線カメラが、前記液晶ディスプレイ・スクリーンの後ろに配置され、かつ前記スクリーンの方に向けられており、前記赤外線カメラが、前記スクリーン上及び前記スクリーンの前の領域を見ることができるようになっている、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項６１】
前記赤外線カメラの視野の歪みを補正するために、前記スクリーンから一定距離に配置された一連のミラーストリップをさらに備える、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項６２】
前記赤外線カメラの視野の歪みを補正するために、前記スクリーンに隣接して配置されたフレネルレンズをさらに備える、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項６３】
前記液晶ディスプレイ・スクリーンに隣接して配置された波長ベースの拡散板をさらに備える、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項６４】
前記波長ベースの拡散板が、赤外光に対して実質的に透過性であり、かつ可視光に対して実質的に半透過性である、請求項６３に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項６５】
前記波長ベースの拡散板が、レイリー散乱を引き起こす材料である、請求項６３に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項６６】
前記液晶ディスプレイ・スクリーンに隣接して配置された拡散板をさらに備え、前記拡散板は、斜角で前記拡散板を通過する光に対して実質的に半透過性であり、かつ実質的に直角で前記拡散板を通過する光に対して実質的に透過性であり、前記可視光イルミネータは、前記拡散板に対して斜角で配置されている、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項６７】
前記液晶ディスプレイ・スクリーンに隣接して配置され、かつ前記可視光イルミネータからの光を散乱させる散乱偏光子をさらに備え、前記赤外線カメラが、前記散乱偏光子によって散乱されない偏光の光に感度が良い、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項６８】
前記液晶ディスプレイ・スクリーンが液晶ディスプレイパネルであり、前記散乱偏光子は、前記散乱偏光子が光を散乱させる方向に偏光された光が、前記液晶ディスプレイパネルを通過し、また、前記散乱偏光子が光を散乱させない方向に偏光された光が、前記散乱偏光子によって吸収されるように方向付けされている、請求項６７に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項６９】
前記赤外線カメラが、前記散乱偏光子によって散乱された光を無視できるように、前記赤外線カメラが敏感な波長で前記赤外線カメラにおいて受光された光を偏光する直線偏光子をさらに備える、請求項６７に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項７０】
実質的に半透過性から実質的に透過性に変化することができる拡散材料をさらに備え、前記拡散材料は、前記第１のイルミネータが、前記フラットパネル・ディスプレイ・スクリーンの前記前側の人であるユーザに対して見える場合に実質的に半透過性であり、また、前記赤外線カメラが、前記液晶ディスプレイ・スクリーンの前の対象を検知している場合に、実質的に透過性であり、前記拡散材料は、前記液晶ディスプレイ・スクリーンの後ろに配置されている、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項７１】
前記赤外線イルミネータが、前記赤外線カメラの露出に合わせてストローブされる、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項７２】
前記赤外線カメラのイメージの１つのイメージは、前記対象によって引き起こされた前記相互作用が、前記スクリーンに隣接する前記対象の物理的位置に整合するように、前記視覚イメージに対して較正される、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項７３】
前記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、前記対象の前記スクリーンからの距離に関する情報を決定するようになっている、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項７４】
前記赤外線カメラがステレオ赤外線カメラである、請求項７３に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項７５】
前記赤外線カメラがタイムオブフライト型赤外線カメラである、請求項７３に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項７６】
前記タイムオブフライト型赤外線カメラは、前記タイムオブフライト型赤外線カメラがそれ自体へ戻して反射しないように配置されている、請求項７５に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項７７】
前記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、前記対象が前記スクリーンに近接している場合に、タッチスクリーン動作機能性を提供できる、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項７８】
前記スクリーンの前記前側に隣接する透過性タッチスクリーンをさらに備える、請求項７７に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項７９】
前記スクリーンの前記前側に隣接する縁部が照射される透過性シートをさらに備え、前記赤外線カメラは、前記対象が、前記縁部が照射される透過性シートに接触したときに生成される光を識別するようになっている、請求項７７に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項８０】
前記対象が、人であるユーザの体の一部である、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項８１】
前記赤外線カメラ及び前記赤外線イルミネータが、タイムオブフライト型赤外線カメラを備える、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項８２】
複数のタイムオブフライト型赤外線カメラが、前記ディスプレイの前の領域の完全なカバレージを提供できるように配置され、かつ前記スクリーンによる前記タイムオブフライト型赤外線カメラへの鏡面反射を防ぐように角度が付けられている、請求項８１に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項１】
フラットパネル・ディスプレイ・スクリーンの前側のユーザへの提示のために、視覚イメージを表示するディスプレイ・スクリーンと、
可視光で前記ディスプレイ・スクリーンを照らす第１のイルミネータと、
対象を照らす第２のイルミネータと、
照らされた対象と前記視覚イメージとの相互作用を検知するカメラであって、前記カメラが、前記スクリーンを通して前記対象を見ることができるカメラと、
前記ディスプレイ・スクリーンに、前記相互作用に応じて前記視覚イメージを変えるように指示するコンピュータシステムと、
を備える内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項２】
前記ディスプレイ・スクリーンがフラットパネル・ディスプレイ・スクリーンである、請求項１に記載のシステム。
【請求項３】
前記フラットパネル・ディスプレイ・スクリーンが液晶ディスプレイ（ＬＣＤ）パネルである、請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項４】
前記第２のイルミネータは、赤外線照明で前記対象を照らす赤外線イルミネータであり、前記カメラは、赤外線照明を検知する赤外線カメラである、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項５】
前記第１のイルミネータの光を拡散させる拡散スクリーンをさらに備える、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項６】
前記カメラ、前記第１のイルミネータ、前記第２のイルミネータ及び前記コンピュータシステムが１つのエンクロージャ内に備えられており、前記エンクロージャの一つの側部が前記フラットパネル・ディスプレイ・スクリーンを備える、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項７】
前記第２のイルミネータが、前記フラットパネル・ディスプレイ・スクリーンを通して前記対象に照明を投影し、前記第２のイルミネータが、前記カメラに対するグレアの影響を低減するように配置されている、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項８】
前記第２のイルミネータは、前記第２のイルミネータが、前記フラットパネル・ディスプレイ・スクリーンを通して照明を投影しないように、前記フラットパネル・ディスプレイ・スクリーンに隣接して配置されている請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項９】
複数の前記第２のイルミネータを備え、前記イルミネータは、前記フラットパネル・ディスプレイ・スクリーンに隣接して配置されており、また、前記フラットパネル・ディスプレイ・スクリーンを通して照明を投影せず、また、前記スクリーンの後ろに配置されている、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項１０】
前記カメラは、前記フラットパネル・ディスプレイ・スクリーンの後ろに配置され、かつ前記スクリーンの方に向けられており、前記カメラが、前記スクリーン上及び前記スクリーンの前の領域を見ることができるようになっている、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項１１】
前記カメラの視野の歪みを補正するために、前記スクリーンから一定距離に配置された一連のミラーストリップをさらに備える、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項１２】
前記カメラの視野の歪みを補正するために、前記スクリーンに隣接して配置されたフレネルレンズをさらに備える、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項１３】
前記フラットパネル・ディスプレイ・スクリーンに隣接して配置された波長ベースの拡散板をさらに備える、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項１４】
前記波長ベースの拡散板が、赤外光に対して実質的に透過性であり、また、可視光に対して実質的に半透過性である、請求項１３に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項１５】
前記波長ベースの拡散板は、レイリー散乱を引き起こす材料である、請求項１３に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項１６】
前記フラットパネル・ディスプレイ・スクリーンに隣接して配置された拡散板をさらに備え、前記拡散板は、斜角で前記拡散板を通過する光に対しては実質的に半透過性であり、また、実質的に直角で前記拡散板を通過する光に対しては実質的に透過性であり、前記第１のイルミネータが、前記拡散板に対して斜角で配置されている、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項１７】
前記フラットパネル・ディスプレイ・スクリーンに隣接して配置され、かつ前記第１のイルミネータからの光を散乱させる散乱偏光子をさらに備え、前記カメラが、前記散乱偏光子によって散乱されない偏光の光に対して感度が良い、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項１８】
前記フラットパネル・ディスプレイが液晶ディスプレイパネルであり、前記散乱偏光子は、前記散乱偏光子が光を散乱させる方向に偏光された光が、前記液晶ディスプレイパネルを通過し、前記散乱偏光子が光を散乱させない方向に偏光された光が、前記液晶ディスプレイパネルによって吸収されるように方向付けされている、請求項１７に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項１９】
前記カメラが、前記散乱偏光子によって散乱された光を無視できるように、前記カメラが敏感な波長で、前記カメラで受光された光を偏光する直線偏光子をさらに備える、請求項１７に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項２０】
実質的に半透過性から実質的に透過性に変化することができる拡散材料をさらに備え、前記拡散材料は、前記第１のイルミネータが、前記フラットパネル・ディスプレイ・スクリーンの前記前側の人であるユーザに対して見える場合に実質的に半透過性であり、前記カメラが、前記フラットパネル・ディスプレイ・スクリーンの前の対象を検知している場合に実質的に透過性であり、前記拡散材料は、前記フラットパネル・ディスプレイ・スクリーンの後ろに配置されている、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項２１】
前記第２のイルミネータは、前記カメラの露出に合わせてストローブされる、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項２２】
前記カメラのイメージは、前記対象によって引き起こされる前記相互作用が、前記スクリーンに隣接する前記対象の物理的位置に整合するように較正される、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項２３】
前記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、前記対象の前記スクリーンからの距離に関する情報を決定するようになっている、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項２４】
前記カメラはステレオカメラである、請求項２３に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項２５】
前記カメラはタイムオブフライト型カメラである、請求項２３に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項２６】
前記タイムオブフライト型カメラは、前記タイムオブフライト型カメラが、それ自体へ戻して反射しないように配置されている、請求項２５に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項２７】
前記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、前記対象が前記スクリーンに近接している場合に、タッチスクリーンの機能性を提供できる、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項２８】
前記スクリーンの前記前側に隣接して透過性タッチスクリーンをさらに備える、請求項２７に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項２９】
前記スクリーンの前記前側に隣接する縁部が照射される透過性シートをさらに備え、前記カメラは、前記対象が、前記縁部が照射される透過性シートに接触したときに生成された光を識別することができる、請求項２７に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項３０】
前記対象が、人であるユーザの体の一部である、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項３１】
前記カメラ及び前記第２のイルミネータが、タイムオブフライト型カメラを備える、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項３２】
複数のタイムオブフライト型カメラは、前記ディスプレイの前の領域の完全なカバレージを提供できるように配置され、かつ前記スクリーンによる前記タイムオブフライト型カメラへの鏡面反射を防ぐように角度が付けられている、請求項１または請求項２に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項３３】
内蔵型インタラクティブ・ビデオ・ディスプレイ・システムを用いて、インタラクティブな視覚イメージを提示する方法であって、
視覚イメージをフラットパネル・ディスプレイ・スクリーン上に表示することであって、前記視覚イメージが、前記フラットパネル・ディスプレイ・スクリーンの前側のユーザに対する提示のためのものであることと、
可視光で前記フラットパネル・ディスプレイ・スクリーンの裏側を照らすことと、
前記フラットパネル・ディスプレイ・スクリーンの前記前側の対象を照らすことと、
前記フラットパネル・ディスプレイ・スクリーンを通して、前記対象と前記視覚イメージとの相互作用を検知することと、
前記相互作用に応じて前記視覚イメージを変えることと、
を備える方法。
【請求項３４】
前記対象を照らすことが、赤外線照明を用いて前記対象を照らすことを備え、前記相互作用を検知することが、前記対象に投影された赤外線照明を検知することを備える、請求項３３に記載の方法。
【請求項３５】
前記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムが１つのエンクロージャ内に備えられており、前記エンクロージャの１つの側部が、前記フラットパネル・ディスプレイ・スクリーンを備える、請求項３３に記載の方法。
【請求項３６】
前記対象を照らすことが、前記フラットパネル・ディスプレイ・スクリーンを通して前記対象に照明を投影することを備える、請求項３３に記載の方法。
【請求項３７】
前記スクリーンに隣接して配置されたフレネルレンズを用いて、歪みを補正することをさらに備える、請求項３３に記載の方法。
【請求項３８】
前記フラットパネル・ディスプレイ・スクリーンに隣接して配置された赤外線透過性・可視光半透過性スクリーンをさらに備える、請求項３３に記載の方法。
【請求項３９】
前記フラットパネル・ディスプレイ・スクリーンに隣接して配置された物理的テクスチャーを有し、かつ前記フラットパネル・ディスプレイ・スクリーンの前記裏側を可視光で照射することによる光を散乱させる透過性スクリーンをさらに備える、請求項３３に記載の方法。
【請求項４０】
前記フラットパネル・ディスプレイ・スクリーンに隣接して配置されたレイリー散乱材料からなり、かつ前記フラットパネル・ディスプレイ・スクリーンの裏側を可視光で照らすことによる光を散乱させる透過性スクリーンをさらに備える、請求項３３に記載の方法。
【請求項４１】
前記フラットパネル・ディスプレイ・スクリーンに隣接して配置され、かつフラットパネル・ディスプレイ・スクリーンの裏側を可視光で照らすことによる光を散乱させる散乱偏光子をさらに備える、請求項３３に記載の方法。
【請求項４２】
前記内蔵型インタラクティブ・ビデオ・ディスプレイ・スクリーンが、前記フラットパネル・ディスプレイ・スクリーンに隣接して配置された波長ベースの拡散板をさらに備える、請求項３３に記載の方法。
【請求項４３】
前記内蔵型インタラクティブ・ビデオ・ディスプレイ・スクリーンが、実質的に半透過性から実質的に透過性に変化することができる拡散材料をさらに備え、前記拡散材料は、前記フラットパネル・ディスプレイ・スクリーンの前記裏側を可視光で照らし出している間は、実質的に半透過性であり、前記対象と前記視覚イメージとの相互作用を前記フラットパネル・ディスプレイ・スクリーンを通して検知している間は、実質的に透過性であり、前記拡散材料は、前記フラットパネル・ディスプレイ・スクリーンの後ろに配置されている、請求項３３に記載の方法。
【請求項４４】
前記対象を照らすことが、前記検知することに合わせてストローブされる、請求項３３に記載の方法。
【請求項４５】
前記対象によって引き起こされる前記相互作用が、前記スクリーンに隣接する前記対象の物理的位置に整合するように、前記検知することにおいて捉えたイメージを前記視覚イメージに対して較正することをさらに備える、請求項３３に記載の方法。
【請求項４６】
前記対象の前記スクリーンからの距離に関する情報を決定することをさらに備える、請求項３３に記載の方法。
【請求項４７】
前記検知することが、ステレオカメラによって実行される、請求項４６に記載の方法。
【請求項４８】
検知することが、タイムオブフライト型カメラによって実行される、請求項４６に記載の方法。
【請求項４９】
前記タイムオブフライト型カメラが、それ自体へ戻して反射しないように、前記タイムオブフライト型カメラを配置することをさらに備える、請求項４８に記載の方法。
【請求項５０】
前記対象が前記スクリーンに隣接している場合に、タッチスクリーンの機能性を提供することをさらに備える、請求項３３に記載の方法。
【請求項５１】
前記スクリーンの前記前側に透過性タッチスクリーンを設けることをさらに備える、請求項５０に記載の方法。
【請求項５２】
前記スクリーンの前記前側に隣接して縁部が照射される透過性シートを設けることをさらに備え、前記検知することは、前記対象が、前記縁部が照射される透過性シートに接触したときに生成される光を識別するようになっている、請求項５０に記載の方法。
【請求項５３】
前記対象が人であるユーザの体の一部である、請求項３３に記載の方法。
【請求項５４】
前記ディスプレイ・スクリーンが液晶ディスプレイ・スクリーンであり、前記第１のイルミネータが可視光イルミネータであり、前記第２のイルミネータが赤外線イルミネータであり、前記第２のカメラが赤外線カメラであり、前記赤外線カメラ、前記可視光イルミネータ、前記赤外線イルミネータ及び前記コンピュータシステムが１つのエンクロージャ内に備えられており、前記エンクロージャの１つの側部が、前記液晶ディスプレイ・スクリーンを備える、請求項１に記載のシステム。
【請求項５５】
前記可視光イルミネータの光を散乱させる拡散スクリーンをさらに備える、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項５６】
前記赤外線イルミネータが、前記液晶ディスプレイ・スクリーンを通して前記対象に照明を投影する、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項５７】
前記赤外線イルミネータは、前記赤外線カメラに対するグレアの影響の可能性を低減するように配置されている、請求項５６に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項５８】
前記赤外線イルミネータは、前記赤外線イルミネータが、前記液晶ディスプレイ・スクリーンを通して照明を投影しないように、前記液晶ディスプレイ・スクリーンに隣接して配置されている、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項５９】
複数の前記赤外線イルミネータを備え、前記赤外線イルミネータは、前記フラットパネル・ディスプレイ・スクリーンに隣接して配置されており、前記フラットパネル・ディスプレイ・スクリーンを通して照明を投影せず、また、前記スクリーンの後ろに配置されている、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項６０】
前記赤外線カメラが、前記液晶ディスプレイ・スクリーンの後ろに配置され、かつ前記スクリーンの方に向けられており、前記赤外線カメラが、前記スクリーン上及び前記スクリーンの前の領域を見ることができるようになっている、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項６１】
前記赤外線カメラの視野の歪みを補正するために、前記スクリーンから一定距離に配置された一連のミラーストリップをさらに備える、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項６２】
前記赤外線カメラの視野の歪みを補正するために、前記スクリーンに隣接して配置されたフレネルレンズをさらに備える、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項６３】
前記液晶ディスプレイ・スクリーンに隣接して配置された波長ベースの拡散板をさらに備える、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項６４】
前記波長ベースの拡散板が、赤外光に対して実質的に透過性であり、かつ可視光に対して実質的に半透過性である、請求項６３に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項６５】
前記波長ベースの拡散板が、レイリー散乱を引き起こす材料である、請求項６３に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項６６】
前記液晶ディスプレイ・スクリーンに隣接して配置された拡散板をさらに備え、前記拡散板は、斜角で前記拡散板を通過する光に対して実質的に半透過性であり、かつ実質的に直角で前記拡散板を通過する光に対して実質的に透過性であり、前記可視光イルミネータは、前記拡散板に対して斜角で配置されている、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項６７】
前記液晶ディスプレイ・スクリーンに隣接して配置され、かつ前記可視光イルミネータからの光を散乱させる散乱偏光子をさらに備え、前記赤外線カメラが、前記散乱偏光子によって散乱されない偏光の光に感度が良い、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項６８】
前記液晶ディスプレイ・スクリーンが液晶ディスプレイパネルであり、前記散乱偏光子は、前記散乱偏光子が光を散乱させる方向に偏光された光が、前記液晶ディスプレイパネルを通過し、また、前記散乱偏光子が光を散乱させない方向に偏光された光が、前記散乱偏光子によって吸収されるように方向付けされている、請求項６７に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項６９】
前記赤外線カメラが、前記散乱偏光子によって散乱された光を無視できるように、前記赤外線カメラが敏感な波長で前記赤外線カメラにおいて受光された光を偏光する直線偏光子をさらに備える、請求項６７に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項７０】
実質的に半透過性から実質的に透過性に変化することができる拡散材料をさらに備え、前記拡散材料は、前記第１のイルミネータが、前記フラットパネル・ディスプレイ・スクリーンの前記前側の人であるユーザに対して見える場合に実質的に半透過性であり、また、前記赤外線カメラが、前記液晶ディスプレイ・スクリーンの前の対象を検知している場合に、実質的に透過性であり、前記拡散材料は、前記液晶ディスプレイ・スクリーンの後ろに配置されている、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項７１】
前記赤外線イルミネータが、前記赤外線カメラの露出に合わせてストローブされる、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項７２】
前記赤外線カメラのイメージの１つのイメージは、前記対象によって引き起こされた前記相互作用が、前記スクリーンに隣接する前記対象の物理的位置に整合するように、前記視覚イメージに対して較正される、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項７３】
前記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、前記対象の前記スクリーンからの距離に関する情報を決定するようになっている、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項７４】
前記赤外線カメラがステレオ赤外線カメラである、請求項７３に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項７５】
前記赤外線カメラがタイムオブフライト型赤外線カメラである、請求項７３に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項７６】
前記タイムオブフライト型赤外線カメラは、前記タイムオブフライト型赤外線カメラがそれ自体へ戻して反射しないように配置されている、請求項７５に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項７７】
前記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、前記対象が前記スクリーンに近接している場合に、タッチスクリーン動作機能性を提供できる、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項７８】
前記スクリーンの前記前側に隣接する透過性タッチスクリーンをさらに備える、請求項７７に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項７９】
前記スクリーンの前記前側に隣接する縁部が照射される透過性シートをさらに備え、前記赤外線カメラは、前記対象が、前記縁部が照射される透過性シートに接触したときに生成される光を識別するようになっている、請求項７７に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項８０】
前記対象が、人であるユーザの体の一部である、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項８１】
前記赤外線カメラ及び前記赤外線イルミネータが、タイムオブフライト型赤外線カメラを備える、請求項５４に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【請求項８２】
複数のタイムオブフライト型赤外線カメラが、前記ディスプレイの前の領域の完全なカバレージを提供できるように配置され、かつ前記スクリーンによる前記タイムオブフライト型赤外線カメラへの鏡面反射を防ぐように角度が付けられている、請求項８１に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６Ａ】
【図６Ｂ】
【図７Ａ】
【図７Ｂ】
【図８Ａ】
【図８Ｂ】
【図９Ａ】
【図９Ｂ】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８Ａ】
【図１８Ｂ】
【図１９Ａ】
【図１９Ｂ】
【図２０Ａ】
【図２０Ｂ】
【図２１Ａ】
【図２１Ｂ】
【図２１Ｃ】
【図２２】
【図２３Ａ】
【図２３Ｂ】
【図２３Ｃ】
【図２４Ａ】
【図２４Ｂ】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６Ａ】
【図６Ｂ】
【図７Ａ】
【図７Ｂ】
【図８Ａ】
【図８Ｂ】
【図９Ａ】
【図９Ｂ】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８Ａ】
【図１８Ｂ】
【図１９Ａ】
【図１９Ｂ】
【図２０Ａ】
【図２０Ｂ】
【図２１Ａ】
【図２１Ｂ】
【図２１Ｃ】
【図２２】
【図２３Ａ】
【図２３Ｂ】
【図２３Ｃ】
【図２４Ａ】
【図２４Ｂ】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【公表番号】特表２００７−５１４２４２（Ｐ２００７−５１４２４２Ａ）
【公表日】平成１９年５月３１日（２００７．５．３１）
【国際特許分類】
【出願番号】特願２００６−５４３９９３（Ｐ２００６−５４３９９３）
【出願日】平成１６年１２月９日（２００４．１２．９）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０４１３２０
【国際公開番号】ＷＯ２００５／０５７３９９
【国際公開日】平成１７年６月２３日（２００５．６．２３）
【出願人】（５０６１７３２２６）
【出願人】（５０６１７２９０８）
【出願人】（５０６１７２９４２）
【出願人】（５０６１７２９５３）
【Ｆターム（参考）】
【公表日】平成１９年５月３１日（２００７．５．３１）
【国際特許分類】
【出願日】平成１６年１２月９日（２００４．１２．９）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０４１３２０
【国際公開番号】ＷＯ２００５／０５７３９９
【国際公開日】平成１７年６月２３日（２００５．６．２３）
【出願人】（５０６１７３２２６）
【出願人】（５０６１７２９０８）
【出願人】（５０６１７２９４２）
【出願人】（５０６１７２９５３）
【Ｆターム（参考）】
[ Back to top ]