鏡面反射を低減するための交互光源
鏡面反射を低減または消去するために、交互に照明器を用いる対話型ディスプレイ。対話型ディスプレイは、多数の照明器と少なくとも1つのカメラとを含み、これらは1又は2以上の表示層の背後に置かれている。対話型ディスプレイは、当該対話型ディスプレイのフェーズの交代を制御するフェーズ制御メカニズムを用いる。第1フェーズの間、第1照明器が第2照明器よりも優勢になるように制御する。第2フェーズの間、第2照明器が第1照明器よりも優勢になるように制御する。次いで、第1および第2画像の組み合わせを用いて、合併画像を明確に表現する。合併画像は、第1および第2画像単体と比較すると、鏡面反射が低減または消滅している。
【発明の詳細な説明】
【背景技術】
【0001】
多くの計算システムおよびその他のデバイスの機能性は、ディスプレイを用いた、情報の有効な表示を拠り所としている。最近になって、ディスプレイは直接入力デバイスとして対話的に用いられるようにもなっている。例えば、ディスプレイに接触検知抵抗性および/または容量性アレイを装備すると、接触されているディスプレイの部分を検出することができる。
【0002】
従来の対話型ディスプレイには、「ビジョン・キャプチャー」技術を用いるものがあり、カメラをディスプレイの背後に配置し、ディスプレイは透過性材料または半透過性材料の1又は2以上の層で構成されている。赤外線照明器もディスプレイの背後に配置されており、ディスプレイの手前にある物体またはディスプレイと接触する物体を照明する。照明光(即ち、照明器から発する光)は、物体から反射されて、カメラ内で受光され、反射光の写真を撮影する。この写真はシステムへの電子入力として取り込まれる。ディスプレイの手前に物体が置かれると、カメラが撮影するその画像に影響を及ぼすので、物体は情報をシステムに入力するために用いることができる。
【0003】
照明光の一部は、物体から反射するのではなく、ディスプレイを形成する透過性層または半透過性層の比較的平坦な表面から反射する。その結果、カメラは比較的強い強度の鏡面反射を、ディスプレイの特定区域において受光することになる。鏡面反射が非常に強いと、鏡面反射の区域内では入力物体から実際に反射するいずれの画像も区別するのが困難になる場合もあり得る。鏡面反射は、その特定の区域においてカメラを飽和させることもあり得る。その効果は、よく晴れた日に人が浅い池を見おろす状況に、いくらか類似する。人は、太陽のまばゆい反射またはその近くの区域を除いて、池の底を見ることができるであろう。
【発明の概要】
【発明が解決しようとする課題】
【0004】
したがって、鏡面反射は、対話型ディスプレイを入力として用いることができる条件(ability)に悪影響を及ぼす可能性がある。特に、カメラが鏡面反射を受ける区域に入力物体が位置付けられる場合にあてはまる。
【課題を解決するための手段】
【0005】
必須ではないが、本発明の実施形態は、鏡面反射を低減または消去するために、交互に照明器を用いる対話型ディスプレイに関する。対話型ディスプレイは、多数の照明器と少なくとも1つのカメラとを含み、これらは1又は2以上の表示層の背後に置かれている。対話型ディスプレイは、当該対話型ディスプレイの照明フェーズを制御するフェーズ制御メカニズムを用いる。第1フェーズの間、第1照明器が第2照明器よりも優勢になるように制御する。例えば、第1照明器をオンにして、第2照明器をオフにすればよい。その状態において、カメラに画像を撮影させる。第2フェーズの間、第2照明器が第1照明器よりも優勢になるように制御する。
【0006】
次いで、第1および第2画像の組み合わせを用いて、合併画像を明確に表現する。合併画像は、第2画像の一部を用いて、第1画像からの鏡面反射が目立たなくなるまたは消去さえするように、またはその逆に、形成することができる。鏡面反射が重なり合わないように光源を位置付けると、鏡面反射の影響を緩和することまたは排除することもできる。
【0007】
この摘要は、詳細な説明において以下で更に説明する概念から選択したものを、簡略化した形態で導入するために設けられている。この摘要は、特許請求する主題の鍵となる特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を限定する際に補助として用いられることを意図するのでもない。
【図面の簡単な説明】
【0008】
添付図面は、本発明の実施形態を更に特定的に説明するために用いられる。これらの図面は、本発明の典型的な実施形態のみを描画し、したがってその範囲を限定すると見なしてはならないことを理解の上で、添付図面を使用して、実施形態について一層具体的かつ詳細に記載し説明する。
【図1】図1は、本発明の原理による対話型ディスプレイの側面図を示し、対話型ディスプレイの構成要素は必ずしも同じ縮小率で描かれている訳ではない。
【図2】図2は、少なくとも2つ、潜在的にはそれ以上の照明フェーズを含む対話型ディスプレイにおいて照明フェーズを制御するフェーズ管理メカニズムについての状態遷移図を示す。
【図3A】図3Aは、第1照明フェーズの間にカメラによって取り込まれる可能性がある鏡面反射の画像を示す。
【図3B】図3Bは、第2照明フェーズの間にカメラによって取り込まれる可能性がある鏡面反射の画像を示す。
【図4A】図4Aは、2フェーズ照明シーケンスの時系列の一例を示す。
【図4B】図4Bは、3フェーズ照明シーケンスの時系列の一例を示す。
【図4C】図4Cは、4フェーズ照明シーケンスの時系列の一例を示す。
【図4D】図4Dは、別の4フェーズ照明シーケンスの時系列の一例を示す。
【図5A】図5Aは、本発明の具体的な実施形態例にしたがって交互に配置した照明器およびカメラのアレイの上面図を示す。
【図5B】図5Bは、図5Aの交互配置照明器およびカメラと共に用いるための4フェーズ照明シーケンスの一例を示す。
【図6】図6は、本発明の原理によるフェーズ管理メカニズムの実施形態を模式的に示す。
【図7】図7は、本発明の原理にしたがって画像を構築する方法のフローチャートを示す。
【図8】図8は、表示層の背後に1つの照明器および1つのカメラのみを含む対話型ディスプレイを示す。
【発明を実施するための形態】
【0009】
本発明の実施形態は、照明フェーズを交代することによって鏡面反射を低減する対話型ディスプレイに及ぶ。図8は、1又は2以上の表示層810の背後に1つの照明器802のみを有する対話型ディスプレイ800を用いる場合の問題点をいくつか示す。対話型ディスプレイ800は、1又は2以上の透過性または半透過性層810上に物体を配置し、これらの層810から表示光を放出することによって入力を受けるように構成されている。表示メカニズムは、図8には余り詳しく示されていないが、これとは別個に、対話型ディスプレイ800は撮像メカニズムを含む。具体的には、照明器802が光を放出する。この光は、表示動作を妨害しないように、表示される光と同じスペクトルではないのが通例である。
【0010】
照明器802は、多くの方向に光を放出する。光の一部はディスプレイから放出されるが、表示動作を妨害しない。何故なら、これは表示される画像とは周波数スペクトルが異なるからである。他の光は、表示層810の前面(即ち、図8における上面上または上面の上方)に置かれている物体から反射する。つまり、反射光はディスプレイの手前にある物体に関する情報を表す。他の光は、表示層180の平坦面から反射し、つまりディスプレイの手前にある物体に関する情報を表すのではなく、単なる鏡面反射である。
【0011】
例えば、鏡面反射の妨害を例示するために、3本の光線821、822、および823を、照明器802から放出されたものとして示す。光線821および822は、ディスプレイ810の手前にある物体から反射し、したがって有効な入力情報を表す。一方、光線823は表示層810の平坦面から反射し、したがって鏡面反射を表す。このため、鏡面反射は、ほぼ物体Aの領域においてカメラ801によって観察することができる。したがって、物体Aはカメラ801による観察が不可能となる、または観察が困難となる場合があり得る。一方、物体Bは鏡面反射の区域に近接しておらず、したがって鏡面反射に対する心配なく観察することができる。このように、対話型ディスプレイ800は、鏡面反射に対応するディスプレイのある領域に入力物体が置かれた場合、適正に動作しない可能性がある。
【0012】
図1は、本発明の一実施形態による対話型ディスプレイ100を示す。図示するよりも多くの照明器およびカメラがあってもよいが、対話型ディスプレイ100は、2つの照明器102および103ならびに1つのカメラ101を含むように示されており、これらは各々透過性または半透過性表示層110(以後、簡単に「表示層110」と呼ぶ)の背後に配置されている。カメラ101および照明器102の表示層110に対する位置付けは、カメラ801および照明器802の表示層810に対する位置付けと同様である(図1および図8を比較されたい)。したがって、図1には示されていないが、対話型ディスプレイには、照明器102がオンのとき、カメラ101の物体Aの検出を妨害する鏡面反射がある。
【0013】
同様に、第2照明器103がオンであり第1照明器102がオフである場合も、鏡面反射が生ずるが、画像の異なる領域においてカメラ101によって感知される。要するに、照明器102および103は、表示層110背後の異なる位置に配置されている。照明器103は多くの光線を放出しているが、3本の光線121、122、および123のみが示されている。光線121は、物体Aから反射して、カメラ101に受光される。光線122は、物体Bから反射して、カメラ101に受光される。光線123は表示層110から反射することによって、鏡面反射を表し、カメラ101に受光される。照明器103がオン、照明器102がオフになると、物体AおよびBは双方ともカメラ101によって感知することができる。何故なら、これらは双方共、照明器103によって生ずる鏡面反射の区域から遠ざかるからである。しかしながら、鏡面反射の区域に近接する物体があると、その物体は、照明器103がオンである間は、カメラ101が感知するのは一層遥かに困難となる可能性がある。
【0014】
図3Aは、第1照明器102がオンであり、第2照明器103がオフであるときに、カメラ101によって取り込むことができる画像300Aの表現を示す。既に論じたように、画像300Aは、鏡面反射321の区域を有し、例えば、物体Aのように、鏡面反射321の区域がある物体を知覚する能力が損なわれる。一方、物体Bのように、鏡面反射321の区域の外側にある物体は、画像300A内部において一層容易に観察することができる。図3Bは、第1照明器102がオフであり、第2照明器103がオンであるときに、カメラ101によって取り込むことができる画像300Bを示す。画像300Bも鏡面反射322の区域を有し、鏡面反射322内部の物体を感知する能力が損なわれる。一方、物体AおよびBのように、鏡面反射322の区域の外側にある物体は、一層容易に観察することができる。
【0015】
図1を参照すると、対話型ディスプレイ100は、フェーズ管理メカニズム130も含む。フェーズ管理メカニズム130は、対話型ディスプレイ100の照明フェーズを管理する。図2は、フェーズ管理メカニズム130の動作例を示す状態図200を例示する。状態201において、メカニズム130は対話型ディスプレイの次のフェーズ変化を待つ(状態201)。実際には、タイミングがしかるべきときに、次のフェーズ変化を制御する。第1フェーズ(状態遷移矢印211)に遷移すると、第1照明器102が第2照明器103よりも優勢になるように制御される(状態221)。
【0016】
ここで、以下の説明においていくつかの定義を明記し、その後に図2の状態図200の主要な説明に戻ることにする。この説明および特許請求の範囲では、一つの照明器が別の照明器よりも「優勢になる」なるように制御すると言う場合、優勢な照明器に劣性な照明器よりも多くの光を放出させることができるということである。この挙動の一例では、優勢な照明器を単に「オン」にして、劣性な照明器を「オフ」にすればよい。
【0017】
この説明および特許請求の範囲では、照明器を「オフ」にするという場合、オフにした照明器から光が放出していないことや、オフにした照明器に電力を供給していないことを必ずしも意味する訳ではない。照明デバイスによっては、「オフ」状態に保持されている場合に照明器に多少の電力が供給されていると、ターン・オン時間が遥かに速くなることもある。したがって、高速サンプリング対話型ディスプレイでは、照明器は、なおも光を放出している場合または給電されている場合も、オフになっていると見なすことができる。もっとも、その程度は、「オン」状態にあるときよりは、恐らくは遥かに少ない。即ち、照明器が現時点では電力遮断されていても、非常に素早く電力投入を行うことができる。したがって、非常に実現可能性が高い実施形態では、優勢な照明器をオンにし、劣性な照明器は、全く給電せずに、オフにすることもできる。
【0018】
ここで図2の状態遷移図200に戻り、第1照明器が第2照明器に対して優勢になるように制御するときに(状態221)、カメラに第1画像を撮影させる(状態221における行為231)。例えば、図3Aの画像300Aを撮影することができる。フェーズ管理メカニズム130の指令の下で、状態遷移図は次に、次のフェーズ変化を待つ状態(201)に遷移する(状態遷移矢印241)。
【0019】
しかるべき時点において、フェーズ管理メカニズム130は第2フェーズに遷移する(状態遷移矢印212)。この状態では、第2照明器が第1照明器に対して優勢となるように制御する(状態222)。次いで、カメラに第2画像を撮影させる(状態222における行為232)。例えば、図3Bの画像300Bを撮影することができる。フェーズ管理メカニズム130の指令の下で、状態遷移図は次に、次のフェーズ変化を待つ状態(201)に遷移する(状態遷移矢印242)。
【0020】
状態遷移図200は第3状態および第4状態も示すが、対話型ディスプレイ100は2つのフェーズ、即ち、第1フェーズおよび第2フェーズに限定し、これらを繰り返してもよい。図4Aは、タイミング・シーケンス図400Aを示すが、ここでは、第1フェーズ401および第2フェーズを繰り返すことができる。
【0021】
図1に戻って、対話型ディスプレイ100は、画像構築メカニズム140も含む。画像構築メカニズム140は、第1画像の少なくとも一部および第2画像の少なくとも一部を用いて入力画像を構築するように構成されている。図1において、画像構築メカニズム140は、カメラ101にアクセスすることができ、これによって画像にアクセスするように示されている。画像構築メカニズム140は、ハードウェア、ソフトウェア、またはその組み合わせでもよく、全体的または部分的にカメラ101の中に組み込むこともでき、あるいは完全にカメラ101の外部とすることもできる。
【0022】
画像構築メカニズム140は、種々の可能な方法で画像を構築することができる。一例では、画像構築メカニズム140は、鏡面反射がない画像300Aの右半分を用いて、画像の右半分を明確に表現する。この例では、画像の左半分は、鏡面反射がない画像300Bの左半分を用いて明確に表現する。したがって、2フェーズ毎に1回、鏡面反射のない画像全体を、明確に表現することができる。最終画像の左半分および右半分は多少異なる時点における画像を表す場合もあるが、カメラのサンプリング・レートを高め、照明器の遷移速度も高めて用いて、サンプリング・レートを高めることによって、この時間を最小限に抑えることができる。あるいは、画面の手前における運動をより遅く抑えて、最終画像における中央の境界が不連続になり過ぎるのを防止することもできる。別の代替案として、画像の左半分および右半分が接続する中央境界から入力を遠ざけるように、ユーザ・インターフェースを設計してもよい。
【0023】
別の実施形態では、種々の画像300Aおよび300Bの左半分および右半分を用いる代わりに、鏡面反射の区域を除いて1つの画像を全て用いることもできる。例えば、画像300Aでは、鏡面反射321の区域を除いて、その全体を用いることができる。次いで、画像300Bの対応する区域を用いて、鏡面反射の区域にはめ込めばよい。尚、画像300Aの鏡面反射321に対応する画像300B内の区域には鏡面反射がなく、完全に画像300Bの鏡面反射322の外側にあることは、注記するに値する。したがって、最終画像には鏡面反射が全くない。
【0024】
各画像の一部を用いる限り、最終画像内に含まれるものの境界は様々に選択することができる。最終画像のいずれの所与の位置の中に含まれる区域であっても、その位置において鏡面反射がない対応する画像から選択する場合、本発明の原理を用いると格別の便益を得ることができる。しかしながら、この説明を読んだ後では、鏡面反射を消滅させるのではなく、低減させるために、本発明の原理を用いようとする者も現れると考えれる。
【0025】
このような動機は、例えば、画像の一方からの鏡面反射が他方の画像の鏡面反射にある程度重複するというような、技術的限界による場合もある。つまり、追加の照明フェーズおよび照明器がないと、鏡面反射の重複区域では鏡面反射画像の消滅は実現可能にはならない。
【0026】
また、本発明の原理は、最終画像において鏡面反射を完全に消滅させる場合にのみ適用されるという誤った思い込みで、本発明の原理を中心とした設計を行おうとするというような、独断的な理由が動機となる場合もある。この説明を読んだ後には、鏡面反射の区域の一部が最終画像に入るように選択されても、入力画像の少なくとも1つと比較して、最終画像において鏡面反射が低減されている限り、本発明の原理を用いると、格別な便益が得られることを当業者には認識されよう。
【0027】
照明フェーズは、2つよりも多くてもよい。例えば、最初の2つの照明器からの鏡面反射がいくらか重複している場合、第3照明器をオンにする一方第1および第2照明器をオフにする第3フェーズを有すると有効となることもある。第1および/または第2フェーズでは、この第3照明器をオフにすればよい。したがって、鏡面反射を大幅に低減させた、または消滅させた画像を作成するように、3つの画像全てからの部分を選択できる可能性が一層高くなる。これらの同じ原理を用いて、第4またはそれ以上の照明フェーズがあれば、本発明の原理を考えれば、鏡面反射を低減するのに役立つことを立証することができる。
【0028】
照明フェーズは、単に鏡面反射を消去するのに役立つだけでなく、本発明の原理を用いて周辺光も消去するのにも役立つ。例えば、赤外線光を用いて、照明器が動作していると仮定する。多くの環境において、相当な量の周辺赤外線光があると考えられる。例えば、太陽は相当な量の赤外線光を放出する。このような周辺光も、カメラが入力物体を、周辺光から区別して検出する能力に悪影響を及ぼす可能性がある。
【0029】
図2の状態図200を参照すると、最初の2つのフェーズを用いて鏡面反射を低減または消去し、一方第3および第4フェーズを用いて周辺光を低減または消去する。フェーズ管理メカニズム130の制御の下で第3フェーズに入ると(状態遷移矢印213によって表す)、双方の照明器がオフになる(状態223)。次いで、カメラが第3画像を撮影し(状態223における行為233)、その後、遷移矢印243によって表すように、次のフェーズ変化を再度待つ。この第3状態においては、内部で発生してカメラが受光する照明は全くまたは殆どない。代わりに、外部で発生した周辺光の割合が遥かに多い。この第3画像を第1および第2画像の組み合わせから減算すると、鏡面反射および周辺光が低減または消滅した最終画像を構築することができる。これによって、ディスプレイ上またはその手前に置かれた入力物体に対する対話型ディスプレイの感度を高めることもできる。
【0030】
3つのフェーズを用いる場合、画像構築メカニズムは以下の式(1)を用いて画像を計算することができる。
最終画像=(フェーズ#1右半分画像+フェーズ#2左半分画像)−フェーズ#3画像 (1)
【0031】
図2の状態図2には4つのフェーズが示されているが、ここでも再度、鏡面反射を低減または消去するために最初の2つのフェーズがあり、周辺光を消去するためには1つの第3フェーズだけを用いてもよい。図4Bのタイミング・シーケンス図は、フェーズ・シーケンス図を示し、ここでは、最初の2つのフェーズ401および402を用いて鏡面反射を低減または消滅させ、第3フェーズ403を用いて周辺光を低減または消滅させる。この場合も、このフェーズ・シーケンスは、図4Bに示すように、繰り返すこともできる。
【0032】
周辺光を低減または消去する動作を簡略化するために、第4フェーズを用いることもできる。図2に戻って状態図200を参照すると、フェーズ管理メカニズム140の制御の下で第4フェーズに入ると(状態遷移矢印214)、双方の照明器がオフになる(またはオフを維持する)(状態224)。この状態において、カメラによって別の画像を撮影する(状態224における行為234)。次いで、次のフェーズを待つ(状態201に戻る遷移矢印244によって表されている)。
【0033】
図4Cのタイミング図400Cで表すように、2つの鏡面反射低減照明フェーズ401および402は時間的に隣接していてもよく、一方周辺光低減照明フェーズ403および404も時間的に隣接していてもよい。しかしながら、図4Dのタイミング図400Dで表すように、鏡面反射低減照明フェーズ401および402を、周辺光低減照明フェーズ403および404と交互に位置付けてもよい。この図4Dの後者のフェーズ・シーケンスの方が図4Cのフェーズ・シーケンスよりも好ましい場合がある。何故なら、鏡面反射低減照明フェーズおよび周辺光低減フェーズの結果、画像のサンプリングを一層スムーズに行えるようになるからである。
【0034】
以上とは関係なく、4つのフェーズを用いる場合、画像構築メカニズム140は最終画像において4つの画像全てを用いることができる。例えば、第1画像(例えば、図3Aの画像300A)の右半分を、第2画像(例えば、図3Bの画像300B)の左半分と組み合わせることができる。次いで、この組み合わせの前または後に、第3フェーズの間に取り込んだ画像の左半分または右半分の一方を、前述の画像の対応する半分から減算することができる。次いで、第4フェーズの間に取り込んだ画像の左または右半分の他方を、前述の画像の別の対応する半分から減算することができる。例えば、最終画像の右半分は、以下の式(2)を用いて計算することができる。
最終画像右半分=(フェーズ#1右半分)−(フェーズ#3右半分) (2)
一方、最終画像の左半分は、以下の式(3)を用いて計算することができる。
最終画像左半分=(フェーズ#2左半分)−(フェーズ#4左半分) (3)
【0035】
図5Aは、本発明の原理の特定的な一例にしたがって用いることができる照明器およびカメラのアレイ500を示す。この実施形態では、図1のカメラ101をカメラ・アレイ501と考えることができ、図1の第1照明器102を第1照明器アレイ502と考えることができ、図1の第2照明器103を第2照明器アレイ503と考えることができる。
【0036】
第1フェーズの間、対応する第1照明器アレイ502の全て(相互接続照明器502Aから502Oまでを含む)が照明し、一方対応する第2照明器アレイ503の全て(相互接続照明器503Aから503Jまでを含む)がオフになる。第2フェーズの間、対応する第2照明器アレイ503の全てがオンになり、一方対応する第1照明器アレイ502の全てがオフになる。カメラ・アレイ501(カメラ501Aから501Pまでを含む)は相互接続されているので、これらは全て、ほぼ同時に画像を撮影する。各カメラは、ディスプレイの対応する格子部分を撮像する役割を果たす。
【0037】
図5Aの構造500は、前述の2照明フェーズまたは3照明フェーズの実施形態において用いることができる。一方、図5Bのチャートは、図5Aの構造が4フェーズ実施形態の例においてどのように動作することができるかを示す。
【0038】
第1フェーズにおいて、照明器502はオンになり、照明器503はオフになり、偶数番のカメラ501Iから501Pの全ての各画像から右半分を読み取り、一方奇数番のカメラ501Aから501Hの全ての各画像から左半分を読み取る。
【0039】
図5Bにおいて「フェーズ#3」と呼ぶ次のフェーズでは、照明器502および503はオフになり、偶数番のカメラ501Iから501Pの全ての各画像から左半分を読み取り、一方奇数番501Aから501Hの全ての各画像から右半分を読み取る。
【0040】
図5Bにおいて「フェーズ#2」と呼ぶ次のフェーズでは、照明器503がオンになり、照明器502はオフになり、偶数番のカメラ501Iから501Pの全ての各画像から左半分を読み取り、一方奇数番のカメラ501Aから501Hの全ての各画像から右半分を読み取る。
【0041】
次のフェーズ(「フェーズ#4」と呼ぶ)では、全ての照明器がオフになり、偶数番のカメラ501Iから501Pの全ての各画像から右半分を読み取り、一方奇数番のカメラ501Aから501Hの全ての各画像から左半分を読み取る。
【0042】
カメラ・アレイにおける1つのカメラに対応する格子区域毎に、先に提案した式(2)および(3)を用いて、格子画像を得ることができる。次いで、格子画像を組み合わせて全体の画像を形成することができる。
【0043】
完璧を期すために、図6は、図1のフェーズ管理メカニズム130の構造600の一例を模式的に示す。フェーズ管理メカニズム130の一例は、フェーズ検出メカニズム601を含む。フェーズ検出メカニズム601は、対話型ディスプレイの適正な現行フェーズ(即ち、現行のフェーズに現在のタイミングを与えるべきもの)を検出するように構成されている。図2を参照すると、このような検出により、矢印211から214によって表される状態遷移を生じさせることができる。
【0044】
また、フェーズ管理メカニズム600は照明管理メカニズム602も含む。照明管理メカニズム602は、フェーズを仮定して、照明器がしかるべき状態になるように制御することができる。例えば、照明制御メカニズム602は、第1フェーズにおいては第1照明器をオンにし第2照明器をオフにする(図2の状態221)ことができ、第2フェーズにおいては第2照明器をオンにし第1照明器をオフにする(図2の状態222)ことができ、周辺光低減フェーズにあるときは照明器をオフにする(図2の状態223および224)ことができる。
【0045】
また、フェーズ管理メカニズム600は、カメラ制御メカニズム603も含む。カメラ制御メカニズム603は、しかるべき照明フェーズの間にカメラにしかるべき画像を撮影させるように構成されている(図2の行為231から234に対応する)。
【0046】
フェーズ管理メカニズム600は、カメラおよび照明器の外部にあってもよく、あるいはカメラおよび/または照明器の1又は2以上の内部に部分的にまたは完全に含まれてもよい。フェーズ管理メカニズム600は、集中制御モジュールであってもよく、あるいは多数のモジュールに跨って分散してもよい。
【0047】
図7は、図1の画像構築メカニズム140の動作方法700のフローチャートを示す。画像構築メカニズムは、第1照明器がオンであり第2照明器がオフである状態に対話型ディスプレイがあるときに、カメラが撮影した第1画像にアクセスする(行為701)。また、画像構築メカニズムは、第2照明器がオンであり第1照明器がオフである状態に対話型ディスプレイがあるときに、カメラが撮影した第2画像にアクセスする(行為702)。横長の楕円703で表すように、別の鏡面反射低減照明フェーズまたはいずれかの周辺光低減照明フェーズがある場合、更に別の画像にアクセスすればよい。次いで、画像構築メカニズムは、第1画像の一部および第2画像の一部を用いて入力画像を構築する(行為711)。横長の楕円703で表すように更に別の画像が撮影されている場合、これらの追加画像も用いて、横長の楕円702で表す画像を構築することができる。
【0048】
以上のように、対話型ディスプレイが照明器を交代させて鏡面反射を低減または消去する実施形態について説明した。本発明は、その主旨や本質的な特徴から逸脱することなく、他の特定形態でも具体化することもできる。記載した実施形態は、あらゆる観点においても、限定的ではなく例示的に見なすのみとする。したがって、本発明の範囲は、以上の説明ではなく、添付した特許請求の範囲によって示される。特許請求の範囲の均等の意味および範囲に該当する全ての変更は、その範囲内に包含されるものとする。
【背景技術】
【0001】
多くの計算システムおよびその他のデバイスの機能性は、ディスプレイを用いた、情報の有効な表示を拠り所としている。最近になって、ディスプレイは直接入力デバイスとして対話的に用いられるようにもなっている。例えば、ディスプレイに接触検知抵抗性および/または容量性アレイを装備すると、接触されているディスプレイの部分を検出することができる。
【0002】
従来の対話型ディスプレイには、「ビジョン・キャプチャー」技術を用いるものがあり、カメラをディスプレイの背後に配置し、ディスプレイは透過性材料または半透過性材料の1又は2以上の層で構成されている。赤外線照明器もディスプレイの背後に配置されており、ディスプレイの手前にある物体またはディスプレイと接触する物体を照明する。照明光(即ち、照明器から発する光)は、物体から反射されて、カメラ内で受光され、反射光の写真を撮影する。この写真はシステムへの電子入力として取り込まれる。ディスプレイの手前に物体が置かれると、カメラが撮影するその画像に影響を及ぼすので、物体は情報をシステムに入力するために用いることができる。
【0003】
照明光の一部は、物体から反射するのではなく、ディスプレイを形成する透過性層または半透過性層の比較的平坦な表面から反射する。その結果、カメラは比較的強い強度の鏡面反射を、ディスプレイの特定区域において受光することになる。鏡面反射が非常に強いと、鏡面反射の区域内では入力物体から実際に反射するいずれの画像も区別するのが困難になる場合もあり得る。鏡面反射は、その特定の区域においてカメラを飽和させることもあり得る。その効果は、よく晴れた日に人が浅い池を見おろす状況に、いくらか類似する。人は、太陽のまばゆい反射またはその近くの区域を除いて、池の底を見ることができるであろう。
【発明の概要】
【発明が解決しようとする課題】
【0004】
したがって、鏡面反射は、対話型ディスプレイを入力として用いることができる条件(ability)に悪影響を及ぼす可能性がある。特に、カメラが鏡面反射を受ける区域に入力物体が位置付けられる場合にあてはまる。
【課題を解決するための手段】
【0005】
必須ではないが、本発明の実施形態は、鏡面反射を低減または消去するために、交互に照明器を用いる対話型ディスプレイに関する。対話型ディスプレイは、多数の照明器と少なくとも1つのカメラとを含み、これらは1又は2以上の表示層の背後に置かれている。対話型ディスプレイは、当該対話型ディスプレイの照明フェーズを制御するフェーズ制御メカニズムを用いる。第1フェーズの間、第1照明器が第2照明器よりも優勢になるように制御する。例えば、第1照明器をオンにして、第2照明器をオフにすればよい。その状態において、カメラに画像を撮影させる。第2フェーズの間、第2照明器が第1照明器よりも優勢になるように制御する。
【0006】
次いで、第1および第2画像の組み合わせを用いて、合併画像を明確に表現する。合併画像は、第2画像の一部を用いて、第1画像からの鏡面反射が目立たなくなるまたは消去さえするように、またはその逆に、形成することができる。鏡面反射が重なり合わないように光源を位置付けると、鏡面反射の影響を緩和することまたは排除することもできる。
【0007】
この摘要は、詳細な説明において以下で更に説明する概念から選択したものを、簡略化した形態で導入するために設けられている。この摘要は、特許請求する主題の鍵となる特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を限定する際に補助として用いられることを意図するのでもない。
【図面の簡単な説明】
【0008】
添付図面は、本発明の実施形態を更に特定的に説明するために用いられる。これらの図面は、本発明の典型的な実施形態のみを描画し、したがってその範囲を限定すると見なしてはならないことを理解の上で、添付図面を使用して、実施形態について一層具体的かつ詳細に記載し説明する。
【図1】図1は、本発明の原理による対話型ディスプレイの側面図を示し、対話型ディスプレイの構成要素は必ずしも同じ縮小率で描かれている訳ではない。
【図2】図2は、少なくとも2つ、潜在的にはそれ以上の照明フェーズを含む対話型ディスプレイにおいて照明フェーズを制御するフェーズ管理メカニズムについての状態遷移図を示す。
【図3A】図3Aは、第1照明フェーズの間にカメラによって取り込まれる可能性がある鏡面反射の画像を示す。
【図3B】図3Bは、第2照明フェーズの間にカメラによって取り込まれる可能性がある鏡面反射の画像を示す。
【図4A】図4Aは、2フェーズ照明シーケンスの時系列の一例を示す。
【図4B】図4Bは、3フェーズ照明シーケンスの時系列の一例を示す。
【図4C】図4Cは、4フェーズ照明シーケンスの時系列の一例を示す。
【図4D】図4Dは、別の4フェーズ照明シーケンスの時系列の一例を示す。
【図5A】図5Aは、本発明の具体的な実施形態例にしたがって交互に配置した照明器およびカメラのアレイの上面図を示す。
【図5B】図5Bは、図5Aの交互配置照明器およびカメラと共に用いるための4フェーズ照明シーケンスの一例を示す。
【図6】図6は、本発明の原理によるフェーズ管理メカニズムの実施形態を模式的に示す。
【図7】図7は、本発明の原理にしたがって画像を構築する方法のフローチャートを示す。
【図8】図8は、表示層の背後に1つの照明器および1つのカメラのみを含む対話型ディスプレイを示す。
【発明を実施するための形態】
【0009】
本発明の実施形態は、照明フェーズを交代することによって鏡面反射を低減する対話型ディスプレイに及ぶ。図8は、1又は2以上の表示層810の背後に1つの照明器802のみを有する対話型ディスプレイ800を用いる場合の問題点をいくつか示す。対話型ディスプレイ800は、1又は2以上の透過性または半透過性層810上に物体を配置し、これらの層810から表示光を放出することによって入力を受けるように構成されている。表示メカニズムは、図8には余り詳しく示されていないが、これとは別個に、対話型ディスプレイ800は撮像メカニズムを含む。具体的には、照明器802が光を放出する。この光は、表示動作を妨害しないように、表示される光と同じスペクトルではないのが通例である。
【0010】
照明器802は、多くの方向に光を放出する。光の一部はディスプレイから放出されるが、表示動作を妨害しない。何故なら、これは表示される画像とは周波数スペクトルが異なるからである。他の光は、表示層810の前面(即ち、図8における上面上または上面の上方)に置かれている物体から反射する。つまり、反射光はディスプレイの手前にある物体に関する情報を表す。他の光は、表示層180の平坦面から反射し、つまりディスプレイの手前にある物体に関する情報を表すのではなく、単なる鏡面反射である。
【0011】
例えば、鏡面反射の妨害を例示するために、3本の光線821、822、および823を、照明器802から放出されたものとして示す。光線821および822は、ディスプレイ810の手前にある物体から反射し、したがって有効な入力情報を表す。一方、光線823は表示層810の平坦面から反射し、したがって鏡面反射を表す。このため、鏡面反射は、ほぼ物体Aの領域においてカメラ801によって観察することができる。したがって、物体Aはカメラ801による観察が不可能となる、または観察が困難となる場合があり得る。一方、物体Bは鏡面反射の区域に近接しておらず、したがって鏡面反射に対する心配なく観察することができる。このように、対話型ディスプレイ800は、鏡面反射に対応するディスプレイのある領域に入力物体が置かれた場合、適正に動作しない可能性がある。
【0012】
図1は、本発明の一実施形態による対話型ディスプレイ100を示す。図示するよりも多くの照明器およびカメラがあってもよいが、対話型ディスプレイ100は、2つの照明器102および103ならびに1つのカメラ101を含むように示されており、これらは各々透過性または半透過性表示層110(以後、簡単に「表示層110」と呼ぶ)の背後に配置されている。カメラ101および照明器102の表示層110に対する位置付けは、カメラ801および照明器802の表示層810に対する位置付けと同様である(図1および図8を比較されたい)。したがって、図1には示されていないが、対話型ディスプレイには、照明器102がオンのとき、カメラ101の物体Aの検出を妨害する鏡面反射がある。
【0013】
同様に、第2照明器103がオンであり第1照明器102がオフである場合も、鏡面反射が生ずるが、画像の異なる領域においてカメラ101によって感知される。要するに、照明器102および103は、表示層110背後の異なる位置に配置されている。照明器103は多くの光線を放出しているが、3本の光線121、122、および123のみが示されている。光線121は、物体Aから反射して、カメラ101に受光される。光線122は、物体Bから反射して、カメラ101に受光される。光線123は表示層110から反射することによって、鏡面反射を表し、カメラ101に受光される。照明器103がオン、照明器102がオフになると、物体AおよびBは双方ともカメラ101によって感知することができる。何故なら、これらは双方共、照明器103によって生ずる鏡面反射の区域から遠ざかるからである。しかしながら、鏡面反射の区域に近接する物体があると、その物体は、照明器103がオンである間は、カメラ101が感知するのは一層遥かに困難となる可能性がある。
【0014】
図3Aは、第1照明器102がオンであり、第2照明器103がオフであるときに、カメラ101によって取り込むことができる画像300Aの表現を示す。既に論じたように、画像300Aは、鏡面反射321の区域を有し、例えば、物体Aのように、鏡面反射321の区域がある物体を知覚する能力が損なわれる。一方、物体Bのように、鏡面反射321の区域の外側にある物体は、画像300A内部において一層容易に観察することができる。図3Bは、第1照明器102がオフであり、第2照明器103がオンであるときに、カメラ101によって取り込むことができる画像300Bを示す。画像300Bも鏡面反射322の区域を有し、鏡面反射322内部の物体を感知する能力が損なわれる。一方、物体AおよびBのように、鏡面反射322の区域の外側にある物体は、一層容易に観察することができる。
【0015】
図1を参照すると、対話型ディスプレイ100は、フェーズ管理メカニズム130も含む。フェーズ管理メカニズム130は、対話型ディスプレイ100の照明フェーズを管理する。図2は、フェーズ管理メカニズム130の動作例を示す状態図200を例示する。状態201において、メカニズム130は対話型ディスプレイの次のフェーズ変化を待つ(状態201)。実際には、タイミングがしかるべきときに、次のフェーズ変化を制御する。第1フェーズ(状態遷移矢印211)に遷移すると、第1照明器102が第2照明器103よりも優勢になるように制御される(状態221)。
【0016】
ここで、以下の説明においていくつかの定義を明記し、その後に図2の状態図200の主要な説明に戻ることにする。この説明および特許請求の範囲では、一つの照明器が別の照明器よりも「優勢になる」なるように制御すると言う場合、優勢な照明器に劣性な照明器よりも多くの光を放出させることができるということである。この挙動の一例では、優勢な照明器を単に「オン」にして、劣性な照明器を「オフ」にすればよい。
【0017】
この説明および特許請求の範囲では、照明器を「オフ」にするという場合、オフにした照明器から光が放出していないことや、オフにした照明器に電力を供給していないことを必ずしも意味する訳ではない。照明デバイスによっては、「オフ」状態に保持されている場合に照明器に多少の電力が供給されていると、ターン・オン時間が遥かに速くなることもある。したがって、高速サンプリング対話型ディスプレイでは、照明器は、なおも光を放出している場合または給電されている場合も、オフになっていると見なすことができる。もっとも、その程度は、「オン」状態にあるときよりは、恐らくは遥かに少ない。即ち、照明器が現時点では電力遮断されていても、非常に素早く電力投入を行うことができる。したがって、非常に実現可能性が高い実施形態では、優勢な照明器をオンにし、劣性な照明器は、全く給電せずに、オフにすることもできる。
【0018】
ここで図2の状態遷移図200に戻り、第1照明器が第2照明器に対して優勢になるように制御するときに(状態221)、カメラに第1画像を撮影させる(状態221における行為231)。例えば、図3Aの画像300Aを撮影することができる。フェーズ管理メカニズム130の指令の下で、状態遷移図は次に、次のフェーズ変化を待つ状態(201)に遷移する(状態遷移矢印241)。
【0019】
しかるべき時点において、フェーズ管理メカニズム130は第2フェーズに遷移する(状態遷移矢印212)。この状態では、第2照明器が第1照明器に対して優勢となるように制御する(状態222)。次いで、カメラに第2画像を撮影させる(状態222における行為232)。例えば、図3Bの画像300Bを撮影することができる。フェーズ管理メカニズム130の指令の下で、状態遷移図は次に、次のフェーズ変化を待つ状態(201)に遷移する(状態遷移矢印242)。
【0020】
状態遷移図200は第3状態および第4状態も示すが、対話型ディスプレイ100は2つのフェーズ、即ち、第1フェーズおよび第2フェーズに限定し、これらを繰り返してもよい。図4Aは、タイミング・シーケンス図400Aを示すが、ここでは、第1フェーズ401および第2フェーズを繰り返すことができる。
【0021】
図1に戻って、対話型ディスプレイ100は、画像構築メカニズム140も含む。画像構築メカニズム140は、第1画像の少なくとも一部および第2画像の少なくとも一部を用いて入力画像を構築するように構成されている。図1において、画像構築メカニズム140は、カメラ101にアクセスすることができ、これによって画像にアクセスするように示されている。画像構築メカニズム140は、ハードウェア、ソフトウェア、またはその組み合わせでもよく、全体的または部分的にカメラ101の中に組み込むこともでき、あるいは完全にカメラ101の外部とすることもできる。
【0022】
画像構築メカニズム140は、種々の可能な方法で画像を構築することができる。一例では、画像構築メカニズム140は、鏡面反射がない画像300Aの右半分を用いて、画像の右半分を明確に表現する。この例では、画像の左半分は、鏡面反射がない画像300Bの左半分を用いて明確に表現する。したがって、2フェーズ毎に1回、鏡面反射のない画像全体を、明確に表現することができる。最終画像の左半分および右半分は多少異なる時点における画像を表す場合もあるが、カメラのサンプリング・レートを高め、照明器の遷移速度も高めて用いて、サンプリング・レートを高めることによって、この時間を最小限に抑えることができる。あるいは、画面の手前における運動をより遅く抑えて、最終画像における中央の境界が不連続になり過ぎるのを防止することもできる。別の代替案として、画像の左半分および右半分が接続する中央境界から入力を遠ざけるように、ユーザ・インターフェースを設計してもよい。
【0023】
別の実施形態では、種々の画像300Aおよび300Bの左半分および右半分を用いる代わりに、鏡面反射の区域を除いて1つの画像を全て用いることもできる。例えば、画像300Aでは、鏡面反射321の区域を除いて、その全体を用いることができる。次いで、画像300Bの対応する区域を用いて、鏡面反射の区域にはめ込めばよい。尚、画像300Aの鏡面反射321に対応する画像300B内の区域には鏡面反射がなく、完全に画像300Bの鏡面反射322の外側にあることは、注記するに値する。したがって、最終画像には鏡面反射が全くない。
【0024】
各画像の一部を用いる限り、最終画像内に含まれるものの境界は様々に選択することができる。最終画像のいずれの所与の位置の中に含まれる区域であっても、その位置において鏡面反射がない対応する画像から選択する場合、本発明の原理を用いると格別の便益を得ることができる。しかしながら、この説明を読んだ後では、鏡面反射を消滅させるのではなく、低減させるために、本発明の原理を用いようとする者も現れると考えれる。
【0025】
このような動機は、例えば、画像の一方からの鏡面反射が他方の画像の鏡面反射にある程度重複するというような、技術的限界による場合もある。つまり、追加の照明フェーズおよび照明器がないと、鏡面反射の重複区域では鏡面反射画像の消滅は実現可能にはならない。
【0026】
また、本発明の原理は、最終画像において鏡面反射を完全に消滅させる場合にのみ適用されるという誤った思い込みで、本発明の原理を中心とした設計を行おうとするというような、独断的な理由が動機となる場合もある。この説明を読んだ後には、鏡面反射の区域の一部が最終画像に入るように選択されても、入力画像の少なくとも1つと比較して、最終画像において鏡面反射が低減されている限り、本発明の原理を用いると、格別な便益が得られることを当業者には認識されよう。
【0027】
照明フェーズは、2つよりも多くてもよい。例えば、最初の2つの照明器からの鏡面反射がいくらか重複している場合、第3照明器をオンにする一方第1および第2照明器をオフにする第3フェーズを有すると有効となることもある。第1および/または第2フェーズでは、この第3照明器をオフにすればよい。したがって、鏡面反射を大幅に低減させた、または消滅させた画像を作成するように、3つの画像全てからの部分を選択できる可能性が一層高くなる。これらの同じ原理を用いて、第4またはそれ以上の照明フェーズがあれば、本発明の原理を考えれば、鏡面反射を低減するのに役立つことを立証することができる。
【0028】
照明フェーズは、単に鏡面反射を消去するのに役立つだけでなく、本発明の原理を用いて周辺光も消去するのにも役立つ。例えば、赤外線光を用いて、照明器が動作していると仮定する。多くの環境において、相当な量の周辺赤外線光があると考えられる。例えば、太陽は相当な量の赤外線光を放出する。このような周辺光も、カメラが入力物体を、周辺光から区別して検出する能力に悪影響を及ぼす可能性がある。
【0029】
図2の状態図200を参照すると、最初の2つのフェーズを用いて鏡面反射を低減または消去し、一方第3および第4フェーズを用いて周辺光を低減または消去する。フェーズ管理メカニズム130の制御の下で第3フェーズに入ると(状態遷移矢印213によって表す)、双方の照明器がオフになる(状態223)。次いで、カメラが第3画像を撮影し(状態223における行為233)、その後、遷移矢印243によって表すように、次のフェーズ変化を再度待つ。この第3状態においては、内部で発生してカメラが受光する照明は全くまたは殆どない。代わりに、外部で発生した周辺光の割合が遥かに多い。この第3画像を第1および第2画像の組み合わせから減算すると、鏡面反射および周辺光が低減または消滅した最終画像を構築することができる。これによって、ディスプレイ上またはその手前に置かれた入力物体に対する対話型ディスプレイの感度を高めることもできる。
【0030】
3つのフェーズを用いる場合、画像構築メカニズムは以下の式(1)を用いて画像を計算することができる。
最終画像=(フェーズ#1右半分画像+フェーズ#2左半分画像)−フェーズ#3画像 (1)
【0031】
図2の状態図2には4つのフェーズが示されているが、ここでも再度、鏡面反射を低減または消去するために最初の2つのフェーズがあり、周辺光を消去するためには1つの第3フェーズだけを用いてもよい。図4Bのタイミング・シーケンス図は、フェーズ・シーケンス図を示し、ここでは、最初の2つのフェーズ401および402を用いて鏡面反射を低減または消滅させ、第3フェーズ403を用いて周辺光を低減または消滅させる。この場合も、このフェーズ・シーケンスは、図4Bに示すように、繰り返すこともできる。
【0032】
周辺光を低減または消去する動作を簡略化するために、第4フェーズを用いることもできる。図2に戻って状態図200を参照すると、フェーズ管理メカニズム140の制御の下で第4フェーズに入ると(状態遷移矢印214)、双方の照明器がオフになる(またはオフを維持する)(状態224)。この状態において、カメラによって別の画像を撮影する(状態224における行為234)。次いで、次のフェーズを待つ(状態201に戻る遷移矢印244によって表されている)。
【0033】
図4Cのタイミング図400Cで表すように、2つの鏡面反射低減照明フェーズ401および402は時間的に隣接していてもよく、一方周辺光低減照明フェーズ403および404も時間的に隣接していてもよい。しかしながら、図4Dのタイミング図400Dで表すように、鏡面反射低減照明フェーズ401および402を、周辺光低減照明フェーズ403および404と交互に位置付けてもよい。この図4Dの後者のフェーズ・シーケンスの方が図4Cのフェーズ・シーケンスよりも好ましい場合がある。何故なら、鏡面反射低減照明フェーズおよび周辺光低減フェーズの結果、画像のサンプリングを一層スムーズに行えるようになるからである。
【0034】
以上とは関係なく、4つのフェーズを用いる場合、画像構築メカニズム140は最終画像において4つの画像全てを用いることができる。例えば、第1画像(例えば、図3Aの画像300A)の右半分を、第2画像(例えば、図3Bの画像300B)の左半分と組み合わせることができる。次いで、この組み合わせの前または後に、第3フェーズの間に取り込んだ画像の左半分または右半分の一方を、前述の画像の対応する半分から減算することができる。次いで、第4フェーズの間に取り込んだ画像の左または右半分の他方を、前述の画像の別の対応する半分から減算することができる。例えば、最終画像の右半分は、以下の式(2)を用いて計算することができる。
最終画像右半分=(フェーズ#1右半分)−(フェーズ#3右半分) (2)
一方、最終画像の左半分は、以下の式(3)を用いて計算することができる。
最終画像左半分=(フェーズ#2左半分)−(フェーズ#4左半分) (3)
【0035】
図5Aは、本発明の原理の特定的な一例にしたがって用いることができる照明器およびカメラのアレイ500を示す。この実施形態では、図1のカメラ101をカメラ・アレイ501と考えることができ、図1の第1照明器102を第1照明器アレイ502と考えることができ、図1の第2照明器103を第2照明器アレイ503と考えることができる。
【0036】
第1フェーズの間、対応する第1照明器アレイ502の全て(相互接続照明器502Aから502Oまでを含む)が照明し、一方対応する第2照明器アレイ503の全て(相互接続照明器503Aから503Jまでを含む)がオフになる。第2フェーズの間、対応する第2照明器アレイ503の全てがオンになり、一方対応する第1照明器アレイ502の全てがオフになる。カメラ・アレイ501(カメラ501Aから501Pまでを含む)は相互接続されているので、これらは全て、ほぼ同時に画像を撮影する。各カメラは、ディスプレイの対応する格子部分を撮像する役割を果たす。
【0037】
図5Aの構造500は、前述の2照明フェーズまたは3照明フェーズの実施形態において用いることができる。一方、図5Bのチャートは、図5Aの構造が4フェーズ実施形態の例においてどのように動作することができるかを示す。
【0038】
第1フェーズにおいて、照明器502はオンになり、照明器503はオフになり、偶数番のカメラ501Iから501Pの全ての各画像から右半分を読み取り、一方奇数番のカメラ501Aから501Hの全ての各画像から左半分を読み取る。
【0039】
図5Bにおいて「フェーズ#3」と呼ぶ次のフェーズでは、照明器502および503はオフになり、偶数番のカメラ501Iから501Pの全ての各画像から左半分を読み取り、一方奇数番501Aから501Hの全ての各画像から右半分を読み取る。
【0040】
図5Bにおいて「フェーズ#2」と呼ぶ次のフェーズでは、照明器503がオンになり、照明器502はオフになり、偶数番のカメラ501Iから501Pの全ての各画像から左半分を読み取り、一方奇数番のカメラ501Aから501Hの全ての各画像から右半分を読み取る。
【0041】
次のフェーズ(「フェーズ#4」と呼ぶ)では、全ての照明器がオフになり、偶数番のカメラ501Iから501Pの全ての各画像から右半分を読み取り、一方奇数番のカメラ501Aから501Hの全ての各画像から左半分を読み取る。
【0042】
カメラ・アレイにおける1つのカメラに対応する格子区域毎に、先に提案した式(2)および(3)を用いて、格子画像を得ることができる。次いで、格子画像を組み合わせて全体の画像を形成することができる。
【0043】
完璧を期すために、図6は、図1のフェーズ管理メカニズム130の構造600の一例を模式的に示す。フェーズ管理メカニズム130の一例は、フェーズ検出メカニズム601を含む。フェーズ検出メカニズム601は、対話型ディスプレイの適正な現行フェーズ(即ち、現行のフェーズに現在のタイミングを与えるべきもの)を検出するように構成されている。図2を参照すると、このような検出により、矢印211から214によって表される状態遷移を生じさせることができる。
【0044】
また、フェーズ管理メカニズム600は照明管理メカニズム602も含む。照明管理メカニズム602は、フェーズを仮定して、照明器がしかるべき状態になるように制御することができる。例えば、照明制御メカニズム602は、第1フェーズにおいては第1照明器をオンにし第2照明器をオフにする(図2の状態221)ことができ、第2フェーズにおいては第2照明器をオンにし第1照明器をオフにする(図2の状態222)ことができ、周辺光低減フェーズにあるときは照明器をオフにする(図2の状態223および224)ことができる。
【0045】
また、フェーズ管理メカニズム600は、カメラ制御メカニズム603も含む。カメラ制御メカニズム603は、しかるべき照明フェーズの間にカメラにしかるべき画像を撮影させるように構成されている(図2の行為231から234に対応する)。
【0046】
フェーズ管理メカニズム600は、カメラおよび照明器の外部にあってもよく、あるいはカメラおよび/または照明器の1又は2以上の内部に部分的にまたは完全に含まれてもよい。フェーズ管理メカニズム600は、集中制御モジュールであってもよく、あるいは多数のモジュールに跨って分散してもよい。
【0047】
図7は、図1の画像構築メカニズム140の動作方法700のフローチャートを示す。画像構築メカニズムは、第1照明器がオンであり第2照明器がオフである状態に対話型ディスプレイがあるときに、カメラが撮影した第1画像にアクセスする(行為701)。また、画像構築メカニズムは、第2照明器がオンであり第1照明器がオフである状態に対話型ディスプレイがあるときに、カメラが撮影した第2画像にアクセスする(行為702)。横長の楕円703で表すように、別の鏡面反射低減照明フェーズまたはいずれかの周辺光低減照明フェーズがある場合、更に別の画像にアクセスすればよい。次いで、画像構築メカニズムは、第1画像の一部および第2画像の一部を用いて入力画像を構築する(行為711)。横長の楕円703で表すように更に別の画像が撮影されている場合、これらの追加画像も用いて、横長の楕円702で表す画像を構築することができる。
【0048】
以上のように、対話型ディスプレイが照明器を交代させて鏡面反射を低減または消去する実施形態について説明した。本発明は、その主旨や本質的な特徴から逸脱することなく、他の特定形態でも具体化することもできる。記載した実施形態は、あらゆる観点においても、限定的ではなく例示的に見なすのみとする。したがって、本発明の範囲は、以上の説明ではなく、添付した特許請求の範囲によって示される。特許請求の範囲の均等の意味および範囲に該当する全ての変更は、その範囲内に包含されるものとする。
【特許請求の範囲】
【請求項1】
対話型ディスプレイ(100)であって、
1又は2以上の表示層(110)と、
前記1又は2以上の表示層の背後における第1の場所に位置付けられた第1照明器(102)と、
前記1又は2以上の表示層の背後における第2の場所に位置付けられた第2照明器(103)と、
前記1又は2以上の表示層の背後に位置付けられたカメラ(101)と、
フェーズ管理メカニズム(130)であって、
前記対話型ディスプレイのフェーズ(221〜224)の交代を制御し、前記対話型ディスプレイは、少なくとも第1フェーズ(221)と第2フェーズ(222)とを含む複数のフェーズを有し、
前記第1フェーズにあるとき、前記第1照明器が前記第2照明器よりも優勢となるように制御し、その状態において、前記カメラに第1画像(231)を撮影させ、
前記第2フェーズにあるとき、前記第2照明器が前記第1照明器よりも優勢となるように制御し、その状態において、前記カメラに第2画像(232)を撮影させるように構成されている、フェーズ管理メカニズム(130)と、
前記第1画像の少なくとも一部と前記第2画像の少なくとも一部とを少なくとも用いて、入力画像を構築するように構成されている画像構築メカニズム(140)と、
を備えている、対話型ディスプレイ。
【請求項2】
請求項1記載の対話型ディスプレイにおいて、当該対話型ディスプレイは、前記第1フェーズ、前記第2フェーズ、および第3フェーズを少なくとも含む、少なくとも3つのフェーズを含み、
前記フェーズ管理メカニズムは、更に、前記第3フェーズにあるときに、前記第1および第2照明器双方をオフにし、その状態において前記カメラに第3画像を撮影させ、
前記画像構築メカニズムは、更に、前記第3画像も用いて前記入力画像を構築するように構成されている、対話型ディスプレイ。
【請求項3】
請求項2記載の対話型ディスプレイにおいて、前記画像構築メカニズムは、前記第1および第2画像の合併ならびに前記第3画像の少なくとも一部の減算を用いて、前記入力画像を構築するように構成されている、対話型ディスプレイ。
【請求項4】
請求項2記載の対話型ディスプレイにおいて、当該対話型ディスプレイは、前記第1フェーズ、前記第2フェーズ、前記第3フェーズ、および第4フェーズを含む、少なくとも4つのフェーズを含み、
前記フェーズ管理メカニズムは、更に、前記第4フェーズにあるときに、前記第1および第2照明器双方をオフにし、その状態において、前記カメラに第4画像を撮影させ、
前記画像構築メカニズムは、前記第4画像の少なくとも一部を用いて、前記入力画像を構築するように構成されている、対話型ディスプレイ。
【請求項5】
請求項4記載の対話型ディスプレイにおいて、前記画像構築メカニズムは、前記第1および第2画像の合併、ならびに前記第3画像の少なくとも一部の減算、ならびに前記第4画像の少なくとも一部の減算を用いて、前記入力画像を構築するように構成されている、対話型ディスプレイ。
【請求項6】
請求項4記載の対話型ディスプレイにおいて、前記第1および第2フェーズは時間的に隣接する、対話型ディスプレイ。
【請求項7】
請求項6記載の対話型ディスプレイにおいて、前記第3および第4フェーズは時間的に隣接する、対話型ディスプレイ。
【請求項8】
請求項4記載の対話型ディスプレイにおいて、前記第1および第2フェーズは、前記第3および第4フェーズと交互に位置付けられている、対話型ディスプレイ。
【請求項9】
請求項1記載の対話型ディスプレイにおいて、前記カメラは第1カメラであり、前記対話型ディスプレイは、更に、
1又は2以上の表示層と、
前記1又は2以上の表示層の背後における第3の場所に位置付けられた第3照明器と、
前記1又は2以上の表示層の背後における第4の場所に位置付けられた第4照明器と、
前記1又は2以上の表示層の背後に位置付けられた第2カメラと、
を備えており、
前記フェーズ管理機構は、更に、
前記第1フェーズにおいて、前記第3照明器が前記第4照明器よりも優勢となるように制御し、その状態において、前記第2カメラに第3画像を撮影させ、
前記第2フェーズにおいて、前記第4照明器が前記第3照明器よりも優勢となるように制御し、その状態において、前記第2カメラに第4画像を撮影させるように構成されており、
前記画像構築メカニズムは、前記第3画像の少なくとも一部および前記第4画像の少なくとも一部を少なくとも用いて、第2入力画像を構築するように構成されている、対話型ディスプレイ。
【請求項10】
請求項1記載の対話型ディスプレイにおいて、前記フェーズ管理メカニズムは、前記第1照明器をオンにし、前記第1照明器をオフにすることにより、前記第1照明器が前記第2照明器よりも優勢となるように制御するように構成されている、対話型ディスプレイ。
【請求項11】
請求項10記載の対話型ディスプレイにおいて、前記フェーズ管理メカニズムは、前記第2照明器をオンにし、前記第1照明器をオフにすることにより、前記第2照明器が前記第1照明器よりも優勢となるように制御するように構成されている、対話型ディスプレイ。
【請求項12】
請求項1記載の対話型ディスプレイにおいて、前記第1および第2照明器は赤外線照明器であり、前記カメラは赤外線カメラである、対話型ディスプレイ。
【請求項13】
請求項1記載の対話型ディスプレイにおいて、
前記第1照明器は、第1複数の照明器のアレイを構成し、前記第1照明器をオンにすると、前記第1複数の照明器の各々がオンになり、
前記第2照明器は、第2複数の照明器のアレイを構成し、前記第2照明器をオンにすると、前記第2複数の照明器の各々がオンになり、
前記カメラは、複数のカメラのアレイを構成し、前記カメラが画像を撮影するとき、前記複数のカメラの各々が前記画像の一部を撮影する、対話型ディスプレイ。
【請求項14】
請求項13記載の対話型ディスプレイにおいて、前記複数のカメラの各々は、前記第1複数の照明器の1つおよび前記第2複数の照明器の1つに対応し、前記対応するカメラによって受光される照明光の大部分が、前記第1複数のカメラの対応する1つまたは前記第2複数のカメラの対応する1つのいずれかから発するようにした、対話型ディスプレイ。
【請求項15】
複数の交互フェーズ(221〜224)と、1又は2以上の表示層(110)と、前記1又は2以上の表示層の背後における異なる場所に位置付けられた第1および第2照明器ならびにカメラとを含む対話型ディスプレイにおいて用いるためのフェーズ管理メカニズム(130、600)であって、
前記対話型ディスプレイの現在のフェーズを検出するように構成されているフェーズ検出メカニズム(601)と、
前記フェーズ検出メカニズムが、現在のフェーズが第1フェーズ(221)であることを検出したときに、前記第1照明器(102)をオンにし、前記第2照明器(103)をオフにするように構成されており、更に、前記フェーズ検出メカニズムが、現在のフェーズが第2フェーズ(222)であることを検出したときに、前記第1照明器をオフにし、前記第2照明器をオンにするように構成されている照明制御メカニズム(602)と、
前記フェーズ検出メカニズムが、現在のフェーズが前記第1フェーズ(221)であることを検出したとき、第1の写真(300A)を撮影するように構成されており、更に、前記フェーズ検出メカニズムが、現在のフェーズが前記第2フェーズ(222)であることを検出したとき、第2の写真(300B)を撮影するように構成されている、カメラ制御メカニズム(603)と、
を備えている、フェーズ管理メカニズム。
【請求項16】
請求項15記載のフェーズ管理メカニズムにおいて、前記第1照明器がオンのときよりも程度は少ないが、オフのときも前記第1照明器はなおも多少の光を放出する、フェーズ管理メカニズム。
【請求項17】
請求項15記載のフェーズ管理メカニズムにおいて、前記2照明器がオンのときよりも程度は少ないが、オフのときも前記第2照明器はなおも多少の光を放出する、フェーズ管理メカニズム。
【請求項18】
複数の交互フェーズ(221〜224)と、1又は2以上の表示層(110)と、前記1又は2以上の表示層の背後における異なる場所に位置付けられた第1および第2照明器(102、103)ならびにカメラ(101)とを含む対話型ディスプレイにおいて用いるための画像構築メカニズム(140)において、画像を構築するための方法(700)であって、
前記対話型ディスプレイが、前記第1照明がオンであり前記第2照明がオフである状態にあるときに、前記カメラが撮影した第1画像(300A)にアクセスする行為(701)と、
前記対話型ディスプレイが、前記第2照明がオンであり前記第1照明がオフである状態にあるときに、前記カメラが撮影した第2画像(300B)にアクセスする行為(702)と、
前記第1画像の一部と前記第2画像の一部とを用いて入力画像を構築する行為(711)と、
を備えている、方法。
【請求項19】
請求項18記載の方法において、前記構築した入力画像において用いられない前記第1画像の部分は、前記第1画像の鏡面反射を含む、方法。
【請求項20】
請求項19記載の方法において、前記構築した入力画像において用いられない前記第2画像の部分は、前記第2画像の鏡面反射を含む、方法。
【請求項1】
対話型ディスプレイ(100)であって、
1又は2以上の表示層(110)と、
前記1又は2以上の表示層の背後における第1の場所に位置付けられた第1照明器(102)と、
前記1又は2以上の表示層の背後における第2の場所に位置付けられた第2照明器(103)と、
前記1又は2以上の表示層の背後に位置付けられたカメラ(101)と、
フェーズ管理メカニズム(130)であって、
前記対話型ディスプレイのフェーズ(221〜224)の交代を制御し、前記対話型ディスプレイは、少なくとも第1フェーズ(221)と第2フェーズ(222)とを含む複数のフェーズを有し、
前記第1フェーズにあるとき、前記第1照明器が前記第2照明器よりも優勢となるように制御し、その状態において、前記カメラに第1画像(231)を撮影させ、
前記第2フェーズにあるとき、前記第2照明器が前記第1照明器よりも優勢となるように制御し、その状態において、前記カメラに第2画像(232)を撮影させるように構成されている、フェーズ管理メカニズム(130)と、
前記第1画像の少なくとも一部と前記第2画像の少なくとも一部とを少なくとも用いて、入力画像を構築するように構成されている画像構築メカニズム(140)と、
を備えている、対話型ディスプレイ。
【請求項2】
請求項1記載の対話型ディスプレイにおいて、当該対話型ディスプレイは、前記第1フェーズ、前記第2フェーズ、および第3フェーズを少なくとも含む、少なくとも3つのフェーズを含み、
前記フェーズ管理メカニズムは、更に、前記第3フェーズにあるときに、前記第1および第2照明器双方をオフにし、その状態において前記カメラに第3画像を撮影させ、
前記画像構築メカニズムは、更に、前記第3画像も用いて前記入力画像を構築するように構成されている、対話型ディスプレイ。
【請求項3】
請求項2記載の対話型ディスプレイにおいて、前記画像構築メカニズムは、前記第1および第2画像の合併ならびに前記第3画像の少なくとも一部の減算を用いて、前記入力画像を構築するように構成されている、対話型ディスプレイ。
【請求項4】
請求項2記載の対話型ディスプレイにおいて、当該対話型ディスプレイは、前記第1フェーズ、前記第2フェーズ、前記第3フェーズ、および第4フェーズを含む、少なくとも4つのフェーズを含み、
前記フェーズ管理メカニズムは、更に、前記第4フェーズにあるときに、前記第1および第2照明器双方をオフにし、その状態において、前記カメラに第4画像を撮影させ、
前記画像構築メカニズムは、前記第4画像の少なくとも一部を用いて、前記入力画像を構築するように構成されている、対話型ディスプレイ。
【請求項5】
請求項4記載の対話型ディスプレイにおいて、前記画像構築メカニズムは、前記第1および第2画像の合併、ならびに前記第3画像の少なくとも一部の減算、ならびに前記第4画像の少なくとも一部の減算を用いて、前記入力画像を構築するように構成されている、対話型ディスプレイ。
【請求項6】
請求項4記載の対話型ディスプレイにおいて、前記第1および第2フェーズは時間的に隣接する、対話型ディスプレイ。
【請求項7】
請求項6記載の対話型ディスプレイにおいて、前記第3および第4フェーズは時間的に隣接する、対話型ディスプレイ。
【請求項8】
請求項4記載の対話型ディスプレイにおいて、前記第1および第2フェーズは、前記第3および第4フェーズと交互に位置付けられている、対話型ディスプレイ。
【請求項9】
請求項1記載の対話型ディスプレイにおいて、前記カメラは第1カメラであり、前記対話型ディスプレイは、更に、
1又は2以上の表示層と、
前記1又は2以上の表示層の背後における第3の場所に位置付けられた第3照明器と、
前記1又は2以上の表示層の背後における第4の場所に位置付けられた第4照明器と、
前記1又は2以上の表示層の背後に位置付けられた第2カメラと、
を備えており、
前記フェーズ管理機構は、更に、
前記第1フェーズにおいて、前記第3照明器が前記第4照明器よりも優勢となるように制御し、その状態において、前記第2カメラに第3画像を撮影させ、
前記第2フェーズにおいて、前記第4照明器が前記第3照明器よりも優勢となるように制御し、その状態において、前記第2カメラに第4画像を撮影させるように構成されており、
前記画像構築メカニズムは、前記第3画像の少なくとも一部および前記第4画像の少なくとも一部を少なくとも用いて、第2入力画像を構築するように構成されている、対話型ディスプレイ。
【請求項10】
請求項1記載の対話型ディスプレイにおいて、前記フェーズ管理メカニズムは、前記第1照明器をオンにし、前記第1照明器をオフにすることにより、前記第1照明器が前記第2照明器よりも優勢となるように制御するように構成されている、対話型ディスプレイ。
【請求項11】
請求項10記載の対話型ディスプレイにおいて、前記フェーズ管理メカニズムは、前記第2照明器をオンにし、前記第1照明器をオフにすることにより、前記第2照明器が前記第1照明器よりも優勢となるように制御するように構成されている、対話型ディスプレイ。
【請求項12】
請求項1記載の対話型ディスプレイにおいて、前記第1および第2照明器は赤外線照明器であり、前記カメラは赤外線カメラである、対話型ディスプレイ。
【請求項13】
請求項1記載の対話型ディスプレイにおいて、
前記第1照明器は、第1複数の照明器のアレイを構成し、前記第1照明器をオンにすると、前記第1複数の照明器の各々がオンになり、
前記第2照明器は、第2複数の照明器のアレイを構成し、前記第2照明器をオンにすると、前記第2複数の照明器の各々がオンになり、
前記カメラは、複数のカメラのアレイを構成し、前記カメラが画像を撮影するとき、前記複数のカメラの各々が前記画像の一部を撮影する、対話型ディスプレイ。
【請求項14】
請求項13記載の対話型ディスプレイにおいて、前記複数のカメラの各々は、前記第1複数の照明器の1つおよび前記第2複数の照明器の1つに対応し、前記対応するカメラによって受光される照明光の大部分が、前記第1複数のカメラの対応する1つまたは前記第2複数のカメラの対応する1つのいずれかから発するようにした、対話型ディスプレイ。
【請求項15】
複数の交互フェーズ(221〜224)と、1又は2以上の表示層(110)と、前記1又は2以上の表示層の背後における異なる場所に位置付けられた第1および第2照明器ならびにカメラとを含む対話型ディスプレイにおいて用いるためのフェーズ管理メカニズム(130、600)であって、
前記対話型ディスプレイの現在のフェーズを検出するように構成されているフェーズ検出メカニズム(601)と、
前記フェーズ検出メカニズムが、現在のフェーズが第1フェーズ(221)であることを検出したときに、前記第1照明器(102)をオンにし、前記第2照明器(103)をオフにするように構成されており、更に、前記フェーズ検出メカニズムが、現在のフェーズが第2フェーズ(222)であることを検出したときに、前記第1照明器をオフにし、前記第2照明器をオンにするように構成されている照明制御メカニズム(602)と、
前記フェーズ検出メカニズムが、現在のフェーズが前記第1フェーズ(221)であることを検出したとき、第1の写真(300A)を撮影するように構成されており、更に、前記フェーズ検出メカニズムが、現在のフェーズが前記第2フェーズ(222)であることを検出したとき、第2の写真(300B)を撮影するように構成されている、カメラ制御メカニズム(603)と、
を備えている、フェーズ管理メカニズム。
【請求項16】
請求項15記載のフェーズ管理メカニズムにおいて、前記第1照明器がオンのときよりも程度は少ないが、オフのときも前記第1照明器はなおも多少の光を放出する、フェーズ管理メカニズム。
【請求項17】
請求項15記載のフェーズ管理メカニズムにおいて、前記2照明器がオンのときよりも程度は少ないが、オフのときも前記第2照明器はなおも多少の光を放出する、フェーズ管理メカニズム。
【請求項18】
複数の交互フェーズ(221〜224)と、1又は2以上の表示層(110)と、前記1又は2以上の表示層の背後における異なる場所に位置付けられた第1および第2照明器(102、103)ならびにカメラ(101)とを含む対話型ディスプレイにおいて用いるための画像構築メカニズム(140)において、画像を構築するための方法(700)であって、
前記対話型ディスプレイが、前記第1照明がオンであり前記第2照明がオフである状態にあるときに、前記カメラが撮影した第1画像(300A)にアクセスする行為(701)と、
前記対話型ディスプレイが、前記第2照明がオンであり前記第1照明がオフである状態にあるときに、前記カメラが撮影した第2画像(300B)にアクセスする行為(702)と、
前記第1画像の一部と前記第2画像の一部とを用いて入力画像を構築する行為(711)と、
を備えている、方法。
【請求項19】
請求項18記載の方法において、前記構築した入力画像において用いられない前記第1画像の部分は、前記第1画像の鏡面反射を含む、方法。
【請求項20】
請求項19記載の方法において、前記構築した入力画像において用いられない前記第2画像の部分は、前記第2画像の鏡面反射を含む、方法。
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図4C】
【図4D】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図4C】
【図4D】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【公表番号】特表2010−517425(P2010−517425A)
【公表日】平成22年5月20日(2010.5.20)
【国際特許分類】
【出願番号】特願2009−547248(P2009−547248)
【出願日】平成19年12月27日(2007.12.27)
【国際出願番号】PCT/US2007/088900
【国際公開番号】WO2008/091471
【国際公開日】平成20年7月31日(2008.7.31)
【出願人】(500046438)マイクロソフト コーポレーション (3,165)
【Fターム(参考)】
【公表日】平成22年5月20日(2010.5.20)
【国際特許分類】
【出願日】平成19年12月27日(2007.12.27)
【国際出願番号】PCT/US2007/088900
【国際公開番号】WO2008/091471
【国際公開日】平成20年7月31日(2008.7.31)
【出願人】(500046438)マイクロソフト コーポレーション (3,165)
【Fターム(参考)】
[ Back to top ]