説明

点滅する電磁放射線を用いた入力

【課題】点滅する電磁放射線の入力方法を改良する。
【解決手段】点滅する電磁放射線の入力方法の改良において、スクリーンの第2側部に配置され、第1及び第2画像は、スクリーンの第1側部に取り込まれ、アクセスされる。物体が電磁放射線が放射されて照らされている間に、第1画像が捉えられ、電磁放射線の消失が推定される間に、第2画像が捉えられる。第1と第2画像の比較に基づいて、スクリーンと関連する物体の位置を決定する。アプリケーションは、決定された位置に基づいて制御される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、広くユーザ入力に関する。
【0002】
関連出願についてのクロスリファレンス
本願は、2007年2月15日に出願した米国仮出願第60/890,108号に基づく利益を主張し、当該出願の内容は援用によりここに組み込まれるものとする。
【背景技術】
【0003】
スクリーンの近くの物体が一定の光源及び周辺光によって照らされる場合、周辺光は、物体と離れた光源の反射光をユーザ入力に使用させるための一定の光源とほとんど区別できない。
【発明の概要】
【課題を解決するための手段】
【0004】
一般的な一実施形態において、物は点滅光によって照らされる。ここで、スクリーンの背後の周辺光は、リアルタイム又はほぼリアルタイムに、点滅光の消えている段階において検出され、スクリーンの画像からフィルタ処理される。フィルタ処理に基づいて、例えば、検出位置のマッピング又は制御入力のための動作又はマウスイベントによって、スクリーンと関連する物体の二次元又は三次元位置、又は動作は識別されることができ、アプリケーションを制御するために用いられる。
【0005】
更に一般的な実施形態においては、物体及び周囲電磁放射体は、スクリーンの第2側部に配置され、第1及び第2画像は、スクリーンの第1側部に取り込まれ、アクセスされる。第1画像は、物体が投射された電磁放射線に照らされる間に取り込まれ、第2画像は、投射された電磁放射線が消滅する間に取り込まれる。スクリーンと関連する物体の位置は、第1と第2画像の比較に基づき、決定される。アプリケーションは、決定された位置に基づいて制御される。
【0006】
上記実施形態は、以下の特徴の1つ以上を備えてもよい。
電磁放射線は、スクリーンの第2側部に沿って、第2側部と平行な第1ライトカーテンとして投射されてもよい。電磁放射線は、スクリーンの第2側部に隣接して、第2側部と平行な第2ライトカーテンとして投射されてもよい。第1ライトカーテンと第2ライトカーテンは互いに平行であり、スクリーンの第2側部に関連する第1位置と第2位置に配置される。物体には、人体の一部が含まれる。第2位置が決定すると、アプリケーションは、決定された位置及び第2位置に基づいて制御されてもよい。第1画像と第2画像との比較に基づくスクリーンと関連する物体の決定された位置は、異なる画像により作り出される第1及び第2画像の減算を含んでもよい。スクリーンと関連する物体の決定された位置は、異なる画像の物体の配置を決定することを含んでもよい。
【0007】
いくつかの実施形態において、決定された位置に基づいてアプリケーションを制御することは、カーソルを制御することを含んでもよい。投射された電磁放射線は、赤外線を含んでもよい。可視画像はスクリーンへ投射されることができ、物体は動いていてもよい。そして、カーソルの動作が物体の運動に対応するように、決定された位置に基づいてアプリケーションを制御することは、可視画像上のカーソルを制御することを含む。物体の運動は、人によってされるジェスチャを含んでもよい。
【0008】
いくつかの実施形態において、第1及び第2画像にアクセスすることは、物体及び第2の物体の第1及び第2画像にアクセスすることを含んでもよい。そして、物体及び第2の物体はスクリーンの同じ側に配置され、スクリーンと関連する第2の物体の位置は決定されてもよい。物体が投射された電磁放射線によって照らされている間に、影は物体によって映し出され、スクリーンに映し出された影はモデル化されてもよい。モデル化に基づいて、第2の物体を覆う影が決定される。スクリーンと関連する第2の物体の位置を決定することは、影をアカウントすることを含んでもよい。
【0009】
他の一般的な実施形態において、システムは第1側部、第2側部及び電磁放射線源を有する半透明スクリーンを含んでもよい。そして、点滅の速度で、供給源が電磁放射線を発することと、電磁放射線を消すこととを交互に行うように構成される。センサはスクリーンの第1側部に配置されて、点滅の速度で電磁放射線を検出するように構成されている。そして、電磁放射線はスクリーンの第2側部で、スクリーンの近傍に配置されている物体に反射される。システムも、検出された電磁放射線に基づいて物体の位置を決定するように構成されるプロセッサを備え、決定された物体の位置に基づいてアプリケーションを制御する。
【0010】
上記実施形態は、以下の特徴の一つ以上を備えてもよい。スクリーンは、縁を含んでもよく、そして、電磁放射線源は、電磁放射線がスクリーンの第2側部にスクリーンと平行に反射されるように、1以上のスクリーンの縁に沿って配置される放射体の線形配列を含んでもよい。スクリーンは、平行四辺形でもよい。電磁放射線源は、放射体の一連の線形配列を含んでもよく、放射体の線形配列の各々は、スクリーンの表面から少し離れたスクリーンの第2側部に配置される。電磁気エネルギ源は、拡散的電磁気エネルギを放射してもよく、チャンネルは供給源と隣接していてもよい。ここで、チャンネルは、放射された電磁気エネルギを平行にするように構成されてもよい。チャンネルは、入口から出口までブロックを通って延びている通路を有するブロックの材料を含んでもよい。そして、拡散的電磁放射線は、入口に影響を与え、一部の拡散的電磁放射線が平行な電磁放射線として出口から現れる。チャンネルは、レンズを含んでもよい。電磁放射線源は、スクリーンの第1側部に配置される放射体を含んでもよく、電磁放射線は、スクリーンを通過して、物体を反射する。電磁放射線源は、発光ダイオードでもよい。発光ダイオードは、赤外線を放射してもよい。センサは、画素アレイでもよい。プロセッサもまた、物体によって映し出された影をモデル化することで構成されてもよい。そして、モデル化された影に基づいて、スクリーンの第2側部に配置される第2の物体の位置を決定する。
【0011】
上記の技術のいずれかの実施形態は、記憶装置に保存される方法、工程、システム又は記憶装置に保存された命令を含んでもよい。詳細な実施態様の説明は、添付の図面及び下記の説明に記載される。他の特徴は、図面及び請求項を含む以下の説明から明らかである。
【図面の簡単な説明】
【0012】
【図1A】システムの前後関係を示す図である。
【図1B】システムの前後関係を示す図である。
【図1C】システムの前後関係を示す図である。
【図2】ユーザがアプリケーションと相互に作用することができる例示システムを示す。
【図3】ユーザがアプリケーションと相互に作用することができる例示システムを示す。
【図4】ユーザがアプリケーションと相互に作用することができる例示システムを示す。
【図5】物体の位置を決定するための処理を示すフローチャートである。
【図6】入力画面及び結果として生じる差分画像の2つの実施例を示す図である。
【図7A】ユーザがアプリケーションと相互に作用することができる例示システムを示す。
【図7B】ユーザがアプリケーションと相互に作用することができる例示システムを示す。
【図7C】ユーザがアプリケーションと相互に作用することができる例示システムを示す。
【図7D】ユーザがアプリケーションと相互に作用することができる例示システムを示す。
【図8A】典型的な電磁放射線源を示す図である。
【図8B】典型的な電磁放射線源を示す図である。
【図9】ユーザがアプリケーションと相互に作用することができる例示システムを示す。
【図10】ユーザがアプリケーションと相互に作用することができる例示システムを示す。
【図11】例示システム及び付随する制御アプリケーションを示す。
【発明を実施するための形態】
【0013】
一般的な実施形態において、物は点滅光によって照らされる。ここで、スクリーンの背後の周辺光は、リアルタイム又はほぼリアルタイムで、点滅光の消えている段階において検出され、スクリーンの画像からフィルタ処理される。フィルタ処理に基づいて、例えば、検出位置のマッピング又は制御入力のための動作又はマウスイベントによって、スクリーンと関連する物体の二次元又は三次元位置、又は動作は識別されることができ、アプリケーションを制御するために用いられる。
【0014】
例えば、図1Aに記載のシステム100は、必ずしもスクリーン110に接触することなく、半透明スクリーン110に表示されるアプリケーション105とユーザ102、103、104とを相互に作用させる。ここに示した例では、ユーザ102、103、104は、アプリケーション105と相互に作用するために、スクリーン110と平行に、スクリーン110の前に投射された、光のカーテン(「ライトカーテン」及び/又は「光の面」と呼ばれる)を通して物体を動かす。図1Aに示される実施例において、アプリケーション105は、「植物をつかむ」ゲームである。
【0015】
ライトカーテンは、供給源115、120から発される電磁放射線によって形成される。電磁放射線は、光線でもよい。アプリケーション105と相互に作用するために、ユーザ102、103、104は、ライトカーテンを遮断するように、スクリーン110の方へ、例えば、手又は棒等を移動させ、又は配置してもよい。ライトカーテンの中の物体の動作、ホバリング及び/又は配置によって、システム100はアプリケーション105による一連のマウスイベント(または他のI/Oイベント)、アプリケーション105の制御を行ってもよい。このように、ユーザ102、103、104は、ライトカーテンによって投射された物体の動作、ホバリング、配置によって、アプリケーション105を操作する。
【0016】
下記に示すように、スクリーンに映し出される物体の動作、配置及び/又は位置は、決定され、アプリケーション105を操作するために用いる。特に、ライトカーテンの中の物体は、供給源115、120から投射される電磁気エネルギを反射し、そして、反射された電磁気エネルギはセンサ(例えばピクセル、画素アレイまたはカメラ)によって検出される。物体の位置又は動作は、検出されたエネルギに基づいて決定され、アプリケーション105は、決定された位置又は動作に基づいて操作される。スクリーン110上の供給源115、120からの光をスクリーン110に反射する物体に加えて、物体もまた、周辺光や、スクリーン110を照らす周辺光自身を反射してもよい。周辺光は、画像の中に現れてもよく、そうしなければ物体として誤って検出される。
【0017】
物体によって反射された供給源115、120からの光と、物体として見誤った周辺光点とを見分けるために、供給源115、120は、所定パターン又は配列で照射されたライトカーテンによって照射された物と同様に、所定パターン又は配列(例えば、供給源115、120及び光は確かに点滅している)の電磁放射線を照射する。このように、供給源115、120が放射線を放射する間に、実際の物は、収集された画像に現れ、周辺光点はすべての画像に現れる(供給源115、120が電磁放射線を放射しない間に、収集したそれらを含む)。収集された画像に電磁気エネルギを消費しながら電磁放射線を放射する供給源115、120を比較することによって、実際の物体は周辺光によって生じるスクリーン110上の散在する点を区別されてもよい。物体が供給源115、120に照らされている間、及び照らされていない間に、センサがスクリーンのイメージの収集を交互に行うように、センサは、同期され、又は所定パターン又は配列に調整される。
【0018】
図1Aに示される実施例において、「植物をつかむ」ゲーム105は、スクリーン110に投射される植物121、122、123、124の中から、ユーザに植物を選択させる。一旦植物が選択されると、ゲーム105は、選択された植物を拡大し、影を付けたバージョンを披露する。ユーザ102は、右手134で植物121を選択し、ユーザ104は、植物123、124を選択する。この実施例では、ユーザ102は、手132、134をライトカーテンに入れて、植物121を選択する。例えば、手134がライトカーテンによって照らされている間にジェスチャすることによって、又は、手134がライトカーテンによって照らされると共に、植物121の上に手134がある時に選択する。手132、134は、それぞれ影135、137を作り出す。ユーザ104は、ライトカーテンに手141、143を配置して、植物123、124を選択する。手141、143は、それぞれ影145、147を映し出す。手や他の物体で特定の植物を選択することよりもむしろ、ユーザ103は、ライトカーテンの中に、身体の本体部分149が配置される。ライトカーテンの配置によって、ユーザ103の身体は、影150が作り出されてもよい。
【0019】
手132、134、141、143の位置、及びライトカーテンを壊す本体部分149は図1Bに示すように表させる。位置132b、134bは、スクリーン110に対して手132、134の位置に対応して決定される。そして、位置141b、143bは、スクリーン110に対して手141、143の位置に対応して決定される。位置160は、ユーザ103の本体部分149の位置に対応する。以下に詳述するように、システム100は、アプリケーション105を制御する方法を決定するために、大きさ及び形状、他の特徴の中の、光のカーテンによって照らされる物体によるスクリーン110の反射、を分析する。この例では、ユーザ103の本体部分149は、選択とするにはあまりに大きい。それゆえ、位置160はエラーとみなされることができて、無視されることができる。
【0020】
図1Cに示すように、アプリケーション105は、決定された位置に基づいて制御される。位置134bは、植物121の選択に対応し、そして、植物121が選択されると、植物126のように拡大される。同様に、位置141bと位置143bは、それぞれ、植物123、124の選択に対応する。そして、植物123、124は、植物128、129のように拡大される。対照的に、エラー160は、制御する選択範囲があまりにも大きいため、植物が投射される画面の領域に接触せず、植物122を選択しないことが自動的に決定される。位置132bは、植物(このように132bが拡大されるために植物121−124のいずれにも生じさせない位置)に対応しない。
【0021】
図2に、システム200の側面図を例示する。システム200によってユーザはアプリケーションと相互に作用することができる。そして、それはコンピュータ201で動かされるものであってもよい。アプリケーションは、半透明スクリーン205上へプロジェクタ202によって投射される。アプリケーションは、例えば、図1A〜1Cに関して上で述べられるゲーム「植物をつかむ」105でもよい。他の実施例において、アプリケーションは、他のいかなるコンピュータプログラム(例えばプレゼンテーションアプリケーション、画像及び/又はソフトウェアを編集しているビデオ又は電子マッピングアプリケーション)でもあってもよい。
【0022】
システム200は、プロジェクタ202、スクリーン205、ライトカーテン215に電磁放射線を投射する供給源210、そして、スクリーン205に画像を映し出すセンサ220を備える。特に、センサ220は、物体がライトカーテン215に照らされるように、物体230からスクリーン205上へ反射される電磁放射線を感知する。物体230から反射される放射線は、スクリーン205上に輝点232を生じさせる。センサ220もまた、スクリーンに、例えば、周辺光源235によって生じる輝点のような他の輝点を映し出す。ここに示した実施例では、輝点237は、周辺光源235によって生じる。供給源210から発される電磁放射線を反射することに加えて、物体230も、周辺光源235から周辺光を反射する。供給源210は、スクリーン205の周りに装着するフレーム240に含まれてもよい。
【0023】
アプリケーションの画像を投射するスクリーンは、半透明、透明又は半透明である。スクリーン205は、例えば、ガラス、プレキシガラス、半透明のプラスチック又は他の透明又は半透明の材料から製造されてもよい。例えば、スクリーンは、お店のウインドウや、例えば、モールや空港のような混雑した場所の画像を投影され、インターアクションが求められる専門のスクリーンでもよい。また、スクリーンは、例えば、劇場、アーケード又はバーのような娯楽施設に配置してもよい。プロジェクタ202は、プロジェクタ202によって投射される画像から赤外線を取り除くために、フィルタ203を備えてもよい。
【0024】
供給源210は、電磁放射線のどんな放射体でもあってもよい。例えば、供給源210は、レーザー、発光ダイオード(LED)または広帯域光源でもよい。供給源210は、電磁放射線の放射と、電磁放射線の非放射とを交互に行う。このように、供給源は、点滅する配列又はパターンで光ると考えることができ、そして、ライトカーテン215は、一定の照明を出力するライトカーテンとは対照的に点滅するライトカーテンである。いくつかの実施形態において、供給源210から発せられる電磁放射線は、人間の典型的な目での認識を超えた波長を含む赤外線である。それゆえ、これらの実施形態において、ライトカーテン215は、システム200のユーザに見えない。同様に、これらの実施形態において、スクリーン205上に物体によって反射された光は、ユーザにも見えない。それゆえ、スクリーン205上へ反射される光は、投射されたアプリケーションのユーザの視界に干渉しない。他の実施態様では、供給源210は、可視バンド内の波長(例えば、400ナノメートル〜700ナノメートル)を有する電磁放射線を発する。
【0025】
供給源210が電磁放射線を発している間の検知データと供給源が点滅する速度で電磁放射線を消している間の検知データとの間を行き来するように、センサ220は、供給源210と同期する。例えば、センサ220は、毎秒30、60又は120コマでフレーム又は画像を取り込むカメラでもよい。この例では、ライトカーテン215が照らされる間に、供給源210によって集められるその他のフレームが取り込まれる画像であるように、供給源210は電磁気エネルギを発する。フィルタ223は、センサの前に配置され、及び/又は、供給源210から放射された放射線の波長を有する電磁放射線がセンサによって検出されるように、センサに統合される。
【0026】
物体230は、ユーザの指又は手、ポインタ、針又は他の同じ大きさの物でもよい。物体230がライトカーテン215によって照らされることにより、物体230はスクリーン205に電磁放射線を反射する。反射された電磁放射線は、スクリーン205を通過して、センサ220によって検出される。周辺光源235は、白熱電球(例えば、使い古しの天井治具のような)又は日光でもよい。周辺光源235からの放射線も、輝点(例えば、輝点237)として、スクリーン上に現れる。周辺光源235によって生じるスクリーン上の輝点237は、センサ220によっても検出され、センサ220によって集められるデータにも存在する。周辺光源235は、静止しているか、又は、せいぜいゆっくり移動しているだけである。それゆえ、周辺光源235は、特定の時間に渡ってセンサによって集められたデータの中に現れる輝点になる。そして、輝点237は、一般に、ある時間の範囲内で異なる時間に集められたデータの同じ部分に現れる。供給源210が集められるデータに放射線を放射すると共に、供給源がデータから周辺光源235からのエネルギの除去の放射線結果を発しない間に、時間の上のデータを減算するか、さもなければ比較する。しかしながら、供給源210が電磁放射線を発すると共にライトカーテン215によって照らされている物体の結果として、物体230から反射される電磁放射がセンサ220によって集められるデータに存在するだけであるので、データを比較することは物体230の画像の除去に結果としてならない。これ(点滅するライトカーテンの使用)は、スクリーン205上の点と区別させられる実際の物体(例えば、輝点232)の存在下で、周辺光源235(例えば、輝点237)から放射線によって生じる。
【0027】
図2に示す実施態様において、センサ220はスクリーン205の第1側部240に位置する。そして、供給源210はスクリーン205の第2側部245に位置する。このように、ライトカーテン215は、スクリーン205の第2側部245にも置かれる。センサ220及び供給源210がスクリーン205の対向側に位置する実施形態において、物体230から反射される電磁放射線は、スクリーン205を通過して、センサ220によって検出される。例えば、図9に示される実施形態のような他の実施形態において、供給源210及びセンサ220は、両方とも、スクリーン205の第1側部240に配置される。これらの実施態様において、供給源210から発される電磁放射線は、スクリーン205を通過して、物体230を照らす。物体230は、電磁放射線を反射する。そして、反射された電磁放射線は、スクリーン205を通過して、センサ220によって検出される。
【0028】
図3に、システム300の正面図を示す。システム300は、図2を用いて説明したシステム200と類似する。システム300は、スクリーン305と、スクリーン305の前でスクリーンと平行な電磁放射線のライトカーテンを投射する供給源310と、を備える。供給源310は、電磁放射線を発して、点滅する速度で電磁放射線の照射と消失との間を行き来するように構成される。図3に示される実施例において、供給源310は、スクリーン305の縁306aに沿って配置される放射体311の線形配列である。放射体311は、例えば、線レーザ及び/又は赤外線LEDでもよい。放射体311から放射される電磁気エネルギは異なってもよい。そして、互いに異なる電磁気エネルギは、スクリーン205に平行で、スクリーンの表面上の薄いライトカーテンに電磁放射線を作るために、チャンネル312を通過する。チャンネル312の詳細は、後述する。
【0029】
スクリーン305も、縁306b、306c、306dを備える。他の実施形態において、スクリーン305は、より多くであるかより少しの縁を含む。例えば、図7において示される実施形態のような他の実施形態において、スクリーン305の複数の縁は、縁に沿って配置される対応する供給源を有してもよい。ライトカーテンとして投射される電磁放射線は、物体330、332を照らす。そして、物体330、332それぞれは、影331、333を映し出す。物体330、332は、例えば、手、棒及び/又はポインタでもよい。影331は、部分的に物体332を不明瞭にする。物体330の位置が決定されるので、供給源310の位置が知られ、形状、大きさ及び/又は、影331の位置は、モデル化される。使用可能な影331をモデル化して、例えば、付加的な物体(例えば、物体332)の位置が正確に検出されることができないか、又は全く検出されることができないスクリーン305上の盲点を決定する。
【0030】
図4を参照する。図4は、スクリーンに関する物体の位置の決定、及び/又は物体を追跡するシステム400を示す。システムは、供給源システム410、検出システム430及び追跡システム440を備える。供給源システム410は、スクリーンの表面と平行に、かつ、隣接するライトカーテン(例えば、図2において説明したライトカーテン215)を生み出す。検出システム430は、ライトカーテンによって照らされる物体から反射される放射線を検出する。そして、追跡システム440は、スクリーンに関して物体の位置又は運動を決定する。
【0031】
供給源システム410は、点滅するライトカーテン又はスクリーン一方の側で物体を照らすために用いられる他の電磁照明を生成する。供給源システム410は、放射体412、電子機器及び放射体412を制御するための制御部416を備える。供給源システム410は、LEDのような異なる電磁放射線を発する放射体から薄いライトカーテンを作成するチャンネル414も含まれる。電子機器及び制御部416は、放射体412を光らせるために放射体412に連結する電子機器を備える。例えば、電子機器及び制御部416は、点滅する速度で、電磁放射線の放射と消失とを交互に行うことで放射体412を放射する。放射体412は、680ナノメートルを上回る波長を有する赤外線の電磁放射線を放射する赤外線放射体でもよい。いくつかの実施形態において、放射体412は、可視光を放射してもよい。
【0032】
供給源システム410からの電磁放射線420は、スクリーン一方側の物体を照らす。そして、電磁放射線は、スクリーン上へ物体から反射されて、検出システム430によって検出される。特に、検出システム430は、スクリーンをイメージする。検出システム430は、センサ432、フィルタ434、センサ・エレクトロニクス、制御部436及び入出力(I/O)インタフェース438を備える。いくつかの実施形態において、検出システム430はデジタル・カメラでもよい。そして、センサ432は、カメラに含まれる画素アレイでもよい。フィルタ434は、放射体412によってできる電磁放射線の波長以外の波長を有する電磁放射線を防ぐフィルタでもよい。I/Oインタフェース438は、追跡システム440及び/又は、供給源システム410に信号を送信する。供給源システム410及び検出システム430が同期することができる供給源システム410に信号に送る供給源システム410と通信することができる。例えば、検出システム430がフレームのデータを集めるカメラである実施形態で、I/Oインタフェース438は、各フレームの始めの信号を供給源システム410に送る。カメラは、1秒につきデータで30のフレームを集めることができる。電子機器及び供給源システム410の制御部416は、放射体412が電磁放射線を放射している間に、カメラによって集められた他のすべてのフレームのデータを許容する割合で、放射体412が電磁放射線の放射と電磁放射線の消失とを交互に行うように、信号及び制御を受信する。
【0033】
システム400は、追跡システム440も備える。追跡システム440は、検出システム430によって集められるスクリーンの画像からライトカーテンによって照らされる物体の位置を決定する。追跡システム440は、図1A〜1Cに関して上述のアプリケーションのように、そのアプリケーションを制御するために決定された位置を使用する。追跡システム440は、解析モジュール450、制御されるアプリケーションのインタフェース460、入出力モジュール470、プロセッサ480及びメモリ490を備える。
【0034】
解析モジュール450は、追跡システムライトカーテンによって照らされる物体の位置を決定する。解析モジュール450は、解析モジュール450にデータを検出システム430からインポートする入力ルーチン452を備える。インポートする入力ルーチン452も、解析モジュール450によって処理されることができるフォーマットに、検出システム430からのデータを変換する。解析モジュール450も、検出モジュール430によって異なる時間に集められるデータを比較する比較モジュール454を備える。例えば、放射体412が放射線を消失させると共に、放射体が検出モジュール430によって集められるデータから放射線を放射する間に、比較モジュール454は、検出モジュール430によって集められるデータを減算する。
【0035】
解析モジュール450も、物体があるときでも、正確に、又は、全く、物体の位置が検出されないスクリーン上の盲点を決定するためにライトカーテンによって照らされる物体によって映し出される影をモデル化する陰影モデラ456を備える。解析モジュール450も、スクリーンに関してライトカーテンによって照らされる物体の位置を決定する位置決定モジュール458の位置を含む。特に、ライトカーテンによって照らされる物体は、スクリーン上へ光を反射する。その結果、検出システム430によって取り込まれるスクリーンの画像は、スクリーンに関して物体の位置に対応する場所で輝点を有する。いくつかの実施形態において、物体は移動する。そして、それがライトカーテンを通して移動したとき、位置決定モジュール458は物体を調査する。いくつかの実施形態において、物体の動きは、ユーザの手のジェスチャでもよい。これらの実施形態において、位置決定モジュール458は、特定のジェスチャがなされたことを判定する。この特定のジェスチャは、アプリケーションが特定の動作を実行することを示す物体の動きを通して制御されることを示すことができる。
【0036】
追跡システム440も、決定された位置に基づいて制御されるアプリケーションの位置決定モジュール458で測定される位置を通過するインタフェース460を備える。例えば、アプリケーションはゲームでもよい。そして、ゲームは、カーソルの動きに基づいて制御される。カーソルの動きは、ライトカーテンによって照らされる物体の動作に対応することができる。追跡システム440も、入出力モジュール470を備える。入出力モジュール470は、検出システム430と入出力を行うポートを備えてもよい。入出力モジュール470は、マウス、針、キーボード、プリンタ及び/又はユーザが追跡システム440と相互に作用することができる他のいかなる入出力ディバイスも備えてもよい。入出力モジュール470は、ポート、又は、自動プロセスを可能にするインタフェース、又は、追跡システム440と相互に作用する機械を備えてもよい。
【0037】
追跡システム440も、プロセッサ480及びメモリ490を備える。追跡システム440は、1以上のプロセッサ及び1以上のメモリを備えてもよい。プロセッサ480は、コンピュータプログラム(例えば、一般であるか、特別な目的のマイクロプロセッサ、及びいかなる種類の一つ以上のデジタル・コンピュータ)の実行に適するプロセッサでもよい。通常、プロセッサは、読出し専用メモリ又はランダムアクセスメモリ又は両方から、インストラクション及びデータを受け取る。プロセッサ480は、例えば、スクリーンに関して物体の位置を決定するために、ワークフロー・ナビゲーション・システム追跡システム440の構成要素からインストラクション及びデータを受け取る。
【0038】
図5に、点滅するライトカーテンによって照らされる物体の位置を決定するための実施プロセス500を示す。プロセス500は、例えば、システム200、300及び/又は400で述べられるようなシステムに含まれる一つ以上のプロセッサによって実行されてもよい。例えば、プロセス500は、図4に関して述べられる追跡システム440に含まれるプロセッサ480によって実行されてもよい。
【0039】
物体及び周囲放射線の第1及び第2画像は、アクセスする(510)。第1及び第2画像は、スクリーンの第1側部に取り込まれる。そして、物体及び周囲放射線は、スクリーンの第2側部に配置される。第1画像は、物体が投射された放射線によって照らされた間に取り込まれる。そして、第2画像は、投射された放射線が消された間に取り込まれる。一例として一時的に図2に戻り、スクリーンの第1側部は、スクリーン205の第1側部240とすることができ、スクリーンの第2側部はスクリーン205の第2側部245とすることができる。物体は、物体230のような物体とすることができ、周囲放射線は、周辺光源235のような供給源とすることができる。投射された放射線は、ライトカーテン215のような点滅するライトカーテンとすることができる。
【0040】
図5に一旦戻って、スクリーンと関連する物体の位置は、第1及び第2画像(520)を比較することに基づいて決定される。例えば、第1及び第2画像は、第1及び第2画像を減算することによって比較される。アプリケーションは、決定された位置(530)に基づいて制御される。
【0041】
図6に、物体の位置を決定するために用いられる実施例データの図解600を示す。特に、図解600に示されるデータは、周辺光の除去を示す。図解600の実施例データは、例えば、プロセス500のような、周囲放射線がある場合には、スクリーンに関して物体の位置を決定するための工程において用いられる。ライトカーテンは、スクリーンに平行で、スクリーンの一方に沿って投射される。物体(この例では、物体は、指である)がライトカーテンによって照らされる間に、スクリーンの画像がスクリーンに関して指の位置に対応する輝点605を含むように、物体はスクリーン上にライトカーテンからの光を反射する。
【0042】
画像610、620は、スクリーンの画像である。そして、画像610、620は、例えば、図4において詳述される検出システム430によって収集される。実施形態で示すように、指がライトカーテンによって照らされるときに、指から電磁放射線の反射によって生じる輝点605を含む画像610は、時間tで収集される。指に対応する輝点を含まない画像620は、指がライトカーテンによって照らされない時間t+1で収集される。例えば、1以上の放射体が電磁放射線を放射する間に、画像610は収集される。そして、1以上の放射体が電磁放射線を消失させる間に、画像620は収集される。このように、指がスクリーンに接触するか、又はライトカーテンによって照らされた指がスクリーンの近くにある場合、スクリーン上へ指から反射された輝点605は、指が点滅するライトカーテンによって照らされる間に、取り込まれるスクリーンの画像に現れる。
【0043】
画像610、620も、周辺光源によって生じる輝点635、640を備える。例えば、輝点635、640は、スクリーンで直接輝いている周辺光源、又は、スクリーン上へ反射されている周辺光源からの放射線によるものでもよい。指から反射した光によって生じる輝点605、及び指が点滅するライトカーテンによって照らされるときの輝点605とは対照的に、周辺光源によって引き起こされる輝点635、640は、あらゆる画像に含まれる。このように、差分画像630を作成するために連続フレームを各々(例えば、画像610、620)から減算することによって、周辺光源によって生じる輝点635、640は、取り除かれる。しかし、輝点605は、指の軌跡の反映によって生じる。
【0044】
ライトカーテンがスクリーンの前で浅い領域を照らすので、指の先端は、光の幕によって照らされる。そして、指の先端は、スクリーン上へ光を反射する。フレーム610、620を減算することを越えた付加的な処理は、指のサイズ、ポーズ又は位置を決定して、及び/又は、指が点滅する光のカーテンによって照らされている実際の物体であることを確かめるために実行される。例えば、指からの反射によって生じる輝点605のサイズ及び形状は、指が実際にあるかどうか決定するために分析される。加えて、複数のユーザは、ライトカーテンによるアプリケーションと相互に作用する。
【0045】
図7Aに、システム700の正面図を示す。システム700は、図2に関して上述したシステム200、及び/又は、図3に関して上述したシステム300と、類似している。スクリーン705は、縁706a、706b、706c、706dを備える。図7に示される実施態様において、それぞれ、供給源710a、710b、710c、710dは、縁706a、706b、706c、706dに隣接して、及び/又は、縁706a、706b、706c、706dの上に配置される。そして、供給源710a、710b、710c、710dは、実質的に、スクリーン705を覆うライトカーテンを作成する。供給源710a、710b、710c、710dは、スクリーン705に平行なライトカーテンを投射し、スクリーン705の表面からオフセットする。供給源710a、710b、710c、710dは、放射体711及びチャンネル712を備える。いくつかの実施形態において、スクリーン705は、より多く、又はより少しの縁を備えてもよい。いくつかの実施形態において、スクリーン705の1以上の縁は、対応する供給源を有しない。例えば、これらの実施形態で、2つの縁は対応する供給源を有してもよく、2つの縁は対応する供給源を有しなくてもよい。
【0046】
図7B〜7Dに、LEDである実施例放射体711を示す。特に、図7Bは放射体711を示す。図7Cは放射体711の側面図を示す。そして、図7Dは放射体711の配列の正面図を示す。放射体711は、円錐形の光716のように電磁放射線を放射する。円錐形の光716の一部は、チャンネル712を通過して、ライトカーテンとして現れる。チャンネル712は、光を遮断する材料及び/又は反射しない材料であってもよい。チャンネル712を作る材料は、チャンネルの2つの側上の光を遮断する。いくつかの実施形態において、チャンネル712は、ガラス又はプレキシガラスの面を有する。そして、そのいずれかはチャンネル内で光の反射を防止するために変更される。例えば、ガラス又はプレキシガラスが乱反射、荒れた表面を有するように、プレキシガラス又はガラスは、研がれるか、又は、サンドブラストを掛けられる。チャンネル712は、空気で満たされる。いくつかの実施形態において、放射体は、比較的平行である放射線を放射するレーザ線でもよい。これらの実施形態において、放射体が発散しない放射線を放射するので、ライトカーテンは必ずしもチャンネル712を必要とすることなく作成されることができる。
【0047】
図8A及び8Bに、レーザ源810がライトカーテン815を生み出す実施例を示す。レーザ源810は、赤外線レーザ源でもよい。レーザ源810は、LEDから放射される光の多くが発散しない光を生み出す。このように、上述したチャンネル712のようなチャンネルは、実質的にスクリーン820をカバーするライトカーテンを作成するのに必要ではない。円柱状レンズ825は、レーザ源810から光の薄い面を作るために用いることができる。円柱状レンズ825は、線に沿ってレーザ源810から放射される光線を分布させる。分布された光線は、スクリーン820と平行に放射され、スクリーン820の表面に光815の薄い面を作る。そして、分布された光線は、効果的にスクリーン820をカバーする。特に、図8Bに、スクリーン820に示される円柱状レンズに関連する、レーザ源810の配置の実施例を示す。中央点830からの距離が増加するにつれて、レーザ源810から放射される光の強さは、弱くなる。このように、複数のレーザ源810は、通常、スクリーン820を、効果的に特定の強さの光815の幕でカバーするために用いられる。
【0048】
図8Bに示される実施例において、スクリーンの一部分は、複数の線レーザから作成されるライトカーテンによってカバーされない。例えば、一部分835は、ライトカーテンによってカバーされない。このように、光っているライトカーテンが一部分835の前で物体を照らさないので、スクリーン820の一部分835の前の物体は、スクリーン上へ点滅するライトカーテンからの電磁放射線を反射しない。その結果、この種の物体の位置は、決定されない。いくつかの実施形態において、スクリーン820の一部分は、故意に点滅するライトカーテンによってカバーされない。例えば、部分835は、ユーザがアイテムを選択することができない投影アプリケーションの場所に対応することができる。一部分835は、スクリーン(すなわちアプリケーションの一部でない)に示される映像の領域に対応する。
【0049】
図9に、システム900を示す。プロジェクタ902は、アプリケーションの画像をスクリーン905に投射する。アプリケーションは、ソフトウェア・アプリケーション又はハードウェア・モジュールとして実行してもよい。供給源からの点滅する電磁放射線が、スクリーン905を通過し、物体を照らす。そして、物体930が供給源910によって照らされる間に、物体930から反射した光912は、センサ920によって撮像されるスクリーン905上の輝点932をつくる。供給源910は、点滅の速度で電磁放射線の放射と消失との間を行き来するように構成される。加えて、周辺光源935は、センサ920によって撮像される輝点937をつくる。システム900は、スクリーン905に関する物体930の位置を追う。そして、物体930の位置に基づくアプリケーションを制御する。
【0050】
システム200と同様に、システム900は、スクリーン905に関する物体930の位置を追い、そして、物体930の位置に基づくアプリケーションを制御する。しかしながら、システム900で、供給源910及び物体930は、スクリーン905の対向側に位置する。特に、供給源910は、スクリーン905の第1側部940に配置される。そして、物体930は、スクリーン905の第2側部945に配置される。加えて、この実施例では、周辺光源935は、スクリーン905の第2側部945に配置される。
【0051】
図10に示すように、物体1030が並列に点滅するライトカーテン1015、1016、1017によって照らされることで、システム1000は、物体1030の一つ以上の位置を決定する。点滅するライトカーテン1015、1016、1017は、スクリーン1005の表面1006から距離d1、d2、d3にそれぞれ配置される。ここに示した例では、物体1030は、同時に複数の場所で点滅するライトカーテン1015、1016、1017と交差する。スナップショット1020は、スクリーン1005に関して物体1030の位置を示す。複数の位置は、例えば、物体1030の運動の軌跡を決定することに使用される。輝点1040、1041、1042は、スクリーン1005上へ点滅するライトカーテン1015、1016、1017から、それぞれ、光を反射している物体によって生じる。
【0052】
図11にシステム1100を示す。プロジェクタ1102は、アプリケーション1103「植物をつかむ」の画像をスクリーン1105に投射する。供給源1110は、点滅する光のカーテン1115をつくるために、電磁放射線を放射する。物体1130が点滅する光のカーテン1115の中を移動するにつれて、センサ1120は、物体1130によって反射された電磁放射線を検出する。図11に示される実施例において、物体1130は人の指である。そして、物体1130は、物体1130がライトカーテン1115の中を移動しているときに、3つの異なる時間t1、t2、t3で示される。点滅するライトカーテンからの電磁放射線は、輝点1131、1132、1133として、スクリーン1105上へ物体1130と離れて反射する。周辺光源(図示せず)によって、スクリーン1105上に輝点1134が生じる。輝点1134がスクリーン1105上に現れ、センサ1120によって撮像されるにもかかわらず、輝点1134は、上述と類似する技術の中から収集されたデータから取り除かれる。カーソル1140の対応する位置1161、1162、1163は、それぞれ3つの時間でも示される。
【0053】
人は、時間t1からt2で、物体を垂直に位置1151から位置1152に動かす。制御アプリケーションのカーソル1140は、位置1161から位置1162までの上下方向の動きに対応する。時間t2と時間t3の間に、ユーザは、位置1152から位置1153まで再び垂直に物体1130を動かす。植物1170は、位置1153でスクリーン1105に投射される。加えて、物体が上方へ時間t3を示しているように、ユーザも物体1130を有するジェスチャをする。時間t3でされるジェスチャは、時間t4で発生する選択(例えば、マウスクリックでアイテムを選択することに相当)に対応する。そして、それは時間t3の直後に発生する。このように、制御アプリケーションのカーソル1140は、位置1162から位置1163までの上下方向の動きに対応する。加えて、ユーザは、時間t3でされるジェスチャの中で植物1170を選択する。したがって、植物1170は、ライトカーテンの中でジェスチャをすることによって、ユーザがそれを選択したものとして、時間t4で拡大される。
【0054】
実施形態は、例えば、工程、装置又はその工程を実施する装置を備えてもよい。例えば、実施形態は、一つ以上の工程を実行するように構成される一つ以上の装置を備えてもよい。装置は、例えば、分離した又は統合したハードウェア、ファームウェア及びソフトウェアを備えてもよい。特に、一つ以上の記載されている工程又はバリエーションを実行するためにプログラムされる場合、装置は、例えば、コンピュータ又は他のコンピュータ又は処理装置を備えてもよい。この種のコンピュータ又は処理デバイスは、例えば、プロセッサ、集積回路、プログラム可能な論理装置、パーソナル・コンピュータ、パーソナル携帯情報機器、ゲーム装置、携帯電話、計算機及びソフトウェア・アプリケーションを有する装置を備えてもよい。コンピュータは、図2において上述したコンピュータ201でもよい。
【0055】
実施形態も、一つ以上の工程を実施するための指令を有する一つ以上の計算機可読のメディアを備える装置で例示される。計算機可読のメディアは、例えば、記憶装置、メモリ及び指令をコード化又は送信するフォーマットされた電磁波を備える。計算機可読のメディアも、例えば、様々な不揮発性であるか不安定なメモリ構造(例えば、ハードディスク、フラッシュメモリ、ランダムアクセスメモリ、読出し専用メモリ及びコンパクトディスク)を備える。指令は、例えば、ハードウェア、ファームウェア、ソフトウェア及び電磁波でもよい。
【0056】
このように、コンピュータは、記載されている実施形態を実行するようにプログラムされたコンピュータの実施形態を表すことができる。そして、記憶装置は、記載されている実施形態を実施するための指示を保存している計算機可読の媒体を表すことができる。
【0057】
多くの実施形態が記載されていた。にもかかわらず、さまざまな修正がなされることができることが理解されうる。したがって、他の実施形態は、以下の請求項の範囲内である。
【符号の説明】
【0058】
100 システム
102、103、104 ユーザ
105 アプリケーション
110 スクリーン
115、120 供給源

【特許請求の範囲】
【請求項1】
コンピュータによって実行される方法において、
物体の第1及び第2画像にアクセスするステップを有していて、該第1画像は、物体が、投射される電磁放射線によって照らされている間に取り込まれ、該第2画像は、投射される電磁放射線が消されている間に取り込まれ、
更に、該第1と第2画像の比較に基づいてスクリーンに関する物体の位置を決定するステップと、
決定された位置に基づいてアプリケーションを制御するステップと、
スクリーンに映し出される影をモデル化するステップとを有していて、該影は、物体が、投射される電磁放射線によって照らされている間に、物体によって映し出される
ことを特徴とする方法。
【請求項2】
前記スクリーンの第1側部に沿いかつ平行な第1ライトカーテンとして電磁放射線を投射するステップを更に有していることを特徴とする請求項1に記載の方法。
【請求項3】
前記スクリーンの第1側部に隣接しかつ平行な第2ライトカーテンとして電磁放射線を投射するステップを更に有していて、前記第1ライトカーテンと第2ライトカーテンは、互いに平行であり、かつスクリーンの第1側部に対する第1地点と第2地点に配置されることを特徴とする請求項2に記載の方法。
【請求項4】
前記物体は、人の身体の一部を含むことを特徴とする請求項1に記載の方法。
【請求項5】
第2位置を決定するステップを更に有していて、前記アプリケーションは、前記決定された位置及び該第2位置に基づいて制御されることを特徴とする請求項1に記載の方法。
【請求項6】
前記第1と第2画像の比較に基づいてスクリーンに関する物体の位置を決定するステップは、第1と第2画像を引き算して差分画像を作成するステップを含むことを特徴とする請求項1に記載の方法。
【請求項7】
前記スクリーンに関する物体の位置を決定するステップは、差分画像内の物体の位置を決定するステップを含むことを特徴とする請求項6に記載の方法。
【請求項8】
前記決定された位置に基づいてアプリケーションを制御するステップは、カーソルを制御するステップを含むことを特徴とする請求項1に記載の方法。
【請求項9】
前記投射される電磁放射線は、赤外線を含むことを特徴とする請求項1に記載の方法。
【請求項10】
可視画像がスクリーン上に投射され、物体が動いている場合に、
前記決定された位置に基づいてアプリケーションを制御するステップは、カーソルの動きが物体の動きに対応するように該可視画像上でカーソルを制御するステップを含むことを特徴とする請求項1に記載の方法。
【請求項11】
前記物体の動きは、人によってなされるジェスチャを含むことを特徴とする請求項10に記載の方法。
【請求項12】
前記第1及び第2画像にアクセスするステップは、スクリーンの同じ側に配置されている物体及び第2物体の第1及び第2画像にアクセスするステップを含み、
スクリーンに関する第2物体の位置を決定するステップを更に有していることを特徴とする請求項1に記載の方法。
【請求項13】
前記モデルに基づいて影が第2物体を不明瞭にしていると判定するステップを更に有していて、
前記スクリーンに関する第2物体の位置を決定するステップは、影を計算するステップを含むことを特徴とする請求項1に記載の方法。
【請求項14】
半透明スクリーンと、
点滅する速度で電磁放射線の放射と消滅の間を行き来するように構成された電磁放射線源と、
点滅する速度でスクリーンの近くに配置された物体から反射される電磁放射線を検出するように構成されたセンサと、
検出された電磁放射線に基づいて物体の位置を決定して、
決定された物体の位置に基づいてアプリケーションを制御して、
スクリーンに映し出される影をモデル化するように構成されたプロセッサとを備えていて、該影は、物体が電磁放射線によって照らされている間に、物体によって映し出される
ことを特徴とするシステム。
【請求項15】
前記スクリーンは、縁を有していて、
前記電磁放射線源は、電磁放射線がスクリーンの第1側部に平行に投射されるように、スクリーンの1以上の縁に沿って配置された放射体の線形配列を有していることを特徴とする請求項14に記載のシステム。
【請求項16】
前記スクリーンは、平行四辺形であることを特徴とする請求項15に記載のシステム。
【請求項17】
前記電磁放射線源は、放射体の一連の線形配列を有していて、該線形配列のそれぞれは、スクリーンの第1側部のスクリーンの表面から離れた位置に配置されていることを特徴とする請求項14に記載のシステム。
【請求項18】
電磁エネルギの供給源は、発散する電磁エネルギを放射して、
該供給源に隣接していて、放射される電磁エネルギを平行にするように構成されたチャンネルを更に備えていることを特徴とする請求項14に記載のシステム。
【請求項19】
前記チャンネルは、入口から出口までブロックを通って延びている通路を有するブロックの材料を有していて、発散する電磁エネルギが入口に当たり、発散する電磁放射エネルギの一部が平行な電磁放射エネルギとして出口から出てくることを特徴とする請求項18に記載のシステム。
【請求項20】
前記チャンネルは、レンズを含むことを特徴とする請求項18に記載のシステム。
【請求項21】
前記電磁放射線源は、スクリーンの第1側部に配置された放射体を有していて、前記電磁放射線は、スクリーンを通過して、スクリーンの第2側部に配置された物体と相互に作用することを特徴とする請求項14に記載のシステム。
【請求項22】
前記電磁放射線源は、発光ダイオードを含むことを特徴とする請求項14に記載のシステム。
【請求項23】
前記発光ダイオードは、赤外線を発することを特徴とする請求項22に記載のシステム。
【請求項24】
前記センサは、画素アレイを有していることを特徴とする請求項14に記載のシステム。
【請求項25】
前記プロセッサは、物体によって映し出される影をモデル化して、モデル化された影に基づいて第2位置を決定するように構成されていることを特徴とする請求項14に記載のシステム。
【請求項26】
機械読み取り可能な媒体内で具体化されるコンピュータプログラムにおいて、機械によって読み取られるときに、
データ処理装置が、スクリーンの第1側部で取り込まれる、スクリーンの第2側部に配置された物体及び周囲電磁放射体の第1及び第2画像にアクセスして、該第1画像は、物体が、投射される電磁放射線によって照らされている間に取り込まれ、該第2画像は、投射される電磁放射線が消されている間に取り込まれ、
更に、データ処理装置が、該第1と第2画像の比較に基づいてスクリーンに関する物体の位置を決定して、
決定された位置に基づいてアプリケーションを制御して、
スクリーンに映し出される影をモデル化して、該影は、物体が、投射される電磁放射線によって照らされている間に、物体によって映し出される
ように動作させる命令を含むコンピュータプログラム。

【図4】
image rotate

【図5】
image rotate

【図8B】
image rotate

【図1A】
image rotate

【図1B】
image rotate

【図1C】
image rotate

【図2】
image rotate

【図3】
image rotate

【図6】
image rotate

【図7A】
image rotate

【図7B】
image rotate

【図7C】
image rotate

【図7D】
image rotate

【図8A】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2012−113736(P2012−113736A)
【公開日】平成24年6月14日(2012.6.14)
【国際特許分類】
【出願番号】特願2012−34847(P2012−34847)
【出願日】平成24年2月21日(2012.2.21)
【分割の表示】特願2009−550156(P2009−550156)の分割
【原出願日】平成20年2月15日(2008.2.15)
【出願人】(507364838)クアルコム,インコーポレイテッド (446)
【Fターム(参考)】