赤外線画像作成システムにおける不要信号の影響を低減させるための方法およびシステム
【課題】赤外線光源を用いる画像システムにおいて、不要赤外線の影響を低減させる。
【解決手段】必要赤外線光源が活性化され、画像データの第1組が第1の画像キャプチャ区間中に獲得される。その後、必要赤外線光源が非活性化され、画像データの第2組が第2の画像キャプチャ区間中に獲得される。その後、画像データの第2組の第2値に対応する画像データの第1組の第1値から減じることで画像データの合成組が生成される。これにより、IR光路から信号の発生しない減算された画像からIR光源から発生する信号と、他のIR信号との両方を含み、IR光源からだけ生じる信号を含むデータを除く全赤外線信号のデータが収集される画像組を画像データの合成組が含む。
【解決手段】必要赤外線光源が活性化され、画像データの第1組が第1の画像キャプチャ区間中に獲得される。その後、必要赤外線光源が非活性化され、画像データの第2組が第2の画像キャプチャ区間中に獲得される。その後、画像データの第2組の第2値に対応する画像データの第1組の第1値から減じることで画像データの合成組が生成される。これにより、IR光路から信号の発生しない減算された画像からIR光源から発生する信号と、他のIR信号との両方を含み、IR光源からだけ生じる信号を含むデータを除く全赤外線信号のデータが収集される画像組を画像データの合成組が含む。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、主に能動赤外線(IR)画像作成、特に能動IR光源からの画像データの質を改善するため、関心領域における意図しない不要IR光源から受信されるIR信号を取り除くことに関する。
【背景技術】
【0002】
不要信号の有無は、ほとんどあらゆる電磁信号の処理における関心事である。ラジオといった比較的単純なシステムにおいても、当該信号が受信されていない際に聞こえる不要な背景空電雑音を避けるようある大きさ未満の信号を減衰させるため、スケルチ制御が行われることが多い。何が不要な背景空電雑音になるかはユーザが判断するものであり、ユーザは、その判断に基づいて受信信号の可聴性を制限するようスケルチ制御を設定できる。
【0003】
コンピュータが自動的に入力信号に応答する自動信号処理システムには、さらに難しい問題がある。上述のスケルチ制御の例と異なり、ユーザが経験と判断に基づいてスケルチレベルを調節できる場合、必要な信号タイプと不要な信号タイプとを区別するため自動的に制限値を設定するようコンピュータシステムのプログラムを行うことは、さらに困難である。例えば、コンピュータは、キーボード、ポインティング装置やそれに類する入力装置からの明確な入力に対しては良好に応答するが、音声命令に対しては十分に応答しない。音声認識プログラムを用いた人は、ユーザが用いたある言葉に対してコンピュータが認識に失敗した場合の難しさを経験したことがあるが、コンピュータが感知する音声入力に影響を与える背景雑音あるいはその他の音声がある場合、こういったケースはさらに多くなる。
【0004】
コンピュータビジョンには、概して音声認識よりもはるかに複雑な問題がある。コンピュータが処理すべき視覚信号が多すぎる、あるいは視覚信号の範囲が広すぎる場合、入力がコンピュータで誤って読み込まれる恐れが大きくなる。一方、コンピュータが視覚信号の抑制を行いすぎると、コンピュータが視覚入力を誤って読み込む、あるいは意図された視覚入力を全て無視してしまう可能性がある。
【0005】
現行のコンピュータビジョンは、コンピュータやそのインタフェースをさらにユーザが使いやすくする必要性が高まるにつれて徐々に重要な領域になりつつある。例えば、『メタデスク:有形ユーザインタフェースのためのモデルおよびプロトタイプ』UIST10/1997:14−17でブリグ・ウルマーおよびヒロシ・イシイが報告しているとおり、MITメディア研究室が『キーボードのない』ヒューマンマシンインタフェースの新たな形態を開発した。メタデスクには、一般的に、計算システムのテキストおよび図形出力を表示するだけでなく、図形面に設置された対象を『見て』それに応じることでユーザの入力を受け入れる平面図形面を含む。メタデスクの図形面の合成対象応答性および表示性は、メタデスク面の下部に配設されたIRランプ、IRカメラ、ビデオカメラ、ビデオプロジェクタ、鏡を用いて容易になる。図形表示面上部からユーザが見ることのできる画像をもたらすため、鏡は図形表示面の下部にプロジェクタで映し出された図形画像を反射する。IRカメラは、図形面に設置された対象下面からのIR反射を検出することができる。図形表示面に配設される対象から特別に形成された対象あるいはIR反射光を『見て』それを検出することにより、メタデスクは表示面上の対象の同時設置や移動に応答し、MITのキャンパス地図を表示させて移動させるといった所定機能を実行することができる。
【0006】
その他、同様のキーボードのないインタフェースが開発されている。例えば、株式会社ソニー・コンピュータ・サイエンス研究所のジュン・レキモトとその関係者による論文では、表面に画像を表示する『ホロウォール』や『ホロテーブル』および表面に隣接して設置された対象を検出するためのIR光線について説明している。
【0007】
メタデスクおよびホロウォール/ホロテーブルは両方とも対象および動きを見るためにIR光線を用いるが、それには十分な理由がある。システムが可視光線に対して反応すれば、システムで投影され対話面で反射された可視光線によりコンピュータシステムが誤った読み込みを行う恐れがある。さらに、反射が抑えられたとしても、システムが暗い部屋におかれない限り、対話面を通過する部屋の光やその他の光により、コンピュータビジョンシステムにかなりの悪影響をもたらす恐れがある。
【0008】
対話表示面に設置された対象を検出するために反射IR光線を用いることにより、いたるところにある可視光線を用いて対象を認識しようとする試みで発生する問題の多くを避けることができる。しかし、大部分の光源で生成される光線のIR成分について大まかにわかるようになってきたが、裸眼で見ることができないことから、コンピュータビジョンシステムに悪影響をもたらす周囲IR光線信号も非常に一般的なものである。白色光、太陽光、さらにその他のさまざまな一般的光源もIR光線を発生させる。こういった意図されないIR信号は、意図されない可視光線信号とまったく同様に、IR感知式コンピュータビジョンシステムに望ましくない入力をもたらしうる。帯域フィルタを用いれば可視光線や他の非IR光線をおさえることができるが、背景IR光線から検出される対象から反射されるIR光線を分離する際には役に立たない。
いくつかの文献に上述のような従来の技術に関連した技術内容が開示されている(例えば、特許文献1参照)。
【0009】
【特許文献1】米国特許第4,992,650号明細書
【発明の開示】
【発明が解決しようとする課題】
【0010】
そのため、IR光線ビジョンシステムが外部のIR光線信号に反応することを防ぐため、意図しない不要なIR光線のフィルタリング、マスクを行う、あるいはその影響を低減させることが必要である。IRコンピュータビジョンシステムを全ての背景IR光源からの遮蔽を行う環境下で作動させることなく、対象検出時に不要背景IR光線の影響を避ける必要がある。
【0011】
本発明は、このような状況に鑑みてなされたもので、その目的とするところは、能動IR光源からの画像データの質を改善する、赤外線画像作成システムにおける不要信号の影響を低減させるための方法およびシステムを提供することにある。
【課題を解決するための手段】
【0012】
本発明のさらに重要な機能の1つは、IR画像システムにおいて、太陽光、白色光、その他のIR光源などの周囲光源を含む不要IR光源の影響を低減させることである。画像データは、IR画像システムで制御されるIR光源が活性化されている場合と、それが活性化されていない場合の両方で獲得される。制御されたIR光源が非活性化されている際に収集される画像データは、不要IR光源による画像データである。これにより、IR光源が活性化されている際に収集された画像データ組からIR光源が非活性化されている際に収集された画像データ組を画素に関して減算することにより、得られた合成画像データ組が、制御されたIR光源で生成された照射による画像データだけを含む。
【0013】
本発明の1つの観点は、このように、IR光源を用いる画像システムにおける不要IR光源の影響を低減させるための方法に関する。IR光源は第1の画像キャプチャ区間中で活性化され、画像データの第1組が第1の画像キャプチャ区間中に獲得される。その後、IR光源が非活性化され、画像データの第2組が第2の画像キャプチャ区間中に獲得される。その後、画像データの第2組の第2値に対応する画像データの第1組の第1値から減じることで画像データの合成組が生成される。
【0014】
本発明の1つの実施形態において、画像キャプチャ装置で生成される画像キャプチャ信号によりIR光源を第1の画像キャプチャ区間中で活性化し、第2の画像キャプチャ区間中で非活性化するようIR光源の活性化が画像キャプチャ装置で制御される。
【0015】
IR光源は透光面の第1面に配設される。その結果、IR光源が、透光面の反対側に隣接配設される対象物にIR光線を向ける。IR光源のような画像キャプチャ装置は透光面の第1面に配設され、対象物により反射されたIR光源で発せられたIR光線を獲得するために用いられる。
【0016】
画像処理システムは、対象物の特性を認識するため、画像データの合成組において対象物で反射される光線を用いる。この方法において、画像データの第1組の第1値は、IR光源が活性化されている際に第1の画像キャプチャ区間で透光面の第1面にわたる複数点のそれぞれに対して獲得されるIR光線の強度を示す。この画像データ組の第2値は、IR光源が非活性化されている際に第2の画像キャプチャ区間で透光面の第1面にわたる複数点のそれぞれに対して獲得されるIR光線の強度を示す。
【0017】
本発明の1つの実施形態において、合成画像データは式:
D(x,y)=ION(x,y)−IOFF(x,y)
で決められ、
ここで:
・x,yは、透光面の第1面のある点の座標位置を示し;
・ION(x,y)は、点x,yにおける第1の画像キャプチャ区間中で検出されるIR光線の強度を示し;
・IOFF(x,y)は、点x,yにおける第2の画像キャプチャ区間中で検出されるIR光線の強度を示し;
・D(x,y)は、第2の画像キャプチャ区間中において点x,yで獲得されるIR光線の強度が、第1の画像キャプチャ区間中において点x,yで獲得されるIR光線の強度から減算される際の点x,yにおけるIR光線の正味強度を示す。
【0018】
生成される画像データの合成組は画像処理システムに送られる。ここで、対象物で反射されるIR光線は、対象物の特性を認識するために用いられる。さらに、好ましくは、プロジェクタが透光面の第1面に設置され、このプロジェクタを透光面の反対側に画像を示すために用いることが可能である。透光面の反対側にある対象物は、このように、その上で示される画像と相互作用が可能である。
本発明の前述の観点および付随する多数の利点については、添付される図面と連係させた、以下の詳細な説明を参照することでさらによく理解されることがすぐに認められるであろう。
【図面の簡単な説明】
【0019】
【図1】本発明の実施で用いられる対話表示面に対する画像処理に適した、一般に従来の計算装置あるいはパソコン(PC)の機能ブロック図である。
【図2】内部構成要素を示すテーブル型対話表示面の断面図である。
【図3】外部PCに結合されるテーブル型対話表示面の実施形態の等角図である。
【図4A】制御されたIR光源からのIR光線および/または周囲IR光線で照射される表示面に隣接する手を用いた場合の表示面部分の拡大断面図である。
【図4B】手からの反射IR光線により表示面から獲得された画像の図である。
【図4C】制御されたIR光源からのIR光線および/または周囲IR光線で照射される表示面に隣接する手を用いた場合の表示面部分の拡大断面図である。
【図4D】手からの反射IR光線により表示面から獲得された画像の図である。
【図4E】制御されたIR光源からのIR光線および/または周囲IR光線で照射される表示面に隣接する手を用いた場合の表示面部分の拡大断面図である。
【図4F】手からの反射IR光線により表示面から獲得された画像の図である。
【図5】本発明の1つの実施形態による不要IR光源の影響を低減させるためのシステムのブロック図である。
【図6】本発明の1つの実施形態による不要IR照射の影響を低減させるための論理ステップを示すフロー図である。
【発明を実施するための形態】
【0020】
以下、図面を参照して本発明を適用できる実施形態を詳細に説明する。
【0021】
本発明を実施するための例示的なコンピューティングシステム
図1を参照すると、本発明のさまざまな部分を実行する際に適した代表的システムが示されている。このシステムは、プロセッサ21、システムメモリ22、システムバス23とともに従来型PC(personal computer)20形態の汎用計算装置を含む。システムバスは、システムメモリを含むさまざまなシステム構成要素をプロセッサ21に結合し、メモリバスあるいはメモリ制御装置、周辺バス、さまざまなバス構成のいずれかを用いるローカルバスを含む複数タイプのバス構造のいずれかである。システムメモリには読出専用メモリ(ROM)24やランダムアクセスメモリ(RAM)25がある。起動中といったPC20内の要素間で情報を転送する際に助けとなる基本ルーチンを含む基本入出力システム26(BIOS)がROM24に保存される。パソコン20にはさらに、(図示されていない)ハードディスクからの読み込みやそこへの書き込みを行うためのハードディスクドライブ27、リムーバブル磁気ディスク29からの読み込み、あるいはそこへの書き込みを行うための磁気ディスクドライブ28、コンパクトディスク読出専用メモリ(CD−ROM)あるいは他の光媒体といったリムーバブル光ディスク31からの読み込み、あるいはそこへの書き込みを行うための光ディスクドライブ30が含まれる。ハードディスクドライブ27、磁気ディスクドライブ28、光ディスクドライブ30は、ハードディスクドライブインタフェース32、磁気ディスクドライブインタフェース33、光ディスクドライブインタフェース34によりそれぞれシステムバス23に結合される。ドライブと、関連するコンピュータ読み込み可能媒体により、PC20に対するコンピュータ読み込み可能マシン命令、データ構造、プログラムモジュール、他のデータの非揮発性保存が行われる。ここで説明された典型的環境ではハードディスク、リムーバブル磁気ディスク29、リムーバブル光ディスク31を用いているものの、磁気カセット、フラッシュメモリカード、デジタルビデオディスク(DVD)、ベルヌーイカートリッジ、RAM、ROM等のコンピュータでアクセス可能なデータやマシン命令を保存することのできる他のタイプのコンピュータ読み込み可能媒体を、典型的作動環境でも用いることができることを当業者であれば認めるであろう。
【0022】
オペレーティングシステム35、1つ以上のアプリケーションプログラム36、他のプログラムモジュール37、プログラムデータ38を含む多数のプログラムモジュールが、ハードディスク、磁気ディスク29、光ディスク31、ROM24あるいはRAM25で保存される。ユーザは、PC20に命令や情報を入力し、キーボード40やポインティング装置42といった入力装置を通して制御入力を行う。ポインティング装置42にはマウス、スタイラス、ワイヤレスリモコン、その他のポインタがあるが、ユーザが入力および制御に対して対話表示を用いることができるため、本発明に関しては、そのような従来型ポンティング装置をなくすことができる。これ以降、『マウス』という用語は、スクリーン上のカーソル位置を制御する上で有用な、実質的にあらゆるポンティング装置を含むと意図される。(図示されていない)他の入力装置には、マイク、ジョイスティック、触覚ジョイスティック、ヨーク、フットペダル、ゲームパッド、衛星ディスク、スキャナ等が含まれる。これらの、そして、さらに他の入出力(I/O)装置が、システムバス23に結合されたI/Oインタフェース46を通してプロセッサ21に結合されることが多い。I/Oインタフェースという用語は、特にシリアルポート、パラレルポート、ゲームポート、キーボードポート、および/またはユニバーサルシリアルバス(USB)に対して用いられる各インタフェースを含むよう意図される。システムバス23はまた、カメラインタフェース59に接続されており、このカメラインタフェースは、以下に説明するとおり内部に含まれるデジタルビデオカメラからの信号を受信するため対話ディスプレイ60に結合されている。代わりにデジタルビデオカメラは、USBバージョン2.0ポートといった適当なシリアルI/Oポートに結合される。オプションとして、モニタ47はビデオアダプタ48といった適当なインタフェース経由でシステムバス23に接続可能である;しかし、本発明の対話ディスプレイテーブルにより、さらに詳細な表示を行い、ユーザに対して情報入力やソフトウェアアプリケーションの制御のための対話を行わせることができるため、ビデオアダプタと結合されることが好ましい。PCは、スピーカ(音声カードあるいは他の音響インタフェース図示されていない)やプリンタといった(図示されていない)他の周辺出力装置に結合されることが多いということが認められるであろう。
【0023】
PC20は、リモートコンピュータ49といった1つ以上のリモートコンピュータへの論理結合を用いるネットワーク環境で作動するものの、本発明は単体のマシン上でも実行できる。リモートコンピュータ49は、他のPC、(典型的には、PC20と非常に似た形で一般的に構成される)サーバ、ルータ、ネットワークPC、ピアデバイス、衛星あるいは他の共通ネットワークノードであり、典型的には、PC20に関して上述の要素の多く、あるいはその全てを含むものであるが、図1では外部メモリ記憶装置50だけが示されている。図1に示される論理結合にはローカルエリアネットワーク(LAN)51やワイドエリアネットワーク(WAN)52が含まれる。このようなネットワーク環境は、事務所、全社的コンピュータネットワーク、イントラネット、インターネットでは普通のものである。
【0024】
LANネットワーク環境で用いられる場合、PC20はネットワークインタフェースあるいはアダプタ53経由でLAN51に結合される。WANネットワーク環境で用いられる場合、PC20は、典型的には、モデム54、あるいはケーブルモデム、デジタル加入者回線(DSL)インタフェースといった他の手段、インターネットのような、WAN52上での通信を確立するための統合サービスデジタルネットワーク(ISDN)インタフェースを含む。内部あるいは外部にあるインターネットモデム54は、システムバス23に接続される、あるいは、I/O装置インタフェース46、すなわちシリアルポートを通してバスに結合される。ネットワーク環境において、PC20で使用されるプログラムモジュール、あるいはその一部がリモートメモリストレージ装置内に保存される。ここで示されたネットワーク接続は代表的なものであり、無線通信広帯域ネットワークリンクといったコンピュータ間で通信リンクを確立するための他の手段も使われるということが認められよう。
【0025】
例示的な対話面
図2において、代表的な対話ディスプレイテーブル60が示されているが、これはフレーム62内にPC20を含んでおり、コンピュータ用の光入力とビデオディスプレイ装置との両方に対して機能する。この対話ディスプレイテーブルの断面図では、テキストおよび図形画像を表示するために用いられる光線が、一般的に点線で示されており、対話ディスプレイテーブルの表示装置64a上、あるいはそのすぐ上に置かれた対象を検出するために用いられる赤外(IR)光線が一点鎖線を用いて示されている。表示面64aは対話ディスプレイテーブルの上面64内に設定される。テーブル面の周囲は、表示面64aに表示されている図形画像あるいは仮想環境との相互作用のために用いられる対象を含む、ユーザの腕や他の対象を支持するために有用である。
【0026】
IR光源66は、好ましくは複数のIR発光ダイオード(LED)を含み、フレーム62の内側に設けられる。IR光源66で生成されるIR光線は、点線78a,78b,78cで示されるとおり、表示面64aの下部に向けて上方に向けられている。IR光源66からのIR光線は、光拡散性の、ベラム(上質皮紙)あるいは他の適当な半透明材料を備えるテーブルの半透明層64bを通過後に表示面の上あるいはその近傍にある任意の対象から反射される。1つのIR光源66だけが示されているものの、フレーム62の内側付近の離れた場所に複数のIR光源が設けられ、表示面64aの均等照射を行うことが認められるであろう。IR光源で生成される赤外線は:
・点線78aで示されるとおり、対象を照射することなくテーブル面を通して抜け出る;
・点線78bで示されるとおり、テーブル面の対象を照射する;
・あるいは、点線78cで示されているとおり、テーブル面上の少し離れたところにあってそれに接触しない対象を照射する。
【0027】
表示面64a上の対象は、表示面上にある『接触』対象76aと、表示面近くにあってそれには実際に接触しない『ホバー』対象76bとを含む。表示面を通過するIR光線を拡散させるための表示面下部の半透明層64bを用いた結果、対象が表示面64aの最上部に近づくにつれ、対象で反射されるIR光線量が増加し、対象が実際に表示面と接触するとIR光線量が最大レベルに達する。
【0028】
デジタルビデオカメラ68は、表示面64a上に配設される接触対象あるいはホバー対象から反射されるIR光線を受信する上で適した位置の表示面64下部のフレーム62に設けられる。デジタルビデオカメラ68は、点線84aに沿って表示面64aを通過するIR光線だけを通して周辺可視光線をブロックするIR帯域フィルタ86aを備える。IR光源から直接発せられるIR光線がデジタルビデオカメラに入ることを防ぐため、IR光源66とデジタルビデオカメラとの間にバッフル79が配設される。これは、デジタルビデオカメラが、表示面64aのすぐ上、あるいはそれに接触する対象からの反射IR光線にだけ反応し、表示面に、あるいはその上にある対象からの反射IR光線の画像に応じた出力信号を生成する必要があるためである。デジタルビデオカメラ68が、対話ディスプレイ内部の上から、あるいはその中へ表示面64aを通して通過する周辺光線に含まれる任意のIR光線(例えば、点線84aで示される経路を同様に通る周辺IR光線)にも反応することは明らかである。
【0029】
テーブル面上あるいはその上部から反射されるIR光線は:
・一点鎖線80aおよび80bで示されるとおり、半透明層64bを通って、IR帯域フィルタ86aを通って、デジタルビデオカメラ68のレンズに反射して戻され;または、
・一点鎖線80cで示されるとおり、デジタルビデオカメラ68のレンズに入ることなく対話ディスプレイ内の他の内面で反射あるいは吸収される。
【0030】
半透明層64bは入射IR光線と反射IR光線との両方を拡散させる。これにより、上で説明したとおり、表示面64aに近い方の『ホバー』対象は、表示面からもっと離れた同じ反射率の対象よりもデジタルビデオカメラ68にIR光線を多く反射する。デジタルビデオカメラ68は、画像部内の『接触』および『ホバー』対象からのIR光線を検出し、各対象の場所、さらにオプションとして、対象の大きさ、向き、形状を判定する処理のためPC20に入力される反射IR光線の画像に対応するデジタル信号を生成する。(ユーザの前腕といった)対象の一部はテーブルの上部にあり、(ユーザの指といった)他の部分は表示面に接触していることに注意するべきである。さらに、対象は、対象、あるいは対象が一部を占める関連対象のクラスに特定の底面にIR光線反射様式、あるいはコード化識別子(例えば、バーコード)を含む。したがって、本発明により、デジタルビデオカメラ68からの画像信号は、そのような特定対象を検出するためだけでなく、反射様式から反射されるIR光線によりその向きを判定するためにも用いることができる。この機能を実行するために実施される論理ステップを以下に説明する。
【0031】
PC20は、図2に示すとおり対話ディスプレイテーブル60に統合されてもよく、その他、図3の実施形態に示すとおり、対話ディスプレイテーブルの外部においてもよい。図3において、対話ディスプレイテーブル60はデータケーブル63経由で外部PC20(上述のとおり、任意のモニタ47を含む)に接続される。さらに同図で示すとおり、直交するX軸およびY軸の組は、『0』で示される原点と同様に、表示面64aと関連付けられている。特に示されていないが、各直交軸に沿った複数の座標位置により表示面64aの任意の位置を示すことができることが認められる。
【0032】
対話ディスプレイテーブルが(図3に示すとおり)外部PC20、あるいは(図示されていない)セットトップボックス、ビデオゲーム、ラップトップコンピュータ、メディアコンピュータといった他のタイプの外部計算装置に接続されている場合、対話テーブルは入出力装置を含む。対話ディスプレイテーブル用電源は入力線61を通して供給されるが、この入力線は(図示されていない)通常の交流(AC)線電源に結合される。データケーブル63は対話ディスプレイテーブル60’に接続するものであり、PC20上のUSB2.0ポート、米国電気電子学会(IEEE)1394(すなわちファイヤーワイヤー)ポート、あるいはイーサネット(登録商標)ポートに結合できる。無線接続の速度が向上するにつれ、そのような高速無線接続を通して、あるいは他の適切な有線または無線データ通信リンクを通してPC20のような計算装置に対話ディスプレイテーブルを接続させることも考えられている。対話ディスプレイの一部として内部に含まれるにしても、外部に置かれるにしても、PC20は、デジタルビデオカメラ68からのデジタル画像の処理のためのアルゴリズムを実行し、対話ディスプレイテーブル60のさらに直感的なユーザインタフェース機能を有利に用いるよう設計されたソフトウェアアプリケーションを実行するとともに、そのような機能を利用するよう特に設計されてはいない、他のソフトウェアアプリケーションを実行する。さらに他の方法として、対話ディスプレイが、外部計算装置に結合できるとともに、画像処理や外部PCで実行されない他の作業を行うための内部計算装置を含む。
【0033】
対話ディスプレイテーブルの重要で強力な特性(すなわち上で説明した実施形態の特性)は、ゲームあるいは他のソフトウェアアプリケーションに対する図形画像あるいは仮想環境を表示し、表示面64aで見ることのできる図形画像、あるいは仮想環境と、対象76aといった表示面上にある、あるいは対象76bといったそのすぐ上の空間にある対象との間の対話を可能にするものである。これは、そのような対象や、この豊富な相互作用を大いに簡略化する、ユーザの操作により動くユーザの指あるいは他の対象を視覚的に検出するための対話ディスプレイテーブルの機能である。
【0034】
再び図2を参照すると、対話ディスプレイテーブル60は、図形画像、仮想環境、あるいはテキスト情報を表示面64aに表示するために用いられるビデオプロジェクタ70を含む。ビデオプロジェクタは、好ましくは、液晶ディスプレイ(LCD)あるいはデジタル光プロセッサ(DLP)タイプ、あるいは少なくとも640×480ピクセルの解像度をもつシリコン上液晶(LCoS)ディスプレイタイプでできている。IRカットフィルタ86bは、ビデオプロジェクタにより発せられるIR光線が、表示面64a上の、あるいはその上部にある対象からの反射IR光線とIR光線が干渉する対話ディスプレイテーブルの内部に入り込むことを防ぐため、ビデオプロジェクタ70のプロジェクタレンズの前に設けられる。第1の鏡アセンブリ72aは、フレーム62の透明開口90aを通して点線82aに沿ってプロジェクタレンズからくる投射光を、この投射光が第2の鏡アセンブリ72bに入射するように向ける。第2の鏡アセンブリ72bは投射光を半透明層64bに向けて反射させるが、この層はプロジェクタレンズの焦点にあり、そのため投射画像を、表示面64aの焦点で見られる。
【0035】
アラインメント装置74aおよび74bが設けられ、この装置は、表示面に投射される画像が表示面に対して位置合わせされるよう第1および第2の鏡アセンブリの角度を調節するためのねじ棒および回転可能な調整ナット74cを含む。投射画像を必要な方向に向けることに加えて、これら2つの鏡アセンブリを利用することにより、プロジェクタ70と半透明層64bとの間の経路が長くなり、さらに重要なこととして、対話ディスプレイテーブルの必要な大きさと形状を実現する助けとなるため、対話ディスプレイテーブルが大きくなりすぎず、ユーザが快適にその隣に座ることが可能になるような大きさと形状になる。
【0036】
上述の、さらに以下の解説は、対話ディスプレイテーブル60および60’の形状の対話ディスプレイ装置を説明している。しかし、対話表示面はほぼ水平のテーブルトップ形状である必要はないということが理解される。本発明の説明で示した原理には、異なる形状や曲率の表示面を適切に含み、それに適用され、さらに水平以外の向きにも適切に設置される。これにより、以下の説明では対象物を対話表示面『上』に設置するとしているが、対象物は、これを表示面に接して設置する、あるいは表示面に近接して設置することで隣接設置してもよい。
【0037】
制御されたIR光源でキャプチャされたIR画像と制御されたIR光源なしでキャプチャされたIR画像
対話ディスプレイテーブル60(図2)はIR帯域フィルタ86aを用いるものの、このフィルタは、非IR光線がIRビデオカメラに到達することを排除するだけである。不要なIR光線信号が対話ディスプレイテーブル60の機能と干渉することを防ぐため、これらの無用な信号に対して制限を行い、相殺しなければならない。図4A〜4Fは、対話ディスプレイテーブルの一部であり、意図されないIR信号がどのように対話面64aに係るユーザの手402のIRスペクトル画像を変形させるかを示している。
【0038】
図4Aは、表示面64aに対して部分的に接触し、この表示面に対して部分的に『ホバー』状態にあるユーザの手402を示す。IR画像システムは、対話表示面に接している対象物と表示面に近接して離れている対象物との間の違いに対応することができ、これについては、2004年3月31日に提出された『対話面に対する3D対象の接続性およびオフセットの判定』という件名の、同一出願人による、同時係属中の米国特許出願第10/814,761号で説明されているが、この明細書および図面については、ここでは特に参照によって組み込まれている。
【0039】
さらに詳細には、図4A,4C,4Eにおいて、ユーザの手402の親指404と中指408は対話表示面に接しているが、人差し指406と薬指410は対話表示面64a上の少し離れたところに『ホバー』しており、小指412は対話表示面64aからさらに少し離れたところにホバーしている。
【0040】
図4Aにおいて、IR光源66から放射するIR光線414ビームは対話表示面64aを通過し、ユーザの手402に入射している。反射されたIR光線416のビームは対話表示面64aを通って戻り、IR帯域フィルタ86aに続いてIRビデオカメラ68に入射する。IRビデオカメラは、カメラに入射するIR光線の画像に対応する信号を発生させる。この画像は、IRビデオカメラに達するIR光線ビーム416やその他の任意のIR光線の関数である。図4Aにおいて、IR光線の唯一の光源はIR光源66である;図4Aでは意図されない周辺、あるいは無用なIR光源がない。バッフル79は、IR光源66からのIR光線が直接にIRビデオカメラ68のレンズに入射することを防ぐ。
【0041】
図4Bは、ユーザの手402で反射されるIR光源66に対するIR光線416ビームだけに応じて得られるIRビデオカメラ68で生成されるユーザの手402aのIR画像を示す。反射されるIR光線416ビームに応じて、この画像ではユーザの手402aは背景420aよりも強度あるいは明るさが大きい。さらに、親指404aおよび中指408aの先端は残りの指406a,410a,412aや、手402aの残りの部分よりも強度あるいは明るさが大きい。親指404aおよび中指408aの先端は、表示面64aに接している手402aのほんの一部であるため(図4A)、親指や中指の先端から反射されるIR光線は、対話表示面64aの散乱による減衰が少なく、そのため、手402aの他の部分や背景420aよりも強度が大きい。2つのはっきり異なる強度レベルだけが図4Bで示されているが、反射されるIR光線の強度は、対象物の反射度や対話表示面64aからの距離により変わりうる。
【0042】
図4Cにおいて、IR光源66は非活性化されている。これにより、図4Aに示したものとは異なり、IR光線414のビームはユーザの手402に向けて投影されておらず、ユーザの手から反射されてIRビデオカメラ68に向いたIR光線416のビームはない。しかし、図4Aに示したものとは異なり、図4Cは、対話表示面64aを越えたところにあり、IRビデオカメラ68で獲得されるIR光源422および424のビームを示す。例えば、IRビーム422は、対話ディスプレイテーブルの周囲環境にある白色光源から放出されるIR光線を示し、IRビーム424は、(図示されていない)窓を通って周囲環境を照らす太陽光線に含まれるIR光線ビームを示す。IR光線ビーム422および424はユーザの手402周囲とユーザの指404〜412間を通り、続けてIR帯域フィルタ86aを通る。したがって、ユーザの手402の『背面光』により、図4Dに示すとおり明るい背景420bに対してユーザの手402の影を含む画像ができる。
【0043】
図4Dにおいて、ユーザの手402は暗い−図4Bにように明るくなく、照らされていない。ユーザの手402からのみ来るIR光線は、この画像におけるユーザの手よりもはるかに明るく見えるため、ユーザの手は、明るい背景420bに対する影にしか見えない。図4Dの画像は、太陽を背景にして人が立っているものであり、その人が太陽により背面から照らされているものと理解できる。背面光の拡散光線により、非常に明るい背景に対する均一な人の影の画像ができる。図4Dでわかるとおり、親指404bや中指408bの指先端と、図4Bにあるような手402bや指406b,410b,412bの画像の残りの部分との間で明確な差異はない。これにより、周囲IR光線のある場合のユーザの手の背面光は、少なくとも、指や手が接している場合とホバーしている場合の対比が小さくなる傾向があり、ユーザの手402を含む画像の画像処理の有利さがかなり小さくなる。一般的に、画像の区分、すなわち各画素に対してユーザの手の一部であるかどうかのラベリングを行う、あるいは対話表示面上におかれた対象の一部であるかどうかのラベリングを行うことは、こういった条件下ではさらに難しくなる。周辺光レベルは、IR光源からの反射IR光のレベルにすぐに匹敵する。一般的に、ある対象の表面外観を読み取ることは可能である(対象が不透明であれば、その対象から戻る光に周辺光が影響を与えないため)が、外形や形状、あるいはどの対象が対話表示面と接しているかを示す画像における絶対画素強度に頼るのは不可能である。
【0044】
図4Eにおいて、IR光源66は、図4Aのように再び活性化される。しかしこの場合、IR光源も活性であることから、例えば、白色光422や太陽光線424からの周辺IR光線が存在することになる。図4Eで示されるとおり、IR光線414の照射ビームはIR光源66からユーザの手402および指404〜412に到達し、手および指からのIR光線416の反射ビームはIRビデオカメラ68に到達する。同時に、周辺IR光線422および424はユーザの手402周囲を照らし、ユーザの指404〜412を通って、同様にIRビデオカメラに到達する。ここでもまた、ビーム416,422,424はいずれもIR帯域フィルタ86aでブロックされない。
【0045】
図4Fで得られた画像は、ユーザの手から反射されたIR光線ビーム416と周辺IR光線ビーム422および424が効果的にお互いに相殺しあっている様子を示している。その結果、対話ディスプレイ64aに接しているユーザの指404cおよび408cの先端と、ユーザの手402cおよび指406c,410c,412cの残りの部分との間だけでなく、一般的に、ユーザの手402cおよび指404c〜412cと背景420cとの間においてもコントラストがかなり低減される。背景420cは図4Dに示すとおり明るく、ユーザの指404cおよび408cが、IR光源からの反射IRのために識別可能になる。また、ユーザの手402cは、明るい周辺背景に対する影として明確になる。ユーザの手からの反射IR光線416のビームが、周辺IR光線422および424のビームよりも実質的にはるかに大きい場合、ユーザの手402cおよび指404c〜412cの画像は背景420cよりも明るく浮かび上がる。IR光源66の強度の能動的調整は、周辺光線422および424のビームを考慮しながら、対話表示面64aに接している指404cおよび408cの先端と、周辺IR光線ビーム422および424で照らされる背景との間のコントラストを保つよう試みなければならない。
【0046】
したがって、本発明により、IR光線の周辺光源が実質的に除去される画像データの合成組を作成することで、外部白色光422および太陽光線424といったIR光源の不必要な、および/または意図しない周辺光源の効果を相殺できる。再び図4B,4D,4Eを参照すると、必要なことは、図4Bの画像と等価なものを得ることであり、ここではIR光線416(図4A)の反射ビームだけがIRビデオカメラ68で受信される。残念ながら、環境における周辺IR光線の大部分を実質的になくさない限り、IR光線422および424の外部光源がIR光線416の反射ビームに含まれるため、周辺IR光線が相殺されなければ図4Fによく似た画像になってしまうことになる。適切な相殺がなければ、環境中に周辺IR光源があると、図4Dの画像における不要な背景が、図4Bのように対象から反射されるIR光線の必要画像に追加され、そのため、図4Fのような問題のある画像になる。
【0047】
図4Bの画像が別個の配置以外で自然に獲得される際、図4Cおよび4Eの環境が典型的な配置で選択的に得られる。図4Cは、無用なIR光線ビーム422および424が図4Dの画像を作成する環境を示し、これはIR光源66が非活性化された場合に獲得される。図4Eは、(IR光源66が活性化された場合の)反射IR光線ビーム416と無用のIR光線ビーム422および424との両方を含む典型的な環境を示す。このように、図4Fの画像は、無用なIR光線がある場合にIR光源66が選択的に活性化されると獲得される。図4Fの画像が、図4Bの必要反射IR光線から得られる画像と、図4Dの不要で無用なIR光線から得られる画像とを整理したものであることから、画像4Fの画像から図4Dの画像を減算することにより図4Bの画像が得られ、それにより無用あるいは周辺のIR光線に対する相殺を行う。
【0048】
これにより、2組の画像データを収集することにより、典型的な環境で図4Bとほぼ同じ必要画像が得られる。第1組の画像データはIR光源66を活性化させ、既存の周囲もしくは無用IR光源のある状態で収集される。第2組の画像データについてはIR光源66を非活性化させた状態でも収集される。収集された第2組の画像データはその後、第1組の画像データから画素毎に減算され、これによりIR光源で生成された反射IR光線ビームだけを含む相殺された画像データ組を生成する。無用光源が効果的に取り除かれる。理想的には、第1、2組の画像データはできるだけ近づけて即座に、かつ順次収集され、対話表示面上に同一条件で異なる照射がなされた画像が得られる。
【0049】
本発明の好適実施形態は、静的周囲IR測定、あるいは初期較正に基づいて意図しないIR光源の影響を低減させることを試みるものではない。したがって、IRビデオカメラによる画像取得の開始時点において、画像較正のための遅れがない。さらに、本発明は、周囲IR光源や光レベルにおける変化に対して、静的較正あるいは相殺法よりも良好に適用される。例えば、画像較正のために対話表示面から対象物を取り除き、その後に対話表示面の利用を継続するようユーザが依頼を受けた場合、この較正データでは、較正後に対話表示面に追加された対象物がどのように周囲IR光源からの信号をブロックするかについて考慮していない。しかし本発明では、周囲IR光源をブロックしている対象物により作られる図4Dに示されるようなIRの影について考慮する。このように、本発明では、IR光源が活性化された状態で獲得されたIR画像が、対象物のない状態で獲得された静的IR光源画像に匹敵するものよりも、その点においてIRコントラストがはるかに大きな画像データを作成する。
【0050】
さらに、本発明は、周囲IR光源や環境中のIR光線における変化を継続的に適切に考慮し、対応する。その結果、室内灯が点灯あるいは消灯される、あるいは天候の変動のために窓を通過する太陽光線の強度が変化する、時間の経過とともに太陽の角度が変わる、ブラインドの移動といった周囲IR光源の変化があっても、本発明による意図されないIR光源の低下の効果は損なわれない。同様に、例えば、人が対話表示面と照明あるいは窓との間を歩いた場合といった周囲IR光源からの光のより一時的な変化があったとしても、本発明により相殺される。
【0051】
不要IR光源の効果を減じるための画像データ生成システム
図5は、不要IR光源の影響が実質的に相殺される合成画像データを生成するためのシステム500を示す。システム500は対話表示面64aとともに作動する。(図1〜3で示される)PC20は画像処理機能を実行するものであり、記憶装置516を含む。対話表示面上、あるいはその近辺にあるユーザの指408もしくは他の対象物の有無および/または移動を検出するため、PCは、IRビデオカメラで生成された画像を処理する。
【0052】
図4A,4C,4Eと関連して前に述べたとおり、対話表示面64aにIR光線ビーム414を向けるため、IR光源66が選択的に活性化される。反射されたIR光線ビーム416は、白色光422や太陽光424からの周囲IR光線ビームと同様に対話表示面64aを通過し、IR帯域通過フィルタ86aに続いて、IRビデオカメラ68のセンサ502で検出される。
【0053】
IRビデオカメラ68は、各画像キャプチャ区間の開始時に画像キャプチャ信号を生成する画像キャプチャ同期出力504を含む。画像キャプチャ信号はIR光源制御装置506で受信され、この制御装置が画像キャプチャ区間毎にIR光源66を活性化する。例えば、IRビデオカメラのフレーム率が毎秒Xフレームであれば、IR光源68を活性化させるための実効率は毎秒X/2倍である。その結果、IRビデオカメラ68で獲得されデータ出力ポート508から信号として送られた他の各画像フレームは、反射IRビーム416と周囲IRビーム422および424とを含み、他の各画像フレームは周囲IRビーム422および424だけを含む。このアプローチは現在、好適実施形態で用いられているが、それに代わり他のアプローチを用いることもできる。IRビデオカメラおよびIR光源はPC20により同期的に起動でき、このPCがIR光源を活性化させる、あるいは非活性化させるための命令を出し、その後すぐにIRビデオカメラを用いてフレームを取得することができる。あるいは、同期を維持するため特別な回路を備えることもできる。上述の実施形態において、簡便化のため、クロックを用いてIRビデオカメラを駆動し、その出力パルスと単純に同期させるというのが好ましい。
【0054】
典型的なビデオカメラは、毎秒合計30フレームを獲得する。したがって、IR光源66を活性化させた状態で獲得される15フレームと、IR光源66を非活性化させた状態で獲得される15フレームとを合成することで、毎秒15の画像データの合成組が獲得される。高いフレーム率のほうが好ましいということが認められる。毎秒獲得されるフレームが多くなるほど、IR光源66が活性化、および非活性化された状態でフレームが正確に獲得されるかにより、対話表示面64aに対象がどのように時間どおり現れるかを示す。
【0055】
本発明の1つの実施形態において、データ出力ポート508経由で出力される画像はデータバッファメモリ510に保存される。各フレームは、IR光源がオンあるいはオフの状態でフレームが獲得されたかどうかによりタグが付けられる。フレームのタグ付けは、IR光源がオンまたはオフの状態でフレームが獲得されたかどうかを示すためのフラグを設定することで適切に達成される。その他、奇数あるいは偶数番号のフレームだけでIR光源が活性化されている場合、フレームにタグを付けることができる。現在の好適実施形態において、フレームの強度は、画像に対する画素強度を合計し、1つのフレームと次のフレームとの強度の合計を比較することで評価される。強度の合計が大きいフレームはフレーム『上』にある。その他、対話表示面64aを囲むエプロンの下部の既知の場所に白い目安をおくことが可能であり、これにより、既知の場所の画素強度を調べることで、あるフレームにおけるIR光源が活性であるかどうかをすぐに判定できる。
【0056】
データバッファメモリ510からフレームがフレームセパレータ512で分割されるが、このフレームセパレータは、フレームが獲得された際にIR光源が活性化されているかどうかに応じてフレームを分割する。IR光源が活性化されたフレームは加算器514のプラス側に送られ、IR光源66が非活性化されたフレームは加算器514のマイナス側に送られるため、周辺IR光源からだけIR照射のある場合の各フレームにおける各点あるいは画素に対する値が、IR光源66が活性化され、かつ周辺IR光源がある場合の点あるいは画素に対応する値から減算することができる。『IR光源オン』フレームから『IR光源オフ』フレームを画素に関して減算することにより、IR光源66からの反射IR光線だけを示し、実質的に周辺IR照射の影響を除去したIR値をもつ合成画像データが得られる。
【0057】
さらに詳細には、各画像の点は次の式に従って加算器514において画素に関して減算される:
D(x,y)=ION(x,y)−IOFF(x,y)
ここで:
・x,yは、透光面の対話面のある点の座標位置を示し;
ION(x,y)は、点x,yにおける第1の画像キャプチャ区間中で検出されるIR光線の強度を示し;
・IOFF(x,y)は、点x,yにおける第2の画像キャプチャ区間中で検出されるIR光線の強度を示し;
・D(x,y)は、第2の画像キャプチャ区間中において点x,yで獲得されるIR光線の強度が、第1の画像キャプチャ区間中において点x,yで獲得されるIR光線の強度から減算される際の点x,yにおけるIR光線の正味強度を示す。
【0058】
対応する活性化IR光源66と非活性化IR光源のフレーム対が加算器514で結合されると、生成される画像データの合成組は画像処理あるいは保存装置に送られるため、対話表示面上、あるいはそれに近接して置かれる1つ以上の対象物408の特性が処理され、その結果が対話表示システムで利用される。
【0059】
図6は、本発明による不要IR照射の影響を実質的になくす、あるいはそれを低減させるための代表的な論理ステップを示すフロー図600である。ステップ602において、対話表示面のIR画像作成が始まる。ステップ604において、IR光源は、IRビデオカメラ(あるいは、それに代わって用いられる他の画像装置)で生成される画像取得信号と選択的に同期される。選択的IR光源同期化が必要な理由は、前に説明したとおり、他の画像取得区間毎だけでIR光源が活性化されるためである。
【0060】
ステップ606において、IR光源が活性化される。ステップ608において、IR光源がオンの状態で対話表示面が画像表示される。ステップ610において、IR光源は非活性化され、ステップ612において、IR光源がオフの状態で対話表示面が画像表示される。ステップ608および612で獲得された画像フレームを用いて、ステップ614で、不要IR光線からの光線の影響を相殺するための図5および式(1)と合わせてすでに説明したとおり、これら2つの異なる照射条件でのフレーム対に対して獲得された画像データが画素に関して結合される。画像データがステップ614で結合されて合成データが生成された後、ステップ616において、対話表示面上、あるいはその近辺の対象物を検出するよう、この合成データが画像処理用に用いられる、あるいはこのデータがその後の処理用に保存される。
【0061】
判定ステップ618において、IR画像データが続けて獲得されるかどうかが判定される。獲得される場合、このフロー図はステップ606に戻り、ここで選択的活性化・非活性化および画像キャプチャが継続される。一方、判定ステップ618でIR画像作成が完了したと判定されると、フロー図はステップ620に進んで終了する。
【0062】
本発明はそれを実行するための好適な形態やそれに対する改良に関連付けて説明されたが、当該分野の通常の当業者であれば、請求項における適用範囲内で本発明に対する多数の他の改良ができるということを理解するであろう。そのため、本発明の適用範囲は、いかなる場合でも上述の説明により制限されることを意図したものではなく、請求項を全て参照することで判断されるものである。
【符号の説明】
【0063】
66 IR光源
68 IRカメラ
502 センサ
504 画像キャプチャ同期
506 IR光源制御装置
508 データ出力
510 データバッファメモリ
512 フレームセパレータ
514 加算器
516 画像処理/保存
【技術分野】
【0001】
本発明は、主に能動赤外線(IR)画像作成、特に能動IR光源からの画像データの質を改善するため、関心領域における意図しない不要IR光源から受信されるIR信号を取り除くことに関する。
【背景技術】
【0002】
不要信号の有無は、ほとんどあらゆる電磁信号の処理における関心事である。ラジオといった比較的単純なシステムにおいても、当該信号が受信されていない際に聞こえる不要な背景空電雑音を避けるようある大きさ未満の信号を減衰させるため、スケルチ制御が行われることが多い。何が不要な背景空電雑音になるかはユーザが判断するものであり、ユーザは、その判断に基づいて受信信号の可聴性を制限するようスケルチ制御を設定できる。
【0003】
コンピュータが自動的に入力信号に応答する自動信号処理システムには、さらに難しい問題がある。上述のスケルチ制御の例と異なり、ユーザが経験と判断に基づいてスケルチレベルを調節できる場合、必要な信号タイプと不要な信号タイプとを区別するため自動的に制限値を設定するようコンピュータシステムのプログラムを行うことは、さらに困難である。例えば、コンピュータは、キーボード、ポインティング装置やそれに類する入力装置からの明確な入力に対しては良好に応答するが、音声命令に対しては十分に応答しない。音声認識プログラムを用いた人は、ユーザが用いたある言葉に対してコンピュータが認識に失敗した場合の難しさを経験したことがあるが、コンピュータが感知する音声入力に影響を与える背景雑音あるいはその他の音声がある場合、こういったケースはさらに多くなる。
【0004】
コンピュータビジョンには、概して音声認識よりもはるかに複雑な問題がある。コンピュータが処理すべき視覚信号が多すぎる、あるいは視覚信号の範囲が広すぎる場合、入力がコンピュータで誤って読み込まれる恐れが大きくなる。一方、コンピュータが視覚信号の抑制を行いすぎると、コンピュータが視覚入力を誤って読み込む、あるいは意図された視覚入力を全て無視してしまう可能性がある。
【0005】
現行のコンピュータビジョンは、コンピュータやそのインタフェースをさらにユーザが使いやすくする必要性が高まるにつれて徐々に重要な領域になりつつある。例えば、『メタデスク:有形ユーザインタフェースのためのモデルおよびプロトタイプ』UIST10/1997:14−17でブリグ・ウルマーおよびヒロシ・イシイが報告しているとおり、MITメディア研究室が『キーボードのない』ヒューマンマシンインタフェースの新たな形態を開発した。メタデスクには、一般的に、計算システムのテキストおよび図形出力を表示するだけでなく、図形面に設置された対象を『見て』それに応じることでユーザの入力を受け入れる平面図形面を含む。メタデスクの図形面の合成対象応答性および表示性は、メタデスク面の下部に配設されたIRランプ、IRカメラ、ビデオカメラ、ビデオプロジェクタ、鏡を用いて容易になる。図形表示面上部からユーザが見ることのできる画像をもたらすため、鏡は図形表示面の下部にプロジェクタで映し出された図形画像を反射する。IRカメラは、図形面に設置された対象下面からのIR反射を検出することができる。図形表示面に配設される対象から特別に形成された対象あるいはIR反射光を『見て』それを検出することにより、メタデスクは表示面上の対象の同時設置や移動に応答し、MITのキャンパス地図を表示させて移動させるといった所定機能を実行することができる。
【0006】
その他、同様のキーボードのないインタフェースが開発されている。例えば、株式会社ソニー・コンピュータ・サイエンス研究所のジュン・レキモトとその関係者による論文では、表面に画像を表示する『ホロウォール』や『ホロテーブル』および表面に隣接して設置された対象を検出するためのIR光線について説明している。
【0007】
メタデスクおよびホロウォール/ホロテーブルは両方とも対象および動きを見るためにIR光線を用いるが、それには十分な理由がある。システムが可視光線に対して反応すれば、システムで投影され対話面で反射された可視光線によりコンピュータシステムが誤った読み込みを行う恐れがある。さらに、反射が抑えられたとしても、システムが暗い部屋におかれない限り、対話面を通過する部屋の光やその他の光により、コンピュータビジョンシステムにかなりの悪影響をもたらす恐れがある。
【0008】
対話表示面に設置された対象を検出するために反射IR光線を用いることにより、いたるところにある可視光線を用いて対象を認識しようとする試みで発生する問題の多くを避けることができる。しかし、大部分の光源で生成される光線のIR成分について大まかにわかるようになってきたが、裸眼で見ることができないことから、コンピュータビジョンシステムに悪影響をもたらす周囲IR光線信号も非常に一般的なものである。白色光、太陽光、さらにその他のさまざまな一般的光源もIR光線を発生させる。こういった意図されないIR信号は、意図されない可視光線信号とまったく同様に、IR感知式コンピュータビジョンシステムに望ましくない入力をもたらしうる。帯域フィルタを用いれば可視光線や他の非IR光線をおさえることができるが、背景IR光線から検出される対象から反射されるIR光線を分離する際には役に立たない。
いくつかの文献に上述のような従来の技術に関連した技術内容が開示されている(例えば、特許文献1参照)。
【0009】
【特許文献1】米国特許第4,992,650号明細書
【発明の開示】
【発明が解決しようとする課題】
【0010】
そのため、IR光線ビジョンシステムが外部のIR光線信号に反応することを防ぐため、意図しない不要なIR光線のフィルタリング、マスクを行う、あるいはその影響を低減させることが必要である。IRコンピュータビジョンシステムを全ての背景IR光源からの遮蔽を行う環境下で作動させることなく、対象検出時に不要背景IR光線の影響を避ける必要がある。
【0011】
本発明は、このような状況に鑑みてなされたもので、その目的とするところは、能動IR光源からの画像データの質を改善する、赤外線画像作成システムにおける不要信号の影響を低減させるための方法およびシステムを提供することにある。
【課題を解決するための手段】
【0012】
本発明のさらに重要な機能の1つは、IR画像システムにおいて、太陽光、白色光、その他のIR光源などの周囲光源を含む不要IR光源の影響を低減させることである。画像データは、IR画像システムで制御されるIR光源が活性化されている場合と、それが活性化されていない場合の両方で獲得される。制御されたIR光源が非活性化されている際に収集される画像データは、不要IR光源による画像データである。これにより、IR光源が活性化されている際に収集された画像データ組からIR光源が非活性化されている際に収集された画像データ組を画素に関して減算することにより、得られた合成画像データ組が、制御されたIR光源で生成された照射による画像データだけを含む。
【0013】
本発明の1つの観点は、このように、IR光源を用いる画像システムにおける不要IR光源の影響を低減させるための方法に関する。IR光源は第1の画像キャプチャ区間中で活性化され、画像データの第1組が第1の画像キャプチャ区間中に獲得される。その後、IR光源が非活性化され、画像データの第2組が第2の画像キャプチャ区間中に獲得される。その後、画像データの第2組の第2値に対応する画像データの第1組の第1値から減じることで画像データの合成組が生成される。
【0014】
本発明の1つの実施形態において、画像キャプチャ装置で生成される画像キャプチャ信号によりIR光源を第1の画像キャプチャ区間中で活性化し、第2の画像キャプチャ区間中で非活性化するようIR光源の活性化が画像キャプチャ装置で制御される。
【0015】
IR光源は透光面の第1面に配設される。その結果、IR光源が、透光面の反対側に隣接配設される対象物にIR光線を向ける。IR光源のような画像キャプチャ装置は透光面の第1面に配設され、対象物により反射されたIR光源で発せられたIR光線を獲得するために用いられる。
【0016】
画像処理システムは、対象物の特性を認識するため、画像データの合成組において対象物で反射される光線を用いる。この方法において、画像データの第1組の第1値は、IR光源が活性化されている際に第1の画像キャプチャ区間で透光面の第1面にわたる複数点のそれぞれに対して獲得されるIR光線の強度を示す。この画像データ組の第2値は、IR光源が非活性化されている際に第2の画像キャプチャ区間で透光面の第1面にわたる複数点のそれぞれに対して獲得されるIR光線の強度を示す。
【0017】
本発明の1つの実施形態において、合成画像データは式:
D(x,y)=ION(x,y)−IOFF(x,y)
で決められ、
ここで:
・x,yは、透光面の第1面のある点の座標位置を示し;
・ION(x,y)は、点x,yにおける第1の画像キャプチャ区間中で検出されるIR光線の強度を示し;
・IOFF(x,y)は、点x,yにおける第2の画像キャプチャ区間中で検出されるIR光線の強度を示し;
・D(x,y)は、第2の画像キャプチャ区間中において点x,yで獲得されるIR光線の強度が、第1の画像キャプチャ区間中において点x,yで獲得されるIR光線の強度から減算される際の点x,yにおけるIR光線の正味強度を示す。
【0018】
生成される画像データの合成組は画像処理システムに送られる。ここで、対象物で反射されるIR光線は、対象物の特性を認識するために用いられる。さらに、好ましくは、プロジェクタが透光面の第1面に設置され、このプロジェクタを透光面の反対側に画像を示すために用いることが可能である。透光面の反対側にある対象物は、このように、その上で示される画像と相互作用が可能である。
本発明の前述の観点および付随する多数の利点については、添付される図面と連係させた、以下の詳細な説明を参照することでさらによく理解されることがすぐに認められるであろう。
【図面の簡単な説明】
【0019】
【図1】本発明の実施で用いられる対話表示面に対する画像処理に適した、一般に従来の計算装置あるいはパソコン(PC)の機能ブロック図である。
【図2】内部構成要素を示すテーブル型対話表示面の断面図である。
【図3】外部PCに結合されるテーブル型対話表示面の実施形態の等角図である。
【図4A】制御されたIR光源からのIR光線および/または周囲IR光線で照射される表示面に隣接する手を用いた場合の表示面部分の拡大断面図である。
【図4B】手からの反射IR光線により表示面から獲得された画像の図である。
【図4C】制御されたIR光源からのIR光線および/または周囲IR光線で照射される表示面に隣接する手を用いた場合の表示面部分の拡大断面図である。
【図4D】手からの反射IR光線により表示面から獲得された画像の図である。
【図4E】制御されたIR光源からのIR光線および/または周囲IR光線で照射される表示面に隣接する手を用いた場合の表示面部分の拡大断面図である。
【図4F】手からの反射IR光線により表示面から獲得された画像の図である。
【図5】本発明の1つの実施形態による不要IR光源の影響を低減させるためのシステムのブロック図である。
【図6】本発明の1つの実施形態による不要IR照射の影響を低減させるための論理ステップを示すフロー図である。
【発明を実施するための形態】
【0020】
以下、図面を参照して本発明を適用できる実施形態を詳細に説明する。
【0021】
本発明を実施するための例示的なコンピューティングシステム
図1を参照すると、本発明のさまざまな部分を実行する際に適した代表的システムが示されている。このシステムは、プロセッサ21、システムメモリ22、システムバス23とともに従来型PC(personal computer)20形態の汎用計算装置を含む。システムバスは、システムメモリを含むさまざまなシステム構成要素をプロセッサ21に結合し、メモリバスあるいはメモリ制御装置、周辺バス、さまざまなバス構成のいずれかを用いるローカルバスを含む複数タイプのバス構造のいずれかである。システムメモリには読出専用メモリ(ROM)24やランダムアクセスメモリ(RAM)25がある。起動中といったPC20内の要素間で情報を転送する際に助けとなる基本ルーチンを含む基本入出力システム26(BIOS)がROM24に保存される。パソコン20にはさらに、(図示されていない)ハードディスクからの読み込みやそこへの書き込みを行うためのハードディスクドライブ27、リムーバブル磁気ディスク29からの読み込み、あるいはそこへの書き込みを行うための磁気ディスクドライブ28、コンパクトディスク読出専用メモリ(CD−ROM)あるいは他の光媒体といったリムーバブル光ディスク31からの読み込み、あるいはそこへの書き込みを行うための光ディスクドライブ30が含まれる。ハードディスクドライブ27、磁気ディスクドライブ28、光ディスクドライブ30は、ハードディスクドライブインタフェース32、磁気ディスクドライブインタフェース33、光ディスクドライブインタフェース34によりそれぞれシステムバス23に結合される。ドライブと、関連するコンピュータ読み込み可能媒体により、PC20に対するコンピュータ読み込み可能マシン命令、データ構造、プログラムモジュール、他のデータの非揮発性保存が行われる。ここで説明された典型的環境ではハードディスク、リムーバブル磁気ディスク29、リムーバブル光ディスク31を用いているものの、磁気カセット、フラッシュメモリカード、デジタルビデオディスク(DVD)、ベルヌーイカートリッジ、RAM、ROM等のコンピュータでアクセス可能なデータやマシン命令を保存することのできる他のタイプのコンピュータ読み込み可能媒体を、典型的作動環境でも用いることができることを当業者であれば認めるであろう。
【0022】
オペレーティングシステム35、1つ以上のアプリケーションプログラム36、他のプログラムモジュール37、プログラムデータ38を含む多数のプログラムモジュールが、ハードディスク、磁気ディスク29、光ディスク31、ROM24あるいはRAM25で保存される。ユーザは、PC20に命令や情報を入力し、キーボード40やポインティング装置42といった入力装置を通して制御入力を行う。ポインティング装置42にはマウス、スタイラス、ワイヤレスリモコン、その他のポインタがあるが、ユーザが入力および制御に対して対話表示を用いることができるため、本発明に関しては、そのような従来型ポンティング装置をなくすことができる。これ以降、『マウス』という用語は、スクリーン上のカーソル位置を制御する上で有用な、実質的にあらゆるポンティング装置を含むと意図される。(図示されていない)他の入力装置には、マイク、ジョイスティック、触覚ジョイスティック、ヨーク、フットペダル、ゲームパッド、衛星ディスク、スキャナ等が含まれる。これらの、そして、さらに他の入出力(I/O)装置が、システムバス23に結合されたI/Oインタフェース46を通してプロセッサ21に結合されることが多い。I/Oインタフェースという用語は、特にシリアルポート、パラレルポート、ゲームポート、キーボードポート、および/またはユニバーサルシリアルバス(USB)に対して用いられる各インタフェースを含むよう意図される。システムバス23はまた、カメラインタフェース59に接続されており、このカメラインタフェースは、以下に説明するとおり内部に含まれるデジタルビデオカメラからの信号を受信するため対話ディスプレイ60に結合されている。代わりにデジタルビデオカメラは、USBバージョン2.0ポートといった適当なシリアルI/Oポートに結合される。オプションとして、モニタ47はビデオアダプタ48といった適当なインタフェース経由でシステムバス23に接続可能である;しかし、本発明の対話ディスプレイテーブルにより、さらに詳細な表示を行い、ユーザに対して情報入力やソフトウェアアプリケーションの制御のための対話を行わせることができるため、ビデオアダプタと結合されることが好ましい。PCは、スピーカ(音声カードあるいは他の音響インタフェース図示されていない)やプリンタといった(図示されていない)他の周辺出力装置に結合されることが多いということが認められるであろう。
【0023】
PC20は、リモートコンピュータ49といった1つ以上のリモートコンピュータへの論理結合を用いるネットワーク環境で作動するものの、本発明は単体のマシン上でも実行できる。リモートコンピュータ49は、他のPC、(典型的には、PC20と非常に似た形で一般的に構成される)サーバ、ルータ、ネットワークPC、ピアデバイス、衛星あるいは他の共通ネットワークノードであり、典型的には、PC20に関して上述の要素の多く、あるいはその全てを含むものであるが、図1では外部メモリ記憶装置50だけが示されている。図1に示される論理結合にはローカルエリアネットワーク(LAN)51やワイドエリアネットワーク(WAN)52が含まれる。このようなネットワーク環境は、事務所、全社的コンピュータネットワーク、イントラネット、インターネットでは普通のものである。
【0024】
LANネットワーク環境で用いられる場合、PC20はネットワークインタフェースあるいはアダプタ53経由でLAN51に結合される。WANネットワーク環境で用いられる場合、PC20は、典型的には、モデム54、あるいはケーブルモデム、デジタル加入者回線(DSL)インタフェースといった他の手段、インターネットのような、WAN52上での通信を確立するための統合サービスデジタルネットワーク(ISDN)インタフェースを含む。内部あるいは外部にあるインターネットモデム54は、システムバス23に接続される、あるいは、I/O装置インタフェース46、すなわちシリアルポートを通してバスに結合される。ネットワーク環境において、PC20で使用されるプログラムモジュール、あるいはその一部がリモートメモリストレージ装置内に保存される。ここで示されたネットワーク接続は代表的なものであり、無線通信広帯域ネットワークリンクといったコンピュータ間で通信リンクを確立するための他の手段も使われるということが認められよう。
【0025】
例示的な対話面
図2において、代表的な対話ディスプレイテーブル60が示されているが、これはフレーム62内にPC20を含んでおり、コンピュータ用の光入力とビデオディスプレイ装置との両方に対して機能する。この対話ディスプレイテーブルの断面図では、テキストおよび図形画像を表示するために用いられる光線が、一般的に点線で示されており、対話ディスプレイテーブルの表示装置64a上、あるいはそのすぐ上に置かれた対象を検出するために用いられる赤外(IR)光線が一点鎖線を用いて示されている。表示面64aは対話ディスプレイテーブルの上面64内に設定される。テーブル面の周囲は、表示面64aに表示されている図形画像あるいは仮想環境との相互作用のために用いられる対象を含む、ユーザの腕や他の対象を支持するために有用である。
【0026】
IR光源66は、好ましくは複数のIR発光ダイオード(LED)を含み、フレーム62の内側に設けられる。IR光源66で生成されるIR光線は、点線78a,78b,78cで示されるとおり、表示面64aの下部に向けて上方に向けられている。IR光源66からのIR光線は、光拡散性の、ベラム(上質皮紙)あるいは他の適当な半透明材料を備えるテーブルの半透明層64bを通過後に表示面の上あるいはその近傍にある任意の対象から反射される。1つのIR光源66だけが示されているものの、フレーム62の内側付近の離れた場所に複数のIR光源が設けられ、表示面64aの均等照射を行うことが認められるであろう。IR光源で生成される赤外線は:
・点線78aで示されるとおり、対象を照射することなくテーブル面を通して抜け出る;
・点線78bで示されるとおり、テーブル面の対象を照射する;
・あるいは、点線78cで示されているとおり、テーブル面上の少し離れたところにあってそれに接触しない対象を照射する。
【0027】
表示面64a上の対象は、表示面上にある『接触』対象76aと、表示面近くにあってそれには実際に接触しない『ホバー』対象76bとを含む。表示面を通過するIR光線を拡散させるための表示面下部の半透明層64bを用いた結果、対象が表示面64aの最上部に近づくにつれ、対象で反射されるIR光線量が増加し、対象が実際に表示面と接触するとIR光線量が最大レベルに達する。
【0028】
デジタルビデオカメラ68は、表示面64a上に配設される接触対象あるいはホバー対象から反射されるIR光線を受信する上で適した位置の表示面64下部のフレーム62に設けられる。デジタルビデオカメラ68は、点線84aに沿って表示面64aを通過するIR光線だけを通して周辺可視光線をブロックするIR帯域フィルタ86aを備える。IR光源から直接発せられるIR光線がデジタルビデオカメラに入ることを防ぐため、IR光源66とデジタルビデオカメラとの間にバッフル79が配設される。これは、デジタルビデオカメラが、表示面64aのすぐ上、あるいはそれに接触する対象からの反射IR光線にだけ反応し、表示面に、あるいはその上にある対象からの反射IR光線の画像に応じた出力信号を生成する必要があるためである。デジタルビデオカメラ68が、対話ディスプレイ内部の上から、あるいはその中へ表示面64aを通して通過する周辺光線に含まれる任意のIR光線(例えば、点線84aで示される経路を同様に通る周辺IR光線)にも反応することは明らかである。
【0029】
テーブル面上あるいはその上部から反射されるIR光線は:
・一点鎖線80aおよび80bで示されるとおり、半透明層64bを通って、IR帯域フィルタ86aを通って、デジタルビデオカメラ68のレンズに反射して戻され;または、
・一点鎖線80cで示されるとおり、デジタルビデオカメラ68のレンズに入ることなく対話ディスプレイ内の他の内面で反射あるいは吸収される。
【0030】
半透明層64bは入射IR光線と反射IR光線との両方を拡散させる。これにより、上で説明したとおり、表示面64aに近い方の『ホバー』対象は、表示面からもっと離れた同じ反射率の対象よりもデジタルビデオカメラ68にIR光線を多く反射する。デジタルビデオカメラ68は、画像部内の『接触』および『ホバー』対象からのIR光線を検出し、各対象の場所、さらにオプションとして、対象の大きさ、向き、形状を判定する処理のためPC20に入力される反射IR光線の画像に対応するデジタル信号を生成する。(ユーザの前腕といった)対象の一部はテーブルの上部にあり、(ユーザの指といった)他の部分は表示面に接触していることに注意するべきである。さらに、対象は、対象、あるいは対象が一部を占める関連対象のクラスに特定の底面にIR光線反射様式、あるいはコード化識別子(例えば、バーコード)を含む。したがって、本発明により、デジタルビデオカメラ68からの画像信号は、そのような特定対象を検出するためだけでなく、反射様式から反射されるIR光線によりその向きを判定するためにも用いることができる。この機能を実行するために実施される論理ステップを以下に説明する。
【0031】
PC20は、図2に示すとおり対話ディスプレイテーブル60に統合されてもよく、その他、図3の実施形態に示すとおり、対話ディスプレイテーブルの外部においてもよい。図3において、対話ディスプレイテーブル60はデータケーブル63経由で外部PC20(上述のとおり、任意のモニタ47を含む)に接続される。さらに同図で示すとおり、直交するX軸およびY軸の組は、『0』で示される原点と同様に、表示面64aと関連付けられている。特に示されていないが、各直交軸に沿った複数の座標位置により表示面64aの任意の位置を示すことができることが認められる。
【0032】
対話ディスプレイテーブルが(図3に示すとおり)外部PC20、あるいは(図示されていない)セットトップボックス、ビデオゲーム、ラップトップコンピュータ、メディアコンピュータといった他のタイプの外部計算装置に接続されている場合、対話テーブルは入出力装置を含む。対話ディスプレイテーブル用電源は入力線61を通して供給されるが、この入力線は(図示されていない)通常の交流(AC)線電源に結合される。データケーブル63は対話ディスプレイテーブル60’に接続するものであり、PC20上のUSB2.0ポート、米国電気電子学会(IEEE)1394(すなわちファイヤーワイヤー)ポート、あるいはイーサネット(登録商標)ポートに結合できる。無線接続の速度が向上するにつれ、そのような高速無線接続を通して、あるいは他の適切な有線または無線データ通信リンクを通してPC20のような計算装置に対話ディスプレイテーブルを接続させることも考えられている。対話ディスプレイの一部として内部に含まれるにしても、外部に置かれるにしても、PC20は、デジタルビデオカメラ68からのデジタル画像の処理のためのアルゴリズムを実行し、対話ディスプレイテーブル60のさらに直感的なユーザインタフェース機能を有利に用いるよう設計されたソフトウェアアプリケーションを実行するとともに、そのような機能を利用するよう特に設計されてはいない、他のソフトウェアアプリケーションを実行する。さらに他の方法として、対話ディスプレイが、外部計算装置に結合できるとともに、画像処理や外部PCで実行されない他の作業を行うための内部計算装置を含む。
【0033】
対話ディスプレイテーブルの重要で強力な特性(すなわち上で説明した実施形態の特性)は、ゲームあるいは他のソフトウェアアプリケーションに対する図形画像あるいは仮想環境を表示し、表示面64aで見ることのできる図形画像、あるいは仮想環境と、対象76aといった表示面上にある、あるいは対象76bといったそのすぐ上の空間にある対象との間の対話を可能にするものである。これは、そのような対象や、この豊富な相互作用を大いに簡略化する、ユーザの操作により動くユーザの指あるいは他の対象を視覚的に検出するための対話ディスプレイテーブルの機能である。
【0034】
再び図2を参照すると、対話ディスプレイテーブル60は、図形画像、仮想環境、あるいはテキスト情報を表示面64aに表示するために用いられるビデオプロジェクタ70を含む。ビデオプロジェクタは、好ましくは、液晶ディスプレイ(LCD)あるいはデジタル光プロセッサ(DLP)タイプ、あるいは少なくとも640×480ピクセルの解像度をもつシリコン上液晶(LCoS)ディスプレイタイプでできている。IRカットフィルタ86bは、ビデオプロジェクタにより発せられるIR光線が、表示面64a上の、あるいはその上部にある対象からの反射IR光線とIR光線が干渉する対話ディスプレイテーブルの内部に入り込むことを防ぐため、ビデオプロジェクタ70のプロジェクタレンズの前に設けられる。第1の鏡アセンブリ72aは、フレーム62の透明開口90aを通して点線82aに沿ってプロジェクタレンズからくる投射光を、この投射光が第2の鏡アセンブリ72bに入射するように向ける。第2の鏡アセンブリ72bは投射光を半透明層64bに向けて反射させるが、この層はプロジェクタレンズの焦点にあり、そのため投射画像を、表示面64aの焦点で見られる。
【0035】
アラインメント装置74aおよび74bが設けられ、この装置は、表示面に投射される画像が表示面に対して位置合わせされるよう第1および第2の鏡アセンブリの角度を調節するためのねじ棒および回転可能な調整ナット74cを含む。投射画像を必要な方向に向けることに加えて、これら2つの鏡アセンブリを利用することにより、プロジェクタ70と半透明層64bとの間の経路が長くなり、さらに重要なこととして、対話ディスプレイテーブルの必要な大きさと形状を実現する助けとなるため、対話ディスプレイテーブルが大きくなりすぎず、ユーザが快適にその隣に座ることが可能になるような大きさと形状になる。
【0036】
上述の、さらに以下の解説は、対話ディスプレイテーブル60および60’の形状の対話ディスプレイ装置を説明している。しかし、対話表示面はほぼ水平のテーブルトップ形状である必要はないということが理解される。本発明の説明で示した原理には、異なる形状や曲率の表示面を適切に含み、それに適用され、さらに水平以外の向きにも適切に設置される。これにより、以下の説明では対象物を対話表示面『上』に設置するとしているが、対象物は、これを表示面に接して設置する、あるいは表示面に近接して設置することで隣接設置してもよい。
【0037】
制御されたIR光源でキャプチャされたIR画像と制御されたIR光源なしでキャプチャされたIR画像
対話ディスプレイテーブル60(図2)はIR帯域フィルタ86aを用いるものの、このフィルタは、非IR光線がIRビデオカメラに到達することを排除するだけである。不要なIR光線信号が対話ディスプレイテーブル60の機能と干渉することを防ぐため、これらの無用な信号に対して制限を行い、相殺しなければならない。図4A〜4Fは、対話ディスプレイテーブルの一部であり、意図されないIR信号がどのように対話面64aに係るユーザの手402のIRスペクトル画像を変形させるかを示している。
【0038】
図4Aは、表示面64aに対して部分的に接触し、この表示面に対して部分的に『ホバー』状態にあるユーザの手402を示す。IR画像システムは、対話表示面に接している対象物と表示面に近接して離れている対象物との間の違いに対応することができ、これについては、2004年3月31日に提出された『対話面に対する3D対象の接続性およびオフセットの判定』という件名の、同一出願人による、同時係属中の米国特許出願第10/814,761号で説明されているが、この明細書および図面については、ここでは特に参照によって組み込まれている。
【0039】
さらに詳細には、図4A,4C,4Eにおいて、ユーザの手402の親指404と中指408は対話表示面に接しているが、人差し指406と薬指410は対話表示面64a上の少し離れたところに『ホバー』しており、小指412は対話表示面64aからさらに少し離れたところにホバーしている。
【0040】
図4Aにおいて、IR光源66から放射するIR光線414ビームは対話表示面64aを通過し、ユーザの手402に入射している。反射されたIR光線416のビームは対話表示面64aを通って戻り、IR帯域フィルタ86aに続いてIRビデオカメラ68に入射する。IRビデオカメラは、カメラに入射するIR光線の画像に対応する信号を発生させる。この画像は、IRビデオカメラに達するIR光線ビーム416やその他の任意のIR光線の関数である。図4Aにおいて、IR光線の唯一の光源はIR光源66である;図4Aでは意図されない周辺、あるいは無用なIR光源がない。バッフル79は、IR光源66からのIR光線が直接にIRビデオカメラ68のレンズに入射することを防ぐ。
【0041】
図4Bは、ユーザの手402で反射されるIR光源66に対するIR光線416ビームだけに応じて得られるIRビデオカメラ68で生成されるユーザの手402aのIR画像を示す。反射されるIR光線416ビームに応じて、この画像ではユーザの手402aは背景420aよりも強度あるいは明るさが大きい。さらに、親指404aおよび中指408aの先端は残りの指406a,410a,412aや、手402aの残りの部分よりも強度あるいは明るさが大きい。親指404aおよび中指408aの先端は、表示面64aに接している手402aのほんの一部であるため(図4A)、親指や中指の先端から反射されるIR光線は、対話表示面64aの散乱による減衰が少なく、そのため、手402aの他の部分や背景420aよりも強度が大きい。2つのはっきり異なる強度レベルだけが図4Bで示されているが、反射されるIR光線の強度は、対象物の反射度や対話表示面64aからの距離により変わりうる。
【0042】
図4Cにおいて、IR光源66は非活性化されている。これにより、図4Aに示したものとは異なり、IR光線414のビームはユーザの手402に向けて投影されておらず、ユーザの手から反射されてIRビデオカメラ68に向いたIR光線416のビームはない。しかし、図4Aに示したものとは異なり、図4Cは、対話表示面64aを越えたところにあり、IRビデオカメラ68で獲得されるIR光源422および424のビームを示す。例えば、IRビーム422は、対話ディスプレイテーブルの周囲環境にある白色光源から放出されるIR光線を示し、IRビーム424は、(図示されていない)窓を通って周囲環境を照らす太陽光線に含まれるIR光線ビームを示す。IR光線ビーム422および424はユーザの手402周囲とユーザの指404〜412間を通り、続けてIR帯域フィルタ86aを通る。したがって、ユーザの手402の『背面光』により、図4Dに示すとおり明るい背景420bに対してユーザの手402の影を含む画像ができる。
【0043】
図4Dにおいて、ユーザの手402は暗い−図4Bにように明るくなく、照らされていない。ユーザの手402からのみ来るIR光線は、この画像におけるユーザの手よりもはるかに明るく見えるため、ユーザの手は、明るい背景420bに対する影にしか見えない。図4Dの画像は、太陽を背景にして人が立っているものであり、その人が太陽により背面から照らされているものと理解できる。背面光の拡散光線により、非常に明るい背景に対する均一な人の影の画像ができる。図4Dでわかるとおり、親指404bや中指408bの指先端と、図4Bにあるような手402bや指406b,410b,412bの画像の残りの部分との間で明確な差異はない。これにより、周囲IR光線のある場合のユーザの手の背面光は、少なくとも、指や手が接している場合とホバーしている場合の対比が小さくなる傾向があり、ユーザの手402を含む画像の画像処理の有利さがかなり小さくなる。一般的に、画像の区分、すなわち各画素に対してユーザの手の一部であるかどうかのラベリングを行う、あるいは対話表示面上におかれた対象の一部であるかどうかのラベリングを行うことは、こういった条件下ではさらに難しくなる。周辺光レベルは、IR光源からの反射IR光のレベルにすぐに匹敵する。一般的に、ある対象の表面外観を読み取ることは可能である(対象が不透明であれば、その対象から戻る光に周辺光が影響を与えないため)が、外形や形状、あるいはどの対象が対話表示面と接しているかを示す画像における絶対画素強度に頼るのは不可能である。
【0044】
図4Eにおいて、IR光源66は、図4Aのように再び活性化される。しかしこの場合、IR光源も活性であることから、例えば、白色光422や太陽光線424からの周辺IR光線が存在することになる。図4Eで示されるとおり、IR光線414の照射ビームはIR光源66からユーザの手402および指404〜412に到達し、手および指からのIR光線416の反射ビームはIRビデオカメラ68に到達する。同時に、周辺IR光線422および424はユーザの手402周囲を照らし、ユーザの指404〜412を通って、同様にIRビデオカメラに到達する。ここでもまた、ビーム416,422,424はいずれもIR帯域フィルタ86aでブロックされない。
【0045】
図4Fで得られた画像は、ユーザの手から反射されたIR光線ビーム416と周辺IR光線ビーム422および424が効果的にお互いに相殺しあっている様子を示している。その結果、対話ディスプレイ64aに接しているユーザの指404cおよび408cの先端と、ユーザの手402cおよび指406c,410c,412cの残りの部分との間だけでなく、一般的に、ユーザの手402cおよび指404c〜412cと背景420cとの間においてもコントラストがかなり低減される。背景420cは図4Dに示すとおり明るく、ユーザの指404cおよび408cが、IR光源からの反射IRのために識別可能になる。また、ユーザの手402cは、明るい周辺背景に対する影として明確になる。ユーザの手からの反射IR光線416のビームが、周辺IR光線422および424のビームよりも実質的にはるかに大きい場合、ユーザの手402cおよび指404c〜412cの画像は背景420cよりも明るく浮かび上がる。IR光源66の強度の能動的調整は、周辺光線422および424のビームを考慮しながら、対話表示面64aに接している指404cおよび408cの先端と、周辺IR光線ビーム422および424で照らされる背景との間のコントラストを保つよう試みなければならない。
【0046】
したがって、本発明により、IR光線の周辺光源が実質的に除去される画像データの合成組を作成することで、外部白色光422および太陽光線424といったIR光源の不必要な、および/または意図しない周辺光源の効果を相殺できる。再び図4B,4D,4Eを参照すると、必要なことは、図4Bの画像と等価なものを得ることであり、ここではIR光線416(図4A)の反射ビームだけがIRビデオカメラ68で受信される。残念ながら、環境における周辺IR光線の大部分を実質的になくさない限り、IR光線422および424の外部光源がIR光線416の反射ビームに含まれるため、周辺IR光線が相殺されなければ図4Fによく似た画像になってしまうことになる。適切な相殺がなければ、環境中に周辺IR光源があると、図4Dの画像における不要な背景が、図4Bのように対象から反射されるIR光線の必要画像に追加され、そのため、図4Fのような問題のある画像になる。
【0047】
図4Bの画像が別個の配置以外で自然に獲得される際、図4Cおよび4Eの環境が典型的な配置で選択的に得られる。図4Cは、無用なIR光線ビーム422および424が図4Dの画像を作成する環境を示し、これはIR光源66が非活性化された場合に獲得される。図4Eは、(IR光源66が活性化された場合の)反射IR光線ビーム416と無用のIR光線ビーム422および424との両方を含む典型的な環境を示す。このように、図4Fの画像は、無用なIR光線がある場合にIR光源66が選択的に活性化されると獲得される。図4Fの画像が、図4Bの必要反射IR光線から得られる画像と、図4Dの不要で無用なIR光線から得られる画像とを整理したものであることから、画像4Fの画像から図4Dの画像を減算することにより図4Bの画像が得られ、それにより無用あるいは周辺のIR光線に対する相殺を行う。
【0048】
これにより、2組の画像データを収集することにより、典型的な環境で図4Bとほぼ同じ必要画像が得られる。第1組の画像データはIR光源66を活性化させ、既存の周囲もしくは無用IR光源のある状態で収集される。第2組の画像データについてはIR光源66を非活性化させた状態でも収集される。収集された第2組の画像データはその後、第1組の画像データから画素毎に減算され、これによりIR光源で生成された反射IR光線ビームだけを含む相殺された画像データ組を生成する。無用光源が効果的に取り除かれる。理想的には、第1、2組の画像データはできるだけ近づけて即座に、かつ順次収集され、対話表示面上に同一条件で異なる照射がなされた画像が得られる。
【0049】
本発明の好適実施形態は、静的周囲IR測定、あるいは初期較正に基づいて意図しないIR光源の影響を低減させることを試みるものではない。したがって、IRビデオカメラによる画像取得の開始時点において、画像較正のための遅れがない。さらに、本発明は、周囲IR光源や光レベルにおける変化に対して、静的較正あるいは相殺法よりも良好に適用される。例えば、画像較正のために対話表示面から対象物を取り除き、その後に対話表示面の利用を継続するようユーザが依頼を受けた場合、この較正データでは、較正後に対話表示面に追加された対象物がどのように周囲IR光源からの信号をブロックするかについて考慮していない。しかし本発明では、周囲IR光源をブロックしている対象物により作られる図4Dに示されるようなIRの影について考慮する。このように、本発明では、IR光源が活性化された状態で獲得されたIR画像が、対象物のない状態で獲得された静的IR光源画像に匹敵するものよりも、その点においてIRコントラストがはるかに大きな画像データを作成する。
【0050】
さらに、本発明は、周囲IR光源や環境中のIR光線における変化を継続的に適切に考慮し、対応する。その結果、室内灯が点灯あるいは消灯される、あるいは天候の変動のために窓を通過する太陽光線の強度が変化する、時間の経過とともに太陽の角度が変わる、ブラインドの移動といった周囲IR光源の変化があっても、本発明による意図されないIR光源の低下の効果は損なわれない。同様に、例えば、人が対話表示面と照明あるいは窓との間を歩いた場合といった周囲IR光源からの光のより一時的な変化があったとしても、本発明により相殺される。
【0051】
不要IR光源の効果を減じるための画像データ生成システム
図5は、不要IR光源の影響が実質的に相殺される合成画像データを生成するためのシステム500を示す。システム500は対話表示面64aとともに作動する。(図1〜3で示される)PC20は画像処理機能を実行するものであり、記憶装置516を含む。対話表示面上、あるいはその近辺にあるユーザの指408もしくは他の対象物の有無および/または移動を検出するため、PCは、IRビデオカメラで生成された画像を処理する。
【0052】
図4A,4C,4Eと関連して前に述べたとおり、対話表示面64aにIR光線ビーム414を向けるため、IR光源66が選択的に活性化される。反射されたIR光線ビーム416は、白色光422や太陽光424からの周囲IR光線ビームと同様に対話表示面64aを通過し、IR帯域通過フィルタ86aに続いて、IRビデオカメラ68のセンサ502で検出される。
【0053】
IRビデオカメラ68は、各画像キャプチャ区間の開始時に画像キャプチャ信号を生成する画像キャプチャ同期出力504を含む。画像キャプチャ信号はIR光源制御装置506で受信され、この制御装置が画像キャプチャ区間毎にIR光源66を活性化する。例えば、IRビデオカメラのフレーム率が毎秒Xフレームであれば、IR光源68を活性化させるための実効率は毎秒X/2倍である。その結果、IRビデオカメラ68で獲得されデータ出力ポート508から信号として送られた他の各画像フレームは、反射IRビーム416と周囲IRビーム422および424とを含み、他の各画像フレームは周囲IRビーム422および424だけを含む。このアプローチは現在、好適実施形態で用いられているが、それに代わり他のアプローチを用いることもできる。IRビデオカメラおよびIR光源はPC20により同期的に起動でき、このPCがIR光源を活性化させる、あるいは非活性化させるための命令を出し、その後すぐにIRビデオカメラを用いてフレームを取得することができる。あるいは、同期を維持するため特別な回路を備えることもできる。上述の実施形態において、簡便化のため、クロックを用いてIRビデオカメラを駆動し、その出力パルスと単純に同期させるというのが好ましい。
【0054】
典型的なビデオカメラは、毎秒合計30フレームを獲得する。したがって、IR光源66を活性化させた状態で獲得される15フレームと、IR光源66を非活性化させた状態で獲得される15フレームとを合成することで、毎秒15の画像データの合成組が獲得される。高いフレーム率のほうが好ましいということが認められる。毎秒獲得されるフレームが多くなるほど、IR光源66が活性化、および非活性化された状態でフレームが正確に獲得されるかにより、対話表示面64aに対象がどのように時間どおり現れるかを示す。
【0055】
本発明の1つの実施形態において、データ出力ポート508経由で出力される画像はデータバッファメモリ510に保存される。各フレームは、IR光源がオンあるいはオフの状態でフレームが獲得されたかどうかによりタグが付けられる。フレームのタグ付けは、IR光源がオンまたはオフの状態でフレームが獲得されたかどうかを示すためのフラグを設定することで適切に達成される。その他、奇数あるいは偶数番号のフレームだけでIR光源が活性化されている場合、フレームにタグを付けることができる。現在の好適実施形態において、フレームの強度は、画像に対する画素強度を合計し、1つのフレームと次のフレームとの強度の合計を比較することで評価される。強度の合計が大きいフレームはフレーム『上』にある。その他、対話表示面64aを囲むエプロンの下部の既知の場所に白い目安をおくことが可能であり、これにより、既知の場所の画素強度を調べることで、あるフレームにおけるIR光源が活性であるかどうかをすぐに判定できる。
【0056】
データバッファメモリ510からフレームがフレームセパレータ512で分割されるが、このフレームセパレータは、フレームが獲得された際にIR光源が活性化されているかどうかに応じてフレームを分割する。IR光源が活性化されたフレームは加算器514のプラス側に送られ、IR光源66が非活性化されたフレームは加算器514のマイナス側に送られるため、周辺IR光源からだけIR照射のある場合の各フレームにおける各点あるいは画素に対する値が、IR光源66が活性化され、かつ周辺IR光源がある場合の点あるいは画素に対応する値から減算することができる。『IR光源オン』フレームから『IR光源オフ』フレームを画素に関して減算することにより、IR光源66からの反射IR光線だけを示し、実質的に周辺IR照射の影響を除去したIR値をもつ合成画像データが得られる。
【0057】
さらに詳細には、各画像の点は次の式に従って加算器514において画素に関して減算される:
D(x,y)=ION(x,y)−IOFF(x,y)
ここで:
・x,yは、透光面の対話面のある点の座標位置を示し;
ION(x,y)は、点x,yにおける第1の画像キャプチャ区間中で検出されるIR光線の強度を示し;
・IOFF(x,y)は、点x,yにおける第2の画像キャプチャ区間中で検出されるIR光線の強度を示し;
・D(x,y)は、第2の画像キャプチャ区間中において点x,yで獲得されるIR光線の強度が、第1の画像キャプチャ区間中において点x,yで獲得されるIR光線の強度から減算される際の点x,yにおけるIR光線の正味強度を示す。
【0058】
対応する活性化IR光源66と非活性化IR光源のフレーム対が加算器514で結合されると、生成される画像データの合成組は画像処理あるいは保存装置に送られるため、対話表示面上、あるいはそれに近接して置かれる1つ以上の対象物408の特性が処理され、その結果が対話表示システムで利用される。
【0059】
図6は、本発明による不要IR照射の影響を実質的になくす、あるいはそれを低減させるための代表的な論理ステップを示すフロー図600である。ステップ602において、対話表示面のIR画像作成が始まる。ステップ604において、IR光源は、IRビデオカメラ(あるいは、それに代わって用いられる他の画像装置)で生成される画像取得信号と選択的に同期される。選択的IR光源同期化が必要な理由は、前に説明したとおり、他の画像取得区間毎だけでIR光源が活性化されるためである。
【0060】
ステップ606において、IR光源が活性化される。ステップ608において、IR光源がオンの状態で対話表示面が画像表示される。ステップ610において、IR光源は非活性化され、ステップ612において、IR光源がオフの状態で対話表示面が画像表示される。ステップ608および612で獲得された画像フレームを用いて、ステップ614で、不要IR光線からの光線の影響を相殺するための図5および式(1)と合わせてすでに説明したとおり、これら2つの異なる照射条件でのフレーム対に対して獲得された画像データが画素に関して結合される。画像データがステップ614で結合されて合成データが生成された後、ステップ616において、対話表示面上、あるいはその近辺の対象物を検出するよう、この合成データが画像処理用に用いられる、あるいはこのデータがその後の処理用に保存される。
【0061】
判定ステップ618において、IR画像データが続けて獲得されるかどうかが判定される。獲得される場合、このフロー図はステップ606に戻り、ここで選択的活性化・非活性化および画像キャプチャが継続される。一方、判定ステップ618でIR画像作成が完了したと判定されると、フロー図はステップ620に進んで終了する。
【0062】
本発明はそれを実行するための好適な形態やそれに対する改良に関連付けて説明されたが、当該分野の通常の当業者であれば、請求項における適用範囲内で本発明に対する多数の他の改良ができるということを理解するであろう。そのため、本発明の適用範囲は、いかなる場合でも上述の説明により制限されることを意図したものではなく、請求項を全て参照することで判断されるものである。
【符号の説明】
【0063】
66 IR光源
68 IRカメラ
502 センサ
504 画像キャプチャ同期
506 IR光源制御装置
508 データ出力
510 データバッファメモリ
512 フレームセパレータ
514 加算器
516 画像処理/保存
【特許請求の範囲】
【請求項1】
必要赤外線光源を用いる画像システムにおける不要赤外線光源の影響を低下させる方法であって、
(a)第1の画像キャプチャ区間中で必要赤外線光源を活性化するステップと、
(b)第1の画像キャプチャ区間中で画像データの第1組を獲得するステップと、
(c)第2の画像キャプチャ区間中で必要赤外線光源を非活性化するステップと、
(d)第2の画像キャプチャ区間中で画像データの第2組を獲得するステップと、
(e)画像データの第2組の第2値に対応する画像データの第1組の第1値から減じることで画像データの合成組を生成するステップと
を備えることを特徴とする方法。
【請求項2】
画像キャプチャ装置で発生させる画像キャプチャ信号により、必要赤外線光源を第1の画像キャプチャ区間中で活性化し、第2の画像キャプチャ区間中で非活性化するよう画像キャプチャ装置で必要赤外線光源の活性化を制御するステップ
をさらに備えることを特徴とする請求項1に記載の方法。
【請求項3】
(a)透光面の反対側に隣接して配設される対象物に赤外線を向けるよう必要赤外線光源を透光面の第1面に設置するステップと、
(b)必要赤外線光源で生成され対象物に反射される赤外線を獲得するよう画像キャプチャ装置を透光面の第1面に設置するステップと
をさらに備えることを特徴とする請求項2に記載の方法。
【請求項4】
画像データの第1組の第1値が、必要赤外線光源が活性化されている際の第1の画像キャプチャ区間中で透光面の第1面にわたる複数点に対して獲得される赤外線の強度を示し、画像データの組の第2値が、必要赤外線光源が非活性化されている際の第2の画像キャプチャ区間中で透光面の第1面にわたる複数点に対して獲得される赤外線の強度を示すことを特徴とする請求項3に記載の方法。
【請求項5】
画像データの第2組の第2値に対応する画像データの第1組の第1値からの減算が、
D(x,y)=ION(x,y)−IOFF(x,y)で定義され、
ここで:
(a)x,yは、透光面の第1面のある点の座標位置を示し、
(b)ION(x,y)は、点x,yにおける第1の画像キャプチャ区間中で検出される赤外線の強度を示し、
(c)IOFF(x,y)は、点x,yにおける第2の画像キャプチャ区間中で検出される赤外線の強度を示し、
(d)D(x,y)は、第2の画像キャプチャ区間中で点x,yで獲得される赤外線の強度が、第1の画像キャプチャ区間中で点x,yで獲得される赤外線の強度から減算される際の点x,yにおける赤外線の正味強度を示す
ことを特徴とする請求項4に記載の方法。
【請求項6】
画像データの合成組を画像処理システムに送信するステップ
をさらに備えることを特徴とする請求項3に記載の方法。
【請求項7】
対象物の特性を認識するため、対象物に反射される赤外線を用いるステップ
をさらに備えることを特徴とする請求項6に記載の方法。
【請求項8】
透光面に向けられるプロジェクタからの光が、対象物と相互作用する透光面の反対側で見える画像を示すために用いられるよう透光面の第1面にプロジェクタを設置するステップ
をさらに備えることを特徴とする請求項3に記載の方法。
【請求項9】
必要赤外線光源を用いる画像システムにおける不要赤外線光源の影響を低下させる方法であって、
(a)画像キャプチャ装置で発生させた画像信号で必要赤外線光源の活性化を選択的に調整するステップと、
(b)画像信号が第1の画像キャプチャ区間の開始点を示す場合に必要赤外線光源を活性化するステップと、
(c)第1の画像キャプチャ区間中で画像データの第1組を獲得するステップと、
(d)画像信号が第2の画像キャプチャ区間の開始点を示す場合に必要赤外線光源を非活性化するステップと、
(e)第2の画像キャプチャ区間中で画像データの第2組を獲得するステップと、
(f)画像データの第2組の第2値に対応する画像データの第1組の第1値から減じることで画像データの合成組を生成するステップと、
(g)画像データの合成組を画像処理システムに送信するステップと
を備えることを特徴とする方法。
【請求項10】
(a)透光面の反対側に隣接して配設される対象物に赤外線を向けるよう必要赤外線光源を透光面の第1面に設置するステップと、
(b)対象物に反射される必要赤外線光源からの赤外線を獲得するよう画像キャプチャ装置を透光面の第1面に設置するステップと
をさらに備えることを特徴とする請求項9に記載の方法。
【請求項11】
画像データの第1組の第1値が、必要赤外線光源が活性化されている際の第1の画像キャプチャ区間中で透光面の第1面にわたる複数点に対して獲得される赤外線の強度を示し、この画像データ組の第2値が、必要赤外線光源が非活性化されている際の第2の画像キャプチャ区間中で透光面の第1面にわたる対応する複数点に対して獲得される赤外線の強度を示すことを特徴とする請求項10に記載の方法。
【請求項12】
画像データの第2組の第2値に対応する画像データの第1組の第1値からの減算が、
D(x,y)=ION(x,y)−IOFF(x,y)で定義され、
ここで、
(a)x,yは、透光面の第1面のある点の座標位置を示し、
(b)ION(x,y)は、点x,yにおける第1の画像キャプチャ区間中で検出される赤外線の強度を示し、
(c)IOFF(x,y)は、点x,yにおける第2の画像キャプチャ区間中で検出される赤外線の強度を示し、
(d)D(x,y)は、第2の画像キャプチャ区間中で点x,yで獲得される赤外線の強度が、第1の画像キャプチャ区間中で点x,yで獲得される赤外線の強度から減算される際の点x,yにおける赤外線の正味強度を示す
ことを特徴とする請求項11に記載の方法。
【請求項13】
対象物の特性を認識するため、対象物に反射される赤外線を用いるステップをさらに備えることを特徴とする請求項10に記載の方法。
【請求項14】
透光面に向けられたプロジェクタからの光が、対象物と相互作用する透光面の反対側で見える画像を示すために用いられるよう透光面の第1面にプロジェクタを設置するステップ
をさらに備えることを特徴とする請求項10に記載の方法。
【請求項15】
必要赤外線光源と画像キャプチャ装置とを用いて透光面上に、あるいはそれに隣接するよう配設される対象物に対して画像データを獲得するための方法であって、
(a)赤外線を対象物に向けるよう必要赤外線光源を透光面の第1面に設置するステップと、
(b)必要赤外線光源で投射され対象物で反射される赤外線を獲得するよう画像キャプチャ装置を透光面の第1面に設置するステップと、
(c)画像信号が第1の画像キャプチャ区間の開始点を示す場合に必要赤外線光源を活性化するステップと、
(d)第1の画像キャプチャ区間中で画像データの第1組を獲得するステップと、
(e)画像信号が第2の画像キャプチャ区間の開始点を示す場合に必要赤外線光源を非活性化するステップと、
(f)第2の画像キャプチャ区間中で画像データの第2組を獲得するステップと、
(g)画像データの第2組の第2値に対応する画像データの第1組の第1値から減じることで画像データの合成組を生成するステップと
を備えることを特徴とする方法。
【請求項16】
画像キャプチャ装置で生成される画像キャプチャ信号により、必要赤外線光源を第1の画像キャプチャ区間中で活性化し、第2の画像キャプチャ区間中で非活性化するよう画像キャプチャ装置で必要赤外線光源の活性化を制御するステップ
をさらに備えることを特徴とする請求項15に記載の方法。
【請求項17】
請求項15に記載の方法であって、画像データの第1組の第1値が、必要赤外線光源が活性化されている際の第1の画像キャプチャ区間中で透光面の第1面にわたる複数点に対して獲得される赤外線の強度を示し、画像データの組の第2値が、必要赤外線光源が非活性化されている際の第2の画像キャプチャ区間中で透光面の第1面にわたる複数点に対して獲得される赤外線の強度を示すことを特徴とする請求項15に記載の方法。
【請求項18】
画像データの第2組の第2値に対応する画像データの第1組の第1値からの減算が、
D(x,y)=ION(x,y)−IOFF(x,y)で定義され、
ここで、
(a)x,yは、透光面の第1面のある点の座標位置を示し、
(b)ION(x,y)は、点x,yにおける第1の画像キャプチャ区間中で検出される赤外線の強度を示し、
(c)IOFF(x,y)は、点x,yにおける第2の画像キャプチャ区間中で検出される赤外線の強度を示し、
(d)D(x,y)は、第2の画像キャプチャ区間中で点x,yで獲得される赤外線の強度が、第1の画像キャプチャ区間中で点x,yで獲得される赤外線の強度から減算される際の点x,yにおける赤外線の正味強度を示す
ことを特徴とする請求項17に記載の方法。
【請求項19】
画像データの合成組を画像処理システムに送信するステップ
をさらに備えることを特徴とする請求項15に記載の方法。
【請求項20】
対象物の特性を認識するため、対象物に反射される赤外線を用いるステップ
をさらに備えることを特徴とする請求項19に記載の方法。
【請求項21】
プロジェクタが、対象物と相互作用する透光面の反対側で見える画像を示すため、透光面に光を向けるよう透光面の第1面にプロジェクタを設置するステップ
をさらに備えることを特徴とする請求項15に記載の方法。
【請求項22】
実行中のアプリケーションに入力を行うためのシステムであって、
(a)処理面と相互作用面とをもつ透光面であって、対象物を相互作用面上に、あるいはそれに隣接して配設できるよう構成され、処理面が相互作用面の反対側にある透光面と、
(b)透光面の処理面に配設される必要赤外線光源であって、この必要赤外線光源が選択的に赤外線を照射し、これが透光面を通して相互作用面に伝えられて、透光面の相互作用面上に、あるいはそれに隣接して配設される対象物によって透光面を通して後方反射される赤外線光源と、
(c)透光面の処理面に配設される画像キャプチャ装置であって、対象物とその場所とを検出するため、透光面を通過して相互作用表示面に画像形成する赤外線をこの画像キャプチャ装置が検出する画像キャプチャ装置と、
(d)必要赤外線光源と画像キャプチャ装置に通信するプロセッサと、
(e)プロセッサと通信するメモリであって、このメモリがデータとマシン命令とを保存し、マシン命令がプロセッサに複数の機能を実行させ、該機能が、
(i)第1の画像キャプチャ区間中で必要赤外線光源を活性化するステップと、
(ii)画像キャプチャ装置を用いて第1の画像キャプチャ区間中で画像データの第1組を獲得するステップと、
(iii)第2の画像キャプチャ区間中で必要赤外線光源を非活性化するステップと、
(iv)画像キャプチャ装置を用いて第2の画像キャプチャ区間中で画像データの第2組を獲得するステップと、
(v)画像データの第2組の第2値に対応する画像データの第1組の第1値から減算することで画像データの合成組を発生させるステップであって、画像キャプチャ装置で獲得され必要赤外線光源で照射されない赤外線の影響がデータの合成組で大幅に除去されるステップと
を含むメモリと
を備えたことを特徴とするシステム。
【請求項23】
画像データの第1組の第1値が、必要赤外線光源が活性化されている際の第1の画像キャプチャ区間中で透光面の第1面にわたる複数点に対して画像キャプチャ装置で獲得される赤外線の強度を示し、画像データ組の第2値が、必要赤外線光源が非活性化されている際の第2の画像キャプチャ区間中で透光面の第1面にわたる複数点に対して画像キャプチャ装置で獲得される赤外線の強度を示すことを特徴とする請求項22に記載のシステム。
【請求項24】
メモリに保存されるマシン命令により、さらに、プロセッサに画像データの第2組の第2値に対応する画像データの第1組の第1値からの減算を行わせ、この減算が、
D(x,y)=ION(x,y)−IOFF(x,y)で定義され、
ここで、
(a)x,yは、透光面の第1面のある点の座標位置を示し、
(b)ION(x,y)は、点x,yにおける第1の画像キャプチャ区間中で画像キャプチャ装置により検出される赤外線の強度を示し、
(c)IOFF(x,y)は、点x,yにおける第2の画像キャプチャ区間中で画像キャプチャ装置により検出される赤外線の強度を示し、
(d)D(x,y)は、第2の画像キャプチャ区間中で点x,yで獲得される赤外線の強度が、第1の画像キャプチャ区間中で点x,yで獲得される赤外線の強度から減算される際の点x,yにおける赤外線の正味強度を示す
ことを特徴とする請求項22に記載のシステム。
【請求項25】
メモリに保存されるマシン命令により、さらに、対象物の特性を認識するため、プロセッサに対象物で反射される赤外線を用いさせることを特徴とする請求項22に記載のシステム。
【請求項26】
プロジェクタからの光が透光面に向けられ、対象物と相互作用する透光面の相互作用面で見える画像を示すために用いられるよう透光面の処理面に設置されるプロジェクタをさらに備えたことを特徴とする請求項22に記載のシステム。
【請求項27】
実行中のアプリケーションに入力を行うためのシステムであって、
(a)処理面と相互作用面とをもつ透光面であって、対象物を相互作用面上に、あるいはそれに隣接して配設できるよう構成され、処理面が相互作用面の反対側にある透光面と、
(b)透光面の処理面に配設される画像キャプチャ装置であって、対象物とその場所とを検出するため、透光面を通過して相互作用表示面に画像形成する赤外線をこの画像キャプチャ装置が検出し、当該画像キャプチャ装置が画像キャプチャ信号を発生させるよう構成される画像キャプチャ装置と、
(c)透光面の処理面に配設される必要赤外線光源であって、この必要赤外線光源が選択的に赤外線を照射し、これが透光面を通して相互作用面に伝えられて、透光面の相互作用面上に、あるいはそれに隣接して配設される対象物によって透光面を通して後方反射される赤外線光源と、
(d)赤外線光源制御装置であって、
(i)画像キャプチャ信号を受け入れ、
(ii)必要赤外線光源が、第1の画像キャプチャ区間を示す第1の画像キャプチャ信号受信時に活性化され、第2の画像キャプチャ区間を示す第2の画像キャプチャ信号受信時に非活性化されるよう画像キャプチャ信号受信に応じて必要赤外線光源を選択的に操作させる
よう構成される赤外線光源制御装置と、
(e)赤外線光源および画像キャプチャ装置と通信するプロセッサと、
(f)プロセッサと通信するメモリであって、このメモリがデータとマシン命令とを保存し、マシン命令がプロセッサに複数の機能を実行させ、該機能が、
(i)画像キャプチャ装置を用いて第1の画像キャプチャ区間中で画像データの第1組を獲得するステップと、
(ii)画像キャプチャ装置を用いて第2の画像キャプチャ区間中で画像データの第2組を獲得するステップと、
(iii)画像データの第2組の第2値に対応する画像データの第1組の第1値から減算することで画像データの合成組を発生させるステップであって、画像キャプチャ装置で獲得される不要赤外線の影響がデータの合成組で大幅に相殺されるステップと
を含むメモリと
を備えたことを特徴とするシステム。
【請求項28】
画像データの第1組の第1値が、必要赤外線光源が活性化されている際の第1の画像キャプチャ区間中で透光面の第1面にわたる複数点に対して画像キャプチャ装置で獲得される赤外線の強度を示し、画像データ組の第2値が、必要赤外線光源が非活性化されている際の第2の画像キャプチャ区間中で透光面の第1面にわたる複数点に対して獲得される赤外線の強度を示すことを特徴とする請求項27に記載のシステム。
【請求項29】
メモリに保存されるマシン命令により、さらに、プロセッサに画像データの第2組の第2値に対応する画像データの第1組の第1値からの減算を行わせ、この減算が、
D(x,y)=ION(x,y)−IOFF(x,y)で定義され、
ここで、
(a)x,yは、透光面の第1面のある点の座標位置を示し、
(b)ION(x,y)は、点x,yにおける第1の画像キャプチャ区間中で検出される赤外線の強度を示し、
(c)IOFF(x,y)は、点x,yにおける第2の画像キャプチャ区間中で検出される赤外線の強度を示し、
(d)D(x,y)は、第2の画像キャプチャ区間中で点x,yにおいて獲得される赤外線の強度が、第1の画像キャプチャ区間中で点x,yにおいて獲得される赤外線の強度から減算される際の点x,yにおける赤外線の正味強度を示す
ことを特徴とする請求項28に記載のシステム。
【請求項30】
メモリに保存されるマシン命令により、さらに、対象物の特性を認識するため、プロセッサに対象物に反射される赤外線を用いさせることを特徴とする請求項27に記載のシステム。
【請求項31】
プロジェクタで生成される光が透光面に向けられ、対象物と相互作用する透光面の相互作用面で見える画像を示すために用いられるよう透光面の処理面に設置されるプロジェクタ
をさらに備えたことを特徴とする請求項27に記載のシステム。
【請求項1】
必要赤外線光源を用いる画像システムにおける不要赤外線光源の影響を低下させる方法であって、
(a)第1の画像キャプチャ区間中で必要赤外線光源を活性化するステップと、
(b)第1の画像キャプチャ区間中で画像データの第1組を獲得するステップと、
(c)第2の画像キャプチャ区間中で必要赤外線光源を非活性化するステップと、
(d)第2の画像キャプチャ区間中で画像データの第2組を獲得するステップと、
(e)画像データの第2組の第2値に対応する画像データの第1組の第1値から減じることで画像データの合成組を生成するステップと
を備えることを特徴とする方法。
【請求項2】
画像キャプチャ装置で発生させる画像キャプチャ信号により、必要赤外線光源を第1の画像キャプチャ区間中で活性化し、第2の画像キャプチャ区間中で非活性化するよう画像キャプチャ装置で必要赤外線光源の活性化を制御するステップ
をさらに備えることを特徴とする請求項1に記載の方法。
【請求項3】
(a)透光面の反対側に隣接して配設される対象物に赤外線を向けるよう必要赤外線光源を透光面の第1面に設置するステップと、
(b)必要赤外線光源で生成され対象物に反射される赤外線を獲得するよう画像キャプチャ装置を透光面の第1面に設置するステップと
をさらに備えることを特徴とする請求項2に記載の方法。
【請求項4】
画像データの第1組の第1値が、必要赤外線光源が活性化されている際の第1の画像キャプチャ区間中で透光面の第1面にわたる複数点に対して獲得される赤外線の強度を示し、画像データの組の第2値が、必要赤外線光源が非活性化されている際の第2の画像キャプチャ区間中で透光面の第1面にわたる複数点に対して獲得される赤外線の強度を示すことを特徴とする請求項3に記載の方法。
【請求項5】
画像データの第2組の第2値に対応する画像データの第1組の第1値からの減算が、
D(x,y)=ION(x,y)−IOFF(x,y)で定義され、
ここで:
(a)x,yは、透光面の第1面のある点の座標位置を示し、
(b)ION(x,y)は、点x,yにおける第1の画像キャプチャ区間中で検出される赤外線の強度を示し、
(c)IOFF(x,y)は、点x,yにおける第2の画像キャプチャ区間中で検出される赤外線の強度を示し、
(d)D(x,y)は、第2の画像キャプチャ区間中で点x,yで獲得される赤外線の強度が、第1の画像キャプチャ区間中で点x,yで獲得される赤外線の強度から減算される際の点x,yにおける赤外線の正味強度を示す
ことを特徴とする請求項4に記載の方法。
【請求項6】
画像データの合成組を画像処理システムに送信するステップ
をさらに備えることを特徴とする請求項3に記載の方法。
【請求項7】
対象物の特性を認識するため、対象物に反射される赤外線を用いるステップ
をさらに備えることを特徴とする請求項6に記載の方法。
【請求項8】
透光面に向けられるプロジェクタからの光が、対象物と相互作用する透光面の反対側で見える画像を示すために用いられるよう透光面の第1面にプロジェクタを設置するステップ
をさらに備えることを特徴とする請求項3に記載の方法。
【請求項9】
必要赤外線光源を用いる画像システムにおける不要赤外線光源の影響を低下させる方法であって、
(a)画像キャプチャ装置で発生させた画像信号で必要赤外線光源の活性化を選択的に調整するステップと、
(b)画像信号が第1の画像キャプチャ区間の開始点を示す場合に必要赤外線光源を活性化するステップと、
(c)第1の画像キャプチャ区間中で画像データの第1組を獲得するステップと、
(d)画像信号が第2の画像キャプチャ区間の開始点を示す場合に必要赤外線光源を非活性化するステップと、
(e)第2の画像キャプチャ区間中で画像データの第2組を獲得するステップと、
(f)画像データの第2組の第2値に対応する画像データの第1組の第1値から減じることで画像データの合成組を生成するステップと、
(g)画像データの合成組を画像処理システムに送信するステップと
を備えることを特徴とする方法。
【請求項10】
(a)透光面の反対側に隣接して配設される対象物に赤外線を向けるよう必要赤外線光源を透光面の第1面に設置するステップと、
(b)対象物に反射される必要赤外線光源からの赤外線を獲得するよう画像キャプチャ装置を透光面の第1面に設置するステップと
をさらに備えることを特徴とする請求項9に記載の方法。
【請求項11】
画像データの第1組の第1値が、必要赤外線光源が活性化されている際の第1の画像キャプチャ区間中で透光面の第1面にわたる複数点に対して獲得される赤外線の強度を示し、この画像データ組の第2値が、必要赤外線光源が非活性化されている際の第2の画像キャプチャ区間中で透光面の第1面にわたる対応する複数点に対して獲得される赤外線の強度を示すことを特徴とする請求項10に記載の方法。
【請求項12】
画像データの第2組の第2値に対応する画像データの第1組の第1値からの減算が、
D(x,y)=ION(x,y)−IOFF(x,y)で定義され、
ここで、
(a)x,yは、透光面の第1面のある点の座標位置を示し、
(b)ION(x,y)は、点x,yにおける第1の画像キャプチャ区間中で検出される赤外線の強度を示し、
(c)IOFF(x,y)は、点x,yにおける第2の画像キャプチャ区間中で検出される赤外線の強度を示し、
(d)D(x,y)は、第2の画像キャプチャ区間中で点x,yで獲得される赤外線の強度が、第1の画像キャプチャ区間中で点x,yで獲得される赤外線の強度から減算される際の点x,yにおける赤外線の正味強度を示す
ことを特徴とする請求項11に記載の方法。
【請求項13】
対象物の特性を認識するため、対象物に反射される赤外線を用いるステップをさらに備えることを特徴とする請求項10に記載の方法。
【請求項14】
透光面に向けられたプロジェクタからの光が、対象物と相互作用する透光面の反対側で見える画像を示すために用いられるよう透光面の第1面にプロジェクタを設置するステップ
をさらに備えることを特徴とする請求項10に記載の方法。
【請求項15】
必要赤外線光源と画像キャプチャ装置とを用いて透光面上に、あるいはそれに隣接するよう配設される対象物に対して画像データを獲得するための方法であって、
(a)赤外線を対象物に向けるよう必要赤外線光源を透光面の第1面に設置するステップと、
(b)必要赤外線光源で投射され対象物で反射される赤外線を獲得するよう画像キャプチャ装置を透光面の第1面に設置するステップと、
(c)画像信号が第1の画像キャプチャ区間の開始点を示す場合に必要赤外線光源を活性化するステップと、
(d)第1の画像キャプチャ区間中で画像データの第1組を獲得するステップと、
(e)画像信号が第2の画像キャプチャ区間の開始点を示す場合に必要赤外線光源を非活性化するステップと、
(f)第2の画像キャプチャ区間中で画像データの第2組を獲得するステップと、
(g)画像データの第2組の第2値に対応する画像データの第1組の第1値から減じることで画像データの合成組を生成するステップと
を備えることを特徴とする方法。
【請求項16】
画像キャプチャ装置で生成される画像キャプチャ信号により、必要赤外線光源を第1の画像キャプチャ区間中で活性化し、第2の画像キャプチャ区間中で非活性化するよう画像キャプチャ装置で必要赤外線光源の活性化を制御するステップ
をさらに備えることを特徴とする請求項15に記載の方法。
【請求項17】
請求項15に記載の方法であって、画像データの第1組の第1値が、必要赤外線光源が活性化されている際の第1の画像キャプチャ区間中で透光面の第1面にわたる複数点に対して獲得される赤外線の強度を示し、画像データの組の第2値が、必要赤外線光源が非活性化されている際の第2の画像キャプチャ区間中で透光面の第1面にわたる複数点に対して獲得される赤外線の強度を示すことを特徴とする請求項15に記載の方法。
【請求項18】
画像データの第2組の第2値に対応する画像データの第1組の第1値からの減算が、
D(x,y)=ION(x,y)−IOFF(x,y)で定義され、
ここで、
(a)x,yは、透光面の第1面のある点の座標位置を示し、
(b)ION(x,y)は、点x,yにおける第1の画像キャプチャ区間中で検出される赤外線の強度を示し、
(c)IOFF(x,y)は、点x,yにおける第2の画像キャプチャ区間中で検出される赤外線の強度を示し、
(d)D(x,y)は、第2の画像キャプチャ区間中で点x,yで獲得される赤外線の強度が、第1の画像キャプチャ区間中で点x,yで獲得される赤外線の強度から減算される際の点x,yにおける赤外線の正味強度を示す
ことを特徴とする請求項17に記載の方法。
【請求項19】
画像データの合成組を画像処理システムに送信するステップ
をさらに備えることを特徴とする請求項15に記載の方法。
【請求項20】
対象物の特性を認識するため、対象物に反射される赤外線を用いるステップ
をさらに備えることを特徴とする請求項19に記載の方法。
【請求項21】
プロジェクタが、対象物と相互作用する透光面の反対側で見える画像を示すため、透光面に光を向けるよう透光面の第1面にプロジェクタを設置するステップ
をさらに備えることを特徴とする請求項15に記載の方法。
【請求項22】
実行中のアプリケーションに入力を行うためのシステムであって、
(a)処理面と相互作用面とをもつ透光面であって、対象物を相互作用面上に、あるいはそれに隣接して配設できるよう構成され、処理面が相互作用面の反対側にある透光面と、
(b)透光面の処理面に配設される必要赤外線光源であって、この必要赤外線光源が選択的に赤外線を照射し、これが透光面を通して相互作用面に伝えられて、透光面の相互作用面上に、あるいはそれに隣接して配設される対象物によって透光面を通して後方反射される赤外線光源と、
(c)透光面の処理面に配設される画像キャプチャ装置であって、対象物とその場所とを検出するため、透光面を通過して相互作用表示面に画像形成する赤外線をこの画像キャプチャ装置が検出する画像キャプチャ装置と、
(d)必要赤外線光源と画像キャプチャ装置に通信するプロセッサと、
(e)プロセッサと通信するメモリであって、このメモリがデータとマシン命令とを保存し、マシン命令がプロセッサに複数の機能を実行させ、該機能が、
(i)第1の画像キャプチャ区間中で必要赤外線光源を活性化するステップと、
(ii)画像キャプチャ装置を用いて第1の画像キャプチャ区間中で画像データの第1組を獲得するステップと、
(iii)第2の画像キャプチャ区間中で必要赤外線光源を非活性化するステップと、
(iv)画像キャプチャ装置を用いて第2の画像キャプチャ区間中で画像データの第2組を獲得するステップと、
(v)画像データの第2組の第2値に対応する画像データの第1組の第1値から減算することで画像データの合成組を発生させるステップであって、画像キャプチャ装置で獲得され必要赤外線光源で照射されない赤外線の影響がデータの合成組で大幅に除去されるステップと
を含むメモリと
を備えたことを特徴とするシステム。
【請求項23】
画像データの第1組の第1値が、必要赤外線光源が活性化されている際の第1の画像キャプチャ区間中で透光面の第1面にわたる複数点に対して画像キャプチャ装置で獲得される赤外線の強度を示し、画像データ組の第2値が、必要赤外線光源が非活性化されている際の第2の画像キャプチャ区間中で透光面の第1面にわたる複数点に対して画像キャプチャ装置で獲得される赤外線の強度を示すことを特徴とする請求項22に記載のシステム。
【請求項24】
メモリに保存されるマシン命令により、さらに、プロセッサに画像データの第2組の第2値に対応する画像データの第1組の第1値からの減算を行わせ、この減算が、
D(x,y)=ION(x,y)−IOFF(x,y)で定義され、
ここで、
(a)x,yは、透光面の第1面のある点の座標位置を示し、
(b)ION(x,y)は、点x,yにおける第1の画像キャプチャ区間中で画像キャプチャ装置により検出される赤外線の強度を示し、
(c)IOFF(x,y)は、点x,yにおける第2の画像キャプチャ区間中で画像キャプチャ装置により検出される赤外線の強度を示し、
(d)D(x,y)は、第2の画像キャプチャ区間中で点x,yで獲得される赤外線の強度が、第1の画像キャプチャ区間中で点x,yで獲得される赤外線の強度から減算される際の点x,yにおける赤外線の正味強度を示す
ことを特徴とする請求項22に記載のシステム。
【請求項25】
メモリに保存されるマシン命令により、さらに、対象物の特性を認識するため、プロセッサに対象物で反射される赤外線を用いさせることを特徴とする請求項22に記載のシステム。
【請求項26】
プロジェクタからの光が透光面に向けられ、対象物と相互作用する透光面の相互作用面で見える画像を示すために用いられるよう透光面の処理面に設置されるプロジェクタをさらに備えたことを特徴とする請求項22に記載のシステム。
【請求項27】
実行中のアプリケーションに入力を行うためのシステムであって、
(a)処理面と相互作用面とをもつ透光面であって、対象物を相互作用面上に、あるいはそれに隣接して配設できるよう構成され、処理面が相互作用面の反対側にある透光面と、
(b)透光面の処理面に配設される画像キャプチャ装置であって、対象物とその場所とを検出するため、透光面を通過して相互作用表示面に画像形成する赤外線をこの画像キャプチャ装置が検出し、当該画像キャプチャ装置が画像キャプチャ信号を発生させるよう構成される画像キャプチャ装置と、
(c)透光面の処理面に配設される必要赤外線光源であって、この必要赤外線光源が選択的に赤外線を照射し、これが透光面を通して相互作用面に伝えられて、透光面の相互作用面上に、あるいはそれに隣接して配設される対象物によって透光面を通して後方反射される赤外線光源と、
(d)赤外線光源制御装置であって、
(i)画像キャプチャ信号を受け入れ、
(ii)必要赤外線光源が、第1の画像キャプチャ区間を示す第1の画像キャプチャ信号受信時に活性化され、第2の画像キャプチャ区間を示す第2の画像キャプチャ信号受信時に非活性化されるよう画像キャプチャ信号受信に応じて必要赤外線光源を選択的に操作させる
よう構成される赤外線光源制御装置と、
(e)赤外線光源および画像キャプチャ装置と通信するプロセッサと、
(f)プロセッサと通信するメモリであって、このメモリがデータとマシン命令とを保存し、マシン命令がプロセッサに複数の機能を実行させ、該機能が、
(i)画像キャプチャ装置を用いて第1の画像キャプチャ区間中で画像データの第1組を獲得するステップと、
(ii)画像キャプチャ装置を用いて第2の画像キャプチャ区間中で画像データの第2組を獲得するステップと、
(iii)画像データの第2組の第2値に対応する画像データの第1組の第1値から減算することで画像データの合成組を発生させるステップであって、画像キャプチャ装置で獲得される不要赤外線の影響がデータの合成組で大幅に相殺されるステップと
を含むメモリと
を備えたことを特徴とするシステム。
【請求項28】
画像データの第1組の第1値が、必要赤外線光源が活性化されている際の第1の画像キャプチャ区間中で透光面の第1面にわたる複数点に対して画像キャプチャ装置で獲得される赤外線の強度を示し、画像データ組の第2値が、必要赤外線光源が非活性化されている際の第2の画像キャプチャ区間中で透光面の第1面にわたる複数点に対して獲得される赤外線の強度を示すことを特徴とする請求項27に記載のシステム。
【請求項29】
メモリに保存されるマシン命令により、さらに、プロセッサに画像データの第2組の第2値に対応する画像データの第1組の第1値からの減算を行わせ、この減算が、
D(x,y)=ION(x,y)−IOFF(x,y)で定義され、
ここで、
(a)x,yは、透光面の第1面のある点の座標位置を示し、
(b)ION(x,y)は、点x,yにおける第1の画像キャプチャ区間中で検出される赤外線の強度を示し、
(c)IOFF(x,y)は、点x,yにおける第2の画像キャプチャ区間中で検出される赤外線の強度を示し、
(d)D(x,y)は、第2の画像キャプチャ区間中で点x,yにおいて獲得される赤外線の強度が、第1の画像キャプチャ区間中で点x,yにおいて獲得される赤外線の強度から減算される際の点x,yにおける赤外線の正味強度を示す
ことを特徴とする請求項28に記載のシステム。
【請求項30】
メモリに保存されるマシン命令により、さらに、対象物の特性を認識するため、プロセッサに対象物に反射される赤外線を用いさせることを特徴とする請求項27に記載のシステム。
【請求項31】
プロジェクタで生成される光が透光面に向けられ、対象物と相互作用する透光面の相互作用面で見える画像を示すために用いられるよう透光面の処理面に設置されるプロジェクタ
をさらに備えたことを特徴とする請求項27に記載のシステム。
【図1】
【図3】
【図4A】
【図4C】
【図4E】
【図5】
【図6】
【図2】
【図4B】
【図4D】
【図4F】
【図3】
【図4A】
【図4C】
【図4E】
【図5】
【図6】
【図2】
【図4B】
【図4D】
【図4F】
【公開番号】特開2011−238292(P2011−238292A)
【公開日】平成23年11月24日(2011.11.24)
【国際特許分類】
【出願番号】特願2011−178989(P2011−178989)
【出願日】平成23年8月18日(2011.8.18)
【分割の表示】特願2005−176633(P2005−176633)の分割
【原出願日】平成17年6月16日(2005.6.16)
【出願人】(500046438)マイクロソフト コーポレーション (3,165)
【Fターム(参考)】
【公開日】平成23年11月24日(2011.11.24)
【国際特許分類】
【出願日】平成23年8月18日(2011.8.18)
【分割の表示】特願2005−176633(P2005−176633)の分割
【原出願日】平成17年6月16日(2005.6.16)
【出願人】(500046438)マイクロソフト コーポレーション (3,165)
【Fターム(参考)】
[ Back to top ]