光周波数を用いて周囲光のキャンセルを行うための方法及びそのシステム
【課題】制御光源を使用してイメージングシステムにおける非制御光の影響の補償を実現すること。
【解決手段】オブジェクトが反射する制御光源からの光及び非制御光が、複数の周波数範囲において検出される。この非制御光の光強度は、この異なる周波数範囲の光に対するイメージセンサの変化する感度と、この周波数範囲におけるこの制御光源の知られている放射特性に基づいて決定される。この非制御光の光強度が決定された後に、各ポイントにおいて検出される全体の光を調整して、このイメージングシステムによって生成される結果イメージングデータ中のこの非制御光の影響を低下させる。
【解決手段】オブジェクトが反射する制御光源からの光及び非制御光が、複数の周波数範囲において検出される。この非制御光の光強度は、この異なる周波数範囲の光に対するイメージセンサの変化する感度と、この周波数範囲におけるこの制御光源の知られている放射特性に基づいて決定される。この非制御光の光強度が決定された後に、各ポイントにおいて検出される全体の光を調整して、このイメージングシステムによって生成される結果イメージングデータ中のこの非制御光の影響を低下させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般にアクティブイメージング（ａｃｔｉｖｅ ｉｍａｇｉｎｇ）に関し、より詳細には、対象領域における意図的でなく、かつ望ましくない光源からの照明の影響を低下させてこのアクティブイメージングデータの精度を改善するようにした、光周波数を用いて周囲光のキャンセルを行うための方法及びそのシステムに関する。
【背景技術】
【０００２】
望ましくない信号の存在は、ほとんどすべての電磁信号の処理において問題になる。ラジオ受信器など比較的簡単なシステムにおいてさえ、スケルチコントロール（ｓｑｕｅｌｃｈ ｃｏｎｔｒｏｌ）が、しばしばある大きさより小さな信号を減衰させるように提供されて、対象となる信号が受信されていないときに聞こえる望ましくないバックグラウンド雑音（ｂａｃｋｇｒｏｕｎｄ ｓｔａｔｉｃ）を回避している。望ましくないバックグラウンド雑音を構成するものは、ユーザが判断するものであり、ユーザは、このスケルチコントロールレベルを設定して、このユーザの判断に基づいて受信される信号の可聴性を制限することができる。
【０００３】
コンピュータシステムが自律的に入力信号に応答する自動化信号処理システムは、さらに困難な問題を提示する。ユーザが経験及び判断に基づいてスケルチコントロールレベルを調整することができる、上述したスケルチコントロールの実施例とは違って、コンピュータシステムをプログラムして、望ましいある種の信号と、望ましくないある種の信号とを区別する制限を自動的に設定することは、より困難である。例えば、コンピュータは、キーボード、ポインティングデバイス、及び同様な入力デバイスからのあいまいではない入力に対してはうまく応答するが、ボイスコマンドには、あまり十分には応答しない。音声認識プログラムを使用したことのある者なら誰でも、このコンピュータが、ユーザが発言している何かを認識できないときに、何らかの困難を経験している。予想し得るように、このコンピュータがユーザの話し言葉を正確に認識できないことについては、このコンピュータが知覚する全体的な聴覚入力に影響を及ぼすバックグラウンドノイズ又は他の音声の存在するところではより頻繁に発生する。
【０００４】
【非特許文献１】Brygg Ullmer and Hiroshi Ishii, ”The metaDESK: Models and Prototypes for Tangible User Interfaces,” Proceedings of UIST 10/1997:14-17
【発明の開示】
【発明が解決しようとする課題】
【０００５】
オブジェクトのコンピュータビジョン認識は、別の困難な問題を再提示する。このコンピュータがあまりに多すぎる視覚データ又はあまりに広すぎる範囲の視覚信号を処理する必要がある場合、この入力は、このコンピュータによって読み間違えられ、間違って解釈される可能性がより高くなることになる。他方、このコンピュータが、適切にオブジェクトを知覚するために必要とされる視覚信号を不適切に抑制する場合には、このコンピュータはまた、視覚入力を読み間違えることもあり、また重要な視覚入力を完全に無視してしまうこともある。コンピュータビジョンは、コンピュータ及びこれらのコンピュータのインターフェースをさらにユーザフレンドリにする際に、さらにますます重要になりつつある。例えば、ＭＩＴメディア研究所は、ｍｅｔａＤＥＳＫについて報告されているようにコンピュータビジョンを使用する「キーボードのない」人間−マシンインターフェースの形態を開発している（例えば、非特許文献１参照）。このｍｅｔａＤＥＳＫは、一般的に、コンピューティングシステムテキスト及びグラフィック出力を表示するだけでなく、このグラフィック表面上に置かれたオブジェクトを「見ること」により、またオブジェクトに応答することによりユーザ入力も受け取る平面のグラフィック表面を含んでいる。このｍｅｔａＤＥＳＫのグラフィック表面のこの組み合わされたオブジェクトの応答機能及び表示機能は、このｍｅｔａＤＥＳＫの表面の下に配置されたＩＲ（ｉｎｆｒａｒｅｄ；赤外線）ランプ、ビデオカメラ又は他のイメージセンサ、ビデオプロジェクタ、及びミラーを使用して実行される。このミラーは、このグラフィックディスプレイ表面の下側の面上にこのプロジェクタによって投影されるグラフィックイメージを反射して、このグラフィックディスプレイ表面上からユーザにとって目に見えるイメージを提供する。ＩＲカメラは、このグラフィック表面上に配置されたオブジェクトの裏面からのＩＲ反射を検出することができる。特別の形状をしたオブジェクト、又はグラフィックディスプレイ表面上に配置されたオブジェクトからのＩＲ−反射光を「見ること」及び検出することにより、このｍｅｔａＤＥＳＫは、このディスプレイ表面上のオブジェクトの同時の配置及び移動に応答して、このｍｅｔａＤＥＳＫの表面上に表示されるＭＩＴキャンパスの地図を表示や移動など、予め決められたファンクションを実行することができる。
【０００６】
他者も、同様なキーボードのないインターフェースを開発していたことがある。例えば、ソニーコンピュータサイエンス研究所のＪｕｎ Ｒｅｋｉｍｏｔｏとその仲間が発表した論文は、表面上にイメージを表示し、ＩＲ光を使用してこの表面に近接して配置されたオブジェクトを検出する「ＨｏｌｏＷａｌｌ」及び「ＨｏｌｏＴａｂｌｅ」について説明している。
【０００７】
このｍｅｔａＤＥＳＫも、ＨｏｌｏＷａｌｌ／ＨｏｌｏＴａｂｌｅも共に、いくつかの理由からＩＲ光を使用してオブジェクトを見ており、またオブジェクトの移動を検出する。このシステムが可視光に応答するものとした場合には、このインタラクティブな表面によって部分的に反射して返されるはずの、イメージを生成するシステムが投影する可視光が、このコンピュータビジョンシステムによる誤った読取りをもたらす可能性がある。さらに、たとえかかる反射を抑制することができたとしても、このシステムが、暗い部屋に配置されていない限り、このインタラクティブディスプレイ表面を通過する室内照明及び他の可視光が、このコンピュータビジョンシステムに悪影響を与えるはずである。さらに、かかるシステムが可視光に反応するように構成されるものとした場合には、オブジェクト及び移動を検出するための十分な可視光が存在しないはずであり、又はオブジェクト及び移動を検出するために使用される光が、このユーザが見ることを意図した暗いイメージ又はぼんやりしたイメージを覆い隠してしまうはずであるので、このシステムは、暗い画面又はぼんやりした画面を生成することはできないことになる。
【０００８】
ＩＲ光を、又はＵＶ（ｕｌｔｒａｖｉｏｌｅｔ；紫外）光など、可視光スペクトルの外側の他の非可視光を使用して、インタラクティブディスプレイ表面上に配置されたオブジェクトを検出することにより、可視光を用いてオブジェクトを認識しようとすることから生ずるはずの一部の問題を回避することができる。しかしながら、様々な可視光源もまたＵＶ光及び／又はＩＲ光を発生するので、かかる周囲光源からの光は、コンピュータビジョンシステムに悪影響を与える可能性もある。例えば、白熱電球、太陽光及び様々な他の一般光源は、ＩＲ光及び／又はＵＶ光を発生する。意図的でない可視光信号と同様に、これらの意図的でないＩＲ信号は、非可視光感受性を有するコンピュータビジョンシステムに対して望ましくない入力を提供する可能性がある。帯域通過型フィルタは、一般に望ましくない光帯域幅を抑制することができるが、オブジェクトから反射される制御光源からの光を、たまたま非可視光を含んでいる周囲光から分離する助けにはならない。
【０００９】
非制御光源の影響を抑制するための一方法は、制御光源からの照明を選択的に制御し、交互に点灯され、消灯されるこの制御光源を用いてイメージデータのフレームを取り込むことである。制御光源が消灯されて取り込まれるフレームは、非可視光を発生する任意の非制御光源からもたらされるデータを表す。したがって、この制御光源をオフにして取り込まれるフレームにおいて検出される光強度を差し引くことを使用して、非制御光源の影響について補償することができる。かかるプロセスは、２００４年６月１６日に出願の「Method And System For Reducing Effects Of Undesired Signals In An Infrared Imaging System」という名称の、本同一出願人による同時係属の米国特許出願第１０／８７０，７７７号明細書中に説明されている。かかるシステムは、多数のコンテキストで動作可能とすることができる。
【００１０】
しかし、イメージングシステムが、移動している物体をイメージ化している状況においては、かかるタイムスライシングシステム（ｔｉｍｅ−ｓｌｉｃｉｎｇ ｓｙｓｔｅｍ）は、あまり最適ではないこともある。かかるタイムスライシングシステムを使用することにより、データの取り込みのために実際に使用可能な実効フレームキャプチャサイクル数が低減される。したがって、例えば、システムが交互に点灯され、次いで消灯される制御光源を用いてフレームを取り込むように構成される場合には、ビジョンデータについてのイメージングシステムの実効キャプチャレートは、常にビジョンデータを取り込んでいるシステムのキャプチャレートの２分の１にすぎない。例えば、この制御光源を点灯し、次いで消灯してフレームキャプチャを交互に行うことにより、毎秒３０フレームを取り込むことができるデジタルカメラの実効キャプチャレートは、事実上毎秒１５フレームに低減される。さらに、イメージデータをより少ない頻度で取り込むことにより、このシステムは、この制御光源が消灯される時間間隔中にイメージ化されるオブジェクトが移動するときに生じ得る読取りエラーの影響をより受けやすくなる。したがって、イメージデータを低下されたレートでサンプリングして、使用可能なキャプチャサイクルの一部分を使用して周囲光について補償するイメージキャプチャシステムにおいては、結果イメージデータは、途切れ途切れになり、歪められ、かつ／又は重要なオブジェクトの動きを見失うこともあり得る。
【００１１】
したがって、意図的でなく望ましくない光信号の影響をフィルタリングし、マスキングし、それとも低下させて、このビジョンシステムが使用するのと同じ周波数帯の光を有する外部光信号にビジョンシステムが応答しないようにすることが望ましい。すべてのバックグラウンド光源からコンピュータビジョンシステムをシールドする環境中で、コンピュータビジョンシステムを動作させる必要なしに、望ましくないバックグラウンド光の影響は、オブジェクトを検出する際に回避されるべきである。さらに、イメージキャプチャサイクルを犠牲にすることなく、対象となるフィールド中を移動するオブジェクトからもたらされるデータを正確に取り込む機能を損なう可能性がある、意図的でなく望ましくない光源によって生成される光の影響を低下させることが望ましい。
【００１２】
本発明は、このような問題に鑑みてなされたもので、その目的とするところは、対象領域における意図的でなく、かつ望ましくない光源からの照明の影響を低下させてアクティブイメージングデータの精度を改善するようにした、光周波数を用いて周囲光のキャンセルを行うための方法及びそのシステムを提供することにある。
【課題を解決するための手段】
【００１３】
本発明のより重要なファンクションの１つは、制御光源が放射する周波数帯を含む光を発生する、太陽光、白熱電球、及び他の外部光源などの周囲光を含めて、イメージングシステムにおける望ましくない光源、又は非制御光源の影響を低下させることである。本発明においては、１つ又は複数のイメージ化されるオブジェクトによって反射される制御光源によって発生する光と、任意の非制御光源が発生する光を共に含むイメージングデータが、対象領域から取り込まれる。対象領域からの光は、イメージングデータを収集するために使用され、複数の周波数範囲の光に対して感受性のあるイメージセンサによって感知される。異なる周波数範囲における光に対するこのイメージセンサの感受性における変化を知り、この周波数範囲における制御光源の放射特性を知ることにより、この非制御光の光強度を決定し、このイメージングデータから除去することができる。
【００１４】
したがって、本発明の一実施形態は、イメージングデータ中の非制御光の影響を低下させる方法を対象としている。対象領域は、複数の周波数範囲において知られている強度の光を放射する制御光源によって発生される制御光で照明される。イメージセンシングシステムは、対象領域からの光を受光するように配置される。このイメージセンサは、この複数の周波数範囲の各々における光強度を検出するように構成され、この複数の周波数範囲の各々において受光される光に対するこのイメージセンシングシステムの異なる感度が確認されている。この複数の周波数範囲の各々における、対象領域から受光される光強度が検出され、この受光された光は、この非制御光と対象領域から反射されている制御光の一部分とを含んでいる。この受光された光に含まれる非制御光の光強度は、この制御光源の知られている光強度と、この複数の周波数範囲の各々において検出される光強度（ｔｈｅ ｉｎｔｅｎｓｉｔｙ ｏｆ ｌｉｇｈｔ）に基づいて計算される。このイメージングデータに対するこの非制御光の寄与（ｃｏｎｔｒｉｂｕｔｉｏｎ）について補償が行われるように、このイメージングデータは、非制御光の計算された光強度のファンクションとして調整される。
【００１５】
この制御光源は、赤外線スペクトル、可視光スペクトル、又は紫外線スペクトルの制御光を放射する。本発明の一実施形態においては、この制御光源は、これらの周波数範囲の各々においてほぼ等しい強度の光を放射するように構成されている。
【００１６】
この受光された光強度を検出すること、この非制御光の光強度を計算すること、及びこのイメージングデータを調整することは、対象領域を構成する複数の部分のそれぞれについて実施される。本発明の一実施形態においては、対象領域のこれらの部分は、対象領域中の各ポイントを含んでいる。したがって、このイメージングデータを調整することは、対象領域内の各ポイントにおける受光された光強度からこの非制御光の計算された光強度を差し引くことにより、この非制御光の計算された光強度に基づいてこのイメージングデータを調整することを含んでいる。
【００１７】
このイメージセンシングシステムは、いくつかの異なるタイプのセンサを含むことができる。例えば、このイメージセンシングシステムは、モザイクフィルタが取り付けられたセンサを含むことができ、ここでは、このセンサは、それぞれがフィルタエレメントに関連している複数の位置を含んでいる。各フィルタエレメントは、選択された周波数範囲の光がこの複数の位置の各々において通過できるように構成される。代わりに、このイメージセンシングシステムは、複数のイメージセンサを含むこともでき、ここで、各センサは、異なる周波数範囲における光を受光するようになっている。さらに、このイメージセンシングシステムは、特定の周波数範囲が、サイクリングフィルタ（ｃｙｃｌｉｎｇ ｆｉｌｔｅｒ）の各サイクル中に通過することができるようにする複数のフィルタエレメントを有するサイクリングフィルタが取り付けられたセンサを含むこともできる。このフィルタエレメントは、赤色、青色、又は緑色の周波数範囲中の光を通過させるように構成することもできる。また、このイメージセンシングシステムは、各検出セルが、特定の周波数範囲の光を検出するように構成されるように、複数の位置の各々に複数の検出セルを有する複合カラーイメージセンサを含むこともできる。
【００１８】
本発明の一実施形態においては、このイメージセンシングシステムは、デジタルカメラを備えており、また、複数の位置の各々がこのデジタルカメラのピクセルに対応する、複数の位置の各々において予め決められた光の周波数範囲を通過させるベイヤタイプ（Ｂａｙｅｒ−ｔｙｐｅ）のモザイクフィルタを有する。
【００１９】
本発明の上述した実施形態及び多数の付随する利点は、これらが以下の詳細な説明を添付図面と併せ参照することによりさらに良く理解されるようになるので、より簡単に理解されるようになろう。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照して本発明の実施の形態について説明する。
【００２１】
＜本発明を実装するための例示のコンピューティングシステム＞
図１は、インタラクティブなディスプレイ表面についてのイメージ処理に適した、本発明を実行する際に有用となる一般的な従来のコンピューティングデバイス又はパーソナルコンピュータ（ＰＣ）の機能ブロック図で、本発明の様々な部分を実装するために適した例示のシステムが示されている。このシステムは、処理装置２１とシステムメモリ２２及びシステムバス２３が設けられた従来のＰＣ２０の形態の汎用コンピューティングデバイスを備えている。このシステムバス２３は、このシステムメモリ２２を含めて様々なシステムコンポーネントを処理装置２１に結合し、メモリバス又はメモリコントローラとペリフェラルバス及び様々なバスアーキテクチャのうちのどれかを使用したローカルバスを含めて、いくつかのタイプのバス構造のうちのどれでも使用することができる。このシステムメモリ２２は、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ；読取り専用メモリ）２４及びＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ；ランダムアクセスメモリ）２５を備えている。起動中などにＰＣ２０内のエレメント間で情報を転送する助けをする基本ルーチンを含むＢＩＯＳ（ｂａｓｉｃ ｉｎｐｕｔ／ｏｕｔｐｕｔ ｓｙｓｔｅｍ；基本入出力システム）２６は、ＲＯＭ２４に記憶される。ＰＣ２０は、ハードディスク（図示せず）から情報を読み取り、それに情報を書き込むハードディスクドライブ２７と着脱可能な磁気ディスク２９から情報を読み取り、又はそれに情報を書き込む磁気ディスクドライブ２８及びＣＤ−ＲＯＭ（ｃｏｍｐａｃｔ ｄｉｓｋ−ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ；コンパクトディスク−読取り専用メモリ）や他の光媒体など着脱可能な光ディスク３１から情報を読み取り、又はそれに情報を書き込む光ディスクドライブ３０をさらに備えている。ハードディスクドライブ２７と磁気ディスクドライブ２８及び光ディスクドライブ３０は、それぞれハードディスクドライブインターフェース３２と磁気ディスクドライブインターフェース３３及び光ディスクドライブインターフェース３４によってシステムバス２３に接続されている。これらのドライブ及びこれらに関連するコンピュータ読取り可能な媒体は、ＰＣ２０のためのコンピュータ読取可能マシン命令とデータ構造とプログラムモジュール及び他のデータの不揮発性ストレージを実現する。本明細書中で説明しているこの例示の環境は、ハードディスクと着脱可能な磁気ディスク２９及び着脱可能な光ディスク３１を使用しているが、磁気カセット、フラッシュメモリカード、ＤＶＤ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｋ；デジタルビデオディスク）、ベルヌーイカートリッジ（Ｂｅｒｎｏｕｌｌｉ ｃａｒｔｒｉｄｇｅ）、ＲＡＭ、ＲＯＭなど、コンピュータによってアクセス可能なデータ及びマシン命令を記憶することができる他のタイプのコンピュータ読取り可能な媒体も、この例示の動作環境中で使用できる。
【００２２】
オペレーティングシステム３５と、１つ又は複数のアプリケーションプログラム３６と、他のプログラムモジュール３７及びプログラムデータ３８を含めて、いくつかのプログラムモジュールは、ハードディスク、磁気ディスク２９、光ディスク３１、ＲＯＭ２４、又はＲＡＭ２５に記憶することができる。ユーザは、キーボード４０やポインティングデバイス４２などの入力デバイスを介してＰＣ２０中にコマンド及び情報を入力し、制御入力を提供することができる。ポインティングデバイス４２は、マウス、スタイラス、無線リモートコントロール、又は他のポインタを備えることができるが、本発明に関連しては、ユーザが入力及び制御のためにこのインタラクティブディスプレイを使用することができるので、かかる従来のポインティングデバイスは、省略することもできる。以下で使用するように、用語「マウス」は、この画面上のカーソルの位置を制御するために有用な事実上任意のポインティングデバイスを包含するように意図している。他の入力デバイス（図示せず）は、マイクロフォン、ジョイスティック、触覚に基づくジョイスティック、ヨーク（ｙｏｋｅ）、フットペダル、ゲームパッド、サテライトディッシュ、スキャナなどを備えてもよい。これら及び他のＩ／Ｏ（ｉｎｐｕｔ／ｏｕｔｐｕｔ；入出力）デバイスは、しばしばシステムバス２３に結合されるＩ／Ｏインターフェース４６を介して処理装置２１に接続されている。用語Ｉ／Ｏインターフェースは、シリアルポート、パラレルポート、ゲームポート、キーボードポート、及び／又はＵＳＢ（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ；ユニバーサルシリアルバス）のために専用に使用される各インターフェースを包含することを意図している。システムバス２３は、カメラインターフェース５９にも接続され、このカメラインターフェース５９は、インタラクティブディスプレイ６０に結合されて、以下で説明するようにデジタルビデオカメラ又はそれに含まれる同等のイメージセンサからの信号を受け取る。このイメージセンサは、その代わりにＵＳＢバージョン２．０ポートなどの適切なシリアルＩ／Ｏポートに結合することもできる。オプションモニタ４７は、ビデオアダプタ４８など適切なインターフェースを介してシステムバス２３に接続することができる。しかし、本発明のインタラクティブディスプレイテーブルは、ずっと豪華なディスプレイを提供し、情報の入力及びソフトウェアアプリケーションの制御を行うためにこのユーザと対話することができ、したがって、このビデオアダプタに結合されることが好ましい。ＰＣは、しばしば（サウンドカード又は他のオーディオインターフェース（図示せず）を介して）スピーカやプリンタなど他のペリフェラル出力デバイス（図示せず）に結合されることがある。
【００２３】
本発明は、単一のマシン上で実行することもできるが、ＰＣ２０はまた、リモートコンピュータ４９など１つ又は複数のリモートコンピュータへの論理接続を使用して、ネットワーク環境で動作することもできる。リモートコンピュータ４９は、別のＰＣ、（一般的に概してＰＣ２０そっくりに構成される）サーバ、ルータ、ネットワークＰＣ、ピアデバイス、あるいは人工衛星又は他の共通ネットワークノードとすることもでき、一般的にＰＣ２０に関連して前述したエレメントの多く又はすべてを含んでいるが、外部メモリストレージデバイス５０しか、図１には示していない。図１に示す論理接続は、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ；ローカルエリアネットワーク）５１及びＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ；ワイドエリアネットワーク）５２を備えている。かかるネットワーキング環境は、オフィスと、企業規模のコンピュータネットワークと、イントラネット及びインターネットにおいて一般的である。
【００２４】
ＬＡＮネットワーキング環境中で使用されるときには、ＰＣ２０は、ネットワークインターフェース又はアダプタ５３を介してＬＡＮ５１に接続されている。ＷＡＮネットワーキング環境中で使用されるときには、ＰＣ２０は、一般的にインターネットなどのＷＡＮ５２上で通信を確立するためのモデム５４や、ケーブルモデム、ＤＳＬ（Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ；デジタル加入者回線）インターフェース、又はＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ；統合デジタルサービス通信網）インターフェースなど他の手段を備えている。モデム５４は、内蔵又は外付けとすることができるが、Ｉ／Ｏデバイスインターフェース４６を経由して、すなわち、シリアルポートを介してシステムバス２３に接続され、又はこのバスに結合されることができる。ネットワーク環境においては、ＰＣ２０が使用するプログラムモジュール、又はその一部分は、このリモートメモリストレージデバイスに記憶することもできる。図に示すこれらのネットワーク接続は、例示的なものであり、無線通信ネットワークリンクや広帯域ネットワークリンクなど、コンピュータ間で通信リンクを確立する他の手段を使用することもできる。
【００２５】
＜例示のインタラクティブ表面及びイメージングシステム＞
図２は、内部コンポーネントを示している、インタラクティブディスプレイ表面の一実施形態の断面図で、フレーム６２内にＰＣ２０を備え、このコンピュータのための光学入力デバイス及びビデオディスプレイデバイスの両方の役割を果たす例示のインタラクティブディスプレイテーブル６０が示されている。このインタラクティブディスプレイテーブル６０のこの切取り図において、テキストイメージ及びグラフィックイメージを表示するために使用される光線は、一般的に点線（ｄｏｔｔｅｄ ｌｉｎｅ）を使用して示されるが、このインタラクティブディスプレイ表面６４ａ上の、又はすぐ上のオブジェクトを感知するために使用される赤外線（ＩＲ）光線は、破線（ｄａｓｈ ｌｉｎｅ）を使用して示される。ディスプレイ表面６４ａは、このインタラクティブディスプレイテーブル６０の上面６４内に配置される。このテーブル表面の周辺は、ディスプレイ表面６４ａ上に表示されているグラフィックイメージ又は仮想環境と対話するために使用することができるオブジェクトを含めて、ユーザの腕又は他のオブジェクトを支えるために役に立つ。図２に示す本発明の実施形態においては、このシステムは、ＩＲ光を使用して水平に配置されたディスプレイ表面６４ａに近接したオブジェクトをイメージ化するように構成されている。しかし、本発明の実施形態は、他のコンテキストにおいてイメージ化すること、ならびにＩＲ光に追加して、又はその代わりに可視光及び紫外線（ＵＶ）光を含めて他のスペクトルにおける制御光源を使用することにも適用可能である。
【００２６】
図２に示す実施形態において、ＩＲ光源６６は、複数のＩＲ発光ダイオード（ＬＥＤ）を備え、フレーム６２の内側に取り付けられることが好ましい。ＩＲ光源６６が発生するＩＲ光は、破線７８ａ、７８ｂ及び７８ｃによって示されるように、ディスプレイ表面６４ａの裏面に向かって上方に向けられる。ＩＲ光源６６からのＩＲ光は、光の拡散特性を有する１枚のベラム（ｖｅｌｌｕｍ）又は他の適切な半透明材料を含む、このテーブルの半透明層６４ｂを通過した後に、このディスプレイ表面６４ａ上又はそれに近接した任意のオブジェクトから反射される。１つのＩＲ光源６６しか示されていないが、複数のかかるＩＲ光源が、フレーム６２の内側の周囲のスペースを空けた位置に取り付けられて、ディスプレイ表面６４ａの一様な照明を実証することができる。これらのＩＲ光源によって発生される赤外光は、 ・破線７８ａによって示されるように、どのオブジェクトも照らさずにこのテーブル表面を通って出て行き、
・破線７８ｂによって示されるように、このテーブル表面上のオブジェクトを照らし、又は
・破線７８ｃによって示されるように、このテーブル表面上で少し離れているがこのテーブル表面とは接触していないオブジェクトを照らすことができる。
【００２７】
ディスプレイ表面６４ａ上のオブジェクトは、このディスプレイ表面６４ａ上に載っている「接触」オブジェクト７６ａと、このディスプレイ表面６４ａに近接しているが実際には接触していない「浮遊（ｈｏｖｅｒ）」オブジェクト７６ｂとを備えている。このディスプレイ表面６４ａ下の半透明層６４ｂを使用してこのディスプレイ表面６４ａを通過するＩＲ光を拡散する結果、オブジェクトがディスプレイ表面６４ａの上部に近づくにつれて、このオブジェクトによって反射されるＩＲ光量は、このオブジェクトがこのディスプレイ表面６４ａと実際に接触しているときに達成される最大レベルにまで増大する。
【００２８】
デジタルビデオカメラ又は同等なイメージセンサ６８は、ディスプレイ表面６４ａ上に配置された任意の接触オブジェクト又は浮遊オブジェクトから反射されるＩＲ光を受け取るのに適切な位置でディスプレイ表面６４ａの下のフレーム６２に取り付けられる。イメージセンサ６８は、ディスプレイ表面６４ａ上の少し離れた距離にあり、又はディスプレイ表面６４ａと接触しているオブジェクトから反射されたＩＲ光に対してしか応答せず、このディスプレイ表面６４ａ上、又はその上方にあるオブジェクトから反射されるＩＲ光のイメージに対応した出力信号を生成すべきことが好ましいので、バッフル７９が、ＩＲ光源６６とイメージセンサ６８の間に配置されて、このＩＲ光源から直接に放射されるＩＲ光がイメージセンサ６８に入射しないようにする。イメージセンサ６８はまた、このインタラクティブディスプレイテーブル６０の上から、及びその内部へとディスプレイ表面６４ａを通過する周囲光に含まれる任意のＩＲ光（例えば、点線８４ｂによって示される周囲可視光と一緒に、点線８４ａによって示される経路に沿って進むこともある周囲ＩＲ光）に対しても応答する。
【００２９】
このテーブル表面上の又はその上方のオブジェクトから反射されるＩＲ光は、
・破線８０ａ及び８０ｂによって示されるように、半透明層６４ｂを介して反射して戻り、イメージセンサ６８のレンズに入り、又は
・破線８０ｃによって示されるように、イメージセンサ６８のレンズに入射せずに、このインタラクティブディスプレイ内の他の内部表面によって反射又は吸収されることもある。
【００３０】
半透明層６４ｂは、入射ＩＲ光も反射ＩＲ光も共に拡散する。したがって、上述したように、ディスプレイ表面６４ａにより近接した「浮遊」オブジェクトは、このインタラクティブディスプレイ表面からさらに遠く離れた同じ反射率のオブジェクトよりも、多くのＩＲ光をイメージセンサ６８に対して反射して戻す。イメージセンサ６８は、そのイメージングフィールド内の「接触」オブジェクト及び「浮遊」オブジェクトから反射されるＩＲ光を感知し、処理して、かかる各オブジェクトの位置、ならびにオプションとして、このオブジェクトのサイズ、方向及び形状を決定するためにＰＣ２０に入力されるこの反射されたＩＲ光のイメージに対応するデジタル信号を生成する。（ユーザの前腕など）オブジェクトの一部分は、このテーブルの上方に離れて存在するが、（ユーザの指など）別の部分は、このインタラクティブディスプレイ表面と接触している。さらに、オブジェクトは、オブジェクトに特有の、又はこのオブジェクトがそのメンバである、関連したオブジェクトのクラスに特有の、その底面上のＩＲ光反射性パターン又はコード化識別子（例えば、バーコード）を含むことができる。したがって、本発明に従って、イメージセンサ６８からのイメージング信号は、その反射パターンから反射されるＩＲ光に基づいて、かかる特有のオブジェクトそれぞれを検出するために、またその方向を決定するために使用することもできる。このファンクションを実行するために実装される論理ステップは、以下で説明される。
【００３１】
本発明の実施形態によれば、以下でさらに説明するように、イメージセンサ６８には、１つ又は複数の追加のフィルタを装備することができ、あるいは複数の別々のカメラ又はイメージセンサを使用して、複数の周波数範囲の受光される光を取り込むことができる。
【００３２】
ＰＣ２０は、図２に示すようにインタラクティブディスプレイテーブル６０と一体化されていてもよく、その代わり図３の実施形態に示すようにこのインタラクティブディスプレイテーブル６０の外部にあってもよい。
【００３３】
図３は、外部のＰＣに結合されたテーブルタイプのインタラクティブディスプレイ表面の一実施形態の等角図で、このインタラクティブディスプレイテーブル６０’は、データケーブル６３を介して（前述のようにオプションのモニタ４７を含む）外部のＰＣ２０に接続されている。また、図３に示すように、１組の直交するＸ軸及びＹ軸が、ディスプレイ表面６４ａに関連づけられており、同様に原点が「０」で示されている。詳細に示してはいないが、各直交軸に沿った複数の座標位置を使用してディスプレイ表面６４ａ上の任意の位置を示すことができる。
【００３４】
このインタラクティブディスプレイテーブル６０’が、（図３のように）外部ＰＣ２０に、又はセットトップボックス、ビデオゲーム、ラップトップコンピュータ、メディアコンピュータ（どれも示さず）など、他の何らかのタイプの外部コンピューティングデバイスに接続されている場合には、このインタラクティブディスプレイテーブル６０’は、入出力デバイスを備えている。このインタラクティブディスプレイテーブル用の電力は、パワーリード線６１を介して供給され、このパワーリード線は、従来の交流電流（ＡＣ）電源（図示せず）に結合される。インタラクティブディスプレイテーブル６０’に接続されるデータケーブル６３は、ＰＣ２０上のＵＳＢ２．０ポート、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ；米電気電子技術者協会）１３９４（又はファイヤワイヤ）ポート、又はイーサネット（登録商標）（Ｅｔｈｅｒｎｅｔ（登録商標））ポートに結合することができる。無線接続の速度が向上し続けるにつれて、このインタラクティブディスプレイテーブルは、かかる高速無線接続を介し、あるいは他の何らかの適切な有線又は無線のデータ通信リンクを介してＰＣ２０などのコンピューティングデバイスに接続することもできる。このインタラクティブディスプレイの一体化部分として内部に含まれようと、又は外部に含まれようとも、ＰＣ２０は、イメージセンサ６８からのデジタルイメージを処理するためのアルゴリズムを実行し、インタラクティブディスプレイテーブル６０のより直感的なユーザインターフェース機能を使用して長所を引き出すように設計されたソフトウェアアプリケーションを実行し、同様にしてかかる機能を使用するように特には設計されていないが、依然としてこのインタラクティブディスプレイテーブルの入出力機能をうまく使用することができる他のソフトウェアアプリケーションも実行する。さらに他の代替形態として、このインタラクティブディスプレイは、外部コンピューティングデバイスに結合することもできるが、この場合に外部ＰＣによっては行われないはずのイメージ処理及び他のタスクを行うための内部コンピューティングデバイスも備えることができる。
【００３５】
このインタラクティブディスプレイテーブル（すなわち、前述のいずれかの実施形態）の重要で強力な特徴は、ゲーム又は他のソフトウェアアプリケーションのためのグラフィックイメージ又は仮想環境を表示し、ディスプレイ表面６４ａ上で見ることができるグラフィックイメージ又は仮想環境と、オブジェクト７６ａなど、インタラクティブディスプレイ表面上に載っており、又はオブジェクト７６ｂなど、そのすぐ上方で浮遊している（ｈｏｖｅｒｉｎｇ）オブジェクトとの間の相互作用を可能にするその機能である。かかるオブジェクト、ならびにこのユーザの指、又はこの豊富な相互作用を非常にうまく実行する、このユーザが動かしている他のオブジェクトを視覚的に検出することが、このインタラクティブディスプレイテーブルの機能である。
【００３６】
再び図２を参照すると、インタラクティブディスプレイテーブル６０は、ディスプレイ表面６４ａ上に、グラフィックイメージと、仮想環境又はテキスト情報を表示するために使用されるビデオプロジェクタ７０を備えている。このビデオプロジェクタ７０は、少なくとも６４０×４８０ピクセルの解像度をもつ、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ；液晶ディスプレイ）タイプ、ＤＬＰ（ｄｉｇｉｔａｌ ｌｉｇｈｔ ｐｒｏｃｅｓｓｏｒ；デジタル光プロセッサ）タイプ、又はＬＣｏＳ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ；液晶オンシリコン）ディスプレイタイプであることが好ましい。ＩＲカットフィルタ８６ｂが、ビデオプロジェクタ７０のプロジェクタレンズの前に取り付けられて、このビデオプロジェクタ７０によって放射されるＩＲ光が、このインタラクティブディスプレイテーブルの内部に入らないようにしており、このインタラクティブディスプレイテーブルの内部では、このＩＲ光が、ディスプレイ表面６４ａ上の、又はその上方にある１つ（又は複数）のオブジェクトから反射されたＩＲ光と干渉してしまう可能性がある。第１のミラーアセンブリ７２ａは、このプロジェクタレンズから点線経路８２ａに沿って進んでくる投影光を点線経路８２ｂに沿ってフレーム６２の透明な開口部９０ａを介するように方向変更し、その結果、この方向変更された光は、第２のミラーアセンブリ７２ｂ上へ入射することになる。第２のミラーアセンブリ７２ｂは、この投影光を点線経路８２ｃに沿って半透明層６４ｂ上へと方向変更し、この半透明層６４ｂは、このプロジェクタレンズの焦点に存在し、その結果、この投影されたイメージは、見ることが可能であり、閲覧するためのディスプレイ表面６４ａ上で焦点が合う。
【００３７】
位置合わせデバイス７４ａ及び７４ｂが提供され、これらは、ネジ棒と、このインタラクティブディスプレイ表面上に投影されるイメージがこのインタラクティブディスプレイ表面と位置合わせされるようにする第１及び第２のミラーアセンブリ７２ａ、７２ｂの角度を調整するための回転可能調整ナット７４ｃとを備えている。この投影されたイメージを所望の方向に向けることに追加して、これら２つのミラーアセンブリの使用により、プロジェクタ７０と半透明層６４ｂの間のより長い経路が実現され、さらに重要なことに、このインタラクティブディスプレイテーブルの所望のサイズ及び形状を実現する助けとなり、その結果、このインタラクティブディスプレイテーブルは、あまり大きくなりすぎることもなく、このユーザが、その近くに快適に座ることができるような大きさと形状になっている。
【００３８】
以上及び以下の説明では、インタラクティブディスプレイテーブル６０及び６０’の形態のインタラクティブディスプレイデバイスについて説明している。それにもかかわらず、このインタラクティブディスプレイ表面は、一般的な水平のテーブル上部の形態とする必要がない。本発明のこの明細書で説明している原理は適切に、異なる形状及び曲率の、水平以外の方向に取り付けられたディスプレイ表面も含み、またこれらのディスプレイ表面にも適用される。したがって、以下の説明では、物理オブジェクトをこのインタラクティブディスプレイ表面の「上に（ｏｎ）」配置することに言及しているが、物理オブジェクトは、このインタラクティブディスプレイ表面に接触して配置することによりこのインタラクティブディスプレイ表面に近接して配置することもでき、あるいはこのインタラクティブディスプレイ表面の付近に配置することもできる。
【００３９】
＜制御ＩＲ光源を用いて、また用いずに取り込まれるＩＲイメージ＞
外部ＩＲ光信号は、制限され又は補償されて、これらの望ましくない信号がインタラクティブディスプレイテーブル６０の機能と干渉することがないようにするべきである。ＩＲ範囲以外の周波数帯におけるイメージングは、可視光、ＵＶ、又は他の光源からの干渉を受けることもある。以下の説明では、本発明の実施形態が低減させようとする外部光源によって引き起こされる問題の代表として、ＩＲイメージングの例示のケースに焦点を当てている。
【００４０】
図４Ａ，図４Ｃ及び図４Ｅは、インタラクティブディスプレイ表面に近接した手が、制御光源からの光及び／又は周囲光によって照らされている、このインタラクティブディスプレイ表面の一部分の拡大断面図で、図４Ｂ，図４Ｄ及び４Ｆは、図４Ａ，図４Ｃ及び図４Ｅのそれぞれに対応した、インタラクティブディスプレイ表面から受光される反射光に基づいてこのインタラクティブディスプレイ表面から取り込まれた結果イメージを示す図である。つまり、インタラクティブディスプレイテーブルの一部分を示して、どのようにして意図せぬＩＲ信号がインタラクティブ表面６４ａとかみ合ったユーザの手４０２のＩＲ−スペクトルイメージを歪ませる可能性があるかを示している。
【００４１】
図４Ａは、ディスプレイ表面６４ａ上で一部接触し、一部「浮遊している」ユーザの手４０２を示している。明細書及び図面がこれにより特に参照により本明細書に組み込まれている、２００４年３月３１日に出願された「Determining Connectedness And Offset Of 3D Objects Relative To An Interactive Surface」という名称の、同一出願人による同時係属の米国特許出願第１０／８１４，７６１号明細書に説明されているように、ＩＲイメージングシステムは、このインタラクティブディスプレイ表面に接触している物理オブジェクトと、このインタラクティブディスプレイ表面の近くで浮遊している物理オブジェクトとに応答し、これらの間の区別を行うことができる。
【００４２】
より詳細には、図４Ａ、図４Ｃ及び図４Ｅにおいて、ユーザの手４０２の親指４０４及び中指４０８は、インタラクティブディスプレイ表面６４ａに接触しているが、人差し指４０６及び薬指４１０は、インタラクティブディスプレイ表面６４ａ上で少し離れて「浮遊しており」、また小指４１２は、インタラクティブディスプレイ表面６４ａからさらに少し遠く離れて浮遊している。
【００４３】
図４Ａにおいて、ＩＲ光ビーム４１４は、ＩＲ光源６６から放射され、インタラクティブディスプレイ表面６４ａを通過し、ユーザの手４０２に入射している。反射されたＩＲ光ビーム４１６は、インタラクティブディスプレイ表面６４ａを通過して戻り、イメージセンサ６８に入る。このイメージセンサ６８は、このカメラに入射するＩＲ光のイメージに対応する信号を発生する。このイメージは、ＩＲ光ビーム４１６と、このイメージセンサ６８に到達する他の任意のＩＲ光のファンクションである。図４Ａでは、ただ１つのＩＲ光源は、ＩＲ光源６６である。したがって、図４Ａにおいては、意図せぬ周囲ＩＲ光源又は外部ＩＲ光源は存在しない。バッフル７９は、ＩＲ光源６６からのＩＲ光がイメージセンサ６８のレンズに直接に入射しないようにしている。
【００４４】
図４Ｂは、ユーザの手４０２によって反射される、ＩＲ光源６６についてのＩＲ光ビーム４１６だけに応答してイメージセンサ６８が発生するユーザの手４０２ａの結果ＩＲ−イメージを示している。反射されたＩＲ光ビーム４１６に応答して、ユーザの手４０２ａは、このイメージ中のバックグラウンド４２０ａの光強度又は輝度に比べてより高い光強度又は輝度を有する。さらに、親指４０４ａ及び中指４０８ａの先端は、このイメージ中において、残りの指４０６ａ、４１０ａ、及び４１２ａ、ならびに手の残りの部分４０２ａよりも高い光強度又は輝度を有する。親指４０４ａ及び中指４０８ａの先端だけが、ディスプレイ表面６４ａに接触している、手４０２ａの部分であり（図４Ａ）、その結果、この親指及び中指の先端から反射されたＩＲ光は、インタラクティブディスプレイ表面６４ａの拡散による低下をあまり受けず、したがって、手の残りの部分４０２ａ又はバックグラウンド４２０ａよりも高い光強度を有する。２つの異なる光強度レベルしか図４Ｂには示していないが、しかし、この反射されたＩＲ光の光強度は、物理オブジェクトの反射率と、インタラクティブディスプレイ表面６４ａからのその距離に基づいて変化することになる。
【００４５】
図４Ｃでは、ＩＲ光源６６が、非活性化されている。したがって、図４Ａに示した図とは違って、ＩＲ光ビーム４１４は、ユーザの手４０２に向かって投影されず、このユーザの手からイメージセンサ６８に向かって反射されるＩＲ光ビーム４１６は存在していない。しかし、図４Ａに示した図とは違って、図４Ｃは、インタラクティブディスプレイ表面６４ａの外部に源を発するＩＲ光ビーム４２２及び４２４を示しており、これらが、イメージセンサ６８によって取り込まれる。例えば、ＩＲビーム４２２は、このインタラクティブディスプレイテーブルの周囲環境中の任意の白熱光源から放射されるＩＲ光を示すこともあり、ＩＲビーム４２４は、窓（図示せず）を介してこの周囲環境を照らす太陽光に含まれるＩＲ光ビームを示すこともある。ＩＲ光ビーム４２２及び４２４は、ユーザの手４０２の周囲、及び指４０４乃至４１２の間を通過する。したがって、ユーザの手４０２の「逆光照明」は、図４Ｄに示すように、より明るいバックグラウンド４２０ｂに対するユーザの手４０２の影を含むイメージをもたらす。
【００４６】
図４Ｄにおいて、ユーザの手４０２は、暗い（図４Ｂのように明るく照らされてはいない）。ユーザの手４０２の背後からしか来ないＩＲ光は、このイメージ中においてこのユーザの手に比べてずっと明るく見え、その結果、このユーザの手は、より明るいバックグラウンド４２０ｂに対する影としてしか見えない。図４Ｄのイメージは、人が太陽を背にして立っており、その結果、この人はこの太陽により逆光照明されているというイメージと似ている。逆光照明の拡散光線は、さらにずっと明るいバックグラウンドに対するかなり一様な影のイメージをもたらす。図４Ｄから分かるように、図４Ｂには存在するような、親指４０４ｂ及び中指４０８ｂの指先のイメージと、手４０２ｂ、ならびに指４０６ｂ、４１０ｂ及び４１２ｂのイメージの残りの部分との間の違いは存在しない。したがって、周囲ＩＲ光を用いたユーザの手の逆光照明は、少なくとも接触し浮遊する指と手の間のコントラストを低下させる傾向があり、ユーザの手４０２を含むイメージの有用なイメージ処理を実質的に減らす可能性がある。一般的に、このイメージの任意のセグメンテーション、すなわち、ユーザの手の一部分か否かとしての各ピクセルのラベル付け、又はこのインタラクティブディスプレイ表面上に置かれたオブジェクト一部分か否かとしての任意のピクセルのラベル付けは、これらの条件下ではあまり難しくはない。この周囲光レベルは、このＩＲ光源からの反射されたＩＲ光のレベルに簡単にマッチングさせることができる。（これらのオブジェクトが不透明な場合に、周囲光は、オブジェクトから戻された光に影響を与えないので）一般に任意のオブジェクトのこの表面外観を読み取ることは可能であるが、どのオブジェクトがこのインタラクティブディスプレイ表面と接触しているかについての指示としてイメージ中の輪郭及び形状、又は絶対ピクセル強度を用いることは不可能である。
【００４７】
図４Ｅにおいて、ＩＲ光源６６は、図４Ａに示すように、もう一度活性化される。しかし、今回は、周囲ＩＲ光源もまたアクティブであり、その結果、例えば、白熱光４２２及び太陽光４２４からの周囲ＩＲ光も存在している。図４Ｅに示すように、投影されたＩＲ光ビーム４１４が、ＩＲ光源６６からユーザの手４０２及び指４０４乃至４１２に到達し、この手及び指から反射されたＩＲ光ビーム４１６は、イメージセンサ６８に到達する。同時に、ユーザの手４０２の周囲及びユーザの指４０４乃至４１２を介して輝く周囲ＩＲ光ビーム４２２及び４２４も、このイメージセンサに到達する。
【００４８】
図４Ｆに示す結果イメージは、このユーザの手から反射されたＩＲ光ビーム４１６と、周囲ＩＲ光ビーム４２２及び４２４とが、互いに効果的に相殺することができることを示している。その結果、インタラクティブディスプレイ６４ａに接触しているユーザの指４０４ｃ及び４０８ｃと、ユーザの手４０２ｃならびに指４０６ｃ、４１０ｃ及び４１２ｃの残りの部分との間だけでなく、一般にユーザの手４０２ｃ及び指４０４ｃ乃至４１２ｃとバックグラウンド４２０ｃとの間のコントラストを実質的に低下させることができる。バックグラウンド４２０ｃは、図４Ｄに示すように明るくなり、このユーザの指４０４ｃ及び４０８ｃは、このＩＲ光源からの反射されたＩＲによって識別可能なものとなる。さらに、ユーザの手４０２ｃは、この明るい周囲バックグラウンドに対する影として明らかになる。このユーザの手からの反射されたＩＲ光ビーム４１６が、周囲ＩＲ光ビーム４２２及び４２４のビームよりも実質的に高い光強度をもつ場合には、ユーザの手４０２ｃ及び指４０４ｃ乃至４１２ｃのイメージは、依然としてバックグラウンド４２０ｃよりも明るいものとして際立ったものとなる可能性がある。ＩＲ光源６６の光強度の有効な調整は、インタラクティブディスプレイ表面６４ａに接触している指４０４ｃ及び４０８ｃの先端と、周囲ＩＲ光ビーム４２２及び４２４によって照らされるバックグラウンドの間のコントラストを保持しようと試みながら、周囲光４２２及び４２４のビームを明らかにするために行う必要がある。
【００４９】
したがって、本発明は、外部の白熱光４２２や太陽光４２４などＩＲ光の望ましくない周囲光源及び／又は意図せぬ周囲光源の影響を補償している。再び、図４Ｂ、図４Ｄ及び図４Ｅを参照すると、ＩＲ光ビーム４１６の反射ビームだけ（図４Ａ）がイメージセンサ６８で受光されるような図４Ｂのイメージの等価物を達成することが望ましい。残念ながら、この環境中の周囲ＩＲ光のほとんどを実質的になくすることによる以外には、ＩＲ光ビーム４２２及び４２４の外部光源は、一般的に、反射されたＩＲ光ビーム４１６と一緒に含まれることになり、この周囲ＩＲ光の存在が補償されない限り、図４Ｆのイメージによく似たイメージがもたらされる。適切な補償を実現しなければ、環境内に周囲ＩＲ光源が存在するときはいつでも、図４Ｄのイメージ中のこの望ましくないバックグラウンドが、常に図４Ｂのようなオブジェクトから反射されたＩＲ光の所望のイメージに追加されることになり、図４Ｆの問題を有するイメージがもたらされる。
【００５０】
＜その相対強度に基づいた非制御光についての調整＞
本発明の実施形態は、非制御の外部光源から受光される光の影響を低下させることにより、またこのイメージデータを調整して非制御の外部光源から受光される光の影響を修正することにより、図４Ｂのイメージなど、より理想化されたイメージを導き出そうとするものである。本発明の実施形態は、ある周波数範囲にわたる光に対する変化する応答を有するイメージセンサを使用することにより、非制御光源の光強度を決定している。本発明の一実施形態においては、このイメージセンサには、個別のピクセルに対して赤色光、緑色光及び青色光を選択的に通過させるフィルタが装備され、これらのピクセルは、特定の波長において赤色フィルタ光、青色フィルタ光及び緑色フィルタ光に対して、知られている相対的な応答を有している。この制御光源は、この光源が近赤外線スペクトルの波長においてピーク強度を有するように選択され、ここでこのイメージセンサのピクセルは赤色フィルタ光、青色フィルタ光及び緑色フィルタ光に対してほぼ等しい応答を有する。その結果、この光源によって発生され、イメージ化されるオブジェクトによって反射される光に対するこのイメージセンサの応答は、バランスした光強度を有することになる。対照的に、太陽光、タングステンフィラメント電球、ハロゲン電球など、一般的な非制御光は、近赤外線波長の範囲にわたってかなり均一な光強度を有する光を放射する傾向がある。本発明の一実施形態においては、帯域通過フィルタを使用して、この帯域通過フィルタのカットオフ波長と、この異なる波長に対するこのイメージセンサの応答を定量化することが可能な、このイメージセンサの感度減衰ポイントとの間の範囲に、受光される近赤外線光の波長を制限する。このイメージセンサは、この非制御光が引き起こす光強度の差異を検出することになる。赤色フィルタ光、青色フィルタ光及び緑色フィルタ光に対するこのイメージセンサの知られている応答特性を使用して、この非制御光の光強度を決定することができ、次いでこのイメージデータを調整して、望ましくない非制御光の影響を低下させることができる。
【００５１】
＜非制御光についての補償を行うためのシステム＞
図５は、本発明の一実施形態による、望ましくない光源の影響を低下させるためのシステムのブロック図で、コンピュータビジョンシステム上の非制御光源の影響を低下させるためのシステム５００を示している。このシステム５００は、インタラクティブディスプレイ表面６４ａ（図２及び図３）を用いて機能するが、特定の周波数帯の光を使用してオブジェクトの位置を識別及び／又は検出する他のコンピュータビジョンシステムのために同様な利点を簡単に実現するようにもすることができる。（図１乃至図３に示す）ＰＣ２０は、イメージ処理のファンクションを実行し、処理済みイメージ出力５１８を提供する。このＰＣ２０は、例えば、イメージセンサ６８によって感知されたイメージに応じて生成された信号を処理して、インタラクティブディスプレイ表面６４ａ上、又はその近くに配置されたユーザの指４０８又は他の物理オブジェクトの存在及び／又は動きを検出する。
【００５２】
図５に示す本発明のこの一実施形態において、光源６６は、制御ＩＲ光源である。図７に関連して以下でさらに説明しているように、光源６６は、フィルタ５０６及び５０８と結合されたイメージセンサ６８の応答に対してピーク放射光強度を有するように選択して、光源６６からの反射された光を非制御光源から区別するようにすることができる。
【００５３】
光源６６は、光４１４をインタラクティブディスプレイ表面６４ａに向かって方向づけるように構成され配置され、イメージングが行われるときに（図示していないが、ＰＣ２０などの）ＰＣ又は他の制御システムの制御下で光源６６にエネルギを与える光源コントローラ５０２によって制御される。イメージセンサ６８の応答性のキャリブレーション又はクロスチェックのためにアクティブでない非制御の周囲光源６６の読取りを行い、又はイメージングが行われていないときに光源６６を非活性化することが望ましい場合及びそのときには、光源コントローラ５０２を使用して光源６６を非活性化することができる。
【００５４】
反射光４１６、ならびに白熱光４２２及び太陽光４２４を含む周囲光は、インタラクティブディスプレイ表面６４ａを通過し、イメージセンサ６８によって検出される。図５に示す実施形態においては、イメージセンサ６８は、デジタル出力５１０を生成し、次いでこのデジタル出力は、以下でさらに説明するように処理される。
【００５５】
本発明の一実施形態においては、イメージセンサ６８には、スペクトルフィルタ５０６及び帯域通過フィルタ５０８が装備されている。以下でさらに説明しているように、帯域通過フィルタ５０８を使用して、イメージセンサ６８によって受光される光からある種の波長より短い光を減衰させて、受光される光波長の範囲を制限して、異なる光波長に対するイメージセンサ６８の応答を利用することができる。本発明の一実施形態においては、スペクトルフィルタ５０６は、二次元アレイピクセル中の異なるピクセルに異なる波長の光を通過させるために光にフィルタをかけるために使用されるベイヤフィルタを備え、スペクトルフィルタ５０６は、イメージセンサ６８と一体化することもできる。
【００５６】
このイメージ中で、カラー化エレメントを形成するように組み合わされる隣接ピクセル位置について赤色、緑色及び青色の寄与をもたらすことによって、単色センサがカラーイメージを記録することができるようにするベイヤフィルタは、当業者にはよく知られている。
【００５７】
図６は、本発明の一実施形態による、光センサによって受光される光にフィルタをかけるために使用することができる代表的なモザイクベイヤフィルタのセクションを示す図で、使用可能な代表的なベイヤフィルタ５０６のセクションを示している。このベイヤフィルタ５０６は、それぞれ赤色光、青色光及び緑色光をその下に存在するピクセルに通過させるように構成された赤色フィルタリングセクション６１０、緑色フィルタリングセクション６２０及び青色フィルタリングセクション６３０を備えている。スペクトルフィルタ５０６を使用することにより、スペクトルフィルタ５０６によって個別ピクセルに通過させられる異なる波長光に対する定量化可能な応答を有するイメージセンサ６８がもたらされる。
【００５８】
図７は、赤色周波数帯、緑色周波数帯及び青色周波数帯に主として感受性があるが、赤外波長に対する感度も有し、異なるカラーフィルタによってカバーされたこれらのエレメントの相対感度が、特定の赤外周波数に応じてフィルタカラーごとにこの赤外領域内で変化するイメージセンサについての光感度曲線のグラフを示す図で、代表的なイメージセンサについての光感度曲線のグラフ７００を示している。特に、グラフ７００は、本発明中で使用可能なナショナルセミコンダクタ（商標）モデルＬＭ９６４７イメージセンサの応答性を示している。このＬＭ９６４７イメージセンサは、主として赤色周波数帯、緑色周波数帯及び青色周波数帯に対して感受性があるが、赤外線波長に対する感度も有している。異なるカラーフィルタによってカバーされたエレメントの相対感度は、この特定の赤外線周波数に応じてフィルタカラーごとに赤外線領域内で変化する。このＬＭ９６４７イメージセンサは、図６に示すタイプの一体化ベイヤフィルタを備えている。曲線７１０、７２０及び７３０は、その関連するベイヤフィルタを介した青色光に対するこのセンサの感度を表すが、曲線７２０は、それぞれ青色光、緑色光及び赤色光に対するその感度を示す。曲線７１０乃至７３０は、図７に示す波長範囲にわたって大いに異なっているが、破線７４０が示すように約７５０ｎｍで、収束し始める。曲線７１０乃至７３０は、約８８０ｎｍにおける点線７６０においてほとんど収束している。イメージセンサ６８の感度は、約９００ｎｍにおける感度減衰ポイント７７０において実質的に減衰し始める。
【００５９】
したがって、７５０ｎｍにおける破線７４０と、感度減衰ポイント７７０との間に広がっている範囲７８０は、赤色フィルタ光、緑色フィルタ光及び青色フィルタ光に対するイメージセンサ６８の応答性が、著しく変化すると共に実質的に収束もする範囲を取り込んでいる。したがって、光源６６（図５）は、赤色フィルタ光、緑色フィルタ光及び青色フィルタ光に対するイメージセンサ６８の応答が収束する約８８０ｎｍのピーク強度を有するように選択され、帯域通過フィルタ５０８は、７５０ｎｍより短い波長において光をブロックするように選択される。
【００６０】
ベイヤフィルタを伴うイメージセンサを使用する代わりに、他のシステムを使用して複数の周波数範囲の光を検出することができる。例えば、それぞれが別の周波数範囲特有のフィルタを搭載した複数のイメージセンサを使用することができる。これらの別々のセンサは、ビームスプリッタを介してこの光の一部分を受光することができる。したがって、時間ごとにポイントごとに、この各周波数範囲における読取りが行われるはずである。さらに、複数の各フレームキャプチャ間隔中にこの全体のイメージセンサ上で異なるフィルタエレメントを循環させるカラーホイールフィルタ又は他のタイプの周期的フィルタを伴うセンサを使用することができる。さらに代わりに、各ポイントで別々の周波数範囲における光を検出することが可能なマルチカラー感受性センサも使用することができる。
【００６１】
図５に戻って参照すると、周囲の白熱光４２２又は太陽光４２４が存在しない状況においては、イメージセンサ６８によって集められる唯一の光は、光源６６によって発生される光４１４からオブジェクト４０８によって反射される光４１６となる。イメージセンサ６８が赤色フィルタ光、緑色フィルタ光及び青色フィルタ光に対して等しい応答を有する波長においてピーク強度を有する光源６６を選択することにより、周囲光が存在しないときには、各タイプのフィルタカラーに関連するピクセルは、バランスさせられることになる。対照的に、周囲の白熱光４２２又は太陽光４２４は、おそらく光源６６と同じピーク強度をもたず、これらの非制御光源からの光は、範囲７８０にまたがる波長において受光されることになる。赤色フィルタ光、緑色フィルタ光及び青色フィルタ光を受光するイメージセンサ６８のピクセルは、曲線７１０乃至７３０によって示されるように様々な強度応答を有することになる。したがって、周囲の白熱光４２２又は太陽光４２４が存在するときには、赤色フィルタ光、緑色フィルタ光及び青色フィルタ光を受光するピクセルの変化する応答を測定し、範囲７８０にまたがる光に対するこれらのピクセルの変化する感度を活用することにより、制御光源６６以外の光源からの光強度を決定することができる。次いで、イメージングデータを調整して、非制御光源からのイメージセンサ６８が受光する光の影響を低下させることができる。
【００６２】
イメージセンサ６８からの出力５１０からのイメージングデータは、データバッファメモリ５１２に記憶される。以下でさらに説明するように、非制御光プロセッサ又は識別器５１４は、この非制御光の光強度を決定する。次いで、この制御光の光強度は、この非制御光の光強度について補償されて、このイメージングデータを調整して、この非制御光の影響が十分に低下される。次いで、この非制御光の光強度は、この非制御光の光強度を差し引くように構成された加算器５１６又は同様なプロセッサによって算術的に相殺されて、処理済みイメージ出力５１８に生成される調整済みのイメージデータがもたらされる。潜在的にデータバッファストレージ、非制御光識別／処理、及び／又はこのイメージデータの調整を含めてこれらのステップの一部又はすべては、適切に構成されたプロセッサ又はコンピュータ中でオプションとして実施される。
【００６３】
＜非制御光の強度を決定すること＞
上述したように、本発明の実施形態は、知られているピーク強度を有する光源と、異なるカラーのフィルタに関連するピクセルにおいて様々な感度を有するイメージセンサとを使用している。赤色フィルタ光、緑色フィルタ光及び青色フィルタ光を受光するピクセルがどのように応答するかにおける変化を使用して、受光される非制御光の光強度を決定することができる。
【００６４】
例えば、図７に戻って参照すると、非制御光の光強度は、破線７４０と減衰ポイント７７０の間の範囲７８０上で決定されており、この破線７４０は、曲線７１０乃至７３０が増大する波長のファンクションとして収束し始めるが、まだ収束してはいない、帯域通過フィルタ５０８についてのカットオフ波長である。グラフ７００に表されるデータを解析し、赤色フィルタ光応答曲線７３０を青色フィルタ光応答曲線７１０と比較すると、このイメージセンサは、範囲７８０上で青色フィルタ光に対するのに比べて赤色フィルタ光に対して約１．６倍だけ感度が高い。同様に緑色フィルタ光応答曲線７２０を青色フィルタ光応答曲線７１０と比較すると、このイメージセンサは、範囲７８０上で青色フィルタ光に対するのに比べて赤色フィルタ光に対して約１．１７倍だけ感度が高い。したがって、図７に示す応答を有するイメージセンサの実施例を使用し、異なるフィルタ光に対する応答がバランスしている波長においてピーク強度を有する制御光源を使用すると、検出される非制御光の光強度を決定し、したがって、このイメージングデータ中で相殺することができる。
【００６５】
式（１）は、この制御光源及び非制御光源から受光される赤色フィルタ光の合計光強度について表現している。この制御光源は、赤色フィルタ光、緑色フィルタ光及び青色フィルタ光についてのこのイメージセンサの応答が等しい波長においてピーク強度を有するので、この制御光の相対光強度は、１．０である。対照的に、非制御光源から受光される光の相対光強度は、１．６である。したがって、次式のようになる。
【００６６】
ＴｏｔａｌRed＝ＩｎｔｅｎｓｉｔｙControlled×１．０＋ＩｎｔｅｎｓｉｔｙUncontrolled×１．６ ・・・（１）
【００６７】
同様に、式（２）は、この制御光源及び非制御光源から受光される青色フィルタ光の合計光強度についての関係を表現している。
【００６８】
ＴｏｔａｌBlue＝ＩｎｔｅｎｓｉｔｙControlled×１．０＋ＩｎｔｅｎｓｉｔｙUncontrolled×１．０ ・・・（２）
【００６９】
この式（２）は、式（３）中のＩｎｔｅｎｓｉｔｙControlledについて解くことが可能である。
【００７０】
ＩｎｔｅｎｓｉｔｙControlled＝ＴｏｔａｌBlue−ＩｎｔｅｎｓｉｔｙUncontrolled ・・・（３）
【００７１】
この式（３）からのＩｎｔｅｎｓｉｔｙControlledの計算値を式（１）に代入すると、式（４）は、式（１）をこの赤色周波数帯及び青色周波数帯中で受光される合計光強度のファンクションとしてＩｎｔｅｎｓｉｔｙUncontrolledについて解くことができることを示す。
【００７２】
ＩｎｔｅｎｓｉｔｙUncontrolled＝（ＴｏｔａｌRed−ＴｏｔａｌBlue）／０．６ ・・・（４）
【００７３】
したがって、対象となる範囲にわたってのこのイメージセンサの知られている応答に基づいて、この非制御光の光強度は、各ポイントにおいて測定される赤色フィルタ光と青色フィルタ光の合計測定光強度から決定することができる。説明しているシステムにおいて、技術的に各ポイント又はピクセルは、赤色フィルタ光、緑色フィルタ光又は青色フィルタ光だけを受光し、それ故に、各ポイントにおける非制御光の光強度は、それぞれ赤色フィルタ光と青色フィルタ光とを受光する２つの最近接ピクセルにおける赤色フィルタ光と青色フィルタ光の合計測定光強度を使用し、式（４）を使用して決定される。
【００７４】
この非制御光の光強度が決定された後に、各ポイントにおいて受光されるフィルタ光に応じて、各ポイントにおけるこの制御光の光強度は、このポイントがそれぞれ赤色フィルタ光、緑色フィルタ光又は青色フィルタ光を受光するかどうかに応じて、式（５）乃至（７）のうちの１つから決定することができる。
【００７５】
ＩｎｔｅｎｓｉｔｙControlled＝ＴｏｔａｌRed−１．６×ＩｎｔｅｎｓｉｔｙUncontrolled ・・・（５）
【００７６】
ＩｎｔｅｎｓｉｔｙControlled＝ＴｏｔａｌGreen−１．１７×ＩｎｔｅｎｓｉｔｙUncontrolled ・・・（６）
【００７７】
ＩｎｔｅｎｓｉｔｙControlled＝ＴｏｔａｌBlue−１．０×ＩｎｔｅｎｓｉｔｙUncontrolled ・・・（７）
【００７８】
本発明の実施形態は、フィルタ光に対して異なる応答を有するイメージセンサに適応させることができ、同様な式は、異なる波長における光に対するこれらのイメージセンサの知られている応答から導き出すことができる。光源は、検討している範囲におけるイメージセンサの応答に適したピーク強度を有するように選択及び／又は構成することができる。
【００７９】
＜非制御光について調整されるイメージ＞
図８Ａは、光周波数に基づいて、このイメージが非制御光源の影響について調整される以前における、モザイクベイヤフィルタを介してイメージングデバイスによって生成されるイメージの一例を示す図で、非制御光の影響を低下させるように処理されていない元のイメージ８００ａを示している。また、図８Ｂは、光周波数に基づいて、このイメージが非制御光源の影響について調整された後における、モザイクベイヤフィルタを介してイメージングデバイスによって生成されるイメージの一例を示す図で、本発明の一実施形態に従って非制御光の影響が低下させられている調整済みのイメージ８００ｂを示している。
【００８０】
図８Ａにおいて、元のイメージ８００ａは、イメージ化されている２つのオブジェクト８１０ａ及び８２０ａを示している。オブジェクトのエッジ８１２ａ及び８２２ａは、バックグラウンド８３０ａに対してどちらかというとぼやけている。オブジェクト８１０ａ及び８２０ａの周囲からイメージ８００ａに入射する非制御の周囲光が、オブジェクト８１０ａ及び８２０ａをイメージ化するために制御光しか受光されなかった場合には、存在しているはずのコントラストをなくしてしまう。チェッカーボードパターン８４０は、モザイクのベイヤフィルタ５０６（図５及び６）のアーティファクトであり、このフィルタがこの受光された光に影響を及ぼす方法からもたらされる。
【００８１】
しかし、図８Ｂの調整済みのイメージ８００ｂは、暗くしたバックグラウンド８３０ｂに対してはっきりしたコントラストのエッジ８１２ｂ及び８２２ｂを有する同じオブジェクト８１０ｂ及び８２０ｂのイメージを示している。このベイヤフィルタを介してこのセンサにおいて受光される光の相対光強度を使用して、赤色周波数帯光及び青色周波数帯光の相対光強度が測定されている。これらの相対光強度から、この非制御の周囲光の全体的光強度が上述したように決定される。したがって、調整済みのイメージ８００ｂは、どのようにしてこの相対光強度の測定値を使用して、非制御光の影響を低下させ、よりはっきりしたイメージがもたらされるかを示している。
【００８２】
＜イメージデータを調整して非制御光源の影響を低下させるための方法＞
図９は、本発明の一実施形態による、望ましくない照明の影響を低下させるための論理ステップを示す流れ図で、非制御照明及び／又は望ましくない照明の影響を実質的になくし、又は低下させるための例示の論理ステップを示す流れ図９００である。
【００８３】
まず、ステップ９０２において、このインタラクティブディスプレイ表面のイメージングが開始される。次に、ステップ９０４において、赤色フィルタ光、緑色フィルタ光又は青色フィルタ光に対するこのイメージセンサの相対感度が認識される。上述したように、このイメージセンサの相対感度は、非制御光の強度を導き出すために使用可能な式を決定し、それによってこのイメージを調整して、この非制御の周囲光の影響を修正する。このイメージセンサの相対感度の決定は、このイメージングシステムが使用されるたびに実施される必要はないが、非制御光の影響を決定し、明らかにするために使用される式は装置に依存する。
【００８４】
次に、ステップ９０６において、この対象領域が、この制御光源によって照らされる。上述したように、この制御光源は、この赤色周波数帯や青色周波数帯など選択済みの周波数帯に関して知られている相対光強度を有しており、これにより、非制御光の光強度の計算が実行される。この制御光源は、この非制御光の測定の後にアクティブにすることができ、あるいはアクティブにし、アクティブのままにすることもできる。
【００８５】
次に、ステップ９０８において、例えば、図８Ａに示すように、光が対象となる領域から集められて、この未処理の未調整のイメージデータが取り込まれる。ステップ９１０において、各ポイントにおいて受光される光強度が測定される。次に、ステップ９１２において、非制御光の光強度は、赤色光受光ピクセル及び青色光受光ピクセルにおいて測定された赤色フィルタ光、緑色フィルタ光又は青色フィルタ光の相対光強度に基づいて計算される。次に、ステップ９１４において、このイメージデータは、ポイントごとに調整されて、非制御光の影響を低下させる。本発明の一実施形態においては、ステップ９１２において決定される非制御光の全体的光強度は、各ポイントにおけるこの光の測定済みの光強度から差し引かれる。
【００８６】
次に、判断ステップ９１６において、イメージングが継続されるかどうかが判定される。継続される場合、ルーチン９００は、ステップ９０６へとループして、継続して対象領域におけるオブジェクトを照明しイメージ化する。他方、判断ステップ９１６においてイメージ化が継続されないと判定される場合には、ルーチン９００は、ステップ９１８において終了する。
【００８７】
本発明は、本発明及び本発明に対する変更を実行する好ましい形態に関連して説明してきたが、添付の特許請求の範囲の範囲内において本発明に対して他の多数の変更を行うことができる。したがって、本発明の技術的範囲は、以上の説明によってどのようにも限定されることは意図しておらず、その代わりに全面的に添付の特許請求の範囲に関連して決定されるものである。
【図面の簡単な説明】
【００８８】
【図１】インタラクティブなディスプレイ表面についてのイメージ処理に適した、本発明を実行する際に有用となる一般的な従来のコンピューティングデバイス又はパーソナルコンピュータ（ＰＣ）の機能ブロック図である。
【図２】内部コンポーネントを示している、インタラクティブディスプレイ表面の一実施形態の断面図である。
【図３】外部のＰＣに結合されたテーブルタイプのインタラクティブディスプレイ表面の一実施形態の等角図である。
【図４Ａ】インタラクティブディスプレイ表面に近接した手が、制御光源からの光及び／又は周囲光によって照らされている、このインタラクティブディスプレイ表面の一部分の拡大断面図（その１）である。
【図４Ｂ】インタラクティブディスプレイ表面から受光される反射光に基づいてこのインタラクティブディスプレイ表面から取り込まれた結果イメージを示す図（その１）である。
【図４Ｃ】インタラクティブディスプレイ表面に近接した手が、制御光源からの光及び／又は周囲光によって照らされている、このインタラクティブディスプレイ表面の一部分の拡大断面図（その２）である。
【図４Ｄ】インタラクティブディスプレイ表面から受光される反射光に基づいてこのインタラクティブディスプレイ表面から取り込まれた結果イメージを示す図（その２）である。
【図４Ｅ】インタラクティブディスプレイ表面に近接した手が、制御光源からの光及び／又は周囲光によって照らされている、このインタラクティブディスプレイ表面の一部分の拡大断面図（その３）である。
【図４Ｆ】インタラクティブディスプレイ表面から受光される反射光に基づいてこのインタラクティブディスプレイ表面から取り込まれた結果イメージを示す図（その３）である。
【図５】本発明の一実施形態による、望ましくない光源の影響を低下させるためのシステムのブロック図である。
【図６】本発明の一実施形態による、光センサによって受光される光にフィルタをかけるために使用することができる代表的なモザイクベイヤフィルタのセクションを示す図である。
【図７】赤色周波数帯、緑色周波数帯及び青色周波数帯に主として感受性があるが、赤外波長に対する感度も有し、異なるカラーフィルタによってカバーされたこれらのエレメントの相対感度が、特定の赤外周波数に応じてフィルタカラーごとにこの赤外領域内で変化するイメージセンサについての光感度曲線のグラフを示す図である。
【図８Ａ】光周波数に基づいて、このイメージが非制御光源の影響について調整される以前における、モザイクベイヤフィルタを介してイメージングデバイスによって生成されるイメージの一例を示す図である。
【図８Ｂ】光周波数に基づいて、このイメージが非制御光源の影響について調整された後における、モザイクベイヤフィルタを介してイメージングデバイスによって生成されるイメージの一例を示す図である。
【図９】本発明の一実施形態による、望ましくない照明の影響を低下させるための論理ステップを示す流れ図である。
【符号の説明】
【００８９】
２０ ＰＣ
２１ 処理装置
２２ システムメモリ
２３ システムバス
３２ ハードディスクドライブインターフェース
３３ 磁気ディスクドライブインターフェース
３４ 光ディスクドライブインターフェース
３５ オペレーティングシステム
３６ アプリケーションプログラム
３７ 他のプログラムモジュール
３８ プログラムデータ
４０ キーボード
４６ Ｉ／Ｏデバイスインターフェース（例えば、シリアル）
４７ オプションモニタ
４８ ビデオアダプタ
４９ リモートコンピュータ
５３ ネットワークインターフェース
５４ モデム
５９ カメラインターフェース
６０，６０’ インタラクティブディスプレイテーブル
６１ パワーリード線
６２ フレーム
６３ データケーブル
６４ 上面
６４ａ ディスプレイ表面
６４ｂ 半透明層
６６ 光源
６８ イメージセンサ
７０ ビデオプロジェクタ
７２ａ 第１のミラーアセンブリ
７２ｂ 第２のミラーアセンブリ
７４ａ，７４ｂ 位置合わせデバイス
７４ｃ 回転可能調整ナット
７６ａ 「接触」オブジェクト
７６ｂ 「浮遊（ｈｏｖｅｒ）」オブジェクト
７９ バッフル
８６ｂ ＩＲカットフィルタ
９０ａ 透明な開口部
４０２，４０２ａ，４０２ｂ，４０２ｃ ユーザの手
４０４，４０４ａ，４０４ｂ，４０４ｃ 親指
４０６，４０６ａ，４０６ｂ，４０６ｃ 人差し指
４０８，４０８ａ，４０８ｂ，４０８ｃ 中指
４１０、４１０ａ，４１０ｂ，４１０ｃ 薬指
４１２，４１２ａ，４１２ｂ，４１２ｃ 小指
４１４，４１６，４２２，４２４ ＩＲ光ビーム
４２０ａ バックグラウンド
５００ システム
５０２ 光源コントローラ
５０６，５０８ フィルタ
５１０ 出力
５１２ データバッファメモリ
５１４ 非制御光識別器
５１６ 加算器
５１８ 処理済みイメージ出力
【技術分野】
【０００１】
本発明は、一般にアクティブイメージング（ａｃｔｉｖｅ ｉｍａｇｉｎｇ）に関し、より詳細には、対象領域における意図的でなく、かつ望ましくない光源からの照明の影響を低下させてこのアクティブイメージングデータの精度を改善するようにした、光周波数を用いて周囲光のキャンセルを行うための方法及びそのシステムに関する。
【背景技術】
【０００２】
望ましくない信号の存在は、ほとんどすべての電磁信号の処理において問題になる。ラジオ受信器など比較的簡単なシステムにおいてさえ、スケルチコントロール（ｓｑｕｅｌｃｈ ｃｏｎｔｒｏｌ）が、しばしばある大きさより小さな信号を減衰させるように提供されて、対象となる信号が受信されていないときに聞こえる望ましくないバックグラウンド雑音（ｂａｃｋｇｒｏｕｎｄ ｓｔａｔｉｃ）を回避している。望ましくないバックグラウンド雑音を構成するものは、ユーザが判断するものであり、ユーザは、このスケルチコントロールレベルを設定して、このユーザの判断に基づいて受信される信号の可聴性を制限することができる。
【０００３】
コンピュータシステムが自律的に入力信号に応答する自動化信号処理システムは、さらに困難な問題を提示する。ユーザが経験及び判断に基づいてスケルチコントロールレベルを調整することができる、上述したスケルチコントロールの実施例とは違って、コンピュータシステムをプログラムして、望ましいある種の信号と、望ましくないある種の信号とを区別する制限を自動的に設定することは、より困難である。例えば、コンピュータは、キーボード、ポインティングデバイス、及び同様な入力デバイスからのあいまいではない入力に対してはうまく応答するが、ボイスコマンドには、あまり十分には応答しない。音声認識プログラムを使用したことのある者なら誰でも、このコンピュータが、ユーザが発言している何かを認識できないときに、何らかの困難を経験している。予想し得るように、このコンピュータがユーザの話し言葉を正確に認識できないことについては、このコンピュータが知覚する全体的な聴覚入力に影響を及ぼすバックグラウンドノイズ又は他の音声の存在するところではより頻繁に発生する。
【０００４】
【非特許文献１】Brygg Ullmer and Hiroshi Ishii, ”The metaDESK: Models and Prototypes for Tangible User Interfaces,” Proceedings of UIST 10/1997:14-17
【発明の開示】
【発明が解決しようとする課題】
【０００５】
オブジェクトのコンピュータビジョン認識は、別の困難な問題を再提示する。このコンピュータがあまりに多すぎる視覚データ又はあまりに広すぎる範囲の視覚信号を処理する必要がある場合、この入力は、このコンピュータによって読み間違えられ、間違って解釈される可能性がより高くなることになる。他方、このコンピュータが、適切にオブジェクトを知覚するために必要とされる視覚信号を不適切に抑制する場合には、このコンピュータはまた、視覚入力を読み間違えることもあり、また重要な視覚入力を完全に無視してしまうこともある。コンピュータビジョンは、コンピュータ及びこれらのコンピュータのインターフェースをさらにユーザフレンドリにする際に、さらにますます重要になりつつある。例えば、ＭＩＴメディア研究所は、ｍｅｔａＤＥＳＫについて報告されているようにコンピュータビジョンを使用する「キーボードのない」人間−マシンインターフェースの形態を開発している（例えば、非特許文献１参照）。このｍｅｔａＤＥＳＫは、一般的に、コンピューティングシステムテキスト及びグラフィック出力を表示するだけでなく、このグラフィック表面上に置かれたオブジェクトを「見ること」により、またオブジェクトに応答することによりユーザ入力も受け取る平面のグラフィック表面を含んでいる。このｍｅｔａＤＥＳＫのグラフィック表面のこの組み合わされたオブジェクトの応答機能及び表示機能は、このｍｅｔａＤＥＳＫの表面の下に配置されたＩＲ（ｉｎｆｒａｒｅｄ；赤外線）ランプ、ビデオカメラ又は他のイメージセンサ、ビデオプロジェクタ、及びミラーを使用して実行される。このミラーは、このグラフィックディスプレイ表面の下側の面上にこのプロジェクタによって投影されるグラフィックイメージを反射して、このグラフィックディスプレイ表面上からユーザにとって目に見えるイメージを提供する。ＩＲカメラは、このグラフィック表面上に配置されたオブジェクトの裏面からのＩＲ反射を検出することができる。特別の形状をしたオブジェクト、又はグラフィックディスプレイ表面上に配置されたオブジェクトからのＩＲ−反射光を「見ること」及び検出することにより、このｍｅｔａＤＥＳＫは、このディスプレイ表面上のオブジェクトの同時の配置及び移動に応答して、このｍｅｔａＤＥＳＫの表面上に表示されるＭＩＴキャンパスの地図を表示や移動など、予め決められたファンクションを実行することができる。
【０００６】
他者も、同様なキーボードのないインターフェースを開発していたことがある。例えば、ソニーコンピュータサイエンス研究所のＪｕｎ Ｒｅｋｉｍｏｔｏとその仲間が発表した論文は、表面上にイメージを表示し、ＩＲ光を使用してこの表面に近接して配置されたオブジェクトを検出する「ＨｏｌｏＷａｌｌ」及び「ＨｏｌｏＴａｂｌｅ」について説明している。
【０００７】
このｍｅｔａＤＥＳＫも、ＨｏｌｏＷａｌｌ／ＨｏｌｏＴａｂｌｅも共に、いくつかの理由からＩＲ光を使用してオブジェクトを見ており、またオブジェクトの移動を検出する。このシステムが可視光に応答するものとした場合には、このインタラクティブな表面によって部分的に反射して返されるはずの、イメージを生成するシステムが投影する可視光が、このコンピュータビジョンシステムによる誤った読取りをもたらす可能性がある。さらに、たとえかかる反射を抑制することができたとしても、このシステムが、暗い部屋に配置されていない限り、このインタラクティブディスプレイ表面を通過する室内照明及び他の可視光が、このコンピュータビジョンシステムに悪影響を与えるはずである。さらに、かかるシステムが可視光に反応するように構成されるものとした場合には、オブジェクト及び移動を検出するための十分な可視光が存在しないはずであり、又はオブジェクト及び移動を検出するために使用される光が、このユーザが見ることを意図した暗いイメージ又はぼんやりしたイメージを覆い隠してしまうはずであるので、このシステムは、暗い画面又はぼんやりした画面を生成することはできないことになる。
【０００８】
ＩＲ光を、又はＵＶ（ｕｌｔｒａｖｉｏｌｅｔ；紫外）光など、可視光スペクトルの外側の他の非可視光を使用して、インタラクティブディスプレイ表面上に配置されたオブジェクトを検出することにより、可視光を用いてオブジェクトを認識しようとすることから生ずるはずの一部の問題を回避することができる。しかしながら、様々な可視光源もまたＵＶ光及び／又はＩＲ光を発生するので、かかる周囲光源からの光は、コンピュータビジョンシステムに悪影響を与える可能性もある。例えば、白熱電球、太陽光及び様々な他の一般光源は、ＩＲ光及び／又はＵＶ光を発生する。意図的でない可視光信号と同様に、これらの意図的でないＩＲ信号は、非可視光感受性を有するコンピュータビジョンシステムに対して望ましくない入力を提供する可能性がある。帯域通過型フィルタは、一般に望ましくない光帯域幅を抑制することができるが、オブジェクトから反射される制御光源からの光を、たまたま非可視光を含んでいる周囲光から分離する助けにはならない。
【０００９】
非制御光源の影響を抑制するための一方法は、制御光源からの照明を選択的に制御し、交互に点灯され、消灯されるこの制御光源を用いてイメージデータのフレームを取り込むことである。制御光源が消灯されて取り込まれるフレームは、非可視光を発生する任意の非制御光源からもたらされるデータを表す。したがって、この制御光源をオフにして取り込まれるフレームにおいて検出される光強度を差し引くことを使用して、非制御光源の影響について補償することができる。かかるプロセスは、２００４年６月１６日に出願の「Method And System For Reducing Effects Of Undesired Signals In An Infrared Imaging System」という名称の、本同一出願人による同時係属の米国特許出願第１０／８７０，７７７号明細書中に説明されている。かかるシステムは、多数のコンテキストで動作可能とすることができる。
【００１０】
しかし、イメージングシステムが、移動している物体をイメージ化している状況においては、かかるタイムスライシングシステム（ｔｉｍｅ−ｓｌｉｃｉｎｇ ｓｙｓｔｅｍ）は、あまり最適ではないこともある。かかるタイムスライシングシステムを使用することにより、データの取り込みのために実際に使用可能な実効フレームキャプチャサイクル数が低減される。したがって、例えば、システムが交互に点灯され、次いで消灯される制御光源を用いてフレームを取り込むように構成される場合には、ビジョンデータについてのイメージングシステムの実効キャプチャレートは、常にビジョンデータを取り込んでいるシステムのキャプチャレートの２分の１にすぎない。例えば、この制御光源を点灯し、次いで消灯してフレームキャプチャを交互に行うことにより、毎秒３０フレームを取り込むことができるデジタルカメラの実効キャプチャレートは、事実上毎秒１５フレームに低減される。さらに、イメージデータをより少ない頻度で取り込むことにより、このシステムは、この制御光源が消灯される時間間隔中にイメージ化されるオブジェクトが移動するときに生じ得る読取りエラーの影響をより受けやすくなる。したがって、イメージデータを低下されたレートでサンプリングして、使用可能なキャプチャサイクルの一部分を使用して周囲光について補償するイメージキャプチャシステムにおいては、結果イメージデータは、途切れ途切れになり、歪められ、かつ／又は重要なオブジェクトの動きを見失うこともあり得る。
【００１１】
したがって、意図的でなく望ましくない光信号の影響をフィルタリングし、マスキングし、それとも低下させて、このビジョンシステムが使用するのと同じ周波数帯の光を有する外部光信号にビジョンシステムが応答しないようにすることが望ましい。すべてのバックグラウンド光源からコンピュータビジョンシステムをシールドする環境中で、コンピュータビジョンシステムを動作させる必要なしに、望ましくないバックグラウンド光の影響は、オブジェクトを検出する際に回避されるべきである。さらに、イメージキャプチャサイクルを犠牲にすることなく、対象となるフィールド中を移動するオブジェクトからもたらされるデータを正確に取り込む機能を損なう可能性がある、意図的でなく望ましくない光源によって生成される光の影響を低下させることが望ましい。
【００１２】
本発明は、このような問題に鑑みてなされたもので、その目的とするところは、対象領域における意図的でなく、かつ望ましくない光源からの照明の影響を低下させてアクティブイメージングデータの精度を改善するようにした、光周波数を用いて周囲光のキャンセルを行うための方法及びそのシステムを提供することにある。
【課題を解決するための手段】
【００１３】
本発明のより重要なファンクションの１つは、制御光源が放射する周波数帯を含む光を発生する、太陽光、白熱電球、及び他の外部光源などの周囲光を含めて、イメージングシステムにおける望ましくない光源、又は非制御光源の影響を低下させることである。本発明においては、１つ又は複数のイメージ化されるオブジェクトによって反射される制御光源によって発生する光と、任意の非制御光源が発生する光を共に含むイメージングデータが、対象領域から取り込まれる。対象領域からの光は、イメージングデータを収集するために使用され、複数の周波数範囲の光に対して感受性のあるイメージセンサによって感知される。異なる周波数範囲における光に対するこのイメージセンサの感受性における変化を知り、この周波数範囲における制御光源の放射特性を知ることにより、この非制御光の光強度を決定し、このイメージングデータから除去することができる。
【００１４】
したがって、本発明の一実施形態は、イメージングデータ中の非制御光の影響を低下させる方法を対象としている。対象領域は、複数の周波数範囲において知られている強度の光を放射する制御光源によって発生される制御光で照明される。イメージセンシングシステムは、対象領域からの光を受光するように配置される。このイメージセンサは、この複数の周波数範囲の各々における光強度を検出するように構成され、この複数の周波数範囲の各々において受光される光に対するこのイメージセンシングシステムの異なる感度が確認されている。この複数の周波数範囲の各々における、対象領域から受光される光強度が検出され、この受光された光は、この非制御光と対象領域から反射されている制御光の一部分とを含んでいる。この受光された光に含まれる非制御光の光強度は、この制御光源の知られている光強度と、この複数の周波数範囲の各々において検出される光強度（ｔｈｅ ｉｎｔｅｎｓｉｔｙ ｏｆ ｌｉｇｈｔ）に基づいて計算される。このイメージングデータに対するこの非制御光の寄与（ｃｏｎｔｒｉｂｕｔｉｏｎ）について補償が行われるように、このイメージングデータは、非制御光の計算された光強度のファンクションとして調整される。
【００１５】
この制御光源は、赤外線スペクトル、可視光スペクトル、又は紫外線スペクトルの制御光を放射する。本発明の一実施形態においては、この制御光源は、これらの周波数範囲の各々においてほぼ等しい強度の光を放射するように構成されている。
【００１６】
この受光された光強度を検出すること、この非制御光の光強度を計算すること、及びこのイメージングデータを調整することは、対象領域を構成する複数の部分のそれぞれについて実施される。本発明の一実施形態においては、対象領域のこれらの部分は、対象領域中の各ポイントを含んでいる。したがって、このイメージングデータを調整することは、対象領域内の各ポイントにおける受光された光強度からこの非制御光の計算された光強度を差し引くことにより、この非制御光の計算された光強度に基づいてこのイメージングデータを調整することを含んでいる。
【００１７】
このイメージセンシングシステムは、いくつかの異なるタイプのセンサを含むことができる。例えば、このイメージセンシングシステムは、モザイクフィルタが取り付けられたセンサを含むことができ、ここでは、このセンサは、それぞれがフィルタエレメントに関連している複数の位置を含んでいる。各フィルタエレメントは、選択された周波数範囲の光がこの複数の位置の各々において通過できるように構成される。代わりに、このイメージセンシングシステムは、複数のイメージセンサを含むこともでき、ここで、各センサは、異なる周波数範囲における光を受光するようになっている。さらに、このイメージセンシングシステムは、特定の周波数範囲が、サイクリングフィルタ（ｃｙｃｌｉｎｇ ｆｉｌｔｅｒ）の各サイクル中に通過することができるようにする複数のフィルタエレメントを有するサイクリングフィルタが取り付けられたセンサを含むこともできる。このフィルタエレメントは、赤色、青色、又は緑色の周波数範囲中の光を通過させるように構成することもできる。また、このイメージセンシングシステムは、各検出セルが、特定の周波数範囲の光を検出するように構成されるように、複数の位置の各々に複数の検出セルを有する複合カラーイメージセンサを含むこともできる。
【００１８】
本発明の一実施形態においては、このイメージセンシングシステムは、デジタルカメラを備えており、また、複数の位置の各々がこのデジタルカメラのピクセルに対応する、複数の位置の各々において予め決められた光の周波数範囲を通過させるベイヤタイプ（Ｂａｙｅｒ−ｔｙｐｅ）のモザイクフィルタを有する。
【００１９】
本発明の上述した実施形態及び多数の付随する利点は、これらが以下の詳細な説明を添付図面と併せ参照することによりさらに良く理解されるようになるので、より簡単に理解されるようになろう。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照して本発明の実施の形態について説明する。
【００２１】
＜本発明を実装するための例示のコンピューティングシステム＞
図１は、インタラクティブなディスプレイ表面についてのイメージ処理に適した、本発明を実行する際に有用となる一般的な従来のコンピューティングデバイス又はパーソナルコンピュータ（ＰＣ）の機能ブロック図で、本発明の様々な部分を実装するために適した例示のシステムが示されている。このシステムは、処理装置２１とシステムメモリ２２及びシステムバス２３が設けられた従来のＰＣ２０の形態の汎用コンピューティングデバイスを備えている。このシステムバス２３は、このシステムメモリ２２を含めて様々なシステムコンポーネントを処理装置２１に結合し、メモリバス又はメモリコントローラとペリフェラルバス及び様々なバスアーキテクチャのうちのどれかを使用したローカルバスを含めて、いくつかのタイプのバス構造のうちのどれでも使用することができる。このシステムメモリ２２は、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ；読取り専用メモリ）２４及びＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ；ランダムアクセスメモリ）２５を備えている。起動中などにＰＣ２０内のエレメント間で情報を転送する助けをする基本ルーチンを含むＢＩＯＳ（ｂａｓｉｃ ｉｎｐｕｔ／ｏｕｔｐｕｔ ｓｙｓｔｅｍ；基本入出力システム）２６は、ＲＯＭ２４に記憶される。ＰＣ２０は、ハードディスク（図示せず）から情報を読み取り、それに情報を書き込むハードディスクドライブ２７と着脱可能な磁気ディスク２９から情報を読み取り、又はそれに情報を書き込む磁気ディスクドライブ２８及びＣＤ−ＲＯＭ（ｃｏｍｐａｃｔ ｄｉｓｋ−ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ；コンパクトディスク−読取り専用メモリ）や他の光媒体など着脱可能な光ディスク３１から情報を読み取り、又はそれに情報を書き込む光ディスクドライブ３０をさらに備えている。ハードディスクドライブ２７と磁気ディスクドライブ２８及び光ディスクドライブ３０は、それぞれハードディスクドライブインターフェース３２と磁気ディスクドライブインターフェース３３及び光ディスクドライブインターフェース３４によってシステムバス２３に接続されている。これらのドライブ及びこれらに関連するコンピュータ読取り可能な媒体は、ＰＣ２０のためのコンピュータ読取可能マシン命令とデータ構造とプログラムモジュール及び他のデータの不揮発性ストレージを実現する。本明細書中で説明しているこの例示の環境は、ハードディスクと着脱可能な磁気ディスク２９及び着脱可能な光ディスク３１を使用しているが、磁気カセット、フラッシュメモリカード、ＤＶＤ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｋ；デジタルビデオディスク）、ベルヌーイカートリッジ（Ｂｅｒｎｏｕｌｌｉ ｃａｒｔｒｉｄｇｅ）、ＲＡＭ、ＲＯＭなど、コンピュータによってアクセス可能なデータ及びマシン命令を記憶することができる他のタイプのコンピュータ読取り可能な媒体も、この例示の動作環境中で使用できる。
【００２２】
オペレーティングシステム３５と、１つ又は複数のアプリケーションプログラム３６と、他のプログラムモジュール３７及びプログラムデータ３８を含めて、いくつかのプログラムモジュールは、ハードディスク、磁気ディスク２９、光ディスク３１、ＲＯＭ２４、又はＲＡＭ２５に記憶することができる。ユーザは、キーボード４０やポインティングデバイス４２などの入力デバイスを介してＰＣ２０中にコマンド及び情報を入力し、制御入力を提供することができる。ポインティングデバイス４２は、マウス、スタイラス、無線リモートコントロール、又は他のポインタを備えることができるが、本発明に関連しては、ユーザが入力及び制御のためにこのインタラクティブディスプレイを使用することができるので、かかる従来のポインティングデバイスは、省略することもできる。以下で使用するように、用語「マウス」は、この画面上のカーソルの位置を制御するために有用な事実上任意のポインティングデバイスを包含するように意図している。他の入力デバイス（図示せず）は、マイクロフォン、ジョイスティック、触覚に基づくジョイスティック、ヨーク（ｙｏｋｅ）、フットペダル、ゲームパッド、サテライトディッシュ、スキャナなどを備えてもよい。これら及び他のＩ／Ｏ（ｉｎｐｕｔ／ｏｕｔｐｕｔ；入出力）デバイスは、しばしばシステムバス２３に結合されるＩ／Ｏインターフェース４６を介して処理装置２１に接続されている。用語Ｉ／Ｏインターフェースは、シリアルポート、パラレルポート、ゲームポート、キーボードポート、及び／又はＵＳＢ（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ；ユニバーサルシリアルバス）のために専用に使用される各インターフェースを包含することを意図している。システムバス２３は、カメラインターフェース５９にも接続され、このカメラインターフェース５９は、インタラクティブディスプレイ６０に結合されて、以下で説明するようにデジタルビデオカメラ又はそれに含まれる同等のイメージセンサからの信号を受け取る。このイメージセンサは、その代わりにＵＳＢバージョン２．０ポートなどの適切なシリアルＩ／Ｏポートに結合することもできる。オプションモニタ４７は、ビデオアダプタ４８など適切なインターフェースを介してシステムバス２３に接続することができる。しかし、本発明のインタラクティブディスプレイテーブルは、ずっと豪華なディスプレイを提供し、情報の入力及びソフトウェアアプリケーションの制御を行うためにこのユーザと対話することができ、したがって、このビデオアダプタに結合されることが好ましい。ＰＣは、しばしば（サウンドカード又は他のオーディオインターフェース（図示せず）を介して）スピーカやプリンタなど他のペリフェラル出力デバイス（図示せず）に結合されることがある。
【００２３】
本発明は、単一のマシン上で実行することもできるが、ＰＣ２０はまた、リモートコンピュータ４９など１つ又は複数のリモートコンピュータへの論理接続を使用して、ネットワーク環境で動作することもできる。リモートコンピュータ４９は、別のＰＣ、（一般的に概してＰＣ２０そっくりに構成される）サーバ、ルータ、ネットワークＰＣ、ピアデバイス、あるいは人工衛星又は他の共通ネットワークノードとすることもでき、一般的にＰＣ２０に関連して前述したエレメントの多く又はすべてを含んでいるが、外部メモリストレージデバイス５０しか、図１には示していない。図１に示す論理接続は、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ；ローカルエリアネットワーク）５１及びＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ；ワイドエリアネットワーク）５２を備えている。かかるネットワーキング環境は、オフィスと、企業規模のコンピュータネットワークと、イントラネット及びインターネットにおいて一般的である。
【００２４】
ＬＡＮネットワーキング環境中で使用されるときには、ＰＣ２０は、ネットワークインターフェース又はアダプタ５３を介してＬＡＮ５１に接続されている。ＷＡＮネットワーキング環境中で使用されるときには、ＰＣ２０は、一般的にインターネットなどのＷＡＮ５２上で通信を確立するためのモデム５４や、ケーブルモデム、ＤＳＬ（Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ；デジタル加入者回線）インターフェース、又はＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ；統合デジタルサービス通信網）インターフェースなど他の手段を備えている。モデム５４は、内蔵又は外付けとすることができるが、Ｉ／Ｏデバイスインターフェース４６を経由して、すなわち、シリアルポートを介してシステムバス２３に接続され、又はこのバスに結合されることができる。ネットワーク環境においては、ＰＣ２０が使用するプログラムモジュール、又はその一部分は、このリモートメモリストレージデバイスに記憶することもできる。図に示すこれらのネットワーク接続は、例示的なものであり、無線通信ネットワークリンクや広帯域ネットワークリンクなど、コンピュータ間で通信リンクを確立する他の手段を使用することもできる。
【００２５】
＜例示のインタラクティブ表面及びイメージングシステム＞
図２は、内部コンポーネントを示している、インタラクティブディスプレイ表面の一実施形態の断面図で、フレーム６２内にＰＣ２０を備え、このコンピュータのための光学入力デバイス及びビデオディスプレイデバイスの両方の役割を果たす例示のインタラクティブディスプレイテーブル６０が示されている。このインタラクティブディスプレイテーブル６０のこの切取り図において、テキストイメージ及びグラフィックイメージを表示するために使用される光線は、一般的に点線（ｄｏｔｔｅｄ ｌｉｎｅ）を使用して示されるが、このインタラクティブディスプレイ表面６４ａ上の、又はすぐ上のオブジェクトを感知するために使用される赤外線（ＩＲ）光線は、破線（ｄａｓｈ ｌｉｎｅ）を使用して示される。ディスプレイ表面６４ａは、このインタラクティブディスプレイテーブル６０の上面６４内に配置される。このテーブル表面の周辺は、ディスプレイ表面６４ａ上に表示されているグラフィックイメージ又は仮想環境と対話するために使用することができるオブジェクトを含めて、ユーザの腕又は他のオブジェクトを支えるために役に立つ。図２に示す本発明の実施形態においては、このシステムは、ＩＲ光を使用して水平に配置されたディスプレイ表面６４ａに近接したオブジェクトをイメージ化するように構成されている。しかし、本発明の実施形態は、他のコンテキストにおいてイメージ化すること、ならびにＩＲ光に追加して、又はその代わりに可視光及び紫外線（ＵＶ）光を含めて他のスペクトルにおける制御光源を使用することにも適用可能である。
【００２６】
図２に示す実施形態において、ＩＲ光源６６は、複数のＩＲ発光ダイオード（ＬＥＤ）を備え、フレーム６２の内側に取り付けられることが好ましい。ＩＲ光源６６が発生するＩＲ光は、破線７８ａ、７８ｂ及び７８ｃによって示されるように、ディスプレイ表面６４ａの裏面に向かって上方に向けられる。ＩＲ光源６６からのＩＲ光は、光の拡散特性を有する１枚のベラム（ｖｅｌｌｕｍ）又は他の適切な半透明材料を含む、このテーブルの半透明層６４ｂを通過した後に、このディスプレイ表面６４ａ上又はそれに近接した任意のオブジェクトから反射される。１つのＩＲ光源６６しか示されていないが、複数のかかるＩＲ光源が、フレーム６２の内側の周囲のスペースを空けた位置に取り付けられて、ディスプレイ表面６４ａの一様な照明を実証することができる。これらのＩＲ光源によって発生される赤外光は、 ・破線７８ａによって示されるように、どのオブジェクトも照らさずにこのテーブル表面を通って出て行き、
・破線７８ｂによって示されるように、このテーブル表面上のオブジェクトを照らし、又は
・破線７８ｃによって示されるように、このテーブル表面上で少し離れているがこのテーブル表面とは接触していないオブジェクトを照らすことができる。
【００２７】
ディスプレイ表面６４ａ上のオブジェクトは、このディスプレイ表面６４ａ上に載っている「接触」オブジェクト７６ａと、このディスプレイ表面６４ａに近接しているが実際には接触していない「浮遊（ｈｏｖｅｒ）」オブジェクト７６ｂとを備えている。このディスプレイ表面６４ａ下の半透明層６４ｂを使用してこのディスプレイ表面６４ａを通過するＩＲ光を拡散する結果、オブジェクトがディスプレイ表面６４ａの上部に近づくにつれて、このオブジェクトによって反射されるＩＲ光量は、このオブジェクトがこのディスプレイ表面６４ａと実際に接触しているときに達成される最大レベルにまで増大する。
【００２８】
デジタルビデオカメラ又は同等なイメージセンサ６８は、ディスプレイ表面６４ａ上に配置された任意の接触オブジェクト又は浮遊オブジェクトから反射されるＩＲ光を受け取るのに適切な位置でディスプレイ表面６４ａの下のフレーム６２に取り付けられる。イメージセンサ６８は、ディスプレイ表面６４ａ上の少し離れた距離にあり、又はディスプレイ表面６４ａと接触しているオブジェクトから反射されたＩＲ光に対してしか応答せず、このディスプレイ表面６４ａ上、又はその上方にあるオブジェクトから反射されるＩＲ光のイメージに対応した出力信号を生成すべきことが好ましいので、バッフル７９が、ＩＲ光源６６とイメージセンサ６８の間に配置されて、このＩＲ光源から直接に放射されるＩＲ光がイメージセンサ６８に入射しないようにする。イメージセンサ６８はまた、このインタラクティブディスプレイテーブル６０の上から、及びその内部へとディスプレイ表面６４ａを通過する周囲光に含まれる任意のＩＲ光（例えば、点線８４ｂによって示される周囲可視光と一緒に、点線８４ａによって示される経路に沿って進むこともある周囲ＩＲ光）に対しても応答する。
【００２９】
このテーブル表面上の又はその上方のオブジェクトから反射されるＩＲ光は、
・破線８０ａ及び８０ｂによって示されるように、半透明層６４ｂを介して反射して戻り、イメージセンサ６８のレンズに入り、又は
・破線８０ｃによって示されるように、イメージセンサ６８のレンズに入射せずに、このインタラクティブディスプレイ内の他の内部表面によって反射又は吸収されることもある。
【００３０】
半透明層６４ｂは、入射ＩＲ光も反射ＩＲ光も共に拡散する。したがって、上述したように、ディスプレイ表面６４ａにより近接した「浮遊」オブジェクトは、このインタラクティブディスプレイ表面からさらに遠く離れた同じ反射率のオブジェクトよりも、多くのＩＲ光をイメージセンサ６８に対して反射して戻す。イメージセンサ６８は、そのイメージングフィールド内の「接触」オブジェクト及び「浮遊」オブジェクトから反射されるＩＲ光を感知し、処理して、かかる各オブジェクトの位置、ならびにオプションとして、このオブジェクトのサイズ、方向及び形状を決定するためにＰＣ２０に入力されるこの反射されたＩＲ光のイメージに対応するデジタル信号を生成する。（ユーザの前腕など）オブジェクトの一部分は、このテーブルの上方に離れて存在するが、（ユーザの指など）別の部分は、このインタラクティブディスプレイ表面と接触している。さらに、オブジェクトは、オブジェクトに特有の、又はこのオブジェクトがそのメンバである、関連したオブジェクトのクラスに特有の、その底面上のＩＲ光反射性パターン又はコード化識別子（例えば、バーコード）を含むことができる。したがって、本発明に従って、イメージセンサ６８からのイメージング信号は、その反射パターンから反射されるＩＲ光に基づいて、かかる特有のオブジェクトそれぞれを検出するために、またその方向を決定するために使用することもできる。このファンクションを実行するために実装される論理ステップは、以下で説明される。
【００３１】
本発明の実施形態によれば、以下でさらに説明するように、イメージセンサ６８には、１つ又は複数の追加のフィルタを装備することができ、あるいは複数の別々のカメラ又はイメージセンサを使用して、複数の周波数範囲の受光される光を取り込むことができる。
【００３２】
ＰＣ２０は、図２に示すようにインタラクティブディスプレイテーブル６０と一体化されていてもよく、その代わり図３の実施形態に示すようにこのインタラクティブディスプレイテーブル６０の外部にあってもよい。
【００３３】
図３は、外部のＰＣに結合されたテーブルタイプのインタラクティブディスプレイ表面の一実施形態の等角図で、このインタラクティブディスプレイテーブル６０’は、データケーブル６３を介して（前述のようにオプションのモニタ４７を含む）外部のＰＣ２０に接続されている。また、図３に示すように、１組の直交するＸ軸及びＹ軸が、ディスプレイ表面６４ａに関連づけられており、同様に原点が「０」で示されている。詳細に示してはいないが、各直交軸に沿った複数の座標位置を使用してディスプレイ表面６４ａ上の任意の位置を示すことができる。
【００３４】
このインタラクティブディスプレイテーブル６０’が、（図３のように）外部ＰＣ２０に、又はセットトップボックス、ビデオゲーム、ラップトップコンピュータ、メディアコンピュータ（どれも示さず）など、他の何らかのタイプの外部コンピューティングデバイスに接続されている場合には、このインタラクティブディスプレイテーブル６０’は、入出力デバイスを備えている。このインタラクティブディスプレイテーブル用の電力は、パワーリード線６１を介して供給され、このパワーリード線は、従来の交流電流（ＡＣ）電源（図示せず）に結合される。インタラクティブディスプレイテーブル６０’に接続されるデータケーブル６３は、ＰＣ２０上のＵＳＢ２．０ポート、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ；米電気電子技術者協会）１３９４（又はファイヤワイヤ）ポート、又はイーサネット（登録商標）（Ｅｔｈｅｒｎｅｔ（登録商標））ポートに結合することができる。無線接続の速度が向上し続けるにつれて、このインタラクティブディスプレイテーブルは、かかる高速無線接続を介し、あるいは他の何らかの適切な有線又は無線のデータ通信リンクを介してＰＣ２０などのコンピューティングデバイスに接続することもできる。このインタラクティブディスプレイの一体化部分として内部に含まれようと、又は外部に含まれようとも、ＰＣ２０は、イメージセンサ６８からのデジタルイメージを処理するためのアルゴリズムを実行し、インタラクティブディスプレイテーブル６０のより直感的なユーザインターフェース機能を使用して長所を引き出すように設計されたソフトウェアアプリケーションを実行し、同様にしてかかる機能を使用するように特には設計されていないが、依然としてこのインタラクティブディスプレイテーブルの入出力機能をうまく使用することができる他のソフトウェアアプリケーションも実行する。さらに他の代替形態として、このインタラクティブディスプレイは、外部コンピューティングデバイスに結合することもできるが、この場合に外部ＰＣによっては行われないはずのイメージ処理及び他のタスクを行うための内部コンピューティングデバイスも備えることができる。
【００３５】
このインタラクティブディスプレイテーブル（すなわち、前述のいずれかの実施形態）の重要で強力な特徴は、ゲーム又は他のソフトウェアアプリケーションのためのグラフィックイメージ又は仮想環境を表示し、ディスプレイ表面６４ａ上で見ることができるグラフィックイメージ又は仮想環境と、オブジェクト７６ａなど、インタラクティブディスプレイ表面上に載っており、又はオブジェクト７６ｂなど、そのすぐ上方で浮遊している（ｈｏｖｅｒｉｎｇ）オブジェクトとの間の相互作用を可能にするその機能である。かかるオブジェクト、ならびにこのユーザの指、又はこの豊富な相互作用を非常にうまく実行する、このユーザが動かしている他のオブジェクトを視覚的に検出することが、このインタラクティブディスプレイテーブルの機能である。
【００３６】
再び図２を参照すると、インタラクティブディスプレイテーブル６０は、ディスプレイ表面６４ａ上に、グラフィックイメージと、仮想環境又はテキスト情報を表示するために使用されるビデオプロジェクタ７０を備えている。このビデオプロジェクタ７０は、少なくとも６４０×４８０ピクセルの解像度をもつ、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ；液晶ディスプレイ）タイプ、ＤＬＰ（ｄｉｇｉｔａｌ ｌｉｇｈｔ ｐｒｏｃｅｓｓｏｒ；デジタル光プロセッサ）タイプ、又はＬＣｏＳ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ；液晶オンシリコン）ディスプレイタイプであることが好ましい。ＩＲカットフィルタ８６ｂが、ビデオプロジェクタ７０のプロジェクタレンズの前に取り付けられて、このビデオプロジェクタ７０によって放射されるＩＲ光が、このインタラクティブディスプレイテーブルの内部に入らないようにしており、このインタラクティブディスプレイテーブルの内部では、このＩＲ光が、ディスプレイ表面６４ａ上の、又はその上方にある１つ（又は複数）のオブジェクトから反射されたＩＲ光と干渉してしまう可能性がある。第１のミラーアセンブリ７２ａは、このプロジェクタレンズから点線経路８２ａに沿って進んでくる投影光を点線経路８２ｂに沿ってフレーム６２の透明な開口部９０ａを介するように方向変更し、その結果、この方向変更された光は、第２のミラーアセンブリ７２ｂ上へ入射することになる。第２のミラーアセンブリ７２ｂは、この投影光を点線経路８２ｃに沿って半透明層６４ｂ上へと方向変更し、この半透明層６４ｂは、このプロジェクタレンズの焦点に存在し、その結果、この投影されたイメージは、見ることが可能であり、閲覧するためのディスプレイ表面６４ａ上で焦点が合う。
【００３７】
位置合わせデバイス７４ａ及び７４ｂが提供され、これらは、ネジ棒と、このインタラクティブディスプレイ表面上に投影されるイメージがこのインタラクティブディスプレイ表面と位置合わせされるようにする第１及び第２のミラーアセンブリ７２ａ、７２ｂの角度を調整するための回転可能調整ナット７４ｃとを備えている。この投影されたイメージを所望の方向に向けることに追加して、これら２つのミラーアセンブリの使用により、プロジェクタ７０と半透明層６４ｂの間のより長い経路が実現され、さらに重要なことに、このインタラクティブディスプレイテーブルの所望のサイズ及び形状を実現する助けとなり、その結果、このインタラクティブディスプレイテーブルは、あまり大きくなりすぎることもなく、このユーザが、その近くに快適に座ることができるような大きさと形状になっている。
【００３８】
以上及び以下の説明では、インタラクティブディスプレイテーブル６０及び６０’の形態のインタラクティブディスプレイデバイスについて説明している。それにもかかわらず、このインタラクティブディスプレイ表面は、一般的な水平のテーブル上部の形態とする必要がない。本発明のこの明細書で説明している原理は適切に、異なる形状及び曲率の、水平以外の方向に取り付けられたディスプレイ表面も含み、またこれらのディスプレイ表面にも適用される。したがって、以下の説明では、物理オブジェクトをこのインタラクティブディスプレイ表面の「上に（ｏｎ）」配置することに言及しているが、物理オブジェクトは、このインタラクティブディスプレイ表面に接触して配置することによりこのインタラクティブディスプレイ表面に近接して配置することもでき、あるいはこのインタラクティブディスプレイ表面の付近に配置することもできる。
【００３９】
＜制御ＩＲ光源を用いて、また用いずに取り込まれるＩＲイメージ＞
外部ＩＲ光信号は、制限され又は補償されて、これらの望ましくない信号がインタラクティブディスプレイテーブル６０の機能と干渉することがないようにするべきである。ＩＲ範囲以外の周波数帯におけるイメージングは、可視光、ＵＶ、又は他の光源からの干渉を受けることもある。以下の説明では、本発明の実施形態が低減させようとする外部光源によって引き起こされる問題の代表として、ＩＲイメージングの例示のケースに焦点を当てている。
【００４０】
図４Ａ，図４Ｃ及び図４Ｅは、インタラクティブディスプレイ表面に近接した手が、制御光源からの光及び／又は周囲光によって照らされている、このインタラクティブディスプレイ表面の一部分の拡大断面図で、図４Ｂ，図４Ｄ及び４Ｆは、図４Ａ，図４Ｃ及び図４Ｅのそれぞれに対応した、インタラクティブディスプレイ表面から受光される反射光に基づいてこのインタラクティブディスプレイ表面から取り込まれた結果イメージを示す図である。つまり、インタラクティブディスプレイテーブルの一部分を示して、どのようにして意図せぬＩＲ信号がインタラクティブ表面６４ａとかみ合ったユーザの手４０２のＩＲ−スペクトルイメージを歪ませる可能性があるかを示している。
【００４１】
図４Ａは、ディスプレイ表面６４ａ上で一部接触し、一部「浮遊している」ユーザの手４０２を示している。明細書及び図面がこれにより特に参照により本明細書に組み込まれている、２００４年３月３１日に出願された「Determining Connectedness And Offset Of 3D Objects Relative To An Interactive Surface」という名称の、同一出願人による同時係属の米国特許出願第１０／８１４，７６１号明細書に説明されているように、ＩＲイメージングシステムは、このインタラクティブディスプレイ表面に接触している物理オブジェクトと、このインタラクティブディスプレイ表面の近くで浮遊している物理オブジェクトとに応答し、これらの間の区別を行うことができる。
【００４２】
より詳細には、図４Ａ、図４Ｃ及び図４Ｅにおいて、ユーザの手４０２の親指４０４及び中指４０８は、インタラクティブディスプレイ表面６４ａに接触しているが、人差し指４０６及び薬指４１０は、インタラクティブディスプレイ表面６４ａ上で少し離れて「浮遊しており」、また小指４１２は、インタラクティブディスプレイ表面６４ａからさらに少し遠く離れて浮遊している。
【００４３】
図４Ａにおいて、ＩＲ光ビーム４１４は、ＩＲ光源６６から放射され、インタラクティブディスプレイ表面６４ａを通過し、ユーザの手４０２に入射している。反射されたＩＲ光ビーム４１６は、インタラクティブディスプレイ表面６４ａを通過して戻り、イメージセンサ６８に入る。このイメージセンサ６８は、このカメラに入射するＩＲ光のイメージに対応する信号を発生する。このイメージは、ＩＲ光ビーム４１６と、このイメージセンサ６８に到達する他の任意のＩＲ光のファンクションである。図４Ａでは、ただ１つのＩＲ光源は、ＩＲ光源６６である。したがって、図４Ａにおいては、意図せぬ周囲ＩＲ光源又は外部ＩＲ光源は存在しない。バッフル７９は、ＩＲ光源６６からのＩＲ光がイメージセンサ６８のレンズに直接に入射しないようにしている。
【００４４】
図４Ｂは、ユーザの手４０２によって反射される、ＩＲ光源６６についてのＩＲ光ビーム４１６だけに応答してイメージセンサ６８が発生するユーザの手４０２ａの結果ＩＲ−イメージを示している。反射されたＩＲ光ビーム４１６に応答して、ユーザの手４０２ａは、このイメージ中のバックグラウンド４２０ａの光強度又は輝度に比べてより高い光強度又は輝度を有する。さらに、親指４０４ａ及び中指４０８ａの先端は、このイメージ中において、残りの指４０６ａ、４１０ａ、及び４１２ａ、ならびに手の残りの部分４０２ａよりも高い光強度又は輝度を有する。親指４０４ａ及び中指４０８ａの先端だけが、ディスプレイ表面６４ａに接触している、手４０２ａの部分であり（図４Ａ）、その結果、この親指及び中指の先端から反射されたＩＲ光は、インタラクティブディスプレイ表面６４ａの拡散による低下をあまり受けず、したがって、手の残りの部分４０２ａ又はバックグラウンド４２０ａよりも高い光強度を有する。２つの異なる光強度レベルしか図４Ｂには示していないが、しかし、この反射されたＩＲ光の光強度は、物理オブジェクトの反射率と、インタラクティブディスプレイ表面６４ａからのその距離に基づいて変化することになる。
【００４５】
図４Ｃでは、ＩＲ光源６６が、非活性化されている。したがって、図４Ａに示した図とは違って、ＩＲ光ビーム４１４は、ユーザの手４０２に向かって投影されず、このユーザの手からイメージセンサ６８に向かって反射されるＩＲ光ビーム４１６は存在していない。しかし、図４Ａに示した図とは違って、図４Ｃは、インタラクティブディスプレイ表面６４ａの外部に源を発するＩＲ光ビーム４２２及び４２４を示しており、これらが、イメージセンサ６８によって取り込まれる。例えば、ＩＲビーム４２２は、このインタラクティブディスプレイテーブルの周囲環境中の任意の白熱光源から放射されるＩＲ光を示すこともあり、ＩＲビーム４２４は、窓（図示せず）を介してこの周囲環境を照らす太陽光に含まれるＩＲ光ビームを示すこともある。ＩＲ光ビーム４２２及び４２４は、ユーザの手４０２の周囲、及び指４０４乃至４１２の間を通過する。したがって、ユーザの手４０２の「逆光照明」は、図４Ｄに示すように、より明るいバックグラウンド４２０ｂに対するユーザの手４０２の影を含むイメージをもたらす。
【００４６】
図４Ｄにおいて、ユーザの手４０２は、暗い（図４Ｂのように明るく照らされてはいない）。ユーザの手４０２の背後からしか来ないＩＲ光は、このイメージ中においてこのユーザの手に比べてずっと明るく見え、その結果、このユーザの手は、より明るいバックグラウンド４２０ｂに対する影としてしか見えない。図４Ｄのイメージは、人が太陽を背にして立っており、その結果、この人はこの太陽により逆光照明されているというイメージと似ている。逆光照明の拡散光線は、さらにずっと明るいバックグラウンドに対するかなり一様な影のイメージをもたらす。図４Ｄから分かるように、図４Ｂには存在するような、親指４０４ｂ及び中指４０８ｂの指先のイメージと、手４０２ｂ、ならびに指４０６ｂ、４１０ｂ及び４１２ｂのイメージの残りの部分との間の違いは存在しない。したがって、周囲ＩＲ光を用いたユーザの手の逆光照明は、少なくとも接触し浮遊する指と手の間のコントラストを低下させる傾向があり、ユーザの手４０２を含むイメージの有用なイメージ処理を実質的に減らす可能性がある。一般的に、このイメージの任意のセグメンテーション、すなわち、ユーザの手の一部分か否かとしての各ピクセルのラベル付け、又はこのインタラクティブディスプレイ表面上に置かれたオブジェクト一部分か否かとしての任意のピクセルのラベル付けは、これらの条件下ではあまり難しくはない。この周囲光レベルは、このＩＲ光源からの反射されたＩＲ光のレベルに簡単にマッチングさせることができる。（これらのオブジェクトが不透明な場合に、周囲光は、オブジェクトから戻された光に影響を与えないので）一般に任意のオブジェクトのこの表面外観を読み取ることは可能であるが、どのオブジェクトがこのインタラクティブディスプレイ表面と接触しているかについての指示としてイメージ中の輪郭及び形状、又は絶対ピクセル強度を用いることは不可能である。
【００４７】
図４Ｅにおいて、ＩＲ光源６６は、図４Ａに示すように、もう一度活性化される。しかし、今回は、周囲ＩＲ光源もまたアクティブであり、その結果、例えば、白熱光４２２及び太陽光４２４からの周囲ＩＲ光も存在している。図４Ｅに示すように、投影されたＩＲ光ビーム４１４が、ＩＲ光源６６からユーザの手４０２及び指４０４乃至４１２に到達し、この手及び指から反射されたＩＲ光ビーム４１６は、イメージセンサ６８に到達する。同時に、ユーザの手４０２の周囲及びユーザの指４０４乃至４１２を介して輝く周囲ＩＲ光ビーム４２２及び４２４も、このイメージセンサに到達する。
【００４８】
図４Ｆに示す結果イメージは、このユーザの手から反射されたＩＲ光ビーム４１６と、周囲ＩＲ光ビーム４２２及び４２４とが、互いに効果的に相殺することができることを示している。その結果、インタラクティブディスプレイ６４ａに接触しているユーザの指４０４ｃ及び４０８ｃと、ユーザの手４０２ｃならびに指４０６ｃ、４１０ｃ及び４１２ｃの残りの部分との間だけでなく、一般にユーザの手４０２ｃ及び指４０４ｃ乃至４１２ｃとバックグラウンド４２０ｃとの間のコントラストを実質的に低下させることができる。バックグラウンド４２０ｃは、図４Ｄに示すように明るくなり、このユーザの指４０４ｃ及び４０８ｃは、このＩＲ光源からの反射されたＩＲによって識別可能なものとなる。さらに、ユーザの手４０２ｃは、この明るい周囲バックグラウンドに対する影として明らかになる。このユーザの手からの反射されたＩＲ光ビーム４１６が、周囲ＩＲ光ビーム４２２及び４２４のビームよりも実質的に高い光強度をもつ場合には、ユーザの手４０２ｃ及び指４０４ｃ乃至４１２ｃのイメージは、依然としてバックグラウンド４２０ｃよりも明るいものとして際立ったものとなる可能性がある。ＩＲ光源６６の光強度の有効な調整は、インタラクティブディスプレイ表面６４ａに接触している指４０４ｃ及び４０８ｃの先端と、周囲ＩＲ光ビーム４２２及び４２４によって照らされるバックグラウンドの間のコントラストを保持しようと試みながら、周囲光４２２及び４２４のビームを明らかにするために行う必要がある。
【００４９】
したがって、本発明は、外部の白熱光４２２や太陽光４２４などＩＲ光の望ましくない周囲光源及び／又は意図せぬ周囲光源の影響を補償している。再び、図４Ｂ、図４Ｄ及び図４Ｅを参照すると、ＩＲ光ビーム４１６の反射ビームだけ（図４Ａ）がイメージセンサ６８で受光されるような図４Ｂのイメージの等価物を達成することが望ましい。残念ながら、この環境中の周囲ＩＲ光のほとんどを実質的になくすることによる以外には、ＩＲ光ビーム４２２及び４２４の外部光源は、一般的に、反射されたＩＲ光ビーム４１６と一緒に含まれることになり、この周囲ＩＲ光の存在が補償されない限り、図４Ｆのイメージによく似たイメージがもたらされる。適切な補償を実現しなければ、環境内に周囲ＩＲ光源が存在するときはいつでも、図４Ｄのイメージ中のこの望ましくないバックグラウンドが、常に図４Ｂのようなオブジェクトから反射されたＩＲ光の所望のイメージに追加されることになり、図４Ｆの問題を有するイメージがもたらされる。
【００５０】
＜その相対強度に基づいた非制御光についての調整＞
本発明の実施形態は、非制御の外部光源から受光される光の影響を低下させることにより、またこのイメージデータを調整して非制御の外部光源から受光される光の影響を修正することにより、図４Ｂのイメージなど、より理想化されたイメージを導き出そうとするものである。本発明の実施形態は、ある周波数範囲にわたる光に対する変化する応答を有するイメージセンサを使用することにより、非制御光源の光強度を決定している。本発明の一実施形態においては、このイメージセンサには、個別のピクセルに対して赤色光、緑色光及び青色光を選択的に通過させるフィルタが装備され、これらのピクセルは、特定の波長において赤色フィルタ光、青色フィルタ光及び緑色フィルタ光に対して、知られている相対的な応答を有している。この制御光源は、この光源が近赤外線スペクトルの波長においてピーク強度を有するように選択され、ここでこのイメージセンサのピクセルは赤色フィルタ光、青色フィルタ光及び緑色フィルタ光に対してほぼ等しい応答を有する。その結果、この光源によって発生され、イメージ化されるオブジェクトによって反射される光に対するこのイメージセンサの応答は、バランスした光強度を有することになる。対照的に、太陽光、タングステンフィラメント電球、ハロゲン電球など、一般的な非制御光は、近赤外線波長の範囲にわたってかなり均一な光強度を有する光を放射する傾向がある。本発明の一実施形態においては、帯域通過フィルタを使用して、この帯域通過フィルタのカットオフ波長と、この異なる波長に対するこのイメージセンサの応答を定量化することが可能な、このイメージセンサの感度減衰ポイントとの間の範囲に、受光される近赤外線光の波長を制限する。このイメージセンサは、この非制御光が引き起こす光強度の差異を検出することになる。赤色フィルタ光、青色フィルタ光及び緑色フィルタ光に対するこのイメージセンサの知られている応答特性を使用して、この非制御光の光強度を決定することができ、次いでこのイメージデータを調整して、望ましくない非制御光の影響を低下させることができる。
【００５１】
＜非制御光についての補償を行うためのシステム＞
図５は、本発明の一実施形態による、望ましくない光源の影響を低下させるためのシステムのブロック図で、コンピュータビジョンシステム上の非制御光源の影響を低下させるためのシステム５００を示している。このシステム５００は、インタラクティブディスプレイ表面６４ａ（図２及び図３）を用いて機能するが、特定の周波数帯の光を使用してオブジェクトの位置を識別及び／又は検出する他のコンピュータビジョンシステムのために同様な利点を簡単に実現するようにもすることができる。（図１乃至図３に示す）ＰＣ２０は、イメージ処理のファンクションを実行し、処理済みイメージ出力５１８を提供する。このＰＣ２０は、例えば、イメージセンサ６８によって感知されたイメージに応じて生成された信号を処理して、インタラクティブディスプレイ表面６４ａ上、又はその近くに配置されたユーザの指４０８又は他の物理オブジェクトの存在及び／又は動きを検出する。
【００５２】
図５に示す本発明のこの一実施形態において、光源６６は、制御ＩＲ光源である。図７に関連して以下でさらに説明しているように、光源６６は、フィルタ５０６及び５０８と結合されたイメージセンサ６８の応答に対してピーク放射光強度を有するように選択して、光源６６からの反射された光を非制御光源から区別するようにすることができる。
【００５３】
光源６６は、光４１４をインタラクティブディスプレイ表面６４ａに向かって方向づけるように構成され配置され、イメージングが行われるときに（図示していないが、ＰＣ２０などの）ＰＣ又は他の制御システムの制御下で光源６６にエネルギを与える光源コントローラ５０２によって制御される。イメージセンサ６８の応答性のキャリブレーション又はクロスチェックのためにアクティブでない非制御の周囲光源６６の読取りを行い、又はイメージングが行われていないときに光源６６を非活性化することが望ましい場合及びそのときには、光源コントローラ５０２を使用して光源６６を非活性化することができる。
【００５４】
反射光４１６、ならびに白熱光４２２及び太陽光４２４を含む周囲光は、インタラクティブディスプレイ表面６４ａを通過し、イメージセンサ６８によって検出される。図５に示す実施形態においては、イメージセンサ６８は、デジタル出力５１０を生成し、次いでこのデジタル出力は、以下でさらに説明するように処理される。
【００５５】
本発明の一実施形態においては、イメージセンサ６８には、スペクトルフィルタ５０６及び帯域通過フィルタ５０８が装備されている。以下でさらに説明しているように、帯域通過フィルタ５０８を使用して、イメージセンサ６８によって受光される光からある種の波長より短い光を減衰させて、受光される光波長の範囲を制限して、異なる光波長に対するイメージセンサ６８の応答を利用することができる。本発明の一実施形態においては、スペクトルフィルタ５０６は、二次元アレイピクセル中の異なるピクセルに異なる波長の光を通過させるために光にフィルタをかけるために使用されるベイヤフィルタを備え、スペクトルフィルタ５０６は、イメージセンサ６８と一体化することもできる。
【００５６】
このイメージ中で、カラー化エレメントを形成するように組み合わされる隣接ピクセル位置について赤色、緑色及び青色の寄与をもたらすことによって、単色センサがカラーイメージを記録することができるようにするベイヤフィルタは、当業者にはよく知られている。
【００５７】
図６は、本発明の一実施形態による、光センサによって受光される光にフィルタをかけるために使用することができる代表的なモザイクベイヤフィルタのセクションを示す図で、使用可能な代表的なベイヤフィルタ５０６のセクションを示している。このベイヤフィルタ５０６は、それぞれ赤色光、青色光及び緑色光をその下に存在するピクセルに通過させるように構成された赤色フィルタリングセクション６１０、緑色フィルタリングセクション６２０及び青色フィルタリングセクション６３０を備えている。スペクトルフィルタ５０６を使用することにより、スペクトルフィルタ５０６によって個別ピクセルに通過させられる異なる波長光に対する定量化可能な応答を有するイメージセンサ６８がもたらされる。
【００５８】
図７は、赤色周波数帯、緑色周波数帯及び青色周波数帯に主として感受性があるが、赤外波長に対する感度も有し、異なるカラーフィルタによってカバーされたこれらのエレメントの相対感度が、特定の赤外周波数に応じてフィルタカラーごとにこの赤外領域内で変化するイメージセンサについての光感度曲線のグラフを示す図で、代表的なイメージセンサについての光感度曲線のグラフ７００を示している。特に、グラフ７００は、本発明中で使用可能なナショナルセミコンダクタ（商標）モデルＬＭ９６４７イメージセンサの応答性を示している。このＬＭ９６４７イメージセンサは、主として赤色周波数帯、緑色周波数帯及び青色周波数帯に対して感受性があるが、赤外線波長に対する感度も有している。異なるカラーフィルタによってカバーされたエレメントの相対感度は、この特定の赤外線周波数に応じてフィルタカラーごとに赤外線領域内で変化する。このＬＭ９６４７イメージセンサは、図６に示すタイプの一体化ベイヤフィルタを備えている。曲線７１０、７２０及び７３０は、その関連するベイヤフィルタを介した青色光に対するこのセンサの感度を表すが、曲線７２０は、それぞれ青色光、緑色光及び赤色光に対するその感度を示す。曲線７１０乃至７３０は、図７に示す波長範囲にわたって大いに異なっているが、破線７４０が示すように約７５０ｎｍで、収束し始める。曲線７１０乃至７３０は、約８８０ｎｍにおける点線７６０においてほとんど収束している。イメージセンサ６８の感度は、約９００ｎｍにおける感度減衰ポイント７７０において実質的に減衰し始める。
【００５９】
したがって、７５０ｎｍにおける破線７４０と、感度減衰ポイント７７０との間に広がっている範囲７８０は、赤色フィルタ光、緑色フィルタ光及び青色フィルタ光に対するイメージセンサ６８の応答性が、著しく変化すると共に実質的に収束もする範囲を取り込んでいる。したがって、光源６６（図５）は、赤色フィルタ光、緑色フィルタ光及び青色フィルタ光に対するイメージセンサ６８の応答が収束する約８８０ｎｍのピーク強度を有するように選択され、帯域通過フィルタ５０８は、７５０ｎｍより短い波長において光をブロックするように選択される。
【００６０】
ベイヤフィルタを伴うイメージセンサを使用する代わりに、他のシステムを使用して複数の周波数範囲の光を検出することができる。例えば、それぞれが別の周波数範囲特有のフィルタを搭載した複数のイメージセンサを使用することができる。これらの別々のセンサは、ビームスプリッタを介してこの光の一部分を受光することができる。したがって、時間ごとにポイントごとに、この各周波数範囲における読取りが行われるはずである。さらに、複数の各フレームキャプチャ間隔中にこの全体のイメージセンサ上で異なるフィルタエレメントを循環させるカラーホイールフィルタ又は他のタイプの周期的フィルタを伴うセンサを使用することができる。さらに代わりに、各ポイントで別々の周波数範囲における光を検出することが可能なマルチカラー感受性センサも使用することができる。
【００６１】
図５に戻って参照すると、周囲の白熱光４２２又は太陽光４２４が存在しない状況においては、イメージセンサ６８によって集められる唯一の光は、光源６６によって発生される光４１４からオブジェクト４０８によって反射される光４１６となる。イメージセンサ６８が赤色フィルタ光、緑色フィルタ光及び青色フィルタ光に対して等しい応答を有する波長においてピーク強度を有する光源６６を選択することにより、周囲光が存在しないときには、各タイプのフィルタカラーに関連するピクセルは、バランスさせられることになる。対照的に、周囲の白熱光４２２又は太陽光４２４は、おそらく光源６６と同じピーク強度をもたず、これらの非制御光源からの光は、範囲７８０にまたがる波長において受光されることになる。赤色フィルタ光、緑色フィルタ光及び青色フィルタ光を受光するイメージセンサ６８のピクセルは、曲線７１０乃至７３０によって示されるように様々な強度応答を有することになる。したがって、周囲の白熱光４２２又は太陽光４２４が存在するときには、赤色フィルタ光、緑色フィルタ光及び青色フィルタ光を受光するピクセルの変化する応答を測定し、範囲７８０にまたがる光に対するこれらのピクセルの変化する感度を活用することにより、制御光源６６以外の光源からの光強度を決定することができる。次いで、イメージングデータを調整して、非制御光源からのイメージセンサ６８が受光する光の影響を低下させることができる。
【００６２】
イメージセンサ６８からの出力５１０からのイメージングデータは、データバッファメモリ５１２に記憶される。以下でさらに説明するように、非制御光プロセッサ又は識別器５１４は、この非制御光の光強度を決定する。次いで、この制御光の光強度は、この非制御光の光強度について補償されて、このイメージングデータを調整して、この非制御光の影響が十分に低下される。次いで、この非制御光の光強度は、この非制御光の光強度を差し引くように構成された加算器５１６又は同様なプロセッサによって算術的に相殺されて、処理済みイメージ出力５１８に生成される調整済みのイメージデータがもたらされる。潜在的にデータバッファストレージ、非制御光識別／処理、及び／又はこのイメージデータの調整を含めてこれらのステップの一部又はすべては、適切に構成されたプロセッサ又はコンピュータ中でオプションとして実施される。
【００６３】
＜非制御光の強度を決定すること＞
上述したように、本発明の実施形態は、知られているピーク強度を有する光源と、異なるカラーのフィルタに関連するピクセルにおいて様々な感度を有するイメージセンサとを使用している。赤色フィルタ光、緑色フィルタ光及び青色フィルタ光を受光するピクセルがどのように応答するかにおける変化を使用して、受光される非制御光の光強度を決定することができる。
【００６４】
例えば、図７に戻って参照すると、非制御光の光強度は、破線７４０と減衰ポイント７７０の間の範囲７８０上で決定されており、この破線７４０は、曲線７１０乃至７３０が増大する波長のファンクションとして収束し始めるが、まだ収束してはいない、帯域通過フィルタ５０８についてのカットオフ波長である。グラフ７００に表されるデータを解析し、赤色フィルタ光応答曲線７３０を青色フィルタ光応答曲線７１０と比較すると、このイメージセンサは、範囲７８０上で青色フィルタ光に対するのに比べて赤色フィルタ光に対して約１．６倍だけ感度が高い。同様に緑色フィルタ光応答曲線７２０を青色フィルタ光応答曲線７１０と比較すると、このイメージセンサは、範囲７８０上で青色フィルタ光に対するのに比べて赤色フィルタ光に対して約１．１７倍だけ感度が高い。したがって、図７に示す応答を有するイメージセンサの実施例を使用し、異なるフィルタ光に対する応答がバランスしている波長においてピーク強度を有する制御光源を使用すると、検出される非制御光の光強度を決定し、したがって、このイメージングデータ中で相殺することができる。
【００６５】
式（１）は、この制御光源及び非制御光源から受光される赤色フィルタ光の合計光強度について表現している。この制御光源は、赤色フィルタ光、緑色フィルタ光及び青色フィルタ光についてのこのイメージセンサの応答が等しい波長においてピーク強度を有するので、この制御光の相対光強度は、１．０である。対照的に、非制御光源から受光される光の相対光強度は、１．６である。したがって、次式のようになる。
【００６６】
ＴｏｔａｌRed＝ＩｎｔｅｎｓｉｔｙControlled×１．０＋ＩｎｔｅｎｓｉｔｙUncontrolled×１．６ ・・・（１）
【００６７】
同様に、式（２）は、この制御光源及び非制御光源から受光される青色フィルタ光の合計光強度についての関係を表現している。
【００６８】
ＴｏｔａｌBlue＝ＩｎｔｅｎｓｉｔｙControlled×１．０＋ＩｎｔｅｎｓｉｔｙUncontrolled×１．０ ・・・（２）
【００６９】
この式（２）は、式（３）中のＩｎｔｅｎｓｉｔｙControlledについて解くことが可能である。
【００７０】
ＩｎｔｅｎｓｉｔｙControlled＝ＴｏｔａｌBlue−ＩｎｔｅｎｓｉｔｙUncontrolled ・・・（３）
【００７１】
この式（３）からのＩｎｔｅｎｓｉｔｙControlledの計算値を式（１）に代入すると、式（４）は、式（１）をこの赤色周波数帯及び青色周波数帯中で受光される合計光強度のファンクションとしてＩｎｔｅｎｓｉｔｙUncontrolledについて解くことができることを示す。
【００７２】
ＩｎｔｅｎｓｉｔｙUncontrolled＝（ＴｏｔａｌRed−ＴｏｔａｌBlue）／０．６ ・・・（４）
【００７３】
したがって、対象となる範囲にわたってのこのイメージセンサの知られている応答に基づいて、この非制御光の光強度は、各ポイントにおいて測定される赤色フィルタ光と青色フィルタ光の合計測定光強度から決定することができる。説明しているシステムにおいて、技術的に各ポイント又はピクセルは、赤色フィルタ光、緑色フィルタ光又は青色フィルタ光だけを受光し、それ故に、各ポイントにおける非制御光の光強度は、それぞれ赤色フィルタ光と青色フィルタ光とを受光する２つの最近接ピクセルにおける赤色フィルタ光と青色フィルタ光の合計測定光強度を使用し、式（４）を使用して決定される。
【００７４】
この非制御光の光強度が決定された後に、各ポイントにおいて受光されるフィルタ光に応じて、各ポイントにおけるこの制御光の光強度は、このポイントがそれぞれ赤色フィルタ光、緑色フィルタ光又は青色フィルタ光を受光するかどうかに応じて、式（５）乃至（７）のうちの１つから決定することができる。
【００７５】
ＩｎｔｅｎｓｉｔｙControlled＝ＴｏｔａｌRed−１．６×ＩｎｔｅｎｓｉｔｙUncontrolled ・・・（５）
【００７６】
ＩｎｔｅｎｓｉｔｙControlled＝ＴｏｔａｌGreen−１．１７×ＩｎｔｅｎｓｉｔｙUncontrolled ・・・（６）
【００７７】
ＩｎｔｅｎｓｉｔｙControlled＝ＴｏｔａｌBlue−１．０×ＩｎｔｅｎｓｉｔｙUncontrolled ・・・（７）
【００７８】
本発明の実施形態は、フィルタ光に対して異なる応答を有するイメージセンサに適応させることができ、同様な式は、異なる波長における光に対するこれらのイメージセンサの知られている応答から導き出すことができる。光源は、検討している範囲におけるイメージセンサの応答に適したピーク強度を有するように選択及び／又は構成することができる。
【００７９】
＜非制御光について調整されるイメージ＞
図８Ａは、光周波数に基づいて、このイメージが非制御光源の影響について調整される以前における、モザイクベイヤフィルタを介してイメージングデバイスによって生成されるイメージの一例を示す図で、非制御光の影響を低下させるように処理されていない元のイメージ８００ａを示している。また、図８Ｂは、光周波数に基づいて、このイメージが非制御光源の影響について調整された後における、モザイクベイヤフィルタを介してイメージングデバイスによって生成されるイメージの一例を示す図で、本発明の一実施形態に従って非制御光の影響が低下させられている調整済みのイメージ８００ｂを示している。
【００８０】
図８Ａにおいて、元のイメージ８００ａは、イメージ化されている２つのオブジェクト８１０ａ及び８２０ａを示している。オブジェクトのエッジ８１２ａ及び８２２ａは、バックグラウンド８３０ａに対してどちらかというとぼやけている。オブジェクト８１０ａ及び８２０ａの周囲からイメージ８００ａに入射する非制御の周囲光が、オブジェクト８１０ａ及び８２０ａをイメージ化するために制御光しか受光されなかった場合には、存在しているはずのコントラストをなくしてしまう。チェッカーボードパターン８４０は、モザイクのベイヤフィルタ５０６（図５及び６）のアーティファクトであり、このフィルタがこの受光された光に影響を及ぼす方法からもたらされる。
【００８１】
しかし、図８Ｂの調整済みのイメージ８００ｂは、暗くしたバックグラウンド８３０ｂに対してはっきりしたコントラストのエッジ８１２ｂ及び８２２ｂを有する同じオブジェクト８１０ｂ及び８２０ｂのイメージを示している。このベイヤフィルタを介してこのセンサにおいて受光される光の相対光強度を使用して、赤色周波数帯光及び青色周波数帯光の相対光強度が測定されている。これらの相対光強度から、この非制御の周囲光の全体的光強度が上述したように決定される。したがって、調整済みのイメージ８００ｂは、どのようにしてこの相対光強度の測定値を使用して、非制御光の影響を低下させ、よりはっきりしたイメージがもたらされるかを示している。
【００８２】
＜イメージデータを調整して非制御光源の影響を低下させるための方法＞
図９は、本発明の一実施形態による、望ましくない照明の影響を低下させるための論理ステップを示す流れ図で、非制御照明及び／又は望ましくない照明の影響を実質的になくし、又は低下させるための例示の論理ステップを示す流れ図９００である。
【００８３】
まず、ステップ９０２において、このインタラクティブディスプレイ表面のイメージングが開始される。次に、ステップ９０４において、赤色フィルタ光、緑色フィルタ光又は青色フィルタ光に対するこのイメージセンサの相対感度が認識される。上述したように、このイメージセンサの相対感度は、非制御光の強度を導き出すために使用可能な式を決定し、それによってこのイメージを調整して、この非制御の周囲光の影響を修正する。このイメージセンサの相対感度の決定は、このイメージングシステムが使用されるたびに実施される必要はないが、非制御光の影響を決定し、明らかにするために使用される式は装置に依存する。
【００８４】
次に、ステップ９０６において、この対象領域が、この制御光源によって照らされる。上述したように、この制御光源は、この赤色周波数帯や青色周波数帯など選択済みの周波数帯に関して知られている相対光強度を有しており、これにより、非制御光の光強度の計算が実行される。この制御光源は、この非制御光の測定の後にアクティブにすることができ、あるいはアクティブにし、アクティブのままにすることもできる。
【００８５】
次に、ステップ９０８において、例えば、図８Ａに示すように、光が対象となる領域から集められて、この未処理の未調整のイメージデータが取り込まれる。ステップ９１０において、各ポイントにおいて受光される光強度が測定される。次に、ステップ９１２において、非制御光の光強度は、赤色光受光ピクセル及び青色光受光ピクセルにおいて測定された赤色フィルタ光、緑色フィルタ光又は青色フィルタ光の相対光強度に基づいて計算される。次に、ステップ９１４において、このイメージデータは、ポイントごとに調整されて、非制御光の影響を低下させる。本発明の一実施形態においては、ステップ９１２において決定される非制御光の全体的光強度は、各ポイントにおけるこの光の測定済みの光強度から差し引かれる。
【００８６】
次に、判断ステップ９１６において、イメージングが継続されるかどうかが判定される。継続される場合、ルーチン９００は、ステップ９０６へとループして、継続して対象領域におけるオブジェクトを照明しイメージ化する。他方、判断ステップ９１６においてイメージ化が継続されないと判定される場合には、ルーチン９００は、ステップ９１８において終了する。
【００８７】
本発明は、本発明及び本発明に対する変更を実行する好ましい形態に関連して説明してきたが、添付の特許請求の範囲の範囲内において本発明に対して他の多数の変更を行うことができる。したがって、本発明の技術的範囲は、以上の説明によってどのようにも限定されることは意図しておらず、その代わりに全面的に添付の特許請求の範囲に関連して決定されるものである。
【図面の簡単な説明】
【００８８】
【図１】インタラクティブなディスプレイ表面についてのイメージ処理に適した、本発明を実行する際に有用となる一般的な従来のコンピューティングデバイス又はパーソナルコンピュータ（ＰＣ）の機能ブロック図である。
【図２】内部コンポーネントを示している、インタラクティブディスプレイ表面の一実施形態の断面図である。
【図３】外部のＰＣに結合されたテーブルタイプのインタラクティブディスプレイ表面の一実施形態の等角図である。
【図４Ａ】インタラクティブディスプレイ表面に近接した手が、制御光源からの光及び／又は周囲光によって照らされている、このインタラクティブディスプレイ表面の一部分の拡大断面図（その１）である。
【図４Ｂ】インタラクティブディスプレイ表面から受光される反射光に基づいてこのインタラクティブディスプレイ表面から取り込まれた結果イメージを示す図（その１）である。
【図４Ｃ】インタラクティブディスプレイ表面に近接した手が、制御光源からの光及び／又は周囲光によって照らされている、このインタラクティブディスプレイ表面の一部分の拡大断面図（その２）である。
【図４Ｄ】インタラクティブディスプレイ表面から受光される反射光に基づいてこのインタラクティブディスプレイ表面から取り込まれた結果イメージを示す図（その２）である。
【図４Ｅ】インタラクティブディスプレイ表面に近接した手が、制御光源からの光及び／又は周囲光によって照らされている、このインタラクティブディスプレイ表面の一部分の拡大断面図（その３）である。
【図４Ｆ】インタラクティブディスプレイ表面から受光される反射光に基づいてこのインタラクティブディスプレイ表面から取り込まれた結果イメージを示す図（その３）である。
【図５】本発明の一実施形態による、望ましくない光源の影響を低下させるためのシステムのブロック図である。
【図６】本発明の一実施形態による、光センサによって受光される光にフィルタをかけるために使用することができる代表的なモザイクベイヤフィルタのセクションを示す図である。
【図７】赤色周波数帯、緑色周波数帯及び青色周波数帯に主として感受性があるが、赤外波長に対する感度も有し、異なるカラーフィルタによってカバーされたこれらのエレメントの相対感度が、特定の赤外周波数に応じてフィルタカラーごとにこの赤外領域内で変化するイメージセンサについての光感度曲線のグラフを示す図である。
【図８Ａ】光周波数に基づいて、このイメージが非制御光源の影響について調整される以前における、モザイクベイヤフィルタを介してイメージングデバイスによって生成されるイメージの一例を示す図である。
【図８Ｂ】光周波数に基づいて、このイメージが非制御光源の影響について調整された後における、モザイクベイヤフィルタを介してイメージングデバイスによって生成されるイメージの一例を示す図である。
【図９】本発明の一実施形態による、望ましくない照明の影響を低下させるための論理ステップを示す流れ図である。
【符号の説明】
【００８９】
２０ ＰＣ
２１ 処理装置
２２ システムメモリ
２３ システムバス
３２ ハードディスクドライブインターフェース
３３ 磁気ディスクドライブインターフェース
３４ 光ディスクドライブインターフェース
３５ オペレーティングシステム
３６ アプリケーションプログラム
３７ 他のプログラムモジュール
３８ プログラムデータ
４０ キーボード
４６ Ｉ／Ｏデバイスインターフェース（例えば、シリアル）
４７ オプションモニタ
４８ ビデオアダプタ
４９ リモートコンピュータ
５３ ネットワークインターフェース
５４ モデム
５９ カメラインターフェース
６０，６０’ インタラクティブディスプレイテーブル
６１ パワーリード線
６２ フレーム
６３ データケーブル
６４ 上面
６４ａ ディスプレイ表面
６４ｂ 半透明層
６６ 光源
６８ イメージセンサ
７０ ビデオプロジェクタ
７２ａ 第１のミラーアセンブリ
７２ｂ 第２のミラーアセンブリ
７４ａ，７４ｂ 位置合わせデバイス
７４ｃ 回転可能調整ナット
７６ａ 「接触」オブジェクト
７６ｂ 「浮遊（ｈｏｖｅｒ）」オブジェクト
７９ バッフル
８６ｂ ＩＲカットフィルタ
９０ａ 透明な開口部
４０２，４０２ａ，４０２ｂ，４０２ｃ ユーザの手
４０４，４０４ａ，４０４ｂ，４０４ｃ 親指
４０６，４０６ａ，４０６ｂ，４０６ｃ 人差し指
４０８，４０８ａ，４０８ｂ，４０８ｃ 中指
４１０、４１０ａ，４１０ｂ，４１０ｃ 薬指
４１２，４１２ａ，４１２ｂ，４１２ｃ 小指
４１４，４１６，４２２，４２４ ＩＲ光ビーム
４２０ａ バックグラウンド
５００ システム
５０２ 光源コントローラ
５０６，５０８ フィルタ
５１０ 出力
５１２ データバッファメモリ
５１４ 非制御光識別器
５１６ 加算器
５１８ 処理済みイメージ出力
【特許請求の範囲】
【請求項１】
イメージングデータ中の非制御光の影響を低下させるための方法であって、
（ａ）複数の周波数範囲において知られている強度の光を放射する制御光源によって発生される制御光で対象領域を照明するステップと、
（ｂ）前記複数の周波数範囲の各々における光強度を検出するように構成され、前記対象領域からの光を受光するイメージセンシングシステムを配置するステップと、
（ｃ）前記複数の周波数範囲の各々において受光された光に対する前記イメージセンシングシステムの異なる感度を認識するステップと、
（ｄ）前記複数の周波数範囲の各々における前記対象領域から受光された光強度を検出するステップであって、前記受光された光が、前記非制御光と前記対象領域から反射される前記制御光の一部分とを含むステップと、
（ｅ）前記制御光源の前記知られている光強度と、前記複数の周波数範囲の各々において検出される光強度とに基づいて前記受光された光に含まれる前記非制御光の光強度を計算するステップと、
（ｆ）前記イメージングデータに対する前記非制御光の寄与について補償するように、前記非制御光の前記計算された光強度のファンクションとして前記イメージングデータを調整するステップと
を有することを特徴とする方法。
【請求項２】
前記制御光源は、
（ａ）赤外線スペクトルと、
（ｂ）可視光スペクトルと、
（ｃ）紫外線スペクトル
のうちの少なくとも１の光放射を行なうことを特徴とする請求項１に記載の方法。
【請求項３】
前記制御光源が、前記複数の周波数範囲の各々においてほぼ等しい強度の光を放射するように、前記制御光源を構成するステップをさらに有することを特徴とする請求項１に記載の方法。
【請求項４】
前記受光された光強度を検出するステップと、前記非制御光の光強度を計算するステップと、前記イメージングデータを調整するステップは、前記対象領域を構成する複数の部分の各々について実施されることを特徴とする請求項１に記載の方法。
【請求項５】
前記対象領域の前記部分は、前記対象領域中の各ポイントを含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記イメージングデータを調整するステップは、前記対象領域内の各ポイントにおける前記受光された光強度から前記非制御光の前記計算された光強度を差し引くことにより、前記非制御光の前記計算された光強度に基づいて前記イメージングデータを調整するステップを有することを特徴とする請求項５に記載の方法。
【請求項７】
前記イメージセンシングシステムは、
（ａ）それぞれフィルタエレメントに相関づけられる複数の位置を有し、前記各フィルタエレメントが、選択された周波数範囲の光を前記複数の位置の各々において通過させることができるように構成されているモザイクフィルタが取り付けられた検出器と、
（ｂ）前記各検出器が異なる周波数範囲において受光するようになっている複数のイメージ検出器と、
（ｃ）特定の周波数範囲をサイクリングフィルタの各サイクル中に通過させることができるようにする複数のフィルタエレメントを有する前記サイクリングフィルタが取り付けられた検出器と、
（ｄ）各検出セルが特定の周波数範囲を検出するように構成されている複数の前記検出セルを複数の位置の各々において有する複合カラーイメージ検出器と
のうちの１つを備えたことを特徴とする請求項１に記載の方法。
【請求項８】
前記フィルタエレメントは、
（ａ）赤色周波数範囲と、
（ｂ）青色周波数範囲と、
（ｃ）緑色周波数範囲
のうちの１つを通過させるように構成されていることを特徴とする請求項７に記載の方法。
【請求項９】
前記検出器は、デジタルカメラを備え、前記モザイクフィルタは、それぞれが前記デジタルカメラのピクセルに対応する前記複数の位置の各々において、予め決められた周波数範囲の光を通過させるベイヤフィルタを備えていることを特徴とする請求項７に記載の方法。
【請求項１０】
イメージングデータ中の非制御光の影響を低下させるための方法であって、
（ａ）複数の周波数範囲上で均一な強度の光を放射する制御光源によって発生される制御光で対象領域を照明するステップと、
（ｂ）複数の位置の各々において前記複数の周波数範囲の各々における光強度を検出するように構成され、前記複数の位置の各々において前記対象領域からの光を受光するイメージセンシングシステムを配置するステップと、
（ｃ）前記複数の周波数範囲の各々において受光される光に対する前記イメージセンシングシステムの異なる感度を認識するステップと、
（ｄ）前記複数の位置の各々において前記複数の周波数範囲の各々における前記対象領域からの前記受光された光強度を検出するステップであって、前記受光された光は、前記非制御光と前記対象領域から反射されている前記制御光の一部分とを含むステップと、
（ｅ）前記制御光源の前記均一な光強度と、前記複数の位置の各々において前記複数の周波数範囲の各々において検出される光強度とに基づいて前記複数の位置の各々において前記受光された光に含まれる前記非制御光の光強度を計算するステップと、
（ｆ）前記イメージングデータに対する前記非制御光の寄与について補償するように、前記複数の位置の各々における前記非制御光の前記計算された光強度のファンクションとして前記複数の位置の各々についての前記イメージングデータを調整するステップと
を有することを特徴とする方法。
【請求項１１】
前記制御光源は、
（ｄ）赤外線スペクトルと、
（ｅ）可視光スペクトルと、
（ｆ）紫外線スペクトル
のうちの少なくとも１つの光放射を行なうことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記イメージセンシングシステムは、
（ａ）それぞれフィルタエレメントに相関づけられる複数の位置を有し、前記各フィルタエレメントが、選択された周波数範囲の光を前記複数の位置の各々において通過させることができるように構成されているモザイクフィルタが取り付けられたセンサと、
（ｂ）前記各センサが異なる周波数範囲において受光するようになっている複数のイメージセンサと、
（ｃ）特定の周波数範囲をサイクリングフィルタの各サイクル中に通過させることができるようにする複数のフィルタエレメントを有する前記サイクリングフィルタが取り付けられたセンサと、
（ｄ）各検出セルが特定の周波数範囲を検出するように構成されている複数の前記検出セルを複数の位置の各々において有する複合カラーイメージセンサと
のうちの１つを備えていることを特徴とする請求項１０に記載の方法。
【請求項１３】
前記フィルタエレメントは、
（ａ）赤色周波数範囲と、
（ｂ）青色周波数範囲と、
（ｃ）緑色周波数範囲
のうちの１つを通過させるように構成されていることを特徴とする請求項１２に記載の方法。
【請求項１４】
前記センサは、デジタルカメラを備え、前記モザイクフィルタは、それぞれが前記デジタルカメラのピクセルに対応する前記複数の位置の各々において、予め決められた周波数範囲の光を通過させるベイヤフィルタを備えていることを特徴とする請求項１２に記載の方法。
【請求項１５】
前記イメージングデータを調整するステップは、前記対象領域内の各位置における前記受光された光強度から前記対象領域の各位置についての前記非制御光の前記計算された光強度を差し引くことにより、前記対象領域内の前記複数の位置の各々についての前記イメージングデータを調整するステップを有することを特徴とする請求項１０に記載の方法。
【請求項１６】
前記イメージングデータを調整するステップは、前記対象領域内の各位置における前記受光された光強度から前記非制御光の前記計算された光強度を差し引くステップを有することを特徴とする請求項１０に記載の方法。
【請求項１７】
イメージングデータ中の非制御光の影響を低下させるためのシステムであって、
（ａ）表面に近接してその表面上にマーキングを有するオブジェクトを配置することができ、ソフトウェアアプリケーションによって決定されるイメージを表示するインタラクティブディスプレイ表面と、
（ｂ）該インタラクティブディスプレイ表面に近接して配置されるオブジェクトを照明するように配置され、複数の周波数範囲において知られている光強度を有する制御光を放射するように構成される制御光源と、
（ｃ）対象領域からの光を受光するように配置され、前記複数の周波数範囲の各々において光強度を検出するように構成され、前記複数の周波数範囲の各々において受光される光に対する異なる感度を有し、前記受光された光が、前記非制御光と前記対象領域から反射されている前記制御光の一部分とを含むイメージセンシングシステムと、
（ｄ）前記イメージセンシングシステムと情報をやりとりするプロセッサと、
（ｅ）該プロセッサと情報をやりとりし、該プロセッサに、
（ｉ）前記制御光源の前記知られている光強度と前記複数の周波数範囲の各々において検出される光強度に基づいて、前記受光された光に含まれる前記非制御光の光強度を計算するファンクションと、
（ｉｉ）前記イメージングデータに対する前記非制御光の寄与について補償するように、前記非制御光の前記計算された光強度のファンクションとして前記イメージングデータを調整するファンクションと
を含む複数のファンクションを実行させるデータ及びマシン命令を記憶するメモリと
を備えたことを特徴とするシステム。
【請求項１８】
前記制御光源は、
（ｇ）赤外線スペクトルと、
（ｈ）可視光スペクトルと、
（ｉ）紫外線スペクトル
のうちの少なくとも１つの光放射を行うように構成されたことを特徴とする請求項１７に記載のシステム。
【請求項１９】
前記制御光源は、前記各周波数範囲におけるほぼ等しい強度の光を放射するように構成されたことを特徴とする請求項１７に記載のシステム。
【請求項２０】
前記受光された光強度は検出され、前記非制御光の計算光強度は計算され、前記イメージングデータは、前記対象領域を構成する複数の各部分について調整されることを特徴とする請求項１７に記載のシステム。
【請求項２１】
前記対象領域の前記部分は、前記対象領域の前記各ポイントを含むことを特徴とする請求項２０に記載のシステム。
【請求項２２】
前記イメージングデータを調整する手段は、前記対象となる領域内の各ポイントにおける前記受光された光強度から前記非制御光の前記計算された光強度を差し引くことにより、前記非制御光の前記計算された光強度に基づいて前記イメージングデータを調整する手段を有することを特徴とする請求項２１に記載のシステム。
【請求項２３】
前記イメージセンシングシステムは、
（ａ）それぞれフィルタエレメントに相関づけられる複数の位置を有し、前記各フィルタエレメントが、選択された周波数範囲の光を前記複数の位置の各々において通過させることができるように構成されているモザイクフィルタが取り付けられたセンサと、
（ｂ）前記各センサが異なる周波数範囲において受光するようになっている複数のイメージセンサと、
（ｃ）特定の周波数範囲をサイクリングフィルタの各サイクル中に通過させることができるようにする複数のフィルタエレメントを有する前記サイクリングフィルタが取り付けられたセンサと、
（ｄ）各検出セルが特定の周波数範囲を検出するように構成されている複数の前記検出セルを複数の位置の各々において有する複合カラーイメージセンサと
のうちの１つを備えていることを特徴とする請求項１７に記載のシステム。
【請求項２４】
前記フィルタエレメントは、
（ａ）赤色周波数範囲と、
（ｂ）青色周波数範囲と、
（ｃ）緑色周波数範囲
のうちの１つを通過させるように構成されたことを特徴とする請求項２３に記載のシステム。
【請求項２５】
前記センサは、デジタルカメラを備え、前記モザイクフィルタは、それぞれが前記デジタルカメラのピクセルに対応する前記複数の位置の各々において、予め決められた周波数範囲の光を通過させるベイヤフィルタを備えていることを特徴とする請求項２３に記載のシステム。
【請求項２６】
イメージングデータ中の非制御光の影響を低下させるためのシステムであって、
（ａ）表面に近接してその表面上にマーキングを有するオブジェクトを配置することができ、前記ソフトウェアアプリケーションによって決定されるイメージを表示するインタラクティブディスプレイ表面と、
（ｂ）該インタラクティブディスプレイ表面に近接して配置されるオブジェクトを照明するように配置され、複数の周波数範囲にわたって均一な光強度を有する制御光を放射するように構成される制御光源と、
（ｃ）対象領域から受光するように配置され、複数の位置の各々において前記複数の周波数範囲の各々において光強度を検出するように構成され、前記受光された光が、前記非制御光と前記対象領域から反射されている前記制御光の一部分とを含むイメージセンシングシステムと、
（ｄ）前記イメージセンシングシステムと情報をやりとりするプロセッサと、
（ｅ）前記プロセッサと情報をやりとりし、該プロセッサに、
（ｉ）前記制御光源の前記均一な光強度と前記複数の位置の各々において前記複数の周波数範囲の各々において検出される光強度に基づいて、前記複数の位置の各々における前記受光された光に含まれる前記非制御光の光強度を計算するファンクションと、
（ｉｉ）前記複数の位置の各々における前記イメージングデータに対する前記非制御光の寄与について補償するように、前記非制御光の前記計算された光強度のファンクションとして前記イメージングデータを調整するファンクションと
を含む複数のファンクションを実行させるデータ及びマシン命令を記憶するメモリと
を備えたことを特徴とするシステム。
【請求項２７】
前記制御光源は、
（ｊ）赤外線スペクトルと、
（ｋ）可視光スペクトルと、
（ｌ）紫外線スペクトル
のうちの少なくとも１つの光放射を行うように構成されたことを特徴とする請求項２６に記載のシステム。
【請求項２８】
前記イメージセンシングシステムは、
（ａ）それぞれフィルタエレメントに相関づけられる複数の位置を有し、前記各フィルタエレメントが、選択された周波数範囲の光を前記複数の位置の各々において通過させることができるように構成されているモザイクフィルタが取り付けられたセンサと、
（ｂ）前記各センサが異なる周波数範囲において受光するようになっている複数のイメージセンサと、
（ｃ）特定の周波数範囲をサイクリングフィルタの各サイクル中に通過させることができるようにする複数のフィルタエレメントを有する前記サイクリングフィルタが取り付けられたセンサと、
（ｄ）各検出セルが特定の周波数範囲を検出するように構成されている複数の前記検出セルを複数の位置の各々において有する複合カラーイメージセンサと
のうちの１つを備えていることを特徴とする請求項２６に記載のシステム。
【請求項２９】
前記フィルタエレメントは、
（ａ）赤色周波数範囲と、
（ｂ）青色周波数範囲と、
（ｃ）緑色周波数範囲
のうちの１つを通過させるように構成されたことを特徴とする請求項２８に記載のシステム。
【請求項３０】
前記センサは、デジタルカメラを備え、前記モザイクフィルタは、それぞれが前記デジタルカメラのピクセルに対応する前記複数の位置の各々において、予め決められた周波数範囲の光を通過させるベイヤフィルタを備えていることを特徴とする請求項２８に記載のシステム。
【請求項１】
イメージングデータ中の非制御光の影響を低下させるための方法であって、
（ａ）複数の周波数範囲において知られている強度の光を放射する制御光源によって発生される制御光で対象領域を照明するステップと、
（ｂ）前記複数の周波数範囲の各々における光強度を検出するように構成され、前記対象領域からの光を受光するイメージセンシングシステムを配置するステップと、
（ｃ）前記複数の周波数範囲の各々において受光された光に対する前記イメージセンシングシステムの異なる感度を認識するステップと、
（ｄ）前記複数の周波数範囲の各々における前記対象領域から受光された光強度を検出するステップであって、前記受光された光が、前記非制御光と前記対象領域から反射される前記制御光の一部分とを含むステップと、
（ｅ）前記制御光源の前記知られている光強度と、前記複数の周波数範囲の各々において検出される光強度とに基づいて前記受光された光に含まれる前記非制御光の光強度を計算するステップと、
（ｆ）前記イメージングデータに対する前記非制御光の寄与について補償するように、前記非制御光の前記計算された光強度のファンクションとして前記イメージングデータを調整するステップと
を有することを特徴とする方法。
【請求項２】
前記制御光源は、
（ａ）赤外線スペクトルと、
（ｂ）可視光スペクトルと、
（ｃ）紫外線スペクトル
のうちの少なくとも１の光放射を行なうことを特徴とする請求項１に記載の方法。
【請求項３】
前記制御光源が、前記複数の周波数範囲の各々においてほぼ等しい強度の光を放射するように、前記制御光源を構成するステップをさらに有することを特徴とする請求項１に記載の方法。
【請求項４】
前記受光された光強度を検出するステップと、前記非制御光の光強度を計算するステップと、前記イメージングデータを調整するステップは、前記対象領域を構成する複数の部分の各々について実施されることを特徴とする請求項１に記載の方法。
【請求項５】
前記対象領域の前記部分は、前記対象領域中の各ポイントを含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記イメージングデータを調整するステップは、前記対象領域内の各ポイントにおける前記受光された光強度から前記非制御光の前記計算された光強度を差し引くことにより、前記非制御光の前記計算された光強度に基づいて前記イメージングデータを調整するステップを有することを特徴とする請求項５に記載の方法。
【請求項７】
前記イメージセンシングシステムは、
（ａ）それぞれフィルタエレメントに相関づけられる複数の位置を有し、前記各フィルタエレメントが、選択された周波数範囲の光を前記複数の位置の各々において通過させることができるように構成されているモザイクフィルタが取り付けられた検出器と、
（ｂ）前記各検出器が異なる周波数範囲において受光するようになっている複数のイメージ検出器と、
（ｃ）特定の周波数範囲をサイクリングフィルタの各サイクル中に通過させることができるようにする複数のフィルタエレメントを有する前記サイクリングフィルタが取り付けられた検出器と、
（ｄ）各検出セルが特定の周波数範囲を検出するように構成されている複数の前記検出セルを複数の位置の各々において有する複合カラーイメージ検出器と
のうちの１つを備えたことを特徴とする請求項１に記載の方法。
【請求項８】
前記フィルタエレメントは、
（ａ）赤色周波数範囲と、
（ｂ）青色周波数範囲と、
（ｃ）緑色周波数範囲
のうちの１つを通過させるように構成されていることを特徴とする請求項７に記載の方法。
【請求項９】
前記検出器は、デジタルカメラを備え、前記モザイクフィルタは、それぞれが前記デジタルカメラのピクセルに対応する前記複数の位置の各々において、予め決められた周波数範囲の光を通過させるベイヤフィルタを備えていることを特徴とする請求項７に記載の方法。
【請求項１０】
イメージングデータ中の非制御光の影響を低下させるための方法であって、
（ａ）複数の周波数範囲上で均一な強度の光を放射する制御光源によって発生される制御光で対象領域を照明するステップと、
（ｂ）複数の位置の各々において前記複数の周波数範囲の各々における光強度を検出するように構成され、前記複数の位置の各々において前記対象領域からの光を受光するイメージセンシングシステムを配置するステップと、
（ｃ）前記複数の周波数範囲の各々において受光される光に対する前記イメージセンシングシステムの異なる感度を認識するステップと、
（ｄ）前記複数の位置の各々において前記複数の周波数範囲の各々における前記対象領域からの前記受光された光強度を検出するステップであって、前記受光された光は、前記非制御光と前記対象領域から反射されている前記制御光の一部分とを含むステップと、
（ｅ）前記制御光源の前記均一な光強度と、前記複数の位置の各々において前記複数の周波数範囲の各々において検出される光強度とに基づいて前記複数の位置の各々において前記受光された光に含まれる前記非制御光の光強度を計算するステップと、
（ｆ）前記イメージングデータに対する前記非制御光の寄与について補償するように、前記複数の位置の各々における前記非制御光の前記計算された光強度のファンクションとして前記複数の位置の各々についての前記イメージングデータを調整するステップと
を有することを特徴とする方法。
【請求項１１】
前記制御光源は、
（ｄ）赤外線スペクトルと、
（ｅ）可視光スペクトルと、
（ｆ）紫外線スペクトル
のうちの少なくとも１つの光放射を行なうことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記イメージセンシングシステムは、
（ａ）それぞれフィルタエレメントに相関づけられる複数の位置を有し、前記各フィルタエレメントが、選択された周波数範囲の光を前記複数の位置の各々において通過させることができるように構成されているモザイクフィルタが取り付けられたセンサと、
（ｂ）前記各センサが異なる周波数範囲において受光するようになっている複数のイメージセンサと、
（ｃ）特定の周波数範囲をサイクリングフィルタの各サイクル中に通過させることができるようにする複数のフィルタエレメントを有する前記サイクリングフィルタが取り付けられたセンサと、
（ｄ）各検出セルが特定の周波数範囲を検出するように構成されている複数の前記検出セルを複数の位置の各々において有する複合カラーイメージセンサと
のうちの１つを備えていることを特徴とする請求項１０に記載の方法。
【請求項１３】
前記フィルタエレメントは、
（ａ）赤色周波数範囲と、
（ｂ）青色周波数範囲と、
（ｃ）緑色周波数範囲
のうちの１つを通過させるように構成されていることを特徴とする請求項１２に記載の方法。
【請求項１４】
前記センサは、デジタルカメラを備え、前記モザイクフィルタは、それぞれが前記デジタルカメラのピクセルに対応する前記複数の位置の各々において、予め決められた周波数範囲の光を通過させるベイヤフィルタを備えていることを特徴とする請求項１２に記載の方法。
【請求項１５】
前記イメージングデータを調整するステップは、前記対象領域内の各位置における前記受光された光強度から前記対象領域の各位置についての前記非制御光の前記計算された光強度を差し引くことにより、前記対象領域内の前記複数の位置の各々についての前記イメージングデータを調整するステップを有することを特徴とする請求項１０に記載の方法。
【請求項１６】
前記イメージングデータを調整するステップは、前記対象領域内の各位置における前記受光された光強度から前記非制御光の前記計算された光強度を差し引くステップを有することを特徴とする請求項１０に記載の方法。
【請求項１７】
イメージングデータ中の非制御光の影響を低下させるためのシステムであって、
（ａ）表面に近接してその表面上にマーキングを有するオブジェクトを配置することができ、ソフトウェアアプリケーションによって決定されるイメージを表示するインタラクティブディスプレイ表面と、
（ｂ）該インタラクティブディスプレイ表面に近接して配置されるオブジェクトを照明するように配置され、複数の周波数範囲において知られている光強度を有する制御光を放射するように構成される制御光源と、
（ｃ）対象領域からの光を受光するように配置され、前記複数の周波数範囲の各々において光強度を検出するように構成され、前記複数の周波数範囲の各々において受光される光に対する異なる感度を有し、前記受光された光が、前記非制御光と前記対象領域から反射されている前記制御光の一部分とを含むイメージセンシングシステムと、
（ｄ）前記イメージセンシングシステムと情報をやりとりするプロセッサと、
（ｅ）該プロセッサと情報をやりとりし、該プロセッサに、
（ｉ）前記制御光源の前記知られている光強度と前記複数の周波数範囲の各々において検出される光強度に基づいて、前記受光された光に含まれる前記非制御光の光強度を計算するファンクションと、
（ｉｉ）前記イメージングデータに対する前記非制御光の寄与について補償するように、前記非制御光の前記計算された光強度のファンクションとして前記イメージングデータを調整するファンクションと
を含む複数のファンクションを実行させるデータ及びマシン命令を記憶するメモリと
を備えたことを特徴とするシステム。
【請求項１８】
前記制御光源は、
（ｇ）赤外線スペクトルと、
（ｈ）可視光スペクトルと、
（ｉ）紫外線スペクトル
のうちの少なくとも１つの光放射を行うように構成されたことを特徴とする請求項１７に記載のシステム。
【請求項１９】
前記制御光源は、前記各周波数範囲におけるほぼ等しい強度の光を放射するように構成されたことを特徴とする請求項１７に記載のシステム。
【請求項２０】
前記受光された光強度は検出され、前記非制御光の計算光強度は計算され、前記イメージングデータは、前記対象領域を構成する複数の各部分について調整されることを特徴とする請求項１７に記載のシステム。
【請求項２１】
前記対象領域の前記部分は、前記対象領域の前記各ポイントを含むことを特徴とする請求項２０に記載のシステム。
【請求項２２】
前記イメージングデータを調整する手段は、前記対象となる領域内の各ポイントにおける前記受光された光強度から前記非制御光の前記計算された光強度を差し引くことにより、前記非制御光の前記計算された光強度に基づいて前記イメージングデータを調整する手段を有することを特徴とする請求項２１に記載のシステム。
【請求項２３】
前記イメージセンシングシステムは、
（ａ）それぞれフィルタエレメントに相関づけられる複数の位置を有し、前記各フィルタエレメントが、選択された周波数範囲の光を前記複数の位置の各々において通過させることができるように構成されているモザイクフィルタが取り付けられたセンサと、
（ｂ）前記各センサが異なる周波数範囲において受光するようになっている複数のイメージセンサと、
（ｃ）特定の周波数範囲をサイクリングフィルタの各サイクル中に通過させることができるようにする複数のフィルタエレメントを有する前記サイクリングフィルタが取り付けられたセンサと、
（ｄ）各検出セルが特定の周波数範囲を検出するように構成されている複数の前記検出セルを複数の位置の各々において有する複合カラーイメージセンサと
のうちの１つを備えていることを特徴とする請求項１７に記載のシステム。
【請求項２４】
前記フィルタエレメントは、
（ａ）赤色周波数範囲と、
（ｂ）青色周波数範囲と、
（ｃ）緑色周波数範囲
のうちの１つを通過させるように構成されたことを特徴とする請求項２３に記載のシステム。
【請求項２５】
前記センサは、デジタルカメラを備え、前記モザイクフィルタは、それぞれが前記デジタルカメラのピクセルに対応する前記複数の位置の各々において、予め決められた周波数範囲の光を通過させるベイヤフィルタを備えていることを特徴とする請求項２３に記載のシステム。
【請求項２６】
イメージングデータ中の非制御光の影響を低下させるためのシステムであって、
（ａ）表面に近接してその表面上にマーキングを有するオブジェクトを配置することができ、前記ソフトウェアアプリケーションによって決定されるイメージを表示するインタラクティブディスプレイ表面と、
（ｂ）該インタラクティブディスプレイ表面に近接して配置されるオブジェクトを照明するように配置され、複数の周波数範囲にわたって均一な光強度を有する制御光を放射するように構成される制御光源と、
（ｃ）対象領域から受光するように配置され、複数の位置の各々において前記複数の周波数範囲の各々において光強度を検出するように構成され、前記受光された光が、前記非制御光と前記対象領域から反射されている前記制御光の一部分とを含むイメージセンシングシステムと、
（ｄ）前記イメージセンシングシステムと情報をやりとりするプロセッサと、
（ｅ）前記プロセッサと情報をやりとりし、該プロセッサに、
（ｉ）前記制御光源の前記均一な光強度と前記複数の位置の各々において前記複数の周波数範囲の各々において検出される光強度に基づいて、前記複数の位置の各々における前記受光された光に含まれる前記非制御光の光強度を計算するファンクションと、
（ｉｉ）前記複数の位置の各々における前記イメージングデータに対する前記非制御光の寄与について補償するように、前記非制御光の前記計算された光強度のファンクションとして前記イメージングデータを調整するファンクションと
を含む複数のファンクションを実行させるデータ及びマシン命令を記憶するメモリと
を備えたことを特徴とするシステム。
【請求項２７】
前記制御光源は、
（ｊ）赤外線スペクトルと、
（ｋ）可視光スペクトルと、
（ｌ）紫外線スペクトル
のうちの少なくとも１つの光放射を行うように構成されたことを特徴とする請求項２６に記載のシステム。
【請求項２８】
前記イメージセンシングシステムは、
（ａ）それぞれフィルタエレメントに相関づけられる複数の位置を有し、前記各フィルタエレメントが、選択された周波数範囲の光を前記複数の位置の各々において通過させることができるように構成されているモザイクフィルタが取り付けられたセンサと、
（ｂ）前記各センサが異なる周波数範囲において受光するようになっている複数のイメージセンサと、
（ｃ）特定の周波数範囲をサイクリングフィルタの各サイクル中に通過させることができるようにする複数のフィルタエレメントを有する前記サイクリングフィルタが取り付けられたセンサと、
（ｄ）各検出セルが特定の周波数範囲を検出するように構成されている複数の前記検出セルを複数の位置の各々において有する複合カラーイメージセンサと
のうちの１つを備えていることを特徴とする請求項２６に記載のシステム。
【請求項２９】
前記フィルタエレメントは、
（ａ）赤色周波数範囲と、
（ｂ）青色周波数範囲と、
（ｃ）緑色周波数範囲
のうちの１つを通過させるように構成されたことを特徴とする請求項２８に記載のシステム。
【請求項３０】
前記センサは、デジタルカメラを備え、前記モザイクフィルタは、それぞれが前記デジタルカメラのピクセルに対応する前記複数の位置の各々において、予め決められた周波数範囲の光を通過させるベイヤフィルタを備えていることを特徴とする請求項２８に記載のシステム。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図４Ｅ】
【図４Ｆ】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図４Ｅ】
【図４Ｆ】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【公開番号】特開２００６−１２７４９４（Ｐ２００６−１２７４９４Ａ）
【公開日】平成１８年５月１８日（２００６．５．１８）
【国際特許分類】
【出願番号】特願２００５−２８２０２６（Ｐ２００５−２８２０２６）
【出願日】平成１７年９月２８日（２００５．９．２８）
【出願人】（５０００４６４３８）マイクロソフト コーポレーション (3,165)
【Ｆターム（参考）】
【公開日】平成１８年５月１８日（２００６．５．１８）
【国際特許分類】
【出願日】平成１７年９月２８日（２００５．９．２８）
【出願人】（５０００４６４３８）マイクロソフト コーポレーション (3,165)
【Ｆターム（参考）】
[ Back to top ]