照明制御付き対話型入力装置
対話型入力装置（２０）は、対象領域の複数の画像を取得する少なくとも１つの撮像装置（６０、６２）と、各々が対象領域を照明する複数の放射源（４０〜４４、６４、６６）と、異なる放射源からの寄与に基づいている別個の複数の画像フレームを生成することができるように、複数の放射源と少なくとも１つの撮像装置との動作を調整するコントローラとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は概して対話型入力装置に関し、特に照明制御付き対話型入力装置に関する。
【背景技術】
【０００２】
ユーザが能動ポインタ（光、音、または他の信号を放射するポインタなど）、受動ポインタ（指、円筒、他の物体など）、またはたとえばマウスやトラックボールなどの他の適切な入力装置を使用してアプリケーションプログラムにインクを入力できるようにする対話型入力装置が公知である。この対話型入力装置には、参照によってその内容が援用される本出願の譲受人であるカナダ、アルバータ州、カルガリーのＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＵＬＣに譲渡された特許文献１、特許文献２、特許文献３、特許文献４、特許文献５、特許文献６、特許文献７、および特許文献８に開示されているようなポインタ入力を登録するためにアナログ抵抗技術またはマシン・ビジョン技術を使用しているタッチパネルを有するタッチ装置、ポインタ入力を登録するために電磁技術、容量技術、音声技術、または他の技術を使用しているタッチパネルを有するタッチ装置、タブレットパーソナルコンピュータ（ＰＣ）、ラップトップＰＣ、パーソナルデジタルアシスタント（ＰＤＡ）、および他の同様の装置が含まれるがこれらには限定されない。
【０００３】
対話型入力装置においてタッチ表面に対してポインタを検出するのを容易にするために、さまざまな照明方式が検討されてきた。たとえばＣａｒｒｏｌ他の特許文献９は、複数の光電変換器が組み込まれている光電タッチパネル用の動的レベルシフタを開示している。動的レベルシフタは、タッチパネルの通常の動作中は、各光電変換器が放射エネルギーのパルスを受信できる期間の直前に周辺光のレベルを周期的に検知する。そのような期間中の各光電変換器の出力は、放射エネルギーパルスの有無を示している信号を、周辺光の変動とは無関係に生成するために、前回の周辺光の期間の出力と比較される。
【０００４】
Ｄｏｅｒｉｎｇの特許文献１０は、明るい周辺光の状態でも、１つまたは２つ以上の光ビームがいつ遮られたかを検出するために、変調された複数の光ビームを利用するタッチパネル装置を開示している。タッチパネル装置は周辺が定められているタッチ感知表示面を有している。多数の発光要素と受光要素とが表示面を囲んでいる。これら発光要素および受光要素は、発光要素と受光要素の選択された複数の対によって定まる複数の光路が表示面を横切って、交差する光路の格子を定めるように配置されている。走査回路が、発光要素と受光要素の選択された複数の対を順番にイネーブルにし、発光された光の振幅を所定のパターンに従って変調する。現在イネーブルな受光素子が所定のパターンに従って変調されている出力信号を生成していないと、フィルタが遮断光路信号を生成する。フィルタが、表示面の周辺内で互いに交差する光路に対応する少なくとも２つの遮断光路信号を生成していると、コンピュータが、物体が表示面に隣接しているかどうかを判定し、もしそうならば、該物体の位置を求める。
【０００５】
Ｔｏｈの特許文献１１は、異なる照明技術を、対象物体を含むシーンに同時に適用できるようにする画像取得装置を開示している。１つの位置内では、異なる照明技術によって照明されている多数の画像が、複数の画像の各々を取得するための特定の波長帯域を選択することによって取得される。典型的な用途では、背面照明と前面照明の両方が、物体を照明するために同時に使用され、異なる画像解析方法が、取得された複数の画像に適用される。
【０００６】
Ｏｇａｗａの特許文献１２は、ポインタ機器を認識して、指またはポインタを使用した入力を可能にする光学デジタイザを開示している。光学デジタイザは、光線を放射する光源と、座標面の周辺に配置されて、ポインタ機器の撮像後にポインタ機器の画像を電気信号に変換する撮像装置と、撮像装置によって変換された電気信号を処理後に指示位置を計算する計算装置とを有している。偏光装置が、光源によって放射された光線を第１の偏光光線または第２の偏光光線に偏光する。切り替え装置が、座標面上の照射光を第１の偏光光または第２の偏光光に切り換える。再帰反射特性を備えている再帰反射材料が座標面の枠の位置に取り付けられている。透過軸を備えている偏光フィルムが第１の偏光光線を透過させる。判定装置が、ポインタ機器の画像が第１の偏光光線によって取得されたときにポインタ機器を第１のポインタ機器と判定し、ポインタ機器の画像が第２の偏光光線によって取得されたときにポインタ機器を第２のポインタ機器と判定する。
【０００７】
Ｋｉｎｇの特許文献１３は、目標の所望の複数の特徴を、該目標について関心のある情報を抽出するために、該目標の画像を１つまたは２つ以上の異なる照明条件下で取得し、かつ画像解析を使用することによって、見分けるようにマシン・ビジョン装置の能力を改善する方法と装置とを開示している。紫外光が、該目標の様々な特徴を強調表示するために、単独で、および/または光軸上のまたは低角度の直接照明と組み合わせて使用される。目標とカメラとの間に配置されている１つまたは２つ以上のフィルタが、カメラによって取得される１つまたは２つ以上の画像から不要な光を取り除くのを助ける。画像は、従来の画像解析技術によって解析してもよく、結果は記録されるかコンピュータ表示装置上に表示される。
【０００８】
Ｎｅｗｔｏｎの特許文献１４は、前部表面と、後部表面と、複数の縁と、内部体積とを有しているタッチパネルを開示している。エネルギー源がタッチパネルの第１の縁の近くに配置され、タッチパネルの内部体積内を伝搬するエネルギーを放射するように構成されている。拡散反射器が、内部体積から漏れたエネルギーの少なくとも一部を反射して拡散するようにタッチパネルの前部方面の近くに配置されている。少なくとも１つの検出器が、タッチパネルの第１の縁の近くに配置され、タッチパネルの前部表面にわたって拡散するように反射されたエネルギーの強度レベルを検出するように構成されている。タッチパネルの第１の縁の近くに離れて位置する２つの検出器によって、単純な３角測量技術を使用してタッチ位置の計算することができる。
【０００９】
Ｎａｋａｍｕｒａ他の特許文献１５は、物体が画面に接触したかどうかを判定する精度と、該物体の座標位置を計算する精度との両方を向上させるために画像内の複数のエッジを検出するエッジ検出回路を開示している。接触判定回路が、物体が画面に接触したかどうかを判定する。校正回路が、外光に応答して複数の光学センサの感度を制御して、それによって、複数の光学センサの駆動条件が複数の光学センサの出力値に基づいて変更される。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】米国特許明細書第５，４４８，２６３号
【特許文献２】米国特許明細書第６，１４１，０００号
【特許文献３】米国特許明細書第６，３３７，６８１号
【特許文献４】米国特許明細書第６，７４７，６３６号
【特許文献５】米国特許明細書第６，８０３，９０６号
【特許文献６】米国特許明細書第７，２３２，９８６号
【特許文献７】米国特許明細書第７，２３６，１６２号
【特許文献８】米国特許明細書第７，２７４，３５６号
【特許文献９】米国特許明細書第４，２４３，８７９号
【特許文献１０】米国特許明細書第４，８９３，１２０号
【特許文献１１】米国特許明細書第６，３４６，９６６号
【特許文献１２】米国特許明細書第６，４９８，６０２号
【特許文献１３】米国特許出願公開第２００３／０１６１５２４号
【特許文献１４】米国特許出願公開第２００５／０２４８５４０号
【特許文献１５】米国特許出願公開第２００６／０１７０６５８号
【発明の概要】
【発明が解決しようとする課題】
【００１１】
前述の特許文献は、照明技術を使用している装置を開示しているが、対話型入力装置におけるユーザ入力の検出を向上させる照明技術の改良が望まれている。したがって、本発明の目的は、照明制御付きの新規な対話型入力装置を提供することである。
【課題を解決するための手段】
【００１２】
したがって、一態様では、対象領域の複数の画像を取得する少なくとも１つの撮像装置と、各々が対象領域を照明する複数の放射源と、別個の複数の画像フレームを、異なる放射源からの寄与に基づいている生成できるように、複数の放射源と少なくとも１つの撮像装置との動作を調整するコントローラとを有する対話型入力装置が提供される。
【００１３】
一実施態様において、各放射源は別個の切り換えパターンに従ってオンとオフとが切り換えられる。複数の別個の切り換えパターンと撮像装置のフレームレートは、周辺光と点滅している光源からの影響を実質的に取り除くように選択されている。複数の別個の切り換えパターンは実質的に直交しており、複数のＷａｌｓｈ符号に従ってもよい。
【００１４】
他の態様によれば、対象領域の重なっている複数の画像を複数の異なる位置から取得する少なくとも２つの撮像装置と、対象領域を照明する、各撮像装置に組み合わされた放射源と、複数の放射源に対応している複数の別個の切り換えパターンを使用して複数の撮像装置の複数のフレームレートのタイミングを設定し、異なる複数の放射源からの複数の寄与に基づいて複数の画像フレームを生成するように取得された複数の画像フレームを復調するコントローラと、対象領域内のポインタの位置を求めるために、個別の複数の画像フレームを処理する処理構造と、を有する対話型入力装置が提供される。
【００１５】
さらに他の態様によれば、対象領域の複数の画像を取得する少なくとも１つの撮像装置と、各々が対象領域を照明する複数の放射源とを有する対話型入力装置において、複数の画像フレームを生成する方法であって、概ね直交している別個の切り換えパターンに従って各放射源をオンとオフにすることと、撮像装置のフレームレートを別個のパターンに同期させることと、異なる複数の放射源からの複数の寄与に基づいて複数の画像フレームを生成するために複数の画像フレームを復調することとを有する、複数の画像フレームを生成する方法が提供される。
【００１６】
またさらに他の態様によれば、対象領域の複数の画像を取得する少なくとも１つの撮像装置と、対象領域を照明する複数の放射源とを有する対話型入力装置における撮像方法であって、複数の放射源の出力を変調することと、撮像装置のフレームレートを変調されている放射源の出力に同期させることと、異なる複数の放射源からの複数の寄与に基づいて複数の画像フレームを生成するために複数の画像フレームを復調することとを有する撮像方法が提供される。
【図面の簡単な説明】
【００１７】
【図１】照明制御付き対話型入力装置の斜視図である。
【図２】図１の対話型入力装置の概略正面図である。
【図３】図１の対話型入力装置の一部の概念的な斜視図である。
【図４】図１の対話型入力装置の一部の概略図である。
【図５】サブフレーム取得時の画像センサと赤外光源のオン／オフのタイミングパターンの図である。
【図６】さまざまな画像サブフレームの組み合わせによる画像フレームの生成を示す概略図である。
【図７】図４に示されている変調照明コントローラの概略図である。
【図８】図７の変調照明コントローラの一部を構成するサブフレームコントローラの概略図である。
【図９】図７の変調照明コントローラの一部を構成している復調器の概略図である。
【図１０】図７の変調照明コントローラの一部を構成している光出力インターフェイスの概略図である。
【発明を実施するための形態】
【００１８】
次に、実施形態を、添付の図面を参照してより詳しく説明する。
【００１９】
ここで図１から４を参照すると、ユーザが「インク」などの入力をアプリケーションプログラムに対して行うことができるようにする対話型入力装置が図示され、全体に参照番号２０が付けられている。本実施形態では、対話型入力装置２０は、たとえばプラズマテレビ、液晶ディスプレイ（ＬＣＤ）装置、フラットパネル表示装置、陰極線管などの表示ユニット（不図示）に接続され、表示ユニットの表示面２４を囲んでいる組み立て体２２を有している。組み立て体２２は表示面２４の近くの対象領域に移動させられたポインタを検出するためにマシン・ビジョンを使用し、１つまたは２つ以上のアプリケーションプログラムを実行するコンピュータ２６とユニバーサルシリアルバス（ＵＳＢ）ケーブル２８を通して通信する。コンピュータト２６は組み立て体２２の出力を処理し、表示ユニットに出力された画像データを、表示面２４に表示された画像がポインタ動作を反映するように調整する。このようにして、組み立て体２２とコンピュータ２６は、表示面２４の近くのポインタ動作が、書き込みまたは描画として記録され、あるいはコンピュータ２６によって実行される１つまたは２つ以上のアプリケーションプログラムの実行を制御するのに使用されるのを可能にする。
【００２０】
組み立て体２２は表示ユニットに一体化され、または取り付けられて、表示面２４を囲む枠アセンブリを有している。枠アセンブリは、３つの照明されているベゼル部分４０〜４４、４つの角部品４６、およびツールトレイ部分４８を有している。ベゼル部分４０、４２は表示面２４の対向している各側縁に沿って延び、ベゼル部分４４は表示面２４の上部縁に沿って延びている。照明されているベゼル部分４０から４４は、表示面２４に隣接する対象領域内に位置するポインタが、放出された赤外線によって背後から照明されるように赤外線照明を放つように調節することができる赤外線（ＩＲ）光源を表示面周辺に構成している。ベゼル部分４０から４４は、参照によってその内容が援用される本出願の譲受人であるカナダ、アルバータ州、カルガリーのＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＵＬＣに譲渡された米国特許明細書第６，９７２，４０１号に開示されている種類のものであってよい。ツールトレイ部分４８は表示面２４の下部縁に沿って延び、１つまたは２つ以上のペンツールＰを支持している。表示面２４の左上の角と右上の角に隣接している２つの角部品４６は、ベゼル部分４０と４２をベゼル部分４４に結合している。表示面２４の左下の角と右下の角に隣接している２つの角部品４６はベゼル部分４０と４２をツールトレイ部分４８に結合している。表示面２４の左下の角と右下の角に隣接している角部品４６はベゼル部分４０と４２をツールトレイ部分４８に結合している。
【００２１】
本実施形態では、表示面２４の左下と右下の角に隣接している２つの角部品４６は、異なる位置から概ね表示面２４全体を見渡す２つの画像センサ６０と６２を収容している。画像センサ６０と６２はＭＴ９Ｖ０２３というモデル番号でＭｉｃｒｏｎによって製造されている種類で、ＢｏｏｗｏｎによってＢＷ２５Ｂというモデル番号で製造されている、該画像センサに９８度の視野をもたらす８８０ｎｍレンズに取り付けられている。もちろん、当業者は、他の市販の画像センサまたはカスタム画像センサを使用してもよいことを理解するであろう。表示面２４の左下と右下の角に隣接している２つの角部品４６の各々は、関連する画像センサの近くに位置している赤外線光源６４、６６も収容している。赤外線光源６４と６６は、対象領域内に位置するポインタが、放射された赤外放射線によって前部が照明されるように、赤外照明を放射するように調整することができる。
【００２２】
画像センサ６０と６２は、照明されているベゼル部分４０と４４と赤外線光源６４と６６の動作を光制御回路７２〜７６を通して制御する変調照明コントローラ７０と通信する。各光制御回路７２〜７６は、パワートランジスタとバラスト抵抗とを有している。光制御回路７２は、照明されているベゼル部分４０〜４６に付属しており、光制御回路７４は赤外線光源６４と組み合わされ、光制御回路７６は赤外線光源６６と組み合わされている。光制御回路７２〜７６のトランジスタとバラスト抵抗は、組み合わされている赤外線光源と電源との間で作動する。変調照明コントローラ７０は水晶発振器７８からクロック入力を入力し、マイクロプロセッサ８０と通信する。マイクロプロセッサ８０は、ＵＳＢケーブル２８を通してコンピュータ２６とも通信する。
【００２３】
変調照明コントローラ７０は、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）などの集積回路上に実装されていることが好ましい。あるいは、変調照明コントローラ７０は、汎用のデジタルシグナルプロセッサ（ＤＳＰ）チップまたは他の適切なプロセッサ上に実装されていてもよい。
【００２４】
対話型入力装置２０は、たとえばユーザの指Ｆ、円柱、または他の適切な物体などの受動ポインタだけではなく、表示面２４の近くで、２つの画像センサ６０と６２の視野内に移動されられた再帰反射性または高反射のペン先を有する能動ペンツールＰをも検出するように構成されている。一般に、動作中は、照明されているベゼル部分４０〜４４、赤外線光源６４、および赤外線光源６６は、変調照明コントローラ７０によって各々が別個のパターンでオンとオフとにされる（つまり変調される）。これら複数のオンとオフの切り換えパターンは、それらが概ね直交するように選択される。その結果、１つの切り換えパターンと他の切り換えパターンとの相互相関を取った場合、結果は実質的にゼロであり、切り換えパターンとそれ自身との相互相関を取った場合、結果は正の利得となる。これによって、複数の画像フレームを、照明されているベゼル部分４０〜４４と赤外線光源６４と６６とを同時にアクティブに（作動）した状態で画像センサ６０と６２によって取得し、かつ処理されたこれら複数の画像フレームが、複数の赤外線光源のうちの選択された１つからの寄与だけを含む別個の画像フレームを生成するようにすることができる。
【００２５】
本実施形態では、符号分割多重アクセス（ＣＤＭＡ）通信システムで使用されるようなＷａｌｓｈ符号の直交の性質が、異なる光源からの画像への寄与を分離できるように、照明されているベゼル部分４０〜４４と赤外線光源６４と６６とを変調するために使用されている。たとえば、Ｗａｌｓｈ符号Ｗ1＝｛１，−１，１，−１，１，−１，１，−１｝とＷ2＝｛１，１，−１，−１，１，１，−１，−１｝は直交しており、これは、対応している両要素の積を取り、合計すると、結果がゼロになることを意味する。理解されるように、光源は負の強度をとることができない。そのため、照明されているベゼル部分４０〜４４、赤外線光源６４、および赤外線光源６６は、値が１のＷａｌｓｈ符号ビットはオン状態を示し、値が０のＷａｌｓｈ符号ビットはオフ状態を示している、個別の修正されたＷａｌｓｈ符号ＭＷxに従って各々が変調照明コントローラ７０によってオンとオフにされる。特に、照明されているベゼル部分４０〜４４は修正されたＷａｌｓｈ符号ＭＷ1＝｛１，０，１，０，１，０，１，０｝に従ってオンとオフにされる。赤外線光源６４は修正されたＷａｌｓｈ符号ＭＷ2＝｛１，１，０，０，１，１，０，０｝に従ってオンとオフにされる。赤外線光源６６は修正されたＷａｌｓｈ符号ＭＷ3＝｛１，０，０，１，１，０，０，１｝に従ってオンとオフとにされる。理解されるように、Ｗａｌｓｈ符号の負のビット値をゼロ値に置き換えることによってＩＲ照明に対してＤＣバイアスが生じる。
【００２６】
復調時に、Ｗａｌｓｈ符号Ｗ1＝｛１，−１，１，−１，１，−１，１，−１｝、Ｗ2＝｛１，１，−１，−１，１，１，−１，−１｝、およびＷ3＝｛１，−１，−１，１，１，−１，−１，１｝が用いられる。これらのＷａｌｓｈ符号は、これらが９６０Ｈｚのサブフレームレートにおいて、スペクトルゼロをＤＣ、１２０Ｈｚ、２４０Ｈｚ、および３６０Ｈｚにおいて有しているので、興味深い。その結果、これらのＷａｌｓｈ符号の相関が取られると、ＤＣ、１２０Ｈｚ、２４０Ｈｚ、および３６０Ｈｚの周波数が取り除かれ、外部の定常光（たとえば太陽光）の影響、修正されたＷａｌｓｈ符号ＭＷxによって生じたＤＣバイアス、共通の周波数、すなわち北アメリカでは１２０Ｈｚで点滅する光源（たとえば蛍光光源と白熱光源など）の影響を取り除くことができる。対話型入力装置２０が、照明が異なる周波数で点滅する異なった環境で使用されると、サブフレームレートはこの点滅する光の影響を取り除くように調整される。
【００２７】
画像センサ６０と６２は、毎秒あたりの９６０個のフレーム（ｆｐｓ）がサブフレームレートで８個のサブフレームが取得されることで各画像センサが１２０Ｈｚのフレームレートになるように、照明されているベゼル部分４０〜４４、赤外線光源６４、および赤外線光源６６のオン／オフ切り換えパターンに同期して変調照明コントローラ７０によって動作させられる。図５は複数の赤外線光源のオン／オフ切り換えパターンと、画像センサ６０と６２のサブフレームの取得レートとを示している。画像センサ６０と６２によって取得された複数のサブフレームは、図６に示されているように、変調照明コントローラ７０によって異なる組み合わせに組み合わされて、結果として得られた複数の画像フレーム、すなわち照明されているベゼル部分４０〜４４によって放射された赤外照明の寄与だけに実質的に基づく、各画像センサ６０、６２からの画像フレーム９０、赤外線光源６４によって放射された赤外照明の寄与だけに実質的に基づく、画像センサ６０からの画像フレーム９２、赤外線光源６６によって放射された赤外照明の寄与だけに実質的に基づく、画像センサ６２からの画像フレーム９４、照明されているベゼル部分４０〜４４、赤外線光源６４、赤外線光源６６、および周辺光によって放射された赤外照明の寄与に基づく、各画像センサ６０、６２からの画像フレーム９６を生成する。
【００２８】
変調照明コントローラ７０によって生成された結果として得られた複数の画像フレームは次にマイクロプロセッサ８０に転送される。これら複数の画像フレームを受信すると、マイクロプロセッサ８０は、これら画像フレームを、各画像センサ６０、６２に対して生成された、照明されているベゼルフレーム４０〜４４によって放射された赤外照明の寄与だけに実質的に基づいて調べ、ポインタの存在を検出する。これらの画像フレームについては、照明されているベゼル部分４０〜４４はこれら複数の画像フレーム内に明るい帯として現れる。サブフレームの取得中にポインタが表示面２４の近くにあると、ポインタは、照明されているベゼル部分４０〜４４によって放射されたバックライトの赤外照明を隠すことになる。その結果、ポインタは各画像フレーム内に明るい帯を遮る暗い領域として現れる。
【００２９】
マイクロプロセッサ８０は各画像センサ６０、６２によって対で出力された連続する画像フレームを処理する。画像センサからの画像フレームの対が使用できる場合、マイクロプロセッサ８０は該画像フレームを減算処理して差分画像フレームを構成し、次に該サブ画像フレームを処理し、ポインタが該差分画像フレーム内に存在する可能性を表わす不連続値を生成する。ポインタが表示面２４の近くに存在していない場合、これら複数の不連続値は大きい。ポインタが表示面２４の近くに存在している場合、これら不連続値のうちのいくつかが閾値未満になり、該差分画像フレーム内にポインタが存在することを容易に判定することができる。
【００３０】
各差分画像フレームについて前記不連続値を生成するために、マイクロプロセッサ８０は画像フレームの各画素列内の複数の画素の強度値を合計することによって、画像フレームについて垂直強度プロファイル（ＶＩＰbezel）を計算する。ポインタが存在しない場合、ＶＩＰbezel値は画像フレームの全ての画素列について大きいままになる。しかし、ポインタが画像フレーム内に存在していると、ＶＩＰbezel値は、画像フレーム内のポインタの位置に相当する領域における小さい値に低下する。各画像フレームについてＶＩＰbezel値によって定まる、結果として得られたＶＩＰbezel曲線が、ＶＩＰbezel曲線がポインタの存在を示す閾値未満に低下しているどうかを判定するために調べられ、もし低下しているならば、ＶＩＰbezel曲線内でポインタの対向している両側を示している左右のエッジを検出する。
【００３１】
特に、各画像フレーム内の左と右のエッジを見つけるために、ＶＩＰbezel曲線の１次微分が勾配曲線∇ＶＩＰbezel（ｘ）を生成するために計算される。ＶＩＰbezel曲線がポインタの存在を示す閾値よりも下に下がると、結果として得られた勾配曲線∇ＶＩＰbezel（ｘ）は、ＶＩＰbezel曲線の低下によって構成されるエッジを表わす負のピークと正のピークとが境界になっている領域を含むことになる。これら２つのピーク、したがって該領域の２つの境界を検出するために、勾配曲線∇ＶＩＰbezel（ｘ）はエッジ検出器に委ねられる。
【００３２】
特に、閾値Ｔがまず勾配曲線∇ＶＩＰbezel（ｘ）に適用され、各位置ｘについて勾配曲線∇Ｄ（ｘ）の絶対値が閾値よりも小さい場合、勾配曲線∇ＶＩＰbezel（ｘ）の値は、以下に表されるように、ゼロに設定される。
【００３３】
【数１】
【００３４】
閾値を適用する手続きに続けて、閾値が適用された勾配曲線∇ＶＩＰbezel（ｘ）はポインタの対向する側部を表わす負のスパイクと正のスパイクとを含んでおり、その他の部分はゼロである。左と右のエッジは次に閾値が適用された勾配曲線∇ＶＩＰbezel（ｘ）の２つの非ゼロのスパイクからそれぞれ検出される。左のエッジを計算するために、重心距離ＣＤleftが、以下の式に従って、ピクセル列Ｘleftから始まる、閾値が適用された勾配曲線∇ＶＩＰbezel（ｘ）の左のスパイクから計算される。
【００３５】
【数２】
【００３６】
ここで、ｘiは勾配曲線∇ＶＩＰbezel（ｘ）の左のスパイク内のｉ番目のピクセル列のピクセル列番号、ｉは１から閾値が適用された勾配曲線∇ＶＩＰbezel（ｘ）の左のスパイクの幅まで反復され、Ｘleftは、値がゼロ（０）から系の雑音に基づいて経験的に求められた閾値だけ異なっている、勾配曲線∇ＶＩＰbezel（ｘ）上の値に対応している画素列である。閾値が適用された勾配曲線∇ＶＩＰbezel（ｘ）の左のエッジは次にＸleft＋ＣＤleftと等しいと判定される。
【００３７】
右のエッジを計算するために、重心距離ＣＤrightが、以下の式に従って、ピクセル列Ｘrightから開始して、閾値が適用された勾配曲線∇ＶＩＰbezel（ｘ）の右のスパイクから計算される。
【００３８】
【数３】
【００３９】
ここで、ｘjは勾配曲線∇ＶＩＰbezel（ｘ）の右のスパイク内のｊ番目のピクセル列のピクセル列番号、ｊは１から閾値が適用された勾配曲線∇Ｄ（ｘ）の右のスパイクの幅まで反復され、Ｘrightは、値がゼロ（０）から、系の雑音に基づいて経験的に求められた閾値だけ異なっている、勾配曲線∇ＶＩＰbezel（ｘ）上の値に対応している画素列である。閾値が適用された勾配曲線の右のエッジは次にＸright＋ＣＤrightと等しいと判定される。
【００４０】
閾値が適用された勾配曲線∇ＶＩＰbezel（ｘ）の左と右のエッジがいったん計算されると、特定された左と右のエッジの中間点が計算され、それによって差分画像フレーム内のポインタの位置が求められる。
【００４１】
ポインタが、実質的に、照明されているベゼル４０〜４４によって放射された赤外照明の寄与だけに基づいて複数の画像フレーム内で検出されると、実質的に、赤外線光源６４によって放射された赤外照明の寄与だけに基づいている複数の画像フレームおよび実質的に、赤外線光源６６によって放射された赤外照明の寄与だけに基づいている複数の画像フレームは、ポインタがペンツールＰである角うかを判定するために処理される。理解されるように、ポインタがペンツールＰであると、ペンツールＰは、ペンツールの再帰反射性のペン先によって赤外線光源に向かって戻る、したがって画像センサ６０と６２に向かう放射された赤外照明の反射のために、各画像センサによって取得された画像フレーム内の暗い背景上に明るい領域として現れることになる。ポインタが指Ｆであると、ポインタはこれらの画像フレーム内の少なくとも１つに実質的により暗く現れる。
【００４２】
ペンツールＰが存在すると判定されると、複数の画像フレームは、ペンツールＰのこれら複数の画像フレーム内の位置を求めるために前述したのと同様に処理される。
【００４３】
複数の画像フレーム内のポインタの位置が求められた後、コントローラ１２０は、該複数の画像フレーム内の複数のポインタ位置を用いて、Ｍｏｒｒｉｓｏｎ等の引用文献５に記載されているような公知の方法で三角測量を使用して表示面２４に対する、（ｘ、ｙ）座標でのポインタの位置を計算する。計算されたポインタ座標は次にマイクロプロセッサ８０によってＵＳＢケーブル２８を通してコンピュータ２６に送られる。コンピュータ２６は受信したポインタ座標を処理し、必要ならば、表示面２４に表示されている画像がポインタの動作を反映するように、表示ユニットに出力される画像出力を更新する。このようにして、ポインタの、表示面２４との相互作用を書き込みまたは描画として記録したり、コンピュータ３０上で実行される１つまたは２つ以上のアプリケーションプログラムの実行を制御するために使用したりすることができる。
【００４４】
変調照明コントローラ７０の構成要素とその動作とを特に図７から１０を参照して説明する。ここで、図７を参照すると、変調照明コントローラ７０をより良く示されている。図からわかるように、変調照明コントローラ７０は水晶発振器７８によって出力された複数のクロック信号を受け取る画像センサコントローラ１００を有している。画像センサコントローラ１００は、画像センサのサブフレームレートを設定するために複数のタイミング信号を画像センサ６０と６２に出力し、ＰＩＸＣＬＫ、ＬＥＤ、Ｆｒａｍｅ＿Ｖａｌｉｄ、およびＬｉｎｅ＿Ｖａｌｉｄ信号線を通してサブフレームコントローラ１０２に接続されている。画像センサコントローラ１００は、複数の復調器、この場合は６個の変調器１０４ａ〜１０４ｆとも通信する。特に、画像センサコントローラ１００は、ＣＡＭ１ＤＡＴＡ線を通して復調器１０４ａ〜１０４ｃに接続され、ＣＡＭ２ＤＡＴＡ線を通して復調器１０４ｄ〜１０４ｆに接続されている。画像センサコントローラ１００は、ＰＩＸＣＬＫ信号線を通して復調器１０４ａ〜１０４ｆにも接続されている。復調器１０４ａ〜１０４ｆは、出力インターフェイス１０６にＤ信号線、Ａ信号線信号線、およびＯＥｘ信号線を通して接続されている。出力インターフェイス１０６は、線１０８を通してサブフレームコントローラ１０２に、ＰＩＸＣＬＫ信号線を通して画像センサコントローラ１００に、そしてマイクロプロセッサ８０にも接続されている。
【００４５】
サブフレームコントローラ１０２は、ｓｕｂｆｒａｍｅ＿Ｄ、ＥＮ、およびａｄｄｒｅｓｓ信号線を通して復調器１０４ａ〜１０４ｆの各々に接続されている。サブフレームコントローラ１０２は、光制御インターフェイス１１０〜１１４の各々にもｓｕｂｆｒａｍｅ＿ＬおよびＥＸＰ信号線を通して接続されている。光制御インターフェイス１１０〜１１４は、ＰＩＸＣＬＫ信号線にも接続されている。光制御インターフェイス１１０は光制御回路７２に接続されており、光制御インターフェイス１１２は光制御回路７４に接続されており、光制御インターフェイス１１４は光制御回路７６に接続されている。
【００４６】
図８はサブフレームコントローラ１０２をよりよく示している。図からわかるように、サブフレームコントローラ１０２は、画像センサコントローラ１００から延びているＬＥＤ、Ｆｒａｍｅ＿Ｖａｌｉｄ、ＰＩＸＣＬＫ、およびＬｉｎｅ＿Ｖａｌｉｄ信号線を受け入れる４つの入力端子１５０〜１５６を有している。特に、入力端子１５０はＬＥＤ信号線を受け入れ、入力端子１５２はＰＩＸＣＬＫ信号線を受け入れ、入力端子１５４はＦｒａｍｅ＿Ｖａｌｉｄ信号線を受け入れ、入力端子１５６はＬｉｎｅ＿Ｖａｌｉｄ信号線を受け入れている。サブフレームコントローラ１０２は、６つの出力端子、すなわちＥＸＰ出力端子１６０、ｓｕｂｆｒａｍｅ＿Ｌ出力端子１６２、ｓｕｂｆｒａｍｅ＿Ｄ出力端子１６４、ＩＮＴ出力端子１６６、ａｄｄｒｅｓｓ出力端子１６８、およびＥＮ出力端子１７０も有している。３ビットカウンタ１８０がＬＥＤ入力端子１５０に接続されているその入力と、ｓｕｂｆｒａｍｅ＿Ｌ出力端子１６２に接続されているその出力とを有している。ラッチ１８２の入力はＬＥＤ入力端子１５０にも接続されている。ラッチ１８２の出力はＥＸＰ出力端子１６０に接続されている。ラッチ１８２の制御入力は、ＰＩＸＣＬＫ入力端子１５２に接続されている。ＰＩＸＣＬＫ入力端子１５２は、１対のラッチ１８４と１８６の制御入力とカウンタ１８８の制御入力にも接続されている。ラッチ１８４のＤ入力は、インバータ１９０を通してカウンタ１８８のゼロ入力に接続されている。ラッチ１８４のＱ入力はゲート１９２の反転入力とラッチ１８６のＤ入力とに接続されている。ラッチ１８６のＱ入力はゲート１９２の非反転入力に接続されている。ゲート１９２の出力はゲート１９４の一方の入力に接続されている。ゲート１９４の他方の入力は、コンパレータ１９６の出力に接続されている。ゲート１９４の出力はＩＮＴ出力端子１６６に接続されている。
【００４７】
ラッチ２００の制御入力はＬＥＤ入力端子１５０にも接続されている。ラッチ２００のＤ入力は、ｓｕｂｆｒａｍｅ＿Ｌ出力端子１６２に接続されている。ラッチ２００のＱ入力はラッチ２０２のＤ入力に接続されている。ラッチ２０２の制御入力はＦｒａｍｅ＿Ｖａｌｉｄ入力端子１５４に接続されて、そのＱ入力はｓｕｂｆｒａｍｅ＿Ｄ出力端子１６４とコンパレータ１９６の入力とに接続されている。カウンタ１８８のＥＮ入力はＬｉｎｅ＿Ｖａｌｉｄ入力端子１５６に接続され、カウンタ１８８の出力ピンはアドレス出力端子１６８に接続されている。Ｌｉｎｅ＿Ｖａｌｉｄ入力端子１５６はＥＮ出力端子１７０にも直接接続されている。
【００４８】
図９は復調器１０４ａ〜１０４ｆの１つをよりよく示している。図からわかるように、該復調器は７つの入力端子２１０、すなわちサブフレーム入力端子、データ入力端子２１２、ＥＮ入力端子２１４、ＰＩＸＣＬＫ入力端子２１６、アドレス入力端子２１８、ＯＥ入力端子２２０、およびＡ入力端子２２２を有している。復調器は１つのＤ出力端子２２４も有している。ラッチ２３０は、データ入力端子に接続されているその入力と、拡張ユニット２３２の入力に接続されているその出力とを有している。ラッチ２３０制御入力はＰＩＸＣＬＫ入力端子２１６に接続されている。拡張ユニット２３２の出力は代数加算／減算ユニット２３４のＢ入力に接続されている。代数ユニット２３４のＡ入力は、マルチプレクサ２３６の出力に接続されている。代数ユニット２３４の出力は、２部分メモリユニットの形態の作業バッファ２４０のＤA入力に接続されている。マルチプレクサ２３６の一方の入力は、０入力２４２に接続され、マルチプレクサ２３６の他方の入力ピンは作業バッファ２４０のＤB入力と２部分メモリユニットの形態の出力バッファ２５０のＤA入力との間を延びている信号線２４４に接続されている。マルチプレクサ２３６の制御入力はコンパレータ２５４の出力とゲート２５６の一方の入力との間を延びている信号線２５２に接続されている。コンパレータ２５４の入力とルックアップテーブル２５８の入力とはサブフレーム入力端子２１０に接続されている。ルックアップテーブル２５８の出力は代数ユニット２３４の制御入力に接続されている。ルックアップテーブル２５８の論理値１はＷａｌｓｈ符号ビット値の「１」を示しており、代数ユニット２３４に加算を実行するように命令する。ルックアップテーブル２５８の論理値０はＷａｌｓｈ符号ビット値の「−１」を示しており、代数ユニット２３４に減算を実行するように命令する。この例では、ルックアップテーブル２５８はベゼル部分４０〜４４からの照明の復調可能にするＷａｌｓｈ符号Ｗ1：｛１，−１，１，−１，１，−１，１，−１｝、赤外線光源６４からの照明の復調を可能にするＷａｌｓｈ符号Ｗ2：｛１，１，−１，−１，１，１，−１，−１｝、および赤外線光源６６からの照明の復調を可能にするＷａｌｓｈ符号Ｗ3：｛１，−１，−１，１，１，−１，−１，１｝を使用してプログラムされている。周辺光を含む全ての放射された赤外照明に基づいている画像フレームを取得できるようにするためには、ルックアップテーブル２５０はＷａｌｓｈ符号Ｗ0：｛１，１，１，１，１，１，１，１｝を使用してプログラムされている。
【００４９】
ゲート２５６の他方の入力は、ラッチ２６２の出力と作業バッファ２４０のＷＥA入力との間を延びている信号線２６０に接続されている。ゲート２５６の出力は出力バッファ２５０のＷＥA入力に接続されている。ラッチ２６２の入力はＥＮ入力端子２１４に接続されており、ラッチ２６２の制御入力はＰＩＸＣＬＫ入力端子２１６に接続されている。ＰＩＸＣＬＫ入力端子２１６は作業バッファ２４０および出力バッファ２５０の制御入力にもそれぞれ接続されているだけでなく、ラッチ２６４の制御入力にも接続されている。ラッチ２６４の入力はアドレス入力端子２１８に接続されている。ラッチ２６４の出力は作業バッファ２４０および出力バッファ２５０の２つのＡA入力にそれぞれ接続されている。アドレス入力端子２１８は作業バッファ２４０のＡB入力にも接続されている。出力バッファ２５０のＯＥB入力およびＡB入力はＯＥ入力端子２２０およびＡ入力端子２２２にそれぞれ接続されている。
【００５０】
図１０は、光制御インターフェイス１１０〜１１４の１つをよりよく示している。図からわかるように、光制御インターフェイスはＳＦ入力端子２８０、ＥＸＰ入力端子２８２、およびＣＬＫ入力端子２８４を有している。光制御インターフェイスは１つの出力端子２８６も有している。８×１ルックアップテーブル２９０の入力はＳＦ入力端子２８０に接続されている。ルックアップテーブル２９０の出力はゲート２９２の１つの入力に接続されている。ゲート２９２の第２の入力はＥＸＰ入力端子２８２に接続され、ゲート２９２の第３の入力はパルス発生器２９４のＱ入力に接続されている。パルス発生器２９４のＴ入力はＥＸＰ入力端子２８２に接続され、パルス発生器２９４の制御入力はＣＬＫ入力端子２８４に接続されている。ゲート２９２の出力は出力端子２８６に接続されている。ルックアップテーブル２９０はサブフレームの取得時の対応する赤外線光源のオン／オフ状態を定めている、各サブフレームについてのＷａｌｓｈ符号の状態を格納している。したがって、照明されているベゼル部分４０〜４４については、光制御インターフェイス１１０のルックアップテーブル２９０は、修正されたＷａｌｓｈ符号ＭＷ1＝｛１，０，１，０，１，０，１，０｝を使用してプログラムされている。赤外線光源６４については、光制御インターフェイス１１２のルックアップテーブル２９０は、修正されたＷａｌｓｈ符号ＭＷ2＝｛１，１，０，０，１，１，０，０｝を使用してプログラムされている。赤外線光源６６については、光制御インターフェイス１１４のルックアップテーブル２９０は、修正されたＷａｌｓｈ符号ＭＷ3＝｛１，０，０，１，１，０，０，１｝を使用してプログラムされている。
【００５１】
動作については、復調器１０４ａと１０４ｄは、実質的にベゼル部分４０〜４４によって放射された赤外照明だけに基づいている画像センサ６０と６２からの画像フレームを出力するようにプログラムされている。復調器１０４ｂは、実質的に赤外線光源６４によって放射された赤外照明にだけ基づいている画像センサ６０からの画像フレームを出力するようにプログラムされており、復調器１０４ｅは、実質的に赤外線光源６６によって放射された赤外照明にだけ基づいている画像センサ６２からの画像フレームを出力するようにプログラムされている。復調器１０４ｃと１０４ｆは、すべての赤外線光源によって放射された赤外照明だけでなく周辺光に基づいている画像センサ６０と６２からの画像フレームを出力するようにプログラムされている。これらの画像フレームは、マイクロプロセッサ８０に対象領域の変調されていない像を供給し、マイクロプロセッサが画像センサの露光制御と、さらに場合によっては物体の分類を実行するのを可能にする。
【００５２】
光出力インターフェイス１１０〜１１４は割り当てられている修正されたＷａｌｓｈ符号ＭＷxに従って出力信号をそれらに関連する赤外線光源に出力する。前述のように、複数のＷａｌｓｈ符号は画像センサ６０と６２の露光時間と同期している。
【００５３】
画像センサコントローラ１００は、制御信号を画像センサ６０と６２の各々に出力し、画像サブフレームを画像センサ６０と６２の各々から取得する。水晶発振器７８からのクロック信号は、両方の画像センサのためのクロック信号を生成するために使用される。画像センサ６０と６２は、それらがそれらの画像サブフレームを同時に露光し、サブフレームデータを同時に伝達するように駆動される。本実施形態の両画像センサは、サブフレームデータをそれぞれＣＡＭ１ＤＡＴＡデータ線とＣＡＭ２ＤＡＴＡデータ線上に、画素クロック信号をＰＩＸＣＬＫ信号線上に、サブフレームが露光されていることを示す信号をＬＥＤ信号線上に、サブフレームがクロック信号に従って出力されていることを示す信号をＦＲＡＭＥ＿ＶＡＬＩＤ信号線上に、これら複数のデータ線が有効な画素情報を有していることを示す信号をＬＩＮＥ＿ＶＡＬＩＤ信号線上に出力する。画像センサは、非線形関数または他の適切な圧縮方法を使用して１０ビットのワード（０〜１０２３）に圧縮される１２ビットの解像度（０〜４０９５）を有している。１０ビットのデータ線は、結果として得られる非線形関数がＷａｌｓｈ符号の性質を破壊することを防止するために、復調の前に解凍される。
【００５４】
出力インターフェイス１０６は結果として得られた複数の画像フレームを得るためにマイクロプロセッサ８０に必要な信号を出力する。出力インターフェイスの形態は、使用されているマイクロプロセッサの種類と選択されている転送モードとに依存している。ＩＮＴ線上の内部信号は、新しいサブフレームが復調器１０４ａ〜１０４ｆにおいて使用可能になったときにサブフレームコントローラ１０２によって生成される。出力インターフェイス１０６は、ＯＥ1信号線を通しての第１の復調器１０４ａの出力を可能にする。出力インターフェイス１０６は次に、アドレス（Ａ）を順番に生成して、各画素のデータ（Ｄ）を読み、結果をシリアル化して、結果をマイクロプロセッサ８０に送る。上記のプロセスは、全ての画素情報がマイクロプロセッサ８０に転送されるまで、５つの残りの出力イネーブル線ＯＥ2〜ＯＥ6を使用して他の５つの復調器１０４ｂ〜１０４ｆについて繰り返される。
【００５５】
サブフレームコントローラ１０２には、同期の維持とサブフレームの計数の役割がある。３ビットカウンタ１８０は、画像センサ６０と６２によって現在露光されているサブフレーム番号（０〜７）を、ｓｕｂｆｒａｍｅ＿Ｌ線を通して光出力インターフェイス１１０〜１１４に出力する。カウンタ１８０は、各画像センサの露光の開始時にＬＥＤ線上の信号によってインクリメントされ、最後のサブフレームの後にゼロに戻る。画像センサ６０と６２からのデータは、露光の終了の後（ＬＥＤ信号の立ち下がりエッジ）ある時間まではクロックに同期して読み出されない（ｎｏｔ ｃｌｏｃｋｅｄ ｏｕｔ）。ラッチ３００と２０２はサブフレームのカウントをＦＲＡＭＥ＿ＶＡＬＩＤ信号の次の正のエッジまで遅延させ、この情報は、ラッチ３００と３０２が現在どのサブフレームを処理しているかを示すために復調器１０４ａ〜１０４ｆに送られる。ＥＸＰ信号は光出力インターフェイス１１０〜１１４に、それらがそれらに関連している赤外線光源をオンできるように、出力される。ＥＸＰ信号は、赤外線光源が作動しているときにｓｕｂｆｒａｍｅ＿Ｌ信号線が安定していることを確保すようにラッチ１８２によってわずかに遅延させられる。
【００５６】
カウンタ１８８は各サブフレーム内で、各画素に対して一意のアドレスを出力する。該カウンタは各サブフレームの開始時にゼロにされ、有効な画素が読み込まれるたびにインクリメントされる。このアドレスは、ＣＡＭ１ＤＡＴＡデータ線とＣＡＭ２ＤＡＴＡ線とが何時であるかを示す有効（ＥＮ）と共に各復調器１０４ａ〜１０４ｆに送られる。
【００５７】
有効なデータは、各サブフレーム０の最後に復調器１０４ａ〜１０４ｆから得られる。ラッチ１８４と１８６およびゲート１９２は１つの正のパルスを各ＦＲＡＭＥ＿ＶＡＬＩＤ信号の最後に出力する。コンパレータ１９６とゲート１９４は、この正のパルスがサブフレーム０の最後にだけ通過できるようにする。これによって、ＩＮＴ信号線上の信号を出力インターフェイス１０６に出力し、これは新しい結果としての画像フレームを送る準備ができていることを示す。
【００５８】
作業バッファ２４０は、複数の中間画像フレームを格納するために使用される。新しい画素が、ルックアップテーブル２５８に格納されている選択されたＷａｌｓｈ符号に従がって、代数ユニット２３４を使用して作業バッファ２４０に加算され、または減算される。
【００５９】
サブフレーム０の間、画像センサデータは直接作業メモリ２４０に転送される。コンパレータ２５４はサブフレーム０の間は論理１を出力し、これがマルチプレクサ２３６に代数ユニット２３４のＡ入力を強制的に０にさせる。ルックアップテーブル２５８の出力は、サブフレーム０の間は常に論理１であり、そのため、代数ユニット２３４は常に入力Ｂを入力Ａ（ゼロ）に加算することになり、入力Ｂを作業バッファ２４０に事実上コピーする。ＰＩＸＣＬＫの正の各エッジの位置で、画像センサからの生データがラッチ２３０にラッチされ、そのアドレスがラッチ２６４にラッチされ、その有効状態（ＥＮ）はラッチ２６２にラッチされる。前述のように、画像センサからのデータは、圧縮されている１０ビットの形態であり、これは処理の前に元の線形の１２ビットに展開しなければならない。これは、展開ユニット２３２によって行われる。展開ユニット２３２は、追加の上位３ビットも追加して処理中にアンダーフローエラーまたはオーバーフローエラーを防止する１５ビットの符号付きフォーマットを生成する。データが有効（ラッチ２６２の出力がハイ）であると、展開されたデータは代数ユニット２３４を修正されずに通過して、作業バッファ２４０内にＤA入力を経て画素アドレスＡAの位置にラッチされることになる。サブフレーム０の最後に、最初のサブフレーム全体が作業バッファ２４０にラッチされる。
【００６０】
残りのサブフレーム（１〜７）内の画素データは作業バッファ２４０内の対応している画素値に加算されるか、画素値から減算されなければならない。ＤＡＴＡ信号、ＡＤＤＲＥＳＳ信号、およびＥＮ信号はラッチ２３０、２６４、および２６２にラッチされるが、その画素の現在の作業値は作業バッファ２４０のＤB入力にラッチされる。コンパレータ２５４はこれらのサブフレーム内では論理０になり、この結果マルチプレクサ２３６は該画素の現在の作業値を代数ユニット２３４のＡ入力に入力する。ルックアップテーブル２５８は、値１のＷａｌｓｈ符号ビットは加算を表し、値０のＷａｌｓｈ符号ビットは減算を表すＷａｌｓｈ符号に従って入力Ｂの新しい画像データを現在の作業値に加算するか作業値から減算するかを判定する。結果は次に、次のクロックサイクルで作業バッファ２４０の同じアドレスにＤA入力を通して戻される。
【００６１】
すべての８つのサブフレームの処理後、作業バッファ２４０は最終的な結果の画像フレームを含んでいる。次のサブフレームのサブフレーム０の間に、この結果の画像フレームは出力バッファ２５０に転送される。サブフレーム０は作業バッファ２４０のＤB入力からの出力を使用しないので、この同じポートは結果の画像フレームの出力バッファ２５０への転送に使用される。ゲート２５６は、サブフレーム０の間、出力バッファ２５０のＡポートの書き込みイネーブル入力（ＷＥA）をイネーブルにする。作業バッファ２４０からのデータは次に、次の入力サブフレームによって上書きされる直前に出力バッファ２５０に転送される。出力バッファ２５０のＤB線、アドレス線、および出力イネーブルＯB線が次に使用されて、結果の画像フレームが出力インターフェイス１０６を通してマイクロプロセッサ８０へ転送される。
【００６２】
露光信号（ＥＸＰ）がハイになる直前に、サブフレームコントローラ１０２は露光中の現在のサブフレーム（ＳＦ）を設定する。ルックアップテーブル２９０がゼロ（０）を出力すると、ゲート２９２はこのサブフレームに対して対応する赤外線光源をオフのままにする。ルックアップテーブルが１を出力すると、対応する赤外線光源がオンに切り換えられる。オンの期間は、パルス発生器２９４によって定められる。トリガ（Ｔ）によって起動されるパルス発生器２９４は正のパルスを所与の数のクロック周期（この場合画素クロック）の長さ出力する。該パルスの最後、すなわち画像センサの露光時間が終了したときに、ゲート２９２は対応する赤外線光源をオフに切り換える。
【００６３】
パルス発生器２９４は、各赤外線光源の影響を他の光源とセンサの積分時間とは独立して動的に調整できるようにして、所望のバランスを得る。各赤外線光源のパルス時間は一定に維持されているので、画像センサ６０と６２の露光時間を、変調されている画像フレーム（復号器１０４ａ、１０４ｂ、１０４ｄ、および１０４ｅ）に影響することなく、最適な周辺光画像（復号器１０４ｃと１０４ｆ）を得るように調整することができる。両画像センサの可能な最小積分時間は、３つの赤外線光源の最も長いパルス時間に等しい。２つの画像センサの可能な最大積分時間は画素が飽和し始める点であって、この場合、復調方式は失敗する。
【００６４】
前述の実施形態では、Ｗａｌｓｈ符号が赤外線光源を変調および復調するのに使用されている。当業者は、たとえば、ＯＯＫ、ＦＳＫ、ＡＳＫ、ＰＳＫ、ＱＡＭ、ＭＳＫ、ＣＰＭ、ＰＰＭ、ＴＣＭ、ＯＦＤＭ、ＦＨＳＳ、またはＤＳＳＳ通信装置で使用されているデジタル符号などの他のデジタル符号を複数の赤外線光源の変調と復調に使用してもよいことを理解するであろう。
【００６５】
画像センサは、表示面の下部の角に隣接して配置されているものとして示されているが、当業者は、画像センサが表示面に対する異なる位置に配置されてもよいことを理解するであろう。ツールトレイ部分を有する必要は無く、必要ならば、照明されているベゼル部分に置き換えてもよい。また、照明されているベゼル部分４０〜４４および光源６４と６６を赤外線光源として記述したが、当業者は他の適切な放射源を使用してもよいことを理解するであろう。
【００６６】
対話型入力装置２０を、再帰反射または高反射ペン先を有しているペンツールを検出するとして説明したが、当業者は、対話型入力装置が表示面２４の近くにあるときに信号を出力する能動ポインタを検出できることを理解するであろう。たとえば、対話型入力装置は、２００８年５月９日に出願され、アルバータ州、カルガリーのＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＵＬＣに譲渡された、「Ｉｎｔｅｒａｃｔｉｖｅ Ｉｎｐｕｔ Ｓｙｓｔｅｍ Ａｎｄ Ｐｅｎ Ｔｏｏｌ Ｔｈｅｒｅｆｏｒ（対話型入力装置とそのためのペンツール）」という名称の、Ｂｏｌｔ等に対する米国特許出願第１２／１１８，５３５号に記述されているような赤外放射を放射する能動ペンツールを検出してもよい。
【００６７】
本実施形態では、ペンツールが表示面２４の近くに移動させられると、能動ペンツールが、１２０Ｈｚ、２４０Ｈｚ、および３６０Ｈｚに等しい周波数の成分を有している変調された信号を出力する。これらの周波数は、Ｗａｌｓｈ符号がスペクトルゼロをこれらの周波数で有するので選択されている。その結果、能動ペンツールによって出力された変調された光は、対象領域内での能動ペンツールの存在を検出するための処理中に取り除かれ、そのため、ポインタ検出には影響しない。ポインタの存在が検出されると、マイクロプロセッサ８０は全ての赤外線光源によって放射された赤外照明だけでなく周辺光に基づいて画像フレームをフーリエ変換して、ＤＣバイアスと、照明されているベゼル部分からの寄与を表している画像フレームの４８０Ｈｚ成分とが取り除かれる。マイクロプロセッサ８０は次に結果としての画像フレームを、その顕著な成分が１２０Ｈｚ、２４０Ｈｚ、および３６０Ｈｚの位置に存在しているどうかを調べる。存在している場合、これらの周波数での信号パターンが能動ペンツールを識別するためにマイクロプロセッサ８０によって使用される。
【００６８】
理解されるように、能動ペンツールによって放射された変調された信号を、能動ペンツールを特定するためにマイクロプロセッサ８０によって使用することができるので、表示面２４の近くで複数の能動ペンツールの検出が容易になる。ポインタ検出の間に、明るい帯を遮っている２つまたは３つ以上の暗い領域が検出されると、能動ペンツールによって出力された変調されている光を、変調されている信号成分が１２０Ｈｚ、２４０Ｈｚ、および３６０Ｈｚに等しい周波数の位置にあるかどうかを判定し、それによって個々の能動ペンツールを特定することができるように、独立して処理することができる。これは、能動ペンツールによって出力された変調された信号が互いに干渉するのを防止し、各能動ペンツールを表示面２４上に表示されている画像に関連付け、能動ペンツール入力を正しく処理することができるようにする。
【００６９】
対話型入力装置はもちろん他の形態を取ってもよい。たとえば、前述の援用されているＢｏｌｔ他の特許出願に記述されているように、照明されているベゼル部分を再帰反射または高反射ベゼルに置き換えてもよい。しかし、当業者は、放射変調技術が基本的に、干渉を減少させ各放射源に関連している情報を分離できるようにするために、複数の放射源を有しているいかなる対話型入力装置に適用してもよいことを理解するであろう。
【００７０】
実施形態を、図面を参照して説明したが、当業者は、添付の特許請求の範囲によって定まる本発明の要旨と範囲から逸脱することなく変形や修正が可能なことを理解することであろう。
【技術分野】
【０００１】
本発明は概して対話型入力装置に関し、特に照明制御付き対話型入力装置に関する。
【背景技術】
【０００２】
ユーザが能動ポインタ（光、音、または他の信号を放射するポインタなど）、受動ポインタ（指、円筒、他の物体など）、またはたとえばマウスやトラックボールなどの他の適切な入力装置を使用してアプリケーションプログラムにインクを入力できるようにする対話型入力装置が公知である。この対話型入力装置には、参照によってその内容が援用される本出願の譲受人であるカナダ、アルバータ州、カルガリーのＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＵＬＣに譲渡された特許文献１、特許文献２、特許文献３、特許文献４、特許文献５、特許文献６、特許文献７、および特許文献８に開示されているようなポインタ入力を登録するためにアナログ抵抗技術またはマシン・ビジョン技術を使用しているタッチパネルを有するタッチ装置、ポインタ入力を登録するために電磁技術、容量技術、音声技術、または他の技術を使用しているタッチパネルを有するタッチ装置、タブレットパーソナルコンピュータ（ＰＣ）、ラップトップＰＣ、パーソナルデジタルアシスタント（ＰＤＡ）、および他の同様の装置が含まれるがこれらには限定されない。
【０００３】
対話型入力装置においてタッチ表面に対してポインタを検出するのを容易にするために、さまざまな照明方式が検討されてきた。たとえばＣａｒｒｏｌ他の特許文献９は、複数の光電変換器が組み込まれている光電タッチパネル用の動的レベルシフタを開示している。動的レベルシフタは、タッチパネルの通常の動作中は、各光電変換器が放射エネルギーのパルスを受信できる期間の直前に周辺光のレベルを周期的に検知する。そのような期間中の各光電変換器の出力は、放射エネルギーパルスの有無を示している信号を、周辺光の変動とは無関係に生成するために、前回の周辺光の期間の出力と比較される。
【０００４】
Ｄｏｅｒｉｎｇの特許文献１０は、明るい周辺光の状態でも、１つまたは２つ以上の光ビームがいつ遮られたかを検出するために、変調された複数の光ビームを利用するタッチパネル装置を開示している。タッチパネル装置は周辺が定められているタッチ感知表示面を有している。多数の発光要素と受光要素とが表示面を囲んでいる。これら発光要素および受光要素は、発光要素と受光要素の選択された複数の対によって定まる複数の光路が表示面を横切って、交差する光路の格子を定めるように配置されている。走査回路が、発光要素と受光要素の選択された複数の対を順番にイネーブルにし、発光された光の振幅を所定のパターンに従って変調する。現在イネーブルな受光素子が所定のパターンに従って変調されている出力信号を生成していないと、フィルタが遮断光路信号を生成する。フィルタが、表示面の周辺内で互いに交差する光路に対応する少なくとも２つの遮断光路信号を生成していると、コンピュータが、物体が表示面に隣接しているかどうかを判定し、もしそうならば、該物体の位置を求める。
【０００５】
Ｔｏｈの特許文献１１は、異なる照明技術を、対象物体を含むシーンに同時に適用できるようにする画像取得装置を開示している。１つの位置内では、異なる照明技術によって照明されている多数の画像が、複数の画像の各々を取得するための特定の波長帯域を選択することによって取得される。典型的な用途では、背面照明と前面照明の両方が、物体を照明するために同時に使用され、異なる画像解析方法が、取得された複数の画像に適用される。
【０００６】
Ｏｇａｗａの特許文献１２は、ポインタ機器を認識して、指またはポインタを使用した入力を可能にする光学デジタイザを開示している。光学デジタイザは、光線を放射する光源と、座標面の周辺に配置されて、ポインタ機器の撮像後にポインタ機器の画像を電気信号に変換する撮像装置と、撮像装置によって変換された電気信号を処理後に指示位置を計算する計算装置とを有している。偏光装置が、光源によって放射された光線を第１の偏光光線または第２の偏光光線に偏光する。切り替え装置が、座標面上の照射光を第１の偏光光または第２の偏光光に切り換える。再帰反射特性を備えている再帰反射材料が座標面の枠の位置に取り付けられている。透過軸を備えている偏光フィルムが第１の偏光光線を透過させる。判定装置が、ポインタ機器の画像が第１の偏光光線によって取得されたときにポインタ機器を第１のポインタ機器と判定し、ポインタ機器の画像が第２の偏光光線によって取得されたときにポインタ機器を第２のポインタ機器と判定する。
【０００７】
Ｋｉｎｇの特許文献１３は、目標の所望の複数の特徴を、該目標について関心のある情報を抽出するために、該目標の画像を１つまたは２つ以上の異なる照明条件下で取得し、かつ画像解析を使用することによって、見分けるようにマシン・ビジョン装置の能力を改善する方法と装置とを開示している。紫外光が、該目標の様々な特徴を強調表示するために、単独で、および/または光軸上のまたは低角度の直接照明と組み合わせて使用される。目標とカメラとの間に配置されている１つまたは２つ以上のフィルタが、カメラによって取得される１つまたは２つ以上の画像から不要な光を取り除くのを助ける。画像は、従来の画像解析技術によって解析してもよく、結果は記録されるかコンピュータ表示装置上に表示される。
【０００８】
Ｎｅｗｔｏｎの特許文献１４は、前部表面と、後部表面と、複数の縁と、内部体積とを有しているタッチパネルを開示している。エネルギー源がタッチパネルの第１の縁の近くに配置され、タッチパネルの内部体積内を伝搬するエネルギーを放射するように構成されている。拡散反射器が、内部体積から漏れたエネルギーの少なくとも一部を反射して拡散するようにタッチパネルの前部方面の近くに配置されている。少なくとも１つの検出器が、タッチパネルの第１の縁の近くに配置され、タッチパネルの前部表面にわたって拡散するように反射されたエネルギーの強度レベルを検出するように構成されている。タッチパネルの第１の縁の近くに離れて位置する２つの検出器によって、単純な３角測量技術を使用してタッチ位置の計算することができる。
【０００９】
Ｎａｋａｍｕｒａ他の特許文献１５は、物体が画面に接触したかどうかを判定する精度と、該物体の座標位置を計算する精度との両方を向上させるために画像内の複数のエッジを検出するエッジ検出回路を開示している。接触判定回路が、物体が画面に接触したかどうかを判定する。校正回路が、外光に応答して複数の光学センサの感度を制御して、それによって、複数の光学センサの駆動条件が複数の光学センサの出力値に基づいて変更される。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】米国特許明細書第５，４４８，２６３号
【特許文献２】米国特許明細書第６，１４１，０００号
【特許文献３】米国特許明細書第６，３３７，６８１号
【特許文献４】米国特許明細書第６，７４７，６３６号
【特許文献５】米国特許明細書第６，８０３，９０６号
【特許文献６】米国特許明細書第７，２３２，９８６号
【特許文献７】米国特許明細書第７，２３６，１６２号
【特許文献８】米国特許明細書第７，２７４，３５６号
【特許文献９】米国特許明細書第４，２４３，８７９号
【特許文献１０】米国特許明細書第４，８９３，１２０号
【特許文献１１】米国特許明細書第６，３４６，９６６号
【特許文献１２】米国特許明細書第６，４９８，６０２号
【特許文献１３】米国特許出願公開第２００３／０１６１５２４号
【特許文献１４】米国特許出願公開第２００５／０２４８５４０号
【特許文献１５】米国特許出願公開第２００６／０１７０６５８号
【発明の概要】
【発明が解決しようとする課題】
【００１１】
前述の特許文献は、照明技術を使用している装置を開示しているが、対話型入力装置におけるユーザ入力の検出を向上させる照明技術の改良が望まれている。したがって、本発明の目的は、照明制御付きの新規な対話型入力装置を提供することである。
【課題を解決するための手段】
【００１２】
したがって、一態様では、対象領域の複数の画像を取得する少なくとも１つの撮像装置と、各々が対象領域を照明する複数の放射源と、別個の複数の画像フレームを、異なる放射源からの寄与に基づいている生成できるように、複数の放射源と少なくとも１つの撮像装置との動作を調整するコントローラとを有する対話型入力装置が提供される。
【００１３】
一実施態様において、各放射源は別個の切り換えパターンに従ってオンとオフとが切り換えられる。複数の別個の切り換えパターンと撮像装置のフレームレートは、周辺光と点滅している光源からの影響を実質的に取り除くように選択されている。複数の別個の切り換えパターンは実質的に直交しており、複数のＷａｌｓｈ符号に従ってもよい。
【００１４】
他の態様によれば、対象領域の重なっている複数の画像を複数の異なる位置から取得する少なくとも２つの撮像装置と、対象領域を照明する、各撮像装置に組み合わされた放射源と、複数の放射源に対応している複数の別個の切り換えパターンを使用して複数の撮像装置の複数のフレームレートのタイミングを設定し、異なる複数の放射源からの複数の寄与に基づいて複数の画像フレームを生成するように取得された複数の画像フレームを復調するコントローラと、対象領域内のポインタの位置を求めるために、個別の複数の画像フレームを処理する処理構造と、を有する対話型入力装置が提供される。
【００１５】
さらに他の態様によれば、対象領域の複数の画像を取得する少なくとも１つの撮像装置と、各々が対象領域を照明する複数の放射源とを有する対話型入力装置において、複数の画像フレームを生成する方法であって、概ね直交している別個の切り換えパターンに従って各放射源をオンとオフにすることと、撮像装置のフレームレートを別個のパターンに同期させることと、異なる複数の放射源からの複数の寄与に基づいて複数の画像フレームを生成するために複数の画像フレームを復調することとを有する、複数の画像フレームを生成する方法が提供される。
【００１６】
またさらに他の態様によれば、対象領域の複数の画像を取得する少なくとも１つの撮像装置と、対象領域を照明する複数の放射源とを有する対話型入力装置における撮像方法であって、複数の放射源の出力を変調することと、撮像装置のフレームレートを変調されている放射源の出力に同期させることと、異なる複数の放射源からの複数の寄与に基づいて複数の画像フレームを生成するために複数の画像フレームを復調することとを有する撮像方法が提供される。
【図面の簡単な説明】
【００１７】
【図１】照明制御付き対話型入力装置の斜視図である。
【図２】図１の対話型入力装置の概略正面図である。
【図３】図１の対話型入力装置の一部の概念的な斜視図である。
【図４】図１の対話型入力装置の一部の概略図である。
【図５】サブフレーム取得時の画像センサと赤外光源のオン／オフのタイミングパターンの図である。
【図６】さまざまな画像サブフレームの組み合わせによる画像フレームの生成を示す概略図である。
【図７】図４に示されている変調照明コントローラの概略図である。
【図８】図７の変調照明コントローラの一部を構成するサブフレームコントローラの概略図である。
【図９】図７の変調照明コントローラの一部を構成している復調器の概略図である。
【図１０】図７の変調照明コントローラの一部を構成している光出力インターフェイスの概略図である。
【発明を実施するための形態】
【００１８】
次に、実施形態を、添付の図面を参照してより詳しく説明する。
【００１９】
ここで図１から４を参照すると、ユーザが「インク」などの入力をアプリケーションプログラムに対して行うことができるようにする対話型入力装置が図示され、全体に参照番号２０が付けられている。本実施形態では、対話型入力装置２０は、たとえばプラズマテレビ、液晶ディスプレイ（ＬＣＤ）装置、フラットパネル表示装置、陰極線管などの表示ユニット（不図示）に接続され、表示ユニットの表示面２４を囲んでいる組み立て体２２を有している。組み立て体２２は表示面２４の近くの対象領域に移動させられたポインタを検出するためにマシン・ビジョンを使用し、１つまたは２つ以上のアプリケーションプログラムを実行するコンピュータ２６とユニバーサルシリアルバス（ＵＳＢ）ケーブル２８を通して通信する。コンピュータト２６は組み立て体２２の出力を処理し、表示ユニットに出力された画像データを、表示面２４に表示された画像がポインタ動作を反映するように調整する。このようにして、組み立て体２２とコンピュータ２６は、表示面２４の近くのポインタ動作が、書き込みまたは描画として記録され、あるいはコンピュータ２６によって実行される１つまたは２つ以上のアプリケーションプログラムの実行を制御するのに使用されるのを可能にする。
【００２０】
組み立て体２２は表示ユニットに一体化され、または取り付けられて、表示面２４を囲む枠アセンブリを有している。枠アセンブリは、３つの照明されているベゼル部分４０〜４４、４つの角部品４６、およびツールトレイ部分４８を有している。ベゼル部分４０、４２は表示面２４の対向している各側縁に沿って延び、ベゼル部分４４は表示面２４の上部縁に沿って延びている。照明されているベゼル部分４０から４４は、表示面２４に隣接する対象領域内に位置するポインタが、放出された赤外線によって背後から照明されるように赤外線照明を放つように調節することができる赤外線（ＩＲ）光源を表示面周辺に構成している。ベゼル部分４０から４４は、参照によってその内容が援用される本出願の譲受人であるカナダ、アルバータ州、カルガリーのＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＵＬＣに譲渡された米国特許明細書第６，９７２，４０１号に開示されている種類のものであってよい。ツールトレイ部分４８は表示面２４の下部縁に沿って延び、１つまたは２つ以上のペンツールＰを支持している。表示面２４の左上の角と右上の角に隣接している２つの角部品４６は、ベゼル部分４０と４２をベゼル部分４４に結合している。表示面２４の左下の角と右下の角に隣接している２つの角部品４６はベゼル部分４０と４２をツールトレイ部分４８に結合している。表示面２４の左下の角と右下の角に隣接している角部品４６はベゼル部分４０と４２をツールトレイ部分４８に結合している。
【００２１】
本実施形態では、表示面２４の左下と右下の角に隣接している２つの角部品４６は、異なる位置から概ね表示面２４全体を見渡す２つの画像センサ６０と６２を収容している。画像センサ６０と６２はＭＴ９Ｖ０２３というモデル番号でＭｉｃｒｏｎによって製造されている種類で、ＢｏｏｗｏｎによってＢＷ２５Ｂというモデル番号で製造されている、該画像センサに９８度の視野をもたらす８８０ｎｍレンズに取り付けられている。もちろん、当業者は、他の市販の画像センサまたはカスタム画像センサを使用してもよいことを理解するであろう。表示面２４の左下と右下の角に隣接している２つの角部品４６の各々は、関連する画像センサの近くに位置している赤外線光源６４、６６も収容している。赤外線光源６４と６６は、対象領域内に位置するポインタが、放射された赤外放射線によって前部が照明されるように、赤外照明を放射するように調整することができる。
【００２２】
画像センサ６０と６２は、照明されているベゼル部分４０と４４と赤外線光源６４と６６の動作を光制御回路７２〜７６を通して制御する変調照明コントローラ７０と通信する。各光制御回路７２〜７６は、パワートランジスタとバラスト抵抗とを有している。光制御回路７２は、照明されているベゼル部分４０〜４６に付属しており、光制御回路７４は赤外線光源６４と組み合わされ、光制御回路７６は赤外線光源６６と組み合わされている。光制御回路７２〜７６のトランジスタとバラスト抵抗は、組み合わされている赤外線光源と電源との間で作動する。変調照明コントローラ７０は水晶発振器７８からクロック入力を入力し、マイクロプロセッサ８０と通信する。マイクロプロセッサ８０は、ＵＳＢケーブル２８を通してコンピュータ２６とも通信する。
【００２３】
変調照明コントローラ７０は、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）などの集積回路上に実装されていることが好ましい。あるいは、変調照明コントローラ７０は、汎用のデジタルシグナルプロセッサ（ＤＳＰ）チップまたは他の適切なプロセッサ上に実装されていてもよい。
【００２４】
対話型入力装置２０は、たとえばユーザの指Ｆ、円柱、または他の適切な物体などの受動ポインタだけではなく、表示面２４の近くで、２つの画像センサ６０と６２の視野内に移動されられた再帰反射性または高反射のペン先を有する能動ペンツールＰをも検出するように構成されている。一般に、動作中は、照明されているベゼル部分４０〜４４、赤外線光源６４、および赤外線光源６６は、変調照明コントローラ７０によって各々が別個のパターンでオンとオフとにされる（つまり変調される）。これら複数のオンとオフの切り換えパターンは、それらが概ね直交するように選択される。その結果、１つの切り換えパターンと他の切り換えパターンとの相互相関を取った場合、結果は実質的にゼロであり、切り換えパターンとそれ自身との相互相関を取った場合、結果は正の利得となる。これによって、複数の画像フレームを、照明されているベゼル部分４０〜４４と赤外線光源６４と６６とを同時にアクティブに（作動）した状態で画像センサ６０と６２によって取得し、かつ処理されたこれら複数の画像フレームが、複数の赤外線光源のうちの選択された１つからの寄与だけを含む別個の画像フレームを生成するようにすることができる。
【００２５】
本実施形態では、符号分割多重アクセス（ＣＤＭＡ）通信システムで使用されるようなＷａｌｓｈ符号の直交の性質が、異なる光源からの画像への寄与を分離できるように、照明されているベゼル部分４０〜４４と赤外線光源６４と６６とを変調するために使用されている。たとえば、Ｗａｌｓｈ符号Ｗ1＝｛１，−１，１，−１，１，−１，１，−１｝とＷ2＝｛１，１，−１，−１，１，１，−１，−１｝は直交しており、これは、対応している両要素の積を取り、合計すると、結果がゼロになることを意味する。理解されるように、光源は負の強度をとることができない。そのため、照明されているベゼル部分４０〜４４、赤外線光源６４、および赤外線光源６６は、値が１のＷａｌｓｈ符号ビットはオン状態を示し、値が０のＷａｌｓｈ符号ビットはオフ状態を示している、個別の修正されたＷａｌｓｈ符号ＭＷxに従って各々が変調照明コントローラ７０によってオンとオフにされる。特に、照明されているベゼル部分４０〜４４は修正されたＷａｌｓｈ符号ＭＷ1＝｛１，０，１，０，１，０，１，０｝に従ってオンとオフにされる。赤外線光源６４は修正されたＷａｌｓｈ符号ＭＷ2＝｛１，１，０，０，１，１，０，０｝に従ってオンとオフにされる。赤外線光源６６は修正されたＷａｌｓｈ符号ＭＷ3＝｛１，０，０，１，１，０，０，１｝に従ってオンとオフとにされる。理解されるように、Ｗａｌｓｈ符号の負のビット値をゼロ値に置き換えることによってＩＲ照明に対してＤＣバイアスが生じる。
【００２６】
復調時に、Ｗａｌｓｈ符号Ｗ1＝｛１，−１，１，−１，１，−１，１，−１｝、Ｗ2＝｛１，１，−１，−１，１，１，−１，−１｝、およびＷ3＝｛１，−１，−１，１，１，−１，−１，１｝が用いられる。これらのＷａｌｓｈ符号は、これらが９６０Ｈｚのサブフレームレートにおいて、スペクトルゼロをＤＣ、１２０Ｈｚ、２４０Ｈｚ、および３６０Ｈｚにおいて有しているので、興味深い。その結果、これらのＷａｌｓｈ符号の相関が取られると、ＤＣ、１２０Ｈｚ、２４０Ｈｚ、および３６０Ｈｚの周波数が取り除かれ、外部の定常光（たとえば太陽光）の影響、修正されたＷａｌｓｈ符号ＭＷxによって生じたＤＣバイアス、共通の周波数、すなわち北アメリカでは１２０Ｈｚで点滅する光源（たとえば蛍光光源と白熱光源など）の影響を取り除くことができる。対話型入力装置２０が、照明が異なる周波数で点滅する異なった環境で使用されると、サブフレームレートはこの点滅する光の影響を取り除くように調整される。
【００２７】
画像センサ６０と６２は、毎秒あたりの９６０個のフレーム（ｆｐｓ）がサブフレームレートで８個のサブフレームが取得されることで各画像センサが１２０Ｈｚのフレームレートになるように、照明されているベゼル部分４０〜４４、赤外線光源６４、および赤外線光源６６のオン／オフ切り換えパターンに同期して変調照明コントローラ７０によって動作させられる。図５は複数の赤外線光源のオン／オフ切り換えパターンと、画像センサ６０と６２のサブフレームの取得レートとを示している。画像センサ６０と６２によって取得された複数のサブフレームは、図６に示されているように、変調照明コントローラ７０によって異なる組み合わせに組み合わされて、結果として得られた複数の画像フレーム、すなわち照明されているベゼル部分４０〜４４によって放射された赤外照明の寄与だけに実質的に基づく、各画像センサ６０、６２からの画像フレーム９０、赤外線光源６４によって放射された赤外照明の寄与だけに実質的に基づく、画像センサ６０からの画像フレーム９２、赤外線光源６６によって放射された赤外照明の寄与だけに実質的に基づく、画像センサ６２からの画像フレーム９４、照明されているベゼル部分４０〜４４、赤外線光源６４、赤外線光源６６、および周辺光によって放射された赤外照明の寄与に基づく、各画像センサ６０、６２からの画像フレーム９６を生成する。
【００２８】
変調照明コントローラ７０によって生成された結果として得られた複数の画像フレームは次にマイクロプロセッサ８０に転送される。これら複数の画像フレームを受信すると、マイクロプロセッサ８０は、これら画像フレームを、各画像センサ６０、６２に対して生成された、照明されているベゼルフレーム４０〜４４によって放射された赤外照明の寄与だけに実質的に基づいて調べ、ポインタの存在を検出する。これらの画像フレームについては、照明されているベゼル部分４０〜４４はこれら複数の画像フレーム内に明るい帯として現れる。サブフレームの取得中にポインタが表示面２４の近くにあると、ポインタは、照明されているベゼル部分４０〜４４によって放射されたバックライトの赤外照明を隠すことになる。その結果、ポインタは各画像フレーム内に明るい帯を遮る暗い領域として現れる。
【００２９】
マイクロプロセッサ８０は各画像センサ６０、６２によって対で出力された連続する画像フレームを処理する。画像センサからの画像フレームの対が使用できる場合、マイクロプロセッサ８０は該画像フレームを減算処理して差分画像フレームを構成し、次に該サブ画像フレームを処理し、ポインタが該差分画像フレーム内に存在する可能性を表わす不連続値を生成する。ポインタが表示面２４の近くに存在していない場合、これら複数の不連続値は大きい。ポインタが表示面２４の近くに存在している場合、これら不連続値のうちのいくつかが閾値未満になり、該差分画像フレーム内にポインタが存在することを容易に判定することができる。
【００３０】
各差分画像フレームについて前記不連続値を生成するために、マイクロプロセッサ８０は画像フレームの各画素列内の複数の画素の強度値を合計することによって、画像フレームについて垂直強度プロファイル（ＶＩＰbezel）を計算する。ポインタが存在しない場合、ＶＩＰbezel値は画像フレームの全ての画素列について大きいままになる。しかし、ポインタが画像フレーム内に存在していると、ＶＩＰbezel値は、画像フレーム内のポインタの位置に相当する領域における小さい値に低下する。各画像フレームについてＶＩＰbezel値によって定まる、結果として得られたＶＩＰbezel曲線が、ＶＩＰbezel曲線がポインタの存在を示す閾値未満に低下しているどうかを判定するために調べられ、もし低下しているならば、ＶＩＰbezel曲線内でポインタの対向している両側を示している左右のエッジを検出する。
【００３１】
特に、各画像フレーム内の左と右のエッジを見つけるために、ＶＩＰbezel曲線の１次微分が勾配曲線∇ＶＩＰbezel（ｘ）を生成するために計算される。ＶＩＰbezel曲線がポインタの存在を示す閾値よりも下に下がると、結果として得られた勾配曲線∇ＶＩＰbezel（ｘ）は、ＶＩＰbezel曲線の低下によって構成されるエッジを表わす負のピークと正のピークとが境界になっている領域を含むことになる。これら２つのピーク、したがって該領域の２つの境界を検出するために、勾配曲線∇ＶＩＰbezel（ｘ）はエッジ検出器に委ねられる。
【００３２】
特に、閾値Ｔがまず勾配曲線∇ＶＩＰbezel（ｘ）に適用され、各位置ｘについて勾配曲線∇Ｄ（ｘ）の絶対値が閾値よりも小さい場合、勾配曲線∇ＶＩＰbezel（ｘ）の値は、以下に表されるように、ゼロに設定される。
【００３３】
【数１】
【００３４】
閾値を適用する手続きに続けて、閾値が適用された勾配曲線∇ＶＩＰbezel（ｘ）はポインタの対向する側部を表わす負のスパイクと正のスパイクとを含んでおり、その他の部分はゼロである。左と右のエッジは次に閾値が適用された勾配曲線∇ＶＩＰbezel（ｘ）の２つの非ゼロのスパイクからそれぞれ検出される。左のエッジを計算するために、重心距離ＣＤleftが、以下の式に従って、ピクセル列Ｘleftから始まる、閾値が適用された勾配曲線∇ＶＩＰbezel（ｘ）の左のスパイクから計算される。
【００３５】
【数２】
【００３６】
ここで、ｘiは勾配曲線∇ＶＩＰbezel（ｘ）の左のスパイク内のｉ番目のピクセル列のピクセル列番号、ｉは１から閾値が適用された勾配曲線∇ＶＩＰbezel（ｘ）の左のスパイクの幅まで反復され、Ｘleftは、値がゼロ（０）から系の雑音に基づいて経験的に求められた閾値だけ異なっている、勾配曲線∇ＶＩＰbezel（ｘ）上の値に対応している画素列である。閾値が適用された勾配曲線∇ＶＩＰbezel（ｘ）の左のエッジは次にＸleft＋ＣＤleftと等しいと判定される。
【００３７】
右のエッジを計算するために、重心距離ＣＤrightが、以下の式に従って、ピクセル列Ｘrightから開始して、閾値が適用された勾配曲線∇ＶＩＰbezel（ｘ）の右のスパイクから計算される。
【００３８】
【数３】
【００３９】
ここで、ｘjは勾配曲線∇ＶＩＰbezel（ｘ）の右のスパイク内のｊ番目のピクセル列のピクセル列番号、ｊは１から閾値が適用された勾配曲線∇Ｄ（ｘ）の右のスパイクの幅まで反復され、Ｘrightは、値がゼロ（０）から、系の雑音に基づいて経験的に求められた閾値だけ異なっている、勾配曲線∇ＶＩＰbezel（ｘ）上の値に対応している画素列である。閾値が適用された勾配曲線の右のエッジは次にＸright＋ＣＤrightと等しいと判定される。
【００４０】
閾値が適用された勾配曲線∇ＶＩＰbezel（ｘ）の左と右のエッジがいったん計算されると、特定された左と右のエッジの中間点が計算され、それによって差分画像フレーム内のポインタの位置が求められる。
【００４１】
ポインタが、実質的に、照明されているベゼル４０〜４４によって放射された赤外照明の寄与だけに基づいて複数の画像フレーム内で検出されると、実質的に、赤外線光源６４によって放射された赤外照明の寄与だけに基づいている複数の画像フレームおよび実質的に、赤外線光源６６によって放射された赤外照明の寄与だけに基づいている複数の画像フレームは、ポインタがペンツールＰである角うかを判定するために処理される。理解されるように、ポインタがペンツールＰであると、ペンツールＰは、ペンツールの再帰反射性のペン先によって赤外線光源に向かって戻る、したがって画像センサ６０と６２に向かう放射された赤外照明の反射のために、各画像センサによって取得された画像フレーム内の暗い背景上に明るい領域として現れることになる。ポインタが指Ｆであると、ポインタはこれらの画像フレーム内の少なくとも１つに実質的により暗く現れる。
【００４２】
ペンツールＰが存在すると判定されると、複数の画像フレームは、ペンツールＰのこれら複数の画像フレーム内の位置を求めるために前述したのと同様に処理される。
【００４３】
複数の画像フレーム内のポインタの位置が求められた後、コントローラ１２０は、該複数の画像フレーム内の複数のポインタ位置を用いて、Ｍｏｒｒｉｓｏｎ等の引用文献５に記載されているような公知の方法で三角測量を使用して表示面２４に対する、（ｘ、ｙ）座標でのポインタの位置を計算する。計算されたポインタ座標は次にマイクロプロセッサ８０によってＵＳＢケーブル２８を通してコンピュータ２６に送られる。コンピュータ２６は受信したポインタ座標を処理し、必要ならば、表示面２４に表示されている画像がポインタの動作を反映するように、表示ユニットに出力される画像出力を更新する。このようにして、ポインタの、表示面２４との相互作用を書き込みまたは描画として記録したり、コンピュータ３０上で実行される１つまたは２つ以上のアプリケーションプログラムの実行を制御するために使用したりすることができる。
【００４４】
変調照明コントローラ７０の構成要素とその動作とを特に図７から１０を参照して説明する。ここで、図７を参照すると、変調照明コントローラ７０をより良く示されている。図からわかるように、変調照明コントローラ７０は水晶発振器７８によって出力された複数のクロック信号を受け取る画像センサコントローラ１００を有している。画像センサコントローラ１００は、画像センサのサブフレームレートを設定するために複数のタイミング信号を画像センサ６０と６２に出力し、ＰＩＸＣＬＫ、ＬＥＤ、Ｆｒａｍｅ＿Ｖａｌｉｄ、およびＬｉｎｅ＿Ｖａｌｉｄ信号線を通してサブフレームコントローラ１０２に接続されている。画像センサコントローラ１００は、複数の復調器、この場合は６個の変調器１０４ａ〜１０４ｆとも通信する。特に、画像センサコントローラ１００は、ＣＡＭ１ＤＡＴＡ線を通して復調器１０４ａ〜１０４ｃに接続され、ＣＡＭ２ＤＡＴＡ線を通して復調器１０４ｄ〜１０４ｆに接続されている。画像センサコントローラ１００は、ＰＩＸＣＬＫ信号線を通して復調器１０４ａ〜１０４ｆにも接続されている。復調器１０４ａ〜１０４ｆは、出力インターフェイス１０６にＤ信号線、Ａ信号線信号線、およびＯＥｘ信号線を通して接続されている。出力インターフェイス１０６は、線１０８を通してサブフレームコントローラ１０２に、ＰＩＸＣＬＫ信号線を通して画像センサコントローラ１００に、そしてマイクロプロセッサ８０にも接続されている。
【００４５】
サブフレームコントローラ１０２は、ｓｕｂｆｒａｍｅ＿Ｄ、ＥＮ、およびａｄｄｒｅｓｓ信号線を通して復調器１０４ａ〜１０４ｆの各々に接続されている。サブフレームコントローラ１０２は、光制御インターフェイス１１０〜１１４の各々にもｓｕｂｆｒａｍｅ＿ＬおよびＥＸＰ信号線を通して接続されている。光制御インターフェイス１１０〜１１４は、ＰＩＸＣＬＫ信号線にも接続されている。光制御インターフェイス１１０は光制御回路７２に接続されており、光制御インターフェイス１１２は光制御回路７４に接続されており、光制御インターフェイス１１４は光制御回路７６に接続されている。
【００４６】
図８はサブフレームコントローラ１０２をよりよく示している。図からわかるように、サブフレームコントローラ１０２は、画像センサコントローラ１００から延びているＬＥＤ、Ｆｒａｍｅ＿Ｖａｌｉｄ、ＰＩＸＣＬＫ、およびＬｉｎｅ＿Ｖａｌｉｄ信号線を受け入れる４つの入力端子１５０〜１５６を有している。特に、入力端子１５０はＬＥＤ信号線を受け入れ、入力端子１５２はＰＩＸＣＬＫ信号線を受け入れ、入力端子１５４はＦｒａｍｅ＿Ｖａｌｉｄ信号線を受け入れ、入力端子１５６はＬｉｎｅ＿Ｖａｌｉｄ信号線を受け入れている。サブフレームコントローラ１０２は、６つの出力端子、すなわちＥＸＰ出力端子１６０、ｓｕｂｆｒａｍｅ＿Ｌ出力端子１６２、ｓｕｂｆｒａｍｅ＿Ｄ出力端子１６４、ＩＮＴ出力端子１６６、ａｄｄｒｅｓｓ出力端子１６８、およびＥＮ出力端子１７０も有している。３ビットカウンタ１８０がＬＥＤ入力端子１５０に接続されているその入力と、ｓｕｂｆｒａｍｅ＿Ｌ出力端子１６２に接続されているその出力とを有している。ラッチ１８２の入力はＬＥＤ入力端子１５０にも接続されている。ラッチ１８２の出力はＥＸＰ出力端子１６０に接続されている。ラッチ１８２の制御入力は、ＰＩＸＣＬＫ入力端子１５２に接続されている。ＰＩＸＣＬＫ入力端子１５２は、１対のラッチ１８４と１８６の制御入力とカウンタ１８８の制御入力にも接続されている。ラッチ１８４のＤ入力は、インバータ１９０を通してカウンタ１８８のゼロ入力に接続されている。ラッチ１８４のＱ入力はゲート１９２の反転入力とラッチ１８６のＤ入力とに接続されている。ラッチ１８６のＱ入力はゲート１９２の非反転入力に接続されている。ゲート１９２の出力はゲート１９４の一方の入力に接続されている。ゲート１９４の他方の入力は、コンパレータ１９６の出力に接続されている。ゲート１９４の出力はＩＮＴ出力端子１６６に接続されている。
【００４７】
ラッチ２００の制御入力はＬＥＤ入力端子１５０にも接続されている。ラッチ２００のＤ入力は、ｓｕｂｆｒａｍｅ＿Ｌ出力端子１６２に接続されている。ラッチ２００のＱ入力はラッチ２０２のＤ入力に接続されている。ラッチ２０２の制御入力はＦｒａｍｅ＿Ｖａｌｉｄ入力端子１５４に接続されて、そのＱ入力はｓｕｂｆｒａｍｅ＿Ｄ出力端子１６４とコンパレータ１９６の入力とに接続されている。カウンタ１８８のＥＮ入力はＬｉｎｅ＿Ｖａｌｉｄ入力端子１５６に接続され、カウンタ１８８の出力ピンはアドレス出力端子１６８に接続されている。Ｌｉｎｅ＿Ｖａｌｉｄ入力端子１５６はＥＮ出力端子１７０にも直接接続されている。
【００４８】
図９は復調器１０４ａ〜１０４ｆの１つをよりよく示している。図からわかるように、該復調器は７つの入力端子２１０、すなわちサブフレーム入力端子、データ入力端子２１２、ＥＮ入力端子２１４、ＰＩＸＣＬＫ入力端子２１６、アドレス入力端子２１８、ＯＥ入力端子２２０、およびＡ入力端子２２２を有している。復調器は１つのＤ出力端子２２４も有している。ラッチ２３０は、データ入力端子に接続されているその入力と、拡張ユニット２３２の入力に接続されているその出力とを有している。ラッチ２３０制御入力はＰＩＸＣＬＫ入力端子２１６に接続されている。拡張ユニット２３２の出力は代数加算／減算ユニット２３４のＢ入力に接続されている。代数ユニット２３４のＡ入力は、マルチプレクサ２３６の出力に接続されている。代数ユニット２３４の出力は、２部分メモリユニットの形態の作業バッファ２４０のＤA入力に接続されている。マルチプレクサ２３６の一方の入力は、０入力２４２に接続され、マルチプレクサ２３６の他方の入力ピンは作業バッファ２４０のＤB入力と２部分メモリユニットの形態の出力バッファ２５０のＤA入力との間を延びている信号線２４４に接続されている。マルチプレクサ２３６の制御入力はコンパレータ２５４の出力とゲート２５６の一方の入力との間を延びている信号線２５２に接続されている。コンパレータ２５４の入力とルックアップテーブル２５８の入力とはサブフレーム入力端子２１０に接続されている。ルックアップテーブル２５８の出力は代数ユニット２３４の制御入力に接続されている。ルックアップテーブル２５８の論理値１はＷａｌｓｈ符号ビット値の「１」を示しており、代数ユニット２３４に加算を実行するように命令する。ルックアップテーブル２５８の論理値０はＷａｌｓｈ符号ビット値の「−１」を示しており、代数ユニット２３４に減算を実行するように命令する。この例では、ルックアップテーブル２５８はベゼル部分４０〜４４からの照明の復調可能にするＷａｌｓｈ符号Ｗ1：｛１，−１，１，−１，１，−１，１，−１｝、赤外線光源６４からの照明の復調を可能にするＷａｌｓｈ符号Ｗ2：｛１，１，−１，−１，１，１，−１，−１｝、および赤外線光源６６からの照明の復調を可能にするＷａｌｓｈ符号Ｗ3：｛１，−１，−１，１，１，−１，−１，１｝を使用してプログラムされている。周辺光を含む全ての放射された赤外照明に基づいている画像フレームを取得できるようにするためには、ルックアップテーブル２５０はＷａｌｓｈ符号Ｗ0：｛１，１，１，１，１，１，１，１｝を使用してプログラムされている。
【００４９】
ゲート２５６の他方の入力は、ラッチ２６２の出力と作業バッファ２４０のＷＥA入力との間を延びている信号線２６０に接続されている。ゲート２５６の出力は出力バッファ２５０のＷＥA入力に接続されている。ラッチ２６２の入力はＥＮ入力端子２１４に接続されており、ラッチ２６２の制御入力はＰＩＸＣＬＫ入力端子２１６に接続されている。ＰＩＸＣＬＫ入力端子２１６は作業バッファ２４０および出力バッファ２５０の制御入力にもそれぞれ接続されているだけでなく、ラッチ２６４の制御入力にも接続されている。ラッチ２６４の入力はアドレス入力端子２１８に接続されている。ラッチ２６４の出力は作業バッファ２４０および出力バッファ２５０の２つのＡA入力にそれぞれ接続されている。アドレス入力端子２１８は作業バッファ２４０のＡB入力にも接続されている。出力バッファ２５０のＯＥB入力およびＡB入力はＯＥ入力端子２２０およびＡ入力端子２２２にそれぞれ接続されている。
【００５０】
図１０は、光制御インターフェイス１１０〜１１４の１つをよりよく示している。図からわかるように、光制御インターフェイスはＳＦ入力端子２８０、ＥＸＰ入力端子２８２、およびＣＬＫ入力端子２８４を有している。光制御インターフェイスは１つの出力端子２８６も有している。８×１ルックアップテーブル２９０の入力はＳＦ入力端子２８０に接続されている。ルックアップテーブル２９０の出力はゲート２９２の１つの入力に接続されている。ゲート２９２の第２の入力はＥＸＰ入力端子２８２に接続され、ゲート２９２の第３の入力はパルス発生器２９４のＱ入力に接続されている。パルス発生器２９４のＴ入力はＥＸＰ入力端子２８２に接続され、パルス発生器２９４の制御入力はＣＬＫ入力端子２８４に接続されている。ゲート２９２の出力は出力端子２８６に接続されている。ルックアップテーブル２９０はサブフレームの取得時の対応する赤外線光源のオン／オフ状態を定めている、各サブフレームについてのＷａｌｓｈ符号の状態を格納している。したがって、照明されているベゼル部分４０〜４４については、光制御インターフェイス１１０のルックアップテーブル２９０は、修正されたＷａｌｓｈ符号ＭＷ1＝｛１，０，１，０，１，０，１，０｝を使用してプログラムされている。赤外線光源６４については、光制御インターフェイス１１２のルックアップテーブル２９０は、修正されたＷａｌｓｈ符号ＭＷ2＝｛１，１，０，０，１，１，０，０｝を使用してプログラムされている。赤外線光源６６については、光制御インターフェイス１１４のルックアップテーブル２９０は、修正されたＷａｌｓｈ符号ＭＷ3＝｛１，０，０，１，１，０，０，１｝を使用してプログラムされている。
【００５１】
動作については、復調器１０４ａと１０４ｄは、実質的にベゼル部分４０〜４４によって放射された赤外照明だけに基づいている画像センサ６０と６２からの画像フレームを出力するようにプログラムされている。復調器１０４ｂは、実質的に赤外線光源６４によって放射された赤外照明にだけ基づいている画像センサ６０からの画像フレームを出力するようにプログラムされており、復調器１０４ｅは、実質的に赤外線光源６６によって放射された赤外照明にだけ基づいている画像センサ６２からの画像フレームを出力するようにプログラムされている。復調器１０４ｃと１０４ｆは、すべての赤外線光源によって放射された赤外照明だけでなく周辺光に基づいている画像センサ６０と６２からの画像フレームを出力するようにプログラムされている。これらの画像フレームは、マイクロプロセッサ８０に対象領域の変調されていない像を供給し、マイクロプロセッサが画像センサの露光制御と、さらに場合によっては物体の分類を実行するのを可能にする。
【００５２】
光出力インターフェイス１１０〜１１４は割り当てられている修正されたＷａｌｓｈ符号ＭＷxに従って出力信号をそれらに関連する赤外線光源に出力する。前述のように、複数のＷａｌｓｈ符号は画像センサ６０と６２の露光時間と同期している。
【００５３】
画像センサコントローラ１００は、制御信号を画像センサ６０と６２の各々に出力し、画像サブフレームを画像センサ６０と６２の各々から取得する。水晶発振器７８からのクロック信号は、両方の画像センサのためのクロック信号を生成するために使用される。画像センサ６０と６２は、それらがそれらの画像サブフレームを同時に露光し、サブフレームデータを同時に伝達するように駆動される。本実施形態の両画像センサは、サブフレームデータをそれぞれＣＡＭ１ＤＡＴＡデータ線とＣＡＭ２ＤＡＴＡデータ線上に、画素クロック信号をＰＩＸＣＬＫ信号線上に、サブフレームが露光されていることを示す信号をＬＥＤ信号線上に、サブフレームがクロック信号に従って出力されていることを示す信号をＦＲＡＭＥ＿ＶＡＬＩＤ信号線上に、これら複数のデータ線が有効な画素情報を有していることを示す信号をＬＩＮＥ＿ＶＡＬＩＤ信号線上に出力する。画像センサは、非線形関数または他の適切な圧縮方法を使用して１０ビットのワード（０〜１０２３）に圧縮される１２ビットの解像度（０〜４０９５）を有している。１０ビットのデータ線は、結果として得られる非線形関数がＷａｌｓｈ符号の性質を破壊することを防止するために、復調の前に解凍される。
【００５４】
出力インターフェイス１０６は結果として得られた複数の画像フレームを得るためにマイクロプロセッサ８０に必要な信号を出力する。出力インターフェイスの形態は、使用されているマイクロプロセッサの種類と選択されている転送モードとに依存している。ＩＮＴ線上の内部信号は、新しいサブフレームが復調器１０４ａ〜１０４ｆにおいて使用可能になったときにサブフレームコントローラ１０２によって生成される。出力インターフェイス１０６は、ＯＥ1信号線を通しての第１の復調器１０４ａの出力を可能にする。出力インターフェイス１０６は次に、アドレス（Ａ）を順番に生成して、各画素のデータ（Ｄ）を読み、結果をシリアル化して、結果をマイクロプロセッサ８０に送る。上記のプロセスは、全ての画素情報がマイクロプロセッサ８０に転送されるまで、５つの残りの出力イネーブル線ＯＥ2〜ＯＥ6を使用して他の５つの復調器１０４ｂ〜１０４ｆについて繰り返される。
【００５５】
サブフレームコントローラ１０２には、同期の維持とサブフレームの計数の役割がある。３ビットカウンタ１８０は、画像センサ６０と６２によって現在露光されているサブフレーム番号（０〜７）を、ｓｕｂｆｒａｍｅ＿Ｌ線を通して光出力インターフェイス１１０〜１１４に出力する。カウンタ１８０は、各画像センサの露光の開始時にＬＥＤ線上の信号によってインクリメントされ、最後のサブフレームの後にゼロに戻る。画像センサ６０と６２からのデータは、露光の終了の後（ＬＥＤ信号の立ち下がりエッジ）ある時間まではクロックに同期して読み出されない（ｎｏｔ ｃｌｏｃｋｅｄ ｏｕｔ）。ラッチ３００と２０２はサブフレームのカウントをＦＲＡＭＥ＿ＶＡＬＩＤ信号の次の正のエッジまで遅延させ、この情報は、ラッチ３００と３０２が現在どのサブフレームを処理しているかを示すために復調器１０４ａ〜１０４ｆに送られる。ＥＸＰ信号は光出力インターフェイス１１０〜１１４に、それらがそれらに関連している赤外線光源をオンできるように、出力される。ＥＸＰ信号は、赤外線光源が作動しているときにｓｕｂｆｒａｍｅ＿Ｌ信号線が安定していることを確保すようにラッチ１８２によってわずかに遅延させられる。
【００５６】
カウンタ１８８は各サブフレーム内で、各画素に対して一意のアドレスを出力する。該カウンタは各サブフレームの開始時にゼロにされ、有効な画素が読み込まれるたびにインクリメントされる。このアドレスは、ＣＡＭ１ＤＡＴＡデータ線とＣＡＭ２ＤＡＴＡ線とが何時であるかを示す有効（ＥＮ）と共に各復調器１０４ａ〜１０４ｆに送られる。
【００５７】
有効なデータは、各サブフレーム０の最後に復調器１０４ａ〜１０４ｆから得られる。ラッチ１８４と１８６およびゲート１９２は１つの正のパルスを各ＦＲＡＭＥ＿ＶＡＬＩＤ信号の最後に出力する。コンパレータ１９６とゲート１９４は、この正のパルスがサブフレーム０の最後にだけ通過できるようにする。これによって、ＩＮＴ信号線上の信号を出力インターフェイス１０６に出力し、これは新しい結果としての画像フレームを送る準備ができていることを示す。
【００５８】
作業バッファ２４０は、複数の中間画像フレームを格納するために使用される。新しい画素が、ルックアップテーブル２５８に格納されている選択されたＷａｌｓｈ符号に従がって、代数ユニット２３４を使用して作業バッファ２４０に加算され、または減算される。
【００５９】
サブフレーム０の間、画像センサデータは直接作業メモリ２４０に転送される。コンパレータ２５４はサブフレーム０の間は論理１を出力し、これがマルチプレクサ２３６に代数ユニット２３４のＡ入力を強制的に０にさせる。ルックアップテーブル２５８の出力は、サブフレーム０の間は常に論理１であり、そのため、代数ユニット２３４は常に入力Ｂを入力Ａ（ゼロ）に加算することになり、入力Ｂを作業バッファ２４０に事実上コピーする。ＰＩＸＣＬＫの正の各エッジの位置で、画像センサからの生データがラッチ２３０にラッチされ、そのアドレスがラッチ２６４にラッチされ、その有効状態（ＥＮ）はラッチ２６２にラッチされる。前述のように、画像センサからのデータは、圧縮されている１０ビットの形態であり、これは処理の前に元の線形の１２ビットに展開しなければならない。これは、展開ユニット２３２によって行われる。展開ユニット２３２は、追加の上位３ビットも追加して処理中にアンダーフローエラーまたはオーバーフローエラーを防止する１５ビットの符号付きフォーマットを生成する。データが有効（ラッチ２６２の出力がハイ）であると、展開されたデータは代数ユニット２３４を修正されずに通過して、作業バッファ２４０内にＤA入力を経て画素アドレスＡAの位置にラッチされることになる。サブフレーム０の最後に、最初のサブフレーム全体が作業バッファ２４０にラッチされる。
【００６０】
残りのサブフレーム（１〜７）内の画素データは作業バッファ２４０内の対応している画素値に加算されるか、画素値から減算されなければならない。ＤＡＴＡ信号、ＡＤＤＲＥＳＳ信号、およびＥＮ信号はラッチ２３０、２６４、および２６２にラッチされるが、その画素の現在の作業値は作業バッファ２４０のＤB入力にラッチされる。コンパレータ２５４はこれらのサブフレーム内では論理０になり、この結果マルチプレクサ２３６は該画素の現在の作業値を代数ユニット２３４のＡ入力に入力する。ルックアップテーブル２５８は、値１のＷａｌｓｈ符号ビットは加算を表し、値０のＷａｌｓｈ符号ビットは減算を表すＷａｌｓｈ符号に従って入力Ｂの新しい画像データを現在の作業値に加算するか作業値から減算するかを判定する。結果は次に、次のクロックサイクルで作業バッファ２４０の同じアドレスにＤA入力を通して戻される。
【００６１】
すべての８つのサブフレームの処理後、作業バッファ２４０は最終的な結果の画像フレームを含んでいる。次のサブフレームのサブフレーム０の間に、この結果の画像フレームは出力バッファ２５０に転送される。サブフレーム０は作業バッファ２４０のＤB入力からの出力を使用しないので、この同じポートは結果の画像フレームの出力バッファ２５０への転送に使用される。ゲート２５６は、サブフレーム０の間、出力バッファ２５０のＡポートの書き込みイネーブル入力（ＷＥA）をイネーブルにする。作業バッファ２４０からのデータは次に、次の入力サブフレームによって上書きされる直前に出力バッファ２５０に転送される。出力バッファ２５０のＤB線、アドレス線、および出力イネーブルＯB線が次に使用されて、結果の画像フレームが出力インターフェイス１０６を通してマイクロプロセッサ８０へ転送される。
【００６２】
露光信号（ＥＸＰ）がハイになる直前に、サブフレームコントローラ１０２は露光中の現在のサブフレーム（ＳＦ）を設定する。ルックアップテーブル２９０がゼロ（０）を出力すると、ゲート２９２はこのサブフレームに対して対応する赤外線光源をオフのままにする。ルックアップテーブルが１を出力すると、対応する赤外線光源がオンに切り換えられる。オンの期間は、パルス発生器２９４によって定められる。トリガ（Ｔ）によって起動されるパルス発生器２９４は正のパルスを所与の数のクロック周期（この場合画素クロック）の長さ出力する。該パルスの最後、すなわち画像センサの露光時間が終了したときに、ゲート２９２は対応する赤外線光源をオフに切り換える。
【００６３】
パルス発生器２９４は、各赤外線光源の影響を他の光源とセンサの積分時間とは独立して動的に調整できるようにして、所望のバランスを得る。各赤外線光源のパルス時間は一定に維持されているので、画像センサ６０と６２の露光時間を、変調されている画像フレーム（復号器１０４ａ、１０４ｂ、１０４ｄ、および１０４ｅ）に影響することなく、最適な周辺光画像（復号器１０４ｃと１０４ｆ）を得るように調整することができる。両画像センサの可能な最小積分時間は、３つの赤外線光源の最も長いパルス時間に等しい。２つの画像センサの可能な最大積分時間は画素が飽和し始める点であって、この場合、復調方式は失敗する。
【００６４】
前述の実施形態では、Ｗａｌｓｈ符号が赤外線光源を変調および復調するのに使用されている。当業者は、たとえば、ＯＯＫ、ＦＳＫ、ＡＳＫ、ＰＳＫ、ＱＡＭ、ＭＳＫ、ＣＰＭ、ＰＰＭ、ＴＣＭ、ＯＦＤＭ、ＦＨＳＳ、またはＤＳＳＳ通信装置で使用されているデジタル符号などの他のデジタル符号を複数の赤外線光源の変調と復調に使用してもよいことを理解するであろう。
【００６５】
画像センサは、表示面の下部の角に隣接して配置されているものとして示されているが、当業者は、画像センサが表示面に対する異なる位置に配置されてもよいことを理解するであろう。ツールトレイ部分を有する必要は無く、必要ならば、照明されているベゼル部分に置き換えてもよい。また、照明されているベゼル部分４０〜４４および光源６４と６６を赤外線光源として記述したが、当業者は他の適切な放射源を使用してもよいことを理解するであろう。
【００６６】
対話型入力装置２０を、再帰反射または高反射ペン先を有しているペンツールを検出するとして説明したが、当業者は、対話型入力装置が表示面２４の近くにあるときに信号を出力する能動ポインタを検出できることを理解するであろう。たとえば、対話型入力装置は、２００８年５月９日に出願され、アルバータ州、カルガリーのＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＵＬＣに譲渡された、「Ｉｎｔｅｒａｃｔｉｖｅ Ｉｎｐｕｔ Ｓｙｓｔｅｍ Ａｎｄ Ｐｅｎ Ｔｏｏｌ Ｔｈｅｒｅｆｏｒ（対話型入力装置とそのためのペンツール）」という名称の、Ｂｏｌｔ等に対する米国特許出願第１２／１１８，５３５号に記述されているような赤外放射を放射する能動ペンツールを検出してもよい。
【００６７】
本実施形態では、ペンツールが表示面２４の近くに移動させられると、能動ペンツールが、１２０Ｈｚ、２４０Ｈｚ、および３６０Ｈｚに等しい周波数の成分を有している変調された信号を出力する。これらの周波数は、Ｗａｌｓｈ符号がスペクトルゼロをこれらの周波数で有するので選択されている。その結果、能動ペンツールによって出力された変調された光は、対象領域内での能動ペンツールの存在を検出するための処理中に取り除かれ、そのため、ポインタ検出には影響しない。ポインタの存在が検出されると、マイクロプロセッサ８０は全ての赤外線光源によって放射された赤外照明だけでなく周辺光に基づいて画像フレームをフーリエ変換して、ＤＣバイアスと、照明されているベゼル部分からの寄与を表している画像フレームの４８０Ｈｚ成分とが取り除かれる。マイクロプロセッサ８０は次に結果としての画像フレームを、その顕著な成分が１２０Ｈｚ、２４０Ｈｚ、および３６０Ｈｚの位置に存在しているどうかを調べる。存在している場合、これらの周波数での信号パターンが能動ペンツールを識別するためにマイクロプロセッサ８０によって使用される。
【００６８】
理解されるように、能動ペンツールによって放射された変調された信号を、能動ペンツールを特定するためにマイクロプロセッサ８０によって使用することができるので、表示面２４の近くで複数の能動ペンツールの検出が容易になる。ポインタ検出の間に、明るい帯を遮っている２つまたは３つ以上の暗い領域が検出されると、能動ペンツールによって出力された変調されている光を、変調されている信号成分が１２０Ｈｚ、２４０Ｈｚ、および３６０Ｈｚに等しい周波数の位置にあるかどうかを判定し、それによって個々の能動ペンツールを特定することができるように、独立して処理することができる。これは、能動ペンツールによって出力された変調された信号が互いに干渉するのを防止し、各能動ペンツールを表示面２４上に表示されている画像に関連付け、能動ペンツール入力を正しく処理することができるようにする。
【００６９】
対話型入力装置はもちろん他の形態を取ってもよい。たとえば、前述の援用されているＢｏｌｔ他の特許出願に記述されているように、照明されているベゼル部分を再帰反射または高反射ベゼルに置き換えてもよい。しかし、当業者は、放射変調技術が基本的に、干渉を減少させ各放射源に関連している情報を分離できるようにするために、複数の放射源を有しているいかなる対話型入力装置に適用してもよいことを理解するであろう。
【００７０】
実施形態を、図面を参照して説明したが、当業者は、添付の特許請求の範囲によって定まる本発明の要旨と範囲から逸脱することなく変形や修正が可能なことを理解することであろう。
【特許請求の範囲】
【請求項１】
対象領域の複数の画像を取得する少なくとも１つの撮像装置と、
各々が前記対象領域を照明する複数の放射源と、
別個の複数の画像フレームを異なる前記放射源からの寄与に基づいて生成することができるように、前記の複数の放射源と少なくとも１つの前記撮像装置の動作を調整するコントローラと、
を有する対話型入力装置。
【請求項２】
各放射源は別個の切り換えパターンに従ってオンとオフとが切り換えられる、請求項１に記載の対話型入力装置。
【請求項３】
前記の複数の別個の切り換えパターンは実質的に直交している、請求項２に記載の対話型入力装置。
【請求項４】
前記の複数の別個の切り換えパターンと前記撮像装置のフレームレートは、周辺光と点滅している複数の光源とからの影響を実質的に取り除くように選択されている、請求項２または３に記載の対話型入力装置。
【請求項５】
前記の複数の別個の切り換えパターンは複数のＷａｌｓｈ符号に従う、請求項４に記載の対話型入力装置。
【請求項６】
前記の複数の放射源は少なくとも３つの放射源を含む、請求項３に記載の対話型入力装置。
【請求項７】
前記複数の放射源の少なくとも１つは、前記対象領域内に配置されているポインタを背面照明する、請求項３に記載の対話型入力装置。
【請求項８】
前記複数の放射源の少なくとも１つは、前記対象領域内に配置されているポインタを前面照明する、請求項３に記載の対話型入力装置。
【請求項９】
前記複数の放射源の２つは、前記対象領域内に配置されているポインタを前面照明する、請求項８に記載の対話型入力装置。
【請求項１０】
前記対象領域の複数の画像を異なる位置から取得する少なくとも２つの撮像装置と、各前記撮像装置に関連する放射源と、を有する、請求項４に記載の対話型入力装置。
【請求項１１】
各放射源はそれぞれの前記各撮像装置の近くに配置されている、請求項１０に記載の対話型入力装置。
【請求項１２】
前記対象領域内に配置されている前記ポインタを背面照明する前記放射源は前記対象領域の近くの照明されているベゼルである、請求項７に記載の対話型入力装置。
【請求項１３】
前記対象領域は多角形であって、前記照明されているベゼルは前記対象領域の多数の辺に沿って延びている、請求項１２に記載の対話型入力装置。
【請求項１４】
前記対象領域は概ね長方形であり、前記照明されているベゼルは前記対象領域の少なくとも３つの辺に沿って延びており、前記の複数の撮像装置は前記対象領域の複数の対向している角に隣接して配置されている、請求項１３に記載の対話型入力装置。
【請求項１５】
前記の複数の放射源は赤外放射および可視放射の一方を放射する、請求項４に記載の対話型入力装置。
【請求項１６】
前記対象領域内のポインタの位置を求めるために、別個の複数の前記画像フレームを処理する処理構造をさらに有する、請求項１から１５のいずれか１項に記載の対話型入力装置。
【請求項１７】
前記の複数の放射源は赤外放射を放射する、請求項１６に記載の対話型入力装置。
【請求項１８】
対象領域の重なっている複数の画像を、異なる複数の位置から取得する少なくとも２つの撮像装置と、
前記対象領域を照明する、前記各撮像装置と組み合わされた放射源と、
前記の複数の放射源に割り当てられている複数の別個の切り換えパターンを使用して複数の前記撮像装置の複数のフレームレートを設定し、異なる複数の前記放射源からの複数の寄与に基づいて複数の画像フレームを生成するように取得された複数の画像フレームを復調するコントローラと、
前記対象領域内のポインタの位置を求めるために、別個の複数の前記画像フレームを処理する処理構造と、
を有する対話型入力装置。
【請求項１９】
複数の前記別個の切り換えパターンは実質的に直交している、請求項１８に記載の対話型入力装置。
【請求項２０】
複数の前記別個の切り換えパターンと前記撮像装置の複数のフレームレートは、周辺光と点滅している光源とからの影響を実質的に取り除くように選択される、請求項１９に記載の対話型入力装置。
【請求項２１】
複数の前記別個の切り換えパターンは複数のＷａｌｓｈ符号に従う、請求項２０に記載の対話型入力装置。
【請求項２２】
複数の前記放射源は赤外放射および可視放射の一方を放射する、請求項１８から２１のいずれか１項に記載の対話型入力装置。
【請求項２３】
前記対象領域を少なくとも部分的に囲んでいる背面照明放射源をさらに有する、請求項１８から２２のいずれか１項に記載の対話型入力装置。
【請求項２４】
前記対象領域を少なくとも部分的に囲んでいる反射ベゼルをさらに有する、請求項１８から２２のいずれか１項に記載の対話型入力装置。
【請求項２５】
前記反射ベゼルは再帰反射材料を有する、請求項２４に記載の対話型入力装置。
【請求項２６】
対象領域の複数の画像を取得する少なくとも１つの撮像装置と、各々が前記対象領域を照明する複数の放射源とを有する対話型入力装置において、複数の画像フレームを生成する方法であって、
概ね直交している別個の切り換えパターンに従って各前記放射源をオンとオフとにすることと、
前記撮像装置のフレームレートを前記別個のパターンに同期させることと、
異なる複数の放射源からの複数の寄与に基づいて複数の画像フレームを生成するために複数の取得された画像フレームを復調することと、
を有する、複数の画像フレームを生成する方法。
【請求項２７】
対象領域の複数の画像を取得する少なくとも１つの撮像装置と、前記対象領域を照明する複数の放射源とを有する対話型入力装置における撮像方法であって、
複数の前記放射源の出力を変調することと、
前記撮像装置のフレームレートを変調されている前記放射源の出力に同期させることと、
異なる複数の前記放射源からの複数の寄与に基づいて複数の画像フレームを生成するために複数の取得された画像フレームを復調することと、
を有する撮像方法。
【請求項１】
対象領域の複数の画像を取得する少なくとも１つの撮像装置と、
各々が前記対象領域を照明する複数の放射源と、
別個の複数の画像フレームを異なる前記放射源からの寄与に基づいて生成することができるように、前記の複数の放射源と少なくとも１つの前記撮像装置の動作を調整するコントローラと、
を有する対話型入力装置。
【請求項２】
各放射源は別個の切り換えパターンに従ってオンとオフとが切り換えられる、請求項１に記載の対話型入力装置。
【請求項３】
前記の複数の別個の切り換えパターンは実質的に直交している、請求項２に記載の対話型入力装置。
【請求項４】
前記の複数の別個の切り換えパターンと前記撮像装置のフレームレートは、周辺光と点滅している複数の光源とからの影響を実質的に取り除くように選択されている、請求項２または３に記載の対話型入力装置。
【請求項５】
前記の複数の別個の切り換えパターンは複数のＷａｌｓｈ符号に従う、請求項４に記載の対話型入力装置。
【請求項６】
前記の複数の放射源は少なくとも３つの放射源を含む、請求項３に記載の対話型入力装置。
【請求項７】
前記複数の放射源の少なくとも１つは、前記対象領域内に配置されているポインタを背面照明する、請求項３に記載の対話型入力装置。
【請求項８】
前記複数の放射源の少なくとも１つは、前記対象領域内に配置されているポインタを前面照明する、請求項３に記載の対話型入力装置。
【請求項９】
前記複数の放射源の２つは、前記対象領域内に配置されているポインタを前面照明する、請求項８に記載の対話型入力装置。
【請求項１０】
前記対象領域の複数の画像を異なる位置から取得する少なくとも２つの撮像装置と、各前記撮像装置に関連する放射源と、を有する、請求項４に記載の対話型入力装置。
【請求項１１】
各放射源はそれぞれの前記各撮像装置の近くに配置されている、請求項１０に記載の対話型入力装置。
【請求項１２】
前記対象領域内に配置されている前記ポインタを背面照明する前記放射源は前記対象領域の近くの照明されているベゼルである、請求項７に記載の対話型入力装置。
【請求項１３】
前記対象領域は多角形であって、前記照明されているベゼルは前記対象領域の多数の辺に沿って延びている、請求項１２に記載の対話型入力装置。
【請求項１４】
前記対象領域は概ね長方形であり、前記照明されているベゼルは前記対象領域の少なくとも３つの辺に沿って延びており、前記の複数の撮像装置は前記対象領域の複数の対向している角に隣接して配置されている、請求項１３に記載の対話型入力装置。
【請求項１５】
前記の複数の放射源は赤外放射および可視放射の一方を放射する、請求項４に記載の対話型入力装置。
【請求項１６】
前記対象領域内のポインタの位置を求めるために、別個の複数の前記画像フレームを処理する処理構造をさらに有する、請求項１から１５のいずれか１項に記載の対話型入力装置。
【請求項１７】
前記の複数の放射源は赤外放射を放射する、請求項１６に記載の対話型入力装置。
【請求項１８】
対象領域の重なっている複数の画像を、異なる複数の位置から取得する少なくとも２つの撮像装置と、
前記対象領域を照明する、前記各撮像装置と組み合わされた放射源と、
前記の複数の放射源に割り当てられている複数の別個の切り換えパターンを使用して複数の前記撮像装置の複数のフレームレートを設定し、異なる複数の前記放射源からの複数の寄与に基づいて複数の画像フレームを生成するように取得された複数の画像フレームを復調するコントローラと、
前記対象領域内のポインタの位置を求めるために、別個の複数の前記画像フレームを処理する処理構造と、
を有する対話型入力装置。
【請求項１９】
複数の前記別個の切り換えパターンは実質的に直交している、請求項１８に記載の対話型入力装置。
【請求項２０】
複数の前記別個の切り換えパターンと前記撮像装置の複数のフレームレートは、周辺光と点滅している光源とからの影響を実質的に取り除くように選択される、請求項１９に記載の対話型入力装置。
【請求項２１】
複数の前記別個の切り換えパターンは複数のＷａｌｓｈ符号に従う、請求項２０に記載の対話型入力装置。
【請求項２２】
複数の前記放射源は赤外放射および可視放射の一方を放射する、請求項１８から２１のいずれか１項に記載の対話型入力装置。
【請求項２３】
前記対象領域を少なくとも部分的に囲んでいる背面照明放射源をさらに有する、請求項１８から２２のいずれか１項に記載の対話型入力装置。
【請求項２４】
前記対象領域を少なくとも部分的に囲んでいる反射ベゼルをさらに有する、請求項１８から２２のいずれか１項に記載の対話型入力装置。
【請求項２５】
前記反射ベゼルは再帰反射材料を有する、請求項２４に記載の対話型入力装置。
【請求項２６】
対象領域の複数の画像を取得する少なくとも１つの撮像装置と、各々が前記対象領域を照明する複数の放射源とを有する対話型入力装置において、複数の画像フレームを生成する方法であって、
概ね直交している別個の切り換えパターンに従って各前記放射源をオンとオフとにすることと、
前記撮像装置のフレームレートを前記別個のパターンに同期させることと、
異なる複数の放射源からの複数の寄与に基づいて複数の画像フレームを生成するために複数の取得された画像フレームを復調することと、
を有する、複数の画像フレームを生成する方法。
【請求項２７】
対象領域の複数の画像を取得する少なくとも１つの撮像装置と、前記対象領域を照明する複数の放射源とを有する対話型入力装置における撮像方法であって、
複数の前記放射源の出力を変調することと、
前記撮像装置のフレームレートを変調されている前記放射源の出力に同期させることと、
異なる複数の前記放射源からの複数の寄与に基づいて複数の画像フレームを生成するために複数の取得された画像フレームを復調することと、
を有する撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公表番号】特表２０１１−５２３１１９（Ｐ２０１１−５２３１１９Ａ）
【公表日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願番号】特願２０１１−５０７７６８（Ｐ２０１１−５０７７６８）
【出願日】平成２１年５月８日（２００９．５．８）
【国際出願番号】ＰＣＴ／ＣＡ２００９／０００６３４
【国際公開番号】ＷＯ２００９／１３５３１３
【国際公開日】平成２１年１１月１２日（２００９．１１．１２）
【出願人】（５９２２２１２６３）スマート テクノロジーズ ユーエルシー (15)
【氏名又は名称原語表記】ＳＭＡＲＴ ＴＥＣＨＮＯＬＯＧＩＥＳ ＵＬＣ
【Ｆターム（参考）】
【公表日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願日】平成２１年５月８日（２００９．５．８）
【国際出願番号】ＰＣＴ／ＣＡ２００９／０００６３４
【国際公開番号】ＷＯ２００９／１３５３１３
【国際公開日】平成２１年１１月１２日（２００９．１１．１２）
【出願人】（５９２２２１２６３）スマート テクノロジーズ ユーエルシー (15)
【氏名又は名称原語表記】ＳＭＡＲＴ ＴＥＣＨＮＯＬＯＧＩＥＳ ＵＬＣ
【Ｆターム（参考）】
[ Back to top ]