光学ベゼル付き対話型入力装置
対話型入力装置（２０）は対象領域を少なくとも部分的に囲んでいるベゼル（４０から４４）を有している。ベゼルは複数のバンド（１０２、１０４）を上に有しており、隣接している少なくともいくつかのバンドは複数の異なる光学的性質を有している。少なくとも１つの撮像装置（６０）は、対象領域を見ており、取得された複数の画像が複数のバンドに対応する複数の領域を有しているように少なくとも１つのベゼルを見ている。処理構造（２６）は複数の領域の複数の画素を処理し、対象領域内のポインタの存在を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は対話型入力装置と、そのベゼルとに関する。
【背景技術】
【０００２】
ユーザが能動ポインタ（光、音、または他の信号を放射するポインタなど）、受動ポインタ（指、円筒、他の物体など）、またはたとえばマウスやトラックボールなどの他の適切な入力装置を使用してアプリケーションプログラムに入力できるようにする対話型入力装置が公知である。この対話型入力装置には、参照によってその内容が援用される本出願の譲受人であるカナダ、アルバータ州、カルガリーのＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＵＬＣに譲渡された特許文献１、特許文献２、特許文献３、特許文献４、特許文献５、特許文献６、特許文献７、および特許文献８と特許文献９に開示されているようなポインタ入力を登録するためにアナログ抵抗技術またはマシン・ビジョン技術を採用しているタッチパネルを有するタッチ装置、ポインタ入力を登録するために電磁技術、容量技術、音声技術、または他の技術を採用しているタッチパネルを有しているタッチ装置、タブレットパーソナルコンピュータ（ＰＣ）、ラップトップＰＣ、パーソナルデジタルアシスタント（ＰＤＡ）、および他の同様の装置が含まれるがこれらには限定されない。
【０００３】
前述の援用されるＭｏｒｒｉｓｏｎ等の特許文献５は、コンピュータ生成画像が表示されているタッチ面とのポインタの相互作用を検出するマシン・ビジョンを用いているタッチ装置を開示している。長方形のベゼルつまり枠がタッチ面を囲み、デジタルカメラを枠の角の位置で支持する。これらのデジタルカメラは、概ねタッチ面全体を含んでおり見渡している重なった複数の視野を有している。これらのデジタルカメラは、タッチ面を見渡している画像を異なる位置から取得し、画像データを生成する。デジタルカメラによって取得された画像データは、取得された画像データ内にポインタが存在するかどうかを判定するためにオンボードデジタルシグナルプロセッサによって処理される。取り込まれた画像データ内にポインタが存在すると判定されると、デジタルシグナルプロセッサはポインタの特徴データをマスタコントローラに送り、それに対して、マスタコントローラは、ポインタの特徴データを処理し、三角測量を使用してタッチ面に対する、（ｘ，ｙ）座標でのポインタの位置を求める。ポインタ座標データは、１つまたは２つ以上のアプリケーションプログラムを実行するコンピュータに送られる。コンピュータはポインタ座標データを使用して、タッチ面上に表示されているコンピュータが生成した画像を更新する。そのため、タッチ面上へのポインタの接触は、書き込みや描画として記録したり、コンピュータによって実行されるアプリケーションプログラムの実行を制御するのに使用したりすることができる。
【０００４】
Ｍｏｒｒｉｓｏｎ等の特許文献９は、タッチ面へのポインタ接触に応答して生成されたポインタ位置データがタッチ面へ接触するのに使用されたポインタの種類に従って処理できるように、タッチ面への接触に使用された受動ポインタを区別するタッチ装置と方法とを開示している。タッチ装置は、受動ポインタに接触させられるタッチ面と、概ねタッチ面に沿った視野を有している少なくとも１つの撮像装置を含んでいる。少なくとも１つのプロセッサが少なくとも１つの撮像装置と通信し、タッチ面への接触に使用されたポインタの種類とポインタが接触させられたタッチ面上の位置とを求めるために少なくとも１つの撮像装置によって取得された画像を分析する。求められたポインタの種類とポインタが接触させられたタッチ面上の位置とが、コンピュータによって実行されるアプリケーションプログラムの実行を制御するためにコンピュータによって使用される。
【０００５】
タッチ面への接触に使用されたポインタの種類を判定するために、一実施形態では、さまざまなポインタを区別するために成長曲線法が採用される。この方法では、取得された各画像内の画素の各行に沿った合計を計算し、それによって、取得された画像の行の次元に等しい数の点を有している１次元プロファイルを生成することによって水平強度プロファイル（ＨＩＰ）が構成される。次に、ＨＩＰから累積和を構成することによって、成長曲線がＨＩＰから生成される。
【０００６】
受動タッチ装置は、能動タッチ装置に対していくつかの利点があり、また非常に良好に動作するが、タッチ装置と共に能動ポインタと受動ポインタの両方を使用することによって、プロセッサ数とプロセッサ負荷の少なくとも一方が少ない、より直感的な入力様式が実現される。
【０００７】
複数の入力様式を有しているカメラベースのタッチ装置が検討されてきた。たとえば、Ｏｇａｗａの特許文献１０は、ポインタまたは指を使用した座標入力を可能にするカメラベースの座標入力装置を開示している。座標入力装置は、表示画面の左上と右上の角に位置している１対のカメラを有している。各カメラの視野は、対角線方向に対向している表示画面の角まで表示画面に平行に延びている。複数の赤外線発光ダイオードが、各カメラの撮像レンズの近くに配置され、表示画面の周囲の領域を照明する。外形枠が表示画面の３つの辺に設けられている。幅の狭い再帰反射テープが外形枠上の表示画面の近くに配置されている。黒い非反射反射テープが、再帰反射テープに沿って、そして再帰反射テープに接触して外形フレームに取り付けられている。再帰反射テープは赤外線発光ダイオードからの光を反射して、反射光を強い白色信号として検知できるようにする。ユーザの指が表示画面の近くに位置すると、指は再帰反射テープの画像上に陰として現れる。
【０００８】
２つのカメラからの複数の画像信号は制御回路に入力され、制御回路は再帰反射テープの白色の画像と外形枠との間の境界を検出する。境界に近い白色の画像の複数の画素の水平線が選択される。複数の画素からなる水平線は、ユーザの指が表示画面に接触している位置に関する情報を含んでいる。制御回路はタッチ位置の座標を求め、それから座標値はコンピュータに送信される。
【０００９】
再帰反射ペン先を有しているペンが表示画面に接触すると、それから反射された光は白色信号として登録するのに十分に強い。結果として得られた画像は、再帰反射テープの画像からは区別されない。しかし、結果として得られた画像は、黒いテープの画像からは容易に区別される。この場合は、外形枠の境界に近い黒い画像の複数の画素からなる線が選択される。複数の画素の線の信号はペンが表示画面に接触させられた位置に関する情報を含んでいる。制御回路は、ペンのタッチ位置の座標値を求め、座標値はコンピュータに送信される。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】米国特許明細書第５，４４８，２６３号
【特許文献２】米国特許明細書第６，１４１，０００号
【特許文献３】米国特許明細書第６，３３７，６８１号
【特許文献４】米国特許明細書第６，７４７，６３６号
【特許文献５】米国特許明細書第６，８０３，９０６号
【特許文献６】米国特許明細書第７，２３２，９８６号
【特許文献７】米国特許明細書第７，２３６，１６２号
【特許文献８】米国特許明細書第７，２７４，３５６号
【特許文献９】米国特許出願公開第２００４／０１７９００１号
【特許文献１０】米国特許明細書第７，２０２，８６０号
【発明の概要】
【発明が解決しようとする課題】
【００１１】
特許文献１０は２つの受動ポインタ間の差を求めることができるが、入力様式の数は、ペン入力および指入力のような比較的少ない種類のポインタに限定される。多くのポインタが偏光技術を用いることができるが、これらの技術は、他のポインタ様式との混同を避けるために、ポインタが表示画面に接触ときに正しい向きを必要とする。
【００１２】
したがって、本発明の目的は、新規な対話型入力装置と、その新規なベゼルを提供することにある。
【課題を解決するための手段】
【００１３】
したがって、一態様では、対象領域を少なくとも部分的に囲むベゼルであって、複数のバンドを上に有し、隣接している少なくともいくつかのバンドは異なる光学的性質を有しているベゼル（bezel:枠）と、対象領域を見ており、かつ取得された複数の画像が、複数のバンドに対応している複数の領域を有するように前記少なくとも１つのベゼルを見ている少なくとも１つの撮像装置と、複数の領域の複数の画素を処理して対象領域内のポインタの存在を検出する処理構造とを有する対話型入力装置が提供される。
【００１４】
一実施態様では、処理構造は、ポインタの存在に起因する複数の不連続部分を検出するように複数の画素を処理する。一実施態様では、複数のバンドは概ね水平であって、照明を反射する少なくとも１つのバンドと、照明を吸収する少なくとも１つのバンドを有している。照明を反射するバンドは再帰反射材料のバンドであってもよい。
【００１５】
一実施態様では、ベゼルは、概ね平面の表面を少なくとも部分的に囲んでいる。概ね平面の表面は表示表面であってよい。
【００１６】
他の態様によれば、対象領域を少なくとも部分的に囲むベゼルであって、複数のバンドを上に有しており、隣接している少なくともいくつかのバンドは異なる光学的性質を有しているベゼルと、対象領域を見ており、かつベゼルを見ている少なくとも１つの撮像装置と、少なくとも１つの撮像装置と通信し、かつ複数のバンドに対応する画像データを処理して、ポインタの種類に無関係に前記対象領域内のポインタの存在を検出する処理構造とを有する対話型入力装置が提供される。
【図面の簡単な説明】
【００１７】
【図１】対話型入力装置の斜視図である。
【図２】図１の対話型入力装置の模式的な正面図である。
【図３】図１の対話型入力装置の一部を構成する撮像組み立て体のブロック図である。
【図４】図１の対話型入力装置の一部を構成するベゼルの一部の正面図である。
【図５】図１の対話型入力装置の一部を構成するデジタルシグナルプロセッサのブロック図である。
【図６ａ】図３の撮像組み立て体によって取得された画像フレームの図である。
【図６ｂ】図３の撮像組み立て体によって取得された画像フレームの図である。
【図６ｃ】図３の撮像組み立て体によって取得された画像フレームの図である。
【図７ａ】図６ａの画像フレームの画素列について計算された、正規化されたＶＩＰｄａｒｋ値、ＶＩＰｒｅｔｒｏ値、およびＤ（ｘ）値のグラフである
【図７ｂ】図６ｂの画像フレームの画素列について計算された、正規化されたＶＩＰｄａｒｋ値、ＶＩＰｒｅｔｒｏ値、およびＤ（ｘ）値のグラフである
【図７ｃ】図６ｃの画像フレームの画素列について計算された、正規化されＶＩＰｄａｒｋ値、ＶＩＰｒｅｔｒｏ値、およびＤ（ｘ）値のグラフである
【図８】図１の対話型入力装置と共に使用されるペンツールの側面図である。
【図９】図８のペンツールの、一部を分解した側面図である。
【図１０】図８のペンツールのブロック図である。
【図１１】図８のペンツールの一部を構成する先端組み立て体の分解斜視図である。
【図１２】図１１の先端組み立て体の断面図である。
【図１３】図１２の先端組み立て体の一部を構成する先端スイッチ組み立て体の分解斜視図である。
【図１４】図８のペンツールの一部を構成するイレイザー組み立て体の分解斜視図である。
【図１５】図１の対話型入力装置と共に使用される他のペンツールの側面図である。
【図１６ａ】図１の対話型入力装置と共に使用されるさらに他のペンツールの側面図である。
【図１６ｂ】図１の対話型入力装置と共に使用されるさらに他のペンツールの側面図である。
【図１７ａ】図１の対話型入力装置と共に使用されるさらに他のペンツールの側面図である。
【図１７ｂ】図１の対話型入力装置と共に使用されるさらに他のペンツールの側面図である。
【図１８】図１の対話型入力装置と共に使用されるなおさらに他のペンツールの側面図である。
【図１９】ペンツールと表示表面との間の相互動作に応答して対話型入力装置の表示表面に表示されるポップアップメニューの図である。
【図２０】他のベゼルセグメントの一部の正面図である。
【発明を実施するための形態】
【００１８】
次に、実施形態を、添付の図面を参照してより十分に説明する。
【００１９】
ここで、図１と２を参照すると、ユーザが「インク」などの入力をアプリケーションプログラムに対して行うことができるようにする対話型入力装置が図示されており、全体が参照番号２０によって識別されている。本実施形態では、対話型入力装置２０は、たとえばプラズマテレビ、液晶ディスプレイ（ＬＣＤ）装置、フラットパネル表示装置、陰極線管などの表示ユニット（不図示）に接続され、表示ユニットの表示表面２４を囲んでいる組み立て体２２を有している。組み立て体２２は表示表面２４の近くの対象領域に移動させられたポインタを検出するためにマシン・ビジョンを使用し、少なくとも１つのデジタルシグナルプロセッサ（ＤＳＰ）ユニット２６と複数の通信線２８を通して通信する。通信線２８は、シリアルバス、パラレルバス、ユニバーサルシリアルバス（ＵＳＢ）、イーサネット（登録商標）接続、または他の適切な有線接続で実現することができる。一方、ＤＳＰユニット２６は、１つまたは２つ以上のアプリケーションプログラムを実行するコンピュータ３０とＵＳＢケーブル３２を通して通信する。あるいは、ＤＳＰユニット２６は、パラレルバス、ＲＳ−２３２接続、イーサネット（登録商標）接続などの他の有線接続を通してコンピュータ３０と通信したり、たとえばＢｌｕｅｔｏｏｔｈ、ＷｉＦｉ、ＺｉｇＢｅｅ、ＡＮＴ、ＩＥＥＥ８０２．１５．４、Ｚ−Ｗａｖｅなどの適切な無線プロトコルを使用して無線接続を通してコンピュータ３０と通信したりしてもよい。コンピュータ３０はＤＳＰユニット２６を通して受信した組み立て体２２の出力を処理し、表示表面２４に表示された画像がポインタ動作を反映するように表示ユニットに出力される画像データを調整する。このようにして、組み立て体２２、ＤＳＰユニット２６、およびコンピュータ３０は、表示表面２４の近くのポインタ動作を書き込みや描画として記録したり、コンピュータ３０によって実行される１つまたは２つ以上のアプリケーションプログラムの実行を制御するのに使用したりできるようにする。
【００２０】
組み立て体２２は、表示ユニットに一体化されている、または取り付けられて、表示表面２４を囲むフレーム組み立て体を有している。フレーム組み立て体は、３つのベゼル部分４０〜４４、４つのコーナー部品４６、およびツールトレイ部分４８を有している。ベゼル部分４０、４２は表示表面２４の対向している側縁に沿って延びているのに対して、ベゼル部分４４は表示表面２４の上部縁に沿って延びている。ツールトレイ部分４８は、表示表面２４の下部縁に沿って延び、１つまたは２つ以上の作動しているペンツールＰを支持する。表示表面２４の左上の角と右上の角に隣接している２つのコーナー部品４６は、ベゼル部分４０と４２をベゼル部分４４に結合している。表示表面２４の左下の角と右下の角に隣接している２つのコーナー部品４６は、ベゼル部分４０と４２をツールトレイ部分４８に結合している。本実施形態では、表示表面２４の左下の角と右下の角に隣接している２つのコーナー部品４６は、異なる位置から概ね表示表面２４全体を見渡す２つの撮像組み立て体６０を収容している。ベゼル部分４０〜４４は、それらの内側を向いた表面が２つの撮像組み立て体６０から見えるように向きが設定されている。
【００２１】
ここで、図３を参照すると、２つの撮像組み立て体６０の一方がわかりやく示されている。図からわかるように、撮像組み立て体６０は、ＢｏｏｗｏｎによってＢＷ２５Ｂというモデル番号で製造されている種類の８８０ｎｍレンズが取り付けられているＭＴ９Ｖ０２２というモデル番号でＭｉｃｒｏｎによって製造されている画像センサ７０を有している。レンズはＩＲ通過/可視光遮断フィルタをその上に有しており（不図示）、画像センサ７０から表示表面２４全体が見えるように視野が９８度の画像センサ７０を実現している。画像センサ７０は、Ｉ2Ｃシリアルバスを通して複数の通信線２８の１つを受け入れているコネクタ７２に接続されている。画像センサ７０は、画像センサ校正パラメータを記憶している電気的に消去可能なプログラム可能読み取り専用メモリ（ＥＥＰＲＯＭ）７４だけではなく、クロック（ＣＬＫ）受信部７６、並直列変換器７８、および電流制御モジュール８０にも接続されている。クロック受信部７６と並直列変換器７８はコネクタ７２にも接続されている。電流制御モジュール８０は、対象領域を照明する複数のＩＲ発光ダイオード（ＬＥＤ）または他の適切な１つまたは２つ以上の放射源と、付属している複数のレンズ組み立て体とを有している赤外線（ＩＲ）光源８２だけではなく電源８４とコネクタ７２にも接続されている。
【００２２】
クロック受信部７６と並直列変換器７８は、安価なケーブルを通したＤＳＰユニット２６との高速通信を可能にする低電圧差動信号方式（ＬＤＶＳ）を採用している。クロック受信部７６は、タイミング情報をＤＳＰユニット２６から受信し、画像センサ７０が画像フレームを取り込んで出力する速度を定めている複数のクロック信号を画像センサ７０に送る。画像センサ７０によって出力された各画像フレームは並直列変換器７８によってシリアル化されて、コネクタ７２と複数の通信線２８とを通してＤＳＰユニット２６に出力される。
【００２３】
図４は、ベゼル部分４０〜４４の１つのベゼル部分の内向きの表面１００の一部を示している。図からわかるように、内向きの表面１００は、概ね水平方向の複数の帯、すなわちバンドに分割されており、それらの各バンドは異なる光学的性質を有している。本実施形態では、ベゼル部分の内向きの表面１００は２つバンド１０２と１０４とに分割されている。表示表面２４に最も近いバンド１０２は再帰反射材料で構成されており、表示表面２４から最も遠いバンド１０４は、赤外（ＩＲ）放射吸収材料で構成されている。再帰反射材料の性質を最大限に利用するために、ベゼル部分４０〜４４は、それらの内向きの表面が表示表面２４に概ね垂直方向の平面内を延びるように向きが設定されている。
【００２４】
ここで、図５を参照すると、ＤＳＰユニット２６が分りやく示されている。図からわかるように、ＤＳＰユニット２６は、直並列変換器１２６を通してコネクタ１２２と１２４に接続されているビデオポートＶＰを有している、たとえばマイクロプロセッサ、マイクロコントローラ、ＤＳＰなどのコントローラ１２０を含んでいる。コントローラ１２０は、Ｉ2Ｃシリアルバススイッチ１２８を通して各コネクタ１２２、１２４にも接続されている。Ｉ2Ｃシリアルバススイッチ１２８はクロック１３０と１３２に接続されており、各々のクロックはコネクタ１２２、１２４のそれぞれ１つに接続されている。コントローラ１２０は、無線受信機１３８を介して外部アンテナ１３６と通信し、ＵＳＢケーブル３２を受け入れるＵＳＢコネクタ１４０と通信し、また揮発性および不揮発性のメモリを有しているメモリ１４２と通信する。クロック１３０と１３２と直並列変換器１２６も低電圧差動信号方式（ＬＤＶＳ）を同様に採用している。
【００２５】
対話型入力装置２０は、たとえばユーザの指、円柱、または他の適切な物体などの受動ポインタだけではなく表示表面２４の近くの２つの撮像組み立て体６０の視野内に移動させた能動ペンツールＰを検出することができる。説明を簡単にするために、受動ポインタが表示表面２４の近くに移動させられたときの、対話型入力装置２０の動作を最初に説明する。
【００２６】
動作時に、コントローラ１２０はクロック１３０と１３２が複数の通信線２８を通して２つの撮像組み立て体６０に送信されるクロック信号を出力するように条件を設定する。各撮像組み立て体６０のクロック受信部７６は対応する画像センサ７０のフレームレートを設定するために複数のクロック信号を使用する。本実施形態では、コントローラ１２０は、各画像センサ７０のフレームレートが所望の画像フレーム出力速度の２倍になるようにクロック信号を生成する。コントローラ１２０は、Ｉ2Ｃシリアルバスを通して各撮像組み立て体６０の電流制御モジュール８０にも信号を供給する。それに応答して、各電流制御モジュール８０は、ＩＲ光源８２がオンしオフするように、ＩＲ光源８２を電源８４に接続し、それからＩＲ光源８２を電源８４から切断する。ＩＲ光源のオン／オフの切り換えのタイミングは、各画像センサ７０によって取り込まれた以降の画像フレームの各対について、ＩＲ光源８２がオンの時に１つの画像フレームが取り込まれ、ＩＲ光源８２がオフの時に１つの画像フレームが取り込まれるように制御される。
【００２７】
２つのＩＲ光源８２がオンした時、２つのＩＲ光源の４つのＬＥＤは表示表面２４上の対象領域に赤外照明を放射する。ベゼル部分４０〜４４のＩＲ放射吸収バンド１０４に当たった赤外照明は、２つの撮像組み立て体６０には戻らない。ベゼル部分４０〜４４の再帰反射バンド１０２に当たった赤外照明は、２つの撮像組み立て体６０に戻る。前述のように、ＩＲ光源８２のＩＲ ＬＥＤの構成は、再帰反射バンド１０２がそれらの長さ全体にわたって概ね一様に照明されるように選択されている。概ね一様なベゼル照明を達成する代表的なＩＲ光源の構成は、参照によってその内容が援用される、２００８年５月９日に出願され、カナダ、アルバータ州、カルガリーのＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＵＬＣに譲渡された、Ｈａｎｓｅｎ外の「対話型入力装置およびそれ用の照明組み立て体（Ｉｎｔｅｒａｃｔｉｖｅ Ｉｎｐｕｔ Ｓｙｓｔｅｍ Ａｎｄ Ｉｌｌｕｍｉｎａｔｉｏｎ Ａｓｓｅｍｂｌｙ Ｔｈｅｒｅｆｏｒ）」という名称の米国特許出願第１２/１１８，５５２号に記載されている。その結果、ポインタが存在しない場合、各撮像組み立て体６０の画像センサ７０には、図６ａに示されているように、ＩＲ放射吸収バンド１０４に該当している上側の暗い帯１６２と表示表面２４に該当している下側の暗い帯１６４との間に位置している長さ方向にわたって実質的に一様な強度を有している明るい帯１６０が見える。ポインタが表示表面２４の近くに移動し、２つのＩＲ光源８２から十分に離れていると、ポインタは再帰性反射バンド１０２から反射された赤外線照明を遮る。その結果、図６ｂに示されているように、ポインタは、取り込まれた画像フレーム内の明るい帯１６０を遮断している暗い領域１６６として現れる。
【００２８】
前述したように、各撮像組み立て体６０の画像センサ７０によって出力される各画像フレームはＤＳＰユニット２６に送信される。ＤＳＰユニット２６が２つの撮像組み立て体６０から画像フレームを受信すると、コントローラ１２０は画像フレーム内のポインタの存在を検出するために画像フレームを処理し、ポインタが存在する場合には、三角測量を使用してポインタの、表示表面２４に対する位置を求める。ポインタの識別への不要な光の影響を低減するために、コントローラ１２０は、ポインタの存在を検出するために、画像フレーム内の光の強度ではなく画像フレーム内の光の不連続部分を計測する。一般に３つの不要な光、つまり、周辺光、表示ユニットからの光、および２つのＩＲ光源８２から放射され２つの撮像組み立て体６０の近くの物体によって散乱した赤外照明が存在する。理解されるように、ポインタが撮像組み立て体６０に近い場合、付属しているＩＲ光源８２によって放射された赤外線照明がポインタを直接照明し、その結果ポインタが画像フレーム内に取り込まれている再帰反射バンド１０２と同じほど、または再帰反射バンド１０２よりも明るくなることがある。その結果、ポインタは明るいバンド１６０を中断している暗い領域として画像フレーム内に現れず、図６ｃに示されているように、明るいバンド１６０と上側と下側の暗いバンド１６２と１６４とを横切って延びている明るい領域１６８として現れることになる。
【００２９】
コントローラ１２０は、撮像組み立て体６０の各々の画像センサ７０によって出力される対の連続している画像フレームを処理する。詳細には、１つの画像フレームが受信されると、コントローラ１２０は画像フレームをバッファに保存する。次の画像フレームが受信されると、コントローラ１２０は画像フレームをバッファに同様に保存する。利用可能な連続した画像フレームを使用して、コントローラ１２０は２つの画像フレームに減算処理を行い、差分画像フレームを構成する。２つの画像センサ７０のフレームレートが十分に高い場合、連続している画像フレームの周辺光のレベルは通常、顕著に変化することはなく、その結果、周辺光はかなり相殺され、差分画像フレーム内には現れない。
【００３０】
いったん差分画像フレームが生成されると、コントローラ１２０は差分画像フレームを処理し、ポインタが差分画像フレーム内に存在する確度を表わす複数の不連続値を生成する。ポインタが表示表面２４の近くに存在しない場合、複数の不連続値は大きい。ポインタが表示表面２４の近くに存在している場合、複数の不連続値のうちのいくつかが閾値未満になり、差分画像フレーム内のポインタの存在を容易に判定することができる。
【００３１】
各差分画像フレームに対して不連続値を生成するために、コントローラ１２０は差分画像内の明るいバンド１６０の上と下の縁を通常表わすベゼルの線Ｂretro_T（ｘ）とＢretro_B（ｘ）との間の差分画像フレームの各画素列に対して垂直強度プロファイル（ＶＩＰretro）を計算し、差分画像内の上側の暗いバンド１６２の上と下の縁を通常表わすベゼルの線Ｂdark_T（ｘ）とＢdark_B（ｘ）との間の差分画像フレームの各画素列に対してＶＩＰdarkを計算する。ベゼルの２つの線は以降で説明するように、対話型入力装置の起動時の校正中に実施されるベゼル探索手続きによって求められる。
【００３２】
各画素列に対するＶＩＰretroは、ベゼルの線Ｂretro_T（ｘ）とＢretro_B（ｘ）の間の画素列内のＮ個の画素の強度値Ｉを合計することによって計算される。Ｎの値は、ベゼルの線Ｂretro_T（ｘ）とＢretro_B（ｘ）との間の画素行の数として求められ、再帰反射バンド１０２の幅に等しい。ベゼルの線が差分画像フレームの画素を部分的に横切っている場合、その画素からの強度レベルの寄与はその画素がベゼルの線Ｂretro_T（ｘ）とＢretro_B（ｘ）の内部にどれだけ入っているかに比例して重み付けされる。各画素列のＶＩＰretroの計算時に、画素列内のベゼルの線Ｂretro_T（ｘ）とＢretro_B（ｘ）の位置は、以下のように表される整数成分Ｂi_retro_T（ｘ）、Ｂi_retro_B（ｘ）と端数成分Ｂf_retro_T（ｘ）、Ｂf_retro_B（ｘ）とに分解される。
【００３３】
【数１】
【００３４】
次に、画素列についてのＶＩＰretroが、以下の式に従って、両縁の位置で適切な重み付けをして、ベゼルの線Ｂretro_T（ｘ）とＢretro_B（ｘ）との間で画素列に沿ったＮ個の画素の強度値Ｉを合計することによって計算される。
【００３５】
【数２】
【００３６】
ここで、Ｎ＝（Ｂi_retro_B（ｘ）−Ｂi_retro_T（ｘ））、ｊは０からＮの範囲にあり、Ｉは両ベゼルの線の間の位置ｘでの強度である。
【００３７】
各画素列に対するＶＩＰdarkは、ベゼルの線Ｂdark_T（ｘ）とＢdark_B（ｘ）の間の画素列内のＫ個の画素の強度値Ｉを合計することによって計算される。Ｋの値は、ベゼルの線Ｂdark_T（ｘ）とＢdark_B（ｘ）との間の画素行の数として求められ、ＩＲ放射吸収バンド１０４の幅に等しい。ベゼルの線が差分画像フレームの画素を部分的に横切っている場合、その画素からの強度レベルへの寄与はその画素がベゼルの線Ｂdark_T（ｘ）とＢdark_B（ｘ）の内部にどれだけ入っているかに比例して重み付けされる。各画素列のＶＩＰdarkの計算時に、画素列内のベゼルの線Ｂdark_T（ｘ）とＢdark_B（ｘ）の位置は、以下のように表される整数成分Ｂi_dark_T（ｘ）、Ｂi_dark_B（ｘ）と端数成分Ｂf_dark_T（ｘ）、Ｂf_dark_B（ｘ）とに分解される。
【００３８】
【数３】
【００３９】
各画素列についてのＶＩＰdarkが、以下の式に従って、両縁の位置で適切な重み付けをしてベゼルの線Ｂdark_T（ｘ）とＢdark_B（ｘ）の間で画素列に沿ったＫ個の画素の強度値Ｉを合計することによって同様に計算される
【００４０】
【数４】
【００４１】
ここで、Ｋ＝（Ｂi_dark_B（ｘ）−Ｂi_dark_T（ｘ））、ｊは０からＮの範囲にある。
【００４２】
これらＶＩＰは、画素行の対応する数（再帰反射領域についてはＮ、暗い領域についてはＫ）で除算することで実質的に正規化される。次に、各画素列についての不連続値Ｄ（ｘ）が、ＶＩＰretroとＶＩＰdarkとの差を以下の式によって求めることによって計算される。
【００４３】
【数５】
【００４４】
図７ａは、図６ａの画像フレームの画素列について計算された正規化されたＶＩＰdark、ＶＩＰretro、およびＤ（ｘ）の値を示している。図からわかるように、この画像フレームにはポインタが存在せず、したがって不連続値Ｄ（ｘ）は、画像フレームの全ての画素列に対して大きいままである。図７ｂは、図６ｂの画像フレームの画素列について計算された、正規化されたＶＩＰdark、ＶＩＰretro、およびＤ（ｘ）の値を示している。図からわかるように、Ｄ（ｘ）曲線は画像フレーム内のポインタの位置に該当している領域で低い値に下がっている。図７ｃは、図６ｃの画像フレームの画素列について計算された、正規化されたＶＩＰdark、ＶＩＰretro、およびＤ（ｘ）の値を示している。図からわかるように、Ｄ（ｘ）曲線は同様に画像フレーム内のポインタの位置に該当している領域で低い値に下がっている。
【００４５】
各差分画像フレームの複数の画素列の不連続値Ｄ（ｘ）が一旦求められると、各画像フレームに対する結果のＤ（ｘ）曲線は、Ｄ（ｘ）曲線が、ポインタの存在を示す閾値未満に下がっているかどうかが調べられ、下がっている場合、ポインタの対向している側であるＤ（ｘ）曲線の左と右のエッジが検出される。特に、各差分画像フレーム内で左と右のエッジの位置を求めるために、Ｄ（ｘ）曲線の１次微分が勾配曲線∇Ｄ（ｘ）を求めるために計算される。Ｄ（ｘ）曲線がポインタの存在を示す閾値よりも下がっている場合、結果の勾配曲線∇Ｄ（ｘ）はＤ（ｘ）曲線の傾斜によって構成されているエッジを表している負のピークと正のピークとが境界になっている領域を含むことになる。２つのピークと、したがって領域の２つの境界を検出するために、勾配曲線∇Ｄ（ｘ）はエッジ検出器の処理に委ねられる。
【００４６】
具体的には、閾値Ｔがまず勾配曲線∇Ｄ（ｘ）に適用され、各位置ｘについて勾配曲線∇Ｄ（ｘ）の絶対値が閾値よりも小さい場合に、以下のように、勾配曲線∇Ｄ（ｘ）がゼロに設定される。
【００４７】
【数６】
【００４８】
閾値を適用する手続き後、閾値が適用された勾配曲線∇Ｄ（ｘ）はポインタの対向する側部を表わす負のスパイクと正のスパイクとを含んでおり、その他の部分はゼロである。次に、左と右のエッジは閾値が適用された勾配曲線∇Ｄ（ｘ）の２つの非ゼロのスパイクからそれぞれ検出される。左のエッジを計算するために、重心距離ＣＤleftが、以下の式に従って、ピクセル列Ｘleftから開始して、閾値が適用された勾配曲線∇Ｄ（ｘ）の左のスパイクから計算される。
【００４９】
【数７】
【００５０】
ここで、ｘiは勾配曲線∇Ｄ（ｘ）の左のスパイク内のｉ番目のピクセル列のピクセル列番号、ｉは１から閾値が適用された勾配曲線∇Ｄ（ｘ）の左のスパイクの幅まで反復され、Ｘleftは、値がゼロ（０）から系の雑音に基づいて経験的に定められた閾値だけ異なっている勾配曲線∇Ｄ（ｘ）上の値に対応している画素列である。つぎに、閾値が適用された勾配曲線∇Ｄ（ｘ）の左のエッジがＸleft＋ＣＤleftと等しくなるように定められる。
【００５１】
右のエッジを計算するために、重心距離ＣＤrightが、以下の式に従って、ピクセル列Ｘrightから開始して、閾値が適用された勾配曲線∇Ｄ（ｘ）の右のスパイクから計算される。
【００５２】
【数８】
【００５３】
ここで、ｘjは勾配曲線∇Ｄ（ｘ）の右のスパイク内のｊ番目のピクセル列のピクセル列番号、ｊは１から閾値が適用された勾配曲線∇Ｄ（ｘ）の右のスパイクの幅まで反復され、Ｘrightは、値がゼロ（０）から系の雑音に基づいて経験的に定められた閾値だけ異なっている勾配曲線∇Ｄ（ｘ）上の値に対応している画素列である。次に、閾値が適用された勾配曲線の右のエッジがＸright＋ＣＤrightと等しくなるように定められる。
【００５４】
閾値が適用された勾配曲線∇Ｄ（ｘ）の左と右のエッジがいったん計算されると、識別された左と右のエッジの中間点が計算され、それによって差分画像フレーム内のポインタの位置が求められる。
【００５５】
各差分画像フレーム内のポインタの位置が求められた後、コントローラ１２０は、Ｍｏｒｒｉｓｏｎ等の米国特許明細書第６，８０３，９０６号に記載されているような公知の方法で三角測量を使用して表示表面２４に対する、（ｘ、ｙ）座標でのポインタの位置を計算するために２つの差分画像フレーム内のポインタの２つの位置を使用する。計算されたポインタ座標は次にコントローラ１２０によってＵＳＢケーブル３２を通してコンピュータ３０に送られる。コンピュータ３０は受信したポインタ座標を処理し、必要な場合は表示表面２４に表示されている画像がポインタの動作を反映するように、表示ユニットに出力される画像出力を更新する。このようにして、ポインタの表示表面２４との相互動作を書き込みまたは描画として記録したり、コンピュータ３０上で実行される１つまたは２つ以上のアプリケーションプログラムの実行の制御のために使用したりすることができる。
【００５６】
対話型入力装置の起動時に実行されるベゼルを探す手続き中に、ベゼルの線Ｂretro_T（ｘ）、Ｂretro_B（ｘ）、Ｂdark_T（ｘ）、およびＢdark_B（ｘ）を求めるために、各画像センサに対して校正手続きが実行される。各校正手続き中に、校正画像の対が対応する画像センサ７０によって取り込まれる。対のうちの一方の校正画像は画像センサに付属しているＩＲ光源８２がオンの時に取り込まれ、対のうち他方の校正画像は画像センサに付属しているＩＲ光源８２がオフの時に取り込まれる。２つの校正画像に対して次に、校正差分画像を構成するように減算処理が行われ、周辺照明による偽像が取り除かれる。それから校正差分画像の対象の画素行（再帰反射バンド１０２を表わす明るいバンド１６０を構成している画素行）が求められる。
【００５７】
この処理時に、校正差分画像の水平方向の強度プロファイルを生成するために、校正差分画像の各画素行の画素値の合計が計算される。それから、勾配フィルタが水平強度プロファイルに適用される。勾配フィルタは、水平強度プロファイルの２次微分の絶対値を入力とし、１６点ガウスフィルタを用いて結果を平滑化する。それから、最大面積を有している領域を検出するために、ピーク値の５０％よりも大きい値を有しているデータの各領域が調べられる。それから、領域の中間点が中心ピクセル行と指定される。水平強度プロファイルの最初と最後の８０個の画素行は、照明偽像と外部赤外光源の影響を減少させるために、この処理では使用されない。
【００５８】
次に、校正差分画像の各画素列が、明るいバンド１６０に対応する、その中にる画素を求めるために処理される。最初に、２つの画像センサ７０の位置は未知であり、そのため任意の処理方向が選択される。本実施形態においては、校正差分画像の画素列が左から右へ処理される。各画素列の処理中に、当該画素列に対する画素データの小さいスライスが中心画素行の位置に基づいて取られる。本実施形態では、該スライスは中心画素行を中心として１００個の画素行を有している。各画像スライスは、強度と幅において再帰反射バンド１０２を近似するために使用されるガウスモデルとの相互相関が求められる。相互相関の結果によって、ベゼルの再帰反射バンド１０２を表わす校正差分画像の明るいバンド１６０が特定される。この相関は、明るいバンド１６０をさらに明確にし、雑音を低減するために、ＩＲ光源８２がオンで取り込まれた校正画像と乗算される。
【００５９】
その後、各画素列について、ピーク探索アルゴリズムが、複数のピークの位置を求めるために結果として得られた画素列データに適用される。ピークが１つ見つかると、ベゼルの再帰反射バンド１０２と表示表面２４内でのその反射との、当該画素列上での区別が不可能であるとみなされる。ピークが２つ見つかると、ベゼルの再帰反射バンド１０２と画素表面２４内でのその反射とを当該画素列内で見ることができ、区別できるとみなされる。ピークが２つ見つかった各画素列について、再帰反射バンドを表わす明るいバンド１６０の幅と表示表面２４内の再帰反射バンド１０２の反射を表わすバンドとが、検出された複数のピークを囲む立ち下がりと立ち上がりのエッジを見つけることによって求められる。画素列内の明るいバンド１６０の幅がわかっているので、ベゼルの線Ｂretro_T（ｘ）、Ｂretro_B（ｘ）を推定することができる。明るいバンド１６０の幅から、上側の暗いバンド１６２が、明るいバンド１６０のすぐ上方で、明るいバンド１６０の幅と概ね等しい幅を有するものとして求められる。ベゼルの線Ｂdark_B（ｘ）はベゼルの線Ｂretro_T（ｘ）と一致するので、ベゼルの線Ｂdark_T（ｘ）も推定することができる。
【００６０】
次に、最初の１５０個と最後の１５０個の画素列について画素列データの強度を調べることによって、ベゼルの最初と最後の画素列が求められる。閾値よりも小さい値を有する最初の１５０個の画素列内の最も内側の画素列がベゼルの始点であると判定され、閾値よりも小さい値を有する最後の１５０個の画素列内の最も内側の画素列がベゼルの終点であると判定される。
【００６１】
ベゼルの始点と終点が見つかった後、明るいバンド１６０の複数の画素が画素列ごとに互いに近接していることを確認する連続性チェックが実行される。このチェック時に、互いに隣接している画素列内の明るいバンド１６０の複数の画素が、画素間の距離がスパイクを示す閾値の距離を超えているかどうか判定するために比較される。検出された各スパイクについて、スパイク領域の対向している側の明るいバンド１６０の複数の画素が補間され、補間された値がスパイクの複数の画素を置き換えるのに使用される。この処理は、画像センサの露出過多やベゼルの隠れが原因の、明るいバンド１６０の中の隙間を埋めるだけではなく、誤って特定されたベゼルの点を平滑にする。
【００６２】
次に、結果として得られた画像の右側と左側の明るいバンド１６０の幅が調べられる。明るいバンドの最も狭い幅に対応する、結果として得られた画像の側は、画像センサ７０から最も離れているベゼルの部分を表していると考えられる。次に、各画素列の中の明るいバンドの複数の画素を求める手続きと前述の連続性チェックが再度実行される。この第２の段階の間、画像データが処理される方向は、画像センサ７０のベゼルに対する位置に基づいている。画像センサ７０に最も近いベゼルの一部を表している画像データが最初に処理される。その結果、第２の段階の間、前述したように、結果の画像の画素列は、表示表面２４の左下の角の位置の画像センサ７０については左から右へ、表示表面２４の右下の角の位置の画像センサ７０については右から左へと処理される。この第２の段階の間、ピーク検索アルゴリズムは、予測されたベゼル線Ｂretro_T（ｘ）とＢretro_B（ｘ）とに対応しているピクセル列データを中心に実行される。
【００６３】
ここで図８〜１４を参照すると、対話型入力装置２０と共に使用されるペンツールＰの１つが示されており、全体に参照番号２００が付けられている。図からわかるように、ペンツールＰは、一方の端部に先端組み立て体２０２を、他方の端部にイレイザー組み立て体２０４を収容している、相互に接続されている２つの半シェルによって構成されている中空体２００を有している。先端組み立て体２０２は、コントローラ２１２が取り付けられているプリント基板２１０を有している。コントローラ２１２は、たとえば無線周波数（ＲＦ）アンテナまたはＩＲ ＬＥＤなどの無線送信機２１６ａと２１６ｂとを通して信号を放送する無線送信機２１４と通信する。複数の先端スイッチ接点２１８もプリント基板２１０上に取り付けられている。先端スイッチ組み立て体２２０がプリント基板２１０上に取り付けられている。
【００６４】
先端スイッチ組み立て体２２０は、接触回路領域２２４を収容している円形部分２２３を有しているポリエステルフレックス回路２２２を含んでいる。接触リード２２６が接触回路領域２２４から延び、回路部分２２３の平面に対して９０度回転させられている。２つのリード２２８が接触リード２２６に取り付けられ、２つの圧着コネクタ２２９で終端している。２つの圧着コネクタ２２９は先端スイッチ接触部分２１８を受け入れ、先端スイッチ組み立て体２２０をコントローラ２１２に電気的に接続する。プランジャ組み立て体２３０がフレックス回路２２２に揃えられている。プランジャ組み立て体２３０は、本体２００の端部上に嵌められているキャップ２３２を通過している。キャップ２３２は内部にねじが設けられている円錐２３６を受け入れる外部にねじが設けられているノーズ２３４を有している。プランジャ組み立て体２３０は、ペンツールＰの筆記先端を定めている円錐２３６内の穴を通して延びている。
【００６５】
プランジャ組み立て体２３０はシリコンで作られている柔軟なカップ２４０を有している。フレックス回路２２２に面しているカップ２４０の表面は、導電性パッド２４２を上に有している。導電性パッド２４２は、接触回路領域２２４に揃えられている。概ね円柱状の軸２４４がカップ２４０から延びている円柱状チューブ２４６によって受け入れられている。軸２４４の遠方端部はその上に構成されているペン先２４８を有している。
【００６６】
イレイザー組み立て体２０４は正と負のリードを有している電池支持部２５０を有している。コントローラ２１２に電気的に接続されているスイッチ２５４を支持しているプリント基板２５２が電池支持部２５０の一方の端部に固定されている。プランジャ２５６がスイッチ２５４に揃えられており、プリント基板２５２と電池支持部２５０の一方の端部を囲んでおり、本体２００の端部上に嵌っているホルダ２６０を貫通している。フェルト状のパッド２６４を上に有しているキャップ２６２がホルダ２６０によって受け入れられている。市販の電気的部分組み立て体２６６が電池支持部２５０の他方の端部からプリント基板２１０まで延びており、電池支持部２５０の端部に係合している半分のシェル２６８によって保持されている。ばね２７０が電池支持部２５０の内部に配置されている電池２７２を保持するように電池支持部２５０によって収容されている。電気的部分組み立て体２６６は、電池２７２を両プリント回路２５２と２１０に接続し、両電気回路間に通信チャネルを実現している。
【００６７】
ペンツールＰが表示表面２４の近くに移動させられると、表示表面に対する（ｘ、ｙ）座標で表されているその位置が受動ポインタについて前述したように計算される。しかし、ペンツールＰが表示表面２４に接触させられる方法に依存して、ペンツールＰは表示表面２４に対するペンツールの動作を解釈するために使用されるモード情報を出力してもよい。具体的には、ペンツールＰのペン先２４８が表示表面２４に十分な力で接触させられると、プランジャ組み立て体２３０の軸２４４が内向きに本体２００内に移動する。軸２４４のこの内向きの移動によって、カップ２４０が曲がり、それによってカップ上の導電パッド２４２をフレックス回路２２２の接触回路領域２２４に接触させ、先端スイッチ組み立て体２２０が閉じる。先端スイッチ組み立て体２２０が閉じたことがコントローラ２１２によって検知され、コントローラ２１２が無線ユニット２１４を、無線送信機２１６ａを通して放送される変調された信号を出力する状態にする。無線送信機２１６ａは変調された信号がペンツールＰの先端のわずかに後方のペンツールＰから放射させるように配置されている。
【００６８】
プランジャ組み立て体２３０の構造は、プランジャ組み立て体２３０の軸２４４を移動させて先端スイッチ組み立て体２２０を閉じるためには小さい作動力しか必要でないという利点を有する。また、プランジャ組み立て体２３０の軸２４４は、先端スイッチ組み立て体２２０を閉じるために本体２００内に大きく移動する必要がない。特に、先端スイッチ組み立て体２２０を閉じるには、約３０ｇの作動力と約０．１ｍｍに等しい軸の移動とが必要なだけである。これらの要因によって、ペンツールＰは、従来技術のペンツールに比べて、筆記の感触がはるかに従動的になり、雑音が大幅に減少する。また、フレックス回路２２２の構成によって、先端スイッチ組み立て体がペンツールＰの直径に相当な影響がないほど先端スイッチ組み立て体２２０が細い外形となる。
【００６９】
ペンツールＰのキャップ２６２が表示表面２４に十分な力で接触させられると、キャップ２６２はホルダ２６０内に移動し、それによってプランジャ２５６がスイッチ２５４を閉じるようにする。スイッチ２５４が閉じたことがコントローラ２１２によって検知され、コントローラ２１２は、無線ユニット２１４を、無線送信機２１６ｂを通して放送される、異なるように変調された信号を出力する状態にする。同様に、無線送信機２１６ｂは変調された信号がペンツールＰのイレイザー端部のわずかに後方のペンツールＰから放射させるように配置されている。
【００７０】
ＤＳＰユニット２６はメモリ１４２内に変調された信号対ペンツールモードマッピングテーブルを保存している。その結果、放送された変調信号がアンテナ１３６を通してＤＳＰユニット２６のコントローラ１２０によって受信されると、コントローラ１２０は受信した変調された信号をマッピングテーブルと比較して、ペンツールモードを決定する。それに対して、コントローラ１２０はこの情報を使用して、モード情報を生成されたポインタ座標に割り当て、ポインタ座標がコンピュータ３０によって所望の方法で処理されるようにモード情報をポインタ座標と共にコンピュータ３０に伝達する。本実施形態では、ペン先２４８が表示表面２４に接触しており、先端スイッチ組み立て体２２０が閉じていると、ペンツールＰはインクモードで動作していると見なされ、ペンツールＰがこのモードにあるときにはコンピュータ３０がポインタ座標を表示表面２４上の書き込みまたは描画（すなわちインク）として取り扱うようにインクモード情報がコントローラ１２０によって生成されたポインタ座標に割り当てられる。キャップ２６２が表示表面２４に接触しており、スイッチ２５４が閉じていると、ペンツールＰはイレイザーモードで動作していると見なされる。イレイザーモード情報はペンツールがこのモードにあるときにはコンピュータ３０がポインタ座標に相当している位置に表示されているインクを消すようにコントローラ１２０によって生成されたポインタ座標に割り当てられる。ペンツールＰから変調された信号が出力されていないと、ペンツールはポインタモードで動作していると見なされ、受動ポインタと同じように取り扱われる。ポインタモード情報はペンツールがこのモードにあるときにはコンピュータ３０がポインタ座標をマウスイベントとして取り扱うようにコントローラ１２０によって生成されたポインタ座標に割り当てられる。
【００７１】
望むならば、２つのＩＲ光源８２を、２００８年５月９日に出願され、アルバータ州カルガリーのＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＵＬＣに譲渡されており、内容が参照により本明細書に援用される「Ｉｎｔｅｒａｃｔｉｖｅ Ｉｎｐｕｔ Ｓｙｓｔｅｍ ｗｉｔｈ Ｃｏｎｔｒｏｌｌｅｄ Ｌｉｇｈｔｉｎｇ：制御された照明を備えている対話型入力装置」という名称のＭｃＲｅｙｎｏｌｄｓ他に対する米国特許出願第１２／１１８，５２１号に記載されているように変調することができる。このように、対応しているＩＲ光源からの照明の寄与だけに基づいて各撮像組み立て体の画像フレームを生成することができる。ペンツールＰによって出力された変調された信号も変調することができる。
【００７２】
図８〜１４は例示的なペンツールを示しているが、当業者は異なる構成のペンツールＰを対話型入力装置２０と共に使用できることを理解するであろう。たとえば、図１５は代のペンツールＰを示しており、同様の物理寸法形状を有している先端組み立て体３０２と３０４とがペンツール本体３０６の対向している両端部に設けられている。この場合、ペンツールＰによって出力された変調された信号は、表示表面２４に接触させられ先端組み立て体に依存して異なる。
【００７３】
図１６ａと１６ｂは、対話型入力装置２０と共に使用されるさらに他のペンツールＰを示している。本実施形態では、先端組み立て体４０２は、前述の複数の実施形態と同様である。イレイザー組み立て体４０４は、より丸い物理構成を有している。前述の複数の実施形態とは異なり、マウス位置とイレイザー位置との間を移動可能なスライダスイッチ４１０がペンツールＰの本体４１２上に設けられている。スライダスイッチ４１０の位置は、コントローラ２１２によって検知され、イレイザー組み立て体４０４が表示表面２４に接触させられたときにペンツールＰによって出力される変調された信号の形態を定めるために使用される。スライダスイッチ４１０が図１６ａに示しているようにマウス位置に位置しており、イレイザー組み立て体４０４が表示表面２４にスイッチ２５４を閉じるのに十分な力で接触させられたときには、ペンツールＰはコントローラ１２０によってペンツールがポインタモードで動作していると判定するためにマッピングテーブルと比較される変調された信号を出力する。それに対してコントローラ１２０は、ポインタモード情報を生成されたポインタ座標に割り当てる。同様に、スライダスイッチ４１０が図１４ｂに示しているようにイレイザー位置に位置しており、イレイザー組み立て体４０４が表示表面２４にスイッチ２５４を閉じるのに十分な力で接触させられたときには、ペンツールＰはコントローラ１２０によってペンツールがイレイザーモードで動作していると判定するためにマッピングテーブルと比較される、異なるように変調された信号を出力する。それに対してコントローラ１２０は、イレイザーモード情報を生成されたポインタ座標に割り当てる。
【００７４】
図１７ａと１７ｂは、対話型入力装置２０と共に使用されるさらに他のペンツールＰを示している。本実施形態では、概ね同じ物理構成を有している先端組み立て体５０２と５０４とが本体５０６に対向している端部に設けられている。スライダスイッチ５１０がペンツールＰの本体５０６上に設けられており、先端組み立て体５０２に向けて２つの位置の間を移動可能であるだけでなく、先端組み立て体５０４に向けて２つに位置の間を移動可能である。特に、スライダスイッチ５１０は先端組み立て体５０２に向けてインク位置とイレイザー位置との間を移動可能であって、先端組み立て体５０４に向けて選択位置と右クリック位置との間を移動可能である。スライダスイッチ５１０の位置は、コントローラ２１２によって検知され、先端組み立て体が先端スイッチ組み立て体２２０を閉じるのに十分な力で表示表面２４に接触させられたときにペンツールＰによって出力される変調された信号の形態を判定するために使用される。
【００７５】
スライダスイッチ５１０が図１７ａに示しているようにインク位置に位置しており、先端組み立て体５０２のプランジャが表示表面２４にスイッチ組み立て体２２０を閉じるのに十分な力で接触させられたときには、ペンツールはコントローラ１２０によってペンツールＰがインクモードで動作していると判定するためにマッピングテーブルと比較される変調された信号を出力する。それに対してコントローラ１２０は、インクモード情報を生成されたポインタ座標に割り当てる。同様に、スライダスイッチ５１０が図１７ｂに示しているようにイレイザー位置に位置しており、先端組み立て体５０２のプランジャが表示表面２４にスイッチ組み立て体２２０を閉じるのに十分な力で接触させられたときには、ペンツールはコントローラ１２０によってペンツールＰがイレイザーモードで動作していると判定するためにマッピングテーブルと比較される、異なるように変調された信号を出力する。それに対してコントローラ１２０は、イレイザーモード情報を生成されたポインタ座標に割り当てる。スライダスイッチ５１０が図１７ａに示しているように選択位置に位置しており、先端組み立て体５０４のプランジャが表示表面２４にスイッチ組み立て体２２０を閉じるのに十分な力で接触させられたときには、ペンツールＰはコントローラ１２０によってペンツールＰが選択モードで動作していると判定するためにマッピングテーブルと比較される、さらに異なるように変調された信号を出力する。それに対してコントローラ１２０は、選択モード情報を生成されたポインタ座標に割り当てる。同様に、スライダスイッチ５１０が、図１７ｂに示されているように、右クリック位置に位置し、かつ先端組み立て体５０４のプランジャが表示表面２４にスイッチ組み立て体２２０を閉じるのに十分な力で接触させられると、ペンツールＰは、ペンツールＰが右クリックモードで動作していると判定するためにコントローラ１２０によってマッピングテーブルと比較される、異なって変調された、さらに他の信号を出力する。コントローラ１２０は次に、右クリックモード情報を、生成されたポインタ座標に割り当てる。
【００７６】
図１８は、対話型入力装置２０と共に使用されるなおさらに他のペンツールＰを示している。この実施形態では、ペンツールＰは、各々が異なるペンツールモードに対応している３つの先端組み立て体６０２、６０４、６０６を有している。すなわち、この実施形態では、先端組み立て体６０２はインクモードに対応し、先端組み立て体６０４はイレイザーモードに対応し、先端組み立て体６０６は選択モードに対応している。ペンツールＰによって出力される、変調された信号は、表示表面２４に接触させられる先端組み立て体に応じて異なる。
【００７７】
望むならば、マッピングテーブル内の、変調された信号対ペンツールモードのマッピングを静的に割り当てるのではなく、コンピュータ３０は、図１９に示されているように、ユーザの入力に応答して、マッピングを視覚的に表し、かつユーザが、３つのペンツールＰによって出力された、変調された各信号に対応するペンツールモードを変更できるようにするグラフィカルユーザインターフェイス７００を提示することができる。
【００７８】
ペンツールＰによって出力される変調された信号を使用してペンツールの種類（すなわち、動作モード）を判定することに加えて、コンピュータ３０がポインタ座標を処理する方法をさらに制御するために属性を変調された信号に割り当ててもよい。たとえば、ユーザが表示表面２４にペンツールＰのイレイザー組み立て体（または先端組み立て体）を接触させている場合、複数のポインタ座標がコンピュータ３０によって処理されるときに、特定のペンツールＰを使用して入力されたインクだけ、または特定の色のインクだけ、または選択された幾何学的形状（たとえば、長方形、円、正方形など）によって囲まれているインクだけを消すことができるように、属性をマッピングテーブルの変調された信号に割り当ててもよい。
【００７９】
理解されるように、特定のペンツールモードを説明したが、当業者は他のペンツールモードまたはペンツールモードのさまざまな組み合わせをペンツールによって出力される変調された複数の信号に割り当てることができることを理解するであろう。スライダスイッチを備えた複数のペンツールＰを示したが、他の入力インターフェイスを備えた複数のペンツールも使用して、ユーザが１つまたは２つ以上のペンツールモードを選択できるようにすることも勿論可能である。たとえば、ペンツールＰは、多ボタンスイッチ、複数の位置を切り換える１つのボタンスイッチ、複数の回転スイッチ、１つまたは２つ以上のスクロールホイール、圧力または向き検知スイッチ等を有していてもよく、各スイッチまたはスイッチ位置はペンツール動作モードに対応している。あるいは、ペンツールＰはマイクを含んでもよく、コントローラ２１２は、ペンツールモードを、入力された音声コマンドによってユーザが選択できるようにする音声認識ソフトウェアを実行してもよい。表示画面２４の縁をたたくなどの触覚コマンドも用いてペンツールモードを選択できるようにしてもよい。
【００８０】
特定の実施形態を、図面を参照して説明したが、当業者は他の実施形態を利用できることを理解するであろう。前述の実施形態では、ＤＳＰユニット２６が、ペンツールＰが出力する変調された信号を受信するアンテナ１３６と無線受信機１３８とを有するものとして示されている。その代わりに、各撮像組み立て体６０はペンツールＰが出力する変調された信号を受信するアンテナと無線受信機を有していてもよい。この場合、複数の撮像組み立て体６０によって受信された、変調された信号は画像フレームと共にＤＳＰユニット２６に送信される。ペンツールＰは、ペンツールＰによって出力された信号が有線接続を通して１つまたは２つ以上の撮像組み立て体６０、ＤＳＰユニット２６、または１つまたは２つ以上の撮像組み立て体に送信されるように、組み立て体２２またはＤＳＰユニット２６につながれていてもよい。
【００８１】
前述の実施形態では、ポインタの存在と位置とを判定するために不連続値Ｄ（ｘ）が調べられ、処理される。当業者は、ＶＩＰretro値とＶＩＰdark値を、ポインタの存在と位置とを判定するために直接処理してもよいことを理解するであろう。
【００８２】
他の実施形態では、表示表面２４上に現れる再帰反射バンド１０２の反射が画像フレーム内に取得され、かつ明るい帯１６０から離れており明るい帯１６０の下にある光の帯として画像フレーム内に現れるように、撮像組み立て体６０は表示表面２４を見渡してもよい。これらの画像フレームの処理中に、各画像フレームは３つの領域、すなわち、複数のベゼルセグメントの複数のＩＲ放射吸収バンド１０４からの寄与に相当する暗い領域、複数のベゼルセグメントの複数の再帰反射バンド１０２からの寄与に相当する非常に明るい（再帰反射）領域、および表示表面２４上に現れる複数の再帰反射バンド１０２の反射からの寄与に相当する明るい（反射）領域に分割される。
【００８３】
いったん分割されると、コントローラ１２０は、それぞれの領域についてＶＩＰを生成し、これらＶＩＰを処理して、表示表面２４の近くにポインタが存在しているかどうかを判定し、存在していると、表示表面２４に対する、（ｘ、ｙ）座標でのその位置を求める。
【００８４】
表示表面２４の近くのポインタを検出するために、複数の暗い領域、再帰反射領域、および反射領域それぞれのＶＩＰが生成された後、暗い領域ＶＩＰの各ＶＩＰ値が、再帰反射ＶＩＰの対応するＶＩＰ値から減算される。各差は調べられ、各差が閾値未満であるかどうかを判定する。閾値未満の場合、再帰反射ＶＩＰの画素列にフラグが付けられる。その後、偽のフラグを検出するために拡張手続きが実施される。具体的には、再帰反射ＶＩＰのフラグが付けられた各画素列について、その左右の画素列にもフラグが付けられているかどうかが判定される。左右の画素列にもフラグが付けられていると、画素列は、ポインタを表すものとしてフラグが付けられる。
【００８５】
次に、連続性チェックが行われる。連続性チェックの間、暗い領域のＶＩＰの各ＶＩＰ値が反射のＶＩＰの対応するＶＩＰ値から減算される。各差が再び調べられ、各差が閾値未満であるかどうかが判定される。閾値未満の場合、反射ＶＩＰの画素列にフラグが付けられる。前記の拡張と同様の拡張が、反射ＶＩＰのフラグが付けられている複数の画素列について行われる。これに続いて、ポインタの位置を求めるために、再帰反射ＶＩＰのフラグが付けられている画素列と、反射ＶＩＰのフラグが付けられている画素列が比較され、重なっているフラグが付けられている画素列が検出される。重なっている画素列が検出されると、反射ＶＩＰの重なりの複数の境界にある画素列はポインタのエッジを表すと考えられる。境界の画素列同士の間の中間点にある画素列はポインタの画像フレーム内の位置を表すと考えられる。
【００８６】
前述の実施形態においては、各ベゼルセグメント４０〜４４は、異なる反射特性、すなわち再帰反射特性とＩＲ放射吸収特性とを有する１対のバンドを有しているとして示されている。当業者は、バンドの順番を逆にしてもよいことを理解するであろう。また、異なる反射特性を有するバンドを採用してもよい。たとえば、再帰性反射バンドを使用するのではなく、高反射材料で作られたバンドを使用してもよい。あるいは、異なるまたは交互の反射特性を有する３つ以上のバンドを有するベゼルセグメントを使用してもよい。たとえば、各ベゼルセグメントは、交互に配置された２つまたは３つ以上の再帰性反射バンドと２つまたは３つ以上の放射吸収バンドとを有していてもよい。あるいは、１つまたは２つ以上の再帰性反射バンドを高反射性のバンドに置き換えてもよい。複数の画像フレームを異なる複数の領域に分離して処理する場合、上側の領域はポインタの存在を検出する処理時に特に有用であるが、ポインタの位置の検出には必ずしも有用ではない。理解されるように、ポインタが表示表面２４に向けて移動させられると、表示表面２４に対する上側のバンド内のその位置は、図２０に示されているように、表示表面２４の近くのバンド内のポインタ先端の位置とは著しく異なることがある。
【００８７】
望むならば、表示表面自体によって反射され、その後２つの撮像組み立て体６０の２つの画像センサ７０に向かう光の量を制御するために各ベゼルセグメントの傾きを調整することができる。
【００８８】
フレーム組み立て体を、表示ユニットに取り付けられているとして説明したが、当業者はフレーム組み立て体が他の構成を取ってもよいことを理解するであろう。たとえば、フレーム組み立て体はベゼル３８と一体化してもよい。望むならば、組み立て体２２は表示表面２４の上に横たわるそれ自体のパネルを有していてもよい。この場合、該パネルは、表示表面２４上に表示された画像がパネルを通してはきりと見えるように、ほぼ透明な材料で作られていることが好ましい。該組み立て体は、もちろん前面投射装置または背面投射装置と共に使用し、コンピュータ生成画像が投影される基板を囲むことができる。
【００８９】
撮像組み立て体を、表示表面の下部の各角に隣接している角片に収容されているものと説明したが、当業者は撮像組み立て体を表示表面に対する異なる位置に配置してもよいことを理解するであろう。また、ツールトレイセグメントは必要ではなく、ベゼルセグメントに置き換えてもよい。
【００９０】
相互作用型入力装置２０の動作を、表示表面２４の近くに位置する１つのポインタまたはペンツールＰを参照して説明したが、当業者は、相互作用型入力装置２０が、各ポインタが画像センサに取り込まれた画像フレーム内に現れるときに、タッチ面の近くにある複数のポインタ／ペンツールの存在を検出できることを理解するであろう。
【００９１】
好適な実施形態を説明したが、当業者は、添付の特許請求の範囲によって定まる本発明の精神と範囲から逸脱することなく、種々の変形や修正がなされてもよいことを理解するであろう。
【技術分野】
【０００１】
本発明は対話型入力装置と、そのベゼルとに関する。
【背景技術】
【０００２】
ユーザが能動ポインタ（光、音、または他の信号を放射するポインタなど）、受動ポインタ（指、円筒、他の物体など）、またはたとえばマウスやトラックボールなどの他の適切な入力装置を使用してアプリケーションプログラムに入力できるようにする対話型入力装置が公知である。この対話型入力装置には、参照によってその内容が援用される本出願の譲受人であるカナダ、アルバータ州、カルガリーのＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＵＬＣに譲渡された特許文献１、特許文献２、特許文献３、特許文献４、特許文献５、特許文献６、特許文献７、および特許文献８と特許文献９に開示されているようなポインタ入力を登録するためにアナログ抵抗技術またはマシン・ビジョン技術を採用しているタッチパネルを有するタッチ装置、ポインタ入力を登録するために電磁技術、容量技術、音声技術、または他の技術を採用しているタッチパネルを有しているタッチ装置、タブレットパーソナルコンピュータ（ＰＣ）、ラップトップＰＣ、パーソナルデジタルアシスタント（ＰＤＡ）、および他の同様の装置が含まれるがこれらには限定されない。
【０００３】
前述の援用されるＭｏｒｒｉｓｏｎ等の特許文献５は、コンピュータ生成画像が表示されているタッチ面とのポインタの相互作用を検出するマシン・ビジョンを用いているタッチ装置を開示している。長方形のベゼルつまり枠がタッチ面を囲み、デジタルカメラを枠の角の位置で支持する。これらのデジタルカメラは、概ねタッチ面全体を含んでおり見渡している重なった複数の視野を有している。これらのデジタルカメラは、タッチ面を見渡している画像を異なる位置から取得し、画像データを生成する。デジタルカメラによって取得された画像データは、取得された画像データ内にポインタが存在するかどうかを判定するためにオンボードデジタルシグナルプロセッサによって処理される。取り込まれた画像データ内にポインタが存在すると判定されると、デジタルシグナルプロセッサはポインタの特徴データをマスタコントローラに送り、それに対して、マスタコントローラは、ポインタの特徴データを処理し、三角測量を使用してタッチ面に対する、（ｘ，ｙ）座標でのポインタの位置を求める。ポインタ座標データは、１つまたは２つ以上のアプリケーションプログラムを実行するコンピュータに送られる。コンピュータはポインタ座標データを使用して、タッチ面上に表示されているコンピュータが生成した画像を更新する。そのため、タッチ面上へのポインタの接触は、書き込みや描画として記録したり、コンピュータによって実行されるアプリケーションプログラムの実行を制御するのに使用したりすることができる。
【０００４】
Ｍｏｒｒｉｓｏｎ等の特許文献９は、タッチ面へのポインタ接触に応答して生成されたポインタ位置データがタッチ面へ接触するのに使用されたポインタの種類に従って処理できるように、タッチ面への接触に使用された受動ポインタを区別するタッチ装置と方法とを開示している。タッチ装置は、受動ポインタに接触させられるタッチ面と、概ねタッチ面に沿った視野を有している少なくとも１つの撮像装置を含んでいる。少なくとも１つのプロセッサが少なくとも１つの撮像装置と通信し、タッチ面への接触に使用されたポインタの種類とポインタが接触させられたタッチ面上の位置とを求めるために少なくとも１つの撮像装置によって取得された画像を分析する。求められたポインタの種類とポインタが接触させられたタッチ面上の位置とが、コンピュータによって実行されるアプリケーションプログラムの実行を制御するためにコンピュータによって使用される。
【０００５】
タッチ面への接触に使用されたポインタの種類を判定するために、一実施形態では、さまざまなポインタを区別するために成長曲線法が採用される。この方法では、取得された各画像内の画素の各行に沿った合計を計算し、それによって、取得された画像の行の次元に等しい数の点を有している１次元プロファイルを生成することによって水平強度プロファイル（ＨＩＰ）が構成される。次に、ＨＩＰから累積和を構成することによって、成長曲線がＨＩＰから生成される。
【０００６】
受動タッチ装置は、能動タッチ装置に対していくつかの利点があり、また非常に良好に動作するが、タッチ装置と共に能動ポインタと受動ポインタの両方を使用することによって、プロセッサ数とプロセッサ負荷の少なくとも一方が少ない、より直感的な入力様式が実現される。
【０００７】
複数の入力様式を有しているカメラベースのタッチ装置が検討されてきた。たとえば、Ｏｇａｗａの特許文献１０は、ポインタまたは指を使用した座標入力を可能にするカメラベースの座標入力装置を開示している。座標入力装置は、表示画面の左上と右上の角に位置している１対のカメラを有している。各カメラの視野は、対角線方向に対向している表示画面の角まで表示画面に平行に延びている。複数の赤外線発光ダイオードが、各カメラの撮像レンズの近くに配置され、表示画面の周囲の領域を照明する。外形枠が表示画面の３つの辺に設けられている。幅の狭い再帰反射テープが外形枠上の表示画面の近くに配置されている。黒い非反射反射テープが、再帰反射テープに沿って、そして再帰反射テープに接触して外形フレームに取り付けられている。再帰反射テープは赤外線発光ダイオードからの光を反射して、反射光を強い白色信号として検知できるようにする。ユーザの指が表示画面の近くに位置すると、指は再帰反射テープの画像上に陰として現れる。
【０００８】
２つのカメラからの複数の画像信号は制御回路に入力され、制御回路は再帰反射テープの白色の画像と外形枠との間の境界を検出する。境界に近い白色の画像の複数の画素の水平線が選択される。複数の画素からなる水平線は、ユーザの指が表示画面に接触している位置に関する情報を含んでいる。制御回路はタッチ位置の座標を求め、それから座標値はコンピュータに送信される。
【０００９】
再帰反射ペン先を有しているペンが表示画面に接触すると、それから反射された光は白色信号として登録するのに十分に強い。結果として得られた画像は、再帰反射テープの画像からは区別されない。しかし、結果として得られた画像は、黒いテープの画像からは容易に区別される。この場合は、外形枠の境界に近い黒い画像の複数の画素からなる線が選択される。複数の画素の線の信号はペンが表示画面に接触させられた位置に関する情報を含んでいる。制御回路は、ペンのタッチ位置の座標値を求め、座標値はコンピュータに送信される。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】米国特許明細書第５，４４８，２６３号
【特許文献２】米国特許明細書第６，１４１，０００号
【特許文献３】米国特許明細書第６，３３７，６８１号
【特許文献４】米国特許明細書第６，７４７，６３６号
【特許文献５】米国特許明細書第６，８０３，９０６号
【特許文献６】米国特許明細書第７，２３２，９８６号
【特許文献７】米国特許明細書第７，２３６，１６２号
【特許文献８】米国特許明細書第７，２７４，３５６号
【特許文献９】米国特許出願公開第２００４／０１７９００１号
【特許文献１０】米国特許明細書第７，２０２，８６０号
【発明の概要】
【発明が解決しようとする課題】
【００１１】
特許文献１０は２つの受動ポインタ間の差を求めることができるが、入力様式の数は、ペン入力および指入力のような比較的少ない種類のポインタに限定される。多くのポインタが偏光技術を用いることができるが、これらの技術は、他のポインタ様式との混同を避けるために、ポインタが表示画面に接触ときに正しい向きを必要とする。
【００１２】
したがって、本発明の目的は、新規な対話型入力装置と、その新規なベゼルを提供することにある。
【課題を解決するための手段】
【００１３】
したがって、一態様では、対象領域を少なくとも部分的に囲むベゼルであって、複数のバンドを上に有し、隣接している少なくともいくつかのバンドは異なる光学的性質を有しているベゼル（bezel:枠）と、対象領域を見ており、かつ取得された複数の画像が、複数のバンドに対応している複数の領域を有するように前記少なくとも１つのベゼルを見ている少なくとも１つの撮像装置と、複数の領域の複数の画素を処理して対象領域内のポインタの存在を検出する処理構造とを有する対話型入力装置が提供される。
【００１４】
一実施態様では、処理構造は、ポインタの存在に起因する複数の不連続部分を検出するように複数の画素を処理する。一実施態様では、複数のバンドは概ね水平であって、照明を反射する少なくとも１つのバンドと、照明を吸収する少なくとも１つのバンドを有している。照明を反射するバンドは再帰反射材料のバンドであってもよい。
【００１５】
一実施態様では、ベゼルは、概ね平面の表面を少なくとも部分的に囲んでいる。概ね平面の表面は表示表面であってよい。
【００１６】
他の態様によれば、対象領域を少なくとも部分的に囲むベゼルであって、複数のバンドを上に有しており、隣接している少なくともいくつかのバンドは異なる光学的性質を有しているベゼルと、対象領域を見ており、かつベゼルを見ている少なくとも１つの撮像装置と、少なくとも１つの撮像装置と通信し、かつ複数のバンドに対応する画像データを処理して、ポインタの種類に無関係に前記対象領域内のポインタの存在を検出する処理構造とを有する対話型入力装置が提供される。
【図面の簡単な説明】
【００１７】
【図１】対話型入力装置の斜視図である。
【図２】図１の対話型入力装置の模式的な正面図である。
【図３】図１の対話型入力装置の一部を構成する撮像組み立て体のブロック図である。
【図４】図１の対話型入力装置の一部を構成するベゼルの一部の正面図である。
【図５】図１の対話型入力装置の一部を構成するデジタルシグナルプロセッサのブロック図である。
【図６ａ】図３の撮像組み立て体によって取得された画像フレームの図である。
【図６ｂ】図３の撮像組み立て体によって取得された画像フレームの図である。
【図６ｃ】図３の撮像組み立て体によって取得された画像フレームの図である。
【図７ａ】図６ａの画像フレームの画素列について計算された、正規化されたＶＩＰｄａｒｋ値、ＶＩＰｒｅｔｒｏ値、およびＤ（ｘ）値のグラフである
【図７ｂ】図６ｂの画像フレームの画素列について計算された、正規化されたＶＩＰｄａｒｋ値、ＶＩＰｒｅｔｒｏ値、およびＤ（ｘ）値のグラフである
【図７ｃ】図６ｃの画像フレームの画素列について計算された、正規化されＶＩＰｄａｒｋ値、ＶＩＰｒｅｔｒｏ値、およびＤ（ｘ）値のグラフである
【図８】図１の対話型入力装置と共に使用されるペンツールの側面図である。
【図９】図８のペンツールの、一部を分解した側面図である。
【図１０】図８のペンツールのブロック図である。
【図１１】図８のペンツールの一部を構成する先端組み立て体の分解斜視図である。
【図１２】図１１の先端組み立て体の断面図である。
【図１３】図１２の先端組み立て体の一部を構成する先端スイッチ組み立て体の分解斜視図である。
【図１４】図８のペンツールの一部を構成するイレイザー組み立て体の分解斜視図である。
【図１５】図１の対話型入力装置と共に使用される他のペンツールの側面図である。
【図１６ａ】図１の対話型入力装置と共に使用されるさらに他のペンツールの側面図である。
【図１６ｂ】図１の対話型入力装置と共に使用されるさらに他のペンツールの側面図である。
【図１７ａ】図１の対話型入力装置と共に使用されるさらに他のペンツールの側面図である。
【図１７ｂ】図１の対話型入力装置と共に使用されるさらに他のペンツールの側面図である。
【図１８】図１の対話型入力装置と共に使用されるなおさらに他のペンツールの側面図である。
【図１９】ペンツールと表示表面との間の相互動作に応答して対話型入力装置の表示表面に表示されるポップアップメニューの図である。
【図２０】他のベゼルセグメントの一部の正面図である。
【発明を実施するための形態】
【００１８】
次に、実施形態を、添付の図面を参照してより十分に説明する。
【００１９】
ここで、図１と２を参照すると、ユーザが「インク」などの入力をアプリケーションプログラムに対して行うことができるようにする対話型入力装置が図示されており、全体が参照番号２０によって識別されている。本実施形態では、対話型入力装置２０は、たとえばプラズマテレビ、液晶ディスプレイ（ＬＣＤ）装置、フラットパネル表示装置、陰極線管などの表示ユニット（不図示）に接続され、表示ユニットの表示表面２４を囲んでいる組み立て体２２を有している。組み立て体２２は表示表面２４の近くの対象領域に移動させられたポインタを検出するためにマシン・ビジョンを使用し、少なくとも１つのデジタルシグナルプロセッサ（ＤＳＰ）ユニット２６と複数の通信線２８を通して通信する。通信線２８は、シリアルバス、パラレルバス、ユニバーサルシリアルバス（ＵＳＢ）、イーサネット（登録商標）接続、または他の適切な有線接続で実現することができる。一方、ＤＳＰユニット２６は、１つまたは２つ以上のアプリケーションプログラムを実行するコンピュータ３０とＵＳＢケーブル３２を通して通信する。あるいは、ＤＳＰユニット２６は、パラレルバス、ＲＳ−２３２接続、イーサネット（登録商標）接続などの他の有線接続を通してコンピュータ３０と通信したり、たとえばＢｌｕｅｔｏｏｔｈ、ＷｉＦｉ、ＺｉｇＢｅｅ、ＡＮＴ、ＩＥＥＥ８０２．１５．４、Ｚ−Ｗａｖｅなどの適切な無線プロトコルを使用して無線接続を通してコンピュータ３０と通信したりしてもよい。コンピュータ３０はＤＳＰユニット２６を通して受信した組み立て体２２の出力を処理し、表示表面２４に表示された画像がポインタ動作を反映するように表示ユニットに出力される画像データを調整する。このようにして、組み立て体２２、ＤＳＰユニット２６、およびコンピュータ３０は、表示表面２４の近くのポインタ動作を書き込みや描画として記録したり、コンピュータ３０によって実行される１つまたは２つ以上のアプリケーションプログラムの実行を制御するのに使用したりできるようにする。
【００２０】
組み立て体２２は、表示ユニットに一体化されている、または取り付けられて、表示表面２４を囲むフレーム組み立て体を有している。フレーム組み立て体は、３つのベゼル部分４０〜４４、４つのコーナー部品４６、およびツールトレイ部分４８を有している。ベゼル部分４０、４２は表示表面２４の対向している側縁に沿って延びているのに対して、ベゼル部分４４は表示表面２４の上部縁に沿って延びている。ツールトレイ部分４８は、表示表面２４の下部縁に沿って延び、１つまたは２つ以上の作動しているペンツールＰを支持する。表示表面２４の左上の角と右上の角に隣接している２つのコーナー部品４６は、ベゼル部分４０と４２をベゼル部分４４に結合している。表示表面２４の左下の角と右下の角に隣接している２つのコーナー部品４６は、ベゼル部分４０と４２をツールトレイ部分４８に結合している。本実施形態では、表示表面２４の左下の角と右下の角に隣接している２つのコーナー部品４６は、異なる位置から概ね表示表面２４全体を見渡す２つの撮像組み立て体６０を収容している。ベゼル部分４０〜４４は、それらの内側を向いた表面が２つの撮像組み立て体６０から見えるように向きが設定されている。
【００２１】
ここで、図３を参照すると、２つの撮像組み立て体６０の一方がわかりやく示されている。図からわかるように、撮像組み立て体６０は、ＢｏｏｗｏｎによってＢＷ２５Ｂというモデル番号で製造されている種類の８８０ｎｍレンズが取り付けられているＭＴ９Ｖ０２２というモデル番号でＭｉｃｒｏｎによって製造されている画像センサ７０を有している。レンズはＩＲ通過/可視光遮断フィルタをその上に有しており（不図示）、画像センサ７０から表示表面２４全体が見えるように視野が９８度の画像センサ７０を実現している。画像センサ７０は、Ｉ2Ｃシリアルバスを通して複数の通信線２８の１つを受け入れているコネクタ７２に接続されている。画像センサ７０は、画像センサ校正パラメータを記憶している電気的に消去可能なプログラム可能読み取り専用メモリ（ＥＥＰＲＯＭ）７４だけではなく、クロック（ＣＬＫ）受信部７６、並直列変換器７８、および電流制御モジュール８０にも接続されている。クロック受信部７６と並直列変換器７８はコネクタ７２にも接続されている。電流制御モジュール８０は、対象領域を照明する複数のＩＲ発光ダイオード（ＬＥＤ）または他の適切な１つまたは２つ以上の放射源と、付属している複数のレンズ組み立て体とを有している赤外線（ＩＲ）光源８２だけではなく電源８４とコネクタ７２にも接続されている。
【００２２】
クロック受信部７６と並直列変換器７８は、安価なケーブルを通したＤＳＰユニット２６との高速通信を可能にする低電圧差動信号方式（ＬＤＶＳ）を採用している。クロック受信部７６は、タイミング情報をＤＳＰユニット２６から受信し、画像センサ７０が画像フレームを取り込んで出力する速度を定めている複数のクロック信号を画像センサ７０に送る。画像センサ７０によって出力された各画像フレームは並直列変換器７８によってシリアル化されて、コネクタ７２と複数の通信線２８とを通してＤＳＰユニット２６に出力される。
【００２３】
図４は、ベゼル部分４０〜４４の１つのベゼル部分の内向きの表面１００の一部を示している。図からわかるように、内向きの表面１００は、概ね水平方向の複数の帯、すなわちバンドに分割されており、それらの各バンドは異なる光学的性質を有している。本実施形態では、ベゼル部分の内向きの表面１００は２つバンド１０２と１０４とに分割されている。表示表面２４に最も近いバンド１０２は再帰反射材料で構成されており、表示表面２４から最も遠いバンド１０４は、赤外（ＩＲ）放射吸収材料で構成されている。再帰反射材料の性質を最大限に利用するために、ベゼル部分４０〜４４は、それらの内向きの表面が表示表面２４に概ね垂直方向の平面内を延びるように向きが設定されている。
【００２４】
ここで、図５を参照すると、ＤＳＰユニット２６が分りやく示されている。図からわかるように、ＤＳＰユニット２６は、直並列変換器１２６を通してコネクタ１２２と１２４に接続されているビデオポートＶＰを有している、たとえばマイクロプロセッサ、マイクロコントローラ、ＤＳＰなどのコントローラ１２０を含んでいる。コントローラ１２０は、Ｉ2Ｃシリアルバススイッチ１２８を通して各コネクタ１２２、１２４にも接続されている。Ｉ2Ｃシリアルバススイッチ１２８はクロック１３０と１３２に接続されており、各々のクロックはコネクタ１２２、１２４のそれぞれ１つに接続されている。コントローラ１２０は、無線受信機１３８を介して外部アンテナ１３６と通信し、ＵＳＢケーブル３２を受け入れるＵＳＢコネクタ１４０と通信し、また揮発性および不揮発性のメモリを有しているメモリ１４２と通信する。クロック１３０と１３２と直並列変換器１２６も低電圧差動信号方式（ＬＤＶＳ）を同様に採用している。
【００２５】
対話型入力装置２０は、たとえばユーザの指、円柱、または他の適切な物体などの受動ポインタだけではなく表示表面２４の近くの２つの撮像組み立て体６０の視野内に移動させた能動ペンツールＰを検出することができる。説明を簡単にするために、受動ポインタが表示表面２４の近くに移動させられたときの、対話型入力装置２０の動作を最初に説明する。
【００２６】
動作時に、コントローラ１２０はクロック１３０と１３２が複数の通信線２８を通して２つの撮像組み立て体６０に送信されるクロック信号を出力するように条件を設定する。各撮像組み立て体６０のクロック受信部７６は対応する画像センサ７０のフレームレートを設定するために複数のクロック信号を使用する。本実施形態では、コントローラ１２０は、各画像センサ７０のフレームレートが所望の画像フレーム出力速度の２倍になるようにクロック信号を生成する。コントローラ１２０は、Ｉ2Ｃシリアルバスを通して各撮像組み立て体６０の電流制御モジュール８０にも信号を供給する。それに応答して、各電流制御モジュール８０は、ＩＲ光源８２がオンしオフするように、ＩＲ光源８２を電源８４に接続し、それからＩＲ光源８２を電源８４から切断する。ＩＲ光源のオン／オフの切り換えのタイミングは、各画像センサ７０によって取り込まれた以降の画像フレームの各対について、ＩＲ光源８２がオンの時に１つの画像フレームが取り込まれ、ＩＲ光源８２がオフの時に１つの画像フレームが取り込まれるように制御される。
【００２７】
２つのＩＲ光源８２がオンした時、２つのＩＲ光源の４つのＬＥＤは表示表面２４上の対象領域に赤外照明を放射する。ベゼル部分４０〜４４のＩＲ放射吸収バンド１０４に当たった赤外照明は、２つの撮像組み立て体６０には戻らない。ベゼル部分４０〜４４の再帰反射バンド１０２に当たった赤外照明は、２つの撮像組み立て体６０に戻る。前述のように、ＩＲ光源８２のＩＲ ＬＥＤの構成は、再帰反射バンド１０２がそれらの長さ全体にわたって概ね一様に照明されるように選択されている。概ね一様なベゼル照明を達成する代表的なＩＲ光源の構成は、参照によってその内容が援用される、２００８年５月９日に出願され、カナダ、アルバータ州、カルガリーのＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＵＬＣに譲渡された、Ｈａｎｓｅｎ外の「対話型入力装置およびそれ用の照明組み立て体（Ｉｎｔｅｒａｃｔｉｖｅ Ｉｎｐｕｔ Ｓｙｓｔｅｍ Ａｎｄ Ｉｌｌｕｍｉｎａｔｉｏｎ Ａｓｓｅｍｂｌｙ Ｔｈｅｒｅｆｏｒ）」という名称の米国特許出願第１２/１１８，５５２号に記載されている。その結果、ポインタが存在しない場合、各撮像組み立て体６０の画像センサ７０には、図６ａに示されているように、ＩＲ放射吸収バンド１０４に該当している上側の暗い帯１６２と表示表面２４に該当している下側の暗い帯１６４との間に位置している長さ方向にわたって実質的に一様な強度を有している明るい帯１６０が見える。ポインタが表示表面２４の近くに移動し、２つのＩＲ光源８２から十分に離れていると、ポインタは再帰性反射バンド１０２から反射された赤外線照明を遮る。その結果、図６ｂに示されているように、ポインタは、取り込まれた画像フレーム内の明るい帯１６０を遮断している暗い領域１６６として現れる。
【００２８】
前述したように、各撮像組み立て体６０の画像センサ７０によって出力される各画像フレームはＤＳＰユニット２６に送信される。ＤＳＰユニット２６が２つの撮像組み立て体６０から画像フレームを受信すると、コントローラ１２０は画像フレーム内のポインタの存在を検出するために画像フレームを処理し、ポインタが存在する場合には、三角測量を使用してポインタの、表示表面２４に対する位置を求める。ポインタの識別への不要な光の影響を低減するために、コントローラ１２０は、ポインタの存在を検出するために、画像フレーム内の光の強度ではなく画像フレーム内の光の不連続部分を計測する。一般に３つの不要な光、つまり、周辺光、表示ユニットからの光、および２つのＩＲ光源８２から放射され２つの撮像組み立て体６０の近くの物体によって散乱した赤外照明が存在する。理解されるように、ポインタが撮像組み立て体６０に近い場合、付属しているＩＲ光源８２によって放射された赤外線照明がポインタを直接照明し、その結果ポインタが画像フレーム内に取り込まれている再帰反射バンド１０２と同じほど、または再帰反射バンド１０２よりも明るくなることがある。その結果、ポインタは明るいバンド１６０を中断している暗い領域として画像フレーム内に現れず、図６ｃに示されているように、明るいバンド１６０と上側と下側の暗いバンド１６２と１６４とを横切って延びている明るい領域１６８として現れることになる。
【００２９】
コントローラ１２０は、撮像組み立て体６０の各々の画像センサ７０によって出力される対の連続している画像フレームを処理する。詳細には、１つの画像フレームが受信されると、コントローラ１２０は画像フレームをバッファに保存する。次の画像フレームが受信されると、コントローラ１２０は画像フレームをバッファに同様に保存する。利用可能な連続した画像フレームを使用して、コントローラ１２０は２つの画像フレームに減算処理を行い、差分画像フレームを構成する。２つの画像センサ７０のフレームレートが十分に高い場合、連続している画像フレームの周辺光のレベルは通常、顕著に変化することはなく、その結果、周辺光はかなり相殺され、差分画像フレーム内には現れない。
【００３０】
いったん差分画像フレームが生成されると、コントローラ１２０は差分画像フレームを処理し、ポインタが差分画像フレーム内に存在する確度を表わす複数の不連続値を生成する。ポインタが表示表面２４の近くに存在しない場合、複数の不連続値は大きい。ポインタが表示表面２４の近くに存在している場合、複数の不連続値のうちのいくつかが閾値未満になり、差分画像フレーム内のポインタの存在を容易に判定することができる。
【００３１】
各差分画像フレームに対して不連続値を生成するために、コントローラ１２０は差分画像内の明るいバンド１６０の上と下の縁を通常表わすベゼルの線Ｂretro_T（ｘ）とＢretro_B（ｘ）との間の差分画像フレームの各画素列に対して垂直強度プロファイル（ＶＩＰretro）を計算し、差分画像内の上側の暗いバンド１６２の上と下の縁を通常表わすベゼルの線Ｂdark_T（ｘ）とＢdark_B（ｘ）との間の差分画像フレームの各画素列に対してＶＩＰdarkを計算する。ベゼルの２つの線は以降で説明するように、対話型入力装置の起動時の校正中に実施されるベゼル探索手続きによって求められる。
【００３２】
各画素列に対するＶＩＰretroは、ベゼルの線Ｂretro_T（ｘ）とＢretro_B（ｘ）の間の画素列内のＮ個の画素の強度値Ｉを合計することによって計算される。Ｎの値は、ベゼルの線Ｂretro_T（ｘ）とＢretro_B（ｘ）との間の画素行の数として求められ、再帰反射バンド１０２の幅に等しい。ベゼルの線が差分画像フレームの画素を部分的に横切っている場合、その画素からの強度レベルの寄与はその画素がベゼルの線Ｂretro_T（ｘ）とＢretro_B（ｘ）の内部にどれだけ入っているかに比例して重み付けされる。各画素列のＶＩＰretroの計算時に、画素列内のベゼルの線Ｂretro_T（ｘ）とＢretro_B（ｘ）の位置は、以下のように表される整数成分Ｂi_retro_T（ｘ）、Ｂi_retro_B（ｘ）と端数成分Ｂf_retro_T（ｘ）、Ｂf_retro_B（ｘ）とに分解される。
【００３３】
【数１】
【００３４】
次に、画素列についてのＶＩＰretroが、以下の式に従って、両縁の位置で適切な重み付けをして、ベゼルの線Ｂretro_T（ｘ）とＢretro_B（ｘ）との間で画素列に沿ったＮ個の画素の強度値Ｉを合計することによって計算される。
【００３５】
【数２】
【００３６】
ここで、Ｎ＝（Ｂi_retro_B（ｘ）−Ｂi_retro_T（ｘ））、ｊは０からＮの範囲にあり、Ｉは両ベゼルの線の間の位置ｘでの強度である。
【００３７】
各画素列に対するＶＩＰdarkは、ベゼルの線Ｂdark_T（ｘ）とＢdark_B（ｘ）の間の画素列内のＫ個の画素の強度値Ｉを合計することによって計算される。Ｋの値は、ベゼルの線Ｂdark_T（ｘ）とＢdark_B（ｘ）との間の画素行の数として求められ、ＩＲ放射吸収バンド１０４の幅に等しい。ベゼルの線が差分画像フレームの画素を部分的に横切っている場合、その画素からの強度レベルへの寄与はその画素がベゼルの線Ｂdark_T（ｘ）とＢdark_B（ｘ）の内部にどれだけ入っているかに比例して重み付けされる。各画素列のＶＩＰdarkの計算時に、画素列内のベゼルの線Ｂdark_T（ｘ）とＢdark_B（ｘ）の位置は、以下のように表される整数成分Ｂi_dark_T（ｘ）、Ｂi_dark_B（ｘ）と端数成分Ｂf_dark_T（ｘ）、Ｂf_dark_B（ｘ）とに分解される。
【００３８】
【数３】
【００３９】
各画素列についてのＶＩＰdarkが、以下の式に従って、両縁の位置で適切な重み付けをしてベゼルの線Ｂdark_T（ｘ）とＢdark_B（ｘ）の間で画素列に沿ったＫ個の画素の強度値Ｉを合計することによって同様に計算される
【００４０】
【数４】
【００４１】
ここで、Ｋ＝（Ｂi_dark_B（ｘ）−Ｂi_dark_T（ｘ））、ｊは０からＮの範囲にある。
【００４２】
これらＶＩＰは、画素行の対応する数（再帰反射領域についてはＮ、暗い領域についてはＫ）で除算することで実質的に正規化される。次に、各画素列についての不連続値Ｄ（ｘ）が、ＶＩＰretroとＶＩＰdarkとの差を以下の式によって求めることによって計算される。
【００４３】
【数５】
【００４４】
図７ａは、図６ａの画像フレームの画素列について計算された正規化されたＶＩＰdark、ＶＩＰretro、およびＤ（ｘ）の値を示している。図からわかるように、この画像フレームにはポインタが存在せず、したがって不連続値Ｄ（ｘ）は、画像フレームの全ての画素列に対して大きいままである。図７ｂは、図６ｂの画像フレームの画素列について計算された、正規化されたＶＩＰdark、ＶＩＰretro、およびＤ（ｘ）の値を示している。図からわかるように、Ｄ（ｘ）曲線は画像フレーム内のポインタの位置に該当している領域で低い値に下がっている。図７ｃは、図６ｃの画像フレームの画素列について計算された、正規化されたＶＩＰdark、ＶＩＰretro、およびＤ（ｘ）の値を示している。図からわかるように、Ｄ（ｘ）曲線は同様に画像フレーム内のポインタの位置に該当している領域で低い値に下がっている。
【００４５】
各差分画像フレームの複数の画素列の不連続値Ｄ（ｘ）が一旦求められると、各画像フレームに対する結果のＤ（ｘ）曲線は、Ｄ（ｘ）曲線が、ポインタの存在を示す閾値未満に下がっているかどうかが調べられ、下がっている場合、ポインタの対向している側であるＤ（ｘ）曲線の左と右のエッジが検出される。特に、各差分画像フレーム内で左と右のエッジの位置を求めるために、Ｄ（ｘ）曲線の１次微分が勾配曲線∇Ｄ（ｘ）を求めるために計算される。Ｄ（ｘ）曲線がポインタの存在を示す閾値よりも下がっている場合、結果の勾配曲線∇Ｄ（ｘ）はＤ（ｘ）曲線の傾斜によって構成されているエッジを表している負のピークと正のピークとが境界になっている領域を含むことになる。２つのピークと、したがって領域の２つの境界を検出するために、勾配曲線∇Ｄ（ｘ）はエッジ検出器の処理に委ねられる。
【００４６】
具体的には、閾値Ｔがまず勾配曲線∇Ｄ（ｘ）に適用され、各位置ｘについて勾配曲線∇Ｄ（ｘ）の絶対値が閾値よりも小さい場合に、以下のように、勾配曲線∇Ｄ（ｘ）がゼロに設定される。
【００４７】
【数６】
【００４８】
閾値を適用する手続き後、閾値が適用された勾配曲線∇Ｄ（ｘ）はポインタの対向する側部を表わす負のスパイクと正のスパイクとを含んでおり、その他の部分はゼロである。次に、左と右のエッジは閾値が適用された勾配曲線∇Ｄ（ｘ）の２つの非ゼロのスパイクからそれぞれ検出される。左のエッジを計算するために、重心距離ＣＤleftが、以下の式に従って、ピクセル列Ｘleftから開始して、閾値が適用された勾配曲線∇Ｄ（ｘ）の左のスパイクから計算される。
【００４９】
【数７】
【００５０】
ここで、ｘiは勾配曲線∇Ｄ（ｘ）の左のスパイク内のｉ番目のピクセル列のピクセル列番号、ｉは１から閾値が適用された勾配曲線∇Ｄ（ｘ）の左のスパイクの幅まで反復され、Ｘleftは、値がゼロ（０）から系の雑音に基づいて経験的に定められた閾値だけ異なっている勾配曲線∇Ｄ（ｘ）上の値に対応している画素列である。つぎに、閾値が適用された勾配曲線∇Ｄ（ｘ）の左のエッジがＸleft＋ＣＤleftと等しくなるように定められる。
【００５１】
右のエッジを計算するために、重心距離ＣＤrightが、以下の式に従って、ピクセル列Ｘrightから開始して、閾値が適用された勾配曲線∇Ｄ（ｘ）の右のスパイクから計算される。
【００５２】
【数８】
【００５３】
ここで、ｘjは勾配曲線∇Ｄ（ｘ）の右のスパイク内のｊ番目のピクセル列のピクセル列番号、ｊは１から閾値が適用された勾配曲線∇Ｄ（ｘ）の右のスパイクの幅まで反復され、Ｘrightは、値がゼロ（０）から系の雑音に基づいて経験的に定められた閾値だけ異なっている勾配曲線∇Ｄ（ｘ）上の値に対応している画素列である。次に、閾値が適用された勾配曲線の右のエッジがＸright＋ＣＤrightと等しくなるように定められる。
【００５４】
閾値が適用された勾配曲線∇Ｄ（ｘ）の左と右のエッジがいったん計算されると、識別された左と右のエッジの中間点が計算され、それによって差分画像フレーム内のポインタの位置が求められる。
【００５５】
各差分画像フレーム内のポインタの位置が求められた後、コントローラ１２０は、Ｍｏｒｒｉｓｏｎ等の米国特許明細書第６，８０３，９０６号に記載されているような公知の方法で三角測量を使用して表示表面２４に対する、（ｘ、ｙ）座標でのポインタの位置を計算するために２つの差分画像フレーム内のポインタの２つの位置を使用する。計算されたポインタ座標は次にコントローラ１２０によってＵＳＢケーブル３２を通してコンピュータ３０に送られる。コンピュータ３０は受信したポインタ座標を処理し、必要な場合は表示表面２４に表示されている画像がポインタの動作を反映するように、表示ユニットに出力される画像出力を更新する。このようにして、ポインタの表示表面２４との相互動作を書き込みまたは描画として記録したり、コンピュータ３０上で実行される１つまたは２つ以上のアプリケーションプログラムの実行の制御のために使用したりすることができる。
【００５６】
対話型入力装置の起動時に実行されるベゼルを探す手続き中に、ベゼルの線Ｂretro_T（ｘ）、Ｂretro_B（ｘ）、Ｂdark_T（ｘ）、およびＢdark_B（ｘ）を求めるために、各画像センサに対して校正手続きが実行される。各校正手続き中に、校正画像の対が対応する画像センサ７０によって取り込まれる。対のうちの一方の校正画像は画像センサに付属しているＩＲ光源８２がオンの時に取り込まれ、対のうち他方の校正画像は画像センサに付属しているＩＲ光源８２がオフの時に取り込まれる。２つの校正画像に対して次に、校正差分画像を構成するように減算処理が行われ、周辺照明による偽像が取り除かれる。それから校正差分画像の対象の画素行（再帰反射バンド１０２を表わす明るいバンド１６０を構成している画素行）が求められる。
【００５７】
この処理時に、校正差分画像の水平方向の強度プロファイルを生成するために、校正差分画像の各画素行の画素値の合計が計算される。それから、勾配フィルタが水平強度プロファイルに適用される。勾配フィルタは、水平強度プロファイルの２次微分の絶対値を入力とし、１６点ガウスフィルタを用いて結果を平滑化する。それから、最大面積を有している領域を検出するために、ピーク値の５０％よりも大きい値を有しているデータの各領域が調べられる。それから、領域の中間点が中心ピクセル行と指定される。水平強度プロファイルの最初と最後の８０個の画素行は、照明偽像と外部赤外光源の影響を減少させるために、この処理では使用されない。
【００５８】
次に、校正差分画像の各画素列が、明るいバンド１６０に対応する、その中にる画素を求めるために処理される。最初に、２つの画像センサ７０の位置は未知であり、そのため任意の処理方向が選択される。本実施形態においては、校正差分画像の画素列が左から右へ処理される。各画素列の処理中に、当該画素列に対する画素データの小さいスライスが中心画素行の位置に基づいて取られる。本実施形態では、該スライスは中心画素行を中心として１００個の画素行を有している。各画像スライスは、強度と幅において再帰反射バンド１０２を近似するために使用されるガウスモデルとの相互相関が求められる。相互相関の結果によって、ベゼルの再帰反射バンド１０２を表わす校正差分画像の明るいバンド１６０が特定される。この相関は、明るいバンド１６０をさらに明確にし、雑音を低減するために、ＩＲ光源８２がオンで取り込まれた校正画像と乗算される。
【００５９】
その後、各画素列について、ピーク探索アルゴリズムが、複数のピークの位置を求めるために結果として得られた画素列データに適用される。ピークが１つ見つかると、ベゼルの再帰反射バンド１０２と表示表面２４内でのその反射との、当該画素列上での区別が不可能であるとみなされる。ピークが２つ見つかると、ベゼルの再帰反射バンド１０２と画素表面２４内でのその反射とを当該画素列内で見ることができ、区別できるとみなされる。ピークが２つ見つかった各画素列について、再帰反射バンドを表わす明るいバンド１６０の幅と表示表面２４内の再帰反射バンド１０２の反射を表わすバンドとが、検出された複数のピークを囲む立ち下がりと立ち上がりのエッジを見つけることによって求められる。画素列内の明るいバンド１６０の幅がわかっているので、ベゼルの線Ｂretro_T（ｘ）、Ｂretro_B（ｘ）を推定することができる。明るいバンド１６０の幅から、上側の暗いバンド１６２が、明るいバンド１６０のすぐ上方で、明るいバンド１６０の幅と概ね等しい幅を有するものとして求められる。ベゼルの線Ｂdark_B（ｘ）はベゼルの線Ｂretro_T（ｘ）と一致するので、ベゼルの線Ｂdark_T（ｘ）も推定することができる。
【００６０】
次に、最初の１５０個と最後の１５０個の画素列について画素列データの強度を調べることによって、ベゼルの最初と最後の画素列が求められる。閾値よりも小さい値を有する最初の１５０個の画素列内の最も内側の画素列がベゼルの始点であると判定され、閾値よりも小さい値を有する最後の１５０個の画素列内の最も内側の画素列がベゼルの終点であると判定される。
【００６１】
ベゼルの始点と終点が見つかった後、明るいバンド１６０の複数の画素が画素列ごとに互いに近接していることを確認する連続性チェックが実行される。このチェック時に、互いに隣接している画素列内の明るいバンド１６０の複数の画素が、画素間の距離がスパイクを示す閾値の距離を超えているかどうか判定するために比較される。検出された各スパイクについて、スパイク領域の対向している側の明るいバンド１６０の複数の画素が補間され、補間された値がスパイクの複数の画素を置き換えるのに使用される。この処理は、画像センサの露出過多やベゼルの隠れが原因の、明るいバンド１６０の中の隙間を埋めるだけではなく、誤って特定されたベゼルの点を平滑にする。
【００６２】
次に、結果として得られた画像の右側と左側の明るいバンド１６０の幅が調べられる。明るいバンドの最も狭い幅に対応する、結果として得られた画像の側は、画像センサ７０から最も離れているベゼルの部分を表していると考えられる。次に、各画素列の中の明るいバンドの複数の画素を求める手続きと前述の連続性チェックが再度実行される。この第２の段階の間、画像データが処理される方向は、画像センサ７０のベゼルに対する位置に基づいている。画像センサ７０に最も近いベゼルの一部を表している画像データが最初に処理される。その結果、第２の段階の間、前述したように、結果の画像の画素列は、表示表面２４の左下の角の位置の画像センサ７０については左から右へ、表示表面２４の右下の角の位置の画像センサ７０については右から左へと処理される。この第２の段階の間、ピーク検索アルゴリズムは、予測されたベゼル線Ｂretro_T（ｘ）とＢretro_B（ｘ）とに対応しているピクセル列データを中心に実行される。
【００６３】
ここで図８〜１４を参照すると、対話型入力装置２０と共に使用されるペンツールＰの１つが示されており、全体に参照番号２００が付けられている。図からわかるように、ペンツールＰは、一方の端部に先端組み立て体２０２を、他方の端部にイレイザー組み立て体２０４を収容している、相互に接続されている２つの半シェルによって構成されている中空体２００を有している。先端組み立て体２０２は、コントローラ２１２が取り付けられているプリント基板２１０を有している。コントローラ２１２は、たとえば無線周波数（ＲＦ）アンテナまたはＩＲ ＬＥＤなどの無線送信機２１６ａと２１６ｂとを通して信号を放送する無線送信機２１４と通信する。複数の先端スイッチ接点２１８もプリント基板２１０上に取り付けられている。先端スイッチ組み立て体２２０がプリント基板２１０上に取り付けられている。
【００６４】
先端スイッチ組み立て体２２０は、接触回路領域２２４を収容している円形部分２２３を有しているポリエステルフレックス回路２２２を含んでいる。接触リード２２６が接触回路領域２２４から延び、回路部分２２３の平面に対して９０度回転させられている。２つのリード２２８が接触リード２２６に取り付けられ、２つの圧着コネクタ２２９で終端している。２つの圧着コネクタ２２９は先端スイッチ接触部分２１８を受け入れ、先端スイッチ組み立て体２２０をコントローラ２１２に電気的に接続する。プランジャ組み立て体２３０がフレックス回路２２２に揃えられている。プランジャ組み立て体２３０は、本体２００の端部上に嵌められているキャップ２３２を通過している。キャップ２３２は内部にねじが設けられている円錐２３６を受け入れる外部にねじが設けられているノーズ２３４を有している。プランジャ組み立て体２３０は、ペンツールＰの筆記先端を定めている円錐２３６内の穴を通して延びている。
【００６５】
プランジャ組み立て体２３０はシリコンで作られている柔軟なカップ２４０を有している。フレックス回路２２２に面しているカップ２４０の表面は、導電性パッド２４２を上に有している。導電性パッド２４２は、接触回路領域２２４に揃えられている。概ね円柱状の軸２４４がカップ２４０から延びている円柱状チューブ２４６によって受け入れられている。軸２４４の遠方端部はその上に構成されているペン先２４８を有している。
【００６６】
イレイザー組み立て体２０４は正と負のリードを有している電池支持部２５０を有している。コントローラ２１２に電気的に接続されているスイッチ２５４を支持しているプリント基板２５２が電池支持部２５０の一方の端部に固定されている。プランジャ２５６がスイッチ２５４に揃えられており、プリント基板２５２と電池支持部２５０の一方の端部を囲んでおり、本体２００の端部上に嵌っているホルダ２６０を貫通している。フェルト状のパッド２６４を上に有しているキャップ２６２がホルダ２６０によって受け入れられている。市販の電気的部分組み立て体２６６が電池支持部２５０の他方の端部からプリント基板２１０まで延びており、電池支持部２５０の端部に係合している半分のシェル２６８によって保持されている。ばね２７０が電池支持部２５０の内部に配置されている電池２７２を保持するように電池支持部２５０によって収容されている。電気的部分組み立て体２６６は、電池２７２を両プリント回路２５２と２１０に接続し、両電気回路間に通信チャネルを実現している。
【００６７】
ペンツールＰが表示表面２４の近くに移動させられると、表示表面に対する（ｘ、ｙ）座標で表されているその位置が受動ポインタについて前述したように計算される。しかし、ペンツールＰが表示表面２４に接触させられる方法に依存して、ペンツールＰは表示表面２４に対するペンツールの動作を解釈するために使用されるモード情報を出力してもよい。具体的には、ペンツールＰのペン先２４８が表示表面２４に十分な力で接触させられると、プランジャ組み立て体２３０の軸２４４が内向きに本体２００内に移動する。軸２４４のこの内向きの移動によって、カップ２４０が曲がり、それによってカップ上の導電パッド２４２をフレックス回路２２２の接触回路領域２２４に接触させ、先端スイッチ組み立て体２２０が閉じる。先端スイッチ組み立て体２２０が閉じたことがコントローラ２１２によって検知され、コントローラ２１２が無線ユニット２１４を、無線送信機２１６ａを通して放送される変調された信号を出力する状態にする。無線送信機２１６ａは変調された信号がペンツールＰの先端のわずかに後方のペンツールＰから放射させるように配置されている。
【００６８】
プランジャ組み立て体２３０の構造は、プランジャ組み立て体２３０の軸２４４を移動させて先端スイッチ組み立て体２２０を閉じるためには小さい作動力しか必要でないという利点を有する。また、プランジャ組み立て体２３０の軸２４４は、先端スイッチ組み立て体２２０を閉じるために本体２００内に大きく移動する必要がない。特に、先端スイッチ組み立て体２２０を閉じるには、約３０ｇの作動力と約０．１ｍｍに等しい軸の移動とが必要なだけである。これらの要因によって、ペンツールＰは、従来技術のペンツールに比べて、筆記の感触がはるかに従動的になり、雑音が大幅に減少する。また、フレックス回路２２２の構成によって、先端スイッチ組み立て体がペンツールＰの直径に相当な影響がないほど先端スイッチ組み立て体２２０が細い外形となる。
【００６９】
ペンツールＰのキャップ２６２が表示表面２４に十分な力で接触させられると、キャップ２６２はホルダ２６０内に移動し、それによってプランジャ２５６がスイッチ２５４を閉じるようにする。スイッチ２５４が閉じたことがコントローラ２１２によって検知され、コントローラ２１２は、無線ユニット２１４を、無線送信機２１６ｂを通して放送される、異なるように変調された信号を出力する状態にする。同様に、無線送信機２１６ｂは変調された信号がペンツールＰのイレイザー端部のわずかに後方のペンツールＰから放射させるように配置されている。
【００７０】
ＤＳＰユニット２６はメモリ１４２内に変調された信号対ペンツールモードマッピングテーブルを保存している。その結果、放送された変調信号がアンテナ１３６を通してＤＳＰユニット２６のコントローラ１２０によって受信されると、コントローラ１２０は受信した変調された信号をマッピングテーブルと比較して、ペンツールモードを決定する。それに対して、コントローラ１２０はこの情報を使用して、モード情報を生成されたポインタ座標に割り当て、ポインタ座標がコンピュータ３０によって所望の方法で処理されるようにモード情報をポインタ座標と共にコンピュータ３０に伝達する。本実施形態では、ペン先２４８が表示表面２４に接触しており、先端スイッチ組み立て体２２０が閉じていると、ペンツールＰはインクモードで動作していると見なされ、ペンツールＰがこのモードにあるときにはコンピュータ３０がポインタ座標を表示表面２４上の書き込みまたは描画（すなわちインク）として取り扱うようにインクモード情報がコントローラ１２０によって生成されたポインタ座標に割り当てられる。キャップ２６２が表示表面２４に接触しており、スイッチ２５４が閉じていると、ペンツールＰはイレイザーモードで動作していると見なされる。イレイザーモード情報はペンツールがこのモードにあるときにはコンピュータ３０がポインタ座標に相当している位置に表示されているインクを消すようにコントローラ１２０によって生成されたポインタ座標に割り当てられる。ペンツールＰから変調された信号が出力されていないと、ペンツールはポインタモードで動作していると見なされ、受動ポインタと同じように取り扱われる。ポインタモード情報はペンツールがこのモードにあるときにはコンピュータ３０がポインタ座標をマウスイベントとして取り扱うようにコントローラ１２０によって生成されたポインタ座標に割り当てられる。
【００７１】
望むならば、２つのＩＲ光源８２を、２００８年５月９日に出願され、アルバータ州カルガリーのＳＭＡＲＴ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＵＬＣに譲渡されており、内容が参照により本明細書に援用される「Ｉｎｔｅｒａｃｔｉｖｅ Ｉｎｐｕｔ Ｓｙｓｔｅｍ ｗｉｔｈ Ｃｏｎｔｒｏｌｌｅｄ Ｌｉｇｈｔｉｎｇ：制御された照明を備えている対話型入力装置」という名称のＭｃＲｅｙｎｏｌｄｓ他に対する米国特許出願第１２／１１８，５２１号に記載されているように変調することができる。このように、対応しているＩＲ光源からの照明の寄与だけに基づいて各撮像組み立て体の画像フレームを生成することができる。ペンツールＰによって出力された変調された信号も変調することができる。
【００７２】
図８〜１４は例示的なペンツールを示しているが、当業者は異なる構成のペンツールＰを対話型入力装置２０と共に使用できることを理解するであろう。たとえば、図１５は代のペンツールＰを示しており、同様の物理寸法形状を有している先端組み立て体３０２と３０４とがペンツール本体３０６の対向している両端部に設けられている。この場合、ペンツールＰによって出力された変調された信号は、表示表面２４に接触させられ先端組み立て体に依存して異なる。
【００７３】
図１６ａと１６ｂは、対話型入力装置２０と共に使用されるさらに他のペンツールＰを示している。本実施形態では、先端組み立て体４０２は、前述の複数の実施形態と同様である。イレイザー組み立て体４０４は、より丸い物理構成を有している。前述の複数の実施形態とは異なり、マウス位置とイレイザー位置との間を移動可能なスライダスイッチ４１０がペンツールＰの本体４１２上に設けられている。スライダスイッチ４１０の位置は、コントローラ２１２によって検知され、イレイザー組み立て体４０４が表示表面２４に接触させられたときにペンツールＰによって出力される変調された信号の形態を定めるために使用される。スライダスイッチ４１０が図１６ａに示しているようにマウス位置に位置しており、イレイザー組み立て体４０４が表示表面２４にスイッチ２５４を閉じるのに十分な力で接触させられたときには、ペンツールＰはコントローラ１２０によってペンツールがポインタモードで動作していると判定するためにマッピングテーブルと比較される変調された信号を出力する。それに対してコントローラ１２０は、ポインタモード情報を生成されたポインタ座標に割り当てる。同様に、スライダスイッチ４１０が図１４ｂに示しているようにイレイザー位置に位置しており、イレイザー組み立て体４０４が表示表面２４にスイッチ２５４を閉じるのに十分な力で接触させられたときには、ペンツールＰはコントローラ１２０によってペンツールがイレイザーモードで動作していると判定するためにマッピングテーブルと比較される、異なるように変調された信号を出力する。それに対してコントローラ１２０は、イレイザーモード情報を生成されたポインタ座標に割り当てる。
【００７４】
図１７ａと１７ｂは、対話型入力装置２０と共に使用されるさらに他のペンツールＰを示している。本実施形態では、概ね同じ物理構成を有している先端組み立て体５０２と５０４とが本体５０６に対向している端部に設けられている。スライダスイッチ５１０がペンツールＰの本体５０６上に設けられており、先端組み立て体５０２に向けて２つの位置の間を移動可能であるだけでなく、先端組み立て体５０４に向けて２つに位置の間を移動可能である。特に、スライダスイッチ５１０は先端組み立て体５０２に向けてインク位置とイレイザー位置との間を移動可能であって、先端組み立て体５０４に向けて選択位置と右クリック位置との間を移動可能である。スライダスイッチ５１０の位置は、コントローラ２１２によって検知され、先端組み立て体が先端スイッチ組み立て体２２０を閉じるのに十分な力で表示表面２４に接触させられたときにペンツールＰによって出力される変調された信号の形態を判定するために使用される。
【００７５】
スライダスイッチ５１０が図１７ａに示しているようにインク位置に位置しており、先端組み立て体５０２のプランジャが表示表面２４にスイッチ組み立て体２２０を閉じるのに十分な力で接触させられたときには、ペンツールはコントローラ１２０によってペンツールＰがインクモードで動作していると判定するためにマッピングテーブルと比較される変調された信号を出力する。それに対してコントローラ１２０は、インクモード情報を生成されたポインタ座標に割り当てる。同様に、スライダスイッチ５１０が図１７ｂに示しているようにイレイザー位置に位置しており、先端組み立て体５０２のプランジャが表示表面２４にスイッチ組み立て体２２０を閉じるのに十分な力で接触させられたときには、ペンツールはコントローラ１２０によってペンツールＰがイレイザーモードで動作していると判定するためにマッピングテーブルと比較される、異なるように変調された信号を出力する。それに対してコントローラ１２０は、イレイザーモード情報を生成されたポインタ座標に割り当てる。スライダスイッチ５１０が図１７ａに示しているように選択位置に位置しており、先端組み立て体５０４のプランジャが表示表面２４にスイッチ組み立て体２２０を閉じるのに十分な力で接触させられたときには、ペンツールＰはコントローラ１２０によってペンツールＰが選択モードで動作していると判定するためにマッピングテーブルと比較される、さらに異なるように変調された信号を出力する。それに対してコントローラ１２０は、選択モード情報を生成されたポインタ座標に割り当てる。同様に、スライダスイッチ５１０が、図１７ｂに示されているように、右クリック位置に位置し、かつ先端組み立て体５０４のプランジャが表示表面２４にスイッチ組み立て体２２０を閉じるのに十分な力で接触させられると、ペンツールＰは、ペンツールＰが右クリックモードで動作していると判定するためにコントローラ１２０によってマッピングテーブルと比較される、異なって変調された、さらに他の信号を出力する。コントローラ１２０は次に、右クリックモード情報を、生成されたポインタ座標に割り当てる。
【００７６】
図１８は、対話型入力装置２０と共に使用されるなおさらに他のペンツールＰを示している。この実施形態では、ペンツールＰは、各々が異なるペンツールモードに対応している３つの先端組み立て体６０２、６０４、６０６を有している。すなわち、この実施形態では、先端組み立て体６０２はインクモードに対応し、先端組み立て体６０４はイレイザーモードに対応し、先端組み立て体６０６は選択モードに対応している。ペンツールＰによって出力される、変調された信号は、表示表面２４に接触させられる先端組み立て体に応じて異なる。
【００７７】
望むならば、マッピングテーブル内の、変調された信号対ペンツールモードのマッピングを静的に割り当てるのではなく、コンピュータ３０は、図１９に示されているように、ユーザの入力に応答して、マッピングを視覚的に表し、かつユーザが、３つのペンツールＰによって出力された、変調された各信号に対応するペンツールモードを変更できるようにするグラフィカルユーザインターフェイス７００を提示することができる。
【００７８】
ペンツールＰによって出力される変調された信号を使用してペンツールの種類（すなわち、動作モード）を判定することに加えて、コンピュータ３０がポインタ座標を処理する方法をさらに制御するために属性を変調された信号に割り当ててもよい。たとえば、ユーザが表示表面２４にペンツールＰのイレイザー組み立て体（または先端組み立て体）を接触させている場合、複数のポインタ座標がコンピュータ３０によって処理されるときに、特定のペンツールＰを使用して入力されたインクだけ、または特定の色のインクだけ、または選択された幾何学的形状（たとえば、長方形、円、正方形など）によって囲まれているインクだけを消すことができるように、属性をマッピングテーブルの変調された信号に割り当ててもよい。
【００７９】
理解されるように、特定のペンツールモードを説明したが、当業者は他のペンツールモードまたはペンツールモードのさまざまな組み合わせをペンツールによって出力される変調された複数の信号に割り当てることができることを理解するであろう。スライダスイッチを備えた複数のペンツールＰを示したが、他の入力インターフェイスを備えた複数のペンツールも使用して、ユーザが１つまたは２つ以上のペンツールモードを選択できるようにすることも勿論可能である。たとえば、ペンツールＰは、多ボタンスイッチ、複数の位置を切り換える１つのボタンスイッチ、複数の回転スイッチ、１つまたは２つ以上のスクロールホイール、圧力または向き検知スイッチ等を有していてもよく、各スイッチまたはスイッチ位置はペンツール動作モードに対応している。あるいは、ペンツールＰはマイクを含んでもよく、コントローラ２１２は、ペンツールモードを、入力された音声コマンドによってユーザが選択できるようにする音声認識ソフトウェアを実行してもよい。表示画面２４の縁をたたくなどの触覚コマンドも用いてペンツールモードを選択できるようにしてもよい。
【００８０】
特定の実施形態を、図面を参照して説明したが、当業者は他の実施形態を利用できることを理解するであろう。前述の実施形態では、ＤＳＰユニット２６が、ペンツールＰが出力する変調された信号を受信するアンテナ１３６と無線受信機１３８とを有するものとして示されている。その代わりに、各撮像組み立て体６０はペンツールＰが出力する変調された信号を受信するアンテナと無線受信機を有していてもよい。この場合、複数の撮像組み立て体６０によって受信された、変調された信号は画像フレームと共にＤＳＰユニット２６に送信される。ペンツールＰは、ペンツールＰによって出力された信号が有線接続を通して１つまたは２つ以上の撮像組み立て体６０、ＤＳＰユニット２６、または１つまたは２つ以上の撮像組み立て体に送信されるように、組み立て体２２またはＤＳＰユニット２６につながれていてもよい。
【００８１】
前述の実施形態では、ポインタの存在と位置とを判定するために不連続値Ｄ（ｘ）が調べられ、処理される。当業者は、ＶＩＰretro値とＶＩＰdark値を、ポインタの存在と位置とを判定するために直接処理してもよいことを理解するであろう。
【００８２】
他の実施形態では、表示表面２４上に現れる再帰反射バンド１０２の反射が画像フレーム内に取得され、かつ明るい帯１６０から離れており明るい帯１６０の下にある光の帯として画像フレーム内に現れるように、撮像組み立て体６０は表示表面２４を見渡してもよい。これらの画像フレームの処理中に、各画像フレームは３つの領域、すなわち、複数のベゼルセグメントの複数のＩＲ放射吸収バンド１０４からの寄与に相当する暗い領域、複数のベゼルセグメントの複数の再帰反射バンド１０２からの寄与に相当する非常に明るい（再帰反射）領域、および表示表面２４上に現れる複数の再帰反射バンド１０２の反射からの寄与に相当する明るい（反射）領域に分割される。
【００８３】
いったん分割されると、コントローラ１２０は、それぞれの領域についてＶＩＰを生成し、これらＶＩＰを処理して、表示表面２４の近くにポインタが存在しているかどうかを判定し、存在していると、表示表面２４に対する、（ｘ、ｙ）座標でのその位置を求める。
【００８４】
表示表面２４の近くのポインタを検出するために、複数の暗い領域、再帰反射領域、および反射領域それぞれのＶＩＰが生成された後、暗い領域ＶＩＰの各ＶＩＰ値が、再帰反射ＶＩＰの対応するＶＩＰ値から減算される。各差は調べられ、各差が閾値未満であるかどうかを判定する。閾値未満の場合、再帰反射ＶＩＰの画素列にフラグが付けられる。その後、偽のフラグを検出するために拡張手続きが実施される。具体的には、再帰反射ＶＩＰのフラグが付けられた各画素列について、その左右の画素列にもフラグが付けられているかどうかが判定される。左右の画素列にもフラグが付けられていると、画素列は、ポインタを表すものとしてフラグが付けられる。
【００８５】
次に、連続性チェックが行われる。連続性チェックの間、暗い領域のＶＩＰの各ＶＩＰ値が反射のＶＩＰの対応するＶＩＰ値から減算される。各差が再び調べられ、各差が閾値未満であるかどうかが判定される。閾値未満の場合、反射ＶＩＰの画素列にフラグが付けられる。前記の拡張と同様の拡張が、反射ＶＩＰのフラグが付けられている複数の画素列について行われる。これに続いて、ポインタの位置を求めるために、再帰反射ＶＩＰのフラグが付けられている画素列と、反射ＶＩＰのフラグが付けられている画素列が比較され、重なっているフラグが付けられている画素列が検出される。重なっている画素列が検出されると、反射ＶＩＰの重なりの複数の境界にある画素列はポインタのエッジを表すと考えられる。境界の画素列同士の間の中間点にある画素列はポインタの画像フレーム内の位置を表すと考えられる。
【００８６】
前述の実施形態においては、各ベゼルセグメント４０〜４４は、異なる反射特性、すなわち再帰反射特性とＩＲ放射吸収特性とを有する１対のバンドを有しているとして示されている。当業者は、バンドの順番を逆にしてもよいことを理解するであろう。また、異なる反射特性を有するバンドを採用してもよい。たとえば、再帰性反射バンドを使用するのではなく、高反射材料で作られたバンドを使用してもよい。あるいは、異なるまたは交互の反射特性を有する３つ以上のバンドを有するベゼルセグメントを使用してもよい。たとえば、各ベゼルセグメントは、交互に配置された２つまたは３つ以上の再帰性反射バンドと２つまたは３つ以上の放射吸収バンドとを有していてもよい。あるいは、１つまたは２つ以上の再帰性反射バンドを高反射性のバンドに置き換えてもよい。複数の画像フレームを異なる複数の領域に分離して処理する場合、上側の領域はポインタの存在を検出する処理時に特に有用であるが、ポインタの位置の検出には必ずしも有用ではない。理解されるように、ポインタが表示表面２４に向けて移動させられると、表示表面２４に対する上側のバンド内のその位置は、図２０に示されているように、表示表面２４の近くのバンド内のポインタ先端の位置とは著しく異なることがある。
【００８７】
望むならば、表示表面自体によって反射され、その後２つの撮像組み立て体６０の２つの画像センサ７０に向かう光の量を制御するために各ベゼルセグメントの傾きを調整することができる。
【００８８】
フレーム組み立て体を、表示ユニットに取り付けられているとして説明したが、当業者はフレーム組み立て体が他の構成を取ってもよいことを理解するであろう。たとえば、フレーム組み立て体はベゼル３８と一体化してもよい。望むならば、組み立て体２２は表示表面２４の上に横たわるそれ自体のパネルを有していてもよい。この場合、該パネルは、表示表面２４上に表示された画像がパネルを通してはきりと見えるように、ほぼ透明な材料で作られていることが好ましい。該組み立て体は、もちろん前面投射装置または背面投射装置と共に使用し、コンピュータ生成画像が投影される基板を囲むことができる。
【００８９】
撮像組み立て体を、表示表面の下部の各角に隣接している角片に収容されているものと説明したが、当業者は撮像組み立て体を表示表面に対する異なる位置に配置してもよいことを理解するであろう。また、ツールトレイセグメントは必要ではなく、ベゼルセグメントに置き換えてもよい。
【００９０】
相互作用型入力装置２０の動作を、表示表面２４の近くに位置する１つのポインタまたはペンツールＰを参照して説明したが、当業者は、相互作用型入力装置２０が、各ポインタが画像センサに取り込まれた画像フレーム内に現れるときに、タッチ面の近くにある複数のポインタ／ペンツールの存在を検出できることを理解するであろう。
【００９１】
好適な実施形態を説明したが、当業者は、添付の特許請求の範囲によって定まる本発明の精神と範囲から逸脱することなく、種々の変形や修正がなされてもよいことを理解するであろう。
【特許請求の範囲】
【請求項１】
対象領域を少なくとも部分的に囲むベゼルであって、複数のバンドを上に有し、隣接している少なくともいくつかの前記バンドは異なる光学的性質を有しているベゼルと、
前記対象領域を見ており、かつ取得された複数の画像が、複数の前記バンドに対応している複数の領域を有するように前記少なくとも１つのベゼルを見ている少なくとも１つの撮像装置と、
複数の前記領域の複数の画素を処理して前記対象領域内のポインタの存在を検出する処理構造と、
を有する対話型入力装置。
【請求項２】
前記処理構造は複数の前記画素を処理して、前記ポインタの存在に起因する、前記領域内の複数の不連続部分を検出する、請求項１に記載の対話型入力装置。
【請求項３】
隣接している全ての前記バンドは複数の異なる光学的性質を有する、請求項１または２に記載の対話型入力装置。
【請求項４】
複数の前記バンドは概ね水平である、請求項1から３のいずれか１項に記載の対話型入力装置。
【請求項５】
複数の前記バンドは、照明を反射する少なくとも１つのバンドと、照明を吸収する少なくとも１つのバンドを有する、請求項１から４のいずれか１項に記載の対話型入力装置。
【請求項６】
照明を反射する前記少なくとも１つのバンドは、再帰反射材料のバンドを含む、請求項５に記載の対話型入力装置。
【請求項７】
照明を吸収する前記少なくとも１つのバンドは、赤外光吸収材料のバンドを含む、請求項５または６に記載の対話型入力装置。
【請求項８】
前記ベゼルは、概ね平面の表面を少なくとも部分的に囲んでいる、請求項１から７のいずれか１項に記載の対話型入力装置。
【請求項９】
前記概ね平面の表面は表示表面である、請求項８に記載の対話型入力装置。
【請求項１０】
前記ベゼルは複数の前記バンドが設けられている概ね平面の少なくとも１つの表面を有しており、前記の少なくとも１つのベゼル表面の平面は前記表示表面の平面に概ね垂直である、請求項９に記載の対話型入力装置。
【請求項１１】
前記ベゼルは複数の前記バンドが設けられている少なくとも１つの概ね平面の表面を有しており、前記ベゼルの前記の少なくとも１つのベゼル表面の平面は前記概ね平面の表面の平面に概ね垂直である、請求項８に記載の対話型入力装置。
【請求項１２】
対象領域を少なくとも部分的に囲むベゼルであって、複数のバンドを上に有しており、隣接している少なくともいくつかのバンドは異なる光学的性質を有しているベゼルと、
前記対象領域を見ており、かつ前記ベゼルを見ている少なくとも１つの撮像装置と、
前記の少なくとも１つの撮像装置と通信し、かつ複数の前記バンドに対応する画像データを処理して、ポインタの種類に無関係に前記対象領域内のポインタの存在を検出する処理構造と、
を有する対話型入力装置。
【請求項１３】
複数の前記バンドの複数の前記光学的性質は、（ｉ）反射、（ｉｉ）再帰反射、および（ｉｉｉ）放射吸収から選択される、請求項１２に記載の対話型入力装置。
【請求項１４】
前記処理構造は前記画像データを処理して、前記ポインタの前記存在に起因する複数の不連続部分を検出する、請求項１２または１３に記載の対話型入力装置。
【請求項１５】
隣接している全ての前記バンドは複数の異なる光学的性質を有している、請求項１２から１４のいずれか１項に記載の対話型入力装置。
【請求項１６】
複数の前記バンドは概ね水平である、請求項１２から１５のいずれか１項に記載の対話型入力装置。
【請求項１７】
前記ベゼルは、概ね平面の表面を少なくとも部分的に囲んでいる。請求項１２から１６のいずれか１項に記載の対話型入力装置。
【請求項１８】
前記概ね平面の表面は表示表面である、請求項１６に記載の対話型入力装置。
【請求項１９】
前記ベゼルは複数の前記バンドが設けられている少なくとも１つの概ね平面の表面を有しており、前記の少なくとも１つのベゼル表面の平面は前記表示表面の平面に概ね垂直である、請求項１８に記載の対話型入力装置。
【請求項２０】
前記ベゼルは２つのバンドを有している、請求項１３に記載の対話型入力装置。
【請求項２１】
前記ベゼルは再帰反射バンドと放射吸収バンドとを有している、請求項２０に記載の対話型入力装置。
【請求項２２】
前記処理構造は前記画像データを処理し、前記ポインタの前記存在に起因する複数の不連続部分を検出する、請求項２１に記載の対話型入力装置。
【請求項２３】
前記ベゼルは少なくとも３つのバンドを有している、請求項１３に記載の対話型入力装置。
【請求項２４】
前記処理構造は前記画像データを処理し、前記ポインタの前記存在に起因する複数の不連続部分を検出する、請求項２３に記載の対話型入力装置。
【請求項１】
対象領域を少なくとも部分的に囲むベゼルであって、複数のバンドを上に有し、隣接している少なくともいくつかの前記バンドは異なる光学的性質を有しているベゼルと、
前記対象領域を見ており、かつ取得された複数の画像が、複数の前記バンドに対応している複数の領域を有するように前記少なくとも１つのベゼルを見ている少なくとも１つの撮像装置と、
複数の前記領域の複数の画素を処理して前記対象領域内のポインタの存在を検出する処理構造と、
を有する対話型入力装置。
【請求項２】
前記処理構造は複数の前記画素を処理して、前記ポインタの存在に起因する、前記領域内の複数の不連続部分を検出する、請求項１に記載の対話型入力装置。
【請求項３】
隣接している全ての前記バンドは複数の異なる光学的性質を有する、請求項１または２に記載の対話型入力装置。
【請求項４】
複数の前記バンドは概ね水平である、請求項1から３のいずれか１項に記載の対話型入力装置。
【請求項５】
複数の前記バンドは、照明を反射する少なくとも１つのバンドと、照明を吸収する少なくとも１つのバンドを有する、請求項１から４のいずれか１項に記載の対話型入力装置。
【請求項６】
照明を反射する前記少なくとも１つのバンドは、再帰反射材料のバンドを含む、請求項５に記載の対話型入力装置。
【請求項７】
照明を吸収する前記少なくとも１つのバンドは、赤外光吸収材料のバンドを含む、請求項５または６に記載の対話型入力装置。
【請求項８】
前記ベゼルは、概ね平面の表面を少なくとも部分的に囲んでいる、請求項１から７のいずれか１項に記載の対話型入力装置。
【請求項９】
前記概ね平面の表面は表示表面である、請求項８に記載の対話型入力装置。
【請求項１０】
前記ベゼルは複数の前記バンドが設けられている概ね平面の少なくとも１つの表面を有しており、前記の少なくとも１つのベゼル表面の平面は前記表示表面の平面に概ね垂直である、請求項９に記載の対話型入力装置。
【請求項１１】
前記ベゼルは複数の前記バンドが設けられている少なくとも１つの概ね平面の表面を有しており、前記ベゼルの前記の少なくとも１つのベゼル表面の平面は前記概ね平面の表面の平面に概ね垂直である、請求項８に記載の対話型入力装置。
【請求項１２】
対象領域を少なくとも部分的に囲むベゼルであって、複数のバンドを上に有しており、隣接している少なくともいくつかのバンドは異なる光学的性質を有しているベゼルと、
前記対象領域を見ており、かつ前記ベゼルを見ている少なくとも１つの撮像装置と、
前記の少なくとも１つの撮像装置と通信し、かつ複数の前記バンドに対応する画像データを処理して、ポインタの種類に無関係に前記対象領域内のポインタの存在を検出する処理構造と、
を有する対話型入力装置。
【請求項１３】
複数の前記バンドの複数の前記光学的性質は、（ｉ）反射、（ｉｉ）再帰反射、および（ｉｉｉ）放射吸収から選択される、請求項１２に記載の対話型入力装置。
【請求項１４】
前記処理構造は前記画像データを処理して、前記ポインタの前記存在に起因する複数の不連続部分を検出する、請求項１２または１３に記載の対話型入力装置。
【請求項１５】
隣接している全ての前記バンドは複数の異なる光学的性質を有している、請求項１２から１４のいずれか１項に記載の対話型入力装置。
【請求項１６】
複数の前記バンドは概ね水平である、請求項１２から１５のいずれか１項に記載の対話型入力装置。
【請求項１７】
前記ベゼルは、概ね平面の表面を少なくとも部分的に囲んでいる。請求項１２から１６のいずれか１項に記載の対話型入力装置。
【請求項１８】
前記概ね平面の表面は表示表面である、請求項１６に記載の対話型入力装置。
【請求項１９】
前記ベゼルは複数の前記バンドが設けられている少なくとも１つの概ね平面の表面を有しており、前記の少なくとも１つのベゼル表面の平面は前記表示表面の平面に概ね垂直である、請求項１８に記載の対話型入力装置。
【請求項２０】
前記ベゼルは２つのバンドを有している、請求項１３に記載の対話型入力装置。
【請求項２１】
前記ベゼルは再帰反射バンドと放射吸収バンドとを有している、請求項２０に記載の対話型入力装置。
【請求項２２】
前記処理構造は前記画像データを処理し、前記ポインタの前記存在に起因する複数の不連続部分を検出する、請求項２１に記載の対話型入力装置。
【請求項２３】
前記ベゼルは少なくとも３つのバンドを有している、請求項１３に記載の対話型入力装置。
【請求項２４】
前記処理構造は前記画像データを処理し、前記ポインタの前記存在に起因する複数の不連続部分を検出する、請求項２３に記載の対話型入力装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６ａ】
【図６ｂ】
【図６ｃ】
【図７ａ】
【図７ｂ】
【図７ｃ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６ａ】
【図１６ｂ】
【図１７ａ】
【図１７ｂ】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６ａ】
【図６ｂ】
【図６ｃ】
【図７ａ】
【図７ｂ】
【図７ｃ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６ａ】
【図１６ｂ】
【図１７ａ】
【図１７ｂ】
【図１８】
【図１９】
【図２０】
【公表番号】特表２０１１−５２１３３１（Ｐ２０１１−５２１３３１Ａ）
【公表日】平成２３年７月２１日（２０１１．７．２１）
【国際特許分類】
【出願番号】特願２０１１−５０７７７０（Ｐ２０１１−５０７７７０）
【出願日】平成２１年５月８日（２００９．５．８）
【国際出願番号】ＰＣＴ／ＣＡ２００９／０００６４３
【国際公開番号】ＷＯ２００９／１３５３２１
【国際公開日】平成２１年１１月１２日（２００９．１１．１２）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
２．ＺＩＧＢＥＥ
【出願人】（５９２２２１２６３）スマート テクノロジーズ ユーエルシー (15)
【氏名又は名称原語表記】ＳＭＡＲＴ ＴＥＣＨＮＯＬＯＧＩＥＳ ＵＬＣ
【Ｆターム（参考）】
【公表日】平成２３年７月２１日（２０１１．７．２１）
【国際特許分類】
【出願日】平成２１年５月８日（２００９．５．８）
【国際出願番号】ＰＣＴ／ＣＡ２００９／０００６４３
【国際公開番号】ＷＯ２００９／１３５３２１
【国際公開日】平成２１年１１月１２日（２００９．１１．１２）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
２．ＺＩＧＢＥＥ
【出願人】（５９２２２１２６３）スマート テクノロジーズ ユーエルシー (15)
【氏名又は名称原語表記】ＳＭＡＲＴ ＴＥＣＨＮＯＬＯＧＩＥＳ ＵＬＣ
【Ｆターム（参考）】
[ Back to top ]