説明

識別用コード・センサを有する面用検知装置

【課題】 面に対して使用するための検知装置を提供すること。
【解決手段】検知装置は、面に対する検知装置の運動を示す運動データを発生するように構成されている運動センサと、面にマークをつけるためのペン先であって、ペン先の少なくとも1つの面にマークをつける特性を示すペン先情報を有するペン先と、コンピュータ・システムにペン先情報と一緒に運動データを送信するための送信機と、面上に配置されたコード化データを検知することにより、面のある領域の識別を示す識別データを発生するように構成されているコード・センサとを含み、コード化データが面の少なくとも1つの領域の識別を示し、運動センサが運動データ内に識別データを含むように構成されており、コード化データが複数のタグを含み、各タグが、タグが位置する面にある領域の識別を示す。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して、互換性のあるペン先を有する描画装置に関し、特に自身の動作を検知し、検知動作データをペン先情報と組み合わせる描画装置に関する。
(同時係属出願)
本発明に関する種々の方法、システムおよび装置は、本願と同時に、本発明の出願人または譲受人が出願した下記の同時係属出願に開示されている:PCT/AU00/01273、PCT/AU00/01279、PCT/AU00/01288、PCT/AU00/01282、PCT/AU00/01276、PCT/AU00/01280、PCT/AU00/01274、PCT/AU00/01289、PCT/AU00/01275、PCT/AU00/01277、PCT/AU00/01286、PCT/AU00/01281、PCT/AU00/01278、PCT/AU00/01287、PCT/AU00/01285、PCT/AU00/01284、およびPCT/AU00/01283。上記同時係属出願の開示は、相互参照によって本明細書の記載に援用する。
【0002】
本発明に関する種々の方法、システムおよび装置は、2000年9月15日に、本発明の出願人または譲受人が出願した下記の同時係属出願に開示されている:PCT/AU00/01108、PCT/AU00/01110、およびPCT/AU00/01111。上記同時係属出願の開示は、相互参照によって本明細書の記載に援用する。
【0003】
本発明に関する種々の方法、システムおよび装置は、2000年6月30日に、本発明の出願人または譲受人が出願した下記の同時係属出願に開示されている:PCT/AU00/00762、PCT/AU00/00763、PCT/AU00/00761、PCT/AU00/00760、PCT/AU00/00759、PCT/AU00/00758、PCT/AU00/00764、PCT/AU00/00765、PCT/AU00/00766、PCT/AU00/00767、PCT/AU00/00768、PCT/AU00/00773、PCT/AU00/00774、PCT/AU00/00775、PCT/AU00/00776、PCT/AU00/00777、PCT/AU00/00770、PCT/AU00/00769、PCT/AU00/00771、PCT/AU00/00772、PCT/AU00/00754、PCT/AU00/00755、PCT/AU00/00756、およびPCT/AU00/00757。上記同時係属出願の開示は、相互参照によって本明細書の記載に援用する。
【0004】
本発明に関する種々の方法、システムおよび装置は、2000年5月23日に、本発明の出願人または譲受人が出願した下記の同時係属出願に開示されている:
PCT/AU00/00518、PCT/AU00/00519、PCT/AU00/00520、PCT/AU00/00521、PCT/AU00/00522、PCT/AU00/00523、PCT/AU00/00524、PCT/AU00/00525、PCT/AU00/00526、PCT/AU00/00527、PCT/AU00/00528、PCT/AU00/00529、PCT/AU00/00530、PCT/AU00/00531、PCT/AU00/00532、PCT/AU00/00533、PCT/AU00/00534、PCT/AU00/00535、PCT/AU00/00536、PCT/AU00/00537、PCT/AU00/00538、PCT/AU00/00539、PCT/AU00/00540、PCT/AU00/00541、PCT/AU00/00542、PCT/AU00/00543、PCT/AU00/00544、PCT/AU00/00545、PCT/AU00/00547、PCT/AU00/00546、PCT/AU00/00554、PCT/AU00/00556、PCT/AU00/00557、PCT/AU00/00558、PCT/AU00/00559、PCT/AU00/00560、PCT/AU00/00561、PCT/AU00/00562、PCT/AU00/00563、PCT/AU00/00564、PCT/AU00/00565、PCT/AU00/00566、PCT/AU00/00567、PCT/AU00/00568、PCT/AU00/00569、PCT/AU00/00570、PCT/AU00/00571、PCT/AU00/00572、PCT/AU00/00573、PCT/AU00/00574、PCT/AU00/00575、PCT/AU00/00576、PCT/AU00/00577、PCT/AU00/00578、PCT/AU00/00579、PCT/AU00/00581、PCT/AU00/00580、PCT/AU00/00582、PCT/AU00/00587、PCT/AU00/00588、PCT/AU00/00589、PCT/AU00/00583、PCT/AU00/00593、PCT/AU00/00590、PCT/AU00/00591、PCT/AU00/00592、PCT/AU00/00594、PCT/AU00/00595、PCT/AU00/00596、PCT/AU00/00597、PCT/AU00/00598、PCT/AU00/00516、PCT/AU00/00517、およびPCT/AU00/00511。
【0005】
上記同時係属出願の開示は、相互参照によって本明細書の記載に援用する。
【背景技術】
【0006】
面にマークをつけると同時に、その面に対する装置自体の運動データを捕捉するペン型の装置が説明されている。上記装置には、装置自体の運動を埋設タイプの加速度計により感知するものと、面上の、機械で読み取り可能に符号化してある情報を検出して感知するものとがある。後者のタイプについては、例えば、米国特許第5,477,012号、米国特許第5,652,412号およびPCT出願第WO99/50787号を参照されたい。
【発明の概要】
【発明が解決しようとする課題】
【0007】
これらペン型の装置に様々な色や線幅の特性を持つ交換ペン・カートリッジを取り付けることができるが、その場合、装置は上記運動データを捕捉するが、これらの特性は捕捉しない。
【課題を解決するための手段】
【0008】
第1の態様では、本発明は、面に対して使用するための検知装置を提供する。該検知装置は、面に対する検知装置の運動を示す運動データを発生するように構成されている運動センサと、面にマークをつけるためのペン先であって、該ペン先の少なくとも1つの面にマークをつける特性を示すペン先情報を有するペン先と、コンピュータ・システムにペン先情報と一緒に運動データを送信するための送信機と、前記面上に配置されたコード化データを検知することにより、前記面のある領域の識別を示す識別データを発生するように構成されているコード・センサとを含み、前記コード化データが、前記面の少なくとも1つの領域の識別を示し、前記運動センサが、前記運動データ内に前記識別データを含むように構成されており、前記コード化データが複数のタグを含み、各タグが、前記タグが位置する前記面にある領域の識別を示すものである。
【0009】
検知装置は、本体部分を含み、ペン先は、本体部分に着脱することができる独立した部材であることが好ましい。
検知装置は、ペン先からペン先情報を入手するための問い合わせ装置を含むことが好ましい。
【0010】
面にマークをつける特性は、ペン先の形、ペン先の大きさ、線の幅、色または肌目であることが好ましい。
ペン先は、ペン先情報を記憶するための記憶装置を含むことが好ましい。
【0011】
検知装置は、ペン先情報と運動データを記憶するための記憶装置を含むことが好ましい。
検知装置の本体部分は、ペンの形をしていて、ペン先をペンの縦方向の端部に取り付けることができることが好ましい。
【0012】
検知装置は、面上に配置されたコード化データを検知することにより、面に対する検知装置の位置を示す位置データを発生するように構成されているコード・センサを含み、コード化データは、面の少なくとも1つの基準点を示し、運動センサは、位置データにより運動データを発生するように構成されていることが好ましい。
【0013】
コード化データは、複数のタグを含み、各タグは面上のタグの位置を示すことが好ましい。
検知装置は、検知装置が面に対して運動した場合に、検知装置の加速を示す加速データを発生するように構成されている少なくとも1つの加速センサを含み、運動センサは、加速データにより運動データを発生するように構成されていることが好ましい。
【0014】
加速センサは、加速の少なくとも2つのほぼ直交する成分を検知するように構成されていることが好ましい。
検知装置は、画像センサを含み、画像センサは、検知装置付近の面を画像化することにより画像データを発生するように構成されていて、運動センサは、画像データにより運動データを発生するように構成されていることが好ましい。
【0015】
ペン先情報は、ペン先の少なくとも1つの面にマークをつける特性を示すペン先スタイル情報を含むことが好ましい。
ペン先情報は、ペン先識別子を含み、コンピュータ・システムは、ペン先の少なくとも1つの面にマークをつける特性を示すペン先スタイル情報を維持し、ペン先識別子によりペン先スタイル情報にアクセスすることができることが好ましい。
【0016】
ペン先情報は、ペン先に関連する1つの機能も示すことが好ましい。
第2の態様では、本発明は、本発明の第1の態様の検知装置による面上でのストロークのファクシミリを捕捉するためのシステムを提供する。該システムは、検知装置を含み、コンピュータ・システムは、検知装置から運動データおよびペン先情報を受信するように構成されている受信機を含み、コンピュータ・システムは、ストロークのファクシミリとして、運動データおよびペン先情報を解釈するように構成されている。
【0017】
システムは、面上に位置するコード化データを有する面を含むことが好ましい。
本発明の特徴および利点は、添付の図面を参照しながら本発明の実施形態の以下の説明から理解することができるだろう。しかし、この説明は単なる例示としてのものにすぎない。
【図面の簡単な説明】
【0018】
【図1】印刷されたネットページのサンプルとそのオンライン・ページ記述との関係の概略図である。
【図2】ネットページ・ペンとネットページ・プリンタとネットページ・ページ・サーバとネットページ・アプリケーション・サーバとの対話の概略図である。
【図3】印刷されたネットページおよびそのオンライン・ページ記述の高レベル構造の概略図である。
【図4a】ネットページ・タグの構造を示す平面図である。
【図4b】図4aに示したタグのセットとネットページ・ペンの形態のネットページ検知装置の視野との関係を示す平面図である。
【図5a】ネットページ・タグの代替構造を示す平面図である。
【図5b】図5aに示したタグのセットと、ネットページ・ペンの形態のネットページ検知装置の視野との関係を示す平面図である。
【図5c】ターゲットを隣接するタグ間で共有する、図5aに示したタグのうち9つの配置構成を示す平面図である。
【図5d】図5aに示したタグの4つの符号語の記号の挿入および回転を示す平面図である。
【図6】タグ画像処理および復号アルゴリズムの概略図である。
【図7】ネットページ・ペンおよびそれに関連するタグ感知視野の円錐の斜視図である。
【図8】図7で示したネットページ・ペンの斜視組立分解図である。
【図9】図7および図8で示したネットページ・ペンのペン・コントローラの概略ブロック図である。
【図10】ペン光路の概略図である。
【図11】ストローク捕獲アルゴリズムの流れ図である。
【図12】生デジタル・インク・クラス図の概略図である。
【図13】図7で示したネットページ・ペンのスライダ・ブロックに挿入されたインク充填のクローズアップ斜視図である。
【図14】図7で示したネットページ・ペンのインク充填およびスライダ・ブロックのクローズアップ斜視図である。
【発明を実施するための形態】
【0019】
次に、本発明の好ましい実施形態および他の実施形態について、非制限的な例によってのみ添付の図面を参照しながら説明する。
(好ましい実施形態および他の実施形態の詳細な説明)
注意:Memjet(登録商標)は、オーストラリアのシルバーブルック・リサーチ社の登録商標である。
【0020】
好ましい実施形態では、本発明は、ネットページ・ネットワーク化コンピュータ・システムと共に作動するよう構成されるが、その概要およびその詳細な説明は本出願人の以前の出願、特にPCT/AU00/00569(文書第NPT002号)、PCT/AU00/00565(文書第NPS001号)、PCT/AU00/00561(文書第NPP003号)、PCT/AU00/00519(文書第NPA002号)およびPCT/AU00/00578(文書第IJ52号)に示される。必ずしも全ての実施方式が、基本システムに関してこれらの出願に記載された特定の詳細および拡張の全て、またはほとんどを実現するものでないことが理解される。しかし、本発明の好ましい実施形態および態様が機能する状況を理解する上で補助となるよう、システムを最も完全な形態で説明する。
【0021】
簡潔にまとめると、ネットページ・システムの好ましい形態は、マップ化された面、すなわち、コンピュータ・システム内に保持された面用マップに対する標点を含む物理的面の形態のコンピュータ・インタフェースを採用する。上記マップ標点は、適切な検知装置により照会され得る。特定の実施方式に依存して上記マップ標点は、可視にもしくは不可視にコード化され得るとともに、マップ化された面上で局部的照会を行うと当該マップ内および別の各マップ内の両者において明瞭なマップ標点が得られるように定義され得る。上記コンピュータ・システムは、上記マップ化された面上の形状特徴に関する情報を含み得ると共に、斯かる情報は、上記マップ化された面と共に使用される検知装置により供給されるマップ標点に基づき検索され得る。この様に検索された情報は、面の上記各形状特徴に対する操作者の相互作用に応じて該操作者に代わって上記コンピュータ・システムにより開始されるアクションの形態を取ることができる。
【0022】
上記ネットページ・システムはその好ましい形態において、ネットページの作成、および、ネットページに対するユーザの対話に依存する。これらは通常の用紙上に印刷されたテキスト、グラフィックおよび画像のページであるが、それらはインタラクティブ・ウェブ・ページのように作用する。情報は、人間の肉眼ではほぼ不可視なインクを使用して各ページ上にコード化される。但し上記インクは、故に上記コード化データは、光学的作像ペンにより検知されてネットページ・システムへと送信される。
【0023】
好ましい形態においては、各ページ上の各アクティブ・ボタンおよび各ハイパーリンクが上記ペンによりクリックされ、上記ネットワークからの情報を要求し、または、ネットワーク・サーバに対して選好性を信号送信し得る。一実施形態において、ネットページ上に手書きされたテキストは上記ネットページ・システムにおいて自動的に認識されてコンピュータ用テキストに変換されることから、フォームへと記入され得る。他の実施形態においては、ネットページ上に記録された署名が自動的に照合されることから、電子商取引のトランザクションが安全に許可される。
【0024】
図1に示されるように、印刷されたネットページ1は、対話フォームを表し得、該フォームはユーザにより、印刷されたページ上で物理的に、且つ、ペンとネットページ・システムとの間の通信により「電子的」に記入され得る。上記例は、氏名および住所フィールドと提出ボタンとを含む「リクエスト」フォームを示している。上記ネットページは、可視インクを使用して印刷されたグラフィック・データ2と、不可視インクを使用してタグ4の集合として印刷されたコード化データ3とから成る。上記ネットページネットワーク上に記憶された対応するページ記述5は、上記ネットページの個々の要素を記述する。特に上記ページ記述は、各対話エレメント(すなわち、上記例におけるテキストフィールドおよびボタン)の種類および空間的範囲(区域)を記述することから、上記ネットページ・システムは上記ネットページを介した入力を正しく解読し得る。提出ボタン6は、例えば、対応グラフィック8の空間的範囲に対応する区域7を有する。
【0025】
図2に示すように、ネットページ・ペン101は、その好ましい形態が以前の出願PCT/AU00/00565(文書第NPS001号)に記載され、ネットページ・プリンタ601、つまり家庭、オフィスまたは移動用のインターネット接続の印刷器具との組合せで作動する。ペンは無線であり、短距離無線リンク9を介してネットページ・プリンタと確実に通信する。
【0026】
ネットページ・プリンタ601は、その好ましい形態が以前の出願PCT/AU00/00561(文書第NPP003号)および共願出願PCT/AU00/01281(文書第NPS024US号)に記載され、定期的に、またはオン・デマンドで個別化新聞、雑誌、カタログ、パンフレットおよび他の発行物を送付し、全ては対話式ネットページとして高品質で印刷される。パーソナル・コンピュータとは異なり、ネットページ・プリンタは、例えばユーザの台所のように、朝のニュースを最初に見るエリアに隣接するか、朝食用テーブルの付近、または家族が家を出る箇所の付近の壁に装着することができる器具である。テーブルトップ、デスクトップ、携帯用、および小型バージョンもある。
【0027】
必要な箇所にて印刷されたネットページは、用紙の簡便性と、インタラクティブ媒体の適時性および対話性とを組合せている。
図2に示されるように、ネットページ・ペン101は印刷されたネットページ1上の上記コード化データと対話し、この対話を短距離無線回線9を介してネットページ・プリンタへと通信する。プリンタ601は、この対話を、解読のために適切なネットページ・ページサーバ10へと送信する。適切な環境において、上記ページサーバは、ネットページ・アプリケーション・サーバ13上で動作しているアプリケーション・コンピュータ・ソフトウェアへ対応するメッセージを送信する。その結果として、上記アプリケーション・サーバは元のプリンタ上で印刷される応答を送信することができる。
【0028】
ネットページ・システムは、好ましい実施形態では、例えば本出願人の以前の出願PCT/AU00/00578(文書第IJ52号)に記載された、高速超小型電気機械システム(MEMS)ベースのインクジェット(Memjet(登録商標))との組合せで使用することにより、大幅に便利になっている。このテクノロジーの好ましい形態では、比較的高速で高品質の印刷が、消費者にとってさらに手頃になる。この好ましい形態では、ネットページ・パブリケーションは、両側にフル・カラーで印刷され、簡単なナビゲーションおよび快適な取扱いのために相互に結合されたレター・サイズの光沢紙のセットのような従来のニュースマガジンの物理的特徴を有する。
【0029】
ネットページ・プリンタは、ブロードバンド・インターネット・アクセスの可用性増大を利用する。ネットページ・プリンタは、より低速の接続で操作することもできるが、送出時間が長くなり、画像品質が低下する。ネットページ・システムは、既存の消費者のインクジェットおよびレーザ・プリンタを使用しても実行可能になるが、システムの動作速度が低下し、したがって消費者の視点からはそれほど許容できない。他の実施形態では、ネットページ・システムは非公開イントラネットをホストとする。さらに他の実施形態では、ネットページ・システムは、1つのコンピュータまたはプリンタなどのコンピュータで実行可能な装置をホストとする。
【0030】
上記ネットページネットワーク上のネットページ発行サーバ14は、ネットページ・プリンタに対して印刷品質の発行物を配布するように構成される。加入している各ネットページ・プリンタに対しては、ポイントキャストもしくはマルチキャストインターネット・プロトコルにより定期的発行物が自動的に配信される。個人用発行物は、個々のユーザ・プロファイルに従いフィルタリングおよびフォーマットされる。
【0031】
ネットページ・プリンタは任意の個数のペンをサポートするように構成することができると共に、ペンは任意の台数のネットページ・プリンタと協働することができる。好適実施方式において、各ネットページ・ペンは一意のID(識別)を有する。ひとつの家庭は、家族の各々に1本ずつ割り当てられた色付ネットページ・ペンの集合を有することができる。これにより各ユーザは、ネットページ発行サーバもしくはアプリケーション・サーバに関して別個のプロファイルを維持することができる。
【0032】
ネットページ・ペンはまた、ネットページ登録サーバ11に登録され得ると共に、ひとつ以上の支払カード口座にリンクすることができる。これにより、上記ネットページ・ペンを使用して電子商取引の支払いが安全に許可され得る。上記ネットページ登録サーバは上記ネットページ・ペンにより捕捉された署名を予め登録された署名と比較することから、該ネットページ登録サーバはユーザのIDを電子商取引サーバに対して認証し得る。IDを照合する上では、他のバイオメトリック値も使用することができる。ネットページ・ペンの変形例は、上記ネットページ登録サーバにより同様に照合される指紋の読取りを含む。
【0033】
ネットページ・プリンタはユーザの介在なしで朝刊などの定期発行物を配布することができるが、求められないジャンク・メールなどは配信されないように構成することができる。その好ましい形態において上記プリンタは、購読契約された供給源もしくは権限付与された供給源からの定期発行物のみを配布する。この点に関して上記ネットページ・プリンタは、電話番号もしくは電子メール・アドレスを知った一切のジャンク・メーラから見えるファックス装置もしくは電子メール・アカウントとは異なるものである。
【0034】
システムの各オブジェクト・モデルを、統一モデリング言語(ULM)クラス概念図を使用して説明する。クラス概念図は、関係によって接続されたオブジェクト・クラスのセットで構成され、ここでは2種類の関係、つまり連想および一般化が対象となる。連想は、オブジェクト間の、つまりクラスのインスタンス間にあるある種の関係を表す。一般化は実際のクラスに関係し、以下の方法で理解することができる。つまりクラスが、そのクラスの全オブジェクトのセットと考えられ、クラスAがクラスBの一般化である場合、Bは単にAのサブセットである。各クラスは、クラスの名前のラベルを付けた長方形として描かれる。これは、水平の線で名前から分離したクラスの属性のリスト、および水平の線で属性リストから分離したクラスの操作のリストを含む。しかし、以降のクラス概念図では、操作はモデル化されない。連想は、2つのクラスを結合する線として描かれ、任意選択で各端に連想の多重度(multiplicity)のラベルを付ける。デフォルトの多重度は1である。アスタリスク(*)は「多く」の多重度、つまりゼロまたはそれより多くを示す。各連想には、任意選択で名前のラベルを付け、任意選択で各端に対応するクラスの役割のラベルも付ける。白いダイヤモンド形は集合連想(「〜は〜の一部(is−part−of)」)を示し、連想線の集合器端部に描かれる。一般化関係(「〜は〜(is−a)」)は2つのクラスを結ぶ実線として描かれ、一般化の端部に(白い三角形の形態の)矢印がある。クラス概念図を複数の概念図に分割すると、複製されたクラスは、これを定義する主要概念図以外の全てが点線の輪郭で図示される。これは、定義された場合のみ属性を付けて示される。
【0035】
ネットページは、ネットページネットワークが構築される基礎である。ネットページは、発行された情報およびインタラクティブ・サービスに対する紙ベースのユーザインタフェースを提供する。ネットページは、そのページのオンライン記述に関して不可視にタグ付けされた印刷されたページ(または他の面領域)から成る。オンライン・ページ記述は、ネットページ・ページサーバにより永続的に維持される。上記ページ記述は、テキスト、グラフィックおよび画像などの、そのページの可視のレイアウトおよび内容を記述する。上記ページ記述はまた、ボタン、ハイパーリンクおよび入力フィールドなどのページ上の入力用エレメントも記述する。ネットページによれば、上記ネットページ・システムにより同時に捕捉かつ処理されることを可能にするマーキングがネットページ・ペンにより当該ネットページ上に行われ得る。
【0036】
複数のネットページが同じページ記述を共有することができる。しかし、他は等しいページからの入力を識別できるよう、各ネットページには一意のページ識別子が割り当てられる。このページIDは、非常に多数のネットページ同士を区別するのに十分な精度を有する。
【0037】
上記ページ記述への参照は、印刷されたタグ内にコード化される。このタグはタグが現れる一意的ページを識別することによりページ記述を間接的に識別する。タグはまた、ページ上におけるタグ自身の位置も識別する。各タグの特性は以下において更に詳述される。
【0038】
タグは、通常の用紙などの赤外線反射性な任意の物質上に赤外線吸収インクで印刷される。近赤外線波長は人間の目には不可視であるが、適切なフィルタを備えた半導体画像センサにより容易に検知される。
【0039】
タグはネットページ・ペン内の領域画像センサにより検知され、且つ、タグ・データは最も近くに在るネットページ・プリンタを介して上記ネットページ・システムに送信される。上記ペンは無線により、短距離無線回線を介して上記ネットページ・プリンタと通信する。各タグは十分に小寸であると共に、ペンがページ上を一回クリックしただけで少なくとも一個のタグを確実に作像し得るように稠密に配置される。ページに対して対話を行う毎にページIDおよび位置をペンが認識することは重要である。何故なら、上記対話はステートレスだからである。各タグは、面の損傷に対して部分的に耐性を有すべく、エラー補正可能にコード化される。
【0040】
上記ネットページ・ページサーバは各印刷済ネットページに対する一意的ページインスタンスを維持することにより、各印刷済ネットページに対するページ記述における各入力フィールドに対してユーザが供給した値の別個の群を維持することができる。
【0041】
ページ記述とページ・インスタンスと印刷されたネットページとの関係を図3に示す。印刷されたネットページは、印刷されたネットページ・ドキュメント45の一部でよい。ページ・インスタンスは、これを印刷したネットページ・プリンタと、分かっている場合はこれを要求したネットページ・ユーザとの両方を伴う。
【0042】
好ましい形態において各タグは、それが現れる領域と、その領域内におけるそのタグの所在位置とを識別する。タグはまた、全体としてその領域、または、そのタグに関連する各フラグも含み得る。一個以上のフラグ・ビットは例えばタグ検知装置に対して信号を送信して、領域の記述を検知装置が参照することなく、そのタグの即時領域に関連する機能を表すフィードバックを提供する。ネットページ・ペンは、例えば、ハイパーリンクの区域内に在るときに、「アクティブ領域」LEDを点灯し得る。
【0043】
好ましい実施形態において各タグは容易に認識される不変の構造を含むが、該構造は、初期検出を助力すると共に、面により誘起された一切の撓みに起因するか、または検知プロセスに起因する影響を最小化するのを助ける。各タグは好適にはページ全体をタイルすると共に、各タグは十分に小寸であり且つペンがページ上を一回クリックしただけで少なくとも一個のタグを確実に作像し得るように稠密に配置される。ページに対して対話を行う毎にページIDおよび位置をペンが認識することは重要である。何故なら、上記対話はステートレスだからである。
【0044】
好ましい実施形態においてタグが参照する領域はページ全体と一致することから、上記タグ内にコード化された領域IDは、そのタグが現れるページのページIDと同義である。他の実施形態においては、タグが参照する領域はページもしくは他の面における任意の部分的領域とすることができる。例えば、それは、対話エレメントの区域と一致し得るが、その場合に領域IDはその対話エレメントを直接的に識別することができる。
【0045】
各タグは、通常、16ビットのタグID、少なくとも90ビットの領域ID、および幾つかのフラグ・ビットを含む。最大タグ密度が1平方インチ当たり64であると仮定して、16ビットのタグIDは、最大1024平方インチの領域サイズをサポートする。単に接合する領域およびマップを使用することにより、タグIDの精度を上げることなく、より大きい領域を連続的にマップすることができる。領域IDとタグIDの区別が、大抵は便利なことに一つである。大部分の目的で、この2つの連結は、帯域的に一意のタグIDと見なすことができる。逆に、例えばタグのxおよびy座標を定義するため、構造をタグIDに導入するのも都合がよい。90ビットの領域IDにより、290(約1027)の異なる領域を一意に識別することができる。タグはタイプ情報も含むことができ、領域には、タグ・タイプの混合でタグ付けすることができる。例えば、領域は、x座標をコード化するタグのセット、および最初のセットにインタリーブし、y座標をコード化する別のセットでタグ付けすることができる。
【0046】
1つの実施形態では、(15,5)リード・ソロモン符号を使用して120ビットのタグ・データを冗長コード化する。これにより、それぞれが15の4ビット記号である符号語6個で構成された360のコード化されたビットが生成される。(15,5)コードにより、符号語毎に5個の記号エラーを修正することができる。つまり、これは符号語毎に最大33%の記号エラー率を許容する。各4ビット記号は、タグ内で空間的に整合のとれた方法で表され、符号語6個の記号が空間的にタグ内にインタリーブされる。これは、バースト・エラー(空間的に隣接する複数のビットに影響するエラー)が損傷を耐えるのが、全体的に最小数の記号、および任意の1つの符号語で最小数の記号となることを保証し、したがってバースト・エラーを十分に修正できる可能性が最大となる。
【0047】
(15,5)リード・ソロモン符号の代わりに、例えば同じ、または異なる記号および符号語のサイズで多少冗長なリード・ソロモン符号、別のブロック・コード、または重畳コードなどの別種のコードなど、任意の適切なエラー修正コードを使用することができる(例えば、Stephen B. Wickerの「Error Control Systems for Digital Communication and Storage」(Prentice−Hall 1995)を参照し、その内容は相互参照により本明細書に組み込まれる)。
【0048】
図4aに示し、本出願人の以前の出願PCT/AU00/00569(文書第NPT002号)に記載されたタグの物理的表現の1つの実施形態は、固定ターゲット構造15、16、17および可変データ・エリア18を含む。固定ターゲット構造により、ネットページ・ペンなどの検知装置がタグを検出し、センサに対するその3次元方位を推定することができる。データ・エリアは、コード化タグ・データの個々のビットの表示を含む。そのサイズを最大にするため、各データ・ビット2つの半径方向の線および2つの同心円の円弧によって制限されたエリアの形態の半径方向楔によって表す。各楔は、1600dpiで8ドットの最小寸法を有し、そのベース(内弧)が少なくともこの最小寸法と等しくなるよう設計される。半径方向の楔の高さは、常に最小寸法と等しい。各4ビット・データ記号は、2×2の楔の列で表される。それぞれが符号語6個である15の4ビット・データ記号が、インタリーブされた状態で、4つの同心円の記号リング18aから18dに割り当てられる。あるいは、記号は、タグの周囲で円形に進行するよう割り当てる。インタリーブは、同じ符号語の任意の記号2個間の平均空間距離を最大にするよう設計される。
【0049】
検知装置を介したタグ付き領域との「シングル・クリック」対話をサポートするため、検知装置は、領域のどの箇所でも、あるいはその方向に配置されていても、その視野で少なくとも1つのタグ全体を見ることができねばならない。したがって、検知装置の視野に必要な直径は、タグのサイズおよび間隔の関数である。タグの形状が円形であるとすると、センサの視野193の最小直径は、タグが図4bで示すように正三角形グリッドにタイルのように並べた場合に獲得される。
【0050】
ネットページ・ペンなどの検地装置によって実行されるタグ画像処理および復号を、図6に示す。捕獲画像が画像センサから獲得される間に、画像の動的範囲が(20にて)決定される。次に、範囲の中心を画像21の2進閾値として選択する。次に、(22にて)画像を閾値処理し、接続されたピクセル領域(すなわち、形状23)に区分する。タグ・ターゲット構造を表すには小さすぎる形状は廃棄される。各形状のサイズおよび重心も計算する。
【0051】
次に、(24にて)形状ごとに2進形状モーメント25を計算し、それがその後に位置決めするターゲット構造のベースを提供する。中心形状モーメントは、本来、位置が一定であり、容易に縮尺、縦横比および回転を一定にすることができる。
【0052】
リング・ターゲット構造15を最初に(26にて)位置決めする。リングは、透視図が歪んだ場合に非常に良好に挙動するという利点を有する。マッチングは、各形状のモーメントのアスペクト正規化および回転正規化によって進行する。2次モーメントが正規化されると、個々の歪みが重大でも、リングは容易に認識される。リングの元のアスペクトおよび回転27がともに、個々の変形の有用な近似を提供する。
【0053】
次に、(28にて)軸ターゲット構造16を位置決めする。マッチングは、各形状のモーメントにリングの正規化を、その結果生じたモーメントに回転正規化を適用することによって進行する。2次モーメントが正規化されると、軸ターゲットが容易に認識される。軸に可能な2つの方位を明確にするために、1つの3次モーメントが必要であることに留意されたい。これを可能にするために、形状を一方側に意図的に歪める。リングの正規化を適用した後でのみ、軸ターゲットの回転正規化が可能であることも留意されたい。透視歪みが軸ターゲットの軸を隠蔽することがあるからである。軸ターゲットの元の回転は、ペンの片揺れ29によるタグの回転の有用な近似を提供する。
【0054】
最後に、(30にて)4つの透視ターゲット構造17を位置決めする。その位置の良好な推定が、リングおよび軸ターゲット、リングのアスペクトおよび回転、および軸の回転に対するその既知の空間的関係に基づいて計算される。マッチングは、各形状のモーメントへリングの正規化を適用することによって進行する。その2次モーメントが正規化されると、円形の透視ターゲットが容易に認識され、各推定位置に最も近いターゲットがマッチと見なされる。次に、4つの透視ターゲットの元の重心を、タグ空間で既知のサイズの正方形の透視歪み角31と見なし、(32にて)4つのタグ空間と画像空間のポイント対に関して十分に理解された等式の解に基づき、8自由度の透視変形33を推定する(P. Heckbertの「Fundamentals of Texture Mapping and Image Warping」、カリフォルニア大学バークレー校EECS学部修士論文、テクニカル・レポートNo. UCB/CSD 89/516、1989年6月号参照、そのコメントは相互参照により本明細書に組み込まれる)。
【0055】
(36にて)推定したタグ空間と画像空間の透視変形を使用し、タグ空間の各既知データ・ビット位置を画像空間に投影し、ここで実値の位置を使用し、(36にて)入力画像の4つの関連する隣接ピクセルを双一次補間する。以前に計算した画像閾値21を使用して結果を閾値処理し、最終的なビット値37を生成する。
【0056】
この方法で360のデータ・ビット37を全て獲得したら、6つの60ビット・リード・ソロモン符号語それぞれを(38にて)復号し、20の復号ビット39を生成する。すなわち、合計で120の復号ビットを生成する。符号語の記号は符号語の順序でサンプリングされ、したがって符号語はサンプリングのプロセス中に暗黙の中にインターリーブ解除する。
【0057】
リング・ターゲット15は、画像との関係で、リングが発見されたら、それが完全なタグの一部であることを保証する画像のサブエリアでのみ研削される。完全なタグが発見されず、復号に成功しない場合は、現フレームについてペン位置が記録されない。十分な処理力があり、理想的には非最小視野193がある場合、代替戦略は、現画像で別のタグをシークすることを含む。
【0058】
獲得されたタグ・データは、タグを含む領域のID(識別)および領域内のタグの位置を示す。次に、タグで観察される透視変形33、およびペンの物理軸とペンの光学軸との間で分かっている空間的関係から、領域内のペン先の正確な位置35、さらにペンの全体的方位35を(34にて)推定する。
【0059】
直前に述べたタグ構造は、平面の面を規則的にタイル貼りすることと、非平面の面を不規則にタイル貼りすることとの両方を可能にするよう設計される。規則的なタイル貼りは、概して、非平面の面では不可能である。タグの規則的なタイル貼りが可能である、より一般的な平面の面、つまり紙などの面の場合、タイル貼りの規則的な性質を利用する、より効率的なタグ構造を使用することができる。
【0060】
規則的なタイル貼りにさらに適した代替タグ構造を、図5aに示す。タグ4は正方形であり、4つの透視ターゲット17を有する。これは、Bennettその他が米国特許第5,051,746号で記載したタグと構造が似ている。タグは、60個の4ビットのリード・ソロモン記号47を表し、合計で240ビットである。タグは、各1ビットをドット48で表し、各ゼロ・ビットを対応するドットがないことで表す。透視ターゲットは、図5bおよび図5cで示すように、隣接するタグ間で共有するよう設計される。図5bは、タグ16個の正方形のタイル貼り、および対応する最小の視野193を示し、これは2つのタグの対角線にまたがらなければならない。図5cは、タグ9個の正方形のタイル貼りを示し、これは例示のために全て1ビットを含む。
【0061】
(15,7)リード・ソロモン符号を使用して、112ビットのタグ・データを冗長コード化し、240のコード化ビットを生成する。4つの符号語をタグ内に空間的にインタリーブし、バースト・エラーに対する障害許容力を最大にする。前述のように15ビットのタグIDを仮定すると、これによって最大92ビットの領域IDが可能になる。タグのデータを有するドット48は、隣接ドットと重複しないよう設計され、したがってタグのグループは、ターゲットに類似する構造を生成することができない。これはインクも節約する。したがって、透視ターゲットはタグの検出を可能にし、したがってさらなるターゲットは不必要である。タグ画像処理は、ステップ26及び28が無いこと以外は、上述のように処理される。
【0062】
タグは、センサに対して可能な4つの方位の明確化を可能にする方位特徴を有することができるが、タグ・データに方位データを埋め込むことも可能である。例えば、各タグの方位が、図5dに示すようにその方位で配置された1つの符号語を含むよう、4つの符号語を配置することができ、各記号にはその符号語の番号(1〜4)および符号語内における記号の位置(A〜O)でラベル付けする。次に、タグ復号は、各方位で1つの符号語を復号することで構成される。各符号語は、それが最初の符号語か示す1つのビット、またはそれがどの符号語か示す2つのビットを含むことができる。後者のアプローチは、例えば1つのみの符号語のデータ内容が必要な場合に、所望のデータを獲得するために最大2つの符号語を復号すればよいという利点を有する。領域IDがストローク内で変化せず、したがってストロークの開始時にのみ復号される場合に、これが当てはまる。これで、ストローク内では、タグIDを含む符号語のみが望まれる。さらに、検知装置の回転はストローク内でゆっくり予想通りに変化するので、通常は、フレーム当たり1つの符号語のみ復号すればよい。
【0063】
完全に透視ターゲットなしで済まし、代わりに自動登録するデータ表示を使用することが可能である。この場合、各ビット値(または多ビット値)は通常、明示的グリフによって表される。つまりビット値がないことは、グリフの不在によって表される。これは、データ・グリッドが適切にポピュレートされることを保証し、したがってグリッドを確実に識別して、その透視歪みを検出し、その後にデータ・サンプリング中に修正することができる。タグ境界の検出を可能にするため、各タグ・データはマーカ・パターンを含まねばならず、確実な検出を可能にするため、これを冗長コード化しなければならない。このようなマーカ・パターンのオーバヘッドは、明示的透視ターゲットのオーバヘッドと類似している。このような方式の1つは、グリッド頂点に対して様々な点に配置されたドットを使用して、様々なグリフを表し、したがって異なる多ビット値を表す(Anote Technology Description(Anote April
2000)参照)。
【0064】
タグを復号すると、領域ID、タグIDおよびタグ相対ペンが変形する。タグIDおよびタグ相対ペンの位置をタグ付き領域内の絶対位置に変換するには、その前に領域内のタグの位置を知らねばならない。これはタグ・マップによって与えられ、これはタグ付き領域内の各タグIDを対応する位置にマップする機能である。タグ・マップは面領域をタグでタイル貼りするために使用する方式を反映し、これは面のタイプによって変化することができる。複数のタグ付き領域が同じタイル貼り方式および同じタグ・ナンバリング方式を共有している場合、これは同じタグ・マップも共有することができる。領域のタグ・マップは、領域IDを介して検索可能でなければならない。したがって、領域ID、タグIDおよびペン変形が与えられれば、タグ・マップを検索し、タグIDを領域内の絶対タグ位置に変換し、タグ相対ペンの位置をタグ位置に追加して、領域内に絶対ペン位置を生成することができる。
【0065】
タグIDは、タグ・マップを通した変換を補助する構造を有することができる。これは、それが表示される面のタイプに応じて、例えばコード化されたデカルト座標または極座標でよい。タグID構造は、タグ・マップに命令されて、タグ・マップに認識され、したがって異なるタグ・マップに関連するタグIDは異なる構造を有することができる。
【0066】
2つの異なる面コード化方式が重要であり、その両方とも、本セクションで前述したタグ構造を使用する。好ましいコード化方式は、既に検討したような「位置指示」タグを使用する。代替コード化方式は「オブジェクト指示」(または「機能指示」)タグを使用する。
【0067】
位置指示タグは、タグ付き領域に関連するタグ・マップにより変換すると、領域内で一意のタグ位置を生成するタグIDを含む。ペンのタグ相対位置が、このタグ位置に追加され、領域内でペンの位置を生成する。これは、領域に関連するページ記述内のユーザ・インタフェース・エレメントに対するペンの位置の決定に使用される。ユーザ・インタフェース・エレメント自体が識別されるばかりでなく、ユーザ・インタフェース・エレメントに対する位置も識別される。したがって、位置指示タグは、特定のユーザ・インタフェース・エレメントのゾーンにおける絶対ペン経路の捕捉をトリビアルにサポートする。
【0068】
オブジェクト指示(または機能指示)タグは、領域(または等しく機能にも)関連するページ記述内でユーザ・インタフェース・エレメントを識別するタグIDを含む。ユーザ・インタフェース・エレメントのゾーンにある全てのタグがユーザ・インタフェース・エレメントを識別子、これを全て等しいものにして、区別不能にする。したがって、オブジェクト指示タグは、絶対ペン経路の捕捉をサポートしない。しかし、相対ペン経路の捕捉はサポートする。位置サンプリングの頻度が、遭遇するタグ頻度の2倍を超える限り、ストローク内の1つのサンプリングされたペン位置から次の位置への変位を明確に決定することができる。代替法として、ネットページ・ペン101は、本出願人の以前の出願PCT/AU00/00565(文書第NPS001号)に記載したように、1対の動作検知加速度計を含むことができる。
【0069】
次に、互換性のあるペン先を有するペン状検知装置の形態にある本発明の実施形態について説明する。検知装置は、以下では単に「ペン」と呼ぶ。
次に、本発明の第1の実施形態について、図7、図8、図9および図10に関連して説明する。概ね参照番号101で指示されるペンは、ペン構成要素を装着するための内部空間104を画定する壁103を有するプラスチック成型品の形態でハウジング102を含む。ペン頂部105は、ハウジング102の一方端106に回転自在に装着されて作動する。半透明カバー107を、ハウジング102の反対端108に固定する。カバー107も成形プラスチックであり、使用者がハウジング102内に装着されたLEDの状態を見ることができるよう、半透明材料から形成する(以下参照)。カバー107は、ハウジング102の端108をほぼ囲む主要部分109、および主要部分109から後方に突出し、ハウジング102の壁103に形成された対応するスロット111内に填る突出部分110を含む。無線アンテナ112を、ハウジング102内で突出部分110の後方に装着する。カバー107の開口113Aを囲むねじ山113が、対応するねじ山115を含む金属端部片114を受けるよう配置される。金属端部片114は、インク・カートリッジの交換を可能にするために着脱式である。
【0070】
カバー107内には、可撓性PCB117上に3色状態LED116も装着される。アンテナ112も可撓性PCB117に装着される。状態LED116は、周囲からよく見えるよう、ペン101の頂部に装着される。
【0071】
ペンは、通常のマーキング用インク・ペンとしても、非マーキング・スタイラスとしても動作することができる。ペン先119を備えたインク・ペン・カートリッジ118およびスタイラスのペン先121を備えたスタイラス120を、ハウジング102内に並べて装着する。ペン頂部105を回転することにより、金属端部片114の開放端122を通してインク・カートリッジのペン先119またはスタイラスのペン先121を前方に運ぶことができる。個々のスライダ・ブロック123および124を、それぞれインク・カートリッジ118およびスタイラス120に装着する。回転式カム・バレル125を、作動状態でペン頂部105に固定し、それと共に回転するよう配置する。カム・バレル125は、カム・バレルの壁181内にあるスロットの形態でカム126を含む。スライダ・ブロック123および124から突出するカム従動子127および128が、カム・スロット126内に填る。カム・バレル125、スライダ・ブロック123または124が回転すると、スライダ・ブロック123または124が相互に対して動作し、金属端部片114の穴122を通してペン先119またはスタイラスのペン先121を突出させる。ペン101は3つの動作状態を有する。頂部105を90°段階で回転することにより、3つの状態は以下の通りとなる。
【0072】
(1)スタイラス120のペン先121が出る。
(2)インク・カートリッジ118のペン先119が出る。
(3)インク・カートリッジ118のペン先119もスタイラス120のペン先121も出ない。
【0073】
図13および図14で示すように、ペン・カートリッジ118はコンパクトROMチップ196を含む。ペン・カートリッジ上の4つの接触カラー195が、スライダ・ブロック123上の4つの接触細片197と接触する。接触細片は、各細片がちょうど接触カラーの1つと接触するよう、ジグザグになる。接触カラーはROMと接続して、接触細片は線(図示せず)を介してペン・コントローラ134と接続し、したがってペン・カートリッジのROMとペン・コントローラとの間に電力およびシリアル・データ・インタフェースを提供して、ペン・コントローラがペン先ID175に関してペン・カートリッジに問い合わせできるようにする。ペン・カートリッジの空気穴189は、ペン先119を通してインクが抽出される間、圧力等化を可能にする。
【0074】
スライダ・ブロック124は、同様に、接触細片(図示せず)を介してペン・コントローラ134に電力およびシリアル・データ・インタフェースを提供する。
第2可撓性PCB129が、ハウジング102内に収容される電子機器シャシ130に装着される。第2可撓性PCB129は、赤外線インク(以下参照)に印刷された位置タグに投影するための赤外線照射を提供する赤外線LED131を搭載する。面から反射した放射線を受けるため、第2可撓性PCB129に装着された画像センサ132を設ける。第2可撓性PCB129は、無線周波数チップ133も搭載し、これはRF転送器およびRF受信器、およびペン101の動作を制御するコントローラ・チップ134を含む。光学機器ブロック135(成形した透明プラスチックから形成)がカバー107内に収容されて、面上に赤外線ビームを投射し、画像センサ132上に画像を受信する。電力線136が、第2可撓性PCB129上の構成要素を、カム・バレル125内に装着されたバッテリ接点137に接続する。端子138がバッテリ接点137およびカム・バレル125に接続する。3つの電圧充電式バッテリ139が、バッテリ接点と接触した状態でカム・バレル125内に収容される。誘導充電コイル140が第2可撓性PCB129の周囲に装着され、誘導によりバッテリ139の充電を可能にする。第2可撓性PCB129は、ペン先119またはスタイラスのペン先121によって面に加えられる力を判断できるよう、筆記にスタイラス120またはインク・カートリッジ118を使用する場合にカム・バレル125内の変位を検出する赤外線LED143および赤外線フォトダイオード144も搭載する。IRフォトダイオード144は、スライダ・ブロック123および124に装着された反射器(図示せず)を通る赤外線LED143からの光を検出する。
【0075】
ゴムの把持パッド141および142を、ハウジング102の端108に向かって設けて、ペン101の把持を補助し、頂部105は、ペン101をポケットにクリップ留めするためのクリップ142も含む。
【0076】
本発明のこの実施形態のペンは、特に、計算システムに命令を転送する際に使用するため、面に記録されたコード化データを検出するよう配置される。このようなコード化データは、赤外線インクの表面に印刷された位置タグを含む。各位置タグは、タグが印刷された領域の形態で第1IDを識別する印刷された領域データ(例えば、タグが紙に印刷されている場合、このデータは紙を識別する)、および領域内のタグの位置の形態で第2IDを識別する位置データを含む。位置タグは、タグが印刷された面に対するペンの3次元方位(例えば、面に対する傾斜)の印刷を可能にするターゲット構造も含む。タグは種々の制御データも含むことができる。
【0077】
ペン101は、赤外線スペクトルでペン先の近傍の表面区域を撮像することにより、画像センサ32の位置を判断し、それによってペン先(スタイラスのペン先121またはインク・カートリッジのペン先119)の位置を判断するよう配置される。これは、最も近い位置タグからの位置データを記録し、光学機器135およびコントローラ・チップ134を使用して位置タグからの画像センサ32の距離、およびペン先121または119の距離を計算するよう配置構成される。コントローラ・チップ134は、撮像したタグで観察される透視歪みから、ペンの方位およびペン先とタグ間の距離を計算する。
【0078】
位置タグからの制御データは、ペン101にその「アクティブ・エリア」LEDを起動するよう命令する制御ビット(実際は3色LED116の1モードであり、これは制御データから、撮像中の区域が「アクティブ・エリア」であるとペンが判断した場合に黄色になる)を含むことができる。したがって、ボタンまたはハイパーリンクのアクティブ・エリアに対応する面の領域を符号化して、このLEDを起動し、ペンの使用者に、ペン101がそれを通過した時にボタンまたはハイパーリンクがアクティブであるとの視覚的フィードバックを与えることができる。制御データは、ペン101に連続的なペン力読み取り値を捕獲するよう命令することもできる。したがって、署名入力区域に対応する面の領域を符号化して、連続的なペン101の力を捕獲することができる。
【0079】
面に対するペン101の動作は、一連のストロークを含むことができる。ストロークは、面上の一連の時刻表示ペン101位置で構成され、これはペン下降事象によって開始し、その後のペン上昇事象によって終了する。ペン力は、閾値に対して解釈し、ペンが「上昇」しているか「下降」しているかを示し、さらに例えばペンが署名を捕獲した場合に、連続値として解釈できることに留意されたい。捕獲したストロークのシーケンスは、以下で「デジタル・インク」と呼ぶ。デジタル・インクは、計算システムとともに使用して、手書きのオンライン識別、および署名のオンライン検証のために図面と手書きのデジタル交換のベースを形成することができる。
【0080】
RFチップ133およびアンテナ112を使用して、ペン101はデジタル・インク・データ(安全のために暗号化され、効率的な転送のためにパッケージ化される)を計算システムに転送することができる。
【0081】
ペンが受信器の範囲内にある場合、デジタル・インク・データは、それが形成された通りに転送される。ペン101が範囲から出ると、デジタル・インク・データがペン101内にバッファされ(ペン101の回路は、約12分の面上のペン動作に関するデジタル・インク・データを記憶するよう配置構成されたバッファを含む)、後に転送することができる。
【0082】
次に、ペンの様々な動作について、以下のセクションでさらに詳細に説明する。
上記で検討したように、コントローラ・チップ134はペン101の第2可撓性PCB129に装着される。図9は、コントローラ・チップ134の構成をさらに詳細に示すブロック図である。図9は、RFチップ133、画像センサ132、3色状態LED116、IR照明LED131、IR力センサLED143、および力センサ・フォトダイオード144の表示も示す。
【0083】
ペン・コントローラ・チップ134は制御プロセッサ145を含む。バス146が、コントローラ・チップ134の構成要素間のデータ交換を可能にする。フラッシュ・メモリ147および512KBのDRAM148も含まれる。アナログ−デジタル変換器149が配置され、力センサ・フォトダイオード144からのアナログ信号をデジタル信号に変換する。
【0084】
画像センサ・インタフェース152は画像センサ132とインタフェースをとる。送受信機コントローラ153およびベースバンド回路154も含まれて、アンテナ112に接続されたRF共振器および誘導器156およびRF回路155を含むRFチップ133とのインタフェースをとる。
【0085】
制御プロセッサ145は、画像センサ132を介して面のタグから位置データを捕獲して復号し、力センサ・フォトダイオード144を監視し、LED116、131および143を制御して、無線送受信機153を介する短距離無線通信を扱う。これは、中程度の性能(約40MHz)の汎用RISCプロセッサである。
【0086】
プロセッサ145、デジタル送受信機構成要素(送受信機のコントローラ153およびベースバンド回路154)、画像センサ・インタフェース152、フラッシュ・メモリ147および512KBのDRAM148が1つのコントローラASICに集積される。アナログRF構成要素(RF回路155およびRF共振器および誘導器156)は別個のRFチップで提供される。
【0087】
画像センサは、IRフィルタを有し、解像度が約215×215ピクセルのCCDである(このようなセンサは、Matsushita Electronic Corporationが生産し、Itakura、K.T.Nobusada、N Okusenya、R Nagayoshi、およびM. Ozakiによる論文「A 1mm 50k−Pixel IT CCD Image Sensor for Miniature Camera System」(IEEE Transactions on Electronic Devices, Volt 47, number 1, January 2000)に記載され、これは引用によって本明細書の記載に援用する)。
【0088】
コントローラASIC134は、ペン101が面と接触していない場合、ある非アクティブ期間の後に休止状態に入る。これは、力センサ・フォトダイオード144を監視して、ペン下降事象で力マネージャ151を介してコントローラ134を覚醒させる専用回路150を組み込む。
【0089】
無線送受信機は、コードレス電話で通常使用する無免許の900MHz帯域で、あるいは無免許の2.4GHzの産業、科学および医療用(ISM)帯域で通信し、周波数ホッピングおよび衝突検出を使用して、干渉のない通信を提供する。
【0090】
上記で検討したように、ペン101の光学機器は、成形した光学機器本体135によって実現される。光学機器本体135によって実現される光学機器を、図10で概略的に示す。光学機器は、赤外線LED131からの放射線を集束する第1レンズ157、鏡158、ビーム・スプリッタ159、対物レンズ160および画像を画像センサ132上に集束する第2レンズ161を備える。軸方向の光線162が光路を示す。
【0091】
光路は、必要な傾斜範囲内で視野円錐192と交差する撮像面のその部分193の鮮明な画像を画像センサ132に送出するよう設計される。1次集束要素は対物レンズ160である。これは、反対にIR照明LED131からの照明を視野内の面に投影するのにも使用される。画像センサ132と赤外線LED131との両方を対物レンズの焦点に配置するのは実際的でないので、ビーム・スプリッタ159を使用して路を分割し、各路にある別個のリレー・レンズ157および161が、それぞれ画像センサ132および赤外線LED131での再集束を提供する。これにより、異なる開口を2つの路に挿入することもできる。
【0092】
画像センサ132の縁が捕獲フィールドのフィールド・ストップとして作用し、捕獲路は、その結果生じる物体空間の角度視野が要求通り(すなわち、この実施形態の用途では20°足らず−以下参照)になるよう設計される。照明路は、捕獲路と同じ物体空間視野を生成するよう設計され、したがって照明は最大の力および均一性で物体空間視野を満たす。
【0093】
赤外線LED131は、フレーム捕獲と同期してストローブされる。集束した照明を使用することにより、短い露光時間と小さい開口との両方が可能になる。短い露光時間は動作のぶれを防止し、したがってペンの運動中に位置タグ・データを捕獲することができる。小さい開口は、傾斜によって誘発される面深さの全範囲について、十分な被写界深度を可能にする。捕獲路は、このための明白な開口絞りを含む。
【0094】
画像センサ132は、スペクトルの可視部分および近赤外線部分を通して強力な応答を有するので、近赤外線で透明インクを使用して印刷できる面の他のグラフィクスとの干渉がなく、面上のタグ・データのクリーンな画像を捕獲するよう、捕獲路では赤外線フィルタ163がこれより先行する。
【0095】
ペン101のスタイラスのペン先121またはインク・カートリッジのペン先119が面と接触していると、ペン101が面に対するその位置および方位を100Hzで判断し、正確な手書き認識を可能にする(C. Tappert、C
Y SuenおよびT Wakaharaの論文「The State of
the Art in On−Line Hand Writing Recognition」(IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 12, number 8, August 1990)参照。その開示は参照により本明細書に組み込まれる)。力センサ・ダイオード144を使用して、ペンが「上昇」か「下降」かの相対的閾値を示す。力は、上記で検討したように連続値として捕獲し、署名の力学全体の検証を可能にしてもよい。
【0096】
ペン101は、赤外線スペクトルでペン先119、121付近の面の区域を撮像することによって、面上のペン先119、121の位置および方位を判断する。これは、最も近いタグ・データを復号し、撮像タグで観察された透視歪みおよび既知のペン光学機器135の幾何学的形状から、位置タグに対するペン先119、121の位置を計算する。タグの位置解像度は低いことがあるが、調節された位置解像度は極めて高く、正確な手書き認識に必要な200dpiという解像度(上記の参考文献参照)を容易に上回る。
【0097】
面に対するペン101の動作は、一連のストロークとして捕獲される。ストロークは、面上でタイムスタンプされた一連のペン位置で構成され、ペン下降事象で開始し、その後のペン上昇事象で終了する。ストロークは、領域IDが変化した時、すなわち、通常の状況でのストローク開始時にから名図表面の領域IDのタグも付く。上記で検討したように、各位置タグは、面上のその位置を示すデータ、およびタグがある面の領域を示す領域データを含む。
【0098】
ペンはまた、面に存在する全てのマーカを検知して復号し、マーカの検知に応答して、適宜、電界発生器が面にマーキングしたり、面からマークを消去できるようにしたり、マーキングおよび消去を使用不能にしたりできるようにする。
【0099】
図11は、ペン101の位置タグおよびストローク処理を示す図である。ペン101がペン上昇状態にある場合、ペン・コントローラ134は、ペン下降状態がないか力センサ・フォトダイオード144を連続的に監視する(ステップ164)。ペンがペン下降状態にある間、ペン・コントローラ134は、面からの位置タグのタグ・データを連続的に捕獲し165、166、復号して167、面に対するペン101の位置および方位を推定し168、位置データを現ストローク・データ(タグ・データおよび力を連続的に監視している場合は力などの他の情報を含む)に追加する。ペン上昇事象では、ペン・コントローラ134がストローク・データを暗号化し170、RFチップ133およびアンテナ112を介してストローク・データを計算システムに転送する171。ストロークが完了したか判断し173、新しいストロークが開始されているか判断する174ために、ペンがペン先力172をサンプリングすることに留意されたい。
【0100】
十分に高速の8ビット乗算(3サイクル)であると仮定すると、処理アルゴリズムはペンがアクティブである場合にプロセッサの時間の約80%を使用する。
ペンが計算システムの転送範囲外にある場合、これは自身の内部メモリにデジタル・インクをバッファする。次に計算システムの範囲に入った時に、バッファしたデジタル・インクを転送する。ペンの内部メモリが満杯の場合、ペンはデジタル・インクの捕獲を停止し、代わりに使用者がペン101で書こうとする場合は常にエラーLEDを点滅させる。
【0101】
図12は、ペン101から計算システムに転送される生デジタル・インクの構造を示す図である。ペン101がオフラインで作業中にペン101にバッファされるデジタル・インクは、システムに転送されるデジタル・インクと同じ形態で記憶される。
【0102】
ペン101が計算システムに接続すると、コントローラ134がシステムにペンのID、ペン先のID175、現在の絶対時刻176、およびオフラインになる前にシステムから獲得した最後の絶対時刻を通知する。これによって、システムはペンの時計にドリフトがあればそれを計算し、それに従ってペン101から受信したデジタル・インクをタイムシフトすることができる。次に、ペン101はそのリアルタイム・クロックをシステムの正確なリアルタイム・クロックと同期させる。ペンIDによって、計算システムは、計算システムとともに複数のペンが動作している場合にペンを識別することができる。ペンIDは、ペンを使用して、例えば、ペンの所有者を識別し、指示された特別の方法でその所有者と対話するシステムでは重要である。他の実施形態では、これが必要ないこともある。ペン先IDによって、計算システムはどのペン先、スタイラスのペン先121またはインク・カートリッジのペン先119が現在使用されているか識別することができる。計算システムは、どのペン先が使用されているかに応じて、その動作を変化させることができる。例えば、インク・カートリッジのペン先119を使用している場合、計算システムはフィードバック出力の生成を延期させることができる。というのは、即座のフィードバックが面上のインク・マーキングによって提供されるからである。スタイラスのペン先121を使用している場合、計算システムは即座のフィードバック出力を生成することができる。
【0103】
より一般的には、個々のペン・カートリッジ118は特定のインク色を提供し、それによって線の色、特にペン先の形状およびサイズを決定し、それによって線の幅を決定することができる。ペン・コントローラ134は、シリアル・データ・インタフェースを介してペン・カートリッジに質問し、カートリッジのROM196に記憶されたカートリッジのペン先ID175を獲得する。上述したように、コントローラは、ペン先IDが変化すると必ずそれをシステムに通知する。これによってシステムは、ストロークを生成するために使用するペン先の特徴を判断し、その後にストローク自体の特徴を再現することができる。
【0104】
任意の組合せのカートリッジをペン101に挿入することができる。例えば、使用者は、ペン・カートリッジおよびスタイラスの代わりに2つの異なる色のペン・カートリッジを挿入するよう選択してもよい。ROM196が与えられると、スタイラス120は、そのペン先IDが自身が非マーキングであることを示すペン・カートリッジの特定のインスタンスになる。
【0105】
自身のペン先IDを含むROMを有する代わりに、ペン・カートリッジ118は、機械で読み取り可能な方法でペン先IDでラベルを付けることができる。これは、バーコードまたはネットページ・タグの形態をとることもできる。ペン101は、例えば、光学センサなど、ラベルのセンサを含むことができる。ラベルが1つの1次元バーコードの形態である場合は、ペン・カートリッジに対して固定された照明LEDおよびフォトダイオードを使用して、バーコードを読み取ることができ、使用者が回転式ペン頂部105で選択すると、ペン・カートリッジがこれを通過する。光学センサは、バーコードを通過するにつれ、それを読み取るよう配置構成することができる。このようなセンサの対を使用して、交換式ペン・カートリッジ118およびスタイラス120に対応することができる。
【0106】
上述したように、インク・カートリッジのペン先119およびスタイラスのペン先121は、システム内で機能的に異なる挙動を生成することができる。さらに一般的には、特定の機能またはモードを特定のペン先IDに割り当てることができる。例えば、使用者は、テキスト編集命令を特定するために、特定の赤色のペン先を指定してよい。これによって、システムは、テキスト編集命令として対応するペン先IDのラベルが付いたユーザ入力のみ解釈するよう命令を受ける。ユーザは、特定のペン先をページ注釈ペン先に指定してもよい。これによってシステムは、対応するペン先IDのラベルが付いたユーザ入力をフィールド入力として解釈しようとせず、常にこのような入力をページの背景フィールドに記録するよう命令を受ける。同様に、ユーザは、特定のペン先を選択ペン先に指定し、それによってユーザが不注意にフィールドに入力することなく、ページで選択作業を実行できるようにすることができる。ユーザは、署名の入力を特定のペン先に制限し、詐称者が成功する危険性を最小限に抑えるよう選択することもできる。
【0107】
ユーザは、自身の裁量で複数のペンを有し、一部を特定の色またはスタイラス専用とし、他を特定の機能専用とするよう選択してもよい。
出願人の以前の出願PCT/AU00/00565(文書第NPS001号)は、ペン101を介した生デジタル・インクの捕獲、およびその後の解釈およびデジタル・インクとしてのページ・サーバへの記憶を、生デジタル・インクに関連したペン先IDの取扱い、および対応するペン先スタイルと記憶されたデジタル・インクとの関連も含め、さらに詳細に説明している。
【0108】
ストロークの開始時に、ペン・コントローラ134は、システムに通知された最後の絶対時刻からの経過時間を記録する。ペン101のストロークの各位置177で、コントローラ134は現タグからのペン先119、121のxおよびyオフセット、ペン101のx、yおよびz回転、およびペン先力を記録する。これは、タグID178(データ識別タグ位置)が変化した場合に、それを記録するだけである。タグの周波数は典型的な位置サンプリング周波数よりはるかに小さいので、タグIDは多くの連続するペン101位置で一定であり、ストロークが短い場合はストローク全体で一定でもよい。
【0109】
ペン101は100Hzで自身の位置および方位をサンプリングするので、ストロークにおけるペン101の位置は100Hzで暗黙に刻時され、明示的タイムスタンプを必要としない。例えば、タグを復号しないので、ペン101がペン101の位置を計算できない場合、それでもペン101の位置を記録し、明示的刻時を保存しなければならない。したがって、これは位置を未知のものとして記録し179、計算システムがその後に、必要に応じて隣接サンプルから位置を補間できるようにする。
【0110】
ストロークの32ビットの時間オフセットは有限の範囲(すなわち、49.7日)を有するので、ペン101は任意選択でストロークの絶対時刻176を記録する。これは、その後のストロークの時間オフセットを測定する対象となる絶対時刻となる。
【0111】
領域IDは多くの連続ストロークで一定であるので、ペンはこれが変化した場合のみ領域IDを記録する180。これは、その後のペン位置に明示的に伴う領域IDになる。
ユーザは、ストロークごとにペン先119、121を変更することがあるので、ペン101は任意選択でストローク175のペン先IDを記録する。これは、その後のストロークに明示的に伴うペン先IDになる。
【0112】
ストロークの各構成要素はエントロピ・コード化プレフィクスを有する。継続時間1秒の10mmのストロークは、2または3つのタグにまたがり、100個の位置サンプルを含み、したがって約5500ビットのサイズを有する。したがって、オンラインの連続デジタル・インクの捕獲は、5.5Kbpsの最大転送速度を必要とし、オフラインの連続デジタル・インク捕獲は、毎分約40Kバイトのバッファ・メモリを必要とする。したがって、ペンの512KBのDRAM48は12分にわたって連続デジタル・インクを保持することができる。時間、領域およびペン先の変化は非常に稀にしか生じないので、必要な転送速度およびバッファ・メモリに与える影響は無視することができる。ペン101位置の追加の圧縮は、転送速度およびバッファ・メモリの要件をさらに軽減することができる。
【0113】
各生ストロークは、3重DESアルゴリズム(B. Schneierの「Applied Cryptography」第2版(Wiley 1996)を参照。その開示は参照により本明細書に組み込まれる)を使用して暗号化されてから、計算システムに転送される。ペンと計算システムは、そのために定期的にセッション・キーを交換する。暗号化されたビット当たり50サイクルという控え目な見積もりに基づき、1秒、5500ビット・ストロークの暗号化はプロセッサの45の時間の0.7%を消費する。
【0114】
第1の代替実施形態では、コード化データは基板を識別するデータであるIDを示す。これによって、ペン101は基板がドキュメントの特定のタイプか、、基板が別のオブジェクトの一部を形成しているかなど、基板を識別することができる。言うまでもなく、この実施形態では、タグが面に対するタグの位置ではなく、面の特徴を示すので、面に対する装置の動作を検知するために別個の手段が必要である。
【0115】
第2の代替実施形態では、コード化データはタグのタイプを示すデータであるIDを示す。これで、ペン101は、タグが面の位置ではなく、問題のオブジェクトを表すか否かを識別することができる。例えば、タグがオブジェクトを表し、ユーザ・インタフェースの入力要素(例えば、コマンド・ボタン)に対応する場合、タグは入力要素を直接識別することができる。
【0116】
代替実施形態とともに使用するのに適した別個の動作検知手段には、ペン101の軸に垂直の面に装着された1対の直交する加速度計190がある。加速度計190は、図10および図9ではゴースト・アウトラインで図示されている。
【0117】
加速度計を設けることによって、ペン101のこの実施形態は、面タグに関係なく動作を検知することができ、より低い率でタグをサンプリングすることが可能になる。
X方向およびY方向それぞれで加速度計が測定する加速度は、時間に関して積分され、瞬間的な速度および位置を生成する。
【0118】
ストロークの開始位置は不明であるので、ストローク内の相対位置のみ計算される。位置の積分は、検知した加速度の誤差を累積するが、加速度計は通常、高い解像度を有し、誤差が累積されるストロークの継続時間は短い。
【0119】
加速度計を設けて面に対する動作を検知する代わりに、代替動作検知手段を設けてもよい。このような手段には、面と協働して、面に対する光学センサの動作を示す信号を生成する光学センサを含む動作検知手段、面と接触して2つの直交する方向で動作を検知するよう配置された少なくとも2つの接点を含む動作検知手段、または面に対する動作を検知する他の適切な動作検知手段がある。
【0120】
本発明を、好ましい実施形態および幾つかの特定の代替実施形態について説明してきた。しかし、特に説明した実施形態とは異なる幾つかの他の実施形態も本発明の精神および範囲に入ることが、当業者には理解される。したがって、本発明は、適宜、相互参照によって組み込んだ文書を含め、本明細書で説明した特定の実施形態に制限されるものではないことが理解される。本発明の範囲は、添付の請求の範囲によってのみ制限される。

【特許請求の範囲】
【請求項1】
面に対して使用するための検知装置であって、前記面に対する検知装置の運動を示す運動データを発生するように構成されている運動センサと、前記面にマークをつけるためのペン先であって、該ペン先の少なくとも1つの面にマークをつける特性を示すペン先情報を有するペン先と、コンピュータ・システムに前記ペン先情報と一緒に前記運動データを送信するための送信機と、前記面上に配置されたコード化データを検知することにより、前記面のある領域の識別を示す識別データを発生するように構成されているコード・センサとを含み、前記コード化データが、前記面の少なくとも1つの領域の識別を示し、前記運動センサが、前記運動データ内に前記識別データを含むように構成されており、前記コード化データが複数のタグを含み、各タグが、前記タグが位置する前記面にある領域の識別を示すものである検知装置。
【請求項2】
請求項1記載の検知装置において、前記検知装置が本体部分を含み、前記ペン先が、前記本体部分に着脱することができる独立している部材である検知装置。
【請求項3】
請求項1記載の検知装置において、前記検知装置が、前記ペン先から前記ペン先情報を入手するための問い合わせ装置を含む検知装置。
【請求項4】
請求項1記載の検知装置において、前記面にマークをつける特性が、ペン先の形、ペン先の大きさ、線の幅、色および肌目からなるグループから選択される検知装置。
【請求項5】
請求項1記載の検知装置において、前記ペン先が、前記ペン先情報を記憶するための記憶装置を含む検知装置。
【請求項6】
請求項1記載の検知装置において、前記検知装置が、前記ペン先情報と前記運動データを記憶するための記憶装置を含む検知装置。
【請求項7】
請求項2記載の検知装置において、前記本体部分が、ペンの形をしていて、前記ペン先を前記ペンの縦方向の端部に取り付けることができる検知装置。
【請求項8】
請求項1記載の検知装置において、さらに、前記検知装置が前記面に対して運動した場合に、前記検知装置の加速を示す加速データを発生するように構成されている少なくとも1つの加速センサを含み、前記運動センサが、前記加速データにより前記運動データを発生するように構成されている検知装置。
【請求項9】
請求項8記載の検知装置において、前記加速センサが、加速の少なくとも2つのほぼ直交する成分を検知するように構成されている検知装置。
【請求項10】
請求項1記載の検知装置において、さらに、画像センサを含み、前記画像センサが、前記検知装置付近の前記面を画像化することにより画像データを発生するように構成されていて、前記運動センサが、前記画像データにより前記運動データを発生するように構成されている検知装置。
【請求項11】
請求項1記載の検知装置において、前記ペン先情報が、前記ペン先の少なくとも1つの面にマークをつける特性を示すペン先スタイル情報を含む検知装置。
【請求項12】
請求項1記載の検知装置において、前記ペン先情報が、ペン先識別子を含み、前記コンピュータ・システムが、前記ペン先の少なくとも1つの面にマークをつける特性を示すペン先スタイル情報を維持し、前記ペン先識別子により前記ペン先スタイル情報にアクセスすることができる検知装置。
【請求項13】
請求項1記載の検知装置において、前記ペン先情報が、前記ペン先に関連する1つの機能も示す検知装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4a】
image rotate

【図4b】
image rotate

【図5a】
image rotate

【図5b】
image rotate

【図5c】
image rotate

【図5d】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2010−211814(P2010−211814A)
【公開日】平成22年9月24日(2010.9.24)
【国際特許分類】
【出願番号】特願2010−90217(P2010−90217)
【出願日】平成22年4月9日(2010.4.9)
【分割の表示】特願2001−534067(P2001−534067)の分割
【原出願日】平成12年10月20日(2000.10.20)
【出願人】(500142213)シルバーブルック リサーチ プロプライエタリイ、リミテッド (27)
【氏名又は名称原語表記】SILVERBROOK RESEARCH PTY.LIMITED
【Fターム(参考)】