平らな筆記記入面からの情報を光学的に推定するための装置
【課題】筆記具をベースにしたユーザーフレンドリーな入力インタフェースを提供する。
【解決手段】筆記記入面１２に手で筆記記入された情報を光学的に推定する筆記記入装置１０を提供する。この装置は、ペン先に相当する筆記端２０が筆記記入面上に筆記記入を行っているときを判別する手段２４と、筆記端に関連付けられた、筆記記入面を光学的に観測する光学ユニット３０とを有し、光学ユニットで得られた光学的データを処理ユニットで受け取って、その光学的データに含まれる目印（光学的に認識可能な特徴）を基準とした筆記端の物理的座標を求め、そのデータを外部に送信（４２）する。
【解決手段】筆記記入面１２に手で筆記記入された情報を光学的に推定する筆記記入装置１０を提供する。この装置は、ペン先に相当する筆記端２０が筆記記入面上に筆記記入を行っているときを判別する手段２４と、筆記端に関連付けられた、筆記記入面を光学的に観測する光学ユニット３０とを有し、光学ユニットで得られた光学的データを処理ユニットで受け取って、その光学的データに含まれる目印（光学的に認識可能な特徴）を基準とした筆記端の物理的座標を求め、そのデータを外部に送信（４２）する。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は２００３年２月２４日出願の米国仮出願第６０／４５０２４４号を基礎とした優先権を主張するものである。本発明は、一般的に、筆記具のような手持ち式の器具の助けによって使用者が筆記記入面即ち書き込み面に筆記、線引き、スケッチまたは他の方法でマーク付けした情報の取得に関するものである。
【背景技術】
【０００２】
書くこと及び描くことに関する技術は古くよりあり、伝統のなかで豊かに存在する。長い年月にわたって、文字の筆記、及び線引き、スケッチ、マーキングや描画のための様々な器具が用いられてきた。これらの器具の大部分は、概ね細長い形状で基本的には丸い断面を有し、一端に筆記端即ち先端を有する。そのような器具は、一般的に、使用者の使い易い手で握られて操作されるように設計されている。より具体的には、使用者は、器具の筆記端が表面上を動いた跡にマークが残るように、その器具を筆記面即ち筆記記入面上で横断させるように動かす。そのマークは、例えばマーキング材料（鉛筆の場合でいえば木炭）の摩耗によって先端部から剥がれて付着した材料によって、或いはインクが表面を直接濡らすことによって（ペンの場合）生成される。このマークは、表面上に残されるあらゆる物理的な跡を含み得る。
【０００３】
最も広く用いられている筆記及び線引き具としてはペンや鉛筆が挙げられ、最も手ごろな筆記記入面としては、様々なサイズの紙片、或いは概ね平らな形状でマーク付けが可能な他の物体を用いることができる。実際に、科学技術の大いなる進歩にも関わらず、電子時代にあってすら、ペンと紙は依然として最も簡単で最も直感的な筆記、線引き、マーキング、及びスケッチのための器具でありつづけている。
【０００４】
電子装置とのやり取りのための技術は、電子装置への入力インタフェースそのものにある。例えば、コンピュータは、キーボード、ボタン、ポインタ装置、マウス、その他の動きを符号化してそれをコンピュータが処理できるデータに変換するあらゆる装置のような入力装置を利用する。残念ながら、これらの装置のなかには、ペンと紙ほどユーザーフレンドリーで使用者に受容されているものはない。
【０００５】
この入力インタフェースの問題は従来技術においても認識されており、種々の解決法が提案されてきた。これらの解決法の大部分は、紙や他の筆記面（例えばタブレット）の上でのペンの動きから電子データ即ちデジタルデータを導くものである。これらの従来技術については以下の文献を参照されたい。
【０００６】
米国特許：（以下の表に記載の番号の米国特許）
【０００７】
米国特許出願公開：（以下の表に記載の番号の米国特許出願公開）
【０００８】
欧州特許：（以下の番号の欧州特許）
０６４９５４９Ｂ１
【０００９】
国際特許出願：（以下の表に記載の番号の国際特許出願公開）
【００１０】
上記の参照文献には多くの方法が記載されているが、いずれも使用者にとっては扱いにくいものである。これらの方法の多くは使用者に扱いにくいペンを使用させて、特別な書くための条件やモニタリング条件を課したり、及び／または筆記面上に書かれた情報を追跡しデジタル化するための扱いにくい補助システムや装置が必要となるものである。従って、筆記具をベースにしたユーザーフレンドリーな入力インタフェースの問題は依然として解決されていない。
【発明の開示】
【課題を解決するための手段】
【００１１】
本発明は、筆記記入面からの手で筆記記入された情報を推定する筆記記入装置を提供する。本発明の目的のために、手で筆記記入された情報とは、筆記記入面上への筆記、筆記記入、線引き、スケッチ、その他の筆記記入面上へあらゆる方式のマーキング即ちマーク付けの何れかの結果として筆記記入面上にマークされたあらゆる情報を含む。加えて、この用途における手で筆記記入された情報とは、筆記記入面上に跡を残さずに線引きされた情報も含む。筆記記入装置は、筆記記入のための筆記端と、その筆記端が筆記記入面上に筆記記入を行っているときを判別するための機構とを有する。さらに、前記装置は筆記記入面を見るための光学ユニットを有する。好ましくは、この光学ユニットは、前記装置の筆記端と反対側の端部に取り付けられ、筆記端を指し示す。本発明の目的のため、筆記端にインデクスを付けることは、光学ユニットの光軸が筆記端に関連付けられる、例えば光学ユニットの光軸が筆記端を通ることを意味する。前記装置は、前記光学ユニットから前記筆記記入面の光学データを受け取って、前記筆記記入面の少なくとも１つの角部及び前記筆記記入面の少なくとも１つのエッジ部に対する物理的座標を決定するための処理ユニットも備える。
【００１２】
本発明の装置は、従来技術と異なり、筆記端の物理的座標を間接的に推定、即ち前記光学ユニットから得られた筆記記入面の光学データから推定する点に注目されたい。従って、筆記端の物理的座標を決定するための十分な筆記記入面についてのあらゆる光学的データを用いることができる。例えば、全ての角部、複数の角部、エッジ部、またはその一部の光学的データを利用することができる。或いは、前記筆記記入面上の他の目印または光学的に認識可能な特徴も同様に利用することができる。
【００１３】
筆記記入面上に筆記端が筆記記入を行っているときを判別するための機構は、好ましくは、筆記記入装置に取り付けられた圧力検知ユニットを含む。歪みゲージ、機械的圧力センサ、圧電素子、及び筆記端と筆記記入面との間の接触を認識する他のタイプの機構をこの目的で使用することができる。
【００１４】
好ましい実施形態では、光学ユニットは、筆記記入面またはその一部をイメージングするイメージングユニットである。イメージングユニットは、筆記記入面上に像を投影するための光検出器アレイを備えているのがより好ましい。処理ユニットは、イメージ内の筆記記入面のエッジ部及び角部を検出するエッジ検出ユニットまたは回路（例えば、処理ユニットのマイクロプロセッサ内のファームウェア）を有する。
【００１５】
筆記記入装置は、イメージに対して１以上の変換を行うためのイメージ変換ユニットをさらに備える。より詳細には、イメージ変換ユニットは、イメージを補正するための適当な物理的光学部品（例えばレンズ）や、イメージを補正し、イメージに対して種々の操作を施すソフトウェアルーチンを備える。例えば、イメージ変換ユニットは、イメージを平面投影図に補正するイメージ変形変換器を有する。或いは、イメージ変換ユニットは、イメージを球面投影図に補正するためのイメージ変形変換器を有する。同一のまたは異なる実施形態では、イメージ変換ユニットは、筆記記入装置の筆記記入面に対するオイラー角を決定するためのイメージ変換器を有する。
【００１６】
好ましい実施形態では、エッジ検出ユニットによって特定されたイメージのエッジ部及び／または角部に対してのみ補正及び変換が施される。つまり、筆記記入面に対応するイメージの一部のみ、具体的には筆記記入面のエッジ部、角部、目印、またはその他の光学的に認識可能な特徴、及び／またはそれらの一部分を補正し、変換する。
【００１７】
処理ユニットに属する比率計算モジュールは、イメージから筆記端の物理的座標を決定する。また、好ましい実施形態では、この座標の決定は、筆記記入面に対応するイメージの適切な部分、具体的には筆記記入面のエッジ部、角部、目印または他の光学的に認識可能な特徴及び／またはそれらの一部分から行う。
【００１８】
光検出器アレイは、フォトダイオードまたはフォトトレンジスタアレイを含む適当な光検出器のアレイであって、好ましくはＣＭＯＳ光検出器アレイである。イメージングユニットで用いられる光学部品には、屈折及び／または反射光学素子等があり、好ましくは反射屈折系を含む。何れの場合も、イメージングユニットが、筆記端が筆記記入面に接触している場合の筆記記入装置のあらゆる位置について、イメージング筆記記入面の少なくとも１つのエッジ部と１つの角部を常に検出し得るように、光学素子の視野は筆記記入面の面積より実質的に大きくあるべきである。
【００１９】
使用者が筆記、スケッチ、または線引きしたものを決定するために十分な速さで筆記端の物理的座標を決定するために、装置はフレーム制御ユニットを備える。フレーム制御ユニットは、筆記記入面がイメージングされる一定のフレームレートを設定する。好ましくは、このフレームレートは１５Ｈｚ以上であり、３０Ｈｚより大きいレートがより好ましい。
【００２０】
最後に、筆記記入装置は、筆記端の物理的座標を外部ユニットに送るための装置を備える。これらの座標データを送るための装置は、以下に限定されないが、赤外線（ＩＲ）ポート、超音波ポート、光ポート等のあらゆる種類のデータ通信ポートを含み得る。外部ユニットは、コンピュータ、携帯式のデバイス、ネットワークターミナル、ダウンロードユニット、ワイドエリアネットワーク（ＷＡＮ）（例えばインターネット）やローカルエリアネットワーク（ＬＡＮ）へのゲートウェイ、ストレージデバイス、プリンター、その他、筆記端の物理的座標を記憶、印刷、転送、及び／またはさらなる処理が可能なあらゆる種類の外部ユニットであり得る。用途や必要に応じて、筆記端の物理的座標はリアルタイムで処理しる場合もあれば、リアルタイムでの処理は行わなくてもよい場合もあることに注意されたい。
【００２１】
好ましい実施形態では、装置は、筆記記入面を初期化・認識するための機構をさらに装備する。勿論、筆記記入面のサイズ及び種類は、使用者が選択、入力することができる。この初期化・認識のための機構は、上記のような光学ユニットと処理ユニット、及び筆記記入面用として標準的なサイズのメモリを有する。例えば、筆記記入面として標準サイズの紙片が使用される場合には、そのような紙のイメージがメモリに記憶できる。好ましくは、これらの記憶されるイメージは、筆記記入装置が筆記記入面に対して既知の位置や向きにある状態で取得される。つまり、記憶されるイメージは、筆記記入面上において筆記体が既知の物理的座標にあり、かつ筆記記入装置が既知の空間的な向き（例えば既知のオイラー角）にある状態で取得される。
【００２２】
本発明の詳細については、以下の詳細な説明において添付の図面を参照しつつ説明する。
【発明を実施するための最良の形態】
【００２３】
本発明は、初めに本発明による筆記記入装置１０を示す図１の側面図を参照し、次に図２乃至図４を参照することによって最もよく理解されよう。図１に示す筆記記入装置１０はペン、より詳細にはインクを出すペンであり、より正確にいえばボールペンである。しかし、筆記記入装置１０は、マーカーペン、鉛筆、筆や、その他筆記記入面１２上に情報を書き込める他のあらゆる筆記具、スケッチ具、線引き具、及び描画具であり得ることは理解されよう。或いは、筆記記入装置１０は、スタイラスやその他の筆記記入面上に跡や変形を残さずに線引きすることによって筆記記入面１２上に情報を記入する装置であり得る。そのような筆記記入面は、圧力検知デジタル化タブレットや、その他の電子データ処理デバイスへの入力専用の面であり得る。この実施例では、筆記記入装置は既知の筆記具、スケッチ具、線引き具、または描画具を概ね模した形状を有している。具体的には、筆記記入装置１０は、使用者の手１６で握られるように設計された概ね円形の断面形状を有する細長い本体部１４を有する。
【００２４】
一般的に、筆記記入面１２は装置１０が上述のような筆記記入を行える平坦な材料のシートである。幾何学的な理由で、筆記記入面１２は矩形であるのが好ましい。本実施例では、筆記記入面１２は支持面１８上に広げられた標準サイズまたは非標準サイズの紙片である。筆記記入面１２がＰＤＡデバイスのタブレットのようなデジタル化タブレット、コンピュータの画面、または他のしっかりした表面である場合、支持面１８は必要ないこともある。しかし、筆記記入面１２が、角部、エッジ部、目印等の光学的に認識可能な特徴を有していることが重要である。また、これらの特徴が筆記記入動作の間に筆記記入面１２の残りの部分に対してその位置を変えないことも重要である。
【００２５】
装置１０は、ボールペンのボール２２を末端に有する筆記端２０を有する。筆記端２０が筆記記入を行っているときを判別するための圧力センサ２４が筆記端２０の近傍に取り付けられる。筆記記入は、ボールペンのボール２２が筆記記入面１２に接触しているときに生ずる。圧力センサ２４は歪みゲージを用いるのが便利である。或いは、圧力センサ２４は機械的圧力センサまたは圧電素子である。当業者は、その他の圧力センサも使用され得るということを理解されよう。装置１０は初期化スイッチ２６も備える。スイッチ２６は、同じ筆記記入面１２上に筆記記入が行われているのか、或いは新しい筆記記入面（図示せず）上に筆記記入が行われているのかを使用者が入力するために儲けられる。
【００２６】
光学ユニット３０は装置１０の遠位端３２に取り付けられる。光学ユニット３０は、筆記記入面１２を視野に入れられるように設計されており、後に詳述するように筆記記入面を超えたところにある境界線で定められる視野３４を有する。本実施例では、光学ユニット３０は３つの支持部材３６の上に取り付けられている。部材３６は、機械的安定を確保し、遮る部分は視野３４の無視できる部分だけにしておくような構造を有し得る。光学ユニット３０は筆記端２０に関連付けられた光軸３９を有する。より詳細には、光軸３９は、筆記端２０を通っている。従って、光ユニット３０の視野３４の中心に筆記端２０が置かれることになる。或いは、光軸３９が、筆記端２０に対して所定のオフセットをもたせるようにすることもできる。しかし、視野３４が左右対称であることから、光学ユニット３０は、光軸３９が筆記端２０を通り、ボールペンのボール２２の中心を通るようにして光学ユニット３０を筆記端２０に関連付けるのが好ましい。
【００２７】
装置１０は、外部ユニット４０と通信するための装置３８を備える（図２参照）。本実施例では、装置３８は、赤外線４２にエンコードされたデータをやりとりするための赤外線（ＩＲ）ポートである。もちろん、以下に限定されないが、超音波ポートや光ポートなどのあらゆる種類のデータ伝送ポートを装置３８として用いることができる。一方、外部ユニット４０は、コンピュータ、携帯式のデバイス、ネットワークターミナル、ダウンロードユニット、ワイドエリアネットワーク（ＷＡＮ）（例えばインターネット）やローカルエリアネットワーク（ＬＡＮ）へのゲートウェイ、ストレージデバイス、プリンター、その他、筆記端２０の物理的座標を記憶、印刷、転送、及び／またはさらなる処理が可能なあらゆる種類の外部ユニットであり得る。
【００２８】
図２を参照すると、装置１０の物理的パラメータが、便宜上直交座標系並びに極座標系で記述されている。これらの座標系の原点は、筆記端２０の位置に一致しており、より詳細にはボールペンのボール２２が筆記記入面１２と接触する位置に一致している。直交座標系は、筆記記入面１２の平面内に、筆記記入面１２の幅及び長さ方向に一致する形でＸ軸とＹ軸とを有する。直交座標系のＺ軸は、筆記記入面１２の面に対して直交即ち垂直な方向を向いている。
【００２９】
複数の特徴４４Ａ、４４Ｂ、４４Ｃが、直交座標系の原点から引かれた対応するベクトルｖ１、ｖ２、ｖ３によって特定されている。ここでは、特徴４４Ａ、４４Ｂ、４４Ｃは、筆記記入面１２の３つの角部である。或いは、特徴４４は、筆記記入面１２の何れかのエッジ部４３や、光学的に認識可能な何らかの目印や筆記記入面１２の特徴であり得る。装置１０によって書き込まれた何らかの目印等の使用者が筆記記入面１２上に作成した特徴も、この目的のための利用可能な特徴となることに注意されたい。
【００３０】
極座標系は、筆記記入面１２に対する装置１０の姿勢（向き）を表すために用いられる。極座標系のＺ軸は直交座標系のＺ軸と一致する。光軸３９は筆記端２０に関連付けられていることから、光軸３９は２つの座標系の原点を通る。従って、極座標系においては光軸３９は、極座標ｒとｒの長さとで表され、ここで｜ｒ｜は装置１０の長手方向長さである。装置１０のＺ軸に対する傾きは、極角θで表され、以下傾斜角θと称する。装置１０のＺ軸周りの回転角は極角φで表される。
【００３１】
光ユニット３０は図３に示すようなイメージングユニットであるのが好ましい。具体的には、光ユニット３０は、視野３４内に存在するオブジェクトをイメージ化、より詳細には筆記記入面１２を比較的低い歪みでイメージ化できるイメージングユニットであるのが好ましい。本実施例では、イメージングユニット３０は、レンズ４８Ａ及び４８Ｂのような屈折イメージング光学素子を有する。適当な屈折イメージング光学素子４６として、魚眼レンズや広視野レンズのような良好な軸外光学性能を有する視野の広いレンズが用いられることは当業者には理解されよう。そのような種類のレンズについての詳細は、米国特許第４２０３６５３号、第４２３５５２０号、第４２５７６７８号及びJames "Jay" Kumler他の"Fisheye lens designs and their relative performance", SPIE等を参照されたい。上記の全ての文献はここで引用したことにより本明細書の一部とする。
【００３２】
イメージング光学素子４６は、破線で示すような映像面５０を定める。イメージングユニット３０は、映像面５０に位置する光検出器アレイ５２をさらに備える。筆記記入面１２のイメージ１２’はイメージング素子４６のアレイ５２に投射される。好ましくは、アレイ５２はＣＭＯＳ光検出器アレイである。勿論、フォトダイオードやフォトトランジスタを用いたアレイのような他の種類の光検出器アレイも光検出器アレイ５２として使用することができる。しかし、ＣＭＯＳ光検出器は効率的で応答性がよく、消費電力も少ない傾向がある。加えて、ＣＭＯＳアレイは高解像度を可能にする小さいピッチを有する。
【００３３】
光学素子４６に与えられる視野３４は、筆記記入面１２の面積より実質的に大きい。実際、視野３４は、全筆記記入面１２のイメージ１２’が常にアレイ５２上に投影されるだけの十分に大きい視野である。この条件は、使用者が行う筆記記入操作中に筆記記入装置１０によって想定され得るあらゆる筆記記入位置、例えば筆記記入面１２のエッジ部や宿部の近くへの最大傾斜角θ（例えば,θ≒４０゜）の書き込みについても当てはまる。従って、筆記記入面１２の前側及び後側の位置ｙ１及びｙ２は、使用者の手１６や他の障害物で遮られない限り、常にアレイ５２上に位置ｙ’１及びｙ’２として投影されることになる。
【００３４】
ここで、本明細書においてダッシュ（’）を付した符号は、物理的空間においてダッシュを付していない符号を付した部分に対応するイメージ空間内の部分を指すものとする。そしてイメージ空間内の部分に更なる変換や操作を加えたときは、符号に付されるダッシュの数を増やして示すものとする。
【００３５】
筆記記入装置１０は、図４により詳細に示す処理ユニット５４を有する。処理ユニット５４は、筆記記入面１２の光学的データを受け取るべく設計されている。本実施例では、光学的データは、筆記記入面１２のイメージ１２’によって表されている。この光学的データから、処理ユニット５４は、筆記記入面１２の１箇所以上の角部及び１つ以上のエッジ部に対する筆記端の物理的座標を決定する。本実施例では、処理ユニット５４が、図２に示す直交座標系におけるベクトルｖ１、ｖ２、ｖ３を決定するべく設計されている。
【００３６】
この機能を達成するため、処理ユニット５４は、イメージプロセッサ５６、フレームコントロール５８、メモリ６０、及びアップリンクポート６５及びダウンリンクポート６４を備えている。ポート６２及び６４は通信装置３８に属する。イメージプロセッサ５６は、好ましくは、エッジ検出ユニット６６、原点位置測定ユニット６８、イメージ変換ユニット７０、及び比率計算ユニット７２を有しており、図５により明確に示されている。これらの要素に加えて、イメージプロセッサ５６は、イメージ１２’を含む生のイメージデータ７６を受け取って多重分離するデマルチプレクサ７４を有する。データ７６は、アレイ５２の行多重化ブロック７８Ａと列多重化ブロック７８Ｂから供給される。
【００３７】
動作中に、使用者は装置１０を動かす。装置の筆記端が一端筆記記入面１２に接触すると、圧力センサ２４は光ユニット３０の取得モードを作動させる。取得モードでは、処理ユニット５４は、光学的データ即ちアレイ５２の画素上にイメージ化された筆記記入面１２のイメージ１２’を受け取る。
【００３８】
ここで、イメージプロセッサ５６は一定のフレームレートでイメージ１２’の生のイメージデータ７６をキャプチャする。フレームレートは、フレームコントロール５８によって制御される。フレームレートは、使用者の筆記記入動作を正確に追跡するのに十分な速さである。これを達成するため、フレームコントロール５８は、フレームレートを１５Ｈｚまたは３０Ｈｚ以上に設定する。
【００３９】
従来技術と異なり、使用者が書き込む情報は、その情報自体を検出即ちイメージ化することによって決定されず、その書き込まれた情報は、筆記記入面１２の光学的に認識可能な特徴に対する、筆記端２０、より正確にはボールペンのボール２２の物理的座標を決定することによって推定される。これらの認識可能な特徴としては、角部、エッジ部、その他の筆記記入面１２上に使用者が書き込んだ特徴や目印等が挙げられる。使用者が書き込んだ全ての情報を決定するため、圧力センサ２４によって取得モードが作動させられているときは常に、認識可能な特徴に対する筆記端２０の物理的座標が設定されたフレームレートで取得される。
【００４０】
本実施例では、ベクトルｖ１、ｖ２、及びｖ３でパラメータ表示された筆記記入面１２の３つの角部４４Ａ、４４Ｂ、及び４４Ｃに対する筆記端２０の物理的座標が決定される（図２参照）。この目的を達成するため、処理ユニット５４は、イメージ１２’のイメージ化されたベクトルｖ’１、ｖ’２、及びｖ’３からベクトルｖ１、ｖ２、及びｖ３に復元する。このプロセスには複数のステップが必要である。
【００４１】
第１のステップでは、処理ユニット５４のイメージプロセッサ５６が、デマルチプレクサ７４の助けにより、アレイ５２の行ブロック７８Ａ及び列ブロック７８Ｂからの生のイメージデータ多重分離を行う。次に、イメージプロセッサ５６は、イメージデータ７６をエッジ検出ユニット６６に送る。エッジ検出ユニット６６は、筆記記入面１２のイメージ１２’のエッジ部及び角部を特定する。このプロセスは図６により明確に示されており、図６ではイメージ化されたエッジ部４３’の遮られていない部分８０’がエッジ検出のために用いられるところが示されている。イメージ中のエッジ検出やエッジ検出アルゴリズムに関するより詳細な情報については、米国特許第６０２３２９１号及び第６４０８１０９号や、Simon Baker及びShree K. Nayar, "Global Measures of Coherence for Edge Detector Evaluation", Conference on Computer Vision and Pattern Recognition, June 1999, Vol. 2, pp. 373-379、及びJ. Canny, "A Computational Approach to Edge Detection", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 8, No. 6, Nov. 1986 for basic edge detectionを参照されたい。上記の全ての文献は、ここで引用したことにより本明細書の一部とする。
【００４２】
実際には、使用者の手１６が筆記記入面１２の一部を遮る遮蔽物となる。従って、それに対応する影１６’がイメージ１２’に存在することになる。別の影１７’（または複数の影）も、筆記記入面１２を覆う、即ち筆記記入面１２と光学ユニット３０との間に位置する他の物体によって頻繁に作り出される。そのような物体としては、典型的には使用者の他方の手及び／または髪の毛のような体の部分（図示せず）等が挙げられる。本発明の目的のため、ベクトルｖ１、ｖ２、及びｖ３を復元し、それによって筆記端２０の物理的座標を決定できるようにするためには、イメージ１２’が、イメージ化されたエッジ部４３’の２、３の遮られていない部分８０’を、好ましくは２以上の角部（例えば角部４４Ａ’、４４Ｂ’、及び４４Ｃ’）を含めて有していさえすればよい。
【００４３】
従って、影１６’及び１７’が存在したとしても、イメージ化されたエッジ部４３’のいくつかの遮られていない部分８０’をエッジ検出ユニット６６が利用することができる。その光学的データ７６をエッジ検出の目的でエッジ検出ユニット６６が使用できる複数の画素群８２が表示されている。状況によっては、影,例えば影１６’により遮られてる画素群８３が見えるようになり、角部４４Ｄ’の検出に使用可能となることもある、ということに注意されたい。
【００４４】
エッジ検出ユニット６６はエッジ部４３’を認識し、視野３４の中心８４に対するそれらのベクトル方程式や他の適切な数学的表現によってそれを記述する。中心８４は、基準として用いるために、原点位置測定ユニット６８の助けにより設定される。この操作は、筆記記入装置１０を動作させる前、例えば筆記記入装置１０の初期化及び試験中や、機械的理由により原点位置の較正が必要となったときに常に行うことができる。この初期化は、イメージングシステムの中心位置を決定するための何らかの適切なアルゴリズムの助けにより行うことができる。この詳細については、Carlo Tomasi及びJohn Zhang," How to Rotate a Camera", Computer Science Department Publication, Stanford Universityや、Berthold K. P. Horn, "Tsai's Camera Calibration Method Revisited"を参照されたい。これらの文献は、ここで引用したことにより本明細書の一部とする。
【００４５】
本発明によれば、光学ユニット３０が筆記端２０に関連付けられていることから、中心８４は光軸に一致する。従って、物理空間における筆記記入装置１０のあらゆる向き、即ちあらゆる傾斜角θ及び極角φの大きさについて、視野３４の中心８４は常に筆記端２０及びそのイメージ２０’の位置に一致する。この特性を有するシステムは、従来通常は中心システムと称され、種々の中心パノラマシステム等を含む。筆記記入装置１０の本体１４が中心８４を常に遮っているため、筆記端２０のイメージ２０’は視野３４内において実際に見ることはできない点に注意されたい。
【００４６】
イメージング光学素子４６に関連する収差を含む光学的効果のために、イメージ１２’の検出された部分は、破線で示されるようにエッジ部４３’を一定量だけ曲げるように示す。この曲がりは、レンズ４８Ａ及び４８Ｂ及び／または任意の追加のレンズ（図示せず）によって光学的に補償するか、処理ユニット５４によって電子的に補償することができる。好ましくは、この曲がりは、イメージ変換ユニット７０によってイメージ１２’の検出された部分に変換を施すことによって相殺される。例えば、イメージ変換ユニット７０は、平面投影法に基づいて透視図を作成するイメージ変形変換器を有する。或いは、イメージ変換ユニット７０は、球面投影法に基づいて球面投影図を作成するイメージ変形変換器を有する。有利な点として、そのような球面投影図は公知の方法によって平面投影図に変換できる。そのような方法は、Christopher Geyer及びKostas Daniilidis, "A Unifying Theory for Central Panoramic Systems and Practical Implications", www. cis.upenn. edu, Omid Shakernia他, "Infinitesimal Motion Estimation from Multiple Central Panoramic Views", Department of EECS, University of California, Berkeleyや、Adnan Ansar及びKostas Daniilidis, "Linear Pose Estimation from Points or Lines", Jet Propulsion Laboratory, California Institute of Technology and GRASP Laboratory, University of Pennsylvania等に記載されており、上記文献はここで引用したことにより本明細書の一部とする。
【００４７】
ここで、一旦イメージ１２’が認識・変換されると、筆記記入装置１０の向きが決定される。この決定は、様々な方法で行うことができる。例えば、球面投影法を用いる場合、即ちイメージ１２’の遮られていない部分を球面投影する場合、直接的な三次元的回転による推定を用いて、傾斜角θ及び極角φを復元することができる。この目的のため、筆記記入面１２の垂直な方向からのイメージをメモリ６０に記憶させておき、変換ユニット７０が基準として利用できるようにする。次に一般化シフト写像法を適用する変換処理によって、筆記記入装置１０の筆記記入面１２に対するオイラー角を求め。この方法は、三次元空間において固定された一点（この場合では筆記端２０が筆記記入面１２に接触する点が各フレーム期間について固定されていると考えられる）に対する任意の動きはある軸周りの回転によって表現できるというオイラーの法則に関連するものである。シフト写像法の詳細については、Ameesh Makadia及びKostas Daniilidis, "Direct 3D-Rotation Estimation from Spherical Images via a Generalized Shift Theorem", Department of Computer and Information Science, University of Pennsylvaniaを参照されたい。この文献は、ここで引用したことにより本明細書の一部とする。
【００４８】
或いは、イメージ１２’の遮られていない部分の透視図が得られる平面投影法を用いる場合、幾何学の標準的な規則を用いて、傾斜角θ及び極角φを求めることができる。この場合には、透視図の規則を利用する幾つかの幾何学的方法を用いることができる。
【００４９】
幾何学的方法の１つが図７Ａに示されており、ここでは明確化のため全イメージ１２’が示されており（遮られた部分は無視、即ち上記のステップで導出されたエッジ部４３’の方程式を用いてその部分にイメージを埋め込んでいる）、２本のエッジ部４３’が消点８６まで延ばされている。中心８４と消点８６と結ぶ線Ψが構築される。傾斜角θの平面における線Σも構築される。ここで、線Ψと線Σとがなす角は極角φに等しい。一方、中心８４から消点８６までの線Ψの長さは傾斜角θに反比例する。好ましくは、傾斜角θの値に対応するΨの値を有する参照用テーブルをメモリ６０内に格納しておき、各フレームにおいて速やかに傾斜角θを求められるようにしておく。傾斜角θの平面を追跡するために、光軸３９の周りの筆記記入装置１０の回転を認識しておく必要があることに注意されたい。この回転は、手がかりのキーとして、例えば図８に示すような筆記記入装置１０上のグリップ９０を与えることによって求めることができる。グリップ９０は軸３９の周囲に回転させることなく筆記記入装置を使用者の手１６で保持させるためのものである。
【００５０】
別の幾何学的方法は図７Ｂに示されており、ここでも全イメージ１２’が明示のため示されている。そしてここでも２つのエッジ部４３’が消点８６まで延ばされている。中心８４と消点８６とを結ぶ線Ψが構築される。傾斜角θの平面に垂直な平面内の線Γも構築される。ここで、消点８６から線Γに垂直な線Πが構築される。線Πと線Ψとがなす角は極角φに等しい。一方、線Πの線Γとの交点から消点８６までの長さは、傾斜角θに反比例する。好ましくは、傾斜角θの値に対応するΠの値を有する参照用テーブルをメモリ６０内に格納しておき、各フレームにおいて速やかに傾斜角θを求められるようにしておく。この実施例では、アレイ５２上のキーマーク９２または筆記記入装置１０の他の部分が、傾斜角θの平面に垂直な平面を追跡するために用いられ、図８に示すようなペン上の適切なグリップに関連付けられる。
【００５１】
全イメージ１２’を用いるさらに別の幾何学的方法は図７Ｃに示されている。ここでは、２本のエッジ部４３’で定められる消点８６と中心８４とを結ぶ線Ψが構築される。第２の消点９４は、他の２本のエッジ部４３’を延長することによって位置決めされる。次いで、線Ωによって消点８６と第２の消点９４とが結ばれる。ここで、線Σが、線Ωと直角をなすように中心８４から線Ωにおろされる。線Ψと線Σとのなす角は極角φに等しく、線Ψの長さか線Σの長さ（或いは線Ωの長さでもよい）の何れかを用いて、傾斜角θを導き出すことができる。ここでも同様に、速やかな処理のために、対応する参照用テーブルを用いるのが推奨される。この実施例では、筆記記入装置１０の（筆記記入装置１０の中心軸でもある）光軸３９周りの回転がこの幾何学的構造に影響を及ぼさないため、キーマークやグリップを用いる必要がないことに注目されたい。
【００５２】
さらに別の幾何学的方法は図７Ｄに示されている。この方法では、イメージ１２’の面積（積分）とともに、角部の角度α、β、γ、及びδ（遮られていない場合）を用いてθとφを求める。詳述すると、角部の角度α、β、γ、及びδが一義的に角度φを定める。同様に、面積の値が一義的にθを定める。この実施例においても、速やかな処理と角度θ及びφの決定のために、メモリ６０内に記憶させた対応する参照用テーブルを用いることができる。
【００５３】
イメージング光学素子４６が筆記記入面１２の物理的向きに対してイメージ１２’を逆にさせてしまう場合には、図９に示すようにイメージ１２’を反転される必要がある。この反転は、何れかの時点で変換ユニット７０によって行うことができる。例えば、θ及びφを決定する上述のステップを行う前または後にイメージ１２’を反転させることができる。イメージ１２’が逆にならない場合には、反転を行う必要はない。
【００５４】
変換され（必要な場合には）反転されたイメージ１２’’は図１０に示されている。このとき、ベクトルｖ’’１、ｖ’’２、及びｖ’’３が再計算される。中心８４からエッジ部４３’’上の特徴即ち目印までの追加のベクトルｖ’’ｎも図示されている。そのような筆記記入面１２のエッジ部４３上の目印は、筆記端２０の物理的座標を決定するために角部の代わりに用いることができる。このことは、２つの角部が筆記記入面１２と光学ユニット３０との間に位置する使用者や他のオブジェクトによって遮られるときに特に重要である。
【００５５】
このとき、イメージ１２’’は角度θ及びφの回転のために補正されて、図１１に示すような変換されて補正された最終的なイメージ１２’’’が得られる。これは、変換され（場合によっては反転された）イメージ１２’’に対して適切な逆回転を施すことによって行われる（これらの逆回転は、筆記記入面１２に対する筆記記入装置１０の物理的空間におけるオイラー回転に対応する。標準的なオイラー変換は、古典力学の教科書、例えばGoldstein, Classical Mechanics等に記載されている。）。
【００５６】
ここで、筆記端２０の物理的座標を、ベクトルｖ’’’１、ｖ’’’２、ｖ’’’３及び／ｖ’’’ｎから直接求めることができる。この計算は、イメージ１２’’’の筆記記入面１２に対する比率は保存されるという事実を利用して、比率計算ユニット７２が行う。具体的には、計算ユニット７２は、以下の比率計算、
ｘ１／ｘ２＝ｘ’’’１／ｘ’’’２、及び
ｙ１／ｙ２＝ｙ’’’１／ｙ’’’２
を用いる。
【００５７】
これらの値は前記ベクトルから得られ、イメージング光学素子４６の倍率Ｍによる一定の倍率を、図１２に示すように、追加の照合確認と、得られた値が正しいことを確認するための制約条件として用いることができる。
【００５８】
本発明による筆記記入装置はこの他にも様々な実施形態で実現することができる。例えば、放物面（または双曲面）鏡１０２とレンズ１０４を有する反射屈折系を用いた別の光学ユニット１００が図１３に示されている。光学ユニット１００の構造は、図１４に示すように、筆記記入装置１０８（上部のみを図示）上に光学ユニット１００が収容されるように改変しなければならない。この実施形態では、光検出器アレイ１０６が筆記記入装置１０８の遠位端１０９に配置される。この実施例では、支持部材１１０は延長部１１１を用いて延長される。
【００５９】
筆記記入装置１０は、筆記記入面１２０の角部及びエッジ部以外の特徴及び目印を利用することができる。例えば、図１５に示すように、筆記記入装置は使用者が作成した特徴１２２を利用する。特徴１２２は、具体的には使用者が記入した文字「Ａ」である。この場合、追跡のために、文字上の特に位置決定しやすい点（例えば、検出と追跡が容易な高いコントラストを生み出す点）を使用し、直交座標系の限定からこの点までのベクトルｖｒが構築される。筆記記入装置１０は、エッジ部１２６に沿って位置する目印１２４も利用する。原点から目印１２４までのベクトルｖｓが構築される。また最後に、装置１０は筆記記入面１２０の角部１２８を利用しており、この角部は対応するベクトルｖｑによって特定される。
【００６０】
この実施形態では、動作時に、上述のエッジ検出アルゴリズム及び高いコントラストの点を検出するための他の任意のアルゴリズムを用いて、イメージ中の線と角部の位置を特定し、特徴１２２、目印１２４、及び角部１２８を位置決定する。次に、角度θを決定し、上述のように筆記記入面１２０のイメージのイメージ化されたベクトルｖ’ｑ、ｖ’ｒ、及びｖ’ｓに対応する変換が施される。この変換されたベクトルから、筆記端の物理的座標が決定される。
【００６１】
勿論、追跡される特徴や目印の数が増えることで、筆記記入面１２０上の筆記端の物理的座標を決定する精度が高められることは当業者には理解されよう。但し、追跡される目印や特徴が多くなるほど必要な処理は増加する。筆記記入装置１０のリアルタイム動作が必要な場合、例えば筆記記入動作が筆記記入装置１０から受信装置にリアルタイムで送信される場合、特徴や目印の数は制限されなければならない。或いは、記入された情報を後で使用者がダウンロードできる場合、及び／またはリアルタイム処理が不要な場合には、より多くの目印や特徴を用いて、筆記端２０の物理的座標を決定する際の精度を高めることができる。これによって、筆記記入面の解像度も高くなる。同様に心に留めておくべきことは、この特徴や目印は絶対的基準を提供するということ、即ち筆記記入面１２０上のそれらの位置が時間とともに変わってはならないということである。しかし、筆記端２０の物理的座標を決定するための用いられる目印や特徴は、フレーム毎に同じものである必要はないということも記憶しておかれたい。
【００６２】
上記したものの他にも様々な本発明の実施形態が可能であることは当業者には明らかであろう。
【図面の簡単な説明】
【００６３】
【図１】本発明による筆記記入装置の側面図。筆記記入装置は、傾斜角ゼロ（オイラー角ゼロ）の面において示されている。
【図２】使用時における図１の筆記記入装置の物理的パラメータを示す三次元図。
【図３】イメージングの原理を示す図１の筆記記入装置の側面図。
【図４】図１の筆記記入装置の処理ユニットのブロック図。
【図５】イメージングユニットに属する光検出器上に投影された筆記記入面のイメージを示す図。
【図６】筆記記入面のイメージに対して行われるエッジ部及び／または角部の処理を示す図。
【図７Ａ】図７Ｂ、図７Ｃ及び図７Ｄとともに、筆記記入面に対する筆記記入装置の向きをオイラー角で決定するために処理ユニットがイメージに対して行う処理を示す図。
【図７Ｂ】図７Ａ、図７Ｃ及び図７Ｄとともに、筆記記入面に対する筆記記入装置の向きをオイラー角で決定するために処理ユニットがイメージに対して行う処理を示す図。
【図７Ｃ】図７Ａ、図７Ｂ及び図７Ｄとともに、筆記記入面に対する筆記記入装置の向きをオイラー角で決定するために処理ユニットがイメージに対して行う処理を示す図。
【図７Ｄ】図７Ａ、図７Ｂ及び図７Ｃとともに、筆記記入面に対する筆記記入装置の向きをオイラー角で決定するために処理ユニットがイメージに対して行う処理を示す図。
【図８】方向付けグリップを備えた筆記記入装置の別の実施形態を示す図。
【図９】イメージの補正及びパラメータ表示の処理を示す図。
【図１０】パラメータ表示された補正済みのイメージを示す図。
【図１１】筆記端の物理的座標を決定するための基礎となるパラメータ表示され、補正され、変換されたイメージを示す図。
【図１２】初期化や照合のために用いられ得る、筆記記入面のイメージと物理的筆記記入面との対応を示す図。
【図１３】反射屈折系を用いた光学ユニットの別の実施形態を示す図。
【図１４】図１３の反射屈折系を用いた筆記具の最上部を示す図。
【図１５】筆記端の物理的座標を決定するための別の目印や特徴を使用しているところを示す三次元図。
【技術分野】
【０００１】
本出願は２００３年２月２４日出願の米国仮出願第６０／４５０２４４号を基礎とした優先権を主張するものである。本発明は、一般的に、筆記具のような手持ち式の器具の助けによって使用者が筆記記入面即ち書き込み面に筆記、線引き、スケッチまたは他の方法でマーク付けした情報の取得に関するものである。
【背景技術】
【０００２】
書くこと及び描くことに関する技術は古くよりあり、伝統のなかで豊かに存在する。長い年月にわたって、文字の筆記、及び線引き、スケッチ、マーキングや描画のための様々な器具が用いられてきた。これらの器具の大部分は、概ね細長い形状で基本的には丸い断面を有し、一端に筆記端即ち先端を有する。そのような器具は、一般的に、使用者の使い易い手で握られて操作されるように設計されている。より具体的には、使用者は、器具の筆記端が表面上を動いた跡にマークが残るように、その器具を筆記面即ち筆記記入面上で横断させるように動かす。そのマークは、例えばマーキング材料（鉛筆の場合でいえば木炭）の摩耗によって先端部から剥がれて付着した材料によって、或いはインクが表面を直接濡らすことによって（ペンの場合）生成される。このマークは、表面上に残されるあらゆる物理的な跡を含み得る。
【０００３】
最も広く用いられている筆記及び線引き具としてはペンや鉛筆が挙げられ、最も手ごろな筆記記入面としては、様々なサイズの紙片、或いは概ね平らな形状でマーク付けが可能な他の物体を用いることができる。実際に、科学技術の大いなる進歩にも関わらず、電子時代にあってすら、ペンと紙は依然として最も簡単で最も直感的な筆記、線引き、マーキング、及びスケッチのための器具でありつづけている。
【０００４】
電子装置とのやり取りのための技術は、電子装置への入力インタフェースそのものにある。例えば、コンピュータは、キーボード、ボタン、ポインタ装置、マウス、その他の動きを符号化してそれをコンピュータが処理できるデータに変換するあらゆる装置のような入力装置を利用する。残念ながら、これらの装置のなかには、ペンと紙ほどユーザーフレンドリーで使用者に受容されているものはない。
【０００５】
この入力インタフェースの問題は従来技術においても認識されており、種々の解決法が提案されてきた。これらの解決法の大部分は、紙や他の筆記面（例えばタブレット）の上でのペンの動きから電子データ即ちデジタルデータを導くものである。これらの従来技術については以下の文献を参照されたい。
【０００６】
米国特許：（以下の表に記載の番号の米国特許）
【０００７】
米国特許出願公開：（以下の表に記載の番号の米国特許出願公開）
【０００８】
欧州特許：（以下の番号の欧州特許）
０６４９５４９Ｂ１
【０００９】
国際特許出願：（以下の表に記載の番号の国際特許出願公開）
【００１０】
上記の参照文献には多くの方法が記載されているが、いずれも使用者にとっては扱いにくいものである。これらの方法の多くは使用者に扱いにくいペンを使用させて、特別な書くための条件やモニタリング条件を課したり、及び／または筆記面上に書かれた情報を追跡しデジタル化するための扱いにくい補助システムや装置が必要となるものである。従って、筆記具をベースにしたユーザーフレンドリーな入力インタフェースの問題は依然として解決されていない。
【発明の開示】
【課題を解決するための手段】
【００１１】
本発明は、筆記記入面からの手で筆記記入された情報を推定する筆記記入装置を提供する。本発明の目的のために、手で筆記記入された情報とは、筆記記入面上への筆記、筆記記入、線引き、スケッチ、その他の筆記記入面上へあらゆる方式のマーキング即ちマーク付けの何れかの結果として筆記記入面上にマークされたあらゆる情報を含む。加えて、この用途における手で筆記記入された情報とは、筆記記入面上に跡を残さずに線引きされた情報も含む。筆記記入装置は、筆記記入のための筆記端と、その筆記端が筆記記入面上に筆記記入を行っているときを判別するための機構とを有する。さらに、前記装置は筆記記入面を見るための光学ユニットを有する。好ましくは、この光学ユニットは、前記装置の筆記端と反対側の端部に取り付けられ、筆記端を指し示す。本発明の目的のため、筆記端にインデクスを付けることは、光学ユニットの光軸が筆記端に関連付けられる、例えば光学ユニットの光軸が筆記端を通ることを意味する。前記装置は、前記光学ユニットから前記筆記記入面の光学データを受け取って、前記筆記記入面の少なくとも１つの角部及び前記筆記記入面の少なくとも１つのエッジ部に対する物理的座標を決定するための処理ユニットも備える。
【００１２】
本発明の装置は、従来技術と異なり、筆記端の物理的座標を間接的に推定、即ち前記光学ユニットから得られた筆記記入面の光学データから推定する点に注目されたい。従って、筆記端の物理的座標を決定するための十分な筆記記入面についてのあらゆる光学的データを用いることができる。例えば、全ての角部、複数の角部、エッジ部、またはその一部の光学的データを利用することができる。或いは、前記筆記記入面上の他の目印または光学的に認識可能な特徴も同様に利用することができる。
【００１３】
筆記記入面上に筆記端が筆記記入を行っているときを判別するための機構は、好ましくは、筆記記入装置に取り付けられた圧力検知ユニットを含む。歪みゲージ、機械的圧力センサ、圧電素子、及び筆記端と筆記記入面との間の接触を認識する他のタイプの機構をこの目的で使用することができる。
【００１４】
好ましい実施形態では、光学ユニットは、筆記記入面またはその一部をイメージングするイメージングユニットである。イメージングユニットは、筆記記入面上に像を投影するための光検出器アレイを備えているのがより好ましい。処理ユニットは、イメージ内の筆記記入面のエッジ部及び角部を検出するエッジ検出ユニットまたは回路（例えば、処理ユニットのマイクロプロセッサ内のファームウェア）を有する。
【００１５】
筆記記入装置は、イメージに対して１以上の変換を行うためのイメージ変換ユニットをさらに備える。より詳細には、イメージ変換ユニットは、イメージを補正するための適当な物理的光学部品（例えばレンズ）や、イメージを補正し、イメージに対して種々の操作を施すソフトウェアルーチンを備える。例えば、イメージ変換ユニットは、イメージを平面投影図に補正するイメージ変形変換器を有する。或いは、イメージ変換ユニットは、イメージを球面投影図に補正するためのイメージ変形変換器を有する。同一のまたは異なる実施形態では、イメージ変換ユニットは、筆記記入装置の筆記記入面に対するオイラー角を決定するためのイメージ変換器を有する。
【００１６】
好ましい実施形態では、エッジ検出ユニットによって特定されたイメージのエッジ部及び／または角部に対してのみ補正及び変換が施される。つまり、筆記記入面に対応するイメージの一部のみ、具体的には筆記記入面のエッジ部、角部、目印、またはその他の光学的に認識可能な特徴、及び／またはそれらの一部分を補正し、変換する。
【００１７】
処理ユニットに属する比率計算モジュールは、イメージから筆記端の物理的座標を決定する。また、好ましい実施形態では、この座標の決定は、筆記記入面に対応するイメージの適切な部分、具体的には筆記記入面のエッジ部、角部、目印または他の光学的に認識可能な特徴及び／またはそれらの一部分から行う。
【００１８】
光検出器アレイは、フォトダイオードまたはフォトトレンジスタアレイを含む適当な光検出器のアレイであって、好ましくはＣＭＯＳ光検出器アレイである。イメージングユニットで用いられる光学部品には、屈折及び／または反射光学素子等があり、好ましくは反射屈折系を含む。何れの場合も、イメージングユニットが、筆記端が筆記記入面に接触している場合の筆記記入装置のあらゆる位置について、イメージング筆記記入面の少なくとも１つのエッジ部と１つの角部を常に検出し得るように、光学素子の視野は筆記記入面の面積より実質的に大きくあるべきである。
【００１９】
使用者が筆記、スケッチ、または線引きしたものを決定するために十分な速さで筆記端の物理的座標を決定するために、装置はフレーム制御ユニットを備える。フレーム制御ユニットは、筆記記入面がイメージングされる一定のフレームレートを設定する。好ましくは、このフレームレートは１５Ｈｚ以上であり、３０Ｈｚより大きいレートがより好ましい。
【００２０】
最後に、筆記記入装置は、筆記端の物理的座標を外部ユニットに送るための装置を備える。これらの座標データを送るための装置は、以下に限定されないが、赤外線（ＩＲ）ポート、超音波ポート、光ポート等のあらゆる種類のデータ通信ポートを含み得る。外部ユニットは、コンピュータ、携帯式のデバイス、ネットワークターミナル、ダウンロードユニット、ワイドエリアネットワーク（ＷＡＮ）（例えばインターネット）やローカルエリアネットワーク（ＬＡＮ）へのゲートウェイ、ストレージデバイス、プリンター、その他、筆記端の物理的座標を記憶、印刷、転送、及び／またはさらなる処理が可能なあらゆる種類の外部ユニットであり得る。用途や必要に応じて、筆記端の物理的座標はリアルタイムで処理しる場合もあれば、リアルタイムでの処理は行わなくてもよい場合もあることに注意されたい。
【００２１】
好ましい実施形態では、装置は、筆記記入面を初期化・認識するための機構をさらに装備する。勿論、筆記記入面のサイズ及び種類は、使用者が選択、入力することができる。この初期化・認識のための機構は、上記のような光学ユニットと処理ユニット、及び筆記記入面用として標準的なサイズのメモリを有する。例えば、筆記記入面として標準サイズの紙片が使用される場合には、そのような紙のイメージがメモリに記憶できる。好ましくは、これらの記憶されるイメージは、筆記記入装置が筆記記入面に対して既知の位置や向きにある状態で取得される。つまり、記憶されるイメージは、筆記記入面上において筆記体が既知の物理的座標にあり、かつ筆記記入装置が既知の空間的な向き（例えば既知のオイラー角）にある状態で取得される。
【００２２】
本発明の詳細については、以下の詳細な説明において添付の図面を参照しつつ説明する。
【発明を実施するための最良の形態】
【００２３】
本発明は、初めに本発明による筆記記入装置１０を示す図１の側面図を参照し、次に図２乃至図４を参照することによって最もよく理解されよう。図１に示す筆記記入装置１０はペン、より詳細にはインクを出すペンであり、より正確にいえばボールペンである。しかし、筆記記入装置１０は、マーカーペン、鉛筆、筆や、その他筆記記入面１２上に情報を書き込める他のあらゆる筆記具、スケッチ具、線引き具、及び描画具であり得ることは理解されよう。或いは、筆記記入装置１０は、スタイラスやその他の筆記記入面上に跡や変形を残さずに線引きすることによって筆記記入面１２上に情報を記入する装置であり得る。そのような筆記記入面は、圧力検知デジタル化タブレットや、その他の電子データ処理デバイスへの入力専用の面であり得る。この実施例では、筆記記入装置は既知の筆記具、スケッチ具、線引き具、または描画具を概ね模した形状を有している。具体的には、筆記記入装置１０は、使用者の手１６で握られるように設計された概ね円形の断面形状を有する細長い本体部１４を有する。
【００２４】
一般的に、筆記記入面１２は装置１０が上述のような筆記記入を行える平坦な材料のシートである。幾何学的な理由で、筆記記入面１２は矩形であるのが好ましい。本実施例では、筆記記入面１２は支持面１８上に広げられた標準サイズまたは非標準サイズの紙片である。筆記記入面１２がＰＤＡデバイスのタブレットのようなデジタル化タブレット、コンピュータの画面、または他のしっかりした表面である場合、支持面１８は必要ないこともある。しかし、筆記記入面１２が、角部、エッジ部、目印等の光学的に認識可能な特徴を有していることが重要である。また、これらの特徴が筆記記入動作の間に筆記記入面１２の残りの部分に対してその位置を変えないことも重要である。
【００２５】
装置１０は、ボールペンのボール２２を末端に有する筆記端２０を有する。筆記端２０が筆記記入を行っているときを判別するための圧力センサ２４が筆記端２０の近傍に取り付けられる。筆記記入は、ボールペンのボール２２が筆記記入面１２に接触しているときに生ずる。圧力センサ２４は歪みゲージを用いるのが便利である。或いは、圧力センサ２４は機械的圧力センサまたは圧電素子である。当業者は、その他の圧力センサも使用され得るということを理解されよう。装置１０は初期化スイッチ２６も備える。スイッチ２６は、同じ筆記記入面１２上に筆記記入が行われているのか、或いは新しい筆記記入面（図示せず）上に筆記記入が行われているのかを使用者が入力するために儲けられる。
【００２６】
光学ユニット３０は装置１０の遠位端３２に取り付けられる。光学ユニット３０は、筆記記入面１２を視野に入れられるように設計されており、後に詳述するように筆記記入面を超えたところにある境界線で定められる視野３４を有する。本実施例では、光学ユニット３０は３つの支持部材３６の上に取り付けられている。部材３６は、機械的安定を確保し、遮る部分は視野３４の無視できる部分だけにしておくような構造を有し得る。光学ユニット３０は筆記端２０に関連付けられた光軸３９を有する。より詳細には、光軸３９は、筆記端２０を通っている。従って、光ユニット３０の視野３４の中心に筆記端２０が置かれることになる。或いは、光軸３９が、筆記端２０に対して所定のオフセットをもたせるようにすることもできる。しかし、視野３４が左右対称であることから、光学ユニット３０は、光軸３９が筆記端２０を通り、ボールペンのボール２２の中心を通るようにして光学ユニット３０を筆記端２０に関連付けるのが好ましい。
【００２７】
装置１０は、外部ユニット４０と通信するための装置３８を備える（図２参照）。本実施例では、装置３８は、赤外線４２にエンコードされたデータをやりとりするための赤外線（ＩＲ）ポートである。もちろん、以下に限定されないが、超音波ポートや光ポートなどのあらゆる種類のデータ伝送ポートを装置３８として用いることができる。一方、外部ユニット４０は、コンピュータ、携帯式のデバイス、ネットワークターミナル、ダウンロードユニット、ワイドエリアネットワーク（ＷＡＮ）（例えばインターネット）やローカルエリアネットワーク（ＬＡＮ）へのゲートウェイ、ストレージデバイス、プリンター、その他、筆記端２０の物理的座標を記憶、印刷、転送、及び／またはさらなる処理が可能なあらゆる種類の外部ユニットであり得る。
【００２８】
図２を参照すると、装置１０の物理的パラメータが、便宜上直交座標系並びに極座標系で記述されている。これらの座標系の原点は、筆記端２０の位置に一致しており、より詳細にはボールペンのボール２２が筆記記入面１２と接触する位置に一致している。直交座標系は、筆記記入面１２の平面内に、筆記記入面１２の幅及び長さ方向に一致する形でＸ軸とＹ軸とを有する。直交座標系のＺ軸は、筆記記入面１２の面に対して直交即ち垂直な方向を向いている。
【００２９】
複数の特徴４４Ａ、４４Ｂ、４４Ｃが、直交座標系の原点から引かれた対応するベクトルｖ１、ｖ２、ｖ３によって特定されている。ここでは、特徴４４Ａ、４４Ｂ、４４Ｃは、筆記記入面１２の３つの角部である。或いは、特徴４４は、筆記記入面１２の何れかのエッジ部４３や、光学的に認識可能な何らかの目印や筆記記入面１２の特徴であり得る。装置１０によって書き込まれた何らかの目印等の使用者が筆記記入面１２上に作成した特徴も、この目的のための利用可能な特徴となることに注意されたい。
【００３０】
極座標系は、筆記記入面１２に対する装置１０の姿勢（向き）を表すために用いられる。極座標系のＺ軸は直交座標系のＺ軸と一致する。光軸３９は筆記端２０に関連付けられていることから、光軸３９は２つの座標系の原点を通る。従って、極座標系においては光軸３９は、極座標ｒとｒの長さとで表され、ここで｜ｒ｜は装置１０の長手方向長さである。装置１０のＺ軸に対する傾きは、極角θで表され、以下傾斜角θと称する。装置１０のＺ軸周りの回転角は極角φで表される。
【００３１】
光ユニット３０は図３に示すようなイメージングユニットであるのが好ましい。具体的には、光ユニット３０は、視野３４内に存在するオブジェクトをイメージ化、より詳細には筆記記入面１２を比較的低い歪みでイメージ化できるイメージングユニットであるのが好ましい。本実施例では、イメージングユニット３０は、レンズ４８Ａ及び４８Ｂのような屈折イメージング光学素子を有する。適当な屈折イメージング光学素子４６として、魚眼レンズや広視野レンズのような良好な軸外光学性能を有する視野の広いレンズが用いられることは当業者には理解されよう。そのような種類のレンズについての詳細は、米国特許第４２０３６５３号、第４２３５５２０号、第４２５７６７８号及びJames "Jay" Kumler他の"Fisheye lens designs and their relative performance", SPIE等を参照されたい。上記の全ての文献はここで引用したことにより本明細書の一部とする。
【００３２】
イメージング光学素子４６は、破線で示すような映像面５０を定める。イメージングユニット３０は、映像面５０に位置する光検出器アレイ５２をさらに備える。筆記記入面１２のイメージ１２’はイメージング素子４６のアレイ５２に投射される。好ましくは、アレイ５２はＣＭＯＳ光検出器アレイである。勿論、フォトダイオードやフォトトランジスタを用いたアレイのような他の種類の光検出器アレイも光検出器アレイ５２として使用することができる。しかし、ＣＭＯＳ光検出器は効率的で応答性がよく、消費電力も少ない傾向がある。加えて、ＣＭＯＳアレイは高解像度を可能にする小さいピッチを有する。
【００３３】
光学素子４６に与えられる視野３４は、筆記記入面１２の面積より実質的に大きい。実際、視野３４は、全筆記記入面１２のイメージ１２’が常にアレイ５２上に投影されるだけの十分に大きい視野である。この条件は、使用者が行う筆記記入操作中に筆記記入装置１０によって想定され得るあらゆる筆記記入位置、例えば筆記記入面１２のエッジ部や宿部の近くへの最大傾斜角θ（例えば,θ≒４０゜）の書き込みについても当てはまる。従って、筆記記入面１２の前側及び後側の位置ｙ１及びｙ２は、使用者の手１６や他の障害物で遮られない限り、常にアレイ５２上に位置ｙ’１及びｙ’２として投影されることになる。
【００３４】
ここで、本明細書においてダッシュ（’）を付した符号は、物理的空間においてダッシュを付していない符号を付した部分に対応するイメージ空間内の部分を指すものとする。そしてイメージ空間内の部分に更なる変換や操作を加えたときは、符号に付されるダッシュの数を増やして示すものとする。
【００３５】
筆記記入装置１０は、図４により詳細に示す処理ユニット５４を有する。処理ユニット５４は、筆記記入面１２の光学的データを受け取るべく設計されている。本実施例では、光学的データは、筆記記入面１２のイメージ１２’によって表されている。この光学的データから、処理ユニット５４は、筆記記入面１２の１箇所以上の角部及び１つ以上のエッジ部に対する筆記端の物理的座標を決定する。本実施例では、処理ユニット５４が、図２に示す直交座標系におけるベクトルｖ１、ｖ２、ｖ３を決定するべく設計されている。
【００３６】
この機能を達成するため、処理ユニット５４は、イメージプロセッサ５６、フレームコントロール５８、メモリ６０、及びアップリンクポート６５及びダウンリンクポート６４を備えている。ポート６２及び６４は通信装置３８に属する。イメージプロセッサ５６は、好ましくは、エッジ検出ユニット６６、原点位置測定ユニット６８、イメージ変換ユニット７０、及び比率計算ユニット７２を有しており、図５により明確に示されている。これらの要素に加えて、イメージプロセッサ５６は、イメージ１２’を含む生のイメージデータ７６を受け取って多重分離するデマルチプレクサ７４を有する。データ７６は、アレイ５２の行多重化ブロック７８Ａと列多重化ブロック７８Ｂから供給される。
【００３７】
動作中に、使用者は装置１０を動かす。装置の筆記端が一端筆記記入面１２に接触すると、圧力センサ２４は光ユニット３０の取得モードを作動させる。取得モードでは、処理ユニット５４は、光学的データ即ちアレイ５２の画素上にイメージ化された筆記記入面１２のイメージ１２’を受け取る。
【００３８】
ここで、イメージプロセッサ５６は一定のフレームレートでイメージ１２’の生のイメージデータ７６をキャプチャする。フレームレートは、フレームコントロール５８によって制御される。フレームレートは、使用者の筆記記入動作を正確に追跡するのに十分な速さである。これを達成するため、フレームコントロール５８は、フレームレートを１５Ｈｚまたは３０Ｈｚ以上に設定する。
【００３９】
従来技術と異なり、使用者が書き込む情報は、その情報自体を検出即ちイメージ化することによって決定されず、その書き込まれた情報は、筆記記入面１２の光学的に認識可能な特徴に対する、筆記端２０、より正確にはボールペンのボール２２の物理的座標を決定することによって推定される。これらの認識可能な特徴としては、角部、エッジ部、その他の筆記記入面１２上に使用者が書き込んだ特徴や目印等が挙げられる。使用者が書き込んだ全ての情報を決定するため、圧力センサ２４によって取得モードが作動させられているときは常に、認識可能な特徴に対する筆記端２０の物理的座標が設定されたフレームレートで取得される。
【００４０】
本実施例では、ベクトルｖ１、ｖ２、及びｖ３でパラメータ表示された筆記記入面１２の３つの角部４４Ａ、４４Ｂ、及び４４Ｃに対する筆記端２０の物理的座標が決定される（図２参照）。この目的を達成するため、処理ユニット５４は、イメージ１２’のイメージ化されたベクトルｖ’１、ｖ’２、及びｖ’３からベクトルｖ１、ｖ２、及びｖ３に復元する。このプロセスには複数のステップが必要である。
【００４１】
第１のステップでは、処理ユニット５４のイメージプロセッサ５６が、デマルチプレクサ７４の助けにより、アレイ５２の行ブロック７８Ａ及び列ブロック７８Ｂからの生のイメージデータ多重分離を行う。次に、イメージプロセッサ５６は、イメージデータ７６をエッジ検出ユニット６６に送る。エッジ検出ユニット６６は、筆記記入面１２のイメージ１２’のエッジ部及び角部を特定する。このプロセスは図６により明確に示されており、図６ではイメージ化されたエッジ部４３’の遮られていない部分８０’がエッジ検出のために用いられるところが示されている。イメージ中のエッジ検出やエッジ検出アルゴリズムに関するより詳細な情報については、米国特許第６０２３２９１号及び第６４０８１０９号や、Simon Baker及びShree K. Nayar, "Global Measures of Coherence for Edge Detector Evaluation", Conference on Computer Vision and Pattern Recognition, June 1999, Vol. 2, pp. 373-379、及びJ. Canny, "A Computational Approach to Edge Detection", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 8, No. 6, Nov. 1986 for basic edge detectionを参照されたい。上記の全ての文献は、ここで引用したことにより本明細書の一部とする。
【００４２】
実際には、使用者の手１６が筆記記入面１２の一部を遮る遮蔽物となる。従って、それに対応する影１６’がイメージ１２’に存在することになる。別の影１７’（または複数の影）も、筆記記入面１２を覆う、即ち筆記記入面１２と光学ユニット３０との間に位置する他の物体によって頻繁に作り出される。そのような物体としては、典型的には使用者の他方の手及び／または髪の毛のような体の部分（図示せず）等が挙げられる。本発明の目的のため、ベクトルｖ１、ｖ２、及びｖ３を復元し、それによって筆記端２０の物理的座標を決定できるようにするためには、イメージ１２’が、イメージ化されたエッジ部４３’の２、３の遮られていない部分８０’を、好ましくは２以上の角部（例えば角部４４Ａ’、４４Ｂ’、及び４４Ｃ’）を含めて有していさえすればよい。
【００４３】
従って、影１６’及び１７’が存在したとしても、イメージ化されたエッジ部４３’のいくつかの遮られていない部分８０’をエッジ検出ユニット６６が利用することができる。その光学的データ７６をエッジ検出の目的でエッジ検出ユニット６６が使用できる複数の画素群８２が表示されている。状況によっては、影,例えば影１６’により遮られてる画素群８３が見えるようになり、角部４４Ｄ’の検出に使用可能となることもある、ということに注意されたい。
【００４４】
エッジ検出ユニット６６はエッジ部４３’を認識し、視野３４の中心８４に対するそれらのベクトル方程式や他の適切な数学的表現によってそれを記述する。中心８４は、基準として用いるために、原点位置測定ユニット６８の助けにより設定される。この操作は、筆記記入装置１０を動作させる前、例えば筆記記入装置１０の初期化及び試験中や、機械的理由により原点位置の較正が必要となったときに常に行うことができる。この初期化は、イメージングシステムの中心位置を決定するための何らかの適切なアルゴリズムの助けにより行うことができる。この詳細については、Carlo Tomasi及びJohn Zhang," How to Rotate a Camera", Computer Science Department Publication, Stanford Universityや、Berthold K. P. Horn, "Tsai's Camera Calibration Method Revisited"を参照されたい。これらの文献は、ここで引用したことにより本明細書の一部とする。
【００４５】
本発明によれば、光学ユニット３０が筆記端２０に関連付けられていることから、中心８４は光軸に一致する。従って、物理空間における筆記記入装置１０のあらゆる向き、即ちあらゆる傾斜角θ及び極角φの大きさについて、視野３４の中心８４は常に筆記端２０及びそのイメージ２０’の位置に一致する。この特性を有するシステムは、従来通常は中心システムと称され、種々の中心パノラマシステム等を含む。筆記記入装置１０の本体１４が中心８４を常に遮っているため、筆記端２０のイメージ２０’は視野３４内において実際に見ることはできない点に注意されたい。
【００４６】
イメージング光学素子４６に関連する収差を含む光学的効果のために、イメージ１２’の検出された部分は、破線で示されるようにエッジ部４３’を一定量だけ曲げるように示す。この曲がりは、レンズ４８Ａ及び４８Ｂ及び／または任意の追加のレンズ（図示せず）によって光学的に補償するか、処理ユニット５４によって電子的に補償することができる。好ましくは、この曲がりは、イメージ変換ユニット７０によってイメージ１２’の検出された部分に変換を施すことによって相殺される。例えば、イメージ変換ユニット７０は、平面投影法に基づいて透視図を作成するイメージ変形変換器を有する。或いは、イメージ変換ユニット７０は、球面投影法に基づいて球面投影図を作成するイメージ変形変換器を有する。有利な点として、そのような球面投影図は公知の方法によって平面投影図に変換できる。そのような方法は、Christopher Geyer及びKostas Daniilidis, "A Unifying Theory for Central Panoramic Systems and Practical Implications", www. cis.upenn. edu, Omid Shakernia他, "Infinitesimal Motion Estimation from Multiple Central Panoramic Views", Department of EECS, University of California, Berkeleyや、Adnan Ansar及びKostas Daniilidis, "Linear Pose Estimation from Points or Lines", Jet Propulsion Laboratory, California Institute of Technology and GRASP Laboratory, University of Pennsylvania等に記載されており、上記文献はここで引用したことにより本明細書の一部とする。
【００４７】
ここで、一旦イメージ１２’が認識・変換されると、筆記記入装置１０の向きが決定される。この決定は、様々な方法で行うことができる。例えば、球面投影法を用いる場合、即ちイメージ１２’の遮られていない部分を球面投影する場合、直接的な三次元的回転による推定を用いて、傾斜角θ及び極角φを復元することができる。この目的のため、筆記記入面１２の垂直な方向からのイメージをメモリ６０に記憶させておき、変換ユニット７０が基準として利用できるようにする。次に一般化シフト写像法を適用する変換処理によって、筆記記入装置１０の筆記記入面１２に対するオイラー角を求め。この方法は、三次元空間において固定された一点（この場合では筆記端２０が筆記記入面１２に接触する点が各フレーム期間について固定されていると考えられる）に対する任意の動きはある軸周りの回転によって表現できるというオイラーの法則に関連するものである。シフト写像法の詳細については、Ameesh Makadia及びKostas Daniilidis, "Direct 3D-Rotation Estimation from Spherical Images via a Generalized Shift Theorem", Department of Computer and Information Science, University of Pennsylvaniaを参照されたい。この文献は、ここで引用したことにより本明細書の一部とする。
【００４８】
或いは、イメージ１２’の遮られていない部分の透視図が得られる平面投影法を用いる場合、幾何学の標準的な規則を用いて、傾斜角θ及び極角φを求めることができる。この場合には、透視図の規則を利用する幾つかの幾何学的方法を用いることができる。
【００４９】
幾何学的方法の１つが図７Ａに示されており、ここでは明確化のため全イメージ１２’が示されており（遮られた部分は無視、即ち上記のステップで導出されたエッジ部４３’の方程式を用いてその部分にイメージを埋め込んでいる）、２本のエッジ部４３’が消点８６まで延ばされている。中心８４と消点８６と結ぶ線Ψが構築される。傾斜角θの平面における線Σも構築される。ここで、線Ψと線Σとがなす角は極角φに等しい。一方、中心８４から消点８６までの線Ψの長さは傾斜角θに反比例する。好ましくは、傾斜角θの値に対応するΨの値を有する参照用テーブルをメモリ６０内に格納しておき、各フレームにおいて速やかに傾斜角θを求められるようにしておく。傾斜角θの平面を追跡するために、光軸３９の周りの筆記記入装置１０の回転を認識しておく必要があることに注意されたい。この回転は、手がかりのキーとして、例えば図８に示すような筆記記入装置１０上のグリップ９０を与えることによって求めることができる。グリップ９０は軸３９の周囲に回転させることなく筆記記入装置を使用者の手１６で保持させるためのものである。
【００５０】
別の幾何学的方法は図７Ｂに示されており、ここでも全イメージ１２’が明示のため示されている。そしてここでも２つのエッジ部４３’が消点８６まで延ばされている。中心８４と消点８６とを結ぶ線Ψが構築される。傾斜角θの平面に垂直な平面内の線Γも構築される。ここで、消点８６から線Γに垂直な線Πが構築される。線Πと線Ψとがなす角は極角φに等しい。一方、線Πの線Γとの交点から消点８６までの長さは、傾斜角θに反比例する。好ましくは、傾斜角θの値に対応するΠの値を有する参照用テーブルをメモリ６０内に格納しておき、各フレームにおいて速やかに傾斜角θを求められるようにしておく。この実施例では、アレイ５２上のキーマーク９２または筆記記入装置１０の他の部分が、傾斜角θの平面に垂直な平面を追跡するために用いられ、図８に示すようなペン上の適切なグリップに関連付けられる。
【００５１】
全イメージ１２’を用いるさらに別の幾何学的方法は図７Ｃに示されている。ここでは、２本のエッジ部４３’で定められる消点８６と中心８４とを結ぶ線Ψが構築される。第２の消点９４は、他の２本のエッジ部４３’を延長することによって位置決めされる。次いで、線Ωによって消点８６と第２の消点９４とが結ばれる。ここで、線Σが、線Ωと直角をなすように中心８４から線Ωにおろされる。線Ψと線Σとのなす角は極角φに等しく、線Ψの長さか線Σの長さ（或いは線Ωの長さでもよい）の何れかを用いて、傾斜角θを導き出すことができる。ここでも同様に、速やかな処理のために、対応する参照用テーブルを用いるのが推奨される。この実施例では、筆記記入装置１０の（筆記記入装置１０の中心軸でもある）光軸３９周りの回転がこの幾何学的構造に影響を及ぼさないため、キーマークやグリップを用いる必要がないことに注目されたい。
【００５２】
さらに別の幾何学的方法は図７Ｄに示されている。この方法では、イメージ１２’の面積（積分）とともに、角部の角度α、β、γ、及びδ（遮られていない場合）を用いてθとφを求める。詳述すると、角部の角度α、β、γ、及びδが一義的に角度φを定める。同様に、面積の値が一義的にθを定める。この実施例においても、速やかな処理と角度θ及びφの決定のために、メモリ６０内に記憶させた対応する参照用テーブルを用いることができる。
【００５３】
イメージング光学素子４６が筆記記入面１２の物理的向きに対してイメージ１２’を逆にさせてしまう場合には、図９に示すようにイメージ１２’を反転される必要がある。この反転は、何れかの時点で変換ユニット７０によって行うことができる。例えば、θ及びφを決定する上述のステップを行う前または後にイメージ１２’を反転させることができる。イメージ１２’が逆にならない場合には、反転を行う必要はない。
【００５４】
変換され（必要な場合には）反転されたイメージ１２’’は図１０に示されている。このとき、ベクトルｖ’’１、ｖ’’２、及びｖ’’３が再計算される。中心８４からエッジ部４３’’上の特徴即ち目印までの追加のベクトルｖ’’ｎも図示されている。そのような筆記記入面１２のエッジ部４３上の目印は、筆記端２０の物理的座標を決定するために角部の代わりに用いることができる。このことは、２つの角部が筆記記入面１２と光学ユニット３０との間に位置する使用者や他のオブジェクトによって遮られるときに特に重要である。
【００５５】
このとき、イメージ１２’’は角度θ及びφの回転のために補正されて、図１１に示すような変換されて補正された最終的なイメージ１２’’’が得られる。これは、変換され（場合によっては反転された）イメージ１２’’に対して適切な逆回転を施すことによって行われる（これらの逆回転は、筆記記入面１２に対する筆記記入装置１０の物理的空間におけるオイラー回転に対応する。標準的なオイラー変換は、古典力学の教科書、例えばGoldstein, Classical Mechanics等に記載されている。）。
【００５６】
ここで、筆記端２０の物理的座標を、ベクトルｖ’’’１、ｖ’’’２、ｖ’’’３及び／ｖ’’’ｎから直接求めることができる。この計算は、イメージ１２’’’の筆記記入面１２に対する比率は保存されるという事実を利用して、比率計算ユニット７２が行う。具体的には、計算ユニット７２は、以下の比率計算、
ｘ１／ｘ２＝ｘ’’’１／ｘ’’’２、及び
ｙ１／ｙ２＝ｙ’’’１／ｙ’’’２
を用いる。
【００５７】
これらの値は前記ベクトルから得られ、イメージング光学素子４６の倍率Ｍによる一定の倍率を、図１２に示すように、追加の照合確認と、得られた値が正しいことを確認するための制約条件として用いることができる。
【００５８】
本発明による筆記記入装置はこの他にも様々な実施形態で実現することができる。例えば、放物面（または双曲面）鏡１０２とレンズ１０４を有する反射屈折系を用いた別の光学ユニット１００が図１３に示されている。光学ユニット１００の構造は、図１４に示すように、筆記記入装置１０８（上部のみを図示）上に光学ユニット１００が収容されるように改変しなければならない。この実施形態では、光検出器アレイ１０６が筆記記入装置１０８の遠位端１０９に配置される。この実施例では、支持部材１１０は延長部１１１を用いて延長される。
【００５９】
筆記記入装置１０は、筆記記入面１２０の角部及びエッジ部以外の特徴及び目印を利用することができる。例えば、図１５に示すように、筆記記入装置は使用者が作成した特徴１２２を利用する。特徴１２２は、具体的には使用者が記入した文字「Ａ」である。この場合、追跡のために、文字上の特に位置決定しやすい点（例えば、検出と追跡が容易な高いコントラストを生み出す点）を使用し、直交座標系の限定からこの点までのベクトルｖｒが構築される。筆記記入装置１０は、エッジ部１２６に沿って位置する目印１２４も利用する。原点から目印１２４までのベクトルｖｓが構築される。また最後に、装置１０は筆記記入面１２０の角部１２８を利用しており、この角部は対応するベクトルｖｑによって特定される。
【００６０】
この実施形態では、動作時に、上述のエッジ検出アルゴリズム及び高いコントラストの点を検出するための他の任意のアルゴリズムを用いて、イメージ中の線と角部の位置を特定し、特徴１２２、目印１２４、及び角部１２８を位置決定する。次に、角度θを決定し、上述のように筆記記入面１２０のイメージのイメージ化されたベクトルｖ’ｑ、ｖ’ｒ、及びｖ’ｓに対応する変換が施される。この変換されたベクトルから、筆記端の物理的座標が決定される。
【００６１】
勿論、追跡される特徴や目印の数が増えることで、筆記記入面１２０上の筆記端の物理的座標を決定する精度が高められることは当業者には理解されよう。但し、追跡される目印や特徴が多くなるほど必要な処理は増加する。筆記記入装置１０のリアルタイム動作が必要な場合、例えば筆記記入動作が筆記記入装置１０から受信装置にリアルタイムで送信される場合、特徴や目印の数は制限されなければならない。或いは、記入された情報を後で使用者がダウンロードできる場合、及び／またはリアルタイム処理が不要な場合には、より多くの目印や特徴を用いて、筆記端２０の物理的座標を決定する際の精度を高めることができる。これによって、筆記記入面の解像度も高くなる。同様に心に留めておくべきことは、この特徴や目印は絶対的基準を提供するということ、即ち筆記記入面１２０上のそれらの位置が時間とともに変わってはならないということである。しかし、筆記端２０の物理的座標を決定するための用いられる目印や特徴は、フレーム毎に同じものである必要はないということも記憶しておかれたい。
【００６２】
上記したものの他にも様々な本発明の実施形態が可能であることは当業者には明らかであろう。
【図面の簡単な説明】
【００６３】
【図１】本発明による筆記記入装置の側面図。筆記記入装置は、傾斜角ゼロ（オイラー角ゼロ）の面において示されている。
【図２】使用時における図１の筆記記入装置の物理的パラメータを示す三次元図。
【図３】イメージングの原理を示す図１の筆記記入装置の側面図。
【図４】図１の筆記記入装置の処理ユニットのブロック図。
【図５】イメージングユニットに属する光検出器上に投影された筆記記入面のイメージを示す図。
【図６】筆記記入面のイメージに対して行われるエッジ部及び／または角部の処理を示す図。
【図７Ａ】図７Ｂ、図７Ｃ及び図７Ｄとともに、筆記記入面に対する筆記記入装置の向きをオイラー角で決定するために処理ユニットがイメージに対して行う処理を示す図。
【図７Ｂ】図７Ａ、図７Ｃ及び図７Ｄとともに、筆記記入面に対する筆記記入装置の向きをオイラー角で決定するために処理ユニットがイメージに対して行う処理を示す図。
【図７Ｃ】図７Ａ、図７Ｂ及び図７Ｄとともに、筆記記入面に対する筆記記入装置の向きをオイラー角で決定するために処理ユニットがイメージに対して行う処理を示す図。
【図７Ｄ】図７Ａ、図７Ｂ及び図７Ｃとともに、筆記記入面に対する筆記記入装置の向きをオイラー角で決定するために処理ユニットがイメージに対して行う処理を示す図。
【図８】方向付けグリップを備えた筆記記入装置の別の実施形態を示す図。
【図９】イメージの補正及びパラメータ表示の処理を示す図。
【図１０】パラメータ表示された補正済みのイメージを示す図。
【図１１】筆記端の物理的座標を決定するための基礎となるパラメータ表示され、補正され、変換されたイメージを示す図。
【図１２】初期化や照合のために用いられ得る、筆記記入面のイメージと物理的筆記記入面との対応を示す図。
【図１３】反射屈折系を用いた光学ユニットの別の実施形態を示す図。
【図１４】図１３の反射屈折系を用いた筆記具の最上部を示す図。
【図１５】筆記端の物理的座標を決定するための別の目印や特徴を使用しているところを示す三次元図。
【特許請求の範囲】
【請求項１】
筆記記入面からの手で記入された情報を推定する筆記記入装置であって、
ａ）筆記記入を行うための筆記端と、
ｂ）前記筆記端が前記筆記記入面上に筆記記入を行っているときを判別するための手段と、
ｃ）前記筆記記入面を観測するための光学ユニットであって、前記筆記端に関連付けられた、該光学ユニットと、
ｄ）前記光学ユニットからの前記筆記記入面の光学的データを受け取り、前記光学的データから前記筆記記入面の少なくとも１つの角部と少なくとも１つのエッジ部に対する前記筆記端の物理的座標を求める処理ユニットとを有することを特徴とする筆記記入装置。
【請求項２】
前記光学ユニットが、前記筆記記入面をイメージングするためのイメージングユニットであることを特徴とする請求項１に記載の筆記記入装置。
【請求項３】
前記イメージングユニットが、前記筆記記入面のイメージが投影される光検出器アレイを有することを特徴とする請求項２に記載の筆記記入装置。
【請求項４】
前記処理ユニットが、前記イメージにおける前記筆記記入面のエッジ部及び角部を検出するためのエッジ検出ユニットを有することを特徴とする請求項３に記載の筆記記入装置。
【請求項５】
前記イメージに少なくとも１つの変換を施すためのイメージ変換ユニットをさらに有することを特徴とする請求項３に記載の筆記記入装置。
【請求項６】
前記イメージ変換ユニットが、平面投影法に基づくイメージ変形変換器を含むことを特徴とする請求項５に記載の筆記記入装置。
【請求項７】
前記イメージ変換ユニットが、球面投影法に基づくイメージ変形変換器を含むことを特徴とする請求項５に記載の筆記記入装置。
【請求項８】
前記イメージ変換ユニットが、前記筆記記入面に対する前記筆記記入装置のオイラー角を決定するためのイメージ変換器を含むことを特徴とする請求項５に記載の筆記記入装置。
【請求項９】
前記光検出器アレイが、ＣＭＯＳ光検出器アレイであることを特徴とする請求項３に記載の筆記記入装置。
【請求項１０】
前記イメージングユニットが、前記筆記記入面の透視図を作り出すことを特徴とする請求項２に記載の筆記記入装置。
【請求項１１】
前記筆記記入面に対する前記筆記記入装置の向きに関連付けられる少なくとも１つの角度が、前記透視図から決定されることを特徴とする請求項１０に記載の筆記記入装置。
【請求項１２】
前記少なくとも１つの角度が、傾斜角θ及び極角φを含むことを特徴とする請求項１１に記載の筆記記入装置。
【請求項１３】
前記処理ユニットが、前記イメージから前記物理的座標を決定するための比率計算モジュールを含むことを特徴とする請求項２に記載の筆記記入装置。
【請求項１４】
前記イメージングユニットが、屈折イメージング光学素子を含むことを特徴とする請求項２に記載の筆記記入装置。
【請求項１５】
前記屈折イメージング光学素子は、前記筆記記入面の面積より実質的に広い面積の視野を有することを特徴とする請求項１４に記載の筆記記入装置。
【請求項１６】
前記イメージングユニットが、反射イメージング光学素子を含むことを特徴とするセｋ２に記載の筆記記入装置。
【請求項１７】
前記反射イメージング光学素子は、前記筆記記入面の面積より実質的に広い面積の視野を有することを特徴とする請求項１６に記載の筆記記入装置。
【請求項１８】
前記筆記記入面を予め定められたフレームレートでイメージングするためのフレームコントロールをさらに有することを特徴とする請求項２に記載の筆記記入装置。
【請求項１９】
前記筆記端が前記筆記記入面上に筆記記入を行っているときを判別するための前記手段が、歪みゲージ、機械的圧力センサ、及び圧電素子からなる群から選択されたものであることを特徴とする請求項１に記載の筆記記入装置。
【請求項２０】
前記物理的座標を外部ユニットに送るための手段をさらに有することを特徴とする請求項１に記載の筆記記入装置。
【請求項２１】
前記筆記記入面を初期化し、認識するための手段をさらに有することを特徴とする請求項１に記載の筆記記入装置。
【請求項２２】
前記光学ユニットが、前記筆記記入装置の遠位端に取り付けられていることを特徴とする請求項１に記載の筆記記入装置。
【請求項２３】
筆記記入面からの情報を推定する筆記記入装置であって、
ａ）筆記記入を行うための筆記端を有する筆記記入端と、
ｂ）前記筆記端が前記筆記記入面上に筆記記入を行っているときを判別するための手段と、
ｃ）前記筆記記入面を観測するための光学ユニットを有する遠位端であって、前記光学ユニットが前記筆記端に関連付けられた、該遠位端と、
ｄ）前記光学ユニットからの前記筆記記入面の光学的データを受け取り、前記光学的データから前記筆記記入面の少なくとも２つの角部に対する前記筆記端の物理的座標を求める処理ユニットとを有することを特徴とする筆記記入装置。
【請求項２４】
筆記記入面からの手で記入された情報を光学的にキャプチャする筆記記入装置であって、
ａ）筆記記入を行うための筆記端と、
ａ）筆記記入を行うための筆記端を有する筆記記入端と、
ｂ）前記筆記端が前記筆記記入面上に筆記記入を行っているときを判別するための手段と、
ｃ）前記筆記記入面を観測するための光学ユニットを有する遠位端であって、前記光学ユニットが前記筆記端に関連付けられた、該遠位端と、
ｄ）前記光学ユニットからの前記筆記記入面の光学的データを受け取り、前記光学的データから前記筆記記入面の少なくとも２つの目印に対する前記筆記端の物理的座標を求める処理ユニットとを有することを特徴とする筆記記入装置。
【請求項２５】
前記少なくとも２つの目印が、使用者が前記筆記記入面上に作成した目印であることを特徴とする請求項２４に記載の筆記記入装置。
【請求項２６】
前記目印が、前記使用者が手で筆記記入したものであることを特徴とする請求項２５に記載の筆記記入装置。
【請求項２７】
前記目印が、前記筆記記入面に関するデータを含むことを特徴とする請求項２４に記載の筆記記入装置。
【請求項２８】
前記筆記記入面が紙片を含み、前記データが前記紙片のサイズを表示することを特徴する請求項２７に記載の筆記記入装置。
【請求項２９】
筆記記入面からの手で記入された情報を推定する筆記記入装置であって、
ａ）筆記記入を行うための筆記端と、
ｂ）前記筆記端が前記筆記記入面上に筆記記入を行っているときを判別するための手段と、
ｃ）前記筆記記入面を観測するための光学ユニットであって、前記筆記端に関連付けられた、該光学ユニットと、
ｄ）前記光学ユニットからの前記筆記記入面の光学的データを受け取り、前記光学的データから前記筆記記入面の少なくとも２つの角部に対する前記筆記端の物理的座標を求める処理ユニットとを有することを特徴とする筆記記入装置。
【請求項１】
筆記記入面からの手で記入された情報を推定する筆記記入装置であって、
ａ）筆記記入を行うための筆記端と、
ｂ）前記筆記端が前記筆記記入面上に筆記記入を行っているときを判別するための手段と、
ｃ）前記筆記記入面を観測するための光学ユニットであって、前記筆記端に関連付けられた、該光学ユニットと、
ｄ）前記光学ユニットからの前記筆記記入面の光学的データを受け取り、前記光学的データから前記筆記記入面の少なくとも１つの角部と少なくとも１つのエッジ部に対する前記筆記端の物理的座標を求める処理ユニットとを有することを特徴とする筆記記入装置。
【請求項２】
前記光学ユニットが、前記筆記記入面をイメージングするためのイメージングユニットであることを特徴とする請求項１に記載の筆記記入装置。
【請求項３】
前記イメージングユニットが、前記筆記記入面のイメージが投影される光検出器アレイを有することを特徴とする請求項２に記載の筆記記入装置。
【請求項４】
前記処理ユニットが、前記イメージにおける前記筆記記入面のエッジ部及び角部を検出するためのエッジ検出ユニットを有することを特徴とする請求項３に記載の筆記記入装置。
【請求項５】
前記イメージに少なくとも１つの変換を施すためのイメージ変換ユニットをさらに有することを特徴とする請求項３に記載の筆記記入装置。
【請求項６】
前記イメージ変換ユニットが、平面投影法に基づくイメージ変形変換器を含むことを特徴とする請求項５に記載の筆記記入装置。
【請求項７】
前記イメージ変換ユニットが、球面投影法に基づくイメージ変形変換器を含むことを特徴とする請求項５に記載の筆記記入装置。
【請求項８】
前記イメージ変換ユニットが、前記筆記記入面に対する前記筆記記入装置のオイラー角を決定するためのイメージ変換器を含むことを特徴とする請求項５に記載の筆記記入装置。
【請求項９】
前記光検出器アレイが、ＣＭＯＳ光検出器アレイであることを特徴とする請求項３に記載の筆記記入装置。
【請求項１０】
前記イメージングユニットが、前記筆記記入面の透視図を作り出すことを特徴とする請求項２に記載の筆記記入装置。
【請求項１１】
前記筆記記入面に対する前記筆記記入装置の向きに関連付けられる少なくとも１つの角度が、前記透視図から決定されることを特徴とする請求項１０に記載の筆記記入装置。
【請求項１２】
前記少なくとも１つの角度が、傾斜角θ及び極角φを含むことを特徴とする請求項１１に記載の筆記記入装置。
【請求項１３】
前記処理ユニットが、前記イメージから前記物理的座標を決定するための比率計算モジュールを含むことを特徴とする請求項２に記載の筆記記入装置。
【請求項１４】
前記イメージングユニットが、屈折イメージング光学素子を含むことを特徴とする請求項２に記載の筆記記入装置。
【請求項１５】
前記屈折イメージング光学素子は、前記筆記記入面の面積より実質的に広い面積の視野を有することを特徴とする請求項１４に記載の筆記記入装置。
【請求項１６】
前記イメージングユニットが、反射イメージング光学素子を含むことを特徴とするセｋ２に記載の筆記記入装置。
【請求項１７】
前記反射イメージング光学素子は、前記筆記記入面の面積より実質的に広い面積の視野を有することを特徴とする請求項１６に記載の筆記記入装置。
【請求項１８】
前記筆記記入面を予め定められたフレームレートでイメージングするためのフレームコントロールをさらに有することを特徴とする請求項２に記載の筆記記入装置。
【請求項１９】
前記筆記端が前記筆記記入面上に筆記記入を行っているときを判別するための前記手段が、歪みゲージ、機械的圧力センサ、及び圧電素子からなる群から選択されたものであることを特徴とする請求項１に記載の筆記記入装置。
【請求項２０】
前記物理的座標を外部ユニットに送るための手段をさらに有することを特徴とする請求項１に記載の筆記記入装置。
【請求項２１】
前記筆記記入面を初期化し、認識するための手段をさらに有することを特徴とする請求項１に記載の筆記記入装置。
【請求項２２】
前記光学ユニットが、前記筆記記入装置の遠位端に取り付けられていることを特徴とする請求項１に記載の筆記記入装置。
【請求項２３】
筆記記入面からの情報を推定する筆記記入装置であって、
ａ）筆記記入を行うための筆記端を有する筆記記入端と、
ｂ）前記筆記端が前記筆記記入面上に筆記記入を行っているときを判別するための手段と、
ｃ）前記筆記記入面を観測するための光学ユニットを有する遠位端であって、前記光学ユニットが前記筆記端に関連付けられた、該遠位端と、
ｄ）前記光学ユニットからの前記筆記記入面の光学的データを受け取り、前記光学的データから前記筆記記入面の少なくとも２つの角部に対する前記筆記端の物理的座標を求める処理ユニットとを有することを特徴とする筆記記入装置。
【請求項２４】
筆記記入面からの手で記入された情報を光学的にキャプチャする筆記記入装置であって、
ａ）筆記記入を行うための筆記端と、
ａ）筆記記入を行うための筆記端を有する筆記記入端と、
ｂ）前記筆記端が前記筆記記入面上に筆記記入を行っているときを判別するための手段と、
ｃ）前記筆記記入面を観測するための光学ユニットを有する遠位端であって、前記光学ユニットが前記筆記端に関連付けられた、該遠位端と、
ｄ）前記光学ユニットからの前記筆記記入面の光学的データを受け取り、前記光学的データから前記筆記記入面の少なくとも２つの目印に対する前記筆記端の物理的座標を求める処理ユニットとを有することを特徴とする筆記記入装置。
【請求項２５】
前記少なくとも２つの目印が、使用者が前記筆記記入面上に作成した目印であることを特徴とする請求項２４に記載の筆記記入装置。
【請求項２６】
前記目印が、前記使用者が手で筆記記入したものであることを特徴とする請求項２５に記載の筆記記入装置。
【請求項２７】
前記目印が、前記筆記記入面に関するデータを含むことを特徴とする請求項２４に記載の筆記記入装置。
【請求項２８】
前記筆記記入面が紙片を含み、前記データが前記紙片のサイズを表示することを特徴する請求項２７に記載の筆記記入装置。
【請求項２９】
筆記記入面からの手で記入された情報を推定する筆記記入装置であって、
ａ）筆記記入を行うための筆記端と、
ｂ）前記筆記端が前記筆記記入面上に筆記記入を行っているときを判別するための手段と、
ｃ）前記筆記記入面を観測するための光学ユニットであって、前記筆記端に関連付けられた、該光学ユニットと、
ｄ）前記光学ユニットからの前記筆記記入面の光学的データを受け取り、前記光学的データから前記筆記記入面の少なくとも２つの角部に対する前記筆記端の物理的座標を求める処理ユニットとを有することを特徴とする筆記記入装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公表番号】特表２００７−５２４８８５（Ｐ２００７−５２４８８５Ａ）
【公表日】平成１９年８月３０日（２００７．８．３０）
【国際特許分類】
【出願番号】特願２００６−５０３８２７（Ｐ２００６−５０３８２７）
【出願日】平成１６年２月２４日（２００４．２．２４）
【国際出願番号】ＰＣＴ／ＵＳ２００４／００５３８０
【国際公開番号】ＷＯ２００４／０７７１０７
【国際公開日】平成１６年９月１０日（２００４．９．１０）
【出願人】（５０５３１７０７８）エレクトロニック・スクリプティング・プロダクツ・インコーポレイテッド (1)
【氏名又は名称原語表記】ＥＬＥＣＴＲＯＮＩＣ ＳＣＲＩＰＴＩＮＧ ＰＲＯＤＵＣＴＳ， ＩＮＣ．
【住所又は居所原語表記】２５５５ Ｐａｒｋ Ｂｏｕｌｅｖａｒｄ， Ｓｕｉｔｅ ２，Ｐａｌｏ Ａｌｔｏ， ＣＡ９４３０６， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
【公表日】平成１９年８月３０日（２００７．８．３０）
【国際特許分類】
【出願日】平成１６年２月２４日（２００４．２．２４）
【国際出願番号】ＰＣＴ／ＵＳ２００４／００５３８０
【国際公開番号】ＷＯ２００４／０７７１０７
【国際公開日】平成１６年９月１０日（２００４．９．１０）
【出願人】（５０５３１７０７８）エレクトロニック・スクリプティング・プロダクツ・インコーポレイテッド (1)
【氏名又は名称原語表記】ＥＬＥＣＴＲＯＮＩＣ ＳＣＲＩＰＴＩＮＧ ＰＲＯＤＵＣＴＳ， ＩＮＣ．
【住所又は居所原語表記】２５５５ Ｐａｒｋ Ｂｏｕｌｅｖａｒｄ， Ｓｕｉｔｅ ２，Ｐａｌｏ Ａｌｔｏ， ＣＡ９４３０６， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
[ Back to top ]