ユーザユニットの移動を記録するための方法、装置、コンピュータプログラム及び記憶媒体
ユーザユニットを用いてベース上に書き込む間に画像のシーケンスを捕捉することにより位置コードが記録される。位置コードはベース上でのユーザユニットの移動を反映する絶対位置のシーケンスに復号されてよい。例えば、ベース上の他のグラフィックによって覆い隠されるために任意の画像の位置コードが十分に記録されない場合、シーケンス中の別の画像に対する空間関係性が決定される。画像シーケンスの中のこの他の画像の位置コードが絶対位置に復号可能である場合、位置コードが復号不可能である画像の絶対位置は、それにもかかわらず空間関係性を使用することにより決定できるであろう。このようにして、位置コードとベース上の他のグラフィックの両方に同じ印刷インクが使用されるときに当てはまるであろう、たとえ位置コードが覆い隠されていてもユーザユニットの移動は記録できる。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本願は、ともに2003年12月16日に出願され、ともに参照することにより本書に組み込まれているスウェーデン特許出願番号第0303370−1号及び米国仮特許出願第60/529627号の利点を主張する。
【技術分野】
【0002】
本発明は概して移動の記録に関し、さらに詳細には位置コードが与えられているベース上でのユーザユニットの移動を記録するための方法に関する。移動の記録は、例えば手書きの情報を電子的に記録するために移動の記録が実施されてよい。
【0003】
本発明は移動を記録するために使用できる装置、コンピュータプログラム及び記憶媒体にも関する。
【背景技術】
【0004】
手書きを提供するために使用されるペンの移動を決定することにより手書きをデジタル化することは公知である。該移動は、例えば該ペンに取り付けられる一つまたは複数の加速度計により決定されてよい。別の代替策は位置コードを備えたベースを使用し、ベース上でのペンの移動中にペンの先端で局所的に位置コードを記録するセンサをペンに提供することである。ペンの中あるいはその外部に配置される処理装置は、次に位置コードを座標等の一連の位置表示に復号でき、ペンのベース上での移動を反映する。
【特許文献1】国際公開第01/26033号パンフレット
【発明の開示】
【発明が解決しようとする課題】
【0005】
国際公開第01/26033号パンフレット、米国第5,477,012号、国際公開00/73983号パンフレット、及び国際公開第92/17859号パンフレットは、手書きを記録するために使用できるであろう位置コードのさまざまな例を開示している。
【0006】
さらに、国際公開第01/75779号は書式に書き込まれた情報のデジタル記録を可能にする位置コードを備えた書式を開示する。位置コードに加えて、ベースはここでは入力フィールドの中にどのような情報が記入されなければならないのかを示す、入力フィールドとテキストの回りのフレーム等の書式レイアウトを与えられる。
【0007】
国際公開第01/75779号によれば、書式レイアウトは位置コードと同時に、あるいは異なるランでベース上に印刷できる。位置コードの読み取りを妨害しないために、書式レイアウトと位置コードには異なる印刷インクを使用しなければならない。さらに、書式レイアウトのための印刷インクは、ペンの中のセンサには不可視でなければならない。印刷コードと書式レイアウトの両方とも同じ印刷インクで印刷されると、書式レイアウトが部分的に印刷コードを覆い隠し、書式レイアウトに近い領域内で、あるいは書式レイアウトによって覆い隠される領域内で位置コードの復号は実用的ではない。
【0008】
しかしながら、異なる印刷インクの使用は実用的ではない。例えば白黒レーザプリンタ等の白黒プリンタによって白紙の用紙上に印刷された書式でペンを使用できればより実用的である。
【課題を解決するための手段】
【0009】
発明の一つの目的は、例えば位置コードが完全にまたは部分的に他のグラフィックスによって覆い隠されているために位置コードが不十分に記録されるときに、位置コードを与えられるベース上のユーザユニットの移動の決定を可能にすることである。
【0010】
本発明の別の目的は、位置コードを与えられ、他のグラフィックスが同じ印刷インクで印刷されるベース上でユーザユニットの移動の決定を可能にすることである。
【0011】
これらの目的の一つまたは複数は、少なくとも部分的には、独立クレームによる方法、装置、コンピュータプログラム及び記憶媒体によって達成される。
【0012】
第一の態様に従って、本発明は、位置コードを備えるベース上でのユーザユニットの移動の記録の方法であり、ベース上でのユーザユニットの移動中に得られる位置コードの画像のシーケンスの中の少なくとも一つの画像の位置コードに基づいてユーザユニットの絶対位置を決定することと、シーケンスの中の第一の画像と第二の画像の間の空間的な関係性を決定することと、第一の画像と第二の画像の第一に言及された空間的な関係性に基づいてユーザユニットの別の絶対位置を決定することとを備える。
【0013】
位置コードはこのようにしてユーザユニットの移動を決定するために記録されているシーケンスのすべての画像で復号可能である必要はない。特定の画像についてユーザユニットの絶対位置が決定できない場合には、代替策として、ユーザユニットの位置はシーケンスの中の二つの画像の空間関係性と過去にまたは後に決定される絶対位置に基づいて決定できる。
【0014】
少なくとも一つの画像において位置コードに基づいてユーザユニットの絶対位置を決定するステップと、第一の画像と第二の画像の間の平均(av)空間関係性を決定するステップは、このようにして任意の順序で実施されてよい。
【0015】
第一の画像または第二の画像は、ユーザユニットの第一の前述された位置が決定される画像と同じ画像であってよい。
【0016】
第二の画像または第一の画像は、ユーザユニットの他の絶対位置が決定される画像と同じ画像であってよい。
【0017】
ユーザユニットの第一の言及された絶対位置は画像の中の位置コードを復号することによって決定されてよい。他の方法は、以下の説明から明らかになるように使用されてもよい。
【0018】
ユーザユニットの第一の言及された絶対位置を決定するときに、画像の中の一つの位置コードが絶対位置の復号を可能にするために不十分である場合は二つまたは三つの画像の位置コードが使用できる。
【0019】
前記から明らかであるように、画像はユーザユニットの位置を決定するために必ずしも一対一で処理されないが、ときおり位置は複数の画像からの情報に基づいて決定される。位置を復号するために複数の画像を使用することをここでは分散復号と呼ぶ。
【0020】
このようにして、方法は、位置コードを備えたベース上でのユーザユニットの移動を記録する方法としても説明でき、その方法は、それぞれが少なくとも一つの位置を復号できるようにするほど十分に大きい位置コードの部分的な領域に対応する画像のシーケンスを記録することと、ユーザユニット位置を決定するために複数の画像からの情報を使用することを備えるであろう。
【0021】
本発明は、画像の位置コードをある理由または別の理由から復号できないすべての状況で使用できる。したがって、位置コードを復号できない理由は、位置コードが他のグラフィック情報で部分的に覆い隠されることである必要はない。本発明は、絶対位置の復号が不可能となるように位置コードが変形されている、あるいはそれ以外の場合ベース上で不正確であるとき、あるいは位置コードがベース上で局所的にないときにも使用できる。
【0022】
所望される場合、あらゆる画像中の位置コードが絶対画像に復号可能なときにも本発明が使用できることは言うまでもない。例えば、あらゆる画像の位置コードの復号に比較して、分散復号の方が実施するのが高速、及び/または簡単、及び/または安全である状況がある可能性がある。
【0023】
絶対位置は、この応用例では、一つまたは複数の絶対座標により定められる位置等の、他の位置を参照せずに定められる位置と解釈されなければならない。
【0024】
第一の画像と第二の画像はシーケンスの中の任意の画像であってよい。第一の画像は、シーケンスの中の第一の画像の前または後に位置してよい。シーケンスはコンテンツが重複する画像だけを含んでよいか、あるいはコンテンツが重複するいくつかの画像と重複しないいくつかの画像を含んでよいか、あるいはコンテンツが重複しない画像だけを含んでよい。シーケンスの画像は、記録中にユーザユニットがベースから持ち上げられずに記録された可能性がある。また、ユーザユニットは記録中の1回または複数回の機会にベースから持ち上げられ、再びベースに下ろされた可能性もある。
【0025】
位置コードは一つまたは複数の次元で位置を定めてよい。記録される移動は一つまたは複数の次元の移動であってよい。
【0026】
空間的な関係性の該決定は、第一の画像と第二の画像の最善の重複位置を決定することを含む。これを行う一つの方法は、少なくとも第一の画像と第二の画像のコンテンツを相互に関連付けることである。第一の画像と第二の画像は部分的に重複することがある。この場合、これらの画像のコンテンツの少なくとも一部はその空間的な関係性を確立するために直接的に比較できる。それらはシーケンス中の連続画像であってよいが、連続画像である必要はない。
【0027】
代わりに、画像は重複していないが、それらの空間的関係性がシーケンス中の介在する画像との空間的な関係性を連続して決定することにより確立できるように一連の部分的に重複する画像に属する。
【0028】
さらに別の実施形態として、第一の画像と第二の画像は重複するコンテンツを有さないが、コンテンツは、空間的な関係性がそれにも関わらず画像のコンテンツに基づいて決定できるほどである。
【0029】
画像は前処理されたフォーマットまたは前処理されていないフォーマットで相互に関連付けることができる。画像は、例えばグレイスケールで、またはカラーで二値化できる。
【0030】
相互関連は、ピクセルレベルでまたは画像の中の特殊な特徴が比較される特徴レベルで等さらに高いレベルで行うことができる。各特徴は多くのピクセルによって表現できる。それは特殊な形式を有することがある。書式レイアウトまたはベース上の他のグラフィック情報の一部は特徴として使用できる。ユーザユニットからインクによって作られる手書きも特徴相互関連に使用できる。
【0031】
位置コードは、通常複数の記号またはマークからなり、各記号は二進値等の値をコード化する。したがって二つの画像の空間的な関係性も、記号値または記号のグループについて求められる値に基づいて決定できる。
【0032】
空間的な関係性は、例えば、一次元または二次元または三次元以上の第一の画像と第二の画像の間でオフセットを示すベクトルとして表現または記憶できる。
【0033】
第二の態様に従って、本発明は第一の態様による方法を実行するように適応されるコントロールユニットを備える装置に関する。
【0034】
処理装置は、例えば適切にプログラミングされたプロセッサによって実現されてよい、あるいはASIC(特定用途向け集積回路)またはFPGA(フィールドプログラマブルゲートアレイ)等の特に適応されたハードウェアによって、デジタル回路またはアナログ回路あるいはその任意の組み合わせによって実現されてよい。処理装置は、位置コードを決蔵するセンサと同じ装置内に、あるいは別の装置内に常駐できる。
【0035】
第三の態様に従って、本発明は、コンピュータ内での実行時に、第一の態様による方法をコンピュータに実施させるプログラムコードを備えるコンピュータプログラムに関する。
【0036】
コンピュータプログラムは、RAM、SRAM、DRAM、SDRAM、ROM、PROM、EPROM、EEPROM、光ディスク、磁気ディスクまたはテープ、あるいは何らかの他の市販されている記憶媒体等の記憶媒体上に記憶でき、それらの形式で分散できる。記憶媒体は伝搬信号である場合もある。
【0037】
本発明の他の目的、特徴及び優位点は、本発明の以下の詳細な説明から、添付クレームから、及び図面から明らかである。
【0038】
本発明のさまざまな実施形態の特徴が一実施形態及び同じ実施形態で結合されてよいことは言うまでもない。
【0039】
一般的に、クレームで使用されるすべての用語は、ここに明示的に他に定義されない限り、技術分野でのそれらの通常の意味に従って解釈されるべきである。「一つ(a)/一つ(an)/該[要素、装置、構成要素、手段、ステップ等]」に対するすべての参照は、特に明示的に指定のない限り、前記要素、装置、構成要素、手段、ステップ等の少なくとも一つの例を指すと公然と解釈されるべきである。ここに開示されている任意の方法のステップは、特に明示的に指定のない限り開示される正確な順序で実行される必要はない。
【発明を実施するための最良の形態】
【0040】
図1は、本発明を使用できる情報管理のためのシステムを示す。該システムは一枚の用紙の形式を取るベース1と、ペン様式のユーザユニット2の形式を取る移動を記録するための装置と、外部装置3とを備える。該一枚の用紙は書式を構成する。用紙全体には、その内の小さな部分だけが拡大尺度で概略して示される位置コード4と、ここではテキスト6、記入されるボックス7、及び画像8を備える書式レイアウト5が備えられる。この例では、位置コードと書式レイアウト5が、両方ともユーザユニットに対しては可視である同じ印刷インクで、あるいは異なる印刷インクで印刷されると仮定される。この結果、位置コードが、それが書式レイアウトで覆い隠される領域内では記録できない可能性がある。
【0041】
ユーザユニット2は、通常のペンと同じように一枚の用紙1上で書き込むために、及びその移動を記録することによりデジタル形式で書き込まれている内容を同時に記録するために使用できる。この目的のため、ユーザユニット2は、書き込み中に、連続してユーザユニット2の先端にある位置コードの画像を記録する。各画像の位置コードは絶対位置に復号され、このような復号位置の結果として生じるシーケンスは、通常、ベース上でユーザユニット2の移動の、したがってベース1に書き込まれている内容の、及び場所の(and where)正確なデジタル表現を構成する。
【0042】
位置復号は、記録された画像を自動的に(オンラインで)、あるいはユーザによって命令されるときに送信できるユーザユニット2及び/または外部装置3において実施される。外部装置3はPC、携帯電話、PDA(パーソナルデジタルアシスタント)、インターネット上のサーバ、あるいは位置復号を実施する能力がある任意の他の装置であってよい。用紙上でのユーザユニットの移動を正しく反映するためにデジタルで記録された情報の場合、位置復号を可能な限り正確に且つ完璧に行うことができることが重要である。
【0043】
さらに詳細に後述される位置コード4は、所定の規則に従って配列または設計される記号またはマークから構成される。所定の最小サイズを有する、位置コードの部分的な領域が正しく結合される場合には、該部分的な領域の全体的な位置コードの中での位置は結像された部分的な領域内での一つまたは複数のシンボル及び所定の復号アルゴリズムによって明らかに決定できる。位置は、デカルト座標または別の座標系での一組の座標として取得できる。
【0044】
部分的な領域内での位置コードが完全に且つ正しく結合される限り、復号はうまく機能してよい。ただし実際の状況下では、ユーザユニット2は、例えば質が悪い照明状況のために、あるいは結像システム内の欠点のために位置コードを完全に正しく結像できないことがある。位置コードがベース上できわめて正確に複製されるのではなく、ベースに適用されるときにある程度まで変形されてしまう場合に問題が発生することがある。
【0045】
位置コードが冗長な情報を含んでいる場合、限られた数の記号に影響を及ぼすエラーを特定の条件下で補正できる。
【0046】
さらに、国際公開第03/038741号パンフレットは、復号エラーの場合には、部分的な領域から決定される情報が、過去の無事に復号された位置近くでの一致領域で位置コードがどのようにして構成されているのかについての情報と比較される、あるいは突き合わされる位置復号のための方法を開示する。公知の一致領域の最良の一致部分が選択され、対応する位置が復号位置として決定される。
【0047】
しかしながら、例えば位置コードが位置コードと同じ種類の印刷インクで印刷される形式レイアウトによって部分的にまたは完全に覆い隠されるために、位置コードの大きすぎる部分が変形されるまたは紛失している場合、エラー補正または位置コードの公知の構成に対する突合せは、紛失しているあるいは不正確な記号が多すぎるために可能ではないであろう。代わりに、分散復号は図2に関して以下に後述されるように使用されてよい。
【0048】
図2は図1のベース1の小さい部分を示しているが、明確にするためにベース上には位置コードも書式レイアウトも示されていない。ペンストロークがベース上で作成されると、ユーザユニット2はユーザユニットの先端で局所的にベースの画像を同時に記録する。図2は、四つのこのような画像AからDが記録される位置の例を概略して示す。画像は、ここでは部分的に重複する画像のシーケンスを形成する。理想的には、この例では、各画像の位置コードは、例えば一組の座標の形式で絶対位置表示に復号される。しかしながら、位置コードが覆い隠される場合、これは可能ではない場合がある。例えば、画像Aの中の位置コードから絶対位置を復号できないと仮定する。したがって、画像Aからの情報が保存される。画像Bについても位置を決定できない場合には、画像AとBの間での最良の重複位置が決定される。したがって、画像Aの中の位置コードと画像Bの中の位置コードがともに絶対位置に対して復号できるかどうかがチェックされる。単独で取られた画像Aと画像Bの中の位置コードが、それぞれの画像内の大きすぎる範囲で覆い隠されているために復号できないとしても、両方の画像からの結合された位置コードが絶対位置に復号可能であってよい。これは図2に概略して描かれており、斜線領域Hは画像AとBの一部をカバーする。そうである場合、二つの間の空間的関係性が確立されているため、画像Aと画像Bを記録するときのユーザユニットの絶対位置を決定できる。
【0049】
絶対位置を画像AとBの組み合わせから復号できない場合には、例えば画像AとBの間の垂直方向と垂直方向等の二次元での偏位を反映するベクトルVとして、これらの画像の間の空間的関係性が保存される。前記手順は、位置コードが十分に完全に且つ正しく結像される画像または画像の組み合わせが検出されるまで繰り返される。例えば、絶対位置は画像Cの位置コードから復号できると仮定する。画像Bと画像Cの間の偏位が決定される場合にも、画像AとBの絶対位置はシーケンスの中の以後の画像の絶対位置から、連続して偏位を差し引くことによって決定できる。再び絶対位置を画像Dの位置コードから復号できない場合には、画像CとDの間の偏位が決定され、画像Dの絶対位置は画像Cの位置コードから復号される絶対位置に偏位を追加することによって決定される。
【0050】
さらに詳しく分散復号を説明する前に、位置コード及びこの例で使用されるユーザユニットはそれぞれ図3と図4に関して、及び図5と図6に関していくらかより詳しく説明されるであろう。位置コードのさらに包括的な説明は国際公開第03/001440号パンフレットに記載されているであろう。
【0051】
位置コードは、差数列と以下で呼ばれる数列に基づいている。この差数列は、5個の差数のある部分的なシーケンス等、一つが所定の長さの任意の部分的なシーケンスを取ると、この部分的なシーケンスは差数列の中であいまいなところなく決定された位置を有する。言い換えると、それは差数列の中に一度しか出現せず、したがって位置の決定に使用できる。この特性を有するシーケンスはDeBruijnシーケンスと呼ばれることがある。さらに具体的には、差数列は位置コードのy軸に沿ってだけではなくx軸に沿っても「実行する」。
【0052】
実際の位置コードは、名目位置23つまりラスタポイントを基準にしたそのそれぞれの位置に応じて四つの異なる値0から3を取ることのある、簡略な図示記号またはマーク22から構成されている。図3でわかるように、各記号22はドットの形状を有し、名目位置23を基準にした四つの異なる方向の一つで方向24、変位される。名目位置23は可視または不可視、あるいは仮想のラスタまたはグリッドの中のラスタ線21の間の交差点にある。記号の値は変位の方向によって決定される。各記号値0から3はビット(0,0)、(0,1)、(1,0)及び(1,1)に、x座標をコード化するために使用される1ビットとy座標をコード化するために使用される1ビットに変換される。このようにしてコード化は、xビットとyビットに共通である記号を用いて行われる。
【0053】
コード化が例えば以下となってよいことが言及されなければならない。
【表1】
【0054】
距離24は、適切には、二つの隣接するラスタ線21の間の距離の約1/8未満ではなく多くとも約1/4であり、好ましくは約1/6である。該距離は、例えば約300マイクロメートルまたは約254マイクロメートルである場合がある。後者の距離は特に、多くの場合100dpi(1インチあたりドット)の倍数である解像度を有するプリンタとスキャナに適している。位置コードのすべての記号は、位置コードが白黒であるように、通常、一つの同じ印刷インクで印刷される。
【0055】
各位置は、位置のために、このようにしてx軸の場合6*6ビットの行列に、y軸の場合6*6ビットの行列に変換できる6*6記号でコード化される。xビットの行列が考えられる場合、これはそれぞれ6ビットの6列に分割できる。1列の中のビットの各シーケンスは、6ビットという長さを有する部分的なシーケンスが選択される場合、これはメイン数列の中であいまいなところなく決定された場所を有するという特性のある63ビット長の周期的なメイン数列の中の部分的なシーケンスを構成する。したがって、6列はメイン数列の中の六つの場所に相当する六つのポジション番号つまりシーケンス値に変換できる。これらの六つのポジション番号の間では、近接する組の中で5つの差数が形成でき、差数列の部分的なシーケンスを構成し、このようにして同の中であいまいなところなく決定される場所、このためx軸に沿ったあいまいなところなく決定される場所を有する。特定のx座標の場合、ポジション番号はy座標に応じて変化する。他方、ポジション番号は、位置コードかパターン全体の中の列中で周期的に繰り返されるメイン数列に従って常に変化するため、差数はy軸とは無関係に同じとなる。
【0056】
相応して、yビット行列の中の6行はメイン数列の中の六つのポジション番号を定める。これらの六つのポジション番号は5つの差数を定め、差数の部分的なシーケンスを構成し、このようにしてy軸に沿ってあいまいにではなく決定される場所を有する。
【0057】
図4は、4*4記号のある位置コードの非常に小さな部分を示す。ラスタ線21は、説明のためだけに図に示されている。一般的にはラスタは仮想である。
【0058】
位置コードが使用されると、前述されたように、位置コードのさまざまな部分の画像が記録される。画像は6*6記号よりかなり多くを含むことがある。したがって、位置コードは、さらに多数の記号が画像中で可視である場合に、6*6シンボルのさまざまな集合に基づいて復号されてよい。とりわけ、エラー検出及び/または補正には復号で取り囲む記号も使用されてよい。位置コードは、いわゆる「浮動型」である。つまり、所定数の記号、ここでは6*6の記号を含む任意の部分的な領域が位置を定め、任意の部分的な領域の中の記号の少なくともいくつかが複数の位置のコード化に貢献する。特に明記され、任意の部分的な領域が上、下、左にまたは右に記号距離、移動すると、新しい位置はこのようにして移動した任意の部分的な領域内の記号によって定められる。
【0059】
以下では、図1のユーザユニット2がどのようにして実現されてよいのかの例が図5と図6に関して説明される。この例では、ユーザユニット2はペンとほぼ同じ形状を有するケーシングまたは外郭2011を備える。ケーシングの短い片側には、それを通して画像が記録される開口部つまりウィンドウ2012がある。
【0060】
ケーシングは、本来カメラシステム、電子システム及び電源を含む。
【0061】
カメラシステム2014は少なくとも一つの照明光源と、レンズ及び/またはミラー装置と、光画像読取装置または画像センサ(図には図示されていない)を備える。適切には発光ダイオードまたはレーザダイオードである光源は、赤外光によってウィンドウ2012を通して見ることのできる領域の一部を照明する。見られた領域の画像はレンズ装置によって画像センサ上に投射される。画像センサは、二次元画像を固定速度で、通常は約70から100Hzで記録するためにトリガされてよいCCD(電荷結合素子)またはCMOS(相補型金属酸化膜半導体)センサ等の感光領域センサであってよい。センサは赤外線に敏感であってよい。センサと照明光源は同期してトリガされてよい。
【0062】
一般的には、画像センサは、記号の画像が黒と白で、グレイスケールで、あるいはカラーで取得されるように、位置コードを結像するために適切である任意の種類のセンサで置換されてよい。このようなセンサは、任意の適切な波長範囲における電磁放射線に敏感であるソリッドステート単一チップデバイスまたはマルチチップデバイスである場合がある。例えば、センサはCCD素子、CMOS素子、またはCID素子(電荷注入デバイス)を含んでよい。代わりに、センサはマークの磁気特性の検出のために磁気センサアレイを含んでよい。なおさらに、センサはマークの任意の化学的特性、音響的特性、磁気特性、容量特性、または誘導的性質の画像を形成するように設計されてよい。
【0063】
ユーザユニットに対する電源は電池2015であってよい。電源は、代替策としてまたは補足策として、外部電源(不図示)からケーブルを介して取得されてよい。
【0064】
電子システムは、コントロールユニット2016と、該コントロールユニットが接続されるメモリブロック2013を備える。該コントロールユニットは、ユーザユニット内でのさまざまな機能、例えば、センサからの画像の読み取り及びこれらの画像に基づいた位置復号の実施等に関与する。コントロールユニット2016はCPU(「中央演算処理装置」)等の市販されているマイクロプロセッサによって、DSP(「デジタル信号プロセッサ」)によって、あるいはFPGA(「フィールドプログラマブルゲートアレイ」)または代わりにASIC(「特定用途向け集積回路」)等の何らかの他のプログラマブルロジックデバイス、離散アナログ及びデジタル構成要素、あるいは前記の何らかの組み合わせによって実現されてよい。メモリブロック2013は、好ましくは、作業メモリ(例えばRAM)とプログラムコード等のさまざまなタイプのメモリ、及び持続性の記憶装置(フラッシュメモリ等の不揮発性メモリ)を備える。関連ソフトウェアはメモリブロック2013に記憶され、ユーザユニットの動作用のユーザユニット制御システムを提供するためにコントロールユニット2016によって実行される。
【0065】
ケーシング2011は、ユーザがその上に付着されている通常の顔料ベースのマーキングインクによって表面上に物理的に書くまたは描画することができるようにする、ペン先2017も運ぶ。ペンポインタ2017のマーキングインクはユーザユニットにおける光電子検出との干渉を回避するために照明放射線に適切に透明である。コンタクトセンサ2021は、ペンが付けられる(ペンダウン)及び/または持ち上げられる(ペンアップ)ときを検出するために、及びオプションで適用力の決定を可能にするために、ペン先2017に動作可能なように接続されている。コンタクトセンサ2017の出力に基づき、カメラシステム2014はペンダウンとペンアップの間で画像を捕捉するために制御される。一時的にコヒーレントな位置の結果として生じるシーケンスはペンストロークの電子表現を形成する。
【0066】
ペン先2017は伸張自在及び収縮自在である場合があり、その結果ユーザはそれが使用されるべきかどうかを制御できる。特定の応用例では、ユーザユニットはペン先をまったく有する必要がない。
【0067】
電子システムはコンピュータ、携帯電話、PDA、ネットワークサーバ等の近傍のまたは遠く離れた装置にデータを露呈する(exposing)ための通信インタフェース2019をさらに備える。通信インタフェース2019は、このようにして有線または無線の短距離通信(例えば、USB、RS232、無線伝送、赤外線伝送、超音波伝送、誘導結合等)用の構成要素及び/あるいは通常はコンピュータ、電話または衛星通信ネットワークを介した有線または無線の遠隔通信用の構成要素を備えてよい。
【0068】
ペンは、ユーザフィードバックのために選択的に活性化されるMMI2020(マンマシンインタフェース)を含んでもよい。MMIはディスプレイ、インジケータランプまたはLED、バイブレータ、スピーカ等を含んでよい。
【0069】
なおさらに、ペンは、それによってペンを活性化及び/または制御できる一つまたは複数のボタン2018を含んでよい。
【0070】
ユーザユニットは、異なる物理的なケーシングに分割できる。位置復号を実施するために必要である構成要素は第二のケーシングに配置されてよいが、位置コードの画像を捕捉するため、及びそれらを送信するために必要であるセンサ及び他の構成要素は第一のケーシングに配置されてよい。
【0071】
図6は、図5に示されているユーザユニット内のコントロールユニット2016、メモリブロック2013及び画像センサのインプリメンテーションの例の概略ブロック図である。ASIC700は電子回路網のメインコントローラとしてCPU720を含む。CPU720はオンチップデータバス760を通してメモリ730にアクセスできる。画像センサは、ASIC700のデータバス760に接続される、及び96x96ビットの256レベルのグレイスケールデジタル画像を100Hzという周波数で作成できるCMOSエリアセンサ750として実現される。ASIC700での画像プリプロセッサ710は、画像センサ750から受信される画像を前処理し、復号の前にメモリ730内に前処理された画像を記憶してよい。CPU720は、前処理された画像の位置コードの位置への復号を実行する。照合装置740は、CPU720が記録されている画像の間の空間的な関係性を決定する、及び/または制限された領域での位置コードについての過去に公知の情報の中の位置コード情報を照合するのを支援してよい。
【0072】
以下では、復号プロセスは図7から図13に関してさらに詳細に説明される。
図7から図10は、概略して、図解のために一組の画像がどのように処理されてよいのかだけを示す。画像は、通常、図11と図12のフローチャートから明らかであるように、実質的にはシーケンスの中で処理されると理解されなければならない。
【0073】
図1の中のベース1上でのユーザユニット2による書き込み中、ユーザユニット2の画像センサ2014はベースの画像を捕捉する、図11のステップ1110。それぞれの捕捉された画像のサイズは、位置を決定するために必要とされる部分的な領域と少なくとも同じであるが、通常は大きい。
【0074】
図7A及び図7Bは、複数のドットを備えた位置コードを有するベース及びこれらの画像が文字及びその部分を含む書式レイアウトから連続して捕捉される二つの例示的な画像を示している。画像が重複するコンテンツを有し、画像がグレイスケール画像として得られることは明らかである。
【0075】
それぞれの捕捉された画像は、ドットがローカライズされ、仮想ラスタがドットの中に適合され、パースペクティブが補正される次のステップ1130のための適切な入力を形成するために前処理される、ステップ1120。これに関して、ドットでパースペクティブ補正されたラスタが、ラスタポイントがセンサ座標システムの原点でローカライズされるように変位されてよい。
【0076】
ステップ1120と1130は、フィルタリング、二値化または閾値化等、及びフーリエ変換の活用等の技術で周知である技法を手段として実行されてよい。ラスタは例えば、国際公開第01/26034号、国際公開第01/75783号、または国際公開第03/049023号に説明されるように決定されてよい。
【0077】
図8A及び図8Bは、前処理後の図7Aと図8Aの画像を示す。位置コードが図7Aと図7Bの書式レイアウトに相当する画像のそれらの部分で紛失していることは明らかである。二値化された画像も、明らかに位置コードに関係しないピクセル形成を含む。
【0078】
図9A及び図9Bは、ドット22がローカライズされ、ステップ1130の後、つまり仮想ラスタ21がそれに適合された後の図7Aと図7Bの画像を示す。また、ラスタ21が正方形のラスタとなるようにパースペクティブは補正されている。
【0079】
パースペクティブは必ずしも補正される必要がないことが言及されなければならない。ドット値は、補正されていないパースペクティブの画像からであるが、パースペクティブ情報を考慮に入れることによって復号することもできる。パースペクティブが補正され、ドット値がパースペクティブ補正されたドット行列から復号される場合には、結果がさらによくなると考えられる。
【0080】
ラスタ線の交差はドットのための名目位置23を構成する。位置コードが完全であり、正しく結像されると、各名目位置23は、それがコード化する値に応じて、名目位置23から四つの方向の内の一つで変位される一つの関連ドットを有する必要がある。ただし、図9Aと図9Bでは、関連ドットを欠く名目位置23もあれば、複数の関連ドットを有する他の名目位置もある。これは、例えば、覆い隠す書式レイアウト、不完全な結像、不完全な前処理及び/または不完全なドットローカリゼーションのためである場合がある。
【0081】
次のステップ1140では、名目点23ごとにドット値が求められる。多様な方法がこの目的のために使用できる。
【0082】
例えば、名目点23がただ一つの関連ドットを有する場合、それが図3に示されている四つの理想的な変位位置のどれかの回りの特定の「安全な」ゾーンの中にあるかどうかが調査されてよい。このような「安全な」ゾーンは、例えば四つの理想的な変位位置のそれぞれ一つにその中心を有し、所定の半径を有する円形領域により画定されてよい。したがって、ドットが任意のこのような「安全な」ゾーンの中にあることが判明すると、ドットは「安全な」ゾーンの中心を形成する理想的な変位位置によって表される値を有するために保持される。
【0083】
例えば点と関連付けられたドットがないため、あるいは二つのドットが理想的な配置から等しく遠いために、名目点についてドット値を決定できない場合、位置は「−」でマークされる。
【0084】
代わりに、例えば国際公開第03/001441号パンフレットに説明されるように、名目位置ごとに、関連ドット(複数の場合がある)が考えられる四つの異なるドット値のどれかを取る確率が求められてよい。それから、確率閾値は適用されてよく、その結果、0.8が閾値である場合に、特定のドットが例えば0.8を超える確率でドット値0から3のどれかを符号化すると、ドットにはそのドット値が割り当てられ、それ以外の場合は「−」を割り当てられる。
【0085】
図9Aと図9Bのドットのドット値を決定すると、図10Aと図10Bに示されるドット値行列が生じ、この場合0から3がドット値を表し、「−」は、対応する名目位置についてドット値が求められないことを示している。
【0086】
図10Aと図10Bのドット値行列のそれぞれ一つは、ドット値0から3をビット組0,0;0,1;1,0;及び1,1に変換することによって、二つのビット行列―一つのx行列と一つのy行列―に分離でき、第一のビットはx座標の決定のためのx行列で使用され、第二のビットは、例えば国際公開第01/26033号に説明されるようにy軸の決定のためのy行列で使用される。
【0087】
最後に、図10Aと図10Bのドット値行列の絶対位置への実際の復号はステップ1150で実施される。このステップを実施する一つの方法は図12に関して詳細に説明される。
【0088】
第一に、ステップ1200では、新規画像が位置情報の復号のために取り出される。該新規画像は、二つのビット行列が取得されるように前述されたように処理された捕捉画像である。しかしながら、説明を簡略化するために、これらの二つの行列は新規画像と呼ばれる。ステップ1205では、新規画像の中の位置コードを絶対位置に復号することが可能であるかどうかが判断される。例えばベース上で部分的にまたは完全に覆い隠されるために位置コードが十分に記録されない場合、新規画像は絶対位置を復号できるようにするための十分な情報を含んでいない可能性がある。
【0089】
位置コードを復号できない場合、空間的な関係性または過去の画像に関する新規画像の相対的な位置が相関を手段として決定される、ステップ1210。新規画像が第一の画像であるために過去の画像がない場合には、処理は単に次のステップに進む。
【0090】
次のステップ、ステップ1215では、過去の画像のために絶対位置が公知であるかどうか、つまり決定されたかどうかがチェックされる。公知である場合、絶対位置は、ステップ1210で決定される相対位置を使用して、新規画像の絶対位置として記憶される、新規画像について決定される、ステップ1225。絶対位置が公知ではない場合、相対位置が新規画像の相対的な位置としてまさに記憶され、ステップ1220、処理はステップ1270に進み、新規画像は過去の画像となるように設定される。ただし、過去の画像がない場合には、ステップ1225で公知の絶対位置がなく、ステップ1220で記憶される相対位置がなく、したがってプロセスが単にステップ1270に進むことは明らかである。
【0091】
ステップ1270後、プロセスは新規画像でステップ1200から再開する。
【0092】
他方、ステップ1205で、位置コードが絶対位置に復号可能であると判断される場合、復号はステップ1230で新規画像について実施される。続くステップ1235では、もしあれば過去の画像について、絶対位置が公知であるかどうかがチェックされる。
【0093】
前記から明らかであるように、過去の画像の絶対位置は、過去の画像の中の位置コードの復号から、または相対位置に基づいた計算から公知である。
【0094】
絶対位置が公知である場合、復号された絶対位置は新規画像の絶対位置としてステップ1240で単に記憶され、処理はステップ1270に進み、その後それはステップ1200で再開する。
【0095】
代替策で、絶対位置が未知である場合、新規画像は、ステップ1210でと同様に過去の画像と相互に関連付けられる、ステップ1245。記憶されている関連付けられた絶対位置がないその後すべての過去の画像のための絶対位置は、記憶されている相対的な位置(複数の場合がある)を使用して計算できる、ステップ1250。
【0096】
ペンストロークの始まりで、位置コードが一連の画像で十分に記録されない場合には、最後に絶対位置が復号可能ではないときに、戻って過去の画像の絶対位置を決定することが可能となると前記から考えられる。
【0097】
しかしながら、いったん絶対位置がある画像について決定されると、空間的関係性が決定可能であるあらゆる画像の絶対位置は、画像の位置コードを復号すること、あるいは過去の画像のコンテンツとそのコンテンツの少なくとも一部を比較することのどちらかによって直接的に決定することもできる。
【0098】
絶対位置が二つの画像について決定され、間の画像について位置を決定することが不可能であった場合、これらの二つの画像の絶対位置は間の画像の位置を、例えば補間によって推定するために使用できる。
【0099】
ステップ1210と1245の相関はさまざまな方法で実施できる。一つの方法は、どの重複位置で最高数のドット値/二進値が対応するのかをチェックすることにより、ドット値行列のドット値、またはxビット行列及び/またはyビット行列の二進値を相互に関連させることである。この代替策の優位点は、過去の画像が相対的にコンパクトに記憶できる点である。
【0100】
別の代替策は依然としてさらに高いレベルでの相関を実施することであろう。前述されたように、6*6記号の部分的な領域の中の列の中のビットの各シーケンスは、6ビットという長さを有する部分的なシーケンスが選択される場合に、これがメイン数列であいまいにではなく決定された場所を有するという特性のある、63ビット長の周期的なメイン数列の中の部分的なシーケンスを構成する。したがって、六つの列は六つのポジション番号またはメインの数列の中の六つの場所に相当するシーケンス値に変換できる。このようにして、十分に完全であるx行列の中のそれらの列は、シーケンス値に復号することができ、相関はシーケンス値に基づいて実施できる。対応する方法では、y行列の中の列はシーケンス値に復号でき、相関はこれらのシーケンス値を使用して実行できる。明らかに、グループ記号値に復号できるであろう記号の他のグループも相関に使用できるであろう。
【0101】
追加の代替策は過去の画像と新規画像を、前処理及び二値化された形式であるが、ドット値行列または二進値行列への変換の前に相互に関連付けることである。この比較は異なる重複位置で重複するピクセルの数に基づいてスコアを計算することによって周知の方法で実施できるであろう。ピクセル的な補正に使用できる方法の例が、国際公開第98/20446号パンフレットと国際公開第99/36879号パンフレットに開示される。
【0102】
さらに別の代替策は、前処理の前に例えばグレイスケール形式で、それらが出現するように画像を相互に関連付けることであろう。
【0103】
さらに別の実施形態は、例えば図7Aと図7Bでの形式レイアウトで、画像の中の明確な特徴を使用して画像を相互に関連付けることであろう。
【0104】
グレイスケール及び特徴補正のための適切な補正技法は当業者にとって周知であり、例えば二乗誤差(Sum of Square Errors)の合計及び絶対差の合計(Sum of Absolute Differences)を含む。
【0105】
ユーザユニットは、ユーザユニットの画像センサに可視である書き込みインクを出力するペン先を備える場合、相互関連は画像の中に出現する手書きに基づいて実施できる。
【0106】
過去の画像と次の画像がドット値に基づいて相互に関連付けられる場合、以下の相互関連式f(u,v)が使用できるであろう。
【0107】
【数1】
この場合I(a,b)は、a=bである場合には1に、それ以外の場合には0に評価する同等関数であり、im1は過去の画像であり、im2は新規画像であり、widthは画像の幅であり、heightは画像の高さであり、uとvは重複位置を示す並進ベクトルであり、xとyはピクセル座標である。
【0108】
図13は、図10Aと図10Bではドット値行列の相互関連の結果を示す図であり、uとvは並進ベクトルの要素であり、zは相互関連基準を示す。図中のピークは、新規画像が過去の画像を基準にしてベクトル(3,0)によって変換されることを示している。ただし、過去の画像と新規画像の空間的な関係性が決定されるとき、センサ座標系の原点にラスタ点を持つためにパースペクティブ補正されたラスタの考えられる変位を考慮に入れる必要がある場合がある。
【0109】
本発明は、ラスタ内の名目位置から変位されるドットを含む特定の位置コードの例によって前述された。
【0110】
しかしながら、分散復号は他のタイプの位置コードに関連して等しくうまく適用できるであろう。それは、例えば、複数の記号を用いるが、浮動ではない方式で各位置をコード化する他の位置コードについて、あるいは国際公開第00/73983号パンフレットのような浮動型の他の位置コード、または任意の他の位置コードについて、米国第5,477,012号の位置コードのように、単一のさらに複雑な記号で各位置をコード化する位置コードに使用できるであろう。
【0111】
本発明はさらに重複する画像のシーケンスとともに説明されてきた。前記に示されたように、画像のシーケンスの中の二つの画像の間の空間的な関係性は、重複するコンテンツがなくても決定できることがある。代わりに、空間的な関係性は画像のコンテンツに基づいて決定されてよい。前記の例で使用された位置コードは、列と行の中で反復する周期的なメイン数列に基づいている。例えば、ユーザユニットが位置コード上で水平方向で移動し、二つの重複しない画像が相次いで捕捉される場合、及び画像間の距離が二つの考えられる方向のどれかの周期的な数列の長さの半分に等しい、または半分未満である場合には、空間的な関係性は画像のコンテンツの比較から、及び周期的なメイン数列についての知識から決定できる。これは言うまでもなく一例に過ぎない。
【0112】
図12のフローチャートに関して説明された復号例が拡大できる。相互関連ステップ1210の後、例えば、新規画像と過去の画像の結合された位置コードが絶対位置に復号可能であるかどうかに関してチェックが実施されてよい。復号可能ではない場合には、プロセスはステップ1215で示されるように続行する。ただし、絶対位置が復号可能である場合、新規画像の絶対位置が決定され、記憶される。絶対位置が過去の画像について公知である場合、その絶対位置も決定され、記憶される。次に、新規画像はステップ1270で過去の画像に設定される。
【0113】
前述されたように、画像は複数の異なる位置の決定を可能にする記号の複数の集合を含んでよい。しかしながら、画像が記録されたときのユーザユニットの画像の位置またはユーザユニットの位置は、つねに左上角等のユーザユニットセンサの座標系の特殊な基準点に関して定められる。したがって、絶対位置が画像に関して記憶されていることが前記に示されているときには、それは記憶される基準点の絶対位置であることが理解されなければならない。センサ座標系の別の点の絶対位置が決定されると、基準点の絶対位置は容易に計算できる。
【0114】
前記の例では、過去の画像から及び新規の画像からの情報が使用される。しかしながら、シーケンスの中の追加の画像は、分散復号を実施する時には組み合わせて記憶し、使用することができる。
【0115】
一つまたは複数の画像からの絶対位置の決定は、任意の空間的な関係性を使用せずに、参照することにより本書に組み込まれる例えば米国第6,674,427号及び米国第6,667,695号でさらに開示されるように、ドットの集合の復号された値から絶対位置を計算することによって実施できる。絶対位置はユーザユニットの公知の絶対位置からユーザユニットの次の位置を予測することによって、及び参照することにより本書に組み込まれる国際公開第04/097723号にさらに説明されるように、予測される位置の近隣で位置コードがどのように構築されるのかについての情報と、ユーザユニットの予測される位置を突き合せることによって決定されてもよい。
【0116】
図12の例では、第一の画像と第二の画像の間の空間的な関係性は、第一の画像の絶対的な位置が公知でない場合にだけ決定される。しかしながら、変形に従って、二つの連続する画像間の空間的な関係性が常に決定され、情報は必要時に使用される。空間的な関係性を決定するかどうかの特定な決定は取る必要がない。
【0117】
分散復号の目的は、画像シーケンスの中の各画像について一つの位置を取得することである。しかしながら、位置コードから絶対位置を復号できず、別の画像に対する空間的な関係性を確立できない画像があるであろう。このような画像については、位置は代わりに例えば補間または補外によって決定されてよい。別の方法で、このような画像のための任意の位置を記録しないことが決定できるであろう。画像にとって任意の位置を記録しないことが決定される他の状況もあるであろう。
【0118】
したがって、ベース上でのユーザユニットの連続移動はベース上での位置コードの画像のシーケンスによって記録される。画像のいくつかについて、位置コードはユーザユニットの絶対位置に直接的に復号され、他の画像については、過去の画像または以後の画像に対するその空間的な関係性が決定され、ユーザユニット位置はそこから決定される。
【図面の簡単な説明】
【0119】
ここで本発明は添付図面に関してさらに詳細に説明される。
【図1】分散復号を使用できるシステムの概略図である。
【図2】画像のシーケンスが位置コード付きのベースからどのようにして記憶されるのかの概略図である。
【図3】位置コードの中のマークの四つの理想的な位置を示す。
【図4】ユーザユニットの移動を記録するために使用されてよい位置コードの概略図である。
【図5】分散復号が実施されてよいユーザユニットの概略図である。
【図6】図5に図示されるユーザユニットの中の電子回路網パーツと画像センサの概略図である。
【図7A−7B】位置コードを部分的に覆い隠す書式レイアウト付きの書式の二つの画像を示す。
【図8A−8B】二値化を含む前処理の後の図7Aと図7Bの画像を示す。
【図9A−9B】ドットローカリゼーション(dot localization)、ラスタ適合(raster fitting)及びパースペクティブコレクション後の図8Aと図8Bの画像を示す。
【図10A−10B】図9Aと図10Bから生成された二つのドット値マトリックスを示す。
【図11】全体的な復号プロセスの例を描くフローチャートである。
【図12】本発明による分散復号がどのようにして実現されてよいのかを描くフローチャートである。
【図13】図10Aと図10Bのドット値マトリックスの相互関連の結果を示す図である。
【関連出願の相互参照】
【0001】
本願は、ともに2003年12月16日に出願され、ともに参照することにより本書に組み込まれているスウェーデン特許出願番号第0303370−1号及び米国仮特許出願第60/529627号の利点を主張する。
【技術分野】
【0002】
本発明は概して移動の記録に関し、さらに詳細には位置コードが与えられているベース上でのユーザユニットの移動を記録するための方法に関する。移動の記録は、例えば手書きの情報を電子的に記録するために移動の記録が実施されてよい。
【0003】
本発明は移動を記録するために使用できる装置、コンピュータプログラム及び記憶媒体にも関する。
【背景技術】
【0004】
手書きを提供するために使用されるペンの移動を決定することにより手書きをデジタル化することは公知である。該移動は、例えば該ペンに取り付けられる一つまたは複数の加速度計により決定されてよい。別の代替策は位置コードを備えたベースを使用し、ベース上でのペンの移動中にペンの先端で局所的に位置コードを記録するセンサをペンに提供することである。ペンの中あるいはその外部に配置される処理装置は、次に位置コードを座標等の一連の位置表示に復号でき、ペンのベース上での移動を反映する。
【特許文献1】国際公開第01/26033号パンフレット
【発明の開示】
【発明が解決しようとする課題】
【0005】
国際公開第01/26033号パンフレット、米国第5,477,012号、国際公開00/73983号パンフレット、及び国際公開第92/17859号パンフレットは、手書きを記録するために使用できるであろう位置コードのさまざまな例を開示している。
【0006】
さらに、国際公開第01/75779号は書式に書き込まれた情報のデジタル記録を可能にする位置コードを備えた書式を開示する。位置コードに加えて、ベースはここでは入力フィールドの中にどのような情報が記入されなければならないのかを示す、入力フィールドとテキストの回りのフレーム等の書式レイアウトを与えられる。
【0007】
国際公開第01/75779号によれば、書式レイアウトは位置コードと同時に、あるいは異なるランでベース上に印刷できる。位置コードの読み取りを妨害しないために、書式レイアウトと位置コードには異なる印刷インクを使用しなければならない。さらに、書式レイアウトのための印刷インクは、ペンの中のセンサには不可視でなければならない。印刷コードと書式レイアウトの両方とも同じ印刷インクで印刷されると、書式レイアウトが部分的に印刷コードを覆い隠し、書式レイアウトに近い領域内で、あるいは書式レイアウトによって覆い隠される領域内で位置コードの復号は実用的ではない。
【0008】
しかしながら、異なる印刷インクの使用は実用的ではない。例えば白黒レーザプリンタ等の白黒プリンタによって白紙の用紙上に印刷された書式でペンを使用できればより実用的である。
【課題を解決するための手段】
【0009】
発明の一つの目的は、例えば位置コードが完全にまたは部分的に他のグラフィックスによって覆い隠されているために位置コードが不十分に記録されるときに、位置コードを与えられるベース上のユーザユニットの移動の決定を可能にすることである。
【0010】
本発明の別の目的は、位置コードを与えられ、他のグラフィックスが同じ印刷インクで印刷されるベース上でユーザユニットの移動の決定を可能にすることである。
【0011】
これらの目的の一つまたは複数は、少なくとも部分的には、独立クレームによる方法、装置、コンピュータプログラム及び記憶媒体によって達成される。
【0012】
第一の態様に従って、本発明は、位置コードを備えるベース上でのユーザユニットの移動の記録の方法であり、ベース上でのユーザユニットの移動中に得られる位置コードの画像のシーケンスの中の少なくとも一つの画像の位置コードに基づいてユーザユニットの絶対位置を決定することと、シーケンスの中の第一の画像と第二の画像の間の空間的な関係性を決定することと、第一の画像と第二の画像の第一に言及された空間的な関係性に基づいてユーザユニットの別の絶対位置を決定することとを備える。
【0013】
位置コードはこのようにしてユーザユニットの移動を決定するために記録されているシーケンスのすべての画像で復号可能である必要はない。特定の画像についてユーザユニットの絶対位置が決定できない場合には、代替策として、ユーザユニットの位置はシーケンスの中の二つの画像の空間関係性と過去にまたは後に決定される絶対位置に基づいて決定できる。
【0014】
少なくとも一つの画像において位置コードに基づいてユーザユニットの絶対位置を決定するステップと、第一の画像と第二の画像の間の平均(av)空間関係性を決定するステップは、このようにして任意の順序で実施されてよい。
【0015】
第一の画像または第二の画像は、ユーザユニットの第一の前述された位置が決定される画像と同じ画像であってよい。
【0016】
第二の画像または第一の画像は、ユーザユニットの他の絶対位置が決定される画像と同じ画像であってよい。
【0017】
ユーザユニットの第一の言及された絶対位置は画像の中の位置コードを復号することによって決定されてよい。他の方法は、以下の説明から明らかになるように使用されてもよい。
【0018】
ユーザユニットの第一の言及された絶対位置を決定するときに、画像の中の一つの位置コードが絶対位置の復号を可能にするために不十分である場合は二つまたは三つの画像の位置コードが使用できる。
【0019】
前記から明らかであるように、画像はユーザユニットの位置を決定するために必ずしも一対一で処理されないが、ときおり位置は複数の画像からの情報に基づいて決定される。位置を復号するために複数の画像を使用することをここでは分散復号と呼ぶ。
【0020】
このようにして、方法は、位置コードを備えたベース上でのユーザユニットの移動を記録する方法としても説明でき、その方法は、それぞれが少なくとも一つの位置を復号できるようにするほど十分に大きい位置コードの部分的な領域に対応する画像のシーケンスを記録することと、ユーザユニット位置を決定するために複数の画像からの情報を使用することを備えるであろう。
【0021】
本発明は、画像の位置コードをある理由または別の理由から復号できないすべての状況で使用できる。したがって、位置コードを復号できない理由は、位置コードが他のグラフィック情報で部分的に覆い隠されることである必要はない。本発明は、絶対位置の復号が不可能となるように位置コードが変形されている、あるいはそれ以外の場合ベース上で不正確であるとき、あるいは位置コードがベース上で局所的にないときにも使用できる。
【0022】
所望される場合、あらゆる画像中の位置コードが絶対画像に復号可能なときにも本発明が使用できることは言うまでもない。例えば、あらゆる画像の位置コードの復号に比較して、分散復号の方が実施するのが高速、及び/または簡単、及び/または安全である状況がある可能性がある。
【0023】
絶対位置は、この応用例では、一つまたは複数の絶対座標により定められる位置等の、他の位置を参照せずに定められる位置と解釈されなければならない。
【0024】
第一の画像と第二の画像はシーケンスの中の任意の画像であってよい。第一の画像は、シーケンスの中の第一の画像の前または後に位置してよい。シーケンスはコンテンツが重複する画像だけを含んでよいか、あるいはコンテンツが重複するいくつかの画像と重複しないいくつかの画像を含んでよいか、あるいはコンテンツが重複しない画像だけを含んでよい。シーケンスの画像は、記録中にユーザユニットがベースから持ち上げられずに記録された可能性がある。また、ユーザユニットは記録中の1回または複数回の機会にベースから持ち上げられ、再びベースに下ろされた可能性もある。
【0025】
位置コードは一つまたは複数の次元で位置を定めてよい。記録される移動は一つまたは複数の次元の移動であってよい。
【0026】
空間的な関係性の該決定は、第一の画像と第二の画像の最善の重複位置を決定することを含む。これを行う一つの方法は、少なくとも第一の画像と第二の画像のコンテンツを相互に関連付けることである。第一の画像と第二の画像は部分的に重複することがある。この場合、これらの画像のコンテンツの少なくとも一部はその空間的な関係性を確立するために直接的に比較できる。それらはシーケンス中の連続画像であってよいが、連続画像である必要はない。
【0027】
代わりに、画像は重複していないが、それらの空間的関係性がシーケンス中の介在する画像との空間的な関係性を連続して決定することにより確立できるように一連の部分的に重複する画像に属する。
【0028】
さらに別の実施形態として、第一の画像と第二の画像は重複するコンテンツを有さないが、コンテンツは、空間的な関係性がそれにも関わらず画像のコンテンツに基づいて決定できるほどである。
【0029】
画像は前処理されたフォーマットまたは前処理されていないフォーマットで相互に関連付けることができる。画像は、例えばグレイスケールで、またはカラーで二値化できる。
【0030】
相互関連は、ピクセルレベルでまたは画像の中の特殊な特徴が比較される特徴レベルで等さらに高いレベルで行うことができる。各特徴は多くのピクセルによって表現できる。それは特殊な形式を有することがある。書式レイアウトまたはベース上の他のグラフィック情報の一部は特徴として使用できる。ユーザユニットからインクによって作られる手書きも特徴相互関連に使用できる。
【0031】
位置コードは、通常複数の記号またはマークからなり、各記号は二進値等の値をコード化する。したがって二つの画像の空間的な関係性も、記号値または記号のグループについて求められる値に基づいて決定できる。
【0032】
空間的な関係性は、例えば、一次元または二次元または三次元以上の第一の画像と第二の画像の間でオフセットを示すベクトルとして表現または記憶できる。
【0033】
第二の態様に従って、本発明は第一の態様による方法を実行するように適応されるコントロールユニットを備える装置に関する。
【0034】
処理装置は、例えば適切にプログラミングされたプロセッサによって実現されてよい、あるいはASIC(特定用途向け集積回路)またはFPGA(フィールドプログラマブルゲートアレイ)等の特に適応されたハードウェアによって、デジタル回路またはアナログ回路あるいはその任意の組み合わせによって実現されてよい。処理装置は、位置コードを決蔵するセンサと同じ装置内に、あるいは別の装置内に常駐できる。
【0035】
第三の態様に従って、本発明は、コンピュータ内での実行時に、第一の態様による方法をコンピュータに実施させるプログラムコードを備えるコンピュータプログラムに関する。
【0036】
コンピュータプログラムは、RAM、SRAM、DRAM、SDRAM、ROM、PROM、EPROM、EEPROM、光ディスク、磁気ディスクまたはテープ、あるいは何らかの他の市販されている記憶媒体等の記憶媒体上に記憶でき、それらの形式で分散できる。記憶媒体は伝搬信号である場合もある。
【0037】
本発明の他の目的、特徴及び優位点は、本発明の以下の詳細な説明から、添付クレームから、及び図面から明らかである。
【0038】
本発明のさまざまな実施形態の特徴が一実施形態及び同じ実施形態で結合されてよいことは言うまでもない。
【0039】
一般的に、クレームで使用されるすべての用語は、ここに明示的に他に定義されない限り、技術分野でのそれらの通常の意味に従って解釈されるべきである。「一つ(a)/一つ(an)/該[要素、装置、構成要素、手段、ステップ等]」に対するすべての参照は、特に明示的に指定のない限り、前記要素、装置、構成要素、手段、ステップ等の少なくとも一つの例を指すと公然と解釈されるべきである。ここに開示されている任意の方法のステップは、特に明示的に指定のない限り開示される正確な順序で実行される必要はない。
【発明を実施するための最良の形態】
【0040】
図1は、本発明を使用できる情報管理のためのシステムを示す。該システムは一枚の用紙の形式を取るベース1と、ペン様式のユーザユニット2の形式を取る移動を記録するための装置と、外部装置3とを備える。該一枚の用紙は書式を構成する。用紙全体には、その内の小さな部分だけが拡大尺度で概略して示される位置コード4と、ここではテキスト6、記入されるボックス7、及び画像8を備える書式レイアウト5が備えられる。この例では、位置コードと書式レイアウト5が、両方ともユーザユニットに対しては可視である同じ印刷インクで、あるいは異なる印刷インクで印刷されると仮定される。この結果、位置コードが、それが書式レイアウトで覆い隠される領域内では記録できない可能性がある。
【0041】
ユーザユニット2は、通常のペンと同じように一枚の用紙1上で書き込むために、及びその移動を記録することによりデジタル形式で書き込まれている内容を同時に記録するために使用できる。この目的のため、ユーザユニット2は、書き込み中に、連続してユーザユニット2の先端にある位置コードの画像を記録する。各画像の位置コードは絶対位置に復号され、このような復号位置の結果として生じるシーケンスは、通常、ベース上でユーザユニット2の移動の、したがってベース1に書き込まれている内容の、及び場所の(and where)正確なデジタル表現を構成する。
【0042】
位置復号は、記録された画像を自動的に(オンラインで)、あるいはユーザによって命令されるときに送信できるユーザユニット2及び/または外部装置3において実施される。外部装置3はPC、携帯電話、PDA(パーソナルデジタルアシスタント)、インターネット上のサーバ、あるいは位置復号を実施する能力がある任意の他の装置であってよい。用紙上でのユーザユニットの移動を正しく反映するためにデジタルで記録された情報の場合、位置復号を可能な限り正確に且つ完璧に行うことができることが重要である。
【0043】
さらに詳細に後述される位置コード4は、所定の規則に従って配列または設計される記号またはマークから構成される。所定の最小サイズを有する、位置コードの部分的な領域が正しく結合される場合には、該部分的な領域の全体的な位置コードの中での位置は結像された部分的な領域内での一つまたは複数のシンボル及び所定の復号アルゴリズムによって明らかに決定できる。位置は、デカルト座標または別の座標系での一組の座標として取得できる。
【0044】
部分的な領域内での位置コードが完全に且つ正しく結合される限り、復号はうまく機能してよい。ただし実際の状況下では、ユーザユニット2は、例えば質が悪い照明状況のために、あるいは結像システム内の欠点のために位置コードを完全に正しく結像できないことがある。位置コードがベース上できわめて正確に複製されるのではなく、ベースに適用されるときにある程度まで変形されてしまう場合に問題が発生することがある。
【0045】
位置コードが冗長な情報を含んでいる場合、限られた数の記号に影響を及ぼすエラーを特定の条件下で補正できる。
【0046】
さらに、国際公開第03/038741号パンフレットは、復号エラーの場合には、部分的な領域から決定される情報が、過去の無事に復号された位置近くでの一致領域で位置コードがどのようにして構成されているのかについての情報と比較される、あるいは突き合わされる位置復号のための方法を開示する。公知の一致領域の最良の一致部分が選択され、対応する位置が復号位置として決定される。
【0047】
しかしながら、例えば位置コードが位置コードと同じ種類の印刷インクで印刷される形式レイアウトによって部分的にまたは完全に覆い隠されるために、位置コードの大きすぎる部分が変形されるまたは紛失している場合、エラー補正または位置コードの公知の構成に対する突合せは、紛失しているあるいは不正確な記号が多すぎるために可能ではないであろう。代わりに、分散復号は図2に関して以下に後述されるように使用されてよい。
【0048】
図2は図1のベース1の小さい部分を示しているが、明確にするためにベース上には位置コードも書式レイアウトも示されていない。ペンストロークがベース上で作成されると、ユーザユニット2はユーザユニットの先端で局所的にベースの画像を同時に記録する。図2は、四つのこのような画像AからDが記録される位置の例を概略して示す。画像は、ここでは部分的に重複する画像のシーケンスを形成する。理想的には、この例では、各画像の位置コードは、例えば一組の座標の形式で絶対位置表示に復号される。しかしながら、位置コードが覆い隠される場合、これは可能ではない場合がある。例えば、画像Aの中の位置コードから絶対位置を復号できないと仮定する。したがって、画像Aからの情報が保存される。画像Bについても位置を決定できない場合には、画像AとBの間での最良の重複位置が決定される。したがって、画像Aの中の位置コードと画像Bの中の位置コードがともに絶対位置に対して復号できるかどうかがチェックされる。単独で取られた画像Aと画像Bの中の位置コードが、それぞれの画像内の大きすぎる範囲で覆い隠されているために復号できないとしても、両方の画像からの結合された位置コードが絶対位置に復号可能であってよい。これは図2に概略して描かれており、斜線領域Hは画像AとBの一部をカバーする。そうである場合、二つの間の空間的関係性が確立されているため、画像Aと画像Bを記録するときのユーザユニットの絶対位置を決定できる。
【0049】
絶対位置を画像AとBの組み合わせから復号できない場合には、例えば画像AとBの間の垂直方向と垂直方向等の二次元での偏位を反映するベクトルVとして、これらの画像の間の空間的関係性が保存される。前記手順は、位置コードが十分に完全に且つ正しく結像される画像または画像の組み合わせが検出されるまで繰り返される。例えば、絶対位置は画像Cの位置コードから復号できると仮定する。画像Bと画像Cの間の偏位が決定される場合にも、画像AとBの絶対位置はシーケンスの中の以後の画像の絶対位置から、連続して偏位を差し引くことによって決定できる。再び絶対位置を画像Dの位置コードから復号できない場合には、画像CとDの間の偏位が決定され、画像Dの絶対位置は画像Cの位置コードから復号される絶対位置に偏位を追加することによって決定される。
【0050】
さらに詳しく分散復号を説明する前に、位置コード及びこの例で使用されるユーザユニットはそれぞれ図3と図4に関して、及び図5と図6に関していくらかより詳しく説明されるであろう。位置コードのさらに包括的な説明は国際公開第03/001440号パンフレットに記載されているであろう。
【0051】
位置コードは、差数列と以下で呼ばれる数列に基づいている。この差数列は、5個の差数のある部分的なシーケンス等、一つが所定の長さの任意の部分的なシーケンスを取ると、この部分的なシーケンスは差数列の中であいまいなところなく決定された位置を有する。言い換えると、それは差数列の中に一度しか出現せず、したがって位置の決定に使用できる。この特性を有するシーケンスはDeBruijnシーケンスと呼ばれることがある。さらに具体的には、差数列は位置コードのy軸に沿ってだけではなくx軸に沿っても「実行する」。
【0052】
実際の位置コードは、名目位置23つまりラスタポイントを基準にしたそのそれぞれの位置に応じて四つの異なる値0から3を取ることのある、簡略な図示記号またはマーク22から構成されている。図3でわかるように、各記号22はドットの形状を有し、名目位置23を基準にした四つの異なる方向の一つで方向24、変位される。名目位置23は可視または不可視、あるいは仮想のラスタまたはグリッドの中のラスタ線21の間の交差点にある。記号の値は変位の方向によって決定される。各記号値0から3はビット(0,0)、(0,1)、(1,0)及び(1,1)に、x座標をコード化するために使用される1ビットとy座標をコード化するために使用される1ビットに変換される。このようにしてコード化は、xビットとyビットに共通である記号を用いて行われる。
【0053】
コード化が例えば以下となってよいことが言及されなければならない。
【表1】
【0054】
距離24は、適切には、二つの隣接するラスタ線21の間の距離の約1/8未満ではなく多くとも約1/4であり、好ましくは約1/6である。該距離は、例えば約300マイクロメートルまたは約254マイクロメートルである場合がある。後者の距離は特に、多くの場合100dpi(1インチあたりドット)の倍数である解像度を有するプリンタとスキャナに適している。位置コードのすべての記号は、位置コードが白黒であるように、通常、一つの同じ印刷インクで印刷される。
【0055】
各位置は、位置のために、このようにしてx軸の場合6*6ビットの行列に、y軸の場合6*6ビットの行列に変換できる6*6記号でコード化される。xビットの行列が考えられる場合、これはそれぞれ6ビットの6列に分割できる。1列の中のビットの各シーケンスは、6ビットという長さを有する部分的なシーケンスが選択される場合、これはメイン数列の中であいまいなところなく決定された場所を有するという特性のある63ビット長の周期的なメイン数列の中の部分的なシーケンスを構成する。したがって、6列はメイン数列の中の六つの場所に相当する六つのポジション番号つまりシーケンス値に変換できる。これらの六つのポジション番号の間では、近接する組の中で5つの差数が形成でき、差数列の部分的なシーケンスを構成し、このようにして同の中であいまいなところなく決定される場所、このためx軸に沿ったあいまいなところなく決定される場所を有する。特定のx座標の場合、ポジション番号はy座標に応じて変化する。他方、ポジション番号は、位置コードかパターン全体の中の列中で周期的に繰り返されるメイン数列に従って常に変化するため、差数はy軸とは無関係に同じとなる。
【0056】
相応して、yビット行列の中の6行はメイン数列の中の六つのポジション番号を定める。これらの六つのポジション番号は5つの差数を定め、差数の部分的なシーケンスを構成し、このようにしてy軸に沿ってあいまいにではなく決定される場所を有する。
【0057】
図4は、4*4記号のある位置コードの非常に小さな部分を示す。ラスタ線21は、説明のためだけに図に示されている。一般的にはラスタは仮想である。
【0058】
位置コードが使用されると、前述されたように、位置コードのさまざまな部分の画像が記録される。画像は6*6記号よりかなり多くを含むことがある。したがって、位置コードは、さらに多数の記号が画像中で可視である場合に、6*6シンボルのさまざまな集合に基づいて復号されてよい。とりわけ、エラー検出及び/または補正には復号で取り囲む記号も使用されてよい。位置コードは、いわゆる「浮動型」である。つまり、所定数の記号、ここでは6*6の記号を含む任意の部分的な領域が位置を定め、任意の部分的な領域の中の記号の少なくともいくつかが複数の位置のコード化に貢献する。特に明記され、任意の部分的な領域が上、下、左にまたは右に記号距離、移動すると、新しい位置はこのようにして移動した任意の部分的な領域内の記号によって定められる。
【0059】
以下では、図1のユーザユニット2がどのようにして実現されてよいのかの例が図5と図6に関して説明される。この例では、ユーザユニット2はペンとほぼ同じ形状を有するケーシングまたは外郭2011を備える。ケーシングの短い片側には、それを通して画像が記録される開口部つまりウィンドウ2012がある。
【0060】
ケーシングは、本来カメラシステム、電子システム及び電源を含む。
【0061】
カメラシステム2014は少なくとも一つの照明光源と、レンズ及び/またはミラー装置と、光画像読取装置または画像センサ(図には図示されていない)を備える。適切には発光ダイオードまたはレーザダイオードである光源は、赤外光によってウィンドウ2012を通して見ることのできる領域の一部を照明する。見られた領域の画像はレンズ装置によって画像センサ上に投射される。画像センサは、二次元画像を固定速度で、通常は約70から100Hzで記録するためにトリガされてよいCCD(電荷結合素子)またはCMOS(相補型金属酸化膜半導体)センサ等の感光領域センサであってよい。センサは赤外線に敏感であってよい。センサと照明光源は同期してトリガされてよい。
【0062】
一般的には、画像センサは、記号の画像が黒と白で、グレイスケールで、あるいはカラーで取得されるように、位置コードを結像するために適切である任意の種類のセンサで置換されてよい。このようなセンサは、任意の適切な波長範囲における電磁放射線に敏感であるソリッドステート単一チップデバイスまたはマルチチップデバイスである場合がある。例えば、センサはCCD素子、CMOS素子、またはCID素子(電荷注入デバイス)を含んでよい。代わりに、センサはマークの磁気特性の検出のために磁気センサアレイを含んでよい。なおさらに、センサはマークの任意の化学的特性、音響的特性、磁気特性、容量特性、または誘導的性質の画像を形成するように設計されてよい。
【0063】
ユーザユニットに対する電源は電池2015であってよい。電源は、代替策としてまたは補足策として、外部電源(不図示)からケーブルを介して取得されてよい。
【0064】
電子システムは、コントロールユニット2016と、該コントロールユニットが接続されるメモリブロック2013を備える。該コントロールユニットは、ユーザユニット内でのさまざまな機能、例えば、センサからの画像の読み取り及びこれらの画像に基づいた位置復号の実施等に関与する。コントロールユニット2016はCPU(「中央演算処理装置」)等の市販されているマイクロプロセッサによって、DSP(「デジタル信号プロセッサ」)によって、あるいはFPGA(「フィールドプログラマブルゲートアレイ」)または代わりにASIC(「特定用途向け集積回路」)等の何らかの他のプログラマブルロジックデバイス、離散アナログ及びデジタル構成要素、あるいは前記の何らかの組み合わせによって実現されてよい。メモリブロック2013は、好ましくは、作業メモリ(例えばRAM)とプログラムコード等のさまざまなタイプのメモリ、及び持続性の記憶装置(フラッシュメモリ等の不揮発性メモリ)を備える。関連ソフトウェアはメモリブロック2013に記憶され、ユーザユニットの動作用のユーザユニット制御システムを提供するためにコントロールユニット2016によって実行される。
【0065】
ケーシング2011は、ユーザがその上に付着されている通常の顔料ベースのマーキングインクによって表面上に物理的に書くまたは描画することができるようにする、ペン先2017も運ぶ。ペンポインタ2017のマーキングインクはユーザユニットにおける光電子検出との干渉を回避するために照明放射線に適切に透明である。コンタクトセンサ2021は、ペンが付けられる(ペンダウン)及び/または持ち上げられる(ペンアップ)ときを検出するために、及びオプションで適用力の決定を可能にするために、ペン先2017に動作可能なように接続されている。コンタクトセンサ2017の出力に基づき、カメラシステム2014はペンダウンとペンアップの間で画像を捕捉するために制御される。一時的にコヒーレントな位置の結果として生じるシーケンスはペンストロークの電子表現を形成する。
【0066】
ペン先2017は伸張自在及び収縮自在である場合があり、その結果ユーザはそれが使用されるべきかどうかを制御できる。特定の応用例では、ユーザユニットはペン先をまったく有する必要がない。
【0067】
電子システムはコンピュータ、携帯電話、PDA、ネットワークサーバ等の近傍のまたは遠く離れた装置にデータを露呈する(exposing)ための通信インタフェース2019をさらに備える。通信インタフェース2019は、このようにして有線または無線の短距離通信(例えば、USB、RS232、無線伝送、赤外線伝送、超音波伝送、誘導結合等)用の構成要素及び/あるいは通常はコンピュータ、電話または衛星通信ネットワークを介した有線または無線の遠隔通信用の構成要素を備えてよい。
【0068】
ペンは、ユーザフィードバックのために選択的に活性化されるMMI2020(マンマシンインタフェース)を含んでもよい。MMIはディスプレイ、インジケータランプまたはLED、バイブレータ、スピーカ等を含んでよい。
【0069】
なおさらに、ペンは、それによってペンを活性化及び/または制御できる一つまたは複数のボタン2018を含んでよい。
【0070】
ユーザユニットは、異なる物理的なケーシングに分割できる。位置復号を実施するために必要である構成要素は第二のケーシングに配置されてよいが、位置コードの画像を捕捉するため、及びそれらを送信するために必要であるセンサ及び他の構成要素は第一のケーシングに配置されてよい。
【0071】
図6は、図5に示されているユーザユニット内のコントロールユニット2016、メモリブロック2013及び画像センサのインプリメンテーションの例の概略ブロック図である。ASIC700は電子回路網のメインコントローラとしてCPU720を含む。CPU720はオンチップデータバス760を通してメモリ730にアクセスできる。画像センサは、ASIC700のデータバス760に接続される、及び96x96ビットの256レベルのグレイスケールデジタル画像を100Hzという周波数で作成できるCMOSエリアセンサ750として実現される。ASIC700での画像プリプロセッサ710は、画像センサ750から受信される画像を前処理し、復号の前にメモリ730内に前処理された画像を記憶してよい。CPU720は、前処理された画像の位置コードの位置への復号を実行する。照合装置740は、CPU720が記録されている画像の間の空間的な関係性を決定する、及び/または制限された領域での位置コードについての過去に公知の情報の中の位置コード情報を照合するのを支援してよい。
【0072】
以下では、復号プロセスは図7から図13に関してさらに詳細に説明される。
図7から図10は、概略して、図解のために一組の画像がどのように処理されてよいのかだけを示す。画像は、通常、図11と図12のフローチャートから明らかであるように、実質的にはシーケンスの中で処理されると理解されなければならない。
【0073】
図1の中のベース1上でのユーザユニット2による書き込み中、ユーザユニット2の画像センサ2014はベースの画像を捕捉する、図11のステップ1110。それぞれの捕捉された画像のサイズは、位置を決定するために必要とされる部分的な領域と少なくとも同じであるが、通常は大きい。
【0074】
図7A及び図7Bは、複数のドットを備えた位置コードを有するベース及びこれらの画像が文字及びその部分を含む書式レイアウトから連続して捕捉される二つの例示的な画像を示している。画像が重複するコンテンツを有し、画像がグレイスケール画像として得られることは明らかである。
【0075】
それぞれの捕捉された画像は、ドットがローカライズされ、仮想ラスタがドットの中に適合され、パースペクティブが補正される次のステップ1130のための適切な入力を形成するために前処理される、ステップ1120。これに関して、ドットでパースペクティブ補正されたラスタが、ラスタポイントがセンサ座標システムの原点でローカライズされるように変位されてよい。
【0076】
ステップ1120と1130は、フィルタリング、二値化または閾値化等、及びフーリエ変換の活用等の技術で周知である技法を手段として実行されてよい。ラスタは例えば、国際公開第01/26034号、国際公開第01/75783号、または国際公開第03/049023号に説明されるように決定されてよい。
【0077】
図8A及び図8Bは、前処理後の図7Aと図8Aの画像を示す。位置コードが図7Aと図7Bの書式レイアウトに相当する画像のそれらの部分で紛失していることは明らかである。二値化された画像も、明らかに位置コードに関係しないピクセル形成を含む。
【0078】
図9A及び図9Bは、ドット22がローカライズされ、ステップ1130の後、つまり仮想ラスタ21がそれに適合された後の図7Aと図7Bの画像を示す。また、ラスタ21が正方形のラスタとなるようにパースペクティブは補正されている。
【0079】
パースペクティブは必ずしも補正される必要がないことが言及されなければならない。ドット値は、補正されていないパースペクティブの画像からであるが、パースペクティブ情報を考慮に入れることによって復号することもできる。パースペクティブが補正され、ドット値がパースペクティブ補正されたドット行列から復号される場合には、結果がさらによくなると考えられる。
【0080】
ラスタ線の交差はドットのための名目位置23を構成する。位置コードが完全であり、正しく結像されると、各名目位置23は、それがコード化する値に応じて、名目位置23から四つの方向の内の一つで変位される一つの関連ドットを有する必要がある。ただし、図9Aと図9Bでは、関連ドットを欠く名目位置23もあれば、複数の関連ドットを有する他の名目位置もある。これは、例えば、覆い隠す書式レイアウト、不完全な結像、不完全な前処理及び/または不完全なドットローカリゼーションのためである場合がある。
【0081】
次のステップ1140では、名目点23ごとにドット値が求められる。多様な方法がこの目的のために使用できる。
【0082】
例えば、名目点23がただ一つの関連ドットを有する場合、それが図3に示されている四つの理想的な変位位置のどれかの回りの特定の「安全な」ゾーンの中にあるかどうかが調査されてよい。このような「安全な」ゾーンは、例えば四つの理想的な変位位置のそれぞれ一つにその中心を有し、所定の半径を有する円形領域により画定されてよい。したがって、ドットが任意のこのような「安全な」ゾーンの中にあることが判明すると、ドットは「安全な」ゾーンの中心を形成する理想的な変位位置によって表される値を有するために保持される。
【0083】
例えば点と関連付けられたドットがないため、あるいは二つのドットが理想的な配置から等しく遠いために、名目点についてドット値を決定できない場合、位置は「−」でマークされる。
【0084】
代わりに、例えば国際公開第03/001441号パンフレットに説明されるように、名目位置ごとに、関連ドット(複数の場合がある)が考えられる四つの異なるドット値のどれかを取る確率が求められてよい。それから、確率閾値は適用されてよく、その結果、0.8が閾値である場合に、特定のドットが例えば0.8を超える確率でドット値0から3のどれかを符号化すると、ドットにはそのドット値が割り当てられ、それ以外の場合は「−」を割り当てられる。
【0085】
図9Aと図9Bのドットのドット値を決定すると、図10Aと図10Bに示されるドット値行列が生じ、この場合0から3がドット値を表し、「−」は、対応する名目位置についてドット値が求められないことを示している。
【0086】
図10Aと図10Bのドット値行列のそれぞれ一つは、ドット値0から3をビット組0,0;0,1;1,0;及び1,1に変換することによって、二つのビット行列―一つのx行列と一つのy行列―に分離でき、第一のビットはx座標の決定のためのx行列で使用され、第二のビットは、例えば国際公開第01/26033号に説明されるようにy軸の決定のためのy行列で使用される。
【0087】
最後に、図10Aと図10Bのドット値行列の絶対位置への実際の復号はステップ1150で実施される。このステップを実施する一つの方法は図12に関して詳細に説明される。
【0088】
第一に、ステップ1200では、新規画像が位置情報の復号のために取り出される。該新規画像は、二つのビット行列が取得されるように前述されたように処理された捕捉画像である。しかしながら、説明を簡略化するために、これらの二つの行列は新規画像と呼ばれる。ステップ1205では、新規画像の中の位置コードを絶対位置に復号することが可能であるかどうかが判断される。例えばベース上で部分的にまたは完全に覆い隠されるために位置コードが十分に記録されない場合、新規画像は絶対位置を復号できるようにするための十分な情報を含んでいない可能性がある。
【0089】
位置コードを復号できない場合、空間的な関係性または過去の画像に関する新規画像の相対的な位置が相関を手段として決定される、ステップ1210。新規画像が第一の画像であるために過去の画像がない場合には、処理は単に次のステップに進む。
【0090】
次のステップ、ステップ1215では、過去の画像のために絶対位置が公知であるかどうか、つまり決定されたかどうかがチェックされる。公知である場合、絶対位置は、ステップ1210で決定される相対位置を使用して、新規画像の絶対位置として記憶される、新規画像について決定される、ステップ1225。絶対位置が公知ではない場合、相対位置が新規画像の相対的な位置としてまさに記憶され、ステップ1220、処理はステップ1270に進み、新規画像は過去の画像となるように設定される。ただし、過去の画像がない場合には、ステップ1225で公知の絶対位置がなく、ステップ1220で記憶される相対位置がなく、したがってプロセスが単にステップ1270に進むことは明らかである。
【0091】
ステップ1270後、プロセスは新規画像でステップ1200から再開する。
【0092】
他方、ステップ1205で、位置コードが絶対位置に復号可能であると判断される場合、復号はステップ1230で新規画像について実施される。続くステップ1235では、もしあれば過去の画像について、絶対位置が公知であるかどうかがチェックされる。
【0093】
前記から明らかであるように、過去の画像の絶対位置は、過去の画像の中の位置コードの復号から、または相対位置に基づいた計算から公知である。
【0094】
絶対位置が公知である場合、復号された絶対位置は新規画像の絶対位置としてステップ1240で単に記憶され、処理はステップ1270に進み、その後それはステップ1200で再開する。
【0095】
代替策で、絶対位置が未知である場合、新規画像は、ステップ1210でと同様に過去の画像と相互に関連付けられる、ステップ1245。記憶されている関連付けられた絶対位置がないその後すべての過去の画像のための絶対位置は、記憶されている相対的な位置(複数の場合がある)を使用して計算できる、ステップ1250。
【0096】
ペンストロークの始まりで、位置コードが一連の画像で十分に記録されない場合には、最後に絶対位置が復号可能ではないときに、戻って過去の画像の絶対位置を決定することが可能となると前記から考えられる。
【0097】
しかしながら、いったん絶対位置がある画像について決定されると、空間的関係性が決定可能であるあらゆる画像の絶対位置は、画像の位置コードを復号すること、あるいは過去の画像のコンテンツとそのコンテンツの少なくとも一部を比較することのどちらかによって直接的に決定することもできる。
【0098】
絶対位置が二つの画像について決定され、間の画像について位置を決定することが不可能であった場合、これらの二つの画像の絶対位置は間の画像の位置を、例えば補間によって推定するために使用できる。
【0099】
ステップ1210と1245の相関はさまざまな方法で実施できる。一つの方法は、どの重複位置で最高数のドット値/二進値が対応するのかをチェックすることにより、ドット値行列のドット値、またはxビット行列及び/またはyビット行列の二進値を相互に関連させることである。この代替策の優位点は、過去の画像が相対的にコンパクトに記憶できる点である。
【0100】
別の代替策は依然としてさらに高いレベルでの相関を実施することであろう。前述されたように、6*6記号の部分的な領域の中の列の中のビットの各シーケンスは、6ビットという長さを有する部分的なシーケンスが選択される場合に、これがメイン数列であいまいにではなく決定された場所を有するという特性のある、63ビット長の周期的なメイン数列の中の部分的なシーケンスを構成する。したがって、六つの列は六つのポジション番号またはメインの数列の中の六つの場所に相当するシーケンス値に変換できる。このようにして、十分に完全であるx行列の中のそれらの列は、シーケンス値に復号することができ、相関はシーケンス値に基づいて実施できる。対応する方法では、y行列の中の列はシーケンス値に復号でき、相関はこれらのシーケンス値を使用して実行できる。明らかに、グループ記号値に復号できるであろう記号の他のグループも相関に使用できるであろう。
【0101】
追加の代替策は過去の画像と新規画像を、前処理及び二値化された形式であるが、ドット値行列または二進値行列への変換の前に相互に関連付けることである。この比較は異なる重複位置で重複するピクセルの数に基づいてスコアを計算することによって周知の方法で実施できるであろう。ピクセル的な補正に使用できる方法の例が、国際公開第98/20446号パンフレットと国際公開第99/36879号パンフレットに開示される。
【0102】
さらに別の代替策は、前処理の前に例えばグレイスケール形式で、それらが出現するように画像を相互に関連付けることであろう。
【0103】
さらに別の実施形態は、例えば図7Aと図7Bでの形式レイアウトで、画像の中の明確な特徴を使用して画像を相互に関連付けることであろう。
【0104】
グレイスケール及び特徴補正のための適切な補正技法は当業者にとって周知であり、例えば二乗誤差(Sum of Square Errors)の合計及び絶対差の合計(Sum of Absolute Differences)を含む。
【0105】
ユーザユニットは、ユーザユニットの画像センサに可視である書き込みインクを出力するペン先を備える場合、相互関連は画像の中に出現する手書きに基づいて実施できる。
【0106】
過去の画像と次の画像がドット値に基づいて相互に関連付けられる場合、以下の相互関連式f(u,v)が使用できるであろう。
【0107】
【数1】
この場合I(a,b)は、a=bである場合には1に、それ以外の場合には0に評価する同等関数であり、im1は過去の画像であり、im2は新規画像であり、widthは画像の幅であり、heightは画像の高さであり、uとvは重複位置を示す並進ベクトルであり、xとyはピクセル座標である。
【0108】
図13は、図10Aと図10Bではドット値行列の相互関連の結果を示す図であり、uとvは並進ベクトルの要素であり、zは相互関連基準を示す。図中のピークは、新規画像が過去の画像を基準にしてベクトル(3,0)によって変換されることを示している。ただし、過去の画像と新規画像の空間的な関係性が決定されるとき、センサ座標系の原点にラスタ点を持つためにパースペクティブ補正されたラスタの考えられる変位を考慮に入れる必要がある場合がある。
【0109】
本発明は、ラスタ内の名目位置から変位されるドットを含む特定の位置コードの例によって前述された。
【0110】
しかしながら、分散復号は他のタイプの位置コードに関連して等しくうまく適用できるであろう。それは、例えば、複数の記号を用いるが、浮動ではない方式で各位置をコード化する他の位置コードについて、あるいは国際公開第00/73983号パンフレットのような浮動型の他の位置コード、または任意の他の位置コードについて、米国第5,477,012号の位置コードのように、単一のさらに複雑な記号で各位置をコード化する位置コードに使用できるであろう。
【0111】
本発明はさらに重複する画像のシーケンスとともに説明されてきた。前記に示されたように、画像のシーケンスの中の二つの画像の間の空間的な関係性は、重複するコンテンツがなくても決定できることがある。代わりに、空間的な関係性は画像のコンテンツに基づいて決定されてよい。前記の例で使用された位置コードは、列と行の中で反復する周期的なメイン数列に基づいている。例えば、ユーザユニットが位置コード上で水平方向で移動し、二つの重複しない画像が相次いで捕捉される場合、及び画像間の距離が二つの考えられる方向のどれかの周期的な数列の長さの半分に等しい、または半分未満である場合には、空間的な関係性は画像のコンテンツの比較から、及び周期的なメイン数列についての知識から決定できる。これは言うまでもなく一例に過ぎない。
【0112】
図12のフローチャートに関して説明された復号例が拡大できる。相互関連ステップ1210の後、例えば、新規画像と過去の画像の結合された位置コードが絶対位置に復号可能であるかどうかに関してチェックが実施されてよい。復号可能ではない場合には、プロセスはステップ1215で示されるように続行する。ただし、絶対位置が復号可能である場合、新規画像の絶対位置が決定され、記憶される。絶対位置が過去の画像について公知である場合、その絶対位置も決定され、記憶される。次に、新規画像はステップ1270で過去の画像に設定される。
【0113】
前述されたように、画像は複数の異なる位置の決定を可能にする記号の複数の集合を含んでよい。しかしながら、画像が記録されたときのユーザユニットの画像の位置またはユーザユニットの位置は、つねに左上角等のユーザユニットセンサの座標系の特殊な基準点に関して定められる。したがって、絶対位置が画像に関して記憶されていることが前記に示されているときには、それは記憶される基準点の絶対位置であることが理解されなければならない。センサ座標系の別の点の絶対位置が決定されると、基準点の絶対位置は容易に計算できる。
【0114】
前記の例では、過去の画像から及び新規の画像からの情報が使用される。しかしながら、シーケンスの中の追加の画像は、分散復号を実施する時には組み合わせて記憶し、使用することができる。
【0115】
一つまたは複数の画像からの絶対位置の決定は、任意の空間的な関係性を使用せずに、参照することにより本書に組み込まれる例えば米国第6,674,427号及び米国第6,667,695号でさらに開示されるように、ドットの集合の復号された値から絶対位置を計算することによって実施できる。絶対位置はユーザユニットの公知の絶対位置からユーザユニットの次の位置を予測することによって、及び参照することにより本書に組み込まれる国際公開第04/097723号にさらに説明されるように、予測される位置の近隣で位置コードがどのように構築されるのかについての情報と、ユーザユニットの予測される位置を突き合せることによって決定されてもよい。
【0116】
図12の例では、第一の画像と第二の画像の間の空間的な関係性は、第一の画像の絶対的な位置が公知でない場合にだけ決定される。しかしながら、変形に従って、二つの連続する画像間の空間的な関係性が常に決定され、情報は必要時に使用される。空間的な関係性を決定するかどうかの特定な決定は取る必要がない。
【0117】
分散復号の目的は、画像シーケンスの中の各画像について一つの位置を取得することである。しかしながら、位置コードから絶対位置を復号できず、別の画像に対する空間的な関係性を確立できない画像があるであろう。このような画像については、位置は代わりに例えば補間または補外によって決定されてよい。別の方法で、このような画像のための任意の位置を記録しないことが決定できるであろう。画像にとって任意の位置を記録しないことが決定される他の状況もあるであろう。
【0118】
したがって、ベース上でのユーザユニットの連続移動はベース上での位置コードの画像のシーケンスによって記録される。画像のいくつかについて、位置コードはユーザユニットの絶対位置に直接的に復号され、他の画像については、過去の画像または以後の画像に対するその空間的な関係性が決定され、ユーザユニット位置はそこから決定される。
【図面の簡単な説明】
【0119】
ここで本発明は添付図面に関してさらに詳細に説明される。
【図1】分散復号を使用できるシステムの概略図である。
【図2】画像のシーケンスが位置コード付きのベースからどのようにして記憶されるのかの概略図である。
【図3】位置コードの中のマークの四つの理想的な位置を示す。
【図4】ユーザユニットの移動を記録するために使用されてよい位置コードの概略図である。
【図5】分散復号が実施されてよいユーザユニットの概略図である。
【図6】図5に図示されるユーザユニットの中の電子回路網パーツと画像センサの概略図である。
【図7A−7B】位置コードを部分的に覆い隠す書式レイアウト付きの書式の二つの画像を示す。
【図8A−8B】二値化を含む前処理の後の図7Aと図7Bの画像を示す。
【図9A−9B】ドットローカリゼーション(dot localization)、ラスタ適合(raster fitting)及びパースペクティブコレクション後の図8Aと図8Bの画像を示す。
【図10A−10B】図9Aと図10Bから生成された二つのドット値マトリックスを示す。
【図11】全体的な復号プロセスの例を描くフローチャートである。
【図12】本発明による分散復号がどのようにして実現されてよいのかを描くフローチャートである。
【図13】図10Aと図10Bのドット値マトリックスの相互関連の結果を示す図である。
【特許請求の範囲】
【請求項1】
位置コードが備えられるベース上でユーザユニットの移動を記録する方法であって、
該ベース上での該ユーザユニットの該移動中に得られる該位置コードの画像のシーケンスの中の少なくとも一つの画像の該位置コードに基づいて該ユーザユニットの絶対位置を決定することと、
該シーケンスの中の第一の画像と第二の画像の間の空間的な関係性を決定することと、
該第一に言及された絶対位置及び該第一の画像と該第二の画像の間の該空間的な関係性に基づいて該ユーザユニットの別の絶対位置を決定することと、
を備える方法。
【請求項2】
該ユーザユニットの該第一に言及された絶対位置を決定することが、前記少なくとも一つの画像の中の該位置コードを復号することを備える請求項1に記載の方法。
【請求項3】
該ユーザユニットの該第一に言及された絶対位置を決定することが、該シーケンスの中の少なくとも二つの画像からの位置コードを復号することを備える請求項1に記載の方法。
【請求項4】
該空間的な関係性を該決定することが、該第一の画像と該第二の画像のコンテンツを相互に関連付けることを備える請求項1、2または3に記載の方法。
【請求項5】
前記空間的な関係性を該決定することが、該第一の画像と該第二の画像の特徴を相互に関連付けることを備える請求項1から4のいずれか一項に記載の方法。
【請求項6】
該空間的な関係性を該決定することが、該第一の画像と該第二の画像の位置コード情報を相互に関連付けることを備える請求項1から5のいずれか一項に記載の方法。
【請求項7】
該ベース上の該位置コードが、それぞれが記号値を表す複数の記号を備え、該空間的な関係性を該決定することが、該第一の画像と該第二の画像のシンボル値を決定し、相互に関連付けることを備える請求項6に記載の方法。
【請求項8】
該ベース上の該位置コードがシンボルの少なくとも一つのグループ備え、グループ記号値をコード化し、空間的な関係性の決定が少なくとも第一の画像と第二の画像でグループ記号値を決定し、相互に関連付けることを備える請求項6に記載の方法。
【請求項9】
該ベースは、該位置コードに加えて、該位置コードを部分的に覆い隠すグラフィック情報を提供される前記請求項のいずれか一項に記載の方法。
【請求項10】
該位置コードは複数のシンボルを備え、そのそれぞれが正規のラスタの中のラスタ線の交差によって定められる名目位置に関して変位される前記請求項のいずれか一項に記載の方法。
【請求項11】
画像の該シーケンスが、コンテンツが重複する画像を備える前記請求項のいずれか一項に記載の方法。
【請求項12】
請求項1から11のいずれか一項に記載の方法を実行するように適応されたコントロールユニットを備える、位置コードが備えられる、ベース上でのユーザユニットの移動を記録するための装置。
【請求項13】
コンピュータで実行時に、クレーム1から11のいずれか一項に記載の方法をコンピュータに実施させるプログラムコードを備えるコンピュータプログラム。
【請求項14】
コンピュータで実行されるときに、コンピュータに請求項1から11のいずれか一項に記載の方法を実行させる、コンピュータプログラムが記憶されるコンピュータ読み取り可能記憶媒体。
【請求項1】
位置コードが備えられるベース上でユーザユニットの移動を記録する方法であって、
該ベース上での該ユーザユニットの該移動中に得られる該位置コードの画像のシーケンスの中の少なくとも一つの画像の該位置コードに基づいて該ユーザユニットの絶対位置を決定することと、
該シーケンスの中の第一の画像と第二の画像の間の空間的な関係性を決定することと、
該第一に言及された絶対位置及び該第一の画像と該第二の画像の間の該空間的な関係性に基づいて該ユーザユニットの別の絶対位置を決定することと、
を備える方法。
【請求項2】
該ユーザユニットの該第一に言及された絶対位置を決定することが、前記少なくとも一つの画像の中の該位置コードを復号することを備える請求項1に記載の方法。
【請求項3】
該ユーザユニットの該第一に言及された絶対位置を決定することが、該シーケンスの中の少なくとも二つの画像からの位置コードを復号することを備える請求項1に記載の方法。
【請求項4】
該空間的な関係性を該決定することが、該第一の画像と該第二の画像のコンテンツを相互に関連付けることを備える請求項1、2または3に記載の方法。
【請求項5】
前記空間的な関係性を該決定することが、該第一の画像と該第二の画像の特徴を相互に関連付けることを備える請求項1から4のいずれか一項に記載の方法。
【請求項6】
該空間的な関係性を該決定することが、該第一の画像と該第二の画像の位置コード情報を相互に関連付けることを備える請求項1から5のいずれか一項に記載の方法。
【請求項7】
該ベース上の該位置コードが、それぞれが記号値を表す複数の記号を備え、該空間的な関係性を該決定することが、該第一の画像と該第二の画像のシンボル値を決定し、相互に関連付けることを備える請求項6に記載の方法。
【請求項8】
該ベース上の該位置コードがシンボルの少なくとも一つのグループ備え、グループ記号値をコード化し、空間的な関係性の決定が少なくとも第一の画像と第二の画像でグループ記号値を決定し、相互に関連付けることを備える請求項6に記載の方法。
【請求項9】
該ベースは、該位置コードに加えて、該位置コードを部分的に覆い隠すグラフィック情報を提供される前記請求項のいずれか一項に記載の方法。
【請求項10】
該位置コードは複数のシンボルを備え、そのそれぞれが正規のラスタの中のラスタ線の交差によって定められる名目位置に関して変位される前記請求項のいずれか一項に記載の方法。
【請求項11】
画像の該シーケンスが、コンテンツが重複する画像を備える前記請求項のいずれか一項に記載の方法。
【請求項12】
請求項1から11のいずれか一項に記載の方法を実行するように適応されたコントロールユニットを備える、位置コードが備えられる、ベース上でのユーザユニットの移動を記録するための装置。
【請求項13】
コンピュータで実行時に、クレーム1から11のいずれか一項に記載の方法をコンピュータに実施させるプログラムコードを備えるコンピュータプログラム。
【請求項14】
コンピュータで実行されるときに、コンピュータに請求項1から11のいずれか一項に記載の方法を実行させる、コンピュータプログラムが記憶されるコンピュータ読み取り可能記憶媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公表番号】特表2007−518158(P2007−518158A)
【公表日】平成19年7月5日(2007.7.5)
【国際特許分類】
【出願番号】特願2006−545291(P2006−545291)
【出願日】平成16年12月16日(2004.12.16)
【国際出願番号】PCT/SE2004/001906
【国際公開番号】WO2005/059819
【国際公開日】平成17年6月30日(2005.6.30)
【出願人】(506145326)アノト アクティエボラーク (49)
【Fターム(参考)】
【公表日】平成19年7月5日(2007.7.5)
【国際特許分類】
【出願日】平成16年12月16日(2004.12.16)
【国際出願番号】PCT/SE2004/001906
【国際公開番号】WO2005/059819
【国際公開日】平成17年6月30日(2005.6.30)
【出願人】(506145326)アノト アクティエボラーク (49)
【Fターム(参考)】
[ Back to top ]