説明

軌跡取得装置および軌跡取得プログラム

【課題】位置検出コード上に文書などの画像が重畳して位置検出コードを復号できない場合でも、良好に筆記軌跡情報を取得することができる
【解決手段】本発明は、表面に位置検出コードが形成された媒体P上での指示体の軌跡を取得する軌跡取得装置1であって、媒体P上の部分画像を連続的に読み取る画像入力部12と、画像入力部12で読み取った部分画像に含まれる位置検出コードを解読して媒体P上における部分画像の位置情報を取得する位置情報取得部13と、画像入力部12で連続的に読み取った複数の部分画像から移動情報を取得する移動情報取得部14と、位置情報取得部13および移動情報取得部14で取得した情報を蓄積する軌跡情報記憶部16とを有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機械可読コードが形成された媒体の表面に指示体で加筆する際の媒体上の軌跡を取得する軌跡取得装置および軌跡取得プログラムに関する。
【背景技術】
【0002】
近年、あらかじめ紙の表面に紙面上での位置を特定できるアドレス情報を埋め込み、紙面のアドレス情報を読み取ることで、紙面から電子情報をアクセスできるようにした新しいユーザインタフェースが提案されている。
【0003】
例えば、特許文献1や特許文献2では、媒体上に形成されたアイコン図形等の知覚表示近傍に形成されたアドレス情報が埋め込まれた位置検出コード(グリフコードパターン)を、ペン型スキャナなどの読み取り装置で読み取ることで、媒体上での知覚表示の位置を検出する新しいユーザインタフェースを提案している。
【0004】
また、同種の技術により、あらかじめ紙面上に紙面上での位置を特定できるアドレス情報を埋め込んだ位置検出コードを印刷し、筆記具に取り付けた撮像素子によって紙面の位置検出コードを読み取り、位置検出コードに埋め込まれたアドレス情報を検出することで、文書に対する筆記情報を、電子的に取得可能にした技術がある。
【0005】
例えば、特許文献3に記載されている技術は、紙面に加筆した筆記情報を、筆記情報に対する動作(電子メール送信、電子カレンダーへの入力、電子タスクリストへの入力、など)と共に電子化することができ、紙情報と電子情報との融合を可能にしている。
【0006】
また、特許文献4では、位置検出コードとしての2次元コードの読み取り位置や歪、傾きなどの情報をアドレス情報の補正に利用する方法、アドレス情報検出用の2次元コードとは別の補正用コードを2次元コード近傍に印刷しておき、補正用コードを使用してアドレス情報を補正する方法、などによって、読み取った2次元コードから得られるアドレス情報の位置検出精度を向上する技術が開示されている。
【0007】
【特許文献1】特開平10−187911号公報
【特許文献2】特開2000−99257号公報
【特許文献3】特表2003−508843号公報
【特許文献4】特開2000−293303号公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
ここで、印刷された電子文書に対する加筆情報を電子的に得るためには、電子文書とアドレス情報とを埋め込んだ位置検出コードとを重畳して印刷する必要がある。しかし、アドレス情報を検出するための位置検出コード上に文書画像が重なっていると、位置検出コードの一部が読み取れないため、位置検出コードを正しく復号できなくなり、アドレス情報を検出できなくなってしまう問題が生じる。
【0009】
また、文書画像と重ならない位置検出コード上への加筆情報は従来技術により取得できるが、加筆が加えられた位置検出コード上を再度加筆する場合は、位置検出コードの一部が加筆情報により読み取れないため、やはり位置検出コードを正しく復号できなくなり、アドレス情報を検出できなくなってしまう。
【0010】
従来の技術では、このような場合に筆記具の筆記アドレス情報を算出できないため、筆記具の軌跡情報を再現できない。それを避けるために位置検出コードを特定波長の光を吸収する特殊色材で印刷し、かつ紙面上に印刷する文書に使用する色材と、筆記具のインクに使用する色材とを、位置検出コードの印刷に使用した色材とは異なる波長の光を吸収する色材とし、紙面上に印刷された位置検出コードを特殊色材に合わせた波長の光を照射して読み取ることで、位置検出コードの検出精度を上げて紙面上での軌跡情報を取得できるようにしている。
【0011】
しかし、そのような構成にした場合、位置検出コードの印刷色材と紙面に印刷する文書の印刷色材、筆記具のインクに使用する色材、の吸収波長が干渉しないようにする必要があり、特殊な色材を使用するため高コスト化を招き、かつ使用できる色材が限定されるため、再現できる色範囲が限定されてしまうという問題が生じる。
【0012】
また、そのように印刷に使用する色材を設定した場合であっても、第三者が位置検出コードの印刷色材と干渉する色材で紙面へ加筆した場合、その加筆箇所周辺では筆記の軌跡情報を取得できなくなるという問題が生じる。
【0013】
本発明は、上述した事情に鑑みてなされたもので、位置検出コード上に文書などの画像が重畳して位置検出コードを復号できない場合でも、良好に筆記軌跡情報を取得することができる移動軌跡取得装置および移動軌跡取得プログラムを提供することを目的とする。
【課題を解決するための手段】
【0014】
本発明はこのような目的を達成するために成されたものである。すなわち、本発明は、表面に機械可読コードが形成された媒体上での指示体の軌跡を取得する軌跡取得装置であって、媒体上の部分画像を連続的に読み取る画像入力手段と、画像入力手段で読み取った部分画像に含まれる機械可読コードを解読して媒体上における部分画像の位置情報を取得する位置情報取得手段と、画像入力手段で連続的に読み取った複数の部分画像から移動情報を取得する移動情報取得手段と、位置情報取得手段および移動情報取得手段で取得した情報を蓄積する記憶手段とを有する軌跡取得装置である。
【0015】
また、本発明は、表面に機械可読コードが形成された媒体上での指示体の軌跡を取得する軌跡取得プログラムであって、媒体上の部分画像を連続的に読み取るステップと、読み取った部分画像に含まれる機械可読コードを解読して媒体上における部分画像の位置情報を取得するステップと、連続的に読み取った複数の部分画像から移動情報を取得するステップと、位置情報および移動情報を蓄積するステップとを有する軌跡取得プログラムである。
【0016】
このような本発明では、媒体上に形成された機械可読コードを有する部分画像を読み取って、その部分画像の位置情報と、連続的に読み取った複数の部分画像から移動情報とを取得しているため、部分画像に含まれる機械可読コードが読み取れない場合でも、移動情報を用いて指示体の軌跡を取得できるようになる。
【発明の効果】
【0017】
したがって、本発明によれば、位置を検出するための機械可読コード上に文書などの画像が重畳している場合でも、良好に筆記軌跡情報を取得することが可能となる。これにより、インクの素材を限定する必要がなくなり、位置検出コードを、ペン型スキャナなどで読み取るユーザインタフェースシステムの構成を簡素化することが可能となる。
【発明を実施するための最良の形態】
【0018】
以下、本発明の実施の形態を図に基づき説明する。図1は、本実施形態に係る軌跡取得装置を説明する模式構成図である。すなわち、本実施形態に係る軌跡取得装置1は、媒体(紙)P上に筆記を行うための筆記部(指示体)10と、筆記部10での筆記動作を検知するための筆圧検知部11と、筆記ポイント近傍の紙面上の画像を撮像するための画像入力部12と、画像入力部12から入力した位置検出コード画像を復号して紙面上での位置情報(アドレス情報)を算出する位置情報取得部13と、画像入力部12から入力した2次元画像から画像の移動方向と移動距離を算出する移動情報取得部14と、位置情報取得部13と移動情報取得部14から得られる情報から筆記部10での筆記軌跡情報を算出する軌跡情報算出部15と、算出した軌跡情報を記憶保持する軌跡情報記憶部16と、記憶した軌跡情報を外部のPC等の端末へ送信するための通信インタフェース17とを備える。
【0019】
軌跡取得装置1の装置本体(筐体)は可搬性を有するペン型等になっており、ユーザが手で持って媒体P上に文字等を書き込める形となっている。このため、筆記部10には、先端からインクが出るペン先が設けられている。筆圧検出部11は、ユーザが筆記部10で文字等を書いているか否かを筆圧によって検出する部分である。筆記部10で文字等を書いている場合には所定の筆圧がかかるため、これを検出することで文字等を書いているか否かを検出できる。なお、ここでは筆圧によって文字等を書いているか否かを検知しているが、その他の方法(例えば、ペン先が紙に触れることによる導電率の変化を検出する方法)で検知しても良い。
【0020】
画像入力部12は、媒体P上の機械可読コード(本実施形態では位置検出コードとして2次元コードを例とする。)をCCDなどの2次元撮像素子で撮像する部分である。画像入力部12で撮像した2次元コードのデータは位置情報取得部13および移動情報取得部14へ送られる。位置情報取得部13では、読み取った2次元コードからペン先が媒体P上のどの位置にあるかを示す位置情報を求めている。ここで、位置情報とは、媒体Pにおける決められた原点からのX,Y座標のことである。また、移動情報取得部14では、ペン先がどの方向に移動しているかを示す移動情報を求めている。ここで、移動情報とは、ペン先の移動方向および移動量のことである。
【0021】
軌跡情報算出部15は、位置情報取得部13および移動情報取得部14で求めた各情報からペン先の軌跡情報を求めている。ここで、軌跡情報とは、位置情報や移動情報から求められた複数の座標データ(プロット)から求められる曲線(直線)情報のことである。この軌跡情報は軌跡情報記憶部16に蓄積され、通信インタフェース17を介して外部のパーソナルコンピュータ等の端末へ送信される。
【0022】
図2は、本実施形態に係る軌跡取得装置のブロック構成図である。ここで、図1に示す構成は具体例であり、図2に示すブロック構成のうち同じ記述のものは同じ構成を示している。また、図1に示す筆圧検出部11は図2に示す動作検知部21の具体例、図1に示す通信インタフェース17は図2に示す通信部27の具体例、図1には示されないが各部を構成する制御部20が図2には示されている。
【0023】
本実施形態の軌跡取得装置の形態としては、図1に示すようなペン型構成であったり、画像入力部12、動作検知部21および通信部27を本体筐体内に備え、位置情報取得部13、移動情報取得部14、軌跡情報算出部15や軌跡情報記憶部16の全てもしくは一部が外部に設けられている形態でもよい。
【0024】
図3は、本実施形態に係る軌跡取得プログラムの動作手順を説明するフローチャートである。なお、この軌跡取得プログラムは、上記説明した軌跡取得装置の制御部で実行したり、一部を外部の処理装置(コンピュータ等)で実行したり、ソフトウェアとしてCD−ROM等の記録媒体に格納した状態で提供したり、ネットワークを介して配信する、といった形態で実現される。
【0025】
先ず、筆圧検出部で筆記動作が行われているか否かを検出し(ステップS1)、筆記動作である場合は画像入力部より画像を入力する(ステップS2)。次いで、位置情報取得部が入力した画像から2次元コードを検出・復号して、紙面上での位置情報を検出する(ステップS3)。次に、位置情報の検出に成功したか否かを判断し(ステップS4)、失敗した場合は移動情報取得部が画像の移動情報を検出し(ステップS5)、移動情報をメモリに蓄積する(ステップS6)。
【0026】
一方、位置情報検出に成功した場合は、移動情報を蓄積しているメモリを確認し(ステップS7)、情報が蓄積されている場合は(ステップS8でYes)、新しく検出した位置情報を使用してメモリに蓄積されている移動情報を位置情報へと補正し(ステップS9)、移動情報をクリアして(ステップS10)、補正して得た位置情報および検出した位置情報をメモリに格納する(ステップS11)。
【0027】
つまり、2次元コードから位置情報を検出できた場合には、その前に検出された移動情報がメモリに格納されているか否かを判断し、格納されている場合にはその移動情報(移動方向と移動距離)と位置情報(媒体上の座標位置)とを用いて、2次元コードが検出できなかった際の位置情報を逆算し、得られた位置情報をメモリに格納することになる。これにより、2次元コードを検出できる場合には位置情報取得部によって媒体上のペン先の位置情報を算出することによりペン先の軌跡情報を得ることができる。
【0028】
一方、2次元コードを検出できない場合(例えば、2次元コード上に加筆されている場合)には移動情報取得部によってペン先の移動情報(移動方向と移動距離)を検出してメモリに格納しておき、次に2次元コードから位置情報を検出できた場合にメモリに格納された移動情報と検出した位置情報とからそれまでのペン先の位置情報を逆算し、軌跡情報を得ることができるようになる。これにより、媒体上に印刷や加筆等があって2次元コードを検出できない場合でもペン先の軌跡情報を得ることが可能となる。
【0029】
なお、上記の軌跡取得プログラムでは、2次元コードから位置情報が検出できなかった場合には移動情報を取得して、次に位置情報が検出できた際に事前に取得してある移動情報から逆算して、検出できなかった位置情報を求めるようにしているが、先に位置情報が検出できており、次に位置情報が検出できなかった場合に移動情報を取得して、先に検出した位置情報にその移動情報を加えて検出できなかった位置情報を算出するようにしてもよい。
【0030】
図4は、本実施形態に係る軌跡取得装置が筆記動作を行う媒体(紙)を説明する図である。媒体(紙)Pには、文書と、紙面上でのアドレス情報を埋め込んだ2次元コードが文書背景の全面に印刷されている。2次元コードの例としては、ビット0をあらわす「\」形状のパターン画像と、ビット1をあらわす「/」形状のパターン画像とで構成されるものが挙げられる。
【0031】
各パターン画像の大きさは、600dpi(dot per inch)で4ドット×4ドット程度の大きさであり、各パターン画像の間隔は、600dpiで6ドット程度であり、人間の目にはその大きさからパターンの構造を識別することは困難であり、文書背景に濃度が均一なグレー画像(パターン画像を黒で印刷した場合)が重畳されているように見える。
【0032】
図5は2次元コードの構成例を示す図である。上記説明した2種類のビットパターン画像を組み合わせて、紙面のアドレス情報を埋め込んだ2次元コードを構成する。例えば、2次元コードを2種類のビットパターン画像を組み合わせた8×8のマトリックスとすると、紙面上には約2mm間隔(6ドット/ビットパターン×8ドット)で、アドレス情報を埋め込むことができる。なお、2次元コードは斜線パターン形状として説明しているが、これに限定するものではない。
【0033】
図6は、2次元コードが媒体上に構成するアドレス情報を説明する模式図である。紙面上には、図5で示した2次元コードが紙面全体に形成されており、各2次元コードが表すアドレス情報(図6中のA1、A2・・・、B1、B2・・・、)は、紙面上で重複しないように構成されている。
【0034】
図7は、媒体上に筆記を行った様子を説明する図である。図1に示した専用ペン(軌跡取得装置)を使用して、媒体P上に筆記を行うことができる。媒体Pには先に説明した2次元コードが背景の全面に印刷されている。本実施形態では、このような2次元コード上に印刷や筆記が行われることで2次元コードが検出できなくなった場合でも、ペン先の軌跡を算出できるようになっている。
【0035】
図8は、図1に示した専用ペン(軌跡取得装置)の画像入力部が入力する画像を説明する図である。画像入力部は、2次元コード2個分以上の画像を含む領域(撮像領域R)を撮像できるように構成されている。このような構成とすることで、画像入力部の撮像領域Rに少なくとも1個の2次元コード画像を含むことが可能になる。位置情報取得部は、画像入力部から入力された2次元コード画像を復号することで、撮像領域内の2次元コードに埋め込まれたアドレス情報を取得できる。さらに、撮像された2次元コード画像と撮像領域とのずれ量を移動情報取得部で検出することで、軌跡取得装置の位置をより正確な位置情報へと補正することができる。
【0036】
図9は、検出した軌跡の例を示す図である。画像入力部は所定のサンプリング期間で連続的に複数の部分画像を取り込む。取り込んだ部分画像から2次元コードを検出して、媒体上でのペン先の位置を算出する処理を連続的に取り込んだ部分画像について行うことで、媒体上をペン先が移動した軌跡を得ることができる。図中のプロットは算出したペン先の位置を示しており、複数のプロットを繋ぐ曲線を計算することでペン先の軌跡を得る。
【0037】
図10は、印刷文書に含まれる文字上を筆記した例を示す図である。印刷文書に含まれる文字や罫線上を筆記した場合、文字や罫線が2次元コード上にあるため、2次元コードの正しく復号してアドレス情報を復号できず、位置情報取得部から得られる情報だけでは、正しい軌跡を取得することができない。
【0038】
図11は、位置情報取得部だけの情報で軌跡を算出した例を示す図である。図中の印刷部分(「ABC」の印字部分)は2次元コードを復号できないので、正しいアドレス情報を取得できず、軌跡情報が失われる。したがって、アドレス情報を取得できている部分を繋ぐよう軌跡を算出するため、本来の軌跡とは異なる短絡した軌跡となってしまう。
【0039】
図12は、移動情報取得部の移動情報取得方法を説明する図である。画像入力部から所定の時間間隔を持って入力された2つの画像(a)、(b)から、画像の移動方向と移動距離を算出する。すなわち、各画像で注目画像を検出し、その注目画像が撮像領域Rの中でどのように移動したか、つまり注目画像の移動方向と移動距離とを得ることで、移動情報を取得することができる。注目画像としては、媒体(紙)の繊維画像が挙げられる。繊維画像はユニークなものであるため、注目画像として捉えた繊維画像と同じ繊維画像を2つの取り込み画像から得ることで、移動情報を求めることができる。
【0040】
図13は、各情報取得部の構成を説明するブロック図で、(a)は位置情報取得部の構成、(b)は移動情報取得部の構成である。図13(a)に示す位置情報取得部では、画像整形部131で画像の傾き補正、歪補正を行う。パターン検出部132では、入力画像からビットパターン画像を検出する。デジタル情報検出部133では、ビットパターン画像から2次元コードを検出し、それを復号して埋め込まれた情報を取り出す。アドレス復号部134では、2次元コードから取り出した情報から紙面上のアドレス情報を算出する。
【0041】
図13(b)に示す移動情報取得部では、画像整形部141で入力画像に対する濃度の正規化や低解像度化、微小ノイズ除去などの差分情報検出のための前処理を行う。差分情報検出部142ではすでに画像記憶部143に記憶されている画像と新たに入力した画像との差分情報を生成し、移動情報検出部144では差分情報から画像の移動方向と移動距離を算出する。なお、本実施形態では差分情報から画像の移動方向と距離を算出する例を示したが、これに限定するものではなく、例えば、2つの画像の相互相関値を計算し、最も相互相関値が高くなる位置から画像の移動方向と移動距離を求める方法などでも良い。
【0042】
図14は、本実施形態による軌跡の検出結果を示す図である。2次元コード上に印字等があって2次元コードを検出できない場合であっても、ペン先の移動情報を取得していることから、それまで検出した位置情報と移動情報とを用いて新たな位置情報を算出でき、ペン先の軌跡を正確に検出できるようになる。
【0043】
なお、本実施形態では位置検出コードとして2次元コードを例にとり説明したが、本発明はこれに限定されるものではなく、従来技術のような別の位置検出コード(例えばM系列など)でも良い。
【図面の簡単な説明】
【0044】
【図1】本実施形態に係る軌跡取得装置を説明する模式構成図である。
【図2】本実施形態に係る軌跡取得装置のブロック構成図である。
【図3】軌跡取得プログラムの動作手順を説明するフローチャートである。
【図4】本実施形態に係る軌跡取得装置が筆記動作を行う媒体(紙)を説明する図である。
【図5】2次元コードの構成例を示す図である。
【図6】2次元コードが媒体上に構成するアドレス情報を説明する模式図である。
【図7】媒体上に筆記を行った様子を説明する図である。
【図8】図1に示した専用ペン(軌跡取得装置)の画像入力部が入力する画像を説明する図である。
【図9】検出した軌跡の例を示す図である。
【図10】印刷文書に含まれる文字上を筆記した例を示す図である。
【図11】位置情報取得部だけの情報で軌跡を算出した例を示す図である。
【図12】移動情報取得部の移動情報取得方法を説明する図である。
【図13】各情報取得部の構成を説明するブロック図である。
【図14】本実施形態による軌跡の検出結果を示す図である。
【符号の説明】
【0045】
1…軌跡取得装置、10…筆記部、11…筆圧検出部、12…画像入力部、13…位置情報取得部、14…移動情報取得部、15…軌跡情報算出部、16…軌跡情報記憶部、17…通信インタフェース、20…制御部、21…動作検知部、27…通信部、P…媒体、R…撮像領域

【特許請求の範囲】
【請求項1】
表面に機械可読コードが形成された媒体上での指示体の軌跡を取得する軌跡取得装置であって、
媒体上の部分画像を連続的に読み取る画像入力手段と、
前記画像入力手段で読み取った前記部分画像に含まれる機械可読コードを解読して媒体上における前記部分画像の位置情報を取得する位置情報取得手段と、
前記画像入力手段で連続的に読み取った複数の部分画像から移動情報を取得する移動情報取得手段と、
前記位置情報取得手段および前記移動情報取得手段で取得した情報を蓄積する記憶手段と
を有することを特徴とする軌跡取得装置。
【請求項2】
前記位置情報取得手段で取得した位置情報と、前記移動情報取得手段で取得した移動情報との少なくとも一方から、前記媒体上での前記指示体の軌跡情報を算出する軌跡算出手段を有する
ことを特徴とする請求項1記載の軌跡取得装置。
【請求項3】
前記軌跡算出手段は、前記位置情報を取得可能な場合は前記位置情報に基づき前記軌跡情報を算出し、前記位置情報を取得できない場合は前記移動情報から求めた位置情報に基づき前記軌跡情報を算出する
ことを特徴とする請求項2記載の軌跡取得装置。
【請求項4】
前記画像入力手段は、前記媒体上の不可視の部分画像を読み取る
ことを特徴とする請求項1から3のうちいずれか1項に記載の軌跡取得装置。
【請求項5】
前記画像入力手段は、前記部分画像として前記媒体上の機械可読コードと前記媒体の繊維画像とを読み取り、
前記移動情報取得手段は、前記画像入力手段によって連続的に読み取られた複数の前記部分画像から取得した繊維画像から前記移動情報を取得する
ことを特徴とする請求項1から4のうちいずれか1項に記載の軌跡取得装置。
【請求項6】
少なくとも前記画像入力手段を備える装置本体は可搬性を有するペン型から成り、前記媒体への筆記が可能な筆記具を備えている
ことを特徴とする請求項1から5のうちいずれか1項に記載の軌跡取得装置。
【請求項7】
表面に機械可読コードが形成された媒体上での指示体の軌跡を取得する軌跡取得プログラムであって、
媒体上の部分画像を連続的に読み取るステップと、
読み取った前記部分画像に含まれる機械可読コードを解読して媒体上における前記部分画像の位置情報を取得するステップと、
連続的に読み取った複数の部分画像から移動情報を取得するステップと、
前記位置情報および前記移動情報を蓄積するステップと
を有することを特徴とする軌跡取得プログラム。
【請求項8】
前記位置情報と前記移動情報との少なくとも一方から、前記媒体上での前記指示体の軌跡情報を算出する工程を有する
ことを特徴とする請求項7記載の軌跡取得プログラム。
【請求項9】
前記位置情報を取得可能な場合は前記位置情報に基づき前記軌跡情報を算出し、前記位置情報を取得できない場合は前記移動情報から求めた位置情報に基づき前記軌跡情報を算出する
ことを特徴とする請求項8記載の軌跡取得プログラム。
【請求項10】
前記媒体上の部分画像は不可視画像を含む
ことを特徴とする請求項7から9のうちいずれか1項に記載の軌跡取得プログラム。
【請求項11】
前記部分画像として前記媒体上の機械可読コードと前記媒体の繊維画像とを読み取り、
前記連続的に読み取った複数の部分画像から繊維画像を取り込んで前記移動情報を取得する
ことを特徴とする請求項7から10のうちいずれか1項に記載の軌跡取得プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2006−79391(P2006−79391A)
【公開日】平成18年3月23日(2006.3.23)
【国際特許分類】
【出願番号】特願2004−263272(P2004−263272)
【出願日】平成16年9月10日(2004.9.10)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】