電子筆記具、画像読み取り装置及びプログラム
【課題】異なる2種類の符合画像のいずれか一方を読み取る際の切り替えについてユーザの負担を軽減することが可能な電子筆記具、画像読み取り装置及びプログラムを提供する。
【解決手段】モード変更部は、動作制御部に対して符号画像読み取りモードの設定を指示し(S101)、動作制御部は、符号画像読み取りモードの内容に設定されるように赤外LED及び赤外CMOSに指示する。赤外CMOSが符号画像読み取りモードにて画像を読み取り(S102)、画像取得部がその画像をフレーム単位で取得して画像判断部に転送する。画像判断部は、パターンマッチングを行い(S103)、その画像が符号画像か否かを判断し(S104)、判断結果をモード変更部に通知する。符号画像であると判断するとステップ105に進み、符号画像でないと判断するとステップ119に進む。
【解決手段】モード変更部は、動作制御部に対して符号画像読み取りモードの設定を指示し(S101)、動作制御部は、符号画像読み取りモードの内容に設定されるように赤外LED及び赤外CMOSに指示する。赤外CMOSが符号画像読み取りモードにて画像を読み取り(S102)、画像取得部がその画像をフレーム単位で取得して画像判断部に転送する。画像判断部は、パターンマッチングを行い(S103)、その画像が符号画像か否かを判断し(S104)、判断結果をモード変更部に通知する。符号画像であると判断するとステップ105に進み、符号画像でないと判断するとステップ119に進む。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子筆記具、画像読み取り装置及びプログラムに関するものである。
【背景技術】
【0002】
例えば、特許文献1には、オーディオ情報、映像情報、ディジタルコードデータの少なくとも1つを含むマルチメディア情報が光学的に読み取り可能なドットコードで記録されている部分を備えた記録媒体から、そのドットコードを光学的に読み取る像読み取り装置が開示されている。この像読み取り装置は、少なくとも1面の反射作用を有する反射面を備え、その反射面の面形状がその面内及び面外共に回転対称軸を有さない回転非対称な曲面からなる読み取り光学系と、読み取り光学系により形成される物体面の結像面上に位置した撮像素子と、を有するものである。
また、特許文献2には、階層構造の動作設定項目を有する操作入力装置および画像形成装置において、操作性よく動作設定項目を選択指示することを可能にするための構成が開示されている。すなわち、特許文献2には、階層構造の動作設定項目を有し、該階層の特定を受けてこの特定階層に含まれる動作設定項目に対する操作を受け付ける操作部と、前記動作設定項目の1以上に対し、階層の特定を必要とすることなく該動作設定項目に対する操作指示を受け付ける指示入力部と、を備えることを特徴とする操作入力装置が開示されている。より具体的には、この操作部は例えばタッチパネルで構成され、指示入力部は例えばバーコードリーダで構成される。
【0003】
【特許文献1】特開平10−3511号公報
【特許文献2】特開2003−345506号公報(図2及び図9)
【発明の開示】
【発明が解決しようとする課題】
【0004】
ここで、異なる2種類の符号画像を関連付けて情報管理する場合には、各々の符号画像を読み取るための装置が2つ必要になる。また、これら2つの符号画像を1つの読み取り装置で読み取り可能にすると、どちらの符号画像を読み取るべきかの指示をユーザがスイッチの操作により行うことが必要になる。
【0005】
本発明は、異なる2種類の符号画像のいずれか一方を読み取る際の切り替えについてユーザの負担を軽減することが可能な電子筆記具、画像読み取り装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
請求項1に記載の発明は、所定の照射条件で媒体を照射する照射部と、前記照射部により照射された媒体上の画像を所定の撮像条件で撮像する撮像部と、前記撮像部にて撮像される前記画像から、前記媒体上に所定間隔で配列された同期符号を含む第1の画像を検出し、当該第1の画像から所定の情報を取り出す第1の処理部と、前記撮像部にて撮像される前記画像から、バーコードを構成する第2の画像を検出し、当該第2の画像から所定の情報を取り出す第2の処理部と、前記撮像部により撮像される前記画像を取り込み、取り込まれた当該画像から前記第1の処理部または前記第2の処理部を選択する選択手段と、を含む電子筆記具である。
請求項2に記載の発明は、前記選択手段は、取り込まれた前記画像について所定の情報を用いてパターンマッチングを施すことにより当該画像が前記第1の画像か否かを判断し、前記選択をすることを特徴とする請求項1に記載の電子筆記具である。
請求項3に記載の発明は、前記選択手段は、取り込まれた前記画像に前記同期符号が含まれているか否かを判断し、当該画像に当該同期符号が含まれているときに前記第1の処理部を選択することを特徴とする請求項2に記載の電子筆記具である。
請求項4に記載の発明は、前記選択手段は、取り込まれた前記画像の画像濃度を取得し、当該画像濃度を基に当該画像が前記第2の画像か否かの判断をし、前記選択をすることを特徴とする請求項1に記載の電子筆記具である。
請求項5に記載の発明は、前記照射部は、前記第1の画像を撮像する場合と前記第2の画像を撮像する場合とで互いに異なる前記所定の照射条件が設定され、前記撮像部は、前記第1の画像を撮像する場合と前記第2の画像を撮像する場合とで互いに異なる前記所定の撮像条件が設定され、前記選択手段に取り込まれる前記画像を撮像する際に、前記照射部は、前記第1の画像を撮像する場合の前記所定の照射条件に設定され、かつ、前記撮像部は、前記第1の画像を撮像する場合の前記所定の撮像条件に設定されることを特徴とする請求項1ないし4のいずれか1項に記載の電子筆記具である。
請求項6に記載の発明は、前記撮像部は、複数の受光素子が2次元マトリックス状に配列されたもので構成され、前記撮像部は、前記第1の画像を撮像する場合と前記第2の画像を撮像する場合とで、大きさが異なる領域の画像を出力するように前記所定の撮像条件が設定されることを特徴とする請求項1ないし5のいずれか1項に記載の電子筆記具である。
【0007】
請求項7に記載の発明は、ユーザが把持し媒体上で操作する本体部と、前記本体部に設けられ、所定の照射条件で媒体を照射する照射部と、前記本体部に設けられ、前記照射部により照射された媒体上の画像を所定の撮像条件で撮像する撮像部と、前記撮像部により撮像される前記画像を取り込み、取り込まれた当該画像から当該画像がドットコードであるかバーコードであるかを判断する判断手段と、前記判断手段による判断結果により、前記照射部の照射条件および前記撮像部の撮像条件を設定する設定手段と、を含む画像読み取り装置である。
請求項8に記載の発明は、前記判断手段は、前記撮像部により撮像される前記画像についてパターンマッチングを施すことにより当該画像が前記ドットコードであるか否かを判断することを特徴とする請求項7に記載の画像読み取り装置である。
請求項9に記載の発明は、前記判断手段は、前記撮像部により撮像される前記画像の画像濃度を測定し、当該画像濃度を基に当該画像が前記バーコードであるか否かを判断することを特徴とする請求項7に記載の画像読み取り装置である。
【0008】
請求項10に記載の発明は、所定の照射条件で媒体を照射する照射部と、当該照射部により照射された媒体上の画像を所定の撮像条件で撮像する撮像部と、を含む電子筆記具が備えるコンピュータに、前記撮像部にて撮像される前記画像から、前記媒体上に所定間隔で配列された同期符号を含む第1の画像を検出し、当該第1の画像から所定の情報を取り出す第1の処理機能と、前記撮像部にて撮像される前記画像から、バーコードを構成する第2の画像を検出し、当該第2の画像から所定の情報を取り出す第2の処理機能と、前記撮像部により撮像される前記画像を取り込み、取り込まれた当該画像から前記第1の処理機能または前記第2の処理機能を選択する選択機能と、を実現させるプログラムである。
請求項11に記載の発明は、前記選択機能は、取り込まれた前記画像について所定の情報を用いてパターンマッチングすることで当該画像が前記第1の画像か否かを判断し、前記選択をすることを特徴とする請求項10に記載のプログラムである。
請求項12に記載の発明は、前記選択機能は、取り込まれた前記画像の画像濃度を取得し、当該画像濃度を基に当該画像が前記第2の画像か否かの判断をし、前記選択をすることを特徴とする請求項10に記載のプログラムである。
【0009】
請求項13に記載の発明は、ユーザが把持し媒体上で操作する本体部に、所定の照射条件で媒体を照射する照射部と、当該照射部により照射された媒体上の画像を所定の撮像条件で撮像する撮像部と、が設けられた画像読み取り装置が備えるコンピュータに、前記撮像部により撮像される前記画像を取り込み、取り込まれた当該画像から当該画像がドットコードであるかバーコードであるかを判断する判断機能と、前記判断機能による判断結果により、前記照射部の照射条件および前記撮像部の撮像条件を設定する設定機能と、を実現させるプログラムである。
請求項14に記載の発明は、前記判断機能は、前記撮像部により撮像される前記画像をパターンマッチングにより当該画像が前記ドットコードであるか否かを判断することを特徴とする請求項13に記載のプログラムである。
請求項15に記載の発明は、前記判断機能は、前記撮像部により撮像される前記画像の画像濃度を取得し、当該画像濃度を基に当該画像が前記バーコードであるか否かを判断することを特徴とする請求項13に記載のプログラムである。
【発明の効果】
【0010】
請求項1によれば、第1の画像と第2の画像のいずれか一方を読み取る際の切り替えについてユーザの負担を軽減することが可能になる。
請求項2によれば、選択手段による第1の処理部又は第2の処理部の選択を行う際の判断の精度を適切に制御することが可能になる。
請求項3によれば、選択手段に取り込まれた画像に第1の画像が含まれていることの認識精度を向上させることが可能になる。
請求項4によれば、選択手段に取り込まれた画像に第2の画像が含まれていることの認識精度を向上させることが可能になる。
請求項5によれば、選択手段に取り込まれた画像に第1の画像が含まれていることの認識精度を向上させることが可能になる。
請求項6によれば、第1ないし第2の処理部及び選択手段が必要な大きさの画像を取り込むことが可能になる。
請求項7によれば、ドットコードとバーコードのいずれか一方を読み取る際の切り替えについてユーザの負担を軽減することが可能になる。
請求項8によれば、判断手段による判断の精度を適切に制御することが可能になる。
請求項9によれば、判断手段に取り込まれた画像がバーコードであることの認識精度を向上させることが可能になる。
請求項10によれば、第1の画像と第2の画像のいずれか一方を読み取る際の切り替えについてユーザの負担を軽減することが可能になる。
請求項11によれば、選択機能による第1の処理部又は第2の処理部の選択を行う際の判断の精度を適切に制御することが可能になる。
請求項12によれば、選択機能に取り込まれた画像に第2の画像が含まれていることの認識精度を向上させることが可能になる。
請求項13によれば、ドットコードとバーコードのいずれか一方を読み取る際の切り替えについてユーザの負担を軽減することが可能になる。
請求項14によれば、判断機能による判断の精度を適切に制御することが可能になる。
請求項15によれば、判断機能に取り込まれた画像がバーコードであることの認識精度を向上させることが可能になる。
【発明を実施するための最良の形態】
【0011】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
まず、本実施の形態における筆跡情報管理システムの全体構成について説明する。
図1は、本実施の形態の筆跡情報管理システムの構成の一例を示す図である。同図に示すように、この筆跡情報管理システムは、端末装置10と、情報管理装置の一例としての文書サーバ20と、情報管理装置の一例としての識別情報サーバ30と、画像形成装置40と、端末装置50とがネットワーク80に接続されることにより構成されている。また、端末装置50には、デジタルペン60が通信装置70を介して接続されている。
【0012】
本実施の形態の筆跡情報管理システムでは、端末装置10から電子文書の印刷要求が行われると、文書サーバ20は端末装置10からの印刷要求を受け取り、画像形成装置40に対して印刷要求の対象となった電子文書の印刷指示を行う。それにより、画像形成装置40は、この電子文書の文書画像を紙等の媒体に印刷するが、その際に、画像形成装置40は文書画像に加えて符号画像を媒体上に印刷する。
【0013】
ここでの符号画像とは、識別情報および位置情報を符号化して得られる識別符号および位置符号を画像化したものであり、ドットコードないしドットパターン(第1の画像)ということもできる。識別情報とは、媒体を一意に特定するための情報であり、本実施の形態では識別情報サーバ30が発行する。また、位置情報は、媒体上の座標位置を特定するための情報であり、本実施の形態では文書サーバ20が生成する。
そして、文書画像と符号画像とが印刷された媒体に対し、ユーザがデジタルペン60を用いて筆記すると、デジタルペン60は符号画像に含まれる位置情報に基づいて手書き情報(筆跡情報)を生成する。またそれと同時に、デジタルペン60は符号画像に含まれる識別情報を認識する。そして、認識された識別情報と筆跡情報とは、端末装置50を介して文書サーバ20に送られる。識別情報と筆跡情報とを受け取った文書サーバ20は、識別情報に基づいて媒体に印刷された電子文書を特定し、この特定された電子文書と筆跡情報とを関連付けて記憶する。
【0014】
なお、本明細書では、媒体に記録する画像の元となる電子データを「電子文書」と表記するが、これは、テキストを含む「文書」を電子化したデータのみを意味するものではない。例えば、絵、写真、図形等の画像データ(ラスタデータかベクターデータかによらない)、データベース管理ソフトウェアや表計算ソフトウェアで記録されるデータ、その他の印刷可能な電子データも含めて「電子文書」としている。
また、本明細書において、「媒体」は、画像を印刷可能な媒体であれば、その材質は問わない。代表例は紙であるが、OHPシート等といったプラスチックシートや金属板等であっても構わない。
さらに、本明細書では、電子文書、媒体、さらにはデジタルペン60やユーザについて、それぞれを一意に識別するための識別情報を用いて処理を行うが、単に「識別情報」という場合には、媒体に関する識別情報を意味するものとする。すなわち、本実施の形態では、媒体に固有に付与される媒体識別情報の一例として、この識別情報を用いる。
【0015】
続いて、本実施の形態の筆跡情報管理システムを構成する各構成要素について詳細に説明する。
端末装置10は、文書サーバ20に対して電子文書の印刷を要求するコンピュータ装置である。ここで、端末装置10としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータが用いられる。
文書サーバ20は、電子文書を記憶し管理するコンピュータ装置である。また、端末装置10から電子文書の印刷要求があると、電子文書の画像と、識別情報および位置情報を表す符号画像とを生成し、これらを合成した合成画像を媒体に印刷する印刷命令を画像形成装置40に対して出力する。ここで、文書サーバ20としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータが用いられる。
【0016】
識別情報サーバ30は、媒体に付与する識別情報を発行するコンピュータ装置である。そして、発行した識別情報を、その識別情報が付与される媒体に印刷される電子文書と関連付けて記憶する。ここで、識別情報サーバ30としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータが用いられる。
画像形成装置40は、媒体に画像を印刷し、印刷文書として出力する装置である。この画像形成装置40は、単体のプリンタや印刷機であってもよいし、他にスキャナや通信の機能を備えた所謂「複合機」であってもよい。ここで、画像形成装置40における画像形成方式としては、例えば、電子写真方式を用いるとよいが、その他の方式を用いてもよい。
【0017】
端末装置50は、印刷文書に対する筆記を電子化した情報(以下、「筆跡情報」という)を、印刷文書に記録された画像の元となる電子文書に反映させるために識別情報サーバ30に送信するコンピュータ装置である。また、筆跡情報を反映する対象の電子文書をディスプレイ等の表示部(不図示)に表示し、その上に筆跡情報を重ねて表示するようにしてもよい。ここで、端末装置50としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータが用いられる。なお、本実施の形態では、筆記の内容を電子化した筆跡情報の一例として、筆跡情報を用いている。また、筆跡情報を主に手書き情報として説明するが、これに限らず、例えば、建築や機械等の図面データを出力する装置であるプロッタ等によって機械的に描画された情報等を含むものである。
【0018】
デジタルペン60は、印刷文書上に文字または図形を筆記するために用いられる電子筆記具の一例としてのペンデバイスである。また、媒体に印刷された符号画像やバーコードを読み取る撮像素子を備える。そして、撮像素子で読み取った符号画像から位置情報を検出し、筆記した文字または図形をイメージデータ化した筆跡情報をこの位置情報に基づいて生成し記憶等する。また、撮像素子から読み取った画像からバーコード情報を取得し記憶等する。
通信装置70は、デジタルペン60から筆跡情報やバーコード情報を取得して端末装置50に送信する装置である。通信装置70とデジタルペン60との間の通信の方式および通信装置70と端末装置50との間の通信の方式としては、USB(Universal Serial Bus)、Bluetooth(登録商標)、赤外線通信機能等、種々の方式が用いられる。なお、図1では、通信装置70をデジタルペン60と別体のものとして示しているが、必ずしも別体である必要はなく、一体に構成してもよい。
【0019】
引き続いて、筆跡情報管理システムを構成する各構成要素の詳細を説明する。
まず、文書サーバ20の構成について説明する。
図2は、文書サーバ20の機能構成の一例を示すブロック図である。同図に示すように、文書サーバ20は、受信部21と、識別情報取得部22と、電子文書管理部23と、筆跡情報管理部24と、文書/筆跡情報記憶部25とを備える。また、識別符号生成部27aと、位置符号生成部27bと、符号配置部27cと、パターン画像記憶部27dと、符号画像生成部27eとを備える。さらに、文書画像生成部26と、画像合成部28と、送信部29とを備える。
【0020】
受信部21は、端末装置10から印刷要求を受信する。ここで、印刷要求には、電子文書に加えて、印刷対象となる電子文書の識別情報(以下、「文書ID」という)と、印刷される媒体上での電子文書のレイアウトを定めるための各種設定(以下、「印刷設定」という)とが含まれる。文書IDは、端末装置10にて電子文書毎に付与されるが、文書サーバ20にて付与してもよい。また、受信部21は、印刷文書が印刷される媒体に固有に付与される識別情報を識別情報サーバ30から受信する。さらに、印刷文書に対する筆記が行われた際には、識別情報サーバ30から、印刷文書に埋め込まれた識別情報と、印刷文書に対する筆記の内容(筆記画像)を電子化した筆跡情報とを受信する。
識別情報取得部22は、受信部21から文書IDおよび印刷設定を取得し、これを送信部29に渡して識別情報の発行要求の送信を指示し、これを文書画像生成部26に渡して文書画像の生成を指示する。また、受信部21から媒体の識別情報を取得し、これを識別符号生成部27aに渡して識別符号の生成を指示する。
【0021】
電子文書管理部23は、受信部21が受信した識別情報と電子文書とを取得し、文書IDに基づき両者を対応付けて文書/筆跡情報記憶部25に登録する。また、文書/筆跡情報記憶部25に記憶された電子文書についての、印刷設定に従って媒体上に印刷された状態を反映した新たな電子文書(第2の電子文書)を生成し、生成された第2の電子文書を文書/筆跡情報記憶部25に記憶する。さらに、電子文書の表示や印刷が指示された際には、対応する識別情報と電子文書とを、文書/筆跡情報記憶部25から取り出す。
【0022】
筆跡情報管理部24は、受信部21が受信した識別情報と筆跡情報とを取得し、識別情報に基づき筆跡情報を電子文書に対応付けて文書/筆跡情報記憶部25に登録する。また、筆跡情報の表示が指示された際には、対応する識別情報と筆跡情報とを、文書/筆跡情報記憶部25から取り出す。
文書/筆跡情報記憶部25は、電子文書管理部23によって管理される電子文書と、筆跡情報管理部24によって管理される筆跡情報とを記憶する。ここで、本実施の形態では、識別情報と電子文書と筆跡情報とを関連付けて記憶する記憶手段の一例として、文書/筆跡情報記憶部25を設けている。
【0023】
識別符号生成部27aは、媒体を特定する識別情報を符号化して識別符号を生成する。
位置符号生成部27bは、媒体上の座標位置を示す位置情報を符号化して位置符号を生成する。
符号配置部27cは、識別符号生成部27aにて生成された識別符号や、位置符号生成部27bにて生成された位置符号等を所定のレイアウト(後段の図3参照)に従って2次元平面に配置し2次元の符号配列を生成する。
パターン画像記憶部27dは、符号配列に格納される各符号の符号値に対応するパターン画像を記憶する。
符号画像生成部27eは、符号配置部27cが生成した2次元の符号配列を参照し、各符号値に対応したパターン画像を選択して符号画像を生成する。
【0024】
文書画像生成部26は、識別情報取得部22から文書IDおよび印刷設定を取得し、この文書IDで特定される電子文書を文書/筆跡情報記憶部25から読み出す。そして、印刷設定に従ってその電子文書の文書画像を生成する。
画像合成部28は、符号画像生成部27eが生成した符号画像と、文書画像生成部26が生成した文書画像とを合成し、合成画像を生成する。
送信部29は、識別情報サーバ30に対して識別情報の発行要求を送信する。また、画像形成装置40に対して媒体に対する画像の印刷命令を送信する。さらに、筆跡情報の表示が指示された際には、識別情報サーバ30に対して識別情報と筆跡情報とを送信する。
【0025】
ここで、本実施の形態の文書サーバ20で生成される符号画像について説明する。
図3は、符号画像を構成する画像等の一例を示す図である。まず、符号画像を構成する単位パターンについて説明する。同3の(a)は、単位パターンの一例を示したものである。
単位パターンとは、情報埋め込みの最小単位である。図3の(a)では、黒塗りの領域と斜線の領域をドット配置可能な領域とし、その間にある白色の領域をドット配置不可能な領域としている。そして、ドット配置可能な領域のうち、黒塗りの領域にドットが配置され、斜線の領域にはドットが配置されていないことを示している。すなわち、図3の(a)は、ドットを配置可能な9箇所の中から選択した2箇所(黒塗りの領域)にドットを配置することで単位パターンを構成した例を示したものである。ここで、9箇所の中から2箇所を選択する組み合わせは36(=9C2)通りなので、単位パターンは、36種類存在する。このうち、4種類の単位パターンは、同期パターン(同期符号)として使用される。同期パターンとは、画像の回転を検出したり、識別符号および位置符号の相対的な位置を特定したりするためのパターンである。特に、画像の回転を検出する必要があることから、4種類の同期パターンとしては、そのうちの1つの同期パターンを90度回転するとそのうちの別の同期パターンになるようなものが選ばれる。また、この4種類の単位パターンを除く32種類の単位パターンは、識別符号および位置符号を表現する情報パターンとして使用され、5ビットの情報が表現される。
【0026】
ところで、図3の(a)に示すドットは、あくまで情報表現のためのドットであり、画像を構成する最小の点を意味するドットとは必ずしも一致しない。本実施の形態において、情報表現のためのドット(図3の(a)の最小の四角)は、600dpiにおける2ドット×2ドットの大きさを有している。600dpiにおける1ドットの大きさは0.0423mmなので、情報表現のためのドット(図3の(a)の最小の四角)の一辺は、84.6μm(=0.0423mm×2)である。情報表現のためのドットは、大きくなればなるほど目に付きやすくなるため、できるだけ小さいほうが好ましい。ところが、あまり小さくすると、プリンタで印刷できなくなってしまう。そこで、情報表現のためのドットの大きさとして、50μmより大きく100μmより小さい上記の値を採用している。ただし、上記の値84.6μmは、あくまで計算上の数値であり、実際に印刷されたトナー像では100μm程度になる。なお、本明細書で「ドット」というときは、特に明示しない限り、画像を構成する最小の点を意味するドットではなく、情報表現のためのドットを指すものとする。
【0027】
次に、このような単位パターンから構成される符号ブロックについて説明する。図3の(b)に、符号ブロックのレイアウトの一例を示す。なお、ここでは、画像ではなく、パターン画像によって置き換えられる直前の符号配列で示している。すなわち、図3の(b)の最小の四角(以下、「単位ブロック」という)に、図3の(a)のような単位パターン(36通りの単位パターンのいずれか)が配置され、その画像が媒体に形成されることになる。
図3の(b)のレイアウトでは、符号ブロックの左上の1つの単位ブロックに、同期符号が配置されている。また、同期符号が配置された単位ブロックの右側の4つの単位ブロックにX位置符号が配置され、同期符号が配置された単位ブロックの下側の4つの単位ブロックにY位置符号が配置されている。さらに、これらの位置符号が配置された単位ブロックに囲まれた16(=4×4)個の単位ブロックに識別符号が配置されている。
【0028】
ここで、識別情報の符号化について述べる。
識別情報を符号化する場合、識別情報を構成するビット列は、RS符号化を行うために複数のブロックに分割される。符号化には、いくつかの方法があるが、本実施の形態では、RS符号化が適している。RS符号は多値の符号法であり、この場合、単位ブロックで表現される値がRS符号の多値に対応するからである。例えば、1つの単位ブロックで5ビットの情報を表現する場合、60ビットの識別情報は、ブロック長が5ビットの12個のブロックに分割される。そして、2ブロックの誤りを訂正可能なRS符号を採用したとすると、符号長は16ブロックとなり、図3の(b)の符号ブロックにおける識別符号が配置される単位ブロックに収まることになる。なお、符号化方式はRS符号に限定するものでなく、その他の符号化方式、例えば、BCH符号等を使用してもよい。
【0029】
引き続いて、位置情報の符号化について述べる。
位置情報の符号化には、擬似乱数系列の一種であるM系列符号が使用される。ここで、M系列とは、ある長さのシフトレジスタとフィードバックによって生成される符号系列とのうち、その周期が最長になる系列をいう。Kをシフトレジスタの段数とすると、M系列の系列長は2K−1となる。このM系列から取り出した任意の連続したKビットは、同じM系列中の他の位置に現れない性質を持つ。そこで、この性質を利用して位置情報を符号化する。
ところで、本実施の形態では、符号化すべき位置情報の長さから、必要なM系列の次数を求め、M系列を生成している。しかしながら、符号化する位置情報の長さが予め分かっている場合は、M系列を毎回生成する必要はない。すなわち、固定のM系列を予め生成しておき、それをメモリ等に格納しておけばよい。
例えば、系列長8191のM系列(K=13)を使用したとする。この場合、位置符号も5ビット単位で埋め込むため、系列長8191のM系列から5ビットずつ取り出してブロック化する。
【0030】
なお、本明細書では、説明を簡単にするために、識別情報と位置情報とは明確に区別して用いている。しかしながら、広範な位置情報を用意しておき、媒体ごとに異なる範囲から位置情報を切り出して埋め込み、位置情報の違いによって媒体を識別するという手法もある。そこで、このような手法においては、媒体を識別する機能が位置情報に備わっているものと見て、位置情報を識別情報としても考えるものとする。
【0031】
次に、識別情報サーバ30の構成について説明する。
図4は、識別情報サーバ30の機能構成の一例を示すブロック図である。同図に示すように、識別情報サーバ30は、受信部31と、識別情報管理部32と、識別情報記憶部33と、表示情報生成部34と、送信部39とを備える。
受信部31は、文書サーバ20から識別情報の発行要求を受信する。また、受信部31は、印刷文書に対する筆記が行われた際には、媒体の識別情報と筆跡情報とを端末装置50から受信する。ここで、本実施の形態では、端末装置50から媒体の識別情報と筆跡情報とを受信し、さらに筆跡情報の表示が指示された際に、文書サーバ20から媒体の識別情報と筆跡情報とを受信する受信手段の一例として、受信部31を設けている。
【0032】
識別情報管理部32は、識別情報の発行要求があると、識別情報を重複することなく発行し、その際に指定された文書IDおよび印刷設定を識別情報に関連付けて記憶する。また、識別情報の指定を受けて、その識別情報に対応する文書IDおよび印刷設定を取り出す。
識別情報記憶部33は、識別情報を、その使用/未使用の状態、それが付与された媒体に印刷された電子文書の文書ID、それが付与された媒体に電子文書が印刷された際の印刷設定を関連付けて記憶するデータベースである。
表示情報生成部34は、筆跡情報の表示が指示された際に、文書サーバ20から取得した情報に基づいて、筆跡情報を表示するための表示情報を生成する。この表示情報としては、例えば、端末装置50で表示するイメージを生成する元となるデータを生成する。
送信部39は、文書サーバ20からの要求に応じて発行した識別情報を文書サーバ20に送信する。また、印刷文書に対する筆記が行われた際には、媒体の識別情報と筆跡情報とを文書サーバ20に送信する。さらに、筆跡情報の表示が指示された際には、端末装置50に対して表示情報を送信する。
【0033】
次に、デジタルペン60について説明する。
図5は、デジタルペン60の構成を説明する図である。同図に示すように、デジタルペン60は、本体筐体内部に、媒体に筆記を行う筆記部の一例としてのペンチップ64と、ペン全体の動作を制御する制御部61と、媒体上に赤外光を照射する照射部の一例としての赤外LED(Light Emitting Diode)62と、媒体からの反射光を検知することによって符号画像を読み取って符号画像を取得する符号画像取得部の一例及び光電変換部の一例としての赤外CMOS(Complementary Metal Oxide Semiconductor)(撮像部)63と、識別情報や筆跡情報、位置情報等を記憶したり赤外CMOS63による出力を記憶したりする記憶部の一例としての情報メモリ65と、外部装置と通信する通信部66と、を備えている。さらには、デジタルペン60は、デジタルペン60の各部を駆動するための電力を供給する充電可能なバッテリ67を備えている。
【0034】
また、デジタルペン60は、ユーザが把持して媒体上で行う各種操作に対応した信号を出力する信号出力手段の一例として、デジタルペン60による筆記操作等をペンチップ64に加わる圧力(筆圧)によって検知する筆圧検知スイッチSWを備えている。筆圧検知スイッチSWは本体筐体内部に設けられている。
また、デジタルペン60は、外部に対して所定の情報を表示するための表示部Hを備えている。この表示部Hとしては、例えば青色や赤色等を発光するLEDで構成することが考えられる。
そして、赤外LED62、赤外CMOS63、情報メモリ65、通信部66、さらには筆圧検知スイッチSW及び表示部Hは、制御部61に接続されている。
【0035】
制御部61は、読み取った符号画像を処理する第1の画像処理部(第1の処理部)68と、読み取った画像(バーコード、第2の画像)を処理しバーコード情報を取得する第2の画像処理部(第2の処理部)69と、を備える。すなわち、デジタルペン60は、符号画像をデコードするデコーダとバーコード画像をデコードするデコーダとを併有する。
【0036】
赤外LED62は、700〜1000μmの波長の赤外光を出射する複数のLED(Light Emitting Diode)で構成されている。そして、後述する制御部61内の動作制御部613から送信される駆動信号に基づいてパルス点灯する。更に説明すると、赤外LED62は、動作制御部613の制御により、複数のLEDのすべてをパルス点灯し、また、複数のLEDの一部をパルス点灯する。また、赤外LED62は、動作制御部613の制御により、所定の駆動周波数、所定の駆動パルス幅及び駆動電流でパルス点灯する。このように、赤外LED62での露光方法や照明の切替えが動作制御部613により行われる。すなわち、赤外LED62の照明範囲を広く又は狭くし、また、発光の持続時間や間隔、照度等が制御される。
なお、赤外LED62を、互いに異なる波長の赤外光を出射する複数のLEDで構成することも考えられる。また、赤外LED62を、赤外光の照射方向が互いに異なる複数のLEDで構成することも考えられる。また、赤外LED62を、発光量を調整可能な1つのLEDで構成することも考えられる。
【0037】
赤外CMOS63は、反射光を検知することによって符号画像等を読み取るものであり、信号の読み出しを行う受光素子(画素)を選択するように赤外CMOS63を駆動する水平走査回路および垂直走査回路(いずれも不図示)を介して画像取得部611(図7参照)に接続される。また、赤外CMOS63は、フォトダイオードなどの複数の受光素子(セル)が2次元マトリックス状に配列されており、媒体上の画像を撮像する撮像部として機能している。更に説明すると、赤外CMOS63は、赤外領域に感度があるCMOSセンサ(Complementary Metal Oxide Semiconductor)であって、撮像した画像を同時に転送できるグローバルシャッタ方式を用いている。赤外CMOS63は、シャッタースピードを可変に構成されている。また、赤外CMOS63は、1fps〜100fps(frame per second)程度の周期(フレームレート)で送信される画像取込信号に同期して、媒体に印刷された符号画像をフレーム単位で撮像する。なお、「フレーム」とは、赤外CMOS63が1回で撮像する媒体上の領域(撮像領域)である。そして、1フレームから符号画像に関する所定のデータ長からなるデータ群が生成される。また、画像取込信号は、動作制御部613にて生成され、赤外CMOS63に送信される。
【0038】
通信部66は、端末装置50と通信を行い、識別情報と、筆跡情報または位置情報とを端末装置50に送信する。なお、通信部66が端末装置50とUSBケーブルで接続される方式を用いる場合には、USBケーブルを介して端末装置50から電力供給を受けるように構成してもよい。さらに、USBケーブルを介して供給される電力によりバッテリ67を充電するように構成してもよい。
【0039】
図6は、デジタルペン60における赤外CMOS63の構成を示す図である。
同図に示すように、赤外CMOS63は、赤外CMOSチップ631と、赤外CMOSチップ631と電気的に接続されるリードフレーム632と、これら赤外CMOSチップ631及びリードフレーム632とを樹脂モールドにて一体化するパッケージ部633とを備えている。
赤外CMOSチップ631には多数のフォトトランジスタ(光電変換素子)が縦方向及び横方向にマトリクス状に配列されている。そして、赤外CMOSチップ631では、受光データの出力をセル毎に選択する、所謂XYアドレス方式によって受光データの出力を行う。このため、赤外CMOS63は、ランダムアクセスの一機能である注視(ブロックアクセス)や解像度可変(スキップアクセス又はサブサンプリング)を行うことが可能である。すなわち、赤外CMOS63での読み取り範囲(撮像範囲)や解像度を変更することが可能である。具体的には、赤外CMOS63は、動作制御部613の制御により、各セルによる全受光データのうち、例えば第1受光領域634に設けられたセルの受光データや、例えば第1受光領域634よりも狭い第2受光領域635に設けられたセルの受光データが、任意に選択され出力される。また、赤外CMOSチップ631は、動作制御部613の制御により、セルによって構成される全ラインの受光データや、例えば1ラインおきに間引きを行った半分のラインの受光データが任意に選択され出力される。この場合において、前者の出力解像度が例えば600dpiであるとすると、後者の受光データの出力解像度は、前者の出力解像度の半分すなわち300dpiとなる。また、赤外CMOS63は、動作制御部613の制御により、隣り合う複数のセル例えば4つのセルを1画素の信号として出力する。
【0040】
赤外CMOS63は、図5に示すように、赤外LED62から照射され媒体にて反射された赤外反射光を受光する。本実施の形態では、赤外CMOS63が、媒体からの赤外反射光のうち拡散反射光を受光するように構成されている。
【0041】
次に、デジタルペン60に設けられた制御部61について説明する。
図7は、制御部61の機能構成の一例を示すブロック図である。同図に示すように、制御部61は、赤外CMOS63にて読み取った画像を取得し、また、情報メモリ65に一時的に格納した符号画像を読み出して取得する画像取得部611と、画像取得部611により取得した符号画像を処理してその処理結果から識別情報および位置情報を取得し、さらには筆跡情報を生成する第1の画像処理部68と、画像取得部611により取得した画像からバーコードを読み取る第2の画像処理部69と、第1の画像処理部68にて取得・生成された識別情報と筆跡情報または位置情報とを情報メモリ65または通信部66に出力し、また、第2の画像処理部69にて取得されたバーコード情報を情報メモリ65または通信部66に出力する出力部616と、を備えている。
また、制御部61は、動作モードの変更を行うモード変更部(選択手段、判断手段、設定手段)612と、赤外LED62及び赤外CMOS63の制御を行う動作制御部(設定手段)613と、デジタルペン60の表示部Hの動作制御を行う表示制御部614と、ペンの識別情報(ペンID)を記憶するペンIDメモリ615と、赤外CMOS63にて読み取った画像についての判断を行う画像判断部(選択手段、判断手段)617と、を備えている。
【0042】
画像取得部611は、赤外CMOS63により印刷文書から読み取られた画像をフレーム単位で取得する。また、必要に応じて、画像に含まれるノイズを除去する。そして、画像取得部611は、その画像を画像判断部617に転送するほか、モード変更部612の指示により第1の画像処理部68又は第2の画像処理部69に転送する。すなわち、画像取得部611は、取得した符号画像を第1の画像処理部68に転送し、また、取得したバーコード画像を第2の画像処理部69に転送する。
【0043】
第1の画像処理部68には、ドット配列生成部681、符号配列生成部682、識別情報取得部683、位置情報取得部684及び筆跡情報生成部685が備えられる。ドット配列生成部681は、符号画像におけるドットの位置を参照して、1フレーム毎のドット配列を生成する。すなわち、2次元の配列上で、例えば、ドットがある位置に「1」を、ドットがない位置に「0」を記憶することにより、画像として検出したドットをデジタルデータに置き換える(二値化)。そして、この2次元の配列をドット配列として出力する。
【0044】
符号配列生成部682は、ドット配列上で、符号ブロック内の単位パターンに対応するブロックを検出する。具体的には、単位パターンが配置されるブロックと同じ形状および大きさの枠をドット配列上で動かし、枠内のドット数が均等になる位置で枠を固定する。例えば、図3の(a)の単位パターンを用いる場合であれば、3ドット×3ドットに対応する大きさの枠を動かし、枠内に含まれるドット数が2となる位置で枠を固定する。そして、その枠で区切られた各ブロック内のドット位置から定まる符号値を格納した符号配列を生成する。また、この符号配列が生成されると、予め定められた同期符号の符号値を検索することによって、同期符号の位置が特定される。
【0045】
識別情報取得部683は、符号配列から同期符号の位置を基準にして識別符号を検出する。そして、画像生成時にRS符号化処理で用いたパラメータを用いて識別符号を復号し、識別情報をフレーム毎に取得する。
位置情報取得部684は、符号配列から同期符号の位置を基準にして位置符号を検出する。そして、位置符号からM系列の部分系列を取り出し、画像生成時に使用したM系列におけるこの部分系列の位置を参照し、この位置を同期符号によるオフセットで補正した値を位置情報として取得する。なお、オフセットで補正するのは、位置符号の間に同期符号が配置されているためである。
【0046】
筆跡情報生成部685は、筆跡情報生成手段の一例であって、位置情報取得部684が取得した位置情報を連結した筆跡情報をフレーム毎に生成する。ここでの筆跡情報とは、ペンチップ64による筆記(手書き)が行われた際のデジタルペン60のペンチップ64先端の軌跡を連結して電子化したデータである。更に説明すると、筆跡情報には、少なくともデジタルペン60のペン先の軌跡を電子化したデータが含まれるが、これ以外の情報を含んでもよい。ペン先の軌跡以外の情報としては、例えば、筆記した時にペンに設定されていた色の情報や、筆圧の情報等がある。
【0047】
第2の画像処理部69には、画像合成部691及びコード情報取得部692が備えられる。画像合成部691は、順次入力されてくる複数の画像データを合成し合成画像を生成する。コード情報取得部692は、入力されてくる画像データの濃度分布を把握してバーコードを検知(認識)するとともにバーコード情報を取得し、取得したバーコード情報を出力する。その詳細は後述する。
【0048】
モード変更部612は、印刷文書(媒体)から符号画像を読み取るモード(以下、「符号画像読み取りモード」と称する)から、印刷文書からバーコードを読み取るモード(以下、「バーコード読み取りモード」と称する)にモードの変更を行い、又はバーコード読み取りモードから符号画像読み取りモードへとモードの変更を行う。
ここで、符号画像読み取りモードとバーコード読み取りモードとでは各種のパラメータが異なる。各々の一例を示すと、符号画像読み取りモードでは、光源波長が700〜900nm、光源最大出力が400mW、パルス幅が1ms以下、スキャン回数が30〜100fps、読取画像幅が1.5mm以上、分解能が10〜50μm、PCSが0.85以上に設定される。また、バーコード読み取りモードでは、光源波長が640〜880nm、光源最大出力が300μW以上、パルス幅が1.5ms以下、スキャン回数が60fps以上、読取画像幅が1.5mm以下、分解能が0.127mm以下、PCSが0.30以上に設定される。このように、符号画像読み取りモードとバーコード読み取りモードとでは、赤外LED62の照射条件、赤外CMOS63の撮像条件及び第1の画像処理部68と第2の画像処理部69の処理条件を異ならしめている。また、2つのモードで、画像読み取り範囲が異なるように設定することも考えられる。
【0049】
動作制御部613は、上記水平走査回路および垂直走査回路を介して赤外CMOS63の動作を制御する。詳細には、動作制御部613は、上記水平走査回路および垂直走査回路を介して、画素信号の読み出しを行う赤外CMOS63上の受光素子を選択するとともに、選択された受光素子から画素信号が出力されるように赤外CMOS63を制御する。また、動作制御部613は、赤外CMOS63が撮像する際のフレームレートを設定する。
表示制御部614は、表示部Hの動作制御を行う。例えば読み取りモードに応じて表示部Hにおける表示色を変化させる。
【0050】
出力部616は、出力手段の一例であって、識別情報取得部683が取得した識別情報と、筆跡情報生成部685が生成した筆跡情報とを情報メモリ65にフレーム単位で出力する。また、出力部616は、情報メモリ65から識別情報および筆跡情報を読み出し、通信部66に出力する。また、出力部616は、コード情報取得部692が取得したバーコード情報を出力する。
なお、出力部616は、識別情報と、筆跡情報または位置情報とのいずれか一方を情報メモリ65または通信部66に出力するように構成してもよい。
【0051】
画像判断部617は、赤外CMOS63にて最初に読み取った画像について、予め記憶しているデータを用いて符号画像のパターンマッチングを実施することにより画像に符号画像が含まれているか否かを判断し、その判断結果をモード変更部612に通知する。
【0052】
ここで図8は、符号画像読み取りモードにおいて、筆跡情報(筆記データ)の取得までの動作を概念的に示したものである。符号画像読み取り時には、デジタルペン60では、まず、赤外LED62が媒体に対して赤外光を照射し、赤外CMOS63がその反射光を受光することにより、符号画像を読み取る。このようにして、画像取得部611が読み取り画像列を取得する。その際に、画像取得部611は、符号画像にノイズが含まれていればノイズを除去する。
【0053】
次に、ドット配列生成部681、符号配列生成部682、識別情報取得部683及び位置情報取得部684によりデコード(復号)が行われ、デコード結果として、ドキュメントID、X座標及びY座標を取得する。具体的に説明すると、ドット配列生成部681が、符号画像に含まれるドット位置をデジタルデータ化し、ドット配列を生成する。そして、符号配列生成部682が、ドット配列からブロックを検出し、ブロックごとの符号値を格納した符号配列を生成する。そして、符号配列において、同期符号の位置を特定する。その後、識別情報取得部683が、同期符号の位置に基づいて識別符号を検出し、これを復号して識別情報(図中ではドキュメントIDと表示)を取得する。また、位置情報取得部684が、同期符号の位置に基づいて位置符号を検出し、これを復号して位置情報(図中ではX座標及びY座標と表示)を取得し、筆跡情報生成部685が、位置情報を連結して筆記情報としての筆記データを生成する。
こうして取得した識別情報及び筆跡データは、出力部616を介して通信部66に送信され、その後、通信部66により、通信装置70および端末装置50を介して識別情報サーバ30へ送信される。
【0054】
図9は、デジタルペン60の制御部61のハードウェア構成を示す図である。
同図に示すように、制御部61は、機能モジュールとして、デジタルペン60の動作制御を行うに際して予め定められた動作制御プログラム(ファームウェア)に従ってデジタル演算処理を実行する演算手段の一例としてのCPU(Central Processing Unit)101と、CPU101の作業用メモリ等として用いられるRAM(Random Access Memory)102と、CPU101により実行される処理プログラムや処理プログラムにて用いられる設定値等のデータ等が格納されるROM(Read Only Memory)103と、を備えている。また、制御部61は、書き換え可能で電源供給が途絶えた場合にもデータを保持できるEEPROMやフラッシュメモリ等の不揮発性メモリ104と、制御部61に接続される各部との信号の入出力を制御するインターフェース部105と、を備えている。
また、外部記憶装置106には、制御部61により実行される動作制御プログラムが格納されており、制御部61がこの処理プログラムを読み込むことによって、デジタルペン60に関する動作制御が実行される。
【0055】
すなわち、上記した第1の画像処理部68、第2のデータ画像処理部69、出力部616及び動作制御部613の各機能を実現するプログラムを外部記憶装置106から制御部61内のRAM102に読み込む。そして、RAM102に読み込まれた動作制御プログラムに基づいて、CPU101が各種処理を行う。この動作制御プログラムは、デジタルペン60と通信する例えば端末装置50に備えられたハードディスクやDVD−ROM等がデジタルペン60の外部記憶装置106として機能して、端末装置50から通信回線を介してRAM102にロードされて提供される。また、その他の提供形態として、予めROM103にインストールされた状態にて提供される形態がある。さらに、デジタルペン60がアッセンブリされた後に、動作制御プログラムが不揮発性メモリ104にインストールされ、不揮発性メモリ104からRAM102にロードされる形態がある。また、インターネット等のネットワークを介してデジタルペン60にプログラムが伝送され、RAM102にインストールされる形態がある。
【0056】
ここで、図10は、デジタルペン60が媒体から情報を読み取る状況を説明する図であり、(a)は符号画像読み取りモードにて符号画像を読み取る場合を示し、(b)はバーコード読み取りモードにてバーコードを読み取る場合を示し、(c)はバーコードを説明する図である。
同図の(a)及び(b)に示す媒体には、符号画像とバーコードの両方が付されている。このため、デジタルペン60自身が取得した画像により符号画像を読み取るべきかバーコードを読み取るべきかを判断し、モードの変更を行う。このようなモード変更は、例えばデジタルペン60に、図示しない切り替えスイッチを設け、ユーザによる切り替えスイッチの動作によって行うことも考えられるが、本実施の形態では、そのような切り替えスイッチではなく、取得した画像を基に判断するものである。付言すると、デジタルペン60は、ペン先(ペンの芯)の軸の媒体に対する接地角度αが垂直方向に対してユーザ側から、90度よりも大きく、かつ105度以下になるように設計されている。接地角度αが90度のときには、正反射が発生して画像の読み取りが困難になるためである。なお、デジタルペン60は、本体筐体の軸の媒体に対する接地角度βが垂直方向に対してユーザ側から、90度よりも小さくなるように設計されている。すなわち、β<90度<α≦105度となるようにデジタルペン60が設計されている。
【0057】
同図の(c)に示すように、バーコードは、太いバー、細いバー、広いスペース及び狭いスペースの組み合わせで構成されるバーコードシンボルと、バーコードシンボルの左右に設定される余白部分(クワイエットゾーン)と、を備えている。太いバーの高さと細いバーの高さは互いに同じである。なお、図10に示すバーコードである一次元バーコードの他に、二次元方向に情報をもつ二次元バーコードの場合にも本実施の形態を適用することが可能である。
【0058】
〔第1の実施の形態〕
図11及び図12は、第1の実施の形態に係るデジタルペン60での処理手順を示すフローチャートである。
図11に示すフローチャートでは、モード変更部612は、まず動作制御部613に対して符号画像読み取りモードの設定を指示し(ステップ101)、動作制御部613は、符号画像読み取りモードの内容に設定されるように赤外LED62及び赤外CMOS63に指示する。そして、赤外CMOS63が符号画像読み取りモードにて画像を読み取り(ステップ102)、画像取得部611がその画像をフレーム単位で取得して画像判断部617に転送する。そして、画像判断部617は、その画像に符号画像が含まれているか否かを判断する。すなわち、画像判断部617は、パターンマッチングを行い(ステップ103)、その画像が符号画像か否かを判断し(ステップ104)、判断結果をモード変更部612に通知する。
【0059】
モード変更部612は、画像判断部617により符号画像であると判断されると、画像取得部611に符号画像読み取りモードであることを通知し、ステップ105に進む。なお、モード変更部612は、表示制御部614に対して動作モードが符号画像読み取りモードであることを表示部Hに表示するように指示する。ステップ104にて符号画像ではないと判断された場合の処理手順は、後述する。
【0060】
ドット配列生成部681は、画像取得部611から取得した画像から一部を抜き出し(ステップ105)、かつ、符号画像を二値化してドット配列を生成する(ステップ106)。符号配列生成部682は、同期符号を検出し(ステップ107)、デコードする画像を特定する(ステップ108)。そして、識別情報取得部683は、識別符号を復号して識別情報を取得し、また、位置情報取得部684は、位置符号を検出した後に同期符号により回転歪補正処理を行い(ステップ109)、コード画像処理により位置情報を取得する(ステップ110)。このようにしてデコードを終了し、その後、筆跡情報生成部685は、筆跡情報を生成し、出力部616に出力する。
【0061】
モード変更部612は、デコードが成功したか否かを判断し(ステップ111)、成功したと判断すると、出力部616は、情報メモリ65にデコード結果である筆跡情報を記憶させた後に(ステップ112)、通信部66を介してデコード結果を送信する(ステップ113)。出力部616は、送信が成功したか否かを判断し(ステップ114)、送信ミスであれば、送信ミスであることを表示部Hに表示させ(ステップ115)、ステップ113に戻る。そして、送信成功であれば、出力部616は、情報メモリ65に記憶しているデコード結果を削除し(ステップ116)、一連の処理を終了する。
モード変更部612は、ステップ111においてデコードが成功しなかったと判断すると、デコードミスであることを表示部Hに表示させ(ステップ117)、その後、動作制御部613に対して赤外LED62での光量、発光時間の設定変更を指示し、動作制御部613は、指示に基づいて設定変更を行い(ステップ118)、ステップ105に戻る。
【0062】
ステップ104において画像判断部617により符号画像ではないと判断されると、モード変更部612は、動作制御部613に対してバーコード読み取りモードの設定を指示し(ステップ119)、動作制御部613は、バーコード読み取りモードの内容に設定されるように赤外LED62及び赤外CMOS63に指示する。また、モード変更部612は、表示制御部614に対して動作モードがバーコード読み取りモードであることを表示部Hに表示するように指示する。
【0063】
図12に示すフローチャートは、図11のステップ104において画像判断部617が符号画像ではないと判断した場合のステップ119以降の処理手順を示すものである。
モード変更部612は、画像判断部617により符号画像ではない(バーコード画像である)と判断されると、動作制御部613にバーコード読み取りモードの設定を指示する(ステップ119)。また、モード変更部612は、画像取得部611にバーコード読み取りモードであることを通知し、かつ、表示制御部614に対して動作モードがバーコード読み取りモードであることを表示部Hに表示するように指示する。
【0064】
そして、バーコード上をなぞるように筆記動作がなされ、筆圧検知スイッチSWがオン状態とされると赤外LED62から赤外光が照射されるとともに、赤外CMOS63にて反射光が受光され画像が読み取られる。これにより、画像取得部611は、赤外CMOS63にて読み取られた画像を取得する。更に説明すると、画像取得部611は、赤外CMOS63の全面画像(図6での第1受光領域634参照)を取得すると(ステップ120)、その全面画像を第2の画像処理部69に転送する。第2の画像処理部69の画像合成部691は、暗すぎる乃至明るすぎる等の判定を行い、画像として読み取れるエリアを特定し(ステップ121)、読み取り画像エリアで特定された画像を取得する(ステップ122)。このようにして取得画像から一部を抜き出す。なお、画像読み取りエリアの大きさは、例えば0.125mm×0.125mm以下である。また、例えば0.2mmの読み取り画像幅を2本以上読み取り画像から取得する方法も考えられる。
その後、画像合成部691は、順次抜き出した複数の画像(断片画像)を合成し、バーコードの全体が再現された合成画像を生成し、コード情報取得部692に転送する。
【0065】
コード情報取得部692は、取得した画像の画像濃度を平均化していき(ステップ123)、そのデータを記憶していく(ステップ124)。その後、コード情報取得部692は、記憶しているデータを二値化し(ステップ125)、二値化したデータから波形データを生成する(ステップ126)。このようにして生成した波形データから、バーコードの2つの余白部分を把握し、それらの余白部分に挟まれたデータをバーコードシンボルとして認識し、デコードし(ステップ127)、デコード結果をバーコード情報として出力部616に出力する。
【0066】
モード変更部612は、デコードが成功したか否かを判断し(ステップ128)、成功したと判断すると、ステップ112に進み、デコードが成功しなかったと判断すると、デコードミスであることを表示部Hに表示させ(ステップ129)、その後、動作制御部613に対して赤外LED62での光量、発光時間の設定変更を指示し、動作制御部613は、指示に基づいて設定変更を行い(ステップ130)、ステップ120に戻る。
【0067】
〔第2の実施の形態〕
図13及び図14は、第2の実施の形態に係るデジタルペン60での処理手順を示すフローチャートである。
図13に示すフローチャートでは、赤外CMOS63が符号画像読み取りモードにて画像を読み取ると(ステップ201)、画像取得部611がその画像をフレーム単位で取得して画像判断部617に転送する。そして、画像判断部617は、その画像について画像濃度を測定し(ステップ202)、測定結果によってその画像がバーコード画像か否かを判断する(ステップ203)。具体的に説明すると、例えば、赤外LED62の波長が700nm以上ないし800nm以上の場合に、反射率のコントラスト(PCS:Print Contrast Signal)の平均値が0.1(0.3×33=0.1)以上であれば、画像判断部617は、取得した画像がバーコードであると判断し、0.1未満(PCS×10%=0.085〜0.1)であれば取得した画像は符号画像であると判断する。画像判断部617は、判断結果をモード変更部612に通知する。
【0068】
モード変更部612は、画像判断部617によりバーコード画像ではないと判断されると、動作制御部613に対して符号画像読み取りモードの設定を指示し(ステップ204)、動作制御部613は、符号画像読み取りモードの内容に設定されるように赤外LED62及び赤外CMOS63に指示し、ステップ205に進む。また、モード変更部612は、画像判断部617によりバーコード画像であると判断されると、ステップ219に進む。
ここで、図13に示すステップ205〜218は、図11に示すステップ105〜118と同じものゆえ、その説明を省略する。また、図14に示すステップ219〜230は、図12に示すステップ119〜130と同じものゆえ、その説明を省略する。
【図面の簡単な説明】
【0069】
【図1】本実施の形態の筆跡情報管理システムの構成の一例を示す図である。
【図2】文書サーバの機能構成の一例を示すブロック図である。
【図3】符号画像を構成する画像等の一例を示す図である。
【図4】識別情報サーバの機能構成の一例を示すブロック図である。
【図5】デジタルペンの構成を説明する図である。
【図6】デジタルペンにおける赤外CMOSの構成を示す図である。
【図7】制御部の機能構成の一例を示すブロック図である。
【図8】符号画像読み取りモードにおいて、筆跡情報の取得までの動作を概念的に示したものである。
【図9】デジタルペンの制御部のハードウェア構成を示す図である。
【図10】(a)は符号画像読み取りモードにて符号画像を読み取る場合を示し、(b)はバーコード読み取りモードにてバーコードを読み取る場合を示し、(c)はバーコードを説明する図である。
【図11】第1の実施の形態に係るデジタルペンでの処理手順を示すフローチャートである。
【図12】第1の実施の形態に係るデジタルペンでの処理手順を示すフローチャートである。
【図13】第2の実施の形態に係るデジタルペンでの処理手順を示すフローチャートである。
【図14】第2の実施の形態に係るデジタルペンでの処理手順を示すフローチャートである。
【符号の説明】
【0070】
60…デジタルペン、61…制御部、611…画像取得部、612…モード変更部、613…動作制御部、617…画像判断部、62…赤外LED、63…赤外CMOS、65…情報メモリ、68…第1の画像処理部、69…第2の画像処理部
【技術分野】
【0001】
本発明は、電子筆記具、画像読み取り装置及びプログラムに関するものである。
【背景技術】
【0002】
例えば、特許文献1には、オーディオ情報、映像情報、ディジタルコードデータの少なくとも1つを含むマルチメディア情報が光学的に読み取り可能なドットコードで記録されている部分を備えた記録媒体から、そのドットコードを光学的に読み取る像読み取り装置が開示されている。この像読み取り装置は、少なくとも1面の反射作用を有する反射面を備え、その反射面の面形状がその面内及び面外共に回転対称軸を有さない回転非対称な曲面からなる読み取り光学系と、読み取り光学系により形成される物体面の結像面上に位置した撮像素子と、を有するものである。
また、特許文献2には、階層構造の動作設定項目を有する操作入力装置および画像形成装置において、操作性よく動作設定項目を選択指示することを可能にするための構成が開示されている。すなわち、特許文献2には、階層構造の動作設定項目を有し、該階層の特定を受けてこの特定階層に含まれる動作設定項目に対する操作を受け付ける操作部と、前記動作設定項目の1以上に対し、階層の特定を必要とすることなく該動作設定項目に対する操作指示を受け付ける指示入力部と、を備えることを特徴とする操作入力装置が開示されている。より具体的には、この操作部は例えばタッチパネルで構成され、指示入力部は例えばバーコードリーダで構成される。
【0003】
【特許文献1】特開平10−3511号公報
【特許文献2】特開2003−345506号公報(図2及び図9)
【発明の開示】
【発明が解決しようとする課題】
【0004】
ここで、異なる2種類の符号画像を関連付けて情報管理する場合には、各々の符号画像を読み取るための装置が2つ必要になる。また、これら2つの符号画像を1つの読み取り装置で読み取り可能にすると、どちらの符号画像を読み取るべきかの指示をユーザがスイッチの操作により行うことが必要になる。
【0005】
本発明は、異なる2種類の符号画像のいずれか一方を読み取る際の切り替えについてユーザの負担を軽減することが可能な電子筆記具、画像読み取り装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
請求項1に記載の発明は、所定の照射条件で媒体を照射する照射部と、前記照射部により照射された媒体上の画像を所定の撮像条件で撮像する撮像部と、前記撮像部にて撮像される前記画像から、前記媒体上に所定間隔で配列された同期符号を含む第1の画像を検出し、当該第1の画像から所定の情報を取り出す第1の処理部と、前記撮像部にて撮像される前記画像から、バーコードを構成する第2の画像を検出し、当該第2の画像から所定の情報を取り出す第2の処理部と、前記撮像部により撮像される前記画像を取り込み、取り込まれた当該画像から前記第1の処理部または前記第2の処理部を選択する選択手段と、を含む電子筆記具である。
請求項2に記載の発明は、前記選択手段は、取り込まれた前記画像について所定の情報を用いてパターンマッチングを施すことにより当該画像が前記第1の画像か否かを判断し、前記選択をすることを特徴とする請求項1に記載の電子筆記具である。
請求項3に記載の発明は、前記選択手段は、取り込まれた前記画像に前記同期符号が含まれているか否かを判断し、当該画像に当該同期符号が含まれているときに前記第1の処理部を選択することを特徴とする請求項2に記載の電子筆記具である。
請求項4に記載の発明は、前記選択手段は、取り込まれた前記画像の画像濃度を取得し、当該画像濃度を基に当該画像が前記第2の画像か否かの判断をし、前記選択をすることを特徴とする請求項1に記載の電子筆記具である。
請求項5に記載の発明は、前記照射部は、前記第1の画像を撮像する場合と前記第2の画像を撮像する場合とで互いに異なる前記所定の照射条件が設定され、前記撮像部は、前記第1の画像を撮像する場合と前記第2の画像を撮像する場合とで互いに異なる前記所定の撮像条件が設定され、前記選択手段に取り込まれる前記画像を撮像する際に、前記照射部は、前記第1の画像を撮像する場合の前記所定の照射条件に設定され、かつ、前記撮像部は、前記第1の画像を撮像する場合の前記所定の撮像条件に設定されることを特徴とする請求項1ないし4のいずれか1項に記載の電子筆記具である。
請求項6に記載の発明は、前記撮像部は、複数の受光素子が2次元マトリックス状に配列されたもので構成され、前記撮像部は、前記第1の画像を撮像する場合と前記第2の画像を撮像する場合とで、大きさが異なる領域の画像を出力するように前記所定の撮像条件が設定されることを特徴とする請求項1ないし5のいずれか1項に記載の電子筆記具である。
【0007】
請求項7に記載の発明は、ユーザが把持し媒体上で操作する本体部と、前記本体部に設けられ、所定の照射条件で媒体を照射する照射部と、前記本体部に設けられ、前記照射部により照射された媒体上の画像を所定の撮像条件で撮像する撮像部と、前記撮像部により撮像される前記画像を取り込み、取り込まれた当該画像から当該画像がドットコードであるかバーコードであるかを判断する判断手段と、前記判断手段による判断結果により、前記照射部の照射条件および前記撮像部の撮像条件を設定する設定手段と、を含む画像読み取り装置である。
請求項8に記載の発明は、前記判断手段は、前記撮像部により撮像される前記画像についてパターンマッチングを施すことにより当該画像が前記ドットコードであるか否かを判断することを特徴とする請求項7に記載の画像読み取り装置である。
請求項9に記載の発明は、前記判断手段は、前記撮像部により撮像される前記画像の画像濃度を測定し、当該画像濃度を基に当該画像が前記バーコードであるか否かを判断することを特徴とする請求項7に記載の画像読み取り装置である。
【0008】
請求項10に記載の発明は、所定の照射条件で媒体を照射する照射部と、当該照射部により照射された媒体上の画像を所定の撮像条件で撮像する撮像部と、を含む電子筆記具が備えるコンピュータに、前記撮像部にて撮像される前記画像から、前記媒体上に所定間隔で配列された同期符号を含む第1の画像を検出し、当該第1の画像から所定の情報を取り出す第1の処理機能と、前記撮像部にて撮像される前記画像から、バーコードを構成する第2の画像を検出し、当該第2の画像から所定の情報を取り出す第2の処理機能と、前記撮像部により撮像される前記画像を取り込み、取り込まれた当該画像から前記第1の処理機能または前記第2の処理機能を選択する選択機能と、を実現させるプログラムである。
請求項11に記載の発明は、前記選択機能は、取り込まれた前記画像について所定の情報を用いてパターンマッチングすることで当該画像が前記第1の画像か否かを判断し、前記選択をすることを特徴とする請求項10に記載のプログラムである。
請求項12に記載の発明は、前記選択機能は、取り込まれた前記画像の画像濃度を取得し、当該画像濃度を基に当該画像が前記第2の画像か否かの判断をし、前記選択をすることを特徴とする請求項10に記載のプログラムである。
【0009】
請求項13に記載の発明は、ユーザが把持し媒体上で操作する本体部に、所定の照射条件で媒体を照射する照射部と、当該照射部により照射された媒体上の画像を所定の撮像条件で撮像する撮像部と、が設けられた画像読み取り装置が備えるコンピュータに、前記撮像部により撮像される前記画像を取り込み、取り込まれた当該画像から当該画像がドットコードであるかバーコードであるかを判断する判断機能と、前記判断機能による判断結果により、前記照射部の照射条件および前記撮像部の撮像条件を設定する設定機能と、を実現させるプログラムである。
請求項14に記載の発明は、前記判断機能は、前記撮像部により撮像される前記画像をパターンマッチングにより当該画像が前記ドットコードであるか否かを判断することを特徴とする請求項13に記載のプログラムである。
請求項15に記載の発明は、前記判断機能は、前記撮像部により撮像される前記画像の画像濃度を取得し、当該画像濃度を基に当該画像が前記バーコードであるか否かを判断することを特徴とする請求項13に記載のプログラムである。
【発明の効果】
【0010】
請求項1によれば、第1の画像と第2の画像のいずれか一方を読み取る際の切り替えについてユーザの負担を軽減することが可能になる。
請求項2によれば、選択手段による第1の処理部又は第2の処理部の選択を行う際の判断の精度を適切に制御することが可能になる。
請求項3によれば、選択手段に取り込まれた画像に第1の画像が含まれていることの認識精度を向上させることが可能になる。
請求項4によれば、選択手段に取り込まれた画像に第2の画像が含まれていることの認識精度を向上させることが可能になる。
請求項5によれば、選択手段に取り込まれた画像に第1の画像が含まれていることの認識精度を向上させることが可能になる。
請求項6によれば、第1ないし第2の処理部及び選択手段が必要な大きさの画像を取り込むことが可能になる。
請求項7によれば、ドットコードとバーコードのいずれか一方を読み取る際の切り替えについてユーザの負担を軽減することが可能になる。
請求項8によれば、判断手段による判断の精度を適切に制御することが可能になる。
請求項9によれば、判断手段に取り込まれた画像がバーコードであることの認識精度を向上させることが可能になる。
請求項10によれば、第1の画像と第2の画像のいずれか一方を読み取る際の切り替えについてユーザの負担を軽減することが可能になる。
請求項11によれば、選択機能による第1の処理部又は第2の処理部の選択を行う際の判断の精度を適切に制御することが可能になる。
請求項12によれば、選択機能に取り込まれた画像に第2の画像が含まれていることの認識精度を向上させることが可能になる。
請求項13によれば、ドットコードとバーコードのいずれか一方を読み取る際の切り替えについてユーザの負担を軽減することが可能になる。
請求項14によれば、判断機能による判断の精度を適切に制御することが可能になる。
請求項15によれば、判断機能に取り込まれた画像がバーコードであることの認識精度を向上させることが可能になる。
【発明を実施するための最良の形態】
【0011】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
まず、本実施の形態における筆跡情報管理システムの全体構成について説明する。
図1は、本実施の形態の筆跡情報管理システムの構成の一例を示す図である。同図に示すように、この筆跡情報管理システムは、端末装置10と、情報管理装置の一例としての文書サーバ20と、情報管理装置の一例としての識別情報サーバ30と、画像形成装置40と、端末装置50とがネットワーク80に接続されることにより構成されている。また、端末装置50には、デジタルペン60が通信装置70を介して接続されている。
【0012】
本実施の形態の筆跡情報管理システムでは、端末装置10から電子文書の印刷要求が行われると、文書サーバ20は端末装置10からの印刷要求を受け取り、画像形成装置40に対して印刷要求の対象となった電子文書の印刷指示を行う。それにより、画像形成装置40は、この電子文書の文書画像を紙等の媒体に印刷するが、その際に、画像形成装置40は文書画像に加えて符号画像を媒体上に印刷する。
【0013】
ここでの符号画像とは、識別情報および位置情報を符号化して得られる識別符号および位置符号を画像化したものであり、ドットコードないしドットパターン(第1の画像)ということもできる。識別情報とは、媒体を一意に特定するための情報であり、本実施の形態では識別情報サーバ30が発行する。また、位置情報は、媒体上の座標位置を特定するための情報であり、本実施の形態では文書サーバ20が生成する。
そして、文書画像と符号画像とが印刷された媒体に対し、ユーザがデジタルペン60を用いて筆記すると、デジタルペン60は符号画像に含まれる位置情報に基づいて手書き情報(筆跡情報)を生成する。またそれと同時に、デジタルペン60は符号画像に含まれる識別情報を認識する。そして、認識された識別情報と筆跡情報とは、端末装置50を介して文書サーバ20に送られる。識別情報と筆跡情報とを受け取った文書サーバ20は、識別情報に基づいて媒体に印刷された電子文書を特定し、この特定された電子文書と筆跡情報とを関連付けて記憶する。
【0014】
なお、本明細書では、媒体に記録する画像の元となる電子データを「電子文書」と表記するが、これは、テキストを含む「文書」を電子化したデータのみを意味するものではない。例えば、絵、写真、図形等の画像データ(ラスタデータかベクターデータかによらない)、データベース管理ソフトウェアや表計算ソフトウェアで記録されるデータ、その他の印刷可能な電子データも含めて「電子文書」としている。
また、本明細書において、「媒体」は、画像を印刷可能な媒体であれば、その材質は問わない。代表例は紙であるが、OHPシート等といったプラスチックシートや金属板等であっても構わない。
さらに、本明細書では、電子文書、媒体、さらにはデジタルペン60やユーザについて、それぞれを一意に識別するための識別情報を用いて処理を行うが、単に「識別情報」という場合には、媒体に関する識別情報を意味するものとする。すなわち、本実施の形態では、媒体に固有に付与される媒体識別情報の一例として、この識別情報を用いる。
【0015】
続いて、本実施の形態の筆跡情報管理システムを構成する各構成要素について詳細に説明する。
端末装置10は、文書サーバ20に対して電子文書の印刷を要求するコンピュータ装置である。ここで、端末装置10としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータが用いられる。
文書サーバ20は、電子文書を記憶し管理するコンピュータ装置である。また、端末装置10から電子文書の印刷要求があると、電子文書の画像と、識別情報および位置情報を表す符号画像とを生成し、これらを合成した合成画像を媒体に印刷する印刷命令を画像形成装置40に対して出力する。ここで、文書サーバ20としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータが用いられる。
【0016】
識別情報サーバ30は、媒体に付与する識別情報を発行するコンピュータ装置である。そして、発行した識別情報を、その識別情報が付与される媒体に印刷される電子文書と関連付けて記憶する。ここで、識別情報サーバ30としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータが用いられる。
画像形成装置40は、媒体に画像を印刷し、印刷文書として出力する装置である。この画像形成装置40は、単体のプリンタや印刷機であってもよいし、他にスキャナや通信の機能を備えた所謂「複合機」であってもよい。ここで、画像形成装置40における画像形成方式としては、例えば、電子写真方式を用いるとよいが、その他の方式を用いてもよい。
【0017】
端末装置50は、印刷文書に対する筆記を電子化した情報(以下、「筆跡情報」という)を、印刷文書に記録された画像の元となる電子文書に反映させるために識別情報サーバ30に送信するコンピュータ装置である。また、筆跡情報を反映する対象の電子文書をディスプレイ等の表示部(不図示)に表示し、その上に筆跡情報を重ねて表示するようにしてもよい。ここで、端末装置50としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータが用いられる。なお、本実施の形態では、筆記の内容を電子化した筆跡情報の一例として、筆跡情報を用いている。また、筆跡情報を主に手書き情報として説明するが、これに限らず、例えば、建築や機械等の図面データを出力する装置であるプロッタ等によって機械的に描画された情報等を含むものである。
【0018】
デジタルペン60は、印刷文書上に文字または図形を筆記するために用いられる電子筆記具の一例としてのペンデバイスである。また、媒体に印刷された符号画像やバーコードを読み取る撮像素子を備える。そして、撮像素子で読み取った符号画像から位置情報を検出し、筆記した文字または図形をイメージデータ化した筆跡情報をこの位置情報に基づいて生成し記憶等する。また、撮像素子から読み取った画像からバーコード情報を取得し記憶等する。
通信装置70は、デジタルペン60から筆跡情報やバーコード情報を取得して端末装置50に送信する装置である。通信装置70とデジタルペン60との間の通信の方式および通信装置70と端末装置50との間の通信の方式としては、USB(Universal Serial Bus)、Bluetooth(登録商標)、赤外線通信機能等、種々の方式が用いられる。なお、図1では、通信装置70をデジタルペン60と別体のものとして示しているが、必ずしも別体である必要はなく、一体に構成してもよい。
【0019】
引き続いて、筆跡情報管理システムを構成する各構成要素の詳細を説明する。
まず、文書サーバ20の構成について説明する。
図2は、文書サーバ20の機能構成の一例を示すブロック図である。同図に示すように、文書サーバ20は、受信部21と、識別情報取得部22と、電子文書管理部23と、筆跡情報管理部24と、文書/筆跡情報記憶部25とを備える。また、識別符号生成部27aと、位置符号生成部27bと、符号配置部27cと、パターン画像記憶部27dと、符号画像生成部27eとを備える。さらに、文書画像生成部26と、画像合成部28と、送信部29とを備える。
【0020】
受信部21は、端末装置10から印刷要求を受信する。ここで、印刷要求には、電子文書に加えて、印刷対象となる電子文書の識別情報(以下、「文書ID」という)と、印刷される媒体上での電子文書のレイアウトを定めるための各種設定(以下、「印刷設定」という)とが含まれる。文書IDは、端末装置10にて電子文書毎に付与されるが、文書サーバ20にて付与してもよい。また、受信部21は、印刷文書が印刷される媒体に固有に付与される識別情報を識別情報サーバ30から受信する。さらに、印刷文書に対する筆記が行われた際には、識別情報サーバ30から、印刷文書に埋め込まれた識別情報と、印刷文書に対する筆記の内容(筆記画像)を電子化した筆跡情報とを受信する。
識別情報取得部22は、受信部21から文書IDおよび印刷設定を取得し、これを送信部29に渡して識別情報の発行要求の送信を指示し、これを文書画像生成部26に渡して文書画像の生成を指示する。また、受信部21から媒体の識別情報を取得し、これを識別符号生成部27aに渡して識別符号の生成を指示する。
【0021】
電子文書管理部23は、受信部21が受信した識別情報と電子文書とを取得し、文書IDに基づき両者を対応付けて文書/筆跡情報記憶部25に登録する。また、文書/筆跡情報記憶部25に記憶された電子文書についての、印刷設定に従って媒体上に印刷された状態を反映した新たな電子文書(第2の電子文書)を生成し、生成された第2の電子文書を文書/筆跡情報記憶部25に記憶する。さらに、電子文書の表示や印刷が指示された際には、対応する識別情報と電子文書とを、文書/筆跡情報記憶部25から取り出す。
【0022】
筆跡情報管理部24は、受信部21が受信した識別情報と筆跡情報とを取得し、識別情報に基づき筆跡情報を電子文書に対応付けて文書/筆跡情報記憶部25に登録する。また、筆跡情報の表示が指示された際には、対応する識別情報と筆跡情報とを、文書/筆跡情報記憶部25から取り出す。
文書/筆跡情報記憶部25は、電子文書管理部23によって管理される電子文書と、筆跡情報管理部24によって管理される筆跡情報とを記憶する。ここで、本実施の形態では、識別情報と電子文書と筆跡情報とを関連付けて記憶する記憶手段の一例として、文書/筆跡情報記憶部25を設けている。
【0023】
識別符号生成部27aは、媒体を特定する識別情報を符号化して識別符号を生成する。
位置符号生成部27bは、媒体上の座標位置を示す位置情報を符号化して位置符号を生成する。
符号配置部27cは、識別符号生成部27aにて生成された識別符号や、位置符号生成部27bにて生成された位置符号等を所定のレイアウト(後段の図3参照)に従って2次元平面に配置し2次元の符号配列を生成する。
パターン画像記憶部27dは、符号配列に格納される各符号の符号値に対応するパターン画像を記憶する。
符号画像生成部27eは、符号配置部27cが生成した2次元の符号配列を参照し、各符号値に対応したパターン画像を選択して符号画像を生成する。
【0024】
文書画像生成部26は、識別情報取得部22から文書IDおよび印刷設定を取得し、この文書IDで特定される電子文書を文書/筆跡情報記憶部25から読み出す。そして、印刷設定に従ってその電子文書の文書画像を生成する。
画像合成部28は、符号画像生成部27eが生成した符号画像と、文書画像生成部26が生成した文書画像とを合成し、合成画像を生成する。
送信部29は、識別情報サーバ30に対して識別情報の発行要求を送信する。また、画像形成装置40に対して媒体に対する画像の印刷命令を送信する。さらに、筆跡情報の表示が指示された際には、識別情報サーバ30に対して識別情報と筆跡情報とを送信する。
【0025】
ここで、本実施の形態の文書サーバ20で生成される符号画像について説明する。
図3は、符号画像を構成する画像等の一例を示す図である。まず、符号画像を構成する単位パターンについて説明する。同3の(a)は、単位パターンの一例を示したものである。
単位パターンとは、情報埋め込みの最小単位である。図3の(a)では、黒塗りの領域と斜線の領域をドット配置可能な領域とし、その間にある白色の領域をドット配置不可能な領域としている。そして、ドット配置可能な領域のうち、黒塗りの領域にドットが配置され、斜線の領域にはドットが配置されていないことを示している。すなわち、図3の(a)は、ドットを配置可能な9箇所の中から選択した2箇所(黒塗りの領域)にドットを配置することで単位パターンを構成した例を示したものである。ここで、9箇所の中から2箇所を選択する組み合わせは36(=9C2)通りなので、単位パターンは、36種類存在する。このうち、4種類の単位パターンは、同期パターン(同期符号)として使用される。同期パターンとは、画像の回転を検出したり、識別符号および位置符号の相対的な位置を特定したりするためのパターンである。特に、画像の回転を検出する必要があることから、4種類の同期パターンとしては、そのうちの1つの同期パターンを90度回転するとそのうちの別の同期パターンになるようなものが選ばれる。また、この4種類の単位パターンを除く32種類の単位パターンは、識別符号および位置符号を表現する情報パターンとして使用され、5ビットの情報が表現される。
【0026】
ところで、図3の(a)に示すドットは、あくまで情報表現のためのドットであり、画像を構成する最小の点を意味するドットとは必ずしも一致しない。本実施の形態において、情報表現のためのドット(図3の(a)の最小の四角)は、600dpiにおける2ドット×2ドットの大きさを有している。600dpiにおける1ドットの大きさは0.0423mmなので、情報表現のためのドット(図3の(a)の最小の四角)の一辺は、84.6μm(=0.0423mm×2)である。情報表現のためのドットは、大きくなればなるほど目に付きやすくなるため、できるだけ小さいほうが好ましい。ところが、あまり小さくすると、プリンタで印刷できなくなってしまう。そこで、情報表現のためのドットの大きさとして、50μmより大きく100μmより小さい上記の値を採用している。ただし、上記の値84.6μmは、あくまで計算上の数値であり、実際に印刷されたトナー像では100μm程度になる。なお、本明細書で「ドット」というときは、特に明示しない限り、画像を構成する最小の点を意味するドットではなく、情報表現のためのドットを指すものとする。
【0027】
次に、このような単位パターンから構成される符号ブロックについて説明する。図3の(b)に、符号ブロックのレイアウトの一例を示す。なお、ここでは、画像ではなく、パターン画像によって置き換えられる直前の符号配列で示している。すなわち、図3の(b)の最小の四角(以下、「単位ブロック」という)に、図3の(a)のような単位パターン(36通りの単位パターンのいずれか)が配置され、その画像が媒体に形成されることになる。
図3の(b)のレイアウトでは、符号ブロックの左上の1つの単位ブロックに、同期符号が配置されている。また、同期符号が配置された単位ブロックの右側の4つの単位ブロックにX位置符号が配置され、同期符号が配置された単位ブロックの下側の4つの単位ブロックにY位置符号が配置されている。さらに、これらの位置符号が配置された単位ブロックに囲まれた16(=4×4)個の単位ブロックに識別符号が配置されている。
【0028】
ここで、識別情報の符号化について述べる。
識別情報を符号化する場合、識別情報を構成するビット列は、RS符号化を行うために複数のブロックに分割される。符号化には、いくつかの方法があるが、本実施の形態では、RS符号化が適している。RS符号は多値の符号法であり、この場合、単位ブロックで表現される値がRS符号の多値に対応するからである。例えば、1つの単位ブロックで5ビットの情報を表現する場合、60ビットの識別情報は、ブロック長が5ビットの12個のブロックに分割される。そして、2ブロックの誤りを訂正可能なRS符号を採用したとすると、符号長は16ブロックとなり、図3の(b)の符号ブロックにおける識別符号が配置される単位ブロックに収まることになる。なお、符号化方式はRS符号に限定するものでなく、その他の符号化方式、例えば、BCH符号等を使用してもよい。
【0029】
引き続いて、位置情報の符号化について述べる。
位置情報の符号化には、擬似乱数系列の一種であるM系列符号が使用される。ここで、M系列とは、ある長さのシフトレジスタとフィードバックによって生成される符号系列とのうち、その周期が最長になる系列をいう。Kをシフトレジスタの段数とすると、M系列の系列長は2K−1となる。このM系列から取り出した任意の連続したKビットは、同じM系列中の他の位置に現れない性質を持つ。そこで、この性質を利用して位置情報を符号化する。
ところで、本実施の形態では、符号化すべき位置情報の長さから、必要なM系列の次数を求め、M系列を生成している。しかしながら、符号化する位置情報の長さが予め分かっている場合は、M系列を毎回生成する必要はない。すなわち、固定のM系列を予め生成しておき、それをメモリ等に格納しておけばよい。
例えば、系列長8191のM系列(K=13)を使用したとする。この場合、位置符号も5ビット単位で埋め込むため、系列長8191のM系列から5ビットずつ取り出してブロック化する。
【0030】
なお、本明細書では、説明を簡単にするために、識別情報と位置情報とは明確に区別して用いている。しかしながら、広範な位置情報を用意しておき、媒体ごとに異なる範囲から位置情報を切り出して埋め込み、位置情報の違いによって媒体を識別するという手法もある。そこで、このような手法においては、媒体を識別する機能が位置情報に備わっているものと見て、位置情報を識別情報としても考えるものとする。
【0031】
次に、識別情報サーバ30の構成について説明する。
図4は、識別情報サーバ30の機能構成の一例を示すブロック図である。同図に示すように、識別情報サーバ30は、受信部31と、識別情報管理部32と、識別情報記憶部33と、表示情報生成部34と、送信部39とを備える。
受信部31は、文書サーバ20から識別情報の発行要求を受信する。また、受信部31は、印刷文書に対する筆記が行われた際には、媒体の識別情報と筆跡情報とを端末装置50から受信する。ここで、本実施の形態では、端末装置50から媒体の識別情報と筆跡情報とを受信し、さらに筆跡情報の表示が指示された際に、文書サーバ20から媒体の識別情報と筆跡情報とを受信する受信手段の一例として、受信部31を設けている。
【0032】
識別情報管理部32は、識別情報の発行要求があると、識別情報を重複することなく発行し、その際に指定された文書IDおよび印刷設定を識別情報に関連付けて記憶する。また、識別情報の指定を受けて、その識別情報に対応する文書IDおよび印刷設定を取り出す。
識別情報記憶部33は、識別情報を、その使用/未使用の状態、それが付与された媒体に印刷された電子文書の文書ID、それが付与された媒体に電子文書が印刷された際の印刷設定を関連付けて記憶するデータベースである。
表示情報生成部34は、筆跡情報の表示が指示された際に、文書サーバ20から取得した情報に基づいて、筆跡情報を表示するための表示情報を生成する。この表示情報としては、例えば、端末装置50で表示するイメージを生成する元となるデータを生成する。
送信部39は、文書サーバ20からの要求に応じて発行した識別情報を文書サーバ20に送信する。また、印刷文書に対する筆記が行われた際には、媒体の識別情報と筆跡情報とを文書サーバ20に送信する。さらに、筆跡情報の表示が指示された際には、端末装置50に対して表示情報を送信する。
【0033】
次に、デジタルペン60について説明する。
図5は、デジタルペン60の構成を説明する図である。同図に示すように、デジタルペン60は、本体筐体内部に、媒体に筆記を行う筆記部の一例としてのペンチップ64と、ペン全体の動作を制御する制御部61と、媒体上に赤外光を照射する照射部の一例としての赤外LED(Light Emitting Diode)62と、媒体からの反射光を検知することによって符号画像を読み取って符号画像を取得する符号画像取得部の一例及び光電変換部の一例としての赤外CMOS(Complementary Metal Oxide Semiconductor)(撮像部)63と、識別情報や筆跡情報、位置情報等を記憶したり赤外CMOS63による出力を記憶したりする記憶部の一例としての情報メモリ65と、外部装置と通信する通信部66と、を備えている。さらには、デジタルペン60は、デジタルペン60の各部を駆動するための電力を供給する充電可能なバッテリ67を備えている。
【0034】
また、デジタルペン60は、ユーザが把持して媒体上で行う各種操作に対応した信号を出力する信号出力手段の一例として、デジタルペン60による筆記操作等をペンチップ64に加わる圧力(筆圧)によって検知する筆圧検知スイッチSWを備えている。筆圧検知スイッチSWは本体筐体内部に設けられている。
また、デジタルペン60は、外部に対して所定の情報を表示するための表示部Hを備えている。この表示部Hとしては、例えば青色や赤色等を発光するLEDで構成することが考えられる。
そして、赤外LED62、赤外CMOS63、情報メモリ65、通信部66、さらには筆圧検知スイッチSW及び表示部Hは、制御部61に接続されている。
【0035】
制御部61は、読み取った符号画像を処理する第1の画像処理部(第1の処理部)68と、読み取った画像(バーコード、第2の画像)を処理しバーコード情報を取得する第2の画像処理部(第2の処理部)69と、を備える。すなわち、デジタルペン60は、符号画像をデコードするデコーダとバーコード画像をデコードするデコーダとを併有する。
【0036】
赤外LED62は、700〜1000μmの波長の赤外光を出射する複数のLED(Light Emitting Diode)で構成されている。そして、後述する制御部61内の動作制御部613から送信される駆動信号に基づいてパルス点灯する。更に説明すると、赤外LED62は、動作制御部613の制御により、複数のLEDのすべてをパルス点灯し、また、複数のLEDの一部をパルス点灯する。また、赤外LED62は、動作制御部613の制御により、所定の駆動周波数、所定の駆動パルス幅及び駆動電流でパルス点灯する。このように、赤外LED62での露光方法や照明の切替えが動作制御部613により行われる。すなわち、赤外LED62の照明範囲を広く又は狭くし、また、発光の持続時間や間隔、照度等が制御される。
なお、赤外LED62を、互いに異なる波長の赤外光を出射する複数のLEDで構成することも考えられる。また、赤外LED62を、赤外光の照射方向が互いに異なる複数のLEDで構成することも考えられる。また、赤外LED62を、発光量を調整可能な1つのLEDで構成することも考えられる。
【0037】
赤外CMOS63は、反射光を検知することによって符号画像等を読み取るものであり、信号の読み出しを行う受光素子(画素)を選択するように赤外CMOS63を駆動する水平走査回路および垂直走査回路(いずれも不図示)を介して画像取得部611(図7参照)に接続される。また、赤外CMOS63は、フォトダイオードなどの複数の受光素子(セル)が2次元マトリックス状に配列されており、媒体上の画像を撮像する撮像部として機能している。更に説明すると、赤外CMOS63は、赤外領域に感度があるCMOSセンサ(Complementary Metal Oxide Semiconductor)であって、撮像した画像を同時に転送できるグローバルシャッタ方式を用いている。赤外CMOS63は、シャッタースピードを可変に構成されている。また、赤外CMOS63は、1fps〜100fps(frame per second)程度の周期(フレームレート)で送信される画像取込信号に同期して、媒体に印刷された符号画像をフレーム単位で撮像する。なお、「フレーム」とは、赤外CMOS63が1回で撮像する媒体上の領域(撮像領域)である。そして、1フレームから符号画像に関する所定のデータ長からなるデータ群が生成される。また、画像取込信号は、動作制御部613にて生成され、赤外CMOS63に送信される。
【0038】
通信部66は、端末装置50と通信を行い、識別情報と、筆跡情報または位置情報とを端末装置50に送信する。なお、通信部66が端末装置50とUSBケーブルで接続される方式を用いる場合には、USBケーブルを介して端末装置50から電力供給を受けるように構成してもよい。さらに、USBケーブルを介して供給される電力によりバッテリ67を充電するように構成してもよい。
【0039】
図6は、デジタルペン60における赤外CMOS63の構成を示す図である。
同図に示すように、赤外CMOS63は、赤外CMOSチップ631と、赤外CMOSチップ631と電気的に接続されるリードフレーム632と、これら赤外CMOSチップ631及びリードフレーム632とを樹脂モールドにて一体化するパッケージ部633とを備えている。
赤外CMOSチップ631には多数のフォトトランジスタ(光電変換素子)が縦方向及び横方向にマトリクス状に配列されている。そして、赤外CMOSチップ631では、受光データの出力をセル毎に選択する、所謂XYアドレス方式によって受光データの出力を行う。このため、赤外CMOS63は、ランダムアクセスの一機能である注視(ブロックアクセス)や解像度可変(スキップアクセス又はサブサンプリング)を行うことが可能である。すなわち、赤外CMOS63での読み取り範囲(撮像範囲)や解像度を変更することが可能である。具体的には、赤外CMOS63は、動作制御部613の制御により、各セルによる全受光データのうち、例えば第1受光領域634に設けられたセルの受光データや、例えば第1受光領域634よりも狭い第2受光領域635に設けられたセルの受光データが、任意に選択され出力される。また、赤外CMOSチップ631は、動作制御部613の制御により、セルによって構成される全ラインの受光データや、例えば1ラインおきに間引きを行った半分のラインの受光データが任意に選択され出力される。この場合において、前者の出力解像度が例えば600dpiであるとすると、後者の受光データの出力解像度は、前者の出力解像度の半分すなわち300dpiとなる。また、赤外CMOS63は、動作制御部613の制御により、隣り合う複数のセル例えば4つのセルを1画素の信号として出力する。
【0040】
赤外CMOS63は、図5に示すように、赤外LED62から照射され媒体にて反射された赤外反射光を受光する。本実施の形態では、赤外CMOS63が、媒体からの赤外反射光のうち拡散反射光を受光するように構成されている。
【0041】
次に、デジタルペン60に設けられた制御部61について説明する。
図7は、制御部61の機能構成の一例を示すブロック図である。同図に示すように、制御部61は、赤外CMOS63にて読み取った画像を取得し、また、情報メモリ65に一時的に格納した符号画像を読み出して取得する画像取得部611と、画像取得部611により取得した符号画像を処理してその処理結果から識別情報および位置情報を取得し、さらには筆跡情報を生成する第1の画像処理部68と、画像取得部611により取得した画像からバーコードを読み取る第2の画像処理部69と、第1の画像処理部68にて取得・生成された識別情報と筆跡情報または位置情報とを情報メモリ65または通信部66に出力し、また、第2の画像処理部69にて取得されたバーコード情報を情報メモリ65または通信部66に出力する出力部616と、を備えている。
また、制御部61は、動作モードの変更を行うモード変更部(選択手段、判断手段、設定手段)612と、赤外LED62及び赤外CMOS63の制御を行う動作制御部(設定手段)613と、デジタルペン60の表示部Hの動作制御を行う表示制御部614と、ペンの識別情報(ペンID)を記憶するペンIDメモリ615と、赤外CMOS63にて読み取った画像についての判断を行う画像判断部(選択手段、判断手段)617と、を備えている。
【0042】
画像取得部611は、赤外CMOS63により印刷文書から読み取られた画像をフレーム単位で取得する。また、必要に応じて、画像に含まれるノイズを除去する。そして、画像取得部611は、その画像を画像判断部617に転送するほか、モード変更部612の指示により第1の画像処理部68又は第2の画像処理部69に転送する。すなわち、画像取得部611は、取得した符号画像を第1の画像処理部68に転送し、また、取得したバーコード画像を第2の画像処理部69に転送する。
【0043】
第1の画像処理部68には、ドット配列生成部681、符号配列生成部682、識別情報取得部683、位置情報取得部684及び筆跡情報生成部685が備えられる。ドット配列生成部681は、符号画像におけるドットの位置を参照して、1フレーム毎のドット配列を生成する。すなわち、2次元の配列上で、例えば、ドットがある位置に「1」を、ドットがない位置に「0」を記憶することにより、画像として検出したドットをデジタルデータに置き換える(二値化)。そして、この2次元の配列をドット配列として出力する。
【0044】
符号配列生成部682は、ドット配列上で、符号ブロック内の単位パターンに対応するブロックを検出する。具体的には、単位パターンが配置されるブロックと同じ形状および大きさの枠をドット配列上で動かし、枠内のドット数が均等になる位置で枠を固定する。例えば、図3の(a)の単位パターンを用いる場合であれば、3ドット×3ドットに対応する大きさの枠を動かし、枠内に含まれるドット数が2となる位置で枠を固定する。そして、その枠で区切られた各ブロック内のドット位置から定まる符号値を格納した符号配列を生成する。また、この符号配列が生成されると、予め定められた同期符号の符号値を検索することによって、同期符号の位置が特定される。
【0045】
識別情報取得部683は、符号配列から同期符号の位置を基準にして識別符号を検出する。そして、画像生成時にRS符号化処理で用いたパラメータを用いて識別符号を復号し、識別情報をフレーム毎に取得する。
位置情報取得部684は、符号配列から同期符号の位置を基準にして位置符号を検出する。そして、位置符号からM系列の部分系列を取り出し、画像生成時に使用したM系列におけるこの部分系列の位置を参照し、この位置を同期符号によるオフセットで補正した値を位置情報として取得する。なお、オフセットで補正するのは、位置符号の間に同期符号が配置されているためである。
【0046】
筆跡情報生成部685は、筆跡情報生成手段の一例であって、位置情報取得部684が取得した位置情報を連結した筆跡情報をフレーム毎に生成する。ここでの筆跡情報とは、ペンチップ64による筆記(手書き)が行われた際のデジタルペン60のペンチップ64先端の軌跡を連結して電子化したデータである。更に説明すると、筆跡情報には、少なくともデジタルペン60のペン先の軌跡を電子化したデータが含まれるが、これ以外の情報を含んでもよい。ペン先の軌跡以外の情報としては、例えば、筆記した時にペンに設定されていた色の情報や、筆圧の情報等がある。
【0047】
第2の画像処理部69には、画像合成部691及びコード情報取得部692が備えられる。画像合成部691は、順次入力されてくる複数の画像データを合成し合成画像を生成する。コード情報取得部692は、入力されてくる画像データの濃度分布を把握してバーコードを検知(認識)するとともにバーコード情報を取得し、取得したバーコード情報を出力する。その詳細は後述する。
【0048】
モード変更部612は、印刷文書(媒体)から符号画像を読み取るモード(以下、「符号画像読み取りモード」と称する)から、印刷文書からバーコードを読み取るモード(以下、「バーコード読み取りモード」と称する)にモードの変更を行い、又はバーコード読み取りモードから符号画像読み取りモードへとモードの変更を行う。
ここで、符号画像読み取りモードとバーコード読み取りモードとでは各種のパラメータが異なる。各々の一例を示すと、符号画像読み取りモードでは、光源波長が700〜900nm、光源最大出力が400mW、パルス幅が1ms以下、スキャン回数が30〜100fps、読取画像幅が1.5mm以上、分解能が10〜50μm、PCSが0.85以上に設定される。また、バーコード読み取りモードでは、光源波長が640〜880nm、光源最大出力が300μW以上、パルス幅が1.5ms以下、スキャン回数が60fps以上、読取画像幅が1.5mm以下、分解能が0.127mm以下、PCSが0.30以上に設定される。このように、符号画像読み取りモードとバーコード読み取りモードとでは、赤外LED62の照射条件、赤外CMOS63の撮像条件及び第1の画像処理部68と第2の画像処理部69の処理条件を異ならしめている。また、2つのモードで、画像読み取り範囲が異なるように設定することも考えられる。
【0049】
動作制御部613は、上記水平走査回路および垂直走査回路を介して赤外CMOS63の動作を制御する。詳細には、動作制御部613は、上記水平走査回路および垂直走査回路を介して、画素信号の読み出しを行う赤外CMOS63上の受光素子を選択するとともに、選択された受光素子から画素信号が出力されるように赤外CMOS63を制御する。また、動作制御部613は、赤外CMOS63が撮像する際のフレームレートを設定する。
表示制御部614は、表示部Hの動作制御を行う。例えば読み取りモードに応じて表示部Hにおける表示色を変化させる。
【0050】
出力部616は、出力手段の一例であって、識別情報取得部683が取得した識別情報と、筆跡情報生成部685が生成した筆跡情報とを情報メモリ65にフレーム単位で出力する。また、出力部616は、情報メモリ65から識別情報および筆跡情報を読み出し、通信部66に出力する。また、出力部616は、コード情報取得部692が取得したバーコード情報を出力する。
なお、出力部616は、識別情報と、筆跡情報または位置情報とのいずれか一方を情報メモリ65または通信部66に出力するように構成してもよい。
【0051】
画像判断部617は、赤外CMOS63にて最初に読み取った画像について、予め記憶しているデータを用いて符号画像のパターンマッチングを実施することにより画像に符号画像が含まれているか否かを判断し、その判断結果をモード変更部612に通知する。
【0052】
ここで図8は、符号画像読み取りモードにおいて、筆跡情報(筆記データ)の取得までの動作を概念的に示したものである。符号画像読み取り時には、デジタルペン60では、まず、赤外LED62が媒体に対して赤外光を照射し、赤外CMOS63がその反射光を受光することにより、符号画像を読み取る。このようにして、画像取得部611が読み取り画像列を取得する。その際に、画像取得部611は、符号画像にノイズが含まれていればノイズを除去する。
【0053】
次に、ドット配列生成部681、符号配列生成部682、識別情報取得部683及び位置情報取得部684によりデコード(復号)が行われ、デコード結果として、ドキュメントID、X座標及びY座標を取得する。具体的に説明すると、ドット配列生成部681が、符号画像に含まれるドット位置をデジタルデータ化し、ドット配列を生成する。そして、符号配列生成部682が、ドット配列からブロックを検出し、ブロックごとの符号値を格納した符号配列を生成する。そして、符号配列において、同期符号の位置を特定する。その後、識別情報取得部683が、同期符号の位置に基づいて識別符号を検出し、これを復号して識別情報(図中ではドキュメントIDと表示)を取得する。また、位置情報取得部684が、同期符号の位置に基づいて位置符号を検出し、これを復号して位置情報(図中ではX座標及びY座標と表示)を取得し、筆跡情報生成部685が、位置情報を連結して筆記情報としての筆記データを生成する。
こうして取得した識別情報及び筆跡データは、出力部616を介して通信部66に送信され、その後、通信部66により、通信装置70および端末装置50を介して識別情報サーバ30へ送信される。
【0054】
図9は、デジタルペン60の制御部61のハードウェア構成を示す図である。
同図に示すように、制御部61は、機能モジュールとして、デジタルペン60の動作制御を行うに際して予め定められた動作制御プログラム(ファームウェア)に従ってデジタル演算処理を実行する演算手段の一例としてのCPU(Central Processing Unit)101と、CPU101の作業用メモリ等として用いられるRAM(Random Access Memory)102と、CPU101により実行される処理プログラムや処理プログラムにて用いられる設定値等のデータ等が格納されるROM(Read Only Memory)103と、を備えている。また、制御部61は、書き換え可能で電源供給が途絶えた場合にもデータを保持できるEEPROMやフラッシュメモリ等の不揮発性メモリ104と、制御部61に接続される各部との信号の入出力を制御するインターフェース部105と、を備えている。
また、外部記憶装置106には、制御部61により実行される動作制御プログラムが格納されており、制御部61がこの処理プログラムを読み込むことによって、デジタルペン60に関する動作制御が実行される。
【0055】
すなわち、上記した第1の画像処理部68、第2のデータ画像処理部69、出力部616及び動作制御部613の各機能を実現するプログラムを外部記憶装置106から制御部61内のRAM102に読み込む。そして、RAM102に読み込まれた動作制御プログラムに基づいて、CPU101が各種処理を行う。この動作制御プログラムは、デジタルペン60と通信する例えば端末装置50に備えられたハードディスクやDVD−ROM等がデジタルペン60の外部記憶装置106として機能して、端末装置50から通信回線を介してRAM102にロードされて提供される。また、その他の提供形態として、予めROM103にインストールされた状態にて提供される形態がある。さらに、デジタルペン60がアッセンブリされた後に、動作制御プログラムが不揮発性メモリ104にインストールされ、不揮発性メモリ104からRAM102にロードされる形態がある。また、インターネット等のネットワークを介してデジタルペン60にプログラムが伝送され、RAM102にインストールされる形態がある。
【0056】
ここで、図10は、デジタルペン60が媒体から情報を読み取る状況を説明する図であり、(a)は符号画像読み取りモードにて符号画像を読み取る場合を示し、(b)はバーコード読み取りモードにてバーコードを読み取る場合を示し、(c)はバーコードを説明する図である。
同図の(a)及び(b)に示す媒体には、符号画像とバーコードの両方が付されている。このため、デジタルペン60自身が取得した画像により符号画像を読み取るべきかバーコードを読み取るべきかを判断し、モードの変更を行う。このようなモード変更は、例えばデジタルペン60に、図示しない切り替えスイッチを設け、ユーザによる切り替えスイッチの動作によって行うことも考えられるが、本実施の形態では、そのような切り替えスイッチではなく、取得した画像を基に判断するものである。付言すると、デジタルペン60は、ペン先(ペンの芯)の軸の媒体に対する接地角度αが垂直方向に対してユーザ側から、90度よりも大きく、かつ105度以下になるように設計されている。接地角度αが90度のときには、正反射が発生して画像の読み取りが困難になるためである。なお、デジタルペン60は、本体筐体の軸の媒体に対する接地角度βが垂直方向に対してユーザ側から、90度よりも小さくなるように設計されている。すなわち、β<90度<α≦105度となるようにデジタルペン60が設計されている。
【0057】
同図の(c)に示すように、バーコードは、太いバー、細いバー、広いスペース及び狭いスペースの組み合わせで構成されるバーコードシンボルと、バーコードシンボルの左右に設定される余白部分(クワイエットゾーン)と、を備えている。太いバーの高さと細いバーの高さは互いに同じである。なお、図10に示すバーコードである一次元バーコードの他に、二次元方向に情報をもつ二次元バーコードの場合にも本実施の形態を適用することが可能である。
【0058】
〔第1の実施の形態〕
図11及び図12は、第1の実施の形態に係るデジタルペン60での処理手順を示すフローチャートである。
図11に示すフローチャートでは、モード変更部612は、まず動作制御部613に対して符号画像読み取りモードの設定を指示し(ステップ101)、動作制御部613は、符号画像読み取りモードの内容に設定されるように赤外LED62及び赤外CMOS63に指示する。そして、赤外CMOS63が符号画像読み取りモードにて画像を読み取り(ステップ102)、画像取得部611がその画像をフレーム単位で取得して画像判断部617に転送する。そして、画像判断部617は、その画像に符号画像が含まれているか否かを判断する。すなわち、画像判断部617は、パターンマッチングを行い(ステップ103)、その画像が符号画像か否かを判断し(ステップ104)、判断結果をモード変更部612に通知する。
【0059】
モード変更部612は、画像判断部617により符号画像であると判断されると、画像取得部611に符号画像読み取りモードであることを通知し、ステップ105に進む。なお、モード変更部612は、表示制御部614に対して動作モードが符号画像読み取りモードであることを表示部Hに表示するように指示する。ステップ104にて符号画像ではないと判断された場合の処理手順は、後述する。
【0060】
ドット配列生成部681は、画像取得部611から取得した画像から一部を抜き出し(ステップ105)、かつ、符号画像を二値化してドット配列を生成する(ステップ106)。符号配列生成部682は、同期符号を検出し(ステップ107)、デコードする画像を特定する(ステップ108)。そして、識別情報取得部683は、識別符号を復号して識別情報を取得し、また、位置情報取得部684は、位置符号を検出した後に同期符号により回転歪補正処理を行い(ステップ109)、コード画像処理により位置情報を取得する(ステップ110)。このようにしてデコードを終了し、その後、筆跡情報生成部685は、筆跡情報を生成し、出力部616に出力する。
【0061】
モード変更部612は、デコードが成功したか否かを判断し(ステップ111)、成功したと判断すると、出力部616は、情報メモリ65にデコード結果である筆跡情報を記憶させた後に(ステップ112)、通信部66を介してデコード結果を送信する(ステップ113)。出力部616は、送信が成功したか否かを判断し(ステップ114)、送信ミスであれば、送信ミスであることを表示部Hに表示させ(ステップ115)、ステップ113に戻る。そして、送信成功であれば、出力部616は、情報メモリ65に記憶しているデコード結果を削除し(ステップ116)、一連の処理を終了する。
モード変更部612は、ステップ111においてデコードが成功しなかったと判断すると、デコードミスであることを表示部Hに表示させ(ステップ117)、その後、動作制御部613に対して赤外LED62での光量、発光時間の設定変更を指示し、動作制御部613は、指示に基づいて設定変更を行い(ステップ118)、ステップ105に戻る。
【0062】
ステップ104において画像判断部617により符号画像ではないと判断されると、モード変更部612は、動作制御部613に対してバーコード読み取りモードの設定を指示し(ステップ119)、動作制御部613は、バーコード読み取りモードの内容に設定されるように赤外LED62及び赤外CMOS63に指示する。また、モード変更部612は、表示制御部614に対して動作モードがバーコード読み取りモードであることを表示部Hに表示するように指示する。
【0063】
図12に示すフローチャートは、図11のステップ104において画像判断部617が符号画像ではないと判断した場合のステップ119以降の処理手順を示すものである。
モード変更部612は、画像判断部617により符号画像ではない(バーコード画像である)と判断されると、動作制御部613にバーコード読み取りモードの設定を指示する(ステップ119)。また、モード変更部612は、画像取得部611にバーコード読み取りモードであることを通知し、かつ、表示制御部614に対して動作モードがバーコード読み取りモードであることを表示部Hに表示するように指示する。
【0064】
そして、バーコード上をなぞるように筆記動作がなされ、筆圧検知スイッチSWがオン状態とされると赤外LED62から赤外光が照射されるとともに、赤外CMOS63にて反射光が受光され画像が読み取られる。これにより、画像取得部611は、赤外CMOS63にて読み取られた画像を取得する。更に説明すると、画像取得部611は、赤外CMOS63の全面画像(図6での第1受光領域634参照)を取得すると(ステップ120)、その全面画像を第2の画像処理部69に転送する。第2の画像処理部69の画像合成部691は、暗すぎる乃至明るすぎる等の判定を行い、画像として読み取れるエリアを特定し(ステップ121)、読み取り画像エリアで特定された画像を取得する(ステップ122)。このようにして取得画像から一部を抜き出す。なお、画像読み取りエリアの大きさは、例えば0.125mm×0.125mm以下である。また、例えば0.2mmの読み取り画像幅を2本以上読み取り画像から取得する方法も考えられる。
その後、画像合成部691は、順次抜き出した複数の画像(断片画像)を合成し、バーコードの全体が再現された合成画像を生成し、コード情報取得部692に転送する。
【0065】
コード情報取得部692は、取得した画像の画像濃度を平均化していき(ステップ123)、そのデータを記憶していく(ステップ124)。その後、コード情報取得部692は、記憶しているデータを二値化し(ステップ125)、二値化したデータから波形データを生成する(ステップ126)。このようにして生成した波形データから、バーコードの2つの余白部分を把握し、それらの余白部分に挟まれたデータをバーコードシンボルとして認識し、デコードし(ステップ127)、デコード結果をバーコード情報として出力部616に出力する。
【0066】
モード変更部612は、デコードが成功したか否かを判断し(ステップ128)、成功したと判断すると、ステップ112に進み、デコードが成功しなかったと判断すると、デコードミスであることを表示部Hに表示させ(ステップ129)、その後、動作制御部613に対して赤外LED62での光量、発光時間の設定変更を指示し、動作制御部613は、指示に基づいて設定変更を行い(ステップ130)、ステップ120に戻る。
【0067】
〔第2の実施の形態〕
図13及び図14は、第2の実施の形態に係るデジタルペン60での処理手順を示すフローチャートである。
図13に示すフローチャートでは、赤外CMOS63が符号画像読み取りモードにて画像を読み取ると(ステップ201)、画像取得部611がその画像をフレーム単位で取得して画像判断部617に転送する。そして、画像判断部617は、その画像について画像濃度を測定し(ステップ202)、測定結果によってその画像がバーコード画像か否かを判断する(ステップ203)。具体的に説明すると、例えば、赤外LED62の波長が700nm以上ないし800nm以上の場合に、反射率のコントラスト(PCS:Print Contrast Signal)の平均値が0.1(0.3×33=0.1)以上であれば、画像判断部617は、取得した画像がバーコードであると判断し、0.1未満(PCS×10%=0.085〜0.1)であれば取得した画像は符号画像であると判断する。画像判断部617は、判断結果をモード変更部612に通知する。
【0068】
モード変更部612は、画像判断部617によりバーコード画像ではないと判断されると、動作制御部613に対して符号画像読み取りモードの設定を指示し(ステップ204)、動作制御部613は、符号画像読み取りモードの内容に設定されるように赤外LED62及び赤外CMOS63に指示し、ステップ205に進む。また、モード変更部612は、画像判断部617によりバーコード画像であると判断されると、ステップ219に進む。
ここで、図13に示すステップ205〜218は、図11に示すステップ105〜118と同じものゆえ、その説明を省略する。また、図14に示すステップ219〜230は、図12に示すステップ119〜130と同じものゆえ、その説明を省略する。
【図面の簡単な説明】
【0069】
【図1】本実施の形態の筆跡情報管理システムの構成の一例を示す図である。
【図2】文書サーバの機能構成の一例を示すブロック図である。
【図3】符号画像を構成する画像等の一例を示す図である。
【図4】識別情報サーバの機能構成の一例を示すブロック図である。
【図5】デジタルペンの構成を説明する図である。
【図6】デジタルペンにおける赤外CMOSの構成を示す図である。
【図7】制御部の機能構成の一例を示すブロック図である。
【図8】符号画像読み取りモードにおいて、筆跡情報の取得までの動作を概念的に示したものである。
【図9】デジタルペンの制御部のハードウェア構成を示す図である。
【図10】(a)は符号画像読み取りモードにて符号画像を読み取る場合を示し、(b)はバーコード読み取りモードにてバーコードを読み取る場合を示し、(c)はバーコードを説明する図である。
【図11】第1の実施の形態に係るデジタルペンでの処理手順を示すフローチャートである。
【図12】第1の実施の形態に係るデジタルペンでの処理手順を示すフローチャートである。
【図13】第2の実施の形態に係るデジタルペンでの処理手順を示すフローチャートである。
【図14】第2の実施の形態に係るデジタルペンでの処理手順を示すフローチャートである。
【符号の説明】
【0070】
60…デジタルペン、61…制御部、611…画像取得部、612…モード変更部、613…動作制御部、617…画像判断部、62…赤外LED、63…赤外CMOS、65…情報メモリ、68…第1の画像処理部、69…第2の画像処理部
【特許請求の範囲】
【請求項1】
所定の照射条件で媒体を照射する照射部と、
前記照射部により照射された媒体上の画像を所定の撮像条件で撮像する撮像部と、
前記撮像部にて撮像される前記画像から、前記媒体上に所定間隔で配列された同期符号を含む第1の画像を検出し、当該第1の画像から所定の情報を取り出す第1の処理部と、
前記撮像部にて撮像される前記画像から、バーコードを構成する第2の画像を検出し、当該第2の画像から所定の情報を取り出す第2の処理部と、
前記撮像部により撮像される前記画像を取り込み、取り込まれた当該画像から前記第1の処理部または前記第2の処理部を選択する選択手段と、
を含む電子筆記具。
【請求項2】
前記選択手段は、取り込まれた前記画像について所定の情報を用いてパターンマッチングを施すことにより当該画像が前記第1の画像か否かを判断し、前記選択をすることを特徴とする請求項1に記載の電子筆記具。
【請求項3】
前記選択手段は、取り込まれた前記画像に前記同期符号が含まれているか否かを判断し、当該画像に当該同期符号が含まれているときに前記第1の処理部を選択することを特徴とする請求項2に記載の電子筆記具。
【請求項4】
前記選択手段は、取り込まれた前記画像の画像濃度を取得し、当該画像濃度を基に当該画像が前記第2の画像か否かの判断をし、前記選択をすることを特徴とする請求項1に記載の電子筆記具。
【請求項5】
前記照射部は、前記第1の画像を撮像する場合と前記第2の画像を撮像する場合とで互いに異なる前記所定の照射条件が設定され、
前記撮像部は、前記第1の画像を撮像する場合と前記第2の画像を撮像する場合とで互いに異なる前記所定の撮像条件が設定され、
前記選択手段に取り込まれる前記画像を撮像する際に、前記照射部は、前記第1の画像を撮像する場合の前記所定の照射条件に設定され、かつ、前記撮像部は、前記第1の画像を撮像する場合の前記所定の撮像条件に設定されることを特徴とする請求項1ないし4のいずれか1項に記載の電子筆記具。
【請求項6】
前記撮像部は、複数の受光素子が2次元マトリックス状に配列されたもので構成され、
前記撮像部は、前記第1の画像を撮像する場合と前記第2の画像を撮像する場合とで、大きさが異なる領域の画像を出力するように前記所定の撮像条件が設定されることを特徴とする請求項1ないし5のいずれか1項に記載の電子筆記具。
【請求項7】
ユーザが把持し媒体上で操作する本体部と、
前記本体部に設けられ、所定の照射条件で媒体を照射する照射部と、
前記本体部に設けられ、前記照射部により照射された媒体上の画像を所定の撮像条件で撮像する撮像部と、
前記撮像部により撮像される前記画像を取り込み、取り込まれた当該画像から当該画像がドットコードであるかバーコードであるかを判断する判断手段と、
前記判断手段による判断結果により、前記照射部の照射条件および前記撮像部の撮像条件を設定する設定手段と、
を含む画像読み取り装置。
【請求項8】
前記判断手段は、前記撮像部により撮像される前記画像についてパターンマッチングを施すことにより当該画像が前記ドットコードであるか否かを判断することを特徴とする請求項7に記載の画像読み取り装置。
【請求項9】
前記判断手段は、前記撮像部により撮像される前記画像の画像濃度を測定し、当該画像濃度を基に当該画像が前記バーコードであるか否かを判断することを特徴とする請求項7に記載の画像読み取り装置。
【請求項10】
所定の照射条件で媒体を照射する照射部と、当該照射部により照射された媒体上の画像を所定の撮像条件で撮像する撮像部と、を含む電子筆記具が備えるコンピュータに、
前記撮像部にて撮像される前記画像から、前記媒体上に所定間隔で配列された同期符号を含む第1の画像を検出し、当該第1の画像から所定の情報を取り出す第1の処理機能と、
前記撮像部にて撮像される前記画像から、バーコードを構成する第2の画像を検出し、当該第2の画像から所定の情報を取り出す第2の処理機能と、
前記撮像部により撮像される前記画像を取り込み、取り込まれた当該画像から前記第1の処理機能または前記第2の処理機能を選択する選択機能と、
を実現させるプログラム。
【請求項11】
前記選択機能は、取り込まれた前記画像について所定の情報を用いてパターンマッチングすることで当該画像が前記第1の画像か否かを判断し、前記選択をすることを特徴とする請求項10に記載のプログラム
【請求項12】
前記選択機能は、取り込まれた前記画像の画像濃度を取得し、当該画像濃度を基に当該画像が前記第2の画像か否かの判断をし、前記選択をすることを特徴とする請求項10に記載のプログラム。
【請求項13】
ユーザが把持し媒体上で操作する本体部に、所定の照射条件で媒体を照射する照射部と、当該照射部により照射された媒体上の画像を所定の撮像条件で撮像する撮像部と、が設けられた画像読み取り装置が備えるコンピュータに、
前記撮像部により撮像される前記画像を取り込み、取り込まれた当該画像から当該画像がドットコードであるかバーコードであるかを判断する判断機能と、
前記判断機能による判断結果により、前記照射部の照射条件および前記撮像部の撮像条件を設定する設定機能と、
を実現させるプログラム。
【請求項14】
前記判断機能は、前記撮像部により撮像される前記画像をパターンマッチングにより当該画像が前記ドットコードであるか否かを判断することを特徴とする請求項13に記載のプログラム。
【請求項15】
前記判断機能は、前記撮像部により撮像される前記画像の画像濃度を取得し、当該画像濃度を基に当該画像が前記バーコードであるか否かを判断することを特徴とする請求項13に記載のプログラム。
【請求項1】
所定の照射条件で媒体を照射する照射部と、
前記照射部により照射された媒体上の画像を所定の撮像条件で撮像する撮像部と、
前記撮像部にて撮像される前記画像から、前記媒体上に所定間隔で配列された同期符号を含む第1の画像を検出し、当該第1の画像から所定の情報を取り出す第1の処理部と、
前記撮像部にて撮像される前記画像から、バーコードを構成する第2の画像を検出し、当該第2の画像から所定の情報を取り出す第2の処理部と、
前記撮像部により撮像される前記画像を取り込み、取り込まれた当該画像から前記第1の処理部または前記第2の処理部を選択する選択手段と、
を含む電子筆記具。
【請求項2】
前記選択手段は、取り込まれた前記画像について所定の情報を用いてパターンマッチングを施すことにより当該画像が前記第1の画像か否かを判断し、前記選択をすることを特徴とする請求項1に記載の電子筆記具。
【請求項3】
前記選択手段は、取り込まれた前記画像に前記同期符号が含まれているか否かを判断し、当該画像に当該同期符号が含まれているときに前記第1の処理部を選択することを特徴とする請求項2に記載の電子筆記具。
【請求項4】
前記選択手段は、取り込まれた前記画像の画像濃度を取得し、当該画像濃度を基に当該画像が前記第2の画像か否かの判断をし、前記選択をすることを特徴とする請求項1に記載の電子筆記具。
【請求項5】
前記照射部は、前記第1の画像を撮像する場合と前記第2の画像を撮像する場合とで互いに異なる前記所定の照射条件が設定され、
前記撮像部は、前記第1の画像を撮像する場合と前記第2の画像を撮像する場合とで互いに異なる前記所定の撮像条件が設定され、
前記選択手段に取り込まれる前記画像を撮像する際に、前記照射部は、前記第1の画像を撮像する場合の前記所定の照射条件に設定され、かつ、前記撮像部は、前記第1の画像を撮像する場合の前記所定の撮像条件に設定されることを特徴とする請求項1ないし4のいずれか1項に記載の電子筆記具。
【請求項6】
前記撮像部は、複数の受光素子が2次元マトリックス状に配列されたもので構成され、
前記撮像部は、前記第1の画像を撮像する場合と前記第2の画像を撮像する場合とで、大きさが異なる領域の画像を出力するように前記所定の撮像条件が設定されることを特徴とする請求項1ないし5のいずれか1項に記載の電子筆記具。
【請求項7】
ユーザが把持し媒体上で操作する本体部と、
前記本体部に設けられ、所定の照射条件で媒体を照射する照射部と、
前記本体部に設けられ、前記照射部により照射された媒体上の画像を所定の撮像条件で撮像する撮像部と、
前記撮像部により撮像される前記画像を取り込み、取り込まれた当該画像から当該画像がドットコードであるかバーコードであるかを判断する判断手段と、
前記判断手段による判断結果により、前記照射部の照射条件および前記撮像部の撮像条件を設定する設定手段と、
を含む画像読み取り装置。
【請求項8】
前記判断手段は、前記撮像部により撮像される前記画像についてパターンマッチングを施すことにより当該画像が前記ドットコードであるか否かを判断することを特徴とする請求項7に記載の画像読み取り装置。
【請求項9】
前記判断手段は、前記撮像部により撮像される前記画像の画像濃度を測定し、当該画像濃度を基に当該画像が前記バーコードであるか否かを判断することを特徴とする請求項7に記載の画像読み取り装置。
【請求項10】
所定の照射条件で媒体を照射する照射部と、当該照射部により照射された媒体上の画像を所定の撮像条件で撮像する撮像部と、を含む電子筆記具が備えるコンピュータに、
前記撮像部にて撮像される前記画像から、前記媒体上に所定間隔で配列された同期符号を含む第1の画像を検出し、当該第1の画像から所定の情報を取り出す第1の処理機能と、
前記撮像部にて撮像される前記画像から、バーコードを構成する第2の画像を検出し、当該第2の画像から所定の情報を取り出す第2の処理機能と、
前記撮像部により撮像される前記画像を取り込み、取り込まれた当該画像から前記第1の処理機能または前記第2の処理機能を選択する選択機能と、
を実現させるプログラム。
【請求項11】
前記選択機能は、取り込まれた前記画像について所定の情報を用いてパターンマッチングすることで当該画像が前記第1の画像か否かを判断し、前記選択をすることを特徴とする請求項10に記載のプログラム
【請求項12】
前記選択機能は、取り込まれた前記画像の画像濃度を取得し、当該画像濃度を基に当該画像が前記第2の画像か否かの判断をし、前記選択をすることを特徴とする請求項10に記載のプログラム。
【請求項13】
ユーザが把持し媒体上で操作する本体部に、所定の照射条件で媒体を照射する照射部と、当該照射部により照射された媒体上の画像を所定の撮像条件で撮像する撮像部と、が設けられた画像読み取り装置が備えるコンピュータに、
前記撮像部により撮像される前記画像を取り込み、取り込まれた当該画像から当該画像がドットコードであるかバーコードであるかを判断する判断機能と、
前記判断機能による判断結果により、前記照射部の照射条件および前記撮像部の撮像条件を設定する設定機能と、
を実現させるプログラム。
【請求項14】
前記判断機能は、前記撮像部により撮像される前記画像をパターンマッチングにより当該画像が前記ドットコードであるか否かを判断することを特徴とする請求項13に記載のプログラム。
【請求項15】
前記判断機能は、前記撮像部により撮像される前記画像の画像濃度を取得し、当該画像濃度を基に当該画像が前記バーコードであるか否かを判断することを特徴とする請求項13に記載のプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2009−237808(P2009−237808A)
【公開日】平成21年10月15日(2009.10.15)
【国際特許分類】
【出願番号】特願2008−81714(P2008−81714)
【出願日】平成20年3月26日(2008.3.26)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】
【公開日】平成21年10月15日(2009.10.15)
【国際特許分類】
【出願日】平成20年3月26日(2008.3.26)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】
[ Back to top ]