情報処理装置、文書管理システム、及びプログラム
【課題】電子筆記具による手書きの筆跡を電子化した画像データ以外の情報を、電子文書の部分に関連付ける。
【解決手段】画像処理部71aでは、画像取得部711が、媒体から画像を取得し、ドット配列生成部712が、画像からドット配列を生成する。また、データ処理部71bでは、符号配列生成部713が、ドット配列から符号配列を生成し、識別情報取得部714が、符号配列から識別情報を取得し、位置情報取得部715が、符号配列から位置情報を取得し、表示情報取得部717が、表示画面に表示すべき表示情報を取得し、操作受付部718が、表示情報を電子文書の部分に関連付ける操作を受け付け、出力部719が、識別情報と位置情報と表示情報とを、識別情報で特定される電子文書上の位置情報で特定される部分に対する表示情報の関連付けの指示として出力する。
【解決手段】画像処理部71aでは、画像取得部711が、媒体から画像を取得し、ドット配列生成部712が、画像からドット配列を生成する。また、データ処理部71bでは、符号配列生成部713が、ドット配列から符号配列を生成し、識別情報取得部714が、符号配列から識別情報を取得し、位置情報取得部715が、符号配列から位置情報を取得し、表示情報取得部717が、表示画面に表示すべき表示情報を取得し、操作受付部718が、表示情報を電子文書の部分に関連付ける操作を受け付け、出力部719が、識別情報と位置情報と表示情報とを、識別情報で特定される電子文書上の位置情報で特定される部分に対する表示情報の関連付けの指示として出力する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、文書管理システム、プログラムに関する。
【背景技術】
【0002】
プリントアウト表面を手動で編集することにより、電子的に記憶された文書に変更を加える技術が知られている(例えば、特許文献1参照)。この特許文献1の技術では、まず、電子的に記憶された文書を、位置コーディングパターンを備えた表面に印刷する。次に、位置コーディングパターン読取り手段を備えたデジタルペンと表面にマーキングを付けるペンポイントとでプリントアウト表面を手動で編集する。すると、このマーキングがコンピュータに転送され、コンピュータ内で解釈され、この解釈に基づいて記憶済み文書に変更が加えられる。
【0003】
【特許文献1】特表2003−528388号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
本発明の目的は、表示画面に表示された情報を、媒体から読み取られた画像により特定される電子文書の部分に関連付けることにある。
【課題を解決するための手段】
【0005】
請求項1に記載の発明は、表示画面に特定の情報を表示する表示手段と、電子文書が印刷された媒体であって当該電子文書の各部分が印刷された位置に当該各部分を特定するための画像が印刷された媒体から画像読取装置が読み取った特定の画像を取得する取得手段と、前記表示画面に前記特定の情報が表示された状態で前記取得手段により前記特定の画像が取得されると、当該特定の画像によって特定される前記電子文書の部分に当該特定の情報を関連付ける処理を行う処理手段とを備えたことを特徴とする情報処理装置である。
請求項2に記載の発明は、前記処理手段は、前記電子文書の部分に既に関連付けられた情報がない場合に、当該部分に前記特定の情報を関連付ける処理を行うことを特徴とする請求項1記載の情報処理装置である。
請求項3に記載の発明は、前記処理手段は、前記電子文書の部分に既に関連付けられた情報がある場合に、当該部分に前記特定の情報を関連付ける処理を行わないことを特徴とする請求項1記載の情報処理装置である。
請求項4に記載の発明は、情報を表示するための表示画面と、電子文書が印刷された媒体であって当該電子文書の各部分が印刷された位置に当該各部分を特定するための画像が印刷された媒体から特定の画像を読み取る読取り手段と、前記表示画面に特定の情報が表示された状態で前記読取り手段により前記特定の画像が読み取られると、当該特定の画像によって特定される前記電子文書の部分に当該特定の情報を関連付ける処理を行う処理手段とを備えたことを特徴とする情報処理装置である。
請求項5に記載の発明は、前記画像は、前記媒体上の各位置を示す画像であり、前記電子文書の部分は、前記特定の画像が示す位置を、前記表示画面と前記読取り手段との位置のズレ量に基づいて変換して得られた位置によって特定されることを特徴とする請求項4記載の情報処理装置である。
請求項6に記載の発明は、前記画像は、前記媒体上の各位置を示す画像であり、前記電子文書の部分は、前記特定の画像が示す位置を、前記表示画面の範囲を特定するための複数の基準点と前記読取り手段との位置のズレ量に基づいて変換して得られた範囲によって特定されることを特徴とする請求項4記載の情報処理装置である。
請求項7に記載の発明は、被写体を撮像する撮像手段を更に備え、前記処理手段は、前記撮像手段により前記被写体を撮像することで得られた画像情報を、前記特定の情報として、前記電子文書の部分に関連付ける処理を行うことを特徴とする請求項4記載の情報処理装置である。
請求項8に記載の発明は、テキスト情報を入力するための操作部を更に備え、前記処理手段は、前記操作部を用いて入力された前記テキスト情報を、前記特定の情報として、前記電子文書の部分に関連付ける処理を行うことを特徴とする請求項4記載の情報処理装置である。
請求項9に記載の発明は、情報を表示するための表示画面と、前記表示画面に特定の情報が表示され、かつ、電子文書が印刷された媒体の上方に配置された状態で、所定の操作があると、当該表示画面に対応する当該媒体上の位置に印刷された当該電子文書の部分に当該特定の情報を関連付ける処理を行う処理手段とを備えたことを特徴とする情報処理装置である。
請求項10に記載の発明は、電子文書が印刷された媒体から画像を読み取る画像読取装置と、前記電子文書を管理する文書管理装置とを備え、前記画像読取装置は、表示画面に特定の表示情報を表示する表示手段と、前記媒体から読み取られた前記画像に基づいて、当該媒体上の位置を示す特定の位置情報を取得する取得手段と、前記表示画面に前記特定の表示情報が表示された状態で前記取得手段により前記特定の位置情報が取得されると、当該特定の表示情報と当該特定の位置情報とを前記文書管理装置に送信する送信手段とを備え、前記文書管理装置は、前記特定の表示情報と前記特定の位置情報とを前記画像読取装置から受信する受信手段と、前記受信手段により受信された前記特定の位置情報が示す位置に印刷された前記電子文書の部分に、前記受信手段により受信された前記特定の表示情報を関連付けて登録する登録手段とを備えたことを特徴とする文書管理システムである。
請求項11に記載の発明は、前記登録手段は、前記電子文書の部分に既に関連付けられた情報がない場合に、当該部分に前記特定の表示情報を関連付けて登録することを特徴とする請求項10記載の文書管理システムである。
請求項12に記載の発明は、前記登録手段は、前記電子文書の部分に既に関連付けられた情報がある場合に、当該部分に前記特定の表示情報を関連付けて登録しないことを特徴とする請求項10記載の文書管理システムである。
請求項13に記載の発明は、コンピュータに、表示画面に特定の情報を表示する機能と、電子文書が印刷された媒体であって当該電子文書の各部分が印刷された位置に当該各部分を特定するための画像が印刷された媒体から画像読取装置が読み取った特定の画像を取得する機能と、前記表示画面に前記特定の情報が表示された状態で前記特定の画像が取得されると、当該特定の画像によって特定される前記電子文書の部分に当該特定の情報を関連付ける処理を行う機能とを実現させるためのプログラムである。
【発明の効果】
【0006】
請求項1の発明は、表示画面に表示された情報を、媒体から読み取られた画像により特定される電子文書の部分に関連付けることができるという効果を有する。
請求項2の発明は、電子文書の同じ部分に情報が重複して関連付けられるのを防ぐことができるという効果を有する。
請求項3の発明は、電子文書の同じ部分に情報が重複して関連付けられるのを防ぐことができるという効果を有する。
請求項4の発明は、表示画面に表示された情報を、媒体から読み取られた画像により特定される電子文書の部分に関連付けることができるという効果を有する。
請求項5の発明は、表示画面の位置で指定した電子文書の部分に情報を関連付けることができるという効果を有する。
請求項6の発明は、表示画面の範囲で指定した電子文書の部分に情報を関連付けることができるという効果を有する。
請求項7の発明は、撮像手段による撮像で得られた画像情報を、媒体から読み取られた画像により特定される電子文書の部分に関連付けることができるという効果を有する。
請求項8の発明は、例えば手書きよりも操作部を用いた方が間違いが少ない情報を、媒体から読み取られた画像により特定される電子文書の部分に関連付けることができるという効果を有する。
請求項9の発明は、表示画面に表示された情報を、表示画面の位置に対応する電子文書の部分に関連付けることができるという効果を有する。
請求項10の発明は、表示画面に表示された情報を、媒体から読み取られた画像により特定される電子文書の部分に関連付けることができるという効果を有する。
請求項11の発明は、電子文書の同じ部分に情報が重複して関連付けられるのを防ぐことができるという効果を有する。
請求項12の発明は、電子文書の同じ部分に情報が重複して関連付けられるのを防ぐことができるという効果を有する。
請求項13の発明は、表示画面に表示された情報を、媒体から読み取られた画像により特定される電子文書の部分に関連付けることができるという効果を有する。
【発明を実施するための最良の形態】
【0007】
以下、添付図面を参照して、本発明を実施するための最良の形態(以下、「実施の形態」という)について詳細に説明する。
まず、本実施の形態におけるコンピュータシステムの全体構成について説明する。
図1は、本実施の形態のコンピュータシステムの構成例を示したものである。
図示するように、このコンピュータシステムは、端末装置10と、文書サーバ20と、識別情報サーバ30と、画像形成装置40と、端末装置50とがネットワーク80に接続されることにより構成されている。また、端末装置50には、デジタルペン60が通信装置55を介して接続されている。更に、ネットワーク80には、基地局85が接続されており、基地局85と無線通信可能な範囲に携帯端末70が存在している。
【0008】
端末装置10は、文書サーバ20に対して電子文書の印刷を要求するコンピュータ装置である。ここで、端末装置10としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータを用いるとよい。
文書サーバ20は、電子文書を記憶し管理するコンピュータ装置である。また、端末装置10から電子文書の印刷要求があると、電子文書の画像と、識別情報及び位置情報を表す符号画像とを生成し、これらを合成した合成画像を媒体に印刷する印刷命令を画像形成装置40に対して出力する。この場合、識別情報とは、媒体を一意に特定するための情報であり、位置情報とは、媒体上の座標位置を特定するための情報である。ここで、文書サーバ20としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータを用いるとよい。本実施の形態では、文書管理装置の一例として、識別情報サーバ30を設けている。
【0009】
識別情報サーバ30は、媒体に付与する識別情報を発行するコンピュータ装置である。そして、発行した識別情報を、その識別情報が付与される媒体に印刷される電子文書と関連付けて記憶する。ここで、識別情報サーバ30としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータを用いるとよい。
画像形成装置40は、媒体に画像を印刷し、印刷文書として出力する装置である。この画像形成装置40は、単体のプリンタや印刷機であってもよいし、他にスキャナや通信の機能を備えた所謂複合機であってもよい。ここで、画像形成装置40における画像形成方式としては、例えば、電子写真方式を用いるとよいが、その他の方式を用いてもよい。
【0010】
端末装置50は、印刷文書に対する筆記を電子化した情報(以下、「筆跡情報」という)を、印刷文書に記録された画像の元となる電子文書に反映させるために識別情報サーバ30に送信するコンピュータ装置である。また、筆跡情報を反映する対象の電子文書を図示しないディスプレイに表示し、その上に筆跡情報を重ねて表示するようにしてもよい。ここで、端末装置50としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータを用いるとよい。尚、本実施の形態では、筆記の内容を電子化した筆記情報の一例として、筆跡情報を用いている。また、筆跡情報を主に手書き情報として説明するが、これに限らず、例えば、建築や機械等の図面データを出力する装置であるプロッタ等によって機械的に描画された情報であってもよい。
【0011】
通信装置55は、デジタルペン60から筆跡情報を取得して端末装置50に送信する装置である。例えば、デジタルペン60を差し込む差込口を設け、この差込口にデジタルペン60が差し込まれると、デジタルペン60に記憶された筆跡情報を端末装置50に送信するようにするとよい。ここで、端末装置50との間の通信の方式としては、USB(Universal Serial Bus)、Bluetooth(登録商標)、赤外線通信機能等、種々の方式が考えられる。また、図では、通信装置55をデジタルペン60と別体のものとして示しているが、必ずしも別体である必要はなく、一体に構成してもよい。
デジタルペン60は、電子筆記具の一例であり、印刷文書上に文字又は図形を筆記するために用いられるペンデバイスである。また、媒体に印刷された符号画像を読み取る撮像素子を備える。そして、撮像素子で読み取った符号画像から位置情報を検出し、筆記した文字又は図形をイメージデータ化した筆跡情報をこの位置情報に基づいて生成し記憶する。
【0012】
携帯端末70は、情報処理装置又は画像読取装置の一例であり、印刷文書上の符号画像を読み取り、この符号画像から取り出した識別情報及び位置情報を用いた処理を行う。ここで、携帯端末70としては、例えば携帯電話機を用いるとよい。
基地局85は、携帯端末70とネットワーク80との中継点となる装置である。携帯端末70が送信したデータを中継して識別情報サーバ30等に送信したり、識別情報サーバ30等が送信したデータを中継して携帯端末70に送信したりする。
ネットワーク80は、各装置間を双方向通信可能に接続する通信回線である。例えば、LAN(Local Area Network)やインターネットによって実現するとよい。
【0013】
尚、本明細書では、媒体に記録する画像の元となる電子データを「電子文書」と表記するが、これは、テキストを含む「文書」を電子化したデータのみを意味するものではない。例えば、絵、写真、図形等の画像データ(ラスタデータかベクターデータかによらない)、データベース管理ソフトウェアや表計算ソフトウェアで記録されるデータ、その他の印刷可能な電子データも含めて「電子文書」としている。
また、本明細書において、「媒体」は、画像を印刷可能な媒体であれば、その材質は問わない。代表例は紙であるが、OHPシートや金属板等であっても構わない。
更に、本明細書では、電子文書や媒体について、それぞれを一意に識別するための識別情報を用いて処理を行うが、単に「識別情報」というときは、このうち、媒体の識別情報を意味するものとする。また、この識別情報の一例として、本実施の形態では、媒体へのプリントを行う画像形成装置40の機械番号と画像形成装置40におけるプリントカウントの値とを結合したものを用いる。
【0014】
まず、このコンピュータシステムの画像形成時の動作について説明する。
図2は、このときの文書サーバ20及び識別情報サーバ30の動作を示したシーケンス図である。
文書サーバ20は、まず、電子文書の印刷要求を端末装置10から受信する(ステップ291)。このうち、電子文書の印刷要求には、電子文書を一意に識別するための識別情報(以下、「文書ID」という)と印刷設定とが含まれる。ここで、文書IDとしては、例えば、URL(Uniform Resource Locator)を用いるとよいが、電子文書を一意に特定することができるものであれば他の情報を用いてもよい。また、印刷設定は、ページ、部数、用紙サイズ、Nアップ(電子文書のNページを媒体の1ページに割り付ける印刷)、余白等の設定を含む。そして、文書サーバ20は、文書IDと印刷設定とを識別情報サーバ30に送信することで、識別情報の発行を要求する(ステップ292)。
【0015】
これにより、識別情報サーバ30は、文書IDと印刷設定とを受信する(ステップ391)。そして、識別情報を記憶したデータベースから未使用の識別情報を取り出す(ステップ392)。ここで、取り出す識別情報の数は、印刷設定に応じて決められる。つまり、基本的には、印刷するページ数に印刷部数を乗じて得られる数の識別情報が取り出される。但し、設定情報中に、Nアップの指定等がある場合は、それも考慮される。例えば、10ページの電子文書を2アップで5部印刷する場合は、25(=10÷2×5)個の識別情報が取り出される。
次に、識別情報サーバ30は、識別情報と文書IDと印刷設定とを関連付けて記憶する(ステップ393)。そして、ステップ392で発行された識別情報を、文書サーバ20に対して送信する(ステップ394)。
【0016】
これにより、文書サーバ20は、識別情報を受信する(ステップ293)。そして、識別情報と位置情報とを表す符号画像を生成する(ステップ294)。この符号画像の生成は、具体的には、次のような処理により行われる。
即ち、まず、ステップ293で取得した識別情報を符号化することで識別符号を生成する。尚、識別情報の符号化の詳細については後述する。また、印刷設定を受け取り、印刷設定に応じた範囲の位置情報を符号化することで位置符号を生成する。尚、位置情報の符号化の詳細についても後述する。その後、識別符号と位置符号とを所定のレイアウトに従って配置し、これをパターン画像を用いて画像化することで符号画像を生成する。
【0017】
また、文書サーバ20は、電子文書の文書画像を生成する(ステップ295)。その際、ステップ291で取得した文書IDに基づいて対象となる電子文書を図示しない記憶手段から読み出す。また、ステップ291で取得した印刷設定に基づいて文書画像を生成する。
そして、ステップ294で生成された符号画像と、ステップ295で生成された文書画像とを合成し、合成画像を生成する(ステップ296)。
その後、合成画像の印刷命令を画像形成装置40に送信する(ステップ297)。ここで、合成画像の印刷命令は、例えば、文書画像の印刷命令の列からなるPDL(Page Description Language)ファイルに対し、符号画像として印刷する内容をPDLコマンドとして設定したPDLの形式で送信される。
【0018】
これにより、画像形成装置40は、文書画像を例えばC(シアン)、M(マゼンタ)、Y(イエロー)のトナーを用いて媒体に印刷する。また、符号画像を例えばK(カーボンを含む黒)のトナー又は特殊トナーを用いて媒体に印刷する。
ここで、特殊トナーとしては、可視光領域(400nm〜700nm)における最大吸収率が7%以下であり、近赤外領域(800nm〜1000nm)における吸収率が30%以上の不可視トナーが例示される。ここで、「可視」及び「不可視」は、目視により認識できるかどうかとは関係しない。印刷文書における画像が可視光領域における特定の波長の吸収に起因する発色性の有無により認識できるかどうかで「可視」と「不可視」とを区別している。また、可視光領域における特定の波長の吸収に起因する発色性が若干あるが人間の目で認識し難いものも、「不可視」に含める。
【0019】
尚、ここでは、電子文書の画像に符号画像を合成して印刷することとしたが、白紙(ノートや付箋等)に符号画像を印刷する構成としてもよい。その場合は、ステップ291で受信する印刷要求に文書IDを含めないようにし、ステップ393で識別情報と文書ID及び印刷設定との関連付けを行わないようにし、ステップ295における文書画像の生成は実行しないようにすればよい。
【0020】
次に、本実施の形態で生成される符号画像について説明する。
図3は、符号画像を構成する画像等の一例を示した図である。
まず、符号画像を構成する単位パターンについて説明する。
図3(a)は、単位パターンの一例を示したものである。
単位パターンとは、情報埋め込みの最小単位である。図では、黒塗りの領域と斜線の領域をドット配置可能な領域とし、その間にある白色の領域をドット配置不可能な領域としている。そして、ドット配置可能な領域のうち、黒塗りの領域にドットが配置され、斜線の領域にはドットが配置されていないことを示している。即ち、図は、ドットを配置可能な9箇所の中から選択した2箇所にドットを配置することで単位パターンを構成した例を示したものである。ここで、9箇所の中から2箇所を選択する組み合わせは36(=9C2)通りなので、単位パターンは、36種類存在する。このうち、4種類の単位パターンは、同期パターンとして使用される。同期パターンとは、画像の回転を検出したり、識別符号及び位置符号の相対的な位置を特定したりするためのパターンである。特に、画像の回転を検出する必要があることから、4種類の同期パターンとしては、そのうちの1つの同期パターンを90度回転するとそのうちの別の同期パターンになるようなものが選ばれる。また、この4種類の単位パターンを除く32種類の単位パターンは、識別符号及び位置符号を表現する情報パターンとして使用され、5ビットの情報が表現される。
【0021】
ところで、図3(a)に示したドットは、あくまで情報表現のためのドットであり、画像を構成する最小の点を意味するドットとは必ずしも一致しない。本実施の形態において、情報表現のためのドット(図3(a)の最小の四角)は、600dpiにおける2ドット×2ドットの大きさを有している。600dpiにおける1ドットの大きさは0.0423mmなので、情報表現のためのドット(図3(a)の最小の四角)の一辺は、84.6μm(=0.0423mm×2)である。情報表現のためのドットは、大きくなればなるほど目に付きやすくなるため、できるだけ小さいほうが好ましい。ところが、あまり小さくすると、プリンタで印刷できなくなってしまう。そこで、情報表現のためのドットの大きさとして、50μmより大きく100μmより小さい上記の値を採用している。但し、上記の値84.6μmは、あくまで計算上の数値であり、実際に印刷されたトナー像では100μm程度になる。尚、本明細書で「ドット」というときは、特に明示しない限り、画像を構成する最小の点を意味するドットではなく、情報表現のためのドットを指すものとする。
【0022】
次に、このような単位パターンから構成される符号ブロックについて説明する。
図3(b)に、符号ブロックのレイアウトの一例を示す。尚、ここでは、画像ではなく、パターン画像によって置き換えられる直前の符号配列で示している。即ち、図3(b)の最小の四角(以下、「単位ブロック」という)に、図3(a)のような単位パターン(36通りの単位パターンのいずれか)が配置され、その画像が媒体に形成されることになる。
図3(b)のレイアウトでは、符号ブロックの左上の1つの単位ブロックに、同期符号が配置されている。また、同期符号が配置された単位ブロックの右側の4つの単位ブロックにX位置符号が配置され、同期符号が配置された単位ブロックの下側の4つの単位ブロックにY位置符号が配置されている。更に、これらの位置符号が配置された単位ブロックに囲まれた16(=4×4)個の単位ブロックに識別符号が配置されている。
【0023】
ここで、識別情報の符号化について述べる。
識別情報を符号化する場合、識別情報を構成するビット列は、RS符号化を行うために複数のブロックに分割される。符号化には、いくつかの方法があるが、本実施の形態では、RS符号化が適している。RS符号は多値の符号法であり、この場合、単位ブロックで表現される値がRS符号の多値に対応するからである。例えば、1つの単位ブロックで5ビットの情報を表現する場合、60ビットの識別情報は、ブロック長が5ビットの12個のブロックに分割される。そして、2ブロックの誤りを訂正可能なRS符号を採用したとすると、符号長は16ブロックとなり、図3(b)の符号ブロックにおける識別符号が配置される単位ブロックに収まることになる。尚、符号化方式はRS符号に限定するものでなく、その他の符号化方式、例えば、BCH符号等を使用してもよい。
【0024】
次に、位置情報の符号化について述べる。
位置情報の符号化には、擬似乱数系列の一種であるM系列符号が使用される。ここで、M系列とは、ある長さのシフトレジスタとフィードバックによって生成される符号系列のうち、その周期が最長になる系列をいう。Kをシフトレジスタの段数とすると、M系列の系列長は2K−1となる。このM系列から取り出した任意の連続したKビットは、同じM系列中の他の位置に現れない性質を持つ。そこで、この性質を利用して位置情報を符号化する。
ところで、本実施の形態では、符号化すべき位置情報の長さから、必要なM系列の次数を求め、M系列を生成している。しかしながら、符号化する位置情報の長さが予め分かっている場合は、M系列を毎回生成する必要はない。即ち、固定のM系列を予め生成しておき、それをメモリ等に格納しておけばよい。
例えば、系列長8191のM系列(K=13)を使用したとする。この場合、位置符号も5ビット単位で埋め込むため、系列長8191のM系列から5ビットずつ取り出してブロック化する。
【0025】
尚、本明細書では、説明を簡単にするために、識別情報と位置情報とは明確に区別して用いている。しかしながら、広範な位置情報を用意しておき、媒体ごとに異なる範囲から位置情報を切り出して埋め込み、位置情報の違いによって媒体を識別するという手法もある。そこで、このような手法においては、媒体を識別する機能が位置情報に備わっているものと見て、位置情報を識別情報としても考えるものとする。
【0026】
ところで、このような符号画像が印刷された媒体(以下、「符号画像付き媒体」という)には、通常、デジタルペン60で手書きが行われ、その手書きの筆跡を電子化した画像データである筆跡情報が生成される。この場合、符号画像付き媒体に電子文書が印刷されていれば、その印刷の元となる電子文書(以下、「印刷元電子文書」という)に対して、筆跡情報が付加されることもある。
しかしながら、印刷元電子文書に対して、手書きの画像データ以外の画像データ(写真等)や、テキストデータ(文字列)等を付加したい場面もある。具体例としては、地図上の各場所に対し、各場所で撮影した写真を対応付けるような場面が考えられる。
【0027】
そこで、本実施の形態では、符号画像を読み取り可能なカメラ付きの携帯端末70を用いて、携帯端末70で撮影した写真や、携帯端末70から入力したテキストデータ等の情報を、符号画像付き媒体の特定の位置と関連付ける。そして、このような操作により、印刷元電子文書の任意の位置に、携帯端末70上の情報を関連付けたり、貼り付けたりする。
尚、本明細書において、「テキストデータ」とは、文字、記号等を、画像ではなく、各文字、記号等に割り当てられたコードで表現したデータを意味するものとする。従って、拡張子が「.txt」のデータだけでなく、各種アプリケーションソフトウェア固有のコードを含むものも、テキストデータとして考える。
【0028】
図4に、本実施の形態の概略動作について示す。尚、ここでは、家の見取り図上の所定の位置に画像データ又はテキストデータを関連付ける場合を例示している。
(a)は、携帯端末70で取得した画像データを用いる例である。
まず、ユーザは、左側に示すように、携帯端末70で写真を撮影することにより、画像データの一例である写真データを取得する。
次に、ユーザは、中央に示すように、携帯端末70に写真を表示した状態で符号画像付き媒体400の所定の位置の上方に配置し、ポイント&ドロップを行う。即ち、符号画像付き媒体400の所定の位置を指定して携帯端末70の所定のボタンを押下することで、印刷元電子文書200の対応する位置に対する写真の関連付けを指示する。
すると、右側に示すように、写真データが例えばサーバに送信され、印刷元電子文書200の指定された位置にマップされる。
【0029】
(b)は、携帯端末70から入力したテキストデータを用いる例である。
まず、ユーザは、左側に示すように、携帯端末70でテキストデータの一例である文字列を入力する。
次に、ユーザは、中央に示すように、携帯端末70に文字列を表示した状態で符号画像付き媒体400の所定の位置の上方に配置し、ポイント&ドロップを行う。即ち、符号画像付き媒体400の所定の位置を指定して携帯端末70の所定のボタンを押下することで、印刷元電子文書200の対応する位置に対する文字列の関連付けを指示する。
すると、右側に示すように、文字列が例えばサーバに送信され、印刷元電子文書200の指定された位置にマップされる。
【0030】
このように、符号画像の読取り及びデータの電子文書への関連付けの指示は、携帯端末70によって実現される。
そこで、まず、携帯端末70の機構について説明する。
図5は、携帯端末70の構成例を示した図である。
図示するように、携帯端末70は、端末全体の動作を制御する制御回路71を備える。また、制御回路71は、読み取った符号画像を処理する画像処理部71aと、そこでの処理結果から識別情報及び位置情報を抽出するデータ処理部71bとを含む。
また、制御回路71には、情報を表示するための表示画面の一例としてのLCD(Liquid Crystal Display)72aと、情報を入力するための操作キー72bと、媒体上に赤外光を照射する赤外LED73と、反射光を検知することによって符号画像を読み取る赤外CMOS74とが接続されている。ここで、赤外CMOS74は、赤外光に感度を有するため、符号画像を読み取るために用いられ、画像読取装置又は読取り手段の一例であるが、これに加えて、可視光に感度を有する可視光CMOSを備えていてもよい。その場合、可視光CMOSは、撮像手段の一例である。また、制御回路71には、識別情報及び位置情報を記憶するための情報メモリ75と、外部装置と無線通信を行うためのアンテナ76a及び通信回路76bと、端末を駆動するためのバッテリ77と、端末の識別情報(端末ID)を記憶する端末IDメモリ78も接続されている。更に、音声を出力するためのスピーカ79aと、音声を入力するためのマイクロフォン79bも接続されている。
【0031】
次に、このうち制御回路71において実現される機能構成について更に詳細に説明する。
図6は、制御回路71の機能構成例を示したブロック図である。尚、図では、制御回路71内の画像処理部71aとデータ処理部71bとに分けて、機能構成例を示している。
図示するように、画像処理部71aは、画像取得部711と、ドット配列生成部712とを備える。また、データ処理部71bは、符号配列生成部713と、識別情報取得部714と、位置情報取得部715と、受信情報取得部716と、表示情報取得部717と、操作受付部718と、出力部719とを備える。
【0032】
画像取得部711は、赤外CMOS74が印刷文書から読み取った符号画像を取得する。また、必要に応じて、符号画像に含まれるノイズを除去する。本実施の形態では、画像読取装置が読み取った特定の画像を取得する取得手段の一例として、画像取得部711を設けている。
ドット配列生成部712は、符号画像におけるドットの位置を参照して、ドット配列を生成する。即ち、2次元の配列上で、例えば、ドットがある位置に「1」を、ドットがない位置に「0」を記憶することにより、画像として検出したドットをデジタルデータに置き換える。そして、この2次元の配列をドット配列として出力する。
【0033】
符号配列生成部713は、ドット配列上で、符号ブロック内の単位パターンに対応するブロックを検出する。具体的には、単位パターンが配置されるブロックと同じ形状及び大きさの枠をドット配列上で動かし、枠内のドット数が均等になる位置で枠を固定する。例えば、図3(a)の単位パターンを用いる場合であれば、3ドット×3ドットに対応する大きさの枠を動かし、枠内に含まれるドット数が2となる位置で枠を固定する。そして、その枠で区切られた各ブロック内のドット位置から定まる符号値を格納した符号配列を生成する。また、この符号配列が生成されると、予め定められた同期符号の符号値を検索することによって、同期符号の位置が特定される。
【0034】
識別情報取得部714は、符号配列から同期符号の位置を基準にして識別符号を検出する。そして、画像生成時にRS符号化処理で用いたパラメータを用いて識別符号を復号し、識別情報を取得する。
位置情報取得部715は、符号配列から同期符号の位置を基準にして位置符号を検出する。そして、位置符号からM系列の部分系列を取り出し、画像生成時に使用したM系列におけるこの部分系列の位置を参照し、この位置を同期符号によるオフセットで補正した値を位置情報として取得する。尚、オフセットで補正するのは、位置符号の間に同期符号が配置されているためである。本実施の形態では、特定の位置情報を取得する取得手段の一例として、位置情報取得部715を設けている。
受信情報取得部716は、通信回路76bが外部から受信した情報登録の結果を取得する。
表示情報取得部717は、操作受付部718が受け付けた操作に応じて、LCD72aに表示する情報(以下、「表示情報」という)を取得する。ここで、表示情報としては、例えば、画像データやテキストデータ等が考えられる。本実施の形態では、表示画面に特定の表示情報を表示する表示手段の一例として、表示情報取得部717を設けている。
【0035】
操作受付部718は、操作キー72bを用いたユーザ操作を受け付ける。
出力部719は、表示情報取得部717が取得した表示情報や、受信情報取得部716が取得した情報登録の結果をLCD72aに出力する。また、操作受付部718が受け付けた操作に基づく信号を赤外LED73に出力する。更に、位置情報取得部715が取得した位置情報を、携帯端末70上のLCD72aの範囲を示す情報(以下、「画面範囲情報」という)に変換し、識別情報取得部714が取得した識別情報と、表示情報取得部717が取得した表示情報と共に外部に出力する。その際、通信回路76bが基地局85と通信可能な状態にあれば、通信回路76bに情報を出力し、通信回路76bが基地局85を介して識別情報サーバ30に情報を送信する。また、通信回路76bが基地局85と通信可能な状態になければ、情報メモリ75に情報を出力し、情報メモリ75が情報を記憶する。そして、通信回路76bが、基地局85と通信可能な状態になった時点で、情報メモリ75から情報を取り出し、基地局85を介して識別情報サーバ30に情報を送信する。本実施の形態では、電子文書の部分に特定の情報を関連付ける処理を行う処理手段、特定の表示情報と特定の位置情報とを送信する送信手段の一例として、出力部719を設けている。
【0036】
このような携帯端末70から送信された情報は識別情報サーバ30によって処理される。そこで、次に、識別情報サーバ30の機能構成について説明する。
図7は、識別情報サーバ30の機能構成例を示したブロック図である。
図示するように、識別情報サーバ30は、対応情報記憶部31と、受信部32と、文書特定部33と、送信部34とを備える。
【0037】
対応情報記憶部31は、媒体の識別情報と、電子文書の文書IDと、印刷設定との対応情報を記憶する。この対応情報は、図2のステップ393で生成される。
受信部32は、携帯端末70から識別情報と画面範囲情報と表示情報とを受信する。
文書特定部33は、受信部32が受信した識別情報をキーとして対応情報記憶部31に記憶された対応情報を検索し、表示情報を関連付けるべき電子文書の文書IDを取得する。また、このとき、受信部32が受信した画面範囲情報に基づいて、表示情報を関連付けるべき電子文書上の範囲を特定する情報(以下、「文書範囲情報」という)を取得する。
送信部34は、文書特定部33が取得した文書ID及び文書範囲情報と、受信部32が受信した表示情報とを、文書IDにより特定される文書サーバ20に送信する。
【0038】
このような識別情報サーバ30から送信された情報は文書サーバ20によって処理される。そこで、次に、文書サーバ20の機能構成について説明する。
図8は、文書サーバ20の機能構成例を示したブロック図である。
図示するように、文書サーバ20は、文書記憶部21と、受信部22と、表示情報登録部23と、送信部24とを備える。
【0039】
文書記憶部21は、電子文書を記憶する。
受信部22は、識別情報サーバ30から文書IDと文書範囲情報と表示情報とを受信する。本実施の形態では、特定の表示情報と特定の位置情報とを受信する受信手段の一例として、受信部22を設けている。
表示情報登録部23は、受信部22が受信した文書IDをキーとして文書記憶部21から電子文書を検索し、その電子文書上の文書範囲情報で特定される範囲に表示情報を関連付ける。本実施の形態では、電子文書の部分に特定の表示情報を関連付けて登録する登録手段の一例として、表示情報登録部23を設けている。
送信部24は、表示情報登録部23による情報登録の結果を携帯端末70に送信する。
【0040】
次に、携帯端末70で表示情報を表示し、この表示情報を文書サーバ20内の電子文書に関連付ける際の動作について説明する。
図9は、このときの携帯端末70、識別情報サーバ30、及び文書サーバ20の動作を示したシーケンス図である。
まず、携帯端末70では、ある表示情報をLCD72aに表示することを指示するユーザ操作があると、操作受付部718が、そのユーザ操作を受け付ける(ステップ701)。そして、このユーザ操作に応じて、表示情報取得部717が、図示しないメモリから表示情報を読み出して出力部719に受け渡す(ステップ702)。すると、出力部719は、表示情報をLCD72aに出力し、表示情報がLCD72aに表示される(ステップ703)。
【0041】
こうして表示情報がLCD72aに表示された状態で、携帯端末70を媒体の所定の位置の上にかざして表示情報を電子文書に関連付けることを指示するユーザ操作(ドロップ操作)があると、操作受付部718が、ドロップ操作を受け付ける(ステップ704)。
そして、このドロップ操作に応じて、出力部719が、媒体から識別情報及び位置情報を読み取るための機構を動作させ、携帯端末70は、識別情報及び位置情報を取得する(ステップ705)。具体的には、赤外LED73が媒体に対して赤外光を照射し、赤外CMOS74がその反射光を受光することにより、符号画像を読み取る。そして、画像取得部711がこの読み取った符号画像を取得する。そして、符号画像にノイズが含まれていれば、これを除去する。次に、ドット配列生成部712が、符号画像に含まれるドット位置をデジタルデータ化し、ドット配列を生成する。そして、符号配列生成部713が、ドット配列からブロックを検出し、ブロックごとの符号値を格納した符号配列を生成する。そして、符号配列において、同期符号の位置を特定する。その後、識別情報取得部714が、同期符号の位置に基づいて識別符号を検出し、これを復号して識別情報を取得する。また、位置情報取得部715が、同期符号の位置に基づいて位置符号を検出し、これを復号して位置情報を取得する。
【0042】
ところで、ここで取得した位置情報は、あくまで赤外CMOS74に対応する媒体上の位置情報である。一方、媒体上でのユーザ操作を考えると、LCD72aの真下の媒体上の位置に対応する電子文書上の位置に表示情報を関連付けるようにするのが好ましい。但し、一般に、携帯端末70上の赤外CMOS74とLCD72aの間には位置のズレがあるので、本実施の形態では、そのズレを補正するようにしている。
即ち、出力部719は、まず、ステップ705で取得した位置情報を、赤外CMOS74の位置とLCD72aの位置のズレ量に基づいて変換し、LCD72aの範囲に対応する媒体上の範囲を示す画面範囲情報を求める(ステップ706)。ここで、LCD72aの位置としては、LCD72a上の任意の1点を用いてもよいし、LCD72aの範囲を特定可能な複数の基準点を用いてもよい。但し、前者の場合は、LCD72aに対応する媒体上の1点の位置が分かるだけなので、LCD72aに対応する媒体上の範囲は、他の設定値を用いて求めることになる。一方、後者の場合は、他の設定値を用いることなく、LCD72aに対応する媒体上の範囲が求められる。
その後、出力部719は、識別情報と、画面範囲情報と、表示情報とを通信回路76bに出力し、通信回路76bが、出力された情報を識別情報サーバ30に送信する(ステップ707)。
【0043】
このようにして携帯端末70から識別情報、画面範囲情報、表示情報が送信されると、識別情報サーバ30では、まず、受信部32が、それらの情報を受信し、文書特定部33に受け渡す(ステップ301)。
次に、文書特定部33が、受信部32から渡された識別情報をキーとして対応情報記憶部31に記憶された対応情報を検索し、この識別情報に対応する文書IDを取得する(ステップ302)。また、受信部32から渡された識別情報をキーとして対応情報記憶部31に記憶された対応情報を検索し、この識別情報に対応する印刷設定を取得し、この印刷設定と画面範囲情報とに基づいて、表示情報を関連付ける電子文書の範囲を示す文書範囲情報を求める(ステップ303)。
そして、送信部34が、文書特定部33が取得した文書IDによって特定される文書サーバ20に対して、文書ID、文書範囲情報、表示情報を送信する(ステップ304)。
【0044】
このようにして識別情報サーバ30から文書ID、文書範囲情報、表示情報が送信されると、文書サーバ20では、まず、受信部22が、それらの情報を受信し、表示情報登録部23に受け渡す(ステップ201)。
すると、表示情報登録部23は、文書IDをキーとして文書記憶部21を検索し、文書範囲情報を用いて、表示情報を関連付けるべき電子文書及びその範囲を特定する(ステップ202)。そして、特定された電子文書上の範囲に既に表示情報が関連付けられているかどうかを判定する(ステップ203)。
【0045】
ここで、表示情報がまだ関連付けられていないと判定された場合、表示情報登録部23は、受信部22から受け取った表示情報を、特定された電子文書上の範囲に関連付けて登録する(ステップ204)。尚、この場合、表示情報の電子文書への関連付けは、電子文書とは別に電子文書上の範囲を示す情報と表示情報とを関連付けて記憶しておくものでもよいし、文書記憶部21に記憶された電子文書上の範囲に直接表示情報を貼り付けて記憶するものであってもよい。そして、表示情報の電子文書への関連付けが終了すると、表示情報登録部23は、登録が成功した旨を結果情報に設定する(ステップ205)。
一方、表示情報が既に関連付けられていると判定された場合、表示情報登録部23は、受信部22から受け取った表示情報を電子文書に関連付けて登録することなく、登録が失敗した旨を結果情報に設定する(ステップ206)。
そして、結果情報は送信部24に伝えられ、送信部24が、結果情報を携帯端末70に返信する(ステップ207)。
【0046】
これにより、携帯端末70では、通信回路76bが結果情報を受信し、受信情報取得部716が通信回路76bから結果情報を取得して出力部719に受け渡す(ステップ708)。そして、結果情報は、出力部719からLCD72aに渡され、LCD72aに表示されることになる。
【0047】
尚、本実施の形態では、媒体に印刷された識別情報に基づいて電子文書を特定したが、電子文書の特定方法はこれに限らない。例えば、極めて限られた電子文書に対してのみ表示情報の関連付けが行われるようなサービスでは、媒体に印刷された識別情報を用いずに、予め決められた電子文書に表示情報を関連付けるようにしてもよい。或いは、その他の方法で電子文書を特定するようにしても構わない。
【0048】
また、本実施の形態では、媒体上の位置を示す位置情報の画像を媒体に印刷し、この位置情報の画像に基づいて電子文書の表示情報を関連付ける範囲を特定したが、これには限らない。例えば、電子文書上の位置を示す画像を媒体に印刷し、この画像に基づいて電子文書の表示情報を関連付ける範囲を特定するようにしてもよい。この意味で、位置情報の画像は、電子文書の各部分が印刷された位置に印刷され、各部分を特定するための画像の一例であるということができる。
【0049】
また、本実施の形態では、電子文書への表示情報の関連付けを文書サーバ20で行ったが、このような構成には限らない。例えば、識別情報サーバ30で文書IDと文書範囲情報と表示情報とを対応付けて記憶することにより、電子文書への表示情報の関連付けを実現してもよい。
【0050】
更に、本実施の形態では、電子文書に既に表示情報が関連付けられていれば、新たに表示情報を関連付けないようにしたが、これはオプションの機能と考えてよい。即ち、電子文書に既に表示情報が関連付けられていた場合に、その表示情報と重複して新たな表示情報を関連付ける構成を採用してもよい。
更にまた、本実施の形態では、媒体から取得した位置情報から画面範囲情報への変換を携帯端末70で行い、画面範囲情報から文書範囲情報への変換を識別情報サーバ30で行ったが、これもこの構成には限らない。各変換を行うために用いる情報が伝えられていれば、別の装置でこれらの変換を行うようにしてもよい。
【0051】
ところで、本実施の形態では、携帯端末70が電子文書への表示情報の関連付けを指示するようにした。しかしながら、必ずしも携帯端末70でこの処理を行わなくてよい。媒体から符号画像を読み取る画像読取装置及び表示情報を表示する表示画面と通信可能な状態になっていれば、例えば、端末装置50で同様の処理を行うようにしてもよい。
そこで、これらの処理をコンピュータ90で行うものとして、コンピュータ90のハードウェア構成について説明する。
【0052】
図10は、コンピュータ90のハードウェア構成を示した図である。
図示するように、コンピュータ90は、演算手段であるCPU(Central Processing Unit)91と、記憶手段であるメインメモリ92及び磁気ディスク装置(HDD:Hard Disk Drive)93とを備える。ここで、CPU91は、OS(Operating System)やアプリケーション等の各種ソフトウェアを実行し、上述した各機能を実現する。また、メインメモリ92は、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、磁気ディスク装置93は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
更に、コンピュータ90は、外部との通信を行うための通信I/F94と、ビデオメモリやディスプレイ等からなる表示機構95と、キーボードやマウス等の入力デバイス96とを備える。
【0053】
尚、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、CD−ROM等の記録媒体に格納して提供することも可能である。
【図面の簡単な説明】
【0054】
【図1】本発明の実施の形態が適用されるシステム構成を示した図である。
【図2】本発明の実施の形態における印刷文書出力時の動作を示したシーケンス図である。
【図3】本発明の実施の形態で生成される符号画像の例を示した図である。
【図4】本発明の実施の形態における動作の概要を示した図である。
【図5】本発明の実施の形態における携帯端末の機構を示した図である。
【図6】本発明の実施の形態における携帯端末の制御回路の機能構成を示したブロック図である。
【図7】本発明の実施の形態における識別情報サーバの機能構成を示したブロック図である。
【図8】本発明の実施の形態における文書サーバの機能構成を示したブロック図である。
【図9】本発明の実施の形態における電子文書への表示情報の関連付け時の動作を示したシーケンス図である。
【図10】本発明の実施の形態を実現可能なコンピュータのハードウェア構成図である。
【符号の説明】
【0055】
10,50…端末装置、20…文書サーバ、30…識別情報サーバ、40…画像形成装置、60…デジタルペン、70…携帯端末、80…ネットワーク
【技術分野】
【0001】
本発明は、情報処理装置、文書管理システム、プログラムに関する。
【背景技術】
【0002】
プリントアウト表面を手動で編集することにより、電子的に記憶された文書に変更を加える技術が知られている(例えば、特許文献1参照)。この特許文献1の技術では、まず、電子的に記憶された文書を、位置コーディングパターンを備えた表面に印刷する。次に、位置コーディングパターン読取り手段を備えたデジタルペンと表面にマーキングを付けるペンポイントとでプリントアウト表面を手動で編集する。すると、このマーキングがコンピュータに転送され、コンピュータ内で解釈され、この解釈に基づいて記憶済み文書に変更が加えられる。
【0003】
【特許文献1】特表2003−528388号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
本発明の目的は、表示画面に表示された情報を、媒体から読み取られた画像により特定される電子文書の部分に関連付けることにある。
【課題を解決するための手段】
【0005】
請求項1に記載の発明は、表示画面に特定の情報を表示する表示手段と、電子文書が印刷された媒体であって当該電子文書の各部分が印刷された位置に当該各部分を特定するための画像が印刷された媒体から画像読取装置が読み取った特定の画像を取得する取得手段と、前記表示画面に前記特定の情報が表示された状態で前記取得手段により前記特定の画像が取得されると、当該特定の画像によって特定される前記電子文書の部分に当該特定の情報を関連付ける処理を行う処理手段とを備えたことを特徴とする情報処理装置である。
請求項2に記載の発明は、前記処理手段は、前記電子文書の部分に既に関連付けられた情報がない場合に、当該部分に前記特定の情報を関連付ける処理を行うことを特徴とする請求項1記載の情報処理装置である。
請求項3に記載の発明は、前記処理手段は、前記電子文書の部分に既に関連付けられた情報がある場合に、当該部分に前記特定の情報を関連付ける処理を行わないことを特徴とする請求項1記載の情報処理装置である。
請求項4に記載の発明は、情報を表示するための表示画面と、電子文書が印刷された媒体であって当該電子文書の各部分が印刷された位置に当該各部分を特定するための画像が印刷された媒体から特定の画像を読み取る読取り手段と、前記表示画面に特定の情報が表示された状態で前記読取り手段により前記特定の画像が読み取られると、当該特定の画像によって特定される前記電子文書の部分に当該特定の情報を関連付ける処理を行う処理手段とを備えたことを特徴とする情報処理装置である。
請求項5に記載の発明は、前記画像は、前記媒体上の各位置を示す画像であり、前記電子文書の部分は、前記特定の画像が示す位置を、前記表示画面と前記読取り手段との位置のズレ量に基づいて変換して得られた位置によって特定されることを特徴とする請求項4記載の情報処理装置である。
請求項6に記載の発明は、前記画像は、前記媒体上の各位置を示す画像であり、前記電子文書の部分は、前記特定の画像が示す位置を、前記表示画面の範囲を特定するための複数の基準点と前記読取り手段との位置のズレ量に基づいて変換して得られた範囲によって特定されることを特徴とする請求項4記載の情報処理装置である。
請求項7に記載の発明は、被写体を撮像する撮像手段を更に備え、前記処理手段は、前記撮像手段により前記被写体を撮像することで得られた画像情報を、前記特定の情報として、前記電子文書の部分に関連付ける処理を行うことを特徴とする請求項4記載の情報処理装置である。
請求項8に記載の発明は、テキスト情報を入力するための操作部を更に備え、前記処理手段は、前記操作部を用いて入力された前記テキスト情報を、前記特定の情報として、前記電子文書の部分に関連付ける処理を行うことを特徴とする請求項4記載の情報処理装置である。
請求項9に記載の発明は、情報を表示するための表示画面と、前記表示画面に特定の情報が表示され、かつ、電子文書が印刷された媒体の上方に配置された状態で、所定の操作があると、当該表示画面に対応する当該媒体上の位置に印刷された当該電子文書の部分に当該特定の情報を関連付ける処理を行う処理手段とを備えたことを特徴とする情報処理装置である。
請求項10に記載の発明は、電子文書が印刷された媒体から画像を読み取る画像読取装置と、前記電子文書を管理する文書管理装置とを備え、前記画像読取装置は、表示画面に特定の表示情報を表示する表示手段と、前記媒体から読み取られた前記画像に基づいて、当該媒体上の位置を示す特定の位置情報を取得する取得手段と、前記表示画面に前記特定の表示情報が表示された状態で前記取得手段により前記特定の位置情報が取得されると、当該特定の表示情報と当該特定の位置情報とを前記文書管理装置に送信する送信手段とを備え、前記文書管理装置は、前記特定の表示情報と前記特定の位置情報とを前記画像読取装置から受信する受信手段と、前記受信手段により受信された前記特定の位置情報が示す位置に印刷された前記電子文書の部分に、前記受信手段により受信された前記特定の表示情報を関連付けて登録する登録手段とを備えたことを特徴とする文書管理システムである。
請求項11に記載の発明は、前記登録手段は、前記電子文書の部分に既に関連付けられた情報がない場合に、当該部分に前記特定の表示情報を関連付けて登録することを特徴とする請求項10記載の文書管理システムである。
請求項12に記載の発明は、前記登録手段は、前記電子文書の部分に既に関連付けられた情報がある場合に、当該部分に前記特定の表示情報を関連付けて登録しないことを特徴とする請求項10記載の文書管理システムである。
請求項13に記載の発明は、コンピュータに、表示画面に特定の情報を表示する機能と、電子文書が印刷された媒体であって当該電子文書の各部分が印刷された位置に当該各部分を特定するための画像が印刷された媒体から画像読取装置が読み取った特定の画像を取得する機能と、前記表示画面に前記特定の情報が表示された状態で前記特定の画像が取得されると、当該特定の画像によって特定される前記電子文書の部分に当該特定の情報を関連付ける処理を行う機能とを実現させるためのプログラムである。
【発明の効果】
【0006】
請求項1の発明は、表示画面に表示された情報を、媒体から読み取られた画像により特定される電子文書の部分に関連付けることができるという効果を有する。
請求項2の発明は、電子文書の同じ部分に情報が重複して関連付けられるのを防ぐことができるという効果を有する。
請求項3の発明は、電子文書の同じ部分に情報が重複して関連付けられるのを防ぐことができるという効果を有する。
請求項4の発明は、表示画面に表示された情報を、媒体から読み取られた画像により特定される電子文書の部分に関連付けることができるという効果を有する。
請求項5の発明は、表示画面の位置で指定した電子文書の部分に情報を関連付けることができるという効果を有する。
請求項6の発明は、表示画面の範囲で指定した電子文書の部分に情報を関連付けることができるという効果を有する。
請求項7の発明は、撮像手段による撮像で得られた画像情報を、媒体から読み取られた画像により特定される電子文書の部分に関連付けることができるという効果を有する。
請求項8の発明は、例えば手書きよりも操作部を用いた方が間違いが少ない情報を、媒体から読み取られた画像により特定される電子文書の部分に関連付けることができるという効果を有する。
請求項9の発明は、表示画面に表示された情報を、表示画面の位置に対応する電子文書の部分に関連付けることができるという効果を有する。
請求項10の発明は、表示画面に表示された情報を、媒体から読み取られた画像により特定される電子文書の部分に関連付けることができるという効果を有する。
請求項11の発明は、電子文書の同じ部分に情報が重複して関連付けられるのを防ぐことができるという効果を有する。
請求項12の発明は、電子文書の同じ部分に情報が重複して関連付けられるのを防ぐことができるという効果を有する。
請求項13の発明は、表示画面に表示された情報を、媒体から読み取られた画像により特定される電子文書の部分に関連付けることができるという効果を有する。
【発明を実施するための最良の形態】
【0007】
以下、添付図面を参照して、本発明を実施するための最良の形態(以下、「実施の形態」という)について詳細に説明する。
まず、本実施の形態におけるコンピュータシステムの全体構成について説明する。
図1は、本実施の形態のコンピュータシステムの構成例を示したものである。
図示するように、このコンピュータシステムは、端末装置10と、文書サーバ20と、識別情報サーバ30と、画像形成装置40と、端末装置50とがネットワーク80に接続されることにより構成されている。また、端末装置50には、デジタルペン60が通信装置55を介して接続されている。更に、ネットワーク80には、基地局85が接続されており、基地局85と無線通信可能な範囲に携帯端末70が存在している。
【0008】
端末装置10は、文書サーバ20に対して電子文書の印刷を要求するコンピュータ装置である。ここで、端末装置10としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータを用いるとよい。
文書サーバ20は、電子文書を記憶し管理するコンピュータ装置である。また、端末装置10から電子文書の印刷要求があると、電子文書の画像と、識別情報及び位置情報を表す符号画像とを生成し、これらを合成した合成画像を媒体に印刷する印刷命令を画像形成装置40に対して出力する。この場合、識別情報とは、媒体を一意に特定するための情報であり、位置情報とは、媒体上の座標位置を特定するための情報である。ここで、文書サーバ20としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータを用いるとよい。本実施の形態では、文書管理装置の一例として、識別情報サーバ30を設けている。
【0009】
識別情報サーバ30は、媒体に付与する識別情報を発行するコンピュータ装置である。そして、発行した識別情報を、その識別情報が付与される媒体に印刷される電子文書と関連付けて記憶する。ここで、識別情報サーバ30としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータを用いるとよい。
画像形成装置40は、媒体に画像を印刷し、印刷文書として出力する装置である。この画像形成装置40は、単体のプリンタや印刷機であってもよいし、他にスキャナや通信の機能を備えた所謂複合機であってもよい。ここで、画像形成装置40における画像形成方式としては、例えば、電子写真方式を用いるとよいが、その他の方式を用いてもよい。
【0010】
端末装置50は、印刷文書に対する筆記を電子化した情報(以下、「筆跡情報」という)を、印刷文書に記録された画像の元となる電子文書に反映させるために識別情報サーバ30に送信するコンピュータ装置である。また、筆跡情報を反映する対象の電子文書を図示しないディスプレイに表示し、その上に筆跡情報を重ねて表示するようにしてもよい。ここで、端末装置50としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータを用いるとよい。尚、本実施の形態では、筆記の内容を電子化した筆記情報の一例として、筆跡情報を用いている。また、筆跡情報を主に手書き情報として説明するが、これに限らず、例えば、建築や機械等の図面データを出力する装置であるプロッタ等によって機械的に描画された情報であってもよい。
【0011】
通信装置55は、デジタルペン60から筆跡情報を取得して端末装置50に送信する装置である。例えば、デジタルペン60を差し込む差込口を設け、この差込口にデジタルペン60が差し込まれると、デジタルペン60に記憶された筆跡情報を端末装置50に送信するようにするとよい。ここで、端末装置50との間の通信の方式としては、USB(Universal Serial Bus)、Bluetooth(登録商標)、赤外線通信機能等、種々の方式が考えられる。また、図では、通信装置55をデジタルペン60と別体のものとして示しているが、必ずしも別体である必要はなく、一体に構成してもよい。
デジタルペン60は、電子筆記具の一例であり、印刷文書上に文字又は図形を筆記するために用いられるペンデバイスである。また、媒体に印刷された符号画像を読み取る撮像素子を備える。そして、撮像素子で読み取った符号画像から位置情報を検出し、筆記した文字又は図形をイメージデータ化した筆跡情報をこの位置情報に基づいて生成し記憶する。
【0012】
携帯端末70は、情報処理装置又は画像読取装置の一例であり、印刷文書上の符号画像を読み取り、この符号画像から取り出した識別情報及び位置情報を用いた処理を行う。ここで、携帯端末70としては、例えば携帯電話機を用いるとよい。
基地局85は、携帯端末70とネットワーク80との中継点となる装置である。携帯端末70が送信したデータを中継して識別情報サーバ30等に送信したり、識別情報サーバ30等が送信したデータを中継して携帯端末70に送信したりする。
ネットワーク80は、各装置間を双方向通信可能に接続する通信回線である。例えば、LAN(Local Area Network)やインターネットによって実現するとよい。
【0013】
尚、本明細書では、媒体に記録する画像の元となる電子データを「電子文書」と表記するが、これは、テキストを含む「文書」を電子化したデータのみを意味するものではない。例えば、絵、写真、図形等の画像データ(ラスタデータかベクターデータかによらない)、データベース管理ソフトウェアや表計算ソフトウェアで記録されるデータ、その他の印刷可能な電子データも含めて「電子文書」としている。
また、本明細書において、「媒体」は、画像を印刷可能な媒体であれば、その材質は問わない。代表例は紙であるが、OHPシートや金属板等であっても構わない。
更に、本明細書では、電子文書や媒体について、それぞれを一意に識別するための識別情報を用いて処理を行うが、単に「識別情報」というときは、このうち、媒体の識別情報を意味するものとする。また、この識別情報の一例として、本実施の形態では、媒体へのプリントを行う画像形成装置40の機械番号と画像形成装置40におけるプリントカウントの値とを結合したものを用いる。
【0014】
まず、このコンピュータシステムの画像形成時の動作について説明する。
図2は、このときの文書サーバ20及び識別情報サーバ30の動作を示したシーケンス図である。
文書サーバ20は、まず、電子文書の印刷要求を端末装置10から受信する(ステップ291)。このうち、電子文書の印刷要求には、電子文書を一意に識別するための識別情報(以下、「文書ID」という)と印刷設定とが含まれる。ここで、文書IDとしては、例えば、URL(Uniform Resource Locator)を用いるとよいが、電子文書を一意に特定することができるものであれば他の情報を用いてもよい。また、印刷設定は、ページ、部数、用紙サイズ、Nアップ(電子文書のNページを媒体の1ページに割り付ける印刷)、余白等の設定を含む。そして、文書サーバ20は、文書IDと印刷設定とを識別情報サーバ30に送信することで、識別情報の発行を要求する(ステップ292)。
【0015】
これにより、識別情報サーバ30は、文書IDと印刷設定とを受信する(ステップ391)。そして、識別情報を記憶したデータベースから未使用の識別情報を取り出す(ステップ392)。ここで、取り出す識別情報の数は、印刷設定に応じて決められる。つまり、基本的には、印刷するページ数に印刷部数を乗じて得られる数の識別情報が取り出される。但し、設定情報中に、Nアップの指定等がある場合は、それも考慮される。例えば、10ページの電子文書を2アップで5部印刷する場合は、25(=10÷2×5)個の識別情報が取り出される。
次に、識別情報サーバ30は、識別情報と文書IDと印刷設定とを関連付けて記憶する(ステップ393)。そして、ステップ392で発行された識別情報を、文書サーバ20に対して送信する(ステップ394)。
【0016】
これにより、文書サーバ20は、識別情報を受信する(ステップ293)。そして、識別情報と位置情報とを表す符号画像を生成する(ステップ294)。この符号画像の生成は、具体的には、次のような処理により行われる。
即ち、まず、ステップ293で取得した識別情報を符号化することで識別符号を生成する。尚、識別情報の符号化の詳細については後述する。また、印刷設定を受け取り、印刷設定に応じた範囲の位置情報を符号化することで位置符号を生成する。尚、位置情報の符号化の詳細についても後述する。その後、識別符号と位置符号とを所定のレイアウトに従って配置し、これをパターン画像を用いて画像化することで符号画像を生成する。
【0017】
また、文書サーバ20は、電子文書の文書画像を生成する(ステップ295)。その際、ステップ291で取得した文書IDに基づいて対象となる電子文書を図示しない記憶手段から読み出す。また、ステップ291で取得した印刷設定に基づいて文書画像を生成する。
そして、ステップ294で生成された符号画像と、ステップ295で生成された文書画像とを合成し、合成画像を生成する(ステップ296)。
その後、合成画像の印刷命令を画像形成装置40に送信する(ステップ297)。ここで、合成画像の印刷命令は、例えば、文書画像の印刷命令の列からなるPDL(Page Description Language)ファイルに対し、符号画像として印刷する内容をPDLコマンドとして設定したPDLの形式で送信される。
【0018】
これにより、画像形成装置40は、文書画像を例えばC(シアン)、M(マゼンタ)、Y(イエロー)のトナーを用いて媒体に印刷する。また、符号画像を例えばK(カーボンを含む黒)のトナー又は特殊トナーを用いて媒体に印刷する。
ここで、特殊トナーとしては、可視光領域(400nm〜700nm)における最大吸収率が7%以下であり、近赤外領域(800nm〜1000nm)における吸収率が30%以上の不可視トナーが例示される。ここで、「可視」及び「不可視」は、目視により認識できるかどうかとは関係しない。印刷文書における画像が可視光領域における特定の波長の吸収に起因する発色性の有無により認識できるかどうかで「可視」と「不可視」とを区別している。また、可視光領域における特定の波長の吸収に起因する発色性が若干あるが人間の目で認識し難いものも、「不可視」に含める。
【0019】
尚、ここでは、電子文書の画像に符号画像を合成して印刷することとしたが、白紙(ノートや付箋等)に符号画像を印刷する構成としてもよい。その場合は、ステップ291で受信する印刷要求に文書IDを含めないようにし、ステップ393で識別情報と文書ID及び印刷設定との関連付けを行わないようにし、ステップ295における文書画像の生成は実行しないようにすればよい。
【0020】
次に、本実施の形態で生成される符号画像について説明する。
図3は、符号画像を構成する画像等の一例を示した図である。
まず、符号画像を構成する単位パターンについて説明する。
図3(a)は、単位パターンの一例を示したものである。
単位パターンとは、情報埋め込みの最小単位である。図では、黒塗りの領域と斜線の領域をドット配置可能な領域とし、その間にある白色の領域をドット配置不可能な領域としている。そして、ドット配置可能な領域のうち、黒塗りの領域にドットが配置され、斜線の領域にはドットが配置されていないことを示している。即ち、図は、ドットを配置可能な9箇所の中から選択した2箇所にドットを配置することで単位パターンを構成した例を示したものである。ここで、9箇所の中から2箇所を選択する組み合わせは36(=9C2)通りなので、単位パターンは、36種類存在する。このうち、4種類の単位パターンは、同期パターンとして使用される。同期パターンとは、画像の回転を検出したり、識別符号及び位置符号の相対的な位置を特定したりするためのパターンである。特に、画像の回転を検出する必要があることから、4種類の同期パターンとしては、そのうちの1つの同期パターンを90度回転するとそのうちの別の同期パターンになるようなものが選ばれる。また、この4種類の単位パターンを除く32種類の単位パターンは、識別符号及び位置符号を表現する情報パターンとして使用され、5ビットの情報が表現される。
【0021】
ところで、図3(a)に示したドットは、あくまで情報表現のためのドットであり、画像を構成する最小の点を意味するドットとは必ずしも一致しない。本実施の形態において、情報表現のためのドット(図3(a)の最小の四角)は、600dpiにおける2ドット×2ドットの大きさを有している。600dpiにおける1ドットの大きさは0.0423mmなので、情報表現のためのドット(図3(a)の最小の四角)の一辺は、84.6μm(=0.0423mm×2)である。情報表現のためのドットは、大きくなればなるほど目に付きやすくなるため、できるだけ小さいほうが好ましい。ところが、あまり小さくすると、プリンタで印刷できなくなってしまう。そこで、情報表現のためのドットの大きさとして、50μmより大きく100μmより小さい上記の値を採用している。但し、上記の値84.6μmは、あくまで計算上の数値であり、実際に印刷されたトナー像では100μm程度になる。尚、本明細書で「ドット」というときは、特に明示しない限り、画像を構成する最小の点を意味するドットではなく、情報表現のためのドットを指すものとする。
【0022】
次に、このような単位パターンから構成される符号ブロックについて説明する。
図3(b)に、符号ブロックのレイアウトの一例を示す。尚、ここでは、画像ではなく、パターン画像によって置き換えられる直前の符号配列で示している。即ち、図3(b)の最小の四角(以下、「単位ブロック」という)に、図3(a)のような単位パターン(36通りの単位パターンのいずれか)が配置され、その画像が媒体に形成されることになる。
図3(b)のレイアウトでは、符号ブロックの左上の1つの単位ブロックに、同期符号が配置されている。また、同期符号が配置された単位ブロックの右側の4つの単位ブロックにX位置符号が配置され、同期符号が配置された単位ブロックの下側の4つの単位ブロックにY位置符号が配置されている。更に、これらの位置符号が配置された単位ブロックに囲まれた16(=4×4)個の単位ブロックに識別符号が配置されている。
【0023】
ここで、識別情報の符号化について述べる。
識別情報を符号化する場合、識別情報を構成するビット列は、RS符号化を行うために複数のブロックに分割される。符号化には、いくつかの方法があるが、本実施の形態では、RS符号化が適している。RS符号は多値の符号法であり、この場合、単位ブロックで表現される値がRS符号の多値に対応するからである。例えば、1つの単位ブロックで5ビットの情報を表現する場合、60ビットの識別情報は、ブロック長が5ビットの12個のブロックに分割される。そして、2ブロックの誤りを訂正可能なRS符号を採用したとすると、符号長は16ブロックとなり、図3(b)の符号ブロックにおける識別符号が配置される単位ブロックに収まることになる。尚、符号化方式はRS符号に限定するものでなく、その他の符号化方式、例えば、BCH符号等を使用してもよい。
【0024】
次に、位置情報の符号化について述べる。
位置情報の符号化には、擬似乱数系列の一種であるM系列符号が使用される。ここで、M系列とは、ある長さのシフトレジスタとフィードバックによって生成される符号系列のうち、その周期が最長になる系列をいう。Kをシフトレジスタの段数とすると、M系列の系列長は2K−1となる。このM系列から取り出した任意の連続したKビットは、同じM系列中の他の位置に現れない性質を持つ。そこで、この性質を利用して位置情報を符号化する。
ところで、本実施の形態では、符号化すべき位置情報の長さから、必要なM系列の次数を求め、M系列を生成している。しかしながら、符号化する位置情報の長さが予め分かっている場合は、M系列を毎回生成する必要はない。即ち、固定のM系列を予め生成しておき、それをメモリ等に格納しておけばよい。
例えば、系列長8191のM系列(K=13)を使用したとする。この場合、位置符号も5ビット単位で埋め込むため、系列長8191のM系列から5ビットずつ取り出してブロック化する。
【0025】
尚、本明細書では、説明を簡単にするために、識別情報と位置情報とは明確に区別して用いている。しかしながら、広範な位置情報を用意しておき、媒体ごとに異なる範囲から位置情報を切り出して埋め込み、位置情報の違いによって媒体を識別するという手法もある。そこで、このような手法においては、媒体を識別する機能が位置情報に備わっているものと見て、位置情報を識別情報としても考えるものとする。
【0026】
ところで、このような符号画像が印刷された媒体(以下、「符号画像付き媒体」という)には、通常、デジタルペン60で手書きが行われ、その手書きの筆跡を電子化した画像データである筆跡情報が生成される。この場合、符号画像付き媒体に電子文書が印刷されていれば、その印刷の元となる電子文書(以下、「印刷元電子文書」という)に対して、筆跡情報が付加されることもある。
しかしながら、印刷元電子文書に対して、手書きの画像データ以外の画像データ(写真等)や、テキストデータ(文字列)等を付加したい場面もある。具体例としては、地図上の各場所に対し、各場所で撮影した写真を対応付けるような場面が考えられる。
【0027】
そこで、本実施の形態では、符号画像を読み取り可能なカメラ付きの携帯端末70を用いて、携帯端末70で撮影した写真や、携帯端末70から入力したテキストデータ等の情報を、符号画像付き媒体の特定の位置と関連付ける。そして、このような操作により、印刷元電子文書の任意の位置に、携帯端末70上の情報を関連付けたり、貼り付けたりする。
尚、本明細書において、「テキストデータ」とは、文字、記号等を、画像ではなく、各文字、記号等に割り当てられたコードで表現したデータを意味するものとする。従って、拡張子が「.txt」のデータだけでなく、各種アプリケーションソフトウェア固有のコードを含むものも、テキストデータとして考える。
【0028】
図4に、本実施の形態の概略動作について示す。尚、ここでは、家の見取り図上の所定の位置に画像データ又はテキストデータを関連付ける場合を例示している。
(a)は、携帯端末70で取得した画像データを用いる例である。
まず、ユーザは、左側に示すように、携帯端末70で写真を撮影することにより、画像データの一例である写真データを取得する。
次に、ユーザは、中央に示すように、携帯端末70に写真を表示した状態で符号画像付き媒体400の所定の位置の上方に配置し、ポイント&ドロップを行う。即ち、符号画像付き媒体400の所定の位置を指定して携帯端末70の所定のボタンを押下することで、印刷元電子文書200の対応する位置に対する写真の関連付けを指示する。
すると、右側に示すように、写真データが例えばサーバに送信され、印刷元電子文書200の指定された位置にマップされる。
【0029】
(b)は、携帯端末70から入力したテキストデータを用いる例である。
まず、ユーザは、左側に示すように、携帯端末70でテキストデータの一例である文字列を入力する。
次に、ユーザは、中央に示すように、携帯端末70に文字列を表示した状態で符号画像付き媒体400の所定の位置の上方に配置し、ポイント&ドロップを行う。即ち、符号画像付き媒体400の所定の位置を指定して携帯端末70の所定のボタンを押下することで、印刷元電子文書200の対応する位置に対する文字列の関連付けを指示する。
すると、右側に示すように、文字列が例えばサーバに送信され、印刷元電子文書200の指定された位置にマップされる。
【0030】
このように、符号画像の読取り及びデータの電子文書への関連付けの指示は、携帯端末70によって実現される。
そこで、まず、携帯端末70の機構について説明する。
図5は、携帯端末70の構成例を示した図である。
図示するように、携帯端末70は、端末全体の動作を制御する制御回路71を備える。また、制御回路71は、読み取った符号画像を処理する画像処理部71aと、そこでの処理結果から識別情報及び位置情報を抽出するデータ処理部71bとを含む。
また、制御回路71には、情報を表示するための表示画面の一例としてのLCD(Liquid Crystal Display)72aと、情報を入力するための操作キー72bと、媒体上に赤外光を照射する赤外LED73と、反射光を検知することによって符号画像を読み取る赤外CMOS74とが接続されている。ここで、赤外CMOS74は、赤外光に感度を有するため、符号画像を読み取るために用いられ、画像読取装置又は読取り手段の一例であるが、これに加えて、可視光に感度を有する可視光CMOSを備えていてもよい。その場合、可視光CMOSは、撮像手段の一例である。また、制御回路71には、識別情報及び位置情報を記憶するための情報メモリ75と、外部装置と無線通信を行うためのアンテナ76a及び通信回路76bと、端末を駆動するためのバッテリ77と、端末の識別情報(端末ID)を記憶する端末IDメモリ78も接続されている。更に、音声を出力するためのスピーカ79aと、音声を入力するためのマイクロフォン79bも接続されている。
【0031】
次に、このうち制御回路71において実現される機能構成について更に詳細に説明する。
図6は、制御回路71の機能構成例を示したブロック図である。尚、図では、制御回路71内の画像処理部71aとデータ処理部71bとに分けて、機能構成例を示している。
図示するように、画像処理部71aは、画像取得部711と、ドット配列生成部712とを備える。また、データ処理部71bは、符号配列生成部713と、識別情報取得部714と、位置情報取得部715と、受信情報取得部716と、表示情報取得部717と、操作受付部718と、出力部719とを備える。
【0032】
画像取得部711は、赤外CMOS74が印刷文書から読み取った符号画像を取得する。また、必要に応じて、符号画像に含まれるノイズを除去する。本実施の形態では、画像読取装置が読み取った特定の画像を取得する取得手段の一例として、画像取得部711を設けている。
ドット配列生成部712は、符号画像におけるドットの位置を参照して、ドット配列を生成する。即ち、2次元の配列上で、例えば、ドットがある位置に「1」を、ドットがない位置に「0」を記憶することにより、画像として検出したドットをデジタルデータに置き換える。そして、この2次元の配列をドット配列として出力する。
【0033】
符号配列生成部713は、ドット配列上で、符号ブロック内の単位パターンに対応するブロックを検出する。具体的には、単位パターンが配置されるブロックと同じ形状及び大きさの枠をドット配列上で動かし、枠内のドット数が均等になる位置で枠を固定する。例えば、図3(a)の単位パターンを用いる場合であれば、3ドット×3ドットに対応する大きさの枠を動かし、枠内に含まれるドット数が2となる位置で枠を固定する。そして、その枠で区切られた各ブロック内のドット位置から定まる符号値を格納した符号配列を生成する。また、この符号配列が生成されると、予め定められた同期符号の符号値を検索することによって、同期符号の位置が特定される。
【0034】
識別情報取得部714は、符号配列から同期符号の位置を基準にして識別符号を検出する。そして、画像生成時にRS符号化処理で用いたパラメータを用いて識別符号を復号し、識別情報を取得する。
位置情報取得部715は、符号配列から同期符号の位置を基準にして位置符号を検出する。そして、位置符号からM系列の部分系列を取り出し、画像生成時に使用したM系列におけるこの部分系列の位置を参照し、この位置を同期符号によるオフセットで補正した値を位置情報として取得する。尚、オフセットで補正するのは、位置符号の間に同期符号が配置されているためである。本実施の形態では、特定の位置情報を取得する取得手段の一例として、位置情報取得部715を設けている。
受信情報取得部716は、通信回路76bが外部から受信した情報登録の結果を取得する。
表示情報取得部717は、操作受付部718が受け付けた操作に応じて、LCD72aに表示する情報(以下、「表示情報」という)を取得する。ここで、表示情報としては、例えば、画像データやテキストデータ等が考えられる。本実施の形態では、表示画面に特定の表示情報を表示する表示手段の一例として、表示情報取得部717を設けている。
【0035】
操作受付部718は、操作キー72bを用いたユーザ操作を受け付ける。
出力部719は、表示情報取得部717が取得した表示情報や、受信情報取得部716が取得した情報登録の結果をLCD72aに出力する。また、操作受付部718が受け付けた操作に基づく信号を赤外LED73に出力する。更に、位置情報取得部715が取得した位置情報を、携帯端末70上のLCD72aの範囲を示す情報(以下、「画面範囲情報」という)に変換し、識別情報取得部714が取得した識別情報と、表示情報取得部717が取得した表示情報と共に外部に出力する。その際、通信回路76bが基地局85と通信可能な状態にあれば、通信回路76bに情報を出力し、通信回路76bが基地局85を介して識別情報サーバ30に情報を送信する。また、通信回路76bが基地局85と通信可能な状態になければ、情報メモリ75に情報を出力し、情報メモリ75が情報を記憶する。そして、通信回路76bが、基地局85と通信可能な状態になった時点で、情報メモリ75から情報を取り出し、基地局85を介して識別情報サーバ30に情報を送信する。本実施の形態では、電子文書の部分に特定の情報を関連付ける処理を行う処理手段、特定の表示情報と特定の位置情報とを送信する送信手段の一例として、出力部719を設けている。
【0036】
このような携帯端末70から送信された情報は識別情報サーバ30によって処理される。そこで、次に、識別情報サーバ30の機能構成について説明する。
図7は、識別情報サーバ30の機能構成例を示したブロック図である。
図示するように、識別情報サーバ30は、対応情報記憶部31と、受信部32と、文書特定部33と、送信部34とを備える。
【0037】
対応情報記憶部31は、媒体の識別情報と、電子文書の文書IDと、印刷設定との対応情報を記憶する。この対応情報は、図2のステップ393で生成される。
受信部32は、携帯端末70から識別情報と画面範囲情報と表示情報とを受信する。
文書特定部33は、受信部32が受信した識別情報をキーとして対応情報記憶部31に記憶された対応情報を検索し、表示情報を関連付けるべき電子文書の文書IDを取得する。また、このとき、受信部32が受信した画面範囲情報に基づいて、表示情報を関連付けるべき電子文書上の範囲を特定する情報(以下、「文書範囲情報」という)を取得する。
送信部34は、文書特定部33が取得した文書ID及び文書範囲情報と、受信部32が受信した表示情報とを、文書IDにより特定される文書サーバ20に送信する。
【0038】
このような識別情報サーバ30から送信された情報は文書サーバ20によって処理される。そこで、次に、文書サーバ20の機能構成について説明する。
図8は、文書サーバ20の機能構成例を示したブロック図である。
図示するように、文書サーバ20は、文書記憶部21と、受信部22と、表示情報登録部23と、送信部24とを備える。
【0039】
文書記憶部21は、電子文書を記憶する。
受信部22は、識別情報サーバ30から文書IDと文書範囲情報と表示情報とを受信する。本実施の形態では、特定の表示情報と特定の位置情報とを受信する受信手段の一例として、受信部22を設けている。
表示情報登録部23は、受信部22が受信した文書IDをキーとして文書記憶部21から電子文書を検索し、その電子文書上の文書範囲情報で特定される範囲に表示情報を関連付ける。本実施の形態では、電子文書の部分に特定の表示情報を関連付けて登録する登録手段の一例として、表示情報登録部23を設けている。
送信部24は、表示情報登録部23による情報登録の結果を携帯端末70に送信する。
【0040】
次に、携帯端末70で表示情報を表示し、この表示情報を文書サーバ20内の電子文書に関連付ける際の動作について説明する。
図9は、このときの携帯端末70、識別情報サーバ30、及び文書サーバ20の動作を示したシーケンス図である。
まず、携帯端末70では、ある表示情報をLCD72aに表示することを指示するユーザ操作があると、操作受付部718が、そのユーザ操作を受け付ける(ステップ701)。そして、このユーザ操作に応じて、表示情報取得部717が、図示しないメモリから表示情報を読み出して出力部719に受け渡す(ステップ702)。すると、出力部719は、表示情報をLCD72aに出力し、表示情報がLCD72aに表示される(ステップ703)。
【0041】
こうして表示情報がLCD72aに表示された状態で、携帯端末70を媒体の所定の位置の上にかざして表示情報を電子文書に関連付けることを指示するユーザ操作(ドロップ操作)があると、操作受付部718が、ドロップ操作を受け付ける(ステップ704)。
そして、このドロップ操作に応じて、出力部719が、媒体から識別情報及び位置情報を読み取るための機構を動作させ、携帯端末70は、識別情報及び位置情報を取得する(ステップ705)。具体的には、赤外LED73が媒体に対して赤外光を照射し、赤外CMOS74がその反射光を受光することにより、符号画像を読み取る。そして、画像取得部711がこの読み取った符号画像を取得する。そして、符号画像にノイズが含まれていれば、これを除去する。次に、ドット配列生成部712が、符号画像に含まれるドット位置をデジタルデータ化し、ドット配列を生成する。そして、符号配列生成部713が、ドット配列からブロックを検出し、ブロックごとの符号値を格納した符号配列を生成する。そして、符号配列において、同期符号の位置を特定する。その後、識別情報取得部714が、同期符号の位置に基づいて識別符号を検出し、これを復号して識別情報を取得する。また、位置情報取得部715が、同期符号の位置に基づいて位置符号を検出し、これを復号して位置情報を取得する。
【0042】
ところで、ここで取得した位置情報は、あくまで赤外CMOS74に対応する媒体上の位置情報である。一方、媒体上でのユーザ操作を考えると、LCD72aの真下の媒体上の位置に対応する電子文書上の位置に表示情報を関連付けるようにするのが好ましい。但し、一般に、携帯端末70上の赤外CMOS74とLCD72aの間には位置のズレがあるので、本実施の形態では、そのズレを補正するようにしている。
即ち、出力部719は、まず、ステップ705で取得した位置情報を、赤外CMOS74の位置とLCD72aの位置のズレ量に基づいて変換し、LCD72aの範囲に対応する媒体上の範囲を示す画面範囲情報を求める(ステップ706)。ここで、LCD72aの位置としては、LCD72a上の任意の1点を用いてもよいし、LCD72aの範囲を特定可能な複数の基準点を用いてもよい。但し、前者の場合は、LCD72aに対応する媒体上の1点の位置が分かるだけなので、LCD72aに対応する媒体上の範囲は、他の設定値を用いて求めることになる。一方、後者の場合は、他の設定値を用いることなく、LCD72aに対応する媒体上の範囲が求められる。
その後、出力部719は、識別情報と、画面範囲情報と、表示情報とを通信回路76bに出力し、通信回路76bが、出力された情報を識別情報サーバ30に送信する(ステップ707)。
【0043】
このようにして携帯端末70から識別情報、画面範囲情報、表示情報が送信されると、識別情報サーバ30では、まず、受信部32が、それらの情報を受信し、文書特定部33に受け渡す(ステップ301)。
次に、文書特定部33が、受信部32から渡された識別情報をキーとして対応情報記憶部31に記憶された対応情報を検索し、この識別情報に対応する文書IDを取得する(ステップ302)。また、受信部32から渡された識別情報をキーとして対応情報記憶部31に記憶された対応情報を検索し、この識別情報に対応する印刷設定を取得し、この印刷設定と画面範囲情報とに基づいて、表示情報を関連付ける電子文書の範囲を示す文書範囲情報を求める(ステップ303)。
そして、送信部34が、文書特定部33が取得した文書IDによって特定される文書サーバ20に対して、文書ID、文書範囲情報、表示情報を送信する(ステップ304)。
【0044】
このようにして識別情報サーバ30から文書ID、文書範囲情報、表示情報が送信されると、文書サーバ20では、まず、受信部22が、それらの情報を受信し、表示情報登録部23に受け渡す(ステップ201)。
すると、表示情報登録部23は、文書IDをキーとして文書記憶部21を検索し、文書範囲情報を用いて、表示情報を関連付けるべき電子文書及びその範囲を特定する(ステップ202)。そして、特定された電子文書上の範囲に既に表示情報が関連付けられているかどうかを判定する(ステップ203)。
【0045】
ここで、表示情報がまだ関連付けられていないと判定された場合、表示情報登録部23は、受信部22から受け取った表示情報を、特定された電子文書上の範囲に関連付けて登録する(ステップ204)。尚、この場合、表示情報の電子文書への関連付けは、電子文書とは別に電子文書上の範囲を示す情報と表示情報とを関連付けて記憶しておくものでもよいし、文書記憶部21に記憶された電子文書上の範囲に直接表示情報を貼り付けて記憶するものであってもよい。そして、表示情報の電子文書への関連付けが終了すると、表示情報登録部23は、登録が成功した旨を結果情報に設定する(ステップ205)。
一方、表示情報が既に関連付けられていると判定された場合、表示情報登録部23は、受信部22から受け取った表示情報を電子文書に関連付けて登録することなく、登録が失敗した旨を結果情報に設定する(ステップ206)。
そして、結果情報は送信部24に伝えられ、送信部24が、結果情報を携帯端末70に返信する(ステップ207)。
【0046】
これにより、携帯端末70では、通信回路76bが結果情報を受信し、受信情報取得部716が通信回路76bから結果情報を取得して出力部719に受け渡す(ステップ708)。そして、結果情報は、出力部719からLCD72aに渡され、LCD72aに表示されることになる。
【0047】
尚、本実施の形態では、媒体に印刷された識別情報に基づいて電子文書を特定したが、電子文書の特定方法はこれに限らない。例えば、極めて限られた電子文書に対してのみ表示情報の関連付けが行われるようなサービスでは、媒体に印刷された識別情報を用いずに、予め決められた電子文書に表示情報を関連付けるようにしてもよい。或いは、その他の方法で電子文書を特定するようにしても構わない。
【0048】
また、本実施の形態では、媒体上の位置を示す位置情報の画像を媒体に印刷し、この位置情報の画像に基づいて電子文書の表示情報を関連付ける範囲を特定したが、これには限らない。例えば、電子文書上の位置を示す画像を媒体に印刷し、この画像に基づいて電子文書の表示情報を関連付ける範囲を特定するようにしてもよい。この意味で、位置情報の画像は、電子文書の各部分が印刷された位置に印刷され、各部分を特定するための画像の一例であるということができる。
【0049】
また、本実施の形態では、電子文書への表示情報の関連付けを文書サーバ20で行ったが、このような構成には限らない。例えば、識別情報サーバ30で文書IDと文書範囲情報と表示情報とを対応付けて記憶することにより、電子文書への表示情報の関連付けを実現してもよい。
【0050】
更に、本実施の形態では、電子文書に既に表示情報が関連付けられていれば、新たに表示情報を関連付けないようにしたが、これはオプションの機能と考えてよい。即ち、電子文書に既に表示情報が関連付けられていた場合に、その表示情報と重複して新たな表示情報を関連付ける構成を採用してもよい。
更にまた、本実施の形態では、媒体から取得した位置情報から画面範囲情報への変換を携帯端末70で行い、画面範囲情報から文書範囲情報への変換を識別情報サーバ30で行ったが、これもこの構成には限らない。各変換を行うために用いる情報が伝えられていれば、別の装置でこれらの変換を行うようにしてもよい。
【0051】
ところで、本実施の形態では、携帯端末70が電子文書への表示情報の関連付けを指示するようにした。しかしながら、必ずしも携帯端末70でこの処理を行わなくてよい。媒体から符号画像を読み取る画像読取装置及び表示情報を表示する表示画面と通信可能な状態になっていれば、例えば、端末装置50で同様の処理を行うようにしてもよい。
そこで、これらの処理をコンピュータ90で行うものとして、コンピュータ90のハードウェア構成について説明する。
【0052】
図10は、コンピュータ90のハードウェア構成を示した図である。
図示するように、コンピュータ90は、演算手段であるCPU(Central Processing Unit)91と、記憶手段であるメインメモリ92及び磁気ディスク装置(HDD:Hard Disk Drive)93とを備える。ここで、CPU91は、OS(Operating System)やアプリケーション等の各種ソフトウェアを実行し、上述した各機能を実現する。また、メインメモリ92は、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、磁気ディスク装置93は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
更に、コンピュータ90は、外部との通信を行うための通信I/F94と、ビデオメモリやディスプレイ等からなる表示機構95と、キーボードやマウス等の入力デバイス96とを備える。
【0053】
尚、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、CD−ROM等の記録媒体に格納して提供することも可能である。
【図面の簡単な説明】
【0054】
【図1】本発明の実施の形態が適用されるシステム構成を示した図である。
【図2】本発明の実施の形態における印刷文書出力時の動作を示したシーケンス図である。
【図3】本発明の実施の形態で生成される符号画像の例を示した図である。
【図4】本発明の実施の形態における動作の概要を示した図である。
【図5】本発明の実施の形態における携帯端末の機構を示した図である。
【図6】本発明の実施の形態における携帯端末の制御回路の機能構成を示したブロック図である。
【図7】本発明の実施の形態における識別情報サーバの機能構成を示したブロック図である。
【図8】本発明の実施の形態における文書サーバの機能構成を示したブロック図である。
【図9】本発明の実施の形態における電子文書への表示情報の関連付け時の動作を示したシーケンス図である。
【図10】本発明の実施の形態を実現可能なコンピュータのハードウェア構成図である。
【符号の説明】
【0055】
10,50…端末装置、20…文書サーバ、30…識別情報サーバ、40…画像形成装置、60…デジタルペン、70…携帯端末、80…ネットワーク
【特許請求の範囲】
【請求項1】
表示画面に特定の情報を表示する表示手段と、
電子文書が印刷された媒体であって当該電子文書の各部分が印刷された位置に当該各部分を特定するための画像が印刷された媒体から画像読取装置が読み取った特定の画像を取得する取得手段と、
前記表示画面に前記特定の情報が表示された状態で前記取得手段により前記特定の画像が取得されると、当該特定の画像によって特定される前記電子文書の部分に当該特定の情報を関連付ける処理を行う処理手段と
を備えたことを特徴とする情報処理装置。
【請求項2】
前記処理手段は、前記電子文書の部分に既に関連付けられた情報がない場合に、当該部分に前記特定の情報を関連付ける処理を行うことを特徴とする請求項1記載の情報処理装置。
【請求項3】
前記処理手段は、前記電子文書の部分に既に関連付けられた情報がある場合に、当該部分に前記特定の情報を関連付ける処理を行わないことを特徴とする請求項1記載の情報処理装置。
【請求項4】
情報を表示するための表示画面と、
電子文書が印刷された媒体であって当該電子文書の各部分が印刷された位置に当該各部分を特定するための画像が印刷された媒体から特定の画像を読み取る読取り手段と、
前記表示画面に特定の情報が表示された状態で前記読取り手段により前記特定の画像が読み取られると、当該特定の画像によって特定される前記電子文書の部分に当該特定の情報を関連付ける処理を行う処理手段と
を備えたことを特徴とする情報処理装置。
【請求項5】
前記画像は、前記媒体上の各位置を示す画像であり、
前記電子文書の部分は、前記特定の画像が示す位置を、前記表示画面と前記読取り手段との位置のズレ量に基づいて変換して得られた位置によって特定されることを特徴とする請求項4記載の情報処理装置。
【請求項6】
前記画像は、前記媒体上の各位置を示す画像であり、
前記電子文書の部分は、前記特定の画像が示す位置を、前記表示画面の範囲を特定するための複数の基準点と前記読取り手段との位置のズレ量に基づいて変換して得られた範囲によって特定されることを特徴とする請求項4記載の情報処理装置。
【請求項7】
被写体を撮像する撮像手段を更に備え、
前記処理手段は、前記撮像手段により前記被写体を撮像することで得られた画像情報を、前記特定の情報として、前記電子文書の部分に関連付ける処理を行うことを特徴とする請求項4記載の情報処理装置。
【請求項8】
テキスト情報を入力するための操作部を更に備え、
前記処理手段は、前記操作部を用いて入力された前記テキスト情報を、前記特定の情報として、前記電子文書の部分に関連付ける処理を行うことを特徴とする請求項4記載の情報処理装置。
【請求項9】
情報を表示するための表示画面と、
前記表示画面に特定の情報が表示され、かつ、電子文書が印刷された媒体の上方に配置された状態で、所定の操作があると、当該表示画面に対応する当該媒体上の位置に印刷された当該電子文書の部分に当該特定の情報を関連付ける処理を行う処理手段と
を備えたことを特徴とする情報処理装置。
【請求項10】
電子文書が印刷された媒体から画像を読み取る画像読取装置と、
前記電子文書を管理する文書管理装置と
を備え、
前記画像読取装置は、
表示画面に特定の表示情報を表示する表示手段と、
前記媒体から読み取られた前記画像に基づいて、当該媒体上の位置を示す特定の位置情報を取得する取得手段と、
前記表示画面に前記特定の表示情報が表示された状態で前記取得手段により前記特定の位置情報が取得されると、当該特定の表示情報と当該特定の位置情報とを前記文書管理装置に送信する送信手段と
を備え、
前記文書管理装置は、
前記特定の表示情報と前記特定の位置情報とを前記画像読取装置から受信する受信手段と、
前記受信手段により受信された前記特定の位置情報が示す位置に印刷された前記電子文書の部分に、前記受信手段により受信された前記特定の表示情報を関連付けて登録する登録手段と
を備えたことを特徴とする文書管理システム。
【請求項11】
前記登録手段は、前記電子文書の部分に既に関連付けられた情報がない場合に、当該部分に前記特定の表示情報を関連付けて登録することを特徴とする請求項10記載の文書管理システム。
【請求項12】
前記登録手段は、前記電子文書の部分に既に関連付けられた情報がある場合に、当該部分に前記特定の表示情報を関連付けて登録しないことを特徴とする請求項10記載の文書管理システム。
【請求項13】
コンピュータに、
表示画面に特定の情報を表示する機能と、
電子文書が印刷された媒体であって当該電子文書の各部分が印刷された位置に当該各部分を特定するための画像が印刷された媒体から画像読取装置が読み取った特定の画像を取得する機能と、
前記表示画面に前記特定の情報が表示された状態で前記特定の画像が取得されると、当該特定の画像によって特定される前記電子文書の部分に当該特定の情報を関連付ける処理を行う機能と
を実現させるためのプログラム。
【請求項1】
表示画面に特定の情報を表示する表示手段と、
電子文書が印刷された媒体であって当該電子文書の各部分が印刷された位置に当該各部分を特定するための画像が印刷された媒体から画像読取装置が読み取った特定の画像を取得する取得手段と、
前記表示画面に前記特定の情報が表示された状態で前記取得手段により前記特定の画像が取得されると、当該特定の画像によって特定される前記電子文書の部分に当該特定の情報を関連付ける処理を行う処理手段と
を備えたことを特徴とする情報処理装置。
【請求項2】
前記処理手段は、前記電子文書の部分に既に関連付けられた情報がない場合に、当該部分に前記特定の情報を関連付ける処理を行うことを特徴とする請求項1記載の情報処理装置。
【請求項3】
前記処理手段は、前記電子文書の部分に既に関連付けられた情報がある場合に、当該部分に前記特定の情報を関連付ける処理を行わないことを特徴とする請求項1記載の情報処理装置。
【請求項4】
情報を表示するための表示画面と、
電子文書が印刷された媒体であって当該電子文書の各部分が印刷された位置に当該各部分を特定するための画像が印刷された媒体から特定の画像を読み取る読取り手段と、
前記表示画面に特定の情報が表示された状態で前記読取り手段により前記特定の画像が読み取られると、当該特定の画像によって特定される前記電子文書の部分に当該特定の情報を関連付ける処理を行う処理手段と
を備えたことを特徴とする情報処理装置。
【請求項5】
前記画像は、前記媒体上の各位置を示す画像であり、
前記電子文書の部分は、前記特定の画像が示す位置を、前記表示画面と前記読取り手段との位置のズレ量に基づいて変換して得られた位置によって特定されることを特徴とする請求項4記載の情報処理装置。
【請求項6】
前記画像は、前記媒体上の各位置を示す画像であり、
前記電子文書の部分は、前記特定の画像が示す位置を、前記表示画面の範囲を特定するための複数の基準点と前記読取り手段との位置のズレ量に基づいて変換して得られた範囲によって特定されることを特徴とする請求項4記載の情報処理装置。
【請求項7】
被写体を撮像する撮像手段を更に備え、
前記処理手段は、前記撮像手段により前記被写体を撮像することで得られた画像情報を、前記特定の情報として、前記電子文書の部分に関連付ける処理を行うことを特徴とする請求項4記載の情報処理装置。
【請求項8】
テキスト情報を入力するための操作部を更に備え、
前記処理手段は、前記操作部を用いて入力された前記テキスト情報を、前記特定の情報として、前記電子文書の部分に関連付ける処理を行うことを特徴とする請求項4記載の情報処理装置。
【請求項9】
情報を表示するための表示画面と、
前記表示画面に特定の情報が表示され、かつ、電子文書が印刷された媒体の上方に配置された状態で、所定の操作があると、当該表示画面に対応する当該媒体上の位置に印刷された当該電子文書の部分に当該特定の情報を関連付ける処理を行う処理手段と
を備えたことを特徴とする情報処理装置。
【請求項10】
電子文書が印刷された媒体から画像を読み取る画像読取装置と、
前記電子文書を管理する文書管理装置と
を備え、
前記画像読取装置は、
表示画面に特定の表示情報を表示する表示手段と、
前記媒体から読み取られた前記画像に基づいて、当該媒体上の位置を示す特定の位置情報を取得する取得手段と、
前記表示画面に前記特定の表示情報が表示された状態で前記取得手段により前記特定の位置情報が取得されると、当該特定の表示情報と当該特定の位置情報とを前記文書管理装置に送信する送信手段と
を備え、
前記文書管理装置は、
前記特定の表示情報と前記特定の位置情報とを前記画像読取装置から受信する受信手段と、
前記受信手段により受信された前記特定の位置情報が示す位置に印刷された前記電子文書の部分に、前記受信手段により受信された前記特定の表示情報を関連付けて登録する登録手段と
を備えたことを特徴とする文書管理システム。
【請求項11】
前記登録手段は、前記電子文書の部分に既に関連付けられた情報がない場合に、当該部分に前記特定の表示情報を関連付けて登録することを特徴とする請求項10記載の文書管理システム。
【請求項12】
前記登録手段は、前記電子文書の部分に既に関連付けられた情報がある場合に、当該部分に前記特定の表示情報を関連付けて登録しないことを特徴とする請求項10記載の文書管理システム。
【請求項13】
コンピュータに、
表示画面に特定の情報を表示する機能と、
電子文書が印刷された媒体であって当該電子文書の各部分が印刷された位置に当該各部分を特定するための画像が印刷された媒体から画像読取装置が読み取った特定の画像を取得する機能と、
前記表示画面に前記特定の情報が表示された状態で前記特定の画像が取得されると、当該特定の画像によって特定される前記電子文書の部分に当該特定の情報を関連付ける処理を行う機能と
を実現させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【公開番号】特開2009−282573(P2009−282573A)
【公開日】平成21年12月3日(2009.12.3)
【国際特許分類】
【出願番号】特願2008−131252(P2008−131252)
【出願日】平成20年5月19日(2008.5.19)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】
【公開日】平成21年12月3日(2009.12.3)
【国際特許分類】
【出願日】平成20年5月19日(2008.5.19)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】
[ Back to top ]