説明

画像処理装置及び画像処理プログラム

【課題】筆記しようとしている文書内の記入欄に適している筆記具であるか否かを判断するようにした画像処理装置を提供する。
【解決手段】画像出力装置の筆記具情報受付手段は、文書内の記入欄における筆記具情報を受け付け、情報画像生成手段は、位置情報及び筆記具情報に基づいて情報画像を生成し、合成手段は、情報画像を文書内の記入欄に合成し、出力手段は、情報画像が合成された文書を媒体に出力し、画像読取装置の筆記具情報記憶手段は、筆記具情報を記憶し、読取手段は、画像出力装置によって媒体に出力されており、筆記具による筆記位置を抽出するための情報画像を読み取り、抽出手段は、情報画像を解析して、筆記具情報を抽出し、判断手段は、筆記具情報と前記筆記具情報記憶手段によって記憶されている筆記具情報を比較して、読み取られた位置に対して筆記する筆記具として適しているか否かを判断する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【0002】
記録媒体上に配置される情報画像の構成や、情報画像が配置された記録媒体に書き込まれた情報の読取制御に関する技術がある。
これに関連する技術として、例えば、特許文献1には、印刷された文書に加筆すると電子的な原文書に自動的に反映されるシステムを提供することを課題とし、入力装置に入力が行われると、その筆記時にその文書又はその場所に対して筆記可能かどうかの判定をし、さらに使用者に知らせ、そのためには、まず筆記可能あるいは逆に筆記不可能な文書の識別情報(例えば特定の文書に筆記できない場合)、座標情報(例えば用紙の端など特定の座標に筆記できない場合)、あるいはその組み合わせたもの(例えばある文書のある部分は筆記できない場合)を筆記具に登録する必要があり、次に筆記時に筆記可能あるいは不可能かを判定部で判定し、通信部はインタフェース部と兼用でもよく、筆記者に例えば筆記不可能という警告を発するには例えば音や光(LEDの点滅等)、あるいは振動といった方法で知らせることが開示されている。
【0003】
また、例えば、特許文献2には、記載内容改ざん防止機能がついた電子ペンを利用した書類の記入システムにおいて、初期に電子ペンの使用により電子処理用ペーパに記入された電子情報を故意あるいは事故により書き換えられる可能性をなくすことを課題とし、一旦記入された電子処理ペーパ内の追記や修正を禁止したい領域に新たな微細パターンを印刷する手段を設け、この印刷で、電子処理ペーパ上の本来存在するドットパターンにさらに微細パターンを追加し、電子ペンによる情報入力を原理的に不可能とすることが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−263267号公報
【特許文献2】特開2005−157934号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、画像読取装置に筆記可能な文書に関する情報を記憶させることをしないで、筆記しようとしている文書内の記入欄に適している筆記具であるか否かを判断するようにした画像処理装置及び画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【0006】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項1の発明は、文書内の記入欄における筆記具に関する情報である筆記具情報を受け付ける筆記具情報受付手段と、前記文書内の位置を示す位置情報及び前記筆記具情報受付手段によって受け付けられた筆記具情報に基づいて、情報を示す画像である情報画像を生成する情報画像生成手段と、前記情報画像生成手段によって生成された情報画像を前記文書内の前記記入欄に合成する合成手段と、前記合成手段によって情報画像が合成された文書を媒体に出力する出力手段を備える画像出力装置と、筆記具に関する情報である筆記具情報を記憶する筆記具情報記憶手段と、前記画像出力装置によって媒体に出力されており、前記筆記具による筆記位置を抽出するための情報画像を読み取る読取手段と、前記読取手段によって読み取られた情報画像を解析して、筆記具情報を抽出する抽出手段と、前記抽出手段によって抽出された筆記具情報と前記筆記具情報記憶手段によって記憶されている筆記具情報を比較して、前記読取手段によって読み取られた位置に対して筆記する筆記具として適しているか否かを判断する判断手段を備える画像読取装置を具備することを特徴とする画像処理装置である。
【0007】
請求項2の発明は、文書内の記入欄における筆記具に関する情報である筆記具情報を受け付ける筆記具情報受付手段と、前記文書内の位置を示す位置情報及び前記筆記具情報受付手段によって受け付けられた筆記具情報に基づいて、情報を示す画像である情報画像を生成する情報画像生成手段と、前記情報画像生成手段によって生成された情報画像を前記文書内の前記記入欄に合成する合成手段と、前記合成手段によって情報画像が合成された文書を媒体に出力する出力手段を具備することを特徴とする画像処理装置である。
【0008】
請求項3の発明は、筆記具に関する情報である筆記具情報を記憶する筆記具情報記憶手段と、文書内の記入欄における筆記具に関する情報である筆記具情報と該文書内の位置を示す位置情報とに基づいて生成された情報を示す画像である情報画像が合成された文書に対する筆記具による筆記位置を抽出するための情報画像を読み取る読取手段と、前記読取手段によって読み取られた情報画像を解析して、筆記具情報を抽出する抽出手段と、前記抽出手段によって抽出された筆記具情報と前記筆記具情報記憶手段によって記憶されている筆記具情報を比較して、前記読取手段によって読み取られた位置に対して筆記する筆記具として適しているか否かを判断する判断手段を具備することを特徴とする画像処理装置である。
【0009】
請求項4の発明は、前記判断手段によって、前記読取手段によって読み取られた位置に対して筆記する筆記具として適していないと判断された場合に警告を発する警告手段をさらに具備することを特徴とする請求項1又は3に記載の画像処理装置である。
【0010】
請求項5の発明は、前記判断手段によって、前記読取手段によって読み取られた位置に対して筆記する筆記具として適していないと判断された場合に、前記筆記具による筆記を行わせないように制御する筆記具制御手段をさらに具備することを特徴とする請求項1、3又は4のいずれか一項に記載の画像処理装置である。
【0011】
請求項6の発明は、前記読取手段によって読み取られた情報画像を解析して、位置情報を抽出する位置情報抽出手段と、前記位置情報抽出手段によって抽出された位置情報を出力する第2の出力手段と、前記判断手段によって、前記読取手段によって読み取られた位置に対して筆記する筆記具として適していないと判断された場合に、前記第2の出力手段に前記位置情報抽出手段によって抽出された位置情報を出力しないように制御する出力制御手段をさらに具備することを特徴とする請求項1、3、4又は5のいずれか一項に記載の画像処理装置である。
【0012】
請求項7の発明は、コンピュータを、文書内の記入欄における筆記具に関する情報である筆記具情報を受け付ける筆記具情報受付手段と、前記文書内の位置を示す位置情報及び前記筆記具情報受付手段によって受け付けられた筆記具情報に基づいて、情報を示す画像である情報画像を生成する情報画像生成手段と、前記情報画像生成手段によって生成された情報画像を前記文書内の前記記入欄に合成する合成手段と、前記合成手段によって情報画像が合成された文書を媒体に出力する出力手段として機能させるための画像処理プログラムである。
【0013】
請求項8の発明は、コンピュータを、筆記具に関する情報である筆記具情報を記憶する筆記具情報記憶手段と、文書内の記入欄における筆記具に関する情報である筆記具情報と該文書内の位置を示す位置情報とに基づいて生成された情報を示す画像である情報画像が合成された文書に対する筆記具による筆記位置を抽出するための情報画像を読み取る読取手段と、前記読取手段によって読み取られた情報画像を解析して、筆記具情報を抽出する抽出手段と、前記抽出手段によって抽出された筆記具情報と前記筆記具情報記憶手段によって記憶されている筆記具情報を比較して、前記読取手段によって読み取られた位置に対して筆記する筆記具として適しているか否かを判断する判断手段として機能させるための画像処理プログラムである。
【発明の効果】
【0014】
請求項1の画像処理装置によれば、画像読取装置に筆記可能な文書に関する情報を記憶させることをしないで、筆記しようとしている文書内の記入欄に適している筆記具であるか否かを判断することができる。
【0015】
請求項2の画像処理装置によれば、画像読取装置に筆記可能な文書に関する情報を記憶させることをしないで、筆記しようとしている文書内の記入欄に適している筆記具であるか否かを判断できるようにする文書を媒体に出力することができる。
【0016】
請求項3の画像処理装置によれば、画像読取装置に筆記可能な文書に関する情報を記憶させることをしないで、筆記しようとしている文書内の記入欄に適している筆記具であるか否かを判断することができる。
【0017】
請求項4の画像処理装置によれば、文書内の記入欄に適していない筆記具であることを利用者に警告することができる。
【0018】
請求項5の画像処理装置によれば、文書内の記入欄に適していない筆記具で筆記されてしまうことを防止することができる。
【0019】
請求項6の画像処理装置によれば、文書内の記入欄に適していない筆記具で筆記された場合の位置情報の出力を防止することができる。
【0020】
請求項7の画像処理プログラムによれば、画像読取装置に筆記可能な文書に関する情報を記憶させることをしないで、筆記しようとしている文書内の記入欄に適している筆記具であるか否かを判断できるようにする文書を媒体に出力することができる。
【0021】
請求項8の画像処理プログラムによれば、画像読取装置に筆記可能な文書に関する情報を記憶させることをしないで、筆記しようとしている文書内の記入欄に適している筆記具であるか否かを判断することができる。
【図面の簡単な説明】
【0022】
【図1】本実施の形態(画像出力装置)の構成例についての概念的なモジュール構成図である。
【図2】本実施の形態(画像出力装置)による処理例を示すフローチャートである。
【図3】本実施の形態を実現するためのシステム構成例を示す説明図である。
【図4】電子文書と情報画像付文書の例を示す説明図である。
【図5】記入欄・筆記具情報テーブルのデータ構造例を示す説明図である。
【図6】文書・ページ・筆記具情報テーブルのデータ構造例を示す説明図である。
【図7】文書・筆記具情報テーブルのデータ構造例を示す説明図である。
【図8】文書レイアウトテーブルのデータ構造例を示す説明図である。
【図9】情報画像の例を示す説明図である。
【図10】本実施の形態(画像読取装置)の構成例についての概念的なモジュール構成図である。
【図11】本実施の形態(画像読取装置)による処理例を示すフローチャートである。
【図12】デジタルペンの構造例を示す説明図である。
【図13】ストローク情報テーブルのデータ構造例を示す説明図である。
【図14】筆記具情報テーブルのデータ構造例を示す説明図である。
【図15】本実施の形態(画像読取装置)による別の処理例を示すフローチャートである。
【図16】職階の階層構造の例を示す説明図である。
【図17】記入欄・筆記具情報テーブルのデータ構造例を示す説明図である。
【図18】筆記具情報テーブルのデータ構造例を示す説明図である。
【図19】本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【0023】
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図1は、本実施の形態(画像出力装置)の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
【0024】
本実施の形態である画像処理装置(画像出力装置)は、文書に情報画像を合成して出力するものであって、図1の例に示すように、筆記具情報受付モジュール110、文書レイアウト受付モジュール120、文書受付モジュール130、情報画像生成モジュール140、情報画像合成モジュール150、出力モジュール160を有している。
なお、情報画像とは、機械可読な態様で電子データを表すために体系的に作られた画像コードをいい、具体的な例として、図9を用いて後述する。
【0025】
文書受付モジュール130は、情報画像合成モジュール150と接続されている。文書受付モジュール130は、情報画像を合成する対象となる文書を受け付けて、その文書を情報画像合成モジュール150へ渡す。なお、文書とは、テキストデータ、場合によっては図形、画像等の電子データ、又はこれらの組み合わせであり、出力(主に印刷)、記憶、編集及び検索等の対象となり、システム又は利用者間で個別の単位として交換できるものをいい、これらに類似するものを含む。文書を受け付けるとは、例えば、文書作成アプリケーションによって作成された電子文書を受け付けること、スキャナ、カメラ等で画像を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、ハードディスク(画像処理装置に内蔵されているものの他に、ネットワークを介して接続されているもの等を含む)等に記憶されている電子文書を読み出すこと等が含まれる。文書の画像は、2値画像であってもよいし、多値画像(カラー画像を含む)であってもよい。受け付ける画像は、1ページであってもよいし、複数ページであってもよい。また、画像の内容として、利用者による手書きの書き込みが想定されている記入欄があるものであり、例えば、検査表、申請書等が該当する。なお、記入欄の形態は、一般的には、線で囲まれた矩形の領域であるが、括弧等によって囲まれた領域等であってもよい。これらに限定されず、明確な区切りではない空白領域であってもよい。この空白領域として、例えば、予め定められた面積以上の空白領域であってもよいし、ページ全体、複数ページである文書全体等であってもよい。また、記入欄に記入されるものは、後述するデジタルペン(筆記具)で筆記されるものであれば、文字、チェック等の記号、図等であってもよい。
【0026】
文書レイアウト受付モジュール120は、情報画像生成モジュール140と接続されている。文書レイアウト受付モジュール120は、文書受付モジュール130によって受け付けられた文書のレイアウトに関する情報を受け付け、そのレイアウト情報を情報画像生成モジュール140へ渡す。ここでレイアウト情報とは、少なくとも記入欄の位置、大きさを示す情報が含まれている。また、記入欄以外の文書構成(タイトル、段落、図、表等)の位置、大きさを示す情報が含まれていてもよい。
【0027】
筆記具情報受付モジュール110は、情報画像生成モジュール140と接続されている。筆記具情報受付モジュール110は、文書内の記入欄における筆記具に関する情報である筆記具情報を受け付ける。
ここでの筆記具情報(情報画像に埋め込まれる筆記具情報)とは、文書内に記入欄がある場合において、その記入欄に記入するための後述するデジタルペンに関する情報であればよく、例えば、
(1)そのデジタルペンを使用する権限(役職、役割等)を示す情報である権限情報がある。より具体的には、一般担当、承認、経理担当、経理承認等を示す情報である。
(2)そのデジタルペンを使用する職階を示す情報である職階情報がある。より具体的には、部長、グループ長、チーム長、一般等を示す情報である。
(3)そのデジタルペンを使用する所有者を示す情報である所有者情報がある。より具体的には、社員ID(IDentification)等を示す情報である。
(4)そのデジタルペンの属性を示す情報である属性情報がある。より具体的には、そのデジタルペンのインク色等を示す情報である。
(5)そのデジタルペンを識別し得る情報である筆記具識別情報がある。より具体的には、そのデジタルペンを一意に識別し得る製造番号等を示す情報である。
また、筆記具情報は、これらの組み合わせ(AND、OR、NOT等の論理的演算子を用いた組み合わせ)であってもよい。
例えば、文書受付モジュール130が受け付けた文書には、一般担当者が記入する欄Aと承認者が記入する欄Bとが区別されている場合には、筆記具情報受付モジュール110は、その文書の欄Aには、筆記具情報としての一般担当者を示す情報、欄Bには、筆記具情報としての承認者を示す情報を受け付けることになる。そして、出力モジュール160が媒体に出力する文書の欄Aには、筆記具情報としての一般担当者を示す情報が含まれている情報画像が合成されており、欄Bには、筆記具情報としての承認者を示す情報が含まれている情報画像が合成されていることになる。
また、筆記具情報の指定については、利用者のマウス、キーボード、タッチパネル等を用いた指定を受け付けてもよいし、各欄に予め定められた筆記具情報を受け取るようにしてもよい。
【0028】
情報画像生成モジュール140は、筆記具情報受付モジュール110、文書レイアウト受付モジュール120、情報画像合成モジュール150と接続されている。情報画像生成モジュール140は、文書受付モジュール130によって受け付けられた文書内の位置を示す位置情報及び筆記具情報受付モジュール110によって受け付けられた筆記具情報に基づいて、情報を示す画像である情報画像を生成する。文書レイアウト受付モジュール120によって受け付けられたレイアウト情報(具体的には、記入欄の位置、大きさを示す情報)、筆記具情報を用いて、その記入欄内に合成する情報画像を生成する。ここで「基づいて」とは、少なくとも位置情報及び筆記具情報を含めた情報を、情報画像に埋め込むことをいう。つまり、その情報画像を解析した場合に、位置情報及び筆記具情報を読み出し得るようにすればよい。情報画像内に埋め込む位置情報とは、デジタルペンでその位置情報が埋め込まれている情報画像を読み込んだ場合に、そのデジタルペンの筆跡を再現できるようにしている情報であり、例えば、その文書内におけるXY座標等が該当する。具体的には、位置情報として、記入欄の位置、大きさから定められる領域が示すその文書におけるXY座標の集合が該当する。
また、情報画像生成モジュール140は、さらに文書を示す文書情報に基づいて、情報画像を生成するようにしてもよい。文書情報として、例えば、文書ID、ページID等が該当する。なお、文書ID、ページID等については、図3の例の説明で述べる。
【0029】
情報画像合成モジュール150は、文書受付モジュール130、情報画像生成モジュール140、出力モジュール160と接続されている。情報画像合成モジュール150は、情報画像生成モジュール140によって生成された情報画像を文書受付モジュール130によって受け付けられた文書内の記入欄に合成する。もちろんのことながら、記入欄以外の領域に情報画像を合成するようにしてもよい。記入欄以外の領域に合成する情報画像には、筆記具情報は含まれていない。なお、前述したように記入欄としては、ページ全体、文書全体という場合もあり得るので、その場合は筆記具情報が含まれている情報画像がページ全体、文書全体に合成されることになる。
【0030】
出力モジュール160は、情報画像合成モジュール150と接続されている。出力モジュール160は、情報画像合成モジュール150によって情報画像が合成された文書を媒体に出力する。文書を出力するとは、例えば、プリンタ等の印刷装置で印刷すること、ファックス等の画像送信装置で画像を送信すること等が該当する。また、ディスプレイ等の表示装置に表示すること、画像データベース等の画像記憶装置へ画像を書き込むこと、メモリーカード等の記憶媒体に記憶すること、他の情報処理装置へ渡すこと等を行ってもよいが、最終的にはデジタルペンで筆記し得るように紙、プラスチック等の媒体に出力する。
【0031】
図2は、本実施の形態(画像出力装置)による処理例を示すフローチャートである。
ステップS202では、文書受付モジュール130が、対象となる文書を受け付ける。
ステップS204では、文書レイアウト受付モジュール120が、対象となる文書のレイアウト(少なくとも記入欄の位置、大きさ)を受け付ける。
ステップS206では、筆記具情報受付モジュール110が、対象となる文書内の記入欄に適している筆記具情報を受け付ける。
ステップS208では、情報画像生成モジュール140が、記入欄内の位置と筆記具情報を含む情報画像を生成する。
ステップS210では、情報画像合成モジュール150が、対象となる文書内の記入欄に情報画像を合成する。
ステップS212では、出力モジュール160が、情報画像が合成された文書を媒体に出力する。
【0032】
図3は、本実施の形態を実現するためのシステム構成例を示す説明図である。システムとして、文書作成用情報処理装置310、文書DB320、情報画像生成用画像処理装置330、デジタルペン350、書戻用情報処理装置360を含む例を示すが、デジタルペン350が読み取った位置に対して筆記するデジタルペンとして適しているか否かを判断するためには、情報画像生成用画像処理装置330とデジタルペン350があればよい。
このシステムは、次のような処理を行うものである。電子文書に位置情報(座標情報)を含む情報画像を重畳して印刷し、それを情報画像生成用画像処理装置330で印刷する。それを小型のカメラを内蔵したデジタルペン350で読み取ることで、手書き情報がストローク情報としてデジタルペン内に蓄積される。デジタルペン350をUSBなどでPC等の書戻用情報処理装置360に接続すると、書戻用情報処理装置360内のストローク情報抽出モジュール362、書戻モジュール364がストローク情報をデジタルペン350から抽出し、文書IDから元の電子文書を特定し、その電子文書にストローク情報を書き戻す。また、デジタルペン350は無線通信によってストローク情報を書戻用情報処理装置360に送信してもよい。
【0033】
文書作成用情報処理装置310は、文書作成アプリケーション312、筆記具情報指定モジュール314を有しており、文書DB320、情報画像生成用画像処理装置330と接続されている。
文書作成アプリケーション312は、電子文書を作成し、情報画像生成用画像処理装置330に手書きによる追記の対象となる情報画像付文書340を印刷させるアプリケーションプログラムである。
【0034】
筆記具情報指定モジュール314は、記入欄におけるデジタルペンに関する情報である筆記具情報を指定する。例えば、記入欄・筆記具情報テーブル500を情報画像生成用画像処理装置330へ渡す。そして、情報画像生成用画像処理装置330内の筆記具情報受付モジュール110は、記入欄・筆記具情報テーブル500を受け取る。図5は、記入欄・筆記具情報テーブル500のデータ構造例を示す説明図である。記入欄・筆記具情報テーブル500は、記入欄ID欄510、筆記具情報欄520を有している。記入欄ID欄510は、図3に例示するシステムにおいて記入欄を一意に識別するための情報である記入欄IDを記憶し、筆記具情報欄520は、その記入欄に対して筆記するのに適しているデジタルペンに関する情報を記憶する。
【0035】
また、筆記具情報指定モジュール314は、記入欄・筆記具情報テーブル500の代わりに文書・ページ・筆記具情報テーブル600を情報画像生成用画像処理装置330に渡すようにしてもよい。つまり、記入欄としての役割がページ全体になる場合であり、そのページ全体に対して筆記するのに適しているデジタルペンを指定していることになる。そして、情報画像生成用画像処理装置330内の筆記具情報受付モジュール110は、文書・ページ・筆記具情報テーブル600を受け取る。図6は、文書・ページ・筆記具情報テーブル600のデータ構造例を示す説明図である。文書・ページ・筆記具情報テーブル600は、文書ID欄610、ページID欄620、筆記具情報欄630を有している。文書ID欄610は、図3に例示するシステムにおいて文書を一意に識別するための情報である文書IDを記憶し、ページID欄620は、その文書においてページを一意に識別するための情報であるページIDを記憶し、筆記具情報欄630は、そのページに対して筆記するのに適しているデジタルペンに関する情報を記憶する。
【0036】
また、筆記具情報指定モジュール314は、記入欄・筆記具情報テーブル500の代わりに文書・筆記具情報テーブル700を情報画像生成用画像処理装置330に渡すようにしてもよい。つまり、記入欄としての役割が文書全体(複数ページある場合はその複数ページ全体)になる場合であり、その文書全体に対して筆記するのに適しているデジタルペンを指定していることになる。そして、情報画像生成用画像処理装置330内の筆記具情報受付モジュール110は、文書・筆記具情報テーブル700を受け取る。図7は、文書・筆記具情報テーブル700のデータ構造例を示す説明図である。文書・筆記具情報テーブル700は、文書ID欄710、筆記具情報欄720を有している。文書ID欄710は、図3に例示するシステムにおいて文書を一意に識別するための情報である文書IDを記憶し、筆記具情報欄720は、その文書に対して筆記するのに適しているデジタルペンに関する情報を記憶する。
【0037】
文書作成アプリケーション312は、文書印刷時には、印刷するデバイス名(プリンタ名、情報画像生成用画像処理装置330の名称)を指定して、文書イメージを生成して文書IDと共に筆記具情報指定モジュール314によって指定された筆記具情報を情報画像生成用画像処理装置330に渡して、印刷指示を行う。印刷された情報画像には、記入欄毎に筆記具情報が埋め込まれている。そして、作成された電子文書を文書DB320に記憶させる。また、対象とする文書の記入欄のレイアウトに関する情報(例えば、文書レイアウトテーブル800)も情報画像生成用画像処理装置330に渡す。そして、情報画像生成用画像処理装置330内の文書レイアウト受付モジュール120がレイアウトに関する情報を受け取る。図8は、文書レイアウトテーブル800のデータ構造例を示す説明図である。文書レイアウトテーブル800は、記入欄ID欄810、位置欄820、高さ欄830、幅欄840を有している。記入欄ID欄810は、記入欄IDを記憶する。位置欄820は、その記入欄の例えば左上の位置を記憶する。高さ欄830は、その記入欄の高さを記憶する。幅欄840は、その記入欄の幅を記憶する。
【0038】
文書DB320は、文書作成用情報処理装置310、書戻用情報処理装置360と接続されている。文書DB320は、文書作成アプリケーション312によって作成された電子文書を記憶する。そして、その記憶されている電子文書に、書戻モジュール364によってデジタルペン350による筆記情報が合成される。
【0039】
情報画像生成用画像処理装置330は、文書作成用情報処理装置310と接続されており、図1の例に示した画像処理装置(画像出力装置)であり、文書作成用情報処理装置310によって作成された電子文書を印刷し、情報画像が合成された情報画像付文書340を出力する。情報画像付文書340は、電子文書を印刷して生成される紙文書であって、位置情報が情報画像として重畳されて印刷された紙文書である。なお、情報画像内には、文書ID等が埋め込まれていてもよい。
【0040】
ここで、図4を用いて、電子文書410と情報画像付文書340の例を説明する。
図4(a)に例示する電子文書410は、文書作成アプリケーション312によって作成された文書であり、文書DB320に記憶されている。例えば、6個の記入欄があり、それぞれの記入欄には、その記入欄に筆記するのに適しているデジタルペンの筆記具情報が指定されたとする。
図4(b)に例示する情報画像付文書340は、情報画像生成用画像処理装置330によって印刷された紙文書であり、利用者によるデジタルペン350の操作によって書き込みが行われる。情報画像付文書340の記入欄421、記入欄422、記入欄423、記入欄424、記入欄425、記入欄426内には、位置情報の他にそれぞれの筆記具情報も埋め込まれている情報画像が合成されている。そして、背景429には、位置情報が埋め込まれている情報画像が合成されている。なお、背景429には、情報画像を合成しなくてもよい。
【0041】
図9は、情報画像の例を示す説明図である。
この例は、米国ゼロックス社のパロアルト研究所で開発された、角度の異なる斜線でデータを表現するグリフコード(例えば、特開平6−103390号公報、特開平6−75795号公報)を情報画像であるコードシンボルとして用いた2次元コードパターン画像である。
【0042】
この例では、単位領域900は8シンボル×8シンボルの正方形領域である。各シンボルの値は、図9(b)、図9(c)に示すように斜線パターンで表現される。この例では、シンボル値0は垂直線に対して反時計回りに45度の角度をなす右下がりの斜線(図9(b)の例のパターン0)で、シンボル値1は垂直線に対して時計回りに45度の角度をなす右上がりの斜線(図9(c)の例のパターン1)で表現される。
【0043】
このうち、位置コード画像902は、単位領域900の左上隅の6シンボル×6シンボルの正方形の画像であり、識別コード画像904は、単位領域900からその6×6シンボルの正方形を引いた残りの逆L字領域の画像となる。
【0044】
また、この例では、単位領域900の外周に沿って縦横の各方向に、同期コード906の列及び行を設けている。この例では、同期コード906は、右上がり(「1」)の斜線シンボルの連続であり、シンボルのサイズと配列ピッチは単位領域900内のシンボルサイズ及びピッチと同じである。同期コード906は、縦及び横に等間隔で設けられ、それら同期コード906で囲まれる正方形領域に各単位領域900が設けられる。同期コード906は、各単位領域900の区切りを示す。すなわち、2次元コードパターン画像を読み取った装置では、右上がりのシンボルが連続している行及び列を検出すると、それら行と列とで形成される格子の網目の内部を単位領域900と認識することができ、その単位領域900の左上隅の6×6のシンボルが位置コード画像902と認識できる。
【0045】
なお、同期コード906は、単位領域900又は位置コード画像902の場所を特定することができるものであれば、図9に例示したようなものでなくてもよい。例えば、単位領域900の四隅に斜線シンボルとは異なる特定形状のシンボルを配置したものを同期コード906としてもよい。図9の例では、同期コード906のためにシンボル1つ分の幅の行及び列を使ったが、同期コード906を構成するマークが十分に小さいものであれば、単位領域900を隙間なく2次元配列し、隣接する単位領域900の余白部分にそのマークを配置するようにしてもよい。
【0046】
図9の例では、1つの位置コード画像902には合計36シンボル、すなわち36ビットのデータが格納されている。36ビットのうち、18ビットをx座標の符号化に、18ビットをy座標の符号化に使用することができる。各18ビットを全て位置の符号化に使用すると、2^18通り(約26万通り)の位置を符号化できる。各斜線パターンが、図9(b)、図9(c)の例に示したように8画素×8画素で構成されている場合、600dpi(ドット・パー・インチ)で印刷すると、600dpiの1ドットの縦横の長さは0.0423mmなので、縦横共に、図9の2次元コード(同期コード906を含む)の縦、横の長さは3mm程度(=1シンボル当たり8画素×9シンボル×0.0423mm)となる。3mm間隔で26万通りの位置を符号化した場合、約786mの長さを符号化できる。読取の精度がよければ18ビット全てを位置の符号化に使用することもできるが、読取エラーが問題となる場合は、誤り検出や誤り訂正のための冗長ビットを含めることが好適である。18ビットに占める冗長ビットの割合を増やすと誤り検出や誤り訂正の能力が増えるが、表現できる位置の範囲が小さくなる。
【0047】
また、図9の例では、識別コード画像904は、2ビット×8ビットの矩形領域及び2ビット×6ビットの矩形領域に配置されており、合計28ビットの識別情報等を格納できる。識別情報等として28ビットを使用した場合は、約2億7千万通り(2^28通り)の識別情報等を表現できるが、28ビットのうちのいくつかのビットを誤り検出や誤り訂正のための冗長ビットとすることで読取エラーに対処できるようにしてもよい。なお、識別情報等とは、本実施の形態では、少なくとも筆記具情報を含み、他に文書ID、ページID等を含めてもよい。例えば、用紙を一意的に識別する用紙識別番号等を含めてもよい。1つの用紙の記入欄内に印刷される単位領域900内の識別コード画像904は同じものとなる。もちろん、単位領域900内の位置コード画像902によって表される位置情報は、その用紙内における位置を示す情報であるので、それぞれの単位領域900内の位置コード画像902は異なったものとなる。
【0048】
以上の例では、互いに角度が90度異なる2つの斜線パターンをシンボルとして用いることで、1シンボルで1ビットのデータを表現したが、これは一例にすぎない。例えばシンボルに垂直線と水平線のパターンを追加すれば2ビットの情報を1シンボルで表現できる。このように、1シンボルの斜線パターンの角度種類を増やすことで、1シンボルが表現できるビット数を増加することも可能である。また、グリフコード以外の情報画像を用いてもよい。
【0049】
デジタルペン350(スキャナ付きペン、電子ペンとも言われる)は、利用者による情報画像付文書340に対する筆記によって、情報画像を読み取り、筆跡をストローク情報として抽出し、書戻用情報処理装置360へ送信する。そして、記入欄に対する記入が適しているデジタルペン350で行われているか否かを判断し、適していない場合は警告を発すること等を行う。デジタルペン350の構成、処理内容については、図10以降の図面を用いて後述する。なお、ここでストローク情報とは、情報画像付文書340に対してデジタルペン350で書き込みを行って得られた座標の系列として表現される情報である。
【0050】
書戻用情報処理装置360は、ストローク情報抽出モジュール362、書戻モジュール364を有しており、文書DB320、デジタルペン350と接続されている。
ストローク情報抽出モジュール362は、情報画像付文書340に対して書き込まれた筆跡のストローク情報をデジタルペン350から取得する機能を持つ。ストローク情報には書き込まれた情報画像付文書340の文書ID、ページ番号、ストローク列(位置情報の列)等が含まれる。
文書IDとは、前述したように図3に例示するシステムにおいて文書を一意に識別するための情報であって、電子文書とそれを印刷した紙文書は同じ文書IDを持つ。手書きによる書き込みの対象となった紙文書を識別して、そのオリジナルの電子文書を特定するために必要とされるものである。なお、デジタルペン350がその記入欄を筆記するのに適しているデジタルペンであるか否かを判断するためには、必須の構成ではない。また、電子文書と紙文書の対応関係が特定できれば、別の形態であってもよい。
【0051】
書戻モジュール364は、情報画像付文書340に対して、デジタルペン350で書き込みが行われたストローク情報を元の電子文書に書き戻しを行うアプリケーションプログラムである。ストローク情報抽出モジュール362から受けたストローク情報を、文書ID、ページIDの情報を基にして電子文書上のストローク情報として反映させる処理を行う。
【0052】
図10は、本実施の形態(画像読取装置)の構成例についての概念的なモジュール構成図である。本実施の形態である画像処理装置(画像読取装置)は、情報画像が合成された文書を読み取るものであって、図10の例に示すように、読取モジュール1010、情報画像解析モジュール1020、判断制御モジュール1030、アラームモジュール1040、ストローク情報生成モジュール1050、送信モジュール1060を有している。これらは、図3に例示したデジタルペン350に収納されている。
【0053】
読取モジュール1010は、情報画像解析モジュール1020と接続されている。読取モジュール1010は、紙等の媒体に出力されており、筆記具による筆記位置を抽出するための情報画像を読み取る。ここでの、紙等の媒体とは、文書内の記入欄における筆記具情報とその文書内の位置を示す位置情報とに基づいて生成された情報画像が合成された文書である。前述の例では、情報画像付文書340における筆記位置の画像を読み取る。後述する図12の例の画像読取モジュール1252が該当する。
また、読取モジュール1010が読み取る情報画像には、さらに文書を示す文書情報が含まれていてもよい。
【0054】
情報画像解析モジュール1020は、位置情報抽出モジュール1022、筆記具情報抽出モジュール1024、文書関連情報抽出モジュール1026を有しており、読取モジュール1010、判断制御モジュール1030、ストローク情報生成モジュール1050と接続されている。
位置情報抽出モジュール1022は、読取モジュール1010によって読み取られた情報画像を解析して、位置情報を抽出する。つまり、筆記されている位置情報を抽出することになり、この位置情報を用いて筆記情報としてのストローク情報を生成し得ることとなる。
【0055】
筆記具情報抽出モジュール1024は、読取モジュール1010によって読み取られた情報画像を解析して、情報画像内の識別情報等から筆記具情報を抽出する。
文書関連情報抽出モジュール1026は、読取モジュール1010によって読み取られた情報画像を解析して、情報画像内の識別情報等から文書に関連する情報を抽出する。文書に関連する情報として、例えば、文書情報としての文書ID等がある。
【0056】
判断制御モジュール1030は、判断モジュール1032、筆記具情報記憶モジュール1034を有しており、情報画像解析モジュール1020、アラームモジュール1040と接続されている。
筆記具情報記憶モジュール1034は、そのデジタルペン(図10の例に示す本実施の形態(画像読取装置))を示す筆記具情報を記憶する。したがって、デジタルペンに筆記可能な文書の文書IDを記憶させることをしていないので、文書を生成する都度に、デジタルペンにその文書IDを設定するという作業は必要ない。
ここでの筆記具情報とは、そのデジタルペンに関する情報であればよく、筆記具情報記憶モジュール1034に予め記憶されている情報であり、例えば、
(1)そのデジタルペンを使用する権限(役職、役割等)を示す情報である権限情報がある。より具体的には、一般、承認、経理担当、経理承認等を示す情報である。
(2)そのデジタルペンを使用する職階を示す情報である職階情報がある。より具体的には、部長、グループ長、チーム長、一般等を示す情報である。
(3)そのデジタルペンを使用する所有者を示す情報である所有者情報がある。より具体的には、社員ID(IDentification)等を示す情報である。
(4)そのデジタルペンの属性を示す情報である属性情報がある。より具体的には、そのデジタルペンのインク色等を示す情報である。なお、複数色のインク(芯)を有するデジタルペンである場合は、インク(芯)の選択操作に応じて筆記具情報記憶モジュール1034内の筆記具情報を変更するようにしてもよい。例えば、赤インクが選択された場合は、そのことを検知し、赤インクを示す筆記具情報を筆記具情報記憶モジュール1034に記憶させる。
(5)そのデジタルペンを識別し得る情報である筆記具識別情報がある。より具体的には、そのデジタルペンを一意に識別し得る製造番号等を示す情報である。
具体的には、筆記具情報記憶モジュール1034は、例えば筆記具情報テーブル1400を記憶する。図14は、筆記具情報テーブル1400のデータ構造例を示す説明図である。筆記具情報テーブル1400は、筆記具情報欄1410を有している。筆記具情報欄1410は、筆記具情報を記憶する。
また、筆記具情報記憶モジュール1034が記憶する筆記具情報は、複数であってもよい。
【0057】
判断モジュール1032は、筆記具情報抽出モジュール1024によって抽出された筆記具情報と筆記具情報記憶モジュール1034によって記憶されている筆記具情報を比較して、読取モジュール1010によって読み取られた位置に対して筆記するデジタルペンとして適しているか否かを判断する。
ここでの判断としては、例えば、筆記具情報抽出モジュール1024が抽出した筆記具情報と筆記具情報記憶モジュール1034が記憶している筆記具情報が一致している場合に、その位置(具体的には、記入欄ID欄810が読み込んでいる画像の位置である。つまり、筆記しようとしている位置である)に対して筆記するデジタルペンとして適していると判断し(このデジタルペンの筆記位置として適していると判断し)、一致していない場合に、その位置に対して筆記する筆記具として適していないと判断するようにしてもよい。
【0058】
判断処理としては、筆記具情報が一致しているか否かの判断だけでなくてもよい。例えば、筆記具情報は階層構造を有しており、その階層構造における上位・下位関係を用いて、その位置に対して筆記するデジタルペンとして適しているか否かを判断するようにしてもよい。例えば、筆記具情報として職階情報を採用した場合は、職階は階層構造を有しているので、その階層構造を用いる。つまり、筆記具情報抽出モジュール1024によって抽出された筆記具情報が、筆記具情報記憶モジュール1034によって記憶されている筆記具情報よりも下位又は同位である場合は、その位置に対して筆記する筆記具として適していると判断するようにしてもよい。したがって、上位の職階は、下位の職階が行うべき筆記を代行できるようになっている。筆記具情報抽出モジュール1024によって抽出された筆記具情報が、筆記具情報記憶モジュール1034によって記憶されている筆記具情報よりも上位である場合は、その位置に対して筆記する筆記具として適していないと判断するようにしてもよい。したがって、下位の職階は、上位の職階が行うべき筆記を代行できないようになっている。
図16は、職階の階層構造の例を示す説明図である。図16の例は、部長ID1600の下位には、G1長ID1610、G2長ID1620、G3長ID1630があり、G1長ID1610の下位には、G11員ID1611、G12員ID1612、G13員ID1613があり、G2長ID1620の下位には、G21員ID1621、G22員ID1622、G23員ID1623、G24員ID1624、G25員ID1625があり、G3長ID1630の下位には、G31員ID1631、G32員ID1632があることを示している。このような職階の階層構造を全て筆記具情報記憶モジュール1034に記憶させておくことにより、筆記具として適しているか否かの判断に用いることができる。例えば、筆記具情報記憶モジュール1034が記憶している筆記具情報がG2長ID1620であり、筆記具情報抽出モジュール1024が抽出した筆記具情報がG25員ID1625である場合は、その位置に対して筆記する筆記具として適していると判断する。また、筆記具情報抽出モジュール1024が抽出した筆記具情報が部長ID1600である場合は、その位置に対して筆記する筆記具として適していないと判断する。また、職階の階層構造のうち、階層の違いに関する情報を筆記具情報の一部に用いることにより、筆記具として適しているか否かの判断に用いることも可能である。図16では、部長が第1層、G1長〜G3長が第2層、各G長の配下の各G員が第3層の3層構造を有している。ここで、第1層をA、第2層をB、第3層をCと表し、これらの繋がりを筆記具情報として利用するようにしてもよい。この場合、部長のIDは「A」、各G長のIDは「A−B」、各G員のIDは「A−B−C」となる。このような構造の情報を示すIDを利用することによっても、筆記具情報の階層構造の上位・下位関係が明確になるため、筆記具として適しているか否かの判断に利用しうる。なお、前述のA,B,Cは、各利用者のIDを用いてもよい。
【0059】
アラームモジュール1040は、判断制御モジュール1030と接続されており、判断モジュール1032によって、読取モジュール1010によって読み取られた位置に対して筆記するデジタルペンとして適していないと判断された場合に警告を発する。例えば、スピーカー、光源、振動装置等が含まれていてもよい。発する警告の態様としては、音(警告音、音声による注意等)、光(光源の点滅、予め定められた色の出力等)、振動であってもよい。
判断モジュール1032が行う判断及びアラームモジュール1040が警告を発するときは、実際に筆記が行われているか否かには関係しない。筆記を行う前に読取モジュール1010が情報画像を読み取った場合は、筆記が行われる前に警告を発することもあるし、筆記を行っている途中で読取モジュール1010が情報画像を読み取った場合は、筆記が行われているときに警告を発することとなる。
また、警告の終了は、警告を発してから予め定められた時間後であってもよいし、判断モジュール1032によって、読取モジュール1010によって読み取られた位置に対して筆記するデジタルペンとして適していると判断するまでとしてもよいし、操作者によって警告を強制的に終了させる操作があるまでとしてもよい。
【0060】
また、アラームモジュール1040は、判断モジュール1032によって、読取モジュール1010によって読み取られた位置に対して筆記するデジタルペンとして適していないと判断された場合に、そのデジタルペンによる筆記を行わせないよう制御するようにしてもよい。例えば、デジタルペンのペン先を収納する機構を有しており、デジタルペンが適していないと判断された場合は、ペン先を収納して筆記できないように制御してもよい。また、デジタルペンの筆記機構としてインクジェット式を採用した場合は、デジタルペンが適していないと判断された場合は、そのインクジェットによるインクの噴射を中止して筆記できないように制御してもよい。
【0061】
また、アラームモジュール1040は、判断モジュール1032によって、読取モジュール1010によって読み取られた位置に対して筆記するデジタルペンとして適していないと判断された場合に、送信モジュール1060に位置情報抽出モジュール1022によって抽出された位置情報を出力しないよう制御するようにしてもよい。例えば、送信モジュール1060に位置情報を出力しないように制御するとは、位置情報抽出モジュール1022に位置情報を抽出させないようにしてもよいし、位置情報抽出モジュール1022によって抽出された位置情報を記憶させないようにしてもよいし、ストローク情報生成モジュール1050によるストローク情報を生成させないようにしてもよいし、送信モジュール1060による送信を行わせないようにしてもよい。
また、アラームモジュール1040は、警告、デジタルペンによる筆記を行わせないように制御すること、位置情報を出力しないように制御すること、いずれか2つ以上を組み合わせてもよい。
【0062】
ストローク情報生成モジュール1050は、情報画像解析モジュール1020、送信モジュール1060と接続されている。ストローク情報生成モジュール1050は、位置情報抽出モジュール1022によって抽出された位置情報、文書関連情報抽出モジュール1026によって抽出された文書関連情報に基づいて、ストローク情報を生成する。例えば、ストローク情報テーブル1300を生成するようにしてもよい。図13は、ストローク情報テーブル1300のデータ構造例を示す説明図である。ストローク情報テーブル1300は、文書ID欄1310、X座標欄1320、Y座標欄1330を有している。文書ID欄1310は、文書関連情報抽出モジュール1026によって抽出された文書関連情報である文書IDを記憶する。X座標欄1320、Y座標欄1330は、位置情報抽出モジュール1022によって抽出された位置情報であるX座標、Y座標を記憶する。
【0063】
送信モジュール1060は、ストローク情報生成モジュール1050と接続されている。送信モジュール1060は、ストローク情報生成モジュール1050によって生成されたストローク情報を前述の書戻用情報処理装置360に送信する。なお、生成されたストローク情報は図示しないストローク情報記憶モジュールに蓄積され、画像読取装置(デジタルペン350)と書戻用情報処理装置360が接続された際に、送信モジュール1060が、ストローク情報記憶モジュールに蓄積されたストローク情報を書戻用情報処理装置360に送信する構成としてもよい。
【0064】
図11は、本実施の形態(画像読取装置)による処理例を示すフローチャートである。
ステップS1102では、読取モジュール1010が、情報画像付文書340に印刷された情報画像を読み取る。
ステップS1104では、文書関連情報抽出モジュール1026が、情報画像内から文書ID等を抽出する。
ステップS1106では、筆記具情報抽出モジュール1024が、情報画像内から筆記具情報を抽出する。
ステップS1108では、判断モジュール1032が、筆記具情報があるか否かを判断し、ある場合はステップS1110へ進み、それ以外の場合はステップS1114へ進む。
ステップS1110では、判断モジュール1032が、その記入位置に適している筆記具であるか否かを判断し、適している筆記具である場合はステップS1114へ進み、それ以外の場合はステップS1112へ進む。
【0065】
ステップS1112では、アラームモジュール1040が、適していない筆記具であることを示すアラームを発生する。
ステップS1114では、位置情報抽出モジュール1022が、位置情報を抽出する。
ステップS1116では、ストローク情報生成モジュール1050が、ストローク情報を生成する。
ステップS1118では、送信モジュール1060が、ストローク情報を送信する。
【0066】
図12は、デジタルペン350の構造例を示す説明図である。デジタルペン350は、芯1251、画像読取モジュール1252、制御・送信モジュール1253を有している。図10に例示した読取モジュール1010は画像読取モジュール1252によって実現され、情報画像解析モジュール1020、判断制御モジュール1030、アラームモジュール1040、ストローク情報生成モジュール1050、送信モジュール1060は、制御・送信モジュール1253によって実現される。
【0067】
デジタルペン350の操作者の操作に応じて、芯1251によって情報画像付文書340上に文字等が筆記される。そして、画像読取モジュール1252は、例えば数十〜百数十フレーム毎秒程度の比較的高速な連続撮像を行い、フレーム毎にスキャンしてから読取画像を制御・送信モジュール1253へ出力する。制御・送信モジュール1253は、画像読取モジュール1252が読み取った画像中から同期コード906を検出する。図9の例のようなコードパターン画像の場合、右上がりの斜線パターンが連続して現れる行及び列を同期コード906の行、列として検出する。なお、同期コードとしては図9に例示したもの以外にも従来から提案されている様々なものを用いることができ、その同期コードの種類に応じた従来からある検出方式で検出できる。
【0068】
読取画像から、位置コード画像902と識別コード画像904とが抽出される。制御・送信モジュール1253は、それら位置コード画像902と識別コード画像904に対してコード認識処理を施すことで、位置情報と識別情報等を再生する。ここで行われるコード認識処理は、大略的にいえば、情報画像の生成処理の逆の処理である。識別コード画像904を代表として説明すると、制御・送信モジュール1253は、まず識別コード画像904から各斜線シンボルを認識することで、各シンボルの値を求め、各シンボルの値を識別コード画像904中での各シンボルの配列位置に合わせて配列した識別コード行列を求める。そして、この識別コード行列に対し、直列的(シリアル)な識別コードを求め、この識別コードに対し、符号化方式に対応した復号処理を施すことで、識別情報を復号する。位置コード画像902についても、同等の処理により、位置情報を復号できる。1フレーム毎に前述の抽出及び認識の処理を行い、位置情報及び識別情報等を求める。
【0069】
このようにして各フレームの読取画像から求められた位置情報及び識別情報は、これら情報を利用する書戻用情報処理装置360に提供され、利用される。例えば、情報画像が印刷された用紙に対し、操作者がデジタルペン350で書き込んだ筆記跡を電子情報として取り込む書戻用情報処理装置360の場合、識別情報からその用紙を特定してその用紙の原文書を取得し、連続して読み取られる各フレームから取得した位置情報から操作者の筆記の軌跡を求め、その軌跡を示す画像を原文書に重畳して記録するなどの処理を行う。
【0070】
図15は、本実施の形態(画像読取装置)による別の処理例を示すフローチャートである。これは、アラームモジュール1040が、位置情報を記憶させないように制御し、警告を発する処理例を示している。
ステップS1502では、読取モジュール1010が、情報画像付文書340に印刷された情報画像を読み取る。
ステップS1504では、文書関連情報抽出モジュール1026が、情報画像内から文書ID等を抽出する。
ステップS1506では、位置情報抽出モジュール1022が、位置情報を抽出する。
ステップS1508では、筆記具情報抽出モジュール1024が、情報画像内から筆記具情報を抽出する。
ステップS1510では、判断モジュール1032が、その記入位置に適している筆記具であるか否かを判断し、適している筆記具である場合はステップS1512へ進み、それ以外の場合はステップS1518へ進む。
【0071】
ステップS1512では、位置情報抽出モジュール1022が、ステップS1506で抽出した位置情報を記憶する。
ステップS1514では、ストローク情報生成モジュール1050が、ストローク情報を生成する。
ステップS1516では、送信モジュール1060が、ストローク情報を送信する。
ステップS1518では、アラームモジュール1040が、ステップS1506で抽出した位置情報を記憶させない。
ステップS1520では、アラームモジュール1040が、適していない筆記具であることを示すアラームを発生する。
【0072】
前述の例では、記入欄に合成する情報画像に埋め込む筆記具情報は1つ(図5に例示した記入欄・筆記具情報テーブル500では、筆記具情報欄520が1つ)であるが、複数の筆記具情報を組み合わせてもよい。例えば、記入欄・筆記具情報テーブル500の代わりに記入欄・筆記具情報テーブル1700を用いてもよい。図17は、記入欄・筆記具情報テーブル1700のデータ構造例を示す説明図である。記入欄・筆記具情報テーブル1700は、記入欄ID欄1710、筆記具情報名A欄1720、筆記具情報A欄1730、筆記具情報名B欄1740、筆記具情報B欄1750を有している。記入欄ID欄1710は、図3に例示するシステムにおいて記入欄を一意に識別するための情報である記入欄IDを記憶し、筆記具情報名A欄1720は、筆記具情報A欄1730が記憶する筆記具情報の名称を記憶し、筆記具情報A欄1730は、第1の筆記具情報を記憶し、筆記具情報名B欄1740は、筆記具情報B欄1750が記憶する筆記具情報の名称を記憶し、筆記具情報B欄1750は、第2の筆記具情報を記憶する。これは、2つの筆記具情報をANDで指定したものである。例えば、記入欄bは、記入権限:一般であり、かつ、ペン色:青であるデジタルペンで筆記されることを設定していることになる。
【0073】
前述の例では、デジタルペンの筆記具情報記憶モジュール1034が記憶する筆記具情報は1つ(図14に例示した筆記具情報テーブル1400では、筆記具情報欄1410が1つ)であるが、複数の筆記具情報を記憶していてもよい。例えば、筆記具情報テーブル1400の代わりに筆記具情報テーブル1800を用いてもよい。図18は、筆記具情報テーブル1800のデータ構造例を示す説明図である。筆記具情報テーブル1800は、筆記具情報名A欄1810、筆記具情報A欄1820、筆記具情報名B欄1830、筆記具情報B欄1840、筆記具情報名C欄1850、筆記具情報C欄1860を有している。筆記具情報名A欄1810は、筆記具情報A欄1820が記憶する筆記具情報の名称を記憶し、筆記具情報A欄1820は、第1の筆記具情報を記憶し、筆記具情報名B欄1830は、筆記具情報B欄1840が記憶する筆記具情報の名称を記憶し、筆記具情報B欄1840は、第2の筆記具情報を記憶し、筆記具情報名C欄1850は、筆記具情報C欄1860が記憶する筆記具情報の名称を記憶し、筆記具情報C欄1860は、第3の筆記具情報を記憶する。このデジタルペンは、図17に例示の記入欄・筆記具情報テーブル1700を用いて生成された情報画像が合成された文書の場合は、記入欄bに対して筆記することができ、他の記入欄を筆記しようとすると、筆記に適していないことを示すアラームが発せられることになる。
この処理を説明する。情報画像内に埋め込まれている筆記具情報名と筆記具情報の組を抽出し、筆記具情報テーブル1800内に同じ筆記具情報名があり、その筆記具情報も同じ(階層構造を有している場合は、上位又は同位)であるならば、その位置に対して筆記するデジタルペンとして適していると判断し、筆記具情報テーブル1800内に情報画像から抽出した筆記具情報名がない場合、又は筆記具情報テーブル1800内に情報画像から抽出した筆記具情報名はあるが、その筆記具情報が異なる場合は、筆記に適していないことを示すアラームが発せられることになる。
【0074】
また、デジタルペン350の筆記具情報記憶モジュール1034は、そのデジタルペンを使用できる期間を示す情報である使用期間情報を記憶していてもよい。より具体的には、絶対的な期間(例えば、○○年○○月○○日○○時まで等)、相対的な期間(例えば、予め定められた操作による初期設定が行われた時から○○時間まで等)等がある。そして、判断モジュール1032は、現在が使用期間内でないならば、筆記に適していないデジタルペンであると判断してもよい。特に、この判断は、筆記具情報抽出モジュール1024によって抽出された筆記具情報と筆記具情報記憶モジュール1034によって記憶されている筆記具情報を比較する処理を行う前に行うようにしてもよい。
【0075】
図19を参照して、本実施の形態の画像処理装置(画像出力装置、文書作成用情報処理装置310、書戻用情報処理装置360、画像読取装置)のハードウェア構成例について説明する。図19に示す構成は、例えばパーソナルコンピュータ(PC)などによって構成されるものであり、スキャナ等のデータ読み取り部1917と、プリンタなどのデータ出力部1918を備えたハードウェア構成例を示している。なお、画像読取装置としてのデジタルペン350は、CPU1901、ROM(Read Only Memory)1902、RAM1903、データ読み取り部1917、通信部1916、これらを接続するバス等によって構成されている。
【0076】
CPU(Central Processing Unit)1901は、前述の実施の形態において説明した各種のモジュール、すなわち、筆記具情報受付モジュール110、文書レイアウト受付モジュール120、文書受付モジュール130、情報画像生成モジュール140、情報画像合成モジュール150、文書作成アプリケーション312、筆記具情報指定モジュール314、ストローク情報抽出モジュール362、書戻モジュール364等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。
【0077】
ROM(Read Only Memory)1902は、CPU1901が使用するプログラムや演算パラメータ等を格納する。RAM(Random Access Memory)1903は、CPU1901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはCPUバスなどから構成されるホストバス1904により相互に接続されている。
【0078】
ホストバス1904は、ブリッジ1905を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス1906に接続されている。
【0079】
キーボード1908、マウス等のポインティングデバイス1909は、操作者により操作される入力デバイスである。ディスプレイ1910は、液晶表示装置又はCRT(Cathode Ray Tube)などがあり、各種情報をテキストやイメージ情報として表示する。
【0080】
HDD(Hard Disk Drive)1911は、ハードディスクを内蔵し、ハードディスクを駆動し、CPU1901によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、受け付けた電子文書、情報画像、情報画像が合成された電子文書、文書IDなどが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
【0081】
ドライブ1912は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体1913に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース1907、外部バス1906、ブリッジ1905、及びホストバス1904を介して接続されているRAM1903に供給する。リムーバブル記録媒体1913も、ハードディスクと同様のデータ記録領域として利用可能である。
【0082】
接続ポート1914は、外部接続機器1915を接続するポートであり、USB、IEEE1394等の接続部を持つ。接続ポート1914は、インタフェース1907、及び外部バス1906、ブリッジ1905、ホストバス1904等を介してCPU1901等に接続されている。通信部1916は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部1917は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部1918は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。
【0083】
なお、図19に示す画像処理装置のハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図19に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えば特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図19に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機(スキャナ、プリンタ、複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)などに組み込まれていてもよい。
【0084】
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray Disc(登録商標))、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。
【符号の説明】
【0085】
110…筆記具情報受付モジュール
120…文書レイアウト受付モジュール
130…文書受付モジュール
140…情報画像生成モジュール
150…情報画像合成モジュール
160…出力モジュール
310…文書作成用情報処理装置
312…文書作成アプリケーション
314…筆記具情報指定モジュール
320…文書DB
330…情報画像生成用画像処理装置
340…情報画像付文書
350…デジタルペン
360…書戻用情報処理装置
362…ストローク情報抽出モジュール
364…書戻モジュール
1010…読取モジュール
1020…情報画像解析モジュール
1022…位置情報抽出モジュール
1024…筆記具情報抽出モジュール
1026…文書関連情報抽出モジュール
1030…判断制御モジュール
1032…判断モジュール
1034…筆記具情報記憶モジュール
1040…アラームモジュール
1050…ストローク情報生成モジュール
1060…送信モジュール
1251…芯
1252…画像読取モジュール
1253…制御・送信モジュール

【特許請求の範囲】
【請求項1】
文書内の記入欄における筆記具に関する情報である筆記具情報を受け付ける筆記具情報受付手段と、
前記文書内の位置を示す位置情報及び前記筆記具情報受付手段によって受け付けられた筆記具情報に基づいて、情報を示す画像である情報画像を生成する情報画像生成手段と、
前記情報画像生成手段によって生成された情報画像を前記文書内の前記記入欄に合成する合成手段と、
前記合成手段によって情報画像が合成された文書を媒体に出力する出力手段
を備える画像出力装置と、
筆記具に関する情報である筆記具情報を記憶する筆記具情報記憶手段と、
前記画像出力装置によって媒体に出力されており、前記筆記具による筆記位置を抽出するための情報画像を読み取る読取手段と、
前記読取手段によって読み取られた情報画像を解析して、筆記具情報を抽出する抽出手段と、
前記抽出手段によって抽出された筆記具情報と前記筆記具情報記憶手段によって記憶されている筆記具情報を比較して、前記読取手段によって読み取られた位置に対して筆記する筆記具として適しているか否かを判断する判断手段
を備える画像読取装置
を具備することを特徴とする画像処理装置。
【請求項2】
文書内の記入欄における筆記具に関する情報である筆記具情報を受け付ける筆記具情報受付手段と、
前記文書内の位置を示す位置情報及び前記筆記具情報受付手段によって受け付けられた筆記具情報に基づいて、情報を示す画像である情報画像を生成する情報画像生成手段と、
前記情報画像生成手段によって生成された情報画像を前記文書内の前記記入欄に合成する合成手段と、
前記合成手段によって情報画像が合成された文書を媒体に出力する出力手段
を具備することを特徴とする画像処理装置。
【請求項3】
筆記具に関する情報である筆記具情報を記憶する筆記具情報記憶手段と、
文書内の記入欄における筆記具に関する情報である筆記具情報と該文書内の位置を示す位置情報とに基づいて生成された情報を示す画像である情報画像が合成された文書に対する筆記具による筆記位置を抽出するための情報画像を読み取る読取手段と、
前記読取手段によって読み取られた情報画像を解析して、筆記具情報を抽出する抽出手段と、
前記抽出手段によって抽出された筆記具情報と前記筆記具情報記憶手段によって記憶されている筆記具情報を比較して、前記読取手段によって読み取られた位置に対して筆記する筆記具として適しているか否かを判断する判断手段
を具備することを特徴とする画像処理装置。
【請求項4】
前記判断手段によって、前記読取手段によって読み取られた位置に対して筆記する筆記具として適していないと判断された場合に警告を発する警告手段
をさらに具備することを特徴とする請求項1又は3に記載の画像処理装置。
【請求項5】
前記判断手段によって、前記読取手段によって読み取られた位置に対して筆記する筆記具として適していないと判断された場合に、前記筆記具による筆記を行わせないように制御する筆記具制御手段
をさらに具備することを特徴とする請求項1、3又は4のいずれか一項に記載の画像処理装置。
【請求項6】
前記読取手段によって読み取られた情報画像を解析して、位置情報を抽出する位置情報抽出手段と、
前記位置情報抽出手段によって抽出された位置情報を出力する第2の出力手段と、
前記判断手段によって、前記読取手段によって読み取られた位置に対して筆記する筆記具として適していないと判断された場合に、前記第2の出力手段に前記位置情報抽出手段によって抽出された位置情報を出力しないように制御する出力制御手段
をさらに具備することを特徴とする請求項1、3、4又は5のいずれか一項に記載の画像処理装置。
【請求項7】
コンピュータを、
文書内の記入欄における筆記具に関する情報である筆記具情報を受け付ける筆記具情報受付手段と、
前記文書内の位置を示す位置情報及び前記筆記具情報受付手段によって受け付けられた筆記具情報に基づいて、情報を示す画像である情報画像を生成する情報画像生成手段と、
前記情報画像生成手段によって生成された情報画像を前記文書内の前記記入欄に合成する合成手段と、
前記合成手段によって情報画像が合成された文書を媒体に出力する出力手段
として機能させるための画像処理プログラム。
【請求項8】
コンピュータを、
筆記具に関する情報である筆記具情報を記憶する筆記具情報記憶手段と、
文書内の記入欄における筆記具に関する情報である筆記具情報と該文書内の位置を示す位置情報とに基づいて生成された情報を示す画像である情報画像が合成された文書に対する筆記具による筆記位置を抽出するための情報画像を読み取る読取手段と、
前記読取手段によって読み取られた情報画像を解析して、筆記具情報を抽出する抽出手段と、
前記抽出手段によって抽出された筆記具情報と前記筆記具情報記憶手段によって記憶されている筆記具情報を比較して、前記読取手段によって読み取られた位置に対して筆記する筆記具として適しているか否かを判断する判断手段
として機能させるための画像処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate