説明

画像処理装置及び画像処理プログラム

【課題】記入欄の記入順序を間違えてしまうことを防止するようにした画像処理装置を提供する。
【解決手段】画像出力装置の記入順序受付手段は、文書内の記入欄における記入順序を受け付け、情報画像生成手段は、文書内の位置を示す位置情報及び記入順序に基づいて、情報を示す画像である情報画像を生成し、合成手段は、情報画像を文書内の記入欄に合成し、出力手段は、情報画像が合成された文書を出力し、画像読取装置の読取手段は、画像出力装置によって媒体に出力されており、筆記具による筆記位置を抽出するための情報画像を読み取り、抽出手段は、読み取られた情報画像を解析して、記入順序を抽出し、判断手段は、記入順序と前回読取手段によって読み取られた情報画像内の記入順序を比較して、記入順序とは異なる順序の記入が行われるか否かを判断し、警告手段は、記入順序とは異なる順序の記入が行われると判断された場合に警告を発する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【0002】
記録媒体上に配置される情報画像の構成や、情報画像が配置された記録媒体に書き込まれた情報の読取制御に関する技術がある。
これに関連する技術として、例えば、特許文献1には、マルチメディア情報の長時間記録を可能とすることを課題とし、紙等の記録媒体上に記録される光学的に読み取り可能なドットコードは、ブロックを複数個隣接可能に配列して構成され、各ブロックは、当該ブロックを認識するためのマーカを含む非変調領域と、上記マーカと構造的に区別可能とすべく変調処理の施されたデータの各ビット値が、その値に対応するドットで配列された複数のドットでなるデータドットパターンを含む変調領域としてのデータエリアとから構成され、また、上記非変調領域には、更に、当該ブロックのアドレスを示すためのブロックアドレスパターンが配されることが開示されている。
【0003】
また、例えば、特許文献2には、面上に情報記録に用いられる符号化パターンであって、公知の符号化パターンよりも大きな広がりをもって、単位エリア内に多数の情報を符号化でき、かつ違う種類の干渉の影響下にあっても検出及び復号化が単純に行える符号化パターンを提供することを課題とし、複数のマークを備えた符号化パターンによる情報処理に関し、各マークが、少なくとも2つの異なる値の1つを表し、符号化パターンは、複数の基準位置を備えており、前記マークのそれぞれは、複数の基準位置の1つに関連付けられ、各マークの値は、その基準位置に対するその位置によって決定され、各マークの値は、その基準位置に対してどのように配置されているかによって決定され、この値はマークの位置に基づいているので、全てのマークは、同じ外形を有していてもよく、符号化パターンは、製品に適用する上で単純になり、マークの検出が簡単になり、符号化パターンの一部でない製品上の他のマークの存在によって影響されないことが開示されている。
【0004】
また、例えば、特許文献3には、紙上に印刷されたドットパターンを電子ペンで読み取ることによって紙上に手書きした文字や図形をデジタル化する電子ペンシステムにおいて、同一ドットパターンを持つ複数枚の紙のうち、どの紙に対してデータが記入されたか識別することを課題とし、同一ドットパターンを持つ紙を識別する必要がある電子ペンシステムにおいて、ドットパターンの位置に応じて変換されるコードを予め定めた識別コード入力用の帳票を準備しておき、その帳票へ入力された内容によって定まる複数のコードの組み合わせにより帳票種別を識別することが開示されている。
【0005】
また、例えば、特許文献4には、紙に書き込んだ筆跡情報を、紙の位置情報の時系列データ化できる電子ペンを利用して記入される場合において、電子ペンから情報を受け取った情報処理装置が、記入条件の違いを第3者が容易に識別できるようにすることを課題とし、情報処理装置で、紙の識別情報と、電子ペンの識別情報と、時系列位置情報からなる筆跡情報と、これら情報を受付けた時刻情報と、紙面の領域を区分する属性情報が与えられるとき、これら情報を組み合わせて情報処理を行い、情報処理の結果にしたがって特徴を区別して表示することが開示されている。
【0006】
また、例えば、特許文献5には、印刷された文書に加筆すると電子的な原文書に自動的に反映されるシステムを提供することを課題とし、入力装置に入力が行われると、その筆記時にその文書又はその場所に対して筆記可能かどうかの判定をし、さらに使用者に知らせ、そのために、まず筆記可能あるいは逆に筆記不可能な文書の識別情報(例えば特定の文書に筆記できない場合)、座標情報(例えば用紙の端など特定の座標に筆記できない場合)、あるいはその組み合わせたもの(例えばある文書のある部分は筆記できない場合)を筆記具に登録する必要があり、次に筆記時に筆記可能あるいは不可能かを判定部で判定し、通信部はインタフェース部と兼用でもよく、筆記者に例えば筆記不可能という警告を発するには例えば音や光(LEDの点滅等)、あるいは振動といった方法で知らせることが開示されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開平10−187910号公報
【特許文献2】特開2006−141061号公報
【特許文献3】特開2004−246433号公報
【特許文献4】特開2003−308169号公報
【特許文献5】特開2003−263267号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、記入欄の記入順序を間違えてしまうことを防止するようにした画像処理装置及び画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【0009】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項1の発明は、文書内の記入欄における記入順序を受け付ける記入順序受付手段と、前記文書内の位置を示す位置情報及び前記記入順序受付手段によって受け付けられた記入順序に基づいて、情報を示す画像である情報画像を生成する情報画像生成手段と、前記情報画像生成手段によって生成された情報画像を前記文書内の前記記入欄に合成する合成手段と、前記合成手段によって情報画像が合成された文書を出力する出力手段を備える画像出力装置と、前記画像出力装置によって媒体に出力されており、筆記具による筆記位置を抽出するための情報画像を読み取る読取手段と、前記読取手段によって読み取られた情報画像を解析して、記入順序を抽出する抽出手段と、前記抽出手段によって抽出された記入順序と前回前記読取手段によって読み取られた情報画像内の記入順序を比較して、記入順序とは異なる順序の記入が行われるか否かを判断する判断手段と、前記判断手段によって記入順序とは異なる順序の記入が行われると判断された場合に警告を発する警告手段を備える画像読取装置を具備することを特徴とする画像処理装置である。
【0010】
請求項2の発明は、文書内の記入欄における記入順序を受け付ける記入順序受付手段と、前記文書内の位置を示す位置情報及び前記記入順序受付手段によって受け付けられた記入順序に基づいて、情報を示す画像である情報画像を生成する情報画像生成手段と、前記情報画像生成手段によって生成された情報画像を前記文書内の前記記入欄に合成する合成手段と、前記合成手段によって情報画像が合成された文書を出力する出力手段を具備することを特徴とする画像処理装置である。
【0011】
請求項3の発明は、前記情報画像生成手段は、前記文書内における記入順序として最終の記入欄の場合は予め定められた情報に基づいて、情報画像を生成することを特徴とする請求項2に記載の画像処理装置である。
【0012】
請求項4の発明は、前記情報画像生成手段は、更に前記文書内にある記入欄の数に基づいて、情報画像を生成することを特徴とする請求項2に記載の画像処理装置である。
【0013】
請求項5の発明は、前記記入順序受付手段が受け付ける記入順序は、更に前記文書が印刷された媒体における記入順序も含むことを特徴とする請求項2から4のいずれか一項に記載の画像処理装置である。
【0014】
請求項6の発明は、前記情報画像生成手段は、更に前記文書を示す文書情報に基づいて、情報画像を生成することを特徴とする請求項2から5のいずれか一項に記載の画像処理装置である。
【0015】
請求項7の発明は、文書内の記入欄における記入順序と該文書内の位置を示す位置情報とに基づいて生成された情報を示す画像である情報画像が合成された文書に対する筆記具による筆記位置を抽出するための情報画像を読み取る読取手段と、前記読取手段によって読み取られた情報画像を解析して、記入順序を抽出する抽出手段と、前記抽出手段によって抽出された記入順序と前回前記読取手段によって読み取られた情報画像内の記入順序を比較して、記入順序とは異なる順序の記入が行われるか否かを判断する判断手段と、前記判断手段によって記入順序とは異なる順序の記入が行われると判断された場合に警告を発する警告手段を具備することを特徴とする画像処理装置である。
【0016】
請求項8の発明は、前記抽出手段によって抽出された記入順序が予め定められた情報である場合には、前記文書内における最終の記入欄への筆記であると判断する終了判断手段を具備することを特徴とする請求項7に記載の画像処理装置である。
【0017】
請求項9の発明は、前記読取手段が読み取る情報画像には、更に前記文書内にある記入欄の数が含まれており、
前記抽出手段は、更に前記文書内にある記入欄の数を抽出し、前記抽出手段によって抽出された記入欄の数と記入順序に基づいて、前記文書内における最終の記入欄への筆記であるか否かを判断する終了判断手段を具備することを特徴とする請求項7に記載の画像処理装置である。
【0018】
請求項10の発明は、前記読取手段が読み取る情報画像には、更に前記文書が印刷された媒体における記入順序が含まれており、前記抽出手段は、更に媒体における記入順序を抽出し、前記判断手段は、媒体における記入順序と前回前記読取手段によって読み取られた情報画像内の媒体における記入順序を比較して、記入順序とは異なる順序の記入が行われるか否かを判断することを特徴とする請求項7から9のいずれか一項に記載の画像処理装置である。
【0019】
請求項11の発明は、前記読取手段が読み取る情報画像には、更に前記文書を示す文書情報が含まれており、前記抽出手段は、更に文書情報を抽出し、前記判断手段は、前記抽出手段によって抽出された記入順序又は媒体における記入順序と文書情報毎に記憶された前回の記入順序又は媒体における記入順序を比較して、記入順序とは異なる順序の記入が行われるか否かを判断することを特徴とする請求項7から10のいずれか一項に記載の画像処理装置である。
【0020】
請求項12の発明は、コンピュータを、文書内の記入欄における記入順序を受け付ける記入順序受付手段と、前記文書内の位置を示す位置情報及び前記記入順序受付手段によって受け付けられた記入順序に基づいて、情報を示す画像である情報画像を生成する情報画像生成手段と、前記情報画像生成手段によって生成された情報画像を前記文書内の前記記入欄に合成する合成手段と、前記合成手段によって情報画像が合成された文書を出力する出力手段として機能させるための画像処理プログラムである。
【0021】
請求項13の発明は、コンピュータを、文書内の記入欄における記入順序と該文書内の位置を示す位置情報とに基づいて生成された情報を示す画像である情報画像が合成された文書に対する筆記具による筆記位置を抽出するための情報画像を読み取る読取手段と、前記読取手段によって読み取られた情報画像を解析して、記入順序を抽出する抽出手段と、前記抽出手段によって抽出された記入順序と前回前記読取手段によって読み取られた情報画像内の記入順序を比較して、記入順序とは異なる順序の記入が行われるか否かを判断する判断手段と、前記判断手段によって記入順序とは異なる順序の記入が行われると判断された場合に警告を発する警告手段として機能させるための画像処理プログラムである。
【発明の効果】
【0022】
請求項1の画像処理装置によれば、記入欄の記入順序を間違えてしまうことを防止することができる。
【0023】
請求項2の画像処理装置によれば、記入欄の記入順序を間違えてしまうことを防止するようにした文書を出力することができる。
【0024】
請求項3、4の画像処理装置によれば、文書内における最終の記入欄への筆記であることが判断できるようにした文書を出力することができる。
【0025】
請求項5の画像処理装置によれば、媒体における記入順序を間違えてしまうことを防止するようにした文書を出力することができる。
【0026】
請求項6の画像処理装置によれば、複数の文書に対して、記入順序又は媒体における記入順序を間違えてしまうことを防止するようにした文書を出力することができる。
【0027】
請求項7の画像処理装置によれば、記入欄の記入順序を間違えてしまうことを防止することができる。
【0028】
請求項8、9の画像処理装置によれば、文書内における最終の記入欄への筆記であることを判断することができる。
【0029】
請求項10の画像処理装置によれば、媒体における記入順序を間違えてしまうことを防止することができる。
【0030】
請求項11の画像処理装置によれば、複数の文書に対して、記入順序又は媒体における記入順序を間違えてしまうことを防止することができる。
【0031】
請求項12の画像処理プログラムによれば、記入欄の記入順序を間違えてしまうことを防止するようにした文書を出力することができる。
【0032】
請求項13の画像処理プログラムによれば、記入欄の記入順序を間違えてしまうことを防止することができる。
【図面の簡単な説明】
【0033】
【図1】本実施の形態(画像出力装置)の構成例についての概念的なモジュール構成図である。
【図2】本実施の形態(画像出力装置)による処理例を示すフローチャートである。
【図3】本実施の形態を実現するためのシステム構成例を示す説明図である。
【図4】電子文書と情報画像付文書の例を示す説明図である。
【図5】記入順序テーブルのデータ構造例を示す説明図である。
【図6】文書レイアウトテーブルのデータ構造例を示す説明図である。
【図7】情報画像の例を示す説明図である。
【図8】本実施の形態(画像読取装置)の構成例についての概念的なモジュール構成図である。
【図9】本実施の形態(画像読取装置)による処理例を示すフローチャートである。
【図10】デジタルペンの構造例を示す説明図である。
【図11】ストローク情報テーブルのデータ構造例を示す説明図である。
【図12】記入順序制御テーブルのデータ構造例を示す説明図である。
【図13】記入順序制御テーブルのデータ構造例を示す説明図である。
【図14】本実施の形態(画像読取装置)による処理例を示すフローチャートである。
【図15】記入順序制御テーブルのデータ構造例を示す説明図である。
【図16】記入順序制御テーブルのデータ構造例を示す説明図である。
【図17】記入順序制御テーブルのデータ構造例を示す説明図である。
【図18】本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【0034】
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図1は、本実施の形態(画像出力装置)の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
【0035】
本実施の形態である画像処理装置(画像出力装置)は、文書に情報画像を合成して出力するものであって、図1の例に示すように、記入順序受付モジュール110、文書レイアウト受付モジュール120、文書受付モジュール130、情報画像生成モジュール140、情報画像合成モジュール150、出力モジュール160を有している。
なお、情報画像とは、機械可読な態様で電子データを表すために体系的に作られた画像コードをいい、具体的な例として、図7を用いて後述する。
【0036】
文書受付モジュール130は、情報画像合成モジュール150と接続されている。文書受付モジュール130は、情報画像を合成する対象となる文書を受け付けて、その文書を情報画像合成モジュール150へ渡す。なお、文書とは、テキストデータ、場合によっては図形、画像等の電子データ、又はこれらの組み合わせであり、出力(主に印刷)、記憶、編集及び検索等の対象となり、システム又は利用者間で個別の単位として交換できるものをいい、これらに類似するものを含む。文書を受け付けるとは、例えば、文書作成アプリケーションによって作成された電子文書を受け付けること、スキャナ、カメラ等で画像を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、ハードディスク(画像処理装置に内蔵されているものの他に、ネットワークを介して接続されているもの等を含む)等に記憶されている電子文書を読み出すこと等が含まれる。文書の画像は、2値画像であってもよいし、多値画像(カラー画像を含む)であってもよい。受け付ける画像は、1ページであってもよいし、複数ページであってもよい。また、画像の内容として、利用者による手書きの書き込みが想定されている記入欄があるものであり、例えば、検査表、申請書等が該当する。なお、記入欄の形態は、一般的には、線で囲まれた矩形の領域であるが、これに限定されず、括弧等によって囲まれた領域等であってもよい。また、記入欄に記入されるものは、後述するデジタルペンで筆記されるものであれば、文字、チェック等の記号、図等であってもよい。
【0037】
文書レイアウト受付モジュール120は、情報画像生成モジュール140と接続されている。文書レイアウト受付モジュール120は、文書受付モジュール130によって受け付けられた文書のレイアウトに関する情報を受け付け、そのレイアウト情報を情報画像生成モジュール140へ渡す。ここでレイアウト情報とは、少なくとも記入欄の位置、大きさを示す情報が含まれている。また、記入欄以外の文書構成(タイトル、段落、図、表等)の位置、大きさを示す情報が含まれていてもよい。
【0038】
記入順序受付モジュール110は、情報画像生成モジュール140と接続されている。記入順序受付モジュール110は、文書受付モジュール130によって受け付けられた文書内の記入欄における記入順序を受け付け、その記入順序を情報画像生成モジュール140へ渡す。
記入順序とは、その文書内に複数の記入欄がある場合において、その記入欄に後述するデジタルペンで記入する順序のことをいう。例えば、文書としての検査表において、工場で製品の検査を行う状況にあって、検査項目の順番が予め定められており、その検査を行ったことを示すチェック欄(記入欄)が検査項目毎にあって、担当者は、その順番に検査を行い、1つの検査が終了する都度にチェック欄にチェックを行うような場合が該当する。また、作成者欄、承認者欄等がある申請書において、複数人による記入が必要で、その順番が定められている場合が該当する。ただし、複数人による記入であるが、1本の電子ペンを用いて行われる場合である。記入順序は、そのページにおける記入の順序を示すものであってもよいし、文書が複数ページある場合は、その複数ページにおける記入の順序を示すものであってもよい。
また、記入順序の指定は、利用者のマウス、キーボード、タッチパネル等を用いた指定を受け取ってもよいし、予め定められた記入順序を受け取るようにしてもよい。
【0039】
また、記入順序受付モジュール110が受け付ける記入順序は、更に文書が印刷された媒体における記入順序も含むようにしてもよい。媒体における記入順序とは、文書が印刷された媒体(主に紙が該当するが、印刷可能であり、デジタルペンによる書き込みが可能であり、紙状の媒体であれば、プラスチック等であってもよい)が複数枚ある場合において、その媒体にデジタルペンで記入する媒体の順序のことをいう。具体例としては、ページ順に記入する場合には、その文書のページ番号であってもよい。また、ページ順に記入するわけではない場合には、ページ番号とは独立に定めた媒体の記入順であってもよい。
【0040】
情報画像生成モジュール140は、記入順序受付モジュール110、文書レイアウト受付モジュール120、情報画像合成モジュール150と接続されている。情報画像生成モジュール140は、文書受付モジュール130によって受け付けられた文書内の位置を示す位置情報及び記入順序受付モジュール110によって受け付けられた記入順序に基づいて、情報を示す画像である情報画像を生成する。文書レイアウト受付モジュール120によって受け付けられたレイアウト情報(具体的には、記入欄の位置、大きさを示す情報)、記入順序を用いて、その記入欄内に合成する情報画像を生成する。ここで「基づいて」とは、少なくとも位置情報及び記入順序を含めた情報を、情報画像に埋め込むことをいう。つまり、その情報画像を解析した場合に、位置情報及び記入順序を読み出し得るようにすればよい。情報画像内に埋め込む位置情報とは、デジタルペンでその位置情報が埋め込まれている情報画像を読み込んだ場合に、そのデジタルペンの筆跡を再現できるようにしている情報であり、例えば、その文書内におけるXY座標等が該当する。具体的には、位置情報として、記入欄の位置、大きさから定められる領域が示すその文書におけるXY座標の集合が該当する。
【0041】
また、情報画像生成モジュール140は、文書内における記入順序として最終の記入欄の場合は予め定められた情報に基づいて、情報画像を生成するようにしてもよい。ここで、「予め定められた情報」とは、最終の記入欄であることを示す情報である。なお、最終とは、そのページにおける最終の記入欄であってもよいし、文書が複数ページある場合は、その文書における最終の記入欄であってもよい。例えば、“99”等が該当する。また、それぞれを異なる「予め定められた情報」としてもよい。例えば、“99”はそのページにおける最終の記入欄であることを示し、“999”はその文書における最終の記入欄であることを示すようにしてもよい。
また、情報画像生成モジュール140は、更に文書内にある記入欄の数に基づいて、情報画像を生成するようにしてもよい。文書内にある記入欄の数とは、記入欄の総数である。そのページにおける記入欄の総数であってもよいし、文書が複数ページある場合は、その文書における記入欄の総数であってもよい。例えば、情報画像に埋め込む記入順序として、記入順序と記入欄の総数の組み合わせとしてもよい。具体例として、記入順序が5であり記入欄の総数が6である場合、“5/6”とする。
また、情報画像生成モジュール140は、更に文書を示す文書情報に基づいて、情報画像を生成する。文書情報として、例えば、文書ID(IDentification)が該当する。なお、文書IDについては、図3の例の説明で述べる。
【0042】
なお、情報画像生成モジュール140が生成する情報画像に埋め込まれている情報のパターンとしては以下のものがある。
第1のパターンとして、
(A1)位置情報
(A2)記入欄の記入順序
がある。
第2のパターンとして、
(B1)文書ID
(B2)位置情報
(B3)記入欄の記入順序
がある。
第3のパターンとして、
(C1)文書ID
(C2)ページID
(C3)位置情報
(C4)記入欄の記入順序
がある。
第4のパターンとして、
(D1)文書ID
(D2)ページID
(D3)位置情報
(D4)記入欄の記入順序
(D5)ページの記入順序
がある。
そして、各パターンの記入欄の記入順序には、記入欄の総数が含まれていてもよい。また、ページの記入順序には、記入すべきページの総数が含まれていてもよい。なお、第4のパターンの(D5)ページの記入順序は、(D2)ページIDで代用してもよい。ただし、記入する順番がページ順ではない場合に対応するために、第4のパターンのように、(D2)ページIDの他に、(D5)ページの記入順序を設ける。
【0043】
情報画像合成モジュール150は、文書受付モジュール130、情報画像生成モジュール140、出力モジュール160と接続されている。情報画像合成モジュール150は、情報画像生成モジュール140によって生成された情報画像を文書受付モジュール130によって受け付けられた文書内の記入欄に合成する。
【0044】
出力モジュール160は、情報画像合成モジュール150と接続されている。出力モジュール160は、情報画像合成モジュール150によって情報画像が合成された文書を出力する。画像を出力するとは、例えば、プリンタ等の印刷装置で印刷すること、ファックス等の画像送信装置で画像を送信すること等が該当する。また、ディスプレイ等の表示装置に表示すること、画像データベース等の画像記憶装置へ画像を書き込むこと、メモリーカード等の記憶媒体に記憶すること、他の情報処理装置へ渡すこと等を行ってもよいが、デジタルペンで筆記し得るように、紙等の媒体に出力する。
【0045】
図2は、本実施の形態(画像出力装置)による処理例を示すフローチャートである。
ステップS202では、文書受付モジュール130が、対象となる文書を受け付ける。
ステップS204では、文書レイアウト受付モジュール120が、対象となる文書のレイアウト(少なくとも記入欄の位置、大きさ)を受け付ける。
ステップS206では、記入順序受付モジュール110が、対象となる文書内の記入欄の記入順序を受け付ける。
ステップS208では、情報画像生成モジュール140が、記入欄内の文書内における位置と記入順序を含む情報画像を生成する。
ステップS210では、情報画像合成モジュール150が、対象となる文書内の記入欄に情報画像を合成する。
ステップS212では、出力モジュール160が、情報画像が合成された文書を出力する。
【0046】
図3は、本実施の形態を実現するためのシステム構成例を示す説明図である。システムとして、文書作成用情報処理装置310、文書DB320、情報画像生成用画像処理装置330、デジタルペン350、書戻用情報処理装置360を含む例を示すが、デジタルペン350が異なる順序の記入が行われる場合に警告を発するようにするためには、情報画像生成用画像処理装置330とデジタルペン350があればよい。
このシステムは、次のような処理を行うものである。電子文書に位置情報(座標情報)を含む情報画像を重畳して印刷し、それを情報画像生成用画像処理装置330で印刷する。それを小型のカメラを内蔵したデジタルペン350で読み取ることで、手書き情報がストローク情報としてデジタルペン内に蓄積される。デジタルペン350をUSBなどでPC等の書戻用情報処理装置360に接続すると、書戻用情報処理装置360内のストローク情報抽出モジュール362、書戻モジュール364がストローク情報をデジタルペン350から抽出し、文書IDから元の電子文書を特定し、その電子文書にストローク情報を書き戻す。また、デジタルペン350は無線通信によってストローク情報を書戻用情報処理装置360に送信してもよい。
【0047】
文書作成用情報処理装置310は、文書作成アプリケーション312、記入順序指定モジュール314を有しており、文書DB320、情報画像生成用画像処理装置330と接続されている。
文書作成アプリケーション312は、電子文書を作成し、印刷して、手書きによる追記の対象となる情報画像付文書340を印刷するアプリケーションプログラムである。
【0048】
記入順序指定モジュール314は、記入欄の順序を指定する。例えば、記入順序テーブル500を情報画像生成用画像処理装置330へ渡す。そして、情報画像生成用画像処理装置330内の記入順序受付モジュール110は、記入順序テーブル500を受け取る。図5は、記入順序テーブル500のデータ構造例を示す説明図である。記入順序テーブル500は、記入欄ID欄510、記入順序欄520を有している。記入欄ID欄510は、図3に例示するシステムにおいて記入欄を一意に識別するための情報である記入欄IDを記憶し、記入順序欄520は、その文書又はそのページにおける記入順序を記憶する。
【0049】
文書作成アプリケーション312は、文書印刷時には、印刷するデバイス名(プリンタ名、情報画像生成用画像処理装置330の名称)を指定して、文書イメージを生成して文書ID、記入順序指定モジュール314によって指定された記入順序と共に情報画像生成用画像処理装置330に渡して、印刷指示を行う。印刷された情報画像には、記入欄毎に順序情報が埋め込まれている。そして、作成された電子文書を文書DB320に記憶させる。また、対象とする文書の記入欄のレイアウトに関する情報(例えば、文書レイアウトテーブル600)も情報画像生成用画像処理装置330に渡す。そして、情報画像生成用画像処理装置330内の文書レイアウト受付モジュール120がレイアウトに関する情報を受け取る。図6は、文書レイアウトテーブル600のデータ構造例を示す説明図である。文書レイアウトテーブル600は、記入欄ID欄610、位置欄620、高さ欄630、幅欄640を有している。記入欄ID欄610は、記入欄IDを記憶する。位置欄620は、その記入欄の例えば左上の位置を記憶する。高さ欄630は、その記入欄の高さを記憶する。幅欄640は、その記入欄の幅を記憶する。
【0050】
文書DB320は、文書作成用情報処理装置310、書戻用情報処理装置360と接続されている。文書DB320は、文書作成アプリケーション312によって作成された電子文書を記憶する。そして、その記憶されている電子文書に、書戻モジュール364によってデジタルペン350による筆記情報が合成される。
【0051】
情報画像生成用画像処理装置330は、文書作成用情報処理装置310と接続されており、図1の例に示した画像処理装置(画像出力装置)であり、文書作成用情報処理装置310によって作成された電子文書を印刷し、情報画像が合成された情報画像付文書340を出力する。情報画像付文書340は、電子文書を印刷して生成される紙文書であって、位置情報が情報画像として重畳されて印刷された紙文書である。なお、情報画像内には、文書IDが埋め込まれていてもよい。
【0052】
ここで、図4を用いて、電子文書410と情報画像付文書340の例を説明する。
図4(a)に例示する電子文書410は、文書作成アプリケーション312によって作成された文書であり、文書DB320に記憶されている。例えば、6個の記入欄があり、記入順序として、記入欄411、記入欄412、記入欄413、記入欄414、記入欄415、記入欄416の順序が指定されたとする。特に、記入欄416は、この文書又はこのページにおける最終の記入欄であり、この記入欄416が記入されたならば、他の文書、他のページへの書き込みに移ることができる。
図4(b)に例示する情報画像付文書340は、情報画像生成用画像処理装置330によって印刷された紙文書であり、利用者によるデジタルペン350の操作によって書き込みが行われる。情報画像付文書340の記入欄421、記入欄422、記入欄423、記入欄424、記入欄425、記入欄426内には、位置情報の他にそれぞれの記入順序も埋め込まれている情報画像が合成されている。そして、背景429には、位置情報が埋め込まれている情報画像が合成されている。なお、背景429には、情報画像を合成しなくてもよい。
【0053】
図7は、情報画像の例を示す説明図である。
この例は、米国ゼロックス社のパロアルト研究所で開発された、角度の異なる斜線でデータを表現するグリフコード(例えば、特開平6−103390号公報、特開平6−75795号公報)を情報画像であるコードシンボルとして用いた2次元コードパターン画像である。
【0054】
この例では、単位領域700は8シンボル×8シンボルの正方形領域である。各シンボルの値は、図7(b)、図7(c)に示すように斜線パターンで表現される。この例では、シンボル値0は垂直線に対して反時計回りに45度の角度をなす右下がりの斜線(図7(b)の例のパターン0)で、シンボル値1は垂直線に対して時計回りに45度の角度をなす右上がりの斜線(図7(c)の例のパターン1)で表現される。
【0055】
このうち、位置コード画像702は、単位領域700の左上隅の6シンボル×6シンボルの正方形の画像であり、識別コード画像704は、単位領域700からその6×6シンボルの正方形を引いた残りの逆L字領域の画像となる。
【0056】
また、この例では、単位領域700の外周に沿って縦横の各方向に、同期コード706の列及び行を設けている。この例では、同期コード706は、右上がり(「1」)の斜線シンボルの連続であり、シンボルのサイズと配列ピッチは単位領域700内のシンボルサイズ及びピッチと同じである。同期コード706は、縦及び横に等間隔で設けられ、それら同期コード706で囲まれる正方形領域に各単位領域700が設けられる。同期コード706は、各単位領域700の区切りを示す。すなわち、2次元コードパターン画像を読み取った装置では、右上がりのシンボルが連続している行及び列を検出すると、それら行と列とで形成される格子の網目の内部を単位領域700と認識することができ、その単位領域700の左上隅の6×6のシンボルが位置コード画像702と認識できる。
【0057】
なお、同期コード706は、単位領域700又は位置コード画像702の場所を特定することができるものであれば、図7に例示したようなものでなくてもよい。例えば、単位領域700の四隅に斜線シンボルとは異なる特定形状のシンボルを配置したものを同期コード706としてもよい。図7の例では、同期コード706のためにシンボル1つ分の幅の行及び列を使ったが、同期コード706を構成するマークが十分に小さいものであれば、単位領域700を隙間なく2次元配列し、隣接する単位領域700の余白部分にそのマークを配置するようにしてもよい。
【0058】
図7の例では、1つの位置コード画像702には合計36シンボル、すなわち36ビットのデータが格納されている。36ビットのうち、18ビットをx座標の符号化に、18ビットをy座標の符号化に使用することができる。各18ビットを全て位置の符号化に使用すると、2^18通り(約26万通り)の位置を符号化できる。各斜線パターンが、図7(b)、図7(c)の例に示したように8画素×8画素で構成されている場合、600dpi(ドット・パー・インチ)で印刷すると、600dpiの1ドットの縦横の長さは0.0423mmなので、縦横共に、図7の2次元コード(同期コード706を含む)の縦、横の長さは3mm程度(=1シンボル当たり8画素×9シンボル×0.0423mm)となる。3mm間隔で26万通りの位置を符号化した場合、約786mの長さを符号化できる。読取の精度がよければ18ビット全てを位置の符号化に使用することもできるが、読取エラーが問題となる場合は、誤り検出や誤り訂正のための冗長ビットを含めることが好適である。18ビットに占める冗長ビットの割合を増やすと誤り検出や誤り訂正の能力が増えるが、表現できる位置の範囲が小さくなる。
【0059】
また、図7の例では、識別コード画像704は、2ビット×8ビットの矩形領域及び2ビット×6ビットの矩形領域に配置されており、合計28ビットの識別情報等を格納できる。識別情報等として28ビットを使用した場合は、約2億7千万通り(2^28通り)の識別情報等を表現できるが、28ビットのうちのいくつかのビットを誤り検出や誤り訂正のための冗長ビットとすることで読取エラーに対処できるようにしてもよい。なお、識別情報等とは、本実施の形態では、少なくとも記入順序を含み、他に文書ID、ページID等を含めてもよい。例えば、用紙を一意的に識別する用紙識別番号等を含めてもよい。1つの用紙の記入欄内に印刷される単位領域700内の識別コード画像704は同じものとなる。もちろん、単位領域700内の位置コード画像702によって表される位置情報は、その用紙内における位置を示す情報であるので、それぞれの単位領域700内の位置コード画像702は異なったものとなる。
【0060】
以上の例では、互いに角度が90度異なる2つの斜線パターンをシンボルとして用いることで、1シンボルで1ビットのデータを表現したが、これは一例にすぎない。例えばシンボルに垂直線と水平線のパターンを追加すれば2ビットの情報を1シンボルで表現できる。このように、1シンボルの斜線パターンの角度種類を増やすことで、1シンボルが表現できるビット数を増加することも可能である。また、グリフコード以外の情報画像を用いてもよい。
【0061】
デジタルペン350(スキャナ付きペン、電子ペンとも言われる)は、利用者による情報画像付文書340に対する筆記によって、情報画像を読み取り、筆跡をストローク情報として抽出し、書戻用情報処理装置360へ送信する。そして、記入欄への記入が順序通りに行われているかを検知し、記入順序通りでない場合は警告を発する。デジタルペン350の構成、処理内容については、図8以降の図面を用いて後述する。なお、ここでストローク情報とは、情報画像付文書340に対してデジタルペン350で書き込みを行って得られた座標の系列として表現される情報である。
【0062】
書戻用情報処理装置360は、ストローク情報抽出モジュール362、書戻モジュール364を有しており、文書DB320、デジタルペン350と接続されている。
ストローク情報抽出モジュール362は、情報画像付文書340に対して書き込まれた筆跡のストローク情報をデジタルペン350から取得する機能を持つ。ストローク情報には書き込まれた情報画像付文書340の文書ID、ページ番号、ストローク列(位置情報の列)等が含まれる。
文書IDとは、図3に例示するシステムにおいて文書を一意に識別するための情報であって、電子文書とそれを印刷した紙文書は同じ文書IDを持つ。手書きによる書き込みの対象となった紙文書を識別して、そのオリジナルの電子文書を特定するために必要とされるものである。なお、デジタルペン350が異なる順序の記入が行われる場合に警告を発するようにするためには、必須の構成ではない。また、電子文書と紙文書の対応関係が特定できれば、別の形態であってもよい。
【0063】
書戻モジュール364は、情報画像付文書340に対して、デジタルペン350で書き込みが行われたストローク情報を元の電子文書に書き戻しを行うアプリケーションプログラムである。ストローク情報抽出モジュール362から受けたストローク情報を、文書ID、ページIDの情報を基にして電子文書上のストローク情報として反映させる処理を行う。
【0064】
図8は、本実施の形態(画像読取装置)の構成例についての概念的なモジュール構成図である。本実施の形態である画像処理装置(画像読取装置)は、情報画像が合成された文書を読み取るものであって、図8の例に示すように、読取モジュール810、情報画像解析モジュール820、記入順序制御モジュール830、アラームモジュール840、ストローク情報生成モジュール850、送信モジュール860を有している。これらは、図3に例示したデジタルペン350に収納されている。
【0065】
読取モジュール810は、情報画像解析モジュール820と接続されている。読取モジュール810は、紙等の媒体に出力されており、筆記具による筆記位置を抽出するための情報画像を読み取る。ここでの、紙等の媒体とは、文書内の記入欄における記入順序とその文書内の位置を示す位置情報とに基づいて生成された情報を示す画像である情報画像が合成された文書である。前述の例では、情報画像付文書340における筆記位置の画像を読み取る。後述する図10の例の画像読取モジュール1052が該当する。
また、読取モジュール810が読み取る情報画像には、更に文書内にある記入欄の数が含まれていてもよい。
また、読取モジュール810が読み取る情報画像には、更に文書が印刷された媒体における記入順序が含まれていてもよい。
また、読取モジュール810が読み取る情報画像には、更に文書を示す文書情報が含まれていてもよい。
【0066】
情報画像解析モジュール820は、位置情報抽出モジュール822、記入順序抽出モジュール824、文書関連情報抽出モジュール826を有しており、読取モジュール810、記入順序制御モジュール830、ストローク情報生成モジュール850と接続されている。
位置情報抽出モジュール822は、読取モジュール810によって読み取られた情報画像を解析して、位置情報を抽出する。つまり、筆記されている位置情報を抽出することになり、筆記情報としてのストローク情報を生成し得ることとなる。
【0067】
記入順序抽出モジュール824は、読取モジュール810によって読み取られた情報画像を解析して、識別情報等から記入順序を抽出する。
また、記入順序抽出モジュール824は、読取モジュール810が読み取る情報画像に、文書内にある記入欄の数が含まれている場合には、更に文書内にある記入欄の数を抽出するようにしてもよい。
また、記入順序抽出モジュール824は、情報画像に文書が印刷された媒体における記入順序が含まれている場合は、更に媒体における記入順序を抽出してもよい。
文書関連情報抽出モジュール826は、読取モジュール810によって読み取られた情報画像を解析して、識別情報等から文書に関連する情報を抽出する。文書に関連する情報として、例えば、文書情報としての文書IDがある。
【0068】
記入順序制御モジュール830は、判断モジュール832、記入順序記憶モジュール834を有しており、情報画像解析モジュール820、アラームモジュール840と接続されている。
判断モジュール832は、記入順序抽出モジュール824によって抽出された記入順序(以下、今回の記入順序ともいう)と前回読取モジュール810によって読み取られた情報画像内の記入順序(以下、前回の記入順序ともいう)を比較して、記入順序とは異なる順序の記入が行われるか否かを判断する。記入順序が1から始まり、記入欄の数まで順に1ずつ加算した数である場合は、今回の記入順序が、前回の記入順序と同じであるとき又は前回の記入順序よりも1増加させた数であるときは、記入順序に沿った記入が行われると判断する。また、今回の記入順序が、前回の記入順序よりも小さい数であるときは、記入順序とは異なる順序の記入が行われると判断する。また、記入順序が単に増加する数列(増加数は1とは限らない)である場合は、今回の記入順序が、前回の記入順序よりも小さい数であるときは、記入順序とは異なる順序の記入が行われると判断する。
【0069】
また、判断モジュール832は、記入順序抽出モジュール824によって抽出された記入順序が予め定められた情報である場合には、文書内における最終の記入欄への筆記であると判断するようにしてもよい。例えば、前述の“99”である場合は、そのページにおける最終の記入欄であると判断する。そして、前回読取モジュール810によって読み取られた情報画像内の記入順序が“99”である場合は、今回読取モジュール810によって読み取られた情報画像内の記入順序が“99”であること、又は文書ID、ページID等がある場合は、前回の文書ID、ページID等と今回の文書ID、ページID等とが異なっていることを条件として、記入順序とは異なる順序の記入ではないと判断する。
【0070】
また、判断モジュール832は、読取モジュール810が読み取る情報画像に、文書内にある記入欄の数が含まれている場合には、記入順序抽出モジュール824によって抽出された記入欄の数と記入順序に基づいて、文書内における最終の記入欄への筆記であるか否かを判断するようにしてもよい。ここでの「基づいて」とは、記入順序が1から始まり、記入欄の数まで順に1ずつ加算した数である場合は、記入欄の数と記入順序を比較し、記入順序と記入欄の数が一致すれば、それが最終の記入欄への筆記であると判断すればよい。また、記入順序が単に増加する数列である場合は、読み込んだ記入順序の数をカウントし、そのカウント数と記入欄の数を比較し、カウント数と記入欄の数が一致すれば、それが最終の記入欄への筆記であると判断すればよい。
【0071】
また、判断モジュール832は、情報画像に文書が印刷された媒体における記入順序が含まれている場合には、媒体における記入順序と前回読取モジュール810によって読み取られた情報画像内の媒体における記入順序を比較して、記入順序とは異なる順序の記入が行われるか否かを判断するようにしてもよい。この判断を行うために、記入順序記憶モジュール834が媒体毎に前回の記入順序を記憶するようにすればよい。
また、判断モジュール832は、情報画像に文書を示す文書情報が含まれている場合には、記入順序抽出モジュール824によって抽出された記入順序又は媒体における記入順序と文書情報毎に記憶された前回の記入順序又は媒体における記入順序を比較して、記入順序とは異なる順序の記入が行われるか否かを判断するようにしてもよい。
【0072】
記入順序記憶モジュール834は、記入順序抽出モジュール824によって抽出された記入順序を記憶する。例えば、記入順序制御テーブル1200を記憶する。図12は、記入順序制御テーブル1200のデータ構造例を示す説明図である。記入順序制御テーブル1200は、最終記入順序欄1210を有している。最終記入順序欄1210は、判断モジュール832による判断が行われる際には、前回の読取モジュール810が読み取った情報画像内の記入順序を記憶しており、判断が行われた後は、今回の読取モジュール810が読み取った情報画像内の記入順序を記憶している。したがって、判断モジュール832は、判断する時点において、前回の読取モジュール810が読み取った情報画像内の記入順序と今回の読取モジュール810が読み取った情報画像内の記入順序を比較し得ることとなる。
【0073】
アラームモジュール840は、記入順序制御モジュール830と接続されており、判断モジュール832によって記入順序とは異なる順序の記入が行われると判断された場合に警告を発する。例えば、スピーカー、光源、振動装置等が含まれていてもよい。発する警告の態様としては、音(警告音、音声による注意等)、光(光源の点滅、予め定められた色の出力等)、振動であってもよい。
判断モジュール832が行う判断及びアラームモジュール840が警告を発するときは、実際に筆記が行われているか否かには関係しない。筆記を行う前に読取モジュール810が情報画像を読み取った場合は、筆記が行われる前に警告を発することもあるし、筆記を行っている途中で読取モジュール810が情報画像を読み取った場合は、筆記が行われているときに警告を発することとなる。
また、警告の終了は、警告を発してから予め定められた時間後であってもよいし、判断モジュール832によって、記入順序とは異なる順序の記入が行われてはいないと判断されるまでとしてもよいし、操作者によって警告を強制的に終了させる操作があるまでとしてもよい。なお、判断モジュール832によって、記入順序とは異なる順序の記入が行われてはいないと判断されるまでとした場合は、2回目以降における前回読取モジュール810によって読み取られた情報画像とは、判断モジュール832によって記入順序とは異なる順序の記入が行われると判断された場合における前回読取モジュール810によって読み取られた情報画像をいう。そのために、記入順序記憶モジュール834を用意し、記入順序記憶モジュール834は、判断モジュール832によって、記入順序とは異なる順序の記入が行われてはいないと判断された場合の記入順序を記憶し、記入順序とは異なる順序の記入が行われていると判断された場合の記入順序は記憶しないようにすればよい。つまり、前回とは、記入順序とは異なる順序の記入が行われてはいないと判断された場合の記入順序である。
【0074】
ストローク情報生成モジュール850は、情報画像解析モジュール820、送信モジュール860と接続されている。ストローク情報生成モジュール850は、位置情報抽出モジュール822によって抽出された位置情報、文書関連情報抽出モジュール826によって抽出された文書関連情報に基づいて、ストローク情報を生成する。例えば、ストローク情報テーブル1100を生成するようにしてもよい。図11は、ストローク情報テーブル1100のデータ構造例を示す説明図である。ストローク情報テーブル1100は、文書ID欄1110、X座標欄1120、Y座標欄1130を有している。文書ID欄1110は、文書関連情報抽出モジュール826によって抽出された文書情報である文書IDを記憶する。X座標欄1120、Y座標欄1130は、位置情報抽出モジュール822によって抽出された位置情報であるX座標、Y座標を記憶する。
送信モジュール860は、ストローク情報生成モジュール850と接続されている。送信モジュール860は、ストローク情報生成モジュール850によって生成されたストローク情報を前述の書戻用情報処理装置360に送信する。なお、生成されたストローク情報は図示しないストローク情報記憶モジュールに蓄積され、画像読取装置(デジタルペン350)と書戻用情報処理装置360が接続された際に送信モジュール860が蓄積されたストローク情報を書戻用情報処理装置360に送信する構成としてもよい。
【0075】
図9は、本実施の形態(画像読取装置)による処理例を示すフローチャートである。
ステップS902では、読取モジュール810が、情報画像付文書340に印刷された情報画像を読み取る。
ステップS904では、文書関連情報抽出モジュール826が、情報画像内から文書ID等を抽出する。
ステップS906では、記入順序抽出モジュール824が、情報画像内から記入順序を抽出する。
ステップS908では、判断モジュール832が、記入順序があるか否かを判断し、ある場合はステップS910へ進み、それ以外の場合はステップS916へ進む。
ステップS910では、判断モジュール832が、今回の記入順序と前回の記入順序とを比較して、記入順序通りであるか否かを判断し、記入順序通りである場合はステップS912へ進み、それ以外の場合はステップS914へ進む。
【0076】
ステップS912では、記入順序記憶モジュール834が、現在の記入順序を記憶する。なお、ステップS910の判断でステップS914へ進んだ場合は、ステップS912の処理を行わないので、記入順序記憶モジュール834が記憶している記入順序は、依然として前回の記入順序である。
ステップS914では、アラームモジュール840が、記入順序が異なることを示すアラームを発生する。
ステップS916では、位置情報抽出モジュール822が、位置情報を抽出する。
ステップS918では、ストローク情報生成モジュール850が、ストローク情報を生成する。
ステップS920では、送信モジュール860が、ストローク情報を送信する。
【0077】
図10は、デジタルペン350の構造例を示す説明図である。デジタルペン350は、芯1051、画像読取モジュール1052、制御・送信モジュール1053を有している。図8に例示した読取モジュール810は画像読取モジュール1052によって実現され、情報画像解析モジュール820、記入順序制御モジュール830、アラームモジュール840、ストローク情報生成モジュール850、送信モジュール860は、制御・送信モジュール1053によって実現される。
【0078】
デジタルペン350の操作者の操作に応じて、芯1051によって情報画像付文書340上に文字等が筆記される。そして、画像読取モジュール1052は、例えば数十〜百数十フレーム毎秒程度の比較的高速な連続撮像を行い、フレーム毎にスキャンしてから読取画像を制御・送信モジュール1053へ出力する。制御・送信モジュール1053は、画像読取モジュール1052が読み取った画像中から同期コード706を検出する。図7の例のようなコードパターン画像の場合、右上がりの斜線パターンが連続して現れる行及び列を同期コード706の行、列として検出する。なお、同期コードとしては図7に例示したもの以外にも従来から提案されている様々なものを用いることができ、その同期コードの種類に応じた従来からある検出方式で検出できる。
【0079】
読取画像から、位置コード画像702と識別コード画像704とが抽出される。制御・送信モジュール1053は、それら位置コード画像702と識別コード画像704に対してコード認識処理を施すことで、位置情報と識別情報等を再生する。ここで行われるコード認識処理は、大略的にいえば、情報画像の生成処理の逆の処理である。識別コード画像704を代表として説明すると、制御・送信モジュール1053は、まず識別コード画像704から各斜線シンボルを認識することで、各シンボルの値を求め、各シンボルの値を識別コード画像704中での各シンボルの配列位置に合わせて配列した識別コード行列を求める。そして、この識別コード行列に対し、直列的(シリアル)な識別コードを求め、この識別コードに対し、符号化方式に対応した復号処理を施すことで、識別情報を復号する。位置コード画像702についても、同等の処理により、位置情報を復号できる。1フレーム毎に前述の抽出及び認識の処理を行い、位置情報及び識別情報等を求める。
【0080】
このようにして各フレームの読取画像から求められた位置情報及び識別情報は、これら情報を利用する書戻用情報処理装置360に提供され、利用される。例えば、情報画像が印刷された用紙に対し、操作者がデジタルペン350で書き込んだ筆記跡を電子情報として取り込む書戻用情報処理装置360の場合、識別情報からその用紙を特定してその用紙の原文書を取得し、連続して読み取られる各フレームから取得した位置情報から操作者の筆記の軌跡を求め、その軌跡を示す画像を原文書に重畳して記録するなどの処理を行う。
【0081】
記入順序記憶モジュール834は、記入順序制御テーブル1300を記憶するようにしてもよい。図13は、記入順序制御テーブル1300のデータ構造例を示す説明図である。記入順序制御テーブル1300は、前回読取モジュール810が読み込んだ情報画像内の情報を記憶し、文書ID欄1310、ページID欄1320、最終記入順序欄1330を有している。文書ID欄1310は、前回読取モジュール810が読み込んだ情報画像内の文書IDを記憶している。ページID欄1320は、その情報画像内のページIDを記憶している。最終記入順序欄1330は、その情報画像内の記入順序を記憶している。
【0082】
図14は、本実施の形態(画像読取装置)による処理例を示すフローチャートである。欄の記入順序のみならず、ページ、文書の記入順序も判断対象とするために記入順序制御テーブル1300を利用した処理例を示すものである。また、アラーム発生後の処理も含めて、複数回連続して情報画像を読み取れるようにした処理例である。
ステップS1402からステップS1406は、図9に例示したステップS902からステップS906と同等の処理である。
ステップS1408では、判断モジュール832が、今回読み込んだ文書IDとページIDは、記入順序制御テーブル1300内の前回の文書IDとページIDと同じであるか否かを判断し、同じ場合はステップS1412へ進み、それ以外の場合はステップS1410へ進む。
【0083】
ステップS1410では、判断モジュール832が、前回の記入順序は、前回の文書又はページの最終記入欄であるか否かを判断し、最終記入欄である場合(その文書又はページの最終記入欄を記入した後に、他の文書又はページへ進んだ場合)はステップS1411へ進み、それ以外の場合(その文書又はページの最終記入欄を記入していないにもかかわらず、他の文書又はページへ進んだ場合)はステップS1418へ進む。例えば、前回の記入順序が予め定められた情報(最終の記入欄であることを示す情報)である場合は、ステップS1411へ進むことになる。また、情報画像内に文書内にある記入欄の総数が含まれている場合は、前回の記入順序と前回の記入欄の総数が同じである場合は、ステップS1411へ進むことになる。
ステップS1411では、記入順序記憶モジュール834が、記入順序制御テーブル1300の文書ID欄1310とページID欄1320に今回抽出した(ステップS1404で抽出した)文書IDとページIDをセットし、最終記入順序欄1330に初期値である“0”をセットする。次に、ステップS1412へ進む。
ステップS1412では、判断モジュール832が、記入順序があるか否かを判断し、ある場合はステップS1414へ進み、それ以外の場合はステップS1420へ進む。
ステップS1414では、判断モジュール832が、今回の記入順序(ステップS1406で抽出した記入順序)と前回の記入順序(記入順序制御テーブル1300の最終記入順序欄1330)とを比較して、記入順序通りであるか否かを判断し、記入順序通りである場合はステップS1416へ進み、それ以外の場合はステップS1418へ進む。
【0084】
ステップS1416では、記入順序記憶モジュール834が、記入順序制御テーブル1300の文書ID欄1310、ページID欄1320、最終記入順序欄1330に現在の文書ID(ステップS1404で抽出した文書ID)、ページID(ステップS1404で抽出したページID)、最終記入順序(ステップS1406で抽出した記入順序)の値をセットする。
ステップS1418では、アラームモジュール840が、記入順序が異なることを示すアラームを発生する。アラーム発生後に、ステップS1426へ進む。
ステップS1420では、位置情報抽出モジュール822が、位置情報を抽出する。
ステップS1422では、ストローク情報生成モジュール850が、ストローク情報を生成する。
ステップS1424では、前述のストローク情報記憶モジュールが、ストローク情報を記憶する。
ステップS1426では、他に読み取られる画像が存在するか否かを判断し、存在する場合はステップS1402へ戻り、それ以外の場合はステップS1428へ進む。
ステップS1428では、送信モジュール860が、ストローク情報記憶モジュールに記憶されているストローク情報を送信する。
【0085】
また、情報画像内に文書内にある記入欄の総数が埋め込まれている場合は、記入順序記憶モジュール834は記入順序制御テーブル1500を記憶し、判断モジュール832は記入順序制御テーブル1500を用いて判断するようにしてもよい。図15は、記入順序制御テーブル1500のデータ構造例を示す説明図である。記入順序制御テーブル1500は、前回読取モジュール810が読み込んだ情報画像内の情報を記憶し、文書ID欄1510、ページID欄1520、最終記入順序欄1530、総記入欄数欄1540を有している。文書ID欄1510、ページID欄1520、最終記入順序欄1530は、図13に例示した記入順序制御テーブル1300の文書ID欄1310、ページID欄1320、最終記入順序欄1330と同等である。総記入欄数欄1540は、その情報画像内に埋め込まれている記入欄の総数を記憶している。最終記入順序欄1530内の値と総記入欄数欄1540内の値が同じ場合は、その文書又はページにおいて最後に記入すべき記入欄を記入していたことを示している。
【0086】
また、複数ページである文書であって、ページ毎に記入順序が指定されている場合は、記入順序記憶モジュール834は記入順序制御テーブル1600を記憶し、判断モジュール832は記入順序制御テーブル1600を用いて判断するようにしてもよい。図16は、記入順序制御テーブル1600のデータ構造例を示す説明図である。記入順序制御テーブル1600は、前回読取モジュール810が読み込んだ情報画像内の情報を記憶し、文書ID欄1610、ページID欄1620、最終記入順序欄1630、総記入欄数欄1640、最終記入ページ順序欄1650、総記入ページ数欄1660を有している。文書ID欄1610、ページID欄1620、最終記入順序欄1630、総記入欄数欄1640は、図15に例示した記入順序制御テーブル1500の文書ID欄1510、ページID欄1520、最終記入順序欄1530、総記入欄数欄1540と同等である。最終記入ページ順序欄1650は、その情報画像内のページ順序を記憶している。総記入ページ数欄1660は、その情報画像内に埋め込まれているページの総数を記憶している。最終記入ページ順序欄1650内の値と総記入ページ数欄1660内の値が同じ場合は、その文書において最後に記入すべきページを記入していたことを示している。
【0087】
また、複数の文書に対して並行して書き込みが行われる場合は、記入順序記憶モジュール834は記入順序制御テーブル1700を記憶し、判断モジュール832は記入順序制御テーブル1700を用いて判断するようにしてもよい。図17は、記入順序制御テーブル1700のデータ構造例を示す説明図である。記入順序制御テーブル1700は、前回読取モジュール810が読み込んだ情報画像内の情報を複数(その数は、並行して書き込みが行われる文書の数)記憶し、文書ID欄1710、ページID欄1720、最終記入順序欄1730、総記入欄数欄1740を有している。文書ID欄1710、ページID欄1720、最終記入順序欄1730、総記入欄数欄1740は、図15に例示した記入順序制御テーブル1500の文書ID欄1510、ページID欄1520、最終記入順序欄1530、総記入欄数欄1540と同等である。ただし、各欄が記憶する情報は、並行して書き込みが行われる文書の数だけある。
判断モジュール832は、今回読み取った情報画像内の文書IDと対応する記入順序制御テーブル1700内の行の各情報を用いて判断を行う。これによって、例えば、文書Aの1ページを記入している途中で、文書Bの2ページの記入をしたとしても、各文書における記入順序が誤っていないかを判断し得る。
また、図16に例示した記入順序制御テーブル1600の各欄が記憶する情報を、記入順序制御テーブル1700のように並行して書き込みが行われる文書の数だけ記憶し得るようにしてもよい。
【0088】
図18を参照して、本実施の形態の画像処理装置(画像出力装置、文書作成用情報処理装置310、書戻用情報処理装置360、画像読取装置)のハードウェア構成例について説明する。図18に示す構成は、例えばパーソナルコンピュータ(PC)などによって構成されるものであり、スキャナ等のデータ読み取り部1817と、プリンタなどのデータ出力部1818を備えたハードウェア構成例を示している。なお、画像読取装置としてのデジタルペン350は、CPU1801、ROM(Read Only Memory)1802、RAM1803、データ読み取り部1817、通信部1816、これらを接続するバス等によって構成されている。
【0089】
CPU1801は、前述の実施の形態において説明した各種のモジュール、すなわち、記入順序受付モジュール110、文書レイアウト受付モジュール120、文書受付モジュール130、情報画像生成モジュール140、情報画像合成モジュール150、文書作成アプリケーション312、記入順序指定モジュール314、ストローク情報抽出モジュール362、書戻モジュール364等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。
【0090】
ROM1802は、CPU1801が使用するプログラムや演算パラメータ等を格納する。RAM1803は、CPU1801の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはCPUバスなどから構成されるホストバス1804により相互に接続されている。
【0091】
ホストバス1804は、ブリッジ1805を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス1806に接続されている。
【0092】
キーボード1808、マウス等のポインティングデバイス1809は、操作者により操作される入力デバイスである。ディスプレイ1810は、液晶表示装置又はCRT(Cathode Ray Tube)などがあり、各種情報をテキストやイメージ情報として表示する。
【0093】
HDD(Hard Disk Drive)1811は、ハードディスクを内蔵し、ハードディスクを駆動し、CPU1801によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、受け付けた電子文書、情報画像、情報画像が合成された電子文書、文書IDなどが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
【0094】
ドライブ1812は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体1813に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース1807、外部バス1806、ブリッジ1805、及びホストバス1804を介して接続されているRAM1803に供給する。リムーバブル記録媒体1813も、ハードディスクと同様のデータ記録領域として利用可能である。
【0095】
接続ポート1814は、外部接続機器1815を接続するポートであり、USB、IEEE1394等の接続部を持つ。接続ポート1814は、インタフェース1807、及び外部バス1806、ブリッジ1805、ホストバス1804等を介してCPU1801等に接続されている。通信部1816は、ネットワークに接続(有線、無線を含む)され、外部とのデータ通信処理を実行する。データ読み取り部1817は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部1818は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。
【0096】
なお、図18に示す画像処理装置のハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図18に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えば特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図18に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機(スキャナ、プリンタ、複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)などに組み込まれていてもよい。
【0097】
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray Disc(登録商標))、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。
【符号の説明】
【0098】
110…記入順序受付モジュール
120…文書レイアウト受付モジュール
130…文書受付モジュール
140…情報画像生成モジュール
150…情報画像合成モジュール
160…出力モジュール
310…文書作成用情報処理装置
312…文書作成アプリケーション
314…記入順序指定モジュール
320…文書DB
330…情報画像生成用画像処理装置
340…情報画像付文書
350…デジタルペン
360…書戻用情報処理装置
362…ストローク情報抽出モジュール
364…書戻モジュール
810…読取モジュール
820…情報画像解析モジュール
822…位置情報抽出モジュール
824…記入順序抽出モジュール
826…文書関連情報抽出モジュール
830…記入順序制御モジュール
832…判断モジュール
834…記入順序記憶モジュール
840…アラームモジュール
850…ストローク情報生成モジュール
860…送信モジュール
1051…芯
1052…画像読取モジュール
1053…制御・送信モジュール

【特許請求の範囲】
【請求項1】
文書内の記入欄における記入順序を受け付ける記入順序受付手段と、
前記文書内の位置を示す位置情報及び前記記入順序受付手段によって受け付けられた記入順序に基づいて、情報を示す画像である情報画像を生成する情報画像生成手段と、
前記情報画像生成手段によって生成された情報画像を前記文書内の前記記入欄に合成する合成手段と、
前記合成手段によって情報画像が合成された文書を出力する出力手段
を備える画像出力装置と、
前記画像出力装置によって媒体に出力されており、筆記具による筆記位置を抽出するための情報画像を読み取る読取手段と、
前記読取手段によって読み取られた情報画像を解析して、記入順序を抽出する抽出手段と、
前記抽出手段によって抽出された記入順序と前回前記読取手段によって読み取られた情報画像内の記入順序を比較して、記入順序とは異なる順序の記入が行われるか否かを判断する判断手段と、
前記判断手段によって記入順序とは異なる順序の記入が行われると判断された場合に警告を発する警告手段
を備える画像読取装置
を具備することを特徴とする画像処理装置。
【請求項2】
文書内の記入欄における記入順序を受け付ける記入順序受付手段と、
前記文書内の位置を示す位置情報及び前記記入順序受付手段によって受け付けられた記入順序に基づいて、情報を示す画像である情報画像を生成する情報画像生成手段と、
前記情報画像生成手段によって生成された情報画像を前記文書内の前記記入欄に合成する合成手段と、
前記合成手段によって情報画像が合成された文書を出力する出力手段
を具備することを特徴とする画像処理装置。
【請求項3】
前記情報画像生成手段は、前記文書内における記入順序として最終の記入欄の場合は予め定められた情報に基づいて、情報画像を生成する
ことを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記情報画像生成手段は、更に前記文書内にある記入欄の数に基づいて、情報画像を生成する
ことを特徴とする請求項2に記載の画像処理装置。
【請求項5】
前記記入順序受付手段が受け付ける記入順序は、更に前記文書が印刷された媒体における記入順序も含む
ことを特徴とする請求項2から4のいずれか一項に記載の画像処理装置。
【請求項6】
前記情報画像生成手段は、更に前記文書を示す文書情報に基づいて、情報画像を生成する
ことを特徴とする請求項2から5のいずれか一項に記載の画像処理装置。
【請求項7】
文書内の記入欄における記入順序と該文書内の位置を示す位置情報とに基づいて生成された情報を示す画像である情報画像が合成された文書に対する筆記具による筆記位置を抽出するための情報画像を読み取る読取手段と、
前記読取手段によって読み取られた情報画像を解析して、記入順序を抽出する抽出手段と、
前記抽出手段によって抽出された記入順序と前回前記読取手段によって読み取られた情報画像内の記入順序を比較して、記入順序とは異なる順序の記入が行われるか否かを判断する判断手段と、
前記判断手段によって記入順序とは異なる順序の記入が行われると判断された場合に警告を発する警告手段
を具備することを特徴とする画像処理装置。
【請求項8】
前記抽出手段によって抽出された記入順序が予め定められた情報である場合には、前記文書内における最終の記入欄への筆記であると判断する終了判断手段
を具備することを特徴とする請求項7に記載の画像処理装置。
【請求項9】
前記読取手段が読み取る情報画像には、更に前記文書内にある記入欄の数が含まれており、
前記抽出手段は、更に前記文書内にある記入欄の数を抽出し、
前記抽出手段によって抽出された記入欄の数と記入順序に基づいて、前記文書内における最終の記入欄への筆記であるか否かを判断する終了判断手段
を具備することを特徴とする請求項7に記載の画像処理装置。
【請求項10】
前記読取手段が読み取る情報画像には、更に前記文書が印刷された媒体における記入順序が含まれており、
前記抽出手段は、更に媒体における記入順序を抽出し、
前記判断手段は、媒体における記入順序と前回前記読取手段によって読み取られた情報画像内の媒体における記入順序を比較して、記入順序とは異なる順序の記入が行われるか否かを判断する
ことを特徴とする請求項7から9のいずれか一項に記載の画像処理装置。
【請求項11】
前記読取手段が読み取る情報画像には、更に前記文書を示す文書情報が含まれており、
前記抽出手段は、更に文書情報を抽出し、
前記判断手段は、前記抽出手段によって抽出された記入順序又は媒体における記入順序と文書情報毎に記憶された前回の記入順序又は媒体における記入順序を比較して、記入順序とは異なる順序の記入が行われるか否かを判断する
ことを特徴とする請求項7から10のいずれか一項に記載の画像処理装置。
【請求項12】
コンピュータを、
文書内の記入欄における記入順序を受け付ける記入順序受付手段と、
前記文書内の位置を示す位置情報及び前記記入順序受付手段によって受け付けられた記入順序に基づいて、情報を示す画像である情報画像を生成する情報画像生成手段と、
前記情報画像生成手段によって生成された情報画像を前記文書内の前記記入欄に合成する合成手段と、
前記合成手段によって情報画像が合成された文書を出力する出力手段
として機能させるための画像処理プログラム。
【請求項13】
コンピュータを、
文書内の記入欄における記入順序と該文書内の位置を示す位置情報とに基づいて生成された情報を示す画像である情報画像が合成された文書に対する筆記具による筆記位置を抽出するための情報画像を読み取る読取手段と、
前記読取手段によって読み取られた情報画像を解析して、記入順序を抽出する抽出手段と、
前記抽出手段によって抽出された記入順序と前回前記読取手段によって読み取られた情報画像内の記入順序を比較して、記入順序とは異なる順序の記入が行われるか否かを判断する判断手段と、
前記判断手段によって記入順序とは異なる順序の記入が行われると判断された場合に警告を発する警告手段
として機能させるための画像処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate