説明

筆記情報処理装置、筆記情報処理システム、及びプログラム

【課題】電子文書の部分に対する筆記情報の関連付けの正確性を向上させる。
【解決手段】学習支援サーバ70では、電子文書の印刷時に、電子文書解析部74が、電子文書における設問の位置と設問の構成要素を取得し、電子文書が印刷された媒体への筆記時に、筆跡管理部72が、筆跡情報をストロークを単位として記憶する。また、学習支援のための支援情報の表示要求時に、ストローク群生成部75が、ストロークをグループ化してストローク群を生成し、第1割り当て部76が、電子文書における設問の位置とストローク群の位置とに基づいてストローク群を設問に割り当て、第2割り当て部77が、電子文書における設問の構成要素とストローク群の構成要素とに基づいてその割り当てを修正し、支援情報生成部78が、割り当ての結果に基づいて支援情報を生成し、送信部79が支援情報を要求元に送信する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、筆記情報処理装置、筆記情報処理システム、プログラムに関する。
【背景技術】
【0002】
受講生の回答をする時間や振る舞いを考慮した柔軟な採点を可能にする技術が知られている(例えば、特許文献1参照)。この特許文献1の技術では、電子ペンからペン識別子と電子ペンの軌跡を示す座標情報を有するペン情報を1以上受信し、1以上のペン情報が有する座標情報から電子ペンの記載情報を取得し、ペン情報を受信した時刻を取得し、記載情報と時刻に基づいて、記載情報の得点を算出し、計算した得点をペン情報と対応付けて蓄積している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2004−265272号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の目的は、電子文書の部分に対する筆記情報の関連付けの正確性を向上させることにある。
【課題を解決するための手段】
【0005】
請求項1に記載の発明は、電子文書を構成する部分の当該電子文書における位置を示す第1の位置情報を取得する第1の位置情報取得手段と、前記部分の構成要素を示す第1の構成情報を取得する第1の構成情報取得手段と、前記電子文書が印刷された媒体における筆記がなされた位置に対応する当該電子文書における位置を示す第2の位置情報を取得する第2の位置情報取得手段と、前記筆記を電子化した筆記情報の構成要素を示す第2の構成情報を取得する第2の構成情報取得手段と、前記第1の位置情報によって示される位置と前記第2の位置情報によって示される位置との比較結果、及び、前記第1の構成情報によって示される構成要素と前記第2の構成情報によって示される構成要素との比較結果に基づいて、前記部分に前記筆記情報を関連付けるかどうかを決定する決定手段とを備えたことを特徴とする筆記情報処理装置である。
請求項2に記載の発明は、前記決定手段は、前記第1の位置情報によって示される位置と前記第2の位置情報によって示される位置との比較結果よりも、前記第1の構成情報によって示される構成要素と前記第2の構成情報によって示される要素構成との比較結果を優先させて、前記部分に前記筆記情報を関連付けるかどうかを決定することを特徴とする請求項1に記載の筆記情報処理装置である。
請求項3に記載の発明は、前記決定手段は、前記第1の位置情報によって示される位置と前記第2の位置情報によって示される位置とが予め定めた位置関係にあれば、前記部分に前記筆記情報を関連付けるとの決定を行い、前記第1の構成情報によって示される構成要素と前記第2の構成情報によって示される構成要素とが整合していれば、当該決定を確定させることを特徴とする請求項1又は2に記載の筆記情報処理装置である。
請求項4に記載の発明は、前記決定手段は、前記第1の位置情報によって示される位置と前記第2の位置情報によって示される位置とが予め定めた位置関係にあれば、前記部分に前記筆記情報を関連付けるとの決定を行い、前記第1の構成情報によって示される構成要素と前記第2の構成情報によって示される構成要素とが整合していなければ、当該決定の修正を行うことを特徴とする請求項1又は2に記載の筆記情報処理装置である。
請求項5に記載の発明は、前記決定手段は、前記部分に隣接する他の部分の構成要素と前記第2の構成情報によって示される構成要素との比較結果に基づいて、前記修正を行うことを特徴とする請求項4に記載の筆記情報処理装置である。
請求項6に記載の発明は、前記決定手段は、前記第1の構成情報によって示される構成要素と前記第2の構成情報によって示される構成要素との比較結果を、何れかの構成要素が文字である場合には、当該文字を文字認識して得られた文字コードを比較することにより取得することを特徴とする請求項1乃至5の何れかに記載の筆記情報処理装置である。
請求項7に記載の発明は、電子文書が印刷された媒体における当該電子文書を構成する部分が印刷された位置を示す第1の位置情報を取得する第1の位置情報取得手段と、前記部分の構成要素を示す第1の構成情報を取得する第1の構成情報取得手段と、前記媒体における筆記がなされた位置を示す第2の位置情報を取得する第2の位置情報取得手段と、前記筆記を電子化した筆記情報の構成要素を示す第2の構成情報を取得する第2の構成情報取得手段と、前記第1の位置情報によって示される位置と前記第2の位置情報によって示される位置との比較結果、及び、前記第1の構成情報によって示される構成要素と前記第2の構成情報によって示される構成要素との比較結果に基づいて、前記部分に前記筆記情報を関連付けるかどうかを決定する決定手段とを備えたことを特徴とする筆記情報処理装置である。
請求項8に記載の発明は、電子文書を構成する部分の当該電子文書における位置を示す第1の位置情報を取得する第1の取得手段と、前記部分の構成要素を当該部分から抽出する第1の抽出手段と、前記電子文書が印刷された媒体における筆記がなされた位置を示す第2の位置情報を取得する第2の取得手段と、前記筆記を電子化した筆記情報の構成要素を当該筆記情報から抽出する第2の抽出手段と、前記第1の位置情報によって示される位置と前記第2の位置情報によって示される位置との比較結果、及び、前記第1の抽出手段により抽出された構成要素と前記第2の抽出手段により抽出された構成要素との比較結果に基づいて、前記部分に前記筆記情報を関連付けるかどうかを決定する決定手段とを備えたことを特徴とする筆記情報処理システムである。
請求項9に記載の発明は、コンピュータに、電子文書を構成する部分の当該電子文書における位置を示す第1の位置情報を取得する機能と、前記部分の構成要素を示す第1の構成情報を取得する機能と、前記電子文書が印刷された媒体における筆記がなされた位置に対応する当該電子文書における位置を示す第2の位置情報を取得する機能と、前記筆記を電子化した筆記情報の構成要素を示す第2の構成情報を取得する機能と、前記第1の位置情報によって示される位置と前記第2の位置情報によって示される位置との比較結果、及び、前記第1の構成情報によって示される構成要素と前記第2の構成情報によって示される構成要素との比較結果に基づいて、前記部分に前記筆記情報を関連付けるかどうかを決定する機能とを実現させるためのプログラムである。
請求項10に記載の発明は、コンピュータに、電子文書が印刷された媒体における当該電子文書を構成する部分が印刷された位置を示す第1の位置情報を取得する機能と、前記部分の構成要素を示す第1の構成情報を取得する機能と、前記媒体における筆記がなされた位置を示す第2の位置情報を取得する機能と、前記筆記を電子化した筆記情報の構成要素を示す第2の構成情報を取得する機能と、前記第1の位置情報によって示される位置と前記第2の位置情報によって示される位置との比較結果、及び、前記第1の構成情報によって示される構成要素と前記第2の構成情報によって示される構成要素との比較結果に基づいて、前記部分に前記筆記情報を関連付けるかどうかを決定する機能とを実現させるためのプログラムである。
【発明の効果】
【0006】
請求項1の発明によれば、本構成を有していない場合に比較して、電子文書の部分に対する筆記情報の関連付けの正確性を向上させることができる。
請求項2の発明によれば、本構成を有していない場合に比較して、電子文書の部分に対する筆記情報の関連付けの正確性をより向上させることができる。
請求項3の発明によれば、本構成を有していない場合に比較して、電子文書の部分に対する筆記情報の関連付けの正確性を効率的に向上させることができる。
請求項4の発明によれば、本構成を有していない場合に比較して、電子文書の部分に対する筆記情報の関連付けの正確性を効率的に向上させることができる。
請求項5の発明によれば、電子文書の部分に対する筆記情報の関連付けがこれらの位置に基づいて行えなかったとしても、本構成を有していない場合に比較して、このような関連付けの正確性を効率的に向上させることができる。
請求項6の発明によれば、電子文書の部分の構成要素と筆記情報の構成要素の何れかが文字である場合に、本構成を有していない場合に比較して、構成要素を効率的に比較することができる。
請求項7の発明によれば、本構成を有していない場合に比較して、電子文書の部分に対する筆記情報の関連付けの正確性を向上させることができる。
請求項8の発明によれば、本構成を有していない場合に比較して、電子文書の部分に対する筆記情報の関連付けの正確性を向上させることができる。
請求項9の発明によれば、本構成を有していない場合に比較して、電子文書の部分に対する筆記情報の関連付けの正確性を向上させることができる。
請求項10の発明によれば、本構成を有していない場合に比較して、電子文書の部分に対する筆記情報の関連付けの正確性を向上させることができる。
【図面の簡単な説明】
【0007】
【図1】本発明の実施の形態が適用されるコンピュータシステムの構成例を示した図である。
【図2】本発明の実施の形態における文書サーバの機能構成例を示したブロック図である。
【図3】本発明の実施の形態における識別情報サーバの機能構成例を示したブロック図である。
【図4】本発明の実施の形態における学習支援サーバの機能構成例を示したブロック図である。
【図5】本発明の実施の形態における印刷文書出力時の動作例を示したシーケンス図である。
【図6】本発明の実施の形態で生成される符号画像の例を示した図である。
【図7】本発明の実施の形態で記憶される媒体管理情報の例を示した図である。
【図8】本発明の実施の形態における学習支援サーバの電子文書解析部の動作例を示したフローチャートである。
【図9】本発明の実施の形態における電子文書解析部の動作例の説明で用いる電子文書の例を示した図である。
【図10】本発明の実施の形態における学習支援サーバの解析結果記憶部に記憶される内容の例を示した図である。
【図11】本発明の実施の形態におけるデジタルペンの構成例を示した図である。
【図12】本発明の実施の形態におけるデジタルペンの制御回路の機能構成例を示したブロック図である。
【図13】本発明の実施の形態における印刷文書への筆記時の動作例を示したシーケンス図である。
【図14】本発明の実施の形態で用いられる筆跡管理情報の例を示した図である。
【図15】本発明の実施の形態における学習支援サーバのストローク群生成部の動作例を示したフローチャートである。
【図16】本発明の実施の形態におけるストローク群生成部の動作例を説明するための模式図である。
【図17】本発明の実施の形態における学習支援サーバのストローク群管理情報記憶部に記憶される内容の例を示した図である。
【図18】本発明の実施の形態におけるストローク群生成部の動作例の説明で用いる媒体を示した図である。
【図19】本発明の実施の形態における学習支援サーバの第1割り当て部の動作例を示したフローチャートである。
【図20】本発明の実施の形態における学習支援サーバのストローク群管理情報記憶部に記憶される内容の例を示した図である。
【図21】本発明の実施の形態における学習支援サーバの第2割り当て部の動作例を示したフローチャートである。
【図22】本発明の実施の形態における学習支援サーバのストローク群管理情報記憶部に記憶される内容の例を示した図である。
【図23】本発明の実施の形態で表示される第1の支援情報を示した図である。
【図24】本発明の実施の形態で表示される第2の支援情報を示した図である。
【図25】本発明の実施の形態を実現可能なコンピュータのハードウェア構成例を示した図である。
【発明を実施するための形態】
【0008】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
まず、本実施の形態におけるコンピュータシステムの全体構成について説明する。
図1は、本実施の形態のコンピュータシステムの構成例を示したものである。
図示するように、このコンピュータシステムは、端末装置10と、文書サーバ20と、識別情報サーバ30と、画像形成装置40と、端末装置50と、学習支援サーバ70とがネットワーク80に接続されることにより構成されている。また、端末装置50には、デジタルペン60が通信装置55を介して接続されている。
【0009】
端末装置10は、文書サーバ20に対して電子文書の印刷を要求するコンピュータ装置である。ここで、端末装置10としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータを用いるとよい。
文書サーバ20は、電子文書を記憶し管理するコンピュータ装置である。また、端末装置10から電子文書の印刷要求があると、電子文書の画像と、識別情報及び位置情報を表す符号画像とを生成し、これらを合成した合成画像を媒体に印刷する印刷命令を画像形成装置40に対して出力する。この場合、識別情報とは、媒体を一意に特定するための情報であり、位置情報とは、媒体上の座標位置を特定するための情報である。ここで、文書サーバ20としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータを用いるとよい。
【0010】
識別情報サーバ30は、媒体に付与する識別情報を発行するコンピュータ装置である。そして、発行した識別情報を、その識別情報が付与される媒体に印刷される電子文書と関連付けて記憶する。ここで、識別情報サーバ30としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータを用いるとよい。
画像形成装置40は、媒体に画像を印刷し、印刷文書として出力する装置である。この画像形成装置40は、プリンタの機能のみを備えたものであってもよいし、他にスキャナやファクシミリの機能を備えたものであってもよい。ここで、画像形成装置40における画像形成方式としては、例えば、電子写真方式を用いるとよいが、その他の方式を用いてもよい。尚、以下では、媒体に付与する識別情報を識別情報サーバ30が発行するものとして説明するが、システム内で重複なく発行できるのであれば識別情報はどの装置で発行してもよく、この画像形成装置40で発行するようにしてもよい。その場合は、例えば、画像形成装置40の機械番号と画像形成装置40におけるプリントカウントの値とを結合したものを識別情報として用いるとよい。
【0011】
端末装置50は、印刷文書に対する筆記を電子化した情報(以下、「筆跡情報」という)を、印刷文書に記録された画像の元となる電子文書に反映させるために学習支援サーバ70に送信するコンピュータ装置である。また、筆跡情報を反映する対象の電子文書をディスプレイに表示し、その上に筆跡情報を重ねて表示するようにしてもよい。ここで、端末装置50としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータを用いるとよい。尚、本実施の形態では、筆記を電子化した筆記情報の一例として、筆跡情報を用いている。また、筆跡情報を主に手書き情報として説明するが、これに限らず、例えば、建築や機械等の図面データを出力する装置であるプロッタ等によって機械的に描画された情報であってもよい。
【0012】
通信装置55は、デジタルペン60から筆跡情報を取得して端末装置50に送信する装置である。例えば、デジタルペン60を差し込む差込口を設け、この差込口にデジタルペン60が差し込まれると、デジタルペン60に記憶された筆跡情報を端末装置50に送信するようにするとよい。ここで、端末装置50との間の通信の方式としては、USB(Universal Serial Bus)、Bluetooth(登録商標)、赤外線通信機能等、種々の方式が考えられる。また、図では、通信装置55をデジタルペン60と別体のものとして示しているが、必ずしも別体である必要はなく、一体に構成してもよい。
【0013】
デジタルペン60は、電子筆記具の一例であり、印刷文書上に文字又は図形を筆記するために用いられるペンデバイスである。また、媒体に印刷された符号画像を読み取る撮像素子を備える。そして、撮像素子で読み取った符号画像から位置情報を検出し、筆記した文字又は図形をイメージデータ化した筆跡情報をこの位置情報に基づいて生成し記憶する。
【0014】
学習支援サーバ70は、文書サーバ20で管理される電子文書(例えば、試験の問題や解答の文書データ)が印刷された媒体(例えば、試験の問題用紙や解答用紙)による受験者の学習を支援するコンピュータ装置である。特に、本実施の形態では、試験の問題用紙や解答用紙に対する筆跡情報を管理し、試験の設問ごとに、受験者の思考過程や思考に要した時間に関する情報等、学習を支援するための情報(以下、「支援情報」という)を端末装置50に提供する機能も有している。ここで、学習支援サーバ70としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータを用いるとよい。
ネットワーク80は、各種情報の交換に用いる通信手段である。このネットワーク80としては、インターネットやLAN(Local Area Network)が例示される。
【0015】
尚、本明細書では、媒体に記録する画像の元となる電子データを「電子文書」と表記するが、これは、テキストを含む「文書」を電子化したデータのみを意味するものではない。例えば、絵、写真、図形等の画像データ(ラスタデータかベクターデータかによらない)、データベース管理ソフトウェアや表計算ソフトウェアで記録されるデータ、その他の印刷可能な電子データも含めて「電子文書」としている。
また、本明細書において、「媒体」は、画像を印刷可能な媒体であれば、その材質は問わない。代表例は紙であるが、OHPシートや金属板等であっても構わない。
更に、本明細書では、電子文書、媒体、更にはデジタルペン60やユーザについて、それぞれを一意に識別するための識別情報を用いて処理を行うが、単に「識別情報」というときは、このうち、媒体の識別情報を意味するものとする。
【0016】
ところで、本実施の形態では、このようなコンピュータシステムにおいて、印刷文書の出力、印刷文書への筆記、支援情報の表示という三段階の動作を行う。そこで、以下ではこれらを分けて説明する。
【0017】
[印刷文書の出力]
印刷文書を出力するときには、文書サーバ20及び識別情報サーバ30が中心となって動作し、これに加えて、学習支援サーバ70も動作するので、これらのサーバの構成について説明する。
まず、文書サーバ20の構成について説明する。
図2は、文書サーバ20の機能構成例を示したブロック図である。
図示するように、文書サーバ20は、受信部21と、識別情報取得部22とを備える。また、識別符号生成部25aと、位置符号生成部25bと、符号配置部25cと、パターン画像記憶部25dと、符号画像生成部25eとを備える。更に、文書画像生成部26と、画像合成部27と、送信部29とを備える。
【0018】
受信部21は、端末装置10から印刷要求を受信する。ここで、印刷要求には、印刷対象となる電子文書の識別情報(以下、「文書ID」という)と、その電子文書の印刷対象のページ番号と、印刷に関する各種設定(以下、「印刷設定」という)とが含まれる。
識別情報取得部22は、受信部21から文書ID、ページ番号、印刷設定を取得し、これを送信部29に渡して識別情報の発行要求の送信を指示し、これを文書画像生成部26に渡して文書画像の生成を指示する。また、受信部21から識別情報を取得し、これを識別符号生成部25aに渡して識別符号の生成を指示する。
【0019】
識別符号生成部25aは、媒体を特定する識別情報を符号化して識別符号を生成する。
位置符号生成部25bは、媒体上の座標位置を示す位置情報を符号化して位置符号を生成する。
符号配置部25cは、識別符号生成部25aにて生成された識別符号や、位置符号生成部25bにて生成された位置符号等を予め定めたレイアウトに従って2次元平面に配置し2次元の符号配列を生成する。
パターン画像記憶部25dは、符号配列に格納される各符号の符号値に対応するパターン画像を記憶する。
符号画像生成部25eは、符号配置部25cが生成した2次元の符号配列を参照し、各符号値に対応したパターン画像を選択して符号画像を生成する。
【0020】
文書画像生成部26は、識別情報取得部22から文書ID、ページ番号、印刷設定を取得し、この文書ID及びページ番号で特定される電子文書のページを図示しない記憶手段から読み出し、印刷設定に従ってその電子文書の文書画像を生成する。
画像合成部27は、符号画像生成部25eが生成した符号画像と、文書画像生成部26が生成した文書画像とを合成し、合成画像を生成する。
送信部29は、識別情報サーバ30に対して識別情報の発行要求を送信する。また、画像形成装置40に対して媒体に対する画像の印刷命令を送信する。
【0021】
次に、識別情報サーバ30の構成について説明する。
図3は、識別情報サーバ30の機能構成例を示したブロック図である。
図示するように、識別情報サーバ30は、受信部31と、媒体管理部32と、媒体管理情報記憶部33と、送信部39とを備える。
【0022】
受信部31は、文書サーバ20から識別情報の発行要求を受信する。また、学習支援サーバ70から識別情報を指定した文書ID、ページ番号、印刷設定の検索要求を受信する。
媒体管理部32は、識別情報の発行要求があると、識別情報を重複することなく発行し、その際に指定された文書ID、ページ番号、印刷設定を、識別情報に関連付けて記憶する。更に、識別情報が指定されると、その識別情報に対応する文書ID、ページ番号、印刷設定を取り出す。
【0023】
媒体管理情報記憶部33は、識別情報と、その識別情報が付与された媒体に印刷された電子文書の文書IDと、その識別情報が付与された媒体に印刷された電子文書のページのページ番号と、それが付与された媒体に電子文書が印刷された際の印刷設定とを記憶するデータベースである。
送信部39は、文書サーバ20からの要求に応じて発行した識別情報を文書サーバ20に送信する。
【0024】
次いで、学習支援サーバ70の構成について説明する。
図4は、学習支援サーバ70の機能構成例を示したブロック図である。尚、学習支援サーバ70は、後述する印刷文書への筆記及び支援情報の表示を行うときは中心となって動作するので、図には、印刷文書への筆記及び支援情報の表示のための構成も示している。
図示するように、学習支援サーバ70は、受信部71と、筆跡管理部72と、筆跡管理情報記憶部73と、電子文書解析部74と、解析結果記憶部740とを備える。また、ストローク群生成部75と、第1割り当て部76と、第2割り当て部77と、ストローク群管理情報記憶部770と、支援情報生成部78と、解答情報記憶部780と、送信部79とを備える。
【0025】
受信部71は、印刷文書の出力が指示された際には、印刷対象の電子文書の文書ID及びページのページ番号を文書サーバ20から受信する。また、印刷文書に対する筆記がなされた際には、識別情報、筆跡情報、ペンIDを端末装置50から受信する。更に、支援情報の表示の指示を端末装置50から受信する。
【0026】
筆跡管理部72は、受信部71が受信した識別情報、筆跡情報、ペンIDを取得し、筆跡管理情報記憶部73に登録する。このとき、筆跡情報は、ストロークを単位としたストローク情報として登録される。ここで、ストロークとは、ペン先を媒体に接触させた状態でなされた筆記単位のことである。また、筆跡情報には、筆跡における各点が指示された時刻の情報も含まれているので、ストロークを開始した時刻及び終了した時刻の情報を筆記時間情報として登録する。本実施の形態では、電子文書が印刷された媒体における筆記がなされた位置を示す第2の位置情報を取得する第2の位置情報取得手段又は第2の取得手段の一例として、筆跡管理部72を設けている。
筆跡管理情報記憶部73は、筆跡管理部72によって管理される筆跡管理情報を記憶する。
【0027】
電子文書解析部74は、文書サーバ20から受信した印刷対象の電子文書のページからテキストや図形を抽出する。画像や表を抽出してもよいが、以下では、テキストや図形を抽出するものとして説明する。そして、抽出したテキストや図形を解析し、電子文書の構成要素の一例である文字列や基本図形を取得する。また、文字列や基本図形の電子文書内での座標情報も生成する。本実施の形態では、電子文書を構成する部分の電子文書における位置を示す第1の位置情報を取得する第1の位置情報取得手段又は第1の取得手段の一例として、電子文書解析部74を設けている。また、電子文書の部分の構成要素を示す第1の構成情報を取得する第1の構成情報取得手段の一例として、更に、電子文書の部分の構成要素をその部分から抽出する抽出手段の一例として、電子文書解析部74を設けている。
解析結果記憶部740は、電子文書解析部74により取得された文字列や基本図形の情報を解析結果として記憶する。
【0028】
ストローク群生成部75は、筆跡管理情報記憶部73に記憶されたストロークと次のストロークとの時間間隔に基づいてストローク単位の筆跡情報をグループ化し、ストロークグループ(ストローク群)単位の筆跡情報として記憶する。このとき、媒体上のストロークの位置を電子文書上の位置に変換する処理も行う。本実施の形態では、電子文書が印刷された媒体における筆記がなされた位置に対応する電子文書における位置を示す第2の位置情報を取得する第2の位置情報取得手段の一例として、ストローク群生成部75を設けている。
【0029】
第1割り当て部76は、ストローク群生成部75により生成されたストローク群の位置と、解析結果記憶部740に記憶された文字列や基本図形の位置とに基づいて、ストローク群を設問番号に割り当てる。本実施の形態では、第1の位置情報によって示される位置と第2の位置情報によって示される位置との比較結果、及び、第1の構成情報によって示される構成要素と第2の構成情報によって示される構成要素との比較結果に基づいて、部分に筆記情報を関連付けるかどうかを決定する決定手段の機能のうち、前者の比較結果に基づく決定を行う機能の一例として、第1割り当て部76を設けている。
【0030】
第2割り当て部77は、ストローク群生成部75により生成されたストローク群から文字列や基本図形を抽出して、この抽出された文字列や基本図形を、解析結果記憶部740に記憶された文字列や基本図形と比較し、比較結果に基づいて、ストローク群を設問番号に割り当てる。本実施の形態では、筆記情報の構成要素を示す第2の構成情報を取得する第2の構成情報取得手段の一例として、また、筆記情報の構成要素を筆記情報から抽出する第2の抽出手段の一例として、第2割り当て部77を設けている。また、第1の位置情報によって示される位置と第2の位置情報によって示される位置との比較結果、及び、第1の構成情報によって示される構成要素と第2の構成情報によって示される構成要素との比較結果に基づいて、部分に筆記情報を関連付けるかどうかを決定する決定手段の機能のうち、後者の比較結果に基づく決定を行う機能の一例として、第2割り当て部77を設けている。
【0031】
ストローク群管理情報記憶部770は、ストローク群生成部75により生成され、第1割り当て部76及び第2割り当て部77により更新されるストローク群管理情報を記憶する。
【0032】
支援情報生成部78は、支援情報の表示が指示された際に、支援情報を生成する。この支援情報としては、例えば、各設問における思考過程を示すストローク群を時系列に並べた情報や、各設問に取り組んだ時間をグラフ化した情報等がある。
解答情報記憶部780は、支援情報生成部78が支援情報を生成する際に用いることがある解答情報を記憶する。ここで、解答情報とは、試験の問題に対する正しい思考過程や正解に関する情報である。
送信部79は、支援情報の表示が指示された際には、端末装置50に対して、支援情報生成部78が生成した支援情報を送信する。
【0033】
次いで、印刷文書を出力するときの動作について説明する。
図5は、このときの文書サーバ20及び識別情報サーバ30の動作を示したシーケンス図である。
文書サーバ20では、まず、受信部21が、電子文書の印刷要求を端末装置10から受信する(ステップ211)。この電子文書の印刷要求には、文書ID、ページ番号、印刷設定が含まれる。ここで、文書IDとしては、例えば、URL(Uniform Resource Locator)を用いるとよいが、電子文書を一意に特定することができるものであれば他の情報を用いてもよい。また、ページ番号は、電子文書のページの順番を表す数字等である。このページ番号は印刷設定に含めることもあるが、本実施の形態では、媒体に印刷される文書画像の元となる電子データを特定するものとして、印刷設定とは分けて説明する。更に、印刷設定は、部数、用紙サイズ、拡大縮小率、複数ページを1枚の媒体にまとめて出力する機能、余白等の設定を含む。
受信部21は、これらの情報を受信すると、識別情報取得部22に受け渡す。すると、識別情報取得部22は、受け渡された情報を送信部29に渡し、送信部29が、これらの情報を識別情報サーバ30に送信することで、識別情報の発行を要求する(ステップ212)。
【0034】
これにより、識別情報サーバ30では、受信部31が、文書ID、ページ番号、印刷設定を受信する(ステップ311)。そして、文書ID、ページ番号、印刷設定は媒体管理部32に渡され、媒体管理部32が、媒体管理情報記憶部33から未使用の識別情報を取り出す(ステップ312)。ここで、取り出す識別情報の数は、印刷設定に応じて決められる。つまり、基本的には、印刷するページ数に印刷部数を乗じて得られる数の識別情報が取り出される。但し、設定情報中に、複数ページを1枚の媒体にまとめて出力する機能の指定等がある場合は、それも考慮される。例えば、10ページの電子文書を2ページずつ1枚の媒体にまとめて5部印刷する場合は、25(=10÷2×5)個の識別情報が取り出される。
次に、媒体管理部32は、識別情報と文書IDとページ番号と印刷設定とを関連付けて媒体管理情報記憶部33に記憶する(ステップ313)。そして、ステップ312で発行された識別情報は送信部39に渡され、送信部39が、文書サーバ20に対し、識別情報を送信する(ステップ314)。
【0035】
これにより、文書サーバ20では、受信部21が識別情報を受信する(ステップ213)。そして、受信部21は、受信した識別情報を識別情報取得部22に受け渡す。
すると、文書サーバ20は、識別情報と位置情報とを表す符号画像を生成する(ステップ214)。この符号画像の生成は、具体的には、次のような処理により行われる。
即ち、まず、識別情報取得部22が、ステップ213で取得した識別情報を識別符号生成部25aに渡し、識別符号生成部25aが、識別情報を符号化することで識別符号を生成する。尚、識別情報の符号化の詳細については後述する。
また、位置符号生成部25bは、受信部21から印刷設定を受け取り、印刷設定に応じた範囲の位置情報を符号化することで位置符号を生成する。尚、位置情報の符号化の詳細についても後述する。
その後、符号配置部25cが、識別符号と位置符号とを予め定めたレイアウトに従って配置し、これを符号画像生成部25eが、パターン画像記憶部25dに記憶されたパターン画像を用いて画像化することで符号画像を生成する。
【0036】
また、文書サーバ20では、文書画像生成部26が、電子文書のページの文書画像を生成する(ステップ215)。その際、文書画像生成部26は、ステップ211で識別情報取得部22が取得した文書ID及びページ番号を受け取り、これに基づいて対象となる電子文書のページを図示しない記憶手段から読み出す。また、ステップ211で識別情報取得部22が取得した印刷設定を受け取り、これに基づいて文書画像を生成する。
そして、画像合成部27は、ステップ214で生成された符号画像と、ステップ215で生成された文書画像とを合成し、合成画像を生成する(ステップ216)。
その後、合成画像は送信部29に渡され、送信部29が、合成画像の印刷命令を画像形成装置40に送信する(ステップ217)。ここで、合成画像の印刷命令は、例えば、文書画像の印刷命令の列からなるPDL(Page Description Language)ファイルに対し、符号画像として印刷する内容をPDLコマンドとして設定したPDLの形式で送信される。
【0037】
これにより、画像形成装置40は、文書画像を例えばC(シアン)、M(マゼンタ)、Y(イエロー)のトナーを用いて媒体に印刷する。また、符号画像を例えばK(カーボンを含む黒)のトナー又は特殊トナーを用いて媒体に印刷する。
ここで、特殊トナーとしては、可視光領域(400nm〜700nm)における最大吸収率が7%以下であり、近赤外領域(800nm〜1000nm)における吸収率が30%以上の不可視トナーが例示される。ここで、「可視」及び「不可視」は、目視により認識できるかどうかとは関係しない。印刷文書における画像が可視光領域における特定の波長の吸収に起因する発色性の有無により認識できるかどうかで「可視」と「不可視」とを区別している。また、可視光領域における特定の波長の吸収に起因する発色性が若干あるが人間の目で認識し難いものも、「不可視」に含める。
【0038】
尚、ここでは、電子文書の画像に符号画像を合成して印刷することとしたが、白紙(ノートや付箋等)に符号画像を印刷する構成としてもよい。その場合は、ステップ211で受信する印刷要求に文書ID及びページ番号を含めないようにし、ステップ313で識別情報と文書ID、ページ番号、印刷設定との関連付けを行わないようにし、ステップ215における文書画像の生成は実行しないようにすればよい。
【0039】
また、本実施の形態では、文書サーバ20において、最後に、送信部29が、学習支援サーバ70に対し、印刷対象の電子文書のページの解析指示を送信する(ステップ218)。このとき、送信部29は、例えば、印刷対象の電子文書と共に、その電子文書の文書IDと、その電子文書の印刷対象のページのページ番号とを送信するとよい。
【0040】
次に、本実施の形態で生成される符号画像について説明する。
図6は、符号画像を構成する画像等の一例を示した図である。
まず、符号画像を構成する単位パターンについて説明する。
図6(a)は、単位パターンの一例を示したものである。
単位パターンとは、情報埋め込みの最小単位である。図では、黒塗りの領域と斜線の領域をドット配置可能な領域とし、その間にある白色の領域をドット配置不可能な領域としている。そして、ドット配置可能な領域のうち、黒塗りの領域にドットが配置され、斜線の領域にはドットが配置されていないことを示している。即ち、図は、ドットを配置可能な9箇所の中から選択した2箇所にドットを配置することで単位パターンを構成した例を示したものである。ここで、9箇所の中から2箇所を選択する組み合わせは36(=)通りなので、単位パターンは、36種類存在する。このうち、4種類の単位パターンは、同期パターンとして使用される。同期パターンとは、画像の回転を検出したり、識別符号及び位置符号の相対的な位置を特定したりするためのパターンである。特に、画像の回転を検出する必要があることから、4種類の同期パターンとしては、そのうちの1つの同期パターンを90度回転するとそのうちの別の同期パターンになるようなものが選ばれる。また、この4種類の単位パターンを除く32種類の単位パターンは、識別符号及び位置符号を表現する情報パターンとして使用され、5ビットの情報が表現される。
【0041】
ところで、図6(a)に示したドットは、あくまで情報表現のためのドットであり、画像を構成する最小の点を意味するドットとは必ずしも一致しない。本実施の形態において、情報表現のためのドット(図6(a)の最小の四角)は、600dpiにおける2ドット×2ドットの大きさを有している。600dpiにおける1ドットの大きさは0.0423mmなので、情報表現のためのドット(図6(a)の最小の四角)の一辺は、84.6μm(=0.0423mm×2)である。情報表現のためのドットは、大きくなればなるほど目に付きやすくなるため、小さいほうが好ましい。ところが、あまり小さくすると、プリンタで印刷できなくなってしまう。そこで、情報表現のためのドットの大きさとして、50μmより大きく100μmより小さい上記の値を採用している。但し、上記の値84.6μmは、あくまで計算上の数値であり、実際に印刷されたトナー像では100μm程度になる。尚、本明細書で「ドット」というときは、特に明示しない限り、画像を構成する最小の点を意味するドットではなく、情報表現のためのドットを指すものとする。
【0042】
次に、このような単位パターンから構成される符号ブロックについて説明する。
図6(b)に、符号ブロックのレイアウトの一例を示す。尚、ここでは、画像ではなく、パターン画像によって置き換えられる直前の符号配列で示している。即ち、図6(b)の最小の四角(以下、「単位ブロック」という)に、図6(a)のような単位パターン(36通りの単位パターンのいずれか)が配置され、その画像が媒体に形成されることになる。
図6(b)のレイアウトでは、符号ブロックの左上の1つの単位ブロックに、同期符号が配置されている。また、同期符号が配置された単位ブロックの右側の4つの単位ブロックにX位置符号が配置され、同期符号が配置された単位ブロックの下側の4つの単位ブロックにY位置符号が配置されている。更に、これらの位置符号が配置された単位ブロックに囲まれた16(=4×4)個の単位ブロックに識別符号が配置されている。
【0043】
ここで、識別情報の符号化について述べる。
識別情報を符号化する場合、識別情報を構成するビット列は、RS符号化を行うために複数のブロックに分割される。符号化には、いくつかの方法があるが、本実施の形態では、RS符号化が適している。RS符号は多値の符号法であり、この場合、単位ブロックで表現される値がRS符号の多値に対応するからである。例えば、1つの単位ブロックで5ビットの情報を表現する場合、60ビットの識別情報は、ブロック長が5ビットの12個のブロックに分割される。そして、2ブロックの誤りを訂正可能なRS符号を採用したとすると、符号長は16ブロックとなり、図6(b)の符号ブロックにおける識別符号が配置される単位ブロックに収まることになる。尚、符号化方式はRS符号に限定するものでなく、その他の符号化方式、例えば、BCH符号等を使用してもよい。
【0044】
次に、位置情報の符号化について述べる。
位置情報の符号化には、擬似乱数系列の一種であるM系列符号が使用される。ここで、M系列とは、ある長さのシフトレジスタとフィードバックによって生成される符号系列のうち、その周期が最長になる系列をいう。Kをシフトレジスタの段数とすると、M系列の系列長は2−1となる。このM系列から取り出した任意の連続したKビットは、同じM系列中の他の位置に現れない性質を持つ。そこで、この性質を利用して位置情報を符号化する。
ところで、本実施の形態では、符号化すべき位置情報の長さから、必要なM系列の次数を求め、M系列を生成している。しかしながら、符号化する位置情報の長さが予め分かっている場合は、M系列を毎回生成する必要はない。即ち、固定のM系列を予め生成しておき、それをメモリ等に格納しておけばよい。
例えば、系列長8191のM系列(K=13)を使用したとする。この場合、位置符号も5ビット単位で埋め込むため、系列長8191のM系列から5ビットずつ取り出してブロック化する。
【0045】
尚、本明細書では、説明を簡単にするために、識別情報と位置情報とは明確に区別して用いている。しかしながら、広範な位置情報を用意しておき、媒体ごとに異なる範囲から位置情報を切り出して埋め込み、位置情報の違いによって媒体を識別するという手法もある。そこで、このような手法においては、媒体を識別する機能が位置情報に備わっているものと見て、位置情報を識別情報としても考えるものとする。
【0046】
ここで、ステップ313で記憶される媒体管理情報の具体的な内容について説明する。
図7は、媒体管理情報の具体例を示した図である。
図示するように、媒体管理情報は、識別情報と、文書IDと、ページ番号と、印刷設定とを対応付けたものとなっている。
このうち、識別情報は、既に述べた通り、媒体を一意に識別するための情報である。
また、文書IDは、既に述べた通り、電子文書を一意に識別するための情報である。
更に、ページ番号は、既に述べた通り、電子文書のページを示す例えば数字である。
更にまた、印刷設定は、既に述べた通り、端末装置10で電子文書の印刷が要求された際に設定された用紙サイズ、拡大縮小率等の情報である。
【0047】
図には、文書ID「DocQ」の電子文書の1ページ目、2ページ目、3ページ目、4ページ目、5ページ目を、それぞれ、識別情報「000001」、「000002」、「000003」、「000004」、「000005」のA4サイズの媒体に拡縮率100%で印刷したことが示されている。ここで、文書ID「DocQ」で特定される電子文書は、例えば、試験の問題が記述された電子文書である。
また、図には、文書ID「DocA」の電子文書の1ページ目を、識別情報「000026」のA4サイズの媒体に拡縮率100%で印刷したことも示されている。ここで、文書ID「DocA」で特定される電子文書は、例えば、試験の解答が記述された電子文書である。
【0048】
次いで、ステップ218での解析指示の送信に応じた学習支援サーバ70の動作について説明する。
まず、学習支援サーバ70では、受信部71が、解析対象の電子文書、文書ID、印刷されたページのページ番号を受信し、電子文書解析部74が参照可能なメモリに格納する。そして、電子文書解析部74による電子文書のページの解析処理が開始する。
図8は、このときの電子文書解析部74の動作例を示したフローチャートである。
まず、電子文書解析部74は、メモリに格納された文書IDを取得する(ステップ741)。
次に、電子文書解析部74は、メモリに格納されたページ番号の中から1つのページ番号を取得する(ステップ742)。そして、この取得したページ番号で特定される電子文書のページから電子文書を構成する要素である文書要素を抽出する(ステップ743)。
【0049】
そして、電子文書解析部74は、抽出した文書要素がテキストであるか図形であるかを判定する(ステップ744)。尚、この判定は、例えば、文書要素に付加されたその種類を表す属性情報に基づいて行えばよい。
【0050】
まず、このステップで文書要素がテキストであると判定された場合について説明する。
この場合、電子文書解析部74は、ステップ743で抽出したテキストに対して、形態素解析を行う(ステップ745)。ここで、形態素解析の手法としては、例えば、最長一致法等の規則による解析手法や、確率的言語モデルによる解析手法が考えられるが、これらに限るものではなく、如何なる公知技術の手法を用いてもよい。また、日本語以外の分かち書きされる言語(英語等)については、空白によって形態素に分けてもよい。
次に、電子文書解析部74は、各形態素の座標を示す座標情報を生成する(ステップ746)。尚、この場合の座標情報としては、例えば、電子文書のページ内で各形態素が占める矩形領域の左上点及び右下点の座標を含むものを生成すればよい。
また、電子文書解析部74は、後述する支援情報の表示の際のストロークの文字認識の正答率を上げるため、文字認識用辞書における各形態素に対する尤度を高くする(ステップ747)。
【0051】
一方、ステップ744で文書要素が図形であると判定された場合について説明する。
この場合、電子文書解析部74は、ステップ743で抽出した図形に対して、ライン、多角形、円、円弧等の基本図形(プリミティブ)に分割する処理を行う(ステップ748)。即ち、文書要素が図形の場合においても、テキストの場合の形態素と同様の単位にする。
次に、電子文書解析部74は、各基本図形の座標を示す座標情報を生成する(ステップ749)。尚、この場合の座標情報としても、例えば、電子文書のページ内で各基本図形が占める矩形領域の左上点及び右下点の座標を含むものを生成すればよい。
【0052】
次いで、電子文書解析部74は、ステップ745での形態素解析によって得られた形態素の中から設問番号に関するキーワードを抽出し、このキーワードに基づいて、ステップ743で抽出した文書要素がどの設問番号の設問に属するかを決定する(ステップ750)。例えば、設問番号に関するキーワードとして「設問」というキーワードを用いるとする。この場合、通常は、「設問」という文字列に続く数字が設問番号を表すので、ステップ743で抽出した文書要素が「設問」というキーワードを含んでいれば、それに続く数字が、ステップ743で抽出した文書要素が属する設問番号を表すと判断する。尚、ステップ743で抽出した文書要素がテキストであっても「設問」というキーワードを含んでいない場合や、ステップ743で抽出した文書要素が図形である場合は、直前の文書要素に対して決まっている設問番号を引き継ぐようにする。
そして、電子文書解析部74は、ステップ741で取得した文書IDに関連付けて、ステップ746又はステップ749で生成した座標情報、ステップ743で抽出した文書要素、ステップ750で決定した設問番号を、解析結果記憶部740に記憶する(ステップ751)。
【0053】
その後、電子文書解析部74は、他のページ番号がメモリに格納されているか判定する(ステップ752)。そして、他のページ番号が格納されていれば、ステップ742〜751の処理を繰り返すが、他のページ番号が格納されていなければ、処理は終了する。
【0054】
ここで、電子文書解析部74による電子文書の解析について具体的に説明する。
図9は、印刷対象の電子文書のページの具体例を示した図である。この例では、電子文書のページとして、試験の問題を記述したページを示しており、このページは設問1と設問2を含んでいる。また、設問1は、文章だけでなく、設問を解く際に参照される図形も含んでいる。
【0055】
図10は、図9の電子文書のページの解析結果を示したものである。
図示するように、解析結果は、ページ番号と、座標情報と、文書要素と、設問番号とを対応付けたものとなっている。
ページ番号は、電子文書のページの順番を表す数字である。このページ番号は、ステップ742で取得される。
座標情報は、対応する文書要素のページ内の位置を、文書要素の左上点及び右下点の座標によって表した情報である。ハイフンの左側が左上点の座標であり、ハイフンの右側が右下点の座標である。尚、ここでは、電子文書のページ上で、横方向にX軸をとり、右方向をX軸の正方向とし、縦方向にY軸をとり、下方向をY軸の正方向としている。この座標情報は、ステップ746又はステップ749で生成される。
文書要素は、既に述べた通り、電子文書を構成する要素である。この文書要素は、ステップ743で取り出される。
【0056】
設問番号は、電子文書に記述された設問の順番を表す数値である。この設問番号は、ステップ750で決定される。このとき、1行目から4行目、11行目から15行目、17行目から18行目においては、それぞれの先頭に「設問」というキーワードが見つかるので、それに続く数字を設問番号としている。尚、13行目から14行目の「設問1」は、文書要素に途中に出現しているので、文書要素に対する設問番号とはせず、この文書要素に対する設問番号としては、11行目から12行目の「設問2」から判断した「2」を引き継いで設定している。また、6行目から10行目の文書要素は図形であり、「設問」というキーワードは見つからないので、それまでの文書要素から判断した「1」を引き継いで設問番号としている。
尚、この解析結果全体が、例えば、ステップ741で取得した文書IDに対応する記憶領域に記憶されることで、文書IDに関連付けられる。
【0057】
[印刷文書への筆記]
このようにして出力された印刷文書(例えば、試験の問題用紙や解答用紙)を用いて行われる試験では、受験者が、印刷文書(例えば、問題用紙)に解答に至るまでの考え方をメモしたり、印刷文書(例えば、解答用紙)に解答を記入したりすることがある。本実施の形態では、この印刷文書への筆記をデジタルペン60で行い、筆記の内容を電子化した筆跡情報は学習支援サーバ70に記憶される。即ち、印刷文書への筆記を行うときには、デジタルペン60及び学習支援サーバ70が中心となって動作するので、これらの構成について説明する。
【0058】
まず、デジタルペン60の構成について説明する。
図11は、デジタルペン60の構成例を示した図である。
図示するように、デジタルペン60は、ペン全体の動作を制御する制御回路61を備える。また、制御回路61は、読み取った符号画像を処理する画像処理部61aと、そこでの処理結果から識別情報及び位置情報を抽出するデータ処理部61bとを含む。
また、制御回路61には、デジタルペン60による筆記動作をペンチップ69に加わる圧力によって検出する圧力センサ62が接続されている。更に、媒体上に赤外光を照射する赤外LED63と、反射光を検知することによって符号画像を読み取る赤外CMOS64も接続されている。更にまた、識別情報及び位置情報を記憶するための情報メモリ65と、外部装置と通信するための通信回路66と、ペンを駆動するためのバッテリ67と、ペンの識別情報(ペンID)を記憶するペンIDメモリ68も接続されている。
【0059】
次に、このうち制御回路61において実現される機能構成について更に詳細に説明する。
図12は、制御回路61の機能構成例を示したブロック図である。尚、図では、制御回路61内の画像処理部61aとデータ処理部61bとに分けて、機能構成例を示している。
図示するように、画像処理部61aは、画像取得部611と、ドット配列生成部612とを備える。また、データ処理部61bは、符号配列生成部613と、識別情報取得部614と、位置情報取得部615と、筆跡情報生成部616とを備える。そして、更に、ペンID取得部617と、通信制御部619とを備える。
【0060】
画像取得部611は、赤外CMOS64が印刷文書から読み取った符号画像を取得する。また、必要に応じて、符号画像に含まれるノイズを除去する。
ドット配列生成部612は、符号画像におけるドットの位置を参照して、ドット配列を生成する。即ち、2次元の配列上で、例えば、ドットがある位置に「1」を、ドットがない位置に「0」を記憶することにより、画像として検出したドットをデジタルデータに置き換える。そして、この2次元の配列をドット配列として出力する。
【0061】
符号配列生成部613は、ドット配列上で、符号ブロック内の単位パターンに対応するブロックを検出する。具体的には、単位パターンが配置されるブロックと同じ形状及び大きさの枠をドット配列上で動かし、枠内のドット数が均等になる位置で枠を固定する。例えば、図6(a)の単位パターンを用いる場合であれば、3ドット×3ドットに対応する大きさの枠を動かし、枠内に含まれるドット数が2となる位置で枠を固定する。そして、その枠で区切られた各ブロック内のドット位置から定まる符号値を格納した符号配列を生成する。また、この符号配列が生成されると、予め定められた同期符号の符号値を検索することによって、同期符号の位置が特定される。
【0062】
識別情報取得部614は、符号配列から同期符号の位置を基準にして識別符号を検出する。そして、画像生成時にRS符号化処理で用いたパラメータを用いて識別符号を復号し、識別情報を取得する。
位置情報取得部615は、符号配列から同期符号の位置を基準にして位置符号を検出する。そして、位置符号からM系列の部分系列を取り出し、画像生成時に使用したM系列におけるこの部分系列の位置を参照し、この位置を同期符号によるオフセットで補正した値を位置情報として取得する。尚、オフセットで補正するのは、位置符号の間に同期符号が配置されているためである。
【0063】
筆跡情報生成部616は、位置情報取得部615が取得した位置情報を連結して筆跡情報を生成する。ここで、筆跡情報には、少なくともデジタルペン60のペン先の軌跡を電子化したデータが含まれるが、これ以外の情報を含んでもよい。ペン先の軌跡以外の情報としては、例えば、筆記した時にペンに設定されていた色の情報や、筆圧の情報等がある。
ペンID取得部617は、デジタルペン60の識別情報であるペンIDをペンIDメモリ68(図11参照)から取得する。
通信制御部619は、識別情報取得部614が取得した識別情報と、筆跡情報生成部616が生成した筆跡情報と、ペンID取得部617が取得したペンIDとを通信回路66に受け渡すことで、通信装置55への情報送信を実現する。また、学習支援サーバ70からの筆跡情報登録完了報告を受信した通信回路66から、この登録完了報告を受け取る。
【0064】
次に、デジタルペン60が筆跡情報を生成して学習支援サーバ70に登録する際の動作について説明する。
デジタルペン60では、まず、赤外LED63が媒体に対して赤外光を照射し、赤外CMOS64がその反射光を受光することにより、符号画像を読み取る。そして、画像取得部611がこの読み取った符号画像を取得する。そして、符号画像にノイズが含まれていれば、これを除去する。次に、ドット配列生成部612が、符号画像に含まれるドット位置をデジタルデータ化し、ドット配列を生成する。
【0065】
図13は、その後のデジタルペン60及び学習支援サーバ70の動作を示したシーケンス図である。
デジタルペン60は、識別情報と、筆跡情報と、ペンIDとを取得する(ステップ621)。具体的には、次のような処理を行う。即ち、まず、符号配列生成部613が、ドット配列からブロックを検出し、ブロックごとの符号値を格納した符号配列を生成する。そして、符号配列において、同期符号の位置を特定する。その後、識別情報取得部614が、同期符号の位置に基づいて識別符号を検出し、これを復号して識別情報を取得する。また、位置情報取得部615が、同期符号の位置に基づいて位置符号を検出し、これを復号して位置情報を取得する。そして、筆跡情報生成部616が、位置情報を連結して筆跡情報を生成する。更に、本実施の形態では、ペンID取得部617が、ペンIDメモリ68(図11参照)からペンIDを取得する。
【0066】
そして、通信制御部619がこれらの情報を通信回路66に受け渡し、通信回路66がこれらの情報を通信装置55及び端末装置50を介して学習支援サーバ70へ送信する(ステップ622)。
【0067】
これにより、学習支援サーバ70では、まず、受信部71が、識別情報、筆跡情報、ペンIDを受信し、筆跡管理部72に渡す(ステップ721)。
次に、筆跡管理部72は、筆跡情報をストローク単位に分割した情報であるストローク情報から、ストロークの開始時刻及び終了時刻を、筆記時間情報として取り出す(ステップ722)。そして、ストローク情報を一意に識別するストロークID、識別情報、ストローク情報、筆記時間情報を、ペンIDに関連付けて、筆跡管理情報記憶部73に記憶する(ステップ723)。
その後、筆跡情報登録完了報告が筆跡管理部72から送信部79へ渡され、送信部79が、筆跡情報登録完了報告を端末装置50及び通信装置55を介してデジタルペン60に送信する(ステップ724)。
【0068】
これにより、デジタルペン60では、通信回路66が筆跡情報登録完了報告を受信し、通信制御部619が通信回路66からこれを受け取る(ステップ623)。
【0069】
図14は、筆跡管理情報の具体例を示した図である。
図示するように、筆跡管理情報は、ストロークIDと、識別情報と、ストローク情報と、筆記時間情報とを対応付けたものとなっている。
ストロークIDは、既に述べた通り、ストローク情報を一意に識別するための情報である。
識別情報は、既に述べた通り、媒体を一意に識別するための情報である。
ストローク情報は、既に述べた通り、媒体に対する筆記内容を電子化した情報であり、1つのストロークに対応する情報である。尚、ここでは、ストロークをイメージデータとしてではなく、媒体上のペン先が位置した座標の集合として記憶しているが、ストローク情報をイメージデータとして記憶し、その開始点の座標のみを記憶するものでもよい。
筆記時間情報は、筆跡情報における各ストロークの開始時刻及び終了時刻を示す情報である。
【0070】
図には、例えば、ストロークID「S11」のストローク情報が、識別情報「000001」の媒体に対するストローク情報であって、媒体上の点の集合{(X11,Y11),(X12,Y12),(X13,Y13),・・・}として表され、時刻「T11」から時刻「T12」の間に書かれたものであることが示されている。
【0071】
[支援情報の表示]
試験の終了後に、このように記憶された受験者の筆跡情報を設問に対応付け、設問を解く際の思考の過程を示す筆跡情報を支援情報として端末装置50のディスプレイに表示したい場合がある。しかしながら、解答欄への記入時刻に基づいて筆跡情報を設問に対応付けたとすると、受験者がある設問の解答を解答欄に記入する前に別の設問に取り掛かった場合等において、筆跡情報を設問に正しく対応付けられないことがある。その結果、受験者の解答へ至る過程での記述がどの設問を解いている際になされたのかについて誤認識が発生し、この記述に基づいて採点が行われたとすると、受験者の意図しない記述を対象とした採点となってしまう。
そこで、本実施の形態では、筆跡情報の位置と設問の位置との比較結果に基づく筆跡情報と設問との対応付けを、筆跡情報に含まれる文字列や基本図形と設問に含まれる文字列や基本図形との比較結果に応じて修正するようにした。
【0072】
このような支援情報の表示を行うときには、端末装置50及び学習支援サーバ70が中心となって動作する。但し、端末装置50は、支援情報の表示指示を送信する機能と支援情報の表示を行う機能があればよく、学習支援サーバ70は、印刷文書の出力についての説明で述べたので、ここでの詳細な説明は省略する。
【0073】
次に、端末装置50からの要求に応じて学習支援サーバ70が端末装置50に支援情報を表示する際の動作について説明する。
まず、端末装置50は、支援情報の表示指示を学習支援サーバ70に送信する。ここで、支援情報の表示指示には、設問ごとに受験者の考え方を表す記述と正しい考え方を表す記述とを対応付けた対応情報を表示する指示や、設問ごとに解答を得るのに要した時間や解答を記入した時刻を表すグラフを表示する指示がある。
これにより、学習支援サーバ70では、受信部71が、支援情報の表示指示を受信し、これをストローク群生成部75に伝える。すると、ストローク群生成部75が、筆跡管理情報記憶部73に記憶された筆跡情報に含まれる各ストローク情報をグループ化して、ストローク群を生成する処理を行う。
【0074】
図15は、このときのストローク群生成部75の動作例を示したフローチャートである。
ストローク群生成部75は、まず、筆跡管理情報記憶部73に記憶された筆跡管理情報の1つのレコードを読み出す(ステップ761)。次に、更に別のレコードがあるかどうかを判定し(ステップ762)、あれば、そのレコードを読み出す(ステップ763)。そして、今回読み出したレコードにおけるストロークの開始時刻から、1つ前に読み出したレコードにおけるストロークの終了時刻を減算して得られた差分ΔTが、別個の記述と判断される筆記時刻の間隔である閾値Thを超えているかどうかを判定する(ステップ764)。
【0075】
その結果、差分ΔTが閾値Thを超えていないと判定された場合、ステップ762へ戻る。即ち、ストローク群生成部75は、更に別のレコードがあるかどうかを判定し(ステップ762)、あれば、そのレコードを読み出し(ステップ763)、再び、差分ΔTが閾値Thを超えているかどうかを判定する(ステップ764)。
ストローク群生成部75は、このようなレコードの読出しを差分ΔTが閾値Thを超えていると判定されるまで繰り返す。そして、差分ΔTが閾値Thを超えていると判定された場合、最初にレコードを読み出してから又は前回差分ΔTが閾値Thを超えていると判定されてから読み出したレコードにおけるストローク情報をグループ化してストローク群を生成する(ステップ765)。
【0076】
その後、ストローク群生成部75は、ストローク群IDと、ストロークIDと、ページ番号と、座標情報と、筆記時間情報とを対応付けたストローク群管理情報を、文書IDに関連付けて、ストローク群管理情報記憶部770に記憶する(ステップ766)。
ここで、ストローク群IDは、ストローク群を一意に識別するための情報であり、ストローク群生成部75がストローク群管理情報を記憶するに当たってストローク群に付与したものである。
また、ストロークIDとしては、グループ化されたレコードにおけるストロークIDを記憶する。
【0077】
更に、ページ番号及び座標情報としては、識別情報に基づいて識別情報サーバ30に問い合わせて得られた情報を記憶すればよい。即ち、ストローク群生成部75が識別情報を送信部79に渡すと、送信部79が識別情報を識別情報サーバ30に送信する。これにより、識別情報サーバ30では、受信部31が識別情報を受信し、媒体管理部32が媒体管理情報(図7参照)からこの識別情報に対応する文書ID、ページ番号、印刷設定を取得し、送信部39がこれらの情報を学習支援サーバ70に返す。すると、学習支援サーバ70では、受信部71が、文書ID、ページ番号、印刷設定を受信し、ストローク群生成部75がこのページ番号を記憶する。また、ストローク群生成部75は、印刷設定に基づいて座標情報を算出し、これを記憶する。例えば、電子文書の2ページを媒体の1ページに印刷するという印刷設定が得られた場合、その印刷設定に応じた座標変換を行うことにより、座標情報が算出される。
更にまた、筆記時間情報としては、グループ化された最初のレコードにおける開始時刻から最後のレコードにおける終了時刻までの時間を記憶する。
尚、このストローク群管理情報全体が、例えば、識別情報サーバ30から得た文書IDに対応する記憶領域に記憶されることで、文書IDに関連付けられる。
【0078】
また、ステップ762で、更に別のレコードがないと判定された場合は、処理対象のストロークはないので、最初にレコードを読み出してから又は前回差分ΔTが閾値Thを超えていると判定されてから読み出したレコードにおけるストローク情報をグループ化してストローク群を生成する(ステップ767)。
その後、ストローク群生成部75は、ストローク群IDと、ストロークIDと、ページ番号と、座標情報と、筆記時間情報とを対応付けたストローク群管理情報を、文書IDに関連付けて、ストローク群管理情報記憶部770に記憶する(ステップ768)。尚、ストローク群ID、ストロークID、ページ番号、座標情報、筆記時間情報の取得方法については既に述べたので、ここでの詳しい説明は省略する。
【0079】
図16は、このようなストロークのグループ化を模式的に示した図である。
図示するように、時刻順にストロークを走査し、ストロークの終了時刻と次のストロークの開始時刻との差分ΔTが閾値Thを超えていれば、そこまでを1つのストローク群とする。この例では、ストロークID「S11」〜「S15」のストロークがグループ化されてストローク群ID「G01」のストローク群が構成され、ストロークID「S21」〜「S24」のストロークがグループ化されてストローク群ID「G02」のストローク群が構成されている。つまり、ストロークID「S11」〜「S15」における各ストロークの終了時刻とそれに続くストロークの開始時刻との差分ΔT、及び、ストロークID「S21」〜「S24」における各ストロークの終了時刻とそれに続くストロークの開始時刻との差分ΔTは、全て閾値Th以下である。これに対し、ストロークID「S15」のストロークの終了時刻「T52」とそれに続くストロークID「S21」のストロークの開始時刻「T61」との差分ΔTは閾値Thを超えているので、ストローク群ID「G01」のストローク群とストローク群ID「G02」のストローク群とに分けられている。
【0080】
図17は、ストローク群管理情報の具体例を示した図である。
図示するように、ストローク群管理情報は、ストローク群IDと、ストロークIDと、ページ番号と、座標情報と、筆記時間情報と、設問番号とを対応付けたものとなっている。
ストローク群IDは、既に述べた通り、ストローク群を一意に識別するための情報である。
ストロークIDは、対応するストローク群を構成するストロークのストロークIDである。
ページ番号は、対応するストローク群が記述された媒体に対応する電子文書のページのページ番号である。
座標情報は、対応するストローク群が記述された媒体上の座標に対応する電子文書のページ内の座標を表す情報である。
設問番号は、対応するストローク群が割り当てられた設問の番号である。
【0081】
図には、例えば、ストローク群ID「G01」のストローク群が、ストロークID「S11」、「S12」、「S13」等のストロークをグループ化したものであり、1ページ目の座標(22,13)と座標(34,16)とで規定される領域に、10時5分から10時25分に亘って記述されたことが示されている。尚、設問番号については、この時点ではまだ割り当てが行われていないので、空白になっている。
【0082】
図18は、このようなストローク群管理情報で管理されるストローク群のうち1ページ目におけるストローク群を、図9の電子文書を印刷した問題用紙上に示したものである。
図示するように、問題用紙の1ページ目においては、設問1の右側にストローク群ID「G01」のストローク群が記述され、設問2の下側にストローク群ID「G03」のストローク群が記述され、設問1の上側にストローク群ID「G08」のストローク群が記述されている。尚、これらのストローク群は、図17から明らかなように、ストローク群ID「G01」のストローク群、ストローク群ID「G03」のストローク群、ストローク群ID「G08」のストローク群の順に記述されたものである。
【0083】
次いで、第1割り当て部76が、設問の位置とストローク群の位置との比較結果に基づいて、ストローク群を設問に割り当てる。
図19は、このときの第1割り当て部76の動作例を示したフローチャートである。
第1割り当て部76は、まず、ストローク群管理情報記憶部770に記憶されたストローク群管理情報から1つのレコードを読み出す(ステップ771)。
次に、第1割り当て部76は、同じページ上で、この読み出したレコードにおけるストローク群よりも上に設問番号が存在するかどうかを判定する(ステップ772)。具体的には、解析結果記憶部740に記憶された解析結果のうち設問番号を表すレコードを参照する。そして、その中に、ステップ771で読み出したレコードにおけるページ番号と同じページ番号を含み、かつ、ステップ771で読み出したレコードにおける左上点のY座標よりも小さな左上点のY座標を含むレコードが存在するかどうかを判定する。
【0084】
その結果、同じページ上で、ステップ771で読み出したレコードにおけるストローク群よりも上に設問番号が存在すると判定された場合は、その読み出したレコードに対し、ステップ772で見つかった設問の設問番号を設定して、ストローク群管理情報記憶部770に書き戻す(ステップ773)。
一方、同じページ上で、ステップ771で読み出したレコードにおけるストローク群よりも上に設問番号が存在しないと判定された場合は、前ページがあるかどうかを判定する(ステップ774)。そして、前ページがあれば、その読み出したレコードに対し、前ページの最も下の設問の設問番号を設定して、ストローク群管理情報記憶部770に書き戻す(ステップ775)。具体的には、解析結果記憶部740から前ページのレコードを検索し、ページの下から探索して最初に見つかった設問番号(右下点のY座標が最も大きいレコードにおける設問番号)を設定する。また、前ページがなければ、ステップ771で読み出したレコードに、最初の設問の設問番号(設問1)を設定し、ストローク群管理情報記憶部770に書き戻す(ステップ776)。つまり、単独ページ又は最初のページの場合には、最初の設問番号(設問1)に割り当てる。
【0085】
その後、第1割り当て部76は、ストローク群管理情報記憶部770に他のレコードがあるかどうかを判定する(ステップ777)。そして、他のレコードがあれば、ステップ771〜776の処理を繰り返すが、他のレコードがなければ、処理は終了する。
【0086】
図20に、このときのストローク群管理情報について示す。
図では、例えば、ストローク群ID「G01」のストローク群は、設問1に割り当てられている。この場合、ストローク群の左上点のY座標は「13」であり、図10に示したように、設問1の左上点のY座標は「4」なので、ステップ772で「Yes」と判定され、設問1に割り当てられる。
また、ストローク群ID「G03」のストローク群は、設問2に割り当てられている。この場合、ストローク群の左上点のY座標は「38」であり、図10に示したように、設問2の左上点のY座標は「30」なので、ステップ772で「Yes」となり、設問2に割り当てられる。
更に、ストローク群ID「G08」のストローク群は、設問1に割り当てられている。この場合、ストローク群の左上点のY座標は「1」であり、図10に示したように、左上点のY座標がこれよりも小さい設問番号はないので、ステップ772で「No」となり、前ページがないので、ステップ774でも「No」となり、設問1に割り当てられる。
【0087】
このように設問の位置とストローク群の位置との比較結果に基づいてストローク群を設問に割り当てた後、更に、第2割り当て部77が、設問に含まれる文書要素とストローク群に含まれる文書要素との比較結果に基づいて、設問に対するストローク群の割り当てを修正する。
図21は、このときの第2割り当て部77の動作例を示したフローチャートである。
第2割り当て部77は、まず、ストローク群管理情報記憶部770に記憶されたストローク群管理情報から1つのレコードを読み出す(ステップ781)。
次に、第2割り当て部77は、この読み出したレコードにおけるストローク群がテキストを主体としたものか図形を主体としたものかを判定する(ステップ782)。この判定は、例えば、通常の筆記における平均ストローク長よりも極端に長いストロークがストローク群内に存在するかどうか、或いは、他のストローク群における平均ストローク長よりも極端に長いストロークがストローク群内に存在するかどうか等を調べることによって行うとよい。
【0088】
その結果、ストローク群がテキストを主体としたものと判定された場合、例えば、極端に長いストロークが存在しない場合、第2割り当て部77は、ストローク群に対して文字認識を行い、文字コードで表わされる文字列を取得する(ステップ783)。尚、この文字認識においては、図8のステップ747で尤度が更新された文字認識用辞書が用いられる。
一方、ストローク群が図形を主体としたものと判定された場合、例えば、極端に長いストロークが存在する場合、第2割り当て部77は、ストローク群から基本図形を取得する(ステップ784)。
次に、図10の解析結果のレコードのうち、ステップ781で読み出したレコードにおける設問番号を含み、かつ、ステップ783で取得した文字列又はステップ784で取得した基本図形を含むレコードを探し、そのレコードの数を求める(ステップ785)。尚、この場合、レコードが文字列又は基本図形を含むかどうかは、文字列の場合には、文字コードで比較し、図形の場合には、パターンマッチングで比較することが考えられる。
【0089】
そして、第2割り当て部77は、ステップ785で求めたレコードの数が、予め定めた基準値を超えているかどうかを判定する(ステップ786)。
ここで、レコード数が基準値を超えていないと判定されたとする。この場合は、設問の位置とストローク群の位置との比較結果に基づいて決定したストローク群の設問への割り当てが誤っている可能性が高い場合である。従って、第2割り当て部77は、ステップ781で読み出したレコードに含まれる設問番号の前後の設問番号に着目し、この設問番号を含み、かつ、ステップ783で取得した文字列又はステップ784で取得した基本図形を含むレコードを探し、そのレコードの数を求める(ステップ787)。ここで、新たに着目する前後の設問は、隣接する他の部分の一例である。尚、前の設問に先に着目するか、後の設問に先に着目するかは、予めルールとして設定しておけばよい。
【0090】
その後、第2割り当て部77は、ステップ787で求めたレコードの数が、予め定めた基準値を超えているかどうかを判定する(ステップ788)。
その結果、レコード数が基準値を超えていないと判定されれば、ステップ787へ戻り、第2割り当て部77は、レコード数が基準値を超えていると判定されるまでステップ787〜788の処理を繰り返す。そして、レコード数が基準値を超えていると判定されると、ステップ781で読み出したレコードに設定された設問番号を、今回着目している設問番号に変更する(ステップ789)。
【0091】
一方、ステップ786でレコード数が基準値を超えていると判定されたとする。この場合は、設問の位置とストローク群の位置との比較結果に基づいて決定したストローク群の設問への割り当てが正しい可能性が高い場合である。従って、第2割り当て部77は、ステップ781で読み込んだレコードに設定された設問番号を変更せずに、次の処理に移る。
【0092】
その後、第2割り当て部77は、ストローク群管理情報記憶部770に他のレコードがあるかどうかを判定する(ステップ790)。そして、他のレコードがあれば、ステップ781〜789の処理を繰り返すが、他のレコードがなければ、処理は終了する。
【0093】
尚、この動作例では、全ての設問についてステップ788で「No」となる場合については想定しなかった。しかしながら、受験者の記述内容や、文字認識の精度によっては、このような場合が生ずることも考えられる。そのような場合は、ステップ785で求めたレコード数、及び、ステップ787で求めたレコード数のうち、最も多いレコード数が得られたときに着目した設問番号に割り当てればよい。
【0094】
図22に、このときのストローク群管理情報について示す。
図21では、ストローク群ID「G08」のストローク群が設問1に割り当てられていたが、図22では、設問2に割り当てが変更されている。これは、ストローク群ID「G08」のストローク群内の文字列又は図形が、設問1内の文字列又は図形と予め定めた割合以上で一致せず、設問2内の文字列又は図形と予め定めた割合以上で一致したからである。このことから、受験者は、設問2を解くためにストローク群ID「G03」のストローク群を記述していたが、その後、別のページの設問に移り、再び1ページ目に戻ってきてページの上の余白に設問2を解くための記述を行ったと推測される。
【0095】
このようにストローク群の設問への割り当てが修正されると、次に、支援情報生成部78が、この修正後のストローク群管理情報に基づいて、支援情報を生成する。そして、支援情報は、送信部79に渡され、送信部79によって端末装置50に送信され、端末装置50にてディスプレイに表示される。
ここで、支援情報としては、設問ごとに受験者の考え方を表す記述と正しい考え方を表す記述とを対応付けた対応情報や、設問ごとに解答を得るのに要した時間や解答を記入した時刻を表すグラフが考えられる。
そこで、前者の支援情報を第1の支援情報、後者の支援情報を第2の支援情報として、その生成方法を説明する。
【0096】
まず、第1の支援情報の生成方法について説明する。
この場合、支援情報生成部78は、ストローク群管理情報記憶部770に記憶されたストローク群管理情報から、設問番号をキーとして、1つ以上のレコードを取り出し、筆記時間情報に基づいて時系列に並べる。そして、筆跡管理情報記憶部73に記憶された筆跡管理情報から、各レコードに対応するストローク情報を読み出し、これらを時系列に並べて設問番号に関連付ける。また、設問番号に対する正しい考え方の記述を解答情報記憶部から読み出し、これも設問番号に関連付ける。その後、設問番号と、これに関連付けられ時系列に並べられたストローク情報と、これに関連付けられた解答情報との対応情報を、支援情報として生成する。
【0097】
図23は、このようにして生成され、端末装置50のディスプレイに表示された第1の支援情報の例である。この図は、設問3に対する受験者の考え方と正しい考え方を比較表示したものである。
【0098】
次に、第2の支援情報の生成方法について説明する。
この場合、支援情報生成部78は、ストローク群管理情報記憶部770に記憶されたストローク群管理情報から、設問番号をキーとして、1つ以上のレコードを取り出し、筆記時間情報を時系列に並べる。そして、図7の文書ID「DocA」の電子文書が印刷された印刷文書(解答用紙)に対する筆跡情報から得られた各設問に対する解答記入時刻を取得する。その後、設問番号と、これに関連付けられ時系列に並べられた筆記時間情報と、これに関連付けられた解答記入時刻情報とを示すグラフを、支援情報として生成する。
【0099】
図24は、このようにして生成され、端末装置50のディスプレイに表示された第2の支援情報の例である。この図では、受験者の設問ごとの時間配分が示されている。また、黒塗りの逆三角形によって、解答記入時刻も示されている。尚、斜線ハッチングの帯は、解答欄記入前に記述した時間帯を示しており、網掛けの帯は、解答欄記入後に記述した時間帯を示している。
【0100】
尚、本実施の形態では、筆跡情報の位置と設問の位置とを電子文書上で比較したが、これには限らない。これらの位置を媒体上で比較するようにしてもよい。この場合は、まず、電子文書解析部74が、図8のステップ742でページ番号を取得する際に、識別情報サーバ30の媒体管理情報記憶部33を参照し、識別情報を取得する。そして、ステップ746及びステップ749で座標情報を生成する際に、識別情報サーバ30の媒体管理情報記憶部33を参照し、印刷設定を考慮した媒体上の座標情報を生成する。ここで、電子文書解析部74は、電子文書が印刷された媒体における電子文書を構成する部分が印刷された位置を示す第1の位置情報を取得する第1の位置情報取得手段の一例である。また、ストローク群生成部75が、図15のステップ766及びステップ768でストローク群管理情報を記憶する際に、識別情報をページ番号に置き換えたり、媒体上の座標情報を電子文書上の座標情報に置き換えたりしないようにする。
【0101】
また、本実施の形態では、設問が筆跡情報よりも上にある場合、設問が筆跡情報よりも上になければ前のページにある場合等に、筆跡情報を設問に割り当てるようにしたが、筆跡情報を設問に割り当てるための位置関係に関する条件はこれに限らない。例えば、電子文書を特殊なレイアウトで媒体に印刷し、筆跡情報の位置と設問の位置とを媒体上で比較する場合、この特殊なレイアウトを考慮した位置関係に関する条件を決めておく必要がある。つまり、筆跡情報の位置と設問の位置とが予め定めた位置関係にあれば、筆跡情報を設問に割り当てる、というものでよい。
【0102】
更に、本実施の形態では、筆跡情報を設問に割り当てることが意味を持つ学習支援システムを想定したが、これに限るものではない。電子文書が複数の部分に分けられ、筆跡情報をその複数の部分の何れかに割り当てることが意味を持つシステムであれば、如何なるシステムにも本発明は適用可能である。即ち、本実施の形態における設問の領域は、電子文書を構成する部分の一例である。
【0103】
ところで、本実施の形態では、デジタルペン60が筆跡情報を生成し、学習支援サーバ70が筆跡情報を管理し、端末装置50が支援情報の表示を要求し、学習支援サーバ70が筆跡情報を設問に関連付けて支援情報を生成するようにした。しかしながら、これらの処理を如何なる装置で行うかについては種々のバリエーションが考えられる。例えば、筆跡情報の生成は、デジタルペン60から送られた位置情報に基づいて端末装置50又は学習支援サーバ70が行ってもよいし、筆跡情報の管理は、端末装置50が行ってもよい。
そこで、これらの処理をコンピュータ90で行うものとして、コンピュータ90のハードウェア構成について説明する。
【0104】
図25は、コンピュータ90のハードウェア構成を示した図である。
図示するように、コンピュータ90は、演算手段であるCPU(Central Processing Unit)91と、記憶手段であるメインメモリ92及び磁気ディスク装置(HDD:Hard Disk Drive)93とを備える。ここで、CPU91は、OS(Operating System)やアプリケーション等の各種ソフトウェアを実行し、上述した各処理部を実現する。また、メインメモリ92は、各種ソフトウェアやその実行に用いるデータ等を記憶し、磁気ディスク装置93は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶し、これらの一方又は両方が上述した各記憶部を実現する。
更に、コンピュータ90は、外部との通信を行うための通信I/F94と、ビデオメモリやディスプレイ等からなる表示機構95と、キーボードやマウス等の入力デバイス96とを備える。
【0105】
尚、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、CD−ROM等の記録媒体に格納して提供することも可能である。
【符号の説明】
【0106】
10,50…端末装置、20…文書サーバ、30…識別情報サーバ、40…画像形成装置、60…デジタルペン、70…学習支援サーバ、80…ネットワーク

【特許請求の範囲】
【請求項1】
電子文書を構成する部分の当該電子文書における位置を示す第1の位置情報を取得する第1の位置情報取得手段と、
前記部分の構成要素を示す第1の構成情報を取得する第1の構成情報取得手段と、
前記電子文書が印刷された媒体における筆記がなされた位置に対応する当該電子文書における位置を示す第2の位置情報を取得する第2の位置情報取得手段と、
前記筆記を電子化した筆記情報の構成要素を示す第2の構成情報を取得する第2の構成情報取得手段と、
前記第1の位置情報によって示される位置と前記第2の位置情報によって示される位置との比較結果、及び、前記第1の構成情報によって示される構成要素と前記第2の構成情報によって示される構成要素との比較結果に基づいて、前記部分に前記筆記情報を関連付けるかどうかを決定する決定手段と
を備えたことを特徴とする筆記情報処理装置。
【請求項2】
前記決定手段は、前記第1の位置情報によって示される位置と前記第2の位置情報によって示される位置との比較結果よりも、前記第1の構成情報によって示される構成要素と前記第2の構成情報によって示される要素構成との比較結果を優先させて、前記部分に前記筆記情報を関連付けるかどうかを決定することを特徴とする請求項1に記載の筆記情報処理装置。
【請求項3】
前記決定手段は、前記第1の位置情報によって示される位置と前記第2の位置情報によって示される位置とが予め定めた位置関係にあれば、前記部分に前記筆記情報を関連付けるとの決定を行い、前記第1の構成情報によって示される構成要素と前記第2の構成情報によって示される構成要素とが整合していれば、当該決定を確定させることを特徴とする請求項1又は2に記載の筆記情報処理装置。
【請求項4】
前記決定手段は、前記第1の位置情報によって示される位置と前記第2の位置情報によって示される位置とが予め定めた位置関係にあれば、前記部分に前記筆記情報を関連付けるとの決定を行い、前記第1の構成情報によって示される構成要素と前記第2の構成情報によって示される構成要素とが整合していなければ、当該決定の修正を行うことを特徴とする請求項1又は2に記載の筆記情報処理装置。
【請求項5】
前記決定手段は、前記部分に隣接する他の部分の構成要素と前記第2の構成情報によって示される構成要素との比較結果に基づいて、前記修正を行うことを特徴とする請求項4に記載の筆記情報処理装置。
【請求項6】
前記決定手段は、前記第1の構成情報によって示される構成要素と前記第2の構成情報によって示される構成要素との比較結果を、何れかの構成要素が文字である場合には、当該文字を文字認識して得られた文字コードを比較することにより取得することを特徴とする請求項1乃至5の何れかに記載の筆記情報処理装置。
【請求項7】
電子文書が印刷された媒体における当該電子文書を構成する部分が印刷された位置を示す第1の位置情報を取得する第1の位置情報取得手段と、
前記部分の構成要素を示す第1の構成情報を取得する第1の構成情報取得手段と、
前記媒体における筆記がなされた位置を示す第2の位置情報を取得する第2の位置情報取得手段と、
前記筆記を電子化した筆記情報の構成要素を示す第2の構成情報を取得する第2の構成情報取得手段と、
前記第1の位置情報によって示される位置と前記第2の位置情報によって示される位置との比較結果、及び、前記第1の構成情報によって示される構成要素と前記第2の構成情報によって示される構成要素との比較結果に基づいて、前記部分に前記筆記情報を関連付けるかどうかを決定する決定手段と
を備えたことを特徴とする筆記情報処理装置。
【請求項8】
電子文書を構成する部分の当該電子文書における位置を示す第1の位置情報を取得する第1の取得手段と、
前記部分の構成要素を当該部分から抽出する第1の抽出手段と、
前記電子文書が印刷された媒体における筆記がなされた位置を示す第2の位置情報を取得する第2の取得手段と、
前記筆記を電子化した筆記情報の構成要素を当該筆記情報から抽出する第2の抽出手段と、
前記第1の位置情報によって示される位置と前記第2の位置情報によって示される位置との比較結果、及び、前記第1の抽出手段により抽出された構成要素と前記第2の抽出手段により抽出された構成要素との比較結果に基づいて、前記部分に前記筆記情報を関連付けるかどうかを決定する決定手段と
を備えたことを特徴とする筆記情報処理システム。
【請求項9】
コンピュータに、
電子文書を構成する部分の当該電子文書における位置を示す第1の位置情報を取得する機能と、
前記部分の構成要素を示す第1の構成情報を取得する機能と、
前記電子文書が印刷された媒体における筆記がなされた位置に対応する当該電子文書における位置を示す第2の位置情報を取得する機能と、
前記筆記を電子化した筆記情報の構成要素を示す第2の構成情報を取得する機能と、
前記第1の位置情報によって示される位置と前記第2の位置情報によって示される位置との比較結果、及び、前記第1の構成情報によって示される構成要素と前記第2の構成情報によって示される構成要素との比較結果に基づいて、前記部分に前記筆記情報を関連付けるかどうかを決定する機能と
を実現させるためのプログラム。
【請求項10】
コンピュータに、
電子文書が印刷された媒体における当該電子文書を構成する部分が印刷された位置を示す第1の位置情報を取得する機能と、
前記部分の構成要素を示す第1の構成情報を取得する機能と、
前記媒体における筆記がなされた位置を示す第2の位置情報を取得する機能と、
前記筆記を電子化した筆記情報の構成要素を示す第2の構成情報を取得する機能と、
前記第1の位置情報によって示される位置と前記第2の位置情報によって示される位置との比較結果、及び、前記第1の構成情報によって示される構成要素と前記第2の構成情報によって示される構成要素との比較結果に基づいて、前記部分に前記筆記情報を関連付けるかどうかを決定する機能と
を実現させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate


【公開番号】特開2011−48491(P2011−48491A)
【公開日】平成23年3月10日(2011.3.10)
【国際特許分類】
【出願番号】特願2009−194698(P2009−194698)
【出願日】平成21年8月25日(2009.8.25)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】