説明

入力修正方法、追記情報処理方法、追記情報処理装置、およびプログラム

【課題】手書き入力情報に基づいて自動データ処理を行なうシステムにおいて、手書き入力情報の認識効率をより確実かつ容易に向上できるようにする。
【解決手段】手書き入力情報に対応する理想的な基準情報のみを改善方法として提示するのではなく、手書き入力情報を、どう記入すれば認識処理時の認識性能が向上するかを記入者が判断し得るような、より具体的な修正手法を改善態様情報として提示する。たとえば、手書き入力情報と認識処理時の画像変形処理結果とを並べて提示する。理想の基準情報と難認識情報とについて、特徴量の組合せから基準情報に対する認識処理の信頼度を求めて、信頼度の大小を基準情報からの距離に対応させて、対応する距離の位置に難認識情報を配置して提示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力修正方法、並びにこの入力修正方法を適用した追記情報処理方法、追記情報処理装置、およびプログラムに関する。より詳細には、たとえば、文書に手書きで追加記入された付加情報(追記情報やアノテーションとも称する)を、文書本体から分離し、文書本体と関わりを持つ様々な情報処理に使用する際に利用される、入力された付加情報に対する修正の仕組みに関する。
【背景技術】
【0002】
情報処理技術の進歩の著しい今日、文書に関する様々な処理を自動処理する仕組みがある。たとえば、予め所定の情報が記載されている文書原本にさらに別の付加情報を手書きで追記し、その付加情報の追記された追記済文書を処理対象として、手書きで追記された付加情報に基づいて所定のデータ処理を自動的に実行する仕組みがある。
【0003】
たとえば、定型伝票(いわゆる帳票)に手書きで情報を記入して、その記入された情報を処理対象とする自動帳票処理の仕組み(たとえば特許文献1,2を参照)や、日付や予定記入欄が用意された主に手帳やメモなどに手書きで予定を記入し、その記入された予定を電子データ化する個人情報管理(特にスケジュール管理ともいう)の仕組み(特許文献3を参照)もある。
【0004】
また、学校や学習塾などの教育現場においては、生徒や受験者による解答が記入された答案用紙に採点官が採点した結果の用紙(教育用教材)を処理対象として、自動採点集計処理を行なう仕組みも考えられている(特許文献4を参照)。
【0005】
【特許文献1】特開平5−342239号公報
【特許文献2】特開平6−274156号公報
【特許文献3】特開平5−216932号公報
【特許文献4】特開平11−31046号公報
【0006】
たとえば、特許文献1には、表の種別および表中の各データの行方向の位置並びに列方向の位置を指定するための識別マークを付与して表データを識別マーク付きデータ表帳票として印刷するようにし、データ表帳票に付されている認識マークをマーク読取手段によって読み取らせることで、識別データから帳票を特定して該当する表データを表示手段に表示するようにし、かつ該当する箇所を修正可能な状態に表示することで、少ない作業量で効率よくデータ修正および照合を行なうことができるようにした仕組みが提案されている。
【0007】
また、特許文献2には、出力原稿をイメージデータに変換し、変換されたイメージデータを表示し、表示されたイメージ上にフォーム規定位置座標を指示し、指示されたフォーム規定位置座標に基づいてフォーム図形データを導出し、導出されたフォーム図形データに基づいてフォームを表示部に表示されているイメージデータに重ね合わせ表示する構成とすることで、所望の出力原稿に対するフォームを容易に作成できるようにした仕組みが提案されている。
【0008】
また、特許文献3には、個人情報管理用の仕組みとして、書き込みの施された手帳などの紙面をスキャナより入力し、既知の方法により文字や枠線を検出し、検出した文字や枠線の配置を予め記憶された手帳の書式の知識と照合し、各記載項目の属性を表すデータを生成する仕組みが提案されている。
【0009】
手帳やメモなどに手書きで記入した情報(本例では手帳に手書きで入力した予定の記載内容)が自動的に電子データに変換され、各記載項目を生成された属性に対応付けて切り換えてデータベースに登録することができるので、利用者がある書式の出力を要求した場合には、予め記憶された出力の書式を参照することにより、データベースの内容を紙上の各内容に対応した場所に印刷するなどができ便利である。
【0010】
また、特許文献4には、答案用紙の手書き記入欄をタブレット上の入力域として定義するととともに、集計対象の入力域を識別可能に定義する書式データを記憶装置に記憶しておき、タブレットに答案用紙が重ね合せられた状態で、手書き記入欄に記入された情報をタブレットの入力域に入力された筆記データとして取り込んで文字認識することにより、採点などの記入作業を行なった後のキー入力などによるデータ入力を省力化する仕組みが提案されている。
【0011】
一方、手書きで入力された付加情報に基づいてデータ処理を実行するに当たっては、入力された手書き情報(文字や図形)を如何様にして認識するかが問題となり、このような手書き情報の自動認識の仕組みとしては、様々なものが考えられている。
【0012】
たとえば、手書き文字を認識する仕組みとしては、先ず、手書き入力された文字の特徴を表す入力文字情報を抽出し、入力文字情報と予め備えられる基準文字情報とを比較して、基準文字情報の入力文字情報に対する類似度の高い順番に候補文字列を作成する仕組みが考えられる。
【0013】
また、このような手書き文字認識の仕組みとしては、記入者(オペレータ)に文字の形状などを学習させて、文字認識率を向上するようにした仕組みも考えられている(たとえば特許文献5を参照)。
【0014】
【特許文献5】特開平9−223191号公報
【0015】
この特許文献5に記載の仕組みでは、第1候補文字が所望の文字でなかったときに他の文字が選択されると、選択文字の候補文字詳細情報を、たとえば手書き入力文字に重ねるという条件で第1表示面に表示させるなど予め設定された条件で所定の表示面に表示する仕組みが提案されている。記入者は、手書き入力文字と選択文字とを比較して見ることで、正確な文字の形状などを学習することができる。
【発明の開示】
【発明が解決しようとする課題】
【0016】
しかしながら、特許文献5に記載の仕組みでは、正確な文字と入力文字を比較して表示しているだけであり、手書き入力文字と選択文字の各表示を記入者が確認し、記入者自身が正確な文字の形状などを学習する必要があり、これだけでは、具体的な改善方法を記入者が適切に判断することが困難である。記入した入力文字との対比で、改善方法としての理想的な選択文字(基準情報)を示しているが、これだけでは、改善すべき箇所や改善手法を記入者自らが判断することや、常に、完璧な記入を記入者に求めているに過ぎない。
【0017】
換言すれば、正確な文字の特徴を記入者に知らせているに過ぎず、つまり、正確な文字で記載することのみを指示しているに過ぎず、入力した手書き入力文字の何処をどのように修正すればどの程度文字認識精度が向上するのかを容易に判断することができない。
【0018】
その結果、次回の文字入力の際に、ある箇所を修正して記入したからと言って、必ずしも、文字認識精度が向上するとは限らない。文字認識率の一層の向上に役立てることができる修正箇所は別の箇所にあるかも知れないのである。
【0019】
つまり、特許文献5に記載の仕組みでは、具体的な改善方法の判断を記入者に委ね、完璧な記入を求めているために、文字認識精度向上を確実かつ容易に達成するということは困難である。
【0020】
本発明は、上記事情に鑑みてなされたものであり、手書き入力情報の認識効率をより確実かつ容易に向上させることのできる仕組みを提供することを目的とする。
【課題を解決するための手段】
【0021】
本発明に係る仕組みにおいては、追記入力された付加情報に対応する基準情報以外の情報であって、どのように追記すれば認識処理時の認識性能が向上するかを示す改善態様情報を提示するようにした。なお、「改善態様情報」とともに「基準情報」を提示しても構わないし、「基準情報」を含んだ全体として「改善態様情報」を構成して提示しても構わない。
【0022】
単に、手書き入力情報に対応する完璧な(理想的な)基準情報のみを改善方法として提示するのではなく、認識性能を向上させるためのより具体的な修正手法を改善態様情報として提示するのである。具体的な改善方法の判断を記入者に委ねるのではなく、何処をどのように修正して記入すれば認識率がどの程度向上するかを判断することができるような改善態様情報を個別具体的に示すのである。
【0023】
なお、本発明に係る仕組みは、電子計算機(コンピュータ)を用いてソフトウェアで実現することもでき、このためのプログラムやこのプログラムを格納した記録媒体を発明として抽出することも可能である。プログラムは、コンピュータ読取り可能な記憶媒体に格納されて提供されてもよいし、有線あるいは無線による通信手段を介した配信により提供されてもよい。
【発明の効果】
【0024】
本発明によれば、追記入力した付加情報をどのように修正して記入すれば認識処理時の認識性能が向上するかを示す改善態様情報を提示するようにしたので、記入者は、理想的な基準情報と完全に一致しなくても、何処をどのように修正して追記すれば認識率がどの程度向上するかを簡単に判断することができる。
【0025】
よって、認識に適した付加情報の記入を促すことで、認識率を容易かつ確実に向上させることができる。すなわち、提示された改善態様情報に従って次回の記入を行なうことで、認識性能をより確実に達成できる。また、完璧な(理想的な)基準情報のみを提示するのではなく、少しでも認識性能を向上させることのできる修正方法を提示することができるから、手書き入力情報の認識効率を容易に向上させることもできるのである。
【発明を実施するための最良の形態】
【0026】
以下、図面を参照して本発明の実施形態について詳細に説明する。
【0027】
<処理対象文書の例>
図1は、本発明に係る追記情報処理装置を備えてなる情報処理システムにおいて処理対象とする文書の一例を示す図である。
【0028】
図1に示す文書は、教育現場で紙媒体として使用される教育用教材80であって、典型例として、問題文82およびその解答欄84(本例では括弧で示された部分)を有したものであり、図1(A)はその文書原本8Aを示し、図1(B)は、追記情報記入済の状態(追記済文書8B)を模式的に示している。また、データベースへの登録情報の一例を(C)に示す。
【0029】
このような教育用教材80は、具体的には教育機関で用いられるペーパーテストや練習問題シートなどが該当する。なお、教育用教材80は、少なくとも解答欄84を有していればよく、たとえば採点官が読み上げた問題について解答欄84に解答を記入する場合などがあり、問題文82については必ずしも記載されていなくともよい。
【0030】
また、図1(A)に示すように、教育用教材80は、問題文82および第1種の付加情報の一例である解答が記入される解答欄84の他に、配点欄83(問題別の項目点欄83aや部分点欄や合計点欄でなる集計欄83b)と、第1種の付加情報の一例である教育用教材80を識別特定するための情報を記入する識別情報欄85と、第1種の付加情報の一例である解答者情報であって解答欄84への解答記入者に関する情報を記入する解答者情報欄86とを有している。解答欄84、識別情報欄85、解答者情報欄86は、何れも第1種の付加情報を記入する記入欄の一例である。
【0031】
識別情報欄85には、たとえば教育用教材80の科目、タイトル、あるいは適用学年などが予め記載されるものとする。ただし、これらの記載に加えて、またはこれらの記載とは別に、教育用教材80を識別するためのコード情報が埋め込まれていてもよい。
【0032】
コード情報の埋込みは、公知技術を利用して実現すればよいが、その一つの具体例として、たとえば「iTone(登録商標)」と呼ばれるもののように、階調表現としての万線スクリーンまたはドットスクリーンを構成する画素の形態(位置、形状など)を変化させることで、ハーフトーン画像の中にデジタル情報を埋め込むようにする、といった技術を用いることが考えられる。一方、解答者情報欄86には、解答記入者の学級86a、出席番号86b、あるいは氏名86cなどが記入され得るようになっている。
【0033】
配点欄83(特に項目点欄83a)には、各解答欄84についての配点情報が記入される。配点情報とは、教育用教材80における各解答欄84について、各位置の解答欄84への配点が何点であるかを特定するための情報である。なお、配点は、解答欄84ごとに異なっていてもよいし、あるいは一律であってもよい。
【0034】
このような教育用教材80は、対応する原本(教材原本)の電子データに基づき印刷装置で印刷出力することで得ることができる。教材原本の電子データは、たとえばパーソナルコンピュータなどの電子計算装置を利用してワープロソフトなどのアプリケーションソフトウェアを用いて生成することができ、予め所定のデータベースなどに保存される。
【0035】
なお、教材原本の電子データは、その教育用教材80における解答欄84や識別情報欄85などのレイアウトを特定し得るものであり、かつ、所定のデータベースにて保持蓄積可能なものであれば、そのデータ形式を問わない。たとえば、文書作成ソフトウェアで作成したアプリケーション文書データに限らず、画像データであってもよい。
【0036】
教育現場では、図1(A)に示した文書原本8Aの一例である教育用教材80が生徒や受験者などに配布され、先ず、生徒などによって解答者情報欄86への氏名や解答欄84への解答などの第1種の付加情報が所定欄に記入された後に回収される。この後さらに、図1(B)に示す追記済文書8Bの一例である付加情報記入済教材81のように、教師などの採点官によって各解答欄84に記入された解答に対する採点記号(正誤判定図形)87や採点記号87と関連するその他の図形や文章で示されたコメント88などの第2種の付加情報が記入される。なお、追記情報処理装置10で自動採点処理を行なうので、この時点では、採点官による配点欄83Cへの記入はない。
【0037】
この際には、通常、生徒などによる第1種の付加情報の記入に使用されるペン色と、採点官などによる第2種の付加情報の記入に使用されるペン色とは、異なるものが使用されるし、教育用教材80として予め記入されている色とも異なるものが使用される。
【0038】
また、採点記号87としては、たとえば、正解を示す「○」やその他の図形(たとえば楕円図形)、不正解を示す「×」やその他の図形(たとえば「レ点」などのチェックマーク)、あるいは一部正解を示す「△」やその他の図形がある。
【0039】
コメント88は、採点記号87を元にした第1のデータ処理には直接的な関係を有しない情報であるが、第1のデータ処理の結果をサポート(補強)するあるいは全く関係のない第2のデータ処理に利用されるものである。
【0040】
教材自動採点システムでは、この追記済文書8Bの一例である付加情報記入済教材81を対象として所定のデータ処理を行なうことになる。この際、第2種の付加情報(本例では採点記号87とコメント88)の別に、それぞれに応じた個別のデータ処理を行なうようにする。この例では、第1のデータ処理として採点記号87を元にした自動採点処理を行なう。この自動採点処理結果として、たとえば、配点欄83Cへ記入する得点情報が取得されることになる。また、コメント88の追記内容を元にした自動採点処理結果とは別の第2のデータ処理を行なう。
【0041】
自動採点処理とは別の第2のデータ処理としては、たとえば、コメント88の追記内容を所定の条件に基づいて分類する処理や、分類したコメント(全ての追記内容には限らず一部の追記内容でもよい)を対応する解答欄84についての採点処理結果と関連付けて生徒指導用データベースに登録・蓄積しておく処理などを行なう。
【0042】
こうすることで、自動採点処理とは別の第2のデータ処理の利用形態としては、生徒指導用データベースから情報を取り出して、後の生徒指導に利用することができるようになる。たとえば、全ての採点結果と対応するコメントを表示するようにすれば、優秀、優、並、劣、などの評価の細分類と合わせて採点結果を確認することができる。また、結果が不正解のコメントのみを表示するようにすれば、問題の読み間違えが多い、解答の書き間違えが多い、あるいは計算ミスが多いなどの生徒の能力分析に利用することもできる。あるいは、コメント88で示されている注意文やミス修正に基づき生徒指導に利用することも考えられる。
【0043】
なお、採点記号87やコメント88を対象としたデータ処理を実行するための教育用教材80(原本画像)のデータベースへの登録に当たっては、通常であれば、採点記号87についてのデータ処理時に必要となる解答欄84の位置情報や問題番号や配点情報などを示す記入欄位置領域情報38と、コメント88についてのデータ処理時に必要となる分類基準情報とを登録しておく。なお、教育用教材80における文字部分(たとえば問題番号を含む問題文や配点)をテキスト情報として参照され得るように、教育用教材80そのものの情報は、テキストデータもしくはテキストデータ相応の文書ファイルデータで保存しておくことが好ましい。
【0044】
たとえば、図1(C)に示すように、記入欄位置領域情報38の一例である解答欄位置領域情報を、教育用教材80上に存在する問題の番号(第1の属性情報の一例)と、その問題の解答に対する配点(第2の属性情報の一例)と、その問題の解答を記入する解答欄84として扱われる領域の所定点(たとえば左上頂点)のxy座標、並びに、その外接矩形の幅(W)および高さ(h)とからなる情報で、これらを互いに関連付けるテーブル形式で、所定の格納領域に保持蓄積しておく。
【0045】
付加情報記入済教材81に対応する元の教育用教材80が文書管理サーバに登録されていないときには、無記入の教育用教材80を文書入力装置で読み取り、問題文の位置や解答欄84の位置や配点などを特定することにより対処する。
【0046】
なお、追記情報について自動データ処理を実行する際に、追記情報を複数種類のものに分類し、それぞれの分類ごとに個別のデータ処理を実行しようとする場合には、各追記情報を他方のものと分離して認識・特定することが必要となる。両者の分離認識が適正になされないと、それぞれのデータ処理を適正に実行することができなくなる。
【0047】
たとえば、図1に示した付加情報記入済教材81の場合には、採点記号87に基づく自動採点処理と、コメント88に基づく生徒指導用データベースの構築処理があり、このような個別処理を実現するには、採点記号87とコメント88とを区別して認識処理などを行なってから最終的なデータ処理を行なう必要がある。
【0048】
一方、答案の採点においては、採点記号87以外のコメント88を、採点記号87と同じペンで記載することがあり、たとえば差分抽出部132での抽出結果に対する色成分認識処理を通じて、ペン色と対応する所定色成分についてのものを抽出するだけでは、両者を適切に分離した認識と記載内容の特定ができない。採点記号87とコメント88とを適切に分離できず、自動採点処理に悪影響を及ぼす。また、追記情報としては、自動採点処理用の採点記号87の他に、生徒指導などにも利用し得るコメント88が存在するにも関わらず、付加情報記入済教材81を生徒に返却した後には、生徒がその記載内容を確認する以外には活用できない事態となる。
【0049】
このような事態を避けるには、たとえば、追記済文書8B中に存在する複数の付加情報を、記載位置、画像特徴量、あるいは認識処理時の信頼度などの付加情報が持つ様々な特徴に基づいて、複数の種類に分類(分離)するようにするのがよい。この際、付加情報が持つ単一の特徴に基づくだけでなく複数の特徴を参照することで、より正確な分離認識を行なうようにするのがよい。なお、これらについては詳細な説明を割愛する。
【0050】
<システム構成>
図2は、本発明に係る追記情報処理装置を備えてなる情報処理システムの一実施形態の構成例を示す図である。なお、この情報処理システムは、答案用紙などの教育用教材80を処理対象とする教材自動採点システムへの適用例で示す。
【0051】
図示のように、教材自動採点システム1は、システムの中心をなす追記情報処理装置10と、追記情報処理装置10に処理対象文書である付加情報記入済教材81を電子化して入力する文書入力装置20と、処理対象文書である付加情報記入済教材81に対応するテンプレート6や教育用教材80(詳しくはその原本画像)の電子データを記憶する文書管理サーバ30と、情報処理(本例では自動採点処理など)の結果を保存しておく処理結果保存サーバ40とが、有線や無線を利用してネットワーク接続されて構成されている。
【0052】
文書入力装置20は、教育用教材80における解答欄84への解答記入、解答者情報欄86への氏名などの記入および解答欄84に記入された解答に対する採点官による採点記号87(具体的には、たとえば「○」や「×」の図形)の記入がされた付加情報記入済教材81に対して、公知の光学的画像読取技術を用いた画像読取りを行ない、その付加情報記入済教材81から画像データを得るものである。
【0053】
文書入力装置20は、処理対象文書である付加情報記入済教材81を電子データにする機能を備えたものであればよく、たとえば、画像読取装置としての機能を有した複写機、複合機、またはスキャナ装置を利用して実現することが考えられる。その場合に、自動原稿搬送装置(Automatic Document Feeder ;ADF)が付設されていると、複数の教育用教材に対する画像読取りを連続的に行なうことができ便利である。
【0054】
なお、教育用教材80を利用した試験などは、紙媒体を用いることに限定されない。たとえばタブレット型のPCを利用して試験を行ない採点するケースでは、最初から付加情報記入済教材81を電子データの形式で入手することができ、この場合には、システム構成上、文書入力装置20が不要となる。
【0055】
文書管理サーバ30は、付加情報記入済教材81に対応する教育用教材80の原本画像と、この原本画像を特定するための、たとえば、科目、タイトル、適用学年などの識別情報や識別コードとを対応付けて、ハードディスク装置や光ディスク装置などの所定の記憶媒体に文書原本情報データベースDB2として登録している。
【0056】
また、文書管理サーバ30は、付加情報記入済教材81に対応する元の教育用教材80(原本画像)を保存するとともに、採点記号87やコメント88についてのデータ処理時に必要となる問題番号や配点情報などを示す記入欄位置領域情報38を、図1(C)に示したように、テーブル形式で、所定の格納領域に文書原本情報データベースDB2として保持蓄積している。
【0057】
処理結果保存サーバ40としては、追記情報処理装置10とネットワーク接続され、付加情報記入済教材81についての自動採点集計結果を管理することができるものであればよく、たとえば、処理結果データベース装置や処理結果ファイルサーバ装置などが該当する。
【0058】
教材自動採点システム1の中心部をなす追記情報処理装置10は、文書入力装置20から入力された付加情報記入済教材81の画像データに基づき所定の信号処理を行なう読取画像処理部110と、読取画像処理部110による処理に基づいて文書入力装置20から入力された読取画像の元となった文書原本8Aを識別特定する文書原本特定部120とを備えている。教材自動採点システム1においては、文書原本特定部120は、文書原本8Aの一例である教育用教材80を特定する教材特定部122として機能する。
【0059】
また、追記情報処理装置10は、読取画像処理部110による処理が施された画像データから追記情報(アノテーション)を抽出する追記情報抽出部130と、追記情報抽出部130により抽出されたデータ処理対象の追記情報に基づき記載内容や記入位置を認識し特定するデータ処理対象追記情報特定処理部150と、データ処理対象追記情報特定処理部150により特定された追記情報の記載内容に基づいてデータ処理を行なうデータ処理部170とを備えている。
【0060】
また、追記情報処理装置10は、本実施形態特有の構成要素として、手書きで記入された文字や図形などの手書き入力情報の認識性能を向上させるための改善態様情報をユーザに提示する認識性能改善手法提示部180を備えている。認識性能改善手法提示部180は、文書原本8Aの一例である教育用教材80へ手書きで記入された手書き入力情報(採点記号87やコメント88)が自動認識処理に適しているか否かを判定し、どのように記入すれば認識率が向上するかをユーザ自身が判断することのできるような改善態様情報をサポート情報として提示する。
【0061】
ここで、「どのように記入すれば認識率が向上するか」を示す情報は、単に、追記入力された付加情報に対応する基準情報を対比表示する以外の情報であって、記入者が、具体的に、改善手法を判断することのできる情報を意味する。たとえば、追記された付加情報の何処をどのように修正して記入すればどの程度認識性能が向上するかを判断し得る情報を提示するのである。
【0062】
読取画像処理部110は、図示を割愛するが、文書入力装置20から入力された画像データについて、レイアウト解析、文字図形分離、文字認識、コード情報認識、図形処理、色成分認識などの公知の画像処理技術(それぞれの詳細説明は割愛する)を利用して解析処理を行なう画像データ解析部と、文書入力装置20から入力された画像データの傾きや主走査方向または副走査方向の拡縮率などの画像歪みを補正する歪み補正部とを有している。
【0063】
なお、歪み補正部は、文書入力装置20から入力された画像データと、比較対象となる文書管理サーバ30内の対応する原本画像とを比較照合し、その画像歪み(傾き、拡縮など)を補正してもよい。
【0064】
教材特定部122は、図示を割愛するが、たとえば、画像データ解析部によるデータ解析結果に基づいて、識別情報欄85に記入されている科目、タイトル、あるいは適用学年などの識別情報を解析する識別情報解析部と、同じく識別情報欄85に埋め込まれている教育用教材80を特定するコード情報を解析するコード情報解析部とを有している。
【0065】
教材特定部122は、画像データ解析部での解析結果に基づいて特定した、たとえば科目、タイトル、適用学年などの識別情報や識別コードと、文書管理サーバ30に保持蓄積されている教育用教材80の原本画像の情報(たとえば科目、タイトル、適用学年などの識別情報や識別コード)とを照らし合わせ、該当する原本画像が文書管理サーバ30に保持蓄積されていなければ、文書入力装置20で得られた画像データとの比較対象となる電子データを特定できないと判定して、識別特定エラー信号を出力するようになっている。
【0066】
なお、教材特定部122は、文書入力装置20から入力された画像データ(付加情報記入済教材81に相当)と対応する元の教育用教材80を識別特定できればよく、識別情報解析部とコード情報解析部とは、付加情報記入済教材81の識別情報欄85に記載もしくは埋め込まれている識別情報の形式に対応する適正な方を備えていればよく、必ずしも、両者を備えている必要はない。
【0067】
追記情報抽出部130は、歪み補正部にて画像歪みが補正された画像データと、教材特定部122により特定された、文書入力装置20から入力された画像データ(付加情報記入済教材81に相当)に対応する原本画像(教育用教材80に相当)とを公知の画像処理技術を利用して比較しそれぞれの間の差分を抽出する差分抽出部132を有する。
【0068】
また、追記情報抽出部130は、差分抽出部132による抽出結果に基づき文書入力装置20で読取り対象となった付加情報記入済教材81における解答者情報(第1種の付加情報の一例)を抽出する解答者抽出部134と、同じく差分抽出部132による抽出結果に基づき文書入力装置20で読取り対象となった付加情報記入済教材81における採点記号87やコメント88などのデータ処理に供される第2種の付加情報を抽出するデータ処理用追記情報抽出処理部140とを有する。
【0069】
解答者抽出部134は、差分抽出部132による抽出結果に基づき、解答者情報欄86の学級88aや出席番号88bや氏名88cの欄に記入された解答記入者の手書きによる番号や文字の画像をそのまま文字情報として切り出す手書き情報切出部136と、差分抽出部132による抽出結果に基づき(好ましくは、手書き情報切出部136により切り出された手書き情報について)、解答者情報欄86の手書きによる記入情報を、追記情報処理装置10上で加工編集が可能な文字データに変換する文字認識処理(OCR;Optical Character Reader)部138とを有する。
【0070】
なお、解答者抽出部134は、文書入力装置20で読取り対象となった付加情報記入済教材81における解答者情報欄86に記入された解答者情報を抽出できればよく、手書き情報切出部136と文字認識処理部138の何れか一方を備えていればよい。また、文字認識処理部138を設けない場合や文字認識処理部138で文字認識できなかったコメント88の部分に関しては、抽出された解答者情報をそのまま画像として取り扱うことにする。
【0071】
データ処理用追記情報抽出処理部140は、注目する追記色の情報を参照して、差分抽出部132による抽出結果に基づき、追記情報抽出部130により抽出された追記情報の内、文書入力装置20で読取り対象となった追記済文書8B(本例では付加情報記入済教材81)におけるデータ処理対象追記情報9a(本例では採点記号87やコメント88)を抽出するデータ処理対象追記情報抽出部142と、データ処理対象追記情報抽出部142で抽出されたデータ処理対象の追記情報をデータ処理に耐え得るように整形する追記情報整形部146とを有する。本実施形態においては、データ処理対象追記情報抽出部142は、採点記号87を抽出する採点記号抽出部およびコメント88を抽出するコメント抽出部の機能を備える。
【0072】
なお、データ処理対象追記情報抽出部142は、データ処理対象追記情報9aを抽出できればよく、色を指標に追記情報をさらに分類するとよい。たとえば差分抽出部132での抽出結果に対する色成分認識処理を通じて、採点官が採点記号87やコメント88の記入に使用したペン色と対応する所定色成分についてのものを抽出することで行なえばよい。たとえば、付加情報記入済教材81における採点記号87やコメント88の記入は、一般に赤色ペン(赤の筆記具)で行なわれることが多く、この場合には、赤色成分に注目した抽出を行なえばよい。
【0073】
ただし、赤色ペンとはいってもピンク系からオレンジ系というように似通った色気のものがあるし、必ずしも採点記号87やコメント88の記入に赤色ペンを使用するとは限らないし、採点記号87とコメント88とを別のペン色で記入することもあるので、採点記号87やコメント88の記入に使用するペン色の情報を採点記号抽出部やコメント抽出部として機能するデータ処理対象追記情報抽出部142に設定可能に構成しておくことで、抽出性能を向上させるようにするとよい。
【0074】
このため、実際に使用した追記色を特定し、その特定した追記色の情報を参照して、追記色に注目した抽出を行なう。実際に使用されたペン色が特定されていれば、データ処理対象追記情報抽出部142は、抽出許容範囲を狭くすることができる。これにより、採点記号87やコメント88をその他の追記情報と高精度に区別して抽出することができる。
【0075】
追記情報整形部146としては、データ処理対象追記情報抽出部142で抽出されたデータ処理対象の追記情報について、線分同士を接続してその抽出線分間の途切れを解消するように補正処理を行なう抽出線分途切れ補正部148を有する構成とするのがよい。
【0076】
一般に、追記済文書8B上での図形記入や「2重線」や「波線」や「花丸」や「矢印」などの図形記入やコメント文などは、記入済のものに対して重ねて行なわれることもある。たとえば、付加情報記入済教材81の場合には、各問題文82や各解答欄84を特定する枠や各解答欄84への解答記入内容などに重ねて「○」や「×」などの採点記号87が記入され、あるいは図形や文字でコメント88の追記が行なわれることもある。そのため、データ処理対象追記情報抽出部142による所定色成分の抽出結果は、その重なり部分が除かれる結果、図形や文字に途切れ部分が生じたものとなる虞れがある。
【0077】
このことから、抽出線分途切れ補正部148は、「○」や「×」や「線」やその他の印(マーク)などの図形や文字であるはずの抽出結果に対して、細線化処理、端点抽出処理、端点間接続処理(いわゆる連結処理)、あるいは線図形の直線近似などを適宜実行する。なお、このときに行なう細線化処理、端点抽出処理、あるいは端点間接続処理や線図形の直線近似などは、公知技術を利用して行なえばよいため、ここではその詳細な説明を割愛する(たとえば、「画像の処理と認識」,安居院猛著,昭晃堂発行などを参照)。
【0078】
データ処理対象追記情報特定処理部150は、差分抽出部132による差分抽出結果に基づいて、具体的には、抽出線分途切れ補正部148で補正されたデータ処理対象追記情報9aに基づいて、追記済文書8Bにおける第1のデータ処理用の追記情報の記入内容を第2のデータ処理用の追記情報と分離して認識する第1データ処理用追記情報認識部154と第2のデータ処理用の追記情報の記入内容を第1のデータ処理用の追記情報と分離して認識する第2データ処理用追記情報認識部164とを有している。
【0079】
データ処理対象追記情報特定処理部150としては、第1データ処理用追記情報認識部154は、付加情報記入済教材81における採点記号87の記入内容をコメント88と分離して認識し、また、第2データ処理用追記情報認識部164は、付加情報記入済教材81におけるコメント88の記入内容を採点記号87と分離して認識する。
【0080】
各データ処理用追記情報認識部154,164は、抽出線分途切れ補正部で補正されたデータ処理用追記情報の記入内容に対して形状認識処理を行なうことでデータ処理用追記情報の記入内容を認識する図形形状認識部156,166と、抽出線分途切れ補正部で補正されたデータ処理用追記情報の記入内容に対して文字認識処理を行なうことでデータ処理用追記情報の記入内容を認識するする文字認識部157,167と、図形形状認識部156,166や文字認識処理部157,167により認識された各データ処理用追記情報の記入内容の、文書原本8A(追記済文書8B)上における記入位置を認識する記入位置認識部158,168とを有している。図形形状認識部156,166および文字認識処理部157,167により、採点記号87とコメント88とを分離して認識する分離認識処理部155が構成される。
【0081】
図形形状認識部156,166や文字認識処理部157,167は、その内部に、認識処理前に、認識処理対象の追記情報の画像形状(縦横比やサイズ)を変形(修正)する変形処理部156a,166a,157a,167aを具備している。変形処理部156a,166a,157a,167aは、図形形状認識部156,166や文字認識処理部157,167における図形認識処理や文字認識処理に供される変形済情報を生成するものである。
【0082】
文字認識処理部157,167を設けない場合や文字認識処理部157,167で文字認識できなかったデータ処理用追記情報の部分に関しては、抽出されたデータ処理用追記情報をそのまま画像として取り扱うことにする。
【0083】
なお、図示のように、図形形状認識部156,166、文字認識処理部157,167、並びに記入位置認識部158,168とは、それぞれ1つの機能部が双方の機能を実現する構成としてもよいし、それぞれを個別の機能部として独立に設けてもよい。
【0084】
たとえば、付加情報記入済教材81を処理対象とする構成においては、第1データ処理用追記情報認識部154は、採点記号87を第1のデータ処理用の追記情報とするものであり採点記号認識部として機能する。この場合、採点記号87についての図形形状認識部156は、採点記号87の記入内容が「正解(○)」または「不正解(×)」または「一部正解(△)」であるかなどを図形の側面から認識することができればよく、たとえば「○」,「×」,「△」の図形形状とのパターンマッチングによって形状認識を行なえばよい。あるいは、認識対象図形の特徴量を算出し、その特徴量から形状を認識してもよい。特徴量としては、たとえば、穴の個数や外接矩形に占める対象図形の面積率などを使用することができる。
【0085】
また、採点記号87について文字認識処理部157は、採点記号87の記入内容が「正解(○)」または「不正解(×)」または「一部正解(△)」であるかなどを文字の側面から認識することができればよい。なお、採点記号87は図形のみであるとする場合には、文字認識処理部157を割愛することもできる。
【0086】
また、採点記号87についての記入位置認識部158は、たとえば、教育用教材80上における座標解析によって、付加情報記入済教材81上の採点記号87の記入内容の記入位置を認識すればよい。
【0087】
ここで、本実施形態の構成においては、認識性能改善手法提示部180を設けて、記入者の手書き入力情報が認識に適しているか判定し、どのように追記すれば認識率が向上するかを記入者が判断し得るような改善態様情報をサポート情報として提示するようにしているので、認識に適した手書き入力情報の記入を促すことができ、その結果として、各データ処理用追記情報認識部154,164における認識率を向上させることができる。
【0088】
記入者は、提示された改善態様情報を参照することで、手書き入力文字の形状などの不適切な部分を把握し、正確な図形や文字の形状を学習することができる。これによって記入者は、次回の手書き入力情報を記入する際に、適切な形状などの条件で文字や図形や線分を手書き入力することができるようになり、図形や文字の認識率の向上に役立てることができる。追記情報処理装置10としては、装置自身が記入者の癖などを学習するような構成を要しないので、装置自身の構成を簡単かつ小型化することができる。
【0089】
なお、図形形状認識部156は、採点記号87に関する形状認識の際には、「○」や「×」などの採点記号87を示す図形を構成する連続画素群を1つに纏めて取り扱うために、その連続画素群に対して識別子を付与すべく、一般的な画像処理技術であるラベリング処理を行なう。このことから、記入位置認識部158による位置認識の際にも、そのラベリング処理の結果を利用して、「○」や「×」などの採点記号87を示す図形を構成する連続画素群を1つの纏まりとして取り扱う。
【0090】
また、記入位置認識部158は、採点記号87の記入位置の認識処理に当たって、付加情報記入済教材81上に複数の採点記号87が記入されていることが一般的であるから、その複数の採点記号87のそれぞれについて順次予め定められた走査順で検出される採点記号87について、順にその位置を認識していく。
【0091】
各採点記号87に関する位置認識は、たとえば「○」や「×」などの採点記号87を示す図形(あるいは文字)の外接矩形情報を算出し、さらにその外接矩形の中心座標を算出することによって行なうことが考えられる。具体的には、認識対象となる図形もしくは文字(連続画素群)に対して外接矩形を抽出するとともに、その外接矩形の所定点(たとえば左上頂点)のxy座標、並びに、その外接矩形の幅(W)および高さ(h)を算出する。そして、これらの算出結果から、中心x座標=x+w/2、中心y座標=y+h/2を算出し、その算出結果を連続画素群の位置、すなわち採点記号87の記入位置の認識結果とする。
【0092】
一方、第2データ処理用追記情報認識部164は、コメント88を第2のデータ処理用の追記情報とするコメント認識部として機能する。この場合、コメント88についての図形形状認識部166は、コメント88の追記内容を図形の側面から認識することができればよく、たとえば「1重線」や「2重線」や「(1重または2重の)波線」などの線を示す図形形状とのパターンマッチングによって線に関する形状認識を行なえばよい。あるいは、認識対象図形の特徴量を算出し、その特徴量から線の形状を認識してもよい。特徴量としては、たとえば、線数や外接矩形における画素密度などを使用することができる。
【0093】
また、コメント88について文字認識処理部167は、付加情報記入済教材81におけるコメント88の記入内容を文字の側面から認識することができればよい。また、コメント88についての記入位置認識部168は、たとえば、教育用教材80上における座標解析によって、付加情報記入済教材81上のコメント88の追記内容の記入位置を認識すればよい。
【0094】
なお、図形形状認識部166は、コメント88に関する形状認識の際には、「2重線」や「花丸」などのコメント88を示す図形を構成する連続画素群を1つに纏めて取り扱うために、その連続画素群に対して識別子を付与すべく、一般的な画像処理技術であるラベリング処理を行なう。このことから、記入位置認識部168による位置認識の際にも、そのラベリング処理の結果を利用して、「2重線」や「花丸」などのコメント88を示す図形を構成する連続画素群を1つの纏まりとして取り扱う。
【0095】
また、記入位置認識部168は、コメント88の記入位置の認識処理に当たって、付加情報記入済教材81上に複数のコメント88が記入されていることが一般的であるから、その複数のコメント88のそれぞれについて順次予め定められた走査順で検出されるコメント88について、順にその位置を認識していく。
【0096】
各コメント88に関する位置認識は、たとえばコメント文や「2重線」や「花丸」などのコメント88の文字や図形の外接矩形情報を算出し、さらにその外接矩形の中心座標を算出することによって行なうことが考えられる。具体的には、認識対象となる文字や図形(連続画素群)に対して外接矩形を抽出するとともに、その外接矩形の所定点(たとえば左上頂点)のxy座標、並びに、その外接矩形の幅(W)および高さ(h)を算出する。そして、これらの算出結果から、中心x座標=x+w/2、中心y座標=y+h/2を算出し、その算出結果を連続画素群の位置、すなわちコメント88の記入位置の認識結果とする。
【0097】
また、この位置認識の際には、各コメント88は、ある位置の解答欄84への採点記号87と対応して、その近傍に記入されることが多いので、記入位置認識部158による採点記号87についての位置認識と協働して処理を行なうのがよい。こうすることで、双方の位置情報の各解答欄84との対応付け、結果としては、採点記号87とコメント88との関連付けが容易になる。
【0098】
データ処理部170は、文書入力装置20から入力された追記済文書8Bの画像データについて、その追記済文書8Bに記入された第1のデータ処理対象追記情報に関する第1のデータ処理を実行する第1データ処理部170_1と、第2のデータ処理対象追記情報に関する第2のデータ処理を実行する第2データ処理部170_2を有する。
【0099】
各データ処理部170_1,170_2は、データ処理対象の追記情報の記入位置を、当該記入欄の位置情報を保存している装置(テンプレート情報データベースDB1や文書原本情報データベースDB2として機能する文書管理サーバ30)にアクセスして、記入欄位置領域情報38、記入欄位置領域情報68、あるいはテンプレート関連付け情報69を参照して取得しつつ、追記情報の記入位置と追記情報とを対応付けながらデータ処理を実行する。
【0100】
第1データ処理部170_1は、追記済文書8Bの一例である付加情報記入済教材81の画像データについて、その付加情報記入済教材81に記入された採点記号87を元に採点集計を行なう採点集計部172と、採点集計部172による採点集計の結果を、解答者抽出部134が抽出した解答者情報と関連付けて出力する集計結果出力部174とを備えている。採点集計結果と解答者情報とが関連付けられた状態の処理結果を特に採点認識結果と称する。
【0101】
採点集計部172は、図形形状認識部156による採点記号87の追記内容の図形の側面からの認識結果や文字認識処理部157による採点記号87の追記内容の文字情報の側面からの認識結果と、記入位置認識部158による採点記号87の記入位置の認識結果と、文書入力装置20が保持蓄積している付加情報記入済教材81に対応する教育用教材80の電子データ(原本画像)に含まれる教育用教材80(付加情報記入済教材81)の各解答欄84についての配点欄83で規定されている配点情報とに基づいて、文書入力装置20が読み取った付加情報記入済教材81について、付加情報記入済教材81に記入された採点記号87に関する採点処理および集計処理(纏めて採点集計という)を行なう。
【0102】
なお、採点記号87の記入は、一般に教育用教材80上の複数の解答欄84のそれぞれに対応して行なわれ、かつ教師などの採点官によって手書きでされるため、各解答欄84に対する記入位置が必ずしも一義的に定まっている訳ではない。その一方で、採点記号87の採点集計に当たっては、各解答欄84と採点記号87の記入位置との対応を明確にする必要がある。採点記号87に関する採点集計は、各解答欄84に対応する採点記号87の記入結果を明確にした上で、採点記号87の内容(正解か不正解か一部正解かなど)および各解答欄84についての配点に基づいて行なわれるからである。
【0103】
このことから、採点集計部172は、以下に述べるような手順で、採点記号87の採点集計を行なう。すなわち、採点集計部172は、「○」や「×」などの採点記号87の外接矩形と、付加情報記入済教材81上で解答欄84となる領域との重なり面積を求め、その面積(外接矩形に対する面積比でも同様)が最も大きくなる採点記号87と解答欄84とを互いに対応付け、その採点記号87を解答欄84に対して記入された採点記号87の判定結果とする。ただし、重なり面積の外接矩形に対する比が所定閾値未満の場合には、重なる部分が小さいことから、対応付けについての判定が不能であると判断する。
【0104】
そして、対応付けを行なった後は、採点記号87が「○」であれば、これに対応する解答欄84についての配点情報から特定される配点を加算し、また採点記号87が「×」であれば、これに対応する解答欄84についての配点加算を行なわず、このような採点集計を付加情報記入済教材81上の全ての解答欄84について行なう。
【0105】
なお、付加情報記入済教材81上で解答欄84となる領域は、各解答欄84についての配点情報として、または当該配点情報と同様に、付加情報記入済教材81に対応する文書管理サーバ30に登録されている原本画像に含まれる記入欄位置領域情報38によって特定されるものとする。
【0106】
集計結果出力部174は、採点集計部172により集計された採点集計結果と解答者抽出部134が抽出した解答者情報と関連付けて、処理結果保存サーバ40(処理結果データベース装置や処理結果ファイルサーバ装置など)に登録する。あるいは、採点結果の点数を付加情報記入済教材81の集計欄83bに記入し用紙上に返却答案81bとして出力して生徒などに返却できるようにする。
【0107】
また、第2データ処理部170_2は、追記済文書8Bの一例である付加情報記入済教材81の画像データについて、その付加情報記入済教材81に記入されたコメント88を元に分類処理を行なうコメント分類処理部176と、コメント分類処理部176による分類結果を集計結果出力部174が出力した採点認識結果や各解答に関連付けて出力するコメント処理結果出力部178とを備えている。
【0108】
コメント分類処理部176は、図形形状認識部166によるコメント88の追記内容の図形の側面からの認識結果や文字認識処理部167によるコメント88の追記内容の文字情報の側面からの認識結果と、記入位置認識部168によるコメント88の記入位置の認識結果と、コメント88の追記内容と対応するように予め規定されている分類情報とに基づいて、文書入力装置20が読み取った付加情報記入済教材81について、その付加情報記入済教材81に記入されたコメント88の分類処理を行なう。
【0109】
コメント処理結果出力部178は、コメント分類処理部176による分類結果を各解答欄や集計結果出力部174が出力した採点認識結果と関連付けて、処理結果保存サーバ40(処理結果データベース装置や処理結果ファイルサーバ装置など)に登録する。
【0110】
なお、採点集計部172での採点集計処理やコメント分類処理部176での分類処理に当たっては、完全なる自動処理にしてもよいが、ユーザ端末171のCRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)などで構成された表示部に処理過程や処理結果を表示して、適宜、操作者が処理過程や処理結果をキーボードやマウスなどの指示入力部を介して訂正できるようにしてもよい。
【0111】
また、本実施形態の特徴部分である認識性能改善手法提示部180は、手書き入力情報の履歴を収集しデータベースとしての処理結果保存サーバ40に保存・蓄積しておく追記情報認識履歴保持部182と、一定の度合いよりも認識の困難であった難認識情報を抽出する難認識追記情報抽出部184と、所定の表示態様に従って改善態様情報をユーザ端末171上で提示する認識性能情報提示部188とを有している。
【0112】
追記情報認識履歴保持部182は、後述する第1〜第3の何れかもしくはその任意の組合せの履歴収集保存手法を採用して、手書き入力情報の履歴を収集し、この収集した手書き入力情報の履歴を処理結果保存サーバ40に保存する。
【0113】
難認識追記情報抽出部184は、後述する第1〜第3の何れかもしくはその任意の組合せの難認識追記情報抽出手法を採用して、各種の手書き入力情報の内、自動認識が困難であったものを抽出する。
【0114】
認識性能情報提示部188は、後述する第1〜第5の何れかの認識性能情報提示手法を採用して、改善態様情報をユーザ端末171上でユーザに提示する。
【0115】
<全体の処理手順>
図3および図4は、情報処理システムの一実施形態である教材自動採点システム1における教材処理方法の処理動作の手順を説明する図である。ここで、図3は、その全体概要をシステム構成図と対応付けて示しており、また図4は、教材処理手順を示すフローチャートである。
【0116】
先ず、教育用教材80を完成させ文書原本情報データベースDB2に登録する(S104)。なお、各記入欄6aに配点が設定されていない形態のテンプレート6を使用する場合には、解答欄84として設定した記入欄6aに関しては配点の情報も設定する。
【0117】
この後、試験を実施する際には、文書原本情報データベースDB2から教育用教材80を読み出して印刷し生徒や受験者に配布する(S106)。そして、試験終了後に、採点官は採点記号87やコメント88を生徒の解答に対して追記する(S108)。
【0118】
追記情報処理装置10(特に教材自動採点システム1においては教材処理装置に該当する)を利用する場合には、先ず、生徒などによって解答者情報欄86への氏名などの記入および解答欄84への解答記入、つまり生徒による第1種の付加情報の記入がされ、さらに教師などによって各解答欄84に記入された解答に対する「○」や「×」などの採点記号87やコメント88などの第2種の付加情報の記入がされた付加情報記入済教材81について、文書入力装置20は、その付加情報記入済教材81を読み取り(S110)、その付加情報記入済教材81を表わす画像データを追記情報処理装置10に入力する(S112)。文書入力装置20は、この文書入力装置20による画像読取りによって得られた画像データについて、一旦ワークエリアとして用いられるメモリなどに保持しておく。
【0119】
なお、このとき、文書入力装置20にてADF装置を用いれば、たとえば同一学級のような1つのグループに纏めて処理すべき複数の付加情報記入済教材81について、一括して読み取り(一括スキャン)、各付加情報記入済教材81に対応する画像データを連続的に追記情報処理装置10に入力することができる。
【0120】
追記情報処理装置10は、文書入力装置20から取り込んだ各付加情報記入済教材81の画像データに対して、順次、次のような付加情報抽出・分離処理、付加情報特定処理、および自動採点処理並びに自動コメント処理といった付加情報終末処理を実行する。
【0121】
たとえば、データ処理部170における自動採点処理並びに自動コメント処理に先立って、ある1つの付加情報記入済教材81から得られた画像データについて、読取画像処理部110の画像データ解析部は解析処理を行ない(S122)、教材特定部122は、その解析処理の結果に基づいて付加情報記入済教材81に対応する元の教育用教材80の識別特定を行なう(S124)。
【0122】
この識別特定(S124)は、たとえば「理科」「5年」「1.天気と気温の変化」といった識別情報解析部によるタイトル解析または識別情報欄85に埋め込まれたコード情報についてのコード情報解析部によるコード解析を通じて行なえばよい。この識別特定を経ることで、教材特定部122では、文書入力装置20により得られた付加情報記入済教材81の画像データとの比較対象となる教育用教材80の電子データ(原本画像)を特定することができる。
【0123】
なお、この識別特定は、文書入力装置20が画像読取りを行なった複数の付加情報記入済教材81のそれぞれについて順次行なうことも考えられるが、一般に1つのグループに纏めて処理される付加情報記入済教材81は全て同一のものであるため、その纏めて処理される中で最初に処理される付加情報記入済教材81についてのみ行なえばよい。
【0124】
教材特定部122により各付加情報記入済教材81に対応する教育用教材80の特定が完了すると、文書管理サーバ30は、その特定結果に従いつつ、保持蓄積している中から該当する教育用教材80の原本画像(電子データ)を取り出して、これを差分抽出部132へ受け渡す(S126)。
【0125】
また、歪み補正部は、ある1つの付加情報記入済教材81から得られた画像データの歪みを補正する(S128)。この画像歪み補正は、文書入力装置20での画像読取りの際に生じ得る画像歪みを補正するために行なうものであり、その後に差分抽出部132にて行なう原本画像との比較や差分抽出などの精度向上を図るためのものである。
【0126】
差分抽出部132は、文書管理サーバ30から受け渡された原本画像(教育用教材80)と、文書入力装置20から入力され、歪み補正部により画像歪みが補正された後の画像データ(付加情報記入済教材81)とを、それぞれ比較して、その差分を抽出する(S130)。差分抽出部132は、抽出した差分情報9を解答者抽出部134やデータ処理用追記情報抽出処理部140に渡す。
【0127】
差分抽出部132による差分抽出によって、たとえば図3中の中央部分に示すように、解答者情報欄86および各解答欄84への解答者による第1種の付加情報の記入内容、並びに各解答欄84に対する採点記号87やコメント88などの採点官による第2種の付加情報の記入内容のみで表わされる差分情報9が抽出されることになる。
【0128】
解答者抽出部134は、差分情報9に対する文字認識処理部による文字認識処理などを通じて、文書入力装置20で読取り対象となった付加情報記入済教材81における解答者情報を抽出する(S132)。これにより、ある1つの付加情報記入済教材81に解答を記入した解答記入者の学級、出席番号、氏名などを特定できる。
【0129】
また、データ処理用追記情報抽出処理部140において、先ず追記部材特定部141は、データ処理の対象となる追記情報の記入に使用されたペン色である追記色を特定し(S141)、データ処理対象追記情報抽出部は、追記部材特定部141にて特定された追記色に基づき、差分抽出部132による差分抽出結果に対して、データ処理用の追記情報を抽出する(S142)。
【0130】
本例の場合、各解答欄84への採点記号87やコメント88の追記内容を抽出するために、その差分情報9からさらに所定色成分についてのもの、具体的にはたとえば赤色成分のものを抽出する。所定色成分の抽出は、たとえば差分抽出結果が画素データからなる場合であれば、その画素データを構成する色成分データに着目することで行なうことができる。
【0131】
抽出線分途切れ補正部は、データ処理対象追記情報抽出部による抽出結果に対して、細線化処理、端点抽出処理、端点間接続処理、あるいは線図形の直線近似などの追記情報整形処理を適宜実行する(S146)。抽出線分途切れ補正部は、途切れ補正処理済の採点記号87の抽出結果を採点記号認識部として機能する第1データ処理用追記情報認識部154に渡し、また途切れ補正処理済のコメント88の抽出結果をコメント認識部として機能する第2データ処理用追記情報認識部164に渡す。
【0132】
データ処理対象追記情報特定処理部150は、先ず、分離認識処理部155を構成する図形形状認識部156,166および文字認識処理部157,167が協働して、文書管理サーバ30に保存されている解答欄84の位置情報を参照して、採点記号87とコメント88とを分離し(S162)、この後、分離した採点記号87とコメント88の別に、記入内容の特定処理や記入位置の特定処理を実行する。
【0133】
図形形状認識部156や文字認識処理部157は、コメント88と分離した採点記号87について(S163−採点記号)、採点記号87の記入内容に対する形状認識あるいは文字認識により、その採点記号87の記入内容が「正解」であるかあるいは「不正解」であるかなど、採点記号87で示された採点官の採点結果を特定する(S164)。このとき、ユーザによる修正指示を受け付ける(S165)。続いて、記入位置認識部158は、採点記号87の記入内容について、その付加情報記入済教材81上における記入位置を認識する(S166)。
【0134】
このようにして、記入位置認識部158が採点記号87の記入位置を認識した後は、採点集計部172は、図形形状認識部156や文字認識処理部157による採点記号87の記入内容の認識結果と、記入位置認識部158による採点記号87の記入位置の認識結果と、文書管理サーバ30が保持蓄積している付加情報記入済教材81に対応する原本画像(教育用教材80)に含まれる教育用教材80の各解答欄84についての配点情報とに基づいて、採点および集計を行なう(S168)。
【0135】
集計結果出力部174は、その採点・集計の結果を処理結果保存サーバ40に保存する(S169)。あるいは採点結果の点数が付加情報記入済教材81の集計欄83bに記入されて返却答案81bとして生徒などに返却される。
【0136】
各付加情報記入済教材81についての採点結果(問題別採点結果)のファイル形式としては、たとえば、図3に示すように、付加情報記入済教材81上に存在する問題の番号と、その問題の解答に対する正誤判定と、その正誤判定に基づく得点とからなる情報で、これらを互いに関連付けるテーブル形式である。また、集計結果のファイル形式としては、たとえば、図3に示すように、出席番号および解答者情報と、得点情報(集計欄83bに記入される項目点や合計点)とからなる情報で、これらを互いに関連付けるテーブル形式である。
【0137】
各付加情報記入済教材81上に記入される正誤判定の採点集計の結果が問題別採点結果としてファイル出力されるし、また、問題別の採点集計の結果がファイル出力されるので、処理結果保存サーバ40では、付加情報記入済教材81についての採点集計結果を、たとえば一覧形式で、管理または利用することが可能となる。
【0138】
図形形状認識部166や文字認識処理部167は、採点記号87と分離したコメント88について(S163−コメント)、コメント88の記入内容に対する形状認識あるいは文字認識により、採点官により追記されたコメント88の記入内容を特定する(S170)。このとき、ユーザによる修正指示を受け付ける(S171)。続いて、記入位置認識部168は、コメント88の記入内容について、その付加情報記入済教材81上における記入位置を認識する(S172)。
【0139】
このようにして、記入位置認識部168がコメント88の記入位置を認識した後は、コメント分類処理部176は、図形形状認識部166や文字認識処理部167によるコメント88の記入内容の認識結果と、記入位置認識部168によるコメント88の記入位置の認識結果と、文書管理サーバ30が保持蓄積している分類基準情報39とに基づいて、コメント88を分類する(S174)。
【0140】
コメント処理結果出力部178は、コメント分類処理部176で分類された各コメント88を、位置が近い採点記号87の採点結果と関連付けて(S178)、処理結果保存サーバ40に保存する(S179)。各コメント88についての分類結果のファイル形式としては、たとえば、図3に示すように、各コメントと近傍の採点記号87とからなる情報で、これらを互いに関連付けるテーブル形式である。なお、実際にテーブル形式で保存することに限らず、各コメント88と、このコメント88と対応する採点集計結果の両者を関連付ける関連付け情報とを対応付けて保存してもよい。
【0141】
各付加情報記入済教材81上に記入される採点記号87の採点集計結果とコメント88とが対応するようにデータ保存されるので、処理結果保存サーバ40では、付加情報記入済教材81についての採点集計結果とコメント88とを、たとえば一覧形式で、管理または利用することが可能となるし、生徒の能力分析や生徒指導にコメント88を利用できるようになる。
【0142】
このように、情報処理システムの一実施形態として示した教材自動採点システム1では、採点記号87やコメント88の記入がされた付加情報記入済教材81から読み取った画像データと、その付加情報記入済教材81についての元の教育用教材80、すなわち解答欄84への解答記入などの生徒などによる第1種の付加情報および解答に対する採点官による採点記号87やコメント88などの第2種の付加情報の記入がされていないものについてのデータとを比較し、互いの差分から採点記号87やコメント88の記入内容を分離してその記入内容を特定し、その採点記号87についての採点集計とコメント88についての分類処理を実行するようになっている。
【0143】
したがって、採点記号87に関するデータ処理については、差分抽出部132で抽出される差分結果から、コメント88の記入内容を排除して採点記号87のみを分離してその記入内容を特定するようにしているので、同じペンで両者が追記されていても、自動採点に悪影響を及ぼすことがない。
【0144】
また、採点結果の自動集計を実行できるので、結果として付加情報記入済教材81についての採点処理が省力化される。付加情報記入済教材81を紙媒体で入手するケースでは、付加情報記入済教材81を文書入力装置20で読み取った画像データを基にすればよく、たとえば、複写機、複合機、またはスキャナ装置などによって実現されるスキャン機能と、パーソナルコンピュータ(PC)などのコンピュータ機器が有する情報記憶処理機能、画像処理機能および演算処理機能とがあれば、システム構成を簡単に実現することができ、専用の機器を必要とすることもない。
【0145】
さらには、付加情報記入済教材81の画像データを、文書管理サーバ30が保持する電子データと比較するため、その文書管理サーバ30に各種の教育用教材80についての電子データを保持蓄積しておけば、対応可能な付加情報記入済教材81についての汎用性を十分に確保し得る。さらには、文書管理サーバ30に予め電子データを保持蓄積しておくことで、文書管理サーバ30から取り込んだ画像データとの比較を行なう場合において、比較対象となる電子データの入力などを行なう手間を省くことができ、結果として迅速な採点処理を実現することができる。
【0146】
また、コメント88に関するデータ処理については、差分抽出部132で抽出される差分結果から、採点記号87の記入内容を排除してコメント88のみを分離してその記入内容を特定するようにしているので、同じペンで両者が追記されていても、コメント88に関する分類処理に悪影響を及ぼすことがない。また、各採点記号87と対応付けて処理結果保存サーバ40に各コメント88を保存するようにしたので、コメント88を生徒などが確認する用途以外に、採点官自らが、能力分析や生徒指導に活用できるようになる。
【0147】
<<認識性能改善態様情報提示処理>>
図5〜図10は、認識性能改善手法提示部180の処理の詳細、すなわち手書きで記入された文字や図形などの手書き入力情報の履歴を取る手法や、認識性能を向上させるための改善態様情報をユーザに提示する手法を説明する図である。
【0148】
本実施形態においては、文書原本8Aへ手書きで記入された手書き入力情報が自動認識に適しているか否かを判定し、認識性能上問題のあるものについては、どのように記入すれば認識率が向上するかをユーザ自身が判断することのできるようなサポート情報(改善態様情報)を提示する。
【0149】
ここで、改善態様情報としては、認識性能を向上させるための修正手法をユーザ自身が具体的にまた容易に判断することのできるものであればよく、様々な提示態様を採ることができる。たとえば、何処をどう直せばいいかを示唆する情報を提示する態様を採ることができる。こうすることで、どのように記載すると認識性能がよくなるのかを簡単に判断することができる。
【0150】
あるいは、過去の記載の認識信頼度を提示する態様を採ることができる。こうすることで、どのように記載すると認識性能がどの程度になるかを容易に判断することができ、これを踏まえて、ユーザは、より認識性能がよくなる記載をすることができるようになる。
【0151】
何れの提示態様を採っても、認識に適した手書き入力情報の記入を促すことができ、結果的に、認識率を向上させることができる。
【0152】
なお、手書き入力情報の改善態様情報をユーザに提示するに当たっては、先ず、手書き入力情報の履歴を取っておき、それらの認識時の信頼度を参考にして、認識性能向上のために改善要求度合いのより強いものに関して改善態様情報を提示するようにする。換言すれば、一定の度合いよりも認識の困難であった手書き入力情報(難認識情報ともいう)についてのみ、改善態様情報を提示する。こうすることで、認識性能を一定の水準以上にできるようにするのである。認識性能が一定の水準以上にできればよく、必ずしも、手書き入力情報が理想的な基準情報と完全に一致していることは必要ないのである。
【0153】
手書き入力情報は、ほぼ確実に基準情報とのズレがあるから、過去に記入された全ての手書き入力情報について改善態様情報を提示していたのでは、認識性能との関係で、必要以上の情報を提示してしまう虞れがあるが、提示範囲を難認識情報の範囲に絞ることで、必要以上の情報提示を防止するのである。こうすることで、必要以上に矯正してしまう虞れを防止できる。
【0154】
なお、一般的には、ユーザによって記入癖が異なるので、提示すべき改善態様もユーザごとに異なるから、手書き入力情報の履歴を取る際には、ユーザごとに履歴を取っておくのが好ましい。
【0155】
<履歴収集>
図5〜図8は、追記情報認識履歴保持部182の処理の詳細、すなわち手書きで記入された文字や図形などの手書き入力情報の履歴を取る手法を説明する図である。
【0156】
ここで、手書き入力情報の履歴を収集しデータベースに保存しておく際には、どの時点で記入されたものを履歴として残しておくかによって、様々な履歴収集保存手法を採るこができる。
【0157】
たとえば、図5に示すように、通常の自動データ処理の過程で認識した手書き入力情報のデータを蓄積し保存していく第1の履歴収集保存手法を採ることが考えられる。
【0158】
第1の履歴収集保存手法を採る際には、手書き入力情報のみを元の文書原本8Aから分離して保存することも考えられるし、手書き入力情報を含む所定範囲の画像情報をも一緒にして、つまり周囲の画像ごとに保存することも考えられる。手書き入力情報のみを保存する場合は、情報量が抑えられるため、保存コストが少なくて済む効果がある。周囲の画像ごとに保存する場合は、手書き入力に影響を与える問題文や解答欄や生徒の解答などの状況を把握できるため、その状況も含めた記入の癖を理解し修正できる効果がある。
【0159】
第1の履歴収集保存手法を採ると、通常の処理過程で履歴を取って保存していくことができるので、形状や位置や修正状況などのデータを利用することができる。また、特別な手間を掛けずに、採点法などの記入態様をチェックすることができる、しかも、認識の正誤も反映させることができる。ただし、当初は履歴が少なく、また、ユーザによる入力態様の改善も期待できないので認識率が低く、修正の手間が掛かる可能性はある。
【0160】
また、図6に示すように、通常の自動データ処理の過程ではなく、その処理開始前に、図7に示すような練習用答案などの練習用の文書原本8Aに入力してもらい、その入力情報のデータを蓄積し保存しておく第2の履歴収集保存手法を採ることが考えられる。図中の実線で示した部分が、教材自動採点システム1において、第2の履歴収集保存手法に寄与する部分であり、解答者抽出部134による生徒特定や各データ処理部170_1,170_2におけるデータ処理結果の出力処理は不要である。
【0161】
この第2の履歴収集保存手法を採ると、練習用の記入情報を指定することができるから、修正を考慮しなくてよい。用意された練習用答案などに追記し、通常の自動採点処理を行なう過程で、記入形状も指定されるからである。また、図形形状や文字形状と位置を判定し、認識の正誤も含めて結果を提示できる利点もある。加えて、事前に採点法などの記入態様を練習することができるので、正しい形と位置とを確認でき、認識性能のよい状態での記入が期待でき、その結果として、実際の自動データ処理時には修正を要しない利点が得られる。また、白紙部分に記入させることもできるので、指定された記入情報に対する手書き入力情報のみを保存すればよいので、蓄積容量を低減できる。
【0162】
また、図8に示すように、自動データ処理には使用しなかった過去の追記済文書8B(たとえば過去の採点答案)における入力情報のデータを蓄積し保存する第3の履歴収集保存手法を採ることが考えられる。図中の実線で示した部分が、教材自動採点システム1において、第3の履歴収集保存手法に寄与する部分であり、文書原本特定部120による原本特定や、解答者抽出部134による生徒特定や、記入位置認識部158,168における記入位置特定や、各データ処理部170_1,170_2における自動採点処理や自動コメント分類処理並びにデータ処理結果の出力処理は不要である。
【0163】
なお、自動データ処理を行なっていないので、白紙の文書原本8Aを付加して読み取ることで差分を抽出して、手書き入力情報のみを抽出するようにする。また、自動データ処理の全行程は行なわずに、形状認識や文字認識のみを行ない、結果を提示するだけにすればよい。
【0164】
この第3の履歴収集保存手法を採ると、過去の追記文書を利用できるため、はじめて自動データ処理を使用する場合でも、手書き入力情報に関して認識性能を改善させるための修正手法を提示することができ、実際の自動データ処理時には修正が少なくて済む利点が得られる。また、練習用の文書原本8Aを作成する手間を省くことができる。ただし、結果の正誤は不明のため、正誤を踏まえた判定はできない。
【0165】
<難認識情報抽出>
また、一定の度合いよりも認識の困難であった難認識情報についてのみ、改善態様情報を提示するに当たっては、分離認識処理部155にて通常の認識処理を行ない、難認識追記情報抽出部184は、その認識処理時の信頼度、換言すれば候補情報(模範情報)に対する類似度に基づいて難認識情報を抽出する第1の手法を採ることが考えられる。
【0166】
この第1の手法を採れば、認識の正誤ではなく自動データ処理が認識困難としているものから抽出するので、これまでは認識が成功しているが誤認識に成り得る図形を把握でき、結果として、誤認識を予防する効果がある。この手法は、第1〜3の履歴収集保存手法全てに適用できる。
【0167】
ここで、信頼度や類似度は、手書き入力情報と予め定められた認識対象となる複数の基準情報(基準文字情報や基準図形情報)のそれぞれについての、たとえば筆順、画数、線分の方向性、あるいは線分間の位置関係、真円度、サイズ、傾き、穴の有無などの各図形の特徴を示す特徴量において、双方の類似する度合いを意味する。
【0168】
また、分離認識処理部155にての通常の認識処理後、難認識追記情報抽出部184は、記入者による認識処理結果に対する修正状態(具体的には修正の有無)に基づいて難認識情報を抽出する第2の手法を採ることが考えられる。修正があった場合、自動認識処理では正しい認識ができなかった(つまり誤認識があった)ことを意味すると言うことに基づくものである。
【0169】
この第2の手法を採れば、記入者による修正結果を用いるため、正確な情報を収集できる効果がある。これに対して、第1の手法では、信頼度が高くても実際は誤認識という場合があり得る。ただし、この第2の手法は、第1の履歴収集保存手法を採った場合のみ適用できる。
【0170】
また、図8に示すように、練習用の文書原本8Aを使う場合において、「○」、「×」、「△」などの記入形状やその他の記入すべき基準情報を指定記入情報として設定しておき、難認識追記情報抽出部184は、その指定記入情報から外れるものを、換言すれば、認識が誤ったものを難認識情報として抽出する第3の手法を採ることが考えられる。つまり、難認識追記情報抽出部184は、記入すべき基準情報が指定されている練習用の文書原本8Aから抽出された基準情報に対応する追記情報のうち、誤認識されたものを難認識情報として抽出するのである。
【0171】
この第3の手法を採れば、基準情報が示されているため、正確な情報を収集できる効果がある。ただし、この第3の手法は、第2の履歴収集保存手法を採った場合のみ適用出来る。
【0172】
ここで、自動認識処理時に、「認識が誤ったものを抽出」する際には、記入すべき基準情報と実際の認識結果が異なるものを抽出すればよい。
【0173】
<改善態様情報提示手法>
図10は、認識性能情報提示部188における、認識性能を向上させるための改善態様情報をユーザに提示する手法を説明する図である。
【0174】
認識性能情報提示部188が改善態様情報をユーザ(記入者)に提示する際には、記入者のそれぞれに応じた改善態様情報を提示するのがよい。また、その際の提示手法としては、たとえば、図10(A)に示すように、認識性能情報提示部188は、入力図形や入力文字などの手書き入力情報と、形状認識時や文字認識時の画像変形処理結果とを並べて提示する第1の手法を採ることが考えられる。
【0175】
形状認識時や文字認識時には、入力された情報そのままで認識処理するのではなく、変形処理部156a,166a,157a,167aにて縦横比やサイズなどの画像形状を修正した変形済情報を元にして認識処理を行なう。これは、基準情報の記入部分の大きさや縦横比を一定の状態にしてから認識処理を行なう場合に対応するものである。
【0176】
たとえば、基準情報としての「○」を表わそうとして記入された追記情報について形状認識や文字認識を行なう場合、記入された追記情報が縦長や横長であるときに、その追記情報の画像の縦横比を1対1に変形(修正)したり、斜めに(傾いて)記入されているときに回転させたり、全体の大きさを一定の大きさに修正したりして変形済情報を生成してから、この変形済情報について認識処理する場合である。
【0177】
よって、記入した手書き入力情報が、どのように変形された後に認識されているかを視覚化して示すことで、変形済み情報の生成によって修正される記入癖と、修正されずに残り認識に悪影響を及ぼす記入癖を区別することができるため、どのような点に注意して記入すればよいかが明確になる効果が得られる。
【0178】
また、図10(B)に示すように、認識性能情報提示部188は、手書き入力情報に対応する理想の基準情報(たとえば採点記号87用の基準図形やコメント88に使われる基準文字)と難認識情報とについて、筆順、画数、線分の方向性、あるいは線分間の位置関係などの特徴量の組合せから基準情報に対する認識処理の信頼度(類似度)を求めて、その信頼度の大小を基準情報からの距離に置き換えて(対応させて)、その対応する距離の位置に難認識情報を配置して視覚的に提示する第2の手法を採ることが考えられる。
【0179】
この第2の手法を採れば、人の見た目でなくデータ処理から見た順位付けがなされるので、自分の記入した形状の中から認識に適するものを的確に選択できる効果がある。
【0180】
また、図10(C)に示すように、追記情報認識履歴保持部182による履歴収集によって保存した全ての手書き入力情報について、文字や図形や線分ごとに、認識し易いものから認識し難いものに、順に並べて、傾向を視覚化して提示する、つまり認識の難易度合いを順序立てて表示する第3の手法を採ることが考えられる。認識の難易度合いは、基準情報に対する信頼度とほぼ一定の対応関係があると考えてよいので、各難認識情報の基準情報に対する信頼度を順序立てて表示することになる。
【0181】
この第3の手法を採れば、第2の手法と同様に、人の見た目でなくデータ処理から見た順位付けがなされるので、自分の記入した形状の中から認識に適するものを的確に選択できる効果がある。
【0182】
また、図10(D)に示すように、特徴量に基づいて認識処理を行なう場合に、特徴をタイプ別に分類し提示するに当たり、誤認識のタイプと改善法を予め設定しておき、認識時の特徴量の傾向からタイプに分類し、改善法をアドバイスする第4の手法を採ることが考えられる。単に誤認識の理由を提示するに留まらず、誤認識の原因となる特徴量が何かを区別して、その改善手法を提示するのである。
【0183】
この第4の手法を採れば、順位付けなどの視覚化によって間接的に改善を促すのではなく直接改善方法を提示するため、記入者が注意し易くなり改善効果が向上する効果がある。
【0184】
また、図示を割愛するが、特徴量に基づいて認識処理を行なう場合に、特徴をタイプ別に分類し提示するに当たり、手書き入力情報ごとに理想的な特徴量を規定しておき、そこから離れているものを指摘する第5の手法を採ることが考えられる。
【0185】
この第5の手法を採れば、第4の手法と同様に、順位付けなどの視覚化によって間接的に改善を促すのではなく直接改善方法を提示するため、記入者が注意し易くなり改善効果が向上する効果がある。
【0186】
何れの提示態様においても、複数の情報を比較した提示にすれば、手書き入力情報の形状などの不適切な部分を確実に把握し、正確な図形や文字の形状などを確実に学習することができる。
【0187】
<追記情報処理装置;計算機構成>
図11は、追記情報処理装置10の他の構成例を示すブロック図である。ここでは、パーソナルコンピュータなどの電子計算機を利用して、追記情報処理をソフトウェアで実行するマイクロプロセッサなどから構築されるより現実的なハードウェア構成を示している。
【0188】
すなわち、本実施形態において、追記情報に関するデータ処理を実行する仕組みは、ハードウェア処理回路により構成することに限らず、その機能を実現するプログラムコードに基づき電子計算機(コンピュータ)を用いてソフトウェア的に実現することも可能である。
【0189】
よって、本発明に係る仕組みを、電子計算機(コンピュータ)を用いてソフトウェアで実現するために好適なプログラムあるいはこのプログラムを格納したコンピュータ読取可能な記憶媒体を発明として抽出することもできる。ソフトウェアにより実行させる仕組みとすることで、ハードウェアの変更を伴うことなく、処理手順などを容易に変更できる利点を享受できるようになる。
【0190】
電子計算機に、追記情報に関するデータ処理機能をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ(組込マイコンなど)、あるいは、CPU(Central Processing Unit )、論理回路、記憶装置などの機能を1つのチップ上に搭載して所望のシステムを実現するSOC(System On a Chip:システムオンチップ)、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【0191】
記録媒体は、コンピュータのハードウェア資源に備えられている読取装置に対して、プログラムの記述内容に応じて、磁気、光、電気などのエネルギの状態変化を引き起こして、それに対応する信号の形式で、読取装置にプログラムの記述内容を伝達できるものである。
【0192】
たとえば、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フレキシブルディスクFDを含む)、光ディスク(CD−ROM(Compact Disc-Read Only Memory )、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc )を含む)、または半導体メモリなどよりなるパッケージメディア(可搬型の記憶媒体)により構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMやハードディスクなどで構成されてもよい。
【0193】
また、ソフトウェアを構成するプログラムは、記録媒体を用いずに、記録媒体を介して提供されることに限らず、有線あるいは無線などの通信網を介して提供されてもよい。
【0194】
たとえば、追記情報に関するデータ処理機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、ハードウェア処理回路にて構成する場合と同様の効果は達成される。この場合、記憶媒体から読み出されたプログラムコード自体が追記情報に関するデータ処理機能を実現する。
【0195】
また、コンピュータが読み出したプログラムコードを実行することで、追記情報に関するデータ処理機能が実現されるだけでなく、プログラムコードの指示に基づき、コンピュータ上で稼働しているOS(Operating Systems ;基本ソフト)などが実際の処理の一部または全部を行ない、その処理により追記情報に関するデータ処理機能が実現される場合であってもよい。
【0196】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行ない、その処理によって追記情報に関するデータ処理機能が実現される場合であってもよい。
【0197】
なお、追記情報に関するデータ処理機能を実現するプログラムコードを記述したファイルとしてプログラムが提供されるが、この場合、一括のプログラムファイルとして提供されることに限らず、コンピュータで構成されるシステムのハードウェア構成に応じて、個別のプログラムモジュールとして提供されてもよい。
【0198】
たとえば、コンピュータシステム900は、コントローラ部901と、ハードディスク装置、フレキシブルディスク(FD)ドライブ、あるいはCD−ROM(Compact Disk ROM)ドライブ、半導体メモリコントローラなどの、所定の記憶媒体からデータを読み出したり記録したりするための記録・読取制御部902とを有する。
【0199】
コントローラ部901は、CPU(Central Processing Unit )912、読出専用の記憶部であるROM(Read Only Memory)913、随時書込みおよび読出しが可能であるとともに揮発性の記憶部の一例であるRAM(Random Access Memory)915、および不揮発性の記憶部の一例であるRAM(NVRAMと記述する)916を有している。
【0200】
なお、上記において“揮発性の記憶部”とは、装置の電源がオフされた場合には、記憶内容を消滅してしまう形態の記憶部を意味する。一方、“不揮発性の記憶部”とは、装置のメイン電源がオフされた場合でも、記憶内容を保持し続ける形態の記憶部を意味する。記憶内容を保持し続けることができるものであればよく、半導体製のメモリ素子自体が不揮発性を有するものに限らず、バックアップ電源を備えることで、揮発性のメモリ素子を“不揮発性”を呈するように構成するものであってもよい。
【0201】
また、半導体製のメモリ素子により構成することに限らず、磁気ディスクや光ディスクなどの媒体を利用して構成してもよい。たとえば、ハードディスク装置を不揮発性の記憶部として利用できる。また、CD−ROMなどの記録媒体から情報を読み出す構成を採ることでも不揮発性の記憶部として利用できる。
【0202】
また、コンピュータシステム900は、ユーザインタフェースをなす機能部としての指示入力部903と、操作時のガイダンス画面や処理結果などの所定の情報をユーザに提示する表示出力部904と、各機能部との間のインタフェース機能をなすインタフェース部(IF部)909とを有する。
【0203】
なお、データ処理結果を印刷出力してユーザに提示する構成とするべく、処理結果を所定の出力媒体(たとえば印刷用紙)に出力する画像形成部906を設けることもできる。
【0204】
指示入力部903としては、たとえば、ユーザインタフェース部985の操作キー部985bを利用することができる。あるいは、キーボードやマウスなどを利用することもできる。
【0205】
表示出力部904は、表示制御部919と表示装置とを備える。表示装置としては、たとえば、ユーザインタフェース部985の操作パネル部985aを利用することができる。あるいは、CRT(Cathode Ray Tube;陰極線管)やLCD(Liquid Crystal Display;液晶)などでなるその他のディスプレイ部を利用することもできる。
【0206】
たとえば、表示制御部919が、操作パネル部985aやディスプレイ部上に、ガイダンス情報や文書入力装置20が取り込んだ全体画像などを表示させる。また、各種の情報をユーザに通知する際の表示デバイスとしても利用される。なお、表示面上にタッチパネルを有するディスプレイ部とすることで、指先やペンなどで所定の情報を入力する指示入力部903を構成することもできる。
【0207】
インタフェース部909としては、処理データ(画像データを含む)や制御データの転送経路であるシステムバス991の他、たとえば、画像形成部906や他のプリンタとのインタフェース機能をなすプリンタIF部996、およびネットワークとの間の通信データの受け渡しを仲介する通信IF部999を有している。
【0208】
このような構成において、CPU912は、システムバス991を介してシステム全体の制御を行なう。ROM913は、CPU912の制御プログラムなどを格納する。RAM915は、SRAM(Static Random Access Memory )などで構成され、プログラム制御変数や各種処理のためのデータなどを格納する。また、RAM915は、所定のアプリケーションプログラムに従って演算して得たデータや外部から取得したデータなどを一時的に格納する領域を含んでいる。
【0209】
たとえば、追記情報に関するデータ処理機能をコンピュータに実行させるプログラムは、CD−ROMなどの記録媒体を通じて配布される。あるいは、このプログラムは、CD−ROMではなくFDに格納されてもよい。また、MOドライブを設け、MOに前記プログラムを格納してもよく、またフラッシュメモリなどの不揮発性の半導体メモリカードなど、その他の記録媒体にプログラムを格納してもよい。さらに、他のサーバなどからインターネットなどのネットワークを経由してプログラムをダウンロードして取得したり、あるいは更新したりしてもよい。
【0210】
なおプログラムを提供するための記録媒体としては、FDやCD−ROMなどの他にも、DVDなどの光学記録媒体、MDなどの磁気記録媒体、PDなどの光磁気記録媒体、テープ媒体、磁気記録媒体、ICカードやミニチュアカードなどの半導体メモリを用いることができる。記録媒体の一例としてのFDやCD−ROMなどには、追記情報に関するデータ処理機能を実現する際の、一部または全ての機能を格納することができる。
【0211】
また、ハードディスク装置は、制御プログラムによる各種処理のためのデータを格納したり、自装置で取得したデータや外部から取得したデータなどを大量に一時的に格納したりする領域を含んでいる。
【0212】
このような構成により、操作キー部985bを介した操作者による指令にて、前述の追記情報処理方法を実行するプログラムが記憶されているCD−ROMなどの読取可能な記録媒体からRAM915に追記情報処理プログラムがインストールされ、また操作キー部985bを介した操作者による指令や自動処理にて追記情報処理プログラムが起動される。たとえば、教材自動採点システム1を実現する場合であれば、教材処理プログラムでは、所定色成分、具体的にはたとえば赤色成分の差分抽出結果を、採点記号87やコメント88の記入内容として認識し、かつ両者を分離するようにする処理ステップなどが記述されたプログラムが起動される。
【0213】
CPU912は、この追記情報処理プログラムに従って前述の追記情報処理方法に伴う計算処理を施し、処理結果をRAM915やハードディスクなどの記憶装置に格納し、必要により操作パネル部985a、あるいはCRTやLCDなどの表示装置に出力する。追記情報処理方法を実行するプログラムが記録した記録媒体を用いることにより、既存のシステムを変えることなく、追記情報処理システムを汎用的に構築することができる。
【0214】
なお、このようなコンピュータを用いた構成に限らず、図2を用いて示した各機能部の処理をなす専用のハードウェアの組合せにより、追記情報に関するデータ処理機能を行なう追記情報処理装置10を構成することもできる。
【0215】
また、たとえば、追記情報に関するデータ処理機能のための各機能部分の全ての処理をソフトウェアで行なうのではなく、これら機能部分の一部を専用のハードウェアにて行なう処理回路908を設けてもよい。ソフトウェアで行なう仕組みは、並列処理や連続処理に柔軟に対処し得るものの、その処理が複雑になるに連れ、処理時間が長くなるため、処理速度の低下が問題となる。
【0216】
これに対して、ハードウェア処理回路で行なうことで、高速化を図ったアクセラレータシステムを構築することができるようになる。アクセラレータシステムは、処理が複雑であっても、処理速度の低下を防ぐことができ、高いスループットを得ることができる。
【0217】
たとえば、追記情報に関するデータ処理機能を実現する場合であれば、処理回路908としては、図2に示した読取画像処理部110に相当する読取画像処理部908a、文書原本特定部120に相当する文書原本特定部908b、追記情報抽出部130に相当する追記情報抽出部908c、データ処理対象追記情報特定処理部150に相当するデータ処理対象追記情報特定処理部908d、あるいはデータ処理部170に相当するデータ処理部908eなどをハードウェアで構成するとよい。
【産業上の利用可能性】
【0218】
以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【0219】
また、上記の実施形態は、クレーム(請求項)にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
【0220】
たとえば、歪み補正処理や途切れ補正処理などは、必ずしも必須ではない。また、採点記号87の採点集計に当たって、各解答欄84と採点記号87の記入位置とを対応付ける場合に、本実施形態で説明したような採点記号87の外接矩形と解答欄84の領域との重なり面積を求めるのではなく、たとえばそれぞれの中心座標の距離から対応付けを行なったり、あるいは単にそれぞれの間で重なる部分があるか否かによって対応付けを行なったりすることも考えられる。
【0221】
また、処理対象の追記済文書8Bの一例として、自動採点集計処理の仕組みに利用される付加情報記入済教材81を例に説明したが、これは一例に過ぎず、データ処理対象となる追記情報(特に手書きのもの)が含まれているものであれば、その文書の種別は問わない。たとえば、自動帳票処理の仕組みに利用される記入済帳票(特開平5−342239号公報や平6−274156号公報を参照)や個人情報管理(特にスケジュール管理ともいう)の仕組みに利用される付加情報記入済手帳(特開平5−216932号公報を参照)などであってもよい。
【0222】
また、先にも述べたが、処理対象の追記済文書8Bは、紙媒体を用いることに限定されず、最初から追記済文書8Bを電子データの形式で入手する態様の場合であっても、データ処理対象となる追記情報が含まれているものであれば、上述した仕組みを同様に適用することができる。
【図面の簡単な説明】
【0223】
【図1】本発明に係る追記情報処理において処理対象とする文書の一例である教育用教材を示す図である。
【図2】本発明に係る追記情報処理装置を備えてなる情報処理システムの一実施形態の構成例を示す図である。
【図3】教材自動採点システムにおける教材処理方法の全体概要をシステム構成図と対応付けて示した図である。
【図4】教材自動採点システムにおける全体の処理手順を示すフローチャートである。
【図5】追記情報認識履歴保持部における、第1の履歴収集保存手法を説明する図である。
【図6】追記情報認識履歴保持部における、第2の履歴収集保存手法を説明する図である。
【図7】第2の履歴収集保存手法にて使用される文書原本の一例を示す図である。
【図8】追記情報認識履歴保持部における、第3の履歴収集保存手法を説明する図である。
【図9】難認識追記情報抽出部における難認識情報抽出処理を説明する図である。
【図10】認識性能情報提示部における改善態様情報提示手法を説明する図である。
【図11】追記情報処理装置を、電子計算機を用いて構成する場合のハードウェア構成の一例を示した図である。
【符号の説明】
【0224】
1…教材自動採点システム、8A…文書原本、8B…追記済文書、9…差分情報、10…追記情報処理装置、20…文書入力装置、30…文書管理サーバ、40…処理結果保存サーバ、80…教育用教材、81…付加情報記入済教材、87…採点記号、88…コメント、110…読取画像処理部、120…文書原本特定部、122…教材特定部、130…追記情報抽出部、132…差分抽出部、134…解答者抽出部、136…手書き情報切出部、138…文字認識処理部、140…データ処理用追記情報抽出処理部、142…データ処理対象追記情報抽出部、146…追記情報整形部、148…抽出線分途切れ補正部、150…データ処理対象追記情報特定処理部、154…第1データ処理用追記情報認識部、155…分離認識処理部、156…図形形状認識部、157…文字認識処理部、158…記入位置認識部、164…第2データ処理用追記情報認識部、166…図形形状認識部、167…文字認識処理部、156a,166a、157a,167a…変形処理部、168…記入位置認識部、170…データ処理部、170_1…第1データ処理部、170_2…第2データ処理部、171…ユーザ端末、172…採点集計部、174…集計結果出力部、176…コメント分類処理部、178…コメント処理結果出力、180…認識性能改善手法提示部、182…追記情報認識履歴保持部、184…難認識追記情報抽出部、188…認識性能情報提示部

【特許請求の範囲】
【請求項1】
認識処理に供される追記入力された付加情報を修正する入力修正方法であって、
前記追記入力された付加情報に対応する基準情報を除く、どのように追記すれば前記認識処理時の認識性能が向上するかを示す改善態様情報を提示する
ことを特徴とする入力修正方法。
【請求項2】
文書原本に付加情報が追記された追記済文書を処理対象として、追記された前記付加情報の内容を認識処理し、この認識処理した情報に基づいて所定のデータ処理を行なう追記情報処理方法であって、
前記追記入力された付加情報に対応する基準情報以外の情報であって、どのように追記すれば前記認識処理時の認識性能が向上するかを示す改善態様情報を提示する
ことを特徴とする追記情報処理方法。
【請求項3】
前記改善態様情報として、追記された前記付加情報の何処をどのように修正して追記すればどの程度認識性能が向上するかを判断し得る情報を提示する
ことを特徴とする請求項2に記載の追記情報処理方法。
【請求項4】
文書原本に付加情報が追記された追記済文書を処理対象として、追記された前記付加情報を前記追記済文書から抽出してその内容を認識処理し、この認識処理した情報に基づいて所定のデータ処理を行なう追記情報処理装置であって、
前記追記済文書から抽出された前記付加情報の内容を認識処理する追記情報特定処理部と、
前記追記入力された付加情報に対応する基準情報以外の情報であって、どのように追記すれば前記追記情報特定処理部における前記認識処理時の認識性能が向上するかを示す改善態様情報を提示する認識性能改善手法提示部と
を備えたことを特徴とする追記情報処理装置。
【請求項5】
前記認識性能改善手法提示部は、前記改善態様情報として、追記された前記付加情報の何処をどのように修正して追記すればどの程度認識性能が向上するかを判断し得る情報を提示する
ことを特徴とする請求項4に記載の追記情報処理装置。
【請求項6】
前記認識性能改善手法提示部は、通常の前記データ処理の過程で認識処理した前記付加情報を保存する追記情報認識履歴保持部を有し、
前記追記情報認識履歴保持部が保存している前記付加情報に関して、前記改善態様情報を提示する
ことを特徴とする請求項4または5に記載の追記情報処理装置。
【請求項7】
前記認識性能改善手法提示部は、通常の前記データ処理に供されなかった前記追記済文書から抽出された前記付加情報に関して、前記改善態様情報を提示する
ことを特徴とする請求項4または5に記載の追記情報処理装置。
【請求項8】
前記認識性能改善手法提示部は、練習用の前記文追記済文書から抽出された前記付加情報に関して、前記改善態様情報を提示する
ことを特徴とする請求項4または5に記載の追記情報処理装置。
【請求項9】
前記認識性能改善手法提示部は、前記追記済文書から抽出された各種の前記付加情報の内、認識性能が一定レベルに満たない難認識情報を抽出する難認識追記情報抽出部を有し、
前記難認識追記情報抽出部が抽出した前記難認識情報について前記改善態様情報を提示する
ことを特徴とする請求項4〜8のうちの何れか1項に記載の追記情報処理装置。
【請求項10】
前記難認識追記情報抽出部は、前記認識処理における前記基準情報に対する前記付加情報の信頼度に基づいて前記難認識情報を抽出する
ことを特徴とする請求項9に記載の追記情報処理装置。
【請求項11】
前記難認識追記情報抽出部は、前記付加情報の認識処理結果に対する修正状態に基づいて前記難認識情報を抽出する
ことを特徴とする請求項9に記載の追記情報処理装置。
【請求項12】
前記難認識追記情報抽出部は、記入すべき前記基準情報が指定されている練習用の前記文追記済文書から抽出された前記基準情報に対応する前記付加情報のうち、誤認識されたものを前記難認識情報として抽出する
ことを特徴とする請求項9に記載の追記情報処理装置。
【請求項13】
前記追記情報特定処理部は、認識処理対象の前記付加情報の画像形状を変形し、前記認識処理に供される変形済情報を生成する変形処理部を有し、
前記認識性能改善手法提示部は、前記改善態様情報として、前記変形処理部による補正前の前記付加情報と前記追記情報特定処理が前記認識処理に使用する前記変形済情報とを対比して提示する認識性能情報提示部を有する
ことを特徴とする請求項4〜12のうちの何れか1項に記載の追記情報処理装置。
【請求項14】
前記認識性能改善手法提示部は、前記改善態様情報として、前記難認識追記情報抽出部が抽出した前記難認識情報の前記基準情報に対する信頼度に応じた前記基準情報からの距離に前記難認識情報を配置して提示する認識性能情報提示部を有する
ことを特徴とする請求項9〜12のうちの何れか1項に記載の追記情報処理装置。
【請求項15】
前記認識性能改善手法提示部は、前記改善態様情報として、共通の前記基準情報ごとに、当該基準情報に対応する前記追記情報認識履歴保持部が保存している付加情報の全てを、認識の容易性の順に並べて提示する認識性能情報提示部を有する
ことを特徴とする請求項6に記載の追記情報処理装置。
【請求項16】
前記認識性能改善手法提示部は、誤認識のタイプとその誤認識に対する改善手法とを予め分類しておき、前記付加情報の誤認識が前記何れのタイプに該当するのかを判定し、この判定結果に基づく改善手法を前記改善態様情報として提示する認識性能情報提示部を有する
ことを特徴とする請求項4〜12のうちの何れか1項に記載の追記情報処理装置。
【請求項17】
文書原本に付加情報が追記された追記済文書を処理対象として、追記された前記付加情報を前記追記済文書から抽出してその内容を認識処理し、この認識処理した情報に基づいて所定のデータ処理を、コンピュータを用いて行なうためのプログラムであって、
前記コンピュータを、
前記追記済文書から抽出された前記付加情報の内容を認識処理する追記情報特定処理部と、
前記追記入力された付加情報に対応する基準情報以外の情報であって、どのように追記すれば前記追記情報特定処理部における前記認識処理時の認識性能が向上するかを示す改善態様情報を提示する認識性能改善手法提示部と
して機能させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate