照合装置、照合装置の制御方法、入力装置、試験システム、制御プログラム、および記録媒体
【課題】手書き操作による入力を認識した識別候補と照合対象とが一致しているか否かについての判定を効率的に確認する。
【解決手段】識別データ１のスコア２と他の識別データ１のスコア２とが近似している場合、識別データ１に正解データ８と一致しているものがあるか否かに応じて、正誤判定３ａの信頼度４を決定する信頼性評価部１５と、信頼度４を正誤判定３ａとともにユーザに提示する正誤判定処理部１６とを備えた。
【解決手段】識別データ１のスコア２と他の識別データ１のスコア２とが近似している場合、識別データ１に正解データ８と一致しているものがあるか否かに応じて、正誤判定３ａの信頼度４を決定する信頼性評価部１５と、信頼度４を正誤判定３ａとともにユーザに提示する正誤判定処理部１６とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手書き操作による入力を認識した識別候補と照合対象とを照合することにより、両者が一致しているか否かを判定する照合装置に関するものである。
【背景技術】
【０００２】
タッチパネルを備えた表示画面を有する電子機器では、ユーザは指やスタイラスなどの指示具（以下、単に「指示具」と称する）を用いた手書き操作で、文字や図形を入力できる。直感的な操作が可能な上記の手書きインターフェースは、いわゆるスマートフォンをはじめとする情報端末や一部の家庭用ゲーム機を中心に、広く普及が進んでいる。
【０００３】
近年では、上記インターフェースを備えた電子機器を、教育分野で応用する動きが広がっている。例えば、受験者に筆記試験の解答を当該電子機器に手書き操作で入力させ、入力された手書き文字を認識してテキストデータ等に変換することにより、当該試験の採点を自動化するシステムが開発されている。
【０００４】
上記システムにおいては、文字認識の精度が問題となる。すなわち、システムが手書き文字を誤認識することにより、試験の採点（正誤の判定）を誤るおそれが考えられる。この問題に対しては、手書き文字の認識精度を向上させることが直接的な解決策として考えられる。例えば、下記の特許文献１に記載されているように、文字認識処理等の認識処理の精度を、当該認識処理のために文書全体を用意することなく向上させるなど、文字認識の精度を改善する努力が広くなされている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−０４８４９９号公報（平成２３年３月１０日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、文字認識の精度を改善することのみにより正誤の判定の過誤を撲滅することは困難である。限られた数の学習データに基づいて学習させた識別器を用いて、不特定多数の受験者の手書き文字を高精度で認識することには限界があるからである。
【０００７】
したがって、人間が文字認識または正誤判定の結果を目視で確認することにより、過誤を防ぐ方法が考えられる。しかし、文字認識で得られた識別候補を受験者に提示し、正しい候補を選択させることにより過誤を防ぐ方法は、受験者に解答を提示することにもなりかねないため望ましくない。また、採点者が正誤判定の結果を確認する方法は、受験者数や問題数が多くなるほど多大な労力が必要になるという問題がある。
【０００８】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、手書き操作による入力を認識した識別候補と照合対象とが一致しているか否かの判定についての確からしさをユーザに提示することにより、当該判定の効率的な確認を可能とする照合装置、照合装置の制御方法、入力装置、試験システム、制御プログラム、および記録媒体を提供することである。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明の照合装置は、
（１）手書き操作による入力を認識することにより得られた少なくとも１つの識別候補のそれぞれに対して当該認識の精度を評価した評価値を算出し、評価値が最大の識別候補である第一識別候補と照合対象とを照合することにより、前記第一識別候補が前記照合対象と一致しているか否かを判定する照合装置であって、
（２）前記第一識別候補の評価値と他の識別候補の評価値とが近似している場合、前記第一識別候補および他の識別候補よりなる群の中に前記照合対象と一致しているものがあるか否かに応じて、前記判定の信頼性を決定する評価手段と、
（３）前記評価手段によって決定された信頼性を、前記判定の結果とともに、ユーザに提示する提示手段とを備えたことを特徴としている。
【００１０】
また、上記の課題を解決するために、本発明の照合装置の制御方法は、
（１）手書き操作による入力を認識することにより得られた少なくとも１つの識別候補のそれぞれに対して当該認識の精度を評価した評価値を算出し、評価値が最大の識別候補である第一識別候補と照合対象とを照合することにより、前記第一識別候補が前記照合対象と一致しているか否かを判定する照合装置の制御方法であって、
（２）前記第一識別候補の評価値と他の識別候補の評価値とが近似している場合、前記第一識別候補および他の識別候補よりなる群の中に前記照合対象と一致しているものがあるか否かに応じて、前記判定の信頼性を決定する評価ステップと、
（３）前記評価ステップにおいて決定された信頼性を、前記判定の結果とともに、ユーザに提示する提示ステップとを含むことを特徴としている。
【００１１】
上記の構成によれば、本発明の照合装置および当該照合装置の制御方法は、識別候補のそれぞれに対して算出された評価値に基づいて、第一識別候補の評価値と他の識別候補の評価値とが近似しているか否かを判別できる。当該評価値が近似している場合、本発明の照合装置等は、識別候補の中に照合対象と一致しているものがあるか否かに応じて、第一識別候補が照合対象と一致しているか否かの判定に対する信頼性を決定し、当該信頼性と判定の結果とをユーザに提示できる。
【００１２】
したがって、ユーザは、例えば信頼性が低いと評価された判定を確認するだけで、高い確率でその過誤を発見できる。すなわち、本発明の照合装置および当該照合装置の制御方法は、ユーザが判定の結果の確認を効率的に行うことを可能にし、誤判定の有無をチェックする作業の負担を軽減できる。
【００１３】
また、上記照合装置では、
（１）前記評価手段は、前記評価値に基づいて計算される比較値と所定のしきい値とを比較することにより、前記第一識別候補の評価値と他の識別候補の評価値とが近似しているか否かを判別することを特徴としている。
【００１４】
上記の構成によれば、本発明の照合装置は、比較値としきい値とを比較することにより、第一識別候補の評価値と他の識別候補の評価値とが近似しているか否かを判別できる。したがって、ユーザが当該しきい値を適宜調整することにより、上記判定の信頼性の評価基準を変更できる。すなわち、例えば判定の過誤が許されない場合は当該しきい値を厳しく設定し、多少の過誤を許してもユーザの作業負担を軽減したい場合は当該しきい値を甘く設定するなど、状況に応じた評価基準を設定できる。
【００１５】
これにより、本発明の照合装置は、ユーザが判定結果の確認をより効率的に行うことを可能にし、誤判定の有無をチェックする作業の負担をさらに軽減できる。
【００１６】
また、上記照合装置では、
（１）前記第一識別候補の評価値と、２番目に大きい評価値または３番目に大きい評価値との差分値であることを特徴としている。
【００１７】
上記の構成によれば、本発明の照合装置は、識別候補のそれぞれに対して算出された評価値の中で、最大の評価値と２番目に大きい評価値との差分値、または最大の評価値と３番目に大きい評価値との差分値を比較値として用いることにより信頼性を評価する。したがって、本発明の照合装置は、第１の識別候補（第一識別候補）から第３の識別候補までを考慮して信頼性を評価できる。
【００１８】
また、上記照合装置は、
（１）前記提示手段が、前記判定の結果および前記判定の結果の信頼性をユーザに提示する際、当該判定の結果を修正する操作をユーザから受け付ける修正手段をさらに備えたことを特徴としている。
【００１９】
上記の構成によれば、本発明の照合装置は、提示した判定の結果を修正する操作をユーザから受け付ける。したがって、ユーザは、例えば信頼性が低いと評価された判定を確認した後、当該判定が過誤である場合はこれを修正できる。これにより、本発明の照合装置は、判定の結果の修正を効率的に行うことを可能にし、当該結果を修正する作業の負担を軽減できる。
【００２０】
また、上記照合装置では、
（１）前記修正手段は、手書き操作から得られた前記第一識別候補と、当該第一識別候補と照合された前記照合対象と、当該第一識別候補が前記照合対象と一致しているか否かの判定の結果との組み合わせを複数記憶した記憶装置から、前記第一識別候補および前記照合対象が共に所定の第一識別候補および所定の照合対象と一致する組み合わせを抽出し、抽出した組み合わせのそれぞれの前記判定の結果を修正する操作をユーザから受け付けることを特徴としている。
【００２１】
上記の構成によれば、本発明の照合装置は、第一識別候補および照合対象が共に所定の第一識別候補および所定の照合対象と一致する組み合わせの、それぞれの判定の結果を修正するためのユーザによる操作を受け付ける。
【００２２】
したがって、ユーザは、例えば信頼性が低いと評価された判定を確認した後、当該判定が過誤である場合は当該判定の結果を修正できるだけでなく、同様に過誤であるおそれの強い判定の結果をさらに修正できる。これにより、本発明の照合装置は、判定の結果の修正をより効率的に行うことを可能にし、当該結果を修正する作業の負担をさらに軽減できる。
【００２３】
また、本発明の入力装置は、
（１）手書き操作の軌跡を取得できる入力面を備え、前記軌跡に基づいて情報を入力可能であり、入力された当該情報を上記照合装置に送出することを特徴としている。
【００２４】
上記の構成によれば、本発明の入力装置は、手書き操作により入力した情報を上記照合装置に送出する。ここで、本発明の入力装置としては、受験者が使用する解答用クライアントが例として挙げられる。また、本発明の入力装置を介して入力される情報は、例えば外部から受信したデータに対する応答、すなわち問題データに対する解答である。
【００２５】
また、本発明の試験システムは、
（１）上記照合装置と、上記入力装置とを含むことを特徴としている。
【００２６】
上記の構成により、本発明の試験システムは、判定の確認を効率的に行うことを可能にし、誤判定の有無をチェックする作業の負担を軽減できる。これにより、本発明の試験システムは、例えば試験の自動採点など、手書き操作による入力に基づく上記判定を伴う作業を効果的に支援できる。
【００２７】
なお、前記照合装置または入力装置はコンピュータによって実現してもよい。この場合には、コンピュータを前記照合装置または入力装置の各手段として動作させることにより、前記照合装置または入力装置をコンピュータで実現させる制御プログラム、およびこれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
【発明の効果】
【００２８】
第一識別候補の評価値と他の識別候補の評価値とが近似している場合、前記第一識別候補および他の識別候補よりなる群の中に照合対象と一致しているものがあるか否かに応じて、判定の信頼性を決定する評価手段と、前記評価手段によって決定された信頼性を、前記判定の結果とともに、ユーザに提示する提示手段とを備えた構成である。
【００２９】
また、第一識別候補の評価値と他の識別候補の評価値とが近似している場合、前記第一識別候補および他の識別候補よりなる群の中に照合対象と一致しているものがあるか否かに応じて、判定の信頼性を決定する評価ステップと、前記評価ステップにおいて決定された信頼性を、前記判定の結果とともに、ユーザに提示する提示ステップとを含む構成である。
【００３０】
したがって、ユーザは、例えば信頼性が低いと評価された判定を確認するだけで、高い確率でその過誤を発見できる。すなわち、本発明の照合装置等は、ユーザが判定結果の確認を効率的に行うことを可能にし、誤判定の有無をチェックする作業の負担を軽減できるという効果を奏する。
【図面の簡単な説明】
【００３１】
【図１】本発明の一実施形態に係る採点サーバの一部構成を示すブロック図である。
【図２】本発明の一実施形態に係る解答用クライアントの一部構成を示すブロック図である。
【図３】上記採点サーバと上記解答用クライアントとを含む、本発明の一実施形態に係る試験システムの構成の概略図である。
【図４】上記解答用クライアントの表示部に表示される問題データの例を表した模式図であり、（ａ）は生徒による解答前、（ｂ）は生徒により手書き文字が記入された後の画面例を示す。
【図５】上記解答用クライアントから上記採点サーバへ送信される、手書き文字を表すデータの形式を例示した模式図である。
【図６】上記採点サーバの表示部に表示される、ある生徒の試験結果を表した模式図である。
【図７】手書き文字の識別結果を示す模式図であり、（ａ）は第１の識別データに対するスコアの値が、他の識別データに対するスコアの値よりも顕著に大きい場合、（ｂ）はスコアの間に顕著な差異がない場合を示す。
【図８】正誤判定を修正する場合に表示される画面例を示した模式図であり、（ａ）は正誤判定の修正前、（ｂ）は修正後を示す。
【図９】教師が誤認識による誤った正誤判定を修正した場合、当該修正した判定に係る識別データと正解データとの組み合わせと、同一の組み合わせとなる問題の結果を示す模式図である。
【図１０】図９に例示した試験結果の一覧表示を行うか否かを教師に選択させる場合、上記採点サーバが表示する確認ダイアログの例を示した模式図である。
【図１１】上記採点サーバおよび上記解答用クライアントが実行する処理の一例を示すフローチャートである。
【図１２】上記採点サーバが実行する、信頼度を算出するための処理の一例を示すフローチャートである。
【図１３】上記採点サーバが実行する、採点結果を確認および修正するための処理の一例を示すフローチャートである。
【図１４】上記採点サーバが実行する、類似の採点結果を確認および修正するための処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００３２】
以下、本発明の実施の形態について、図１〜図１４に基づいて詳細に説明する。なお、１つの符号にａまたはｂが付されることにより複数存在することが明示されている構成には、説明を簡潔に記述するために、これらを省略して当該構成を総称することがある（例えば、正誤判定３ａおよび正誤判定３ｂを、「正誤判定３」と総称することがある）。
【００３３】
〔試験システム１２０の概要〕
図３に基づいて、本実施の形態に係る試験システム１２０の構成について説明する。図３は、採点サーバ１００と解答用クライアント１１０とを含む試験システム１２０の構成の概略図である。
【００３４】
図示のように、試験システム１２０は、採点サーバ１００と解答用クライアント１１０とを含む。両者は、サーバ・クライアント方式に基づく通信を行う。なお、両者を中継する通信網の種類は限定されない。すなわち、当該通信網は両者が通信可能でありさえすればよく、例えばインターネットであってもよいし、ローカルエリアネットワーク（Local Area Network；ＬＡＮ）であってもよい。
【００３５】
試験システム１２０を使えば、教育機関等において学習の習熟度を評価する試験を実施できる。本実施の形態では、試験システム１２０を用いて、小学校の教師（ユーザ）が生徒に算数の試験を課す状況を想定する。ただし、これは説明のための便宜に過ぎず、試験システム１２０を適用できる状況は当該想定された状況に限定されない。例えば、各種の資格認定のための試験でも利用できるし、ゲーム等の娯楽目的でも利用できる。
【００３６】
〔採点サーバ１００および解答用クライアント１１０の概要〕
図１に基づいて、本実施の形態に係る採点サーバ１００の概要を説明する。図１は、採点サーバ１００の一部構成を示すブロック図である。
【００３７】
採点サーバ（照合装置）１００は、手書き文字（手書き操作による入力）５を認識することにより得られた少なくとも１つの識別データ（識別候補）１のそれぞれに対して当該認識の精度を評価したスコア（評価値）２を算出し、スコア２が最大の識別データである第１の識別データ（第一識別候補、以下「第１の識別データ」と称する）と正解データ（照合対象）とを照合することにより、当該第１の識別データが当該照合対象と一致しているか否かを判定する装置である。
【００３８】
一致するものが含まれると判定される場合であって、スコア２に基づいて計算される値と所定のしきい値とを比較することにより、上記判定の信頼性が低いと評価する場合、採点サーバ１００は正誤判定３ａを教師に提示して確認を求める。教師は、誤判定された解答を発見したときは、入力部８０ａを介して正誤判定３ａを正誤判定３ｂに修正できる。採点サーバ１００は、修正された正誤判定３ｂを、記憶装置３０に格納する。すなわち、採点サーバ１００は、文字認識の信頼性を評価したスコア２と、問題に対する正解データ８を用いて、手書きによる試験の採点を支援する装置と言える。
【００３９】
なお、上記の識別データ１とは、採点サーバ１００の文字認識によって得られた識別候補をいう。また、スコア２とは、採点サーバ１００が手書き文字５を識別データ１と識別することに対する確信度（精度）を評価した値をいう。以下では、後述する図７に示すように、スコア２を「８２」、「３０」などの実数値として表現するが、当該表現に限定されない。すなわち、手書き文字５を識別データ１と識別することに対する確信度を、序列可能に表現できるものであれば何でもよい。
【００４０】
図２に基づいて、本実施の形態に係る解答用クライアント１１０の概要を説明する。図２は、解答用クライアント１１０の一部構成を示すブロック図である。
【００４１】
解答用クライアント（入力装置）１１０は、手書き操作の軌跡を取得できる入力面を備え、前記軌跡に基づいて手書き文字（手書き操作の軌跡）５を入力可能であり、当該手書き文字を採点サーバ１００に送出する装置である。
【００４２】
〔試験システム１２０の動作の概略〕
図４〜図１０に基づいて、試験システム１２０（採点サーバ１００、解答用クライアント１１０）で行われる上記処理の流れの概略を説明する。試験システム１２０では、以下の４つのステップで処理が進行する。
（１）採点サーバ１００は、問題データ６を解答用クライアント１１０のそれぞれに送信する。
（２）解答用クライアント１１０は、問題データ６に対する解答として、生徒から手書き操作によって入力された手書き文字５を採点サーバ１００へ送信する。
（３）採点サーバ１００は、手書き文字５を文字認識し、認識した文字と正しい解答とを照合することによって正誤判定（答え合わせ）を行い、その結果を教師へ提示する。
（４）採点サーバ１００は、教師から正誤判定３ａを修正する入力を受け付け、修正後の正誤判定３ｂを記憶装置３０に格納する。
【００４３】
図４は、解答用クライアント１１０の表示部７０ｂに表示される問題データ（外部から受信したデータ）６の例を表した模式図であり、（ａ）は生徒による解答前、（ｂ）は生徒により手書き文字５が記入された後の画面例を示す。図４（ａ）に図示される画面例のように、解答用クライアント１１０は、生徒に採点サーバ１００から受信した問題データ６を提示する。生徒は、図４（ｂ）に図示されるように、手書き操作で解答（手書き文字５）を記入する。
【００４４】
図５は、解答用クライアント１１０から採点サーバ１００へ送信される、手書き文字５を表すデータの形式を例示した模式図である。同図に例示するように、解答用クライアント１１０は、その入力部８０ｂの入力面に接触したユーザの指やスタイラスなどの指示具（以下、単に「指示具」と称する）の、当該入力面上における２次元座標を所定の時間間隔で取得し、その一連の座標を、各問題に対して記入された手書き文字５を表すデータとする。
【００４５】
図６は、採点サーバ１００の表示部７０ａに表示される、ある生徒（同図では「日本太郎」という名前の生徒）の試験結果を表した模式図である。同図に例示するように、各問題に対して、識別データ１、正解データ８、正誤判定３ａ、および信頼度４が、表形式で教師に提示される。なお、当該表で提示される識別データ１は、第１の識別データである。すなわち、最もスコア２の高い識別候補が答え合わせ（正誤判定）に用いられる。
【００４６】
ここで、正解データ８とは、問題データ６に対応する正しい解答である。また、正誤判定３とは、生徒が当該問題に正答したか否かを示す情報である。図６に例示するように、採点サーバ１００は、正解または不正解を示す適当な記号を表示することにより、正誤判定３を教師に提示する。そして、信頼度４とは、採点サーバ１００による正誤判定３ａの信頼性を示す情報である。信頼度４については、後で詳述する。
【００４７】
図７は、手書き文字５の識別結果を示す模式図であり、（ａ）は第１の識別データ１に対するスコア２の値が、他の識別データ１に対するスコア２の値よりも顕著に大きい場合、（ｂ）はスコア２の間に顕著な差異がない場合を示す。採点サーバ１００は、手書き文字５の識別結果として少なくとも１つの識別データ１を得る。また、それぞれの識別データ１に対して、文字認識の精度を示すスコア２を算出する。
【００４８】
図７（ａ）では、第１の識別データ１として「３」と認識される場合のスコア２が「８２」であり、その他の場合のスコア２が「３０」または「２０」である。このとき、採点サーバ１００は、第１の識別データ１に対するスコア２の値が、他の識別データ１に対するスコア２の値よりも顕著に大きいと判定する。このとき、採点サーバ１００は、当該正誤判定３ａは信頼性が高いとして、信頼度４を「高」に設定する。なお、図７における例では、各スコアは０〜１００の範囲で正規化されているとする。
【００４９】
図７（ｂ）では、採点サーバ１００は、第１の識別データ１に対するスコア２の値は、他の識別データ１に対するスコア２の値よりも顕著な差異がないと判定する。また、この問題データ６に対する正解データは、「４」であるとする。この場合、生徒は正しく「４」と記入しているところを、採点サーバ１００の誤認識によって第１の識別データ１が「９」として認識され、これが正解データ８と照合された結果、誤った判定が行われたおそれがある。このとき、採点サーバ１００は、当該正誤判定は信頼性が低いとして、信頼度４を「低」に設定する。
【００５０】
図８は、図６に例示した試験結果の一覧表示を確認した教師が、信頼度４が「低」に設定されている「問題２」を選択し、正誤判定３ａを修正する場合に表示される画面例を示した模式図であり、（ａ）は正誤判定３ａの修正前、（ｂ）は修正後を示す。同図に例示するように、教師は正誤判定３ａの信頼度４が低いと評価された問題に対して、その識別データ１、正解データ８、および正誤判定３ａのすべての組み合わせを確認でき、誤った正誤判定３ａを発見したときは、正しい正誤判定３ｂに修正できる。
【００５１】
図９は、教師が誤った正誤判定３ａを修正した場合、当該修正した判定に係る識別データ１と正解データ８との組み合わせと、同一の組み合わせとなる問題の結果を示す模式図である。同図に例示されるように、採点サーバ１００は、正誤判定３ａを修正した上記組み合わせ（同図では、識別データ１が「９」に対して、正解データ８が「４」となる組み合わせ）と同一の組み合わせの試験結果のみを、教師に提示する。同じ文字は同じように正誤判定３ａを誤っているおそれが強く、他の組み合わせに比べて正誤判定３ａを修正する必要性が高いと考えられるからである。このように、同一の組み合わせの試験結果について教師に確認を促すことにより、効率的に正誤判定３ａの修正を行える。
【００５２】
図１０は、図９に例示した試験結果の一覧表示を行うか否かを教師に選択させる場合、採点サーバ１００が表示する確認ダイアログの例を示した模式図である。同図に例示されるように、同一の組み合わせに対する試験結果を一覧表示する場合、採点サーバは教師に確認を行ってもよい。
【００５３】
〔採点サーバ１００の構成〕
図１に基づいて、本実施の形態に係る採点サーバ１００の各構成の詳細について説明する。図示のように、採点サーバ１００は、通信部２０ａ、文字認識部４０、採点部５０、制御部１１、信頼性評価部（評価手段）１５、正誤判定処理部（提示手段）１６、修正部（修正手段）１７、表示制御部６０ａ、表示部７０ａ、入力部８０ａ、および記憶装置３０を含む。
【００５４】
なお、本実施の形態に直接関係のない部分（例えば、音声出力を実現する部分や外部機器との接続インターフェースなど）は、記載の簡潔性を担保する観点から、構成の説明およびブロック図から省略した。ただし、実施の実情に則して、本実施の形態に係る採点サーバ１００は当該省略した構成を含んでもよい。
【００５５】
以下、通信部２０ａ（送信部２２ａ、受信部２１ａ）、文字認識部４０（特徴抽出部４１、識別部４２、スコア算出部４３）、採点部５０、制御部１１（信頼性評価部１５、正誤判定処理部１６、修正部１７）、表示制御部６０ａ、表示部７０ａ、入力部８０ａ、記憶装置３０の順序で、各構成が担う機能を説明する。
【００５６】
通信部２０ａは、所定の通信方式にしたがう通信網を通じて解答用クライアント１１０と通信するものである。通信を実現する本質的な機能さえ備わってさえいればよく、使用する電気通信回線、通信方式、または通信媒体などは限定されない。機器としては、例えばイーサネット（登録商標）アダプタなどで構成できる。また、通信方式や通信媒体としては、例えばＩＥＥＥ８０２．１１無線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）などを利用できる。通信部２０ａは、送信部２２ａと受信部２１ａとを含む。
【００５７】
送信部２２ａは、記憶装置３０から問題データ６を読み出して、解答用クライアント１１０へ送信する。
【００５８】
受信部２１ａは、解答用クライアント１１０から送信された手書き文字５（図５参照）を受信して、文字認識部４０へ出力する。受信部２１ａは、手書き文字５が入力されるたびに（すなわち、各問題に対する解答ごとに）当該手書き文字を文字認識部４０へ出力してもよいし、入力された手書き文字５を記憶装置３０へ格納しておき、全部または一部の問題に対する解答が得られた後で、手書き文字５を文字認識部４０へ出力してもよい。
【００５９】
文字認識部４０は、受信部２１ａから入力された手書き文字５を文字認識する。文字の認識に必要となる識別器のパラメータはあらかじめ記憶装置３０に格納されており、文字認識部４０は適宜これを読み出して使用する。文字認識部４０は、特徴抽出部４１、識別部４２、およびスコア算出部４３を含む。
【００６０】
特徴抽出部４１は、所定の基準にしたがって手書き文字５の特徴量を抽出し、抽出した特徴量を識別部４２へ出力する。特徴量を抽出した後に、例えばフィッシャー判別分析等の多変量解析を行うことにより、識別部４２で用いられる識別手法に適した形式のデータへ当該特徴量を変換してもよい。これにより、識別部４２における識別精度を向上させることができる。
【００６１】
識別部４２は、所定の文字集合に含まれる文字のうち、手書き文字５がいずれの文字に該当するかを、特徴抽出部４１から入力された特徴量に基づいて識別し、識別した結果を識別データ１としてスコア算出部４３および採点部５０へ出力する。識別部４２で用いられる識別手法は一般的な手法であってよく、例えばサポートベクトルマシン（Support Vector Machine）を用いてよい。
【００６２】
なお、識別部４２は、識別データ１を得るたびに、当該識別データをスコア算出部４３および採点部５０へ出力してよい。または、識別データ１を得るたびに、記憶装置３０へ逐次格納していき、すべての問題に対する識別データ１が得られた後で、記憶装置３０から識別データ１を読み出し、当該識別データをスコア算出部４３および採点部５０へ出力してもよい。言い換えれば、入力される手書き文字５に対してオンラインで処理を進めてもよいし、入力された手書き文字５を一時的に記憶装置３０へ格納しておき、全部または一部の手書き文字５が揃ってからバッチで処理を進めてもよい。これについては、後述するスコア算出部４３、採点部５０における処理についても同様である。
【００６３】
スコア算出部４３は、識別部４２から入力された識別データ１に対するスコア２を算出し、信頼性評価部１５へ出力する。上記の例のように、識別部４２にサポートベクトルマシンを用いた場合、サポートベクトルから判別境界までの距離を所定の範囲で正規化した値を、スコア２として用いることができる。
【００６４】
採点部５０は、識別部４２から入力された識別データ１と、記憶装置３０から読み出した正解データ８とを照合し、正誤判定処理部１６へ正誤判定３ａを出力する。前述したように、採点部５０は、第１の識別データ１と正解データ８とを照合して正誤判定３ａを決定することに注意する。
【００６５】
制御部１１は、採点サーバ１００の各種機能を統括的に制御するものである。制御部１１は、信頼性評価部１５、正誤判定処理部１６、および修正部１７を含む。
【００６６】
信頼性評価部１５は、スコア算出部４３から入力されたスコア２、および採点部５０から入力された識別データ１および正解データ８に基づいて、手書き文字５の認識の信頼性を示す信頼度４を計算し、識別データ１、スコア２、信頼度４、および正解データ８を正誤判定処理部１６へ出力する。信頼度４の計算方法は、後で詳述する。
【００６７】
正誤判定処理部１６は、採点部５０から入力された正誤判定３ａと、信頼性評価部１５から入力された識別データ１、スコア２、信頼度４、および正解データ８とを表示制御部６０ａに出力することで、採点の結果を教師に提示する（図６参照）。このとき、正誤判定処理部１６は、選択ダイアログ等を表示することにより、採点の結果を確認するか否かを教師に選択させてもよい。
【００６８】
また、正誤判定処理部１６は、修正部１７から修正データ９の入力があった場合は、当該修正データにしたがって正誤判定３ａを正誤判定３ｂに修正する。修正データ９の入力がない場合は、正誤判定３ａを変更せず、正誤判定３ｂとする。正誤判定処理部１６は、教師が採点結果の確認を終了したことを示す信号を受信した場合（例えば、教師が図６に例示される「確認終了」ボタンを押下した場合など）に、正誤判定３ｂを記憶装置３０に格納する。
【００６９】
さらに、正誤判定処理部１６は、教師が正誤判定を行うことを示す信号を受信した場合（例えば、教師が図６に例示される「修正」ボタンを押下した場合など）に、図８に例示される判定修正画面を表示する。加えて、正誤判定処理部１６は、類似判定結果の一覧を表示する（図９参照）。このとき、正誤判定処理部１６は、図１０に例示するような選択ダイアログ等を表示することにより、類似の判定結果を確認するか否かを教師に選択させてもよい。
【００７０】
修正部１７は、入力部８０ａから入力された修正入力に基づいて、正誤判定３ａを正誤判定３ｂへ修正するための修正データ９を生成し、正誤判定処理部１６へ出力する。
【００７１】
表示制御部６０ａは、正誤判定処理部１６が出力する情報（例えば、図６に例示する採点表など）を、表示部７０ａで表示可能な形式にしたがう表示用データ７に変換する。ここで、表示用データ７としては、例えばビットマップ（bitmap）形式の画像であってよいし、他の形式に従う画像、またはその他表示に適したデータ形式であってもよい。なお、表示制御部６０ａは、当該情報を表示用データ７へ形式変換できるものであればよく、例えば一般的なディスプレイアダプタでよい。
【００７２】
表示部７０ａは、映像等を表示する装置である。本実施の形態では主に液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）を想定しているが、表示機能を有する装置（特に、フラットパネルディスプレイ）でありさえすればハードウェアの種類は限定されない。例えば、プラズマディスプレイ（Plasma Display Panel；ＰＤＰ）やＥＬ（Electroluminescence）ディスプレイなどの表示素子と、表示制御部６０ａから入力を受けた表示用データ７に基づいて表示素子を駆動するドライバ回路とを備える装置等で構成できる。
【００７３】
入力部８０ａは、教師からの修正入力を受け付ける。本実施の形態では、入力部８０ａとして主にタッチパネルを想定している。ただし、ユーザによる修正入力で採点サーバ１００に対して情報の入力が可能な入力面を備えてさえいれば（すなわち、当該入力面は入力部８０ａに含まれる）、ハードウェアの種類は限定されない。入力部８０ａは、その入力面に接触した指示具の当該入力面上における２次元の座標情報を所定の時間間隔で取得し、その一連の座標データを、修正入力として修正部１７へ出力する。
【００７４】
図１では、各構成が有する機能を明示するために、入力部８０ａと表示部７０ａとを分離して示している。しかし、例えば入力部８０ａがタッチパネルであり、表示部７０ａが液晶ディスプレイである場合、両者は一体として構成されることが望ましい（図３を参照）。すなわち、入力部８０ａは、矩形板状に形成されたガラス等の透明な透過部材からなるデータ入力面を含んで構成され、表示部７０ａが有するデータ表示面を覆うように一体的に形成されてよい。これにより、入力部８０ａの入力面に対する指示具の接触位置と、表示部７０ａが当該接触に応じて表示面に表示する図形の位置とが一致するため、ユーザは自然な手書き感覚を得ることができる。
【００７５】
記憶装置３０は、問題データ６や識別部４２で用いられる識別器のパラメータなどを格納した不揮発性の記憶機器である。記憶装置３０は、例えばハードディスク、半導体メモリ、ＤＶＤ（Digital Versatile Disk）等で構成できる。なお、本実施の形態では、記憶装置３０は、採点サーバ１００に内蔵される装置として図１に示しているが、採点サーバ１００の外部に通信可能に接続された外部記憶装置であってもよい。
【００７６】
〔解答用クライアント１１０の構成〕
図２に基づいて、本実施の形態に係る解答用クライアント１１０の各構成の詳細について説明する。図示のように、解答用クライアント１１０は、通信部２０ｂ（送信部２２ｂ、受信部２１ｂ）、表示制御部６０ｂ、表示部７０ｂ、および入力部８０ｂを含む。上記の採点サーバ１００と同様に、実施の実情に則して、本実施の形態に係る解答用クライアント１１０は省略したその他の構成を含んでもよい。
【００７７】
また、通信部２０ｂは通信部２０ａと、送信部２２ｂは送信部２２ａと、受信部２１ｂは受信部２１ａと、表示制御部６０ｂは表示制御部６０ａと、表示部７０ｂは表示部７０ａと、入力部８０ｂは入力部８０ａと機能が同一であり、重複した説明を省略する。
【００７８】
入力部８０ｂは、生徒からの解答（手書き文字５）の入力を受け付ける。入力部８０ａと同様に、入力面における２次元の座標情報を取得し（図５参照）、手書き文字５として送信部２２ｂに出力する。また、入力部８０ｂは、手書き文字５を表示制御部６０ｂにも出力するため、生徒は手書き入力している軌跡をリアルタイムで視認できる。なお、前述と同様に、表示部７０ｂと入力部８０ｂとは一体として構成されることが望ましい。
【００７９】
送信部２２ｂは、入力部８０ｂから入力された手書き文字５を採点サーバ１００へ送信する。送信部２２ｂは、手書き文字５が入力されるたびに（すなわち、各問題に対する解答ごとに）当該手書き文字を採点サーバ１００へ送信してもよいし、入力された手書き文字５を記憶装置（図示せず）へ格納しておき、全部または一部の問題に対する解答が得られた後で、手書き文字５を採点サーバ１００へ送信してもよい。以下の説明では、送信部２２ｂは、生徒が問題に対する解答を終えたことを示す信号を入力部８０ｂから受け取った場合（例えば、生徒が図４に例示される「解答終了」ボタンを押下した場合など）に、手書き文字５を採点サーバ１００へ送信することとする。
【００８０】
〔信頼度４の計算方法〕
図７に基づいて、信頼性評価部１５で行われる信頼度４の計算方法について説明する。まず、信頼性評価部１５は、スコア２が所定の値の範囲におさまるように、スコア２を正規化する。例えば、図７（ａ）に示す例では、前述したように、スコア２は０〜１００の範囲で正規化されている。なお、スコア算出部４３からスコア２が入力された時点で、すでにスコア２が所定の範囲におさまっている場合は、上記の正規化の処理は省略できる。
【００８１】
また、正規化の範囲は上記の例のように０〜１００だけに限られない。すなわち、スコア２が互いに近似しているか否かを判定するための相対的な値の範囲を示す所定のしきい値（後述するδ）を定義するために、スコア２の取り得る値の範囲が必要となるに過ぎない。したがって、識別部４２で用いられる文字認識の手法やスコア算出部４３で用いられるスコア２の計算方法などにしたがって、正規化の範囲は適宜変更してよい。
【００８２】
次に、信頼性評価部１５は、最大値をとるスコア２と、２番目に大きい値をとるスコア２との差分値（比較値）を計算する。この差分値が相対的な値の範囲を示す所定のしきい値を上回る場合（すなわち、上記スコアが互いに近似していない場合）、信頼性評価部１５は、文字認識の結果が信頼できることにより正誤判定３ａも信頼できるとして、信頼度４を「高」に設定する。この計算を数式で表現すると、以下のようになる。
【００８３】
｜Ａ１−Ａ２｜＞δのとき、信頼度４＝「高」
ここで、Ａ１は最大値をとるスコア２、Ａ２は２番目に大きい値をとるスコア２、δは相対的な値の範囲を示すしきい値である。なお、上記の例では、最大値をとるスコア２と２番目に大きい値をとるスコア２との差分値を計算したが、最大値をとるスコア２と３番目に大きい値をとるスコア２との差分値を計算してもよい。
【００８４】
また、しきい値δは、問題データ６や生徒などの性質に合わせて適宜調整してよい。これにより、採点サーバ１００は、判定結果の確認をより効率的に行うことを可能にし、誤判定の有無をチェックする作業の負担をさらに軽減できる。
【００８５】
一方、上記の差分値が当該しきい値を下回る場合（すなわち、上記スコアが互いに近似している場合）、信頼性評価部１５は、識別データ１の中に正解データ８と一致するものが含まれているか否かを判定する。例えば、図７（ｂ）に示す例において、正解データ８が「２」であった場合、識別データ１のいずれも当該正解データと一致しない。この場合、信頼性評価部１５は信頼度４を「高」に設定する。スコア２が互いに近似することにより、文字認識の結果に信頼性がない場合であっても、上位の識別データ１に正解データ８と一致するものが含まれていなければ、採点部５０が行った正誤判定３ａが誤っているおそれは小さいと考えられるからである。
【００８６】
他方、上記の差分値が当該しきい値を下回っており、かつ、識別データ１の中に正解データ８と一致するものが含まれている場合、信頼性評価部１５は信頼度４を「低」に設定する。この場合、採点部５０が行った正誤判定３ａは誤っているおそれが強く、教師の目視による確認が必要と考えられるからである。
【００８７】
なお、信頼性評価部１５は、第１の識別データ１のスコア２が所定の値よりも小さい場合、他の識別データ１のスコア２との相対関係にかかわらず、信頼度４を「低」と設定してもよい。また、上記の例では、所定のしきい値に基づいて、信頼度４を「高」または「低」の二値に分類したが、例えば上記差分値を信頼度４としてアナログ値のままで扱ってもよい。さらに、信頼度４の計算方法は、上記方法だけに限られない。例えば、スコア２の分散（標準偏差）を計算し、この値が所定のしきい値よりも大きい場合は信頼度４を「高」と設定するようにしてもよい。
【００８８】
〔採点サーバ１００および解答用クライアント１１０が実行する処理〕
図１１〜図１４に基づいて、採点サーバ１００および解答用クライアント１１０が実行する処理の流れを説明する。図１１は、採点サーバ１００および解答用クライアント１１０が実行する処理の一例を示すフローチャートである。
【００８９】
採点サーバ１００の送信部２２ａは、記憶装置３０から問題データ６を読み出し、これを解答用クライアント１１０に送信する（ステップ１：以下、Ｓ１のように略記する）。解答用クライアント１１０の受信部２１ｂは問題データ６を受信し（Ｓ２）、これを表示制御部６０ｂへ出力することで、問題データ６を生徒に提示する。入力部８０ｂは、生徒からの手書き入力を受け付け（Ｓ３）、手書き文字５を送信部２２ｂへ出力する。送信部２２ｂは、生徒が問題に対する解答を終えたことを示す信号を入力部８０ｂから受け取った場合（Ｓ４においてＹＥＳ）、手書き文字５を採点サーバ１００へ送信する（Ｓ５）。
【００９０】
採点サーバ１００の受信部２１ａは、解答用クライアント１１０から手書き文字５を受信し（Ｓ６）、これを特徴抽出部４１へ出力する。特徴抽出部４１は、手書き文字５の特徴量を抽出し、これを識別部４２へ出力する（Ｓ７）。識別部４２は、当該特徴量に基づいて手書き文字５の文字認識を行い（Ｓ８）、得られた識別データ１をスコア算出部４３および採点部５０へ出力する。スコア算出部４３は、識別データ１に基づいてスコア２を算出し（Ｓ９）、これを信頼性評価部１５へ出力する。採点部５０は、識別部４２から入力された識別データ１と、記憶装置３０から読み出した正解データ８とを照合し、正誤判定処理部１６へ正誤判定３ａと識別データ１とを出力する（Ｓ１０）。
【００９１】
信頼性評価部１５は、スコア算出部４３から入力されたスコア２と、採点部５０から入力された識別データ１および正解データ８とに基づいて、正誤判定３ａの信頼性を示す信頼度４を計算し、識別データ１、スコア２、信頼度４、および正解データ８を、正誤判定処理部１６へ出力する（Ｓ１１、評価ステップ）。正誤判定処理部１６は、採点部５０から入力された正誤判定３ａと、信頼性評価部１５から入力された識別データ１、スコア２、信頼度４、および正解データ８とを、表示制御部６０ａに出力することで、採点の結果を教師に提示し、誤った正誤判定３ａに対する修正入力を受け付ける（Ｓ１２、提示ステップ）。
【００９２】
図１２は、信頼性評価部１５が実行する、信頼度４を算出するための処理の一例を示すフローチャートである。
【００９３】
信頼性評価部１５は、まずスコア２を正規化する（Ｓ１９）。次に、信頼性評価部１５は、最大値をとるスコア２と、２番目に大きい値をとるスコア２または３番目に大きい値をとるスコア２との差分値を計算する。この差分値を所定のしきい値と比較することにより、第１候補のスコア（最大値をとるスコア２）〜第３候補のスコア（３番目に大きい値をとるスコア２）が近似しているか否かを判定する（Ｓ２０）。
【００９４】
近似していると判定する場合（Ｓ２０においてＹＥＳ）、信頼性評価部１５は、識別データ１の中に正解データ８と一致するものが含まれているか否かを判定する（Ｓ２１）。一致するものが含まれていると判定する場合（Ｓ２１においてＹＥＳ）、信頼性評価部１５は、信頼度４を「低」に設定する（Ｓ２２）。一方、近似していないと判定する場合（Ｓ２０においてＮＯ）、または一致するものが含まれていないと判定する場合（Ｓ２１においてＮＯ）、信頼性評価部１５は、信頼度４を「高」に設定する（Ｓ２３）。
【００９５】
図１３は、正誤判定処理部１６が実行する、採点結果を確認および修正するための処理の一例を示すフローチャートである。
【００９６】
正誤判定処理部１６は、採点サーバ１００による採点の結果を確認するか否かを、教師に選択させる（Ｓ３０）。教師が採点結果の確認を所望する選択を行った場合（Ｓ３０においてＹＥＳ）、正誤判定処理部１６は、図６に例示されるように、採点結果を一覧表示する（Ｓ３１）。正誤判定処理部１６は、教師が採点結果の確認を所望しない選択を行った場合（Ｓ３０においてＮＯ）、または教師が採点結果の確認を終了したことを示す信号を受信した場合（Ｓ３２においてＹＥＳ）、処理を終了する（ＥＮＤ）。
【００９７】
一方、正誤判定処理部１６は、採点結果の確認を終了したことを示す信号を受信せず（Ｓ３２においてＮＯ）、教師が正誤判定を行うことを示す信号を受信した場合（Ｓ３３においてＹＥＳ）、図８に例示される判定修正画面を表示する（Ｓ３４）。
【００９８】
修正部１７は、教師からの修正入力を待ち受ける（Ｓ３５）。修正部１７は、修正入力を検知すると（Ｓ３５においてＹＥＳ）、正誤判定３ａを正誤判定３ｂへ修正するための修正データ９を生成し、正誤判定処理部１６へ出力する。正誤判定処理部１６は、当該修正データに基づいて、正誤判定３ａを正誤判定３ｂへ修正する（Ｓ３６）。そして、正誤判定処理部１６は、類似判定結果の修正処理を実行する（Ｓ３７）。
【００９９】
図１４は、正誤判定処理部１６が実行する、類似の採点結果を確認および修正するための処理の一例を示すフローチャートである。
【０１００】
正誤判定処理部１６は、図１０に例示するような選択ダイアログを表示し（Ｓ４０）、類似の判定結果を確認するか否かを教師に選択させる（Ｓ４１）。類似の判定結果を確認する入力が検知された場合（Ｓ４１においてＹＥＳ）、正誤判定処理部１６は、図９に例示するような類似判定結果の一覧を表示する（Ｓ４２）。以後の処理は、図１３を参照して説明したＳ３２〜Ｓ３６と同様であるため、説明を省略する。
【０１０１】
一方、類似の判定結果を確認する入力が検知されなかった場合（Ｓ４１においてＮＯ）、または教師が採点結果の確認を終了したことを示す信号を受信した場合（Ｓ３２においてＹＥＳ）、処理を終了する（ＥＮＤ）。
【０１０２】
〔採点サーバ１００により奏される効果〕
ユーザは信頼度４が低いと評価された判定を確認するだけで、高い確率で正誤判定３ａの過誤を発見できる。すなわち、採点サーバ１００は、正誤判定３ａの確認を効率的に行うことを可能にし、誤判定の有無をチェックする作業の負担を軽減できるという効果を奏する。
【０１０３】
〔各実施の形態に含まれる構成（技術的手段）の組み合わせについて〕
上述した実施の形態に含まれる構成は、適宜組み合わせられることに注意する。すなわち、上記の実施の形態で説明したすべての構成は、当該説明に係る実施の形態のみならず、他の実施の形態においても当該構成の全部または一部を組み合わせて利用でき、それによって得られる実施の形態についても本発明の技術的範囲に含まれる。
【０１０４】
さらに換言すれば、本発明は上述した実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。
【０１０５】
例えば、文字認識部４０は、採点サーバ１００に備えられているとして説明したが、解答用クライアント１１０に備えられていてもよい。この場合、解答用クライアント１１０は、手書き文字５に代えて、これを認識した識別データ１とスコア２とを採点サーバ１００へ送信する。
【０１０６】
〔ソフトウェアによる実現例〕
最後に、採点サーバ１００および解答用クライアント１１０（試験システム１２０）の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
【０１０７】
後者の場合、採点サーバ１００および解答用クライアント１１０（試験システム１２０）は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである採点サーバ１００および解答用クライアント１１０（試験システム１２０）の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、採点サーバ１００および解答用クライアント１１０（試験システム１２０）に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１０８】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
【０１０９】
また、採点サーバ１００および解答用クライアント１１０（試験システム１２０）を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１１０】
本発明は、手書きによる試験の採点を支援する装置に利用でき、例えば各種の資格認定等の試験に好適に適用できる。また、ゲーム等の娯楽目的にも適用できる。
【符号の説明】
【０１１１】
１ 識別データ（識別候補、第一識別候補）
２ スコア（評価値）
３ａ 正誤判定（判定の結果）
３ｂ （修正後の）正誤判定（判定の結果）
４ 信頼度（信頼性）
５ 手書き文字（手書き操作による入力、手書き操作の軌跡）
８ 正解データ（照合対象）
１５ 信頼性評価部（評価手段）
１６ 正誤判定処理部（提示手段）
１７ 修正部（修正手段）
８０ａ 入力部
８０ｂ 入力部（入力面）
１００ 採点サーバ（照合装置）
１１０ 解答用クライアント（入力装置）
１２０ 試験システム
【技術分野】
【０００１】
本発明は、手書き操作による入力を認識した識別候補と照合対象とを照合することにより、両者が一致しているか否かを判定する照合装置に関するものである。
【背景技術】
【０００２】
タッチパネルを備えた表示画面を有する電子機器では、ユーザは指やスタイラスなどの指示具（以下、単に「指示具」と称する）を用いた手書き操作で、文字や図形を入力できる。直感的な操作が可能な上記の手書きインターフェースは、いわゆるスマートフォンをはじめとする情報端末や一部の家庭用ゲーム機を中心に、広く普及が進んでいる。
【０００３】
近年では、上記インターフェースを備えた電子機器を、教育分野で応用する動きが広がっている。例えば、受験者に筆記試験の解答を当該電子機器に手書き操作で入力させ、入力された手書き文字を認識してテキストデータ等に変換することにより、当該試験の採点を自動化するシステムが開発されている。
【０００４】
上記システムにおいては、文字認識の精度が問題となる。すなわち、システムが手書き文字を誤認識することにより、試験の採点（正誤の判定）を誤るおそれが考えられる。この問題に対しては、手書き文字の認識精度を向上させることが直接的な解決策として考えられる。例えば、下記の特許文献１に記載されているように、文字認識処理等の認識処理の精度を、当該認識処理のために文書全体を用意することなく向上させるなど、文字認識の精度を改善する努力が広くなされている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−０４８４９９号公報（平成２３年３月１０日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、文字認識の精度を改善することのみにより正誤の判定の過誤を撲滅することは困難である。限られた数の学習データに基づいて学習させた識別器を用いて、不特定多数の受験者の手書き文字を高精度で認識することには限界があるからである。
【０００７】
したがって、人間が文字認識または正誤判定の結果を目視で確認することにより、過誤を防ぐ方法が考えられる。しかし、文字認識で得られた識別候補を受験者に提示し、正しい候補を選択させることにより過誤を防ぐ方法は、受験者に解答を提示することにもなりかねないため望ましくない。また、採点者が正誤判定の結果を確認する方法は、受験者数や問題数が多くなるほど多大な労力が必要になるという問題がある。
【０００８】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、手書き操作による入力を認識した識別候補と照合対象とが一致しているか否かの判定についての確からしさをユーザに提示することにより、当該判定の効率的な確認を可能とする照合装置、照合装置の制御方法、入力装置、試験システム、制御プログラム、および記録媒体を提供することである。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明の照合装置は、
（１）手書き操作による入力を認識することにより得られた少なくとも１つの識別候補のそれぞれに対して当該認識の精度を評価した評価値を算出し、評価値が最大の識別候補である第一識別候補と照合対象とを照合することにより、前記第一識別候補が前記照合対象と一致しているか否かを判定する照合装置であって、
（２）前記第一識別候補の評価値と他の識別候補の評価値とが近似している場合、前記第一識別候補および他の識別候補よりなる群の中に前記照合対象と一致しているものがあるか否かに応じて、前記判定の信頼性を決定する評価手段と、
（３）前記評価手段によって決定された信頼性を、前記判定の結果とともに、ユーザに提示する提示手段とを備えたことを特徴としている。
【００１０】
また、上記の課題を解決するために、本発明の照合装置の制御方法は、
（１）手書き操作による入力を認識することにより得られた少なくとも１つの識別候補のそれぞれに対して当該認識の精度を評価した評価値を算出し、評価値が最大の識別候補である第一識別候補と照合対象とを照合することにより、前記第一識別候補が前記照合対象と一致しているか否かを判定する照合装置の制御方法であって、
（２）前記第一識別候補の評価値と他の識別候補の評価値とが近似している場合、前記第一識別候補および他の識別候補よりなる群の中に前記照合対象と一致しているものがあるか否かに応じて、前記判定の信頼性を決定する評価ステップと、
（３）前記評価ステップにおいて決定された信頼性を、前記判定の結果とともに、ユーザに提示する提示ステップとを含むことを特徴としている。
【００１１】
上記の構成によれば、本発明の照合装置および当該照合装置の制御方法は、識別候補のそれぞれに対して算出された評価値に基づいて、第一識別候補の評価値と他の識別候補の評価値とが近似しているか否かを判別できる。当該評価値が近似している場合、本発明の照合装置等は、識別候補の中に照合対象と一致しているものがあるか否かに応じて、第一識別候補が照合対象と一致しているか否かの判定に対する信頼性を決定し、当該信頼性と判定の結果とをユーザに提示できる。
【００１２】
したがって、ユーザは、例えば信頼性が低いと評価された判定を確認するだけで、高い確率でその過誤を発見できる。すなわち、本発明の照合装置および当該照合装置の制御方法は、ユーザが判定の結果の確認を効率的に行うことを可能にし、誤判定の有無をチェックする作業の負担を軽減できる。
【００１３】
また、上記照合装置では、
（１）前記評価手段は、前記評価値に基づいて計算される比較値と所定のしきい値とを比較することにより、前記第一識別候補の評価値と他の識別候補の評価値とが近似しているか否かを判別することを特徴としている。
【００１４】
上記の構成によれば、本発明の照合装置は、比較値としきい値とを比較することにより、第一識別候補の評価値と他の識別候補の評価値とが近似しているか否かを判別できる。したがって、ユーザが当該しきい値を適宜調整することにより、上記判定の信頼性の評価基準を変更できる。すなわち、例えば判定の過誤が許されない場合は当該しきい値を厳しく設定し、多少の過誤を許してもユーザの作業負担を軽減したい場合は当該しきい値を甘く設定するなど、状況に応じた評価基準を設定できる。
【００１５】
これにより、本発明の照合装置は、ユーザが判定結果の確認をより効率的に行うことを可能にし、誤判定の有無をチェックする作業の負担をさらに軽減できる。
【００１６】
また、上記照合装置では、
（１）前記第一識別候補の評価値と、２番目に大きい評価値または３番目に大きい評価値との差分値であることを特徴としている。
【００１７】
上記の構成によれば、本発明の照合装置は、識別候補のそれぞれに対して算出された評価値の中で、最大の評価値と２番目に大きい評価値との差分値、または最大の評価値と３番目に大きい評価値との差分値を比較値として用いることにより信頼性を評価する。したがって、本発明の照合装置は、第１の識別候補（第一識別候補）から第３の識別候補までを考慮して信頼性を評価できる。
【００１８】
また、上記照合装置は、
（１）前記提示手段が、前記判定の結果および前記判定の結果の信頼性をユーザに提示する際、当該判定の結果を修正する操作をユーザから受け付ける修正手段をさらに備えたことを特徴としている。
【００１９】
上記の構成によれば、本発明の照合装置は、提示した判定の結果を修正する操作をユーザから受け付ける。したがって、ユーザは、例えば信頼性が低いと評価された判定を確認した後、当該判定が過誤である場合はこれを修正できる。これにより、本発明の照合装置は、判定の結果の修正を効率的に行うことを可能にし、当該結果を修正する作業の負担を軽減できる。
【００２０】
また、上記照合装置では、
（１）前記修正手段は、手書き操作から得られた前記第一識別候補と、当該第一識別候補と照合された前記照合対象と、当該第一識別候補が前記照合対象と一致しているか否かの判定の結果との組み合わせを複数記憶した記憶装置から、前記第一識別候補および前記照合対象が共に所定の第一識別候補および所定の照合対象と一致する組み合わせを抽出し、抽出した組み合わせのそれぞれの前記判定の結果を修正する操作をユーザから受け付けることを特徴としている。
【００２１】
上記の構成によれば、本発明の照合装置は、第一識別候補および照合対象が共に所定の第一識別候補および所定の照合対象と一致する組み合わせの、それぞれの判定の結果を修正するためのユーザによる操作を受け付ける。
【００２２】
したがって、ユーザは、例えば信頼性が低いと評価された判定を確認した後、当該判定が過誤である場合は当該判定の結果を修正できるだけでなく、同様に過誤であるおそれの強い判定の結果をさらに修正できる。これにより、本発明の照合装置は、判定の結果の修正をより効率的に行うことを可能にし、当該結果を修正する作業の負担をさらに軽減できる。
【００２３】
また、本発明の入力装置は、
（１）手書き操作の軌跡を取得できる入力面を備え、前記軌跡に基づいて情報を入力可能であり、入力された当該情報を上記照合装置に送出することを特徴としている。
【００２４】
上記の構成によれば、本発明の入力装置は、手書き操作により入力した情報を上記照合装置に送出する。ここで、本発明の入力装置としては、受験者が使用する解答用クライアントが例として挙げられる。また、本発明の入力装置を介して入力される情報は、例えば外部から受信したデータに対する応答、すなわち問題データに対する解答である。
【００２５】
また、本発明の試験システムは、
（１）上記照合装置と、上記入力装置とを含むことを特徴としている。
【００２６】
上記の構成により、本発明の試験システムは、判定の確認を効率的に行うことを可能にし、誤判定の有無をチェックする作業の負担を軽減できる。これにより、本発明の試験システムは、例えば試験の自動採点など、手書き操作による入力に基づく上記判定を伴う作業を効果的に支援できる。
【００２７】
なお、前記照合装置または入力装置はコンピュータによって実現してもよい。この場合には、コンピュータを前記照合装置または入力装置の各手段として動作させることにより、前記照合装置または入力装置をコンピュータで実現させる制御プログラム、およびこれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
【発明の効果】
【００２８】
第一識別候補の評価値と他の識別候補の評価値とが近似している場合、前記第一識別候補および他の識別候補よりなる群の中に照合対象と一致しているものがあるか否かに応じて、判定の信頼性を決定する評価手段と、前記評価手段によって決定された信頼性を、前記判定の結果とともに、ユーザに提示する提示手段とを備えた構成である。
【００２９】
また、第一識別候補の評価値と他の識別候補の評価値とが近似している場合、前記第一識別候補および他の識別候補よりなる群の中に照合対象と一致しているものがあるか否かに応じて、判定の信頼性を決定する評価ステップと、前記評価ステップにおいて決定された信頼性を、前記判定の結果とともに、ユーザに提示する提示ステップとを含む構成である。
【００３０】
したがって、ユーザは、例えば信頼性が低いと評価された判定を確認するだけで、高い確率でその過誤を発見できる。すなわち、本発明の照合装置等は、ユーザが判定結果の確認を効率的に行うことを可能にし、誤判定の有無をチェックする作業の負担を軽減できるという効果を奏する。
【図面の簡単な説明】
【００３１】
【図１】本発明の一実施形態に係る採点サーバの一部構成を示すブロック図である。
【図２】本発明の一実施形態に係る解答用クライアントの一部構成を示すブロック図である。
【図３】上記採点サーバと上記解答用クライアントとを含む、本発明の一実施形態に係る試験システムの構成の概略図である。
【図４】上記解答用クライアントの表示部に表示される問題データの例を表した模式図であり、（ａ）は生徒による解答前、（ｂ）は生徒により手書き文字が記入された後の画面例を示す。
【図５】上記解答用クライアントから上記採点サーバへ送信される、手書き文字を表すデータの形式を例示した模式図である。
【図６】上記採点サーバの表示部に表示される、ある生徒の試験結果を表した模式図である。
【図７】手書き文字の識別結果を示す模式図であり、（ａ）は第１の識別データに対するスコアの値が、他の識別データに対するスコアの値よりも顕著に大きい場合、（ｂ）はスコアの間に顕著な差異がない場合を示す。
【図８】正誤判定を修正する場合に表示される画面例を示した模式図であり、（ａ）は正誤判定の修正前、（ｂ）は修正後を示す。
【図９】教師が誤認識による誤った正誤判定を修正した場合、当該修正した判定に係る識別データと正解データとの組み合わせと、同一の組み合わせとなる問題の結果を示す模式図である。
【図１０】図９に例示した試験結果の一覧表示を行うか否かを教師に選択させる場合、上記採点サーバが表示する確認ダイアログの例を示した模式図である。
【図１１】上記採点サーバおよび上記解答用クライアントが実行する処理の一例を示すフローチャートである。
【図１２】上記採点サーバが実行する、信頼度を算出するための処理の一例を示すフローチャートである。
【図１３】上記採点サーバが実行する、採点結果を確認および修正するための処理の一例を示すフローチャートである。
【図１４】上記採点サーバが実行する、類似の採点結果を確認および修正するための処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００３２】
以下、本発明の実施の形態について、図１〜図１４に基づいて詳細に説明する。なお、１つの符号にａまたはｂが付されることにより複数存在することが明示されている構成には、説明を簡潔に記述するために、これらを省略して当該構成を総称することがある（例えば、正誤判定３ａおよび正誤判定３ｂを、「正誤判定３」と総称することがある）。
【００３３】
〔試験システム１２０の概要〕
図３に基づいて、本実施の形態に係る試験システム１２０の構成について説明する。図３は、採点サーバ１００と解答用クライアント１１０とを含む試験システム１２０の構成の概略図である。
【００３４】
図示のように、試験システム１２０は、採点サーバ１００と解答用クライアント１１０とを含む。両者は、サーバ・クライアント方式に基づく通信を行う。なお、両者を中継する通信網の種類は限定されない。すなわち、当該通信網は両者が通信可能でありさえすればよく、例えばインターネットであってもよいし、ローカルエリアネットワーク（Local Area Network；ＬＡＮ）であってもよい。
【００３５】
試験システム１２０を使えば、教育機関等において学習の習熟度を評価する試験を実施できる。本実施の形態では、試験システム１２０を用いて、小学校の教師（ユーザ）が生徒に算数の試験を課す状況を想定する。ただし、これは説明のための便宜に過ぎず、試験システム１２０を適用できる状況は当該想定された状況に限定されない。例えば、各種の資格認定のための試験でも利用できるし、ゲーム等の娯楽目的でも利用できる。
【００３６】
〔採点サーバ１００および解答用クライアント１１０の概要〕
図１に基づいて、本実施の形態に係る採点サーバ１００の概要を説明する。図１は、採点サーバ１００の一部構成を示すブロック図である。
【００３７】
採点サーバ（照合装置）１００は、手書き文字（手書き操作による入力）５を認識することにより得られた少なくとも１つの識別データ（識別候補）１のそれぞれに対して当該認識の精度を評価したスコア（評価値）２を算出し、スコア２が最大の識別データである第１の識別データ（第一識別候補、以下「第１の識別データ」と称する）と正解データ（照合対象）とを照合することにより、当該第１の識別データが当該照合対象と一致しているか否かを判定する装置である。
【００３８】
一致するものが含まれると判定される場合であって、スコア２に基づいて計算される値と所定のしきい値とを比較することにより、上記判定の信頼性が低いと評価する場合、採点サーバ１００は正誤判定３ａを教師に提示して確認を求める。教師は、誤判定された解答を発見したときは、入力部８０ａを介して正誤判定３ａを正誤判定３ｂに修正できる。採点サーバ１００は、修正された正誤判定３ｂを、記憶装置３０に格納する。すなわち、採点サーバ１００は、文字認識の信頼性を評価したスコア２と、問題に対する正解データ８を用いて、手書きによる試験の採点を支援する装置と言える。
【００３９】
なお、上記の識別データ１とは、採点サーバ１００の文字認識によって得られた識別候補をいう。また、スコア２とは、採点サーバ１００が手書き文字５を識別データ１と識別することに対する確信度（精度）を評価した値をいう。以下では、後述する図７に示すように、スコア２を「８２」、「３０」などの実数値として表現するが、当該表現に限定されない。すなわち、手書き文字５を識別データ１と識別することに対する確信度を、序列可能に表現できるものであれば何でもよい。
【００４０】
図２に基づいて、本実施の形態に係る解答用クライアント１１０の概要を説明する。図２は、解答用クライアント１１０の一部構成を示すブロック図である。
【００４１】
解答用クライアント（入力装置）１１０は、手書き操作の軌跡を取得できる入力面を備え、前記軌跡に基づいて手書き文字（手書き操作の軌跡）５を入力可能であり、当該手書き文字を採点サーバ１００に送出する装置である。
【００４２】
〔試験システム１２０の動作の概略〕
図４〜図１０に基づいて、試験システム１２０（採点サーバ１００、解答用クライアント１１０）で行われる上記処理の流れの概略を説明する。試験システム１２０では、以下の４つのステップで処理が進行する。
（１）採点サーバ１００は、問題データ６を解答用クライアント１１０のそれぞれに送信する。
（２）解答用クライアント１１０は、問題データ６に対する解答として、生徒から手書き操作によって入力された手書き文字５を採点サーバ１００へ送信する。
（３）採点サーバ１００は、手書き文字５を文字認識し、認識した文字と正しい解答とを照合することによって正誤判定（答え合わせ）を行い、その結果を教師へ提示する。
（４）採点サーバ１００は、教師から正誤判定３ａを修正する入力を受け付け、修正後の正誤判定３ｂを記憶装置３０に格納する。
【００４３】
図４は、解答用クライアント１１０の表示部７０ｂに表示される問題データ（外部から受信したデータ）６の例を表した模式図であり、（ａ）は生徒による解答前、（ｂ）は生徒により手書き文字５が記入された後の画面例を示す。図４（ａ）に図示される画面例のように、解答用クライアント１１０は、生徒に採点サーバ１００から受信した問題データ６を提示する。生徒は、図４（ｂ）に図示されるように、手書き操作で解答（手書き文字５）を記入する。
【００４４】
図５は、解答用クライアント１１０から採点サーバ１００へ送信される、手書き文字５を表すデータの形式を例示した模式図である。同図に例示するように、解答用クライアント１１０は、その入力部８０ｂの入力面に接触したユーザの指やスタイラスなどの指示具（以下、単に「指示具」と称する）の、当該入力面上における２次元座標を所定の時間間隔で取得し、その一連の座標を、各問題に対して記入された手書き文字５を表すデータとする。
【００４５】
図６は、採点サーバ１００の表示部７０ａに表示される、ある生徒（同図では「日本太郎」という名前の生徒）の試験結果を表した模式図である。同図に例示するように、各問題に対して、識別データ１、正解データ８、正誤判定３ａ、および信頼度４が、表形式で教師に提示される。なお、当該表で提示される識別データ１は、第１の識別データである。すなわち、最もスコア２の高い識別候補が答え合わせ（正誤判定）に用いられる。
【００４６】
ここで、正解データ８とは、問題データ６に対応する正しい解答である。また、正誤判定３とは、生徒が当該問題に正答したか否かを示す情報である。図６に例示するように、採点サーバ１００は、正解または不正解を示す適当な記号を表示することにより、正誤判定３を教師に提示する。そして、信頼度４とは、採点サーバ１００による正誤判定３ａの信頼性を示す情報である。信頼度４については、後で詳述する。
【００４７】
図７は、手書き文字５の識別結果を示す模式図であり、（ａ）は第１の識別データ１に対するスコア２の値が、他の識別データ１に対するスコア２の値よりも顕著に大きい場合、（ｂ）はスコア２の間に顕著な差異がない場合を示す。採点サーバ１００は、手書き文字５の識別結果として少なくとも１つの識別データ１を得る。また、それぞれの識別データ１に対して、文字認識の精度を示すスコア２を算出する。
【００４８】
図７（ａ）では、第１の識別データ１として「３」と認識される場合のスコア２が「８２」であり、その他の場合のスコア２が「３０」または「２０」である。このとき、採点サーバ１００は、第１の識別データ１に対するスコア２の値が、他の識別データ１に対するスコア２の値よりも顕著に大きいと判定する。このとき、採点サーバ１００は、当該正誤判定３ａは信頼性が高いとして、信頼度４を「高」に設定する。なお、図７における例では、各スコアは０〜１００の範囲で正規化されているとする。
【００４９】
図７（ｂ）では、採点サーバ１００は、第１の識別データ１に対するスコア２の値は、他の識別データ１に対するスコア２の値よりも顕著な差異がないと判定する。また、この問題データ６に対する正解データは、「４」であるとする。この場合、生徒は正しく「４」と記入しているところを、採点サーバ１００の誤認識によって第１の識別データ１が「９」として認識され、これが正解データ８と照合された結果、誤った判定が行われたおそれがある。このとき、採点サーバ１００は、当該正誤判定は信頼性が低いとして、信頼度４を「低」に設定する。
【００５０】
図８は、図６に例示した試験結果の一覧表示を確認した教師が、信頼度４が「低」に設定されている「問題２」を選択し、正誤判定３ａを修正する場合に表示される画面例を示した模式図であり、（ａ）は正誤判定３ａの修正前、（ｂ）は修正後を示す。同図に例示するように、教師は正誤判定３ａの信頼度４が低いと評価された問題に対して、その識別データ１、正解データ８、および正誤判定３ａのすべての組み合わせを確認でき、誤った正誤判定３ａを発見したときは、正しい正誤判定３ｂに修正できる。
【００５１】
図９は、教師が誤った正誤判定３ａを修正した場合、当該修正した判定に係る識別データ１と正解データ８との組み合わせと、同一の組み合わせとなる問題の結果を示す模式図である。同図に例示されるように、採点サーバ１００は、正誤判定３ａを修正した上記組み合わせ（同図では、識別データ１が「９」に対して、正解データ８が「４」となる組み合わせ）と同一の組み合わせの試験結果のみを、教師に提示する。同じ文字は同じように正誤判定３ａを誤っているおそれが強く、他の組み合わせに比べて正誤判定３ａを修正する必要性が高いと考えられるからである。このように、同一の組み合わせの試験結果について教師に確認を促すことにより、効率的に正誤判定３ａの修正を行える。
【００５２】
図１０は、図９に例示した試験結果の一覧表示を行うか否かを教師に選択させる場合、採点サーバ１００が表示する確認ダイアログの例を示した模式図である。同図に例示されるように、同一の組み合わせに対する試験結果を一覧表示する場合、採点サーバは教師に確認を行ってもよい。
【００５３】
〔採点サーバ１００の構成〕
図１に基づいて、本実施の形態に係る採点サーバ１００の各構成の詳細について説明する。図示のように、採点サーバ１００は、通信部２０ａ、文字認識部４０、採点部５０、制御部１１、信頼性評価部（評価手段）１５、正誤判定処理部（提示手段）１６、修正部（修正手段）１７、表示制御部６０ａ、表示部７０ａ、入力部８０ａ、および記憶装置３０を含む。
【００５４】
なお、本実施の形態に直接関係のない部分（例えば、音声出力を実現する部分や外部機器との接続インターフェースなど）は、記載の簡潔性を担保する観点から、構成の説明およびブロック図から省略した。ただし、実施の実情に則して、本実施の形態に係る採点サーバ１００は当該省略した構成を含んでもよい。
【００５５】
以下、通信部２０ａ（送信部２２ａ、受信部２１ａ）、文字認識部４０（特徴抽出部４１、識別部４２、スコア算出部４３）、採点部５０、制御部１１（信頼性評価部１５、正誤判定処理部１６、修正部１７）、表示制御部６０ａ、表示部７０ａ、入力部８０ａ、記憶装置３０の順序で、各構成が担う機能を説明する。
【００５６】
通信部２０ａは、所定の通信方式にしたがう通信網を通じて解答用クライアント１１０と通信するものである。通信を実現する本質的な機能さえ備わってさえいればよく、使用する電気通信回線、通信方式、または通信媒体などは限定されない。機器としては、例えばイーサネット（登録商標）アダプタなどで構成できる。また、通信方式や通信媒体としては、例えばＩＥＥＥ８０２．１１無線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）などを利用できる。通信部２０ａは、送信部２２ａと受信部２１ａとを含む。
【００５７】
送信部２２ａは、記憶装置３０から問題データ６を読み出して、解答用クライアント１１０へ送信する。
【００５８】
受信部２１ａは、解答用クライアント１１０から送信された手書き文字５（図５参照）を受信して、文字認識部４０へ出力する。受信部２１ａは、手書き文字５が入力されるたびに（すなわち、各問題に対する解答ごとに）当該手書き文字を文字認識部４０へ出力してもよいし、入力された手書き文字５を記憶装置３０へ格納しておき、全部または一部の問題に対する解答が得られた後で、手書き文字５を文字認識部４０へ出力してもよい。
【００５９】
文字認識部４０は、受信部２１ａから入力された手書き文字５を文字認識する。文字の認識に必要となる識別器のパラメータはあらかじめ記憶装置３０に格納されており、文字認識部４０は適宜これを読み出して使用する。文字認識部４０は、特徴抽出部４１、識別部４２、およびスコア算出部４３を含む。
【００６０】
特徴抽出部４１は、所定の基準にしたがって手書き文字５の特徴量を抽出し、抽出した特徴量を識別部４２へ出力する。特徴量を抽出した後に、例えばフィッシャー判別分析等の多変量解析を行うことにより、識別部４２で用いられる識別手法に適した形式のデータへ当該特徴量を変換してもよい。これにより、識別部４２における識別精度を向上させることができる。
【００６１】
識別部４２は、所定の文字集合に含まれる文字のうち、手書き文字５がいずれの文字に該当するかを、特徴抽出部４１から入力された特徴量に基づいて識別し、識別した結果を識別データ１としてスコア算出部４３および採点部５０へ出力する。識別部４２で用いられる識別手法は一般的な手法であってよく、例えばサポートベクトルマシン（Support Vector Machine）を用いてよい。
【００６２】
なお、識別部４２は、識別データ１を得るたびに、当該識別データをスコア算出部４３および採点部５０へ出力してよい。または、識別データ１を得るたびに、記憶装置３０へ逐次格納していき、すべての問題に対する識別データ１が得られた後で、記憶装置３０から識別データ１を読み出し、当該識別データをスコア算出部４３および採点部５０へ出力してもよい。言い換えれば、入力される手書き文字５に対してオンラインで処理を進めてもよいし、入力された手書き文字５を一時的に記憶装置３０へ格納しておき、全部または一部の手書き文字５が揃ってからバッチで処理を進めてもよい。これについては、後述するスコア算出部４３、採点部５０における処理についても同様である。
【００６３】
スコア算出部４３は、識別部４２から入力された識別データ１に対するスコア２を算出し、信頼性評価部１５へ出力する。上記の例のように、識別部４２にサポートベクトルマシンを用いた場合、サポートベクトルから判別境界までの距離を所定の範囲で正規化した値を、スコア２として用いることができる。
【００６４】
採点部５０は、識別部４２から入力された識別データ１と、記憶装置３０から読み出した正解データ８とを照合し、正誤判定処理部１６へ正誤判定３ａを出力する。前述したように、採点部５０は、第１の識別データ１と正解データ８とを照合して正誤判定３ａを決定することに注意する。
【００６５】
制御部１１は、採点サーバ１００の各種機能を統括的に制御するものである。制御部１１は、信頼性評価部１５、正誤判定処理部１６、および修正部１７を含む。
【００６６】
信頼性評価部１５は、スコア算出部４３から入力されたスコア２、および採点部５０から入力された識別データ１および正解データ８に基づいて、手書き文字５の認識の信頼性を示す信頼度４を計算し、識別データ１、スコア２、信頼度４、および正解データ８を正誤判定処理部１６へ出力する。信頼度４の計算方法は、後で詳述する。
【００６７】
正誤判定処理部１６は、採点部５０から入力された正誤判定３ａと、信頼性評価部１５から入力された識別データ１、スコア２、信頼度４、および正解データ８とを表示制御部６０ａに出力することで、採点の結果を教師に提示する（図６参照）。このとき、正誤判定処理部１６は、選択ダイアログ等を表示することにより、採点の結果を確認するか否かを教師に選択させてもよい。
【００６８】
また、正誤判定処理部１６は、修正部１７から修正データ９の入力があった場合は、当該修正データにしたがって正誤判定３ａを正誤判定３ｂに修正する。修正データ９の入力がない場合は、正誤判定３ａを変更せず、正誤判定３ｂとする。正誤判定処理部１６は、教師が採点結果の確認を終了したことを示す信号を受信した場合（例えば、教師が図６に例示される「確認終了」ボタンを押下した場合など）に、正誤判定３ｂを記憶装置３０に格納する。
【００６９】
さらに、正誤判定処理部１６は、教師が正誤判定を行うことを示す信号を受信した場合（例えば、教師が図６に例示される「修正」ボタンを押下した場合など）に、図８に例示される判定修正画面を表示する。加えて、正誤判定処理部１６は、類似判定結果の一覧を表示する（図９参照）。このとき、正誤判定処理部１６は、図１０に例示するような選択ダイアログ等を表示することにより、類似の判定結果を確認するか否かを教師に選択させてもよい。
【００７０】
修正部１７は、入力部８０ａから入力された修正入力に基づいて、正誤判定３ａを正誤判定３ｂへ修正するための修正データ９を生成し、正誤判定処理部１６へ出力する。
【００７１】
表示制御部６０ａは、正誤判定処理部１６が出力する情報（例えば、図６に例示する採点表など）を、表示部７０ａで表示可能な形式にしたがう表示用データ７に変換する。ここで、表示用データ７としては、例えばビットマップ（bitmap）形式の画像であってよいし、他の形式に従う画像、またはその他表示に適したデータ形式であってもよい。なお、表示制御部６０ａは、当該情報を表示用データ７へ形式変換できるものであればよく、例えば一般的なディスプレイアダプタでよい。
【００７２】
表示部７０ａは、映像等を表示する装置である。本実施の形態では主に液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）を想定しているが、表示機能を有する装置（特に、フラットパネルディスプレイ）でありさえすればハードウェアの種類は限定されない。例えば、プラズマディスプレイ（Plasma Display Panel；ＰＤＰ）やＥＬ（Electroluminescence）ディスプレイなどの表示素子と、表示制御部６０ａから入力を受けた表示用データ７に基づいて表示素子を駆動するドライバ回路とを備える装置等で構成できる。
【００７３】
入力部８０ａは、教師からの修正入力を受け付ける。本実施の形態では、入力部８０ａとして主にタッチパネルを想定している。ただし、ユーザによる修正入力で採点サーバ１００に対して情報の入力が可能な入力面を備えてさえいれば（すなわち、当該入力面は入力部８０ａに含まれる）、ハードウェアの種類は限定されない。入力部８０ａは、その入力面に接触した指示具の当該入力面上における２次元の座標情報を所定の時間間隔で取得し、その一連の座標データを、修正入力として修正部１７へ出力する。
【００７４】
図１では、各構成が有する機能を明示するために、入力部８０ａと表示部７０ａとを分離して示している。しかし、例えば入力部８０ａがタッチパネルであり、表示部７０ａが液晶ディスプレイである場合、両者は一体として構成されることが望ましい（図３を参照）。すなわち、入力部８０ａは、矩形板状に形成されたガラス等の透明な透過部材からなるデータ入力面を含んで構成され、表示部７０ａが有するデータ表示面を覆うように一体的に形成されてよい。これにより、入力部８０ａの入力面に対する指示具の接触位置と、表示部７０ａが当該接触に応じて表示面に表示する図形の位置とが一致するため、ユーザは自然な手書き感覚を得ることができる。
【００７５】
記憶装置３０は、問題データ６や識別部４２で用いられる識別器のパラメータなどを格納した不揮発性の記憶機器である。記憶装置３０は、例えばハードディスク、半導体メモリ、ＤＶＤ（Digital Versatile Disk）等で構成できる。なお、本実施の形態では、記憶装置３０は、採点サーバ１００に内蔵される装置として図１に示しているが、採点サーバ１００の外部に通信可能に接続された外部記憶装置であってもよい。
【００７６】
〔解答用クライアント１１０の構成〕
図２に基づいて、本実施の形態に係る解答用クライアント１１０の各構成の詳細について説明する。図示のように、解答用クライアント１１０は、通信部２０ｂ（送信部２２ｂ、受信部２１ｂ）、表示制御部６０ｂ、表示部７０ｂ、および入力部８０ｂを含む。上記の採点サーバ１００と同様に、実施の実情に則して、本実施の形態に係る解答用クライアント１１０は省略したその他の構成を含んでもよい。
【００７７】
また、通信部２０ｂは通信部２０ａと、送信部２２ｂは送信部２２ａと、受信部２１ｂは受信部２１ａと、表示制御部６０ｂは表示制御部６０ａと、表示部７０ｂは表示部７０ａと、入力部８０ｂは入力部８０ａと機能が同一であり、重複した説明を省略する。
【００７８】
入力部８０ｂは、生徒からの解答（手書き文字５）の入力を受け付ける。入力部８０ａと同様に、入力面における２次元の座標情報を取得し（図５参照）、手書き文字５として送信部２２ｂに出力する。また、入力部８０ｂは、手書き文字５を表示制御部６０ｂにも出力するため、生徒は手書き入力している軌跡をリアルタイムで視認できる。なお、前述と同様に、表示部７０ｂと入力部８０ｂとは一体として構成されることが望ましい。
【００７９】
送信部２２ｂは、入力部８０ｂから入力された手書き文字５を採点サーバ１００へ送信する。送信部２２ｂは、手書き文字５が入力されるたびに（すなわち、各問題に対する解答ごとに）当該手書き文字を採点サーバ１００へ送信してもよいし、入力された手書き文字５を記憶装置（図示せず）へ格納しておき、全部または一部の問題に対する解答が得られた後で、手書き文字５を採点サーバ１００へ送信してもよい。以下の説明では、送信部２２ｂは、生徒が問題に対する解答を終えたことを示す信号を入力部８０ｂから受け取った場合（例えば、生徒が図４に例示される「解答終了」ボタンを押下した場合など）に、手書き文字５を採点サーバ１００へ送信することとする。
【００８０】
〔信頼度４の計算方法〕
図７に基づいて、信頼性評価部１５で行われる信頼度４の計算方法について説明する。まず、信頼性評価部１５は、スコア２が所定の値の範囲におさまるように、スコア２を正規化する。例えば、図７（ａ）に示す例では、前述したように、スコア２は０〜１００の範囲で正規化されている。なお、スコア算出部４３からスコア２が入力された時点で、すでにスコア２が所定の範囲におさまっている場合は、上記の正規化の処理は省略できる。
【００８１】
また、正規化の範囲は上記の例のように０〜１００だけに限られない。すなわち、スコア２が互いに近似しているか否かを判定するための相対的な値の範囲を示す所定のしきい値（後述するδ）を定義するために、スコア２の取り得る値の範囲が必要となるに過ぎない。したがって、識別部４２で用いられる文字認識の手法やスコア算出部４３で用いられるスコア２の計算方法などにしたがって、正規化の範囲は適宜変更してよい。
【００８２】
次に、信頼性評価部１５は、最大値をとるスコア２と、２番目に大きい値をとるスコア２との差分値（比較値）を計算する。この差分値が相対的な値の範囲を示す所定のしきい値を上回る場合（すなわち、上記スコアが互いに近似していない場合）、信頼性評価部１５は、文字認識の結果が信頼できることにより正誤判定３ａも信頼できるとして、信頼度４を「高」に設定する。この計算を数式で表現すると、以下のようになる。
【００８３】
｜Ａ１−Ａ２｜＞δのとき、信頼度４＝「高」
ここで、Ａ１は最大値をとるスコア２、Ａ２は２番目に大きい値をとるスコア２、δは相対的な値の範囲を示すしきい値である。なお、上記の例では、最大値をとるスコア２と２番目に大きい値をとるスコア２との差分値を計算したが、最大値をとるスコア２と３番目に大きい値をとるスコア２との差分値を計算してもよい。
【００８４】
また、しきい値δは、問題データ６や生徒などの性質に合わせて適宜調整してよい。これにより、採点サーバ１００は、判定結果の確認をより効率的に行うことを可能にし、誤判定の有無をチェックする作業の負担をさらに軽減できる。
【００８５】
一方、上記の差分値が当該しきい値を下回る場合（すなわち、上記スコアが互いに近似している場合）、信頼性評価部１５は、識別データ１の中に正解データ８と一致するものが含まれているか否かを判定する。例えば、図７（ｂ）に示す例において、正解データ８が「２」であった場合、識別データ１のいずれも当該正解データと一致しない。この場合、信頼性評価部１５は信頼度４を「高」に設定する。スコア２が互いに近似することにより、文字認識の結果に信頼性がない場合であっても、上位の識別データ１に正解データ８と一致するものが含まれていなければ、採点部５０が行った正誤判定３ａが誤っているおそれは小さいと考えられるからである。
【００８６】
他方、上記の差分値が当該しきい値を下回っており、かつ、識別データ１の中に正解データ８と一致するものが含まれている場合、信頼性評価部１５は信頼度４を「低」に設定する。この場合、採点部５０が行った正誤判定３ａは誤っているおそれが強く、教師の目視による確認が必要と考えられるからである。
【００８７】
なお、信頼性評価部１５は、第１の識別データ１のスコア２が所定の値よりも小さい場合、他の識別データ１のスコア２との相対関係にかかわらず、信頼度４を「低」と設定してもよい。また、上記の例では、所定のしきい値に基づいて、信頼度４を「高」または「低」の二値に分類したが、例えば上記差分値を信頼度４としてアナログ値のままで扱ってもよい。さらに、信頼度４の計算方法は、上記方法だけに限られない。例えば、スコア２の分散（標準偏差）を計算し、この値が所定のしきい値よりも大きい場合は信頼度４を「高」と設定するようにしてもよい。
【００８８】
〔採点サーバ１００および解答用クライアント１１０が実行する処理〕
図１１〜図１４に基づいて、採点サーバ１００および解答用クライアント１１０が実行する処理の流れを説明する。図１１は、採点サーバ１００および解答用クライアント１１０が実行する処理の一例を示すフローチャートである。
【００８９】
採点サーバ１００の送信部２２ａは、記憶装置３０から問題データ６を読み出し、これを解答用クライアント１１０に送信する（ステップ１：以下、Ｓ１のように略記する）。解答用クライアント１１０の受信部２１ｂは問題データ６を受信し（Ｓ２）、これを表示制御部６０ｂへ出力することで、問題データ６を生徒に提示する。入力部８０ｂは、生徒からの手書き入力を受け付け（Ｓ３）、手書き文字５を送信部２２ｂへ出力する。送信部２２ｂは、生徒が問題に対する解答を終えたことを示す信号を入力部８０ｂから受け取った場合（Ｓ４においてＹＥＳ）、手書き文字５を採点サーバ１００へ送信する（Ｓ５）。
【００９０】
採点サーバ１００の受信部２１ａは、解答用クライアント１１０から手書き文字５を受信し（Ｓ６）、これを特徴抽出部４１へ出力する。特徴抽出部４１は、手書き文字５の特徴量を抽出し、これを識別部４２へ出力する（Ｓ７）。識別部４２は、当該特徴量に基づいて手書き文字５の文字認識を行い（Ｓ８）、得られた識別データ１をスコア算出部４３および採点部５０へ出力する。スコア算出部４３は、識別データ１に基づいてスコア２を算出し（Ｓ９）、これを信頼性評価部１５へ出力する。採点部５０は、識別部４２から入力された識別データ１と、記憶装置３０から読み出した正解データ８とを照合し、正誤判定処理部１６へ正誤判定３ａと識別データ１とを出力する（Ｓ１０）。
【００９１】
信頼性評価部１５は、スコア算出部４３から入力されたスコア２と、採点部５０から入力された識別データ１および正解データ８とに基づいて、正誤判定３ａの信頼性を示す信頼度４を計算し、識別データ１、スコア２、信頼度４、および正解データ８を、正誤判定処理部１６へ出力する（Ｓ１１、評価ステップ）。正誤判定処理部１６は、採点部５０から入力された正誤判定３ａと、信頼性評価部１５から入力された識別データ１、スコア２、信頼度４、および正解データ８とを、表示制御部６０ａに出力することで、採点の結果を教師に提示し、誤った正誤判定３ａに対する修正入力を受け付ける（Ｓ１２、提示ステップ）。
【００９２】
図１２は、信頼性評価部１５が実行する、信頼度４を算出するための処理の一例を示すフローチャートである。
【００９３】
信頼性評価部１５は、まずスコア２を正規化する（Ｓ１９）。次に、信頼性評価部１５は、最大値をとるスコア２と、２番目に大きい値をとるスコア２または３番目に大きい値をとるスコア２との差分値を計算する。この差分値を所定のしきい値と比較することにより、第１候補のスコア（最大値をとるスコア２）〜第３候補のスコア（３番目に大きい値をとるスコア２）が近似しているか否かを判定する（Ｓ２０）。
【００９４】
近似していると判定する場合（Ｓ２０においてＹＥＳ）、信頼性評価部１５は、識別データ１の中に正解データ８と一致するものが含まれているか否かを判定する（Ｓ２１）。一致するものが含まれていると判定する場合（Ｓ２１においてＹＥＳ）、信頼性評価部１５は、信頼度４を「低」に設定する（Ｓ２２）。一方、近似していないと判定する場合（Ｓ２０においてＮＯ）、または一致するものが含まれていないと判定する場合（Ｓ２１においてＮＯ）、信頼性評価部１５は、信頼度４を「高」に設定する（Ｓ２３）。
【００９５】
図１３は、正誤判定処理部１６が実行する、採点結果を確認および修正するための処理の一例を示すフローチャートである。
【００９６】
正誤判定処理部１６は、採点サーバ１００による採点の結果を確認するか否かを、教師に選択させる（Ｓ３０）。教師が採点結果の確認を所望する選択を行った場合（Ｓ３０においてＹＥＳ）、正誤判定処理部１６は、図６に例示されるように、採点結果を一覧表示する（Ｓ３１）。正誤判定処理部１６は、教師が採点結果の確認を所望しない選択を行った場合（Ｓ３０においてＮＯ）、または教師が採点結果の確認を終了したことを示す信号を受信した場合（Ｓ３２においてＹＥＳ）、処理を終了する（ＥＮＤ）。
【００９７】
一方、正誤判定処理部１６は、採点結果の確認を終了したことを示す信号を受信せず（Ｓ３２においてＮＯ）、教師が正誤判定を行うことを示す信号を受信した場合（Ｓ３３においてＹＥＳ）、図８に例示される判定修正画面を表示する（Ｓ３４）。
【００９８】
修正部１７は、教師からの修正入力を待ち受ける（Ｓ３５）。修正部１７は、修正入力を検知すると（Ｓ３５においてＹＥＳ）、正誤判定３ａを正誤判定３ｂへ修正するための修正データ９を生成し、正誤判定処理部１６へ出力する。正誤判定処理部１６は、当該修正データに基づいて、正誤判定３ａを正誤判定３ｂへ修正する（Ｓ３６）。そして、正誤判定処理部１６は、類似判定結果の修正処理を実行する（Ｓ３７）。
【００９９】
図１４は、正誤判定処理部１６が実行する、類似の採点結果を確認および修正するための処理の一例を示すフローチャートである。
【０１００】
正誤判定処理部１６は、図１０に例示するような選択ダイアログを表示し（Ｓ４０）、類似の判定結果を確認するか否かを教師に選択させる（Ｓ４１）。類似の判定結果を確認する入力が検知された場合（Ｓ４１においてＹＥＳ）、正誤判定処理部１６は、図９に例示するような類似判定結果の一覧を表示する（Ｓ４２）。以後の処理は、図１３を参照して説明したＳ３２〜Ｓ３６と同様であるため、説明を省略する。
【０１０１】
一方、類似の判定結果を確認する入力が検知されなかった場合（Ｓ４１においてＮＯ）、または教師が採点結果の確認を終了したことを示す信号を受信した場合（Ｓ３２においてＹＥＳ）、処理を終了する（ＥＮＤ）。
【０１０２】
〔採点サーバ１００により奏される効果〕
ユーザは信頼度４が低いと評価された判定を確認するだけで、高い確率で正誤判定３ａの過誤を発見できる。すなわち、採点サーバ１００は、正誤判定３ａの確認を効率的に行うことを可能にし、誤判定の有無をチェックする作業の負担を軽減できるという効果を奏する。
【０１０３】
〔各実施の形態に含まれる構成（技術的手段）の組み合わせについて〕
上述した実施の形態に含まれる構成は、適宜組み合わせられることに注意する。すなわち、上記の実施の形態で説明したすべての構成は、当該説明に係る実施の形態のみならず、他の実施の形態においても当該構成の全部または一部を組み合わせて利用でき、それによって得られる実施の形態についても本発明の技術的範囲に含まれる。
【０１０４】
さらに換言すれば、本発明は上述した実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。
【０１０５】
例えば、文字認識部４０は、採点サーバ１００に備えられているとして説明したが、解答用クライアント１１０に備えられていてもよい。この場合、解答用クライアント１１０は、手書き文字５に代えて、これを認識した識別データ１とスコア２とを採点サーバ１００へ送信する。
【０１０６】
〔ソフトウェアによる実現例〕
最後に、採点サーバ１００および解答用クライアント１１０（試験システム１２０）の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
【０１０７】
後者の場合、採点サーバ１００および解答用クライアント１１０（試験システム１２０）は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである採点サーバ１００および解答用クライアント１１０（試験システム１２０）の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、採点サーバ１００および解答用クライアント１１０（試験システム１２０）に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１０８】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
【０１０９】
また、採点サーバ１００および解答用クライアント１１０（試験システム１２０）を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１１０】
本発明は、手書きによる試験の採点を支援する装置に利用でき、例えば各種の資格認定等の試験に好適に適用できる。また、ゲーム等の娯楽目的にも適用できる。
【符号の説明】
【０１１１】
１ 識別データ（識別候補、第一識別候補）
２ スコア（評価値）
３ａ 正誤判定（判定の結果）
３ｂ （修正後の）正誤判定（判定の結果）
４ 信頼度（信頼性）
５ 手書き文字（手書き操作による入力、手書き操作の軌跡）
８ 正解データ（照合対象）
１５ 信頼性評価部（評価手段）
１６ 正誤判定処理部（提示手段）
１７ 修正部（修正手段）
８０ａ 入力部
８０ｂ 入力部（入力面）
１００ 採点サーバ（照合装置）
１１０ 解答用クライアント（入力装置）
１２０ 試験システム
【特許請求の範囲】
【請求項１】
手書き操作による入力を認識することにより得られた少なくとも１つの識別候補のそれぞれに対して当該認識の精度を評価した評価値を算出し、評価値が最大の識別候補である第一識別候補と照合対象とを照合することにより、前記第一識別候補が前記照合対象と一致しているか否かを判定する照合装置であって、
前記第一識別候補の評価値と他の識別候補の評価値とが近似している場合、前記第一識別候補および他の識別候補よりなる群の中に前記照合対象と一致しているものがあるか否かに応じて、前記判定の信頼性を決定する評価手段と、
前記評価手段によって決定された信頼性を、前記判定の結果とともに、ユーザに提示する提示手段とを備えたことを特徴とする照合装置。
【請求項２】
前記評価手段は、前記評価値に基づいて計算される比較値と所定のしきい値とを比較することにより、前記第一識別候補の評価値と他の識別候補の評価値とが近似しているか否かを判別することを特徴とする請求項１に記載の照合装置。
【請求項３】
前記比較値は、前記第一識別候補の評価値と、２番目に大きい評価値または３番目に大きい評価値との差分値であることを特徴とする請求項２に記載の照合装置。
【請求項４】
前記提示手段が、前記判定の結果および前記判定の結果の信頼性をユーザに提示する際、当該判定の結果を修正する操作をユーザから受け付ける修正手段をさらに備えたことを特徴とする請求項１から３のいずれか１項に記載の照合装置。
【請求項５】
前記修正手段は、手書き操作から得られた前記第一識別候補と、当該第一識別候補と照合された前記照合対象と、当該第一識別候補が前記照合対象と一致しているか否かの判定の結果との組み合わせを複数記憶した記憶装置から、前記第一識別候補および前記照合対象が共に所定の第一識別候補および所定の照合対象と一致する組み合わせを抽出し、抽出した組み合わせのそれぞれの前記判定の結果を修正する操作をユーザから受け付けることを特徴とする請求項４に記載の照合装置。
【請求項６】
手書き操作の軌跡を取得できる入力面を備え、前記軌跡に基づいて情報を入力可能であり、入力された当該情報を請求項１から５のいずれか１項に記載の照合装置に送出することを特徴とする入力装置。
【請求項７】
請求項１から５のいずれか１項に記載の照合装置と、請求項６に記載の入力装置とを含むことを特徴とする試験システム。
【請求項８】
手書き操作による入力を認識することにより得られた少なくとも１つの識別候補のそれぞれに対して当該認識の精度を評価した評価値を算出し、評価値が最大の識別候補である第一識別候補と照合対象とを照合することにより、前記第一識別候補が前記照合対象と一致しているか否かを判定する照合装置の制御方法であって、
前記第一識別候補の評価値と他の識別候補の評価値とが近似している場合、前記第一識別候補および他の識別候補よりなる群の中に前記照合対象と一致しているものがあるか否かに応じて、前記判定の信頼性を決定する評価ステップと、
前記評価ステップにおいて決定された信頼性を、前記判定の結果とともに、ユーザに提示する提示ステップとを含むことを特徴とする照合装置の制御方法。
【請求項９】
請求項１から５のいずれか１項に記載の照合装置、および請求項６に記載の入力装置の少なくとも一方を動作させるための制御プログラムであって、コンピュータを前記各手段として機能させるための制御プログラム。
【請求項１０】
請求項９に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
手書き操作による入力を認識することにより得られた少なくとも１つの識別候補のそれぞれに対して当該認識の精度を評価した評価値を算出し、評価値が最大の識別候補である第一識別候補と照合対象とを照合することにより、前記第一識別候補が前記照合対象と一致しているか否かを判定する照合装置であって、
前記第一識別候補の評価値と他の識別候補の評価値とが近似している場合、前記第一識別候補および他の識別候補よりなる群の中に前記照合対象と一致しているものがあるか否かに応じて、前記判定の信頼性を決定する評価手段と、
前記評価手段によって決定された信頼性を、前記判定の結果とともに、ユーザに提示する提示手段とを備えたことを特徴とする照合装置。
【請求項２】
前記評価手段は、前記評価値に基づいて計算される比較値と所定のしきい値とを比較することにより、前記第一識別候補の評価値と他の識別候補の評価値とが近似しているか否かを判別することを特徴とする請求項１に記載の照合装置。
【請求項３】
前記比較値は、前記第一識別候補の評価値と、２番目に大きい評価値または３番目に大きい評価値との差分値であることを特徴とする請求項２に記載の照合装置。
【請求項４】
前記提示手段が、前記判定の結果および前記判定の結果の信頼性をユーザに提示する際、当該判定の結果を修正する操作をユーザから受け付ける修正手段をさらに備えたことを特徴とする請求項１から３のいずれか１項に記載の照合装置。
【請求項５】
前記修正手段は、手書き操作から得られた前記第一識別候補と、当該第一識別候補と照合された前記照合対象と、当該第一識別候補が前記照合対象と一致しているか否かの判定の結果との組み合わせを複数記憶した記憶装置から、前記第一識別候補および前記照合対象が共に所定の第一識別候補および所定の照合対象と一致する組み合わせを抽出し、抽出した組み合わせのそれぞれの前記判定の結果を修正する操作をユーザから受け付けることを特徴とする請求項４に記載の照合装置。
【請求項６】
手書き操作の軌跡を取得できる入力面を備え、前記軌跡に基づいて情報を入力可能であり、入力された当該情報を請求項１から５のいずれか１項に記載の照合装置に送出することを特徴とする入力装置。
【請求項７】
請求項１から５のいずれか１項に記載の照合装置と、請求項６に記載の入力装置とを含むことを特徴とする試験システム。
【請求項８】
手書き操作による入力を認識することにより得られた少なくとも１つの識別候補のそれぞれに対して当該認識の精度を評価した評価値を算出し、評価値が最大の識別候補である第一識別候補と照合対象とを照合することにより、前記第一識別候補が前記照合対象と一致しているか否かを判定する照合装置の制御方法であって、
前記第一識別候補の評価値と他の識別候補の評価値とが近似している場合、前記第一識別候補および他の識別候補よりなる群の中に前記照合対象と一致しているものがあるか否かに応じて、前記判定の信頼性を決定する評価ステップと、
前記評価ステップにおいて決定された信頼性を、前記判定の結果とともに、ユーザに提示する提示ステップとを含むことを特徴とする照合装置の制御方法。
【請求項９】
請求項１から５のいずれか１項に記載の照合装置、および請求項６に記載の入力装置の少なくとも一方を動作させるための制御プログラムであって、コンピュータを前記各手段として機能させるための制御プログラム。
【請求項１０】
請求項９に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−１０１５０１（Ｐ２０１３−１０１５０１Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１１−２４４８８６（Ｐ２０１１−２４４８８６）
【出願日】平成２３年１１月８日（２０１１．１１．８）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２３年１１月８日（２０１１．１１．８）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]